CN112470470A - 多焦点显示设备和方法 - Google Patents

多焦点显示设备和方法 Download PDF

Info

Publication number
CN112470470A
CN112470470A CN201880095837.5A CN201880095837A CN112470470A CN 112470470 A CN112470470 A CN 112470470A CN 201880095837 A CN201880095837 A CN 201880095837A CN 112470470 A CN112470470 A CN 112470470A
Authority
CN
China
Prior art keywords
image
images
original images
composite
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880095837.5A
Other languages
English (en)
Inventor
阿塔纳斯·波夫
班基·塞蒂亚万
博格丹·西霍达里乌·伊奥尼塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112470470A publication Critical patent/CN112470470A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及多焦点显示系统(100)的图像发送设备(101)，图像发送设备(101)用于向图像接收设备(103)发送基于一组N个原始图像的一组N个合成图像，其中，N大于或等于2，其中，N个原始图像中的每个具有与其相关联的焦距。图像发送设备(101)包括处理电路(101a)和通信接口(101b)；处理电路(101a)用于将N个原始图像中的每个划分为图像部分，并且用于通过如下生成N个合成图像：将N个原始图像中的每个原始图像的每个图像部分放入N个合成图像之一，使得N个合成图像中的每个包括来自N个原始图像中的两个或两个以上原始图像的图像部分；通信接口(101b)用于向图像接收设备(103)发送N个合成图像。此外，本发明涉及图像接收设备(103)以及对应的图像发送方法和图像接收方法。

Description

多焦点显示设备和方法
技术领域
本发明涉及个人显示设备领域。更具体地，本发明涉及一种多焦点显示系统和方法，特别地，涉及多焦点显示系统的图像发送设备和图像接收设备。
背景技术
个人显示设备能够在传统显示屏使用受限的应用中向观看者提供图像内容。诸如显示眼镜的头戴式显示器(head-mounted display，HMD)设备(也称为近眼显示器(near-eye display，NED)设备或近眼(near-to-eye，NTE)设备)被视为可用于多种领域的一种有用的可穿戴个人显示设备，其应用范围包括军事、医疗、牙科、工业、以及游戏演示等。对于这些应用中的许多应用，具有三维(three-dimensional，3D)或立体显示器将会是有利的。然而，立体显示器通常会受到辐辏与调节失配提示。这种冲突影响视觉效果并导致视觉疲劳。
多焦点显示器(multifocal display，MFD)是一种尝试解决辐辏调节冲突(convergence-accommodation conflict)的途径。MFD通常使用一系列二维(2-dimensional，2D)图像的快速时间(即时分复用)和焦点调制渲染3D场景。通常将这些一系列图像聚焦在平行平面上，这些平行平面位于距观察者不同的离散距离处。焦平面的数量直接影响观看者的眼部调节和所显示场景的3D感知质量。
通常，在传统的MFD中，从图像生成器向图像显示控制器提供一系列二维(2D)图像，以在不同的焦平面上显示图像。在不出现任何传输错误的情况下，即图像没有受到图像生成器(即图像源)与图像显示控制器之间的任何类型的错误源(error source)的影响，则可以正确地显示这些图像。但是，如果传输通道有缺陷，则可能会损坏或丢失图像，并会严重影响图像质量。
因此，需要提供改进的多焦点显示设备和方法，从而能够更好地处理受传输错误影响的图像序列。
发明内容
通过独立权利要求的特征定义本发明实施例，并通过从属权利要求的特征定义实施例的其他有利实施方式。
通常，本发明实施例基于一种在时分复用(time-multiplexed)MFD系统中对图像应用错误隐藏(error concealment)方案的思想。一旦应用了错误隐藏方案，就可以应用任何其他的传统错误隐藏方法。根据本发明实施例，通过划分每个焦平面的图像区域并将对应于所有焦平面(深度)的图像部分组合成一个待发送的合成图像帧来实现错误隐藏。可以基于诸如深度图之类的一些方面进行任意的划分。如此，每个发送的图像包含来自(优选地)所有的不同焦平面图像的图像部分。换句话说，每个焦平面图像分布在多个发送的图像帧上。
如本文所用，当提及大小和形状相同的第一图像和第二图像时，第一图像的一部分和第二图像的一部分是“对应部分”或第一图像的一部分和第二图像的一部分“彼此对应”，这种描述表示当这两个图像彼此堆叠时，这两个图像部分彼此重叠。换言之，不同图像的对应部分的大小、形状、以及在相应图像内的位置都是相同的。
更具体地，根据第一方面，本发明涉及一种图像发送设备，即，多焦点显示系统的图像源，该图像发送设备用于向图像接收设备(特别是多焦点显示系统的显示控制器)发送基于一组N个原始图像的一组N个合成图像，其中，N大于或等于2。N个原始图像中的每个具有与其相关联的焦距。图像发送设备包括处理电路和通信接口；该处理电路用于将N个原始图像中的每个划分为多个图像部分，并且用于通过如下生成N个合成图像：将上述N个原始图像中的每个原始图像的每个图像部分放入N个合成图像之一，使得上述N个合成图像中的每个包括来自N个原始图像中的两个或两个以上原始图像的图像部分；该通信接口用于向图像接收设备发送N个合成图像。
换句话说，N个原始图像的内容分布在N个合成图像上。当没有合成图像丢失或损坏时，可用于图像接收设备的一组合成图像将包括图像发送设备提供的N个合成图像(因此包括N个原始图像的所有图像内容)。然后，图像接收设备可以从N个可用的合成图像准确地(即，没有图像质量损失)重构N个原始图像。当一个或多个合成图像丢失或损坏时(例如，在发送到图像接收设备的过程中)，这些丢失或损坏的合成图像将无法用于重构原始图像。换句话说，这些丢失或损坏的合成图像不包括在可用于图像接收设备的该组合成图像中。在这种情况下，即，当可用于图像接收设备的该组合成图像包括图像发送设备发送的N个合成图像中的一个或多个而非全部时，图像接收设备可以以近似方式(approximate manner)(例如通过内插(interpolation)或外推(extrapolation))从该组可用的合成图像重构N个原始图像。
因此，本发明实施例提供了一种错误隐藏方案，其中，以如下方式修改图像：使得当发送图像序列时，因传输通道错误导致的渲染图像中的伪像不会太明显。有利地，与传统方案相比，当错误损坏序列中的图像之一时，可观察到的伪像更小。
在实施例中，将N个原始图像的图像部分放入合成图像，使得每个合成图像包括来自所有的N个原始图像的图像部分。从而当合成图像之一丢失或损坏时，可以最大程度地减小图像质量的损失。
在实施例中，N个原始图像的大小和形状相同。这有利于将N个原始图像转换成N个合成图像以及将N个合成图像转换回N个原始图像。
在第一方面的另一可能实施方式中，处理电路用于：如果N个原始图像中的任意一个原始图像的任意两个图像部分是相邻图像部分，则将该任意两个图像部分放入不同的合成图像。换句话说，可以将原始图像的相邻图像部分放入不同的合成图像。如果两个图像部分共用公共边界，则认为上述两个图像部分是相邻的。仅共用一个点(例如，拐角点)的两个图像部分不被认为是相邻的。因此，如果这两个图像部分之一丢失或损坏(例如，由于包含该图像部分的合成帧丢失或损坏)，可以通过对包含在合成帧中的未丢失的相邻图像部分进行内插或外推来重构另一图像部分。
在第一方面的另一可能实施方式中，通信接口用于向图像接收设备发送预定义序列中的N个合成图像。有利地，这使得图像接收设备能够基于该合成图像在接收到的合成图像序列中的位置来识别每个合成图像，且不需要向图像接收设备提供用于将合成图像彼此区分的其他信息。在实施例中，N个原始图像是视频帧的图像，视频帧是视频帧序列的元素，并且预定义序列在视频帧序列的每个帧中是相同的。
在第一方面的另一可能实施方式中，处理电路用于将N个原始图像中的任意两个原始图像的任意两个对应图像部分放入不同的合成图像。当可用于图像接收设备的一组合成图像不完整时，即，当图像接收设备未接收到所有的N个合成图像时，这有助于图像接收设备对原始图像进行重构。
在第一方面的另一可能实施方式中，N个原始图像的大小和形状相同，其中，处理电路用于以相同的方式将N个原始图像划分为图像部分。换句话说，在N个原始图像的每个中，图像部分的几何布局可以相同。因此，N个合成图像中的每个合成图像的每个图像部分可以由N个原始图像之一的相应的图像部分填充。
在第一方面的另一可能实施方式中，处理电路用于将上述原始图像中的每个原始图像的每个图像部分放在合成图像中与原始图像中相同的位置。因此，提供了从原始图像到合成图像的简单有效的转换。
在第一方面的另一可能实施方式中，N个原始图像的图像部分为矩形或方形。
在第一方面的另一可能实施方式中，N个原始图像的图像部分是像素。
在第一方面的另一可能实施方式中，N个原始图像是视频帧的图像。可以理解，视频帧是视频帧序列的一部分。视频帧序列提供动画图像，即运动图像。
根据第二方面，本发明涉及一种相应的图像发送方法，该图像发送方法用于向图像接收设备发送基于一组N个原始图像的一组N个合成图像，其中，N大于或等于2，并且其中，N个原始图像中的每个具有与其相关联的焦距。该图像发送方法包括以下步骤：将N个原始图像中的每个划分为多个图像部分；通过如下生成N个合成图像：将N个原始图像中的每个原始图像的每个图像部分放入N个合成图像之一，使得N个合成图像中的每个包括来自N个原始图像中的两个或两个以上原始图像的图像部分；以及向图像接收设备发送N个合成图像。
根据本发明第二方面的方法可以由根据本发明第一方面的图像发送设备执行。根据本发明第二方面的方法的其他特征从根据本发明第一方面及其上述和下述不同的实施方式的图像发送设备的功能直接得出。
根据第三方面，本发明涉及一种图像接收设备，例如，多焦点显示系统的显示控制器，该图像接收设备用于接收来自根据本发明第一方面的图像发送设备的一组合成图像。该图像接收设备包括通信接口和处理电路，该通信接口用于接收来自图像发送设备的一组合成图像，其中，该合成图像基于一组N个原始图像，其中，N大于或等于2，其中，N个原始图像中的每个具有与其相关联的焦距，并且其中，合成图像中的每个包括来自N个原始图像中的两个或两个以上原始图像的图像部分；该处理电路用于通过将合成图像中的每个合成图像的每个图像部分放入N个原始图像之一，从该组合成图像重构N个原始图像。
在第三方面的另一可能实施方式中，处理电路用于：当该组合成图像包括一个或多个但少于N个合成图像时，即，在图像接收设备未接收到图像发送设备生成和发送的所有N个合成图像的情况下，以近似方式从该组合成图像重构N个原始图像。
在第三方面的另一可能实施方式中，处理电路用于通过基于一个或多个可用图像部分重构N个原始图像之一的缺失图像部分，以近似方式重构N个原始图像。如本文所使用的，原始图像的可用图像部分是包含在可用于图像接收设备的合成图像之一中的图像部分。不可用(或缺失)的图像部分是不包含在任何可用合成图像中的图像部分。可以利用通过内插或外推获得的图像内容来填充原始图像的任何缺失部分。内插或外推可以基于原始图像的可用部分(特别是原始图像中位于缺失部分附近的部分)。可选地或附加地，内插或外推可以基于其他N-1个原始图像中的一个或多个原始图像的可用部分。特别地，如果N个原始图像的大小和形状相同，则内插或外推可以基于与缺失部分位置相同的一个或多个可用部分，即基于与缺失部分相对应的一个或多个可用部分。注意，位于相同位置(例如，左上角)的不同原始图像的图像部分通常会显示捕获场景的相同部分，并且由于这些图像部分与不同的焦距(即不同的深度)相关联，因此会有互不相同的分辨率或模糊度。
根据第四方面，本发明涉及一种对应的图像接收方法，用于接收来自图像发送设备的一组合成图像。该图像接收方法包括以下步骤：接收来自图像发送设备的该组合成图像，其中，合成图像基于一组N个原始图像，其中，N大于或等于2，其中，N个原始图像中的每个具有与其相关联的焦距，并且其中，合成图像中的每个包括来自N个原始图像中的两个或两个以上原始图像的图像部分；通过将合成图像中的每个合成图像的每个图像部分放入N个原始图像之一，从该组合成图像重构N个原始图像。
根据本发明第四方面的方法可以由根据本发明第三方面的图像接收设备执行。根据本发明第四方面的方法的其他特征从根据本发明第三方面及其上述和下述不同的实施方式的图像接收设备的功能直接得出。
根据第五方面，本发明涉及一种用于显示一组N个原始图像的多焦点显示系统，其中，多焦点显示系统包括根据本发明第一方面的图像发送设备和根据本发明第三方面的图像接收设备，其中，多焦点显示系统用于显示图像接收设备重构的该组N个原始图像。该多焦点显示系统可以在近眼三维(three-dimensional，3D)显示设备中实现。
在第五方面的另一可能实施方式中，多焦点显示系统用于依次显示重构的原始图像。因此，可以实现时分复用方案。
在第五方面的另一可能实施方式中，多焦点显示系统用于以符合原始图像中的每个的相应焦距的光功率显示重构的原始图像中的每个。
根据第六方面，本发明涉及一种计算机程序产品，该计算机程序产品包括程序代码，该程序代码在计算机上执行时，用于执行根据第二方面的方法和/或根据第四方面的方法。
在附图和以下描述中阐述了一个或多个实施例的细节。根据说明书、附图、以及权利要求书，其他特征、目的、以及优点将是显而易见的。
附图说明
以下参考附图对本发明实施例进行更详细的描述，在附图中：
图1是示出根据实施例的多焦点显示系统的示例的示意图，该多焦点显示系统包括根据实施例的图像发送设备和根据实施例的图像接收设备；
图2是示出根据实施例的多焦点显示系统的另一示例的示意图，该多交点显示系统包括根据实施例的图像发送设备和根据实施例的图像接收设备；
图3是示出根据实施例的在多焦点显示系统中实现的显示方案的示意图；
图4a是示出传统多焦点显示系统的示例的示意图；
图4b是示出根据实施例的多焦点显示系统的另一示例的示意图，该多焦点显示系统包括根据实施例的图像发送设备和根据实施例的图像接收设备；
图5a是示出根据实施例的图像发送设备生成的示例性合成图像的部分的示图；
图5b是示出根据实施例的图像发送设备生成的示例性合成图像的部分的示图；
图6a是示出根据实施例的图像发送设备生成的示例性合成图像的示图；
图6b是示出根据实施例的图像发送设备生成的示例性合成图像的示图；
图7是示出根据实施例的图像发送方法的示例的流程图；以及
图8是示出根据实施例的图像接收方法的示例的流程图。
以下相同的附图标记表示相同或至少在功能上等同的特征。
具体实施方式
在以下描述中，参考构成本公开的一部分的附图，并且在附图中通过图示的方式示出了本发明实施例的特定方面或可以使用本发明实施例的特定方面。应当理解，本发明实施例可以用在其他方面，并且包括附图中未示出的结构或逻辑变化。因此，以下具体实施方式不应视为限制性的，并且本发明的范围由所附权利要求限定。
例如，应当理解，与所描述的方法有关的公开对于用于执行该方法的相应设备或系统也可以成立，反之亦然。例如，如果描述了一个或多个特定的方法步骤，则相应的设备可以包括用于执行所描述的一个或多个方法步骤的一个或多个诸如功能单元的单元(例如，一个单元执行一个或多个步骤，或多个单元各自执行多个步骤中的一个或多个)，即使上述一个或多个单元是未在附图中明确描述或示出。另一方面，例如，如果基于诸如功能单元的一个或多个单元描述特定设备，则相应的方法可以包括执行一个或多个单元的功能的一个步骤(例如，一个步骤执行一个或多个单元的功能，或多个步骤分别执行多个单元中的一个或多个单元的功能)，即使上述一个或多个步骤未在附图中明确描述或示出。此外，应当理解，除非另外特别指出，否则本文所述的各种示例性实施例和/或方面的特征可以彼此组合。
图1示出了包括根据实施例的图像发送设备101和根据实施例的图像接收设备103的根据实施例的多焦点显示系统100的示例。如以下将进一步详细描述的，多焦点显示系统100用于显示一组重构的N个原始图像。多焦点显示系统100可以实现为近眼三维(three-dimensional，3D)显示设备的一部分。在实施例中，N个原始图像是视频帧的图像。可以理解，视频帧是视频帧序列的一部分。视频帧序列提供动画图像，即运动图像。
在实施例中，多焦点显示系统100用于依次显示重构的原始图像。因此，多焦点显示系统100可以实现时分复用图像显示方案。
如图3所示，在实施例中，多焦点显示系统100用于以符合原始图像中的每个的相应焦距(focus distance)的光功率显示每个重构的原始图像。举例来说，可以在1/60s的时间段内按顺序显示与(光功率的)阶梯函数表示的某个深度序列相对应的图像序列I0、I1、I2、I3。
在实施例中，包括根据实施例的图像发送设备101和根据实施例的图像接收设备103的根据实施例的多焦点显示系统100可以实现为如图2所示。图2所示的多焦点显示系统100包括个人计算机101形式的图像发送设备101、显示控制器103形式的图像接收设备103、以及用于生成和显示图像的两个光学支路。在图2所示的实施例中，各个显示器105a、105b分别包括LED驱动器107a和107b、RGB单元109a和109b、准直仪111a和111b、DMD 115a和115b、以及DMD控制器113a和113b。经由光学元件117a、117b将显示器105a、105b提供的各个图像提供给各个焦点调制器元件(focal modulator element)119a、119b。在图2所示的实施例中，各个焦点调制器元件119a、119b包括聚焦可调透镜121a、121b以及透镜控制器123a、123b。经由另外的光学元件125、125b将来自焦点调制器元件119a、119b的相应的图像提供给用户的右眼和左眼。可以理解，显示器105a、105b可以用于生成图像，而焦点调制器元件119a、119b用于生成与显示器105a、105b提供的输出图像相关的光功率。
如以下将进一步详细描述的，图像发送设备101(即，多焦点显示系统100的图像源)用于经由可能易于出错的通信通道向图像接收设备103(例如，多焦点显示系统100的显示控制器103)发送基于一组N个原始图像的一组N个合成图像，其中，N大于或等于2。N个原始图像中的每个具有与该图像相关联的焦距。图像接收设备103(例如，多焦点显示系统100的显示控制器103)用于接收来自图像发送设备101一组合成图像。
为了更好地理解本发明，图4a示出了具有图像生成器11和显示控制器13的传统时分复用多焦点显示系统10。举例来说，从图像生成器11向显示控制器13发送对应于N＝4个深度的四个焦平面图像I0、I1、I2、I3的序列。四个图像I0、I1、I2、I3中的每个通常将包括一些离焦(out-of-focus)(或模糊或不清楚的)区域，这些离焦区域的深度不同于相关图像的深度。换句话说，如果其中一个图像中(例如，I0中)的某个区域是对焦的(focused)(即，以正确的深度填充了该区域)，则其他三个图像中(例如，I1、I2、I3中)的同一几何区域将是离焦的(即模糊或不清楚的)。本发明实施例有利地利用了这一发现。在图4a所示的示例性场景中，图像I1因传输通道中的错误而丢失。由于对应于特定深度的图像完全缺失，因此当传统多焦点显示系统10的显示控制器13显示该图像时，会产生严重的伪像。
为了克服该缺陷，可以从图1看出，多焦点显示系统100的图像发送设备101包括处理电路，特别是一个或多个处理器101a，一个或多个处理器101a用于将N个原始图像中的每个划分为多个图像部分，并且用于通过如下生成N个合成图像：将N个原始图像中的每个原始图像的每个图像部分放入N个合成图像之一，使得N个合成图像中的每个包括来自N个原始图像中两个或两个以上原始图像的图像部分。在实施例中，N个原始图像的多个图像部分可以为矩形或方形。在实施例中，N个原始图像的多个图像部分中的至少一些图像部分由像素提供。此外，图像发送设备101包括用于向图像接收设备103发送N个合成图像的通信接口101b。
同样，图像接收设备103包括通信接口103b，该通信接口103b用于接收来自图像发送设备101的一组合成图像，其中，合成图像基于一组N个原始图像，并且其中，图像接收设备103接收的合成图像中的每个包括来自N个原始图像中的两个或两个以上原始图像的图像部分。此外，图像接收设备103包括处理电路103a(例如，一个或多个处理器103a)，处理电路103a用于通过将合成图像中的每个合成图像的每个图像部分放入N个原始图像之一，从该组合成图像重构N个原始图像。
图4b示出了在根据实施例的多焦点显示系统的上下文中示出了与图4a相同的场景，该多焦点显示系统包括图像发送设备101(例如，根据实施例的图像生成器101)和图像接收设备103(例如，根据实施例的图像显示控制器103)。在图4b的示例性场景中，图像发送设备101的处理电路101a(在图4b中称为图像序列排布处理器)已经处理了N＝4个原始图像I0、I1、I2、I3，以生成由A、B、C、D表示的N个合成图像的序列。当在图4b的场景中发生与图4a的场景相同的错误时，处理电路103a(在图4b中称为图像序列逆排布)可以将剩余的接收图像解码为4个重构的原始图像的序列。可以理解，由于图像的部分缺失，这些重构的原始图像可能会包含错误，但与图4a所示的场景相比，感知到的质量会更好。
因此，如图4b所示，图像发送设备101用于将N个原始图像的内容分布在N个合成图像上。当传输过程中没有合成图像丢失或损坏时，可用于图像接收设备103的一组合成图像将包括图像发送设备101提供的N个合成图像(因此包括N个原始图像的所有图像内容)。然后，图像接收设备103可以从N个可用的合成图像准确地(即，没有图像质量损失)重构N个原始图像。当一个或多个合成图像丢失或损坏时(例如，在发送到图像接收设备103的过程中)，这些丢失或损坏的合成图像将无法用于重构原始图像。在这种情况下，即，当可用于图像接收设备103的该组合成图像包括图像发送设备101发送的N个合成图像中的一个或多个而非全部时，图像接收设备103可以以近似方式(例如，通过内插(interpolation)或外推(extrapolation))从该组可用的合成图像重构N个原始图像。
因此，在实施例中，图像接收设备103的处理电路103a用于：当该组合成图像包含一个或多个但少于N个合成图像时，即，在图像接收设备103未接收到图像发送设备101生成和发送的所有N个合成图像的情况下，或者在那些合成图像已损坏的情况下，以近似的方式从图像发送设备101提供的该组合成图像重构N个原始图像。
在实施例中，图像接收设备103的处理电路103a用于通过基于一个或多个可用图像部分重构N个原始图像之一的缺失图像部分，以近似方式重构N个原始图像。如本文所使用的，原始图像的可用图像部分是包含在可用于图像接收设备103的合成图像之一中的图像部分。不可用(或缺失)的图像部分是不包含在任何可用合成图像中的图像部分。图像接收设备103的处理电路103a可以利用通过内插或外推获得的图像内容来填充原始图像的任何缺失部分。内插或外推可以基于原始图像的可用部分(特别是位于原始图像中缺失部分附近的部分)。内插或外推可以基于原始图像的可用部分(特别是原始图像中位于缺失部分附近的部分)。可选地或附加地，内插或外推可以基于其他N-1个原始图像中的一个或多个原始图像的可用部分。特别地，如果N个原始图像的大小和形状相同，则内插或外推可基于与缺失部分位置相同的一个或多个可用部分(即基于与缺失部分相对应的一个或多个可用部分)。注意，位于相同位置(例如，左上角)的不同原始图像的图像部分通常会显示捕获场景的相同部分，并且由于这些图像部分与不同的焦距(即不同的深度)相关联，因此分辨率或模糊度互不不同。
在实施例中，图像发送设备101的处理电路101a用于将N个原始图像的图像部分放入合成图像，使得每个合成图像包括来自所有的N个原始图像的图像部分。在实施例中，N个原始图像的大小和形状相同。
在实施例中，图像发送设备101的处理电路101a用于：如果N个原始图像中的任意一个原始图像的任意两个图像部分是相邻图像部分，则将该任意两个图像部分放入不同的合成图像。换句话说，可以将原始图像的相邻图像部分放入不同的合成图像。如果两个图像部分共用公共边界，则认为上述两个图像部分是相邻的。仅共用一个点(例如，拐角点)的两个图像部分不被认为是相邻的。因此，如果这两个图像部分之一丢失或损坏(例如，由于包含该图像部分的合成帧丢失或损坏)，图像接收设备103可以通过对包含在合成帧中的未丢失或未损坏的相邻图像部分进行内插或外推来重构另一图像部分。
在实施例中，图像发送设备101的通信接口101b用于向图像接收设备103发送预定义序列中的N个合成图像。这使得图像接收设备能够基于该合成图像在接收到的合成图像序列中的位置来识别每个合成图像，且不需要向图像接收设备103提供用于将合成图像彼此区分的其他信息。在实施例中，N个原始图像是视频帧的图像，视频帧是视频帧序列的元素，并且预定义序列在视频帧序列的每个帧中是相同的。
在实施例中，图像发送设备101的处理电路101a用于将N个原始图像中的任意两个原始图像的任意两个对应图像部分放入不同的合成图像。当可用于图像接收设备103的一组合成图像不完整时(即，当图像接收设备103未接收到所有的N个合成图像时)，这有助于图像接收设备103对原始图像进行重构。
在实施例中，N个原始图像的大小和形状相同，其中，图像发送设备101的处理电路101a用于以相同的方式将N个原始图像划分为图像部分。换句话说，在N个原始图像的每个原始图像中，图像部分的几何布局可以相同。因此，N个合成图像中的每个合成图像的每个图像部分可以由N个原始图像之一的相应的图像部分填充。
在实施例中，图像发送设备101的处理电路101a用于将上述原始图像中的每个原始图像的每个图像部分放在合成图像中与原始图像中相同的位置，这允许从原始图像到合成图像的简单有效的转换。
图5a和图5b示出了两个示例性原始图像I1、I2以及由图像发送设备101生成并且可能由图像接收设备103接收的合成图像A、B、C、D的相应部分A0、B0、C0、D0以及A1、B1、C1、D1。给定序列中有N＝4个原始图像I0、I1、I2、I3，通过将原始图像I0、I1、I2、I3分布在合成图像A、B、C、D中，使得每个原始图像分布在合成图像A、B、C、D中的两个或两个以上(优选所有)合成图像中，以生成合成图像A、B、C、D的序列。例如，如图5a所示，合成图像A、B、C、D中的每个都包括第一部分A0、B0、C0、D0，该第一部分是第一原始图像I0的由相应的纹理所指示的部分或块的集合。这同样适用于如图5b所示的第二原始图像I1。然后，将合成图像的所有部分进行组合，以形成如图6a和图6b所示的合成图像A、B、C、D的序列。这样，例如，当合成图像B在传输过程中丢失或损坏时，图像接收设备103基于合成图像A、C、和D重构的原始图像的序列可以减少因合成图像B的丢失或损坏产生的伪像。
图7是示出根据实施例的图像发送方法的示例的流程图，该图像发送方法用于从多焦点显示系统100的图像发送设备101向多焦点显示系统100的图像接收设备103发送基于一组N个原始图像的一组N个合成图像。图像发送方法700包括以下步骤：将N个原始图像中的每个划分701为图像部分；通过如下生成703上述N个合成图像：将N个原始图像中的每个原始图像的每个图像部分放入N个合成图像之一，使得N个合成图像中的每个包括来自N个原始图像中的两个或两个以上原始图像的图像部分；向图像接收设备103发送705上述N个合成图像。
图8是示出根据实施例的对应的图像接收方法800的示例的流程图，该图像接收方法800用于在多焦点显示系统100的图像接收设备103处接收来自图像发送设备101的一组合成图像。图像接收方法800包括以下步骤：接收801来自图像发送设备101的一组合成图像，其中，合成图像基于一组N个原始图像，其中，N大于或等于2，其中，N个原始图像中的每个具有与其相关联的焦距，并且其中，合成图像中的每个包括来自N个原始图像中的两个或两个以上原始图像的图像部分；通过将合成图像中的每个合成图像的每个图像部分放入N个原始图像之一，从该组合成图像重构803上述N个原始图像。
本领域技术人员将理解，各个附图(方法和装置)的“框”(“单元”)表示或描述本发明实施例的功能(而不一定表示或描述硬件或软件中的各个“单元”)，因此同样描述装置实施例以及方法实施例的功能或特征(单元＝步骤)。
在本申请提供的若干实施例中，应当理解，可以以其他方式实现所公开的系统、装置、以及方法。例如，所描述的装置实施例仅是示例性的。例如，单元划分仅仅是逻辑功能划分，并且在实际实现中可以是其他划分。例如，可以将多个单元或部件组合或集成在另一系统中，或者可以忽略或不执行某些特征。另外，所显示或讨论的相互耦合或直接耦合或通信连接可以使用某些接口来实现。装置或单元之间的间接耦合或通信连接可以以电子、机械、或其他形式实现。
描述为分离的部分的单元在物理上可以是或不是分开的，并且显示为单元的部分可以是或不是物理单元，可以位于一个位置，或者可以分布在多个网络单元上。可以根据实际需要选择部分或全部单元，以实现实施例方案的目的。
另外，本发明实施例中的功能性单元可以集成在一个处理单元中，或者每个单元可以物理上单独存在，或者两个或两个以上的单元可以集成在一个单元中。

Claims (18)

1.一种图像发送设备(101)，用于向图像接收设备(103)发送基于一组N个原始图像的一组N个合成图像，其中，N大于或等于2，其中，所述N个原始图像中的每个具有与其相关联的焦距，其特征在于，所述图像发送设备(101)包括：
处理电路(101a)，用于将所述N个原始图像中的每个划分为图像部分，并且用于通过如下生成所述N个合成图像：将所述N个原始图像中的每个原始图像的每个图像部分放入所述N个合成图像之一，使得所述N个合成图像中的每个包括来自所述N个原始图像中的两个或两个以上原始图像的图像部分；以及
通信接口(101b)，用于向所述图像接收设备(103)发送所述N个合成图像。
2.根据权利要求1所述的图像发送设备(101)，其特征在于，所述处理电路(101a)用于：如果所述N个原始图像中的任意一个原始图像的任意两个图像部分是相邻图像部分，则将所述两个图像部分放入不同的合成图像。
3.根据权利要求1或2所述的图像发送设备(101)，其特征在于，所述通信接口(101b)用于向所述图像接收设备(103)发送预定义序列中的所述N个合成图像。
4.根据前述权利要求中任一项所述的图像发送设备(101)，其特征在于，所述处理电路(101a)用于将所述N个原始图像中的任意两个原始图像的任意两个对应图像部分放入不同的合成图像。
5.根据前述权利要求中任一项所述的图像发送设备(101)，其特征在于，所述N个原始图像的大小和形状相同，并且其中，所述处理电路(101a)用于以相同的方式将所述N个原始图像划分为图像部分。
6.根据权利要求5所述的图像发送设备(101)，其特征在于，所述处理电路(101a)用于将所述原始图像中的每个原始图像的每个图像部分放在所述合成图像中与所述原始图像中相同的位置。
7.根据前述权利要求中任一项所述的图像发送设备(101)，其特征在于，所述N个原始图像的所述图像部分为矩形或方形。
8.根据前述权利要求中任一项所述的图像发送设备(101)，其特征在于，所述N个原始图像的所述图像部分是像素。
9.根据前述权利要求中任一项所述的图像发送设备(101)，其特征在于，所述N个原始图像是视频帧的图像。
10.一种图像发送方法(700)，用于向图像接收设备(103)发送基于一组N个原始图像的一组N个合成图像，其中，N大于或等于2，其中，所述N个原始图像中的每个具有与其相关联的焦距，其特征在于，所述图像发送方法(700)包括：
将所述N个原始图像中的每个划分(701)为图像部分；
通过如下生成(703)所述N个合成图像：将所述N个原始图像中的每个原始图像的每个图像部分放入所述N个合成图像之一，使得所述N个合成图像中的每个包括来自所述N个原始图像中的两个或两个以上原始图像的图像部分；以及
向所述图像接收设备(103)发送(705)所述N个合成图像。
11.一种图像接收设备(103)，用于接收来自图像发送设备(101)的一组合成图像，其特征在于，所述图像接收设备(103)包括：
通信接口(103b)，用于接收来自所述图像发送设备(101)的所述一组合成图像，其中，所述合成图像基于一组N个原始图像，其中，N大于或等于2，其中，所述N个原始图像中的每个具有与其相关联的焦距，并且其中，所述合成图像中的每个包括来自所述N个原始图像中的两个或两个以上原始图像的图像部分；以及
处理电路(103a)，用于通过将所述合成图像中的每个合成图像的每个图像部分放入所述N个原始图像之一，从所述一组合成图像重构所述N个原始图像。
12.根据权利要求11所述的图像接收设备(103)，其特征在于，所述处理电路(103a)用于：当所述一组合成图像包括一个或多个但少于N个合成图像时，以近似方式从所述一组合成图像重构所述N个原始图像。
13.根据权利要求12所述的图像接收设备(103)，其特征在于，所述处理电路(103)用于通过基于一个或多个可用图像部分重构所述N个原始图像之一的缺失图像部分，以近似方式重构所述N个原始图像。
14.一种图像接收方法(800)，用于接收来自图像发送设备(101)的一组合成图像，其特征在于，所述图像接收方法(800)包括：
接收(801)来自所述图像发送设备(101)的所述一组合成图像，其中，所述合成图像基于一组N个原始图像，其中，N大于或等于2，其中，所述N个原始图像中的每个具有与其相关联的焦距，并且其中，所述合成图像中的每个包括来自所述N个原始图像中的两个或两个以上原始图像的图像部分；以及
通过将所述合成图像中的每个合成图像的每个图像部分放入所述N个原始图像之一，从所述一组合成图像重构(803)所述N个原始图像。
15.一种用于显示一组N个原始图像的多焦点显示系统(100)，其特征在于，所述多焦点显示系统(100)包括根据权利要求1至9中任一项所述的图像发送设备(101)和根据权利要求11至13中任一项所述的图像发送设备(103)，其中，所述多焦点显示系统(100)用于显示一组N个重构的原始图像。
16.根据权利要求15所述的多焦点显示系统(100)，其特征在于，所述多焦点显示系统(100)用于依次显示所述重构的原始图像。
17.根据权利要求15或16所述的多焦点显示系统(100)，其特征在于，所述多焦点显示系统(100)用于以符合相应焦距的光功率显示所述重构的原始图像中的每个。
18.一种计算机程序产品，包括程序代码，所述程序代码在计算机或处理器上执行时，用于执行根据权利要求10所述的方法(700)和/或根据权利要求14所述的方法(800)。
CN201880095837.5A 2018-07-30 2018-07-30 多焦点显示设备和方法 Pending CN112470470A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/070525 WO2020025097A1 (en) 2018-07-30 2018-07-30 Multifocal display devices and methods

Publications (1)

Publication Number Publication Date
CN112470470A true CN112470470A (zh) 2021-03-09

Family

ID=63168379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880095837.5A Pending CN112470470A (zh) 2018-07-30 2018-07-30 多焦点显示设备和方法

Country Status (4)

Country Link
US (1) US11601637B2 (zh)
EP (1) EP3794821A1 (zh)
CN (1) CN112470470A (zh)
WO (1) WO2020025097A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220311984A1 (en) * 2021-03-26 2022-09-29 Lightspace Technologies, SIA System and method for rendering three-dimensional image content
TWI799828B (zh) * 2021-03-31 2023-04-21 中強光電股份有限公司 影像處理裝置、影像處理方法以及3d影像產生系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030140347A1 (en) * 1999-12-22 2003-07-24 Viktor Varsa Method for transmitting video images, a data transmission system, a transmitting video terminal, and a receiving video terminal
US20160147078A1 (en) * 2014-11-25 2016-05-26 Ricoh Company, Ltd. Multifocal Display
US20160173883A1 (en) * 2014-12-16 2016-06-16 Sean J. Lawrence Multi-focus image data compression
CN108141610A (zh) * 2015-09-07 2018-06-08 汤姆逊许可公司 用于编码和解码基于光场的图像的方法和设备，以及相应的计算机程序产品

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7477284B2 (en) * 1999-09-16 2009-01-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
WO2008139354A2 (en) * 2007-05-10 2008-11-20 Koninklijke Philips Electronics N. V. Targeting method, targeting device, computer readable medium and program element
US9865043B2 (en) * 2008-03-26 2018-01-09 Ricoh Company, Ltd. Adaptive image acquisition and display using multi-focal display
US9866826B2 (en) * 2014-11-25 2018-01-09 Ricoh Company, Ltd. Content-adaptive multi-focal display
US9171221B2 (en) * 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
JP5663934B2 (ja) * 2010-04-09 2015-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8861868B2 (en) * 2011-08-29 2014-10-14 Adobe-Systems Incorporated Patch-based synthesis techniques
JP2017040687A (ja) * 2015-08-17 2017-02-23 株式会社リコー 画像表示システム、情報処理装置、画像表示方法及びプログラム
US20180343431A1 (en) * 2017-05-24 2018-11-29 Nokia Technologies Oy Method and apparatus for disparity-based image adjustment of a seam in an image derived from multiple cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030140347A1 (en) * 1999-12-22 2003-07-24 Viktor Varsa Method for transmitting video images, a data transmission system, a transmitting video terminal, and a receiving video terminal
US20160147078A1 (en) * 2014-11-25 2016-05-26 Ricoh Company, Ltd. Multifocal Display
US20160173883A1 (en) * 2014-12-16 2016-06-16 Sean J. Lawrence Multi-focus image data compression
CN108141610A (zh) * 2015-09-07 2018-06-08 汤姆逊许可公司 用于编码和解码基于光场的图像的方法和设备，以及相应的计算机程序产品

Also Published As

Publication number Publication date
US11601637B2 (en) 2023-03-07
US20210144360A1 (en) 2021-05-13
WO2020025097A1 (en) 2020-02-06
EP3794821A1 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
US10600237B2 (en) Resolution enhanced 3D rendering systems and methods
US8482654B2 (en) Stereoscopic image format with depth information
US8633967B2 (en) Method and device for the creation of pseudo-holographic images
US8731279B2 (en) Method and device for generating multi-viewpoint image
US9532038B2 (en) Rendering of image data for multi-view display
US8564647B2 (en) Color management of autostereoscopic 3D displays
CN1476729A (zh) 立体图像处理设备和方法
JP2015005978A (ja) ３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス
CN112136324A (zh) 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法
US11601637B2 (en) Multifocal display devices and methods
CN104041027A (zh) 用于三维显示的显示处理器
US20110254918A1 (en) Stereoscopic system, and image processing apparatus and method for enhancing perceived depth in stereoscopic images
TW200945250A (en) Rendering a multiple viewpoint image into a single frame buffer using off-screen rendering surfaces
TWI511525B (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
WO2015115946A1 (en) Methods for encoding and decoding three-dimensional video content
Kooima et al. A gpu sub-pixel algorithm for autostereoscopic virtual reality
Jumisko-Pyykkö et al. Subjective evaluation of mobile 3D video content: depth range versus compression artifacts
US9681115B2 (en) In-painting method for 3D stereoscopic views generation using left and right images and a depth map
WO2015120032A1 (en) Reducing view transition artifacts in automultiscopic displays
US20110234769A1 (en) Apparatus and method for displaying images in image system
CN101193322B (zh) 立体影像显示方法及应用该方法的显示系统
EP2469867A2 (en) Image processing apparatus and image processing method
CN110809147A (zh) 图像处理方法及装置、计算机存储介质、电子设备
Ebner et al. Off-Axis Layered Displays: Hybrid Direct-View/Near-Eye Mixed Reality with Focus Cues
CN114520905B (zh) 图像处理方法、图像显示方法及图像显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination