CN110780454B - 三维图像显示设备和方法 - Google Patents

三维图像显示设备和方法 Download PDF

Info

Publication number
CN110780454B
CN110780454B CN201910018578.2A CN201910018578A CN110780454B CN 110780454 B CN110780454 B CN 110780454B CN 201910018578 A CN201910018578 A CN 201910018578A CN 110780454 B CN110780454 B CN 110780454B
Authority
CN
China
Prior art keywords
image
representative
depth value
display device
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910018578.2A
Other languages
English (en)
Other versions
CN110780454A (zh
Inventor
成基荣
金允泰
李彰健
李泓锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110780454A publication Critical patent/CN110780454A/zh
Application granted granted Critical
Publication of CN110780454B publication Critical patent/CN110780454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/393—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the volume being generated by a moving, e.g. vibrating or rotating, surface

Abstract

一种三维(3D)图像显示设备，包括显示设备；可变焦光学系统，被配置为将由显示设备形成的3D图像聚焦在参考平面上；处理器，被配置为通过从与3D图像对应的多个深度位置中选择深度位置来确定3D图像的代表深度值，作为代表深度值，并控制可变焦光学系统以通过基于代表深度值调整可变焦光学系统的焦点来调整参考平面；和传输光学系统，被配置为将聚焦在参考平面上的3D图像传输到观察者的瞳孔。

Description

三维图像显示设备和方法
相关申请的交叉引用
本申请要求于2018年7月30日在韩国知识产权局提交的韩国专利申请No.10-2018-0088674的优先权，其公开内容通过引用整体并入本文。
技术领域
与本公开一致的示例实施例涉及三维(3D)图像显示设备和方法。
背景技术
最近，3D图像显示技术已经应用于各种领域，包括与虚拟现实(VR)显示器和增强现实(AR)显示器相关的图像显示装置。
例如，提供VR显示的头戴式显示器目前处于商业化阶段并且广泛应用于娱乐业。此外，头戴式显示器正在发展成可应用于医疗、教育和工业领域的形式。
作为VR显示器的高级形式的AR显示器是组合现实世界和VR并且具有可以导致现实和虚拟之间的交互的特征的图像显示装置。现实世界和VR之间的交互基于提供关于真实情况的实时信息的能力，并且可以通过将虚拟对象或信息重叠在现实世界环境上来进一步增加现实的效果。
在现有技术AR显示装置和VR显示装置中，立体视觉技术通常用于3D图像显示，其中可能由于聚散-调节不匹配而涉及视觉疲劳。因此，已经研究了能够减少视觉疲劳的3D图像显示方法。
发明内容
提供了能够减少视觉疲劳的三维(3D)图像显示装置和方法。
另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践所呈现的实施例来学习。
根据本公开的一方面，提供一种三维(3D)图像显示设备，包括：显示设备，被配置为根据3D图像信息调制光以形成3D图像；可变焦光学系统，被配置为将由显示设备形成的3D图像聚焦在参考平面上；处理器，被配置为通过从与3D图像对应的多个深度位置中选择深度位置来确定3D图像的代表深度值，作为代表深度值，并控制可变焦光学系统以通过基于代表深度值调整可变焦光学系统的焦点来调整参考平面；和传输光学系统，被配置为将聚焦在参考平面上的3D图像传输到观察者的瞳孔。。
处理器还可以被配置为基于3D图像的深度图和彩色图确定代表深度值。
处理器还可以被配置为将包括在深度图中的深度值量化为多个量化值，并选择多个量化值中的至少一个作为代表深度值。
处理器还可以被配置为基于来自彩色图的显著性信息确定代表深度值。
处理器还可以被配置为基于彩色图中的内容确定代表深度值。
处理器还可以被配置为根据焦距确定通过双眼聚散识别单个图像的区域范围，并基于所述区域范围确定所述代表深度值。
可变焦光学系统可包括基于所述代表深度值沿着光轴调节的至少一个透镜，使得调节所述至少一个透镜与所述显示设备之间的距离。
可变焦光学系统可包括至少一个具有可变曲率的透镜。
传输光学系统可以被配置为将在所述参考平面上聚焦的所述3D图像与所述观察者前面的真实环境图像一起传输到所述观察者的瞳孔。
传输光学系统可以包括路径转换构件，所述路径转换构件被配置为在朝向所述观察者的瞳孔的方向上偏转在所述参考平面上聚焦的所述3D图像的路径。
路径转换构件可包括被配置为在观察者前面发送真实环境图像的材料。
路径转换构件可包括半反射镜。
3D图像显示设备可以是可穿戴透视型显示设备。
根据本公开的另一方面，提供一种三维(3D)图像显示方法包括：根据3D图像信息调制光以形成3D图像；通过可变焦光学系统聚焦在参考平面上形成的3D图像；通过从与3D图像对应的多个深度位置中选择深度位置来确定3D图像的代表深度值，作为代表深度值；通过基于代表深度值调整可变焦光学系统的焦点来调整参考平面；和将聚焦在参考平面上的3D图像传输到观察者的瞳孔。
选择代表深度值可以包括基于3D图像的深度图和彩色图确定代表深度值。
确定代表深度值还可以包括：将深度图中包括的深度值量化为多个量化值；并且选择多个值中的至少一个作为代表深度值。
确定代表深度值还可以包括：基于来自彩色图的显著性信息确定代表深度值。
确定代表深度值还可以包括：基于彩色图中的内容确定代表深度值。
确定代表深度值还可以包括：确定根据焦距通过双眼聚散识别单个图像的区域范围；和基于区域范围确定代表深度值。
调节可变焦光学系统可以包括调节至少一个透镜在光轴上的位置或调节至少一个透镜的曲率。
根据本公开的另一方面，提供了一种三维(3D)图像显示设备，包括：处理器,被配置为：接收图像信息以形成3D图像，该图像信息包括3D图像的彩色图；基于3D图像的彩色图确定3D图像的代表深度值，以及产生信号以控制可变焦光学系统以基于代表深度值调整参考平面。
处理器还可以被配置为通过从与3D图像对应的多个深度位置中选择深度位置作为基于来自彩色图的的视觉浓度信息的代表深度值来确定代表深度值。
处理器还可以被配置为：确定具有比图像的彩色图中的第二区域更高的视觉浓度的、图像的彩色图中的第一区域作为代表区域，并且通过从与3D图像对应的多个深度位置中选择对应于代表区域的深度位置作为代表深度值来确定代表深度值。
处理器还可以被配置为：基于与3D图像对应的聚散度和焦距之间的关系确定多个舒适区域(ZOC)；其中，确定代表深度值包括确定第一ZOC的第一代表深度值和第二ZOC的第二代表深度值。
根据本公开的另一方面，提供了一种三维(3D)图像显示方法，包括：接收图像信息以形成3D图像，该图像信息包括3D图像的彩色图；基于3D图像的彩色图确定3D图像的代表深度值，并基于代表深度值产生控制可变焦光学系统以调整参考平面的信号。
确定代表性深度值可以包括：基于来自彩色图的视觉浓度信息，从与3D图像对应的多个深度位置中选择深度位置作为代表性深度值。
3D图像显示方法还可以包括：将具有比图像的彩色图中的第二区域更高的视觉浓度的、图像的彩色图中的第一区域确定为代表区域，并且通过以下方式确定代表性深度值：从与3D图像对应的多个深度位置中选择对应于代表区域的深度位置作为代表深度值。
3D图像显示方法还可包括：基于与3D图像对应的聚散度和焦距之间的关系，确定多个舒适区(ZOC)；其中，确定代表性深度值包括确定第一ZOC的第一代表性深度值和第二ZOC的第二代表性深度值。
附图说明
从以下结合附图对实施例的描述中，这些和/或其他方面将变得显而易见并且更容易理解，其中：
图1是示出根据示例实施例的三维(3D)图像显示设备的光学布置的图；
图2示出了通过包括在图1的3D图像显示设备中的可变焦光学系统调整参考平面位置的示例；
图3示出了通过包括在图1的3D图像显示设备中的可变焦光学系统调整参考平面位置的另一示例；
图4是示意性地示出根据示例实施例的3D图像显示方法的流程图；
图5是示出在图4的流程图中选择代表性深度值的详细处理的示例的流程图；
图6A和6B示出了根据图5的流程图提取彩色图和深度图并选择代表深度的示例；
图7是根据图5的流程图的舒适区(ZOC)分析的示例的曲线图；
图8是示出考虑ZOC选择最小数量的代表深度值的示例的概念图；
图9是示出图5的流程图中所示的量化深度值的示例的概念图；和
图10是示出在图4的流程图中调整参考平面的位置的详细过程的示例的流程图。
具体实施方式
现在将参考附图详细描述示例实施例，其中，相同的标号始终表示相同的元件。在这方面，本示例实施例可以具有不同的形式，并且不应该被解释为限于这里阐述的描述。因此，下面通过参考附图来描述示例实施例以解释各方面。如这里所使用的，术语“和/或”包括一个或多个相关所列项目的任何和所有组合。
在附图中，为了清楚说明，可夸大元件的尺寸。这里描述的示例实施例仅用于说明目的，并且可以在其中进行各种修改。
在以下描述中，当元件被称为在另一元件“上方”或“上方”时，它可以在与另一元件接触的同时直接在另一元件上，或者可以在另一元件上方而不产生与其他元件联系。
如本文所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。将进一步理解，本文使用的术语“包括”和/或“包含”指定所述特征或元件的存在，但不排除一个或多个其他特征或元件的存在或添加。
用定冠词或指示代词提及的元件可以被解释为元件或多个元件，即使它具有单数形式。
除非根据顺序明确描述或相反地描述，否则可以以适当的顺序执行方法的操作。也就是说，操作不限于描述操作的顺序。在本公开中，示例或示例性术语(例如，“诸如”和“等”)用于描述的目的，并且除非由权利要求限定，否则不旨在限制本发明构思的范围。
图1是示出根据示例实施例的3D图像显示设备100的光学布置的图。图2和3示出了图1的3D图像显示设备100中提供的可变焦光学系统130的示例。
3D图像显示设备100可以包括图像形成光学系统120，该图像形成光学系统120包括：调制光以形成图像的显示设备121，该可变焦光学系统130将由显示设备121形成的图像聚焦在参考平面上；控制可变焦光学系统130的焦点位置使得参考平面可变的处理器150；以及将聚焦在参考平面上的图像传输到观察者的瞳孔的传输光学系统140。根据示例实施例，参考平面可以是预定的。
显示设备121可以根据要显示给观察者的3D图像信息来调制光以形成图像。由显示设备121形成的图像可以是例如提供给观察者的左眼和右眼中的每一个的立体图像。在附图中，为了便于说明，仅示出了面向单眼的光学系统。由显示设备121形成的图像不限于此，并且可以是全息图像、光场图像、整体摄影(IP)图像等，并且还可以包括多视图或超多视图图像。
显示设备121可包括例如硅上液晶(LCoS)设备、液晶显示(LCD)设备、有机发光二极管(OLED)显示设备、数字微镜设备(DMD)，并且还可以包括下一代设备，例如微LED、量子点(QD)LED等。
图像形成光学系统120可以包括提供用于在显示设备121上形成图像的光的光源。此外，图像形成光学系统120还可以包括：用于调节光路的分束器；用于放大和缩小图像的中继透镜；用于去除噪声的空间滤波器等。
根据示例实施例的3D图像显示设备100可以包括用于减少视觉疲劳的可变焦光学系统130，作为用于多深度表示的配置。例如，即使在通过使用左眼和右眼的视差来识别3D图像的立体视觉方法的情况下，也可以根据包括在图像中的深度信息来改变其上聚焦有左眼图像和右眼图像的参考平面的位置。因此，可以减少视觉疲劳。
可变焦光学系统130可以根据要显示的3D图像中包括的深度信息在多个深度位置上显示图像。可变焦光学系统130可以具有焦点位置变化的配置，使得由显示设备121形成的图像聚焦在参考平面上并且调整参考平面的位置。可变焦光学系统130可以在深度范围DR内改变参考平面的位置。根据示例实施例，深度范围DR可以是预定的。如图所示，深度范围DR内的多个层LA可以包括与不同位置处的参考平面上的深度信息对应的图像。根据示例实施例的3D图像显示设备100可以仅将图像聚焦在被选择作为代表深度RD的位置D2的参考平面上，该位置D2位于其上放置有多个层LA的参考平面的深度位置D1至D6之间。如图所示，可以相对于一帧的图像选择一个代表深度位置。或者，可以根据图像选择多个代表深度位置。例如，当仅利用一个代表深度难以进行深度代表时，可以选择多个代表深度位置。即使在这种情况下，代表深度位置的数量也被选择为最小数量，如稍后将描述的。
与示例实施例不同，当显示与包括在一个图像帧中的深度信息有关的所有层时，系统的配置和操作变得复杂并且数据吞吐量增加。例如，当使用一个显示设备显示多个层时，可以与可变焦光学系统130的焦点变化同步地，即通过时分方法，按时间顺序显示多个层。在这种情况下，需要与层数成比例的高速可变焦设备和显示设备。或者，可以使用空分方法。在这种情况下，需要提供与深度位置的数量对应的多个显示设备，这会增加系统的尺寸。
根据示例实施例的3D图像显示设备100可以驱动可变焦光学系统130以选择代表深度并在对应位置处形成参考平面。因此，可以用简单的配置实现具有减少的视觉疲劳的3D图像。而且，由于通过图像分析确定用于表示多深度的代表深度，因此不需要用于跟踪由观察者观看的焦点位置的眼睛跟踪传感器，因此可以简化系统配置。
可变焦光学系统130可包括一个或多个透镜。一个或多个透镜可以被配置为改变曲率或沿光轴OP移动，从而改变入射图像聚焦的位置。尽管在可变焦光学系统130中仅示出了一个透镜，但这是为了方便，并且可以提供一个或多个透镜和用于向透镜提供驱动力的电动机或致动器。
图2示出了通过包括在图1的3D图像显示设备100中的可变焦光学系统130调整参考平面位置的示例。
可变焦光学系统130可包括曲率可变透镜131，其中调节透镜表面的曲率。曲率可变透镜131可以是液体透镜，其中透镜表面的形状在电控制下被控制。曲率可变透镜131可包括半透明基板S和形成透镜表面的光学膜M.光学流体F可以填充在半透明基板S和光学膜M之间的空间中。曲率可变透镜131可以由控制光学流体F的流动的控制器(未示出)控制。根据示例实施例，曲率可变透镜131可包括控制器。光学膜M可以由透明且弹性的材料形成，使得由光学膜M形成的透镜表面的形状根据光学流体F的流动而改变，因此，焦距长度改变。例如，当光学膜M具有第一透镜表面LS1时，焦平面可以形成在位置FP1处，并且当光学膜M具有第二透镜表面LS2时，焦平面可以形成在位置FP2处。焦平面的位置可以根据所选择的代表深度来设定，并且可以通过控制光学流体F的流动来调节，使得形成适当的透镜表面。
图3示出了通过驱动包括在图1的3D图像显示设备100中的另一示例的可变焦光学系统130来调整参考平面位置的另一示例。
可变焦光学系统130可包括沿光轴方向移动的驱动透镜132。驱动透镜132可以由驱动器(未示出)控制，以在光轴方向上平行移动。根据驱动透镜132的位置，例如，焦平面可以形成在位置FP1或FP2处，如图所示。可以根据所选择的代表深度来设置焦平面的位置，并且可以通过控制驱动透镜132移动到适当位置的移动距离来调整焦平面的位置。
图2和3示出了可变焦光学系统130分别包括一个曲率可变透镜131和一个驱动透镜132的示例。然而，本公开不限于此。可变焦也可以用多个透镜实现。而且，曲率可变透镜131的形状不限于所示的液体透镜形状，并且可以采用能够控制透镜表面的曲率的各种形状。
再次参见图1，传输光学系统140可以将聚焦在参考平面上的图像传输到观察者的瞳孔。传输光学系统140可以包括路径转换构件145，该路径转换构件145使包括由显示设备121形成的图像的光L1在朝向观察者的瞳孔的方向上偏转。路径转换构件145还可以将观察者前面的真实环境(RE)图像传送到观察者的瞳孔。路径转换构件145可以允许包括由显示设备121形成的图像的光L1和包括在观察者前方的RE图像的光L2被传送到观察者的视野。
路径转换构件145可包括半反射镜。包括由显示设备121形成的图像的光L1的一部分可以在半镜面145a上反射并且被引导到观察者的瞳孔，并且包括RE图像的光L2的一部分可以被发送并被引导到观察者的瞳孔。。
除了路径转换构件145之外，传输光学系统140还可以包括另一个光学构件。尽管在图中示出了一个透镜142，但这是一个示例，并且可以进一步提供附加透镜或光路控制构件。
传输光学系统140可以将包括由显示设备121形成的图像的光L1与包括RE图像的光L2一起传输到观察者的瞳孔，从而使得3D图像显示设备100能够用作透视(see-through)类型显示。传输光学系统140被示出为包括一个透镜142和一个路径转换构件145，但是这是示例，并且不限于此。例如，除了所示的半反射镜之外，路径转换构件145可以采用具有各种形状和结构的光学窗口，其能够将由显示设备121形成的图像与RE图像一起传送到观察者的瞳孔。
处理器150可以选择要输出给观察者的3D图像的代表性深度并控制可变焦光学系统130，使得可变焦光学系统130的焦点形成在所选择的代表深度的位置处。
处理器150可以通过分析关于3D图像的深度图和彩色图来提取代表深度。根据示例实施例，处理器150可以执行图像内容分析和显著性信息分析以提取代表深度。此外，处理器150可以将深度图中包括的深度值量化为多个预定值，并且可以选择深度值中的一个或多个作为代表深度。而且，处理器150可以考虑人类视觉感知特性，通过舒适区(ZOC)分析来选择代表深度。可以选择一个代表深度或多个代表深度。当选择多个代表深度时，可以考虑ZOC来选择数量尽可能少的代表深度。
处理器150可以被配置为控制整个3D图像显示设备100。例如，处理器150可以控制包括在成像光学系统120中的光源(未示出)和用于调制来自显示设备121中的光源的光的调制信号。
图4是示意性地示出根据示例实施例的3D图像显示方法的流程图。图5是示出在图4的流程图中选择代表深度值的详细处理的示例的流程图。图6A和6B示出了根据图5的流程图提取彩色图和深度图并选择代表深度的示例。
根据基于图4所示的示例实施例的3D图像显示方法，可以关于要显示的3D图像选择代表深度值(S200)，并且可以根据所选择的代表深度值来调整要聚焦图像的参考平面的位置(S300)。接下来，图像可以聚焦在参考平面的所选位置上(S400)。
在根据示例实施例的3D图像显示方法中，可以根据图像分析来执行用于表示多深度的代表深度的选择。因此，由于不需要用于跟踪观察者观看的焦点位置的眼睛跟踪传感器，因此可以简化系统配置。
参见图5，将详细描述选择代表深度值的操作(S200)。
为了选择代表深度值，可以相对于要显示的3D图像提取深度图和彩色图(S210)。彩色图可以表示为彩色图像，如图6A所示。
接下来，可以对彩色图执行内容分析和/或显著性信息分析(S220)。可以执行显著性信息分析以选择可能被观察者观看的区域，即具有高视觉浓度的区域。可以考虑亮度、颜色、轮廓、物体尺寸等来选择具有高视觉浓度的区域。例如，与周围环境相比具有大亮度或色差的区域、具有强轮廓特征的区域或具有大物体尺寸的区域可以是具有高视觉浓度的区域。可以选择与这样的区域对应的深度值作为代表深度值。或者，可以根据图像中的内容选择具有高视觉浓度的位置的深度值作为代表深度值。
图6B是对应于图6A的彩色图像的深度图。图6B示出了在图6A的彩色图像中选择尺寸大于棒球尺寸的足球作为具有高视觉浓度的区域的情况。在图6A中，选择与该位置对应的深度值作为代表深度值。
例如，根据示例实施例，具有比图像的彩色图中的第二区域更高的视觉浓度的、图像的彩色图中的第一区域被确定为代表区域，其位置被选择为代表深度值。视觉浓度信息可以是亮度、颜色、轮廓、对象大小等中的一个或多个。根据示例实施例，视觉浓度信息可以是图像的特征，其将观众的注意力集中或注意到特定区域或图像中的区域。
除了选择代表深度值之外，还可以考虑人类视觉感知特性。为此，可以执行ZOC分析(S250)并且可以考虑ZOC分析来选择最小数量的代表性深度值。
图7是ZOC分析的实例的图。在图中，横轴表示聚散距离，纵轴表示焦距。
聚焦意味着两只眼睛的视轴集中在待观察的物体上。当通过双目视差感知3D图像时，聚散是双眼会聚到要观看的对象的现象。当双目视差超过视差融合限制并且经历双重图像时，发生感知以感知单个图像。当眼睛从远处移动到近处时会发生会聚。相反，当眼睛从近处移动到远处时发生分散。调整(accommodation)与这种行为同步发生。当焦距和聚散距离彼此一致时，识别出清晰的图像。在人类视觉感知特性中，焦距和聚散距离不完全匹配的预定范围的图像可以被识别为清晰图像。在图7中的图，由最小相对聚散度和最大相对聚散度表示的两条直线之间的阴影区域被示出为识别出清晰单个图像的区域。
参考图7中的线图，例如，1屈光度焦平面可以解释在0到约2.5屈光度范围内的聚散距离，并且3屈光度焦平面可以解释在约1.5屈光度到约4.8屈光度范围内的聚散距离。在这种情况下，即使仅使用两个焦平面，也可以看出可以覆盖0屈光度到约4.8屈光度范围内的聚散位置。
图8是示出考虑ZOC选择最小数量的代表深度值的示例的概念图。
例如，考虑到ZOC，可以将约30至约100cm的深度范围设定为覆盖预定聚散位置范围的区域Z1，并且可以将约100至约500cm的深度范围设定为覆盖另一个预定的聚散位置范围的区域Z2。在这种情况下，约30至约500cm的深度表达可以表示为分别在两个区域Z1和Z2中选择的两个代表深度值RD1和RD2。
可以将代表深度值RD1选择为在约30至约100cm的深度范围内的任意值。代表深度值RD2可以被选择为在大约100到大约500的深度范围内的任意值。在图8中，可以选择60cm和150cm，但这些是示例。
关于代表深度值的选择，可以量化深度值(S260)，并且可以从量化值中选择代表深度值(S270)。
图9是示出图5的流程图中所示的深度值的量化(S260)的示例的概念图。
包括在3D图像中的深度信息可以表示为例如8位的256个深度值。深度值的量化意味着并非所有深度值都用于深度表示，而是为深度表示选择深度值的一些不连续值。例如，可以从深度值d0到d255中选择8个深度值d0，d32，...，d232。然而，这里的8个深度值是示例，并且可以选择小于256的任何值。上述深度值的量化旨在减少在连续帧中选择的代表深度值的波动，例如，当为每个帧选择代表深度值以显示运动图像时。即使当从量化之前的深度值中选择代表深度值并且连续帧的代表深度值存在差异时，当从量化值中选择代表深度值时，仍可以在连续帧中选择相同的代表深度值。当在连续帧中选择相同的代表深度值时，由于不需要驱动可变焦光学系统130，所以可以进一步简化3D图像显示设备100的驱动。
可以一起考虑ZOC分析和深度值的量化来选择代表深度值。例如，在图8中，当选择区域Z1中在约30至约100cm范围内的任意深度值作为代表深度值RD1时，可以从图9中的量化值中选择任意深度值。同样，当选择区域Z2中约100至约500cm范围内的任意深度值作为代表深度值时，可以从图9中量化的值中选择任意深度值。
如上所述，当存在一个或多个代表深度值时，可以通过将显著性信息分析和/或内容分析与ZOC分析一起反映来选择可能的一个代表深度值或最小数量的代表深度值，并将深度值量化为一帧的图像。
图10是示出在图4的流程图中调整(S300)参考平面的位置的详细过程的示例的流程图。
当选择代表深度值时，可以根据代表深度值设置可变焦光学系统130的变化值(S310)。根据可变焦光学系统130的配置，变化值可以是透镜的曲率或透镜的移动距离。
接下来，可以设置能够实现变化值(曲率或移动距离)的控制信号(S330)。控制信号可以是例如用于形成液压的电信号，用于改变图2的曲率可变透镜131的曲率或者向图3的驱动透镜132提供线性运动力。
根据设定的控制信号，可以驱动可变焦光学系统130以在预定位置处形成焦平面(S350)。
再次参见图4，可以通过驱动可变焦光学系统130将图像聚焦在所需的参考平面上(S400)。当在选择代表深度值的操作(S200)中选择多个代表深度值时，可以使用时分方法来执行调整参考平面的位置的操作(S300)和将图像聚焦在参考平面上的操作(S400)。可以同步可变焦光学系统130的驱动和与显示设备121中的参考平面对应的图像形成，并且可以将一帧的时间等分为多个代表深度值的数量。在示例实施例中，由于即使在设置多个代表深度时代表深度也被设置为最小数量，因此与通过使用时分方法按时间顺序执行所有深度表达的情况相比，可以降低高速驱动要求。
上述3D图像显示设备可以以可穿戴的形式配置。可以以可穿戴形式配置3D图像显示设备的所有或一些组件。
例如，3D图像显示设备可以以头戴式显示器(HMD)的形式应用。此外，本公开不限于此。3D图像显示设备可以应用于眼镜型显示器或护目镜型显示器。
上述3D图像显示设备可以应用于实现AR显示，其中在图像形成光学系统中形成的图像和现实世界的图像一起显示给观察者。
通过组合和显示关于现实世界的环境的虚拟对象或信息，AR显示器可以进一步增加现实的效果。例如，在观察者的位置处，由现实世界提供的关于环境的附加信息可以由图像形成器形成并提供给观察者。AR显示器可以应用于普遍存在的环境或物联网(IoT)环境。
现实世界的图像不限于真实环境，并且可以是例如由另一图像装置形成的图像。因此，上述3D图像显示设备可以应用为一起显示两个图像的多图像显示设备。
上述3D图像显示设备可以可操作地连接到或链接到另一电子设备，例如智能电话。例如，可以在智能电话中提供驱动3D图像显示设备的处理器。另外，上述3D图像显示设备可以包括在智能手机中，使得智能手机本身可以用作3D图像显示设备。
根据上述3D图像显示设备和方法，可以表示多深度，因此可以形成没有视觉疲劳的3D图像。
根据上述3D图像显示设备和方法，关于多深度的表示，可以针对每个图像帧使用最小数量的所选代表深度，可以简化系统驱动，并且数据吞吐量会减少。
根据上述3D图像显示设备和方法，由于可以通过图像分析来选择用于表示多个深度的代表深度，因此不需要单独的眼睛跟踪传感器，因此可以简化系统配置。
上述3D图像显示设备和方法可以容易地应用于可穿戴设备，并且可以应用于例如眼镜型AR显示设备。
已经在附图中描述和示出了示例实施例以帮助理解本公开。然而，这些实施例仅是示例，不限制本公开的范围。而且，应该理解，本公开不限于在本公开中示出和描述的那些。也就是说，本领域普通技术人员可以在其中进行各种修改。
应当理解，本文描述的示例实施例应仅被认为是描述性意义而不是出于限制的目的。通常应当认为每个示例实施例中的特征或方面的描述可用于其他实施例中的其他类似特征或方面。
虽然已经参考附图描述了一个或多个示例实施例，但是本领域普通技术人员将理解，在不脱离通过以下权利要求所定义的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (23)

1.一种三维3D图像显示设备，包括：
显示设备，被配置为根据3D图像信息调制光以形成3D图像；
可变焦光学系统，被配置为将由显示设备形成的3D图像聚焦在参考平面上；
处理器，被配置为通过从与3D图像对应的多个深度位置中选择深度位置来确定3D图像的代表深度值，作为代表深度值，并控制可变焦光学系统以通过基于代表深度值调整可变焦光学系统的焦点来调整参考平面；和
传输光学系统，被配置为将聚焦在参考平面上的3D图像传输到观察者的瞳孔，
其中，处理器还被配置为：
确定具有比3D图像的彩色图中的第二区域更高的视觉浓度的、3D图像的彩色图中的第一区域作为代表区域，并且
通过从与3D图像对应的多个深度位置中选择对应于代表区域的深度位置作为代表深度值来确定代表深度值。
2.如权利要求1所述的3D图像显示设备，其中，处理器还被配置为基于3D图像的深度图和彩色图确定代表深度值。
3.如权利要求2所述的3D图像显示设备，其中，处理器还被配置为将包括在深度图中的深度值量化为多个量化值，并选择多个量化值中的至少一个作为代表深度值。
4.如权利要求2所述的3D图像显示设备，其中，处理器还被配置为基于来自彩色图的显著性信息确定代表深度值。
5.如权利要求2所述的3D图像显示设备，其中，处理器还被配置为基于彩色图中的内容确定代表深度值。
6.如权利要求1所述的3D图像显示设备，其中，所述处理器还被配置为：根据焦距确定通过双眼聚散识别单个图像的区域范围，并基于所述区域范围确定所述代表深度值。
7.如权利要求1所述的3D图像显示设备，其中，所述可变焦光学系统包括基于所述代表深度值沿着光轴调节的至少一个透镜，使得调节所述至少一个透镜与所述显示设备之间的距离。
8.如权利要求1所述的3D图像显示设备，其中，所述可变焦光学系统包括至少一个具有可变曲率的透镜。
9.如权利要求1所述的3D图像显示设备，其中，所述传输光学系统被配置为将在所述参考平面上聚焦的所述3D图像与所述观察者前面的真实环境图像一起传输到所述观察者的瞳孔。
10.如权利要求1所述的3D图像显示设备，其中，所述传输光学系统包括路径转换构件，所述路径转换构件被配置为在朝向所述观察者的瞳孔的方向上偏转在所述参考平面上聚焦的所述3D图像的路径。
11.如权利要求10所述的3D图像显示设备，其中，路径转换构件包括被配置为在观察者前面发送真实环境图像的材料。
12.如权利要求11所述的3D图像显示设备，其中，所述路径转换构件包括半反射镜。
13.如权利要求1所述的3D图像显示设备，其中，所述3D图像显示设备是可穿戴透视型显示设备。
14.一种三维3D图像显示方法，包括：
根据3D图像信息调制光以形成3D图像；
通过可变焦光学系统聚焦在参考平面上形成的3D图像；
通过从与3D图像对应的多个深度位置中选择深度位置来确定3D图像的代表深度值，作为代表深度值；
通过基于代表深度值调整可变焦光学系统的焦点来调整参考平面；和
将聚焦在参考平面上的3D图像传输到观察者的瞳孔，
其中确定代表深度值包括：
确定具有比3D图像的彩色图中的第二区域更高的视觉浓度的、3D图像的彩色图中的第一区域作为代表区域，以及
通过从与3D图像对应的多个深度位置中选择对应于代表区域的深度位置作为代表深度值。
15.如权利要求14所述的3D图像显示方法，其中，选择代表深度值包括基于3D图像的深度图和彩色图确定代表深度值。
16.如权利要求15所述的3D图像显示方法，其中，确定代表深度值还包括：
将深度图中包括的深度值量化为多个量化值；并且选择多个值中的至少一个作为代表深度值。
17.如权利要求15所述的3D图像显示方法，其中，确定代表深度值还包括：基于来自彩色图的显著性信息确定代表深度值。
18.如权利要求15所述的3D图像显示方法，其中，确定代表深度值还包括：基于彩色图中的内容确定代表深度值。
19.如权利要求14所述的3D图像显示方法，其中，确定代表深度值还包括：
确定根据焦距通过双眼聚散识别单个图像的区域范围；和
基于区域范围确定代表深度值。
20.如权利要求14所述的3D图像显示方法，其中，调节可变焦光学系统包括调节至少一个透镜在光轴上的位置或调节至少一个透镜的曲率。
21.一种三维3D图像显示设备，包括：
处理器,被配置为：
接收图像信息以形成3D图像，该图像信息包括3D图像的彩色图；
基于3D图像的彩色图确定3D图像的代表深度值，以及
产生信号以控制可变焦光学系统以基于代表深度值调整参考平面，
其中，处理器还被配置为：
确定具有比3D图像的彩色图中的第二区域更高的视觉浓度的、3D图像的彩色图中的第一区域作为代表区域，并且
通过从与3D图像对应的多个深度位置中选择对应于代表区域的深度位置作为代表深度值来确定代表深度值。
22.如权利要求21所述的3D图像显示设备，其中，处理器还被配置为通过基于来自彩色图的视觉浓度信息从与3D图像对应的多个深度位置中选择深度位置作为代表深度值来确定代表深度值。
23.如权利要求21所述的3D图像显示设备，其中，处理器还被配置为：
基于与3D图像对应的聚散度和焦距之间的关系确定多个舒适区域ZOC；
其中，确定代表深度值包括确定第一ZOC的第一代表深度值和第二ZOC的第二代表深度值。
CN201910018578.2A 2018-07-30 2019-01-09 三维图像显示设备和方法 Active CN110780454B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180088674A KR102546321B1 (ko) 2018-07-30 2018-07-30 3차원 영상 표시 장치 및 방법
KR10-2018-0088674 2018-07-30

Publications (2)

Publication Number Publication Date
CN110780454A CN110780454A (zh) 2020-02-11
CN110780454B true CN110780454B (zh) 2022-12-20

Family

ID=65493947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910018578.2A Active CN110780454B (zh) 2018-07-30 2019-01-09 三维图像显示设备和方法

Country Status (4)

Country Link
US (1) US10878630B2 (zh)
EP (1) EP3605196B1 (zh)
KR (1) KR102546321B1 (zh)
CN (1) CN110780454B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006191A1 (ja) * 2019-07-10 2021-01-14 株式会社ソニー・インタラクティブエンタテインメント 画像表示装置、画像表示システムおよび画像表示方法
KR20210091580A (ko) * 2020-01-14 2021-07-22 삼성전자주식회사 3차원 영상 표시 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101300519A (zh) * 2005-11-02 2008-11-05 皇家飞利浦电子股份有限公司 用于3维显示的光学系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367282B1 (ko) * 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
US9307224B2 (en) * 2009-11-23 2016-04-05 Samsung Electronics Co., Ltd. GUI providing method, and display apparatus and 3D image providing system using the same
KR101737085B1 (ko) * 2010-11-05 2017-05-17 삼성전자주식회사 3차원 카메라
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US20120127155A1 (en) * 2010-11-23 2012-05-24 Sharp Laboratories Of America, Inc. 3d comfort and fusion limit empirical model
US9098111B2 (en) 2012-06-22 2015-08-04 Microsoft Technology Licensing, Llc Focus guidance within a three-dimensional interface
CN104427291B (zh) 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
US9857591B2 (en) * 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
IL247588B2 (en) 2014-03-05 2023-12-01 Univ Arizona A three-dimensional wearable display for augmented reality with a focus that can be changed and/or object recognition
CN105654021B (zh) * 2014-11-12 2019-02-01 株式会社理光 检测人群对目标位置关注度的方法及设备
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
DE112015005847T5 (de) 2015-01-23 2017-09-14 Olympus Corporation Endoskopvorrichtung und Scharfeinstellungssteuerungsverfahren für Endoskopvorrichtung
US9726891B2 (en) 2015-09-03 2017-08-08 Microsoft Technology Licensing, Llc Left and right eye optical paths with shared optical element for head-mounted display device
KR101940718B1 (ko) * 2015-09-04 2019-01-22 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법
KR20170032736A (ko) 2015-09-15 2017-03-23 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스
KR101717379B1 (ko) 2015-12-07 2017-03-20 주식회사 에이스엠이 휴먼팩터 기반의 입체영상 후보정 처리 시스템
US10192292B2 (en) 2016-02-16 2019-01-29 The Board Of Trustees Of The Leland Stanford Junior University Accommodation-invariant computational near-eye displays
EP3440497B1 (en) 2016-04-08 2023-08-16 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US10453272B2 (en) 2016-05-29 2019-10-22 Google Llc Time-warping adjustment based on depth information in a virtual/augmented reality system
KR102629583B1 (ko) 2016-07-13 2024-01-25 삼성전자주식회사 3차원 이미지를 처리하는 방법 및 장치
KR20180012057A (ko) * 2016-07-26 2018-02-05 삼성전자주식회사 투시형 디스플레이 장치
JP7096836B2 (ja) * 2017-03-22 2022-07-06 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング
KR102575649B1 (ko) 2018-04-24 2023-09-06 삼성전자주식회사 투시형 디스플레이 장치
US11243396B2 (en) 2018-06-28 2022-02-08 Samsung Electronics Co., Ltd. Display apparatus
KR20200013453A (ko) 2018-07-30 2020-02-07 삼성전자주식회사 3차원 영상 표시 장치 및 영상 처리 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101300519A (zh) * 2005-11-02 2008-11-05 皇家飞利浦电子股份有限公司 用于3维显示的光学系统

Also Published As

Publication number Publication date
CN110780454A (zh) 2020-02-11
EP3605196B1 (en) 2021-03-31
KR102546321B1 (ko) 2023-06-21
US10878630B2 (en) 2020-12-29
EP3605196A1 (en) 2020-02-05
US20200035027A1 (en) 2020-01-30
KR20200013456A (ko) 2020-02-07

Similar Documents

Publication Publication Date Title
JP6829285B2 (ja) 仮想および拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法およびシステム
US11030926B2 (en) Image display apparatus capable of multi-depth expression
JP2022082551A (ja) 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
KR102384223B1 (ko) 3차원 영상 표시용 광 변조 신호 형성 방법, 3차원 영상 표시 방법 및 장치
US9905143B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
CN107076984A (zh) 虚像生成器
KR20180035934A (ko) 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
WO2012175939A1 (en) Apparatus and method for displaying images
WO2018100239A1 (en) Imaging system and method of producing images for display apparatus
US20230043244A1 (en) Image display device including moveable display element and image display method
WO2017014138A1 (ja) 画像提示装置、光学透過型ヘッドマウントディスプレイ、および画像提示方法
CN110780454B (zh) 三维图像显示设备和方法
KR102411661B1 (ko) 영상 처리 방법 및 디바이스
CN117795396A (zh) 显示设备和显示方法
US11682325B2 (en) Display apparatus including free-formed surface and operating method thereof
EP4001995A1 (en) Image display device capable of expressing multiple depth
US11409114B2 (en) Image display device capable of multi-depth expression
US20220236565A1 (en) Display apparatus including vision correction lens
US20230360567A1 (en) Virtual reality display system
KR101272015B1 (ko) 입체영상표시장치
KR20230167578A (ko) 대상 객체 적응적 심도 가변형 증강현실 장치 및 방법
Surman et al. Display development in the advanced displays laboratory at NTU
Yu et al. Modern Display Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant