CN114341705A - 能够表达多个深度的图像显示设备 - Google Patents

能够表达多个深度的图像显示设备 Download PDF

Info

Publication number
CN114341705A
CN114341705A CN202080062250.1A CN202080062250A CN114341705A CN 114341705 A CN114341705 A CN 114341705A CN 202080062250 A CN202080062250 A CN 202080062250A CN 114341705 A CN114341705 A CN 114341705A
Authority
CN
China
Prior art keywords
display device
image
image display
processor
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080062250.1A
Other languages
English (en)
Inventor
申俸受
金允泰
成基荣
李彰健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200086980A external-priority patent/KR20210010370A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114341705A publication Critical patent/CN114341705A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一种图像显示装置包括：显示设备，所述显示设备被配置为对光进行调制以形成图像；驱动器，所述驱动器被配置为驱动所述显示设备，使得所述显示设备的位置发生变化；光传输器，所述光传输器被配置为将由所述显示设备形成的所述图像传输到观察者的眼睛并且包括聚焦构件；以及处理器，所述处理器被配置为根据图像信息来生成光调制信号和驱动信号，并且根据所述光调制信号和所述驱动信号来分别控制所述显示设备和所述驱动器。

Description

能够表达多个深度的图像显示设备
技术领域
本公开涉及能够表达多个深度的图像显示设备。
背景技术
3维(3D)图像显示技术已应用于各种领域，并且最近已应用于与虚拟现实(VR)显示和增强现实(AR)显示相关的图像显示装置。
提供VR的头戴式显示器现在趋于广泛应用于娱乐行业，因为它变得商业上可用。此外，头戴式显示器被发展成可应用于医疗、教育和工业领域的形式。
是VR显示器的高级形式的AR显示器是图像装置，其结合真实世界和VR并具有衍生现实与VR之间的交互的特征。现实与VR之间的交互是基于实时地提供有关真实情形的信息的功能，并且可通过将虚拟对象或信息叠加在真实世界的环境中来进一步增加现实的效果。
在此类装置中，立体视觉技术通常用于3D图像显示，这可能伴随着因视觉辐辏调节失配而导致的视觉疲劳。因此，已经寻求一种能够减少视觉疲劳的3D图像显示方法。
发明内容
技术问题
提供了能够进行多深度表达的图像显示装置。
技术方案
根据实施例的一个方面，一种图像显示装置包括：显示设备，所述显示设备被配置为对光进行调制以形成图像；驱动器，所述驱动器被配置为驱动显示设备，使得显示设备的位置发生变化；光传输器，所述光传输器被配置为将由显示设备形成的图像传输到观察者的眼睛并且包括聚焦构件；以及处理器，所述处理器被配置为根据图像信息来生成光调制信号和驱动信号，并且根据光调制信号和驱动信号来分别控制显示设备和驱动器。
附加方面将部分地在之后的描述中陈述，并且部分地将从描述中明白，或者可以通过本公开的所呈现实施例的实践来学习。
驱动器可以进一步被配置为平行移动显示设备，使得显示设备与聚焦构件之间的距离发生变化。
驱动器可以包括形状可变部分，所述形状可变部分可根据所施加信号变形以向显示设备提供驱动力。
形状可变部分可以包括形状因热量而变化的材料。
形状可变部分可以包括形状记忆合金或电活性聚合物。
光传输器可以进一步被配置为将由显示设备形成的图像作为在预定位置处的虚拟图像平面上的放大图像传输到观察者的眼睛。
图像信息可以包括与虚拟图像平面相对于多个帧的图像中的每一个的位置相关的深度信息，并且处理器可以进一步被配置为根据深度信息生成驱动信号。
深度信息可以是根据针对多个帧的图像中的每一个的显著图预先设定的信息。
处理器可以进一步被配置为生成要应用于具有不同深度信息的两个连续帧的图像中的任一个的比例因子，并且通过将比例因子反映到图像信息来生成光调制信号。
处理器可以进一步被配置为计算对两个帧的图像中的每一个进行成像的放大率，并且当两个放大率之间的变化值等于或小于预定参考值时，将比例因子设定为1。
处理器可以进一步被配置为计算对两个帧的图像中的每一个进行成像的放大率，并且当两个放大率之间的变化值大于预定参考值时，确定两个帧的图像的相似度。
处理器可以进一步被配置为当两个帧的图像的相似度等于或小于预定参考值时，将比例因子设定为1，并且当两个帧的图像的相似度大于预定参考值时，生成抵消变化值的比例因子。
处理器可以进一步被配置为，针对同一帧的图像，传输与光调制信号相比延迟预定时间的驱动信号，并且控制显示设备和驱动器。
预定时间可以被设定为等于或大于观察者的眼睛的视觉辐辏调节时间。
光传输器可以进一步被配置为将包括来自显示设备的图像的第一光与包括在观察者前方的真实环境的图像的第二光组合，并且将所组合光传输到观察者的眼睛。
光传输器可以包括分束器，所述分束器相对于第一光的行进路径和第二光的行进路径倾斜地设置，以及聚焦构件。
分束器可以是半反射镜。
显示设备可以包括第一显示设备和第二显示设备，驱动器可以包括第一驱动器和第二驱动器，所述第一驱动器和所述第二驱动器分别被配置为驱动第一显示设备和第二显示设备，使得第一显示设备和第二显示设备的位置发生变化，并且光传输器可以包括第一光传输器和第二光传输器，所述第一光传输器和所述第二光传输器被配置为将由第一显示设备和第二显示设备形成的图像分别传输到观察者的左眼和右眼。
图像信息可以包括有关要被感知为一个帧的三维(3D)图像的一对左眼图像和右眼图像的信息，并且处理器可以进一步被配置为控制第一显示设备和第二显示设备，使得左眼图像由第一显示设备形成，并且右眼图像由第二显示设备形成。
图像信息还可以包括与要在其上对左眼图像和右眼图像进行成像的虚拟图像平面的位置相关的深度信息，并且处理器可以进一步被配置为根据深度信息来控制第一驱动器和第二驱动器。
图像显示装置可以是可穿戴装置。
驱动器可以将显示设备驱动到对应于分别表示近和远的两个深度值中的一个的位置。
图像显示装置还可以包括眼睛跟踪传感器，所述眼睛跟踪传感器被配置为感测观察者的眼睛观看的深度位置。
处理器可以参考由眼睛跟踪传感器感测到的测量值来生成驱动信号。
处理器可以确定测量值是在近范围内还是在远范围内，并且生成驱动信号，使得显示设备被驱动到对应于表示近范围和远范围的两个代表值中的一个的位置。
处理器可以基于通过使用针对多个帧的每个图像的显著图设定的深度值来生成驱动信号。
处理器可以通过反映由眼睛跟踪传感器感测到的测量值来校正驱动信号。
处理器可以仅当通过使用显著图设定的深度值和由眼睛跟踪传感器感测到的测量值属于预先设定的近范围和远范围之中的不同范围时才校正驱动信号。
有益效果
上述图像显示装置可能够以紧凑的结构进行大范围的深度表达。
上述图像显示装置可以提供结合双目视差方法和深度表达的3D图像。
上述图像显示装置可以容易地应用于可穿戴设备，并且可以应用于例如眼镜式AR显示装置等。
附图说明
图1是示出根据一个实施例的图像显示装置的配置和光学布置的图示；
图2是示出可以在图1的图像显示装置中采用的处理器的配置的示例的框图；
图3是示出可以在图1的图像显示装置中采用的处理器的配置的另一个示例的框图；
图4是示出可以在图1的图像显示装置中采用的处理器的配置的另一个示例的框图；
图5是示出包括在图4的处理器中的比例因子生成器的操作的示例的流程图；
图6和图7示出显示装置和图像平面位置根据驱动器的变形而改变的示例以及图1的图像显示装置中的驱动器的结构的示例；
图8是示出图6和图7的驱动器的详细形状的透视图；
图9是示出可以在图1的图像显示装置中采用的驱动器的配置的示例；
图10是示出可以在图1的图像显示装置中采用的驱动器的配置的另一个示例；
图11是示出可以在图1的图像显示装置中采用的驱动器的配置的另一个示例；
图12示出根据另一个实施例的图像显示装置的配置和光学布置；
图13是示出包括在图12的图像显示装置中的处理器的配置的示例的框图；
图14是示出根据另一个实施例的图像显示装置的配置和光学布置的图示；
图15是示出可以在图14的图像显示装置中采用的处理器的配置的示例的框图；
图16是示出由图15的处理器执行的生成驱动信号的过程的示例的流程图；
图17是示出由图15的处理器执行的生成驱动信号的过程的另一个示例的流程图；
图18是示出可以在图14的图像显示装置中采用的处理器的配置的另一个示例的框图；并且
图19是示出由图18的处理器执行的生成驱动信号的过程的示例的流程图。
具体实施方式
现在将详细参考实施例，其示例在附图中示出，其中相同的附图标记始终表示相同的元件。在这点上，本实施例可以具有不同的形式，并且不应该被解释为限于这里阐述的描述。因此，下面仅通过参考附图来描述实施例，以解释各方面。如本文所使用的，术语“和/或”包括相关联的所列项目的一项或多项的任意和所有组合。在元素列表之前使用“至少一个”等表述时，会修改整个元素列表，而不会修改列表中的单个元素。
在下文中，当构成元素设置在另一个构成元素的“上方”或“上”时，所述构成元素可以仅直接位于其他构成元素上或以非接触方式位于其他构成元素上方。
本说明书中的单个的表达包括多个的表达，除非上下文另外明显地说明。此外，诸如“包括(comprise)”和/或“包括(comprising)”的术语可以被解释为表示构成元素，但可不被解释为排除另一个构成元素的存在或添加的可能性。
术语“一个”和“一种”以及“所述”还有类似的指称在描述本公开的上下文中(尤其是在所附权利要求的上下文中)的使用应当被解释为涵盖单数和复数形式两者。
此外，除非本文另外指明或上下文另外明显地矛盾，否则本文描述的所有方法的操作可以任何合适的次序执行。本公开不限于操作的所描述次序。除非另外要求保护，否则本文提供的任何和所有示例或语言(例如，“诸如”)的使用仅意图更好地说明本公开，并且不对本公开的范围构成限制。
图1是示出根据一个实施例的图像显示装置1000的配置和光学布置的图示，并且图2是示出可以在图1的图像显示装置1000中采用的处理器400的配置的示例的框图。
图像显示装置1000包括：显示设备100，所述显示设备对光进行调制以形成图像；驱动器200，所述驱动器驱动显示设备100以使得显示设备100的位置变化；光传输器300，所述光传输器将由显示设备100形成的图像传输到观察者的眼睛；以及处理器400，所述处理器根据图像信息来控制显示设备100和驱动器200。
显示设备100根据要提供给观察者的图像的图像信息来对光进行调制以形成图像。由显示设备100形成的图像可以提供给观察者的双眼，并且为了方便，图中仅示出了朝向一只眼睛的光学系统。由显示设备100形成的图像可以是例如提供给观察者左眼和右眼中的每一者的立体图像、全息图像、光场图像、积分照相(IP)图像等，并且可以包括多视图或超级多视图图像。此外，图像不限于此并且可以是一般的二维(2D)图像。
显示设备100可以包括例如硅基液晶(LCoS)设备、液晶显示(LCD)设备、有机发光二极管(OLED)显示设备和数字微镜设备(DMD)，并且还可以包括下一代显示设备，诸如微型LED、量子点LED等。
尽管在图像显示装置1000中未示出，但是提供用于形成图像的光的光源可以设置在显示设备100中，并且还可以提供诸如用于调整光路的分束器、用于放大或缩小图像的中继透镜、用于噪声去除的空间滤波器等的配置。
光传输器300改变由显示设备100形成的图像的路径，形成尺寸适合观察者的视野的图像，并且将图像传输到观察者的眼睛。光传输器300可以包括聚焦构件310并且还可以包括作为用于使光转向以改变路径的构件的分束器330。
聚焦构件310可以包括具有屈光力的图像形成构件并且可以放大或缩小由显示设备100形成的图像。聚焦构件310被示出为凹面反射镜，但是不限于此。聚焦构件310可以具有凹面反射镜、凸透镜、凹透镜等的组合形状。
分束器330可以包括半反射镜，所述半反射镜透射入射光的一半并反射入射光的另一半。然而，分束器330不限于此，并且可以包括根据偏振透射或反射入射光的偏振分束器。当分束器330可以包括偏振分束器时，可以在光传输器300中进一步提供用于偏振转换的附加光学元件。
如图所示，聚焦构件310和分束器330通过透明光导构件350固定，使得光传输器300可以具有一体结构。然而，这是示例并且不限于此。
光传输器300不仅可以将包括由显示设备100形成的图像的光传输到观察者的眼睛，而且可以传输包括观察者前方的真实环境图像的光。因此，图像显示装置1000可以用作透视型显示器。
光传输器300不限于所示的形状和配置。可以进一步提供附加光学元件以便将由显示设备100形成的图像连同观察者前方的真实环境图像一起传输到观察者的瞳孔，并且可以采用具有各种形状和结构的光学窗口。
由显示设备100形成的图像的光沿着路径到达观察者的眼睛，使得光穿过分束器330并被聚焦构件310反射，并且然后被分束器330反射。在该路径中，观察者识别在分束器330后方的预定位置处的虚拟图像平面VP上形成的虚拟图像，并且观察者所感觉到的深度感根据虚拟图像平面VP的位置而变化。
根据一个实施例的图像显示装置1000可以不将虚拟图像平面VP的位置固定为一个值，但是可以通过反映要显示的图像的深度感来改变虚拟图像平面VP的位置。为此，图像显示装置1000包括用于驱动显示设备100的位置的驱动器200。驱动器200可以平行移动显示设备100，使得驱动器200与聚焦构件310之间的距离发生变化。当显示设备100的位置在A1方向上变化时，虚拟图像平面VP的位置在A2方向上变化。
在图像显示装置1000中采用的驱动器200采用形状可变材料以便在尽可能小的体积中加宽显示设备100的位置驱动范围。也即，驱动器200可以根据所施加信号而变形并且向显示设备100提供驱动力。对于这种形状变化，可以在驱动器200中采用形状因热量而变化的材料。驱动器200可以包含形状记忆合金(SMA)或电活性聚合物(EAP)。稍后将参考图6至图11描述通过驱动驱动器200来改变显示设备100的位置的详细配置的示例。
处理器400可以根据与要由观察者感知的图像相关的图像信息来生成要传输到显示设备100的光调制信号SG1和要传输到驱动器200的驱动信号SG2。显示设备100和驱动器200分别由所生成的光调制信号SG1和驱动信号SG2控制。也即，通过光调制信号SG1在显示设备100上形成图像，并且驱动显示设备100的位置，使得根据图像适当设定的虚拟图像平面VP被定位。
图像显示装置1000还可以包括存储器500，并且可以将驱动图像显示装置1000所需的各种数据和程序代码存储在包括图像信息的存储器500中。
处理器400可以包括光调制信号生成器410和驱动信号生成器480。光调制信号SG1和驱动信号SG2分别由光调制信号生成器410和驱动信号生成器480参考图像信息生成。
图像信息可以包括与关于要提供给观察者的多个帧的图像中的每一个的多个像素的颜色值相关的每个像素的数据，并且包括与在其上对每个图像进行成像的虚拟图像平面VP的位置相关的深度信息。
包括在图像信息中的深度信息可以是关于多个帧的图像中的每一个的预先确定的代表深度值。该深度值可以被设定为一个或多个值。
可以根据显著图(salience map)预先设定代表深度。可以执行显著图分析以选择观察者极有可能观看的区域，即具有高视觉集中度的区域。可以考虑亮度、颜色、轮廓、对象大小等来选择具有高视觉集中度的区域。例如，与周围环境相比亮度或颜色差异大的区域、轮廓特征强的区域以及对象大小大的区域可以具有高视觉集中度的区域。可以选择对应于该区域的深度值作为代表深度。替代地，可以根据图像中所包括的内容来选择具有高视觉集中度的位置。
此外，可以通过分析图像的深度图和颜色图、根据例如每个深度的频率来设定代表深度。替代地，可以通过考虑人类视觉感知特性的舒适区(ZOC)分析来设定代表深度。
如上所述的代表深度集可以是连续值或者可以是多个离散值。也即，并非使用深度表示所需的所有值，而是可以在通过以预定间隔对这些值进行量化而获得的离散值之中设定代表深度。在对深度值进行量化的情况下，当针对每一帧选择代表深度值以用于移动图像表示时，可以减少在连续帧中选择的代表深度值的变化。因此，可以减少通过驱动器200的显示设备100的位置变化，并且当虚拟图像平面VP的位置与代表深度相对应地改变时，施加到驱动器200的驱动信号SG2也可以被量化并且可以被容易地驱动。当在连续帧中选择同一代表深度值时，不需要显示设备100的位置驱动，并且因此可以进一步简化图像显示装置1000的驱动。所量化深度值可以被设定为例如分别表示近和远的两个深度值。
光调制信号生成器410可以生成实现参考图像信息中所包括的每个像素的数据确定的颜色值的电信号作为光调制信号SG1。
驱动信号生成器480可以生成用于移动显示设备100的位置的驱动信号SG2，使得虚拟图像平面VP形成在对应于参考深度信息设定的代表深度值的位置上。例如，驱动信号SG2可以是生成适于驱动器200的可变材料的变形的热量的电信号。
光调制信号SG1和驱动信号SG2可以分别被传输到显示设备100和驱动器200，使得观察者可以从虚拟图像平面VP的所改变位置感知到对应图像。
用于驱动驱动器200的驱动信号SG2可以被传输为与光调制信号SG1相比延迟预定时间。预定时间可以被设定为等于或大于观察者的眼睛的视觉辐辏调节时间。这考虑了人眼感知具有所改变深度位置的图像所花费的时间。
图3是示出可以在图1的图像显示装置1000中采用的处理器401的配置的另一个示例的框图。
处理器401还可以包括代表深度提取器430连同光调制信号生成器410和驱动信号生成器480。
在图2的描述中，图像信息被描述为包括预先设定的深度信息，但是不限于此。处理器401可以包括代表深度提取器430。也即，处理器401参考图像信息中所包括的每个像素的数据提取每个图像的代表深度，并且再次将所述代表深度反映到图像信息。参考此，驱动信号生成器480可以生成驱动信号SG2。
图4是示出可以在图1的图像显示装置1000中采用的处理器402的配置的另一个示例的框图，并且图5是示出包括在图4的处理器402中的比例因子生成器450的操作的示例的流程图。
除了光调制信号生成器410、驱动信号生成器480和代表深度提取器430之外，处理器402还可以包括比例因子生成器450。
比例因子生成器450生成要应用于具有不同深度信息的两个连续帧的图像中的任一个的比例因子。
这被认为是当两个连续帧的图像具有不同的虚拟图像平面VP时，两个连续帧的图像可以表现出不同的放大率(magnification)。
放大率m被如下定义。
Figure BDA0003531684900000101
其中，do表示从显示设备100的图像显示表面到聚焦构件310的距离，并且di表示从聚焦构件310到虚拟图像平面VP的距离。di表示沿着虚拟光路的距离，并且所指示距离di和di’包括从聚焦构件310的中心到分束器330的中心的距离和从分束器330的中心到虚拟图像平面VP的距离。
当根据显示设备100的位置和虚拟图像平面VP的位置确定do和di并且此时的放大率是m时，对应于虚拟图像平面VP的所改变位置的与m不同的放大率m’是di’/do’。连续帧图像中的放大率的这种变化对于观察者来说可能会感到别扭。为了形成更自然的深度感，处理器402可以通过将可以抵消放大率的变化的比例因子反映到图像信息来在显示设备100上形成图像。
比例因子不必应用于具有不同放大率的所有连续帧图像，并且可以在放大率变化值大于预定参考值时应用。此外，即使当放大率变化值较大时，彼此不相关的其他场景的图像也可能不需要应用比例因子。考虑到这种情形，可以设定和应用比例因子。
参考图5，为了生成比例因子，比例因子生成器450确定两个连续帧的图像的放大率的变化(S451)。也即，比例因子生成器450计算两个连续帧的图像中的每一个的放大率m1和m2并且计算变化值。例如，可以将变化值定义为比值m2/m1或差值m2-m1。
接下来，比例因子生成器450将两个放大率m1和m2之间的所计算变化值与预定参考值进行比较(S452)。
如果两个放大率m1和m2之间的变化值小于或等于预定参考值，则比例因子生成器450将比例因子设定为1(S456)。
否则，当两个放大率m1和m2之间的变化值大于预定参考值时，比例因子生成器450确定两个帧的图像的相似度(S453)。为了确定图像的相似度，可以比较根据预定确定参考限定的数值。所述数值被称为相似度。相似度可以基于像素值来限定，或者可以由适于图像比较的其他参考来限定。
即使当放大率的变化较大时，也可以针对不相关的场景不应用比例因子。这是因为作为场景变化的一部分，观察者可以自然地感觉到放大率的变化。当两个帧的所比较图像的相似度等于或小于预定参考值时，比例因子生成器450可以将比例因子设定为1(S456)。
当两个帧的所比较图像的相似度大于预定参考值时，比例因子生成器450可以生成抵消放大率变化值的比例因子(S455)。例如，当变化值被设定为比值时，比例因子可以被设定为与放大率变化值成反比的值。
这样，由比例因子生成器450设定的比例因子再次反映到图像信息，并且光调制信号生成器410参考所述比例因子生成光调制信号。
如参考图3所描述的，代表深度提取器430可以根据图像信息设定代表深度并且将代表深度作为深度信息反映到图像信息。参考代表深度，驱动信号生成器480可以生成驱动信号SG2。
图4所示的处理器402包括代表深度提取器430连同比例因子生成器450，但是这是示例。处理器402不必一起包括代表深度提取器430和比例因子生成器450。例如，由另一个处理器等设定的代表深度可以作为深度信息预先包括在图像信息中。此外，比例因子可以由另一个处理器等设定并且预先包括在图像信息中。
图6和图7示出显示装置100和图像平面位置根据驱动器200的变形而改变的示例以及图1的图像显示装置1000中的驱动器200的结构的示例。图8是示出图6和图7的驱动器200的详细形状的透视图。
参考图6和图7，驱动器200可以包括变形部分210、桥接部分220和驱动控制器230。变形部分210可以具有线形。变形部分210的长度可以根据变形部分210的温度或在变形部分210中形成的电场而变化。例如，变形部分210可以包括SMA、EAP以及它们的组合。当变形部分210包括SMA时，变形部分210在高温下可以具有短的长度并且在低温下可以具有长的长度。当变形部分210包括EAP时并且当向变形部分210施加电场时，变形部分210的长度可以在垂直于所施加电场的方向上增大。在下文中，将描述变形部分210因温度而变形的示例。
如图8所示，桥接部分220包括在一个方向上延伸并且在两端处设置有彼此面对的凹入区域的板形构件。桥接部分220可以具有弹性并且可以被变形部分210弯曲以具有拱形形状。变形部分210可以装配到桥接部分220的凹入区域中并且可以具有围绕桥接部分220的端部的形状。当变形部分210缠绕桥接部分220的两端时，桥接部分220的凹入区域固定变形部分210，并因此，变形部分210和桥接部分220的位置可以对准。
变形部分210的温度可以通过施加到变形部分210的电信号来调整。电信号可以由驱动控制器230施加。驱动控制器230可以根据从处理器400传输的驱动信号SG2来将电信号施加到变形部分210。电信号可以是电流信号或电压信号。例如，通过驱动控制器230向变形部分210施加电流以增加变形部分210的温度。当电流未施加到变形部分210时，可以降低变形部分210的温度。
桥接部分220的弯曲程度可以根据变形部分210的长度的改变而变化。当变形部分210的长度减小时，桥接部分220的弯曲程度可以增大。因此，在显示设备100与聚焦构件310之间的距离可以减小。当变形部分210的长度增大时，桥接部分220的弯曲程度可以减小。因此，显示设备100与聚焦构件310之间的距离可以增大。
参考图6，驱动控制器230可以不向变形部分210施加电流。在这种状态下，显示设备100可以与聚焦构件310间隔开距离do’，并且从聚焦构件310到虚拟图像平面VP的光路上的距离可以是di’。
参考图7，可以将电流施加到变形部分210以增加变形部分210的温度。电流可以由驱动控制器230施加。因此，变形部分210的长度可以减小。可以控制变形部分210的温度，使得可以调整变形部分210的长度的变化程度。
当变形部分210的长度减小时，桥接部分220的弯曲程度可以增大。在该变形过程中，桥接部分220可以推动显示设备100以将显示设备100放置成靠近光传输器300。显示设备100与聚焦构件310之间的距离可以减小至do，并且虚拟图像平面VP与聚焦构件310之间的距离可以减小至di。
返回参考图6，当驱动控制器230不再向变形部分210施加电流时，变形部分210的温度可以降低并且其长度可以再次增大。可以减小桥接部分220的弯曲程度。显示设备100与聚焦构件310之间的距离可以再次增大至do，并且虚拟图像平面VP与聚焦构件310之间的距离可以再次减小至di’。
图9至图11示出可以在图1的图像显示装置1000中采用的驱动器201、202和203的配置的示例。
参考图9，驱动器201可以包括变形部分212、支撑部分240和驱动控制器230。变形部分212中的每一个可以与参考图8描述的变形部分210基本上相同，不同的是变形部分的位置和形状。
变形部分212可以设置在支撑部分240与显示设备100之间。变形部分212中的每一个的两端可以分别与支撑部分240和显示设备100接触。示出一对变形部分212，但是这是示例。在其他实施例中，可以提供一个变形部分212或三个或更多个变形部分212。
驱动控制器230可以电连接到变形部分212以将电信号施加到变形部分212中的每一个。例如，驱动控制器230可以向变形部分212施加电流。
当电信号被施加到变形部分212并且变形部分212中的每一个的温度增加时，变形部分212中的每一个的长度可以减小。在这种情况下，显示设备100更靠近支撑部240，即，从显示设备100到聚焦构件310的距离增大。
通过控制变形部分212中的每一个的温度，可以调整变形部分212中的每一个的长度的变化程度，并且可以控制显示设备100与聚焦构件310之间的距离。
参考图10，驱动器202可以包括变形部分212、支撑部分240、恢复部分252和驱动控制器230。变形部分212、支撑部分240和驱动控制器230可以与参考图9描述的那些基本上相同。
恢复部分252可以设置在支撑部分240与显示设备100之间。恢复部分252可以从支撑部分240延伸到显示设备100。恢复部分252可以延伸为彼此交叉。恢复部分252中的每一个的两端可以分别与支撑部分240和显示设备100接触。恢复部分252可以具有弹性。例如，恢复部分252中的每一个可以包括包含碳的杆。当恢复部分252弯曲时，恢复部分252可以具有要又恢复到弯曲之前的状态的恢复力。
当电信号被施加到变形部分212时，变形部分212中的每一个的温度增加，变形部分212中的每一个的长度减小，并且恢复部分252被弯曲。因此，显示设备100接收朝向支撑部分240移动的驱动力，并且显示设备100与聚焦构件310之间的距离增大。可以控制变形部分212的温度，使得可以调整变形部分212中的每一个的长度的变化程度，并且可以控制显示设备100与聚焦构件310之间的距离。
恢复部分252具有恢复力，并因此，当所施加电信号消失时，恢复部分252可以根据变形部分212中的每一个的长度的增大而恢复到原始状态。恢复力可以作用在显示设备100与支撑部分240之间的距离增大的方向上，并因此，显示设备100与聚焦构件310之间的距离可以减小。
参考图11，驱动器203可以包括变形部分212、支撑部分240、恢复部分254和驱动控制器230。变形部分212、支撑部分240和驱动控制器230可以与参考图9描述的那些基本上相同。
恢复部分254可以设置在支撑部分240与显示设备100之间。恢复部分254可以包括扭力弹簧。当恢复部分254扭曲时，恢复部分254可以具有要恢复到扭曲之前的状态的恢复力。恢复部分254中的每一个的两端可以分别与支撑部分240和显示设备100接触。
当电信号被施加到变形部分212时，变形部分212中的每一个的温度可以增加，变形部分212中的每一个的长度可以减小，并且显示设备100和支撑部分240可以彼此靠近。由于显示设备100和支撑部分240彼此靠近，因此恢复部分254可以扭曲。因此，显示设备100远离聚焦构件310。通过控制变形部分212中的每一个的温度，可以调整变形部分212中的每一个的长度的变化程度，并且可以控制显示设备100与聚焦构件310之间的距离。
恢复部分254具有用于恢复到初始状态的恢复力，并因此，当所施加电信号消失时，恢复部分254可以根据变形部分212的长度的增大而恢复到原始状态。恢复力可以作用在显示设备100与支撑部分240之间的距离增大的方向上。因此，显示设备100与聚焦构件310之间的距离可以减小。
如上所述，可以在根据实施例的图像显示装置1000中提供的驱动器200、201、202和203可以采用形状可变材料以具有小体积并增加显示设备100的位置驱动范围。显示设备100的驱动范围可以在约1mm内。当驱动范围通过例如音圈马达、压电致动器等来实现时，体积增加非常大，而在本实施例中，驱动范围可以以小于这些的体积来实现。
图12示出根据另一个实施例的图像显示装置2000的配置和光学布置。图13是示出包括在图12的图像显示装置2000中的处理器800的配置的示例的框图。
图像显示装置2000可以包括第一显示设备160、第一驱动器260、第一光传输器360、第二显示设备170、第二驱动器270和第二光传输器370。
第一驱动器260和第二驱动器270分别驱动第一显示设备160和第二显示设备170的位置，并且第一光传输器360和第二光传输器370将由第一显示设备160和第二显示设备170形成的图像分别传输到观察者的左眼和右眼。
图像显示装置2000还包括处理器800和存储器700。处理器800根据存储在存储器700中的图像信息来控制第一显示设备160、第二显示设备170、第一驱动器260和第二驱动器270。处理器800可以包括光调制信号生成器810和驱动信号生成器880。用于执行光调制信号生成器810和驱动信号生成器880的程序代码可以存储在存储器700中。
存储在存储器700中的图像信息可以包括有关可以被感知为一个帧的3D图像的一对左眼图像和右眼图像的信息。左眼图像和右眼图像具有预定视差。处理器800生成光调制信号SG1_L和SG1_R，使得左眼图像形成在第一显示设备160上并且右眼图像形成在第二显示设备170上，并因此控制第一显示设备160和第二显示设备170。
图像信息还可以包括与要在其上对左眼图像和右眼图像进行成像的虚拟图像平面VP的位置相关的深度信息，并且处理器800生成驱动信号SG2_L和SG2_R，使得虚拟图像平面VP根据深度信息(即，基于所设定的深度位置)形成，并且控制第一驱动器260和第二驱动器270。
可以针对每个帧的图像预先设定深度信息并将所述深度信息存储在存储器700中，或者可以根据处理器800中所包括的代表深度提取器830的执行来将所设定深度信息反映到图像信息。
除了光调制信号生成器810和代表深度提取器830以及驱动信号生成器880之外，处理器800还可以包括比例因子生成器850。
比例因子生成器850的不同之处仅在于根据关于针对双眼分别提供的左眼图像信息和右眼图像信息的连续帧图像之间的放大率的变化来生成比例因子，并且与参考图4和图5描述的比例因子生成器450基本上相同。
根据实施例的图像显示装置2000可以通过组合双目视差方法和深度表达来表达3D图像。对于包括预定深度位置的对象的图像，可以通过调整在其上对图像进行成像的虚拟图像平面VP的位置来减少视觉辐辏调节冲突(VAC)。此外，例如使用根据显著图确定的主要对象的深度位置作为代表深度位置，可以在虚拟图像平面VP上形成对象存在于各个深度位置处的图像，并且其余的深度感可以用双目视差来表达，使得可以感知3D图像。此外，作为代表深度位置，可以仅使用在多个帧的图像中识别为近和远的两个值。由于根据实施例的图像显示装置2000利用双目视差和比例因子两者，因此即使通过使用仅两种类型的深度值，观察者的眼睛疲劳较少的自然深度表达也是可能的。在上述图像显示装置1000和2000中，可以进一步应用跟踪观察者的视线的眼睛跟踪模块，并且由眼睛跟踪模块测量的信息可以用于生成驱动显示设备的位置的驱动信号。
图14是示出根据另一个实施例的图像显示装置3000的配置和光学布置的图示。图15是示出可以在图14的图像显示装置3000中采用的处理器的配置的示例的框图。
本实施例的图像显示装置3000与图12的图像显示装置2000的不同之处在于，图像显示装置3000还包括眼睛跟踪传感器ES，并且处理器801处理由眼睛跟踪传感器ES感测到的信号S_ES并生成驱动信号SG2_R和SG2_L。在下文中，将主要描述不同之处。
图像显示装置3000可以包括第一显示设备160、第一驱动器170、第一光传输器360、第二显示设备260和第二驱动器270以及第二光传输器370。如上所述，第一驱动器260和第二驱动器270可以具有采用形状可变材料的驱动器200、201、202和203中的任一个的结构，或者由它们组合或修改而成。第一驱动器260和第二驱动器270可以分别驱动第一显示设备160和第二显示设备170的位置，并且第一光传输器360和第二光传输器370可以将由第一显示设备160和第二显示设备170形成的图像分别传输到观察者的左眼和右眼。
图像显示装置3000还可以包括跟踪观察者的视线的眼睛跟踪传感器ES。眼睛跟踪传感器ES可以感测瞳孔的实际位置和旋转角度，并且可以感测双眼的视觉辐辏位置。由眼睛跟踪传感器ES感测的信号S_ES可以被传输到处理器801，并且包括在处理器801中的眼睛跟踪模块可以计算观察者观看的深度位置。
图14和图15示出的是，两个眼睛跟踪传感器ES分别设置在第一光传输器360和第二光传输器370中，但是本公开不限于此。眼睛跟踪传感器ES可以设置在可以感测双眼的瞳孔位置的其他合适的位置中，并且可以改变所述眼睛跟踪传感器的数量。
参考图15，处理器801可以包括光调制信号生成器810、驱动信号生成器880和代表深度确定器831，并且还可以包括比例因子生成器850。代表深度确定器831可以包括眼睛跟踪模块，所述眼睛跟踪模块处理由眼睛跟踪传感器ES感测到的信号S_ES并确定观察者观看的深度位置，并且用于执行眼睛跟踪模块的程序代码可以存储在存储器700中。
图16是示出由图15的处理器801执行的生成驱动信号SG2_R和SG2_L的过程的示例的流程图。
代表深度确定器831处理由眼睛跟踪传感器ES感测到的信号，并且确定对应于观察者观看的深度位置的深度值dm(S810)，并且然后基于所确定深度值dm，生成驱动信号SG2_R和SG2_L(S815)。也即，生成用于改变显示设备160和170的位置的驱动信号SG2_R和SG2_L，使得虚拟图像平面VP形成在对应于所确定深度值dm的位置上，并且被传输到第一驱动器260第二驱动器270。
图17是示出由图15的处理器801执行的生成驱动信号SG2_R和SG2_L的过程的另一个示例的流程图。
代表深度确定器831处理由眼睛跟踪传感器ES感测到的信号，并且确定对应于观察者观看的深度位置的深度值dm(S820)，并且然后根据所确定深度值dm设定要在生成驱动信号SG2_R和SG2_L时反映的代表深度值dr(S823)。可以将代表深度值dr确定为分别表示预先设定的近范围和远范围的两个值dn和df中的一者。在这样的设定中，可以预先确定两个代表值dn和df，以及用作识别近范围和远范围的标准的深度值dc。当由眼睛跟踪传感器ES确定的深度值dm小于dc(0<dm<dc)时，可以将dn确定为代表深度值dr。当由眼睛跟踪传感器ES确定的深度值dm大于dc(dc<dm<∞)时，可以将df确定为代表深度值dr。当由眼睛跟踪传感器ES确定的深度值dm等于dc时，可以将dn或df确定为代表深度值dr。
接下来，基于所确定的代表深度值dr，生成驱动信号SG2_R和SG2_L(S825)。也即，生成用于改变显示设备160和170的位置的驱动信号SG2_R和SG2_L，使得虚拟图像平面VP形成在对应于所确定深度值dm的位置上，并且被传输到第一驱动器260第二驱动器270。
即使如上所述通过仅使用表示被识别为近和远的两个范围的两个深度值来表达深度感，根据实施例的图像显示装置3000利用双目视差和比例因子，从而减少观察者的眼睛的疲劳，并实现自然的深度表达。
图18是示出可以在图14的图像显示装置3000中采用的处理器802的配置的另一个示例的框图。图19是示出由图18的处理器802执行的生成驱动信号SG2_R和SG2_L的过程的示例的流程图。
处理器802可以包括光调制信号生成器810、驱动信号生成器880和代表深度确定器832，并且还可以包括比例因子生成器850。代表深度确定器832可以包括显著图模块和眼睛跟踪模块，即，其可以用于生成驱动信号SG2_R和SG2_L。
参考图18，首先，可以通过使用显著图模块来确定深度值ds(S830)。如上所述，显著图分析用于选择观察者注意概率高的区域，即，具有高视觉集中度的区域。所选择区域的深度值ds可以被确定为对应帧图像的代表深度值。为了选择具有高视觉集中度的区域，例如可以考虑亮度、颜色、轮廓、对象大小等。
根据所确定深度值ds来生成驱动信号SG2_R和SG2_L(S832)。
此外，根据眼睛跟踪传感器ES的感测结果来确定深度值dm(S834)。接下来，参考所确定深度值dm来校正驱动信号SG2_R和SG2_L。
这种过程是为了反映这样的情况：与显著图分析的结果不同，观察者有意地将他或她的视线聚焦在另一个区域上，以驱动显示设备的位置。例如，尽管驱动显示设备的位置，使得图像在适合显著图分析所预期的观看区域的虚拟位置的位置上显示，但是当观察者观看另一个区域时，可以伴随因视觉辐辏调节失配而导致的视觉疲劳。此外，在所预期观看位置与实际观看位置之间的深度差增大时，疲劳可能增加。因此，虽然通过利用显著图分析来针对多个帧图像中的每一个设定代表深度，但是通过参考眼睛跟踪传感器ES的感测结果来校正驱动信号SG2_R和SG2_L，更自然的深度表达也是可能的。
当利用显著图确定深度值ds时，可以将深度值确定为表示近距离和远距离的两个代表值中的一个，而不是连续值。在这种情况下，驱动信号SG2_R和SG2_L仅在由显著图分析确定的深度值ds和由眼睛跟踪传感器ES确定的深度值dm属于不同范围时才被校正。也即，驱动信号SG2_R和SG2_L仅在观察者相对于预期观看近区域的图像观看远区域时才被校正，反之亦然。换言之，即使显著图中设定的预期观看视域与实际观看视域有轻微差异，当两个区域在相同范围内时，驱动信号SG2_R和SG2_L也不会被校正。如上所述，通过结合显著图和观察者的视线跟踪，可以在尽可能简单地驱动驱动器的同时进行自然深度表达。
上述图像显示装置1000、2000和3000可以以可穿戴形式配置。图像显示装置1000和2000的所有或一些部件可以以可穿戴形式配置。
例如，图像显示装置1000、2000和3000可以以头戴式显示器(HMD)的形式应用。此外，图像显示装置1000和2000不限于此，并且可以应用于眼镜式显示器或护目镜式显示器。
上述的图像显示装置1000、2000和3000可以应用于实现增强现实(AR)，因为可以向观察者示出在显示设备形成上的图像和真实世界的图像两者。
AR可以通过示出在真实世界的环境上结合的虚拟对象或信息来进一步增加现实的效果。例如，在观察者的位置处，图像形成单元可以形成有关由真实世界提供的环境的附加信息，并且将附加信息提供给观察者。AR显示器可以应用于无处不在的环境或物联网(IoT)环境。
真实世界的图像不限于真实环境，并且可以是例如由另一个图像设备形成的图像。因此，上述图像显示装置可以应用于一起显示两个图像的多图像显示装置。
上述图像显示装置1000、2000和3000可以与诸如智能电话机的其他电子设备同步或结合地操作。例如，可以在智能电话机中提供用于驱动图像显示装置1000、2000和3000的处理器。此外，上述图像显示装置1000、2000和3000可以设置在智能电话机中。
应当理解，本文描述的实施例应当仅被认为是描述性意义而不是为了限制的目的。每个实施例中的特征或方面的描述通常应被认为可用于其他实施例中的其他类似特征或方面。虽然已参考附图描述一个或多个实施例，但是本领域普通技术人员将理解，在不脱离如由以下权利要求限定的精神和范围的情况下，可以在其中对形式和细节进行各种改变。

Claims (28)

1.一种图像显示装置，包括：
显示设备，被配置为对光进行调制以形成图像；
驱动器，被配置为驱动所述显示设备，使得所述显示设备的位置发生变化；
光传输器，被配置为将由所述显示设备形成的图像传输到观察者的眼睛并且所述光传输器包括聚焦构件；和
处理器，被配置为根据图像信息来生成光调制信号和驱动信号，并且根据所述光调制信号和所述驱动信号来分别控制所述显示设备和所述驱动器。
2.根据权利要求1所述的图像显示装置，其中，所述驱动器进一步被配置为平行移动所述显示设备，使得所述显示设备与所述聚焦构件之间的距离发生变化。
3.根据权利要求1所述的图像显示装置，其中，所述驱动器包括形状可变部分，所述形状可变部分能够根据所施加信号变形以向所述显示设备提供驱动力。
4.根据权利要求3所述的图像显示装置，其中，所述形状可变部分包括形状因热量而变化的材料。
5.根据权利要求3所述的图像显示装置，其中，所述形状可变部分包括形状记忆合金或电活性聚合物。
6.根据权利要求1所述的图像显示装置，其中，所述光传输器进一步被配置为将由所述显示设备形成的图像作为在预定位置处的虚拟图像平面上的放大图像传输到所述观察者的眼睛。
7.根据权利要求6所述的图像显示装置，其中，所述图像信息包括与所述虚拟图像平面相对于多个帧的图像中的每一个的位置相关的深度信息，并且
其中所述处理器进一步被配置为根据所述深度信息生成所述驱动信号。
8.根据权利要求7所述的图像显示装置，其中，所述深度信息包括根据针对所述多个帧的图像中的每一个的显著图预先设定的信息。
9.根据权利要求7所述的图像显示装置，其中，所述处理器进一步被配置为：
生成要应用于具有不同深度信息的两个连续帧的图像中的任一个的比例因子，并且
通过将所述比例因子反映到所述图像信息来生成所述光调制信号。
10.根据权利要求9所述的图像显示装置，其中，所述处理器进一步被配置为：
计算对所述两个帧的图像中的每一个进行成像的放大率，并且
当两个放大率之间的变化值等于或小于预定参考值时，将所述比例因子设定为1。
11.根据权利要求9所述的图像显示装置，其中，所述处理器进一步被配置为：
计算对所述两个帧的图像中的每一个进行成像的放大率，并且
当两个放大率之间的变化值大于预定参考值时，确定所述两个帧的图像的相似度。
12.根据权利要求11所述的图像显示装置，其中，所述处理器进一步被配置为：
当所述两个帧的图像的所述相似度等于或小于预定参考值时，将所述比例因子设定为1，并且
当所述两个帧的图像的所述相似度大于所述预定参考值时，生成抵消所述变化值的比例因子。
13.根据权利要求1所述的图像显示装置，其中，所述处理器进一步被配置为，针对所述同一帧的图像，传输与所述光调制信号相比延迟预定时间的所述驱动信号，并且控制所述显示设备和所述驱动器。
14.根据权利要求13所述的图像显示装置，其中，所述预定时间被设定为等于或大于观察者的眼睛的视觉辐辏调节时间。
15.根据权利要求1所述的图像显示装置，其中，所述光传输器进一步被配置为将包括来自所述显示设备的图像的第一光与包括在观察者前方的真实环境的图像的第二光组合，并且将所组合光传输到所述观察者的眼睛。
16.根据权利要求15所述的图像显示装置，其中，所述光传输器包括：
分束器，所述分束器相对于所述第一光的行进路径和所述第二光的行进路径倾斜地设置，以及
所述聚焦构件。
17.根据权利要求16所述的图像显示装置，其中，所述分束器包括半反射镜。
18.根据权利要求1所述的图像显示装置，其中，所述显示设备包括第一显示设备和第二显示设备，
其中所述驱动器包括第一驱动器和第二驱动器，所述第一驱动器和所述第二驱动器分别被配置为驱动所述第一显示设备和所述第二显示设备，使得所述第一显示设备和所述第二显示设备的位置发生变化，并且
其中所述光传输器包括第一光传输器和第二光传输器，所述第一光传输器和所述第二光传输器被配置为将由所述第一显示设备和所述第二显示设备形成的图像分别传输到观察者的左眼和右眼。
19.根据权利要求18所述的图像显示装置，其中，所述图像信息包括：
有关要被感知为一个帧的三维(3D)图像的一对左眼图像和右眼图像的信息，并且
其中所述处理器进一步被配置为控制所述第一显示设备和所述第二显示设备，使得所述左眼图像由所述第一显示设备形成，并且所述右眼图像由所述第二显示设备形成。
20.根据权利要求19所述的图像显示装置，其中，所述图像信息还包括：
与要在其上对所述左眼图像和所述右眼图像进行成像的虚拟图像平面的位置相关的深度信息，并且
其中所述处理器进一步被配置为根据所述深度信息来控制所述第一驱动器和所述第二驱动器。
21.根据权利要求18所述的图像显示装置，其中，所述图像显示装置是可穿戴装置。
22.根据权利要求1至21中任一项所述的图像显示装置，其中，所述驱动器被配置为将所述显示设备驱动到对应于分别表示近和远的两个深度值中的一个的位置。
23.根据权利要求1至21中任一项所述的图像显示装置，还包括：眼睛跟踪传感器，所述眼睛跟踪传感器被配置为感测所述观察者的眼睛观看的深度位置。
24.根据权利要求23所述的图像显示装置，其中，所述处理器被配置为参考由所述眼睛跟踪传感器感测到的测量值来生成所述驱动信号。
25.根据权利要求23所述的图像显示装置，其中，所述处理器被配置为确定所述测量值是在近范围内还是在远范围内，并且生成所述驱动信号，使得所述显示设备被驱动到对应于表示所述近范围和所述远范围的两个代表值中的一个的位置。
26.根据权利要求23所述的图像显示装置，其中，所述处理器被配置为基于通过使用针对多个帧的每个图像的显著图设定的深度值来生成所述驱动信号。
27.根据权利要求26所述的图像显示装置，其中，所述处理器被配置为通过反映由所述眼睛跟踪传感器感测到的测量值来校正所述驱动信号。
28.根据权利要求27所述的图像显示装置，其中，所述处理器被配置为仅当通过使用所述显著图设定的深度值和由所述眼睛跟踪传感器感测到的所述测量值属于预先设定的近范围和远范围之中的不同范围时才校正所述驱动信号。
CN202080062250.1A 2019-07-18 2020-07-16 能够表达多个深度的图像显示设备 Pending CN114341705A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0087098 2019-07-18
KR20190087098 2019-07-18
KR10-2020-0086980 2020-07-14
KR1020200086980A KR20210010370A (ko) 2019-07-18 2020-07-14 다중 깊이 표현이 가능한 영상 표시 장치
PCT/KR2020/009388 WO2021010772A1 (ko) 2019-07-18 2020-07-16 다중 깊이 표현이 가능한 영상 표시 장치

Publications (1)

Publication Number Publication Date
CN114341705A true CN114341705A (zh) 2022-04-12

Family

ID=74211081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080062250.1A Pending CN114341705A (zh) 2019-07-18 2020-07-16 能够表达多个深度的图像显示设备

Country Status (4)

Country Link
US (1) US20220326522A1 (zh)
EP (1) EP4001995A4 (zh)
CN (1) CN114341705A (zh)
WO (1) WO2021010772A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020879A1 (en) * 2001-07-26 2003-01-30 Seiko Epson Corporation Stereoscopic display and projection-type stereoscopic display
WO2016048546A1 (en) * 2014-09-26 2016-03-31 Intel Corporation Techniques for optical image stabilization using magnetic shape memory actuators
US20170160798A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Focus adjustment method for a virtual reality headset
CN107077002A (zh) * 2014-10-23 2017-08-18 索尼互动娱乐股份有限公司 虚拟图像距离改变装置、虚拟图像距离改变方法以及程序
WO2018058155A2 (en) * 2016-09-26 2018-03-29 Maynard Ronald Immersive optical projection system
US20180275410A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
WO2018196968A1 (en) * 2017-04-26 2018-11-01 Huawei Technologies Co., Ltd. Device and method for generating a 3d light field
US20190018236A1 (en) * 2017-07-13 2019-01-17 Google Inc. Varifocal aberration compensation for near-eye displays
CN109863533A (zh) * 2016-08-22 2019-06-07 奇跃公司 虚拟、增强和混合现实系统和方法
WO2019110617A1 (en) * 2017-12-04 2019-06-13 Optotune Consumer Ag Optical zoom device with focus tunable lens cores

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737012A (en) * 1994-12-01 1998-04-07 Olympus Optical Co., Ltd. Head mounted image display apparatus and image forming apparatus related thereto
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
GB201110661D0 (en) * 2011-06-23 2011-08-10 Univ Durham Apparatus and method for displaying images
US9576399B2 (en) * 2014-12-23 2017-02-21 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US20160286210A1 (en) * 2015-03-27 2016-09-29 Osterhout Group, Inc. See-through computer display systems
US10088673B2 (en) * 2016-03-15 2018-10-02 Deepsee Inc. 3D display apparatus, method, and applications
WO2017163288A1 (ja) * 2016-03-24 2017-09-28 パナソニックＩｐマネジメント株式会社 ヘッドアップディスプレイ装置、及び車両
KR101968399B1 (ko) * 2017-03-21 2019-04-12 엔에이치엔 주식회사 시력 보정을 위해 초점 거리를 조절하는 방법 및 시스템
KR101917762B1 (ko) * 2017-05-22 2019-01-29 주식회사 그루크리에이티브랩 가상현실 장치의 컨버전스를 조절하여 눈의 피로를 감소시키는 방법
KR102206570B1 (ko) * 2017-07-21 2021-02-18 문명일 스마트 안경
KR20190033405A (ko) * 2017-09-21 2019-03-29 민상규 접이식 가상현실 장비

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020879A1 (en) * 2001-07-26 2003-01-30 Seiko Epson Corporation Stereoscopic display and projection-type stereoscopic display
WO2016048546A1 (en) * 2014-09-26 2016-03-31 Intel Corporation Techniques for optical image stabilization using magnetic shape memory actuators
CN107077002A (zh) * 2014-10-23 2017-08-18 索尼互动娱乐股份有限公司 虚拟图像距离改变装置、虚拟图像距离改变方法以及程序
US20170160798A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Focus adjustment method for a virtual reality headset
CN109863533A (zh) * 2016-08-22 2019-06-07 奇跃公司 虚拟、增强和混合现实系统和方法
WO2018058155A2 (en) * 2016-09-26 2018-03-29 Maynard Ronald Immersive optical projection system
US20180275410A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
WO2018196968A1 (en) * 2017-04-26 2018-11-01 Huawei Technologies Co., Ltd. Device and method for generating a 3d light field
US20190018236A1 (en) * 2017-07-13 2019-01-17 Google Inc. Varifocal aberration compensation for near-eye displays
WO2019110617A1 (en) * 2017-12-04 2019-06-13 Optotune Consumer Ag Optical zoom device with focus tunable lens cores

Also Published As

Publication number Publication date
EP4001995A4 (en) 2023-11-29
EP4001995A1 (en) 2022-05-25
US20220326522A1 (en) 2022-10-13
WO2021010772A1 (ko) 2021-01-21

Similar Documents

Publication Publication Date Title
US11030926B2 (en) Image display apparatus capable of multi-depth expression
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
US11297304B2 (en) Virtual image display device and head mounted display using same
KR102673817B1 (ko) 3차원 영상 표시 장치 및 영상 처리 방법
US9905143B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
CN107076984A (zh) 虚像生成器
US12088777B2 (en) Image display device including moveable display element and image display method
WO2011017485A9 (en) 3d autostereoscopic display with true depth perception
CN110780454B (zh) 三维图像显示设备和方法
EP4001995A1 (en) Image display device capable of expressing multiple depth
US11682325B2 (en) Display apparatus including free-formed surface and operating method thereof
US20210271090A1 (en) Image display device capable of multi-depth expression
KR20190100779A (ko) 접안 디스플레이 장치
KR20230167578A (ko) 대상 객체 적응적 심도 가변형 증강현실 장치 및 방법
KR20210111149A (ko) 다중 깊이 표현이 가능한 영상 표시 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination