CN113132711A - 图像显示设备和图像显示方法 - Google Patents

图像显示设备和图像显示方法 Download PDF

Info

Publication number
CN113132711A
CN113132711A CN202010855483.9A CN202010855483A CN113132711A CN 113132711 A CN113132711 A CN 113132711A CN 202010855483 A CN202010855483 A CN 202010855483A CN 113132711 A CN113132711 A CN 113132711A
Authority
CN
China
Prior art keywords
image
virtual
image data
frame
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010855483.9A
Other languages
English (en)
Inventor
金允泰
申俸受
成基荣
李泓锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113132711A publication Critical patent/CN113132711A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Abstract

一种图像显示设备包括：处理器，其根据包括在第一图像数据中的深度信息来设置其上形成虚拟图像的虚拟图像平面的位置，并基于虚拟图像平面的设置位置生成通过校正第一图像数据而获得的第二图像数据；图像形成光学系统，其包括被配置为根据第二图像数据调制光以形成显示图像的显示元件和在虚拟图像平面上形成虚拟图像的光传输单元，虚拟图像对应于由显示元件形成的显示图像，并且光传输单元包括聚焦构件；以及驱动单元，其驱动图像形成光学系统以调节虚拟图像平面的位置。

Description

图像显示设备和图像显示方法
相关申请的交叉引用
本申请要求于2020年01月14日在韩国知识产权局提交的韩国专利申请第10-2020-0004945号的优先权，其全部公开内容通过引用合并于此。
技术领域
本公开的示例实施例涉及一种三维图像显示设备和方法。
背景技术
三维图像显示技术被应用于各种领域。例如，近年来，该技术已应用于虚拟现实(VR)和增强现实(AR)的图像设备。
提供虚拟现实(VR)的头戴式显示器目前被商业化，并在娱乐业中被广泛采用。另外，已开发头戴式显示器以具有可以在医学、教育和工业领域中采用的结构。
增强现实(AR)显示器作为虚拟现实显示器的高级形式，是一种将现实世界与虚拟现实相结合的图像设备，并且能够允许现实情形与虚拟现实之间的交互。现实情形和虚拟现实之间的交互基于用于实时提供有关现实情形的信息的功能，并且可以通过将虚拟对象或信息覆盖(overlay)在现实世界环境上来进一步增加现实情形的效果。
这样的设备通常使用立体视觉(stereoscopy)技术来显示三维图像。因此，这时，需要用于多深度显示的三维图像显示方法，以避免可能由视觉辐辏调节冲突(vergence-accommodation conflict)引起的视觉疲劳。
发明内容
示例实施例提供了允许多深度显示的三维(3D)图像显示设备和方法。
另外的方面将在下面的描述中部分地阐述，并且部分地从描述中将是明显的，或者可以通过实践本公开的实施例而习知。
根据本公开的一方面，一种图像显示设备包括：处理器，其根据包括在第一图像数据中的深度信息来设置其上形成虚拟图像的虚拟图像平面的位置，并基于虚拟图像平面的设置位置生成通过校正第一图像数据而获得的第二图像数据；图像形成光学系统，包括被配置为根据第二图像数据调制光以形成显示图像的显示元件和在虚拟图像平面上形成虚拟图像的光传输单元，虚拟图像对应于由显示元件形成的显示图像，并且光传输单元包括聚焦构件；以及驱动单元，其驱动图像形成光学系统以调节虚拟图像平面的位置。
第一图像数据可以包括多个帧，并且处理器可以设置虚拟图像平面的相应位置并为多个帧中的每个帧生成相应的第二图像数据。
与多个帧中的每个帧相对应的相应虚拟图像可以具有相同的相应视在尺寸。
处理器可以生成驱动信号以根据虚拟图像平面的设置位置来控制图像形成光学系统，并可以将驱动信号传送到驱动单元。
驱动单元可以根据驱动信号在与显示元件的光轴平行的方向上移动显示元件，使得显示元件与聚焦构件之间的距离改变。
驱动单元可以包括根据驱动信号而变形的形状可变部分，并且可以向显示元件提供驱动力。
对于多个帧中的帧，处理器可以通过将虚拟图像平面的设置位置与先前帧的虚拟图像先前平面的位置进行比较并使用根据虚拟图像平面的位置的变化抵消放大率的变化的校正参数，来生成第二图像数据。
处理器可以通过使用当虚拟图像平面的位置接近观察者时应用于第一图像数据的第一函数、或当虚拟图像平面的位置远离观察者时应用于第一图像数据的第二函数来生成第二图像数据。
可以基于从驱动单元的驱动特性提取的时间-行程曲线来预设第一函数和第二函数。
处理器可以通过以下生成第二图像数据：获得由位于第一位置的虚拟相机捕获的第一图像数据的图像；以及对于多个帧中的帧，将虚拟相机移动距离-Δz到第二位置，其中Δz表示通过将虚拟图像平面的设置位置与先前帧的虚拟图像平面的先前位置进行比较而获得的变化值。
处理器可以通过以下生成第二图像数据：获得由具有第一视场的虚拟相机捕获的第一图像数据的图像；以及对于多个帧中的帧，将虚拟相机的第一视场改变-Δθ到第二视场，其中Δθ表示通过将与虚拟图像平面的设置位置相对应的视场和与先前帧的虚拟图像平面的先前位置相对应的先前视场进行比较而获得的变化值。
处理器可以通过分析包括在第一图像数据中的深度图和颜色图来设置虚拟图像平面的位置。
处理器可以通过使用包括在深度图中的深度值的直方图来设置虚拟图像平面的位置。
处理器可以通过基于颜色图分析显著性信息来设置虚拟图像平面的位置。
图像显示设备还可以包括眼睛跟踪传感器，其感测观察者观看的深度位置，其中处理器根据感测到的深度位置来设置虚拟图像平面的位置。
光传输单元可以通过将由显示元件形成的显示图像与从观察者的前侧进入光传输单元的光进行组合来形成观察者的位置处的图像，并可以将该图像传送到观察者的视场。
显示元件可以包括左眼显示元件和右眼显示元件，第二图像数据可以包括第二左眼图像数据和第二右眼图像数据，并且左眼显示元件可以被配置为根据第二左眼图像数据形成左眼显示图像，并且右眼显示元件可以被配置为根据第二右眼图像数据形成右眼显示图像。
图像显示设备可以是可穿戴设备。
根据本公开的一方面，一种图像显示方法包括：根据包括在第一图像数据中的深度信息来设置其上形成虚拟图像的虚拟图像平面的位置；基于虚拟图像平面的设置位置生成通过校正第一图像数据而获得的第二图像数据；控制包括显示元件的图像形成光学系统，使得在虚拟图像平面的设置位置处形成虚拟图像，虚拟图像对应于由显示元件形成的显示图像；以及将基于第二图像数据的光调制信号传送到显示元件。
第一图像数据可以包括多个帧，并且可以针对多个帧中的每个帧执行设置虚拟图像平面的位置和生成第二图像数据。
与多个帧中的每个帧相对应的相应虚拟图像具有相同的相应视在尺寸。
对于多个帧中的帧，生成第二图像数可以包括：将虚拟图像平面的设置位置与先前帧的虚拟图像平面的先前位置进行比较；以及使用根据虚拟图像平面的位置的变化抵消放大率变化的校正参数。
使用校正参数可以包括从基于用于驱动显示元件的驱动单元的驱动特性预设的时间-行程曲线来提取校正参数。
生成第二图像数据可以包括：获得由位于第一位置的虚拟相机捕获的第一图像数据的图像；以及对于多个帧中的帧，将虚拟相机移动距离-Δz到第二位置，其中Δz表示通过将虚拟图像平面的设置位置与先前帧的虚拟图像平面的先前位置进行比较而获得的变化值。
生成第二图像数据可以包括：获得由具有第一视场的虚拟相机捕获的第一图像数据的图像；以及对于多个帧中的帧，将虚拟相机的第一视场改变-Δθ到第二视场，其中Δθ表示通过将与虚拟图像平面的设置位置相对应的视场和与先前帧的虚拟图像平面的先前位置相对应的先前视场进行比较而获得的变化值。
根据本公开的一方面，一种图像显示设备包括：处理器，被配置为接收图像数据，图像数据包括对应于第一帧的第一帧数据和对应于第二帧的第二帧数据，第一帧在第二帧之前；确定第一帧数据中包括的第一深度值与第二帧数据中包括的第二深度值之差；以及根据确定的差来生成校正后的第二帧数据；显示元件，被配置为显示与校正后的第二帧数据相对应的图像；以及驱动单元，被配置为基于确定的差来调节显示元件的位置。
图像显示设备还可以包括光传输单元，被配置为将与第一帧数据相对应的第一图像和与第二帧数据相对应的第二图像传输到观察者的位置，其中，处理器还被配置为将第一深度值确定为与在传输第一图像时观察者感知到的第一虚拟图像的深度相对应，以及将第二深度值确定为与在传输第二图像时观察者感知到的第二虚拟图像的深度相对应。
处理器还可以被配置为基于确定的差来确定用于调整第二帧数据的大小的比率，并且基于确定的比率来生成校正后的第二帧数据。
处理器还可以被配置为基于确定的差来调节观看第二帧数据的虚拟相机的位置，并且基于调节后的虚拟相机的位置来生成校正后的第二帧数据。
处理器还可以被配置为基于确定的差来调节观看第二帧数据的虚拟相机的视场，并且基于调节后的虚拟相机的视场来生成校正后的第二帧数据。
附图说明
从结合附图的以下描述中，本公开的某些示例实施例的上述和其他方面、特征和优点将更加明显，在附图中：
图1是示出根据示例实施例的图像显示设备的配置和光学布置的图；
图2是示意性示出图1的图像显示设备中包括的处理器的配置的框图；
图3A至图3D是概念性地示出观察者的眼睛将具有不同深度的图像感知为具有不同大小的图像的图；
图4是详细示出根据示例实施例的图1的图像显示设备中的处理器的示例操作的流程图；
图5A示出用于图像校正并且对应于从近到远的情形(near to far situation)的函数(function)的示例；
图5B示出用于图像校正并且对应于从远到近的情形(far to near situation)的函数的示例；
图6示出图1的图像显示设备中包括的驱动单元的示例配置；
图7是详细示出根据示例实施例的图像显示设备中的处理器的示例操作的流程图；
图8A和图8B概念性地示出当图7的图像显示设备中包括的图像形成光学系统显示在不同的深度位置的图像时，考虑到深度位置的变化方向来输入校正后的图像信息；
图9是详细示出根据示例实施例的图像显示设备中的处理器的示例操作的流程图；
图10A和图10B概念性地示出当图9的图像显示设备中包括的图像形成光学系统显示在不同的深度位置的图像时，考虑到深度位置的变化方向来输入校正后的图像信息；
图11示出根据示例实施例的图像显示设备的配置和光学布置；
图12示出根据示例实施例的图像显示设备的配置和光学布置；以及
图13是示意性示出根据示例实施例的用于图像显示的方法的流程图。
具体实施方式
现在将参考附图详细描述示例实施例，其中相似的附图标记始终指代相似的元件。在这方面，实施例可以具有不同的形式，并且不应被解释为限于这里阐述的描述。
如本文所使用的，术语“和/或”包括相关联的所列项目的一个或多个的任何和所有组合。诸如“……中的至少一个”的表达当在元素列表之后时修饰整个元素列表，而不是修饰该列表中的单独的元素。例如，“a、b和c中的至少一个”的表达应理解为包括：仅a，仅b，仅c，a和b两者，a和c两者，b和c两者，或a、b和c的全部。
在下文中，将参考附图详细描述示例实施例。在附图中，相似的附图标记指代相似的元件，并且为了描述的清楚和方便，图中的每个元件的尺寸可能被夸大。下面要描述的实施例仅是示例，并且从这些实施例可以进行各种修改。
在下文中，被描述为“在...上方(over)”或“在...上(on)”的内容不仅可以包括直接在上方且接触，而且可以包括在上方但不接触。
除非上下文另外明确指出，否则单数表达包括复数表达。此外，当部件被描述为“包括”某个配置元件时，除非另外提及，否则这意味着该部件可以进一步包括其他配置元件。
术语“上述”和类似术语可以用于单数和复数。
除非明确阐明配置方法的步骤的顺序，否则可以按任何适当的顺序执行步骤。本公开不限于步骤的描述顺序。所有示例或示例术语(例如，等等)的使用仅用于详细描述技术构思，并且范围不受示例或示例术语的限制。
图1是示出根据示例实施例的图像显示设备的配置和光学布置的图。图2是示意性示出图1的图像显示设备中包括的处理器的配置的框图。
参考图1，图像显示设备1000包括图像形成光学系统、驱动单元200和处理器400，其中该图像形成光学系统包括调制光以形成图像(即，显示图像)的显示元件100以及将由显示元件100形成的图像传送到观察者的眼睛的光传输单元300，该驱动单元200驱动图像形成光学系统以调节由图像形成光学系统形成的虚拟图像平面的位置，以及该处理器400根据图像信息来控制显示元件100和驱动单元200。处理器400包括图像校正单元450，其考虑可变虚拟图像平面的位置来校正图像。
图像显示设备1000还包括存储器500，该存储器可以存储驱动图像显示设备1000所需的图像信息、各种数据和程序代码。
图像显示设备1000还可以进一步包括眼睛跟踪传感器，该眼睛跟踪传感器感测观察者观察到的深度位置。
显示元件100根据图像信息调制光以形成要提供给观察者的图像。由显示元件100形成的图像可以被提供给观察者的两只眼睛，并且为了方便起见，该图仅示出面对单只眼睛的光学系统。由显示元件100形成的图像可以是例如提供给观察者的左眼和右眼的立体图像，可以是全息图像、光场图像或集成摄影(integral photography,IP)图像，并且还可以包括多视图图像(multi-view image)或超级多视图图像。另外，本公开不限于此，并且可以包括一般的二维图像。
显示元件100可以包括例如硅上液晶(LCoS)元件、液晶显示器(LCD)元件、有机发光二极管(OLED)显示元件、或数字微镜设备(DMD)，并且还可以包括下一代显示器，例如微型LED和量子点(QD)LED。
显示元件100可以包括用于提供用于形成图像的光的光源，并且除此之外，显示元件100可以进一步包括用于调节光路的分束器、用于放大或缩小图像的中继透镜、用于去除噪声的空间滤波器等。
光传输单元300改变由显示元件100形成的图像的路径，形成适合于观察者的视场的图像，并且将图像传送到观察者的眼睛。光传输单元300可以包括聚焦构件310，并且还可以包括分束器330，作为用于使光转向(divert)以改变路径的构件。
聚焦构件310是具有屈光力(refractive power)的成像形成构件，并且可以放大或缩小由显示元件100形成的图像。聚焦构件310被示为凹面镜，但不限于此。除了凹面镜之外或代替凹面镜，聚焦构件310还可以具有凸透镜、凹透镜等被组合的配置。
分束器330可以是透射入射光的一半并且反射另一半的半反射镜。分束器不限于此，并且可以是根据偏振来透射或反射入射光的偏振分束器。当分束器330是偏振分束器时，用于偏振切换的附加光学元件可以进一步提供给光传输单元300。
如图1所示，光传输单元300可以具有其中聚焦构件310和分束器330被固定到透明导光构件350的一体化(integral)结构。这是示例，并且本公开不限于此。
光传输单元300可以将包括由显示元件100形成的图像的光与包括在观察者前面的现实环境的图像的光组合，并且将组合的光传送到观察者的视场。因此，图像显示设备1000可以用作透视(see-through)型显示器，其显示由显示元件100形成的图像和在观察者前面的现实环境两者。
光传输单元300不限于示出的形状和配置。可以进一步提供用于将由显示元件100形成的图像与观察者前面的现实环境图像一起传送到观察者的瞳孔的附加光学元件，并且可以采用具有各种形状和结构的光学窗口。
包括由显示元件100形成的图像的光通过分束器330，由聚焦构件310反射，然后再次通过由分束器330反射的路径到达观察者的眼睛。在该路径中，观察者感知形成在分束器330后面的某个位置处的虚拟图像平面VP上的虚拟图像，并且根据虚拟图像平面VP的位置，存在观察者感觉到的深度感的差别。
在根据示例实施例的图像显示设备1000中，虚拟图像平面VP的位置不固定为一个位置，并且虚拟图像平面VP的位置可以通过考虑要显示的图像的深度信息来改变。为此，图像显示设备1000包括驱动图像形成光学系统的驱动单元200。如图1所示，驱动单元200可以被配置为改变显示元件100的位置。驱动单元200可以在平行于显示元件100的光轴的方向上移动显示元件100，使得到聚焦构件310的距离是可变的。当显示元件100的位置在方向A1上改变时，虚拟图像平面VP的位置在方向A2上改变。这是示例，并且在示例实施例中，驱动单元200可以驱动聚焦构件310以改变虚拟图像平面VP的位置。
在图像显示设备1000中采用的驱动单元200可以包括各种类型的致动器。驱动单元200可以采用形状可变的材料，以便以尽可能小的量(volume)来增加显示元件100的驱动范围。驱动单元200的类型没有特别限制。
处理器400可以根据与观察者要感知的图像有关的深度信息，来生成要传送到显示元件100的光调制信号SG1和要传送到驱动单元200的驱动信号SG2。
如图2所示，处理器400可以根据包括在第一图像数据中的深度信息来设置在其上形成图像的虚拟图像平面的位置，并且可以生成通过基于虚拟图像平面的位置校正第一图像数据而获得的第二图像数据。
第一图像数据可以包括深度图和颜色图。即，第一图像数据可以包括要提供给观察者的多个帧的每个图像的多个像素的每个像素的颜色值数据，并且还可以包括链接到每个图像被成像的虚拟图像平面VP的位置的深度信息。第一图像数据可以被存储在帧缓冲器中。
深度信息提取单元410分析第一图像数据以提取深度信息，并设置显示图像的深度位置，即，虚拟图像平面的位置。可以针对多个帧的图像的每个执行位置设置。为了提取深度信息，可以分析包括在第一图像数据中的深度图和颜色图。例如，可以通过使用深度图中包括的深度值的频率的直方图来设置虚拟图像平面的位置。替选地，可以通过分析来自颜色图的显著性(saliency)信息来设置虚拟图像平面的位置。可以执行显著性图分析以选择观察者可能观察的区域，即具有高视觉集中度的区域。可以考虑亮度、颜色、轮廓、物体尺寸等用于选择具有高视觉集中度的区域。例如，与周围区域相比具有大的亮度或大的色差的区域、具有强轮廓特征的区域或具有大的对象尺寸的区域可以是具有高视觉集中度的区域。替选地，可以取决于图像中包括的内容来选择具有高视觉集中度的位置。可以考虑视觉集中度来设置虚拟图像平面的位置。除此之外，为了设置虚拟图像平面的位置，还可以执行其中考虑人的视觉感知特性的运动信息的分析或舒适区(ZOC)分析。
当图像显示设备1000包括感测观察者观察到的深度位置的眼睛跟踪传感器时，深度信息提取单元410还可以基于由眼睛跟踪传感器感测到的深度位置来设置虚拟图像平面的位置。
驱动信号生成单元420可以生成驱动信号SG2，驱动信号SG2使显示元件100移动，使得在设置的虚拟图像平面的位置处形成图像。驱动信号SG2可以是例如生成适合于驱动单元200的可变材料的变形的热的电信号。驱动信号不限于此。由驱动信号生成单元420生成的驱动信号SG2被传送到驱动单元200。
图像校正单元450根据深度信息提取单元410提取的深度信息，生成作为校正后的第一图像数据的第二图像数据。光调制信号生成单元460根据第二图像数据生成光调制信号SG1并将光调制信号传送到显示元件100。即，光调制信号生成单元460可以生成具有通过参考第二图像数据中包括的每个像素的数据而确定的颜色值的电信号，作为光调制信号SG1。
图像校正单元450执行的图像校正用于校正当虚拟图像平面的位置根据显示元件100的位置移动而改变时发生的图像失真。
将参考图1和图3A至3D描述当虚拟图像平面的位置改变时发生的图像失真如下。
图3A至图3D是概念性地示出观察者的眼睛将具有不同深度位置的图像感知为具有不同大小的图像的图。
参考图3A，当凹面镜形成具有不同深度位置(远和近)的物体①和②的图像时，所形成的图像①'和②'分别具有不同的尺寸，并且还被感知为跨越(span)不同的视场θ1和θ2。
如图3B和图3C所示，当虚拟图像平面的位置是远平面和近平面时，视角是FOVfar和FOVnear，并且具有FOVfar>FOVnear的关系。另外，如图3D所示，近平面的屏幕尺寸被感知为小于远平面的屏幕尺寸。
这也可以通过放大率(magnification)的概念来解释。放大率m被定义为像距/物距，并且在图1中为di/do。在此，do是从显示元件100的图像显示表面到聚焦构件310的距离，并且di是沿着虚光路从聚焦构件310到虚拟图像平面VP的距离，并且所示的距离di和di'分别指示从聚焦构件310的中心到分束器330的中心的距离与从分束器330的中心到虚拟图像平面VP的距离之和、以及从聚焦构件310的中心到分束器330的中心的距离与从分束器330的中心到虚拟图像平面VP'的距离之和。
当根据显示元件100的位置和虚拟图像平面VP的位置确定do和di时，并且当此时放大率被称为m时，对应于改变后的虚拟图像平面VP'的位置的放大率m'为di'/do'，并且该值与m不同。
根据示例实施例的图像显示设备1000生成通过考虑要形成的虚拟图像平面的位置而校正的第二图像数据，以校正由在连续帧图像中进行的放大率变化引起的图像失真，并将根据其的光调制信号SG1提供给显示元件100。第二图像数据是被校正的数据，以在逐帧变化的虚拟图像平面的位置处显示尽可能恒定的视在尺寸(apparent size)的图像。另外，第二图像数据可以是通过校正根据虚拟图像平面的位置的变化生成的其他图像失真(例如，枕形失真、桶形失真、图像未对准等)而获得的图像数据。
图4是详细示出图1的图像显示设备1000中的处理器400的示例操作的流程图。
当输入要在每帧中形成的图像的第一图像数据时(S110)，根据包括在第一图像数据中的深度信息来设置虚拟图像平面的位置(S120)。
当设置了虚拟图像平面的位置时，生成用于将显示元件100驱动至该位置的驱动信号SG2(S130)，并且将该驱动信号传送到驱动单元200(S140)。
将设置的虚拟图像平面的位置与紧接在前的帧的虚拟图像平面的位置进行比较(S150)。
取决于虚拟图像平面的位置是从近到远还是从远到近变化(即，虚拟图像平面是变得更远离还是更靠近)，可以应用不同函数的校正参数。当虚拟图像平面的位置移动更远时，应用近到远的函数(S164)，并且当虚拟图像平面的位置变得更靠近时，应用远到近的函数(S162)。
图5A和图5B示出分别作为用于图像校正的函数的、对应于近到远的情形和远到近的情形的函数的示例示图。
这两个示图是从驱动单元的驱动特性提取的时间-行程(time-stroke)曲线。从针对远到近的情形和近到远的情形的两种情况的时间-行程数据，在每种情况下可以预设置用于确定校正参数的函数。
图5A包括其中显示元件的位置根据驱动单元的操作从远到近变化的测量数据的结果，以及通过用多项式函数执行测量结果的回归分析而提取的函数示图。
当虚拟图像平面的位置从远到近变化时，图像变小，如图3A和图3B所示，并且为了抵消此，可以设置用于图像放大的调整大小(resize)函数以调节图像大小。
可以从图5A中提取的函数y如下设置该函数(比率)。
比率＝1+y*(α)
这里，α是介于0和1之间的值。α可以是例如0.01，但不限于此，并且可以选择其他合适的值。
图5B包括其中显示元件的位置根据驱动单元的操作从近到远变化的测量数据的结果，以及通过用多项式函数执行测量结果的回归分析而提取的函数示图。
当虚拟图像平面的位置从近到远变化时，图像被放大，如图3A和图3B所示，并且为了抵消此，可以设置用于图像缩小的调整大小函数以调节图像大小。
可以从图5B中提取的函数y如下设置该函数(比率)。
比率＝1-(1-y)*(α)
这里，α是介于0和1之间的值。α可以是例如0.01，但不限于此，并且可以选择其他合适的值。
返回参考图4，通过根据设置的校正参数校正图像来生成第二图像数据(S170)。
根据第二图像数据生成光调制信号SG1(S180)，并且将光调制信号传送到显示元件(S190)。
可以根据显示元件100的位置的变化来逐帧地连续执行图像放大处理和图像缩小处理。
图像形成光学系统根据光调制信号SG1和驱动信号SG2显示图像，并且观察者可以从虚拟图像平面VP的改变后的位置感知显示的图像。观察者感知到具有由于虚拟图像平面的位置的改变而导致的少量图像失真的图像。
图6示出图1的图像显示设备中包括的驱动单元的示例配置。
驱动单元200可以包括形状可变部分210、支撑部分240和驱动控制单元230。可以提供多个形状可变部分210，使得其两端可以分别与支撑部分240和显示元件100接触。尽管示出了一对形状可变部分210，但是这是示例，并且形状可变部分210的数量可以改变。
形状可变部分210的长度可以取决于形状可变部分210的温度或在形状可变部分210中形成的电场而改变。例如，形状可变部分210可以包括形状记忆合金(SMA)、电活性聚合物(EAP)、或它们的组合。当形状可变部分210包括形状记忆合金时，形状可变部分210在高温下可以具有短的长度，而在低温下可以具有长的长度。当形状可变部分210包括电活性聚合物时，并且当将电场被施加到形状可变部分210时，形状可变部分210的长度可以在垂直于所施加的电场的方向上增加。
驱动控制单元230可以电连接到形状可变部分210以将电信号施加到形状可变部分210。例如，驱动控制单元230可以将电流施加到形状可变部分210。当将电信号施加到形状可变部分210并且形状可变部分210的温度增加时，形状可变部分210的长度可以减小。在这种情况下，显示元件100接近支撑部分240，即，到聚焦构件310的距离增加。当没有电流施加到形状可变部分210时，形状可变部分210的温度下降，并且其长度可以增加。以这种方式，控制形状可变部分210的温度，因此，可以调节形状可变部分210的长度的变化程度，并且可以调节显示元件100与聚焦构件310之间的距离。如图6所示，随着形状可变部分210在A1方向上变形，沿A1方向的驱动力被提供给显示元件100，并且可以调节显示元件100与聚焦构件310之间的距离。因此，可以在图1所示的A2方向上改变其上形成由显示元件100形成的图像的虚拟图像平面VP的位置。
示出的驱动单元200的形状是示例，并且可以改变为能够在A1方向上向显示元件100提供驱动力的其他形状。
图7是具体示出根据示例实施例的图像显示设备中的处理器的示例操作的流程图。
根据本示例实施例的图像显示设备在处理器生成通过校正第一图像数据而获得的第二图像数据的详细方法中与图1所示的图像显示设备不同，并且其配置图与图1所示的配置图基本相同。
在处理器的操作中，当输入第一图像数据时(S110)时，根据深度信息从其设置虚拟图像平面的位置(S120)，生成驱动信号SG2(S130)，并且将驱动信号传送到驱动单元(S140)，这些与图4中描述的相同。
基于深度信息生成第二图像数据的处理与参考图4描述的处理不同。在本示例实施例中，通过从虚拟相机获得第一图像数据的图像来生成第二图像数据。此时，根据深度信息改变虚拟相机的位置以生成第二图像数据。该方法可以具有与参考图4描述的通过使用调整大小函数来校正图像的方法相同的效果。
首先，针对设置的虚拟图像平面的位置，提取当前帧(即，第二帧)的虚拟图像平面的位置(即，第二深度值)距先前帧(即，第一帧)的虚拟图像平面的位置(即，第一深度值)的变化值Δz(S155)。接下来，通过在与变化值相反的方向上移动虚拟相机，即将虚拟相机移动-Δz以获得第一图像数据的图像，来生成第二图像数据(即，校正后的第二帧数据)，(S175)。
图8A和图8B概念性地示出当图7的图像显示设备中包括的图像形成光学系统在不同帧在不同的深度位置处显示图像时，考虑到从先前帧到当前帧的深度位置的变化方向来输入校正后的图像信息。
如图8A所示，当虚拟图像平面的位置远移(即，从近到远)+Δz时，图像的视在尺寸被放大。此时，可以减小输入到图像形成光学系统的图像的尺寸，使得即使在虚拟图像平面的改变后的位置处也保持视在图像尺寸。即，将通过校正图像而获得的第二图像数据输入到图像形成光学系统。图像的校正包括将虚拟相机的位置移动-Δz，以从虚拟相机的新位置获得第一图像数据的图像。
如图8B所示，当虚拟图像平面的位置从远到近接近时，即，当虚拟图像平面的位置改变-Δz时，图像的视在尺寸减小。此时，可以放大输入到图像形成光学系统的图像，使得即使在虚拟图像平面的改变后的位置处也保持视在图像尺寸。即，将通过校正图像而获得的第二图像数据输入到图像形成光学系统。图像的校正包括将虚拟相机的位置移动+Δz，以从虚拟相机的新位置获得第一图像数据的图像。
以这种方式，即使当虚拟图像平面的位置改变时，也可以感知具有相对恒定的图像尺寸的图像。
图9是详细示出根据示例实施例的图像显示设备中的处理器的示例操作的流程图。
根据本示例实施例的图像显示设备在处理器生成通过校正第一图像数据而获得的第二图像数据的详细方法中与图1所示的图像显示设备不同，并且其配置图与图1所示的配置图基本相同。
在处理器的操作中，当输入第一图像数据时(S110)，根据深度信息从其设置虚拟图像平面的位置(S120)，生成驱动信号(SG2)(S130)，将驱动信号传送到驱动单元(S140)。此外，如参考图7所述，通过从虚拟相机获得第一图像数据的图像来生成第二图像数据。
在本示例实施例中，通过根据深度信息改变虚拟相机的视场(FOV)来生成第二图像数据。该方法可以具有与参考图4描述的通过使用调整大小函数来校正图像的方法相同的效果。
首先，针对设置的虚拟图像平面提取当前帧的虚拟图像平面的位置的视角(即，视场)与先前帧的虚拟图像平面的位置的视角的变化值Δθ(S157)。接下来，通过将虚拟相机的视角改变-Δθ以使用虚拟相机的新视角获得第一图像数据的图像，来生成第二图像数据(S177)。
图10A和图10B概念性地示出当图9的图像显示设备中包括的图像形成光学系统在不同的深度位置处显示图像时，考虑到深度位置的变化方向来输入校正后的图像信息。
如图10A所示，当虚拟图像平面的位置移远(即，从近到远)时，视角改变Δθ，并且图像的视在尺寸放大。此时，可以缩小输入到图像形成光学系统的图像，使得即使在虚拟图像平面的改变后的位置处也保持视在图像尺寸。通过校正图像获得的第二图像数据被输入到图像形成光学系统。图像的校正包括将虚拟相机的视角改变-Δθ。
如图10B所示，当虚拟图像平面的位置接近时(即，从远到近)，视角改变-Δθ，并且图像的视在尺寸减小。此时，可以放大输入到图像形成光学系统的图像，使得即使在虚拟图像平面的改变后的位置处也保持视在图像尺寸。通过校正图像获得的第二图像数据被输入到图像形成光学系统。图像的校正包括将虚拟相机的视角放大+Δθ。
甚至在虚拟图像平面的位置逐帧变化时，也可以感知具有相对恒定的图像尺寸的图像。
图11示出根据示例实施例的图像显示设备的配置和光学布置。
根据本示例实施例的图像显示设备1001与图1的图像显示设备1000不同，因为用于驱动以改变虚拟图像平面的位置的设备和方法不同。其余的配置与图1所示的配置基本相同。
不同于通过驱动单元200移动其位置的图1的显示元件100，在本示例实施例中，通过驱动单元201调节聚焦构件315的位置。当通过驱动单元201在A1方向上驱动聚焦构件315时，可以在A2方向上调节虚拟图像平面VP的位置。
除此之外，可以以不同的方式调节由图像形成光学系统形成的虚拟图像平面的位置。例如，可以电控制聚焦构件315的屈光力。通过改变聚焦构件315的弯曲表面的形状或通过改变聚焦构件315的折射率，可以调节屈光力并且由此可以调节虚拟图像平面的位置。
图12示出根据示例实施例的图像显示设备的配置和光学布置。
根据本示例实施例的图像显示设备2000可以具有将图像提供给两只眼睛的配置。提供给两只眼睛的图像可以相同或可以具有视差信息。
图像显示设备2000可以包括第一显示元件160(即，左眼显示元件)、第一驱动单元260、第一光传输单元360、第二显示元件170(即，右眼显示元件)、第二驱动单元270和第二光传输单元370。
第一驱动单元260和第二驱动单元270分别驱动第一显示元件160和第二显示元件170的位置，并且第一光传输单元360和第二光传输单元370基于分别包括在第二图像数据中的第二左眼图像数据和第二右眼图像数据，分别向观察者的左眼和右眼传送由第一显示元件160和第二显示元件170形成的图像(即，左眼显示图像和右眼显示图像)。
图像显示设备2000还包括处理器800和存储器700。处理器800根据存储在存储器700中的图像和包括在图像中的深度信息，控制第一显示元件160、第二显示元件170、第一驱动单元260和第二驱动单元270。处理器800还包括图像校正单元850，其根据虚拟图像平面的位置的变化来校正图像失真。用于操作处理器的程序代码可以存储在存储器700中。
存储在存储器700中的图像信息可以包括关于可以被感知为帧的三维图像的一对左眼和右眼图像的信息。左眼图像和右眼图像具有一定的差异。处理器800生成光调制信号SG1_L和SG1_R，使得左眼图像由第一显示元件160形成，而右眼图像由第二显示元件170形成，并且因此，第一显示元件160和第二显示元件170由处理器800控制。
图像信息还可以进一步包括链接到左眼图像和右眼图像将被成像的虚拟图像平面VP的位置的深度信息，并且处理器800可以生成驱动信号SG2_L和SG2_R，使得虚拟图像平面VP根据深度信息被形成在设置的深度位置处，并且控制第一驱动单元260和第二驱动单元270。
处理器800包括图像校正单元，该图像校正单元校正由于虚拟图像平面的位置的变化而引起的图像失真。通过确定虚拟图像平面的位置是否改变、使用图像校正单元850来校正图像的详细处理与以上参考图4、图7和图9描述的处理基本相同，并且不同之处仅在于该处理是对双目图像执行的。每个双目图像的每个的校正程度可以彼此相同或者可以彼此不同。
根据示例实施例的图像显示设备2000可以通过组合双目视差方法和深度表达来显示三维图像。
图13是示意性示出根据示例实施例的用于图像显示的方法的流程图。
用于图像显示的方法可以由上述图像显示设备1000、1001和2000或具有从图像显示设备修改的配置的图像显示设备执行。
首先，根据包括在第一图像数据中的深度信息来设置虚拟图像平面的位置(S200)。
接下来，通过基于设置的虚拟图像平面的位置校正第一图像数据来生成第二图像数据(S300)。
对多个帧中的每一个执行设置虚拟图像平面的位置的步骤(S200)和生成第二图像数据的步骤(S300)，并且生成第二图像数据是以下处理：校正第一图像数据，使得恒定的视在尺寸的图像被显示在虚拟图像平面的改变后的位置处。即，为了生成第二图像数据，将当前帧的虚拟图像平面的位置与先前帧的虚拟图像平面的位置进行比较，然后，通过基于比较结果校正第一图像数据来生成第二图像数据。
为了生成第二图像数据，可以分别使用确定设置的虚拟图像平面的位置相对于先前帧的位置是近到远还是远到近并使用与其相关联的调整大小校正参数的方法(S310)、或者在与虚拟图像平面的位置的变化相反的方向上移动虚拟相机的方法(S320)、或者改变虚拟相机的视角以使得根据虚拟图像平面的位置的变化的屏幕尺寸被抵消的方法(S330)，如在图4、图7和图9中所述。尽管以上描述主要集中于根据图像的视在尺寸的变化来校正失真，但是本公开不限于此。可以进一步执行附加校正根据虚拟图像平面的位置的变化生成的其他图像失真(例如，枕形失真、桶形失真、图像未对准等)的处理。
另外，控制包括显示元件的图像形成光学系统，使得由显示元件形成的图像对应于在设置的虚拟图像平面的位置处形成的虚拟图像(S400)。为了调节由图像形成光学系统形成的虚拟图像平面的位置，可以调节显示元件的位置(S410)，或者可以调节聚焦构件的位置或屈光力(S420)，如分别在上面参考图1和图11所述。
接下来，显示元件基于第二图像数据根据光调制信号输出图像(S500)。输出图像是校正后的图像，其为观察者提供被提供到设置的虚拟图像平面的深度感，并且还具有小的图像失真，例如根据虚拟图像平面的位置的变化的图像尺寸的变化。
用于图像显示的上述方法可以由上述图像显示设备1000、1001和2000执行，并且可以应用于其修改示例以及可利用图像显示设备的各种光学设备和电子设备。
上述图像显示设备1000、1001和2000可以以可穿戴形式配置。图像显示设备的全部或部分配置元件可以以可穿戴形式配置。
例如，可以以头戴式显示器(HMD)的形式采用图像显示设备1000、1001和2000。另外，本公开不限于此，并且可以应用于眼镜型显示器或护目镜型显示器。
可以采用上述图像显示设备1000、1001和2000来实现增强现实(AR)，因为可以将由显示元件形成的图像和现实世界的图像一起显示给观察者。
增强现实(AR)可以通过显示虚拟对象或信息与现实世界环境的组合来进一步提高现实世界图像的有效性。例如，可以向观察者提供关于现实世界环境的由图像形成单元在观察者的位置处形成的附加信息。增强现实(AR)显示可以应用于普适环境或物联网(IoT)环境。
现实世界的图像不限于现实环境，并且可以是例如由另一图像设备形成的图像。因此，在一起显示两个图像的多图像显示设备中可以采用上述图像显示设备。
上述图像显示设备1000、1001和2000可以与其他电子设备(例如，智能电话)结合或在与其他电子设备连接的状态下操作。例如，可以在智能电话中提供驱动图像显示设备1000、1001或2000的处理器。另外，可以在智能电话中提供上述图像显示设备1000、1001或2000。
根据用于三维图像显示的上述设备和方法，在保持视在图像尺寸的同时，可以针对连续的帧图像中的每一个表示不同的深度，并且可以提供具有较小图像失真的高质量图像。
用于三维图像显示的上述设备可以容易地用于可穿戴设备中，例如眼镜型增强现实显示设备。
应理解，本文描述的示例实施例应仅在描述性意义上考虑，而不是出于限制的目的。每个示例实施例内的特征或方面的描述通常应被认为可用于其他实施例中的其他类似特征或方面。尽管已经参考附图描述了示例实施例，但是本领域普通技术人员将理解，可以在不脱离由以下权利要求限定的精神和范围的情况下在其中进行形式和细节上的各种改变。

Claims (30)

1.一种图像显示设备，包括：
处理器，被配置为根据包括在第一图像数据中的深度信息来设置其上形成虚拟图像的虚拟图像平面的位置，并基于所述虚拟图像平面的设置位置生成通过校正所述第一图像数据而获得的第二图像数据；
图像形成光学系统，包括：
显示元件，被配置为根据所述第二图像数据调制光以形成显示图像；以及
光传输单元，被配置为在所述虚拟图像平面上形成所述虚拟图像，其中，所述虚拟图像对应于由所述显示元件形成的所述显示图像，并且所述光传输单元包括聚焦构件；以及
驱动单元，被配置为驱动所述图像形成光学系统以调节所述虚拟图像平面的位置。
2.根据权利要求1所述的图像显示设备，其中，所述第一图像数据包括多个帧，并且
其中，所述处理器还被配置为设置所述虚拟图像平面的位置并为所述多个帧中的每个帧生成第二图像数据。
3.根据权利要求2所述的图像显示设备，其中，与所述多个帧中的每个帧相对应的相应虚拟图像具有相同的相应视在尺寸。
4.根据权利要求1所述的图像显示设备，其中，所述处理器还被配置为生成驱动信号以根据所述虚拟图像平面的设置位置来控制所述图像形成光学系统，并将所述驱动信号传送到所述驱动单元。
5.根据权利要求4所述的图像显示设备，其中，所述驱动单元还被配置为根据所述驱动信号在与所述显示元件的光轴平行的方向上移动所述显示元件，使得改变所述显示元件与所述聚焦构件之间的距离。
6.根据权利要求5所述的图像显示设备，其中，所述驱动单元包括根据所述驱动信号而变形的形状可变部分，并且向所述显示元件提供驱动力。
7.根据权利要求2所述的图像显示设备，其中，对于所述多个帧中的帧，所述处理器还被配置为通过将所述虚拟图像平面的设置位置与先前帧的虚拟图像平面的先前位置进行比较并使用根据所述虚拟图像平面的位置的变化抵消放大率的变化的校正参数，来生成所述第二图像数据。
8.根据权利要求7所述的图像显示设备，其中，所述处理器还被配置为：通过使用当所述虚拟图像平面的位置接近观察者时应用于所述第一图像数据的第一函数、或当所述虚拟图像平面的位置远离观察者时应用于所述第一图像数据的第二函数，来生成所述第二图像数据。
9.根据权利要求8所述的图像显示设备，其中，基于从所述驱动单元的驱动特性提取的时间-行程曲线来预设所述第一函数和所述第二函数。
10.根据权利要求2所述的图像显示设备，其中，所述处理器还被配置为通过以下生成所述第二图像数据：
获得由位于第一位置的虚拟相机捕获的第一图像数据的图像；以及
对于所述多个帧中的帧，将虚拟相机移动距离-Δz到第二位置，其中Δz表示通过将所述虚拟图像平面的设置位置与先前帧的虚拟图像平面的先前位置进行比较而获得的变化值。
11.根据权利要求2所述的图像显示设备，其中，所述处理器还被配置为通过以下生成所述第二图像数据：
获得由具有第一视场的虚拟相机捕获的第一图像数据的图像；以及
对于所述多个帧中的帧，将虚拟相机的第一视场改变-Δθ到第二视场，其中Δθ表示通过将与所述虚拟图像平面的设置位置相对应的视场和与先前帧的虚拟图像平面的先前位置相对应的先前视场进行比较而获得的变化值。
12.根据权利要求1所述的图像显示设备，其中，所述处理器还被配置为通过分析包括在所述第一图像数据中的深度图和颜色图来设置所述虚拟图像平面的位置。
13.根据权利要求12所述的图像显示设备，其中，所述处理器还被配置为通过使用包括在所述深度图中的深度值的直方图来设置所述虚拟图像平面的位置。
14.根据权利要求12所述的图像显示设备，其中，所述处理器还被配置为通过基于所述颜色图分析显著性信息来设置所述虚拟图像平面的位置。
15.根据权利要求1所述的图像显示设备，还包括眼睛跟踪传感器，被配置为感测由观察者观看的深度位置，
其中，所述处理器还被配置为根据感测到的深度位置来设置所述虚拟图像平面的位置。
16.根据权利要求1所述的图像显示设备，其中，所述光传输单元还被配置为通过将由所述显示元件形成的所述显示图像与从观察者的前面进入所述光传输单元的光进行组合来设置观察者的位置处的图像，并将所述图像传送到观察者的视场。
17.根据权利要求1所述的图像显示设备，其中，所述显示元件包括左眼显示元件和右眼显示元件，
其中，所述第二图像数据包括第二左眼图像数据和第二右眼图像数据，并且
其中，所述左眼显示元件被配置为根据所述第二左眼图像数据形成左眼显示图像，并且所述右眼显示元件被配置为根据所述第二右眼图像数据形成右眼显示图像。
18.根据权利要求1所述的图像显示设备，其中，所述图像显示设备是可穿戴设备。
19.一种图像显示方法，包括：
根据包括在第一图像数据中的深度信息来设置其上形成虚拟图像的虚拟图像平面的位置；
基于所述虚拟图像平面的设置位置生成通过校正第一图像数据而获得的第二图像数据；
控制包括显示元件的图像形成光学系统，使得在所述虚拟图像平面的设置位置处形成所述虚拟图像，其中，所述虚拟图像对应于由所述显示元件形成的显示图像；以及
将基于所述第二图像数据的光调制信号传送到所述显示元件。
20.根据权利要求19所述的图像显示方法，其中，所述第一图像数据包括多个帧，并且
其中，针对所述多个帧中的每个帧，执行设置所述虚拟图像平面的位置和生成所述第二图像数据。
21.根据权利要求20所述的图像显示方法，其中，与所述多个帧中的每个帧相对应的相应虚拟图像具有相同的相应视在尺寸。
22.根据权利要求20所述的图像显示方法，其中，对于所述多个帧中的帧，生成所述第二图像数据包括：
将所述虚拟图像平面的设置位置与先前帧的虚拟图像平面的先前位置进行比较；以及
使用根据所述虚拟图像平面的位置的变化抵消放大率变化的校正参数。
23.根据权利要求22所述的图像显示方法，其中，使用所述校正参数包括从基于用于驱动所述显示元件的驱动单元的驱动特性预设的时间-行程曲线来提取所述校正参数。
24.根据权利要求20所述的图像显示方法，其中，生成所述第二图像数据包括：
获得由位于第一位置的虚拟相机捕获的所述第一图像数据的图像；以及
对于所述多个帧中的帧，将所述虚拟相机移动距离-Δz到第二位置，其中Δz表示通过将所述虚拟图像平面的设置位置与先前帧的虚拟图像平面的先前位置进行比较而获得的变化值。
25.根据权利要求20所述的图像显示方法，其中，生成所述第二图像数据包括：
获得由具有第一视场的虚拟相机捕获的所述第一图像数据的图像；以及
对于所述多个帧中的帧，将所述虚拟相机的所述第一视场改变-Δθ到第二视场，其中Δθ表示通过将与所述虚拟图像平面的设置位置相对应的视场和与先前帧的虚拟图像平面的先前位置相对应的先前视场进行比较而获得的变化值。
26.一种图像显示设备，包括：
处理器，被配置为：
接收图像数据，所述图像数据包括对应于第一帧的第一帧数据和对应于第二帧的第二帧数据，所述第一帧在所述第二帧之前；
确定所述第一帧数据中包括的第一深度值和所述第二帧数据中包括的第二深度值之差；以及
根据确定的差来生成校正后的第二帧数据；
显示元件，被配置为显示与所述校正后的第二帧数据相对应的图像；以及
驱动单元，被配置为基于确定的差来调节所述显示元件的位置。
27.根据权利要求26所述的图像显示设备，还包括光传输单元，被配置为将与所述第一帧数据相对应的第一图像和与所述第二帧数据相对应的第二图像传输到观察者的位置，
其中，所述处理器还被配置为将所述第一深度值确定为与在传输所述第一图像时观察者感知到的第一虚拟图像的深度相对应，以及将所述第二深度值确定为与在传输第二图像时观察者感知到的第二虚拟图像的深度相对应。
28.根据权利要求26所述的图像显示设备，其中，所述处理器还被配置为基于所述确定的差来确定用于调整所述第二帧数据的大小的比率，并且基于确定的比率来生成所述校正后的第二帧数据。
29.根据权利要求26所述的图像显示设备，其中，所述处理器还被配置为基于所述确定的差来调节观看所述第二帧数据的虚拟相机的位置，并且基于调节后的虚拟相机的位置来生成所述校正后的第二帧数据。
30.根据权利要求26所述的图像显示设备，其中，所述处理器还被配置为基于所述确定的差来调节观看所述第二帧数据的虚拟相机的视场，并基于调节后的虚拟相机的视场来生成所述校正后的第二帧数据。
CN202010855483.9A 2020-01-14 2020-08-24 图像显示设备和图像显示方法 Pending CN113132711A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200004945A KR20210091580A (ko) 2020-01-14 2020-01-14 3차원 영상 표시 장치 및 방법
KR10-2020-0004945 2020-01-14

Publications (1)

Publication Number Publication Date
CN113132711A true CN113132711A (zh) 2021-07-16

Family

ID=72885465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010855483.9A Pending CN113132711A (zh) 2020-01-14 2020-08-24 图像显示设备和图像显示方法

Country Status (4)

Country Link
US (2) US11509877B2 (zh)
EP (1) EP3851899B1 (zh)
KR (1) KR20210091580A (zh)
CN (1) CN113132711A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114326295A (zh) * 2022-03-15 2022-04-12 之江实验室 一种氧化锌微纳图案的飞秒激光直写方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2610205A (en) * 2021-08-26 2023-03-01 Envisics Ltd Field of view optimisation

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2364601A1 (en) 2001-12-03 2003-06-03 Utar Scientific Inc. Computer-assisted hologram forming method and apparatus
US8175449B2 (en) 2006-05-30 2012-05-08 Konica Minolta Opto, Inc. Driving device, driving mechanism, and image sensing apparatus
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US9251590B2 (en) * 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
KR102493498B1 (ko) 2013-11-27 2023-01-27 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
WO2015095737A2 (en) 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US11138793B2 (en) * 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US20170255021A1 (en) 2014-10-23 2017-09-07 Sony Interactive Entertainment Inc. Virtual image distance changing device, virtual image distance changing method, and program
WO2016098412A1 (ja) 2014-12-19 2016-06-23 株式会社ソニー・インタラクティブエンタテインメント 頭部装着型表示装置、及び映像表示システム
JP6443677B2 (ja) * 2015-03-12 2018-12-26 日本精機株式会社 ヘッドマウントディスプレイ装置
US11106276B2 (en) * 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US10129523B2 (en) * 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
WO2018027015A1 (en) 2016-08-04 2018-02-08 Dolby Laboratories Licensing Corporation Single depth tracked accommodation-vergence solutions
US10379611B2 (en) * 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
KR102546321B1 (ko) * 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
CN109031484B (zh) 2018-09-25 2020-09-29 中国计量大学 一种电控调焦的液体镜头
KR101971937B1 (ko) 2018-11-08 2019-04-24 주식회사 휴메닉 고령자를 위한 혼합현실 기반 인지훈련 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114326295A (zh) * 2022-03-15 2022-04-12 之江实验室 一种氧化锌微纳图案的飞秒激光直写方法
CN114326295B (zh) * 2022-03-15 2022-07-19 之江实验室 一种氧化锌微纳图案的飞秒激光直写方法

Also Published As

Publication number Publication date
US20230043244A1 (en) 2023-02-09
KR20210091580A (ko) 2021-07-22
US11509877B2 (en) 2022-11-22
EP3851899A1 (en) 2021-07-21
EP3851899B1 (en) 2023-12-27
US20210218946A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
US10645374B2 (en) Head-mounted display device and display control method for head-mounted display device
US11030926B2 (en) Image display apparatus capable of multi-depth expression
US20230043244A1 (en) Image display device including moveable display element and image display method
KR20210100175A (ko) 하이퍼보컬 뷰포트(hvp) 디스플레이를 위한 적응형 뷰포트
US9905143B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
CN111295702A (zh) 虚像显示装置以及使用该装置的头戴式显示器
WO2018100239A1 (en) Imaging system and method of producing images for display apparatus
CN110780454B (zh) 三维图像显示设备和方法
CN110618529A (zh) 用于增强现实的光场显示系统和增强现实装置
CN106772821B (zh) 一种可交互裸眼3d系统
KR102026361B1 (ko) 접안 디스플레이 장치
WO2020031549A1 (ja) 虚像表示装置
US20220326522A1 (en) Image display device capable of expressing multiple depth
EP4083683A1 (en) Display apparatus including free-formed surface and operating method thereof
US11409114B2 (en) Image display device capable of multi-depth expression
US11716457B2 (en) Display method of image
KR102135888B1 (ko) 프로젝션 장치
KR20210111149A (ko) 다중 깊이 표현이 가능한 영상 표시 장치
JP2018010251A (ja) 虚像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination