CN105954992A - 显示系统和显示方法 - Google Patents

显示系统和显示方法 Download PDF

Info

Publication number
CN105954992A
CN105954992A CN201610581791.0A CN201610581791A CN105954992A CN 105954992 A CN105954992 A CN 105954992A CN 201610581791 A CN201610581791 A CN 201610581791A CN 105954992 A CN105954992 A CN 105954992A
Authority
CN
China
Prior art keywords
lens
eye
display system
camera
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610581791.0A
Other languages
English (en)
Other versions
CN105954992B (zh
Inventor
石炳川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201610581791.0A priority Critical patent/CN105954992B/zh
Publication of CN105954992A publication Critical patent/CN105954992A/zh
Priority to PCT/CN2017/079692 priority patent/WO2018014595A1/zh
Priority to JP2017554597A priority patent/JP6963506B2/ja
Priority to US15/567,416 priority patent/US10503251B2/en
Application granted granted Critical
Publication of CN105954992B publication Critical patent/CN105954992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/10—Processes or apparatus for producing holograms using modulated reference beam
    • G03H1/12—Spatial modulation, e.g. ghost imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0216—Optical components
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/10—Spectral composition
    • G03H2222/13—Multi-wavelengths wave with discontinuous wavelength ranges
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/10—Spectral composition
    • G03H2222/16—Infra Red [IR]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/34—Multiple light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/50—Geometrical property of the irradiating beam
    • G03H2222/54—Convergent beam
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/17—Element having optical power
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

提供了一种显示系统和显示方法。所述显示系统包括投影单元和眼部追踪单元。所述投影单元包括投影光源、投影透镜和空间光调制器；在所述投影透镜的光轴方向上，所述投影透镜包括与所述空间光调制器重叠的第一透镜部分和不与所述空间光调制器重叠的第二透镜部分。所述眼部追踪单元包括相机；所述相机的成像光路穿过所述第二透镜部分。本发明实施例的显示系统和显示方法能够有利地使用在包括全息显示的显示领域中，简化光学设计，获得紧凑和高效的光学系统。

Description

显示系统和显示方法
技术领域
本发明涉及显示技术领域，尤其涉及一种显示系统和显示方法。
背景技术
全息显示技术可以再现被记录场景的振幅和相位信息，为观察者的眼睛提供图像及聚焦深度信息，解决现有立体显示技术中存在的辐辏聚焦不一致导致的视觉疲劳问题，为观察者提供最逼真的立体显示效果。实现实时全息显示的关键在于高分辨率空间光调制器，硅基液晶（Liquid Crystal on Silicon，LCoS）器件目前成本极高，难以普及；现有的液晶显示器（LCD）作为空间光调制器仍存在分辨率不足。Seereal公司针对LCD提出了视窗全息技术。所述视窗全息技术通过成像光学系统对现有的LCD在空间上进行压缩，从而在一个小的视窗内得到高密度的图像调制波前，实现全息显示。但是，视窗全息存在视场小的局限，在裸眼显示中必须配合眼部追踪系统才能满足在眼部移动时的观看。
发明内容
发明人发现，现有眼部追踪光学系统需要在显示系统之外单独配置成像镜头，对眼球位置进行追踪。一方面，为了不对显示造成遮挡，追踪成像镜头须偏置放置，不利于对眼部图像进行正面采集。另一方面，需要首先在三维方向上精确定位眼部位置才能计算出追踪光路的偏移量，对追踪精度和计算量的要求较为严苛。
因此，有利的是提供一种显示系统和显示方法，简化光学设计，获得紧凑和高效的光学系统。
根据本发明的一个方面，本发明实施例提供了一种显示系统。所述显示系统包括投影单元和眼部追踪单元。所述投影单元包括投影光源、投影透镜和空间光调制器；在所述投影透镜的光轴方向上，所述投影透镜包括与所述空间光调制器重叠的第一透镜部分和不与所述空间光调制器重叠的的第二透镜部分。所述眼部追踪单元包括相机；所述相机的成像光路穿过所述第二透镜部分。
本发明实施例提供的显示系统将投影透镜的边缘部分用作眼部追踪的成像镜头。投影单元的像方空间和眼部追踪单元的物方空间是重合的，因此可以在投影透镜的光轴方向上对眼部成像，而且有效利用了投影透镜的高通部分，从而实现精确的实时眼部追踪。本发明实施例的显示系统能够有利地使用在包括全息显示技术的显示领域中，简化光学设计，获得紧凑和高效的光学系统。
可选地，所述显示系统还包括位于所述投影透镜和所述投影光源之间的分束器；所述分束器配置为将来自所述第二透镜部分的光反射至所述相机。
利用分束器，在不改变投影光路的情况下，不仅实现了常规的投影成像，还能够利用所述第二透镜部分对诸如用户眼部的目标进行成像。
可选地，所述分束器是分光片或分光棱镜。
采用分光片或分光棱镜，不需要考虑光束的偏振方向，投影单元和眼部追踪单元的设置较为简单。
可选地，所述分束器是偏振分光棱镜。
采用偏振分光棱镜，并将以上两个光束的偏振方向设置为相互垂直，从而将投影单元和眼部追踪单元的光束完全分离，避免了投影单元和眼部追踪单元之间的串扰。
可选地，所述眼部追踪单元还包括照明光源；所述照明光源配置为经由所述第二透镜部分提供照明。
利用上述配置，即使在昏暗的环境中，也能够利用主动的照明光源来实现精确的眼部追踪。
可选地，所述照明光源包括红外光源。
照明光源发出的光束一般用于照明用户的眼部，因此使用红外光源作为照明光源，能够减少对用户眼部的刺激或干扰。
可选地，所述投影透镜包括一个透镜。
为了简化系统结构，可以使用一个透镜进行投影。
可选地，所述投影透镜包括多个透镜。
使用投影透镜组（即，多个透镜）进行投影，可以对投影进行灵活的调节，满足多种设计需求。
可选地，所述投影透镜具有圆形的形状；所述空间光调制器具有矩形的形状。
利用上述布置，对应于所述空间光调制器的第一透镜部分具有矩形的形状；同时，所述投影透镜的边缘部分（即所述第二透镜部分）仍然具有成像功能，从而实现对用户眼部的成像。类似地，所述投影透镜和所述空间光调制器还可以分别具有其他的形状，只要在所述投影透镜的光轴方向上，所述投影透镜包括与所述空间光调制器重叠的第一透镜部分和不与所述空间光调制器重叠的的第二透镜部分即可。
可选地，所述投影光源包括顺序地布置的激光器、扩束器、显微物镜和针孔滤波器。
使用针孔滤波器，投影光源提供了近似点光源的照明，不允许其他空间频率的光通过，消除了杂散光。利用激光光源，激光光束经由所述空间光调制器的调制，可以实现全息显示。
根据本发明的另一个方面，本发明实施例提供了一种显示方法。所述方法包括：利用投影光源、投影透镜和空间光调制器进行投影；在所述投影透镜的光轴方向上，所述投影透镜包括与所述空间光调制器重叠的第一透镜部分和不与所述空间光调制器重叠的的第二透镜部分；以及利用相机进行眼部追踪，其中所述相机利用所述第二透镜部分进行成像。
本发明实施例提供的显示方法将显示系统中的投影透镜的边缘部分用作眼部追踪的成像镜头。投影单元的像方空间和眼部追踪单元的物方空间是重合的，因此可以在投影透镜的光轴方向上对眼部成像，而且有效利用了投影透镜的高通部分，从而实现精确的实时眼部追踪。本发明实施例的显示系统能够有利地使用在包括全息显示技术的显示领域中，简化光学设计，获得紧凑和高效的光学系统。
可选地，所述方法还包括利用位于所述投影透镜和所述投影光源之间的分束器，将来自所述第二透镜部分的光反射至所述相机。
利用分束器，在不改变投影光路的情况下，不仅实现了常规的投影成像，还能够利用所述第二透镜部分对诸如用户眼部的目标进行成像。
可选地，所述方法还包括：经由所述第二透镜部分提供照明。
利用上述配置，即使在昏暗的环境中，也能够利用主动的照明光源来实现精确的眼部追踪。
可选地，经由所述第二透镜部分提供照明包括：经由所述第二透镜部分提供红外照明。
照明光源发出的光束一般用于照明用户的眼部，因此使用红外光源作为照明光源，能够减少对用户眼部的刺激或干扰。
可选地，利用相机进行眼部追踪包括：利用虹膜与巩膜之间的边界确定眼部的方位角。
基于图像处理，利用虹膜与巩膜之间的边界可以容易地确定眼部的方位角。例如，可以将具有不同方位角的眼部经过透镜后直接成像在相机的不同位置上；在对方位角与成像位置进行标定后，只需确定相机接收的图像中眼部的坐标位置，即可计算出对应的方位角。
可选地，利用相机进行眼部追踪包括：利用眼部特征的清晰度确定眼部与投影透镜之间的距离。
在全息显示中，眼部与显示系统的距离是全息图计算的必要参数，在所述距离变化不大的时候，只考虑方位角即可。当所述距离变化较大时，还应当考虑距离的改变。对物体清楚成像时，相机的成像参数（例如但不限于：相机的可变焦镜组的焦距）与物距（即，眼部与相机的距离）存在对应关系，通过读取可变焦镜组的焦距可以知道眼部距离相机的距离，从而计算出眼部与投影透镜之间的距离。
附图说明
图1示出了根据本发明实施例的显示系统的结构示意图；
图2示出了根据本发明实施例的显示系统中的投影透镜和空间光调制器的示意图；
图3示出了透镜成像的空间频率的示意图；
图4示出了根据本发明另一实施例的显示系统的结构示意图；以及
图5示出了根据本发明实施例的显示方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明专利保护的范围。
根据本发明的一个方面，本发明实施例提供了一种显示系统。如图1和图2所示，所述显示系统100包括投影单元101和眼部追踪单元102。所述投影单元101包括投影光源10、投影透镜1011和空间光调制器1012；如图2所示，在所述投影透镜1011的光轴11方向上，所述投影透镜1011包括与所述空间光调制器1012重叠的第一透镜部分1013和不与所述空间光调制器1012重叠的的第二透镜部分1014；所述眼部追踪单元102包括相机1021；所述相机1021的成像光路穿过所述第二透镜部分1014。
本发明实施例提供的显示系统将显示系统中的投影透镜1011的边缘部分用作眼部追踪的成像镜头。投影单元101的像方空间和眼部追踪单元102的物方空间是重合的，因此可以在投影透镜1011的光轴方向上对眼部103成像，而且有效利用了投影透镜1011的高通部分，从而实现精确的实时眼部追踪。本发明实施例的显示系统能够有利地使用在包括全息显示技术的显示领域中，简化光学设计，获得紧凑和高效的光学系统。
在成像光学系统中，透镜孔径的增加有利于提高成像光通量，从而增强成像检测系统在黑暗环境下的适应能力；同时，透镜孔径是光学成像分辨率的决定因素之一，而成像分辨率直接影响眼部检测的精度。因此，具有较大口径的成像透镜对眼部追踪是极为有利的。透镜成像如图3所示，物点201发出的光束沿光轴202通过透镜203成像到像点204，成像光束沿光轴成锥状分布。在傅立叶光学中，光线的空间频率f定义为光线与光轴夹角α的正弦值与波长的比值，即f=(sinα)/λ。随着夹角α的增大，对应的空间频率也增大。光学系统所能接收到的物体光线的最大空间频率决定了该光学系统的最大成像分辨率。成像过程中，像的整体明暗分布主要由近轴的低频光束形成，像的细节纹理主要由边缘的高频光束形成。在本发明的实施例中，近轴的低频信息被空降光调制器遮挡和调制，因此所述第二透镜部分构成一个高通滤波成像装置，所成的像主要包含物体的细节信息，包括亮度突变、纹理、区域界限等。因此，如图1和图2所示，在对眼部103成像时，所述第二透镜部分1014的高通成像特性恰好可以为图像识别追踪提供眼部附近的图像纹理等细节信息，有利于识别追踪。
可选地，如图1所示，所述显示系统100还可以包括位于所述投影透镜1011和所述投影光源10之间的分束器1015；所述分束器1015配置为将来自所述第二透镜部分1014的光反射至所述相机1021。
利用分束器1015，在不改变投影光路的情况下，不仅实现了常规的投影成像，还能够利用所述第二透镜部分1014对诸如用户眼部的目标进行成像。
可选地，所述分束器1015是分光片或分光棱镜。
采用分光片或分光棱镜，不需要考虑光束的偏振方向，投影单元和眼部追踪单元的设置较为简单。
可选地，所述分束器1015是偏振分光棱镜。
采用偏振分光棱镜，并将以上两个光束的偏振方向设置为相互垂直，从而将投影单元和眼部追踪单元的光束完全分离，避免了投影单元和眼部追踪单元之间的串扰。
可选地，所述眼部追踪单元102还包括照明光源1022；所述照明光源1022配置为经由所述第二透镜部分1014提供照明。
利用上述配置，即使在昏暗的环境中，也能够利用主动的照明光源来实现精确的眼部追踪。具体地，由于光路的可逆性，所述照明光源1022可以布置在例如所述相机1021的位置处，从而提供主动的照明。
可选地，所述照明光源1022包括红外光源。
照明光源发出的光束一般用于照明用户的眼部，因此使用红外光源作为照明光源，能够减少对用户眼部的刺激或干扰。
在以上实施例中，使用了投影透镜1011用于投影；然而本领域技术人员能够理解，也可以使用投影透镜组（即，多个透镜）替换所述投影透镜1011。如图4所示，可以利用投影透镜组1011’的边缘部分用作眼部追踪的成像镜头，从而实现精确的实时眼部追踪。
可选地，如图1所示，所述投影透镜1011包括一个透镜。
为了简化系统结构，可以使用一个透镜进行投影。
可选地，如图4所示，所述投影透镜1011’包括多个透镜。
使用投影透镜组（即，多个透镜）进行投影，可以对投影进行灵活的调节，满足多种设计需求。
可选地，如图2所示，所述投影透镜1011可以具有圆形的形状；所述空间光调制器1012可以具有矩形的形状。
利用上述布置，对应于所述空间光调制器的第一透镜部分1013具有矩形的形状；同时，所述投影透镜的边缘部分（即所述第二透镜部分1014）仍然具有成像功能，从而实现对用户眼部的成像。类似地，所述投影透镜和所述空间光调制器还可以分别具有其他的形状，只要在所述投影透镜的光轴方向上，所述投影透镜包括与所述空间光调制器重叠的第一透镜部分和不与所述空间光调制器重叠的的第二透镜部分即可。
可选地，所述投影光源10包括顺序地布置的激光器1017、扩束器1018、显微物镜1019和针孔滤波器1016。
使用针孔滤波器1016，投影光源10提供了近似点光源的照明，不允许其他空间频率的光通过，消除了杂散光。利用激光器1017，激光光束经由所述空间光调制器1012的调制，可以实现全息显示。
在一些实施例中，如图1和图4所示，所述显示系统100还可以包括位于所述空间光调制器1012下游的偏振片1020。利用偏振片和空间光调制器的协同工作，可以实现更好的全息显示效果。然而本领域技术人员能够理解，偏振片也可以形成在空间光调制器中，因此在本公开中不做限定。
根据本发明的另一个方面，本发明实施例提供了一种显示方法。如图5所示，所述方法500可以包括以下步骤：
S501 利用投影光源、投影透镜和空间光调制器进行投影；在所述投影透镜的光轴方向上，所述投影透镜包括与所述空间光调制器重叠的第一透镜部分和不与所述空间光调制器重叠的的第二透镜部分；以及
S502 利用相机进行眼部追踪，其中所述相机利用所述第二透镜部分进行成像。
本发明实施例提供的显示方法将显示系统中的投影透镜的边缘部分用作眼部追踪的成像镜头。投影单元的像方空间和眼部追踪单元的物方空间是重合的，因此可以在投影透镜的光轴方向上对眼部成像，而且有效利用了投影透镜的高通部分，从而实现精确的实时眼部追踪。本发明实施例的显示方法能够有利地使用在包括全息显示技术的显示领域中，简化光学设计，获得紧凑和高效的光学系统。
可选地，如图5所示，所述方法还包括步骤S503：利用位于所述投影透镜和所述投影光源之间的分束器，将来自所述第二透镜部分的光反射至所述相机。
利用分束器，在不改变投影光路的情况下，不仅实现了常规的投影成像，还能够利用所述第二透镜部分对诸如用户眼部的目标进行成像。
可选地，如图5所示，所述方法还包括步骤S504：经由所述第二透镜部分提供照明。
利用上述配置，即使在昏暗的环境中，也能够利用主动的照明光源来实现精确的眼部追踪。
可选地，经由所述第二透镜部分提供照明包括：经由所述第二透镜部分提供红外照明。
照明光源发出的光束一般用于照明用户的眼部，因此使用红外光源作为照明光源，能够减少对用户眼部的刺激或干扰。
可选地，利用相机进行眼部追踪包括：利用虹膜与巩膜之间的边界确定眼部的方位角。
基于图像处理，利用虹膜与巩膜之间的边界可以容易地确定眼部的方位角。例如，可以将具有不同方位角的眼部经过透镜后直接成像在相机的不同位置上；在对方位角与成像位置进行标定后，只需确定相机接收的图像中眼部的坐标位置，即可计算出对应的方位角。
可选地，利用相机进行眼部追踪包括：利用眼部特征的清晰度确定眼部与投影透镜之间的距离。
在全息显示中，眼部与显示系统的距离是全息图计算的必要参数，在所述距离变化不大的时候，只考虑方位角即可。当所述距离变化较大时，还应当考虑距离的改变。对物体清楚成像时，相机的成像参数（例如但不限于：相机的可变焦镜组的焦距）与物距（即，眼部与相机的距离）存在对应关系，通过读取可变焦镜组的焦距可以知道眼部距离相机的距离，从而计算出眼部与投影透镜之间的距离。
本发明实施例提供的显示系统和显示方法将显示系统中的投影透镜的边缘部分用作眼部追踪的成像镜头。投影单元的像方空间和眼部追踪单元的物方空间是重合的，因此可以在投影透镜的光轴方向上对眼部成像，而且有效利用了投影透镜的高通部分，从而实现精确的实时眼部追踪。本发明实施例的显示系统和显示方法能够有利地使用在包括全息显示技术的显示领域中，简化光学设计，获得紧凑和高效的光学系统。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型。

Claims (16)

1. 一种显示系统，其特征在于，包括投影单元和眼部追踪单元；
所述投影单元包括投影光源、投影透镜和空间光调制器；在所述投影透镜的光轴方向上，所述投影透镜包括与所述空间光调制器重叠的第一透镜部分和不与所述空间光调制器重叠的的第二透镜部分；以及
所述眼部追踪单元包括相机；所述相机的成像光路穿过所述第二透镜部分。
2. 如权利要求1所述的显示系统，其特征在于，还包括位于所述投影透镜和所述投影光源之间的分束器；所述分束器配置为将来自所述第二透镜部分的光反射至所述相机。
3. 如权利要求2所述的显示系统，其特征在于，所述分束器是分光片或分光棱镜。
4. 如权利要求2所述的显示系统，其特征在于，所述分束器是偏振分光棱镜。
5. 如权利要求1所述的显示系统，其特征在于，所述眼部追踪单元还包括照明光源；所述照明光源配置为经由所述第二透镜部分提供照明。
6. 如权利要求5所述的显示系统，其特征在于，所述照明光源包括红外光源。
7. 如权利要求1所述的显示系统，其特征在于，所述投影透镜包括一个透镜。
8. 如权利要求1所述的显示系统，其特征在于，所述投影透镜包括多个透镜。
9. 如权利要求1所述的显示系统，其特征在于，所述投影透镜具有圆形的形状；所述空间光调制器具有矩形的形状。
10. 如权利要求1所述的显示系统，其特征在于，所述投影光源包括顺序地布置的激光器、扩束器、显微物镜和针孔滤波器。
11. 一种显示方法，其特征在于，包括：
利用投影光源、投影透镜和空间光调制器进行投影；在所述投影透镜的光轴方向上，所述投影透镜包括与所述空间光调制器重叠的第一透镜部分和不与所述空间光调制器重叠的的第二透镜部分；以及
利用相机进行眼部追踪，其中所述相机利用所述第二透镜部分进行成像。
12. 如权利要求11所述的显示方法，其特征在于，还包括：利用位于所述投影透镜和所述投影光源之间的分束器，将来自所述第二透镜部分的光反射至所述相机。
13. 如权利要求11所述的显示方法，其特征在于，还包括：经由所述第二透镜部分提供照明。
14. 如权利要求13所述的显示方法，其特征在于，经由所述第二透镜部分提供照明包括：经由所述第二透镜部分提供红外照明。
15. 如权利要求11所述的显示方法，其特征在于，利用相机进行眼部追踪包括：利用虹膜与巩膜之间的边界确定眼部的方位角。
16. 如权利要求11所述的显示方法，其特征在于，利用相机进行眼部追踪包括：利用眼部特征的清晰度确定眼部与投影透镜之间的距离。
CN201610581791.0A 2016-07-22 2016-07-22 显示系统和显示方法 Active CN105954992B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610581791.0A CN105954992B (zh) 2016-07-22 2016-07-22 显示系统和显示方法
PCT/CN2017/079692 WO2018014595A1 (zh) 2016-07-22 2017-04-07 显示系统和显示方法
JP2017554597A JP6963506B2 (ja) 2016-07-22 2017-04-07 表示システムおよび表示方法
US15/567,416 US10503251B2 (en) 2016-07-22 2017-04-07 Display system and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610581791.0A CN105954992B (zh) 2016-07-22 2016-07-22 显示系统和显示方法

Publications (2)

Publication Number Publication Date
CN105954992A true CN105954992A (zh) 2016-09-21
CN105954992B CN105954992B (zh) 2018-10-30

Family

ID=56901047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610581791.0A Active CN105954992B (zh) 2016-07-22 2016-07-22 显示系统和显示方法

Country Status (4)

Country Link
US (1) US10503251B2 (zh)
JP (1) JP6963506B2 (zh)
CN (1) CN105954992B (zh)
WO (1) WO2018014595A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406063A (zh) * 2016-10-28 2017-02-15 京东方科技集团股份有限公司 全息显示系统和全息显示方法
CN106773588A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 一种全息显示装置及其控制方法
WO2018014595A1 (zh) * 2016-07-22 2018-01-25 京东方科技集团股份有限公司 显示系统和显示方法
CN108762483A (zh) * 2018-04-16 2018-11-06 广景视睿科技（深圳）有限公司 一种互动投影仪及互动投影方法
CN109381156A (zh) * 2017-08-14 2019-02-26 卡尔蔡司光学国际有限公司 用于实施与眼睛有关的测量的装置和方法
CN110749999A (zh) * 2018-07-04 2020-02-04 三星电子株式会社 具有减少的色差的全息显示装置
CN111201469A (zh) * 2017-12-08 2020-05-26 陈端军 在压缩域中运作而动态显示真实三维图像的直线变换数字全息系统
WO2021147825A1 (zh) * 2020-01-21 2021-07-29 奥提赞光晶(山东)显示科技有限公司 一种集成瞳孔追踪功能的全息智能显示装置及实现方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US7522344B1 (en) * 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
KR20130088666A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 다층 신경망을 이용한 시선 추적 시스템의 초점 측정 장치
CN103248905A (zh) * 2013-03-22 2013-08-14 深圳市云立方信息科技有限公司 一种模仿全息3d场景的显示装置和视觉显示方法
CN104407440A (zh) * 2014-11-19 2015-03-11 东南大学 具有视线跟踪功能的全息显示装置
US20150205259A1 (en) * 2014-01-20 2015-07-23 Electronics And Telecommunications Research Institute Holographic display method and apparatus using optical fiber array backlight for portable device

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1935397A (en) * 1996-03-15 1997-10-10 Retinal Display Cayman Limited Method of and apparatus for viewing an image
GB9823977D0 (en) * 1998-11-02 1998-12-30 Scient Generics Ltd Eye tracking method and apparatus
CA2364601A1 (en) * 2001-12-03 2003-06-03 Utar Scientific Inc. Computer-assisted hologram forming method and apparatus
US7283308B2 (en) * 2004-03-05 2007-10-16 Actuality Systems, Inc. Optical systems for generating three-dimensional images
JP5015913B2 (ja) 2005-05-13 2012-09-05 シーリアル、テクノロジーズ、ゲーエムベーハー シーンのホログラフィック再構成を行う投影装置及び方法
DE102006041637B4 (de) * 2006-09-05 2010-11-25 Seereal Technologies S.A. Wiedergabevorrichtung und Verfahren zum Nachführen eines Betrachterfensters
US8520191B2 (en) * 2008-09-05 2013-08-27 3Dewitt, Llc Slit aperture for diffraction range finding system
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US20130089240A1 (en) * 2011-10-07 2013-04-11 Aoptix Technologies, Inc. Handheld iris imager
KR102264765B1 (ko) * 2012-01-24 2021-06-11 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이
US9529430B2 (en) * 2012-01-26 2016-12-27 Seereal Technologies S.A. Display with observer tracking
WO2014024403A1 (ja) * 2012-08-08 2014-02-13 株式会社ニコン 頭部搭載型ディスプレイ用光学系および頭部搭載型ディスプレイ
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US10228561B2 (en) * 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
US20150185484A1 (en) * 2013-12-30 2015-07-02 Electronics And Telecommunications Research Institute Pupil tracking apparatus and method
JP6268303B2 (ja) * 2014-02-04 2018-01-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ２ｄ画像分析装置
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9958680B2 (en) 2014-09-30 2018-05-01 Omnivision Technologies, Inc. Near-eye display device and methods with coaxial eye imaging
WO2016061547A1 (en) * 2014-10-17 2016-04-21 Optimedica Corporation Automatic patient positioning within a laser eye surgery system
EP3252537A4 (en) * 2015-01-28 2019-02-13 The School Corporation Kansai University DEVICE FOR RECORDING A DIGITAL HOLOGRAPHY, DEVICE FOR PLAYING A DIGITAL HOLOGRAPHY, METHOD FOR RECORDING A DIGITAL HOLOGRAPHY AND METHOD FOR REPRODUCING A DIGITAL HOLOGRAPHY
US10082521B2 (en) * 2015-06-30 2018-09-25 Faro Technologies, Inc. System for measuring six degrees of freedom
TWI570638B (zh) * 2015-07-29 2017-02-11 財團法人資訊工業策進會 凝視分析方法與裝置
CN108369653B (zh) * 2015-10-16 2021-12-14 奇跃公司 使用眼睛特征的眼睛姿态识别
DE102015221774B4 (de) * 2015-11-05 2019-10-17 Agrippa Holding & Consulting Gmbh Optisches System und Verfahren zur Erzeugung eines zwei- oder dreidimensionalen Bildes
JP2019506017A (ja) * 2015-11-06 2019-02-28 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ オプティカル・フローを用いる眼球追跡
EP3380883B1 (en) * 2015-11-25 2020-10-28 Google LLC Prism-based eye tracking
US9964925B2 (en) * 2015-12-29 2018-05-08 Oculus Vr, Llc Holographic display architecture
CN105652444B (zh) * 2016-01-18 2019-02-15 北京国承万通信息科技有限公司 显示装置
US9964768B2 (en) * 2016-03-04 2018-05-08 Sharp Kabushiki Kaisha Head mounted display using spatial light modulator to generate a holographic image
US20170255012A1 (en) * 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display using spatial light modulator to move the viewing zone
US20180122143A1 (en) * 2016-03-15 2018-05-03 Sutherland Cook Ellwood, JR. Hybrid photonic vr/ar systems
US10698149B2 (en) * 2016-03-16 2020-06-30 Serreal Technologies S.A. Display for two-dimensional and/or three-dimensional images
CN105954992B (zh) * 2016-07-22 2018-10-30 京东方科技集团股份有限公司 显示系统和显示方法
US10310355B2 (en) * 2016-08-01 2019-06-04 Boulder Nonlinear Systems, Inc. Reflective spatial light modulator with high spatial frequency border

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US7522344B1 (en) * 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
KR20130088666A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 다층 신경망을 이용한 시선 추적 시스템의 초점 측정 장치
CN103248905A (zh) * 2013-03-22 2013-08-14 深圳市云立方信息科技有限公司 一种模仿全息3d场景的显示装置和视觉显示方法
US20150205259A1 (en) * 2014-01-20 2015-07-23 Electronics And Telecommunications Research Institute Holographic display method and apparatus using optical fiber array backlight for portable device
CN104407440A (zh) * 2014-11-19 2015-03-11 东南大学 具有视线跟踪功能的全息显示装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503251B2 (en) 2016-07-22 2019-12-10 Boe Technology Group Co., Ltd. Display system and display method
WO2018014595A1 (zh) * 2016-07-22 2018-01-25 京东方科技集团股份有限公司 显示系统和显示方法
CN106406063A (zh) * 2016-10-28 2017-02-15 京东方科技集团股份有限公司 全息显示系统和全息显示方法
WO2018076634A1 (zh) * 2016-10-28 2018-05-03 京东方科技集团股份有限公司 全息显示系统和全息显示方法
CN106773588B (zh) * 2017-01-03 2019-07-23 京东方科技集团股份有限公司 一种全息显示装置及其控制方法
CN106773588A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 一种全息显示装置及其控制方法
CN109381156A (zh) * 2017-08-14 2019-02-26 卡尔蔡司光学国际有限公司 用于实施与眼睛有关的测量的装置和方法
CN111201469A (zh) * 2017-12-08 2020-05-26 陈端军 在压缩域中运作而动态显示真实三维图像的直线变换数字全息系统
CN108762483A (zh) * 2018-04-16 2018-11-06 广景视睿科技（深圳）有限公司 一种互动投影仪及互动投影方法
CN108762483B (zh) * 2018-04-16 2021-02-09 广景视睿科技（深圳）有限公司 一种互动投影仪及互动投影方法
CN110749999A (zh) * 2018-07-04 2020-02-04 三星电子株式会社 具有减少的色差的全息显示装置
US11774752B2 (en) 2018-07-04 2023-10-03 Samsung Electronics Co., Ltd. Holographic display device having reduced chromatic aberration
CN110749999B (zh) * 2018-07-04 2024-03-22 三星电子株式会社 具有减少的色差的全息显示装置
WO2021147825A1 (zh) * 2020-01-21 2021-07-29 奥提赞光晶(山东)显示科技有限公司 一种集成瞳孔追踪功能的全息智能显示装置及实现方法

Also Published As

Publication number Publication date
JP6963506B2 (ja) 2021-11-10
JP2019532676A (ja) 2019-11-14
WO2018014595A1 (zh) 2018-01-25
CN105954992B (zh) 2018-10-30
US10503251B2 (en) 2019-12-10
US20180292898A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
CN105954992A (zh) 显示系统和显示方法
CN113748366B (zh) 光波导分束器
US10989922B2 (en) Augmented reality optics system with pin mirror
JP2019091051A (ja) 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法
KR102262215B1 (ko) 백라이트 유닛 및 이를 포함한 홀로그래픽 디스플레이
CN104781724B (zh) 相位调制方法以及相位调制装置
JP2017142506A (ja) ２次元／３次元ホログラフィ表示システム
EP3513254B1 (en) Holographic wide field of view display
EP3721286A1 (en) Compact multi-color beam combiner using a geometric phase lens
CN106842568A (zh) 透视型全息显示设备和头戴式显示设备
JP2019532676A5 (zh)
KR20140114651A (ko) 홀로그래픽 3차원 영상 디스플레이 장치 및 상기 홀로그래픽 3차원 영상 디스플레이 장치용 조광 유닛
US20230176388A1 (en) On-axis holographic sight
US10412378B2 (en) Resonating optical waveguide using multiple diffractive optical elements
CN104407440A (zh) 具有视线跟踪功能的全息显示装置
KR20140090838A (ko) 홀로그램 영상 표시 장치 및 방법
CN103488036A (zh) 全息立体投影屏及其投影方法
US20210286319A1 (en) Light Detection and Ranging
CN110376739A (zh) 一种基于光偏振方向大出瞳快速计算的全息平面混合近眼显示系统
US20070019266A1 (en) Holographic stereogram creation device and its method
US11125998B2 (en) Apparatus or method for projecting light internally towards and away from an eye of a user
WO2019228280A1 (zh) 全息光学元件及其制作方法、像重建方法、增强现实眼镜
KR20140060204A (ko) 디지털 홀로그램 영상 표시장치
US20170293260A1 (en) Projection apparatus and image projection method
US20200088991A1 (en) Backlight Module, Holographic Display Device and Holographic Display Method Thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100015 Jiuxianqiao Road, Beijing, No. 10, No.

Applicant after: BOE Technology Group Co., Ltd.

Address before: Beijing economic and Technological Development Zone 100176 Beijing Zelu 9

Applicant before: BOE Technology Group Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant