CN104407440A - 具有视线跟踪功能的全息显示装置 - Google Patents

具有视线跟踪功能的全息显示装置 Download PDF

Info

Publication number
CN104407440A
CN104407440A CN201410660670.6A CN201410660670A CN104407440A CN 104407440 A CN104407440 A CN 104407440A CN 201410660670 A CN201410660670 A CN 201410660670A CN 104407440 A CN104407440 A CN 104407440A
Authority
CN
China
Prior art keywords
chip
display
camera
optical
tracking function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410660670.6A
Other languages
English (en)
Inventor
夏军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201410660670.6A priority Critical patent/CN104407440A/zh
Publication of CN104407440A publication Critical patent/CN104407440A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0109Head-up displays characterised by optical features comprising holographic elements comprising details concerning the making of holograms

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

本发明公开一种具有视线跟踪功能的全息显示装置,包括微显示芯片、摄像芯片、光学镜头和光学成像系统组成,显示芯片和摄像芯片共用光学镜头和光学成像系统,光学镜头和光学成像系统将人眼眼球的图像成像在摄像芯片上,微显示芯片显示动态全息图像,提出了一种微显示系统与人眼视线跟踪系统共用光路的方案,通过共用光路,提高了系统的集成度和可靠性,缩小了系统的体积,实现了系统的轻便化。

Description

具有视线跟踪功能的全息显示装置
技术领域
本发明涉及一种全息显示装置,尤其是涉及一种具有视线跟踪功能的全息显示装置。
背景技术
可穿戴的微显示系统可用于虚拟现实显示和增强现实显示等应用场景,具有代表性的产品包括索尼公司的头盔显示装置,Oclulus公司的虚拟现实显示头盔,谷歌公司的智能眼镜等。目前穿戴式的微显示系统主要采用微显示芯片来作为图像显示源,例如LCoS,OLED on Silicon等,并通过光学成像系统,使人眼看到一副放大的虚像。这种显示方式,对于单眼的光学系统而言,始终是将一个二维的虚拟放大图像显示在眼睛前方的固定位置上,因此只能显示二维平面图像,显示的图像画面不具有三维空间上的景深感。一种实现立体显示的方式是在双目分别显示两个具有视差信息的二维图像,利用人眼双目视差的立体感知特点,实现立体显示,但是这种立体显示方式存在视疲劳问题,即由于单眼的平面位置与双眼所观看到的立体图像的虚拟三维空间位置不一致导致视疲劳。
一种能够实现单眼三维成像的技术是全息视网膜显示技术(一种相干光成像装置,CN101359098B),这种全息视网膜显示技术能够提供单眼的三维全息显示,因此可以克服上述双目视差立体显示技术存在的视觉疲劳感。全息显示的另外一个优势在于,与二维成像需要将图像聚焦在投影屏幕上不同,全息三维显示可以适应不同焦距的透镜,例如可以采用分数阶的傅立叶变换算法,在焦距给定的条件下实现任意平面位置的空间成像。
然而上述微显示系统都不能在显示图像的同时,实时的记录人眼视线关注区域。为了记录和跟踪人眼视线关注点,一种技术方案是利用红外光照射人眼,同时采用红外摄像机拍摄红外光源在人眼中的反射点的位置,通过计算反射点位置的变化可以计算出人眼视线的关注点( “In the Eye of the Beholder: A Survey of Models for Eyes and Gaze”,IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 32, NO. 3, MARCH 2010)。为了实现上述功能,需要在微显示系统中增加红外光源和红外摄像机。增加的红外光源和红外摄像机可以是独立的元器件,这种独立的元器件将增加整个系统的复杂度,例如红外摄像机需要一个光学镜头来完成聚焦,这种聚焦镜头将会增加系统的重量,同时光学镜头的光路与微显示系统的光路各自独立,且不能互相遮挡,增加了系统的设计复杂度。
本发明针对上述问题,利用全息三维显示可以对任意平面进行三维空间成像的特点,将微显示系统和摄像系统集成在同一个基板上,共用同一个光路系统。传统光路系统不能同时实现对微显示系统和摄像系统的光学对焦功能,本发明利用光路系统实现摄像系统的几何光学对焦,在焦距给定的条件下,利用全息显示系统实现人眼视网膜上的三维成像,克服传统光学显示成像系统不对焦的问题。
发明内容
本发明针对上述问题,提出将微显示系统和红外摄像系统的光路共用,通过光路可逆的原理实现系统结构的简化。
本发明的技术方案如下:
一种具有视线跟踪功能的全息显示装置,包括微显示芯片、摄像芯片、光学镜头以及光学成像系统,所述微显示芯片与摄像芯片位于同一平面上,所述微显示芯片和摄像芯片位于所述光学镜头前,所述光学镜头位于所述光学成像系统前,显示芯片和摄像芯片共用光学镜头和光学成像系统,微显示芯片工作在纯相位调制状态。
所述微显示芯片和所述摄像芯片为两个独立的芯片位于同一个基板或者芯片上。
所述微显示芯片为LCoS芯片,所述摄像芯片为CMOS感光芯片。
所述拍摄芯片是单色的红外CMOS芯片,或者是彩色CMOS芯片。
所述光学成像系统是半透半反镜或者超薄结构的光波导器件。
所述光波导器件是具有全息耦合条纹的光波导,或是具有多个半透半反镜的超薄结构的光波导,或是具有会聚功能的薄型自由曲面镜。
在所述光学成像系统后设置有一个反射镜。
所述光学透镜为变焦透镜。
有益效果
  本发明利用全息显示技术将微显示系统与摄像系统置于同一个成像平面上,实现光路系统的共用,结构简单,克服了传统微显示系统与摄像系统光路各自独立,系统复杂的问题。
附图说明
图1为本发明的优选结构示意图。
图2为本发明另外一个实施例的结构示意图。
具体实施方式
图1所示是本发明的优选结构示意图。图中微显示芯片和摄像芯片位于同一个平面上,本发明中微显示芯片优选LCoS芯片(硅基液晶微显示芯片,LCoS为反射式微显示芯片,需要额外的光源照射显示屏,并利用反射光进行显示,图中简化没有画出),摄像芯片为CMOS感光芯片,微显示芯片和摄像芯片可以是两个独立的芯片位于同一个基板上,也可以是位于同一个芯片上,例如在同一个硅片上制备有LCoS芯片区域和CMOS感光芯片区域,或是将CMOS感光区域与LCoS区域融合在一起,即在LCoS像素单元的间隙制备有CMOS感光像素单元,使同一块芯片同时具有拍摄和显示功能。
微显示芯片和摄像芯片共用同一个光路系统,如图所示,微显示芯片的图像内容经过光学透镜,进一步传播到眼前的光学成像系统,图中所示的光学成像系统为一个半透半反镜,该半透半反镜将微显示芯片的光学影像进一步传播到人的眼球中,光学成像系统还可以是超薄结构的光波导器件,例如具有全息耦合条纹的光波导,或是具有多个半透半反镜的超薄结构的光波导,或是具有会聚功能的薄型自由曲面镜等。在传统的微显示系统中,光学透镜和光学成像系统的主要功能是将微显示芯片上的图像投影到一个虚拟的平面上,即使人眼看到一个放大的虚像,因此依据几何光学的原理,光学透镜和光学成像系统控制了虚像的成像距离和缩放率。本发明中,光学透镜和光学成像系统的功能则不同,为了使摄像芯片能够拍摄清晰的人眼眼球的动态影像,光学透镜和光学成像系统需对人眼眼球进行对焦(人眼视线跟踪拍摄系统中还包括一个或多个红外的点光源,图中简化未画出)。依据光路可逆的原理,此时微显示芯片的图像也成像在人眼眼球的前方,从而无法实现虚像显示。显示和拍摄所需的透镜焦距要求不同,不能同时满足。本发明为了克服上述问题,所采用的LCoS微显示芯片工作在纯相位调制状态,能够对全息图进行纯相位调制,从而可以实现纯相位全息图的三维全息显示。此时光学透镜,光学成像系统,以及人眼眼球组成的复杂光学系统可以用分数阶傅里叶光传播函数来描述(Scaled diffraction calculation between tilted planes using nonuniform fast Fourier transform, Optics Express, 22: 17331-17340, 2014),基于分数阶傅里叶光传播函数(C. Chang, J Xia, W Lei, Optics Communications 285, 24-28, 2012),可以对人眼视网膜上的全息影像进行动态调制,从而实现三维显示功能。即在本发明优选的实施例中,光学透镜和光学成像系统首先用于摄像芯片对人眼眼球的动态拍摄,同时依据光路可逆的原理,利用相位调制LCoS实现人眼视网膜上全息三维影像的动态显示。
本发明优选的另外一个实施例是,如图2所示增加一个反射镜,增加的反射镜可以实现利用摄像芯片对人眼前方的场景进行动态拍摄,如图中所示红色和绿色光线的传播路径,此时光学透镜和光学成像系统组成的光学系统聚焦在人眼前方,光学透镜可以是变焦透镜,从而可以实现对不同景深物体的清晰拍摄,还可以通过高速时分的方式快速变化光学透镜的焦距,从而以时分方式的实现人眼眼球的拍摄和人眼前面场景的同步拍摄。
本发明优选的图1实施例中的拍摄芯片通常是单色的红外CMOS芯片,也可以是彩色CMOS芯片,此时如图2中所示,彩色CMOS芯片可以对人眼前方的场景进行动态的彩色拍摄。
本发明优选的实施例中的光学成像系统是半透半反镜,但是本领域的研究人员也可以根据本发明专利的工作原理,改用其他光学结构,例如全息波导成像结构,半透半反膜阵列结构,自由曲面半透半反膜结构等。
在以上的描述中阐述了很多具体细节以便于充分理解本发明。但是以上描述仅是本发明的较佳实施例而已,本发明能够以很多不同于在此描述的其它方式来实施,因此本发明不受上面公开的具体实施的限制。凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。

Claims (8)

1.一种具有视线跟踪功能的全息显示装置,包括微显示芯片、摄像芯片、光学镜头以及光学成像系统,所述微显示芯片与摄像芯片位于同一平面上,所述微显示芯片和摄像芯片位于所述光学镜头前,所述光学镜头位于所述光学成像系统前,其特征在于,显示芯片和摄像芯片共用光学镜头和光学成像系统,所述微显示芯片对全息图进行纯相位调制。
2.根据权利要求1所述的具有视线跟踪功能的全息显示装置,其特征在于,所述微显示芯片和所述摄像芯片为两个独立的芯片位于同一个基板或者芯片上。
3.根据权利要求1所述的具有视线跟踪功能的全息显示装置,其特征在于,所述微显示芯片为LCoS芯片,所述摄像芯片为CMOS感光芯片。
4.根据权利要求3所述的具有视线跟踪功能的全息显示装置,其特征在于,所述拍摄芯片是单色的红外CMOS芯片,或者是彩色CMOS芯片。
5.根据权利要求1所述的具有视线跟踪功能的全息显示装置,其特征在于,所述光学成像系统是半透半反镜或者超薄结构的光波导器件。
6.根据权利要求4所述的具有视线跟踪功能的全息显示装置,其特征在于,所述光波导器件是具有全息耦合条纹的光波导,或是具有多个半透半反镜的超薄结构的光波导,或是具有会聚功能的薄型自由曲面镜。
7.根据权利要求1所述的具有视线跟踪功能的全息显示装置,其特征在于,在所述光学成像系统后设置有一个反射镜。
8.根据权利要求6所述的具有视线跟踪功能的全息显示装置,其特征在于,所述光学透镜为变焦透镜。
CN201410660670.6A 2014-11-19 2014-11-19 具有视线跟踪功能的全息显示装置 Pending CN104407440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410660670.6A CN104407440A (zh) 2014-11-19 2014-11-19 具有视线跟踪功能的全息显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410660670.6A CN104407440A (zh) 2014-11-19 2014-11-19 具有视线跟踪功能的全息显示装置

Publications (1)

Publication Number Publication Date
CN104407440A true CN104407440A (zh) 2015-03-11

Family

ID=52645083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410660670.6A Pending CN104407440A (zh) 2014-11-19 2014-11-19 具有视线跟踪功能的全息显示装置

Country Status (1)

Country Link
CN (1) CN104407440A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105954992A (zh) * 2016-07-22 2016-09-21 京东方科技集团股份有限公司 显示系统和显示方法
CN106019587A (zh) * 2016-06-23 2016-10-12 深圳市虚拟现实科技有限公司 一种可以自动调焦的近眼显示装置及方法
CN106371216A (zh) * 2016-10-14 2017-02-01 东莞市美光达光学科技有限公司 一种用于观察大屏幕的二次显示虚拟现实光学系统
CN107065193A (zh) * 2017-05-27 2017-08-18 罗德强 一种用于近眼显示的光学设备
WO2018141152A1 (zh) * 2017-02-06 2018-08-09 京东方科技集团股份有限公司 全息显示器及其显示方法、显示装置
WO2018153368A1 (zh) * 2017-02-27 2018-08-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
WO2018153371A1 (zh) * 2017-02-27 2018-08-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN108577801A (zh) * 2018-01-16 2018-09-28 天津工业大学 便携式立体成像眼底相机光学系统
CN111028299A (zh) * 2020-02-18 2020-04-17 吴怡锦 基于图像中点属性数据集计算标定点空间距的系统和方法
WO2020181939A1 (zh) * 2019-03-11 2020-09-17 京东方科技集团股份有限公司 显示装置及其显示方法
CN112085975A (zh) * 2020-09-16 2020-12-15 联想(北京)有限公司 一种显示设备及显示方法
CN113109942A (zh) * 2021-03-02 2021-07-13 联想(北京)有限公司 显示装置及头戴式显示设备
CN113640984A (zh) * 2020-04-27 2021-11-12 北京七鑫易维信息技术有限公司 一种眼球追踪光学系统及头戴式设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202433602U (zh) * 2011-12-09 2012-09-12 中航华东光电有限公司 应用全息元件的光学系统及具有该光学系统的头盔显示器
US20130120525A1 (en) * 2011-11-15 2013-05-16 Lg Display Co., Ltd. Dual holography 3d display device
CN103901653A (zh) * 2014-04-23 2014-07-02 无锡芯盟科技有限公司 具有光学摄像功能的微显示器件
CN104090372A (zh) * 2014-07-11 2014-10-08 北京理工大学 基于衍射光学元件的波导式集成成像三维显示系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120525A1 (en) * 2011-11-15 2013-05-16 Lg Display Co., Ltd. Dual holography 3d display device
CN202433602U (zh) * 2011-12-09 2012-09-12 中航华东光电有限公司 应用全息元件的光学系统及具有该光学系统的头盔显示器
CN103901653A (zh) * 2014-04-23 2014-07-02 无锡芯盟科技有限公司 具有光学摄像功能的微显示器件
CN104090372A (zh) * 2014-07-11 2014-10-08 北京理工大学 基于衍射光学元件的波导式集成成像三维显示系统

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106019587A (zh) * 2016-06-23 2016-10-12 深圳市虚拟现实科技有限公司 一种可以自动调焦的近眼显示装置及方法
CN105954992A (zh) * 2016-07-22 2016-09-21 京东方科技集团股份有限公司 显示系统和显示方法
JP2019532676A (ja) * 2016-07-22 2019-11-14 京東方科技集團股▲ふん▼有限公司Boe Technology Group Co.,Ltd. 表示システムおよび表示方法
US10503251B2 (en) * 2016-07-22 2019-12-10 Boe Technology Group Co., Ltd. Display system and display method
CN105954992B (zh) * 2016-07-22 2018-10-30 京东方科技集团股份有限公司 显示系统和显示方法
WO2018014595A1 (zh) * 2016-07-22 2018-01-25 京东方科技集团股份有限公司 显示系统和显示方法
CN106371216A (zh) * 2016-10-14 2017-02-01 东莞市美光达光学科技有限公司 一种用于观察大屏幕的二次显示虚拟现实光学系统
US10754296B1 (en) 2017-02-06 2020-08-25 Boe Technology Group Co., Ltd. Holographic display and display method thereof and display device
WO2018141152A1 (zh) * 2017-02-06 2018-08-09 京东方科技集团股份有限公司 全息显示器及其显示方法、显示装置
WO2018153368A1 (zh) * 2017-02-27 2018-08-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
WO2018153371A1 (zh) * 2017-02-27 2018-08-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US11442270B2 (en) 2017-02-27 2022-09-13 Advanced New Technologies Co., Ltd. Virtual reality head-mounted apparatus with a partial-reflection partial-transmission wedge
US10996477B2 (en) 2017-02-27 2021-05-04 Advanced New Technologies Co., Ltd. Virtual reality head-mounted apparatus
CN107065193A (zh) * 2017-05-27 2017-08-18 罗德强 一种用于近眼显示的光学设备
CN108577801B (zh) * 2018-01-16 2023-12-01 天津工业大学 便携式立体成像眼底相机光学系统
CN108577801A (zh) * 2018-01-16 2018-09-28 天津工业大学 便携式立体成像眼底相机光学系统
WO2020181939A1 (zh) * 2019-03-11 2020-09-17 京东方科技集团股份有限公司 显示装置及其显示方法
CN111694183A (zh) * 2019-03-11 2020-09-22 京东方科技集团股份有限公司 显示装置及其显示方法
US11238830B2 (en) 2019-03-11 2022-02-01 Boe Technology Group Co., Ltd. Display device and display method thereof
CN111028299A (zh) * 2020-02-18 2020-04-17 吴怡锦 基于图像中点属性数据集计算标定点空间距的系统和方法
CN113640984A (zh) * 2020-04-27 2021-11-12 北京七鑫易维信息技术有限公司 一种眼球追踪光学系统及头戴式设备
CN113640984B (zh) * 2020-04-27 2023-08-11 北京七鑫易维信息技术有限公司 一种眼球追踪光学系统及头戴式设备
CN112085975A (zh) * 2020-09-16 2020-12-15 联想(北京)有限公司 一种显示设备及显示方法
CN113109942B (zh) * 2021-03-02 2022-07-26 联想(北京)有限公司 显示装置及头戴式显示设备
CN113109942A (zh) * 2021-03-02 2021-07-13 联想(北京)有限公司 显示装置及头戴式显示设备

Similar Documents

Publication Publication Date Title
CN104407440A (zh) 具有视线跟踪功能的全息显示装置
EP3963384B1 (en) Near-eye peripheral display device
CN105492957B (zh) 采用成对眼镜形式的图像显示设备
JP2022189914A (ja) 改良された回折格子構造を有する仮想および拡張現実システムおよび方法
EP3228072B1 (en) Virtual focus feedback
US11281003B2 (en) Near eye dynamic holography
CN105008981B (zh) 用于近眼显示器的光学系统
CN110914786A (zh) 用于在外部场景与虚拟图像之间配准的方法和系统
CN104570366A (zh) 一种具有手势识别功能的全息头盔显示器
CN116802544A (zh) 位于波导显示器上的相位结构
US11543662B2 (en) Augmented reality device including reflective polarizer and wearable device including the same
CN117980808A (zh) 用于混合现实头戴式显示设备中多个焦平面的组合双折射材料和反射波导
Zhang et al. Design and implementation of an optical see-through near-eye display combining Maxwellian-view and light-field methods
US20240061246A1 (en) Light field directional backlighting based three-dimensional (3d) pupil steering
CN115145027B (zh) 显示组件及头戴式显示设备
US20230209032A1 (en) Detection, analysis and correction of disparities in a display system utilizing disparity sensing port
CN106772821B (zh) 一种可交互裸眼3d系统
WO2018142418A1 (en) An apparatus, method, and system for augmented and mixed reality viewing
Lu et al. Vergence-accommodation conflict potential solutions in augmented reality head mounted displays
US20230314846A1 (en) Configurable multifunctional display panel
US20240348201A1 (en) Energy harvesting component for an optical device having an illumination source emitting unused light
US20240210677A1 (en) Ultrafast illumination for structured light based eye tracking
US20230314716A1 (en) Emission of particular wavelength bands utilizing directed wavelength emission components in a display system
US20230239456A1 (en) Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view
US20240295690A1 (en) Hermetically-covered photonic integrated circuit (pic) on a substrate having an integrated laser diode

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150311

RJ01 Rejection of invention patent application after publication