CN113608352A - 一种基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法 - Google Patents

一种基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法 Download PDF

Info

Publication number
CN113608352A
CN113608352A CN202110759726.3A CN202110759726A CN113608352A CN 113608352 A CN113608352 A CN 113608352A CN 202110759726 A CN202110759726 A CN 202110759726A CN 113608352 A CN113608352 A CN 113608352A
Authority
CN
China
Prior art keywords
light modulator
spatial light
reflector
eye
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110759726.3A
Other languages
English (en)
Inventor
夏新星
王维森
杨馥荣
郑华东
于瀛洁
杨帮华
高守玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110759726.3A priority Critical patent/CN113608352A/zh
Publication of CN113608352A publication Critical patent/CN113608352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/182—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic

Abstract

本发明公开了一种基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法。该全息显示设备包括准直光源系统、反射镜、反射镜旋转系统、分束器、空间光调制器、合光器、控制器等。点光源发出的光被透镜准直以后照射到反射镜上面，反射镜再将其反射到分束器上面，平行光被分束器反射照射到空间光调制器上，被加载到空间光调制器上的计算全息图调制并衍射，衍射的图像光通过透镜会聚到人眼。采用眼动追踪装置追踪人眼的位置，通过控制器计算反射镜转动角度、方向以及加载到空间光调制器的相应全息图，转动反射镜即可改变入射到空间光调制器上的平行光的方向，使全息图精确地会聚到人眼所在的位置，进而实现扩展眼瞳箱的效果。

Description

一种基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法
技术领域
本发明涉及近眼显示技术领域，更具体地说，本发明涉及一种提供扩展眼瞳箱的全息近眼显示系统及显示方法。
背景技术
传统的近眼显示技术一般利用双目视觉的原理分别给左右眼提供稍有不同的视差图像，从而让人眼感受到显示画面的立体信息。但是人眼按这种方式得到的立体信息和实际观看现实世界是有所区别的，这是因为人眼感知现实世界的深度信息时不仅利用了双目的辐辏功能，还利用了单目的调节功能，传统近眼显示技术的辐辏与调节功能无法协同工作，往往会带来辐辏—调节冲突。
全息显示技术是利用光的干涉和衍射原理，将由物体发出的特定波面以干涉条纹的形式记录下来，并在一定条件下使其再现，形成原来物体立体像的显示方式。全息显示保留了物光波的全部振幅和位相信息，人们在观察全息三维图像时就会得到与观察原物时完全相同的视觉效果，从原理上克服了辐辏—调节冲突问题，是一种理想的显示技术。
将全息的方法应用到近眼显示中，一般采用空间光调制器和计算机生成的全息图来呈现一个三维的图像或者场景，照亮空间光调制器的光被计算全息图衍射以后传递到用户的眼睛，在人的眼前形成虚像，该虚像并不局限于固定的平面二维图像，而是具有完整深度信息的三维图像，这个功能可以让用户以符合人眼特性的方式去观看图像内容，而不会有传统双目立体视觉带来的辐辏—调节冲突。虽然全息近眼显示系统能够克服辐辏—调节冲突，但从原理上受系统的空间带宽积限制，一般在保证一定视场角的前提下出瞳尺寸较小。
发明内容
为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法，采用眼动追踪装置追踪人眼的位置，通过控制器计算反射镜转动角度、方向以及加载到空间光调制器的相应全息图，转动反射镜即可改变入射到空间光调制器上的平行光的方向，使全息图精确地会聚到人眼所在的位置，进而实现扩展眼瞳箱的效果。
为达到上述发明创造目的，本发明采用如下技术方案：
一种基于出瞳扫描的全息近眼显示系统，包括准直光源系统、反射镜、分束器、空间光调制器、眼动追踪系统、反射镜旋转系统、空间光调制器驱动器以及控制器；还包括透镜或合光器，分别构成包含透镜的虚拟现实式全息近眼显示系统或包含合光器的增强现实式全息近眼显示系统。
优选地，基于出瞳扫描的全息近眼显示系统包括准直光源系统、反射镜、分束器、空间光调制器、透镜、眼动追踪系统、反射镜旋转系统、空间光调制器驱动器以及控制器，构成虚拟现实式全息近眼显示系统；其中：
准直光源系统用于产生宽光束的平行光；
反射镜将平行光进行反射，与反射镜旋转系统相连，由反射镜旋转系统的驱动器和旋转装置带动其旋转，该反射镜旋转系统与控制器连接；
分束器将反射镜反射的平行光反射照射到所述的空间光调制器上；空间光调制器加载对应瞳孔位置的计算全息图，对反射镜反射的平行光进行衍射调制，该衍射调制的平行光经过光学系统为人眼提供三维图像，空间光调制器通过空间光调制器驱动器与控制器相连接；
透镜将带有图像信息的衍射光线会聚进入人眼；
眼动追踪系统用于获取人眼瞳孔的位置信息，与控制器相连接；
控制器用于处理人眼瞳孔位置信息，计算反射镜旋转方向及旋转角度，计算生成对应位置的全息图并编码，并同步控制反射镜的旋转以及全息图的加载刷新。
优选地，反射镜为可二维旋转的反射镜或扫描振镜或音圈反射镜，所述的反射镜与相应的反射镜旋转系统相连，用于改变照射到空间光调制器上的平行光的方向；
优选地，将一个中继光学系统设于空间光调制器与反射镜之间，反射镜的旋转中心位置通过中继光学系统与空间光调制器共轭；
优选地，所述分束器是棱镜型的分束棱镜，或平板分束镜；
优选地，所述空间光调制器为反射式空间光调制器或透射式的空间光调制器；
优选地，所述空间光调制器为相位型空间光调制器，或振幅型空间光调制器，或振幅相位混合型空间光调制器。
优选地，所述中继光学系统基本结构为两个透镜或透镜组组成的4f系统，两者之间的焦点位置重合。
优选地，基于出瞳扫描的全息近眼显示系统包括准直光源系统、反射镜、分束器、空间光调制器、合光器、眼动追踪系统、反射镜旋转系统、空间光调制器驱动器以及控制器，构成增强现实式全息近眼显示系统；其中：
准直光源系统用于产生宽光束的平行光；
反射镜将平行光进行反射，与反射镜旋转系统相连，由反射镜旋转系统的驱动器和旋转装置带动其旋转，该反射镜旋转系统与控制器连接；
分束器将反射镜反射的平行光反射照射到所述的空间光调制器上；空间光调制器加载对应瞳孔位置的计算全息图，对反射镜反射的平行光进行衍射调制，该衍射调制的平行光经过光学系统为人眼提供三维图像，空间光调制器通过空间光调制器驱动器与控制器相连接；
设置透镜将带有图像信息的衍射光线会聚；合光器用于反射带有图像信息的衍射光线进入人眼，同时让外界环境光也进入人眼；
眼动追踪系统用于获取人眼瞳孔的位置信息，与控制器相连接；
控制器用于处理人眼瞳孔位置信息，计算反射镜旋转方向及旋转角度，计算生成对应位置的全息图并编码，并同步控制反射镜的旋转以及全息图的加载刷新。
优选地，所述反射镜为可二维旋转的反射镜或扫描振镜或音圈反射镜，所述的反射镜与相应的反射镜旋转系统相连，用于改变照射到空间光调制器上的平行光的方向；
优选地，设置一个中继光学系统设于空间光调制器与反射镜之间，反射镜的旋转中心位置通过中继光学系统与空间光调制器共轭；
优选地，所述分束器是棱镜型的分束棱镜，或平板分束镜；
优选地，所述空间光调制器为反射式空间光调制器或者透射式的空间光调制器；
优选地，所述空间光调制器为相位型空间光调制器，或振幅型空间光调制器，或振幅相位混合型空间光调制器。
优选地，所述合光器由透镜和半反半透镜构成，或由分束器和透镜组成，或由分束器和凹面反射镜构成，或单个半透半反的曲面合光器，或具有类似功能的全息光学元件。
优选地，所述中继光学系统基本结构为两个透镜或透镜组组成的4f系统，两者之间的焦点位置重合。
一种基于出瞳扫描的全息近眼显示的眼瞳箱扩展方法，采用本发明基于出瞳扫描的全息近眼显示系统，包括如下步骤：
第一步:通过眼动追踪系统，获取人眼瞳孔所在的位置信息；
第二步:根据人眼瞳孔位置，计算瞳孔偏离初始位置的角度θ，再计算反射镜所需的旋转角度和旋转方向；
第三步:根据人眼瞳孔偏离初始位置的角度θ，对相应位置需要加载的全息图进行计算，并根据空间光调制器的类型进行相应编码；
第四步:控制器控制反射镜按计算得到的方向和角度进行旋转，并同步控制空间光调制器加载人眼位置对应的全息图；
第五步:人眼瞳孔移动到不同位置均观看到相应的三维场景。
优选地，在所述第二步中，根据人眼瞳孔位置，计算瞳孔偏离初始位置的角度θ，初始位置可根据实际需要设定，计算反射镜所需的旋转角度和旋转方向；以反射镜初始位置的镜面表面为XY平面，其中原点为镜面中心，位于系统光线的光轴上，反射镜沿X轴和Y轴的旋转分别对应于出瞳位置的竖直和水平扫描运动；偏转角θ的大小由水平方向的角度分量θx与竖直方向的角度分量θy合成；人眼瞳孔向左偏移θx时，反射镜则绕Y轴顺时针旋转计算得到的相应角度，人眼瞳孔向右偏移θx时，反射镜则绕Y轴逆时针旋转计算得到的相应角度；人眼瞳孔向上偏移θy时，反射镜则绕X轴顺时针旋转计算得到的相应角度；人眼瞳孔向下偏移θy时，反射镜则绕X轴逆时针旋转计算得到的相应角度；
优选地，在所述第三步中，根据人眼瞳孔偏离初始位置的角度θ，对相应位置需要加载的全息图进行计算，并根据空间光调制器的类型进行相应编码；空间光调制器的调制方式采用有振幅、相位以及复振幅调制中的至少一种，全息图的编码根据空间光调制器的种类进行振幅编码、相位编码以及复振幅编码，全息图生成和编码流程如下：
a.根据需要显示的三维场景，通过点源法、角谱法、菲涅尔衍射、弗朗和费衍射中的至少一种方法计算出瞳位置的复振幅分布UEP；
b.根据出瞳位置的复振幅分布UEP，并结合人眼瞳孔偏离初始位置的角度θ，计算空间光调制器面的复振幅分布USLM；
c.将空间光调制器面的复振幅分布USLM根据空间光调制器的调制方式的不同，编码为空间光调制器相应的加载全息图像信息。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
1.本发明的全息近眼显示系统可以扩展出瞳尺寸；根据人眼瞳孔运动的实际位置，采用角度可以调节的反射镜来改变平行光照射到空间光调制器上的方向，进而对会聚到人眼瞳孔位置，无论瞳孔如何运动，均能观看到图像，从而达到了扩展眼瞳箱的效果；
2.本发明方法简单易行，成本低，适合推广使用。
附图说明
图1为本发明实施例1提供的基于反射式空间光调制器的可扩展眼瞳箱的虚拟现实式全息近眼显示系统的结构示意图。
图2为本发明实施例2提供的基于反射式空间光调制器的可扩展眼瞳箱的增强现实式全息近眼显示系统的结构示意图。
图3为本发明实施例3提供的基于透射式空间光调制器的可扩展眼瞳箱的虚拟现实式全息近眼显示系统的结构示意图。
图4为本发明实施例4提供的基于反射式空间光调制器的可扩展眼瞳箱的虚拟现实式全息近眼显示系统的结构示意图。
图5为本发明实施例4中所述的中继光学系统的结构示意图。
图6为本发明中所述的带有滤波器的中继光学系统的结构示意图。
图7为本发明实施例5提供的基于反射式空间光调制器的可扩展眼瞳箱的增强现实式全息近眼显示系统的又一结构示意图。
图8为本发明全部实施例提供的实现可扩展眼瞳箱的全息近眼显示系统的显示方法概览流程图。
应当理解上述附图只是示意性的，并没有按比例绘制。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的实施例中的技术方案进行清楚描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：
实施例1
在本实施例中，参见图1，一种用于虚拟现实的全息近眼显示系统的一个实施例，如图1所示，所述的全息近眼显示系统包括准直光源系统110、反射镜120、分束器130、空间光调制器140、第一透镜150、眼动追踪系统160、反射镜旋转系统170、空间光调制器驱动器180、控制器190。
所述的准直光源系统110，提供照明光，一般包含点光源111和准直透镜112。点光源为相干光源，一般由激光器输出，或由宽光谱光源加窄带滤光片输出。所述点光源位于准直透镜的后焦距处，经过准直透镜形成宽光束的平行光。所述的点光源可以是光纤耦合激光器的输出端或是窄带的LED点光源,或LED点光源加窄带滤光片，经过准直透镜形成平行光。所述的准直光源系统110还可以是相干光源和扩束准直系统，相干光源一般为激光器，输出相干光，经过空间滤波器滤波后，扩束准直形成宽光束的平行光。
所述的反射镜120的面型是平面或曲面，主要用于将准直的平行光反射后照明空间光调制器140。所述反射镜的位置并不是固定的，而是在初始位置的基础上进行二维(沿X轴，沿Y轴)的旋转，其初始位置根据实际要求而确定。所述反射镜120的旋转方向和旋转角度是由反射镜旋转系统170决定。所述反射镜旋转系统170与反射镜120相连接，由反射镜旋转驱动器171与旋转装置172共同构成，用于控制反射镜120二维旋转，改变照明空间光调制器140的平行光光线方向。反射镜120可以安装在二自由度旋转平台上，保证反射镜的前表面与旋转中心重合，由反射镜旋转控制系统170控制驱动。反射镜120也可以是二维扫描振镜，扫描镜片与相应的扫描电机相连，扫描电机一般为步进电机或伺服电机，由反射镜旋转控制系统170控制驱动。反射镜120还可以是双轴音圈反射镜，反射镜由音圈电机驱动旋转，其旋转中心与反射镜前表面重合，由反射镜旋转控制系统170控制驱动。
所述的分束器130为分束棱镜或平板分束镜，用于将平行光反射到空间光调制器140上。分束器130前也可设置偏振片，用于调节光束偏振态与空间光调制器140相匹配。
所述的空间光调制器140可以是相位型、振幅型、振幅相位混合型的反射式空间光调制器，对照射到其上的平行光进行相位、振幅或复振幅衍射调制后再反射经分束器130透射。衍射调制后的光线透过分束器130到达第一透镜150，经过第一透镜150的会聚，进入人眼。当反射镜120旋转到不同角度的时候，系统出瞳会在人眼瞳孔平面进行二维扫描，当所述反射镜120绕Y轴旋转时，可以在水平方向上进行出瞳扫描，当所述反射镜120绕X轴旋转时，可以在竖直方向上进行出瞳扫描，从而在水平和竖直两个方向上实现了眼瞳箱的扩展。所述反射镜120的旋转方向并不局限于绕单轴旋转，而是在二维平面内实现任意角度的旋转，该角度可由水平和竖直两个方向的角度合成，形成了人眼瞳孔平面的出瞳二维扫描，从而实现了眼瞳箱的二维扩展。
所述的眼动追踪系统160，与控制器190相连接，由眼动追踪驱动器161和眼动追踪传感器162构成，用于追踪人眼瞳孔的空间位置。眼动追踪传感器162可以是CCD或CMOS相机模块，也可以是多个单点探测器的组合。所述的空间光调制器驱动器180，与空间光调制器140、控制器190分别相连接，主要用来控制空间光调制器140的显示图像、显示帧率、分辨率等，其控制模式由控制器190决定，其与控制器190一般通过VGA、HDMI、DVI、DisplayPort等视频接口、USB、串口以及通用I/O等方式连接。
所述控制器190根据人眼所在位置确定观察区域以后对眼睛位置信息进行处理，该处理主要包括两个方面，一是计算反射镜120旋转的方向和角度进而控制反射镜120旋转，让反射进入空间光调制器140上面的光线的角度发生改变，从而改变全息图调制的衍射光的方向，最终利用第一透镜150将光线会聚于人眼所在的位置；另一个方面则是根据人眼瞳孔位置计算加载到空间光调制器140上的对应全息图，然后将对应全息图加载到空间光调制器140上面，让人眼获得相应视点的图像。
本实施例的全息近眼显示系统可以扩展出瞳尺寸；根据人眼瞳孔运动的实际位置，采用角度可以调节的反射镜来改变平行光照射到空间光调制器上的方向，进而对会聚到人眼瞳孔位置，无论瞳孔如何运动，均能观看到图像，从而达到了扩展眼瞳箱的效果。
实施例2
本实施例与实施例一基本相同，特别之处在于：
在本实施例中，用于增强现实的全息近眼显示系统的一个实施例，如图2所示，所述的全息近眼显示系统包括准直光源系统110、反射镜120、分束器130、空间光调制器140、合光器210、眼动追踪系统160、反射镜旋转系统170、空间光调制器驱动器180、控制器190。
所述合光器210位于所述分束器130之后，用于让外界光直接透过进入人眼，让所述空间光调制器140衍射调制后的反射光会聚进入人眼。所述合光器210可以由第一透镜150和半反半透镜211构成，由分束器和透镜组成，或是由分束器和凹面反射镜构成的合光系统，也可以是单个半透半反的曲面合光器或者具有类似功能的全息光学元件等。
所述的准直光源系统110输出宽光束的平行光，所述反射镜120将所述平行光反射到所述分束器130上面。所述分束器130将所述平行光反射到所述空间光调制器140上，平行光波经空间光调制器140衍射调制后并反射，再透射通过分束器130到所述合光器210上。所述合光器210将平行光会聚再反射进入人眼，同时，所述合光器210让外界光线直接透射进入人眼，让人眼既能看到外界真实环境又能看到虚拟图像，实现增强现实式的全息近眼显示。当人眼位置发生改变时，所述眼动追踪系统追踪人眼位置，并将信号传输给所述控制器190，所述控制器190根据人眼位置信号计算反射镜120旋转方向、旋转角度以及所述空间光调制器140上加载的相应全息图。然后所述控制器190驱动反射镜旋转系统170控制反射镜按计算角度和方向进行旋转，改变入射到空间光调制器140上的平行光的方向，同时驱动空间光调制器140加载相应全息图，保证经过空间光调制器140衍射调制后的图像能够会聚于人眼位置，实现基于出瞳扫描的眼瞳箱扩展。
实施例3
本实施例与上述实施例基本相同，特别之处在于：
在本实施例中，用于虚拟现实式全息近眼显示系统的一个实施例，如图3所示，所述的全息近眼显示系统包括准直光源系统110、反射镜120、分束器130、空间光调制器310、第一透镜150、眼动追踪系统160、反射镜旋转系统170、空间光调制器驱动器180、控制器190。
所述的空间光调制器310可以是相位型、振幅型、振幅相位混合型的透射式空间光调制器，对照射到其上的平行光进行相位、振幅或复振幅衍射调制后再透射到分束器130上。衍射调制后的光线透过分束器130反射后到达第一透镜150，经过第一透镜150的会聚，进入人眼。衍射调制后的光线也可不经过分束器130反射，直接经过第一透镜150的会聚进入人眼。
准直光源系统110输出宽光束的平行光，所述反射镜120将所述平行光反射到所述空间光调制器310上面，所述平行光经过空间光调制器310进行相位、振幅或复振幅衍射调制后，再透射到分束器130上，透射后的平行光被分束器130反射到第一透镜150上面，经过第一透镜150的会聚，进入人眼，实现虚拟现实式的全息近眼显示。当人眼位置发生改变时，所述眼动追踪系统追踪人眼位置，并将信号传输给所述控制器190，所述控制器190根据人眼位置信号计算反射镜120旋转方向、旋转角度以及所述空间光调制器310上加载的相应全息图。然后所述控制器190驱动反射镜旋转系统170控制反射镜按计算角度和方向进行旋转，改变入射到空间光调制器310上的平行光的方向，同时驱动空间光调制器310加载相应全息图，保证经过空间光调制器310衍射调制后的图像能够会聚于人眼位置，实现基于出瞳扫描的眼瞳箱扩展。
图3仅描述了采用透射式空间光调制器310实现虚拟现实式全息近眼显示系统的一个实施例，结合实施例2的方式也可利用透射式空间光调制器310实现增强现实式全息近眼显示系统。在所述的第一透镜150后设置合光器210，用于让外界光直接透过进入人眼，同时让所述空间光调制器310衍射调制后的光线会聚进入人眼。
实施例4
本实施例与上述实施例基本相同，特别之处在于：
在本实施例中，用于虚拟现实的全息近眼显示系统的一个实施例，如图4所示，所述的全息近眼显示系统包括准直光源系统110、反射镜410、分束器一420、中继光学系统430、分束器二450、空间光调制器440、眼动追踪系统160、反射镜旋转系统170、空间光调制器驱动器180、控制器190。
所述的准直光源系统110，提供照明光，一般包含点光源111和准直透镜112。所述点光源位于准直透镜的后焦距处，经过准直透镜形成宽光束的平行光。点光源为相干光源，一般由激光器输出，或由宽光谱光源加窄带滤光片输出。所述的点光源可以是光纤耦合激光器的输出端，经过准直透镜形成平行光。所述的点光源也可以是窄带的LED点光源,或LED点光源加窄带滤光片，经准直透镜后形成平面波。所述的准直光源系统110还可以是相干光源和扩束准直系统，相干光源一般为激光器，输出相干光，经过空间滤波器滤波后，扩束准直形成宽光束的平行光。
所述的分束器一420为分束棱镜或平板分束镜，用于将平行光反射到反射镜410上并让反射镜反射回来的平行光透射到所述中继光学系统430中。
所述的反射镜410的面型是平面或曲面，用于将准直后的平行光反射照明空间光调制器440。所述反射镜410的位置并不是固定的，而是在初始位置的基础上可以进行二维方向的旋转，其初始位置根据实际要求而确定。所述反射镜410的旋转方向不是固定的绕单轴旋转，而是由反射镜旋转系统170决定，所述反射镜旋转系统170与反射镜410相连接，控制反射镜410二维旋转，改变照明空间光调制器440的平行光光线方向。反射镜410可以安装在二自由度旋转平台上，保证反射镜的前表面与旋转中心重合，由反射镜旋转控制系统170控制驱动。反射镜410也可以是二维扫描振镜，扫描镜片与相应的扫描电机相连，扫描电机一般为步进电机或伺服电机，由反射镜旋转控制系统170控制驱动。反射镜410还可以是双轴音圈镜，其旋转中心与反射镜后表面重合，由反射镜旋转控制系统170控制驱动。
所述中继光学系统430可以是4f光学系统，由两个具有相同焦距f的第一中继透镜431和第二中继透镜432组成，如图5所示。所述反射镜410的中心位置与所述空间光调制器440位于4f系统的共轭位置，用于收集光线，使能量得到充分利用。所述4f系统的中间焦平面上可以加入空间滤波器433，用于改善图像质量，如图6所示。空间滤波器433上的滤波窗口的位置可以随所述反射镜410位置的改变而改变。所述空间滤波器433可以是位置可调的滤波窗口，通过机械移动件调整滤波窗口的位置，使所述反射镜410反射出来的平行光能够进行滤波并传输到后面的光学系统当中，机械运动件由控制器190通过驱动器进行控制，其运动需要与反射镜410的旋转相同步。所述的空间滤波器433还可以是一块液晶光阀，可以通过驱动器与控制器190相连接，当反射镜410反射的平行光照射过来时，通过控制器190计算并驱动相应位置的液晶光阀打开，对光线进行滤波并让其传输到后面的光学系统。在本实施例的示意图中，未加入空间滤波器433。所述中继光学系统430也可以是变形的4f光学系统，由具有第一焦距f1的第一中继透镜431和具有第二焦距f2的第二中继透镜432组成，用于扩大或者缩小照射到空间光调制器440上的光束大小，保证照明光能量的充分利用，让系统的空间布局更为合理。所述的中继光学系统还可以是由其他光学元件组成的中继光学系统，可以根据特定的功能对其进行定制和设计。
所述的分束器二450为分束棱镜或平板分束镜，用于将平行光反射到空间光调制器440上，并让所述空间光调制器调制后的衍射光透射到第一透镜150上。分束器二450前也可设置偏振片，用于调节光束偏振态与空间光调制器相匹配。
所述的空间光调制器440可以是相位型、振幅型、振幅相位混合型的反射式空间光调制器，对照射到其上的平行光进行相位、振幅或复振幅衍射调制后再反射到分束器二450上。衍射调制后的光线透过分束器二450到达第一透镜150，经过第一透镜150的会聚，进入人眼。当反射镜410旋转到不同角度的时候，系统出瞳会在人眼瞳孔平面进行二维扫描，当所述反射镜410绕y轴旋转时，可以在水平方向上进行出瞳扫描，当所述反射镜410绕x轴旋转时，可以在竖直方向上进行出瞳扫描，从而在水平和竖直两个方向上实现了眼瞳箱的扩展。所述反射镜410的旋转方向并不局限于一维绕单轴旋转，而是在二维平面内实现任意角度的旋转，该角度可由水平和竖直两个方向的角度合成，形成了人眼瞳孔平面的出瞳二维扫描，从而实现了眼瞳箱的二维扩展。
所述的眼动追踪系统160，与控制器190相连接，由驱动器161和眼动追踪传感器162构成，用于追踪人眼瞳孔的空间位置。所述的空间光调制器驱动器180，与空间光调制器440、控制器190相连接，主要用来控制空间光调制器440的显示图像、显示帧率、分辨率等，其控制模式由控制器190决定，其与控制器190一般通过VGA、HDMI、DVI、DisplayPort等视频接口、USB、串口以及通用I/O等方式连接。
所述控制器190根据人眼所在位置确定观察区域以后对眼睛位置信息进行处理，该处理主要包括两个方面，一是计算反射镜410旋转的方向和角度进而控制反射镜410旋转，让反射进入空间光调制器440上面的光线的角度发生改变，从而改变全息图调制的衍射光的方向，最终利用成像透镜150将光线会聚于人眼所在的位置；另一个方面则是根据人眼瞳孔位置计算加载到空间光调制器440上的对应全息图，然后将对应全息图加载到空间光调制器440上面，让人眼获得相应视点的图像。
实施例5
本实施例与上述实施例基本相同，特别之处在于：
在本实施例中，用于增强现实的全息近眼显示系统的一个实施例，如图7所示，所述的全息近眼显示系统包括准直光源系统110、反射镜410、分束器一420、中继光学系统430、空间光调制器440、分束器二450、合光器210、眼动追踪系统160、反射镜旋转系统170、空间光调制器驱动器180、控制器190。
准直光源系统110输出宽光束的平行光，所述分束器一420将所述平行光反射到所述反射镜410上，所述平行光被反射镜410反射后透射通过分束器一420到达所述中继光学系统430上，中继光学系统430对光线处理以后将平行光传输到所述空间光调制器440上面，平行光经过空间光调制器衍射调制后并反射，再透射通过分束器二450到达所述合光器210上，所述合光器210将平行光会聚再反射进入人眼，同时，所述合光器210让外界光线直接透射进入人眼，让人眼既能看到外界真实环境又能看到虚拟图像，实现增强现实式的全息近眼显示。当人眼位置发生改变时，所述眼动追踪系统追踪人眼位置，并将信号传输给所述控制器190，所述控制器190根据人眼位置信号计算反射镜410旋转方向、旋转角度以及所述空间光调制器440上加载的相应全息图。然后所述控制器190驱动反射镜旋转系统170控制反射镜按计算角度和方向进行旋转，改变入射到空间光调制器440上的平行光的方向，同时驱动空间光调制器440加载相应全息图，保证经过空间光调制器440衍射调制后的图像能够会聚于人眼位置，实现基于出瞳扫描的眼瞳箱扩展。
本发明实施例提供的可扩展出瞳的全息近眼显示系统的显示方法示意流程图，如图8所示，该方法包括：
第一步:通过眼动追踪系统，获取人眼瞳孔所在的位置信息。
第二步:根据人眼瞳孔位置，计算瞳孔偏离初始位置的角度θ，初始位置可根据实际需要设定，计算反射镜所需的旋转角度和旋转方向。以反射镜初始位置的镜面表面为XY平面，其中原点为镜面中心，位于系统光线的光轴上，反射镜沿X轴和Y轴的旋转分别对应于出瞳位置的竖直和水平扫描运动。偏转角θ的大小由水平方向的角度分量θx与竖直方向的角度分量θy合成。人眼瞳孔向左偏移θx时，反射镜则绕Y轴顺时针旋转计算得到的相应角度，人眼瞳孔向右偏移θx时，反射镜则绕Y轴逆时针旋转计算得到的相应角度；人眼瞳孔向上偏移θy时，反射镜则绕X轴顺时针旋转计算得到的相应角度；人眼瞳孔向下偏移θy时，反射镜则绕X轴逆时针旋转计算得到的相应角度。在实际工作过程中，反射镜并不局限于绕单轴旋转，而是根据瞳孔的实际位置分别绕X轴和Y轴旋转相应的角度。
第三步:根据人眼瞳孔偏离初始位置的角度θ，对相应位置需要加载的全息图进行计算，并根据空间光调制器的类型进行相应编码。在本发明当中，空间光调制器的调制方式有振幅、相位以及复振幅调制这三种，因此全息图的编码可以根据空间光调制器的种类进行振幅编码、相位编码以及复振幅编码。其全息图生成和编码流程如下：
1.根据需要显示的三维场景，通过点源法、角谱法、菲涅尔衍射、弗朗和费衍射等方法计算出瞳位置的复振幅分布UEP；
2.根据出瞳位置的复振幅分布UEP，并结合人眼瞳孔偏离初始位置的角度θ，计算空间光调制器面的复振幅分布USLM；
3.将空间光调制器面的复振幅分布USLM根据空间光调制器的调制方式的不同，编码为空间光调制器相应的加载全息图像信息。
第四步:控制器控制反射镜按计算得到的方向和角度进行旋转并控制空间光调制器加载人眼位置对应的全息图。反射镜旋转系统控制反射镜旋转与空间光调制器驱动控制空间光调制器加载相应全息图是在控制器的控制下同步进行的。
第五步:人眼看到相应的三维场景。当人眼转动时，其瞳孔位置发生改变，则需再次通过眼动追踪系统重新获取瞳孔位置信息。重复以上步骤即可实现基于出瞳扫描的眼瞳箱扩展。
综上所述，上述实施例基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法。该全息显示设备包括准直光源系统、反射镜、反射镜旋转系统、分束器、空间光调制器、合光器、控制器等。点光源发出的光被透镜准直以后照射到反射镜上面，反射镜再将其反射到分束器上面，平行光被分束器反射照射到空间光调制器上，被加载到空间光调制器上的计算全息图调制并衍射，衍射的图像光通过透镜会聚到人眼。采用眼动追踪装置追踪人眼的位置，通过控制器计算反射镜转动角度、方向以及加载到空间光调制器的相应全息图，转动反射镜即可改变入射到空间光调制器上的平行光的方向，使全息图精确地会聚到人眼所在的位置，进而实现扩展眼瞳箱的效果。
以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以合理顺序实现，并存在如上所述的本发明的不同方面的许多其它变化；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于出瞳扫描的全息近眼显示系统，其特征在于：包括准直光源系统(110)、反射镜(120)、分束器(130)、空间光调制器(140)、眼动追踪系统(160)、反射镜旋转系统(170)、空间光调制器驱动器(180)以及控制器(190)；其特征在于：还包括透镜(150)或合光器(210)，分别构成包含透镜(150)的虚拟现实式全息近眼显示系统或包含合光器(210)的增强现实式全息近眼显示系统。
2.根据权利要求1所述基于出瞳扫描的全息近眼显示系统，其特征在于：包括准直光源系统(110)、反射镜(120)、分束器(130)、空间光调制器(140)、透镜(150)、眼动追踪系统(160)、反射镜旋转系统(170)、空间光调制器驱动器(180)以及控制器(190)，构成虚拟现实式全息近眼显示系统；其中：
准直光源系统(110)用于产生宽光束的平行光；
反射镜(120)将平行光进行反射，与反射镜旋转系统(170)相连，由反射镜旋转系统(170)的驱动器(171)和旋转装置(172)带动其旋转，该反射镜旋转系统(170)与控制器(190)连接；
分束器(130)将反射镜(120)反射的平行光反射照射到所述的空间光调制器(140)上；
空间光调制器(140)加载对应瞳孔位置的计算全息图，对反射镜(120)反射的平行光进行衍射调制，该衍射调制的平行光经过光学系统为人眼提供三维图像，空间光调制器(140)通过空间光调制器驱动器(180)与控制器(190)相连接；
透镜(150)将带有图像信息的衍射光线会聚进入人眼；
眼动追踪系统(160)用于获取人眼瞳孔的位置信息，与控制器相连接；
控制器(190)用于处理人眼瞳孔位置信息，计算反射镜(120)旋转方向及旋转角度，计算生成对应位置的全息图并编码，并同步控制反射镜(120)的旋转以及全息图的加载刷新。
3.根据权利要求2所述基于出瞳扫描的全息近眼显示系统，其特征在于：反射镜(120)为可二维旋转的反射镜或扫描振镜或音圈反射镜，所述的反射镜(120)与相应的反射镜旋转系统(170)相连，用于改变照射到空间光调制器(140)上的平行光的方向；
或者，将一个中继光学系统(430)设于空间光调制器(140)与反射镜(120)之间，反射镜(120)的旋转中心位置通过中继光学系统(430)与空间光调制器(140)共轭；
或者，所述分束器(130)是棱镜型的分束棱镜，或平板分束镜；
或者，所述空间光调制器(140)为反射式空间光调制器或透射式的空间光调制器；
或者，所述空间光调制器(140)为相位型空间光调制器，或振幅型空间光调制器，或振幅相位混合型空间光调制器。
4.根据权利要求3所述基于出瞳扫描的全息近眼显示系统，其特征在于：所述中继光学系统(430)基本结构为两个透镜或透镜组(431、432)组成的4f系统，两者之间的焦点位置重合。
5.根据权利要求1所述基于出瞳扫描的全息近眼显示系统，其特征在于：包括准直光源系统(110)、反射镜(120)、分束器(130)、空间光调制器(140)、合光器(210)、眼动追踪系统(160)、反射镜旋转系统(170)、空间光调制器驱动器(180)以及控制器(190)，构成增强现实式全息近眼显示系统；其中：
准直光源系统(110)用于产生宽光束的平行光；
反射镜(120)将平行光进行反射，与反射镜旋转系统(170)相连，由反射镜旋转系统(170)的驱动器(171)和旋转装置(172)带动其旋转，该反射镜旋转系统(170)与控制器(190)连接；
分束器(130)将反射镜(120)反射的平行光反射照射到所述的空间光调制器(140)上；
空间光调制器(140)加载对应瞳孔位置的计算全息图，对反射镜(120)反射的平行光进行衍射调制，该衍射调制的平行光经过光学系统为人眼提供三维图像，空间光调制器(140)通过空间光调制器驱动器(180)与控制器(190)相连接；
设置透镜(150)将带有图像信息的衍射光线会聚；
合光器(210)用于反射带有图像信息的衍射光线进入人眼，同时让外界环境光也进入人眼；
眼动追踪系统(160)用于获取人眼瞳孔的位置信息，与控制器相连接；
控制器(190)用于处理人眼瞳孔位置信息，计算反射镜(120)旋转方向及旋转角度，计算生成对应位置的全息图并编码，并同步控制反射镜(120)的旋转以及全息图的加载刷新。
6.根据权利要求5所述基于出瞳扫描的全息近眼显示系统，其特征在于：所述反射镜(120)为可二维旋转的反射镜或扫描振镜或音圈反射镜，所述的反射镜(120)与相应的反射镜旋转系统(170)相连，用于改变照射到空间光调制器(140)上的平行光的方向；
或者，设置一个中继光学系统(430)设于空间光调制器(140)与反射镜(120)之间，反射镜(120)的旋转中心位置通过中继光学系统与空间光调制器共轭；
或者，所述分束器(130)是棱镜型的分束棱镜，或平板分束镜；
或者，所述空间光调制器(140)为反射式空间光调制器或者透射式的空间光调制器；
或者，所述空间光调制器(140)为相位型空间光调制器，或振幅型空间光调制器，或振幅相位混合型空间光调制器。
7.根据权利要求5所述基于出瞳扫描的全息近眼显示系统，其特征在于：所述合光器(210)由透镜和半反半透镜构成，或由分束器和透镜组成，或由分束器和凹面反射镜构成，或单个半透半反的曲面合光器，或具有类似功能的全息光学元件。
8.根据权利要求5所述基于出瞳扫描的全息近眼显示系统，其特征在于：所述中继光学系统(430)基本结构为两个透镜或透镜组(431、432)组成的4f系统，两者之间的焦点位置重合。
9.一种基于出瞳扫描的全息近眼显示的眼瞳箱扩展方法，采用权利要求1所述的基于出瞳扫描的全息近眼显示系统，其特征在于，包括如下步骤：
第一步:通过眼动追踪系统，获取人眼瞳孔所在的位置信息；
第二步:根据人眼瞳孔位置，计算瞳孔偏离初始位置的角度θ，再计算反射镜所需的旋转角度和旋转方向；
第三步:根据人眼瞳孔偏离初始位置的角度θ，对相应位置需要加载的全息图进行计算，并根据空间光调制器的类型进行相应编码；
第四步:控制器控制反射镜按计算得到的方向和角度进行旋转，并同步控制空间光调制器加载人眼位置对应的全息图；
第五步:人眼瞳孔移动到不同位置均观看到相应的三维场景。
10.根据权利要求9所述基于出瞳扫描的全息近眼显示的眼瞳箱扩展方法，其特征在于：在所述第二步中，根据人眼瞳孔位置，计算瞳孔偏离初始位置的角度θ，初始位置可根据实际需要设定，计算反射镜所需的旋转角度和旋转方向；以反射镜初始位置的镜面表面为XY平面，其中原点为镜面中心，位于系统光线的光轴上，反射镜沿X轴和Y轴的旋转分别对应于出瞳位置的竖直和水平扫描运动；偏转角θ的大小由水平方向的角度分量θx与竖直方向的角度分量θy合成；人眼瞳孔向左偏移θx时，反射镜则绕Y轴顺时针旋转计算得到的相应角度，人眼瞳孔向右偏移θx时，反射镜则绕Y轴逆时针旋转计算得到的相应角度；人眼瞳孔向上偏移θy时，反射镜则绕X轴顺时针旋转计算得到的相应角度；人眼瞳孔向下偏移θy时，反射镜则绕X轴逆时针旋转计算得到的相应角度；
或者，在所述第三步中，根据人眼瞳孔偏离初始位置的角度θ，对相应位置需要加载的全息图进行计算，并根据空间光调制器的类型进行相应编码；空间光调制器的调制方式采用有振幅、相位以及复振幅调制中的至少一种，全息图的编码根据空间光调制器的种类进行振幅编码、相位编码以及复振幅编码，全息图生成和编码流程如下：
a.根据需要显示的三维场景，通过点源法、角谱法、菲涅尔衍射、弗朗和费衍射中的至少一种方法计算出瞳位置的复振幅分布UEP；
b.根据出瞳位置的复振幅分布UEP，并结合人眼瞳孔偏离初始位置的角度θ，计算空间光调制器面的复振幅分布USLM；
c.将空间光调制器面的复振幅分布USLM根据空间光调制器的调制方式的不同，编码为空间光调制器相应的加载全息图像信息。
CN202110759726.3A 2021-07-06 2021-07-06 一种基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法 Pending CN113608352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110759726.3A CN113608352A (zh) 2021-07-06 2021-07-06 一种基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110759726.3A CN113608352A (zh) 2021-07-06 2021-07-06 一种基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法

Publications (1)

Publication Number Publication Date
CN113608352A true CN113608352A (zh) 2021-11-05

Family

ID=78337299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110759726.3A Pending CN113608352A (zh) 2021-07-06 2021-07-06 一种基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法

Country Status (1)

Country Link
CN (1) CN113608352A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081340A (zh) * 2010-12-08 2011-06-01 中山大学 全视角真三维图像显示系统及其显示方法
CN106773589A (zh) * 2017-01-05 2017-05-31 京东方科技集团股份有限公司 一种全息显示装置及其显示方法
CN111812842A (zh) * 2020-06-29 2020-10-23 深圳珑璟光电技术有限公司 一种全息图显示方法、装置及近眼显示系统
CN112882228A (zh) * 2019-11-29 2021-06-01 北京航空航天大学 基于白光照明的彩色全息近眼ar显示系统和彩色全息图计算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081340A (zh) * 2010-12-08 2011-06-01 中山大学 全视角真三维图像显示系统及其显示方法
CN106773589A (zh) * 2017-01-05 2017-05-31 京东方科技集团股份有限公司 一种全息显示装置及其显示方法
CN112882228A (zh) * 2019-11-29 2021-06-01 北京航空航天大学 基于白光照明的彩色全息近眼ar显示系统和彩色全息图计算方法
CN111812842A (zh) * 2020-06-29 2020-10-23 深圳珑璟光电技术有限公司 一种全息图显示方法、装置及近眼显示系统

Similar Documents

Publication Publication Date Title
US11953683B2 (en) Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
CN112154379B (zh) 平视显示器
US20210373330A1 (en) Holographic head-up display system
US20150234350A1 (en) Digital holographic display method and apparatus
CN102081340B (zh) 全视角真三维图像显示系统及其显示方法
GB2363273A (en) Computation time reduction for three dimensional displays
CN110376739B (zh) 一种基于光偏振方向大出瞳快速计算的全息平面混合近眼显示系统
TW201300834A (zh) 顯示裝置，尤其是頭戴式顯示器或護目鏡
CN114868070A (zh) 具有能转向眼动范围的增强现实平视显示器
CN113608353A (zh) 一种基于阵列光源的全息近眼显示系统及眼瞳箱扩展方法
CN112596239A (zh) 基于空间光调制器的全息近眼显示方法及系统
US5889599A (en) Holography imaging apparatus holography display apparatus holography imaging method and holography display method
JPH09113846A (ja) 立体画像表示装置及びその方法
EP3531214B1 (en) Holographic display device and control method thereof
CN110989174B (zh) 基于新型偏振体全息光栅的近眼光场显示器
CN115145036A (zh) 基于光源阵列的大视场角高分辨全息近眼显示装置和显示方法
CN113608352A (zh) 一种基于出瞳扫描的全息近眼显示系统及眼瞳箱扩展方法
JP2003015079A (ja) 立体像表示方法及び表示装置
CN110989175B (zh) 基于偏振体全息光栅的分辨率增强光场显示器
CN115145037A (zh) 基于视场扫描拼接的大视场角高分辨全息近眼显示装置和显示方法
CN113608354B (zh) 一种基于电控偏振调制器的全息近眼显示系统及眼瞳箱扩展方法
CN113608354A (zh) 一种基于电控偏振调制器的全息近眼显示系统及眼瞳箱扩展方法
Xia et al. 28‐2: Eyebox‐expanded Maxwellian‐View Augmented Reality Display with a Color Holographic Optical Element
CN117111305A (zh) 一种大视场角全息近眼显示装置和显示方法
CN116184669A (zh) 一种多角度同时照明的全息近眼显示装置和眼瞳箱扩展方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination