CN112213859A - 头戴显示设备成像方法及头戴显示设备 - Google Patents

头戴显示设备成像方法及头戴显示设备 Download PDF

Info

Publication number
CN112213859A
CN112213859A CN202011086094.0A CN202011086094A CN112213859A CN 112213859 A CN112213859 A CN 112213859A CN 202011086094 A CN202011086094 A CN 202011086094A CN 112213859 A CN112213859 A CN 112213859A
Authority
CN
China
Prior art keywords
wavefront
optical system
head
mounted display
human eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011086094.0A
Other languages
English (en)
Other versions
CN112213859B (zh
Inventor
王朋杰
鹿丽华
刘小建
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202011086094.0A priority Critical patent/CN112213859B/zh
Publication of CN112213859A publication Critical patent/CN112213859A/zh
Priority to US18/248,502 priority patent/US11892641B2/en
Priority to PCT/CN2021/119648 priority patent/WO2022078169A1/zh
Application granted granted Critical
Publication of CN112213859B publication Critical patent/CN112213859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306—Circuit arrangements or driving methods for the control of single liquid crystal cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/01—Function characteristic transmissive
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/18—Function characteristic adaptive optics, e.g. wavefront correction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)

Abstract

本发明公开了一种头戴显示设备成像方法及头戴显示设备，包括：检测头戴显示设备通过其光学系统出射的光束波前；获取人眼的视轴位置；计算人眼的视轴与光学系统的光轴之间的偏差；根据所述偏差调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光轴之间的对应关系一致。本发明的头戴显示设备通过比对人眼的视轴与光学系统的光轴之间的偏差来进行像差补偿，解决了因光轴与视轴不重合所导致的非对称像差变得更加明显的问题，继而改善了因非对称像差造成的图像不清晰缺陷，最终达到了一种与视轴和光轴重合情况下一致的成像效果，实现了成像质量以及用户体验的明显提升。

Description

头戴显示设备成像方法及头戴显示设备
技术领域
本发明属于头戴显示设备技术领域，具体地说，是涉及一种用于头戴显示设备的成像方法。
背景技术
头戴显示设备是一种通过光学系统（主要是精密光学透镜）放大超微显示屏上的图像，并将影像投射于视网膜上,进而呈现于观看者眼中大屏幕图像的视频播放设备，可以实现虚拟现实（VR）、增强现实（AR）、混合现实（MR）等不同显示效果。
头戴显示设备的光学技术对于用户体验的提升具有非常重要的作用。但是，目前的头戴显示设备在光学系统设计过程中，往往不考虑人眼视轴S与光学系统的光轴G之间的差异，且在头戴显示设备实际使用过程中，人眼的注视点会发生一定程度的变化，导致人眼视轴S与光轴G的差异更为明显，如图1所示。这种差异会使得原本并非理想成像的光学系统出现更加明显的非对称像差，如彗差等，继而影响了成像的清晰度，降低了使用体验。
在过去的眼底显微成像技术中，像差测量过程非常复杂，从点光源到面光源，从第一光束到第二光束，需要利用七块透镜经过各种探测才能得到像差，导致检测系统十分复杂并且不利于产品结构的小型化。而现阶段，波前像差检测只需要使用一个夏克哈曼特传感器就能做到，并且系统结构相对简单，有利于产品的小型化设计。在校正方法方面，现在的技术都是采用位置标定辅助光路去标定人眼瞳孔，然后利用校正器件调整光束方向，使得瞳孔与光束一致。这里其实存在一个问题：所谓瞳孔与光束一致，是指瞳孔的光轴与光束的光轴一致，而瞳孔的光轴与人眼的视轴是不重合的，所以看到的影像依然存在较大的波前像差，继而影响了成像质量。
本背景技术所公开的上述信息仅仅用于增加对本申请背景技术的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。
发明内容
本发明的目的在于提供一种头戴显示设备成像方法，通过解决因人眼的视轴与光学系统的光轴不重合所导致的非对称像差变得更加明显的问题，以改善成像质量，提升用户体验。
为实现上述发明目的，本发明采用以下技术方案予以实现：
在一个方面，本发明提出了一种头戴显示设备成像方法，包括：检测头戴显示设备通过其光学系统出射的光束波前；获取人眼的视轴位置；计算人眼的视轴与光学系统的光轴之间的偏差；根据所述偏差调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光轴之间的对应关系一致。
在本申请的一些实施例中，所述获取人眼的视轴位置的过程包括：利用眼球追踪技术获取人眼在头戴显示设备的显示屏上的注视点；获取人眼的瞳孔位置；将注视点与瞳孔中心的连线作为人眼的视轴位置。
在本申请的一些实施例中，所述计算人眼的视轴与光学系统的光轴之间的偏差的过程包括：以光学系统的光轴与显示屏的交点作为原点A（0,0）进行十字标定，建立直角坐标系；获取人眼在显示屏上的注视点B的坐标（x，y）;计算A、B两点的距离ρ以及A、B两点的连线与Y轴的夹角θ。
在本申请的一些实施例中，所述根据所述偏差调整入射到人眼的波前的过程包括：根据所述ρ和θ，利用泽尼克多项式计算人眼在注视所述注视点B时的波前数据W2；根据波前数据W2以及光学系统出射的光束波前数据W1计算出波前像差的相对变化量△W；根据相对变化量△W调整入射到人眼的波前，实现波前校正。
在本申请的一些实施例中，所述调整入射到人眼的波前的过程包括：在所述光学系统朝向人眼的一侧安装波前校正器；利用波前校正器根据所述相对变化量△W调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光轴之间的对应关系一致。
在另一个方面，本发明还提出了一种头戴显示设备，包括显示屏、光学系统、波前探测器、摄像头、波前校正器和处理器；其中，所述波前探测器用于检测所述光学系统出射的光束波前；所述摄像头采集佩戴者的眼球影像；所述波前校正器安装在所述光学系统朝向人眼的一侧，用于调整入射到人眼的波前；所述处理器接收所述波前探测器检测输出的波前数据，并根据所述摄像头采集到的眼球影像确定出人眼的视轴，计算出人眼的视轴与光学系统的光轴之间的偏差，并根据所述偏差控制所述波前校正器调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光学系统的光轴之间的对应关系一致。
在本申请的一些实施例中，所述处理器根据所述摄像头采集到的眼球影像，优选采用眼球追踪技术确定出人眼在显示屏上的注视点以及人眼的瞳孔位置，然后以注视点与瞳孔中心的连线作为人眼的视轴位置。
在本申请的一些实施例中，所述处理器以光学系统的光轴与显示屏的交点作为原点A（0,0）进行十字标定，建立直角坐标系，并获取所述注视点B的坐标（x，y），通过计算A、B两点的距离ρ以及A、B两点的连线与Y轴的夹角θ，确定出所述人眼的视轴与光学系统的光轴之间的偏差。
在本申请的一些实施例中，所述处理器根据计算出的ρ和θ，优选利用泽尼克多项式计算出人眼在注视所述注视点B时的波前数据W2，并根据所述波前数据W2以及所述波前探测器检测输出的波前数据W1计算出波前像差的相对变化量△W，根据所述相对变化量△W控制所述波前校正器对入射到人眼的波前进行校正。
在本申请的一些实施例中，在所述波前校正器中设置有透射式液晶单元、驱动电路和液晶空间光调制器，所述处理器根据所述相对变化量△W生成控制信号发送至所述液晶空间光调制器，生成调制信号调整通过所述驱动电路施加到透射式液晶单元上的电压，以校正通过透射式液晶单元出射的光束波前，使其与视轴之间的对应关系同光学系统出射的光束波前与光学系统的光轴之间的对应关系一致。
与现有技术相比，本发明的优点和积极效果是：本发明的头戴显示设备通过比对人眼的视轴与光学系统的光轴之间的偏差来确定像差补偿量，根据该像差补偿量来调整入射到人眼的波前，使其与人眼视轴之间的对应关系刚好同光学系统出射的光束波前与其光轴之间的对应关系完全一致，由此便可解决因光轴与视轴不重合所导致的非对称像差变得更加明显的问题，继而改善了因非对称像差所造成的图像不清晰缺陷，最终达到了一种与视轴和光轴重合情况下一致的成像效果，实现了成像质量以及用户体验的明显提升。
结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是人眼的视轴与光学系统的光轴不重合情况的示意图；
图2是本发明所提出的头戴显示设备的一种实施例的结构示意图；
图3是图2所示的头戴显示设备的工作原理示意图；
图4是本发明所提出的头戴显示设备成像方法的一种实施例的流程图；
图5是图4所示的头戴显示设备成像方法的一种实施例的详细流程图；
图6是注视点位置图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细地说明。
参见图2、图3，本实施例的头戴显示设备主要包括显示主体和连接显示主体的头戴组件。其中，显示主体用于将影像投影于设备佩戴者的眼中，包括壳体1以及安装于壳体1中的显示屏2、光学系统3、摄像头等光学或电子部件。头戴组件用于将显示主体佩戴在用户的头部且位于人眼的前方，可以设计成绑带式，也可以设计成镜架式。
目前的光学系统3都是由多个光学透镜构成的透镜模组设计而成的，显示屏2显示的图像经由光学系统3射出并投射进入佩戴者的眼中。由于在实际使用过程中，人眼的视轴S与光学系统3的光轴G往往处于相对变化的状态，当人眼的视轴S与光学系统3的光轴G不重合时，就会使得原本并非理想成像的光学系统出现更加明显的非对称像差，继而严重影响了头戴显示设备的成像清晰度。
为了提高头戴显示设备的成像质量，首先，在结构设计上，本实施例在头戴显示设备的显示主体上增设波前探测器4和波前校正器5，结合图2、图3所示。其中，波前探测器4可以安装在壳体1上，且位于朝向人眼的一侧，用于检测光学系统3出射的光束波前W。波前是指等相位面,也就是相位相同的点的集合生成的曲面。在光学系统3安装到位后，其光轴G的位置便已固定。通过波前探测器4检测出光学系统3出射的光束波前W后，即可确定出光学系统3出射的光束波前W与光学系统3的光轴G之间的对应关系。
波前校正器5可以安装在壳体1上，且位于光学系统3的后方，即，相对于光学系统3更接近人眼的一侧，用于调整入射到人眼的光束波前W’。调整入射到人眼的光束波前W’，可以改变其与人眼的视轴S之间的对应关系。当入射到人眼的光束波前W’与视轴S之间的对应关系，同所述光学系统3出射的光束波前W与光轴G之间的对应关系完全一致时，即可改善因光轴G与视轴S不重合所导致的非对称像差变得更加明显的问题，使在人眼的成像效果更接近于显示屏2的显示效果，继而达到提升头戴显示设备成像清晰度的目的。
在本实施例中，所述波前探测器4可以采用夏克哈曼特传感器或者其他现有的小型化波前传感器，以便于在头戴显示设备的壳体1上的布设。所述波前校正器5可以采用基于透射式液晶单元的波前校正器件，通过调整施加到液晶上的电压，以实现波前校正。当然，所述波前校正器5也可以采用其他现有的小型化、集成化的波前校正器件布设于头戴显示设备的壳体1上，对光学系统4出射的光束波前W进行补偿校正，形成光束波前W’，入射到佩戴者的眼中。
为了获得人眼的视轴S位置，本实施例首先借助头戴显示设备内置的摄像头（图中未示出）采集佩戴者的眼球影像，并传输至头戴显示设备内置电路板上的处理器进行图像处理；然后，利用现有的眼球追踪算法，计算出人眼在显示屏2上的注视点B的位置以及人眼的瞳孔位置，结合图6所示；最后，以注视点B与瞳孔中心的连线作为人眼的视轴S位置。这里人眼的视轴S不同于瞳孔的光轴，按照这种方式确定出的人眼视轴S位置，在配合波前校正器5对光学系统4出射的光束波前W进行补偿校正时，只要校正后的光束波前W’与视轴S的对应关系，与光学系统3出射的光束波前W与光轴G的对应关系一致，即可改善因光轴G与视轴S不重合所导致的愈加明显的非对称像差的问题，继而获得与视轴S和光轴G重合情况下一致的成像效果。
下面结合头戴显示设备的上述硬件设计，对光束波前的具体调整方法进行详细阐述。
如图4、图5所示，具体包括以下过程：
S401、检测头戴显示设备通过其光学系统3出射的光束波前W；
在本实施例中，利用波前探测器4检测光学系统3出射的光束波前W，生成波前数据W1发送至头戴显示设备内置的处理器。处理器根据接收到的波前数据W1以及预先已确定的光学系统3的光轴G位置，确定出光束波前W与光轴G的对应关系。
S402、获取人眼视轴S的位置；
在本实施例中，可以利用头戴显示设备内置的摄像头采集佩戴者的眼球影像，利用目前成熟的眼球追踪技术确定出人眼在头戴显示设备的显示屏2上的注视点B以及人眼的瞳孔位置，将注视点B与瞳孔中心的连线作为人眼视轴S的位置。
S403、计算人眼的视轴S与光学系统的光轴G之间的偏差；
结合图6所示，本实施例以光学系统3的光轴G与显示屏2的交点作为原点A（0,0），在显示屏2所在平面进行十字标定，建立起直角坐标系。利用眼球追踪技术确定出人眼在显示屏2上的注视点B的坐标（x，y）。根据A、B两点的坐标即可计算出A、B两点的距离ρ以及A、B两点的连线与Y轴的夹角θ，即：
ρ=(x2+y2)1/2
θ=arctan(x/y)。
为了避免波前校正器5频繁动作，本实施例优选设定一个阈值a，并根据A、B两点的距离ρ或者结合ρ和θ两个参数共同确定出一个差异量δ，若所述差异量δ>a，则执行后续的波前校正过程；否则，保持当前波前W，并返回步骤S402继续跟踪人眼视轴G的位置变化。
S404、调整入射到人眼的波前W’，使入射到人眼的波前W’与人眼视轴S之间的对应关系同光学系统3出射的光束波前W与光轴G之间的对应关系一致；
在本实施例中，可以首先利用泽尼克多项式计算出人眼在注视所述注视点B时的波前数据W2，即：
W(ρ,θ)=Z0+Z1ρcosθ+Z2ρsinθ+Z3(2ρ2-1)+Z4ρ2cos2θ+Z5ρ2sin2θ
+Z6(3ρ2-2)ρcosθ+Z7(3ρ2-2)ρsinθ+Z8(6ρ4-6ρ2+1)。
其中，W2= W(ρ,θ)；Z0为平移量；Z1为X轴倾斜量；Z2为Y轴倾斜量；Z3为离焦量；Z4为像散0度和离焦量；Z5为像散45度和离焦量；Z6为彗差和X轴倾斜量；Z7：彗差和Y轴倾斜量；Z8：球差和离焦量。这些系数可以由波前探测器4直接获得。当人眼注视原点A时，W2=W1；当人眼注视显示屏2上的其他任意一点时，可以通过上述泽尼克多项式计算出人眼在注视该点时的波前数据W2。
根据计算出的波前数据W2以及光学系统3出射的光束波前数据W1计算出波前像差的相对变化量△W，根据所述相对变化量△W调整入射到人眼的波前W’，实现波前校正。具体过程为：
处理器根据计算出的相对变化量△W生成控制信号发送至波前校正器5。在所述波前校正器5中设置有透射式液晶单元、驱动电路和液晶空间光调制器，所述液晶空间光调制器接收处理器输出的控制信号，生成调制信号传输至驱动电路，调整通过所述驱动电路施加到透射式液晶单元上的电压，以校正通过透射式液晶单元出射的光束波前W’，使光束波前W’与人眼的视轴S之间的对应关系，与光学系统3出射的光束波前W与光轴G之间的对应关系一致。例如，若光学系统3出射的光束波前W与光学系统的光轴G垂直，则通过波前校正器5调整入射到人眼的光束波前W’，使其与人眼的视轴S垂直，如图3所示，由此便可改善成像质量，提高头戴显示设备的成像清晰度。
执行完本轮波前校正后，可以返回步骤S402继续追踪视轴S的位置变化，进入下一轮波前校正过程。
本实施例的头戴显示设备结合眼球追踪技术，获得眼球注视点，对比视轴与光轴的差异，通过波前校正，改善由于视轴与光轴不一致所引入的非对称像差，从而提高了成像清晰度，提升了用户体验。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (10)

1.一种头戴显示设备成像方法，其特征在于，包括：
检测头戴显示设备通过其光学系统出射的光束波前；
获取人眼的视轴位置；
计算人眼的视轴与光学系统的光轴之间的偏差；
根据所述偏差调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光轴之间的对应关系一致。
2.根据权利要求1所述的头戴显示设备成像方法，其特征在于，所述获取人眼的视轴位置的过程包括：
利用眼球追踪技术获取人眼在头戴显示设备的显示屏上的注视点；
获取人眼的瞳孔位置；
将注视点与瞳孔中心的连线作为人眼的视轴位置。
3.根据权利要求1或2所述的头戴显示设备成像方法，其特征在于，所述计算人眼的视轴与光学系统的光轴之间的偏差的过程包括：
以光学系统的光轴与显示屏的交点作为原点A（0,0）进行十字标定，建立直角坐标系；
获取所述注视点B的坐标（x，y）;
计算出A、B两点的距离ρ以及A、B两点的连线与Y轴的夹角θ。
4.根据权利要求3所述的头戴显示设备成像方法，其特征在于，所述根据所述偏差调整入射到人眼的波前的过程包括：
根据所述ρ和θ，利用泽尼克多项式计算人眼在注视所述注视点B时的波前数据W2；
根据波前数据W2以及光学系统出射的光束波前数据W1计算出波前像差的相对变化量△W；
根据相对变化量△W调整入射到人眼的波前，实现波前校正。
5.根据权利要求4所述的头戴显示设备成像方法，其特征在于，所述根据相对变化量△W调整入射到人眼的波前的过程包括：
在所述光学系统朝向人眼的一侧安装波前校正器；
利用波前校正器根据所述相对变化量△W调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光轴之间的对应关系一致。
6.一种头戴显示设备，包括显示屏和光学系统；其特征在于，还包括：
波前探测器，其用于检测所述光学系统出射的光束波前；
摄像头，其采集佩戴者的眼球影像；
波前校正器，其安装在所述光学系统朝向人眼的一侧，用于调整入射到人眼的波前；
处理器，其接收所述波前探测器检测输出的波前数据，并根据所述摄像头采集到的眼球影像确定出人眼的视轴，计算出人眼的视轴与光学系统的光轴之间的偏差，并根据所述偏差控制所述波前校正器调整入射到人眼的波前，使入射到人眼的波前与视轴之间的对应关系同光学系统出射的光束波前与光学系统的光轴之间的对应关系一致。
7.根据权利要求6所述的头戴显示设备，其特征在于，所述处理器根据所述摄像头采集到的眼球影像，利用眼球追踪技术确定出人眼在显示屏上的注视点以及人眼的瞳孔位置，并以注视点与瞳孔中心的连线作为人眼的视轴位置。
8.根据权利要求6或7所述的头戴显示设备，其特征在于，所述处理器以光学系统的光轴与显示屏的交点作为原点A（0,0）进行十字标定，建立直角坐标系，并获取所述注视点B的坐标（x，y），通过计算A、B两点的距离ρ以及A、B两点的连线与Y轴的夹角θ，确定出所述人眼的视轴与光学系统的光轴之间的偏差。
9.根据权利要求8所述的头戴显示设备，其特征在于，所述处理器根据计算出的ρ和θ，利用泽尼克多项式计算出人眼在注视所述注视点B时的波前数据W2，并根据所述波前数据W2以及所述波前探测器检测输出的波前数据W1计算出波前像差的相对变化量△W，根据所述相对变化量△W控制所述波前校正器对入射到人眼的波前进行校正。
10.根据权利要求9所述的头戴显示设备，其特征在于，在所述波前校正器中设置有透射式液晶单元、驱动电路和液晶空间光调制器，所述处理器根据所述相对变化量△W生成控制信号发送至所述液晶空间光调制器，生成调制信号调整通过所述驱动电路施加到透射式液晶单元上的电压，以校正通过透射式液晶单元出射的光束波前，使其与视轴之间的对应关系同光学系统出射的光束波前与光学系统的光轴之间的对应关系一致。
CN202011086094.0A 2020-10-12 2020-10-12 头戴显示设备成像方法及头戴显示设备 Active CN112213859B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011086094.0A CN112213859B (zh) 2020-10-12 2020-10-12 头戴显示设备成像方法及头戴显示设备
US18/248,502 US11892641B2 (en) 2020-10-12 2021-09-22 Imaging method for a head-mounted display and head-mounted display
PCT/CN2021/119648 WO2022078169A1 (zh) 2020-10-12 2021-09-22 头戴显示设备成像方法及头戴显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011086094.0A CN112213859B (zh) 2020-10-12 2020-10-12 头戴显示设备成像方法及头戴显示设备

Publications (2)

Publication Number Publication Date
CN112213859A true CN112213859A (zh) 2021-01-12
CN112213859B CN112213859B (zh) 2022-09-23

Family

ID=74054119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011086094.0A Active CN112213859B (zh) 2020-10-12 2020-10-12 头戴显示设备成像方法及头戴显示设备

Country Status (3)

Country Link
US (1) US11892641B2 (zh)
CN (1) CN112213859B (zh)
WO (1) WO2022078169A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022078169A1 (zh) * 2020-10-12 2022-04-21 歌尔股份有限公司 头戴显示设备成像方法及头戴显示设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0007039A1 (en) * 1978-07-10 1980-01-23 Hughes Aircraft Company Holographic head-up display system
JPH09211377A (ja) * 1996-01-31 1997-08-15 Nissan Motor Co Ltd ヘッドマウントディスプレー装置
US20070285795A1 (en) * 2006-06-07 2007-12-13 Himax Display, Inc. Head-mounted display and image adjustment method for the same
CN101561347A (zh) * 2009-05-15 2009-10-21 中国科学院上海光学精密机械研究所 视频眼镜双目视轴偏差检测装置和方法
CN102098442A (zh) * 2010-12-24 2011-06-15 中国科学院长春光学精密机械与物理研究所 变焦距摄像机光轴和视轴不重合度校准方法及其系统
US20130050642A1 (en) * 2011-08-30 2013-02-28 John R. Lewis Aligning inter-pupillary distance in a near-eye display system
US20130169683A1 (en) * 2011-08-30 2013-07-04 Kathryn Stone Perez Head mounted display with iris scan profiling
CN105652444A (zh) * 2016-01-18 2016-06-08 北京国承万通信息科技有限公司 显示装置
JP2016218313A (ja) * 2015-05-22 2016-12-22 三菱電機株式会社 結像光学系及びその光学調整方法
US20170161951A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Autofocus virtual reality headset
US20180045960A1 (en) * 2015-12-02 2018-02-15 Augmenteum, LLC. System for and method of projecting augmentation imagery in a head-mounted display
CN108061968A (zh) * 2018-01-05 2018-05-22 京东方科技集团股份有限公司 一种抬头显示装置及显示图像校正方法
CN108399001A (zh) * 2017-02-06 2018-08-14 上海青研科技有限公司 一种vr/ar中双目立体视觉眼动分析方法及装置
CN108632599A (zh) * 2018-03-30 2018-10-09 蒋昊涵 一种vr图像的显示控制系统及其显示控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5163166B2 (ja) 2008-02-12 2013-03-13 ブラザー工業株式会社 画像表示装置
WO2018022521A1 (en) * 2016-07-25 2018-02-01 Magic Leap, Inc. Light field processor system
US10402950B1 (en) * 2016-11-15 2019-09-03 Facebook Technologies, Llc Optical measurement system
EP3830674A4 (en) 2018-08-03 2022-04-20 Magic Leap, Inc. DEPTH PLANE SELECTION OF MULTI-DEPTH PLAN DISPLAY SYSTEMS BY USER CATEGORIZATION
CN112213859B (zh) 2020-10-12 2022-09-23 歌尔科技有限公司 头戴显示设备成像方法及头戴显示设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0007039A1 (en) * 1978-07-10 1980-01-23 Hughes Aircraft Company Holographic head-up display system
JPH09211377A (ja) * 1996-01-31 1997-08-15 Nissan Motor Co Ltd ヘッドマウントディスプレー装置
US20070285795A1 (en) * 2006-06-07 2007-12-13 Himax Display, Inc. Head-mounted display and image adjustment method for the same
CN101561347A (zh) * 2009-05-15 2009-10-21 中国科学院上海光学精密机械研究所 视频眼镜双目视轴偏差检测装置和方法
CN102098442A (zh) * 2010-12-24 2011-06-15 中国科学院长春光学精密机械与物理研究所 变焦距摄像机光轴和视轴不重合度校准方法及其系统
US20130169683A1 (en) * 2011-08-30 2013-07-04 Kathryn Stone Perez Head mounted display with iris scan profiling
US20130050642A1 (en) * 2011-08-30 2013-02-28 John R. Lewis Aligning inter-pupillary distance in a near-eye display system
JP2016218313A (ja) * 2015-05-22 2016-12-22 三菱電機株式会社 結像光学系及びその光学調整方法
US20180045960A1 (en) * 2015-12-02 2018-02-15 Augmenteum, LLC. System for and method of projecting augmentation imagery in a head-mounted display
US20170161951A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Autofocus virtual reality headset
CN105652444A (zh) * 2016-01-18 2016-06-08 北京国承万通信息科技有限公司 显示装置
CN108399001A (zh) * 2017-02-06 2018-08-14 上海青研科技有限公司 一种vr/ar中双目立体视觉眼动分析方法及装置
CN108061968A (zh) * 2018-01-05 2018-05-22 京东方科技集团股份有限公司 一种抬头显示装置及显示图像校正方法
CN108632599A (zh) * 2018-03-30 2018-10-09 蒋昊涵 一种vr图像的显示控制系统及其显示控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022078169A1 (zh) * 2020-10-12 2022-04-21 歌尔股份有限公司 头戴显示设备成像方法及头戴显示设备
US11892641B2 (en) 2020-10-12 2024-02-06 Goertek, Inc. Imaging method for a head-mounted display and head-mounted display

Also Published As

Publication number Publication date
WO2022078169A1 (zh) 2022-04-21
US11892641B2 (en) 2024-02-06
US20230375838A1 (en) 2023-11-23
CN112213859B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US10271042B2 (en) Calibration of a head mounted eye tracking system
KR101962302B1 (ko) 구조화 광을 사용한 안구 추적
US11079601B2 (en) Eye projection system and method
US20160165205A1 (en) Holographic displaying method and device based on human eyes tracking
US11360313B1 (en) System and method for automatic vision correction in near-to-eye displays
US10598941B1 (en) Dynamic control of optical axis location in head-mounted displays
CN1635848A (zh) 波前测量的主观改进
CN112213859B (zh) 头戴显示设备成像方法及头戴显示设备
WO2012054651A2 (en) Methods and systems for customizing refractive corrections of human eyes
EP3966670B1 (en) Display apparatus and method of correcting image distortion therefor
US11635807B1 (en) Full field retinal imaging system for characterization of eye trackers
CN113138664A (zh) 基于光场感知的眼球追踪系统、方法
CN206990925U (zh) 一种大投射角的hud系统
CN103559688A (zh) 基于波前图像补偿的畸变校正方法
US10656439B2 (en) Lenses with improved management of distortion
US11983318B1 (en) Full field retinal imaging system for characterization of eye trackers
EP4020057A1 (en) Head-mounted display and method of optimisation
US20240012259A1 (en) Method for adjusting head-mounted device and head-mounted device
US20230393655A1 (en) Electronic apparatus
CN116894877A (zh) 动态相机旋转校准
CN113568189A (zh) 一种变焦眼镜及其调焦方法
WO2024006966A1 (en) Eye-tracking system
CN117982323A (zh) 一种视觉受损患者的视力矫正增强方法及装置
TW202141234A (zh) 補償視野缺損的方法、電子裝置、智慧型眼鏡及電腦可讀儲存媒體

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant