CN117666136A - 头戴式虚拟现实设备 - Google Patents

头戴式虚拟现实设备 Download PDF

Info

Publication number
CN117666136A
CN117666136A CN202211091847.6A CN202211091847A CN117666136A CN 117666136 A CN117666136 A CN 117666136A CN 202211091847 A CN202211091847 A CN 202211091847A CN 117666136 A CN117666136 A CN 117666136A
Authority
CN
China
Prior art keywords
eye
user
head
virtual reality
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211091847.6A
Other languages
English (en)
Inventor
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202211091847.6A priority Critical patent/CN117666136A/zh
Priority to PCT/CN2023/113818 priority patent/WO2024051476A1/zh
Publication of CN117666136A publication Critical patent/CN117666136A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

本公开提供一种头戴式虚拟现实设备,该头戴式虚拟现实设备包括眼动识别组件和处理器,眼动识别组件包括光源组件、第一相机和第二相机。该头戴式虚拟现实设备通过光源组件、第一相机和第二相机的配合,获取具有光源组件发射的条形的光线的第一眼部图片和第二眼部图片,处理器根据第一眼部图片和第二眼部图片确定具有深度信息的眼部深度图,然后根据眼部深度图确定用户虹膜中心坐标,以此方式获取用户虹膜中心坐标的方式,极大的提高了头戴式虚拟现实设备确定用户虹膜中心坐标的精度,提高了用户的体验。

Description

头戴式虚拟现实设备
技术领域
本公开实施例涉及虚拟现实技术领域,尤其涉及一种头戴式虚拟现实设备。
背景技术
随着虚拟现实(virtual reality,简称为VR)技术的发展以及头戴式虚拟现实设备民用化程度的不断提高,人们可以佩戴头戴式虚拟现实设备体验虚拟场景,享受沉浸式体验,极大的丰富了人们的生活内容和生活品质。
头戴式虚拟现实设备是利用仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术集合的产品,是借助计算机及最新传感器技术创造的一种崭新的人机交互手段。在相关技术中,头戴式虚拟现实设备包括眼球追踪装置,进而以使得头戴式虚拟现实设备能够根据用户的眼球位置确定用户的视线方向和瞳孔间距。
然而,相关技术中的眼球追踪装置存在精度低的问题。
发明内容
本公开实施例提供一种头戴式虚拟现实设备,用以解决相关技术中的眼球追踪装置存在精度低的技术问题。
本公开实施例为解决上述技术问题提供如下技术方案:
本公开实施例提供了一种头戴式虚拟现实设备,包括眼动识别组件和处理器,所述眼动识别组件包括光源组件、第一相机和第二相机;
所述光源组件配置为在所述头戴式虚拟现实设备使用时,所述光源组件向用户的眼部投射多条条形的光线,至少部分所述条形的光线投射至所述用户的虹膜;
所述第一相机配置为在所述头戴式虚拟现实设备使用时,所述第一相机拍摄用户的第一眼部图片,所述第一眼部图片包括所述条形的光线在用户眼部形成的反射图案;
所述第二相机配置为在所述头戴式虚拟现实设备使用时,所述第二相机拍摄用户的第二眼部图片,所述第二眼部图片包括所述条形的光线在用户眼部形成的反射图案;
所述处理器分别与所述第一相机和所述第二相机信号连接,所述处理器配置为根据所述第一眼部图片和所述第二眼部图片,确定具有深度信息的眼部深度图;根据所述眼部深度图确定用户虹膜中心坐标。
本公开实施例的有益效果:本公开实施例提供的头戴式虚拟现实设备通过光源组件、第一相机和第二相机的配合,获取具有光源组件发射的条形的光线的第一眼部图片和第二眼部图片,处理器根据第一眼部图片和第二眼部图片确定具有深度信息的眼部深度图,然后根据眼部深度图确定用户虹膜中心坐标,以此方式获取用户虹膜中心坐标的方式,极大的提高了头戴式虚拟现实设备确定用户虹膜中心坐标的精度,提高了用户的体验。
在一种可能的实施方式中,所述第二眼部图片和所述第一眼部图片具有重合区域,所述重合区域包括至少部分虹膜形成的图片;
根据所述第一眼部图片和所述第二眼部图片,确定具有深度信息的眼部深度图,包括:
根据所述第一眼部图片,确定具有深度信息的第一眼部深度图,和/或,根据所述第二眼部图片,确定具有深度信息的第二眼部深度图;
根据所述第一眼部图片和所述第二眼部图片,确定具有深度信息的第三眼部深度图;
融合所述第三眼部深度图,以及所述第一眼部深度图和/或所述第二眼部深度图,获取具有深度信息的眼部深度图。
在一种可能的实施方式中,还包括两个镜筒组件,两个所述镜筒组件分别与用户的两只眼睛相对应,且在所述头戴式虚拟现实设备使用时,两个所述镜筒组件向用户展现虚拟景象;
一个所述镜筒组件对应一个所述眼动识别组件,在相对应的所述镜筒组件和所述眼动识别组件中,所述第一相机和所述光源组件设置于所述镜筒组件的下部,所述第二相机设置于所述镜筒组件的上部。
在一种可能的实施方式中,还包括壳体,两个所述镜筒组件设置于所述壳体内,所述壳体的第一侧与所述镜筒组件之间设置有用于容纳用户佩戴眼镜的第一空间,所述壳体的第一侧为所述头戴式虚拟现实设备佩戴于用户眼部时,所述壳体朝向用户眼部的一侧;
在相对应的所述镜筒组件和所述眼动识别组件中,所述第一相机位于所述第一空间沿第一方向的一端的下部,且设置在所述壳体上,所述第一方向为两个所述镜筒组件的中心连线的方向。
在一种可能的实施方式中,在相对应的所述镜筒组件和所述眼动识别组件中,所述第二相机位于靠近另一个所述镜筒组件的一侧,且设置在所述壳体上。
在一种可能的实施方式中,在相对应的所述镜筒组件和所述眼动识别组件中,所述光源组件设置于所述镜筒组件的中心轴的正下部,且设置在所述壳体上。
在一种可能的实施方式中,两个眼动识别组件分别与用户的两只眼睛相对应;
所述处理器根据两个所述眼动识别组件反馈的信息,分别获取用户两只眼睛的虹膜的中心坐标;
所述处理器根据用户两只眼睛的虹膜的中心坐标获取瞳孔间距。
在一种可能的实施方式中,所述光源组件包括垂直腔面发射激光器和衍射光学元件,所述衍射光学元件具有多条纵横垂直交错的线条,在所述头戴式虚拟现实设备佩戴于用户眼部时,所述垂直腔面发射激光器出射的光透过所述衍射光学元件的多条纵横垂直交错的线条出射到用户的眼部,并在用户的眼部形成具有多条纵横垂直交错的线条的投射区域。
在一种可能的实施方式中,所述投射区域至少覆盖长宽均为28mm的正方形区域。
在一种可能的实施方式中,所述光源组件出射的光照射到用户的眼球时的距离为25mm-27mm;
所述衍射光学元件设置的纵向线条和横向线条均大于21条,相邻两条纵向线条和相邻两条横向线条的间距为3.5-5mm。
在一种可能的实施方式中,所述垂直腔面发射激光器为脉冲驱动,脉冲宽度为2微秒,脉冲占空比为0.06%,频率为30Hz。
在一种可能的实施方式中,所述第一相机和所述第二相机的视场角均为90°,景深为20mm-40mm,分辨率均大于400×400,解析力为在56lp/mm频率下,全视场调制传递函数值大于0.5。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本公开实施例头戴式虚拟现实设备的示意图;
图2为第一相机位于第一位置时的光线图;
图3为用户佩戴本公开实施例提供的头戴式虚拟现实设备的主视图。
附图标记说明:
100、眼动识别组件;
110、光源组件;120、第一相机;130、第二相机;
200、镜筒组件;
210、显示屏;220、镜筒;230、凸透镜;
300、眼镜;
310、镜框;
400、壳体。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
正如背景技术中所述,在相关技术中,头戴式虚拟现实设备的眼球追踪装置能够根据用户的眼球位置确定用户的视线方向和瞳孔间距,然而,相关技术中的眼球跟踪装置,存在标定复杂度高,标定精度低的问题。经发明人研究发现,如果头戴式虚拟现实设备的眼球追踪装置包括红外线相机和多个红外发射二极管,多个红外发射二极管与红外线相机配合实现头戴式虚拟现实设备的眼动识别功能,具体方式为:在头戴式虚拟现实设备佩戴于用户眼部时,多个红外发射二极管向用户的眼球发射光线,以在用户的眼球上形成反射光斑,红外线相机拍摄用户眼球上形成的反射光斑,然后根据光学解算方法解算出瞳孔中心位置,进而获取用户的瞳孔间距,头戴式虚拟现实设备根据用户的瞳孔间距调节其自身的IPD值。然而,由于红外线相机通常设置在头戴式虚拟现实设备的壳体上,其受限于其拍摄角度,使得红外线相机拍摄用户眼球上形成的反射光斑时,常会存在只拍摄到部分反射光斑的情况,这使得红外线相机拍摄的图片难以满足光学解算方法的需求,从而难以解算出瞳孔间距,由此使得多个红外发射二极管与红外线相机配合获取用户的瞳孔间距的方案无法按照设定的频率获取瞳孔间距,影响用户的体验,并且红外线相机拍摄用户眼球上形成的反射光斑时,常会拍摄到用户眼球上的干扰光斑,影响瞳孔间距测量的精确性。
有鉴于此,本公开实施例通过双目相机和3D结构光的方案识别虹膜位置,以获取用户的瞳孔间距,相较于多个红外发射二极管与红外线相机配合获取用户的瞳孔间距的方案,该方案的测量精度显著提高,且能够按照设定的频率获取瞳孔间距,提高用户的体验。
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开的一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
图1为本公开实施例头戴式虚拟现实设备的示意图;图2为第一相机位于第一位置时的光线图;图3为用户佩戴本公开实施例提供的头戴式虚拟现实设备的主视图。
如图1所示,本实施例提供的头戴式虚拟现实设备包括眼动识别组件100和处理器,眼动识别组件100包括光源组件110、第一相机120和第二相机130,光源组件110配置为在头戴式虚拟现实设备使用时,光源组件110向用户的眼部投射多条条形的光线,至少部分条形的光线投射至用户的虹膜;第一相机120配置为在头戴式虚拟现实设备使用时,第一相机120拍摄用户的第一眼部图片,第一眼部图片包括条形的光线在用户眼部形成的反射图案;第二相机130配置为在头戴式虚拟现实设备使用时,第二相机130拍摄用户的第二眼部图片,第二眼部图片包括条形的光线在用户眼部形成的反射图案;处理器分别与第一相机120和第二相机130信号连接,处理器配置为根据第一眼部图片和第二眼部图片,确定具有深度信息的眼部深度图;根据眼部深度图确定用户虹膜中心坐标。
本公开实施例提供的头戴式虚拟现实设备基于虹膜边缘的深度与巩膜的深度不同,通过获取具有深度信息的眼部深度图,获取部分虹膜边缘的位置坐标,根据虹膜边缘的位置坐标确定用户虹膜中心坐标。
在本公开实施例中,示例性的,本公开实施例提供的头戴式虚拟现实设备根据第一眼部图片和第二眼部图片,确定具有深度信息的眼部深度图的方式可以为如下方式:
根据第一眼部图片,确定具有深度信息的第一眼部深度图,和/或,根据第二眼部图片,确定具有深度信息的第二眼部深度图。也就是说,第一相机120和光源组件110配合,第一相机120拍摄出具有光源组件110发射的条形的光线的第一眼部图片,第一眼部图片经处理器处理,获得具有深度信息的第一眼部深度图,和/或,第二相机130和光源组件110配合,第二相机130拍摄出具有光源组件110发射的条形的光线的第二眼部图片,第二眼部图片经处理器处理,获得具有深度信息的第二眼部深度图。
根据第一眼部图片和第二眼部图片,确定具有深度信息的第三眼部深度图。也就是说,第一相机120拍摄的第一眼部图片和第二眼部图片经处理器处理,获得另外一张具有深度信息的深度图,为第三眼部深度图。
融合第三眼部深度图,以及第一眼部深度图和/或第二眼部深度图,获取具有深度信息的眼部深度图。融合多两张或三张深度图后获取的眼部深度图的分辨率大于单张深度图的分辨率,两张或三张深度图融合后,根据融合后的深度图获取用户虹膜中心坐标。
在上述根据第一眼部图片和第二眼部图片,确定具有深度信息的眼部深度图的方式中,第二眼部图片和第一眼部图片具有重合区域,重合区域包括至少部分虹膜形成的图片。也就是说,第一相机120拍摄的眼部图片中具有至少部分虹膜形成的图片,第二相机130拍摄的眼部图片中具有至少部分虹膜形成的图片,且第一相机120拍摄的眼部图片中虹膜形成的图片和第二相机130拍摄的眼部图片中虹膜的形成图片具有重合部分。
上述根据第一眼部图片和第二眼部图片,确定具有深度信息的眼部深度图的方式包括如下三种情况:
情况1:
根据第一眼部图片,确定具有深度信息的第一眼部深度图。
示例性的,在本公开实施例中,获取具有深度信息的第一眼部深度图的方式为,基于3D结构光的原理,根据第一相机120拍摄的具有光源组件110发射的条形的光线的第一眼部图片,获取具有深度信息的第一眼部深度图。也就是说,该头戴式虚拟现实设备通过第一相机120和光源组件110的配合,基于3D结构光的原理,通过处理器的分析,获取具有深度信息的第一眼部深度图。
根据第一眼部图片和第二眼部图片,确定具有深度信息的第三眼部深度图。
示例性的,在本公开实施例中,获取具有深度信息的第三眼部深度图的方式为,基于双目相机的原理,根据第一相机120拍摄的第一眼部图片和第二相机130拍摄的第二眼部图片,获取具有深度信息的第三眼部深度图。也就是说,该头戴式虚拟现实设备通过第一相机120和第二相机130的配合,基于双目相机的原理,通过处理器的分析,获取具有深度信息的第三眼部深度图。
融合第三眼部深度图,以及第一眼部深度图,获取具有深度信息的眼部深度图。
示例性的,在本公开实施例中,融合第三眼部深度图,以及第一眼部深度图的方式可以为,以图像特征融合的方式融合第三眼部深度图和第一眼部深度图,以获取一张深度图,该深度图的分辨率大于第三眼部深度图和第一眼部深度图的分辨率,第三眼部深度图和第一眼部深度图融合后,根据融合后的深度图获取用户虹膜中心坐标。
也就是说,上述根据第一眼部图片和第二眼部图片,确定具有深度信息的眼部深度图的方式中的第一种情况为:基于3D结构光的原理,获取具有深度信息的第一眼部深度图,基于双目相机的原理,获取具有深度信息的第三眼部深度图,第三眼部深度图和第一眼部深度图形成一张具有更高分辨率的深度图,此方式能够增加虹膜中心坐标获取的准确性。相较于相关技术中,多个红外发射二极管与红外线相机配合获取用户的瞳孔间距的方案,该头戴式虚拟现实设备获取瞳孔间距的方案在精度上能够提高10倍以上,并且该头戴式虚拟现实设备能够按照设定的频率获取瞳孔间距,提高用户体验。
情况2:
根据第二眼部图片,确定具有深度信息的第二眼部深度图。
在本公开实施例中,获取具有深度信息的第二眼部深度图的方式与获取具有深度信息的第一眼部深度图的方式相同,在此不再赘述。
根据第一眼部图片和第二眼部图片,确定具有深度信息的第三眼部深度图。此过程与上述获取具有深度信息的第三眼部深度图的过程相同,在此不再赘述。
融合第三眼部深度图,以及第二眼部深度图,获取具有深度信息的眼部深度图。同样,在本公开实施例中,融合第三眼部深度图,以及第二眼部深度图的方式与上述融合第三眼部深度图,以及第一眼部深度图的方式相同,第三眼部深度图,以及第二眼部深度图融合后的获得的深度图的分辨率大于第三眼部深度图和第二眼部深度图的分辨率,第三眼部深度图和第二眼部深度图融合后,根据融合后的深度图获取用户虹膜中心坐标。
也就是说,上述根据第一眼部图片和第二眼部图片,确定具有深度信息的眼部深度图的方式中的第二种情况为:基于3D结构光的原理,获取具有深度信息的第二眼部深度图,基于双目相机的原理,获取具有深度信息的第三眼部深度图,第三眼部深度图以及第二眼部深度图融合形成一张具有更高分辨率的深度图,此方式同样能够增加虹膜中心坐标获取的准确性。
情况3:
根据第一眼部图片,确定具有深度信息的第一眼部深度图,根据第二眼部图片,确定具有深度信息的第二眼部深度图。即,该头戴式虚拟现实设备通过第一相机120和光源组件110的配合,基于3D结构光的原理,通过处理器的分析,获取具有深度信息的第一眼部深度图;通过第二相机130和光源组件110的配合,基于3D结构光的原理,通过处理器的分析,获取具有深度信息的第二眼部深度图。
根据第一眼部图片和第二眼部图片,确定具有深度信息的第三眼部深度图。此过程与上述获取具有深度信息的第三眼部深度图的过程相同,在此不再赘述。
融合第三眼部深度图,以及第一眼部深度图和第二眼部深度图,获取具有深度信息的眼部深度图。
示例性的,在本公开实施例中,融合第一眼部深度图,以及第二眼部深度图和第三眼部深度图的方式可以为,以图像特征融合的方式融合第一眼部深度图、第二眼部深度图和第三眼部深度图,以获取一张深度图,该深度图的分辨率大于第一眼部深度图、第二眼部深度图和第三眼部深度图的分辨率,第一眼部深度图、第二眼部深度图和第三眼部深度图融合后,根据融合后的深度图获取用户虹膜中心坐标。该方式相较于融合两张深度图的方式,其获取的虹膜中心坐标的精度更高。
此外,根据第一眼部深度图,以及第二眼部深度图和第三眼部深度图,获取用户虹膜中心坐标的方式还可以为,对比第一眼部深度图和第二眼部深度图,选取一张清晰度更高的图片,以图像特征融合的方式融合第三眼部深度图和经比对后清晰度更高的图片,以获取一张深度图。
也就是说,上述根据第一眼部图片和第二眼部图片,确定具有深度信息的眼部深度图的方式中的第二种情况为:基于3D结构光的原理,获取具有深度信息的第一眼部深度图和第二眼部深度图,基于双目相机的原理,获取具有深度信息的第三眼部深度图,融合三张深度图或融合第三眼部深度图以及第一眼部深度图和第二眼部深度图中分辨率较高的深度图,以形成一张具有更高分辨率的深度图,此方式同样能够增加虹膜中心坐标获取的准确性。
在本实施例中,头戴式虚拟现实设备还包括两个镜筒组件200,两个镜筒组件200分别与用户的两只眼睛相对应,且在头戴式虚拟现实设备使用时,两个镜筒组件200向用户展现虚拟景象;
头戴式虚拟现实设备还包括两个镜筒组件200,两个镜筒组件200分别与用户的两只眼睛相对应,且在头戴式虚拟现实设备使用时,两个镜筒组件200向用户展现虚拟景象。也就是说,其中一个镜筒组件200与用户的左眼相对应,以向用户的左眼展现虚拟镜像,另一个镜筒组件200与用户的右眼相对应,以向用户的右眼展现虚拟镜像。在本实施例中,一个镜筒组件200对应一个眼动识别组件100,在相对应的镜筒组件200和眼动识别组件100中,光源组件110和第一相机120均设置于镜筒组件200的下部,第二相机130设置于镜筒组件200的上部。
在本公开的一些实施例中,两个眼动识别组件100分别与用户的两只眼睛相对应,处理器根据两个眼动识别组件100反馈的信息,分别获取用户两只眼睛的虹膜的中心坐标;然后处理器根据用户两只眼睛的虹膜的中心坐标获取瞳孔间距。其中,两个眼动识别组件100反馈的信息为两个眼动识别组件100的第一相机120分别拍摄的对应的眼睛的第一眼部图片,两个眼动识别组件100的第二相机130分别拍摄的对应的眼睛的第二眼部图片。也就是说,本公开实施例提供的头戴式虚拟现实设备具有眼动识别功能,本公开实施例提供的头戴式虚拟现实设备通过分析用户的眼动情况,来获取用户的瞳孔间距,进而根据用户的瞳孔间距调节其自身的IPD值。
可选的,两个镜筒组件200分别为第一镜筒组件和第二镜筒组件,对应第一镜筒组件的眼动识别组件100为第一眼动识别组件,对应第二眼动识别组件的眼动识别组件100为第二眼动识别组件,第一眼动识别组件的第一相机120和光源组件110设置于第一镜筒组件的下部,第一眼动识别组件的第二相机130设置于第一镜筒组件的上部。第二眼动识别组件的第一相机120和光源组件110设置于第二镜筒组件的下部,第二眼动识别组件的第二相机130设置于第二镜筒组件的上部。第一眼动识别组件和第二眼动识别组件相对于第一平面镜像设置,第一相机120设置在下部,第二相机130设置在上部,两个相机拍摄的视角不同,利于眼动识别的精度,并且第一眼动识别组件和第二眼动识别组件相对于第一平面镜像设置,使得第一眼动识别组件的第一相机120拍摄第一眼部图片的角度与第二眼动识别组件的第一相机120拍摄第一眼部图片的角度相同,以及第一眼动识别组件的第二相机130拍摄第二眼部图片的角度与第二眼动识别组件的第二相机130拍摄第二眼部图片的角度相同,利于处理器分析结果的准确性,即能够使得眼动识别的精确度更高,测算的IPD值更精准。
如图3所示,镜筒组件200包括镜筒220以及沿镜筒220的轴向设置于镜筒220两侧的显示屏210和凸透镜230,其中,显示屏210设置于镜筒220背离用户眼睛的一侧,凸透镜230设置于镜筒220朝向用户眼睛的一侧。
请继续参照图3,头戴式虚拟现实设备还包括壳体400,两个镜筒组件200设置于壳体400内,壳体400的第一侧与镜筒组件200之间设置有容纳用户佩戴眼镜300的第一空间,壳体400的第一侧为头戴式虚拟现实设备佩戴于用户眼部时,壳体400朝向用户眼部的一侧。也就是说,本公开实施例提供的头戴式虚拟现实设备能够适配于带眼镜300的用户,提高佩戴眼镜300的用户的体验感。
值得说明的是,用户佩戴的眼镜300可以为近视眼镜300,也可以为远视眼镜300,还可以为老花镜。
可选的,第一相机120为眼部追踪(Eye-Tracking,简称为ET)相机,第二相机130为眼部追踪(Face-Tracking,简称为FT)相机。
如图2所示,为了避免用户佩戴的眼镜300的边缘遮挡第一相机120拍摄用户眼部图片的视角,在相对应的镜筒组件200和眼动识别组件100中,第一相机120位于第一空间沿第一方向的一端的下部,且设置在壳体400上,第一方向为两个镜筒组件200的中心连线的方向。也就是说,第一眼动识别组件的第一相机120位于第一空间沿第一方向的一端的下部,且设置在壳体400上。相应的,基于第一眼动识别组件和第二眼动识别组件相对于第一平面镜像设置,第二眼动识别组件的第一相机120位于第一空间沿第一方向的另一端的下部,且设置在壳体400上。即如图3所示,在头戴式虚拟现实设备佩戴于用户眼部时,在第一眼动识别组件与用户的右眼相对应,第一眼动识别组件的第一相机120位于用户眼镜300镜框310的右侧边缘的下部,且设置在壳体400上,此设置能够使得第一相机120拍摄用户右眼部照片时,用户佩戴的眼镜300的边缘不会遮挡第一相机120拍摄用户眼部图片的视角,提高了头戴式虚拟现实设备眼动识别的精确度。
值得说明的是,图2为第一相机120位于第一位置时的光线图,其中,第一位置为在头戴式虚拟现实设备佩戴于用户眼部时,用户眼镜300左镜片的左下部,且位于壳体400边缘的位置。
在本公开的实施例中,如图1所示,在相对应的镜筒组件200和眼动识别组件100中,第二相机130位于靠近另一个镜筒组件200的一侧,且设置在壳体400上。也就是说,第一眼动识别组件的第二相机130设置于第一镜筒组件的上部,且位于靠近第二镜筒组件的一侧。也就是说,在头戴式虚拟现实设备佩戴于用户眼部时,第一眼动识别组件的第二相机130和第二眼动识别组件的第二相机130分别位于用户鼻梁的两侧。
请继续参照图1,在相对应的镜筒组件200和眼动识别组件100中,光源组件110设置于镜筒组件200的中心轴的正下部,且设置在壳体400上。也就是说,第一眼动识别组件的光源组件110设置于第一镜筒组件的下部,且位于第一镜筒组件的中心轴的正下部。相应的,基于第一眼动识别组件和第二眼动识别组件相对于第一平面镜像设置,第二眼动识别组件的光源组件110设置于第二镜筒组件的下部,且位于第二镜筒组件的中心轴的正下部。此设置能够使得光源组件110能够在用户眼球上投射畸变小的结构光条纹,利于瞳孔间距测算精确度的提高。
在本公开的实施例中,示例性的,光源组件110包括垂直腔面发射激光器和衍射光学元件,衍射光学元件具有多条纵横垂直交错的线条,在头戴式虚拟现实设备佩戴于用户眼部时,垂直腔面发射激光器出射的光透过衍射光学元件的多条纵横垂直交错的线条出射到用户的眼部,并在用户的眼部形成具有多条纵横垂直交错的线条的投射区域。也就是说,衍射光学元件的出光面上设置有网格状的图案,垂直腔面发射激光器出射的光照射到衍射光学元件,经过衍射光学元件的多条纵横垂直交错的线条出射到用户的眼部,并在用户的眼部形成网格状的反射光斑。
为了使得设置于镜筒组件200上部的第二相机130能够拍摄到具有网格状的反射光斑的眼部图片,投射区域至少覆盖长宽均为28mm的正方形区域,长宽均为28mm的正方形区域能够覆盖用户的眼部,使得设置于镜筒组件200上部的第二相机130能够拍摄到具有网格状的反射光斑的眼部图片。
为了使得光源组件110和第一相机120配合能够获取较为精确的第一眼部深度图,以及为了使得光源组件110和第二相机130配合能够获取较为精确的第二眼部深度图,光源组件110出射的光照射到用户的眼球时的距离为25mm-27mm,衍射光学元件设置的纵向线条和横向线条均大于21条,相邻两条纵向线条和相邻两条横向线条的间距为3.5-5mm。
在本公开实施例中,示例性的,垂直腔面发射激光器为脉冲驱动,脉冲宽度为2微秒,脉冲占空比为0.06%,频率为30Hz。此设置能够降低垂直腔面发射激光器的功耗。
示例性的,为了使得第一相机120和第二相机130拍摄的眼部图片能够满足需求,不受安装误差和拍摄的图片的暗边的影响,第一相机120和第二相机130的视场角均为90°。此外,基于第一相机120和第二相机130设置的位置,第一相机120和第二相机130的景深为20mm-40mm,分辨率均大于400×400,解析力为在56lp/mm频率下,全视场调制传递函数值大于0.5。此设置能够使得第一相机120和第二相机130能够拍摄出较好的且满足需求的眼部图片,以及与光源组件110配合获取具有深度信息的深度图片。
示例性的,上述第一相机120和第二相机130可识别的最小线宽与景深之间的关系如表1所示:
表1第一相机和第二相机可识别的最小线宽与景深之间的关系表
工作距离(mm) 最小线宽(mm)
20 0.19
25 0.24
30 0.29
35 0.34
40 0.39
本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (12)

1.一种头戴式虚拟现实设备,其特征在于,包括眼动识别组件和处理器,所述眼动识别组件包括光源组件、第一相机和第二相机;
所述光源组件配置为在所述头戴式虚拟现实设备使用时,所述光源组件向用户的眼部投射多条条形的光线,至少部分所述条形的光线投射至所述用户的虹膜;
所述第一相机配置为在所述头戴式虚拟现实设备使用时,所述第一相机拍摄用户的第一眼部图片,所述第一眼部图片包括所述条形的光线在用户眼部形成的反射图案;
所述第二相机配置为在所述头戴式虚拟现实设备使用时,所述第二相机拍摄用户的第二眼部图片,所述第二眼部图片包括所述条形的光线在用户眼部形成的反射图案;
所述处理器分别与所述第一相机和所述第二相机信号连接,所述处理器配置为根据所述第一眼部图片和所述第二眼部图片,确定具有深度信息的眼部深度图;根据所述眼部深度图确定用户虹膜中心坐标。
2.根据权利要求1所述的头戴式虚拟现实设备,其特征在于,所述第二眼部图片和所述第一眼部图片具有重合区域,所述重合区域包括至少部分虹膜形成的图片;
根据所述第一眼部图片和所述第二眼部图片,确定具有深度信息的眼部深度图,包括:
根据所述第一眼部图片,确定具有深度信息的第一眼部深度图,和/或,根据所述第二眼部图片,确定具有深度信息的第二眼部深度图;
根据所述第一眼部图片和所述第二眼部图片,确定具有深度信息的第三眼部深度图;
融合所述第三眼部深度图,以及所述第一眼部深度图和/或所述第二眼部深度图,获取具有深度信息的眼部深度图。
3.根据权利要求2所述的头戴式虚拟现实设备,其特征在于,还包括两个镜筒组件,两个所述镜筒组件分别与用户的两只眼睛相对应,且在所述头戴式虚拟现实设备使用时,两个所述镜筒组件向用户展现虚拟景象;
一个所述镜筒组件对应一个所述眼动识别组件,在相对应的所述镜筒组件和所述眼动识别组件中,所述第一相机和所述光源组件设置于所述镜筒组件的下部,所述第二相机设置于所述镜筒组件的上部。
4.根据权利要求3所述的头戴式虚拟现实设备,其特征在于,还包括壳体,两个所述镜筒组件设置于所述壳体内,所述壳体的第一侧与所述镜筒组件之间设置有用于容纳用户佩戴眼镜的第一空间,所述壳体的第一侧为所述头戴式虚拟现实设备佩戴于用户眼部时,所述壳体朝向用户眼部的一侧;
在相对应的所述镜筒组件和所述眼动识别组件中,所述第一相机位于所述第一空间沿第一方向的一端的下部,且设置在所述壳体上,所述第一方向为两个所述镜筒组件的中心连线的方向。
5.根据权利要求4所述的头戴式虚拟现实设备,其特征在于,在相对应的所述镜筒组件和所述眼动识别组件中,所述第二相机位于靠近另一个所述镜筒组件的一侧,且设置在所述壳体上。
6.根据权利要求4所述的头戴式虚拟现实设备,其特征在于,在相对应的所述镜筒组件和所述眼动识别组件中,所述光源组件设置于所述镜筒组件的中心轴的正下部,且设置在所述壳体上。
7.根据权利要求3所述的头戴式虚拟现实设备,其特征在于,两个眼动识别组件分别与用户的两只眼睛相对应;
所述处理器根据两个所述眼动识别组件反馈的信息,分别获取用户两只眼睛的虹膜的中心坐标;
所述处理器根据用户两只眼睛的虹膜的中心坐标获取瞳孔间距。
8.根据权利要求1-7任一项所述的头戴式虚拟现实设备,其特征在于,所述光源组件包括垂直腔面发射激光器和衍射光学元件,所述衍射光学元件具有多条纵横垂直交错的线条,在所述头戴式虚拟现实设备佩戴于用户眼部时,所述垂直腔面发射激光器出射的光透过所述衍射光学元件的多条纵横垂直交错的线条出射到用户的眼部,并在用户的眼部形成具有多条纵横垂直交错的线条的投射区域。
9.根据权利要求8所述的头戴式虚拟现实设备,其特征在于,所述投射区域至少覆盖长宽均为28mm的正方形区域。
10.根据权利要求8所述的头戴式虚拟现实设备,其特征在于,所述光源组件出射的光照射到用户的眼球时的距离为25mm-27mm;
所述衍射光学元件设置的纵向线条和横向线条均大于21条,相邻两条纵向线条和相邻两条横向线条的间距为3.5-5mm。
11.根据权利要求8所述的头戴式虚拟现实设备,其特征在于,所述垂直腔面发射激光器为脉冲驱动,脉冲宽度为2微秒,脉冲占空比为0.06%,频率为30Hz。
12.根据权利要求1-7任一项所述的头戴式虚拟现实设备,其特征在于,所述第一相机和所述第二相机的视场角均为90°,景深为20mm-40mm,分辨率均大于400×400,解析力为在56lp/mm频率下,全视场调制传递函数值大于0.5。
CN202211091847.6A 2022-09-07 2022-09-07 头戴式虚拟现实设备 Pending CN117666136A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211091847.6A CN117666136A (zh) 2022-09-07 2022-09-07 头戴式虚拟现实设备
PCT/CN2023/113818 WO2024051476A1 (zh) 2022-09-07 2023-08-18 头戴式虚拟现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211091847.6A CN117666136A (zh) 2022-09-07 2022-09-07 头戴式虚拟现实设备

Publications (1)

Publication Number Publication Date
CN117666136A true CN117666136A (zh) 2024-03-08

Family

ID=90083353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211091847.6A Pending CN117666136A (zh) 2022-09-07 2022-09-07 头戴式虚拟现实设备

Country Status (2)

Country Link
CN (1) CN117666136A (zh)
WO (1) WO2024051476A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475109B (zh) * 2015-12-28 2022-02-01 光程研创股份有限公司 眼睛姿态跟踪
CN107424187B (zh) * 2017-04-17 2023-10-24 奥比中光科技集团股份有限公司 深度计算处理器、数据处理方法以及3d图像设备
US10620454B2 (en) * 2017-12-22 2020-04-14 Optikam Tech, Inc. System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
CN108540717A (zh) * 2018-03-31 2018-09-14 深圳奥比中光科技有限公司 目标图像获取系统与方法
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2024051476A1 (zh) 2024-03-14

Similar Documents

Publication Publication Date Title
US11867978B2 (en) Method and device for determining parameters for spectacle fitting
US10242504B2 (en) Head-mounted display device and computer program
US10048750B2 (en) Content projection system and content projection method
CN106797423B (zh) 视线检测装置
US9092671B2 (en) Visual line detection device and visual line detection method
US9916005B2 (en) Gaze tracking with projector
US9961335B2 (en) Pickup of objects in three-dimensional display
IL275615B (en) Augmented reality representatives with active alignment and matching methods
WO2016115873A1 (zh) 双目ar头戴显示设备及其信息显示方法
KR102471370B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN110914786A (zh) 用于在外部场景与虚拟图像之间配准的方法和系统
CN108354585B (zh) 用于检测角膜顶点的用计算机实现的方法
WO2022017447A1 (zh) 图像显示控制方法、图像显示控制装置及头戴式显示设备
US8315439B2 (en) Vision correction aid system
CN105809654A (zh) 目标对象跟踪方法、装置和立体显示设备及方法
US11675429B2 (en) Calibration, customization, and improved user experience for bionic lenses
CN114503011A (zh) 跟踪眼睛瞳孔的运动的紧凑视网膜扫描装置及其应用
CN113534490A (zh) 基于用户眼球追踪的立体显示装置及立体显示方法
KR20200035003A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN212460199U (zh) 头戴式显示设备
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
CN108664118B (zh) 眼球追踪方法和装置、隐形眼镜、虚拟现实系统
CN111868605B (zh) 针对具体使用者校准能够佩戴在使用者的头部上的显示装置以用于增强显示的方法
CN117666136A (zh) 头戴式虚拟现实设备
CN213091888U (zh) 深度测量系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination