CN107991775B - 能够进行人眼追踪的头戴式可视设备及人眼追踪方法 - Google Patents

能够进行人眼追踪的头戴式可视设备及人眼追踪方法 Download PDF

Info

Publication number
CN107991775B
CN107991775B CN201610947348.0A CN201610947348A CN107991775B CN 107991775 B CN107991775 B CN 107991775B CN 201610947348 A CN201610947348 A CN 201610947348A CN 107991775 B CN107991775 B CN 107991775B
Authority
CN
China
Prior art keywords
eye
head
image information
eyeball
mounted visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610947348.0A
Other languages
English (en)
Other versions
CN107991775A (zh
Inventor
李荣茂
臧珊珊
刘燕君
陈昳丽
朱艳春
陈鸣闽
谢耀钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201610947348.0A priority Critical patent/CN107991775B/zh
Publication of CN107991775A publication Critical patent/CN107991775A/zh
Application granted granted Critical
Publication of CN107991775B publication Critical patent/CN107991775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了一种能够进行人眼追踪的头戴式可视设备及人眼追踪方法,其中,头戴式可视设备包括:虚拟现实头盔(10),用于容纳头戴式可视设备;光源(20),设置于所述虚拟现实头盔(10)内,用于照射人眼眼球;微型摄像机(30),设置于所述虚拟现实头盔(10)内,用于采集人眼的眼球图像信息,以便服务器根据所述眼球图像信息确定人眼瞳孔的方位信息。本发明提供的头戴式可视设备可以实时确定用户的观看方位,不增加头戴式可视设备的重量。

Description

能够进行人眼追踪的头戴式可视设备及人眼追踪方法
技术领域
本发明涉及计算机技术领域,尤其涉及一种头戴式可视设备,具体来说就是一种能够进行人眼追踪的头戴式可视设备及人眼追踪方法。
背景技术
近年来,头戴式可视设备的大量涌现,例如,联想眼镜、谷歌眼镜、虚拟现实(VR)游戏眼镜等,虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)及混合现实(Mixed Reality,MR)技术逐渐进入我们的日常生活中。头戴式显示器(HMD,也称为头戴式可视设备)是把二维图像直接反射到观看者的眼睛里,具体就是通过一组光学系统(主要是精密光学透镜)放大超微显示屏上的图像,将影像投射于视网膜上,进而将大屏幕图像呈现在观看者眼中,形象点说就是拿放大镜看物体呈现出放大的虚拟物体图像。图像可以直接通过发光二极管(LED)、主动式矩阵液晶显示器(AMLCD)、有机发光二极管(OLED)或液晶附硅(LCOS)获得,也可以通过光纤等传导方式间接获得。显示系统通过准直透镜成像在无穷远处,然后通过反射面把图像反射进人的眼睛里。头戴式可视设备由于其具有便携性、娱乐性等特点,正在悄然改变人们的现代生活。
然而,现有头戴式可视设备无法与用户进行主动交互,即佩戴用户主动去操作头戴式可视设备,而头戴式可视设备无法主动去感知用户的关注点及用户的心情,因此,人们想到利用眼动追踪技术去主动感知用户的关注点及用户的心情。但是,如何在头戴式可视设备中使用眼动追踪技术实现对人眼信息实时跟踪获取人眼在空间中的凝视点这一方面,目前还没有很好的解决方案;在头戴式可视设备的设计方面,头戴式可视设备的重量被看作是不可忽略的因素,虽然现有眼动追踪仪已经有比较成熟的产品,但在头戴式可视设备中直接嵌入眼动追踪仪无疑会增加虚拟现实头盔的重量,降低客户体验。
因此,如何在不增加头戴式可视设备重量的基础上,让头戴式可视设备具有眼动追踪功能是本领域技术人员长期亟需解决的问题。
发明内容
有鉴于此,本发明要解决的技术问题在于提供一种能够进行人眼追踪的头戴式可视设备及人眼追踪方法,解决了现有头戴式可视设备无法追踪人眼观看方位的问题。
为了解决上述技术问题,本发明的具体实施方式提供一种能够进行人眼追踪的头戴式可视设备,包括:虚拟现实头盔,用于容纳头戴式可视设备;光源,设置于所述虚拟现实头盔内,用于照射人眼眼球;微型摄像机,设置于所述虚拟现实头盔上,用于采集人眼的眼球图像信息,以便服务器根据所述眼球图像信息确定人眼瞳孔的方位信息。
本发明的具体实施方式还提供一种用于头戴式可视设备的人眼追踪方法,包括:利用LED光源照射人眼眼球;利用微型摄像机采集人眼的眼球图像信息;利用空间映射关系根据所述眼球图像信息确定人眼瞳孔的方位信息。
根据本发明的上述具体实施方式可知,能够进行人眼追踪的头戴式可视设备及人眼追踪方法至少具有以下有益效果:通过在头戴式可视设备中嵌入微型摄像机及LED光源,并在虚拟场景中设置多个参考点,利用三维矩阵构建微型摄像机、参考点以及人眼眼球之间的空间映射关系;再利用微型摄像机拍摄眼球图像信息,根据空间映射关系对获取的眼球图像信息进行分析,可实时获取瞳孔聚焦区域,从而确定用户的观看方位,不增加头戴式可视设备的重量,而且不会泄露用户周围的环境信息,提高用户体验度。
应了解的是,上述一般描述及以下具体实施方式仅为示例性及阐释性的,其并不能限制本发明所欲主张的范围。
附图说明
下面的所附附图是本发明的说明书的一部分,其绘示了本发明的示例实施例,所附附图与说明书的描述一起用来说明本发明的原理。
图1A为本发明具体实施方式提供的一种能够进行人眼追踪的头戴式可视设备的主体结构示意图;
图1B为本发明具体实施方式提供的一种能够进行人眼追踪的头戴式可视设备的后视结构示意图;
图2为本发明具体实施方式提供的一种用于头戴式可视设备的人眼追踪方法的实施例一的流程图;
图3为本发明具体实施方式提供的一种用于头戴式可视设备的人眼追踪方法的实施例二的流程图;
图4为本发明具体实施方式提供的微型摄像机、参考点以及人眼眼球之间的空间位置关系三维坐标示意图;
图5为本发明具体实施方式提供的坐标转换关系图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面将以附图及详细叙述清楚说明本发明所揭示内容的精神,任何所属技术领域技术人员在了解本发明内容的实施例后,当可由本发明内容所教示的技术,加以改变及修饰,其并不脱离本发明内容的精神与范围。
本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。另外,在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
关于本文中所使用的“第一”、“第二”、…等,并非特别指称次序或顺位的意思,也非用以限定本发明,其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的方位用语,例如:上、下、左、右、前或后等,仅是参考附图的方位。因此,使用的方位用语是用来说明并非用来限制本创作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等,均为开放性的用语,即意指包含但不限于。
关于本文中所使用的“及/或”,包括所述事物的任一或全部组合。
图1A为本发明具体实施方式提供的一种能够进行人眼追踪的头戴式可视设备的主体结构示意图;图1B为本发明具体实施方式提供的一种能够进行人眼追踪的头戴式可视设备的后视结构示意图;如图1A、图1B所示,在虚拟现实头盔镜片两侧分别设置光源和微型摄像机,一个光源和一个微型摄像机对应于用户的一只眼睛,另外一个光源和另外一个微型摄像机对应于用户的另一只眼睛,光源用于照射人眼眼球,微型摄像机用于采集人眼的眼球图像信息,以便服务器根据所述眼球图像信息确定人眼瞳孔的方位信息。
该附图所示的具体实施方式中,该头戴式可视设备包括虚拟现实头盔10、光源20和微型摄像机30,其中,虚拟现实头盔10用于容纳头戴式可视设备;光源20设置于所述虚拟现实头盔10内,光源20用于照射人眼眼球;微型摄像机30设置于所述虚拟现实头盔10内,微型摄像机30用于采集人眼的眼球图像信息,以便服务器根据所述眼球图像信息确定人眼瞳孔的方位信息,其中,微型摄像机30可以为微型摄像机、微型照相机等,光源20可以为微型LED光源,微型摄像机30采集人眼的眼球图像信息时,光源20瞬间开启并关闭;微型摄像机30通过微型摄像机的HDMI数据线与服务器连接。人眼瞳孔的方位信息具体指:以人眼水平观看正前方的直线为参考线,然后将观看目标点与人眼瞳孔进行连线,该连线与参考线之间的角度、位置关系信息就是人眼瞳孔的方位信息。
进一步地,所述服务器具体根据微型摄像机30、参考点以及人眼眼球之间的空间位置关系计算出人眼瞳孔的方位信息。参考点的个数至少为4个。
另外,如图1B所示,所述光源20具体包括第一LED光源201和第二LED光源202。第一LED光源201设置于所述虚拟现实头盔10的左侧镜片边缘处;第二LED光源202设置于所述虚拟现实头盔10的右侧镜片边缘处;第一LED光源201用于照射左眼眼球;第二LED光源202用于照射右眼眼球。
所述微型摄像机30具体包括第一微型摄像机301和第二微型摄像机302。第一微型摄像机301设置于所述虚拟现实头盔10的左侧镜片边缘处;第二微型摄像机302设置于所述虚拟现实头盔10的右侧镜片边缘处;第一微型摄像机301用于拍摄左眼的眼球图像信息;第二微型摄像机302用于拍摄右眼的眼球图像信息。
本发明的具体实施例中,所述服务器具体根据左眼的眼球图像信息获得左眼注视方位的左眼光轴矢量,并根据右眼的眼球图像信息获得右眼注视方位的右眼光轴矢量,再根据左眼光轴矢量和右眼光轴矢量的相交处确定人眼瞳孔的方位信息。
参见图1A、图1B,在虚拟现实头盔中设置微型摄像机和光源,并在虚拟场景中设置多个参考点,利用三维矩阵构建微型摄像机、参考点以及人眼眼球之间的空间映射关系;再利用微型摄像机采集眼球图像信息,根据空间映射关系对获取的眼球图像信息进行分析,可实时获取瞳孔聚焦区域,从而确定用户的观看方位,不增加头戴式可视设备的重量,而且不会泄露用户周围的环境信息。
本发明的具体实施例中,在虚拟现实头盔10中,电源集成到USB接口(图中未绘示)中,来给虚拟现实头盔中光源20、微型摄像机30等电子元器件供电;另外,头戴式可视设备通过HDMI数据线与服务器连接,服务器通过HDMI数据线控制光源20开关及微型摄像机30采集眼球图像信息,微型摄像机30采集的眼球图像信息的处理均由服务器完成。在本发明的其它实施例中,也可以在在虚拟现实头盔10中设置一个处理器来完成上述服务器的处理及控制工作。
图2为本发明具体实施方式提供的一种用于头戴式可视设备的人眼追踪方法的实施例一的流程图,如图2所示,LED光源开启瞬间,微型摄像机采集人眼的眼球图像信息,通过分析采集的眼球图像信息确定人眼瞳孔的方位信息。
该附图所示的具体实施方式包括:
步骤101:利用LED光源照射人眼眼球。LED光源类似照相机的闪光灯,开启后立刻关闭,不会影响用户正常视觉体验。
步骤102:利用微型摄像机采集人眼的眼球图像信息。微型摄像机在LED光源开启瞬间采集人眼的眼球图像信息;微型摄像机可以为微型摄像机、微型照相机等。
步骤103:利用空间映射关系根据所述眼球图像信息确定人眼瞳孔的方位信息。本发明的具体实施例中,具步骤103体包括:采集左眼的眼球图像信息和右眼的眼球图像信息;根据左眼的眼球图像信息获得左眼注视方位的左眼光轴矢量,并根据右眼的眼球图像信息获得右眼注视方位的右眼光轴矢量;根据所述左眼光轴矢量和所述右眼光轴矢量确定人眼瞳孔的方位信息。
参见图2,利用微型摄像机(还可以利用微型照相机等传感器)采集人眼的眼球图像信息,根据空间映射关系对获取的眼球图像信息进行分析,可实时获取瞳孔聚焦区域,从而确定用户的观看方位,不增加头戴式可视设备的重量,而且不会泄露用户周围的环境信息,提高用户体验度。
图3为本发明具体实施方式提供的一种用于头戴式可视设备的人眼追踪方法的实施例二的流程图,如图3所示,在对用户进行人眼追踪之前,需要利用三维矩阵构建微型摄像机、参考点以及人眼眼球之间的空间映射关系。
该附图所示的具体实施方式中,步骤101之前,该方法还包括:
步骤100:利用三维矩阵构建微型摄像机、参考点以及人眼眼球之间的空间映射关系。
参见图3,以不同的函数形式、三维矩阵形式来拟合人眼眼球所在的坐标系、参考点所在的坐标系之间一一对应的映射关系,以及微型摄像机与人眼眼球之间的位置关系,最终构建微型摄像机、参考点以及人眼眼球之间的空间映射关系,利用空间映射关系结合采集的眼球图像信息可以实时计算出使用者在虚拟空间中的视觉凝视点。
图4为本发明具体实施方式提供的微型摄像机、参考点以及人眼眼球之间的空间位置关系三维坐标示意图,如图4所示,本发明提供一种应用于虚拟现实头盔的瞳孔聚焦区域追踪方案,主要通过在头戴式可视设备(例如,虚拟现实头盔)镜片两侧安装微型摄像机(例如,微型摄像机),并在微型摄像机镜头边缘安装LED光源,借助虚拟现实头盔的工作特性在虚拟场景中设置4个参考点,人眼眼球在注视参考点时,开启LED光源,微型摄像机捕捉并记录眼球及瞳孔的实时图像信息,然后再结合微型摄像机、参考点以及人眼眼球所在坐标系的空间位置关系,以不同的函数形式、矩阵形式来拟合眼图参考系与参考点所在的参考系之间的一一对应映射关系,得出瞳孔位置及其方位信息,进而可计算出空间中任一视觉凝视点的位置坐标,该系统空间位置关系如图4所示,图中E1和E2为左右眼球所在空间直角坐标系原点;S1和S2为微型摄像机所在空间直角坐标系原点;O为目标注视点所在的空间直角坐标系原点;X1和X2为虚拟现实中设置的参考点,X1和X2位于两眼球所在线段的中垂线上;X3为虚拟现实场景中的目标注视点;H1、H2和Ct为摄像机与人眼的垂直距离;L为两眼球之间的距离;Cs为两个微型摄像机之间的距离;参考点X1和X2之间的距离,与参考点X1与S0之间的距离相等,均为ΔX;∠E1X1E2的角度为2θ。
基于图4所示的不同坐标系(人眼眼球坐标系E、摄像机所在坐标系S、参考点所在坐标系O)之间的转换关系及空间位置关系,计算得出瞳孔的空间位置及方位信息,即可得到瞳孔注视某一点的矢量坐标。其中瞳孔的空间位置可表示为
Figure BDA0001141577000000061
瞳孔在空间运动包含有X轴、Y轴、Z轴三个维度的位置信息,故本应有三个未知参数,但由于瞳孔在眼球固定平面上进行运动,所以在人眼眼球所在的固定平面上,
Figure BDA0001141577000000062
只包含有瞳孔平面运动所在二维空间的两个未知参数μ00,而另一参数
Figure BDA0001141577000000063
则直接与μ00相关。另外,瞳孔的注视方位即瞳孔在其所在空间三个维度上的旋转角,记为R,整合瞳孔的空间位置及方位数据,可得出瞳孔注视某一点时的矢量坐标信息[R,t],其中R是一个3×3的旋转矩阵,代表瞳孔的注视方位,t是一个3×1的向量,代表瞳孔的空间位置信息。由于旋转角R也是在眼球固定平面上,所以共有两个旋转角为未知参数,一个是绕X轴的旋转角,一个是绕Z轴的旋转角,两个旋转角确定了R的值。
(1)绕X轴旋转:y'=ycost-zsint
z'=ysint+zcost
x'=x
其中,
Figure BDA0001141577000000071
(2)绕Z轴旋转:x'=xcost-ysint
y'=xsint+ycost
z'=z
其中,
Figure BDA0001141577000000072
(3)由(1)、(2)可以确定R的值:
Figure BDA0001141577000000073
通过参考点的标定,获取该系统中的未知参数,然后实时计算出各瞳孔在注视任一点的方位及位置坐标信息[R,t],即:
Figure BDA0001141577000000074
1.坐标系的转换:
参考点X1、X2所在坐标系记为平面坐标系O,眼球所在坐标系记为眼三维坐标系E,摄像机所在的坐标系记为S,摄像机拍摄眼球运动的二维图像所在的坐标系记为B,根据虚拟现实眼动追踪系统中摄像机、参考点以及眼球所在坐标系的关系,可得如图5所示的坐标转换关系图。
在等式TO←E=TO←S·TS←B·TB←E中,TO←E代表从眼坐标系E到参考点所在坐标系O的转换关系,通过参考点标定可获取,另TO←S摄像机所在坐标系S相对于参考点所在坐标系O,以及TS←B摄像机所拍摄的二维图像所在坐标系B相对于摄像机所在坐标系S,都可通过标定获取。
TB←E:根据参考点计算出TB←E中的两个未知参数(x,y),即当前眼坐标系E与二维图像所在坐标系B之间的变换关系。眼球相对于眼眶是有两个未知的量,在眼眶及眼球形状限制下,眼球只能在X、Y轴进行运动,通过参考点的标定可求得TB←E中的两个未知量,获取TB←E的转换关系。
通过参考点的标定,同时根据坐标系转换关系,可计算得出坐标系的未知参数。
2.基于三维矩阵的映射关系:
首先确定三维空间中的点M=[X Y Z]T与二维空间中的点的图像坐标m=[x y]T之间的映射关系如下:
Figure BDA0001141577000000081
其中,R是一个3×3的旋转矩阵,t是一个3×1的向量,C是内部矩阵。瞳孔的4个外部参数确定了瞳孔相对于场景的位置和方位,其中包括两个旋转角,这两个旋转角可以唯一的确定R,另外两个参数即构成t。C中四个内部参数,起始点(x0,y0)代表光轴和参考点的交点处的像素坐标,fx和fy分别代表水平方位和垂直方位上焦点的长度。
(3)根据上述方法,即可将摄像机拍摄的眼球二维图像转换成眼睛注视方位的光轴矢量坐标,两个眼睛所获取的光轴矢量相交处即是目标注视区域,在这里主要有以下三种情况:
第一种:光轴相交。得到的两个眼睛的光轴矢量成功相交,得到目标注视点
第二种:光柱相交。根据每个使用者的眼球特征,形成以光轴矢量Fo为中心,r(根据使用者眼部特征可得)为半径的光柱,左右眼光柱相交处即为目标注视区域。
第三种:光锥相交。实际的视线几何范围是以视网膜为光锥顶点,以视线为光锥中轴线,成一定角度的光锥,即视野为所视焦平面上的一片区域。而区域的交叉区域即为视焦区域,视焦区域的几何中心为即为焦点。对于近视场光源,前两种方法可得到足够的近似精度。
通过在虚拟现实头盔安装摄像机和LED光源,在虚拟场景中设置参考点的方式拾取瞳孔在聚焦不同目标点的眼球图像数据,通过系统的空间位置关系、不同坐标系之间的转换及图像数据,计算出使用者瞳孔实时位置及聚焦方位,即可实时计算出使用者在虚拟空间中的视觉凝视点。
本发明方案主要包含以下几点的内容:虚拟现实头盔边缘摄像机及LED光源的设置;虚拟现实场景中参考点的设置;拍照记录瞳孔运动图像;根据图像信息分割眼白与瞳孔得出瞳孔与眼球的位置关系;根据获取的数据计算瞳孔的实时位置及聚焦方位。
硬件方面:在虚拟现实头盔的镜片边缘位置各设置一个微型摄像机用来捕捉使用者眼球的变化情况。同时在微型摄像机上再各设置一个LED光源用来发射光,帮助摄像机进行数据采集,微型摄像机位置关系如图4所示。
设置参考点:在使用者使用虚拟现实头盔之前,在默认虚拟场景中由近至远设置4个目标点作为参考点,设置参考点是为了获取眼睛聚焦参考点时的数据信息,使用者瞳孔聚焦一个参考点时,摄像机就会捕捉到此时使用者的眼球图像信息,通过对图像信息的解析获得一组数据,不同参考点也就能获得不同数据。
摄像机拍照记录眼球运动图像:在使用者眼睛注视每个参考点的时候,开启LED灯,摄像机拍摄一组图像记录瞳孔运动信息,获得图像数据。
解析图像信息获取瞳孔与眼球空间位置关系:将摄像机拍摄的不同组图像信息传至服务器端,通过图像解析分割眼白与瞳孔。
根据系统中各部分的空间位置关系、不同坐标系之间的关系,借助相关参考点的设置,以不同的函数形式、矩阵形式来拟合眼图参考系与参考点所在参考系之间一一对应的映射关系,得出瞳孔位置及其方位信息,进而实时计算出使用者在虚拟空间中的视觉凝视点。
本发明至少还具有以下有效效果或特点:
本发明应用环境为虚拟现实浸入式头盔内部的眼动追踪技术,近场眼球视线的几何近视,应用环境为除眼部空间外没有其他内容追踪的环境,该环境为保护用户的个人信息可控的(而不泄露用户周围环境)交互,方便使用;由于采用几何视线近视模型,而并未计算用户的晶状体、瞳孔、角膜、玻璃体等视觉光路重建参数模型,数据计算量小,实现简单。
上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如,本发明的实施例也可为在数据信号处理器(Digital Signal Processor,DSP)中执行上述方法的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务,其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为不同的目标平台编译软件代码。然而,根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
以上所述仅为本发明示意性的具体实施方式,在不脱离本发明的构思和原则的前提下,任何本领域的技术人员所做出的等同变化与修改,均应属于本发明保护的范围。

Claims (9)

1.一种能够进行人眼追踪的头戴式可视设备,其特征在于,该头戴式可视设备包括:
虚拟现实头盔(10),用于容纳头戴式可视设备;
光源(20),设置于所述虚拟现实头盔(10)内,用于照射人眼眼球;以及
微型摄像机(30),设置于所述虚拟现实头盔(10)内,用于采集人眼的眼球图像信息,以便服务器根据所述眼球图像信息确定人眼瞳孔的方位信息;
其中,在虚拟场景中,设置多个参考点,获取使用者眼睛注视每个参考点的瞳孔运动的图像信息,所述服务器根据微型摄像机(30)、所述多个参考点以及人眼眼球之间的空间位置关系计算出人眼瞳孔在空间三个维度上的方位信息。
2.如权利要求1所述的能够进行人眼追踪的头戴式可视设备,其特征在于,所述参考点的个数为4个。
3.如权利要求1所述的能够进行人眼追踪的头戴式可视设备,其特征在于,所述光源(20)具体包括:
第一LED光源(201),设置于所述虚拟现实头盔(10)的左侧镜片边缘处,用于照射左眼眼球;以及
第二LED光源(202),设置于所述虚拟现实头盔(10)的右侧镜片边缘处,用于照射右眼眼球。
4.如权利要求1所述的能够进行人眼追踪的头戴式可视设备,其特征在于,所述微型摄像机(30)具体包括:
第一微型摄像机(301),设置于所述虚拟现实头盔(10)的左侧镜片边缘处,用于拍摄左眼的眼球图像信息;以及
第二微型摄像机(302),设置于所述虚拟现实头盔(10)的右侧镜片边缘处,用于拍摄右眼的眼球图像信息。
5.如权利要求4所述的能够进行人眼追踪的头戴式可视设备,其特征在于,所述服务器具体根据左眼的眼球图像信息获得左眼注视方位的左眼光轴矢量,并根据右眼的眼球图像信息获得右眼注视方位的右眼光轴矢量,再根据左眼光轴矢量和右眼光轴矢量的相交处确定人眼瞳孔的方位信息。
6.如权利要求1所述的能够进行人眼追踪的头戴式可视设备,其特征在于,所述微型摄像机(30)采集人眼的眼球图像信息时,所述光源(20)瞬间开启并关闭。
7.一种用于头戴式可视设备的人眼追踪方法,其特征在于,该方法包括:
利用LED光源照射人眼眼球;
利用微型摄像机采集人眼的眼球图像信息;以及
利用空间映射关系根据所述眼球注视多个参考点的图像信息确定人眼瞳孔在空间三个维度上的方位信息。
8.如权利要求7所述的用于头戴式可视设备的人眼追踪方法,其特征在于,利用LED光源照射人眼眼球的步骤之前,该方法还包括:
利用三维矩阵构建微型摄像机、参考点以及人眼眼球之间的空间映射关系。
9.如权利要求7所述的用于头戴式可视设备的人眼追踪方法,其特征在于,根据所述眼球图像信息确定人眼瞳孔的方位信息的步骤,具体包括:
采集左眼的眼球图像信息和右眼的眼球图像信息;
根据左眼的眼球图像信息获得左眼注视方位的左眼光轴矢量,并根据右眼的眼球图像信息获得右眼注视方位的右眼光轴矢量;以及
根据所述左眼光轴矢量和所述右眼光轴矢量确定人眼瞳孔的方位信息。
CN201610947348.0A 2016-10-26 2016-10-26 能够进行人眼追踪的头戴式可视设备及人眼追踪方法 Active CN107991775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610947348.0A CN107991775B (zh) 2016-10-26 2016-10-26 能够进行人眼追踪的头戴式可视设备及人眼追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610947348.0A CN107991775B (zh) 2016-10-26 2016-10-26 能够进行人眼追踪的头戴式可视设备及人眼追踪方法

Publications (2)

Publication Number Publication Date
CN107991775A CN107991775A (zh) 2018-05-04
CN107991775B true CN107991775B (zh) 2020-06-05

Family

ID=62029017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610947348.0A Active CN107991775B (zh) 2016-10-26 2016-10-26 能够进行人眼追踪的头戴式可视设备及人眼追踪方法

Country Status (1)

Country Link
CN (1) CN107991775B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11054638B2 (en) * 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device
CN109522789A (zh) * 2018-09-30 2019-03-26 北京七鑫易维信息技术有限公司 应用于终端设备的眼球追踪方法、装置以及系统
TWI725351B (zh) * 2018-11-02 2021-04-21 宏正自動科技股份有限公司 電子裝置及輸出畫面決定方法
TWI674518B (zh) * 2018-11-28 2019-10-11 國立臺灣大學 眼球追蹤的校正方法和其裝置
CN110275304A (zh) * 2019-06-17 2019-09-24 上海宇极文化传播有限公司 一种xr头显及调整xr头显中播放图像的视场的方法
CN112381735B (zh) * 2020-11-16 2022-04-05 吉林大学 一种头戴式眼动仪aoi边界点像素坐标系同一化方法
CN112926521B (zh) * 2021-03-30 2023-01-24 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN105138965A (zh) * 2015-07-31 2015-12-09 东南大学 一种近眼式视线跟踪方法及其系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005253778A (ja) * 2004-03-12 2005-09-22 Gen Tec:Kk 視線検出方法及び同装置
CN202533867U (zh) * 2012-04-17 2012-11-14 北京七鑫易维信息技术有限公司 一种头戴式眼控显示终端
US9380287B2 (en) * 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
CN103793045B (zh) * 2012-10-31 2016-12-28 原相科技股份有限公司 瞳孔追踪装置
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
CN104090659B (zh) * 2014-07-08 2017-04-05 重庆金瓯科技发展有限责任公司 基于人眼图像和视线追踪的操作指针指示控制设备
US9791924B2 (en) * 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
CN105929963B (zh) * 2016-05-11 2019-04-30 北京蚁视科技有限公司 一种用于追踪眼球位置的方法及检测装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN105138965A (zh) * 2015-07-31 2015-12-09 东南大学 一种近眼式视线跟踪方法及其系统

Also Published As

Publication number Publication date
CN107991775A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN107991775B (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
WO2018076202A1 (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
KR102062658B1 (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US10032074B2 (en) Systems and methods for high-resolution gaze tracking
CA2820950C (en) Optimized focal area for augmented reality displays
RU2623708C2 (ru) Компактный наголовный дисплей с отслеживанием движения глаз
CN112805659A (zh) 通过用户分类为多深度平面显示系统选择深度平面
US20160131902A1 (en) System for automatic eye tracking calibration of head mounted display device
CN109643152B (zh) 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
Bohme et al. Remote eye tracking: State of the art and directions for future development
US10819898B1 (en) Imaging device with field-of-view shift control
US11868525B2 (en) Eye center of rotation determination with one or more eye tracking cameras
US10109067B2 (en) Corneal sphere tracking for generating an eye model
CN115053270A (zh) 用于基于用户身份来操作头戴式显示系统的系统和方法
US20210181840A1 (en) Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
WO2022015847A1 (en) Eye tracking using aspheric cornea model
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
US11998275B2 (en) Eye tracking using aspheric cornea model
US20240094809A1 (en) Eye tracking system with in- plane illumination
US20240069347A1 (en) System and method using eye tracking illumination
US20230300470A1 (en) Techniques for producing glints and iris illumination for eye tracking
WO2023195995A1 (en) Systems and methods for performing a motor skills neurological test using augmented or virtual reality
CN117724240A (zh) 具有面内照明的眼睛追踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant