CN110208947A - 基于人眼追踪的显示设备及显示方法 - Google Patents

基于人眼追踪的显示设备及显示方法 Download PDF

Info

Publication number
CN110208947A
CN110208947A CN201910479423.9A CN201910479423A CN110208947A CN 110208947 A CN110208947 A CN 110208947A CN 201910479423 A CN201910479423 A CN 201910479423A CN 110208947 A CN110208947 A CN 110208947A
Authority
CN
China
Prior art keywords
human eye
angle
image
display
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910479423.9A
Other languages
English (en)
Other versions
CN110208947B (zh
Inventor
季振强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201910479423.9A priority Critical patent/CN110208947B/zh
Publication of CN110208947A publication Critical patent/CN110208947A/zh
Application granted granted Critical
Publication of CN110208947B publication Critical patent/CN110208947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开一种基于人眼追踪的显示设备及显示方法,所述基于人眼追踪的显示设备,包括:镜筒、显示屏幕、镜片组和处理单元,镜筒具有贯通腔体;显示屏幕沿所述贯通腔体的贯通方向设置于所述镜筒一端;镜片组沿所述贯通腔体的贯通方向设置于所述镜筒另一端,镜片组用于人眼观察所述显示屏幕,所述镜片组包括用于拍摄人眼瞳孔的拍摄件;所述拍摄件与所述处理单元电性连接,所述处理单元用于接收所述拍摄件拍摄得到的显示图像,且分析所述显示图像得到人眼的移动角度,并依据移动角度调整所述显示图像的分辨率。本发明技术方案能够在人们穿戴虚拟产品时,有效避免视觉疲劳和眩晕的问题。

Description

基于人眼追踪的显示设备及显示方法
技术领域
本发明涉及成像显示技术领域,特别涉及一种基于人眼追踪的显示设备及显示方法。
背景技术
在现实世界当中,当人们注视某个物体时,被注视物体会变得清晰,而周围的物体会变得模糊,从而获得空间感和一定景深的视场。然而在人们穿戴一些虚拟产品时,例如VR眼镜时,无论人眼视线如何变化,显示屏幕中的物体及其周围物体的成像均为清晰像,此时的人眼被迫去主动适应显示屏幕,长时间观看时会产生视觉疲劳,严重会产生眩晕等生理性不适。
发明内容
本发明的主要目的是提出一种基于人眼追踪的显示设备及显示方法,旨在解决人们穿戴虚拟产品时,人眼被迫主动适应显示屏幕,易产生视觉疲劳和眩晕的问题。
为实现上述目的,本发明提出的一种基于人眼追踪的显示设备,包括:
镜筒,具有贯通腔体;
显示屏幕,沿所述贯通腔体的贯通方向设置于所述镜筒一端;
镜片组,沿所述贯通腔体的贯通方向设置于所述镜筒另一端,所述镜片组用于人眼观察所述显示屏幕,所述镜片组包括透射所述显示屏幕发射光线的镜片,所述镜片组还包括用于拍摄人眼瞳孔的拍摄件以及对人眼瞳孔进行拍摄时提供亮度的照明件;
处理单元,所述拍摄件与所述处理单元电性连接,所述处理单元用于接收所述拍摄件拍摄得到的显示图像,且分析所述显示图像得到人眼的移动角度,并依据移动角度调整所述显示图像的分辨率。
可选地,所述拍摄件位于所述镜片的上方,所述照明件位于所述镜片的下方;
所述处理单元预存有人眼水平移动数学模型和人眼垂直移动数学模型,所述处理单元依据人眼水平移动数学模型得到人眼的水平倾斜角度,依据人眼垂直移动数学模型得到人眼的垂直倾斜角度,根据所述水平倾斜角度和所述垂直倾斜角度计算得出人眼的移动角度。
可选地,所述镜片组还包括若干定位件,所述定位件围绕所述镜片等间距的设置,所述定位件用于确定所述镜片的中心对应人眼的位置,所述照明件为红外光发射单元,所述定位件为红外激光发射单元,所述拍摄件为红外相机,所述红外激光发射单元发射的红外激光的亮度高于所述红外光发射单元发射的红外光亮。
可选地,所述镜片组还包括用于会聚光线的会聚件,所述会聚件设置于所述照明件面向人眼一侧。
可选地,所述会聚件包括第一棱镜组和第二棱镜组,所述第一棱镜组具有若干棱镜形成的第一沟槽,所述第二棱镜组具有若干棱镜形成的第二沟槽,所述第一沟槽和所述第二沟槽的延伸方向相互正交。
此外,为了实现上述目的本发明还提供一种基于人眼追踪的显示方法,用于头戴显示设备,所述头戴显示设备包括用于拍摄人眼瞳孔的拍摄件以及对人眼瞳孔进行拍摄时提供亮度的照明件,所述基于人眼追踪的显示方法包括:
控制所述照明件发射光线,射向人眼;
控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像;
分析所述第一图像和所述第二图像中人眼的瞳孔位置;
依据所述人眼的瞳孔位置,计算得出人眼的移动角度;
依据所述人眼的移动角度调整显示图像的分辨率。
可选地,所述头戴显示设备包括镜片和围绕所述镜片等间距设置的定位件,所述定位件用于确定所述镜片的中心对应人眼的位置,所述控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像的步骤之前包括:
控制所述定位件发射光线,射向人眼;
获得所述镜片中心对应人眼位置的中心原点。
可选地,分析所述第一图像和所述第二图像中人眼的瞳孔位置的步骤包括:
分析所述第一图像,获取人眼位于所述起始位置的虹膜轮廓的第一中心点;
分析所述第二图像,获取人眼位于所述移动位置的虹膜轮廓的第二中心点。
可选地,所述依据所述人眼的瞳孔位置,计算得出人眼的移动角度的步骤包括:
依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度;
依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度;
结合所述水平倾斜角度和所述垂直倾斜角度计算得出人眼的移动角度。
可选地,所述依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度的步骤包括:
依据所述中心原点建立平面直角坐标系;
获取所述第一中心点的第一坐标和所述第二中心点的第二坐标;
依据所述第一坐标和所述第二坐标确认水平移动距离;
依据所述水平移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的水平移动角度;
所述依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度的步骤包括:
依据所述中心原点建立平面直角坐标系;
获取所述第一中心点的第三坐标和所述第二中心点的第四坐标;
依据所述第三坐标和所述第四坐标确认垂直移动距离;
依据所述垂直移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的垂直移动角度。
本发明技术方案通过拍摄件对人眼进行拍摄,人眼在观察显示屏幕的过程中持续移动,拍摄件拍摄人眼的起始位置和移动位置,通得到起始位置的显示图像和移动位置的显示图像,通过处理单元分析测量起始位置的显示图像中人眼位置,以及移动位置的显示图像中人眼位置,计算得到人眼的移动角度,依据人眼的移动角度在显示屏幕相应的区域调整显示屏幕的分辨率,由此形成一个具有景深的图像,减少人们穿戴虚拟产品时产生的视觉疲劳和眩晕。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明基于人眼追踪的显示设备的侧面结构示意图;
图2为本发明基于人眼追踪的显示设备的另一视角结构示意图;
图3为本发明基于人眼追踪的显示设备的会聚件结构示意图;
图4为本发明基于人眼追踪的显示设备的人眼水平移动的示意图;
图5为本发明基于人眼水平移动建立的平面直角坐标示意图;
图6为本发明基于人眼追踪的显示设备的人眼垂直移动的示意图;
图7为本发明基于人眼垂直移动建立的平面直角坐标示意图;
图8为本发明基于人眼追踪的显示方法的第一实施例流程示意图;
图9为本发明基于人眼追踪的显示方法的第二实施例流程示意图;
图10为本发明基于人眼追踪的显示方法的第三实施例流程示意图
图11为本发明基于人眼追踪的显示方法的第四实施例流程示意图;
图12为本发明基于人眼追踪的显示方法的第五实施例流程示意图。
附图标号说明:
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
参阅图1和图2所示,本发明的第一实施例,一种基于人眼追踪的显示设备,包括:镜筒110、显示屏幕120、镜片组130和处理单元(图未示)。
镜筒110具有贯通腔体111。
显示屏幕120沿贯通腔体111的贯通方向设置于镜筒110一端。
镜片组130沿贯通腔体111的贯通方向设置于镜筒110另一端,镜片组130用于人眼200观察显示屏幕120,镜片组130包括透射显示屏幕120发射光线的镜片132,镜片组130还包括用于拍摄人眼200瞳孔的拍摄件131以及对人眼瞳孔进行拍摄时提供亮度的照明件133,其中镜筒110、显示屏幕120和镜片组130形成一个密闭的腔体,所述显示设备主要是指头戴显示设备,所述头戴显示设备包括VR(Virtual Reality)虚拟现实产品,或者AR(Augmented Reality)增强现实产品时。
拍摄件131与处理单元电性连接,处理单元用于接收拍摄件131拍摄得到的显示图像,且分析显示图像得到人眼200的移动角度,并依据移动角度调整显示图像的分辨率,具体地,处理单元设置于所述显示设备内部,人眼通过显示屏幕120获得显示图像,定义人眼直视前方时的起始位置的视线角度为0°,人眼在移动观察显示图像的过程中,视线会发生偏转,即此时人眼的视线会和起始位置之间产生一定角度,通过获得该角度数值,能够进一步确定人眼观察的方向,处理单元控制显示屏幕120在人眼观看方向提高显示图像的分辨率。
本发明技术方案通过拍摄件131拍摄人眼200,人眼200在观察显示屏幕120的过程中持续移动,拍摄件131拍摄得到人眼200的起始位置和移动位置,通过处理单元对起始位置和移动位置进行拍摄,得到起始位置的显示图像和移动位置的显示图像,通过处理单元分析测量起始位置的显示图像中人眼200位置,以及移动位置的显示图像中人眼200位置,计算得到人眼200的移动角度,依据人眼200的移动角度在显示屏幕120相应的区域提高显示屏幕120的分辨率,由此形成一个具有景深的图像,减少人们穿戴虚拟产品时产生的视觉疲劳和眩晕。
另外,处理单元控制显示屏幕120在人眼的视线角度的1°-2°视角范围内生成相应的注视中心区域,在1°-2°的视角范围内,提高显示图像分辨率,也可在1°-2°的视角范围内降低其他区域的图像分辨率,再或者同时在1°-2°的视角范围提高显示图像分辨率,降低其他区域的图像分辨率,如此能够有效降低处理显示图像的运算负担,并能够更好的形成视觉景深。
进一步地,拍摄件131位于镜片132的上方,照明件133位于镜片132的下方,镜片132用于使显示屏幕120的显示图像会聚在人眼200位置,便于人眼200能够观察到清晰的显示图像。
处理单元预存有人眼水平移动数学模型和人眼垂直移动数学模型,处理单元依据人眼水平移动数学模型得到人眼的水平倾斜角度,依据人眼垂直移动数学模型得到人眼的垂直倾斜角度,根据水平倾斜角度和垂直倾斜角度计算得出人眼的移动角度,便于后续对依据人眼的移动角度,处理显示屏幕120的显示图像,例如对人眼视线一定角度范围内的显示图像进行精细渲染,即提高显示图像分辨率,对角度范围以外的显示图像进行一般渲染,即降低显示图像分辨率,形成景深,避免人眼200在观察显示屏幕120时出现眩晕等不适感。
进一步地,镜片组130还包括若干定位件134,定位件134围绕镜片132等间距的设置,定位件134用于确定镜片132的中心对应人眼200的位置,具体地,镜片组130至少包括三个定位件134,三个定位件134构成一个等边三角形,该等边三角形的中心为镜片132的中心,除此之外,镜片组130还可以包括四个定位件134,四个定位件134构成一个方形,定位件134对角连线相交于一点,该交点为镜片132的中心,通过确定镜片132的中心,便于得到对应人眼200的位置。
进一步地,照明件133为红外光发射单元,定位件134为红外激光发射单元,拍摄件131为红外相机,由于红外光的波长不在人眼的可见光范围内,因此人眼不会对红外光产生不适反应,在保证定位件134发射的红外激光的功率较低,不会对人眼产生伤害的情况下,通过至少三个红外激光点来确定镜片132对应的中心点,并通过红外相机拍摄件131对人眼拍摄,获得人眼图像。
进一步地,红外激光发射单元发射的红外激光的亮度高于红外光发射单元发射的红外光亮度,保证人眼获得足够的照明亮度,由于照明件133发射的是红外光,而定位件134发射的是红外激光,两者的光波长接近,在通过红外相机131拍摄时,由于波长接近,颜色也接近,因此定位件134发射的红外激光亮度高于照明件133发射的红外光亮度,保证红外激光发射照明的点可以显现的更加清晰,由此在拍摄得到的图像上能区分得出红外激光所对应的点。
进一步地,镜片组130还包括用于会聚光线的会聚件135,会聚件135设置于照明件133面向人眼一侧,会聚件135能够将光线会聚向人眼200,进一步提高对人眼200的照明亮度,使拍摄件131拍摄时能够得到更加清晰的图像。
参阅图3所示,会聚件135包括第一棱镜组1351和第二棱镜组1352,第一棱镜组1351具有若干棱镜形成的第一沟槽1353,第二棱镜组1352具有若干棱镜形成的第二沟槽1354,第一沟槽1353和第二沟槽1354的延伸方向相互正交,具体地,若干棱镜基于同一平面,平行排列设置,形成第一沟槽1353,同样地,若干棱镜基于同一平面,平行排列设置,形成第二沟槽1354,照明件133发射的光线成扩散趋势,通过第一棱镜组1351使原本发散的光线发生偏转变成平行光,通过第二棱镜组1352使平行趋势的光线再次发生偏转,变成射向人眼200的会聚光,使拍摄件131拍摄时能够得到更加清晰的图像。
参阅图4和图5所示,人眼水平移动数学模型原理为,人眼200水平移动时具有开始观察显示屏幕120的起始位置,以及人眼200水平移动后的移动位置,拍摄起始位置获得第一图像,拍摄移动位置获得第二图像,分析第一图像,得到人眼200位于起始位置的虹膜轮廓的第一中心点为F,人眼200的虹膜中包括瞳孔,第一中心点F是指瞳孔的中心对应位置,即此时瞳孔的中心点为F;分析第二图像,得到人眼200位于移动位置的虹膜轮廓的第二中心点F`,此时瞳孔的中心点为F`;依据镜片的中心对应人眼200位置为原点,即以ABCD四个点计算得到中心原点M,以中心原点M为坐标原点建立平面直角坐标系,则中心原点M的坐标为(0,0),计算得到第一中心点F坐标和第二中心点F`坐标,依据F坐标和F`坐标确认水平移动距离,即得到人眼水平移动的距离L,定义人眼的旋转中心到人眼表面的距离为D,人眼水平移动的角度θ,人眼水平移动的距离L为P点到Q点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼水平移动的距离L为角度θ的对边,到则根据三角函数公式
sinθ=L÷D
由此能够推导计算人眼水平移动的角度θ为
θ=arcsin(L÷D)。
参阅图6和图7所示,人眼垂直移动数学模型原理为,人眼200垂直移动时具有开始观察显示屏幕120的起始位置,以及人眼200垂直移动后的移动位置,拍摄起始位置获得第三图像,拍摄移动位置获得第四图像,分析第三图像,得到人眼200位于起始位置的虹膜轮廓的第三中心点为E,人眼200的虹膜中包括瞳孔,第三中心点E是指瞳孔的中心对应位置,即此时瞳孔的中心点为E;分析第四图像,得到人眼200位于移动位置的虹膜轮廓的第四中心点E`,此时瞳孔的第四中心点E`;依据镜片的中心对应人眼200位置为原点,即以A`B`C`D`四个点计算得到中心原点M`,以中心原点M`为坐标原点建立平面直角坐标系,则中心原点M`的坐标为(0,0),计算得到第三中心点E坐标和第四中心点E`坐标,依据E坐标和E`坐标确认垂直移动距离,即得到人眼垂直移动的距离H,定义人眼的旋转中心到人眼表面的距离为D,人眼垂直移动角度δ,人眼垂直移动的距离H为P`点到Q`点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼垂直移动的距离H为角度δ的对边,到则根据三角函数公式
sinδ=H÷D
由此能够推导计算人眼垂直移动的角度δ为
δ=arcsin(H÷D)。
参阅图8所示,本发明还提供一种基于人眼追踪的显示方法,用于头戴显示设备,所述头戴显示设备包括用于拍摄人眼瞳孔的拍摄件以及对人眼瞳孔进行拍摄时提供亮度的照明件,基于人眼追踪的显示方法包括:
步骤S10,控制所述照明件发射光线,射向人眼,便于人眼200能够观察到清晰明亮的显示图像;
步骤S20,控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像,人眼在观察图像的过程中是一直移动的,因此通过按照一定的时间间隔拍摄人眼,能够得到人眼每次的移动位置,便于分析人眼的移动方向。
步骤S30,分析所述第一图像和所述第二图像中人眼的瞳孔位置,通过对比人眼开始移动前的起始位置和移动后的移动位置,能够得到人眼的瞳孔位置的变化,计算得到人眼移动的距离。
步骤S40,依据人眼的瞳孔位置,计算得出人眼的移动角度,通过三角函数中角度和边的对比关系,能够计算得到人眼的移动角度。
步骤S50,依据人眼的移动角度调整显示图像的分辨率,即在人眼的移动角度的1°-2°视角范围内,提高对应显示图像的分辨率,也可在1°-2°的视角范围内降低其他区域的图像分辨率,再或者同时在1°-2°的视角范围提高显示图像分辨率,降低其他区域的图像分辨率,如此形成一个具有景深的图像,减少人们穿戴虚拟产品时产生的视觉疲劳和眩晕,而且能够有效降低处理显示图像的运算负担。
本发明技术方案中,人眼在观察显示屏幕的过程中持续移动,通过拍摄获得到人眼的起始位置和移动位置,得到起始位置的显示图像和移动位置的显示图像,通过分析测量起始位置的显示图像中人眼位置,以及移动位置的显示图像中人眼位置,计算得到人眼的移动角度,依据人眼的移动角度在显示屏幕相应的区域调整显示屏幕的分辨率,由此形成一个具有景深的图像,减少人们穿戴虚拟产品时产生的视觉疲劳和眩晕。
参阅图9所示,进一步地,所述头戴显示设备包括镜片和围绕所述镜片等间距设置的定位件,所述定位件用于确定所述镜片的中心对应人眼的位置,所述控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像的步骤之前包括:
步骤S01,控制所述定位件发射光线,射向人眼,定位件发射的光线强度高于照明件发射的强度,便于拍摄得到的图像能够区分出相应的定位件射向人眼的点;
步骤S02,获得所述镜片中心对应人眼位置的中心原点,通过上述方案能够便于得到镜片中心对应人眼位置的中心原点。
参阅图10所示,进一步地,分析所述第一图像和所述第二图像中人眼的瞳孔位置的步骤S30包括:
步骤S301,分析所述第一图像,获取人眼位于所述起始位置的虹膜轮廓的第一中心点;
步骤S302,分析所述第二图像,获取人眼位于所述移动位置的虹膜轮廓的第二中心点。
参阅图10所示,步骤S40依据人眼的瞳孔位置,计算得出人眼的移动角度的步骤包括:
步骤S410,依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度,人眼水平移动数学模型原理为,人眼200水平移动时具有开始观察显示屏幕120的起始位置,以及人眼200水平移动后的移动位置,拍摄起始位置获得第一图像,拍摄移动位置获得第二图像,分析第一图像,得到人眼200位于起始位置的虹膜轮廓的第一中心点为F,人眼200的虹膜中包括瞳孔,第一中心点F是指瞳孔的中心对应位置,即此时瞳孔的中心点为F;分析第二图像,得到人眼200位于移动位置的虹膜轮廓的第二中心点F`,此时瞳孔的中心点为F`;依据镜片的中心对应人眼200位置为原点,即以ABCD四个点计算得到中心原点M,以中心原点M为坐标原点建立平面直角坐标系,则中心原点M的坐标为(0,0),计算得到第一中心点F坐标和第二中心点F`坐标,依据F坐标和F`坐标确认水平移动距离,即得到人眼水平移动的距离L,定义人眼的旋转中心到人眼表面的距离为D,人眼水平移动的角度θ,人眼水平移动的距离L为P点到Q点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼水平移动的距离L为角度θ的对边,到则根据三角函数公式
sinθ=L÷D
由此能够推导计算人眼水平移动的角度θ为
θ=arcsin(L÷D)。
步骤S420,依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度,眼垂直移动数学模型原理为,人眼200垂直移动时具有开始观察显示屏幕120的起始位置,以及人眼200垂直移动后的移动位置,拍摄起始位置获得第三图像,拍摄移动位置获得第四图像,分析第三图像,得到人眼200位于起始位置的虹膜轮廓的第三中心点为E,人眼200的虹膜中包括瞳孔,第三中心点E是指瞳孔的中心对应位置,即此时瞳孔的中心点为E;分析第四图像,得到人眼200位于移动位置的虹膜轮廓的第四中心点E`,此时瞳孔的第四中心点E`;依据镜片的中心对应人眼200位置为原点,即以A`B`C`D`四个点计算得到中心原点M`,以中心原点M`为坐标原点建立平面直角坐标系,则中心原点M`的坐标为(0,0),计算得到第三中心点E坐标和第四中心点E`坐标,依据E坐标和E`坐标确认垂直移动距离,即得到人眼垂直移动的距离H,定义人眼的旋转中心到人眼表面的距离为D,人眼垂直移动角度δ,人眼垂直移动的距离H为P`点到Q`点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼垂直移动的距离H为角度δ的对边,到则根据三角函数公式
sinδ=H÷D
由此能够推导计算人眼垂直移动的角度δ为
δ=arcsin(H÷D)。
参阅图11所示,步骤S430,结合水平倾斜角度和垂直倾斜角度计算得出人眼的移动角度,人眼在观察移动的过程中,不是仅仅在单一的一个方向上移动,因此结合水平方向和垂直方向倾斜角度,如此能够更加精确的计算得出人眼的移动角度。
进一步地,步骤S410所述依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度的步骤包括:
步骤S411,依据所述中心原点建立平面直角坐标系,则中心原点M`的坐标为(0,0);
步骤S412,获取所述第一中心点的第一坐标和所述第二中心点的第二坐标,即在以中心原点M为坐标原点建立的平面直角坐标系中,得到第一中心点F的第一坐标和第二中心点F`的第二坐标;
步骤S413,依据所述第一坐标和所述第二坐标确认水平移动距离,即得到人眼水平移动的距离L;
步骤S414,依据所述水平移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的水平移动角度,定义预设的人眼的旋转中心到人眼表面的距离为D,人眼水平移动的角度θ,人眼水平移动的距离L为P点到Q点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼水平移动的距离L为角度θ的对边,到则根据三角函数公式
sinθ=L÷D
由此能够推导计算人眼水平移动的角度θ为
θ=arcsin(L÷D)。
参阅图12所示,步骤S420所述依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度的步骤包括:
步骤S421,依据所述中心原点建立平面直角坐标系,则中心原点M`的坐标为(0,0);
步骤S422,获取所述第一中心点的第三坐标和所述第二中心点的第四坐标,即在以中心原点M`为坐标原点建立的平面直角坐标系中,得到第一中心点E的第三坐标和第二中心点E`的第四坐标;
步骤S423,依据所述第三坐标和所述第四坐标确认垂直移动距离,即得到人眼垂直移动距离H;
步骤S424,依据所述垂直移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的垂直移动角度定义预设的人眼的旋转中心到人眼表面的距离为D,人眼垂直移动角度δ,人眼垂直移动的距离H为P`点到Q`点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼垂直移动的距离H为角度δ的对边,到则根据三角函数公式
sinδ=H÷D
由此能够推导计算人眼垂直移动的角度δ为
δ=arcsin(H÷D)。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于人眼追踪的显示设备,其特征在于,包括:
镜筒,具有贯通腔体;
显示屏幕,沿所述贯通腔体的贯通方向设置于所述镜筒一端;
镜片组,沿所述贯通腔体的贯通方向设置于所述镜筒另一端,所述镜片组用于人眼观察所述显示屏幕,所述镜片组包括透射所述显示屏幕发射光线的镜片,所述镜片组还包括用于拍摄人眼瞳孔的拍摄件以及对人眼瞳孔进行拍摄时提供亮度的照明件;
处理单元,所述拍摄件与所述处理单元电性连接,所述处理单元用于接收所述拍摄件拍摄得到的显示图像,且分析所述显示图像得到人眼的移动角度,并依据移动角度调整所述显示图像的分辨率。
2.如权利要求1所述的基于人眼追踪的显示设备,其特征在于,所述拍摄件位于所述镜片的上方,所述照明件位于所述镜片的下方;
所述处理单元预存有人眼水平移动数学模型和人眼垂直移动数学模型,所述处理单元依据人眼水平移动数学模型得到人眼的水平倾斜角度,依据人眼垂直移动数学模型得到人眼的垂直倾斜角度,根据所述水平倾斜角度和所述垂直倾斜角度计算得出人眼的移动角度。
3.如权利要求2所述的基于人眼追踪的显示设备,其特征在于,所述镜片组还包括若干定位件,所述定位件围绕所述镜片等间距的设置,所述定位件用于确定所述镜片的中心对应人眼的位置,所述照明件为红外光发射单元,所述定位件为红外激光发射单元,所述拍摄件为红外相机,所述红外激光发射单元发射的红外激光的亮度高于所述红外光发射单元发射的红外光亮度。
4.如权利要求2所述的基于人眼追踪的显示设备,其特征在于,所述镜片组还包括用于会聚光线的会聚件,所述会聚件设置于所述照明件面向人眼一侧。
5.如权利要求4所述的基于人眼追踪的显示设备,其特征在于,所述会聚件包括第一棱镜组和第二棱镜组,所述第一棱镜组具有若干棱镜形成的第一沟槽,所述第二棱镜组具有若干棱镜形成的第二沟槽,所述第一沟槽和所述第二沟槽的延伸方向相互正交。
6.一种基于人眼追踪的显示方法,用于头戴显示设备,所述头戴显示设备包括用于拍摄人眼瞳孔的拍摄件以及对人眼瞳孔进行拍摄时提供亮度的照明件,其特征在于,所述基于人眼追踪的显示方法包括:
控制所述照明件发射光线,射向人眼;
控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像;
分析所述第一图像和所述第二图像中人眼的瞳孔位置;
依据所述人眼的瞳孔位置,计算得出人眼的移动角度;
依据所述人眼的移动角度调整显示图像的分辨率。
7.如权利要求6所述的基于人眼追踪的显示方法,其特征在于,所述头戴显示设备包括镜片和围绕所述镜片等间距设置的定位件,所述定位件用于确定所述镜片的中心对应人眼的位置,所述控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像的步骤之前包括:
控制所述定位件发射光线,射向人眼;
获得所述镜片中心对应人眼位置的中心原点。
8.如权利要求7所述的基于人眼追踪的显示方法,其特征在于,分析所述第一图像和所述第二图像中人眼的瞳孔位置的步骤包括:
分析所述第一图像,获取人眼位于所述起始位置的虹膜轮廓的第一中心点;
分析所述第二图像,获取人眼位于所述移动位置的虹膜轮廓的第二中心点。
9.如权利要求8所述的基于人眼追踪的显示方法,其特征在于,所述依据所述人眼的瞳孔位置,计算得出人眼的移动角度的步骤包括:
依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度;
依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度;
结合所述水平倾斜角度和所述垂直倾斜角度计算得出人眼的移动角度。
10.如权利要求9所述的基于人眼追踪的显示方法,其特征在于,所述依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度的步骤包括:
依据所述中心原点建立平面直角坐标系;
获取所述第一中心点的第一坐标和所述第二中心点的第二坐标;
依据所述第一坐标和所述第二坐标确认水平移动距离;
依据所述水平移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的水平移动角度;
所述依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度的步骤包括:
依据所述中心原点建立平面直角坐标系;
获取所述第一中心点的第三坐标和所述第二中心点的第四坐标;
依据所述第三坐标和所述第四坐标确认垂直移动距离;
依据所述垂直移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的垂直移动角度。
CN201910479423.9A 2019-06-03 2019-06-03 基于人眼追踪的显示设备及显示方法 Active CN110208947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910479423.9A CN110208947B (zh) 2019-06-03 2019-06-03 基于人眼追踪的显示设备及显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910479423.9A CN110208947B (zh) 2019-06-03 2019-06-03 基于人眼追踪的显示设备及显示方法

Publications (2)

Publication Number Publication Date
CN110208947A true CN110208947A (zh) 2019-09-06
CN110208947B CN110208947B (zh) 2021-10-08

Family

ID=67790597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910479423.9A Active CN110208947B (zh) 2019-06-03 2019-06-03 基于人眼追踪的显示设备及显示方法

Country Status (1)

Country Link
CN (1) CN110208947B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
CN111983803A (zh) * 2020-08-19 2020-11-24 业成科技(成都)有限公司 眼球追踪模组及电子设备
CN112581435A (zh) * 2020-12-09 2021-03-30 吉林建筑大学 防眩晕方法及设备
CN113625866A (zh) * 2020-05-08 2021-11-09 宏碁股份有限公司 增强现实系统以及利用增强现实眼镜显示虚拟屏幕的方法
TWI807535B (zh) * 2021-12-15 2023-07-01 財團法人工業技術研究院 眼鏡上的頭戴式擴增實境立體視覺光學膜
WO2023130431A1 (zh) * 2022-01-10 2023-07-13 京东方科技集团股份有限公司 眼动追踪装置和眼动追踪方法
WO2024140756A1 (zh) * 2022-12-30 2024-07-04 北京七鑫易维信息技术有限公司 眼球追踪发光装置、眼球追踪装置及眼球追踪设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329037A (zh) * 2007-03-15 2008-12-24 索尼株式会社 面发射装置、液晶显示器和光学片组合
CN101770045A (zh) * 2008-12-31 2010-07-07 乐金显示有限公司 棱镜片、背光单元和具有该背光单元的液晶显示装置
US20120154441A1 (en) * 2010-12-16 2012-06-21 Electronics And Telecommunications Research Institute Augmented reality display system and method for vehicle
CN106214118A (zh) * 2016-01-28 2016-12-14 北京爱生科贸有限公司 一种基于虚拟现实的眼球运动监测系统
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
CN106662680A (zh) * 2014-06-05 2017-05-10 奥普蒂卡阿姆卡(艾阿)有限公司 动态透镜的控制
CN106950694A (zh) * 2017-03-28 2017-07-14 哈尔滨医科大学 一种外接式改善视力头戴vr装置
CN106959759A (zh) * 2017-03-31 2017-07-18 联想(北京)有限公司 一种数据处理方法及装置
CN107122057A (zh) * 2017-06-06 2017-09-01 上海青研科技有限公司 一种低功耗vr眼镜眼球追踪模块
CN107272904A (zh) * 2017-06-28 2017-10-20 联想(北京)有限公司 一种图像显示方法及电子设备
CN107284358A (zh) * 2017-06-28 2017-10-24 北京小米移动软件有限公司 后视镜调整方法、装置及终端
CN107515677A (zh) * 2017-08-31 2017-12-26 杭州极智医疗科技有限公司 注意力检测方法、装置和存储介质
CN109640785A (zh) * 2016-04-08 2019-04-16 维扎瑞尔股份公司 用于获得、聚集和分析视觉数据以评估人的视力性能的方法和系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329037A (zh) * 2007-03-15 2008-12-24 索尼株式会社 面发射装置、液晶显示器和光学片组合
CN101770045A (zh) * 2008-12-31 2010-07-07 乐金显示有限公司 棱镜片、背光单元和具有该背光单元的液晶显示装置
US20120154441A1 (en) * 2010-12-16 2012-06-21 Electronics And Telecommunications Research Institute Augmented reality display system and method for vehicle
CN106662680A (zh) * 2014-06-05 2017-05-10 奥普蒂卡阿姆卡(艾阿)有限公司 动态透镜的控制
CN106214118A (zh) * 2016-01-28 2016-12-14 北京爱生科贸有限公司 一种基于虚拟现实的眼球运动监测系统
CN109640785A (zh) * 2016-04-08 2019-04-16 维扎瑞尔股份公司 用于获得、聚集和分析视觉数据以评估人的视力性能的方法和系统
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
CN106950694A (zh) * 2017-03-28 2017-07-14 哈尔滨医科大学 一种外接式改善视力头戴vr装置
CN106959759A (zh) * 2017-03-31 2017-07-18 联想(北京)有限公司 一种数据处理方法及装置
CN107122057A (zh) * 2017-06-06 2017-09-01 上海青研科技有限公司 一种低功耗vr眼镜眼球追踪模块
CN107272904A (zh) * 2017-06-28 2017-10-20 联想(北京)有限公司 一种图像显示方法及电子设备
CN107284358A (zh) * 2017-06-28 2017-10-24 北京小米移动软件有限公司 后视镜调整方法、装置及终端
CN107515677A (zh) * 2017-08-31 2017-12-26 杭州极智医疗科技有限公司 注意力检测方法、装置和存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
US11782268B2 (en) 2019-12-25 2023-10-10 Goertek Inc. Eyeball tracking system for near eye display apparatus, and near eye display apparatus
CN113625866A (zh) * 2020-05-08 2021-11-09 宏碁股份有限公司 增强现实系统以及利用增强现实眼镜显示虚拟屏幕的方法
CN111983803A (zh) * 2020-08-19 2020-11-24 业成科技(成都)有限公司 眼球追踪模组及电子设备
CN112581435A (zh) * 2020-12-09 2021-03-30 吉林建筑大学 防眩晕方法及设备
CN112581435B (zh) * 2020-12-09 2022-08-23 吉林建筑大学 防眩晕方法及设备
TWI807535B (zh) * 2021-12-15 2023-07-01 財團法人工業技術研究院 眼鏡上的頭戴式擴增實境立體視覺光學膜
WO2023130431A1 (zh) * 2022-01-10 2023-07-13 京东方科技集团股份有限公司 眼动追踪装置和眼动追踪方法
WO2024140756A1 (zh) * 2022-12-30 2024-07-04 北京七鑫易维信息技术有限公司 眼球追踪发光装置、眼球追踪装置及眼球追踪设备

Also Published As

Publication number Publication date
CN110208947B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN110208947A (zh) 基于人眼追踪的显示设备及显示方法
US6084557A (en) System for displaying combined imagery
Anstis et al. The perception of where a face or television'portrait'is looking
CN105812778B (zh) 双目ar头戴显示设备及其信息显示方法
US4845641A (en) Method of forming a synthetic image in simulation system for attachment of spectacles
CN105866949B (zh) 能自动调节景深的双目ar头戴设备及景深调节方法
Banks et al. Estimating heading during real and simulated eye movements
US8717352B2 (en) Tracing-type stereo display apparatus and tracing-type stereo display method
CN104321005B (zh) 立体视觉内窥镜装置
US6417880B1 (en) Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
CN106574831B (zh) 观察系统
JP5879353B2 (ja) 頭の位置及び向きのトラッキング
US4851901A (en) Stereoscopic television apparatus
CN105589199A (zh) 显示装置、显示装置的控制方法以及程序
US20120086801A1 (en) Tracking head position and orientation
US20060152434A1 (en) Calibrating real and virtual views
JP6586991B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN103748598A (zh) 用于识别视线跟踪场景参考位置的系统和方法
US20190147241A1 (en) Line-of-sight detection device and method for detecting line of sight
JPH10239634A (ja) 立体映像表示装置
CN1192316A (zh) 立体成象自动聚焦、测距以及影象测量
WO2004097612A2 (en) A man-machine interface based on 3-d positions of the human body
CN108628087B (zh) 一种投影装置及空间成像方法
US20090096983A1 (en) Enhancement of visual perception iv
WO2022017447A1 (zh) 图像显示控制方法、图像显示控制装置及头戴式显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201016

Address after: 261031, north of Jade East Street, Dongming Road, Weifang hi tech Zone, Shandong province (GoerTek electronic office building, Room 502)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268

Applicant before: GOERTEK Inc.

GR01 Patent grant
GR01 Patent grant