CN110208947B - 基于人眼追踪的显示设备及显示方法 - Google Patents

基于人眼追踪的显示设备及显示方法 Download PDF

Info

Publication number
CN110208947B
CN110208947B CN201910479423.9A CN201910479423A CN110208947B CN 110208947 B CN110208947 B CN 110208947B CN 201910479423 A CN201910479423 A CN 201910479423A CN 110208947 B CN110208947 B CN 110208947B
Authority
CN
China
Prior art keywords
human eyes
eye
human
human eye
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910479423.9A
Other languages
English (en)
Other versions
CN110208947A (zh
Inventor
季振强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN201910479423.9A priority Critical patent/CN110208947B/zh
Publication of CN110208947A publication Critical patent/CN110208947A/zh
Application granted granted Critical
Publication of CN110208947B publication Critical patent/CN110208947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开一种基于人眼追踪的显示设备及显示方法,所述基于人眼追踪的显示设备,包括:镜筒、显示屏幕、镜片组和处理单元,镜筒具有贯通腔体;显示屏幕沿所述贯通腔体的贯通方向设置于所述镜筒一端;镜片组沿所述贯通腔体的贯通方向设置于所述镜筒另一端,镜片组用于人眼观察所述显示屏幕,所述镜片组包括用于拍摄人眼瞳孔的拍摄件;所述拍摄件与所述处理单元电性连接,所述处理单元用于接收所述拍摄件拍摄得到的显示图像,且分析所述显示图像得到人眼的移动角度,并依据移动角度调整所述显示图像的分辨率。本发明技术方案能够在人们穿戴虚拟产品时,有效避免视觉疲劳和眩晕的问题。

Description

基于人眼追踪的显示设备及显示方法
技术领域
本发明涉及成像显示技术领域,特别涉及一种基于人眼追踪的显示设备及显示方法。
背景技术
在现实世界当中,当人们注视某个物体时,被注视物体会变得清晰,而周围的物体会变得模糊,从而获得空间感和一定景深的视场。然而在人们穿戴一些虚拟产品时,例如VR眼镜时,无论人眼视线如何变化,显示屏幕中的物体及其周围物体的成像均为清晰像,此时的人眼被迫去主动适应显示屏幕,长时间观看时会产生视觉疲劳,严重会产生眩晕等生理性不适。
发明内容
本发明的主要目的是提出一种基于人眼追踪的显示设备及显示方法,旨在解决人们穿戴虚拟产品时,人眼被迫主动适应显示屏幕,易产生视觉疲劳和眩晕的问题。
为实现上述目的,本发明提出的一种基于人眼追踪的显示设备,包括:
镜筒,具有贯通腔体;
显示屏幕,沿所述贯通腔体的贯通方向设置于所述镜筒一端;
镜片组,沿所述贯通腔体的贯通方向设置于所述镜筒另一端,所述镜片组用于人眼观察所述显示屏幕,所述镜片组包括透射所述显示屏幕发射光线的镜片,所述镜片组还包括用于拍摄人眼瞳孔的拍摄件以及对人眼瞳孔进行拍摄时提供亮度的照明件;
处理单元,所述拍摄件与所述处理单元电性连接,所述处理单元用于接收所述拍摄件拍摄得到的显示图像,且分析所述显示图像得到人眼的移动角度,并依据移动角度调整所述显示图像的分辨率。
可选地,所述拍摄件位于所述镜片的上方,所述照明件位于所述镜片的下方;
所述处理单元预存有人眼水平移动数学模型和人眼垂直移动数学模型,所述处理单元依据人眼水平移动数学模型得到人眼的水平倾斜角度,依据人眼垂直移动数学模型得到人眼的垂直倾斜角度,根据所述水平倾斜角度和所述垂直倾斜角度计算得出人眼的移动角度。
可选地,所述镜片组还包括若干定位件,所述定位件围绕所述镜片等间距的设置,所述定位件用于确定所述镜片的中心对应人眼的位置,所述照明件为红外光发射单元,所述定位件为红外激光发射单元,所述拍摄件为红外相机,所述红外激光发射单元发射的红外激光的亮度高于所述红外光发射单元发射的红外光亮。
可选地,所述镜片组还包括用于会聚光线的会聚件,所述会聚件设置于所述照明件面向人眼一侧。
可选地,所述会聚件包括第一棱镜组和第二棱镜组,所述第一棱镜组具有若干棱镜形成的第一沟槽,所述第二棱镜组具有若干棱镜形成的第二沟槽,所述第一沟槽和所述第二沟槽的延伸方向相互正交。
此外,为了实现上述目的本发明还提供一种基于人眼追踪的显示方法,用于头戴显示设备,所述头戴显示设备包括用于拍摄人眼瞳孔的拍摄件以及对人眼瞳孔进行拍摄时提供亮度的照明件,所述基于人眼追踪的显示方法包括:
控制所述照明件发射光线,射向人眼;
控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像;
分析所述第一图像和所述第二图像中人眼的瞳孔位置;
依据所述人眼的瞳孔位置,计算得出人眼的移动角度;
依据所述人眼的移动角度调整显示图像的分辨率。
可选地,所述头戴显示设备包括镜片和围绕所述镜片等间距设置的定位件,所述定位件用于确定所述镜片的中心对应人眼的位置,所述控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像的步骤之前包括:
控制所述定位件发射光线,射向人眼;
获得所述镜片中心对应人眼位置的中心原点。
可选地,分析所述第一图像和所述第二图像中人眼的瞳孔位置的步骤包括:
分析所述第一图像,获取人眼位于所述起始位置的虹膜轮廓的第一中心点;
分析所述第二图像,获取人眼位于所述移动位置的虹膜轮廓的第二中心点。
可选地,所述依据所述人眼的瞳孔位置,计算得出人眼的移动角度的步骤包括:
依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度;
依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度;
结合所述水平倾斜角度和所述垂直倾斜角度计算得出人眼的移动角度。
可选地,所述依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度的步骤包括:
依据所述中心原点建立平面直角坐标系;
获取所述第一中心点的第一坐标和所述第二中心点的第二坐标;
依据所述第一坐标和所述第二坐标确认水平移动距离;
依据所述水平移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的水平移动角度;
所述依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度的步骤包括:
依据所述中心原点建立平面直角坐标系;
获取所述第一中心点的第三坐标和所述第二中心点的第四坐标;
依据所述第三坐标和所述第四坐标确认垂直移动距离;
依据所述垂直移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的垂直移动角度。
本发明技术方案通过拍摄件对人眼进行拍摄,人眼在观察显示屏幕的过程中持续移动,拍摄件拍摄人眼的起始位置和移动位置,通得到起始位置的显示图像和移动位置的显示图像,通过处理单元分析测量起始位置的显示图像中人眼位置,以及移动位置的显示图像中人眼位置,计算得到人眼的移动角度,依据人眼的移动角度在显示屏幕相应的区域调整显示屏幕的分辨率,由此形成一个具有景深的图像,减少人们穿戴虚拟产品时产生的视觉疲劳和眩晕。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明基于人眼追踪的显示设备的侧面结构示意图;
图2为本发明基于人眼追踪的显示设备的另一视角结构示意图;
图3为本发明基于人眼追踪的显示设备的会聚件结构示意图;
图4为本发明基于人眼追踪的显示设备的人眼水平移动的示意图;
图5为本发明基于人眼水平移动建立的平面直角坐标示意图;
图6为本发明基于人眼追踪的显示设备的人眼垂直移动的示意图;
图7为本发明基于人眼垂直移动建立的平面直角坐标示意图;
图8为本发明基于人眼追踪的显示方法的第一实施例流程示意图;
图9为本发明基于人眼追踪的显示方法的第二实施例流程示意图;
图10为本发明基于人眼追踪的显示方法的第三实施例流程示意图
图11为本发明基于人眼追踪的显示方法的第四实施例流程示意图;
图12为本发明基于人眼追踪的显示方法的第五实施例流程示意图。
附图标号说明:
Figure BDA0002082914030000041
Figure BDA0002082914030000051
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
参阅图1和图2所示,本发明的第一实施例,一种基于人眼追踪的显示设备,包括:镜筒110、显示屏幕120、镜片组130和处理单元(图未示)。
镜筒110具有贯通腔体111。
显示屏幕120沿贯通腔体111的贯通方向设置于镜筒110一端。
镜片组130沿贯通腔体111的贯通方向设置于镜筒110另一端,镜片组130用于人眼200观察显示屏幕120,镜片组130包括透射显示屏幕120发射光线的镜片132,镜片组130还包括用于拍摄人眼200瞳孔的拍摄件131以及对人眼瞳孔进行拍摄时提供亮度的照明件133,其中镜筒110、显示屏幕120和镜片组130形成一个密闭的腔体,所述显示设备主要是指头戴显示设备,所述头戴显示设备包括VR(Virtual Reality)虚拟现实产品,或者AR(Augmented Reality)增强现实产品时。
拍摄件131与处理单元电性连接,处理单元用于接收拍摄件131拍摄得到的显示图像,且分析显示图像得到人眼200的移动角度,并依据移动角度调整显示图像的分辨率,具体地,处理单元设置于所述显示设备内部,人眼通过显示屏幕120获得显示图像,定义人眼直视前方时的起始位置的视线角度为0°,人眼在移动观察显示图像的过程中,视线会发生偏转,即此时人眼的视线会和起始位置之间产生一定角度,通过获得该角度数值,能够进一步确定人眼观察的方向,处理单元控制显示屏幕120在人眼观看方向提高显示图像的分辨率。
本发明技术方案通过拍摄件131拍摄人眼200,人眼200在观察显示屏幕120的过程中持续移动,拍摄件131拍摄得到人眼200的起始位置和移动位置,通过处理单元对起始位置和移动位置进行拍摄,得到起始位置的显示图像和移动位置的显示图像,通过处理单元分析测量起始位置的显示图像中人眼200位置,以及移动位置的显示图像中人眼200位置,计算得到人眼200的移动角度,依据人眼200的移动角度在显示屏幕120相应的区域提高显示屏幕120的分辨率,由此形成一个具有景深的图像,减少人们穿戴虚拟产品时产生的视觉疲劳和眩晕。
另外,处理单元控制显示屏幕120在人眼的视线角度的1°-2°视角范围内生成相应的注视中心区域,在1°-2°的视角范围内,提高显示图像分辨率,也可在1°-2°的视角范围内降低其他区域的图像分辨率,再或者同时在1°-2°的视角范围提高显示图像分辨率,降低其他区域的图像分辨率,如此能够有效降低处理显示图像的运算负担,并能够更好的形成视觉景深。
进一步地,拍摄件131位于镜片132的上方,照明件133位于镜片132的下方,镜片132用于使显示屏幕120的显示图像会聚在人眼200位置,便于人眼200能够观察到清晰的显示图像。
处理单元预存有人眼水平移动数学模型和人眼垂直移动数学模型,处理单元依据人眼水平移动数学模型得到人眼的水平倾斜角度,依据人眼垂直移动数学模型得到人眼的垂直倾斜角度,根据水平倾斜角度和垂直倾斜角度计算得出人眼的移动角度,便于后续对依据人眼的移动角度,处理显示屏幕120的显示图像,例如对人眼视线一定角度范围内的显示图像进行精细渲染,即提高显示图像分辨率,对角度范围以外的显示图像进行一般渲染,即降低显示图像分辨率,形成景深,避免人眼200在观察显示屏幕120时出现眩晕等不适感。
进一步地,镜片组130还包括若干定位件134,定位件134围绕镜片132等间距的设置,定位件134用于确定镜片132的中心对应人眼200的位置,具体地,镜片组130至少包括三个定位件134,三个定位件134构成一个等边三角形,该等边三角形的中心为镜片132的中心,除此之外,镜片组130还可以包括四个定位件134,四个定位件134构成一个方形,定位件134对角连线相交于一点,该交点为镜片132的中心,通过确定镜片132的中心,便于得到对应人眼200的位置。
进一步地,照明件133为红外光发射单元,定位件134为红外激光发射单元,拍摄件131为红外相机,由于红外光的波长不在人眼的可见光范围内,因此人眼不会对红外光产生不适反应,在保证定位件134发射的红外激光的功率较低,不会对人眼产生伤害的情况下,通过至少三个红外激光点来确定镜片132对应的中心点,并通过红外相机拍摄件131对人眼拍摄,获得人眼图像。
进一步地,红外激光发射单元发射的红外激光的亮度高于红外光发射单元发射的红外光亮度,保证人眼获得足够的照明亮度,由于照明件133发射的是红外光,而定位件134发射的是红外激光,两者的光波长接近,在通过红外相机131拍摄时,由于波长接近,颜色也接近,因此定位件134发射的红外激光亮度高于照明件133发射的红外光亮度,保证红外激光发射照明的点可以显现的更加清晰,由此在拍摄得到的图像上能区分得出红外激光所对应的点。
进一步地,镜片组130还包括用于会聚光线的会聚件135,会聚件135设置于照明件133面向人眼一侧,会聚件135能够将光线会聚向人眼200,进一步提高对人眼200的照明亮度,使拍摄件131拍摄时能够得到更加清晰的图像。
参阅图3所示,会聚件135包括第一棱镜组1351和第二棱镜组1352,第一棱镜组1351具有若干棱镜形成的第一沟槽1353,第二棱镜组1352具有若干棱镜形成的第二沟槽1354,第一沟槽1353和第二沟槽1354的延伸方向相互正交,具体地,若干棱镜基于同一平面,平行排列设置,形成第一沟槽1353,同样地,若干棱镜基于同一平面,平行排列设置,形成第二沟槽1354,照明件133发射的光线成扩散趋势,通过第一棱镜组1351使原本发散的光线发生偏转变成平行光,通过第二棱镜组1352使平行趋势的光线再次发生偏转,变成射向人眼200的会聚光,使拍摄件131拍摄时能够得到更加清晰的图像。
参阅图4和图5所示,人眼水平移动数学模型原理为,人眼200水平移动时具有开始观察显示屏幕120的起始位置,以及人眼200水平移动后的移动位置,拍摄起始位置获得第一图像,拍摄移动位置获得第二图像,分析第一图像,得到人眼200位于起始位置的虹膜轮廓的第一中心点为F,人眼200的虹膜中包括瞳孔,第一中心点F是指瞳孔的中心对应位置,即此时瞳孔的中心点为F;分析第二图像,得到人眼200位于移动位置的虹膜轮廓的第二中心点F`,此时瞳孔的中心点为F`;依据镜片的中心对应人眼200位置为原点,即以ABCD四个点计算得到中心原点M,以中心原点M为坐标原点建立平面直角坐标系,则中心原点M的坐标为(0,0),计算得到第一中心点F坐标和第二中心点F`坐标,依据F坐标和F`坐标确认水平移动距离,即得到人眼水平移动的距离L,定义人眼的旋转中心到人眼表面的距离为D,人眼水平移动的角度θ,人眼水平移动的距离L为P点到Q点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼水平移动的距离L为角度θ的对边,到则根据三角函数公式
sinθ=L÷D
由此能够推导计算人眼水平移动的角度θ为
θ=arcsin(L÷D)。
参阅图6和图7所示,人眼垂直移动数学模型原理为,人眼200垂直移动时具有开始观察显示屏幕120的起始位置,以及人眼200垂直移动后的移动位置,拍摄起始位置获得第三图像,拍摄移动位置获得第四图像,分析第三图像,得到人眼200位于起始位置的虹膜轮廓的第三中心点为E,人眼200的虹膜中包括瞳孔,第三中心点E是指瞳孔的中心对应位置,即此时瞳孔的中心点为E;分析第四图像,得到人眼200位于移动位置的虹膜轮廓的第四中心点E`,此时瞳孔的第四中心点E`;依据镜片的中心对应人眼200位置为原点,即以A`B`C`D`四个点计算得到中心原点M`,以中心原点M`为坐标原点建立平面直角坐标系,则中心原点M`的坐标为(0,0),计算得到第三中心点E坐标和第四中心点E`坐标,依据E坐标和E`坐标确认垂直移动距离,即得到人眼垂直移动的距离H,定义人眼的旋转中心到人眼表面的距离为D,人眼垂直移动角度δ,人眼垂直移动的距离H为P`点到Q`点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼垂直移动的距离H为角度δ的对边,到则根据三角函数公式
sinδ=H÷D
由此能够推导计算人眼垂直移动的角度δ为
δ=arcsin(H÷D)。
参阅图8所示,本发明还提供一种基于人眼追踪的显示方法,用于头戴显示设备,所述头戴显示设备包括用于拍摄人眼瞳孔的拍摄件以及对人眼瞳孔进行拍摄时提供亮度的照明件,基于人眼追踪的显示方法包括:
步骤S10,控制所述照明件发射光线,射向人眼,便于人眼200能够观察到清晰明亮的显示图像;
步骤S20,控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像,人眼在观察图像的过程中是一直移动的,因此通过按照一定的时间间隔拍摄人眼,能够得到人眼每次的移动位置,便于分析人眼的移动方向。
步骤S30,分析所述第一图像和所述第二图像中人眼的瞳孔位置,通过对比人眼开始移动前的起始位置和移动后的移动位置,能够得到人眼的瞳孔位置的变化,计算得到人眼移动的距离。
步骤S40,依据人眼的瞳孔位置,计算得出人眼的移动角度,通过三角函数中角度和边的对比关系,能够计算得到人眼的移动角度。
步骤S50,依据人眼的移动角度调整显示图像的分辨率,即在人眼的移动角度的1°-2°视角范围内,提高对应显示图像的分辨率,也可在1°-2°的视角范围内降低其他区域的图像分辨率,再或者同时在1°-2°的视角范围提高显示图像分辨率,降低其他区域的图像分辨率,如此形成一个具有景深的图像,减少人们穿戴虚拟产品时产生的视觉疲劳和眩晕,而且能够有效降低处理显示图像的运算负担。
本发明技术方案中,人眼在观察显示屏幕的过程中持续移动,通过拍摄获得到人眼的起始位置和移动位置,得到起始位置的显示图像和移动位置的显示图像,通过分析测量起始位置的显示图像中人眼位置,以及移动位置的显示图像中人眼位置,计算得到人眼的移动角度,依据人眼的移动角度在显示屏幕相应的区域调整显示屏幕的分辨率,由此形成一个具有景深的图像,减少人们穿戴虚拟产品时产生的视觉疲劳和眩晕。
参阅图9所示,进一步地,所述头戴显示设备包括镜片和围绕所述镜片等间距设置的定位件,所述定位件用于确定所述镜片的中心对应人眼的位置,所述控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像的步骤之前包括:
步骤S01,控制所述定位件发射光线,射向人眼,定位件发射的光线强度高于照明件发射的强度,便于拍摄得到的图像能够区分出相应的定位件射向人眼的点;
步骤S02,获得所述镜片中心对应人眼位置的中心原点,通过上述方案能够便于得到镜片中心对应人眼位置的中心原点。
参阅图10所示,进一步地,分析所述第一图像和所述第二图像中人眼的瞳孔位置的步骤S30包括:
步骤S301,分析所述第一图像,获取人眼位于所述起始位置的虹膜轮廓的第一中心点;
步骤S302,分析所述第二图像,获取人眼位于所述移动位置的虹膜轮廓的第二中心点。
参阅图10所示,步骤S40依据人眼的瞳孔位置,计算得出人眼的移动角度的步骤包括:
步骤S410,依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度,人眼水平移动数学模型原理为,人眼200水平移动时具有开始观察显示屏幕120的起始位置,以及人眼200水平移动后的移动位置,拍摄起始位置获得第一图像,拍摄移动位置获得第二图像,分析第一图像,得到人眼200位于起始位置的虹膜轮廓的第一中心点为F,人眼200的虹膜中包括瞳孔,第一中心点F是指瞳孔的中心对应位置,即此时瞳孔的中心点为F;分析第二图像,得到人眼200位于移动位置的虹膜轮廓的第二中心点F`,此时瞳孔的中心点为F`;依据镜片的中心对应人眼200位置为原点,即以ABCD四个点计算得到中心原点M,以中心原点M为坐标原点建立平面直角坐标系,则中心原点M的坐标为(0,0),计算得到第一中心点F坐标和第二中心点F`坐标,依据F坐标和F`坐标确认水平移动距离,即得到人眼水平移动的距离L,定义人眼的旋转中心到人眼表面的距离为D,人眼水平移动的角度θ,人眼水平移动的距离L为P点到Q点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼水平移动的距离L为角度θ的对边,到则根据三角函数公式
sinθ=L÷D
由此能够推导计算人眼水平移动的角度θ为
θ=arcsin(L÷D)。
步骤S420,依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度,眼垂直移动数学模型原理为,人眼200垂直移动时具有开始观察显示屏幕120的起始位置,以及人眼200垂直移动后的移动位置,拍摄起始位置获得第三图像,拍摄移动位置获得第四图像,分析第三图像,得到人眼200位于起始位置的虹膜轮廓的第三中心点为E,人眼200的虹膜中包括瞳孔,第三中心点E是指瞳孔的中心对应位置,即此时瞳孔的中心点为E;分析第四图像,得到人眼200位于移动位置的虹膜轮廓的第四中心点E`,此时瞳孔的第四中心点E`;依据镜片的中心对应人眼200位置为原点,即以A`B`C`D`四个点计算得到中心原点M`,以中心原点M`为坐标原点建立平面直角坐标系,则中心原点M`的坐标为(0,0),计算得到第三中心点E坐标和第四中心点E`坐标,依据E坐标和E`坐标确认垂直移动距离,即得到人眼垂直移动的距离H,定义人眼的旋转中心到人眼表面的距离为D,人眼垂直移动角度δ,人眼垂直移动的距离H为P`点到Q`点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼垂直移动的距离H为角度δ的对边,到则根据三角函数公式
sinδ=H÷D
由此能够推导计算人眼垂直移动的角度δ为
δ=arcsin(H÷D)。
参阅图11所示,步骤S430,结合水平倾斜角度和垂直倾斜角度计算得出人眼的移动角度,人眼在观察移动的过程中,不是仅仅在单一的一个方向上移动,因此结合水平方向和垂直方向倾斜角度,如此能够更加精确的计算得出人眼的移动角度。
进一步地,步骤S410所述依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度的步骤包括:
步骤S411,依据所述中心原点建立平面直角坐标系,则中心原点M`的坐标为(0,0);
步骤S412,获取所述第一中心点的第一坐标和所述第二中心点的第二坐标,即在以中心原点M为坐标原点建立的平面直角坐标系中,得到第一中心点F的第一坐标和第二中心点F`的第二坐标;
步骤S413,依据所述第一坐标和所述第二坐标确认水平移动距离,即得到人眼水平移动的距离L;
步骤S414,依据所述水平移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的水平移动角度,定义预设的人眼的旋转中心到人眼表面的距离为D,人眼水平移动的角度θ,人眼水平移动的距离L为P点到Q点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼水平移动的距离L为角度θ的对边,到则根据三角函数公式
sinθ=L÷D
由此能够推导计算人眼水平移动的角度θ为
θ=arcsin(L÷D)。
参阅图12所示,步骤S420所述依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度的步骤包括:
步骤S421,依据所述中心原点建立平面直角坐标系,则中心原点M`的坐标为(0,0);
步骤S422,获取所述第一中心点的第三坐标和所述第二中心点的第四坐标,即在以中心原点M`为坐标原点建立的平面直角坐标系中,得到第一中心点E的第三坐标和第二中心点E`的第四坐标;
步骤S423,依据所述第三坐标和所述第四坐标确认垂直移动距离,即得到人眼垂直移动距离H;
步骤S424,依据所述垂直移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的垂直移动角度定义预设的人眼的旋转中心到人眼表面的距离为D,人眼垂直移动角度δ,人眼垂直移动的距离H为P`点到Q`点距离,其中人眼的旋转中心到人眼表面的距离D为直角三角形中斜边,人眼垂直移动的距离H为角度δ的对边,到则根据三角函数公式
sinδ=H÷D
由此能够推导计算人眼垂直移动的角度δ为
δ=arcsin(H÷D)。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于人眼追踪的显示设备,其特征在于,包括:
镜筒,具有贯通腔体;
显示屏幕,沿所述贯通腔体的贯通方向设置于所述镜筒一端;
镜片组,沿所述贯通腔体的贯通方向设置于所述镜筒另一端,所述镜片组用于人眼观察所述显示屏幕,所述镜片组包括透射所述显示屏幕发射光线的镜片,所述镜片组还包括用于拍摄人眼瞳孔的拍摄件以及对人眼瞳孔进行拍摄时提供亮度的照明件,所述镜片组还包括若干定位件,所述定位件围绕所述镜片等间距的设置,控制所述定位件发射光线,拍摄相应的定位件射向人眼的点,得到镜片中心对应人眼位置的中心原点;
处理单元,所述拍摄件与所述处理单元电性连接,所述处理单元用于接收所述拍摄件拍摄得到的显示图像,且分析所述显示图像得到人眼的移动角度,并依据移动角度调整所述显示图像的分辨率。
2.如权利要求1所述的基于人眼追踪的显示设备,其特征在于,所述拍摄件位于所述镜片的上方,所述照明件位于所述镜片的下方;
所述处理单元预存有人眼水平移动数学模型和人眼垂直移动数学模型,所述处理单元依据人眼水平移动数学模型得到人眼的水平倾斜角度,依据人眼垂直移动数学模型得到人眼的垂直倾斜角度,根据所述水平倾斜角度和所述垂直倾斜角度计算得出人眼的移动角度。
3.如权利要求2所述的基于人眼追踪的显示设备,其特征在于,所述照明件为红外光发射单元,所述定位件为红外激光发射单元,所述拍摄件为红外相机,所述红外激光发射单元发射的红外激光的亮度高于所述红外光发射单元发射的红外光亮度。
4.如权利要求2所述的基于人眼追踪的显示设备,其特征在于,所述镜片组还包括用于会聚光线的会聚件,所述会聚件设置于所述照明件面向人眼一侧。
5.如权利要求4所述的基于人眼追踪的显示设备,其特征在于,所述会聚件包括第一棱镜组和第二棱镜组,所述第一棱镜组具有若干棱镜形成的第一沟槽,所述第二棱镜组具有若干棱镜形成的第二沟槽,所述第一沟槽和所述第二沟槽的延伸方向相互正交。
6.一种基于人眼追踪的显示方法,用于头戴显示设备,所述头戴显示设备包括用于拍摄人眼瞳孔的拍摄件以及对人眼瞳孔进行拍摄时提供亮度的照明件,其特征在于,所述头戴显示设备还包括镜片和围绕所述镜片等间距设置的定位件控制所述定位件发射光线,拍摄相应的定位件射向人眼的点,得到镜片中心对应人眼位置的中心原点,所述基于人眼追踪的显示方法包括:
控制所述照明件发射光线,射向人眼;
控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像;
分析所述第一图像和所述第二图像中人眼的瞳孔位置;
依据所述人眼的瞳孔位置,计算得出人眼的移动角度;
依据所述人眼的移动角度调整显示图像的分辨率。
7.如权利要求6所述的基于人眼追踪的显示方法,其特征在于,所述控制所述拍摄件获取人眼位于起始位置的第一图像和位于移动位置的第二图像的步骤之前包括:
控制所述定位件发射光线,射向人眼;
获得所述镜片中心对应人眼位置的中心原点。
8.如权利要求7所述的基于人眼追踪的显示方法,其特征在于,分析所述第一图像和所述第二图像中人眼的瞳孔位置的步骤包括:
分析所述第一图像,获取人眼位于所述起始位置的虹膜轮廓的第一中心点;
分析所述第二图像,获取人眼位于所述移动位置的虹膜轮廓的第二中心点。
9.如权利要求8所述的基于人眼追踪的显示方法,其特征在于,所述依据所述人眼的瞳孔位置,计算得出人眼的移动角度的步骤包括:
依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度;
依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度;
结合所述水平倾斜角度和所述垂直倾斜角度计算得出人眼的移动角度。
10.如权利要求9所述的基于人眼追踪的显示方法,其特征在于,所述依据所述人眼的瞳孔位置,调用预存的人眼水平移动数学模型,获得人眼的水平倾斜角度的步骤包括:
依据所述中心原点建立平面直角坐标系;
获取所述第一中心点的第一坐标和所述第二中心点的第二坐标;
依据所述第一坐标和所述第二坐标确认水平移动距离;
依据所述水平移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的水平移动角度;
所述依据所述人眼的瞳孔位置,调用预存的人眼垂直移动数学模型,获得人眼的垂直倾斜角度的步骤包括:
依据所述中心原点建立平面直角坐标系;
获取所述第一中心点的第三坐标和所述第二中心点的第四坐标;
依据所述第三坐标和所述第四坐标确认垂直移动距离;
依据所述垂直移动距离和预设的人眼的旋转中心到人眼表面的距离,计算得到人眼的垂直移动角度。
CN201910479423.9A 2019-06-03 2019-06-03 基于人眼追踪的显示设备及显示方法 Active CN110208947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910479423.9A CN110208947B (zh) 2019-06-03 2019-06-03 基于人眼追踪的显示设备及显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910479423.9A CN110208947B (zh) 2019-06-03 2019-06-03 基于人眼追踪的显示设备及显示方法

Publications (2)

Publication Number Publication Date
CN110208947A CN110208947A (zh) 2019-09-06
CN110208947B true CN110208947B (zh) 2021-10-08

Family

ID=67790597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910479423.9A Active CN110208947B (zh) 2019-06-03 2019-06-03 基于人眼追踪的显示设备及显示方法

Country Status (1)

Country Link
CN (1) CN110208947B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
CN113625866A (zh) * 2020-05-08 2021-11-09 宏碁股份有限公司 增强现实系统以及利用增强现实眼镜显示虚拟屏幕的方法
CN111983803A (zh) * 2020-08-19 2020-11-24 业成科技(成都)有限公司 眼球追踪模组及电子设备
CN112581435B (zh) * 2020-12-09 2022-08-23 吉林建筑大学 防眩晕方法及设备
TWI807535B (zh) * 2021-12-15 2023-07-01 財團法人工業技術研究院 眼鏡上的頭戴式擴增實境立體視覺光學膜
WO2023130431A1 (zh) * 2022-01-10 2023-07-13 京东方科技集团股份有限公司 眼动追踪装置和眼动追踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106214118A (zh) * 2016-01-28 2016-12-14 北京爱生科贸有限公司 一种基于虚拟现实的眼球运动监测系统
CN106959759A (zh) * 2017-03-31 2017-07-18 联想(北京)有限公司 一种数据处理方法及装置
CN107272904A (zh) * 2017-06-28 2017-10-20 联想(北京)有限公司 一种图像显示方法及电子设备
CN107284358A (zh) * 2017-06-28 2017-10-24 北京小米移动软件有限公司 后视镜调整方法、装置及终端
CN107515677A (zh) * 2017-08-31 2017-12-26 杭州极智医疗科技有限公司 注意力检测方法、装置和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4277931B2 (ja) * 2007-03-15 2009-06-10 ソニー株式会社 面発光装置、液晶表示装置及び光学シート組合せ体
KR101258902B1 (ko) * 2008-12-31 2013-05-07 엘지디스플레이 주식회사 프리즘시트, 이를 구비한 백라이트장치 및 액정표시소자
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
AU2015270158B2 (en) * 2014-06-05 2017-11-09 Optica Amuka (A.A.) Ltd. Control of dynamic lenses
KR20190026651A (ko) * 2016-04-08 2019-03-13 비짜리오 인코포레이티드 사람의 비전 성능에 접근하기 위해 비전 데이터를 획득, 집계 및 분석하기 위한 방법 및 시스템
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
CN106950694A (zh) * 2017-03-28 2017-07-14 哈尔滨医科大学 一种外接式改善视力头戴vr装置
CN107122057A (zh) * 2017-06-06 2017-09-01 上海青研科技有限公司 一种低功耗vr眼镜眼球追踪模块

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106214118A (zh) * 2016-01-28 2016-12-14 北京爱生科贸有限公司 一种基于虚拟现实的眼球运动监测系统
CN106959759A (zh) * 2017-03-31 2017-07-18 联想(北京)有限公司 一种数据处理方法及装置
CN107272904A (zh) * 2017-06-28 2017-10-20 联想(北京)有限公司 一种图像显示方法及电子设备
CN107284358A (zh) * 2017-06-28 2017-10-24 北京小米移动软件有限公司 后视镜调整方法、装置及终端
CN107515677A (zh) * 2017-08-31 2017-12-26 杭州极智医疗科技有限公司 注意力检测方法、装置和存储介质

Also Published As

Publication number Publication date
CN110208947A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110208947B (zh) 基于人眼追踪的显示设备及显示方法
US9060693B2 (en) Visual function testing device
US8717352B2 (en) Tracing-type stereo display apparatus and tracing-type stereo display method
EP3204816B1 (en) Head-mounted displaying of magnified images locked on an object of interest
CN110967166B (zh) 近眼显示光学系统的检测方法、检测装置和检测系统
WO2012077713A1 (ja) 注視点検出方法及び注視点検出装置
US10382699B2 (en) Imaging system and method of producing images for display apparatus
CN106574831B (zh) 观察系统
JPH0759032A (ja) 画像ディスプレー装置
CN110537897B (zh) 视线追踪方法和装置、计算机可读存储介质、电子设备
KR20140005276A (ko) 주시안을 결정하기 위한 방법
JP2014103585A (ja) 立体画像表示装置
JP4580678B2 (ja) 注視点位置表示装置
US20230239457A1 (en) System and method for corrected video-see-through for head mounted displays
JP2000347128A (ja) ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム
CN114371779A (zh) 一种视线深度引导的视觉增强方法
US10082672B2 (en) Display apparatus and method of displaying using electromechanical faceplate
WO2021237952A1 (zh) 一种增强现实的显示系统及方法
JP3976860B2 (ja) 立体映像撮像装置
JP2019042221A (ja) 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム
TWI704473B (zh) 視線向量偵測方向與裝置
JP3325323B2 (ja) 表示装置
CN113888958A (zh) 光学显示装置、光学显示控制方法及显示器
JP2021500601A (ja) 視覚キューを提供する手段を用いる表示装置および表示方法
CN111812857B (zh) 显示装置、方法与应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201016

Address after: 261031, north of Jade East Street, Dongming Road, Weifang hi tech Zone, Shandong province (GoerTek electronic office building, Room 502)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268

Applicant before: GOERTEK Inc.

GR01 Patent grant
GR01 Patent grant