CN110764613A - 基于头戴式眼动模组的眼动追踪校准方法 - Google Patents

基于头戴式眼动模组的眼动追踪校准方法 Download PDF

Info

Publication number
CN110764613A
CN110764613A CN201910976510.5A CN201910976510A CN110764613A CN 110764613 A CN110764613 A CN 110764613A CN 201910976510 A CN201910976510 A CN 201910976510A CN 110764613 A CN110764613 A CN 110764613A
Authority
CN
China
Prior art keywords
screen
calibration
video
calculating
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910976510.5A
Other languages
English (en)
Other versions
CN110764613B (zh
Inventor
陆峰
蒋雨薇
于洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Beihang University
Original Assignee
Qingdao Research Institute Of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Beihang University filed Critical Qingdao Research Institute Of Beihang University
Priority to CN201910976510.5A priority Critical patent/CN110764613B/zh
Publication of CN110764613A publication Critical patent/CN110764613A/zh
Application granted granted Critical
Publication of CN110764613B publication Critical patent/CN110764613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请所述基于头戴式眼动模组的眼动追踪校准方法，使用具有两部相机的头戴式模组，通过某一使用者注视屏幕播放的校准视频对该模组进行自动校准，以实现降低对用户要求和校准过程复杂程度、校准效率较高的设计目的。包含以下步骤：(1)使用者头戴一个眼动模组，所述眼动模组包括两个相机，分别是拍摄使用者眼部的眼部相机和拍摄显示屏幕的世界相机；(2)在屏幕上播放含有一个运动物体的校准视频，使用者注视该校准视频；(3)使用视频显著性检测方法得到校准视频对应的显著图集，并根据显著图集和视频窗口位置计算运动物体在屏幕中的位置；(4)使用未校准的眼动追踪算法计算多帧眼部图像对应的用户注视向量；(5)结合多帧校准视频、及其对应的注视向量和屏幕图像，计算注视向量与屏幕之间的映射关系，以此计算出注视向量对应的屏幕注视点，实现自动校准。

Description

基于头戴式眼动模组的眼动追踪校准方法
技术领域
本发明涉及一种头戴式眼动模组以及基于模组进行眼动追踪算法的自动校准方法，属于计算机视觉和计算机图形学领域。
背景技术
随着眼动追踪技术的快速发展，眼动追踪在计算机视觉领域的关注度也日益增加。目前大多头戴式眼动模组需要在使用前针对每个使用者实现校准。校准的原因有两个：首先，大部分头戴式的眼动模组仅能估计出使用者注视向量，而使用眼动模组实际上需要计算注视点，要计算注视点需要知道注视向量到屏幕的映射关系，映射关系由校准过程计算；其次，目前主流的头戴式眼动模组仅能估计用户眼球的光轴，并根据光轴计算用户注视点，然而实际上用户注视点是由视轴决定的，视轴和光轴之间存在夹角，且该夹角大小因人而异。若使用光轴估计注视点，则估计注视点与实际注视点误差会相对较大，因此需要校准。
现有较常见主流的眼动追踪模组需要用户凝视多个校准点，进行用户校准，此种校准方式需要用户集中注意力去看屏幕上的点，过程较为繁琐，对用户的要求较高。
有鉴于此，特提出本申请。
发明内容
本申请所述的基于头戴式眼动模组的眼动追踪校准方法，在于解决上述现有技术存在的问题而无需在校准过程由用户主动地与注视点进行交互，使用具有两部相机的头戴式模组，通过某一使用者注视屏幕播放的校准视频对该模组进行自动校准，以实现降低对用户要求和校准过程复杂程度、校准效率较高的设计目的。
本申请基于头戴式眼动模组的眼动追踪校准方法，主要包含以下步骤：
(1)使用者头戴一个眼动模组，所述眼动模组包括两个相机，分别是拍摄使用者眼部的眼部相机和拍摄显示屏幕的世界相机；
(2)在屏幕上播放含有一个运动物体的校准视频，使用者注视该校准视频，两个相机实时地拍摄使用者眼部和显示屏幕；
(3)使用视频显著性检测方法得到校准视频对应的显著图集，并根据显著图集和视频窗口位置计算运动物体在屏幕中的位置；
(4)使用未校准的眼动追踪算法计算多帧眼部图像对应的用户注视向量；
(5)结合多帧校准视频、及其对应的注视向量和屏幕图像，计算注视向量与屏幕之间的映射关系，根据此映射关系计算出注视向量对应的屏幕注视点，实现自动校准。
在上述步骤(5)中，计算注视向量与屏幕之间的映射关系包括有以下步骤：
(5A.1)结合每帧视频对应的物体位置和其对应的屏幕图像，计算屏幕与世界相机之间的映射关系Rs2w和ts2w，并将每帧对应的物体位置变换到世界相机坐标系下；
(5A.2)结合每帧视频对应的世界相机坐标系下物体位置和其对应的注视向量，计算世界相机与眼部相机之间的映射关系Rw2e和tw2e；
(5A.3)根据(5A.1)、(5A.2)中分别得到的映射关系，计算眼部相机与屏幕之间的映射关系Rs2e和ts2e，Rs2e＝Rw2e·Rs2w，ts2e＝Rw2e·ts2w+tw2e；
根据Rs2e和ts2e，按以下公式计算屏幕坐标系下注视点Ps(xs,ys,0)，则点(xs,ys)即为屏幕注视点。
综上所述，本申请与现有技术相比所具有的优点和有益效果在于：
现有眼动追踪模组的校准方法，需要用户凝视屏幕上多个校准点，对用户要求较高且较为繁琐；而本申请提出的校准方法，是通过在使用者实时观看校准视频的过程中实现校准，既实现对用户的要求较低，校准过程快捷准确，有利于眼动追踪技术的使用和推广。
附图说明
图1是本申请所采用的头戴式眼动模组的结构示意图；
图2是本申请所述校准方法涉及的坐标系及其关系示意图；
图3是本申请所述校准方法的流程示意图。
具体实施方式
下面结合附图和具体实施方式对本申请做进一步详细地说明。
如图1所示，使用者头戴一个眼动模组用以观看屏幕显示的视频，该眼动模组包括两个相机，分别是拍摄使用者眼部的眼部相机和拍摄显示屏幕的世界相机。
结合图1至图3，所述基于头戴式眼动模组的眼动追踪校准方法，包含以下步骤：
一种基于头戴式眼动模组的眼动追踪校准方法，其特征在于：包含以下步骤，
(1)使用者头戴上述眼动模组；
(2)在屏幕上播放含有一个运动物体、帧数在50帧至300帧的校准视频，使用者注视该校准视频，两个相机实时地拍摄使用者眼部和显示屏幕；
(3)使用视频显著性检测方法得到校准视频对应的显著图集，并根据显著图集和视频窗口位置计算运动物体在屏幕中的位置；
(4)使用未校准的眼动追踪算法计算多帧眼部图像对应的用户注视向量；
(5)结合多帧校准视频、及其对应的注视向量和屏幕图像，计算注视向量与屏幕之间的映射关系，包括：
(5A.1)结合每帧视频对应的物体位置和其对应的屏幕图像，计算屏幕与世界相机之间的映射关系Rs2w和ts2w，并将每帧对应的物体位置变换到世界相机坐标系下；
(5A.2)结合每帧视频对应的世界相机坐标系下物体位置和其对应的注视向量，计算世界相机与眼部相机之间的映射关系Rw2e和tw2e；
(5A.3)根据(5A.1)、(5A.2)中分别得到的映射关系，计算眼部相机与屏幕之间的映射关系Rs2e和ts2e；
根据Rs2e和ts2e计算出注视向量对应的屏幕注视点，实现自动校准。
如图2所示，上述校准方法在计算眼部相机坐标系与屏幕坐标系的变换关系过程：
首先，以屏幕位于屏幕坐标系Z＝0平面建立屏幕坐标系，因此视频中运动物体在屏幕坐标系中的位置为Psc(xsc,ysc,0)；结合每帧屏幕坐标系下，运动物体位置和其对应的世界相机拍摄的屏幕图像，计算每帧图像对应的屏幕坐标系与世界相机坐标系之间的变换关系Rs2w和ts2w，并将每帧对应的屏幕坐标系下的物体位置变换到世界相机坐标系下，得到世界坐标系下的物体位置Pwc。
其次，结合每帧对应的世界相机坐标系下物体位置Pwc和其对应的注视向量gaze(xg,yg,zg)，计算世界相机坐标系与眼部相机坐标系之间的变换关系Rw2e和tw2e。
再次，以上两个步骤所求的Rs2w和ts2w、以及Rw2e和tw2e，使用以下公式计算眼部相机坐标系与屏幕坐标系的变换关系Rs2e和ts2e：
Rs2e＝Rw2e·Rs2w，ts2e＝Rw2e·ts2w+tw2e
最后，按以下公式计算屏幕坐标系下注视点Ps(xs,ys,0)，则点(xs,ys)即为屏幕注视点。
Figure BDA0002233816110000031
Figure BDA0002233816110000032
其中：gaze＝(xg,yg,zg),c＝(xc,yc,zc),b1＝t1-xc,b2＝t2-yc,b3＝t3-zc
Figure BDA0002233816110000033
ts2e＝(t1,t2,t3)T
Figure BDA0002233816110000034
具体地，c＝(xc,yc,zc)为眼球模型中的眼球中心三维坐标。
Rs2e为3×3的旋转矩阵、ts2e为3×1的平移向量，定义Rs2e矩阵中的各个实数为r11...r33，同理定义ts2e中的各个实数为t1...t3，则由t1...t3、xc...zc为前提定义参数b1...b3。
以下结合具体实例来说明上述自地校准过程：
设置视频窗口左上角位于屏幕(100，100)处，窗口大小为视频大小1600×900，在屏幕上播放校准视频，视频共有164帧。使用者注视视频，同时使用眼部相机和世界相机分别拍摄使用者眼部和屏幕；
使用《A Fully-Automatic,Temporal Approach to Single Camera,Glint-Free3D Eye Model Fitting》(作者：L.
Figure BDA0002233816110000041
and N.A.Dodgson.，发表于2013年的ECEM会议，即欧洲眼动大会/European Confer-ence on Eye Movements)中描述的方法估计每帧眼部图像对应的注视向量，该方法首先检测每帧眼部图像的瞳孔椭圆，然后根据前30帧图像对应的瞳孔椭圆运动轨迹建立眼球模型、根据眼球模型和眼部图像对应瞳孔椭圆计算注视向量，得到164个注视向量gaze1＝(-0.1628175,-0.4458518,-0.880174)……gaze164＝(-0.1508127,-0.4787204,-0.864917)，眼球中心c＝(-0.9593221,0.61270801,48.7686694)。
使用《A Video Saliency Detection Model in Compressed Domain》(作者：Yuming Fang,Weisi Lin,Zhenzhong Chen,Chia-Ming Tsai,Chia-Wen Lin，《IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》，2014年1月)中描述的方法对校准视频进行检测，该方法利用压缩信息分别提取每帧校准视频帧对应的空域特征、时域特征，从而计算出每帧校准视频对应的空间显著图和时间显著图，并对这两个显著图进行融合，得到校准视频对应的显著图集S1……S164，根据显著图集和视频窗口位置计算物体在屏幕中的位置Psc1＝(674,446)……Psc164＝(670,441)。
结合多帧校准视频、及其对应的注视向量和屏幕图像，计算眼部相机坐标系与屏幕坐标系的变换关系，过程如下：
以屏幕位于屏幕坐标系Z＝0平面建立屏幕坐标系，因此物体在屏幕坐标系中的位置为Psc1＝(674,446,0)……Psc164＝(670,441,0)。结合每帧屏幕坐标系下物体位置和其对应的世界相机拍摄的屏幕图像，计算每帧图像对应的屏幕坐标系与世界相机坐标系之间的变换关系Rs2w和ts2w，并将每帧对应的屏幕坐标系下的物体位置变换到世界相机坐标系下，得到世界坐标系下的物体位置Pwc1＝(49.8369861,357.4989671,2662.35394367)……，Pwc164＝(37.5309516,344.6858898,2660.6479805)。
结合每帧对应的世界相机坐标系下物体位置Pwc和其对应的注视向量gaze(xg,yg,zg)，并使用非线性优化方法计算世界相机坐标系与眼部相机坐标系之间的变换关系Rw2e和tw2e。
根据以上所求的变换关系Rs2w和ts2w、以及Rw2e和tw2e，使用以下公式计算眼部相机坐标系与屏幕坐标系的变换关系Rs2e和ts2e：
Rs2e＝Rw2e·Rs2w，ts2e＝Rw2e·ts2w+tw2e
使用以下公式计算屏幕坐标系下注视点Ps(xs,ys,0)，则点(xs,ys)即为屏幕注视点。
Figure BDA0002233816110000051
Figure BDA0002233816110000052
其中：
gaze＝(xg,yg,zg),c＝(xc,yc,zc),b1＝t1-xc,b2＝t2-yc,b3＝t3-zc
Figure BDA0002233816110000053
ts2e＝(t1,t2,t3)T
Figure BDA0002233816110000054
得……xsi＝(554.2242557),ysi＝(422.0636285)……
计算结果注视点和校准点的欧式距离，得到有96.5％的结果注视点与校准点的欧式距离小于15像素，从而实现了校准。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (2)

1.一种基于头戴式眼动模组的眼动追踪校准方法，其特征在于：包含以下步骤，
(1)使用者头戴一个眼动模组，所述眼动模组包括两个相机，分别是拍摄使用者眼部的眼部相机和拍摄显示屏幕的世界相机；
(2)在屏幕上播放含有一个运动物体的校准视频，使用者注视该校准视频，两个相机实时地拍摄使用者眼部和显示屏幕；
(3)使用视频显著性检测方法得到校准视频对应的显著图集，并根据显著图集和视频窗口位置计算运动物体在屏幕中的位置；
(4)使用未校准的眼动追踪算法计算多帧眼部图像对应的用户注视向量；
(5)结合多帧校准视频、及其对应的注视向量和屏幕图像，计算注视向量与屏幕之间的映射关系，根据此映射关系计算出注视向量对应的屏幕注视点，实现自动校准。
2.根据权利要求1所述的基于头戴式眼动模组的眼动追踪校准方法，其特征在于：所述的步骤(5)中，计算注视向量与屏幕之间的映射关系包括有以下步骤，
(5A.1)结合每帧视频对应的物体位置和其对应的屏幕图像，计算屏幕与世界相机之间的映射关系Rs2w和ts2w，并将每帧对应的物体位置变换到世界相机坐标系下；
(5A.2)结合每帧视频对应的世界相机坐标系下物体位置和其对应的注视向量，计算世界相机与眼部相机之间的映射关系Rw2e和tw2e；
(5A.3)根据(5A.1)、(5A.2)中分别得到的映射关系，计算眼部相机与屏幕之间的映射关系Rs2e和ts2e，Rs2e＝Rw2e·Rs2w，ts2e＝Rw2e·ts2w+tw2e；
根据Rs2e和ts2e，按以下公式计算屏幕坐标系下注视点Ps(xs,ys,0)，则点(xs,ys)即为屏幕注视点。
CN201910976510.5A 2019-10-15 2019-10-15 基于头戴式眼动模组的眼动追踪校准方法 Active CN110764613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910976510.5A CN110764613B (zh) 2019-10-15 2019-10-15 基于头戴式眼动模组的眼动追踪校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910976510.5A CN110764613B (zh) 2019-10-15 2019-10-15 基于头戴式眼动模组的眼动追踪校准方法

Publications (2)

Publication Number Publication Date
CN110764613A true CN110764613A (zh) 2020-02-07
CN110764613B CN110764613B (zh) 2023-07-18

Family

ID=69331138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910976510.5A Active CN110764613B (zh) 2019-10-15 2019-10-15 基于头戴式眼动模组的眼动追踪校准方法

Country Status (1)

Country Link
CN (1) CN110764613B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427150A (zh) * 2020-03-12 2020-07-17 华南理工大学 用于虚拟现实头戴式显示下的眼动信号处理方法及可穿戴设备
CN111528859A (zh) * 2020-05-13 2020-08-14 浙江大学人工智能研究所德清研究院 基于多模态深度学习技术的儿童adhd筛查评估系统
CN112381735A (zh) * 2020-11-16 2021-02-19 吉林大学 一种头戴式眼动仪aoi边界点像素坐标系同一化方法
CN112578905A (zh) * 2020-11-17 2021-03-30 北京津发科技股份有限公司 一种针对移动终端的人机交互测试方法及系统
CN112578904A (zh) * 2020-11-17 2021-03-30 北京津发科技股份有限公司 一种针对移动终端的人机交互测试装置
CN112674770A (zh) * 2020-12-22 2021-04-20 北京科技大学 基于图像的显著性差异和情绪分析的抑郁人群眼动鉴别方法
CN112732071A (zh) * 2020-12-11 2021-04-30 浙江大学 一种免校准眼动追踪系统及应用
CN113158879A (zh) * 2021-04-19 2021-07-23 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN113253851A (zh) * 2021-07-16 2021-08-13 中国空气动力研究与发展中心计算空气动力研究所 一种基于眼动跟踪的沉浸式流场可视化人机交互方法
CN113793389A (zh) * 2021-08-24 2021-12-14 国网甘肃省电力公司 一种增强现实系统虚实融合标定方法及装置
CN113934288A (zh) * 2020-06-29 2022-01-14 北京七鑫易维信息技术有限公司 针对移动平台的注视轨迹分析系统和方法
CN114296548A (zh) * 2021-12-14 2022-04-08 杭州朱道实业有限公司 一种展览用智能移动识别信息系统
EP4226906A4 (en) * 2020-10-07 2024-10-30 SIGHT LINE POSITION DETERMINATION DEVICE, SIGHT LINE POSITION DETERMINATION METHOD, AND LEARNING METHOD

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239670A1 (en) * 2005-04-04 2006-10-26 Dixon Cleveland Explicit raytracing for gimbal-based gazepoint trackers
CN105393160A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 基于眼睛注视的相机自动聚焦
CN108958473A (zh) * 2017-05-22 2018-12-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
US20190204913A1 (en) * 2017-12-29 2019-07-04 AdHawk Microsystems Eye-tracking calibration
US20190235624A1 (en) * 2016-07-19 2019-08-01 Supereye, Inc. Systems and methods for predictive visual rendering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239670A1 (en) * 2005-04-04 2006-10-26 Dixon Cleveland Explicit raytracing for gimbal-based gazepoint trackers
CN105393160A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 基于眼睛注视的相机自动聚焦
US20190235624A1 (en) * 2016-07-19 2019-08-01 Supereye, Inc. Systems and methods for predictive visual rendering
CN108958473A (zh) * 2017-05-22 2018-12-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
US20190204913A1 (en) * 2017-12-29 2019-07-04 AdHawk Microsystems Eye-tracking calibration

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427150A (zh) * 2020-03-12 2020-07-17 华南理工大学 用于虚拟现实头戴式显示下的眼动信号处理方法及可穿戴设备
CN111528859A (zh) * 2020-05-13 2020-08-14 浙江大学人工智能研究所德清研究院 基于多模态深度学习技术的儿童adhd筛查评估系统
CN113934288A (zh) * 2020-06-29 2022-01-14 北京七鑫易维信息技术有限公司 针对移动平台的注视轨迹分析系统和方法
EP4226906A4 (en) * 2020-10-07 2024-10-30 SIGHT LINE POSITION DETERMINATION DEVICE, SIGHT LINE POSITION DETERMINATION METHOD, AND LEARNING METHOD
CN112381735A (zh) * 2020-11-16 2021-02-19 吉林大学 一种头戴式眼动仪aoi边界点像素坐标系同一化方法
CN112381735B (zh) * 2020-11-16 2022-04-05 吉林大学 一种头戴式眼动仪aoi边界点像素坐标系同一化方法
CN112578904A (zh) * 2020-11-17 2021-03-30 北京津发科技股份有限公司 一种针对移动终端的人机交互测试装置
CN112578904B (zh) * 2020-11-17 2021-12-14 北京津发科技股份有限公司 一种针对移动终端的人机交互测试装置
CN112578905A (zh) * 2020-11-17 2021-03-30 北京津发科技股份有限公司 一种针对移动终端的人机交互测试方法及系统
CN112732071A (zh) * 2020-12-11 2021-04-30 浙江大学 一种免校准眼动追踪系统及应用
CN112674770A (zh) * 2020-12-22 2021-04-20 北京科技大学 基于图像的显著性差异和情绪分析的抑郁人群眼动鉴别方法
CN113158879A (zh) * 2021-04-19 2021-07-23 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN113158879B (zh) * 2021-04-19 2022-06-10 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN113253851A (zh) * 2021-07-16 2021-08-13 中国空气动力研究与发展中心计算空气动力研究所 一种基于眼动跟踪的沉浸式流场可视化人机交互方法
CN113793389A (zh) * 2021-08-24 2021-12-14 国网甘肃省电力公司 一种增强现实系统虚实融合标定方法及装置
CN113793389B (zh) * 2021-08-24 2024-01-26 国网甘肃省电力公司 一种增强现实系统虚实融合标定方法及装置
CN114296548A (zh) * 2021-12-14 2022-04-08 杭州朱道实业有限公司 一种展览用智能移动识别信息系统

Also Published As

Publication number Publication date
CN110764613B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN110764613A (zh) 基于头戴式眼动模组的眼动追踪校准方法
CN111047510B (zh) 一种基于标定的大视场角图像实时拼接方法
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN112085659B (zh) 一种基于球幕相机的全景拼接融合方法、系统及存储介质
CN106650682B (zh) 一种人脸追踪的方法及装置
US11941167B2 (en) Head-mounted VR all-in-one machine
CN107431803A (zh) 全景虚拟现实内容的捕捉和渲染
CN107105333A (zh) 一种基于视线追踪技术的vr视频直播交互方法与装置
WO2019041614A1 (zh) 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法
WO2020003860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107167924A (zh) 一种虚拟现实设备和虚拟现实设备的透镜调节方法
CN111047709A (zh) 一种双目视觉裸眼3d图像生成方法
CN109885169A (zh) 基于三维眼球模型的眼球参数标定和视线方向跟踪方法
CN107145224A (zh) 基于三维球面泰勒展开的人眼视线跟踪方法和装置
WO2020090316A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2020071029A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN110047039A (zh) 一种面向虚拟现实交互的冗余视场全景影像构建方法
CN107197135A (zh) 一种视频生成方法、播放方法及视频生成装置、播放装置
US11892637B2 (en) Image generation apparatus, head-mounted display, content processing system, and image display method
CN113887329A (zh) 一种头部姿态定位与检测方法及其应用和系统
WO2022133683A1 (zh) 一种混合现实显示的方法、混合现实设备及存储介质
CN111915739A (zh) 一种实时三维全景信息互动影息系统
CN111815382A (zh) 一种基于人脸识别技术的眼镜虚拟试戴方法
CN109963143A (zh) 一种ar眼镜的图像获取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant