CN109240497B - 一种在虚拟现实场景中的眼动追踪自动校准方法 - Google Patents

一种在虚拟现实场景中的眼动追踪自动校准方法 Download PDF

Info

Publication number
CN109240497B
CN109240497B CN201810985487.1A CN201810985487A CN109240497B CN 109240497 B CN109240497 B CN 109240497B CN 201810985487 A CN201810985487 A CN 201810985487A CN 109240497 B CN109240497 B CN 109240497B
Authority
CN
China
Prior art keywords
calculating
area
point
gazing
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810985487.1A
Other languages
English (en)
Other versions
CN109240497A (zh
Inventor
陆峰
蒋雨薇
于洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Beihang University
Original Assignee
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics, Beihang University filed Critical Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority to CN201810985487.1A priority Critical patent/CN109240497B/zh
Publication of CN109240497A publication Critical patent/CN109240497A/zh
Application granted granted Critical
Publication of CN109240497B publication Critical patent/CN109240497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种在虚拟现实场景中的眼动追踪自动校准方法，包括：在虚拟场景的眼动追踪应用中，通过未校准的眼动追踪算法估计用户注视点，并根据注视点选择视觉区域，从而判断用户注视的物体，通过用户注视物体自身特征和注视区域内符合一定规则的物体个数来计算注视物体的显著性概率，并通过显著性概率选择校准物体，从而通过多个校准物体对系统进行校准。本发明提出的方法对用户要求较低，有利于眼动追踪技术的使用和推广。

Description

一种在虚拟现实场景中的眼动追踪自动校准方法
技术领域
本发明涉及计算机视觉和计算机图形学领域，具体地说是一种在虚拟现实场景中的眼动追踪自动校准方法。
背景技术
随着眼动追踪技术的快速发展，眼动追踪在计算机视觉领域的关注度也日益增加。而由于每个用户的眼睛的生理结构存在一些差异，因此目前大多眼动追踪系统需要在使用前对用户进行校准，以获得眼睛半径、角膜曲率、视轴和光轴之间的角度差等眼球生理数据。主流的眼动追踪设备仅能估计用户眼球的光轴，并根据光轴计算用户注视点，然而实际上用户注视点是由视轴决定的，视轴和光轴之间存在夹角，且该夹角大小因人而异。若使用光轴估计注视点，则估计注视点与实际注视点误差会相对较大。因此主流的眼动追踪设备需要用户以一定形式凝视校准点，进行用户校准，从而获取视轴与光轴的夹角，估计该用户的视轴，从而计算注视点。此种校准方式需要用户集中注意力去看场景中的点，过程较为繁琐，对用户的要求较高。
基于上述提出一种对用户要求较低的眼动追踪自动校准方法，则成为本发明所面临的重要课题。
发明内容
针对目前的校准方法需要用户主动与注视点进行交互，对用户要求较高，且较为繁琐等缺陷，本发明提出一种在虚拟现实场景中的眼动追踪自动校准方法，通过用户在场景里的自由漫游，对眼动追踪系统进行校准。
本发明采用以下的技术方案予以实现：
一种在虚拟现实场景中的眼动追踪自动校准方法，包含以下步骤：
(1)用户自由漫游场景，使用未校准眼动追踪算法获取注视点，并记录；
(2)选择一定范围的视觉区域，获取并计算该区域的物体信息；
(3)估计用户注视物体，计算该物体显著性，从而选择校准物体；
(4)统计校准物体个数，大于阈值则将所有选中的校准物体的中心点作为多个校准点，并进行校准；
进一步地，所述步骤(2)的视觉区域选择主要包括以下步骤：
(2A.1)连接注视点和头显在场景中的位置坐标点为一条直线；
(2A.2)以注视点为圆心垂直(2A.1)中的直线建一个圆面，半径为R1；
(2A.3)以(2A.2)中圆面为底以头显位置坐标点为顶点建一个圆锥作为视锥；
(2A.4)在视锥底面圆下建一个以(2A.1)中直线为中轴线半径为R1的半球；
(2A.5)半球和视锥组成视觉区域。
进一步地，步骤(2)的获取并计算该区域的物体信息主要包括以下步骤：
(2B.1)寻找中心点坐标在视觉区域内的物体并标记；
(2B.2)统计视觉区域的物体个数；
(2B.3)根据中心点坐标计算该区域每个物体的深度和位置范围。
进一步地，步骤(3)的选择校准物体并进行相应计算主要包括以下步骤：
(3.1)根据用户注视点和视觉区域的物体位置范围判断注视物体；
(3.2)计算用户注视时间，并计算时间显著性概率；
(3.3)获取注视物体透明度，并计算透明度显著性概率；
(3.4)将物体投影到相机平面上，计算物体与背景的RGB三通道像素差值，并计算出RGB三通道各自的颜色显著性概率，并依此计算物体颜色显著性概率；
(3.5)计算投影后注视物体的面积，计算大小显著性概率；
(3.6)计算注视物体和视觉区域内各物体的深度差值，统计差值的绝对值小于阈值的物体个数，并依此计算深度显著性概率；
(3.7)根据(2B.2)中统计的视觉区域物体个数计算区域显著性概率；
(3.8)根据(3.2)至(3.7)步中计算的时间、透明度、颜色、大小、深度、区域显著性概率计算总显著性概率；
(3.9)总显著性概率大于一定阈值则作为一个校准物体。
进一步地，步骤(3.4)中将物体投影到相机平面上包括以下步骤：
(3.41)以注视物体中心点为球心，建一个与物体相切的球体B2，其半径为R2。
(3.42)再以注视物体中心点为球心，建一个半径为R2+r的球体B3。
(3.43)将球体B3所围区域投影到相机平面上，则B2外B3内的部分为背景区域的投影。
与现有技术相比，本发明的优点和积极效果在于：
相比目前的校准方法需要用户主动与注视点进行交互，对用户要求较高，且较为繁琐，本发明提出的一种在虚拟现实场景中的自动校准方法，并不要求用户主动参与校准过程，而是通过在场景中自由漫游实现校准，本发明提出的方法对用户要求较低，有利于眼动追踪技术的使用和推广。
附图说明
图1是本发明的场景坐标系示意图；
图2是本发明的视觉区域示意图；
图3是本发明的物体投影区域示意图；
图4是本发明的总流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细地说明。
参考图4，本实施例提出一种在虚拟现实场景中的眼动追踪自动校准方法，包括如下步骤：
第一步，在虚拟场景的中心点建立坐标系，如图1所示。让用户自由漫游虚拟场景，在用户开始漫游的时刻开始记录系统时间，根据目前现有的眼动追踪算法计算出用户注视点(xG,yG,zG)，并记录。
第二步，将头显位置(xU,yU，zU)作为用户在场景中的位置坐标，连接头显位置(xU,yU，zU)和注视点(xG,yG,zG)作一条直线lUG，以注视点(xG,yG,zG)为中心作一个半径为R1且垂直直线lUG的三维圆面C，以圆面C为底头显位置为顶点作一个圆锥体Cn，再以圆面C为顶建一个半径为R1的半球B1，半球与圆锥体所围空间作为视觉区域，如图2所示，图中左侧点即为注视点，右侧点为头显位置点，中间线为直线lUG，内圆圈为圆面C，外圆圈所围区域为视觉区域。寻找中心点坐标(xoi,yoi,zoi)在视觉区域内的物体，对其进行标记并统计个数na。此处假设虚拟场景中的物体位置由中心点坐标表示，且根据中心点坐标和物体大小信息可以计算出物体在空间中的位置范围。通过下面公式计算视觉区域内每个物体的深度d，并根据中心点坐标计算出每个物体在空间中的位置范围。
Figure BDA0001779604600000041
第三步，根据注视点和视觉区域中所有物体的位置范围找到注视物体，并根据系统时间计算出用户注视时间t。下面公式计算时间显著性概率Pt。
Figure BDA0001779604600000042
获取物体的透明度α，假设透明度用百分比表示，计算透明度显著性概率Pα。
Pα＝α2
以注视物体中心点为球心，建一个与物体相切的球体B2，其半径为R2，再以注视物体中心点为球心，建一个半径为R2+r的球体B3，将球体B3所围区域投影到相机平面上，如图3所示。其中圈内阴影不规则图案是物体的投影，内圆圈是B2的投影，外圆圈是B3的投影。如图3所示，每隔a°选择距圆心r1位置的点P1和距圆心r2位置的点P2，P1的RGB三通道像素值减去和P2的RGB三通道的像素差的绝对值，后求各角度像素差值的平均值作为总像素差值cR、cG、cB，通过以下公式分别计算RGB三通道的颜色显著性概率PR、PG、PB。
Figure BDA0001779604600000043
Figure BDA0001779604600000044
Figure BDA0001779604600000045
设置RGB三通道的权重分别为ωR、ωG、ωB，且ωR、ωG、ωB的和为1。通过以下公式计算出注视物体的颜色显著性概率PC。
PC＝ωR·PR+ωG·PG+ωB·PB
根据注视物体的投影轮廓计算投影注视物体的面积S，通过下面的公式计算出注视物体的大小显著性概率PS，其中μS是一个预先设定的大小阈值。
Figure BDA0001779604600000051
计算注视物体和视觉区域内各物体的深度差值，统计深度差值绝对值小于阈值φd的物体个数nd。通过下面公式计算深度显著性概率Pd。
Figure BDA0001779604600000052
根据第二步得到的区域物体个数na，计算区域显著性概率Pa。
Figure BDA0001779604600000053
根据计算出的时间显著性概率Pt、透明度显著性概率Pα、颜色显著性概率PC、大小显著性概率PS、深度显著性概率Pd、区域显著性概率Pa，通过下面计算总显著性概率P，其中ωt、ωα、ωC、ωS、ωd、ωa分别是时间显著性概率、透明度显著性概率、大小显著性概率、深度显著性概率、区域显著性概率对应的权重，且所有权重和为1。
P＝ωt·Pt+ωα·Pα+ωC·PC+ωS·PS+ωd·Pd+ωa·Pa
若P大于阈值φ，则将注视物体作为一个校准物体。
第四步，将校准物体的中心点作为校准点，当当前校准物体数大于阈值N时，使用现有的多点校准方法对系统进行校准。
如下，结合实例说明本发明的实现过程，具体步骤为：
第一步，在用户开始使用系统时记录系统时间为13:40:30(13点40分30秒)，用户自由地漫游虚拟场景，用《Estimating 3-D Point-of-Regard in a Real EnvironmentUsing a Head-Mounted Eye-Tracking System》论文的方法实时估计用户注视点。
第二步，13:46:15时估计用户注视点为(34,21,55)，而此时获取头显位置为(50,33,161)。连接这两点作一条直线lUG，计算直线方程。以注视点(34,21,55)为中心作一个半径为50且垂直直线lUG的三维圆面C，以圆面C为底头显位置为顶点作一个圆锥体Cn，再以圆面C为顶建一个半径为50的半球B1，半球与圆锥体所围空间即为当前视觉区域。寻找中心点坐标在视觉区域内的物体，统计物体个数为3个，其中心点坐标为(34,21,66)、(66，53，24)、(40,12,88)。计算这三个物体的深度，分别为20,25.61,23.25，而物体1的位置范围为(20,20,50)至(40,30,70)，物体2的位置范围为(50,50,20)至(70,60,30)，物体3的位置范围为(30,5,80)至(45,15,90)。
第三步，由于注视点位置为(34,21,55)则用户注视物体为物体1。实时统计用户注视点并进行判断，记录到用户在13:46:18时注视点离开物体1，因此注视物体1的时间为3秒，计算出时间显著性为95.26％。
获取物体透明度α为100％，则透明度显著性概率为100％。
以注视物体中心点(34,21,66)为球心，建一个与物体相切的球体B2，其半径为10，再以注视物体中心点(34,21,66)为球心，建一个半径为12的球体B3，将球体B3所围区域投影到相机平面上，参考图3。每隔15°选择距圆心5距离的位置的点P1和距圆心11距离的位置的点P2，P1的RGB三通道像素值减去和P2的RGB三通道的像素差的绝对值作为像素差值。求各角度三通道像素差值的平均值为58,76,100。计算RGB三通道的颜色显著性概率分别为47.60％，54.49％，62.50％。设三通道权重均为1/3，则颜色显著性概率为54.87％。
计算投影物体面积为106，而大小阈值μS为100，所以大小显著性为98.22％。
注视物体与视觉区域内各物体的深度差值为5.61和3.25，阈值φd为5，所以深度差值小于阈值的物体个数为1，所以深度显著性为50％。
视觉区域内物体有3个，所以区域显著性为33.33％。
设所有显著性的权重均为1/6，所以总显著性为71.95％。设阈值φ为70％，因此注视物体是校准物体。
第四步，重复上述步骤，直到当前校准物体个数为27个时，使用《Binocular Eyetracking Calibration During a Virtual Ball Catching task using Head MountedDisplay》论文中的校准方法对系统校准。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (3)

1.一种在虚拟现实场景中的眼动追踪自动校准方法，其特征在于包含以下步骤：
(1)用户自由漫游场景，使用未校准眼动追踪算法获取注视点，并记录；
(2)选择一定范围的视觉区域，获取并计算该区域的物体信息；
所述获取并计算该区域的物体信息主要包括以下步骤：
(2B.1)寻找中心点坐标在视觉区域内的物体并标记；
(2B.2)统计视觉区域的物体个数；
(2B.3)根据中心点坐标计算该区域每个物体的深度和位置范围；
(3)估计用户注视物体，计算该物体显著性，从而选择校准物体；
所述选择校准物体并进行相应计算主要包括以下步骤：
(3.1)根据用户注视点和视觉区域的物体位置范围判断注视物体；
(3.2)计算用户注视时间，并计算时间显著性概率；
(3.3)获取注视物体透明度，并计算透明度显著性概率；
(3.4)将物体投影到相机平面上，计算物体与背景的RGB三通道像素差值，并计算出RGB三通道各自的颜色显著性概率，并依此计算物体颜色显著性概率；
(3.5)计算投影后注视物体的面积，计算大小显著性概率；
(3.6)计算注视物体和视觉区域内各物体的深度差值，统计差值的绝对值小于阈值的物体个数，并依此计算深度显著性概率；
(3.7)根据(2B.2)中统计的视觉区域物体个数计算区域显著性概率；
(3.8)根据(3.2)至(3.7)步中计算的时间、透明度、颜色、大小、深度、区域显著性概率计算总显著性概率；
(3.9)总显著性概率大于一定阈值则作为一个校准物体；
(4)统计校准物体个数，大于阈值则将所有选中的校准物体的中心点作为多个校准点，并进行校准。
2.根据权利要求1所述的一种在虚拟现实场景中的眼动追踪自动校准方法，其特征在于：所述步骤(2)的视觉区域选择主要包括以下步骤：
(2A.1)连接注视点和头显在场景中的位置坐标点为一条直线；
(2A.2)以注视点为圆心垂直(2A.1)中的直线建一个圆面，半径为R1；
(2A.3)以(2A.2)中圆面为底以头显位置坐标点为顶点建一个圆锥作为视锥；
(2A.4)在视锥底面圆下建一个以(2A.1)中直线为中轴线半径为R1的半球；
(2A.5)半球和视锥组成视觉区域。
3.根据权利要求2所述的一种在虚拟现实场景中的眼动追踪自动校准方法，其特征在于：步骤(3.4)中将物体投影到相机平面上包括以下步骤：
(3.41)以注视物体中心点为球心，建一个与物体相切的球体B2，其半径为R2；
(3.42)再以注视物体中心点为球心，建一个半径为R2+r的球体B3；
(3.43)将球体B3所围区域投影到相机平面上，则B2外B3内的部分为背景区域的投影。
CN201810985487.1A 2018-08-28 2018-08-28 一种在虚拟现实场景中的眼动追踪自动校准方法 Active CN109240497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810985487.1A CN109240497B (zh) 2018-08-28 2018-08-28 一种在虚拟现实场景中的眼动追踪自动校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810985487.1A CN109240497B (zh) 2018-08-28 2018-08-28 一种在虚拟现实场景中的眼动追踪自动校准方法

Publications (2)

Publication Number Publication Date
CN109240497A CN109240497A (zh) 2019-01-18
CN109240497B true CN109240497B (zh) 2021-07-13

Family

ID=65069583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810985487.1A Active CN109240497B (zh) 2018-08-28 2018-08-28 一种在虚拟现实场景中的眼动追踪自动校准方法

Country Status (1)

Country Link
CN (1) CN109240497B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149453A (zh) * 2019-06-26 2020-12-29 北京七鑫易维科技有限公司 眼球追踪的校准方法、装置及系统
CN110458122B (zh) * 2019-08-15 2022-04-22 京东方科技集团股份有限公司 一种视线标校方法、显示装置的播放方法和视线标校系统
CN110908511B (zh) * 2019-11-08 2022-03-15 Oppo广东移动通信有限公司 触发重新校正的方法及相关装置
US11169604B2 (en) 2019-11-15 2021-11-09 Tobii Ab Determination of gaze calibration parameters
CN111338474B (zh) * 2020-02-19 2022-11-08 Oppo广东移动通信有限公司 虚拟对象位姿校准方法及装置、存储介质和电子设备
CN111651043B (zh) * 2020-05-29 2021-10-12 北京航空航天大学 一种支持定制化多通道交互的增强现实系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885583A (zh) * 2012-12-21 2014-06-25 托比伊科技公司 对眼动追踪器进行硬件校准的装置和方法
CN106796449A (zh) * 2014-09-02 2017-05-31 香港浸会大学 视线追踪方法及装置
CN206863205U (zh) * 2017-06-21 2018-01-09 狒特科技（北京）有限公司 自动校准设备航向的装置
CN108259887A (zh) * 2018-04-13 2018-07-06 宁夏大学 注视点校准方法及装置、注视点标定方法及装置
CN108399001A (zh) * 2017-02-06 2018-08-14 上海青研科技有限公司 一种vr/ar中双目立体视觉眼动分析方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302585A1 (en) * 2014-04-22 2015-10-22 Lenovo (Singapore) Pte. Ltd. Automatic gaze calibration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885583A (zh) * 2012-12-21 2014-06-25 托比伊科技公司 对眼动追踪器进行硬件校准的装置和方法
CN106796449A (zh) * 2014-09-02 2017-05-31 香港浸会大学 视线追踪方法及装置
CN108399001A (zh) * 2017-02-06 2018-08-14 上海青研科技有限公司 一种vr/ar中双目立体视觉眼动分析方法及装置
CN206863205U (zh) * 2017-06-21 2018-01-09 狒特科技（北京）有限公司 自动校准设备航向的装置
CN108259887A (zh) * 2018-04-13 2018-07-06 宁夏大学 注视点校准方法及装置、注视点标定方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Binocular Eye tracking Calibration During a Virtual Ball Catching task using Head Mounted Display;Kamran Binaee.etc.;《 Proceedings of the ACM Symposium on Applied Perception》;20160731;参见论文第1-4页 *
视线追踪系统中视线估计方法研究;张闯等;《中国科学》;20110520;第41卷(第5期);全文 *

Also Published As

Publication number Publication date
CN109240497A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109240497B (zh) 一种在虚拟现实场景中的眼动追踪自动校准方法
US10271042B2 (en) Calibration of a head mounted eye tracking system
US10338677B2 (en) Adjusting image frames based on tracking motion of eyes
US11061240B2 (en) Head-mountable apparatus and methods
CN109558012B (zh) 一种眼球追踪方法及装置
US9323075B2 (en) System for the measurement of the interpupillary distance using a device equipped with a screen and a camera
CN106959759B (zh) 一种数据处理方法及装置
Kelly et al. Recalibration of perceived distance in virtual environments occurs rapidly and transfers asymmetrically across scale
CN107358217B (zh) 一种视线估计方法及装置
CN110447224B (zh) 在显示器中控制虚像的方法
WO2016115873A1 (zh) 双目ar头戴显示设备及其信息显示方法
JP2019194702A (ja) 累進眼科用レンズの少なくとも１つの光学的設計パラメータを判断する方法
US11269406B1 (en) Systems and methods for calibrating eye tracking
US11838494B2 (en) Image processing method, VR device, terminal, display system, and non-transitory computer-readable storage medium
US9398847B2 (en) Device for measuring interpupillary distance in a head-mounted display unit
US11663689B2 (en) Foveated rendering using eye motion
US11822718B2 (en) Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
US11463795B2 (en) Wearable device with at-ear calibration
US20210026445A1 (en) Systems and methods for gaze tracking
US20190324528A1 (en) Adjusting gaze point based on determined offset adjustment
WO2019046803A1 (en) RADIATION TRACING SYSTEM FOR OPTICAL HELMETS
WO2021239284A1 (en) Methods, devices and systems enabling determination of eye state variables
CN109963143A (zh) 一种ar眼镜的图像获取方法及系统
US20220229312A1 (en) Method for determining an oriented 3d representation of the head of a person in a natural visual posture
CN109151445B (zh) 一种裸眼3d显示系统及其显示方法和计算机存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant