CN112274153A - 一种基于视线追踪的操控员反应时测定方法 - Google Patents

一种基于视线追踪的操控员反应时测定方法 Download PDF

Info

Publication number
CN112274153A
CN112274153A CN202011251959.4A CN202011251959A CN112274153A CN 112274153 A CN112274153 A CN 112274153A CN 202011251959 A CN202011251959 A CN 202011251959A CN 112274153 A CN112274153 A CN 112274153A
Authority
CN
China
Prior art keywords
pupil
coordinate
coordinates
sight
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011251959.4A
Other languages
English (en)
Inventor
王长元
蒋光毅
王亚文
王利
薛鹏翔
黄文博
师露
王鹏瑞
吴其右
周高豪
徐昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202011251959.4A priority Critical patent/CN112274153A/zh
Publication of CN112274153A publication Critical patent/CN112274153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于视线追踪的操控员反应时测定方法，该方法包括下述步骤：1：在屏幕生成测试图案，开始计时。2：用四个红外光源照射眼部，并用视线跟踪摄像机组获取普尔钦斑坐标、瞳孔中心坐标、瞳孔半径。3：计算尺寸系数。4：瞳孔坐标与普尔钦斑坐标进行尺寸缩放。5：获取瞳孔中心的相对坐标、提取靶平面坐标。6：采用多项式拟合视线，对视线进行估计。7：对瞳孔中心相对坐标，根据靶平面坐标中心点样本进行坐标系变换，确定人眼观察屏幕时的注视点。8：根据视线估计确定人眼观察屏幕时的注视点，判断注视点是否落在测试图案上。本方法克服现有技术存在的系统易失准和使用不方便的问题。

Description

一种基于视线追踪的操控员反应时测定方法
技术领域
本发明涉及视线追踪技术领域，具体涉及一种基于视线追踪的操控员反应时测定方法。
背景技术
飞机、汽车等交通工具驾驶舱仪表盘操控员的反应速度对于操作安全具有重要意义。随着设计制造工艺的提高，因机械故障、气象环境等因素导致的操作事故不断减少，而由于操作员失误造成的事故却在逐渐增加，因此如何有效的训练操作员的反应能力、减少事故的发生率，已经成为操作安全研究关注的热点。视线追踪技术能够通过跟踪操作员在不同阶段执行不同任务时，眼球在各个兴趣区之间转移的反应时长短，对操作员的认知能力和操作状态进行实时的监测，从而实现对操作员失误行为进行早期的预警。
目前，操作员的视线追踪多采用的是单光源系统，只使用一个普尔钦斑作为参考点，存在的问题是：当注视点不变时，头部来回运动就会引起瞳孔-普尔钦斑相对位置的变化，造成系统失准，因此单光源系统要求使用者头部位置固定在系统标定时的位置，使用很不方便。
发明内容
本发明要提供一种基于视线追踪的操控员反应时测定方法，以克服现有技术存在的系统易失准和使用不方便的问题。
为了达到本发明的目的，本发明提供一种基于视线追踪的操控员反应时测定方法，所采用的装置包括屏幕、四光源阵列和摄像机组，所述四光源阵列中的四个红外光源分别置于屏幕的四个角，摄像机组位于屏幕正下方。
所采用的测定过程，包括下述步骤：
第一步：在屏幕生成测试图案，开始计时。
第二步：用四个红外光源照射眼部，并用视线跟踪摄像机组获取普尔钦斑坐标、瞳孔中心坐标、瞳孔半径r。
第三步：计算尺寸系数Cs。
第四步：瞳孔坐标与普尔钦斑坐标进行尺寸缩放，消除用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响。
第五步：获取瞳孔中心的相对坐标Pq(xq,yq)、提取靶平面坐标。
第六步：采用多项式拟合视线，对视线进行估计。
第七步：对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换，确定人眼观察屏幕时的注视点。
第八步：根据视线估计确定人眼观察屏幕时的注视点，判断注视点是否落在测试图案上，若落在图案上，则关闭测试图案，结束计时，完成测定；若注视点未落在测试图案上，则从第一步重复开始。
进一步的，第二步中摄像机组获取的普尔钦斑坐标为四光源在屏幕中位置分别对应的四个点左上角p1(u1,v1)、左下角p2(u2,v2)、右上角p3(u3,v3)、右下角p4(u4,v4)，瞳孔中心坐标为pq(uq,vq)，半径为r；
第三步中，设lij为眼球图像中pipj两点之间的像素长度，则尺寸系数Cs如(式1)，为普尔钦斑四边形面积的导数。普尔钦斑坐标和瞳孔中心坐标乘以尺寸系数后，将瞳孔坐标与普尔钦斑坐标进行尺寸缩放，缩放后的坐标为瞳孔普尔钦斑与普尔钦斑点阵四边形相对坐标，最后以一个普尔钦斑点为参考原点平移坐标系，获得瞳孔中心的相对坐标。
进一步的，第三步中，将左上角点为参考原点，获得瞳孔中心的相对坐标Pq(xq,yq)
Figure BDA0002771864960000021
进一步的，第四步中四边形的形状变化用两组对边之间夹角表示，设Lij为pipj两点之间的直线，则L12与L34为一组，夹角记为θa，表达式如式2所示。L13与L24为一组，夹角记为θb，同理可得θb的值。
Figure BDA0002771864960000022
预处理后的数据构成一个状态向量Teye，如式3，视线估计则基于该向量为数据基础，通过系统标定以及机器学习实现视线的估计。
Teye＝[xq,yq,r,Cs,θa,θb] (式3)。
与现有技术相比，本发明的优点是：
1、本方法改进了红外光源环绕靶平面的光源部署，将四个红外光源分别置于屏幕的四角。与以往将光源置于摄像机处的方法相比，增加了测定技术的鲁棒性。
2、本方法设计的四光源系统，可以产生四个普尔钦斑参考点，能够更容易地通过普洱钦斑图像分析出眼球与靶平面的空间位置关系，消除头部运动对视线跟踪测量的影响，提高了操作员反应时检测的准确性。同时，不需要限制操作员头部的位置。
附图说明
图1是本发明方法的流程图；
图2是四光源普尔钦斑；
图3是靶平面标定图；
图4是视线估计图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合实施例对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种基于视线追踪的操控员反应时测定方法，所采用的装置包括屏幕、四光源阵列和摄像机组，所述四光源阵列中的四个红外光源分别置于屏幕的四个角，摄像机组位于屏幕正下方。
所采用的测定方法，参见图1，具体包括下述步骤：
第一步：在屏幕生成测试图案，开始计时。
第二步：用四个红外光源照射眼部，并用视线跟踪摄像机组获取普尔钦斑坐标、瞳孔中心坐标、瞳孔半径r，数据的处理具体如下：
设四光源在屏幕中位置分别对应四个点左上角p1(u1,v1)、左下角p2(u2,v2)、右上角p3(u3,v3)、右下角p4(u4,v4)、瞳孔中心坐标为pq(uq,vq)，u1～u4以及uq表示坐标轴的横坐标，v1～v4以及vq表示坐标轴的纵坐标，半径为r。宽视野图像中，眼球位置变化会引起四光源普尔钦斑四边形变化，其中有两个类型的变化：尺寸变化和形状变化。四光源普尔钦斑如图2所示。
第三步：计算尺寸系数Cs：
设lij为眼球图像中pipj两点之间的像素长度，则尺寸系数Cs如(式1)，为普尔钦斑四边形面积的导数。普尔钦斑坐标和瞳孔中心坐标乘以尺寸系数后，将瞳孔坐标与普尔钦斑坐标进行尺寸缩放，缩放后的坐标为瞳孔普尔钦斑与普尔钦斑点阵四边形相对坐标，消除了用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响。最后以一个普尔钦斑点为参考原点平移坐标系，本实施例中将左上角点为参考原点，获得瞳孔中心的相对坐标Pq(xq,yq)。
Figure BDA0002771864960000031
第四步：瞳孔坐标与普尔钦斑坐标进行尺寸缩放，消除用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响。
随着头部运动，普尔钦斑点阵四边形形状会有不同的变化。四边形的形状变化用两组对边之间夹角表示。设Lij为pipj两点之间的直线，则L12与L34为一组，夹角记为θa，表达式如式2所示。L13与L24为一组，夹角记为θb，同理可得θb的值。
Figure BDA0002771864960000041
预处理后的数据构成一个状态向量Teye，如式3。视线估计则基于该向量为数据基础，通过系统标定以及机器学习实现视线的估计。
Teye＝[xq,yq,r,Cs,θa,θb] (式3)
xq和yq表示新的横纵坐标。
第五步：获取瞳孔中心的相对坐标Pq(xq,yq)、提取靶平面坐标。
第六步：采用多项式拟合视线，对视线进行估计：
本实施例中使用穿戴式设备或者使用窄视野的固定摄像机，头部位置相对固定，此时对四光源系统可以忽略头部运动的影响。直接使用瞳孔中心相对位置坐标Pq(xq,yq)进行视线估计。设靶屏幕坐标St(U,V)，提取靶平面坐标，其视线估计可以用多项式来拟合视线，如式4所示：
Figure BDA0002771864960000042
其中通过系统标定来确定多项式中参数a,b,c,d,e,f,g,h的值。系统标定通过使用者注视靶平面采样，然后求解估计出这8个参数的值，其中靶平面定标图如图3，使用者根据系统提示注视靶平面对应的点并采集原始的瞳孔中心相对坐标数据，采集多组数据后则可以直接解出视线估计多项式。
第七步：对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换，确定人眼观察屏幕时的注视点。
设采样数据为Si(Ui,Vi,xi,yi)，其中：UV为靶平面点归一化坐标，也就是说屏幕一个1×1的平面，定义靶平面中心点的靶平面坐标为(0.5,0.5)；xy是注视对应靶平面点时的瞳孔中心相对位置坐标。根据靶平面图示，在图中采样7个点，分别为左上S1，左下S2，右上S3，右下S4，中上S5，中下S6，中心Sc。
首先对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换，当注视靶平面中点时，定义此时的瞳孔中心相对坐标为(0,0)。如式5，之后对于测量出来的所有瞳孔中心相对坐标进行同样变换，得到新的横纵坐标轴(xnew，ynew)。
Figure BDA0002771864960000043
根据拟合多项式可知进行如下变换后，参数d和h的值均为0.5，这样通过三个定标点即可求出其他6个参数的值。设以S5，S2，S4为一组。则有式6和式7，根据这两个方程组分别求解最终参数的值。
Figure BDA0002771864960000051
Figure BDA0002771864960000052
第八步：根据视线估计确定人眼观察屏幕时的注视点，判断注视点是否落在测试图案上，若落在图案上，则关闭测试图案，结束计时，完成测定；
根据该多项式进行视线估计并通过实验记录数据，可获得视线注视统计数据，如图4所示，其中使用者分别注视屏幕的左上角，中点和右下角。由图可见，视线估计可以有效反应出人眼观察平面时的注视点。
若注视点未落在测试图案上，则从第一步重复开始。图1中只是说明了进行一次反应时测定的过程，而视线跟踪贯穿始终，是一个持续的过程。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。任何熟悉该技术的人在本发明所揭露的技术范围内的局部修改或替换，都应涵盖在本发明的包含范围之内。

Claims (4)

1.一种基于视线追踪的操控员反应时测定方法，其特征在于，所采用的装置包括屏幕、四光源阵列和摄像机组，所述四光源阵列中的四个红外光源分别置于屏幕的四个角，摄像机组位于屏幕正下方；
所采用的测定过程，包括下述步骤：
第一步：在屏幕生成测试图案，开始计时；
第二步：用四个红外光源照射眼部，并用视线跟踪摄像机组获取普尔钦斑坐标、瞳孔中心坐标、瞳孔半径r；
第三步：计算尺寸系数Cs；
第四步：瞳孔坐标与普尔钦斑坐标进行尺寸缩放，消除用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响；
第五步：获取瞳孔中心的相对坐标Pq(xq,yq)、提取靶平面坐标；
第六步：采用多项式拟合视线，对视线进行估计；
第七步：对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换，确定人眼观察屏幕时的注视点；
第八步：根据视线估计确定人眼观察屏幕时的注视点，判断注视点是否落在测试图案上，若落在图案上，则关闭测试图案，结束计时，完成测定；若注视点未落在测试图案上，则从第一步重复开始。
2.根据权利要求1所述基于视线追踪的操控员反应时测定方法，其特征在于，第二步中摄像机组获取的普尔钦斑坐标为四光源在屏幕中位置分别对应的四个点左上角p1(u1,v1)、左下角p2(u2,v2)、右上角p3(u3,v3)、右下角p4(u4,v4)，瞳孔中心坐标为pq(uq,vq)，半径为r；
第三步中，设lij为眼球图像中pipj两点之间的像素长度，则尺寸系数Cs如(式1)，为普尔钦斑四边形面积的导数；普尔钦斑坐标和瞳孔中心坐标乘以尺寸系数后，将瞳孔坐标与普尔钦斑坐标进行尺寸缩放，缩放后的坐标为瞳孔普尔钦斑与普尔钦斑点阵四边形相对坐标，最后以一个普尔钦斑点为参考原点平移坐标系，获得瞳孔中心的相对坐标。
3.根据权利要求2所述基于视线追踪的操控员反应时测定方法，其特征在于，第三步中，将左上角点为参考原点，获得瞳孔中心的相对坐标Pq(xq,yq)
Figure FDA0002771864950000011
4.根据权利要求2或3所述基于视线追踪的操控员反应时测定方法，其特征在于，第四步中四边形的形状变化用两组对边之间夹角表示，设Lij为pipj两点之间的直线，则L12与L34为一组，夹角记为θa，表达式如式2所示；L13与L24为一组，夹角记为θb，同理可得θb的值；
Figure FDA0002771864950000021
预处理后的数据构成一个状态向量Teye，如式3，视线估计则基于该向量为数据基础，通过系统标定以及机器学习实现视线的估计；
Teye＝[xq,yq,r,Cs,θa,θb] (式3)。
CN202011251959.4A 2020-11-11 2020-11-11 一种基于视线追踪的操控员反应时测定方法 Pending CN112274153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011251959.4A CN112274153A (zh) 2020-11-11 2020-11-11 一种基于视线追踪的操控员反应时测定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011251959.4A CN112274153A (zh) 2020-11-11 2020-11-11 一种基于视线追踪的操控员反应时测定方法

Publications (1)

Publication Number Publication Date
CN112274153A true CN112274153A (zh) 2021-01-29

Family

ID=74397804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011251959.4A Pending CN112274153A (zh) 2020-11-11 2020-11-11 一种基于视线追踪的操控员反应时测定方法

Country Status (1)

Country Link
CN (1) CN112274153A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN105094300A (zh) * 2014-05-16 2015-11-25 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN108108013A (zh) * 2016-11-25 2018-06-01 深圳纬目信息技术有限公司 一种视线追踪方法
US20190121427A1 (en) * 2016-06-08 2019-04-25 South China University Of Technology Iris and pupil-based gaze estimation method for head-mounted device
CN110807427A (zh) * 2019-11-05 2020-02-18 中航华东光电（上海）有限公司 一种视线追踪方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN105094300A (zh) * 2014-05-16 2015-11-25 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法
US20190121427A1 (en) * 2016-06-08 2019-04-25 South China University Of Technology Iris and pupil-based gaze estimation method for head-mounted device
CN108108013A (zh) * 2016-11-25 2018-06-01 深圳纬目信息技术有限公司 一种视线追踪方法
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN110807427A (zh) * 2019-11-05 2020-02-18 中航华东光电（上海）有限公司 一种视线追踪方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN111546328B (zh) 基于三维视觉测量的手眼标定方法
CN108171673B (zh) 图像处理方法、装置、车载抬头显示系统及车辆
CN109454634B (zh) 一种基于平面图像识别的机器人手眼标定方法
US9439592B2 (en) Eye tracking headset and system for neuropsychological testing including the detection of brain damage
CN106767393B (zh) 机器人的手眼标定装置与方法
JP5325048B2 (ja) 誤差伝播による出力データの精度評価方法
WO2023011339A1 (zh) 视线方向追踪方法和装置
CN109690553A (zh) 执行眼睛注视跟踪的系统和方法
CN111427451B (zh) 采用扫描仪与眼动仪确定注视点在三维场景中位置的方法
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
CN107649802B (zh) 一种激光视觉焊缝跟踪系统及标定方法
CN111012301A (zh) 一种头戴式目视精确瞄准系统
CN112505663B (zh) 用于多线激光雷达与相机联合标定的标定方法
Zhou et al. 3D eye model-based gaze estimation from a depth sensor
CN114360043B (zh) 模型参数标定方法、视线追踪方法、装置、介质及设备
CN114813061B (zh) 一种近眼成像设备的光学参数检测方法及系统
CN112232128A (zh) 基于视线追踪的老年残障人士照护需求识别方法
CN107993227B (zh) 一种获取3d腹腔镜手眼矩阵的方法和装置
JP2018101212A (ja) 車載器および顔正面度算出方法
JP6906943B2 (ja) 車載器
CN112274153A (zh) 一种基于视线追踪的操控员反应时测定方法
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
JP3855038B2 (ja) 剛体運動測定方法、剛体運動測定装置、剛体運動測定プログラム、顎運動測定方法、顎運動測定装置および顎運動測定プログラム
CN111627526A (zh) 用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination