CN109343700A - 眼动控制校准数据获取方法和装置 - Google Patents

眼动控制校准数据获取方法和装置 Download PDF

Info

Publication number
CN109343700A
CN109343700A CN201811014201.1A CN201811014201A CN109343700A CN 109343700 A CN109343700 A CN 109343700A CN 201811014201 A CN201811014201 A CN 201811014201A CN 109343700 A CN109343700 A CN 109343700A
Authority
CN
China
Prior art keywords
eye
data
image
calibration data
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811014201.1A
Other languages
English (en)
Other versions
CN109343700B (zh
Inventor
蒋壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Waterward Information Co Ltd
Original Assignee
Shenzhen Water World Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Water World Co Ltd filed Critical Shenzhen Water World Co Ltd
Priority to CN201811014201.1A priority Critical patent/CN109343700B/zh
Priority to PCT/CN2019/073766 priority patent/WO2020042542A1/zh
Publication of CN109343700A publication Critical patent/CN109343700A/zh
Application granted granted Critical
Publication of CN109343700B publication Critical patent/CN109343700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明揭示了一种眼动控制校准数据获取方法和装置，包括：依次获取人眼注视多个定位点的用户图像；其中，多个定位点预设于指定观看区域内；依次从用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；根据人眼位置数据和眼球位置数据计算校准数据，依次记录校准数据和对应的多个定位点位置信息。本发明的眼动控制校准数据获取方法和装置无需采用专用设备，且可以根据用户的眼动习惯来采集数据，用户体验好。

Description

眼动控制校准数据获取方法和装置
技术领域
本发明涉及人机交互技术领域，具体涉及一种眼动控制校准数据获取方法和装置。
背景技术
眼动控制方法是一种非接触的人机互动方式，通过追踪眼球位置来计算眼睛的注视点的位置。眼动控制对于无法双手操作的用户起到重大帮助。随着智能终端的发展，具有眼球追踪功能的游戏电脑使玩家在游戏场景中更为身临其境。
眼球追踪技术需要用到专用设备，如眼动仪。在这些专用设备使用过程中，用户需要根据说明书限定的眼动方式才可控制设备。人机交互方式的趋势是以人为中心、更为友好和便捷，因此眼动追踪也朝着根据用户眼动习惯来控制设备的方向发展。每个用户可以根据自己特定的眼动习惯先对设备进行校准，使得后续的眼动控制可以根据用户的眼动习惯来操作。现有技术的校准步骤中，通常根据用户盯住预设定位点的图像来进行图像处理，计算预设定位点对应的瞳孔中心位置来收集校准数据。但是根据此种方法得到的校准数据，在后续的眼动追踪操作中，视线判断的准确度低，用户体验不高。
发明内容
本发明的主要目的为提供一种眼动控制校准数据获取方法和装置，旨在解决现有技术中不能根据用户眼动习惯来获取准确的眼动控制校准数据的问题。
本发明提出一种眼动控制校准数据获取方法，包括：
依次获取人眼注视多个定位点的用户图像；其中，多个所述定位点预设于指定观看区域内；
依次从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
根据所述人眼位置数据和所述眼球位置数据计算校准数据，依次记录所述校准数据和对应的多个所述定位点位置信息。
进一步地，所述依次从所述用户图像中查找人眼图像和眼球图像，获取人眼图像位置数据和眼球图像位置数据的步骤，包括：
从所述用户图像中查找人脸图像；
从所述人脸图像中查找人眼图像，以及从所述人脸图像中获取人眼位置数据，所述人眼图像包括左眼图像和右眼图像；
从所述人眼图像中查找眼球图像，以及从所述人脸图像中获取眼球位置数据。
进一步地，所述校准数据包括距离校准数据、横向校准数据和纵向校准数据，
所述根据所述人眼位置数据和所述眼球位置数据计算校准数据，依次记录所述校准数据和对应的多个所述定位点位置信息的步骤，包括：
根据所述人眼位置数据计算人眼注视一个所述定位点时的距离校准数据；以及根据所述人眼位置数据和所述眼球位置数据计算人眼注视一个所述定位点时的眼球位置横向校准数据与眼球位置纵向校准数据；
将所述距离校准数据、横向校准数据、纵向校准数据和对应的所述定位点位置信息保存在存储器中。
进一步地，所述根据所述人眼位置数据计算人眼注视一个所述定位点时的距离校准数据的步骤，包括：
根据所述人眼位置数据包括的左眼位置数据，计算左眼中心位置坐标；以及根据所述人眼位置数据包括的右眼位置数据，计算右眼中心位置坐标；
根据所述左眼中心位置坐标以及所述右眼中心位置坐标，计算左眼中心与右眼中心的距离，获得所述距离校准数据。
进一步地，所述根据所述人眼位置数据和所述眼球位置数据计算人眼注视一个所述定位点时的眼球位置横向校准数据与眼球位置纵向校准数据的步骤，包括：
根据所述眼球位置数据包括的左眼球位置数据，计算左眼球中心位置坐标；以及根据所述眼球位置数据包括的右眼球位置数据，计算右眼球中心位置坐标；
根据所述左眼球中心位置坐标和所述左眼位置数据，计算左眼球中心与所述左眼图像的最左边之间的第一横向距离，和左眼球中心与所述左眼图像的最上边之间的第一纵向距离；以及根据所述右眼球中心位置坐标和所述右眼位置数据，计算右眼球中心与所述右眼图像的最右边之间的第二横向距离，和右眼球中心与右眼图像的最下边之间的第二纵向距离；
计算所述第一横向距离与所述第二横向距离的比值，获得所述横向校准数据；以及计算所述第一纵向距离与所述第二纵向距离的比值，获得所述纵向校准数据。
本发明还提出了一种眼动控制校准数据获取装置，包括：
图像获取模块，用于依次获取人眼注视多个定位点的用户图像；其中，多个所述定位点预设于指定观看区域内；
图像分析模块，用于依次从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
数据计算模块，用于根据所述人眼位置数据和所述眼球位置数据计算校准数据，依次记录所述校准数据和对应的多个所述定位点位置信息。
进一步地，所述图像分析模块包括：
人脸查找单元，用于从所述用户图像中查找人脸图像；
人眼查找单元，用于从所述人脸图像中查找人眼图像，以及从所述人脸图像中获取人眼位置数据，所述人眼图像包括左眼图像和右眼图像；
眼球查找单元，用于从所述人眼图像中查找眼球图像，以及从所述人脸图像中获取眼球位置数据。
进一步地，所述校准数据包括距离校准数据、横向校准数据和纵向校准数据，所述数据计算模块包括：
第一数据获取单元，用于根据所述人眼位置数据计算人眼注视一个所述定位点时的距离校准数据；
第二数据获取单元，用于根据所述人眼位置数据和所述眼球位置数据计算人眼注视一个所述定位点时的眼球位置横向校准数据与眼球位置纵向校准数据；
数据存储单元，用于将所述距离校准数据、横向校准数据、纵向校准数据和对应的所述定位点位置信息保存在存储器中。
进一步地，所述第一数据获取单元包括：
第一计算子单元，用于根据所述人眼位置数据包括的左眼位置数据，计算左眼中心位置坐标；以及根据所述人眼位置数据包括的右眼位置数据，计算右眼中心位置坐标；
第二计算子单元，用于根据所述左眼中心位置坐标以及所述右眼中心位置坐标，计算左眼中心与右眼中心的距离，获得所述距离校准数据。
进一步地，所述第二数据获取单元包括：
第三计算子单元，用于根据所述眼球位置数据包括的左眼球位置数据，计算左眼球中心位置坐标；以及根据所述眼球位置数据包括的右眼球位置数据，计算右眼球中心位置坐标；
第四计算子单元，用于根据所述左眼球中心位置坐标和所述左眼位置数据，计算左眼球中心与所述左眼图像的最左边之间的第一横向距离，和左眼球中心与所述左眼图像的最上边之间的第一纵向距离；以及根据所述右眼球中心位置坐标和所述右眼位置数据，计算右眼球中心与所述右眼图像的最右边之间的第二横向距离，和右眼球中心与右眼图像的最下边之间的第二纵向距离；
第五计算子单元，用于计算所述第一横向距离与所述第二横向距离的比值，获得所述横向校准数据；以及计算所述第一纵向距离与所述第二纵向距离的比值，获得所述纵向校准数据。
本发明的有益效果：
本发明的眼动控制校准数据获取方法和装置，在指定观看区域预设至少一个定位点，在人眼注视一个定位点时，通过普通摄像头获取图像，从图像中查找人眼图像和眼球图像，根据人眼位置数据和眼球位置数据，计算校准数据，将校准数据和该定位点的位置信息保存在存储器中，直至所有定位点均采集完数据。校准数据可用于后续眼动追踪控制中，判断用户与指定观看区域的距离是否在预设范围内，并进行用户视线位置追踪，提高视线判断的准确度。本发明的眼动控制校准数据获取方法和装置无需采用专用设备，且可以根据用户的眼动习惯来采集数据，用户体验好。
附图说明
图1是本发明一实施例的眼动控制校准数据获取方法的流程示意图；
图2是本发明一实施例的指定观看区域的定位点的示意图；
图3是图1中步骤S2的流程示意图；
图4是图1中步骤S3的流程示意图；
图5是图4中步骤S31的计算距离校准数据的流程示意图；
图6是图4中步骤S31的计算横向校准数据和纵向校准数据的流程示意图；
图7是本发明一实施例的眼动控制校准数据获取装置的结构示意框图；
图8是图7中图像分析模块的结构示意框图；
图9是图7中数据计算模块的结构示意框图；
图10是图9中第一数据获取单元的结构示意框图；
图11是图9中第二数据获取单元的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1，本发明实施例提供了一种眼动控制校准数据获取方法，包括：
S1、依次获取人眼注视多个定位点的用户图像；其中，多个所述定位点预设于指定观看区域内；
S2、依次从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
S3、根据所述人眼位置数据和所述眼球位置数据计算校准数据，依次记录所述校准数据和对应的多个所述定位点位置信息。
本实施例中，步骤S1中的指定观看区域包括与用户进行人机交互的终端设备界面，例如可以是智能手机显示屏、平板显示屏、智能电视显示屏、个人电脑显示屏、笔记本电脑显示屏等，本发明对此不作限定。用户图像可以通过摄像头获取，摄像头包括终端设备自带的前置摄像头、外接摄像头，如手机前置摄像头等，本发明对此不作限定。
参照图2，为指定观看区域的定位点的示意图，包括左上、中上、右上、左中、中中、右中、左下、中下和右下的9个定位点，其中左上、左中、左下、中下、中中和中上包围的指定观看区域为左边区域，右上、右中、右下、中下、中中和中上包围的指定观看区域为右边区域，左上、左中、中中、右中、右上和中上包围的指定观看区域为上边区域，左下、左中、中中、右中、右下和中下包围的指定观看区域为下边区域。
以眼动控制手机显示屏为例，用户根据自己的习惯在距离手机显示屏合适的距离处，眼睛注视手机显示屏的一个定位点，通过手机前置摄像头采集人眼注视该定位点的图像。比如，可以预先设置注视时间，提醒用户持续注视该定位点，在达到预设的注视时间时长时，摄像头获得拍摄指令，采集图像；也可以用摄像头持续实时采集图像，通过训练好的分类器区分人眼的状态，如果判断人眼处于注视状态，则获取注视状态中的任一帧图像。进一步从获取的图像中查找人眼图像和眼球图像，获取到人眼位置数据和眼球位置数据；根据所述人眼位置数据和所述眼球位置数据计算一系列校准数据，依次记录所述校准数据与所述定位点的对应关系。校准数据可用于后续眼动追踪控制中，判断用户与指定观看区域的距离是否在预设范围内，并进行用户视线位置追踪，提高视线判断的准确度。
具体地，本实施例的用户首先看向左上定位点，摄像头采集人眼注视左上定位点的图像，从该图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据，计算校准数据，记录该校准数据与左上定位点的对应关系。用户再开始看向中上定位点，其余步骤同左上定位点。直至左上、中上、右上、左中、中中、右中、左下、中下和右下的9个定位点的校准数据和定位点的对应关系均采集完毕。
参照图3，本实施例中，所述依次从所述用户图像中查找人眼图像和眼球图像，获取人眼图像位置数据和眼球图像位置数据的步骤，包括：
S21、从所述用户图像中查找人脸图像；
S22、从所述人脸图像中查找人眼图像，以及从所述人脸图像中获取人眼位置数据，所述人眼图像包括左眼图像和右眼图像；
S23、从所述人眼图像中查找眼球图像，以及从所述人脸图像中获取眼球位置数据。
本实施例中，步骤S21先从图像中查找人脸图像，如果在图像中没有查找到人脸图像，则返回步骤S1，调整用户和指定观看区域的相对位置，直至摄像头获取的图像中能查找到人脸图像。人脸图像的查找方法较多，比如：利用人脸规则(如眼睛、鼻子、嘴巴等的分布)对输入图像进行人脸检测；通过寻找人脸面部不变的特征(如肤色、边缘、纹理)来对输入图像进行人脸检测；将人脸的面部特征用一个标准的人脸模板来描述，进行人脸检测时，先计算输入图像与标准人脸模板之间的相关值，然后再将求得的相关值与事先设定的阂值进行比较，以判别输入图像中是否存在人脸；将人脸区域看作一类模式，使用大量的人脸数据作样本训练，来学习潜在的规则并构造分类器，通过判别图像中所有可能区域模式属性来实现人脸的检测。本实施例中的人脸图像查找可以采用上述任意一种方法。查找到的人脸图像用矩形框标出。
步骤S22从人脸图像的矩形框中查找人眼图像，有利于缩小查找范围，提高人眼查找的查找效率和准确度，如果没有查找到人眼图像，则返回步骤S1，重新获取图像，直至步骤S22中能查找到人眼图像。人眼查找的方法包括基于模板匹配的方法、基于统计的方法和基于知识的方法。其中基于模板匹配的方法包括灰度投影模板和几何特征模板：灰度投影法是指对人脸灰度图像进行水平和垂直方向的投影，分别统计出两个方向上的灰度值和/或灰度函数值，找出特定变化点，然后根据先验知识将不同方向上的变化点位置相结合，即得到人眼的位置；几何特征模板是利用眼睛的个体特征以及分布特征作为依据来实施人眼检测。基于统计的方法一般是通过对大量目标样本和非目标样本进行训练学习得到一组模型参数，然后基于模型构建分类器或者滤波器来检测目标。基于知识的方法是确定图像的应用环境，总结特定条件下可用于人眼检测的知识(如轮廓信息、色彩信息、位置信息)等，把它们归纳成指导人眼检测的规则。本实施例中的人眼图像查找可以采用上述任意一种方法，查找到左眼图像和右眼图像，用矩形框分别框出左眼图像和右眼图像，获得下述人眼位置数据，包括：
r1：左眼图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t1：左眼图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w1：左眼图像的矩形框的宽度；
h1：左眼图像的矩形框的高度；
r2：右眼图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t2：右眼图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w2：右眼图像的矩形框的宽度；
h2：右眼图像的矩形框的高度。
步骤S23从左眼图像中查找到左眼球图像，从右眼图像中查找右眼球图像，如果没有查找到眼球图像，则返回步骤S1，重新获取图像，直至步骤S23中能查找到眼球图像。眼球查找的方法包括神经网络法、边缘点积分投影曲线的极值位置判别法、模板匹配法、多分辨率的马赛克图法、几何及对称性检测法、基于霍夫变换法等。本实施例中的眼球图像查找可以采用上述任意一种方法，查找到左眼球图像和右眼球图像，用矩形框分别框出左眼球图像和右眼球图像，获得下述眼球位置数据，包括：
r3：左眼球图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t3：左眼球图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w3：左眼球图像的矩形框的宽度；
h3：左眼球图像的矩形框的高度；
r4：右眼球图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t4：右眼球图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w4：右眼球图像的矩形框的宽度；
h4：右眼球图像的矩形框的高度。
本实施例中给出了从人脸图像中获取眼球位置数据的具体参数。基于本发明的发明理念，也可以从人眼图像中获取眼球位置数据，本发明不对从人眼图像中获取眼球位置数据进行赘述。
参照图4，本实施例中，所述校准数据包括距离校准数据、横向校准数据和纵向校准数据，
所述根据所述人眼位置数据和所述眼球位置数据计算校准数据，依次记录所述校准数据和对应的多个所述定位点位置信息的步骤，包括：
S31、根据所述人眼位置数据计算人眼注视一个所述定位点时的距离校准数据；以及根据所述人眼位置数据和所述眼球位置数据计算人眼注视一个所述定位点时的眼球位置横向校准数据与眼球位置纵向校准数据；
S32、将所述距离校准数据、横向校准数据、纵向校准数据和对应的所述定位点位置信息保存在存储器中。
本实施例中，通过步骤S31～S32计算人眼注视一个定位点时的校准数据，并将校准数据和对应的定位点信息保存在存储器中。本实施例中对左上、中上、右上、左中、中中、右中、左下、中下和右下的9个定位点进行一一计算和数据储存。距离校准数据用来定位人眼离指定观看区域的距离，横向校准数据和纵向校准数据用来指示人眼看向指定定位点时的眼球位置。
参照图5，本实施例中，所述根据所述人眼位置数据计算人眼注视一个所述定位点时的距离校准数据的步骤，包括：
S321、根据所述人眼位置数据包括的左眼位置数据，计算左眼中心位置坐标；以及根据所述人眼位置数据包括的右眼位置数据，计算右眼中心位置坐标；
S322、根据所述左眼中心位置坐标以及所述右眼中心位置坐标，计算左眼中心与右眼中心的距离，获得所述距离校准数据。
本实施例中，步骤S321可以通过公式(1)计算左眼中心位置坐标(x1,y1)，
Pot(x1,y1)＝Pot(r1+w1/2,t1+h1/2) (1)
通过公式(2)计算右眼中心位置坐标(x2,y2)，
Pot(x2,y2)＝Pot(r2+w2/2,t2+h2/2) (2)
步骤S322可以通过公式(3)计算左眼中心与右眼中心的距离d，d即为距离校准数据。
通过d的值可以定位人眼距离指定观看区域的距离。
参照图6，本实施例中，所述根据所述人眼位置数据和所述眼球位置数据计算人眼注视一个所述定位点时的眼球位置横向校准数据与眼球位置纵向校准数据的步骤，包括：
S331、根据所述眼球位置数据包括的左眼球位置数据，计算左眼球中心位置坐标；以及根据所述眼球位置数据包括的右眼球位置数据，计算右眼球中心位置坐标；
S332、根据所述左眼球中心位置坐标和所述左眼位置数据，计算左眼球中心与所述左眼图像的最左边之间的第一横向距离，和左眼球中心与所述左眼图像的最上边之间的第一纵向距离；以及根据所述右眼球中心位置坐标和所述右眼位置数据，计算右眼球中心与所述右眼图像的最右边之间的第二横向距离，和右眼球中心与右眼图像的最下边之间的第二纵向距离；
S333、计算所述第一横向距离与所述第二横向距离的比值，获得所述横向校准数据；以及计算所述第一纵向距离与所述第二纵向距离的比值，获得所述纵向校准数据。
本实施例中，步骤S331中可以通过公式(4)计算左眼球中心位置坐标(x3,y3)，
Pot(x3,y3)＝Pot(r3+w3/2,t3+h3/2) (4)
通过公式(5)计算右眼球中心位置坐标(x4,y4)，
Pot(x4,y4)＝Pot(r4+w4/2,t4+h4/2) (5)
步骤S332可以通过公式(6)计算左眼球中心与左眼图像的最左边之间的第一横向距离d1：
d1＝x3–r1 (6)
通过公式(7)计算左眼球中心与左眼图像的最上边之间的第一纵向距离d3：
d3＝y3–t1 (7)
通过公式(8)计算右眼球中心与右眼图像的最右边之间的第二横向距离d2：
d2＝r2+w2–x4 (8)
通过公式(9)计算右眼球中心与右眼图像的最下边之间的第二纵向距离d4：
d4＝t2+h2–y4 (9)
步骤S333可以通过公式(10)计算横向校准数据m：
m＝d1/d2 (10)
通过公式(11)计算纵向校准数据n：
n＝d3/d4 (11)
本实施例的眼动校准控制方法，在指定观看区域设置9个定位点，人眼依次注视这9个定位点，依次记录人眼注视一个定位点时的校准数据和该定位点的对应关系。在人眼注视一个定位点时，通过摄像头获取图像，从图像中查找人脸图像，再从人脸图像中查找人眼图像，最后从人眼图像中查找眼球图像，该方法查找效率快且准确度高；根据人眼位置数据和眼球位置数据，计算出距离校准数据d、横向校准数据m和纵向校准数据n，将d、m、n和该定位点的位置信息保存在存储器中。所有定位点均采集完数据后，通过9个定位点的距离校准数据可以校准人眼距离指定观看区域的距离，从而将用户与指定观看区域的距离限定在指定范围内；通过9个定位点的横向校准数据和纵向校准数据可以推算用户视线所看向的指定观看区域的位置，视线追踪的准确度高。本实施例的眼动控制校准数据获取方法无需采用专用设备，且可以根据用户的眼动习惯来采集数据，用户体验好。
参照图7，本发明实施例还提供了一种眼动控制校准数据获取装置，包括：
图像获取模块10，用于依次获取人眼注视多个定位点的用户图像；其中，多个所述定位点预设于指定观看区域内；
图像分析模块20，用于依次从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
数据计算模块30，用于根据所述人眼位置数据和所述眼球位置数据计算校准数据，依次记录所述校准数据和对应的多个所述定位点位置信息。
本实施例中，图像获取模块10中的指定观看区域包括与用户进行人机交互的终端设备界面，例如可以是智能手机显示屏、平板显示屏、智能电视显示屏、个人电脑显示屏、笔记本电脑显示屏等，本发明对此不作限定。用户图像可以通过摄像头获取，摄像头包括终端设备自带的前置摄像头、外接摄像头，如手机前置摄像头等，本发明对此不作限定。
参照图2，为指定观看区域的定位点的示意图，包括左上、中上、右上、左中、中中、右中、左下、中下和右下的9个定位点，其中左上、左中、左下、中下、中中和中上包围的指定观看区域为左边区域，右上、右中、右下、中下、中中和中上包围的指定观看区域为右边区域，左上、左中、中中、右中、右上和中上包围的指定观看区域为上边区域，左下、左中、中中、右中、右下和中下包围的指定观看区域为下边区域。
以眼动控制手机显示屏为例，用户根据自己的习惯在距离手机显示屏合适的距离处，眼睛注视手机显示屏的一个定位点，通过手机前置摄像头采集人眼注视该定位点的图像。比如，可以预先设置注视时间，提醒用户持续注视该定位点，在达到预设的注视时间时长时，摄像头获得拍摄指令，采集图像；也可以用摄像头持续实时采集图像，通过训练好的分类器区分人眼的状态，如果判断人眼处于注视状态，则获取注视状态中的任一帧图像。进一步从获取的图像中查找人眼图像和眼球图像，获取到人眼位置数据和眼球位置数据；根据所述人眼位置数据和所述眼球位置数据计算一系列校准数据，依次记录所述校准数据与所述定位点的对应关系。校准数据可用于后续眼动追踪控制中，判断用户与指定观看区域的距离是否在预设范围内，并进行用户视线位置追踪，提高视线判断的准确度。
具体地，本实施例的用户首先看向左上定位点，摄像头采集人眼注视左上定位点的图像，从该图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据，计算校准数据，记录该校准数据与左上定位点的对应关系。用户再开始看向中上定位点，其余步骤同左上定位点。直至左上、中上、右上、左中、中中、右中、左下、中下和右下的9个定位点的校准数据和定位点的对应关系均采集完毕。
参照图8，本实施例中，所述图像分析模块20包括：
人脸查找单元201，用于从所述用户图像中查找人脸图像；
人眼查找单元202，用于从所述人脸图像中查找人眼图像，以及从所述人脸图像中获取人眼位置数据，所述人眼图像包括左眼图像和右眼图像；
眼球查找单元203，用于从所述人眼图像中查找眼球图像，以及从所述人脸图像中获取眼球位置数据。
本实施例中，人脸查找单元201先从图像中查找人脸图像，如果在图像中没有查找到人脸图像，则返回步骤S1，调整用户和指定观看区域的相对位置，直至摄像头获取的图像中能查找到人脸图像。人脸图像的查找方法较多，比如：利用人脸规则(如眼睛、鼻子、嘴巴等的分布)对输入图像进行人脸检测；通过寻找人脸面部不变的特征(如肤色、边缘、纹理)来对输入图像进行人脸检测；将人脸的面部特征用一个标准的人脸模板来描述，进行人脸检测时，先计算输入图像与标准人脸模板之间的相关值，然后再将求得的相关值与事先设定的阂值进行比较，以判别输入图像中是否存在人脸；将人脸区域看作一类模式，使用大量的人脸数据作样本训练，来学习潜在的规则并构造分类器，通过判别图像中所有可能区域模式属性来实现人脸的检测。本实施例中的人脸图像查找可以采用上述任意一种方法。查找到的人脸图像用矩形框标出。
人眼查找单元202从人脸图像的矩形框中查找人眼图像，有利于缩小查找范围，提高人眼查找的查找效率和准确度，如果没有查找到人眼图像，则返回步骤S1，重新获取图像，直至步骤S22中能查找到人眼图像。人眼查找的方法包括基于模板匹配的方法、基于统计的方法和基于知识的方法。其中基于模板匹配的方法包括灰度投影模板和几何特征模板：灰度投影法是指对人脸灰度图像进行水平和垂直方向的投影，分别统计出两个方向上的灰度值和/或灰度函数值，找出特定变化点，然后根据先验知识将不同方向上的变化点位置相结合，即得到人眼的位置；几何特征模板是利用眼睛的个体特征以及分布特征作为依据来实施人眼检测。基于统计的方法一般是通过对大量目标样本和非目标样本进行训练学习得到一组模型参数，然后基于模型构建分类器或者滤波器来检测目标。基于知识的方法是确定图像的应用环境，总结特定条件下可用于人眼检测的知识(如轮廓信息、色彩信息、位置信息)等，把它们归纳成指导人眼检测的规则。本实施例中的人眼图像查找可以采用上述任意一种方法，查找到左眼图像和右眼图像，用矩形框分别框出左眼图像和右眼图像，获得下述人眼位置数据，包括：
r1：左眼图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t1：左眼图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w1：左眼图像的矩形框的宽度；
h1：左眼图像的矩形框的高度；
r2：右眼图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t2：右眼图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w2：右眼图像的矩形框的宽度；
h2：右眼图像的矩形框的高度。
眼球查找单元203从左眼图像中查找到左眼球图像，从右眼图像中查找右眼球图像，如果没有查找到眼球图像，则返回步骤S1，重新获取图像，直至步骤S23中能查找到眼球图像。眼球查找的方法包括神经网络法、边缘点积分投影曲线的极值位置判别法、模板匹配法、多分辨率的马赛克图法、几何及对称性检测法、基于霍夫变换法等。本实施例中的眼球图像查找可以采用上述任意一种方法，查找到左眼球图像和右眼球图像，用矩形框分别框出左眼球图像和右眼球图像，获得下述眼球位置数据，包括：
r3：左眼球图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t3：左眼球图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w3：左眼球图像的矩形框的宽度；
h3：左眼球图像的矩形框的高度；
r4：右眼球图像的矩形框的左上顶点距离人脸图像的最左边的距离；
t4：右眼球图像的矩形框的左上顶点距离人脸图像的最上边的距离；
w4：右眼球图像的矩形框的宽度；
h4：右眼球图像的矩形框的高度。
本实施例中给出了从人脸图像中获取眼球位置数据的具体参数。基于本发明的发明理念，也可以从人眼图像中获取眼球位置数据，本发明不对从人眼图像中获取眼球位置数据进行赘述。
参照图9，本实施例中，所述校准数据包括距离校准数据、横向校准数据和纵向校准数据，所述数据计算模块30包括：
第一数据获取单元301，用于根据所述人眼位置数据计算人眼注视一个所述定位点时的距离校准数据；
第二数据获取单元302，用于根据所述人眼位置数据和所述眼球位置数据计算人眼注视一个所述定位点时的眼球位置横向校准数据与眼球位置纵向校准数据；
数据存储单元303，用于将所述距离校准数据、横向校准数据、纵向校准数据和对应的所述定位点位置信息保存在存储器中。
本实施例中，通过第一数据获取单元301、第二数据获取单元302和数据存储单元303计算人眼注视一个定位点时的校准数据，并将校准数据和对应的定位点信息保存在存储器中。本实施例中对左上、中上、右上、左中、中中、右中、左下、中下和右下的9个定位点进行一一计算和数据储存。距离校准数据用来定位人眼离指定观看区域的距离，横向校准数据和纵向校准数据用来指示人眼看向指定定位点时的眼球位置。
参照图10，本实施例中，所述第一数据获取单元301包括：
第一计算子单元3011，用于
根据所述人眼位置数据包括的左眼位置数据，计算左眼中心位置坐标；以及根据所述人眼位置数据包括的右眼位置数据，计算右眼中心位置坐标；
第二计算子单元3012，用于根据所述左眼中心位置坐标以及所述右眼中心位置坐标，计算左眼中心与右眼中心的距离，获得所述距离校准数据；
本实施例中，第一计算子单元3011可以通过公式(12)计算左眼中心位置坐标(x1,y1)，
Pot(x1,y1)＝Pot(r1+w1/2,t1+h1/2) (12)
通过公式(13)计算右眼中心位置坐标(x2,y2)，
Pot(x2,y2)＝Pot(r2+w2/2,t2+h2/2) (13)
第二计算子单元3012可以通过公式(14)计算左眼中心与右眼中心的距离d，d即为距离校准数据。
通过d的值可以定位人眼距离指定观看区域的距离。
参照图11，本实施例中，所述第二数据获取单元302包括：
第三计算子单元3021，用于根据所述眼球位置数据包括的左眼球位置数据，计算左眼球中心位置坐标；以及根据所述眼球位置数据包括的右眼球位置数据，计算右眼球中心位置坐标；
第四计算子单元3022，用于根据所述左眼球中心位置坐标和所述左眼位置数据，计算左眼球中心与所述左眼图像的最左边之间的第一横向距离，和左眼球中心与所述左眼图像的最上边之间的第一纵向距离；以及根据所述右眼球中心位置坐标和所述右眼位置数据，计算右眼球中心与所述右眼图像的最右边之间的第二横向距离，和右眼球中心与右眼图像的最下边之间的第二纵向距离；
第五计算子单元3023，用于计算所述第一横向距离与所述第二横向距离的比值，获得所述横向校准数据；以及计算所述第一纵向距离与所述第二纵向距离的比值，获得所述纵向校准数据。
本实施例中，第三计算子单元3021中可以通过公式(15)计算左眼球中心位置坐标(x3,y3)，
Pot(x3,y3)＝Pot(r3+w3/2,t3+h3/2) (15)
通过公式(16)计算右眼球中心位置坐标(x4,y4)，
Pot(x4,y4)＝Pot(r4+w4/2,t4+h4/2) (16)
第四计算子单元3022可以通过公式(17)计算左眼球中心与左眼图像的最左边之间的第一横向距离d1：
d1＝x3–r1 (17)
通过公式(18)计算左眼球中心与左眼图像的最上边之间的第一纵向距离d3：
d3＝y3–t1 (18)
通过公式(19)计算右眼球中心与右眼图像的最右边之间的第二横向距离d2：
d2＝r2+w2–x4 (19)
通过公式(20)计算右眼球中心与右眼图像的最下边之间的第二纵向距离d4：
d4＝t2+h2–y4 (20)
第五计算子单元3023可以通过公式(21)计算横向校准数据m：
m＝d1/d2 (21)
通过公式(22)计算纵向校准数据n：
n＝d3/d4 (22)
本实施例的眼动校准控制装置，在指定观看区域设置9个定位点，人眼依次注视这9个定位点，依次记录人眼注视一个定位点时的校准数据和该定位点的对应关系。在人眼注视一个定位点时，通过摄像头获取图像，从图像中查找人脸图像，再从人脸图像中查找人眼图像，最后从人眼图像中查找眼球图像，该方法查找效率快且准确度高；根据人眼位置数据和眼球位置数据，计算出距离校准数据d、横向校准数据m和纵向校准数据n，将d、m、n和该定位点的位置信息保存在存储器中。所有定位点均采集完数据后，通过9个定位点的距离校准数据可以校准人眼距离指定观看区域的距离，从而将用户与指定观看区域的距离限定在指定范围内；通过9个定位点的横向校准数据和纵向校准数据可以推算用户视线所看向的指定观看区域的位置，视线追踪的准确度高。本实施例的眼动控制校准数据获取装置无需采用专用设备，且可以根据用户的眼动习惯来采集数据，用户体验好。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种眼动控制校准数据获取方法，其特征在于，包括：
依次获取人眼注视多个定位点的用户图像；其中，多个所述定位点预设于指定观看区域内；
依次从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
根据所述人眼位置数据和所述眼球位置数据计算校准数据，依次记录所述校准数据和对应的多个所述定位点位置信息。
2.如权利要求1所述的眼动控制校准数据获取方法，其特征在于，所述依次从所述用户图像中查找人眼图像和眼球图像，获取人眼图像位置数据和眼球图像位置数据的步骤，包括：
从所述用户图像中查找人脸图像；
从所述人脸图像中查找人眼图像，以及从所述人脸图像中获取人眼位置数据，所述人眼图像包括左眼图像和右眼图像；
从所述人眼图像中查找眼球图像，以及从所述人脸图像中获取眼球位置数据。
3.如权利要求1所述的眼动控制校准数据获取方法，其特征在于，所述校准数据包括距离校准数据、横向校准数据和纵向校准数据，所述根据所述人眼位置数据和所述眼球位置数据计算校准数据，依次记录所述校准数据和对应的多个所述定位点位置信息的步骤，包括：
根据所述人眼位置数据计算人眼注视一个所述定位点时的距离校准数据；以及根据所述人眼位置数据和所述眼球位置数据计算人眼注视一个所述定位点时的眼球位置横向校准数据与眼球位置纵向校准数据；
将所述距离校准数据、横向校准数据、纵向校准数据和对应的所述定位点位置信息保存在存储器中。
4.如权利要求3所述的眼动控制校准数据获取方法，其特征在于，所述根据所述人眼位置数据计算人眼注视一个所述定位点时的距离校准数据的步骤，包括：
根据所述人眼位置数据包括的左眼位置数据，计算左眼中心位置坐标；以及根据所述人眼位置数据包括的右眼位置数据，计算右眼中心位置坐标；
根据所述左眼中心位置坐标以及所述右眼中心位置坐标，计算左眼中心与右眼中心的距离，获得所述距离校准数据。
5.如权利要求3所述的眼动控制校准数据获取方法，其特征在于，所述根据所述人眼位置数据和所述眼球位置数据计算人眼注视一个所述定位点时的眼球位置横向校准数据与眼球位置纵向校准数据的步骤，包括：
根据所述眼球位置数据包括的左眼球位置数据，计算左眼球中心位置坐标；以及根据所述眼球位置数据包括的右眼球位置数据，计算右眼球中心位置坐标；
根据所述左眼球中心位置坐标和所述左眼位置数据，计算左眼球中心与所述左眼图像的最左边之间的第一横向距离，和左眼球中心与所述左眼图像的最上边之间的第一纵向距离；以及根据所述右眼球中心位置坐标和所述右眼位置数据，计算右眼球中心与所述右眼图像的最右边之间的第二横向距离，和右眼球中心与右眼图像的最下边之间的第二纵向距离；
计算所述第一横向距离与所述第二横向距离的比值，获得所述横向校准数据；以及计算所述第一纵向距离与所述第二纵向距离的比值，获得所述纵向校准数据。
6.一种眼动控制校准数据获取装置，其特征在于，包括：
图像获取模块，用于依次获取人眼注视多个定位点的用户图像；其中，多个所述定位点预设于指定观看区域内；
图像分析模块，用于依次从所述用户图像中查找人眼图像和眼球图像，获取人眼位置数据和眼球位置数据；
数据计算模块，用于根据所述人眼位置数据和所述眼球位置数据计算校准数据，依次记录所述校准数据和对应的多个所述定位点位置信息。
7.如权利要求6所述的眼动控制校准数据获取装置，其特征在于，所述图像分析模块包括：
人脸查找单元，用于从所述用户图像中查找人脸图像；
人眼查找单元，用于从所述人脸图像中查找人眼图像，以及从所述人脸图像中获取人眼位置数据，所述人眼图像包括左眼图像和右眼图像；
眼球查找单元，用于从所述人眼图像中查找眼球图像，以及从所述人脸图像中获取眼球位置数据。
8.如权利要求6所述的眼动控制校准数据获取装置，其特征在于，所述校准数据包括距离校准数据、横向校准数据和纵向校准数据，所述数据计算模块包括：
第一数据获取单元，用于根据所述人眼位置数据计算人眼注视一个所述定位点时的距离校准数据；
第二数据获取单元，用于根据所述人眼位置数据和所述眼球位置数据计算人眼注视一个所述定位点时的眼球位置横向校准数据与眼球位置纵向校准数据；
数据存储单元，用于将所述距离校准数据、横向校准数据、纵向校准数据和对应的所述定位点位置信息保存在存储器中。
9.如权利要求8所述的眼动控制校准数据获取装置，其特征在于，所述第一数据获取单元包括：
第一计算子单元，用于根据所述人眼位置数据包括的左眼位置数据，计算左眼中心位置坐标；以及根据所述人眼位置数据包括的右眼位置数据，计算右眼中心位置坐标；
第二计算子单元，用于根据所述左眼中心位置坐标以及所述右眼中心位置坐标，计算左眼中心与右眼中心的距离，获得所述距离校准数据。
10.如权利要求8所述的眼动控制校准数据获取装置，其特征在于，所述第二数据获取单元包括：
第三计算子单元，用于根据所述眼球位置数据包括的左眼球位置数据，计算左眼球中心位置坐标；以及根据所述眼球位置数据包括的右眼球位置数据，计算右眼球中心位置坐标；
第四计算子单元，用于根据所述左眼球中心位置坐标和所述左眼位置数据，计算左眼球中心与所述左眼图像的最左边之间的第一横向距离，和左眼球中心与所述左眼图像的最上边之间的第一纵向距离；以及根据所述右眼球中心位置坐标和所述右眼位置数据，计算右眼球中心与所述右眼图像的最右边之间的第二横向距离，和右眼球中心与右眼图像的最下边之间的第二纵向距离；
第五计算子单元，用于计算所述第一横向距离与所述第二横向距离的比值，获得所述横向校准数据；以及计算所述第一纵向距离与所述第二纵向距离的比值，获得所述纵向校准数据。
CN201811014201.1A 2018-08-31 2018-08-31 眼动控制校准数据获取方法和装置 Active CN109343700B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811014201.1A CN109343700B (zh) 2018-08-31 2018-08-31 眼动控制校准数据获取方法和装置
PCT/CN2019/073766 WO2020042542A1 (zh) 2018-08-31 2019-01-29 眼动控制校准数据获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811014201.1A CN109343700B (zh) 2018-08-31 2018-08-31 眼动控制校准数据获取方法和装置

Publications (2)

Publication Number Publication Date
CN109343700A true CN109343700A (zh) 2019-02-15
CN109343700B CN109343700B (zh) 2020-10-27

Family

ID=65292236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811014201.1A Active CN109343700B (zh) 2018-08-31 2018-08-31 眼动控制校准数据获取方法和装置

Country Status (2)

Country Link
CN (1) CN109343700B (zh)
WO (1) WO2020042542A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976528A (zh) * 2019-03-22 2019-07-05 北京七鑫易维信息技术有限公司 一种基于头动调整注视区域的方法以及终端设备
CN110275608A (zh) * 2019-05-07 2019-09-24 清华大学 人眼视线追踪方法
CN110399930A (zh) * 2019-07-29 2019-11-01 北京七鑫易维信息技术有限公司 一种数据处理方法及系统
CN110780742A (zh) * 2019-10-31 2020-02-11 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN111290580A (zh) * 2020-02-13 2020-06-16 Oppo广东移动通信有限公司 基于视线追踪的校准方法及相关装置
CN113918007A (zh) * 2021-04-27 2022-01-11 广州市保伦电子有限公司 一种基于眼球追踪的视频交互操作方法
CN116824683A (zh) * 2023-02-20 2023-09-29 广州视景医疗软件有限公司 一种基于移动设备的眼动数据采集方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444789B (zh) * 2020-03-12 2023-06-20 深圳市时代智汇科技有限公司 一种基于视频感应技术的近视预防方法及其系统
CN113255476B (zh) * 2021-05-08 2023-05-19 西北大学 一种基于眼动追踪的目标跟踪方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN107436675A (zh) * 2016-05-25 2017-12-05 深圳纬目信息技术有限公司 一种视觉交互方法、系统和设备
US20180005008A1 (en) * 2016-06-29 2018-01-04 International Business Machines Corporation System, method, and recording medium for tracking gaze using only a monocular camera from a moving screen
CN107633240A (zh) * 2017-10-19 2018-01-26 京东方科技集团股份有限公司 视线追踪方法和装置、智能眼镜
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
CN101807110B (zh) * 2009-02-17 2012-07-04 由田新技股份有限公司 瞳孔定位方法及系统
JP5816257B2 (ja) * 2010-03-22 2015-11-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 観察者の視線を追跡するシステム及び方法
CN105094337B (zh) * 2015-08-19 2018-06-22 华南理工大学 一种基于虹膜和瞳孔的三维视线估计方法
CN109375765B (zh) * 2018-08-31 2020-10-09 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN107436675A (zh) * 2016-05-25 2017-12-05 深圳纬目信息技术有限公司 一种视觉交互方法、系统和设备
US20180005008A1 (en) * 2016-06-29 2018-01-04 International Business Machines Corporation System, method, and recording medium for tracking gaze using only a monocular camera from a moving screen
CN107633240A (zh) * 2017-10-19 2018-01-26 京东方科技集团股份有限公司 视线追踪方法和装置、智能眼镜
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976528A (zh) * 2019-03-22 2019-07-05 北京七鑫易维信息技术有限公司 一种基于头动调整注视区域的方法以及终端设备
CN110275608A (zh) * 2019-05-07 2019-09-24 清华大学 人眼视线追踪方法
CN110275608B (zh) * 2019-05-07 2020-08-04 清华大学 人眼视线追踪方法
CN110399930A (zh) * 2019-07-29 2019-11-01 北京七鑫易维信息技术有限公司 一种数据处理方法及系统
CN110399930B (zh) * 2019-07-29 2021-09-03 北京七鑫易维信息技术有限公司 一种数据处理方法及系统
CN110780742A (zh) * 2019-10-31 2020-02-11 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN110780742B (zh) * 2019-10-31 2021-11-02 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN111290580A (zh) * 2020-02-13 2020-06-16 Oppo广东移动通信有限公司 基于视线追踪的校准方法及相关装置
CN111290580B (zh) * 2020-02-13 2022-05-31 Oppo广东移动通信有限公司 基于视线追踪的校准方法及相关装置
CN113918007A (zh) * 2021-04-27 2022-01-11 广州市保伦电子有限公司 一种基于眼球追踪的视频交互操作方法
CN116824683A (zh) * 2023-02-20 2023-09-29 广州视景医疗软件有限公司 一种基于移动设备的眼动数据采集方法及系统
CN116824683B (zh) * 2023-02-20 2023-12-12 广州视景医疗软件有限公司 一种基于移动设备的眼动数据采集方法及系统

Also Published As

Publication number Publication date
WO2020042542A1 (zh) 2020-03-05
CN109343700B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN109343700A (zh) 眼动控制校准数据获取方法和装置
CN109375765A (zh) 眼球追踪交互方法和装置
CN108171218A (zh) 一种基于深度外观注视网络的视线估计方法
Chen et al. A probabilistic approach to online eye gaze tracking without explicit personal calibration
CN106662917A (zh) 眼睛跟踪校准系统和方法
CN106056092A (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN103838378A (zh) 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN109558012A (zh) 一种眼球追踪方法及装置
CN108721070A (zh) 一种基于眼球追踪的智能视觉功能训练系统及其训练方法
CN103366157A (zh) 一种人眼视线距离的判断方法
CN105224285A (zh) 眼睛开闭状态检测装置和方法
CN103761508A (zh) 一种融合人脸和手势的生物识别方法和系统
CN107729871A (zh) 基于红外光的人眼活动轨迹追踪方法及装置
Xiong et al. Eye control system base on ameliorated hough transform algorithm
CN110196640A (zh) 一种操作控制方法及终端
CN109948435A (zh) 坐姿提醒方法及装置
CN109766007A (zh) 一种显示设备的注视点补偿方法及补偿装置、显示设备
Chukoskie et al. Quantifying gaze behavior during real-world interactions using automated object, face, and fixation detection
CN107422844A (zh) 一种信息处理方法及电子设备
CN106725531A (zh) 基于视线的儿童专注力测试分析系统和方法
CN114967128A (zh) 一种应用于vr眼镜的视线追踪系统及方法
Yang et al. vGaze: Implicit saliency-aware calibration for continuous gaze tracking on mobile devices
CN104915013B (zh) 一种基于使用历史的视线跟踪定标方法
CN113132642A (zh) 图像显示的方法及装置、电子设备
Skowronek et al. Eye Tracking Using a Smartphone Camera and Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210918

Address after: 518000 201, No.26, yifenghua Innovation Industrial Park, Xinshi community, Dalang street, Longhua District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen waterward Information Co.,Ltd.

Address before: 518000, block B, huayuancheng digital building, 1079 Nanhai Avenue, Shekou, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN WATER WORLD Co.,Ltd.