CN104951084B - 视线追踪方法及装置 - Google Patents

视线追踪方法及装置 Download PDF

Info

Publication number
CN104951084B
CN104951084B CN201510458572.9A CN201510458572A CN104951084B CN 104951084 B CN104951084 B CN 104951084B CN 201510458572 A CN201510458572 A CN 201510458572A CN 104951084 B CN104951084 B CN 104951084B
Authority
CN
China
Prior art keywords
iris
parameter
image
learning machine
msub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510458572.9A
Other languages
English (en)
Other versions
CN104951084A (zh
Inventor
钱晨菲
赵可宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201510458572.9A priority Critical patent/CN104951084B/zh
Publication of CN104951084A publication Critical patent/CN104951084A/zh
Priority to US15/165,724 priority patent/US10114456B2/en
Application granted granted Critical
Publication of CN104951084B publication Critical patent/CN104951084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Geometry (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种视线追踪方法及装置，属于图像处理技术领域。该方法包括:根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，所述目标模型为根据目标参数和极限学习机器神经网络得到的模型；采用所述观测区域修正预测区域，得到目标区域，所述预测区域是通过卡尔曼滤波方法确定的待测试虹膜图像的虹膜中心所在的区域；根据所述目标区域确定人眼注视的屏幕落点位置。本发明解决了人眼注视的屏幕落点位置的精确度较低，且速度较低的问题，实现了提高人眼注视的屏幕落点位置的精确度和速度的效果，用于追踪视线。

Description

视线追踪方法及装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种视线追踪方法及装置。
背景技术
人机交互是一种研究人与机器及其相互作用的技术，通过人机交互技术可以利用所有可能的信息通道实现人与机器之间的交流。随着电子技术的快速发展，人机交互技术广泛应用于人与电视机之间的交互中，电视机的功能越来越强大，遥控器的设计越来越复杂，如果通过操作遥控器实现人机交互，将会使交互时间变长，交互效率降低，因此，基于视线追踪的人机交互的方法得到了广泛关注。视线追踪是利用机械、电子、光学等各种检测手段获取使用者当前的“注视方向”的技术。
相关技术中，基于视线追踪的人机交互的方法主要是根据卡尔曼(kalman)滤波方法追踪视线，完成人机交互过程。卡尔曼滤波方法采用的是递归技术，其认为当前时刻的状态只依赖于前一时刻的状态，不依赖于所有时刻的状态。具体的，先对采集到的人脸图像进行处理，获取人眼的潜在区域，再获取人眼构造，如虹膜的特征信息，然后通过卡尔曼滤波方法根据第k时刻虹膜中心所在的区域和状态方程确定第k+1时刻虹膜中心所在的预测区域，根据观测方程和第k+1时刻虹膜中心所在的预测区域确定第k+1时刻虹膜中心所在的观测区域，再采用第k+1时刻虹膜中心所在的观测区域修正第k+1时刻虹膜中心所在的预测区域，得到虹膜中心的最优估计区域，最后根据虹膜中心的最优估计区域确定人眼的视线方向，进而确定人眼注视的屏幕落点位置，完成人机交互过程。
由于上述过程中，人眼是不断运动变化的，而用于确定虹膜中心所在的预测区域的状态方程是线性方程，得到的预测区域的准确率较低，相应的，用于修正预测区域的观测区域的准确率较低，最终确定人眼注视的屏幕落点位置的精确度较低，且速度较低。
发明内容
为了解决人眼注视的屏幕落点位置的精确度较低，且速度较低的问题，本发明提供了一种视线追踪方法及装置。所述技术方案如下：
第一方面，提供了一种视线追踪方法，所述方法包括：
根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，所述目标模型为根据目标参数和极限学习机器神经网络得到的模型，所述目标参数是向所述极限学习机器神经网络输入n个视觉特征参数后得到的参数，所述n个视觉特征参数为预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，所述预设参考图像划分为至少两个面积相等的视觉区域，所述n为大于1的整数；
采用所述观测区域修正预测区域，得到目标区域，所述预测区域是通过卡尔曼滤波方法确定的待测试虹膜图像的虹膜中心所在的区域；
根据所述目标区域确定人眼注视的屏幕落点位置。
可选的，在所述根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域之前，所述方法还包括：
获取预设的n个虹膜图像中每个虹膜图像对应所述预设参考图像中同一视觉区域的视觉特征参数，得到所述n个视觉特征参数；
通过向所述极限学习机器神经网络输入所述n个视觉特征参数，确定所述极限学习机器神经网络的目标参数；
根据所述目标参数与所述极限学习机器神经网络，确定所述目标模型。
可选的，所述目标参数为所述极限学习机器神经网络的输出权值，
所述通过向所述极限学习机器神经网络输入所述n个视觉特征参数，确定所述极限学习机器神经网络的目标参数，包括：
将所述n个视觉特征参数作为所述极限学习机器神经网络的输入参数；
将所述同一视觉区域对应的坐标矩阵作为所述极限学习机器神经网络的输出参数；
根据所述输入参数、所述输出参数、所述极限学习机器神经网络的输入权值和阈值，确定所述极限学习机器神经网络的输出权值，所述输入权值为所述极限学习机器神经网络的输入结点到隐层结点的权值，所述阈值为所述隐层结点的阈值；
所述根据所述目标参数与所述极限学习机器神经网络，确定所述目标模型，包括：
根据所述极限学习机器神经网络的输入权值、所述阈值和所述输出权值确定所述目标模型。
可选的，所述采用所述观测区域修正所述预测区域，得到目标区域，包括：
检测所述观测区域的中心与所述预测区域的中心的距离；
根据所述距离，确定调整因子的值，所述调整因子的值与所述距离正相关；
根据所述观测区域，通过调整卡尔曼增益公式来修正所述预测区域，得到所述目标区域，所述卡尔曼增益公式为：
其中，所述Kk为当前时刻的滤波增益矩阵，所述Pk,k-1为上一时刻到当前时刻的一步预测误差方差矩阵，所述Hk为当前时刻的观测区域对应的观测矩阵，所述为当前时刻的观测矩阵的转置矩阵，所述Rk为当前时刻的过程误差协方差矩阵，所述rk为当前时刻的调整因子，所述k为当前时刻，所述k-1为上一时刻。
可选的，所述根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，包括：
采集待测人脸图像；
获取所述待测人脸图像对应的虹膜图像；
根据所述待测人脸图像对应的虹膜图像获取目标视觉特征参数；
向所述目标模型输入所述目标视觉特征参数，得到所述目标模型输出的参数；
将所述目标模型输出的参数作为待测试虹膜图像的虹膜中心所在的观测区域。
可选的，在所述获取预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，得到所述n个视觉特征参数之前，所述方法还包括：
采集n个人脸图像；
获取每个所述人脸图像对应的虹膜图像，得到所述n个虹膜图像。
可选的，所述根据所述目标区域确定人眼注视的屏幕落点位置，包括：
根据所述目标区域确定目标视线方向；
根据所述目标视线方向和预设的坐标系，确定人眼注视的屏幕落点位置，所述坐标系用于记录人眼和屏幕落点位置的位置关系。
可选的，所述虹膜呈椭圆状，
所述视觉特征参数为虹膜在所述虹膜图像中的位置坐标、所述虹膜的长轴与水平方向的夹角、所述虹膜的长轴的长度和所述虹膜的短轴的长度中的任一特征参数。
第二方面，提供了一种视线追踪装置，所述装置包括：
第一确定单元，用于根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，所述目标模型为根据目标参数和极限学习机器神经网络得到的模型，所述目标参数是向所述极限学习机器神经网络输入n个视觉特征参数后得到的参数，所述n个视觉特征参数为预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，所述预设参考图像划分为至少两个面积相等的视觉区域，所述n为大于1的整数；
处理单元，用于采用所述观测区域修正预测区域，得到目标区域，所述预测区域是通过卡尔曼滤波方法确定的待测试虹膜图像的虹膜中心所在的区域；
第二确定单元，用于根据所述目标区域确定人眼注视的屏幕落点位置。
可选的，所述装置还包括：
第一获取单元，用于获取预设的n个虹膜图像中每个虹膜图像对应所述预设参考图像中同一视觉区域的视觉特征参数，得到所述n个视觉特征参数；
第三确定单元，用于通过向所述极限学习机器神经网络输入所述n个视觉特征参数，确定所述极限学习机器神经网络的目标参数；
第四确定单元，用于根据所述目标参数与所述极限学习机器神经网络，确定所述目标模型。
可选的，所述目标参数为所述极限学习机器神经网络的输出权值，
所述第三确定单元，包括：
第一处理模块，用于将所述n个视觉特征参数作为所述极限学习机器神经网络的输入参数；
第二处理模块，用于将所述同一视觉区域对应的坐标矩阵作为所述极限学习机器神经网络的输出参数；
第一确定模块，用于根据所述输入参数、所述输出参数、所述极限学习机器神经网络的输入权值和阈值，确定所述极限学习机器神经网络的输出权值，所述输入权值为所述极限学习机器神经网络的输入结点到隐层结点的权值，所述阈值为所述隐层结点的阈值；
所述第四确定单元，包括：
第二确定模块，用于根据所述极限学习机器神经网络的输入权值、所述阈值和所述输出权值确定所述目标模型。
可选的，所述处理单元，包括：
检测模块，用于检测所述观测区域的中心与所述预测区域的中心的距离；
第三确定模块，用于根据所述距离，确定调整因子的值，所述调整因子的值与所述距离正相关；
修正模块，用于根据所述观测区域，通过调整卡尔曼增益公式来修正所述预测区域，得到所述目标区域，所述卡尔曼增益公式为：
其中，所述Kk为当前时刻的滤波增益矩阵，所述Pk,k-1为上一时刻到当前时刻的一步预测误差方差矩阵，所述Hk为当前时刻的观测区域对应的观测矩阵，所述为当前时刻的观测矩阵的转置矩阵，所述Rk为当前时刻的过程误差协方差矩阵，所述rk为当前时刻的调整因子，所述k为当前时刻，所述k-1为上一时刻。
可选的，所述第一确定单元，包括：
第一采集模块，用于采集待测人脸图像；
第一获取模块，用于获取所述待测人脸图像对应的虹膜图像；
第二获取模块，用于根据所述待测人脸图像对应的虹膜图像获取目标视觉特征参数；
第三处理模块，用于向所述目标模型输入所述目标视觉特征参数，得到所述目标模型输出的参数；
第四处理模块，用于将所述目标模型输出的参数作为待测试虹膜图像的虹膜中心所在的观测区域。
可选的，所述装置还包括：
采集单元，用于采集n个人脸图像；
第二获取单元，用于获取每个所述人脸图像对应的虹膜图像，得到所述n个虹膜图像。
可选的，所述第二确定单元，包括：
第四确定模块，用于根据所述目标区域确定目标视线方向；
第五确定模块，用于根据所述目标视线方向和预设的坐标系，确定人眼注视的屏幕落点位置，所述坐标系用于记录人眼和屏幕落点位置的位置关系。
可选的，所述虹膜呈椭圆状，
所述视觉特征参数为虹膜在所述虹膜图像中的位置坐标、所述虹膜的长轴与水平方向的夹角、所述虹膜的长轴的长度和所述虹膜的短轴的长度中的任一特征参数。
本发明提供了一种视线追踪方法及装置，能够采用根据目标参数和极限学习机器神经网络得到目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，再采用观测区域修正预测区域，得到目标区域，最后根据目标区域确定人眼注视的屏幕落点位置，相较于相关技术，用于修正预测区域的观测区域的准确率更高，因此，提高了确定人眼注视的屏幕落点位置的精确度和速度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1-1是相关技术中的视线追踪方法的示意图；
图1-2是本发明各个实施例涉及的一种实施环境示意图；
图1-3是本发明实施例提供的一种视线追踪方法的流程图；
图2-1是本发明实施例提供的另一种视线追踪方法的流程图；
图2-2是本发明实施例提供的一种预设参考图像中划分的视觉区域的示意图；
图2-3是一种ELM神经网络的结构示意图；
图2-4是本发明实施例提供的一种确定ELM神经网络的目标参数的流程图；
图2-5是本发明实施例提供的一种确定待测试虹膜图像的虹膜中心所在的观测区域的流程图；
图2-6是本发明实施例提供的一种修正预测区域得到目标区域的流程图；
图2-7是本发明实施例提供的一种确定人眼注视的屏幕落点位置的流程图；
图3是本发明实施例提供的一种视线追踪装置的结构示意图；
图4-1是本发明实施例提供的另一种视线追踪装置的结构示意图；
图4-2是本发明实施例提供的一种第一确定单元的结构示意图；
图4-3是本发明实施例提供的一种处理单元的结构示意图；
图4-4是本发明实施例提供的一种第二确定单元的结构示意图；
图4-5是本发明实施例提供的一种第三确定单元的结构示意图；
图4-6是本发明实施例提供的一种第四确定单元的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1-1示出了相关技术中的视线追踪方法的示意图，如图1-1所示，该方法先通过摄像机采集人的图像，然后对人的图像进行处理，获取人脸图像，再利用头部轮廓的对称性，缩小人脸图像的范围，检测人眼的潜在区域，获取人眼的视觉特征参数。然后通过卡尔曼滤波方法进行视线追踪，确定人眼的视线方向，获取人眼注视的屏幕落点位置。其中，视觉特征参数主要是依赖于人眼构造的一些光学特性，这些人眼构造可以为角膜周围与巩膜部分、黑色的瞳孔、白色的巩膜和椭圆形的虹膜等。
图1-2示出了本发明各个实施例涉及的一种实施环境示意图，该实施环境可以包括：摄像机01、电视机02、中央处理模块03和用户04。
用户04注视电视机02的屏幕，摄像机01获取用户04的人脸图像，并将人脸图像发送至电视机02内的中央处理模块03，中央处理模块03对人脸图像通过图像处理，获取视觉特征参数，根据视觉特征参数确定人眼注视的屏幕落点位置，完成视线追踪过程。
本发明实施例提供了一种视线追踪方法，如图1-3所示，该方法包括：
步骤101、根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，该目标模型为根据目标参数和极限学习机器(英文：Extreme Learning Machine；简称：ELM)神经网络得到的模型，该目标参数是向ELM神经网络输入n个视觉特征参数后得到的参数，n个视觉特征参数为预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，该预设参考图像划分为至少两个面积相等的视觉区域，n为大于1的整数。
步骤102、采用观测区域修正预测区域，得到目标区域，该预测区域是通过卡尔曼滤波方法确定的待测试虹膜图像的虹膜中心所在的区域。
步骤103、根据目标区域确定人眼注视的屏幕落点位置。
综上所述，本发明实施例提供的视线追踪方法，能够根据目标参数和ELM神经网络得到目标模型，再确定待测试虹膜图像的虹膜中心所在的观测区域，再采用观测区域修正卡尔曼滤波方法得到的预测区域，得到目标区域，最后根据目标区域确定人眼注视的屏幕落点位置，相较于相关技术，用于修正预测区域的观测区域的准确率更高，因此，提高了确定人眼注视的屏幕落点位置的精确度和速度。
可选的，在步骤101之前，该方法还包括：获取预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，得到n个视觉特征参数；通过向ELM神经网络输入n个视觉特征参数，确定ELM神经网络的目标参数；根据目标参数与ELM神经网络，确定目标模型。
其中，目标参数为ELM神经网络的输出权值。通过向ELM神经网络输入n个视觉特征参数，确定ELM神经网络的目标参数，包括：
将n个视觉特征参数作为ELM神经网络的输入参数；
将同一视觉区域对应的坐标矩阵作为ELM神经网络的输出参数；
根据输入参数、输出参数、ELM神经网络的输入权值和阈值，确定ELM神经网络的输出权值，输入权值为ELM神经网络的输入结点到隐层结点的权值，阈值为隐层结点的阈值；
相应的，根据目标参数与ELM神经网络，确定目标模型，包括：根据ELM神经网络的输入权值、阈值和输出权值确定目标模型。
步骤102包括：检测观测区域的中心与预测区域的中心的距离；根据距离，确定调整因子的值，调整因子的值与距离正相关；根据观测区域，通过调整卡尔曼增益公式来修正预测区域，得到目标区域。该卡尔曼增益公式为：
其中，Kk为当前时刻的滤波增益矩阵，Pk,k-1为上一时刻到当前时刻的一步预测误差方差矩阵，Hk为当前时刻的观测区域对应的观测矩阵，为当前时刻的观测矩阵的转置矩阵，T表示矩阵的转置符号，如AT表示矩阵A的转置矩阵，Rk为当前时刻的过程误差协方差矩阵，rk为当前时刻的调整因子，k为当前时刻，k-1为上一时刻。
步骤101包括：采集待测人脸图像；获取待测人脸图像对应的虹膜图像；根据待测人脸图像对应的虹膜图像获取目标视觉特征参数；向目标模型输入目标视觉特征参数，得到目标模型输出的参数；将目标模型输出的参数作为待测试虹膜图像的虹膜中心所在的观测区域。
进一步的，在获取预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，得到n个视觉特征参数之前，该方法还包括：采集n个人脸图像；获取每个人脸图像对应的虹膜图像，得到n个虹膜图像。
步骤103包括：根据目标区域确定目标视线方向；根据目标视线方向和预设的坐标系，确定人眼注视的屏幕落点位置，该坐标系用于记录人眼和屏幕落点位置的位置关系。
可选的，虹膜呈椭圆状，视觉特征参数为虹膜在虹膜图像中的位置坐标、虹膜的长轴与水平方向的夹角、虹膜的长轴的长度和虹膜的短轴的长度中的任一特征参数。
综上所述，本发明实施例提供的视线追踪方法，能够根据目标参数和ELM神经网络得到目标模型，再确定待测试虹膜图像的虹膜中心所在的观测区域，再采用观测区域修正卡尔曼滤波方法得到的预测区域，得到目标区域，最后根据目标区域确定人眼注视的屏幕落点位置，相较于相关技术，用于修正预测区域的观测区域的准确率更高，因此，提高了确定人眼注视的屏幕落点位置的精确度和速度。
本发明实施例提供另一种视线追踪方法，如图2-1所示，该方法包括：
步骤201、采集n个人脸图像。
示例的，可以通过摄像机采集n个人脸图像。
步骤202、获取每个人脸图像对应的虹膜图像，得到n个虹膜图像。
利用头部轮廓的对称性，缩小人脸图像的范围，检测人眼的潜在区域，如椭圆形的虹膜，获取每个人脸图像对应的虹膜图像，得到n个虹膜图像。虹膜属于眼球中层，位于血管膜的最前部，在睫状体前方，有自动调节瞳孔的大小，调节进入眼内光线多少的作用。本发明实施例将虹膜的特征参数作为追踪视线的视觉特征参数。
步骤203、获取预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，得到n个视觉特征参数。
虹膜呈椭圆状，视觉特征参数为虹膜在虹膜图像中的位置坐标、虹膜的长轴与水平方向的夹角、虹膜的长轴的长度和虹膜的短轴的长度中的任一特征参数。
预设参考图像可以划分为至少两个面积相等的视觉区域。示例的，预设参考图形可以为椭圆状，也可以为其他形状。当预设参考图形为椭圆状时，预设参考图像按照图像轮廓划分为多个视觉区域，划分的视觉区域越多，包含面积相等的视觉区域就越多。图2-2示出了一种预设参考图像划分的视觉区域的示意图，如图2-2所示，预设参考图像划分为9个视觉区域，这9个视觉区域的标号为1至9，其中，标号为1、7、3和9的视觉区域的面积相等，标号为2、8、4和6的视觉区域的面积相等。示例的，预设参考图像还可以划分为16个视觉区域，划分的视觉区域越多，确定人眼注视的屏幕落点位置越精确。
示例的，可以获取n个虹膜图像中每个虹膜图像对应图2-2中的视觉区域1的视觉特征参数，得到n个视觉特征参数，也可以获取n个虹膜图像中每个虹膜图像对应图2-2中的视觉区域2的视觉特征参数，得到n个视觉特征参数，还可以获取n个虹膜图像中每个虹膜图像对应图2-2中的视觉区域4的视觉特征参数，得到n个视觉特征参数。
步骤204、通过向ELM神经网络输入n个视觉特征参数，确定ELM神经网络的目标参数。
目标参数为ELM神经网络的输出权值。从神经网络的结构来看，ELM是一个简单的单隐层前馈神经网络。ELM神经网络的输入结点到隐层结点的输入权值、隐层结点的阈值都是随机选取的。
图2-3示出了ELM神经网络的结构示意图，如图2-3所示，ELM神经网络包括三层：输入层、隐层和输出层。其中，输入层包括n个输入，隐层包括N个隐层结点，输出层包括m个输出。ELM神经网络按照一定的规律由N个隐层结点相互连接而成，通过隐层结点相互作用的动态过程，进行信息处理，每个隐层结点均设置一个加和器∑和一个激活函数g(x)，示例的，隐层结点与输入结点、输出结点通过权值连接。实际应用中，通过调整ELM神经网络相应的连接权值达到处理信息的目的。
假设有M个任意且相互独立的样本(xi,ti)，其中，xi∈Rn,ti∈Rm，含有N个隐层结点和激活函数g(x)的标准单隐层前馈神经网络的数据模型为：
其中，为连接第i层输入结点与隐层结点的权值向量，为连接第i个隐层结点与输出结点的权值向量，bi为第i层隐层结点的阈值，wi·xj表示wi和xj的内积，ELM神经网络的输出结点为线性结点。通过向图2-3所示的ELM神经网络输入n个视觉特征参数，确定ELM神经网络的输出权值。
具体的，步骤204如图2-4所示，包括：
步骤2041、将n个视觉特征参数作为ELM神经网络的输入参数。
以图2-3所示的ELM神经网络为例进行说明，将n个视觉特征参数作为ELM神经网络的输入参数。
步骤2042、将同一视觉区域对应的坐标矩阵作为ELM神经网络的输出参数。
将图2-2中同一视觉区域对应的坐标矩阵作为图2-3所示的ELM神经网络的输出参数。
步骤2043、根据输入参数、输出参数、ELM神经网络的输入权值和阈值，确定ELM神经网络的输出权值。
由于ELM神经网络的输入权值和隐层结点的阈值都是随机选取的，因此，可以根据输入参数、输出参数，训练ELM神经网络，得到ELM神经网络的输出权值。训练结束，ELM神经网络中的各项权值和阈值即被确定。
步骤205、根据目标参数与ELM神经网络，确定目标模型。
步骤204中ELM神经网络中的各项权值和阈值被确定后，即可得到一个确定的网络模型，即目标模型。
具体的，步骤205包括：根据ELM神经网络的输入权值、阈值和输出权值确定目标模型。
步骤206、根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域。
确定了目标模型，即可根据该目标模型确定待测试虹膜图像的虹膜中心所在的观测区域。
具体的，步骤206如图2-5所示，包括：
步骤2061、采集待测人脸图像。
采用摄像机获取任意一副人脸图像。
步骤2062、获取待测人脸图像对应的虹膜图像。
通过图像处理技术，获取待测人脸图像对应的虹膜图像。
步骤2063、根据待测人脸图像对应的虹膜图像获取目标视觉特征参数。
通过图像处理技术和数学分析方法，获取待测人脸图像对应的虹膜图像对应的视觉特征参数，该视觉特征参数可以为虹膜在虹膜图像中的位置坐标、虹膜的长轴与水平方向的夹角、虹膜的长轴的长度和虹膜的短轴的长度中的任一特征参数。
步骤2064、向目标模型输入目标视觉特征参数，得到目标模型输出的参数。
将获取的目标视觉参数放入训练好的ELM神经网络，即可得到训练好的ELM神经网络输出的参数。
步骤2065、将目标模型输出的参数作为待测试虹膜图像的虹膜中心所在的观测区域。
将训练好的ELM神经网络输出的参数作为待测试虹膜图像的虹膜中心所在的观测区域，该观测区域用于修正由卡尔曼滤波方法得到的预测区域。
步骤207、采用观测区域修正预测区域，得到目标区域。
预测区域是由卡尔曼滤波方法得到的待测试虹膜图像的虹膜中心所在的区域。卡尔曼滤波方法确定预测区域的状态方程是线性方程，预测区域的准确率较低，观测区域的准确率较低，无法更好地确定人眼注视的屏幕落点位置，因此，需要采用训练好的ELM神经网络输出的观测区域修正预测区域，得到最终的目标区域。
具体的，步骤207如图2-6所示，包括：
步骤2071、检测观测区域的中心与预测区域的中心的距离。
通过卡尔曼滤波方法获取预测区域，通过训练好的ELM神经网络获取观测区域，检测观测区域的中心与预测区域的中心的距离。
步骤2072、根据距离，确定调整因子的值，调整因子的值与距离正相关。
卡尔曼滤波方法采用观测值对预测值进行修正，其修正公式中包括卡尔曼增益Kk，计算该卡尔曼增益Kk的公式为：
其中，Kk为当前时刻的滤波增益矩阵，Pk,k-1为上一时刻到当前时刻的一步预测误差方差矩阵，Hk为当前时刻的观测区域对应的观测矩阵，为当前时刻的观测矩阵的转置矩阵，Rk为当前时刻的过程误差协方差矩阵，k为当前时刻，k-1为上一时刻。
由公式(1)可知，通过卡尔曼滤波方法得到的当前时刻的预测区域是由当前时刻的过程误差协方差矩阵Rk确定的，而当前时刻的过程误差协方差矩阵Rk较不稳定，容易造成视线追踪的结果不稳定，追踪的位置与实际位置时远时近，因此，本发明实施例在原当前时刻的过程误差协方差矩阵Rk之前添加一个当前时刻的调整因子rk，通过对当前时刻的调整因子rk的值进行调整，保证当前时刻的过程误差协方差矩阵Rk为一个稳定的矩阵，进而提高视线追踪效果。其中，在原当前时刻的过程误差协方差矩阵Rk之前添加一个当前时刻的调整因子rk之后的卡尔曼增益公式为：
其中，Kk为当前时刻的滤波增益矩阵，Pk,k-1为上一时刻到当前时刻的一步预测误差方差矩阵，Hk为当前时刻的观测区域对应的观测矩阵，为当前时刻的观测矩阵的转置矩阵，T表示矩阵的转置符号，如AT表示矩阵A的转置矩阵，Rk为当前时刻的过程误差协方差矩阵，rk为当前时刻的调整因子，k为当前时刻，k-1为上一时刻。
步骤2073、根据观测区域，通过调整卡尔曼增益公式来修正预测区域，得到目标区域。
具体的，当观测区域的中心与预测区域的中心的距离较远时，给卡尔曼增益公式(2)中的当前时刻的调整因子rk赋一个较大的值，快速调整预测区域；当观测区域的中心与预测区域的中心的距离较近时，给卡尔曼增益公式(2)的当前时刻的调整因子rk赋一个较小的值；当观测区域的中心与预测区域的中心的距离超过一定的范围时，表明当前卡尔曼滤波方法没有追踪上视线，则将ELM神经网络得到的观测区域作为最终的目标区域。实际应用中，可以使用5-10个调整因子rk，该调整因子rk的取值范围可以根据实际应用来设定。示例的，该调整因子rk∈[0.01，10]。这样，通过ELM神经网络修正了尔曼滤波方法确定的预测区域，提高了视线追踪的效果，同时减少了关于视线追踪的计算量，提高了视线追踪的速度。
步骤208、根据目标区域确定人眼注视的屏幕落点位置。
具体的，步骤208如图2-7所示，包括：
步骤2081、根据目标区域确定目标视线方向。
由目标区域确定目标视线方向的过程可以参考相关技术，在此不再赘述。
步骤2082、根据目标视线方向和预设的坐标系，确定人眼注视的屏幕落点位置。
坐标系用于记录人眼和屏幕落点位置的位置关系。已知人眼的视线方向，根据坐标系，即可获得人眼注视的屏幕落点位置，进而完成人与电视机的交互过程，如达到人对电视机遥控的目的，增强了用户体验。
需要说明的是，本发明实施例提供的视线追踪方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供的视线追踪方法，能够根据目标参数和ELM神经网络得到目标模型，再确定待测试虹膜图像的虹膜中心所在的观测区域，再采用观测区域修正卡尔曼滤波方法得到的预测区域，得到目标区域，最后根据目标区域确定人眼注视的屏幕落点位置，相较于相关技术，用于修正预测区域的观测区域的准确率更高，因此，提高了确定人眼注视的屏幕落点位置的精确度和速度。
本发明实施例提供了一种视线追踪装置，如图3所示，该装置包括：
第一确定单元301，用于根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，该目标模型为根据目标参数和ELM神经网络得到的模型，该目标参数是向ELM神经网络输入n个视觉特征参数后得到的参数，n个视觉特征参数为预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，该预设参考图像划分为至少两个面积相等的视觉区域，n为大于1的整数。
处理单元302，用于采用观测区域修正预测区域，得到目标区域。该预测区域是通过卡尔曼滤波方法确定的待测试虹膜图像的虹膜中心所在的区域。
第二确定单元303，用于根据目标区域确定人眼注视的屏幕落点位置。
综上所述，本发明实施例提供的视线追踪装置，能够根据目标参数和ELM神经网络得到目标模型，再确定待测试虹膜图像的虹膜中心所在的观测区域，再采用观测区域修正卡尔曼滤波方法得到的预测区域，得到目标区域，最后根据目标区域确定人眼注视的屏幕落点位置，相较于相关技术，用于修正预测区域的观测区域的准确率更高，因此，提高了确定人眼注视的屏幕落点位置的精确度和速度。
本发明实施例提供了另一种视线追踪装置，如图4-1所示，该装置包括：
第一确定单元301，用于根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，该目标模型为根据目标参数和ELM神经网络得到的模型，该目标参数是向ELM神经网络输入n个视觉特征参数后得到的参数，n个视觉特征参数为预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，该预设参考图像划分为至少两个面积相等的视觉区域，n为大于1的整数。
需要说明的是，虹膜呈椭圆状。视觉特征参数为虹膜在虹膜图像中的位置坐标、虹膜的长轴与水平方向的夹角、虹膜的长轴的长度和虹膜的短轴的长度中的任一特征参数。
具体的，第一确定单元301如图4-2所示，包括：
第一采集模块3011，用于采集待测人脸图像。
第一获取模块3012，用于获取待测人脸图像对应的虹膜图像。
第二获取模块3013，用于根据待测人脸图像对应的虹膜图像获取目标视觉特征参数。
第三处理模块3014，用于向目标模型输入目标视觉特征参数，得到目标模型输出的参数。
第四处理模块3015，用于将目标模型输出的参数作为待测试虹膜图像的虹膜中心所在的观测区域。
处理单元302，用于采用观测区域修正预测区域，得到目标区域。该预测区域是通过卡尔曼滤波方法确定的待测试虹膜图像的虹膜中心所在的区域。
具体的，处理单元302如图4-3所示，包括：
检测模块3021，用于检测观测区域的中心与预测区域的中心的距离。
第三确定模块3022，用于根据距离，确定调整因子的值，调整因子的值与距离正相关。
修正模块3023，用于根据观测区域，通过调整卡尔曼增益公式来修正预测区域，得到目标区域。
该卡尔曼增益公式为：
其中，Kk为当前时刻的滤波增益矩阵，Pk,k-1为上一时刻到当前时刻的一步预测误差方差矩阵，Hk为当前时刻的观测区域对应的观测矩阵，为当前时刻的观测矩阵的转置矩阵，T表示矩阵的转置符号，如AT表示矩阵A的转置矩阵，Rk为当前时刻的过程误差协方差矩阵，rk为当前时刻的调整因子，k为当前时刻，k-1为上一时刻。
第二确定单元303，用于根据目标区域确定人眼注视的屏幕落点位置。
具体的，第二确定单元303如图4-4所示，包括：
第四确定模块3031，用于根据目标区域确定目标视线方向。
第五确定模块3032，用于根据目标视线方向和预设的坐标系，确定人眼注视的屏幕落点位置。该坐标系用于记录人眼和屏幕落点位置的位置关系。
第一获取单元304，用于获取预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，得到n个视觉特征参数。
第三确定单元305，用于通过向ELM神经网络输入n个视觉特征参数，确定ELM神经网络的目标参数。
目标参数为ELM神经网络的输出权值。
具体的，第三确定单元305如图4-5所示，包括：
第一处理模块3051，用于将n个视觉特征参数作为ELM神经网络的输入参数。
第二处理模块3052，用于将同一视觉区域对应的坐标矩阵作为ELM神经网络的输出参数。
第一确定模块3053，用于根据输入参数、输出参数、ELM神经网络的输入权值和阈值，确定ELM神经网络的输出权值。该输入权值为ELM神经网络的输入结点到隐层结点的权值，该阈值为隐层结点的阈值。
第四确定单元306，用于根据目标参数与ELM神经网络，确定目标模型。
具体的，第四确定单元306如图4-6所示，包括：
第二确定模块3061，用于根据ELM神经网络的输入权值、阈值和输出权值确定所述目标模型。
采集单元307，用于采集n个人脸图像。
第二获取单元308，用于获取每个人脸图像对应的虹膜图像，得到n个虹膜图像。
综上所述，本发明实施例提供的视线追踪装置，能够根据目标参数和ELM神经网络得到目标模型，再确定待测试虹膜图像的虹膜中心所在的观测区域，再采用观测区域修正卡尔曼滤波方法得到的预测区域，得到目标区域，最后根据目标区域确定人眼注视的屏幕落点位置，相较于相关技术，用于修正预测区域的观测区域的准确率更高，因此，提高了确定人眼注视的屏幕落点位置的精确度和速度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、单元和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种视线追踪方法，其特征在于，所述方法包括：
根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，所述目标模型为根据目标参数和极限学习机器神经网络得到的模型，所述目标参数是向所述极限学习机器神经网络输入n个视觉特征参数后得到的参数，所述n个视觉特征参数为预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，所述预设参考图像划分为至少两个面积相等的视觉区域，所述n为大于1的整数；
采用所述观测区域修正预测区域，得到目标区域，所述预测区域是通过卡尔曼滤波方法确定的待测试虹膜图像的虹膜中心所在的区域；
根据所述目标区域确定人眼注视的屏幕落点位置。
2.根据权利要求1所述的方法，其特征在于，在所述根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域之前，所述方法还包括：
获取预设的n个虹膜图像中每个虹膜图像对应所述预设参考图像中同一视觉区域的视觉特征参数，得到所述n个视觉特征参数；
通过向所述极限学习机器神经网络输入所述n个视觉特征参数，确定所述极限学习机器神经网络的目标参数；
根据所述目标参数与所述极限学习机器神经网络，确定所述目标模型。
3.根据权利要求2所述的方法，其特征在于，所述目标参数为所述极限学习机器神经网络的输出权值，
所述通过向所述极限学习机器神经网络输入所述n个视觉特征参数，确定所述极限学习机器神经网络的目标参数，包括：
将所述n个视觉特征参数作为所述极限学习机器神经网络的输入参数；
将所述同一视觉区域对应的坐标矩阵作为所述极限学习机器神经网络的输出参数；
根据所述输入参数、所述输出参数、所述极限学习机器神经网络的输入权值和阈值，确定所述极限学习机器神经网络的输出权值，所述输入权值为所述极限学习机器神经网络的输入结点到隐层结点的权值，所述阈值为所述隐层结点的阈值；
所述根据所述目标参数与所述极限学习机器神经网络，确定所述目标模型，包括：
根据所述极限学习机器神经网络的输入权值、所述阈值和所述输出权值确定所述目标模型。
4.根据权利要求1所述的方法，其特征在于，所述采用所述观测区域修正所述预测区域，得到目标区域，包括：
检测所述观测区域的中心与所述预测区域的中心的距离；
根据所述距离，确定调整因子的值，所述调整因子的值与所述距离正相关；
根据所述观测区域，通过调整卡尔曼增益公式来修正所述预测区域，得到所述目标区域，所述卡尔曼增益公式为：
<mrow> <msub> <mi>K</mi> <mi>k</mi> </msub> <mo>=</mo> <msub> <mi>P</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <msubsup> <mi>H</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mi>k</mi> </msub> <msub> <mi>P</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <msubsup> <mi>H</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mo>+</mo> <msub> <mi>r</mi> <mi>k</mi> </msub> <msub> <mi>R</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，所述Kk为当前时刻的滤波增益矩阵，所述Pk,k-1为上一时刻到当前时刻的一步预测误差方差矩阵，所述Hk为当前时刻的观测区域对应的观测矩阵，所述为当前时刻的观测矩阵的转置矩阵，所述Rk为当前时刻的过程误差协方差矩阵，所述rk为当前时刻的调整因子，所述k为当前时刻，所述k-1为上一时刻。
5.根据权利要求1所述的方法，其特征在于，所述根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，包括：
采集待测人脸图像；
获取所述待测人脸图像对应的虹膜图像；
根据所述待测人脸图像对应的虹膜图像获取目标视觉特征参数；
向所述目标模型输入所述目标视觉特征参数，得到所述目标模型输出的参数；
将所述目标模型输出的参数作为待测试虹膜图像的虹膜中心所在的观测区域。
6.根据权利要求2所述的方法，其特征在于，在所述获取预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，得到所述n个视觉特征参数之前，所述方法还包括：
采集n个人脸图像；
获取每个所述人脸图像对应的虹膜图像，得到所述n个虹膜图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标区域确定人眼注视的屏幕落点位置，包括：
根据所述目标区域确定目标视线方向；
根据所述目标视线方向和预设的坐标系，确定人眼注视的屏幕落点位置，所述坐标系用于记录人眼和屏幕落点位置的位置关系。
8.根据权利要求1至7任一所述的方法，其特征在于，所述虹膜呈椭圆状，
所述视觉特征参数为虹膜在所述虹膜图像中的位置坐标、所述虹膜的长轴与水平方向的夹角、所述虹膜的长轴的长度和所述虹膜的短轴的长度中的任一特征参数。
9.一种视线追踪装置，其特征在于，所述装置包括：
第一确定单元，用于根据目标模型确定待测试虹膜图像的虹膜中心所在的观测区域，所述目标模型为根据目标参数和极限学习机器神经网络得到的模型，所述目标参数是向所述极限学习机器神经网络输入n个视觉特征参数后得到的参数，所述n个视觉特征参数为预设的n个虹膜图像中每个虹膜图像对应预设参考图像中同一视觉区域的视觉特征参数，所述预设参考图像划分为至少两个面积相等的视觉区域，所述n为大于1的整数；
处理单元，用于采用所述观测区域修正预测区域，得到目标区域，所述预测区域是通过卡尔曼滤波方法确定的待测试虹膜图像的虹膜中心所在的区域；
第二确定单元，用于根据所述目标区域确定人眼注视的屏幕落点位置。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第一获取单元，用于获取预设的n个虹膜图像中每个虹膜图像对应所述预设参考图像中同一视觉区域的视觉特征参数，得到所述n个视觉特征参数；
第三确定单元，用于通过向所述极限学习机器神经网络输入所述n个视觉特征参数，确定所述极限学习机器神经网络的目标参数；
第四确定单元，用于根据所述目标参数与所述极限学习机器神经网络，确定所述目标模型。
11.根据权利要求10所述的装置，其特征在于，所述目标参数为所述极限学习机器神经网络的输出权值，
所述第三确定单元，包括：
第一处理模块，用于将所述n个视觉特征参数作为所述极限学习机器神经网络的输入参数；
第二处理模块，用于将所述同一视觉区域对应的坐标矩阵作为所述极限学习机器神经网络的输出参数；
第一确定模块，用于根据所述输入参数、所述输出参数、所述极限学习机器神经网络的输入权值和阈值，确定所述极限学习机器神经网络的输出权值，所述输入权值为所述极限学习机器神经网络的输入结点到隐层结点的权值，所述阈值为所述隐层结点的阈值；
所述第四确定单元，包括：
第二确定模块，用于根据所述极限学习机器神经网络的输入权值、所述阈值和所述输出权值确定所述目标模型。
12.根据权利要求9所述的装置，其特征在于，所述处理单元，包括：
检测模块，用于检测所述观测区域的中心与所述预测区域的中心的距离；
第三确定模块，用于根据所述距离，确定调整因子的值，所述调整因子的值与所述距离正相关；
修正模块，用于根据所述观测区域，通过调整卡尔曼增益公式来修正所述预测区域，得到所述目标区域，所述卡尔曼增益公式为：
<mrow> <msub> <mi>K</mi> <mi>k</mi> </msub> <mo>=</mo> <msub> <mi>P</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <msubsup> <mi>H</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mi>k</mi> </msub> <msub> <mi>P</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <msubsup> <mi>H</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mo>+</mo> <msub> <mi>r</mi> <mi>k</mi> </msub> <msub> <mi>R</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，所述Kk为当前时刻的滤波增益矩阵，所述Pk,k-1为上一时刻到当前时刻的一步预测误差方差矩阵，所述Hk为当前时刻的观测区域对应的观测矩阵，所述为当前时刻的观测矩阵的转置矩阵，所述Rk为当前时刻的过程误差协方差矩阵，所述rk为当前时刻的调整因子，所述k为当前时刻，所述k-1为上一时刻。
13.根据权利要求9所述的装置，其特征在于，所述第一确定单元，包括：
第一采集模块，用于采集待测人脸图像；
第一获取模块，用于获取所述待测人脸图像对应的虹膜图像；
第二获取模块，用于根据所述待测人脸图像对应的虹膜图像获取目标视觉特征参数；
第三处理模块，用于向所述目标模型输入所述目标视觉特征参数，得到所述目标模型输出的参数；
第四处理模块，用于将所述目标模型输出的参数作为待测试虹膜图像的虹膜中心所在的观测区域。
14.根据权利要求10所述的装置，其特征在于，所述装置还包括：
采集单元，用于采集n个人脸图像；
第二获取单元，用于获取每个所述人脸图像对应的虹膜图像，得到所述n个虹膜图像。
15.根据权利要求9所述的装置，其特征在于，所述第二确定单元，包括：
第四确定模块，用于根据所述目标区域确定目标视线方向；
第五确定模块，用于根据所述目标视线方向和预设的坐标系，确定人眼注视的屏幕落点位置，所述坐标系用于记录人眼和屏幕落点位置的位置关系。
16.根据权利要求9至15任一所述的装置，其特征在于，所述虹膜呈椭圆状，
所述视觉特征参数为虹膜在所述虹膜图像中的位置坐标、所述虹膜的长轴与水平方向的夹角、所述虹膜的长轴的长度和所述虹膜的短轴的长度中的任一特征参数。
CN201510458572.9A 2015-07-30 2015-07-30 视线追踪方法及装置 Active CN104951084B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510458572.9A CN104951084B (zh) 2015-07-30 2015-07-30 视线追踪方法及装置
US15/165,724 US10114456B2 (en) 2015-07-30 2016-05-26 Sight tracking method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510458572.9A CN104951084B (zh) 2015-07-30 2015-07-30 视线追踪方法及装置

Publications (2)

Publication Number Publication Date
CN104951084A CN104951084A (zh) 2015-09-30
CN104951084B true CN104951084B (zh) 2017-12-29

Family

ID=54165781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510458572.9A Active CN104951084B (zh) 2015-07-30 2015-07-30 视线追踪方法及装置

Country Status (2)

Country Link
US (1) US10114456B2 (zh)
CN (1) CN104951084B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020591A (zh) * 2016-05-10 2016-10-12 上海青研信息技术有限公司 一种眼控人机交互移动窗口技术
US10846877B2 (en) 2016-06-28 2020-11-24 Google Llc Eye gaze tracking using neural networks
US10127680B2 (en) * 2016-06-28 2018-11-13 Google Llc Eye gaze tracking using neural networks
US11037330B2 (en) 2017-04-08 2021-06-15 Intel Corporation Low rank matrix compression
CN107390864B (zh) * 2017-06-19 2021-05-04 广东数相智能科技有限公司 基于眼球轨迹追踪的网络调研方法、电子设备及存储介质
CN107357429B (zh) 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
CN109960966A (zh) * 2017-12-21 2019-07-02 上海聚虹光电科技有限公司 基于机器学习的驾驶员视线判断方法
CN108492324B (zh) * 2018-01-27 2021-05-11 天津大学 基于全连接网络和卡尔曼滤波器的飞机追踪方法
WO2019154510A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN108462868A (zh) * 2018-02-12 2018-08-28 叠境数字科技（上海）有限公司 360度全景vr视频中用户凝视点的预测方法
CN108447303B (zh) * 2018-03-20 2021-01-15 武汉理工大学 基于人眼视觉与机器视觉耦合的外周视野危险识别方法
CN108520218A (zh) * 2018-03-29 2018-09-11 深圳市芯汉感知技术有限公司 一种基于目标跟踪算法的舰船样本收集方法
JP7118697B2 (ja) 2018-03-30 2022-08-16 株式会社Preferred Networks 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
CN108491823B (zh) * 2018-03-30 2021-12-24 百度在线网络技术（北京）有限公司 用于生成人眼识别模型的方法和装置
US10558895B2 (en) * 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质
CN110019893B (zh) * 2018-08-28 2021-10-15 京东方科技集团股份有限公司 一种画作获取方法及装置
CN110969060A (zh) * 2018-09-29 2020-04-07 北京市商汤科技开发有限公司 神经网络训练、视线追踪方法和装置及电子设备
CN109256042A (zh) * 2018-11-22 2019-01-22 京东方科技集团股份有限公司 显示面板、电子设备及人眼追踪方法
US11113842B2 (en) * 2018-12-24 2021-09-07 Samsung Electronics Co., Ltd. Method and apparatus with gaze estimation
CN111353506A (zh) * 2018-12-24 2020-06-30 北京三星通信技术研究有限公司 自适应的视线估计方法和设备
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
CN109960412B (zh) * 2019-03-22 2022-06-07 北京七鑫易维信息技术有限公司 一种基于触控调整注视区域的方法以及终端设备
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
CN110191234B (zh) * 2019-06-21 2021-03-26 中山大学 一种基于注视点分析的智能终端解锁方法
CN110208790B (zh) * 2019-07-04 2022-11-04 电子科技大学 一种基于mgekf的多传感器目标跟踪方法
CN110705644B (zh) * 2019-10-08 2022-11-18 西安米克斯智能技术有限公司 一种目标间方位关系的编码方法
CN111176524B (zh) 2019-12-25 2021-05-28 歌尔股份有限公司 一种多屏显示系统及其鼠标切换控制方法
CN111402480A (zh) * 2020-02-29 2020-07-10 深圳壹账通智能科技有限公司 访客信息管理方法、装置、系统、设备和存储介质
CN111429526B (zh) * 2020-03-23 2023-04-14 中国人民解放军海军特色医学中心 一种基于四分法逐层分割九点定位的视线追踪标定方法
CN111475391B (zh) * 2020-04-03 2024-04-16 中国工商银行股份有限公司 眼动数据处理方法、装置及系统
EP3893090B1 (en) * 2020-04-09 2022-06-01 Irisbond Crowdbonding, S.L. Method for eye gaze tracking
CN111552389B (zh) * 2020-05-11 2023-04-28 Oppo广东移动通信有限公司 注视点抖动消除方法、装置及存储介质
CN111723707B (zh) * 2020-06-09 2023-10-17 天津大学 一种基于视觉显著性的注视点估计方法及装置
CN114518800A (zh) * 2020-11-18 2022-05-20 北京搜狗科技发展有限公司 一种请求发送方法、装置和用于发送请求的装置
CN113448435B (zh) * 2021-06-11 2023-06-13 北京数易科技有限公司 一种基于卡尔曼滤波的眼控光标稳定方法
CN115147462B (zh) * 2022-07-08 2023-07-21 浙江大学 一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202563433U (zh) * 2012-04-10 2012-11-28 南京信息工程大学 基于红外发光管的快速视点跟踪装置
WO2014131690A1 (en) * 2013-02-27 2014-09-04 Thomson Licensing Method and device for calibration-free gaze estimation
CN104391574A (zh) * 2014-11-14 2015-03-04 京东方科技集团股份有限公司 视线处理方法、系统、终端设备及穿戴式设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202563433U (zh) * 2012-04-10 2012-11-28 南京信息工程大学 基于红外发光管的快速视点跟踪装置
WO2014131690A1 (en) * 2013-02-27 2014-09-04 Thomson Licensing Method and device for calibration-free gaze estimation
CN104391574A (zh) * 2014-11-14 2015-03-04 京东方科技集团股份有限公司 视线处理方法、系统、终端设备及穿戴式设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A novel ELM based adaptive Kalman filter tracking algorithm;Jian-Nan Chi等;《Neurocomputing》;20140327;第128卷;全文 *

Also Published As

Publication number Publication date
CN104951084A (zh) 2015-09-30
US20170031437A1 (en) 2017-02-02
US10114456B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
CN104951084B (zh) 视线追踪方法及装置
CN104504390B (zh) 一种基于眼动数据的网上用户状态识别方法和装置
CN103176607B (zh) 一种眼控鼠标实现方法及系统
CN102520796B (zh) 一种基于逐步回归分析映射模型的视线跟踪方法
CN107609516A (zh) 自适应眼动追踪方法
CN106650687A (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN106650688A (zh) 基于卷积神经网络的眼部特征检测方法，装置及识别系统
CN103366157A (zh) 一种人眼视线距离的判断方法
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
CN106569612A (zh) 一种护眼方法、护眼显示装置和终端
CN105759973A (zh) 一种基于3d视线估计的远近距离人机交互系统与方法
CN110415653B (zh) 背光亮度调节系统及调节方法和液晶显示装置
CN106485207A (zh) 一种基于双目视觉图像的指尖检测方法及系统
CN104036481B (zh) 一种基于深度信息提取的多聚焦图像融合方法
CN106599821A (zh) 基于bp神经网络的管制员疲劳检测方法及系统
CN105303771B (zh) 一种疲劳判断系统及方法
CN105224065A (zh) 一种视线估计设备和方法
CN104346621A (zh) 创建眼睛模板及检测眼睛状态的方法与装置
CN105279768A (zh) 基于多模式蚁群系统的变密度细胞跟踪方法
CN104463080A (zh) 人眼状态的检测方法
CN109344763A (zh) 一种基于卷积神经网络的斜眼检测方法
CN110415245A (zh) 眼部数据确定方法、模型训练方法及设备
CN112183160A (zh) 视线估计方法及装置
CN104463081A (zh) 人眼状态的检测方法
CN107811606A (zh) 基于无线传感器网络的智能视力检测仪

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant