CN108427503B - 人眼追踪方法及人眼追踪装置 - Google Patents

人眼追踪方法及人眼追踪装置 Download PDF

Info

Publication number
CN108427503B
CN108427503B CN201810251471.8A CN201810251471A CN108427503B CN 108427503 B CN108427503 B CN 108427503B CN 201810251471 A CN201810251471 A CN 201810251471A CN 108427503 B CN108427503 B CN 108427503B
Authority
CN
China
Prior art keywords
eyes
current
calibration
eye
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810251471.8A
Other languages
English (en)
Other versions
CN108427503A (zh
Inventor
孙建康
张�浩
陈丽莉
楚明磊
闫桂新
孙剑
郭子强
王亚坤
刘新建
王雪丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810251471.8A priority Critical patent/CN108427503B/zh
Publication of CN108427503A publication Critical patent/CN108427503A/zh
Application granted granted Critical
Publication of CN108427503B publication Critical patent/CN108427503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种人眼追踪方法及人眼追踪装置，该人眼追踪方法包括：对用户观看目标屏幕时的当前面部图像进行人脸检测得到当前人脸模型；根据所述当前人脸模型确定两眼瞳孔中心当前位置；根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数；根据所述两眼视线参数和两眼瞳孔中心当前位置计算两眼视线注视点当前位置；对所述两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视线落点当前位置。该方法该追踪方法不需要使用特定的红外相机，也不需要额外设置红外光源，因此，不需要复杂的硬件架构，且节省成本。

Description

人眼追踪方法及人眼追踪装置
技术领域
本发明涉及图像识别技术领域，尤其涉及人眼追踪方法及人眼追踪装置。
背景技术
眼球追踪技术是通过对人眼眼球的运行情况进行识别，分析人眼注视的视线变化，进而根据视线变化实现利用人眼控制设备的相关操作的技术，该技术可以应用在虚拟现实和人机交互等领域。
现有的眼球追踪技术，需要采用多个不可见光红外光源对人眼进行补光，然后采用红外相机获取人眼运动时的眼部图像，进而对人眼的眼球在空间中的运行情况进行建模和分析计算出人眼注视的视线变化。
上述眼球追踪技术需要特定的硬件设备，例如，红外光源和红外相机，因此，在硬件架构上较为复杂，且成本较高。
发明内容
本发明提供一种人眼追踪方法及人眼追踪装置，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种人眼追踪方法，包括：
对用户观看目标屏幕时的当前面部图像进行人脸检测得到当前人脸模型；
根据所述当前人脸模型确定两眼瞳孔中心当前位置；
根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数；
根据所述两眼视线参数和两眼瞳孔中心当前位置计算两眼视线注视点当前位置；
对所述两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视线落点当前位置。
可选的，所述对用户观看目标屏幕时的当前面部图像进行人脸检测得到当前人脸模型，包括：
对用户观看目标屏幕时的当前面部图像进行人脸检测获取当前人脸所在区域；
对当前人脸所在区域进行特征点定位得到包括多个特征点的当前人脸模型。
可选的，所述根据所述当前人脸模型确定两眼瞳孔中心的当前位置，包括：
根据所述当前人脸模型得到两眼所在当前区域；
根据所述两眼所在当前区域确定两眼瞳孔中心当前位置。
可选的，所述根据所述当前人脸模型得到两眼所在当前区域，包括：
根据所述当前人脸模型中的两眼特征点位置确定两眼所在当前区域的起始位置、长度和宽度；
界定出以所述起始位置为左上角，长边为所述长度以及短边为所述宽度的四边形区域，所述四边形区域为所述两眼所在当前区域。
可选的，所述根据所述两眼所在当前区域确定两眼瞳孔中心当前位置，包括：
对所述两眼所在当前区域进行二值化处理得到两眼所在当前区域的二值化图像；
对所述二值化图像在水平方向和竖直方向上进行积分投影粗定位出两眼瞳孔中心当前位置；
根据粗定位出的所述两眼瞳孔中心当前位置拟合确定两眼瞳孔所在当前区域；
根据所述两眼瞳孔所在当前区域精定位出两眼瞳孔中心当前位置。
可选的，所述当前人脸模型中的两眼特征点位置包括两眼外眼角当前位置、两眼内眼角当前位置、两眼上眼皮当前位置和两眼下眼皮当前位置；
所述根据所述当前人脸模型中的两眼特征点位置确定两眼所在当前区域的起始位置、长度和宽度，包括：
根据所述两眼外眼角当前位置和两眼上眼皮当前位置确定两眼所在当前区域的起始位置；
根据所述两眼外眼角当前位置和两眼内眼角当前位置确定两眼所在当前区域的长度；
根据所述两眼上眼皮当前位置和两眼下眼皮当前位置确定两眼所在当前区域的宽度。
可选的，所述两眼视线参数包括两眼特征映射参数和两眼视线注视点参数；
所述根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数，包括：
根据用户观看目标屏幕上的标定点时的标定面部图像获取标定人脸模型；
根据所述标定人脸模型确定两眼瞳孔中心标定位置和两眼眼角中心标定位置；
根据两眼瞳孔中心标定位置和两眼眼角中心标定位置计算两眼瞳孔中心相对于两眼眼角中心的两眼特征映射参数；
根据所述两眼特征映射参数和所述两眼瞳孔中心标定位置计算两眼视线特征标定值；
根据所述两眼视线特征标定值和预设标定点位置计算两眼注视视点参数。
可选的，所述根据所述两眼视线参数和两眼瞳孔中心当前位置计算两眼视线注视点当前位置，包括：
根据所述两眼特征映射参数和所述两眼瞳孔中心当前位置计算两眼视线特征当前值；
将所述两眼视线特征当前值和所述两眼视线注视点参数输入到人眼追踪模型中，计算两眼视线注视点当前位置。
可选的，所述对所述两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视点落点当前位置，包括：
根据预设标定点位置获取融合矩阵系数；
构建以所述融合矩阵系数和所述两眼视线注视点当前位置的融合矩阵；
对所述融合矩阵进行求解得到两眼在目标屏幕上的视点落点当前位置。
可选的，所述根据所述标定人脸模型确定两眼眼角中心标定位置，包括：
根据所述标定人脸模型中的两眼特征点坐标确定两眼候选眼角标定区域；
对所述两眼候选眼角标定区域进行滤波定位出两眼外眼角标定位置和两眼内眼角标定位置；
根据两眼外眼角标定位置和两眼内眼角标定位置计算两眼眼角中心标定位置。
根据本发明实施例的第二方面，提供一种人眼追踪装置，包括：
人脸模型确定单元，用于对用户观看目标屏幕时的当前面部图像进行人脸检测得到当前人脸模型；
瞳孔中心位置确定单元，用于根据所述当前人脸模型确定两眼瞳孔中心当前位置；
视线参数获取单元，用于根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数；
视线注视点位置计算单元，用于根据所述两眼视线参数和两眼瞳孔中心当前位置计算两眼视线注视点当前位置；
视线落点位置确定单元，用于对所述两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视线落点当前位置。
根据上述技术方案可知，该人眼追踪方法，瞳孔中心当前位置是根据实时采集的当前脸部图像获取的，最终可根据两眼视线参数和两眼瞳孔中心当前位置得到两眼两眼在目标屏幕上的视线落点当前位置，当用户人眼眼球位置变化时，瞳孔中心当前位置也随着变化，进而，得到的视线落点当前位置也随着人眼眼球位置变化而改变，因此，可以实现对人眼眼球的追踪，该追踪方法不需要使用特定的红外相机，也不需要额外设置红外光源，不需要复杂的硬件架构，且节省成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明一实施例提供的人眼追踪方法的工作流程图；
图2是根据本发明另一实施例提供的人眼追踪方法的工作流程图；
图3是根据本发明一实施例提供的人脸模型的示意图；
图4是根据本发明又一实施例提供的人眼追踪方法的工作流程图；
图5是根据本发明另一实施例提供的人脸模型的示意图；
图6是根据本发明又一实施例提供的人眼追踪方法的工作流程图；
图7是根据本发明另一实施例提供的人眼追踪方法的工作流程图；
图8是根据本发明又一实施例提供的人眼追踪方法的工作流程图；
图9是根据本发明又一实施例提供的人眼追踪装置的方框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
眼球追踪技术中的重要环节是对人眼眼球的变化进行识别，分析出人眼注视的视线变化，针对现有眼球追踪技术中硬件架构复杂和成本较高的问题，本发明实施例提供一种人眼眼球的追踪方法(本文简称人眼追踪方法)，其不需要额外设置红外光源，也不需要使用红外相机，即可实现人眼眼球追踪。
本发明实施例提供的人眼追踪方法，如图1所示，包括：
步骤S10、对用户观看目标屏幕时的当前面部图像进行人脸检测得到当前人脸模型；
步骤S20、根据当前人脸模型确定两眼瞳孔中心当前位置；
步骤S30、根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数；
步骤S40、根据两眼视线注视点参数和两眼瞳孔中心当前位置计算两眼视线注视点当前位置；
步骤S50、对两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视线落点当前位置。
上述人眼追踪方法可应用在多种设备上，例如，手机、平板电脑、计算机、显示器等设备。
可通过图像采集装置(例如摄像头)采集用户观看目标屏幕时的面部图像，上述的图像采集装置可以直接安装在应用该人眼追踪方法的设备上，或者独立于该设备，可将采集的面部图像通过有线或者无线的方式传输给应用该人眼追踪方法的设备。
对于有线传输的方式，具体而言，可采用具有USB接口的普通摄像头，摄像头与设备通过USB接口有线连接，摄像头采集的图像可通过USB接口传输给设备。
目标屏幕指供用户观看的设置上述设备上的，用于显示图像内容和/或文字内容的屏幕，例如，显示屏或者投影幕布等。
图像采集装置可实时的采集用户观看目标屏幕时的面部图像，可将采集的各帧面部图像传输给上述设备，设备可对接收到的每帧面部图像进行人脸检测，或者为了减轻计算压力，并非针对每一帧面部图像均进行人脸检测，可设置检测周期，每隔一定时间间隔周期性对接收到的面部图像进行人脸检测，为了强度获取的面部图像的实时性，本文中将面部图像称为当前面部图像(以下简称面部图像)，即用户当前时刻观看目标屏幕时的面部图像，当然，当前时刻并不一定完全与采集面部图像的时刻完全同步，允许有一定的延时和误差，也允许周期性进行人脸检测存在的延时等。
上述的面部图像并非只包括用户面部区域的图像，只要包括用户面部区域的图像即可，为了更加准确的进行人脸检测，在通过图像采集装置采集时，可以重点采集用户面部区域，以获得清晰的包括面部区域的面部图像。
人脸检测是基于人的脸部特征信息对人脸进行识别，在面部图像中准确的标定出人脸的位置和大小，并且可标定出脸部特征部位(例如眼镜、鼻子和/或嘴巴等)的位置和大小等得到当前人脸模型。
当前人脸模型(以下简称人脸模型)可表示出人脸所在区域，还可以表示人脸中特征部位(例如眼睛、鼻子和嘴)所在区域，可用人脸的轮廓形状和位置表示人脸所在区域，用人脸中特征部位的形状和位置等表示特征部位所在区域。
人脸模型可为由标识人脸的轮廓形状所在位置的多个特征点和标识人脸特征部位所在位置的多个特征点组成的人脸形状的集合，各特征点可用二维坐标表示。
得到人脸模型后进一步的确定两眼瞳孔中心当前位置，瞳孔是位于人眼眼球的虹膜中心的小圆孔，为光线进入眼睛的通道，瞳孔中心位置可以认为是人眼眼球的中心位置，瞳孔随着眼球位置的变化而变化，确定瞳孔中心当前位置即可准确的确定眼球中心的当前位置，瞳孔中心当前位置是根据实时采集的脸部图像获取的，当用户人眼眼球位置变化时，瞳孔中心当前位置也随着变化，因此，可以实现对人眼眼球的追踪。
上述所述的两眼瞳孔中心当前位置包括左眼瞳孔中心当前位置和右眼瞳孔中心当前位置。
上述步骤S30中进一步的根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数，标定点指预先设置好的位于目标屏幕上某个区域的点，标定点为具有一定面积人眼可见的点，标定点可以为一个或者多个，通常可设置四个标定点，例如，分别为位于目标屏幕的左上角的点，左下角的点，右上角的点和右下角的点。
用户观看目标屏幕上的标定点时两眼会朝向该标定点的位置，此时，根据标定面部图像可以确定两眼瞳孔中心位置(包括左眼瞳孔中心位置和右眼瞳孔中心位置)，根据两眼瞳孔中心位置相对于面部其他位置可以确定两眼视线参数(包括右眼视线参数和右眼视线参数)，两眼视线参数包括与两眼视线相关的参数，例如，两眼瞳孔中心相对于两眼眼角中心的映射关系的参数，或者表示两眼视线方向或者视线特征的参数等。
上述的两眼视线参数可以作为基准数据，再根据两眼瞳孔中心当前位置计算出两眼视线注视点当前位置(包括左眼视线注视点当前位置和右眼视线注视点当前位置)，即计算出用户当前时刻左眼视线注视目标屏幕的位置和右眼视线注视目标屏幕的位置。
上述计算出的为左眼视线和右眼视线分别在目标屏幕上的两个注视位置，用户在观看目标屏幕时，通常两眼会朝向相同的方向，聚焦在目标屏幕上的某一个位置，因此，为了准确的获得两眼视线聚焦的位置，进一步的，对两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视线落点当前位置，视线落点当前位置即左眼视线和右眼视线聚焦在目标屏幕上的当前位置，即使两眼视线最终聚焦到同一位置，得到用户在目标屏幕上的最终视线落点位置。
由上述描述可知，本发明实施例的人眼追踪方法，瞳孔中心当前位置是根据实时采集的当前脸部图像获取的，最终可根据两眼视线参数和两眼瞳孔中心当前位置得到两眼两眼在目标屏幕上的视线落点当前位置，当用户人眼眼球位置变化时，瞳孔中心当前位置也随着变化，进而，得到的视线落点当前位置也随着人眼眼球位置变化而改变，因此，可以实现对人眼眼球的追踪，该追踪方法不需要使用特定的红外相机，也不需要额外设置红外光源，不需要复杂的硬件架构，且节省成本。
在一个可选的实施方式中，如图2所示，上述步骤S10所述的对用户观看目标屏幕时的当前面部图像进行人脸检测得到当前人脸模型，可以包括以下步骤：
步骤S11、对用户观看目标屏幕时的当前面部图像进行人脸检测获取当前人脸所在区域；
步骤S12、对当前人脸所在区域进行特征点定位得到包括多个特征点的当前人脸模型。
面部图像中可能包括多种的模式特征，例如，直方图特征、颜色特征、模板特征、结构特征及Haar-like特征等，通过对上述特征进行识别和筛选等，可以获取当前人脸所在区域。
具体而言，可使用Harr-like特征进行人脸特征表示，基于积分图的方法计算出面部图像各区域的Harr-like特征值，可利用Adaboost学习算法从较大的特征值中挑选少量关键的分类能力较强的特征构造出一系列弱分类器，再通过线性组合或者加权等方式将这些弱分类器组合构成若干个强分类器，还可以通过Cascade级联算法将多个强分类器组成一个更加复杂的人脸检测器，然后可通过面部样本图像对人脸检测器进行训练，然后将当前面部图像输入训练完成的人脸检测器进行人脸检测，可准确的得到当前人脸所在区域。
在得到当前人脸所在区域后，进一步的，进行人脸特征点定位，得到包括多个特征点的当前人脸模型，具体而言，可采用基于监督下降的人脸对齐方法定位特征点，得到人脸模型。
人脸模型例如为由m个特征点的二维坐标组成的表示人脸形状的二维坐标集合F，
Figure BDA0001607879900000091
其中，i∈[1,m]，xi表示第i个特征点在水平方向的坐标，yi表示第i个特征点在竖直方向的坐标。
上述的人脸模型例如包括左眼轮廓Eyeleft和右眼轮廓Eyeright，左眼轮廓Eyeleft和右眼轮廓Eyeright分别为4个特征点的二维坐标集合F，左眼轮廓上的四个特征点例如为图3所示的位置点31、位置点32、位置点33和位置点34，右眼轮廓上的四个特征点例如为图3所示的位置点41、位置点42、位置点43和位置点44，左眼轮廓Eyeleft和右眼轮廓Eyeright的二维坐标集合F可分别表示为：
Figure BDA0001607879900000092
其中，
Figure BDA0001607879900000101
为左眼外眼角上某点(例如图3所示的位置点31)的二维坐标，
Figure BDA0001607879900000102
为左眼内眼角上某点(例如图3所示的位置点32)的二维坐标，
Figure BDA0001607879900000103
为左眼上眼皮上某点(例如图3所示的位置点33)的二维坐标，
Figure BDA0001607879900000104
为左眼下眼皮上某点(例如图3所示的位置点34)的二维坐标；
Figure BDA0001607879900000105
为右眼外眼角上某点(例如图3所示的位置点41)的二维坐标，
Figure BDA0001607879900000106
为右眼内眼角上某点(例如图3所示的位置点42)的二维坐标，
Figure BDA0001607879900000107
为右眼上眼皮上某点(例如图3所示的位置点43)的二维坐标，
Figure BDA0001607879900000108
为右眼下眼皮上某点(例如图3所示的位置点44)的二维坐标。
由于瞳孔位于人眼所在区域，如图3中所示的，左眼瞳孔为位于左眼轮廓内的黑色圆点，右眼瞳孔为位于右眼轮廓内的黑色圆点，因此，较佳的用位于左眼轮廓和右眼轮廓上的特征点表示人脸模型，这样可以便于后续根据人脸模型确定两眼瞳孔中心当前位置。
当然，当前人脸模型也可以包括人脸所在区域其他位置的多个特征点，例如，位于人脸外部轮廓上的多个位置点，如图3所示的位置点1-位置点26；位于鼻子轮廓上的多个位置点，如图3所示的位置点51-位置点57；位于嘴部轮廓上的多个位置点，如图3所示的位置点61-位置点68；位于嘴部轮廓上多个位置点，如图3所示的位置点61-位置点68；位于左眼眼眉轮廓上的多个位置点，如图3所示的位置点71-位置点73；位于右眼眼眉轮廓上的多个位置点，如图3所示的位置点81-位置点83。
图3所示的包括多个特征点的当前人脸模型只是示例性的说明，当前人脸模型包括的具体特征点可根据需要定位和设置。
可根据瞳孔中心相对于上述各特征点的相对位置确定两眼瞳孔中心当前位置，但是计算方法相对复杂且准确性稍低。
在一些例子中，如图2所述，上述步骤S20所述的根据当前人脸模型确定两眼瞳孔中心当前位置，包括：
步骤S21、根据当前人脸模型得到两眼所在当前区域；
步骤S22、根据两眼所在当前区域确定两眼瞳孔中心当前位置。
人脸模型可表示出人脸中特征部位所在区域等，其中两眼(包括左眼和右眼)为人脸中的特征部位之一，因此，可根据人脸模型得到两眼所在当前区域，包括左眼所在区域和右眼所在区域。
两眼瞳孔位于两眼所在当前区域，瞳孔是位于眼球的虹膜中心的小圆孔，瞳孔的颜色与人眼其他部分(例如眼白部分和虹膜的其他部分)颜色不同，因此，确定出两眼所在当前区域后可通过图像识别方法进一步的定位两眼瞳孔所在位置，进而确定出两眼瞳孔中心当前位置，包括左眼瞳孔中心当前位置和右眼瞳孔中心当前位置。
如图4所示，对于根据当前人脸模型得到两眼所在当前区域的方式，可以包括：
步骤S211、根据当前人脸模型中的两眼特征点位置确定两眼所在当前区域的起始位置、长度和宽度；
步骤S212、界定出以起始位置为左上角，长边为长度以及短边为宽度的四边形区域，四边形区域为两眼所在当前区域。
本实施例中，根据两眼特征点位置获取两眼所在当前区域的起始位置、长度和宽度，进而界定出四边形区域，四边形区域即为两眼所在当前区域，包括左眼所在当前区域和右眼所在当前区域。
在一些例子中，当前人脸模型中的两眼特征点包括两眼外眼角当前位置、两眼内眼角当前位置、两眼上眼皮当前位置和两眼下眼皮当前位置；
上述步骤S211所述的根据当前人脸模型中的两眼特征点确定两眼所在当前区域的起始位置、长度和宽度，包括：
步骤S2111、根据两眼外眼角当前位置和两眼上眼皮当前位置确定两眼所在当前区域的起始位置；
步骤S2112、根据两眼外眼角当前位置和两眼内眼角当前位置确定两眼所在当前区域的长度；
步骤S2113、根据两眼上眼皮当前位置和两眼下眼皮当前位置确定两眼所在当前区域的宽度。
两眼特征点可以为位于两眼轮廓上的多个位置的点，两眼特征点例如为两眼眼角位置和两眼眼皮位置，两眼眼角位置和两眼眼皮位置可以用二维坐标表示，例如，左眼眼角位置和左眼眼皮位置分别为：左眼外眼角上某点(如图5所示的位置点31)的二维坐标
Figure BDA0001607879900000121
左眼内眼角上某点(如图5所示的位置点32)的二维坐标
Figure BDA0001607879900000122
左眼上眼皮上某点(例如呈弧形的上眼皮上的斜率最小的点，如图5所示的位置点33)的二维坐标
Figure BDA0001607879900000123
左眼下眼皮上某点(例如呈弧形的下眼皮上的斜率最小的点，如图5所示的位置点34)的二维坐标
Figure BDA0001607879900000124
右眼眼角位置和右眼眼皮位置分别为：右眼外眼角上某点(如图5所示的位置点41)的二维坐标
Figure BDA0001607879900000125
右眼内眼角上某点(如图5所示的位置点42)的二维坐标
Figure BDA0001607879900000126
右眼上眼皮上某点(例如呈弧形的上眼皮上的斜率最小的点，如图5所示的位置点43)的二维坐标
Figure BDA0001607879900000127
右眼下眼皮上某点(例如呈弧形的下眼皮上的斜率最小的点，如图5所示的位置点44)的二维坐标
Figure BDA0001607879900000128
进一步的，根据左眼外眼角上某点的二维坐标
Figure BDA0001607879900000129
和左眼上眼皮上某点的坐标
Figure BDA00016078799000001210
确定左眼所在当前区域的起始位置的二维坐标
Figure BDA00016078799000001211
Figure BDA00016078799000001212
根据左眼外眼角上某点的二维坐标
Figure BDA00016078799000001213
和左眼内眼角上某点的二维坐标
Figure BDA00016078799000001214
确定左眼所在当前区域的长度
Figure BDA00016078799000001215
根据左眼上眼皮上某点的二维坐标
Figure BDA00016078799000001216
和左眼下眼皮上某点的二维坐标
Figure BDA00016078799000001217
确定左眼所在当前区域的宽度
Figure BDA00016078799000001218
进而界定出左眼所在当前区域为：以起始位置的坐标作为左上角的点，长度为hleft且宽度为wleft的四边形区域，如图5所示的四边形区域R1。
同样道理，根据右眼内眼角上某点的二维坐标
Figure BDA00016078799000001219
和右眼上眼皮上某点的二维坐标
Figure BDA00016078799000001220
确定右眼所在当前区域的起始位置的二维坐标
Figure BDA00016078799000001221
根据右眼外眼角上某点的二维坐标
Figure BDA00016078799000001222
和右眼内眼角上某点的二维坐标
Figure BDA00016078799000001223
确定右眼所在当前区域的长度
Figure BDA0001607879900000131
根据右眼上眼皮上某点的二维坐标
Figure BDA0001607879900000132
和右眼下眼皮上某点的二维坐标
Figure BDA0001607879900000133
确定右眼所在当前区域的宽度
Figure BDA0001607879900000134
进而界定出右眼所在当前区域为：以起始位置的坐标作为左上角的点，长度为hright且宽度为wright的四边形区域，如图5所示的四边形区域R2。
上述实施例中根据两眼眼角位置和两眼眼皮位置可以界定出两眼轮廓，进而可以较为准确的确定出两眼所在当前区域，有利于据此准确确定出两眼瞳孔中心当前位置。
在一个可选的实施方式中，如图4所示，上述步骤S22所述的根据两眼所在当前区域确定两眼瞳孔中心当前位置，包括：
步骤S221、对两眼所在当前区域进行二值化处理得到两眼所在当前区域的二值化图像；
步骤S222、对二值化图像在水平方向和竖直方向上进行积分投影粗定位出两眼瞳孔中心当前位置；
步骤S223、根据粗定位出的两眼瞳孔中心当前位置拟合确定两眼瞳孔所在当前区域；
步骤S224、根据两眼瞳孔所在当前区域精定位出两眼瞳孔中心当前位置。
具体的，采用最佳阈值法对步骤S4得到的左、右眼感兴趣区进行二值化；
本实施例中，对两眼所在区域进行二值化处理，具体而言，将两眼所在当前区域的各像素点的灰度设置为只有两种灰度值，这两种灰度值的对比度差别明显，例如两种灰度值分别为0和255，具体而言，可设置一个灰度阈值T，大于该灰度阈值T的像素的灰度设置为255，小于该灰度阈值T的像素的灰度设置的为0，使两眼所在当前区域呈现出明显的只有黑和白两种灰度值的二值化图像。
得到两眼所在区域的二值化图像后，由于瞳孔所在区域颜色较深，其他区域的颜色较浅，瞳孔所在区域的灰度值大于其他区域，当某一列像素灰度均值发生变化时，这种灰度值的区域特征变化会在像素灰度值上体现出来，因此，通过对二值化图像在水平方向和竖直方向进行积分投影可以确定图像中的区域特征变化，例如，可以分别计算出水平方向和竖直方向上积分投影的最小值点，初步定位出两眼瞳孔中心当前位置，即对两眼瞳孔中心当前位置进行粗定位，得到两眼瞳孔中心所在的大致当前位置，例如，左眼瞳孔中心所在的大致位置Oleft＝(xleft,yleft)和右眼瞳孔中心所在的大致位置Oright＝(xright,yright)。
进行二值化处理后损失了图像的一些细节，上述定位是对两眼瞳孔中心位置的粗 定位，可以初步确定两眼瞳孔中心所在的大致当前位置，为了更加精确的定位出两眼瞳孔 中心当前位置，进一步的，根据粗定位的两眼瞳孔中心当前位置拟合确定两眼瞳孔所在当 前区域，具体而言，可以从粗定位的两眼瞳孔中心当前位置发射出n条射线，并沿着每条射 线的方向，逐段计算导数值，当导数值超过了预设值时，就在该位置产生一个瞳孔所在当前 区域的边缘特征点，共可得到n个瞳孔所在当前区域的边缘特征点，进而可采用最小二乘法 进行瞳孔所在当前区域的拟合，拟合出的瞳孔所在当前区域的中心可作为精定位的两眼瞳 孔中心当前位置，例如，左眼瞳孔中心(如图5所示的位于左眼轮廓内的黑色圆点的中心)当 前位置的二维坐标为：和右眼瞳孔中心(如图5所示的位于右眼轮廓内的黑 色圆点的中心)当前位置的二维坐标为：
Figure BDA0001607879900000142
经过上述方法可以准确的定位出两眼瞳孔中心当前位置，实现对人眼眼球的准确追踪，本实施例的人眼追踪方法主要依赖与人脸检测和对两眼瞳孔中心位置的精确定位，即使用户在观看目标屏幕时其头部位置由于转动或者移动等位置发生变化等，也可以实现对人眼眼球的准确追踪，可以提高用户体验。
在一个可选的实施方式中，如图6所示，上述步骤S30所述的根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数，包括：
步骤S31、根据用户观看目标屏幕上的标定点时的标定面部图像获取标定人脸模型；
步骤S32、根据标定人脸模型确定两眼瞳孔中心标定位置和两眼眼角中心标定位置；
步骤S33、根据两眼瞳孔中心标定位置和两眼眼角中心标定位置计算两眼瞳孔中心相对于两眼眼角中心的两眼特征映射参数；
步骤S34、根据两眼特征映射参数和两眼瞳孔中心标定位置计算两眼视线特征标定值；
步骤S35、根据两眼视线特征标定值和预设标定点位置计算两眼视线注视点参数。
可根据获取的标定面部图像获取标定人脸模型，获取标定人脸模型的方法可参照上述描述，根据标定人脸模型可采用上述方法确定两眼瞳孔中心标定位置，也即确定用户观看目标屏幕上的标定点时的两眼瞳孔中心所在位置，并且，根据标定人脸模型确定两眼眼角中心标定位置，即两眼内眼角和外眼角所在直线的中心位置，包括左眼内眼角和左眼外眼角所在直线的中心位置和右眼内眼角和右眼外眼角所在直线的中心位置。
当人眼眼球运动时，即眼球位置发生变化时，两眼眼角中心位置是相对固定的，而瞳孔中心位置是变化的，因此，可计算两眼瞳孔中心相对于两眼眼角中心的两眼特征映射参数，包括左眼特征映射参数和右眼特征映射参数，该特征映射参数可以反映两眼瞳孔中心位置的变化情况。
根据两眼特征映射参数和两眼瞳孔中心标定位置计算两眼视线特征标定值，该两眼视线特征标定值可表示两眼视线注视方向的特征，进一步的，根据两眼视线特征标定值和预设标定点位置计算两眼视线注视点参数，即根据用户观看目标屏幕上的标定点位置获取两眼视线注视点参数，该两眼注视点参数可以反映用户两眼观看目标屏幕时的注视点的特征，即两眼注视目标屏幕的位置特征。
下面以用户观看目标屏幕上的四个标定点为例，说明通过标定面部图像获取两眼视线参数的具体方法。
以下以水平方向和竖直方向建立的二维坐标系为例描述，分别获取用户观看目标屏幕上的四个标定点时的四帧标定面部图像，四个标定点分别为：第一标定点(X1，Y1)、第二标定点(X2，Y2)、第三标定点(X3，Y3)和第三标定点(X4，Y4)，分别获取每帧面部图像的标定人脸模型。
根据每帧标定人脸模型分别得到四组左眼眼瞳孔中心标定位置和左眼眼角中心标定位置的数据，以及四组右眼眼瞳孔中心标定位置和右眼眼角中心标定位置的数据。
关于左眼的四组数据分别为：与第一个标定点(X1，Y1)对应的左眼瞳孔中心标定二维坐标
Figure BDA0001607879900000161
和左眼眼角中心二维坐标，左眼眼角中心二维坐标根据左眼外眼角上某点的标定二维坐标
Figure BDA0001607879900000162
左眼内眼角上某点的标定二维坐标
Figure BDA0001607879900000163
计算得到，左眼眼角中心二维坐标为
Figure BDA0001607879900000164
与第二个标定点(X2，Y2)对应的左眼瞳孔中心标定二维坐标
Figure BDA0001607879900000165
和左眼眼角中心二维坐标，左眼眼角中心二维坐标根据左眼外眼角上某点的标定二维坐标
Figure BDA0001607879900000166
左眼内眼角上某点的标定二维坐标
Figure BDA0001607879900000167
计算得到，左眼眼角中心二维坐标为
Figure BDA0001607879900000168
与第三个标定点(X3，Y3)对应的左眼瞳孔中心标定二维坐标
Figure BDA0001607879900000169
和左眼眼角中心二维坐标，左眼眼角中心二维坐标根据左眼外眼角上某点的标定二维坐标
Figure BDA00016078799000001610
左眼内眼角上某点的标定二维坐标
Figure BDA00016078799000001611
计算得到，左眼眼角中心二维坐标为
Figure BDA00016078799000001612
Figure BDA00016078799000001613
与第四个标定点(X4，Y4)对应的左眼瞳孔中心标定二维坐标
Figure BDA00016078799000001614
和左眼眼角中心二维坐标，左眼眼角中心二维坐标根据左眼外眼角上某点的标定二维坐标
Figure BDA00016078799000001615
左眼内眼角上某点的标定二维坐标
Figure BDA00016078799000001616
计算得到，左眼眼角中心二维坐标为
Figure BDA00016078799000001617
瞳孔中心相对于眼角中心的向量＝瞳孔中心二维坐标-眼角中心二维坐标＝特征映射参数·瞳孔中心二维坐标，也即公式A＝M·B，A为瞳孔中心二维坐标，B为眼角中心二维坐标，M为瞳孔中心相对于眼角中心的特征映射参数，该特征映射参数由特征映射矩阵M表示，A和B是变化的，而M不变，根据得到的上述四组数据可以计算出特征映射矩阵M。
具体而言，基于上述左眼的四组数据和上述公式可计算出左眼瞳孔中心相对于左眼眼角中心的特征映射矩阵M：
Figure BDA0001607879900000171
Figure BDA0001607879900000172
Figure BDA0001607879900000173
Figure BDA0001607879900000174
通过对上述四组公式进行线性求解，可得到左眼瞳孔中心相对于左眼眼角中心的特征映射矩阵
Figure BDA0001607879900000175
参照计算左眼的特征映射参数的方法，可以计算出右眼瞳孔中心相对于右眼眼角中心的特征映射矩阵
Figure BDA0001607879900000176
下面简单说明下。
根据每帧标定人脸模型可以得到四组右眼瞳孔中心标定位置和右眼眼角中心标定位置的数据。
关于右眼的四组数据分别为：与第一标定点(a1，b1)对应的右眼瞳孔中心标定二维坐标
Figure BDA0001607879900000177
和右眼眼角中心二维坐标
Figure BDA0001607879900000178
与第二个标定点(a2，b2)对应的右眼瞳孔中心标定二维坐标
Figure BDA0001607879900000179
和右眼眼角中心二维坐标
Figure BDA00016078799000001710
与第三个标定点(a3，b3)对应的右眼瞳孔中心标定二维坐标
Figure BDA00016078799000001711
和右眼眼角中心二维坐标
Figure BDA00016078799000001712
与第四个标定点(a4，b4)对应的右眼瞳孔中心标定二维坐标
Figure BDA00016078799000001713
和右眼眼角中心二维坐标
Figure BDA00016078799000001714
基于上述右眼的四组数据和上述公式可计算出右眼瞳孔中心相对于右眼眼角中心的特征映射矩阵N：
Figure BDA0001607879900000181
Figure BDA0001607879900000182
Figure BDA0001607879900000183
Figure BDA0001607879900000184
通过对上述四组公式进行线性求解，可得到右眼瞳孔中心相对于右眼眼角中心的特征映射矩阵
Figure BDA0001607879900000185
根据上述方法计算出左眼特征映射矩阵M和右眼的特征映射矩阵N之后，进一步的可根据下述公式计算出四组两眼视线特征标定值，其中，与第一标定点(X1，Y1)对应的第一左眼视线特征值
Figure BDA0001607879900000186
和第一右眼视线特征值
Figure BDA0001607879900000187
分别为：
Figure BDA0001607879900000188
Figure BDA0001607879900000189
与第二标定点(X2，Y2)对应的第二左眼视线特征值
Figure BDA00016078799000001810
和第二右眼视线特征值
Figure BDA00016078799000001811
分别为：
Figure BDA0001607879900000191
Figure BDA0001607879900000192
与第三标定点(X3，Y3)对应的第三左眼视线特征值
Figure BDA0001607879900000193
和第三右眼视线特征值
Figure BDA0001607879900000194
分别为：
Figure BDA0001607879900000195
Figure BDA0001607879900000196
与第四标定点(X4，Y4)对应的第四左眼视线特征值
Figure BDA0001607879900000197
和第四右眼视线特征值
Figure BDA0001607879900000198
分别为：
Figure BDA0001607879900000199
Figure BDA00016078799000001910
进一步的，根据上述计算出的两眼视线特征标定值和四个标定点坐标计算两眼视线注视点参数，两眼注视点参数作为人眼追踪模型中的参数之一，人眼追踪模型指用于计算人眼视线注视点的模型，其具体可以为下述模型：
xfix＝a0+a1·xfeature+a2·yfeature+a3·xfeature·yfeature；
yfix＝b0+b1·xfeature+b2·yfeature+b3·xfeature·yfeature；
其中，xfix表示人眼注视点在水平方向的坐标，yfix表示人眼注视点在竖直方向的坐标，xfeature表示人眼视线特征值在水平方向的坐标，yfeature表示人眼视线特征值在竖直方向的坐标，a0-a3和b0-b3表示人眼注视视点参数。
由于不同用户的面部特征并不相同，特别是与眼球追踪相关的两眼视线参数不同，包括两眼特征映射参数和两眼视线注视点参数，因此，需要通过用户观看目标屏幕上的标定点的面部图像获取两眼特征映射参数和两眼视线注视点参数，进而再计算出上述模型中的a0-a3和b0-b3，可将计算出的已知数据代入上述模型中，计算出上述模型中针对每个用户的人眼注视视点参数a0-a3和b0-b3，进而再根据模型进行实时人眼眼球的追踪，人眼注视视点参数a0-a3和b0-b3包括左眼注视点参数a01、a11、a21和a31，以及b01、b11、b21和b31，右眼注视点参数a02、a12、a22和a32，以及b02、b12、b22和b32，计算方式如下：
Figure BDA0001607879900000201
Figure BDA0001607879900000202
Figure BDA0001607879900000203
Figure BDA0001607879900000204
Figure BDA0001607879900000205
Figure BDA0001607879900000206
Figure BDA0001607879900000207
Figure BDA0001607879900000208
其中，上述的
Figure BDA0001607879900000209
和
Figure BDA00016078799000002010
分别表示左眼第一注视点在水平方向的坐标和竖直方向上的坐标，即等于上述第一标定点在水平方向的坐标和竖直方向上的坐标X1和Y1；
Figure BDA00016078799000002011
和
Figure BDA00016078799000002012
分别表示左眼第二注视点在水平方向的坐标和竖直方向上的坐标，即等于上述第二标定点在水平方向的坐标和竖直方向上的坐标X2和Y2；
Figure BDA00016078799000002013
和
Figure BDA00016078799000002014
分别表示左眼第三注视点在水平方向的坐标和竖直方向上的坐标，即等于上述第三标定点在水平方向的坐标和竖直方向上的坐标X3和Y3；
Figure BDA00016078799000002015
和
Figure BDA00016078799000002016
分别表示左眼第四注视点在水平方向的坐标和竖直方向上的坐标，即等于上述第四标定点在水平方向的坐标和竖直方向上的坐标X4和Y4。
将已知的数据分别代入上述模型中，可采用最小二乘法进行求解得到左眼注视点参数a01、a11、a21和a31，以及b01、b11、b21和b31，采用同样的方法，也可以计算得到右眼注视点参数a02、a12、a22和a32，以及b02、b12、b22和b32，此处不再赘述。
在一些例子中，如图7所示，上述步骤S40所述的根据两眼视线参数和两眼瞳孔中心当前位置计算两眼视线注视点当前位置，包括：
步骤S41、根据两眼特征映射参数和两眼瞳孔中心当前位置计算两眼视线特征当前值；
步骤S42、将两眼视线特征当前值和两眼视线注视点参数输入到人眼追踪模型中，计算两眼视线注视点当前位置。
得到两眼特征映射参数和两眼视线注视点参数后，可根据下述公式分别计算出左眼视线特征当前值
Figure BDA0001607879900000211
和右眼视线特征当前值
Figure BDA0001607879900000212
分别为：
Figure BDA0001607879900000213
Figure BDA0001607879900000214
进一步的，将计算出的左眼视线特征当前值和右眼视线特征当前值，以及上述得到的左眼视线注视点参数和右眼注视点参数输入到人眼追踪模型中，可计算出左眼视线注视点当前位置和右眼视线注视点当前位置，左眼视线注视点当前位置可以用二维坐标
Figure BDA0001607879900000215
表示，右眼视线注视点当前位置也可以用二维坐标
Figure BDA0001607879900000216
表示，具体计算方法如下：
Figure BDA0001607879900000217
Figure BDA0001607879900000218
Figure BDA0001607879900000219
Figure BDA00016078799000002110
上述实施例中，根据用户观看目标屏幕上标定点时的标定面部图像获取两眼特征映射参数和两眼视线注视点参数，据此计算出人眼追踪模型中针对每个用户的两眼注视视点参数，进而可以根据人眼追踪模型可实时的计算出针对每个用户面部特征的两眼视线注视点当前位置，可更加准确的追踪人眼眼球的位置。
在一个可选的实施方式中，如图8所示，上述步骤S50所述对两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视点落点当前位置，包括：
步骤S51、根据预设标定点位置获取融合矩阵系数；
步骤S52、构建以融合矩阵系数和两眼视线注视点当前位置的融合矩阵；
步骤S53、对融合矩阵进行求解得到两眼在目标屏幕上的视点落点当前位置。
本实施例中，根据预设标定点位置获取融合矩阵系数，进而根据构建的融合矩阵最终得到两眼在目标屏幕上的视点落点当前位置(X,Y)，即得到用户两眼视线注视在目标屏幕上的最终汇聚位置。
具体而言，构建如下的融合矩阵：
Figure BDA0001607879900000221
其中，
Figure BDA0001607879900000222
为上述计算得到的左眼视线注视点当前位置的二维坐标，
Figure BDA0001607879900000223
为右眼视线注视点当前位置的二维坐标；W为融合矩阵系数，W可以通过用户观看目标屏幕上的四个标定点时的视点落点坐标进行线性求解获得。
W的具体求解过程为，对于上述融合矩阵，已知的四个标定点的二维坐标即为用户观看目标屏幕上的四个标定点时的四个视线落点的二维坐标分别为：(X1，Y1)、(X2，Y2)、(X3，Y3)和(X4，Y4)，并且，针对四个标定点的四组左眼视线注视点的二维坐标
Figure BDA0001607879900000224
和右眼视线注视点的二维坐标
Figure BDA0001607879900000225
分别为上述四个标定点的二维坐标，即第一左眼注视点的二维坐标
Figure BDA0001607879900000226
和第一右眼注视点的二维坐标
Figure BDA0001607879900000227
均等于(X1，Y1)；同样的，第二左眼注视点的二维坐标
Figure BDA0001607879900000228
和第二右眼注视点的二维坐标
Figure BDA0001607879900000229
均等于(X2，Y2)；第三左眼注视点的二维坐标
Figure BDA00016078799000002210
和第三右眼注视点的二维坐标
Figure BDA0001607879900000231
均等于(X3，Y3)；第四左眼注视点的二维坐标
Figure BDA0001607879900000232
和第四右眼注视点的二维坐标
Figure BDA0001607879900000233
均等于(X4，Y4)。
将上述四组已知的数据分别代入上述构建的融合矩阵中，通过线性求解可得到融合矩阵系数，再将计算出的融合矩阵系数、左眼视线注视点当前位置的二维坐标和右眼视线注视点当前位置的二维坐标输入到融合矩阵中，进行求解即可计算出两眼在目标屏幕上的视点落点当前位置。
由上述实施例的方案可知，该人眼追踪方法无需采用特殊的红外光源和红外相机，不仅降低了人眼追踪的硬件配置要求，并且，该方法通过采用人脸检测和人脸特征点定位的方式，能够实时的检测出用户观看目标屏幕时的人脸的位置移动情况，能较大范围的适应用户头部运动情况，并得到两眼视线注视点当前位置，进而再对两眼视线进行融合，准确的得到两眼视线在目标屏幕上的最终聚焦位置，实现准确的人眼眼球追踪。
在一些例子中，上述所述的根据标定人脸模型确定两眼眼角中心标定位置，可以包括以下步骤：
步骤S321、根据标定人脸模型中的两眼特征点坐标确定两眼候选眼角标定区域；
步骤S322、对两眼候选眼角标定区域进行滤波定位出两眼外眼角标定位置和两眼内眼角标定位置；
步骤S323、根据两眼外眼角标定位置和两眼内眼角标定位置计算两眼眼角中心标定位置。
本实施例中，首先根据标定人脸模型中的两眼特征点坐标可对两眼内眼角标定位置和外眼角标定位置进行粗定位，然后，根据粗定位的两眼内眼角标定位置和外眼角标定位置确定两眼候选眼角标定区域，再通过对两眼候选眼角标定区域进行滤波精确定位两眼外眼角标定位置和两眼内眼角标定位置，据此，可以准确的计算出两眼眼角中心标定位置。
举例而言，标定人脸模型中的两眼特征点例如为粗定位的两眼外眼角和两眼内眼角，其分别为：左眼外眼角上某点的二维坐标，左眼内眼角上某点的二维坐标，左眼上眼皮上某点的二维坐标，左眼下眼皮上某点的二维坐标；右眼外眼角上某点的二维坐标，右眼内眼角上某点的二维坐标，右眼上眼皮上某点的二维坐标，右眼下眼皮上某点的二维坐标。
分别以上述粗定位的两眼外眼角上的二维坐标和两眼内眼角上的二维坐标为中心，划出变长为若干个像素的正方形区域作为两眼候选眼角标定区域，包括左眼外眼角候选标定区域、左眼内眼角候选标定区域、右眼外眼角候选标定区域和右眼内眼角候选标定区域，并可将各候选标定区域分别划分成w×w的子区域。
进一步的，可分别构造左眼外眼角滤波器，左眼内眼角滤波器、右眼外眼角滤波器和右眼内眼角滤波器，上述滤波器例如为Gabor滤波器，通过左眼外眼角滤波器对左眼外眼角候选标定区域的图像进行滤波，通过左眼内眼角滤波器对左眼内眼角候选标定区域的图像进行滤波，通过右眼外眼角滤波器对右眼外眼角候选标定区域的图像进行滤波，通过右眼内眼角滤波器对右眼内眼角候选标定区域的图像进行滤波，分别计算滤波后各候选标定区域图像的均值和方差得到各表征向量，在计算出与各表征向量距离最近的子块，包括左眼外眼角子块，左眼内眼角子块、右眼外眼角子块和右眼内眼角子块，各子块的二维坐标可作为精确定位的左眼外眼角的二维坐标
Figure BDA0001607879900000241
左眼内眼角的二维坐标
Figure BDA0001607879900000242
右眼外眼角的二维坐标
Figure BDA0001607879900000243
右眼内眼角的二维坐标
Figure BDA0001607879900000244
进而可计算出左眼眼角中心二维坐标
Figure BDA0001607879900000245
右眼眼角中心二维坐标
Figure BDA0001607879900000246
分别作为左眼眼角中心标定位置和右眼眼角中心标定位置。
上述实施例中可以较为精确的定位出两眼眼角中心标定位置，可据此准确计算两眼视线参数，进而，有利于最终准确的定位两眼在目标屏幕上的视点落点当前位置，实现准确的人眼眼球追踪。
本发明实施例还提供一种人眼追踪装置，如图9所示，该人眼追踪装置06包括：
人脸模型确定单元61，用于对用户观看目标屏幕时的当前面部图像进行人脸检测得到当前人脸模型；
瞳孔中心位置确定单元62，用于根据所述当前人脸模型确定两眼瞳孔中心当前位置；
视线参数获取单元63，用于根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数；
视线注视点位置计算单元64，用于根据所述两眼视线参数和两眼瞳孔中心当前位置计算两眼视线注视点当前位置；
视线落点位置确定单元65，用于对所述两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视线落点当前位置。
与前述人眼追踪方法的实施例相对应，本发明提供的人眼追踪装置，不需要使用特定的红外相机，也不需要额外设置红外光源，即可实现对人眼眼球的追踪，该追踪装置不需要复杂的硬件架构，且节省成本。
对于装置实施例而言，其中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上；上述各单元可以合并为一个单元，也可以进一步拆分成多个子单元。
通过以上的实施方式的描述，本实施例的装置可借助软件的方式实现，或者软件加必需的通用硬件的方式来实现，当然也可以通过硬件实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，以软件实现为例，作为一个逻辑意义上的装置，是通过应用该装置的设备所在的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (8)

1.一种人眼追踪方法，其特征在于，包括：
对用户观看目标屏幕时的当前面部图像进行人脸检测得到当前人脸模型；
根据所述当前人脸模型确定两眼瞳孔中心当前位置；
根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数；
根据所述两眼视线参数和两眼瞳孔中心当前位置计算两眼视线注视点当前位置；
对所述两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视线落点当前位置；
所述两眼视线参数包括两眼特征映射参数和两眼视线注视点参数；
所述根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数，包括：
根据用户观看目标屏幕上的标定点时的标定面部图像获取标定人脸模型；
根据所述标定人脸模型确定两眼瞳孔中心标定位置和两眼眼角中心标定位置；
根据两眼瞳孔中心标定位置和两眼眼角中心标定位置计算两眼瞳孔中心相对于两眼眼角中心的两眼特征映射参数；
根据所述两眼特征映射参数和所述两眼瞳孔中心标定位置计算两眼视线特征标定值；
根据所述两眼视线特征标定值和预设标定点位置计算两眼视线注视点参数；
所述根据所述两眼视线参数和两眼瞳孔中心当前位置计算两眼视线注视点当前位置，包括：
根据所述两眼特征映射参数和所述两眼瞳孔中心当前位置计算两眼视线特征当前值；
将所述两眼视线特征当前值和所述两眼视线注视点参数输入到人眼追踪模型中，计算两眼视线注视点当前位置；
所述对所述两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视点落点当前位置，包括：
根据预设标定点位置获取融合矩阵系数；
构建以所述融合矩阵系数和所述两眼视线注视点当前位置的融合矩阵；
对所述融合矩阵进行求解得到两眼在目标屏幕上的视点落点当前位置。
2.根据权利要求1所述的方法，其特征在于，所述对用户观看目标屏幕时的当前面部图像进行人脸检测得到当前人脸模型，包括：
对用户观看目标屏幕时的当前面部图像进行人脸检测获取当前人脸所在区域；
对当前人脸所在区域进行特征点定位得到包括多个特征点的当前人脸模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述当前人脸模型确定两眼瞳孔中心的当前位置，包括：
根据所述当前人脸模型得到两眼所在当前区域；
根据所述两眼所在当前区域确定两眼瞳孔中心当前位置。
4.根据权利要求3所述的方法，其特征在于，所述根据所述当前人脸模型得到两眼所在当前区域，包括：
根据所述当前人脸模型中的两眼特征点确定两眼所在当前区域的起始位置、长度和宽度；
界定出以所述起始位置为左上角，长边为所述长度以及短边为所述宽度的四边形区域，所述四边形区域为所述两眼所在当前区域。
5.根据权利要求3所述的方法，其特征在于，所述根据所述两眼所在当前区域确定两眼瞳孔中心当前位置，包括：
对所述两眼所在当前区域进行二值化处理得到两眼所在当前区域的二值化图像；
对所述二值化图像在水平方向和竖直方向上进行积分投影粗定位出两眼瞳孔中心当前位置；
根据粗定位出的所述两眼瞳孔中心当前位置拟合确定两眼瞳孔所在当前区域；
根据所述两眼瞳孔所在当前区域精定位出两眼瞳孔中心当前位置。
6.根据权利要求4所述的方法，其特征在于，
所述当前人脸模型中的两眼特征点包括两眼外眼角当前位置、两眼内眼角当前位置、两眼上眼皮当前位置和两眼下眼皮当前位置；
所述根据所述当前人脸模型中的两眼特征点确定两眼所在当前区域的起始位置、长度和宽度，包括：
根据所述两眼外眼角当前位置和两眼上眼皮当前位置确定两眼所在当前区域的起始位置；
根据所述两眼外眼角当前位置和两眼内眼角当前位置确定两眼所在当前区域的长度；
根据所述两眼上眼皮当前位置和两眼下眼皮当前位置确定两眼所在当前区域的宽度。
7.根据权利要求1所述的方法，其特征在于，所述根据所述标定人脸模型确定两眼眼角中心标定位置，包括：
根据所述标定人脸模型中的两眼特征点坐标确定两眼候选眼角标定区域；
对所述两眼候选眼角标定区域进行滤波定位出两眼外眼角标定位置和两眼内眼角标定位置；
根据两眼外眼角标定位置和两眼内眼角标定位置计算两眼眼角中心标定位置。
8.一种人眼追踪装置，其特征在于，包括：
人脸模型确定单元，用于对用户观看目标屏幕时的当前面部图像进行人脸检测得到当前人脸模型；
瞳孔中心位置确定单元，用于根据所述当前人脸模型确定两眼瞳孔中心当前位置；
视线参数获取单元，用于根据用户观看目标屏幕上的标定点时的标定面部图像获取两眼视线参数；
视线注视点位置计算单元，用于根据所述两眼视线参数和两眼瞳孔中心当前位置计算两眼视线注视点当前位置；
视线落点位置确定单元，用于对所述两眼视线注视点当前位置进行融合得到两眼在目标屏幕上的视线落点当前位置；
所述两眼视线参数包括两眼特征映射参数和两眼视线注视点参数；
所述视线参数获取单元，还用于根据用户观看目标屏幕上的标定点时的标定面部图像获取标定人脸模型，根据所述标定人脸模型确定两眼瞳孔中心标定位置和两眼眼角中心标定位置，根据两眼瞳孔中心标定位置和两眼眼角中心标定位置计算两眼瞳孔中心相对于两眼眼角中心的两眼特征映射参数，根据所述两眼特征映射参数和所述两眼瞳孔中心标定位置计算两眼视线特征标定值，根据所述两眼视线特征标定值和预设标定点位置计算两眼视线注视点参数；
所述视线注视点位置计算单元，还用于根据所述两眼特征映射参数和所述两眼瞳孔中心当前位置计算两眼视线特征当前值，将所述两眼视线特征当前值和所述两眼视线注视点参数输入到人眼追踪模型中，计算两眼视线注视点当前位置；
所述视线落点位置确定单元，还用于根据预设标定点位置获取融合矩阵系数，构建以所述融合矩阵系数和所述两眼视线注视点当前位置的融合矩阵，对所述融合矩阵进行求解得到两眼在目标屏幕上的视点落点当前位置。
CN201810251471.8A 2018-03-26 2018-03-26 人眼追踪方法及人眼追踪装置 Active CN108427503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810251471.8A CN108427503B (zh) 2018-03-26 2018-03-26 人眼追踪方法及人眼追踪装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810251471.8A CN108427503B (zh) 2018-03-26 2018-03-26 人眼追踪方法及人眼追踪装置

Publications (2)

Publication Number Publication Date
CN108427503A CN108427503A (zh) 2018-08-21
CN108427503B true CN108427503B (zh) 2021-03-16

Family

ID=63159617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810251471.8A Active CN108427503B (zh) 2018-03-26 2018-03-26 人眼追踪方法及人眼追踪装置

Country Status (1)

Country Link
CN (1) CN108427503B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109343700B (zh) * 2018-08-31 2020-10-27 深圳市沃特沃德股份有限公司 眼动控制校准数据获取方法和装置
CN109375765B (zh) * 2018-08-31 2020-10-09 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置
CN109044363A (zh) * 2018-09-04 2018-12-21 华南师范大学 基于头部姿态和眼动的驾驶员疲劳检测方法
CN109389082B (zh) * 2018-09-30 2021-05-04 北京旷视科技有限公司 视线采集方法、装置、系统、计算机可读存储介质
CN109635761B (zh) * 2018-12-18 2021-09-10 北京七鑫易维信息技术有限公司 一种虹膜识别图像确定方法、装置、终端设备及存储介质
CN109674629A (zh) * 2019-01-31 2019-04-26 河南云睛视光科技有限公司 一种云数据计算方式的视光训练方法
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品
CN110516553A (zh) * 2019-07-31 2019-11-29 北京航空航天大学 工作状态的监测方法和装置
CN110659674A (zh) * 2019-09-05 2020-01-07 东南大学 一种基于视线跟踪的测谎方法
CN110780742B (zh) * 2019-10-31 2021-11-02 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN111178189B (zh) * 2019-12-17 2024-04-09 北京无线电计量测试研究所 一种网络学习辅助方法和系统
CN113138662A (zh) * 2020-01-19 2021-07-20 珠海格力电器股份有限公司 触控设备防误触方法、装置、电子设备及可读存储介质
CN111429526B (zh) * 2020-03-23 2023-04-14 中国人民解放军海军特色医学中心 一种基于四分法逐层分割九点定位的视线追踪标定方法
CN111428634B (zh) * 2020-03-23 2023-06-27 中国人民解放军海军特色医学中心 一种采用六点法分块模糊加权的人眼视线追踪定位方法
CN113760083A (zh) * 2020-06-01 2021-12-07 张也弛 操作者目光在终端设备屏幕上落点位置的确定方法及装置
CN111638799B (zh) * 2020-06-09 2023-10-27 京东方科技集团股份有限公司 一种视线追踪方法、视线追踪装置、计算机设备和介质
CN112180991A (zh) * 2020-09-02 2021-01-05 浙江大丰实业股份有限公司 一种可自主调配的舞台用追光灯控制系统
CN112288855A (zh) * 2020-10-29 2021-01-29 张也弛 一种操作者眼睛注视模型的建立方法及装置
CN112257696B (zh) * 2020-12-23 2021-05-28 北京万里红科技股份有限公司 视线估计方法及计算设备
CN112799518B (zh) * 2021-04-15 2021-06-25 南昌虚拟现实研究院股份有限公司 眼球追踪数据处理方法及系统
WO2022261856A1 (zh) * 2021-06-16 2022-12-22 华为技术有限公司 图像处理方法、装置及存储介质
CN113662822B (zh) * 2021-07-29 2023-09-12 广州视景医疗软件有限公司 一种基于眼动的视标调整方法、视觉训练方法及装置
CN113628579A (zh) * 2021-08-09 2021-11-09 深圳市优聚显示技术有限公司 一种led节能显示方法、led显示屏系统及lcd显示设备
CN116820246B (zh) * 2023-07-06 2024-05-28 上海仙视电子科技有限公司 一种视角自适应的屏幕调节控制方法及装置
CN117058749B (zh) * 2023-08-17 2024-06-07 深圳市华弘智谷科技有限公司 一种多摄像头透视方法、装置、智能眼镜及存储介质
CN118279966B (zh) * 2024-06-04 2024-08-27 京东方艺云(杭州)科技有限公司 一种视线追踪方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018655A2 (en) * 2009-08-13 2011-02-17 Bae Systems Plc Head up display system
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN102930278A (zh) * 2012-10-16 2013-02-13 天津大学 一种人眼视线估计方法及其装置
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525817B2 (en) * 2013-11-22 2016-12-20 Samsung Electro-Mechanics Co., Ltd. System and method of controlling imaging direction and angle of view of camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018655A2 (en) * 2009-08-13 2011-02-17 Bae Systems Plc Head up display system
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN102930278A (zh) * 2012-10-16 2013-02-13 天津大学 一种人眼视线估计方法及其装置
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视线追踪系统中注视点估计方法研究;金纯等;《自动化仪表》;20160531(第5期);全文 *

Also Published As

Publication number Publication date
CN108427503A (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN107193383B (zh) 一种基于人脸朝向约束的二级视线追踪方法
US10777018B2 (en) Systems and methods for determining the scale of human anatomy from images
CN106056092B (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
Tonsen et al. A high-level description and performance evaluation of pupil invisible
CN105930821B (zh) 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置
WO2020125499A1 (zh) 一种操作提示方法及眼镜
CN103729981B (zh) 一种儿童坐姿监控智能终端
CN111511318A (zh) 数字治疗矫正眼镜
WO2016115872A1 (zh) 双目ar头戴显示设备及其信息显示方法
JP5225870B2 (ja) 情動分析装置
CN111933275A (zh) 一种基于眼动与面部表情的抑郁评估系统
CN109634431B (zh) 无介质浮空投影视觉追踪互动系统
CN112666705A (zh) 一种眼动追踪设备及眼动追踪方法
CN107260506B (zh) 基于眼动的3d视觉训练系统、智能终端及头戴设备
WO2021095277A1 (ja) 視線検出方法、視線検出装置、及び制御プログラム
CN112232128B (zh) 基于视线追踪的老年残障人士照护需求识别方法
CN115171024A (zh) 一种基于视频序列的面部多特征融合疲劳检测方法及系统
JP2020140630A (ja) 注視点推定システム、注視点推定方法、注視点推定プログラム、及び、これが記録された情報記録媒体
JP2021077333A (ja) 視線検出方法、視線検出装置、及び制御プログラム
CN106708249B (zh) 交互方法、交互装置及用户设备
CN116453198B (zh) 一种基于头部姿态差异的视线校准方法和装置
Arar et al. Robust real-time multi-view eye tracking
CN116883436A (zh) 一种基于视线估计的辅助理解方法及系统
Parada et al. ExpertEyes: Open-source, high-definition eyetracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant