CN105930762A - 一种眼球跟踪的方法及装置 - Google Patents

一种眼球跟踪的方法及装置 Download PDF

Info

Publication number
CN105930762A
CN105930762A CN201510875607.9A CN201510875607A CN105930762A CN 105930762 A CN105930762 A CN 105930762A CN 201510875607 A CN201510875607 A CN 201510875607A CN 105930762 A CN105930762 A CN 105930762A
Authority
CN
China
Prior art keywords
gray
scale map
eyeball
nth frame
frame face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510875607.9A
Other languages
English (en)
Inventor
蔡子豪
冯亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201510875607.9A priority Critical patent/CN105930762A/zh
Publication of CN105930762A publication Critical patent/CN105930762A/zh
Priority to EP16869989.0A priority patent/EP3385885A4/en
Priority to PCT/CN2016/108060 priority patent/WO2017092679A1/zh
Priority to US15/780,641 priority patent/US10699420B2/en
Priority to CA3025964A priority patent/CA3025964C/en
Priority to TW105140169A priority patent/TWI611353B/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种眼球跟踪的方法及装置，该方法包括获取待检测的面部灰度图集合，判断待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓，若否，则对第N帧面部灰度图进行眼球瞳孔检测，确定第N帧面部灰度图中眼球瞳孔的中心位置，在第N帧面部灰度图中，以眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，根据眼球窗口对应的灰度图区域，确定第N帧面部灰度图中的眼球虹膜的轮廓。通过判断面部灰度图未确定出眼球虹膜的轮廓，可以进行自动调整眼球虹膜的轮廓的跟踪，重新进行眼球瞳孔的定位。提高了眼球跟踪的准确率，并且可以自动标识眼球检测眼球瞳孔的中心位置。

Description

一种眼球跟踪的方法及装置
技术领域
本发明涉及视觉跟踪技术领域，尤其涉及一种眼球跟踪的方法及装置。
背景技术
眼球跟踪是跟踪眼球运动的一种算法，该算法可以对视频录像中的每一帧图片进行眼球虹膜轮廓检测和定位，然后在使用最优的框去拟合和标记出来，并且可以计算出瞳孔中心的位置。
发明内容
本发明实施例提供一种眼球跟踪的方法及装置，用以实现自动检测眼球的起始点，在眼球轮廓识别错误时自动进行调整。
本发明实施例提供的一种眼球跟踪的方法，包括：
获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
若否，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
较佳地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
较佳地，所述对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置，包括：
将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
较佳地，所述将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线，包括：
去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
较佳地，所述根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标，包括：
对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
较佳地，所述根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，包括：
对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
较佳地，根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置，包括：
从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
较佳地，所述以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，包括：
以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
较佳地，所述根据所述眼球窗口对应的灰度图区域，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓，包括：
以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
较佳地，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
相应地，本发明实施例提供了一种眼球跟踪的装置，包括：
获取单元，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
判断单元，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
中心位置确定单元，用于若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
眼球窗口确定单元，用于在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
眼球轮廓确定单元，用于根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
较佳地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则中心位置确定单元还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
眼球窗口确定单元还用于在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
眼球轮廓确定单元还用于根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
较佳地，所述中心位置确定单元具体用于：
将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
较佳地，所述中心位置确定单元具体用于：
去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
较佳地，所述中心位置确定单元具体用于：
对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
较佳地，所述中心位置确定单元具体用于：
对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
较佳地，所述中心位置确定单元具体用于：
从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
较佳地，所述眼球窗口确定单元具体用于：
以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
较佳地，所述眼球轮廓确定单元具体用于：
以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
较佳地，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
所述眼球轮廓确定单元还用于当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
本发明实施例表明，通过获取待检测的面部灰度图集合，判断待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓，若否，则对第N帧面部灰度图进行眼球瞳孔检测，确定第N帧面部灰度图中眼球瞳孔的中心位置，在第N帧面部灰度图中，以眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，根据眼球窗口对应的灰度图区域，确定第N帧面部灰度图中的眼球虹膜的轮廓。通过判断面部灰度图未确定出眼球虹膜的轮廓，可以进行自动调整眼球虹膜的轮廓的跟踪，重新进行眼球瞳孔的定位，避免了出现眼球虹膜的轮廓的跟踪错误无法进行自动调整的情况。提高了眼球跟踪的准确率，并且可以自动标识眼球检测眼球瞳孔的中心位置。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种眼球跟踪的方法的流程示意图；
图2为本发明实施例提供的一种预处理前的水平投影曲线示意图；
图3为本发明实施例提供的一种预处理后的水平投影曲线示意图；
图4为本发明实施例提供的一种眼球跟踪的装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部份实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
图1示出了本发明实施例提供的一种眼球跟踪的流程，该流程可以由眼球跟踪的装置执行。
如图1所述，该流程的具体步骤包括：
步骤101，获取待检测的面部灰度图集合。
步骤102，判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓。
步骤103，对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置。
步骤104，在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域。
步骤105，根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
步骤106，将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置。
步骤107，在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域。
步骤108，根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
在步骤101中，该待检测的面部灰度图集合中包括多帧面部灰度图。将视频切分为一帧帧的图片，将这些一帧帧的图片组成集合，如果该一帧帧的图片都是彩色的，则需要将还一帧帧的彩色图片转换为灰度图，即可以获得待检测的面部灰度图。
在步骤102中，判断步骤101中获取的待检测的面部灰度图集合中的第N帧面部灰度图是否可以确定出眼球虹膜的轮廓来，如果可以确定出眼球虹膜的轮廓，说明该第N帧面部灰度图的眼球跟踪没有出现错误，可以进行第N+1帧面部灰度图的眼球跟踪。如果不能确定出眼球虹膜的轮廓，则可能是该第N帧面部灰度图的眼球跟踪出现错误，需要重新确定该第N帧面部灰度图的眼球瞳孔的中心位置，也可能是该第N帧面部灰度图是第1帧面部灰度图，对于第1帧面部灰度图需要确定该第1帧面部灰度图的眼球瞳孔的中心位置。其中，N为正整数。
在步骤103中，若步骤102中判断出该待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则需要对该第N帧面部灰度图进行眼球瞳孔检测，确定出该第N帧面部灰度图中眼球瞳孔的中心位置。
具体的，将该第N帧面部灰度图进行水平积分投影，获取该第N帧面部灰度图的水平投影曲线。在进行水平积分投影之前，需要去除第N帧面部灰度图中灰度值大于第一阈值的像素，然后再将去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，即可以获取该第N帧面部灰度图的水平投影曲线。该第一阈值可以根据经验进行设置，如可以设置为100的灰度值。去除灰度值大于第一阈值的第N帧面部灰度图表示对该第N帧面部灰度图进行去噪。可以得到一个平滑的曲线。
在获取水平投影曲线之后，根据该第N帧面部灰度图的水平投影曲线，可以确定眼球位于该第N帧面部灰度图的垂直方向上的坐标。对该第N帧面部灰度图的水平投影曲线进行预处理，将该预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的该第N帧面部灰度图中的坐标，确定为该眼球位于所述第N帧面部灰度图的垂直方向上的坐标。其中，对第N帧面部灰度图的水平投影曲线进行预处理为选取第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。该第二阈值可以根据经验进行设定，只有确定波谷到波峰的距离大于该第二阈值的峰值才可以保留。如图2和图3所示，图2为预处理前的水平投影曲线，图3为预处理后的水平投影曲线，图中的“+”表示峰值所在的位置，经过预处理之后，图3中的“+”去除了一部分。
举例来说，图3示出了一种水平投影曲线，灰度值表示纵坐标，横坐标表示面部灰度图的垂直方向的坐标，峰值在左侧的是波谷，峰值在右侧的是波峰。如图3所示，第一个波谷表示头发所在的位置，第二个波谷表示眉毛所在的位置，第二个波谷和第三个波谷之间的位置表示眼球，即可以确定出该眼球位于第N帧面部灰度图的垂直方向上的坐标。
将眼球位于第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取第N帧面部灰度图的垂直投影曲线。垂直投影曲线的横坐标表示面部灰度图的水平方向上的坐标，纵坐标表示灰度值。
根据第N帧面部灰度图的垂直投影曲线，确定眼球位于第N帧面部灰度图的水平方向上的坐标。对第N帧面部灰度图的垂直投影曲线进行预处理，将预处理后的第N帧面部灰度图的垂直投影曲线中以第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的第N帧面部灰度图中的坐标，确定为眼球位于第N帧面部灰度图的水平方向上的坐标。该中轴线为该第N帧面部灰度图的垂直投影曲线的中轴线，在该中轴线两侧，相互对此的两个波谷所在的坐标，即是左右两个眼睛所在的水平坐标，即可以确定出眼球位于该第N帧面部灰度图的水平方向上的坐标。其中，对第N帧面部灰度图的垂直投影曲线进行预处理为选取第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
上述水平积分投影和垂直积分投影的过程中，由于眼球是黑色，灰度值较低，因此，可以通过查找投影曲线中波谷的方式，探测到眼睛的大概位置。但是，在实际观测中，由于背景和人脸的干扰，曲线波动一般比较大，在一个大的波谷中，实际上由很多干扰的小波谷，不利于获取眼睛的真实位置，因此，需要对上述水平积分投影曲线和垂直积分投影曲线进行预处理。
根据眼球位于所述第N帧面部灰度图的垂直方向上的坐标和眼球位于第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。从眼球位于第N帧面部灰度图的垂直方向上的坐标和眼球位于第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将灰度值小于第三阈值的像素的坐标组成眼球瞳孔的位置集合。将眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。该第三阈值可以根据经验进行设定。灰度值小于第三阈值的像素表示黑色虹膜所在的位置，可以选取每一行中灰度值小于第三阈值的像素最长的长条，然后组成集合，该集合的质心就是眼球瞳孔的中心位置。
在步骤104中，在步骤103中确定出眼球瞳孔的中心位置之后，可以以眼球瞳孔的中心位置为中心，在第N帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧面部灰度图的垂直方向上向上下扩展第二预设距离。将以眼球瞳孔的中心位置为中心，在第N帧面部灰度图上扩展的灰度图区域，确定为眼球窗口对应的灰度图区域。该第一预设距离和该第二预设距离可以根据经验进行设置。
以眼球瞳孔的中心位置为中心，在该第N帧的水平方向上分别向左和向右扩展第一预设距离，在垂直方向上分别向下和向上扩展第二预设距离，经过两次扩展后确定出的一个灰度图区域可以确定为眼球窗口对应的灰度图。
在步骤105中，在步骤104中确定出眼球窗口对应的灰度图之后，可以以该眼球瞳孔的中心位置为出发点，根据预设条件，在眼球窗口对应的灰度图区域内移动，将每次移动后对应的灰度值作为比较灰度值。若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点。其中，M为正整数，该第四阈值可以根据经验进行设定。由于在眼球虹膜与眼球眼白的灰度值不同，因此，通过比较两次相邻移动的点的灰度值的差值变化比较大，说明处于眼球虹膜边缘位置。根据眼球虹膜边缘处的点，确定第N帧面部灰度图中的眼球虹膜的轮廓。
上述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值。当移动角度大于等于a2时，停止在眼球窗口的灰度图区域内移动。其中，a2为第三角度阈值，a2大于a1，a2大于λ。上述第一角度阈值、第二角度阈值、第三角度阈值和每次移动距离可以依据经验进行设定。
在步骤106中，在步骤102中判断出待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则可以进行第N+1帧面部灰度图的眼球跟踪。然后将根据第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为第N+1帧面部灰度图中眼球瞳孔的中心位置。
在步骤107中，在步骤106中确定出第N+1帧面部灰度图中眼球瞳孔的中心位置之后，以眼球瞳孔的中心位置为中心，在第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离。将以所述眼球瞳孔的中心位置为中心，在第N+1帧面部灰度图上扩展的灰度图区域，确定为眼球窗口对应的灰度图区域。
以眼球瞳孔的中心位置为中心，在该第N+1帧的水平方向上分别向左和向右扩展第一预设距离，在垂直方向上分别向下和向上扩展第二预设距离，经过两次扩展后确定出的一个灰度图区域可以确定为眼球窗口对应的灰度图。
在步骤108中，在步骤107中确定出眼球窗口对应的灰度图之后，可以以该眼球瞳孔的中心位置为出发点，根据预设条件，在眼球窗口对应的灰度图区域内移动，将每次移动后对应的灰度值作为比较灰度值。若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点。其中，M为正整数，该第四阈值可以根据经验进行设定。由于在眼球虹膜与眼球眼白的灰度值不同，因此，通过比较两次相邻移动的点的灰度值的差值变化比较大，说明处于眼球虹膜边缘位置。根据眼球虹膜边缘处的点，确定第N+1帧面部灰度图中的眼球虹膜的轮廓。
上述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值。当移动角度大于等于a2时，停止在眼球窗口的灰度图区域内移动。其中，a2为第三角度阈值，a2大于a1，a2大于λ。上述第一角度阈值、第二角度阈值、第三角度阈值和每次移动距离可以依据经验进行设定。
上述实施例表明，通过获取待检测的面部灰度图集合，判断待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓，若否，则对第N帧面部灰度图进行眼球瞳孔检测，确定第N帧面部灰度图中眼球瞳孔的中心位置，在第N帧面部灰度图中，以眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，根据眼球窗口对应的灰度图区域，确定第N帧面部灰度图中的眼球虹膜的轮廓。通过判断面部灰度图未确定出眼球虹膜的轮廓，可以进行自动调整眼球虹膜的轮廓的跟踪，重新进行眼球瞳孔的定位，避免了出现眼球虹膜的轮廓的跟踪错误无法进行自动调整的情况。提高了眼球跟踪的准确率，并且可以自动标识眼球检测眼球瞳孔的中心位置。
基于相同的技术构思，图4示出了本发明实施例提供的一种眼球跟踪的装置的结构，该装置可以执行眼睛跟踪的流程。
如图4所示，该装置具体包括：
获取单元401，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
判断单元402，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
中心位置确定单元403，用于若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
眼球窗口确定单元404，用于在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
眼球轮廓确定单元405，用于根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
优选地，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则中心位置确定单元403还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
眼球窗口确定单元404还用于在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
眼球轮廓确定单元405还用于根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
优选地，所述中心位置确定单元403具体用于：
将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
优选地，所述中心位置确定单元403具体用于：
去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
优选地，所述中心位置确定单元403具体用于：
对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
优选地，所述中心位置确定单元403具体用于：
对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
优选地，所述中心位置确定单元403具体用于：
从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
优选地，所述眼球窗口确定单元404具体用于：
以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
优选地，所述眼球轮廓确定单元405具体用于：
以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
优选地，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
所述眼球轮廓确定单元405还用于当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (20)

1.一种眼球跟踪的方法，其特征在于，包括：
获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
若否，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
2.如权利要求1所述的方法，其特征在于，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
3.如权利要求1所述的方法，其特征在于，所述对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置，包括：
将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
4.如权利要求3所述的方法，其特征在于，所述将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线，包括：
去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
5.如权利要求3所述的方法，其特征在于，所述根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标，包括：
对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
6.如权利要求3所述的方法，其特征在于，所述根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，包括：
对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
7.如权利要求3所述的方法，其特征在于，根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置，包括：
从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
8.如权利要求1或2所述的方法，其特征在于，所述以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域，包括：
以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
9.如权利要求1或2所述的方法，其特征在于，所述根据所述眼球窗口对应的灰度图区域，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓，包括：
以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
10.如权利要求9所述的方法，其特征在于，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
11.一种眼球跟踪的装置，其特征在于，包括：
获取单元，用于获取待检测的面部灰度图集合，所述面部灰度图集合中包括多帧面部灰度图；
判断单元，用于判断所述待检测的面部灰度图集合中的第N帧面部灰度图是否确定出眼球虹膜的轮廓；N为正整数；
中心位置确定单元，用于若所述待检测的面部灰度图集合中的第N帧面部灰度图未确定出眼球虹膜的轮廓，则对所述第N帧面部灰度图进行眼球瞳孔检测，确定所述第N帧面部灰度图中眼球瞳孔的中心位置；
眼球窗口确定单元，用于在所述第N帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
眼球轮廓确定单元，用于根据所述眼球窗口对应的灰度图区域，确定所述第N帧面部灰度图中的眼球虹膜的轮廓。
12.如权利要求11所述的装置，其特征在于，若所述待检测的面部灰度图集合中的第N帧面部灰度图确定出眼球虹膜的轮廓，则中心位置确定单元还用于将根据所述第N帧面部灰度图的眼球虹膜的轮廓确定的眼球瞳孔的中心位置作为所述第N+1帧面部灰度图中眼球瞳孔的中心位置；
眼球窗口确定单元还用于在所述第N+1帧面部灰度图中，以所述眼球瞳孔的中心位置为中心，确定眼球窗口对应的灰度图区域；
眼球轮廓确定单元还用于根据所述眼球窗口对应的灰度图区域和预设条件，确定所述第N+1帧面部灰度图中的眼球虹膜的轮廓。
13.如权利要求11所述的装置，其特征在于，所述中心位置确定单元具体用于：
将所述第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线；
根据所述第N帧面部灰度图的水平投影曲线，确定眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
将所述眼球位于所述第N帧面部灰度图的垂直方向上的灰度图区域进行垂直积分投影，获取所述第N帧面部灰度图的垂直投影曲线；
根据所述第N帧面部灰度图的垂直投影曲线，确定所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
根据所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标，确定眼球瞳孔的中心位置。
14.如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于：
去除所述第N帧面部灰度图中灰度值大于第一阈值的像素，将所述去除灰度值大于第一阈值的第N帧面部灰度图进行水平积分投影，获取所述第N帧面部灰度图的水平投影曲线。
15.如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于：
对所述第N帧面部灰度图的水平投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的水平投影曲线中第二个波谷与第三个波谷之间相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标；
其中，对所述第N帧面部灰度图的水平投影曲线进行预处理为选取所述所述第N帧面部灰度图的水平投影曲线中波谷到波峰的距离大于第二阈值的峰值。
16.如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于：
对所述第N帧面部灰度图的垂直投影曲线进行预处理，将所述预处理后的第N帧面部灰度图的垂直投影曲线中以所述第N面部灰度图的垂直投影曲线的中轴线为对称轴的两个相互对称的波谷相对应的所述第N帧面部灰度图中的坐标，确定为所述眼球位于所述第N帧面部灰度图的水平方向上的坐标；
其中，对所述第N帧面部灰度图的垂直投影曲线进行预处理为选取所述所述第N帧面部灰度图的垂直投影曲线中波谷到波峰的距离大于第二阈值的峰值。
17.如权利要求13所述的装置，其特征在于，所述中心位置确定单元具体用于：
从所述眼球位于所述第N帧面部灰度图的垂直方向上的坐标和所述眼球位于所述第N帧面部灰度图的水平方向上的坐标围成的区域中选取灰度值小于第三阈值的像素，将所述灰度值小于第三阈值的像素的坐标组成所述眼球瞳孔的位置集合；
将所述眼球瞳孔的位置集合的质心，确定为眼球瞳孔的中心位置。
18.如权利要求11或12所述的装置，其特征在于，所述眼球窗口确定单元具体用于：
以所述眼球瞳孔的中心位置为中心，在第N帧或第N+1帧面部灰度图的水平方向上向左右扩展第一预设距离，在第N帧或第N+1帧面部灰度图的垂直方向上向上下扩展第二预设距离；
将以所述眼球瞳孔的中心位置为中心，在所述第N帧或第N+1帧面部灰度图上扩展的灰度图区域，确定为所述眼球窗口对应的灰度图区域。
19.如权利要求11或12所述的装置，其特征在于，所述眼球轮廓确定单元具体用于：
以所述眼球瞳孔的中心位置为出发点，根据预设条件，在所述眼球窗口对应的灰度图区域内移动，将每次移动后对应位置的灰度值作为比较灰度值；
若第M次移动的比较灰度值与第M-1次移动的比较灰度值的灰度值差值大于第四阈值，则将所述第M次移动的点确定为眼球虹膜边缘处的点；M为正整数；
根据所述眼球虹膜边缘处的点，确定所述第N帧或第N+1帧面部灰度图中的眼球虹膜的轮廓。
20.如权利要求19所述的装置，其特征在于，所述预设条件为a1+(x-1)λ，每次移动距离为d，其中，a1为第一角度阈值，x为移动的次数，λ为第二角度阈值；
所述眼球轮廓确定单元还用于当所述移动角度大于等于a2时，停止在所述眼球窗口的灰度图区域内移动；
其中，所述a2为第三角度阈值，a2大于a1，a2大于λ。
CN201510875607.9A 2015-12-02 2015-12-02 一种眼球跟踪的方法及装置 Pending CN105930762A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201510875607.9A CN105930762A (zh) 2015-12-02 2015-12-02 一种眼球跟踪的方法及装置
EP16869989.0A EP3385885A4 (en) 2015-12-02 2016-11-30 Eyeball tracking method and apparatus, and device
PCT/CN2016/108060 WO2017092679A1 (zh) 2015-12-02 2016-11-30 一种眼球跟踪的方法及装置、设备
US15/780,641 US10699420B2 (en) 2015-12-02 2016-11-30 Eyeball tracking method and apparatus, and device
CA3025964A CA3025964C (en) 2015-12-02 2016-11-30 Eyeball tracking method and apparatus, and device
TW105140169A TWI611353B (zh) 2015-12-02 2016-12-02 一種眼球追蹤的方法及裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510875607.9A CN105930762A (zh) 2015-12-02 2015-12-02 一种眼球跟踪的方法及装置

Publications (1)

Publication Number Publication Date
CN105930762A true CN105930762A (zh) 2016-09-07

Family

ID=56839969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510875607.9A Pending CN105930762A (zh) 2015-12-02 2015-12-02 一种眼球跟踪的方法及装置

Country Status (6)

Country Link
US (1) US10699420B2 (zh)
EP (1) EP3385885A4 (zh)
CN (1) CN105930762A (zh)
CA (1) CA3025964C (zh)
TW (1) TWI611353B (zh)
WO (1) WO2017092679A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778713A (zh) * 2017-03-01 2017-05-31 武汉虹识技术有限公司 一种动态人眼跟踪的虹膜识别装置及方法
WO2017092679A1 (zh) * 2015-12-02 2017-06-08 中国银联股份有限公司 一种眼球跟踪的方法及装置、设备
CN107145224A (zh) * 2017-04-07 2017-09-08 清华大学 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN108053444A (zh) * 2018-01-02 2018-05-18 京东方科技集团股份有限公司 瞳孔定位方法及装置、设备和存储介质
CN108498064A (zh) * 2018-03-19 2018-09-07 中国人民解放军空军航空医学研究所 数字化亮点闪烁检测系统
CN110929672A (zh) * 2019-11-28 2020-03-27 联想(北京)有限公司 瞳孔定位方法和电子设备
CN115565224A (zh) * 2022-09-29 2023-01-03 珠海视熙科技有限公司 一种实时连续定位瞳孔中心的方法、装置、介质及设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6930223B2 (ja) * 2017-05-31 2021-09-01 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
EP3430973A1 (en) * 2017-07-19 2019-01-23 Sony Corporation Mobile system and method
CN108513074B (zh) * 2018-04-13 2020-08-04 京东方科技集团股份有限公司 自拍控制方法及装置、电子设备
TWI676821B (zh) * 2018-12-11 2019-11-11 國立臺灣大學 適應性視線追蹤的校正方法
CN110119457B (zh) * 2019-05-17 2021-08-10 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN111209881A (zh) * 2020-01-13 2020-05-29 深圳市雄帝科技股份有限公司 一种在图像中检测眼睛状态的方法及其系统
CN112464829B (zh) * 2020-12-01 2024-04-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN113011393B (zh) * 2021-04-25 2022-06-03 中国民用航空飞行学院 基于改进混合投影函数的人眼定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615292A (zh) * 2009-07-24 2009-12-30 云南大学 基于灰度信息的人眼精确定位方法
CN101964111A (zh) * 2010-09-27 2011-02-02 山东大学 基于超分辨率的视线跟踪精度提升方法
CN102456137A (zh) * 2010-10-20 2012-05-16 上海青研信息技术有限公司 基于近红外反射点特性的视线跟踪预处理方法
CN103885589A (zh) * 2014-03-06 2014-06-25 华为技术有限公司 眼动追踪方法及装置
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002064031A2 (en) * 2001-02-09 2002-08-22 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
US7593550B2 (en) * 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
CN100382751C (zh) 2005-05-08 2008-04-23 上海交通大学 基于vpf和改进的susan的眼角和瞳孔的定位方法
GB0603411D0 (en) * 2006-02-21 2006-03-29 Xvista Ltd Method of processing an image of an eye
US7682026B2 (en) 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
US8170293B2 (en) * 2006-09-15 2012-05-01 Identix Incorporated Multimodal ocular biometric system and methods
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
CN101201893A (zh) * 2006-09-30 2008-06-18 电子科技大学中山学院 一种基于灰度信息的虹膜识别预处理方法
US8023699B2 (en) * 2007-03-09 2011-09-20 Jiris Co., Ltd. Iris recognition system, a method thereof, and an encryption system using the same
CN100452081C (zh) * 2007-06-01 2009-01-14 华南理工大学 一种人眼定位及人眼状态识别方法
TWI335544B (en) 2007-07-31 2011-01-01 Univ Nat Taiwan Science Tech Iris recognition system
US8644565B2 (en) * 2008-07-23 2014-02-04 Indiana University Research And Technology Corp. System and method for non-cooperative iris image acquisition
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
US8317325B2 (en) * 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
CN104050448B (zh) * 2014-06-11 2017-10-17 青岛海信电器股份有限公司 一种人眼定位、人眼区域定位方法及装置
CN105930762A (zh) 2015-12-02 2016-09-07 中国银联股份有限公司 一种眼球跟踪的方法及装置
WO2018016837A1 (en) * 2016-07-18 2018-01-25 Samsung Electronics Co., Ltd. Method and apparatus for iris recognition
KR20180053108A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 홍채 영역 추출 방법 및 장치
US10521661B2 (en) * 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615292A (zh) * 2009-07-24 2009-12-30 云南大学 基于灰度信息的人眼精确定位方法
CN101964111A (zh) * 2010-09-27 2011-02-02 山东大学 基于超分辨率的视线跟踪精度提升方法
CN102456137A (zh) * 2010-10-20 2012-05-16 上海青研信息技术有限公司 基于近红外反射点特性的视线跟踪预处理方法
CN103885589A (zh) * 2014-03-06 2014-06-25 华为技术有限公司 眼动追踪方法及装置
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李京京: "虹膜识别技术在眼动旋转中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
薛丹丹: "基于眼和嘴定位的人脸归一化算法研究", 《电子测试》 *
陆玲 等: "《数字图像处理方法及程序设计》", 31 December 2011, 哈尔滨工程大学出版社 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092679A1 (zh) * 2015-12-02 2017-06-08 中国银联股份有限公司 一种眼球跟踪的方法及装置、设备
US10699420B2 (en) 2015-12-02 2020-06-30 China Unionpay Co., Ltd. Eyeball tracking method and apparatus, and device
CN106778713A (zh) * 2017-03-01 2017-05-31 武汉虹识技术有限公司 一种动态人眼跟踪的虹膜识别装置及方法
CN106778713B (zh) * 2017-03-01 2023-09-22 武汉虹识技术有限公司 一种动态人眼跟踪的虹膜识别装置及方法
CN107145224A (zh) * 2017-04-07 2017-09-08 清华大学 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN107145224B (zh) * 2017-04-07 2019-10-29 清华大学 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN108053444A (zh) * 2018-01-02 2018-05-18 京东方科技集团股份有限公司 瞳孔定位方法及装置、设备和存储介质
CN108498064A (zh) * 2018-03-19 2018-09-07 中国人民解放军空军航空医学研究所 数字化亮点闪烁检测系统
CN110929672A (zh) * 2019-11-28 2020-03-27 联想(北京)有限公司 瞳孔定位方法和电子设备
CN110929672B (zh) * 2019-11-28 2024-03-01 联想(北京)有限公司 瞳孔定位方法和电子设备
CN115565224A (zh) * 2022-09-29 2023-01-03 珠海视熙科技有限公司 一种实时连续定位瞳孔中心的方法、装置、介质及设备

Also Published As

Publication number Publication date
CA3025964A1 (en) 2017-06-08
US20180365844A1 (en) 2018-12-20
CA3025964C (en) 2021-09-14
EP3385885A4 (en) 2018-12-19
TWI611353B (zh) 2018-01-11
US10699420B2 (en) 2020-06-30
EP3385885A1 (en) 2018-10-10
TW201721516A (zh) 2017-06-16
WO2017092679A1 (zh) 2017-06-08

Similar Documents

Publication Publication Date Title
CN105930762A (zh) 一种眼球跟踪的方法及装置
US9087258B2 (en) Method for counting objects and apparatus using a plurality of sensors
CN106251352B (zh) 一种基于图像处理的罐盖缺陷检测方法
CN110697373B (zh) 一种基于图像识别技术的传送皮带跑偏故障检测方法
US5555312A (en) Automobile apparatus for road lane and vehicle ahead detection and ranging
EP3499413A1 (en) User detection system
US20200167959A1 (en) Method and device for capturing target object and video monitoring device
JP2008140270A (ja) 眼部検出装置、眼部検出方法及びプログラム
CN106651837A (zh) 白玻璃板表面崩边缺陷检测方法
CN106340034A (zh) 一种变压器漏油检测方法
CN109682820A (zh) 一种显示屏的缺陷自动光学检测方法
CN106157301B (zh) 一种用于图像边缘检测的阈值自确定方法及装置
CN104408727B (zh) 一种图像边缘污点检测方法及系统
US20230419500A1 (en) Information processing device and information processing method
CN106780544B (zh) 图像前景提取的方法和装置
JP6699179B2 (ja) 画像処理装置
CN109040574A (zh) 一种转动摇头机跟踪目标的方法及装置
CN110322508B (zh) 一种基于计算机视觉的辅助定位方法
CN104427210A (zh) 一种随机异常闪烁点检测方法及装置
CN205333529U (zh) 一种表面检测装置
CN102853821A (zh) 一种船舶gps定位核查方法及船舶gps交互系统
CN107160063B (zh) 一种双阈值自动焊接机焊盘检测方法
CN111738085B (zh) 实现自动驾驶同时定位与建图的系统构建方法及装置
CN106501265B (zh) 大口径光学元件表面划痕暗场图像的二值化方法和系统
CN107958462A (zh) 一种视频抖动判定方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1227140

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160907

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1227140

Country of ref document: HK