CN111291701B - 一种基于图像梯度和椭圆拟合算法的视线追踪方法 - Google Patents
一种基于图像梯度和椭圆拟合算法的视线追踪方法 Download PDFInfo
- Publication number
- CN111291701B CN111291701B CN202010104977.3A CN202010104977A CN111291701B CN 111291701 B CN111291701 B CN 111291701B CN 202010104977 A CN202010104977 A CN 202010104977A CN 111291701 B CN111291701 B CN 111291701B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- positioning
- pupil
- pupil center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 210000001747 pupil Anatomy 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 210000004279 orbit Anatomy 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 2
- 230000004886 head movement Effects 0.000 abstract description 4
- 210000000887 face Anatomy 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 231100000957 no side effect Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Ophthalmology & Optometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明是一种基于图像梯度和椭圆拟合算法的视线追踪方法。本发明通过摄像机采集人的原始图像信息，所述原始图像信息为视频流数据；对采集到的视频流数据进行图像预处理，得到处理好的视频流数据；根据处理好的视频流数据，进行人脸检测与定位；根据人脸检测与定位得到的图像，进行人眼检测与定位；根据人眼检测与定位得到的图像，进行瞳孔中心定位；根据人脸和人眼检测与定位的结果，以及瞳孔中心定位的结果，采用九点标定，对视线方向进行判定。本算法对被试者头部运动和实验环境有很好的鲁棒性，与传统的视线追踪方法相比，具有检测速度快和检测精度高的优点，满足大部分人的需求。
Description
技术领域
本发明涉及视线追踪技术领域，是一种基于图像梯度和椭圆拟合算法的视线追踪方法。
背景技术
人类从外界获得的信息大部分是通过眼睛来完成。视线追踪技术是一种利用人类眼部的运动情况来估计视线方向或者视线落点位置的技术。随着计算机的广泛普及，视线追踪技术越来越被人们所重视，并广泛应用于人机交互、医疗诊断、心理学和军事等领域。
视线追踪技术主要分为两类：穿戴式和非穿戴式。其中穿戴式系统需要用户佩戴头盔等设备，对使用者影响较大；而非穿戴式视线追踪技术对使用者干扰少，操作简单，逐渐成为视线追踪技术中的研究热点，并且近年来，人们将这一技术引入到信息领域，与机器视觉、图像处理及生物特征检测与识别等技术相结合。
在非穿戴式的视线追踪技术中包括多摄像机多光源系统、单摄像机多光源系统、单摄像机单光源系统以及单摄像机无光源系统。相比于其他三种系统，单摄像机无光源系统硬件要求较低、无需其他辅助设备去配合，并且也对人体没有副作用，具有很好的发展前景。目前国内外在视线追踪技术领域取得了较多的研究成果，但是存在视线追踪的系统硬件要求较高，单摄像机情况下视线追踪的检测精度和检测速度不高等问题。
发明内容
本发明为实现人类视线的追踪，本发明提供了一种基于图像梯度和椭圆拟合算法的视线追踪方法，本发明提供了以下技术方案：
一种基于图像梯度和椭圆拟合算法的视线追踪方法，包括以下步骤：
步骤1：通过摄像机采集人的原始图像信息，所述原始图像信息为视频流数据；
步骤2：对采集到的视频流数据进行图像预处理，得到处理好的视频流数据；
步骤3：根据处理好的视频流数据，进行人脸检测与定位，得到人脸检测与定位后的图像数据；
步骤4：根据人脸检测与定位后的图像数据，进行人眼检测与定位，得到人眼检测与定位后的图像数据；
步骤5：根据人眼检测与定位后的图像数据，进行瞳孔中心定位；
步骤6：根据人脸和人眼检测与定位的结果，以及瞳孔中心定位的结果，采用九点标定的方法对视线方向进行判定。
优选地，所述步骤2具体为：
步骤2.1：将采集到的视频流数据进行图像灰度化处理，减少原始数据量，减少后续图像处理的计算量；
步骤2.2:对灰度化处理后的图像信息中的图片进行直方图均衡化处理，来增强图像的对比度；
步骤2.3：选用双线性插值算法对直方图均衡化后图像进行缩放，克服了最近邻插值法灰度不连续的缺点，并对原始图像信息进行高斯滤波进行除噪，最终得到预处理好的视频流数据。
优选地，所述步骤3具体为：
步骤3.1：选用基于Haar-like特征的AdaBoost的人脸检测算法，进行人脸检测与定位，采用Haar-like特征进行表征人脸特征；
步骤3.2：采用AdaBoost的人脸检测算法进行人脸检测，寻找T个弱分类器ht(t＝1,2,…,T)，对于训练集合(x1,y1)…(xn,yn)，其中xi为人脸样本；yi为样本类型，yi取值为0或1，取1时为人脸，取0时为非人脸，样本总数为n；gj(xi)代表第i个信息图像中的第j个Haar-like特征，人脸样本的初始权重为ω1,i＝1/2m，非人脸样本初始权重为ω1,i＝1/2l，人脸样本个数m和非人脸样本个数l，其中，n＝m+l；
步骤3.3：将所有样本的权重进行归一化，通过下式表示所述归一化过程：
其中，ωt,i为所有样本的权重进行归一化结果；
对于每个样本中第j个Haar-like特征，根据双阈值搜索方法，得到弱分类器hj，进一步确定双阈值
和
确定分类器对应的加权偏差，通过下式表示分类器对应的加权偏差εj：
其中，从所有分类器中挑选分类错误率εj和最小的弱分类器ht；
步骤3.4：每一次训练完一个弱分类器，对样本权重重新进行调整，通过下式对样本权重重新进行调整:
其中，ωt+1，i为更新权重，样本为目标，则ei＝0，否则为1，迭代t次，βt＝εt/(1-εt)，εt为t个样本的挑选分类错误率；
根据样本权重重新进行调整的结果，确定强分类器，通过下式表示强分类器：
优选地，所述步骤4具体为：
设置眼眶的大小以及眼眶在人脸的具体位置，眼眶的宽为脸框宽度的0.35倍，眼眶的高为脸框高度的0.3倍，左眼眼眶的左边距离为脸框宽度的0.13倍，左眼眼眶的上边距离为脸框高度的0.25倍，左右眼之间距离为脸框的0.13倍，根据处理好的视频流数据，进行人眼检测与定位。
优选地，所述步骤5具体为：
步骤5.1:采用图像梯度瞳孔定位方法，估计出瞳孔中心点，确定瞳孔中心点和图像中所有梯度方向之间的关系，确定目标函数，通过下式表示目标函数：
其中，N为整个人眼图像中像素点的个数，c是图像中任意一点，xi表示图像中边缘轮廓的任意一点，di表示从c到xi的向量，gi表示位置xi处的图像梯度；
将di缩放到单位长度，以获得所有像素位置的相同位置，为了提高该算法对照明和对比度等线性变化的健壮性，将gi缩放到单位长度，根据公式(1)得出通过图像梯度获取的瞳孔中心点(x0,y0)；
步骤5.2：根据图像梯度算法得出的瞳孔中心点(x0,y0)，向瞳孔中心点四周取尺寸大小的图像，将瞳孔图像切割出来，从瞳孔中心点进行边界跟踪，通过改进的星射线法获得虹膜边缘点，将射线的角度区域限制在[-70°,60°]和[120°,250°]内；
步骤5.3：基于最小二乘法的椭圆拟合对虹膜边界上的边缘点进行计算，随机在虹膜边缘上选取6个点，至少选取6个点，进行椭圆拟合，得到多个拟合的椭圆边缘，利用非线性最小二乘法找到与实际边缘的欧式距离最小的拟合椭圆边缘；
步骤5.4：利用瞳孔和虹膜同心圆的原理，使用图像梯度瞳孔定位算法估计的瞳孔中心坐标和改进的基于最小二乘法的椭圆算法的瞳孔中心坐标进行评判，当两者的x，y坐标相差在三个像素点之内，则选取椭圆拟合出的瞳孔中心作为瞳孔中心，当两者的x，y坐标相差值大于三个像素点，则椭圆拟合程度较低，重新进行瞳孔中心判定。
优选地，所述步骤6具体为：
步骤6.1:进行九点标定，使用者头部保持不动且依次看电脑屏幕上均匀分布的九个点，记录标定时右眼的九个坐标(a1,b1)…(a9,b9),同时记录脸框左上角坐标(m,n)，和脸框长度l和宽度h；
步骤6.2:记录相邻标定点的横纵坐标差值，通过脸框左上角坐标和脸框长度对视线判定进行补偿，把判定过程中的脸框左上角坐标记为(m1,n1)，脸框的长度为l1，宽度为h1,标定完成后，利用当前瞳孔中心坐标为(a,b)，首先对瞳孔中心坐标做补偿，通过下式进行补偿：
以注视5区域，采用补偿后的瞳孔中心坐标与5区域做比较，建立判定原则，通过下式表示判定原则：
当瞳孔坐标(a5,b5)满足判定原则时，则视线方向判断为5部分的感兴趣区域。
本发明具有以下有益效果：
本发明充分考虑视线追踪算法的实时性、复杂度、检测精度、遮挡等因素，在目前单摄像机的人眼追踪的基础上，提出了一种结合图像梯度算法和改进的椭圆拟合算法确定出瞳孔中心和基于坐标标定判定视线方向的视线追踪方法。该视线追踪方法具有非接触、鲁棒性较强、检测精度高和检测速度快等优点。
本发明结合图像梯度和改进的椭圆拟合算法确定瞳孔中心。首先采用采用改进的AdaBoost算法进行人脸检测，利用双阈值弱分类器构造强分类器的方法，较传统的AdaBoost算法不仅提高了检测速度，并且有更高的准确性；在人眼标定过程中，采用三庭五眼的标定方法，大大提高了检测速度，使整个方法拥有更好的实时性；在瞳孔中心定位过程中，鉴于单摄像机像素不足等问题，采用基于图像梯度和改进椭圆拟合算法进行瞳孔中心定位，不仅弥补了设备上不足的问题，还具有很好的准确性。在视线判定过程中，采用基于坐标的方法，能够较准确地判定视线的方向，且补偿了头动对视线追踪的影响，有较高的准确性。本算法对被试者头部运动和实验环境有很好的鲁棒性，与传统的视线追踪方法相比，具有检测速度快和检测精度高的优点，满足大部分人的需求。
附图说明
图1为一种基于图像梯度和椭圆拟合算法的视线追踪方法流程图；
图2为图像预处理流程图；
图3为Haar-like特征的三种形式图；
图4为眼眶在人脸的位置示意图；
图5为梯度向量和位移向量示意图；
图6为改进星射线法示意；
图7为瞳孔中心判定流程图；
图8位视线标定定位图。
具体实施方式
以下结合具体实施例，对本发明进行了详细说明。
具体实施例一：
本发明的算法流程主要包括图像预处理、人脸检测与定位、人眼检测与定位、瞳孔中心定位、视线方向判定等五个步骤，如图1所示。
步骤1：通过摄像机采集人的原始图像信息，所述原始图像信息为视频流数据；
步骤2：对采集到的视频流数据进行图像预处理，得到处理好的视频流数据；
首先，用摄像机采集人的原始图像信息，将采集到的视频流数据首先进行图像灰度化处理，减少原始数据量，减少后续图像处理的计算量；然后将图片进行直方图均衡化处理，来增强图像的对比度；选用双线性插值算法对图像进行缩放，在图像处理过程中，双线性插值算法生成的图像克服了最近邻插值法灰度不连续的缺点，且运算量比三次多项式插值法少的多；能够满足本文需求；最后将图像进行高斯滤波进行除噪，具体图像预处理流程如图2所示。
步骤3：根据处理好的视频流数据，进行人脸检测与定位；
在人脸的检测与定位中，选用基于Haar-like特征的改进型AdaBoost的人脸检测算法。Haar-like是一种基于图像的特征值进行图像分类的特征提取算法，Harr-like特征主要有三种如图3所示，(a)为边缘特征，(b)为线性特征，(c)为特定方向特征，定义为模板矩形中的白色矩阵像素和减去黑色矩阵的像素和来计算矩阵像素，能够反映检测对象特征局部灰度变化。人脸和非人脸区域的特征有很大的差值，利用Haar-like特征能够表征人脸特征。
AdaBoost算法步骤包括初始化训练数据的权值分布，训练每一个弱分类器，并且将所有经过训练后的弱分类器组合成一个强分类器；在每一轮的训练迭代过程中，不断地对样本权重值进行调整，分类出正确的样本，每次进行样本权重修改后，会将修改值引入到下一个分类器进行分类，将所有弱分类器串联起来就成为了一个强分类器；传统的AdaBoost算法进行特征选择时弱分类器采用了单个阈值，本文采用双阈值的弱分类器，进行每一次的训练迭代，不仅提高了分类能力，也减少了训练时间。
Step1.首先寻找T个弱分类器ht(t＝1,2,…,T)，对于训练集合(x1,y1)…(xn,yn)，其中xi为人脸样本；yi为样本类型，yi取值为0或1，取1时为人脸，取0时为非人脸，样本总数为n；gj(xi)代表第i个信息图像中的第j个Haar-like特征，人脸样本的初始权重为ω1,i＝1/2m，非人脸样本初始权重为ω1,i＝1/2l，人脸样本个数m和非人脸样本个数l，其中，n＝m+l。
Step2.然后将所有样本的权重进行归一化:
对于每个样本中第j个Haar-like特征，根据双阈值搜索方法，可以得到一个简单分类器hj，
也就是确定双阈值
求出分类器对应的加权偏差:
其中
从所有弱分类器中挑选分类错误率εj和较小的弱分类器ht。
Step3.每一次训练完一个弱分类器，对样本权重重新进行调整，公式如下:
其中βt＝εt/(1-εt)，当人脸样本被分类正确时，则ei＝0，反之ei＝1。
Step4.最后得到强分类器为:
其中，αt＝ln(1/βt)。
步骤4：根据处理好的人脸检测与定位后的图像数据，进行人眼检测与定位；其中人眼检测与定位采用三庭五眼，三庭五眼是人的脸长与脸宽的一般标准比例，从前额发际线至眉骨，从眉骨至鼻底，从鼻底至下颌，各占脸长的1/3；五眼是指脸的宽度比例，以眼型长度为单位，把脸的宽度分成五等份，从左侧发际至右侧发际进行划分。本文中设置眼眶的大小以及眼眶在人脸的具体位置，眼眶的宽为脸框宽度的0.35倍，眼眶的高为脸框高度的0.3倍，左眼眼眶的左边距离为脸框宽度的0.13倍，左眼眼眶的上边距离为脸框高度的0.25倍，左右眼之间距离为脸框的0.13倍，如图4所示。
步骤5：根据处理好的人眼检测与定位后的图像数据，进行瞳孔中心定位；
在进行瞳孔中心定位时，首先从人脸图像中裁剪出包含眼睛的子图，减少后续处理中的计算负荷。本发明采用结合图像梯度和基于改进的最小二乘法椭圆拟合的算法进行瞳孔中心定位，首先通过图像梯度瞳孔定位方法，估计出瞳孔中心点，通过估计出的瞳孔中心点作为中心利用改进的星射线方法实现虹膜边缘点的提取，再利用改进的最小二乘椭圆拟合的方法进行虹膜中心定位，最后使用图像梯度瞳孔定位算法估计的瞳孔中心坐标和最小二乘法椭圆拟合出的虹膜中心坐标进行评判。
1)图像梯度瞳孔定位
图像梯度可以把图像看成二维离散函数，其数学原理就是二维离散函数的求导，在图像中即求两个相邻像素点之间灰度的差值。原理是利用梯度向量方向结合位移向量，如图5所示，c是图像中任意一点，表示可能是瞳孔中心的点，xi表示图像中边缘轮廓的任意一点，di表示从c到xi的向量，gi表示位置xi处的图像梯度。
根据定义数学公式来计算瞳孔中心，该数学公式表示了一个可能的瞳孔中心点和图像中所有梯度方向之间的关系，目标函数公式如公式5所示。
其中N为整个人眼图像中像素点的个数。把位移矢量di缩放到单位长度，以获得所有像素位置的相同位置，为了提高该算法对照明和对比度等线性变化的健壮性，把径向向量gi缩放到单位长度。从公式可以得出通过图像梯度获取的瞳孔中心点。
2)虹膜边缘点提取
根据图像梯度算法得出的瞳孔中心(x0,y0)，首先向四周取尺寸20×20大小的图像，将瞳孔图像切割出来。随后从瞳孔中心点进行边界跟踪，通过改进的星射线法获得虹膜边缘点。传统的星射线法是以瞳孔中心为起始点，每隔0.5度向图像四周发射射线，对每条射线经过的像素，将具有最大梯度值的像素作为瞳孔的边缘点。改进的星射线法主要考虑到上眼睑和下眼睑的影响，将射线的角度区域限制在[-70°,60°]和[120°,250°]内，如图6所示。
3)改进的基于最小二乘法的椭圆拟合
基于最小二乘法的椭圆拟合[18]是对虹膜边界上的边缘点进行计算，首先可以随机在虹膜边缘上选取6个点(至少6个点可以确定一个椭圆)，然后进行椭圆拟合，得到多个拟合的椭圆边缘，利用非线性最小二乘法找到与实际边缘的欧式距离最小的拟合椭圆边缘。如下:
实际边缘点到估计的瞳孔中心的欧式距离:
拟合椭圆边缘点到估计的瞳孔中心的欧式距离:
拟合椭圆边缘点到实际边缘点的欧式距离:
取所有实际边缘点到拟合椭圆边缘点距离平方和小的椭圆作为最小二乘意义下的最优拟合。
椭圆拟合的算法公式:
F(x,y)＝Ax2+Bxy+Cy2+Dx+Ey+F＝0,B2-4AC＜0 (10)
其中，A,B,C,D,E,F是椭圆参数表达式的系数，(x,y)为椭圆上的点。
瞳孔中心坐标:
长短轴坐标:
长短轴比:
为了提高检测速度，本发明提出了一种改进的基于最小二乘法的椭圆拟合算法，具体方法如下:检测虹膜边缘信息处采用改进的星射线法，将检测射线的角度区域限制在[-70°,60°]和[120°,250°]内。若在该区域内随机选取6个样本点椭圆拟合，共有
种选择，而分别从[-70°,60°]和[120°,250°]区域内各选取三个样本点比在区域点中随机选取6个样本点更容易找到最优的拟合椭圆，且共有
种选择，减少了计算量，缩短了时间。
4)瞳孔中心判定流程
利用瞳孔和虹膜同心圆的原理，使用图像梯度瞳孔定位算法估计的瞳孔中心坐标和改进的基于最小二乘法的椭圆算法的瞳孔中心坐标进行评判，若两者的x，y坐标相差在三个像素点之内，则选取椭圆拟合出的瞳孔中心作为瞳孔中心，若两者的x，y坐标相差值大于三个像素点，则椭圆拟合程度较低，重新进行瞳孔中心判定，具体流程如图7所示。将该方法作为选取瞳孔中心的一个评价方法可以大大降低拟合的误差。
步骤6：根据人脸和人眼检测与定位的结果，以及瞳孔中心定位的结果，采用九点标定的方法对视线方向进行判定。
本发明采用基于坐标的视线判定方法,首先对使用者进行九点标定，如图8所示，使用者头部保持不动且依次看电脑屏幕上均匀分布的九个点，记录标定时右眼的九个坐标(a1,b1)…(a9,b9),同时记录脸框左上角坐标(m,n)，和脸框长度l和宽度h。首先记录相邻标定点的横纵坐标差值x，例如x12＝b2-b1，x14＝a4-a1，为了解决头动、距离摄像机远近对于视线判定的影响，本文通过脸框左上角坐标和脸框长度对视线判定进行补偿，把判定过程中的脸框左上角坐标记为(m1,n1)，脸框的长度为l1，宽度为h1。标定完成后，视线判定过程中首先用当前瞳孔中心坐标为(a,b)，首先对瞳孔中心坐标做补偿，补偿公式如下:
以注视5区域为例，用补偿后的瞳孔中心坐标与5区域做比较，若瞳孔坐标(a5,b5)满足公式16:
则视线方向判断为5部分的感兴趣区域。若不满足再同理分布判断属于哪个区域。
以上所述仅是一种基于图像梯度和椭圆拟合算法的视线追踪方法的优选实施方式，一种基于图像梯度和椭圆拟合算法的视线追踪方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。
Claims (5)
1.一种基于图像梯度和椭圆拟合算法的视线追踪方法，其特征是：包括以下步骤：
步骤1：通过摄像机采集人的原始图像信息，所述原始图像信息为视频流数据；
步骤2：对采集到的视频流数据进行图像预处理，得到处理好的视频流数据；
步骤3：根据处理好的视频流数据，进行人脸检测与定位，得到人脸检测与定位后的图像数据；
所述步骤3具体为：
步骤3.1：选用基于Haar-like特征的AdaBoost的人脸检测算法，进行人脸检测与定位，采用Haar-like特征进行表征人脸特征；
步骤3.2：采用AdaBoost的人脸检测算法进行人脸检测，寻找T个弱分类器ht(t＝1,2,···,T)，对于训练集合(x1,y1)···(xn,yn)，其中xi为人脸样本；yi为样本类型，yi取值为0或1，取1时为人脸，取0时为非人脸，样本总数为n；gj(xi)代表第i个信息图像中的第j个Haar-like特征，人脸样本的初始权重为ω1,i＝1/2m，非人脸样本初始权重为ω1,i＝1/2l，人脸样本个数m和非人脸样本个数l，其中，n＝m+l；
步骤3.3：将所有样本的权重进行归一化，通过下式表示所述归一化过程：
其中，ωt,i为所有样本的权重进行归一化结果；
对于每个样本中第j个Haar-like特征，根据双阈值搜索方法，得到弱分类器hj，进一步确定双阈值
和
确定分类器对应的加权偏差，通过下式表示分类器对应的加权偏差εj：
从所有分类器中挑选分类错误率εj和最小的弱分类器ht；
步骤3.4：每一次训练完一个弱分类器，对样本权重重新进行调整，通过下式对样本权重重新进行调整:
其中，ωt+1，i为更新权重，样本为目标，则ei＝0，否则为1，迭代t次，βt＝εt/(1-εt)，εt为t个样本的挑选分类错误率；
根据样本权重重新进行调整的结果，确定强分类器，通过下式表示强分类器：
步骤4：根据人脸检测与定位后的图像数据，进行人眼检测与定位，得到人眼检测与定位后的图像数据；
步骤5：根据人眼检测与定位后的图像数据，进行瞳孔中心定位；
步骤6：根据人脸和人眼检测与定位的结果，以及瞳孔中心定位的结果，采用九点标定的方法对视线方向进行判定。
2.根据权利要求1所述的一种基于图像梯度和椭圆拟合算法的视线追踪方法，其特征是：所述步骤2具体为：
步骤2.1：将采集到的视频流数据进行图像灰度化处理，减少原始数据量，减少后续图像处理的计算量；
步骤2.2:对灰度化处理后的图像信息中的图片进行直方图均衡化处理，来增强图像的对比度；
步骤2.3：选用双线性插值算法对直方图均衡化中的图像进行缩放，克服了最近邻插值法灰度不连续的缺点，并对原始图像信息进行高斯滤波进行除噪，得到预处理好的视频流数据。
3.根据权利要求1所述的一种基于图像梯度和椭圆拟合算法的视线追踪方法，其特征是：所述步骤4具体为：
设置眼眶的大小以及眼眶在人脸的具体位置，眼眶的宽为脸框宽度的0.35倍，眼眶的高为脸框高度的0.3倍，左眼眼眶的左边距离为脸框宽度的0.13倍，左眼眼眶的上边距离为脸框高度的0.25倍，左右眼之间距离为脸框的0.13倍，根据人脸检测与定位后的图像数据，进行人眼检测与定位。
4.根据权利要求1所述的一种基于图像梯度和椭圆拟合算法的视线追踪方法，其特征是：所述步骤5具体为：
步骤5.1:采用图像梯度瞳孔定位方法，估计出瞳孔中心点，确定瞳孔中心点和图像中所有梯度方向之间的关系，确定目标函数，通过下式表示目标函数：
其中，N为整个人眼图像中像素点的个数，c是图像中任意一点，xi表示图像中边缘轮廓的任意一点，di表示从c到xi的向量，gi表示位置xi处的图像梯度；
将di缩放到单位长度，以获得所有像素位置的相同位置，为了提高该算法对照明和对比度线性变化的健壮性，将gi缩放到单位长度，通过图像梯度算法获取的瞳孔中心点(x0,y0)；
步骤5.2：根据图像梯度算法得出的瞳孔中心点(x0,y0)，向瞳孔中心点四周取尺寸20×20大小的图像，将瞳孔图像切割出来，从瞳孔中心点进行边界跟踪，通过改进的星射线法获得虹膜边缘点，将射线的角度区域限制在[-70°,60°]和[120°,250°]内；
步骤5.3：基于最小二乘法的椭圆拟合对虹膜边界上的边缘点进行计算，随机在虹膜边缘上选取6个点，至少选取6个点，进行椭圆拟合，得到多个拟合的椭圆边缘，利用非线性最小二乘法找到与实际边缘的欧式距离最小的拟合椭圆边缘；
步骤5.4：利用瞳孔和虹膜同心圆的原理，使用图像梯度瞳孔定位算法估计的瞳孔中心坐标和改进的基于最小二乘法的椭圆算法的瞳孔中心坐标进行评判，当两者的x，y坐标相差在三个像素点之内，则选取椭圆拟合出的瞳孔中心作为瞳孔中心，当两者的x，y坐标相差值大于三个像素点，则椭圆拟合程度低，重新进行瞳孔中心判定。
5.根据权利要求1所述的一种基于图像梯度和椭圆拟合算法的视线追踪方法，其特征是：所述步骤6具体为：
步骤6.1:进行九点标定，使用者头部保持不动且依次看电脑屏幕上均匀分布的九个点，记录标定时右眼的九个坐标(a1,b1)…(a9,b9),同时记录脸框左上角坐标(m,n)，和脸框长度l和宽度h；
步骤6.2:记录相邻标定点的横纵坐标差值，通过脸框左上角坐标和脸框长度对视线判定进行补偿，把判定过程中的脸框左上角坐标记为(m1,n1)，脸框的长度为l1，宽度为h1,标定完成后，利用当前瞳孔中心坐标为(a,b)，首先对瞳孔中心坐标做补偿，通过下式进行补偿：
以注视5区域，采用补偿后的瞳孔中心坐标与5区域做比较，建立判定原则，通过下式表示判定原则：
当瞳孔坐标(a5,b5)满足判定原则时，则视线方向判断为5部分的感兴趣区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010104977.3A CN111291701B (zh) | 2020-02-20 | 2020-02-20 | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010104977.3A CN111291701B (zh) | 2020-02-20 | 2020-02-20 | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291701A CN111291701A (zh) | 2020-06-16 |
| CN111291701B true CN111291701B (zh) | 2022-12-13 |
Family
ID=71023782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010104977.3A Active CN111291701B (zh) | 2020-02-20 | 2020-02-20 | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291701B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112603256B (zh) * | 2020-12-03 | 2022-10-25 | 昆明依利科特科技有限公司 | 基于瞳孔大小的高精度非接触式涉毒检测方法及检测系统 |
| CN113181016A (zh) * | 2021-05-13 | 2021-07-30 | 云南白药集团无锡药业有限公司 | 一种照度动态变化的眼调节训练灯 |
| CN113408406B (zh) * | 2021-06-17 | 2023-02-28 | 杭州嘉轩信息科技有限公司 | 一种视线追踪方法及系统 |
| CN113591550B (zh) * | 2021-06-17 | 2024-03-26 | 湖南大学 | 一种个人喜好自动检测模型构建方法、装置、设备及介质 |
| CN114779925A (zh) * | 2022-03-22 | 2022-07-22 | 天津理工大学 | 一种基于单目标的视线交互方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5815741A (en) * | 1994-12-21 | 1998-09-29 | Canon Kabushiki Kaisha | Image observing apparatus and imaging apparatus utilizing the image observing apparatus |
| CN102789575A (zh) * | 2012-07-10 | 2012-11-21 | 广东工业大学 | 一种人眼中心点定位的方法 |
| CN103390152A (zh) * | 2013-07-02 | 2013-11-13 | 华南理工大学 | 基于sopc的适合人机交互的视线跟踪系统 |
| CN106030614A (zh) * | 2014-04-22 | 2016-10-12 | 史內普艾德有限公司 | 基于对一台摄像机所拍摄的图像的处理来控制另一台摄像机的系统和方法 |
| JP2017138645A (ja) * | 2016-02-01 | 2017-08-10 | アルプス電気株式会社 | 視線検出装置 |
| CN107249126A (zh) * | 2017-07-28 | 2017-10-13 | 华中科技大学 | 一种适用于自由视点三维视频的人眼注视方向跟踪方法 |
| CN108900700A (zh) * | 2018-06-04 | 2018-11-27 | 北京大学 | 基于人脸识别和视线定位的双重验证的认证方法及系统 |
| CN109344714A (zh) * | 2018-08-31 | 2019-02-15 | 电子科技大学 | 一种基于关键点匹配的视线估计方法 |
| CN109409298A (zh) * | 2018-10-30 | 2019-03-01 | 哈尔滨理工大学 | 一种基于视频处理的视线追踪方法 |
| CN109558825A (zh) * | 2018-11-23 | 2019-04-02 | 哈尔滨理工大学 | 一种基于数字视频图像处理的瞳孔中心定位方法 |
| CN110363133A (zh) * | 2019-07-10 | 2019-10-22 | 广州市百果园信息技术有限公司 | 一种视线检测和视频处理的方法、装置、设备和存储介质 |
| CN110659674A (zh) * | 2019-09-05 | 2020-01-07 | 东南大学 | 一种基于视线跟踪的测谎方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4998364B2 (ja) * | 2008-04-28 | 2012-08-15 | オムロン株式会社 | 視線検出装置および方法、並びに、プログラム |
-
2020
- 2020-02-20 CN CN202010104977.3A patent/CN111291701B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5815741A (en) * | 1994-12-21 | 1998-09-29 | Canon Kabushiki Kaisha | Image observing apparatus and imaging apparatus utilizing the image observing apparatus |
| CN102789575A (zh) * | 2012-07-10 | 2012-11-21 | 广东工业大学 | 一种人眼中心点定位的方法 |
| CN103390152A (zh) * | 2013-07-02 | 2013-11-13 | 华南理工大学 | 基于sopc的适合人机交互的视线跟踪系统 |
| CN106030614A (zh) * | 2014-04-22 | 2016-10-12 | 史內普艾德有限公司 | 基于对一台摄像机所拍摄的图像的处理来控制另一台摄像机的系统和方法 |
| JP2017138645A (ja) * | 2016-02-01 | 2017-08-10 | アルプス電気株式会社 | 視線検出装置 |
| CN107249126A (zh) * | 2017-07-28 | 2017-10-13 | 华中科技大学 | 一种适用于自由视点三维视频的人眼注视方向跟踪方法 |
| CN108900700A (zh) * | 2018-06-04 | 2018-11-27 | 北京大学 | 基于人脸识别和视线定位的双重验证的认证方法及系统 |
| CN109344714A (zh) * | 2018-08-31 | 2019-02-15 | 电子科技大学 | 一种基于关键点匹配的视线估计方法 |
| CN109409298A (zh) * | 2018-10-30 | 2019-03-01 | 哈尔滨理工大学 | 一种基于视频处理的视线追踪方法 |
| CN109558825A (zh) * | 2018-11-23 | 2019-04-02 | 哈尔滨理工大学 | 一种基于数字视频图像处理的瞳孔中心定位方法 |
| CN110363133A (zh) * | 2019-07-10 | 2019-10-22 | 广州市百果园信息技术有限公司 | 一种视线检测和视频处理的方法、装置、设备和存储介质 |
| CN110659674A (zh) * | 2019-09-05 | 2020-01-07 | 东南大学 | 一种基于视线跟踪的测谎方法 |
Non-Patent Citations (2)
| Title |
|---|
| Robustifying compressed projections for expressive iris localization;Corneliu Florea等;《IEEE》;20150423;第55-60页 * |
| 基于正常光照下的视线追踪;吕勇;《硅谷》;20110223;第11页，第18页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111291701A (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291701B (zh) | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 | |
| US11775056B2 (en) | System and method using machine learning for iris tracking, measurement, and simulation | |
| US10049262B2 (en) | Method and system for extracting characteristic of three-dimensional face image | |
| CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
| JP5766564B2 (ja) | 顔認証装置及び顔認証方法 | |
| CN113342161B (zh) | 一种基于近眼相机的视线追踪方法 | |
| CN115482574B (zh) | 基于深度学习的屏幕注视点估计方法、装置、介质及设备 | |
| CN111539911B (zh) | 一种口呼吸面容识别方法、设备和存储介质 | |
| CN109409298A (zh) | 一种基于视频处理的视线追踪方法 | |
| CN112069986A (zh) | 高龄老人眼动机器视觉跟踪方法及装置 | |
| CN114360039A (zh) | 一种智能眼睑检测方法及系统 | |
| CN108446642A (zh) | 一种快速人脸识别系统 | |
| CN110929570B (zh) | 虹膜快速定位装置及其定位方法 | |
| CN113920591B (zh) | 基于多模态生物特征识别的中远距离身份认证方法及装置 | |
| JP2014064083A (ja) | 監視装置及び方法 | |
| CN114202795A (zh) | 一种老年人瞳孔快速定位方法 | |
| CN114020155A (zh) | 一种基于眼动仪的高精度视线定位方法 | |
| CN110532915B (zh) | 基于法向量方位角局部熵的三维人脸遮挡判别方法 | |
| He et al. | Biomedical image sequence analysis with application to automatic quantitative assessment of facial paralysis | |
| CN112162629A (zh) | 基于外接矩形的实时瞳孔定位方法 | |
| KR101756919B1 (ko) | 얼굴 인식 장치 및 방법 | |
| CN115830319A (zh) | 一种基于注意力机制的斜视虹膜分割方法及验证方法 | |
| CN112800966B (zh) | 一种视线的追踪方法及电子设备 | |
| Zhao et al. | Fast localization algorithm of eye centers based on improved hough transform | |
| CN110781712B (zh) | 一种基于人脸检测与识别的人头空间定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |