CN112488032B - 一种基于鼻眼结构约束的人眼定位方法 - Google Patents

Abstract

本发明涉及一种基于鼻眼结构约束下的人眼定位方法，属于人眼定位技术领域，通过人脸检测、人眼和鼻孔检测、滤除误差点、基于模板匹配的漏检弥补四个步骤完成对人眼位置的实时检测。与现有技术相比，本发明基于大量鼻眼特征点数据的混合概率模型输出可信度最高的一组鼻眼特征点数据簇，滤除不合理的输出，为了克服现有技术中人眼检测受到干扰多无法精确检测的技术问题，引入对不易受干扰且检测精度较高的鼻孔检测，依据人脸中鼻眼分布自带的结构关联性，对检测出的所有鼻眼特征点数据进行基于混合概率模型的数据聚类以此提高正确人眼位置出现的概率，增加其可信度。

Description

一种基于鼻眼结构约束的人眼定位方法

技术领域

本发明属于人眼定位技术领域，涉及一种基于鼻眼结构约束的人眼定位方法。

背景技术

随着社会的不断发展，人眼定位技术被广泛应用于监控、刑侦、交通以及医疗等领域。其技术融合了生物学、图像处理、计算机视觉以及模式识别等多个方面。随着智能交互技术的不断发展，产生了人脸识别、视线跟踪、虚拟现实以及增强现实等与人眼定位技术密切相关的技术，而现目前常用的人眼定位方法是基于人眼自身的灰度分布来定位人眼，例如，现有的灰度积分直方图法，则是利用人脸的灰度积分直方图上人眼的波谷分布，通过取横纵方向上的灰度积分图的特定波谷的位置，来定位人眼的位置分布。但灰度积分直方图法易受眼镜以及光照的影响，一旦出现阴影遮挡等情况则容易出现误差。

基于机器学习的人眼检测方法是现有的人眼检测方法的主流方向，例如基于Haar特征结合Adaboost算法、Hog特征结合支持向量机等，这类方法检测精度相对较高，鲁棒性较好。但大多数基于机器学习的人眼检测方法常常存在两大缺陷。一是现有基于机器学习的人眼检测方法大多仅通过单一的特征去描述人眼区域，但带有各自特征的缺陷，例如，常用的Haar特征，其更多是描述人眼的明暗变化信息，当人脸姿态变化较大时，明暗变化信息则有较大改变，导致不易识别出眼睛；Hog特征更多是描述人眼外部轮廓的形状，但其容易将形状相似的眉毛或某些与眼睛形状相似的黑色眼镜框架误识别成眼睛，误检率较高。二是基于机器学习的人眼检测方法，常常需要全图搜索人眼，使得整个算法复杂度较高，实时性较低。

发明内容

有鉴于此，本发明的目的在于针对现有技术容易受各自特征缺陷影响，容易出现多个误检影响人眼检测精度的技术问题，提供一种图像特征算法结合鼻-眼结构约束的人眼定位方法及系统，通过检测精度很高的鼻孔来辅助定位人眼，减少单一图像特征检测算法带来的误检情况，并结合模板匹配的方式加快检测速度，该系统能够有效提高人眼检测精度以及人眼检测的实时性。

为达到上述目的，本发明提供如下技术方案：

一种基于鼻眼结构约束的人眼定位方法，包括以下步骤：

S1：使用一定量的训练集对检测过程中用到的概率统计模型进行训练，将模型初始化并获得U分布拟合模型；

S2：获取摄像头数据，视频图像抽帧逐帧进行人脸检测，输出人脸框的信息，所述人脸框的信息为人脸框矩形左上角坐标位置以及框的高度和宽度；

S3：将人脸框的上半部分作为人眼搜索区域，中间1/3部分作为鼻孔搜索区域，分别对其进行人眼检测和鼻孔检测获得人眼局部候选框和双鼻孔点；

S4：对于混合模型每个分布描述一个不同的组，通过对大量训练数据使用统计方法可以由数据估计这些分布的参数，这里使用三个参数分别是边缘长度、边缘长度之比、边缘夹角，混合建模并不产生对象到簇的明确指派，而是给出具体对象属于特定簇的概率，通过对训练模型中得到阈值进行判断滤除掉低概率的人眼局部候选框保留置信度最高的人眼框完成人眼粗定位；根据初始化的鼻-眼结构的训练模型计算出现的人眼候选框中心点与双鼻孔点构成的每一组鼻-眼数据概率值；

S5：考虑到在行车环境下，短时间序列内，驾驶员人眼图像相近，人脸图像大小归一化后，人眼尺度也基本上没有大的变化，通过模板匹配的方式来定位人眼具有较高的可行性，因此将基于模板匹配的人眼定位作为人眼检测系统的补充，当某帧发生漏检时，在距离该帧最近的、有结果输出的上一帧的基础上进行模板匹配，将匹配的最优结果作为该帧输出；若模板匹配失败，直接将上一个有结果帧的输出作为该漏检帧的最终结果；

S6：在每一帧输出的人眼局部框中再进行基于ASEF滤波器的瞳孔精定位最后输出图像中的瞳孔坐标，最后以一个序列为一组进行一次线性平滑操作实现人眼的实时定位。

进一步，步骤S1中具体包括以下步骤：

S11：采集数据，通过摄像头采集驾驶人实车驾驶时的数据，所述摄像头安装在汽车左A柱下方，并采取仰拍角度拍摄；

S12：数据处理，将拍摄到的图片通过人脸检测器后得到的人脸框归一化成300*300大小并人工标注左右瞳孔、左右鼻孔中心数据；

S13：约束计算，将标注好四个特征点逐一组合分别计算边缘长度、边缘长度之比、边缘夹角三个参数；

S14：分布拟合：采用Kolmogorov-Smirnov假设检验的方法，检验能量函数E(e₁,e₂,e₃,e₄)值符合哪种概率分布。

进一步，步骤S12中所述标注了左右瞳孔、左右鼻孔中心数据的人脸框记为

V_i＝(u_i,v_i)，i＝(1,2,3,4)；

其中V_i代表鼻孔、瞳孔的坐标，u_i,v_i是点V_i的横纵坐标。

步骤S13中任一条边缘长度定义为：

边缘长度之比定义为：

其中L_ik表示点V_i到点V_k的距离，L_jk表示点V_j到点V_k的距离。

边缘长度夹角定义为：

其中L_ij表示点V_i到点V_j的距离。

定义

则结构约束的能量函数定义为：

其中

分别是上述三个结构约束由高斯建模建立的函数；

步骤S14中所述的Kolmogorov-Smirnov假设检验的方法具体步骤如下：

S141：提出假设H0：Fn(E)＝F(E)；

其中E＝{E₁(e₁,e₂,e₃,e₄),E₂(e₁,e₂,e₃,e₄),…,E_i(e₁,e₂,e₃,e₄)}，i为样本数量；F(E)为理论分布U上各阶段的累计概率，Fn(E)为实际上各阶段的累计概率；U为正态分布或指数分布；

S142：计算样本累计频率与理论分布累计概率的绝对差，记最大的绝对差Dn为：

Dn＝max|Fn(E)-F(E)

S143：用样本容量和显著水平α查出临界值Dna，如果Dn＜Dna，则认为拟合是满意的，即能量函数E(e₁,e₂,e₃,e₄)值符合U分布。

进一步，步骤S2具体包括以下步骤：

S21：将视频图像通过于仕琪人脸检测器检测出人脸区域，将人脸图片灰度化后按300像素宽度进行归一化；

S22：将归一化后的人脸框分为上半部分和中间1/3部分，分别通过人眼检测器和鼻孔检测器。

进一步，步骤S3具体包括以下步骤：

S31：将所述人眼检测区域通过滑窗搜索人眼及鼻孔，对每个滑窗通过的区域提取HOG特征向量，并通过主成分分析法降低所述HOG特征向量的向量维度，再通过SVM进行分类，生成人眼候选框；

S32：将所述鼻孔检测区域通过simpleBlobDetector斑点检测器搜索双鼻孔，并通过鼻孔特征、鼻距的先验知识以及图像熵信息来保证输出的双鼻孔点的准确性和稳定性。

进一步，步骤S4具体包括以下步骤：

S41：将上一步得出的人眼候选框中心点、鼻孔中心点坐标进行逐一组合，计算每个组合的三个参数，分别为边缘长度、边缘长度之比、边缘长度夹角，并由此计算能量函数值E；

S42：设置置信水平为95％，结合步骤S1拟合出的U分布，查表得到标准分z值；

S43：计算置信区间：

a＝μ-z*σ

b＝μ+z*σ

其中μ和σ为分布U的均值和方差，则置信区间为[a,b]；

S44：若只有一组能量函数值E落在置信区间中，则将这一组鼻-眼数据作为最终结果输出；

若有多组能量函数值E落在置信区间中，则提高步骤b)中的置信水平，再次重复步骤S42-S44；

若没有能量函数值E落在置信区间中，则进行步骤S5。

进一步，步骤S5具体包括以下步骤：

S51：若所述步骤S4没有得到人眼局部框的结果，那么将距离该帧最近的有结果的上一帧输出作为人眼模板匹配的模板，在该帧附近位置匹配最优结果作为该漏检帧的输出；

S52：若模板匹配依旧没有结果，那么就将距离该帧最近的有结果的上一帧输出结果作为该漏检帧的最终输出。

进一步，步骤S6具体包括以下步骤：

S61：经过上述步骤后确保每一张人脸图片都有一张左、右眼人眼局部框图的产生，将这些人眼局部框图进行基于ASEF滤波器的人眼局部精定位，输出瞳孔图像坐标；

S62：得到每一张人脸对应的瞳孔中心坐标后，对其进行一次线性平滑操作防止检测过程中出现异常抖动，保证检测结果的稳定输出。

本发明的有益效果在于：本发明所提供的一种基于鼻-眼结构约束的人眼定位方法及系统，通过观测数据推测的隐藏在人脸特征点数据中潜在鼻-眼结构的固有类别，来筛除人眼出现的不合理位置，以此提高人眼粗定位的定位精度。通过滑窗搜索人眼过程中采用Hog特征结合SVM的人眼检测，结合鼻-眼结构的数据模型，大大的提高了人眼检测的准确性，有效的提高了人眼检测精度，并通过补充人眼模板匹配来降低漏检率，有效克服了传统的全图人眼检测的误检率高的缺点，并且弥补了在输出条件苛刻下时的人眼检出率，提高整个系统的检测精度。与现有技术相比，本发明基于大量鼻眼特征点数据的混合概率模型输出可信度最高的一组鼻眼特征点数据簇，滤除不合理的输出，为了克服现有技术中人眼检测受到干扰多无法精确检测的技术问题，引入对不易受干扰且检测精度较高的鼻孔检测，依据人脸中鼻眼分布自带的结构关联性，对检测出的所有鼻眼特征点数据进行基于混合概率模型的数据聚类以此提高正确人眼位置出现的概率，增加其可信度。本发明能有效提升人眼检测准确度，减少人眼误检情况，并能通过模板匹配弥补实时检测中出现的漏检问题，本发明中的基于混合概率模型的数据聚类算法弥补了传统的基于单特征的图像处理算法中产生误检较多的问题，且检测精度高，具有一定工程应用性。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所述人眼定位方法的总体技术方案流程框图；

图2为步骤(2)对人眼搜索区域及鼻孔搜索区域进行分割的示意图；

图3为步骤(3)对人眼区域提取HOG特征的示意图；

图4为步骤(3)通过滑窗对人眼搜索区域进行HOG特征提取后得到的人眼候选框的示意图；

图5为步骤(3)通过斑点检测进行鼻孔检测的示意图；

图6为步骤(4)对人眼候选框进行筛除的示意图；

图7为步骤(5)进行人眼模板匹配的示意图；

图8为步骤(6)进行瞳孔精定位的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明提供一种基于鼻眼结构约束的人眼定位系统，包括以下步骤：

1)模型初始化与U分布拟合，在进入正式的检测流程前需要一定量的训练集对检测过程中用到的概率统计模型进行训练，在本实验中训练集为5000张300*300人脸图片。该过程包含以下4个步骤：

a)采集数据：通过摄像头采集驾驶人实车驾驶时的数据，为确保能拍到鼻孔，摄像头安装在汽车左A柱下方保持不变，并采取仰拍角度拍摄；

b)数据处理：将拍摄到的图片通过于仕琪人脸检测器(注：该人脸检测器是直接调用的动态库)后得到的人脸框归一化成300*300大小并人工标注左右瞳孔、左右鼻孔中心数据，并记为V_i＝(u_i,v_i)，i＝(1,2,3,4)；

c)约束计算：将标注好四个特征点V₁、V₂、V₃、V₄分别计算边缘长度、边缘长度之比、边缘夹角三个参数，具体计算方式如下：

任一条边缘长度定义为:

边缘长度之比定义为：

边缘长度夹角定义为：

定义

则结构约束的能量函数定义为：

其中

分别是上述三个结构约束由高斯建模建立的函数。

d)分布拟合：采用Kolmogorov-Smirnov假设检验的方法，检验能量函数E(e₁,e₂,e₃,e₄)值符合哪种概率分布。具体步骤如下：

①提出假设H0：Fn(E)＝F(E)。

其中E＝{E₁(e₁,e₂,e₃,e₄),E₂(e₁,e₂,e₃,e₄),…,E_i(e₁,e₂,e₃,e₄)}，i为样本数量。F(E)为理论分布U上各阶段的累计概率，Fn(E)为实际上各阶段的累计概率。U可以是正态分布、指数分布等常见分布。

②计算样本累计频率与理论分布累计概率的绝对差，记最大的绝对差Dn为：

Dn＝max|Fn(E)-F(E)

③用样本容量和显著水平α查出临界值Dna，如果Dn＜Dna，则认为拟合是满意的，即能量函数E(e₁,e₂,e₃,e₄)值符合U分布。

2)获取摄像头数据，视频图像抽帧逐帧进行人脸检测，输出人脸框的信息，并将人脸框分为上半部分和中间1/3部分，人脸框的信息为人脸框矩形左上角坐标位置以及框的高度和宽度。如图2所示，所述步骤(2)具体包括以下2个步骤：

a)将视频图像通过于仕琪人脸检测器检测出人脸区域，将人脸图片灰度化后按300像素宽度进行归一化，保证输出的人脸框大小与训练集中的规格一致，都为300*300；

b)将归一化后的人脸框分为上半部分和中间1/3部分，上半部分作为人眼检测区域，中间1/3部分作为鼻孔检测区域。

3)其上个步骤的输出结果分别通过人眼检测和鼻孔检测获得人眼局部候选框和双鼻孔点。如图3-5所示，所述步骤(3)具体包括以下两个步骤：

a)将人眼检测区域通过滑窗搜索人眼，在本次实验中人眼滑窗大小固定为56*40，移动步长定为8。对每个滑窗通过的区域提取Hog特征向量，并通过主成分分析法降低所述HOG特征向量的向量维度，再通过SVM(支持向量机)进行判断，将可信度为90以上的人眼候选框输出。

b)将鼻孔检测区域通过OpenCV中自带的斑点特征检测器(OpenCV中提供了基于局部极值的分水岭算法的simpleBlobDetector特征检测器实现斑点检测)搜索双鼻孔，并通过鼻孔特征、鼻距的先验知识以及图像熵的约束条件来确保输出的双鼻孔点的准确性和稳定性，保留斑点圆心坐标即鼻孔坐标点。(注：对该斑点检测器的精度进行测试，检测出双鼻孔点的准确度可达到95％)

4)根据初始化的鼻-眼结构的训练模型计算出现的人眼候选框中心点与双鼻孔点构成的每一组鼻-眼数据概率值。如图6所示，所述步骤(4)包括以下两个步骤：

a)将上一步得出的人眼候选框中心点、鼻孔中心点坐标进行逐一组合，计算每个组合的三个参数，分别为边缘长度、边缘长度之比、边缘长度夹角。具体计算方式与步骤(1)中训练数据的计算方式一致，并由此计算能量函数值E。

b)设置置信水平为95％，结合步骤(1)拟合出的U分布，查表得到标准分z值。

c)计算置信区间。

a＝μ-z*σ

b＝μ+z*σ

其中μ和σ为分布U的均值和方差。

则置信区间为[a,b]。

d)判断。

①若只有一组能量函数值E落在置信区间中，则将这一组鼻-眼数据作为最终结果输出。

②若有多组能量函数值E落在置信区间中，则提高步骤b)中的置信水平，再次重复步骤b)-d)。

③若没有能量函数值E落在置信区间中，则进行步骤(5)。

5)考虑到在行车环境下，短时间序列内，驾驶员人眼图像相近，人脸图像大小归一化后，人眼尺度也基本上没有大的变化，通过模板匹配的方式来定位人眼具有较高的可行性，因此将基于模板匹配的人眼定位作为人眼检测系统的补充，当某帧发生漏检时，那么在距离该帧最近的，有结果输出的上一帧的基础上进行模板匹配，将匹配的最优结果作为该帧输出。如图7所示，所述步骤(5)包括以下两个步骤：

a)当概率可信任区间里未出现任何一组可能的数据即认定该帧发生漏检，那么在距离该帧最近的有结果输出帧的基础上进行模板匹配，在该帧附近位置匹配最优结果作为该漏检帧的输出。

本方案采用的模板匹配的相似性度量方法为归一化相关系数匹配法。度量算子如下式所示：

I(x,y)为模板像素点，T′(x′,y′)为目标像素点。归一化相关系数匹配法将模板的均值的相对值与图像的均值的相关值进行匹配，度量函数R(x,y)的值越接近于1则说明目标和模板的相似度越高，为0则表示没有相关性。

在实际程序运行过程当中，如果在经过筛选后的人眼候选框数量小于2，就认为此帧发生了漏检，选择最新的人眼模板对漏检帧进行模板匹配来获取人眼区域，在模板匹配过程中，模板匹配的搜索范围为人脸上半区域，模板匹配的滑窗大小为人眼模板的大小(56*14)，取相似度最大的点对应的滑窗区域作为模板匹配获取的人眼区域。为防止长时间模板匹配导致最后定位的人眼区域逐渐出现漂移，设定如果出现了连续20帧都进行模板匹配，则认为基于模板匹配的人眼检测失效。

b)若模板匹配失败，那么直接将上一个有结果帧的输出作为该漏检帧的最终结果。

6)在每一帧输出的人眼局部框中再进行瞳孔的精定位最后输出图像中的瞳孔坐标，如图8所示，所述步骤(6)包含以下两个步骤：

a)经过上述步骤后可以确保每一张人脸图片都有一张左、右眼人眼局部框图的产生，将这些人眼局部框图进行基于ASEF滤波器的人眼局部精定位，关于基于ASEF滤波器的瞳孔精定位算法可以做如下解释：

我们的期望让局部人眼图片f通过一个相关滤波器h，得到一个以瞳孔中心为峰值的人眼响应图g，为了得到我们期望的滤波器h，需要进行滤波器的训练。训练数据中我们设定某一张图片f_i对应的相关响应图为g_i，g_i是一个和f_i大小一致，且以f_i中瞳孔中心点为峰值的二维高斯图，其计算公式如(1)所示：

在得到一组图片f_i及相关响应图g_i后，再在学习需要的期望滤波器hi。根据卷积的理论，时域的卷积相当于频域的乘积，所以对(1)式左右两边进行离散傅里叶变换，如(2)所示，其中G、F分别是g、f的傅里叶变换：

转换到频域如(3)所示：

G(w,v)＝F(w,v)·H^*(w,v) (3)

由此得到针对单张图片的精确滤波器为：

当存在N张训练图片时，因为傅里叶变换是一种线性变换，最终的平均精确滤波器(ASEF)为：

单张图片的精确滤波器可以看作一个弱分类器，ASEF滤波器可看作多个滤波器联合的强分类器。将眼眶局部图片f通过该滤波器即可得到其对应的人眼响应图g，其峰值点的二维坐标即定位的瞳孔的二维坐标。该算法有效的提升了瞳孔检测的精度，最关键的是速度极快，且解决了瞳孔在眼眶中微动时的坐标定位。

b)得到每一张人脸对应的瞳孔中心坐标后，对其进行一次线性平滑操作防止检测过程中出现异常抖动，保证检测结果的稳定输出。

由于人脸特征点检测的不稳定性，驾驶员即使在不动的情况下检测的瞳孔三维坐标都会存在差异，即会引起抖动现象。为解决抖动现象，我们对坐标点采取了一个带预测的平滑滤波处理，以5个数据为一组为例，在已知第1个到第5个的瞳孔三维坐标情况下对其做一个一次直线(或二次曲线)拟合，那么就可以根据拟合模型来预测第6个点的坐标，当得到实际中第6个点数据时则抛弃第1个点的数据，此时第2个点到第6个点又组成新一组数据进行以上相同运算来预测第7个点坐标，不停迭代，即可平滑输出每一帧的视点三维坐标，避免出现不同帧之间较大的跳动。

假设连续五个瞳孔点的三维坐标都符合一次线性模型。以x坐标为例，即w_i*(t_i+at_i)＝x_i(i＝1,2,3,4,5)。w_i是t_i时刻赋予的权重，随着时间的增加，权重依次增大，即w₀最小，w₅最大。现已知t₀至t₅时刻的时间节点以及检测到的x坐标，预测t₆时刻的x坐标。则可构建如下公式：

即W*T*β＝W*X

根据最小二乘法可求得

则t₆时刻x的坐标为x₆＝a*t₆+b。并将此预测值作为实际的输出值。

当需要预测t₇时，抛弃原本的t₁时刻点，原本的t₂时刻作为新的t₁时刻，原本的t₃时刻作为新的t₂时刻，依次类推，检测出的t₆作为新的t₅时刻点，依照以上方法来预测t₇时刻点。

y,z坐标亦如x坐标方式计算。本模块采用一次线性平滑预测滤波。

为了近一步降低抖动，在计算出预测坐标后，还会和前一帧预测出的三维坐标进行比较，若三个坐标的差距和小于预设的20mm，默认输出前一帧值。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于鼻眼结构约束的人眼定位方法，其特征在于：包括以下步骤：

S1：使用一定量的训练集对检测过程中用到的概率统计模型进行训练，将模型初始化并获得U分布拟合模型；步骤S1中具体包括以下步骤：

S11：采集数据，通过摄像头采集驾驶人实车驾驶时的数据，所述摄像头安装在汽车左A柱下方，并采取仰拍角度拍摄；

S12：数据处理，将拍摄到的图片通过人脸检测器后得到的人脸框归一化成300*300大小并人工标注左右瞳孔、左右鼻孔中心数据；步骤S12中所述标注了左右鼻孔、左右瞳孔中心数据的人脸框记为V_i＝(u_i,v_i)，i＝(1,2,3,4)；其中V_i代表鼻孔、瞳孔的坐标，u_i,v_i是点V_i的横纵坐标；

S13：约束计算，将标注好四个特征点逐一组合分别计算边缘长度、边缘长度之比、边缘夹角三个参数；步骤S13中任一条边缘长度定义为：

边缘长度之比定义为：

其中L_ik表示点V_i到点V_k的距离，L_jk表示点V_j到点V_k的距离；

边缘长度夹角定义为：

其中L_ij表示点V_i到点V_j的距离；

定义

则结构约束的能量函数定义为：

其中

分别是结构约束由高斯建模建立的函数；

S14：分布拟合：采用Kolmogorov-Smirnov假设检验的方法，检验能量函数E(e₁,e₂,e₃,e₄)值符合哪种概率分布；步骤S14中所述的Kolmogorov-Smirnov假设检验的方法具体步骤如下：

S141：提出假设H0：Fn(E)＝F(E)；

其中E＝{E₁(e₁,e₂,e₃,e₄),E₂(e₁,e₂,e₃,e₄),…,E_i(e₁,e₂,e₃,e₄)}，i为样本数量；F(E)为理论分布U上各阶段的累计概率，Fn(E)为实际上各阶段的累计概率；U为正态分布或指数分布；

S142：计算样本累计频率与理论分布累计概率的绝对差，记最大的绝对差Dn为：

Dn＝max|Fn(E)-F(E)|

S143：用样本容量和显著水平α查出临界值Dna，如果Dn＜Dna，则认为拟合是满意的，即能量函数E(e₁,e₂,e₃,e₄)值符合U分布；

S2：获取摄像头数据，视频图像抽帧逐帧进行人脸检测，输出人脸框的信息，所述人脸框的信息为人脸框矩形左上角坐标位置以及框的高度和宽度；

S3：将人脸框的上半部分作为人眼搜索区域，中间1/3部分作为鼻孔搜索区域，分别对其进行人眼检测和鼻孔检测获得人眼局部候选框和双鼻孔点；步骤S3具体包括以下步骤：

S31：将所述人眼搜索区域通过滑窗搜索人眼及鼻孔，对每个滑窗通过的区域提取HOG特征向量，并通过主成分分析法降低所述HOG特征向量的向量维度，再通过SVM进行分类，生成人眼候选框；

S32：将所述鼻孔搜索区域通过simpleBlobDetector斑点检测器搜索双鼻孔，并通过鼻孔特征、鼻距的先验知识以及图像熵信息来保证输出的双鼻孔点的准确性和稳定性；

S4：根据初始化的鼻-眼结构的训练模型计算出现的人眼候选框中心点与双鼻孔点构成的每一组鼻-眼数据概率值；

S41：将上一步得出的人眼候选框中心点、鼻孔中心点坐标进行逐一组合，计算每个组合的三个参数，分别为边缘长度、边缘长度之比、边缘长度夹角，并由此计算能量函数值E；

S42：设置置信水平为95％，结合步骤S1拟合出的U分布，查表得到标准分z值；

S43：计算置信区间：

a＝μ-z*σ

b＝μ+z*σ

其中μ和σ为分布U的均值和方差，则置信区间为[a,b]；

S44：若只有一组能量函数值E落在置信区间中，则将这一组鼻-眼数据作为最终结果输出；

若有多组能量函数值E落在置信区间中，则提高步骤S42中的置信水平，再次重复步骤S42-S44；

若没有能量函数值E落在置信区间中，则进行步骤S5；

S5：将基于模板匹配的人眼定位作为鼻-眼结构的训练模型的补充，当某帧发生漏检时，在距离该帧最近的、有结果输出的上一帧的基础上进行模板匹配，将匹配的最优结果作为该帧输出；若模板匹配失败，直接将上一个有结果帧的输出作为漏检帧的最终结果；

S6：在每一帧输出的人眼局部框中再进行基于ASEF滤波器的瞳孔精定位最后输出图像中的瞳孔坐标，最后以一个序列为一组进行一次线性平滑操作实现人眼的实时定位。

2.根据权利要求1所述的基于鼻眼结构约束的人眼定位方法，其特征在于：步骤S2具体包括以下步骤：

S21：将视频图像通过于仕琪人脸检测器检测出人脸区域，将人脸图片灰度化后按300像素宽度进行归一化；

S22：将归一化后的人脸框分为上半部分和中间1/3部分，分别通过人眼检测器和鼻孔检测器。

Images