CN111738241A - 基于双摄像头的瞳孔检测方法及装置 - Google Patents

Abstract

本发明公开一种基于双摄像头的瞳孔检测方法及装置，涉及瞳孔检测技术领域，采用双摄像头的瞳孔检测方案能够提高瞳孔检测结果准确的准确度。该方法包括：构建双摄像头的瞳孔检测环境，并获取每个摄像头同时刻拍摄的包括脸部图像的检测帧图片；分别提取出同时刻产生的每幅检测帧图片中的脸部图像，实现对脸部区域的预定位；基于ElSe算法识别出脸部图像中的瞳孔边缘信息，瞳孔边缘信息包括多个瞳孔特征点坐标；根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的半径结果。该装置应用有上述方案所提的方法。

Description

基于双摄像头的瞳孔检测方法及装置

技术领域

本发明涉及瞳孔检测技术领域，尤其涉及一种基于双摄像头的瞳孔检测方法及装置。

背景技术

DMS瞳孔检测系统能够对驾驶员的应激反应、疲劳程度、眼部受光情况等生理信息进行检测，继而进行相应动作。

目前主流的实验室瞳孔检测技术多采用头戴式眼动仪采集眼部图像，通过单摄像头对每只眼进行图像采集，然后对图像中的瞳孔进行检测分析。现有方案存在如下缺陷：一方面头戴式眼动仪会对驾驶员视线造成遮挡，无法直接应用于驾舱环境；另一方面由于驾舱背景环境复杂，采用单摄像头采集的图像容易出现瞳孔坐标偏移、睫毛/眼睑遮挡、眼镜镜片光反射/眼镜边缘遮挡、光照强度低或者光照分布不均、图像模糊问题中的一种或多种。

综上，现有技术中的瞳孔检测技术不适用于驾舱环境，且存在瞳孔检测结果不准确的技术问题。

发明内容

本发明的目的在于提供一种基于双摄像头的瞳孔检测方法及装置，通过双摄像头的瞳孔检测方案，能够提高结果准确的准确度。

为了实现上述目的，本发明的第一方面提供一种基于双摄像头的瞳孔检测方法，包括：

构建双摄像头的瞳孔检测环境，并获取每个摄像头同时刻拍摄的包括脸部图像的检测帧图片；

分别提取出同时刻产生的每幅检测帧图片中的脸部图像，实现对脸部区域的预定位；

基于ElSe算法识别出脸部图像中的瞳孔边缘信息，所述瞳孔边缘信息包括多个瞳孔特征点坐标；

根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的半径结果。

优选地，构建双摄像头的瞳孔检测环境，并获取每个摄像头同时刻拍摄的包括脸部图像检测帧图片的方法包括:

所述双摄像头分别为第一深度摄像头和第二深度摄像头，且第一深度摄像头和第二深度摄像头安装于同一高度；

分别构建以每个摄像头中心点为原点的虚拟笛卡尔坐标系，获取每幅检测帧图片中瞳孔特征点在对应虚拟笛卡尔坐标系上的坐标表示。

较佳地，分别提取出同时刻产生的每幅检测帧图片中的脸部图像，实现对脸部区域的预定位的方法包括：

使用Haar算子对检测帧图片进行步长为1的滑动计算，遍历检测帧图片后得到多个特征值；

分别将各特征值归一化处理后，得到与各特征值一一对应的归一化特征值；

基于多个归一化特征值组建特征向量，将特征向量输入通过OpenCV预训练的AdaBoost级联分类器进行分类，实现对脸部区域图像的预定位。

进一步地，在实现对脸部区域的预定位之后还包括：

采用灰度投影法识别脸部图像中两眼瞳孔的位置。

优选地，采用灰度投影法识别脸部图像中两眼瞳孔的位置的方法包括：

通过对脸部图像中高度范围内像素点的像素灰度进行水平方向的积分，基于积分值从中识别人眼瞳孔所处高度位置的像素点；

根据人眼瞳孔所处高度位置，对所处高度像素点的像素灰度进行垂直方向的灰度积分，基于积分值从中识别人眼瞳孔所处水平位置的像素点；

基于所述人眼瞳孔所处高度位置的像素点及所处水平位置的像素点，实现对两眼瞳孔的位置定位。

优选地，基于ElSe算法识别出脸部图像中的瞳孔边缘信息的方法包括：

利用ElSe算法识别部脸部图像中两眼瞳孔位置周边范围的像素，获取瞳孔中心点坐标、上下眼部曲率极小值点与瞳孔中心连线交点坐标、上下眼部曲率极小值点与瞳孔边缘交点坐标、眼部曲率极大值点与瞳孔中心连线交点和眼部曲率极大值点与瞳孔边缘交点坐标。

较佳地，根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的半径结果的方法包括：

在当前时刻产生的两幅脸部图像中的两眼瞳孔成像清楚且未被遮挡时，获取左眼瞳孔分别在同时刻产生的两幅脸部图像中的瞳孔中心点坐标，以及右眼瞳孔分别在同时刻产生的两幅脸部图像中的瞳孔中心点坐标；

根据第一深度摄像头与第二深度摄像头的中心点连线距离、第一深度摄像头的焦距、第二深度摄像头的焦距、左眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标、右眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标，计算左眼瞳孔分别在两幅脸部图像中的深度距离，以及计算右眼瞳孔分别在两幅脸部图像中的深度距离；

利用两眼瞳孔计算公式，计算左眼瞳孔分别在两幅脸部图像中的半径，以及计算右眼瞳孔分别在两幅脸部图像中的半径；

对左眼瞳孔分别在两幅脸部图像中的半径求均值得到左眼瞳孔半径，以及对右眼瞳孔分别在两幅脸部图像中的半径求均值得到右眼瞳孔半径。

较佳地，根据每幅检测帧图片中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的半径结果的方法还包括：

在当前时刻产生的任一幅脸部图像中的两眼瞳孔成像不清楚或被遮挡时，获取左眼瞳孔分别在同时刻产生成像清楚脸部图像中的瞳孔中心点坐标，以及右眼瞳孔分别在同时刻产生成像清楚脸部图像中的瞳孔中心点坐标；

获取距当前时刻最近的由第一深度摄像头及第二深度摄像头分别产生的n帧脸部图像，并基于第一深度摄像头和第二深度摄像头对应的每帧图像中左眼瞳孔的深度距离值和右眼瞳孔的深度距离值，拟合出当前时刻产生的脸部图像中左眼瞳孔深度距离值和右眼瞳孔深度距离值；

根据第一深度摄像头与第二深度摄像头的中心点连线距离、第一深度摄像头的焦距、第二深度摄像头的焦距、左眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标、右眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标、左眼瞳孔深度距离值和右眼瞳孔深度距离值，利用两眼瞳孔计算公式计算左眼瞳孔分别在两幅脸部图像中的半径，以及计算右眼瞳孔分别在两幅脸部图像中的半径；

对左眼瞳孔分别在两幅脸部图像中的半径求均值，以及对右眼瞳孔分别在两幅脸部图像中的半径求均值，通过加权计算得到左眼瞳孔半径和右眼瞳孔半径。

与现有技术相比，本发明提供的基于双摄像头的瞳孔检测方法具有以下有益效果：

本发明提供的基于双摄像头的瞳孔检测方法中，通过构建双摄像头的瞳孔检测环境，使得每个摄像头能够同时刻拍摄包括脸部图像的检测帧图片，然后分别从同时刻拍摄的两幅检测帧图片中对脸部区域进行预定位，识别出两幅检测帧图片中的脸部图像，接着利用ElSe算法识别出脸部图像中的瞳孔边缘信息，也即多个瞳孔特征点坐标，然后根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的直径结果。

可见，相比较于单摄像头的瞳孔检测方案来说，本发明采用双摄像头采集瞳孔信息，通过均值计算的方案能够显著提升瞳孔检测结果的准确性，另外，由于摄像头的成像角α有一定限制，因此双摄像头比起单摄像头有更大的识别范围，能够有效改善坐标偏移的问题。

本发明的第二方面提供一种基于双摄像头的瞳孔检测装置，应用于上述技术方案所述的基于双摄像头的瞳孔检测方法中，所述装置包括：

环境布置单元，用于构建双摄像头的瞳孔检测环境，并获取每个摄像头同时刻拍摄的包括脸部图像的检测帧图片；

脸部定位单元，用于分别提取出同时刻产生的每幅检测帧图片中的脸部图像，实现对脸部区域的预定位；

瞳孔检测单元，用于基于ElSe算法识别出检测帧图片中的瞳孔边缘信息，所述瞳孔边缘信息包括多个瞳孔特征点坐标；

计算输出单元，用于根据每幅检测帧图片中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的直径结果。

与现有技术相比，本发明提供的基于双摄像头的瞳孔检测装置的有益效果与上述技术方案提供的基于双摄像头的瞳孔检测方法的有益效果相同，在此不做赘述。

本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于双摄像头的瞳孔检测方法的步骤。

与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的基于双摄像头的瞳孔检测方法的有益效果相同，在此不做赘述。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中基于双摄像头的瞳孔检测方法的流程示意图；

图2为本发明实施例中双摄像头瞳孔检测环境的示例图；

图3为本发明实施例中双摄像头采集瞳孔特征点坐标的示例图；

图4为本发明实施例中使用Haar算子识别检测帧图片中脸部图像的原理图；

图5为本发明实施例中形态学算子的形态示例图；

图6为本发明实施例中基于双摄像头的瞳孔检测方法的算法流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。

实施例一

请参阅图1和图6，本实施例提供一种基于双摄像头的瞳孔检测方法，包括：

构建双摄像头的瞳孔检测环境，并获取每个摄像头同时刻拍摄的包括脸部图像的检测帧图片；分别提取出同时刻产生的每幅检测帧图片中的脸部图像，实现对脸部区域的预定位；基于ElSe算法识别出脸部图像中的瞳孔边缘信息，所述瞳孔边缘信息包括多个瞳孔特征点坐标；根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的半径结果。

本实施例提供的基于双摄像头的瞳孔检测方法中，通过构建双摄像头的瞳孔检测环境，使得每个摄像头能够同时刻拍摄包括脸部图像的检测帧图片，然后分别从同时刻拍摄的两幅检测帧图片中对脸部区域进行预定位，识别出两幅检测帧图片中的脸部图像，接着利用ElSe算法识别出脸部图像中的瞳孔边缘信息，也即多个瞳孔特征点坐标，然后根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的直径结果。

可见，相比较于单摄像头的瞳孔检测方案来说，本实施例采用双摄像头采集瞳孔信息，通过均值计算的方案能够显著提升瞳孔检测结果的准确性，另外，由于摄像头的成像角α有一定限制，因此双摄像头比起单摄像头有更大的识别范围，能够有效改善坐标偏移的问题。

上述实施例中，构建双摄像头的瞳孔检测环境，并获取每个摄像头同时刻拍摄的包括脸部图像检测帧图片的方法包括:

双摄像头分别为第一深度摄像头和第二深度摄像头，且第一深度摄像头和第二深度摄像头安装于同一高度；分别构建以每个摄像头中心点为原点的虚拟笛卡尔坐标系，获取每幅检测帧图片中特征点在对应虚拟笛卡尔坐标系上的坐标表示。可选地，第一深度摄像头和第二深度摄像头可选用红外深度摄像头。

请参阅图2和图3，本实施例方案可应用于DMS场景（驾驶员瞳孔检测），第一深度摄像头和第二深度摄像头的型号相同，焦距均为f，通过将第一深度摄像头和第二深度摄像头安装在主驾驶位的挡风玻璃上方，且第一深度摄像头和第二深度摄像头安装于同一高度，第一深度摄像头和第二深度摄像头中心点连接线的间距b略大于双眼瞳孔间距，如b的取值为10cm至15cm，使镜头能够清楚拍摄到驾驶员的瞳孔特征，然后以第一深度摄像头的光轴方向为z轴，平行于中心点连接线的方向为y轴，垂直于y轴和z轴方向为x轴建立以第一深度摄像头为原点的第一笛卡尔坐标系，同理，以第二深度摄像头的光轴方向为z轴，平行于中心点连接线的方向为y轴，垂直于y轴和z轴方向为x轴建立以第二深度摄像头为原点的第二笛卡尔坐标系，使得驾驶员的同一个瞳孔能够分别在同时刻拍摄的两幅检测帧图片中显示，例如，第一深度摄像头拍摄的瞳孔成像点为Pa，其在第一笛卡尔坐标系中的坐标表示为Pa(ua,va)，第二深度摄像头拍摄的瞳孔成像点为Pb，其在第二笛卡尔坐标系中的坐标表示为Pb(ub,vb)，则该瞳孔在z轴方向上的深度距离计算公式为：

，若已知瞳孔的两个特征点a和特征点b，假设特征点a的坐标为(ua,va)，特征点b的坐标为(ub,vb)，对应的深度距离分别为

和

，利用公式

，基于上述参数计算出的特征点a至特征点b的间隔距离x。需要注意的是，此处的特征点坐标是指成像于摄像头上的二维图像坐标，根据该二维图像坐标可计算出特征点的深度距离。

上述实施例中，分别提取出同时刻产生的每幅检测帧图片中的脸部图像，实现对脸部区域的预定位的方法包括：

使用Haar算子对检测帧图片进行步长为1的滑动计算，遍历检测帧图片后得到多个特征值；分别将各特征值归一化处理后，得到与各特征值一一对应的归一化特征值；基于多个归一化特征值组建特征向量，将特征向量输入通过OpenCV预训练的AdaBoost级联分类器进行分类，实现对脸部区域图像的预定位。

具体实施时，将第一深度摄像头在当前时刻拍摄到的检测帧图片定义为检测帧图片1，将第二深度摄像头在当前时刻拍摄到的检测帧图片定义为检测帧图片2，使用Haar算子分别对检测帧图片1和检测帧图片2进行步长为1的滑动计算，参考图4，采用的计算公式为

，其中

表示白色区域内的像素，

表示黑色区域内的像素，

为白色算子面积的权重，

为黑色算子面积的权重，

和

反比与算子的面积，检测帧图片一次遍历结束后算子面积成比例放大直至算子填充整个图像，最终得到多个特征值 F。然后针对特征值F进行归一化处理，归一化公式为

，其中，

为像素点的灰度值，w为算子宽度，h为算子高度，normF为归一化特征值，最终得到与各特征值一一对应的归一化特征值，然后将多个归一化特征值组建的特征向量输入通过OpenCV预训练的AdaBoost级联分类器进行分类，实现对脸部图像的预定位。

可以理解的是，上述实施例中的分类识别训练过程，为本领域现有技术方案，在此不做赘述。

进一步地，在实现对脸部区域的预定位之后还包括：采用灰度投影法识别脸部区域图像中两眼瞳孔的位置。

具体地，采用灰度投影法识别脸部图像中两眼瞳孔的位置的方法包括：

通过对脸部图像中预设高度范围内像素点的像素灰度进行水平方向的积分，基于积分值从中识别人眼瞳孔所处高度位置的像素点；根据人眼瞳孔所处高度位置，对所处高度像素点的像素灰度进行垂直方向的灰度积分，基于积分值从中识别人眼瞳孔所处水平位置的像素点；基于所述人眼瞳孔所处高度位置的像素点及所处水平位置的像素点，实现对两眼瞳孔的位置定位。

具体实施时，灰度投影法的步骤包括：对脸部图像一定高度范围内的像素灰度进行水平方向的积分，采用的公式为

，其中H为高度范围值，

为像素点的灰度值表示坐标为

像素的灰度值，n表示脸部图像中某一高度水平方向上的像素点个数，根据人脸部特征的先验知识，人眼部所处高度为水平方向灰度积分函数的从上到下的第二个极小值处；在第二个极小值处对应的高度上进行垂直方向灰度积分，采用的公式为

, 其中m表示在V长度处垂直方向上的像素点个数,根据先验知识可以得到人眼瞳孔中心位于垂直积分投影函数的两个最小值点位置，进而实现对人眼瞳孔的定位。可以理解的是，上述方案仅为针对一张脸部图像中单只人眼瞳孔的定位原理，基于上述方案的应用，同理可对双摄像头同时刻产生的两张脸部图像中的双眼瞳孔进行预定位。

上述实施例中，基于ElSe算法识别出脸部图像中的瞳孔边缘信息的方法包括：

利用ElSe算法识别部脸部图像中两眼瞳孔位置周边范围的像素，获取瞳孔中心点坐标、上下眼部曲率极小值点与瞳孔中心连线交点坐标、上下眼部曲率极小值点与瞳孔边缘交点坐标、眼部曲率极大值点与瞳孔中心连线交点和眼部曲率极大值点与瞳孔边缘交点坐标。

具体实施时的步骤如下：1、直方图均衡；2、Canny边缘检测，即先进行高斯平滑，再用Sobel算子与输入图像卷积计算边缘梯度和方向，而后沿梯度对幅值进行非极大值抑制，最后用双阈值算法进行边缘检测；3、采用如图5 的形态学算子对检测的边缘进行拉细、拉直、打断正交连接线等操作；4、判断长连接线曲率获取曲线，采用最小平方椭圆拟合法，通过判断椭圆长短半径比、瞳孔/眼部区域尺寸比以及椭圆和周围区域灰度等方法来确定瞳孔中心点坐标、上下眼部曲率极小值点与瞳孔中心连线交点坐标、上下眼部曲率极小值点与瞳孔边缘交点坐标、眼部曲率极大值点与瞳孔中心连线交点和眼部曲率极大值点与瞳孔边缘交点坐标。可以理解的是，利用ElSe算法识别部脸部图像中两眼瞳孔位置周边范围的像素的具体过程为本领域现有技术，本实施例对此不再赘述。

实际应用过程中，获取到的脸部图像中的两眼瞳孔成像分为正常和不正常两种情况，其中，正常情况是指两眼瞳孔成像清晰且成像角度符合阈值的情况，不正常情况是指任一只眼的瞳孔成像出现模糊、反光、成像角度超过阈值等情况。

正常情况下的瞳孔直径检测方案如下，也即在当前时刻产生的两幅脸部图像中的两眼瞳孔成像清楚且未被遮挡时，获取左眼瞳孔分别在同时刻产生的两幅脸部图像中的瞳孔中心点坐标，以及右眼瞳孔分别在同时刻产生的两幅脸部图像中的瞳孔中心点坐标；根据第一深度摄像头与第二深度摄像头的中心点连线距离、第一深度摄像头的焦距、第二深度摄像头的焦距、左眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标、右眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标，计算左眼瞳孔分别在两幅脸部图像中的深度距离，以及计算右眼瞳孔分别在两幅脸部图像中的深度距离；利用两眼瞳孔计算公式，计算左眼瞳孔分别在两幅脸部图像中的半径，以及计算右眼瞳孔分别在两幅脸部图像中的半径；对左眼瞳孔分别在两幅脸部图像中的半径求均值得到左眼瞳孔半径，以及对右眼瞳孔分别在两幅脸部图像中的半径求均值得到右眼瞳孔半径。

具体实施时，由于第一深度摄像头和第二深度摄像头同时刻拍摄的脸部图像中均存在双眼瞳孔图像，因此需对两幅脸部图像中的双眼瞳孔半径进行计算，然后将两幅脸部图像中的双眼瞳孔半径结果均值后即可得到左眼瞳孔半径和右眼瞳孔半径。

为便于理解，仅对第一深度摄像头拍摄的幅脸部图像中左眼瞳孔半径的计算具体过程进行示例性说明：

定义左眼瞳孔在脸部图像中的瞳孔中心点坐标为P_O，定义左眼上下眼部曲率极小值点与瞳孔中心连线交点坐标为P_A，定义左眼上下眼部曲率极小值点与瞳孔边缘交点坐标为P_B，定义左眼眼部曲率极大值点与瞳孔中心连线交点坐标为P_C，定义左眼眼部曲率极大值点与瞳孔边缘交点坐标为P_D，然后采用公式

分别计算P_O至P_A、P_O至P_B、P_O至P_C、P_O至P_D之间的距离，当计算P_O至P_A之间的距离时，

表示P_O在第一深度摄像头中成像的深度距离，

表示P_A在第一深度摄像头中成像的深度距离，

表示P_O在第一深度摄像头中成像的坐标，

表示P_A在第一深度摄像头中成像的坐标，f表示第一深度摄像的焦距，最终基于上式可计算得到第一深度摄像头成像中P_O至P_A之间的距离x_OA。可见，依据上述方法可分别计算出第一深度摄像头成像中P_O至P_B之间的距离x_OB、P_O至P_C之间的距离x_OC、P_O至P_D之间的距离x_OD，然后将x_OA、x_OB、x_OC、x_OD累加后求均值即可得到左眼瞳孔在第一深度摄像头成像中半径。同理利用上述方法可求得左眼瞳孔在第二深度摄像头成像中半径，最终将左眼瞳孔在第一深度摄像头成像的半径与左眼瞳孔在第二深度摄像头成像的半径求均值即可输出左眼瞳孔半径。

总所周知的是，右眼瞳孔半径的计算方法与左眼瞳孔半径的计算方法原理相同，本实施例对此不做赘述。

不正常情况的瞳孔直径检测方案如下，也即仅在当前时刻产生的任一幅脸部图像中的两眼瞳孔成像不清楚或被遮挡时，获取左眼瞳孔分别在同时刻产生成像清楚脸部图像中的瞳孔中心点坐标，以及右眼瞳孔分别在同时刻产生成像清楚脸部图像中的瞳孔中心点坐标；获取距当前时刻最近的由第一深度摄像头及第二深度摄像头分别产生的n帧脸部图像，并基于第一深度摄像头和第二深度摄像头对应的每帧脸部图像中左眼瞳孔的深度距离值和右眼瞳孔的深度距离值，拟合出当前时刻产生的脸部图像中左眼瞳孔深度距离值和右眼瞳孔深度距离值；根据第一深度摄像头与第二深度摄像头的中心点连线距离、第一深度摄像头的焦距、第二深度摄像头的焦距、左眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标、右眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标、左眼瞳孔深度距离值和右眼瞳孔深度距离值，利用两眼瞳孔计算公式计算左眼瞳孔分别在两幅脸部图像中的半径，以及计算右眼瞳孔分别在两幅脸部图像中的半径；对左眼瞳孔分别在两幅脸部图像中的半径求均值，以及对右眼瞳孔分别在两幅脸部图像中的半径求均值，通过加权计算得到左眼瞳孔半径和右眼瞳孔半径。

具体实施时，若其中一只瞳孔出现不正常情况，导致深度距离无法准确算出，则使用同时刻拍摄的另一只正常情况瞳孔的深度距离进行替代。例如：成像反光大多是由驾驶员所带眼镜反光造成的，如果其中一摄像头落入一眼镜镜片反射光路中或眼镜镜片边缘遮挡导致光线过暗时，则利用另一摄像头拍摄的脸部图像进行双眼瞳孔半径的计算，而反光瞳孔的深度距离则使用未反光瞳孔的深度距离进行替代。其中，成像反光或光线过暗的判断方法为：摄像头落入眼镜镜片反射光路时，灰度积分会在一定范围出现突变的波峰，光线过暗时会出现一定范围的波谷，瞳孔被眼镜镜片范围遮挡时，水平或垂直方向的灰度积分会在一小范围内出现波谷。

为便于理解，现对第一深度摄像头拍摄的幅脸部图像中左眼瞳孔半径的计算具体过程进行示例性说明：

定义左眼瞳孔在脸部图像中的瞳孔中心点坐标为P_O，定义左眼上下眼部曲率极小值点与瞳孔中心连线交点坐标为P_A，定义左眼上下眼部曲率极小值点与瞳孔边缘交点坐标为P_B，定义左眼眼部曲率极大值点与瞳孔中心连线交点坐标为P_C，定义左眼眼部曲率极大值点与瞳孔边缘交点坐标为P_D，然后采用公式

分别计算P_O至P_A、P_O至P_B、P_O至P_C、P_O至P_D之间的距离，当计算P_O至P_A之间的距离时，

表示P_O在第一深度摄像头中成像的深度距离，

表示P_A在第一深度摄像头中成像的深度距离（若左眼瞳孔成像出现反光或者光线过暗时，采用第二深度摄像头成像的深度距离作为替代），

表示P_O在第一深度摄像头中成像的坐标，

表示P_A在第一深度摄像头中成像的坐标，f表示第一深度摄像的焦距，最终基于上式可计算得到第一深度摄像头成像中P_O至P_A之间的距离x_OA。接着依据上述方法可分别计算出第一深度摄像头成像中P_O至P_B之间的距离x_OB、P_O至P_C之间的距离x_OC、P_O至P_D之间的距离x_OD，然后将x_OA、x_OB、x_OC、x_OD累加后求均值即可得到左眼瞳孔在第一深度摄像头成像中半径。

考虑到反光瞳孔的置信度会降低，本实施例采用的置信度函数为

其中，

为归一化的历史双眼瞳孔深度距离差，

,n表示通过一个摄像头获取的历史帧脸部图像的数量，

表示两个摄像头拍摄的第i帧历史帧脸部图像中同一瞳孔的深度距离差，

表示瞳孔测量的置信度值，然后采用加权公式

计算瞳孔半径，其中

表示左眼瞳孔测量的置信度值，

表示右眼瞳孔测量的置信度值，

表示左眼瞳孔的成像半径，

表示右眼瞳孔的成像半径，

表示加权后得到的大小相等的左眼瞳孔半径和右眼瞳孔半径。

当出现成像模糊的脸部图像时，采用另一摄像头拍摄的成像清楚的脸部图像进行双眼瞳孔半径的计算，并对距离当前帧最近的n帧历史脸部图像的特征点深度距离进行曲线拟合，识别出所需的特征点深度距离后再对瞳孔直径进行计算，曲线拟合优选用最小二乘法进行拟合，拟合函数形式为三次线性方程。其中，成像模糊的判断方法为：采用3*3的Laplacian算子核对脸部图像的灰度通道进行卷积，然后对输出方差进行计算，当输出方差小于用户自定义阈值时判定图像模糊。

当脸部图像中的出现眼睑被遮挡的情况时，将会导致瞳孔检测的置信度降低，此种情况采用的置信度函数为

此时的

表示瞳孔受眼睑覆盖面积百分比值，

表示瞳孔测量的置信度值，然后使用同上述一样的加权公式

计算出左眼瞳孔半径和右眼瞳孔半径。

考虑到正对面部摄像头检测的瞳孔直径置信度较高，侧边摄像头检测的瞳孔直径置信度较低，此种情况采用的置信度函数为

，

为瞳孔拟合椭圆长短半径比，然后使用同上述一样的加权公式

计算出左眼瞳孔半径和右眼瞳孔半径。

实施例二

本实施例提供一种基于双摄像头的瞳孔检测装置，包括：

环境布置单元，用于构建双摄像头的瞳孔检测环境，并获取每个摄像头同时刻拍摄的包括脸部图像的检测帧图片；

脸部定位单元，用于分别提取出同时刻产生的每幅检测帧图片中的脸部图像，实现对脸部区域的预定位；

瞳孔检测单元，用于基于ElSe算法识别出脸部图像中的瞳孔边缘信息，所述瞳孔边缘信息包括多个瞳孔特征点坐标；

计算输出单元，用于根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的半径结果。

与现有技术相比，本发明实施例提供的基于双摄像头的瞳孔检测装置的有益效果与上述实施例一提供的基于双摄像头的瞳孔检测方法的有益效果相同，在此不做赘述。

实施例三

本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于双摄像头的瞳孔检测方法的步骤。

与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的基于双摄像头的瞳孔检测方法的有益效果相同，在此不做赘述。

本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于双摄像头的瞳孔检测方法，其特征在于，包括：

构建双摄像头的瞳孔检测环境，并获取每个摄像头同时刻拍摄的包括脸部图像的检测帧图片；

分别提取出同时刻产生的每幅检测帧图片中的脸部图像，实现对脸部区域的预定位；

基于ElSe算法识别出脸部图像中的瞳孔边缘信息，所述瞳孔边缘信息包括多个瞳孔特征点坐标；

根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的半径结果。

2.根据权利要求1所述的方法，其特征在于，构建双摄像头的瞳孔检测环境，并获取每个摄像头同时刻拍摄的包括脸部图像检测帧图片的方法包括:

所述双摄像头分别为第一深度摄像头和第二深度摄像头，且第一深度摄像头和第二深度摄像头安装于同一高度；

分别构建以每个摄像头中心点为原点的虚拟笛卡尔坐标系，获取每幅检测帧图片中瞳孔特征点在对应虚拟笛卡尔坐标系上的坐标表示。

3.根据权利要求2所述的方法，其特征在于，分别提取出同时刻产生的每幅检测帧图片中的脸部图像，实现对脸部区域的预定位的方法包括：

使用Haar算子对检测帧图片进行步长为1的滑动计算，遍历检测帧图片后得到多个特征值；

分别将各特征值归一化处理后，得到与各特征值一一对应的归一化特征值；

基于多个归一化特征值组建特征向量，将特征向量输入通过OpenCV预训练的AdaBoost级联分类器进行分类，实现对脸部区域图像的预定位。

4.根据权利要求3所述的方法，其特征在于，在实现对脸部区域的预定位之后还包括：

采用灰度投影法识别脸部图像中两眼瞳孔的位置。

5.根据权利要求4所述的方法，其特征在于，采用灰度投影法识别脸部图像中两眼瞳孔的位置的方法包括：

通过对脸部图像中高度范围内像素点的像素灰度进行水平方向的积分，基于积分值从中识别人眼瞳孔所处高度位置的像素点；

根据人眼瞳孔所处高度位置，对所处高度像素点的像素灰度进行垂直方向的灰度积分，基于积分值从中识别人眼瞳孔所处水平位置的像素点；

基于所述人眼瞳孔所处高度位置的像素点及所处水平位置的像素点，实现对两眼瞳孔的位置定位。

6.根据权利要求5所述的方法，其特征在于，基于ElSe算法识别出脸部图像中瞳孔边缘信息的方法包括：

利用ElSe算法识别部脸部图像中两眼瞳孔位置周边范围的像素，获取瞳孔中心点坐标、上下眼部曲率极小值点与瞳孔中心连线交点坐标、上下眼部曲率极小值点与瞳孔边缘交点坐标、眼部曲率极大值点与瞳孔中心连线交点坐标以及眼部曲率极大值点与瞳孔边缘交点坐标。

7.根据权利要求6所述的方法，其特征在于，根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的半径结果的方法包括：

在当前时刻产生的两幅脸部图像中的两眼瞳孔成像清楚且未被遮挡时，获取左眼瞳孔分别在同时刻产生的两幅脸部图像中的瞳孔中心点坐标，以及右眼瞳孔分别在同时刻产生的两幅脸部图像中的瞳孔中心点坐标；

根据第一深度摄像头与第二深度摄像头的中心点连线距离、第一深度摄像头的焦距、第二深度摄像头的焦距、左眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标、右眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标，计算左眼瞳孔分别在两幅脸部图像中的深度距离，以及计算右眼瞳孔分别在两幅脸部图像中的深度距离；

利用两眼瞳孔计算公式，计算左眼瞳孔分别在两幅脸部图像中的半径，以及计算右眼瞳孔分别在两幅脸部图像中的半径；

对左眼瞳孔分别在两幅脸部图像中的半径求均值得到左眼瞳孔半径，以及对右眼瞳孔分别在两幅脸部图像中的半径求均值得到右眼瞳孔半径。

8.根据权利要求7所述的方法，其特征在于，根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的半径结果的方法还包括：

在当前时刻产生的任一幅脸部图像中的两眼瞳孔成像不清楚或被遮挡时，获取左眼瞳孔分别在同时刻产生成像清楚脸部图像中的瞳孔中心点坐标，以及右眼瞳孔分别在同时刻产生成像清楚脸部图像中的瞳孔中心点坐标；

获取距当前时刻最近的由第一深度摄像头及第二深度摄像头分别产生的n帧脸部图像，并基于第一深度摄像头和第二深度摄像头对应的每帧图像中左眼瞳孔的深度距离值和右眼瞳孔的深度距离值，拟合出当前时刻产生的脸部图像中左眼瞳孔深度距离值和右眼瞳孔深度距离值；

根据第一深度摄像头与第二深度摄像头的中心点连线距离、第一深度摄像头的焦距、第二深度摄像头的焦距、左眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标、右眼瞳孔分别在两幅脸部图像中的瞳孔中心点坐标、左眼瞳孔深度距离值和右眼瞳孔深度距离值，利用两眼瞳孔计算公式计算左眼瞳孔分别在两幅脸部图像中的半径，以及计算右眼瞳孔分别在两幅脸部图像中的半径；

对左眼瞳孔分别在两幅脸部图像中的半径求均值，以及对右眼瞳孔分别在两幅脸部图像中的半径求均值，通过加权计算得到左眼瞳孔半径和右眼瞳孔半径。

9.一种基于双摄像头的瞳孔检测装置，其特征在于，包括：

环境布置单元，用于构建双摄像头的瞳孔检测环境，并获取每个摄像头同时刻拍摄的包括脸部图像的检测帧图片；

脸部定位单元，用于分别提取出同时刻产生的每幅检测帧图片中的脸部图像，实现对脸部区域的预定位；

瞳孔检测单元，用于基于ElSe算法识别出脸部图像中的瞳孔边缘信息，所述瞳孔边缘信息包括多个瞳孔特征点坐标；

计算输出单元，用于根据每幅脸部图像中两眼的瞳孔特征点坐标，通过均值计算后输出每个瞳孔的半径结果。

10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至8任一项所述方法的步骤。

Images