CN102831392B - 一种远距离虹膜跟踪与采集装置及其方法 - Google Patents

Abstract

一种远距离虹膜跟踪与采集装置及其方法，它涉及一种虹膜跟踪与采集装置及其方法，具体涉及一种远距离虹膜跟踪与采集装置及其方法。本发明为了解决现有虹膜采集装置不能远距离采集信息，采集过程中需要目标主动配合采集，且很容易被多个目标干扰，识别算法精度较低的问题。本发明的双目摄像头的信号输出端与计算机的人脸信息采集信号输入端连接，长焦摄像机的信号输出端与计算机的变倍变焦后人脸信息的信号输入端连接，二自由度旋转云台的运动信号输入端与计算机的云台运动信号输出端连接，红外光源安装在长焦摄像机上，长焦摄像机安装在二自由度旋转云台上。本发明用于进行远距离虹膜跟踪与采集。

Description

一种远距离虹膜跟踪与采集装置及其方法

技术领域

本发明涉及一种虹膜跟踪与采集装置及其方法，具体涉及一种远距离虹膜跟踪与采集装置及其方法。

背景技术

虹膜识别技术是人体生物识别技术的一种。人眼睛的外观图有巩膜、虹膜、瞳孔三部分构成。巩膜即眼球外围的白色部分，约占总面积的30％；眼睛中心为瞳孔部分，约占5％；虹膜位于巩膜和瞳孔之间，包含了最丰富的纹理信息，占据65％。虹膜的形成由遗传基因决定，人体基因表达决定了虹膜的形态、生理、颜色和整体外观。人发育到八个月左右，虹膜就基本上发育到了足够尺寸，进入了相对稳定的时期。除非极少见的反常状况、身体或精神上大的创伤才可能造成虹膜外观上的改变外，虹膜形貌可以保持数十年没有多少变化。另一方面，虹膜是外部可见的，但同时又属于内部组织，位于角膜后面。要改变虹膜外观，需要非常精细的外科手术，而且要冒着视力损伤的危险。虹膜的高度独特性、稳定性及不可更改的特点，是虹膜可用作身份鉴别的物质基础。

在包括指纹在内的所有生物识别技术中，虹膜识别是当前应用最为方便和精确的一种。虹膜识别技术被广泛认为是二十一世纪最具有发展前途的生物认证技术，未来的安防、国防、电子商务等多种领域的应用，也必然的会以虹膜识别技术为重点。这种趋势，现在已经在全球各地的各种应用中逐渐开始显现出来，市场应用前景非常广阔。现有虹膜采集装置不能对远距离的人脸进行检测，采集过程中不能对人脸进行动态跟踪，需要目标人物主动配合采集，如果采集过程中镜头前出现多个目标任务，采集过程将被中断导致无法采集识别，且虹膜识别算法精度较低。

发明内容

本发明为解决现有虹膜采集装置不能远距离采集信息，采集过程中需要目标主动配合采集，且很容易被多个目标干扰，识别算法精度较低的问题，进而提出一种远距离虹膜跟踪与采集装置及其方法。

本发明为解决上述问题采取的技术方案是：本发明包括双目摄像头、长焦摄像机、二自由度旋转云台、红外光源和计算机，双目摄像头的信号输出端与计算机的人脸信息采集信号输入端连接，长焦摄像机的信号输出端与计算机的变倍变焦后人脸信息的信号输入端连接，二自由度旋转云台的运动信号输入端与计算机的云台运动信号输出端连接，红外光源安装在长焦摄像机上，长焦摄像机安装在二自由度旋转云台上。

本发明所述方法的具体步骤如下：

步骤一、双目摄像头进行人脸三维定位：双目摄像头检测到人脸，并且通过解算获得人脸位置的三维坐标，具体步骤如下：

步骤一(一)、预设置处理信息：设定采集图片大小为512×384，设定ROI为100％，将采集图片进行归一化，设定大小为512×384，预置视差取值范围为(0,150)；

步骤一(二)、双目摄像头采集图片；通过双目摄像头对人脸进行图片采集，获得人脸的采集图片；

步骤一(三)、立体处理：获得校正图片和深度图片；

步骤一(四)、图片处理：将步骤一(三)中获得的校正图片格式转换为OpenCV识别图片格式，将灰度图进行直方图均值化处理，再将图片进行实时对比度调节，最后再将图片进行直方图均值化；

步骤一(五)、Adaboost算法检测人脸：如果检测到人脸执行步骤一(六)，如果没有检测到人脸返回执行步骤一(二)；

步骤一(六)、获取人脸在图片中的位置，选择计算深度备用点，并按加权的方式得到深度信息；

步骤一(七)、获取人脸的三维坐标：结合深度信息和坐标位置计算得到三维坐标系中人脸的实际位置；

步骤一(八)、发送坐标：将步骤一(七)中获得的人脸三维坐标数据传送至计算机，并重新执行步骤一(二)继续采集图片；

步骤二、进入人脸跟踪队列，设置主要跟踪人脸；

步骤三、云台跟踪人脸：通过双目摄像头获得的三维坐标，控制二自由度旋转云台转动，使长焦摄像机对准人脸，并且跟踪人脸，使得人脸图像始终处在视频的中间；

步骤四、长焦摄像机对人脸图像进行变倍和聚焦：利用长焦摄像机对人脸图像进行变焦和聚焦；

步骤五、判断人脸图像面积是否大于阈值：若人脸图像面积大于设定的阈值则执行步骤六，否者执行步骤四；

步骤六、长焦摄像机检测人眼，云台跟踪人眼：长焦摄像机检测人眼，二自由度旋转云台跟踪人眼，二自由度旋转云台带动长焦摄像机跟踪人眼进行检测；

二自由度旋转云台跟踪人眼的具体步骤如下：

步骤六(一)、设置二自由度旋转云台水平方向运动的步长stepx为5°，竖直方向运动的步长stepy为2.5°；

步骤六(二)、长焦摄像机检测人眼，计算其中心的像素坐标：根据长焦摄像机采集到的视频序列，在OpenCV的开源环境下，采用Harr-Like特征和Boosting训练出来的人眼分类器进行检测选出人眼的有效区域，计算出人眼区域的中心像素坐标，二自由度旋转云台水平和竖直两个方向的并行处理过程为：

水平跟踪过程：

A)、若检测到的人眼中心的x坐标与视频图像的中心x坐标差值的绝对值小于50个像素，则认为人眼处在视频的中心位置，二自由度旋转云台水平方向停止运动，否则执行步骤B)；

B)、若检测到人眼的中心的x坐标与视频图像的中心x坐标差值大于50个像素，则控制二自由度旋转云台在水平方向向左转动stepx；若检测到人眼的中心的x坐标与视频图像的中心x坐标差值小于-50个像素，则控制云台在水平方向向右转动stepx；

C)、比较当前帧和上一帧的人眼中心的x坐标是不是在视频图像中心的两侧，若是，则采用公式stepx＝-stepx/2重新计算stepx的值，否则继续判断人眼是否处在视频图像的中间位置；

竖直跟踪过程：

a)、若检测到的人眼的中心的y坐标与视频图像的中心y坐标差值的绝对值小于50个像素，则认为人眼处在视频的中心位置，云台竖直方向停止运动，否则执行步骤b)；

b)、若检测到的人眼的中心的y坐标与视频图像的中心y坐标差值大于50个像素，则控制云台在竖直方向向下转动stepy；若检测到的人眼的中心的y坐标与视频图像的中心y坐标差值小于-50像素，则控制云台在竖直方向向上转动stepy；

c)、比较当前帧和上一帧的人眼中心的y坐标是不是在视频图像中心的两侧，若是，则采用下面的公式重新计算stepy的值：stepy＝-stepy/2。否则继续判断人眼是否处在视频图像的中间位置；

步骤七、长焦摄像机对人眼图像进行变倍和聚焦；

步骤八、判断人眼图像面积是否大于阈值或长焦摄像机是否变倍至最大：若人眼图像面积大于所设定的阈值或者长焦摄像机变倍至最大，则执行步骤九，否则执行步骤七；

步骤九、判断人眼图像是否清晰：通过Sobel边缘检测理论检测采集到的人眼图像的清晰程度，若清晰，则执行步骤十，否则执行步骤七；通过Sobel边缘检测理论检测采集到的人眼图像的清晰程度的具体步骤如下：

步骤九(一)、对采集到的人眼图像进行高斯滤波；

步骤九(二)、计算图像的清晰度：根据Sobel边缘检测理论和八方向的算子模板获得图像的清晰度评价函数，八方向算子模板为：

步骤九(二)(一)、对图像的每一个像素点进行邻域卷积计算，提取像素的八个方向的边缘信息：

H₁＝I(x,y)*S₁，H₂＝I(x,y)*S₂，H₃＝I(x,y)*S₃，H₄＝I(x,y)*S₄

H₅＝I(x,y)*S₅，H₆＝I(x,y)*S₆，H₇＝I(x,y)*S₇，H₈＝I(x,y)*S₈

I(x,y)为图像灰度，*表示卷积运算，H₁表示0°边缘方向的信息，H₂表示45°边缘方向的信息，H₃表示90°边缘方向的信息，H₄表示135°边缘方向的信息，H₅表示180°边缘方向的信息，H₆表示225°边缘方向的信息，H₇表示270°边缘方向的信息，H₈表示315°边缘方向的信息，S₁表示0°边缘方向算子模板矩阵核，S₂表示45°边缘方向算子模板矩阵核，S₃表示90°边缘方向算子模板矩阵核，S₄表示135°边缘方向算子模板矩阵核，S₅表示180°边缘方向算子模板矩阵核，S₆表示225°边缘方向算子模板矩阵核，S₇表示270°边缘方向算子模板矩阵核，S₈表示315°边缘方向算子模板矩阵核；

步骤九(二)(二)、计算图像中每个像素点的梯度值H(x,y)：

$H(x,y)=\sqrt{{H_1}^2+{H_2}^2+{H_3}^2+{H_4}^2+{H_5}^2+{H_6}^2+{H_7}^2+{H_8}^2}$

步骤九(二)(三)、计算每梯度值的平均值μ_H以及方差σ_H：

若μ_H+σ_H≤H(x,y)≤μ_H+2σ_H，则认为该点是边缘点，将图像边缘像素的梯度值相加，以边缘梯度能量定义图像的清晰度评价算子E，即：

$E=\sqrt{\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\left(H(x,y)\right)}^2}$

式中M表示图片水平方向长度，N表示图片竖直方向长度；

步骤十、利用采集到的人眼图像进行虹膜识别。

本发明的有益效果是：本发明对人脸检测的距离远，能够达到5米，通过双目摄像头可以获得人脸的三维坐标，根据三维坐标，云台带动长焦摄像机对准人脸，然后通过长焦摄像机返回的图像进行人脸识别，与云台构成闭环系统，调整云台的角度，使得长焦摄像机跟踪人脸，在这一过程中，调整长焦摄像机的焦距，获得足够清晰和大小的人脸图像；本发明系统在采集的过程中不需要目标人的主动配合，不会干扰目标人的正常行为；本发明在采集人脸图像的过程中，能够实现对人脸的动态跟踪，当目标移动时，系统能动态跟踪人脸，长焦摄像机能始终对准人脸，并且是人脸图像处在视频的中心位置，本发明系统的动态跟踪范围能够达到320°；在跟踪人脸过程中，如果出现多个人脸，本发明可自动设置人脸跟踪的优先级，排出非主要人脸的干扰，做到始终跟踪主要人脸，如此可以对进入视野的多个目标逐一进行跟踪；本发明能够实现虹膜的并行采集，将多个云台组成网络，将双目摄像机采集到的人脸三维坐标分别传给网络中的云台，由云台带动长焦摄像机采集不同的人的虹膜图像；本发明虹膜识别算法精度高。

附图说明

图1是本发明的整体结构示意图，图2是本发明跟踪与采集方法的流程图，图3是双目摄像头立体定位的流程图，图4是立体处理环节流程图，图5是人脸识别自动检测流程图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式所述一种远距离虹膜跟踪与采集装置包括双目摄像头1、长焦摄像机2、二自由度旋转云台3、红外光源4和计算机5，双目摄像头1的信号输出端与计算机5的人脸信息采集信号输入端连接，长焦摄像机2的信号输出端与计算机5的变倍变焦后人脸信息的信号输入端连接，二自由度旋转云台3的运动信号输入端与计算机5的云台运动信号输出端连接，红外光源4安装在长焦摄像机2上，长焦摄像机2安装在二自由度旋转云台3上。

本实施方式中双目摄像头1是由加拿大Point Grey Research公司生产的Bumblebee2Camera，IEEE1394PCI主机适配器；长焦摄像机2是由陕西维视数字图像技术有限公司生产的MV-VS078FM-L型号的长焦摄像机，该摄像机能够应用软件编程的方法实现镜头的变倍和聚焦，相机的变倍参数Zoom的取值范围是[0，15]，聚焦参数Focus的变化范围是[0,379]；二自由度旋转云台3是陕西维视数字图像处理有限公司生产的MV-5959高速高精度机器视觉云台；

具体实施方式二：结合图2和图3说明本实施方式，本实施方式所述一种远距离虹膜跟踪与采集方法的具体步骤如下：

步骤一、双目摄像头1进行人脸三维定位：双目摄像头1检测到人脸，并且通过解算获得人脸位置的三维坐标，具体步骤如下：

步骤一(一)、预设置处理信息：设定采集图片大小为512×384，设定ROI为100％，将采集图片进行归一化，设定大小为512×384，预置视差取值范围为(0,150)；

步骤一(二)、双目摄像头1采集图片；通过双目摄像头1对人脸进行图片采集，获得人脸的采集图片；

步骤一(三)、立体处理：获得校正图片和深度图片；

步骤一(四)、图片处理：将步骤一(三)中获得的校正图片格式转换为OpenCV识别图片格式，将灰度图进行直方图均值化处理，再将图片进行实时对比度调节，最后再将图片进行直方图均值化；

步骤一(五)、Adaboost算法检测人脸：如果检测到人脸执行步骤一(六)，如果没有检测到人脸返回执行步骤一(二)；

步骤一(六)、获取人脸在图片中的位置，选择计算深度备用点，并按加权的方式得到深度信息；

步骤一(七)、获取人脸的三维坐标：结合深度信息和坐标位置计算得到三维坐标系中人脸的实际位置；

步骤一(八)、发送坐标：将步骤一(七)中获得的人脸三维坐标数据传送至计算机，并重新执行步骤一(二)继续采集图片；

步骤二、进入人脸跟踪队列，设置主要跟踪人脸；

步骤三、云台跟踪人脸：通过双目摄像头1获得的三维坐标，控制二自由度旋转云台3转动，使长焦摄像机2对准人脸，并且跟踪人脸，使得人脸图像始终处在视频的中间；

步骤四、长焦摄像机2对人脸图像进行变倍和聚焦：利用长焦摄像机2对人脸图像进行变焦和聚焦；

步骤五、判断人脸图像面积是否大于阈值：若人脸图像面积大于设定的阈值则执行步骤六，否者执行步骤四；

步骤六、长焦摄像机2检测人眼，云台跟踪人眼：长焦摄像机2检测人眼，二自由度旋转云台3跟踪人眼，二自由度旋转云台3带动长焦摄像机2跟踪人眼进行检测；

二自由度旋转云台3跟踪人眼的具体步骤如下：

步骤六(一)、设置二自由度旋转云台水平方向运动的步长stepx为5°，竖直方向运动的步长stepy为2.5°；

步骤六(二)、长焦摄像机2检测人眼，计算其中心的像素坐标：根据长焦摄像机2采集到的视频序列，在OpenCV的开源环境下，采用Harr-Like特征和Boosting训练出来的人眼分类器进行检测选出人眼的有效区域，计算出人眼区域的中心像素坐标，二自由度旋转云台3水平和竖直两个方向的并行处理过程为：

水平跟踪过程：

A)、若检测到的人眼中心的x坐标与视频图像的中心x坐标差值的绝对值小于50个像素，则认为人眼处在视频的中心位置，二自由度旋转云台3水平方向停止运动，否则执行步骤B)；

B)、若检测到人眼的中心的x坐标与视频图像的中心x坐标差值大于50个像素，则控制二自由度旋转云台3在水平方向向左转动stepx；若检测到人眼的中心的x坐标与视频图像的中心x坐标差值小于-50个像素，则控制云台在水平方向向右转动stepx；

C)、比较当前帧和上一帧的人眼中心的x坐标是不是在视频图像中心的两侧，若是，则采用公式stepx＝-stepx/2重新计算stepx的值，否则继续判断人眼是否处在视频图像的中间位置；

竖直跟踪过程：

a)、若检测到的人眼的中心的y坐标与视频图像的中心y坐标差值的绝对值小于50个像素，则认为人眼处在视频的中心位置，云台竖直方向停止运动，否则执行步骤b)；

b)、若检测到的人眼的中心的y坐标与视频图像的中心y坐标差值大于50个像素，则控制云台在竖直方向向下转动stepy；若检测到的人眼的中心的x坐标与视频图像的中心y坐标差值小于-50像素，则控制云台在竖直方向向上转动stepy；

c)、比较当前帧和上一帧的人眼中心的y坐标是不是在视频图像中心的两侧，若是，则采用下面的公式重新计算stepy的值：stepy＝-stepy/2。否则继续判断人眼是否处在视频图像的中间位置；

步骤七、长焦摄像机2对人眼图像进行变倍和聚焦；

步骤八、判断人眼图像面积是否大于阈值或长焦摄像机2是否变倍至最大：若人眼图像面积大于所设定的阈值或者长焦摄像机2变倍至最大，则执行步骤九，否则执行步骤七；

步骤九、判断人眼图像是否清晰：通过Sobel边缘检测理论检测采集到的人眼图像的清晰程度，若清晰，则执行步骤十，否则执行步骤七；通过Sobel边缘检测理论检测采集到的人眼图像的清晰程度的具体步骤如下：

步骤九(一)、对采集到的人眼图像进行高斯滤波；

步骤九(二)、计算图像的清晰度：根据Sobel边缘检测理论和八方向的算子模板获得图像的清晰度评价函数，八方向算子模板为：

步骤九(二)(一)、对图像的每一个像素点进行邻域卷积计算，提取像素的八个方向的边缘信息：

H₁＝I(x,y)*S₁，H₂＝I(x,y)*S₂，H₃＝I(x,y)*S₃，H₄＝I(x,y)*S₄

H₅＝I(x,y)*S₅，H₆＝I(x,y)*S₆，H₇＝I(x,y)*S₇，H₈＝I(x,y)*S₈

I(x,y)为图像灰度，*表示卷积运算，H₁表示0°边缘方向的信息，H₂表示45°边缘方向的信息，H₃表示90°边缘方向的信息，H₄表示135°边缘方向的信息，H₅表示180°边缘方向的信息，H₆表示225°边缘方向的信息，H₇表示270°边缘方向的信息，H₈表示315°边缘方向的信息，S₁表示0°边缘方向算子模板矩阵核，S₂表示45°边缘方向算子模板矩阵核，S₃表示90°边缘方向算子模板矩阵核，S₄表示135°边缘方向算子模板矩阵核，S₅表示180°边缘方向算子模板矩阵核，S₆表示225°边缘方向算子模板矩阵核，S₇表示270°边缘方向算子模板矩阵核，S₈表示315°边缘方向算子模板矩阵核；

步骤九(二)(二)、计算图像中每个像素点的梯度值H(x,y)：

$H(x,y)=\sqrt{{H_1}^2+{H_2}^2+{H_3}^2+{H_4}^2+{H_5}^2+{H_6}^2+{H_7}^2+{H_8}^2}$

步骤九(二)(三)、计算每梯度值的平均值μ_H以及方差σ_H：

若μ_H+σ_H≤H(x,y)≤μ_H+2σ_H，则认为该点是边缘点，将图像边缘像素的梯度值相加，以边缘梯度能量定义图像的清晰度评价算子E，即：

$E=\sqrt{\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\left(H(x,y)\right)}^2}$

式中M表示图片水平方向长度，N表示图片竖直方向长度；

步骤十、利用采集到的人眼图像进行虹膜识别。

本实施方式的步骤一(六)中：以左上和右下为端点选定矩形区域，将矩形区域平均分割为25个部分，选择矩形区域内的16个交叉点作为人脸的备用特征点进行计算深度信息，然后根据距离举行中心的远近进行加权计算得到人脸的坐标，如图红点为中心点，其余16个黑点为选择的备用特征点，如果备用特征点是真实的特征点能够计算深度信息则进行加权计算，否则舍去。

深度计算方式：

其中Depth1为图中标记为1点的深度，Depth2为图中标记为2点的深度，

sumAva是可计算的备用特征点的深度，numAva是可计算的备用特征点的数量。

具体实施方式三：结合图4说明本实施方式，本实施方式所述一种远距离虹膜跟踪与采集方法的步骤一(三)立体处理的具体步骤如下：

Ⅰ、预处理：对采集图片进行滤波处理；

Ⅱ、校正图片；

Ⅲ、图片立体匹配：将经过预处理的采集图片用立体匹配方法对采集图片进行处理从而获得深度信息，匹配的计算方法如下：

$\underset{d_{\min }}{\overset{d_{\max }}{\min }}\underset{i=-\frac{m}{2}}{\overset{\frac{m}{2}}{\mathrm{\Σ}}}\underset{j=-\frac{m}{2}}{\overset{\frac{m}{2}}{\mathrm{\Σ}}}\left|I_{\mathrm{right}}\right[x+i\left]\right[y+j]-I_{\mathrm{left}}[x+i+d\left]\right[y+j\left]\right|$

其中d_min和d_max是视差的最小值和最大值，I_left是双目摄像头1左摄像头获得的图像和I_right是双目摄像头1右摄像头获得的图像，m表示匹配搜索窗口的边长；

Ⅳ、设定开启亚像素精度；

Ⅴ、对图片进行平面校验、唯一性校验、纹理校验：

平面校验是利用滤波的方法除去视差图像的噪声，将图像分割成连续的视差平面，区域的像素数目小于给定阈值视差，则图像被视为无效；

唯一性校验是决定一些图像特征点在匹配中是否有效，如果特征点在建立联系不强，则被视为无效；

纹理校验是根据模板中的纹理水平决定视差值是否有效，如果提供的纹理不能产生正确的匹配，则像素被视为无效；

步骤Ⅵ、获得深度图片。

其它组成及连接关系与具体实施方式二相同。

具体实施方式四：结合图2说明本实施方式，本实施方式所述一种远距离虹膜跟踪与采集方法的步骤一(四)中实时对比调节方法具体步骤如下：

①、原始采集图像各点像素值为P_src，由于本设备中间部分处理的是灰度图像所以由归一化公式：

P_src'＝P_src/(2⁸-1)

得到归一化后的值P_src'；

②、将P_src'经调节对比度函数：

${P_{\mathrm{dst}}}^{\&prime;}=\left\{\begin{array}{cc}{\left(\frac{{P_{\mathrm{src}}}^{\&prime;}}{X_{\mathrm{turn}}}\right)}^{{\mathrm{\&gamma;}}_1}\&times;X_{\mathrm{turn}}& 0\&le;{P_{\mathrm{src}}}^{\&prime;}<X_{\mathrm{turn}}\\ {\left(\frac{{P_{\mathrm{src}}}^{\&prime;}-X_{\mathrm{turn}}}{1-X_{\mathrm{turn}}}\right)}^{{\mathrm{\&gamma;}}_2}\&times;(1-X_{\mathrm{turn}})+X_{\mathrm{turn}}& X_{\mathrm{turn}}\&le;{P_{\mathrm{src}}}^{\&prime;}<1\end{array}\right.$

变换后得到变换后目标图像归一化后的值P_dst'。

其中：X_turn是按图像需求可调的曲线转折点，γ₁和γ₂分别可调节前段和后段的曲线曲率，并且0<γ₁,γ₂<8，γ₁和γ₂的具体取值与X_turn有关；

③、将P_dst'进行反归一化处理：

P_dst＝P_dst'×(2⁸-1)

得到目标图像各点像素值P_dst，从而得到对比度变强后的图片。

其它组成及连接关系与具体实施方式二相同。

具体实施方式五：结合图5说明本实施方式，本实施方式所述一种远距离虹膜跟踪与采集方法的步骤一(五)中Adaboost算法的具体步骤如下：

步骤A、图像输入：将分类器下载到计算机中，将获得的深度图片输入计算机中；

步骤B、计算Harr-Like特征：载入图片并计算载入图片的Haar-Like特征；

步骤C、计算机自动检测：通过Cascade算法完成计算机自动检测；

步骤D、获得人脸坐标：通过计算和处理得到人脸的左上和右下点的坐标；

步骤E、矩形框圈出人脸：用矩形框圈出人脸，并显示圈出人脸的图片。

其它组成及连接关系与具体实施方式二相同。

具体实施方式六：本实施方式所述一种远距离虹膜跟踪与采集方法的步骤二中建立人脸跟踪队列的具体步骤如下：

步骤二(一)、二自由度旋转云台3运动至人脸三维坐标指定的位置：将双目摄像头1获得的人脸三维坐标转化为二自由度旋转云台3的水平方向和竖直方向的旋转角度，控制二自由度旋转云台3运动到指定的位置；

步骤二(二)、长焦摄像机2检测人脸：根据长焦摄像机2获得的视频序列，在OpenCV的开源环境下，采用Harr-Like特征和Boosting训练出来的人脸分类器进行检测，选出人脸的有效区域；

步骤二(三)、判断长焦摄像机是否是首次进入人脸检测过程，若是，则将检测到的人脸存入跟踪队列，并将队首元素设置为跟踪和虹膜识别的目标，否则，执行步骤二(四)；

步骤二(四)、计算当前帧检测到的所有人脸与跟踪目标匹配程度：采用基于图像Hu矩的模板匹配算法计算每一帧中检测到的人脸与跟踪目标匹配程度，图像Hu矩的模板匹配算法的具体步骤为：

步骤二(四)(一)、计算图像的中心距：图像代数局的定义式为：

$m_{\mathrm{pq}}=\underset{x=x1}{\overset{x2}{\mathrm{\&Sigma;}}}\underset{y=y1}{\overset{y2}{\mathrm{\&Sigma;}}}{x}^p{y}^{q}f(x,y)$

其中，(x1,y1)是图像中目标区域的左上角的像素坐标，(x2,y2)是图像中目标区域的右下角的像素坐标，f(x,y)是(x,y)像素点处的灰度值，

图像中心距的定义式为：

${\mathrm{\&mu;}}_{\mathrm{pq}}=\underset{x=x1}{\overset{x2}{\mathrm{\&Sigma;}}}\underset{y=y1}{\overset{y2}{\mathrm{\&Sigma;}}}{(x-x_{\mathrm{avg}})}^p{(y-y_{\mathrm{avg}})}^{q}f(x,y)$

其中， $x_{\mathrm{avg}}=\frac{m_{10}}{m_{00}},y_{\mathrm{avg}}=\frac{m_{01}}{m_{00}};$

Hu矩的计算公式为：

μ₀₀＝m₀₀

μ₁₀＝m₁₀-x₀m₀₀＝0

μ₀₁＝m₀₁-y₀m₀₀＝0

μ₁₁＝m₁₁-x₀m₀₁-y₀m₁₀+x₀y₀m₀₀

μ₂₀＝m₂₀-2x₀m₁₀+x₀ ²m₀₀

μ₀₂＝m₀₂-2y₀m₁₀+y₀ ²m₀₀

μ₃₀＝m₃₀-2x₀m₂₀+3x₀ ²m₁₀-x₀ ³m₀₀

μ₂₁＝m₂₁-y₀m₂₀-2x₀m₁₁+2x₀y₀m₁₀+x₀ ²m₀₁-x₀ ²y₀m₀₀

μ₁₂＝m₁₂-x₀m₀₂-2y₀m₁₁+2x₀y₀m₀₁+y₀ ²m₀₁-x₀y₀ ²m₀₀

μ₀₃＝m₀₃-2y₀m₀₂+2y₀ ²m₀₁-y₀ ³m₀₀

步骤二(四)(二)、模板匹配函数的计算：

对于给定的图像和模板，其像素灰度值分别用f(x,y)和t(x,y)表示，利用之前的Hu矩的计算公式得到模板的特征向量为：

$U_t=({\mathrm{\&mu;}}_{00}^t,{\mathrm{\&mu;}}_{20}^t,{\mathrm{\&mu;}}_{11}^t,{\mathrm{\&mu;}}_{02}^t,{\mathrm{\&mu;}}_{30}^t,{\mathrm{\&mu;}}_{21}^t,{\mathrm{\&mu;}}_{12}^t,{\mathrm{\&mu;}}_{03}^t)$

同样可以计算出图像中的目标区域的特征向量为：

$U_f=({\mathrm{\&mu;}}_{00}^f,{\mathrm{\&mu;}}_{20}^f,{\mathrm{\&mu;}}_{11}^f,{\mathrm{\&mu;}}_{02}^f,{\mathrm{\&mu;}}_{30}^f,{\mathrm{\&mu;}}_{21}^f,{\mathrm{\&mu;}}_{12}^f,{\mathrm{\&mu;}}_{03}^f)$

在该系统中，模板匹配程度函数如下：

$h=\frac{U_f\&CenterDot;U_t}{\left|\right|U_f\left|\right|\&CenterDot;\left|\right|U_t\left|\right|}=\frac{{\mathrm{\&Sigma;}}_{p,q}{\mathrm{\&mu;}}_{\mathrm{pq}}^f{\mathrm{\&mu;}}_{\mathrm{pq}}^t}{\sqrt{{\mathrm{\&Sigma;}}_{p,q}{\left({\mathrm{\&mu;}}_{\mathrm{pq}}^f\right)}^2}\&CenterDot;\sqrt{{\mathrm{\&Sigma;}}_{p,q}{\left({\mathrm{\&mu;}}_{\mathrm{pq}}^t\right)}^2}}$

由以上模板匹配的计算公式可以知道，当h＝1时，匹配的最好，当h＝0时，匹配程度最差；

步骤二(五)、设置人脸匹配程度的阈值，若检测到的人脸匹配程度小于该阈值，则忽略该人脸，否则执行步骤二(六)；

步骤二(六)、找到匹配程度最高的人脸作为跟踪目标：在当前帧所检测到的人脸图像中，找到与目标人脸匹配程度最高的人脸，将它作为当前帧所要跟踪的目标人脸；

步骤二(七)、完成跟踪和虹膜识别后，删除队首元素；

步骤二(八)、跟踪下一目标，并进行虹膜识别。

其它组成及连接关系与具体实施方式二相同。

具体实施方式七：本实施方式所述一种远距离虹膜跟踪与采集方法的步骤三中二自由度旋转云台3跟踪人脸是使用基于开放软件OpenCV，采用Harr-like特征和Boosting训练出来的人脸分类器进行检测选出人脸的有效区域，计算出人脸区域的中心，然后根据反馈的图像序列控制云台的运动，具体步骤如下：

步骤七(一)、二子自由度旋转云台3根据双目摄像头1获得的三维坐标运动至指定位置：将双目摄像头1获得的人脸三维坐标转化为二自由度旋转云台3的水平方向和竖直方向的旋转角度，控制二自由度旋转云台3运动到指定位置；

步骤七(二)、设置二自由度旋转云台3水平方向运动的步长stepx为10°，竖直方向运动的步长为stepy为5°；

步骤七(三)、长焦摄像机2检测到人脸，计算其中心的像素坐标：根据长焦摄像机2采集到的视频序列，在OpenCV的开源环境下，采用Harr-like特征和Boosting训练出来的人脸分类器进行检测选出人脸的有效区域，计算出人脸区域的中心像素坐标，下面是二自由度旋转云台3水平和竖直两个方向的并行处理过程：

水平跟踪过程：

若检测到的人脸的中心的x坐标与视频图像的中心x坐标差值的绝对值小于50个像素，则认为人脸处在视频的中心位置，二自由度旋转云台3水平方向停止运动，否则，转入下步执行；

若检测到的人脸的中心的x坐标与视频图像的中心x坐标差值大于50个像素，则控制二自由度旋转云台3在水平方向向左转动stepx，若检测到的人脸的中心的x坐标与视频图像的中心x坐标差值小于-50个像素，则控制二自由端旋转云台3在水平方向向右转动step；

比较当前帧和上一帧的人脸中心的x坐标是不是在视频图像中心的两侧，若是，则采用公式stepx＝-stepx/2重新计算stepx的值，否则，继续判断人脸是否处在视频图像的中间位置；

竖直跟踪过程：

若检测到的人脸的中心的x坐标与视频图像的中心x坐标差值的绝对值小于50个像素，则认为人脸处在视频的中心位置，二自由度旋转云台3水平方向停止运动；否则，转入下步执行；

若检测到的人脸的中心的x坐标与视频图像的中心x坐标差值大于50个像素，则控制二自由端旋转云台3在水平方向向左转动stepx；若检测到的人脸的中心的x坐标与视频图像的中心x坐标差值小于-50个像素，则控制二自由度旋转云台3在水平方向向右转动stepy。

比较当前帧和上一帧的人脸中心的x坐标是不是在视频图像中心的两侧，若是，则采用公式stepx＝-stepx/2重新计算stepx的值，否则，继续判断人脸是否处在视频图像的中间位置。

Claims (4)

1.一种远距离虹膜跟踪与采集方法，其所采用的远距离虹膜跟踪与采集包括双目摄像头(1)、长焦摄像机(2)、二自由度旋转云台(3)、红外光源(4)和计算机(5)，双目摄像头(1)的信号输出端与计算机(5)的人脸信息采集信号输入端连接，长焦摄像机(2)的信号输出端与计算机(5)的变倍变焦后人脸信息的信号输入端连接，二自由度旋转云台(3)的运动信号输入端与计算机(5)的云台运动信号输出端连接，红外光源(4)安装在长焦摄像机(2)上，长焦摄像机(2)安装在二自由度旋转云台(3)上，其特征在于：所述一种远距离虹膜跟踪与采集方法的具体步骤如下：

步骤一、双目摄像头(1)进行人脸三维定位：双目摄像头(1)检测到人脸，并且通过解算获得人脸位置的三维坐标，具体步骤如下：

步骤一(一)、预设置处理信息：设定采集图片大小为512×384，设定ROI为100％，将采集图片进行归一化，设定大小为512×384，预置视差取值范围为(0,150)；

步骤一(二)、双目摄像头(1)采集图片；通过双目摄像头(1)对人脸进行图片采集，获得人脸的采集图片；

步骤一(三)、立体处理：获得校正图片和深度图片；

步骤一(四)、图片处理：将步骤一(三)中获得的校正图片格式转换为OpenCV识别图片格式，将灰度图进行直方图均值化处理，再将图片进行实时对比度调节，最后再将图片进行直方图均值化；

步骤一(五)、Adaboost算法检测人脸：如果检测到人脸执行步骤一(六)，如果没有检测到人脸返回执行步骤一(二)；

步骤一(六)、获取人脸在图片中的位置，选择计算深度备用点，并按加权的方式得到深度信息；

步骤一(七)、获取人脸的三维坐标：结合深度信息和坐标位置计算得到三维坐标系中人脸的实际位置；

步骤一(八)、发送坐标：将步骤一(七)中获得的人脸三维坐标数据传送至计算机，并重新执行步骤一(二)继续采集图片；

步骤二、进入人脸跟踪队列，设置主要跟踪人脸；

步骤三、云台跟踪人脸：通过双目摄像头(1)获得的三维坐标，控制二自由度旋转云台(3)转动，使长焦摄像机(2)对准人脸，并且跟踪人脸，使得人脸图像始终处在视频的中间；

步骤四、长焦摄像机(2)对人脸图像进行变倍和聚焦：利用长焦摄像机(2)对人脸图像进行变焦和聚焦；

步骤五、判断人脸图像面积是否大于阈值：若人脸图像面积大于设定的阈值则执行步骤六，否者执行步骤四；

步骤六、长焦摄像机(2)检测人眼，云台跟踪人眼：长焦摄像机(2)检测人眼，二自由度旋转云台(3)跟踪人眼，二自由度旋转云台(3)带动长焦摄像机(2)跟踪人眼进行检测；

二自由度旋转云台(3)跟踪人眼的具体步骤如下：

步骤六(一)、设置二自由度旋转云台水平方向运动的步长stepx为5°，竖直方向运动的步长stepy为2.5°；

步骤六(二)、长焦摄像机(2)检测人眼，计算其中心的像素坐标：根据长焦摄像机(2)采集到的视频序列，在OpenCV的开源环境下，采用Harr-Like特征和Boosting训练出来的人眼分类器进行检测选出人眼的有效区域，计算出人眼区域的中心像素坐标，二自由度旋转云台(3)水平和竖直两个方向的并行处理过程为：

水平跟踪过程：

A)、若检测到的人眼中心的x坐标与视频图像的中心x坐标差值的绝对值小于50个像素，则认为人眼处在视频的中心位置，二自由度旋转云台(3)水平方向停止运动，否则执行步骤B)；

B)、若检测到人眼的中心的x坐标与视频图像的中心x坐标差值大于50个像素，则控制二自由度旋转云台(3)在水平方向向左转动stepx；若检测到人眼的中心的x坐标与视频图像的中心x坐标差值小于-50个像素，则控制云台在水平方向向右转动stepx；

C)、比较当前帧和上一帧的人眼中心的x坐标是不是在视频图像中心的两侧，若是，则采用公式stepx＝-stepx/2重新计算stepx的值，否则继续判断人眼是否处在视频图像的中间位置；

竖直跟踪过程：

a)、若检测到的人眼的中心的y坐标与视频图像的中心y坐标差值的绝对值小于50个像素，则认为人眼处在视频的中心位置，云台竖直方向停止运动，否则执行步骤b)；

b)、若检测到的人眼的中心的y坐标与视频图像的中心y坐标差值大于50个像素，则控制云台在竖直方向向下转动stepy；若检测到的人眼的中心的y坐标与视频图像的中心y坐标差值小于-50像素，则控制云台在竖直方向向上转动stepy；

c)、比较当前帧和上一帧的人眼中心的y坐标是不是在视频图像中心的两侧，若是，则采用下面的公式重新计算stepy的值：stepy＝-stepy/2，否则继续判断人眼是否处在视频图像的中间位置；

步骤七、长焦摄像机(2)对人眼图像进行变倍和聚焦；

步骤八、判断人眼图像面积是否大于阈值或长焦摄像机(2)是否变倍至最大：若人眼图像面积大于所设定的阈值或者长焦摄像机(2)变倍至最大，则执行步骤九，否则执行步骤七；

步骤九、判断人眼图像是否清晰：通过Sobel边缘检测理论检测采集到的人眼图像的清晰程度，若清晰，则执行步骤十，否则执行步骤七；通过Sobel边缘检测理论检测采集到的人眼图像的清晰程度的具体步骤如下：

步骤九(一)、对采集到的人眼图像进行高斯滤波；

步骤九(二)、计算图像的清晰度：根据Sobel边缘检测理论和八方向的算子模板获得图像的清晰度评价函数，八方向算子模板为：

$\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right]\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]\left[\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right]$

0°边缘方向 45°边缘方向 90°边缘方向 135°边缘方向

$\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]\left[\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right]\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right]$

180°边缘方向 225°边缘方向 270°边缘方向 315°边缘方向

步骤九(二)(一)、对图像的每一个像素点进行邻域卷积计算，提取像素的八个方向的边缘信息：

H₁＝I(x,y)*S₁，H₂＝I(x,y)*S₂，H₃＝I(x,y)*S₃，H₄＝I(x,y)*S₄

H₅＝I(x,y)*S₅，H₆＝I(x,y)*S₆，H₇＝I(x,y)*S₇，H₈＝I(x,y)*S₈

I(x,y)为图像灰度，*表示卷积运算，H₁表示0°边缘方向的信息，H₂表示45°边缘方向的信息，H₃表示90°边缘方向的信息，H₄表示135°边缘方向的信息，H₅表示180°边缘方向的信息，H₆表示225°边缘方向的信息，H₇表示270°边缘方向的信息，H₈表示315°边缘方向的信息，S₁表示0°边缘方向算子模板矩阵核，S₂表示45°边缘方向算子模板矩阵核，S₃表示90°边缘方向算子模板矩阵核，S₄表示135°边缘方向算子模板矩阵核，S₅表示180°边缘方向算子模板矩阵核，S₆表示225°边缘方向算子模板矩阵核，S₇表示270°边缘方向算子模板矩阵核，S₈表示315°边缘方向算子模板矩阵核；

步骤九(二)(二)、计算图像中每个像素点的梯度值H(x,y)：

$H(x,y)=\sqrt{{H_1}^2+{H_2}^2+{H_3}^2+{H_4}^2+{H_5}^2+{H_6}^2+{H_7}^2+{H_8}^2}$

步骤九(二)(三)、计算每梯度值的平均值μ_H以及方差σ_H：

若μ_H+σ_H≤H(x,y)≤μ_H+2σ_H，则认为该点是边缘点，将图像边缘像素的梯度值相加，以边缘梯度能量定义图像的清晰度评价算子E，即：

$E=\sqrt{\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(H(x,y)\right)}^2}$

式中M表示图片水平方向长度，N表示图片竖直方向长度；

步骤十、利用采集到的人眼图像进行虹膜识别。

2.根据权利要求1所述一种远距离虹膜跟踪与采集方法，其特征在于：步骤一(三)立体处理的具体步骤如下：

Ⅰ、预处理：对采集图片进行滤波处理；

Ⅱ、校正图片；

Ⅲ、图片立体匹配：将经过预处理的采集图片用立体匹配方法对采集图片进行处理从而获得深度信息，匹配的计算方法如下：

$\underset{d_{\min }}{\overset{d_{\max }}{\min }}\underset{i=-\frac{m}{2}}{\overset{\frac{m}{2}}{\mathrm{\&Sigma;}}}\underset{j=-\frac{m}{2}}{\overset{\frac{m}{2}}{\mathrm{\&Sigma;}}}\left|I_{\mathrm{right}}\right[x+i\left]\right[y+j]-I_{\mathrm{left}}[x+i+d\left]\right[y+j\left]\right|$

其中d_min和d_max是视差的最小值和最大值，I_left是双目摄像头(1)左摄像头获得的图像和I_right是双目摄像头(1)右摄像头获得的图像，m表示匹配搜索窗口的边长；

Ⅳ、设定开启亚像素精度；

Ⅴ、对图片进行平面校验、唯一性校验、纹理校验：

平面校验是利用滤波的方法除去视差图像的噪声，将图像分割成连续的视差平面，区域的像素数目小于给定阈值视差，则图像被视为无效；

唯一性校验是决定一些图像特征点在匹配中是否有效，如果特征点在建立联系不强，则被视为无效；

纹理校验是根据模板中的纹理水平决定视差值是否有效，如果提供的纹理不能产生正确的匹配，则像素被视为无效；

步骤Ⅵ、获得深度图片。

3.根据权利要求1所述一种远距离虹膜跟踪与采集方法，其特征在于：步骤一(四)中实时对比调节方法具体步骤如下：

①、原始采集图像各点像素值为P_src，由于本设备中间部分处理的是灰度图像所以由归一化公式：

P_src'＝P_src/(2⁸-1)

得到归一化后的值P_src'；

②、将P_src'经调节对比度函数：

${P_{\mathrm{dst}}}^{\&prime;}=\left\{\begin{array}{cc}{\left(\frac{{P_{\mathrm{src}}}^{\&prime;}}{X_{\mathrm{turn}}}\right)}^{{\mathrm{\&gamma;}}_1}\&times;X_{\mathrm{turn}}& 0\&le;{P_{\mathrm{src}}}^{\&prime;}<X_{\mathrm{turn}}\\ {\left(\frac{{P_{\mathrm{src}}}^{\&prime;}-X_{\mathrm{turn}}}{1-X_{\mathrm{turn}}}\right)}^{{\mathrm{\&gamma;}}_2}\&times;(1-X_{\mathrm{turn}})+X_{\mathrm{turn}}& X_{\mathrm{turn}}\&le;{P_{\mathrm{src}}}^{\&prime;}<1\end{array}\right.$

变换后得到变换后目标图像归一化后的值P_dst'，

其中：X_turn是按图像需求可调的曲线转折点，γ₁和γ₂分别可调节前段和后段的曲线曲率，并且0<γ₁,γ₂<8，γ₁和γ₂的具体取值与X_turn有关；

③、将P_dst'进行反归一化处理：

P_dst＝P_dst'×(2⁸-1)

得到目标图像各点像素值P_dst，从而得到对比度变强后的图片。

4.根据权利要求1所述一种远距离虹膜跟踪与采集方法，其特征在于：步骤一(五)中Adaboost算法的具体步骤如下：

步骤A、图像输入：将分类器下载到计算机中，将获得的深度图片输入计算机中；

步骤B、计算Harr-Like特征：载入图片并计算载入图片的Haar-Like特征；

步骤C、计算机自动检测：通过Cascade算法完成计算机自动检测；

步骤D、获得人脸坐标：通过计算和处理得到人脸的左上和右下点的坐标；

步骤E、矩形框圈出人脸：用矩形框圈出人脸，并显示圈出人脸的图片。