CN102708361A - 远距离人脸采集方法 - Google Patents

Abstract

远距离人脸采集方法，属于图像处理领域，本发明为解决现有人脸采集技术存在的人脸采集的距离不够远，采集过程的友好性不够的问题。本发明所涉及的人脸采集设备包括PC机、双目摄像头、二自由度旋转云台和长焦摄像机，长焦摄像机设置在二自由度旋转云台上，所述远距离人脸采集方法包括：PC机根据双目摄像头采集的目标人脸的三维坐标，调整二自由度旋转云台带动长焦摄像机对准目标人脸的方向，并采集目标人脸的视频信息；如为目标人脸的正脸，调整其在视频当前帧图像的中心区域及清晰度，完成采集，如不是正脸，返回重新采集。

Description

远距离人脸采集方法

技术领域

本发明涉及远距离人脸采集方法，属于图像处理领域。

背景技术

随着社会的发展，各个方面对快速有效地自动身份验证的要求日益迫切。由于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证的最理想依据。这其中，利用人脸特征进行身份验证又是最自然最直接的手段，相比其它人体生物特征它具有直接、有好、方便的特点，易于为用户所接受。

人脸识别的研究涉及模式识别、图像处理、生理学、心理学、认知科学，与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切的联系。人脸识别是当前应用很广泛的一种生物特征识别技术，因为其自身特殊的优势，所以人脸识别在生物识别中占有重要的地位。(1)非侵扰性。无需干扰人们的正常行为即可实现识别效果。(2)采集设备简单。一般只需要一台摄像头即可实现人脸图片的采集，而且采集时间也可以很短。

人脸识别系统包括两个技术环节：首先是人脸检测与定位，即从输入图像中找到人脸及人脸存在的位置，并将人脸从背景中分割出来，然后才是对归一化的人脸图像进行识别。这两个环节中，人脸检测与定位有着极为关键的作用，只有获得质量高的人脸图像，人脸的身份识别才有可能实现。当前的人脸采集技术存在着瓶颈：(1)人脸采集的距离不够远，采集过程的友好性不够；(2)无法检测到多姿态的人脸，例如在仰头、俯头、侧身、背身以及跳跃的情况下无法采集人脸；(3)采集的人脸图像清晰度与采集距离形成一对矛盾，二者无法兼顾。

发明内容

本发明目的是为了解决现有人脸采集技术存在的人脸采集的距离不够远，采集过程的友好性不够；无法检测到多姿态的人脸，例如在仰头、俯头、侧身、背身以及跳跃的情况下无法采集人脸；采集的人脸图像清晰度与采集距离形成一对矛盾，二者无法兼顾的问题，提供了一种远距离人脸采集方法。

本发明所述远距离人脸采集方法，该方法所涉及的人脸采集设备包括PC机、双目摄像头、二自由度旋转云台和长焦摄像机，长焦摄像机设置在二自由度旋转云台上，所述远距离人脸采集方法包括以下步骤：

步骤一、双目摄像头采集目标人脸确定目标人脸的三维坐标，并反馈给PC机；

步骤二、PC机根据目标人脸的三维坐标输出命令调整二自由度旋转云台，使得二自由度旋转云台带动长焦摄像机对准目标人脸的方向；

步骤三、长焦摄像机跟踪并采集目标人脸的视频信息；

步骤四、采用基于Adaboosting算法训练的Haar-like特征级联分类器方法逐帧检测目标人脸的视频信息，判断所述视频信息是否为目标人脸的正脸，判断结果是正脸，执行步骤七；否则，执行步骤五，

步骤五、采用基于condensation算法跟踪目标人脸，更新目标人脸在视频中的二维像素坐标，然后执行步骤六；

步骤六、调整二自由度旋转云台根据步骤五获取的二维像素坐标跟踪目标人脸，获取目标人脸的视频信息，然后，返回执行步骤四

步骤七、判断目标人脸是否在所述视频当前帧图像的中心区域，

如果在中心区域，执行步骤九；如果不在中心区域，执行步骤八；

步骤八、调整二自由度旋转云台，使目标人脸向视频的中心区域移动，然后再执行步骤七，

步骤九、判断目标人脸面积占视频当前帧图像总面积的比例是否大于人脸尺寸阈值T，T＝0.4～0.5，

判断结果为是，则执行步骤十一；判断结果为否，则执行步骤十；

步骤十、调整长焦摄像机的变倍参数，以调整目标人脸面积大小占视频当前帧图像总面积的比例变大，然后返回执行步骤九；

步骤十一、长焦摄像机采集目标人脸图像，并判断目标人脸图像的清晰度E是否大于清晰度阈值T_E，T_E＝5500～10000，

若判断所述目标人脸图像不清晰，则执行步骤十二；若判断所述目标人脸图像清晰，则保存该目标人脸图像信息，完成采集人脸；

步骤十二、调整长焦摄像机的聚焦参数，以调整目标人脸图像的清晰度，然后返回执行步骤十一。

本发明的优点：

本发明所述的远距离人脸采集方法，针对人脸检测、采集与跟踪进行了实现。针对现有人脸采集技术存在的不足，本发明方法能够很好的改善。首先，采用本发明方法的人脸采集距离能够达到5米，实现了远距离、全自动人脸图像采集的功能。其次，在仰头、俯头、侧身以及跳跃的情况下，本发明所述的方法也能够做到精确跟踪人脸。再者，在光照变化大以及背景复杂的情况下，本发明的方法通过对图像采集装置进行变倍、变焦能够获得清晰度高的人脸图像，从而解决了一般人脸采集设备存在的采集距离与图像质量这一对矛盾。

具有非侵扰性。系统在采集的过程中不需要目标人的主动配合，不会干扰目标人的正常行为。

在采集人脸图像的过程中，能够实现对人脸的动态跟踪。当目标移动时，系统能动态跟踪人脸，长焦摄像机能始终对准人脸，并且使人脸图像处在视频的中心位置。本系统的动态跟踪范围能够达到320°。

附图说明

图1是本发明所述远距离人脸采集方法涉及的装置的结构示意图；

图2是人脸拟合椭圆示意图；

图3是本发明所述远距离人脸采集方法的流程图。

具体实施方式

具体实施方式一：下面结合图1和图3说明本实施方式，本实施方式所述远距离人脸采集方法，该方法所涉及的人脸采集设备包括PC机1、双目摄像头2、二自由度旋转云台3和长焦摄像机4，长焦摄像机4设置在二自由度旋转云台3上，其特征在于，所述远距离人脸采集方法包括以下步骤：

步骤一、双目摄像头2采集目标人脸确定目标人脸的三维坐标，并反馈给PC机1；

步骤二、PC机1根据目标人脸的三维坐标输出命令调整二自由度旋转云台3，使得二自由度旋转云台3带动长焦摄像机4对准目标人脸的方向；

步骤三、长焦摄像机4跟踪并采集目标人脸的视频信息；

步骤四、采用基于Adaboosting算法训练的Haar-like特征级联分类器方法逐帧检测目标人脸的视频信息，判断所述视频信息是否为目标人脸的正脸，判断结果是正脸，执行步骤七；否则，执行步骤五，

步骤五、采用基于condensation算法跟踪目标人脸，更新目标人脸在视频中的二维像素坐标，然后执行步骤六；

步骤六、调整二自由度旋转云台3根据步骤五获取的二维像素坐标跟踪目标人脸，获取目标人脸的视频信息，然后，返回执行步骤四

步骤七、判断目标人脸是否在所述视频当前帧图像的中心区域，

如果在中心区域，执行步骤九；如果不在中心区域，执行步骤八；

步骤八、调整二自由度旋转云台3，使目标人脸向视频的中心区域移动，然后再执行步骤七，

步骤九、判断目标人脸面积占视频当前帧图像总面积的比例是否大于人脸尺寸阈值T，T＝0.4～0.5，

判断结果为是，则执行步骤十一；判断结果为否，则执行步骤十；

步骤十、调整长焦摄像机4的变倍参数，以调整目标人脸面积大小占视频当前帧图像总面积的比例变大，然后返回执行步骤九；

步骤十一、长焦摄像机4采集目标人脸图像，并判断目标人脸图像的清晰度E是否大于清晰度阈值T_E，T_E＝5500～10000，

若判断所述目标人脸图像不清晰，则执行步骤十二；若判断所述目标人脸图像清晰，则保存该目标人脸图像信息，完成采集人脸；

步骤十二、调整长焦摄像机4的聚焦参数，以调整目标人脸图像的清晰度，然后返回执行步骤十一。

本实施方式所述远距离人脸采集方法采用的装置如图1所示，由以下装置组成：双目摄像头2、长焦摄像机4、二自由度旋转云台3。其中，长焦摄像头4采用的陕西维视数字图像技术有限公司MV-VS078FC-L型号的长焦摄像机，二自由度旋转云台3采用的是陕西维视数字图像技术有限公司生产的MV-5959高速高精度机器视觉云台。双目摄像头2是由加拿大Point Grey Research公司生产的Bumblebee2Camera，IEEE1394PCI主机适配器。

在实际的安装过程中，双目摄像头2固定安装，二自由度旋转云台3固定，长焦摄像机4安装在二自由度旋转云台3上，安装完成后需要实际测得双目摄像头2坐标系与二自由度旋转云台3坐标系的相对位置关系。

步骤四中的Adaboosting算法是常规算法，是将很多个分类器的的意见有效的结合起来，以达到更好的分类效果。算法需要做两件事情：1.从众多候选分类器中筛选出分类器。2.赋予被筛选出来的分类器说话的分量。首先来说筛选分类器的算法。假设已经筛选出m个分类器，从剩余的分类器中筛选出下一个分类器的原则是：该分类器误分类的加权成本(加权数为样本权值)在所有剩余分类器中最小。其次通过最小化总成本能够求的新添加分类器的权值。

Adaboosting算法中有一个很重要的环节。每一个训练样本都被赋予权值，并且随着训练过程样本权值不断更新。更新的原则是：误分类样本被赋予更高的权值，而正确分类样本的权值被相应降低。通过这种方式能够将重点放在不能正确分类的样本上，新选出来的分类器能够发挥原有分类器没有的作用，提高整体的分类效果。

具体实施方式二：本实施方式对实施方式一作进一步说明，步骤五中采用基于condens ation算法跟踪目标人脸，更新目标人脸在视频中的二维像素坐标的过程为：

步骤51、选取所述视频信息的当前帧图像中目标人脸区域的N个粒子构建第k-1时刻粒子群 $\{s_{k-1}^{\left(n\right)},{\mathrm{\π}}_{k-1}^{\left(n\right)},n=\mathrm{1,2}\·\·\·N\},$

其中，N为正整数，且N＝200～2000，

为第k-1时刻第n个粒子的坐标， $s_{k-1}^{\left(n\right)}=\left[\begin{array}{c}{x}_{k-1}\\ y_{k-1}\end{array}\right],$

为第k-1时刻第n个粒子的置信度，

步骤52、归一化第k-1时刻粒子群中粒子的累积概率，第k-1时刻前n个粒子的归一化累积概率

按公式

$c_{k-1}^{\′n}=\frac{c_{k-1}^{(n-1)}+{\mathrm{\π}}_{k-1}^n}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{c}_{k-1}^n}$

获取，

式中：

为第k-1时刻前n-1个粒子的累积概率， $c_{k-1}^{(n-1)}={\mathrm{\π}}_{k-1}^1+{\mathrm{\π}}_{k-1}^2+\·\·\·+{\mathrm{\π}}_{k-1}^{n-1},$

步骤53、去除第k-1时刻粒子群中

的粒子，

步骤54、判断第k-1时刻粒子群是否为具有类肤色物体特征的粒子群，

判断结果为是，重新扫描当前帧图像，并返回步骤51；判断结果为否，执行步骤55，

步骤55、根据第k-1时刻去除杂质粒子群来观测第k时刻粒子群 $\{s_k^{\left(n\right)},{\mathrm{\π}}_k^{\left(n\right)},n=\mathrm{1,2}\·\·\·N\},$

第k时刻第n个粒子的坐标

按公式观测，

中的j为满足

条件的n值中的最小值，r＝0.5～0.7，

A为确定部分系数，且 $A=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],$

为跟踪漂移范围，且 ${\mathrm{Bw}}_k^{\left(n\right)}=\left[\begin{array}{c}\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{t^2}{{2\mathrm{\σ}}^2}}\\ \frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{s^2}{{2\mathrm{\σ}}^2}}\end{array}\right],$ 其中σ＝0.03989，t和s为-0.1～0.1之间的系数，

步骤56、根据步骤55获取的第k时刻粒子群获取其质心坐标，并用所述质心坐标来更新目标人脸在视频中的二维像素坐标，

同时，更新第k时刻第n个粒子的置信度按公式 ${\mathrm{\π}}_k^{\left(n\right)}=P_{\mathrm{color}}\left(s_k^{\left(n\right)}\right)\·P_{\mathrm{ellipse}}\left(s_k^{\left(n\right)}\right)$ 观测获取，

式中，

为第k时刻第n个粒子的肤色概率，

为第k时刻第n个粒子的人脸椭圆约束概率，

进而获取了第k时刻粒子群 $\{s_k^{\left(n\right)},{\mathrm{\π}}_k^{\left(n\right)},n=\mathrm{1,2}\·\·\·M\}.$

步骤四中采用了基于Adaboosting训练的Haar-like特征级联分类器方法来检测人脸，但在如今的技术条件下，侧脸很难用该方法获得准确的检测结果，所以，若在该装置中单纯使用该算法来检测和跟踪人脸，很容易将目标丢失。因此，步骤五中采用Condensation算法动态跟踪目标人脸。

Condensation算法中粒子的状态变量为(x，y)，即人脸中心的坐标，粒子置信度有两部分决定：人脸的肤色特征和人脸椭圆形状特征。

具体实施方式三：本实施方式对实施方式二作进一步说明，N＝300。

具体实施方式四：下面结合图2说明本实施方式，本实施方式对实施方式二作进一步说明，步骤53中第k-1时刻第n个粒子的置信度

的获取过程为：

步骤531、用标准人脸建立标准人脸二维直方图查询图表：将标准人脸的彩色图像转化成HSV颜色空间中，从中抽取出H和S分量，忽略V分量，H的范围是0-180，S取的范围是0-255，H分量被分成60等份，S分量被分成64等份，在OpenCV中得到标准人脸图像的二维直方图查询图表，并记录等份H分量和S分量交叉对应的人脸肤色概率；

步骤532、按公式

$P_{\mathrm{coloc}}\left(s_{k-1}^{\left(n\right)}\right)=P\left(\mathrm{HS}\right)/\max \left(P\left(\mathrm{HS}\right)\right)$

获取第k-1时刻第n个粒子的肤色概率

其中，P(HS)表示第n个粒子所在像素的H-S分量在标准人脸二维直方图查询图表的人脸肤色概率，max(P(HS))是标准人脸二维直方图查询图表中的最大人脸肤色概率；

步骤533、构建第k-1时刻粒子群的拟合椭圆：

拟合椭圆长轴的方向角θ为：

$\mathrm{\θ}=\arctan \left[\frac{2(m_{11}/m_{00}-x_c{y}_c)}{(m_{20}/m_{00}-{x_c}^2)-(m_{02}/m_{00}-{y_c}^2)}\right]/2,$

式中：m₁₁为k-1时刻粒子群的拟合椭圆的一阶矩阵，

m₂₀和m₀₂为k-1时刻粒子群的拟合椭圆的二阶矩阵，

$m_{02}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left(y_{k-1}^n\right)}^2\·P_{\mathrm{color}}\left(s_{k-1}^{\left(n\right)}\right);$

k-1时刻粒子群的拟合椭圆的长半轴a为： $a=\sqrt{((w+v)+\sqrt{u^2+{(w-v)}^2})\·2},$

式中的w、u和v为拟合椭圆的三个参数，

w＝m₂₀/m₀₀-x_c ²，u＝m₁₁/m₀₀-x_cy_c，v＝m₀₂/m₀₀-y_c ²，

k-1时刻粒子群的拟合椭圆的短半轴b为： $b=\sqrt{((w+v)+\sqrt{u^2+{(w-v)}^2})\·2},$

且满足条件1≤a/b≤1.4；

步骤534、第k-1时刻第n个粒子的人脸椭圆约束概率按约束条件

来确定，

式中：k_s为拟合人脸椭圆外粒子置信度的弱化速度控制系数，k_s∈(0，1)，

OB为第k-1时刻第n个粒子的坐标

与第k-1时刻粒子群

的质心坐标(x_c，y_c)连线与拟合椭圆的交点到质心坐标(x_c，y_c)的距离，

OA为第k-1时刻第n个粒子的坐标

与第k-1时刻粒子群 $\{s_k^{\left(n\right)},{\mathrm{\π}}_k^{\left(n\right)},n=\mathrm{1,2}\·\·\·N\}$ 的质心坐标(x_c，y_c)的距离，

步骤535、第k-1时刻第n个粒子的置信度按公式 ${\mathrm{\π}}_{k-1}^{\left(n\right)}=P_{\mathrm{color}}\left(s_{k-1}^{\left(n\right)}\right)\·P_{\mathrm{ellipse}}\left(s_{k-1}^{\left(n\right)}\right)$ 获取。

当粒子群中的某一个粒子在拟合人脸椭圆之外，那么该粒子所在的像素是人脸像素点的置信度应当降低，考虑到人脸被遮挡之后仍然能够实现跟踪，我们并不将其置信度直接设置为零。拟合椭圆约束对粒子置信度的贡献采取下面的规则：

定义粒子满足人脸椭圆约束的概率为P_ellipse，当粒子位于拟合椭圆内部时，我们令其概率为1，当粒子在人脸拟合椭圆的外部时，其概率与该粒子与椭圆中心的距离成反比。

具体实施方式五：本实施方式对实施方式二或四作进一步说明，步骤54判断第k-1时刻粒子群是否为具有类肤色物体特征的粒子群的过程为：

步骤541、计算第k-1时刻粒子群的二维直方图和标准人脸二维直方图的Bhattacharyya距离 $d_b=\sqrt{1-\underset{u=1}{\overset{M}{\mathrm{\Σ}}}\sqrt{h_o\left(u\right)\·h_m\left(u\right)}},$

h_o(u)为第k-1时刻粒子群的二维直方图的H分量，第k-1时刻粒子群的二维直方图的H分量集合H_O＝{h_o(u)，u＝1，2…M}，M为直方图的段数，

h_m(u)为第k-1时刻标准人脸二维直方图的H分量，第k-1时刻标准人脸二维直方图的H分量集合H_m＝{h_m(u)，u＝1，2…M}，

步骤542、判断d_b＞0.3是否成立，如果成立，则第k-1时刻粒子群为具有类肤色物体特征的粒子群；如果不成立，则第k-1时刻粒子群不是具有类肤色物体特征的粒子群。

在基于肤色和形状约束的condensation算法跟踪人脸的过程中，在复杂的环境下，人脸的跟踪容易受到环境中类肤色物体的干扰，为了提高本系统的鲁棒性，需要将跟踪过程中检测到的类肤色物体排除。

具体实施方式六：本实施方式对实施方式二、四或五作进一步说明，步骤56中第k时刻粒子群 $\{s_k^{\left(n\right)},{\mathrm{\π}}_k^{\left(n\right)},n=\mathrm{1,2}\·\·\·M\}$ 的质心坐标(x_c，y_c)为：

$x_c=\frac{m_{10}}{m_{00}},$

$y_c=\frac{m_{01}}{m_{00}},$

其中：m₀₀、m₁₀和m₀₁为k时刻粒子群的拟合椭圆的一阶矩阵，并按如下公式获取：

$m_{00}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{P}_{\mathrm{color}}\left(s_k^{\left(n\right)}\right),$

式中

为第k时刻第n个粒子的横坐标，

式中为第k时刻第n个粒子的纵坐标。

具体实施方式七：本实施方式对实施方式二、四、五或六作进一步说明，步骤56中第k时刻第n个粒子的肤色概率

的获取方法为：

步骤a、用标准人脸建立标准人脸二维直方图查询图表：将标准人脸的彩色图像转化成HSV颜色空间中，从中抽取出H和S分量，忽略V分量，H的范围是0-180，S取的范围是0-255，H分量被分成60等份，S分量被分成64等份，在OpenCV中得到标准人脸图像的二维直方图查询图表，并记录等份H分量和S分量交叉对应的人脸肤色概率；

步骤b、按公式

$P_{\mathrm{color}}\left(s_k^{\left(n\right)}\right)=P\left(\mathrm{HS}\right)/\max \left(P\left(\mathrm{HS}\right)\right)$

获取第k时刻第n个粒子的肤色概率

其中，P(HS)表示第n个粒子所在像素的H-S分量在标准人脸二维直方图查询图表的人脸肤色概率，max(P(HS))是标准人脸二维直方图查询图表中的最大人脸肤色概率。

具体实施方式八：本实施方式对实施方式二、四、五、六或七作进一步说明，步骤56中第k时刻第n个粒子的人脸椭圆约束概率

的获取方法为：

步骤561、构建第k时刻粒子群的拟合椭圆：

拟合椭圆长轴的方向角θ为：

$\mathrm{\θ}=\arctan \left[\frac{2(m_{11}/m_{00}-x_c{y}_c)}{(m_{20}/m_{00}-{x_c}^2)-(m_{02}/m_{00}-{y_c}^2)}\right]/2,$

式中：m₁₁为k时刻粒子群的拟合椭圆的一阶矩阵，

m₂₀和m₀₂为k时刻粒子群的拟合椭圆的二阶矩阵，

$m_{02}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left(y_k^n\right)}^2\·P_{\mathrm{color}}\left(s_k^{\left(n\right)}\right);$

k时刻粒子群的拟合椭圆的长半轴a为： $a=\sqrt{((w+v)+\sqrt{u^2+{(w-v)}^2})\·2},$

式中的w、u和v为拟合椭圆的三个参数，

w＝m₂₀/m₀₀-x_c ²，u＝m₁₁/m₀₀-x_cy_c，v＝m₀₂/m₀₀-y_c ²，

k时刻粒子群的拟合椭圆的短半轴b为： $b=\sqrt{((w+v)+\sqrt{u^2+{(w-v)}^2})\·2},$

且满足条件1≤a/b≤1.4；

步骤562、第k时刻第n个粒子的人脸椭圆约束概率

按约束条件

来确定，

式中：k_s为拟合人脸椭圆外粒子置信度的弱化速度控制系数，k_s∈(0，1)，

OB为第k时刻第n个粒子的坐标

与第k时刻粒子群

的质心坐标(x_c，y_c)连线与拟合椭圆的交点到质心坐标(x_c，y_c)的距离，

OA为第k时刻第n个粒子的坐标

与第k时刻粒子群 $\{s_k^{\left(n\right)},{\mathrm{\π}}_k^{\left(n\right)},n=\mathrm{1,2}\·\·\·N\}$ 的质心坐标(x_c，y_c)的距离。

具体实施方式九：本实施方式对实施方式一、二、四、五、六、七或八作进一步说明，步骤十一中目标人脸图像的清晰度E的获取过程为：

步骤1、提取目标人脸图像中每个像素点的八个方向的边缘信息：

坐标为(x，y)的像素的0°边缘方向的边缘信息H₁＝I(x，y)*S₁，其中I(x，y)是坐标为(x，y)的像素的灰度值，S₁为坐标为(x，y)的像素的0°边缘方向Sobel算子模板，且 $S_1=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],$ *表示卷积运算；

坐标为(x，y)的像素的45°边缘方向的边缘信息H₂＝I(x，y)*S₂，其中S₂是坐标为(x，y)的像素的45°边缘方向Sobel算子模板，且 $S_2=\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right];$

坐标为(x，y)的像素的90°边缘方向的边缘信息H₃＝I(x，y)*S₃，其中S₃是坐标为(x，y)的像素的90°边缘方向Sobel算子模板，且 $S_3=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right];$

坐标为(x，y)的像素的135°边缘方向的边缘信息H₄＝I(x，y)*S₄，其中S₄是坐标为(x，y)的像素的135°边缘方向Sobel算子模板，且 $S_4=\left[\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right];$

坐标为(x，y)的像素的180°边缘方向的边缘信息H₅＝I(x，y)*S₅，其中S₅是坐标为(x，y)的像素的180°边缘方向Sobel算子模板，且 $S_5=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right];$

坐标为(x，y)的像素的225°边缘方向的边缘信息H₆＝I(x，y)*S₆，其中S₆是坐标为(x， y)的像素的225°边缘方向Sobel算子模板，且 $S_6=\left[\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right];$

坐标为(x，y)的像素的270°边缘方向的边缘信息H₇＝I(x，y)*S₇，其中S₇是坐标为(x，y)的像素的270°边缘方向Sobel算子模板，且 $S_7=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right];$

坐标为(x，y)的像素的315°边缘方向的边缘信息H₈＝I(x，y)*S₈，其中S₈是坐标为(x，y)的像素的315°边缘方向Sobel算子模板，且 $S_8=\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right];$

步骤2、根据步骤1的像素点的八个方向的边缘信息获取每个像素点的梯度值H(x，y)：

$H(x,y)=\sqrt{{H_1}^2+{H_2}^2+{H_3}^2+{H_4}^2+{H_5}^2+{H_6}^2+{H_7}^2+{H_8}^2};$

步骤3、根据步骤2的像素点的梯度值H(x，y)获取目标人脸图像的清晰度E：

$E=\frac{\underset{x=A_1}{\overset{A_2}{\mathrm{\Σ}}}\underset{y=B_1}{\overset{B_2}{\mathrm{\Σ}}}{\left(H(x,y)\right)}^2}{\mathrm{count}},$

式中，A₁为目标人脸图像横坐标的最小值，A₂为目标人脸图像横坐标的最大值.

B₁为目标人脸图像纵坐标的最小值，B₂为目标人脸图像纵坐标的最大值

count为目标人脸图像中像素点数。

当相机聚焦时，图像的细节信息丰富，在频域上表现为高频分量多，在空域上表现为相邻像素的特征值变化大，具有更大的梯度函数值。我们需要找到一种图像清晰度评价函数来表征图像聚焦与否。边缘是图像最基本的特征，图像的轮廓、细节基本都存在于图像的边缘部分，因此，可以将边缘检测理论引入到图像清晰度评价函数中来。

在边缘检测中，常用的一个算子是经典Sobel算子，它是在图像空间利用两个3×3的方向模板与图像中每个点进行邻域卷积来完成的，这两个方向模板分别检测水平和垂直边缘，为：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],$ $\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

那么Sobel算子为：

$H=\sqrt{{H_1}^2+{H_2}^2}=\sqrt{{(I(x,y)*S_1)}^2+{(I(x,y)*S_2)}^2}$

式中，I(x，y)为图像灰度，*表示卷积运算，S_i(i＝1，2)表示水平方向和垂直方向的Sobel算子模板。

由于实际图像的梯度方向是未知的，如果只采用两个方向的模板，则难以适应实际的边缘方向，使得计算效果不明显。为此我们引进了八个方向的Sobel算子模板，为：

$\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ $\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right]$ $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $\left[\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right]$

0°边缘方向  45°边缘方向  90°边缘方向  135°边缘方向

$\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$ $\left[\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right]$ $\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$ $\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right]$

180°边缘方向 225°边缘方向 270°边缘方向 315°边缘方向

根据Sobel边缘检测理论和八个方向的算子模板，当相机聚焦时所获得的图像具有丰富的边缘信息，体现在图像清晰度评价函数中是求得的E越大，图像越清晰。

Claims (9)

1.远距离人脸采集方法，该方法所涉及的人脸采集设备包括PC机(1)、双目摄像头(2)、二自由度旋转云台(3)和长焦摄像机(4)，长焦摄像机(4)设置在二自由度旋转云台(3)上，其特征在于，所述远距离人脸采集方法包括以下步骤：

步骤一、双目摄像头(2)采集目标人脸确定目标人脸的三维坐标，并反馈给PC机(1)；

步骤二、PC机(1)根据目标人脸的三维坐标输出命令调整二自由度旋转云台(3)，使得二自由度旋转云台(3)带动长焦摄像机(4)对准目标人脸的方向；

步骤三、长焦摄像机(4)跟踪并采集目标人脸的视频信息；

步骤四、采用基于Adaboosting算法训练的Haar-like特征级联分类器方法逐帧检测目标人脸的视频信息，判断所述视频信息是否为目标人脸的正脸，判断结果是正脸，执行步骤七；否则，执行步骤五，

步骤五、采用基于condensation算法跟踪目标人脸，更新目标人脸在视频中的二维像素坐标，然后执行步骤六；

步骤六、调整二自由度旋转云台(3)根据步骤五获取的二维像素坐标跟踪目标人脸，获取目标人脸的视频信息，然后，返回执行步骤四

步骤七、判断目标人脸是否在所述视频当前帧图像的中心区域，

如果在中心区域，执行步骤九；如果不在中心区域，执行步骤八；

步骤八、调整二自由度旋转云台(3)，使目标人脸向视频的中心区域移动，然后再执行步骤七，

步骤九、判断目标人脸面积占视频当前帧图像总面积的比例是否大于人脸尺寸阈值T，T＝0.4～0.5，

判断结果为是，则执行步骤十一；判断结果为否，则执行步骤十；

步骤十、调整长焦摄像机(4)的变倍参数，以调整目标人脸面积大小占视频当前帧图像总面积的比例变大，然后返回执行步骤九；

步骤十一、长焦摄像机(4)采集目标人脸图像，并判断目标人脸图像的清晰度E是否大于清晰度阈值T_E，T_E＝5500～10000，

若判断所述目标人脸图像不清晰，则执行步骤十二；若判断所述目标人脸图像清晰，则保存该目标人脸图像信息，完成采集人脸；

步骤十二、调整长焦摄像机(4)的聚焦参数，以调整目标人脸图像的清晰度，然后返回执行步骤十一。

2.根据权利要求1所述远距离人脸采集方法，其特征在于，步骤五中采用基于condensation算法跟踪目标人脸，更新目标人脸在视频中的二维像素坐标的过程为：

步骤51、选取所述视频信息的当前帧图像中目标人脸区域的N个粒子构建第k-1时刻粒子群 $\{s_{k-1}^{\left(n\right)},{\mathrm{\π}}_{k-1}^{\left(n\right)},n=\mathrm{1,2}\·\·\·N\},$

其中，N为正整数，且N＝200～2000，

为第k-1时刻第n个粒子的坐标， $s_{k-1}^{\left(n\right)}=\left[\begin{array}{c}{x}_{k-1}\\ y_{k-1}\end{array}\right],$

为第k-1时刻第n个粒子的置信度，

步骤52、归一化第k-1时刻粒子群中粒子的累积概率，第k-1时刻前n个粒子的归一化累积概率按公式

$c_{k-1}^{\′n}=\frac{c_{k-1}^{(n-1)}+{\mathrm{\π}}_{k-1}^n}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{c}_{k-1}^n}$

获取，

式中：

为第k-1时刻前n-1个粒子的累积概率， $c_{k-1}^{(n-1)}={\mathrm{\π}}_{k-1}^1+{\mathrm{\π}}_{k-1}^2+\·\·\·+{\mathrm{\π}}_{k-1}^{n-1},$

步骤53、去除第k-1时刻粒子群中

的粒子，

步骤54、判断第k-1时刻粒子群是否为具有类肤色物体特征的粒子群，

判断结果为是，重新扫描当前帧图像，并返回步骤51；判断结果为否，执行步骤55，

步骤55、第k时刻第n个粒子的坐标

按公式

观测，

中的j为满足

条件的n值中的最小值，r＝0.5～0.7，

A为确定部分系数，且 $A=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],$

为跟踪漂移范围，且 ${\mathrm{Bw}}_k^{\left(n\right)}=\left[\begin{array}{c}\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{t^2}{{2\mathrm{\σ}}^2}}\\ \frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{s^2}{{2\mathrm{\σ}}^2}}\end{array}\right],$ 其中σ＝0.03989，t和s为-0.1～0.1之间的系数，

步骤56、根据步骤55获取的第k时刻粒子群

获取其质心坐标，并用所述质心坐标来更新目标人脸在视频中的二维像素坐标，

同时，更新第k时刻第n个粒子的置信度

按公式

观测获取，

式中，

为第k时刻第n个粒子的肤色概率，为第k时刻第n个粒子的人脸椭圆约束概率，

进而获取了第k时刻粒子群 $\{s_k^{\left(n\right)},{\mathrm{\π}}_k^{\left(n\right)},n=\mathrm{1,2}\·\·\·M\}.$

3.根据权利要求2所述远距离人脸采集方法，其特征在于，N＝300。

4.根据权利要求2所述远距离人脸采集方法，其特征在于，步骤53中第k-1时刻第n个粒子的置信度

的获取过程为：

步骤531、用标准人脸建立标准人脸二维直方图查询图表：将标准人脸的彩色图像转化成HSV颜色空间中，从中抽取出H和S分量，忽略V分量，H的范围是0-180，S取的范围是0-255，H分量被分成60等份，S分量被分成64等份，在OpenCV中得到标准人脸图像的二维直方图查询图表，并记录等份H分量和S分量交叉对应的人脸肤色概率；

步骤532、按公式

$P_{\mathrm{color}}\left(s_{k-1}^{\left(n\right)}\right)=P\left(\mathrm{HS}\right)/\max \left(P\left(\mathrm{HS}\right)\right)$

获取第k-1时刻第n个粒子的肤色概率

其中，P(HS)表示第n个粒子所在像素的H-S分量在标准人脸二维直方图查询图表的人脸肤色概率，max(P(HS))是标准人脸二维直方图查询图表中的最大人脸肤色概率；

步骤533、构建第k-1时刻粒子群的拟合椭圆：

拟合椭圆长轴的方向角θ为：

$\mathrm{\θ}=\arctan \left[\frac{2(m_{11}/m_{00}-x_c{y}_c)}{(m_{20}/m_{00}-{x_c}^2)-(m_{02}/m_{00}-{y_c}^2)}\right]/2,$

式中：m₁₁为k-1时刻粒子群的拟合椭圆的一阶矩阵，

m₂₀和m₀₂为k-1时刻粒子群的拟合椭圆的二阶矩阵，

$m_{02}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left(y_{k-1}^n\right)}^2\·P_{\mathrm{color}}\left(s_{k-1}^{\left(n\right)}\right);$

k-1时刻粒子群的拟合椭圆的长半轴a为： $a=\sqrt{((w+v)+\sqrt{u^2+{(w-v)}^2})\·2},$

式中的w、u和v为拟合椭圆的三个参数，

w＝m₂₀/m₀₀-x_c ²，u＝m₁₁/m₀₀-x_cy_c，v＝m₀₂/m₀₀-y_c ²，

k-1时刻粒子群的拟合椭圆的短半轴b为： $b=\sqrt{((w+v)+\sqrt{u^2+{(w-v)}^2})\·2},$

且满足条件1≤a/b≤1.4；

步骤534、第k-1时刻第n个粒子的人脸椭圆约束概率

按约束条件

来确定，

式中：k_s为拟合人脸椭圆外粒子置信度的弱化速度控制系数，k_s∈(0，1)，

OB为第k-1时刻第n个粒子的坐标

与第k-1时刻粒子群

的质心坐标(x_c，y_c)连线与拟合椭圆的交点到质心坐标(x_c，y_c)的距离，

OA为第k-1时刻第n个粒子的坐标与第k-1时刻粒子群 $\{s_k^{\left(n\right)},{\mathrm{\π}}_k^{\left(n\right)},n=\mathrm{1,2}\·\·\·N\}$ 的质心坐标(x_c，y_c)的距离，

步骤535、第k-1时刻第n个粒子的置信度

按公式 ${\mathrm{\π}}_{k-1}^{\left(n\right)}=P_{\mathrm{color}}\left(s_{k-1}^{\left(n\right)}\right)\·P_{\mathrm{ellipse}}\left(s_{k-1}^{\left(n\right)}\right)$ 获取。

5.根据权利要求2所述远距离人脸采集方法，其特征在于，步骤54判断第k-1时刻粒子群是否为具有类肤色物体特征的粒子群的过程为：

步骤541、计算第k-1时刻粒子群的二维直方图和标准人脸二维直方图的Bhattacharyya距离 $d_b=\sqrt{1-\underset{u=1}{\overset{M}{\mathrm{\Σ}}}\sqrt{h_o\left(u\right)\·h_m\left(u\right)}},$

h_o(u)为第k-1时刻粒子群的二维直方图的H分量，第k-1时刻粒子群的二维直方图的H分量集合H_O＝{h_o(u)，u＝1，2…M}，M为直方图的段数，

h_m(u)为第k-1时刻标准人脸二维直方图的H分量，第k-1时刻标准人脸二维直方图的H分量集合H_m＝{h_m(u)，u＝1，2…M}，

步骤542、判断d_b＞0.3是否成立，如果成立，则第k-1时刻粒子群为具有类肤色物体特征的粒子群；如果不成立，则第k-1时刻粒子群不是具有类肤色物体特征的粒子群。

6.根据权利要求2所述远距离人脸采集方法，其特征在于，步骤56中第k时刻粒子群 $\{s_k^{\left(n\right)},{\mathrm{\π}}_k^{\left(n\right)},n=\mathrm{1,2}\·\·\·M\}$ 的质心坐标(x_c，y_c)为：

$x_c=\frac{m_{10}}{m_{00}},$

$y_c=\frac{m_{01}}{m_{00}},$

其中：m₀₀、m₁₀和m₀₁为k时刻粒子群的拟合椭圆的一阶矩阵，并按如下公式获取：

$m_{00}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{P}_{\mathrm{color}}\left(s_k^{\left(n\right)}\right),$

式中

为第k时刻第n个粒子的横坐标，

式中为第k时刻第n个粒子的纵坐标。

7.根据权利要求6所述远距离人脸采集方法，其特征在于，步骤56中第k时刻第n个粒子的肤色概率

的获取方法为：

步骤a、用标准人脸建立标准人脸二维直方图查询图表：将标准人脸的彩色图像转化成HSV颜色空间中，从中抽取出H和S分量，忽略V分量，H的范围是0-180，S取的范围是0-255，H分量被分成60等份，S分量被分成64等份，在OpenCV中得到标准人脸图像的二维直方图查询图表，并记录等份H分量和S分量交叉对应的人脸肤色概率；

步骤b、按公式

$P_{\mathrm{color}}\left(s_k^{\left(n\right)}\right)=P\left(\mathrm{HS}\right)/\max \left(P\left(\mathrm{HS}\right)\right)$

获取第k时刻第n个粒子的肤色概率

其中，P(HS)表示第n个粒子所在像素的H-S分量在标准人脸二维直方图查询图表的人脸肤色概率，max(P(HS))是标准人脸二维直方图查询图表中的最大人脸肤色概率。

8.根据权利要求6所述远距离人脸采集方法，其特征在于，步骤56中第k时刻第n个粒子的人脸椭圆约束概率

的获取方法为：

步骤561、构建第k时刻粒子群的拟合椭圆：

拟合椭圆长轴的方向角θ为：

$\mathrm{\θ}=\arctan \left[\frac{2(m_{11}/m_{00}-x_c{y}_c)}{(m_{20}/m_{00}-{x_c}^2)-(m_{02}/m_{00}-{y_c}^2)}\right]/2,$

式中：m₁₁为k时刻粒子群的拟合椭圆的一阶矩阵，

m₂₀和m₀₂为k时刻粒子群的拟合椭圆的二阶矩阵，

$m_{02}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left(y_k^n\right)}^2\·P_{\mathrm{color}}\left(s_k^{\left(n\right)}\right);$

k时刻粒子群的拟合椭圆的长半轴a为： $a=\sqrt{((w+v)+\sqrt{u^2+{(w-v)}^2})\·2},$

式中的w、u和v为拟合椭圆的三个参数，

w＝m₂₀/m₀₀-x_c ²，u＝m₁₁/m₀₀-x_cy_c，v＝m₀₂/m₀₀-y_c ²，

k时刻粒子群的拟合椭圆的短半轴b为： $b=\sqrt{((w+v)+\sqrt{u^2+{(w-v)}^2})\·2},$

且满足条件1≤a/b≤1.4；

步骤562、第k时刻第n个粒子的人脸椭圆约束概率

按约束条件

来确定，

式中：k_s为拟合人脸椭圆外粒子置信度的弱化速度控制系数，k_s∈(0，1)，

OB为第k时刻第n个粒子的坐标

与第k时刻粒子群

的质心坐标(x_c，y_c)连线与拟合椭圆的交点到质心坐标(x_c，y_c)的距离，

OA为第k时刻第n个粒子的坐标

与第k时刻粒子群 $\{s_k^{\left(n\right)},{\mathrm{\π}}_k^{\left(n\right)},n=\mathrm{1,2}\·\·\·N\}$ 的质心坐标(x_c，y_c)的距离。

9.根据权利要求1所述的远距离人脸采集方法，其特征在于，步骤十一中目标人脸图像的清晰度E的获取过程为：

步骤1、提取目标人脸图像中每个像素点的八个方向的边缘信息：

坐标为(x，y)的像素的0°边缘方向的边缘信息H₁＝I(x，y)*S₁，其中I(x，y)是坐标为(x，y)的像素的灰度值，S₁为坐标为(x，y)的像素的0°边缘方向Sobel算子模板，且 $S_1=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],$ *表示卷积运算；

坐标为(x，y)的像素的45°边缘方向的边缘信息H₂＝I(x，y)*S₂，其中S₂是坐标为(x，y)的像素的45°边缘方向Sobel算子模板，且 $S_2=\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right];$

坐标为(x，y)的像素的90°边缘方向的边缘信息H₃＝I(x，y)*S₃，其中S₃是坐标为(x，y)的像素的90°边缘方向Sobel算子模板，且 $S_3=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right];$

坐标为(x，y)的像素的135°边缘方向的边缘信息H₄＝I(x，y)*S₄，其中S₄是坐标为(x，y)的像素的135°边缘方向Sobel算子模板，且 $S_4=\left[\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right];$

坐标为(x，y)的像素的180°边缘方向的边缘信息H₅＝I(x，y)*S₅，其中S₅是坐标为(x，y)的像素的180°边缘方向Sobel算子模板，且 $S_5=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right];$

坐标为(x，y)的像素的225°边缘方向的边缘信息H₆＝I(x，y)*S₆，其中S₆是坐标为(x，y)的像素的225°边缘方向Sobel算子模板，且 $S_6=\left[\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right];$

坐标为(x，y)的像素的270°边缘方向的边缘信息H₇＝I(x，y)*S₇，其中S₇是坐标为(x，y)的像素的270°边缘方向Sobel算子模板，且 $S_7=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right];$

坐标为(x，y)的像素的315°边缘方向的边缘信息H₈＝I(x，y)*S₈，其中S₈是坐标为(x，y)的像素的315°边缘方向Sobel算子模板，且 $S_8=\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right];$

步骤2、根据步骤1的像素点的八个方向的边缘信息获取每个像素点的梯度值H(x，y)：

$H(x,y)=\sqrt{{H_1}^2+{H_2}^2+{H_3}^2+{H_4}^2+{H_5}^2+{H_6}^2+{H_7}^2+{H_8}^2};$

步骤3、根据步骤2的像素点的梯度值H(x，y)获取目标人脸图像的清晰度E：

$E=\frac{\underset{x=A_1}{\overset{A_2}{\mathrm{\Σ}}}\underset{y=B_1}{\overset{B_2}{\mathrm{\Σ}}}{\left(H(x,y)\right)}^2}{\mathrm{count}},$

式中，A₁为目标人脸图像横坐标的最小值，A₂为目标人脸图像横坐标的最大值.

B₁为目标人脸图像纵坐标的最小值，B₂为目标人脸图像纵坐标的最大值

count为目标人脸图像中像素点数。

Images