CN104794439A - 基于多相机的准正面人脸图像实时优选方法及系统 - Google Patents

Abstract

本发明公开了一种基于多相机的准正面人脸图像自动优选的方法及系统，包括可调整角度的三相机系统和多线程计算人脸正面朝向匹配度的软件系统，其中软件系统一旦检测到人脸区域，则采用CT算法进行人脸跟踪，同时，采用SDM算法匹配特征点，并给出匹配度(confidence score)数据。匹配度取值范围为(0.0～1.0)，其大小直接显示了人脸的正面朝向程度，其值越大，表示人脸越趋于正面朝向。在主线程中，算法通过不间断地比较三个线程的匹配度值，选取匹配度值最大的图像作为系统的输出，来实现准正面人脸图像的实时自动优选。本发明所述方法和系统可用于人脸识别跟踪系统的信息预处理，为后续的分析处理提供良好的准正面人脸图像数据。

Description

基于多相机的准正面人脸图像实时优选方法及系统

技术领域

本发明涉及计算机视觉人脸图像处理技术，具体涉及一种基于多相机的准正面人脸图像实时自动优选的方法及系统，可用于人脸识别跟踪系统的信息预处理，为后续的分析处理提供良好的准正面人脸图像数据。

背景技术

人脸检测技术是计算机视觉领域的重要分支之一，近年来广泛应用于可视化监控、视频检索、机器人控制、人机交互等方面，已经成为模式识别的热点研究课题。人脸检测技术主要目的是从一幅图像中检测并定位出人脸，即确定该图像中是否存在人脸，如果存在则从该图像中定位出人脸区域。这些被定位出来的人脸区域图像可用于人脸跟踪，即在视频流中跟踪特定的人脸；人脸识别，即根据已定位出来的人脸图像同人的标识(ID)联系起来，以确定与人脸图像对应的人的身份；表情识别，即通过人脸图像识别当前的表情ID，等等。

在诸多与人脸相关的计算机视觉技术中，人脸检测技术作为基础，有着举足轻重的作用。这不仅因为人脸检测技术担负着为后续处理提供人脸数据源的任务，还因为所提供的人脸数据源的质量直接影响着后续相关技术的实现效果，甚至关乎后续技术的可用与否。因此，人脸检测技术越来越为研究者所重视，技术发展也日臻成熟。特别是对yaw(偏航角)、pitch(俯仰角)以及roll(横滚角)低于15度的准正面人脸的检测技术，稳定性和效率都已达到令人满意的效果，并在工业领域得到了广泛的应用。

至目前为止，人脸检测技术按系统框架主要分为两种。一种是基于单相机的人脸检测技术；另一种是基于多相机的人脸检测技术。

对于基于单相机的人脸检测技术，最为经典的算法无疑是P.Viola和M.Jones于2001年7月在加拿大温哥华举行的第八届ICCV上发表的“Robust real-time objectdetection”一文中提出的。该算法基于Harr-Iike特征来描述人脸，并利用Adboost算法选择最能代表人脸的矩形特征，从而形成弱分类器。然后，利用加权投票的方式将这些弱分类器串联成一个级联分类器。之后，使用这个级联分类器，遍历图像中的每个位置，以在多种尺度上判断每个位置上的矩形区域是否是人脸区域，最后将重叠的人脸候选区域合并，得出最终人脸区域。

对于基于多相机的人脸检测技术，研究者们普遍关注于如何从多相机中检测并跟踪同一人脸，而忽视了从多相机所得到的多视角的人脸图像中优选准正面人脸图像的研究。在这些现有方法中，比较著名的如美国伊力诺依大学的张震球等人利用多个相机采集智能(Smart)房间中的人物图像，并利用时空关系来检测人脸。根据该人脸检测技术，首先利用分布在房间中相机来分别采集一个场景中的图像。采集到的图像被送到一个单相机多视角人脸检测算法模块中，以便检测人脸区域。然后，根据检测到的人脸区域在多个相机中的时间信息，以及不同相机之间的投影关系，通过人脸跟踪的方法确定最终检测到的人脸。

然而，尽管上述方法在一定程度上能够较为有效的检测出人脸，但是在实际应用中，还存在一些限制和缺点。主要表现在：

首先，对于目前最为普遍的基于单相机的人脸检测技术，其缺点在于对于非正面人脸图像，检测正确率大大降低或漏检。在具体应用中问题在于，只有当人们正对着相机时才能够捕获正面图像，而实际的情况并不总能满足这一点。例如在一些门禁应用中，可以要求用户的脸面向相机，从而比较容易地采集到准正面人脸图像。然而，在另一些场合中，诸如公共场所，要求人脸始终面对相机就很不现实，这种情况下人脸就会出现各种各样的姿态，检测率必然会下降。因此，如何保证人脸检测系统尽可能地获得人脸的正面图像是系统可靠工作的重要条件。

其次，现有的基于多相机的人脸检测方法，尽管有多个相机对着被检测对象，使得捕获人脸的正面图像的机率增大，获得人脸的正面图像或准正面图像相对容易，可是现有方法只是专注于检测并跟踪同一人脸的问题，并没有实时给出准正面人脸图像，即没有解决准正面人脸的实时优选问题，因此，在基于多相机的人脸检测技术中，多个相机在同一时刻会捕获相同人脸的不同方向的图像，如何从中选取最优准正面人脸图像是问题的关键所在。

因此，本领域的技术人员致力于开发一种针对多相机系统进行实时且准确自动优选准正面人脸图像的技术。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题如何在多相机的情况下，鉴别人脸面对相机的程度。

为实现上述目的，本发明提供了一种基于多相机的准正面人脸图像实时优选方法，包括下列步骤：

步骤1，主线程从每个相机获取人脸图像；

步骤2，所述主线程为每个所述人脸图像分配一个子线程；

步骤3，每个所述子线程采用人脸检测方法进行搜索检测，判断所述人脸图像中是否有人脸；

步骤4，所述子线程一旦检测到人脸区域，则采用CT算法进行人脸跟踪；

步骤5，所述子线程采用SDM算法匹配特征点，并给出匹配度值；

步骤6，所述主线程连续比较每个所述子线程的所述匹配度值，选取所述匹配度值最大的所述线程所对应的所述人脸图像作为输出。

进一步地，相机数优选为3台。

进一步地，所述匹配度值取值范围为0.0到1.0。

进一步地，所述CT算法包含下列步骤：

步骤1，采用一种稀疏矩阵实现原始图像信号的降维；

步骤2，在目标图像区域周围选取一些正样本，在远离目标图像的区域选取一些负样本；

步骤3，采用同一个所述稀疏矩阵进行投影变换，将得到的特征向量用于更新分布参数；

步骤4，采用一种朴素贝叶斯分类器预测下一帧目标图像区域的位置；

所述降维表达为v＝Rx；所述稀疏投影矩阵表示为

所述朴素贝叶斯分类器表示为

$H\left(v\right)=\log \left(\frac{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=1)p(y=1)}{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=0)p(y=0)}\right)={\mathrm{\Σ}}_{i=1}^n\log \left(\frac{p\left(v_i\right|y=1)}{v_i|y=0}\right).$

进一步地，所述SDM算法分为两个阶段：事前训练阶段和实时检测阶段。

进一步地，所述事前训练阶段以人脸图像SIFT特征为特征提取向量，采用大样本量的图像数据库作为训练数据源，对人脸检测器进行训练。

进一步地，所述实时检测阶段包含下列步骤：

步骤1，根据前一帧的特征点位置和特征值，以及通过所述事前训练阶段已训练出来的收敛方向，检测并定位当前帧的特征点位置；

步骤2，采用特征相似度计算给出前一帧与当前帧的所述匹配度值；

步骤3，采用余弦相似度法进一步校正所述匹配度值。

为实现上述目的，本发明还提供了一种基于多相机的准正面人脸图像实时优选系统，包括图像采集模块和软件处理模块，所述图像采集模块和软件处理模块之间采用有线连接或无线连接。

进一步地，所述软件处理模块执行下列步骤：

步骤1，主线程从每个相机获取人脸图像；

步骤2，所述主线程为每个所述人脸图像分配一个子线程；

步骤3，每个所述子线程采用人脸检测方法进行搜索检测，判断所述人脸图像中是否有人脸；

步骤4，所述子线程一旦检测到人脸区域，则采用CT算法进行人脸跟踪；

步骤5，所述子线程采用SDM算法匹配特征点，并给出匹配度值；

步骤6，所述主线程连续比较每个所述子线程的所述匹配度值，选取所述匹配度值最大的所述线程所对应的所述人脸图像作为输出。

进一步地，所述图像采集系统为三个或三个以上的相机。

本发明所公开的基于多相机的准正面人脸准图像自动优选的方法及系统，包括可调整角度的三相机系统和多线程计算人脸正面朝向匹配度的软件系统，其中软件系统一旦检测到人脸区域，则采用CT算法进行人脸跟踪，同时，采用SDM算法匹配特征点，并给出匹配度(confidence score)数据。匹配度取值范围为(0.0～1.0)，其大小直接显示了人脸的正面朝向程度，其值越大，表示人脸越趋于正面朝向。在主线程中，算法通过不间断地比较三个线程的匹配度值，选取匹配度值最大的图像作为系统的输出，来实现准正面人脸图像的实时自动优选。本发明所述方法和系统可用于人脸识别跟踪系统的信息预处理，为后续的分析处理提供良好的准正面人脸图像数据。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

值得注意的是，附图5、6、7分别展示运行时自动切换显示不同相机的准正面人脸图像。图中，上面一排的图像分别来自右、中、左三个相机，下排左侧是系统外第三方相机记录的整体实验场景，下排右侧是系统运行时实时输出的准正面人脸图像。

附图说明

图1是本发明的一个较佳实施例的多线程优选算法流程示意图；

图2是本发明的一个较佳实施例的三相机系统为例的系统框架结构示意图；

图3是本发明的一个较佳实施例的安装相机的转角组件示意图；

图4是本发明的一个较佳实施例的SDM算法训练过程示意图；

图5是本发明的一个较佳实施例的系统运行时切换输出正面相机图像的示意图；

图6是本发明的一个较佳实施例的系统运行时切换输出左面相机图像的示意图；

图7是本发明的一个较佳实施例的系统运行时切换输出右面相机图像的示意图。

具体实施方式

本发明以一种三相机系统为例，阐述人脸在水平和垂直两个方向分别转动时自动优选准正面人脸图像的过程，此例可以覆盖人脸120°转动范围。对于其他更大范围的准正面人脸图像获取需求，可以通过设置更多的相机来实现，在优选方法和系统原理方面与三相机系统相同，以下不再赘述。

本发明采用一种框架结构为三个相机提供安装平台(如图2所示)，相机采用普通网络摄像头。在实际测试中，待测对象坐在框架结构的正前方，初始姿态为面向正前方，其人脸转动范围为水平方向±60°，垂直方向±20°。在图2中，1、2、3分别为三个网络摄像头，分别安装在框架结构的中间和左右两边的支撑横梁上。通过安装在支撑横梁上的转角组件(如图3所示)，三个相机可以调整摄像角度，使拍摄视场对准预定的人脸出现区域。

本发明软件框架采用多线程技术，并行处理三个相机的图像，共开启三个分线程，每个分线程负责一个相机的图像处理。在每个分线程中，首先采用单相机人脸检测方法进行搜索检测，如图1所示。一旦检测到人脸区域，则采用CT算法进行人脸跟踪，同时，采用SDM算法匹配特征点，并给出匹配度(confidence score)数据。匹配度取值范围为(0.0～1.0)，其大小直接显示了人脸的正面朝向程度，其值越大，表示人脸越趋于正面朝向。在主线程中，算法通过不间断地比较三个线程的匹配度值，选取匹配度值最大的图像作为系统的输出，来实现准正面人脸图像的实时自动优选。

CT算法：图像或者音频数据是一种信息高度冗余的信号数据。基于压缩感知理论，采用一种满足约束等距性(Restricted isometry property,RIP)条件的投影矩阵，通过原始信号与投影矩阵的乘积获得原始信号的线性投影测量，即原始信号的稀疏表示；且该线性投影能够保持信号的原始结构，可以通过重构算法实现原始信号的重构。因此，CT算法采用一种稀疏矩阵实现原始图像信号的降维，如式(1),其中稀疏投影矩阵如式(2)：

v＝Rx                       (1)

在实现跟踪时，CT首先在目标图像区域周围选取一些正样本，在远离目标图像的区域选取一些负样本，采用同一个稀疏矩阵进行投影变换，将得到的特征向量用于更新分布参数，然后采用一种朴素贝叶斯分类器预测下一帧目标图像区域的位置，如式(3)所示，从而实现目标的实时跟踪。

$H\left(v\right)=\log \left(\frac{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=1)p(y=1)}{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=0)p(y=0)}\right)={\mathrm{\Σ}}_{i=1}^n\log \left(\frac{p\left(v_i\right|y=1)}{v_i|y=0}\right)---\left(3\right)$

CT算法跟踪目标具有速度快，鲁棒性强的特点，特别适合缓变背景下的目标跟踪场合。

SDM算法：该算法在实现方面分为两个阶段：事前训练阶段和实时检测阶段。

A、事前训练阶段

该算法以人脸图像SIFT特征为特征提取向量，采用大样本量的图像数据库作为训练数据源，对人脸检测器进行训练。样本数据库的图像都包含有人工标识的特征点真值，人脸检测器通过训练将可以找到由特征点初始位置到特征点真值位置的最优方向,并生成检测器库，供实时检测使用。

该算法采用一种有指导的下降法最小化非线性最小二乘函数，从而避免了计算Jacobian或Hessian矩阵，大大减少了计算量，提高了算法的可实现性和实时性。

对于给定的某一图像m为像素数,表示图像的p个特征点，h表示SIFT特征提取函数，则表示提取特征点的SIFT特征。训练时，f(x₀)表示在初始位置x₀的SIFT特征值。由于训练时x₀的最优解x*已知，因此训练过程可描述为式(4)对Δx的最小化求解。

$f(x_0+\mathrm{\Δx})={\left|\right|h\left(d(x_0+\mathrm{\Δx})\right)-{\mathrm{\φ}}_{*}\left|\right|}_2^2---\left(4\right)$

其中，φ*＝h(d(x*))表示在人工标识的特征点处的SIFT特征值，且φ*和Δx已知。

具体地，SDM将在训练过程中得出一系列下降方向和尺度系数，从而产生从x₀收敛到x*的一系列更新值x_k+1＝x_k+Δx_k，首个更新值由特征向量φ₀和偏差b₀的线性组合表示，如式(5)所示。其中R₀为表示下降方向的投影矩阵。

Δx₁＝R₀φ₀+b₀                 (5)

x_k＝x_k-1+R_k-1φ_k-1+b_k-1               (6)

由此，对于每一步训练都可以由上一步得到的(R_k-1，b_k-1)计算得到新的(Δx_k,,φ_k)，然后通过计算和进而由式(7)得出新的R_k和b_k。

$\arg \underset{R_k,b_k}{\min }{\mathrm{\Σ}}_{d^i}{\mathrm{\Σ}}_{x_{*}^{\mathrm{di}}}{\left|\right|\mathrm{\Δ}{x}_{*}^{\mathrm{ki}}-R_k{\mathrm{\φ}}_k^l-b_k\left|\right|}^2---\left(7\right)$

上述训练迭代过程如图4所示。

B、实时检测阶段

根据前一帧的特征点位置和特征值，以及已训练出来的收敛方向，检测并定位当前帧的特征点位置，实现特征点的检测跟踪。同时按特征相似度计算给出前一帧与当前帧的特征匹配程度。对于SIFT特征点，其特征匹配相似度采用欧氏距离法与向量空间余弦相似度法相结合进行计算。首先采用欧式距离法，获取SIFT特征向量后,采用优先k-d树进行优先搜索来查找每个特征点的2近似最近邻特征点。在这两个特征点中,如果最近的距离除以次近的距离少于某个比例阈值,则接受这一对匹配点。降低这个比例阈值,SIFT匹配点数目会减少,但更加稳定。

然后，采用余弦相似度法进一步计算。由于SIFT算法的鲁棒性,第一步匹配后大部分匹配点是正确的,其向量方向也大致相同,所以可以认为偏离这个方向的匹配点为误匹配点。余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。相似度度量的值越小，说明个体间相似度越小，差异越大。如公式(8)所示：

$\mathrm{similarity}(X,Y)=\cos \left(\mathrm{\θ}\right)=\frac{\stackrel{\→}{x}\·\stackrel{\→}{y}}{\left|\right|x\left|\right|\·\left|\right|y\left|\right|}---\left(8\right)$

相似度计算结果即可作为特征匹配度(confidence score)输出数据。图5是本发明的一个较佳实施例的系统运行时切换输出正面相机图像的示意图，图6是本发明的一个较佳实施例的系统运行时切换输出左面相机图像的示意图，图7是本发明的一个较佳实施例的系统运行时切换输出右面相机图像的示意图，可以看出本发明所述系统能正确输出人脸正面图像。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于多相机的准正面人脸图像实时优选方法，其特征在于，包括下列步骤：

步骤1，主线程从每个相机获取人脸图像；

步骤2，所述主线程为每个所述人脸图像分配一个子线程；

步骤3，每个所述子线程采用人脸检测方法进行搜索检测，判断所述人脸图像中是否有人脸；

步骤4，所述子线程一旦检测到人脸区域，则采用CT算法进行人脸跟踪；

步骤5，所述子线程采用SDM算法匹配特征点，并给出匹配度值；

步骤6，所述主线程连续比较每个所述子线程的所述匹配度值，选取所述匹配度值最大的所述线程所对应的所述人脸图像作为输出。

2.如权利要求1所述的一种基于多相机的准正面人脸图像实时优选方法，其特征在于，相机数优选为3台。

3.如权利要求1所述的一种基于多相机的准正面人脸图像实时优选方法，其特征在于，所述匹配度值取值范围为0.0到1.0。

4.如权利要求1所述的一种基于多相机的准正面人脸图像实时优选方法，其特征在于，所述CT算法包含下列步骤：

步骤1，采用一种稀疏矩阵实现原始图像信号的降维；

步骤2，在目标图像区域周围选取一些正样本，在远离目标图像的区域选取一些负样本；

步骤3，采用同一个所述稀疏矩阵进行投影变换，将得到的特征向量用于更新分布参数；

步骤4，采用一种朴素贝叶斯分类器预测下一帧目标图像区域的位置；

所述降维表达为v＝Rx；所述稀疏投影矩阵表示为

所述朴素贝叶斯分类器表示为

$H\left(v\right)\log \left(\frac{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=1)p(y=1)}{{\mathrm{\Π}}_{i=1}^{n}p\left(v_i\right|y=0)p(y=0)}\right)={\mathrm{\Σ}}_{i-1}^n\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right).$

5.如权利要求1所述的一种基于多相机的准正面人脸图像实时优选方法，其特征在于，所述SDM算法分为两个阶段：事前训练阶段和实时检测阶段。

6.如权利要求5所述的一种基于多相机的准正面人脸图像实时优选方法，其特征在于，所述事前训练阶段以人脸图像SIFT特征为特征提取向量，采用大样本量的图像数据库作为训练数据源，对人脸检测器进行训练。

7.如权利要求5所述的一种基于多相机的准正面人脸图像实时优选方法，其特征在于，所述实时检测阶段包含下列步骤：

步骤1，根据前一帧的特征点位置和特征值，以及通过所述事前训练阶段已训练出来的收敛方向，检测并定位当前帧的特征点位置；

步骤2，采用特征相似度计算给出前一帧与当前帧的所述匹配度值；

步骤3，采用余弦相似度法进一步校正所述匹配度值。

8.一种基于多相机的准正面人脸图像实时优选系统，其特征在于，包括图像采集模块和软件处理模块，所述图像采集模块和软件处理模块之间采用有线连接或无线连接。

9.如权利要求8所述的一种基于多相机的准正面人脸图像实时优选系统，其特征在于，所述软件处理模块执行下列步骤：

步骤1，主线程从每个相机获取人脸图像；

步骤2，所述主线程为每个所述人脸图像分配一个子线程；

步骤3，每个所述子线程采用人脸检测方法进行搜索检测，判断所述人脸图像中是否有人脸；

步骤4，所述子线程一旦检测到人脸区域，则采用CT算法进行人脸跟踪；

步骤5，所述子线程采用SDM算法匹配特征点，并给出匹配度值；

步骤6，所述主线程连续比较每个所述子线程的所述匹配度值，选取所述匹配度值最大的所述线程所对应的所述人脸图像作为输出。

10.如权利要求8所述的一种基于多相机的准正面人脸图像实时优选系统，其特征在于，所述图像采集系统为三个或三个以上的相机。