CN102521581B - 结合生物特征与局部图像特征的并行人脸识别方法 - Google Patents

Abstract

本发明涉及一种结合生物特征与局部图像特征的并行人脸识别方法，包括1)视频数据导入；2)判断是否可读取下一帧图像，若为是，执行步骤3)，若为否，执行步骤18)；3)将帧图像数据传输给显卡中的显存内，同时将人脸检测代码发送给显卡的处理器中；4)显卡中处理器对显存中的帧图像进行人脸检测，并判断是否检测到人脸，若为是，执行步骤5)，若为否，返回步骤2)；5)选取检测到的人脸图像，记作F，并初始化粗匹配点数Mr和精匹配点数Me，即Mr＝0和Me＝0等步骤。与现有技术相比，本发明具有适用范围广、实现成本低、识别精度高等优点。

Description

结合生物特征与局部图像特征的并行人脸识别方法

技术领域

本发明涉及一种人脸识别方法，尤其是涉及一种结合生物特征与局部图像特征的并行人脸识别方法。

背景技术

视频分析技术，是一种计算机图像视觉分析技术，通过将场景中背景和目标分离，进而分析并追踪在监控视频场景内出现的目标，可以部分替代人工盯屏幕或人工检索录像，实现实时甚至是高速的检索，对促进社会安定、保障广大人民生命财产的安全，有着重要意义。

人脸识别技术，是智慧视频分析技术的重要组成部分，自动在监控视频图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术处理，包括人脸图像采集、人脸定位、人脸识别预处理、记忆存储和比对辨识，达到识别不同人身份的目的。

目前，常见的人脸识别技术有三种：

(1)可见光图像的人脸识别技术，有30多年的研发历史，是目前得到较广泛应用的人脸识别系统，如门禁、考勤、证件核对等，其技术核心有两种：一种主要是基于对人脸的生物特征进行比对，如五官间的距离等等，其优势是精度较高，缺点是对图像质量要求较高；一种是基于图像特征点提取与匹配的方法，通常具有尺度不变性等优势，但由于缺少有意义的条件约束，困难在于如何减少特征点误匹配。

视频相对于图像而言，分辨率低，容易受到光线、阴影等环境因素的影响，人物处于自然运动状态。传统的生物特征检测难以发挥作用；基于特征点的方法中，SIFT以其尺度不变性受到重视，不同距离对特征点匹配的影响得到研究，很多研究集中于特定人脸数据库。对于不同分辨率、生物特征约束、匹配评价自适应方面的研究则较少。

(2)三维图像人脸识别技术，采用两台或多台摄像机，获取脸部数据，基于三维重建技术得到人脸三维结构，对戴眼镜、贴胡子等有意识地改变具有较好的鲁棒性，近年来在日本与以色列在此领域取得较大进展，并在一些对安全要求较高的应用领域得到青睐。但对现有的视频监控系统而言，需要增加硬设备；摄像机需要标定和畸变校正，且一旦位置移动，则需要重新标定，这必须要有专业人员才能实施。三维图像人脸识别技术可以在一定程度上解决光照问题，但缺点也很明显，一是采集设备极其复杂和昂贵；二是无法和现有可见光人脸图像数据兼容，这些都大大限制了它们的应用，阻碍了三维图像方法成为人脸识别主流技术。

(3)主动近红外图像的人脸识别技术，该技术在不同光线条件下，能够拍摄不受环境光照变化影响的近红外人脸图像，能够在人脸左右旋转90度以上、或人脸被部分遮挡时，快速稳定流畅地进行人脸跟踪，能同时识别场景范围内的多张人脸。在精度、稳定性和速度方面的整体系统性能超过三维图像人脸识别，并且在红外图像对可见光图像混合识别的研究也取得了突破进展，使其可以和现有可见光人脸数据兼容。中科院自动化研究所李子青等人研发的相关系统在上海世博会应用于身份鉴别，取得较好效果，缺点是需要专门的红外采集设备，对现有的视频监控系统进行改造或新建，费用相当昂贵，普及起于来有较大困难。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适用范围广、实现成本低、识别精度高的结合生物特征与局部图像特征的并行人脸识别方法。

本发明的目的可以通过以下技术方案来实现：

一种结合生物特征与局部图像特征的并行人脸识别方法，其特征在于，包括以下步骤：

1)视频数据导入；

2)判断是否可读取下一帧图像，若为是，执行步骤3)，若为否，执行步骤18)；

3)将帧图像数据传输给显卡中的显存内，同时将人脸检测代码发送给显卡的处理器中；

4)显卡中处理器对显存中的帧图像进行人脸检测，并判断是否检测到人脸，若为是，执行步骤5)，若为否，返回步骤2)；

5)选取检测到的人脸图像，记作F，并初始化粗匹配点数Mr和精匹配点数Me，即Mr＝0和Me＝0；

6)从标准数据库中的选取相同人脸的标准图像，并将其像素大小调整到与检测到的人脸图像F相同，将调整后的标准图像记作P；

7)检测F和P的眼睛位置，根据各自眼睛之间的连线和该连线的中垂线分别将F和P分成四个部分；

8)计算F的SIFT特征点集，记作X＝{Xi|＝0，…，n}，同时计算P的的SIFT特征点集，记作Y＝{Yj|j＝0，…，m}；

9)判断i是否小于n，若为是，执行步骤10)，若为否，返回步骤4)；

10)计算Xi与Y中的任意点之间的距离，并从小到大顺序排列，记作Di＝{Dik|k＝0，...，m}；

11)判断Di0＜d&&Di0/Di1＜dd是否成立，若为是，执行步骤12)，若为否，i++后返回步骤9)；

12)将Xi、Y(D0)、Di0、Di0/Di1进行存储，其中Y(D0)为Y中与Xi之间最近的特征点，并Mr++；

13)判断Xi、Y(D0)是否在脸部的同一区，若为是，执行步骤14)；若为否，执行步骤15)；

14)将Xi、Y(D0)、Di0、Di0/Di1进行存储，并Me++，i++，返回步骤9)；

15)判断Di1＜d&&Di1/Di2＜dd是否成立，若为是，执行步骤16)，若为否，i++后返回步骤9)；

16)判断Xi、Y(D1)是否在脸部的同一区，若为是，执行步骤17)，若为否，i++后返回步骤9)；

17)将Xi、Y(D1)、Di1、Di1/Di2进行存储，并Me++，i++，返回步骤9)；

18)各帧图片依据上述存储的数据进行排序，并输出结果。

所述的视频数据包括：视频文件或直接实时采样监控设备的视频数据，其中视频文件读取为关键帧，直接实时采样监控设备的视频数据读取的为采样到的每一帧图像。

所述的粗匹配点数为满足距离小于阈值d且顺序相邻的两匹配点距离比要小于阈值dd的特征点，所述的精匹配点数为满足粗匹配条件且要求匹配的点在面部同一区域。

所述的各帧图片进行排序，并输出结果具体为：

将各帧图片按照精匹配点数、匹配率从大到小排序，将满足精匹配点数、匹配率设定阈值的结果输入，其中匹配率为精匹配点数与总特征点数之比。

与现有技术相比，本发明具有以下优点：

(1)适用范围广，在普通视频(分辨率640*480，人脸50*50像素)，通过本发明方法可取得优秀的检索结果；

(2)实现成本低，本发明可在主流配置的PC上配置主流支持GPU运算的显卡，即可取得实时检索效果；

(3)识别精度高，通过进行精匹配来提高识别精度。

附图说明

图1为本发明的流程图；

图2为本发明的硬件结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种结合生物特征与局部图像特征的并行人脸识别方法，包括以下步骤：

1)视频数据导入；

2)判断是否可读取下一帧图像，若为是，执行步骤3)，若为否，执行步骤18)；

3)将帧图像数据传输给显卡中的显存内，同时将人脸检测代码发送给显卡的处理器中；

4)显卡中处理器对显存中的帧图像进行人脸检测，并判断是否检测到人脸，若为是，执行步骤5)，若为否，返回步骤2)；

5)选取检测到的人脸图像，记作F，并初始化粗匹配点数Mr和精匹配点数Me，即Mr＝0和Me＝0；

6)从标准数据库中的选取相同人脸的标准图像，并将其像素大小调整到与检测到的人脸图像F相同，将调整后的标准图像记作P；

7)检测F和P的眼睛位置，根据各自眼睛之间的连线和该连线的中垂线分别将F和P分成四个部分；

8)计算F的SIFT特征点集，记作X＝{Xi|＝0，…，n}，同时计算P的的SIFT特征点集，记作Y＝{Yj|j＝0，…，m}；

9)判断i是否小于n，若为是，执行步骤10)，若为否，返回步骤4)；

10)计算Xi与Y中的任意点之间的距离，并从小到大顺序排列，记作Di＝{Dik|k＝0，...，m}；

11)判断Di0＜d&&Di0/Di1＜dd是否成立，若为是，执行步骤12)，若为否，i++后返回步骤9)；

12)将Xi、Y(D0)、Di0、Di0/Di1进行存储，其中Y(D0)为Y中与Xi之间最近的特征点，并Mr++；

13)判断Xi、Y(D0)是否在脸部的同一区，若为是，执行步骤14)；若为否，执行步骤15)；

14)将Xi、Y(D0)、Di0、Di0/Di1进行存储，并Me++，i++，返回步骤9)；

15)判断Di1＜d&&Di1/Di2＜dd是否成立，若为是，执行步骤16)，若为否，i++后返回步骤9)；

16)判断Xi、Y(D1)是否在脸部的同一区，若为是，执行步骤17)，若为否，i++后返回步骤9)；

17)将Xi、Y(D1)、Di1、Di1/Di2进行存储，并Me++，i++，返回步骤9)；

18)各帧图片依据上述存储的数据进行排序，并输出结果。

其中步骤的解释如下：

视频图像源101

视频文件，或是直接实时采样自监控设备的视频数据，均可作为检测和识别对象。前者读取关键帧，后者读取采样到的每一帧图像。本发明特点在于针对普通摄像机取得的分辨率不高的视频进行识别。

粗匹配的改进--精匹配102

传统的特征点匹配，仅需满足距离小于阈值d、顺序相邻的两匹配点距离比要小于阈值dd即可，称之为粗匹配。

本发明加入了人脸区域约束，要求匹配的点必须在面部同一区域，如不满足，则找第二匹配点，再判断是不是满足上述条件。满足前述两个条件方能算是精匹配。

与一般寻求更多匹配点的方法不同，本发明更注重匹配点的质量，尽可能去除有问题的匹配点。

特征点求解新方法103

目前SIFT特征点的求解中，对金字塔层数、数量以及尺度因子均使用DAVIDLOWE提出此方法时给出的值，对用于匹配的两幅图均使用原始大小，未对这些参数值和匹配图像之间的关系进行分析和定制。

本发明考虑到源图与视频中的图的大小存在相当大的差异，通常是源图较大，因而首先将源图调整至视频中检测到的人脸的大小。经过反复实验，对应于视频中人脸大小范围，确定SIFT中的三个参数的最佳值，保证了特征点的有效性。

对于一幅灰度图像I(x，y)进行SIFT特征点检测和描述的方法如下：

一、SIFT特征点的检测

1、对灰度图象I(x，y)建立离散尺度空间，即用不同尺度的高斯核对图像进行卷积

L(x，y，σ_s)＝G(x，y，σ_s)*I(x，y)，(s＝0，1，...，S-1)

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2})$

其中*为二维卷积算子，相邻尺度大小满足σ_s＝kσ_s-1，0＜s＜S，k为常数。

2、将相邻尺度的卷积图像相减，得到高斯差分图像(Difference-of-Gaussian，或者DoG)

D(x，y，σ_s)＝L(x，y，σ_s+1)-L(x，y，σ_s)

            ＝(G(x，y，σ_s+1)-G(x，y，σ_s))*I(x，y)

3、在高斯差分图像中检测特征点，使得该点的数值大于(或小于)其在该尺度和两个相邻尺度中所有近邻的值。特征点所对应的尺度称为其特征尺度。

4、对于每个特征点p(x，y，σ)在尺度空间的邻域里进行二次拟合，

$D\left(x\right)=D+\frac{\∂D^T}{\∂x}x+\frac{1}{2}{x}^T\frac{{\∂}^{2}D}{\∂x^2}x,$ x＝(x，y，σ)

得到更精确的二维图像坐标和特征尺度

$\hat{x}=-\frac{{\∂}^2{D}^{-1}}{\∂x^2}\frac{\∂D}{\∂x}$

二、SIFT特征点的描述

1、根据特征点的特征尺度，在尺度空间中选择高斯卷积图像L(x，y，σ)，该图像在特征点周围的16×16的区域称为描述区域，该区域内的像素称为描述像素。首先计算所有描述像素的图像梯度和大小m(x，y)和方向θ(x，y)，

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)={\tan }^{-1}\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}$

2、通过对所有描述像素的梯度方向的统计分析得到最主要的方向，称为特征点的特征方向。所有描述像素的梯度方向经过关于特征方向的旋转，得到归一化梯度方向。

3、将特征点的描述区域分为4×4＝16个大小为4×4的子区域，将每个子区域内的归一化梯度方向分配到8个描述方向0°，45°，90°，135°，180°，225°，270°，315°，每个像素对于所分配到的描述方向的数值贡献，为其加权后的梯度大小。权重分为2部分，(1)高斯权重，该权重取决于描述像素到特征点的距离，(2)三线性权重，该权重取决于描述像素到相邻子区域中心的距离，以及其归一化梯度方向到相邻描述方向的距离。

4、将所有子区域的描述方向的数值按次序罗列，得到一个4×4×8＝128维的向量，对于该向量归一化后即得到特征点的描述向量。

综上，每个特征点由以下参数描述：二维图像坐标，特征尺度，特征方向，以及特征方向。

距离的阈值与距离比的阈值104

d为距离的阈值；

dd为距离比的阈值。

排序及输出结果105

排序顺序：精匹配点数，精匹配点数与总特征点数之比(匹配率)

输出：满足精匹配点数、匹配率大于预定阈值，且排序在前的若干结果

说明：特征点距离、特征点距离比、精匹配点数量、匹配率阈值的确定，与传统的匹配方法不同之处在于，上述参数的阈值通过样本训练获得：取一段同场景的视频，在已知正确匹配的情况下，调整参数至最佳。进一步的实验表明，上述参数在正常光照条件下，具备相当的稳定性。也就是说，参数可以适应大部分场景下的视频分析，无需频繁调整。

如图2所示，GPU和CPU结合的并行人脸检索模型

人脸检索分为人脸检测(包括眼睛检测及面部分区)、人脸识别(特征点计算与匹配)两部分。本发明采用了GPU+CPU的高度并行计算模型：

预处理201

将帧图像传送到显存，将基于CUDA的检测代码载入流多处理器SM，即GPU的计算核心。

基于GPU的人脸检测202

显卡GPU包含多个CUDA核心(SM*单SM的CUDA核心数，以GTX560为例，7*48＝336)，尤其擅长做大数据量整数运算，这和HARR人脸检测的运算相符。实验表明，HARR人脸检测占整个检索时间的70％以上。

本发明充分发挥GPU中多个CUDA核心的运算能力，将图像人脸检测算法转移至GPU中运行，同等配置的PC上，二者速度相差数十倍之上，实现了快速人脸检测与识别，实现了实时视频分析。

后处理203

将检测出的人脸拷贝到内存的待识别人脸缓冲。

待识别人脸缓冲的管理204

采用了“生产者/消费者模型”管理缓冲——“后处理”产生人脸数据，人脸识别读取人脸数据，实现检测和识别的并行，以及多个识别线程之间的并行。

人脸识别线程数量可根据检测线程的速度、CPU速度，以用希望的CPU的负担而自由调整。实验表明，在主流配置的PC机上，加上GTX560显卡，在占用50％CPU(包括操作系统)的情况下，获得近一倍于帧速的检测速度。

Claims (3)

1.一种结合生物特征与局部图像特征的并行人脸识别方法，其特征在于，包括以下步骤：

1）视频数据导入；

2）判断是否可读取下一帧图像，若为是，执行步骤3），若为否，执行步骤18）；

3）将帧图像数据传输给显卡中的显存内，同时将人脸检测代码发送给显卡的处理器中；

4）显卡中处理器对显存中的帧图像进行人脸检测，并判断是否检测到人脸，若为是，执行步骤5），若为否，返回步骤2）；

5）选取检测到的人脸图像，记作F，并初始化粗匹配点数Mr和精匹配点数Me，即Mr=0和Me=0；

6）从标准数据库中的选取相同人脸的标准图像，并将其像素大小调整到与检测到的人脸图像F相同，将调整后的标准图像记作P；

7）检测F和P的眼睛位置，根据各自眼睛之间的连线和该连线的中垂线分别将F和P分成四个部分；

8）计算F的SIFT特征点集，记作X=｛Xi|=0,…,n｝，同时计算P的的SIFT特征点集，记作Y=｛Yj|j=0,…,m｝；

9）判断i是否小于n，若为是，执行步骤10），若为否，返回步骤4）；

10）计算Xi与Y中的任意点之间的距离，并从小到大顺序排列，记作Di=｛Dik|k=0,…,m}；

11）判断（Di0<d）&&（Di0/Di1<dd）是否成立，若为是，执行步骤12），若为否，i++后返回步骤9）；

12）将Xi、Y（D0）、Di0、Di0/Di1进行存储，其中Y（D0）为Y中与X0之间最近的特征点，并Mr++；

13）判断Xi、Y（D0）是否在脸部的同一区，若为是，执行步骤14）；若为否，执行步骤15）；

14）将Xi、Y（D0）、Di0、Di0/Di1进行存储，并Me++，i++，返回步骤9）；

15）判断（Di1<d）&&（Di1/Di2<dd）是否成立，若为是，执行步骤16），若为否，i++后返回步骤9）；

16）判断Xi、Y（D1）是否在脸部的同一区，若为是，执行步骤17），若为否，i++后返回步骤9）；

17）将Xi、Y（D1）、Di1、Di1/Di2进行存储，并Me++，i++，返回步骤9）；

18）各帧图片依据上述存储的数据进行排序，并输出结果；

所述的粗匹配点数为满足距离小于阈值d且顺序相邻的两匹配点距离比要小于阈值dd的特征点，所述的精匹配点数为满足粗匹配条件且要求匹配的点在面部同一区域。

2.根据权利要求1所述的一种结合生物特征与局部图像特征的并行人脸识别方法，其特征在于，所述的视频数据包括：视频文件或直接实时采样监控设备的视频数据，其中视频文件读取为关键帧，直接实时采样监控设备的视频数据读取的为采样到的每一帧图像。

3.根据权利要求1所述的一种结合生物特征与局部图像特征的并行人脸识别方法，其特征在于，所述的各帧图片进行排序，并输出结果具体为：

将各帧图片按照精匹配点数、匹配率从大到小排序，将满足精匹配点数、匹配率设定阈值的结果输出，其中匹配率为精匹配点数与总特征点数之比。

Images