CN106778704A - 一种人脸识别匹配方法及半自动化人脸匹配系统 - Google Patents

Abstract

本发明公开了一种人脸检测和人脸匹配识别方法及半自动化人脸匹配识别系统，属于图像处理技术领域。人脸检测和人脸匹配识别方法包括获取图像、生成颜色分割图像、判断是否人眼区域和嘴巴区域进行细定位、匹配识别的训练和测试图像部分；所述获取图像部分包括启动摄像头，采用背景差分的方式获取摄像头前的移动的人脸图像，所述生成颜色分割图像部分包括采用YCrCb颜色分割算法对图像处理；所述细定位部分包括对图像人脸区域是否包含人眼和嘴巴进行判断；所述匹配识别图像部分包括特征脸识别算法提取图像特征值进行分析，同时对原始图像与待识别图像同时处理。

Description

一种人脸识别匹配方法及半自动化人脸匹配系统

技术领域

本发明涉及图像处理领域，具体涉及图像中人脸区域的分割与定位及图像中人脸的识别与匹配方法及系统的实现。

背景技术

现有技术采用相应的matlab软件实现人脸数据的建模，本文构建人脸图像的特征脸，将人脸图像数据化，对收集的离散数据合理的进行三维建模，为人脸图像数据的采集方法提供新的思路。现有技术人脸识别算法在lwf数据库中数据对比结果准确度为99.7％，准确度较高，但实际应用过程中的人脸识别效果受外界因素的影响较大，难以实现较高的准确度，该作品通过多种算法实现人脸识别功能，同时对准确度进行对比，同时应用于实际选择准确度最高的进行实际开发。因此，此技术还有待于改进和发展。

发明内容

针对现有技术的不足，本专利提供人脸定位检测方法和人脸识别匹配方法同时提供一种基于上述方法实现的半自动化人脸识别系统。

为了实现上述目的，本发明解决其技术问题所采用的技术方案是：人脸定位检测方法和人脸识别匹配方法，包括以下步骤:(1)获取一个或多个清晰人脸区域的彩色图像；(2)检测到的图像生成YCrCb颜色分割图像，其中生成图像基于检测到的图像；(3)判断图像中人脸区域是否包含较为明显的人眼区域和嘴巴区域，并且人眼区域为两个，嘴巴区域水平位置介于两个人眼区域之间；(4)匹配识别的训练和测试图像包含多组每组同一个人的多幅正面图像，训练图像生成的特征脸图像基于同一个人的多幅正面图像。

步骤(1)进一步包括，使用matlab软件启动摄像头设备，设置帧数间隔为5，采用背景差分的方式获取摄像头前的移动的人脸图像并进行存储。

进一步，背景差分方式包括原始图像数据和转化灰度图像做差、中值、图像增强、求全局阈值、二值化处理、填充空洞、标记二值化图、连通域处理、面积比较、获取图像。

步骤(2)进一步包括，获取RGB格式图像采用YCrCb颜色空间分割算法转换至YCrCb颜色空间，Y表示明亮度，Cr与Cb表示色度，Cr反映输入信号红色部分与RGB信号亮度值之间的差异，Cb反映输入信号蓝色部分与RGB信号亮度值之间的差异。原始图像中的人脸区域的肤色影响YCrCb图像中Cr、Cb值的范围，Cr∈(105,127)，Cb∈(137,162)为正常的人脸区域。

步骤(2)进一步包括，RGB转换为YCrCb的具体公式为：

y1＝65.481*r+128.553*g+24.966*b+16；y＝y1/256；cr1＝-37.797*r-74.203*g+112*b+128；cr＝cr1/256；cb1＝112*r-93.786*g-18.214*b+128；cb＝cb1/256。

步骤(3)进一步包括，通过步骤(2)将图像转换为YCrCb格式的图像，判断人脸的区域后转换为二值化图像，Cr∈(105,127)，Cb∈(137,162)的范围二值化图像的值为1，其余部分为0。

步骤(3)进一步包括，对二值化图像值为1的连通域进行标记，并取能完整包含连通域的且长宽和原始图像平行的最小矩形，并记录矩形的长宽值与位置，计算矩形的长宽的比值，如果比值r∈(0.6,2)，判断该矩形区域为粗定位的人脸区域。

步骤(3)进一步包括，分别对粗定位的人脸区域进行判断，选取其中一个区域，记录并标记二值化图像值为0的连通域，同样取最小矩形记录矩形的位置，设置条件：高度在粗定位人脸区域上部的矩形数目为2，判断为该区域存在人眼；高度在粗定位人脸区域下部的矩形数目为1且宽度介于人眼矩形之间，判断为该区域存在嘴巴。条件同时满足则该区域为细定位的人脸区域。

步骤(3)进一步包括，根据细定位人脸区域的最小矩形的长宽和位置坐标在原始图像中做红色矩形框记录，并提取图像生成新图像，排除原始图像中的非人脸区域，提高人脸匹配识别的准确率。

步骤(4)进一步包括，将步骤(3)细识别的后图像进行提取与分类，分类具体包括人脸识别匹配的训练图像和测试图像，训练图像同一个人脸提取表情不同的图像个数至少为5且不同图像人脸区域的亮度影响图像特征值提取等因素无明显差异，将训练图像数据存储在数据库中。

进一步，测试图像经过步骤(2)(3)的提取后排除背景区域，并经过图像的压缩变换将待识别匹配图像的像素压缩为112×92。

步骤(4)进一步包括，训练图像输入的数据作为待识别的人脸数据在计算机中进行保存，训练图像应该满足尽量要求数目较多、亮度变化范围较小、相同人脸不同表情数目多等条件。

步骤(4)进一步包括，训练集中大小为m×n图像记为I_i，每个图像的列相连构成d＝m×n维的列向量。得到{X_i}为第i图像形成的人脸向量，

特征向量对应的图像称为特征脸。

步骤(4)进一步包括，得到特征脸和相应数据后，较大的特征值对应图像的主要人脸结构，而较小的特征值对应噪声等不确定因素，选取前k个最大特征值对应的特征向量计算训练样本集在前k个轴上的能量占整个能量的比例记为α，通常取90％，同时求出训练图像的特征集。

步骤(4)进一步包括，训练样本集在前k个轴上的能量占整个能量的比例α通常计算方法为：

步骤(4)进一步包括，把待识别的人脸图像Γ投影到特征脸空间，得到特征向量，同时定义距离阈值与每个人脸的距离，计算原始图像和特征重建图像的距离。

步骤(4)进一步包括，在满足原始图像和特征重建图像的距离小于距离阈值时，输入图像为训练集中对应的其中一个人脸。

本发明还提供了一种半自动化的人脸识别系统，包括如下模块：原始图像输入模块，通过相关按钮设置或其他方法确认输入原始图像后输入相关的初始密码开始输入原始图像，调用摄像头功能采用背景差分法对图像确定图像中包含人脸后获取图像，经过定位检测后提取人脸区域，获取光照条件相似的多幅不同表情的人脸图像；原始图像数据保存模块，同一人的多幅图像和计算特征脸向量并构建的特征重建图像分类存储在计算机中；待识别人脸图像输入模块，通过相关按钮设置或其他方法确定进行人脸图像的匹配识别，调用摄像头功能同理获取图像并检测定位，细定位后将人脸区域压缩；待识别人脸图像匹配识别模块，校正后投影在特征脸空间，计算其与原始图像库中特征重建图像的距离，小于相关的阈值后匹配成功；深入识别匹配模块，计算待识别图像与匹配成功的特征重建图像的原始图像的距离，小于相关的阈值后深入匹配成功；阈值设定模块，人为设定或采用多幅图像训练的方式计算阈值进行设定；预备模块，人为设定密码避免出现阈值设定不合理或者光照条件较差等情况下系统的正常使用。

本发明的优点在于：人脸检测方法可以有效的排除图像中非人脸的背景区域，保证之后步骤的特征值的有效提取。人脸匹配识别方法较准确的对不同人脸图像进行匹配识别，进而判断待识别图像是否为原始输入人脸图像。提供的半自动化系统仅需人工操作输入图像的步骤，其余步骤通过计算机实现，方便用户的日常生活，给用户提供良好的体验。

附图说明

图1为本发明人脸定位检测和人脸匹配识别的流程图。

图2位本发明人脸匹配识别系统的模块结构示意图。

具体实施方式

下面附图对本发明提供的人脸定位检测与匹配识别方法及系统做详细说明。

图1为人脸定位检测与匹配识别方法，本发明提供方法具体包括如下步骤：步骤S11、调用计算机设备获取：matlab软件启动摄像头设备，设置帧数间隔，采用背景差分的方式获取摄像头前的移动的人脸图像并进行存储。步骤S12、将待处理的图像由RGB颜色空间转化到YCrCb颜色空间，通过判断Cr与Cb值的范围来确定人脸区域并转化为二值化图像进行人脸粗定位。步骤S13、对粗定位人脸图像人眼区域和嘴巴区域进行检测实现图像人脸区域细定位并提取图像。步骤S14细定位成功的训练与测试图像采用特征脸识别算法进行匹配识别。

步骤S11、采用matlab软件启动摄像头设备，设置帧数间隔，采用背景差分的方式获取摄像头前的移动的人脸图像并进行存储。

背景差分法作为目前运动检测中最常用的一种方法，利用当前图像与背景差分来检测出来运动区域的一种模式，该算法首先选取背景中的一幅或几幅图像的平均作为背景图像，然后把序列图像当前帧和背景图像相减，进行背景小区，若得到的像素数大于某一阈值，则判定当前场景中有物体。具体程序设计时包括原始图像数据和转化灰度图像做差、中值、图像增强、求全局阈值、二值化处理、填充空洞、标记二值化图、连通域处理、面积比较、获取图像。

步骤S12、将待处理的图像由RGB颜色空间转化到YCrCb颜色空间，通过判断Cr与Cb值的范围来确定人脸区域并转化为二值化图像进行人脸粗定位。

YCrCb颜色空间中Y表示明亮度，Cr与Cb表示色度，Cr反映输入信号红色部分与RGB信号亮度值之间的差异，Cb反映输入信号蓝色部分与RGB信号亮度值之间的差异。原始图像中的人脸区域的肤色影响YCrCb图像中Cr、Cb值的范围，Cr∈(105,127)，Cb∈(137,162)为正常的人脸肤色范围，该区域为人脸区域。

通过将图像转化至YCrCb颜色空间中判断人脸区域后将图像二值化，人脸区域的值为1，非人脸区域的值为0。

对二值化图像值为1的连通域进行标记，并取能完整包含连通域的且长宽和原始图像平行的最小矩形，并记录矩形的长宽值与位置，计算矩形的长宽的比值，如果比值r∈(0.6,2)，判断该矩形区域为粗定位的人脸区域。

步骤S13、对粗定位人脸图像人眼区域和嘴巴区域进行检测实现图像人脸区域细定位并提取图像。

根据细定位人脸区域的最小矩形的长宽和位置坐标在原始图像中做红色矩形框记录，并提取图像生成新图像，排除原始图像中的非人脸区域，提高人脸匹配识别的准确率。同时将二值化图像定位出的人眼和嘴巴的位置记录在提取的图像中，作为人脸识别匹配特征脸中特征值较大的区域。

步骤S14、细定位成功的训练与测试图像采用特征脸识别算法进行匹配识别。

细识别的后图像进行提取与分类，分类具体包括人脸识别匹配的训练图像和测试图像，其中测试图像与训练图像进行匹配实现人脸识别匹配。

训练图像输入的数据作为待识别的人脸数据在计算机中进行保存，训练图像应该满足尽量要求数目较多、亮度变化范围较小、相同人脸不同表情数目多等条件。

训练集中大小为m×n图像记为I_i，每个图像的列相连构成d＝m×n维的列向量。得到{X_i}为第i图像形成的人脸向量，特征向量对应的图像称为特征脸。

得到特征脸和相应数据后，较大的特征值对应图像的主要人脸结构，包括人脸结构中的人眼和嘴巴区域，而较小的特征值对应噪声等不确定因素，选取前k个最大特征值对应的特征向量计算训练样本集在前k个轴上的能量占整个能量的比例记为α，通常取90％，同时求出训练图像的特征集。训练图像在特征脸空间投影系数为Ω_i。

训练样本集在前k个轴上的能量占整个能量的比例α通常计算方法为：

计算训练样本的均值向量：

待识别的人脸图像Γ投影到特征脸空间，得到特征向量

定义距离阈值与每个人脸的距离。

距离阈值为：

每个人脸的距离为：

ε_i ²＝||Γ-X_i||

计算原始图像和特征重建图像的距离

在满足原始图像和特征重建图像的距离小于距离阈值时，输入图像为训练集中对应的其中一个人脸。

图2为人脸定位检测与匹配识别系统，本发明提供方法具体包括如下步骤：原始图像输入模块S21；原始图像数据保存模块S22；待识别人脸图像输入模块S23；待识别人脸图像匹配识别模块S24；深入识别匹配模块S25；阈值设定模块S26；预备模块S27。

原始图像输入模块S21，通过相关按钮设置或其他方法确认输入原始图像后输入相关的初始密码开始输入原始图像，调用摄像头功能采用步骤11的背景差分法对图像确定图像中包含人脸后获取图像，经过定位检测后提取人脸区域，获取光照条件相似的多幅不同表情的人脸图像。

原始图像数据保存模块S22，同一人的多幅图像和计算特征脸向量并构建的特征重建图像分类存储在计算机中。

待识别人脸图像输入模块S23通过相关按钮设置或其他方法确定进行人脸图像的匹配识别，调用摄像头功能同理获取图像并检测定位，细定位后将人脸区域压缩。

待识别人脸图像匹配识别模块S24，校正后投影在特征脸空间，计算其与原始图像库中特征重建图像的距离，小于相关的阈值后匹配成功。

深入识别匹配模块S25，计算待识别图像与匹配成功的特征重建图像的原始图像的距离，小于相关的阈值后深入匹配成功。

阈值设定模块S26，人为设定或采用多幅图像训练的方式计算阈值进行设定。

预备模块S27，人为设定密码避免出现阈值设定不合理或者光照条件较差等情况下系统的正常使用。

上述各模块中操作方法与提供的方法中各步骤相呼应。

对于本领域技术人员而言，本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化包括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种人脸检测及人脸识别匹配方法，包括如下部分：

a)人脸图像获取部分；所述人脸图像获取部分通过调用电脑的摄像头功能获取人脸图像。

b)人脸图像定位检测部分及人脸图像识别匹配部分；所述人脸图像定位检测部分包括颜色空间分割的人脸粗检测和人脸区域细检测，所述人脸图像识别匹配部分包括特征脸人脸识别匹配；其特征在于：人脸图像定位检测部分通过对粗定位的区域是否含有人脸必要的人眼和嘴巴区域进行细定位，同时提取图像并排除图像中非人脸区域；所述人脸图像识别匹配部分通过对定位提取后的图像投射到特征脸空间中并与待匹配的图像特征向量的距离计算实现匹配识别。

2.根据权利要求1所述人脸图像获取方法，其特征在于：通过matlab代码实现调用摄像头功能并对人脸区域进行定位之后进行拍摄。

3.根据权利要求1或2所述人脸图像获取方法，其特征在于：以第一张背景图像为基准，采用背景差分的方法进行电脑摄像头中的运动物体的检测。

4.根据权利要求1所述人脸图像定位检测方法，其特征在于：所述人脸图像粗定位检测采用YCrCb颜色分割。

5.根据权利要求1所述人脸图像定位检测方法，其特征在于：所述人脸图形细定位检测是基于人脸图像粗定位基础上判断粗定位的区域是否含有人脸所必备的人眼和嘴巴等要素。

6.根据权利要求1所述人脸图像定位检测方法，其特征在于：对待检测的图片中人脸区域的形状和大小有一定限制，如人脸区域长度与宽度的比值介于0.6至2之间，人脸区域的长度和宽度在10个像素点之上，面积在100个像素点之上。

7.根据权利要求1所述人脸图像定位检测方法，其特征在于：对待检测的人脸图像的细定位中人脸图像为人脸的正面图像，将人脸图像通过YCrCb颜色分割转化为灰度图像或二值化图像后人脸粗定位检测区域所含的人眼数目为2、嘴巴的数目为1后判断该区域为人脸区域。

8.根据权利要求1所述人脸识别匹配方法，其特征在于：人脸识别匹配方法采用的是特征脸方法，待识别匹配的图像都经过图像的人脸定位检测，计算并提取样本图像的特征值记为特征脸。

9.根据权利要求8所述特征脸方法，其特征在于：较大的特征值对应人脸的主要结构，较小的特征值对应噪声等不确定因素。

10.根据权利要求8所述特征脸方法，其特征在于：定义阈值，并计算待识别图像和特征脸图像之间的距离，其值小于定义的阈值，说明待识别图像为样本图像中的人脸。

一种半自动化人脸匹配系统，包括如下模块：

a)原始图像输入模块，通过相关按钮设置或其他方法确认输入原始图像后输入相关的初始密码开始输入原始图像，调用摄像头功能采用背景差分法对图像确定图像中包含人脸后获取图像，经过定位检测后提取人脸区域，获取光照条件相似的多幅不同表情的人脸图像；

b)原始图像数据保存模块，同一人的多幅图像和计算特征脸向量并构建的特征重建图像分类存储在计算机中；

c)待识别人脸图像输入模块，通过相关按钮设置或其他方法确定进行人脸图像的匹配识别，调用摄像头功能同理获取图像并检测定位，细定位后将人脸区域压缩；

d)待识别人脸图像匹配识别模块，校正后投影在特征脸空间，计算其与原始图像库中特征重建图像的距离，小于相关的阈值后匹配成功；

e)深入识别匹配模块，计算待识别图像与匹配成功的特征重建图像的原始图像的距离，小于相关的阈值后深入匹配成功；

f)阈值设定模块，人为设定或采用多幅图像训练的方式计算阈值进行设定；g)预备模块，人为设定密码避免出现阈值设定不合理或者光照条件较差等情况下系统的正常使用。