CN113095119A - 一种修正人脸裁剪框的人脸识别系统 - Google Patents

Abstract

本发明提供一种修正人脸裁剪框的人脸识别系统，所述系统包括：人脸图像采集及检测模块、人脸图像预处理模块、人脸图像特征提取模块以及匹配与识别模块；人脸图像采集及检测模块负责接收图像的输入，并与人脸图像预处理模块连接，人脸图像预处理模块连接人脸图像特征提取模块，并最终进行匹配与识别模块的特征比对，最终输出结果，所述人脸图像采集及检测模块包括裁剪模块，所述裁剪模块是基于人脸特征点在裁剪前结合人脸的五点特征对原先的人脸裁剪框进行修正，使得人脸裁剪过程中，重要特征部位不被裁剪。使在人脸识别过程中，对于人脸裁剪过程，重要特征部位不被裁剪；在裁剪前需要结合特征对人脸裁剪框进行修正，避免人脸识别系统的误检。

Description

一种修正人脸裁剪框的人脸识别系统

技术领域

本发明涉及智能视频处理技术领域，特别涉及一种修正人脸裁剪框的人脸识别系统。

背景技术

目前人脸识别技术广泛应用于身份认证、安检、门禁等系统。人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。其中人脸图像采集及检测这个环节裁剪的人脸会直接影响人脸识别的结果，因为如果裁剪的人脸与系统中存储的人脸有出入，例如剃了胡子、换了发型、多了眼镜、变了表情都有可能引起比对失败。因此为了增加人脸识别精度，识别的人脸会裁剪掉无关的背景信息以及易变化的特征(发型等)。

现有的人脸识别网络一般要求输入的人脸图像为固定尺寸(例如：[112,112,3]或[96,96,3]，其中[W,H,C]分别表示图像的宽、高、通道数)，因此在人脸检测结果基础上，需要对检测的人脸进行裁剪，使图像满足宽高相等；目前的裁剪方案：在宽大于高时，会选择等量裁剪掉图像左右两边；在高到大于宽时，会直接裁剪掉上边多余部分，从而使图片宽高相等。这种简单的裁剪策略很容易将人脸的重要特征(眉毛、眼睛、下巴等)部位裁剪，导致人脸不完整，从而影响人脸识别精度。例如附图3所示，当脸型较长时，为了获得宽高相等的人脸，裁剪人脸上半部分时，会导致眼睛被裁掉。

发明内容

为了解决上述问题，本发明的目的在于：为了使人脸识别过程中，重要特征部位(眉毛、眼睛、下巴、鼻子等)不被裁剪；在裁剪前需要结合人脸的五点特征对原先的人脸裁剪框进行修正。以便避免人脸识别系统的误检和错检。

具体地，本发明提供一种修正人脸裁剪框的人脸识别系统，所述系统包括：人脸图像采集及检测模块、人脸图像预处理模块、人脸图像特征提取模块以及匹配与识别模块；人脸图像采集及检测模块负责接收图像的输入，并与人脸图像预处理模块连接，人脸图像预处理模块连接人脸图像特征提取模块，并最终进行匹配与识别模块的特征比对，最终输出结果，所述人脸图像采集及检测模块包括裁剪模块，所述裁剪模块是基于人脸特征点在裁剪前结合人脸的五点特征对原先的人脸裁剪框进行修正，使得人脸裁剪过程中，重要特征部位不被裁剪。

所述的裁剪模块，进一步包括：

初步确定人脸裁剪框模块：用于确定人脸裁剪框坐标，其中包括人脸位置检测单元和人脸裁剪框定位单元；

根据五点特征距离扩展人脸位置模块:用于扩展人脸坐标位置，其中包括人脸特征点检测单元、计算五点中鼻子与其他四点的最大距离单元以及确定扩展因子k与扩展距离单元；

修正人脸裁剪框模块：用于基于上述单元所获得的数据，进行人脸裁剪框的修正，其中包括裁剪上限扩展单元、裁剪下限扩展单元以及裁剪左右扩展单元。

所述的人脸位置检测单元，用于检测人脸位置，假设包含人脸的图像宽W，高H；并以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴，将包含人脸的图像通过人脸检测模型检测出人脸区域，其中人脸位置的矩形框用左上、右下两点坐标表示,记为B₀(x_b0,y_b0)，B₁(x_b1,y_b1)；和

所述的人脸裁剪框定位单元，用于定位人脸裁剪框，由于模型需要输入的图像尺寸宽高相等，在检测出人脸后，对于宽高不等的情况需要进行多余部分裁剪以使得宽高相等，输入模型的人脸裁剪框也用两点坐标表示，记为B’₀(x’_b0,y’_b0)，B’₁(x’_b1,y’_b1)。

所述的B’₀(x’_b0,y’_b0)，B’₁(x’_b1,y’_b1)为输入模型的人脸裁剪框，具体的计算方法如下：

令w＝x_b1-x_b0，h＝y_b1-y_b0，△w＝h-w；

if△w≥0then x’_b0＝x_b0，x’_b1＝x_b1，y’_b0＝y_b0+△w，y’_b1＝y_b1；

el se

y’_b0＝y_b0，y’_b1＝y_b1

其中

分别为向下、向上取整符号。

所述的人脸特征点检测单元，用于在进行人脸检测时，将检测出的人脸区域进行特征点检测，以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴，输出人脸五点特征位置，即左眼，右眼，鼻子，左嘴角，右嘴角坐标，五点分别表示为为p₁(x₁,y₁)，p₂(x₂,y₂)，p₃(x₃,y₃)，p₄(x₄,y₄)，p₅(x₅,y₅)；和

所述的计算五点中鼻子与其他四点的最大距离单元，用于计算五点中鼻子与其他四点，即左右眼、左右嘴角的y轴最大距离,计算方式为：ds＝max(y₃-y₁,y₃-y₂,y₄-y₃,y₅-y₃)；以及

所述的确定扩展因子k与扩展距离单元，用于以鼻子坐标为中心点，ds为扩展基准，在y轴方向扩展k·ds的距离为y_up,y_down,其中扩展因子k取值1.8-2.0。

所述的扩展k·ds的距离，具体扩展方式如下所示：

y_up＝max(0,y₃-k·ds)

y_down＝min(H,y₃+k·ds)。

所述的裁剪上限扩展单元，用于裁剪上限扩展至眉毛上方；和

所述的裁剪下限扩展单元，用于保证嘴角、下巴特征信息在裁剪框内；

所述的裁剪下限扩展单元中，如果y_up≤y’_b0，则y’_b0＝y_up；所述的裁剪下限扩展单元中，如果y_down≥2·y’_b1，则y’_b1＝y_down；所述的裁剪左右扩展单元中，令kw＝((y’_b1-y’_b0)-(x’_b1-x’_b0))/ds；如果kw>2.0，则x’_b0＝max(0,x’_b0-kw*ds/4)，x’_b1＝min(W,x’_b1+kw*ds/4)；

以及

所述的裁剪左右扩展单元，用于在人脸裁剪比例不合适时，适当扩展左右裁剪边界。

还包括填充黑边单元，用于由于修正的人脸裁剪框不能保证图像的宽高相等，因此对修正框进行黑边填充处理。

所述的填充黑边，具体方式为：

(1)，如果宽大于高，则在图像的下边缘填充黑边，黑边宽度为宽高差值；

(2)，如果宽小于高，则在图像的右边缘填充黑边，黑边宽度为宽高差值；

(3)，如果宽高相等，不需要进行黑边填充。

由此，本申请的优势在于：经过本申请的人脸识别系统，可以将原来由于脸型等原因，只按照初步确定的人脸裁剪框将眼睛、眉毛等人脸特征裁剪掉，从而导致人脸识别错误或不识别的问题避免掉；即修正人脸裁剪框后，由于满足条件，将裁剪上限扩展至眉毛上方，保留了眼睛等特征信息，增加了人脸裁剪的准确度，有效提升识别精度。扩展裁剪下限，保证嘴角、下巴等特征信息在裁剪框内。在人脸裁剪比例不合适时(高大于宽一定阈值)，适当扩展左右裁剪边界。这样就保证了人脸适当地裁剪，避免了误检测。既保证了人脸识别系统的效率，又保证了人脸识别系统的正确性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。

图1是本发明系统的示意框图。

图2是本发明系统中剪裁模块的示意框图。

图3是本发明方法涉及的人脸坐标及五点位置的示意图。

图4是本发明方法涉及的人脸裁剪框的示意图。

图5是本发明方法涉及的人脸裁剪框修正后的最终示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。

如图1所示，本发明涉及一种修正人脸裁剪框的人脸识别系统，所述系统包括：人脸图像采集及检测模块、人脸图像预处理模块、人脸图像特征提取模块以及匹配与识别模块；人脸图像采集及检测模块负责接收图像的输入，并与人脸图像预处理模块连接，人脸图像预处理模块连接人脸图像特征提取模块，并最终进行匹配与识别模块的特征比对，最终输出结果，所述人脸图像采集及检测模块包括裁剪模块，所述裁剪模块是基于人脸特征点在裁剪前结合人脸的五点特征对原先的人脸裁剪框进行修正，使得人脸裁剪过程中，重要特征部位不被裁剪。

重要特征部位包括眼睛、鼻子、嘴巴、眉毛，甚至是耳朵等人脸的五官。也可能是有一部分特征，包括但不限于，例如眼睛、眉毛；眉毛、眼睛、鼻子、嘴巴；或是眉毛和眼睛等等组合。

人脸图像采集可以通过摄像头、照相机等图像采集设备完成。

人脸图像预处理的工作包括，例如减少图像中的噪声干扰、提高清晰度、还有包括图像滤波、变换、转码、模数转化等。

人脸图像特征提取，就是在预处理后的图像中，提取对识别有明显作用的特征，并在这个过程中降低模式特征的维数，令其便于处理。

匹配与识别模块则包括分类，就是对提取到的特征值按照一定的准则进行分类，以便于决策。

所述人脸识别系统也是需要经过训练、学习的过程，最终输出结果。

如图2所示，所述的裁剪模块，进一步包括：

初步确定人脸裁剪框模块：用于确定人脸裁剪框坐标，其中包括人脸位置检测单元和人脸裁剪框定位单元；

根据五点特征距离扩展人脸位置模块:用于扩展人脸坐标位置，其中包括人脸特征点检测单元、计算五点中鼻子与其他四点的最大距离单元以及确定扩展因子k与扩展距离单元；

修正人脸裁剪框模块：用于基于上述单元所获得的数据，进行人脸裁剪框的修正，其中包括裁剪上限扩展单元、裁剪下限扩展单元以及裁剪左右扩展单元。

所述的人脸位置检测单元，用于检测人脸位置，假设包含人脸的图像宽W，高H；并以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴，将包含人脸的图像通过人脸检测模型检测出人脸区域，其中人脸位置的矩形框用左上、右下两点坐标表示,如图3所示，记为B₀(x_b0,y_b0)，B₁(x_b1,y_b1)；和

所述的人脸裁剪框定位单元，用于定位人脸裁剪框，由于模型需要输入的图像尺寸宽高相等，在检测出人脸后，对于宽高不等的情况需要进行多余部分裁剪以使得宽高相等，输入模型的人脸裁剪框也用两点坐标表示，如图4所示，记为B’₀(x’_b0,y’_b0)，B’₁(x’_b1,y’_b1)。

所述的B’₀(x’_b0,y’_b0)，B’₁(x’_b1,y’_b1)为输入模型的人脸裁剪框，具体的计算方法如下：

令w＝x_b1-x_b0，h＝y_b1-y_b0，△w＝h-w；

if△w≥0then x’_b0＝x_b0，x_b1＝x_b1，y’_b0＝y_b0+△w，y_b1＝y_b1；

el se

y’_b0＝y_b0，y’_b1＝y_b1

其中

分别为向下、向上取整符号。

所述的人脸特征点检测单元，用于在进行人脸检测时，将检测出的人脸区域进行特征点检测，以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴，输出人脸五点特征位置，即左眼，右眼，鼻子，左嘴角，右嘴角坐标，如图3所示，五点分别表示为为p₁(x₁,y₁)，p₂(x₂,y₂)，p₃(x₃,y₃)，p₄(x₄,y₄)，p₅(x₅,y₅)；和

所述的计算五点中鼻子与其他四点的最大距离单元，用于计算五点中鼻子与其他四点，即左右眼、左右嘴角的y轴最大距离,计算方式为：ds＝max(y₃-y₁,y₃-y₂,y₄-y₃,y₅-y₃)；以及

所述的确定扩展因子k与扩展距离单元，用于以鼻子坐标为中心点，ds为扩展基准，在y轴方向扩展k·ds的距离为y_up,y_down,其中扩展因子k取值1.8-2.0。

所述的扩展k·ds的距离，具体扩展方式如下所示：

y_up＝max(0,y₃-k·ds)

y_down＝min(H,y₃+k·ds)。

所述的裁剪上限扩展单元，用于裁剪上限扩展至眉毛上方；和

所述的裁剪下限扩展单元，用于保证嘴角、下巴特征信息在裁剪框内；

所述的裁剪下限扩展单元中，如果y_up≤y’_b0，则y’_b0＝y_up；所述的裁剪下限扩展单元中，如果y_down≥2·y’_b1，则y’_b1＝y_down；所述的裁剪左右扩展单元中，令kw＝((y’_b1-y’_b0)-(x’_b1-x’_b0))/ds；如果kw>2.0，则x’_b0＝max(0,x’_b0-kw*ds/4)，x’_b1＝min(W,x’_b1+kw*ds/4)；

以及

所述的裁剪左右扩展单元，用于在人脸裁剪比例不合适时，适当扩展左右裁剪边界。

还包括填充黑边单元，用于由于修正的人脸裁剪框不能保证图像的宽高相等，因此对修正框进行黑边填充处理。

所述的填充黑边，具体方式为：

(1)，如果宽大于高，则在图像的下边缘填充黑边，黑边宽度为宽高差值；

(2)，如果宽小于高，则在图像的右边缘填充黑边，黑边宽度为宽高差值；

(3)，如果宽高相等，不需要进行黑边填充。

最终，如图5所示，修正人脸裁剪框后，可以满足人脸的眼睛，鼻子，嘴巴被包含在裁剪框内。

进过裁剪后的相关的图像传送给人脸图像预处理模块进行预处理操作，进而进入人脸图像特征提取模块进行特征提取，在进入匹配与识别模块完成比对和检索等识别操作，最终将人脸识别的结果输出。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种修正人脸裁剪框的人脸识别系统，所述系统包括：人脸图像采集及检测模块、人脸图像预处理模块、人脸图像特征提取模块以及匹配与识别模块；人脸图像采集及检测模块负责接收图像的输入，并与人脸图像预处理模块连接，人脸图像预处理模块连接人脸图像特征提取模块，并最终进行匹配与识别模块的特征比对，最终输出结果，其特征在于，所述人脸图像采集及检测模块包括裁剪模块，所述裁剪模块是基于人脸特征点在裁剪前结合人脸的五点特征对原先的人脸裁剪框进行修正，使得人脸裁剪过程中，重要特征部位不被裁剪。

2.根据权利要求1所述的一种修正人脸裁剪框的人脸识别系统，其特征在于，所述的裁剪模块，进一步包括：

初步确定人脸裁剪框模块：用于确定人脸裁剪框坐标，其中包括人脸位置检测单元和人脸裁剪框定位单元；

根据五点特征距离扩展人脸位置模块:用于扩展人脸坐标位置，其中包括人脸特征点检测单元、计算五点中鼻子与其他四点的最大距离单元以及确定扩展因子k与扩展距离单元；

修正人脸裁剪框模块：用于基于上述单元所获得的数据，进行人脸裁剪框的修正，其中包括裁剪上限扩展单元、裁剪下限扩展单元以及裁剪左右扩展单元。

3.根据权利要求2所述的一种修正人脸裁剪框的人脸识别系统，其特征在于，所述的人脸位置检测单元，用于检测人脸位置，假设包含人脸的图像宽W，高H；并以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴，将包含人脸的图像通过人脸检测模型检测出人脸区域，其中人脸位置的矩形框用左上、右下两点坐标表示,记为B₀(x_b0,y_b0)，B₁(x_b1,y_b1)；和

所述的人脸裁剪框定位单元，用于定位人脸裁剪框，由于模型需要输入的图像尺寸宽高相等，在检测出人脸后，对于宽高不等的情况需要进行多余部分裁剪以使得宽高相等，输入模型的人脸裁剪框也用两点坐标表示，记为B'₀(x'_b0,y'_b0)，B'₁(x'_b1,y'_b1)。

4.根据权利要求3所述的一种修正人脸裁剪框的人脸识别系统，其特征在于，所述的B'₀(x'_b0,y'_b0)，B'₁(x'_b1,y'_b1)为输入模型的人脸裁剪框，具体的计算方法如下：

令w＝x_b1-x_b0，h＝y_b1-y_b0，△w＝h-w；

if △w≥0 then x'_b0＝x_b0，x’_b1＝x_b1，y'_b0＝y_b0+△w，y’_b1＝y_b1；

else

y’_b0＝y_b0，y’_b1＝y_b1

其中

分别为向下、向上取整符号。

5.根据权利要求2所述的一种修正人脸裁剪框的人脸识别系统，其特征在于，所述的人脸特征点检测单元，用于在进行人脸检测时，将检测出的人脸区域进行特征点检测，以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴，输出人脸五点特征位置，即左眼，右眼，鼻子，左嘴角，右嘴角坐标，五点分别表示为为p₁(x₁,y₁)，p₂(x₂,y₂)，p₃(x₃,y₃)，p₄(x₄,y₄)，p₅(x₅,y₅)；和

所述的计算五点中鼻子与其他四点的最大距离单元，用于计算五点中鼻子与其他四点，即左右眼、左右嘴角的y轴最大距离,计算方式为：ds＝max(y₃-y₁,y₃-y₂,y₄-y₃,y₅-y₃)；以及

所述的确定扩展因子k与扩展距离单元，用于以鼻子坐标为中心点，ds为扩展基准，在y轴方向扩展k·ds的距离为y_up,y_down,其中扩展因子k取值1.8-2.0。

6.根据权利要求5所述的一种修正人脸裁剪框的人脸识别系统，其特征在于，所述的扩展k·ds的距离，具体扩展方式如下所示：

y_up＝max(0,y₃-k·ds)

y_down＝min(H,y₃+k·ds)。

7.根据权利要求6所述的一种修正人脸裁剪框的人脸识别系统，其特征在于，所述的裁剪上限扩展单元，用于裁剪上限扩展至眉毛上方；和

所述的裁剪下限扩展单元，用于保证嘴角、下巴特征信息在裁剪框内；以及

所述的裁剪左右扩展单元，用于在人脸裁剪比例不合适时，适当扩展左右裁剪边界。

8.根据权利要求7所述的一种修正人脸裁剪框的人脸识别系统，其特征在于，所述的裁剪下限扩展单元中，如果y_up≤y’_b0，则y’_b0＝y_up；所述的裁剪下限扩展单元中，如果y_down≥2·y'_b1，则y'_b1＝y_down；所述的裁剪左右扩展单元中，令kw＝((y'_b1-y'_b0)-(x'_b1-x'_b0))/ds；如果kw>2.0，则x'_b0＝max(0,x'_b0-kw*ds/4)，x'_b1＝min(W,x'_b1+kw*ds/4)。

9.根据权利要求7所述的一种修正人脸裁剪框的人脸识别系统，其特征在于，还包括填充黑边单元，用于由于修正的人脸裁剪框不能保证图像的宽高相等，因此对修正框进行黑边填充处理。

10.根据权利要求9所述的一种修正人脸裁剪框的人脸识别系统，其特征在于，所述的填充黑边，具体方式为：

(1)，如果宽大于高，则在图像的下边缘填充黑边，黑边宽度为宽高差值；

(2)，如果宽小于高，则在图像的右边缘填充黑边，黑边宽度为宽高差值；

(3)，如果宽高相等，不需要进行黑边填充。

Images