CN105046250A - 人脸识别的眼镜消除方法 - Google Patents

Abstract

本发明实施例公开了人脸识别的眼镜消除方法，用于解决人脸图像眼镜片反光的问题。本发明实施例方法包括：采集人脸图像，并对得到的多个图像帧进行灰度化处理，得到多张第一图像；对所述第一图像进行人脸检测，获取人脸区域；计算所述人脸区域的反光度；筛选出所述反光度不大于预设的第一反光阈值的所述第一图像作为第二图像；在所述第二图像上定位眼镜框的镜框区域；修复所述第二图像上的所述镜框区域，得到消除镜框的目标图像。

Description

人脸识别的眼镜消除方法

技术领域

本发明涉及人脸识别技术领域，尤其涉及人脸识别的眼镜消除方法。

背景技术

光照、姿态和表情等是影响人脸识别的主要因素，其中光照变化对人脸识别的影响较大。近红外图像可以有效的解决环境光照变化的影响，但是近红外主动光源照射在眼镜上形成反光会导致人眼定位失败，另外，眼镜边框的遮挡也会影响特征点的准确定位而引起识别率下降。

人脸图像眼镜片反光问题是人脸识别领域的长期以来面临的技术难题，目前在图像处理层面上尚没有一种有效的解决方法。

发明内容

本发明实施例提供了一种人脸识别的眼镜消除方法，能够解决人脸图像眼镜片反光的问题。

本发明实施例提供的一种人脸识别的眼镜消除方法，包括：

采集人脸图像，并对得到的多个图像帧进行灰度化处理，得到多张第一图像；

对所述第一图像进行人脸检测，获取人脸区域；

计算所述人脸区域的反光度；

筛选出所述反光度不大于预设的第一反光阈值的所述第一图像作为第二图像；

在所述第二图像上定位眼镜框的镜框区域；

修复所述第二图像上的所述镜框区域，得到消除镜框的目标图像。

可选地，对所述第一图像进行人脸检测，获取人脸区域具体包括：

通过基于Haar分类器对所述第一图像进行人脸检测，获取人脸区域；

或，通过基于肤色检测方法对所述第一图像进行人脸检测，获取人脸区域。

可选地，在首次执行所述眼镜消除方法时，对所述Haar分类器的数据模型进行更新：

将多幅人脸图像扩充至所述Haar分类器中的OpenCV库中作为原始训练样本，重新进行级联训练得到新的数据模型。

可选地，在对所述第一图像进行人脸检测，获取人脸区域之后，并且在计算所述人脸区域的反光度之前还包括：

获取所述人脸区域中的眼部区域图像；

对所述眼部区域图像进行二值化处理；

所述计算所述人脸区域的反光度具体为：

计算所述眼部区域图像的反光度。

可选地，获取所述人脸区域中的眼部区域图像具体包括：

获取所述人脸区域的两个对角顶点坐标；

根据所述两个对角顶点坐标以及预设的眼部区域相对位置得到眼部区域图像。

可选地，计算所述眼部区域图像的反光度具体包括：

计算所述眼部区域图像上所有连通域内包含的高亮度像素的个数之和，所述高亮度像素为灰度值为1的像素。

可选地，在所述第二图像上定位眼镜框的镜框区域具体为：

通过GVF-Snake方法在所述第二图像上定位出眼镜框的镜框区域。

可选地，修复所述第二图像上的所述镜框区域，得到消除镜框的目标图像具体为：

通过加权平均差值方法对所述第二图像上的所述镜框区域进行插值修复，得到消除镜框的目标图像。

可选地，计算所述人脸区域的反光度之后以及筛选出所述反光度不大于预设的第一反光阈值的所述第一图像作为第二图像之前还包括：

判断是否存在任一所述第一图像上人脸区域的所述反光度大于预设的标准阈值，若是，则执行筛选出所述反光度不大于预设的第一反光阈值的所述第一图像作为第二图像的步骤。

可选地，所述第一反光阈值由以下步骤得到：

采集不少于预设数量级的戴眼镜的人脸图像；

从所述人脸图像中筛选出瞳孔定位准确的图像组成标准图像集；

计算所述标准图像集中所有图像的反光度；

获取所述所有图像的反光度的最大值，作为所述第一反光阈值。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中，首先，采集人脸图像，并对得到的多个图像帧进行灰度化处理，得到多张第一图像；然后，对所述第一图像进行人脸检测，获取人脸区域；接着，计算所述人脸区域的反光度；筛选出所述反光度不大于预设的第一反光阈值的所述第一图像作为第二图像；再之，在所述第二图像上定位眼镜框的镜框区域；最后，修复所述第二图像上的所述镜框区域，得到消除镜框的目标图像。在本发明实施例中，该人脸识别的眼镜消除方法可以解决人脸图像眼镜片反光的问题，使得人眼定位不再收到眼镜反光的影响，特征点准确定位并提高识别率。

附图说明

图1为本发明实施例中人脸识别的眼镜消除方法一个实施例流程图；

图2为本发明实施例中人脸识别的眼镜消除方法另一个实施例流程图；

图3为本发明提出的加权插值权重计算解析图。

具体实施方式

本发明实施例提供了人脸识别的眼镜消除方法，用于解决人脸图像眼镜片反光的问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中一种人脸识别的眼镜消除方法一个实施例包括：

101、采集人脸图像，并对得到的多个图像帧进行灰度化处理，得到多张第一图像；

首先，可以采集人脸图像，并对得到的多个图像帧进行灰度化处理，得到多张第一图像。

102、对该第一图像进行人脸检测，获取人脸区域；

在得到多张第一图像之后，可以对该第一图像进行人脸检测，获取人脸区域。

103、计算该人脸区域的反光度；

在获取人脸区域之后，可以计算该人脸区域的反光度。

104、筛选出该反光度不大于预设的第一反光阈值的该第一图像作为第二图像；

在计算该人脸区域的反光度之后，可以筛选出该反光度不大于预设的第一反光阈值的该第一图像作为第二图像。

105、在该第二图像上定位眼镜框的镜框区域；

在筛选出该反光度不大于预设的第一反光阈值的该第一图像作为第二图像之后，可以在该第二图像上定位眼镜框的镜框区域。

106、修复该第二图像上的该镜框区域，得到消除镜框的目标图像。

在在该第二图像上定位眼镜框的镜框区域之后，可以修复该第二图像上的该镜框区域，得到消除镜框的目标图像。

本实施例中，首先，采集人脸图像，并对得到的多个图像帧进行灰度化处理，得到多张第一图像；然后，对该第一图像进行人脸检测，获取人脸区域；接着，计算该人脸区域的反光度；筛选出该反光度不大于预设的第一反光阈值的该第一图像作为第二图像；再之，在该第二图像上定位眼镜框的镜框区域；最后，修复该第二图像上的该镜框区域，得到消除镜框的目标图像。在本实施例中，该人脸识别的眼镜消除方法可以解决人脸图像眼镜片反光的问题，使得人眼定位不再收到眼镜反光的影响，特征点准确定位并提高识别率。

为便于理解，下面对本发明实施例中的一种人脸识别的眼镜消除方法进行详细描述，请参阅图2，本发明实施例中一种人脸识别的眼镜消除方法另一个实施例包括：

201、采集人脸图像，并对得到的多个图像帧进行灰度化处理，得到多张第一图像；

首先，可以采集人脸图像，并对得到的多个图像帧进行灰度化处理，得到多张第一图像。需要说明的是，本实施例中可以采集人脸的近红外图像，采用的近红外摄像头可以具有如下特性：1.可上下45度范围内自动转动；2.波段850nm；3.摄像头周围布设近红外补光灯，摄像头启动，光源打开。

因此，可以理解的是，该摄像头以固定的频率或时间间隔对人脸进行连续的拍摄，得到多个图像帧，也即多帧图像。然后对这些图像进行灰度化处理，得到对应的多张第一图像。

202、对该第一图像进行人脸检测，获取人脸区域；

在得到多张第一图像之后，可以对该第一图像进行人脸检测，获取人脸区域。其中，人脸检测的方法有两类：一类是基于机器学习的方法，如基于Haar分类器的人脸检测方法；另一类是基于肤色的检测方法，或是融合上述两种方法；考虑到用户肤色的多样性，自适应阈值较难获取。故本步骤202可以采用OpenCV库的人脸检测算法进行人脸检测，该算法是基于Haar分类器实现的。另外，考虑到OpenCV库的训练样本都是可见光环境下的图像库，本发明可以预先将多幅人脸图像(或具体为人脸的近红外图像)扩充至该Haar分类器中的OpenCV库中作为原始训练样本，重新进行级联训练得到新的数据模型。例如，用70000幅近红外图像扩充原始训练样本，重新进行级联训练得到新的数据模型。重建的数据模型能够较准确的对近红外人脸图像进行人脸区域定位。

203、获取该人脸区域中的眼部区域图像；

在获取到人脸区域之后，可以获取该人脸区域中的眼部区域图像。其中，获取该人脸区域中的眼部区域图像具体可以包括：

A、获取该人脸区域的两个对角顶点坐标；

B、根据该两个对角顶点坐标以及预设的眼部区域相对位置得到眼部区域图像。

例如，据人脸区域的顶点坐标，通过下面公式(1)计算得双眼所在的矩形区域RI，并对RI进行二值化处理，得到二值化后的眼部区域图像。

设人脸区域的左上角顶点坐标为(FR_left,FR_top)，右下角顶点坐标为(FR_right,FR_bottom)，宽、高分别记为FR_width,FR_height。由如下公式计算可得双眼所在的矩形区域RI：

$\begin{array}{c}{\mathrm{RI}}_{left}={\mathrm{FR}}_{left}+{\mathrm{FR}}_{width}/8\\ {\mathrm{RI}}_{top}={\mathrm{FR}}_{top}+{\mathrm{FR}}_{width}/4\\ {\mathrm{RI}}_{right}={\mathrm{FR}}_{left}+{\mathrm{FR}}_{width}-{\mathrm{FR}}_{width}/8\\ {\mathrm{RI}}_{bottom}={\mathrm{FR}}_{top}+{\mathrm{FR}}_{height}/2\end{array}---\left(1\right)$

RI的二值化的初始阈值是通过灰度直方图统计所得，再根据二值图像像素分布调整阈值，可以减少非眼睛区域其他高亮度噪声的干扰。

204、对该眼部区域图像进行二值化处理；

在获取该人脸区域中的眼部区域图像之后，可以对该眼部区域图像进行二值化处理，如步骤203中描述。

205、计算该眼部区域图像的反光度；

在对该眼部区域图像进行二值化处理之后，可以计算该眼部区域图像的反光度。可以理解的是，对于二值化图像而言，反光度即由图像上高亮度像素(灰度值为1)的个数反应，因此，步骤205可以具体为：

计算该眼部区域图像上所有连通域内包含的高亮度像素的个数之和，该高亮度像素为灰度值为1的像素，其中，高亮度像素个数越多眼镜反光度越高。具体计算公式(2)如下：

$K=\underset{i=1}{\overset{m}{\Σ}}{S}_i---\left(2\right)$

其中S_i是第i个连通域内灰度值为1的像素个数和，m是高亮度像素形成的连通域个数。

206、判断是否存在任一该第一图像上人脸区域的该反光度大于预设的标准阈值，若是，则执行步骤207，若否，则执行步骤211；

在计算该眼部区域图像的反光度之后，可以判断是否存在任一该第一图像上人脸区域的该反光度大于预设的标准阈值，若是，则执行步骤207，若否，则执行步骤211。

需要说明的是，近红外光源从某一角度照射至镜片会引起强烈反光，形成高亮度连通区域，而任意角度照射在眼睛上不会形成高亮度连通区域。由于采集摄像头是上下转动且补充近红外光的，若戴眼镜，一定存在多个照射角度使得反光度高于某个阈值。依据这一原理，眼镜检测的判断准则为：对间隔采样的多帧(比如五帧)图像，若有一帧图像反光度大于预设的标准阈值则判定为戴眼镜，反之，未戴眼镜。

承接上述步骤205中的描述可知，若K≥K_δ，则判定为戴眼镜，反之，不戴眼镜。K_δ为眼镜检测阈值(即标准阈值)，可通过实验设定。

207、筛选出该反光度不大于预设的第一反光阈值的该第一图像作为第二图像；

若存在任一该第一图像上人脸区域的该反光度大于预设的标准阈值，则可以认为人脸上戴有眼镜，因此，可以筛选出该反光度不大于预设的第一反光阈值的该第一图像作为第二图像。

其中，需要说明的是，本步骤通过反光度筛选获取反光度较低，不影响瞳孔准确定位的图像。由于光源的角度和强度不断变化，故得到的图像帧序列反光度不同。反光度筛选是通过阈值控制图像反光度来实现的：若图像I的反光度K≤δ，则通过筛选转入下一步镜框消除。其中，上述第一反光阈值可以预先计算得出，具体包括：

A、采集不少于预设数量级的戴眼镜的人脸近红外图像；

B、从该人脸近红外图像中筛选出瞳孔定位准确的图像组成标准图像集；

C、计算该标准图像集中所有图像的反光度；

D、获取该所有图像的反光度的最大值，作为该第一反光阈值。

例如，第一反光阈值δ通过数据实验得到：将采集的10000幅戴眼镜图像I₁,…,I₁₀₀₀₀进行人脸特征点定位算法测试。挑选出瞳孔定位准确的图像集A，利用反光度计算公式计算A中所有图像的反光度K₁,…,K_N(N≤10000)，取最大值为第一反光阈值δ。

208、在该第二图像上定位眼镜框的镜框区域；

在筛选出该反光度不大于预设的第一反光阈值的该第一图像作为第二图像之后，可以在该第二图像上定位眼镜框的镜框区域。

需要说明的是，眼镜框架定位可以采用GVF-Snake方法，通过能量函数控制初始轮廓逐步演化至目标轮廓GI。由于该方法基于区域边缘信息，不依赖图像灰度特征，因此轮廓曲线在演化过程中受噪声和虚假边界的抗性较高，且该方法对初始轮廓不敏感。本步骤的初始轮廓可以采用Canny检测方法得到：对图像进行高斯滤波，在眼镜区域RI使用Canny算子提取眼镜轮廓S₀。

209、修复该第二图像上的该镜框区域，得到消除镜框的目标图像；

在该第二图像上定位眼镜框的镜框区域之后，可以修复该第二图像上的该镜框区域，得到消除镜框的目标图像。可以理解的是，眼镜框架区域的消除常用的方法有PCA重建、设定掩码模板处理、特征元补偿、加权平均插值等。其中PCA重建与特征元补偿方法需要大量的戴眼镜人脸数据库与不戴眼镜数据库做模型训练，而实际应用中较难获取此类样本。掩码模板处理方法的模板设定对图像本身依赖性较大，该方法泛化性能不佳。

本发明采用加权平均插值的方法，对目标轮廓GI内的像素点P₀(x₀,y₀)，用已知像素点的灰度值来估计N是窗口内P₀邻域像素点总数，G(x_i,y_i)是窗口内P₀邻域像素点的灰度值，ω_i为权值。

其中，眼镜框架遮挡部分多为皮肤或头发，与其纵向邻域像素的关联度高于横向邻域，故窗口可以采用以待插值点为中心的m×n矩形区域(其中：m＜n，如：3×7窗口)。已知像素点与待插值点距离越远，该点的贡献越小，权值越低；已知像素点越偏离窗口长轴方向，该点的贡献越小，权值越低。考虑以上两个方面，请参阅图3，权重的计算公式(3)如下：

${\mathrm{\ω}}_i=\frac{1}{\sqrt{1+d}}cos\mathrm{\θ}---\left(3\right)$

d是待插值点P₀到邻域像素点P_i的欧式距离：

$d=\sqrt{{(x_0-x_i)}^2+{(y_0-y_i)}^2};$

θ是P₀P_i连线与窗口中轴线的夹角。

210、将该目标图像保存至数据库；

在得到消除镜框的目标图像之后，可以将该目标图像保存至数据库，以方便使用。

211、将该第一图像作为目标图像保存至数据库。

若不存在任一该第一图像上人脸区域的该反光度大于预设的标准阈值，则可以认为人脸上没有戴眼镜，该第一图像即为目标图像，保存至数据库中。

本实施例中，利用人脸头像采集可以准确的检测到戴眼镜的人脸图像，通过一个合理的阈值自动过滤镜片反光严重的图片，筛选出反光度较低、不影响瞳孔定位的图片进一步进行镜框消除。经过此装置处理后的戴眼镜人脸图像没有眼镜反光和镜框遮挡的干扰，有效地解决了近红外模式下戴眼镜用户识别效率低甚至无法识别的问题，且算法效率高，占用内存小。基于此采集装置的识别系统用户不需摘除眼镜就可以同等效率完成识别，大大提高了用户使用满意度。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸识别的眼镜消除方法，其特征在于，包括：

采集人脸图像，并对得到的多个图像帧进行灰度化处理，得到多张第一图像；

对所述第一图像进行人脸检测，获取人脸区域；

计算所述人脸区域的反光度；

筛选出所述反光度不大于预设的第一反光阈值的所述第一图像作为第二图像；

在所述第二图像上定位眼镜框的镜框区域；

修复所述第二图像上的所述镜框区域，得到消除镜框的目标图像。

2.根据权利要求1所述的眼镜消除方法，其特征在于，对所述第一图像进行人脸检测，获取人脸区域具体包括：

通过基于Haar分类器对所述第一图像进行人脸检测，获取人脸区域；

或，通过基于肤色检测方法对所述第一图像进行人脸检测，获取人脸区域。

3.根据权利要求2所述的眼镜消除方法，其特征在于，在首次执行所述眼镜消除方法时，对所述Haar分类器的数据模型进行更新：

将多幅人脸图像扩充至所述Haar分类器中的OpenCV库中作为原始训练样本，重新进行级联训练得到新的数据模型。

4.根据权利要求1所述的眼镜消除方法，其特征在于，在对所述第一图像进行人脸检测，获取人脸区域之后，并且在计算所述人脸区域的反光度之前还包括：

获取所述人脸区域中的眼部区域图像；

对所述眼部区域图像进行二值化处理；

所述计算所述人脸区域的反光度具体为：

计算所述眼部区域图像的反光度。

5.根据权利要求4所述的眼镜消除方法，其特征在于，获取所述人脸区域中的眼部区域图像具体包括：

获取所述人脸区域的两个对角顶点坐标；

根据所述两个对角顶点坐标以及预设的眼部区域相对位置得到眼部区域图像。

6.根据权利要求4所述的眼镜消除方法，其特征在于，计算所述眼部区域图像的反光度具体包括：

计算所述眼部区域图像上所有连通域内包含的高亮度像素的个数之和，所述高亮度像素为灰度值为1的像素。

7.根据权利要求1所述的眼镜消除方法，其特征在于，在所述第二图像上定位眼镜框的镜框区域具体为：

通过GVF-Snake方法在所述第二图像上定位出眼镜框的镜框区域。

8.根据权利要求7所述的眼镜消除方法，其特征在于，修复所述第二图像上的所述镜框区域，得到消除镜框的目标图像具体为：

通过加权平均差值方法对所述第二图像上的所述镜框区域进行插值修复，得到消除镜框的目标图像。

9.根据权利要求1所述的眼镜消除方法，其特征在于，计算所述人脸区域的反光度之后以及筛选出所述反光度不大于预设的第一反光阈值的所述第一图像作为第二图像之前还包括：

判断是否存在任一所述第一图像上人脸区域的所述反光度大于预设的标准阈值，若是，则执行筛选出所述反光度不大于预设的第一反光阈值的所述第一图像作为第二图像的步骤。

10.根据权利要求1至9中任一项所述的眼镜消除方法，其特征在于，所述第一反光阈值由以下步骤得到：

采集不少于预设数量级的戴眼镜的人脸图像；

从所述人脸图像中筛选出瞳孔定位准确的图像组成标准图像集；

计算所述标准图像集中所有图像的反光度；

获取所述所有图像的反光度的最大值，作为所述第一反光阈值。