CN108932458A - 恢复眼镜遮挡区域的人脸重建方法及装置 - Google Patents

Abstract

本发明提供一种恢复眼镜遮挡区域的人脸重建方法及装置，该方法包括：获取包含戴眼镜的人脸图像；检测所述人脸图像中眼镜边框的位置，其中，所述眼镜边框的位置包含内、外边框内、外轮廓曲线；根据训练集中不同个体的人脸图像，采用主成分分析建立以特征人脸构成的人脸主成分空间；以眼镜边框之外的人脸图像为基准，在所述人脸主成分空间中筛选与基准匹配度最高的人脸图像为待恢复图像。基于人脸图像的主成分空间，建立人脸图像在未遮挡区域与被遮挡区域之间的相对关系，即使人脸图像在戴眼镜区域被遮挡，通过修复被遮挡的区域的人脸，避免了遮挡区域的纹理细节丢失，提高了佩戴眼镜时，人脸识别的精准度。

Description

恢复眼镜遮挡区域的人脸重建方法及装置

技术领域

本发明涉及人脸识别技术领域，特别是涉及一种恢复眼镜遮挡区域的人脸重建方法及装置。

背景技术

在人脸识别领域中，一些显著的脸部外在变化，譬如刘海的改变，胡须的有无，是否佩戴眼镜等，会对识别过程造成干扰。特别是眼镜，因为其所处眉眼区域，即脸部最为关键的区分区域，它的存在破坏了该区域的纹理信息，进而影响了人脸识别的准确度。准确修复眼镜遮挡的区域，是人脸识别中亟待解决的问题。

然而，现有的修复眼镜遮挡的方法是基于人脸的主成分空间进行人脸重建。该方法从不同个体的人脸图像中，通过主成分分析，压缩图像像素之间的线性相关性，获得一系列不存在线性相关性的特征人脸，以特征人脸构成人脸空间的主成分(也可称为人脸空间的正交基),把人脸图像表述为在主成分空间中各特征人脸的线性加权(权重为人脸图像在特征人脸上的投影分量)；在对眼镜遮挡区域进行修复时，该方法假设“眼镜是脸部中并不普遍存在的一种变化量，即在人脸主成分空间之外的高频分量，人脸是否佩戴眼镜，不影响其在人脸主成分空间中的投影”，因此通过计算人脸图像在人脸主成分空间中各特征人脸上的投影，再以投影值作为各特征人脸的权值，对各特征人脸进行线性加权，即获得眼镜遮挡区域被修复的人脸图像。

现有的方法是基于“眼镜是在人脸主成分空间之外的高频分量”这个假设，该假设成立与否和主成分空间的维度(即主成分的个数)相关，同时也与眼镜本身是否存在显著的边缘特征相关。譬如，对于下述佩戴黑框眼镜的人脸图像(图1)，取主成分空间维度为250时眼镜区域能大部分去除,空间维度为500、1000时能去除一部分。对于该人脸图像，虽然通过选择一个较低的主成分空间维度，能够去除眼镜的遮挡，但是在这个维度的主成分空间进行的人脸重建，将使得人脸的细节信息被丢失；对于人脸识别而言，细节信息的丢失减少了不同人脸之间的区分度，从而降低了人脸识别的准确度。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种恢复眼镜遮挡区域的人脸重建方法及装置，用于解决现有技术中针对带有眼镜的人脸图像的识别，准确度不高的问题。

为实现上述目的及其他相关目的，本发明提供一种恢复眼镜遮挡区域的人脸重建方法，包括：

获取包含戴眼镜的人脸图像；

检测所述人脸图像中眼镜边框的位置，其中，所述眼镜边框的位置包含内、外边框内、外轮廓曲线；

根据训练集中不同个体的人脸图像，采用主成分分析建立以特征人脸构成的人脸主成分空间；

以眼镜边框之外的人脸图像为基准，在所述人脸主成分空间中筛选与基准匹配度最高的人脸图像为待恢复图像。

本发明的另一目的在于提供一种恢复眼镜遮挡区域的人脸重建装置，包括：

获取模块，用于获取包含戴眼镜的人脸图像；

检测模块，用于检测所述人脸图像中眼镜边框的位置，其中，所述眼镜边框的位置包含内、外边框内、外轮廓曲线；

主成分空间模块，用于根据训练集中不同个体的人脸图像，采用主成分分析建立以特征人脸构成的人脸主成分空间；

恢复模块，用于以眼镜边框之外的人脸图像为基准，在所述人脸主成分空间中筛选与基准匹配度最高的人脸图像为待恢复图像。

如上所述，本发明的恢复眼镜遮挡区域的人脸重建方法及装置，具有以下有益效果：

本发明基于人脸图像的主成分空间，建立人脸图像在未遮挡区域与被遮挡区域之间的相对关系，即使人脸图像在戴眼镜区域被遮挡，通过修复被遮挡的区域的人脸，避免了遮挡区域的纹理细节丢失，提高了佩戴眼镜时，人脸识别的精准度。

附图说明

图1显示为本发明提供的一种不同维度的人脸主成分空间下的人脸图像；

图2显示为本发明提供的一种恢复眼镜遮挡区域的人脸重建方法流程图；

图3显示为本发明提供的一种恢复眼镜遮挡区域的人脸重建方法中步骤S2流程图；

图4～图7显示为本发明提供的实施例的人脸图像中人脸特征图；

图8显示为本发明提供的一种恢复眼镜遮挡区域的人脸重建方法中步骤S4流程图；

图9～图10显示为本发明提供的实施例的人脸图像中人脸特征图；

图11显示为本发明提供的一种恢复眼镜遮挡区域的人脸重建装置结构框图；

图12显示为本发明提供的一种恢复眼镜遮挡区域的人脸重建装置中检测模块的结构框图；

图13显示为本发明提供的一种恢复眼镜遮挡区域的人脸重建方法中恢复模块的结构框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图2，本发明提供一种恢复眼镜遮挡区域的人脸重建方法流程图；

步骤S1，获取包含戴眼镜的人脸图像；

其中，所述人脸图像中用户人脸区域存在被眼镜遮挡部分，往往防止人脸识别过程，降低了其识别率。

步骤S2，检测所述人脸图像中眼镜边框的位置，其中，所述眼镜边框的位置包含内、外边框内、外轮廓曲线；

其中，所述眼镜边框上内、外的关键点构成其对应的内、外轮廓曲线。

步骤S3，根据训练集中不同个体的人脸图像，采用主成分分析建立以特征人脸构成的人脸主成分空间；

其中，训练集内包含各种不同个体的人脸图像，依据主成分析法采用以下公式将训练集中任意一张人脸图像表述为主成分空间中各特征人脸的线性加权：

式(2)中，S为人脸图像，S_i为特征人脸，W_i为特征人脸的权重值。

步骤S4，以眼镜边框之外的人脸图像为基准，在所述人脸主成分空间中筛选与基准匹配度最高的人脸图像为待恢复图像。

其中，将训练集中任意一张人脸图像表述为主成分空间中各特征人脸的线性加权，以得到线性加权的人脸成分空间，以眼睛边框之外的人脸图像搜索条件，在人脸成分空间中筛选与该搜索条件匹配度最佳的人脸图像为待恢复图像，按照待恢复图像进行修复人脸，得到重建后的人脸。

在本实施例中，本发明基于人脸图像的主成分空间，建立人脸图像在未遮挡区域与被遮挡区域之间的相对关系，即使人脸图像在戴眼镜区域被遮挡，通过修复被遮挡的区域的人脸，避免了遮挡区域的纹理细节丢失，提高了佩戴眼镜时，人脸识别的精准度。

请参阅图3，为本发明提供的一种恢复眼镜遮挡区域的人脸重建方法中步骤S2流程图，包括：

步骤S201，采用Supervised Decent Method(SDM，有监督梯度方法)检测眼镜内、外边框各自对应的关键点；求解非线性的最小二乘问题，最终实现多角度、表情的人脸关键特征点检测。

其中，参阅图4，矩形“□”是眼镜内边框的关键点，菱形“◇”是眼镜外边框的关键点，即通过包含一组人脸图片的训练集图片{dⁱ}，该训练集包括预先标定的人脸位置区域{rⁱ}和人脸关键特征点坐标训练动态初始化回归模型，将需要人脸图像输入到该模型即可得到人脸图像中的关键点。

步骤S202，分别连接眼镜内、外边框相邻的关键点，得到眼镜内、外边框各自对应的初始位置；

其中，请参阅图5，矩形“□”组成的线段17～24是眼镜内边框的初始位置，菱形“◇”组成的线段1～16是眼镜外框的初始位置；

步骤S203，基于所述初始位置上关键点形成的初始轮廓，采用Active ContourModel获取眼镜内、外边框上轮廓线段；

其中，请参阅图6，按照主动轮廓模型对初始轮廓进行分割，将线段1、2、3、4、5、6、7、8、10、12、13、14、15、16、17、18、19、20、21、22、23、24为初始轮廓，寻找眼镜内外边框上的轮廓线段，矩形“□”组成的线段17～24是眼镜内边框的轮廓位置，菱形“◇”组成的线段1～16是眼镜外框的轮廓位置。

具体地，采用主动轮廓模型提取特征过程中，可以极大地扩展捕获区域和降低计算复杂性。

步骤S204，按时针顺序连接眼镜内、外边框上轮廓线段构成内、外轮廓曲线，将内、外轮廓曲线上长度分成N个等分点，选择人脸图像中人脸区域内任一像素点，依次计算该像素点与N个等分点之间的方向矢量，根据方向矢量在N个等分点的角度累计值判断该像素点在外轮廓内部或外部。

在本实施例中，顺时针连接相邻的眼镜外轮廓曲线段1、2、13、5、6、11、12、8、7、16、15、14、4、3、10、9构成眼镜的外轮廓曲线；取外轮廓曲线上长度N等分点(N>50),对人脸区域内的任一像素点，依次计算该像素点与N等分点之间的方向矢量，通过判断方向矢量在N等分点的角度累计值是否落在区间范围内，即[350,370]，确定该像素点位于外轮廓的内部，还是外部；

式(1)中，为像素点与第i个等分点间的方向矢量，分别为当前像素点在笛卡尔坐标系中的横、纵坐标，x_i、y_i分别为第i个等分点的横、纵坐标，为该坐标系中横纵方向的单位矢量，为像素点与第i个等分点间方向矢量的角度，AccAngle为在N个等分点上方向矢量角度的累计值。

同理，顺时针连接相邻的眼镜内轮廓曲线段17、18、19、20眼镜的左半部内轮廓曲线，顺时针连接相邻的眼镜内轮廓曲线段21、22、23、24构成眼镜的右半部内轮廓曲线；用上述判断外轮廓内外像素的方法，对人脸区域内的任一像素点，确定该像素点位于左(右)半部内轮廓的内部，还是外部；

取位于外轮廓的内部，且处于左(右)半部内轮廓的外部的像素点为眼镜边框所在的位置，请参照图7。

在本实施例中，基于一种由点即线，启发定位眼镜边框的算法，该算法确定具有显著纹理特征的眼镜边框关键点，再以此为先验信息，基于逼近眼镜边框轮廓，对不同的光照和不同的图片清晰度具有很好的鲁棒性。

请参阅图8，为本发明提供的一种恢复眼镜遮挡区域的人脸重建方法中步骤S4流程图，包括：

步骤S401，基于inpainting tela图像修复算法，使用眼镜边框相邻区域的像素对眼镜边框内部进行填充修复，得到修复后的人脸图像；

其中，请参照图9，采用inpainting tela图像修复算法得到的人脸图像，；

proj_i＝S_i·S (3)

式(3)中，S为人脸图像，S_i为特征人脸，proj_i为特征人脸的权重值。

在本实施例中，完全利用已知区域的信息来修复图像，而不采用破损区域内的信息，对图像的边界进行修复，每修复完一圈边界，将其修复过的区域视为已知区域，再继续修复新的边界，直到图像完全被修复，避免了反复利用破损信息对图像进行修复而造成的误差，

步骤S402，采用梯度下降法计算修复后的人脸图像在所述人脸主成分空间中特征人脸上的投影分量；

具体地，以所述投影分量为特征人脸权重的初始值，其中，特征人脸即主成分空间中的特征子空间。

步骤S403，以投影分量为特征人脸权重的初始值，在所述人脸主成分空间中筛选最优人脸权重值；

其中，通过下述公式筛选人脸成分空间中特征人脸权重值，使得眼镜边框之外的人脸图像的图像区域与该组特征人脸权重值的像素值的差别最小，即最优化过程可通过“gradient descent method(梯度下降法)”实现；

式(4)中，S为人脸图像，S_i为特征人脸，W_i为特征人脸的权重值，min为差别最小重值。

步骤S404，根据最优人脸权重值，恢复眼镜边框遮挡区域的人脸图像。

其中，请参照图10，将最优的特征人脸的权重值为基准，恢复眼镜边框遮挡区域的人脸图像，得到未遮挡区域重建出的人脸图像。

在本实施例中，通过inpainting tela图像修复算法修复填充受遮挡的区域的人脸，以投影分量为特征人脸权重的初始值，在所述人脸主成分空间中筛选最优人脸权重值，以最小的像素差别值为最优特征人脸权重值，恢复眼镜边框遮挡区域的人脸图像，得到未遮挡区域重建出的人脸图像，从而提高了人脸识别率。

请参阅图11，为本发明的另一目的在于提供一种恢复眼镜遮挡区域的人脸重建装置，包括：

获取模块1，用于获取包含戴眼镜的人脸图像；

检测模块2，用于检测所述人脸图像中眼镜边框的位置，其中，所述眼镜边框的位置包含内、外边框内、外轮廓曲线；

主成分空间模块3，用于根据训练集中不同个体的人脸图像，采用主成分分析建立以特征人脸构成的人脸主成分空间；

其中，训练集内包含各种不同个体的人脸图像，依据主成分析法采用以下公式将训练集中任意一张人脸图像表述为主成分空间中各特征人脸的线性加权：

式(2)中，S为人脸图像，S_i为特征人脸，W_i为特征人脸的权重值。

恢复模块4，用于以眼镜边框之外的人脸图像为基准，在所述人脸主成分空间中筛选与基准匹配度最高的人脸图像为待恢复图像。

请参阅图12，为本发明提供的一种恢复眼镜遮挡区域的人脸重建装置中检测模块的结构框图，包括：

第一检测单元，采用Supervised Decent Method检测眼镜内、外边框各自对应的关键点；

第一定位单元，用于分别连接眼镜内、外边框相邻的关键点，得到眼镜内、外边框各自对应的初始位置；

第二定位单元，用于基于所述初始位置上关键点形成的初始轮廓，采用ActiveContour Model获取眼镜内、外边框上轮廓线段；

处理单元，用于按时针顺序连接眼镜内、外边框上轮廓线段构成内、外轮廓曲线，将内、外轮廓曲线上长度分成N个等分点，选择人脸图像中人脸区域内任一像素点，依次计算该像素点与N个等分点之间的方向矢量，根据方向矢量在N个等分点的角度累计值判断该像素点在外轮廓内部或外部。

其中，采用以下公式依次计算人脸区域内任一像素点与N个等分点之间的方向矢量，根据方向矢量在N个等分点上的角度累计值是否落在区间范围内，即[350,370]，还是外部判断该像素点在外轮廓的内部或外部。

式(1)中，为像素点与第i个等分点间的方向矢量，分别为当前像素点在笛卡尔坐标系中的横、纵坐标，x_i、y_i分别为第i个等分点的横、纵坐标，为该坐标系中横纵方向的单位矢量，为像素点与第i个等分点间方向矢量的角度，AccAngle为在N个等分点上方向矢量角度的累计值。

请参阅图13，为本发明提供的一种恢复眼镜遮挡区域的人脸重建方法中恢复模块的结构框图，包括：

修复单元，用于基于inpainting tela图像修复算法，使用眼镜边框相邻区域的像素对眼镜边框内部进行填充修复，得到修复后的人脸图像；

计算单元，用于以梯度下降法计算修复后的人脸图像在所述人脸主成分空间中特征人脸上的投影分量；

筛选单元，用于以投影分量为特征人脸权重的初始值，在所述人脸主成分空间中筛选最优人脸权重值；

恢复单元，用于根据最优人脸权重值，恢复眼镜边框遮挡区域的人脸图像。

综上所述，本发明基于人脸图像的主成分空间，建立人脸图像在未遮挡区域与被遮挡区域之间的相对关系，即使人脸图像在戴眼镜区域被遮挡，通过修复被遮挡的区域的人脸，避免了遮挡区域的纹理细节丢失，提高了佩戴眼镜时，人脸识别的精准度。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种恢复眼镜遮挡区域的人脸重建方法，其特征在于，包括：

获取包含戴眼镜的人脸图像；

检测所述人脸图像中眼镜边框的位置，其中，所述眼镜边框的位置包含内、外边框内、外轮廓曲线；

根据训练集中不同个体的人脸图像，采用主成分分析建立以特征人脸构成的人脸主成分空间；

以眼镜边框之外的人脸图像为基准，在所述人脸主成分空间中筛选与基准匹配度最高的人脸图像为待恢复图像。

2.根据权利要求1所述的恢复眼镜遮挡区域的人脸重建方法，其特征在于，所述检测所述人脸图像中眼镜边框的位置的步骤，包括：

采用Supervised Decent Method检测眼镜内、外边框各自对应的关键点；

分别连接眼镜内、外边框相邻的关键点，得到眼镜内、外边框各自对应的初始位置；

基于所述初始位置上关键点形成的初始轮廓，采用Active Contour Model获取眼镜内、外边框上轮廓线段；

按时针顺序连接眼镜内、外边框上轮廓线段构成内、外轮廓曲线，将内、外轮廓曲线上长度分成N个等分点，选择人脸图像中人脸区域内任一像素点，依次计算该像素点与N个等分点之间的方向矢量，根据方向矢量在N个等分点的角度累计值判断该像素点在外轮廓内部或外部。

3.根据权利要求2所述的恢复眼镜遮挡区域的人脸重建方法，其特征在于，所述依次计算该像素点与N个等分点之间的方向矢量，根据方向矢量在N个等分点的角度累计值判断该像素点在外轮廓内部或外部的步骤，包括：

采用以下公式依次计算人脸区域内任一像素点与N个等分点之间的方向矢量，根据方向矢量在N个等分点上的角度累计值落在区间范围内判断该像素点在外轮廓的内部或外部；

式(1)中，为像素点与第i个等分点间的方向矢量，分别为当前像素点在笛卡尔坐标系中的横、纵坐标，x_i、y_i分别为第i个等分点的横、纵坐标，为该坐标系中横纵方向的单位矢量，为像素点与第i个等分点间方向矢量的角度，AccAngle为在N个等分点上方向矢量角度的累计值。

4.根据权利要求1所述的恢复眼镜遮挡区域的人脸重建方法，其特征在于，所述根据训练集中不同个体的人脸图像，采用主成分分析建立以特征人脸构成的人脸主成分空间的步骤，包括：

训练集内包含各种不同个体的人脸图像，依据主成分析法采用以下公式将训练集中任意一张人脸图像表述为主成分空间中各特征人脸的线性加权：

式(2)中，S为人脸图像，S_i为特征人脸，W_i为特征人脸的权重值。

5.根据权利要求1所述的恢复眼镜遮挡区域的人脸重建方法，其特征在于，所述以眼镜边框之外的人脸图像为基准，在所述人脸主成分空间中筛选与基准匹配度最高的人脸图像为待恢复图像的步骤，包括：

基于inpainting tela图像修复算法，使用眼镜边框相邻区域的像素对眼镜边框内部进行填充修复，得到修复后的人脸图像；

采用梯度下降法计算修复后的人脸图像在所述人脸主成分空间中特征人脸上的投影分量；

以投影分量为特征人脸权重的初始值，在所述人脸主成分空间中筛选最优人脸权重值；

根据最优人脸权重值，恢复眼镜边框遮挡区域的人脸图像。

6.一种恢复眼镜遮挡区域的人脸重建装置，其特征在于，包括：

获取模块，用于获取包含戴眼镜的人脸图像；

检测模块，用于检测所述人脸图像中眼镜边框的位置，其中，所述眼镜边框的位置包含内、外边框内、外轮廓曲线；

主成分空间模块，用于根据训练集中不同个体的人脸图像，采用主成分分析建立以特征人脸构成的人脸主成分空间；

恢复模块，用于以眼镜边框之外的人脸图像为基准，在所述人脸主成分空间中筛选与基准匹配度最高的人脸图像为待恢复图像。

7.根据权利要求6所述的恢复眼镜遮挡区域的人脸重建装置，其特征在于，所述检测模块包括：

第一检测单元，采用Supervised Decent Method检测眼镜内、外边框各自对应的关键点；

第一定位单元，用于分别连接眼镜内、外边框相邻的关键点，得到眼镜内、外边框各自对应的初始位置；

第二定位单元，用于基于所述初始位置上关键点形成的初始轮廓，采用ActiveContour Model获取眼镜内、外边框上轮廓线段；

处理单元，用于按时针顺序连接眼镜内、外边框上轮廓线段构成内、外轮廓曲线，将内、外轮廓曲线上长度分成N个等分点，选择人脸图像中人脸区域内任一像素点，依次计算该像素点与N个等分点之间的方向矢量，根据方向矢量在N个等分点的角度累计值判断该像素点在外轮廓内部或外部。

8.根据权利要求7所述的恢复眼镜遮挡区域的人脸重建装置，其特征在于，所述处理单元包括：

采用以下公式依次计算人脸区域内任一像素点与N个等分点之间的方向矢量，根据方向矢量在N个等分点上的角度累计值落在区间范围内判断该像素点在外轮廓的内部或外部；

式(1)中，为像素点与第i个等分点间的方向矢量，分别为当前像素点在笛卡尔坐标系中的横、纵坐标，x_i、y_i分别为第i个等分点的横、纵坐标，为该坐标系中横纵方向的单位矢量，为像素点与第i个等分点间方向矢量的角度，AccAngle为在N个等分点上方向矢量角度的累计值。

9.根据权利要求6所述的恢复眼镜遮挡区域的人脸重建装置，其特征在于，所述主成分空间模块包括：

训练集内包含各种不同个体的人脸图像，依据主成分析法采用以下公式将训练集中任意一张人脸图像表述为主成分空间中各特征人脸的线性加权：

式(2)中，S为人脸图像，S_i为特征人脸，W_i为特征人脸的权重值。

10.根据权利要求6所述的恢复眼镜遮挡区域的人脸重建装置，其特征在于，所述恢复模块包括：

修复单元，用于基于inpainting tela图像修复算法，使用眼镜边框相邻区域的像素对眼镜边框内部进行填充修复，得到修复后的人脸图像；

计算单元，用于以梯度下降法计算修复后的人脸图像在所述人脸主成分空间中特征人脸上的投影分量；

筛选单元，用于以投影分量为特征人脸权重的初始值，在所述人脸主成分空间中筛选最优人脸权重值；

恢复单元，用于根据最优人脸权重值，恢复眼镜边框遮挡区域的人脸图像。