CN107844742B - 人脸图像眼镜去除方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种人脸图像眼镜去除方法，该方法包括：获取摄像装置拍摄到的一张实时图像，从该实时图像中提取一张人脸图像；对所述人脸图像进行规范化处理，使用仿射变换进行人脸姿态校正，得到一张正面人脸图像；通过对所述正面人脸图像进行二值化处理、边缘检测，判断所述正面人脸图像中是否包含眼镜区域；及，确定所述正面人脸图像中的眼镜区域，在所述正面人脸图像中寻找所述眼镜区域周围的像素点对所述眼镜区域进行填充，得到去除眼镜的人脸图像。本发明在去除人脸图像中的眼镜，生成无眼镜的人脸图像的同时，保留了人脸图像中原有的人脸特征，提高人脸识别的识别率。本发明还公开了一种电子装置及一种计算机可读存储介质。

Description

人脸图像眼镜去除方法、装置及存储介质

技术领域

本发明涉及计算机视觉处理技术领域，尤其涉及一种人脸图像眼镜去除方法、装置及计算机可读存储介质。

背景技术

在人脸识别领域，由于很多人戴眼镜，尤其是戴深框眼镜，导致在人脸识别时，带深框眼镜的人脸图像相似度较高，无法进行准确的人脸识别。

目前业内采用的人脸图像眼镜去除方案，是使用二维广义主成分分析法，该方法利用无眼镜人脸图像训练特征空间，对戴眼镜的人脸进行重建，通过与输入的原始人脸图像的对比，提取出眼镜遮挡区域，再通过误差迭代的方式对图像进行误差补偿，合成最终的无眼镜的人脸图像。这种方法对于与训练图像相近的输入图像效果较好，但需要一定时间和一定数量的图片进行训练，而且对于与训练图像出入较大的输入图像，虽然消除了人脸图像中的眼镜，但对人脸特征破坏比较严重，进而无法进行准确的人脸识别。

发明内容

有鉴于此，本发明提供一种人脸图像眼镜去除方法、装置及计算机可读存储介质，其主要目的在于在不破坏人脸图像中原有人脸特征的前提下，去除人脸图像中的眼镜，生成无眼镜的人脸图像，提高人脸识别的识别率。

为实现上述目的，本发明提供一种电子装置，该装置包括：存储器、处理器及摄像装置，所述存储器中包括人脸图像眼镜去除程序，所述人脸图像眼镜去除程序被所述处理器执行时实现如下步骤：

实时图像获取步骤：获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张人脸图像；

图像预处理步骤：对所述人脸图像进行规范化处理，使用仿射变换进行人脸姿态校正，得到一张正面人脸图像；

眼镜区域判断步骤：通过对所述正面人脸图像进行二值化处理、边缘检测，判断所述正面人脸图像中是否包含眼镜区域；及

眼镜去除步骤：确定所述正面人脸图像中的眼镜区域，在所述正面人脸图像中寻找所述眼镜区域周围的像素点对所述眼镜区域进行填充，得到去除眼镜的人脸图像。

可选地，所述眼镜区域判断步骤包括：

二值化处理步骤：将所述正面人脸图像转换为灰度图像，对所述灰度图像进行二值化处理得到二值化图像；

边缘检测步骤：对所述灰度图像进行边缘检测得到边缘图像，对所述边缘图像进行区域填充运算得到边缘填充图像；

投影步骤：将所述二值化图像往所述边缘填充图像进行投影，得到所述二值化图像、边缘填充图像的重合区域；及

眼镜区域确定步骤：根据预设的眼镜区域判断规则，确定所述正面人脸图像中的眼镜区域。

可选地，所述眼镜区域确定步骤包括：

从所述重合区域中截取位于所述正面人脸图像上半部的部分，作为待确定眼镜区域；及

若所述待确定的眼镜区域面积大于预设阈值，对所述待确定眼镜区域进行长方形逼近运算，得到包含所述待确定眼镜区域的最小长方形，作为所述正面人脸图像的眼镜区域。

可选地，所述眼镜去除步骤包括：

在所述正面人脸图像中确定所述眼镜区域，并确定所述眼镜区域中的眼镜边框；及

以所述眼镜边框的每一个像素点为中心像素点，根据所述中心像素点周围像素点的像素点信息，计算所述中心像素点的新像素点信息，替换所述中心像素点的原像素点信息，得到去除眼镜的正面人脸图像。

此外，为实现上述目的，本发明还提供一种人脸图像眼镜去除方法，该方法包括：

实时图像获取步骤：获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张人脸图像；

图像预处理步骤：对所述人脸图像进行规范化处理，使用仿射变换进行人脸姿态校正，得到一张正面人脸图像；

眼镜区域判断步骤：通过对所述正面人脸图像进行二值化处理、边缘检测，判断所述正面人脸图像中是否包含眼镜区域；及

眼镜去除步骤：确定所述正面人脸图像中的眼镜区域，在所述正面人脸图像中寻找所述眼镜区域周围的像素点对所述眼镜区域进行填充，得到去除眼镜的人脸图像。

可选地，所述眼镜区域判断步骤包括：

二值化处理步骤：将所述正面人脸图像转换为灰度图像，对所述灰度图像进行二值化处理得到二值化图像；

边缘检测步骤：对所述灰度图像进行边缘检测得到边缘图像，对所述边缘图像进行区域填充运算得到边缘填充图像；

投影步骤：将所述二值化图像往所述边缘填充图像进行投影，得到所述二值化图像、边缘填充图像的重合区域；及

眼镜区域确定步骤：根据预设的眼镜区域判断规则，确定所述正面人脸图像中的眼镜区域。

可选地，所述眼镜区域确定步骤包括：

从所述重合区域中截取位于所述正面人脸图像上半部的部分，作为待确定眼镜区域；及

若所述待确定的眼镜区域面积大于预设阈值，对所述待确定眼镜区域进行长方形逼近运算，得到包含所述待确定眼镜区域的最小长方形，作为所述正面人脸图像的眼镜区域。

可选地，所述眼镜去除步骤包括：

在所述正面人脸图像中确定所述眼镜区域，并确定所述眼镜区域中的眼镜边框；及

以所述眼镜边框的每一个像素点为中心像素点，根据所述中心像素点周围像素点的像素点信息，计算所述中心像素点的新像素点信息，替换所述中心像素点的原像素点信息，得到去除眼镜的正面人脸图像。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括人脸图像眼镜去除程序，所述人脸图像眼镜去除程序被处理器执行时，实现如上所述的人脸图像眼镜去除方法中的任意步骤。

相较于现有技术，本发明提出的人脸图像眼镜去除方法、电子装置及计算机可读存储介质，首先，通过对人脸图像进行二值化处理及边缘检测，分别得到两张图像，确定两张图像的重合区域，然后，根据所述重合区域的位置及面积，确定眼镜区域，最后，从人脸图像中寻找所述眼镜区域周围的像素点信息，将所述眼镜区域的像素点信息替换为所述眼镜区域周围的像素点信息，从而得到去除眼镜的人脸图像。这样，既节省了模型训练的时间，又在不破坏人脸图像中原有的人脸特征的前提下，有效去除了人脸图像中的眼镜。

附图说明

图1为本发明人脸图像眼镜去除方法较佳实施例的应用环境示意图；

图2为图1中人脸图像眼镜去除程序的模块示意图；

图3为本发明人脸图像眼镜去除方法较佳实施例的流程图；

图4为本发明人脸图像眼镜去除方法中步骤S30的细化流程图；

图5为本发明人脸图像眼镜去除方法中步骤S40的细化流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种人脸图像眼镜去除方法，应用于电子装置1。参照图1所示，为本发明人脸图像眼镜去除方法较佳实施例的应用环境示意图。

在本实施例中，电子装置1可以是安装有人脸图像眼镜去除程序的机架式服务器、刀片式服务器、塔式服务器或机柜式服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。

该电子装置1包括：存储器11、处理器12、摄像装置13、网络接口14及通信总线15。

其中，存储器11至少包括一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，存储器11可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，存储器11也可以是所述电子装置1的外部存储设备，例如所述电子装置1上配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。

在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的人脸图像眼镜去除程序10及各类数据等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行人脸图像眼镜去除程序10等。

摄像装置13既可以是所述电子装置1的一部分，也可以独立于电子装置1。在一些实施例中，所述电子装置1为智能手机、平板电脑、便携计算机等具有摄像头的终端设备，则所述摄像装置13即为所述电子装置1的摄像头。在其他实施例中，所述电子装置1可以为服务器，所述摄像装置13独立于该电子装置1、与该电子装置1通过网络连接，例如，该摄像装置13安装于特定场所，如办公场所、监控区域，对进入该特定场所的目标实时拍摄得到实时图像，通过网络将拍摄得到的实时图像传输至处理器12。

网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置1与其他电子设备之间建立通信连接。

通信总线15用于实现这些组件之间的连接通信。

图1仅示出了具有组件11-15的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)等，可选地用户接口还可以包括标准的有线接口、无线接口。

可选地，该电子装置1还可以包括显示器，显示器也可以适当的称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。

在图1所示的装置实施例中，存储器11中存储有人脸图像眼镜去除程序10。处理器12执行存储器11中存储的人脸图像眼镜去除程序10时实现如下步骤：

实时图像获取步骤：获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张人脸图像；

图像预处理步骤：对所述人脸图像进行规范化处理，使用仿射变换进行人脸姿态校正，得到一张正面人脸图像；

眼镜区域判断步骤：通过对所述正面人脸图像进行二值化处理、边缘检测，判断所述正面人脸图像中是否包含眼镜区域；及

眼镜去除步骤：确定所述正面人脸图像中的眼镜区域，在所述正面人脸图像中寻找所述眼镜区域周围的像素点对所述眼镜区域进行填充，得到去除眼镜的人脸图像。

当摄像装置拍摄到一张实时图像，摄像装置将这张实时图像发送到处理器，当处理器接收到该实时图像后，利用人脸识别算法提取出实时的脸部图像。具体地，从该实时图像中提取实时脸部图像的人脸识别算法可以为基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法，等等。

由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，采集的图像往往存在有噪声、对比度低等缺点。另外，距离远近，焦距大小等又使得人脸在整幅图像中间的大小和位置不确定。为了保证人脸图像中人脸大小，位置以及人脸图像质量的一致性，必须对人脸图像进行人脸扶正，人脸图像的增强，以及归一化等工作。其主要目的在于消除图像中无关的信息，滤除干扰、噪声，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征分析的可靠性。其中，所述人脸扶正是为了得到人脸位置端正的正面人脸图像，常用的人脸扶正的方法是利用仿射变换对人脸图像中的人脸进行姿态校正，关于利用仿射变换进行人脸姿态校正已经是成熟的计算方法，在此不再赘述。所述图像增强是为了改善人脸图像的质量，不仅在视觉上更加清晰图像，而且使图像更利于计算机的处理与识别。所述归一化工作的目标是取得尺寸一致，灰度取值范围相同的标准化的正面人脸图像。

具体地，所述眼镜区域判断步骤包括以下细化步骤：

二值化处理步骤：将所述正面人脸图像转换为灰度图像，对所述灰度图像进行二值化处理得到二值化图像；

边缘检测步骤：对所述灰度图像进行边缘检测得到边缘图像，对所述边缘图像进行区域填充运算得到边缘填充图像；

投影步骤：将所述二值化图像往所述边缘填充图像进行投影，得到所述二值化图像、边缘填充图像的重合区域；及

眼镜区域确定步骤：根据预设的眼镜区域判断规则，确定所述正面人脸图像中的眼镜区域。

在进行图像分析、特征提取与模式识别之前，图像二值化是必要的图像预处理过程，其目的是最大限度的将图象中感兴趣的部分保留下来。首先，将上述经过图像预处理得到的标准化的正面人脸图像A进行灰度处理，得到灰度图像B，将灰度图像B进行二值化处理，例如，设置128为预设灰度值阈值，那么灰度值大于等于128的像素点全部被置为255(纯白)，小于128的像素点全部被置为0(纯黑)，得到二值化图像C，整个图像呈现出明显的黑白效果。

接下来，对上述灰度图像B进行边缘检测，得到边缘图像D，所谓边缘是指其周围像素灰度急剧变化的那些像素的集合，它是图像最基本的特征，边缘存在于目标、背景和区域之间，所以，它是图像分割所依赖的最重要的依据。由于边缘是位置的标志，对灰度的变化不敏感，因此，边缘也是图像匹配的重要特征。具体地，所述边缘检测可通过Sobel算子、Laplace算子、Canny算子等来实现。然后对边缘检测后得到的边缘图像D进行区域填充得到边缘填充图像E，具体填充算法可为孔洞填充算法等，这里不再赘述。

将上述二值化图像C往上述边缘填充图像E上进行投影，可以得到这两张图像相互重合的重合区域，所述重合区域为多个闭合的区域，可能包括人脸的嘴巴、鼻子、眼睛、眉毛等，在所述正面人脸图像A中确定所述重合区域，这样还无法确定正面人脸图像A中是否包含眼镜区域，故需要根据预设的判断规则对上述重合区域进行判断，以确定正面人脸图像A中的眼镜区域。

具体地，所述眼镜区域确定步骤包括以下细化步骤：

从所述重合区域中截取位于所述正面人脸图像上半部的部分，作为待确定眼镜区域；

若所述待确定的眼镜区域面积大于预设阈值，对所述待确定眼镜区域进行长方形逼近运算，得到包含所述待确定眼镜区域的最小长方形，作为所述正面人脸图像的眼镜区域。

鉴于所述重合区域可能包括人脸的嘴巴、鼻子、眼睛、眉毛等位置，首先，需要根据各个重合区域位于图像中的具体位置，初步确定所述正面人脸图像A中是否包含眼镜区域。因为所述正面人脸图像A经过了规范化处理，那么可以根据所述各个重合区域在所述正面人脸图像A中垂直方向上的位置，判断各个重合区域位于所述正面人脸图像A中的上半部还是下半部，然后保留位于所述正面人脸图像A中上半部的重合区域作为待确定眼镜区域。

接下来，为了剔除包含眉毛、眼睛或者黑眼圈等的重合区域，计算上述待确定眼镜区域中各个重合区域的面积，并判断待确定眼镜区域中各重合区域面积与预设阈值S的大小，可以理解的是，包含眼镜区域的重合区域面积必然大于包含眉毛、眼睛等的重合区域，因此，保留面积大于预设阈值S的重合区域，并对该重合区域做长方形逼近运算，对逼近后的长方形进行非极大值抑制(Non-Maximum-Suppression，NMS)算法，去除小的长方形，只保留最大的长方形，最终保留的最大长方形即为本方案要确定的正面人脸图像A中的眼镜区域。

需要说明的是，若各个重合区域均位于所述正面人脸图像A的下半部，或者，所述待确定眼镜区域中的各个重合区域的面积均小于预设阈值，都认为该重合区域不为眼镜区域，也就是说所述正面人脸图像A中不包含眼镜区域，继续获取下一张实时图像。

具体地，所述眼镜去除步骤包括以下细化步骤：

在所述正面人脸图像中确定所述眼镜区域，并确定所述眼镜区域中的眼镜边框；及

以所述眼镜边框的每一个像素点为中心像素点，根据所述中心像素点周围像素点的像素点信息，计算所述中心像素点的新像素点信息，替换所述中心像素点的原像素点信息，得到去除眼镜的正面人脸图像。

在所述正面人脸图像A中确定通过以上步骤得到的眼镜区域，从该眼镜区域中选出代表眼镜边框的重合区域，通过寻找该眼镜边框周围的像素点的像素点信息(即，皮肤色)对所述正面人脸图像A中的眼镜边框进行填充，得到去除眼镜的正面人脸图像。

在其他实施例中，也可采用简单的图像修复算法，可以快速、准确地对人脸图像中的眼镜进行去除，同时保留人眼的细节特征信息，提高人脸识别的准确度。

可以理解的是，上述各实施例中所述的预设灰度值阈值及面积的预设阈值等需要预先设置的参数，用户可以根据实际情况进行设置。

本实施例提出的电子装置，有效去除了人脸图像中的眼镜，保留了绝大部分人眼部分的细节特征，使得后续的人脸识别准确度较高。

在其他实施例中，人脸图像眼镜去除程序10还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由处理器12执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。例如，参照图2所示，为图1中人脸图像眼镜去除程序10的模块示意图。

所述人脸图像眼镜去除程序10可以被分割为：获取模块110、图像处理模块120、判断模块130及去除模块140，所述模块110-140所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：

获取模块110，用于获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张人脸图像；

图像处理模块120，用于对所述人脸图像进行规范化处理，使用仿射变换进行人脸姿态校正，得到一张正面人脸图像；

判断模块130，用于通过对所述正面人脸图像进行二值化处理、边缘检测，判断所述正面人脸图像中是否包含眼镜区域；及

去除模块140，用于确定所述正面人脸图像中的眼镜区域，在所述正面人脸图像中寻找所述眼镜区域周围的像素点对所述眼镜区域进行填充，得到去除眼镜的人脸图像。

此外，本发明还提供一种人脸图像眼镜去除方法。参照图3所示，为本发明人脸图像眼镜去除方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，人脸图像眼镜去除方法包括：

步骤S10，获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张人脸图像；

步骤S20，对所述人脸图像进行规范化处理，使用仿射变换进行人脸姿态校正，得到一张正面人脸图像；

步骤S30，通过对所述正面人脸图像进行二值化处理、边缘检测，判断所述正面人脸图像中是否包含眼镜区域；及

步骤S40，确定所述正面人脸图像中的眼镜区域，在所述正面人脸图像中寻找所述眼镜区域周围的像素点对所述眼镜区域进行填充，得到去除眼镜的人脸图像。

当摄像装置拍摄到一张实时图像，摄像装置将这张实时图像发送到处理器，当处理器接收到该实时图像后，利用人脸识别算法提取出实时的脸部图像。具体地，从该实时图像中提取实时脸部图像的人脸识别算法可以为基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法，等等。

由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，采集的图像往往存在有噪声、对比度低等缺点。另外，距离远近，焦距大小等又使得人脸在整幅图像中间的大小和位置不确定。为了保证人脸图像中人脸大小，位置以及人脸图像质量的一致性，必须对人脸图像进行人脸扶正，人脸图像的增强，以及归一化等工作。其主要目的在于消除图像中无关的信息，滤除干扰、噪声，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征分析的可靠性。其中，所述人脸扶正是为了得到人脸位置端正的正面人脸图像，常用的人脸扶正的方法是利用仿射变换对人脸图像中的人脸进行姿态校正，关于利用仿射变换进行人脸姿态校正已经是成熟的计算方法，在此不再赘述。所述图像增强是为了改善人脸图像的质量，不仅在视觉上更加清晰图像，而且使图像更利于计算机的处理与识别。所述归一化工作的目标是取得尺寸一致，灰度取值范围相同的标准化的正面人脸图像。

具体地，参照图4所示，为本发明人脸图像眼镜去除方法中步骤S30的细化流程图。所述步骤S30包括以下细化步骤：

步骤S31，将所述正面人脸图像转换为灰度图像，对所述灰度图像进行二值化处理得到二值化图像；

步骤S32，对所述灰度图像进行边缘检测得到边缘图像，对所述边缘图像进行区域填充运算得到边缘填充图像；

步骤S33，将所述二值化图像往所述边缘填充图像进行投影，得到所述二值化图像、边缘填充图像的重合区域；及

步骤S34，根据预设的眼镜区域判断规则，确定所述正面人脸图像中的眼镜区域。

在进行图像分析、特征提取与模式识别之前，图像二值化是必要的图像预处理过程，其目的是最大限度的将图象中感兴趣的部分保留下来。首先，将上述经过图像预处理得到的标准化的正面人脸图像A进行灰度处理，得到灰度图像B，将灰度图像B进行二值化处理，例如，设置128为预设灰度值阈值，那么灰度值大于等于128的像素点全部被置为255(纯白)，小于128的像素点全部被置为0(纯黑)，得到二值化图像C，整个图像呈现出明显的黑白效果。

接下来，对上述灰度图像B进行边缘检测，得到边缘图像D，所谓边缘是指其周围像素灰度急剧变化的那些像素的集合，它是图像最基本的特征，边缘存在于目标、背景和区域之间，所以，它是图像分割所依赖的最重要的依据。由于边缘是位置的标志，对灰度的变化不敏感，因此，边缘也是图像匹配的重要特征。具体地，所述边缘检测可通过Sobel算子、Laplace算子、Canny算子等来实现。然后对边缘检测后得到的边缘图像D进行区域填充得到边缘填充图像E，具体填充算法可为孔洞填充算法等，这里不再赘述。

将上述二值化图像C往上述边缘填充图像E上进行投影，可以得到这两张图像相互重合的重合区域，所述重合区域为多个闭合的区域，可能包括人脸的嘴巴、鼻子、眼睛、眉毛等，在所述正面人脸图像A中确定所述重合区域，这样还无法确定正面人脸图像A中是否包含眼镜区域，故需要根据预设的判断规则对上述重合区域进行判断，以确定正面人脸图像A中的眼镜区域。

具体地，所述根据预设的眼镜区域判断规则包括：

从所述重合区域中截取位于所述正面人脸图像上半部的部分，作为待确定眼镜区域；

若所述待确定的眼镜区域面积大于预设阈值，对所述待确定眼镜区域进行长方形逼近运算，得到包含所述待确定眼镜区域的最小长方形，作为所述正面人脸图像的眼镜区域。

鉴于所述重合区域可能包括人脸的嘴巴、鼻子、眼睛、眉毛等位置，首先，需要根据各个重合区域位于图像中的具体位置，初步确定所述正面人脸图像A中是否包含眼镜区域。因为所述正面人脸图像A经过了规范化处理，那么可以根据所述各个重合区域在所述正面人脸图像A中垂直方向上的位置，判断各个重合区域位于所述正面人脸图像A中的上半部还是下半部，然后保留位于所述正面人脸图像A中上半部的重合区域作为待确定眼镜区域。

接下来，为了剔除包含眉毛、眼睛或者黑眼圈等的重合区域，计算上述待确定眼镜区域中各个重合区域的面积，并判断待确定眼镜区域中各重合区域面积与预设阈值S的大小，可以理解的是，包含眼镜区域的重合区域面积必然大于包含眉毛、眼睛等的重合区域，因此，保留面积大于预设阈值S的重合区域，并对该重合区域做长方形逼近运算，对逼近后的长方形进行非极大值抑制(NMS)算法，去除小的长方形，只保留最大的长方形，最终保留的最大长方形即为本方案要确定的正面人脸图像A中的眼镜区域。

需要说明的是，若各个重合区域均位于所述正面人脸图像A的下半部，或者，所述待确定眼镜区域中的各个重合区域的面积均小于预设阈值，都认为该重合区域不为眼镜区域，也就是说所述正面人脸图像A中不包含眼镜区域，继续获取下一张实时图像。

具体地，参照图5所述，为本发明人脸图像眼镜去除方法中步骤S40的细化流程图。所述步骤S40包括以下细化步骤：

在所述正面人脸图像中确定所述眼镜区域，并确定所述眼镜区域中的眼镜边框；及

以所述眼镜边框的每一个像素点为中心像素点，根据所述中心像素点周围像素点的像素点信息，计算所述中心像素点的新像素点信息，替换所述中心像素点的原像素点信息，得到去除眼镜的正面人脸图像。

在所述正面人脸图像A中确定通过以上步骤得到的眼镜区域，从该眼镜区域中选出代表眼镜边框的重合区域，通过寻找该眼镜边框周围的像素点的像素点信息(即，皮肤色)对所述正面人脸图像A中的眼镜边框进行填充，得到去除眼镜的正面人脸图像。

在其他实施例中，也可采用简单的图像修复算法，可以快速、准确地对人脸图像中的眼镜进行去除，同时保留人眼的细节特征信息，提高人脸识别的准确度。

可以理解的是，上述各实施例中所述的预设灰度值阈值及面积的预设阈值等需要预先设置的参数，用户可以根据实际情况进行设置。

本实施例提出的人脸图像眼镜去除方法，去除人脸图像中的眼镜，同时保留了绝大部分人眼部分的细节特征，使得后续的人脸识别准确度较高。另外，对于一些有较重的黑眼圈或眼袋的人脸图像，采用本实施例的方法，即便会出现被误识别为戴眼镜的人脸图像，但是，使用本实施例的方法，可以去除人眼上的黑眼圈或眼袋等，以使这类的人脸图像，能够被准确的识别出来。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括人脸图像眼镜去除程序，所述人脸图像眼镜去除程序被处理器执行时实现如下操作：

实时图像获取步骤：获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张人脸图像；

图像预处理步骤：对所述人脸图像进行规范化处理，使用仿射变换进行人脸姿态校正，得到一张正面人脸图像；

眼镜区域判断步骤：通过对所述正面人脸图像进行二值化处理、边缘检测，判断所述正面人脸图像中是否包含眼镜区域；及

眼镜去除步骤：确定所述正面人脸图像中的眼镜区域，在所述正面人脸图像中寻找所述眼镜区域周围的像素点对所述眼镜区域进行填充，得到去除眼镜的人脸图像。

本发明之计算机可读存储介质的具体实施方式与上述人脸图像眼镜去除方法的具体实施方式大致相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种电子装置，其特征在于，所述装置包括：存储器、处理器及摄像装置，所述存储器中包括人脸图像眼镜去除程序，所述人脸图像眼镜去除程序被所述处理器执行时实现如下步骤：

实时图像获取步骤：获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张人脸图像；

图像预处理步骤：对所述人脸图像进行规范化处理，使用仿射变换进行人脸姿态校正，得到一张正面人脸图像；

眼镜区域判断步骤：通过对所述正面人脸图像进行二值化处理、边缘检测，判断所述正面人脸图像中是否包含眼镜区域；及

眼镜去除步骤：确定所述正面人脸图像中的眼镜区域，在所述正面人脸图像中寻找所述眼镜区域周围的像素点对所述眼镜区域进行填充，得到去除眼镜的人脸图像；

所述眼镜区域判断步骤包括：

二值化处理步骤：将所述正面人脸图像转换为灰度图像，对所述灰度图像进行二值化处理得到二值化图像；

边缘检测步骤：对所述灰度图像进行边缘检测得到边缘图像，对所述边缘图像进行区域填充运算得到边缘填充图像；

投影步骤：将所述二值化图像往所述边缘填充图像进行投影，得到所述二值化图像、边缘填充图像的重合区域；及

眼镜区域确定步骤：根据预设的眼镜区域判断规则，确定所述正面人脸图像中的眼镜区域；

所述眼镜区域确定步骤包括：

从所述重合区域中截取位于所述正面人脸图像上半部的部分，作为待确定眼镜区域；及

若所述待确定的眼镜区域面积大于预设阈值，对所述待确定眼镜区域进行长方形逼近运算，得到包含所述待确定眼镜区域的最小长方形，作为所述正面人脸图像的眼镜区域。

2.根据权利要求1所述的电子装置，其特征在于，所述眼镜去除步骤包括：

在所述正面人脸图像中确定所述眼镜区域，并确定所述眼镜区域中的眼镜边框；及

以所述眼镜边框的每一个像素点为中心像素点，根据所述中心像素点周围像素点的像素点信息，计算所述中心像素点的新像素点信息，替换所述中心像素点的原像素点信息，得到去除眼镜的正面人脸图像。

3.一种人脸图像眼镜去除方法，其特征在于，所述方法包括：

实时图像获取步骤：获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张人脸图像；

图像预处理步骤：对所述人脸图像进行规范化处理，使用仿射变换进行人脸姿态校正，得到一张正面人脸图像；

眼镜区域判断步骤：通过对所述正面人脸图像进行二值化处理、边缘检测，判断所述正面人脸图像中是否包含眼镜区域；及

眼镜去除步骤：确定所述正面人脸图像中的眼镜区域，在所述正面人脸图像中寻找所述眼镜区域周围的像素点对所述眼镜区域进行填充，得到去除眼镜的人脸图像；

所述眼镜区域判断步骤包括：

二值化处理步骤：将所述正面人脸图像转换为灰度图像，对所述灰度图像进行二值化处理得到二值化图像；

边缘检测步骤：对所述灰度图像进行边缘检测得到边缘图像，对所述边缘图像进行区域填充运算得到边缘填充图像；

投影步骤：将所述二值化图像往所述边缘填充图像进行投影，得到所述二值化图像、边缘填充图像的重合区域；及

眼镜区域确定步骤：根据预设的眼镜区域判断规则，确定所述正面人脸图像中的眼镜区域；

所述眼镜区域确定步骤包括：

从所述重合区域中截取位于所述正面人脸图像上半部的部分，作为待确定眼镜区域；及

若所述待确定的眼镜区域面积大于预设阈值，对所述待确定眼镜区域进行长方形逼近运算，得到包含所述待确定眼镜区域的最小长方形，作为所述正面人脸图像的眼镜区域。

4.根据权利要求3所述的人脸图像眼镜去除方法，其特征在于，所述眼镜去除步骤包括：

在所述正面人脸图像中确定所述眼镜区域，并确定所述眼镜区域中的眼镜边框；及

以所述眼镜边框的每一个像素点为中心像素点，根据所述中心像素点周围像素点的像素点信息，计算所述中心像素点的新像素点信息，替换所述中心像素点的原像素点信息，得到去除眼镜的正面人脸图像。

5.根据权利要求4所述的人脸图像眼镜去除方法，其特征在于，所述人脸识别算法可以为：基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括人脸图像眼镜去除程序，所述人脸图像眼镜去除程序被处理器执行时，实现如权利要求3至5中任一项所述的人脸图像眼镜去除方法的步骤。