CN109344724A - 一种证件照自动背景替换方法、系统及服务器 - Google Patents

Abstract

本发明实施例涉及图像处理技术领域，公开了一种证件照自动背景替换方法、系统及服务器，其中，所述证件照自动背景替换方法应用于服务器，所述方法包括：获取原始人脸图像，根据所述原始人脸图像，提取人脸关键点；根据所述人脸关键点，进行人脸位置矫正；对矫正后的矫正图像进行图像分解，将所述矫正图像分解为背景区域、前景区域以及不确定区域；对所述背景区域进行背景替换。通过上述方式，本发明实施例能够解决目前无法对采集的照片进行自动处理，得到符合要求的证件照的技术问题，减少了人工操作，有效提高了照片处理的效率。

Description

一种证件照自动背景替换方法、系统及服务器

技术领域

本发明涉及图像处理技术领域，特别是涉及一种证件照自动背景替换方法、系统及服务器。

背景技术

证件照是证件上用来证实持有者身份的照片，不同于普通的照片，证件照有着固定的背景和衣着要求，对拍照姿势也有固定的说明，要求必须清晰展现持有者面貌。由于各种各类证件的需要，证件照具有广阔的市场以及不小的价值，随着人们生活水平的提高，越来越多的人需要办理各种证件，比如：护照、港澳通行证、驾照等等，因此证件照的市场前景不容小觑，具有越来越大的市场价值。

目前，证件照拍摄往往需要通过办证人前往固定的照相馆拍摄，拍摄过程耗时耗力，而最终得到的照片有时却不满足要求，导致发证机关不得不在部门单位设立专门的摄影室。这样传统的拍摄方式既浪费了人力，也不能提高办证的效率，在当今信息化时代渐渐被淘汰。

进入信息时代以来，计算机对图像处理的能力迅速提升，特别是对于证件照这种固定操作流程的图像，计算机处理的质量已经在很大程度和人工处理水平相当，效率上甚至更胜一筹。随着人们进入移动互联网，手机等移动设备的拍照质量已经进入上百万甚至上千万像素级别，完全能够满足证件照的制作需求。利用手机拍摄照片并利用手机或服务器进行自动处理的证件照制作方式逐渐受到人们的欢迎。由于这种方式省时省力，在市场上得到了很大的发展。

与手机拍摄相似的，一种以拍照亭形式存在的自助拍照设备也出现在地铁、广场等人员密集的场所以及固定的发证机关单位。同样地，也给办证人和发证机关提供方便，提高了证件的办理效率，在市场上得到了很大的推广。

无论通过手机还是自助拍照设备，都需要对采集的照片进行处理，得到符合要求的证件照片，而如何自动对采集的照片进行合适的处理，是本发明需要解决的问题。

发明内容

本发明实施例旨在提供一种证件照自动背景替换方法、系统及服务器，其解决了目前无法对采集的照片进行自动处理，得到符合要求的证件照的技术问题，减少了人工操作，有效提高了照片处理的效率。

为解决上述技术问题，本发明实施例提供以下技术方案：

第一方面，本发明实施例提供一种证件照自动背景替换方法，应用于服务器，所述方法包括：

获取原始人脸图像，根据所述原始人脸图像，提取人脸关键点；

根据所述人脸关键点，进行人脸位置矫正；

对矫正后的矫正图像进行图像分解，将所述矫正图像分解为背景区域、前景区域以及不确定区域；

对所述背景区域进行背景替换。

在一些实施例中，所述根据所述原始人脸图像，提取人脸关键点，包括：

通过人脸关键点检测算法，提取所述人脸的特征位置的多个人脸关键点。

在一些实施例中，所述根据所述人脸关键点，进行人脸位置矫正，包括：

根据所述人脸关键点，确定人脸定位点；

根据所述人脸定位点，计算仿射变换矩阵；

对所述原始人脸图像执行正向仿射变换。

在一些实施例中，所述对所述原始人脸图像执行正向仿射变换之后，还包括：

计算头顶点的位置；

根据所述头顶点的位置，调节人脸尺寸，矫正所述人脸位置。

在一些实施例中，所述对矫正后的矫正图像进行图像分解，将所述图像分解为背景区域、前景区域以及不确定区域，包括：

对所述矫正后的图像进行边缘检测；

检测人脸的大致边缘，进行形态学处理，分割出背景区域以及前景区域；

对所述矫正图像进行形态学的腐蚀和膨胀，在所述背景区域和前景区域中间划分出不确定区域。

在一些实施例中，所述对所述背景区域进行背景替换，包括：

还原所述不确定区域的背景色；

计算没有背景色干扰的前景色，剔除背景色干扰。

第二方面，本发明实施例提供一种证件照自动背景替换系统，所述系统包括：

获取单元，用于获取原始人脸图像，根据所述原始人脸图像，提取人脸关键点；

矫正单元，用于根据所述人脸关键点，进行人脸位置矫正；

分解单元，用于对矫正后的矫正图像进行图像分解，将所述矫正图像分解为背景区域、前景区域以及不确定区域；

替换单元，对所述背景区域进行背景替换。

在一些实施例中，所述矫正单元具体用于：

根据所述人脸关键点，确定人脸定位点；

根据所述人脸定位点，计算仿射变换矩阵；

对所述原始人脸图像执行正向仿射变换，并对人像进行居中处理。

在一些实施例中，所述分解单元具体用于：

对所述矫正后的图像进行边缘检测；

检测人脸的大致边缘，进行形态学处理，分割出背景区域以及前景区域；

对所述矫正图像进行形态学的腐蚀和膨胀，在所述背景区域和前景区域中间划分出不确定区域。

第三方面，本发明实施例提供一种服务器，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的证件照自动背景替换方法。

第四方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使服务器能够执行如上所述的证件照自动背景替换方法。

本发明实施例的有益效果是：区别于现有技术的情况下，本发明实施例提供的一种证件照自动背景替换方法、系统及服务器，其中，所述证件照自动背景替换方法应用于服务器，所述方法包括：获取原始人脸图像，根据所述原始人脸图像，提取人脸关键点；根据所述人脸关键点，进行人脸位置矫正；对矫正后的矫正图像进行图像分解，将所述矫正图像分解为背景区域、前景区域以及不确定区域；对所述背景区域进行背景替换。通过上述方式，本发明实施例能够解决目前无法对采集的照片进行自动处理，得到符合要求的证件照的技术问题，减少了人工操作，有效提高了照片处理的效率。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种证件照自动背景替换方法的流程示意图；

图2是本发明实施例提供的一种人脸关键点的示意图；

图3是本发明实施例提供的一种人脸定位点矫正的示意图；

图4是本发明实施例提供的一种计算头顶点位置的流程示意图；

图5是本发明实施例提供的一种头顶点定位的示意图；

图6是本发明实施例提供的一种包含背景区域、前景区域以及不确定区域的Trimap图的示意图；

图7是本发明实施例提供的一种计算Trimap图的流程示意图；

图8是本发明实施例提供的一种经验选区的示意图；

图9是本发明实施例提供的一种面部区域保护的示意图；

图10是本发明实施例提供的一种边界采样点连线夹角描述曲率的示意图；

图11是本发明实施例提供的一种肩部区域保护的示意图；

图12是本发明实施例提供的一种剔除背景色干扰处理前后发丝细节对比的示意图；

图13是本发明实施例提供的一种证件照自动背景替换系统的结构示意图；

图14是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在本发明的实施例中，服务器可以是智能手机、掌上电脑(Personal DigitalAssistant，PDA)、平板电脑、智能手表等能拍摄图片并处理图片的电子设备，或者，服务器可以是机架式服务器、刀片式服务器、塔式服务器、机柜式服务器或计算机等能处理图片的计算设备。

目前，证件照拍摄往往需要通过办证人前往固定的照相馆拍摄，拍摄过程耗时耗力，而最终得到的照片有时却不满足要求，导致发证机关不得不在部门单位设立专门的摄影室。这样传统的拍摄方式既浪费了人力，也不能提高办证的效率，在当今信息化时代渐渐被淘汰。并且，通过人工的拍摄方式获取照片后，传统的证件照处理方法主要是通过人工判断图像背景区域，进而通过图像处理软件来更换背景色，在实际的操作过程中由于对人工的依赖性强，并且由于人为因素造成的误差，经常导致需要人为地进行多次处理，显然耗时耗力，效率不足，并且效果还不一定能够满足各种证件照的要求，基于此，本发明提供一种证件照自动背景替换方法、系统及服务器，通过对采集的照片进行自动处理，减少人工操作，能够有效提高照片处理的效率，并且能够保证处理效果。

实施例一

请参阅图1，图1是本发明实施例提供的一种证件照自动背景替换方法的流程示意图。如图1所示，所述方法应用于服务器，所述方法包括：

步骤S10：获取原始人脸图像，根据所述原始人脸图像，提取人脸关键点；

具体的，所述原始人脸图像通过手机拍照上传获取，或者通过用户上传的图片获取，所述服务器获取所述原始人脸图像，并根据所述原始人脸图像，提取人脸关键点。具体的，所述根据所述原始人脸图像，提取人脸关键点，包括：通过人脸关键点检测算法，提取所述人脸的特征位置的多个人脸关键点。其中，所述人脸关键点检测算法可以为基于级联卷积神经网络的人脸关键点检测算法，基于深度学习的人脸关键点检测算法，也可以为商用算法，所述商用算法指的是第三方的付费算法，所述人脸关键点检测算法可以通过OpenCV视觉数据库实现。

请参阅图2，图2是本发明实施例提供的一种人脸关键点的示意图；

如图2所示，所述人脸关键点包括：人脸的主要轮廓、眼部、鼻子以及嘴的特征位置。通过所述人脸关键点，即可勾勒所述用户的人脸的基本特征。具体的，所述人脸关键点一共有68个。

步骤S20：根据所述人脸关键点，进行人脸位置矫正；

具体的，所述人脸位置矫正即对所述人脸进行姿态矫正，所述姿态矫正指的是通过某种变换达到令原图中的人脸位置摆正，且在输出的矫正图像中所述原图中的人脸的大小适中、位置合适。由于拍摄合格的照片脸部方向比较端正，通过简单的仿射变换就可以较好的实现。通过对所述原始人脸图像执行正向仿射变换，并对人像进行居中处理，可以将人脸位置进行有效矫正，满足证件照的要求。

具体的，所述仿射变换需要3组点的映射，即可求出变换矩阵，并执行变换。参阅图2，对于人脸位置矫正，有如下三个目标：

目标一：左右眼连线水平。以图2中的37号点和40号点的中点描述左眼位置，图2中的43号点和46号点的中点描述右眼位置，两者连线在矫正图像中保持水平，从而确定头部方向；

目标二：头顶到矫正图像上沿高度和下颚到矫正图像下沿的距离可调。通过约束头顶点和矫正图像上沿距离以及下颚点和矫正图像底边的距离，从而确定头部大小；

目标三：头部位置水平方向上居中，从而确定头部具体位置。

基于以上三个目标，计算3个人脸定位点，所述3个人脸定位点属于所述人脸关键点：

(1)第一定位点：左上角点，过头顶点做与左右眼连线的水平线，并过图2中的1号点(脸部最左侧点)做与之相垂直的线，两线交点定为左上角点；

(2)第二定位点：右上角点，与左上角点类似，过图2中的17号点(脸部最右侧点)做和双眼连线垂直的线，并与过头顶点线相交为右上角点；

(3)第三定位点：底部中点，图2中的9号点，即下颚处特征点。

请再参阅图3，图3是本发明实施例提供的一种人脸定位点矫正的示意图；

其中，矫正过程分为三个部分：仿射变换矩阵计算、检测变换是否越界、执行仿射变换。

1)、仿射变换矩阵计算；

根据目标一和目标二确定左上角点和右上角点的纵向坐标相同，到上边沿距离为设定值，确定底部中点的纵向坐标到下边沿距离为设定值；根据目标三确定底部中点的水平坐标为剪裁图宽的一半，左右两顶点到中线距离按照原图中左右两顶点到头顶点的欧氏距离比例以及头部比例确定。

通过确定矫正图像中三个人脸定位点的全部坐标，就可以计算仿射变换矩阵。

2)、检测变换是否越界；

拍照时，若人物头顶过于贴近图片上边缘时，仍旧按照之前的变换方式执行变换，则会在头顶出现“黑边”。即矫正图像中含有一些变换前对应原图以外的区域。

具体的，在执行位置矫正前需要检测变换是否越界。所述检测变换是否越界包括：根据以上特征点变换前后的位置计算反向变换矩阵，检测原始人脸图像全图反变换后，是否完全包含在原图之中。

例如：通过将矫正图像的4个顶点(对应左上顶点，右上顶点，左下顶点，右下顶点)执行反变换，观察变换后4点坐标是否有水平坐标小于0或大于原图图宽，纵向坐标小于0或大于原图图高的现象，若有，则不满足矫正变换的剪裁要求，所述服务器将确定所述矫正图像不满足要求，检测不合格。

3)、执行仿射变换；

当检测合格时，即不存在越界情况时，对原图执行正向仿射变换。

在人脸位置矫正时，需要将人脸调节到合适尺寸，并摆放在图片适当的位置。以头顶为例，距离图片上边界不能距离过远，也不能紧贴边界或超出边界，人脸定位点的精确十分重要。

再参阅图2，如图2所示，可以准确地定位人脸额头下方的68个特征点，但由于头发等原因，头顶点的定位是无法直接检测的。因此需要确定头顶点的位置。

其中，所述头顶点，用于描述图片中人像区域的最高位置高度，若能分离图像中人物位置的区域和背景区域，便很好定位人物的最高点，即头顶点。

为了确定头顶点的位置，首先需要对头顶点位置进行估计。具体的，通过对大量样本分析后，一般情况下，头顶到眉心的距离与下颚到眉心距离接近，可以利用图2中9号点(下颚点)关于28号点(眉心点)的对称位置进行估计头顶点的位置。

但由于实际情况人的额头宽度不定，眉心并不精确在头顶和下颚中点，加上人物发饰等因素影响，因此直接通过头顶到眉心的距离与下颚到眉心距离接近的估计方式来估计头顶点的位置往往并不精确。

但头顶点的估计位置仍在精确计算头顶位置前配合起到对人脸区域标定的作用。另外在计算精确头顶定位点后，需要利用头顶点的估计位置对计算值的可信度进行检验。

其次，需要对头顶点位置进行精确计算；

具体的，请参阅图4，图4是本发明实施例提供的一种计算头顶点位置的流程示意图；

如图4所示，所述计算头顶点位置，具体包括：

步骤S241：不透明度图输入；

具体的，所述不透明度图为基于对矫正图像进行图像分解后的Trimap图，该Trimap图包含背景区域、前景区域以及不确定区域，进行相应的计算得到的。具体的，为计算出更精确的头顶点高度，可以通过对不透明度纵向求和，描述出每一列像素中含有前景人物高度的多少。正确计算不透明度时，人脸及下方区域不会出现孔洞，求和的方法能准确描述人物头顶高度。

步骤S242：计算矫正角度；

具体的，通过计算矫正角度，可以根据所述矫正角度进行旋转，从而调整所述人脸关键点的位置。

步骤S243：宽松模式旋转；

具体的，通过所述宽松模式旋转，获取旋转后的人脸定位点，即左上角点和右上角点，从而估计人脸头顶点的位置的水平坐标，进而使所述头顶点位于头部中线。

步骤S244：填充底部空缺；

步骤S245：逐列求和；

具体的，对所述不透明度图进行纵向求和，描述出每一列像素中含有前景物高度的多少。

步骤S246：获取当前最高点坐标；

具体的，通过对所述不透明度图进行纵向求和后，根据所述纵向求和的结果，确定所述求和结果最小的位置为当前最高点，并将所述求和结果最小的位置的坐标作为当前最高点的坐标。

步骤S247：水平坐标值居中修正；

具体的，由于头顶点在定位方面的作用仅限描述人像最高位置，但另一方面，定位标记会在界面中直观显示，在不影响其定位功能前提下，为显示美观，希望其位置尽量在人脸中线上。考虑到有些女士发型并非对称，仅通过图像像素纵向求和的方法得到的最高点位置也未必对应人脸中间，故利用旋转后的人脸定位点粗略估计人脸头顶点的位置的水平坐标，可以使头顶点位于头部中线。

步骤S248：转换为旋转前坐标；

具体的，通过旋转人脸定位点估计人脸头顶点的位置的水平坐标，最后再通过计算获得原图中坐标，即转换为旋转前的坐标。

在本发明实施例中，为了使计算结果更为精确，利用替换背景相关算法中获得的Trimap图进行计算，即利用对矫正图像进行图像分解后的Trimap图进行计算，从而获取头顶点的位置。具体的，通过对不透明度纵向求和，描述出每一列像素中含有前景人物高度的多少。正确计算不透明度时，人脸及下方区域不会出现孔洞，所述孔洞指的是前景区域，比如人脸部分，被处理成背景。通过求和的方法能准确描述人物头顶高度，从而计算出更精确的头顶点高度。通过计算所述头顶点的精确位置，调节人脸尺寸，可以更好地矫正所述人脸位置。

步骤S30：对矫正后的矫正图像进行图像分解，将所述矫正图像分解为背景区域、前景区域以及不确定区域；

具体的，将矫正图像分解为三个部分：背景区域、前景区域和不确定区域。其中，根据式(1)，图像可以认定为是前景图和背景图的加权组合。

Color_(R，G，B)＝α×Front_(R，G，B)+(1-α)×Back_(R，G，B) (1)

为了完成背景替换，根据式(1)，需要求出两个参数，即不透明度α和前景非不透明区域(α不等于1，前景半透明区域)的背景色。

具体的，不透明度的计算可以基于Trimap图实现，请参阅图6，图6是本发明实施例提供的一种包含背景区域、前景区域以及不确定区域的Trimap图的示意图；

其中，Trimap图的自动计算，处理的思路为：对于较为理想拍摄条件下的图片，可以通过边缘检测，检测到人物的大致边缘，并通过形态学处理，分割出大致的背景区域和前景区域，采用形态学的腐蚀、膨胀，可以将粗略的前景、背景区域中间留出一条“过渡缝隙”，即不确定区域，用于后面算法精细求解所述不确定区域的不透明度变化。

请参阅图7，图7是本发明实施例提供的一种计算Trimap图的流程示意图；

如图7所示，所述Trimap图的计算，具体包括：

步骤S301：获取矫正图像；

具体的，所述矫正图像为对原始人脸图像提取人脸关键点后，并根据所述人脸关键点进行人脸位置矫正后得到的图像。通过获取所述矫正图像，可以在矫正图像的基础上进行图像分解，方便计算所述Trimap图。

步骤S302：尺度变换；

具体的，所述Trimap图是一个比较粗略的区域划分图，在计算Trimap图时进行尺度压缩，可以有效增加运算速度，并剔除背景中一些小尺寸的污点或者噪声。所述尺度压缩可以通过一个比例数值，将所述矫正图像进行压缩成所述比例数值对应大小的图像。

步骤S303：高斯去噪；

具体的，通过利用高斯滤波算法对图像进行去噪处理。

步骤S304：对比度检验；

具体的，所述对比度值可描述区域的纹理复杂程度。通过对经验区域的提取，并检测相应区域中不同通道对比度。利用对比度值的阈值，将背景复杂程度和背景与衣服色彩接近程度分别化为3个等级。

步骤S305：亮度空间Meanshift；

先将矫正图像的原图转换为HSV空间，对亮度空间执行Meanshift分割，以达到空间区域初步分割并去除反光和光照不均的影响。

在实行分割之前，首先通过一次带有对比度限制的自适应直方图均衡化预处理，达到增强图片边界纹理的操作。

Meanshift分割的阈值根据背景复杂度等级和背景、衣物色彩差异等级而定。背景色彩和衣物色彩差异越大，阈值对应越大，以便对背景区域执行更干净、无遗漏的分割。而鉴定背景复杂度越低，背景越干净，Meanshift分割的阈值相应下调。

步骤S306：色彩空间增强；

对于一些人物衣物和背景亮度值较为接近但色彩上有差异的图片，可以利用色彩空间来进行分割。而为了突出色彩空间，执行色彩空间增强，即采用饱和度增强方式。由于背景色饱和度较低时，若直接将原始区域的饱和度值提高到某固定值，背景区域的增强往往带来没必要的色阶断裂，造成区域分割错误，因此采用“低饱和度保护”的曲线增强方式。

曲线设计时，先将0～1之间的高斯函数拉伸，通过使得函数值范围同样为0～1。获得一条光滑的曲线，低饱和度时曲线输出趋近0，低饱和度时得到控制，使得增强后不会出现色阶断裂，同时对较高饱和度的色彩有很强的增强效果，从而高饱和度增强，低饱和度抑制。但是将低饱和度抑制，使得当背景色和衣物颜色为不同浅色时区分度降低，不利于正确边界提取。采用正比例函数和上述曲线加权调和的方式，缓解饱和度较低时的抑制程度，从而达到低饱和度保护，高饱和度增强的目标。即式(2)所示。

式(2)中，s是饱和度空间值，s′是增强后的饱和度值。参数a的选取和饱和度空间的对比度相关。

由于人脸部分饱和度一般上并不很高，若计算出对比度值较小，则意味着背景、衣物整体饱和度也偏低，为了更好的增强效果，最终计算曲线更陡，而当饱和度空间计算对比度大时，则意味图中本身背景、衣物至少一者拥有较高饱和度，增强曲线较缓和即可满足需求。

步骤S307：亮度空间边缘提取；

通过对亮度空间进行Canny边缘提取，提取出亮度空间的明显边缘。

步骤S308：RGB空间边缘提取；

具体的，通过对RGB颜色空间进行Canny边缘提取，提取出RGB颜色空间的明显边缘。

步骤S309：边缘求并；

具体的，对边缘求取并集后，分割边缘由亮度明显变化边缘、明显色彩差异边缘共同构成。起到亮度空间和RGB空间提取到边缘尽可能“精简”不会有很多背景纹理干扰，而边缘取并后“宁多勿少”的保守效果。

步骤S310：脸部区域保护；

具体的，如图9所示，通过对原图进行处理，为防止背景色彩接近或光照影响，使得面部轮廓没有被很好的提取出来。这时通过人脸定位点外轮廓勾勒设定人脸区域选区保护。

步骤S311：经验区域背景剔除；

请参阅图8，图8是本发明实施例提供的一种经验选区的示意图；

如图8所示，在对图像进行高斯去噪后，得到高斯去噪结果的去噪图像，对所述去噪图像进行背景复杂度估计选区，进一步，对背景、衣物色彩接近估计选区，进而得到背景强制去除选区的图像。

步骤S312：形态学连通域处理分离背景；

具体的，通过形态学进行处理。形态学处理是将边缘转换成区域的重要手段。在获取分割边缘后，第一步形态学处理是执行闭运算，将边界线中的微小缺口闭合，可以围成封闭空间。

第二步搜索最大连通域，由于人体内部会有很多分割，则当前的最大连通域是背景区域。

获得当前的背景连通域后，考虑到此时连通域中可能含有一些孔洞，对应背景中的小的纹理区域，故第三步，在获取“背景连通域”后执行取反操作，即考虑剩余区域，包含人物的前景区域和之前背景中的一些较小孔洞，此时再次筛选最大连通域，即可获得到不含有背景中杂物干扰的人物前景的区域了。

最后，将此前景区域通过腐蚀和膨胀操作，向内或向外推进一定宽度，差值即为Trimap图中过渡段的不确定区域，从而区分出Trimap图中需要的三个区域。

在实施过程中，为了提高Trimap精度，处理图片时，如图5所示，根据经验值选择假设区域。主要应用在3个方面：背景色复杂度估计的背景区域选择、背景色和衣服色彩接近程度判断的经验区域、背景强制去除的经验区域选择。经验区域一般面向原图中人脸位置较为端正的图片，尤其强制背景去除区域，使用这一经验区域处理需要比较严格的通过人脸定位点先行检验头部不会有较大倾斜角度。

1)背景复杂度估计选区

依据人脸位置，选择距离头顶之上，以及人脸两侧区域作为背景区域。通过计算这一区域的对比度值判断背景是否干净、光照均匀，符合理想情况。

2)背景色和衣服色彩接近程度估计选取

分割人物肩部位置区域，选区中需要包含人物衣服和背景的过渡段。同时选择区域时不能紧贴人脸，防止长发女士头发在选区中占比过多干扰计算。这一区域中同样通过计算对比度值的方式来进行估计。

3)背景色区域强制去除

在计算前景和背景连通域时，为了避免一些背景区域纹理的干扰，可以把一些距离头部较远，确定为背景的区域强制剔除。由于该操作面向边缘提取图，但在边缘提取图中展示并不能直观感受到哪些区域被剔除掉。

处理过程中，由于可能存在的处理失误，会导致人脸区域或肩部凹陷，因此，对人脸区域和肩部局域采用区域保护策略，具体包括：

请参阅图9，图9是本发明实施例提供的一种面部区域保护的示意图；

如图9所示，为防止背景色彩接近或光照影响，使得面部轮廓没有被很好的提取出来，通过人脸定位点外轮廓勾勒设定人脸区域选区保护，从而获取合理的Trimap图。

步骤S313：形态学连通域处理分离前景；

步骤S314：肩部保护与修正；

请一并参阅图10和图11，图10是本发明实施例提供的一种边界采样点连线夹角描述曲率的示意图；图11是本发明实施例提供的一种肩部区域保护的示意图；

具体的，在拍照时，若衣服部分颜色与背景色接近，但整体颜色差异较大时，可能肩部边缘出现凹陷。为填补这种凹陷，对肩部位置边界做曲率检测，并为剔除头部区域干扰事先将其剔除。

如图10所示，提取边界后对连续的边界点采样，即对间隔一定数量的边界点提取，并将相邻采样点连接线段。利用线段端点坐标计算内积，从而获得相邻线段的夹角。当采样点距离适当时，这一夹角可描述边界曲线的局部曲率。

如图11所示，当连续边界的曲率突然较大变化时则视为遇到凹陷，并检测后续边界点的可连接性，对凹陷缺口进行填补。考虑到检测的方向性，一般选择肩部从左向右检测一次，从右向左检测一次，两次修复结果取并集。

步骤S315：形态学分离区域；

具体的，将所述图像分解为前景区域、背景区域以及不确定区域。

步骤S316：尺度还原；

具体的，根据所述尺度变换过程中采取的比例数值，将所述图像的尺度还原为原始尺寸。

步骤S317：输出Trimap图；

所述Trimap图为包括：前景区域、背景区域以及不确定区域的图像。

步骤S40：对所述背景区域进行背景替换。

具体的，采用先还原不确定区域背景色再计算没有背景色干扰的前景色，剔除背景色干扰，合成图像。

其中，不透明度获取主要根据先验规律，假设仅有背景或前景时，在一个小窗口内所有像素的RGB空间分布在一条直线上，即线性分布，分布直线参数可以由已经确定为前景的区域和已经确定为背景的区域获得，当混叠区域以不透明度α为系数加权前景与背景时，可以求出唯一的不透明度参数。

若对原始图像直接通过不透明度索引计算所获得的合成图，则新图中在半透明区域(α>0且α<1)所获得的色彩是有原始背景色彩干扰，这显然是会影响效果，但计算合成时仍旧可以通过该种计算作为合成图像的近似估计。

根据计算出的不透明度α，可以将图像分为3个区域，背景区域、前景区域与不确定区域，相对应的α值为0、1和0～1之间。根据原图的色彩合成，前景一般为人物，纹理较多，不好根据邻域内的前景信息来估计不确定区域的前景色彩，而背景由于条件假设一般色彩、亮度变化较缓，很容易从附近区域的背景色彩来估计不确定区域的背景色彩。故，这种通过先还原不确定区域的背景色再计算没有背景色干扰的前景色的操作称为剔除背景色干扰。

首先明确需要估算背景色，则需要明确完全是背景色的区域(α值为0)，背景区域的色彩是可以用来参考且可靠的。故设标记图，标记这部分区域为1，其他部分为0。通过滑动窗口的方式，若窗口内含有非背景区域时，则以窗口内全部完全背景区域的像素R、G、B三通道色彩求均值，来估计窗口中非背景区域的应有背景色彩。

根据分析，前景影响到的部分可以划分为3个区域：完全不透明的前景部分、能够估算背景色彩的半透明前景部分、不能估算背景色彩的半透明前景部分。

设以上三部分区域对应标记图(区域内为1，非区域内为0)为A1,A2,A3采用式(5)计算前景。

直接计算到不透明度和前景乘积即可，避免还原前景时除法计算时分母趋于0引起的误差。在合成新图时只要和新背景通过不透明度调和后与调和前景相加即可，也减少一步乘法运算。

将式(5)结果带入式(3)中，即可完成替换背景操作的全部计算。

请参阅图12，图12是本发明实施例提供的一种剔除背景色干扰处理前后发丝细节对比的示意图；

如图12所示，在背景替换过程中通过剔除背景色干扰方法处理背景色影响与未经处理时替换背景的细节对比图，左侧图为未经背景杂色剔除效果，而右侧图则是经过背景杂色剔除。

在本发明实施例中，通过获取原始人脸图像，根据所述原始人脸图像，提取人脸关键点；根据所述人脸关键点，进行人脸位置矫正；对矫正后的矫正图像进行图像分解，将所述矫正图像分解为背景区域、前景区域以及不确定区域；对所述背景区域进行背景替换。通过上述方式，本发明实施例能够解决目前无法对采集的照片进行自动处理，得到符合要求的证件照的技术问题，减少了人工操作，有效提高了照片处理的效率。

实施例二

请参阅图13，图13为本发明实施例提供的一种证件照自动背景替换系统的结构示意图，该一种证件照自动背景替换系统可以应用于服务器，如图13所示，该一种证件照自动背景替换系统100包括：

获取单元10，用于获取原始人脸图像，根据所述原始人脸图像，提取人脸关键点；

矫正单元20，用于根据所述人脸关键点，进行人脸位置矫正；

分解单元30，用于对矫正后的矫正图像进行图像分解，将所述矫正图像分解为背景区域、前景区域以及不确定区域；

替换单元40，对所述背景区域进行背景替换。

在本发明实施例中，所述获取单元10具体用于：

通过人脸关键点检测算法，提取所述人脸的特征位置的多个人脸关键点。

在本发明实施例中，所述矫正单元20具体用于：

根据所述人脸关键点，确定人脸定位点；

根据所述人脸定位点，计算仿射变换矩阵；

对所述原始人脸图像执行正向仿射变换。

计算头顶点的位置；

根据所述头顶点的位置，调节人脸尺寸，矫正所述人脸位置。

在本发明实施例中，所述分解单元30具体用于：

对所述矫正后的图像进行边缘检测；

检测人脸的大致边缘，进行形态学处理，分割出背景区域以及前景区域；

对所述矫正图像进行形态学的腐蚀和膨胀，在所述背景区域和前景区域中间划分出不确定区域。

在本发明实施例中，所述替换单元40具体用于：

还原所述待检测区域的背景色；

计算没有背景色干扰的前景色，剔除背景色干扰。

由于装置实施例和方法实施例是基于同一构思，在内容不互相冲突的前提下，装置实施例的内容可以引用方法实施例的，在此不赘述。

请参阅图14，图14是本发明实施例提供一种服务器的结构示意图。其中，该服务器可以是智能手机、掌上电脑(Personal Digital Assistant，PDA)、平板电脑、智能手表等能拍摄图片并处理图片的电子设备，或者，服务器可以是机架式服务器、刀片式服务器、塔式服务器、机柜式服务器或计算机等能处理图片的计算设备。

如图14所示，该服务器14包括一个或多个处理器141以及存储器142。其中，图14中以一个处理器141为例。

处理器141和存储器142可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器142作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的一种证件照自动背景替换方法对应的单元(例如，图13所述的各个单元)。处理器141通过运行存储在存储器142中的非易失性软件程序、指令以及模块，从而执行证件照自动背景替换方法的各种功能应用以及数据处理，即实现上述方法实施例证件照自动背景替换方法以及上述装置实施例的各个模块和单元的功能。

存储器142可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器142可选包括相对于处理器141远程设置的存储器，这些远程存储器可以通过网络连接至处理器141。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述模块存储在所述存储器142中，当被所述一个或者多个处理器141执行时，执行上述任意方法实施例中的证件照自动背景替换方法，例如，执行以上描述的图1所示的各个步骤；也可实现图13所述的各个模块或单元的功能。

本发明实施例的服务器14以多种形式存在，在执行以上描述的图1所示的各个步骤；也可实现图13所述的各个单元的功能时，上述服务器14包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类电子设备包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类电子设备包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放视频内容，一般也具备移动上网特性。该类设备包括：视频播放器、掌上游戏机、以及智能玩具和便携式车载导航设备。

(4)其他具有视频播放功能和上网功能的电子设备。

(5)具有处理器和存储器并且能够处理图片的服务器。

本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图14中的一个处理器141，可使得上述一个或多个处理器可执行上述任意方法实施例中的证件照自动背景替换方法，例如，执行上述任意方法实施例中的证件照自动背景替换方法，例如，执行以上描述的图1所示的各个步骤；也可实现图13所述的各个单元的功能。

在本发明实施例中，通过提供一种证件照自动背景替换系统，该系统包括：获取单元、矫正单元、分解单元以及替换单元，通过获取原始人脸图像，根据所述原始人脸图像，提取人脸关键点；根据所述人脸关键点，进行人脸位置矫正；对矫正后的矫正图像进行图像分解，将所述矫正图像分解为背景区域、前景区域以及不确定区域；对所述背景区域进行背景替换。通过上述方式，本发明实施例能够解决目前无法对采集的照片进行自动处理，得到符合要求的证件照的技术问题，减少了人工操作，有效提高了照片处理的效率。

以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种证件照自动背景替换方法，应用于服务器，其特征在于，所述方法包括：

获取原始人脸图像，根据所述原始人脸图像，提取人脸关键点；

根据所述人脸关键点，进行人脸位置矫正；

对矫正后的矫正图像进行图像分解，将所述矫正图像分解为背景区域、前景区域以及不确定区域；

对所述背景区域进行背景替换。

2.根据权利要求1所述的方法，其特征在于，所述根据所述原始人脸图像，提取人脸关键点，包括：

通过人脸关键点检测算法，提取所述人脸的特征位置的多个人脸关键点。

3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸关键点，进行人脸位置矫正，包括：

根据所述人脸关键点，确定人脸定位点；

根据所述人脸定位点，计算仿射变换矩阵；

对所述原始人脸图像执行正向仿射变换。

4.根据权利要求3所述的方法，其特征在于，所述对所述原始人脸图像执行正向仿射变换之后，还包括：

计算头顶点的位置；

根据所述头顶点的位置，调节人脸尺寸，矫正所述人脸位置。

5.根据权利要求1所述的方法，其特征在于，所述对矫正后的矫正图像进行图像分解，将所述图像分解为背景区域、前景区域以及不确定区域，包括：

对所述矫正后的图像进行边缘检测；

检测人脸的大致边缘，进行形态学处理，分割出背景区域以及前景区域；

对所述矫正图像进行形态学的腐蚀和膨胀，在所述背景区域和前景区域中间划分出不确定区域。

6.根据权利要求1所述的方法，其特征在于，所述对所述背景区域进行背景替换，包括：

还原所述不确定区域的背景色；

计算没有背景色干扰的前景色，剔除背景色干扰。

7.一种证件照自动背景替换系统，其特征在于，所述系统包括：

获取单元，用于获取原始人脸图像，根据所述原始人脸图像，提取人脸关键点；

矫正单元，用于根据所述人脸关键点，进行人脸位置矫正；

分解单元，用于对矫正后的矫正图像进行图像分解，将所述矫正图像分解为背景区域、前景区域以及不确定区域；

替换单元，对所述背景区域进行背景替换。

8.根据权利要求7所述的系统，其特征在于，所述矫正单元具体用于：

根据所述人脸关键点，确定人脸定位点；

根据所述人脸定位点，计算仿射变换矩阵；

对所述原始人脸图像执行正向仿射变换，并对人像进行居中处理。

9.根据权利要求7所述的系统，其特征在于，所述分解单元具体用于：

对所述矫正后的图像进行边缘检测；

检测人脸的大致边缘，进行形态学处理，分割出背景区域以及前景区域；

对所述矫正图像进行形态学的腐蚀和膨胀，在所述背景区域和前景区域中间划分出不确定区域。

10.一种服务器，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6任一项所述的方法。