CN105095841A - 生成眼镜的方法及装置 - Google Patents

Abstract

本发明是关于一种生成眼镜的方法及装置，用于实现对图像中眼镜的处理。所述方法包括：获得人脸图像；根据预设的人脸图像样本检测所述人脸图像是否包含眼镜；在检测所述人脸图像包含眼镜时，更换所述人脸图像中的眼镜。本发明还提供了用于实现所述方法的装置，所述装置包括：获取模块、检测模块和更换模块。本发明通过对眼镜的检测，可实现对眼镜的更换，使得处理后的人脸图像效果更丰富。

Description

生成眼镜的方法及装置

技术领域

本公开涉及计算机及图像处理领域，尤其涉及生成眼镜的方法及装置。

背景技术

随着电子技术的发展，移动终端已经得到普遍应用。并且随着移动终端的智能化发展，多种多样的应用丰富着人们的生活。有一款应用，可以根据人脸自动生成素描图像，因其艺术性和娱乐性等特点，生成的素描图像被广泛应用到头像、个性签名、个性印制品等。

本公开的发明人发现，相关技术中，只能根据人脸的轮廓或纹理生成单一的素描图像，无法实现更多的变化，亟待解决这个问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种生成眼镜的方法及装置。

根据本公开实施例的第一方面，提供一种生成眼镜的方法，包括：

获得人脸图像；

根据预设的人脸图像样本检测所述人脸图像是否包含眼镜；

在检测所述人脸图像包含眼镜时，更换所述人脸图像中的眼镜。

所述根据预设的人脸图像样本检测所述人脸图像是否包含眼镜，包括：

将所述人脸图像与已有的包含眼镜的人脸图像样本进行对齐；

在对齐后，将所述人脸图像与所述包含眼镜的人脸图像样本进行逐行对比，得到比对结果；

根据所述对比结果确定所述人脸图像是否包含眼镜。

所述方法还包括：在检测所述人脸图像未包含眼镜时，为所述人脸图像添加眼镜。

所述更换所述人脸图像中的眼镜，包括：

确定所述人脸图像中的眼镜区域；

在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点；

根据所述用于定位眼镜位置的特征点，用预设的眼镜模板覆盖所述人脸图像中的眼镜；

或者

去除所述人脸图像中的眼镜，以及为去除眼镜后的所述人脸图像添加眼镜。

所述确定所述人脸图像中的眼镜区域，包括：

去除所述人脸图像中的眼镜；

将所述人脸图像与去除眼镜的人脸图像做差，得到眼镜的差分图像；

对所述眼镜的差分图像进行二值化处理和开闭运算，得到眼镜区域。

所述在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点，包括：

在所述人脸图像的眼镜区域中确定满足预设范围的像素密集子区域；

将满足预设范围的至少两个像素密集子区域确定为眼镜用于定位眼镜位置的至少两个特征点；

或者

在所述人脸图像的眼镜区域中确定两眼的中心位置；

将两眼的中心位置作为用于定位眼镜位置的特征点。

所述至少两个特征点包括4个特征点。

所述去除所述人脸图像中的眼镜，包括：

获得所述人脸图像的行向量；

将所述人脸图像的行向量投影到已有的特征向量，所述已有的特征向量为根据不包含眼镜的人脸图像获得的特征向量；

将投影的所述已有的特征向量上的人脸图像投影到原来的所述人脸图像，得到去除眼镜的人脸图像。

为不含眼镜的所述人脸图像添加眼镜，包括：

在不含眼镜的所述人脸图像中确定两眼的中心位置；

根据两眼的中心位置添加眼镜。

所述方法还包括：

对更换或添加眼镜后的人脸图像进行艺术处理。

根据本公开实施例的第二方面，提供一种生成眼镜的装置，包括：

获取模块，用于获得人脸图像；

检测模块，用于根据预设的人脸图像样本检测所述人脸图像是否包含眼镜；

更换模块，用于在检测所述人脸图像包含眼镜时，更换所述人脸图像中的眼镜。

所述检测模块包括：

对齐子模块，用于将所述人脸图像与已有的包含眼镜的人脸图像样本进行对齐；

匹配子模块，用于在对齐后，将所述人脸图像与所述包含眼镜的人脸图像样本进行逐行对比，得到比对结果；

处理子模块，用于根据所述对比结果确定所述人脸图像是否包含眼镜。

所述装置还包括：添加模块，用于在检测所述人脸图像未包含眼镜时，为所述人脸图像添加眼镜。

所述更换模块包括：

区域子模块，用于确定所述人脸图像中的眼镜区域；

位置子模块，用于在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点；

覆盖子模块，用于根据所述用于定位眼镜位置的特征点，用预设的眼镜模板覆盖所述人脸图像中的眼镜；

或者

去除子模块，用于去除所述人脸图像中的眼镜；

添加子模块，用于为去除眼镜后的所述人脸图像添加眼镜。

所述区域子模块包括：

去除单元，用于去除所述人脸图像中的眼镜；

差分单元，用于将所述人脸图像与去除眼镜的人脸图像做差，得到眼镜的差分图像；

二值单元，用于对所述眼镜的差分图像进行二值化处理和开闭运算，得到眼镜区域。

所述位置子模块包括：

密集区域单元，用于在所述人脸图像的眼镜区域中确定满足预设范围的像素密集子区域；

第一特征点单元，用于将满足预设范围的至少两个像素密集子区域确定为用于定位眼镜位置的至少两个特征点；

或者

第一中心单元，用于在所述人脸图像的眼镜区域中确定两眼的中心位置；

第二特征点单元，用于将两眼的中心位置作为用于定位眼镜位置的特征点。

所述至少两个特征点包括4个特征点。

所述去除单元，包括：

向量子单元，用于获得所述人脸图像的行向量；

第一投影子单元，用于将所述人脸图像的行向量投影到已有的特征向量，所述已有的特征向量为根据不包含眼镜的人脸图像获得的特征向量；

第二投影子单元，用于将投影的所述已有的特征向量上的人脸图像投影到原来的所述人脸图像，得到去除眼镜的人脸图像。

所述添加子模块包括：

第二中心单元，用于在不含眼镜的所述人脸图像中确定两眼的中心位置；

添加单元，用于根据两眼的中心位置添加眼镜。

所述装置还包括：

艺术模块，用于对更换或添加眼镜后的人脸图像进行艺术处理。

根据本公开实施例的第三方面，提供一种生成眼镜的装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获得人脸图像；

根据预设的人脸图像样本检测所述人脸图像是否包含眼镜；

在检测所述人脸图像包含眼镜时，更换所述人脸图像中的眼镜。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例预先生成各种眼镜模型，然后为获得的人脸图像更换眼镜，实现个性化的眼镜选择，生成个性化的眼镜佩戴效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种生成眼镜的方法的流程图。

图2是根据一示例性实施例示出的一种Haar算法的模板的示意图。

图3是根据一示例性实施例示出的一种人脸图像的示意图。

图4是根据一示例性实施例示出的一种人脸图像的示意图。

图5是根据一示例性实施例示出的一种人脸图像的示意图。

图6是根据一示例性实施例示出的一种人脸图像的示意图。

图7是根据一示例性实施例示出的一种人脸图像的示意图。

图8是根据一示例性实施例示出的一种人脸图像的示意图。

图9是根据一示例性实施例示出的一种人脸图像的示意图。

图10是根据一示例性实施例示出的一种眼镜框的示意图。

图11是根据一示例性实施例示出的一种眼镜框的示意图。

图12是根据一示例性实施例示出的一种带特征点的眼镜框的示意图。

图13是根据一示例性实施例示出的一种获取模块的框图。

图14是根据一示例性实施例示出的一种生成眼镜的方法的流程图。

图15是根据一示例性实施例示出的一种生成眼镜的方法的流程图。

图16是根据一示例性实施例示出的一种生成眼镜的方法的流程图。

图17A是根据一示例性实施例示出的一种生成眼镜的装置的框图。

图17B是根据一示例性实施例示出的一种生成眼镜的装置的框图。

图18是根据一示例性实施例示出的一种检测模块的框图。

图19是根据一示例性实施例示出的一种更换模块的框图。

图20是根据一示例性实施例示出的一种更换模块的框图。

图21是根据一示例性实施例示出的一种区域子模块的框图。

图22是根据一示例性实施例示出的一种位置子模块的框图。

图23是根据一示例性实施例示出的一种位置子模块的框图。

图24是根据一示例性实施例示出的一种去除单元的框图。

图25是根据一示例性实施例示出的一种添加子模块的框图。

图26是根据一示例性实施例示出的一种生成眼镜的装置的框图。

图27是根据一示例性实施例示出的一种装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

相关技术中，首先对获取的数字图像进行自动人脸检测，获得人脸的大致位置和大小，将人脸区域图像截取出来并做平滑滤波，去除皮肤纹理并保留人脸器官特征，然后对人脸图像进行图像增强处理，获得最后的人脸素描肖像画。此方案类似于边缘提取方案，区别在于首先使用了基于全变分模型的平滑图像滤波，去除皮肤中的纹理，保留主要的特征器官。缺点在于无法更换素描模板，只能生成单一的素描图像，无法实现自定义个性素描图像，尤其是不能佩戴眼镜以及更换眼镜。本公开实施例预先生成各种眼镜模型，然后为获得的人脸图像佩戴或更换眼镜，实现个性化的眼镜选择，生成个性化的眼镜佩戴效果。

图1是根据一示例性实施例示出的一种生成眼镜的方法的流程图，如图1所示，该方法可以由终端实现，包括以下步骤：

在步骤101中，获得人脸图像。

在步骤102中，根据预设的人脸图像样本检测所述人脸图像是否包含眼镜，在检测所述人脸图像包含眼镜时，继续步骤103。

在步骤103中，更换所述人脸图像中的眼镜。

还可以在检测所述人脸图像未包含眼镜时，为所述人脸图像添加眼镜。

本实施例中在人脸图像含有眼镜时，为用户更换眼镜；在人脸图像不含眼镜时，可更换眼镜。方便用户查看佩戴不同眼镜的效果，实现人脸图像的灵活变换，个性化显示。

在步骤102中，检测人脸图像是否包含眼镜，可以通过步骤A1-步骤A3实现。

在步骤A1中：将所述人脸图像与已有的包含眼镜的人脸图像样本进行对齐。

人脸在图像中的位置不一定很正，可能头歪一点，或者脸侧一点。而且对于不同图像，人脸在图像中的位置和大小也可能不同。因此为了得到较准确的检测结果，先将所述人脸图像与已有的包含眼镜的人脸图像样本进行对齐，以便后续的对比更准确。

对齐过程如：识别所述人脸图像和已有的包含眼镜的人脸图像，以确定矫正点，如眼角、眼球中心、鼻尖、嘴角等。根据所述人脸图像的矫正点和已有的包含眼镜的人脸图像的矫正点，进行图像对齐。例如鼻尖与鼻尖对齐，嘴角与嘴角对齐等。对齐过程中可以进行缩放(即缩小或放大)、旋转、仿射变换等处理。

在一个实施例中，用于步骤A2中进行图像对比的分类器，其能够检测的图像大小可能是固定的，例如可以检测大小为100*100的图像。如果所述人脸图像和已有的包含眼镜的人脸图像大小不是100*100的，则还需要对所述人脸图像和已有的包含眼镜的人脸图像进行缩放处理，以适应分类器的检测能力。

在步骤A2中：在对齐后，将所述人脸图像与所述包含眼镜的人脸图像样本进行逐行对比，得到比对结果。

在步骤A3中：根据所述对比结果确定所述人脸图像是否包含眼镜。

在步骤A2中，预先获得所述人脸图像和包含眼镜的人脸图像的特征，可以是图像中各个位置的弱特征。逐行比对所述人脸图像和包含眼镜的人脸图像的特征，比较特征是否相同，以及相同特征的位置。

本实施例中可以通过多种算法获得图像的弱特征，例如Haar(哈尔)算法和LBP(LocalBinaryPatterns，局部二值模式)算法等。以Haar算法为例，Haar算法提供多种模板，每种模板有多个尺寸，模板的样式可参见图2所示。根据每个模板获得所述人脸图像的各个位置的弱特征。因此针对所述人脸图像可以获得数万个弱特征。

针对已有的包含眼镜的人脸图像，也可以采用上述方式获得弱特征。已有的包含眼镜的人脸图像的弱特征是通过对大量的训练样本进行训练后得到的。例如，预先准备10000张仅包括眼镜的图片，作为正样本，以及准备20000张不包含任何眼镜的图片(含不同人脸的图像)，作为负样本。为了方便比对，正负样本的尺寸相同。针对正负样本，分别获取其弱特征，根据获得的弱特征的正负值，确定关于眼镜的弱特征的取值特点，例如值为正的弱特征为眼镜的弱特征，值为负的弱特征为不含眼镜的人脸的弱特征。则将正负样本的弱特征作为已有的包含眼镜的人脸图像的弱特征。

还可以利用分类器对已有的包含眼镜的人脸图像的弱特征进行训练，获得分层次的弱特征，并且可以减少弱特征的数量，去掉无效的弱特征。

在步骤A2中，为了提高对比效率和准确度，可以利用分类器进行分层对比。预先获得按照层次划分的特征，然后按照层次由大到小逐层对比，针对每层逐行对比特征。

不同层的检测大小不同，例如最大检测大小为100*100，最小检测大小为24*24。

采用的分类器可以是Adaboost(AdaptiveBoosting，自适应增强)级联分类器或限制级联分类器等。以Adaboost级联分类器为例，Adaboost是Boosting方法的一个特例，其目标是为了提高任何给定的学习算法的分类准确率。通常可以用来将多个弱分类器整合成一个强分类器。Adaboost逐步选择弱分类器，并根据预设规则调整训练样本的权值，使算法在后续的学习中集中对比较难的训练样本进行学习，最终得到的所有弱分类器的一个线性组合即为所求的强分类器。Adaboost用于人脸检测时，是将弱分类器与弱特征等价，从而实现了通过Adaboost级联分类器寻找、选择并组合对分类有用的弱特征，排除了大量无用特征。最终的分类结果取决于强分类器，即Adaboost级联分类器。

Adaboost级联分类器的检测准确率可以设置的较高，以提高对比的准确度。例如，Adaboost级联分类器的检测准确率为99.9％，误检率设置为0.01％。Adaboost级联分类器的检测准确率取决于每层的准确率，因此总的准确率是每层准确率的n次幂(n为层数)。

在步骤A3中：根据所述对比结果可以确定出是否有眼镜，还可以确定出眼镜的大致范围，如图3所示，301表示所述范围。

在一个实施例中，关于步骤103，更换所述人脸图像中的眼镜可以有多种实现方式，如方式B1和方式B2。方式B1包括步骤B11-步骤B13。方式B2包括步骤B21-步骤B22。

方式B1：

在步骤B11中，确定所述人脸图像中的眼镜区域。

在该步骤中，首先去除所述人脸图像中的眼镜；然后，将所述人脸图像与去除眼镜的人脸图像做差，得到眼镜的差分图像；对所述眼镜的差分图像进行二值化处理和开闭运算，得到眼镜区域。

眼镜的特征比较少，用眼镜的特征描述眼镜比较困难。人脸图像中除眼镜以外的其它部分占整个图像的绝大多数，拥有较多的特征，可以较准确的描述不含眼镜的人脸图像。因此去除所述人脸图像中的眼镜，可以得到较准确的不含眼镜的人脸图像。然后因此获得的差分图像也较准确。通过二值化处理和开闭运算，可以优化得到的眼镜区域。

下面详细介绍步骤B11的实现过程。

在该步骤B11中，可以采用主成分分析(PCA)算法确定所述人脸图像中的眼镜区域。

预先获得一定数量(例如10000)的不含眼镜的人脸图像，该人脸图像可以是灰度图像。将这些不含眼镜的人脸图像作为训练样本，也可以直接采用步骤A2中提到的负样本。这些训练样本的尺寸相同，并且经过对齐处理。由于步骤B11的目的是确定眼镜区域，所以关心眼镜(或眼睛)区域是否对齐。所以该对齐处理可以依据左右眼中心的坐标进行对齐处理，可以对训练样本进行缩放、旋转、仿射变换等处理，以实现对齐的效果。

另外，在进行对齐处理之前，不同的训练样本中，眼睛可能位于不同的位置，在进行对齐处理后，可能部分人脸会超出原人脸图像的边框，参见图4所示。为解决该问题，训练样本的边框尺寸可以采用两眼中心间距的3倍左右的距离，如图5所示。

获得训练样本后，针对每个训练样本，分别进行主成分分析，获得主成分。将主成分作为向量，将训练样本的所有主成分展开为一维行向量。然后将所有训练样本的行向量按行组合，获得用于表示所有训练样本的主成分的描述矩阵T。计算描述矩阵T的均值向量a。用描述矩阵T中每行的行向量减去均值向量a，得到行向量差构成的向量矩阵T1。进一步得到向量矩阵T1的协方差矩阵S，及协方差矩阵S的特征值和特征向量。这些特征值和特征向量就是所有训练样本的公共主成分，并构成行向量。这些公共主成分可以较准确的表示出不含眼镜的人脸图像均具有的主成分。

为了进一步精炼训练样本的主成分，提高后续确定眼镜区域的处理效率，可以将获得的特征值和特征向量按照能量的高低进行排序，保留满足预设能量阈值(如95％)的前n个特征值和特征向量，也就是说保留的n个特征值和特征向量的能量大概占总能量的95％。

获得了训练样本的主成分之后，将主成分作为向量，可以利用这些主成分对所述人脸图像进行分析，确定眼镜区域。参见步骤C1-步骤C3。

在步骤C1中，获得所述人脸图像的行向量。

在步骤C2中，将所述人脸图像的行向量投影到已有的特征向量，所述已有的特征向量为根据不包含眼镜的人脸图像获得的特征向量。

在步骤C3中，将投影的所述已有的特征向量上的人脸图像投影到原来的所述人脸图像，得到去除眼镜的人脸图像。

下面针对步骤C1-步骤C3进行详细说明。

根据PCA算法提取所述人脸图像的主成分，将提取的主成分作为向量。按照图像像素的行列，将提取的主成分展开为行向量。将所述人脸图像的行向量投影到训练样本的公共主成分(即前面获得的特征向量)构成的行向量。投影后得到的行向量相当于保留了不含眼镜的人脸图像的主成分，去掉了眼镜的主成分。再将投影后的行向量投影回所述人脸图像的行向量，便可以得到去掉眼镜的所述人脸图像。原所述人脸图像参见图6和图7所示。去掉眼镜的所述人脸图像参见图8(对应图6)和图9(对应图7)所示。

将原所述人脸图像与去掉眼镜的所述人脸图像做差，得到差分图像。该差分图像只包括眼镜，即获得眼镜区域。本实施例中的眼镜主要指眼镜框。

上述过程可以针对眼镜区域的图像进行处理，可以大幅度提高处理效率，获得较准确的眼镜区域。

为了得到较清晰、完整的眼镜，还可以对差分图像进行自适应阈值的二值化操作，使眼镜的轮廓更清晰，再对差分图像进行开闭运算，使眼镜轮廓连通且平滑，参见图10(对应图6)和图11(对应图7)所示。

在步骤B12中，在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点。该过程可以有多种实现方式，如方式D1和方式D2。方式D1包括步骤D11-步骤D12。方式D2包括步骤D21-步骤D22。

方式D1：

在步骤D11中，在所述人脸图像的眼镜区域中确定满足预设范围的像素密集子区域。本实施例中的眼镜主要指眼镜框，像素密集子区域为眼镜框上的区域。足够密集的像素点所构成的像素密集子区域可以较准确的标记眼镜的位置。

在步骤D12中，将满足预设范围的至少两个像素密集子区域确定为用于定位眼镜位置的至少两个的特征点。参见图12和图13所示，图中示出了4个特征点。从图12和图13可以看出，特征点的位置一般为眼镜框中各部件的连接处，相对于眼镜框的其它位置，像素密集子区域更大，更易识别和定位眼镜，并且适用于无框或半框的眼镜。

根据至少两个所述特征点可以确定眼镜的位置。本实施例中采用4个特征点，定位更加准确。

方式D1是根据像素点的密集程度确定特征点，进而确定眼镜的位置。是一种直接定位方式。

方式D2：

在步骤D21中，在所述人脸图像的眼镜区域中确定两眼的中心位置。

在步骤D22中，将两眼的中心位置作为用于定位眼镜位置的特征点。

根据所述特征点可以确定眼镜的位置。

方式D2是根据眼睛的中心位置作为眼镜的两个镜框的中心位置，据此确定眼镜的位置，是一种间接定位方式。需要确定两个特征点，处理效率更高。并且，在步骤A1进行对齐之后，无论是主成分分析还是向量投影等处理，都不会改变眼睛的位置，也就是说眼睛的中心位置是不变。因此利用眼睛的中心位置确定的特征点是比较准确的。

在步骤B13中，根据所述用于定位眼镜位置的特征点，用预设的眼镜模板覆盖所述人脸图像中的眼镜。

不同的眼镜可能轮廓不同，预设的眼镜模板不一定能百分百覆盖所述人脸图像中的眼镜，则不能覆盖的部分可以用人脸其它部位的像素值填充，或者用人脸部分的像素均值填充。

方式B2：

在步骤B21中，去除所述人脸图像中的眼镜。该过程可以参见步骤B12中的描述，此处不再赘述。

在步骤B22中，为去除眼镜后的所述人脸图像添加眼镜。将预设的眼镜模板添加到去除眼镜后的所述人脸图像。例如，在去除眼镜后的所述人脸图像中确定两眼的中心位置；根据两眼的中心位置添加眼镜。该步骤中的两眼中心位置同步骤D21中的两眼中心位置。也就是说确定两眼中心位置后，既可以更换眼镜，也可以添加眼镜。

步骤B22也适用于步骤104，即在不含眼镜的所述人脸图像中确定两眼的中心位置；根据两眼的中心位置添加眼镜。

为了获得更丰富的图像处理效果，还可以对更换或添加眼镜后的人脸图像进行艺术处理。艺术处理如：素描处理、怀旧处理或黑白处理等特效处理。

通过以上介绍可知，传输截屏图片的多个环节都可能有多种实现方式，下面通过几个实施例来详细介绍实现过程。

图14是根据一示例性实施例示出的一种生成眼镜的方法的流程图，如图14所示，可以由终端设备实现，包括以下步骤：

在步骤1401中，获得人脸图像。

在步骤1402中，将所述人脸图像与已有的包含眼镜的人脸图像样本进行对齐。

在步骤1403中，在对齐后，将所述人脸图像与所述包含眼镜的人脸图像样本进行逐行对比，得到比对结果。

在步骤1404中，根据所述对比结果确定所述人脸图像是否包含眼镜。在检测所述人脸图像包含眼镜时，继续步骤103；在检测所述人脸图像未包含眼镜时，继续步骤104。

在步骤1405中，更换所述人脸图像中的眼镜。

在步骤1406中，为所述人脸图像添加眼镜。

本实施例中利用预先训练好的包含眼镜的人脸图像样本与所述人脸图像进行对比，如果所述人脸图像的特征与包含眼镜的人脸图像样本中的眼镜的特征匹配一致，则确定所述人脸图像包含眼镜，否则不包含眼镜。该方法可以较快速有效的检测出所述人脸图像是否包含眼镜，进而更换或添加眼镜。

图15是根据一示例性实施例示出的一种生成眼镜的方法的流程图，如图15所示，可以由终端设备实现，包括以下步骤：

在步骤1501中，获得人脸图像。

在步骤1502中，检测所述人脸图像是否包含眼镜，在检测所述人脸图像包含眼镜时，继续步骤1503；在检测所述人脸图像未包含眼镜时，继续步骤1510。

在步骤1503中，去除所述人脸图像中的眼镜。

在步骤1504中，将所述人脸图像与去除眼镜的人脸图像做差，得到眼镜的差分图像。

在步骤1505中，对所述眼镜的差分图像进行二值化处理和开闭运算，得到眼镜区域。

在步骤1506中，在所述人脸图像的眼镜区域中确定满足预设范围的像素密集子区域。

在步骤1507中，将满足预设范围的至少两个像素密集子区域确定为用于定位眼镜位置的至少两个特征点。

在步骤1508中，根据至少两个特征点确定眼镜的位置。

在步骤1509中，根据确定的特征点，用预设的眼镜模板覆盖所述人脸图像中的眼镜。

在步骤1510中，为所述人脸图像添加眼镜。

本实施例中，在更换眼镜的过程中，较准确的确定了眼镜的区域和位置，使得利用预设的眼镜模板覆盖原眼镜的过程处理更简单和准确。

图16是根据一示例性实施例示出的一种生成眼镜的方法的流程图，如图16所示，可以由终端设备实现，包括以下步骤：

在步骤1601中，获得人脸图像。

在步骤1602中，检测所述人脸图像是否包含眼镜，在检测所述人脸图像包含眼镜时，继续步骤1603；在检测所述人脸图像未包含眼镜时，继续步骤1606。

在步骤1603中，获得所述人脸图像的行向量。

在步骤1604中，将所述人脸图像的行向量投影到已有的特征向量。

在步骤1605中，将投影的所述已有的特征向量上的人脸图像投影到原来的所述人脸图像，得到去除眼镜的人脸图像。继续步骤1606。

在步骤1606中，在不含眼镜的人脸图像中确定两眼的中心位置。

在步骤1607中，根据两眼的中心位置添加眼镜。

本实施例中若所述人脸图像包含眼镜，则去掉其中的眼镜，然后再添加眼镜。该添加眼镜的过程与所述人脸图像不含眼镜时添加眼镜的过程相同。整个方案的实现过程较简单。

通过以上介绍了解了生成眼镜的实现过程，该过程由装置实现，下面针对装置的内部结构和功能进行介绍。

图17A是根据一示例性实施例示出的一种生成眼镜的装置示意图。参照图17，该装置包括获取模块1701、检测模块1702、更换模块1703和添加模块1704。例如，所述装置为终端等可用于处理人脸图像的设备。

获取模块1701，用于获得人脸图像。

检测模块1702，用于根据预设的人脸图像样本检测所述人脸图像是否包含眼镜。

更换模块1703，用于在检测所述人脸图像包含眼镜时，更换所述人脸图像中的眼镜。

在一个实施例中，如图17B所示，所述装置还包括：添加模块1704，用于在检测所述人脸图像未包含眼镜时，为所述人脸图像添加眼镜。

在一个实施例中，如图18所示，所述检测模块1702包括：对齐子模块1801、匹配子模块1802和处理子模块1803。

对齐子模块1801，用于将所述人脸图像与已有的包含眼镜的人脸图像样本进行对齐。

匹配子模块1802，用于在对齐后，将所述人脸图像与所述包含眼镜的人脸图像样本进行逐行对比，得到比对结果。

处理子模块1803，用于根据所述对比结果确定所述人脸图像是否包含眼镜。

在一个实施例中，如图19和图20所示，所述更换模块1703包括：区域子模块1901、位置子模块1902和覆盖子模块1903；或者包括：去除子模块1904和添加子模块1905。

区域子模块1901，用于确定所述人脸图像中的眼镜区域。

位置子模块1902，用于在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点。

覆盖子模块1903，用于根据所述用于定位眼镜位置的特征点，用预设的眼镜模板覆盖所述人脸图像中的眼镜。

去除子模块1904，用于去除所述人脸图像中的眼镜。

添加子模块1905，用于为去除眼镜后的所述人脸图像添加眼镜。

在一个实施例中，如图21所示，所述区域子模块1901包括：去除单元2101、差分单元2102和二值单元2103。

去除单元2101，用于去除所述人脸图像中的眼镜。

差分单元2102，用于将所述人脸图像与去除眼镜的人脸图像做差，得到眼镜的差分图像。

二值单元2103，用于对所述眼镜的差分图像进行二值化处理和开闭运算，得到眼镜区域。

在一个实施例中，如图22和图23所示，所述位置子模块1902包括：密集区域单元2201和第一特征点单元2202；或者包括：第一中心单元2204和第二特征点单元2205。

密集区域单元2201，用于在所述人脸图像的眼镜区域中确定满足预设范围的像素密集子区域。

第一特征点单元2202，用于将满足预设范围的至少两个像素密集子区域确定为用于定位眼镜位置的至少两个特征点。所述至少两个特征点包括4个特征点。

第一中心单元2204，用于在所述人脸图像的眼镜区域中确定两眼的中心位置。

第二特征点单元2205，用于将两眼的中心位置作为用于定位眼镜位置的特征点。

在一个实施例中，如图24所示，所述去除单元2101包括：向量子单元2401、第一投影子单元2402和第二投影子单元2403。

向量子单元2401，用于获得所述人脸图像的行向量。

第一投影子单元2402，用于将所述人脸图像的行向量投影到已有的特征向量，所述已有的特征向量为根据不包含眼镜的人脸图像获得的特征向量。

第二投影子单元2403，用于将投影的所述已有的特征向量上的人脸图像投影到原来的所述人脸图像，得到去除眼镜的人脸图像。

在一个实施例中，如图25所示，所述添加子模块1905包括：第二中心单元2501和添加单元2502。

第二中心单元2501，用于在不含眼镜的所述人脸图像中确定两眼的中心位置。

添加单元2502，用于根据两眼的中心位置添加眼镜。

在一个实施例中，如图26所示，所述装置还包括：艺术模块1705，用于对更换或添加眼镜后的人脸图像进行艺术处理。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图27是根据一示例性实施例示出的一种用于生成眼镜的装置2700的框图。例如，装置2700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图27，装置2700可以包括以下一个或多个组件：处理组件2702，存储器2704，电源组件2706，多媒体组件2708，音频组件2710，输入/输出(I/O)的接口2712，传感器组件2714，以及通信组件2716。

处理组件2702通常控制装置2700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件2702可以包括一个或多个处理器2720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件2702可以包括一个或多个模块，便于处理组件2702和其他组件之间的交互。例如，处理部件2702可以包括多媒体模块，以方便多媒体组件2708和处理组件2702之间的交互。

存储器2704被配置为存储各种类型的数据以支持在设备2700的操作。这些数据的示例包括用于在装置2700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器2704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件2706为装置2700的各种组件提供电力。电力组件2706可以包括电源管理系统，一个或多个电源，及其他与为装置2700生成、管理和分配电力相关联的组件。

多媒体组件2708包括在所述装置2700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件2708包括一个前置摄像头和/或后置摄像头。当设备2700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件2710被配置为输出和/或输入音频信号。例如，音频组件2710包括一个麦克风(MIC)，当装置2700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器2704或经由通信组件2716发送。在一些实施例中，音频组件2710还包括一个扬声器，用于输出音频信号。

I/O接口2712为处理组件2702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件2714包括一个或多个传感器，用于为装置2700提供各个方面的状态评估。例如，传感器组件2714可以检测到设备2700的打开/关闭状态，组件的相对定位，例如所述组件为装置2700的显示器和小键盘，传感器组件2714还可以检测装置2700或装置2700的一个组件的位置改变，用户与装置2700接触的存在或不存在，装置2700方位或加速/减速和装置2700的温度变化。传感器组件2714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件2714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件2714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件2716被配置为便于装置2700和其他设备之间有线或无线方式的通信。装置2700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件2716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件2716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置2700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器2704，上述指令可由装置2700的处理器2720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种生成眼镜的装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获得人脸图像；

根据预设的人脸图像样本检测所述人脸图像是否包含眼镜；

在检测所述人脸图像包含眼镜时，更换所述人脸图像中的眼镜。

所述处理器还可以被配置为：

所述根据预设的人脸图像样本检测所述人脸图像是否包含眼镜，包括：

将所述人脸图像与已有的包含眼镜的人脸图像样本进行对齐；

在对齐后，将所述人脸图像与所述包含眼镜的人脸图像样本进行逐行对比，得到比对结果；

根据所述对比结果确定所述人脸图像是否包含眼镜。

所述处理器还可以被配置为：

所述方法还包括：在检测所述人脸图像未包含眼镜时，为所述人脸图像添加眼镜。

所述处理器还可以被配置为：

所述更换所述人脸图像中的眼镜，包括：

确定所述人脸图像中的眼镜区域；

在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点；

根据所述用于定位眼镜位置的特征点，用预设的眼镜模板覆盖所述人脸图像中的眼镜；

或者

去除所述人脸图像中的眼镜，以及为去除眼镜后的所述人脸图像添加眼镜。

所述处理器还可以被配置为：

所述确定所述人脸图像中的眼镜区域，包括：

去除所述人脸图像中的眼镜；

将所述人脸图像与去除眼镜的人脸图像做差，得到眼镜的差分图像；

对所述眼镜的差分图像进行二值化处理和开闭运算，得到眼镜区域。

所述处理器还可以被配置为：

所述在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点，包括：

在所述人脸图像的眼镜区域中确定满足预设范围的像素密集子区域；

将满足预设范围的至少两个像素密集子区域确定为用于定位眼镜位置的至少两个特征点；

或者

在所述人脸图像的眼镜区域中确定两眼的中心位置；

将两眼的中心位置作为用于定位眼镜位置的特征点。

所述处理器还可以被配置为：

所述至少两个特征点包括4个特征点。

所述处理器还可以被配置为：

所述去除所述人脸图像中的眼镜，包括：

获得所述人脸图像的行向量；

将所述人脸图像的行向量投影到已有的特征向量，所述已有的特征向量为根据不包含眼镜的人脸图像获得的特征向量；

将投影的所述已有的特征向量上的人脸图像投影到原来的所述人脸图像，得到去除眼镜的人脸图像。

所述处理器还可以被配置为：

为不含眼镜的所述人脸图像添加眼镜，包括：

在不含眼镜的所述人脸图像中确定两眼的中心位置；

根据两眼的中心位置添加眼镜。

所述处理器还可以被配置为：

所述方法还包括：

对更换或添加眼镜后的人脸图像进行艺术处理。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种生成眼镜的方法，所述方法包括：

获得人脸图像；

根据预设的人脸图像样本检测所述人脸图像是否包含眼镜；

在检测所述人脸图像包含眼镜时，更换所述人脸图像中的眼镜。

所述存储介质中的指令还可以包括：

所述根据预设的人脸图像样本检测所述人脸图像是否包含眼镜，包括：

将所述人脸图像与已有的包含眼镜的人脸图像样本进行对齐；

在对齐后，将所述人脸图像与所述包含眼镜的人脸图像样本进行逐行对比，得到比对结果；

根据所述对比结果确定所述人脸图像是否包含眼镜。

所述存储介质中的指令还可以包括：

所述方法还包括：在检测所述人脸图像未包含眼镜时，为所述人脸图像添加眼镜。

所述存储介质中的指令还可以包括：

所述更换所述人脸图像中的眼镜，包括：

确定所述人脸图像中的眼镜区域；

在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点；

根据所述用于定位眼镜位置的特征点，用预设的眼镜模板覆盖所述人脸图像中的眼镜；

或者

去除所述人脸图像中的眼镜，以及为去除眼镜后的所述人脸图像添加眼镜。

所述存储介质中的指令还可以包括：

所述确定所述人脸图像中的眼镜区域，包括：

去除所述人脸图像中的眼镜；

将所述人脸图像与去除眼镜的人脸图像做差，得到眼镜的差分图像；

对所述眼镜的差分图像进行二值化处理和开闭运算，得到眼镜区域。

所述存储介质中的指令还可以包括：

所述在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点，包括：

在所述人脸图像的眼镜区域中确定满足预设范围的像素密集子区域；

将满足预设范围的至少两个像素密集子区域确定为用于定位眼镜位置的至少两个特征点；

或者

在所述人脸图像的眼镜区域中确定两眼的中心位置；

将两眼的中心位置作为用于定位眼镜位置的特征点。

所述存储介质中的指令还可以包括：

所述至少两个特征点包括4个特征点。

所述存储介质中的指令还可以包括：

所述去除所述人脸图像中的眼镜，包括：

获得所述人脸图像的行向量；

将所述人脸图像的行向量投影到已有的特征向量，所述已有的特征向量为根据不包含眼镜的人脸图像获得的特征向量；

将投影的所述已有的特征向量上的人脸图像投影到原来的所述人脸图像，得到去除眼镜的人脸图像。

所述存储介质中的指令还可以包括：

为不含眼镜的所述人脸图像添加眼镜，包括：

在不含眼镜的所述人脸图像中确定两眼的中心位置；

根据两眼的中心位置添加眼镜。

所述存储介质中的指令还可以包括：

所述方法还包括：

对更换或添加眼镜后的人脸图像进行艺术处理。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (21)

1.一种生成眼镜的方法，其特征在于，包括：

获得人脸图像；

根据预设的人脸图像样本检测所述人脸图像是否包含眼镜；

在检测所述人脸图像包含眼镜时，更换所述人脸图像中的眼镜。

2.根据权利要求1所述的生成眼镜的方法，其特征在于，所述根据预设的人脸图像样本检测所述人脸图像是否包含眼镜，包括：

将所述人脸图像与已有的包含眼镜的人脸图像样本进行对齐；

在对齐后，将所述人脸图像与所述包含眼镜的人脸图像样本进行逐行对比，得到比对结果；

根据所述对比结果确定所述人脸图像是否包含眼镜。

3.根据权利要求1所述的生成眼镜的方法，其特征在于，所述方法还包括：在检测所述人脸图像未包含眼镜时，为所述人脸图像添加眼镜。

4.根据权利要求1所述的生成眼镜的方法，其特征在于，所述更换所述人脸图像中的眼镜，包括：

确定所述人脸图像中的眼镜区域；

在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点；

根据所述用于定位眼镜位置的特征点，用预设的眼镜模板覆盖所述人脸图像中的眼镜；

或者

去除所述人脸图像中的眼镜，以及为去除眼镜后的所述人脸图像添加眼镜。

5.根据权利要求4所述的生成眼镜的方法，其特征在于，所述确定所述人脸图像中的眼镜区域，包括：

去除所述人脸图像中的眼镜；

将所述人脸图像与去除眼镜的人脸图像做差，得到眼镜的差分图像；

对所述眼镜的差分图像进行二值化处理和开闭运算，得到眼镜区域。

6.根据权利要求4所述的生成眼镜的方法，其特征在于，所述在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点，包括：

在所述人脸图像的眼镜区域中确定满足预设范围的像素密集子区域；

将满足预设范围的至少两个像素密集子区域确定为用于定位眼镜位置的至少两个特征点；

或者

在所述人脸图像的眼镜区域中确定两眼的中心位置；

将两眼的中心位置作为用于定位眼镜位置的特征点。

7.根据权利要求6所述的生成眼镜的方法，其特征在于，所述至少两个特征点包括4个特征点。

8.根据权利要求4或5所述的生成眼镜的方法，其特征在于，所述去除所述人脸图像中的眼镜，包括：

获得所述人脸图像的行向量；

将所述人脸图像的行向量投影到已有的特征向量，所述已有的特征向量为根据不包含眼镜的人脸图像获得的特征向量；

将投影的所述已有的特征向量上的人脸图像投影到原来的所述人脸图像，得到去除眼镜的人脸图像。

9.根据权利要求3或4所述的生成眼镜的方法，其特征在于，为不含眼镜的所述人脸图像添加眼镜，包括：

在不含眼镜的所述人脸图像中确定两眼的中心位置；

根据两眼的中心位置添加眼镜。

10.根据权利要求1所述的生成眼镜的方法，其特征在于，所述方法还包括：

对更换或添加眼镜后的人脸图像进行艺术处理。

11.一种生成眼镜的装置，其特征在于，包括：

获取模块，用于获得人脸图像；

检测模块，用于根据预设的人脸图像样本检测所述人脸图像是否包含眼镜；

更换模块，用于在检测所述人脸图像包含眼镜时，更换所述人脸图像中的眼镜。

12.根据权利要求11所述的生成眼镜的装置，其特征在于，所述检测模块包括：

对齐子模块，用于将所述人脸图像与已有的包含眼镜的人脸图像样本进行对齐；

匹配子模块，用于在对齐后，将所述人脸图像与所述包含眼镜的人脸图像样本进行逐行对比，得到比对结果；

处理子模块，用于根据所述对比结果确定所述人脸图像是否包含眼镜。

13.根据权利要求11所述的生成眼镜的装置，其特征在于，所述装置还包括：添加模块，用于在检测所述人脸图像未包含眼镜时，为所述人脸图像添加眼镜。

14.根据权利要求11所述的生成眼镜的装置，其特征在于，所述更换模块包括：

区域子模块，用于确定所述人脸图像中的眼镜区域；

位置子模块，用于在所述人脸图像的眼镜区域中确定用于定位眼镜位置的特征点；

覆盖子模块，用于根据所述用于定位眼镜位置的特征点，用预设的眼镜模板覆盖所述人脸图像中的眼镜；

或者

去除子模块，用于去除所述人脸图像中的眼镜；

添加子模块，用于为去除眼镜后的所述人脸图像添加眼镜。

15.根据权利要求14所述的生成眼镜的装置，其特征在于，所述区域子模块包括：

去除单元，用于去除所述人脸图像中的眼镜；

差分单元，用于将所述人脸图像与去除眼镜的人脸图像做差，得到眼镜的差分图像；

二值单元，用于对所述眼镜的差分图像进行二值化处理和开闭运算，得到眼镜区域。

16.根据权利要求14所述的生成眼镜的装置，其特征在于，所述位置子模块包括：

密集区域单元，用于在所述人脸图像的眼镜区域中确定满足预设范围的像素密集子区域；

第一特征点单元，用于将满足预设范围的至少两个像素密集子区域确定为用于定位眼镜位置的至少两个特征点；

或者

第一中心单元，用于在所述人脸图像的眼镜区域中确定两眼的中心位置；

第二特征点单元，用于将两眼的中心位置作为用于定位眼镜位置的特征点。

17.根据权利要求16所述的生成眼镜的装置，其特征在于，所述至少两个特征点包括4个特征点。

18.根据权利要求14或15所述的生成眼镜的装置，其特征在于，所述去除单元，包括：

向量子单元，用于获得所述人脸图像的行向量；

第一投影子单元，用于将所述人脸图像的行向量投影到已有的特征向量，所述已有的特征向量为根据不包含眼镜的人脸图像获得的特征向量；

第二投影子单元，用于将投影的所述已有的特征向量上的人脸图像投影到原来的所述人脸图像，得到去除眼镜的人脸图像。

19.根据权利要求13或14所述的生成眼镜的装置，其特征在于，所述添加子模块包括：

第二中心单元，用于在不含眼镜的所述人脸图像中确定两眼的中心位置；

添加单元，用于根据两眼的中心位置添加眼镜。

20.根据权利要求11所述的生成眼镜的装置，其特征在于，所述装置还包括：

艺术模块，用于对更换或添加眼镜后的人脸图像进行艺术处理。

21.一种生成眼镜的装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获得人脸图像；

根据预设的人脸图像样本检测所述人脸图像是否包含眼镜；

在检测所述人脸图像包含眼镜时，更换所述人脸图像中的眼镜。