CN102163289B - 人脸图像中眼镜的去除方法和装置、佩戴方法和装置 - Google Patents
人脸图像中眼镜的去除方法和装置、佩戴方法和装置 Download PDFInfo
- Publication number
- CN102163289B CN102163289B CN201110085481.7A CN201110085481A CN102163289B CN 102163289 B CN102163289 B CN 102163289B CN 201110085481 A CN201110085481 A CN 201110085481A CN 102163289 B CN102163289 B CN 102163289B
- Authority
- CN
- China
- Prior art keywords
- glasses
- image
- eye areas
- eye
- wearing glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 466
- 230000001815 facial effect Effects 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000005516 engineering process Methods 0.000 title claims abstract description 19
- 230000008878 coupling Effects 0.000 claims abstract description 20
- 238000010168 coupling process Methods 0.000 claims abstract description 20
- 238000005859 coupling reaction Methods 0.000 claims abstract description 20
- 210000001508 eye Anatomy 0.000 claims description 404
- 239000000284 extract Substances 0.000 claims description 41
- 238000010606 normalization Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 210000005252 bulbus oculi Anatomy 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 210000000162 simple eye Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101100502245 Caenorhabditis elegans lbp-8 gene Proteins 0.000 description 1
- 241001300198 Caperonia palustris Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种人脸图像中眼镜的去除方法和装置、佩戴方法和装置，其中的方法具体包括：从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行PCA学习得到；将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。本发明能够比较有效地去除人脸图像中的眼镜。
Description
技术领域
本发明涉及模式识别技术领域，特别是涉及一种人脸图像中眼镜的去除方法和装置、一种人脸图像中眼镜的佩戴方法和装置。
背景技术
目前，人脸识别、检测跟踪等人脸相关技术作为近年来的一个重要研究领域，已经取得了很大的进展，但是在实际应用中，姿态、眼镜、表情、阴影等众多因素都不同程度地对识别效果产生影响，其中眼镜是较常见的一种干扰物。
眼镜的遮挡部分常常包含了人脸识别中所需的特征点，如瞳孔区域、眼睛边缘；有的人本身佩戴眼镜却希望到眼镜店中配一副隐形眼镜，此时，需要针对眼镜部分的人脸图像处理获得没有眼镜边框的人脸，以有助于提高识别的准确率；此外，有的人本身没有戴眼镜，需要选配新眼镜时，可以通过图像处理的方法直接生成佩戴各种眼镜的人脸图像，以提高便利性。
人脸图像中眼镜的去除和佩戴在人机交互、人脸识别、人脸动画等方面有广泛的应用，已逐渐成为近年来对人脸图像处理的研究热点之一。
现有一种人脸图像中眼镜的去除方法，采用基于PCA(主成分分析，Principal Component Analysis)的方法，即通过对戴眼镜人脸图像向不戴眼镜的样本PCA学习获得的基向量映射，重构获得不戴眼镜人脸图像。该方法的缺点是去除眼镜后的人脸图像中，眼镜区域的人脸图像经常留有眼镜边框的痕迹，导致眼镜区域图像和周围人脸图像的接缝不够自然，由于没有考虑到具体眼睛大小的差异，获得的眼睛常常失真，和本人的眼睛图像有较大差距，因此不是很实用。
因此，迫切需要实现眼镜区域图像和周围人脸图像之间的自然拼接，找到能够重构原有人脸图像中裸眼区域/眼镜区域的机制，使得重构图像和对应的原有图像尽可能匹配。
发明内容
本发明所要解决的技术问题是提供一种人脸图像中眼镜的去除方法和装置，能够比较有效地去除人脸图像中的眼镜，并且实现不戴眼镜眼睛区域图像和周围人脸图像之间的自然拼接。
相应的，本发明还提供了一种人脸图像中眼镜的佩戴方法和装置，能够让不戴眼镜的人脸戴上眼镜，并且实现戴眼镜眼睛区域图像和周围人脸图像的自然拼接。
为了解决上述问题，本发明公开了一种人脸图像中眼镜的去除方法，包括：
从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；
针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；
获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行PCA学习得到；
将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；
将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。
优选的，通过如下步骤构造多类眼睛区域的分类机：
获取不戴眼镜人脸图像样本，并从所述不戴眼镜人脸图像样本中分割出眼睛区域样本；
依据眼睛形状，将所述眼睛区域样本分为多类；
提取各类眼睛区域样本的特征；
依据所述特征对各类眼睛区域样本进行训练，得到作为多类眼睛区域的分类机。
优选的，所述特征为LBP特征或LBP直方图特征；
所述通过分类机匹配得到相应的眼睛区域类别的步骤，包括：
提取所述戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；
基于所述LBP特征或LBP直方图特征，在所述多类眼睛区域的分类机中进行匹配，获得相应的眼睛区域类别。
优选的，在将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接后，所述方法还包括：
对所述不戴眼镜眼镜区域图像中的k个边缘点，和所述戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
I(x，y)＝λ*O(x，y)+(1-λ)*R(x，y)
其中，I(x，y)，O(x，y)，R(x，y)分别代表融合之后的像素值、所述戴眼镜眼睛区域图像中对应点的像素值，和所述不戴眼镜眼镜区域图像中对应点的像素值，k＞1，0≤λ≤1。
优选的，所述从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像的步骤，包括：
对所述戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
根据所述眼睛位置，对所述戴眼镜人脸图像进行归一化操作；
从归一化后的戴眼镜人脸图像中割取预设大小的裸眼图像，作为戴眼镜眼睛区域图像，以除所述戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
另一方面，本发明还公开了一种人脸图像中眼镜的去除装置，包括：
获取模块，用于从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；
匹配模块，用于针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；
基向量获取模块，用于获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行PCA学习得到；
重构模块，用于将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；及
拼接模块，用于将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。
优选的，所述装置还包括学习机训练模块，包括：
获取子模块，用于获取不戴眼镜人脸图像样本；
分割子模块，用于从所述不戴眼镜人脸图像样本中分割出眼睛区域样本；
分类子模块，用于依据眼睛形状，将所述眼睛区域样本分为多类；
提取子模块，用于提取各类眼睛区域样本的特征；及
训练子模块，用于依据所述特征对各类眼睛区域样本进行训练，得到作为多类眼睛区域的分类机。
优选的，所述特征为LBP特征或LBP直方图特征；
所述匹配模块，包括：
特征提取子模块，用于提取所述戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；及
匹配子模块，用于基于所述LBP特征或LBP直方图特征，在所述多类眼睛区域的分类机中进行匹配，获得相应的眼睛区域类别。
优选的，所述装置还包括：
融合模块，用于在将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接后，对所述不戴眼镜眼镜区域图像中的k个边缘点，和所述戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
I(x，y)＝λ*O(x，y)+(1-λ)*R(x，y)
其中，I(x，y)，O(x，y)，R(x，y)分别代表融合之后的像素值、所述戴眼镜眼睛区域图像中对应点的像素值，和所述不戴眼镜眼镜区域图像中对应点的像素值，k＞1，0≤λ≤1。
优选的，所述获取模块，包括：
眼镜定位子模块，用于对所述戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述戴眼镜人脸图像进行归一化操作；及
割取子模块，用于从归一化后的戴眼镜人脸图像中割取预设大小的裸眼图像，作为戴眼镜眼睛区域图像，以除所述戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
另一方面，本发明还公开了一种人脸图像中眼镜的佩戴方法，包括：
从不戴眼镜人脸图像中获取不戴眼镜眼睛区域图像和非眼睛区域图像；
针对所述不戴眼镜眼睛区域图像，通过选型机匹配得到相应的眼镜类型，所述选型机为依据戴眼镜人脸图像样本所构造的多个眼镜类型的选型机，所述多个眼镜类型的分类依据为眼镜形状；
获得与所述眼镜类型相应的基向量，所述基向量为针对所述眼镜类型的样本进行PCA学习得到；
将所述不戴眼镜戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；
将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接，得到佩戴眼镜后的人脸图像。
优选的，通过如下步骤构造多个眼镜类型的选型机：
获取戴眼镜人脸图像样本，并从所述戴眼镜人脸图像样本中分割出戴眼镜眼睛区域样本；
依据眼镜形状，将所述戴眼镜眼睛区域样本分为多类；
提取各类戴眼镜眼睛区域样本的特征；
依据所述特征对各类戴眼镜眼睛区域样本进行训练，得到作为多个眼镜类型的选型机。
优选的，所述特征为LBP特征或LBP直方图特征；
所述通过选型机匹配得到相应的眼镜类型的步骤，包括：
提取所述不戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；
基于所述LBP特征或LBP直方图特征，在所述多个眼镜类型的选型机中进行匹配，获得相应的眼镜类型。
优选的，在将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接后，所述方法还包括：
对所述戴眼镜眼镜区域图像中的n个边缘点，和所述不戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
M(x，y)＝q*P(x，y)+(1-q)*N(x，y)
其中，M(x，y)、P(x，y)、N(x，y)分别代表融合之后的像素值、所述不戴眼镜眼睛区域图像中对应点的像素值，和所述戴眼镜眼镜区域图像中对应点的像素值，n＞1，0≤q≤1。
优选的，所述从不戴眼镜人脸图像中获取不戴眼镜眼睛区域图像和非眼睛区域图像的步骤，包括：
对所述不戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
根据所述眼睛位置，对所述不戴眼镜人脸图像进行归一化操作；
从归一化后的不戴眼镜人脸图像中割取预设大小的裸眼图像，作为不戴眼镜眼睛区域图像，以除所述不戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
另一方面，本发明还公开了一种人脸图像中眼镜的佩戴装置，包括：
获取模块，用于从不戴眼镜人脸图像中获取不戴眼镜眼睛区域图像和非眼睛区域图像；
匹配模块，用于针对所述不戴眼镜眼睛区域图像，通过选型机匹配得到相应的眼镜类型，所述选型机为依据戴眼镜人脸图像样本所构造的多个眼镜类型的选型机，所述多个眼镜类型的分类依据为眼镜形状；
基向量获取模块，用于获得与所述眼镜类型相应的基向量，所述基向量为针对所述眼镜类型的样本进行PCA学习得到；
重构模块，用于将所述不戴眼镜戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；及
拼接模块，用于将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接，得到佩戴眼镜后的人脸图像。
优选的，所述装置还包括选型机构造模块，包括：
获取子模块，获取戴眼镜人脸图像样本；
分割子模块，用于从所述戴眼镜人脸图像样本中分割出戴眼镜眼睛区域样本；
分类子模块，用于依据眼镜形状，将所述戴眼镜眼睛区域样本分为多类；
提取子模块，用于提取各类戴眼镜眼睛区域样本的特征；及
训练子模块，用于依据所述特征对各类戴眼镜眼睛区域样本进行训练，得到作为多个眼镜类型的选型机。
优选的，所述特征为LBP特征或LBP直方图特征；
所述匹配模块，包括：
特征提取子模块，用于提取所述不戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；及
匹配子模块，用于基于所述LBP特征或LBP直方图特征，在所述多个眼镜类型的选型机中进行匹配，获得相应的眼镜类型。
优选的，所述装置还包括：
融合模块，用于在将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接后，对所述戴眼镜眼镜区域图像中的n个边缘点，和所述不戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
M(x，y)＝q*P(x，y)+(1-q)*N(x，y)
其中，M(x，y)、P(x，y)、N(x，y)分别代表融合之后的像素值、所述不戴眼镜眼睛区域图像中对应点的像素值，和所述戴眼镜眼镜区域图像中对应点的像素值，n＞1，0≤q≤1。
优选的，所述获取模块，包括：
定位子模块，用于对所述不戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述不戴眼镜人脸图像进行归一化操作；及
割取子模块，用于从归一化后的不戴眼镜人脸图像中割取预设大小的裸眼图像，作为不戴眼镜眼睛区域图像，以除所述不戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
与现有技术相比，本发明具有以下优点：
本发明在去除人脸图像中的眼镜时，增加了分类机匹配的步骤，也即，通过分类机匹配得到相应的眼睛区域类别，其中，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；因此，相对于现有技术，本发明戴眼镜眼睛区域与所匹配眼睛区域类别在眼睛形状方面的相似性，能够减少重构后的不戴眼镜眼睛区域图像与原有的戴眼镜眼睛区域图像之间的差异性，从而能够实现重构后的不戴眼镜眼睛区域图像与周围的人脸图像之间的自然拼接；
其次，本发明还可以对所述不戴眼镜眼镜区域图像中的k个边缘点，和所述戴眼镜眼睛区域图像中对应的边缘点进行加权融合，以获得更为光滑的拼接结果；
再者，本发明还可以基于戴眼镜人脸图像样本构造多个眼镜类型的选型机，这样，在为人脸图像佩戴眼镜时，可以首先通过选型机匹配得到相应的眼镜类型，然后通过PCA重构获得戴眼镜眼睛区域，最后实现将原有非眼睛区域图像和戴眼镜眼镜区域图像之间的拼接；因此，能够为人脸图像戴上不同类型的眼镜。
附图说明
图1是本发明一种多类眼睛区域的分类机构造方法实施例的流程图；
图2是本发明一种眼睛定位的示意图；
图3是本发明一种根据采样点半径的大小r和个数p采样LBP特征的示例；
图4是本发明一种获取8邻域(8，1)LBP算子的示例；
图5是本发明一种原始图像及其LBP特征图和Semi-LBP特征图的示例；
图6是在使用LBP前对人脸图像进行分块的示意图；
图7是本发明一种人脸图像中眼镜的去除方法实施例的流程图；
图8是本发明一种人脸图像中眼镜的去除装置实施例的结构图；
图9是本发明一种人脸图像中眼镜的佩戴方法实施例的流程图；
图10是本发明一种人脸图像中眼镜的去除装置实施例的结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
现有人脸图像中眼镜的去除方法，首先通过重构获得不戴眼镜眼睛区域的人脸图像，然后贴到原有的眼睛区域位置，在原有的戴眼镜眼睛区域和重构所基于不戴眼镜眼睛区域样本的条件刚好类似时，可以获得一定的效果；但是，戴眼镜眼睛区域和不戴眼镜眼睛区域样本的条件往往迥异，例如，眼镜区域中的眼睛形状多种多样，如标准眼、丹凤眼、细长眼、圆眼、眯缝眼、吊眼等，这样，一旦戴眼镜眼睛区域的眼睛形状和不戴眼镜眼睛区域样本的眼睛形状不同，重构后的不戴眼镜眼睛区域图像就会与原有的戴眼镜眼睛区域图像存在较大差距，使得重构后的不戴眼镜眼睛区域图像和周围的人脸图像难以达到无缝拼接。
本专利发明人注意到了这一点，因此，创造性地提出了本专利的发明构思之一，也即，基于不戴眼镜人脸图像样本构造得到作为多类眼睛区域的分类机，这样，在去除人脸图像中的眼镜时，可以通过分类机匹配得到与戴眼镜眼睛区域图像相应的眼睛区域类别；由于所述多类眼睛区域的分类依据为眼睛形状，所以相对于现有技术，戴眼镜眼睛区域与所匹配眼睛区域类别在眼睛形状方面的相似性，能够减少重构后的不戴眼镜眼睛区域图像与原有的戴眼镜眼睛区域图像之间的差异性，从而能够实现重构后的不戴眼镜眼睛区域图像与周围的人脸图像之间的自然拼接。
参照图1，示出了本发明一种多类眼睛区域的分类机构造方法实施例的流程图，具体可以包括：
步骤101、获取不戴眼镜人脸图像样本，并从所述不戴眼镜人脸图像样本中分割出眼睛区域样本；
在实际中，可以采用统计模式识别方法，采集获得不戴眼镜人脸图像样本；在本发明的一种示例中，从所述不戴眼镜人脸图像样本中分割出眼睛区域样本的步骤具体可以包括：
子步骤A1、对所述不戴眼镜人脸图像样本进行眼睛定位，得到眼睛位置；
例如，可采用自适应增强(Adaboost，adaptive boosting)算法对10000张24×16的双眼区域图像和非双眼区域图像进行训练，得到双眼区域检测器。
在进行眼睛定位时，可以采用所述双眼区域检测器在不戴眼镜人脸图像样本内搜索双眼区域位置，确定双眼区域位置后，在所述双眼区域位置内定位左眼位置和右眼位置。参考图2示出了一种眼睛定位的示意图，其中2a为双眼区域检测器搜索到的眼睛矩形区域位置，2b所示的矩形中心即为眼睛位置。
子步骤A2、根据所述眼睛位置，对所述戴眼镜人脸图像样本进行归一化操作；
在具体实现中，所述归一化操作可以包括尺寸归一化和灰度归一化操作。其中，尺寸归一化的操作可以为：将所述戴眼镜人脸图像样本旋转，使每个人脸的双眼之间的连线为水平方向，然后按照双眼中心距离固定的原则，比例缩放旋转后的图像，根据双眼距离固定、双眼中心连线中点到人脸图像上矩形框距离固定的原则裁剪图像，即得到了尺寸归一化后的图像。
灰度归一化的操作可以采取对尺寸归一化后的图像进行灰度拉伸，以改善图像的对比度；或者，采用直方图均衡化等直方图修正技术使图像具有相近的统计意义上的均值和方差，以部分消除光照的影响，本发明对具体的操作方式不加以限制。
子步骤A3、从归一化后的戴眼镜人脸图像样本中割取预设大小的裸眼图像，作为眼睛区域样本。
在实际中，所述割取通常是根据瞳孔中心，分割出两个矩形区域。这里的预设大小可根据实际情况确定，例如，同为24×16的裸眼图像。
步骤102、依据眼睛形状，将所述眼睛区域样本分为多类；
步骤101分割得到的眼睛区域样本中，存在多类眼睛形状的眼镜区域，经过分类后，同一类眼睛形状的眼睛区域样本在某些特征上会具有一定的相似性，而不同类眼睛形状的眼睛区域图像样本之间会具有一定的差异，此时才可以采用统计模式识别算法进行多类眼睛区域分类机的训练与识别。
在具体实现中，本领域技术人员可以根据实际需要进行眼睛区域样本的分类，例如，可以根据标准眼、丹凤眼、细长眼、圆眼、眯缝眼、吊眼，将所述眼睛区域样本分为相应的6类，或者，可以根据标准眼、丹凤眼、细长眼、圆眼、眯缝眼、吊眼、垂眼、三角眼、深眼窝、肿眼泡、远心眼、近心眼、突眼、小圆眼，将所述眼睛区域样本分为相应的14类，本发明实施例对具体的分类方式不加以限制。
步骤103、提取各类眼睛区域样本的特征；
由于通常采用的各类眼睛区域样本，仍然具有很高的维数(例如24×16)，直接在其灰度特征基础上进行处理，一方面信息冗余，另一方面复杂度很高，对计算机的硬件性能是一个挑战，因此，特征提取成为图像识别领域中最基本的问题之一，能否提取出有效的分类特征是解决该问题的关键。常用特征提取方法的基本思想是将原始样本映射到某一低维特征空间，得到最能反映样本本质的低维样本特征，这样能够有效地减少样本的存储量和处理速度，实现人脸的自动分类。
在众多特征提取方法中，局部二值模式(LBP，Local Binary Pattern)特征是一种有效的纹理描述特征，具有旋转不变性和灰度不变性等显著优点，广泛用于纹理分类、纹理分割等。
LBP特征通过对某个像素的亮度值和邻域像素的亮度值进行比较，得到大小关系，并对大小关系进行二进制编码，获得图像区域的纹理特征。参照图3，LBP特征根据采样点半径的大小r和个数p又可记为
，图4则示出了一种获取8邻域(8，1)LBP算子的示例，其中，
(对应于图3(a))的计算公式为：
其中pi(i＝0，1，…，7)为中心pc的8个邻域，这里的pi和pc均以图像的灰度值表示，sign为符号函数，即
LBP特征包含了图像的局部形状和纹理信息，对人脸通过LBP算子可以计算出人脸灰度图对应的LBP特征图。例如图5(b)示出了图5(a)所示原始图像的LBP特征图，该LBP特征图中一个像素点的LBP特征的大小，描述了位于该点处的点、线、拐角等形状。
在本发明的一种优选实施例中，可利用一定区域内的LBP特征的直方图来描述该区域的纹理特性。例如，在进行人脸的表示、检测和识别时，各器官的几何形状、空间位置以及面部的纹理信息都非常重要，因此，参照图6，在使用LBP描述人脸时可以首先对人脸图像进行分块，例如图5中的7×7、5×5和3×3等分块方式，然后在每个子块中统计局部的LBP直方图，最终，将人脸图像表示成由各子块的直方图组成的序列。LBP直方图特征相对LBP特征本身，对于特征点定位等人脸样本图像预处理步骤所造成的误差更加鲁棒；再者，每个子区域中的LBP直方图特征可以通过积分图像很快地求得，从而大大提高了分类器的训练速度。
步骤104、依据所述特征对各类眼睛区域样本进行训练，得到作为多类眼睛区域的分类机。
本步骤是在步骤103所提取特征的基础上训练得到作为多类眼睛区域的分类机。所述分类机可用于对眼睛区域图像进行检测，判断其属于哪一种眼睛区域，也即本步骤的目的是训练一个多类分类器。
在众多机器学习方法中，支持向量机是一种使得分类结构化误差最小的分类器构造方法，是一种具有更好推广性的分类器构造方法。因而，本发明优选采用支持向量机(SVM，support vector machine)作为多类分类器来构造子区域的训练模型；
这里主要以两类(N＝2)分类器为例进行说明，其它类别(N＞2)分类器具体参照即可；在N＝2时，得到作为多类眼睛区域的分类机的步骤具体可以包括以下子步骤：
子步骤B 1、构造LBP特征训练集{(xi，yi)}，其中，i＝1，...，n，xi为某一单眼区域图像样本的LBP特征，yi为该单眼区域图像样本所属的样本类别，在其属于佩戴眼镜类别时yi＝1，在其属于不佩戴眼镜类别时yi＝-1，n为单眼区域图像样本的数量；
子步骤B2、针对所述LBP特征训练集，训练获得作为单眼区域分类器的支持向量机模型
其中，sgn为符号函数，b*为分类阈值，
为训练得到的最优分类参数；
可以理解，上述采用SVM方法构造分类器的方式只是作为示例，本领域技术人员可以根据具体情形采用其它统计学习方法，例如，AdaBoost方法等，本发明对具体的统计学习方法不加以限制。
参照图7，示出了本发明一种人脸图像中眼镜的去除方法实施例的流程图，具体可以包括：
步骤701、从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；
本发明实施例可以应用于人机交互、人脸识别、人脸动画等场合，用于去除人脸图像中的眼镜。
在实际中，所述从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像的步骤，具体可以包括：
子步骤C1、对所述戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
子步骤C2、根据所述眼睛位置，对所述戴眼镜人脸图像进行归一化操作；
子步骤C3、从归一化后的戴眼镜人脸图像中割取预设大小的裸眼图像，作为戴眼镜眼睛区域图像，以除所述戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
需要说明的是，这里的预设大小应与分类机构造方法实施例中的各类眼睛区域样本的尺寸一致，例如，同为24×16的裸眼图像等。
步骤702、针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；
由于所述分类机是依据不戴眼镜人脸图像样本的特征构造得到的，故这里的分类机匹配应首先针对所述戴眼镜眼睛区域图像采用与分类机构造相同的特征，例如，在分类机构造采用LBP特征或LBP直方图特征时，所述通过分类机匹配得到相应的眼睛区域类别的步骤，具体可以包括：
子步骤D1、提取所述戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；
子步骤D2、基于所述LBP特征或LBP直方图特征，在所述多类眼睛区域的分类机中进行匹配，获得相应的眼睛区域类别。
例如，在分类机采用SVM模型时，可以首先提取所述眼镜区域图像的LBP特征，然后将所述LBP特征输入到分类机的两类SVM模型：中，得到标准眼or非标准眼的两类判别结果。对于多类眼镜区域类别的判别，由于其与两类判别类似，在此不作赘述。
步骤703、获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行PCA学习得到；
这里，PCA学习的目的是，得到重构所述戴眼镜眼睛区域图像的基向量，其中，所述眼睛区域类别的样本应为步骤702匹配得到的类别，并且，为得到好的学习效果，所述眼睛区域类别的样本应与分类机构造方法实施例中的各类眼睛区域样本相同。
主成分分析(Principal Component Analysis，PCA)学习，将高维图像空间压缩至N-c(N为训练样本数，c为样本类别数)维PCA子空间，具体可以通过以下子步骤实现：
子步骤E1、对某类眼睛区域类别的样本进行直方图均衡化；
子步骤E2、针对该类眼睛区域类别的样本，根据灰度特征构造协方差矩阵，从而得到特征基；
子步骤E3、分别将每个人脸样本映射到所述特征基，从而获得基向量。
作为一种典型的子空间方法，PCA通过线性变换寻找一组最优的标准正交向量基，用它们的线性组合来重建原始样本，并使重建后的样本和原始样本在均方意义下的重构误差最小。
在具体实现中，对协方差矩阵进行特征分解，取其前N-c个最大特征值所对应的特征向量w1，w2，...，wN-c作为特征基。进而将人脸样本映射到N-c维PCA子空间，映射公式可以为：Y＝WTX，其中，W＝(w1，w2，...，wN-c)，X为原始样本矩阵，Y为重建后的样本矩阵。
在本发明的一种优选实施例中，还可对PCA特征值的重要性进行排序，根据需要取前面最重要的部分，将后面的维数省去，得到简化的基向量。因此可以达到降维从而简化模型的效果；同时，能够在最大程度上保持原有数据的信息。
步骤704、将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；
步骤705、将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。
在实际中，可以用不戴眼镜眼镜区域图像直接贴换原有的戴眼镜眼睛区域图像，即可得到去除眼镜后的人脸图像。由于本发明增加了分类机匹配的步骤，其中，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状，所以相对于现有技术，戴眼镜眼睛区域与所匹配眼睛区域类别在眼睛形状方面的相似性，能够减少重构后的不戴眼镜眼睛区域图像与原有的戴眼镜眼睛区域图像之间的差异性，从而能够实现重构后的不戴眼镜眼睛区域图像与周围的人脸图像之间的自然拼接。
为了实现重构后的不戴眼镜眼睛区域图像与周围的人脸图像之间的无缝拼接，在本发明的一种优选实施例中，在将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接后，所述方法还可以包括：
对所述不戴眼镜眼镜区域图像中的k个边缘点，和所述戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
I(x，y)＝λ*O(x，y)+(1-λ)*R(x，y)
其中，I(x，y)，O(x，y)，R(x，y)分别代表融合之后的像素值、所述戴眼镜眼睛区域图像中对应点的像素值，和所述不戴眼镜眼镜区域图像中对应点的像素值，k＞1，0≤λ≤1。
在实际中，可以根据实际情况来对k进行取值，例如k＝4；对于λ，可按照与原有戴眼镜眼睛区域图像O(x，y)(original image)距离的从近到远的顺序，将相应边缘点的λ依次取值为：1，(k-1)/k，(k-2)/k，...，0，其中，靠近内眼角的为近，远离内眼角的点为远。实验证明，相对于直接拼接，融合拼接能够获得更为光滑的拼接效果。
以上主要针对单通道颜色图或灰度图像中眼镜的去除方法进行了详细介绍，对彩色图像(例如RGB 24位真彩色图像)而言，可分别针对不同通道采用上述方法，并对最后的结果进行合并即达到彩色图像上的处理结果，在此不作赘述。
与前述人脸图像中眼镜的去除方法相应，本发明还公开了一种人脸图像中眼镜的去除装置，参照图8，具体可以包括：
获取模块801，用于从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；
匹配模块802，用于针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；
基向量获取模块803，用于获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行PCA学习得到；
重构模块804，用于将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；及
拼接模块805，用于将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。
在本发明的一种优选实施例中，所述装置还可以包括学习机训练模块，具体可以包括：
获取子模块，用于获取不戴眼镜人脸图像样本；
分割子模块，用于从所述不戴眼镜人脸图像样本中分割出眼睛区域样本；
分类子模块，用于依据眼睛形状，将所述眼睛区域样本分为多类；
提取子模块，用于提取各类眼睛区域样本的特征；及
训练子模块，用于依据所述特征对各类眼睛区域样本进行训练，得到作为多类眼睛区域的分类机。
在本发明实施例中，优选的是，所述特征为LBP特征或LBP直方图特征；
所述匹配模块802，具体可以包括：
特征提取子模块，用于提取所述戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；及
匹配子模块，用于基于所述LBP特征或LBP直方图特征，在所述多类眼睛区域的分类机中进行匹配，获得相应的眼睛区域类别。
在本发明的另一种优选实施例中，所述装置还可以进一步包括：
融合模块，用于在将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接后，对所述不戴眼镜眼镜区域图像中的k个边缘点，和所述戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
I(x，y)＝λ*O(x，y)+(1-λ)*R(x，y)
其中，I(x，y)，O(x，y)，R(x，y)分别代表融合之后的像素值、所述戴眼镜眼睛区域图像中对应点的像素值，和所述不戴眼镜眼镜区域图像中对应点的像素值，k＞1，0≤λ≤1。
在本发明的再一种优选实施例中，所述获取模块801具体可以包括：
眼镜定位子模块，用于对所述戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述戴眼镜人脸图像进行归一化操作；及
割取子模块，用于从归一化后的戴眼镜人脸图像中割取预设大小的裸眼图像，作为戴眼镜眼睛区域图像，以除所述戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
对于人脸图像中眼镜的去除装置实施例而言，由于其与人脸图像中眼镜的去除方法实施例基本相似，所以描述的比较简单，相关之处参见人脸图像中眼镜的去除方法实施例的部分说明即可。
在实际中，眼镜框的形状也有很多种，如矩形、圆形、椭圆形等，而不同形状的尺寸大小也不一。
为使人脸图像戴上不同类型的眼镜，本发明还公开了一种人脸图像中眼镜的佩戴方法，其基于戴眼镜人脸图像样本构造多个眼镜类型的选型机，这样，在为人脸图像佩戴眼镜时，可以首先通过选型机匹配得到相应的眼镜类型，然后通过PCA重构获得戴眼镜眼睛区域，最后实现将原有非眼睛区域图像和戴眼镜眼镜区域图像之间的拼接。
参照图9，示出了本发明一种人脸图像中眼镜的佩戴方法，具体可以包括：
步骤901、从不戴眼镜人脸图像中获取不戴眼镜眼睛区域图像和非眼睛区域图像；
本发明实施例可以应用于人机交互、人脸识别、人脸动画等场合，用于为人脸图像佩戴眼镜。
在本发明的一种优选实施例中，所述从不戴眼镜人脸图像中获取不戴眼镜眼睛区域图像和非眼睛区域图像的步骤，具体可以包括：
子步骤F1、对所述不戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
子步骤F2、根据所述眼睛位置，对所述不戴眼镜人脸图像进行归一化操作；
子步骤F3、从归一化后的不戴眼镜人脸图像中割取预设大小的裸眼图像，作为不戴眼镜眼睛区域图像，以除所述不戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
步骤902、针对所述不戴眼镜眼睛区域图像，通过选型机匹配得到相应的眼镜类型，所述选型机为依据戴眼镜人脸图像样本所构造的多个眼镜类型的选型机，所述多个眼镜类型的分类依据为眼镜形状；
在本发明的一种优选实施例中，可以如下步骤构造多个眼镜类型的选型机：
子步骤G1、获取戴眼镜人脸图像样本，并从所述戴眼镜人脸图像样本中分割出戴眼镜眼睛区域样本；
子步骤G2、依据眼镜形状，将所述戴眼镜眼睛区域样本分为多类；
子步骤G3、提取各类戴眼镜眼睛区域样本的特征；
子步骤G4、依据所述特征对各类戴眼镜眼睛区域样本进行训练，得到作为多个眼镜类型的选型机。
对于选型机的构造方法，由于其与分类机的构造方法类似，故在此不作赘述，请参照分类机构造方法实施例的相关说明即可。需要说明的是，步骤901的预设大小应与分类机构造方法实施例中的各类眼睛区域样本的尺寸一致，例如，同为24×16的裸眼图像等。
在本发明实施例中，优选的是，所述特征为LBP特征或LBP直方图特征；
此时，所述通过选型机匹配得到相应的眼镜类型的步骤，具体可以包括：
子步骤H1、提取所述不戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；
子步骤H2、基于所述LBP特征或LBP直方图特征，在所述多个眼镜类型的选型机中进行匹配，获得相应的眼镜类型。
步骤903、获得与所述眼镜类型相应的基向量，所述基向量为针对所述眼镜类型的样本进行PCA学习得到；
步骤904、将所述不戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；
步骤905、将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接，得到佩戴眼镜后的人脸图像。
为了实现重构后的不戴眼镜眼睛区域图像与周围的人脸图像之间的无缝拼接，在本发明的一种优选实施例中，在将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接后，还包括：
对所述戴眼镜眼镜区域图像中的n个边缘点，和所述不戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
M(x，y)＝q*P(x，y)+(1-q)*N(x，y)
其中，M(x，y)、P(x，y)、N(x，y)分别代表融合之后的像素值、所述不戴眼镜眼睛区域图像中对应点的像素值，和所述戴眼镜眼镜区域图像中对应点的像素值，n＞1，0≤q≤1。
在实际中，可以根据实际情况来对n进行取值，例如n＝4；对于q，可按照与原有戴眼镜眼睛区域图像P(x，y)(original image)距离的从近到远的顺序，将相应边缘点的λ依次取值为：1，(n-1)/n，(n-2)/n，...，0，其中，靠近内眼角的为近，远离内眼角的点为远。实验证明，相对于直接拼接，融合拼接能够获得更为光滑的拼接效果。
以上主要针对单通道颜色图或灰度图像中眼镜的去除方法进行了详细介绍，对彩色图像(例如RGB 24位真彩色图像)而言，可分别针对不同通道采用上述方法，并对最后的结果进行合并即达到彩色图像上的处理结果，在此不作赘述。
与前述人脸图像中眼镜的佩戴方法相应，本发明还公开了一种人脸图像中眼镜的佩戴装置，参照图10，具体可以包括：
获取模块1001，用于从不戴眼镜人脸图像中获取不戴眼镜眼睛区域图像和非眼睛区域图像；
匹配模块1002，用于针对所述不戴眼镜眼睛区域图像，通过选型机匹配得到相应的眼镜类型，所述选型机为依据戴眼镜人脸图像样本所构造的多个眼镜类型的选型机，所述多个眼镜类型的分类依据为眼镜形状；
基向量获取模块1003，用于获得与所述眼镜类型相应的基向量，所述基向量为针对所述眼镜类型的样本进行PCA学习得到；
重构模块1004，用于将所述不戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；及
拼接模块1005，用于将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接，得到佩戴眼镜后的人脸图像。
在本发明的一种优选实施例中，所述装置还可以包括选型机构造模块，具体可以包括：
获取子模块，获取戴眼镜人脸图像样本；
分割子模块，用于从所述戴眼镜人脸图像样本中分割出戴眼镜眼睛区域样本；
分类子模块，用于依据眼镜形状，将所述戴眼镜眼睛区域样本分为多类；
提取子模块，用于提取各类戴眼镜眼睛区域样本的特征；及
训练子模块，用于依据所述特征对各类戴眼镜眼睛区域样本进行训练，得到作为多个眼镜类型的选型机。
在本发明实施例中，优选的是，所述特征为LBP特征或LBP直方图特征；
此时，所述匹配模块1002，具体可以包括：
特征提取子模块，用于提取所述不戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；及
匹配子模块，用于基于所述LBP特征或LBP直方图特征，在所述多个眼镜类型的选型机中进行匹配，获得相应的眼镜类型。
在本发明的另一种优选实施例中，所述装置还可以包括：
融合模块，用于在将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接后，对所述戴眼镜眼镜区域图像中的n个边缘点，和所述不戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
M(x，y)＝q*P(x，y)+(1-q)*N(x，y)
其中，M(x，y)、P(x，y)、N(x，y)分别代表融合之后的像素值、所述不戴眼镜眼睛区域图像中对应点的像素值，和所述戴眼镜眼镜区域图像中对应点的像素值，n＞1，0≤q≤1。
在本发明的再一种优选实施例中，所述获取模块1001具体可以包括：
定位子模块，用于对所述不戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述不戴眼镜人脸图像进行归一化操作；及
割取子模块，用于从归一化后的不戴眼镜人脸图像中割取预设大小的裸眼图像，作为不戴眼镜眼睛区域图像，以除所述不戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
对于人脸图像中眼镜的佩戴装置实施例而言，由于其与人脸图像中眼镜的佩戴方法实施例基本相似，所以描述的比较简单，相关之处参见人脸图像中眼镜的佩戴方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
以上对本发明所提供的一种人脸图像中眼镜的去除方法和装置、一种人脸图像中眼镜的佩戴方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (20)
1.一种人脸图像中眼镜的去除方法，其特征在于，包括：
从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；
针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；
获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行PCA学习得到；
将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；
将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。
2.如权利要求1所述的方法，其特征在于，通过如下步骤构造多类眼睛区域的分类机：
获取不戴眼镜人脸图像样本，并从所述不戴眼镜人脸图像样本中分割出眼睛区域样本；
依据眼睛形状，将所述眼睛区域样本分为多类；
提取各类眼睛区域样本的特征；
依据所述特征对各类眼睛区域样本进行训练，得到作为多类眼睛区域的分类机。
3.如权利要求2所述的方法，其特征在于，所述特征为LBP特征或LBP直方图特征；
所述通过分类机匹配得到相应的眼睛区域类别的步骤，包括：
提取所述戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；
基于所述LBP特征或LBP直方图特征，在所述多类眼睛区域的分类机中进行匹配，获得相应的眼睛区域类别。
4.如权利要求1至3中任一项所述的方法，其特征在于，在将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接后，还包括：
对所述不戴眼镜眼镜区域图像中的k个边缘点，和所述戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
I(x,y)＝λ*O(x,y)+(1-λ)*R(x,y)
其中，I(x,y),O(x,y),R(x,y)分别代表融合之后的像素值、所述戴眼镜眼睛区域图像中对应点的像素值，和所述不戴眼镜眼镜区域图像中对应点的像素值，k＞1，0≤λ≤1。
5.如权利要求1至3中任一项所述的方法，其特征在于，所述从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像的步骤，包括：
对所述戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
根据所述眼睛位置，对所述戴眼镜人脸图像进行归一化操作；
从归一化后的戴眼镜人脸图像中割取预设大小的裸眼图像，作为戴眼镜眼睛区域图像，以除所述戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
6.一种人脸图像中眼镜的去除装置，其特征在于，包括：
获取模块，用于从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；
匹配模块，用于针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；
基向量获取模块，用于获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行PCA学习得到；
重构模块，用于将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；及
拼接模块，用于将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。
7.如权利要求6所述的装置，其特征在于，还包括学习机训练模块，包括：
获取子模块，用于获取不戴眼镜人脸图像样本；
分割子模块，用于从所述不戴眼镜人脸图像样本中分割出眼睛区域样本；
分类子模块，用于依据眼睛形状，将所述眼睛区域样本分为多类；
提取子模块，用于提取各类眼睛区域样本的特征；及
训练子模块，用于依据所述特征对各类眼睛区域样本进行训练，得到作为多类眼睛区域的分类机。
8.如权利要求7所述的装置，其特征在于，所述特征为LBP特征或LBP直方图特征；
所述匹配模块，包括：
特征提取子模块，用于提取所述戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；及
匹配子模块，用于基于所述LBP特征或LBP直方图特征，在所述多类眼睛区域的分类机中进行匹配，获得相应的眼睛区域类别。
9.如权利要求6至8中任一项所述的装置，其特征在于，还包括：
融合模块，用于在将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接后，对所述不戴眼镜眼镜区域图像中的k个边缘点，和所述戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
I(x,y)＝λ*O(x,y)+(1-λ)*R(x,y)
其中，I(x,y),O(x,y),R(x,y)分别代表融合之后的像素值、所述戴眼镜眼睛区域图像中对应点的像素值，和所述不戴眼镜眼镜区域图像中对应点的像素值，k＞1，0≤λ≤1。
10.如权利要求6至8中任一项所述的装置，所述获取模块，包括：
眼镜定位子模块，用于对所述戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述戴眼镜人脸图像进行归一化操作；及
割取子模块，用于从归一化后的戴眼镜人脸图像中割取预设大小的裸眼图像，作为戴眼镜眼睛区域图像，以除所述戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
11.一种人脸图像中眼镜的佩戴方法，其特征在于，包括：
从不戴眼镜人脸图像中获取不戴眼镜眼睛区域图像和非眼睛区域图像；
针对所述不戴眼镜眼睛区域图像，通过选型机匹配得到相应的眼镜类型，所述选型机为依据戴眼镜人脸图像样本所构造的多个眼镜类型的选型机，所述多个眼镜类型的分类依据为眼镜形状；
获得与所述眼镜类型相应的基向量，所述基向量为针对所述眼镜类型的样本进行PCA学习得到；
将所述不戴眼镜戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；
将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接，得到佩戴眼镜后的人脸图像。
12.如权利要求11所述的方法，其特征在于，通过如下步骤构造多个眼镜类型的选型机：
获取戴眼镜人脸图像样本，并从所述戴眼镜人脸图像样本中分割出戴眼镜眼睛区域样本；
依据眼镜形状，将所述戴眼镜眼睛区域样本分为多类；
提取各类戴眼镜眼睛区域样本的特征；
依据所述特征对各类戴眼镜眼睛区域样本进行训练，得到作为多个眼镜类型的选型机。
13.如权利要求12所述的方法，其特征在于，所述特征为LBP特征或LBP直方图特征；
所述通过选型机匹配得到相应的眼镜类型的步骤，包括：
提取所述不戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；
基于所述LBP特征或LBP直方图特征，在所述多个眼镜类型的选型机中进行匹配，获得相应的眼镜类型。
14.如权利要求11至13中任一项所述的方法，其特征在于，在将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接后，还包括：
对所述戴眼镜眼镜区域图像中的n个边缘点，和所述不戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
M(x,y)＝q*P(x,y)+(1-q)*N(x,y)
其中，M(x,y)、P(x,y)、N(x,y)分别代表融合之后的像素值、所述不戴眼镜眼睛区域图像中对应点的像素值，和所述戴眼镜眼镜区域图像中对应点的像素值，n＞1，0≤q≤1。
15.如权利要求11至13中任一项所述的方法，其特征在于，所述从不戴眼镜人脸图像中获取不戴眼镜眼睛区域图像和非眼睛区域图像的步骤，包括：
对所述不戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
根据所述眼睛位置，对所述不戴眼镜人脸图像进行归一化操作；
从归一化后的不戴眼镜人脸图像中割取预设大小的裸眼图像，作为不戴眼镜眼睛区域图像，以除所述不戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
16.一种人脸图像中眼镜的佩戴装置，其特征在于，包括：
获取模块，用于从不戴眼镜人脸图像中获取不戴眼镜眼睛区域图像和非眼睛区域图像；
匹配模块，用于针对所述不戴眼镜眼睛区域图像，通过选型机匹配得到相应的眼镜类型，所述选型机为依据戴眼镜人脸图像样本所构造的多个眼镜类型的选型机，所述多个眼镜类型的分类依据为眼镜形状；
基向量获取模块，用于获得与所述眼镜类型相应的基向量，所述基向量为针对所述眼镜类型的样本进行PCA学习得到；
重构模块，用于将所述不戴眼镜戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；及
拼接模块，用于将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接，得到佩戴眼镜后的人脸图像。
17.如权利要求16所述的装置，其特征在于，还包括选型机构造模块，包括：
获取子模块，获取戴眼镜人脸图像样本；
分割子模块，用于从所述戴眼镜人脸图像样本中分割出戴眼镜眼睛区域样本；
分类子模块，用于依据眼镜形状，将所述戴眼镜眼睛区域样本分为多类；
提取子模块，用于提取各类戴眼镜眼睛区域样本的特征；及
训练子模块，用于依据所述特征对各类戴眼镜眼睛区域样本进行训练，得到作为多个眼镜类型的选型机。
18.如权利要求17所述的装置，其特征在于，所述特征为LBP特征或LBP直方图特征；
所述匹配模块，包括：
特征提取子模块，用于提取所述不戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；及
匹配子模块，用于基于所述LBP特征或LBP直方图特征，在所述多个眼镜类型的选型机中进行匹配，获得相应的眼镜类型。
19.如权利要求16至18中任一项所述的装置，其特征在于，还包括：
融合模块，用于在将所述非眼睛区域图像和戴眼镜眼镜区域图像进行拼接后，对所述戴眼镜眼镜区域图像中的n个边缘点，和所述不戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下：
M(x,y)＝q*P(x,y)+(1-q)*N(x,y)
其中，M(x,y)、P(x,y)、N(x,y)分别代表融合之后的像素值、所述不戴眼镜眼睛区域图像中对应点的像素值，和所述戴眼镜眼镜区域图像中对应点的像素值，n＞1，0≤q≤1。
20.如权利要求16至18中任一项所述的装置，其特征在于，所述获取模块，包括：
定位子模块，用于对所述不戴眼镜人脸图像进行眼睛定位，得到眼睛位置；
归一化子模块，用于根据所述眼睛位置，对所述不戴眼镜人脸图像进行归一化操作；及
割取子模块，用于从归一化后的不戴眼镜人脸图像中割取预设大小的裸眼图像，作为不戴眼镜眼睛区域图像，以除所述不戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110085481.7A CN102163289B (zh) | 2011-04-06 | 2011-04-06 | 人脸图像中眼镜的去除方法和装置、佩戴方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110085481.7A CN102163289B (zh) | 2011-04-06 | 2011-04-06 | 人脸图像中眼镜的去除方法和装置、佩戴方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102163289A CN102163289A (zh) | 2011-08-24 |
| CN102163289B true CN102163289B (zh) | 2016-08-24 |
Family
ID=44464506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110085481.7A Active CN102163289B (zh) | 2011-04-06 | 2011-04-06 | 人脸图像中眼镜的去除方法和装置、佩戴方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102163289B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095829B (zh) * | 2014-04-29 | 2019-02-19 | 华为技术有限公司 | 一种人脸识别方法及系统 |
| CN105095841A (zh) * | 2014-05-22 | 2015-11-25 | 小米科技有限责任公司 | 生成眼镜的方法及装置 |
| CN104463128B (zh) * | 2014-12-17 | 2017-09-29 | 智慧眼（湖南）科技发展有限公司 | 用于人脸识别的眼镜检测方法及系统 |
| CN104598925A (zh) * | 2015-01-23 | 2015-05-06 | 湖州师范学院 | 一种基于ELM的多类Adaboost集成学习方法 |
| CN105139000B (zh) * | 2015-09-16 | 2019-03-12 | 浙江宇视科技有限公司 | 一种去除眼镜痕迹的人脸识别方法及装置 |
| CN106326828B (zh) * | 2015-11-08 | 2019-07-19 | 北京巴塔科技有限公司 | 人脸识别中的眼睛定位方法 |
| WO2018072102A1 (zh) * | 2016-10-18 | 2018-04-26 | 华为技术有限公司 | 一种人脸图像中眼镜去除方法及装置 |
| CN106503644B (zh) * | 2016-10-19 | 2019-05-28 | 西安理工大学 | 基于边缘投影及颜色特征的眼镜属性检测方法 |
| US11055829B2 (en) | 2016-12-29 | 2021-07-06 | Huawei Technologies Co., Ltd. | Picture processing method and apparatus |
| CN108932458B (zh) * | 2017-05-24 | 2020-09-11 | 恒睿(重庆)人工智能技术研究院有限公司 | 恢复眼镜遮挡区域的人脸重建方法及装置 |
| CN107392118B (zh) * | 2017-07-04 | 2020-04-03 | 竹间智能科技（上海）有限公司 | 基于多任务对抗生成网络的强化人脸属性识别方法及系统 |
| CN107945126B (zh) * | 2017-11-20 | 2022-02-18 | 杭州登虹科技有限公司 | 一种图像中眼镜框消除方法、装置和介质 |
| CN109145875B (zh) * | 2018-09-28 | 2021-04-20 | 深圳市一心视觉科技有限公司 | 一种人脸图像中的黑框眼镜去除方法及装置 |
| CN110569763B (zh) * | 2019-08-27 | 2022-05-24 | 高新兴科技集团股份有限公司 | 一种用于细粒度人脸识别的眼镜去除方法 |
| CN110569826B (zh) * | 2019-09-18 | 2022-05-24 | 深圳市捷顺科技实业股份有限公司 | 一种人脸识别方法、装置、设备及介质 |
| CN112418138B (zh) * | 2020-12-04 | 2022-08-19 | 兰州大学 | 一种眼镜试戴系统 |
| EP4224432A1 (en) * | 2022-02-04 | 2023-08-09 | Carl Zeiss Vision International GmbH | Device, system and method for spectacle frame identification |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1936925A (zh) * | 2006-10-12 | 2007-03-28 | 上海交通大学 | 用贝叶斯网络分类器图像判别特征点位置的方法 |
| CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
| CN101908152A (zh) * | 2010-06-11 | 2010-12-08 | 电子科技大学 | 一种基于用户定制分类器的眼睛状态识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7653221B2 (en) * | 2006-01-31 | 2010-01-26 | Fujifilm Corporation | Method and apparatus for automatic eyeglasses detection and removal |
-
2011
- 2011-04-06 CN CN201110085481.7A patent/CN102163289B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1936925A (zh) * | 2006-10-12 | 2007-03-28 | 上海交通大学 | 用贝叶斯网络分类器图像判别特征点位置的方法 |
| CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
| CN101908152A (zh) * | 2010-06-11 | 2010-12-08 | 电子科技大学 | 一种基于用户定制分类器的眼睛状态识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Automatic Eyeglasses Removal from Face Images;Chenyu Wu等;《Pattern Analysis & Machine Intelligence IEEE Transactions on》;20040331;第26卷(第3期);322-336 * |
| Estimation of Eyeglassless Facial Images Using Principal Component Analysis;Yasuyuki SAITO等;《Image Processing, 1999. ICIP99. Proceedings. 1999 International Conference on》;19991028;197-201 * |
| 用于人脸识别的正面人脸图像眼镜摘除;杜成等;《清华大学学报（自然科学版）》;20050725;第45卷(第7期);928-934 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102163289A (zh) | 2011-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102163289B (zh) | 人脸图像中眼镜的去除方法和装置、佩戴方法和装置 | |
| CN101142584B (zh) | 面部特征检测的方法 | |
| Vukadinovic et al. | Fully automatic facial feature point detection using Gabor feature based boosted classifiers | |
| Li et al. | Robust and accurate iris segmentation in very noisy iris images | |
| Bharadwaj et al. | Periocular biometrics: When iris recognition fails | |
| CN100568264C (zh) | 印章鉴别控制方法 | |
| CN103136504B (zh) | 人脸识别方法及装置 | |
| CN101271525B (zh) | 一种快速的图像序列特征显著图获取方法 | |
| CN109583324A (zh) | 一种基于单点多盒检测器的指针仪表读数自动识别方法 | |
| CN108960141A (zh) | 基于增强型深度卷积神经网络的行人再识别方法 | |
| CN106096613A (zh) | 基于角点特征的图像多目标检测方法及装置 | |
| Ocquaye et al. | Dual exclusive attentive transfer for unsupervised deep convolutional domain adaptation in speech emotion recognition | |
| CN112488229B (zh) | 一种基于特征分离和对齐的域自适应无监督目标检测方法 | |
| CN107220598A (zh) | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 | |
| Liu et al. | Eyes closeness detection using appearance based methods | |
| Hsu et al. | A novel eye center localization method for multiview faces | |
| CN105701486B (zh) | 一种在摄像机内实现人脸信息分析及提取的方法 | |
| Ahmed et al. | Eye detection and localization in a facial image based on partial geometric shape of iris and eyelid under practical scenarios | |
| CN108875559A (zh) | 基于证件照与现场照的人脸识别方法及系统 | |
| CN114549489A (zh) | 一种面向雕花口红质检的实例分割缺陷检测方法 | |
| Chen et al. | Eyes localization algorithm based on prior MTCNN face detection | |
| CN114463812A (zh) | 基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法 | |
| Duffner et al. | A neural scheme for robust detection of transparent logos in TV programs | |
| CN115661703A (zh) | 一种基于深度学习的门店招牌信息提取的方法 | |
| Poulopoulos et al. | A real-time high precision eye center localizer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: ZHONGXING ELECTRONICS CO., LTD. Effective date: 20120131 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20120131 Address after: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Applicant after: Beijing Vimicro Corporation Co-applicant after: Vimicro Electronics Co., Ltd. Address before: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Applicant before: Beijing Vimicro Corporation |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180201 Address after: 100191, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 16 floor Patentee after: Beijing Vimicro Corporation Address before: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Co-patentee before: Vimicro Electronics Co., Ltd. Patentee before: Beijing Vimicro Corporation |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191122 Address after: 401120 No. 117-338, Yunhan Avenue, Beibei District, Chongqing Patentee after: Chongqing Zhongxing micro artificial intelligence chip technology Co., Ltd Address before: 100191, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 16 floor Patentee before: Beijing Vimicro Corporation |