CN106372333A - 基于人脸模型的服装展示方法及装置 - Google Patents

Abstract

本发明提供了一种基于人脸模型的服装展示方法及装置，其中，该方法包括：获取用户的头部图像和三维人体模型；头部图像至少包括：脸部图像和发型轮廓图像；利用头部图像对三维人体模型进行优化处理，得到与用户头部图像匹配的优化三维人体模型；根据优化三维人体模型对待展示服装进行展示；其通过利用真人的头部图像对三维人体模型进行优化，提取和重构真人的脸型、肤色、发型及头发颜色，使得虚拟再现的人体模型更加逼真，进而通过逼真的三维人体模型进行的服装展示也使得展示效果更加可靠。

Description

基于人脸模型的服装展示方法及装置

技术领域

本发明涉及计算机辅助头部模型设计技术领域，具体而言，涉及一种基于人脸模型的服装展示方法及装置。

背景技术

传统的服装选购都是衣服设计生产出来后，由本人来进行试穿，来看衣服的效果，消费者只有试大量的衣服，然后从中选出适合自己的。而在网络环境中，消费者需要远程定制或选购衣服时，传统的裁缝量衣和现场试衣显然不可能实现。因此，三维虚拟试衣技术应运而生。

三维虚拟试衣技术是当今服装领域的研究热点，改变了传统行业的销售模式，降低了成本。消费者不仅可以快速浏览店铺服饰，三维虚拟试衣技术还为消费者营造了一个虚拟的三维试衣环境，透过在模特身上的服饰搭配，让顾客体验新颖独特的购物乐趣，从而提高顾客购买欲望，最终促进消费。

但是目前国内外的虚拟三维试衣都是基于标准人体模特的试衣。由于技术的原因和保护个人隐私的原因，现在能够实现的虚拟三维试衣都是将衣服穿在利用计算机软件事先做好的模特上的，模特有着固定的面孔，脸部特征无法改变。试衣时没有考虑真人的脸型、肤色、发型、头发颜色等特征，而这些特征对于服装款式设计、色彩设计以及服装着装效果等是至关重要的。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于人脸模型的服装展示方法及装置，以提取和重构真人的脸型、肤色、发型及头发颜色等特征，使虚拟再现的真人人体模型更为逼真。

第一方面，本发明实施例提供了一种基于人脸模型的服装展示方法，所述方法包括：

获取用户的头部图像和三维人体模型；所述头部图像至少包括：脸部图像和发型轮廓图像；

利用所述头部图像对所述三维人体模型进行优化处理，得到与所述用户头部图像匹配的优化三维人体模型；

根据所述优化三维人体模型对待展示服装进行展示。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述获取用户的头部图像，包括：

获取用户的原始头部图像；

对所述原始头部图像进行人脸识别处理，得到脸部图像；

利用图像分割算法提取所述原始头部图像中的头部区域；

根据得到的所述脸部图像及提取的所述头部区域，获取用户的发型轮廓图像。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述利用所述头部图像对所述三维人体模型进行优化处理，得到与所述用户头部图像匹配的优化三维人体模型，包括：

在模型特征库中依次检索与用户的脸部图像和发型轮廓图像匹配度最高的人脸模型和发型模型；其中，所述模型特征库预先存储有多种类型的人脸模型和发型模型；

根据用户的脸部图像对所述人脸模型进行纹理贴图处理，得到虚拟人物头像；

利用所述虚拟人物头像和所述发型模型优化所述三维人体模型的头部模型，得到与所述用户头部图像匹配的优化三维人体模型。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述根据用户的脸部图像对所述人脸模型进行纹理贴图处理，得到虚拟人物头像，包括：

建立人脸模型上的向量点与所述脸部图像的向量点的映射关系，得到人脸模型上的向量面与所述脸部图像上的向量面映射关系；

根据所述脸部图像上的向量面内的颜色值以及所述映射关系，对所述人脸模型进行纹理贴图处理，生成虚拟人物头像。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述建立人脸模型上的向量点与所述脸部图像的向量点的映射关系，得到人脸模型上的向量面与所述脸部图像上的向量面映射关系，包括：

$MN.x=I(A.x)+\frac{I\left(\right|AB\left|\right)*(M.x-M(A.x\left)\right)}{M\left(\right|AB\left|\right)}$

按照公式计算人脸模型上的向量点与所述脸部图像的向量点的映射关系；

在所述脸部图像的人脸轮廓与所述人脸模型匹配成功后，将所述脸部图像对应的人脸纹理像素值移植映射到所述人脸模型上的几何面片上，得到人脸模型上的向量面与所述脸部图像上的向量面映射关系。

第二方面，本发明实施例提供了一种基于人脸模型的服装展示装置，所述装置，包括：

获取模块，用于获取用户的头部图像和三维人体模型；所述头部图像至少包括：脸部图像和发型轮廓图像；

优化处理模块，用于利用所述头部图像对所述三维人体模型进行优化处理，得到与所述用户头部图像匹配的优化三维人体模型；

展示模块，用于根据所述优化三维人体模型对待展示服装进行展示。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述获取模块，包括：

第一获取子模块，用于获取用户的原始头部图像；

第一处理子模块，用于对所述原始头部图像进行人脸识别处理，得到脸部图像；

提取子模块，用于利用图像分割算法提取所述原始头部图像中的头部区域；

第二获取子模块，用于根据得到的所述脸部图像及提取的所述头部区域，获取用户的发型轮廓图像。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述优化处理模块，包括：

检索子模块，用于在模型特征库中依次检索与用户的脸部图像和发型轮廓图像匹配度最高的人脸模型和发型模型；其中，所述模型特征库预先存储有多种类型的人脸模型和发型模型；

第二处理子模块，用于根据用户的脸部图像对所述人脸模型进行纹理贴图处理，得到虚拟人物头像；

优化子模块，用于利用所述虚拟人物头像和所述发型模型优化所述三维人体模型的头部模型，得到与所述用户头部图像匹配的优化三维人体模型。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述第二处理子模块，包括：

建立单元，用于建立人脸模型上的向量点与所述脸部图像的向量点的映射关系，得到人脸模型上的向量面与所述脸部图像上的向量面映射关系；

处理单元，用于根据所述脸部图像上的向量面内的颜色值以及所述映射关系，对所述人脸模型进行纹理贴图处理，生成虚拟人物头像。

结合第二方面的第三种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述建立单元，包括：

$MN.x=I(A.x)+\frac{I\left(\right|AB\left|\right)*(M.x-M(A.x\left)\right)}{M\left(\right|AB\left|\right)}$

计算子单元，用于按照公式计算人脸模型上的向量点与所述脸部图像的向量点的映射关系；

移植映射子单元，用于在所述脸部图像的人脸轮廓与所述人脸模型匹配成功后，将所述脸部图像对应的人脸纹理像素值移植映射到所述人脸模型上的几何面片上，得到人脸模型上的向量面与所述脸部图像上的向量面映射关系。

本发明实施例提供的一种基于人脸模型的服装展示方法及装置，包括获取用户的头部图像和三维人体模型；头部图像至少包括：脸部图像和发型轮廓图像；利用头部图像对三维人体模型进行优化处理，得到与用户头部图像匹配的优化三维人体模型；根据优化三维人体模型对待展示服装进行展示；与现有技术中基于有着固定面孔的标准人体模特上的服装展示相比，其通过利用真人的头部图像对三维人体模型进行优化，提取和重构真人的脸型、肤色、发型及头发颜色，使得虚拟再现的人体模型更加逼真，进而通过逼真的三维人体模型进行的服装展示也使得展示效果更加可靠。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种基于人脸模型的服装展示方法的流程图；

图2示出了本发明实施例所提供的获取用户的头部图像的流程图；

图3示出了本发明实施例所提供的对三维人体模型进行优化处理的流程图；

图4示出了本发明实施例所提供的人眼模板的结构示意图；

图5示出了本发明实施例所提供的像素映射过程的结构示意图；

图6示出了本发明实施例所提供的一种基于人脸模型的服装展示装置的结构示意图。

主要元件符号说明：

1、基于人脸模型的服装展示装置；11、获取模块；12、展示模块；13、优化处理模块；111、第一获取子模块；112、第一处理子模块；113、提取子模块；114、第二获取子模块；131、检索子模块；132、第二处理子模块；133、优化子模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到目前国内外的虚拟三维试衣都是基于标准人体模特的试衣，都是将衣服穿在利用计算机软件事先做好的模特上的，模特有着固定的面孔，脸部特征无法改变，试衣时没有考虑真人的脸型、肤色、发型、头发颜色等特征，基于此，本发明实施例提供了一种基于人脸模型的服装展示方法，下面通过实施例进行描述。

下面结合图1说明本发明实施例提供的一种基于人脸模型的服装展示方法，该方法包括：

S101、获取用户的头部图像和三维人体模型；头部图像至少包括：脸部图像和发型轮廓图像；

具体的，为了在三维人体模型上模拟真人的脸型、肤色、发型以及头发颜色，应该先获取需要模拟的用户的头部图像，头部图像可以为用户的照片图像，其可以由需要模拟的用户本人提供，而上述三维人体模型可以由三维建模软件获得。

在得到用户的原始头部图像后，可以对原始头部图像就行人脸识别处理，以得到用户的脸部图像，进而通过图像分割算法提取原始头部图像中的脸部区域，根据得到的脸部图像及头部区域，得到用户的发型轮廓图像。

S102、利用头部图像对三维人体模型进行优化处理，得到与用户头部图像匹配的优化三维人体模型；

具体的，在对三维人体模型进行优化处理的过程中，可以分为以下几步，首先在模型特征库中依次检索与用户的脸部图像和发型轮廓图像匹配度最高的人脸模型和发型模型；其中，模型特征库预先存储有多种类型的人脸模型和发型模型；根据用户的脸部图像对人脸模型进行纹理贴图处理，得到虚拟人物头像；利用虚拟人物头像和发型模型优化所述三维人体模型的头部模型，得到与用户头部图像匹配的优化三维人体模型。

S103、根据优化三维人体模型对待展示服装进行展示。

具体的，在得到和用户头部图像相匹配的三维人体模型后，为进一步得到和用户整体匹配的模型可以采用基于深度摄像机的三维人体模型创建技术来构建用户的头部之外的人体模型，最终将用户的三维头部模型与用户头部之外的人体模型组合，即可得到用户整体的人体模型。

另外，在进行服装展示时，可以采用三维服装与人体模型的碰撞检测方法将待展示的服装自然、真实的贴合到三维人体模型上，使得整个的展示过程更加逼真。

本发明实施例提供的一种基于人脸模型的服装展示方法，通过利用真人的头部图像对三维人体模型进行优化，提取和重构真人的脸型、肤色、发型及头发颜色，最终通过该优化后的三维人体模型进行服装的展示，与现有技术中基于有着固定面孔的标准人体模特上的服装展示相比，使得虚拟再现的人体模型更加逼真，进而通过逼真的三维人体模型进行的服装展示也使得展示效果更加可靠。

如上所述，为了得到逼真的头部三维模型，需要对用户的头部图像做进一步的处理，具体的，参考图2，获取用户的头部图像，包括：

S201、获取用户的原始头部图像；

具体的，使用前，用户需要提供一张含有其头部正脸的照片，该照片即为用户的原始头部图像。

S202、对原始头部图像进行人脸识别处理，得到脸部图像；

具体的，将得到的原始头部图像进行人脸识别处理，人脸识别处理后即可得到原始头部图像对应的脸部图像。

S203、利用图像分割算法提取原始头部图像中的头部区域；

具体的，采用opencv图像处理库的grabcut算法将用户原始头部图像的头部区域与照片的背景脱离，得到的即为用户的头部区域。

S204、根据得到的脸部图像及提取的头部区域，获取用户的发型轮廓图像。

具体的，将脸部图像从头部区域中剔除，即可得到用户的发型轮廓图像，对该图像进行优化，优化后的图形区域默认为用户的发型轮廓图像。

进一步的，利用头部图像对三维人体模型进行优化处理，得到与用户头部图像匹配的优化三维人体模型，参考图3，包括：

S301、在模型特征库中依次检索与用户的脸部图像和发型轮廓图像匹配度最高的人脸模型和发型模型；其中，模型特征库预先存储有多种类型的人脸模型和发型模型；

具体的，将得到的发型轮廓图像与二维发型库中二维数据发型进行轮廓匹配。

轮廓匹配过程为：

1)、采用opencv中cvFindContours获得发型边际线，发型轮廓形状；

2)、采用opencv中cvMatchShapes进行形状匹配，匹配度高就趋近真实发型。

上述匹配度最高的二维发型即可作为真实发型，根据三维发型库与二维发型库的预设对应关系以及二维发型库中的匹配度最高的二维发型，提取三维发型库中的匹配发型。

另外，通过人脸检测截取用户头部图像的正脸图像，该正脸图像为椭圆模板，建立椭圆方程：

$\frac{{(x-x_0)}^2}{{s_x}^2}+\frac{{(y-y_0)}^2}{{s_y}^2}=1$

其中，(x₀，y₀)为椭圆中心，r作为半径。另r₀＝(x₀，y₀)r,s＝s_x＝ρs_y,椭圆方程可用四个参数(r₀,s,ρ,θ)表示，θ为椭圆倾角，利用人脸轮廓椭圆特征的人脸定位系统，对三维人体模型进行最优匹配处理。

根据人脸椭圆形状，可将参数ρ设定为常数，则人脸椭圆就可用三个参数(r₀,s,θ)表示。令vs_i＝(i＝1,......,N)表示椭圆(r₀，s)上的点，us_i＝vs_i-r₀表示点vs_i与椭圆中心的位移，则可定义人脸椭圆模板如下：

$T_{r0,s}\left(r\right)=\underset{i=1}{\overset{N}{\Σ}}{h}_i\∂(r-u_s^i-r_0)$

式中:r＝(x,y)，r为图像上点的坐标，δ为Delta函数(表示密度分布)，h_i＝[hx_i,hy_i]T(i＝1,......,N)为权值因子。

最终按照上述人脸椭圆模板对模型特征库中的模型进行检索，得到匹配度最高的人脸模型。

S302、根据用户的脸部图像对人脸模型进行纹理贴图处理，得到虚拟人物头像；

具体的，参考图4，用户头部图像的人眼模板可由图中的参数决定，图中的参数是定位人眼的关键信息，其中，(Xc，r)表示瞳孔圆心坐标和半径，Xc表示瞳孔中心，是一个二维坐标图中的上下两条抛物线由参数(Xe，a,b,c,θ)表示，其中Xe表示眼睛模板的中心位置，也是一个二维坐标；a表示上抛物线的最大高度，b表示模板长度的一半，c表示下抛物线的最大高度，θ表示模板与水平方向的夹角，即模板的方向；眼白中心由参数(p₁,p₂)表示，它们的中心坐标为Xe+p₁(cosθ，sinθ)和Xe+p₂(cosθ，sinθ)。

按照上述用户头部图像的人眼模板的参数对人脸模型的眼部信息进行处理，得到匹配的带有人眼的人脸模型。

在本发明实施例中，将人脸模型上的人眼与用户的头部图像中人眼的波谷、波峰和边缘进行交互；波谷对应着眼睛的黑色区域；波峰对应着眼睛的白色区域；边缘对应着眼睛的轮廓；

具体的，依据头部图像中的人眼模板建立能量函数，需要考虑:

①实际图像中眼睛的特征(图像能量)；

②各参数之间的先验关系(内部约束能量)；

③不仅要保证算法收敛，还应给出模板匹配好坏的测度。

完整的能量函数Ec由波谷、波峰、边缘、图像及内部能量组成:

E_c＝E_v+E_e+E_i+E_p+E_pior

其中各项意义如下:

(1)波谷能量是衡量眼睛模板与图像波谷区域接近程度的测度，将使圆收缩到瞳孔最黑的区域，定义为:

$E_v=-\frac{c_1}{\left|R_c\right|}\underset{R_c}{\∫}{\mathrm{\φ}}_v\left(x\right)dA;$

其中，φ(x)表示位置x处的能量函数，本例中表示x位置的波谷能量；

|R_c|表示瞳孔位置；

表示面积积分；

c1波谷系数；

(2)边缘能量在眼睛模板的圆边界和抛物线上进行，用干将模板配到瞳孔和上下眼睑的边缘，定义为:

$E_e=\frac{c_2}{\left|{\mathrm{\δR}}_c\right|}{\∫}_{{\mathrm{\δR}}_c}{\mathrm{\φ}}_c\left(x\right)ds-\frac{c_3}{\left|{\mathrm{\δR}}_c\right|}{\mathrm{\φ}}_e\left(x\right)ds$

其中，φ(x)表示位置x处的能量函数，本例中表示x位置的边缘能量；

|δR_c|表示瞳孔边界；

∫ds表示弧长积分，本例表示瞳孔处的弧长积分；

c₂,c₃边缘系数；

(3)波峰能量是用来给出关于眼睛模板正确方向的一个测度，它通过计算以左右眼白中心为中心的两个窗口内点的波峰强度，鼓励在眼白中心的点具有高的高度，定义为:

E_p＝c₆{φ(x_e+p₁e₁)+(x_e+p₂e₁)}

其中，φ(x)表示位置x处的能量函数，本例中表示x位置的波峰能量；

x_e+p₁e₁,x_e+p₂e₁表示眼白信息；

c₆波峰系数；

(4)图像能量包含两项，一项是关于瞳孔圆内亮度信息的能量，瞳孔圆内像素点的灰度值应较低；一项是关于眼白区域亮度信息的能量，眼白区域像素点的灰度值应较高。具体定义如下:

$E_i=\frac{c_4}{\left|R_c\right|}\underset{R_w}{\∫}{\mathrm{\φ}}_i\left(x\right)dA-\frac{c_5}{\left|R_c\right|}\underset{R_w}{\∫}{\mathrm{\φ}}_i\left(x\right)dA$

其中，φ(x)表示位置x处的能量函数，本例中表示x位置的图像能量；

|R_c|表示瞳孔位置；

表示面积积分，本例表示眼白处的面积积分；

c₄,c₅表示图像系数；

(5)内部能量表明各参数之问的先验约束关系，定义为:

$E_{pior}=\frac{k_1}{2}\left|\right|x_e-x_c|{|}^2+\frac{k_2}{2}\[p_1-p_2-{(r+b)}^2\]+\frac{k_3}{2}{(b-2r)}^2+\frac{k_4}{2}\[{(b-2a)}^2+{(a-2c)}^2\]$

其中，k₁,k₂,k₃,k₄表示内部能量系数；

||x_e,x_c||表示瞳孔与眼白距离；

交互完成后，即可得到带有人眼的人脸模型。

另外，根据用户的脸部图像对人脸模型进行纹理贴图处理，得到虚拟人物头像，还包括：

1)、建立人脸模型上的向量点与脸部图像的向量点的映射关系，得到人脸模型上的向量面与脸部图像上的向量面映射关系；

在本发明实施例中，利用ASM(主动形状模型Active Shape Model)算法获得用户脸部图像的边缘轮廓点，用户脸部图像的坐标系与人脸模型的坐标系存在较大差异，人脸模型存在深度信息，纹理仅正面信息，尺寸固定。因此将人脸模型与用户脸部图像建立一个对应关系，将人脸模型的坐标系转换到二维图像中。经过大量的实验，在选择两者连接点上确定了一个最优解：脸部图像中，选取两眼中心作为人脸图像中心点(用A表示)，人脸最外边缘(太阳穴部位，用B表示)与中心点的连线作为脸部的宽度(即线段AB)。人脸最下部边缘(前鄂位置处，用C表示)与中心点连线作为脸部的高度(即线段AC)。

具体的，在人脸模型中取正面模型在xy平面的二维投影作为与用户脸部图像建立联系的图像。以人脸的宽度和高度作为比值，将人脸模型与二维用户头部图像对齐并缩放。

$MN.x=I(A.x)+\frac{I\left(\right|AB\left|\right)*(M.x-M(A.x\left)\right)}{M\left(\right|AB\left|\right)}$

a)、按照公式计算人脸模型上的向量点与脸部图像的向量点的映射关系；

具体的，使用M表示人脸模型上坐标，使用I表示用户脸部图像坐标，MN表示M在I中的新坐标，遍历模型所有的顶点坐标，进行如下坐标变换：

$MN.x=I(A.x)+\frac{I\left(\right|AB\left|\right)*(M.x-M(A.x\left)\right)}{M\left(\right|AB\left|\right)}$

$MN.y=I(A.y)+\frac{I\left(\right|AC\left|\right)*(M.x-M(A.y\left)\right)}{M\left(\right|AC\left|\right)}$

上述对应的坐标关系建立完成后，表示人脸模型与用户脸部图像的人脸轮廓匹配成功。

b)、在脸部图像的人脸轮廓与人脸模型匹配成功后，将脸部图像对应的人脸纹理像素值移植映射到人脸模型上的几何面片上，得到人脸模型上的向量面与脸部图像上的向量面映射关系。

具体的，参考图5，映射过程如下：

左边是srcTri三角形区域，右边是dstTri三角形区域。从线段A₁B₁开始逐个像素拷贝像素到dstTri。步骤是：

aa)首先扫描A₁B₁，A₂B₂，得到两条线段长度srcLen(AB)，dstLen(AB)，得到一个比率rAB＝srcLen(AB)/dstLen(AB)；

bb)首先扫描B₁C₁,B₂C₃，得到两条线段长度srcLen(BC)，dstLen(BC)。得到一个比率r_BC＝srcLen(BC)/dstLen(BC)；

cc)从A₁开始在x轴方向向B₁移动，根据A₁B₁方程可得相应y值，假设移动到D₁点。根据r_AB可得在dstTri中，A₂开始在x轴方向每次移动x*r_AB个像素，同理根据A₂B₂方程得到相应y值，假设为D₂点；

dd)同理，C₁向B₁移动得到E₁点，C₂向B₂移动得到E₂点；

ee)根据D₁E₁，D₂E₂得到比率r_DE。D₁移动x个像素，则D₂移动x*r_DE个像素。因此，由D₁向E₁扫描像素点P₁，得到D₂E₂上相应的点P₂，赋值：P₂＝P₁；

ff)回到(cc)，直到所有像素扫描赋值完毕。

在步骤(dd)中扫描点时会造成一些点没有扫描到，此时增加一副图像g_maskImage，用来记录在像素移动过程中未移动的像素。在扫描全部完成后，根据g_maskImage记录的未移动像素，使用Inpaint技术进行补图操作，至此，得到一幅完整的人脸纹理。

2)、根据脸部图像上的向量面内的颜色值以及映射关系，对人脸模型进行纹理贴图处理，生成虚拟人物头像。

具体的，人脸模型本质由若干三角面片构成，根据上述步骤建立的映射关系，将用户脸部图像中的像素以三角面片为移植单位映射至人脸模型上，完成对人脸模型的纹理贴图处理，得到虚拟人物头像。

S303、利用虚拟人物头像和发型模型优化三维人体模型的头部模型，得到与用户头部图像匹配的优化三维人体模型。

具体的，上述过程既可以先将头部模型替换三维人体模型的头部，然后再与得到的匹配的三维发型组合；也可以先将匹配的三维发型与头部模型进行组合，得到完整的头部模型，再用该完整的头部模型替换三维人体模型的头部；以上两种方式都可以完成三维人体模型的优化。

本发明实施例还提供了一种基于人脸模型的服装展示装置，该装置用于执行上述方法，具体的，参考图6，基于人脸模型的服装展示装置1包括：

获取模块11，用于获取用户的头部图像和三维人体模型；头部图像至少包括：脸部图像和发型轮廓图像；

优化处理模块13，用于利用头部图像对三维人体模型进行优化处理，得到与用户头部图像匹配的优化三维人体模型；

展示模块12，用于根据优化三维人体模型对待展示服装进行展示。

具体的，获取模块11，包括：

第一获取子模块111，用于获取用户的原始头部图像；

第一处理子模块112，用于对原始头部图像进行人脸识别处理，得到脸部图像；

提取子模块113，用于利用图像分割算法提取原始头部图像中的头部区域；

第二获取子模块114，用于根据得到的脸部图像及提取的头部区域，获取用户的发型轮廓图像。

具体的，优化处理模块13，包括：

检索子模块131，用于在模型特征库中依次检索与用户的脸部图像和发型轮廓图像匹配度最高的人脸模型和发型模型；其中，模型特征库预先存储有多种类型的人脸模型和发型模型；

第二处理子模块132，用于根据用户的脸部图像对人脸模型进行纹理贴图处理，得到虚拟人物头像；

优化子模块133，用于利用虚拟人物头像和发型模型优化三维人体模型的头部模型，得到与用户头部图像匹配的优化三维人体模型。

具体的，第二处理子模块132，包括：

建立单元，用于建立人脸模型上的向量点与脸部图像的向量点的映射关系，得到人脸模型上的向量面与脸部图像上的向量面映射关系；

处理单元，用于根据脸部图像上的向量面内的颜色值以及映射关系，对人脸模型进行纹理贴图处理，生成虚拟人物头像。

具体的，建立单元，包括：

$MN.x=I(A.x)+\frac{I\left(\right|AB\left|\right)*(M.x-M(A.x\left)\right)}{M\left(\right|AB\left|\right)}$

计算子单元，用于按照公式计算人脸模型上的向量点与脸部图像的向量点的映射关系；

移植映射子单元，用于在脸部图像的人脸轮廓与人脸模型匹配成功后，将脸部图像对应的人脸纹理像素值移植映射到人脸模型上的几何面片上，得到人脸模型上的向量面与脸部图像上的向量面映射关系。

本发明实施例提供的一种基于人脸模型的服装展示方法及装置，通过利用真人的头部图像对三维人体模型进行优化，提取和重构真人的脸型、肤色、发型及头发颜色，最终通过该优化后的三维人体模型进行服装的展示，与现有技术中基于有着固定面孔的标准人体模特上的服装展示相比，使得虚拟再现的人体模型更加逼真，进而通过逼真的三维人体模型进行的服装展示也使得展示效果更加可靠。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于人脸模型的服装展示方法，其特征在于，所述方法包括：

获取用户的头部图像和三维人体模型；所述头部图像至少包括：脸部图像和发型轮廓图像；

利用所述头部图像对所述三维人体模型进行优化处理，得到与所述用户头部图像匹配的优化三维人体模型；

根据所述优化三维人体模型对待展示服装进行展示。

2.根据权利要求1所述的方法，其特征在于，所述获取用户的头部图像，包括：

获取用户的原始头部图像；

对所述原始头部图像进行人脸识别处理，得到脸部图像；

利用图像分割算法提取所述原始头部图像中的头部区域；

根据得到的所述脸部图像及提取的所述头部区域，获取用户的发型轮廓图像。

3.根据权利要求1所述的方法，其特征在于，所述利用所述头部图像对所述三维人体模型进行优化处理，得到与所述用户头部图像匹配的优化三维人体模型，包括：

在模型特征库中依次检索与用户的脸部图像和发型轮廓图像匹配度最高的人脸模型和发型模型；其中，所述模型特征库预先存储有多种类型的人脸模型和发型模型；

根据用户的脸部图像对所述人脸模型进行纹理贴图处理，得到虚拟人物头像；

利用所述虚拟人物头像和所述发型模型优化所述三维人体模型的头部模型，得到与所述用户头部图像匹配的优化三维人体模型。

4.根据权利要求3所述的方法，其特征在于，所述根据用户的脸部图像对所述人脸模型进行纹理贴图处理，得到虚拟人物头像，包括：

建立人脸模型上的向量点与所述脸部图像的向量点的映射关系，得到人脸模型上的向量面与所述脸部图像上的向量面映射关系；

根据所述脸部图像上的向量面内的颜色值以及所述映射关系，对所述人脸模型进行纹理贴图处理，生成虚拟人物头像。

5.根据权利要求4所述的方法，其特征在于，所述建立人脸模型上的向量点与所述脸部图像的向量点的映射关系，得到人脸模型上的向量面与所述脸部图像上的向量面映射关系，包括：

$MN.x=I(A.x)+\frac{I\left(\right|AB\left|\right)*(M.x-M(A.x\left)\right)}{M\left(\right|AB\left|\right)}$

按照公式计算人脸模型上的向量点与所述脸部图像的向量点的映射关系；

在所述脸部图像的人脸轮廓与所述人脸模型匹配成功后，将所述脸部图像对应的人脸纹理像素值移植映射到所述人脸模型上的几何面片上，得到人脸模型上的向量面与所述脸部图像上的向量面映射关系。

6.一种基于人脸模型的服装展示装置，其特征在于，所述装置包括：

获取模块，用于获取用户的头部图像和三维人体模型；所述头部图像至少包括：脸部图像和发型轮廓图像；

优化处理模块，用于利用所述头部图像对所述三维人体模型进行优化处理，得到与所述用户头部图像匹配的优化三维人体模型；

展示模块，用于根据所述优化三维人体模型对待展示服装进行展示。

7.根据权利要求6所述的装置，其特征在于，所述获取模块，包括：

第一获取子模块，用于获取用户的原始头部图像；

第一处理子模块，用于对所述原始头部图像进行人脸识别处理，得到脸部图像；

提取子模块，用于利用图像分割算法提取所述原始头部图像中的头部区域；

第二获取子模块，用于根据得到的所述脸部图像及提取的所述头部区域，获取用户的发型轮廓图像。

8.根据权利要求6所述的装置，其特征在于，所述优化处理模块，包括：

检索子模块，用于在模型特征库中依次检索与用户的脸部图像和发型轮廓图像匹配度最高的人脸模型和发型模型；其中，所述模型特征库预先存储有多种类型的人脸模型和发型模型；

第二处理子模块，用于根据用户的脸部图像对所述人脸模型进行纹理贴图处理，得到虚拟人物头像；

优化子模块，用于利用所述虚拟人物头像和所述发型模型优化所述三维人体模型的头部模型，得到与所述用户头部图像匹配的优化三维人体模型。

9.根据权利要求8所述的装置，其特征在于，所述第二处理子模块，包括：

建立单元，用于建立人脸模型上的向量点与所述脸部图像的向量点的映射关系，得到人脸模型上的向量面与所述脸部图像上的向量面映射关系；

处理单元，用于根据所述脸部图像上的向量面内的颜色值以及所述映射关系，对所述人脸模型进行纹理贴图处理，生成虚拟人物头像。

10.根据权利要求9所述的装置，其特征在于，所述建立单元，包括：

$MN.x=I(A.x)+\frac{I\left(\right|AB\left|\right)*(M.x-M(A.x\left)\right)}{M\left(\right|AB\left|\right)}$

计算子单元，用于按照公式计算人脸模型上的向量点与所述脸部图像的向量点的映射关系；

移植映射子单元，用于在所述脸部图像的人脸轮廓与所述人脸模型匹配成功后，将所述脸部图像对应的人脸纹理像素值移植映射到所述人脸模型上的几何面片上，得到人脸模型上的向量面与所述脸部图像上的向量面映射关系。