CN113822175B - 一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法 - Google Patents

Abstract

本发明公开了一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，包括：对人体姿态进行建模得到人体姿态热图，同时计算人体分割图，得到去除人体头部信息的二元掩码；将姿态热图、二元掩码和目标衣服作为图形匹配网络的输入，输出粗合成试穿图像、扭曲后衣服的二值掩码；以扭曲后衣服二值掩码为目标，利用关键点聚类匹配算法，对目标衣服进行扭曲处理；将扭曲后的目标衣服与粗合成试穿图像作为细化网络的输入，输出合成真实图像。能使目标衣服与扭曲后衣服保持一致性，简化匹配过程，进而提高了服装配准扭曲的精确度，保证虚拟试穿的整体效果。

Description

一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法

技术领域

本发明属于图像匹配方法技术领域，涉及一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法。

背景技术

随着机器学习和深度学习领域的突飞猛进，虚拟试穿技术应运而生，虚拟试穿技术可以不受物理空间的限制，根据顾客的体态自动拟合成合适的形状。随着这项技术的发展，这些拟合的效果将会越来越精确。人工智能在无人驾驶、理疗影像等领域有着广阔的应用，但在服装零售行业几乎还是一片蓝海。虚拟试穿不仅可以增强消费者的购物体验，改变人们的购物方式，还可以为零售商节约成本。基于图像的虚拟试穿网络，它不使用任何的3D信息，而是使用从粗到细的策略将所需的服装无缝的转移到人的相应区域。基于图像的虚拟试穿网络的框架首先生成一个粗合成的图像，把目标衣服以相同的姿势覆盖在同一个人身上。然后使用一个细化网络进一步增强最初的模糊服装区域。该网络被训练用来从目标衣服上提取尽可能多的细节并且应用于最终的图像合成。其中目标服装形变自然，且服装图案具有清晰的视觉效果。

然而，基于图像的虚拟试穿网络传统的试衣方法在衣服形变的环节使用形状上下文以及薄板样条插值算法(TPS)来实现衣服的形变。其中TPS算法的原理为在两张图像中寻找有限个匹配点，利用近似的过程让总弯曲能量最小，最终使得这有限个点形变放置到相应位置。对于服装图形来说这样的过程计算量过大且过程繁琐。

发明内容

本发明的目的是提供一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，解决了现有技术中存在的图像匹配过程繁琐的问题。

本发明所采用的技术方案是，一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，包括以下步骤：

步骤1、对人体姿态进行建模得到人体姿态热图，同时计算人体分割图，得到去除人体头部信息的二元掩码；

步骤2、将姿态热图、二元掩码和目标衣服作为图形匹配网络的输入，并利用损失函数对图形匹配网络进行参数调整，输出粗合成试穿图像、扭曲后衣服的二值掩码；

步骤3、以扭曲后衣服二值掩码为目标，利用关键点聚类匹配算法，对目标衣服进行扭曲处理，得到与扭曲后衣服二值掩码形同的目标衣服；

步骤4、将扭曲后的目标衣服与粗合成试穿图像作为细化网络的输入，并利用损失函数对细化网络进行参数调整，输出合成真实图像。

本发明的特点还在于：

步骤2中损失函数包括：利用L₁损失计算扭曲后衣服的二值掩码与真实扭曲衣服掩码之间的损失值、利用感知损失计算粗合成试穿图像与真实试穿图像之间的损失值。

步骤4中损失函数为利用感知损失计算合成结果与数据集中真实的试穿图像之间的损失值。

步骤3具体包括以下步骤：

步骤3.1、提取扭曲后衣服的边缘特征，根据边缘特征得到扭曲后衣服的曲率，将曲率变化较大的特征点标记为扭曲后衣服的特征关键点；

步骤3.2、提取目标衣服的边缘特征，查找扭曲后衣服的特征关键点对应的目标衣服的特征关键点；

步骤3.3、分别采集扭曲后衣服、目标衣服的特征点，通过距离关系判定特征点与对应特征关键点之间的对应关系，建立特征点集群；

步骤3.4、假设目标衣服的特征点集X＝{x_i，1≤i≤m}∈R^d×m，扭曲后衣服的特征点集Y＝{y_i，1≤j≤n}∈R^d×n，其中m，n是样板点数，d是维数，通过X和Y估计出两者的匹配矩阵P，利用匹配矩阵P得到将样本点X扭曲到目标点Y的变换函数f，利用变换函数f对目标衣服进行扭曲处理，得到与扭曲后衣服二值掩码形同的目标衣服。

步骤3.4中匹配矩阵P和变换函数f的计算方法为：

分别提取X、Y的特征关键点记为其中m_k，n_k是特征关键点数，将下式作为目标函数求出匹配矩阵P和变换函数f：

上式中，P_ec表示特征关键点对应/>的概率，λ为正则系数；

假设y_e服从以对应点为中心，σ²为方差的高斯分布，或者作为离群点服从以a为参数的均匀分布，则X^k、Y^k的配准高斯混合生成模型表示为：

其中，π_c表示y_e属于第c个高斯分布的权重，γ表示y_e属于离群点的百分比，θ＝{σ²，γ，f}表示其它待求参数集合，此时匹配概率矩阵P_ec可表示为：

利用贝叶斯定理，通过公式(5)估计满足公式(2)最大的参数集θ：

采用EM算法对目标函数进行优化，在E步，利用公式(3)求解匹配矩阵P_ec，在M步，利用公式(5)更新参数θ，最后通过公式(1)交替迭代得到匹配矩阵P和形变函数f。

本发明的有益效果是：

本本发明一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，以特征关键点为中心计算出与它距离相近的其它特征点，利用聚类的思想把它们归为一个集合，一对特征关键点之间的匹配关系即为一对特征点集的匹配关系；在特征关键点匹配的过程中，特征关键点的移动驱动着整个特征点集的移动；通过集群约束保持本地结构，使目标衣服与扭曲后衣服保持一致性，简化匹配过程，进而提高了服装配准扭曲的精确度，保证虚拟试穿的整体效果。

附图说明

图1是本发明一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法的流程图；

图2是本发明一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法中扭曲处理过程的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，如图1所示，具体包括以下步骤：

步骤1、使用二维姿态估计器对人体姿势进行建模得到人体姿态热图。具体的，将人体姿势表示为18个关键点的坐标，将每个关键点转换为姿势热图，然后将全部姿势热图堆叠成18通道的姿态热图。同时使用人体解析器计算人体的分割图，在分割图上分离出人体头部完整的RGB信息，并将分割图转换为1通道二元掩码，即得到去除人体头部信息的1通道二元掩码。

步骤2、将姿态热图、1通道二元掩码和目标衣服作为图形匹配网络的输入，同时利用L₁损失计算扭曲后衣服的二值掩码与真实扭曲衣服掩码之间的损失，利用感知损失计算粗合成试穿图像与真实试穿图像之间的损失值，利用两个损失值对图形匹配网络进行参数调整，经过数次迭代得到参数最优化的图形匹配网络，输出粗合成试穿图像、扭曲后衣服的二元掩码。

其中，图形匹配网络共分为两层，即编码层和解码层。所有的编码层由4×4空间滤波器组成，滤波器的步长为2，滤波器的信道数分别为64、128、256、512、512、512；解码时，所有的层采用4×4的空间滤波器，其步长为0.5，信道数分别为512、512、256、128、64、4。激活函数为负斜率为0.2的Leaky ReLU函数，采用欧式距离的归一化函数，在编码层和解码层添加跳跃连接以提高性能。

进一步的，L₁损失也被称为平均绝对值误差，通过计算生成图像与真实图像之间每个对应像素点位置偏差之和的平均值来描述两张图像之间的误差大小。当期望的输出结果类似于二进制掩码使，效果良好，当期望的输出为彩色图像时，L₁损失倾向于产生模糊的图像。感知损失是对由视觉感知网络计算出的合成图像和真实映像的特征影像之间距离关系进行建模，即利用真实图像卷积后得到的特征与合成图像卷积后得到的特征作比较，使得图像高维信息尽可能接近。感知损失迫使合成图像与真实图像的RGB值以及在视觉感知模型中的激活相匹配，从而使合成网络能够学习逼真的图案。

步骤3、以扭曲后衣服二值掩码为目标，利用关键点聚类匹配算法，对目标衣服进行扭曲处理，得到与扭曲后衣服二值掩码形同的扭曲衣服，如图2所示。采用关键点聚类匹配算法的优点为：第一，模板点与目标点匹配时，往往特征关键点的变换关系起到决定性作用，其他与之相关的特征点同样符合此种变换关系，所以只计算特征关键点的变换方程极大的提升了匹配效率；第二，虽然在非刚性变形下模板点与目标点之间的绝对距离可能会发生显著变化，但由于物理约束，点与邻域之间的局部结构一般保持良好，因此，集群约束有利于保持本地结构。为了更好地描述组中的局部约束，每个点都是图中的一个节点，如果两个节点在同一组，则用一条边连接；第三，当模板点与目标点聚类时，很自然地考虑所有来自一个聚类的点是从相同的高斯分布中采样的。此时，高斯分布的个数将大大小于点的个数，这将大大提高模型的推理效率。

步骤3.1、提取扭曲后衣服的边缘特征，根据边缘特征进行扭曲后衣服的曲率检测，将曲率变化较大的特征点标记为扭曲后衣服的特征关键点(如：衣角，领角等)；

步骤3.2、提取目标衣服的边缘特征，查找扭曲后衣服的特征关键点对应的目标衣服的特征关键点；

步骤3.3、分别采集扭曲后衣服、目标衣服的特征点，通过距离关系判定特征点与对应特征关键点之间的对应关系，建立特征点集群；在进行图像匹配的过程中，两者衣服图像特征关键点的变换关系就为特征点集群之间的变换关系；

步骤3.4、假设目标衣服的特征点与对应特征关键点之间的对应关系组成的特征点集X＝{x_i，1≤i≤m}∈R^d×m，扭曲后衣服的特征点与对应特征关键点之间的对应关系组成的特征点集Y＝{y_i，1≤j≤n}∈R^d×n，其中m，n是样板点数，d是维数，通过X和Y估计出两者的匹配矩阵P，利用匹配矩阵P得到将样本点X扭曲到目标点Y的变换函数f，利用变换函数对目标衣服进行扭曲处理(将目标衣服输入到f(x))，得到与扭曲后衣服二值掩码形同的目标衣服。

具体的匹配矩阵P、变换函数f的计算方法为：

分别提取X、Y的特征关键点记为其中m_k，n_k是特征关键点数，将下式作为目标函数求出特征关键点集的匹配与形变关系：

上式中，P_ec表示特征关键点对应/>的概率，λ为正则系数；

给定Y^k高斯分布作为先验概率，可把特征关键点匹配问题描述为高斯混合模型。假设y_e服从以对应点为中心，σ²为方差的高斯分布，或者作为离群点(找不到对应点)服从以a为参数的均匀分布，则X^k、Y^k的配准高斯混合生成模型表示为：

其中，π_c表示y_e属于第c个高斯分布的权重，γ表示y_e属于离群点的百分比，θ＝{σ²，γ，f}表示其它待求参数集合，此时匹配概率矩阵P_ec可表示为：

利用贝叶斯定理，通过公式(4)式估计满足公式(2)最大的参数集θ：

θ^*＝argmax_θP(θ∣X_c,Y_e)＝argmax_θP(Y_e∣X_c,θ)P(f) (4)；

将公式(4)两边取对数得到下式：

采用EM算法对目标函数进行优化，在E步，利用公式(3)求解匹配矩阵P_ec，在M步，利用公式(5)更新参数θ，最后通过公式(1)交替迭代得到匹配矩阵P和形变函数f。

步骤4、将扭曲衣服与粗合成试穿图像作为细化网络的输入，利用感知损失计算合成结果与数据集中真实的试穿图像之间的损失值，对细化网络进行参数调整，得到图形匹配网络，输出合成真实图像。

具体的，细化网络是一个四层的完全卷积模型。前三层的每一层都有3×3×64个滤波器，后面是LeakyReLU激活函数，最后一层输出含有1×1空间滤波器的合成掩码，后面是sigmoid激活函数，最后将输出缩放到(0,1)之间。细化网络的输入为扭曲衣服与合成试穿图像，输出为单通道的合成掩码a，然后使用Alpha融合使a引导扭曲的服装c和粗合成的试穿图像I融合，最终生成虚拟试穿结果I′。用扭曲的服装c去替换单通道掩码a；单通道掩码a以外的地方用粗合成的虚拟试穿结果去替换；最后将这些替换的结果叠加起来，即I′＝a⊙c+(1-a)⊙I，其中⊙表示逐元素矩阵乘法。

步骤5、选择合适的数据集，对图形匹配网络和细化网络进行多角度的训练并测试。

具体的，使用Zalando数据集对整个模型进行训练测试，数据集中包括16253对正面女性照片和两套衣服，一套穿在身上，一套相对平整用于试穿。图像被进一步划分为14221对和2032对训练集和测试集。在进行测试过程中设置epoch＝2000、学习率lr＝0.0001、采用Adam优化算法、选取合适的激活函数。在图像匹配网络的训练过程中保存每个epoch的训练结果(包括网络输出的合成结果以及模型配置文件)。通过对合成结果的对比，加载输出图像效果良好批次的模型配置文件为后续网络的训练生产原材料，即粗合成试穿图像和扭曲后衣服的二元掩码。在衣服形变环节，扭曲后衣服的二值掩码和待试穿衣服一起输入到关键点聚类驱动匹配算法模型中用于优化此算法模型的参数。使用上述方法继续对细化网络进行训练。

通过以上方式，本发明一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，以特征关键点为中心计算出与它距离相近的其它特征点，利用聚类的思想把它们归为一个集合，一对特征关键点之间的匹配关系即为一对特征点集的匹配关系；在特征关键点匹配的过程中，特征关键点的移动驱动着整个特征点集的移动能减小计算量，保证了衣服特征的整体性，提高了服装匹配的精度和匹配效率；通过集群约束保持本地结构，使目标衣服与扭曲后衣服保持一致性，进而提高了服装配准扭曲的精确度，保证虚拟试穿的整体效果。

Claims (3)

1.一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，其特征在于，包括以下步骤：

步骤1、对人体姿态进行建模得到人体姿态热图，同时计算人体分割图，得到去除人体头部信息的二元掩码；

步骤2、将所述姿态热图、二元掩码和目标衣服作为图形匹配网络的输入，并利用损失函数对图形匹配网络进行参数调整，输出粗合成试穿图像、扭曲后衣服的二值掩码；

步骤3、以扭曲后衣服二值掩码为目标，利用关键点聚类匹配算法，对目标衣服进行扭曲处理，得到与扭曲后衣服二值掩码形同的目标衣服；

步骤4、将扭曲后的目标衣服与粗合成试穿图像作为细化网络的输入，并利用损失函数对细化网络进行参数调整，输出合成真实图像；

步骤3具体包括以下步骤：

步骤3.1、提取所述扭曲后衣服的边缘特征，根据边缘特征得到扭曲后衣服的曲率，将曲率变化的特征点标记为扭曲后衣服的特征关键点；

步骤3.2、提取所述目标衣服的边缘特征，查找扭曲后衣服的特征关键点对应的目标衣服的特征关键点；

步骤3.3、分别采集所述扭曲后衣服、目标衣服的特征点，通过距离关系判定特征点与对应特征关键点之间的对应关系，建立特征点集群；

步骤3.4、假设目标衣服的特征点集X＝{x_i，1≤i≤m}∈R^d×m，扭曲后衣服的特征点集Y＝{y_i，1≤j≤n}∈R^d×n，其中m，n是样板点数，d是维数，通过X和Y估计出两者的匹配矩阵P，利用匹配矩阵P得到将样本点X扭曲到目标点Y的变换函数f，利用变换函数f对目标衣服进行扭曲处理，得到与扭曲后衣服二值掩码形同的目标衣服；

步骤3.4中匹配矩阵P和变换函数f的计算方法为：

分别提取X、Y的特征关键点记为其中m_k，n_k是特征关键点数，将下式作为目标函数求出匹配矩阵P和变换函数f：

上式中，P_ec表示特征关键点对应/>的概率，λ为正则系数；

假设y_e服从以对应点为中心，σ²为方差的高斯分布，或者作为离群点服从以a为参数的均匀分布，则X^k、Y^k的配准高斯混合生成模型表示为：

其中，π_c表示y_e属于第c个高斯分布的权重，γ表示y_e属于离群点的百分比，θ＝{σ²，γ，f}表示其它待求参数集合，此时匹配概率矩阵P_ec可表示为：

利用贝叶斯定理，通过公式(5)估计满足公式(2)最大的参数集θ：

采用EM算法对目标函数进行优化，在E步，利用公式(3)求解匹配矩阵P_ec，在M步，利用公式(5)更新参数θ，最后通过公式(1)交替迭代得到匹配矩阵P和形变函数f。

2.根据权利要求1所述的一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，其特征在于，步骤2中损失函数包括：利用L₁损失计算扭曲后衣服的二值掩码与真实扭曲衣服掩码之间的损失值、利用感知损失计算粗合成试穿图像与真实试穿图像之间的损失值。

3.根据权利要求1所述的一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，其特征在于，步骤4中损失函数为利用感知损失计算合成结果与数据集中真实的试穿图像之间的损失值。