CN117689562A - 一种基于人工智能扩散模型的虚拟换装方法 - Google Patents
一种基于人工智能扩散模型的虚拟换装方法 Download PDFInfo
- Publication number
- CN117689562A CN117689562A CN202311710470.2A CN202311710470A CN117689562A CN 117689562 A CN117689562 A CN 117689562A CN 202311710470 A CN202311710470 A CN 202311710470A CN 117689562 A CN117689562 A CN 117689562A
- Authority
- CN
- China
- Prior art keywords
- image
- clothing
- model
- map
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000009792 diffusion process Methods 0.000 title claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 68
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 104
- 238000010586 diagram Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 36
- 230000000750 progressive effect Effects 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 9
- 101100494773 Caenorhabditis elegans ctl-2 gene Proteins 0.000 claims description 6
- 101100112369 Fasciola hepatica Cat-1 gene Proteins 0.000 claims description 6
- 101100005271 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cat-1 gene Proteins 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 101100501281 Caenorhabditis elegans emb-1 gene Proteins 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于人工智能扩散模型的虚拟换装方法，包括以下步骤：接收模特图像M和服装图像C；采用服装图像预测模块，得到预测分割图S；采用变形估计网络，将服装图像C变形，得到与模特图像M中的模特姿态匹配贴合的服装变形图像F；将服装变形图像F和预测分割图S进行叠加，将服装变形图像F贴于预测分割图S的贴图区域，再经过扩散模型的修正去噪处理，得到服装图像C穿于模特图像M中的模特后的最终效果图。本发明提供一种基于人工智能扩散模型的虚拟换装方法，采用服装图像预测模块和外观流估计模型，能够准确快速的将服装图像中的服装变形为与模型图像中的模特姿态贴合的服装变形图，从而提高虚拟换装的准确性和效率。
Description
技术领域
本发明属于计算机科学技术领域，具体涉及一种基于人工智能扩散模型的虚拟换装方法。
背景技术
随着互联网的蓬勃发展，电子商务已成为全球服装行业的重要驱动力，改变了人们购物的方式和购物习惯。电商平台成为消费者购买服装的首选渠道之一。然而，消费者通过电商平台购买服装时，主要存在以下问题：电商平台采用特定模特展示服装，但消费者的体形与特定模特存在差异，因此，消费者难以直观预见自身穿着该服装的效果，从而不利于消费者快速决策是否购买该服装。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于人工智能扩散模型的虚拟换装方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于人工智能扩散模型的虚拟换装方法，包括以下步骤：
步骤1，接收模特图像M和服装图像C；
步骤2，采用服装图像预测模块，预测得到所述服装图像C穿于所述模特图像M中的模特后的预测图，并将所述预测图中属于所述服装图像C的服装图案去除，得到预测分割图S；其中，所述预测分割图S中，去除的所述服装图像C的服装图案的区域，称为贴图区域；
步骤3，采用变形估计网络，将所述服装图像C变形，得到与所述模特图像M中的模特姿态匹配贴合的服装变形图像F；
步骤4，将所述服装变形图像F和所述预测分割图S进行叠加，将所述服装变形图像F贴于所述预测分割图S的贴图区域，再经过扩散模型的修正去噪处理，得到所述服装图像C穿于所述模特图像M中的模特后的最终效果图。
优选的，步骤2具体为：
步骤2.1，对所述服装图像C的服装类型进行识别，得到服装类型；根据所述服装类型，得到影响该种服装类型的服装穿着效果的人体关键部位；
步骤2.2，对所述模特图像M进行人体部位解析，在所述模特图像M中识别出所有的人体部位，得到模特人体部位分割图M1；对所述模特图像M进行人体姿态解析，得到人体姿态图M2；
步骤2.3，在所述模特人体部位分割图M1中，去除步骤2.1识别到的所述人体关键部位，得到人体关键部位去除后的模特人体部位分割图M3；
步骤2.4，对所述人体关键部位去除后的模特人体部位分割图M3、人体姿态图M2和服装图像C进行融合处理，得到预测分割图S，具体为：
根据所述人体姿态图M2，对所述服装图像C进行粗变形处理，得到与所述人体姿态图M2反映的人体姿态对应的服装粗变形图像C1；
所述人体关键部位去除后的模特人体部位分割图M3包括背景区域和前景区域，前景区域保持不变；将所述背景区域和所述服装粗变形图像C1进行交集运算，从而在背景区域中，填充对应的所述服装粗变形图像C1，并将填充内容用单一颜色填充，得到预测分割图S；其中，所述预测分割图S填充的单一颜色的区域为所述贴图区域。
优选的，步骤3具体为：
步骤3.1，所述变形估计网络包括第一通道特征提取网络、第二通道特征提取网络、第三通道特征提取网络和渐进式外观流估计网络；
步骤3.2，多通道特征提取：
所述第一通道特征提取网络对所述模特图像M进行n个不同尺度的特征提取，按尺度从大到小的方向，依次得到模特图像特征图M1，模特图像特征图M2,…,模特图像特征图Mn；
所述第二通道特征提取网络对所述服装图像C进行n个不同尺度的特征提取，按尺度从大到小的方向，依次得到服装图像特征图C1，服装图像特征图C2,…,服装图像特征图Cn；
所述第三通道特征提取网络对所述预测分割图S进行n个不同尺度的特征提取，按尺度从大到小的方向，依次得到预测分割特征图S1，预测分割特征图S2,…,预测分割特征图Sn；
步骤3.3，拼接融合：
将模特图像特征图与对应尺度的预测分割特征图进行拼接融合及特征提取，得到n个不同尺度的模特图像融合特征图，按尺度从大到小的方向，依次为模特图像融合特征图E1,模特图像融合特征图E2,…,模特图像融合特征图En；具体方法为：将模特图像特征图M1和预测分割特征图S1进行拼接操作，再通过卷积层进行特征提取，得到模特图像融合特征图E1,将模特图像特征图M2和预测分割特征图S2进行拼接操作，再通过卷积层进行特征提取，得到模特图像融合特征图E2,…,将模特图像特征图Mn和预测分割特征图Sn进行拼接操作，再通过卷积层进行特征提取，得到模特图像融合特征图En；
将服装图像特征图与对应尺度的预测分割特征图进行拼接融合，得到n个不同尺度的模特图像融合特征图，按尺度从大到小的方向，依次为服装图像融合特征图K1,服装图像融合特征图K2,…,服装图像融合特征图Kn；
步骤3.4，所述渐进式外观流估计网络，包括n层，分别为：第1层渐进式外观流估计网络，第2层渐进式外观流估计网络,…,第n层渐进式外观流估计网络；
所述第1层渐进式外观流估计网络的输入为模特图像融合特征图En和服装图像融合特征图Kn，对所述模特图像融合特征图En和服装图像融合特征图Kn进行逐像素匹配，根据每个像素的位置差异，对服装图像融合特征图Kn的每个像素进行变形，得到第1级服装图像变形特征图f1；
所述第2层渐进式外观流估计网络的输入为模特图像融合特征图En-1、服装图像融合特征图Kn-1和第1级服装图像变形特征图f1，采用外观流估计算法，根据模特图像融合特征图En-1和第1级服装图像变形特征图f1，对服装图像融合特征图Kn-1进行变形，得到第2级服装图像变形特征图f2；
所述第3层渐进式外观流估计网络的输入为模特图像融合特征图En-2、服装图像融合特征图Kn-2和第2级服装图像变形特征图f2，输出第3级服装图像变形特征图f3；
依此类推
所述第n层渐进式外观流估计网络的输入为模特图像融合特征图E1、服装图像融合特征图K1和第n-1级服装图像变形特征图fn-1，输出第n级服装图像变形特征图fn，即为与所述模特图像M中的模特姿态匹配贴合的服装变形图像F。
优选的，所述第2层渐进式外观流估计网络的输入为模特图像融合特征图En-1、服装图像融合特征图Kn-1和第1级服装图像变形特征图f1，采用外观流估计算法，根据模特图像融合特征图En-1和第1级服装图像变形特征图f1，对服装图像融合特征图Kn-1进行变形，得到第2级服装图像变形特征图f2，具体为：
步骤3.4.1，对第1级服装图像变形特征图f1进行自适应上采样，得到与所述服装图像融合特征图Kn-1尺度相同的特征图，表示为：第1级服装图像变形放大特征图f1'；
步骤3.4.2，以第1级服装图像变形放大特征图f1'作为变换矩阵，对所述服装图像融合特征图Kn-1进行第一次扭曲操作，得到第一服装图像融合特征扭曲图K'n-1；
步骤3.4.3，对第一服装图像融合特征扭曲图K'n-1和模特图像融合特征图En-1进行通道维度的拼接，并计算第一服装图像融合特征扭曲图K'n-1和模特图像融合特征图En-1的相关性，生成相关图R1；
步骤3.4.4，将所述相关图R1输入到残差预测模块，得到第一残差流预测值f1”；
步骤3.4.5，将第一残差流预测值f1”和第1级服装图像变形放大特征图f1'进行相加，得到粗略的变形估计f1”'；
步骤3.4.6，以粗略的变形估计f1”'作为变换矩阵，对所述服装图像融合特征图Kn-1进行第二次扭曲操作，得到第二服装图像融合特征扭曲图K”n-1；
步骤3.4.7，将第二服装图像融合特征扭曲图K”n-1和模特图像融合特征图En-1连接起来，输入到残差预测模块，得到第二残差流预测值u；
将第二残差流预测值u加到粗略的变形估计f1”'，得到最终的第2级服装图像变形特征图f2。
优选的，步骤3.4.1中，对第1级服装图像变形特征图f1进行自适应上采样具体为：
对第1级服装图像变形特征图f1进行多尺度特征提取，按尺度从大到小的方向，依次得到第1尺度特征图F1,第2尺度特征图F2,…,第m尺度特征图Fm，其中，m为尺度的数量；
分别计算第1尺度特征图F1,第2尺度特征图F2,…,第m尺度特征图Fm的梯度值，再将得到的所有梯度值进行融合，生成第1级服装图像变形特征图f1的局部特征响应图LR；
使用高斯滤波器对局部特征响应图LR进行平滑处理，得到平滑后局部特征响应图LR1；
将平滑后局部特征响应图LR1中的每个像素点作为采样权重，对第1级服装图像变形特征图f1进行上采样。
优选的，步骤3.4.3具体为：
对第一服装图像融合特征扭曲图K'n-1和模特图像融合特征图En-1进行通道维度的拼接，得到拼接后的特征图cat1；
所述拼接后的特征图cat1经过仿射变换层，提取多个不同大小的局部区域；所述局部区域包括属于第一服装图像融合特征扭曲图K'n-1的局部区域Ia和属于模特图像融合特征图En-1的局部区域Ib；分别计算局部区域Ia和局部区域Ib的相关性，得到局部区域相关图；
所述局部区域相关图通过多个卷积层，将各个局部区域相关图融合，得到最终的相关图R1。
优选的，步骤3.4.4具体为：
所述残差预测模块使用注意力机制增强残差流预测过程，具体为：对相关图R1计算注意力权重，使用卷积神经网络提取相关图R1的特征表示，结合所述注意力权重，得到每个位置的特征表示的自注意力得分，将所述自注意力得分归一化为注意力权重，根据所述归一化的注意力权重，调整每个位置上的残差流预测值。
本发明提供的一种基于人工智能扩散模型的虚拟换装方法具有以下优点：
本发明提供一种基于人工智能扩散模型的虚拟换装方法，采用服装图像预测模块、外观流估计模型和人工智能扩散模型，能够准确快速的将服装图像中的服装变形为与模型图像中的模特姿态贴合的服装变形图，从而提高虚拟换装的准确性和效率。
附图说明
图1为本发明提供的一种基于人工智能扩散模型的虚拟换装方法的流程示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于人工智能扩散模型的虚拟换装方法，采用服装图像预测模块和外观流估计模型，能够准确快速的将服装图像中的服装变形为与模型图像中的模特姿态贴合的服装变形图，从而提高虚拟换装的准确性和效率。
本发明提供一种基于人工智能扩散模型的虚拟换装方法，参考图1，包括以下步骤：
步骤1，接收模特图像M和服装图像C；
步骤2，采用服装图像预测模块，预测得到所述服装图像C穿于所述模特图像M中的模特后的预测图，并将所述预测图中属于所述服装图像C的服装图案去除，得到预测分割图S；其中，所述预测分割图S中，去除的所述服装图像C的服装图案的区域，称为贴图区域；
步骤2具体为：
步骤2.1，对所述服装图像C的服装类型进行识别，得到服装类型；根据所述服装类型，得到影响该种服装类型的服装穿着效果的人体关键部位；
步骤2.2，对所述模特图像M进行人体部位解析，在所述模特图像M中识别出所有的人体部位，得到模特人体部位分割图M1；对所述模特图像M进行人体姿态解析，得到人体姿态图M2；
步骤2.3，在所述模特人体部位分割图M1中，去除步骤2.1识别到的所述人体关键部位，得到人体关键部位去除后的模特人体部位分割图M3；
步骤2.4，对所述人体关键部位去除后的模特人体部位分割图M3、人体姿态图M2和服装图像C进行融合处理，得到预测分割图S，具体为：
根据所述人体姿态图M2，对所述服装图像C进行粗变形处理，得到与所述人体姿态图M2反映的人体姿态对应的服装粗变形图像C1；
所述人体关键部位去除后的模特人体部位分割图M3包括背景区域和前景区域，前景区域保持不变；将所述背景区域和所述服装粗变形图像C1进行交集运算，从而在背景区域中，填充对应的所述服装粗变形图像C1，并将填充内容用单一颜色填充，得到预测分割图S；其中，所述预测分割图S填充的单一颜色的区域为所述贴图区域。
步骤3，采用变形估计网络，将所述服装图像C变形，得到与所述模特图像M中的模特姿态匹配贴合的服装变形图像F；
步骤3具体为：
步骤3.1，所述变形估计网络包括第一通道特征提取网络、第二通道特征提取网络、第三通道特征提取网络和渐进式外观流估计网络；
其中，第一通道特征提取网络、第二通道特征提取网络、第三通道特征提取网络均为经过加深的金字塔特征提取网络。
步骤3.2，多通道特征提取：
所述第一通道特征提取网络对所述模特图像M进行n个不同尺度的特征提取，按尺度从大到小的方向，依次得到模特图像特征图M1，模特图像特征图M2,…,模特图像特征图Mn；
所述第二通道特征提取网络对所述服装图像C进行n个不同尺度的特征提取，按尺度从大到小的方向，依次得到服装图像特征图C1，服装图像特征图C2,…,服装图像特征图Cn；
所述第三通道特征提取网络对所述预测分割图S进行n个不同尺度的特征提取，按尺度从大到小的方向，依次得到预测分割特征图S1，预测分割特征图S2,…,预测分割特征图Sn；
采用三个独立的通道，各自对模特图像M、服装图像C和预测分割图S进行多尺度特征提取，一方面，提高特征提取效率；另一方面，分离的三个通道，可提取到更细节的特征。
步骤3.3，拼接融合：
将模特图像特征图与对应尺度的预测分割特征图进行拼接融合及特征提取，得到n个不同尺度的模特图像融合特征图，按尺度从大到小的方向，依次为模特图像融合特征图E1,模特图像融合特征图E2,…,模特图像融合特征图En；具体方法为：将模特图像特征图M1和预测分割特征图S1进行拼接操作，再通过卷积层进行特征提取，得到模特图像融合特征图E1,将模特图像特征图M2和预测分割特征图S2进行拼接操作，再通过卷积层进行特征提取，得到模特图像融合特征图E2,…,将模特图像特征图Mn和预测分割特征图Sn进行拼接操作，再通过卷积层进行特征提取，得到模特图像融合特征图En；
将服装图像特征图与对应尺度的预测分割特征图进行拼接融合，得到n个不同尺度的模特图像融合特征图，按尺度从大到小的方向，依次为服装图像融合特征图K1,服装图像融合特征图K2,…,服装图像融合特征图Kn；
步骤3.4，所述渐进式外观流估计网络，包括n层，分别为：第1层渐进式外观流估计网络，第2层渐进式外观流估计网络,…,第n层渐进式外观流估计网络；
所述第1层渐进式外观流估计网络的输入为模特图像融合特征图En和服装图像融合特征图Kn，对所述模特图像融合特征图En和服装图像融合特征图Kn进行逐像素匹配，根据每个像素的位置差异，对服装图像融合特征图Kn的每个像素进行变形，得到第1级服装图像变形特征图f1；
所述第2层渐进式外观流估计网络的输入为模特图像融合特征图En-1、服装图像融合特征图Kn-1和第1级服装图像变形特征图f1，采用外观流估计算法，根据模特图像融合特征图En-1和第1级服装图像变形特征图f1，对服装图像融合特征图Kn-1进行变形，得到第2级服装图像变形特征图f2；所述第2层渐进式外观流估计网络具体用于：
步骤3.4.1，对第1级服装图像变形特征图f1进行自适应上采样，得到与所述服装图像融合特征图Kn-1尺度相同的特征图，表示为：第1级服装图像变形放大特征图f1'；
本步骤中，对第1级服装图像变形特征图f1进行自适应上采样具体为：
对第1级服装图像变形特征图f1进行多尺度特征提取，按尺度从大到小的方向，依次得到第1尺度特征图F1,第2尺度特征图F2,…,第m尺度特征图Fm，其中，m为尺度的数量；
分别计算第1尺度特征图F1,第2尺度特征图F2,…,第m尺度特征图Fm的梯度值，再将得到的所有梯度值进行融合，生成第1级服装图像变形特征图f1的局部特征响应图LR；
使用高斯滤波器对局部特征响应图LR进行平滑处理，得到平滑后局部特征响应图LR1；
将平滑后局部特征响应图LR1中的每个像素点作为采样权重，对第1级服装图像变形特征图f1进行上采样。
本发明中，采用以上的自适应上采样算法，根据当前的输入特征和上下文信息动态地调整采样位置和权重，提高采样精度和鲁棒性，能够减少采样的噪声，从而提高虚拟试衣的准确性。
步骤3.4.2，以第1级服装图像变形放大特征图f1'作为变换矩阵，对所述服装图像融合特征图Kn-1进行第一次扭曲操作，得到第一服装图像融合特征扭曲图K'n-1；
步骤3.4.3，对第一服装图像融合特征扭曲图K'n-1和模特图像融合特征图En-1进行通道维度的拼接，并计算第一服装图像融合特征扭曲图K'n-1和模特图像融合特征图En-1的相关性，生成相关图R1；
本步骤具体为：
对第一服装图像融合特征扭曲图K'n-1和模特图像融合特征图En-1进行通道维度的拼接，得到拼接后的特征图cat1；
所述拼接后的特征图cat1经过仿射变换层，提取多个不同大小的局部区域；所述局部区域包括属于第一服装图像融合特征扭曲图K'n-1的局部区域Ia和属于模特图像融合特征图En-1的局部区域Ib；分别计算局部区域Ia和局部区域Ib的相关性，得到局部区域相关图；
所述局部区域相关图通过多个卷积层，将各个局部区域相关图融合，得到最终的相关图R1。
步骤3.4.4，将所述相关图R1输入到残差预测模块，得到第一残差流预测值f1”；
本步骤中，为了提高残差流预测的准确性，采用注意力机制增强残差流预测过程。这种架构可以帮助模型更好地学习残差流之间的复杂关系，并减少预测误差。
本步骤具体为：
所述残差预测模块使用注意力机制增强残差流预测过程，具体为：对相关图R1计算注意力权重，使用卷积神经网络提取相关图R1的特征表示，结合所述注意力权重，得到每个位置的特征表示的自注意力得分，将所述自注意力得分归一化为注意力权重，根据所述归一化的注意力权重，调整每个位置上的残差流预测值。
步骤3.4.5，将第一残差流预测值f1”和第1级服装图像变形放大特征图f1'进行相加，得到粗略的变形估计f1”'；
步骤3.4.6，以粗略的变形估计f1”'作为变换矩阵，对所述服装图像融合特征图Kn-1进行第二次扭曲操作，得到第二服装图像融合特征扭曲图K”n-1；
步骤3.4.7，将第二服装图像融合特征扭曲图K”n-1和模特图像融合特征图En-1连接起来，输入到残差预测模块，得到第二残差流预测值u；
将第二残差流预测值u加到粗略的变形估计f1”'，得到最终的第2级服装图像变形特征图f2。
所述第3层渐进式外观流估计网络的输入为模特图像融合特征图En-2、服装图像融合特征图Kn-2和第2级服装图像变形特征图f2，输出第3级服装图像变形特征图f3；
依此类推
所述第n层渐进式外观流估计网络的输入为模特图像融合特征图E1、服装图像融合特征图K1和第n-1级服装图像变形特征图fn-1，输出第n级服装图像变形特征图fn，即为与所述模特图像M中的模特姿态匹配贴合的服装变形图像F。
本发明提供的渐进式外观流估计网络，包括递进的n层，每一层均输出服装图像变形特征外观流估计，并将该服装图像变形特征外观流估计输入到下一层，指示服装图像中需要进行变形的像素，此种方式，一方面，通过层层递进的方式，提高服装图像变形特征的精度，得到更贴合模特图像中模特姿态的服装；另一方面，可提高服装图像变形处理的效率。
步骤4，将所述服装变形图像F和所述预测分割图S进行叠加，将所述服装变形图像F贴于所述预测分割图S的贴图区域，再经过扩散模型的修正去噪处理，得到所述服装图像C穿于所述模特图像M中的模特后的最终效果图。
本发明中，扩散模型采用人工智能扩散模型，服装变形图像F与所述预测分割图S进行像素级别的合并，得到粗略的对齐结果O1，将粗略的对齐结果O1输入到在衣服类数据集上微调过的人工智能扩散模型中的编码器中，得到粗略的对齐结果O1的向量形式编码Emb1，向向量形式编码Emb1中添加随机高斯噪声，并输入到人工智能扩散模型中的解码器中，经过解码器的多次去噪过程，得到所述服装图像C穿于所述模特图像M中的模特后的最终效果图。本发明的人工智能扩散模型可以实现精细的图像生成与重建。
本发明提供一种基于人工智能扩散模型的虚拟换装方法，采用服装图像预测模块、外观流估计模型和人工智能扩散模型，能够准确快速的将服装图像中的服装变形为与模型图像中的模特姿态贴合的服装变形图，从而提高虚拟换装的准确性和效率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。
Claims (7)
1.一种基于人工智能扩散模型的虚拟换装方法，其特征在于，包括以下步骤：
步骤1，接收模特图像M和服装图像C；
步骤2，采用服装图像预测模块，预测得到所述服装图像C穿于所述模特图像M中的模特后的预测图，并将所述预测图中属于所述服装图像C的服装图案去除，得到预测分割图S；其中，所述预测分割图S中，去除的所述服装图像C的服装图案的区域，称为贴图区域；
步骤3，采用变形估计网络，将所述服装图像C变形，得到与所述模特图像M中的模特姿态匹配贴合的服装变形图像F；
步骤4，将所述服装变形图像F和所述预测分割图S进行叠加，将所述服装变形图像F贴于所述预测分割图S的贴图区域，再经过扩散模型的修正去噪处理，得到所述服装图像C穿于所述模特图像M中的模特后的最终效果图。
2.根据权利要求1所述的一种基于人工智能扩散模型的虚拟换装方法，其特征在于，步骤2具体为：
步骤2.1，对所述服装图像C的服装类型进行识别，得到服装类型；根据所述服装类型，得到影响该种服装类型的服装穿着效果的人体关键部位；
步骤2.2，对所述模特图像M进行人体部位解析，在所述模特图像M中识别出所有的人体部位，得到模特人体部位分割图M1；对所述模特图像M进行人体姿态解析，得到人体姿态图M2；
步骤2.3，在所述模特人体部位分割图M1中，去除步骤2.1识别到的所述人体关键部位，得到人体关键部位去除后的模特人体部位分割图M3；
步骤2.4，对所述人体关键部位去除后的模特人体部位分割图M3、人体姿态图M2和服装图像C进行融合处理，得到预测分割图S，具体为：
根据所述人体姿态图M2，对所述服装图像C进行粗变形处理，得到与所述人体姿态图M2反映的人体姿态对应的服装粗变形图像C1；
所述人体关键部位去除后的模特人体部位分割图M3包括背景区域和前景区域，前景区域保持不变；将所述背景区域和所述服装粗变形图像C1进行交集运算，从而在背景区域中，填充对应的所述服装粗变形图像C1，并将填充内容用单一颜色填充，得到预测分割图S；其中，所述预测分割图S填充的单一颜色的区域为所述贴图区域。
3.根据权利要求1所述的一种基于人工智能扩散模型的虚拟换装方法，其特征在于，步骤3具体为：
步骤3.1，所述变形估计网络包括第一通道特征提取网络、第二通道特征提取网络、第三通道特征提取网络和渐进式外观流估计网络；
步骤3.2，多通道特征提取：
所述第一通道特征提取网络对所述模特图像M进行n个不同尺度的特征提取，按尺度从大到小的方向，依次得到模特图像特征图M1，模特图像特征图M2,…,模特图像特征图Mn；
所述第二通道特征提取网络对所述服装图像C进行n个不同尺度的特征提取，按尺度从大到小的方向，依次得到服装图像特征图C1，服装图像特征图C2,…,服装图像特征图Cn；
所述第三通道特征提取网络对所述预测分割图S进行n个不同尺度的特征提取，按尺度从大到小的方向，依次得到预测分割特征图S1，预测分割特征图S2,…,预测分割特征图Sn；
步骤3.3，拼接融合：
将模特图像特征图与对应尺度的预测分割特征图进行拼接融合及特征提取，得到n个不同尺度的模特图像融合特征图，按尺度从大到小的方向，依次为模特图像融合特征图E1,模特图像融合特征图E2,…,模特图像融合特征图En；具体方法为：将模特图像特征图M1和预测分割特征图S1进行拼接操作，再通过卷积层进行特征提取，得到模特图像融合特征图E1,将模特图像特征图M2和预测分割特征图S2进行拼接操作，再通过卷积层进行特征提取，得到模特图像融合特征图E2,…,将模特图像特征图Mn和预测分割特征图Sn进行拼接操作，再通过卷积层进行特征提取，得到模特图像融合特征图En；
将服装图像特征图与对应尺度的预测分割特征图进行拼接融合，得到n个不同尺度的模特图像融合特征图，按尺度从大到小的方向，依次为服装图像融合特征图K1,服装图像融合特征图K2,…,服装图像融合特征图Kn；
步骤3.4，所述渐进式外观流估计网络，包括n层，分别为：第1层渐进式外观流估计网络，第2层渐进式外观流估计网络,…,第n层渐进式外观流估计网络；
所述第1层渐进式外观流估计网络的输入为模特图像融合特征图En和服装图像融合特征图Kn，对所述模特图像融合特征图En和服装图像融合特征图Kn进行逐像素匹配，根据每个像素的位置差异，对服装图像融合特征图Kn的每个像素进行变形，得到第1级服装图像变形特征图f1；
所述第2层渐进式外观流估计网络的输入为模特图像融合特征图En-1、服装图像融合特征图Kn-1和第1级服装图像变形特征图f1，采用外观流估计算法，根据模特图像融合特征图En-1和第1级服装图像变形特征图f1，对服装图像融合特征图Kn-1进行变形，得到第2级服装图像变形特征图f2；
所述第3层渐进式外观流估计网络的输入为模特图像融合特征图En-2、服装图像融合特征图Kn-2和第2级服装图像变形特征图f2，输出第3级服装图像变形特征图f3；
依此类推
所述第n层渐进式外观流估计网络的输入为模特图像融合特征图E1、服装图像融合特征图K1和第n-1级服装图像变形特征图fn-1，输出第n级服装图像变形特征图fn，即为与所述模特图像M中的模特姿态匹配贴合的服装变形图像F。
4.根据权利要求3所述的一种基于人工智能扩散模型的虚拟换装方法，其特征在于，所述第2层渐进式外观流估计网络的输入为模特图像融合特征图En-1、服装图像融合特征图Kn-1和第1级服装图像变形特征图f1，采用外观流估计算法，根据模特图像融合特征图En-1和第1级服装图像变形特征图f1，对服装图像融合特征图Kn-1进行变形，得到第2级服装图像变形特征图f2，具体为：
步骤3.4.1，对第1级服装图像变形特征图f1进行自适应上采样，得到与所述服装图像融合特征图Kn-1尺度相同的特征图，表示为：第1级服装图像变形放大特征图f1'；
步骤3.4.2，以第1级服装图像变形放大特征图f1'作为变换矩阵，对所述服装图像融合特征图Kn-1进行第一次扭曲操作，得到第一服装图像融合特征扭曲图K'n-1；
步骤3.4.3，对第一服装图像融合特征扭曲图K'n-1和模特图像融合特征图En-1进行通道维度的拼接，并计算第一服装图像融合特征扭曲图K'n-1和模特图像融合特征图En-1的相关性，生成相关图R1；
步骤3.4.4，将所述相关图R1输入到残差预测模块，得到第一残差流预测值f1”；
步骤3.4.5，将第一残差流预测值f1”和第1级服装图像变形放大特征图f1'进行相加，得到粗略的变形估计f1”'；
步骤3.4.6，以粗略的变形估计f1”'作为变换矩阵，对所述服装图像融合特征图Kn-1进行第二次扭曲操作，得到第二服装图像融合特征扭曲图K”n-1；
步骤3.4.7，将第二服装图像融合特征扭曲图K”n-1和模特图像融合特征图En-1连接起来，输入到残差预测模块，得到第二残差流预测值u；
将第二残差流预测值u加到粗略的变形估计f1”'，得到最终的第2级服装图像变形特征图f2。
5.根据权利要求4所述的一种基于人工智能扩散模型的虚拟换装方法，其特征在于，步骤3.4.1中，对第1级服装图像变形特征图f1进行自适应上采样具体为：
对第1级服装图像变形特征图f1进行多尺度特征提取，按尺度从大到小的方向，依次得到第1尺度特征图F1,第2尺度特征图F2,…,第m尺度特征图Fm，其中，m为尺度的数量；
分别计算第1尺度特征图F1,第2尺度特征图F2,…,第m尺度特征图Fm的梯度值，再将得到的所有梯度值进行融合，生成第1级服装图像变形特征图f1的局部特征响应图LR；
使用高斯滤波器对局部特征响应图LR进行平滑处理，得到平滑后局部特征响应图LR1；
将平滑后局部特征响应图LR1中的每个像素点作为采样权重，对第1级服装图像变形特征图f1进行上采样。
6.根据权利要求4所述的一种基于人工智能扩散模型的虚拟换装方法，其特征在于，步骤3.4.3具体为：
对第一服装图像融合特征扭曲图K'n-1和模特图像融合特征图En-1进行通道维度的拼接，得到拼接后的特征图cat1；
所述拼接后的特征图cat1经过仿射变换层，提取多个不同大小的局部区域；所述局部区域包括属于第一服装图像融合特征扭曲图K'n-1的局部区域Ia和属于模特图像融合特征图En-1的局部区域Ib；分别计算局部区域Ia和局部区域Ib的相关性，得到局部区域相关图；
所述局部区域相关图通过多个卷积层，将各个局部区域相关图融合，得到最终的相关图R1。
7.根据权利要求4所述的一种基于人工智能扩散模型的虚拟换装方法，其特征在于，步骤3.4.4具体为：
所述残差预测模块使用注意力机制增强残差流预测过程，具体为：对相关图R1计算注意力权重，使用卷积神经网络提取相关图R1的特征表示，结合所述注意力权重，得到每个位置的特征表示的自注意力得分，将所述自注意力得分归一化为注意力权重，根据所述归一化的注意力权重，调整每个位置上的残差流预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311710470.2A CN117689562B (zh) | 2023-12-13 | 2023-12-13 | 一种基于人工智能扩散模型的虚拟换装方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311710470.2A CN117689562B (zh) | 2023-12-13 | 2023-12-13 | 一种基于人工智能扩散模型的虚拟换装方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117689562A true CN117689562A (zh) | 2024-03-12 |
| CN117689562B CN117689562B (zh) | 2024-06-07 |
Family
ID=90133162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311710470.2A Active CN117689562B (zh) | 2023-12-13 | 2023-12-13 | 一种基于人工智能扩散模型的虚拟换装方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117689562B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272822A (zh) * | 2022-07-20 | 2022-11-01 | 深圳数联天下智能科技有限公司 | 训练解析模型的方法、虚拟试衣方法及相关装置 |
| CN115393596A (zh) * | 2022-10-28 | 2022-11-25 | 武汉纺织大学 | 一种基于人工智能的服装图像分割方法 |
| US20230055256A1 (en) * | 2020-12-29 | 2023-02-23 | Jiangsu University | Apparatus and method for image classification and segmentation based on feature-guided network, device, and medium |
| CN115761791A (zh) * | 2022-10-19 | 2023-03-07 | 哈尔滨工业大学（深圳） | 基于2d图像的人体语义预测模块、虚拟换衣模型及方法 |
| CN116109892A (zh) * | 2023-01-31 | 2023-05-12 | 深圳数联天下智能科技有限公司 | 虚拟试衣模型的训练方法及相关装置 |
| CN116342879A (zh) * | 2023-03-02 | 2023-06-27 | 天津大学 | 任意人体姿态下的虚拟试衣方法 |
| CN117011207A (zh) * | 2023-07-27 | 2023-11-07 | 江苏理工学院 | 一种基于扩散模型的虚拟试衣方法 |
-
2023
- 2023-12-13 CN CN202311710470.2A patent/CN117689562B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230055256A1 (en) * | 2020-12-29 | 2023-02-23 | Jiangsu University | Apparatus and method for image classification and segmentation based on feature-guided network, device, and medium |
| CN115272822A (zh) * | 2022-07-20 | 2022-11-01 | 深圳数联天下智能科技有限公司 | 训练解析模型的方法、虚拟试衣方法及相关装置 |
| CN115761791A (zh) * | 2022-10-19 | 2023-03-07 | 哈尔滨工业大学（深圳） | 基于2d图像的人体语义预测模块、虚拟换衣模型及方法 |
| CN115393596A (zh) * | 2022-10-28 | 2022-11-25 | 武汉纺织大学 | 一种基于人工智能的服装图像分割方法 |
| CN116109892A (zh) * | 2023-01-31 | 2023-05-12 | 深圳数联天下智能科技有限公司 | 虚拟试衣模型的训练方法及相关装置 |
| CN116342879A (zh) * | 2023-03-02 | 2023-06-27 | 天津大学 | 任意人体姿态下的虚拟试衣方法 |
| CN117011207A (zh) * | 2023-07-27 | 2023-11-07 | 江苏理工学院 | 一种基于扩散模型的虚拟试衣方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117689562B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275518B (zh) | 一种基于混合光流的视频虚拟试穿方法及装置 | |
| Peng et al. | Generating diverse structure for image inpainting with hierarchical VQ-VAE | |
| CN110111366B (zh) | 一种基于多级损失量的端到端光流估计方法 | |
| CN112001960B (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| CN113361560A (zh) | 一种基于语义的多姿势虚拟试衣方法 | |
| CN113628261B (zh) | 一种电力巡检场景下的红外与可见光图像配准方法 | |
| CN112001859A (zh) | 一种人脸图像的修复方法及系统 | |
| CN114638768B (zh) | 一种基于动态关联学习网络的图像去雨方法、系统及设备 | |
| CN112270366A (zh) | 基于自适应多特征融合的微小目标检测方法 | |
| CN111179272B (zh) | 一种面向道路场景的快速语义分割方法 | |
| Xu et al. | CCFNet: Cross-complementary fusion network for RGB-D scene parsing of clothing images | |
| CN114565594A (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
| CN115761791A (zh) | 基于2d图像的人体语义预测模块、虚拟换衣模型及方法 | |
| CN116189306A (zh) | 基于联合注意力机制的人体行为识别方法 | |
| CN111753670A (zh) | 注意力修复和关键点检测迭代协同的人脸超分方法 | |
| CN117593178A (zh) | 一种基于特征引导的虚拟试衣方法 | |
| CN117292117A (zh) | 一种基于注意力机制的小目标检测方法 | |
| CN117689562B (zh) | 一种基于人工智能扩散模型的虚拟换装方法 | |
| CN116258632A (zh) | 一种基于文本辅助的文本图像超分辨率重建方法 | |
| CN116342879A (zh) | 任意人体姿态下的虚拟试衣方法 | |
| CN111882495B (zh) | 一种基于自定义模糊逻辑与gan的图像高光处理方法 | |
| CN113139991A (zh) | 一种基于重叠区域掩模预测的3d点云配准方法 | |
| CN106228573A (zh) | 一种运动目标跟踪方法及装置 | |
| Chen et al. | Efficient Image Deblurring Networks based on Diffusion Models | |
| CN117057976B (zh) | 一种基于局部外观流的虚拟试衣方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |