CN111768472A - 虚拟试衣方法及装置、计算机可存储介质 - Google Patents
虚拟试衣方法及装置、计算机可存储介质 Download PDFInfo
- Publication number
- CN111768472A CN111768472A CN202010477405.XA CN202010477405A CN111768472A CN 111768472 A CN111768472 A CN 111768472A CN 202010477405 A CN202010477405 A CN 202010477405A CN 111768472 A CN111768472 A CN 111768472A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- human
- map
- portrait
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title abstract description 14
- 238000010586 diagram Methods 0.000 claims description 47
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000005034 decoration Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 7
- 230000000873 masking effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开涉及虚拟试衣方法及装置、计算机可存储介质，涉及计算机技术领域。虚拟试衣方法包括：接收参考人像图、原始服饰图和目标姿态信息，所述参考人像图包括人像，所述原始服饰图包括原始服饰，所述目标姿态信息表示所述人像试穿所述原始服饰的目标姿态；根据所述参考人像图、所述原始服饰图和所述目标姿态信息，通过不同扩张率的空洞卷积操作，生成目标人像图，所述目标人像图为所述人像在所述目标姿态下试穿所述原始服饰的图像。根据本公开，提高了生成的目标人像的精细度，进而提高了用户体验。
Description
技术领域
本公开涉及计算机技术领域，特别涉及虚拟试衣方法及装置、计算机可存储介质。
背景技术
虚拟试衣(Virtual Try-on)技术通过利用计算机视觉技术生成参考人像在指定姿态下试穿指定衣服的图像。该技术常用于网上购物等电商场景中，提高购物体验。
在基于3D(3-Dimensional，三维)建模的虚拟试衣技术中，需要采集人体的3D信息和衣服的3D信息，并通过神经网络学习人体和衣服的3D表面的形变建模，并模拟生成试衣效果。基于3D建模的虚拟试衣技术中，硬件成本和时间成本比较高，很难在实际的应用场景中获得推广和广泛应用。
随着人工智能技术的发展，产生了二维虚拟试衣技术。二维虚拟试衣技术基于2D(2-Dimensional，二维)图像信息生成参考人像在指定姿态下试穿指定衣服的图像。
相关技术中，根据参考人像图、原始服饰图和目标姿态信息，利用标准残差生成目标人像。
发明内容
发明人认为：相关技术，利用标准残差生成目标人像，生成的目标人像的精细度较差，用户体验较差。
针对上述技术问题，本公开提出了一种解决方案，提高了生成的目标人像的精细度，进而提高了用户体验。
根据本公开的第一方面，提供了一种虚拟试衣方法，包括：接收参考人像图、原始服饰图和目标姿态信息，所述参考人像图包括人像，所述原始服饰图包括原始服饰，所述目标姿态信息表示所述人像试穿所述原始服饰的目标姿态；根据所述参考人像图、所述原始服饰图和所述目标姿态信息，通过不同扩张率的空洞卷积操作，生成目标人像图，所述目标人像图为所述人像在所述目标姿态下试穿所述原始服饰的图像。
在一些实施例中，通过不同扩张率的空洞卷积操作，生成目标人像图包括：根据所述参考人像图、所述原始服饰图和所述目标姿态信息，生成第一特征图；对所述第一特征图进行不同扩张率的空洞卷积操作，得到多个第二特征图；融合所述多个第二特征图，得到第三特征图；根据所述第三特征图，生成目标人像图。
在一些实施例中，融合所述多个第二特征图，得到第三特征图包括：利用树结构，融合所述多个第二特征图，得到第三特征图。
在一些实施例中，利用树结构，融合所述多个第二特征图，得到第三特征图包括：以所述多个第二特征图作为叶子节点的节点值，构建树结构；从所述树结构的底层开始，依次在所述树结构的每一层，融合具有相同父节点的多个节点的节点值，以确定该父节点的节点值，直到确定所述树结构的根节点的节点值；根据所述根节点的节点值，生成所述第三特征图。
在一些实施例中，融合具有相同父节点的多个节点的节点值包括：利用卷积核，融合具有相同父节点的多个节点的节点值。
在一些实施例中，根据所述根节点的节点值，生成所述第三特征图包括：融合所述根节点的节点值和所述第一特征图，生成所述第三特征图。
在一些实施例中，根据所述第三特征图，生成目标人像图包括：对所述第三特征图进行转置卷积操作，生成第一人像图和目标服饰掩码图；根据所述参考人像图、所述第一人像图和所述目标服饰掩码图，生成所述目标人像图。
在一些实施例中，根据所述参考人像图、所述第一人像图和所述目标服饰掩码图，生成所述目标人像图包括：融合所述目标服饰掩码图和所述第一人像图，得到第二人像图；根据所述参考人像图和所述第二人像图，调整所述第二人像图中的头像，得到所述目标人像图。
在一些实施例中，根据所述参考人像图和所述第二人像图，调整所述第二人像图中的头像，得到目标人像图包括：根据所述参考人像图和所述第二人像图，获取所述参考人像图的头像图和所述第二人像图的头像图；根据所述参考人像图的头像图和所述第二人像图的头像图，通过不同扩张率的空洞卷积操作，生成目标头像图；融合所述目标头像图和所述第二人像图，得到所述目标人像图。
在一些实施例中，根据所述参考人像图、所述原始服饰图和所述目标姿态信息，生成第一特征图包括：根据所述参考人像图、所述原始服饰图和所述目标姿态信息，通过卷积操作，生成所述第一特征图。
在一些实施例中，根据所述参考人像图、所述原始服饰图和所述目标姿态信息，通过卷积操作，生成所述第一特征图包括：根据所述参考人像图、所述原始服饰图和所述目标姿态信息，生成目标人体语义解析图；根据所述参考人像图、所述原始服饰图和所述目标姿态信息，对所述原始服饰进行形变，得到目标服饰图，所述目标服饰图包括与所述目标姿态对应的形变后的原始服饰；对所述参考人像图、所述目标人体语义解析图和所述目标服饰图进行卷积操作，生成所述第一特征图。
根据本公开第二方面，提供了一种虚拟试衣装置，包括：接收模块，被配置为接收参考人像图、原始服饰图和目标姿态信息，所述参考人像图包括人像，所述原始服饰图包括原始服饰，所述目标姿态信息表示所述人像试穿所述原始服饰的目标姿态；生成模块，被配置为根据所述参考人像图、所述原始服饰图和所述目标姿态信息，通过不同扩张率的空洞卷积操作，生成目标人像图，所述目标人像图为所述人像在所述目标姿态下试穿所述原始服饰的图像。
在一些实施例中，所述生成模块包括：第一生成单元，被配置为根据所述参考人像图、所述原始服饰图和所述目标姿态信息，生成第一特征图；多个空洞卷积单元，被配置为对所述第一特征图进行不同扩张率的空洞卷积操作，得到多个第二特征图；融合单元，被配置为融合所述多个第二特征图，得到第三特征图；第二生成单元，被配置为根据所述第三特征图，生成目标人像图。
根据本公开第三方面，提供了一种虚拟试衣装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行上述任一实施例所述的虚拟试衣方法。
在一些实施例中，虚拟试衣装置还包括：图像传感器，被配置为用户拍摄至少一个参考人像图；显示器，被配置为显示至少一个目标姿态信息、至少一个原始服饰图和来自图像传感器的所述至少一个参考人像，并响应于用户的选择操作，发送用户选择的参考人像图、目标姿态信息和原始服饰图到所述处理器。
根据本公开的第四方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任一实施例所述的虚拟试衣方法。
在上述实施例中，提高了生成的目标人像的精细度，进而提高了用户体验。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1是示出根据本公开一些实施例的虚拟试衣方法的流程图；
图2A是示出根据本公开一些实施例的通过不同扩张率的空洞卷积操作生成目标人像图的流程图；
图2B是示出根据本公开一些实施例的通过卷积操作生成第一特征图的流程图；
图2C是示出根据本公开一些实施例的生成目标人体语义解析图的流程示意图；
图2D是示出根据本公开一些实施例的得到目标服饰图的流程示意图；
图2E是示出根据本公开一些实施例的得到目标服饰图后的其他步骤的流程示意图；
图3是示出根据本公开一些实施例的完全二叉树结构的结构示意图；
图4是示出根据本公开一些实施例的除完全二叉树以外的其他树结构的结构示意图；
图5是示出根据本公开一些实施例的虚拟试衣装置的框图；
图6是示出根据本公开另一些实施例的虚拟试衣装置的框图；
图7是示出用于实现本公开一些实施例的计算机系统的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是示出根据本公开一些实施例的虚拟试衣方法的流程图。
如图1所示，虚拟试衣方法包括步骤S110-步骤S120。例如，虚拟试衣方法由虚拟试衣装置执行。
在步骤S110中，接收参考人像图、原始服饰图和目标姿态信息。参考人像图包括人像。原始服饰图包括原始服饰。目标姿态信息表示人像试穿原始服饰的目标姿态。例如，目标姿态信息为可视化的人体关键点、可视化的参考人像图或表征目标姿态的参数。人体关键点包括但不限于手部关节点。
在步骤S120中，根据参考人像图、原始服饰图和目标姿态信息，通过不同扩张率的空洞卷积操作，生成目标人像图。目标人像图为人像在目标姿态下试穿原始服饰的图像。
由于人体本身的非刚体特性，目标人像图的生成效果通常受限于神经网络的感受野大小和拟合能力。相对于利用标准残差的方式，本公开的一些实施例利用不同扩张率的空洞卷积操作，扩大了感受野，能够更准确、更全面地捕捉空间信息和融合多尺度的特征信息。尤其在有较大的姿态变换的情况下，利用不同扩张率的空洞卷积操作，能够更精确地保留待试穿衣服的细节信息。从而，本公开一些实施例利用不同扩张率的空洞卷积操作，提高了生成的目标人像的精细度，进而提高了用户体验。
另外，本公开是基于2D图像生成目标人像图，相比于基于3D信息生成目标人像的虚拟试衣技术，降低了硬件成本，更具有普适性。
例如，通过如图2A所示的方式实现步骤S120。
图2A是示出根据本公开一些实施例的通过不同扩张率的空洞卷积操作生成目标人像图的流程图。
如图2A所示，通过不同扩张率的空洞卷积操作生成目标人像图包括步骤S121-步骤S124。
在步骤S121中，根据参考人像图、原始服饰图和目标姿态信息，生成第一特征图。在一些实施例中，根据参考人像图、原始服饰图和目标姿态信息，通过卷积操作，生成第一特征图。
例如，通过如图2B所示的方式实现根据参考人像图、原始服饰图和目标姿态信息，通过卷积操作，生成第一特征图。
图2B是示出根据本公开一些实施例的通过卷积操作生成第一特征图的流程图。
如图2B所示，通过卷积操作生成第一特征图包括步骤S1211-步骤S1213。
在步骤S1211中，根据参考人像图、原始服饰图和目标姿态信息，生成目标人体语义解析图。目标人体语义解析图为人体图像的分割图片，图像的不同部位具有不同的标签。例如，目标人体语义解析图中人脸、胳膊、衣服、背景等不同的部分采用不同的颜色区分。人体语义解析图体现了人体细粒度的语义信息，提供了不同区域的语义信息。
下面将结合图2C详细描述本公开一些实施例中步骤S1211的实现过程。
图2C是示出根据本公开一些实施例的生成目标人体语义解析图的流程示意图。
首先，利用人体语义解析网络，对图2C中的参考人像20C进行人体语义解析，得到参考人体语义解析图21C。
然后，利用数据增强方法GridMask，对图2C中的原始服饰图22C进行二值化处理，得到原始服饰掩码图23C。例如，将原始服饰图的背景部分的各个像素点的像素值修改为第一值，将原始服饰图的服饰部分的各个像素点的像素值修改为第二值。在一些实施例中，第一值为1，第二值为0。像素值为1的像素点为白色，像素值为0的像素点为黑色。
最后，根据图2C中的参考人体语义解析图21C、原始服饰掩码图23C和目标姿态信息24C，生成目标人体语义解析图26C。例如，将图2C中的参考人体语义解析图21C、原始服饰掩码图23C和目标姿态信息24C输入到编码-解码网络模型25C中，生成目标人体语义解析图26C。图2C中的目标姿态信息24C为可视化的人体关键点。
返回图2B，在生成目标人体语义解析图后，执行步骤S1212。在步骤S1212中，根据参考人像图、原始服饰图和目标姿态信息，对原始服饰进行形变，得到目标服饰图。目标服饰图包括与目标姿态对应的形变后的原始服饰。
下面将结合图2D详细描述本公开一些实施例中步骤S1212的实现过程。
图2D是示出根据本公开一些实施例的得到目标服饰图的流程示意图。
首先，根据图2D中的参考人像图20C，获取参考人像图的参考头像图21D和参考人体体型图22D。
其次，对图2D中的参考头像图21D、参考人体体型图22D和目标姿态信息24C进行特征提取，得到第一特征信息23D。在一些实施例中，利用神经网络进行特征提取。
再次，对图2D中的原始服饰图22C进行特征提取，得到第二特征信息24D。
接着，对图2D中的第一特征信息23D和第二特征信息24D进行特征匹配，得到第三特征信息25D。在一些实施例中，利用神经网络进行特征匹配。通过特征匹配可以学习参考人像、目标姿态信息和原始服饰之间的隐式关系，提高目标服饰图的精确度以及目标服饰与参考人像、目标姿态之间的匹配图，从而进一步提高生成的目标人像图的精确度。
然后，根据图2D中的第三特征信息25D，利用神经网络26D对初始形变参数进行回归训练，得到最终形变参数。例如，形变参数为几何形变参数。几何形变包括但不限于仿射变换、TPS(Thin Plate Spline，薄板样条插值)变换。
最后，利用最终形变参数对图2D中的原始服饰图22C中的原始服饰进行形变，得到目标服饰图27D。
下面将结合图2E详细描述本公开一些实施例的虚拟试衣方法中得到目标服饰图后的其他步骤。
图2E是示出根据本公开一些实施例的得到目标服饰图后的其他步骤的流程示意图。
返回图2B，得到目标服饰图后，执行步骤S1213。在步骤S1213中，对参考人像图、目标人体语义解析图和目标服饰图进行卷积操作，生成第一特征图。
相比于通过输入数据直接得到输出结果的one-stage(一段式)模型和端到端模型，本公开的一些实施例利用级联训练的思想，通过分阶段生成目标人体语义解析图和目标服饰图，进而对目标人体语义解析图和目标服饰图等图像数据进行后续阶段操作，提高了输入数据的复杂度，从而保证了生成的目标人像图的细节信息更加全面、精确，进而进一步提高了复杂的虚拟试衣场景中生成的目标人像图精细度。
例如，根据图2E中的参考人像图20C，获取不包括衣服信息的参考人像图201。利用不包括衣服信息的参考人像图，可以减少噪声干扰，进一步提高生成目标人像图的精确性。
在一些实施例中，将图2E所示的不包括衣服信息的参考人像图201、目标人体语义解析图26C和目标服饰图27D输入到卷积子单元202中进行卷积操作，生成第一特征图203。
返回图2A，在生成第一特征图后，执行步骤S122。在步骤S122中，对第一特征图进行不同扩张率的空洞卷积操作，得到多个第二特征图。例如，采用卷积核大小为3×3的卷积核，对第一特征图进行不同扩张率的空洞卷积操作。在一些实施例中，将图2E所示的第一特征图203输入到各个空洞卷积单元204中，得到多个第二特征图205。
返回图2A，在得到多个第二特征图后，执行步骤S123。在步骤S123中，融合多个第二特征图，得到第三特征图。通过对利用不同扩张率的空洞卷积操作得到的多个第二特征图进行融合，能够更精确地获取深层图像的高维特征，进一步提高生成的目标人像的精细度，进而进一步提高用户体验。
例如，将图2E所示的多个第二特征图205输入到融合单元206中，融合单元206融合多个第二特征图205，得到第三特征图207。
在一些实施例中，利用树结构，融合多个第二特征图，得到第三特征图。
下面将结合图3、图4详细描述本公开一些实施例的利用树结构融合多个第二特征图的过程。
图3是示出根据本公开一些实施例的完全二叉树结构的结构示意图。
图4是示出根据本公开一些实施例的除完全二叉树以外的其他树结构的结构示意图。
首先，以多个第二特征图作为叶子节点的节点值，构建树结构。在一些实施例中，多个第二特征图的个数为偶数，树结构包括完全二叉树结构。
例如，多个第二特征图可以为图3所示的4个第二特征图205。4个第二特征图205分别为完全二叉树3的叶子节点31、叶子节点32、叶子节点33和叶子节点34的节点值。
例如，多个第二特征图还可以为图4所示的4个第二特征图205。4个第二特征图205分别为其他树结构4的叶子节点41、叶子节点42、叶子节点43和叶子节点44的节点值。
然后，树结构的底层开始，依次在树结构的每一层，融合具有相同父节点的多个节点的节点值，以确定该父节点的节点值，直到确定树结构的根节点的节点值。应当理解，在树结构中，根节点所在层为第1层，树结构的最后一层为底层。
在一些实施例中，利用卷积核，融合具有相同父节点的多个节点的节点值。例如，将具有相同父节点的多个节点的节点值进行特定维度的拼接，然后利用卷积核大小为1×1的卷积核对拼接后的特征图进行卷积操作，实现多个节点的节点值的融合。
例如，图3所示的完全二叉树3包括第1层、第2层和第3层。叶子节点31、叶子节点32、叶子节点33和叶子节点34所在层为第3层。叶子节点31和叶子节点32的父节点为中间节点35。叶子节点33和叶子节点34的父节点为中间节点36。中间节点35和中间节点36所在层为第2层。中间节点35和中间节点36的父节点为根节点37。根节点37所在层为第1层。
在一些实施例中，分别融合叶子节点31和叶子节点32的节点值、叶子节点33和叶子节点34的节点值，得到中间节点35的节点值、中间节点36的节点值。进而，融合中间节点35的节点值和中间节点36的节点值，得到根节点37的节点值。
例如，图4所示的其他树结构4包括第1层、第2层和第3层。叶子节点41、叶子节点42和叶子节点43所在层为第3层。叶子节点41、叶子节点42和叶子节点43的父节点为中间节点45。中间节点45和叶子节点44所在层为第2层。中间节点45和叶子节点44的父节点为根节点46。根节点46所在层为第1层。
在一些实施例中，融合叶子节点41、叶子节点42和叶子节点43的节点值，得到中间节点45的节点值。进而，融合中间节点45的节点值和叶子节点44的节点值，得到根节点46的节点值。
最后，根据根节点的节点值，生成第三特征图。在一些实施例中，融合根节点的节点值和第二特征图，生成第三特征图。例如，利用卷积核，融合根节点的节点值和第二特征图，生成第三特征图。在一些实施例中，卷积核的大小为1×1。
应当理解，图3和图4只是本公开的一些实施例，还可以通过除图3和图4所示树结构以外的其他树结构进行类似的融合操作。
返回图2A，在得到第三特征图后，执行步骤S124。在步骤S124中，根据第三特征图，生成目标人像图。
例如，对第三特征图进行转置卷积操作，生成第一人像图和目标服饰掩码图，并根据参考人像图、第一人像图和目标服饰掩码图，生成目标人像图。例如，将图2E中的第三特征图207输入到转置卷积子单元208中，生成第一人像图209和目标服饰掩码图210。目标服饰掩码图也被称为注意力权重图。
在一些实施例中，融合图2E中的目标服饰掩码图210和第一人像图209，得到第二人像图211，并根据参考人像图和第二人像图，调整第二人像图中的头像，得到目标人像图。在一些实施例中，利用注意力机制，使用TV(Total Variation，总变分)和第一范数对注意力权重图进行约束，融合第一人像图和目标服饰掩码图。
通过进一步调整头像，能够更好地恢复头像的细节信息，尤其是人脸的细节信息，对目标人像图的显著性区域进行了专门的优化，更加精确、全面地保留了显著性区域的细节信息，进一步提高了生成的目标人像图的精确度，进而进一步提高了用户体验。例如，显著性区域的优化还可以包括对衣服纹理、衣服的商标等显著性区域的优化，优化方法与头像优化的方法类似。
例如，通过如下方式实现根据参考人像图和第二人像图，调整第二人像图中的头像，得到目标人像图。
首先，根据图2E中的参考人像图20C和第二人像图211，获取参考人像图的头像图212和第二人像图的头像图213。
然后，根据图2E中的参考人像图的头像图212和第二人像图的头像图213，通过不同扩张率的空洞卷积操作，生成目标头像图214。根据图2E所示的参考人像图的头像图这里的不同扩张率的空洞卷积操作与前述的操作类似，包括卷积操作、不同扩张率的空洞卷积操作、融合操作和转置卷积操作。
最后，融合图2E中的目标头像图214和第二人像图211，得到目标人像图215。例如，利用目标人像图的头像替换第二人像图的头像，得到目标人像图。
通过测试对比，相比于常见的虚拟试穿网络CPVTON(Characteristic-PreservingVirtual Try-On Network)和使用标准残差结构的网络等基线模型，利用本公开的虚拟试衣方法生成的目标人像图，展示了更加全面和精确地细节信息，更加真实。
图5是示出根据本公开一些实施例的虚拟试衣装置的框图。
如图5所示，虚拟试衣装置5包括接收模块51和生成模块52。
接收模块51被配置为接收参考人像图、原始服饰图和目标姿态信息，例如执行如图1所示的步骤S110。参考人像图包括人像。原始服饰图包括原始服饰。目标姿态信息表示人像试穿原始服饰的目标姿态。
生成模块52被配置为根据参考人像图、原始服饰图和目标姿态信息，通过不同扩张率的空洞卷积操作，生成目标人像图，例如执行如图1所示的步骤S120。目标人像图为人像在目标姿态下试穿原始服饰的图像。
在一些实施例中，生成模块52包括第一生成单元521、多个空洞卷积单元522、融合单元523和第二生成单元524。
第一生成单元521被配置为根据参考人像图、原始服饰图和目标姿态信息，生成第一特征图，例如执行如图2A所示的步骤S121。在一些实施例中，第一生成单元521包括卷积子单元5211。卷积子单元5211被配置为根据参考人像图、原始服饰图和目标姿态信息，通过卷积操作，生成第一特征图。
多个空洞卷积单元522被配置为对第一特征图进行不同扩张率的空洞卷积操作，得到多个第二特征图，例如执行如图2A所示的步骤S122。
融合单元523被配置为融合多个第二特征图，得到第三特征图，例如执行如图2A所示的步骤S123。
第二生成单元524被配置为根据第三特征图，生成目标人像图，例如执行如图2A所示的步骤S124。在一些实施例中，第二生成单元524包括转置卷积子单元5241和生成子单元5242。转置卷积子单元5241被配置为对第三特征图进行转置卷积操作，生成第一人像图和目标服饰掩码图。生成子单元5242被配置为根据参考人像图、第一人像图和目标服饰掩码图，生成目标人像图。
在一些实施例中，卷积子单元5211、多个空洞卷积单元522、融合单元523和转置卷积子单元5241共同构成了生成对抗网络模型的生成器。例如，生成子单元5242可以包括生成对抗网络模型的判别器。
图6是示出根据本公开另一些实施例的虚拟试衣装置的框图。
如图6所示，虚拟试衣装置6包括存储器61；以及耦接至该存储器61的处理器62。存储器61用于存储执行虚拟试衣方法对应实施例的指令。处理器62被配置为基于存储在存储器61中的指令，执行本公开中任意一些实施例中的虚拟试衣方法。
例如，虚拟试衣装置6还包括图像传感器63和显示器64。在一些实施例中，图像传感器63为摄像装置。
图像传感器63被配置为用户拍摄至少一个参考人像图。
显示器64被配置为显示至少一个目标姿态信息、至少一个原始服饰图和来自图像传感器63的至少一个参考人像，并响应于用户的选择操作，发送用户选择的参考人像图、目标姿态信息和原始服饰图到处理器62。例如，用户在显示器64选择参考人像图、目标姿态信息和原始服饰图。显示器64通过输出接口将用户选择的参考人像图、目标姿态信息和原始服饰图发送到处理器62。
图7是示出用于实现本公开一些实施例的计算机系统的框图。
如图7所示，计算机系统70可以通用计算设备的形式表现。计算机系统70包括存储器710、处理器720和连接不同系统组件的总线700。
存储器710例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行虚拟试衣方法中的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
处理器720可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
总线700可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。
计算机系统70还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间可以通过总线700连接。输入输出接口730可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为软盘、U盘、SD卡等外部存储设备提供连接接口。
这里，参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个框以及各框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器，以产生一个机器，使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。
这些计算机可读程序指令也可存储在计算机可读存储器中，这些指令使得计算机以特定方式工作，从而产生一个制造品，包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。
本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
通过上述实施例中的虚拟试衣方法及装置、计算机可存储介质，提高了生成的目标人像的精细度，进而提高了用户体验。
至此，已经详细描述了根据本公开的虚拟试衣方法及装置、计算机可存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
Claims (16)
1.一种虚拟试衣方法，包括：
接收参考人像图、原始服饰图和目标姿态信息，所述参考人像图包括人像，所述原始服饰图包括原始服饰，所述目标姿态信息表示所述人像试穿所述原始服饰的目标姿态；
根据所述参考人像图、所述原始服饰图和所述目标姿态信息，通过不同扩张率的空洞卷积操作，生成目标人像图，所述目标人像图为所述人像在所述目标姿态下试穿所述原始服饰的图像。
2.根据权利要求1所述的虚拟试衣方法，其中，通过不同扩张率的空洞卷积操作，生成目标人像图包括：
根据所述参考人像图、所述原始服饰图和所述目标姿态信息，生成第一特征图；
对所述第一特征图进行不同扩张率的空洞卷积操作，得到多个第二特征图；
融合所述多个第二特征图，得到第三特征图；
根据所述第三特征图，生成目标人像图。
3.根据权利要求2所述的虚拟试衣方法，其中，融合所述多个第二特征图，得到第三特征图包括：
利用树结构，融合所述多个第二特征图，得到第三特征图。
4.根据权利要求3所述的虚拟试衣方法，其中，利用树结构，融合所述多个第二特征图，得到第三特征图包括：
以所述多个第二特征图作为叶子节点的节点值，构建树结构；
从所述树结构的底层开始，依次在所述树结构的每一层，融合具有相同父节点的多个节点的节点值，以确定该父节点的节点值，直到确定所述树结构的根节点的节点值；
根据所述根节点的节点值，生成所述第三特征图。
5.根据权利要求4所述的虚拟试衣方法，其中，融合具有相同父节点的多个节点的节点值包括：
利用卷积核，融合具有相同父节点的多个节点的节点值。
6.根据权利要求4所述的虚拟试衣方法，其中，根据所述根节点的节点值，生成所述第三特征图包括：
融合所述根节点的节点值和所述第一特征图，生成所述第三特征图。
7.根据权利要求2至6任一项所述的虚拟试衣方法，其中，根据所述第三特征图，生成目标人像图包括：
对所述第三特征图进行转置卷积操作，生成第一人像图和目标服饰掩码图；
根据所述参考人像图、所述第一人像图和所述目标服饰掩码图，生成所述目标人像图。
8.根据权利要求7所述的虚拟试衣方法，其中，根据所述参考人像图、所述第一人像图和所述目标服饰掩码图，生成所述目标人像图包括：
融合所述目标服饰掩码图和所述第一人像图，得到第二人像图；
根据所述参考人像图和所述第二人像图，调整所述第二人像图中的头像，得到所述目标人像图。
9.根据权利要求8所述的虚拟试衣方法，其中，根据所述参考人像图和所述第二人像图，调整所述第二人像图中的头像，得到目标人像图包括：
根据所述参考人像图和所述第二人像图，获取所述参考人像图的头像图和所述第二人像图的头像图；
根据所述参考人像图的头像图和所述第二人像图的头像图，通过不同扩张率的空洞卷积操作，生成目标头像图；
融合所述目标头像图和所述第二人像图，得到所述目标人像图。
10.根据权利要求2至6任一项所述的虚拟试衣方法，其中，根据所述参考人像图、所述原始服饰图和所述目标姿态信息，生成第一特征图包括：
根据所述参考人像图、所述原始服饰图和所述目标姿态信息，通过卷积操作，生成所述第一特征图。
11.根据权利要求10所述的虚拟试衣方法，其中，根据所述参考人像图、所述原始服饰图和所述目标姿态信息，通过卷积操作，生成所述第一特征图包括：
根据所述参考人像图、所述原始服饰图和所述目标姿态信息，生成目标人体语义解析图；
根据所述参考人像图、所述原始服饰图和所述目标姿态信息，对所述原始服饰进行形变，得到目标服饰图，所述目标服饰图包括与所述目标姿态对应的形变后的原始服饰；
对所述参考人像图、所述目标人体语义解析图和所述目标服饰图进行卷积操作，生成所述第一特征图。
12.一种虚拟试衣装置，包括：
接收模块，被配置为接收参考人像图、原始服饰图和目标姿态信息，所述参考人像图包括人像，所述原始服饰图包括原始服饰，所述目标姿态信息表示所述人像试穿所述原始服饰的目标姿态；
生成模块，被配置为根据所述参考人像图、所述原始服饰图和所述目标姿态信息，通过不同扩张率的空洞卷积操作，生成目标人像图，所述目标人像图为所述人像在所述目标姿态下试穿所述原始服饰的图像。
13.根据权利要求12所述的虚拟试衣装置，其中，所述生成模块包括：
第一生成单元，被配置为根据所述参考人像图、所述原始服饰图和所述目标姿态信息，生成第一特征图；
多个空洞卷积单元，被配置为对所述第一特征图进行不同扩张率的空洞卷积操作，得到多个第二特征图；
融合单元，被配置为融合所述多个第二特征图，得到第三特征图；
第二生成单元，被配置为根据所述第三特征图，生成目标人像图。
14.一种虚拟试衣装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如权利要求1至11任一项所述的虚拟试衣方法。
15.根据权利要求14所述的虚拟试衣装置，还包括：
图像传感器，被配置为用户拍摄至少一个参考人像图；
显示器，被配置为显示至少一个目标姿态信息、至少一个原始服饰图和来自图像传感器的所述至少一个参考人像，并响应于用户的选择操作，发送用户选择的参考人像图、目标姿态信息和原始服饰图到所述处理器。
16.一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至11任一项所述的虚拟试衣方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010477405.XA CN111768472A (zh) | 2020-05-29 | 2020-05-29 | 虚拟试衣方法及装置、计算机可存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010477405.XA CN111768472A (zh) | 2020-05-29 | 2020-05-29 | 虚拟试衣方法及装置、计算机可存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111768472A true CN111768472A (zh) | 2020-10-13 |
Family
ID=72719682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010477405.XA Withdrawn CN111768472A (zh) | 2020-05-29 | 2020-05-29 | 虚拟试衣方法及装置、计算机可存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768472A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232914A (zh) * | 2020-10-19 | 2021-01-15 | 武汉纺织大学 | 基于2d图像的四阶段虚拟试衣方法及装置 |
| CN112613474A (zh) * | 2020-12-30 | 2021-04-06 | 珠海大横琴科技发展有限公司 | 一种行人重识别的方法和装置 |
| CN112991494A (zh) * | 2021-01-28 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、计算机设备及计算机可读存储介质 |
| CN113297944A (zh) * | 2020-12-28 | 2021-08-24 | 武汉纺织大学 | 用于服装虚拟试穿的人体姿势变换方法及系统 |
| CN113361560A (zh) * | 2021-03-22 | 2021-09-07 | 浙江大学 | 一种基于语义的多姿势虚拟试衣方法 |
| CN114663552A (zh) * | 2022-05-25 | 2022-06-24 | 武汉纺织大学 | 一种基于2d图像的虚拟试衣方法 |
| WO2022142816A1 (en) * | 2020-12-30 | 2022-07-07 | Beijing Wodong Tianjun Information Technology Co., Ltd. | System and method for virtual fitting |
| CN117575636A (zh) * | 2023-12-19 | 2024-02-20 | 东莞莱姆森科技建材有限公司 | 一种基于视频处理的智能镜控制方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510594A (zh) * | 2018-02-27 | 2018-09-07 | 吉林省行氏动漫科技有限公司 | 虚拟试衣方法、装置及终端设备 |
| CN110211196A (zh) * | 2019-05-28 | 2019-09-06 | 山东大学 | 一种基于姿势引导的虚拟试穿方法及装置 |
| CN110866526A (zh) * | 2018-08-28 | 2020-03-06 | 北京三星通信技术研究有限公司 | 图像分割方法、电子设备及计算机可读存储介质 |
-
2020
- 2020-05-29 CN CN202010477405.XA patent/CN111768472A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510594A (zh) * | 2018-02-27 | 2018-09-07 | 吉林省行氏动漫科技有限公司 | 虚拟试衣方法、装置及终端设备 |
| CN110866526A (zh) * | 2018-08-28 | 2020-03-06 | 北京三星通信技术研究有限公司 | 图像分割方法、电子设备及计算机可读存储介质 |
| CN110211196A (zh) * | 2019-05-28 | 2019-09-06 | 山东大学 | 一种基于姿势引导的虚拟试穿方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| JIAHANG WANG等: "DOWN TO THE LAST DETAIL: VIRTUAL TRY-ON WITH DETAIL CARVING", 《ARXIV》, 13 December 2019 (2019-12-13), pages 1 - 7 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232914A (zh) * | 2020-10-19 | 2021-01-15 | 武汉纺织大学 | 基于2d图像的四阶段虚拟试衣方法及装置 |
| CN112232914B (zh) * | 2020-10-19 | 2023-04-18 | 武汉纺织大学 | 基于2d图像的四阶段虚拟试衣方法及装置 |
| CN113297944A (zh) * | 2020-12-28 | 2021-08-24 | 武汉纺织大学 | 用于服装虚拟试穿的人体姿势变换方法及系统 |
| CN112613474A (zh) * | 2020-12-30 | 2021-04-06 | 珠海大横琴科技发展有限公司 | 一种行人重识别的方法和装置 |
| WO2022142816A1 (en) * | 2020-12-30 | 2022-07-07 | Beijing Wodong Tianjun Information Technology Co., Ltd. | System and method for virtual fitting |
| CN112991494A (zh) * | 2021-01-28 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、计算机设备及计算机可读存储介质 |
| CN112991494B (zh) * | 2021-01-28 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、计算机设备及计算机可读存储介质 |
| CN113361560A (zh) * | 2021-03-22 | 2021-09-07 | 浙江大学 | 一种基于语义的多姿势虚拟试衣方法 |
| CN114663552A (zh) * | 2022-05-25 | 2022-06-24 | 武汉纺织大学 | 一种基于2d图像的虚拟试衣方法 |
| CN114663552B (zh) * | 2022-05-25 | 2022-08-16 | 武汉纺织大学 | 一种基于2d图像的虚拟试衣方法 |
| CN117575636A (zh) * | 2023-12-19 | 2024-02-20 | 东莞莱姆森科技建材有限公司 | 一种基于视频处理的智能镜控制方法及系统 |
| CN117575636B (zh) * | 2023-12-19 | 2024-05-24 | 东莞莱姆森科技建材有限公司 | 一种基于视频处理的智能镜控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111768472A (zh) | 虚拟试衣方法及装置、计算机可存储介质 | |
| Zhang et al. | Uncertainty inspired RGB-D saliency detection | |
| Zhang et al. | Stackgan++: Realistic image synthesis with stacked generative adversarial networks | |
| Sengupta et al. | Sfsnet: Learning shape, reflectance and illuminance of facesin the wild' | |
| Xu et al. | Learning deep structured multi-scale features using attention-gated crfs for contour prediction | |
| US11922593B2 (en) | Methods of estimating a bare body shape from a concealed scan of the body | |
| Xu et al. | Probabilistic graph attention network with conditional kernels for pixel-wise prediction | |
| CN112149545B (zh) | 样本生成方法、装置、电子设备及存储介质 | |
| CN111161398A (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| JP2019091436A (ja) | ３ｄ配置のタイプに応じた２ｄ画像の分類 | |
| Dang et al. | Eigendecomposition-free training of deep networks for linear least-square problems | |
| CN113158970B (zh) | 一种基于快慢双流图卷积神经网络的动作识别方法与系统 | |
| CN113051778B (zh) | 服装设计方法、装置、电子设备及存储介质 | |
| CN114638375A (zh) | 视频生成模型训练方法、视频生成方法及装置 | |
| CN110197226B (zh) | 一种无监督图像翻译方法及系统 | |
| CN110827394B (zh) | 脸部表情建构方法、装置及非暂态电脑可读取记录媒体 | |
| CN117218713A (zh) | 动作解算方法、装置、设备及存储介质 | |
| CN116188720A (zh) | 数字人的生成方法、装置、电子设备和存储介质 | |
| CN115346028A (zh) | 虚拟环境主题处理方法及装置 | |
| Jin et al. | DOPE++: 6D pose estimation algorithm for weakly textured objects based on deep neural networks | |
| CN114639161A (zh) | 多任务模型的训练方法以及衣服的虚拟试穿方法 | |
| JP6768101B2 (ja) | データベース統合装置、データベース統合方法、データベース統合プログラム、及びデータ補完装置 | |
| CN112036271B (zh) | 基于卡尔曼滤波的行人重识别方法、系统、介质及终端 | |
| CN115147681B (zh) | 服饰生成模型的训练、生成服饰图像的方法和装置 | |
| CN114973396B (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201013 |