CN112200717A - 基于神经网络的复杂服装虚拟试衣方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种基于神经网络的复杂服装虚拟试衣的方法，包括4个步骤流程：提取属性网络，人体属性变换融合，衣服属性变换网络，人衣穿衣网络这四个过程。本发明与现有技术相比为不同群体的顾客给予个性化复杂服装的虚拟试穿，使得顾客身临其境，每个人试穿都有独特的自己，更乐于分享。同时神经网络方法更加美化和真实的虚拟试穿，不仅增加了顾客的购买率，而且对服装设计商提供了更细致和宝贵的用户分析建议，为将来更快捷实现个性化服装定制设计更进一步。更重要的是可以帮助广大消费者穿衣体验升级和消费升级。既让用户享受到虚拟试衣的乐趣与便捷，也为商家提高利润。

Description

基于神经网络的复杂服装虚拟试衣方法、装置及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于神经网络的复杂服装虚拟试衣方法、装置及存储介质。

背景技术

随着科技的进步，服装行业的发展，服装行业的衣服从实体设计逐渐向虚拟设计中过渡，广大消费者也逐渐从实体试衣逐渐向虚拟试衣中转变。在各式各样复杂的服装中，如汉服，二次元服装等被现代社会的人所喜爱。广大消费者喜欢根据自己的喜好去试穿多款复杂服装并分享在自己的社交圈中，但这种相较于普通服装更为复杂，如果这种复杂服装被一一试穿，既浪费了顾客们的时间，也会影响二次销售，最终大大降低了购买率。虚拟试衣可以大大减少顾客的试衣时间，挑选最合适款式的衣服。更重要的是，在虚拟试衣中可以加入更加有趣的互动操作以及分享，可达到很好的传播效应，极大提升了用户体验和购买率。目前虚拟试衣方法通常使用视觉设备或测量设备进行人体数字模特的重建，然后和3D虚拟衣服进行结合，以达到3D虚拟试衣的目的。一方面的缺陷，人体数字模特的建立过程中只是用到低维特征，如三维等硬性参数。却没有用到高维特征，如年龄，面部表情，心情等抽象参数，导致建立的人体模型只是在体格和外观上较相似，无法反映当时人的状态和衣服的契合度。另外一方面，因为古装和二次元服装属于个性化较强的复杂服装，已有的试衣效果会导致试衣整体效果偏差，降低了顾客对复杂服装的预期，从而降低了购买率。

目前大多数已有的虚拟试衣方法中，缺陷主要从两个角度来进行分析和阐述。从人体建模角度，3D人体模特仅仅使用测量的方式对用户进行人体库检索或者三维重建，使得建立的虚拟人体模特在体形上较相似，相当于相似身材的不同人建立的虚拟模特几乎相同，用户在感官上无法和复杂服装想对应，无法做到身临其境。比如，顾客在试穿二次元服装时，顾客希望建立的虚拟模特不仅仅是体型相似的数字模特，更希望该人体模特偏向于二次元风格，形态神态更趋近于本身。从衣服角度，相同虚拟复杂服装穿在数字模特时，衣服效果是高度相似的，无法对当前顾客穿衣风格给定相关舒适度建议以及自由化的调整。

发明内容

针对上述技术问题，我们提出了基于神经网络方法，为不同群体的顾客给予个性化复杂服装的虚拟试穿，使得顾客身临其境，每个人试穿都有独特的自己，更乐于分享。同时神经网络方法更加美化和真实的虚拟试穿，不仅增加了顾客的购买率，而且对服装设计商提供了更细致和宝贵的用户分析建议，为将来更快捷实现个性化服装定制设计更进一步。更重要的是可以帮助广大消费者穿衣体验升级和消费升级。既让用户享受到虚拟试衣的乐趣与便捷，也为商家提高利润。

本发明旨在至少解决现有技术中存在的技术问题。为此，如图1所示，本发明公开了一种基于神经网络的复杂服装虚拟试衣的方法，所述方法包括：

步骤1，对用户提取属性并构建属性网络，所述属性网络包括给提取人体属性和提取着装属性；

步骤2，对提取的人的属性进行变换并构建人体属性变换网络，通过所述人体属性变换网络将高维特征矩阵来指导基准人体模型和虚拟衣服模型作风格和细节上的调整，融合和变换，生成个性化带场景的人体模特；

步骤3，对着装属性进行变换得并构建着装属性变换网络，根据获取的用户习惯属性，所述着装属性变换网络根据当前虚拟试穿用户的穿着习惯对衣服做相应的变换；

步骤4，构建人体虚拟模特着装网络，结合所述步骤2和所述步骤3的输出结果，将着装进行自动穿着，得到最终虚拟试衣的效果。

更进一步地，所述步骤1中的属性网络进一步包括两路分支，第一分支通过人脸算法提取用户的表情，形象，妆容，通过人体分析算法获取用户声音，嘴型，皮肤属性，并通过多医学设备结合采集人体结构化的数据，并通过采集的结构化的多种数据融合成一个高维特征进行表示，通过网络进行训练后，能得到该人体多个属性组合的高级特征表达。

更进一步地，所述步骤1中的属性网络进一步包括两路分支，第二分支通过3D衣服关键点和衣服分割的算法提取着装属性，所述着装属性包括宽松程度，衣服装饰，穿着习惯；所述3D衣服关键点和衣服分割的算法通过多个衣服3D关键点，三个相互连接，组成多个相互叠加的三角面，通过比较衣服三角面于正常衣服三角面，计算出变换每个三角面的系数，通过无监督网络训练，将多个不同三角面的变换系数映射并得到属于用户穿着衣服高级特征系数，该系数是高维的并表示用户的着装习惯。

更进一步地，通过所述三角面对衣服进行空间分割，得到该衣服的尺码；加入高级特征，所述高级特征为相应的特征矩阵，矩阵的每行都是由不同提取高级特征算法进行多维度提取到的独一无二的特征，该特征包括穿着习惯，宽松程度，颜色搭配，嘴型参数，最终对人体模型和虚拟衣服进行微小的调整，生成与用户相匹配的参数。

更进一步地，所述步骤2中的人体属性变换网络进一步包括两个输入内容，一个输入内容为第所述步骤1中第一分支提取的高级特征，另一个输入内容为普通测量重建的人体模特作为基准。

更进一步地，所述步骤3进一步包括，所述着装属性变换网络有两个输入内容，一个输入内容为所述步骤1中第二分支提取的高级特征，另一个输入内容为服装提供商提供的虚拟衣服以及属性，通过着装属性变换网络的融合变换之后，该网络根据当前虚拟试穿用户的穿着习惯对衣服做相应的变换。

更进一步地，所述步骤3的网络训练的过程与步骤2中的网络训练过程相同，着装属性变换网络设置有对应参数支持用户自定义调节，体验不同的着装风格，自定义参数可以调节颜色搭配或者某个艺术家作品的颜色风格。

更进一步地，所述人体虚拟模特着装网络根据所述步骤3的对应参数，可对虚拟试穿之后的衣服进行大小和风格的调整，并生成最终的衣服尺寸和风格参数。

本发明进一步公开了一种电子设备，包括：处理器；以及，存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的基于神经网络的复杂服装虚拟试衣的方法。

本发明进一步公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于神经网络的复杂服装虚拟试衣的方法。

本发明与现有技术相比为不同群体的顾客给予个性化复杂服装的虚拟试穿，使得顾客身临其境，每个人试穿都有独特的自己，更乐于分享。同时神经网络方法更加美化和真实的虚拟试穿，不仅增加了顾客的购买率，而且对服装设计商提供了更细致和宝贵的用户分析建议，为将来更快捷实现个性化服装定制设计更进一步。更重要的是可以帮助广大消费者穿衣体验升级和消费升级。既让用户享受到虚拟试衣的乐趣与便捷，也为商家提高利润。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明的基于神经网络的复杂服装虚拟试衣方法的流程图；

图2是本发明一实施例中基于神经网络的复杂服装虚拟试衣程序流程图。

其中，①表示广大消费者；②表示第一过程，提取属性网络；提取③中的人体属性以及提取④中的着装属性；③：②中网络的分支，负责分析出人体属性等高维特征；④：②中网络的分支，负责分析出衣服属性等高维特征；⑤：第二过程，人体属性变换网络。根据③中的高维特征，对普通测量重建的人体模特进行变换；⑥：第三过程，衣服属性变换网络。根据④中的高维特征，对服装商提供复杂款式的虚拟服装进行变换，该复杂服装包含二次元服装，汉服等；⑦：个性化带场景的人体模特。⑤中普通模特融合高维特征之后的结果；⑧：第四过程，人体穿衣网络。搭配⑤⑥的结果，进行人衣结合；⑨：得到最终虚拟试衣的效果。

具体实施方式

实施例如图2所示，本实施包括4个步骤流程：提取属性网络，人体属性变换融合，衣服属性变换网络，人衣穿衣网络这四个过程。

第一个过程，提取属性网络。该网络总共两个分支，一个分支是给提取人的属性，可通过人脸算法，分析得到该高级特征，如表情，形象，妆容等，可通过人体分析算法得到该高级特征，如声音，嘴型，皮肤等。通过多种医学设备采集结构化的数据，通过该结构化的多种数据可以通过该算法融合成一个高维特征进行表示。例如声音分贝，声音频率，皮肤水油PH等通过网络进行训练后，能得到该人体多个属性组合的高级特征表达，而不是简单的组合，通过该高级特征表达，可推理出新的高维属性，例如神态等。这有利于第二过程生成个性化，并符合用户形象的人体模特。另外一个分支是提取着装属性，可通过3D衣服关键点和衣服分割的算法，分析得到该高级特征。如宽松程度，衣服装饰，穿着习惯等。该算法通过多个衣服3D关键点，三个相互连接，组成多个相互叠加的三角面，通过比较衣服三角面于正常衣服三角面，计算出变换每个三角面的系数，通过无监督网络训练，将多个不同三角面的变换系数映射并得到属于用户穿着衣服高级特征系数，该系数是高维的，可表示用户的着装习惯。同时，这些三角面可以对衣服进行空间分割，得到该衣服的尺码。例如正常人体测量适合穿M码，但是当前用户习惯穿L码，这是现有技术无法分辨的，通过该方式可以解决定制化问题。这有利于第三过程生成符合用户着装习惯的衣服穿搭。在试穿复杂服装时，可以加入该高级特征，该高级特征为相应的特征矩阵，矩阵的每行都是由不同提取高级特征算法进行多维度提取到的独一无二的特征，该特征包含了穿着习惯，宽松程度，颜色搭配，嘴型等等，最终可以对人体模型和虚拟衣服所微小的调整，生成与用户相匹配的参数。使得用户身历其境，独一无二的自己进行虚拟试衣。

第二个过程，人体属性变换网络。该网络有两个输入内容，一个输入内容为第一过程中第一分支提取的高级特征，另一个输入内容为普通测量重建的人体模特，该普通测量使用的是已有的人体测量方法，只作为基准。通过该融合变换网络将高维特征矩阵来指导基准人体模型和虚拟衣服模型作风格和细节上的调整，融合和变换，生成个性化带场景的人体模特。风格包括喜爱衣服颜色，穿着风格等，细节包含神态和形态等。例如面带笑容的阳光青年试穿二次元的复杂服装时，该网络最终将生成在海洋场景下具有的二级元风格的青年人体模特，该模特更接近于用户本身的虚拟数字人。

第三个过程，衣服属性变换网络。该网络有两个输入内容，一个输入内容为第一过程中第二分支提取的高级特征，另一个输入内容为服装提供商提供的虚拟衣服以及属性，通过该网络的融合变换之后，该网络会根据当前虚拟试穿用户的穿着习惯对衣服做相应的变换，例如穿长袖衣服喜欢袖子稍微卷起等，更符合用户当前习惯。该网络训练的过程与第二个过程类似，但该网络另外有对应参数支持用户自定义调节，体验不同的着装风格。该参数可以调节颜色搭配，某个艺术家作品的颜色风格，或者某个时尚杂志的衣服款式风格等等。

第四个过程，人体模特穿衣网络。结合第二过程和第三过程的输出，将人衣进行自动穿着，方便快捷。同时该网络可根据第三过程的对应参数，可对虚拟试穿之后的衣服进行大小和风格的调整，找到最合适的一款，并生成最终的衣服尺寸，风格等参数。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述方法包括：

步骤1，对用户提取属性并构建属性网络，所述属性网络包括给提取人体属性和提取着装属性；

步骤2，对提取的人的属性进行变换并构建人体属性变换网络，通过所述人体属性变换网络将高维特征矩阵来指导基准人体模型和虚拟衣服模型作风格和细节上的调整，融合和变换，生成个性化带场景的人体模特；

步骤3，对着装属性进行变换得并构建着装属性变换网络，根据获取的用户习惯属性，所述着装属性变换网络根据当前虚拟试穿用户的穿着习惯对衣服做相应的变换；

步骤4，构建人体虚拟模特着装网络，结合所述步骤2和所述步骤3的输出结果，将着装进行自动穿着，得到最终虚拟试衣的效果。

2.如权利要求1所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述步骤1中的属性网络进一步包括两路分支，第一分支通过人脸算法提取用户的表情，形象，妆容，通过人体分析算法获取用户声音，嘴型，皮肤属性，并通过多医学设备结合采集人体结构化的数据，并通过采集的结构化的多种数据融合成一个高维特征进行表示，通过网络进行训练后，能得到该人体多个属性组合的高级特征表达。

3.如权利要求2所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述步骤1中的属性网络进一步包括两路分支，第二分支通过3D衣服关键点和衣服分割的算法提取着装属性，所述着装属性包括宽松程度，衣服装饰，穿着习惯；所述3D衣服关键点和衣服分割的算法通过多个衣服3D关键点，三个相互连接，组成多个相互叠加的三角面，通过比较衣服三角面于正常衣服三角面，计算出变换每个三角面的系数，通过无监督网络训练，将多个不同三角面的变换系数映射并得到属于用户穿着衣服高级特征系数，该系数是高维的并表示用户的着装习惯。

4.如权利要求3所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，通过所述三角面对衣服进行空间分割，得到该衣服的尺码；加入高级特征，所述高级特征为相应的特征矩阵，矩阵的每行都是由不同提取高级特征算法进行多维度提取到的独一无二的特征，该特征包括穿着习惯，宽松程度，颜色搭配，嘴型参数，最终对人体模型和虚拟衣服进行微小的调整，生成与用户相匹配的参数。

5.如权利要求4所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述步骤2中的人体属性变换网络进一步包括两个输入内容，一个输入内容为第所述步骤1中第一分支提取的高级特征，另一个输入内容为普通测量重建的人体模特作为基准。

6.如权利要求5所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述步骤3进一步包括，所述着装属性变换网络有两个输入内容，一个输入内容为所述步骤1中第二分支提取的高级特征，另一个输入内容为服装提供商提供的虚拟衣服以及属性，通过着装属性变换网络的融合变换之后，该网络根据当前虚拟试穿用户的穿着习惯对衣服做相应的变换。

7.如权利要求1所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述步骤3的网络训练的过程与步骤2中的网络训练过程相同，着装属性变换网络设置有对应参数支持用户自定义调节，体验不同的着装风格，自定义参数可以调节颜色搭配或者某个艺术家作品的颜色风格。

8.如权利要求1所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述人体虚拟模特着装网络根据所述步骤3的对应参数，可对虚拟试穿之后的衣服进行大小和风格的调整，并生成最终的衣服尺寸和风格参数。

9.一种电子装置，其特征在于，包括：

处理器；以及，

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的基于神经网络的复杂服装虚拟试衣的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的基于神经网络的复杂服装虚拟试衣的方法。

Images