CN114581288A - 一种图像生成方法、装置、电子设备以及存储介质 - Google Patents
一种图像生成方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN114581288A CN114581288A CN202210187560.7A CN202210187560A CN114581288A CN 114581288 A CN114581288 A CN 114581288A CN 202210187560 A CN202210187560 A CN 202210187560A CN 114581288 A CN114581288 A CN 114581288A
- Authority
- CN
- China
- Prior art keywords
- target
- map
- target object
- semantic segmentation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims abstract description 228
- 230000037237 body shape Effects 0.000 claims abstract description 65
- 239000002131 composite material Substances 0.000 claims abstract description 40
- 210000003414 extremity Anatomy 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 9
- 210000003141 lower extremity Anatomy 0.000 claims description 5
- 230000036544 posture Effects 0.000 description 123
- 230000000694 effects Effects 0.000 description 27
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000010606 normalization Methods 0.000 description 13
- 230000009471 action Effects 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000036548 skin texture Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种图像生成方法、装置、电子设备以及存储介质，其中，该方法包括：获取原始图像；所述原始图像中包含处于原始姿势的目标对象；基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图；以及，确定目标对象处于所述目标姿势下的第一语义分割图；所述第一语义分割图用于指示所述目标对象的肢体部位的穿着特征；基于所述第一身体形态图和所述第一语义分割图确定合成图像，其中，所述合成图像中包含处于所述目标姿势且具备所述穿着特征的目标对象。
Description
技术领域
本公开涉及图像处理的技术领域，具体而言，涉及一种图像生成方法、装置、电子设备以及存储介质。
背景技术
图像生成领域在近年来有了非常蓬勃的发展，其中人体图像生成，包括了人体图像补全，动作迁移，外观迁移等功能在角色动画、虚拟试穿，电影或游戏等方面具有巨大的潜在应用价值。相关现有技术中，通过结合2D图像和目标姿势作为输入，并运用对抗生成网络来生成新的图像。然而，在2D图像中源姿势和目标姿势之间差异较大的情况下，通过现有技术中依赖于通过神经网络来获取2D图像的特征信息的方式所得到的图像的合成效果较差。
发明内容
本公开实施例至少提供一种图像生成方法、装置、电子设备以及存储介质。
第一方面，本公开实施例提供了一种图像生成方法，包括：获取原始图像；所述原始图像中包含处于原始姿势的目标对象；基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图；以及，确定目标对象处于所述目标姿势下的第一语义分割图；所述第一语义分割图用于指示所述目标对象的肢体部位的穿着特征；基于所述第一身体形态图和所述第一语义分割图确定合成图像，其中，所述合成图像中包含处于所述目标姿势且具备所述穿着特征的目标对象。
上述实施方式中，首先，可以通过基于原始图像和目标姿势参数确定第一身体形态图，从而得到更加准确的目标对象的身体形态信息；之后，通过确定第一语义分割图，可以得到目标对象完整的穿着特征，从而解决现有三维身体模型无法获得位于人体模型外的纹理信息和几何信息的问题。在基于第一身体形态图和第一语义分割图确定合成图像时，可以提升图像合成效果，在原始姿势和目标姿势之间差异较大的情况下，依然可以得到姿态更加准确的合成图像，并且对于穿着较宽松服饰的目标对象依然可以得到较好的图像合成结果。
一种可选的实施方式中，所述基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图，包括：基于所述原始图像构建所述目标对象的第一身体模型，并基于所述第一身体模型确定所述原始图像的纹理贴图；基于所述纹理贴图和所述目标姿势参数确定所述目标对象处于目标姿势下的第一身体形态图。
相对于现有技术中依靠生成网络提取原始图像中全部特征信息的技术方案，本公开技术方案可以首先基于携带目标对象的肢体部位的纹理信息的纹理贴图确定上述第一身体形态图，从而可以提取出目标对象的肢体部位的纹理信息。在通过图像生成网络将该第一身体形态图和第一语义分割图进行语义合成时，可以减少图像生成网络所提取的特征信息，从而缓解图像生成网络的网络处理压力，进而提升图像合成效果。
一种可选的实施方式中，所述基于所述原始图像构建所述目标对象的第一身体模型，包括：基于所述原始图像确定第一身体模型的模型参数；其中，所述模型参数用于指示所述原始图像中所述目标对象的姿态信息；基于所述模型参数调整初始模型中各顶点的位置信息；基于调整后的各顶点的位置信息生成所述第一身体模型。
上述实施方式中，在原始姿势和目标姿势之间差异较大的情况下，依然可以准确的确定出各个姿势下的身体形态信息，从而得到更加准确的第一身体模型，在基于该第一身体模型进行图像合成时，可以提高图像合成的效果。
一种可选的实施方式中，所述基于所述纹理贴图和所述目标姿势参数确定所述目标对象处于目标姿势下的第一身体形态图，包括：基于所述第一身体模型和所述目标姿势参数确定所述目标对象处于目标姿势下的第二身体模型；基于所述纹理贴图的像素点和各顶点之间的映射关系，将所述纹理贴图渲染至所述第二身体模型，得到所述第一身体形态图。
上述实施方式中，通过结合三维的身体模型来确定目标对象处于目标姿势下的第一身体形态图的方式，在原始姿势和目标姿势之间的差异较大的情况下，可以得到姿态更加准确的第一身体形态图，从而可以提高合成图像的合成效果。
一种可选的实施方式中，所述确定目标对象处于所述目标姿势下的第一语义分割图，包括：确定所述原始图像的第二语义分割图；其中，所述第二语义分割图用于指示所述目标对象在原始姿势下肢体部位的穿着特征；基于所述第二语义分割图生成所述第一语义分割图。
上述实施方式中，通过第二语义分割图确定第一语义分割图的方式，可以提高第一语义分割图的准确度，从而进一步提升了图像合成效果。
一种可选的实施方式中，所述基于所述第二语义分割图生成所述第一语义分割图，包括：获取所述目标对象处于目标姿势下的第二身体模型；其中，所述第二身体模型为基于第一身体模型和所述目标姿势参数确定的，所述第一身体模型为基于所述原始图像构建所述目标对象的身体模型；基于所述第二身体模型和所述第二语义分割图，生成所述第一语义分割图。
一种可选的实施方式中，所述第二语义分割图包括原始语义图和原始分割图；所述第一语义分割图包括目标分割图和目标语义图；所述基于所述第二语义分割图生成所述第一语义分割图，包括：基于所述原始分割图生成所述目标对象处于所述目标姿势下的目标分割图；其中，所述目标分割图包含所述目标对象处于所述目标姿势时全部身体部位的穿衣特征；基于所述原始语义图生成所述目标对象处于所述目标姿势下的目标语义图；其中，所述目标语义图包含所述目标分割图中所述目标对象的各个肢体部位的穿衣特征。
一种可选的实施方式中，所述方法还包括：获取原始图像的第二语义分割图，并获取所述目标对象处于原始姿势下的第二身体形态图；其中，所述第二语义分割图用于表征所述目标对象在原始姿势下各个肢体部位的位置信息，所述第二身体形态图中携带所述目标对象的完整穿着特征；所述基于所述第一身体形态图和所述第一语义分割图确定携带所述目标对象的完整穿着特征的合成图像，包括：基于所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图，确定携带所述目标对象的完整穿着特征的合成图像。
上述实施方式中，可以获得更加完整目标对象的穿着特征，以及获取更加稠密的目标对象的纹理信息，从而得到合成效果更好的合成图像。
一种可选的实施方式中，所述基于所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图，确定携带所述目标对象的完整穿着特征的合成图像，包括：将所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图输入至图像生成网络中进行处理，得到所述合成图像。
上述实施方式中，通过图像生成网络生成合成图像，可以提高合成图像的合成效果，从而得到更加逼真的合成图像。
第二方面，本公开实施例提供了一种图像生成装置，包括：获取单元，用于获取原始图像；所述原始图像中包含处于原始姿势的目标对象；第一确定单元，用于基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图；以及，确定目标对象处于所述目标姿势下的第一语义分割图；所述第一语义分割图包含所述目标对象的肢体部位的穿着特征；第三确定单元，用于基于所述第一身体形态图和所述第一语义分割图确定合成图像，其中，所述合成图像中包含处于所述目标姿势且具备所述穿着特征的目标对象。
第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像生成方法的流程图；
图2示出了本公开实施例所提供的一种目标姿势的效果示意图；
图3示出了本公开实施例所提供的一种第一身体形态图的效果示意图；
图4示出了本公开实施例所提供的一种第二身体形态图的效果示意图；
图5示出了本公开实施例所提供的一种源姿势的效果示意图；
图6(a)示出了本公开实施例所提供的一种原始图像的前景区域的分割图的效果示意图；
图6(b)示出了本公开实施例所提供的一种原始图像的前景区域的语义图的效果示意图；
图7(a)示出了本公开实施例所提供的一种目标对象处于目标姿势下的分割图的效果示意图；
图7(b)示出了本公开实施例所提供的一种目标对象处于目标姿势下的语义图的效果示意图；
图8示出了本公开实施例所提供的一种合成图像的效果示意图；
图9示出了本公开实施例所提供的另一种图像生成方法的流程图；
图10示出了本公开实施例所提供的一种图像生成装置的示意图；
图11示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，相关技术中，通过结合2D图像和目标姿势作为输入，并运用对抗生成网络来生成新的图像。然而，在2D图像中源姿势和目标姿势之间差异较大的情况下，通过现有技术中依赖于通过神经网络来获取2D图像的特征信息的方式所得到的图像的合成效果较差。
在此基础上，在人体图像的生成领域，相关技术人员提出通过3D人体模型生成新的人体图像。3D人体模型可以获取目标姿势下源图像的纹理图像，进而对抗生成网络可以通过纹理图像和目标姿势生成目标对象处于目标姿势下的新图像。通过该处理方式，可以缓解对抗生成网络的网络处理压力，从而提升图像的合成效果。然而，相关技术中通常使用的三维人体模型为参数化人体模型，如蒙皮多人线性模型(Skinned Multi-PersonLinear，SMPL)模型。SMPL模型可以构建出人体的骨骼模型，通过SMPL模型可以提取出对应人体模型的表面纹理，例如，所穿着衣服的纹理和皮肤的纹理等。但是，当人体所穿着的衣服较为宽松时，SMPL模型无法获得位于人体模型外的纹理信息和几何信息，因此，SMPL模型对于穿着宽松服饰的人体图片效果也很难有较好地效果。
本公开提供了一种图像生成方法、装置、电子设备以及存储介质。本公开实施例所提供的图像生成方法可以应用在动作迁移领域、外观迁移领域、虚拟试衣等领域。首先，可以通过基于原始图像和目标姿势参数确定第一身体形态图，从而得到更加准确的目标对象的身体形态信息；之后，通过确定第一语义分割图，可以得到目标对象完整的穿着特征，从而解决现有参数化人体模型无法获得位于人体模型外的纹理信息和几何信息的问题。在基于第一身体形态图和第一语义分割图确定合成图像时，可以提升图像合成效果，在原始姿势和目标姿势之间差异较大的情况下，依然可以得到姿态更加准确的合成图像，并且对于穿着较宽松服饰的目标对象依然可以得到较好的图像合成结果。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像生成方法进行详细介绍，本公开实施例所提供的图像生成方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(移动设备、用户终端、终端、手持设备、计算设备、可穿戴设备等。在一些可能的实现方式中，该图像生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的一种图像生成方法的流程图，所述方法包括步骤S101～S107，其中：
S101：获取原始图像；所述原始图像中包含处于原始姿势的目标对象。
S103：基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图。
这里，原始图像为2D图像；待转换的目标姿势参数可以为包含目标姿势的图像，或者，目标姿势参数还可以为用于表征目标姿势的肢体关键点的位置信息；第一身体形态图中包含目标姿势下目标对象的各个肢体部位的肢体姿态。
具体实施时，可以基于原始图像重建得到目标对象处于原始姿势下的第一身体模型，以及原始图像相对于该第一身体模型的纹理贴图，该纹理贴图中携带原始图像中位于目标对象的肢体部位上的纹理信息，例如，该纹理信息可以为目标对象的皮肤纹理信息，和/或，目标对象的肢体部位上所穿着衣物的衣物纹理信息。之后，可以基于目标姿势参数调整第一身体模型的模型参数，得到处于目标姿势下的目标对象的身体模型，即第二身体模型，并基于该第二身体模型和纹理贴图确定第一身体形态图。
应理解的是，通过上述方式所确定出的第一身体形态图中还包含原始图像中位于目标对象的肢体部位上的纹理信息。
在本公开实施例中，在原始图像中包含多个对象的情况下，可以从原始图像中确定位于前景区域的对象为目标对象；或者，可以将原始图像中包含肢体完整度最高的对象确定为目标对象；或者，还可以根据用户对多个对象的选择操作确定目标对象。
S105：确定目标对象处于所述目标姿势下的第一语义分割图；所述第一语义分割图用于指示所述目标对象的肢体部位的穿着特征。
在本公开实施例中，可以基于原始图像的语义分割图和上述第二身体模型确定该第一语义分割图，具体确定过程在下述实施例中进行详细介绍。其中，原始图像的语义分割图用于指示目标对象在原始姿势下各个肢体部位的穿着特征。
在原始图像的语义分割图中可以包含目标对象的各个肢体部位的部位标签，以通过该部位标签对目标对象的肢体部位进行区分。
这里，可以将目标对象的身体划分为不同的肢体部位，例如，可以划分为以下肢体部位：头发部位、脸部、上身躯干部位、手部、腿部和脚部。
具体实施时，部位标签可以为对应相应像素值的像素点，其中，不同部位标签对应不同的像素值。在原始图像的语义分割图中，可以通过该像素点对各个肢体部位进行表示。
举例来说，可以在该语义分割图中每个肢体部位所在的部位区域内显示对应的像素值的像素点。
在通过部位标签对目标对象的各个肢体部位进行区分之后，就可以结合原始图像和部位标签确定目标对象在原始姿势下各个肢体部位的穿着特征。
同样地，在第一语义分割图中可以包含目标对象的各个肢体部位的部位标签，且原始图像的语义分割图中和第一语义分割图中相同肢体部位的部位标签相同，即可以通过对应相同像素值的像素点进行表示。
由于第一身体形态图中包含原始图像中位于目标对象的肢体部位上的纹理信息，而不包含原始图像中目标对象的完整穿着特征。因此，为了获取目标对象的完整穿着特征，可以基于原始图像的语义分割图和上述第二身体模型确定该目标对象处于目标姿势下的第一语义分割图，进而，基于该第一语义分割图确定该目标对象的肢体部位的完整穿着特征。
举例来说，原始图像中的目标对象穿着较为宽松的衣服，例如，裙子。那么基于原始图像和待转换的目标姿势参数所确定第一身体形态图中可以包含原始图像中位于该目标对象的肢体部位上的纹理信息，而不包含位于肢体部位之外的纹理信息，例如，不包含位于肢体部位之外的裙子区域的纹理信息。进一步地，通过确定第一身体形态图和包含完整穿着特征的第一语义分割图，可以得到目标对象的完整穿着特征。在基于第一身体形态图和第一语义分割图进行合成时，可以得到包含完整穿着特征的合成图像。
S107：基于所述第一身体形态图和所述第一语义分割图确定合成图像，其中，所述合成图像中包含处于所述目标姿势且具备所述穿着特征的目标对象。
通过上述描述可知，在第一语义分割图中可以包含目标对象的各个肢体部位的部位标签。因此，可以通过该部位标签来表征第一语义分割图中的语义布局信息。可以理解的是，该语义布局信息可以用于指示目标姿势下目标对象的各个肢体部位的肢体布局信息。
基于此，可以通过图像生成网络将第一身体形态图和第一语义分割图进行语义图像合成，从而得到的合成图像中能够保留第一语义分割图中的语义布局信息。
下面将结合具体实施方式对上述步骤S101至步骤S107的具体实施方式进行详细介绍。
在一个可选的实施方式中，上述步骤S103：基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图，包括如下步骤：
步骤S1031：基于所述原始图像构建所述目标对象的第一身体模型，并基于所述第一身体模型确定所述原始图像的纹理贴图；
步骤S1032：基于所述纹理贴图和所述目标姿势参数确定所述目标对象处于目标姿势下的第一身体形态图。
在本公开实施例中，可以对原始图像进行三维重建得到第一身体模型，其中，该第一身体模型可以为包含该目标对象的身体结构和身体姿态的三维身体模型，例如，该三维身体模型可以为SMPL模型，或者，还可以为其他能够类型的三维身体模型。
这里，目标对象的身体结构可以理解为目标对象的各个肢体部位，目标对象的身体姿态可以理解为目标对象的各个肢体部位的肢体姿态。
在确定出第一身体模型之后，可以基于原始图像和第一身体模型进行纹理重建，从而得到原始图像的纹理贴图，具体重建原理描述如下：
将第一身体模型投影至原始图像，从而建立第一身体模型和原始图像之间的投影关系。其中，该投影关系用于指示第一身体模型中的顶点和原始图像中像素点之间的对应关系。基于该投影关系确定原始图像中与第一身体模型的各顶点相对应的像素点的像素值。获取第一身体模型的顶点和纹理贴图中各坐标之间的对应关系，进而可以基于该对应关系将第一身体模型的各顶点所对应的像素点渲染至纹理贴图上，从而得到原始图像的纹理贴图。
由于第一身体模型可以表征目标对象的身体结构和身体形态，因此，按照上述方式所确定的原始图像的纹理贴图中包含原始图像中目标对象的肢体部位上的纹理信息，例如，包含目标对象的皮肤纹理信息，或者，包含目标对象的肢体部位上所穿着衣物的衣物纹理信息。
在确定出纹理贴图之后，可以结合目标姿势参数和纹理贴图确定该第一身体形态图。具体实施时，可以基于目标姿势参数确定目标对象处于目标姿势下的第二身体模型，进而将纹理贴图渲染至第二身体模型上，从而得到目标对象处于目标姿势下的第一身体形态图。
由于原始图像的纹理贴图中包含目标对象的肢体部位的纹理信息，因此，基于纹理贴图所确定的第一身体形态图除了能够表示目标姿势下目标对象的各个肢体部位的肢体姿态，该第一身体形态图中还包含目标对象的肢体部位上的纹理信息。
相关技术中，通过结合2D图像和目标姿势作为输入，并运用对抗生成网络来生成新的图像。该方式依靠生成网络提取原始图像中的特征信息，例如，提取原始图像中目标对象的姿态特征和目标对象的穿着特征。当原始姿势目标姿势之间的差异较大时，现有技术往往无法得到姿态较为准确的合成图像。
在本公开技术方案中，通过上述处理方式，在原始姿势和目标姿势之间的差异较大的情况下，依然可以得到姿态更加准确的第一身体形态图，从而能够提高合成图像的合成效果。
在本公开实施例中，还可以通过图像生成网络将第一身体形态图和第一语义分割图进行语义合成，从而得到合成图像。相对于现有技术中依靠生成网络提取原始图像中全部特征信息的技术方案，本公开技术方案可以首先基于携带目标对象的肢体部位的纹理信息的纹理贴图确定上述第一身体形态图，从而可以提取出目标对象的肢体部位的纹理信息。在通过图像生成网络将该第一身体形态图和第一语义分割图进行语义合成时，可以减少图像生成网络所提取的特征信息，从而缓解图像生成网络的网络处理压力，进而提升图像合成效果。
在一个可选的实施方式中，上述步骤S1031：基于所述原始图像构建所述目标对象的第一身体模型，具体包括如下步骤：
步骤S10311：基于所述原始图像确定第一身体模型的模型参数；其中，所述模型参数用于指示所述原始图像中所述目标对象的姿态信息；
步骤S10312：基于所述模型参数调整初始模型中各顶点的位置信息；
步骤S10313：基于调整后的各顶点的位置信息生成所述第一身体模型。
在本公开实施例中，在获取到原始图像之后，可以将原始图像进行像素值归一化处理，从而将原始图像中各个像素点的像素值归一化为[-a,a]范围内的数值，其中，a的取值可以为1，或者为其他的归一化后的数值，该a的取值可以根据归一化的实际需要进行设定，本公开对此不作具体限定。之后，可以修改原始图像的图片大小，例如，可以设置原始图像的图片大小为224*224和512*512，使其满足人体姿态重建模型(Human Mesh Recovery，HMR)的输入要求。
在按照上述方式对原始图像进行处理之后，可以将处理之后的原始图像输入至HMR模型中进行处理，从而将HMR模型的输出结果作为第一身体模型的模型参数(也即，SMPL模型的模型参数)。
这里，模型参数可以为用于表征原始图像中所包含目标对象的姿态信息的参数，其中，模型参数可以包含动作参数(pose parameters)、形状参数(shape parameters)和/或相机参数。
示例性的，相机参数通过K1个维度的数值去描述相机的姿态信息。其中，K1的取值可以为3，即相机参数可以包含内参、外参和畸变参数。
形状参数通过K2个维度的数值去描述目标对象的形状，每一个维度的值都可以解释为目标对象的形状的某个指标，比如高矮，胖瘦，以及头身比等参数。这里，可以通过控制K2个维度的数值控制身体模型的形状变化。其中，K2的取值可以为10。
动作参数通过K3个维度的数值去描述某个时刻目标对象的动作姿态，其中，K3个维度的数值用于表征目标对象的多个肢体关节点相对于各个轴向的角度，其中，K3个维度的数值可以为例如72(24*3)个维度的数值，24表示的是24个定义好的目标对象的肢体关节点，72(24*3)中的3是指的是该肢体关节点针对于其父节点的旋转角度的轴角式表达(axis-angle representation)。
在按照上述所描述的方式得到模型参数之后，就可以基于该模型参数调整初始模型中各个顶点的位置信息。其中，该初始模型可以为SMPL模型中预先创建的与目标对象的对象类型相匹配的身体模型。比如，目标对象为人，那么该预设初始模型可以为预先创建的人体模型。
初始模型中包含多个顶点和基于多个顶点确定的三角面片，其中，初始模型中顶点的数量可以为用户根据实际需要进行设定给的；或者，初始模型中顶点的数量与该目标对象的对象类型相关联；或者，初始模型中顶点的数量为默认的数值。
具体实施时，可以预先根据目标对象的对象类型搭建相匹配的初始模型。例如，首先创建P个3D顶点vertex(即，上述顶点)以及Q个三角面片，进而通过P个3D顶点vertex(即，上述顶点)以及Q个三角面片来表示目标对象的身体。其中，P个3D顶点可以理解为该初始模型的P个骨骼点，三角面片可以理解为基于3D顶点vertex所组成的三角形，每个三角形对应三个3D顶点vertex。
之后，可以基于该模型参数确定初始模型中每个顶点经过动作形变和体形形变之后的顶点坐标，进而基于该顶点坐标调整初始模型中每个顶点的位置信息，利用调整之后的顶点确定三角面片，并由若干个三角面片构成第一身体模型。
在确定出第一身体模型之后，可以对第一身体模型(例如，SMPL模型)进行纹理提取，从而提取到纹理贴图。
具体实施时，由于SMPL模型的拓扑结构人体模型，其每一个顶点都有对应的语义内容，其中，该语义内容用于表征顶点和原始图像中像素点之间的对应关系。基于此，可以构建出顶点和纹理贴图中各个像素点之间的映射关系。之后，可以基于该映射关系进行纹理重建，从而得到原始图像的纹理贴图。例如，可以基于该映射关系，确定原始图像中与对应顶点相匹配的像素点的像素值，进而基于该像素值确定纹理贴图中对应坐标点的像素值，从而完成纹理的重建，得到原始图像的纹理贴图。
在一个可选的实施方式中，上述步骤S1032：基于所述纹理贴图和所述目标姿势参数确定所述目标对象处于目标姿势下的第一身体形态图，具体包括如下步骤：
步骤S10321：基于所述第一身体模型和所述目标姿势参数确定所述目标对象处于目标姿势下的第二身体模型；
步骤S10322：基于所述纹理贴图的像素点和各顶点之间的映射关系，将所述纹理贴图渲染至所述第二身体模型，得到所述第一身体形态图。
在本公开实施例中，可以基于目标姿势参数确定目标对象处于目标姿势下的动作参数和形态参数，进而通过修改第一身体模型的动作参数和形态参数确定第二身体模型。
如果目标姿势参数为图片类数据，其中，该图片类数据中包含该目标姿势，那么可以基于HMR模型对该图片类数据进行处理，从而得到目标对象处于目标姿势下的动作参数和形态参数；之后，可以将目标对象处于目标姿势下的动作参数和形态参数修改第一身体模型中各个顶点的顶点坐标，从而调整得到第二身体模型。
如果目标姿势参数包含目标对象处于目标姿势下的动作参数和形态参数，则可以直接基于该动作参数和形态参数调整第一身体模型中各个顶点的顶点坐标，从而调整得到第二身体模型。
如果目标姿势参数为其他类的姿态参数，那么可以将该目标姿势参数转换为目标对象处于目标姿势下的动作参数和形态参数。
在按照上述所描述的方式确定出第二身体模型之后，可以基于纹理贴图中各个像素点和各顶点之间的映射关系，将纹理贴图渲染在第二身体模型中，从而可以基于渲染之后的渲染结果确定第一身体形态图。例如，假设目标姿势为如图2所示的姿势的情况下，可以得到如图3所示的第一身体形态图。从如3所示的第一身体形态图中可以看出，该第一身体形态图中仅包含目标对象的肢体特征(例如，姿态)，而不包含目标对象的穿着特征。
上述实施方式中，通过结合三维的身体模型来确定目标对象处于目标姿势下的第一身体形态图的方式，在原始姿势和目标姿势之间的差异较大的情况下，可以得到姿态更加准确的第一身体形态图，从而可以提高合成图像的合成效果。
在一个可选的实施方式中，上述步骤S105：确定该目标对象处于所述目标姿势下的第一语义分割图，具体包括如下步骤：
步骤S1051：确定所述原始图像的第二语义分割图；其中，所述第二语义分割图用于指示所述目标对象在原始姿势下肢体部位的穿着特征；
步骤S1052：基于所述第二语义分割图生成所述第一语义分割图。
在本公开实施例中，上述步骤S10321和S10322，可以在步骤S1051和步骤S1052之前执行，还可以在步骤S1051和步骤S1052之后执行，本公开对此不作具体限定。
具体实施时，可以对原始图像进行处理，从而得到原始图像的语义分割图，即第二语义分割图。例如，可以通过图像分割网络对原始图像进行图像分割处理，从而得到第二语义分割图。
举例来说，原始图像中目标对象的原始姿势为如图5所示的姿势，那么原始图像的第二语义分割图可以为如图6(a)和图6(b)所示的语义分割图。其中，图6(a)所示的为原始图像的前景区域的分割图，图6(b)所示的原始图像的前景区域的语义图。
从图6(a)可以看出，原始图像的前景区域的分割图用于表征原始图像中目标对象的分割结果，例如，目标对象的身体轮廓信息。图6(b)所示，原始图像的前景区域的语义图用于表征原始图像中目标对象的语义信息，语义信息例如表示原始图像中目标对象的各个肢体部位。
在确定出原始图像的第二语义分割图之后，可以基于该第二语义分割图和原始图像确定目标对象处于原始姿势下的各个肢体部位的穿着特征。
在确定出如图6(a)和图6(b)所示的语义分割图之后，可以基于该语义分割图确定目标对象处于所述目标姿势下的第一语义分割图。这里，第一语义分割图包含目标对象处于目标姿势下的语义图(即下述目标语义图)和分割图(即下述目标分割图)。
上述实施方式中，通过第二语义分割图确定第一语义分割图的方式，可以提高第一语义分割图的准确度，从而进一步提升了图像合成效果。同时，可以得到目标对象处于目标姿势下的完整的穿着特征，从而解决SMPL模型无法获得位于人体模型外的纹理信息和几何信息的问题，进而进一步提升了图像合成效果，对于穿着较宽松服饰的目标对象依然可以得到较好的图像合成结果。
在一个可选的实施方式中，上述步骤S1052：基于所述第二语义分割图生成所述第一语义分割图，具体包括如下步骤：
步骤S11：获取所述目标对象处于目标姿势下的第二身体模型，其中，所述第二身体模型为基于第一身体模型和所述目标姿势参数确定的，所述第一身体模型为基于所述原始图像构建所述目标对象的身体模型；
步骤S12：基于所述第二身体模型和所述第二语义分割图，生成所述第一语义分割图。
这里，第二身体模型为基于第一身体模型和目标姿势参数确定的三维身体模型，具体确定过程描述如下：
可以基于目标姿势参数确定目标对象处于目标姿势下的动作参数和形态参数，进而通过修改第一身体模型的动作参数和形态参数确定第二身体模型。
这里，目标姿势参数可以为图片类数据，或者为包含目标对象处于目标姿势下的动作参数和形态参数的数据，或者为其他类的姿态参数。基于各个类型的目标姿势参数确定第二身体模型的过程如上步骤S10321和步骤S10322所对应实施例的描述，此处不再展开详细介绍。
在确定出第二身体模型之后，可以将第二身体模型和所述第二语义分割图输入至目标子网络中进行处理，从而得到第一语义分割图。
假设，第二语义分割图为图6(a)和图6(b)所示的语义分割图，那么可以得到如图7(a)和图7(b)所示的语义分割图，即第一语义分割图。从图7(a)和图7(b)所示，第一语义分割图包含目标对象处于目标姿势下的语义图和分割图。
通过上述描述可知，第二语义分割图包括原始语义图(即上述前景区域的语义图)和原始分割图(即，前景区域的分割图)。
在此情况下，步骤S1052：基于所述第二语义分割图生成所述第一语义分割图，具体包括如下步骤：
步骤S21：基于所述原始分割图生成所述目标对象处于所述目标姿势下的目标分割图；其中，所述目标分割图包含所述目标对象处于所述目标姿势时全部身体部位的穿衣特征；
步骤S22：基于所述原始语义图生成所述目标对象处于所述目标姿势下的目标语义图；其中，所述目标语义图包含所述目标分割图中所述目标对象的各个肢体部位的穿衣特征。
具体实施时，可以将原始分割图和第二身体模型输入至目标子网络A中进行处理，从而得到目标对象处于目标姿势下的目标分割图，例如，得到如图7(a)所示的分割图。之后，可以将原始语义图和第二身体模型输入至目标子网络B中进行处理，从而得到目标对象处于目标姿势下的目标语义图，例如，得到如图7(b)所示的语义图。其中，目标子网络A可以为目标子网络B结构相同或者不同的生成网络，其中，目标子网络A的输出结果为分割图，目标子网络B的输出结果为语义图。
这里，目标子网络可以为任意一种卷积神经网络，且目标子网络A和目标子网络B的网络结构相同，但是网络参数不相同，即目标子网络A和目标子网络B为通过各自的训练样本对相同的卷积神经网络进行训练之后得到的神经网络。
在得到目标分割图和目标语义图之后，可以将目标分割图和所述目标语义图确定为目标对象处于目标姿势下的第一语义分割图。例如，在目标姿势为如图2所示的姿势的情况下，可以得到图7(a)和图7(b)所示的语义分割图。
在本公开实施例中，在确定出第一语义分割图之后，可以基于第一语义分割图中的目标分割图，确定原始图像中目标对象的穿衣分割图，例如，基于图7(a)的分割图从原始图像中抠取得到目标对象的穿衣分割图；以及基于第一语义分割图中的目标语义图确定原始图像中目标对象的穿衣语义图，例如，基于图7(b)的分割图从原始图像确定携带目标对象的各个肢体部位的穿衣特征的穿衣语义图。
在一个可选的实施方式中，本公开实施例还包括如下步骤：获取原始图像的第二语义分割图，并获取所述目标对象处于原始姿势下的第二身体形态图；其中，所述第二语义分割图用于表征所述目标对象在原始姿势下各个肢体部位的位置信息，所述第二身体形态图中携带所述目标对象的完整穿着特征。
在此基础上，上述步骤S107：基于所述第一身体形态图和所述第一语义分割图确定携带所述目标对象的完整穿着特征的合成图像，包括：
步骤S1071：基于所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图，确定携带所述目标对象的穿着特征的合成图像。
在本公开实施例中，在得到合成图像之前，还可以获取原始图像的第二语义分割图，并获取所述目标对象处于源姿势下的第二身体形态图；其中，该第二语义分割图为按照上述所描述的方式确定的原始图像的第二语义分割图，例如，可以为图6(a)所示的分割图和图6(b)所示的语义图。第二身体形态图可以为基于原始图像确定的目标对象在原始姿势下的穿衣身体图。其中，基于原始图像所确定的第二身体形态图中携带目标对象的完整穿着特征。举例来说，可以基于图6(a)所示的分割图在原始图像中提取出目标对象在源姿势下的穿衣身体图，从而得到如图4所示的穿衣身体图(即，第二身体形态图)。
在获取到第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图之后，可以基于所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图，确定携带所述目标对象的穿着特征的合成图像，具体包括：
将所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图输入至图像生成网络中进行处理，得到所述合成图像。其中，图像生成网络可以为空间自适应归一化网络，其中，该空间自适应归一化网络可以为基于对抗式生成网络进行训练得到。
这里，空间自适应归一化网络可以为SPADE(Spatial Adaptive Normalization)网络；其中，SPADE网络可以将分割布局图转换为逼真的图片。在本公开实施例中，图像生成网络除了包含上述空间自适应归一化网络之外，图像生成网络还可以为其他网络，例如，能够替换空间自适应归一化网络的其他网络，或者能够实现空间自适应归一化网络的网络功能的其他网络，本公开对此不作具体限定。
在将第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图输入至图像生成器和空间自适应归一化网络中进行处理之后，可以得到合成图像。例如，可以得到如图8所示的合成图像，从图8可以看出，合成图像中包含目标对象的完整穿着特征，对于穿着较宽松服饰的目标对象依然可以得到较好的图像合成结果。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
参见图9所示，为本公开实施例提供的另一种图像生成方法的流程图，所述方法包括步骤S901～S908，其中：
步骤S901：获取原始图像和待转换的目标数据。
这里，该原始图像可以为通过电子设备的摄像头拍摄到的包含目标人体的图像，该目标人体即为上述实施例中的目标对象。
这里，待转换的目标数据中包含待转换的目标姿势参数。其中，目标数据可以为包含处于目标姿势的对象的图像，或者为包含处于目标姿势的对象的视频。
在本公开实施例中，在获取到原始图像之后，可以将原始图像进行像素值归一化处理，从而将原始图像中各个像素点的像素值归一化为[-a,a]范围内的数值，其中，a的取值可以为1，或者为其他的归一化后的数值，该a的取值可以根据归一化的实际需要进行设定，本公开对此不作具体限定。之后，可以修改原始图像的图片大小，例如，可以设置原始图像的图片大小为224*224和512*512，使其满足HMR(Human Mesh Recovery)人体姿态重建模型的输入要求。
步骤S902：基于原始图像确定模型参数；其中，模型参数用于指示原始图像中目标对象的姿态信息。
具体实施时，可以将处理之后的原始图像输入至HMR模型中进行处理，从而将HMR模型的输出结果作为模型参数，例如，SMPL模型的模型参数。
步骤S903：基于模型参数构建第一身体模型。
在本公开实施例中，可以基于模型参数调整初始模型中各顶点的位置信息；并基于调整后的各顶点的位置信息生成第一身体模型。
这里，该初始模型可以为SMPL模型中预先创建的与目标对象的对象类型相匹配的身体模型，比如，该预设初始模型可以为预先创建的人体模型。初始模型中包含多个顶点和基于多个顶点确定的三角面片。
具体实施时，可以预先根据目标对象的对象类型搭建相匹配的初始模型。例如，首先创建P个3D顶点vertex(即，上述顶点)以及Q个三角面片，进而通过P个3D顶点vertex(即，上述顶点)以及Q个三角面片来表示目标对象的身体。其中，P个3D顶点可以理解为该初始模型的P个骨骼点，三角面片可以理解为基于3D顶点vertex所组成的三角形，每个三角形对应三个3D顶点vertex。之后，可以基于该模型参数确定初始模型中每个顶点经过动作形变和体形形变之后的顶点坐标，进而基于该顶点坐标调整初始模型中每个顶点的位置信息，利用调整之后的顶点确定三角面片，并由若干个三角面片构成第一身体模型。
步骤S904：基于第一身体模型确定原始图像的纹理贴图。
具体实施时，可以将第一身体模型投影至原始图像，从而建立第一身体模型和原始图像之间的投影关系。其中，该投影关系用于指示第一身体模型中的顶点和原始图像中像素点之间的对应关系。基于该投影关系确定原始图像中与第一身体模型的各顶点相对应的像素点的像素值。获取第一身体模型的顶点和纹理贴图中各坐标之间的对应关系，进而可以基于该对应关系将第一身体模型的各顶点所对应的像素点渲染至纹理贴图上，从而得到原始图像的纹理贴图。
步骤S905：基于纹理贴图和目标姿势参数确定目标对象处于目标姿势下的第一身体形态图。
在本公开实施例中，可以首先基于第一身体模型和目标姿势参数确定目标对象处于目标姿势下的第二身体模型。之后，就可以基于纹理贴图的像素点和第二身体模型中各顶点之间的映射关系，将纹理贴图渲染至所述第二身体模型，得到第一身体形态图。
步骤S906：确定目标对象处于目标姿势下的第一语义分割图。
在本公开实施例中，可以获取步骤S905中所确定的第二身体模型，并确定原始图像的第二语义分割图；其中，第二语义分割图用于指示所述目标对象在原始姿势下肢体部位的穿着特征，进而基于第二身体模型和第二语义分割图，生成第一语义分割图。
这里，第二语义分割图包含目标对象在原始姿势下的原始分割图和原始语义图。在本公开实施例中，可以通过原始分割图和第二身体模型生成目标姿势下的目标分割图，以及通过原始语义图和第二身体模型生成目标姿势下的目标语义图，其中，目标对象处于目标姿势下的第一语义分割图包含目标分割图和目标语义图，具体过程描述如下：
将原始分割图和第二身体模型输入至目标子网络中，得到目标对象处于目标姿势下的目标分割图；其中，所述目标分割图包含所述目标对象处于所述目标姿势时全部身体部位的穿衣特征；以及将原始语义图和第二身体模型输入至目标子网络中，得到目标对象处于目标姿势下的目标语义图，目标语义图包含所述目标分割图中所述目标对象的各个肢体部位的穿衣特征。
步骤S907：获取目标对象处于原始姿势下的第二身体形态图。
步骤S908：基于第一身体形态图、第一语义分割图、第二身体形态图和所述第二语义分割图，确定携带目标对象的完整穿着特征的合成图像。
具体实施时，可以将所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图输入至图像生成网络中进行处理，得到所述合成图像。
这里，图像生成网络可以为空间自适应归一化网络，其中，该空间自适应归一化网络可以为基于对抗式生成网络进行训练得到。
在本公开实施例中，可以通过基于原始图像和目标姿势参数确定第一身体形态图，从而得到更加准确的目标对象的身体形态信息；之后，通过确定第一语义分割图，可以得到目标对象完整的穿着特征，从而解决现有参数化人体模型无法获得位于人体模型外的纹理信息和几何信息的问题。在基于第一身体形态图和第一语义分割图确定合成图像时，可以提升图像合成效果，在原始姿势和目标姿势之间差异较大的情况下，依然可以得到姿态更加准确的合成图像，并且对于穿着较宽松服饰的目标对象依然可以得到较好的图像合成结果。
基于同一发明构思，本公开实施例中还提供了与图像生成方法对应的图像生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图10所示，为本公开实施例提供的一种图像生装置的示意图，所述装置包括：获取单元110、第一确定单元120、第二确定单元130；其中，
获取单元110，用于获取原始图像；所述原始图像中包含处于原始姿势的目标对象；
第一确定单元120，用于基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图；以及，确定目标对象处于所述目标姿势下的第一语义分割图；所述第一语义分割图用于指示所述目标对象的肢体部位的穿着特征；
第二确定单元130，用于基于所述第一身体形态图和所述第一语义分割图确定合成图像，其中，所述合成图像中包含处于所述目标姿势且具备所述穿着特征的目标对象。
一种可能的实施方式中，第一确定单元，还用于：基于所述原始图像构建所述目标对象的第一身体模型，并基于所述第一身体模型确定所述原始图像的纹理贴图；基于所述纹理贴图和所述目标姿势参数确定所述目标对象处于目标姿势下的第一身体形态图。
一种可能的实施方式中，第一确定单元，还用于：基于所述原始图像确定第一身体模型的模型参数；其中，所述模型参数用于指示所述原始图像中所述目标对象的姿态信息；基于所述模型参数调整初始模型中各顶点的位置信息；基于调整后的各顶点的位置信息生成所述第一身体模型。
一种可能的实施方式中，第一确定单元，还用于：基于所述第一身体模型和所述目标姿势参数确定所述目标对象处于目标姿势下的第二身体模型；基于所述纹理贴图的像素点和各顶点之间的映射关系，将所述纹理贴图渲染至所述第二身体模型，得到所述第一身体形态图。
一种可能的实施方式中，第一确定单元，还用于：确定所述原始图像的第二语义分割图；其中，所述第二语义分割图用于指示所述目标对象在原始姿势下肢体部位的穿着特征；基于所述第二语义分割图生成所述第一语义分割图。
一种可能的实施方式中，第一确定单元，还用于：获取所述目标对象处于目标姿势下的第二身体模型；其中，所述第二身体模型为基于第一身体模型和所述目标姿势参数确定的，所述第一身体模型为基于所述原始图像构建所述目标对象的身体模型；基于所述第二身体模型和所述第二语义分割图，生成所述第一语义分割图。
一种可能的实施方式中，在第二语义分割图包括原始语义图和原始分割图，所述第一语义分割图包括目标分割图和目标语义图的情况下；第一确定单元，还用于：基于所述原始分割图生成所述目标对象处于所述目标姿势下的目标分割图；其中，所述目标分割图包含所述目标对象处于所述目标姿势时全部身体部位的穿衣特征；基于所述原始语义图生成所述目标对象处于所述目标姿势下的目标语义图；其中，所述目标语义图包含所述目标分割图中所述目标对象的各个肢体部位的穿衣特征。
一种可能的实施方式中，该装置还用于：获取原始图像的第二语义分割图，并获取所述目标对象处于原始姿势下的第二身体形态图；其中，所述第二语义分割图用于表征所述目标对象在原始姿势下各个肢体部位的位置信息，所述第二身体形态图中携带所述目标对象的完整穿着特征；第二确定单元，还用于：基于所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图，确定携带所述目标对象的穿着特征的合成图像。
一种可能的实施方式中，第二确定单元，还用于：将所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图输入至图像生成网络中进行处理，得到所述合成图像。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的图像生成方法，本公开实施例还提供了一种电子设备1100，如图11所示，为本公开实施例提供的电子设备1100结构示意图，包括：
处理器111、存储器112、和总线113；存储器112用于存储执行指令，包括内存1121和外部存储器1122；这里的内存1121也称内存储器，用于暂时存放处理器111中的运算数据，以及与硬盘等外部存储器1122交换的数据，处理器111通过内存1121与外部存储器1122进行数据交换，当所述电子设备1100运行时，所述处理器111与所述存储器112之间通过总线113通信，使得所述处理器111执行以下指令：
获取原始图像；所述原始图像中包含处于原始姿势的目标对象；
基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图；以及，确定目标对象处于所述目标姿势下的第一语义分割图；所述第一语义分割图包含所述目标对象的肢体部位的穿着特征；
基于所述第一身体形态图和所述第一语义分割图确定合成图像，其中，所述合成图像中包含处于所述目标姿势且具备所述穿着特征的目标对象。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种图像生成方法，其特征在于，包括：
获取原始图像；所述原始图像中包含处于原始姿势的目标对象；
基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图；以及，确定目标对象处于所述目标姿势下的第一语义分割图；所述第一语义分割图用于指示所述目标对象的肢体部位的穿着特征；
基于所述第一身体形态图和所述第一语义分割图确定合成图像，其中，所述合成图像中包含处于所述目标姿势且具备所述穿着特征的目标对象。
2.根据权利要求1所述的方法，其特征在于，所述基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图，包括：
基于所述原始图像构建所述目标对象的第一身体模型，并基于所述第一身体模型确定所述原始图像的纹理贴图；
基于所述纹理贴图和所述目标姿势参数确定所述目标对象处于目标姿势下的第一身体形态图。
3.根据权利要求2所述的方法，其特征在于，所述基于所述原始图像构建所述目标对象的第一身体模型，包括：
基于所述原始图像确定第一身体模型的模型参数；其中，所述模型参数用于指示所述原始图像中所述目标对象的姿态信息；
基于所述模型参数调整初始模型中各顶点的位置信息；
基于调整后的各顶点的位置信息生成所述第一身体模型。
4.根据权利要求2或3所述的方法，其特征在于，所述基于所述纹理贴图和所述目标姿势参数确定所述目标对象处于目标姿势下的第一身体形态图，包括：
基于所述第一身体模型和所述目标姿势参数确定所述目标对象处于目标姿势下的第二身体模型；
基于所述纹理贴图的像素点和各顶点之间的映射关系，将所述纹理贴图渲染至所述第二身体模型，得到所述第一身体形态图。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述确定目标对象处于所述目标姿势下的第一语义分割图，包括：
确定所述原始图像的第二语义分割图；其中，所述第二语义分割图用于指示所述目标对象在原始姿势下肢体部位的穿着特征；
基于所述第二语义分割图生成所述第一语义分割图。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第二语义分割图生成所述第一语义分割图，包括：
获取所述目标对象处于目标姿势下的第二身体模型；其中，所述第二身体模型为基于第一身体模型和所述目标姿势参数确定的，所述第一身体模型为基于所述原始图像构建所述目标对象的身体模型；
基于所述第二身体模型和所述第二语义分割图，生成所述第一语义分割图。
7.根据权利要求5或6所述的方法，其特征在于，所述第二语义分割图包括原始语义图和原始分割图；所述第一语义分割图包括目标分割图和目标语义图；
所述基于所述第二语义分割图生成所述第一语义分割图，包括：
基于所述原始分割图生成所述目标对象处于所述目标姿势下的目标分割图；其中，所述目标分割图包含所述目标对象处于所述目标姿势时全部身体部位的穿衣特征；
基于所述原始语义图生成所述目标对象处于所述目标姿势下的目标语义图；其中，所述目标语义图包含所述目标分割图中所述目标对象的各个肢体部位的穿衣特征。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：
获取原始图像的第二语义分割图，并获取所述目标对象处于原始姿势下的第二身体形态图；其中，所述第二语义分割图用于表征所述目标对象在原始姿势下各个肢体部位的位置信息，所述第二身体形态图中携带所述目标对象的完整穿着特征；
所述基于所述第一身体形态图和所述第一语义分割图确定携带所述目标对象的完整穿着特征的合成图像，包括：
基于所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图，确定携带所述目标对象的完整穿着特征的合成图像。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图，确定携带所述目标对象的完整穿着特征的合成图像，包括：
将所述第一身体形态图、所述第一语义分割图、所述第二身体形态图和所述第二语义分割图输入至图像生成网络中进行处理，得到所述合成图像。
10.一种图像生成装置，其特征在于，包括：
获取单元，用于获取原始图像；所述原始图像中包含处于原始姿势的目标对象；
第一确定单元，用于基于所述原始图像及待转换的目标姿势参数，确定所述目标对象处于目标姿势下的第一身体形态图；以及，确定目标对象处于所述目标姿势下的第一语义分割图；所述第一语义分割图用于指示所述目标对象的肢体部位的穿着特征；
第二确定单元，用于基于所述第一身体形态图和所述第一语义分割图确定合成图像，其中，所述合成图像中包含处于所述目标姿势且具备所述穿着特征的目标对象。
11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的图像生成方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任一所述的图像生成方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210187560.7A CN114581288A (zh) | 2022-02-28 | 2022-02-28 | 一种图像生成方法、装置、电子设备以及存储介质 |
| PCT/CN2022/134861 WO2023160074A1 (zh) | 2022-02-28 | 2022-11-29 | 一种图像生成方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210187560.7A CN114581288A (zh) | 2022-02-28 | 2022-02-28 | 一种图像生成方法、装置、电子设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114581288A true CN114581288A (zh) | 2022-06-03 |
Family
ID=81777709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210187560.7A Withdrawn CN114581288A (zh) | 2022-02-28 | 2022-02-28 | 一种图像生成方法、装置、电子设备以及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114581288A (zh) |
| WO (1) | WO2023160074A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023160074A1 (zh) * | 2022-02-28 | 2023-08-31 | 上海商汤智能科技有限公司 | 一种图像生成方法、装置、电子设备以及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977847B (zh) * | 2019-03-22 | 2021-07-16 | 北京市商汤科技开发有限公司 | 图像生成方法及装置、电子设备和存储介质 |
| US11055888B2 (en) * | 2019-08-27 | 2021-07-06 | Shenzhen Malong Technologies Co., Ltd. | Appearance-flow-based image generation |
| CN111275518B (zh) * | 2020-01-15 | 2023-04-21 | 中山大学 | 一种基于混合光流的视频虚拟试穿方法及装置 |
| CN113658309B (zh) * | 2021-08-25 | 2023-08-01 | 北京百度网讯科技有限公司 | 三维重建方法、装置、设备以及存储介质 |
| CN113838166B (zh) * | 2021-09-22 | 2023-08-29 | 网易（杭州）网络有限公司 | 图像特征迁移方法、装置、存储介质及终端设备 |
| CN114529940A (zh) * | 2022-01-19 | 2022-05-24 | 华南理工大学 | 基于姿态引导的人体图像生成方法 |
| CN114581288A (zh) * | 2022-02-28 | 2022-06-03 | 北京大甜绵白糖科技有限公司 | 一种图像生成方法、装置、电子设备以及存储介质 |
-
2022
- 2022-02-28 CN CN202210187560.7A patent/CN114581288A/zh not_active Withdrawn
- 2022-11-29 WO PCT/CN2022/134861 patent/WO2023160074A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023160074A1 (zh) * | 2022-02-28 | 2023-08-31 | 上海商汤智能科技有限公司 | 一种图像生成方法、装置、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023160074A1 (zh) | 2023-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Learning a shared shape space for multimodal garment design | |
| Lassner et al. | A generative model of people in clothing | |
| Yang et al. | Physics-inspired garment recovery from a single-view image | |
| Cheng et al. | Parametric modeling of 3D human body shape—A survey | |
| CA2863097C (en) | System and method for simulating realistic clothing | |
| Yang et al. | Detailed garment recovery from a single-view image | |
| Zurdo et al. | Animating wrinkles by example on non-skinned cloth | |
| Huang et al. | Tech: Text-guided reconstruction of lifelike clothed humans | |
| Zhao et al. | 3-D reconstruction of human body shape from a single commodity depth camera | |
| CN113496507A (zh) | 一种人体三维模型重建方法 | |
| Li et al. | In-home application (App) for 3D virtual garment fitting dressing room | |
| CN112102480B (zh) | 图像数据处理方法、装置、设备以及介质 | |
| CN114067088A (zh) | 虚拟穿戴方法、装置、设备、存储介质及程序产品 | |
| CN110298917B (zh) | 一种人脸重建方法及系统 | |
| Yan et al. | Inspiration transfer for intelligent design: A generative adversarial network with fashion attributes disentanglement | |
| CN114375463A (zh) | 从身体的隐藏扫描中估计裸露体形的方法 | |
| WO2023160074A1 (zh) | 一种图像生成方法、装置、电子设备以及存储介质 | |
| Tuan et al. | Multiple pose virtual try-on based on 3d clothing reconstruction | |
| Liu | Computer 5G virtual reality environment 3D clothing design | |
| Xie et al. | Non-parametric anthropometric graph convolutional network for virtual mannequin reconstruction | |
| Liu et al. | Three-dimensional cartoon facial animation based on art rules | |
| Cheng et al. | A 3D virtual show room for online apparel retail shop | |
| Huang et al. | A method of shadow puppet figure modeling and animation | |
| Li et al. | A deep learning based interactive sketching system for fashion images design | |
| Magnenat-Thalmann et al. | Automatic modeling of animatable virtual humans-a survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40067403 Country of ref document: HK |
|
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220603 |
|
| WW01 | Invention patent application withdrawn after publication |