CN114299204A - 三维动漫人物模型生成方法及装置 - Google Patents
三维动漫人物模型生成方法及装置 Download PDFInfo
- Publication number
- CN114299204A CN114299204A CN202111583286.7A CN202111583286A CN114299204A CN 114299204 A CN114299204 A CN 114299204A CN 202111583286 A CN202111583286 A CN 202111583286A CN 114299204 A CN114299204 A CN 114299204A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- sample
- dimensional image
- target
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例提供一种三维动漫人物模型生成方法及装置，包括：获取目标二维图像，所述目标二维图像中包括目标动漫人物；将所述目标二维图像输入目标模型中，得到所述目标动漫人物的三维数据，所述目标模型是通过多组训练样本训练得到的，每组训练样本中包括一个样本二维图像和所述样本二维图像的标注数据，所述样本二维图像中包括样本动漫人物；根据所述三维数据，生成所述目标动漫人物对应的三维动漫人物模型。本申请实施例的方案，通过训练完成的目标模型对目标二维图像进行处理，即可得到三维动漫人物模型，进而可以根据三维动漫人物模型进行后续三维动漫的制作，计算资源和人力资源消耗较小，效率较高。
Description
技术领域
本申请实施例涉及人工智能技术领域，尤其涉及一种三维动漫人物模型生成方法及装置。
背景技术
动漫是一种广泛传播的文化形式，能够实现对各种复杂抽象的事物的生动表达，受到人们的广泛喜爱。
随着科技的发展以及人们审美水平的提高，动漫行业逐渐从二维动漫向三维动漫转变。三维动漫中的动漫人物具有较强的可塑性，制作三维动漫的方法主要是依据动漫人物生成相应的三维动漫人物模型，然后根据三维动漫人物模型制作三维动漫。
目前三维动漫人物模型的制作方法主要是通过一些图像处理软件等工具完成，需要耗费大量的计算资源以及大量的人力资源，效率较低。
发明内容
本申请实施例提供一种三维动漫人物模型生成方法及装置，以解决上述技术问题。
第一方面，本申请实施例提供一种三维动漫人物模型生成方法，包括：
获取目标二维图像，所述目标二维图像中包括目标动漫人物；
获取目标二维图像，所述目标二维图像中包括目标动漫人物；
将所述目标二维图像输入目标模型中，得到所述目标动漫人物的三维数据，所述目标模型是通过多组训练样本训练得到的，每组训练样本中包括一个样本二维图像和所述样本二维图像的标注数据，所述样本二维图像中包括样本动漫人物；
根据所述三维数据，生成所述目标动漫人物对应的三维动漫人物模型。
在一种可能的实施方式中，所述目标模型包括编码器模块、变换模块和解码器模块；所述将所述目标二维图像输入目标模型中，得到所述目标动漫人物的三维数据，包括：
将所述目标二维图像输入所述编码器模块，得到所述编码器模块输出的所述目标动漫人物的二维图像特征；
将所述二维图像特征输入所述变换模块，得到所述变换模块输出的所述二维图像特征对应的张量特征；
将所述张量特征输入所述解码器模块，得到所述解码器模块输出的所述三维数据。
在一种可能的实施方式中，所述编码器模块包括多个并行的子编码模块；所述将所述目标二维图像输入所述编码器模块，得到所述编码器模块输出的所述目标动漫人物的二维图像特征，包括：
根据各所述子编码模块对所述目标二维图像处理，得到各所述子编码模块对应的二维图像特征；
根据各所述子编码模块对应的二维图像特征，得到所述目标动漫人物的二维图像特征。
在一种可能的实施方式中，所述解码器模块包括多个依次排布的子解码器模块，所述子解码器模块中包含依次排布的三维点卷积处理单元和三维反卷积处理单元，所述将所述张量特征输入所述解码器模块，得到所述解码器模块输出的所述三维数据，包括：
将所述张量特征输入第一个子解码器模块中的三维点卷积处理单元，得到最后一个子解码器模块中的三维反卷积处理单元输出的所述三维数据，其中，在每个子解码器模块中，三维点卷积处理单元的输出为三维反卷积处理单元的输入；在不同子解码器模块中，前一个子解码器模块中三维反卷积处理单元的输出为后一个子解码器模块中三维点卷积处理单元的输入。
在一种可能的实施方式中，所述目标模型通过如下步骤训练得到：
获取训练样本，所述训练样本中包括第一样本二维图像、第二样本二维图像以及样本三维真值图，所述第一样本二维图像中包括第一样本动漫人物，所述第二样本二维图像中包括第二样本动漫人物，所述样本三维真值图为所述第一样本二维图像的第一标注数据；
将所述第二样本二维图像输入至标注模型，得到所述标注模型输出的第二标注数据，所述标注模型是通过所述第一样本二维图像和所述样本三维真值图训练得到的，所述标注模型用于标注所述第二样本二维图像；
根据所述训练样本和所述第二标注数据对目标模型进行训练，得到训练好的目标模型。
在一种可能的实施方式中，所述根据所述训练样本和所述第二标注数据对目标模型进行训练，得到训练好的目标模型，包括：
根据所述第二样本二维图像和所述第二标注数据对目标模型进行训练，得到初步训练的目标模型；
根据所述第一样本二维图像和所述样本三维真值图对初步训练的目标模型进行训练，得到训练好的所述目标模型。
在一种可能的实施方式中，所述根据所述第二样本二维图像和所述第二标注数据对所述目标模型进行训练，得到初步训练的目标模型，包括：
对所述第二样本二维图像进行图像处理，生成第三样本二维图像；
将所述第二样本二维图像输入至所述目标模型，得到所述目标模型输出的所述第二样本二维图像对应的三维数据；
将所述第三样本二维图像输入至所述目标模型，得到所述目标模型输出的所述第三样本二维图像对应的三维数据；
根据所述第二样本二维图像对应的三维数据与所述第二标注数据之间的差值，以及所述第三样本二维图像对应的三维数据与所述第二标注数据之间的差值，对所述目标模型的参数进行调整，得到初步训练的目标模型。
第二方面，本申请实施例提供一种三维动漫人物模型生成装置，包括：
获取模块，用于获取目标二维图像，所述目标二维图像中包括目标动漫人物；
处理模块，用于将所述目标二维图像输入目标模型中，得到所述目标动漫人物的三维数据，所述目标模型是通过多组训练样本训练得到的，每组训练样本中包括一个样本二维图像和所述样本二维图像的标注数据，所述样本二维图像中包括样本动漫人物；
生成模块，用于根据所述三维数据，生成所述目标动漫人物对应的三维动漫人物模型。
在一种可能的实施方式中，所述目标模型包括编码器模块、变换模块和解码器模块；所述处理模块具体用于：
将所述目标二维图像输入所述编码器模块，得到所述编码器模块输出的所述目标动漫人物的二维图像特征；
将所述二维图像特征输入所述变换模块，得到所述变换模块输出的所述二维图像特征对应的张量特征；
将所述张量特征输入所述解码器模块，得到所述解码器模块输出的所述三维数据。
在一种可能的实施方式中，所述编码器模块包括多个并行的子编码模块；所述处理模块具体用于：
根据各所述子编码模块对所述目标二维图像处理，得到各所述子编码模块对应的二维图像特征；
根据各所述子编码模块对应的二维图像特征，得到所述目标动漫人物的二维图像特征。
在一种可能的实施方式中，所述解码器模块包括多个依次排布的子解码器模块，所述子解码器模块中包含依次排布的三维点卷积处理单元和三维反卷积处理单元；所述处理模块具体用于：
将所述张量特征输入第一个子解码器模块中的三维点卷积处理单元，得到最后一个子解码器模块中的三维反卷积处理单元输出的所述三维数据，其中，在每个子解码器模块中，三维点卷积处理单元的输出为三维反卷积处理单元的输入；在不同子解码器模块中，前一个子解码器模块中三维反卷积处理单元的输出为后一个子解码器模块中三维点卷积处理单元的输入。
在一种可能的实施方式中，所述处理模块还用于通过如下步骤训练得到所述目标模型：
获取训练样本，所述训练样本中包括第一样本二维图像、第二样本二维图像以及样本三维真值图，所述第一样本二维图像中包括第一样本动漫人物，所述第二样本二维图像中包括第二样本动漫人物，所述样本三维真值图为所述第一样本二维图像的第一标注数据；
将所述第二样本二维图像输入至标注模型，得到所述标注模型输出的第二标注数据，所述标注模型是通过所述第一样本二维图像和所述样本三维真值图训练得到的，所述标注模型用于标注所述第二样本二维图像；
根据所述训练样本和所述第二标注数据对目标模型进行训练，得到训练好的目标模型。
在一种可能的实施方式中，所述处理模块具体还用于：
根据所述第二样本二维图像和所述第二标注数据对目标模型进行训练，得到初步训练的目标模型；
根据所述第一样本二维图像和所述样本三维真值图对初步训练的目标模型进行训练，得到训练好的所述目标模型。
在一种可能的实施方式中，所述处理模块具体还用于：
对所述第二样本二维图像进行图像处理，生成第三样本二维图像；
将所述第二样本二维图像输入至所述目标模型，得到所述目标模型输出的所述第二样本二维图像对应的三维数据；
将所述第三样本二维图像输入至所述目标模型，得到所述目标模型输出的所述第三样本二维图像对应的三维数据；
根据所述第二样本二维图像对应的三维数据与所述第二标注数据之间的差值，以及所述第三样本二维图像对应的三维数据与所述第二标注数据之间的差值，对所述目标模型的参数进行调整，得到初步训练的目标模型。
第三方面，本申请实施例提供一种三维动漫人物模型生成设备，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如第一方面中任一所述的三维动漫人物模型生成方法。
第四方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如第一方面中任一所述的三维动漫人物模型生成方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一所述的三维动漫人物模型生成方法。
本申请实施例提供的三维动漫人物模型生成方法及装置，首先获取目标二维图像，该目标二维图像中包括目标动漫人物，然后将目标二维图像输入至目标模型中，得到目标动漫人物的三维数据，从而可以根据该三维数据生成目标动漫人物对应的三维动漫人物模型。本申请实施例的方案，无需通过图像处理软件等工具制作三维动漫人物模型，而是通过训练完成的目标模型对目标二维图像进行处理，即可得到三维动漫人物模型，进而可以根据三维动漫人物模型进行后续三维动漫的制作，计算资源和人力资源消耗较小，效率较高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请实施例提供的三维动漫人物模型生成方法的流程示意图；
图3为本申请实施例提供的三维动漫人物模型重建流程示意图；
图4为本申请实施例提供的目标模型结构示意图；
图5为本申请实施例提供的目标模型训练示意图；
图6为本申请实施例提供的三维动漫人物模型生成装置的结构示意图；
图7为本申请实施例提供的三维动漫人物模型生成设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
动漫是广泛受到喜爱的一种文化传播形式，能够对各种复杂抽象的食物进行生动表达。动漫随着时代发展，从手绘动漫到计算机动漫，再到利用软件技术制作动漫，经过了不同的发展历程。随着科技的发展，三维动漫逐渐取代二维动漫，成为动漫产业的主流。
三维动漫的制作方法主要基于三维动漫人物模型来完成，因此，三维动漫人物模型的制作是影响三维动漫的制作的主要因素。目前，三维动漫人物模型主要是通过大型的图像处理软件来完成的，制作三维动漫人物模型的过程需要耗费大量的计算资源以及创作者大量的时间精力。基于此，本申请提供一种三维动漫人物模型生成的方案，以减小三维动漫人物模型制作所耗费的计算资源和人力资源。
图1为本申请实施例提供的一种应用场景示意图，如图1所示，包括服务器11和客户端12，客户端12主要用于获取二维图像，并发送给服务器11，二维图像中包括动漫人物。服务器11对二维图像进行处理，生成对应的三维动漫人物模型。
在一些实施例中，服务器11和客户端12可以为两个独立的设备，在另一些实施例中，服务器11和客户端12可以集成在一个设备中。客户端12在将二维图像发送给服务器11后，服务器11基于人工智能技术对二维图像进行处理。人工智能具有高度的判断能力和深度学习能力，不仅可以降低三维动漫人物模型的制作成本，提高制作效率，还可以带动技术研发，将人工智能技术引入动漫产业，能够大大提高动漫制作的自动化水平。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的三维动漫人物模型生成方法的流程示意图，如图2所示，该方法可以包括：
S21，获取目标二维图像，目标二维图像中包括目标动漫人物。
本申请实施例的执行主体可以是服务器，也可以是集成了服务器的功能的各种终端设备。在需要生成三维动漫人物模型时，首先获取目标二维图像，目标二维图像中包括目标动漫人物，目标动漫人物为希望生成的动漫人物。目标二维图像中包括的目标动漫人物的数量可以为一个或多个。
S22，将目标二维图像输入目标模型中，得到目标动漫人物的三维数据，目标模型是通过多组训练样本训练得到的，每组训练样本中包括一个样本二维图像和样本二维图像的标注数据，样本二维图像中包括样本动漫人物。
目标模型可以通过多组训练样本训练得到，每组训练样本中包括样本二维图像和样本二维图像的标注数据。每个样本二维图像上包括样本动漫人物，对应的样本二维图像的标注数据为对该样本二维图像上的样本动漫人物进行三维数据的标注的数据，用于反映样本动漫人物的三维信息。样本二维图像的标注数据例如可以为样本二维图像的三维真值图。
在训练目标模型时，针对每组训练样本而言，可以将样本二维图像输入至目标模型中，通过目标模型对样本二维图像进行处理，得到目标模型输出的三维数据，然后将目标模型输出的三维数据与对应的样本二维图像的标注数据进行比较，根据目标模型输出的三维数据与对应的样本二维图像的标注数据之间的差别对目标模型的参数进行调整。
针对每组训练样本，均可以采用上述方式进行处理，最终得到训练好的目标模型。在目标模型训练好之后，目标模型具有获取二维图像上的动漫人物的三维数据的功能。在获取目标二维图像后，可以将目标二维图像输入至目标模型中，由目标模型对目标二维图像进行处理，得到该目标动漫人物的三维数据。
S23，根据三维数据，生成目标动漫人物对应的三维动漫人物模型。
三维数据用于指示目标动漫人物的三维信息，三维数据例如可以为目标动漫人物的点云数据，例如可以为目标动漫人物的各个点的三维坐标，等等。在得到目标动漫人物的三维数据后，可以根据该三维数据生成目标动漫人物对应的三维动漫人物模型，生成的三维动漫人物模型可以用于后续制作三维动漫。
本申请实施例提供的三维动漫人物模型生成方法，首先获取目标二维图像，该目标二维图像中包括目标动漫人物，然后将目标二维图像输入至目标模型中，得到目标动漫人物的三维数据，从而可以根据该三维数据生成目标动漫人物对应的三维动漫人物模型。本申请实施例的方案，无需通过图像处理软件等工具制作三维动漫人物模型，而是通过训练完成的目标模型对目标二维图像进行处理，即可得到三维动漫人物模型，进而可以根据三维动漫人物模型进行后续三维动漫的制作，计算资源和人力资源消耗较小，效率较高。
下面将结合附图对本申请的方案进行详细介绍。
图3为本申请实施例提供的三维动漫人物模型重建流程示意图，如图3所示，包括：
S31，二维动漫人物数据收集。
二维动漫人物数据的收集是用于后续进行目标模型的训练，二维动漫人物数据主要为样本二维图像，样本二维图像中包括动漫人物。本申请实施例中，样本二维图像可以从公共数据集中获取，样本二维图像主要可以包括第一样本二维图像和第二样本二维图像。
S32，二维动漫人物数据预处理。
在获取样本二维图像后，可以对样本二维图像进行预处理，使得样本二维图像更加适合进行网络模型的训练。预处理例如可以包括数据归一化处理、特征缩放处理、PCA白化处理等等。
S33，基于半监督学习的模型的构建。
本申请实施例中涉及到目标模型和标注模型的构建，目标模型和标注模型可以为同一模型结构，也可以是不同的模型结构。下面将结合图4对目标模型的构建进行介绍。
图4为本申请实施例提供的目标模型结构示意图，如图4所示，目标模型包括编码器模块、变换模块和解码器模块。在编码器模块，构造了多个并行的子编码模块，多个子编码模型是多个并行的多分支结构，用于提取二维图像特征。在变换模块，用于将提取到的二维图像特征变换为对应的张量特征。在解码器模块，对张量特征进行处理，得到二维图像中的动漫人物的三维数据。解码器模块对张量特征的处理，可以是进行三维反卷积处理和三维点卷积处理。
一种可能的实现方式是，解码器模块中可以包括多个依次排布的子解码器模块，子解码器模块中包括依次排布的三维点卷积处理单元和三维反卷积处理单元。三维点卷积处理单元用于对三维点卷积处理单元的输入进行三维点卷积处理，三维反卷积处理单元用于对三维反卷积处理单元的输入进行三维反卷积处理。当变换模块将提取到的图像特征变换为对应的张量特征后，可以将该张量特殊输入至第一个子解码器模块中的三维点卷积处理单元，各子解码器模块中的三维点卷积处理单元和三维反卷积处理单元依次对输入进行处理，得到相应的输出。其中，在不同的子解码器模块中，前一个子解码器模块中的三维反卷积处理单元的输出为后一个子解码器模块中的三维点卷积处理单元的输入。最终，从最后一个子解码器模块中的三维反卷积处理单元输入对应的三维数据。
S34，基于半监督学习的目标模型的训练。
在构建了目标模型后，可以对目标模型进行训练。在进行目标模型训练之前，首先要获取训练样本，训练样本中包括第一样本二维图像、第二样本二维图像以及样本三维真值图。
第一样本二维图像和第二样本二维图像均可以通过上述实施例中的S31和S32获取。任意一个第一样本二维图像中包括对应的第一样本动漫人物，不同的第一样本二维图像中包括的第一样本动漫人物可能不同。任意一个第二样本二维图像中包括对应的第二样本动漫人物，不同的第二样本二维图像中包括的第二样本动漫人物可能不同。样本三维真值图为第一样本二维图像的第一标注数据，样本三维真值图可以通过对应的3D动画制作软件得到。可选的，在通过3D动画制作软件得到样本三维真值图后，可以通过数据转换，将样本三维真值图的格式转换为可供进行模型训练的数据输入形式。
由于三维真值图的制作比较费时费力，而目标模型的训练需要大量的训练样本，因此为了兼顾人力成本、效率以及三维动漫人物模型的重建效果，本申请实施例中可以采用基于半监督的模型训练方法来训练目标模型。
图5为本申请实施例提供的目标模型训练示意图，如图5所示，首先可以通过有标签的动漫数据训练标注模型，其中，有标签的动漫数据即为第一样本二维图像和对应的样本三维真值图。
标注模型的结构可以和目标模型相同，也可以和目标模型不同。在构建了标注模型之后，可以将第一样本二维图像输入至标注模型，得到标注模型输出的三维数据。然后，根据标注模型输出的三维数据和该第一样本二维图像对应的样本三维真值图之间的差值，对标注模型的参数进行调整。针对任意一个第一样本二维图像，均可以通过上述方式来对标注模型进行训练，最终得到训练好的标注模型。
训练好的标注模型具体对二维图像进行标注的功能，用于标注第二样本二维图像。在标注模型训练完成之后，可以将第二样本二维图像输入至标注模型，得到标注模型输出的第二标注数据，第二标注数据即为第二样本图像的三维数据，第二标注数据可以看做是第二样本图像的伪标签。
在得到第二标注数据后，就可以根据训练样本和第二标注数据对目标模型进行训练。具体的，由于通过标注模型可以得到各个第二样本二维图像对应的第二标注数据，因此根据第二样本二维图像和第二标注数据可以对目标模型进行无标签的监督学习训练过程。即，首先根据第二样本二维图像和第二标注数据对目标模型进行训练，得到初步训练的目标模型。
一种可能的实现方式是，将第二样本二维图像输入至目标模型，得到目标模型输出的三维数据，然后将目标模型输出的三维数据和对应的第二标注数据之间的差值，对目标模型的参数进行调整。针对每个第二样本二维图像，均可以根据目标模型输出的对应的三维数据和第二标注数据之间的差值对目标模型的参数进行调整，得到初步训练的目标模型。
另一种可能的实现方式是，首先对第二样本二维图像进行图像处理，生成第三样本二维图像。对第二样本二维图像进行的图像处理，可以包括弱增强算法处理和/或强增强算法处理。弱增强算法处理例如可以包括对第二样本二维图像进行图像灰度值处理、对第二样本二维图像进行翻转处理等等。强增强算法处理例如可以包括对第二样本二维图像进行扭曲处理等等。弱增强算法处理和强增强算法处理原理为一致性正则化，即对于同一输入，即使受到一定的干扰，其预测结果应保持一致。
具体的，每个第二样本二维图像和对应的第三样本二维图像对应的标注数据均为第二标注数据。将第二样本二维图像输入至目标模型，可以得到目标模型输出的第二样本二维图像对应的三维数据，将第三样本二维图像输入至目标模型，得到目标模型输出的第三样本二维图像对应的三维数据，然后可以根据第二样本二维图像对应的三维数据与第二标注数据之间的差值，以及第三样本二维图像对应的三维数据与第二标注数据之间的差值，对目标模型的参数进行调整，得到初步训练的目标模型。
例如，第二样本二维图像A对应的标注数据为第二标注数据O，对第二样本二维图像A进行翻转处理得到了第三样本二维图像B，对第二样本二维图像A进行扭曲处理得到了第三样本二维图像C，则第二样本二维图像A、第三样本二维图像B、第三样本二维图像C的标注数据均为第二标注数据O。
通过对第二样本二维图像进行图像处理，一方面可以增加用于训练目标模型的训练集的数量，例如在图像处理之前，第二样本二维图像A和第二标注数据O为一组训练样本，在图像处理之后，第二样本二维图像A和第二标注数据O为一组训练样本，第三样本二维图像B和第二标注数据O为一组训练样本，第三样本二维图像C和第二标注数据O为一组训练样本，训练集的数量相应的增加。同时，还能够增强模型的鲁棒性，针对同一第二样本二维图像进行图像处理后的第三样本二维图像的输出结果能够保持一致。
由于第二样本二维图像是通过标注模型进行标注的，对应的第二标注数据可能存在不够准确的数据，因此为了提高模型训练的准确性，需要根据第一样本二维图像和样本三维真值图对初步训练的目标模型进行训练，得到训练好的目标模型。
具体的，可以将第一样本二维图像输入至初步训练的目标模型，得到初步训练的目标模型输出的第一样本动漫人物的三维数据，然后将初步训练的目标模型输出的第一样本动漫人物的三维数据与对应的样本三维真值图之间的差值，对初步训练的目标模型的参数进行调整。针对任意一个第一样本二维图像和对应的样本三维真值图，均通过上述方式来对初步训练的目标模型进行训练，从而得到训练完成的目标模型。
S35，三维动漫人物模型的重建。
在目标模型训练完成后，就具备通过二维图像进行三维动漫人物重建的功能。然后，可以根据想要进行三维重建的动漫人物，获取目标二维图像，目标二维图像中包括目标动漫人物，目标动漫人物即为想要进行三维重建的动漫人物。
然后将目标二维图像输入至目标模型中，得到目标动漫人物的三维数据。具体的，目标模型中包括编码器模块、变换模块和解码器模块，首先将目标二维图像输入至编码器模块，编码器模块对目标二维图像处理，得到编码器模块输出的目标动漫人物的二维图像特征。在编码器模块，设置了多个并行的子编码模块，每个子编码模块均对目标二维图像处理，得到各个子编码模块对应的二维图像特征，从而实现了对目标二维图像的多尺度的图像特征的提取，然后根据各个子编码模块对应的二维图像特征即可得到目标动漫人物的二维图像特征。
然后，将二维图像特征输入至变换模块，得到变换模块输出的二维图像特征的张量特征。在得到张量特征后，可以将张量特征输入至解码器模块。解码器模块中包括多个依次排布的子解码器模块，子解码器模块中包括依次排布的三维点卷积处理单元和三维反卷积处理单元，三维点卷积处理单元用于对该三维点卷积处理单元的输入进行三维点卷积处理，单位反卷积处理单元用于对该三维反卷积处理单元的输入进行三维反卷积处理。将张量特征输入至第一个子解码器模块中的三维点卷积处理单元，各个子解码器模块依次对相应的输入进行处理，得到相应的输出，在每个子解码器模块中，三维点卷积处理单元的输出为三维反卷积处理单元的输入；在不同子解码器模块中，前一个子解码器模块中三维反卷积处理单元的输出为后一个子解码器模块中三维点卷积处理单元的输入。最终，从最后一个子解码器模块中的三维反卷积处理单元输出目标动漫人物的三维数据。
三维数据用于指示目标动漫人物的三维信息，三维数据例如可以为目标动漫人物的点云数据，例如可以为目标动漫人物的各个点的三维坐标，等等。在得到目标动漫人物的三维数据后，可以根据该三维数据生成目标动漫人物对应的三维动漫人物模型，生成的三维动漫人物模型可以用于后续制作三维动漫。
本申请实施例提供的三维动漫人物模型生成方法，首先获取目标二维图像，该目标二维图像中包括目标动漫人物，然后将目标二维图像输入至目标模型中，得到目标动漫人物的三维数据，从而可以根据该三维数据生成目标动漫人物对应的三维动漫人物模型。本申请实施例的方案，无需通过图像处理软件等工具制作三维动漫人物模型，而是通过训练完成的目标模型对目标二维图像进行处理，即可得到三维动漫人物模型，同时，通过半监督学习的方法训练目标模型，能够在扩大训练集的基础上进一步的减小标注数据的工作量，进而可以根据三维动漫人物模型进行后续三维动漫的制作，计算资源和人力资源消耗较小，效率较高。
图6为本申请实施例提供的三维动漫人物模型生成装置的结构示意图，如图6所示，该装置包括：
获取模块61，用于获取目标二维图像，所述目标二维图像中包括目标动漫人物；
处理模块62，用于将所述目标二维图像输入目标模型中，得到所述目标动漫人物的三维数据，所述目标模型是通过多组训练样本训练得到的，每组训练样本中包括一个样本二维图像和所述样本二维图像的标注数据，所述样本二维图像中包括样本动漫人物；
生成模块63，用于根据所述三维数据，生成所述目标动漫人物对应的三维动漫人物模型。
在一种可能的实施方式中，所述目标模型包括编码器模块、变换模块和解码器模块；所述处理模块62具体用于：
将所述目标二维图像输入所述编码器模块，得到所述编码器模块输出的所述目标动漫人物的二维图像特征；
将所述二维图像特征输入所述变换模块，得到所述变换模块输出的所述二维图像特征对应的张量特征；
将所述张量特征输入所述解码器模块，得到所述解码器模块输出的所述三维数据。
在一种可能的实施方式中，所述编码器模块包括多个并行的子编码模块；所述处理模块62具体用于：
根据各所述子编码模块对所述目标二维图像处理，得到各所述子编码模块对应的二维图像特征；
根据各所述子编码模块对应的二维图像特征，得到所述目标动漫人物的二维图像特征。
在一种可能的实施方式中，所述解码器模块包括多个依次排布的子解码器模块，所述子解码器模块中包含依次排布的三维点卷积处理单元和三维反卷积处理单元；所述处理模块62具体用于：
将所述张量特征输入第一个子解码器模块中的三维点卷积处理单元，得到最后一个子解码器模块中的三维反卷积处理单元输出的所述三维数据，其中，在每个子解码器模块中，三维点卷积处理单元的输出为三维反卷积处理单元的输入；在不同子解码器模块中，前一个子解码器模块中三维反卷积处理单元的输出为后一个子解码器模块中三维点卷积处理单元的输入。
在一种可能的实施方式中，所述处理模块62还用于通过如下步骤训练得到所述目标模型：
获取训练样本，所述训练样本中包括第一样本二维图像、第二样本二维图像以及样本三维真值图，所述第一样本二维图像中包括第一样本动漫人物，所述第二样本二维图像中包括第二样本动漫人物，所述样本三维真值图为所述第一样本二维图像的第一标注数据；
将所述第二样本二维图像输入至标注模型，得到所述标注模型输出的第二标注数据，所述标注模型是通过所述第一样本二维图像和所述样本三维真值图训练得到的，所述标注模型用于标注所述第二样本二维图像；
根据所述训练样本和所述第二标注数据对目标模型进行训练，得到训练好的目标模型。
在一种可能的实施方式中，所述处理模块62具体还用于：
根据所述第二样本二维图像和所述第二标注数据对目标模型进行训练，得到初步训练的目标模型；
根据所述第一样本二维图像和所述样本三维真值图对初步训练的目标模型进行训练，得到训练好的所述目标模型。
在一种可能的实施方式中，所述处理模块62具体还用于：
对所述第二样本二维图像进行图像处理，生成第三样本二维图像；
将所述第二样本二维图像输入至所述目标模型，得到所述目标模型输出的所述第二样本二维图像对应的三维数据；
将所述第三样本二维图像输入至所述目标模型，得到所述目标模型输出的所述第三样本二维图像对应的三维数据；
根据所述第二样本二维图像对应的三维数据与所述第二标注数据之间的差值，以及所述第三样本二维图像对应的三维数据与所述第二标注数据之间的差值，对所述目标模型的参数进行调整，得到初步训练的目标模型。
本实施例提供的三维动漫人物模型生成装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
本申请实施例还可提供一种计算机程序产品，该计算机程序产品可以由处理器执行，在计算机程序产品被执行时，可实现上述任一所示的三维动漫人物模型生成方法。
图7为本申请实施例提供的三维动漫人物模型生成设备的硬件结构示意图，如图7所示，本实施例的三维动漫人物模型生成设备包括：处理器71以及存储器72；其中
存储器72，用于存储计算机执行指令；
处理器71，用于执行存储器存储的计算机执行指令，以实现上述实施例中三维动漫人物模型生成方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地，存储器72既可以是独立的，也可以跟处理器71集成在一起。
当存储器72独立设置时，该三维动漫人物模型生成设备还包括总线73，用于连接所述存储器72和处理器71。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上三维动漫人物模型生成设备所执行的三维动漫人物模型生成方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种三维动漫人物模型生成方法，其特征在于，包括：
获取目标二维图像，所述目标二维图像中包括目标动漫人物；
将所述目标二维图像输入目标模型中，得到所述目标动漫人物的三维数据，所述目标模型是通过多组训练样本训练得到的，每组训练样本中包括一个样本二维图像和所述样本二维图像的标注数据，所述样本二维图像中包括样本动漫人物；
根据所述三维数据，生成所述目标动漫人物对应的三维动漫人物模型。
2.根据权利要求1所述的方法，其特征在于，所述目标模型包括编码器模块、变换模块和解码器模块；所述将所述目标二维图像输入目标模型中，得到所述目标动漫人物的三维数据，包括：
将所述目标二维图像输入所述编码器模块，得到所述编码器模块输出的所述目标动漫人物的二维图像特征；
将所述二维图像特征输入所述变换模块，得到所述变换模块输出的所述二维图像特征对应的张量特征；
将所述张量特征输入所述解码器模块，得到所述解码器模块输出的所述三维数据。
3.根据权利要求2所述的方法，其特征在于，所述编码器模块包括多个并行的子编码模块；所述将所述目标二维图像输入所述编码器模块，得到所述编码器模块输出的所述目标动漫人物的二维图像特征，包括：
根据各所述子编码模块对所述目标二维图像处理，得到各所述子编码模块对应的二维图像特征；
根据各所述子编码模块对应的二维图像特征，得到所述目标动漫人物的二维图像特征。
4.根据权利要求2所述的方法，其特征在于，所述解码器模块包括多个依次排布的子解码器模块，所述子解码器模块中包含依次排布的三维点卷积处理单元和三维反卷积处理单元，所述将所述张量特征输入所述解码器模块，得到所述解码器模块输出的所述三维数据，包括：
将所述张量特征输入第一个子解码器模块中的三维点卷积处理单元，得到最后一个子解码器模块中的三维反卷积处理单元输出的所述三维数据，其中，在每个子解码器模块中，三维点卷积处理单元的输出为三维反卷积处理单元的输入；在不同子解码器模块中，前一个子解码器模块中三维反卷积处理单元的输出为后一个子解码器模块中三维点卷积处理单元的输入。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标模型通过如下步骤训练得到：
获取训练样本，所述训练样本中包括第一样本二维图像、第二样本二维图像以及样本三维真值图，所述第一样本二维图像中包括第一样本动漫人物，所述第二样本二维图像中包括第二样本动漫人物，所述样本三维真值图为所述第一样本二维图像的第一标注数据；
将所述第二样本二维图像输入至标注模型，得到所述标注模型输出的第二标注数据，所述标注模型是通过所述第一样本二维图像和所述样本三维真值图训练得到的，所述标注模型用于标注所述第二样本二维图像；
根据所述训练样本和所述第二标注数据对目标模型进行训练，得到训练好的目标模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述训练样本和所述第二标注数据对目标模型进行训练，得到训练好的目标模型，包括：
根据所述第二样本二维图像和所述第二标注数据对目标模型进行训练，得到初步训练的目标模型；
根据所述第一样本二维图像和所述样本三维真值图对初步训练的目标模型进行训练，得到训练好的所述目标模型。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第二样本二维图像和所述第二标注数据对所述目标模型进行训练，得到初步训练的目标模型，包括：
对所述第二样本二维图像进行图像处理，生成第三样本二维图像；
将所述第二样本二维图像输入至所述目标模型，得到所述目标模型输出的所述第二样本二维图像对应的三维数据；
将所述第三样本二维图像输入至所述目标模型，得到所述目标模型输出的所述第三样本二维图像对应的三维数据；
根据所述第二样本二维图像对应的三维数据与所述第二标注数据之间的差值，以及所述第三样本二维图像对应的三维数据与所述第二标注数据之间的差值，对所述目标模型的参数进行调整，得到初步训练的目标模型。
8.一种三维动漫人物模型生成装置，其特征在于，包括：
获取模块，用于获取目标二维图像，所述目标二维图像中包括目标动漫人物；
处理模块，用于将所述目标二维图像输入目标模型中，得到所述目标动漫人物的三维数据，所述目标模型是通过多组训练样本训练得到的，每组训练样本中包括一个样本二维图像和所述样本二维图像的标注数据，所述样本二维图像中包括样本动漫人物；
生成模块，用于根据所述三维数据，生成所述目标动漫人物对应的三维动漫人物模型。
9.一种三维动漫人物模型生成设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1-7中任一所述的三维动漫人物模型生成方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一所述的三维动漫人物模型生成方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的三维动漫人物模型生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583286.7A CN114299204B (zh) | 2021-12-22 | 2021-12-22 | 三维动漫人物模型生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583286.7A CN114299204B (zh) | 2021-12-22 | 2021-12-22 | 三维动漫人物模型生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114299204A true CN114299204A (zh) | 2022-04-08 |
| CN114299204B CN114299204B (zh) | 2023-04-18 |
Family
ID=80968824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111583286.7A Active CN114299204B (zh) | 2021-12-22 | 2021-12-22 | 三维动漫人物模型生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299204B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973424A (zh) * | 2022-08-01 | 2022-08-30 | 深圳市海清视讯科技有限公司 | 特征提取模型训练、手部动作识别方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712234A (zh) * | 2018-12-29 | 2019-05-03 | 北京卡路里信息技术有限公司 | 三维人体模型的生成方法、装置、设备和存储介质 |
| CN110866968A (zh) * | 2019-10-18 | 2020-03-06 | 平安科技（深圳）有限公司 | 基于神经网络生成虚拟人物视频的方法及相关设备 |
| WO2021147938A1 (en) * | 2020-01-22 | 2021-07-29 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for image processing |
| WO2021165628A1 (en) * | 2020-02-17 | 2021-08-26 | Ariel Ai Ltd | Generating three-dimensional object models from two-dimensional images |
| WO2021190321A1 (zh) * | 2020-03-27 | 2021-09-30 | 虹软科技股份有限公司 | 图像处理方法和装置 |
-
2021
- 2021-12-22 CN CN202111583286.7A patent/CN114299204B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712234A (zh) * | 2018-12-29 | 2019-05-03 | 北京卡路里信息技术有限公司 | 三维人体模型的生成方法、装置、设备和存储介质 |
| CN110866968A (zh) * | 2019-10-18 | 2020-03-06 | 平安科技（深圳）有限公司 | 基于神经网络生成虚拟人物视频的方法及相关设备 |
| WO2021147938A1 (en) * | 2020-01-22 | 2021-07-29 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for image processing |
| WO2021165628A1 (en) * | 2020-02-17 | 2021-08-26 | Ariel Ai Ltd | Generating three-dimensional object models from two-dimensional images |
| WO2021190321A1 (zh) * | 2020-03-27 | 2021-09-30 | 虹软科技股份有限公司 | 图像处理方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973424A (zh) * | 2022-08-01 | 2022-08-30 | 深圳市海清视讯科技有限公司 | 特征提取模型训练、手部动作识别方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114299204B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7373554B2 (ja) | クロスドメイン画像変換 | |
| CN108304357B (zh) | 一种基于字体流形的中文字库自动生成方法 | |
| CN112308866B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Zsolnai-Fehér et al. | Gaussian material synthesis | |
| Li et al. | Sketch-R2CNN: an RNN-rasterization-CNN architecture for vector sketch recognition | |
| US20230153965A1 (en) | Image processing method and related device | |
| CN113408418A (zh) | 一种书法字体与文字内容同步识别方法及系统 | |
| CN114299204B (zh) | 三维动漫人物模型生成方法及装置 | |
| CN112464924A (zh) | 一种构建训练集的方法及装置 | |
| CN115526223A (zh) | 潜在空间中的基于得分的生成建模 | |
| US20220101122A1 (en) | Energy-based variational autoencoders | |
| CN110659724A (zh) | 一种基于目标尺度范围的目标检测卷积神经网络构建方法 | |
| Li et al. | Efficient spatially sparse inference for conditional gans and diffusion models | |
| CN114529785A (zh) | 模型的训练方法、视频生成方法和装置、设备、介质 | |
| CN117253277A (zh) | 真实和合成数据联合进行复杂环境人脸关键点检测的方法 | |
| CN112801909B (zh) | 基于U-Net和金字塔模块的图像融合去噪方法及系统 | |
| US20220101145A1 (en) | Training energy-based variational autoencoders | |
| Duan et al. | RL-CoSeg: A novel image co-segmentation algorithm with deep reinforcement learning | |
| Ma et al. | Block shuffle: a method for high-resolution fast style transfer with limited memory | |
| Xiong et al. | 3D voxel reconstruction from single-view image based on cross-domain feature fusion | |
| Wang et al. | Deep Learning in Computer Real-time Graphics and Image Using the Visual Effects of Non-photorealistic Rendering of Ink Painting | |
| Jayanthi et al. | AI and augmented reality for 3D Indian dance pose reconstruction cultural revival | |
| US20230360327A1 (en) | Generating three-dimensional representations for digital objects utilizing mesh-based thin volumes | |
| CN110991002B (zh) | 一种高压缩比的双向反射材质压缩表示模型、方法及装置 | |
| Khan et al. | Introducing urdu digits dataset with demonstration of an efficient and robust noisy decoder-based pseudo example generator. Symmetry. 2022; 14 (10): 1976 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 518100 Guangdong Shenzhen Baoan District Xixiang street, Wutong Development Zone, Taihua Indus Industrial Park 8, 3 floor. Patentee after: Shenzhen Haiqing Zhiyuan Technology Co.,Ltd. Address before: 518100 Guangdong Shenzhen Baoan District Xixiang, Baoan District, 3 tower, Wutong Island, Taihua Patentee before: SHENZHEN HIVT TECHNOLOGY Co.,Ltd. |