CN115482353A - 重建网络的训练方法、重建方法、装置、设备和介质 - Google Patents

重建网络的训练方法、重建方法、装置、设备和介质 Download PDF

Info

Publication number
CN115482353A
CN115482353A CN202211067543.6A CN202211067543A CN115482353A CN 115482353 A CN115482353 A CN 115482353A CN 202211067543 A CN202211067543 A CN 202211067543A CN 115482353 A CN115482353 A CN 115482353A
Authority
CN
China
Prior art keywords
human body
network
model parameters
reconstruction
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211067543.6A
Other languages
English (en)
Inventor
杨黔生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211067543.6A priority Critical patent/CN115482353A/zh
Publication of CN115482353A publication Critical patent/CN115482353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种3D人体重建网络的训练方法、3D人体重建方法、装置、设备、介质和程序产品，涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3D视觉、增强现实等场景。其中，3D人体重建网络的训练方法的具体实现方案为：利用人体模型参数的样本数据训练变分自编码网络，确定所述变分自编码网络中解码器的模型参数；根据特征提取网络和所述解码器构建重建网络；固化所述重建网络中所述解码器的模型参数，并利用人体图像的样本数据对所述重建网络进行监督训练，其中，所述重建网络用于预测所述人体图像的人体模型参数。本公开可以产生更自然的3D人体形态，保证重建网络输出的有效性和稳定性。

Description

重建网络的训练方法、重建方法、装置、设备和介质
技术领域
本公开涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3D视觉、增强现实等场景，具体涉及一种3D人体重建网络的训练方法、3D人体重建方法、装置、设备、介质和程序产品。
背景技术
随着社会的进步和科技的迅猛发展，短视频、直播和在线教育等行业不断地兴起。在各种交互场景中，基于人体模型重建信息进行互动的功能需求越来越多。其中，SMPL(Skinned Multi-Person Linear Model)就是一种裸体的(skinned)、基于顶点(vertex-based)的人体三维模型。它是一种参数化的人体模型，能够精确地表示人体的不同形状(shape)和姿态(pose)，通过身体形状参数和姿势参数驱动人体模型，精准地刻画人的肌肉拉伸以及收缩运动的形貌。
现有技术中的人体3D重建方案，通常是直接利用RGB图像特征进行3D人体建模。然而，一方面，单张RGB图像往往存在身体自遮挡，从而导致建模困难；另一方面，由于使用图像特征进行重建，经常会出现人体关键点角度不合理的状况，使得重建的3D人体模型会出现穿模或姿态怪异等问题，继而无法产生自然的人体形态。
发明内容
本公开提供了一种3D人体重建网络的训练方法、3D人体重建方法、装置、设备、介质和程序产品。
根据本公开的一方面，提供了一种3D人体重建网络的训练方法，包括：
利用人体模型参数的样本数据训练变分自编码网络，确定所述变分自编码网络中解码器的模型参数；
根据特征提取网络和所述解码器构建重建网络；
固化所述重建网络中所述解码器的模型参数，并利用人体图像的样本数据对所述重建网络进行监督训练，其中，所述重建网络用于预测所述人体图像的人体模型参数。
根据本公开的另一方面，提供了一种3D人体重建方法，包括：
将目标图像输入预先训练的重建网络，其中，所述重建网络包括特征提取网络和解码器；
利用所述特征提取网络提取所述目标图像的目标语义特征，并对所述目标语义特征进行编码产生目标隐特征；
利用所述解码器对所述目标隐特征进行解码，得到所述目标图像的目标人体模型参数；
根据所述目标人体模型参数进行3D人体重建。
根据本公开的另一方面，提供了一种3D人体重建网络的训练装置，包括：
变分自编码网络训练模块，用于利用人体模型参数的样本数据训练变分自编码网络，确定所述变分自编码网络中解码器的模型参数；
重建网络构建模块，用于根据特征提取网络和所述解码器构建重建网络；
重建网络训练模块，用于固化所述重建网络中所述解码器的模型参数，并利用人体图像的样本数据对所述重建网络进行监督训练，其中，所述重建网络用于预测所述人体图像的人体模型参数。
根据本公开的另一方面，提供了一种3D人体重建装置，包括：
输入模块，用于将目标图像输入预先训练的重建网络，其中，所述重建网络包括特征提取网络和解码器；
隐特征产生模块，用于利用所述特征提取网络提取所述目标图像的目标语义特征，并对所述目标语义特征进行编码产生目标隐特征；
人体模型参数获取模块，用于利用所述解码器对所述目标隐特征进行解码，得到所述目标图像的目标人体模型参数；
重建模块，用于根据所述目标人体模型参数进行3D人体重建。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所述的3D人体重建网络的训练方法或3D人体重建方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开任意实施例所述的3D人体重建网络的训练方法或3D人体重建方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任意实施例所述的3D人体重建网络的训练方法或3D人体重建方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的3D人体重建网络的训练方法的示意图；
图2是根据本公开实施例的变分自编码网络的训练过程的示意图；
图3是根据本公开实施例的3D人体重建网络的训练方法的示意图；
图4是根据本公开实施例的3D人体重建网络的训练方法的示意图；
图5是根据本公开实施例的3D人体重建方法的示意图；
图6是根据本公开实施例3D人体重建网络的训练装置的结构示意图；
图7是根据本公开实施例3D人体重建装置的结构示意图；
图8是用来实现本公开实施例的3D人体重建网络的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例的3D人体重建网络的训练方法的流程示意图，本实施例可适用于训练重建网络，利用该重建网络预测输入图像的人体模型参数，以便基于人体模型参数进行3D人体重建的情况，涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3D视觉、增强现实等场景。该方法可由一种3D人体重建网络的训练装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如计算机设备或服务器等。如图1所示，该方法具体包括如下：
S101、利用人体模型参数的样本数据训练变分自编码网络，确定变分自编码网络中解码器的模型参数。
其中，人体模型是用于进行3D人体重建所使用的模型，根据人体模型参数和模型算法就可以解析得到人体的3D关键点信息，根据这些3D关键点信息就可以重建3D人体。例如，人体模型包括参数化人体模型SMPL，相应的，SMPL模型参数则包括形状参数和姿态参数。关于SMPL模型及其参数的详细介绍可参考现有技术，此处不再赘述。
变分自编码网络是一种包含隐变量的生成模型，具体而言，是构建从隐变量Z生成目标数据X的模型，通常包括编码器和解码器。变分自编码网络可以利用简单概率分布去逼近训练集的真实分布，也就是说，利用人体模型参数的样本数据训练变分自编码网络，可以让变分自编码网络通过对输入的人体模型参数进行学习，让编码器得到输入的隐变量，即隐空间中的隐特征，而且该隐空间可以视为一种约束空间，在该约束空间下可以学习到人体真实的姿态分布。因此，就可以让解码器具备基于该隐变量生成人体模型参数的预测值的能力，而且该预测值更加接近真实情况。也即，通过训练变分自编码网络，可以更好地对人体先验动作进行学习，并具备生成更加真实的人体模型参数的能力，从而引导后续对重建模型的建模过程。
S102、根据特征提取网络和解码器构建重建网络。
S103、固化重建网络中解码器的模型参数，并利用人体图像的样本数据对重建网络进行监督训练，其中，重建网络用于预测人体图像的人体模型参数。
其中，特征提取网络例如可以是卷积神经网络，用于提取图像的高阶语义特征。在对重建网络进行监督训练前，需要固化已经训练好的变分自编码网络的解码器的模型参数，固化参数后的解码器在重建网络中可以用于回归人体模型参数。训练时，将人体图像的样本数据作为训练数据，并输入重建网络，将样本数据对应的人体模型参数作为输出标签对重建网络进行监督训练。经过训练，使得特征提取网络不仅用于提取输入样本图像的图像特征，同时，也使得特征提取网络具有对图像特征进行编码以获取隐特征的能力。
此外，在对网络进行训练之前，还可以对训练数据进行预处理，包括不同尺度的缩放、旋转角度和彩色空间的扰动增强等，目的在于通过丰富训练数据来提高网络的泛化性能。
本公开实施例的技术方案，先利用人体模型参数的样本数据训练变分自编码网络，并固定其中解码器的模型参数。然后根据特征提取网络和解码器来构建重建模型。由于变分自编码网络是在对输入进行编码得到的约束空间上的分布来进行采样和解码，从而重构输入信息的，因此，通过训练变分自编码网络，使得变分自编码网络能够学习到约束空间中人体真实的姿态分布，也就是说，变分自编码网络可以更加有效地提取人体先验信息，基于隐特征解码出更准确的人体模型参数。进一步的，将特征提取网络和固化参数的解码器构成重建网络进行监督训练，可以使得特征提取网络也能够提取出输入图像在约束空间内的高级语义特征并进行编码得到隐特征，这样，再通过解码器对隐特征进行解码，就可以获取到更准确地、更加接近于真实的人体模型参数的预测结果。因此，即使输入图像中人体存在关键点的自遮挡或者角度不合理等情况，也能预测出自然、准确的人体模型参数，从而产生更加自然的3D人体形态。
图2是根据本公开实施例的变分自编码网络的训练过程的示意图，本实施例在上述实施例的基础上进一步进行优化。如图2所示，变分自编码网络的训练过程具体包括如下：
S201、从含有人体模型参数的样本数据集中获取人体模型参数的样本数据，并将人体模型参数的样本数据输入编码器。
其中，解码器可以包括全连接网络或图卷积神经网络。
S202、利用编码器将人体模型参数的样本数据编码为在隐空间上的分布。
S203、利用解码器对从所述分布中得到的采样点进行解码，得到重构的人体模型参数。
S204、根据人体模型参数的样本数据对重构的人体模型参数进行监督，通过监督的过程优化变分自编码网络。
以人体模型参数为SMPL模型参数为例，可以利用AMASS数据集对变分自编码网络进行训练，其中，AMASS数据集是采集生成的人体动作先验数据的集合，可直接获取SMPL模型参数。对变分自编码网络进行监督训练，输入和输出都是SMPL模型参数。编码器用于对输入的SMPL模型参数进行编码，将输入的SMPL模型参数的样本数据编码为在隐空间上的分布得到隐特征，同时，网络还计算出隐特征均值和隐特征方差，并对隐特征均值和隐特征方差产生的分布进行采样，然后将采样点输入解码器进行SMPL模型参数的估计，得到重构的SMPL模型参数，最后再利用输出标签对重构的SMPL模型参数进行监督，以完成对变分自编码网络的监督训练。
本公开实施例的技术方案，先利用人体模型参数的样本数据训练变分自编码网络，并固定其中解码器的模型参数。然后根据特征提取网络和解码器来构建重建模型。由于变分自编码网络是在对输入进行编码得到的约束空间上的分布来进行采样和解码，从而重构输入信息的，因此，通过训练变分自编码网络，使得变分自编码网络能够学习到约束空间中人体真实的姿态分布，也就是说，变分自编码网络可以更加有效地提取人体先验信息，基于隐特征解码出更准确的人体模型参数。进一步的，将特征提取网络和固化参数的解码器构成重建网络进行监督训练，可以使得特征提取网络也能够提取出输入图像在约束空间内的高级语义特征并进行编码得到隐特征，这样，再通过解码器对隐特征进行解码，就可以获取到更准确地、更加接近于真实的人体模型参数的预测结果。因此，即使输入图像中人体存在关键点的自遮挡或者角度不合理等情况，也能预测出自然、准确的人体模型参数，从而产生更加自然的3D人体形态。
图3是根据本公开实施例的3D人体重建网络的训练方法的示意图，本实施例在上述实施例的基础上进一步进行优化。如图3所示，该方法具体包括如下：
S301、利用人体模型参数的样本数据训练变分自编码网络，确定变分自编码网络中解码器的模型参数。
其中，人体模型包括参数化人体模型SMPL，相应的，人体模型参数包括形状参数和姿态参数。
S302、根据特征提取网络和解码器构建重建网络，并固化重建网络中解码器的模型参数。
S303、将人体图像的样本数据输入特征提取网络，其中，人体图像的样本数据中包括人体多个关键点的人体模型参数。
其中，特征提取网络可以为CNN卷积神经网络。
S304、利用特征提取网络提取输入的人体图像的语义特征，并对语义特征进行编码产生隐特征。
S305、利用解码器根据隐特征进行解码，得到输入的人体图像的人体模型参数预测值。
S306、将人体图像的样本数据中的人体模型参数作为第一输出标签，根据第一输出标签对人体模型参数预测值进行监督，通过监督的过程优化重建网络。
由此，通过S304-S306，实现利用样本数据中的人体模型参数对重建模型进行监督训练。
S307、根据人体模型参数预测值计算3D关键点预测信息；将人体图像的样本数据中的3D关键点信息作为第二输出标签，根据第二输出标签对3D关键点预测信息进行监督，通过监督的过程优化重建网络。
S308、根据人体模型参数预测值计算3D关键点预测信息；将根据人体图像的样本数据中的人体模型参数计算出的3D关键点信息作为第三输出标签，根据第三输出标签对3D关键点预测信息进行监督，通过监督的过程优化重建网络。
由此，通过S308，实现利用3D关键点信息对重建模型进行监督训练。
S309、根据特征提取网络提取的语义特征进行相机参数回归，得到拍摄人体图像的相机参数。
具体的，可以基于现有的透视投影方法实现相机参数回归，此处不再赘述。
S310、根据相机参数对3D关键点预测信息进行投影，得到2D关键点预测信息。
S311、将人体图像的样本数据中的2D关键点信息作为第四输出标签，根据第四输出标签对2D关键点预测信息进行监督，通过监督的过程优化重建网络。
由此，通过S309-S311，实现利用2D关键点信息对重建模型进行监督训练。
本实施例中，可以利用多种监督数据对重建网络进行监督训练，包括3D关键点信息、2D关键点信息和模型参数，具体的训练过程，也可参见图4。由此，不仅可以提高对训练样本的利用率，同时还可以提升网络的泛化性能。相应的，在一种实施方式中，监督训练中使用的损失函数可以由三部分构成，其中，针对模型参数和2D关键点信息作为输出标签的情形，可以用L1损失，针对3D关键点信息作为输出标签的情形，则用MPJPE(Mean Per JointPosition Error，平均关节位置误差)损失。
本公开实施例的技术方案，通过训练变分自编码网络，使得变分自编码网络能够学习到约束空间中人体真实的姿态分布，基于隐特征解码出更准确的人体模型参数。然后再将特征提取网络和固化参数的解码器构成重建网络进行监督训练，可以使得特征提取网络也能够提取出输入图像在约束空间内的高级语义特征并进行编码得到隐特征，通过解码器对隐特征进行解码，就可以获取到更准确地、更加接近于真实的人体模型参数的预测结果。这样，不仅可以更好地抗遮挡，预测出自然、准确的人体模型参数，还通过多种监督数据对重建网络进行监督训练，提高了对训练样本的利用率，并且提升了网络的泛化性能。
图5是根据本公开实施例的3D人体重建方法的示意图，本实施例可适用于通过训练重建网络，利用该重建网络预测输入图像的人体模型参数，以便基于人体模型参数进行3D人体重建的情况，涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3D视觉、增强现实等场景。该方法可由一种3D人体重建装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如计算机设备或服务器等。如图5所示，该方法具体包括如下：
S501、将目标图像输入预先训练的重建网络，其中，重建网络包括特征提取网络和解码器。
其中，目标图像中包含人体图像，重建任务即在于利用重建网络预测目标图像中的人体模型参数，然后基于该参数对目标图像中的人体进行3D重建。
S502、利用特征提取网络提取目标图像的目标语义特征，并对目标语义特征进行编码产生目标隐特征。
S503、利用解码器对目标隐特征进行解码，得到目标图像的目标人体模型参数。
S504、根据目标人体模型参数进行3D人体重建。
其中，重建网络的训练过程包括：
利用人体模型参数的样本数据训练变分自编码网络，确定变分自编码网络中解码器的模型参数；
根据特征提取网络和解码器构建重建网络；
固化重建网络中解码器的模型参数，并利用人体图像的样本数据对重建网络进行监督训练，其中，重建网络用于预测人体图像的人体模型参数。
其中，人体模型包括参数化人体模型SMPL，人体模型参数包括形状参数和姿态参数。有关重建网络的详细训练过程可参见上述实施例的描述，此处不再赘述。
本公开实施例的技术方案，先利用人体模型参数的样本数据训练变分自编码网络，然后根据特征提取网络和固定模型参数的解码器来构建重建模型，并利用训练样本和其中人体的3D关键点信息、2D关键点信息和SMPL模型参数对重建网络进行监督训练。由于变分自编码网络是在对输入进行编码得到的约束空间上的分布来进行采样和解码，从而重构输入信息的，因此，在重建网络中利用解码器来回归SMPL模型参数，其真实性和准确性更高，从而生成更加接近于真实的3D人体模型。而且，本公开实施例的技术方案，可以有效地运用于人体娱乐交互、人体特效生成等领域，对视觉技术的生态布局发展有着重要作用。
图6是根据本公开实施例的3D人体重建网络的训练装置的结构示意图，本实施例可适用于训练重建网络，利用该重建网络预测输入图像的人体模型参数，以便基于人体模型参数进行3D人体重建的情况，涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3D视觉、增强现实等场景。该装置可实现本公开任意实施例所述的3D人体重建网络的训练方法。如图6所示，该装置600具体包括：
变分自编码网络训练模块601，用于利用人体模型参数的样本数据训练变分自编码网络，确定所述变分自编码网络中解码器的模型参数；
重建网络构建模块602，用于根据特征提取网络和所述解码器构建重建网络；
重建网络训练模块603，用于固化所述重建网络中所述解码器的模型参数，并利用人体图像的样本数据对所述重建网络进行监督训练，其中，所述重建网络用于预测所述人体图像的人体模型参数。
可选的，所述变分自编码网络包括编码器和所述解码器；
相应的，变分自编码网络训练模块601具体包括：
第一样本数据输入单元，用于从含有人体模型参数的样本数据集中获取人体模型参数的样本数据，并将所述人体模型参数的样本数据输入所述编码器；
编码单元，用于利用所述编码器将所述人体模型参数的样本数据编码为在隐空间上的分布；
第一解码单元，用于利用所述解码器对从所述分布中得到的采样点进行解码，得到重构的人体模型参数；
第一监督训练单元，用于根据所述人体模型参数的样本数据对所述重构的人体模型参数进行监督，通过所述监督的过程优化所述变分自编码网络。
可选的，所述解码器包括全连接网络或图卷积神经网络。
可选的，重建网络训练模块603具体包括：
第二样本数据输入单元，用于将所述人体图像的样本数据输入所述特征提取网络，其中，所述人体图像的样本数据中包括人体多个关键点的人体模型参数；
隐特征产生单元，用于利用所述特征提取网络提取所述输入的人体图像的语义特征，并对所述语义特征进行编码产生隐特征；
第二解码单元，用于利用所述解码器根据所述隐特征进行解码，得到所述输入的人体图像的人体模型参数预测值；
第二监督训练单元，用于将所述人体图像的样本数据中的人体模型参数作为第一输出标签，根据所述第一输出标签对所述人体模型参数预测值进行监督，通过所述监督的过程优化所述重建网络。
可选的，所述人体图像的样本数据中还包括人体多个关键点的3D关键点信息；
相应的，重建网络训练模块603还包括第三监督训练单元，第三监督训练单元包括：
第一计算子单元，用于根据所述人体模型参数预测值计算3D关键点预测信息；
第三监督训练子单元，用于将所述人体图像的样本数据中的3D关键点信息作为第二输出标签，根据所述第二输出标签对所述3D关键点预测信息进行监督，通过所述监督的过程优化所述重建网络。
可选的，重建网络训练模块603还包括第四监督训练单元，第四监督训练单元包括：
第二计算子单元，用于根据所述人体模型参数预测值计算3D关键点预测信息；
第四监督训练子单元，用于将根据所述人体图像的样本数据中的人体模型参数计算出的3D关键点信息作为第三输出标签，根据所述第三输出标签对所述3D关键点预测信息进行监督，通过所述监督的过程优化所述重建网络。
可选的，所述人体图像的样本数据中还包括人体多个关键点的2D关键点信息；
相应的，重建网络训练模块603还包括第五监督训练单元，第五监督训练单元包括：
相机参数回归子单元，用于根据所述特征提取网络提取的语义特征进行相机参数回归，得到拍摄所述人体图像的相机参数；
投影子单元，用于根据所述相机参数对所述3D关键点预测信息进行投影，得到2D关键点预测信息；
第五监督训练子单元，用于将所述人体图像的样本数据中的2D关键点信息作为第四输出标签，根据所述第四输出标签对所述2D关键点预测信息进行监督，通过所述监督的过程优化所述重建网络。
可选的，所述特征提取网络为卷积神经网络。
可选的，所述人体模型包括参数化人体模型SMPL，所述人体模型参数包括形状参数和姿态参数。
图7是根据本公开实施例3D人体重建装置的结构示意图，本实施例可适用于通过训练重建网络，利用该重建网络预测输入图像的人体模型参数，以便基于人体模型参数进行3D人体重建的情况，涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3D视觉、增强现实等场景。该装置可实现本公开任意实施例所述的3D人体重建方法。如图7所示，该装置700具体包括：
输入模块701，用于将目标图像输入预先训练的重建网络，其中，所述重建网络包括特征提取网络和解码器；
隐特征产生模块702，用于利用所述特征提取网络提取所述目标图像的目标语义特征，并对所述目标语义特征进行编码产生目标隐特征；
人体模型参数获取模块703，用于利用所述解码器对所述目标隐特征进行解码，得到所述目标图像的目标人体模型参数；
重建模块704，用于根据所述目标人体模型参数进行3D人体重建。
可选的，所述装置还包括用于对重建网络进行训练的训练模块，训练模块包括：
变分自编码网络训练单元，用于利用人体模型参数的样本数据训练变分自编码网络，确定所述变分自编码网络中解码器的模型参数；
重建网络构建单元，用于根据所述特征提取网络和所述解码器构建所述重建网络；
重建网络训练单元，用于固化所述重建网络中所述解码器的模型参数，并利用人体图像的样本数据对所述重建网络进行监督训练，其中，所述重建网络用于预测所述人体图像的人体模型参数。
上述产品可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如3D人体重建网络的训练方法。例如，在一些实施例中，3D人体重建网络的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的3D人体重建网络的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行3D人体重建网络的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
此外，根据本公开的实施例，本公开还提供了另一种电子设备、另一种可读存储介质和另一种计算机程序产品，用于执行本公开任意实施例所述的3D人体重建方法的一个或多个步骤。其具体的结构和程序代码可参见如图8所示的实施例的内容描述，此处不再赘述。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种3D人体重建网络的训练方法，包括：
利用人体模型参数的样本数据训练变分自编码网络，确定所述变分自编码网络中解码器的模型参数；
根据特征提取网络和所述解码器构建重建网络；
固化所述重建网络中所述解码器的模型参数，并利用人体图像的样本数据对所述重建网络进行监督训练，其中，所述重建网络用于预测所述人体图像的人体模型参数。
2.根据权利要求1所述的方法，其中，所述变分自编码网络包括编码器和所述解码器；
相应的，所述利用人体模型参数的样本数据训练变分自编码网络，包括：
从含有人体模型参数的样本数据集中获取人体模型参数的样本数据，并将所述人体模型参数的样本数据输入所述编码器；
利用所述编码器将所述人体模型参数的样本数据编码为在隐空间上的分布；
利用所述解码器对从所述分布中得到的采样点进行解码，得到重构的人体模型参数；
根据所述人体模型参数的样本数据对所述重构的人体模型参数进行监督，通过所述监督的过程优化所述变分自编码网络。
3.根据权利要求1所述的方法，其中，所述解码器包括全连接网络或图卷积神经网络。
4.根据权利要求1所述的方法，其中，所述利用人体图像的样本数据对所述重建网络进行监督训练，包括：
将所述人体图像的样本数据输入所述特征提取网络，其中，所述人体图像的样本数据中包括人体多个关键点的人体模型参数；
利用所述特征提取网络提取所述输入的人体图像的语义特征，并对所述语义特征进行编码产生隐特征；
利用所述解码器根据所述隐特征进行解码，得到所述输入的人体图像的人体模型参数预测值；
将所述人体图像的样本数据中的人体模型参数作为第一输出标签，根据所述第一输出标签对所述人体模型参数预测值进行监督，通过所述监督的过程优化所述重建网络。
5.根据权利要求4所述的方法，其中，所述人体图像的样本数据中还包括人体多个关键点的3D关键点信息；
相应的，所述利用人体图像的样本数据对所述重建网络进行监督训练，还包括：
根据所述人体模型参数预测值计算3D关键点预测信息；
将所述人体图像的样本数据中的3D关键点信息作为第二输出标签，根据所述第二输出标签对所述3D关键点预测信息进行监督，通过所述监督的过程优化所述重建网络。
6.根据权利要求4所述的方法，其中，所述利用人体图像的样本数据对所述重建网络进行监督训练，还包括：
根据所述人体模型参数预测值计算3D关键点预测信息；
将根据所述人体图像的样本数据中的人体模型参数计算出的3D关键点信息作为第三输出标签，根据所述第三输出标签对所述3D关键点预测信息进行监督，通过所述监督的过程优化所述重建网络。
7.根据权利要求5或6所述的方法，其中，所述人体图像的样本数据中还包括人体多个关键点的2D关键点信息；
相应的，所述利用人体图像的样本数据对所述重建网络进行监督训练，还包括：
根据所述特征提取网络提取的语义特征进行相机参数回归，得到拍摄所述人体图像的相机参数；
根据所述相机参数对所述3D关键点预测信息进行投影，得到2D关键点预测信息；
将所述人体图像的样本数据中的2D关键点信息作为第四输出标签，根据所述第四输出标签对所述2D关键点预测信息进行监督，通过所述监督的过程优化所述重建网络。
8.根据权利要求1所述的方法，其中，所述特征提取网络为卷积神经网络。
9.根据权利要求1所述的方法，其中，所述人体模型包括参数化人体模型SMPL，所述人体模型参数包括形状参数和姿态参数。
10.一种3D人体重建方法，包括：
将目标图像输入预先训练的重建网络，其中，所述重建网络包括特征提取网络和解码器；
利用所述特征提取网络提取所述目标图像的目标语义特征，并对所述目标语义特征进行编码产生目标隐特征；
利用所述解码器对所述目标隐特征进行解码，得到所述目标图像的目标人体模型参数；
根据所述目标人体模型参数进行3D人体重建。
11.根据权利要求10所述的方法，其中，所述重建网络的训练过程包括：
利用人体模型参数的样本数据训练变分自编码网络，确定所述变分自编码网络中解码器的模型参数；
根据所述特征提取网络和所述解码器构建所述重建网络；
固化所述重建网络中所述解码器的模型参数，并利用人体图像的样本数据对所述重建网络进行监督训练，其中，所述重建网络用于预测所述人体图像的人体模型参数。
12.一种3D人体重建网络的训练装置，包括：
变分自编码网络训练模块，用于利用人体模型参数的样本数据训练变分自编码网络，确定所述变分自编码网络中解码器的模型参数；
重建网络构建模块，用于根据特征提取网络和所述解码器构建重建网络；
重建网络训练模块，用于固化所述重建网络中所述解码器的模型参数，并利用人体图像的样本数据对所述重建网络进行监督训练，其中，所述重建网络用于预测所述人体图像的人体模型参数。
13.根据权利要求12所述的装置，其中，所述变分自编码网络包括编码器和所述解码器；
相应的，所述变分自编码网络训练模块，包括：
第一样本数据输入单元，用于从含有人体模型参数的样本数据集中获取人体模型参数的样本数据，并将所述人体模型参数的样本数据输入所述编码器；
编码单元，用于利用所述编码器将所述人体模型参数的样本数据编码为在隐空间上的分布；
第一解码单元，用于利用所述解码器对从所述分布中得到的采样点进行解码，得到重构的人体模型参数；
第一监督训练单元，用于根据所述人体模型参数的样本数据对所述重构的人体模型参数进行监督，通过所述监督的过程优化所述变分自编码网络。
14.根据权利要求12所述的装置，其中，所述解码器包括全连接网络或图卷积神经网络。
15.根据权利要求12所述的装置，其中，所述重建网络训练模块，包括：
第二样本数据输入单元，用于将所述人体图像的样本数据输入所述特征提取网络，其中，所述人体图像的样本数据中包括人体多个关键点的人体模型参数；
隐特征产生单元，用于利用所述特征提取网络提取所述输入的人体图像的语义特征，并对所述语义特征进行编码产生隐特征；
第二解码单元，用于利用所述解码器根据所述隐特征进行解码，得到所述输入的人体图像的人体模型参数预测值；
第二监督训练单元，用于将所述人体图像的样本数据中的人体模型参数作为第一输出标签，根据所述第一输出标签对所述人体模型参数预测值进行监督，通过所述监督的过程优化所述重建网络。
16.根据权利要求15所述的装置，其中，所述人体图像的样本数据中还包括人体多个关键点的3D关键点信息；
相应的，所述重建网络训练模块还包括第三监督训练单元，所述第三监督训练单元包括：
第一计算子单元，用于根据所述人体模型参数预测值计算3D关键点预测信息；
第三监督训练子单元，用于将所述人体图像的样本数据中的3D关键点信息作为第二输出标签，根据所述第二输出标签对所述3D关键点预测信息进行监督，通过所述监督的过程优化所述重建网络。
17.根据权利要求15所述的装置，其中，所述重建网络训练模块还包括第四监督训练单元，所述第四监督训练单元包括：
第二计算子单元，用于根据所述人体模型参数预测值计算3D关键点预测信息；
第四监督训练子单元，用于将根据所述人体图像的样本数据中的人体模型参数计算出的3D关键点信息作为第三输出标签，根据所述第三输出标签对所述3D关键点预测信息进行监督，通过所述监督的过程优化所述重建网络。
18.根据权利要求16或17所述的装置，其中，所述人体图像的样本数据中还包括人体多个关键点的2D关键点信息；
相应的，所述重建网络训练模块还包括第五监督训练单元，所述第五监督训练单元包括：
相机参数回归子单元，用于根据所述特征提取网络提取的语义特征进行相机参数回归，得到拍摄所述人体图像的相机参数；
投影子单元，用于根据所述相机参数对所述3D关键点预测信息进行投影，得到2D关键点预测信息；
第五监督训练子单元，用于将所述人体图像的样本数据中的2D关键点信息作为第四输出标签，根据所述第四输出标签对所述2D关键点预测信息进行监督，通过所述监督的过程优化所述重建网络。
19.根据权利要求12所述的装置，其中，所述特征提取网络为卷积神经网络。
20.根据权利要求12所述的装置，其中，所述人体模型包括参数化人体模型SMPL，所述人体模型参数包括形状参数和姿态参数。
21.一种3D人体重建装置，包括：
输入模块，用于将目标图像输入预先训练的重建网络，其中，所述重建网络包括特征提取网络和解码器；
隐特征产生模块，用于利用所述特征提取网络提取所述目标图像的目标语义特征，并对所述目标语义特征进行编码产生目标隐特征；
人体模型参数获取模块，用于利用所述解码器对所述目标隐特征进行解码，得到所述目标图像的目标人体模型参数；
重建模块，用于根据所述目标人体模型参数进行3D人体重建。
22.根据权利要求21所述的装置，其中，所述装置还包括用于对所述重建网络进行训练的训练模块，所述训练模块包括：
变分自编码网络训练单元，用于利用人体模型参数的样本数据训练变分自编码网络，确定所述变分自编码网络中解码器的模型参数；
重建网络构建单元，用于根据所述特征提取网络和所述解码器构建所述重建网络；
重建网络训练单元，用于固化所述重建网络中所述解码器的模型参数，并利用人体图像的样本数据对所述重建网络进行监督训练，其中，所述重建网络用于预测所述人体图像的人体模型参数。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的3D人体重建网络的训练方法，或者权利要求10或11所述的3D人体重建方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-9中任一项所述的3D人体重建网络的训练方法，或者权利要求10或11所述的3D人体重建方法。
25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的3D人体重建网络的训练方法，或者权利要求10或11所述的3D人体重建方法。
CN202211067543.6A 2022-09-01 2022-09-01 重建网络的训练方法、重建方法、装置、设备和介质 Pending CN115482353A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211067543.6A CN115482353A (zh) 2022-09-01 2022-09-01 重建网络的训练方法、重建方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211067543.6A CN115482353A (zh) 2022-09-01 2022-09-01 重建网络的训练方法、重建方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN115482353A true CN115482353A (zh) 2022-12-16

Family

ID=84422063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211067543.6A Pending CN115482353A (zh) 2022-09-01 2022-09-01 重建网络的训练方法、重建方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN115482353A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274316B (zh) * 2023-10-31 2024-05-03 广东省水利水电科学研究院 一种河流表面流速的估计方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389671A (zh) * 2018-09-25 2019-02-26 南京大学 一种基于多阶段神经网络的单图像三维重建方法
CN111161405A (zh) * 2019-12-24 2020-05-15 东南大学 一种动物毛发三维重建方法
CN112396703A (zh) * 2020-11-18 2021-02-23 北京工商大学 一种单图像三维点云模型重建方法
CN112541958A (zh) * 2020-12-21 2021-03-23 清华大学 三维人脸的参数化建模方法和装置
GB202108687D0 (en) * 2021-06-17 2021-08-04 Monolith Al Ltd Monolith IP 2
CN113989441A (zh) * 2021-11-16 2022-01-28 北京航空航天大学 基于单张人脸图像的三维漫画模型自动生成方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389671A (zh) * 2018-09-25 2019-02-26 南京大学 一种基于多阶段神经网络的单图像三维重建方法
CN111161405A (zh) * 2019-12-24 2020-05-15 东南大学 一种动物毛发三维重建方法
CN112396703A (zh) * 2020-11-18 2021-02-23 北京工商大学 一种单图像三维点云模型重建方法
CN112541958A (zh) * 2020-12-21 2021-03-23 清华大学 三维人脸的参数化建模方法和装置
GB202108687D0 (en) * 2021-06-17 2021-08-04 Monolith Al Ltd Monolith IP 2
CN113989441A (zh) * 2021-11-16 2022-01-28 北京航空航天大学 基于单张人脸图像的三维漫画模型自动生成方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TURHAN, CG ET AL.: "Class-aware single image to 3D object translational autoencoder", IET IMAGE PROCESSING, 18 December 2020 (2020-12-18) *
卿都;曾碧;: "基于神经网络的三维点云生成模型研究进展", 机器人技术与应用, no. 06, 15 December 2019 (2019-12-15) *
陈纪刚: "基于变分自编码的单视图三维点云重建方法研究", 万方在线硕士论文库, 22 August 2022 (2022-08-22) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274316B (zh) * 2023-10-31 2024-05-03 广东省水利水电科学研究院 一种河流表面流速的估计方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11907637B2 (en) Image processing method and apparatus, and storage medium
CN111898696B (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN113553864B (zh) 翻译模型的训练方法、装置、电子设备及存储介质
JP7331975B2 (ja) クロスモーダル検索モデルのトレーニング方法、装置、機器、および記憶媒体
CN114820871B (zh) 字体生成方法、模型的训练方法、装置、设备和介质
CN114863437B (zh) 文本识别方法、装置、电子设备和存储介质
CN113901909B (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN116152833B (zh) 基于图像的表格还原模型的训练方法及表格还原方法
CN114715145B (zh) 一种轨迹预测方法、装置、设备及自动驾驶车辆
CN115640520A (zh) 跨语言跨模态模型的预训练方法、设备和存储介质
JP2023062150A (ja) 文字認識モデルトレーニング、文字認識方法、装置、機器及び媒体
CN115861462A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN114267375B (zh) 音素检测方法及装置、训练方法及装置、设备和介质
CN115482353A (zh) 重建网络的训练方法、重建方法、装置、设备和介质
CN110852066B (zh) 一种基于对抗训练机制的多语言实体关系抽取方法及系统
CN113378921A (zh) 数据筛选方法、装置及电子设备
CN116824677B (zh) 表情识别方法、装置、电子设备及存储介质
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
CN117056728A (zh) 一种时间序列生成方法、装置、设备和存储介质
CN115937516B (zh) 一种图像语义分割方法、装置、存储介质及终端
CN114783597B (zh) 多类疾病诊断的诊断方法及装置、电子设备和存储介质
CN116502649A (zh) 文本生成模型的训练方法、装置、电子设备及存储介质
CN113590800B (zh) 图像生成模型的训练方法和设备以及图像生成方法和设备
CN115239889A (zh) 3d重建网络的训练方法、3d重建方法、装置、设备和介质
CN113361519A (zh) 目标处理方法、目标处理模型的训练方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination