CN111243085A - 图像重建网络模型的训练方法、装置和电子设备 - Google Patents

图像重建网络模型的训练方法、装置和电子设备 Download PDF

Info

Publication number
CN111243085A
CN111243085A CN202010062749.4A CN202010062749A CN111243085A CN 111243085 A CN111243085 A CN 111243085A CN 202010062749 A CN202010062749 A CN 202010062749A CN 111243085 A CN111243085 A CN 111243085A
Authority
CN
China
Prior art keywords
vector
dimensional image
image
network model
image reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010062749.4A
Other languages
English (en)
Other versions
CN111243085B (zh
Inventor
李佩易
王长虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010062749.4A priority Critical patent/CN111243085B/zh
Publication of CN111243085A publication Critical patent/CN111243085A/zh
Application granted granted Critical
Publication of CN111243085B publication Critical patent/CN111243085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开一种图像重建网络模型的训练方法、装置和电子设备。其中，该图像重建网络模型的训练方法包括：获取待训练图像重建网络模型的初始参数；获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示；通过所述图像重建网络模型将所述二维图像转换为第二向量；计算所述第二向量与所述第一向量之间的误差；基于所述误差对所述图像重建网络模型的参数进行调整。本公开通过将二维图像转换成一个能够表示三维图像顶点的向量并通过真实的三维图像的顶点的向量作监督以训练出能够从单张二维图像中重建三维图像的模型，解决了现有技术中三维物体重建时依赖中间结果的技术问题。

Description

图像重建网络模型的训练方法、装置和电子设备
技术领域
本公开涉及图像处理领域，特别是涉及一种图像重建网络模型的训练方法、装置和电子设备。
背景技术
当前，随着计算机技术的不断进步和多媒体技术的发展，三维重建技术近年来成为了图形学领域的一个研究热点。其间接方法是指由一张或多张二维图像重建三维对象，包括基于统计模型的三维对象重建、基于多视几何的三维对象重建、基于光照立体的三维对象重建，以及近年来迅速发展起来的基于机器学习的三维对象重建。
现有的多种基于SMPL(A Skinned Multi-Person Linear Model)模型的三维人体重建方法，例如SMPLify，这些方法通常依赖于中间结果，例如2D或3D关键点估计或轮廓图。因此，这些方法并不能直接生成三维人体图像，并且如果中间结果不准确，会导致最终生成的图像偏差很大。
发明内容
根据本公开的第一方面，提供以下技术方案：
一种图像重建网络模型的训练方法，包括：
获取待训练图像重建网络模型的初始参数；
获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；
通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；
计算所述第二向量与所述第一向量之间的误差；
基于所述误差对所述图像重建网络模型的参数进行调整。
根据本公开的第二方面，提供以下技术方案：
一种图像重建方法，包括：
获取待重建的二维图像；
将所述待重建的二维图像输入图像重建网络模型，其中所述图像重建网络模型为根据上述第一方面的方法训练得到的模型；
获取所述图像重建网络模型输出的第四向量，其中所述第四向量中的每个元素表示所述二维图像所对应的三维图像中的顶点；
获取所述三维图像的网格表，所述网格表中包括所述顶点的连接关系；
根据所述第四向量以及所述网格表生成所述二维图像所对应的三维图像。
根据本公开的第三方面，还提供以下技术方案：
一种图像重建网络模型的训练装置，包括：
初始参数获取模块，用于获取待训练图像重建网络模型的初始参数；
样本获取模块，用于获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；
二维图像转换模块，用于通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；
误差计算模块，用于计算所述第二向量与所述第一向量之间的误差；
参数调整模块，用于基于所述误差对所述图像重建网络模型的参数进行调整。
根据本公开的第四方面，还提供以下技术方案：
一种图像重建装置，包括：
图像获取模块，用于获取待重建的二维图像；
输入模块，用于将所述待重建的二维图像输入图像重建网络模型，其中所述图像重建网络模型为根据第一方面中的方法训练得到的模型；
向量获取模块，用于获取所述图像重建网络模型输出的第四向量，其中所述第四向量中的每个元素表示所述二维图像所对应的三维图像中的顶点；
网格表获取模块，用于获取所述三维图像的网格表，所述网格表中包括所述顶点的连接关系；
重建模块，用于根据所述第四向量以及所述网格表生成所述二维图像所对应的三维图像。
根据本公开的第五方面，还提供以下技术方案：
一种电子设备，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述任一图像重建网络模型的训练方法所述的步骤。
根据本公开的第六方面，还提供以下技术方案：
一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述任一方法中所述的步骤。
本公开实施例公开一种图像重建网络模型的训练方法、装置和电子设备。其中，该图像重建网络模型的训练方法包括：获取待训练图像重建网络模型的初始参数；获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；计算所述第二向量与所述第一向量之间的误差；基于所述误差对所述图像重建网络模型的参数进行调整。本公开实施例的图像重建网络模型的训练方法，通过将二维图像转换成一个能够表示三维图像顶点的向量并通过真实的三维图像的顶点的向量作监督以训练出能够从单张二维图像中重建三维图像的模型，解决了现有技术中三维物体重建时依赖中间结果的技术问题。
上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。
附图说明
图1为本公开实施例提供的图像重建网络模型的训练方法的流程示意图；
图2为本公开实施例中的旋转向量的确定方式示意图；
图3为本公开实施例提供的图像重建网络模型的训练方法的具体实例示意图；
图4为本公开实施例提供的图像重建网络模型的训练装置的结构示意图；
图5为根据本公开实施例提供的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本公开实施例提供一种图像重建网络模型的训练方法。本实施例提供的该图像重建网络模型的训练方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。如图1所示，该图像重建网络模型的训练方法主要包括如下步骤S101至步骤S105。其中：
步骤S101，获取待训练图像重建网络模型的初始参数；
可选的，所述图像重建网络模型中包括第一网络和第二网络，其中所述第一网络用于提取输入图像中的图像特征，所述第二网络用于将所述图像特征按照一定的权重进行组合得到输入图像的三维表示。
可选的，所述第一网络中包括多个卷积层以及至少一个全连接层。则所述初始参数包括所述第一网络中的多个卷积层中每一个所使用的初始卷积核和初始偏置值，全连接层的初始权重值以及初始偏置值。
可选的，所述第二网络中包括至少两个全连接层。则所述初始参数中还包括所述第二网络中的所述至少两个全连接层的初始权重值以及初始偏置值。
可以理解的，所述初始参数可以是随机生成的或是预先设置的参数。
步骤S102，获取样本图像对；
所述样本图像对为训练图集中的图像对，其中，所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标。
在本公开中，所述三维图像中的顶点为三维图像的三维网格上的顶点。所述的三维网格，是由多个顶点以及顶点之间的连接关系所组成的网格，三维网格是由所述顶点以及顶点之间的连接关系所组成的多个三角形。所述样本图像对来自样本图集，所述样本图集中还包括有网格表，在所述网格表中按照一个特定的顺序记录了上述顶点以及顶点之间的连接关系；比如其可以按照顶点的编号排序，并记录顶点有连接关系的顶点；或者其可以按照三角形编号排序，在网格表中每个编号表示一个三角形，在每个编号的位置中记录该三角形的三个顶点的编号。
可以理解的，所述三维图像的初始状态可以是以网格表示的，即通过网格中的顶点以及顶点之间的连接关系可以确定一个三维图像，但是由于通过三维图像生成二维图像时，相机的位置和角度不同或者渲染的方式不同会导致生成的二维图像多种多样，因此如果直接通过二维图像去回归出三维图像的顶点，可能会造成模型难以收敛也就是难以训练得到合适的模型参数，因此在本公开中，需要对三维图像的数据进行预处理以得到上述的第一向量。
可选的，上述对三维图像的数据进行预处理以得到上述第一向量包括：
将所述三维图像的顶点的坐标从世界坐标系下的第一坐标转换为相机坐标系下的第二坐标；
将所述第二坐标系进行旋转并映射到所述二维图像的平面上使所述三维图像与所述二维图像对齐得到第三坐标；
将所述三维图像中的每个顶点的第三坐标作为向量中的一个元素形成第一向量。
通过上述步骤，将所述三维图像的顶点从世界坐标系转换为相机坐标系，之后经过一个旋转并映射到XY平面上的方式，将所述三维图像与二维图像对齐，以减少三维图像的相空间，以使模型更加容易收敛。
所述世界坐标系为三维坐标系，包括三个坐标轴，分别为Xw,Yw和Zw。按照上述网格表中的顺序将所述顶点表示为一个N*3的向量，其中N为所述三维对象的顶点的个数，3表示该顶点在所述世界坐标系中的三个轴上的坐标值。
所述相机坐标系是以相机的位置为原点，相机的光轴为Z轴的三维坐标系，其包括三个坐标轴，分别为Xc,Yc和Zc。所述训练图集提供相机的位置以及朝向，由此可以计算出从世界坐标到相机坐标的第一旋转矩阵Rcam和第一平移矩阵Tcam，之后可以根据如下计算公式(1)将所述世界坐标转换为相机坐标：
V2＝Rcam*V1+Tcam (1)
其中V1为所述世界坐标，V2为所述相机坐标。
经过上述转换，将所述N*3向量中的每个顶点的坐标都从世界坐标下的坐标转换到相机坐标系下的坐标。
之后根据一个旋转角度将所述三维图像做一个旋转。示例性的，所述三维图像为三维人体图像，如图2所示，所述旋转角度为世界坐标系的原点Ow到所述三维人体图像中的三维网格中的髋关节中心点Vhip的向量
Figure BDA0002375017490000081
与世界坐标系的Z轴上的一个单位向量
Figure BDA0002375017490000082
的夹角θ，该旋转角度的方向为从
Figure BDA0002375017490000083
到
Figure BDA0002375017490000084
的方向。该旋转可以通过一个旋转向量表示，如图2所示，该旋转向量为
Figure BDA0002375017490000085
其方向与
Figure BDA0002375017490000086
相同，其长度为θ。该旋转向量可以进一步通过如下公式(2)转换为第二旋转矩阵：
Figure BDA0002375017490000087
其中，记
Figure BDA0002375017490000088
Figure BDA0002375017490000089
为
Figure BDA00023750174900000810
的反对称矩阵，I为3*3的单位矩阵。通过上述公式(2)得到的旋转矩阵对三维对象进行旋转，参见下述公式(3):
V3＝Rr*V2 (3)
其中V3为旋转之后的坐标。
之后根据以下公式(4)，使用缩放系数Scale和第二平移矩阵Talign将所述旋转之后的坐标转换为最终的坐标值，以将所述三维图像与所述二维图像对齐。
V4＝V3*Scale+Talign (4)
其中所述缩放系数Scale根据所述三维图像和二维图像的大小关系获得，其使得所述三维图像被缩放到与所述二维图像相同的大小；设置上述vhip的Z轴坐标为0,即将所述三维图像贴合到XY平面上，其他顶点与所述vhip之间的位置关系不变，由此可以得到第二平移矩阵Talign。
通过上述公式(1)-(4)的处理得到上述的第一向量，所述第一向量中的顶点与所述二维图像对齐。
步骤S103,通过所述图像重建网络模型将所述二维图像转换为第二向量；
其中，所述第二向量的元素个数与所述第一向量的元素个数相同。典型的，所述第一向量为一个N*3的向量，则所述第二向量也是一个N*3的向量。
可选的，所述步骤S103包括：通过所述图像重建网络模型中第一网络将所述二维图像转换为第三向量；通过所述图像重建网络模型中的第二网络将所述第三向量转换为第二向量。
示例性的，所述第一网络包括多个卷积层和至少一个全连接层，通过所述多个卷积层对所述二维图像进行特征抽取得到特征图像，之后通过所述至少一个全连接层将所述特征图像转换为一个第三向量M*1；之后将所述一维向量输入所述第二网络，所述第二网络包括至少两个全连接层，通过第二网络的全连接层，将所述第三向量转换成N*3的向量。
步骤S104,计算所述第二向量与所述第一向量之间的误差；
可选的，在一个实施例中，由于所述第二向量和所述第一向量的维度相同，则可以将所述第二向量和第一向量对应位置的元素相减得到多个差值，之后计算多个差值的平均值作为所述误差。
可选的，在另一个实施例中，所述步骤S104，包括：获取第一向量中的每个第一元素；获取第二向量中的每个第二元素；计算所述每个第一元素和与其对应的第二元素的差值的平方值；计算所述平方值的平均值作为所述第二向量与所述第一向量之间的误差。与上一个实施例相同，在本实施例中也需要计算两个向量中的对应元素的差值，而在本实施例中，还需要计算所述差值的平方值，将多个平方值的平均值作为所述误差。具体的，可以使用以下公式计算所述误差：
Figure BDA0002375017490000101
其中N为第一向量以及第二向量中的元素的个数，pi表示第一向量中的元素所表示的顶点的坐标，为模型训练的监督数据，pi *表示通过所述待训练的图像重建网络模型得到的第一向量中的元素所表示的顶点的坐标。
步骤S105,基于所述误差对所述图像重建网络模型的参数进行调整。
基于步骤S104中得到的误差，反向传播到所述图像重建网络模型中以调整所述模型的参数，示例性的可以使用梯度下降的方式方向传播误差给模型的参数，以更新参数的值。
由于在多数情况下，一次调整参数并不能直接将参数调整到最佳，因此在一个实施例中，所述步骤S105之后，还包括：
根据调整后的参数和所述训练样本图像对，继续进行所述参数的调整过程，直至调整次数达到预设值。
在该实施例中，反复执行所述步骤S102-S105的步骤调整所述参数，直至调整次数达到预设值。也可以反复执行所述步骤S102-S105的步骤调整所述参数，直至所述误差达到最优值，其中所述最优值可以是最小值或者预定次数的调整所能达到的最小值。
图3为本公开实施例中的图像重建网络模型的训练方法的一个具体实例。如图3所示为一个端到端的图像重建网络模型的训练示意图，训练样本为一个图像对，包括一个二维图像和与其对应的三维图像，所述三维图像由6890个顶点表示，将其表示为一个6890*3的向量，可以理解的，所述6890*3的向量可以是经过预处理与所述二维图像对齐的向量。所述二维图像经过所述图像重建网络模型的第一网络被转换成一个512*1的向量，之后所述512*1的向量被输入到所述图像重建网络模型的第二网络中，所述第二网络输出一个6890*3的向量，所述图像重建网络模型的输出的6890*3的向量与所述三维图像的6890*3的向量计算误差loss，之后经过反向传播将所述误差反向传播到网络中以更新图像重建网络模型的参数，直至到达预设的条件，如调整次数达到预设值或者误差值达到最小等等，以得到训练好的图像重建网络模型。
根据本公开的另一个实施例，还提供了一种图像重建方法，包括：
获取待重建的二维图像；
将所述待重建的二维图像输入图像重建网络模型，其中所述图像重建网络模型为根据上述图像重建网络模型的训练方法训练得到的模型；
获取所述图像重建网络模型输出的第四向量，其中所述第四向量中的每个元素表示所述二维图像所对应的三维图像中的顶点；
获取所述三维图像的网格表，所述网格表中包括所述顶点的连接关系；
根据所述第四向量以及所述网格表生成所述二维图像所对应的三维图像。
在该实施例中，将需要重建三维图像的二维图像输入所述训练好的图像重建网络模型中，输出一个第四向量，所述第四向量表示所述二维图像所对应的三维图像的顶点，之后根据预先设置的网格表，查找每个顶点所处的三角形或者查找其跟其他顶点的连接关系，当每个顶点都找到其位置之后，所述三维图像就被重建出来。
本公开实施例公开一种图像重建网络模型的训练方法、装置和电子设备。其中，该图像重建网络模型的训练方法包括：获取待训练图像重建网络模型的初始参数；获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；计算所述第二向量与所述第一向量之间的误差；基于所述误差对所述图像重建网络模型的参数进行调整。本公开实施例的图像重建网络模型的训练方法，通过将二维图像转换成一个能够表示三维图像顶点的向量并通过真实的三维图像的顶点的向量作监督以训练出能够从单张二维图像中重建三维图像的模型，解决了现有技术中三维物体重建时依赖中间结果的技术问题。
在上文中，虽然按照上述的顺序描述了上述方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。
下面为本公开装置实施例，本公开装置实施例可用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。
本公开实施例提供一种图像重建网络模型的训练装置。该装置可以执行上述图像重建网络模型的训练方法实施例中所述的步骤。如图4所示，该装置400主要包括：初始参数获取模块401、样本获取模块402、二维图像转换模块403、误差计算模块404和参数调整模块405。其中，
初始参数获取模块401，用于获取待训练图像重建网络模型的初始参数；
样本获取模块402，用于获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；
二维图像转换模块403，用于通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；
误差计算模块404，用于计算所述第二向量与所述第一向量之间的误差；
参数调整模块405，用于基于所述误差对所述图像重建网络模型的参数进行调整。
进一步的，所述重建网络模型的训练装置400，还包括：
循环执行模块，用于根据调整后的参数和所述训练样本图像对，继续进行所述参数的调整过程，直至调整次数达到预设值。
进一步的，所述二维图像转换模块403，还用于：
通过所述图像重建网络模型中第一网络将所述二维图像转换为第三向量；
通过所述图像重建网络模型中的第二网络将所述第三向量转换为第二向量。
进一步的，所述第一网络包括：多个卷积层以及至少一个全连接层。
进一步的，所述第二网络包括：至少两个全连接层。
进一步的，所述误差计算模块404，还用于：获取第一向量中的每个第一元素；获取第二向量中的每个第二元素；计算所述每个第一元素和与其对应的第二元素的差值的平方值；计算所述平方值的平均值作为所述第二向量与所述第一向量之间的误差。
进一步的，所述第一向量通过如下步骤得到：
将所述三维图像的顶点的坐标从世界坐标系下的第一坐标转换为相机坐标系下的第二坐标；
将所述第二坐标系进行旋转并映射到所述二维图像的平面上使所述三维图像与所述二维图像对齐得到第三坐标；
将所述三维图像中的每个顶点的第三坐标作为向量中的一个元素形成第一向量。
图4所示装置可以执行图1-图3所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图3所示实施例中的描述，在此不再赘述。
本公开实施例提供一种图像重建装置。该装置可以执行上述图像重建方法实施例中所述的步骤。所述图像重建装置包括：
图像获取模块，用于获取待重建的二维图像；
输入模块，用于将所述待重建的二维图像输入图像重建网络模型，其中所述图像重建网络模型为根据上述图像重建网络模型训练方法训练得到的模型；
向量获取模块，用于获取所述图像重建网络模型输出的第四向量，其中所述第四向量中的每个元素表示所述二维图像所对应的三维图像中的顶点；
网格表获取模块，用于获取所述三维图像的网格表，所述网格表中包括所述顶点的连接关系；
重建模块，用于根据所述第四向量以及所述网格表生成所述二维图像所对应的三维图像。
下面参考图5，其示出了适于用来实现本公开实施例的电子设备500的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待训练图像重建网络模型的初始参数；获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；计算所述第二向量与所述第一向量之间的误差；基于所述误差对所述图像重建网络模型的参数进行调整。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，提供了一种图像重建网络模型的训练方法，其特征在于，所述方法包括:
获取待训练图像重建网络模型的初始参数；
获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；
通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；
计算所述第二向量与所述第一向量之间的误差；
基于所述误差对所述图像重建网络模型的参数进行调整。
进一步的，所述方法还包括：
根据调整后的参数和所述训练样本图像对，继续进行所述参数的调整过程，直至调整次数达到预设值。
进一步的，所述通过所述图像重建网络模型将所述二维图像转换为第二向量，包括：
通过所述图像重建网络模型中第一网络将所述二维图像转换为第三向量；
通过所述图像重建网络模型中的第二网络将所述第三向量转换为第二向量。
进一步的，所述第一网络包括：多个卷积层以及至少一个全连接层。
进一步的，所述第二网络包括：至少两个全连接层。
进一步的，所述计算所述第二向量与所述第一向量之间的误差，包括：
获取第一向量中的每个第一元素；
获取第二向量中的每个第二元素；
计算所述每个第一元素和与其对应的第二元素的差值的平方值；
计算所述平方值的平均值作为所述第二向量与所述第一向量之间的误差。
进一步的，所述第一向量通过如下步骤得到：
将所述三维图像的顶点的坐标从世界坐标系下的第一坐标转换为相机坐标系下的第二坐标；
将所述第二坐标系进行旋转并映射到所述二维图像的平面上使所述三维图像与所述二维图像对齐得到第三坐标；
将所述三维图像中的每个顶点的第三坐标作为向量中的一个元素形成第一向量。
根据本公开的一个或多个实施例，提供了一种图像重建方法，其特征在于，包括：
获取待重建的二维图像；
将所述待重建的二维图像输入图像重建网络模型，其中所述图像重建网络模型为根据上述图像重建网络模型的训练方法训练得到的模型；
获取所述图像重建网络模型输出的第四向量，其中所述第四向量中的每个元素表示所述二维图像所对应的三维图像中的顶点；
获取所述三维图像的网格表，所述网格表中包括所述顶点的连接关系；
根据所述第四向量以及所述网格表生成所述二维图像所对应的三维图像。
根据本公开的一个或多个实施例，提供了一种图像重建网络模型的训练装置，包括：
初始参数获取模块，用于获取待训练图像重建网络模型的初始参数；
样本获取模块，用于获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；
二维图像转换模块，用于通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；
误差计算模块，用于计算所述第二向量与所述第一向量之间的误差；
参数调整模块，用于基于所述误差对所述图像重建网络模型的参数进行调整。
进一步的，所述重建网络模型的训练装置，还包括：
循环执行模块，用于根据调整后的参数和所述训练样本图像对，继续进行所述参数的调整过程，直至调整次数达到预设值。
进一步的，所述二维图像转换模块，还用于：
通过所述图像重建网络模型中第一网络将所述二维图像转换为第三向量；
通过所述图像重建网络模型中的第二网络将所述第三向量转换为第二向量。
进一步的，所述第一网络包括：多个卷积层以及至少一个全连接层。
进一步的，所述第二网络包括：至少两个全连接层。
进一步的，所述误差计算模块，还用于：获取第一向量中的每个第一元素；获取第二向量中的每个第二元素；计算所述每个第一元素和与其对应的第二元素的差值的平方值；计算所述平方值的平均值作为所述第二向量与所述第一向量之间的误差。
进一步的，所述第一向量通过如下步骤得到：
将所述三维图像的顶点的坐标从世界坐标系下的第一坐标转换为相机坐标系下的第二坐标；
将所述第二坐标系进行旋转并映射到所述二维图像的平面上使所述三维图像与所述二维图像对齐得到第三坐标；
将所述三维图像中的每个顶点的第三坐标作为向量中的一个元素形成第一向量。
根据本公开的一个或多个实施例，提供了一种图像重建装置，包括：
图像获取模块，用于获取待重建的二维图像；
输入模块，用于将所述待重建的二维图像输入图像重建网络模型，其中所述图像重建网络模型为根据上述图像重建网络模型的训练方法训练得到的模型；
向量获取模块，用于获取所述图像重建网络模型输出的第四向量，其中所述第四向量中的每个元素表示所述二维图像所对应的三维图像中的顶点；
网格表获取模块，用于获取所述三维图像的网格表，所述网格表中包括所述顶点的连接关系；
重建模块，用于根据所述第四向量以及所述网格表生成所述二维图像所对应的三维图像。
根据本公开的一个或多个实施例，提供了一种电子设备，包括：
存储器，用于存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，使得所述处理器运行时实现上述图像重建网络模型的训练方法或上述图像重建方法。
根据本公开的一个或多个实施例，提供了一种非暂态计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行上述图像重建网络模型的训练方法或上述图像重建方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种图像重建网络模型的训练方法，其特征在于，所述方法包括:
获取待训练图像重建网络模型的初始参数；
获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；
通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；
计算所述第二向量与所述第一向量之间的误差；
基于所述误差对所述图像重建网络模型的参数进行调整。
2.如权利要求1所述的图像重建网络模型的训练方法，其特征在于，所述方法还包括：
根据调整后的参数和所述训练样本图像对，继续进行所述参数的调整过程，直至调整次数达到预设值。
3.如权利要求1所述的图像重建网络模型的训练方法，其特征在于，所述通过所述图像重建网络模型将所述二维图像转换为第二向量，包括：
通过所述图像重建网络模型中第一网络将所述二维图像转换为第三向量；
通过所述图像重建网络模型中的第二网络将所述第三向量转换为第二向量。
4.如权利要求3所述的图像重建网络模型的训练方法，其特征在于，所述第一网络包括：多个卷积层以及至少一个全连接层。
5.如权利要求3所述的图像重建网络模型的训练方法，其特征在于，所述第二网络包括：至少两个全连接层。
6.如权利要求1所述的图像重建网络模型的训练方法，其特征在于，所述计算所述第二向量与所述第一向量之间的误差，包括：
获取第一向量中的每个第一元素；
获取第二向量中的每个第二元素；
计算所述每个第一元素和与其对应的第二元素的差值的平方值；
计算所述平方值的平均值作为所述第二向量与所述第一向量之间的误差。
7.如权利要求1所述的图像重建网络模型的训练方法，其特征在于，所述第一向量通过如下步骤得到：
将所述三维图像的顶点的坐标从世界坐标系下的第一坐标转换为相机坐标系下的第二坐标；
将所述第二坐标系进行旋转并映射到所述二维图像的平面上使所述三维图像与所述二维图像对齐得到第三坐标；
将所述三维图像中的每个顶点的第三坐标作为向量中的一个元素形成第一向量。
8.一种图像重建方法，其特征在于，包括：
获取待重建的二维图像；
将所述待重建的二维图像输入图像重建网络模型，其中所述图像重建网络模型为根据权利要求1中的方法训练得到的模型；
获取所述图像重建网络模型输出的第四向量，其中所述第四向量中的每个元素表示所述二维图像所对应的三维图像中的顶点；
获取所述三维图像的网格表，所述网格表中包括所述顶点的连接关系；
根据所述第四向量以及所述网格表生成所述二维图像所对应的三维图像。
9.一种图像重建网络模型的训练装置，包括：
初始参数获取模块，用于获取待训练图像重建网络模型的初始参数；
样本获取模块，用于获取样本图像对，其中所述样本图像对中包括三维图像以及与所述三维图像对应的二维图像，其中所述三维图像由第一向量表示，所述第一向量中的元素表示所述三维图像中的顶点的坐标；
二维图像转换模块，用于通过所述图像重建网络模型将所述二维图像转换为第二向量，其中所述第二向量的元素个数与所述第一向量的元素个数相同；
误差计算模块，用于计算所述第二向量与所述第一向量之间的误差；
参数调整模块，用于基于所述误差对所述图像重建网络模型的参数进行调整。
10.一种图像重建装置，包括：
图像获取模块，用于获取待重建的二维图像；
输入模块，用于将所述待重建的二维图像输入图像重建网络模型，其中所述图像重建网络模型为根据权利要求1中的方法训练得到的模型；
向量获取模块，用于获取所述图像重建网络模型输出的第四向量，其中所述第四向量中的每个元素表示所述二维图像所对应的三维图像中的顶点；
网格表获取模块，用于获取所述三维图像的网格表，所述网格表中包括所述顶点的连接关系；
重建模块，用于根据所述第四向量以及所述网格表生成所述二维图像所对应的三维图像。
11.一种电子设备，包括：
存储器，用于存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，使得所述处理器运行时实现权利要求1-7中任意一项所述的图像重建网络模型的训练方法或权利要求8中所述的图像重建方法。
12.一种非暂态计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-7中任意一项所述的图像重建网络模型的训练方法或权利要求8中所述的图像重建方法。
CN202010062749.4A 2020-01-20 2020-01-20 图像重建网络模型的训练方法、装置和电子设备 Active CN111243085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010062749.4A CN111243085B (zh) 2020-01-20 2020-01-20 图像重建网络模型的训练方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010062749.4A CN111243085B (zh) 2020-01-20 2020-01-20 图像重建网络模型的训练方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111243085A true CN111243085A (zh) 2020-06-05
CN111243085B CN111243085B (zh) 2021-06-22

Family

ID=70874747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010062749.4A Active CN111243085B (zh) 2020-01-20 2020-01-20 图像重建网络模型的训练方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111243085B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561793A (zh) * 2021-01-18 2021-03-26 深圳市图南文化设计有限公司 一种平面设计空间转换方法及系统
CN112819953A (zh) * 2021-02-24 2021-05-18 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备
CN113096249A (zh) * 2021-03-30 2021-07-09 Oppo广东移动通信有限公司 训练顶点重建模型的方法、图像重建方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780727A (zh) * 2016-12-27 2017-05-31 深圳市捷顺科技实业股份有限公司 一种车头检测模型重建方法及装置
CN109049716A (zh) * 2018-10-29 2018-12-21 北京航空航天大学 三维打印模型图的生成方法、装置、电子设备及存储介质
CN109255830A (zh) * 2018-08-31 2019-01-22 百度在线网络技术（北京）有限公司 三维人脸重建方法和装置
CN110253575A (zh) * 2019-06-17 2019-09-20 深圳前海达闼云端智能科技有限公司 一种机器人抓取的方法、终端及计算机可读存储介质
US10452958B2 (en) * 2017-10-06 2019-10-22 Mitsubishi Electric Research Laboratories, Inc. System and method for image comparison based on hyperplanes similarity
US10528616B2 (en) * 2016-08-12 2020-01-07 Aquifi, Inc. Systems and methods for automatically generating metadata for media documents

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10528616B2 (en) * 2016-08-12 2020-01-07 Aquifi, Inc. Systems and methods for automatically generating metadata for media documents
CN106780727A (zh) * 2016-12-27 2017-05-31 深圳市捷顺科技实业股份有限公司 一种车头检测模型重建方法及装置
US10452958B2 (en) * 2017-10-06 2019-10-22 Mitsubishi Electric Research Laboratories, Inc. System and method for image comparison based on hyperplanes similarity
CN109255830A (zh) * 2018-08-31 2019-01-22 百度在线网络技术（北京）有限公司 三维人脸重建方法和装置
CN109049716A (zh) * 2018-10-29 2018-12-21 北京航空航天大学 三维打印模型图的生成方法、装置、电子设备及存储介质
CN110253575A (zh) * 2019-06-17 2019-09-20 深圳前海达闼云端智能科技有限公司 一种机器人抓取的方法、终端及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PENGFEI DOU 等: "End-to-end 3D face reconstruction with deep neural networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561793A (zh) * 2021-01-18 2021-03-26 深圳市图南文化设计有限公司 一种平面设计空间转换方法及系统
CN112819953A (zh) * 2021-02-24 2021-05-18 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备
CN112819953B (zh) * 2021-02-24 2024-01-19 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备
CN113096249A (zh) * 2021-03-30 2021-07-09 Oppo广东移动通信有限公司 训练顶点重建模型的方法、图像重建方法及电子设备

Also Published As

Publication number Publication date
CN111243085B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN111243085B (zh) 图像重建网络模型的训练方法、装置和电子设备
CN109754464B (zh) 用于生成信息的方法和装置
CN113327318B (zh) 图像显示方法、装置、电子设备和计算机可读介质
CN111260774A (zh) 生成3d关节点回归模型的方法和装置
CN111028279A (zh) 点云数据处理方法及装置、电子设备和存储介质
CN112734910A (zh) 基于rgb单图实时人脸三维图像重建方法、装置及电子设备
WO2023029893A1 (zh) 纹理映射方法、装置、设备及存储介质
CN114399588A (zh) 三维车道线生成方法、装置、电子设备和计算机可读介质
CN114445597B (zh) 三维车道线生成方法、装置、电子设备和计算机可读介质
WO2020077912A1 (zh) 图像处理方法、装置、硬件装置
CN115775310A (zh) 数据处理方法、装置、电子设备和存储介质
CN115082636B (zh) 基于混合高斯网络的单图像三维重建方法及设备
CN109816791B (zh) 用于生成信息的方法和装置
CN111275799B (zh) 动画的生成方法、装置和电子设备
CN111275813B (zh) 数据处理方法、装置和电子设备
CN113222144B (zh) 图像修复模型的训练方法及图像修复方法、装置及设备
CN114663553A (zh) 特效视频生成方法、装置、设备及存储介质
CN114049403A (zh) 一种多角度三维人脸重建方法、装置及存储介质
CN112883757B (zh) 生成跟踪姿态结果的方法
CN116630436B (zh) 相机外参修正方法、装置、电子设备和计算机可读介质
CN114842448B (zh) 三维车道线生成方法、装置、电子设备和计算机可读介质
WO2022218104A1 (zh) 虚拟形象的碰撞处理方法、装置、电子设备和存储介质
CN115471613A (zh) 人脸模型的生成方法、装置、设备及存储介质
CN118115636A (zh) 虚拟形象驱动方法、装置、电子设备、存储介质及产品
CN115471612A (zh) 人脸模型的生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.