CN112184884A - 三维模型构建方法、装置、计算机设备及存储介质 - Google Patents
三维模型构建方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112184884A CN112184884A CN202011007477.4A CN202011007477A CN112184884A CN 112184884 A CN112184884 A CN 112184884A CN 202011007477 A CN202011007477 A CN 202011007477A CN 112184884 A CN112184884 A CN 112184884A
- Authority
- CN
- China
- Prior art keywords
- texture
- illumination
- information
- correction
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 17
- 238000012937 correction Methods 0.000 claims abstract description 180
- 238000005286 illumination Methods 0.000 claims abstract description 162
- 238000000034 method Methods 0.000 claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims description 90
- 238000004590 computer program Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 14
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Abstract
本申请涉及一种三维模型构建方法、装置、计算机设备及存储介质。该方法包括：获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息，然后基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息，基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像。然后基于修正后的目标图像对目标对象进行三维模型构建。本申请实施例通过光照修正信息和纹理修正信息对原始图像进行修正处理，去除原始图像中的光照和纹理对目标对象的影响，从而提高三维模型的精度。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种三维模型构建方法、装置、计算机设备及存储介质。
背景技术
近年来，随着智能机器人、无人驾驶技术、虚拟现实技术等快速发展，基于二维图像的三维模型构建是计算机视觉领域的一个非常重要的研究方向。
现有技术中，基于二维图像进行三维模型构建的过程一般是：将二维图像输入至训练好的神经网络模型中，神经网络模型可以从二维图像中直接提取二维图像中表征目标对象的三维结构信息的特征向量，基于目标对象的三维结构信息的特征向量对目标对象进行三维重建。
然而，上述方法中，受到纹理、光照等影响，导致重建的目标对象的三维模型的精度不高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高目标对象的三维模型的精度的三维模型构建方法、装置、计算机设备及存储介质。
一种三维模型构建方法，该方法包括：
获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息；
基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息；
基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像；
对目标图像中的目标对象进行三维模型构建。
在其中一个实施例中，光照特征信息为光照特征矩阵，光照特征矩阵用于表征原始图像中每个像素的亮度；
纹理特征信息为纹理特征矩阵，纹理特征矩阵用于表征原始图像中的图案信息。
在其中一个实施例中，从原始图像中提取光照特征信息以及纹理特征信息，包括：
将原始图像输入到训练好的图像要素编码器中，得到图像要素编码器输出的光照特征信息和纹理特征信息。
在其中一个实施例中，光照修正信息包括原始图像的每个像素的三通道数值的第一修正值；纹理修正信息包括原始图像的每个像素的三通道数值的第二修正值。
在其中一个实施例中，基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息，包括：
将光照特征信息输入至训练好的光照特征解码器中，得到光照特征解码器输出的光照修正信息；
将纹理特征信息输入至训练好的纹理特征解码器中，得到纹理特征解码器输出的纹理修正信息。
在其中一个实施例中，基于光照修正信息和纹理修正信息对原始图像进行修正处理，包括：
根据光照修正信息建立第一修正矩阵，根据纹理修正信息建立第二修正矩阵；
获取原始图像的每个像素的三通道数值组成的原始数据矩阵；
将第一修正矩阵、第二修正矩阵和原始数据矩阵按位相加。
在其中一个实施例中，对目标图像中的目标对象进行三维模型构建，包括：
利用训练好的三维结构信息编码器提取目标图像中的目标对象的三维结构特征；
利用训练好的三维结构特征解码器对三维结构特征进行特征处理，得到目标对象的多个顶点的三维坐标；
根据目标对象的多个顶点的三维坐标重建目标对象的三维模型。
一种三维模型构建装置，该装置包括：
获取模块，用于获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息；
修正信息生成模块，用于基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息；
修正模块，用于基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像；
模型构建模块，用于对目标图像中的目标对象进行三维模型构建。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息；
基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息；
基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像；
对目标图像中的目标对象进行三维模型构建。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息；
基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息；
基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像；
对目标图像中的目标对象进行三维模型构建。
上述三维模型构建方法、装置、计算机设备及存储介质，通过获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息，然后基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息，基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像。然后基于修正后的目标图像对目标对象进行三维模型构建。本申请实施例通过光照修正信息和纹理修正信息对原始图像进行修正处理，去除原始图像中的光照和纹理对目标对象的影响，从而提高三维模型的精度。
附图说明
图1为一个实施例中三维模型构建方法的流程示意图；
图2为一个实施例中多层感知器MLP的结构的示意图；
图3为一个实施例中对原始图像进行修正处理的步骤的流程示意图；
图4为一个实施例中对目标对象进行三维模型构建的步骤的流程示意图；
图5为一个实施例中三维模型构建装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
近年来，基于单目二维图像进行的三维模型构建是一个有着强烈现实需求的基础计算机视觉任务。在这个任务中，需要根据一张单目二维图像来恢复二维图像中的目标对象的三维模型。
现有技术一般是：首先通过编码器直接从给定的单目二维图像中提取出可以表征二维图像中目标对象的三维结构信息的特征向量，进而使用解码器去重建目标对象的三维模型。
然而，同一个目标对象，在获取目标对象的二维图像时，由于受到光照、纹理等影响，即便是在同样角度下也可以展现出完全不同的二维图像。而二维图像不同，基于二维图像获取的目标对象的三维模型也不相同。这样就会导致，对同一个目标对象，通过不同的二维图像构建的三维模型不相同的情况。而造成这种情况的原因是，直接从给定的单目二维图像中提取出的目标对象的三维结构信息的特征向量容易受到二维图像中的光照、纹理影响。光照、纹理对目标对象的实质结构并没有任何影响，但在三维模型构建的过程中，会对三维模型造成干扰，导致目标对象的三维模型与目标对象的实际结构存在差异，降低三维模型的精度。
本申请实施例通过获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息，然后基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息，基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像。然后基于修正后的目标图像对目标对象进行三维模型构建。本申请实施例通过光照修正信息和纹理修正信息对原始图像进行修正处理，去除原始图像中的光照和纹理对目标对象的影响，从而提高三维模型的精度。
在一个实施例中，如图1所示，提供了一种三维模型构建方法，本实施例以该方法应用于计算机设备进行举例说明，该计算机设备可以是服务器、电脑等。本实施例中，该方法包括以下步骤：
步骤101，计算机设备获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息。
本申请实施例中，原始图像中包含有目标对象，目标对象为待进行三维模型构建的对象。
本申请实施例中，纹理特征信息可以用纹理特征矩阵表示，纹理特征矩阵用于表征原始图像中的图案信息。其中，纹理特征是指目标对象上的带颜色或者不带颜色的图案或者文字的特征。
可选的，纹理特征矩阵可以为一个W×H×3矩阵，其中W表示二维图像的宽，H表示二维图像的高，3表示二维图像中每个像素点的三通道RGB值，可选的，本申请实施例中，纹理特征矩阵中的三通道RGB值包括目标对象上的图案、文字所在区域对应的像素点的三通道RGB值。
本申请实施例中，光照特征信息可以用光照特征矩阵表示，光照特征矩阵用于表征原始图形中每个像素的亮度。其中，光照特征是指目标对象上的高光、阴影等非均匀光照的特征。
可选的，本申请实施例中，光照特征矩阵可以为一个W×H×3矩阵，其中W表示二维图像的宽，H表示二维图像的高，3表示二维图像中每个像素点的三通道RGB值，可选的，本申请实施例中，光照特征矩阵中的三通道RGB值包括非均匀光照所在区域对应的像素点的三通道RGB值。
可选的，本身实施例中，计算机设备从原始图像中提取光照特征信息以及纹理特征信息的过程可以包括以下内容：
计算机设备将原始图像输入到训练好的图像要素编码器中，得到图像要素编码器输出的光照特征信息和纹理特征信息。
本申请实施例中，计算机设备可以获取预先训练好的图像要素编码器，可选的，图像要素编码器的网络结构可以是ResNet50(残差神经网络)的主干网络。图像要素编码器可以从原始图像中对目标对象进行特征提取，分别得到有关该目标对象的光照特征信息和纹理特征信息。
步骤102，计算机设备基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息。
可选的，光照修正信息包括原始图像的每个像素的三通道数值的第一修正值，纹理修正信息包括所述原始图像的每个像素的三通道数值的第二修正值。
其中，光照修正信息用于将原始图像中的目标对象的非均匀光照区域处理为均匀光照。纹理修正信息用于将目标对象上的带颜色或者不带颜色的图案或者文字去处。
本申请实施例中，计算机设备基于光照特征信息生成光照修正信息的过程可以包括以下内容：
计算机设备将光照特征信息输入至训练好的光照特征解码器中，得到光照特征解码器输出的光照修正信息。
可选的，光照特征解码器可以采用MLP(英文：Multi-Layer Perceptron，中文：多层感知器)，其中，MLP的结构可以如图2所示。计算机设备可以将光照特征矩阵输入到解码器中，得到解码器输出的解码后矩阵。
承接上文举例，光照特征矩阵为W×H×3矩阵，经过解码器解码后的解码后矩阵，可以是一个大小仍为W×H×3的光照修正矩阵，该光照修正矩阵用于表示光照修正信息。
本申请实施例中，计算机设备基于纹理特征信息生成纹理修正信息的过程可以包括以下内容：
计算机设备将纹理特征信息输入至训练好的纹理特征解码器中，得到纹理特征解码器输出的纹理修正信息。
可选的，纹理特征解码器可以采用MLP(英文：Multi-Layer Perceptron，中文：多层感知器)，其中，MLP的结构可以如图2所示。计算机设备可以将纹理特征矩阵输入到解码器中，得到解码器输出的解码后矩阵。
承接上文举例，纹理特征矩阵为W×H×3矩阵，经过解码器解码后的解码后矩阵，可以是一个大小仍为W×H×3的纹理修正矩阵，该纹理修正矩阵用于表示纹理修正信息。
步骤103，计算机设备基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像。
本申请实施例中，计算机设备对原始图像进行修正处理是指：将原始图像中的目标对象上的非均匀光照均匀化，并去除目标对象上的带颜色或者不带颜色的图案和文字，得到去除光照和纹理的目标图像。
可选的，本申请实施例中，计算机设备基于光照修正信息和纹理修正信息对原始图像进行修正处理的过程可以是：将光照修正信息、纹理修正信息融合到原始图像中，以实现对原始图像的修正处理。
步骤104，计算机设备对目标图像中的目标对象进行三维模型构建。
本申请实施例中，计算机设备可以直接从去除了光照和纹理的目标图像中提取出可以表征二维图像中目标对象的三维结构信息的特征向量，进而使用解码器去重建目标对象的三维模型。
本申请实施例提供的三维模型构建方法，通过获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息，然后基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息，基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像。然后基于修正后的目标图像对目标对象进行三维模型构建。本申请实施例通过光照修正信息和纹理修正信息对原始图像进行修正处理，去除原始图像中的光照和纹理对目标对象的影响，从而提高三维模型的精度。
在本申请的一个实施例中，如图3所示，步骤103中计算机设备基于光照修正信息和纹理修正信息对原始图像进行修正处理的过程可以包括以下内容：
步骤301，计算机设备根据光照修正信息建立第一修正矩阵，根据纹理修正信息建立第二修正矩阵。
可选的，本申请实施例中，光照修正信息包括原始图像的每个像素的三通道数值的第一修正值，因此，可以根据光照修正信息建立第一修正矩阵，承接上文举例，第一修正矩阵可以为W×H×3的矩阵。
纹理修正信息包括原始图像的每个像素的三通道数值的第二修正值，因此，可以根据纹理修正信息建立第二修正矩阵，承接上文举例，第二修正矩阵可以为W×H×3的矩阵。
步骤302，计算机设备获取原始图像的每个像素的三通道数值组成的原始数据矩阵。
本申请实施例中，例如原始图像的尺寸为W×H，那么，原始数据矩阵也为W×H×3的矩阵。
步骤303，计算机设备将第一修正矩阵、第二修正矩阵和原始数据矩阵按位相加。
本申请实施例中，计算机设备可以将第一修正矩阵、第二修正矩阵和原始数据矩阵进行按位相加合并，得到同样是W×H×3大小的去除了光照信息以及纹理结构信息的目标图像。
本申请实施例中，通过将第一修正矩阵、第二修正矩阵和原始数据矩阵按位相加实现了对原始图像的修正，从而得到去除了光照信息以及纹理结构信息的目标图像，这样根据目标图像构建目标对象的三维模型时，去除了原始图像中的光照和纹理对目标对象的影响，从而提高三维模型的精度。
在本申请的一个实施例中，如图4所示，对目标图像中的目标对象进行三维模型构建的过程可以包括以下内容：
步骤401，计算机设备利用训练好的三维结构信息编码器提取目标图像中的目标对象的三维结构特征。
计算机设备可以获取三维结构信息编码器，其中，三维结构信息编码器可以采用ResNet50的主干网络结构。
计算机设备可以将目标图像输入到三维结构信息编码器中，得到三维结构信息编码器输出的待重建的目标对象的三维结构特征。
步骤402，计算机设备利用训练好的三维结构特征解码器对三维结构特征进行特征处理，得到目标对象的多个顶点的三维坐标。
计算机设备可以获取训练好的三维结构特征解码器，其中，三维结构特征解码器可以采用MLP网络结构。
计算机设备可以将目标对象的三维结构特征输入到三维结构特征解码器中，得到三维结构特征解码器输出的目标对象的多个顶点的三维坐标。
步骤403，计算机设备根据目标对象的多个顶点的三维坐标重建目标对象的三维模型。
本申请实施例中，计算机设备可以将目标图像和目标对象的多个顶点的三维坐标输入到mesh模型中，得到mesh模型输出的目标对象的三维模型。
本申请实施例中，直接从目标图像中提取出的目标对象的三维结构信息不会受到光照和纹理的影响，因此基于从目标图像中提取的目标对象的三维结构特征可以更加准确地表征目标对象的三维结构，因此可以提高目标对象的三维坐标的精度。
应该理解的是，虽然图1-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在本申请的一个实施例中，如图5所示，提供了一种三维模型构建装置，包括：获取模块501、修正信息生成模块502、修正模块503和模型构建模块504，其中：
获取模块501，用于获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息；
修正信息生成模块502，用于基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息；
修正模块503，用于基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像；
模型构建模块504，用于对目标图像中的目标对象进行三维模型构建。
在本申请的一个实施例中，光照特征信息为光照特征矩阵，光照特征矩阵用于表征原始图像中每个像素的亮度；纹理特征信息为纹理特征矩阵，纹理特征矩阵用于表征原始图像中的图案信息。
在本申请的一个实施例中，获取模块501还用于将原始图像输入到训练好的图像要素编码器中，得到图像要素编码器输出的光照特征信息和纹理特征信息。
在本申请的一个实施例中，光照修正信息包括原始图像的每个像素的三通道数值的第一修正值；纹理修正信息包括原始图像的每个像素的三通道数值的第二修正值。
在本申请的一个实施例中，修正信息生成模块502还用于将光照特征信息输入至训练好的光照特征解码器中，得到光照特征解码器输出的光照修正信息；将纹理特征信息输入至训练好的纹理特征解码器中，得到纹理特征解码器输出的纹理修正信息。
在本申请的一个实施例中，修正模块503还用于根据光照修正信息建立第一修正矩阵，根据纹理修正信息建立第二修正矩阵；
获取原始图像的每个像素的三通道数值组成的原始数据矩阵；
将第一修正矩阵、第二修正矩阵和原始数据矩阵按位相加。
在本申请的一个实施例中，模型构建模块504还用于利用训练好的三维结构信息编码器提取目标图像中的目标对象的三维结构特征；
利用训练好的三维结构特征解码器对三维结构特征进行特征处理，得到目标对象的多个顶点的三维坐标；
根据目标对象的多个顶点的三维坐标重建目标对象的三维模型
关于三维模型构建装置的具体限定可以参见上文中对于三维模型构建方法的限定，在此不再赘述。上述三维模型构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预先训练好的图像要素编码器、光照特征解码器、纹理特征解码器、三维结构信息编码器和三维结构特征解码器。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维模型构建方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息；
基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息；
基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像；
对目标图像中的目标对象进行三维模型构建。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：光照特征信息为光照特征矩阵，光照特征矩阵用于表征原始图像中每个像素的亮度；纹理特征信息为纹理特征矩阵，纹理特征矩阵用于表征原始图像中的图案信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将原始图像输入到训练好的图像要素编码器中，得到图像要素编码器输出的光照特征信息和纹理特征信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：光照修正信息包括原始图像的每个像素的三通道数值的第一修正值；纹理修正信息包括原始图像的每个像素的三通道数值的第二修正值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将光照特征信息输入至训练好的光照特征解码器中，得到光照特征解码器输出的光照修正信息；将纹理特征信息输入至训练好的纹理特征解码器中，得到纹理特征解码器输出的纹理修正信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据光照修正信息建立第一修正矩阵，根据纹理修正信息建立第二修正矩阵；获取原始图像的每个像素的三通道数值组成的原始数据矩阵；将第一修正矩阵、第二修正矩阵和原始数据矩阵按位相加。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：利用训练好的三维结构信息编码器提取目标图像中的目标对象的三维结构特征；利用训练好的三维结构特征解码器对三维结构特征进行特征处理，得到目标对象的多个顶点的三维坐标；根据目标对象的多个顶点的三维坐标重建目标对象的三维模型。
本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取原始图像，从原始图像中提取光照特征信息以及纹理特征信息；
基于光照特征信息生成光照修正信息，基于纹理特征信息生成纹理修正信息；
基于光照修正信息和纹理修正信息对原始图像进行修正处理，得到修正后的目标图像；
对目标图像中的目标对象进行三维模型构建。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：光照特征信息为光照特征矩阵，光照特征矩阵用于表征原始图像中每个像素的亮度；纹理特征信息为纹理特征矩阵，纹理特征矩阵用于表征原始图像中的图案信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将原始图像输入到训练好的图像要素编码器中，得到图像要素编码器输出的光照特征信息和纹理特征信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：光照修正信息包括原始图像的每个像素的三通道数值的第一修正值；纹理修正信息包括原始图像的每个像素的三通道数值的第二修正值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将光照特征信息输入至训练好的光照特征解码器中，得到光照特征解码器输出的光照修正信息；将纹理特征信息输入至训练好的纹理特征解码器中，得到纹理特征解码器输出的纹理修正信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据光照修正信息建立第一修正矩阵，根据纹理修正信息建立第二修正矩阵；获取原始图像的每个像素的三通道数值组成的原始数据矩阵；将第一修正矩阵、第二修正矩阵和原始数据矩阵按位相加。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：利用训练好的三维结构信息编码器提取目标图像中的目标对象的三维结构特征；利用训练好的三维结构特征解码器对三维结构特征进行特征处理，得到目标对象的多个顶点的三维坐标；根据目标对象的多个顶点的三维坐标重建目标对象的三维模型。
本申请实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种三维模型构建方法，其特征在于，所述方法包括：
获取原始图像，从所述原始图像中提取光照特征信息以及纹理特征信息；
基于所述光照特征信息生成光照修正信息，基于所述纹理特征信息生成纹理修正信息；
基于所述光照修正信息和所述纹理修正信息对所述原始图像进行修正处理，得到修正后的目标图像；
对所述目标图像中的目标对象进行三维模型构建。
2.根据权利要求1所述的方法，其特征在于，所述光照特征信息为光照特征矩阵，所述光照特征矩阵用于表征所述原始图像中每个像素的亮度；
所述纹理特征信息为纹理特征矩阵，所述纹理特征矩阵用于表征所述原始图像中的图案信息。
3.根据权利要求2所述的方法，其特征在于，所述从所述原始图像中提取光照特征信息以及纹理特征信息，包括：
将所述原始图像输入到训练好的图像要素编码器中，得到所述图像要素编码器输出的所述光照特征信息和所述纹理特征信息。
4.根据权利要求2所述的方法，其特征在于，所述光照修正信息包括所述原始图像的每个像素的三通道数值的第一修正值；所述纹理修正信息包括所述原始图像的每个像素的三通道数值的第二修正值。
5.根据权利要求4所述的方法，其特征在于，所述基于所述光照特征信息生成光照修正信息，基于所述纹理特征信息生成纹理修正信息，包括：
将所述光照特征信息输入至训练好的光照特征解码器中，得到所述光照特征解码器输出的所述光照修正信息；
将所述纹理特征信息输入至训练好的纹理特征解码器中，得到所述纹理特征解码器输出的所述纹理修正信息。
6.根据权利要求4所述的方法，其特征在于，所述基于所述光照修正信息和所述纹理修正信息对所述原始图像进行修正处理，包括：
根据所述光照修正信息建立第一修正矩阵，根据所述纹理修正信息建立第二修正矩阵；
获取所述原始图像的每个像素的三通道数值组成的原始数据矩阵；
将所述第一修正矩阵、所述第二修正矩阵和所述原始数据矩阵按位相加。
7.根据权利要求1所述的方法，其特征在于，所述对所述目标图像中的目标对象进行三维模型构建，包括：
利用训练好的三维结构信息编码器提取所述目标图像中的目标对象的三维结构特征；
利用训练好的三维结构特征解码器对所述三维结构特征进行特征处理，得到所述目标对象的多个顶点的三维坐标；
根据所述目标对象的多个顶点的三维坐标重建所述目标对象的三维模型。
8.一种三维模型构建装置，其特征在于，所述装置包括：
获取模块，用于获取原始图像，从所述原始图像中提取光照特征信息以及纹理特征信息；
修正信息生成模块，用于基于所述光照特征信息生成光照修正信息，基于所述纹理特征信息生成纹理修正信息；
修正模块，用于基于所述光照修正信息和所述纹理修正信息对所述原始图像进行修正处理，得到修正后的目标图像；
模型构建模块，用于对所述目标图像中的目标对象进行三维模型构建。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011007477.4A CN112184884A (zh) | 2020-09-23 | 2020-09-23 | 三维模型构建方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011007477.4A CN112184884A (zh) | 2020-09-23 | 2020-09-23 | 三维模型构建方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112184884A true CN112184884A (zh) | 2021-01-05 |
Family
ID=73955849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011007477.4A Pending CN112184884A (zh) | 2020-09-23 | 2020-09-23 | 三维模型构建方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184884A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112802075A (zh) * | 2021-02-02 | 2021-05-14 | 网易（杭州）网络有限公司 | 纹理生成模型的训练方法、图像处理方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120027292A1 (en) * | 2009-03-26 | 2012-02-02 | Tatsuo Kozakaya | Three-dimensional object determining apparatus, method, and computer program product |
| CN108062784A (zh) * | 2018-02-05 | 2018-05-22 | 深圳市易尚展示股份有限公司 | 三维模型纹理贴图转换方法与装置 |
| CN109785423A (zh) * | 2018-12-28 | 2019-05-21 | 广州华多网络科技有限公司 | 图像补光方法、装置及计算机设备 |
| CN111311520A (zh) * | 2020-03-12 | 2020-06-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN111369681A (zh) * | 2020-03-02 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 三维模型的重构方法、装置、设备及存储介质 |
| CN111612880A (zh) * | 2020-05-28 | 2020-09-01 | 广州欧科信息技术股份有限公司 | 基于二维画作的三维模型构建方法、电子设备及存储介质 |
-
2020
- 2020-09-23 CN CN202011007477.4A patent/CN112184884A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120027292A1 (en) * | 2009-03-26 | 2012-02-02 | Tatsuo Kozakaya | Three-dimensional object determining apparatus, method, and computer program product |
| CN108062784A (zh) * | 2018-02-05 | 2018-05-22 | 深圳市易尚展示股份有限公司 | 三维模型纹理贴图转换方法与装置 |
| CN109785423A (zh) * | 2018-12-28 | 2019-05-21 | 广州华多网络科技有限公司 | 图像补光方法、装置及计算机设备 |
| CN111369681A (zh) * | 2020-03-02 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 三维模型的重构方法、装置、设备及存储介质 |
| CN111311520A (zh) * | 2020-03-12 | 2020-06-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN111612880A (zh) * | 2020-05-28 | 2020-09-01 | 广州欧科信息技术股份有限公司 | 基于二维画作的三维模型构建方法、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112802075A (zh) * | 2021-02-02 | 2021-05-14 | 网易（杭州）网络有限公司 | 纹理生成模型的训练方法、图像处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968235B (zh) | 一种物体姿态估计方法、装置、系统和计算机设备 | |
| CN111127631B (zh) | 基于单图像的三维形状和纹理重建方法、系统及存储介质 | |
| CN110516541B (zh) | 文本定位方法、装置、计算机可读存储介质和计算机设备 | |
| CN112183295A (zh) | 行人重识别方法、装置、计算机设备及存储介质 | |
| CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
| CN109345604B (zh) | 图片处理方法、计算机设备和存储介质 | |
| CN111784818A (zh) | 生成三维人体模型的方法、装置及计算机可读存储介质 | |
| CN111681165A (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| KR101853237B1 (ko) | 딥 러닝을 이용한 3차원 기하 디노이징 방법 및 그 장치 | |
| CN112115860A (zh) | 人脸关键点定位方法、装置、计算机设备和存储介质 | |
| CN114913284A (zh) | 三维人脸重建模型训练方法、装置和计算机设备 | |
| CN112819687B (zh) | 基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质 | |
| CN111046755A (zh) | 字符识别方法、装置、计算机设备和计算机可读存储介质 | |
| CN112184884A (zh) | 三维模型构建方法、装置、计算机设备及存储介质 | |
| CN116342385A (zh) | 文本图像超分辨率网络的训练方法、装置以及存储介质 | |
| CN113496468B (zh) | 深度图像的修复方法、装置和存储介质 | |
| CN116258643A (zh) | 图像阴影消除方法、装置、设备及存储介质 | |
| CN115457206A (zh) | 三维模型生成方法、装置、设备及存储介质 | |
| CN110148194B (zh) | 图像重建方法和装置 | |
| CN112150612A (zh) | 三维模型构建方法、装置、计算机设备及存储介质 | |
| CN109003327B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| JP6962450B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN111402121A (zh) | 图像风格的转换方法、装置、计算机设备和存储介质 | |
| CN112508776A (zh) | 动作迁移方法、装置和电子设备 | |
| KR20210085403A (ko) | 머신 러닝에 기반한 이미지 처리 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |