CN112435331A - 模型训练方法、点云生成方法、装置、设备及存储介质 - Google Patents
模型训练方法、点云生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112435331A CN112435331A CN202011437228.9A CN202011437228A CN112435331A CN 112435331 A CN112435331 A CN 112435331A CN 202011437228 A CN202011437228 A CN 202011437228A CN 112435331 A CN112435331 A CN 112435331A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- feature extraction
- network
- preset
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000000605 extraction Methods 0.000 claims abstract description 149
- 238000003062 neural network model Methods 0.000 claims abstract description 80
- 238000009877 rendering Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 91
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 2
- 230000004075 alteration Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 13
- 239000002609 medium Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 206010021403 Illusion Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了模型训练方法、点云生成方法、装置、设备及存储介质。模型训练方法包括：将基于相同的原始点云数据渲染得到的第一样本图像和第二样本图像分别输入至预设神经网络模型中的孪生的第一特征提取网络和第二特征提取网络，其中，第一样本图像中具备预设特征，第二样本图像中不具备预设特征，根据第一特征提取网络和第二特征提取网络的输出计算第一损失函数，根据第一特征数据对应的生成点云数据和原始点云数据计算第二损失函数，对预设神经网络模型进行训练，根据训练后的第一特征提取网络确定点云生成模型。通过采用上述技术方案，所生成的点云生成模型能够抑制预设特征的影响，提高点云生成质量。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及模型训练方法、点云生成方法、装置、设备及存储介质。
背景技术
随着虚拟仿真、增强现实、机器人、自动驾驶等行业的推进和发展，三维重建技术得到了广泛的应用。三维重建，顾名思义就是对现实世界中的三维物体用计算机来进行模拟。目前主流的三维重建有两种手段：一种是采用带有深度信息采集功能的摄像头或激光雷达等采集设备对物体进行图像和点云采集；另一种是基于多张有关待测物体的二维图像进行三维重建。然而，前者需要较好的采集设备，成本比较昂贵且不易操作，因此，针对后者的研究成为了热点。随着以深度学习为基础的计算机视觉技术的发展，基于图像的三维重建在最近的十年中取得了重大突破。
在现有技术中，为了生成点云，一般直接从二维图像中提取特征，然后使用多层感知机(Multilayer Perceptron，MLP)直接生成点云。然而，二维图像中可能有一些特征会影响到点云的生成，使得所生成的点云质量欠佳，需要改进。
发明内容
本发明实施例提供了模型训练方法、装置、设备及存储介质，可以优化现有的三维重建中的点云生成方案。
第一方面，本发明实施例提供了一种点云生成模型训练方法，包括：
将第一样本图像输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二样本图像输入至所述预设神经网络模型中的第二特征提取网络，其中，所述第一样本图像和第二样本图像包括基于相同的原始点云数据渲染得到的二维图像，所述第一样本图像中具备预设特征，所述第二样本图像中不具备所述预设特征，所述第一特征提取网络和所述第二特征提取网络构成孪生网络；
根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据所述第一特征数据对应的生成点云数据和所述原始点云数据计算第二损失函数；
根据所述第一损失函数和所述第二损失函数对所述预设神经网络模型进行训练，得到目标神经网络模型；
根据所述目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型。
第二方面，本发明实施例提供了一种点云生成方法，包括：
获取第一图像，所述第一图像为二维图像；
将所述第一图像输入至点云生成模型中，所述点云生成模型基于如本发明实施例提供的点云生成模型训练方法得到；
根据所述点云生成模型的输出结果确定所述第一图像对应的目标点云数据。
第三方面，本发明实施例提供了一种点云生成模型训练装置，包括：
样本图像输入模块，用于将第一样本图像输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二样本图像输入至所述预设神经网络模型中的第二特征提取网络，其中，所述第一样本图像和第二样本图像包括基于相同的原始点云数据渲染得到的二维图像，所述第一样本图像中具备预设特征，所述第二样本图像中不具备所述预设特征，所述第一特征提取网络和所述第二特征提取网络构成孪生网络；
损失函数计算模块，用于根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据所述第一特征数据对应的生成点云数据和所述原始点云数据计算第二损失函数；
模型训练模块，用于根据所述第一损失函数和所述第二损失函数对所述预设神经网络模型进行训练，得到目标神经网络模型；
点云生成模型确定模块，用于根据所述目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型。
第四方面，本发明实施例提供了一种点云生成装置，包括：
图像获取模块，用于获取第一图像，所述第一图像为二维图像；
图像输入模块，用于将所述第一图像输入至点云生成模型中，所述点云生成模型基于如本发明实施例提供的点云生成模型训练方法得到；；
点云生成模块，用于根据所述点云生成模型的输出结果确定所生成的目标点云数据。
第五方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的点云生成模型训练方法和/或点云生成方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的点云生成模型训练方法和/或点云生成方法。
本发明实施例中提供的点云生成模型训练方案，将第一样本图像输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二样本图像输入至所述预设神经网络模型中的第二特征提取网络，其中，第一样本图像和第二样本图像包括基于相同的原始点云数据渲染得到的二维图像，第一样本图像中具备预设特征，所述第二样本图像中不具备所述预设特征，第一特征提取网络和第二特征提取网络构成孪生网络，根据第一特征提取网络输出的第一特征数据和第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据第一特征数据对应的生成点云数据和原始点云数据计算第二损失函数，根据第一损失函数和第二损失函数对预设神经网络模型进行训练，得到目标神经网络模型，根据目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型。通过采用上述技术方案，在点云生成模型的训练过程中引入孪生网络，在孪生网络中的第一特征提取网络和第二特征提取网络分别输入基于相同原始点云数据渲染得到的具备预设特征和不具备预设特征的二维图像，通过训练能够有效抑制预设特征对图像特征提取结果的影响，进而使得根据第一特征提取网络生成的点云生成模型能够更好地生成点云数据，提高点云生成质量。
附图说明
图1为本发明实施例提供的一种点云生成模型训练方法的流程示意图；
图2为本发明实施例提供的又一种点云生成模型训练方法的流程示意图；
图3为本发明实施例提供的一种预设神经网络模型的结构示意图；
图4为本发明实施例提供的一种点云生成方法的流程示意图；
图5为本发明实施例提供的一种点云生成模型训练装置的结构框图；
图6为本发明实施例提供的一种点云生成装置的结构框图；
图7为本发明实施例提供的一种计算机设备的结构框图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1为本发明实施例提供的一种点云生成模型训练方法的流程示意图，该方法可适用于基于二维图像进行三维重建场景下的点云生成模型的训练，该方法可以由点云生成模型训练装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图1所示，该方法包括：
步骤101、将第一样本图像输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二样本图像输入至所述预设神经网络模型中的第二特征提取网络。
其中，所述第一样本图像和第二样本图像包括基于相同的原始点云数据渲染得到的二维图像，所述第一样本图像中具备预设特征，所述第二样本图像中不具备所述预设特征，所述第一特征提取网络和所述第二特征提取网络构成孪生网络。
示例性的，预设神经网络模型中可以包含孪生网络。孪生网络一般指存在两个网络，这两个网络的结构相同，且参数是共享的，也即权重相同。本发明实施例中的第一特征提取网络和第二特征提取网络可以视为孪生网络。第一特征提取网络和第二特征提取网络的具体结构不做限定，其作用是对二维图片进行特征提取，可根据实际需求进行设置。可选的，预设神经网络模型中还可以包含其他网络结构，本发明实施例对此不做限定。
在对预设神经网络模型进行训练之前，可以预先准备训练样本。本发明实施例中最终想要得到的点云生成模型用于根据二维图像生成点云数据，以进行三维重建，因此，训练样本为二维图像。具体的，可以采用带有深度信息采集功能的摄像头或激光雷达等设备进行图像和点云采集，得到用于生成训练样本的初始点云数据。在生成训练样本时，可以从初始点云数据中选取同一视角下的点云数据，作为原始点云数据，根据该原始点云数据进行渲染，得到二维图像。
在根据二维图像进行三维建模的过程中，二维图像所具备的一些特征可能会对点云生成过程中的特征提取产生影响，进而影响所生成的点云质量，可将这些特征统称为预设特征。在生成点云数据时，关键的特征是与建模目标(如物体或人物等)的形状相关的特征，因此，预设特征一般与建模目标的形状无关，也就是说可以将对建模目标的形状不构成影响的特征选取为预设特征。本发明实施例对预设特征的具体类型不做限定，例如，可以是纹理特征、颜色特征和尺寸变更特征中的一个或多个。在现实生活中，各类物体表面都有着丰富的特征，即纹理特征，在进行三维建模时，建模目标可能是镂空的物体或物体上存在一些网格等花纹会造成视觉上的错觉，同样也会影响以深度学习为基础的计算机视觉技术，进而影响点云生成，因此，预设特征可包括纹理特征。此外，建模目标在二维图像中呈现的颜色可能是丰富多样的，同样也会影响点云生成时特征提取的准确度，进而影响点云生成，因此，预设特征可包括颜色特征。另外，用于生成点云的二维图像的尺寸大小(也即分辨率大小)不一，可能与训练时采用的样本尺寸不同，且该二维图像的来源不确定，可能在原始拍摄图像基础上进行过尺寸变更处理，都可能会影响点云生成时特征提取的准确度，因此，预设特征可包括尺寸变更特征。可选的，预设特征可以包含上述三者中任意一种，也可包括三者的任意组合，如纹理特征和颜色特征，纹理特征和尺寸变更特征，或者纹理特征、颜色特征和尺寸变更特征。
为了抑制预设特征对点云生成过程产生的影响，可根据原始点云数据渲染得到成对的训练样本图像，记为第一样本图像和第二样本图像。以预设特征为纹理特征为例，第一样本图像包含纹理特征，第二样本图像不包含纹理特征(例如可以将原始点云数据中的纹理信息去除)；以预设特征为颜色特征为例，第一样本图像包含颜色特征，第二样本图像不包含颜色特征(例如可以是灰度图像)；以预设特征为尺寸变更特征为例，第一样本图像为根据原始点云数据直接渲染得到的二维图像，第二样本图像为在第一样本图像基础上进行尺寸放大或缩小后得到的二维图像。
示例性的，在对预设神经网络模型进行训练时，可以将第一样本图像输入至第一特征提取网络，得到第一特征提取网络输出的第一特征数据。第一特征数据的具体表现形式不做限定，例如可以是第一特征向量。第一特征数据可以用于生成点云数据，例如第一特征数据可以经过一定的网络结构，输出生成点云数据，将所输出的生成点云数据记为第一特征数据对应的生成点云数据，也可直接将第一特征数据作为生成点云数据，对此不做限定。将第二样本图像输入至第二特征提取网络，得到第二特征提取网络输出的第二特征数据。同样的，第二特征数据的具体表现形式不做限定，但需要与第一特征数据一致，例如可以是第二特征向量。
步骤102、根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据所述第一特征数据对应的生成点云数据和所述原始点云数据计算第二损失函数。
示例性的，为了抑制预设特征对点云生成过程产生的影响，可以根据第一特征数据和第二特征数据计算第一损失函数，具体可以是计算两者的相似度。可选的，基于第一预设损失函数计算方式计算所述第一特征提取网络输出的第一特征向量和所述第二特征提取网络输出的第二特征向量的第一相似度，得到第一损失函数。第一预设损失函数计算方式例如可包括对比损失函数(Contrastive Loss)计算方式，具体可以是KL散度(Kullback–Leibler divergence)，又称相对熵(relative entropy)，还可以是噪声对比估计损失(Noise-Constrastive Estimation Loss，NCE)等。另外，为了使生成点云数据接近原始点云数据，还需要根据第一特征数据对应的生成点云数据和原始点云数据计算第二损失函数，具体可以是计算两组点云数据对应的集合之间的相似度。可选的，基于第二预设损失函数计算方式计算第一特征数据对应的生成点云数据和原始点云数据的第二相似度，得到第二损失函数。第二预设损失函数计算方式例如可包括倒角距离损失函数(Chamfer loss)，也即计算生成点云数据和原始点云数据的倒角距离(Chamfer distance)，也可以是地球移动距离(Earth Mover's Distance，EMD)损失函数等。
步骤103、根据所述第一损失函数和所述第二损失函数对所述预设神经网络模型进行训练，得到目标神经网络模型。
在训练时，一般采用反向传播的方式训练，训练过程中可以第一损失函数和第二损失函数最小为训练目标对预设神经网络模型中的网络参数进行调节，例如，第一特征数据和第二特征数据最接近，第一特征数据对应的生成点云数据和原始点云数据最接近。具体的训练截止条件可根据实际需求进行设置，本发明实施例不做限定。
步骤104、根据所述目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型。
当针对预设神经网络模型的训练结束后，经过训练后的第一特征提取网络和经过训练后的第二特征提取网络中的网络参数得到同步的优化调整，最终训练后的第一特征提取网络和经过训练后的第二特征提取网络完全一致，针对具备预设特征的二维图像和不具备预设特征的二维图像能够得到非常接近的输出结果，进而抑制预设特征对生成点云的影响。最后，根据目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型，若第一特征提取网络之后承接有其他网络结构，则可将训练后的第一特征提取网络和后面的训练后的其他网络结构作为点云生成模型。
本发明实施例中提供的模型训练方法，将第一样本图像输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二样本图像输入至所述预设神经网络模型中的第二特征提取网络，其中，第一样本图像和第二样本图像包括基于相同的原始点云数据渲染得到的二维图像，第一样本图像中具备预设特征，所述第二样本图像中不具备所述预设特征，第一特征提取网络和第二特征提取网络构成孪生网络，根据第一特征提取网络输出的第一特征数据和第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据第一特征数据对应的生成点云数据和原始点云数据计算第二损失函数，根据第一损失函数和第二损失函数对预设神经网络模型进行训练，得到目标神经网络模型，根据目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型。通过采用上述技术方案，在点云生成模型的训练过程中引入孪生网络，在孪生网络中的第一特征提取网络和第二特征提取网络分别输入基于相同原始点云数据渲染得到的具备预设特征和不具备预设特征的二维图像，通过训练能够有效抑制预设特征对图像特征提取结果的影响，进而使得根据第一特征提取网络生成的点云生成模型能够更好地生成点云数据，提高点云生成质量。
在一些实施例中，所述第一特征提取网络和所述第二特征提取网络中包含用于升维的第一预设网络结构，且所述第一特征提取网络和所述第二特征提取网络对应的深度大于或等于预设深度阈值。这样设置的好处在于，采用第一预设网络结构对输入至特征提取网络中的图像进行升维，且特征提取网络的深度大于一定的阈值，可以保证特征提取网络能够提取到二维图像中的高维特征，通过模型训练可以使得第一特征提取网络和第二特征提取网络分别提取到的第一样本图像的高维特征与第二样本图像的高维特征相近，更好地抑制预设特征的影响。第一预设网络结构具体不做限定，例如可以是多个卷积层。预设深度阈值例如可以是512维或1024维等，具体数值也不做限定。第一特征提取网络和第二特征提取网络例如可以是Resnet34或Resnet50等。
在一些实施例中，所述预设神经网络模型中还包括承接于所述第一特征提取网络的用于降维的第二预设网络结构；所述根据所述目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型，包括：所述根据所述目标神经网络模型中训练后的第一特征提取网络，以及训练后的第二预设网络结构确定点云生成模型。示例性的，在经过特征提取网络的升维操作之后，可以对输出的特征向量进行降维，得到相应的生成点云数据。第二预设网络结构例如可以是全连接层，全连接层的数量不做限定，例如可以是2层或4层等。可选的，可直接将第一特征提取网络和第二预设网络结构确定为点云生成模型。
进一步的，根据所述第一特征数据对应的生成点云数据和所述原始点云数据计算第二损失函数，可包括：基于第二预设损失函数计算方式计算所述第二预设网络结构输出的生成点云数据和所述原始点云数据的第二相似度，得到第二损失函数。在确定第一特征提取网络之后承接有第二预设网络结构时，则第二预设网络结构输出的数据即为生成点云数据，可以计算第二预设网络结构输出的数据原始点云数据的第二相似度，得到第二损失函数。
在一些实施例中，所述根据所述第一损失函数和所述第二损失函数对所述预设神经网络模型进行训练，包括：根据所述第一损失函数和所述第二损失函数，以所述第一特征向量等同于所述第二特征向量，以及所述生成点云数据等同于所述原始点云数据为目标，对所述预设神经网络模型进行训练。这样设置的好处在于，可以以不具备预设特征的二维图像的特征为基准，使得具备预设特征的二维图像在高维特征上接近甚至等同于具备预设特征的二维图像，有效抑制预设特征的影响，且使得生成的点云数据接近甚至等同于原始点云数据，保证点云生成质量。
图2为本发明实施例提供的又一种点云生成模型训练方法的流程示意图，图3为本发明实施例提供的一种预设神经网络模型的结构示意图，以预设特征为纹理特征为例进行说明，该方法可包括：
步骤201、将有纹理图像输入至待训练的预设神经网络模型中的第一特征提取网络，并将无纹理图像输入至预设神经网络模型中的第二特征提取网络。
其中，带有纹理特征的图像简称为有纹理图像(Image with texture)，无纹理特征的图片简称为无纹理图像(Image without texture)。
如图3所示，预设神经网络模型可以包括孪生网络和4层感知器(4-layer MLP)，孪生网络中包括第一特征提取网络(Feature Embedding Network1)和第二特征提取网络(Feature Embedding Network2)。第一特征提取网络和第二特征提取网络具体可以是Resnet50等深度较高的神经网络。第一特征提取网络的输出会被输入到4-layer MLP中，由4-layer MLP输出生成点云数据。第一特征提取网络的输出和第二特征提取网络的输出会被用于对比损失函数(Contrastive Loss)的计算。
步骤202、基于对比损失函数计算方式计算第一特征提取网络输出的第一特征向量和第二特征提取网络输出的第二特征向量的第一相似度，得到第一损失函数。
步骤203、基于倒角损失函数计算方式计算第二预设网络结构输出的生成点云数据和原始点云数据的第二相似度，得到第二损失函数。
步骤204、根据第一损失函数和第二损失函数，以第二特征向量和原始点云数据为基准，以第一特征向量等同于第二特征向量，以及生成点云数据等同于原始点云数据为训练目标，对预设神经网络模型进行训练，得到目标神经网络模型。
本步骤中，在对预设神经网络模型进行训练时，以无纹理图像的特征作为目标，使有纹理特征图像在高维特征上接近或等同于无纹理图像的高维特征，从而达到抑制纹理特征的目的；以原始点云数据为目标，使生成点云数据接近或等同于原始点云数据，可以使得生成点云数据更加真实准确。
步骤205、根据目标神经网络模型中训练后的第一特征提取网络以及训练后的第二预设网络结构确定点云生成模型。
预设神经网络模型训练完毕后，得到目标神经网络模型。在实际应用时，一般都是基于有纹理图像来进行点云生成，因此，根据有纹理图像对应的第一特征提取网络以及后面的4-layer MLP生成点云生成模型。
本发明实施例中提供的点云生成模型训练方法，在点云生成模型的训练过程中引入孪生网络衡量基于相同原始点云数据渲染得到的有纹理和无纹理的二维图像的相似度，通过训练能够让无纹理图像的高维特征接近带纹理图像的高维特征，减少特征提取网络对图片纹理特征的敏感度，提升渲染图片特征提取的鲁棒性，有效抑制预设特征对图像特征提取结果的影响，进而使得根据第一特征提取网络生成的点云生成模型能够更好地生成点云数据，提高点云生成质量。
图4为本发明实施例提供的一种点云生方法的流程示意图，该方法可适用于基于二维图像进行三维重建场景下的点云生成，该方法可以由点云生成模型训练装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图4所示，该方法包括：
步骤401、获取第一图像，所述第一图像为二维图像。
其中，第一图像的具体来源不做限定，例如可以是图像采集设备拍摄的图像，也可以是从其他设备获取的图像，还可以是通过互联网下载的图像等等。
步骤402、将所述第一图像输入至点云生成模型中。
其中，所述点云生成模型基于本发明任意实施例所提供的点云生成模型训练方法得到。
步骤403、根据所述点云生成模型的输出结果确定所述第一图像对应的目标点云数据。
本发明实施例提供的点云生成方法，将二维图像输入至本发明实施例提供的点云生成模型中，得到输出的目标点云数据，由于点云生成模型对形状以外的如纹理等特征不敏感，因此，能够抑制纹理等特征对点云生成结果的影响，目标点云数据的质量能够得到有效提升，从而得到更加精准的三维重建数据，不需要再利用激光雷达等高级设备来获取点云数据，可有效节省三维重建的实施成本。
图5为本发明实施例提供的一种点云生成模型训练装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行点云生成模型训练方法来进行模型训练。如图5所示，该装置包括：
样本图像输入模块501，用于将第一样本图像输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二样本图像输入至所述预设神经网络模型中的第二特征提取网络，其中，所述第一样本图像和第二样本图像包括基于相同的原始点云数据渲染得到的二维图像，所述第一样本图像中具备预设特征，所述第二样本图像中不具备所述预设特征，所述第一特征提取网络和所述第二特征提取网络构成孪生网络；
损失函数计算模块502，用于根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据所述第一特征数据对应的生成点云数据和所述原始点云数据计算第二损失函数；
模型训练模块503，用于根据所述第一损失函数和所述第二损失函数对所述预设神经网络模型进行训练，得到目标神经网络模型；
点云生成模型确定模块504，用于根据所述目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型。
本发明实施例中提供的点云生成模型训练装置，将第一样本图像输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二样本图像输入至所述预设神经网络模型中的第二特征提取网络，其中，第一样本图像和第二样本图像包括基于相同的原始点云数据渲染得到的二维图像，第一样本图像中具备预设特征，所述第二样本图像中不具备所述预设特征，第一特征提取网络和第二特征提取网络相同，根据第一特征提取网络输出的第一特征数据和第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据第一特征数据对应的生成点云数据和原始点云数据计算第二损失函数，根据第一损失函数和第二损失函数对预设神经网络模型进行训练，得到目标神经网络模型，根据目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型。通过采用上述技术方案，在点云生成模型的训练过程中引入孪生网络，在孪生网络中的第一特征提取网络和第二特征提取网络分别输入基于相同原始点云数据渲染得到的具备预设特征和不具备预设特征的二维图像，通过训练能够有效抑制预设特征对图像特征提取结果的影响，进而使得根据第一特征提取网络生成的点云生成模型能够更好地生成点云数据，提高点云生成质量。
可选的，所述第一特征提取网络和所述第二特征提取网络中包含用于升维的第一预设网络结构，且所述第一特征提取网络和所述第二特征提取网络对应的深度大于或等于预设深度阈值。
可选的，所述预设神经网络模型中还包括承接于所述第一特征提取网络的用于降维的第二预设网络结构；
所述根据所述目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型，包括：
根据所述目标神经网络模型中训练后的第一特征提取网络，以及训练后的第二预设网络结构确定点云生成模型。
可选的，所述根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据所述第一特征数据对应的生成点云数据和所述原始点云数据计算第二损失函数，包括：
基于第一预设损失函数计算方式计算所述第一特征提取网络输出的第一特征向量和所述第二特征提取网络输出的第二特征向量的第一相似度，得到第一损失函数；
基于第二预设损失函数计算方式计算所述第二预设网络结构输出的生成点云数据和所述原始点云数据的第二相似度，得到第二损失函数。
可选的，所述根据所述第一损失函数和所述第二损失函数对所述预设神经网络模型进行训练，包括：
根据所述第一损失函数和所述第二损失函数，以所述第二特征向量和所述原始点云数据为基准，以所述第一特征向量等同于所述第二特征向量，以及所述生成点云数据等同于所述原始点云数据为训练目标，对所述预设神经网络模型进行训练。
可选的，所述预设特征包括纹理特征、颜色特征和尺寸变更特征中的至少一个。
图6为本发明实施例提供的一种点云生成装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行点云生成方法来进行模型训练。如图6所示，该装置包括：
图像获取模块601，用于获取第一图像，所述第一图像为二维图像；
图像输入模块602，用于将所述第一图像输入至点云生成模型中，所述点云生成模型基于如本发明实施例提供的点云生成模型训练方法得到；；
点云生成模块603，用于根据所述点云生成模型的输出结果确定所生成的目标点云数据。
本发明实施例提供的点云生成装置，将二维图像输入至本发明实施例提供的点云生成模型中，得到输出的目标点云数据，由于点云生成模型对形状以外的如纹理等特征不敏感，因此，能够抑制纹理等特征对点云生成结果的影响，目标点云数据的质量能够得到有效提升，从而得到更加精准的三维重建数据，不需要再利用激光雷达等高级设备来获取点云数据，可有效节省三维重建的实施成本。
本发明实施例提供了一种计算机设备，该计算机设备中可集成本发明实施例提供的模型训练装置。图7为本发明实施例提供的一种计算机设备的结构框图。计算机设备700可以包括：存储器701，处理器702及存储在存储器701上并可在处理器运行的计算机程序，所述处理器702执行所述计算机程序时实现如本发明实施例所述的点云生成模型训练方法和/或点云生成方法。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的点云生成模型训练方法和/或点云生成方法。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的模型训练操作，还可以执行本发明任意实施例所提供的模型训练方法中的相关操作。
上述实施例中提供的模型训练装置、设备及存储介质可执行本发明任意实施例所提供的模型训练方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的模型训练方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种点云生成模型训练方法，其特征在于，包括：
将第一样本图像输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二样本图像输入至所述预设神经网络模型中的第二特征提取网络，其中，所述第一样本图像和第二样本图像包括基于相同的原始点云数据渲染得到的二维图像，所述第一样本图像中具备预设特征，所述第二样本图像中不具备所述预设特征，所述第一特征提取网络和所述第二特征提取网络构成孪生网络；
根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据所述第一特征数据对应的生成点云数据和所述原始点云数据计算第二损失函数；
根据所述第一损失函数和所述第二损失函数对所述预设神经网络模型进行训练，得到目标神经网络模型；
根据所述目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型。
2.根据权利要求1所述的方法，其特征在于，所述第一特征提取网络和所述第二特征提取网络中包含用于升维的第一预设网络结构，且所述第一特征提取网络和所述第二特征提取网络对应的深度大于或等于预设深度阈值。
3.根据权利要求2所述的方法，其特征在于，所述预设神经网络模型中还包括承接于所述第一特征提取网络的用于降维的第二预设网络结构；
所述根据所述目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型，包括：
根据所述目标神经网络模型中训练后的第一特征提取网络，以及训练后的第二预设网络结构确定点云生成模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据所述第一特征数据对应的生成点云数据和所述原始点云数据计算第二损失函数，包括：
基于第一预设损失函数计算方式计算所述第一特征提取网络输出的第一特征向量和所述第二特征提取网络输出的第二特征向量的第一相似度，得到第一损失函数；
基于第二预设损失函数计算方式计算所述第二预设网络结构输出的生成点云数据和所述原始点云数据的第二相似度，得到第二损失函数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一损失函数和所述第二损失函数对所述预设神经网络模型进行训练，包括：
根据所述第一损失函数和所述第二损失函数，以所述第二特征向量和所述原始点云数据为基准，以所述第一特征向量等同于所述第二特征向量，以及所述生成点云数据等同于所述原始点云数据为训练目标，对所述预设神经网络模型进行训练。
6.根据权利要求1-5任一所述的方法，其特征在于，所述预设特征包括纹理特征、颜色特征和尺寸变更特征中的至少一个。
7.一种点云生成方法，其特征在于，包括：
获取第一图像，所述第一图像为二维图像；
将所述第一图像输入至点云生成模型中，所述点云生成模型基于如权利要求1-6任一所述的点云生成模型训练方法得到；
根据所述点云生成模型的输出结果确定所述第一图像对应的目标点云数据。
8.一种点云生成模型训练装置，其特征在于，包括：
样本图像输入模块，用于将第一样本图像输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二样本图像输入至所述预设神经网络模型中的第二特征提取网络，其中，所述第一样本图像和第二样本图像包括基于相同的原始点云数据渲染得到的二维图像，所述第一样本图像中具备预设特征，所述第二样本图像中不具备所述预设特征，所述第一特征提取网络和所述第二特征提取网络构成孪生网络；
损失函数计算模块，用于根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数，以及根据所述第一特征数据对应的生成点云数据和所述原始点云数据计算第二损失函数；
模型训练模块，用于根据所述第一损失函数和所述第二损失函数对所述预设神经网络模型进行训练，得到目标神经网络模型；
点云生成模型确定模块，用于根据所述目标神经网络模型中的训练后的第一特征提取网络确定点云生成模型。
9.一种点云生成装置，其特征在于，包括：
图像获取模块，用于获取第一图像，所述第一图像为二维图像；
图像输入模块，用于将所述第一图像输入至点云生成模型中，所述点云生成模型基于如权利要求1-6任一所述的点云生成模型训练方法得到；
点云生成模块，用于根据所述点云生成模型的输出结果确定所生成的目标点云数据。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011437228.9A CN112435331A (zh) | 2020-12-07 | 2020-12-07 | 模型训练方法、点云生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011437228.9A CN112435331A (zh) | 2020-12-07 | 2020-12-07 | 模型训练方法、点云生成方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112435331A true CN112435331A (zh) | 2021-03-02 |
Family
ID=74691048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011437228.9A Pending CN112435331A (zh) | 2020-12-07 | 2020-12-07 | 模型训练方法、点云生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112435331A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113593047A (zh) * | 2021-06-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 动作序列迁移的方法、装置及电子设备 |
| CN113822993A (zh) * | 2021-11-23 | 2021-12-21 | 之江实验室 | 一种基于3d模型匹配的数字孪生方法和系统 |
| CN113838211A (zh) * | 2021-09-15 | 2021-12-24 | 广州大学 | 一种3d点云分类攻击防御方法、装置、设备及存储介质 |
| CN114283294A (zh) * | 2021-12-20 | 2022-04-05 | 平安普惠企业管理有限公司 | 基于神经网络点云特征提取方法、系统、设备及存储介质 |
| CN114372974A (zh) * | 2022-01-12 | 2022-04-19 | 北京字节跳动网络技术有限公司 | 图像检测方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3427187A1 (en) * | 2016-03-11 | 2019-01-16 | Siemens Mobility GmbH | Deep-learning based feature mining for 2.5d sensing image search |
| CN110197109A (zh) * | 2018-08-17 | 2019-09-03 | 平安科技（深圳）有限公司 | 神经网络模型训练、人脸识别方法、装置、设备及介质 |
| CN111523600A (zh) * | 2020-04-26 | 2020-08-11 | 上海商汤临港智能科技有限公司 | 神经网络训练、目标检测、及智能设备控制的方法及装置 |
| CN111612891A (zh) * | 2020-05-22 | 2020-09-01 | 北京京东乾石科技有限公司 | 模型生成方法、点云数据处理方法、装置、设备及介质 |
| CN112016638A (zh) * | 2020-10-26 | 2020-12-01 | 广东博智林机器人有限公司 | 一种钢筋簇的识别方法、装置、设备及存储介质 |
-
2020
- 2020-12-07 CN CN202011437228.9A patent/CN112435331A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3427187A1 (en) * | 2016-03-11 | 2019-01-16 | Siemens Mobility GmbH | Deep-learning based feature mining for 2.5d sensing image search |
| CN110197109A (zh) * | 2018-08-17 | 2019-09-03 | 平安科技（深圳）有限公司 | 神经网络模型训练、人脸识别方法、装置、设备及介质 |
| CN111523600A (zh) * | 2020-04-26 | 2020-08-11 | 上海商汤临港智能科技有限公司 | 神经网络训练、目标检测、及智能设备控制的方法及装置 |
| CN111612891A (zh) * | 2020-05-22 | 2020-09-01 | 北京京东乾石科技有限公司 | 模型生成方法、点云数据处理方法、装置、设备及介质 |
| CN112016638A (zh) * | 2020-10-26 | 2020-12-01 | 广东博智林机器人有限公司 | 一种钢筋簇的识别方法、装置、设备及存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113593047A (zh) * | 2021-06-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 动作序列迁移的方法、装置及电子设备 |
| CN113593047B (zh) * | 2021-06-28 | 2023-06-23 | 北京百度网讯科技有限公司 | 动作序列迁移的方法、装置及电子设备 |
| CN113838211A (zh) * | 2021-09-15 | 2021-12-24 | 广州大学 | 一种3d点云分类攻击防御方法、装置、设备及存储介质 |
| CN113838211B (zh) * | 2021-09-15 | 2023-07-11 | 广州大学 | 一种3d点云分类攻击防御方法、装置、设备及存储介质 |
| CN113822993A (zh) * | 2021-11-23 | 2021-12-21 | 之江实验室 | 一种基于3d模型匹配的数字孪生方法和系统 |
| CN113822993B (zh) * | 2021-11-23 | 2022-04-08 | 之江实验室 | 一种基于3d模型匹配的数字孪生方法和系统 |
| CN114283294A (zh) * | 2021-12-20 | 2022-04-05 | 平安普惠企业管理有限公司 | 基于神经网络点云特征提取方法、系统、设备及存储介质 |
| CN114372974A (zh) * | 2022-01-12 | 2022-04-19 | 北京字节跳动网络技术有限公司 | 图像检测方法、装置、设备及存储介质 |
| CN114372974B (zh) * | 2022-01-12 | 2024-03-08 | 抖音视界有限公司 | 图像检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112435331A (zh) | 模型训练方法、点云生成方法、装置、设备及存储介质 | |
| KR102647351B1 (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
| CN107330439A (zh) | 一种图像中物体姿态的确定方法、客户端及服务器 | |
| JP2023545199A (ja) | モデル訓練方法、人体姿勢検出方法、装置、デバイスおよび記憶媒体 | |
| WO2019011958A1 (en) | INVARIANT FACE ALIGNMENT SYSTEM AND METHOD FOR INSTALLATION | |
| WO2018156126A1 (en) | Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation | |
| CN111696196B (zh) | 一种三维人脸模型重建方法及装置 | |
| CN108124489B (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
| JP2023545200A (ja) | パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体 | |
| CN113888689A (zh) | 图像渲染模型训练、图像渲染方法及装置 | |
| CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
| TWI738196B (zh) | 一種圖像深度估計方法、電子設備、儲存介質 | |
| CN112464912B (zh) | 基于YOLO-RGGNet的机器人端人脸检测方法 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN113963117A (zh) | 一种基于可变卷积深度网络的多视图三维重建方法及装置 | |
| CN115131492A (zh) | 目标对象的重光照方法、装置及存储介质和背景替换方法 | |
| CN109165654A (zh) | 一种目标定位模型的训练方法和目标定位方法及装置 | |
| CN117274605B (zh) | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 | |
| CN113886510A (zh) | 一种终端交互方法、装置、设备及存储介质 | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| GB2589178A (en) | Cross-domain metric learning system and method | |
| CN117078809A (zh) | 基于图像的动效生成方法、装置、设备和存储介质 | |
| EP4086853A2 (en) | Method and apparatus for generating object model, electronic device and storage medium | |
| CN116703996A (zh) | 基于实例级自适应深度估计的单目三维目标检测算法 | |
| CN116152334A (zh) | 图像处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |