CN117422847B - 模型修复方法、装置、电子设备和计算机存储介质 - Google Patents

模型修复方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN117422847B
CN117422847B CN202311423910.6A CN202311423910A CN117422847B CN 117422847 B CN117422847 B CN 117422847B CN 202311423910 A CN202311423910 A CN 202311423910A CN 117422847 B CN117422847 B CN 117422847B
Authority
CN
China
Prior art keywords
model
layer
repaired
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311423910.6A
Other languages
English (en)
Other versions
CN117422847A (zh
Inventor
梁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenli Vision Shenzhen Cultural Technology Co ltd
Original Assignee
Shenli Vision Shenzhen Cultural Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenli Vision Shenzhen Cultural Technology Co ltd filed Critical Shenli Vision Shenzhen Cultural Technology Co ltd
Priority to CN202311423910.6A priority Critical patent/CN117422847B/zh
Publication of CN117422847A publication Critical patent/CN117422847A/zh
Application granted granted Critical
Publication of CN117422847B publication Critical patent/CN117422847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种模型修复方法、装置、电子设备和计算机存储介质。所述模型修复方法包括：对针对目标物体进行三维扫描得到的待修复模型进行初始修复，得到初始修复模型；对所述初始修复模型的模型数据和所述待修复模型的模型数据进行特征融合，得到融合模型特征；将所述融合模型特征输入深度神经网络中，根据所述深度神经网络的输出得到所述目标物体的目标修复模型，其中，所述深度神经网络包括编码层、上下文表示层和解码层，所述编码层的输入作为所述深度神经网络的输入，所述编码层的输出连接到所述上下文表示层的输入，所述上下文表示层的输出连接到所述解码层的输入，所述解码层的输出作为所述深度神经网络的输出。

Description

模型修复方法、装置、电子设备和计算机存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种模型修复方法、装置、电子设备和计算机存储介质。
背景技术
扫描模型是一种通过扫描技术获取的三维模型。扫描技术包括但不限于激光、光学、雷达等设备，将目标物体的表面转化为数字的三维数据。这些数据可以用来重建物体的形状和纹理。
一般而言，由于扫描模型的技术手段的限制，通过各种方式扫描获取的模型都会存在破损、扫描缺失等需要修复的缺陷。
传统技术中会采用人工进行模型修复，花费的时间成本较高，导致扫描模型的修复效率较低。
发明内容
有鉴于此，本发明实施例提供一种模型修复方法、装置、电子设备和计算机存储介质，以至少部分解决上述问题。
根据本发明实施例的第一方面，提供了一种模型修复方法，包括：对针对目标物体进行三维扫描得到的待修复模型进行初始修复，得到初始修复模型；对所述初始修复模型的模型数据和所述待修复模型的模型数据进行特征融合，得到融合模型特征；将所述融合模型特征输入深度神经网络中，根据所述深度神经网络的输出得到所述目标物体的目标修复模型，其中，所述深度神经网络包括编码层、上下文表示层和解码层，所述编码层的输入作为所述深度神经网络的输入，所述编码层的输出连接到所述上下文表示层的输入，所述上下文表示层的输出连接到所述解码层的输入，所述解码层的输出作为所述深度神经网络的输出，所述编码层用于对所述融合模型特征进行特征提取，所述上下文表示层用于对所述融合模型特征的提取特征进行上下文表示，所述解码层用于对上下文表示后的特征进行模型修复。
根据本发明实施例的第二方面，提供了一种模型修复装置，包括：粗粒度修复模块，对针对目标物体进行三维扫描得到的待修复模型进行初始修复，得到初始修复模型；特征融合模块，对所述初始修复模型的模型数据和所述待修复模型的模型数据进行特征融合，得到融合模型特征；细粒度修复模块，将所述融合模型特征输入深度神经网络中，根据所述深度神经网络的输出得到所述目标物体的目标修复模型，其中，所述深度神经网络包括编码层、上下文表示层和解码层，所述编码层的输入作为所述深度神经网络的输入，所述编码层的输出连接到所述上下文表示层的输入，所述上下文表示层的输出连接到所述解码层的输入，所述解码层的输出作为所述深度神经网络的输出，所述编码层用于对所述融合模型特征进行特征提取，所述上下文表示层用于对所述融合模型特征的提取特征进行上下文表示，所述解码层用于对上下文表示后的特征进行模型修复。
根据本发明实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的方法对应的操作。
根据本发明实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。
在本发明实施例的方案中，先对待修复模型进行粗粒度的初始修复得到初始修复模型，将初始修复模型和待修复模型进行特征融合后得到的融合模型特征输入到深度神经网络中进行细粒度的修复，由于初始修复模型和待修复模型的融合模型特征作为深度神经网络的输入，有利于优化深度神经网络的参数的拟合过程，进而提高了深度神经网络的修复可靠性。此外，深度神经网络的编码层用于对融合模型特征进行特征提取，上下文表示层用于对融合模型特征的提取特征进行上下文表示，解码层用于对上下文表示后的特征进行模型修复，因此，深度神经网络的编码层和解码层有利于提升有效特征的提取效率，上下文表示层通过进行融合模型特征的高效上下文表示，有利于提高神经网络的泛化能力，从而提高了模型的修复效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为根据本发明的一些实施例的模型修复方法的步骤流程图。
图2为图1的实施例的模型修复过程的示意性原理图。
图3为根据图1的实施例的模型修复过程的示意性框图。
图4为根据图1和图2的实施例的一个示例的深度神经网络结构的示意图。
图5为根据图4示例的一个具体示例的深度神经网络结构的示意图。
图6为根据本发明的另一些实施例的模型修复装置的示意性框图。
图7为根据本发明的另一些实施例的电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
图1为根据本发明的一些实施例的模型修复方法的步骤流程图。本发明实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：诸如手机、车机等移动终端、桌面电脑、服务器等。例如，在模型训练(training)阶段，可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备(例如，数据中心)基于训练样本对编码器解码器模型进行训练。诸如数据中心的计算设备可以部署在诸如专有云、私有云、或混合云的云服务器中。相应地，在推理(inference)阶段，也可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备进行推理运算。在诸如对抗监督学习式的训练过程中，可以利用配置有CPU+GPU架构的计算设备进行推理和训练。具体地，图1得到模型修复方法包括：
S110：对针对目标物体进行三维扫描得到的待修复模型进行初始修复，得到初始修复模型。
应理解，可以对针对目标物体进行三维扫描得到的待修复模型进行网格表示，对网格表示的待修复模型中的缺失细节(例如，待修复模型的表面处的细节)进行自动化填充，得到初始修复模型。例如，自动化填充可以是基于局部差值算法或拟合算法等算法实现，对待修复模型中的异常表面区域进行填充。此外，初始修复模型的模型表面相比于待修复模型的模型表面具有更多的细节。也就是说，初始修复模型的修复程度高于待修复模型的修复程度。
S120：对初始修复模型的模型数据和待修复模型的模型数据进行特征融合，得到融合模型特征。
应理解，可以对初始修复模型的模型数据和待修复模型的模型数据进行矩阵表示作为模型数据，然后，将矩阵表示的初始修复模型和待修复模型进行拼接或叠加，得到融合模型特征。
还应理解，在对初始修复模型进行矩阵表示时，可以基于网格表示的初始修复模型确定各个表面点的方位特征，将各个表面点的方位特征作为初始修复模型的模型数据。各个表面点的方位特征包括但不限于位置信息和表面方向(例如，法线方向或切线方向)，法线方向指示表面点相对于待修复模型的模型表面的法线方向。类似地，在对待修复模型进行矩阵表示时，可以基于网格表示的待修复模型确定各个表面点的方位特征，将各个表面点的方位特征作为待修复模型的模型数据。
S130：将融合模型特征输入到预先训练的深度神经网络中，根据深度神经网络的输出得到目标物体的目标修复模型，其中，深度神经网络包括编码层、上下文表示层和解码层，编码层的输入作为深度神经网络的输入，编码层的输出连接到上下文表示层的输入，上下文表示层的输出连接到解码层的输入，解码层的输出作为深度神经网络的输出，编码层用于对融合模型特征进行特征提取，上下文表示层用于对融合模型特征的提取特征进行上下文表示，解码层用于对上下文表示后的特征进行模型修复。
应理解，解码层可以实现为至少一个特征提取层，例如，特征提取层可以为下采样层。在解码层采用卷积神经网络实现的情况下，每个下采样层可以对输入的特征图进行下采样，并且输出维度减小的特征图。相应地，编码层可以实现为至少一个上采样层，在编码层采用卷积神经网络实现的情况下，每个上采样层可以对输入的特征图进行上采样，并且输出维度增加的特征图。
还应理解，上下文表示层可以采用自注意力机制实现。即，可以将输入到上下文表示层的表征提取特征的输入矩阵与自注意力机制的表征矩阵相乘，并且得到表征上下文表示后的输出矩阵，输出矩阵中的每个元素可以与输入矩阵中的每个元素对应，自注意力机制的表征矩阵中的每个元素指示输入矩阵中的各个元素之间基于自注意力机制的相关权重，应理解，输入矩阵中的每个元素与其自身也具有一定相关权重。
在本发明实施例的方案中，先对待修复模型进行粗粒度的初始修复得到初始修复模型，将初始修复模型和待修复模型进行特征融合后得到的融合模型特征输入到深度神经网络中进行细粒度的修复，由于初始修复模型和待修复模型的融合模型特征作为深度神经网络的输入，有利于优化深度神经网络的参数的拟合过程，进而提高了深度神经网络的修复可靠性。此外，深度神经网络的编码层用于对融合模型特征进行特征提取，上下文表示层用于对融合模型特征的提取特征进行上下文表示，解码层用于对上下文表示后的特征进行模型修复，因此，深度神经网络的编码层和解码层有利于提升有效特征的提取效率，上下文表示层通过进行融合模型特征的高效上下文表示，有利于提高神经网络的泛化能力，从而提高了模型的修复效率。
在一个示例中，深度神经网络可以采用下面的监督学习式预训练方法进行训练。具体地，深度神经网络的训练方法可以包括：
获取训练样本，训练样本包括对针对目标物体进行三维扫描得到的待修复模型、初始修复模型以及目标修复模型。
对初始修复模型的模型数据和待修复模型的模型数据进行特征融合，得到融合模型特征。
将融合模型特征作为输入，目标修复模型作为输出，对深度神经网络进行监督学习训练，其中，深度神经网络包括编码层、上下文表示层和解码层，编码层的输入作为深度神经网络的输入，编码层的输出连接到上下文表示层的输入，上下文表示层的输出连接到解码层的输入，解码层的输出作为深度神经网络的输出。应理解，在监督学习训练中，损失函数基于训练样本中的待修复模型的模型数据与目标修复模型的模型数据之间的差异确定。
可替代地，也可以采用对抗监督学习式训练实现模型修复过程。如图2所示，深度神经网络40的输出连接到判别器30的第一输入，待修复模型的模型数据作为判别器的第二输入，判别器的输出连接到深度神经网络40，指示深度神经网络40进行参数调整。具体地，判断器30计算第一输入和第二输入之间的差异，在第一输入和第二输入之间的差异满足收敛阈值条件时，从深度神经网络的输出得到目标修复模型。在差异不满足收敛阈值条件时，判别器指示深度神经网络进行参数调整，例如，第一输入和第二输入之间的差异越大，传递到深度神经网络的反向梯度越大。通过判别器对深度神经网络进行对抗监督训练，能够针对待修复模型的真实模型数据(ground truth)进行实时训练，并且将实时训练的结果用于当前的模型修复过程中，极大地提高了模型修复的精度。
在模型修复方法的进一步的示例中，如图3所示，将待修复模型输入到粗修复模块310中进行初始修复，得到初始修复模型。进一步地，将初始修复模型输入到简化模块320中，对待修复模型和初始修复模型进行表面网格表示，然后，基于表面网格特征在待修复模型中的位置对应的非平坦程度，去除非平坦程度小于预设条件的至少部分表面网格特征，得到待修复模型的简化模型，并且类似地，基于表面网格特征在初始修复模型中的位置对应的非平坦程度，去除非平坦程度小于预设条件的部分表面网格特征，得到初始复模型的简化模型。不失一般性地，在对初始修复模型的模型数据和待修复模型的模型数据进行特征融合之前，模型修复方法还包括：对待修复模型和初始修复模型进行表面网格表示；基于网格特征在待修复模型中的位置对应的优先级，去除部分网格特征，得到待修复模型的简化模型；基于网格特征在初始修复模型中的位置对应的优先级，去除部分网格特征，得到初始复模型的简化模型。由此，对待修复模型和初始修复模型进行了简化处理，有利于保证高价值的模型特征的前提下减小输入数据的规模，有利于提高深度神经网络的训练效率。
进一步地，将简化模型输入到均匀模块330中，对简化模型进行均匀处理。例如，可以将表面网格表示的待修复模型的简化模型表示成三角面网络，然后，将三角面网络调整为具有各向同性的三角面，得到待修复模型的模型数据；类似地，可以将表面网格表示的初始修复模型的简化模型表示成三角面网络，然后，将三角面网络调整为具有各向同性的三角面，得到初始修复模型的模型数据。不失一般性地，在对初始修复模型的模型数据和待修复模型的模型数据进行特征融合之前，模型修复方法还包括：将表面网格表示的待修复模型的简化模型的网格元素调整为各向同性的三角面片，得到待修复模型的模型数据，并且将表面网格表示的初始修复模型的简化模型的网格元素调整为各向同性的三角面片，得到初始修复模型的模型数据。由此，将待修复模型和初始修复模型的网格元素调整为各向同性的三角面片，去除了非各向同性等不利于模型修复的因素，进一步在保证高价值的模型特征的前提下精简了输入数据的规模。
进一步地，将各个简化模型输入到分片模块340中，进行模型分片处理。例如，对表面网格表示(例如，三角面网格)的待修复模型的简化模型进行分片处理，得到待修复模型的分片模型数据(即，输入到深度神经网络中的待修复模型的模型数据)，并且对表面网格表示(例如，三角面网格)的初始修复模型的简化模型进行分片处理，得到初始修复模型的分片模型数据(即，输入到深度神经网络中的初始修复模型的模型数据)。不失一般性地，在对初始修复模型的模型数据和待修复模型的模型数据进行特征融合之前，模型修复方法还包括：对表面网格表示的待修复模型的简化模型进行分片处理，得到待修复模型的模型数据，并且对表面网格表示的初始修复模型的简化模型进行分片处理，得到初始修复模型的模型数据。由此，对待修复模型和初始修复模型进行分片处理，有利于串行输入到深度神经网络，从而提高了深度神经网络的数据处理效率。
进一步地，在细修复模块350中，将分片的模型数据进行融合，得到模型融合特征。然后，将模型融合特征输入到预先训练的深度神经网络，得到目标物体的目标修复模型。
然后，在初始修复模型的模型数据和待修复模型的模型数据进行特征融合时，可以利用初始修复模型的模型数据和待修复模型的模型数据，对待修复模型和初始修复模型进行三维点云表示，然后，确定三维点云表示的待修复模型的各个表面点的第一上下文方位特征、以及三维点云表示的初始修复模型的各个表面点的第二上下文方位特征，然后，将第一上下文方位特征的第一表征矩阵和第二上下文方位特征的第二表征矩阵进行拼接，得到融合模型特征的表征矩阵。
作为确定第一上下文方位特征和第二上下文方位特征的具体示例，可以根据三维点云表示的待修复模型的各个表面点的位置特征、各个表面点相对于待修复模型的模型表面的法线方向特征、以及各个表面点在待修复模型中的上下文位置特征，确定第一上下文方位特征，然后，根据三维点云表示的初始修复模型的各个表面点的位置特征、各个表面点相对于初始修复模型的模型表面的法线方向特征、以及各个表面点在初始修复模型中的上下文位置特征，确定第二上下文方位特征。
由此，采用上述的第一上下文方位特征和第二上下文方位特征，全面地表征表面点的空间特征以及各个表面之间的上下文关系，有利于提高了模型修复的精度。
具体而言，待修复模型的各个表面点和初始修复模型的各个表面点的位置特征可以是各个表面点在三维坐标系中的坐标表征，坐标系为待修复模型与初始修复模型的共用坐标系。法线方向特征可以基于上述三维坐标系进行表征。待修复模型或初始修复模型的各个表面点的上下文位置特征是指基于各个表面点之间的上下文位置关系，对每个表面点进行三维位置编码得到的位置信息，示例性地，位置编码可以采用神经网络训练框架中的位置嵌入(即，position embedding)进行处理。
此外，确定第一上下文方位特征的示例，可以将待修复模型的各个表面点的位置特征、法线方向特征以及上下文位置特征分别表征为至少一个维度一致的三个矩阵，对三个矩阵进行矩阵拼接得到第一上下文方位特征的第一表征矩阵。
类似地，确定第二上下文方位特征的示例，可以将初始修复模型的各个表面点的位置特征、法线方向特征以及上下文位置特征分别表征为至少一个维度一致的三个矩阵，对三个矩阵进行矩阵拼接得到第二上下文方位特征的第二表征矩阵。
在另一些示例中，对于图1和图2的深度神经网络，如图4所示，深度神经网络包括编码层410、上下文表示层420和解码层430。作为输入数据的融合模型特征输入到编码层410进行特征提取，然后经由上下文表示层420进行对融合模型特征的提取特征进行上下文表示，解码层430用于对上下文表示后的特征进行模型修复。
进一步地，如图5所示，编码层420包括第一下采样层和第二下采样层，解码器层430包括第一上采样层和第二上采样层。
第二下采样层的输出连接到第二上采样层的输入和第一下采样层的输入，第一下采样层的输出连接到上下文表示层420的输入。
上下文表示层420的输出连接到第一上采样层的输入，第一上采样层的输出连接到第二上采样层的输入。
应理解，第一下采样层和第二下采样层可以为卷积层，能够对输入特征进行降维，从而提取出有利于修复的高价值特征。第一上采样层和第二上采样层分别与第一下采样层和第二下采样层对应，有利于增加更丰富的特征信息，从而提高修复效果。此外，第二下采样层与第二上采样层直接连接，第一下采样层与第一上采样层经由上下文表示层连接，能够实现残差结构，有利于通过第一下采样层和第二下采样层实现不同粒度的特征提取，兼顾了特征提取的局部性和全局性，进一步提升了深度神经网络的模型修复效果。
如图5所示，更进一步地，编码层410还可以包括第三下采样层。解码层430还可以包括第三上采样层。
第三下采样层的输入作为编码层410的输入，第三下采样层的输出连接到第二下采样层的输入和第三上采样层的输入。
第二上采样层的输出连接到第三上采样层的输入，第三上采样层的输出作为解码层430的输出。
由于第三下采样层与第三上采样层直接连接，与第二下采样层和第二上采样层的结构以及第一下采样层和第一上采样层的结构形成了进一步的残差结构，更进一步地实现了不同粒度的特征提取，进一步兼顾了特征提取的局部性和全局性，也进一步提升了深度神经网络的模型修复效果。
应理解，第三下采样层和第三上采样层的设置与否取决于判别器满足收敛阈值条件的速度，设置第三下采样层和第三上采样层，能够加快判别器满足收敛阈值条件的速度。
不失一般性地，可以在第二下采样层的基础上设置(N-2)层的下采样层，可以在第二上采样层的基础上设置(N-2)层的上采样层，其中，N为大于2的整数。其中，第N下采样层的输入作为深度神经网络的输入，第N下采样层的输出作为深度神经网络的输出，第i下采样层的输出连接到第i下采样层的输入和第(i-1)下采样层的输入，第i上采样层的输入连接到第(i-1)上采样层的输出，其中，2<i<N+1，i为整数。其中，N越大，判别器满足收敛阈值条件的速度越快，也就是说，可以根据判别器满足收敛阈值条件的速度设置N的数值。
更进一步地，第一下采样层和第一上采样层为具有第一卷积核的卷积层，第二下采样层和第二上采样层为具有第二卷积核的卷积层，第三下采样层和第三上采样层为具有第三卷积核的卷积层。例如，第三卷积核的尺寸大于第二卷积核的尺寸，第二卷积核的尺寸大于第一卷积核的尺寸，从而进一步地兼顾了全局特征和局部特征的提取。
下面将结合图6详细描述本发明的另一些实施例的模型修复装置。本发明实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：诸如手机、车机等移动终端、桌面电脑、服务器等。例如，在模型训练(training)阶段，可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备(例如，数据中心)基于训练样本对编码器解码器模型进行训练。诸如数据中心的计算设备可以部署在诸如专有云、私有云、或混合云的云服务器中。相应地，在推理(inference)阶段，也可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备进行推理运算。在诸如对抗监督学习式的训练过程中，可以利用配置有CPU+GPU架构的计算设备进行推理和训练。图6的模型修复装置与图1的模型修复方法对应，包括：
粗粒度修复模块610，对针对目标物体进行三维扫描得到的待修复模型进行初始修复，得到初始修复模型。
特征融合模块620，对所述初始修复模型的模型数据和所述待修复模型的模型数据进行特征融合，得到融合模型特征。
细粒度修复模块630，将所述融合模型特征输入深度神经网络中，根据所述深度神经网络的输出得到所述目标物体的目标修复模型，其中，所述深度神经网络包括编码层、上下文表示层和解码层，所述编码层的输入作为所述深度神经网络的输入，所述编码层的输出连接到所述上下文表示层的输入，所述上下文表示层的输出连接到所述解码层的输入，所述解码层的输出作为所述深度神经网络的输出，所述编码层用于对所述融合模型特征进行特征提取，所述上下文表示层用于对所述融合模型特征的提取特征进行上下文表示，所述解码层用于对上下文表示后的特征进行模型修复。
在本发明实施例的方案中，先对待修复模型进行粗粒度的初始修复得到初始修复模型，将初始修复模型和待修复模型进行特征融合后得到的融合模型特征输入到深度神经网络中进行细粒度的修复，由于初始修复模型和待修复模型的融合模型特征作为深度神经网络的输入，有利于优化深度神经网络的参数的拟合过程，进而提高了深度神经网络的修复可靠性。此外，深度神经网络的编码层用于对融合模型特征进行特征提取，上下文表示层用于对融合模型特征的提取特征进行上下文表示，解码层用于对上下文表示后的特征进行模型修复，因此，深度神经网络的编码层和解码层有利于提升有效特征的提取效率，上下文表示层通过进行融合模型特征的高效上下文表示，有利于提高神经网络的泛化能力，从而提高了模型的修复效率。
在另一些示例中，细粒度修复模块具体用于：将所述融合模型特征输入深度神经网络中，在判别器满足收敛阈值条件时，从所述深度神经网络的输出得到所述目标修复模型。其中，所述深度神经网络的输出连接到所述判别器的第一输入，所述待修复模型的模型数据作为所述判别器的第二输入，所述判断器在所述第一输入和所述第二输入之间的差异不满足所述收敛阈值条件时，指示所述深度神经网络进行参数调整。
在另一些示例中，所述编码层包括第一下采样层和第二下采样层，所述解码器层包括第一上采样层和第二上采样层。所述第二下采样层的输出连接到所述第二上采样层的输入和所述第一下采样层的输入，所述第一下采样层的输出连接到所述上下文表示层的输入。所述上下文表示层的输出连接到所述第一上采样层的输入，所述第一上采样层的输出连接到所述第二上采样层的输入。
在另一些示例中，所述编码层还包括第三下采样层，所述解码层还包括第三上采样层。所述第三下采样层的输入作为所述编码层的输入，所述第三下采样层的输出连接到所述第二下采样层的输入和所述第三上采样层的输入。所述第二上采样层的输出连接到所述第三上采样层的输入，所述第三上采样层的输出作为所述解码层的输出。
在另一些示例中，模型修复装置还包括预处理模块，预处理模块用于：在对所述初始修复模型的模型数据和所述待修复模型的模型数据进行特征融合之前，对所述待修复模型和所述初始修复模型进行表面网格表示；基于表面网格特征在所述待修复模型中的位置对应的非平坦程度，去除非平坦程度小于预设条件的至少部分表面网格特征，得到所述待修复模型的简化模型；基于表面网格特征在所述初始修复模型中的位置对应的非平坦程度，去除非平坦程度小于预设条件的部分表面网格特征，得到所述初始复模型的简化模型。
在另一些示例中，预处理模块还用于：在对所述初始修复模型的模型数据和所述待修复模型的模型数据进行特征融合之前，将表面网格表示的所述待修复模型的简化模型的网格元素调整为各向同性的三角面，得到所述待修复模型的模型数据，并且将表面网格表示的所述初始修复模型的简化模型的网格元素调整为各向同性的三角面，得到所述初始修复模型的模型数据。
在另一些示例中，预处理模块还用于：在对所述初始修复模型的模型数据和所述待修复模型的模型数据进行特征融合之前，对表面网格表示的所述待修复模型的简化模型进行分片处理，得到所述待修复模型的模型数据，并且对表面网格表示的所述初始修复模型的简化模型进行分片处理，得到所述初始修复模型的模型数据。
在另一些示例中，特征融合模块具体用于：利用所述初始修复模型的模型数据和所述待修复模型的模型数据，对所述待修复模型和所述初始修复模型进行三维点云表示；确定三维点云表示的待修复模型的各个表面点的第一上下文方位特征、以及三维点云表示的初始修复模型的各个表面点的第二上下文方位特征；将所述第一上下文方位特征的第一表征矩阵和所述第二上下文方位特征的第二表征矩阵进行拼接，得到所述融合模型特征的表征矩阵。
在另一些示例中，特征融合模块具体用于：根据三维点云表示的待修复模型的各个表面点的位置特征、各个表面点相对于所述待修复模型的模型表面的法线方向特征、以及各个表面点在所述待修复模型中的上下文位置特征，确定所述第一上下文方位特征；根据三维点云表示的初始修复模型的各个表面点的位置特征、各个表面点相对于所述初始修复模型的模型表面的法线方向特征、以及各个表面点在所述初始修复模型中的上下文位置特征，确定所述第二上下文方位特征。
参照图7，示出了根据本发明的另一实施例的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图7所示，该电子设备可以包括：用于执行程序710的处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
通信接口，用于与其它电子设备或服务器进行通信。
处理器，用于执行程序，具体可以执行上述方法实施例中的相关步骤。
具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
处理器可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序可包括多条计算机指令，程序具体可以通过多条计算机指令使得处理器执行前述多个方法实施例中任一实施例所描述的模型修复方法对应的操作。
程序中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于：只读光盘(Compact Disc Read-Only Memory，CD-ROM)、随机存储器(RandomAccess Memory，RAM)、软盘、硬盘或磁光盘等。
本发明实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的模型修复对应的操作。
此外，需要说明的是，本发明实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关规定和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如专用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编辑门阵列(Field Programmable Gate Array，FPGA))的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，随机存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (11)

1.一种模型修复方法，包括：
对针对目标物体进行三维扫描得到的待修复模型进行初始修复，得到初始修复模型；
利用所述初始修复模型的模型数据和所述待修复模型的模型数据，对所述待修复模型和所述初始修复模型进行三维点云表示；
确定三维点云表示的待修复模型的各个表面点的第一上下文方位特征、以及三维点云表示的初始修复模型的各个表面点的第二上下文方位特征，其中，所述第一上下文方位特征表征所述待修复模型的各个表面点的空间特征以及各个表面点之间的上下文关系，所述第二上下文方位特征表征所述初始修复模型的各个表面点的空间特征以及各个表面点之间的上下文关系；
将所述第一上下文方位特征的第一表征矩阵和所述第二上下文方位特征的第二表征矩阵进行拼接，得到融合模型特征的表征矩阵；
将所述融合模型特征输入深度神经网络中，根据所述深度神经网络的输出得到所述目标物体的目标修复模型，其中，所述深度神经网络包括编码层、上下文表示层和解码层，所述编码层的输入作为所述深度神经网络的输入，所述编码层的输出连接到所述上下文表示层的输入，所述上下文表示层的输出连接到所述解码层的输入，所述解码层的输出作为所述深度神经网络的输出，所述编码层用于对所述融合模型特征进行特征提取，所述上下文表示层用于对所述融合模型特征的提取特征进行上下文表示，所述解码层用于对上下文表示后的特征进行模型修复。
2.根据权利要求1所述的方法，其中，所述将所述融合模型特征输入深度神经网络中，根据所述深度神经网络的输出得到所述目标物体的目标修复模型，包括：
将所述融合模型特征输入深度神经网络中，在判别器满足收敛阈值条件时，根据所述深度神经网络的输出得到所述目标修复模型，
其中，所述深度神经网络的输出连接到所述判别器的第一输入，所述待修复模型的模型数据作为所述判别器的第二输入，所述判别器在所述第一输入和所述第二输入之间的差异不满足所述收敛阈值条件时，指示所述深度神经网络进行参数调整。
3.根据权利要求1所述的方法，其中，所述编码层包括第一下采样层和第二下采样层，所述解码层包括第一上采样层和第二上采样层；
所述第二下采样层的输出连接到所述第二上采样层的输入和所述第一下采样层的输入，所述第一下采样层的输出连接到所述上下文表示层的输入，
所述上下文表示层的输出连接到所述第一上采样层的输入，所述第一上采样层的输出连接到所述第二上采样层的输入。
4.根据权利要求3所述的方法，其中，所述编码层还包括第三下采样层，所述解码层还包括第三上采样层；
所述第三下采样层的输入作为所述编码层的输入，所述第三下采样层的输出连接到所述第二下采样层的输入和所述第三上采样层的输入；
所述第二上采样层的输出连接到所述第三上采样层的输入，所述第三上采样层的输出作为所述解码层的输出。
5.根据权利要求1所述的方法，其中，在对所述初始修复模型的模型数据和所述待修复模型的模型数据进行特征融合之前，所述方法还包括：
对所述待修复模型和所述初始修复模型进行表面网格表示；
基于表面网格特征在所述待修复模型中的位置对应的非平坦程度，去除非平坦程度小于预设条件的至少部分表面网格特征，得到所述待修复模型的简化模型；
基于表面网格特征在所述初始修复模型中的位置对应的非平坦程度，去除非平坦程度小于预设条件的部分表面网格特征，得到所述初始修复模型的简化模型。
6.根据权利要求5所述的方法，其中，在对所述初始修复模型的模型数据和所述待修复模型的模型数据进行特征融合之前，所述方法还包括：
将表面网格表示的所述待修复模型的简化模型的网格元素调整为各向同性的三角面，得到所述待修复模型的模型数据，并且将表面网格表示的所述初始修复模型的简化模型的网格元素调整为各向同性的三角面，得到所述初始修复模型的模型数据。
7.根据权利要求5所述的方法，其中，在对所述初始修复模型的模型数据和所述待修复模型的模型数据进行特征融合之前，所述方法还包括：
对表面网格表示的所述待修复模型的简化模型进行分片处理，得到所述待修复模型的模型数据，并且对表面网格表示的所述初始修复模型的简化模型进行分片处理，得到所述初始修复模型的模型数据。
8.根据权利要求1所述的方法，其中，所述确定三维点云表示的待修复模型的各个表面点的第一上下文方位特征、以及三维点云表示的初始修复模型的各个表面点的第二上下文方位特征，包括：
根据三维点云表示的待修复模型的各个表面点的位置特征、各个表面点相对于所述待修复模型的模型表面的法线方向特征、以及各个表面点在所述待修复模型中的上下文位置特征，确定所述第一上下文方位特征；
根据三维点云表示的初始修复模型的各个表面点的位置特征、各个表面点相对于所述初始修复模型的模型表面的法线方向特征、以及各个表面点在所述初始修复模型中的上下文位置特征，确定所述第二上下文方位特征。
9.一种模型修复装置，包括：
粗粒度修复模块，对针对目标物体进行三维扫描得到的待修复模型进行初始修复，得到初始修复模型；
特征融合模块，
利用所述初始修复模型的模型数据和所述待修复模型的模型数据，对所述待修复模型和所述初始修复模型进行三维点云表示；
确定三维点云表示的待修复模型的各个表面点的第一上下文方位特征、以及三维点云表示的初始修复模型的各个表面点的第二上下文方位特征，其中，所述第一上下文方位特征表征所述待修复模型的各个表面点的空间特征以及各个表面点之间的上下文关系，所述第二上下文方位特征表征所述初始修复模型的各个表面点的空间特征以及各个表面点之间的上下文关系；
将所述第一上下文方位特征的第一表征矩阵和所述第二上下文方位特征的第二表征矩阵进行拼接，得到融合模型特征的表征矩阵；
细粒度修复模块，将所述融合模型特征输入深度神经网络中，根据所述深度神经网络的输出得到所述目标物体的目标修复模型，其中，所述深度神经网络包括编码层、上下文表示层和解码层，所述编码层的输入作为所述深度神经网络的输入，所述编码层的输出连接到所述上下文表示层的输入，所述上下文表示层的输出连接到所述解码层的输入，所述解码层的输出作为所述深度神经网络的输出，所述编码层用于对所述融合模型特征进行特征提取，所述上下文表示层用于对所述融合模型特征的提取特征进行上下文表示，所述解码层用于对上下文表示后的特征进行模型修复。
10.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据权利要求1-8中任一项所述的方法对应的操作。
11.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202311423910.6A 2023-10-27 2023-10-27 模型修复方法、装置、电子设备和计算机存储介质 Active CN117422847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311423910.6A CN117422847B (zh) 2023-10-27 2023-10-27 模型修复方法、装置、电子设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311423910.6A CN117422847B (zh) 2023-10-27 2023-10-27 模型修复方法、装置、电子设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN117422847A CN117422847A (zh) 2024-01-19
CN117422847B true CN117422847B (zh) 2024-08-20

Family

ID=89529866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311423910.6A Active CN117422847B (zh) 2023-10-27 2023-10-27 模型修复方法、装置、电子设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN117422847B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801895A (zh) * 2021-01-15 2021-05-14 南京邮电大学 一种基于二阶段注意力机制gan网络图像修复算法
CN113850916A (zh) * 2021-09-26 2021-12-28 浪潮电子信息产业股份有限公司 模型训练、点云缺失补全方法、装置、设备及介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971898B (zh) * 2018-09-30 2022-04-22 华为技术有限公司 点云编解码方法和编解码器
WO2020072865A1 (en) * 2018-10-05 2020-04-09 Interdigital Vc Holdings, Inc. A method and device for encoding and reconstructing missing points of a point cloud
CN110363858B (zh) * 2019-06-18 2022-07-01 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN111724327A (zh) * 2020-06-29 2020-09-29 成都数之联科技有限公司 图像修复模型训练方法及系统及图像修复方法
CN112634455B (zh) * 2020-12-25 2023-09-29 东北大学 一种利用切割三角面片应用于三维模型棱线修复方法
US11620737B2 (en) * 2021-03-22 2023-04-04 Samsung Electronics Co., Ltd. System and method for indoor image inpainting under multimodal structural guidance
CN113538658A (zh) * 2021-06-30 2021-10-22 湖北枫丹白露智慧标识科技有限公司 一种基于深度修复的室内场景三维重构方法及系统
CN116612251A (zh) * 2023-04-23 2023-08-18 杭州浣想科技有限公司 一种基于网格神经渲染和六边形约束的多视角重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801895A (zh) * 2021-01-15 2021-05-14 南京邮电大学 一种基于二阶段注意力机制gan网络图像修复算法
CN113850916A (zh) * 2021-09-26 2021-12-28 浪潮电子信息产业股份有限公司 模型训练、点云缺失补全方法、装置、设备及介质

Also Published As

Publication number Publication date
CN117422847A (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
WO2023045252A1 (zh) 模型训练、点云缺失补全方法、装置、设备及介质
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN110599583B (zh) 无人机飞行轨迹生成方法、装置、计算机设备和存储介质
US11810310B2 (en) Satellite image processing method, network training method, related devices and electronic device
CN113554611B (zh) 一种绝缘子自爆缺陷检测方法、装置、终端和存储介质
CN112102201B (zh) 图像阴影反光消除方法、装置、计算机设备及存储介质
CN114429208A (zh) 基于残差结构剪枝的模型压缩方法、装置、设备及介质
CN110136052A (zh) 一种图像处理方法、装置和电子设备
CN114898177B (zh) 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN115293992A (zh) 基于无监督权重深度模型的偏振图像去雾方法及装置
CN117422847B (zh) 模型修复方法、装置、电子设备和计算机存储介质
CN113393385B (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN117036965B (zh) 桥梁维修设备控制方法、电子设备和计算机可读介质
CN112435179B (zh) 模糊花粉颗粒图片处理方法、装置和电子设备
CN114004787A (zh) 钢丝绳损伤检测方法、装置、终端及存储介质
CN111667409B (zh) 一种基于超分辨率算法的绝缘子影像分辨率增强方法
CN115482248B (zh) 图像分割方法、装置、电子设备及存储介质
CN112801909B (zh) 基于U-Net和金字塔模块的图像融合去噪方法及系统
CN113658137A (zh) 一种基于胶囊网络的飞机表面缺陷检测方法和系统
CN115880183B (zh) 基于深度网络的点云模型修复方法、系统、装置及介质
CN117058330B (zh) 一种电力走廊三维重建方法、重建模型以及相关设备
CN118586461A (zh) 一种输电线路检测模型移植方法、装置、设备及介质
CN117830161A (zh) 一种阴影模型确定方法、装置、设备及介质
Peng et al. Check for updates Multi-angle Identification of Small Target Faults in Transmission Lines Based on Improved YOLOX Algorithm
Tech DEEP IMAGE PROCESSING

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant