CN111462197A - 外观模型获取方法、装置、计算机设备和存储介质 - Google Patents

外观模型获取方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111462197A
CN111462197A CN202010152181.5A CN202010152181A CN111462197A CN 111462197 A CN111462197 A CN 111462197A CN 202010152181 A CN202010152181 A CN 202010152181A CN 111462197 A CN111462197 A CN 111462197A
Authority
CN
China
Prior art keywords
registration
point clouds
completion
point cloud
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010152181.5A
Other languages
English (en)
Other versions
CN111462197B (zh
Inventor
黄惠
闫子豪
胡瑞珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010152181.5A priority Critical patent/CN111462197B/zh
Priority to US16/920,667 priority patent/US11222244B2/en
Publication of CN111462197A publication Critical patent/CN111462197A/zh
Application granted granted Critical
Publication of CN111462197B publication Critical patent/CN111462197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种外观模型获取方法、装置、计算机设备和存储介质。所述方法包括：获取目标点云集合，该目标点云集合包括至少两个点云，每个该点云均是对目标物体的局部区域进行采样后得到的；然后对该至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，该配准处理为将不同的点云转换至同一坐标系的处理，该补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理；最后根据该处理后的点云获取该目标物体的外观模型。采用本方法能够提高仅依靠配准技术来获取目标物体外观模型的可用性。

Description

外观模型获取方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种外观模型获取方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，出现了外观模型获取技术，外观模型获取技术主要是为了得到物体完整的外观形态，在外观模型获取技术中可以通过物体表面两个不同局部区域的点云(点的集合)构建出物体完整的外观模型。
相关技术中，可以通过对物体表面的点云进行配准，来构建出物体完整的外观模型。配准指的是把物体表面两个不同局部区域的点云转换到同一个坐标系中，以此可以在同一个坐标系中得到物体表面不同区域点云之间的连接关系，最终得到物体完整的外观模型。
然而，相关的配准技术只在获取到的物体表面的点云所属的两个局部区域重叠部分较大的情况下才可以得到物体完整的外观模型，对于重叠部分较小或没有重叠部分的两个局部区域的点云而言，并不能很好的得到物体完整的外观模型。因此，相关的配准技术存在可用性差的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高可用性的外观模型获取方法、装置、计算机设备和存储介质。
第一方面，提供一种外观模型获取方法，该方法包括：
获取目标点云集合，该目标点云集合包括至少两个点云，每个该点云均是对目标物体的局部区域进行采样后得到的；
对该至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，该配准处理为将不同的点云转换至同一坐标系的处理，该补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理；
根据该处理后的点云获取该目标物体的外观模型。
在其中一个实施例中，该对该至少两个点云进行配准处理和补全处理，得到处理后的点云，包括：
对该至少两个点云进行配准处理，得到第一配准点云；
对该第一配准点云进行补全处理，得到第一补全点云，将该第一补全点云作为该处理后的点云。
在其中一个实施例中，该对该至少两个点云进行配准处理和补全处理，得到处理后的点云，包括：
对该至少两个点云分别进行补全处理，得到至少两个第二补全点云；
对该至少两个第二补全点云进行配准处理，得到第二配准点云，将该第二配准点云作为该处理后的点云。
在其中一个实施例中，该配准处理包括：将不同的点云输入至配准网络中，由该配准网络将该不同的点云转换至同一坐标系中；
该补全处理包括：将该待补全的点云输入至补全网络中，由该补全网络根据该待补全的点云中已有的点对物体其他区域的点进行补充。
在其中一个实施例中，该配准网络包括第一编码器和第一解码器，该将不同的点云输入至配准网络中，由该配准网络将该不同的点云转换至同一坐标系中，包括：
将该不同的点云输入至该第一编码器，得到该不同的点云的第一特征向量；
将该不同的点云的第一特征向量进行拼接，得到拼接后的第一特征向量；
将该拼接后的第一特征向量输入至该第一解码器，得到该不同的点云之间的转换参数；
根据该转换参数将该不同的点云转换至同一坐标系中。
在其中一个实施例中，该补全网络包括第二编码器和第二解码器，该将该待补全的点云输入至补全网络中，由该补全网络根据该待补全的点云中已有的点对物体其他区域的点进行补充，包括：
将该待补全的点云输入至该第二编码器中，得到该待补全点云的第二特征向量；
将该待补全点云的第二特征向量输入至该第二解码器中，由该第二解码器根据该待补全点云的第二特征向量对物体其他区域的点进行补充。
在其中一个实施例中，该方法还包括：
获取训练数据集和验证数据集，该训练数据集和该验证数据集包括多个物体的完整外观模型；
利用该训练数据集训练初始配准网络和初始补全网络，得到训练后的配准网络和训练后的补全网络；
将该验证数据集输入至该训练后的配准网络和该训练后的补全网络中，利用损失函数计算该训练后的配准网络和该训练后的补全网络的综合损失值，该综合损失值包括该训练后的配准网络的损失值和该训练后的补全网络的损失值。
第二方面，提供一种外观模型获取装置，该装置包括：
第一获取模块，用于获取目标点云集合，该目标点云集合包括至少两个点云，每个该点云均是对目标物体的局部区域进行采样后得到的；
得到模块，用于对该至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，该配准处理为将不同的点云转换至同一坐标系的处理，该补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理；
第二获取模块，用于根据该处理后的点云获取该目标物体的外观模型。
在其中一个实施例中，该得到模块具体用于：对该至少两个点云进行配准处理，得到第一配准点云；对该第一配准点云进行补全处理，得到第一补全点云，将该第一补全点云作为该处理后的点云。
在其中一个实施例中，该得到模块具体用于：对该至少两个点云分别进行补全处理，得到至少两个第二补全点云；对该至少两个第二补全点云进行配准处理，得到第二配准点云，将该第二配准点云作为该处理后的点云。
在其中一个实施例中，该配准处理包括：将不同的点云输入至配准网络中，由该配准网络将该不同的点云转换至同一坐标系中；该补全处理包括：将该待补全的点云输入至补全网络中，由该补全网络根据该待补全的点云中已有的点对物体其他区域的点进行补充。
在其中一个实施例中，该配准网络包括第一编码器和第一解码器，该得到模块具体用于：将该不同的点云输入至该第一编码器，得到该不同的点云的第一特征向量；将该不同的点云的第一特征向量进行拼接，得到拼接后的第一特征向量；将该拼接后的第一特征向量输入至该第一解码器，得到该不同的点云之间的转换参数；根据该转换参数将该不同的点云转换至同一坐标系中。
在其中一个实施例中，该补全网络包括第二编码器和第二解码器，该得到模块具体用于，将该待补全的点云输入至该第二编码器中，得到该待补全点云的第二特征向量；将该待补全点云的第二特征向量输入至该第二解码器中，由该第二解码器根据该待补全点云的第二特征向量对物体其他区域的点进行补充。
在其中一个实施例中，该装置还包括训练模块，该训练模块用于，获取训练数据集和验证数据集，该训练数据集和该验证数据集包括多个物体的完整外观模型；利用该训练数据集训练初始配准网络和初始补全网络，得到训练后的配准网络和训练后的补全网络；将该验证数据集输入至该训练后的配准网络和该训练后的补全网络中，利用损失函数计算该训练后的配准网络和该训练后的补全网络的综合损失值，该综合损失值包括该训练后的配准网络的损失值和该训练后的补全网络的损失值。
第三方面，提供一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述第一方面任意所述的外观模型获取方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面任意所述的外观模型获取方法。
上述外观模型获取方法方法、装置、计算机设备和存储介质，通过获取目标点云集合，该目标点云集合包括至少两个点云，每个该点云均是对目标物体的局部区域进行采样后得到的；然后对该至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，该配准处理为将不同的点云转换至同一坐标系的处理，该补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理；最后根据该处理后的点云获取该目标物体的外观模型。因为本申请是对目标物体局部采集到的点云进行了配准与补全相结合的操作，配准后的点云比相互独立的点云更易于补全，同时补全后的点云之间具有较高的重叠率，更易于配准。所以，本申请在获取到的目标物体局部区域的点云之间没有较高重叠率的情况下，通过配准和补全两种操作，依然可以得到目标物体的外观模型，提高了仅依靠配准技术来获取目标物体外观模型的可用性。
附图说明
图1为一个实施例中外观模型获取方法的应用环境图；
图2为一个实施例中外观模型获取方法的流程示意图；
图3为一个实施例中外观模型获取方法中得到处理后的点云的方法的流程示意图；
图4为一个实施例中外观模型获取方法中得到处理后的点云的方法方法的流程示意图；
图5为一个实施例中配准网络的示意图；
图6为一个实施例中外观模型获取方法中该配准网络处理点云的方法的流程示意图；
图7为另一个实施例中配准网络的示意图；
图8为一个实施例中补全网络的示意图；
图9为一个实施例中外观模型获取方法中该补全网络处理点云的方法的流程示意图；
图10为一个实施例中训练配准网络和补全网络的方法的流程示意图；
图11为一个实施例中用八个类别测试训练后配准网络和补全网络的结果示意图；
图12为一个实施例中真实扫描数据的测试结果的示意图；
图13为一个实施例中消融实验的对比结果的示意图；
图14为一个实施例中外观模型获取装置的结构框图；
图15为另一个实施例中外观模型获取装置的结构框图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的外观模型获取方法，可以应用于如图1所示的应用环境中。其中，终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、三维扫描仪和便携式可穿戴设备。
在一个实施例中，如图2所示，提供了一种外观模型获取方法，以该方法应用于图1中的终端101为例进行说明，包括以下步骤：
步骤201，终端获取目标点云集合，该目标点云集合包括至少两个点云，每个该点云均是对目标物体的局部区域进行采样后得到的。
本步骤中，点云指的是通过测量仪器得到的物体外观表面的点数据集合也称之为点云，通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。例如可以利用阿泰克蜘蛛扫描仪(英文：Artec Spider)或微软肯耐特扫描仪(英文：Microsoft Kinect v2)。
步骤202，终端对该至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，该配准处理为将不同的点云转换至同一坐标系的处理，该补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理。
本步骤中的配准处理和补全处理没有严格的顺序要求，也就是说既可以先进行配准再进行补全，也可以先进行补全，再进行配准。
由于点云是扫描设备对目标物体从不同角度进行采集所得到的点，所以，一般来说，不同的点云中的点所处的坐标系是不同的，如果想要建立目标物体完整的外观模型，就必须将不同的点云展示在统一的坐标系中。而将不同坐标系中的点云展示在同一坐标系中需要配准处理，配准处理的目的是获取转换参数，转换参数可以将不同坐标系中的点云转换到同一坐标系中。经过配准处理，可以在同一坐标系中清楚地展示，不同点云之间相互的位置关系。
另一方面，由于采集到的点云只是目标物体的局部区域的点，所以单独的点云并不能全部地展示目标物体的完整外观模型，需要对已采集的点云进行补全处理，补全处理就是根据已经获取到的目标物体局部区域的点云补全目标物体其余部分的点。
步骤203，终端根据该处理后的点云获取该目标物体的外观模型。
本步骤中，终端可以将先配准再补全的顺序获取到的点云作为处理后的点云，也可以将先补全再配准的顺序获取到的点云作为处理后的点云。或者，终端可以将先配准再补全得到的补全形状，和先补全再配准得到的转换参数结合起来，得到处理后的点云。处理后的点云可以很好的展示出物体的整体形状以及物体各个点云之间的位置对应关系。
上述外观模型获取方法中，通过获取目标点云集合，该目标点云集合包括至少两个点云，每个该点云均是对目标物体的局部区域进行采样后得到的；然后对该至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，该配准处理为将不同的点云转换至同一坐标系的处理，该补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理；最后根据该处理后的点云获取该目标物体的外观模型。因为本申请是对目标物体局部采集到的点云进行了配准与补全相结合的操作，配准后的点云比相互独立的点云更易于补全，同时补全后的点云之间具有较高的重叠率，更易于配准。所以，本申请在获取到的目标物体局部区域的点云之间没有较高重叠率的情况下，通过配准和补全两种操作，依然可以得到目标物体的外观模型，提高了仅依靠配准技术来获取目标物体外观模型的可用性。
在本申请实施例中，请参考图3，提供了一种外观模型获取方法中得到处理后的点云的方法，该方法包括：
步骤301，终端对该至少两个点云进行配准处理，得到第一配准点云。
步骤302，终端对该第一配准点云进行补全处理，得到第一补全点云，将该第一补全点云作为该处理后的点云。
本申请实施例中，配准后的点云，更容易补全。因为配准后的点云之间具有更加确切的位置对应关系，在补全点云时，有了位置上的条件限制，一定程度上避免了在错误区域补全点云，因此先配准再补全的方式相比于单纯的补全来说，更加方便准确。
在本申请实施例中，请参考图4，提供了另一种外观模型获取方法中得到处理后的点云的方法，该方法包括：
步骤401，终端对该至少两个点云分别进行补全处理，得到至少两个第二补全点云。
步骤402，终端对该至少两个第二补全点云进行配准处理，得到第二配准点云，将该第二配准点云作为该处理后的点云。
本申请实施例中，补全之后的点云，不同的点云之间，有更大几率出现重叠区域，在重叠区域增大的情况下，更容易配准，下面将结合实际使用中的对比，来对先补全再配准方式的优点进行说明。
我们将本申请中补全与配准结合起来的方法(可以简称为双路联合网络，在表1中用英文：Ours表示)与可以全局配准不完整或完整点云的传统全局配准法(表1中用英文：4PCS表示)、用不完整扫描点云对作为输入进行训练与测试的深度学习配准法(表1中用英文：DCP表示)、用不完整扫描点云对作为输入进行训练与测试的单个配准网络(表1中用英文：Registration表示)。
表1中对比了以上几种方法的预测误差，其中Eθ表示旋转误差，Et表示平移误差。我们可以看到4PCS的预测误差值最高，这主要是由于这一方法假设输入对之间存在一定程度的重叠，而我们的数据主要由无重叠点云对组成。与4PCS相比，DCP得到的误差较低，但仍高于我们的配准方法得到的结果，这是因为DCP的关键思想是找到两个点集之间的相关点，这在我们的数据集上也会失效。可以看出，我们的方法优于其他三种方法，这表明即使以不完整且没有重叠的点云对作为输入，我们的方法也可以得到与完整点云配准近似的结果。
表1
4PCS DCP Registration Ours
E<sub>θ</sub> 73.574 38.044 18.225 14.961
E<sub>t</sub> 0.262 0.176 0.139 0.084
在本申请实施例中，该配准处理包括：终端将不同的点云输入至配准网络中，由该配准网络将该不同的点云转换至同一坐标系中。
该补全处理包括：终端将该待补全的点云输入至补全网络中，由该补全网络根据该待补全的点云中已有的点对物体其他区域的点进行补充。
本申请实施例中，将配准网络与补全网络结合起来，同时对目标物体不同局部区域的点云进行处理，可以获得相比于单纯的配准-补全路或单纯的补全-配准路具有更好的处理结果。
在本申请实施例中，图5为配准网络的示意图，该配准网络包括第一编码器和第一解码器。图6提供了一种外观模型获取方法中该配准网络处理点云的方法，该方法包括：
步骤501，终端将该不同的点云输入至该第一编码器，得到该不同的点云的第一特征向量。
步骤502，终端将该不同的点云的第一特征向量进行拼接，得到拼接后的第一特征向量。
步骤503，终端将该拼接后的第一特征向量输入至该第一解码器，得到该不同的点云之间的转换参数。
步骤504，根据该转换参数将该不同的点云转换至同一坐标系中。
为了便于理解，先对上述步骤做具体说明，配准网络以完全或不完整形状S1与S2作为输入，输出以S2作为参照的从S1到S2的相对转换参数T12。具体来说，我们先将输入对传递给处理点云数据的深度学习模型(英文：PointNet)组成的第一编码器中，得到维度为512的第一特征向量。之后，S1和S2的特征向量被拼接成维度1024的向量并传递给由若干全连接层组成的第一解码器，从而得到转换参数T12。由于我们只允许模型绕竖直方向旋转，变换参数可以用(θ,dx,dy,dz)四个参数表示。除了上述输入情况，配准网络也会调换输入顺序，得到另一组从S2到S1的转换参数T21。
除此以外，请参考图7，在配准-补全路中，配准网络以P1与P2为输入，将P1配准到P2，合并两者并补全后得到P2∪T12×P1。由于配准后点云的点数是每个不完整点云的两倍，我们会将配准后点云下采样至其原始点数的一半，以确保路中所有点云的点数一致。在本申请实施例中，通过对输入的点云进行编码解码处理，可以快速得到输入点云的配准结果。
在本申请实施例中，图8为补全网络的示意图，该补全网络包括第二编码器和第二解码器，图9提供了一种外观模型获取方法中该补全网络处理点云的方法，该方法包括：
步骤601，终端将该待补全的点云输入至该第二编码器中，得到该待补全点云的第二特征向量。
步骤602，终端将该待补全点云的第二特征向量输入至该第二解码器中，由该第二解码器根据该待补全点云的第二特征向量对物体其他区域的点进行补充。
为了便于理解，现对上述步骤做具体说明，如图8所示，补全网络以不完整形状P作为输入，输出补全形状S。具体来说，我们先将P传递给一个点云补全网络(英文：PCN)组成的第二编码器，提取出维度为1024的第二特征向量，然后将第二特征向量传递给第二解码器(英文：TopNet Decoder)，得到完整形状S。对于补全-配准路中的初始输入点云对，或配准-补全路中的配准过的点云，我们分别用补全网络对每个不完整形状进行补全。在本申请实施例中，通过对输入的点云进行编码解码处理，可以快速得到输入点云的补全点云。
在本申请实施例中，请参考图10，提供了一种训练配准网络和补全网络的方法，该方法包括：
步骤701，终端获取训练数据集和验证数据集，该训练数据集和该验证数据集包括多个物体的完整外观模型。
步骤702，终端利用该训练数据集训练初始配准网络和初始补全网络，得到训练后的配准网络和训练后的补全网络。
步骤703，终端将该验证数据集输入至该训练后的配准网络和该训练后的补全网络中，利用损失函数计算该训练后的配准网络和该训练后的补全网络的综合损失值，该综合损失值包括该训练后的配准网络的损失值和该训练后的补全网络的损失值。
本申请实施例中，为了训练双路联合网络，我们设计了与之适应的损失函数，既考虑了不同类型的输出，又保证了两条路之间的一致性约束。双路联合网络的损失函数定义如下：L＝ωcLc+ωrLr+ωsLs
其中，Lc与Lr是相对真实值的补全损失与配准损失，Ls是确保两条路之间一致性的损失。本文中ωc、ωr和ωs三个权重的值分别设置为50、1、0.5。
补全损失是配准-补全路(可用R-C表示)与补全-配准路(可用C-R表示)的中各自补全输出相对其真实值的损失，定义为
Figure BDA0002402837450000111
其中，
Figure BDA0002402837450000112
Figure BDA0002402837450000113
其中，Dc是倒角距离，用于衡量两个形状之间的几何变形程度。
配准损失是配准-补全路(可用R-C表示)与补全-配准路(可用C-R表示)的各自配准输出结果相对其真实值的损失，定义为
Figure BDA0002402837450000114
其中，
Figure BDA0002402837450000115
Figure BDA0002402837450000116
其中，Dr是两个几何变换之间的量度，采用的是四个参数的均方误差。需要注意的是，作为真实值的模型被放置在坐标原点，并被归一化到一个单位立方体内。
一致性损失由三个部分组成：
Figure BDA0002402837450000117
其中
Figure BDA0002402837450000118
与
Figure BDA0002402837450000119
是分别定义在两个路之间补全与配准上的一致性损失，而
Figure BDA00024028374500001110
则是定义在两个形状各自作为参照得到的两个相对变换之间的一致性损失。具体来说：
Figure BDA00024028374500001111
Figure BDA00024028374500001112
Figure BDA00024028374500001113
其中I是大小为4×4的单位矩阵，权重值ωsc、ωsr、ωst默认设置为50、1、5。
在训练好配准网络和补全网络之后，我们可以从定性和定量两个方面对训练后的网络性能进行评判。
首先，我们从定性的角度对训练后的网络性能进行评判。图11展示了配准和补全结果的可视化示例。输入的零件对放置在原点中心，如图中前两列所示。将任一不完整形状作为参照，我们的方法可以将另一个部分很好地对齐到参照的形状上，如图中第三列与第四列所示。可以看到，即使图中大部分形状对几乎没有重叠，我们的方法仍然可以给出准确的配准结果。不仅如此，得益于上述
Figure BDA0002402837450000121
损失，对于同一输入对，不同参照得到的配准后模型非常相似。第五、六列展示了每个部分的补全后形状，最后两列是与之相对应的真实值。从图中可以看出，我们的方法中的补全模块在处理朝向不同的输入对时，也能得到很好地结果，并且通过同时执行配准和补全，无需在补全之前预先配准输入对。值得注意的是，我们的配准结果与补全结果分别采用的是补全-配准路与配准-补全路的输出，主要是因为双路会彼此改善性能，在有一致性损失的约束下输出的每条路的末端输出会更加可靠。
为了说明我们方法的泛化能力，我们用扫描仪手动采集了八个类的真实数据作为测试数据。对于带有细致纹理的小物体，即飞机、汽车、船舶和灯等物体，我们用ArtecSpider扫描仪进行扫描。而对于更大的物体，我们用Microsoft Kinect v2扫描仪进行扫描。图11中从上到下所示的八个类别包括：飞机、汽车、船舶、桌子、沙发、橱柜、椅子和灯。
我们对每个物体都从两个不同视角进行扫描，从而得到来自同一模型的两个不完整的点云。如果两次扫描得到的不完整形状重叠率太大，我们会对两者进行裁剪，以确保尽量小的重叠率(小于30％)。然后，我们将每个部分放置在坐标原点，而由于在变换过程中没有引入缩放项，我们通过将融合好的完整模型变换到单位立方体内来估计缩放值。在这之后，将这两个不完整形状输入到本申请的配准网络和补全网络中，以得到配准结果。值得注意的是，由于真实物体都是沿竖直方向放置，获得的扫描结果也始终是竖直的，不需要进一步的额外处理。
图12展示了真实扫描数据的测试结果。第一列给出了每个真实模型的照片；后两列则展示了扫描仪捕捉到的成对的部分输入点云；第四、五列是两个部分分别取一个作为参照的配准结果；最后一列F展示了得到的完整融合形状。可以看到，在重叠率低、带噪音的数据上，我们的方法仍可以得到准确的配准结果。例如，尽管第四行中的两个桌子的部分形状原本没有任何重叠且都位于坐标原点，我们的方法还是可以给出准确地旋转结果，并还原两者之间的距离。图12中从上到下所示的八个类别包括：飞机、汽车、船舶、桌子、沙发、橱柜、椅子和灯。
其次，我们从定量的角度对训练后的网络性能进行评判。通过计算预测的几何变换参数和重建的点云误差，我们给出了配准网络和补全网络的定量评估结果。对于配准，我们分别计算了旋转误差和平移误差。旋转误差以度为单位，由预测值与真实值之间的绝对差值计算得到。平移误差采用归一化单位，由预测值与真实值的L1距离计算得到。我们用Eθ与Et表示旋转误差和平移误差：
Figure BDA0002402837450000131
Figure BDA0002402837450000132
其中θ、t分别表示从变换矩阵T分解得到的旋转角与平移向量。
补全结果的误差Ec由重建值与真实值之间的倒角距离计算得到：
Figure BDA0002402837450000133
表2展示了所有八个类的误差结果。
表2
飞机 汽车 船舶 桌子 沙发 橱柜 椅子 灯 平均值
E<sub>θ</sub> 6.817 4.191 7.702 22.798 9.856 15.071 19.823 33.428 14.961
E<sub>t</sub> 0.068 0.082 0.087 0.099 0.078 0.093 0.075 0.092 0.084
E<sub>c</sub> 1.345 1.507 1.888 5.141 3.106 3.335 5.515 4.982 3.352
从表2中可以看出，我们的方法在大部分类别中都能得到准确的配准与补全结果。例如，飞机、车辆、船舶的旋转误差都低于10度，同时，这些类别的补全误差也低于2×10-3，这意味着最终得到的重建结果质量较高。沙发这一类别的旋转误差同样低于10度，但是补全误差却高于3×10-3。这主要是由于沙发不完整扫描的自滑动导致的歧义，例如有一个小开口的环形长沙发。橱柜的配准误差较高，主要是由于其高对称性导致的歧义。例如，从橱柜某一侧扫描得到的不完整点云可能被任意配准到左侧或右侧。与之相似，椅子、灯、桌子这些高对称性类别的配准误差也比其他类别高。尤其对于灯这一类别，大多数灯的支架都是圆柱形的，因此可能导致旋转歧义。除此以外，由于这些类别中的模型几何变化较大，很难重建出模型的细节，如椅背的不同镂空形状。总体而言，我们的旋转误差低于15度，配准误差为0.09，补全误差为3.35×10-3。
为了验证我们设计的网络结构和损失函数的合理性，我们进行了消融实验，消融实验的原理是一一控制某个参数不变，来看看结果，判断到底是哪个参数对结果的影响更大。如表3所示。对于网络结构，我们取由单个配准-补全路与单个补全-配准路各自组成的网络进行对比。为了展示我们的三个一致性损失的有效性，我们对不带任一损失项训练得到的模型进行了比较。
表3
Figure BDA0002402837450000141
如表3中所示，对于单个配准-补全路，其配准误差(尤其是平移误差)远高于我们的方法。对于单个补全-配准路，其补全误差比我们的结果高65％。在组合这两条路的基础上，我们还设计了三个一致性损失函数。通过比较表3最后四列的误差，我们验证了一致性损失的确能够使两条路得到相互增强，从而取得最低的误差。
为了说明两种网络结合的优势性，可以利用消融实验对三种不同的方法进行对比。请参考图13，其直观展示了消融实验的对比结果，其中我们用相同的输入对在不同方法下补全与配准一个虚拟椅子的结果。第一行为两个输入对，以下的所有行被分为两组，分别展示配准与补全结果，最后一行表示物体的真实外观模型(可以作为理想状态下的外观模型效果进行参照)。
我们观察到单个配准-补全路的配准误差远大于其他方法，这说明直接配准两个不完整形状是极具挑战的任务。单个补全-配准路可以取得更好的配准结果，但是补全结果噪声较大，这主要是由于直接利用单个不完整形状重建出完整形状是十分困难的。组合两条路所得到的网络输出的结果是最好的。可以看到，与我们的方法相比，缺少重建一致性损失的网络得到的配准和补全误差更高。缺少配准一致性损失的网络输出结果与我们的方法近似，但是重建模型中仍然存在一些变形，例如图中弯曲的椅子腿。缺少参数一致性损失会导致两次配准结果存在差异，从而增大了预测结果的误差。
由此可见，我们的方法将配准网络和补全网络结合在一起训练使用，并使用包含
Figure BDA0002402837450000151
和
Figure BDA0002402837450000152
三种损失值的一致性损失函数，使最终得到的训练好的配准网络和补全网络的性能更好，得到的物体外观模型最接近物体真实的外观模型，预测结果更加准确。
应该理解的是，虽然图2至图13的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图13中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在本申请实施例中，如图14所示，提供了一种外观模型获取装置800，包括：第一获取模块801、得到模块802和第二获取模块803，其中：
第一获取模块801，用于获取目标点云集合，该目标点云集合包括至少两个点云，每个该点云均是对目标物体的局部区域进行采样后得到的；
得到模块802，用于对该至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，该配准处理为将不同的点云转换至同一坐标系的处理，该补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理；
第二获取模块803，用于根据该处理后的点云获取该目标物体的外观模型。
在本申请实施例中，该得到模块802具体用于：对该至少两个点云进行配准处理，得到第一配准点云；对该第一配准点云进行补全处理，得到第一补全点云，将该第一补全点云作为该处理后的点云。
在本申请实施例中，该得到模块具体802用于：对该至少两个点云分别进行补全处理，得到至少两个第二补全点云；对该至少两个第二补全点云进行配准处理，得到第二配准点云，将该第二配准点云作为该处理后的点云。
在本申请实施例中，该配准处理包括：将不同的点云输入至配准网络中，由该配准网络将该不同的点云转换至同一坐标系中；该补全处理包括：将该待补全的点云输入至补全网络中，由该补全网络根据该待补全的点云中已有的点对物体其他区域的点进行补充。
在本申请实施例中，该配准网络包括第一编码器和第一解码器，该得到模块具体802具体用于：将该不同的点云输入至该第一编码器，得到该不同的点云的第一特征向量；将该不同的点云的第一特征向量进行拼接，得到拼接后的第一特征向量；将该拼接后的第一特征向量输入至该第一解码器，得到该不同的点云之间的转换参数；根据该转换参数将该不同的点云转换至同一坐标系中。
在本申请实施例中，该补全网络包括第二编码器和第二解码器，该得到模块具体802用于，将该待补全的点云输入至该第二编码器中，得到该待补全点云的第二特征向量；将该待补全点云的第二特征向量输入至该第二解码器中，由该第二解码器根据该待补全点云的第二特征向量对物体其他区域的点进行补充。
在本申请实施例中，请参考图15，提供了另一种外观模型获取装置900，该外观模型获取装置900除了包括上述外观获取模型800包括的各模块外，可选的，该外观模型获取装置900还包括训练模块804，该训练模块804用于，获取训练数据集和验证数据集，该训练数据集和该验证数据集包括多个物体的完整外观模型；利用该训练数据集训练初始配准网络和初始补全网络，得到训练后的配准网络和训练后的补全网络；将该验证数据集输入至该训练后的配准网络和该训练后的补全网络中，利用损失函数计算该训练后的配准网络和该训练后的补全网络的综合损失值，该综合损失值包括该训练后的配准网络的损失值和该训练后的补全网络的损失值。
关于外观模型获取装置的具体限定可以参见上文中对于外观模型获取方法的限定，在此不再赘述。上述外观模型获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种外观模型获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本申请实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标点云集合，该目标点云集合包括至少两个点云，每个该点云均是对目标物体的局部区域进行采样后得到的；
对该至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，该配准处理为将不同的点云转换至同一坐标系的处理，该补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理；
根据该处理后的点云获取该目标物体的外观模型。
在本申请实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标点云集合，该目标点云集合包括至少两个点云，每个该点云均是对目标物体的局部区域进行采样后得到的；
对该至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，该配准处理为将不同的点云转换至同一坐标系的处理，该补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理；
根据该处理后的点云获取该目标物体的外观模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种外观模型获取方法，其特征在于，所述方法包括：
获取目标点云集合，所述目标点云集合包括至少两个点云，每个所述点云均是对目标物体的局部区域进行采样后得到的；
对所述至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，所述配准处理为将不同的点云转换至同一坐标系的处理，所述补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理；
根据所述处理后的点云获取所述目标物体的外观模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述至少两个点云进行配准处理和补全处理，得到处理后的点云，包括：
对所述至少两个点云进行配准处理，得到第一配准点云；
对所述第一配准点云进行补全处理，得到第一补全点云，将所述第一补全点云作为所述处理后的点云。
3.根据权利要求1所述的方法，其特征在于，所述对所述至少两个点云进行配准处理和补全处理，得到处理后的点云，包括：
对所述至少两个点云分别进行补全处理，得到至少两个第二补全点云；
对所述至少两个第二补全点云进行配准处理，得到第二配准点云，将所述第二配准点云作为所述处理后的点云。
4.根据权利要求1至3任一所述的方法，其特征在于，所述配准处理包括：将不同的点云输入至配准网络中，由所述配准网络将所述不同的点云转换至同一坐标系中；
所述补全处理包括：将所述待补全的点云输入至补全网络中，由所述补全网络根据所述待补全的点云中已有的点对物体其他区域的点进行补充。
5.根据权利要求4所述的方法，其特征在于，所述配准网络包括第一编码器和第一解码器，所述将不同的点云输入至配准网络中，由所述配准网络将所述不同的点云转换至同一坐标系中，包括：
将所述不同的点云输入至所述第一编码器，得到所述不同的点云的第一特征向量；
将所述不同的点云的第一特征向量进行拼接，得到拼接后的第一特征向量；
将所述拼接后的第一特征向量输入至所述第一解码器，得到所述不同的点云之间的转换参数；
根据所述转换参数将所述不同的点云转换至同一坐标系中。
6.根据权利要求4所述的方法，其特征在于，所述补全网络包括第二编码器和第二解码器，所述将所述待补全的点云输入至补全网络中，由所述补全网络根据所述待补全的点云中已有的点对物体其他区域的点进行补充，包括：
将所述待补全的点云输入至所述第二编码器中，得到所述待补全点云的第二特征向量；
将所述待补全点云的第二特征向量输入至所述第二解码器中，由所述第二解码器根据所述待补全点云的第二特征向量对物体其他区域的点进行补充。
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取训练数据集和验证数据集，所述训练数据集和所述验证数据集包括多个物体的完整外观模型；
利用所述训练数据集训练初始配准网络和初始补全网络，得到训练后的配准网络和训练后的补全网络；
将所述验证数据集输入至所述训练后的配准网络和所述训练后的补全网络中，利用损失函数计算所述训练后的配准网络和所述训练后的补全网络的综合损失值，所述综合损失值包括所述训练后的配准网络的损失值和所述训练后的补全网络的损失值。
8.一种外观模型获取装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标点云集合，所述目标点云集合包括至少两个点云，每个所述点云均是对目标物体的局部区域进行采样后得到的；
得到模块，用于对所述至少两个点云进行配准处理和补全处理，得到处理后的点云，其中，所述配准处理为将不同的点云转换至同一坐标系的处理，所述补全处理为根据待补全的点云中已有的点对物体其他区域的点进行补充的处理；
第二获取模块，用于根据所述处理后的点云获取所述目标物体的外观模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010152181.5A 2020-03-06 2020-03-06 外观模型获取方法、装置、计算机设备和存储介质 Active CN111462197B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010152181.5A CN111462197B (zh) 2020-03-06 2020-03-06 外观模型获取方法、装置、计算机设备和存储介质
US16/920,667 US11222244B2 (en) 2020-03-06 2020-07-04 Method and device of acquiring appearance model, computer device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010152181.5A CN111462197B (zh) 2020-03-06 2020-03-06 外观模型获取方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111462197A true CN111462197A (zh) 2020-07-28
CN111462197B CN111462197B (zh) 2023-05-26

Family

ID=71684195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010152181.5A Active CN111462197B (zh) 2020-03-06 2020-03-06 外观模型获取方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
US (1) US11222244B2 (zh)
CN (1) CN111462197B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767554A (zh) * 2021-04-12 2021-05-07 腾讯科技（深圳）有限公司 一种点云补全方法、装置、设备及存储介质
CN113327279A (zh) * 2021-08-04 2021-08-31 腾讯科技（深圳）有限公司 一种点云数据处理方法、装置、计算机设备及存储介质
CN113379825A (zh) * 2021-07-01 2021-09-10 北京亮亮视野科技有限公司 物体尺寸检测方法、装置、电子设备和可读介质
WO2022096944A1 (en) * 2021-04-15 2022-05-12 Sensetime International Pte. Ltd. Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium
WO2022219384A1 (en) * 2021-04-15 2022-10-20 Sensetime International Pte. Ltd. Method and apparatus for generating point cloud encoder,method and apparatus for generating point cloud data, electronic device and computer storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115428020A (zh) * 2021-04-15 2022-12-02 商汤国际私人有限公司 生成点云编码器的方法和装置和生成点云数据的方法和装置、电子设备及计算机介质
CN116091643B (zh) * 2022-12-28 2024-06-14 群滨智造科技(苏州)有限公司 鞋面底部工艺轨迹的生成方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272537A (zh) * 2018-08-16 2019-01-25 清华大学 一种基于结构光的全景点云配准方法
CN110443842A (zh) * 2019-07-24 2019-11-12 大连理工大学 基于视角融合的深度图预测方法
CN110458939A (zh) * 2019-07-24 2019-11-15 大连理工大学 基于视角生成的室内场景建模方法
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701006B2 (en) * 2002-06-26 2004-03-02 Nextengine, Inc. Apparatus and method for point cloud assembly
US10176589B2 (en) * 2017-01-31 2019-01-08 Mitsubishi Electric Research Labroatories, Inc. Method and system for completing point clouds using planar segments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272537A (zh) * 2018-08-16 2019-01-25 清华大学 一种基于结构光的全景点云配准方法
CN110443842A (zh) * 2019-07-24 2019-11-12 大连理工大学 基于视角融合的深度图预测方法
CN110458939A (zh) * 2019-07-24 2019-11-15 大连理工大学 基于视角生成的室内场景建模方法
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767554A (zh) * 2021-04-12 2021-05-07 腾讯科技（深圳）有限公司 一种点云补全方法、装置、设备及存储介质
WO2022096944A1 (en) * 2021-04-15 2022-05-12 Sensetime International Pte. Ltd. Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium
WO2022219384A1 (en) * 2021-04-15 2022-10-20 Sensetime International Pte. Ltd. Method and apparatus for generating point cloud encoder,method and apparatus for generating point cloud data, electronic device and computer storage medium
CN113379825A (zh) * 2021-07-01 2021-09-10 北京亮亮视野科技有限公司 物体尺寸检测方法、装置、电子设备和可读介质
CN113379825B (zh) * 2021-07-01 2022-04-22 北京亮亮视野科技有限公司 物体尺寸检测方法、装置、电子设备和可读介质
CN113327279A (zh) * 2021-08-04 2021-08-31 腾讯科技（深圳）有限公司 一种点云数据处理方法、装置、计算机设备及存储介质
CN113327279B (zh) * 2021-08-04 2021-09-28 腾讯科技（深圳）有限公司 一种点云数据处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US20210279522A1 (en) 2021-09-09
US11222244B2 (en) 2022-01-11
CN111462197B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN111462197A (zh) 外观模型获取方法、装置、计算机设备和存储介质
Wu et al. Transgaga: Geometry-aware unsupervised image-to-image translation
US9020233B2 (en) Method and system for up-vector detection for ribs in computed tomography volumes
CN109285215A (zh) 一种人体三维模型重建方法、装置和存储介质
Popa et al. Globally consistent space‐time reconstruction
US20090153577A1 (en) Method and system for texturing of 3d model in 2d environment
US20220114777A1 (en) Method, apparatus, device and storage medium for action transfer
US20220392201A1 (en) Image feature matching method and related apparatus, device and storage medium
CN107707899B (zh) 包含运动目标的多视角图像处理方法、装置及电子设备
US11631154B2 (en) Method, apparatus, device and storage medium for transforming hairstyle
Yan et al. Consistent two-flow network for tele-registration of point clouds
CN112785712A (zh) 三维模型的生成方法、装置和电子设备
CN115457197A (zh) 基于素描草图的人脸三维重建模型训练方法、重建方法及装置
CN111915676B (zh) 图像生成方法、装置、计算机设备和存储介质
Garcia-Salguero et al. A tighter relaxation for the relative pose problem between cameras
Hu et al. Predicting high-fidelity human body models from impaired point clouds
CN102682467A (zh) 基于平面和直线的三维重建方法
CN114240740B (zh) 骨骼展开图像的获取方法、装置、医疗设备以及存储介质
CN114373040A (zh) 一种三维模型重建方法和采集终端
Lee et al. Holistic 3D face and head reconstruction with geometric details from a single image
Valdés et al. Camera autocalibration and the calibration pencil
Janiszewski et al. 3D dataset of a twisted bending-active beam element digitized using structure-from-motion photogrammetry
Probst et al. Model-free consensus maximization for non-rigid shapes
CN113470154B (zh) 图像处理方法、装置、电子设备及存储介质
Jang et al. Semantic-aware network for aerial-to-ground image synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant