CN112767554B - 一种点云补全方法、装置、设备及存储介质 - Google Patents
一种点云补全方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112767554B CN112767554B CN202110388568.5A CN202110388568A CN112767554B CN 112767554 B CN112767554 B CN 112767554B CN 202110388568 A CN202110388568 A CN 202110388568A CN 112767554 B CN112767554 B CN 112767554B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- training
- target
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 157
- 238000012549 training Methods 0.000 claims abstract description 386
- 238000012545 processing Methods 0.000 claims abstract description 178
- 238000000280 densification Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 91
- 238000005070 sampling Methods 0.000 claims description 61
- 239000013598 vector Substances 0.000 claims description 60
- 238000012937 correction Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 17
- 238000013459 approach Methods 0.000 description 10
- 230000007547 defect Effects 0.000 description 8
- 230000001976 improved effect Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 238000013480 data collection Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种人工智能领域的点云补全方法、装置、设备及存储介质，其中该方法包括：获取待补全的目标原始点云数据；通过点云补全模型，根据该目标原始点云数据生成目标完整点云数据；该点云补全模型是教师学生网络模型中的学生网络模型，该教师学生网络模型是采用训练扫描目标对应的原始点云数据和标准点云数据训练得到的；对目标点云数据集合进行稠密化处理，得到目标补全点云数据；该目标点云数据集合包括该目标完整点云数据。该方法能够基于原始点云数据恢复出完整且稠密的点云数据。
Description
技术领域
本申请涉及人工智能（Artificial Intelligence，AI）技术领域，尤其涉及一种点云补全方法、装置、设备及存储介质。
背景技术
点云是使用测量仪器扫描物体或场景而得到的某坐标系下的点数据集合。在一种示例性的应用场景中，可以使用三维激光扫描仪扫描物体或场景得到点云数据，该点云数据可以用于建模相应的物体或场景，或者对相应的物体或场景进行分析处理。在实际应用中，受到环境遮挡和测量仪器性能不足等因素的限制，通过测量仪器扫描得到的原始点云数据通常具有不完整、稀疏和存在噪声等缺陷，基于该原始点云数据对物体或场景进行建模或分析处理，往往难以取得理想的效果。
为了弥补上述原始点云数据存在的缺陷，点云补全技术应运而生。点云补全的目标是基于原始点云数据恢复出完整且稠密的点云数据，此处的完整意味着点云数据能够表征几何细节的形状，稠密意味着点云数据具有高密度。
相关技术中，常见的点云补全方法是使用通过端到端的方式训练得到的模型，基于原始点云数据学习全局形状表示，进而直接回归重构所需补全的点的三维坐标。然而，在原始点云数据具有不完整、稀疏和存在噪声等缺陷的情况下，直接回归出完整且稠密的点云数据是非常困难的，通过上述点云补全方法恢复出的点云数据往往具有过于平滑、缺少几何细节等缺陷。
可见，如何基于原始点云数据恢复出完整且稠密的点云，仍是目前亟待解决的问题。
发明内容
本申请实施例提供了一种点云补全方法、装置、设备及存储介质，能够基于原始点云数据恢复出完整且稠密的点云数据。
有鉴于此，本申请第一方面提供了一种点云补全方法，所述方法包括：
获取待补全的目标原始点云数据；
通过点云补全模型，根据所述目标原始点云数据生成目标完整点云数据；所述点云补全模型是教师学生网络模型中的学生网络模型，所述教师学生网络模型是采用训练扫描目标对应的原始点云数据和标准点云数据训练的；
对目标点云数据集合进行稠密化处理，得到目标补全点云数据；所述目标点云数据集合包括所述目标完整点云数据。
本申请第二方面提供了一种点云补全装置，所述装置包括：
原始数据获取模块，用于获取待补全的目标原始点云数据；
第一补全模块，用于通过点云补全模型，根据所述目标原始点云数据生成目标完整点云数据；所述点云补全模型是教师学生网络模型中的学生网络模型，所述教师学生网络模型是采用训练扫描目标对应的原始点云数据和标准点云数据训练的；
第二补全模块，用于对目标点云数据集合进行稠密化处理，得到目标补全点云数据；所述目标点云数据集合包括所述目标完整点云数据。
本申请第三方面提供了一种设备，所述设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序，执行如上述第一方面所述的点云补全方法的步骤。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的点云补全方法的步骤。
本申请第五方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面所述的点云补全方法的步骤。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例提供了一种点云补全方法，该方法创新性地将基于原始点云数据恢复出完整且稠密的补全点云数据的复杂处理任务，拆分为两个相对简单的子处理任务，第一个子处理任务是基于原始点云数据恢复稀疏但完整的点云数据，第二个子处理任务是基于通过第一个子处理任务恢复出的点云数据恢复完整且稠密的补全点云数据；由于两个子处理任务的实现难度相对较低，且两个子处理任务各自的处理效果更易优化，因此，有利于通过优化两个子处理任务的处理效果来提升点云补全的整体实现效果，恢复出具有高质量的稠密且完整的补全点云数据。此外，执行上述第一个子处理任务时，使用基于对比学习策略训练得到的教师学生网络模型中的学生网络模型，基于原始点云数据恢复稀疏完整点云数据，能够保证所恢复出的稀疏完整点云数据具有更高质量，即能够更好地表征几何细节；其原因在于，基于对比学习策略训练教师学生网络模型时，通过引导学生网络模型对于训练扫描目标对应的原始点云数据的处理结果，贴近于教师学生网络模型对于该训练扫描目标对应的标准点云数据的处理结果，能够有效地提高学生网络模型的点云补全性能，使其基于原始点云数据生成的点云数据更为完整、更具几何细节。
附图说明
图1为本申请实施例提供的点云补全方法的应用场景示意图；
图2为本申请实施例提供的点云补全方法的流程示意图；
图3为本申请实施例提供的教师学生网络模型的训练方法的流程示意图；
图4为本申请实施例提供的教师学生网络模型的训练原理示意图；
图5为本申请实施例提供的偏移量预测模型的训练方法的流程示意图；
图6为本申请实施例提供的噪声识别模型的训练方法的流程示意图；
图7为本申请实施例提供的点云补全方法的实现架构示意图；
图8为本申请实施例提供的点云补全方法的工作原理示意图；
图9为本申请实施例提供的第一种点云补全装置的结构示意图；
图10为本申请实施例提供的第二种点云补全装置的结构示意图；
图11为本申请实施例提供的第三种点云补全装置的结构示意图；
图12为本申请实施例提供的第四种点云补全装置的结构示意图；
图13为本申请实施例提供的第五种点云补全装置的结构示意图；
图14为本申请实施例提供的第六种点云补全装置的结构示意图；
图15为本申请实施例提供的第七种点云补全装置的结构示意图；
图16为本申请实施例提供的终端设备的结构示意图；
图17为本申请实施例提供的服务器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术（Computer Vision，CV）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如，常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能领域的计算机视觉技术和机器学习技术，具体通过如下实施例进行说明：
相关技术中，通常使用通过端到端的方式训练得到的点云补全模型，基于原始点云数据直接回归重构补全点云数据；通过这种点云补全方式恢复出的补全点云数据往往过于平滑、缺少几何细节、完整度较低。
针对上述相关技术存在的问题，本申请实施例提供了一种点云补全方法，该方法能够基于原始点云数据恢复出完整且稠密的点云数据。
具体的，在本申请实施例提供的点云补全方法中，先获取待补全的目标原始点云数据；然后，通过点云补全模型根据该目标原始点云数据生成目标完整点云数据，此处的点云补全模型是教师学生网络模型中的学生网络模型，该教师学生网络模型是基于对比学习策略、采用训练扫描目标对应的原始点云数据和标准点云数据训练的；进而，对包括该目标完整点云数据的目标点云数据集合进行稠密化处理，得到目标补全点云数据。
相比相关技术中通过端到端的模型直接回归重构补全点云数据的方式，上述点云补全方法将基于原始点云数据恢复出完整且稠密的补全点云数据的复杂处理任务，拆分为两个相对简单的子处理任务，第一个子处理任务是基于原始点云数据恢复稀疏但完整的点云数据，第二个子处理任务是基于通过第一个子处理任务恢复出的点云数据恢复完整且稠密的补全点云数据；由于两个子处理任务的实现难度相对较低，且两个子处理任务各自的处理效果更易优化，因此，可以通过优化两个子处理任务的处理效果来提升点云补全的整体实现效果，有利于恢复出高质量的稠密且完整的补全点云数据。
此外，执行上述第一个子处理任务时，使用基于对比学习策略训练得到的教师学生网络模型中的学生网络模型，基于原始点云数据恢复稀疏完整点云数据，能够保证所恢复出的稀疏完整点云数据具有更高质量，即能够更好地表征几何细节。其原因在于，基于对比学习策略训练教师学生网络模型时，通过引导学生网络模型对于训练扫描目标对应的原始点云数据的处理结果，趋近于教师学生网络模型对于该训练扫描目标对应的标准点云数据的处理结果，更有助于提高学生网络模型的点云补全性能，使其基于原始点云数据生成的点云数据更为完整、更具几何细节。
应理解，本申请实施例提供的点云补全方法可以应用于具备数据处理能力的设备，如终端设备或服务器。其中，终端设备具体可以为智能手机、计算机、平板电脑、个人数字助理（Personal Digital Assitant，PDA）等；服务器具体可以为应用服务器或Web服务器，实际部署时，可以为独立服务器，也可以为集群服务器或云服务器。此外，本申请实施例提供的点云补全方法中涉及的原始点云数据、完整点云数据、补全点云数据等点云数据，可以保存在区块链上。
为了便于理解本申请实施例提供的点云补全方法，下面以该点云补全方法的执行主体为终端设备为例，对点云补全方法的应用场景进行示例性介绍。
参见图1，图1为本申请实施例提供的点云补全方法的应用场景示意图。如图1所示，该应用场景中包括点云数据采集设备110和终端设备120；其中，点云数据采集设备110具体可以为三维激光扫描仪，其用于扫描物体或场景，从而采集得到原始点云数据；终端设备120用于执行本申请实施例提供的点云补全方法，基于点云数据采集设备110采集的原始点云数据恢复出稠密且完整的补全点云数据。
在实际应用中，点云数据采集设备110可以扫描特定目标得到目标原始点云数据，该目标原始点云数据通常具有稀疏、不完整等缺陷。为了弥补该目标原始点云数据存在的缺陷，点云数据采集设备110可以通过有线网络或无线网络，将其采集的目标原始点云数据传输给终端设备120，以使终端设备120基于该目标原始点云数据恢复出稠密完整的目标补全点云数据。
终端设备120接收到点云数据采集设备110传输的目标原始点云数据后，可以先通过点云补全模型，根据该目标原始点云数据生成目标完整点云数据，该目标完整点云数据是基于目标原始点云数据恢复出的稀疏但完整的点云数据。具体的，点云补全模型可以根据目标原始点云数据，推断出该目标原始点云数据所对应的完整形状，从而恢复出稀疏但完整的目标完整点云数据。
需要说明的是，上述点云补全模型是教师学生网络模型中的学生网络模型，该教师学生网络模型是基于对比学习策略训练得到的。即，训练该教师学生网络模型时，可以利用其中的学生网络模型，基于训练扫描目标对应的原始点云数据恢复对应的完整点云数据，可以利用其中的教师网络模型，对该训练扫描目标对应的标准点云数据（标准点云数据为该训练扫描目标对应的完整点云数据）进行重构处理，即重新构建与所输入的标准点云数据相同的点云数据；在模型训练过程中，通过将使学生网络模型的处理结果趋近于教师网络模型的处理结果作为训练目标，不断地优化学生网络模型的模型参数，使得该学生网络模型能够更好地从原始点云数据中学习到对应的完整形状表示，从而恢复出更能够表征几何细节的点云数据。
终端设备120基于目标原始点云数据恢复出目标完整点云数据后，可以进一步对包括该目标完整点云数据的目标点云数据集合进行稠密化处理，从而得到稠密且完整的目标补全点云数据。示例性的，终端设备120可以通过对目标点云数据集合进行迭代上采样处理，实现对于该目标点云数据集合的稠密化处理，并且考虑到上采样处理的过程中可能引入噪声，终端设备120还可以在上采样处理的过程中对所得到的点云数据进行去噪处理。
可选的，考虑到点云数据采集设备110采集的目标原始点云数据相对于点云补全过程中得到的点云数据，所包括的可靠信息通常更多，因此，可以将目标原始点云数据添加到上述目标点云数据集合中。此外，考虑到现实中的大多数物体或场景都具有一定的对称性，因此，还可以通过对称性检测处理，得到与目标原始点云数据对称的目标对称点云数据，将该目标对称点云数据也添加到上述目标点云数据集合中。
应理解，图1所示的应用场景仅为示例，在实际应用中，终端设备120除了可以从点云数据采集设备110处直接获取所需补全的目标原始点云数据外，还可以通过其它渠道获取目标原始点云数据，例如，从用于存储点云数据的数据库中获取目标原始点云数据等等；此外，本申请实施例提供的点云数据补全方法除了可以由终端设备120执行外，还可以由服务器执行；在此不对本申请实施例提供的点云补全方法适用的应用场景做任何限定。
下面通过方法实施例对本申请提供的点云补全方法进行详细介绍。
参见图2，图2为本申请实施例提供的点云补全方法的流程示意图。为了便于描述，下述实施例仍以该点云补全方法的执行主体为终端设备为例进行介绍。如图2所示，该点云补全方法包括以下步骤：
步骤201：获取待补全的目标原始点云数据。
在实际应用中，终端设备可以获取通过点云数据采集设备（如三维激光扫描仪等）采集的原始点云数据，作为待补全的目标原始点云数据。受到环境遮挡和设备性能不足等因素的影响，通过点云数据采集设备采集的原始点云数据通常稀疏、不完整且噪声较大；稀疏是指原始点云数据中包括的点的密度较低，不完整是指原始点云数据难以表征所扫描的对象的完整形状，尤其难以表征几何细节形状，噪声较大是指原始点云数据中包括较多受设备、环境等因素的影响而产生的噪声点，此类噪声点并不是所扫描的对象上的点。本申请旨在对此类原始点云数据进行点云补全处理，从而恢复出稠密、完整且噪声较小的补全点云数据；相对应地，稠密是指补全点云数据中包括的点的密度较高，完整是指补全点云数据能够表征所扫描的对象的完整形状，甚至是几何细节形状，噪声较小是指补全点云数据中包括的噪声点较少。
在一种可能的实现方式中，终端设备可以直接从点云数据采集设备处获取目标原始点云数据。示例性的，点云数据采集设备扫描特定的对象（物体或场景）得到目标原始点云数据后，可以将该目标原始点云数据通过网络发送给终端设备；或者，终端设备也可以主动向点云数据采集设备发送数据获取请求，从而获取点云数据采集设备响应于该数据获取请求返回的目标原始点云数据。
在另一种可能的实现方式中，终端设备也可以从专用于存储原始点云数据的数据库中获取目标原始点云数据。示例性的，点云数据采集设备可以将其采集的原始点云数据上传至数据库，相应地，终端设备可以根据实际应用需求，从该数据库中调取当前需要补全的目标原始点云数据。
应理解，在实际应用中，终端设备也可以通过其它方式获取目标原始点云数据，本申请在此不对终端设备获取目标原始点云数据的方式做任何限定。
步骤202：通过点云补全模型，根据所述目标原始点云数据生成目标完整点云数据；所述点云补全模型是教师学生网络模型中的学生网络模型，所述教师学生网络模型是采用训练扫描目标对应的原始点云数据和标准点云数据训练的。
终端设备获取到目标原始点云数据后，可以将该目标原始点云数据输入预先训练好的点云补全模型，该点云补全模型将对该目标原始点云数据相应地进行分析处理，从而恢复出目标完整点云数据。该目标完整点云数据是基于目标原始点云数据恢复出的稀疏但完整的点云数据，换言之，该目标完整点云数据所包括的点的密度虽然较小，但是其能够表征目标原始点云数据所对应的扫描对象的完整形状，甚至能够表征该扫描对象的几何细节形状。
需要说明的是，上述点云补全模型是教师学生网络模型中的学生网络模型；教师学生网络模型是一种具有双重网络结构和双重学习策略的神经网络模型，其中的一个分支网络可以与另一个分支网络共享软标签和学习特征，通常情况下，由教师网络模型向学生网络模型分享软标签和学习特征。
该教师学生网络模型是基于对比学习策略训练得到的，即可以使用对应于同一训练扫描目标的原始点云数据和标准点云数据，对教师学生网络模型中的学生网络模型和教师网络模型分别进行训练。训练扫描目标通常可以是特定的扫描对象，如特定的物体或场景等；示例性的，当本申请实施例提供的技术方案应用于游戏场景中时，该训练扫描目标可以为与游戏中的虚拟场景相对应的真实场景，也可以为与游戏中的虚拟物体相对应的真实物体；本申请在此不对该训练扫描目标做任何限定。训练扫描目标对应的原始点云数据是通过点云数据采集设备扫描该训练扫描目标得到的点云数据，其具有稀疏、不完整等缺点；训练扫描目标对应的标准点云数据是稠密且能够准确反映该训练扫描目标的完整形状的点云数据。训练该教师学生网络模型时，可以通过学生网络模型对训练扫描目标对应的原始点云数据进行处理，通过教师网络模型对训练扫描目标对应的标准点云数据进行处理，通过使得学生网络模型的处理结果趋近于教师网络模型的处理结果，实现对于学生网络模型性能的优化，使其具备从稀疏且不完整的点云数据中学习到完整形状的功能。下文将通过另一方法实施例对该教师学生网络模型的训练过程进行详细介绍。
步骤203：对目标点云数据集合进行稠密化处理，得到目标补全点云数据；所述目标点云数据集合包括所述目标完整点云数据。
终端设备通过点云补全模型，基于目标原始点云数据恢复出稀疏但完整的目标完整点云数据后，可以将该目标完整点云数据添加至目标点云数据集合。进而，对该目标点云数据集合进行稠密化处理，得到稠密且完整的目标补全点云数据；该目标补全点云数据能够表征目标原始点云数据对应的扫描对象的完整形状，甚至能够表征该扫描对象的几何细节形状，并且该目标补全点云数据中包括的点的密度较高。
在一种可能的实现方式中，目标点云数据集合可以仅包括通过步骤202生成的目标完整点云数据。即，终端设备可以仅对目标完整点云数据进行稠密化处理，得到目标补全点云数据。
在另一种可能的实现方式中，考虑到点云数据采集设备采集的目标原始点云数据中通常包含相对更多的可信赖信息，即目标原始点云数据中的部分点相对于通过步骤202生成的目标完整点云数据中的点来说，能够更准确地描述扫描对象的外形，因此，可以将目标原始点云数据也添加至目标点云数据集合。相应地，终端设备可以对包括有目标完整点云数据和目标原始点云数据的目标点云数据集合进行稠密化处理，即基于目标完整点云数据中包括的点和目标原始点云数据中包括的点进行稠密化处理，得到目标补全点云数据。如此，在稠密化处理的过程中保留可靠性较高的原始点云数据，可以在一定程度上提高目标补全点云数据的准确性。
在又一种可能的实现方式中，考虑到在点云数据采集过程中可能因扫描对象的部分区域受到遮挡，而没有采集到此部分区域对应的点云数据，但是实际应用中的很多扫描对象都具有对称性，因此，可以通过对称性检测基于采集到的目标原始点云数据还原与其呈对称关系的目标对称点云数据，进而将该目标对称点云数据也添加至目标点云数据集合。
具体的，终端设备可以对目标完整点云数据进行体素化处理，得到目标体素结构；然后，通过对称性检测网络确定该目标体素结构的目标对称平面；进而，基于该目标对称平面，确定与目标原始点云数据对称的目标对称点云数据；最终，基于目标完整点云数据、目标原始点云数据和目标对称点云数据，构建得到目标点云数据集合。
即，终端设备可以先对通过步骤202生成的目标完整点云数据进行体素化处理，得到目标体素结构；体素化是指将点云数据转换为最接近于该点云数据对应的扫描对象的体素化结构（如三维物体）。然后，通过对称性检测网络如SymNet（Symmetric Networks）等，检测该目标体素结构的对称性，从而得到该目标体素结构的目标对称平面；应理解，此处确定的目标对称平面可以为一个，也可以为多个。
接着，可以确定目标原始点云数据关于该目标对称平面的对称点云数据，并基于该对称点云数据确定目标对称点云数据。在一些情况下，点云数据采集设备采集点云数据时，所扫描到的区域与未扫描到的区域可能正好呈对称关系，此时，可以直接将目标原始点云数据关于目标对称平面对称的对称点云数据，作为目标对称点云数据；例如，当点云数据采集设备位于扫描对象的正前方时，该点云数据采集设备所能扫描到的区域即为该扫描对象的正面区域，未能扫描到的区域即为该扫描对象的背面区域，此时，可以直接确定目标原始点云数据关于目标对称平面对称的对称点云数据，作为目标对称点云数据。在另一些情况下，点云数据采集设备采集点云数据时，所扫描到的区域与未扫描到的区域可能并不呈完全对称的关系，例如，所扫描到的区域相对于未扫描到的区域更大，所扫描到的区域中的部分区域与未扫描到的区域呈对称关系；此时，可以在目标原始点云数据关于目标对称平面的对称点云数据中，查找目标原始点云数据中不包括的点的数据，组成目标对称点云数据。当然，在实际应用中，终端设备也可以通过其它方式确定上述目标对称点云数据，本申请在此不对该目标对称点云的确定方式做任何限定。
进而，终端设备可以基于通过步骤202生成的目标完整点云数据、目标原始点云数据和上述目标对称点云数据，构建目标点云数据集合。相应地，终端设备可以基于目标完整点云数据中包括的点、目标原始点云数据中包括的点、以及目标对称点云数据中包括的点进行稠密化处理，得到目标补全点云数据。
具体进行稠密化处理时，终端设备可以按照预设上采样倍数对目标点云数据集合进行迭代上采样处理，当满足迭代结束条件时，即可得到目标补全点云数据；此处的迭代结束条件可以包括以下至少一种：上采样处理的次数达到预设次数阈值、经上采样处理得到的点云数据的密度达到预设密度阈值。
示例性的，终端设备得到目标点云数据集合后，可以按照预设上采样倍数（比如4），对目标点云数据集合中包括的点的数据进行迭代上采样处理。每完成一次上采样处理，终端设备可以判断一次当前是否满足迭代结束条件；例如，终端设备可以判断当前已完成的上采样次数是否达到预设次数阈值（比如2），若是，则确认当前满足迭代结束条件，可以直接将经本次上采样处理得到的点云数据作为目标补全点云数据，若否，则继续针对当前得到的点云数据进行上采样处理；又例如，终端设备还可以判断当前得到的点云数据的密度是否达到预设密度阈值，若是，则确认当前满足迭代结束条件，可以将当前得到的点云数据作为目标补全点云数据，若否，则继续针对当前得到的点云数据进行上采样处理；再例如，终端设备可以同时判断当前已完成的上采样次数是否达到预设次数阈值，以及当前得到的点云数据的密度是否达到预设密度阈值，在两个判断结果均为是的情况下，确认当前满足迭代结束条件，将当前得到的点云数据作为目标补全点云数据，否则，继续针对当前得到的点云数据进行上采样处理。
应理解，上述预设上采样倍数、预设次数阈值和预设密度阈值均可以根据实际需求设定，本申请在此不对上述预设上采样倍数、预设次数阈值和预设密度阈值做任何限定。
考虑到在对点云数据进行上采样处理的过程中可能会引入额外的噪声，为了消除在上采样处理过程中引入的噪声，提升最终得到的目标补全点云数据的质量，在本申请实施例提供的方法中，终端设备还可以在上采样处理的过程中进行去噪处理。
即，终端设备每完成一次上采样处理，可以通过噪声识别模型，确定经本次上采样处理得到的点云数据中的各个点各自对应的噪声置信度；进而，丢弃所对应的噪声置信度高于预设置信度阈值的点。
示例性的，终端设备每执行完一次上采样处理，可以针对经本次上采样处理得到的点云数据中的每个点，通过预先训练的噪声识别模型识别该点对应的噪声置信度，该噪声置信度能够反映该点属于噪声的可能性，噪声置信度越高则表示该点越可能属于噪声。进而，丢弃当前得到的点云数据中所对应的噪声置信度高于预设置信度阈值的点，由此降低上采样处理过程中引入的噪声。
需要说明的是，上述噪声识别模型是预先基于训练扫描目标对应的训练上采样点云数据和该训练扫描目标对应的标准点云数据训练得到的，该训练扫描目标对应的训练上采样点云数据是对训练点云数据集合进行上采样处理得到的，该训练点云数据集合中可以包括以下至少一种点云数据：该训练扫描目标对应的原始点云数据、通过点云补全模型根据该训练扫描目标对应的原始点云数据生成的训练完整点云数据、以及与该训练扫描目标对应的原始点云数据对称的训练对称点云数据；下文将通过另一方法实施例对该噪声识别模型的训练方法进行详细介绍。该噪声识别模型示例性的可以为多层感知机（Muti－LayerPerception，MLP）。
此外，为了进一步提高所得到的目标补全点云数据的准确性，使得目标补全点云数据能够更准确地表征对应的扫描对象的整体形状；在本申请实施例提供的方法中，在对目标点云数据集合进行稠密化处理，得到目标补全点云数据之前，还可以先对该目标点云数据集合进行偏移矫正处理。
即，终端设备可以通过偏移量预测模型，针对目标点云数据集合中的各个点分别确定其各自对应的偏移量；进而，基于该目标点云数据集合中各个点各自对应的偏移量，矫正该目标点云数据集合。相应地，终端设备对目标点云数据集合进行稠密化处理，得到目标补全点云数据时，可以对该矫正后的目标点云数据集合进行稠密化处理，得到目标补全点云数据。
示例性的，终端设备可以使用预先训练得到的偏移量预测模型，针对目标点云数据集合中的每个点分别预测其对应的偏移量；进而，基于目标点云数据集合中各个点各自对应的偏移量，相应地对目标点云数据集合中各个点的位置进行矫正，从而得到矫正后的目标点云数据集合。例如，可以通过偏移量预测模型，针对目标点云数据集合中的每个点
（其中，
、
和
分别是该点在x轴、y轴和z轴下的坐标），分别预测其对应的偏移量
（其中，
、
和
分别是该点在x轴、y轴和z轴下的坐标偏移量）；进而，基于该点对应的偏移量对该点的原始位置坐标进行矫正，得到该点对应的矫正坐标
；目标点云数据集合中各个点各自对应的矫正坐标，即可组成了矫正后的目标点云数据集合。
需要说明的是，上述偏移量预测模型是预先基于训练扫描目标对应的训练点云数据集合和该训练扫描目标对应的标准点云数据训练得到的，该训练扫描目标对应的训练点云数据集合可以包括以下至少一种点云数据：该训练扫描目标对应的原始点云数据、通过点云补全模型根据该训练扫描目标对应的原始点云数据生成的训练完整点云数据、以及与该训练扫描目标对应的原始点云数据对称的训练对称点云数据；下文将通过另一方法实施例对该偏移量预测模型的训练方法进行详细介绍。该偏移量预测模型示例性的可以为残差网络模型（Residual Network，ResNet）。
可选的，为了保留目标原始点云数据中的可靠信息，终端设备可以将目标原始点云数据、目标对称点云数据和上述目标补全点云数据进行合并，得到最终的点云补全结果，以依据该点云补全结果进行后续的对于物体或场景的建模处理，或者对物体或场景进行分析处理。
本申请实施例提供的点云补全方法，将基于原始点云数据恢复出完整且稠密的补全点云数据的复杂处理任务，拆分为两个相对简单的子处理任务，第一个子处理任务是基于原始点云数据恢复稀疏但完整的点云数据，第二个子处理任务是基于通过第一个子处理任务恢复出的点云数据恢复完整且稠密的补全点云数据；由于两个子处理任务的实现难度相对较低，且两个子处理任务各自的处理效果更易优化，因此，可以通过优化两个子处理任务的处理效果来提升点云补全的整体实现效果，有利于恢复出高质量的稠密且完整的补全点云数据。此外，执行上述第一个子处理任务时，使用基于对比学习策略训练得到的教师学生网络模型中的学生网络模型，基于原始点云数据恢复稀疏完整点云数据，能够保证所恢复出的稀疏完整点云数据具有更高质量，即能够更好地表征几何细节。其原因在于，基于对比学习策略训练教师学生网络模型时，通过引导学生网络模型对于训练扫描目标对应的原始点云数据的处理结果，趋近于教师学生网络模型对于该训练扫描目标对应的标准点云数据的处理结果，更有助于提高学生网络模型的点云补全性能，使其基于原始点云数据生成的点云数据更为完整、更具几何细节。
本申请实施例还提供了一种教师学生网络模型的训练方法，该教师学生网络模型中的学生网络模型即为图2所示实施例中的点云补全模型。下面通过方法实施例对该教师学生网络模型的训练方法进行详细介绍。
参见图3，图3为本申请实施例提供的4。为了便于描述，下述实施例以该教师学生网络模型的训练方法的执行主体为服务器为例进行介绍。如图3所示，该教师学生网络模型的训练方法包括以下步骤：
步骤301：通过所述教师学生网络模型中的学生网络模型，对所述训练扫描目标对应的原始点云数据进行点云补全处理，得到第一训练完整点云数据。
服务器训练教师学生网络模型之前，需要获取多个用于训练该教师学生网络模型的训练样本。每个训练样本中包括对应于同一训练扫描目标的原始点云数据和标准点云数据；训练扫描目标对应的原始点云数据可以是使用点云数据采集设备采集得到的点云数据，其具有稀疏、不完整等缺点；训练扫描目标对应的标准点云数据是稠密且完整的点云数据，该标准点云数据能够准确地表征训练扫描目标的完整形状，并且所包括的点具有较高的密度。
训练教师学生网络模型时，服务器可以将训练样本中训练扫描目标对应的原始点云数据输入学生网络模型，通过该学生网络模型对该原始点云数据进行点云补全处理，进而获取该学生网络模型输出的第一训练完整点云数据。对于教师学生网络模型中的学生网络模型来说，其处理任务是对输入的稀疏且不完整的点云数据进行初步补全处理，得到稀疏但完整的点云数据。
作为一种示例，教师学生网络模型中的学生网络模型可以包括编码器网络和解码器网络；相应地，通过该学生网络模型对训练扫描目标对应的原始点云数据进行点云补全处理时，可以先通过该学生网络模型中的编码器网络，对该原始点云数据进行编码处理，得到第一编码特征向量，进而再通过该学生网络模型中的解码器网络，对该第一编码特征向量进行解码处理，得到第一训练完整点云数据。
图4为本申请实施例提供的教师学生网络模型的训练原理示意图。如图4所示，训练教师学生网络模型时，将训练扫描目标对应的原始点云数据P输入学生网络模型中后，学生网络模型中的编码器网络
将对该原始点云数据P进行编码处理，得到第一编码特征向量
；进而，学生网络模型中的解码器网络将对该第一编码特征向量
进行解码处理，得到第一训练完整点云数据
。
步骤302：通过所述教师学生网络模型中的教师网络模型，对所述训练扫描目标对应的标准稀疏点云数据进行重建处理，得到第二训练完整点云数据；所述训练扫描目标对应的标准稀疏点云数据是对所述训练扫描目标对应的标准点云数据进行下采样处理得到的。
为了使教师网络模型对于学生网络模型能够起到更好的引导作用，在本申请实施例提供的方法中，可以使教师网络模型的处理对象与学生网络模型的处理对象具有相同或相似的稠密度，即使得教师网络模型的处理对象同样为稀疏的点云数据。具体实现时，服务器可以对训练样本中训练扫描目标对应的标准点云数据进行下采样处理，得到与训练扫描目标对应的原始点云数据的稠密度相同或相接近的标准稀疏点云数据，该标准稀疏点云数据所包括的点的密度虽然较低，但是该标准稀疏点云数据仍然能够准确地表征训练扫描目标的完整形状，即该标准点云数据是稀疏但完整的点云数据。
训练教师学生网络模型时，服务器可以将上述训练扫描目标对应的标准稀疏点云数据输入教师网络模型，通过该教师网络模型对该标准稀疏点云数据进行重构处理，即通过该教师网络模型重新构建该标准稀疏点云数据，得到与该标准稀疏点云数据相同的第二训练完整点云数据。换言之，对于教师学生网络模型中的教师网络模型来说，其处理任务是重新构建与输入的稀疏完整的点云数据相同的另一稀疏完整的点云数据。
作为一种示例，教师学生网络模型中的教师网络模型也可以包括编码器网络和解码器网络；相应地，通过该教师网络模型对训练扫描目标对应的标准稀疏点云数据进行重构处理时，可以先通过该教师网络模型中的编码器网络，对该标准稀疏点云数据进行编码处理，得到第二编码特征向量；进而再通过该教师网络模型中的解码器网络，对该第二编码特征向量进行解码处理，得到第二训练完整点云数据。
如图4所示，训练教师学生网络模型时，将训练扫描目标对应的标准稀疏点云数据S输入教师网络模型中后，教师网络模型中的编码器网络
将对该标准稀疏点云数据进行编码处理，得到第二编码特征向量
；进而，教师网络模型中的解码器网络将对该第二编码特征向量
进行解码处理，得到第二训练完整点云数据
，第二训练完整点云数据
与标准稀疏点云数据S相同。
需要说明的是，学生网络模型中的编码器网络
与教师网络模型中的编码器网络
具有相同的网络结构和不同的参数权重；示例性的，编码器网络
与编码器网络
可以使用VV-Net（Voxel vae networks）、DGCNN（Dynamic Graph CNN）、PointNet++等作为底层架构，当然，在实际应用中，还可以使用其它网络模型作为编码器网络
与编码器网络
的底层架构，本申请在此不对编码器网络
与编码器网络
的架构做任何限定，也不对学生网络模型和教师网络模型的整体架构做任何限定。
应理解，在实际应用中，服务器可以同时执行上述步骤301和步骤302，也可以先执行步骤301、后执行步骤302，还可以先执行步骤302、后执行步骤301，本申请在此不对步骤301和步骤302的执行顺序做任何限定。
步骤303：根据所述第一训练完整点云数据和训练参考点云数据，构建几何损失函数；所述训练参考点云数据包括所述标准稀疏点云数据和所述第二训练完整点云数据中的任一种。
服务器通过步骤301得到学生网络模型基于训练扫描目标对应的原始点云数据生成的第一训练完整点云数据，通过步骤302得到教师网络模型基于训练扫描目标对应的标准稀疏点云数据重构的第二训练完整点云数据后，可以进一步根据该第一训练完整点云数据和训练参考点云数据（鉴于第二训练完整点云数据与标准稀疏点云数据相同，因此，可以将第二训练完整点云数据和标准稀疏点云数据中的任一者作为该训练参考点云数据），构建几何损失函数。
作为一种示例，服务器可以基于动土距离（earth mover's distance，EMD）构建上述几何损失函数；动土距离的公式如式（1）所示：
在本申请实施例中，X是第一训练完整点云数据，
是训练参考点云数据，
是双射函数，用于最小化X与
之间的距离。
当然，在实际应用中，服务器也可以采用其它方式构建该几何损失函数，本申请在此不对该几何损失函数的构建方式做任何限定。
步骤304：基于所述几何损失函数，训练所述教师学生网络模型。
服务器根据第一训练完整点云数据和训练参考点云数据构建出几何损失函数后，将以最小化该几何损失函数为目标，调整教师学生网络模型中学生网络模型的模型参数，使得该学生网络模型的输出点云数据趋近于教师网络模型的输入点云数据和/或输出点云数据。如此，基于多个训练样本反复执行上述流程，实现对于学生网络模型的迭代训练，直至满足训练结束条件为止；示例性的，该训练结束条件可以为迭代训练次数达到预设训练次数阈值，也可以为学生网络模型的模型性能达到预设的性能标准等等，本申请在此不对该训练结束条件做任何限定。
可选的，服务器除了可以基于学生网络模型的输出点云数据和教师网络模型的输入点云数据或者输出点云数据构建几何损失函数，基于该几何损失函数优化学生网络模型外，还可以基于学生网络模型的中间处理结果和教师网络模型的中间处理结果构建特征对齐损失函数，基于该特征对齐损失函数优化学生网络模型的性能。
即，在学生网络模型和教师网络模型均包括编码器网络和解码器网络，且学生网络模型中的编码器网络对输入的原始点云数据进行编码处理得到第一编码特征向量，教师网络模型中的编码器网络对输入的标准稀疏点云数据进行编码处理得到第二编码特征向量的情况下，服务器可以根据该第一编码特征向量和第二编码特征向量，构建特征对齐损失函数，并基于该特征对齐损失函数，训练该教师学生网络模型。
在一种可能的实现方式中，服务器可以直接根据第一编码特征向量和第二编码特征向量，构建特征对齐损失函数。如图4所示，服务器可以直接根据学生网络模型中的编码器网络
输出的第一编码特征向量
、以及教师学生网络模型中的编码器网络
输出的第二编码特征向量
，构建特征对齐损失函数。
在另一种可能的实现方式中，服务器可以通过第一多层感知机，将第一编码特征向量映射为第三编码特征向量，通过第二多层感知机，将第二编码特征向量映射为第四编码特征向量；进而，利用第一编码特征向量和第二编码特征向量构建第一特征对齐损失函数，利用第三编码特征向量和第四编码特征向量构建第二特征对齐损失函数。
如图4所示，服务器可以通过第一多层感知机
，将第一编码特征向量
投影为第三编码特征向量
，可以通过第二多层感知机
，将第二编码特征向量
投影为第四编码特征向量
；进而，根据第一编码特征向量
和第二编码特征向量
构建第一特征对齐损失函数，根据第三编码特征向量
和第四编码特征向量
构建第二特征对齐损失函数。
作为一种示例，服务器可以基于倒角距离（Chamfer Distance，CD）构建上述特征对齐损失函数；倒角距离的公式如式（2）所示：
在本申请实施例中，利用第一编码特征向量和第二编码特征向量构建特征对齐损失函数（可以是通过上述第一种实现方式构建的特征对齐损失函数，也可以是通过上述第二种实现方式构建的第一特征对齐损失函数）时，X为第一编码特征向量，
为第二编码特征向量；利用第三编码特征向量和第四编码特征向量构建第二特征对齐损失函数时，X为第三编码特征向量，
为第四编码特征向量。
当然，在实际应用中，服务器也可以采用其它方式构建上述特征对齐损失函数，本申请在此不对上述特征对齐损失函数的构建方式做任何限定。
进而，服务器可以将以最小化上述特征对齐损失函数为目标，调整学生网络模型中编码器网络的模型参数，使得该学生网络模型中编码器网络输出的特征表示趋近于教师网络模型中编码器网络输出的特征表示。
如此，通过几何损失函数和特征对齐损失函数双重约束机制，训练学生网络模型，使得学生网络模型的中间处理结果以及输出点云数据，分别趋近于教师网络模型的中间处理结果以及输入或输出点云数据，更有利于提升学生网络模型的点云补全性能。
本申请实施例提供的教师学生网络模型的训练方法，基于对比学习策略训练教师学生网络模型中的学生网络模型，通过引导学生网络模型对于训练扫描目标对应的原始点云数据的处理结果，趋近于教师学生网络模型对于该训练扫描目标对应的标准稀疏点云数据的处理结果，更有助于提高学生网络模型的点云补全性能，使其能够基于原始点云数据恢复出更完整、更具几何细节的点云数据。
本申请实施例还提供了一种偏移量预测模型的训练方法，该偏移量预测模型即是图2所示实施例中用于针对目标点云数据集合中的各个点确定其对应的偏移量的模型，下面通过方法实施例对该偏移量预测模型的训练方法进行详细介绍。
参见图5，图5为本申请实施例提供的偏移量预测模型的训练方法的流程示意图。为了便于描述，下述实施例以该偏移量预测模型的训练方法的执行主体为服务器为例进行介绍。如图5所示，该偏移量预测模型的训练方法包括以下步骤：
步骤501：通过所述偏移量预测模型，针对训练点云数据集合中的各个点分别确定其各自对应的预测偏移量，基于所述训练点云数据集合中各个点各自对应的预测偏移量，矫正所述训练点云数据集合得到训练矫正点云数据集合。
服务器训练偏移量预测模型之前，可以先获取训练点云数据集合，该训练点云数据集合中可以包括以下至少一种点云数据：训练扫描目标对应的原始点云数据、通过点云补全模型根据训练扫描目标对应的原始点云数据生成的训练完整点云数据、与该训练扫描目标对应的原始点云数据对称的训练对称点云数据。
示例性的，服务器可以通过已经训练好的点云补全模型，基于训练扫描目标对应的原始点云数据生成该训练扫描目标对应的训练完整点云数据，该训练完整点云数据是稀疏但完整的点云数据。进而，对该训练完整点云数据进行体素化处理，得到对应的训练体素结构；并通过对称性检测模型，确定该训练体素结构的训练对称平面；确定训练扫描目标对应的原始点云数据关于该训练对称平面的对称点云数据，作为该训练扫描目标对应的训练对称点云数据。最终，将训练扫描目标对应的原始点云数据、训练完整点云数据以及训练对称点云数据，均添加至训练点云数据集合中。
当然，在实际应用中，上述训练点云数据集合也可以包括训练扫描目标对应的原始点云数据、训练完整点云数据和训练对称点云数据中的任意一种或多种，本申请在此不对该训练点云数据集合中包括的点云数据做任何限定。
训练偏移量预测模型时，服务器可以使用待训练的偏移量预测模型，针对该训练点云数据集合中的各个点分别确定其各自对应的预测偏移量；进而，基于该训练点云数据集合中各个点各自对应的预测偏移量，相应地对该训练点云数据集合中各个点的位置进行矫正，位置矫正后的各个点的位置数据即组成训练矫正点云数据集合。
步骤502：根据所述训练矫正点云数据集合和所述训练扫描目标对应的标准点云数据，构建偏移预测损失函数。
服务器得到训练矫正点云数据集合后，可以根据该训练矫正点云数据集合中各个点的位置数据、和训练扫描目标对应的标准点云数据中各个点的位置数据，构建偏移预测损失函数，该偏移预测损失函数是专用于训练该偏移量预测模型的损失函数。此处的标准点云数据对应的训练扫描目标，与步骤501中提及的原始点云数据对应的训练扫描目标为同一扫描目标；该训练扫描目标对应的标准点云数据是稠密且完整的点云数据，其能够准确地表征该训练扫描目标的完整形状。
可选的，为了便于计算损失函数，服务器也可以先对训练扫描目标对应的标准点云数据进行下采样处理，得到与训练矫正点云数据集合的稠密度相同或相近的标准稀疏点云数据；进而，根据训练矫正点云数据集合和该标准稀疏点云数据，构建偏移预测损失函数。
作为一种示例，服务器可以基于倒角距离构建上述偏移预测损失函数；倒角距离的公式详见上文中的式（2），构建偏移预测损失函数时，公式中的X为训练矫正点云数据集合中点的位置数据，
为标准点云数据中点的位置数据。当然，在实际应用中，服务器也可以采用其它方式构建该偏移预测损失函数，本申请在此不对该偏移预测损失函数的构建方式做任何限定。
步骤503：基于所述偏移预测损失函数，训练所述偏移量预测模型。
服务器根据训练矫正点云数据集合和训练扫描目标对应的标准点云数据构建出偏移预测损失函数后，将以最小化该偏移预测损失函数为目的，调整该偏移量预测模型的模型参数，使得基于该偏移量预测模型预测的偏移量矫正得到的训练矫正点云数据集合更贴近于标准点云数据。
如此，基于多个训练点云数据集合反复执行上述流程，实现对于偏移量预测模型的迭代训练，直至满足训练结束条件为止。示例性的，该训练结束条件可以为迭代训练次数达到预设训练次数阈值，也可以为偏移量预测模型的模型性能达到预设的性能标准等等，本申请在此不对该训练结束条件做任何限定。
本申请实施例提供的偏移量预测模型的训练方法，通过使得基于偏移量预测模型预测的偏移量矫正得到的点云数据集合，更贴近于训练扫描目标对应的标准点云数据，不断地优化该偏移量预测模型的模型性能，使得该偏移量预测模型能够较准确地预测点云数据集合中点的位置偏移。
本申请实施例还提供了一种噪声识别模型的训练方法，该噪声识别模型即是图2所示实施例中用于识别经上采样处理得到的点云数据中的噪声点的模型，下面通过方法实施例对该噪声识别模型的训练方法进行详细介绍。
参见图6，图6为本申请实施例提供的噪声识别模型的训练方法的流程示意图。为了便于描述，下述实施例以该噪声识别模型的训练方法的执行主体为服务器为例进行介绍。如图6所示，该噪声识别模型的训练方法包括以下步骤：
步骤601：对训练点云数据集合进行上采样处理，得到训练上采样点云数据。
服务器训练噪声识别模型之前，可以先获取训练点云数据集合，该训练点云数据集合中可以包括以下至少一种点云数据：训练扫描目标对应的原始点云数据、通过点云补全模型根据训练扫描目标对应的原始点云数据生成的训练完整点云数据、与该训练扫描目标对应的原始点云数据对称的训练对称点云数据。
示例性的，服务器可以通过已经训练好的点云补全模型，基于训练扫描目标对应的原始点云数据生成该训练扫描目标对应的训练完整点云数据，该训练完整点云数据是稀疏但完整的点云数据。进而，对该训练完整点云数据进行体素化处理，得到对应的训练体素结构；并通过对称性检测模型，确定该训练体素结构的训练对称平面；确定训练扫描目标对应的原始点云数据关于该训练对称平面的对称点云数据，作为该训练扫描目标对应的训练对称点云数据。最终，将训练扫描目标对应的原始点云数据、训练完整点云数据以及训练对称点云数据，均添加至训练点云数据集合中。
当然，在实际应用中，上述训练点云数据集合也可以包括训练扫描目标对应的原始点云数据、训练完整点云数据和训练对称点云数据中的任意一种或多种，本申请在此不对该训练点云数据集合中包括的点云数据做任何限定。
进而，服务器可以按照特定的上采样倍数，对训练点云数据集合进行上采样处理，得到相对更稠密的训练上采样点云数据。此处的上采样倍数可以根据实际需求设定，本申请在此不对该上采样倍数做任何限定。
步骤602：通过所述噪声识别模型，确定所述训练上采样点云数据中的各个点各自对应的预测噪声置信度；并丢弃所述训练上采样点云数据中所对应的预测噪声置信度高于所述预设置信度阈值的点，得到训练去噪点云数据。
服务器得到训练上采样点云数据后，可以通过待训练的噪声识别模型，确定该训练上采样点云数据中各个点各自对应的预测噪声置信度，该预测噪声置信度能够表征其对应的点属于噪声点的可能性。进而，丢弃训练上采样点云数据中所对应的预测噪声置信度高于预设置信度阈值的点，得到训练去噪点云数据。
步骤603：基于所述训练上采样点云数据的分辨率，对所述训练扫描目标对应的标准点云数据进行下采样处理，得到标准下采样点云数据。
此外，服务器还可以根据经步骤601得到的训练上采样点云数据的分辨率，对训练扫描目标对应的标准点云数据进行下采样处理，得到与该训练上采样点云数据的分辨率相同或相近的标准下采样点云数据。此处的标准点云数据对应的训练扫描目标，与步骤601中提及的原始点云数据对应的训练扫描目标为同一扫描目标；该训练扫描目标对应的标准点云数据是稠密且完整的点云数据，其能够准确地表征该训练扫描目标的完整形状。
应理解，在实际应用中，服务器可以同时执行步骤602和步骤603，也可以先执行步骤602、后执行步骤603，还可以先执行步骤603、后执行步骤602，本申请在此不对步骤602和步骤603的执行顺序做任何限定。
步骤604：根据所述训练去噪点云数据和所述标准下采样点云数据，构建去噪损失函数。
服务器得到训练去噪点云数据和标准下采样点云数据后，可以根据该训练去噪点云数据中各个点的位置数据、和该标准下采样点云数据中各个点的位置数据，构建去噪损失函数，该去噪损失函数是专用于训练该噪声识别模型的损失函数。
作为一种示例，服务器可以基于倒角距离构建上述去噪损失函数；倒角距离的公式详见上文中的式（2），构建去噪损失函数时，公式中的X为训练去噪点云数据中点的位置数据，
为标准下采样点云数据中点的位置数据。当然，在实际应用中，服务器也可以采用其它方式构建该去噪损失函数，本申请在此不对该去噪损失函数的构建方式做任何限定。
步骤605：基于所述去噪损失函数，训练所述噪声识别模型。
服务器根据训练去噪点云数据和标准下采样点云数据构建出去噪损失函数后，将以最小化该去噪损失函数为目标，调整该噪声识别模型的模型参数，使得基于该噪声识别模型预测的噪声置信度进行去噪处理后得到的点云数据更贴近于标准下采样点云数据。
如此，基于多个训练点云数据集合反复执行上述流程，实现对于噪声识别模型的迭代训练，直至满足训练结束条件为止。示例性的，该训练结束条件可以为迭代训练次数达到预设训练次数阈值，也可以为噪声识别模型的模型性能达到预设的性能标准等等，本申请在此不对该训练结束条件做任何限定。
本申请实施例提供的噪声识别模型的训练方法，通过基于该噪声识别模型预测的噪声置信度进行去噪处理后得到的点云数据更贴近于标准下采样点云数据，不断地优化该噪声识别模型的模型性能，使得该噪声识别模型能够较准确地预测经上采样处理得到的点云数据中存在的噪声点。
为了便于进一步理解本申请实施例提供的技术方案，下面结合图7所示的点云补全方法的实现架构示意图，以及图8所示的点云补全方法的工作原理示意图，对本申请实施例提供的点云补全方法进行整体示例性介绍。
本申请实施例提供的技术方案旨在，从原始扫描得到的稀疏不完整的点云数据补全出稠密完整的点云数据，完整意味着恢复几何细节，稠密意味着补全的点云数据具有高密度。为了实现上述处理任务，本申请将该处理任务分解为两个相对简单的子处理任务，第一个子处理任务是推断出稀疏但完整的点云数据，以恢复扫描对象的整体形状，第二个子处理任务是基于第一个子处理任务得到的稀疏但完整的点云数据推断出稠密完整的点云数据，在此过程中会保留初始输入的稀疏不完整的点云数据。第二个子处理任务的关键是有一个高质量的基础点云数据，也就是先生成一个稀疏但完整的点云数据，这也正是第一个子处理任务需要完成的目标。
更具体的，本申请实施例在第一个子处理任务中，提出了一个基于对比学习策略训练得到的点云补全模型，通过该点云补全模型可以获得高质量的稀疏但完整的点云数据；在训练该点云补全模型的过程中，将训练扫描目标对应的稀疏不完整点云数据（即原始点云数据）视为该训练扫描目标对应的标准点云数据的一种数据变化（augmentation），通过教师学生网络模型使得稀疏不完整点云数据的特征表示趋近于稀疏完整点云数据的特征表示。
本申请实施例在第二个子处理任务中，将通过第一个子处理任务得到的稀疏完整的点云数据稠密化，从而得到稠密完整的点云数据。考虑到初始输入的稀疏不完整的点云数据中包含相对更多的可信赖信息（输入的点云数据中部分点能够较准确地描述被扫描对象外形，这些点相对于经后续补全处理得到的点包含更多可信赖的信息），因此，应将该点云数据投入到稠密化处理过程中。将通过第一个子处理任务得到的稀疏完整的点云数据、初始输入的稀疏不完整的点云数据、以及与该稀疏不完整的点云数据具有对称关系的对称点云数据合并，得到一个保留有输入信息的混合点云数据，进而通过迭代上采样和去噪处理来精细化该混合点云数据，得到稠密完整的补全点云数据。
下面对上述第一个子处理任务中的教师学生网络模型进行详细介绍。
如图8中虚线左侧所示，本申请实施例训练教师学生网络模型时，训练目标在于使得稀疏不完整点云数据P的特征表示
靠近其对应的稀疏完整点云数据S的特征表示
，从而得到高质量的稀疏完整点云数据
。图8中
和
分别是学生网络模型和教师网络模型中的点云编码器，二者具有相同的网络结果但是不同的参数权重，二者分别用于提取稀疏不完整点云数据P的特征表示和稀疏完整点云数据S的特征表示，此处可以使用VV-Net作为
和
的底层架构。两个多层感知机
和
分别用于将
和
投影为
和
。总体的损失函数分别两部分，一部分是几何损失函数，该几何损失函数可以使用动土距离计算，另一部分是教师学生网络模型中的特征对齐损失函数，该特征对齐损失函数可以基于
和
、
和
分别确定，具体可以使用倒角距离计算。
相比于使用编码器网络-解码器网络直接回归稀疏完整点云数据，本申请使用教师学生网络模型，其中学生网络模型是以稀疏不完整点云数据P作为输入的补全网络，教师网络模型是以该稀疏不完整点云数据P对应的稀疏完整点云数据S作为输入的重建网络。学生网络模型在几何损失约束下补全与教师网络模型在几何损失约束下重建同时进行，本申请通过约束学生网络模型的特征表示尽可能地向教师网络模型的特征表示靠近，来使学生网络模型解码补全得到的稀疏完整点云更接近真实的稀疏完整点云数据，即补全得到的稀疏完整点云数据完整且细节准确。
下面对上述第二个子处理任务中的上采样处理和去噪处理进行详细介绍。
为了尽可能地保留输入的点云数据的几何信息，对于通过第一个子处理任务生成的稀疏完整点云数据
，本申请可以先对其进行体素化处理得到体素结构V S ，然后采用对称性检测网络如SymNet检测该体素结构V S 的对称性，得到其对称平面SP；进而，进一步确定输入的点云数据P关于该对称平面SP的对称点云数据P’。进而，将输入的点云数据P、通过第一个子处理任务生成的稀疏完整点云数据
、以及对称点云数据P’合并，得到
。对
中的每个点，可以通过ResNet预测其对应的偏移量，并利用
中各个点各自对应的偏移量，对该
进行细化矫正，得到更精细准确的点云数据
。
进而，可以对点云数据
进行迭代上采样和降噪处理，在得到最终的稠密完整点云数据的同时，能够尽可能地保留细粒度的特征和几何细节。在每次上采样处理的过程中，可以基于恒定的倍数（比如4）将输入的点云数据D i 上采样为D i+1。上采样的过程中不可避免地会引入额外的噪声，因此，本申请可以使用MLP确定D i+1中的各个点各自对应的噪声置信度，该噪声置信度可以为介于0到1之间的分数，其可以表示点被视为噪声的可能性，如果某点被认定为噪声，则可将其丢弃。在推理时，当我们得到最终上采样和降噪之后的稠密完整点云数据D之后，为了尽可能地保留原始输入中更加可信的信息，本申请还可以将稠密完整点云数据D、输入的点云数据P以及对称点云数据P’进行合并，作为最终的补全点云数据。
需要说明的是，本申请实施例提供的点云补全方法可以应用于各种需要基于点云数据进行相关处理的场景，例如，基于点云数据建模相应的扫描对象的场景、基于点云数据分析处理相应的扫描对象的场景，等等。示例性的，本申请实施例提供的点云补全方法可以用于建模游戏中的虚拟物体或者虚拟场景，例如，可以通过点云数据采集设备扫描与游戏中的虚拟物体相对应的真实物体、或者与游戏中的虚拟场景相对应的真实场景，得到目标原始点云数据，然后通过上述本申请实施例提供的点云补全方法，补全扫描采集到的目标原始点云数据，得到目标补全点云数据，进而根据该目标补全点云数据建模游戏中的虚拟物体或者虚拟场景。当然，在实际应用中，本申请实施例提供的点云补全方法还可以应用于交通环境建模、医学图像建模、产品设计等其它场景，在此不对本申请实施例提供的点云补全方法适用的应用场景做任何限定。
本申请发明人利用本申请实施例提供的点云补全方法与目前已有的其它点云补全方法进行对比实验，对飞机、柜子、车、椅子、台灯、沙发、桌子和船这几种扫描对象对应的原始点云数据分别进行点云补全处理，并计算通过各种点云补全方法得到的补全点云数据与这几种扫描对象对应的标准点云数据之间的倒角距离，基于该倒角距离来表征点云数据的补全误差。实验结果如表1所示：
表1
表1中粗体表示效果最优的，下划线表示效果次优的；基于表1可以发现本申请实施例提供的方法效果明显优于其它方法。
针对上文描述的点云补全方法，本申请还提供了对应的点云补全装置，以使上述点云补全方法在实际中得以应用和实现。
参见图9，图9是上文图2所示的点云补全方法对应的点云补全装置900的结构示意图。如图9所示，该点云补全装置900包括：
原始数据获取模块901，用于获取待补全的目标原始点云数据；
第一补全模块902，用于通过点云补全模型，根据所述目标原始点云数据生成目标完整点云数据；所述点云补全模型是教师学生网络模型中的学生网络模型，所述教师学生网络模型是采用训练扫描目标对应的原始点云数据和标准点云数据训练得到的；
第二补全模块903，用于对目标点云数据集合进行稠密化处理，得到目标补全点云数据；所述目标点云数据集合包括所述目标完整点云数据。
可选的，在图9所示的点云补全装置的基础上，参见图10，图10为本申请实施例提供的另一种点云补全装置1000的结构示意图。如图10所示，该装置还包括：第一模型训练模块1001；该第一模型训练模块1001包括：
学生网络处理单元1002，用于通过所述教师学生网络模型中的学生网络模型，对所述训练扫描目标对应的原始点云数据进行点云补全处理，得到第一训练完整点云数据；
教师网络处理单元1003，用于通过所述教师学生网络模型中的教师网络模型，对所述训练扫描目标对应的标准稀疏点云数据进行重建处理，得到第二训练完整点云数据；所述训练扫描目标对应的标准稀疏点云数据是对所述训练扫描目标对应的标准点云数据进行下采样处理得到的；
损失函数构建单元1004，用于根据所述第一训练完整点云数据和训练参考点云数据，构建几何损失函数；所述训练参考点云数据包括所述标准稀疏点云数据和所述第二训练完整点云数据中的任一种；
模型参数调整单元1005，用于基于所述几何损失函数，训练所述教师学生网络模型。
可选的，在图10所示的点云补全装置的基础上，所述学生网络处理单元1002具体用于：
通过所述学生网络模型中的编码器网络，对所述原始点云数据进行编码处理，得到第一编码特征向量；通过所述学生网络模型中的解码器网络，对所述第一编码特征向量进行解码处理，得到所述第一训练完整点云数据；
所述教师网络处理单元1003具体用于：
通过所述教师网络模型中的编码器网络，对所述标准稀疏点云数据进行编码处理，得到第二编码特征向量；通过所述教师网络模型中的解码器网络，对所述第二编码特征向量进行解码处理，得到所述第二训练完整点云数据。
可选的，在图10所示的点云补全装置的基础上，所述损失函数构建单元1004还用于：
通过第一多层感知机，将所述第一编码特征向量映射为第三编码特征向量；通过第二多层感知机，将所述第二编码特征向量映射为第四编码特征向量；
利用所述第一编码特征向量和所述第二编码特征向量，构建第一特征对齐损失函数；利用所述第三编码特征向量和所述第四编码特征向量，构建第二特征对齐损失函数；
所述模型参数调整单元1005还用于：
基于所述第一特征对齐损失函数和所述第二特征对齐损失函数，训练所述教师学生网络模型。
可选的，在图9所示的点云补全装置的基础上，参见图11，图11为本申请实施例提供的另一种点云补全装置1100的结构示意图。如图11所示，该装置还包括：集合构建模块1101，该集合构建模块1101用于：
对所述目标完整点云数据进行体素化处理，得到目标体素结构；
通过对称性检测网络，确定所述目标体素结构的目标对称平面；
基于所述目标对称平面，确定与所述目标原始点云数据对称的目标对称点云数据；
基于所述目标完整点云数据、所述目标原始点云数据以及所述目标对称点云数据，构建所述目标点云数据集合。
可选的，在图9或图11所示的点云补全装置的基础上，参见图12，图12为本申请实施例提供的另一种点云补全装置1200的结构示意图。如图12所示，该装置还包括：数据矫正模块1201，该数据矫正模块1201用于：
通过偏移量预测模型，针对所述目标点云数据集合中的各个点分别确定其各自对应的偏移量；基于所述目标点云数据集合中各个点各自对应的偏移量，矫正所述目标点云数据集合；
则所述第二补全模块903具体用于：
对矫正后的所述目标点云数据集合进行稠密化处理，得到所述目标补全点云数据。
可选的，在图12所示的点云补全装置的基础上，参见图13，图13为本申请实施例提供的另一种点云补全装置1300的结构示意图。如图13所示，该装置还包括：第二模型训练模块1301，该第二模型训练模块1301用于：
通过所述偏移量预测模型，针对训练点云数据集合中的各个点分别确定其各自对应的预测偏移量，基于所述训练点云数据集合中各个点各自对应的预测偏移量，矫正所述训练点云数据集合得到训练矫正点云数据集合；所述训练点云数据集合包括以下至少一种点云数据：所述训练扫描目标对应的原始点云数据、通过所述点云补全模型根据所述训练扫描目标对应的原始点云数据生成的训练完整点云数据、与所述训练扫描目标对应的原始点云数据对称的训练对称点云数据；
根据所述训练矫正点云数据集合和所述训练扫描目标对应的标准点云数据，构建偏移预测损失函数；
基于所述偏移预测损失函数，训练所述偏移量预测模型。
可选的，在图9或图11所示的点云补全装置的基础上，所述第二补全模块903具体用于：
按照预设上采样倍数对所述目标点云数据集合进行迭代上采样处理，当满足迭代结束条件时，获得所述目标补全点云数据；所述迭代结束条件包括以下至少一种：上采样处理的次数达到预设次数阈值、经上采样处理得到的点云数据的密度达到预设密度阈值。
可选的，在图9或图11所示的点云补全装置的基础上，参见图14，图14为本申请实施例提供的另一种点云补全装置1400的结构示意图。如图14所示，该装置还包括：去噪模块1401，该去噪模块1401用于：
每完成一次上采样处理，通过噪声识别模型，确定经所述上采样处理得到点云数据中的各个点各自对应的噪声置信度；
丢弃所对应的噪声置信度高于预设置信度阈值的点。
可选的，在图14所示的点云补全装置的基础上，参见图15，图15为本申请实施例提供的另一种点云补全装置1500的结构示意图。如图15所示，该装置还包括：第三模型训练模块1501，该第三模型训练模块1501用于：
对训练点云数据集合进行上采样处理，得到训练上采样点云数据；所述训练点云数据集合包括以下至少一种点云数据：所述训练扫描目标对应的原始点云数据、通过所述点云补全模型根据所述训练扫描目标对应的原始点云数据生成的训练完整点云数据、与所述训练扫描目标对应的原始点云数据对称的训练对称点云数据；
通过所述噪声识别模型，确定所述训练上采样点云数据中的各个点各自对应的预测噪声置信度；并丢弃所述训练上采样点云数据中所对应的预测噪声置信度高于所述预设置信度阈值的点，得到训练去噪点云数据；
基于所述训练上采样点云数据的分辨率，对所述训练扫描目标对应的标准点云数据进行下采样处理，得到标准下采样点云数据；
根据所述训练去噪点云数据和所述标准下采样点云数据，构建去噪损失函数；
基于所述去噪损失函数，训练所述噪声识别模型。
本申请实施例提供的点云补全装置，将基于原始点云数据恢复出完整且稠密的补全点云数据的复杂处理任务，拆分为两个相对简单的子处理任务，第一个子处理任务是基于原始点云数据恢复稀疏但完整的点云数据，第二个子处理任务是基于通过第一个子处理任务恢复出的点云数据恢复完整且稠密的补全点云数据；由于两个子处理任务的实现难度相对较低，且两个子处理任务各自的处理效果更易优化，因此，可以通过优化两个子处理任务的处理效果来提升点云补全的整体实现效果，有利于恢复出高质量的稠密且完整的补全点云数据。此外，执行上述第一个子处理任务时，使用基于对比学习策略训练得到的教师学生网络模型中的学生网络模型，基于原始点云数据恢复稀疏完整点云数据，能够保证所恢复出的稀疏完整点云数据具有更高质量，即能够更好地表征几何细节。其原因在于，基于对比学习策略训练教师学生网络模型时，通过引导学生网络模型对于训练扫描目标对应的原始点云数据的处理结果，趋近于教师学生网络模型对于该训练扫描目标对应的标准点云数据的处理结果，更有助于提高学生网络模型的点云补全性能，使其基于原始点云数据生成的点云数据更为完整、更具几何细节。
本申请实施例还提供了一种用于补全点云数据的设备，该设备具体可以是终端设备或者服务器，下面将从硬件实体化的角度对本申请实施例提供的终端设备和服务器进行介绍。
参见图16，图16是本申请实施例提供的终端设备的结构示意图。如图16所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理（英文全称：PersonalDigital Assistant，英文缩写：PDA）、销售终端（英文全称：Point of Sales，英文缩写：POS）、车载电脑等任意终端设备，以终端为计算机为例：
图16示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图16，计算机包括：射频（英文全称：Radio Frequency，英文缩写：RF）电路1610、存储器1620、输入单元1630（其中包括触控面板1631和其他输入设备1632）、显示单元1640（其中包括显示面板1641）、传感器1650、音频电路1660（其可以连接扬声器1661和传声器1662）、无线保真（英文全称：wireless fidelity，英文缩写：WiFi）模块1670、处理器1680、以及电源1690等部件。本领域技术人员可以理解，图16中示出的计算机结构并不构成对计算机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储器1620可用于存储软件程序以及模块，处理器1680通过运行存储在存储器1620的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器1620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1680是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器1620内的软件程序和/或模块，以及调用存储在存储器1620内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器1680可包括一个或多个处理单元；优选的，处理器1680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1680中。
在本申请实施例中，该终端所包括的处理器1680还具有以下功能：
获取待补全的目标原始点云数据；
通过点云补全模型，根据所述目标原始点云数据生成目标完整点云数据；所述点云补全模型是教师学生网络模型中的学生网络模型，所述教师学生网络模型是采用训练扫描目标对应的原始点云数据和标准点云数据训练得到的；
对目标点云数据集合进行稠密化处理，得到目标补全点云数据；所述目标点云数据集合包括所述目标完整点云数据。
可选的，所述处理器1680还用于执行本申请实施例提供的点云补全方法的任意一种实现方式的步骤。
参见图17，图17为本申请实施例提供的一种服务器1700的结构示意图。该服务器1700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（central processing units，CPU）1722（例如，一个或一个以上处理器）和存储器1732，一个或一个以上存储应用程序1742或数据1744的存储介质1730（例如一个或一个以上海量存储设备）。其中，存储器1732和存储介质1730可以是短暂存储或持久存储。存储在存储介质1730的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1722可以设置为与存储介质1730通信，在服务器1700上执行存储介质1730中的一系列指令操作。
服务器1700还可以包括一个或一个以上电源1726，一个或一个以上有线或无线网络接口1750，一个或一个以上输入输出接口1758，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图17所示的服务器结构。
其中，CPU 1722用于执行如下步骤：
获取待补全的目标原始点云数据；
通过点云补全模型，根据所述目标原始点云数据生成目标完整点云数据；所述点云补全模型是教师学生网络模型中的学生网络模型，所述教师学生网络模型是采用训练扫描目标对应的原始点云数据和标准点云数据训练得到的；
对目标点云数据集合进行稠密化处理，得到目标补全点云数据；所述目标点云数据集合包括所述目标完整点云数据。
可选的，CPU 1722还可以用于执行本申请实施例提供的点云补全方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的一种点云补全方法中的任意一种实施方式。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述各个实施例所述的一种点云补全方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储计算机程序的介质。
应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种点云补全方法，其特征在于，所述方法包括：
获取待补全的目标原始点云数据；
通过点云补全模型，根据所述目标原始点云数据生成目标完整点云数据；所述点云补全模型是教师学生网络模型中的学生网络模型，所述教师学生网络模型是采用训练扫描目标对应的原始点云数据和标准点云数据训练的；
对目标点云数据集合进行稠密化处理，得到目标补全点云数据；所述目标点云数据集合包括所述目标完整点云数据；
在所述对目标点云数据集合进行稠密化处理，得到目标补全点云数据之前，所述方法还包括：通过偏移量预测模型，针对所述目标点云数据集合中的各个点分别确定其各自对应的偏移量；基于所述目标点云数据集合中各个点各自对应的偏移量，矫正所述目标点云数据集合；
则所述对目标点云数据集合进行稠密化处理，得到目标补全点云数据，包括：对矫正后的所述目标点云数据集合进行稠密化处理，得到所述目标补全点云数据。
2.根据权利要求1所述的方法，其特征在于，通过以下方式训练所述教师学生网络模型：
通过所述教师学生网络模型中的学生网络模型，对所述训练扫描目标对应的原始点云数据进行点云补全处理，得到第一训练完整点云数据；
通过所述教师学生网络模型中的教师网络模型，对所述训练扫描目标对应的标准稀疏点云数据进行重建处理，得到第二训练完整点云数据；所述训练扫描目标对应的标准稀疏点云数据是对所述训练扫描目标对应的标准点云数据进行下采样处理得到的；
根据所述第一训练完整点云数据和训练参考点云数据，构建几何损失函数；所述训练参考点云数据包括所述标准稀疏点云数据和所述第二训练完整点云数据中的任一种；
基于所述几何损失函数，训练所述教师学生网络模型。
3.根据权利要求2所述的方法，其特征在于，所述通过所述教师学生网络模型中的学生网络模型，对所述训练扫描目标对应的原始点云数据进行点云补全处理，得到第一训练完整点云数据，包括：
通过所述学生网络模型中的编码器网络，对所述原始点云数据进行编码处理，得到第一编码特征向量；通过所述学生网络模型中的解码器网络，对所述第一编码特征向量进行解码处理，得到所述第一训练完整点云数据；
所述通过所述教师学生网络模型中的教师网络模型，对所述训练扫描目标对应的标准稀疏点云数据进行重建处理，得到第二训练完整点云数据，包括：
通过所述教师网络模型中的编码器网络，对所述标准稀疏点云数据进行编码处理，得到第二编码特征向量；通过所述教师网络模型中的解码器网络，对所述第二编码特征向量进行解码处理，得到所述第二训练完整点云数据。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
通过第一多层感知机，将所述第一编码特征向量映射为第三编码特征向量；通过第二多层感知机，将所述第二编码特征向量映射为第四编码特征向量；
利用所述第一编码特征向量和所述第二编码特征向量，构建第一特征对齐损失函数；利用所述第三编码特征向量和所述第四编码特征向量，构建第二特征对齐损失函数；
基于所述第一特征对齐损失函数和所述第二特征对齐损失函数，训练所述教师学生网络模型。
5.根据权利要求1所述的方法，其特征在于，通过以下方式构建所述目标点云数据集合：
对所述目标完整点云数据进行体素化处理，得到目标体素结构；
通过对称性检测网络，确定所述目标体素结构的目标对称平面；
基于所述目标对称平面，确定与所述目标原始点云数据对称的目标对称点云数据；
基于所述目标完整点云数据、所述目标原始点云数据以及所述目标对称点云数据，构建所述目标点云数据集合。
6.根据权利要求5所述的方法，其特征在于，通过以下方式训练所述偏移量预测模型：
通过所述偏移量预测模型，针对训练点云数据集合中的各个点分别确定其各自对应的预测偏移量，基于所述训练点云数据集合中各个点各自对应的预测偏移量，矫正所述训练点云数据集合得到训练矫正点云数据集合；所述训练点云数据集合包括以下至少一种点云数据：所述训练扫描目标对应的原始点云数据、通过所述点云补全模型根据所述训练扫描目标对应的原始点云数据生成的训练完整点云数据、与所述训练扫描目标对应的原始点云数据对称的训练对称点云数据；
根据所述训练矫正点云数据集合和所述训练扫描目标对应的标准点云数据，构建偏移预测损失函数；
基于所述偏移预测损失函数，训练所述偏移量预测模型。
7.根据权利要求1所述的方法，其特征在于，所述对目标点云数据集合进行稠密化处理，得到目标补全点云数据，包括：
按照预设上采样倍数对所述目标点云数据集合进行迭代上采样处理，当满足迭代结束条件时，获得所述目标补全点云数据；所述迭代结束条件包括以下至少一种：上采样处理的次数达到预设次数阈值、经上采样处理得到的点云数据的密度达到预设密度阈值。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
每完成一次上采样处理，通过噪声识别模型，确定经所述上采样处理得到点云数据中的各个点各自对应的噪声置信度；
丢弃所对应的噪声置信度高于预设置信度阈值的点。
9.根据权利要求8所述的方法，其特征在于，通过以下方式训练所述噪声识别模型：
对训练点云数据集合进行上采样处理，得到训练上采样点云数据；所述训练点云数据集合包括以下至少一种点云数据：所述训练扫描目标对应的原始点云数据、通过所述点云补全模型根据所述训练扫描目标对应的原始点云数据生成的训练完整点云数据、与所述训练扫描目标对应的原始点云数据对称的训练对称点云数据；
通过所述噪声识别模型，确定所述训练上采样点云数据中的各个点各自对应的预测噪声置信度；并丢弃所述训练上采样点云数据中所对应的预测噪声置信度高于所述预设置信度阈值的点，得到训练去噪点云数据；
基于所述训练上采样点云数据的分辨率，对所述训练扫描目标对应的标准点云数据进行下采样处理，得到标准下采样点云数据；
根据所述训练去噪点云数据和所述标准下采样点云数据，构建去噪损失函数；
基于所述去噪损失函数，训练所述噪声识别模型。
10.一种点云补全装置，其特征在于，所述装置包括：
原始数据获取模块，用于获取待补全的目标原始点云数据；
第一补全模块，用于通过点云补全模型，根据所述目标原始点云数据生成目标完整点云数据；所述点云补全模型是教师学生网络模型中的学生网络模型，所述教师学生网络模型是采用训练扫描目标对应的原始点云数据和标准点云数据训练的；
第二补全模块，用于对目标点云数据集合进行稠密化处理，得到目标补全点云数据；所述目标点云数据集合包括所述目标完整点云数据；
所述装置还包括：数据矫正模块，用于通过偏移量预测模型，针对所述目标点云数据集合中的各个点分别确定其各自对应的偏移量；基于所述目标点云数据集合中各个点各自对应的偏移量，矫正所述目标点云数据集合；
则所述第二补全模块，具体用于对矫正后的所述目标点云数据集合进行稠密化处理，得到所述目标补全点云数据。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：第一模型训练模块；所述第一模型训练模块包括：
学生网络处理单元，用于通过所述教师学生网络模型中的学生网络模型，对所述训练扫描目标对应的原始点云数据进行点云补全处理，得到第一训练完整点云数据；
教师网络处理单元，用于通过所述教师学生网络模型中的教师网络模型，对所述训练扫描目标对应的标准稀疏点云数据进行重建处理，得到第二训练完整点云数据；所述训练扫描目标对应的标准稀疏点云数据是对所述训练扫描目标对应的标准点云数据进行下采样处理得到的；
损失函数构建单元，用于根据所述第一训练完整点云数据和训练参考点云数据，构建几何损失函数；所述训练参考点云数据包括所述标准稀疏点云数据和所述第二训练完整点云数据中的任一种；
模型参数调整单元，用于基于所述几何损失函数，训练所述教师学生网络模型。
12.根据权利要求11所述的装置，其特征在于，所述学生网络处理单元具体用于：
通过所述学生网络模型中的编码器网络，对所述原始点云数据进行编码处理，得到第一编码特征向量；通过所述学生网络模型中的解码器网络，对所述第一编码特征向量进行解码处理，得到所述第一训练完整点云数据；
所述教师网络处理单元具体用于：
通过所述教师网络模型中的编码器网络，对所述标准稀疏点云数据进行编码处理，得到第二编码特征向量；通过所述教师网络模型中的解码器网络，对所述第二编码特征向量进行解码处理，得到所述第二训练完整点云数据。
13.一种点云补全设备，其特征在于，所述设备包括处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行权利要求1至9中任一项所述的点云补全方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至9中任一项所述的点云补全方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110388568.5A CN112767554B (zh) | 2021-04-12 | 2021-04-12 | 一种点云补全方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110388568.5A CN112767554B (zh) | 2021-04-12 | 2021-04-12 | 一种点云补全方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767554A CN112767554A (zh) | 2021-05-07 |
| CN112767554B true CN112767554B (zh) | 2021-07-16 |
Family
ID=75691432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110388568.5A Active CN112767554B (zh) | 2021-04-12 | 2021-04-12 | 一种点云补全方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767554B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205466B (zh) * | 2021-05-10 | 2024-04-02 | 南京航空航天大学 | 一种基于隐空间拓扑结构约束的残缺点云补全方法 |
| CN113850012B (zh) * | 2021-06-11 | 2024-05-07 | 腾讯科技（深圳）有限公司 | 数据处理模型生成方法、装置、介质及电子设备 |
| CN113592932A (zh) * | 2021-06-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 深度补全网络的训练方法、装置、电子设备及存储介质 |
| US11587291B2 (en) * | 2021-06-30 | 2023-02-21 | Tencent America LLC | Systems and methods of contrastive point completion with fine-to-coarse refinement |
| CN113628140B (zh) * | 2021-08-12 | 2023-08-08 | 浙江大学 | 一种基于深度学习的点云稠密补全方法 |
| CN113707213B (zh) * | 2021-09-08 | 2024-03-08 | 上海交通大学 | 基于对比图神经网络的蛋白质结构快速分类方法 |
| CN113837053B (zh) * | 2021-09-18 | 2024-03-15 | 福建库克智能科技有限公司 | 生物面部对齐模型训练方法、生物面部对齐方法和装置 |
| WO2023044605A1 (zh) * | 2021-09-22 | 2023-03-30 | 深圳先进技术研究院 | 极端环境下脑结构的三维重建方法、装置及可读存储介质 |
| CN116229210B (zh) * | 2023-02-23 | 2023-10-24 | 南通探维光电科技有限公司 | 目标检测模型训练方法、装置、设备和介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106033620B (zh) * | 2015-03-13 | 2018-10-19 | 腾讯科技（深圳）有限公司 | 一种点云模型修复方法、装置及计算设备 |
| CN109613557B (zh) * | 2018-11-28 | 2022-04-29 | 南京莱斯信息技术股份有限公司 | 一种补全激光雷达三维点云目标的系统及方法 |
| CN111462197B (zh) * | 2020-03-06 | 2023-05-26 | 深圳大学 | 外观模型获取方法、装置、计算机设备和存储介质 |
| CN111444811B (zh) * | 2020-03-23 | 2023-04-28 | 复旦大学 | 一种三维点云目标检测的方法 |
-
2021
- 2021-04-12 CN CN202110388568.5A patent/CN112767554B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767554A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767554B (zh) | 一种点云补全方法、装置、设备及存储介质 | |
| Zhao et al. | Learning to forecast and refine residual motion for image-to-video generation | |
| US10593021B1 (en) | Motion deblurring using neural network architectures | |
| Wang et al. | Hf-neus: Improved surface reconstruction using high-frequency details | |
| CN111047548B (zh) | 姿态变换数据处理方法、装置、计算机设备和存储介质 | |
| CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| CN112200165A (zh) | 模型训练方法、人体姿态估计方法、装置、设备及介质 | |
| WO2024114321A1 (zh) | 图像数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品 | |
| CN114239717A (zh) | 模型训练方法、图像处理方法及装置、电子设备、介质 | |
| CN111462274A (zh) | 一种基于smpl模型的人体图像合成方法及系统 | |
| CN113989283B (zh) | 3d人体姿态估计方法、装置、电子设备与存储介质 | |
| CN115984339A (zh) | 基于几何特征精炼与对抗生成网络的双管道点云补全方法 | |
| Yao et al. | Vision-based environment perception and autonomous obstacle avoidance for unmanned underwater vehicle | |
| Wang et al. | Swimmer’s posture recognition and correction method based on embedded depth image skeleton tracking | |
| CN116758212A (zh) | 基于自适应去噪算法的3d重建方法、装置、设备及介质 | |
| CN116030077A (zh) | 基于多数据集协作学习的视频显著性区域检测方法 | |
| CN113822117B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN113705317B (zh) | 图像处理模型训练方法、图像处理方法及相关设备 | |
| Liu et al. | Deep learning for 3D human pose estimation and mesh recovery: A survey | |
| CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN116704588B (zh) | 面部图像的替换方法、装置、设备及存储介质 | |
| CN117392180B (zh) | 基于自监督光流学习的交互式视频人物跟踪方法及系统 | |
| Wu et al. | Capturing implicit spatial cues for monocular 3D hand reconstruction | |
| CN117011650B (zh) | 一种图像编码器的确定方法及相关装置 | |
| CN117974693A (zh) | 图像分割方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40043922 Country of ref document: HK |