CN114066960A - 三维重建方法、点云融合方法、装置、设备及存储介质 - Google Patents

三维重建方法、点云融合方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114066960A
CN114066960A CN202210036903.XA CN202210036903A CN114066960A CN 114066960 A CN114066960 A CN 114066960A CN 202210036903 A CN202210036903 A CN 202210036903A CN 114066960 A CN114066960 A CN 114066960A
Authority
CN
China
Prior art keywords
point cloud
information
fusion
cloud information
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210036903.XA
Other languages
English (en)
Other versions
CN114066960B (zh
Inventor
张晟东
王济宇
焦家辉
张立华
邓涛
李志建
古家威
蔡维嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202210036903.XA priority Critical patent/CN114066960B/zh
Publication of CN114066960A publication Critical patent/CN114066960A/zh
Application granted granted Critical
Publication of CN114066960B publication Critical patent/CN114066960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及数据融合技术领域，具体公开了一种三维重建方法、点云融合方法、装置、设备及存储介质，其中，融合方法包括以下步骤：获取第一点云信息和点云序列信息；根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息；根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；基于反向传播算法利用梯度下降的方式更新融合参数，直至对比损失函数收敛，以确定最佳融合参数；根据最佳融合参数融合第一点云信息和点云序列信息，以获取融合点云信息；该融合方法的融合过程无需对点云信息进行预先标注，实现了无人机采集数据和无人车采集数据融合，简化了点云融合过程，提高了点云融合效率、融合精度。

Description

三维重建方法、点云融合方法、装置、设备及存储介质
技术领域
本申请涉及数据融合技术领域，具体而言，涉及一种三维重建方法、点云融合方法、装置、设备及存储介质。
背景技术
三维重建是计算机视觉和计算机图形学领域的研究热点，旨在将给定的基于现实的数据恢复为几何模型。
三维重建技术的一个重点在于如何获取目标场景或物体的深度信息。在景物深度信息已知的条件下，经过点云数据的配准及融合，即可实现景物的三维重建。
21世纪随着各种面向普通消费者的深度相机的出现，基于深度数据的三维扫描和重建技术得到了飞速发展。
三维重建可以基于多种方式采集的点云数据融合进行，现有的点云融合方式对于无人车采集的点云数据和无人机采集的点云数据进行融合时需要对点云信息进行预先标注，存在融合效率低、精度低的问题。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种三维重建方法、点云融合方法、装置、设备及存储介质，以实现了无人机采集数据和无人车采集数据融合，加快点云融合过程，提高点云融合效率、精度以提高三维重建的效率、精度。
第一方面，本申请提供了一种点云融合方法，用于融合无人机采集的第一点云信息与无人车采集的点云序列信息，所述融合方法包括以下步骤：
获取所述第一点云信息和所述点云序列信息；
根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息；
根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；
基于反向传播算法利用梯度下降的方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数；
根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息，以获取融合点云信息。
本申请的一种点云融合方法，根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息，然后根据对抗自监督学习算法设计对比损失函数，并基于反向传播算法利用梯度下降的方式获取第一点云信息与点云序列信息的最佳融合结果，从而简化了点云融合过程，提高了点云融合效率、融合精度。
所述的一种点云融合方法，其中，所述融合参数包括卷积参数、自注意力参数和输出融合参数，所述根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息的步骤包括：
将所述点云序列信息编码并输出为一致维数的并包含所述卷积参数的卷积点云信息；
根据所述自注意力机制将所述卷积点云信息初步融合，输出包含所述自注意力参数的初步融合点云信息；
根据所述自注意力机制将所述初步融合点云信息进一步融合，输出包含所述输出融合参数的所述第二点云信息。
该示例的融合方法利用自注意力机制将点云序列信息转换成包含卷积参数、自注意力参数和输出融合参数的第二点云信息，使得点云融合重建中能通过调节卷积参数、自注意力参数和输出融合参数改变第一点云信息与第二点云信息的配准效果，降低了第二点云信息的转换难度和点云融合的融合难度；另外，点云序列信息自身具备序列特点，作为自注意力机制中具有序列化特性的输入项能实现时间复杂度的快速计算，提高整个点云融合过程的效率。
所述的一种点云融合方法，其中，所述根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数的步骤包括：
根据卷积特征提取函数及全连接网络降采样函数获取所述第一点云信息的第一特征输入信息和所述第二点云信息的第二特征输入信息；
根据对抗自监督学习算法设计关于所述第一特征输入信息和所述第二特征输入信息的对比损失函数。
在该示例的融合方法中，基于对抗自监督学习算法设计的对比损失函数其最终用于指导第一点云信息和第二点云信息两者之间相似的部分尽量融合、不相似部分尽量远离，因此，该对比损失函数包含第一特征输入信息和第二特征输入信息构成的相似项，以及第一特征输入信息和第二特征输入信息构成的不相似项。
所述的一种点云融合方法，其中，所述基于反向传播算法利用梯度下降方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数的步骤包括：
设计关于所述融合参数的梯度下降函数，所述梯度下降函数输出值为所述对比损失函数的输入值；
基于所述反向传播算法更新所述梯度下降函数，直至所述对比损失函数收敛；
将所述对比损失函数收敛时的所述融合参数确定为所述最佳融合参数。
该示例的融合方法利用特征提取的方式根据第一点云信息和第二点云信息获取可用于神经网络学习的第一特征输入信息和第二特征输入信息，以根据第一特征输入信息和第二特征输入信息设计对比损失函数以进行对抗损失操作，使得对比损失函数快速收敛以获取用于将第一点云信息和点云序列信息进行融合的最佳融合参数，能有效提高点云融合的效率、精度。
第二方面，本申请还提供了一种三维重建方法，用于根据多种点云信息对大型场景进行三维重建，所述重建方法包括以下步骤：
通过无人机获取第一点云信息；
通过无人车及RTK地面站获取点云序列信息；
根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息；
根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；
基于反向传播算法利用梯度下降的方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数；
根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息，以获取融合点云信息；
获取所述第一点云信息的点云法线；
根据所述点云法线和所述融合点云信息获取融合模型。
本申请的一种三维重建方法，根据自注意力机制和对抗自监督学习算法获取最佳融合参数，将无人车采集的点云序列信息转换为第二点云信息，并与无人机采集的第一点云信息进行融合，结合的点云法线计算即可获取融合模型；点云序列信息和第一点云信息的融合过程无需预先确定label，利用对比损失函数更新融合参数即能使相似部分尽可能融合，实现了无人机采集数据和无人车采集数据融合，简化了点云融合过程，提高了三维重建效率、三维重建精度。
所述的一种三维重建方法，其中，所述重建方法还包括以下步骤：
获取所述大型场景的设计模型，根据所述设计模型优化所述融合模型。
该示例的三维重建方法利用设计模型优化融合模型，使得融合模型整体更完整、结构更准确。
所述的一种三维重建方法，其中，所述获取所述第一点云信息的点云法线的步骤包括：
对所述第一点云信息进行序列编程以建立关于所述第一点云信息的序列信息；
对所述第一点云信息进行凸包计算以获取关于第一点云信息的三维凸包模型；
根据所述序列信息和所述三维凸包模型获取所述点云法线。
第三方面，本申请还提供了一种点云融合装置，用于融合无人机采集的第一点云信息与无人车采集的点云序列信息，所述融合装置包括：
获取模块，用于获取所述第一点云信息和所述点云序列信息；
转换模块，用于根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息；
损失函数模块，用于根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；
更新模块，用于基于反向传播算法利用梯度下降的方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数；
融合模块，用于根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息，以获取融合点云信息。
本申请的一种点云融合装置，利用转换模块根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息，然后利用损失函数模块根据对抗自监督学习算法设计对比损失函数，并基于反向传播算法利用梯度下降的方式获取第一点云信息与点云序列信息的最佳融合结果，实现了无人机采集数据和无人车采集数据融合，简化了点云融合过程，提高了点云融合效率、融合精度。
第四方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第五方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请提供了三维重建方法、点云融合方法、装置、设备及存储介质，其中融合方法根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息，然后根据对抗自监督学习算法设计对比损失函数，并基于反向传播算法利用梯度下降的方式获取第一点云信息与点云序列信息的最佳融合结果，该融合过程无需对点云信息进行预先标注，利用对比损失函数更新融合参数即能使相似部分尽可能融合，实现了无人机采集数据和无人车采集数据融合，简化了点云融合过程，提高了点云融合效率、融合精度。
附图说明
图1为本申请实施例提供的一种点云融合方法的流程图。
图2为本申请实施例提供的一种三维重建方法的流程图。
图3为本申请实施例提供的一种点云融合装置的结构示意图。
图4为本申请实施例提供的电子设备的结构示意图。
附图标记：101、获取模块；102、转换模块；103、损失函数模块；104、更新模块；105、融合模块；3、电子设备；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
现今的三维重建按照深度图的获取方式可以分为被动式测量技术与主动式测量技术。
被动式测量技术是指使用RGB相机获取二维图像，通过特定算法得到物体的立体空间信息。被动式测量技术主要有以下三种方法：纹理恢复形状法、阴影恢复形状法和立体视觉法。其中纹理恢复形状法根据图像中各个物体表面的纹理信息确定表面方向，从而恢复出三维表面；阴影恢复形状法根据图像中包含轮廓特征信息的阴影边界，以及不同光照条件下的图像的明暗程度来计算物体表面的深度信息；立体视觉法基于视差原理根据不同视点上的两幅或多幅图像对应点之间的位置偏差恢复出三维信息。其中立体视觉法，在实际应用中优于其他两种方法，也逐渐出现在一部分商业化产品上。前两种方法需要的设备是单个RGB相机，第三种方法需要的设备是双目RGB相机或多目RGB相机。
主动式测量技术是指利用如激光、电磁波等能量源发射至目标物体表面，通过接收返回的光波来获取物体的深度信息。主动测距主要采用时差法和结构光法。时差法(Timeof Flight，ToF)指的是向物体表面发射光束，当传播到物体表面时被反射回来，传感器通过测量发射信号与接收信号的时间间隔来获得距离的方法。较于被动式立体视觉法而言，ToF具有不受基线长度限制、成像快等特点，但是ToF相机的分辨率非常低，并且时差相机的造价高，受众较少。结构光法通过向表面光滑无特征的物体投射可编码的光束生成特征点，然后根据投射光的几何模型，通过三角测量原理计算摄像机光心与特征点之间的距离，由此生成深度信息实现模型重建。因为实现简单且精度较高，所以成为目前应用广泛的基础的硬件设备。使用主动测量技术获取深度信息，需要的硬件设施为能够发射光波的深度传感器比如：红外传感器，激光雷达等。
对于被动式三维重建技术来说，不管是基于多目相机的立体视觉法还是实性极强的单目三维重建方法对于阴影以及遮挡的处理往往不尽如人意，且这一类方法往往很难用于实现大型建筑甚至园区的三维重建；对于主动式三维重建技术，当前主流的方法往往需要多机位的点云融合，但这样的方式会大大增加计算成本，这也使得对于大型建筑或园区的三维重建变得十分繁琐。
另外，三维重建的模型的优劣也与点云数据来源有关，如采集的点云数据均属于同一类设备采集的数据，则重建模型的建模效果也会存在明显的偏向性，如采用无人车采集的点云数据进行重建时，重建模型的高度信息会较为精确，但无人车采集数据存在区域小，且对于一些遮蔽结构也难以准确测取点云数据；如采用无人机采集的点云数据进行重建时，重建模型的向下高度信息较为欠缺，但能从多角度准确获取建筑物外形数据；因此，采用多数点云数据融合的方式进行三维重建能获取更精确的重建模型，而现有技术对于无人机采集点云和无人车采集点云的融合方法需要对点云信息进行预先标注，存在融合效率低、精度低的问题。
第一方面，请参照图1，图1是本申请一些实施例中的一种点云融合方法，用于融合无人机采集的第一点云信息与无人车采集的点云序列信息，融合方法包括以下步骤：
S101、获取第一点云信息和点云序列信息；
具体地，第一点云信息为根据无人机遥感采集的影像数据和位置数据分析获取，本申请实施例的方法能采用现有的分析方法对无人机遥感采集的数据进行分析以获取密集匹配的点云作为第一点云信息，第一点云信息属于生成点云，第一点云信息为基于影像数据分析直接生成的点云数据。
更具体地，点云序列信息为根据无人车车载设备及与之配合使用的地面站设备采集的关于无人车行驶轨迹位姿信息的区域点云序列数据，属于扫描点云，为通过移动探测获取的具有序列特性的点云数据。
S102、根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息；
具体地，点云序列信息与无人车行驶轨迹位姿信息关联，需将无人车不同位姿获取的点云序列信息融合为能表征用于场景建模的第二点云信息，即将不同时刻获取的点云序列信息融合为与时间无关的第二点云信息；因此，步骤S102根据自注意力机制（selfattention）对点云序列信息进行融合权重计算，设定具有可变的融合参数的第二点云信息来表征点云序列信息，即将点云序列信息转换为能与第一点云信息进行匹配融合的数据形式。
S103、根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；
具体地，自监督学习（self-supervised learning）算法主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征；本申请实施例的融合方法，在自监督学习算法基础上以对抗损失（contrastive loss）指导自监督学习算法进行计算，即基于对抗自监督学习算法设计的关于第一点云信息和第二点云信息的对比损失函数，使得本申请实施例的融合方法根据对比损失函数进行学习时，能使第一点云信息和第二点云信息两者之间相似的部分尽量融合、不相似部分尽量远离，从而将第一点云信息和第二点云信息两者之间的对比损失下降至最小以进行点云融合。
S104、基于反向传播算法利用梯度下降的方式更新融合参数，直至对比损失函数收敛，以确定最佳融合参数；
具体地，由于第二点云信息为步骤S102中由点云序列信息根据融合参数设定的，第一点云信息和点云序列信息为基于步骤S101直接获取的，故步骤S103中的对比损失函数中的变量为融合参数，故该对抗自监督学习的学习过程为调节融合参数，以尽可能使第一点云信息和第二点云信息两者之间相似部分尽量融合、不相似部分尽量远离，从而使得该对比损失函数收敛（取得稳定的最小值），此时，第一点云信息和第二点云信息能得到充分融合，能作为三维重建的基础数据。
更具体地，该对比损失函数的调节过程采用基于反向传播算法利用梯度下降的方式进行，梯度下降法是一种优化算法，中心思想是沿着目标函数梯度的方向更新参数值以希望达到目标函数最小（或最大）。本申请实施例的融合方法中的梯度下降方式用于将对比损失函数调节收敛至最小值，在该调节过程中，反向传播算法是用来快速求解对比损失函数中各个参数的梯度；该梯度下降则是根据计算得到的梯度来更新各个融合参数，从而快速更新融合参数，并获取对比损失函数收敛时的融合参数，以该融合参数作为最佳融合参数，即点云序列信息根据最佳融合参数转换为第二点云信息时与第一点云信息的融合效果最好。
S105、根据最佳融合参数融合第一点云信息和点云序列信息，以获取融合点云信息。
具体地，将点云序列信息根据最佳融合参数转换为第二点云信息，将该第二点云信息与第一点云信息融合获取融合点云信息，该融合点云信息有效将无人机和无人车采集的两种数据融合起来，能精确地反映出该数据来源的场景的密集点云分布，能作为高精度三维重建的基础数据。
本申请实施例的一种点云融合方法，根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息，然后根据对抗自监督学习算法设计对比损失函数，并基于反向传播算法利用梯度下降的方式获取第一点云信息与点云序列信息的最佳融合结果，该融合过程无需预先确定label（融合目标），即无需对点云信息进行预先标注，利用对比损失函数更新融合参数即能使相似部分尽可能融合，实现了无人机采集数据和无人车采集数据融合，简化了点云融合过程，提高了点云融合效率、融合精度。
在一些优选的实施方式中，本申请实施例的融合方法中步骤S102-S104依次设计网络输入、设计网络和训练网络的过程，因此步骤S102获取第二点云信息的过程为将点云序列信息转换为神经网络中且与第一点云信息同类型的可输入数据。
在一些优选的实施方式中，融合参数包括卷积参数、自注意力参数和输出融合参数；根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息的步骤包括：
S1021、将点云序列信息编码并输出为一致维数的并包含卷积参数的卷积点云信息；
具体地，自注意力（Self-Attention）机制包括依次连接的输入层、编码层、自注意力层、自注意力输出层和融合输出层，该步骤为将点云序列信息作为点云数据逐个输入至输入层中，并利用编码层对点云数据进行一次变换以便后续进行计算；其中，该变换过程为使用卷积进行一次编码，以将输入层的点云数据通过padding（填充）方法将编码输出变为一致维数的卷积点云信息，该卷积点云信息由卷积函数和卷积参数定义，从而获取对应于输入层中多个点云数据的多个卷积点云信息。
S1022、根据自注意力机制将卷积点云信息初步融合，输出包含自注意力参数的初步融合点云信息；
具体地，该步骤为将编码层中卷积点云信息输入至自注意力输出层中进行初步融合，从而获取初步融合点云信息。
S1023、根据自注意力机制将初步融合点云信息进一步融合，输出包含输出融合参数的第二点云信息。
具体地，该步骤将初步融合点云信息融合区分为第二点云信息，该第二点云信息维度、体量与第一点云信息一致。
本申请实施例的融合方法利用自注意力机制将点云序列信息转换成包含卷积参数、自注意力参数和输出融合参数的第二点云信息，使得点云融合重建中能通过调节卷积参数、自注意力参数和输出融合参数改变第一点云信息与第二点云信息的配准效果，降低了第二点云信息的转换难度和点云融合的融合难度；另外，点云序列信息自身具备序列特点，作为自注意力机制中具有序列化特性的输入项能实现时间复杂度的快速计算，提高整个点云融合过程的效率。
在一些优选的实施方式中，根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数的步骤包括：
S1031、根据卷积特征提取函数及全连接网络降采样函数获取第一点云信息的第一特征输入信息和第二点云信息的第二特征输入信息；
具体地，第一点云信息和第二点云信息属于点云数据，因此在建立对比损失函数前，需要将第一点云信息和第二点云信息转换为能作为神经网络学习的特征输入项，该步骤为分别将第一点云信息和第二点云信息输入到卷积网络进行特征提取，再将提取后的特征输入至全连接网络中进行降采样，从而获取可用于神经网络学习的第一特征输入信息和第二特征输入信息。
S1032、根据对抗自监督学习算法设计关于第一特征输入信息和第二特征输入信息的对比损失函数。
具体地，由前述内容可知，基于对抗自监督学习算法设计的对比损失函数其最终用于指导第一点云信息和第二点云信息两者之间相似的部分尽量融合、不相似部分尽量远离，因此，该对比损失函数包含第一特征输入信息和第二特征输入信息构成的相似项，以及第一特征输入信息和第二特征输入信息构成的不相似项。
在一些优选的实施方式中，基于反向传播算法利用梯度下降方式更新融合参数，直至对比损失函数收敛，以确定最佳融合参数的步骤包括：
S1041、设计关于融合参数的梯度下降函数，梯度下降函数输出值为对比损失函数的输入值；
具体地，对比损失函数的输入值指其含有的可调节变量，由前述内容可知，对比损失函数的输入值为第二点云信息中的融合参数，即包括卷积参数、自注意力参数和输出融合参数。
S1042、基于反向传播算法更新梯度下降函数，直至对比损失函数收敛；
具体地，该步骤为基于反向传播算法调节输入不同的融合参数，直至对比损失函数收敛。
S1043、将梯度下降函数收敛时的融合参数确定为最佳融合参数。
本申请实施例的一种点云融合方法，利用特征提取的方式根据第一点云信息和第二点云信息获取可用于神经网络学习的第一特征输入信息和第二特征输入信息，以根据第一特征输入信息和第二特征输入信息设计对比损失函数以进行对抗损失操作，使得对比损失函数快速收敛以获取用于将第一点云信息和点云序列信息进行融合的最佳融合参数，能有效提高点云融合的效率、精度。
第二方面，请参照图2，图2是本申请一些实施例中提供的一种三维重建方法，用于根据多种点云信息对大型场景进行三维重建，重建方法包括以下步骤：
S201、通过无人机获取第一点云信息；
S202、通过无人车及RTK地面站获取点云序列信息；
具体地，本申请实施例的三维重建方法使用前，在待进行三维重建的大型场景的室外位置搭建了一种无人地面监测系统，该无人地面监测系统包括无人车以及提供精准定位的RTK地面站，无人车上设有车载RGBD相机或者Lidar（激光雷达），无人车在移动过程中，通过RGBD相机或者Lidar获取场景点云，同时RTK地面站实时监测无人车的位置，以获取关于无人车行驶轨迹的精确位姿信息；本申请实施例的三维重建方法结合场景点云和无人车位姿信息获取点云序列信息。
S203、根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息；
S204、根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；
S205、基于反向传播算法利用梯度下降的方式更新融合参数，直至对比损失函数收敛，以确定最佳融合参数；
S206、根据最佳融合参数融合第一点云信息和点云序列信息，以获取融合点云信息；
具体地，将点云序列信息根据最佳融合参数转换为第二点云信息，将该第二点云信息与第一点云信息融合获取融合点云信息，该融合点云信息有效将无人机和无人车采集的两种数据融合起来，能精确地反映出该数据来源的场景的密集点云分布，能作为高精度三维重建的基础数据。
S207、获取第一点云信息的点云法线；
具体地，三维建模过程需要建立表面重建算法，该算法需要将物体表面的离散样本点信息转化到连续表面函数上，从而构造出隐式表面以给出一个平滑的物体表面的估计结果，因此，需要获取第一点云信息的点云法线应用在融合点云上，以建立表面重建算法。
S208、根据点云法线和融合点云信息获取融合模型。
具体地，利用点云法线和融合点云信息建立表面重建算法，然后对表面重建算法进行迭代计算，逐步完成模型的重建。
本申请实施例的一种三维重建方法，根据自注意力机制和对抗自监督学习算法获取最佳融合参数，将无人车采集的点云序列信息转换为第二点云信息，并与无人机采集的第一点云信息进行融合，结合点云法线计算即可获取融合模型；点云序列信息和第一点云信息的融合过程无需预先确定label，利用对比损失函数更新融合参数即能使相似部分尽可能融合，实现了无人机采集数据和无人车采集数据融合，简化了点云融合过程，提高了三维重建效率、三维重建精度。
在一些优选的实施方式中，步骤S201包括：
S2011、基于无人机上采集设备（包括影像采集设备和定位定姿采集系统）采集原始影像和POS数据；
S2012、对原始图像进行空三处理；
S2013、结合空三处理后的原始图像和POS数据进行多视角影像密集匹配，生成密集点云，将该密集点云视为第一点云信息。
更具体地，原始影像包含照片宽度、照片高度、相机焦距等信息；POS数据是由定位定姿采集系统（position and orientation system）采集的文件数据，其主要是利用安装在无人机上的GPS接收机和设在地面上的一个或多个基站上的GPS接收机同步而连续地观测GPS卫星信号；POS数据包含经度、纬度、飞行高度、航向角、俯仰角和侧偏角等信息；无人机飞行时地面平面高程为已知值，基于以上信息可以计算无人机获取的原始影像投影到地面后的地理位置。
更具体地，空三处理是指采用局域网联合平差来处理倾斜摄影数据，能全面解决像片之间的几何变形以及遮挡问题，从而确保影像数据全面覆盖大型场景的所在区域，避免区域数据漏抓；另外，该步骤采用多视角影像密集匹配，能整合多个视角获取的原始影像，确保获取的数据更可靠。
更具体地，结合原始图像和POS数据进行解析便能获取到倾斜图像的方位元素，利用图像金字塔的思路在每一级像片进行同名点的自动匹配以及光束法区域网联合平差，以获取较好的同名点匹配结果。
更具体地，若仅采用一种匹配策略或者一种匹配基元进行同名点的自动匹配，难以从倾斜图像中提取三维重建时需要的同名点，因此，本申请实施例的重建方法优选为采用SFM（Structure from Motion）算法进行多基元、多角度图像匹配，以生成密集点云，再将该密集点云视为第一点云信息，以作为三维重建的同名点。
在一些优选的实施方式中，重建方法还包括以下步骤：
S209、获取大型场景的设计模型，根据设计模型优化融合模型。
具体地，步骤S209为可选步骤，具体按使用需求选择是否执行；一般来说，三维重建可能会出现一些缺失点云导致局部模型缺失等问题，因此，步骤S209引入大型场景的设计模型（可以是建筑设计初期构建的三维模型，也可以是其他方式获取的能标志该大型场景轮廓的三维模型；该三维模型可以是整体模型，也可以是局部模型），利用该模型优化融合模型，使得融合模型整体更完整、结构更准确；此外，在一些别的实施方式中，还可以利用设计模型填充融合模型中建筑物内部结构，使得最终获取的三维重建的模型能反映建筑物内结构。
在一些优选的实施方式中，根据设计模型优化融合模型的步骤包括：基于CTCloss算法对设计模型和融合模型进行整合。
具体地，CTC （Connectionist Temporal Classification, 连接主义时间分类）loss算法的训练流程和传统的神经网络类似，其提供了提出一种不需要对齐的Loss计算方法，能将融合模型和设计模型进行对齐标定，一般标记为
Figure DEST_PATH_IMAGE001
，在本申请实施例中，此处x表示设计模型，z表示融合模型，S表示融合模型和设计模型的综合集合，计算完毕即可实现对应模型的初步标定，以对设计模型与融合模型进行整合以优化融合模型。
在一些优选的实施方式中，重建方法还包括以下步骤：
S210、对融合模型进行坐标标定。
具体地，在本申请实施例中，步骤S210为根据无人机采集的POS数据以及无人车采集的行驶轨迹位姿信息对融合模型进行坐标标定，使得标定后的融合模型能直接应用在各类使用场景中。
更具体地，在执行步骤S210前，需要将融合模型导入Unreal Engine或Unity3D等引擎软件中搭建初步孪生系统，在融合模型导入引擎软件后再利用步骤S210对融合模型进行坐标标定，实现孪生系统与真实场景坐标的对应统一。
在一些优选的实施方式中，获取第一点云信息的点云法线的步骤包括：
S2071、对第一点云信息进行序列编程以建立关于第一点云信息的序列信息；
具体地，该步骤目标是使第一点云信息具有有序化，能采用一般的序列编程方式对第一点云信息进行排序。
更具体地，在本申请实施例中，优选为采用kd-tree（k-dimensional树）对无序化的第一点云信息进行树形编程。
更具体地，kd-tree是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形结构数据，主要应用于多维空间关键数据的搜索。
S2072、对第一点云信息进行凸包计算以获取关于第一点云信息的三维凸包模型；
具体地，经过步骤S2071处理后，第一点云信息具有有序化特性，然后S2072能根据有序的第一点云信息，建立列表进行凸包搭建，以获取一个能凸包所有第一点云信息的三维凸包模型。
更具体地，步骤S2072优选采用Melkman算法凸包计算，即基于有序的第一点云信息建立双头表执行Melkman算法，Melkman算法是最快的凸包在线计算方法之一。
S2073、根据序列信息和三维凸包模型获取点云法线。
具体地，该步骤利用步骤S2071获取的序列信息结合无人机采集的POS数据即能计算凸包模型中每个面的法线，该法线即为需要获取的点云法线。
在一些优选的实施方式中，步骤S208采用自适应梯度的泊松重建算法进行模型重建，泊松重建的核心思想是通过将物体表面的离散样本点信息转化到连续表面函数上，从而构造出隐式表面以给出一个平滑的物体表面的估计结果，本申请实施例在此基础上，在泊松重建算法迭代计算时采用Adam（A Method for Stochastic Optimization）优化算法从而实现了重建算法的快速收敛，从而提高模型重建效率。
具体地，步骤S208还可以采用一般的三维重建方法获取融合模型。
第三方面，请参照图3，图3是本申请一些实施例中提供的一种点云融合装置，用于融合无人机采集的第一点云信息与无人车采集的点云序列信息，融合装置包括：
获取模块101，用于获取第一点云信息和点云序列信息；
转换模块102，用于根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息；
损失函数模块103，用于根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；
更新模块104，用于基于反向传播算法利用梯度下降的方式更新融合参数，直至对比损失函数收敛，以确定最佳融合参数；
融合模块105，用于根据最佳融合参数融合第一点云信息和点云序列信息，以获取融合点云信息。
本申请实施例的一种点云融合装置，利用转换模块102根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息，然后利用损失函数模块103根据对抗自监督学习算法设计对比损失函数，并基于反向传播算法利用梯度下降的方式获取第一点云信息与点云序列信息的最佳融合结果，该融合过程无需预先确定label，即无需对点云信息进行预先标注，利用对比损失函数更新融合参数即能使相似部分尽可能融合，实现了无人机采集数据和无人车采集数据融合，简化了点云融合过程，提高了点云融合效率、融合精度。
在一些优选的实施方式中,采用该点云融合装置实施上述第一方面的点云融合方法。
第四方面，请参照图4，图4为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备3，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
第五方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
实施例1
该实施例以一个完整的三维重建过程为例阐述本申请第二方面提供的三维重建方法，其具体重建过程如下：
S301、通过无人机获取正射摄影、OSGB以及倾斜摄影模型，对正射摄影、OSGB（倾斜摄影数据）以及倾斜摄影模型获取无人机的原始影像和POS数据，并进行空三处理，使用SFM（structure-from-motion）算法进行多基元、多角度图像匹配从而生成密集匹配点云，以该密集匹配点云作为第一点云信息；
S302、通过无人车车载RGBD相机或者Lidar获取场景点云并基于RTK地面站获取无人车的行驶轨迹的精确位姿信息，以分析获取点云序列信息；
S303、将点云序列信息输入至自注意力机制的输入层中进行融合权重计算，编码层将点云序列信息编码输出为一致维数，设点云序列中第i个点云为
Figure 892666DEST_PATH_IMAGE002
，则编码层输出为：
Figure 652549DEST_PATH_IMAGE003
（1）
其中，i=1,2,3……，n，n为点云序列长度，
Figure 229024DEST_PATH_IMAGE004
为对应的卷积参数，o i 为点云序列i的卷积点云信息，其维数为d×3，将编码层中卷积点云信息o i 输入至自注意力输出层中进行初步融合，从而获取初步融合点云信息：
Figure 420971DEST_PATH_IMAGE005
（2）
其中，W q 、W k 、W v 为自注意力参数，o j 为点云序列j的卷积点云信息，j=1,2,3……，n，一般初始化为各元素满足N（0,1）的矩阵，其维数一般为（n-1）×d，n为点云序列长度；根据自注意力机制将初步融合点云信息c i 进一步融合，输出包含输出融合参数的第二点云信息e，第二点云信息e满足：
Figure 517234DEST_PATH_IMAGE006
（3）
其中，W 1 、W 2 ，……，W n 为融合参数，一般初始化为各元素满足N(0,1)的矩阵，其维数一般为d×（n-1），则e的维数为d×3。
因此，通过上述步骤计算可快速将点云序列信息转换为第二点云信息e，该序列化操作的输入可以实现时间复杂度O(1)的快速计算。
S304、第一点云信息和第二点云信息融合前需要将两种信息需要进行卷积激活和全连接激活以分别转换为第一特征输入信息和第二特征输入信息：
设第一点云信息标记为p d ，则有第一特征输入信息X 1 满足：
Figure 136434DEST_PATH_IMAGE007
（4）
其中，
Figure 934626DEST_PATH_IMAGE008
为第一卷积层参数，f 1 为第一卷积层激活函数，
Figure 179532DEST_PATH_IMAGE009
为第一全连接权重，f 2 为第一全连接激活函数，b 1 为第一偏置。
同理，第二特征输入信息X2满足：
Figure 645148DEST_PATH_IMAGE010
（5）
其中，
Figure 435249DEST_PATH_IMAGE011
为第二卷积层参数，f 3 为第二卷积层激活函数，
Figure 471470DEST_PATH_IMAGE012
为第二全连接权重，f 4 为第二全连接激活函数，b 2 为第二偏置。
基于对抗自监督学习算法根据第一特征输入信息和第二特征输入信息设计对比损失函数L（θ），该对比损失函数L（θ）满足：
Figure 5219DEST_PATH_IMAGE013
（6）
其中，其中α与m为常数，且分别为正负样本比例参数以及相似样本距离阈值，一般设定α=0.3，m=50，θ为融合参数，有：
Figure 59763DEST_PATH_IMAGE014
。
S305、在建立对比损失函数L（θ）后，根据反向传播算法利用梯度下降的方式更新融合参数θ，因此，将θ定义如下：
Figure 535612DEST_PATH_IMAGE015
（7）
其中，θ t 为t时刻的融合参数；
然后通过θ迭代更新至对比损失函数L（θ）收敛，即可快速确定θ的最优解，即确定了最佳融合参数，其中，最佳融合参数包括了最优选的
Figure 308396DEST_PATH_IMAGE016
。
S306、根据最佳融合参数融合第一点云信息和点云序列信息，以获取融合点云信息；
S307、进行模型重建前需要先获取点云法线，其获取过程为采用分治法的思路将流程分为点云有序化、基于Melkman算法的三维凸包生成以及三维凸包计算各平面法线，具体过程如下：
使用KD-Tree算法对无序的第一点云信息进行树型编序以便用于后续使用，该步骤的复杂度为O（log n）；而实时查找的时间复杂度为O（kn 1-1/k ），这里的n表示点云数量，k表示立面体的维数，对于三维点云数据有k=3。获取有序的第一点云信息后即可基于此建立双头表执行Melkman算法，Melkman算法是最快的凸包在线计算方法，其时间复杂度为O（n）。最后基于Melkman算法完成凸包搭建后便可以利用树型结构以及POS数据计算凸包每个面的法线即可，因此，整个点云法线获取过程复杂度为
Figure 380258DEST_PATH_IMAGE017
，有效降低了点云法线的获取难度，以提高整个三维重建的效率。
S307、利用自适应梯度的泊松重建算法进行模型重建，其具体过程包括：
泊松重建的核心思想是通过将物体表面的离散样本点信息转化到连续表面函数上，从而构造出隐式表面以给出一个平滑的物体表面的估计结果。按照PSR算法的基本流程，本方案采用了一种自适应的网格结构八叉树来划分空间，并且八叉树上定义了一个函数空间F 0 ，并给定八叉树深度D以及基函数F随着输入点数的增加基函数F逐渐趋向于高斯函数。设八叉树的节点集合为O，则向量空间
Figure 164674DEST_PATH_IMAGE018
可以近似为：
Figure 77004DEST_PATH_IMAGE019
（8）
其中，这里s表示划分点，Ω表示划分点集，o表示八叉树节点，N g （s）是s的八个最近邻的叶节点，α o,s 为三维线性插值的权重，F o (q)表示某个节点o对应的函数，
Figure 602663DEST_PATH_IMAGE020
表示表面法向量。
虽然
Figure 963369DEST_PATH_IMAGE021
与泊松指示函数
Figure 258084DEST_PATH_IMAGE022
都可以在函数空间上表示出来，但为了解决
Figure 826468DEST_PATH_IMAGE023
与
Figure 834831DEST_PATH_IMAGE024
未定义的问题，可以将泊松问题中的拉普拉斯方程
Figure 248495DEST_PATH_IMAGE025
近似地视为最小化其在F o 上的投影，有：
Figure 397716DEST_PATH_IMAGE026
（9）
其中，令
Figure 622155DEST_PATH_IMAGE027
，那么求解
Figure 856828DEST_PATH_IMAGE022
即可等价于求解x o ，即求解指示函数
Figure 74182DEST_PATH_IMAGE022
的始值，故：
Figure 327178DEST_PATH_IMAGE028
（10）
则有：
Figure 237365DEST_PATH_IMAGE029
（11）
上式右边对
Figure 693754DEST_PATH_IMAGE030
求偏导，可以将泊松的拉普拉斯求解问题转换为最小化问题，即求解：
Figure 465532DEST_PATH_IMAGE031
（12）
此处Lx等价于
Figure 323767DEST_PATH_IMAGE032
设x∈R d ，则有L∈R |d|×|d| ，而
Figure 139276DEST_PATH_IMAGE033
为了实现Loss函数的快速迭代收敛，本方案改变传统的泊松方程求解方式，使用Adam（A Methodfor Stochastic Optimization）自适应梯度下降方法对Loss进行迭代，有：
Figure 597808DEST_PATH_IMAGE034
（13）
对于公式（13）一般设置m 0 =v 0 =0，β 1 =0.9，β 2 =0.99，α=0.05,
Figure 422545DEST_PATH_IMAGE035
=10 -6 ，以构建公式（13），g t 为loss函数对于x t-1 的梯度，m t 为第一自适应梯度块，v t 为第二自适应梯度块，β 1 、β 2 、 α=0.05、
Figure 135286DEST_PATH_IMAGE035
均为梯度设定参数；
根据公式（13）开始迭代，并在
Figure 872429DEST_PATH_IMAGE036
时停止迭代，此时完成模型的重建，即获取了融合模型，
Figure 568989DEST_PATH_IMAGE037
为迭代阈值。
S309、获取大型场景的设计模型，基于CTC loss算法对设计模型和融合模型进行整合；CTC loss算法一般标记为
Figure 931838DEST_PATH_IMAGE038
，在本申请实施例中，此处x表示设计模型，z表示融合模型，S表示融合模型和设计模型的综合集合，计算完毕即可实现对应模型的初步标定，以使对设计模型与融合模型整合以优化融合模型。
S310、将融合模型导入Unreal Engine或Unity3D等引擎软件中搭建初步孪生系统，在融合模型导入引擎软件后根据无人机采集的POS数据以及无人车采集的行驶轨迹位姿信息进行对融合模型进行坐标标定，实现孪生系统与真实场景坐标的对应统一。
S311、进行UI搭建以及将通信功能等模块加入标定后的融合模型中就可以直接用于园区数字孪生等应用。
综上，本申请实施例提供了三维重建方法、点云融合方法、装置、设备及存储介质，其中融合方法根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息，然后根据对抗自监督学习算法设计对比损失函数，并基于反向传播算法利用梯度下降的方式获取第一点云信息与点云序列信息的最佳融合结果，该融合过程无需对点云信息进行预先标注，利用对比损失函数更新融合参数即能使相似部分尽可能融合，实现了无人机采集数据和无人车采集数据融合，简化了点云融合过程，提高了点云融合效率、融合精度。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种点云融合方法，用于融合无人机采集的第一点云信息与无人车采集的点云序列信息，其特征在于，所述融合方法包括以下步骤：
获取所述第一点云信息和所述点云序列信息；
根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息；
根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；
基于反向传播算法利用梯度下降的方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数；
根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息，以获取融合点云信息。
2.根据权利要求1所述的一种点云融合方法，其特征在于，所述融合参数包括卷积参数、自注意力参数和输出融合参数，所述根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息的步骤包括：
将所述点云序列信息编码并输出为一致维数的并包含所述卷积参数的卷积点云信息；
根据所述自注意力机制将所述卷积点云信息初步融合，输出包含所述自注意力参数的初步融合点云信息；
根据所述自注意力机制将所述初步融合点云信息进一步融合，输出包含所述输出融合参数的所述第二点云信息。
3.根据权利要求1所述的一种点云融合方法，其特征在于，所述根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数的步骤包括：
根据卷积特征提取函数及全连接网络降采样函数获取所述第一点云信息的第一特征输入信息和所述第二点云信息的第二特征输入信息；
根据对抗自监督学习算法设计关于所述第一特征输入信息和所述第二特征输入信息的对比损失函数。
4.根据权利要求3所述的一种点云融合方法，其特征在于，所述基于反向传播算法利用梯度下降方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数的步骤包括：
设计关于所述融合参数的梯度下降函数，所述梯度下降函数输出值为所述对比损失函数的输入值；
基于所述反向传播算法更新所述梯度下降函数，直至所述对比损失函数收敛；
将所述对比损失函数收敛时的所述融合参数确定为所述最佳融合参数。
5.一种三维重建方法，用于根据多种点云信息对大型场景进行三维重建，其特征在于，所述重建方法包括以下步骤：
通过无人机获取第一点云信息；
通过无人车及RTK地面站获取点云序列信息；
根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息；
根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；
基于反向传播算法利用梯度下降的方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数；
根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息，以获取融合点云信息；
获取所述第一点云信息的点云法线；
根据所述点云法线和所述融合点云信息获取融合模型。
6.根据权利要求5所述的一种三维重建方法，其特征在于，所述重建方法还包括以下步骤：
获取所述大型场景的设计模型，根据所述设计模型优化所述融合模型。
7.根据权利要求5所述的一种三维重建方法，其特征在于，所述获取所述第一点云信息的点云法线的步骤包括：
对所述第一点云信息进行序列编程以建立关于所述第一点云信息的序列信息；
对所述第一点云信息进行凸包计算以获取关于第一点云信息的三维凸包模型；
根据所述序列信息和所述三维凸包模型获取所述点云法线。
8.一种点云融合装置，用于融合无人机采集的第一点云信息与无人车采集的点云序列信息，其特征在于，所述融合装置包括：
获取模块，用于获取所述第一点云信息和所述点云序列信息；
转换模块，用于根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息；
损失函数模块，用于根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；
更新模块，用于基于反向传播算法利用梯度下降的方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数；
融合模块，用于根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息，以获取融合点云信息。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-4任一所述方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-4任一所述方法中的步骤。
CN202210036903.XA 2022-01-13 2022-01-13 三维重建方法、点云融合方法、装置、设备及存储介质 Active CN114066960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210036903.XA CN114066960B (zh) 2022-01-13 2022-01-13 三维重建方法、点云融合方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210036903.XA CN114066960B (zh) 2022-01-13 2022-01-13 三维重建方法、点云融合方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114066960A true CN114066960A (zh) 2022-02-18
CN114066960B CN114066960B (zh) 2022-04-22

Family

ID=80231101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210036903.XA Active CN114066960B (zh) 2022-01-13 2022-01-13 三维重建方法、点云融合方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114066960B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549608A (zh) * 2022-04-22 2022-05-27 季华实验室 点云融合方法、装置、电子设备及存储介质
CN115147474A (zh) * 2022-07-01 2022-10-04 小米汽车科技有限公司 点云标注模型的生成方法、装置、电子设备及存储介质
CN115223067A (zh) * 2022-09-19 2022-10-21 季华实验室 应用于无人机的点云融合方法、装置、设备及存储介质
CN115239915A (zh) * 2022-09-21 2022-10-25 季华实验室 Vr场景实时重建方法、装置、电子设备及存储介质
CN115272439A (zh) * 2022-09-27 2022-11-01 季华实验室 三维重建模型的融合方法、重建方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931234A (zh) * 2016-04-19 2016-09-07 东北林业大学 一种地面三维激光扫描点云与影像融合及配准的方法
CN108594262A (zh) * 2018-07-05 2018-09-28 南京林业大学 一种结合无人机和地基激光雷达提取树高的方法
CN110197215A (zh) * 2019-05-22 2019-09-03 深圳市牧月科技有限公司 一种自主驾驶的地面感知点云语义分割方法
US20200139973A1 (en) * 2018-11-01 2020-05-07 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
CN112200846A (zh) * 2020-10-23 2021-01-08 东北林业大学 融合无人机影像与地基雷达点云的林分因子提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931234A (zh) * 2016-04-19 2016-09-07 东北林业大学 一种地面三维激光扫描点云与影像融合及配准的方法
CN108594262A (zh) * 2018-07-05 2018-09-28 南京林业大学 一种结合无人机和地基激光雷达提取树高的方法
US20200139973A1 (en) * 2018-11-01 2020-05-07 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
CN110197215A (zh) * 2019-05-22 2019-09-03 深圳市牧月科技有限公司 一种自主驾驶的地面感知点云语义分割方法
CN112200846A (zh) * 2020-10-23 2021-01-08 东北林业大学 融合无人机影像与地基雷达点云的林分因子提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王树臻等: "多源点云数据融合的建筑物精细化建模", 《测绘通报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549608A (zh) * 2022-04-22 2022-05-27 季华实验室 点云融合方法、装置、电子设备及存储介质
CN115147474A (zh) * 2022-07-01 2022-10-04 小米汽车科技有限公司 点云标注模型的生成方法、装置、电子设备及存储介质
CN115147474B (zh) * 2022-07-01 2023-05-02 小米汽车科技有限公司 点云标注模型的生成方法、装置、电子设备及存储介质
CN115223067A (zh) * 2022-09-19 2022-10-21 季华实验室 应用于无人机的点云融合方法、装置、设备及存储介质
CN115223067B (zh) * 2022-09-19 2022-12-09 季华实验室 应用于无人机的点云融合方法、装置、设备及存储介质
CN115239915A (zh) * 2022-09-21 2022-10-25 季华实验室 Vr场景实时重建方法、装置、电子设备及存储介质
CN115239915B (zh) * 2022-09-21 2022-12-09 季华实验室 Vr场景实时重建方法、装置、电子设备及存储介质
CN115272439A (zh) * 2022-09-27 2022-11-01 季华实验室 三维重建模型的融合方法、重建方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114066960B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN114066960B (zh) 三维重建方法、点云融合方法、装置、设备及存储介质
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
Vu et al. High accuracy and visibility-consistent dense multiview stereo
CN106780712B (zh) 联合激光扫描和影像匹配的三维点云生成方法
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
CN113985445A (zh) 一种基于相机与激光雷达数据融合的3d目标检测算法
CN109900274B (zh) 一种图像匹配方法及系统
CN111141264A (zh) 一种基于无人机的城市三维测绘方法和系统
CN115953535A (zh) 三维重建方法、装置、计算设备和存储介质
Jin et al. An indoor location-based positioning system using stereo vision with the drone camera
CN109492606A (zh) 多光谱矢量图获取方法及系统、三维单体化方法及系统
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
US11922572B2 (en) Method for 3D reconstruction from satellite imagery
CN110889899A (zh) 一种数字地表模型的生成方法及装置
CN113298947A (zh) 一种基于多源数据融合的变电站三维建模方法介质及系统
WO2023124676A1 (zh) 3d模型构建方法、装置和电子设备
Axelsson et al. Roof type classification using deep convolutional neural networks on low resolution photogrammetric point clouds from aerial imagery
CN107610219A (zh) 一种三维场景重构中几何线索感知的像素级点云稠密化方法
CN113989758A (zh) 一种用于自动驾驶的锚引导3d目标检测方法及装置
Bybee et al. Method for 3-D scene reconstruction using fused LiDAR and imagery from a texel camera
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
CN104751451B (zh) 基于无人机低空高分辨率影像的密集点云提取方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN107194334B (zh) 基于光流模型的视频卫星影像密集匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant