CN115272439B - 三维重建模型的融合方法、重建方法、装置、设备及介质 - Google Patents

三维重建模型的融合方法、重建方法、装置、设备及介质 Download PDF

Info

Publication number
CN115272439B
CN115272439B CN202211182424.5A CN202211182424A CN115272439B CN 115272439 B CN115272439 B CN 115272439B CN 202211182424 A CN202211182424 A CN 202211182424A CN 115272439 B CN115272439 B CN 115272439B
Authority
CN
China
Prior art keywords
point cloud
fusion
model
models
quality point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211182424.5A
Other languages
English (en)
Other versions
CN115272439A (zh
Inventor
张晟东
焦家辉
邓涛
张立华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202211182424.5A priority Critical patent/CN115272439B/zh
Publication of CN115272439A publication Critical patent/CN115272439A/zh
Application granted granted Critical
Publication of CN115272439B publication Critical patent/CN115272439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)

Abstract

本发明涉及三维重建技术领域，具体公开了一种三维重建模型的融合方法、重建方法、装置、设备及介质，其中，三维重建模型的融合方法包括以下步骤：获取多个关于第一点云序列集的优质点云融合模型；根据多个优质点云融合模型基于等值权重融合生成辅助评价模型；根据每个优质点云融合模型的第一输出与辅助评价模型的第二输出的范数差建立损失函数；更新优质点云融合模型的参数至损失函数收敛；根据收敛后的损失函数设置每个优质点云融合模型的融合权重，并根据融合权重融合多个优质点云融合模型以获取融合重建模型；该方法获取的融合重建模型能基于各个优质点云融合模型的优势来进行点云融合而实现三维重建，有效提高三维重建的重建精度、鲁棒性。

Description

三维重建模型的融合方法、重建方法、装置、设备及介质
技术领域
本申请涉及三维重建技术领域，具体而言，涉及一种三维重建模型的融合方法、重建方法、装置、设备及介质。
背景技术
利用无人机序列航拍图像、倾斜摄影和遥感数据等手段来实现地形三维重建，具有成本低、操作简单和灵活等优势。
现有的基于无人机获取的图像提取的点云数据进行三维重建的重建方法种类繁多，如基于射影深度求解、迭代最近点、角点特征、稠密匹配和模型约束等建立点云融合模型进行三维重建，这些重建模型在准确度和计算量方面都有着各自的优势，但也有着各自的局限性，在重建过程中或多或少会存在着容易出现重建空洞、匹配精度低或鲁棒性低等缺点，现有技术无法有效综合利用这些三维重建模型进行优势集成以优化三维重建效果。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种三维重建模型的融合方法、重建方法、装置、设备及介质，通过融合点云融合模型以集合点云融合模型的优势来进行点云融合而实现三维重建。
第一方面，本申请提供了一种三维重建模型的融合方法，用于融合多个点云融合模型，所述三维重建模型的融合方法包括以下步骤：
获取多个关于第一点云序列集的优质点云融合模型；
根据多个所述优质点云融合模型基于等值权重融合生成辅助评价模型；
随机去除所述第一点云序列集中部分点云生成第二点云序列集；
根据每个所述优质点云融合模型的第一输出与所述辅助评价模型的第二输出的范数差建立损失函数，所述第一输出为所述优质点云融合模型基于第一点云序列集产生的输出结果，所述第二输出为辅助评价模型基于第二点云序列集产生的输出结果；
更新所述优质点云融合模型的参数至所述损失函数收敛；
根据收敛后的损失函数设置每个所述优质点云融合模型的融合权重，并根据所述融合权重融合多个所述优质点云融合模型以获取融合重建模型。
本申请的三维重建模型的融合方法，利用多个优质点云融合模型建立辅助评价模型，并根据不同第一输出和第二输出的范数差建立损失函数，使得模型训练更新的过程中，多个优质点云融合模型作为整体朝向辅助评价模型进行综合优化，而辅助评价模型也基于优质点云融合模型的优化而继续优化，使得最终获取的融合重建模型能基于各个优质点云融合模型的优势来进行点云融合而实现三维重建，有效提高三维重建的重建精度、鲁棒性。
所述的三维重建模型的融合方法，其中，所述获取多个关于第一点云序列集的优质点云融合模型的步骤包括：
建立具有多个点云融合模型的模型池；
根据每个所述点云融合模型关于所述第一点云序列集的输出结果进行评分；
将评分最高的多个所述点云融合模型设定为多个所述优质点云融合模型。
在该示例中，基于模型池获取多个优质点云融合模型可确保优质点云融合模型的可靠性，并能提高模型的复用性。
所述的三维重建模型的融合方法，其中，所述优质点云融合模型为五个。
所述的三维重建模型的融合方法，其中，所述第二点云序列集的维度小于或等于所述第一点云序列集的维度。
在该示例中，第二点云序列集的维度小于第一点云序列集的维度时相当于点云缺少了部分维度的数据，使得最终获取的融合重建模型应用在三维重建时，能在点云缺少部分维度的情况下进行点云融合，具有高稳定性和高抗干扰能力。
所述的三维重建模型的融合方法，其中，所述根据每个所述优质点云融合模型的第一输出与所述辅助评价模型的第二输出的范数差建立损失函数的步骤包括：
获取每个所述优质点云融合模型的第一输出与所述辅助评价模型的第二输出的范数差；
基于等值权重叠加所有范数差建立损失函数。
所述的三维重建模型的融合方法，其中，所述融合权重为归一化权重。
第二方面，本申请还提供了一种三维重建模型的重建方法，用于三维地形的重建，所述三维重建模型的重建方法包括以下步骤：
部署基于第一方面提供的三维重建模型的融合方法获取的所述融合重建模型；
利用所述融合重建模型融合待融合的点云序列集以实现三维重建。
本申请的三维重建模型的重建方法，利用了第一方面的三维重建模型的融合方法获取的融合重建模型实现高精度、高可靠性、高鲁棒性的三维重建。
第三方面，本申请还提供了一种三维重建模型的融合装置，用于融合多个点云融合模型，所述三维重建模型的融合装置包括：
获取模块，用于获取多个关于第一点云序列集的优质点云融合模型；
辅助模块，用于根据多个所述优质点云融合模型基于等值权重融合生成辅助评价模型；
去除模块，用于随机去除所述第一点云序列集中部分点云生成第二点云序列集；
损失模块，用于根据每个所述优质点云融合模型的第一输出与所述辅助评价模型的第二输出的范数差建立损失函数，所述第一输出为所述优质点云融合模型基于第一点云序列集产生的输出结果，所述第二输出为辅助评价模型基于第二点云序列集产生的输出结果；
更新模块，用于更新所述优质点云融合模型的参数至所述损失函数收敛；
融合模块，用于根据收敛后的损失函数设置每个所述优质点云融合模型的融合权重，并根据所述融合权重融合多个所述优质点云融合模型以获取融合重建模型。
本申请的三维重建模型的融合装置，利用多个优质点云融合模型建立辅助评价模型，并根据不同第一输出和第二输出的范数差建立损失函数，使得模型训练更新的过程中，多个优质点云融合模型作为整体朝向辅助评价模型进行综合优化，而辅助评价模型也基于优质点云融合模型的优化而继续优化，使得最终获取的融合重建模型能基于各个优质点云融合模型的优势来进行点云融合而实现三维重建，有效提高三维重建的重建精度、鲁棒性。
第四方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第五方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请提供了一种三维重建模型的融合方法、重建方法、装置、设备及介质，其中，三维重建模型的融合方法利用多个优质点云融合模型建立辅助评价模型，并根据不同第一输出和第二输出的范数差建立损失函数，使得模型训练更新的过程中，多个优质点云融合模型作为整体朝向辅助评价模型进行综合优化，而辅助评价模型也基于优质点云融合模型的优化而继续优化，在训练更新结束后，再基于优质点云融合模型与辅助评价模型的差异性设置每个优质点云融合模型的融合权重来构建融合重建模型，使得最终获取的融合重建模型能基于各个优质点云融合模型的优势来进行点云融合而实现三维重建，有效提高三维重建的重建精度、鲁棒性，同时利用第二点云序列集作为辅助评价模型的输入数据，可有效提高融合重建模型的稳定性和抗干扰能力，能有效避免融合重建模型中出现空洞等问题。
附图说明
图1为本申请实施例提供的三维重建模型的融合方法的流程图。
图2为本申请实施例提供的三维重建模型的重建方法的流程图。
图3为本申请实施例提供的三维重建模型的融合装置的结构示意图。
图4为本申请实施例提供的电子设备的结构示意图。
附图标记：201、获取模块；202、辅助模块；203、去除模块；204、损失模块；205、更新模块；206、融合模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一方面，请参照图1，本申请一些实施例提供了一种三维重建模型的融合方法，用于融合多个点云融合模型，三维重建模型的融合方法包括以下步骤：
S1、获取多个关于第一点云序列集的优质点云融合模型；
S2、根据多个优质点云融合模型基于等值权重融合生成辅助评价模型；
S3、随机去除第一点云序列集中部分点云生成第二点云序列集；
S4、根据每个优质点云融合模型的第一输出与辅助评价模型的第二输出的范数差建立损失函数，第一输出为优质点云融合模型基于第一点云序列集产生的输出结果，第二输出为辅助评价模型基于第二点云序列集产生的输出结果；
S5、更新优质点云融合模型的参数至损失函数收敛；
S6、根据收敛后的损失函数设置每个优质点云融合模型的融合权重，并根据融合权重融合多个优质点云融合模型以获取融合重建模型。
具体地，优质点云融合模型为用于融合点云序列进行三维重建的融合模型，应当理解的是，进行融合的多个优质点云融合模型应当为同类可进行融合的模型，在本申请实施例中，优质点云融合模型为机器学习模型，且优选为基于深度神经网络建立的模型，如基于FusionMapping、PointNet等网络结构建立的模型。
更具体地，多个优质点云融合模型为各自独立训练好的模型，且具有相对较好的点云融合能力，这些优质点云融合模型可以是从现有技术中的点云融合模型中选取，或者是根据使用需求重新构建，本申请实施例的三维重建模型的融合方法旨在通过融合多个优质点云融合模型来提高点云融合的全面性能，故优选为从现有技术中的点云融合模型中选取点云融合能力较好的模型作为优质点云融合模型。
更具体地，多模型融合进行点云融合的计算量比单个模型的进行点云融合的计算量要大，因此，本申请实施例的三维重建模型的融合方法主要应用在点云融合精度要求高的应用场景上，尤其是应用在大范围的复杂场景进行点云融合且具有大计算量的设备（一般带有GPU边缘计算单元的设备均满足该特性）上，以对在大范围复杂场景中获取的点云序列进行融合，以实现高精度的三维重建，尤其适用于融合无人机获取的点云序列进行三维地形重建。
更具体地，多个优质点云融合模型均具有不同的融合能力，且具有各自的融合优势，本申请实施例的方法旨在融合上述多个优质点云融合模型，以使得最终获取的融合重建模型能综合各个优质点云融合模型的优势来处理融合各方面的点云序列，从而实现点云序列全面性、高精度的融合以进行三维重建，即综合提高三维重建中不同位置的点云序列融合的准确度，并减少测量误差。
更具体地，在本申请实施例中，多个优质点云融合模型分别记为model1、model2、……modeln，n为优质点云融合模型的数量，定义model为辅助评价模型，记为：
Figure 225689DEST_PATH_IMAGE001
（1）
更具体地，基于式（1）可知，辅助评价模型为一个均值输出的模型，相当于是利用多个优质点云融合模型进行简易融合获取的融合模型，其基于等值权重进行生成，目的是在不偏袒这些优质点云融合模型的情况下进行三维重建，即辅助评价模型能平均综合各个优质点云融合模型的点云融合结果进行输出以进行三维重建；该辅助评价模型的输出结果能用于评价不同优质点云融合模型输出结果的优劣性、差异性。
更具体地，在步骤S3中，第一点云序列集一般记为X，满足
Figure 611671DEST_PATH_IMAGE002
，其中，X i 为第一点云序列集中一个时刻的所有点云数据，i=1,2……T，有：
Figure 125829DEST_PATH_IMAGE003
（2）
其中，m为该时刻X i 中的点云数量，x im 、y im 、z im 为第m个点云的三维坐标；步骤3随机去除部分点云的过程为随机去除每个X i 中的部分点云，从而生成第二点云序列集，记为
Figure 989880DEST_PATH_IMAGE004
。
更具体地，在本申请实施例中，第一点云序列集属于先验数据，即用于训练获取融合重建模型的点云数据集合，基于第一点云序列集随机去除部分点云生成的第二点云序列集相当于建立了一个缺失部分点云的点云数据集合。
更具体地，步骤S4获取的范数差表征了不同优质点云融合模型的点云融合效果与辅助评价模型的点云融合效果的差异程度，该差异程度越小，表明该优质点云融合模型的点云融合效果的全局性能越好；另外，辅助评价模型基于第二点云序列集输出的第二输出模拟了部分点云缺失的情形，基于该第二输出建立的损失函数在更新优化后，能有效增强系统的稳定性和抗干扰能力，且该损失函数能综合反映不同优质点云融合模型与辅助评价模型的整体关联性。
更具体地，更新优化损失函数的过程为使优质点云融合模型的第一输出靠近辅助评价模型的第二输出的过程，由于辅助评价模型为基于优质点云融合模型生成的，因此，在更新优化损失函数过程中辅助评价模型也根据优质点云融合模型优化而优化，使得辅助评价模型能针对第二点云序列集输出优质的点云融合结果，从而使得辅助评价模型对应的多个优质点云融合模型能面向第二点云序列集实现高精度、高抗干扰能力的点云融合处理；因此，步骤S5在更新损失函数后，能获取一个最优的辅助评价模型及与该辅助评价模型的整体输出差异程度最小的多个优质点云融合模型。
更具体地，在步骤S5更新后，辅助评价模型作为均值输出的模型能在平衡各个优质点云融合模型的输出结果的情况下输出较好的点云融合结果，但实际上，不同优质点云融合模型的输出结果与辅助评价模型的输出结果仍具有不同差异性，在损失函数收敛后，可认为优质点云融合模型的输出结果与辅助评价模型的输出结果的差异性表征了该优质点云融合模型在对应点云数据融合中的优劣性，即差距越小，优势越大，而该差异性可在损失函数中的范数差来获取，故需利用步骤S6根据输出结果的差异性赋予每个优质点云融合模型不同的融合权重以融合基于步骤S5训练后的优质点云融合模型，从而生成融合重建模型，该融合重建模型结合了不同优质点云融合模型的优势，并赋予对应的融合权重来进行放大或缩小对应的输出结果，具有高鲁棒性的特点。
本申请实施例的三维重建模型的融合方法，利用多个优质点云融合模型建立辅助评价模型，并根据不同第一输出和第二输出的范数差建立损失函数，使得模型训练更新的过程中，多个优质点云融合模型作为整体朝向辅助评价模型进行综合优化，而辅助评价模型也基于优质点云融合模型的优化而继续优化，在训练更新结束后，再基于优质点云融合模型与辅助评价模型的差异性设置每个优质点云融合模型的融合权重来构建融合重建模型，使得最终获取的融合重建模型能基于各个优质点云融合模型的优势来进行点云融合而实现三维重建，有效提高三维重建的重建精度、鲁棒性，同时利用第二点云序列集作为辅助评价模型的输入数据，可有效提高融合重建模型的稳定性和抗干扰能力，能有效避免融合重建模型中出现空洞等问题。
在一些优选的实施方式中，获取多个关于第一点云序列集的优质点云融合模型的步骤包括：
S11、建立具有多个点云融合模型的模型池；
S12、根据每个点云融合模型关于第一点云序列集的输出结果进行评分；
S13、将评分最高的多个点云融合模型设定为多个优质点云融合模型。
具体地，基于模型池获取多个优质点云融合模型可确保优质点云融合模型的可靠性，并能提高模型的复用性；模型池中的点云融合模型的数量需要综合考虑计算能力和场景需求进行设定，一般情况下，模型池中的点云融合模型越多，获取的优质点云融合模型的效果越好、鲁棒性越好。
更具体地，模型池中的点云融合模型的数量大于优质点云融合模型的数量。
更具体地，S12可基于单一条件或复合条件来对点云融合模型的输出结果进行评分，如点云融合的精度、点云融合的速度、模型的抗噪能力等，可根据评分选用的条件调用现有的评价算法进行评分，而评分选用的条件则可根据点云融合的应用场景进行选用，如本申请实施例的三维重建模型的融合方法主要应用在无人机进行的大范围复杂场景的点云融合中，则评分选用的条件应为点云融合的精度。
更具体地，步骤S13可以是基于评分对点云融合模型进行降序排列，将排名在前的多个点云融合模型设定为多个优质点云融合模型。
在一些优选的实施方式中，优质点云融合模型为五个。
具体地，由前述内容可知，优质点云融合模型数量越多，三维重建过程中的计算量越大，因此，本申请实施例的三维重建模型的融合方法将优质点云融合模型的数量限定为五个，该数量能保证最终获取的融合重建模型能进行高精度点云融合，并避免计算量过大而浪费设备资源。
更具体地，在该实施方式下，辅助评价模型表现为：
Figure 273094DEST_PATH_IMAGE005
（3）
该辅助评价模型在执行步骤S4产生第二输出相当于对五个优质点云融合模型基于第二点云序列集产生的输出结果进行等权重融合而产生的输出结果。
在一些优选的实施方式中，第二点云序列集的维度小于或等于第一点云序列集的维度，即有：
Figure 561468DEST_PATH_IMAGE006
，dim为维度符号。
具体地，第二点云序列集的维度小于第一点云序列集的维度时相当于点云缺少了部分维度的数据，使得最终获取的融合重建模型应用在三维重建时，能在点云缺少部分维度的情况下进行点云融合，具有高稳定性和高抗干扰能力。
在一些优选的实施方式中，根据每个优质点云融合模型的第一输出与辅助评价模型的第二输出的范数差建立损失函数的步骤包括：
S41、获取每个优质点云融合模型的第一输出与辅助评价模型的第二输出的范数差；
S42、基于等值权重叠加所有范数差建立损失函数。
具体地，损失函数基于等值权重叠加所有范数差建立，能使步骤S5更新损失函数的过程为降低所有范数差之和的过程，即使得多个优质点云融合模型综合性地朝向辅助评价模型进行优化。
更具体地，由于最终生成的融合重建模型为基于优化后的优质点云融合模型建立的，基于该损失函数进行多个优质点云融合模型和辅助评价模型的综合优化，能有效提高融合重建模型的构建速度，以及有效增强融合重建模型的鲁棒性。
更具体地，定义第i个优质点云融合模型的输出为f i ，则第i个优质点云融合模型的第一输出为
Figure 297343DEST_PATH_IMAGE007
，i=1,2……n，定义辅助评价模型的输出为f，则辅助评价模型的第二输出为：
Figure 965085DEST_PATH_IMAGE008
（4）
故步骤S42建立的损失函数loss表现为：
Figure 368384DEST_PATH_IMAGE009
（5）
在申请实施例中，优质点云融合模型优选为五个，故有：
Figure 830589DEST_PATH_IMAGE010
（6）
Figure 53760DEST_PATH_IMAGE011
（7）
其中，记所有优质点云融合模型的参数总集合为θ，步骤S5更新损失函数的过程为更新θ使损失函数总值下降的过程，在本申请实施例中，步骤S5优选为采用梯度下降法更新损失函数，即基于下式更新θ：
Figure 994035DEST_PATH_IMAGE012
（8）
其中，
Figure 986261DEST_PATH_IMAGE013
一次迭代更新后的θ，α为学习率，在本申请实施例中，优选为0.05，
Figure 884947DEST_PATH_IMAGE015
为偏导数符号。
更具体地，由于损失函数基于多个优质点云融合模型的输出结果进行建立，损失函数优化时间较长，因此，本申请实施例的三维重建模型的融合方法在θ迭代更新前后范数差的平方小于预设阈值时，认为损失函数收敛，并结束参数的优化更新，即在满足下式时结束步骤S5：
Figure 595414DEST_PATH_IMAGE016
（9）
其中，
Figure 339379DEST_PATH_IMAGE017
为预设阈值，在本申请实施例中，优选为0.03。
在一些优选的实施方式中，融合权重为归一化权重。
具体地，融合重建模型输出的结果为多个优质点云融合模型的输出结果的融合结果，因此，本申请实施例的三维重建模型的融合方法将融合权重设置为归一化权重。
在一些优选的实施方式中，步骤S6为根据损失函数中不同优质点云融合模型的第一输出与辅助评价模型的第二输出的范数差设定融合权重，即基于式（5）中的
Figure 186113DEST_PATH_IMAGE018
设定融合权重，其中，
Figure 255700DEST_PATH_IMAGE018
越大，表明对应的优质点云融合模型的第一输出与辅助评价模型的第二输出的差异性越大，故需要设置更小的融合权重，在本申请实施例中，融合权重定义为
Figure 453463DEST_PATH_IMAGE019
，满足：
Figure 266698DEST_PATH_IMAGE020
（10）
当优质点云融合模型为五个时，有：
Figure 233517DEST_PATH_IMAGE021
（11）
其中，e为自然常数；
具体地，经过上述公式进行赋值，能使得第一输出与第二输出差异性越大的优质点云融合模型赋予更小的融合权重，且该融合权重为归一化权重，能使得融合重建模型基于该融合权重顺利进行点云融合。
在一些优选的实施方式中，本申请实施例的融合重建模型为基于训练后的多个优质点云融合模型进行融合的模型，定义其输出为Out，则有：
Figure 346442DEST_PATH_IMAGE022
（12）
其中，该处
Figure DEST_PATH_IMAGE023
为需要融合的点云序列，若优质点云融合模型为五个，则有：
Figure DEST_PATH_IMAGE024
（13）
具体地，该融合重建模型将利用式（11）归一化获取的融合权重赋予给对应优化后的优质点云融合模型，并将对应优质点云融合模型的输出结果基于融合权重加权输出，从而输出点云融合结果以实现高精度、高可靠性、高鲁棒性的三维重建。
第二方面，请参照图2，本申请一些实施例还提供了一种三维重建模型的重建方法，用于三维地形的重建，三维重建模型的重建方法包括以下步骤：
A1、部署基于第一方面提供的三维重建模型的融合方法获取的融合重建模型；
A2、利用融合重建模型融合待融合的点云序列集以实现三维重建。
本申请实施例的三维重建模型的重建方法，利用了第一方面的三维重建模型的融合方法获取的融合重建模型实现高精度、高可靠性、高鲁棒性的三维重建，该三维重建模型的融合方法利用多个优质点云融合模型建立辅助评价模型，并根据不同第一输出和第二输出的范数差建立损失函数，使得模型训练更新的过程中，多个优质点云融合模型作为整体朝向辅助评价模型进行综合优化，而辅助评价模型也基于优质点云融合模型的优化而继续优化，在训练更新结束后，再基于优质点云融合模型与辅助评价模型的差异性设置每个优质点云融合模型的融合权重来构建融合重建模型，使得最终获取的融合重建模型能基于各个优质点云融合模型的优势来进行点云融合而实现三维重建，有效提高三维重建的重建精度、鲁棒性，同时利用第二点云序列集作为辅助评价模型的输入数据，可有效提高融合重建模型的稳定性和抗干扰能力，能有效避免融合重建模型中出现空洞等问题。
第三方面，请参照图3，本申请一些实施例还提供了一种三维重建模型的融合装置，用于融合多个点云融合模型，三维重建模型的融合装置包括：
获取模块201，用于获取多个关于第一点云序列集的优质点云融合模型；
辅助模块202，用于根据多个优质点云融合模型基于等值权重融合生成辅助评价模型；
去除模块203，用于随机去除第一点云序列集中部分点云生成第二点云序列集；
损失模块204，用于根据每个优质点云融合模型的第一输出与辅助评价模型的第二输出的范数差建立损失函数，第一输出为优质点云融合模型基于第一点云序列集产生的输出结果，第二输出为辅助评价模型基于第二点云序列集产生的输出结果；
更新模块205，用于更新优质点云融合模型的参数至损失函数收敛；
融合模块206，用于根据收敛后的损失函数设置每个优质点云融合模型的融合权重，并根据融合权重融合多个优质点云融合模型以获取融合重建模型。
本申请实施例的三维重建模型的融合装置，利用多个优质点云融合模型建立辅助评价模型，并根据不同第一输出和第二输出的范数差建立损失函数，使得模型训练更新的过程中，多个优质点云融合模型作为整体朝向辅助评价模型进行综合优化，而辅助评价模型也基于优质点云融合模型的优化而继续优化，在训练更新结束后，再基于优质点云融合模型与辅助评价模型的差异性设置每个优质点云融合模型的融合权重来构建融合重建模型，使得最终获取的融合重建模型能基于各个优质点云融合模型的优势来进行点云融合而实现三维重建，有效提高三维重建的重建精度、鲁棒性，同时利用第二点云序列集作为辅助评价模型的输入数据，可有效提高融合重建模型的稳定性和抗干扰能力，能有效避免融合重建模型中出现空洞等问题。
在一些优选的实施方式中，本申请实施例的三维重建模型的融合装置用于执行上述第一方面提供的三维重建模型的融合方法。
第四方面，请参照图4，本申请一些实施例还提供了一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
第五方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
综上，本申请实施例提供了一种三维重建模型的融合方法、重建方法、装置、设备及介质，其中，三维重建模型的融合方法利用多个优质点云融合模型建立辅助评价模型，并根据不同第一输出和第二输出的范数差建立损失函数，使得模型训练更新的过程中，多个优质点云融合模型作为整体朝向辅助评价模型进行综合优化，而辅助评价模型也基于优质点云融合模型的优化而继续优化，在训练更新结束后，再基于优质点云融合模型与辅助评价模型的差异性设置每个优质点云融合模型的融合权重来构建融合重建模型，使得最终获取的融合重建模型能基于各个优质点云融合模型的优势来进行点云融合而实现三维重建，有效提高三维重建的重建精度、鲁棒性，同时利用第二点云序列集作为辅助评价模型的输入数据，可有效提高融合重建模型的稳定性和抗干扰能力，能有效避免融合重建模型中出现空洞等问题。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维重建模型的融合方法，用于融合多个点云融合模型，其特征在于，所述三维重建模型的融合方法包括以下步骤：
获取多个关于第一点云序列集的优质点云融合模型，多个所述优质点云融合模型为各自独立训练好的模型；
根据多个所述优质点云融合模型基于等值权重融合生成辅助评价模型；
随机去除所述第一点云序列集中部分点云生成第二点云序列集；
根据每个所述优质点云融合模型的第一输出与所述辅助评价模型的第二输出的范数差建立损失函数，所述第一输出为所述优质点云融合模型基于第一点云序列集产生的输出结果，所述第二输出为辅助评价模型基于第二点云序列集产生的输出结果；
更新所述优质点云融合模型的参数至所述损失函数收敛；
根据收敛后的损失函数设置每个所述优质点云融合模型的融合权重，并根据所述融合权重融合多个所述优质点云融合模型以获取融合重建模型。
2.根据权利要求1所述的三维重建模型的融合方法，其特征在于，所述获取多个关于第一点云序列集的优质点云融合模型的步骤包括：
建立具有多个点云融合模型的模型池；
根据每个所述点云融合模型关于所述第一点云序列集的输出结果进行评分；
将评分最高的多个所述点云融合模型设定为多个所述优质点云融合模型。
3.根据权利要求1所述的三维重建模型的融合方法，其特征在于，所述优质点云融合模型为五个。
4.根据权利要求1所述的三维重建模型的融合方法，其特征在于，所述第二点云序列集的维度小于或等于所述第一点云序列集的维度。
5.根据权利要求1所述的三维重建模型的融合方法，其特征在于，所述根据每个所述优质点云融合模型的第一输出与所述辅助评价模型的第二输出的范数差建立损失函数的步骤包括：
获取每个所述优质点云融合模型的第一输出与所述辅助评价模型的第二输出的范数差；
基于等值权重叠加所有范数差建立损失函数。
6.根据权利要求1所述的三维重建模型的融合方法，其特征在于，所述融合权重为归一化权重。
7.一种三维重建模型的重建方法，用于三维地形的重建，其特征在于，所述三维重建模型的重建方法包括以下步骤：
部署基于权利要求1-6任一项所述的三维重建模型的融合方法获取的所述融合重建模型；
利用所述融合重建模型融合待融合的点云序列集以实现三维重建。
8.一种三维重建模型的融合装置，用于融合多个点云融合模型，其特征在于，所述三维重建模型的融合装置包括：
获取模块，用于获取多个关于第一点云序列集的优质点云融合模型，多个所述优质点云融合模型为各自独立训练好的模型；
辅助模块，用于根据多个所述优质点云融合模型基于等值权重融合生成辅助评价模型；
去除模块，用于随机去除所述第一点云序列集中部分点云生成第二点云序列集；
损失模块，用于根据每个所述优质点云融合模型的第一输出与所述辅助评价模型的第二输出的范数差建立损失函数，所述第一输出为所述优质点云融合模型基于第一点云序列集产生的输出结果，所述第二输出为辅助评价模型基于第二点云序列集产生的输出结果；
更新模块，用于更新所述优质点云融合模型的参数至所述损失函数收敛；
融合模块，用于根据收敛后的损失函数设置每个所述优质点云融合模型的融合权重，并根据所述融合权重融合多个所述优质点云融合模型以获取融合重建模型。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述方法中的步骤。
CN202211182424.5A 2022-09-27 2022-09-27 三维重建模型的融合方法、重建方法、装置、设备及介质 Active CN115272439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211182424.5A CN115272439B (zh) 2022-09-27 2022-09-27 三维重建模型的融合方法、重建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211182424.5A CN115272439B (zh) 2022-09-27 2022-09-27 三维重建模型的融合方法、重建方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115272439A CN115272439A (zh) 2022-11-01
CN115272439B true CN115272439B (zh) 2023-01-31

Family

ID=83757005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211182424.5A Active CN115272439B (zh) 2022-09-27 2022-09-27 三维重建模型的融合方法、重建方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115272439B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022016310A1 (zh) * 2020-07-20 2022-01-27 深圳元戎启行科技有限公司 基于点云数据的三维重建方法、装置和计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958482B (zh) * 2016-10-17 2021-06-18 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
CN112835037B (zh) * 2020-12-29 2021-12-07 清华大学 一种基于视觉和毫米波融合的全天候目标检测方法
CN112785611B (zh) * 2021-01-29 2021-10-12 昆明理工大学 一种3d点云弱监督语义分割方法及系统
CN114066960B (zh) * 2022-01-13 2022-04-22 季华实验室 三维重建方法、点云融合方法、装置、设备及存储介质
CN114078151B (zh) * 2022-01-19 2022-04-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022016310A1 (zh) * 2020-07-20 2022-01-27 深圳元戎启行科技有限公司 基于点云数据的三维重建方法、装置和计算机设备

Also Published As

Publication number Publication date
CN115272439A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN105512289B (zh) 基于深度学习和哈希的图像检索方法
CN106845621B (zh) 基于深度卷积神经网络的密集人群人数计数方法及系统
CN112287982A (zh) 一种数据预测方法、装置及终端设备
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
CN112001485B (zh) 一种组卷积数目搜索方法和装置
CN111625820A (zh) 一种基于面向AIoT安全的联邦防御方法
CN104360896A (zh) 一种基于gpu集群的并行流体仿真加速方法
CN111563192A (zh) 实体对齐方法、装置、电子设备及存储介质
CN111121784B (zh) 一种无人侦察机航路规划方法
CN107452061A (zh) 基于倾斜摄影技术的建筑物模型的生成方法、装置、设备及计算机可读存储介质
WO2016095068A1 (en) Pedestrian detection apparatus and method
CN106408653A (zh) 一种面向大规模三维重建的实时鲁棒的集束调整方法
CN106373199A (zh) 一种倾斜摄影建筑物模型快速提取方法
CN106127244A (zh) 一种并行化K‑means改进方法及系统
CN115272439B (zh) 三维重建模型的融合方法、重建方法、装置、设备及介质
CN111310344A (zh) 一种林火蔓延模拟中考虑风场与火场耦合作用的方法
CN106407932A (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
CN109102446A (zh) 基于区块链的航拍社区信息管理方法及系统
CN116088586B (zh) 一种无人机作战过程中的临机任务规划的方法
CN111383357A (zh) 一种适应目标数据集的网络模型微调方法、系统、终端和存储介质
CN109785395A (zh) 一种全景模型参数优化方法及系统
CN109544329A (zh) 撮合匹配方法、装置和系统
CN112121435B (zh) 游戏寻路方法、装置、服务器和存储介质
CN110223125B (zh) 节点位置核边收益算法下用户位置获取方法
CN103823843A (zh) 一种高斯混合模型树及其递增聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant