CN114078151B - 一种点云融合方法、装置、电子设备及存储介质 - Google Patents

一种点云融合方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114078151B
CN114078151B CN202210061609.4A CN202210061609A CN114078151B CN 114078151 B CN114078151 B CN 114078151B CN 202210061609 A CN202210061609 A CN 202210061609A CN 114078151 B CN114078151 B CN 114078151B
Authority
CN
China
Prior art keywords
point cloud
information
fusion
image
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210061609.4A
Other languages
English (en)
Other versions
CN114078151A (zh
Inventor
张晟东
邓涛
李志建
蔡维嘉
王济宇
古家威
张立华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210061609.4A priority Critical patent/CN114078151B/zh
Publication of CN114078151A publication Critical patent/CN114078151A/zh
Application granted granted Critical
Publication of CN114078151B publication Critical patent/CN114078151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Abstract

本发明涉及数据融合技术领域，具体公开了一种点云融合方法、装置、电子设备及存储介质，其中，方法包括以下步骤：获取点云信息和与点云信息对应的图像信息；对点云信息进行低频滤波处理获取有效点云信息；将有效点云信息转换为点云迭代值；将图像信息整合转换为图像迭代值；提取点云特征信息和图像特征信息；根据点云特征信息和图像特征信息建立损失函数；根据自适应梯度下降算法更新损失函数，直至损失函数收敛；获取损失函数收敛时的融合权重，作为点云信息的泛化融合权重以融合点云信息；该方法以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。

Description

一种点云融合方法、装置、电子设备及存储介质
技术领域
本申请涉及数据融合技术领域，具体而言，涉及一种点云融合方法、装置、电子设备及存储介质。
背景技术
四足机器人依托于其在崎岖地形能保存平衡行走的优势和在非结构化、危险和严酷的环境下应用广泛。
四足机器人一般要面对室内外高动态、高复杂度的环境，包括丛林、灾难现场和工厂等场景，这些场景具有环境复杂、语义信息多、地形不规则和不平坦的特点。
传统移动机器人上的点云融合方法无法应用于四足机器人，一是复杂环境点云融合处理信息量巨大，四足机载处理器难以满足使用要求。目前有一些针对于四足机器人自主移动的点云融合方法被提出，包括平坦地形与不平坦地形方法切换算法、预先建立地图再3D视觉点云融合方法和双目相机半全局匹配点云融合等算法，但这些方法或多或少地存在着适应场景少、计算时间长和匹配效果差等缺点。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种点云融合方法、装置、电子设备及存储介质，能适用于不同场景且具有计算速度快、匹配效果好的特点。
第一方面，本申请提供了一种点云融合方法，用于融合四足机器人采集的点云信息，所述方法包括以下步骤：
获取所述点云信息和与所述点云信息对应的图像信息；
对所述点云信息进行低频滤波处理获取有效点云信息；
设定融合权重将所述有效点云信息转换为点云迭代值；
设定整合权重将所述图像信息整合转换为图像迭代值；
根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息；
根据所述点云特征信息和所述图像特征信息建立损失函数；
根据自适应梯度下降算法更新所述损失函数，直至所述损失函数收敛；
获取所述损失函数收敛时的融合权重，作为所述点云信息的泛化融合权重以融合所述点云信息。
本申请的一种点云融合方法结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
所述的一种点云融合方法，其中，所述对所述点云信息进行低频滤波处理获取有效点云信息的步骤包括：
基于所述点云信息进行凸包构建获取凸多面体；
根据所述凸多面体的平面生成点云法线，并根据法线差分算法对所述点云信息进行低频滤波，获取所述有效点云信息。
该示例的一种点云融合方法，将法线差分算法作为凸多面体的平面评价标准，以采用不同度量对平面生成点云法线，并将该平面及附近的近似平面均视为同一平面，以将这些近似平面内的点云视为低频部分，从而将这些近似平面内的点云去除，以实现点云信息的低频滤波，迅速地将点云信息中的定频部分去除。
所述的一种点云融合方法，其中，所述基于所述点云信息进行凸包构建获取凸多面体的步骤包括：
选取所述点云信息中的四个不共面的点云建立凸多面体；
基于所述点云信息中位于所述凸多面体外的点云逐步扩大所述凸多面体，直至所述凸多面体包围所述点云信息中的所有点云。
该示例的一种点云融合方法采用点云搜索的方式可有序且迅速地完成凸多面体的构建。
所述的一种点云融合方法，其中，所述根据所述凸多面体的平面生成点云法线，并根据法线差分算法对所述点云信息进行低频滤波，获取所述有效点云信息的步骤包括：
设定第一邻域半径和第二邻域半径，所述第一邻域半径大于所述第二邻域半径；
根据所述第一邻域半径和所述第二邻域半径分别计算所述凸多面体各面的第一法线和第二法线；
根据所述法线差分算法计算所述凸多面体每个面的所述第一法线和所述第二法线的差分值范数；
去除所述差分值范数小于差分阈值的平面对应的点云信息中的点云，以获取有效点云信息。
所述的一种点云融合方法，其中，所述根据所述点云迭代值和所述图像迭代值分别提取点云特征信息和图像特征信息的步骤包括：
对所述点云迭代值逐步进行3D特征提取、深度信息加权融合、2D特征提取和特征降采样提取，以获取所述点云特征信息；
对所述图像迭代值逐步进行2D特征提取和特征降采样提取，以获取所述图像特征信息。
所述的一种点云融合方法，其中，所述损失函数为MSE损失函数。
在该示例的一种点云融合方法中，MSE损失函数随着误差的减小，梯度也在减小，从而能实现快速收敛。
所述的一种点云融合方法，其中，所述根据自适应梯度下降算法更新所述损失函数，直至所述损失函数收敛的步骤包括：
根据所述融合权重定义所述损失函数的转换参数；
根据所述损失函数的上一时刻的所述转换参数的梯度建立当前时刻的自适应梯度下降函数；
根据所述自适应梯度下降函数更新所述转换参数以更新所述损失函数，直至所述损失函数收敛。
第二方面，本申请还提供了一种点云融合装置，用于融合四足机器人采集的点云信息，所述装置包括：
获取模块，用于获取所述点云信息和与所述点云信息对应的图像信息；
滤波模块，用于对所述点云信息进行低频滤波处理获取有效点云信息；
第一设定模块，用于设定融合权重将所述有效点云信息转换为点云迭代值；
第二设定模块，用于设定整合权重将所述图像信息整合转换为图像迭代值；
特征提取模块，用于根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息；
损失函数模块，用于根据所述点云特征信息和所述图像特征信息建立损失函数；
更新模块，用于根据自适应梯度下降算法更新所述损失函数，直至所述损失函数收敛；
融合模块，用于获取所述损失函数收敛时的融合权重，作为所述点云信息的泛化融合权重以融合所述点云信息。
本申请的一种点云融合装置，结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
第三方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请提供了一种点云融合方法、装置、电子设备及存储介质，其中，点云融合方法先对点云信息进行低频滤波处理，然后基于点云信息及与点云信息关联的图像信息提取特征并建立损失函数，即利用图像信息的整合效果与点云信息的融合效果作对比而对点云信息的融合效果进行评价，并利用自适应梯度下降算法使损失函数快速收敛，从而获取泛化融合权重，该方法结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
附图说明
图1为本申请实施例提供的一种点云融合方法的流程图。
图2为本申请实施例提供的一种点云融合装置的结构示意图。
图3为根据有效点云信息和图像信息建立损失函数的流程图。
图4为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
要实现四足机器人在未知环境下的自主移动，一般需在四足机器人上搭载RGB-D相机传感器和/或激光雷达传感器。由于激光雷达价格较为昂贵，在四足机器人机身上搭载RGB-D相机进行感知更有实际意义。
在基于RGB-D相机进行感知的机器人自主移动过程中，RGB-D传感器点云融合非常关键，是四足机器人进行外部环境三维重建、感知和SLAM（simultaneous localizationand mapping，同步定位与建图）的关键步骤。
四足机器人一般要面对室内外高动态、高复杂度的环境，包括丛林、灾难现场和工厂等场景，这些场景具有环境复杂、语义信息多、地形不规则和不平坦的特点。另外，相比于传统的轮式移动机器人，四足机器人通过关节电机、连杆等结构组成，结构不够紧凑，加上控制算法复杂，行走过程中机身的晃动更大。
基于上述这些原因，传统移动机器人上的点云融合方法无法应用于四足机器人，一是复杂环境点云融合处理信息量巨大，四足机载处理器难以满足使用要求；二是由于结构等原因产生的抖动会导致点云生成中会产生大量噪点，导致融合匹配鲁棒性低。
现有的四足机器人点云融合方法存在着适应场景少、计算时间长和匹配效果差等缺点。
第一方面，请参照图1，图1是本申请一些实施例中的一种点云融合方法，用于融合四足机器人采集的点云信息，方法包括以下步骤：
S1、获取点云信息和与点云信息对应的图像信息；
具体地，该点云信息和图像信息由四足机器人搭载的传感器采集所得。
更具体地，四足机器人搭载有RGB-D相机，RGB-D相机能采集具有深度信息的图像，该点云信息和图像信息均采集自RGB-D相机，其中点云信息为三维点云数据；图像信息则为RGB-D相机采集的不包含深度信息的图像数据。
更具体地，点云信息和图像信息均来自RGB-D相机，故点云信息中的点云与图像信息中的像素点对应，同时对点云信息中点云和图像信息中像素点编排序列即可使点云信息和图像信息相互对应。
S2、对点云信息进行低频滤波处理获取有效点云信息；
具体地，点云信息生成过程中会产生大量噪点，尤其是抖动等原因产生的噪点会表现为与邻近点云位置略微偏移，这些噪点会导致融合匹配鲁棒性低，故需要对点云信息进行低频滤波处理以对点云信息去噪，获取有效点云信息。
更具体地，有效点云信息能清晰反映实际环境形态，基于有效点云信息进行点云融合能提高融合匹配鲁棒性和点云融合精度。
S3、设定融合权重将有效点云信息转换为点云迭代值；
具体地，点云迭代值为不同时刻点云融合过程中的有效点云信息的迭代值，该点云迭代值为点云融合过程中的迭代值，即获取准确的点云迭代值能使不同时刻的有效点云信息进行有效融合；点云迭代值由当前时刻的有效点云信息与上一时刻的点云迭代值融合产生；而上一时刻的点云迭代值则由上一时刻的有效点云信息与上上一时刻的点云迭代值融合产生，如此类推，点云迭代值可以结合所有时刻的有效点云信息组合表示，每个时刻的有效点云信息在当前时刻的点云迭代值中占有不同的权重，故有效点云信息可以结合融合权重以转换为点云迭代值。
更具体地，融合权重为一个可变参数，在本申请实施例中的点云融合方法定义融合权重设计点云迭代值，能通过更新融合权重的方法调整点云迭代值进而改变点云融合效果；假设在获取了融合效果最优的融合权重的情况下，在本申请实施例中的点云融合方法可基于点云迭代值将不同时刻的有效点云信息进行高精度融合。
S4、设定整合权重将图像信息整合转换为图像迭代值；
具体地，图像迭代值为不同时刻图像整合过程中的图像信息的迭代值，与点云迭代值转换原理一致，图像迭代值可以结合所有时刻的图像信息组合表示。
更具体地，整合权重为一个可变参数，在本申请实施例中的点云融合方法定义整合权重设计图像迭代值，能通过更新整合权重的方法调整图像迭代值进而改变图像整合效果。
S5、根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息；
具体地，点云特征信息和图像特征信息属于同一层级的神经网络数据，能作为相互比较、印证或调节的数据。
更具体地，点云特征信息用于表征该点云信息的数据集的属性，在本申请实施例中优选为FNN（前馈神经网络）层的特征。
更具体地，图像特征信息用于表征该图像信息的数据集的属性，在本申请实施例中优选为FNN（前馈神经网络）层的特征。
更具体地，前馈神经网络是一种最简单的神经网络，各神经元分层排列，每个神经元只与前一层的神经元相连且各层间没有反馈；根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息，能作为将点云信息和图像信息关联在一起进行比较的基础信息。
S6、根据点云特征信息和图像特征信息建立损失函数；
具体地，该损失函数用于评价点云特征信息和图像特征信息的差异程度，由于点云特征信息和图像特征信息的来源于点云迭代值和图像迭代值，故该损失函数间接评价点云迭代值和图像迭代值的差异程度，而点云迭代值和图像迭代值分别是有效点云信息基于融合权重融合转换所得和图像信息基于整合权重整合转换所得，且点云信息和图像信息为RGB-D相机采集的且相互对应关联数据，即融合前点云信息和整合前的图像信息为具有对应关系，故该损失函数能评价融合权重和整合权重与差异程度的关系，即损失函数越收敛，对应的点云特征信息和图像特征信息匹配程度越好，即对应的融合权重越能促进点云融合效果。
S7、根据自适应梯度下降算法更新损失函数，直至损失函数收敛；
具体地，本申请实施例的自适应梯度下降算法是一种优化算法，其中心思想是沿着该损失函数梯度方向更新函数中各个权重参数，以利用权重参数权值衰减的方式使损失函数尽可能最小化，最终使得损失函数收敛，即使得此时点云特征信息和图像特征信息重合度最高。
S8、获取损失函数收敛时的融合权重，作为点云信息的泛化融合权重以融合点云信息。
具体地，损失函数收敛时表明此时点云特征信息和图像特征信息重合度最高，即使得有效点云信息转换为点云迭代值的效果与图像信息转换为图像迭代值的效果最接近，即有效点云信息的融合效果与图像信息的整合效果最接近，从而利用了与有效点云信息融合前具有对应关系的图像信息的整合结果来评价有效点云信息的融合效果，并将点云特征信息和图像特征信息重合度最高时的融合权重视为最佳融合权重，以该最佳融合权重作为点云信息的泛化融合权重以融合点云信息，即在融合算法中利用该泛化融合权重计算点云迭代值以进行有效点云信息的融合。
本申请实施例的一种点云融合方法，先对点云信息进行低频滤波处理，然后基于点云信息及与点云信息关联的图像信息提取特征并建立损失函数，即利用图像信息的整合效果与点云信息的融合效果作对比而对点云信息的融合效果进行评价，并利用自适应梯度下降算法使损失函数快速收敛，从而获取泛化融合权重，该方法结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
在一些优选的实施方式中，融合权重为关于不同时刻有效点云信息的第一增广矩阵。
具体地，由于点云迭代值可以结合所有时刻的有效点云信息组合表示且每个时刻的有效点云信息在当前时刻的点云迭代值中占有不同的权重，故融合权重包含关联于不同时刻有效点云信息的权重系数，在本申请实施例中融合权重优选为第一增广矩阵，以简化算法结构组成。
在一些优选的实施方式中，整合权重为关于不同时刻图像信息的第二增广矩阵。
具体地，与第一增广矩阵类似，在本申请实施例中整合权重优选为第二增广矩阵，以简化算法结构组成。
在一些优选的实施方式中，对点云信息进行低频滤波处理获取有效点云信息的步骤包括：
S21、基于点云信息进行凸包构建获取凸多面体；
具体地，凸多面体用于凸包所有点云信息，以初步反映同一时刻采集的点云信息中所有点云的分布形态，以一个凸多面体模型呈现出来。
S22、根据凸多面体的平面生成点云法线，并根据法线差分算法对点云信息进行低频滤波，获取有效点云信息。
具体地，法线差分算法是基于不同度量对应同一位置点获取不同法线，并基于不同法线的差异判断该位置点附近平面是否近似的算法，在本申请实施例中，将该算法作为凸多面体的平面评价标准，以采用不同度量对平面生成点云法线，并将该平面及附近的近似平面均视为同一平面，以将这些近似平面内的点云视为低频部分，从而将这些近似平面内的点云去除，以实现点云信息的低频滤波，迅速地将点云信息中的定频部分去除。
更具体地，现有的点云信息滤波算法一般需要遍历点云信息中所有点云，并对每个点云进行计算以去除点云信息中的低频部分，而本申请实施例的方法则是基于点云信息构建能表征点云分布形态的凸多面体，然后利用法线差分算法对凸多面体进行滤波，将凸多面体中的低频面滤去以将点云信息中的低频点云滤去，该滤波方式无需遍历所有点云，对凸多面体进行滤波的处理方式的计算量、复杂度远远低于对点云进行滤波的处理方式的计算量、复杂度，从而有效降低了点云滤波处理的难度，有效提高点云滤波处理的运算速度和精度。
在一些优选的实施方式中，基于点云信息进行凸包构建获取凸多面体的步骤包括：
S211、选取点云信息中的四个不共面的点云建立凸多面体；
具体地，三维空间上任三个点可组成一个平面，故仅需确保第四个获取的点云不在前三个获取的点云共同所在的平面中便能建立凸多面体。
更具体地，由四个不共面的点云建立凸多面体为三维空间四面体。
S212、基于点云信息中位于凸多面体外的点云逐步扩大凸多面体，直至凸多面体包围点云信息中的所有点云。
具体地，建立凸多面体后，搜索下一个点云，判断该点云是否在凸多面体外，若该点云不在凸多面体外则跳过该点云，若该点云在凸多面体外则基于该点云与凸多面体连线以扩大凸多面体，然后重复执行搜索过程，直至遍历所有点云，以生成一个将点云信息中所有点云包围在内的凸多面体（点云可以在凸多面体的点、线、面上）。
更具体地，扩大凸多面体的过程是通过点云与凸多面体边线连线实现的，但随着凸多面体扩大，其面数逐渐增多，点云的连线也复杂起来，故在本申请实施例中为将点云连接在与该点云混合积大于0的面的边线上。
更具体地，凸多面体搜索点云进行扩大时的搜索顺序优选是根据点云信息采集时的序列进行搜索。
更具体地，本申请实施例的方法采用点云搜索的方式可有序且迅速地完成凸多面体的构建。
在一些优选的实施方式中，根据凸多面体的平面生成点云法线，并根据法线差分算法对点云信息进行低频滤波，获取有效点云信息的步骤包括：
S221、设定第一邻域半径和第二邻域半径，第一邻域半径大于第二邻域半径；
具体地，随着凸多面体的扩大构建，其表面也会逐渐细分，故对凸多面体某一面计算获取面法线时，相当于将该面视为一个顶点获取顶点法线，从而使得本申请实施例可以借助法线差分算法对凸多面体的平面进行滤波。
更具体地，法线差分算法需要设定至少两个不同尺度的邻域半径，不同邻域半径设定的邻域内包含的凸多面体的平面数量不同（对应的点云数量也不同）。
S222、根据第一邻域半径和第二邻域半径分别计算凸多面体各面的第一法线和第二法线；
具体地，由于不同邻域半径设定的邻域内包含的凸多面体的平面数量不同，故对同一平面（可视为一个顶点）基于第一邻域半径和第二邻域半径进行计算能获取不同的法向向量，即第一法线和第二法线，遍历凸多面体的每个平面便能获取每个平面在第一邻域半径和第二邻域半径尺度下的第一法线和第二法线。
S223、根据法线差分算法计算凸多面体每个面的第一法线和第二法线的差分值范数；
具体地，第一法线和第二法线的差分值范数能反映该平面在不同尺度下的与邻近平面的变化关系。
S224、去除差分值范数小于差分阈值的平面对应的点云信息中的点云，以获取有效点云信息。
具体地，在变化关系足够小的情况下，可以将两个邻域半径之间的变化视为低频部分，进而将该部分平面视为相似平面，以滤去这些低频部分内的点云，从而获取有效点云信息。
更具体地，在申请实施例中，设置差分阈值作为低频部分的判断标准，即差分值范数小于差分阈值的平面在两个邻域半径内的平面为低频部分；在本申请实施例中，差分阈值为预设值，优选为0.1。
更具体地，该低频部分的平面表征了这些平面变化幅度不大，这些部分的点云制约了整个点云融合的计算效率，且属于无意义数据，滤去这些点云能有效提高点云融合效率和精度。
本申请实施例的方法利用法线差分算法计算凸多面体每个面的第一法线和第二法线的差分值范数，并基于差分阈值判断获取低频平面以去除对应点云信息中的点云，实现了有效提高点云滤波处理的运算速度和精度。
在一些优选的实施方式中，根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息的步骤包括：
S51、对点云迭代值逐步进行3D特征提取、深度信息加权融合、2D特征提取和特征降采样提取，以获取点云特征信息；
具体地，如图3所示，该步骤主要是将点云迭代值转换并提取成能用于比较点云信息和图像信息关联性的特征信息；由于点云迭代值是根据有效点云信息融合获取的，故其属于三维数据，需要经过3D特征提取、深度信息加权融合、2D特征提取和特征降采样提取处理才能获取前馈神经网络特征。
S52、对图像迭代值逐步进行2D特征提取和特征降采样提取，以获取图像特征信息。
具体地，该步骤主要是将图像迭代值转换并提取成能用于比较点云信息和图像信息关联性的特征信息；由于图像迭代值是根据图像信息整合获取的，故其属于二维数据，需要经过2D特征提取和特征降采样提取处理才能获取前馈神经网络特征。
在一些优选的实施方式中，损失函数为MSE损失函数。
具体地，MSE损伤函数即均方方差损失函数，其统计参数是预测数据和原始数据对应点误差的平方和的均值，其具有曲线光滑、连续、处处可导的特点，便于使用梯度下降算法进行更新计算；MSE损失函数随着误差的减小，梯度也在减小，从而能实现快速收敛。
在一些优选的实施方式中，根据自适应梯度下降算法更新损失函数，直至损失函数收敛的步骤包括：
S71、根据融合权重定义损失函数的转换参数；
具体地，该转换参数包含了有效点云信息和图像信息转换至损失函数过程中涉及的可变参数项，即包含了融合权重、整合权重以及根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息过程中的提取参数。
S72、根据损失函数的上一时刻的转换参数的梯度建立当前时刻的自适应梯度下降函数；
S73、根据自适应梯度下降函数更新转换参数以更新损失函数，直至损失函数收敛。
具体地，该转换参数更新过程属于神经网络学习过程，基于自适应梯度下降函数更新转换参数中的所有可变参数，直至使得损失函数收敛至最小，即此时转换参数中的可变参数对应的值能使得点云特征信息和图像特征信息最匹配，即对应的点云迭代值和图像迭代值最匹配，即有效点云信息的融合效果与图像信息的整合效果最匹配。
第二方面，请参照图2，图2是本申请一些实施例中提供的一种点云融合装置，用于融合四足机器人采集的点云信息，装置包括：
获取模块201，用于获取点云信息和与点云信息对应的图像信息；
滤波模块202，用于对点云信息进行低频滤波处理获取有效点云信息；
第一设定模块203，用于设定融合权重将有效点云信息转换为点云迭代值；
第二设定模块204，用于设定整合权重将图像信息整合转换为图像迭代值；
特征提取模块205，用于根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息；
损失函数模块206，用于根据点云特征信息和图像特征信息建立损失函数；
更新模块207，用于根据自适应梯度下降算法更新损失函数，直至损失函数收敛；
融合模块208，用于获取损失函数收敛时的融合权重，作为点云信息的泛化融合权重以融合点云信息。
本申请实施例的一种点云融合装置，结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
在一些优选的实施方式中，采用上述一种点云融合装置执行第一方面提供的一种点云融合方法。
第三方面，请参照图4，图4为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备3，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
实施例1
该实施例以一个获取泛化融合权重以进行点云融合的过程为例阐述本申请第一方面提供的一种点云融合方法，该方法包括以下步骤：
A1、获取四足机器人上RGB-D相机采集的点云信息和与点云信息对应的图像信息。
A2、对点云信息进行凸包构建获取包含点云信息中所有点云的凸多面体，具体过程如下：
选定点云信息中四个不共面的点云组成四面体形状的凸多面体；
搜索下一个点云，若当前搜索的点云在凸多面体内部则继续搜索下一个点云，若搜索到的点云不在凸多面体内，则判断该点云与各表面的对应混合积是否大于0，将混合积大于0的面连接至该点云上以扩大凸多面体，使得新的凸多面体包含该点云；
搜索遍历所有点云后生成包含所有点云的凸多面体。
A3、设定第一邻域半径r l 和第二邻域半径r s ，其中r l >r s ，选中凸多面体的一平面计算法线，将该平面定义为P，则对应于两个邻域半径分别获取第一法线
Figure 53280DEST_PATH_IMAGE001
和第二法线
Figure 563896DEST_PATH_IMAGE002
。
A4、计算法线差，即通过
Figure 812475DEST_PATH_IMAGE003
计算获取差分值范数
Figure 801159DEST_PATH_IMAGE004
；
A5、判断差分值范数
Figure 818794DEST_PATH_IMAGE004
是否小于差分阈值ρ，当
Figure 234732DEST_PATH_IMAGE005
时，去除对应部分平面内的点云，这些点云为低频信息，该算法复杂度为
Figure 970606DEST_PATH_IMAGE006
（其中，O为时间复杂度算法，n为时间复杂度算法中问题的规模，时间复杂度算法用于评价解决对应问题的算法的效率），有效降低了点云信息低频滤波的复杂度，从而提高滤波效率和精度。
A6、遍历凸多面体所有平面以执行步骤A3-A5以去除点云信息中所有低频信息。
A7、设定x t 为t时刻的有效点云信息，设y t 为t时刻的图像信息，x' t 为t时刻的点云迭代值，y' t 为t时刻的图像迭代值，且有x' 0 =0，y' 0 =0；
点云迭代值满足：
Figure 762982DEST_PATH_IMAGE007
；
根据x' t 和x' t-1 的迭代关系可知x' t 可以由x 0 到x t 的线性表示，即：
Figure 697440DEST_PATH_IMAGE008
（1）
其中，
Figure 159645DEST_PATH_IMAGE009
和
Figure 507450DEST_PATH_IMAGE010
为表出系数，
Figure 447724DEST_PATH_IMAGE010
=0.99，
Figure 567514DEST_PATH_IMAGE009
=
Figure 466200DEST_PATH_IMAGE010
，有
Figure 973405DEST_PATH_IMAGE011
=0.99t；T表示参与计算的时间总量，
Figure 842004DEST_PATH_IMAGE012
为融合权重，为一个增广矩阵，b 1 为融合偏置，R t+1 为融合偏置b 1 的预设的可选补偿值；
同理，图像迭代值满足：
Figure 954316DEST_PATH_IMAGE013
，故y' t 可以表示为：
Figure 882958DEST_PATH_IMAGE014
（2）
其中，
Figure 815142DEST_PATH_IMAGE015
为表出系数，
Figure 487432DEST_PATH_IMAGE015
=0.99，
Figure 454251DEST_PATH_IMAGE016
=0.99t，
Figure 819373DEST_PATH_IMAGE017
为整合权重，为一个增广矩阵，b 2 为整合偏置，R t+1 为融合偏置b 2 的预设的可选补偿值。
A8、对x' t 进行转换提取点云特征信息
Figure 238853DEST_PATH_IMAGE018
，
Figure 714834DEST_PATH_IMAGE018
满足：
Figure 536159DEST_PATH_IMAGE019
（3）
其中，该提取过程先对x' t 进行3D-CNN层特征提取，3D-CNN层的激活函数为f 3 ，3D-CNN层提取参数为
Figure 72183DEST_PATH_IMAGE020
，完成3D特征提取后经由加权组合层实现3D-CNN特征的深度信息加权融合，该加权融合过程的激活函数为f 4 、加权融合参数为
Figure 978959DEST_PATH_IMAGE021
，完成加权融合后进行2D-CNN层特征提取，2D-CNN层的激活函数为f 5 ，2D-CNN层提取参数为
Figure 993051DEST_PATH_IMAGE022
，完成2D-CNN层特征提取后进行FNN层降采样，FNN层降采样激活函数为f 6 ，降采样权重为
Figure 731200DEST_PATH_IMAGE023
，降采样偏置为b4。
其中，3D-CNN层的激活函数为f 3 、加权融合过程的激活函数f 4 、2D-CNN层的激活函数为f 5 及FNN层降采样的激活函数f 6 均为现有技术函数，在此不做详述。
A9、对y' t 进行转换提取图像特征信息
Figure 313491DEST_PATH_IMAGE024
，
Figure 829268DEST_PATH_IMAGE024
满足：
Figure 522417DEST_PATH_IMAGE025
；
其中，该提取过程先对y' t 进行2D-CNN层特征提取，2D-CNN层的激活函数为f 1 ，2D-CNN层提取参数为
Figure 177389DEST_PATH_IMAGE026
，完成2D-CNN层特征提取后进行FNN层降采样，FNN层降采样激活函数为f 2 ，降采样权重为
Figure 930582DEST_PATH_IMAGE027
，降采样偏置为b 3 。
其中，2D-CNN层的激活函数为f 1 及FNN层降采样的激活函数f 2 均为现有技术函数，在此不做详述。
A10、根据点云特征信息
Figure 671005DEST_PATH_IMAGE018
和图像特征信息
Figure 167845DEST_PATH_IMAGE024
建立MSE损失函数loss，满足：
Figure 942903DEST_PATH_IMAGE028
（4）
A11、定义转换参数
Figure 601417DEST_PATH_IMAGE029
，θ 0 为随机初始化的值，则MSE损失参数loss对应于上一时刻的转换参数θ t-1 的梯度为：
Figure 94716DEST_PATH_IMAGE030
（5）
A12、基于梯度g t 构建自适应梯度块v t ，使v t 满足：
Figure 926405DEST_PATH_IMAGE031
（6）
其中，β为梯度系数，β=0.9，使v t 最终收敛为
Figure 24811DEST_PATH_IMAGE032
。
结合v t 和θ t 有以下迭代关系：
Figure 854227DEST_PATH_IMAGE033
（7）
其中，α=0.05，
Figure 834822DEST_PATH_IMAGE034
为一个无穷小的量，用于避免θ t 无解，在本实施例中，
Figure 673465DEST_PATH_IMAGE034
=10-6。
A13、基于式（7）更新loss，直至loss收敛，从此时的θ t 中提取
Figure 829639DEST_PATH_IMAGE012
作为泛化融合权重，用于获取点云迭代值进行点云融合。
综上，本申请实施例提供了一种点云融合方法、装置、电子设备及存储介质，其中，点云融合方法先对点云信息进行低频滤波处理，然后基于点云信息及与点云信息关联的图像信息提取特征并建立损失函数，即利用图像信息的整合效果与点云信息的融合效果作对比而对点云信息的融合效果进行评价，并利用自适应梯度下降算法使损失函数快速收敛，从而获取泛化融合权重，该方法结合图像信息和点云信息进行点云融合，能适应不同复杂场景使用，且以图像信息整合提取的特征作为点云信息融合提取的特征的评价方式为点云融合增加了关联的评判对象，能有效提高融合计算速度和匹配鲁棒性。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种点云融合方法，用于融合四足机器人采集的点云信息，其特征在于，所述方法包括以下步骤：
获取所述点云信息和与所述点云信息对应的图像信息；
对所述点云信息进行低频滤波处理获取有效点云信息；
设定融合权重将所述有效点云信息转换为点云迭代值,点云迭代值为不同时刻点云融合过程中的有效点云信息的迭代值；
设定整合权重将所述图像信息整合转换为图像迭代值,图像迭代值为不同时刻图像整合过程中的图像信息的迭代值；
根据所述点云迭代值和所述图像迭代值分别提取点云特征信息和图像特征信息；
根据所述点云特征信息和所述图像特征信息建立损失函数；
根据自适应梯度下降算法更新所述损失函数，直至所述损失函数收敛；
获取所述损失函数收敛时的融合权重，作为所述点云信息的泛化融合权重以融合所述点云信息。
2.根据权利要求1所述的一种点云融合方法，其特征在于，所述对所述点云信息进行低频滤波处理获取有效点云信息的步骤包括：
基于所述点云信息进行凸包构建获取凸多面体；
根据所述凸多面体的平面生成点云法线，并根据法线差分算法对所述点云信息进行低频滤波，获取所述有效点云信息。
3.根据权利要求2所述的一种点云融合方法，其特征在于，所述基于所述点云信息进行凸包构建获取凸多面体的步骤包括：
选取所述点云信息中的四个不共面的点云建立凸多面体；
基于所述点云信息中位于所述凸多面体外的点云逐步扩大所述凸多面体，直至所述凸多面体包围所述点云信息中的所有点云。
4.根据权利要求2所述的一种点云融合方法，其特征在于，所述根据所述凸多面体的平面生成点云法线，并根据法线差分算法对所述点云信息进行低频滤波，获取所述有效点云信息的步骤包括：
设定第一邻域半径和第二邻域半径，所述第一邻域半径大于所述第二邻域半径；
根据所述第一邻域半径和所述第二邻域半径分别计算所述凸多面体各面的第一法线和第二法线；
根据所述法线差分算法计算所述凸多面体每个面的所述第一法线和所述第二法线的差分值范数；
去除所述差分值范数小于差分阈值的平面对应的点云信息中的点云，以获取有效点云信息。
5.根据权利要求1所述的一种点云融合方法，其特征在于，所述根据所述点云迭代值和所述图像迭代值分别提取点云特征信息和图像特征信息的步骤包括：
对所述点云迭代值逐步进行3D特征提取、深度信息加权融合、2D特征提取和特征降采样提取，以获取所述点云特征信息；
对所述图像迭代值逐步进行2D特征提取和特征降采样提取，以获取所述图像特征信息。
6.根据权利要求1所述的一种点云融合方法，其特征在于，所述损失函数为MSE损失函数。
7.根据权利要求1所述的一种点云融合方法，其特征在于，所述根据自适应梯度下降算法更新所述损失函数，直至所述损失函数收敛的步骤包括：
根据所述融合权重定义所述损失函数的转换参数；
根据所述损失函数的上一时刻的所述转换参数的梯度建立当前时刻的自适应梯度下降函数；
根据所述自适应梯度下降函数更新所述转换参数以更新所述损失函数，直至所述损失函数收敛。
8.一种点云融合装置，用于融合四足机器人采集的点云信息，其特征在于，所述装置包括：
获取模块，用于获取所述点云信息和与所述点云信息对应的图像信息；
滤波模块，用于对所述点云信息进行低频滤波处理获取有效点云信息；
第一设定模块，用于设定融合权重将所述有效点云信息转换为点云迭代值,点云迭代值为不同时刻点云融合过程中的有效点云信息的迭代值；
第二设定模块，用于设定整合权重将所述图像信息整合转换为图像迭代值,图像迭代值为不同时刻图像整合过程中的图像信息的迭代值；
特征提取模块，用于根据点云迭代值和图像迭代值分别提取点云特征信息和图像特征信息；
损失函数模块，用于根据所述点云特征信息和所述图像特征信息建立损失函数；
更新模块，用于根据自适应梯度下降算法更新所述损失函数，直至所述损失函数收敛；
融合模块，用于获取所述损失函数收敛时的融合权重，作为所述点云信息的泛化融合权重以融合所述点云信息。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述方法中的步骤。
CN202210061609.4A 2022-01-19 2022-01-19 一种点云融合方法、装置、电子设备及存储介质 Active CN114078151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210061609.4A CN114078151B (zh) 2022-01-19 2022-01-19 一种点云融合方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210061609.4A CN114078151B (zh) 2022-01-19 2022-01-19 一种点云融合方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114078151A CN114078151A (zh) 2022-02-22
CN114078151B true CN114078151B (zh) 2022-04-22

Family

ID=80284700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210061609.4A Active CN114078151B (zh) 2022-01-19 2022-01-19 一种点云融合方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114078151B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549608B (zh) * 2022-04-22 2022-10-18 季华实验室 点云融合方法、装置、电子设备及存储介质
CN115063496B (zh) * 2022-08-19 2023-06-27 北京山维科技股份有限公司 一种点云数据快速处理方法及装置
CN115223067B (zh) * 2022-09-19 2022-12-09 季华实验室 应用于无人机的点云融合方法、装置、设备及存储介质
CN115239915B (zh) * 2022-09-21 2022-12-09 季华实验室 Vr场景实时重建方法、装置、电子设备及存储介质
CN115272439B (zh) * 2022-09-27 2023-01-31 季华实验室 三维重建模型的融合方法、重建方法、装置、设备及介质
CN115775302B (zh) * 2023-02-13 2023-04-14 南京航空航天大学 一种基于Transformer的高反光物体三维重建方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103085070A (zh) * 2013-01-15 2013-05-08 上海交通大学 面向复杂地形的四足机器人运动规划方法
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN108665541A (zh) * 2018-04-09 2018-10-16 北京三快在线科技有限公司 一种基于激光传感器的地图生成方法及装置和机器人
CN110378196A (zh) * 2019-05-29 2019-10-25 电子科技大学 一种结合激光点云数据的道路视觉检测方法
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN112560972A (zh) * 2020-12-21 2021-03-26 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN113298781A (zh) * 2021-05-24 2021-08-24 南京邮电大学 一种基于图像和点云融合的火星表面三维地形检测方法
CN113739786A (zh) * 2021-07-30 2021-12-03 国网江苏省电力有限公司电力科学研究院 一种面向四足机器人的室内环境感知方法、装置及设备
CN113776515A (zh) * 2021-08-31 2021-12-10 南昌工学院 一种机器人导航方法、装置、计算机设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931234A (zh) * 2016-04-19 2016-09-07 东北林业大学 一种地面三维激光扫描点云与影像融合及配准的方法
CN111028247A (zh) * 2019-12-12 2020-04-17 长春工业大学 一种基于点云缺失的盘类元件识别方法及系统
CN111274976B (zh) * 2020-01-22 2020-09-18 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103085070A (zh) * 2013-01-15 2013-05-08 上海交通大学 面向复杂地形的四足机器人运动规划方法
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN108665541A (zh) * 2018-04-09 2018-10-16 北京三快在线科技有限公司 一种基于激光传感器的地图生成方法及装置和机器人
CN110378196A (zh) * 2019-05-29 2019-10-25 电子科技大学 一种结合激光点云数据的道路视觉检测方法
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN112560972A (zh) * 2020-12-21 2021-03-26 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN113298781A (zh) * 2021-05-24 2021-08-24 南京邮电大学 一种基于图像和点云融合的火星表面三维地形检测方法
CN113739786A (zh) * 2021-07-30 2021-12-03 国网江苏省电力有限公司电力科学研究院 一种面向四足机器人的室内环境感知方法、装置及设备
CN113776515A (zh) * 2021-08-31 2021-12-10 南昌工学院 一种机器人导航方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"一种改进的二维ICP点云配准算法";谢小鹏 等;《激光与红外》;20210731;第51卷(第7期);第951-955页 *
融合激光与视觉点云信息的定位与建图方法;张伟伟 等;《计算机应用与软件》;20200712(第07期);第120-125页 *

Also Published As

Publication number Publication date
CN114078151A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN114078151B (zh) 一种点云融合方法、装置、电子设备及存储介质
Berger et al. A survey of surface reconstruction from point clouds
Xu et al. Voxel-based representation of 3D point clouds: Methods, applications, and its potential use in the construction industry
CN112927357B (zh) 一种基于动态图网络的3d物体重建方法
CN111795704B (zh) 一种视觉点云地图的构建方法、装置
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
CN108875813B (zh) 一种基于几何图像的三维网格模型检索方法
CN112101430B (zh) 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN110163974B (zh) 一种基于无向图学习模型的单图像面片重建方法
US9747668B2 (en) Reconstruction of articulated objects from a moving camera
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN106856012B (zh) 一种实时大规模场景三维扫描建模方法及系统
Cao et al. Learning to reconstruct high-quality 3D shapes with cascaded fully convolutional networks
CN113139996A (zh) 一种基于三维点云几何特征学习的点云配准方法及系统
CN113468706B (zh) 配网带电作业机器人的激光点云输电线引线拟合方法
CN114758152A (zh) 一种基于注意力机制和邻域一致性的特征匹配方法
Tiator et al. Point cloud segmentation with deep reinforcement learning
CN110909778A (zh) 一种基于几何一致性的图像语义特征匹配方法
CN112085837B (zh) 一种基于几何形状和lstm神经网络的三维模型分类方法
CN113628329A (zh) 一种零样本草图三维点云检索方法
CN116266359A (zh) 目标物的跟踪方法、装置、计算机设备和存储介质
Srivastava et al. Drought stress classification using 3D plant models
CN117315518A (zh) 一种增强现实目标初始注册方法及系统
CN115909319A (zh) 一种基于分层图网络在点云上用于3d对象检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant