CN114419412A - 一种用于点云配准的多模态特征融合方法与系统 - Google Patents

一种用于点云配准的多模态特征融合方法与系统 Download PDF

Info

Publication number
CN114419412A
CN114419412A CN202210328519.7A CN202210328519A CN114419412A CN 114419412 A CN114419412 A CN 114419412A CN 202210328519 A CN202210328519 A CN 202210328519A CN 114419412 A CN114419412 A CN 114419412A
Authority
CN
China
Prior art keywords
point cloud
feature
features
fusion
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210328519.7A
Other languages
English (en)
Inventor
左一帆
黄小水
曲文涛
方玉明
温文媖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Finance and Economics
Original Assignee
Jiangxi University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Finance and Economics filed Critical Jiangxi University of Finance and Economics
Priority to CN202210328519.7A priority Critical patent/CN114419412A/zh
Publication of CN114419412A publication Critical patent/CN114419412A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种用于点云配准的多模态特征融合方法与系统，该方法包括：采用渐进式下采样多尺度方式提取得到点云结构特征以及图像纹理特征；基于Transformer交叉注意力机制初步融合点云结构特征与图像纹理特征；采用渐进式上采样多尺度方式深度融合点云结构特征以及点云融合特征以得到高质量点云特征；将高质量点云特征输入至特征激活映射模块中，从高质量点云特征中选取其中一个点特征作为目标点云特征，计算得到对应的原始点贡献度，最后将综合贡献度以3D热度图的形式可视化以得到目标点云特征3D热度图。本发明不仅能鲁棒地融合图像纹理特征与点云结构特征，并且可解释性强，运算复杂度低。

Description

一种用于点云配准的多模态特征融合方法与系统
技术领域
本发明涉及计算机3D技术领域，特别涉及一种用于点云配准的多模态特征融合方法与系统。
背景技术
随着三维重建和虚拟现实等技术的发展，点云处理的需求变得越来越广泛。作为当前的热门任务，点云配准需要解决的基本问题是：给定两个姿态不同且有部分重叠的点云数据，通过估计它们之间的旋转与平移矩阵，将它们变换至统一的坐标系下。点云配准共包含两个步骤：特征表征与特征匹配。特征表征是指从原始点云中提取具有旋转不变性的结构特征；特征匹配是根据点云结构特征估计姿态矩阵，实现相应的坐标系变换。
在点云配准的早期研究中，研究者基于预定义的描述方法提取点云的结构特征。该类方法受制于浅层模型的表征能力，在实际场景中精度较低。例如，该类方法具有部分重叠区域的点云配准问题。近年来，得益于深度神经网络强大的学习能力，基于深度神经网络的方法，可极大提高点云结构特征表征的有效性。
目前，利用Transformer交叉注意力机制学习点云对之间的结构信息已取得一定进展，其进一步提高了点云结构特征的分辨能力。此外，其它方法通过将点投影至球形空间，利用三维卷积提取球形空间中点的结构信息。在点的多尺度特征提取方面，一些方法通过提取不同采样下点云数据的结构信息，使点云特征具有表征点密度信息的能力。
然而，上述的特征提取方法，仅关注于结构特征的表征，忽略了对应的纹理线索，不利于进一步提升特征的分辨能力。
发明内容
鉴于上述状况，本发明的主要目的是为了提出一种用于点云配准的多模态特征融合方法与系统，用于解决上述技术问题。
本发明实施例提出一种用于点云配准的多模态特征融合方法，用于通过深度神经网络以实现点云结构特征与图像纹理特征的融合，所述深度神经网络的拓扑结构包括依次连接的特征提取编码器、注意力融合模块、特征融合解码器以及特征激活映射模块，其特征在于，所述方法包括如下步骤：
步骤一、获取同一场景的点云数据与图像数据，并根据所述点云数据与所述图像数据划分训练集与测试集；
步骤二、通过所述特征提取编码器，采用渐进式下采样多尺度方式分别对所述点云数据以及所述图像数据进行提取以得到点云结构特征以及图像纹理特征；
步骤三、通过所述注意力融合模块，基于Transformer交叉注意力机制，对所述点云结构特征以及所述图像纹理特征进行初步融合，以得到点云融合特征；
步骤四、通过所述特征融合解码器，采用渐进式上采样多尺度方式深度融合所述特征提取编码器输出的点云结构特征，以及所述注意力融合模块输出的点云融合特征，以得到高质量点云特征；
步骤五、将所述高质量点云特征输入至所述特征激活映射模块，从所述高质量点云特征中选取其中一个点特征作为目标点云特征，通过梯度反向传播方式获取所有原始点对所述目标点云特征的原始点贡献度，根据所述原始点贡献度计算得到综合贡献度，并将所述综合贡献度以3D热度图的形式可视化以得到目标点云特征3D热度图。
本发明提出一种用于点云配准的多模态特征融合方法，基于稀疏3D卷积构建深度神经网络，由特征提取编码器、注意力融合模块、特征融合解码器以及激活映射模块组成；其中，特征提取编码器采用渐进式下采样多尺度方式提取得到点云结构特征以及图像纹理特征；注意力融合模块基于Transformer交叉注意力机制初步融合点云结构特征与图像纹理特征；特征融合解码器采用渐进式上采样多尺度方式深度融合特征提取编码器输出的点云结构特征以及注意力融合模块输出的点云融合特征以得到高质量点云特征；最后将高质量点云特征输入至特征激活映射模块中，从高质量点云特征中选取其中一个点特征作为目标点云特征，计算得到对应的原始点贡献度，进而根据原始点贡献度计算得到综合贡献度，最后将综合贡献度以3D热度图的行驶可视化表现以得到目标点云特征3D热度图。本发明提出的用于点云配准的多模态特征融合方法，不仅能鲁棒地融合图像纹理特征与点云结构特征，而且具有可解释性强、运算复杂度低的优点。
所述一种用于点云配准的多模态特征融合方法，其中，在所述步骤一中，所述训练集的构建方法包括如下步骤：
在所述图像数据中选取与点云Z轴投影姿态一致的场景纹理图像；
根据预设体素，对所述点云数据进行渐进式下采样得到点云，并对点云进行随机增强；其中，对点云进行随机增强的操作包括：0度旋转，90度旋转，180度旋转以及270度旋转；
根据预设图像尺寸，对所述场景纹理图像进行提取以得到子图像，根据随机增强后的点云以及所述子图像构建得到训练集。
所述一种用于点云配准的多模态特征融合方法，其中，在所述步骤二中，通过所述特征提取编码器，采用渐进式下采样多尺度方式分别对所述点云数据以及所述图像数据进行提取以得到点云结构特征以及图像纹理特征的方法包括如下步骤：
基于 3D Minkowski Engin卷积神经网络构建的点云下采样网络，并显式引入残差网络以及批量归一化层，采用渐进式下采样多尺度方式对所述点云数据进行提取以得到所述点云结构特征；
基于2D卷积神经网络构建的图像下采样网络，采用渐进式下采样多尺度方式在多个下采样阶段对所述图像数据进行提取以得到所述图像纹理特征。
所述一种用于点云配准的多模态特征融合方法，其中，在所述步骤三中，通过所述注意力融合模块，基于Transformer交叉注意力机制，对所述点云结构特征以及所述图像纹理特征进行初步融合，以得到点云融合特征的方法包括如下步骤：
以所述点云结构特征作为查询
Figure 865937DEST_PATH_IMAGE001
，以所述图像纹理特征作为键
Figure 62432DEST_PATH_IMAGE002
值
Figure 440324DEST_PATH_IMAGE003
对，基于交叉注意力机制将查询
Figure 775490DEST_PATH_IMAGE001
与键
Figure 301150DEST_PATH_IMAGE002
的乘积输入至
Figure 114385DEST_PATH_IMAGE004
层以得到特征相似权重矩阵
Figure 284466DEST_PATH_IMAGE005
；
基于所述特征相似权重矩阵
Figure 56113DEST_PATH_IMAGE005
以及值
Figure 741172DEST_PATH_IMAGE003
进行矩阵相乘处理以得到点云纹理特征
Figure 420415DEST_PATH_IMAGE006
；
将所述点云纹理特征
Figure 507320DEST_PATH_IMAGE006
与所述点云结构特征进行初步融合，以得到所述点云融合特征
Figure 449868DEST_PATH_IMAGE007
。
所述一种用于点云配准的多模态特征融合方法，其中，在所述步骤三中，所述查询
Figure 809174DEST_PATH_IMAGE001
与所述键
Figure 964212DEST_PATH_IMAGE002
值
Figure 233519DEST_PATH_IMAGE003
对的计算公式表示为：
Figure 346969DEST_PATH_IMAGE008
其中，
Figure 6620DEST_PATH_IMAGE009
表示层标准化操作，
Figure 903032DEST_PATH_IMAGE010
表示查询的权重，
Figure 698950DEST_PATH_IMAGE011
表示键
Figure 780038DEST_PATH_IMAGE002
的权重，
Figure 192565DEST_PATH_IMAGE012
表示值
Figure 954985DEST_PATH_IMAGE003
的权重，
Figure 57939DEST_PATH_IMAGE013
表示特征提取编码器10输出的点云结构特征，
Figure 247612DEST_PATH_IMAGE014
表示特征提取编码器10输出的图像纹理特征；
所述特征相似权重矩阵
Figure 881856DEST_PATH_IMAGE005
表示为：
Figure 244704DEST_PATH_IMAGE015
其中，所述特征相似权重矩阵
Figure 280793DEST_PATH_IMAGE005
用于表示点云结构特征中每个点与图像纹理特征中每个像素的相似程度，
Figure 313471DEST_PATH_IMAGE016
表示卷积核输出通道维度，
Figure 700590DEST_PATH_IMAGE017
表示转置操作；
所述点云纹理特征
Figure 804812DEST_PATH_IMAGE006
表示为：
Figure 492145DEST_PATH_IMAGE018
其中，
Figure 23621DEST_PATH_IMAGE019
表示线性投影操作；
所述点云融合特征
Figure 632457DEST_PATH_IMAGE007
表示为：
Figure 727321DEST_PATH_IMAGE020
其中，
Figure 472423DEST_PATH_IMAGE021
表示
Figure 237116DEST_PATH_IMAGE022
处理，
Figure 333248DEST_PATH_IMAGE023
表示矩阵相乘操作，
Figure 779273DEST_PATH_IMAGE024
表示元素相加操作。
所述一种用于点云配准的多模态特征融合方法，其中，在所述步骤四中，所述特征提取编码器包括第一结构特征提取单元111、第二结构特征提取单元112、第三结构特征提取单元113以及第四结构特征提取单元114，
所述高质量点云特征的计算公式表示为：
Figure 316565DEST_PATH_IMAGE025
其中，
Figure 455422DEST_PATH_IMAGE026
表示所述高质量点云特征，
Figure 773271DEST_PATH_IMAGE027
表示卷积操作，
Figure 819725DEST_PATH_IMAGE028
表示维度拼接操作，
Figure 539419DEST_PATH_IMAGE029
表示第一结构特征提取单元111输出的点云结构特征，
Figure 849177DEST_PATH_IMAGE030
表示第二结构特征提取单元112输出的点云结构特征，
Figure 841273DEST_PATH_IMAGE031
表示第三结构特征提取单元113输出的点云结构特征，
Figure 629101DEST_PATH_IMAGE007
表示注意力融合模块20输出的点云融合特征。
所述一种用于点云配准的多模态特征融合方法，其中，在所述步骤五中，从高质量点云特征中选取其中一个点特征作为目标点云特征
Figure 265618DEST_PATH_IMAGE032
，并以目标点云特征
Figure 746278DEST_PATH_IMAGE032
中逐个元素作为损失值通过梯度反向传播至目标层以获取目标层特征映射以及卷积核梯度；
其中，在目标点云特征
Figure 773140DEST_PATH_IMAGE032
中以第
Figure 302341DEST_PATH_IMAGE033
个元素作为损失值通过梯度反向传播至目标层，对应获取得到的目标层特征映射表示为
Figure 731049DEST_PATH_IMAGE034
，对应获取得到的修正后的卷积核梯度表示为
Figure 382610DEST_PATH_IMAGE035
；
其中，
Figure 224664DEST_PATH_IMAGE036
Figure 354294DEST_PATH_IMAGE037
其中，
Figure 824459DEST_PATH_IMAGE038
，
Figure 646921DEST_PATH_IMAGE039
表示目标点云特征
Figure 913954DEST_PATH_IMAGE032
中的元素序号，
Figure 909592DEST_PATH_IMAGE040
表示卷积核，
Figure 47312DEST_PATH_IMAGE016
表示目标点云特征
Figure 978359DEST_PATH_IMAGE032
中的元素数量，
Figure 732689DEST_PATH_IMAGE041
表示卷积核输出通道维度，
Figure 204121DEST_PATH_IMAGE042
表示输入通道数，
Figure 524244DEST_PATH_IMAGE043
表示空间尺寸，
Figure 954089DEST_PATH_IMAGE044
表示目标点云特征的第
Figure 664556DEST_PATH_IMAGE039
个元素
Figure 126630DEST_PATH_IMAGE045
作为损失值对卷积核
Figure 504522DEST_PATH_IMAGE040
求导的卷积核梯度，
Figure 839688DEST_PATH_IMAGE046
表示标记函数，
Figure 365347DEST_PATH_IMAGE047
，
Figure 178582DEST_PATH_IMAGE035
表示卷积核梯度
Figure 348664DEST_PATH_IMAGE044
与标记函数
Figure 854731DEST_PATH_IMAGE046
的乘积，即修正后的卷积核梯度，
Figure 805370DEST_PATH_IMAGE048
表示实体空间，
Figure 484613DEST_PATH_IMAGE049
表示元素数量。
所述一种用于点云配准的多模态特征融合方法，其中，在所述步骤五中，所述方法还包括：
通过修正后的卷积核梯度
Figure 571518DEST_PATH_IMAGE035
，以卷积核输出通道维度
Figure 514066DEST_PATH_IMAGE041
上执行逐元素累加以得到特征通道权重
Figure 873372DEST_PATH_IMAGE050
，其中所述特征通道权重
Figure 28410DEST_PATH_IMAGE050
表示为：
Figure 297717DEST_PATH_IMAGE051
其中，
Figure 145587DEST_PATH_IMAGE052
表示输入通道数的序号，
Figure 805239DEST_PATH_IMAGE053
表示卷积核空间尺寸大小的取值，
Figure 701651DEST_PATH_IMAGE054
表示卷积核输出通道的序号，
Figure 763148DEST_PATH_IMAGE055
表示以目标点云特征
Figure 47498DEST_PATH_IMAGE032
中第
Figure 256763DEST_PATH_IMAGE039
个元素作为损失值，修正后的卷积核梯度
Figure 753603DEST_PATH_IMAGE035
中第
Figure 935186DEST_PATH_IMAGE052
个输入通道第
Figure 311809DEST_PATH_IMAGE053
个卷积核空间尺寸大小对应的输出通道上的元素。
所述一种用于点云配准的多模态特征融合方法，其中，所述原始点贡献度表示为：
Figure 946053DEST_PATH_IMAGE056
其中，
Figure 308901DEST_PATH_IMAGE057
表示所述原始点贡献度；
所述综合贡献度表示为：
Figure 344990DEST_PATH_IMAGE058
其中，
Figure 705565DEST_PATH_IMAGE059
表示所述综合贡献度，
Figure 764787DEST_PATH_IMAGE060
表示
Figure 603431DEST_PATH_IMAGE061
处理。
本发明还提出一种用于点云配准的多模态特征融合系统，用于通过深度神经网络以实现点云结构特征与图像纹理特征的融合，所述深度神经网络的拓扑结构包括依次连接的特征提取编码器、注意力融合模块、特征融合解码器以及特征激活映射模块，其中，所述系统包括：
预处理模块，用于获取同一场景的点云数据与图像数据，并根据所述点云数据与所述图像数据划分训练集与测试集；
特征提取编码器，用于采用渐进式下采样多尺度方式分别对所述点云数据以及所述图像数据进行提取以得到点云结构特征以及图像纹理特征；
注意力融合模块，用于基于Transformer交叉注意力机制，对所述点云结构特征以及所述图像纹理特征进行初步融合，以得到点云融合特征；
特征融合解码器，用于采用渐进式上采样多尺度方式深度融合所述特征提取编码器输出的点云结构特征，以及所述注意力融合模块输出的点云融合特征，以得到高质量点云特征；
特征激活映射模块，用于将所述高质量点云特征输入至所述特征激活映射模块，从所述高质量点云特征中选取其中一个点特征作为目标点云特征，通过梯度反向传播方式获取所有原始点对所述目标点云特征的原始点贡献度，根据所述原始点贡献度计算得到综合贡献度，并将所述综合贡献度以3D热度图的形式可视化以得到目标点云特征3D热度图。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明提出的一种用于点云配准的多模态特征融合方法的流程图；
图2为本发明提出的一种用于点云配准的多模态特征融合方法对应的网络拓扑图；
图3为本发明提出的一种用于点云配准的多模态特征融合方法的注意力融合模块拓扑图；
图4为本发明提出的一种用于点云配准的多模态特征融合方法的特征激活映射模块拓扑图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1至图4，本发明提出一种用于点云配准的多模态特征融合方法，用于通过深度神经网络以实现点云结构特征与图像纹理特征的融合，所述深度神经网络的拓扑结构包括依次连接的特征提取编码器、注意力融合模块、特征融合解码器以及特征激活映射模块，其特征在于，所述方法包括如下步骤：
S101、获取同一场景的点云数据与图像数据，并根据所述点云数据与所述图像数据划分训练集与测试集。
在步骤S101中，训练集的构建方法包括如下步骤：
S1011、在所述图像数据中选取与点云Z轴投影姿态一致的场景纹理图像。
S1012、根据预设体素，对所述点云数据进行渐进式下采样得到点云，并对点云进行随机增强。
其中，对点云进行随机增强的操作包括：0度旋转，90度旋转，180度旋转以及270度旋转。
S1013、根据预设图像尺寸，对所述场景纹理图像进行提取以得到子图像，根据随机增强后的点云以及所述子图像构建得到训练集。
S102、通过所述特征提取编码器，采用渐进式下采样多尺度方式分别对所述点云数据以及所述图像数据进行提取以得到点云结构特征以及图像纹理特征。
如图2所示，特征提取编码器10包含第一纹理特征提取单元101、第二纹理特征提取单元102、第三纹理特征提取单元103、第一结构特征提取单元111、第二结构特征提取单元112、第三结构特征提取单元113以及第四结构特征提取单元114。
具体的，第一纹理特征提取单元101包含第一卷积层1011、第一BN层1012，第一ReLU层1013以及第一池化层1014；第二纹理特征提取单元102包含第一残差块1021、第二残差块1022以及第三残差块1023；第三纹理特征提取单元103包含第四残差块1031、第五残差块1032、第六残差块1033以及第七残差块1034。
第一结构特征提取单元111包含第二卷积层1111、第八残差块1112、第二BN层1113以及第二ReLU层1114；第二结构特征提取单元112包含第三卷积层1121、第九残差块1122、第三BN层1123以及第三ReLU层1124；第三结构特征提取单元113包含第四卷积层1131、第十残差块1132、第四BN层1133以及第四ReLU层1134；第四结构特征提取单元114包含第五卷积层1141、第十一残差块1142、第五BN层1143以及第五ReLU层1144。
在步骤S102中，通过特征提取编码器10，采用渐进式下采样多尺度方式分别对所述点云数据以及所述图像数据进行提取以得到点云结构特征以及图像纹理特征的方法包括如下步骤：
S1021、基于 3D Minkowski Engin卷积神经网络构建的点云下采样网络，并显式引入残差网络以及批量归一化层，采用渐进式下采样多尺度方式对所述点云数据进行提取以得到所述点云结构特征。
如图2与图3所示，点云数据
Figure 759605DEST_PATH_IMAGE062
依次经过第一结构特征提取单元111、第二结构特征提取单元112、第三结构特征提取单元113以及第四结构特征提取单元114，各结构特征提取单元对点云数据
Figure 353398DEST_PATH_IMAGE062
执行多尺度、分布式地特征提取，以得到点云结构特征
Figure 696654DEST_PATH_IMAGE063
。
S1022、基于2D卷积神经网络构建的图像下采样网络，采用渐进式下采样多尺度方式在多个下采样阶段对所述图像数据进行提取以得到所述图像纹理特征。
如图2与图3所示，图像数据
Figure 791518DEST_PATH_IMAGE064
依次经过第一纹理特征提取单元101、第二纹理特征提取单元102以及第三纹理特征提取单元103，产生图像纹理特征
Figure 802200DEST_PATH_IMAGE065
。
在本实施例中，第三纹理特征提取单元103输出的图像纹理特征
Figure 504576DEST_PATH_IMAGE065
与第四结构特征提取单元114输出的点云结构特征
Figure 397446DEST_PATH_IMAGE063
同时输入到注意力融合模块20中，通过Transformer交叉注意力机制初步融合点云结构特征
Figure 577892DEST_PATH_IMAGE063
与图像纹理特征
Figure 708659DEST_PATH_IMAGE065
并产生点云融合特征
Figure 519620DEST_PATH_IMAGE066
。
S103、通过所述注意力融合模块，基于Transformer交叉注意力机制，对所述点云结构特征以及所述图像纹理特征进行初步融合，以得到点云融合特征。
在本实施例中，由第一MLP层201、第二MLP层211、第三MLP层216、第四MLP层218、第一Layer层212、第二Layer层215、Softmax层214以及GeLU层217组成的注意力融合模块20实现对点云结构特征
Figure 837469DEST_PATH_IMAGE063
与图像纹理特征
Figure 883922DEST_PATH_IMAGE065
的初步融合。
具体的，图像纹理特征
Figure 603616DEST_PATH_IMAGE065
经过第一MLP层201产生键204值203对，点云结构特征
Figure 913375DEST_PATH_IMAGE063
通过第二MLP层211与第一Layer层212处理后产生查询213。
在本发明中，通过所述注意力融合模块20，基于Transformer交叉注意力机制，对点云结构特征以及所述图像纹理特征进行初步融合，以得到点云融合特征的方法包括如下步骤：
S1031、以所述点云结构特征作为查询
Figure 905471DEST_PATH_IMAGE001
，以所述图像纹理特征作为键
Figure 693298DEST_PATH_IMAGE002
值
Figure 533078DEST_PATH_IMAGE003
对，基于交叉注意力机制将查询
Figure 810476DEST_PATH_IMAGE001
与键
Figure 837338DEST_PATH_IMAGE002
的乘积输入至层以得到特征相似权重矩阵
Figure 366539DEST_PATH_IMAGE005
。
所述查询
Figure 60826DEST_PATH_IMAGE001
与所述键
Figure 446808DEST_PATH_IMAGE002
值
Figure 288862DEST_PATH_IMAGE003
对的计算公式表示为：
Figure 418492DEST_PATH_IMAGE008
其中，
Figure 888656DEST_PATH_IMAGE009
表示层标准化操作，
Figure 976698DEST_PATH_IMAGE010
表示查询的权重，
Figure 978152DEST_PATH_IMAGE011
表示键
Figure 708210DEST_PATH_IMAGE002
的权重，
Figure 111510DEST_PATH_IMAGE012
表示值
Figure 370453DEST_PATH_IMAGE003
的权重，
Figure 531307DEST_PATH_IMAGE013
表示特征提取编码器10输出的点云结构特征，
Figure 268319DEST_PATH_IMAGE065
表示特征提取编码器10输出的图像纹理特征。
键204与查询213执行矩阵相乘并通过Softmax层214的处理后产生特征相似权重矩阵
Figure 791704DEST_PATH_IMAGE005
，特征相似权重矩阵
Figure 752707DEST_PATH_IMAGE005
表示为：
Figure 728753DEST_PATH_IMAGE015
其中，所述特征相似权重矩阵
Figure 190827DEST_PATH_IMAGE005
用于表示点云结构特征中每个点与图像纹理特征中每个像素的相似程度，
Figure 568719DEST_PATH_IMAGE016
表示卷积核输出通道维度，
Figure 903885DEST_PATH_IMAGE017
表示转置操作。
S1032、基于所述特征相似权重矩阵
Figure 163966DEST_PATH_IMAGE005
以及值
Figure 242780DEST_PATH_IMAGE003
进行矩阵相乘处理以得到点云纹理特征
Figure 740757DEST_PATH_IMAGE006
。
特征相似权重矩阵
Figure 918929DEST_PATH_IMAGE005
与值203实行矩阵相乘并通过第二Layer层215以及第三MLP层216的处理后得到点云纹理特征
Figure 869567DEST_PATH_IMAGE006
，所述点云纹理特征
Figure 548810DEST_PATH_IMAGE006
表示为：
Figure 901294DEST_PATH_IMAGE018
其中，
Figure 312684DEST_PATH_IMAGE019
表示线性投影操作。
S1033、将所述点云纹理特征
Figure 671990DEST_PATH_IMAGE006
与所述点云结构特征进行初步融合，以得到所述点云融合特征
Figure 92607DEST_PATH_IMAGE007
。
所述点云融合特征
Figure 299598DEST_PATH_IMAGE007
表示为：
Figure 209785DEST_PATH_IMAGE020
其中，
Figure 869436DEST_PATH_IMAGE021
表示
Figure 765848DEST_PATH_IMAGE022
处理，
Figure 92924DEST_PATH_IMAGE023
表示矩阵相乘操作，
Figure 111696DEST_PATH_IMAGE024
表示元素相加操作。
S104、通过所述特征融合解码器，采用渐进式上采样多尺度方式深度融合所述特征提取编码器输出的点云结构特征，以及所述注意力融合模块输出的点云融合特征，以得到高质量点云特征。
请参阅图2，特征融合解码器30包括第一特征融合单元301、第二特征融合单元302、第三特征融合单元303、第四特征融合单元304以及第十卷积层305。其中，第一特征融合单元301包括第六卷积层3011、第十二残差块3012、第六BN层3013以及第六ReLU层3014；第二特征融合单元302包括第七卷积层3021、第十三残差块3022、第七BN层3023以及第七ReLU层3024；第三特征融合单元303包括第八卷积层3031、第十四残差块3032、第八BN层3033以及第八ReLU层3034；第四特征融合单元304包括第九卷积层3041、第十五残差块3042、第九BN层3043以及第九ReLU层3044。
注意力融合模块20输出的点云融合特征
Figure 55381DEST_PATH_IMAGE007
输入至第一特征融合单元301，首先，第一特征融合单元301输出的点云结构特征
Figure 817801DEST_PATH_IMAGE067
与第三结构特征提取单元113输出的点云结构特征
Figure 999383DEST_PATH_IMAGE031
，在点数量维度上执行维度拼接并产生点云特征
Figure 376007DEST_PATH_IMAGE068
，
Figure 10251DEST_PATH_IMAGE068
输入至第二特征融合单元302，完成第一次点云特征上采样；随后，第二特征融合单元302输出的点云特征
Figure 373099DEST_PATH_IMAGE069
与第二结构特征提取单元112输出的点云特征
Figure 409188DEST_PATH_IMAGE030
在点数量维度上实行维度拼接并产生点云特征
Figure 769762DEST_PATH_IMAGE070
，
Figure 563406DEST_PATH_IMAGE070
继续输入至第三特征融合单元303，完成第二次点云特征上采样；
然后，第三特征融合单元303输出的点云特征
Figure 667628DEST_PATH_IMAGE071
与第一结构特征提取单元111输出的点云特征
Figure 823803DEST_PATH_IMAGE029
在点数量维度上进行维度拼接并产生点云特征
Figure 417595DEST_PATH_IMAGE072
，
Figure 760852DEST_PATH_IMAGE072
接着输入至第四特征融合单元304，完成第三次点云特征上采样；最后，第四特征融合单元304输出的点云特征
Figure 601855DEST_PATH_IMAGE073
经过第十卷积层305的维度处理后，输出最终融合纹理信息的高质量点云特征
Figure 612537DEST_PATH_IMAGE026
。在此需要补充说明的，上述的
Figure 314913DEST_PATH_IMAGE074
并不是附图中的标记，只是为了更好地说明特征融合解码器30的原理，故未说明书附图中进行标注。
其中，高质量点云特征的计算公式表示为：
Figure 207783DEST_PATH_IMAGE025
其中，
Figure 653808DEST_PATH_IMAGE026
表示所述高质量点云特征，
Figure 784575DEST_PATH_IMAGE027
表示卷积操作，
Figure 595536DEST_PATH_IMAGE028
表示维度拼接操作，
Figure 647806DEST_PATH_IMAGE029
表示第一结构特征提取单元111输出的点云结构特征，
Figure 959838DEST_PATH_IMAGE030
表示第二结构特征提取单元112输出的点云结构特征，
Figure 679533DEST_PATH_IMAGE031
表示第三结构特征提取单元113输出的点云结构特征，
Figure 989291DEST_PATH_IMAGE007
表示注意力融合模块20输出的点云融合特征。
S105、将所述高质量点云特征输入至所述特征激活映射模块，从所述高质量点云特征中选取其中一个点特征作为目标点云特征，通过梯度反向传播方式获取所有原始点对所述目标点云特征的原始点贡献度，根据所述原始点贡献度计算得到综合贡献度，并将所述综合贡献度以3D热度图的形式可视化以得到目标点云特征3D热度图。
请参阅图4，由目标点云特征401、卷积核梯度402、特征映射412，特征映射通道权重403，显著特征映射404，原始点贡献度405以及3D热度图406组成的特征激活映射模块40实现计算所有原始点对目标点云特征的原始贡献度。
首先，目标点云特征
Figure 715808DEST_PATH_IMAGE075
的第
Figure 503635DEST_PATH_IMAGE076
个元素
Figure 140153DEST_PATH_IMAGE077
逐个作为损失值梯度反向传播至目标层。目标层对象产生目标点云特征
Figure 620813DEST_PATH_IMAGE075
第
Figure 913254DEST_PATH_IMAGE076
个元素的特征映射412以及卷积核梯度402。
从高质量点云特征中选取其中一个点特征作为目标点云特征
Figure 176876DEST_PATH_IMAGE032
，并以目标点云特征
Figure 871163DEST_PATH_IMAGE032
中逐个元素作为损失值通过梯度反向传播至目标层以获取目标层特征映射以及卷积核梯度。
其中，在目标点云特征
Figure 522724DEST_PATH_IMAGE032
中以第
Figure 99199DEST_PATH_IMAGE033
个元素作为损失值通过梯度反向传播至目标层，对应获取得到的目标层特征映射表示为
Figure 228829DEST_PATH_IMAGE034
，对应获取得到的修正后的卷积核梯度表示为
Figure 964572DEST_PATH_IMAGE035
；
其中，
Figure 787035DEST_PATH_IMAGE036
Figure 788489DEST_PATH_IMAGE037
其中，
Figure 784127DEST_PATH_IMAGE038
，
Figure 187426DEST_PATH_IMAGE039
表示目标点云特征
Figure 180790DEST_PATH_IMAGE032
中的元素序号，
Figure 607223DEST_PATH_IMAGE040
表示卷积核，
Figure 344235DEST_PATH_IMAGE016
表示目标点云特征
Figure 867620DEST_PATH_IMAGE032
中的元素数量，
Figure 828623DEST_PATH_IMAGE041
表示卷积核输出通道维度，
Figure 804669DEST_PATH_IMAGE042
表示输入通道数，
Figure 266744DEST_PATH_IMAGE043
表示空间尺寸，
Figure 644635DEST_PATH_IMAGE044
表示目标点云特征的第
Figure 979802DEST_PATH_IMAGE039
个元素
Figure 239882DEST_PATH_IMAGE045
作为损失值对卷积核
Figure 318696DEST_PATH_IMAGE040
求导的卷积核梯度，
Figure 223198DEST_PATH_IMAGE046
表示标记函数，
Figure 994845DEST_PATH_IMAGE047
，
Figure 679905DEST_PATH_IMAGE035
表示卷积核梯度
Figure 359148DEST_PATH_IMAGE044
与标记函数
Figure 711631DEST_PATH_IMAGE046
的乘积，即修正后的卷积核梯度，
Figure 388600DEST_PATH_IMAGE048
表示实体空间，
Figure 747907DEST_PATH_IMAGE049
表示元素数量。
需要说明的是，若目标点云特征
Figure 168524DEST_PATH_IMAGE075
没有被指定，那么特征激活映射模块40会选择高质量点云特征
Figure 172252DEST_PATH_IMAGE026
中特征匹配度最好的点特征作为目标点云特征。
随后，通过修正后的卷积核梯度
Figure 285701DEST_PATH_IMAGE035
，以卷积核输出通道维度
Figure 945353DEST_PATH_IMAGE041
上执行逐元素累加以得到特征通道权重
Figure 841764DEST_PATH_IMAGE050
，其中所述特征通道权重
Figure 168841DEST_PATH_IMAGE050
表示为：
Figure 922033DEST_PATH_IMAGE051
其中，
Figure 131297DEST_PATH_IMAGE052
表示输入通道数的序号，
Figure 893717DEST_PATH_IMAGE053
表示卷积核空间尺寸大小的取值，
Figure 75300DEST_PATH_IMAGE054
表示卷积核输出通道的序号，
Figure 451923DEST_PATH_IMAGE055
表示以目标点云特征
Figure 820588DEST_PATH_IMAGE032
中第
Figure 183436DEST_PATH_IMAGE039
个元素作为损失值，修正后的卷积核梯度
Figure 485104DEST_PATH_IMAGE035
中第
Figure 845678DEST_PATH_IMAGE052
个输入通道第
Figure 639322DEST_PATH_IMAGE053
个卷积核空间尺寸大小对应的输出通道上的元素。
可以理解的，特征通道权重描述了目标点云特征第
Figure 743544DEST_PATH_IMAGE076
个元素作为损失值，目标层特征映射每个通道上元素对目标点云特征的贡献程度。
然后，特征映射通道权重403与特征映射412执行元素相乘，得到显著特征映射404。显著特征映射404表示目标点云特征第
Figure 899719DEST_PATH_IMAGE076
个元素作为损失值，体现每个通道上元素对目标点云特征贡献大小的特征映射。然后，显著特征映射404以点数量维度上实行逐元素累加获取目标点云特征第
Figure 493512DEST_PATH_IMAGE076
个元素的原始点贡献度。
所述原始点贡献度表示为：
Figure 836768DEST_PATH_IMAGE056
其中，
Figure 666053DEST_PATH_IMAGE057
表示所述原始点贡献度。
根据原始点贡献度计算得到综合贡献度，综合贡献度表示为：
Figure 676734DEST_PATH_IMAGE058
其中，
Figure 379111DEST_PATH_IMAGE059
表示所述综合贡献度，
Figure 271981DEST_PATH_IMAGE060
表示
Figure 718005DEST_PATH_IMAGE061
处理。
本发明提出一种用于点云配准的多模态特征融合方法，基于稀疏3D卷积构建深度神经网络，由特征提取编码器、注意力融合模块、特征融合解码器以及激活映射模块组成；其中，特征提取编码器采用渐进式下采样多尺度方式提取得到点云结构特征以及图像纹理特征；注意力融合模块基于Transformer交叉注意力机制初步融合点云结构特征与图像纹理特征；特征融合解码器采用渐进式上采样多尺度方式深度融合特征提取编码器输出的点云结构特征以及注意力融合模块输出的点云融合特征以得到高质量点云特征；最后将高质量点云特征输入至特征激活映射模块中，从高质量点云特征中选取其中一个点特征作为目标点云特征，计算得到对应的原始点贡献度，进而根据原始点贡献度计算得到综合贡献度，最后将综合贡献度以3D热度图的行驶可视化表现以得到目标点云特征3D热度图。本发明提出的用于点云配准的多模态特征融合方法，不仅能鲁棒地融合图像纹理特征与点云结构特征，而且具有可解释性强、运算复杂度低的优点。
本发明还提出一种用于点云配准的多模态特征融合系统，用于通过深度神经网络以实现点云结构特征与图像纹理特征的融合，所述深度神经网络的拓扑结构包括依次连接的特征提取编码器、注意力融合模块、特征融合解码器以及特征激活映射模块，其中，所述系统包括：
预处理模块，用于获取同一场景的点云数据与图像数据，并根据所述点云数据与所述图像数据划分训练集与测试集；
特征提取编码器，用于采用渐进式下采样多尺度方式分别对所述点云数据以及所述图像数据进行提取以得到点云结构特征以及图像纹理特征；
注意力融合模块，用于基于Transformer交叉注意力机制，对所述点云结构特征以及所述图像纹理特征进行初步融合，以得到点云融合特征；
特征融合解码器，用于采用渐进式上采样多尺度方式深度融合所述特征提取编码器输出的点云结构特征，以及所述注意力融合模块输出的点云融合特征，以得到高质量点云特征；
特征激活映射模块，用于将所述高质量点云特征输入至所述特征激活映射模块，从所述高质量点云特征中选取其中一个点特征作为目标点云特征，通过梯度反向传播方式获取所有原始点对所述目标点云特征的原始点贡献度，根据所述原始点贡献度计算得到综合贡献度，并将所述综合贡献度以3D热度图的形式可视化以得到目标点云特征3D热度图。
应当理解的，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于点云配准的多模态特征融合方法，用于通过深度神经网络以实现点云结构特征与图像纹理特征的融合，所述深度神经网络的拓扑结构包括依次连接的特征提取编码器、注意力融合模块、特征融合解码器以及特征激活映射模块，其特征在于，所述方法包括如下步骤：
步骤一、获取同一场景的点云数据与图像数据，并根据所述点云数据与所述图像数据划分训练集与测试集；
步骤二、通过所述特征提取编码器，采用渐进式下采样多尺度方式分别对所述点云数据以及所述图像数据进行提取以得到点云结构特征以及图像纹理特征；
步骤三、通过所述注意力融合模块，基于Transformer交叉注意力机制，对所述点云结构特征以及所述图像纹理特征进行初步融合，以得到点云融合特征；
步骤四、通过所述特征融合解码器，采用渐进式上采样多尺度方式深度融合所述特征提取编码器输出的点云结构特征，以及所述注意力融合模块输出的点云融合特征，以得到高质量点云特征；
步骤五、将所述高质量点云特征输入至所述特征激活映射模块，从所述高质量点云特征中选取其中一个点特征作为目标点云特征，通过梯度反向传播方式获取所有原始点对所述目标点云特征的原始点贡献度，根据所述原始点贡献度计算得到综合贡献度，并将所述综合贡献度以3D热度图的形式可视化以得到目标点云特征3D热度图。
2.根据权利要求1所述的一种用于点云配准的多模态特征融合方法，其特征在于，在所述步骤一中，所述训练集的构建方法包括如下步骤：
在所述图像数据中选取与点云Z轴投影姿态一致的场景纹理图像；
根据预设体素，对所述点云数据进行渐进式下采样得到点云，并对点云进行随机增强；其中，对点云进行随机增强的操作包括：0度旋转，90度旋转，180度旋转以及270度旋转；
根据预设图像尺寸，对所述场景纹理图像进行提取以得到子图像，根据随机增强后的点云以及所述子图像构建得到训练集。
3.根据权利要求2所述的一种用于点云配准的多模态特征融合方法，其特征在于，在所述步骤二中，通过所述特征提取编码器，采用渐进式下采样多尺度方式分别对所述点云数据以及所述图像数据进行提取以得到点云结构特征以及图像纹理特征的方法包括如下步骤：
基于 3D Minkowski Engin卷积神经网络构建的点云下采样网络，并显式引入残差网络以及批量归一化层，采用渐进式下采样多尺度方式对所述点云数据进行提取以得到所述点云结构特征；
基于2D卷积神经网络构建的图像下采样网络，采用渐进式下采样多尺度方式在多个下采样阶段对所述图像数据进行提取以得到所述图像纹理特征。
4.根据权利要求1所述的一种用于点云配准的多模态特征融合方法，其特征在于，在所述步骤三中，通过所述注意力融合模块，基于Transformer交叉注意力机制，对所述点云结构特征以及所述图像纹理特征进行初步融合，以得到点云融合特征的方法包括如下步骤：
以所述点云结构特征作为查询
Figure 5771DEST_PATH_IMAGE001
，以所述图像纹理特征作为键
Figure 588062DEST_PATH_IMAGE002
值
Figure 247713DEST_PATH_IMAGE003
对，基于交叉注意力机制将查询
Figure 331076DEST_PATH_IMAGE001
与键
Figure 658152DEST_PATH_IMAGE002
的乘积输入至
Figure 676923DEST_PATH_IMAGE004
层以得到特征相似权重矩阵
Figure 823871DEST_PATH_IMAGE005
；
基于所述特征相似权重矩阵
Figure 320711DEST_PATH_IMAGE005
以及值
Figure 502294DEST_PATH_IMAGE003
进行矩阵相乘处理以得到点云纹理特征
Figure 816601DEST_PATH_IMAGE006
；
将所述点云纹理特征
Figure 450844DEST_PATH_IMAGE006
与所述点云结构特征进行初步融合，以得到所述点云融合特征
Figure 751376DEST_PATH_IMAGE007
。
5.根据权利要求4所述的一种用于点云配准的多模态特征融合方法，其特征在于，在所述步骤三中，所述查询
Figure 787465DEST_PATH_IMAGE001
与所述键
Figure 148039DEST_PATH_IMAGE002
值
Figure 394213DEST_PATH_IMAGE003
对的计算公式表示为：
Figure 232856DEST_PATH_IMAGE008
其中，
Figure 389030DEST_PATH_IMAGE009
表示层标准化操作，
Figure 920506DEST_PATH_IMAGE010
表示查询的权重，
Figure 263763DEST_PATH_IMAGE011
表示键
Figure 437255DEST_PATH_IMAGE002
的权重，
Figure 306991DEST_PATH_IMAGE012
表示值
Figure 9368DEST_PATH_IMAGE003
的权重，
Figure 839920DEST_PATH_IMAGE013
表示特征提取编码器（10）输出的点云结构特征，
Figure 285945DEST_PATH_IMAGE014
表示特征提取编码器（10）输出的图像纹理特征；
所述特征相似权重矩阵
Figure 151133DEST_PATH_IMAGE005
表示为：
Figure 149045DEST_PATH_IMAGE015
其中，所述特征相似权重矩阵
Figure 466894DEST_PATH_IMAGE005
用于表示点云结构特征中每个点与图像纹理特征中每个像素的相似程度，
Figure 716609DEST_PATH_IMAGE016
表示卷积核输出通道维度，
Figure 436304DEST_PATH_IMAGE017
表示转置操作；
所述点云纹理特征
Figure 480483DEST_PATH_IMAGE006
表示为：
Figure 410262DEST_PATH_IMAGE018
其中，
Figure 463669DEST_PATH_IMAGE019
表示线性投影操作；
所述点云融合特征
Figure 37869DEST_PATH_IMAGE007
表示为：
Figure 252950DEST_PATH_IMAGE020
其中，
Figure 279812DEST_PATH_IMAGE021
表示
Figure 136909DEST_PATH_IMAGE022
处理，
Figure 690251DEST_PATH_IMAGE023
表示矩阵相乘操作，
Figure 76233DEST_PATH_IMAGE024
表示元素相加操作。
6.根据权利要求1所述的一种用于点云配准的多模态特征融合方法，其特征在于，在所述步骤四中，所述特征提取编码器包括第一结构特征提取单元（111）、第二结构特征提取单元（112）、第三结构特征提取单元（113）以及第四结构特征提取单元（114），
所述高质量点云特征的计算公式表示为：
Figure 855970DEST_PATH_IMAGE025
其中，
Figure 251179DEST_PATH_IMAGE026
表示所述高质量点云特征，
Figure 534393DEST_PATH_IMAGE027
表示卷积操作，
Figure 481489DEST_PATH_IMAGE028
表示维度拼接操作，
Figure 482943DEST_PATH_IMAGE029
表示第一结构特征提取单元（111）输出的点云结构特征，
Figure 416264DEST_PATH_IMAGE030
表示第二结构特征提取单元（112）输出的点云结构特征，
Figure 819564DEST_PATH_IMAGE031
表示第三结构特征提取单元（113）输出的点云结构特征，
Figure 812927DEST_PATH_IMAGE007
表示注意力融合模块（20）输出的点云融合特征。
7.根据权利要求1所述的一种用于点云配准的多模态特征融合方法，其特征在于，在所述步骤五中，从高质量点云特征中选取其中一个点特征作为目标点云特征
Figure 301678DEST_PATH_IMAGE032
，并以目标点云特征
Figure 163323DEST_PATH_IMAGE032
中逐个元素作为损失值通过梯度反向传播至目标层以获取目标层特征映射以及卷积核梯度；
其中，在目标点云特征
Figure 421129DEST_PATH_IMAGE032
中以第
Figure 319815DEST_PATH_IMAGE033
个元素作为损失值通过梯度反向传播至目标层，对应获取得到的目标层特征映射表示为
Figure 561441DEST_PATH_IMAGE034
，对应获取得到的修正后的卷积核梯度表示为
Figure 836564DEST_PATH_IMAGE035
；
其中，
Figure 73510DEST_PATH_IMAGE036
Figure 408677DEST_PATH_IMAGE037
其中，
Figure 872019DEST_PATH_IMAGE038
，
Figure 950834DEST_PATH_IMAGE039
表示目标点云特征
Figure 183232DEST_PATH_IMAGE032
中的元素序号，
Figure 689299DEST_PATH_IMAGE040
表示卷积核，
Figure 764572DEST_PATH_IMAGE016
表示目标点云特征
Figure 381498DEST_PATH_IMAGE032
中的元素数量，
Figure 468403DEST_PATH_IMAGE041
表示卷积核输出通道维度，
Figure 145372DEST_PATH_IMAGE042
表示输入通道数，
Figure 317727DEST_PATH_IMAGE043
表示空间尺寸，
Figure 862978DEST_PATH_IMAGE044
表示目标点云特征的第
Figure 69968DEST_PATH_IMAGE039
个元素
Figure 917838DEST_PATH_IMAGE045
作为损失值对卷积核
Figure 577490DEST_PATH_IMAGE040
求导的卷积核梯度，
Figure 536219DEST_PATH_IMAGE046
表示标记函数，
Figure 722349DEST_PATH_IMAGE047
，
Figure 6700DEST_PATH_IMAGE035
表示卷积核梯度
Figure 888068DEST_PATH_IMAGE044
与标记函数
Figure 650488DEST_PATH_IMAGE046
的乘积，即修正后的卷积核梯度，
Figure 566492DEST_PATH_IMAGE048
表示实体空间，
Figure 880798DEST_PATH_IMAGE049
表示元素数量。
8.根据权利要求7所述的一种用于点云配准的多模态特征融合方法，其特征在于，在所述步骤五中，所述方法还包括：
通过修正后的卷积核梯度
Figure 780621DEST_PATH_IMAGE035
，以卷积核输出通道维度
Figure 81152DEST_PATH_IMAGE041
上执行逐元素累加以得到特征通道权重
Figure 851662DEST_PATH_IMAGE050
，其中所述特征通道权重
Figure 477816DEST_PATH_IMAGE050
表示为：
Figure 333776DEST_PATH_IMAGE051
其中，
Figure 562632DEST_PATH_IMAGE052
表示输入通道数的序号，
Figure 453228DEST_PATH_IMAGE053
表示卷积核空间尺寸大小的取值，
Figure 250283DEST_PATH_IMAGE054
表示卷积核输出通道的序号，
Figure 593539DEST_PATH_IMAGE055
表示以目标点云特征
Figure 235873DEST_PATH_IMAGE032
中第
Figure 246555DEST_PATH_IMAGE039
个元素作为损失值，修正后的卷积核梯度
Figure 73565DEST_PATH_IMAGE035
中第
Figure 904118DEST_PATH_IMAGE052
个输入通道第
Figure 350143DEST_PATH_IMAGE053
个卷积核空间尺寸大小对应的输出通道上的元素。
9.根据权利要求8所述的一种用于点云配准的多模态特征融合方法，其特征在于，所述原始点贡献度表示为：
Figure 480910DEST_PATH_IMAGE056
其中，
Figure 354188DEST_PATH_IMAGE057
表示所述原始点贡献度；
所述综合贡献度表示为：
Figure 531091DEST_PATH_IMAGE058
其中，
Figure 46386DEST_PATH_IMAGE059
表示所述综合贡献度，
Figure 766081DEST_PATH_IMAGE060
表示
Figure 810260DEST_PATH_IMAGE061
处理。
10.一种用于点云配准的多模态特征融合系统，用于通过深度神经网络以实现点云结构特征与图像纹理特征的融合，所述深度神经网络的拓扑结构包括依次连接的特征提取编码器、注意力融合模块、特征融合解码器以及特征激活映射模块，其特征在于，所述系统包括：
预处理模块，用于获取同一场景的点云数据与图像数据，并根据所述点云数据与所述图像数据划分训练集与测试集；
特征提取编码器，用于采用渐进式下采样多尺度方式分别对所述点云数据以及所述图像数据进行提取以得到点云结构特征以及图像纹理特征；
注意力融合模块，用于基于Transformer交叉注意力机制，对所述点云结构特征以及所述图像纹理特征进行初步融合，以得到点云融合特征；
特征融合解码器，用于采用渐进式上采样多尺度方式深度融合所述特征提取编码器输出的点云结构特征，以及所述注意力融合模块输出的点云融合特征，以得到高质量点云特征；
特征激活映射模块，用于将所述高质量点云特征输入至所述特征激活映射模块，从所述高质量点云特征中选取其中一个点特征作为目标点云特征，通过梯度反向传播方式获取所有原始点对所述目标点云特征的原始点贡献度，根据所述原始点贡献度计算得到综合贡献度，并将所述综合贡献度以3D热度图的形式可视化以得到目标点云特征3D热度图。
CN202210328519.7A 2022-03-31 2022-03-31 一种用于点云配准的多模态特征融合方法与系统 Pending CN114419412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210328519.7A CN114419412A (zh) 2022-03-31 2022-03-31 一种用于点云配准的多模态特征融合方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210328519.7A CN114419412A (zh) 2022-03-31 2022-03-31 一种用于点云配准的多模态特征融合方法与系统

Publications (1)

Publication Number Publication Date
CN114419412A true CN114419412A (zh) 2022-04-29

Family

ID=81264396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210328519.7A Pending CN114419412A (zh) 2022-03-31 2022-03-31 一种用于点云配准的多模态特征融合方法与系统

Country Status (1)

Country Link
CN (1) CN114419412A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049946A (zh) * 2022-06-10 2022-09-13 安徽农业大学 一种基于点云变换的麦田生长状态判别方法与装置
CN115223067A (zh) * 2022-09-19 2022-10-21 季华实验室 应用于无人机的点云融合方法、装置、设备及存储介质
CN115359103A (zh) * 2022-08-24 2022-11-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质
CN116385996A (zh) * 2023-06-05 2023-07-04 北京科技大学 一种基于三维矩阵相机的多任务处理方法和装置
WO2023231991A1 (zh) * 2022-05-30 2023-12-07 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
WO2024093641A1 (zh) * 2022-11-01 2024-05-10 北京百度网讯科技有限公司 多模态融合的高精地图要素识别方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533721A (zh) * 2019-08-27 2019-12-03 杭州师范大学 一种基于增强自编码器的室内目标物体6d姿态估计方法
CN111709343A (zh) * 2020-06-09 2020-09-25 广州文远知行科技有限公司 一种点云检测方法、装置、计算机设备和存储介质
CN112115744A (zh) * 2019-06-20 2020-12-22 北京京东叁佰陆拾度电子商务有限公司 点云数据的处理方法及装置、计算机存储介质、电子设备
CN112862874A (zh) * 2021-04-23 2021-05-28 腾讯科技（深圳）有限公司 点云数据匹配方法、装置、电子设备及计算机存储介质
CN113312983A (zh) * 2021-05-08 2021-08-27 华南理工大学 基于多模态数据融合的语义分割方法、系统、装置及介质
CN114255238A (zh) * 2021-11-26 2022-03-29 电子科技大学长三角研究院(湖州) 一种融合图像特征的三维点云场景分割方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115744A (zh) * 2019-06-20 2020-12-22 北京京东叁佰陆拾度电子商务有限公司 点云数据的处理方法及装置、计算机存储介质、电子设备
CN110533721A (zh) * 2019-08-27 2019-12-03 杭州师范大学 一种基于增强自编码器的室内目标物体6d姿态估计方法
CN111709343A (zh) * 2020-06-09 2020-09-25 广州文远知行科技有限公司 一种点云检测方法、装置、计算机设备和存储介质
CN112862874A (zh) * 2021-04-23 2021-05-28 腾讯科技（深圳）有限公司 点云数据匹配方法、装置、电子设备及计算机存储介质
CN113312983A (zh) * 2021-05-08 2021-08-27 华南理工大学 基于多模态数据融合的语义分割方法、系统、装置及介质
CN114255238A (zh) * 2021-11-26 2022-03-29 电子科技大学长三角研究院(湖州) 一种融合图像特征的三维点云场景分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOSHUI HUANG 等: "IMFNet: Interpretable Multimodal Fusion for Point Cloud Registration", 《ARXIV》 *
姚钺 等: "基于PointNet++改进的点云特征提取与分类网络架构", 《计算机与数字工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231991A1 (zh) * 2022-05-30 2023-12-07 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
CN115049946A (zh) * 2022-06-10 2022-09-13 安徽农业大学 一种基于点云变换的麦田生长状态判别方法与装置
CN115049946B (zh) * 2022-06-10 2023-09-26 安徽农业大学 一种基于点云变换的麦田生长状态判别方法与装置
CN115359103A (zh) * 2022-08-24 2022-11-18 北京医智影科技有限公司 图像配准网络模型及其建立方法、设备及介质
CN115223067A (zh) * 2022-09-19 2022-10-21 季华实验室 应用于无人机的点云融合方法、装置、设备及存储介质
CN115223067B (zh) * 2022-09-19 2022-12-09 季华实验室 应用于无人机的点云融合方法、装置、设备及存储介质
WO2024093641A1 (zh) * 2022-11-01 2024-05-10 北京百度网讯科技有限公司 多模态融合的高精地图要素识别方法、装置、设备及介质
CN116385996A (zh) * 2023-06-05 2023-07-04 北京科技大学 一种基于三维矩阵相机的多任务处理方法和装置
CN116385996B (zh) * 2023-06-05 2023-10-10 北京科技大学 一种基于三维矩阵相机的多任务处理方法和装置

Similar Documents

Publication Publication Date Title
CN114419412A (zh) 一种用于点云配准的多模态特征融合方法与系统
Han et al. View inter-prediction gan: Unsupervised representation learning for 3d shapes by learning global shape memories to support local view predictions
Han et al. Combining noise-to-image and image-to-image GANs: Brain MR image augmentation for tumor detection
JP7491685B2 (ja) ニューラルネットワークのセット
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
CN107818580A (zh) 根据深度图对真实对象进行3d重建
CN110728219B (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
EP3674983A1 (en) Machine-learning for 3d modeled object inference
CN110659727A (zh) 一种基于草图的图像生成方法
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
CN110288697A (zh) 基于多尺度图卷积神经网络的3d人脸表示与重建方法
CN109598732B (zh) 一种基于三维空间加权的医学图像分割方法
CN113361560B (zh) 一种基于语义的多姿势虚拟试衣方法
CN112132739B (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN115578404B (zh) 一种基于深度学习的肝脏肿瘤图像增强和分割的方法
CN105868706A (zh) 一种基于稀疏自编码的三维模型识别方法
CN112634438A (zh) 基于对抗网络的单帧深度图像三维模型重建方法及装置
Yang et al. Multiscale mesh deformation component analysis with attention-based autoencoders
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
Oh et al. Bips: Bi-modal indoor panorama synthesis via residual depth-aided adversarial learning
CN110322548B (zh) 一种基于几何图像参数化的三维网格模型生成方法
CN110543845A (zh) 一种三维人脸的人脸级联回归模型训练方法及重建方法
CN113205579B (zh) 三维重建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220429