CN114998890B - 一种基于图神经网络的三维点云目标检测算法 - Google Patents

一种基于图神经网络的三维点云目标检测算法 Download PDF

Info

Publication number
CN114998890B
CN114998890B CN202210586391.4A CN202210586391A CN114998890B CN 114998890 B CN114998890 B CN 114998890B CN 202210586391 A CN202210586391 A CN 202210586391A CN 114998890 B CN114998890 B CN 114998890B
Authority
CN
China
Prior art keywords
point cloud
graph
loss
target
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210586391.4A
Other languages
English (en)
Other versions
CN114998890A (zh
Inventor
李念峰
李岩
王玉英
陈发青
申向峰
范媛媛
曲鹏宇
王春湘
丁天娇
肖治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University
Original Assignee
Changchun University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University filed Critical Changchun University
Priority to CN202210586391.4A priority Critical patent/CN114998890B/zh
Publication of CN114998890A publication Critical patent/CN114998890A/zh
Application granted granted Critical
Publication of CN114998890B publication Critical patent/CN114998890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于图神经网络的三维点云目标检测算法,属于目标检测技术领域;包括步骤S1、获取点云数据集;步骤S2、完成点云语义图的构建;步骤S3、通过局部池化简化图结构,完成特征提取;步骤S4、进行图重构,将重构语义图输入空洞图卷积模块;步骤S5、将加权特征与步骤S3的特征进行拼接,用于步骤S7;步骤S6、全局池化选择最大值池化和求和池化的方法,得到全局特征向量;步骤S7、将步骤S5和S6得到的点云特征和图特征拼接计算后,输入到分类和定位分支,预测目标类别,画出3D检测框;步骤S8、计算损失,以梯度下降法收敛,直至损失最小,停止训练。本发明在现实场景下,能实现目标的分类和定位,具有较高的区分度。

Description

一种基于图神经网络的三维点云目标检测算法
技术领域
本发明属于目标检测技术领域,尤其涉及一种基于图神经网络的三维点云目标检测算法。
背景技术
目前,三维目标检测研究方法包括基于激光雷达的检测方法、基于深度图像的检测方法等。但点云提供了真实世界的三维几何感知,能更精确地描述现实物体和环境特征。近年来,许多研究方法将激光点云作为输入,研究原始点云编码算法。基于三维点云的目标检测算法包括基于投影的检测方法、基于体素采样的检测方法以及直接面向点云的方法。
前两种方法先将点云转化为结构化数据,再采用卷积网络进行特征提取,但是存在计算复杂、特征丢失的问题。面向点云的检测方法又分为基于点的方法和基于图的方法,前者能有效捕捉局部特征,但不能获取点云之间的连接关系;后者保留了数据空间特征,能捕获点云拓扑结构。但是,部分研究的构图均匀度较弱,易受噪声影响。并且采用的图卷积算法难以避免点云特征信息不足和过平滑问题,容易损失有效信息,增加了点云识别难度,影响3D检测性能。
发明内容
本发明目的在于提供一种基于图神经网络的三维点云目标检测算法,以解决结构化的卷积模型已无法适用于非结构化的点云特征提取,将点云数据进行结构化处理又会增加计算损失。因此,选择将点云作为直接输入,不采用映射处理。然而,点云稀疏无序的特性,容易导致采样不均匀,引起噪声数据。点云编码算法难以规避信息不足和图卷积过平滑的问题。
为实现上述目的,本发明的一种基于图神经网络的三维点云目标检测算法的具体技术方案如下:
一种基于图神经网络的三维点云目标检测算法,包括以下步骤,且以下步骤顺次进行:
步骤S1、获取点云数据集,划分出训练集、验证集和测试集;
步骤S2、对训练数据中的原始点云集合进行采样和聚类的预处理后,对目标点云的邻域空间构建连接边,完成点云语义图的构建;
步骤S3、将点云图输入到局部池化模块中,提取局部深层抽象特征,进一步减少目标节点规模,简化图结构,将特征语义图输入到图卷积模块中,通过节点之间的连接关系完成特征交互,包括特征聚合和特征更新的计算过程;
步骤S4、在图卷积操作之后,以目标点云为中心进行邻域重构,将重构语义图输入空洞图卷积模块,增大卷积感知范围,降低邻域特征噪声影响;
步骤S5、通过注意力机制计算更新后的节点特征权重,将加权特征与所述步骤S3的特征进行向量拼接,用于步骤S7的池化操作;
步骤S6、全局池化模块的构建选择最大值池化和求和池化的方法,作为对称性函数,能实现点云的置换不变性,解决点的无序性问题;通过图卷积层的特征提取,已经获取到目标节点的邻域特征,为了实现全局特征的传递,将池化后的特征向量再进行均值池化,得到全局特征向量;均值函数相较于最大值函数的优势在于,最大值函数容易造成特征信息的丢失,而均值函数能更好地保留节点特征信息;
步骤S7、将步骤S5和S6得到的点云特征和图特征拼接计算后,输入到分类和定位分支,预测目标的类别,并画出3D检测框;
步骤S8、计算检测损失,以梯度下降法收敛,调整算法参数,直至损失最小,停止训练。
进一步,所述步骤S2点云语义图的构建流程包括:首先通过体素下采样算法,降低点云密度,保留有效信息;再通过KNN算法,遍历采样空间,确定目标点的K近邻;最后,在节点邻域空间中建立点的连接关系,构建邻接边,完成语义图构建。
进一步,所述步骤S2中原始点云集合为P,表示为:
P={P1,P2,P3......Pn|(n≤N)}
其中Pi属性表示为(xi,si),由三维空间坐标xi和状态属性si组成,在激光点云数据集下,采用激光反射强度表示;
对于给定的点云集合P,通过KNN算法捕捉到的邻域点云集合为:
Figure GDA0004065583800000031
捕捉到的拓扑关系表示为:
e(i,j)={(Fi,Fj)|j∈Nk(i)}
其中,F表示邻域点云集合,e(i,j)表示连接关系,D表示空间距离度量方式,采样欧式距离计算,Max表示取最远距离,Min表示取最近距离。Fi是目标中心点,Fk是待采样点,Nk(i)代表点Fi的邻域空间,Fj代表其中的邻节点。
进一步,所述步骤S2结束后,对训练数据先进行下采样处理,去除部分数据噪声,降低点云密度,得到目标点云集合;采用K最邻近算法对点云集合进行计算,使用Kd-Tree索引提高查询效率,遍历采样空间后,选取目标点云的K近邻,再进行所述步骤S3。
进一步,所述步骤S3中的,将特征语义图输入到图卷积模块后,图卷积计算采用消息传递网络实现,包括节点特征传递和更新两个阶段;采用的图卷积计算方式除点云坐标外,另引入目标节点和邻节点状态si和sj,加入目标节点自身属性,弥补点云特征不足的问题,进一步增强节点特征;构建优化的图卷积模块,并且采用自动配准机制,减少平移方差,实现点云平移不变性;
图卷积模块采用多层感知机完成特征映射;特征聚合函数选择最大值函数,针对点云无序性,通过求取特征最大值,实现局部置换不变性。
进一步,所述步骤S3中的领域特征噪声,采用门控循环单元(Gate RecurrentUnit,GRU)作为状态更新器,过滤点云图中存在的大量噪声信息,减缓网络过平滑现象;目标节点t+1时刻下的状态取决于此时的邻域聚合信息和t时刻的属性,通过门控信号,控制保留聚合特征中的有效信息,过滤噪声;通过门控信号的权重互补增强更新状态的稳定性,特征向量之间的复合计算,采用多层感知机实现。
具体为,所述步骤S3中图卷积模块采用的图卷积计算方法引入点云坐标外、目标节点si和邻节点状态属性sj,得到的图卷积特征聚合表达函数和特征更新函数为:
Figure GDA0004065583800000041
Figure GDA0004065583800000042
其中,lt使用多层感知机完成特征映射,获取深层抽象特征。p选择特征聚合方式为Max,针对点云无序性,通过Max方法实现局部置换不变性;ht(si t)使用节点i的状态计算了坐标偏移量,将ht输出设置为0时,禁用该自动配准机制;图卷积通过引入目标和邻节点状态,完成局部节点对的特征交互、聚合。
进一步,所述步骤S3中的节点状态信息存在大量特征噪声,采用门控循环单元作为特征更新模型,完成语义图中特征噪声的过滤,减缓模型过平滑现象,更新函数表示为:
Figure GDA0004065583800000043
其中,z是门控信号,控制保留信息和过滤信息,目标节点t+1时刻下的状态属性取决于此时态下的聚合信息和t时刻的节点本身属性,门控单元通过权重的相互弥补实现更新状态的稳定;
图卷积模块包括三层感知机和一层门控循环单元,进行的特征维度映射表示为:
[N*900]→[N*600]→[N*600]→[N*300]
图卷积模块通过两次迭代,提取语义图的二阶邻域特征
所述步骤S4中点云语义图重构算法,将K值设置为50,采用KNN算法取出目标节点的50个近邻点,然后重新计算邻域特征;重构目的在于重构邻居关系,避免固定图结构下的聚合趋势相似。
进一步,所述步骤S4空洞图卷积模块的空洞图卷积的膨胀率参数设置为2,随机率设置为0.2,以增强模型的鲁棒性。
进一步,所述步骤S8中求取损失使用的损失函数包括分类损失和定位损失:
分类损失定义为平均交叉熵损失函数:
Figure GDA0004065583800000051
其中,
Figure GDA0004065583800000052
Figure GDA0004065583800000053
表示i节点的标签和预测概率;
通过Huber损失计算定位损失,在此取所有点的损失均值:
Figure GDA0004065583800000054
为防止模型过拟合,加入L2正则化损失函数:
Reg_loss=∑iixi-Xi)2+λ(μi)2
将三个部分的损失函数相加,得到模型全部损失计算函数:
Total_loss=aAverage_loss+bLoc_loss+cReg_loss
其中a,b,c为常量因子,采用梯度下降法迭代求解最小化的损失函数和模型参数。
本发明的一种基于图神经网络的三维点云目标检测算法具有以下优点:该算法直接面向点云,构建点云语义图,通过图卷积捕捉点云的拓扑结构特征,完成点云之间的特征交互,用于全局视野下的目标检测任务;构建的目标检测网络能迅速扩大图卷积感知范围,优化过平滑问题,具有较高的鲁棒性和较优的性能。
附图说明
图1为本发明的一种基于图神经网络的三维点云目标检测算法的整体流程示意图。
图2为本发明的一种基于图神经网络的三维点云目标检测算法的图卷积模块示意图。
图3为本发明的一种基于图神经网络的三维点云目标检测算法的目标检测模型结构示意图。
图4为本发明的一种基于图神经网络的三维点云目标检测算法的全局池化层结构示意图。
图5为实施例1中的一种在KITTI数据集上的检测效果示意图。
具体实施方式
为了更好地了解本发明的目的、结构及功能,下面结合附图,对本发明一种基于图神经网络的三维点云目标检测算法做进一步详细的描述。
如图1-图4所示,本发明涉及一种基于图神经网络的三维点云目标检测模型,完成点云数据的渲染,使机器感知3D环境,可以应用于虚拟现实和自动驾驶领域。
整个算法流程可简单理解为:在局部池化操作之后,通过两个图卷积模块对语义图进行特征提取;在两层图卷积网络后,对点云集合重新构图,输入到空洞图卷积中,增大感知范围,减少邻域噪声影响;通过残差连接,将每次卷积得到的特征向量进行拼接计算;将点特征输入到全局池化层,得到全局特征向量;将局部特征和全局特征向量拼接后输入预测模块,进行目标分类和定位。
本发明提供一种基于图神经网络的三维点云目标检测算法,基于图神经网络和残差连接,实现点云的特征传递和更新,完成点云目标检测任务。经过测试,该算法在KITTI数据集(由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办的自动驾驶场景下的计算机视觉算法评测数据集)上能有效完成现实场景下的人和车的识别检测。该检测算法性能良好,具有较高区分度。
实施例1:
一种基于图神经网络的三维点云目标检测算法,如图1所示,该方法包括:将原始点云数据通过下采样降低点云密度;采用最近邻算法获取目标点云的近邻点,构建邻域空间和点云语义图;然后通过训练好的目标检测模型,提取点特征和图特征,用于实际场景下的目标分类和定位;对预测结果进行分析处理;所述的目标检测模型由图卷积层、残差连接网络以及池化层构成。
三维点云目标检测模型的训练过程包括:
S1:获取点云数据集,划分出训练集、验证集和测试集。
在KITTI数据集上完成模型的训练,按数据量分出7481个训练样本和7518个测试样本,每个样本都包含点云数据和相机图像;训练过程中,进一步将训练集划分为包含3721个样本的训练数据以及包含3769个样本的验证数据。
S2:对训练数据进行采样和聚合的预处理后,对目标点云的邻域空间构建连接边,完成点云语义图的构建。
构图方法(构图方法包括节点的选择以及构建连接边的方法)通过点的采样和聚类,捕捉局域拓扑关系,建立目标节点和邻节点之间的连接关系,选取基于Kd-Tree索引的KNN算法,首先确定划分维度,然后取出数据中值划分超平面,直至所有点划分完毕,Kd-Tree索引时间复杂度接近于log2n,搜索效率较高,查询近邻点时,对于稀疏不均匀的点云,具有较高的鲁棒性。
点云语义图的构建流程包括:首先通过体素下采样算法,降低点云密度,保留有效信息;再通过KNN算法,遍历采样空间,确定目标点的K近邻;最后,在节点邻域空间中建立点的连接关系,构建邻接边,完成语义图构建。
原始点云集合为P,表示为:
P={P1,P2,P3......Pn|(n≤N)}
其中Pi属性表示为(xi,si),由三维空间坐标xi和状态属性si组成,在激光点云数据集下,采用激光反射强度表示。
对于给定的点云集合P,通过KNN算法捕捉到的邻域点云集合为:
Figure GDA0004065583800000083
捕捉到的拓扑关系表示为:
e(i,j)={(Fi,Fj)|j∈Nk(i)}
其中,F表示邻域点云集合,e(i,j)表示连接关系,D表示空间距离度量方式,采样欧式距离计算,Max表示取最远距离,Min表示取最近距离。Fi是目标中心点,Fk是待采样点,Nk(i)代表点Fi的邻域空间,Fj代表其中的邻节点。
S3:将点云图输入到局部池化模块中,提取局部深层抽象特征,进一步减少目标节点规模,简化图结构,将特征语义图输入到图卷积模块中,通过节点之间的连接关系完成特征交互,包括特征聚合和特征更新的计算过程。
采用的图卷积计算方法除点云坐标外,另引入目标节点和邻节点状态属性si和sj,引入节点自身属性,增强点的特征信息,构建的图卷积采用自动配准机制,减少点云平移方差,得到的图卷积特征聚合表达函数和特征更新函数为:
Figure GDA0004065583800000081
Figure GDA0004065583800000082
其中,lt使用多层感知机完成特征映射,获取深层抽象特征。p选择特征聚合方式为Max,针对点云无序性,通过Max方法实现局部置换不变性。ht(si t)使用节点i的状态计算了坐标偏移量,将ht输出设置为0时,禁用该自动配准机制。图卷积通过引入目标和邻节点状态,完成局部节点对的特征交互、聚合。
节点状态属性信息存在大量特征噪声,采用门控循环单元作为特征更新模型,完成语义图中特征噪声的过滤,减缓模型过平滑现象,更新函数表示为:
Figure GDA0004065583800000091
其中,z是门控信号,控制保留信息和过滤信息,目标节点t+1时刻下的状态属性取决于此时态下的聚合信息和t时刻的节点本身属性,门控单元通过权重的相互弥补实现更新状态的稳定。
图卷积模块包括三层感知机和一层门控循环单元,结构如图2所示,进行的特征维度映射表示为:
[N*900]→[N*600]→[N*600]→[N*300]
图卷积模块通过两次迭代,提取语义图的二阶邻域特征。
S4:在图卷积操作之后,以目标点云为中心进行邻域重构,将重构语义图输入空洞图卷积模块,增大卷积感知范围,降低邻域噪声影响。
重构图目的在于重构点云连接关系,避免固定图结构下的聚合特征趋向相似。并且通过一层空洞图卷积,增大图卷积感受野,减少邻域噪声信息干扰。
在2层图卷积模块后,重构点云邻域空间。重构方法采用KNN算法重新获取目标节点的邻节点,优选的,设置k值为50。
将空洞卷积扩展到非欧式数据空间中,与图神经网络结合,扩大图卷积感知范围,优选的,计算过程中Dilated rate设置为2,并设置Random rate为0.2,以增强模型鲁棒性。
S5:通过注意力机制计算更新后的节点特征权重,将加权特征与S3的特征进行向量拼接,用于S7的池化操作。
将局部池化特征表示为节点t0时刻的状态State0,通过一个软注意力机制,计算出节点特征的权重分值;将分值赋予t2时刻下的节点状态State2,计算出加权特征;并将State0与State3进行特征拼接操作,输入全局池化层,得到语义图全局特征。
目标检测模型在三层图卷积模块的结构基础上,增加了残差连接,如图3所示,通过跳跃残差连接和空洞图卷积,扩大了图卷积特征感知范围,增强了点云特征信息,在不同时刻的状态差值下,抑制节点状态的趋向,优化模型特征提取性能。
S6:全局池化选取最大值和求和池化的对称性函数,获取局部邻域特征后,再次进行均值池化计算,得到全局特征。
优选的,全局池化方法选择Max池化和Sum池化算法,最大值函数和求和函数是对称性函数,能实现点云的置换不变性,解决点云无序性问题,全局池化层结构如图4所示。
通过图卷积模块的特征提取,获取到局部邻域特征,为了实现全局特征的传递,将池化后的点特征向量,再次进行Mean池化操作,计算得到的特征作为全局特征向量。Mean函数相比于Max函数的优势在于,Max函数易造成特征的丢失,而Mean函数则更好地保留了节点特征。
S7:将S5和S6得到的点云特征和图特征拼接计算后,输入到分类和定位分支,预测目标的类别,并画出3D检测框;
将图卷积层和池化层输出的点特征向量与图特征向量拼接计算后,输入到目标检测模块,在分类分支中预测目标类别,在定位分支中标出检测边界框。
3D检测边界框和锚点参数为(x,y,z,l,w,h,θ),其中(x,y,z)代表边界框中心位置,(l,w,h)代表长宽高,θ是偏航角,使用节点坐标对边界框编码:
Figure GDA0004065583800000101
Figure GDA0004065583800000102
其中,lm,hm,wm,θm为常量因子。
S8:计算检测损失,以梯度下降法收敛,调整算法参数,直至损失最小,停止训练。
损失函数包括分类损失和定位损失。
分类损失定义为平均交叉熵损失函数:
Figure GDA0004065583800000111
其中,
Figure GDA0004065583800000112
Figure GDA0004065583800000113
表示i节点的标签和预测概率。
通过Huber损失计算定位损失,在此取所有点的损失均值:
Figure GDA0004065583800000114
为防止模型过拟合,加入L2正则化损失函数:
Reg_loss=∑iixi-Xi)2+λ(μi)2
将三个部分的损失函数相加,得到模型全部损失计算函数:
Total_loss=aAverage_loss+bLoc_loss+cReg_loss
其中a,b,c为常量因子,采用梯度下降法迭代求解最小化的损失函数和模型参数,当损失函数值最小时,停止训练,保存模型和参数。
使用测试集对训练好的模型进行测试,目标检测模型能识别实际场景下的目标Car、Cyclist和Pedestrian,并且能画出物体检测框,在现实场景下模型对物体类别和位置都具有较高的区分度。
综上可知,一种基于图神经网络的目标检测算法直接面向原始点云数据,通过图卷积、空洞图卷积以及残差连接等模块,编码点云的有效信息,优化了点云特征信息不足和网络过平滑的问题。
通过融合图卷积层输出的点云局部特征和池化层输出的图全局特征,有效获取点云之间的连接关系和图的结构信息,捕捉点云的坐标、状态属性和空间特征,优化点云稀疏性问题。
图卷积的特征传递阶段引入点云的坐标信息和状态属性,增强特征,完成特征交互;特征更新阶段采用门控循环单元对特征噪声进行过滤,保留邻域特征中的有效信息,提高节点状态更新的稳定性。
该检测算法在现实场景下,能实现目标的分类和定位,具有较高的区分度。
实施例1:
将目标检测算法在KITTI数据集上进行验证,检测效果如图5所示。现实场景图中标记出了Car,pedestrian,cyclist三种目标的真值;对应地,通过检测算法在点云检测图中标出预测值。
在KITTI测试集上进行测试,得到简单的3D检测模式下的平均精度(the AveragePrecision,AP),如表1所示。
表1
Car Pedestrian Cyclist
AP 84.22 43.89 69.59
根据检测结果,目标检测算法有效地完成了分类和定位的分支任务,对Car、Cyclist和Pedestrian三类目标,实现了较高的区分度。标注的目标检测框,对三类目标进行了预测和定位,预测值与真值接近;针对数据更加充分的Car目标,目标检测算法的平均精度达到80%以上。
可以理解,本发明是通过一些实施例进行描述的,本领域技术人员知悉的,在不脱离本发明的精神和范围的情况下,可以对这些特征和实施例进行各种改变或等效替换。另外,在本发明的教导下,可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此,本发明不受此处所公开的具体实施例的限制,所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (10)

1.一种基于图神经网络的三维点云目标检测算法,其特征在于,包括以下步骤,且以下步骤顺次进行:
步骤S1、获取点云数据集,划分出训练集、验证集和测试集;
步骤S2、对训练数据中的原始点云集合进行采样和聚类的预处理后,对目标点云的邻域空间构建连接边,完成点云语义图的构建;
步骤S3、将点云图输入到局部池化模块中,提取局部深层抽象特征,将特征语义图输入到图卷积模块中,通过节点之间的连接关系完成特征交互,包括特征聚合和特征更新的计算过程;
步骤S4、在图卷积操作之后,以目标点云为中心进行邻域重构,将重构语义图输入空洞图卷积模块,增大卷积感知范围,降低邻域特征噪声影响;
步骤S5、通过注意力机制计算更新后的节点特征权重,将加权特征与所述步骤S3的特征进行向量拼接,用于步骤S7的池化操作;
步骤S6、全局池化模块的构建选择最大值池化和求和池化的方法,作为对称性函数,将池化后的特征向量再进行均值池化,得到全局特征向量;
步骤S7、将步骤S5和S6得到的点云特征和图特征拼接计算后,输入到分类和定位分支,预测目标的类别,并画出3D检测框;
步骤S8、计算检测损失,以梯度下降法收敛,调整算法参数,直至损失最小,停止训练。
2.根据权利要求1所述的基于图神经网络的三维点云目标检测算法,其特征在于,所述步骤S2点云语义图的构建流程包括:首先通过体素下采样算法,降低点云密度,保留有效信息;再通过KNN算法,遍历采样空间,确定目标点的K近邻;最后,在节点邻域空间中建立点的连接关系,构建邻接边,完成语义图构建。
3.根据权利要求1所述的基于图神经网络的三维点云目标检测算法,其特征在于,所述步骤S2中原始点云集合为P,表示为:
P={P1,P2,P3......Pn|(n≤N)}
其中Pi属性表示为(xi,si),由三维空间坐标xi和状态属性si组成,在激光点云数据集下,采用激光反射强度表示;
对于给定的点云集合P,通过KNN算法捕捉到的邻域点云集合为:
Figure FDA0004065583790000021
捕捉到的拓扑关系表示为:
e(i,j)={(Fi,Fj)|j∈Nk(i)}
其中,F表示邻域点云集合,e(i,j)表示连接关系,D表示空间距离度量方式,采样欧式距离计算,Max表示取最远距离,Min表示取最近距离;Fi是目标中心点,Fk是待采样点,Nk(i)代表点Fi的邻域空间,Fj代表其中的邻节点。
4.根据权利要求1所述的基于图神经网络的三维点云目标检测算法,其特征在于,所述步骤S2结束后,对训练数据先进行下采样处理,去除部分数据噪声,降低点云密度,得到目标点云集合;采用K最邻近算法对点云集合进行计算,使用Kd-Tree索引提高查询效率,遍历采样空间后,选取目标点云的K近邻,再进行所述步骤S3。
5.根据权利要求1所述的基于图神经网络的三维点云目标检测算法,其特征在于,所述步骤S3中的,将特征语义图输入到图卷积模块后,图卷积计算采用消息传递网络实现,包括节点特征传递和更新两个阶段;
图卷积模块采用多层感知机完成特征映射;特征聚合函数选择最大值函数,针对点云无序性,通过求取特征最大值,实现局部置换不变性。
6.根据权利要求1所述的基于图神经网络的三维点云目标检测算法,其特征在于,所述步骤S3中图卷积模块采用的图卷积计算方法引入点云坐标外、目标节点si和邻节点状态属性sj,得到的图卷积特征聚合表达函数和特征更新函数为:
Figure FDA0004065583790000031
Figure FDA0004065583790000032
其中,lt使用多层感知机完成特征映射,获取深层抽象特征;p选择特征聚合方式为Max,针对点云无序性,通过Max方法实现局部置换不变性;ht(si t)使用节点i的状态计算了坐标偏移量,将ht输出设置为0时,禁用自动配准机制;图卷积通过引入目标和邻节点状态,完成局部节点对的特征交互、聚合。
7.根据权利要求1所述的基于图神经网络的三维点云目标检测算法,其特征在于,所述步骤S3中的节点状态信息存在大量特征噪声,采用门控循环单元作为特征更新模型,完成语义图中特征噪声的过滤,减缓模型过平滑现象,更新函数表示为:
Figure FDA0004065583790000033
其中,z是门控信号,控制保留信息和过滤信息,目标节点t+1时刻下的状态属性取决于此时态下的聚合信息和t时刻的节点本身属性,门控单元通过权重的相互弥补实现更新状态的稳定;
图卷积模块包括三层感知机和一层门控循环单元,进行的特征维度映射表示为:
[N*900]→[N*600]→[N*600]→[N*300]
图卷积模块通过两次迭代,提取语义图的二阶邻域特征。
8.根据权利要求1所述的基于图神经网络的三维点云目标检测算法,其特征在于,所述步骤S4采用KNN算法进行重构,取出目标节点的50个近邻点,然后重新计算邻域特征。
9.根据权利要求1所述的基于图神经网络的三维点云目标检测算法,其特征在于,所述步骤S4空洞图卷积模块的空洞图卷积的膨胀率参数设置为2,随机率设置为0.2,以增强模型的鲁棒性。
10.根据权利要求1所述的基于图神经网络的三维点云目标检测算法,其特征在于,所述步骤S8中求取损失使用的损失函数包括分类损失和定位损失:
分类损失定义为平均交叉熵损失函数:
Figure FDA0004065583790000041
其中,
Figure FDA0004065583790000042
Figure FDA0004065583790000043
表示i节点的标签和预测概率;
通过Huber损失计算定位损失,在此取所有点的损失均值:
Figure FDA0004065583790000044
为防止模型过拟合,加入L2正则化损失函数:
Reg_loss=∑iixi-Xi)2+λ(μi)2
将三个部分的损失函数相加,得到模型全部损失计算函数:
Total_loss=aAverage_loss+bLoc_loss+cReg_loss
其中a,b,c为常量因子,采用梯度下降法迭代求解最小化的损失函数和模型参数。
CN202210586391.4A 2022-05-27 2022-05-27 一种基于图神经网络的三维点云目标检测算法 Active CN114998890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210586391.4A CN114998890B (zh) 2022-05-27 2022-05-27 一种基于图神经网络的三维点云目标检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210586391.4A CN114998890B (zh) 2022-05-27 2022-05-27 一种基于图神经网络的三维点云目标检测算法

Publications (2)

Publication Number Publication Date
CN114998890A CN114998890A (zh) 2022-09-02
CN114998890B true CN114998890B (zh) 2023-03-10

Family

ID=83028353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210586391.4A Active CN114998890B (zh) 2022-05-27 2022-05-27 一种基于图神经网络的三维点云目标检测算法

Country Status (1)

Country Link
CN (1) CN114998890B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116299170B (zh) * 2023-02-23 2023-09-01 中国人民解放军军事科学院系统工程研究院 一种基于深度学习的多目标无源定位方法、系统、介质
CN116703553B (zh) * 2023-08-07 2023-12-05 浙江鹏信信息科技股份有限公司 金融反欺诈风险监控方法、系统及可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583263A (zh) * 2020-04-30 2020-08-25 北京工业大学 一种基于联合动态图卷积的点云分割方法
CN111860493A (zh) * 2020-06-12 2020-10-30 北京图森智途科技有限公司 一种基于点云数据的目标检测方法及装置
CN112699806A (zh) * 2020-12-31 2021-04-23 罗普特科技集团股份有限公司 一种基于三维热图的三维点云目标检测方法和装置
CN112801059A (zh) * 2021-04-07 2021-05-14 广东众聚人工智能科技有限公司 图卷积网络系统和基于图卷积网络系统的3d物体检测方法
CN113128348A (zh) * 2021-03-25 2021-07-16 西安电子科技大学 一种融合语义信息的激光雷达目标检测方法及系统
CN113160117A (zh) * 2021-02-04 2021-07-23 成都信息工程大学 一种自动驾驶场景下的三维点云目标检测方法
CN113538474A (zh) * 2021-07-12 2021-10-22 大连民族大学 基于边缘特征融合的3d点云分割目标检测系统
WO2021226027A1 (en) * 2020-05-06 2021-11-11 Luminar, Llc Graph neural network for multi-object detection and tracking
CN113705631A (zh) * 2021-08-10 2021-11-26 重庆邮电大学 一种基于图卷积的3d点云目标检测方法
WO2022040562A1 (en) * 2020-08-21 2022-02-24 Waymo Llc Object-centric three-dimensional auto labeling of point cloud data
CN114092780A (zh) * 2021-11-12 2022-02-25 天津大学 基于点云与图像数据融合的三维目标检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182612B2 (en) * 2019-10-28 2021-11-23 The Chinese University Of Hong Kong Systems and methods for place recognition based on 3D point cloud
US20210133990A1 (en) * 2019-11-05 2021-05-06 Nvidia Corporation Image aligning neural network
CN113554654B (zh) * 2021-06-07 2024-03-22 之江实验室 基于图神经网络的点云特征提取系统及分类分割方法
CN114254696A (zh) * 2021-11-30 2022-03-29 上海西虹桥导航技术有限公司 基于深度学习的可见光、红外和雷达融合目标检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583263A (zh) * 2020-04-30 2020-08-25 北京工业大学 一种基于联合动态图卷积的点云分割方法
WO2021226027A1 (en) * 2020-05-06 2021-11-11 Luminar, Llc Graph neural network for multi-object detection and tracking
CN111860493A (zh) * 2020-06-12 2020-10-30 北京图森智途科技有限公司 一种基于点云数据的目标检测方法及装置
WO2022040562A1 (en) * 2020-08-21 2022-02-24 Waymo Llc Object-centric three-dimensional auto labeling of point cloud data
CN112699806A (zh) * 2020-12-31 2021-04-23 罗普特科技集团股份有限公司 一种基于三维热图的三维点云目标检测方法和装置
CN113160117A (zh) * 2021-02-04 2021-07-23 成都信息工程大学 一种自动驾驶场景下的三维点云目标检测方法
CN113128348A (zh) * 2021-03-25 2021-07-16 西安电子科技大学 一种融合语义信息的激光雷达目标检测方法及系统
CN112801059A (zh) * 2021-04-07 2021-05-14 广东众聚人工智能科技有限公司 图卷积网络系统和基于图卷积网络系统的3d物体检测方法
CN113538474A (zh) * 2021-07-12 2021-10-22 大连民族大学 基于边缘特征融合的3d点云分割目标检测系统
CN113705631A (zh) * 2021-08-10 2021-11-26 重庆邮电大学 一种基于图卷积的3d点云目标检测方法
CN114092780A (zh) * 2021-11-12 2022-02-25 天津大学 基于点云与图像数据融合的三维目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PointAtrousNet: Point Atrous Convolution for Point Cloud Analysis;Liang Pan等;《 IEEE Robotics and Automation Letters》;20190710;4035-4041 *
Point-GNN: Graph Neural Network for 3D ObjectDetection in a Point Cloud;Weijing Shi等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200805;1708-1716 *
PointRCNN: 3D Object Proposal Generation and Detection From Point Cloud;Shaoshuai Shi等;《 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;770-779 *
结合图采样和图注意力的3D目标检测方法;李文举等;《计算机工程与应用》;20220422;1-9 *

Also Published As

Publication number Publication date
CN114998890A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
WO2024077812A1 (zh) 基于点云语义分割与结构拟合的单体建筑三维重建方法
CN114998890B (zh) 一种基于图神经网络的三维点云目标检测算法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN111709416B (zh) 车牌定位方法、装置、系统及存储介质
CN109711416B (zh) 目标识别方法、装置、计算机设备和存储介质
CN113705631B (zh) 一种基于图卷积的3d点云目标检测方法
CN106709472A (zh) 一种基于光流特征的视频目标检测与跟踪方法
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
Geng et al. Using deep learning in infrared images to enable human gesture recognition for autonomous vehicles
CN110399840B (zh) 一种快速的草坪语义分割及边界检测方法
CN110991444B (zh) 面向复杂场景的车牌识别方法及装置
CN113592894B (zh) 一种基于边界框和同现特征预测的图像分割方法
Ouyang et al. Vehicle target detection in complex scenes based on YOLOv3 algorithm
CN113705655B (zh) 三维点云全自动分类方法及深度神经网络模型
CN115424223A (zh) 图神经网络训练方法、点云特征提取方法、设备及介质
Raparthi et al. Machine Learning Based Deep Cloud Model to Enhance Robustness and Noise Interference
CN114049572A (zh) 识别小目标的检测方法
CN113592893B (zh) 一种确定主体和精准化边缘相结合的图像前景分割方法
Gadasin et al. Application of Convolutional Neural Networks for Three-Dimensional Reconstruction of the Geometry of Objects in the Image
CN112766145B (zh) 人工神经网络的人脸动态表情识别方法及装置
Khoshboresh-Masouleh et al. Robust building footprint extraction from big multi-sensor data using deep competition network
CN116311387B (zh) 一种基于特征交集的跨模态行人重识别方法
CN114120095A (zh) 一种基于空中三维模型的移动机器人自主定位系统及方法
CN116503602A (zh) 基于多层级边缘增强的非结构化环境三维点云语义分割方法
Li et al. A new algorithm of vehicle license plate location based on convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant