CN117849760B - 一种激光雷达点云数据处理方法 - Google Patents
一种激光雷达点云数据处理方法 Download PDFInfo
- Publication number
- CN117849760B CN117849760B CN202410259175.8A CN202410259175A CN117849760B CN 117849760 B CN117849760 B CN 117849760B CN 202410259175 A CN202410259175 A CN 202410259175A CN 117849760 B CN117849760 B CN 117849760B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- laser radar
- area
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000005070 sampling Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 230000008447 perception Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 15
- 230000007613 environmental effect Effects 0.000 claims description 11
- 238000013210 evaluation model Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000001914 filtration Methods 0.000 abstract description 11
- 230000011218 segmentation Effects 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种激光雷达点云数据处理方法,具体涉及激光雷达技术领域,用于解决复杂环境下激光雷达点云特征繁杂结构众多,难以进行准确滤波的问题,包括采集需求范围内的激光雷达点云,获取点云密度信息、检测目标范围信息和检测目标价值信息数据;本发明基于对激光雷达点云中各个雷达点进行点采样,以分割聚类区域结合随机点采样的方法,约束随机点采样带来的不稳定性,在此过程中对聚类区域的大小进行评估,以保证采集的雷达点可以保留尽可能多的特征,采样合格后,还需构建卷积网络模型,通过深度学习方法提取特征,再通过特征加权,总结出部分通用的局部特征,赋予点特征权重,实现对激光雷达点云的数据处理,方便后续的滤波处理。
Description
技术领域
本发明涉及激光雷达技术领域,更具体地说,本发明涉及一种激光雷达点云数据处理方法。
背景技术
激光雷达是一种使用激光光束来测量距离、生成地图或获取环境特征的技术,激光雷达点则是激光雷达通过发射激光束,并测量激光束返回的时间来测定目标的距离。具体为将每个激光束的返回数据表示为一个激光雷达点,包括该点的三维坐标(X、Y、Z)以及可能的其他信息,如激光的反射强度、角度信息等。激光雷达点云则是激光雷达系统连续地发射激光脉冲,形成一个激光雷达点的集合所构成的。激光雷达点云是一个离散的、三维空间中的数据集,其中的每个点代表激光雷达测量到的一个空间位置。点云以原始形式呈现,可以用来描述环境的形状、结构和表面特征。
激光雷达点云在各种应用中广泛使用,包括自动驾驶汽车的环境感知、机器人导航、地图制图等。这种点云的表示形式对于实现高级的环境感知和导航系统非常有用,通过对点云进行处理和分析,可以提取有关环境的各种信息,例如障碍物的位置、地面的形状、建筑物的结构等。
如上述所言,想要得到详细准确的激光雷达信息必须依托于激光雷达点云,但需要对激光雷达点云进行处理,筛选掉不需要的雷达点,尽管当前现有技术中常用到的常见的方法和策略多种多样,如高度滤波、距离滤波、运动滤波、形状滤波和密度滤波等,但可以看出滤波方法主要通过对激光雷达点云中的某一特征进行识别区分,然而在复杂的环境中,如城市街道或森林等,点云可能包含大量特征的细节和结构,现有技术下的滤波方法可能会过滤掉一些重要的信息或保留一些噪声。
发明内容
为了克服现有技术的上述缺陷,本发明的实施例提供一种激光雷达点云数据处理方法,基于对激光雷达点云中各个雷达点进行点采样,以分割聚类区域结合随机点采样的方法,约束随机点采样带来的不稳定性,在此过程中对聚类区域的大小进行评估,以保证采集的雷达点可以保留尽可能多的特征,采样合格后,还需构建卷积网络模型,通过深度学习方法提取特征,再通过特征加权,总结出部分通用的局部特征,赋予点特征权重,实现对激光雷达点云的数据处理,方便后续的滤波处理,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种激光雷达点云数据处理方法,包括如下步骤:
步骤S1,采集需求范围内的激光雷达点云,获取点云密度信息、检测目标范围信息和检测目标价值信息数据;
步骤S2,以范围内的雷达点云作为样本,划分聚类区域进行点采样,在点采样的过程中对所采用的聚类区域大小值进行评估;
步骤S3,以点采样后的雷达点构建卷积网络模型,通过深度学习提取雷达点的特征;
步骤S4,对神经网络模型中的点云数据通过注意力函数进行特征加权,总结出部分通用的局部特征。
具体的,在步骤S1中,为了实现目标区域内的激光雷达点云的采集,通常使用激光雷达传感器,在安装到需要检测的区域后,调整其位置和朝向以覆盖目标区域,保证采集到的点云质量和完整性,再通过配置激光雷达传感器的参数,如扫描角度、扫描频率、分辨率等,得到点云的密度,在记录传感器信息后,形成未处理的点云数据。
在步骤S2中,对采集到的激光雷达点云数据进行初步处理,对采集到的激光雷达点云进行分割、聚类,将相似的点聚合到一起,进行点云数据的压缩,以实现减小数据量而保持关键特征的目的,分割点云的聚类区域大小是人为设定的值,将聚类区域大小的初始值设定为G,通过对每个数据点邻域中所取的最近邻数量值进行评估,给出点邻域中所取的聚类区域和最近邻数量增大还是减少的建议,保证取样数据的准确性和可测量性,具体过程为采集激光雷达点云相关信息,包括密度信息和环境感知价值信息,其中密度信息包括点云密度系数和区域相关度密度系数,将点云密度系数和区域相关度密度系数分别标定为和/>,环境感知价值信息包括环境感知价值系数标定为/>;
点云密度系数,首先获得所取目标聚类区域内包含的最近邻数量值与所处聚类区域的大小相比,记为区域平均最近邻数量,标定为/>,与此同时整个目标激光雷达点云区域内的所有激光雷达点数量与激光雷达点云所占范围的比值,记为点云内平均激光雷达点数量,标定为/>,求得区域平均最近邻数量与点云内平均激光雷达点数量的差值为点云密度系数,因此点云密度系数/>;
区域相关度密度系数,获取目标聚类区域中,需要采集的目标信息所占范围的大小,标定为/>,而目标聚类区域的范围大小为/>,n表示G区域经过范围调整的次数,n=1、2、3、4、……、m,m为正整数,则区域相关度密度系数/>;
环境感知价值系数则需要获得激光雷达所获取目标的价值决定,设定激光雷达想获取的目标价值为/>,激光雷达点云总面积为L,则环境感知价值系数/>。
一般而言,越高的点云密度、与目标信息越具有相关性并且需要测定的目标价值越大,对所取的激光雷达点云来说,聚类区域所占的范围越小,聚类区域中的最近邻数量值就越少,所取得的样本点数量越多。
在步骤S2中,构建聚类区域评估模型,聚类区域评估模型分别从点云密度系数、区域相关度密度系数/>和环境感知价值系数/>三方面加权构建而成,生成聚类区域评估模型/>,构成的公式为/>;
同时,、/>、/>均大于0,为根据实际情况进行设定,例如,采用专家赋权法,即邀请相关领域的专家通过专业的意见调查和综合评估来确定各项指标的权重,以确保权重系数能够准确地反映衣物感知评估中各项指标的重要性。此外,还可以考虑采用层次分析法、模糊综合评价法等多种方法来确定权重系数,以保证权重系数的客观性和科学性。在此不作赘述。
在步骤S2中,当聚类区域评估指数小于设定的阈值区间时,说明当前分割的聚类区域大小不符合需求的点采样数量,重新设定聚类区域大小值G,将聚类区域大小值增大,进行再一次划分;
当聚类区域评估指数大于设定的阈值区间时,说明当前分割的聚类区域大小不符合需求的点采样数量,重新设定聚类区域大小值G,将聚类区域大小值减小,进行再一次划分;
当聚类区域评估指数等于设定的阈值区间时,说明当前划分的聚类区域大小符合需求的点采样数量,采集的雷达点数量能满足保留特征的同时简化点云数据信息的目的,发出点采样合格信号,并继续进行后续步骤。
在步骤S3中,对于目标激光雷达点云进行分割的聚类区域,对所有聚类区域中随机取样一点后,以获取的点集构建深度学习模型,提升局部区域特征学习稳定性。
具体的,深度学习模型构建方法如下:
步骤S3.1,设计“旋转”和“平移”两条分离并行的特征学习路径,使每个路径专门负责学习其中一种运动的信息,其中旋转信息学习路径使用去中心化的局部区域点集构建更为稳定的特征,平移学习路径则直接基于原始的局部区域点集进行特征学习;
步骤S3.2,输入尺寸为[N,K,3]的邻域点集,其中N表示采样点的数量,K表示邻域点的点数,3则表示样本点的位置信息,即指输入特征通道维度为3,进行去中心化处理,使得点云中的每个点都变成了相对于局部区域中心的偏移,使得学到的特征更具有局部结构的信息,数学步骤为对于所取聚类区域及聚类区域中的样本点每个维度进行求和,然后除以局部区域内点的数量,得到均值,再对局部区域内的每个点,将其减去局部区域的均值,生成局部区域点集,记为D;
步骤S3.3,设计卷积神经网络,通过计算机软件Python定义卷积模型,划分输入层、卷积层、池化层和全连接层,以步骤S3.2中得到的去中心化处理后的局部区域点集D作为输入,该点的编码特征标记为F作为输出,则可得输出,式中,/>表示邻域点集中尺寸为[N,K,3]的第i个局部邻域,/>指输入特征通道维度为3输出特征通道维度为32的MLP(神经网络),/>为编码后尺寸为/>的单点局部特征;
步骤S3.4,在对两条特征学习路径平均池化操作后,进行特征通道维度拼接,得到学习局部区域的最终特征:,式中,/>表示最大池化操作,/>表示批标准化操作,/>表示ReLU激活函数,旨在神经网络中引入非线性性,去除输入为负数时的情况,/>表示最终特征的学习。
在步骤S4中,“旋转”和“平移”后的两条特征学习路径虽然能够捕捉丰富的场景姿态信息,然而由于这两条路径的学习过程是相互独立的,导致特征学习缺乏信息交互。尤其在场景重叠度较低的情况下,两条路径学到的特征可能包含大量来自非重叠区域的冗余信息。为了缓解这种情况下非重叠区域信息对特征学习的干扰,引入基于注意力机制的特征加权模块,从而创建场景点云之间的信息交互通道,使网络能够在感知姿态特征的同时,学习如何甄别来自非重叠区域的冗余信息。通过这种方式,网络可以自适应地关注场景中结构更相似的区域,从而缓解低重叠度场景对配准过程的影响。实现使得网络更加灵活地适应不同场景的特征学习需求,而且提高了对于非重叠区域信息的处理效能的目的,具体的特征加权模块构建方式如下:
步骤S4.1,以步骤S3.4中得到的作为生成注意力权重的输入,同时以Cosine注意力函数进行模块构建,Cosine注意力函数通过计算两个向量之间的余弦相似度,来确定一个向量对于另一个向量的重要性。在点云数据处理中,可以使用Cosine注意力函数来计算每个点对于特定任务的相对重要性,然后通过这些权重对点云中的特征进行加权;
步骤S4.2中,对输入的特征通过线性映射层生成对应的向量q,将点云数据中每个点都用一个特征表示,并标定为/>,i=1、2、3、4、……、u,u为正整数,表示点的数量,对于每个点的特征向量/>计算其与查询向量q之间的余弦相似度:,从而得到每个点与查询向量之间的相似度分数;
步骤S4.3中,对相似度分数进行归一化,以确保它们在 [0, 1] 范围内。可以使用softmax函数沿行方向进行标准化操作,生成注意力权重矩阵来实现:,得到每个点的权重;
步骤S4.4中,使用计算得到的权重对每个点的特征进行加权:注意力加权层使用注意力权重矩阵W,以残差的形式将注意力添加到待配准点云的局部区域特征,以调节不同区域特征的重要程度。
本发明的技术效果和优点:
本发明基于对激光雷达点云中各个雷达点进行点采样,以分割聚类区域结合随机点采样的方法,约束随机点采样带来的不稳定性,在此过程中对聚类区域的大小进行评估,以保证采集的雷达点可以保留尽可能多的特征,采样合格后,还需构建卷积网络模型,通过深度学习方法提取特征,再通过特征加权,总结出部分通用的局部特征,赋予点特征权重,实现对激光雷达点云的数据处理,方便后续的滤波处理。
附图说明
图1为本发明一种激光雷达点云数据处理方法流程图,图2为本发明激光雷达点云数据处理网络架构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明一种激光雷达点云数据处理方法,是基于对激光雷达点云中各个雷达点进行点采样,以分割聚类区域结合随机点采样的方法,约束随机点采样带来的不稳定性,在此过程中对聚类区域的大小进行评估,以保证采集的雷达点可以保留尽可能多的特征,采样合格后,还需构建卷积网络模型,通过深度学习方法提取特征,再通过特征加权,总结出部分通用的局部特征,赋予点特征权重,实现对激光雷达点云的数据处理,方便后续的滤波处理。
实施例
如图1所示,一种激光雷达点云数据处理方法步骤如下:
步骤S1,采集需求范围内的激光雷达点云,获取点云密度信息、检测目标范围信息和检测目标价值信息数据;
步骤S2,以范围内的雷达点云作为样本,划分聚类区域进行点采样,在点采样的过程中对所采用的聚类区域大小值进行评估;
步骤S3,以点采样后的雷达点构建卷积网络模型,通过深度学习提取雷达点的特征;
步骤S4,对神经网络模型中的点云数据通过注意力函数进行特征加权,总结出部分通用的局部特征。
具体的,在步骤S1中,为了实现目标区域内的激光雷达点云的采集,通常使用激光雷达传感器,在安装到需要检测的区域后,调整其位置和朝向以覆盖目标区域,保证采集到的点云质量和完整性,再通过配置激光雷达传感器的参数,如扫描角度、扫描频率、分辨率等,得到点云的密度,在记录传感器信息后,形成未处理的点云数据。
在步骤S2中,对采集到的激光雷达点云数据进行初步处理,对采集到的激光雷达点云进行分割、聚类,将相似的点聚合到一起,进行点云数据的压缩,以实现减小数据量而保持关键特征的目的,分割点云的聚类区域大小是人为设定的值,将聚类区域大小的初始值设定为G,通过对每个数据点邻域中所取的最近邻数量值进行评估,给出点邻域中所取的聚类区域和最近邻数量增大还是减少的建议,保证取样数据的准确性和可测量性,具体过程为采集激光雷达点云相关信息,包括密度信息和环境感知价值信息,其中密度信息包括点云密度系数和区域相关度密度系数,将点云密度系数和区域相关度密度系数分别标定为和/>,环境感知价值信息包括环境感知价值系数标定为/>;
点云密度系数,首先获得所取目标聚类区域内包含的最近邻数量值与所处聚类区域的大小相比,记为区域平均最近邻数量,标定为/>,与此同时整个目标激光雷达点云区域内的所有激光雷达点数量与激光雷达点云所占范围的比值,记为点云内平均激光雷达点数量,标定为/>,求得区域平均最近邻数量与点云内平均激光雷达点数量的差值为点云密度系数,因此点云密度系数/>;
区域相关度密度系数,获取目标聚类区域中,需要采集的目标信息所占范围的大小,标定为/>,而目标聚类区域的范围大小为/>,n表示G区域经过范围调整的次数,n=1、2、3、4、……、m,m为正整数,则区域相关度密度系数/>;
环境感知价值系数则需要获得激光雷达所获取目标的价值决定,设定激光雷达想获取的目标价值为/>,激光雷达点云总面积为L,则环境感知价值系数/>。
一般而言,越高的点云密度、与目标信息越具有相关性并且需要测定的目标价值越大,对所取的激光雷达点云来说,聚类区域所占的范围越小,聚类区域中的最近邻数量值就越少,所取得的样本点数量越多。
在步骤S2中,构建聚类区域评估模型,聚类区域评估模型分别从点云密度系数、区域相关度密度系数/>和环境感知价值系数/>三方面加权构建而成,生成聚类区域评估模型/>,构成的公式为/>;式中,/>、、/>分别为点云密度系数、区域相关度密度系数以及环境感知价值系数的预设比例系数。
同时,、/>、/>均大于0,为根据实际情况进行设定,例如,采用专家赋权法,即邀请相关领域的专家通过专业的意见调查和综合评估来确定各项指标的权重,以确保权重系数能够准确地反映衣物感知评估中各项指标的重要性。此外,还可以考虑采用层次分析法、模糊综合评价法等多种方法来确定权重系数,以保证权重系数的客观性和科学性。在此不作赘述。
在步骤S2中,当聚类区域评估指数小于设定的阈值区间时,说明当前分割的聚类区域大小不符合需求的点采样数量,重新设定聚类区域大小值G,将聚类区域大小值增大,进行再一次划分;
当聚类区域评估指数大于设定的阈值区间时,说明当前分割的聚类区域大小不符合需求的点采样数量,重新设定聚类区域大小值G,将聚类区域大小值减小,进行再一次划分;
当聚类区域评估指数等于设定的阈值区间时,说明当前划分的聚类区域大小符合需求的点采样数量,采集的雷达点数量能满足保留特征的同时简化点云数据信息的目的,发出点采样合格信号,并继续进行后续步骤。
在步骤S3中,对于目标激光雷达点云进行分割的聚类区域,对所有聚类区域中随机取样一点后,以获取的点集构建深度学习模型,提升局部区域特征学习稳定性。
具体的,深度学习模型构建方法如下:
步骤S3.1,设计“旋转”和“平移”两条分离并行的特征学习路径,使每个路径专门负责学习其中一种运动的信息,其中旋转信息学习路径使用去中心化的局部区域点集构建更为稳定的特征,平移学习路径则直接基于原始的局部区域点集进行特征学习;
步骤S3.2,输入尺寸为[N,K,3]的邻域点集,其中N表示采样点的数量,K表示邻域点的点数,3则表示样本点的位置信息,即指输入特征通道维度为3,进行去中心化处理,使得点云中的每个点都变成了相对于局部区域中心的偏移,使得学到的特征更具有局部结构的信息,数学步骤为对于所取聚类区域及聚类区域中的样本点每个维度进行求和,然后除以局部区域内点的数量,得到均值,再对局部区域内的每个点,将其减去局部区域的均值,生成局部区域点集,记为D;
步骤S3.3,设计卷积神经网络,通过计算机软件Python定义卷积模型,划分输入层、卷积层、池化层和全连接层,以步骤S3.2中得到的去中心化处理后的局部区域点集D作为输入,该点的编码特征标记为F作为输出,则可得输出,式中,/>表示邻域点集中尺寸为[N,K,3]的第i个局部邻域,/>指输入特征通道维度为3输出特征通道维度为32的MLP(神经网络),/>为编码后尺寸为/>的单点局部特征;
步骤S3.4,在对两条特征学习路径平均池化操作后,进行特征通道维度拼接,得到学习局部区域的最终特征:,式中,/>表示最大池化操作,/>表示批标准化操作,/>表示ReLU激活函数,旨在神经网络中引入非线性,去除输入为负数时的情况,/>表示最终特征的学习。
在步骤S4中,“旋转”和“平移”后的两条特征学习路径虽然能够捕捉丰富的场景姿态信息,然而由于这两条路径的学习过程是相互独立的,导致特征学习缺乏信息交互。尤其在场景重叠度较低的情况下,两条路径学到的特征可能包含大量来自非重叠区域的冗余信息。为了缓解这种情况下非重叠区域信息对特征学习的干扰,引入基于注意力机制的特征加权模块,从而创建场景点云之间的信息交互通道,使网络能够在感知姿态特征的同时,学习如何甄别来自非重叠区域的冗余信息。通过这种方式,网络可以自适应地关注场景中结构更相似的区域,从而缓解低重叠度场景对配准过程的影响。实现使得网络更加灵活地适应不同场景的特征学习需求,而且提高了对于非重叠区域信息的处理效能的目的,具体的特征加权模块构建方式如下:
步骤S4.1,以步骤S3.4中得到的作为生成注意力权重的输入,同时以Cosine注意力函数进行模块构建,Cosine注意力函数通过计算两个向量之间的余弦相似度,来确定一个向量对于另一个向量的重要性。在点云数据处理中,可以使用Cosine注意力函数来计算每个点对于特定任务的相对重要性,然后通过这些权重对点云中的特征进行加权;
步骤S4.2中,对输入的特征通过线性映射层生成对应的向量q,将点云数据中每个点都用一个特征表示,并标定为/>,i=1、2、3、4、……、u,u为正整数,表示点的数量,对于每个点的特征向量/>计算其与查询向量q之间的余弦相似度:,从而得到每个点与查询向量之间的相似度分数;
步骤S4.3中,对相似度分数进行归一化,以确保它们在 [0, 1] 范围内。可以使用softmax函数沿行方向进行标准化操作,生成注意力权重矩阵来实现:,得到每个点的权重;
步骤S4.4中,使用计算得到的权重对每个点的特征进行加权:注意力加权层使用注意力权重矩阵W,以残差的形式将注意力添加到待配准点云的局部区域特征,以调节不同区域特征的重要程度。
上述公式均是去量纲取其数值计算,具体去量纲可采用标准化等多种手段,在此不进行赘述,公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式,公式中的预设参数由本领域的技术人员根据实际情况进行设置。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络,或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、ATA硬盘、磁带)、光介质(例如,DVD),或者半导体介质。半导体介质可以是固态ATA硬盘。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件,或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术作出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动ATA硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (4)
1.一种激光雷达点云数据处理方法,其特征在于,包括如下步骤:
步骤S1,采集需求范围内的激光雷达点云,获取点云密度信息、检测目标范围信息和检测目标价值信息数据;
步骤S2,以范围内的雷达点云作为样本,划分聚类区域进行点采样,在点采样的过程中对所采用的聚类区域大小值进行评估;
步骤S3,以点采样后的雷达点构建卷积网络模型,通过深度学习提取雷达点的特征;
步骤S4,对神经网络模型中的点云数据通过注意力函数进行特征加权,总结出部分通用的局部特征;
在步骤S2中,对采集到的激光雷达点云数据进行初步处理,对采集到的激光雷达点云进行分割、聚类,将相似的点聚合到一起,进行点云数据的压缩,将聚类区域大小的初始值设定为G,通过对每个数据点邻域中所取的最近邻数量值进行评估,给出点邻域中所取的聚类区域和最近邻数量增大还是减少的建议,具体过程为采集激光雷达点云相关信息,包括密度信息和环境感知价值信息,其中密度信息包括点云密度系数和区域相关度密度系数,将点云密度系数和区域相关度密度系数分别标定为和/>,环境感知价值信息包括环境感知价值系数标定为/>;
点云密度系数,首先获得所取目标聚类区域内包含的最近邻数量值与所处聚类区域的大小相比,记为区域平均最近邻数量,标定为/>,与此同时整个目标激光雷达点云区域内的所有激光雷达点数量与激光雷达点云所占范围的比值,记为点云内平均激光雷达点数量,标定为/>,求得区域平均最近邻数量与点云内平均激光雷达点数量的差值为点云密度系数,因此点云密度系数/>;
区域相关度密度系数,获取目标聚类区域中,需要采集的目标信息所占范围的大小,标定为/>,而目标聚类区域的范围大小为/>,n表示G区域经过范围调整的次数,n=1、2、3、4、……、m,m为正整数,则区域相关度密度系数/>;
环境感知价值系数,设定激光雷达想获取的目标价值为/>,激光雷达点云总面积为L,则环境感知价值系数/>;
在步骤S2中,构建聚类区域评估模型,聚类区域评估模型分别从点云密度系数、区域相关度密度系数/>和环境感知价值系数/>三方面加权构建而成,生成聚类区域评估模型/>,构成的公式为/>,式中,/>、/>、/>分别为点云密度系数、区域相关度密度系数以及环境感知价值系数的预设比例系数。
2.根据权利要求1所述的一种激光雷达点云数据处理方法,其特征在于:
在步骤S2中,当聚类区域评估指数小于设定的阈值区间时,重新设定聚类区域大小值G,将聚类区域大小值增大,进行再一次划分;
当聚类区域评估指数大于设定的阈值区间时,重新设定聚类区域大小值G,将聚类区域大小值减小,进行再一次划分;
当聚类区域评估指数等于设定的阈值区间时,发出点采样合格信号,并继续进行后续步骤。
3.根据权利要求1所述的一种激光雷达点云数据处理方法,其特征在于:
在步骤S3中,对于目标激光雷达点云进行分割的聚类区域,对所有聚类区域中随机取样一点后,以获取的点集构建深度学习模型,提升局部区域特征学习稳定性;
具体的,深度学习模型构建方法如下:
步骤S3.1,设计“旋转”和“平移”两条分离并行的特征学习路径,以感知点云间复杂信息;
步骤S3.2,输入邻域点集进行去中心化处理,生成局部区域点集;
步骤S3.3,设计卷积神经网络,划分输入层、卷积层、池化层和全连接层,输入局部区域点集,输出该点的编码特征;
步骤S3.4,在对两条特征学习路径平均池化操作后,进行特征通道维度拼接,得到学习局部区域的最终特征。
4.根据权利要求3所述的一种激光雷达点云数据处理方法,其特征在于:
在步骤S4中,引入基于注意力机制的特征加权模块,创建场景点云之间的信息交互通道,加强两条特征学习路径间特征学习的信息交互;
具体的特征加权模块构建方式如下:
步骤S4.1,输入特征,以Cosine 注意力函数进行模块构建;
步骤S4.2中,对输入的特征通过线性映射层生成对应的向量,计算余弦相似度得到相似度分数;
步骤S4.3中,通过生成注意力权重矩阵对相似度分数进行归一化操作,得到每个点的权重;
步骤S4.4中,使用计算得到的权重对每个点的特征进行加权,以调节不同区域特征的重要程度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410259175.8A CN117849760B (zh) | 2024-03-07 | 2024-03-07 | 一种激光雷达点云数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410259175.8A CN117849760B (zh) | 2024-03-07 | 2024-03-07 | 一种激光雷达点云数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117849760A CN117849760A (zh) | 2024-04-09 |
CN117849760B true CN117849760B (zh) | 2024-05-14 |
Family
ID=90540463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410259175.8A Active CN117849760B (zh) | 2024-03-07 | 2024-03-07 | 一种激光雷达点云数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117849760B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118337333B (zh) * | 2024-06-12 | 2024-08-09 | 工业和信息化部装备工业发展中心 | 一种网络自适应的点云数据压缩方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109800787A (zh) * | 2018-12-14 | 2019-05-24 | 西安交通大学 | 基于相对特征距离误差度量的图像模板匹配方法 |
CN111102456A (zh) * | 2020-01-15 | 2020-05-05 | 云南云金地科技有限公司 | 一种便于移动固定的地理测绘用辅助装置 |
CN111158015A (zh) * | 2019-12-31 | 2020-05-15 | 飞燕航空遥感技术有限公司 | 机载激光雷达点云数据误分地面点的检测方法和系统 |
CN113744389A (zh) * | 2021-08-24 | 2021-12-03 | 武汉理工大学 | 一种面向复杂零件曲面特征保留的点云精简方法 |
CN113933851A (zh) * | 2021-10-13 | 2022-01-14 | 重庆邮电大学 | 一种激光雷达点云积分目标检测方法、介质及系统 |
CN114973191A (zh) * | 2022-05-12 | 2022-08-30 | 桂林电子科技大学 | 基于点云密度和间距的动态阈值确定方法及欧式聚类方法 |
CN116012613A (zh) * | 2023-01-04 | 2023-04-25 | 北京数字绿土科技股份有限公司 | 一种基于激光点云的露天矿的土方量变化测算方法和系统 |
CN116152381A (zh) * | 2023-03-02 | 2023-05-23 | 昆明理工大学 | Gis数据中按参考图层拟合的条带状图斑绘制的方法 |
CN116433846A (zh) * | 2023-04-21 | 2023-07-14 | 电子科技大学 | 一种基于大小和局部混乱距离的林地点云枝叶分离方法 |
CN116524219A (zh) * | 2023-01-16 | 2023-08-01 | 西北工业大学 | 一种基于激光雷达点云聚类的障碍物检测方法 |
CN117197661A (zh) * | 2023-08-21 | 2023-12-08 | 西北大学 | 一种利用激光雷达点云数据识别黄土落水洞的方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021099698A (ja) * | 2019-12-23 | 2021-07-01 | ソニーグループ株式会社 | 画像処理装置および方法、並びにプログラム |
US12117519B2 (en) * | 2021-10-07 | 2024-10-15 | Motional Ad Llc | Object detection using RADAR and LiDAR fusion |
-
2024
- 2024-03-07 CN CN202410259175.8A patent/CN117849760B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109800787A (zh) * | 2018-12-14 | 2019-05-24 | 西安交通大学 | 基于相对特征距离误差度量的图像模板匹配方法 |
CN111158015A (zh) * | 2019-12-31 | 2020-05-15 | 飞燕航空遥感技术有限公司 | 机载激光雷达点云数据误分地面点的检测方法和系统 |
CN111102456A (zh) * | 2020-01-15 | 2020-05-05 | 云南云金地科技有限公司 | 一种便于移动固定的地理测绘用辅助装置 |
CN113744389A (zh) * | 2021-08-24 | 2021-12-03 | 武汉理工大学 | 一种面向复杂零件曲面特征保留的点云精简方法 |
CN113933851A (zh) * | 2021-10-13 | 2022-01-14 | 重庆邮电大学 | 一种激光雷达点云积分目标检测方法、介质及系统 |
CN114973191A (zh) * | 2022-05-12 | 2022-08-30 | 桂林电子科技大学 | 基于点云密度和间距的动态阈值确定方法及欧式聚类方法 |
CN116012613A (zh) * | 2023-01-04 | 2023-04-25 | 北京数字绿土科技股份有限公司 | 一种基于激光点云的露天矿的土方量变化测算方法和系统 |
CN116524219A (zh) * | 2023-01-16 | 2023-08-01 | 西北工业大学 | 一种基于激光雷达点云聚类的障碍物检测方法 |
CN116152381A (zh) * | 2023-03-02 | 2023-05-23 | 昆明理工大学 | Gis数据中按参考图层拟合的条带状图斑绘制的方法 |
CN116433846A (zh) * | 2023-04-21 | 2023-07-14 | 电子科技大学 | 一种基于大小和局部混乱距离的林地点云枝叶分离方法 |
CN117197661A (zh) * | 2023-08-21 | 2023-12-08 | 西北大学 | 一种利用激光雷达点云数据识别黄土落水洞的方法 |
Non-Patent Citations (5)
Title |
---|
Airborne Laser Scanning Point Cloud Classification Using the DGCNN Deep Learning Method;Widyaningrum E;《Remote Sensing》;20211231;全文 * |
Laser point cloud road 3D target detection based on deep learning;Liu Y;《IEEE》;20211231;全文 * |
全卷积神经网络的车辆点云目标精细化检测;马得花;闫宏亮;;测绘科学;20231231(03);全文 * |
基于三维激光点云的目标识别与跟踪研究;徐国艳;牛欢;郭宸阳;苏鸿杰;;汽车工程;20231201(01);全文 * |
气室体积和吹气口数量对泡沫铝孔径的影响;刘兴男;李言祥;陈祥;范雪柳;;机械工程学报;20110320(06);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117849760A (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117849760B (zh) | 一种激光雷达点云数据处理方法 | |
CN107784663A (zh) | 基于深度信息的相关滤波跟踪方法及装置 | |
CN111695473B (zh) | 基于长短时记忆网络模型的热带气旋强度客观监测方法 | |
CN113470090A (zh) | 基于sift-shot特征的多固态激光雷达外参标定方法 | |
CN111091101B (zh) | 基于一步法的高精度行人检测方法、系统、装置 | |
CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
CN113920538B (zh) | 目标检测方法、装置、设备、存储介质及计算机程序产品 | |
CN111832228A (zh) | 基于cnn-lstm的振动传递系统 | |
CN103985143A (zh) | 基于字典学习的视频中判别性在线目标跟踪方法 | |
CN111833353B (zh) | 一种基于图像分割的高光谱目标检测方法 | |
CN115620141A (zh) | 一种基于加权可变形卷积目标检测方法和装置 | |
CN115830865A (zh) | 基于自适应超图卷积神经网络的车流量预测方法及装置 | |
Alburshaid et al. | Palm trees detection using the integration between gis and deep learning | |
CN111144425A (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
CN108509835B (zh) | 基于DFIC超像素的PolSAR图像地物分类方法 | |
CN116129280B (zh) | 一种遥感影像雪检测的方法 | |
CN117474918A (zh) | 异常检测方法和装置、电子设备以及存储介质 | |
CN117392187A (zh) | 基于空间注意力模型的sar图像变化检测方法及设备 | |
CN114494999B (zh) | 一种双分支联合型目标密集预测方法及系统 | |
CN116052099A (zh) | 一种面向非结构化道路的小目标检测方法 | |
CN114998731A (zh) | 智能终端导航场景感知识别的方法 | |
Liu et al. | Fuzzy cluster analysis of spatio-temporal data | |
CN113971755B (zh) | 基于改进yolov3模型的全天候海面目标检测方法 | |
Yao et al. | A Self-organized Maps Ground Extract Method based on Principal Component Analysis | |
CN117217103B (zh) | 基于多尺度注意力机制的星载sar海杂波生成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |