CN115327568B - 基于PointNet网络的无人机集群实时目标识别方法、系统和地图构建方法 - Google Patents
基于PointNet网络的无人机集群实时目标识别方法、系统和地图构建方法 Download PDFInfo
- Publication number
- CN115327568B CN115327568B CN202210846500.1A CN202210846500A CN115327568B CN 115327568 B CN115327568 B CN 115327568B CN 202210846500 A CN202210846500 A CN 202210846500A CN 115327568 B CN115327568 B CN 115327568B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- unmanned aerial
- aerial vehicle
- cloud data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000010276 construction Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 25
- 238000012795 verification Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims 2
- 239000000284 extract Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Processing Or Creating Images (AREA)
Abstract
基于PointNet网络的无人机集群实时目标识别方法、系统和地图构建方法，涉及无人机协同与集群控制领域。解决了现有目标识别技术采用单架无人机无法完成对于大范围环境的侦察任务。所述方法包括：采用激光雷达实时获取无人机集群局域范围内的三维点云数据；基于统计滤波进行去噪处理所述三维点云数据，获取点云团；预处理所述点云团，将所述点云团分割成若干个独立的点云数据子集；构建PointNet网络模型，并获取目标点云数据集，根据所述目标点云数据集训练所述PointNet网络模型；将独立的点云数据输入至所述训练的PointNet网络模型，所述训练的PointNet网络模型提取目标特征，获取目标识别结果。本发明适用于无人机探测领域。
Description
技术领域
本发明涉及无人机协同与集群控制领域，尤其涉及一种基于PointNet网络的无人机集群实时目标识别方法。
背景技术
目前，目标识别技术正在快速发展，无人机作为一种新型的运载平台，具有高机动性、强适应性等优势，以无人机为载体的、目标识别技术可在复杂环境下实现侦察、追踪等功能，在国防领域有着巨大潜能。
当前，以无人机为运载平台的目标识别技术大多采用单架无人机，通过摄像头获取二维平面图像，并结合相关机器学习、深度学习算法实现目标识别。单架无人机受其飞行距离、飞行范围等限制，无法完成对于大范围环境的侦察探测任务；二维平面图像所包含的信息量少，对于场景理解有一定的制约；且传统的无人机目标识别技术主要以地面处理为主，无人机仅作为获取图像的工具，无人机上处理则因算法选择和处理器性能等问题受限。
发明内容
本发明解决了现有以无人机为运载平台的目标识别技术采用单架无人机无法完成对于大范围环境的侦察探测任务，且摄像头获取二维平面图像对场景有制约的问题。
本发明提供一种基于PointNet网络的无人机集群实时目标识别方法，所述方法包括：
采用激光雷达实时获取无人机集群局域范围内的三维点云数据；
基于统计滤波进行去噪处理所述三维点云数据，获取点云团；
预处理所述点云团，将所述点云团分割成若干个独立的点云数据子集；
构建PointNet网络模型，并获取目标点云数据集，根据所述目标点云数据集训练所述PointNet网络模型；
将独立的点云数据输入至所述训练的PointNet网络模型 ，所述训练的PointNet网络模型提取目标特征，获取目标识别结果。
进一步，还提供一种优选实施方式，所述基于统计滤波进行去噪处理所述获取的无人机集群局域范围内的点云数据，具体为：
，
；
其中，为点云中数据每一个点的邻域点数量 ，/>为邻域点到i点的距离，/>为距离的均值，/>为样本方差；
若，则i点为离群点，将i点从当前点云数据中滤除；其中，/>为方差倍数阈值。
进一步，还提供一种优选实施方式，所述预处理点云团，具体为：
预先设定的点云团聚类半径和聚类阈值，根据所述预先设定的点云团聚类半径和聚类阈值对点云团进行Meanshift聚类处理。
进一步，还提供一种优选实施方式，所述训练所述PointNet网络模型具体为：
获取目标点云数据集并进行分类，所述分为训练集、验证集和测试集；
将点云数据训练集和验证集做均值化和归一化处理，将所述训练集输入到PointNet网络模型中，利用多GPU服务器加速训练模型。
本发明还提供一种基于PointNet网络的无人机集群实时目标识别系统，所述系统包括无人机集群组成和计算机，所述无人机上搭载有激光雷达，所述计算机与无人机群组成无线网络，所述计算机中嵌入有计算机软件实现的模块，所述模块包括：
三维点云数据获取单元，用于采集无人机集群获取的位置数据并形成无人机集群局域范围内的三维点云数据；
点云团获取单元，用于基于统计滤波进行去噪处理所述三维点云数据，获取点云团；
点云数据子集获取单元，用于预处理所述点云团，将所述点云团分割成若干个独立的点云数据子集；
PointNet网络模型训练单元，用于构建PointNet网络模型，并获取目标点云数据集，根据所述目标点云数据集训练所述PointNet网络模型；
目标识别结果获取单元，将独立的点云数据输入至所述训练的PointNet网络模型，所述训练的PointNet网络模型提取目标特征，获取目标识别结果。
进一步，还提供一种优选实施方式，所述点云团获取单元，具体为：
，
；
其中，为点云中数据每一个点的邻域点数量 ，/>为邻域点到i点的距离，/>为距离的均值，/>为样本方差；
若，则i点为离群点，将i点从当前点云数据中滤除；其中，/>为方差倍数阈值。
进一步，还提供一种优选实施方式，所述预处理点云团，具体为：
预先设定的点云团聚类半径和聚类阈值，根据所述预先设定的点云团聚类半径和聚类阈值对点云团进行Meanshift聚类处理。
本发明还提供一种基于PointNet网络的无人机集群的全局地图构建方法，所述方法是基于上述所述的无人机集群实时目标识别方法实现的：
采用所述无人机集群实时目标识别获取三维点云数据和目标识别结果；
采用GPS获取所述无人机集群的位置信息；
采用飞行姿态检测传感器获取所述无人机集群的飞行姿态信息；
将所述三维点云数据、目标识别结果、位置信息、飞行姿态信息通过中央数据处理端融合，获取全局地图。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据上述中任一项中所述的基于PointNet网络的无人机集群实时目标识别方法，或者上述所述的无人机集群的全局地图构建方法。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一所述的基于PointNet网络的无人机集群实时目标识别方法或者上述所述的无人机集群的全局地图构建方法。
本发明的有益之处在于：
本发明解决了针对现有以无人机为运载平台的目标识别技术采用单架无人机无法完成对于大范围环境的侦察探测任务，且摄像头获取二维平面图像对场景有制约的问题。
本发明所述的一种基于PointNet网络的无人机集群实时目标识别方法，采用无人机集群的方式代替单架无人机以扩大飞行目标探测范围，实现在复杂大范围环境中的目标识别；采用激光雷达扫描获取三维点云数据，三维点云数据可以提供丰富的几何、形状和比例信息，具有比二维平面图像更强的场景理解能力。另外，本发明利用基于PointNet网络的特征提取方法，对点云数据进行高效处理和分类，实现实时的动态目标识别。多项技术的融合有利于实现无人机集群在复杂大范围环境中快速、精准的多样化目标识别。
本发明所述的方法和系统，采用基于统计滤波的去噪处理优化原始激光雷达所获取的点云数据，滤除点云数据中的离群点，从而有效保证基于Meanshift类聚分割点云数据，形成独立的点云数据子集的准确性。
本发明所述的方法和系统，利用Meanshift聚类方法将激光雷达所获取的点云数据快速分割成彼此独立的点云数据子集，并将分割后的点云数据子集输入到PointNet网络模型中进行特征提取并分类。由于激光雷达所获取的原始点云数据可能存在多个目标的重叠部分，故在进行目标识别前，将点云数据分割成彼此独立的点云数据子集，保证了分类结果的准确性。
本发明所述的方法和系统，采用的激光雷达可以实现三维点云数据快速获取，Meanshift聚类分割方法与基于PointNet网络模型的目标识别与分类具有较高的计算效率，三者的结合有效地保证了目标识别的实时性。
本发明所述的方法和系统，解决了激光雷达的探测范围有限，在大范围环境中表现能力不佳的问题，采用无人机集群在大范围环境中进行探测，补足了激光雷达的短板。通过无人机传输回的三维点云数据以及分类结果可实现对环境中场景的重建。
本发明适用于无人机探测领域。
附图说明
图1为实施方式十一所述的基于PointNet网络的无人机集群实时目标识别流程图；
图2为实施方式四所述的PointNet网络框架图；
图3为实施方式十一所述的基于PointNet网络的无人机集群实时目标识别系统图。
具体实施方式
为使本发明的技术方案及优点表述得更加清楚，现结合附图对本发明的若干实施方式做进一步详细地描述，但以下所述的各个实施方式仅为本发明的几个较佳实施方式而已，并不用于限制发明。
实施方式一、本实施方式所述的基于PointNet网络的无人机集群实时目标识别方法，所述方法包括：
采用激光雷达实时获取无人机集群局域范围内的三维点云数据；
基于统计滤波进行去噪处理所述的三维点云数据，获取点云团；
预处理所述点云团，将所述点云团分割成若干个独立的点云数据子集；
构建PointNet网络模型，并获取目标点云数据集，根据所述目标点云数据集训练所述PointNet网络模型；
将独立的点云数据输入至所述训练的PointNet网络模型，所述训练的PointNet网络模型提取目标特征，获取目标识别结果。
具体的，将独立的点云数据输入至所述训练的PointNet网络模型，利用所述训练的PointNet网络中的多层感知器（MLP）以及最大值池化（Max Pooling）进行提取目标特征，获取目标识别结果。
提供一个具体的实施方式，舰艇在海上航行，无人机集群在其上方低空区域进行侦察探测，根据获取目标识别结果为后续的计划提供依据。
实施方式二、本实施方式是对实施方式一所述的基于PointNet网络的无人机集群实时目标识别方法的进一步限定，所述基于统计滤波进行去噪处理所述获取的无人机集群局域范围内的点云数据，具体为：
，
；
其中，为点云中数据每一个点的邻域点数量 ，/>为邻域点到i点的距离，/>为距离的均值，/>为样本方差；
若，则i点为离群点，将i点从当前点云数据中滤除；其中，/>为方差倍数阈值。
本实施方式的作用是去除点云数据中的离群点，获取点云团。
实施方式三、本实施方式是对实施方式一所述的基于PointNet网络的无人机集群实时目标识别方法的进一步限定，所述预处理点云团，具体为：
预先设定的点云团聚类半径和聚类阈值，根据所述预先设定的点云团聚类半径和聚类阈值对点云团进行Meanshift聚类处理。
具体的，对点云团进行Meanshift聚类处理包括：
步骤一：计算每个样本的Meanshift向量，计算公式为：
，
其中，代表中心点，/>代表带宽范围内的点，/>代表核函数的带宽参数，/>代表均值漂移向量，n为带宽范围内的点的数量，g（x）为对核函数的导数求负；
步骤二：对每个样本以进行平移，即/>；
步骤三：重复步骤步骤一和步骤二，直到样本点收敛，即；
步骤四：收敛到同一点的样本被认为是同一簇类，被分割到同一簇类的点组成的集合被认为是独立的点云数据子集。
实施方式四、参见图2说明本实施方式。本实施方式是对实施方式一所述的基于PointNet网络的无人机集群实时目标识别方法的进一步限定，所述训练所述PointNet网络模型具体为：
获取目标点云数据集并进行分类，所述分为训练集、验证集和测试集；
将点云数据训练集和验证集做均值化和归一化处理，将所述训练集输入到PointNet网络模型中，利用多GPU服务器加速训练模型。
具体的，训练所述PointNet网络模型包括：
对通过获取的目标点云数据集进行分类，将整个数据集随机按6：2：2的比例划分为训练集、验证集、测试集；
将点云数据训练集和验证集做均值化和归一化处理，将训练集输入到PointNet网络模型中，利用多GPU服务器加速训练模型。通过验证集初步判断模型进行分类的准确率，通过测试集测试训练后的模型进行分类的准确率；
将准确率满足要求的模型网络结构和权重参数进行存储，并装载到无人机目标识别处理器中。
实施方式五、本实施方式所述的基于PointNet网络的无人机集群实时目标识别系统，所述系统包括无人机集群组成和计算机，所述无人机上搭载有激光雷达，所述计算机与无人机群组成无线网络，所述计算机中嵌入有计算机软件实现的模块，所述模块包括：
三维点云数据获取单元，用于采集无人机集群获取的位置数据并形成无人机集群局域范围内的三维点云数据；
点云团获取单元，用于基于统计滤波进行去噪处理所述三维点云数据，获取点云团；
点云数据子集获取单元，用于预处理所述点云团，将所述点云团分割成若干个独立的点云数据子集；
PointNet网络模型训练单元，用于构建PointNet网络模型，并获取目标点云数据集，根据所述目标点云数据集训练所述PointNet网络模型；
目标识别结果获取单元，将独立的点云数据输入至所述训练的PointNet网络模型，所述训练的PointNet网络模型提取目标特征，获取目标识别结果。
实施方式六、本实施方式是对实施方式五所述的基于PointNet网络的无人机集群实时目标识别系统的进一步限定，所述点云团获取单元，具体为：
，
；
其中，为点云中数据每一个点的邻域点数量 ，/>为邻域点到i点的距离，/>为距离的均值，/>为样本方差；
若，则i点为离群点，将i点从当前点云数据中滤除；其中，/>为方差倍数阈值。
实施方式七、本实施方式是对实施方式五所述的基于PointNet网络的无人机集群实时目标识别系统的进一步限定，所述预处理点云团，具体为：
预先设定的点云团聚类半径和聚类阈值，根据所述预先设定的点云团聚类半径和聚类阈值对点云团进行Meanshift聚类处理。
实施方式八、本实施方式所述的基于PointNet网络的无人机集群的全局地图构建方法，所述装置是基于所述的无人机集群实时目标识别方法实现的：
采用所述无人机集群实时目标识别获取三维点云数据和目标识别结果；
采用GPS获取所述无人机集群的位置信息；
采用飞行姿态检测传感器获取所述无人机集群的飞行姿态信息；
将所述三维点云数据、目标识别结果、位置信息、飞行姿态信息通过中央数据处理端融合，获取全局地图。
结合实施方式五说明本实施方式，所述无人机用于探测其自身所处环境，单架无人机搭载GPS、飞行姿态检测传感器、激光雷达和目标识别处理器。GPS用于获取该无人机当前所处位置；飞行姿态检测传感器用于获取无人机飞行姿态，包括：俯仰角、偏航角、横滚角；激光雷达用于扫描获取各架无人机所处环境的局部三维点云数据；目标识别处理器可独立运行，其功能包括：预处理激光雷达所获取到的三维点云数据，对预处理后的三维点云数据进行特征提取并分类，以及将分类结果、位置、飞行姿态信息和无人机所探测扫描到的三维点云数据通过数据传输模块传输至中央数据处理端。
中央数据处理端为海上舰载计算机，其功能包为根据GPS提供的位置信息和飞行姿态检测传感器提供的飞行姿态信息，将点云数据进行拼接融合，构建全局地图。将所获得的敌方目标分类结果根据相关领域的专家获取的先验知识进行威胁程度排序，形成敌方目标威胁链表，为后续的作战计划安排提供依据。
实施方式九、本实施方式所述的一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据实施方式一至实施方式四中任一项中所述的基于PointNet网络的无人机集群实时目标识别方法，或者实施方式八所述的无人机集群的全局地图构建方法。
实施方式十、本实施方式所述的一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施方式一至实施方式四任一所述的基于PointNet网络的无人机集群实时目标识别方法，或者实施方式八所述的无人机集群的全局地图构建方法。
实施方式十一、参见图1和图3说明本实施方式。本实施方式是对实施方式一提供的基于PointNet网络的无人机集群实时目标识别方法提供一个具体的实施方式，并用于解释实施方式一至四任意一项提供的基于PointNet网络的无人机集群实时目标识别方法，具体的：
(1)三架以上搭载GPS、飞行姿态传感器、激光雷达和目标识别处理器的无人机所组成的无人机集群在海上舰艇上空不同区域内巡航探测，扫描获取其自身所处环境的局部三维点云数据；
(2)无人机集群中的各架无人机所搭载的目标识别处理器将对所获取到的局部三维点云数据进行基于统计滤波的去噪处理，去除三维点云数据中的离群点。此时，目标识别处理器的目标识别模块会先进行一次检测，检测所获取到的局部三维点云数据中是否存在敌方威胁目标。若不存在敌方威胁目标，则目标识别处理器不进行后续操作；若存在敌方威胁目标，则将该局部点云数据进行Meanshift类聚，将可能存在多个敌方威胁目标重叠区域的局部三维点云数据分割成彼此独立的点云数据子集，可保证后续目标识别的准确率；
(3)目标识别处理器中的目标识别模块将彼此独立的点云数据子集输入到预先训练好并装载参数的PointNet网络模型中进行特征提取并分类，存储敌方威胁目标分类结果；
(4)各架无人机通过目标识别处理器中的数据传输模块将获取的位置、飞行姿态信息以及局部三维点云数据传输至海上舰载计算机。若存在敌方威胁目标分类结果，也将该结果通过数据传输模块传输至海上舰载计算机。
(5)海上舰载计算机根据位置、飞行姿态信息将无人机集群中所有无人机所获取的局部三维点云数据进行坐标转换，并进行点云配准，将多份局部三维点云数据进行融合，完成上述步骤之后可构建已探测环境的全局三维地图；若传输至海上舰载计算机的数据包含敌方威胁目标分类结果，则将所获取的敌方目标分类结果根据相关领域的专家先验知识进行威胁程度排序，形成敌方目标威胁链表。若不包含敌方威胁目标分类结果则认为已探测区域未发现敌方威胁目标，不执行后续操作。上述信息可为后续作战计划安排提供依据。
上述步骤(3)中所涉及到的PointNet网络模型参数如图2所示，训练过程如下：
对通过先验知识获取的敌方目标点云数据集进行分类，根据不同类别标注标签。然后，将整个数据集随机按6：2：2的比例划分为训练集、验证集、测试集；
将点云数据训练集和验证集做均值化和归一化处理，将训练集输入到PointNet网络模型中，利用多GPU服务器加速训练模型。通过验证集初步判断模型进行分类的准确率，通过测试集测试训练后的模型进行分类的准确率；
将准确率满足要求的模型网络结构和权重参数进行存储，并装载到无人机目标识别处理器中。
所述构建全局地图的实现过程如下：
利用处于环境中各个位置的无人机所搭载的GPS、飞行姿态检测传感器和激光雷达，将位置、飞行姿态信息和局部三维点云数据通过数据传输模块传输至中央数据处理端；
中央数据处理端使用PCL（用于2D/3D图像和点云处理的大型开源项目）中的体素滤波器和Statistical Outlier Removal滤波器对点云数据进行去噪处理；
建立以中央数据处理端为原点，东北天坐标系作为世界坐标系。以无人机为原点，以机头方向为轴正方向，以无人机左侧为/>轴正方向，建立满足右手关系的三维直角坐标系作为机体坐标系。
通过各个无人机飞行姿态检测传感器所传回的俯仰角、偏航角/>、横滚角/>，以及根据GPS所得到的全局位置/>，若点云数据中某点在机体坐标系中为，则世界坐标系下的点云数据中某点/>可以通过以下变换生成：
其中，为从机体坐标系到世界坐标系的旋转矩阵，可由下式得：
通过上述变换，可对环境中所获取的每一个点转换为世界坐标系中的点，得到全局点云模型；
为了将局部点云数据之间的重叠部分进行融合，需要将重叠部分进行点云配准。首先，计算每个点的FPFH（快速点特征直方图）特征描述，计算公式如下：
其中，表示查询点/>与其/>个领域点/>间的距离；SPFH为简化的点特征直方图，表示查询点/>与其/>个领域点间对应法线构成的角度集合。
利用采样一致性初始匹配算法（SAC-IA）进行点云粗配准。首先从待配准点云数据中选取/>个采样点，为了尽量保证所采样的点具有不同的FPFH特征，采样点两两之间的距离应大于预先给定的最小距离阈值/>。在目标点云/>中寻找与/>中采样点具有相似FPFH特征的点，从这些相似点中随机选取一个点作为/>与/>中的对应点。计算对应点之间刚体变换矩阵并利用Huber公式判定是否为最优变换矩阵。重复以上过程，使得误差最小的为最优变换矩阵；
Huber公式如下：
其中，为对应点变换之后距离差，/>为设定的距离阈值。
将上述得到的全局点云模型作为已探测区域的全局点云地图。
以上通过具体实施方式对本申请进行详细说明，但以上所述仅为本申请的较佳实施方式
而已，并不用于限制本申请，凡在本申请的精神和原则范围之内所作的任何修改、实施方式
的组合、等同替换和改进等，均应当包含在本申请的保护范围之内。
Claims (6)
1.基于PointNet网络的无人机集群的全局地图构建方法，其特征在于，所述方法：
采用激光雷达实时获取无人机集群局域范围内的三维点云数据；
基于统计滤波进行去噪处理所述的三维点云数据，获取点云团；
预处理所述点云团，将所述点云团分割成若干个独立的点云数据子集；
构建PointNet网络模型，并获取目标点云数据集，根据所述目标点云数据集训练所述PointNet网络模型；
将独立的点云数据输入至所述训练的PointNet网络模型，所述训练的PointNet网络模型提取目标特征，获取目标识别结果；所述训练的PointNet网络模型提取目标特征包括利用所述训练的PointNet网络中的多层感知器MLP以及最大值池化Max Pooling进行提取目标特征；
采用所述无人机集群实时目标识别获取三维点云数据和目标识别结果；
采用GPS获取所述无人机集群的位置信息；
采用飞行姿态检测传感器获取所述无人机集群的飞行姿态信息；
将所述三维点云数据、目标识别结果、位置信息、飞行姿态信息通过中央数据处理端融合，获取全局地图；
中央数据处理端使用PCL中的体素滤波器和Statistical Outlier Removal滤波器对点云数据进行去噪处理；
建立以中央数据处理端为原点，东北天坐标系作为世界坐标系；以无人机为原点，以机头方向为轴正方向，以无人机左侧为/>轴正方向，建立满足右手关系的三维直角坐标系作为机体坐标系；
通过各个无人机飞行姿态检测传感器所传回的俯仰角、偏航角/>、横滚角/>，以及根据GPS所得到的全局位置/> ，若点云数据中某点在机体坐标系中为，则世界坐标系下的点云数据中某点/> 通过以下变换生成：
其中，为从机体坐标系到世界坐标系的旋转矩阵，由下式得：
通过上述变换，对环境中所获取的每一个点转换为世界坐标系中的点，得到全局点云模型。
2.根据权利要求1所述的基于PointNet网络的无人机集群的全局地图构建方法，其特征在于，所述基于统计滤波进行去噪处理所述获取的无人机集群局域范围内的点云数据，具体为：
，
；
其中，为点云中数据每一个点的邻域点数量，/>为邻域点到i点的距离，/>为距离的均值，/>为样本方差；
若 ，则i点为离群点，将i点从当前点云数据中滤除；其中，/>为方差倍数阈值。
3.根据权利要求1所述的基于PointNet网络的无人机集群的全局地图构建方法，其特征在于，预处理点云团，具体为：
预先设定的点云团聚类半径和聚类阈值，根据所述预先设定的点云团聚类半径和聚类阈值对点云团进行Meanshift聚类处理。
4.根据权利要求1所述的基于PointNet网络的无人机集群的全局地图构建方法，其特征在于，所述训练所述PointNet网络模型具体为：
获取目标点云数据集并进行分类，分为训练集、验证集和测试集；
将点云数据训练集和验证集做均值化和归一化处理，将所述训练集输入到PointNet网络模型中，利用多GPU服务器加速训练模型。
5.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行权利要求1-4中任一项中所述的基于PointNet网络的无人机集群的全局地图构建方法。
6.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-4任一所述的基于PointNet网络的无人机集群的全局地图构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210846500.1A CN115327568B (zh) | 2022-07-19 | 2022-07-19 | 基于PointNet网络的无人机集群实时目标识别方法、系统和地图构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210846500.1A CN115327568B (zh) | 2022-07-19 | 2022-07-19 | 基于PointNet网络的无人机集群实时目标识别方法、系统和地图构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115327568A CN115327568A (zh) | 2022-11-11 |
| CN115327568B true CN115327568B (zh) | 2023-10-20 |
Family
ID=83916721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210846500.1A Active CN115327568B (zh) | 2022-07-19 | 2022-07-19 | 基于PointNet网络的无人机集群实时目标识别方法、系统和地图构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115327568B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115731372B (zh) * | 2023-01-10 | 2023-04-14 | 南京航空航天大学 | 一种大型复合材料构件三维测量点云质量优化方法 |
| CN117078912A (zh) * | 2023-07-10 | 2023-11-17 | 中国地质大学（武汉） | 一种基于深度学习的激光点云与图像对齐方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109029422A (zh) * | 2018-07-10 | 2018-12-18 | 北京木业邦科技有限公司 | 一种多无人机协作构建三维调查地图的方法和装置 |
| CN111680542A (zh) * | 2020-04-17 | 2020-09-18 | 东南大学 | 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法 |
| CN112464994A (zh) * | 2020-11-05 | 2021-03-09 | 北京航天控制仪器研究所 | 基于PointNet网络的船艇尾浪识别与去除方法 |
| CN114612795A (zh) * | 2022-03-02 | 2022-06-10 | 南京理工大学 | 基于激光雷达点云的路面场景目标识别方法 |
-
2022
- 2022-07-19 CN CN202210846500.1A patent/CN115327568B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109029422A (zh) * | 2018-07-10 | 2018-12-18 | 北京木业邦科技有限公司 | 一种多无人机协作构建三维调查地图的方法和装置 |
| CN111680542A (zh) * | 2020-04-17 | 2020-09-18 | 东南大学 | 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法 |
| CN112464994A (zh) * | 2020-11-05 | 2021-03-09 | 北京航天控制仪器研究所 | 基于PointNet网络的船艇尾浪识别与去除方法 |
| CN114612795A (zh) * | 2022-03-02 | 2022-06-10 | 南京理工大学 | 基于激光雷达点云的路面场景目标识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 丛佃伟.GNSS高动态定位性能检定理论及关键技术研究.北京：测绘出版社,2017,16-19. * |
| 基于点云数据的分割方法综述;顾军华;李炜;董永峰;;燕山大学学报(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115327568A (zh) | 2022-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115327568B (zh) | 基于PointNet网络的无人机集群实时目标识别方法、系统和地图构建方法 | |
| Chen et al. | Vehicle detection in high-resolution aerial images via sparse representation and superpixels | |
| US11556745B2 (en) | System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor | |
| US9177481B2 (en) | Semantics based safe landing area detection for an unmanned vehicle | |
| Zhang et al. | Survey on Deep Learning‐Based Marine Object Detection | |
| Liu et al. | Fast power line detection and localization using steerable filter for active UAV guidance | |
| US10599949B2 (en) | Automatic moving object verification | |
| CN108830224B (zh) | 一种基于深度学习的高分辨率遥感影像舰船目标检测方法 | |
| CN113267761B (zh) | 激光雷达目标检测识别方法、系统及计算机可读存储介质 | |
| Zhang et al. | A object detection and tracking method for security in intelligence of unmanned surface vehicles | |
| Fan et al. | Vision algorithms for fixed-wing unmanned aerial vehicle landing system | |
| Pessanha Santos et al. | Two‐stage 3D model‐based UAV pose estimation: A comparison of methods for optimization | |
| Kechagias-Stamatis et al. | Local feature based automatic target recognition for future 3D active homing seeker missiles | |
| US9892340B2 (en) | Method for classifying objects in an imaging surveillance system | |
| CN117115414B (zh) | 基于深度学习的无gps无人机定位方法及装置 | |
| CN116185049A (zh) | 基于视觉引导的无人直升机自主着舰方法 | |
| Pawar et al. | SAR (Synthetic Aperture Radar) image study and analysis for object recognition in surveillance | |
| Lu et al. | Multi-information Based Safe Area Step Selection Algorithm for UAV's Emergency Forced Landing. | |
| Ma et al. | Global localization in 3d maps for structured environment | |
| Ma et al. | Ship Detection Based on LiDAR and Visual Information Fusion | |
| Deng et al. | Recognizing the formations of CVBG based on multiviewpoint context | |
| Chen et al. | Application of Matlab to the vision-based navigation of UAVs | |
| CN113837270B (zh) | 一种目标识别方法、装置、设备及存储介质 | |
| Ouyang et al. | A semantic vector map-based approach for aircraft positioning in GNSS/GPS denied large-scale environment | |
| Dadrass Javan et al. | A New, Tentative, Modified YOLOv4 Deep Learning Network for Vision-Based UAV Recognition. Drones 2022, 6, 160 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |