CN115390582A - 一种基于点云的多旋翼无人机跟踪拦截方法及系统 - Google Patents
一种基于点云的多旋翼无人机跟踪拦截方法及系统 Download PDFInfo
- Publication number
- CN115390582A CN115390582A CN202210829018.7A CN202210829018A CN115390582A CN 115390582 A CN115390582 A CN 115390582A CN 202210829018 A CN202210829018 A CN 202210829018A CN 115390582 A CN115390582 A CN 115390582A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- rotor unmanned
- data
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000004891 communication Methods 0.000 claims abstract description 24
- 230000002093 peripheral effect Effects 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims description 48
- 238000007781 pre-processing Methods 0.000 claims description 41
- 238000013135 deep learning Methods 0.000 claims description 37
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000005265 energy consumption Methods 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 2
- 230000009545 invasion Effects 0.000 abstract description 3
- 230000036544 posture Effects 0.000 abstract 1
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明属于无人机安全技术领域，具体提供了一种基于点云的多旋翼无人机跟踪拦截方法及系统，其中方法包括以下步骤：采集多旋翼无人机的三维空间特征信息并建立控制目标背景场景模型；并剔除其中因扫描范围重合而重复的数据；识别多旋翼无人机周边变化的动态场景；将预处理数据与空中目标背景场景模型作差；计算出多旋翼无人机的三维坐标信息，拦截系统根据三维坐标信息跟踪所述多旋翼无人机，并根据地面环境背景场景模型数据对多旋翼无人机进行规划路径及姿态调整。该方案能识别并跟踪入侵的多旋翼无人机，并通过通信信号干扰技术对其进行拦截。该方案能高效识别并拦截无人机，保障部署区域的低空安全。
Description
技术领域
本发明涉及无人机安全技术领域，更具体地，涉及一种基于点云的多旋翼无人机跟踪拦截方法及系统。
背景技术
反无人机探测技术一般从雷达、声音、图像、射频四个方面开展。雷达检测定位无人机非常有效，但在拥挤的城市地区或复杂的背景中不适用。基于声音的检测方法部署较为简单，能同时实现无人机的检测和定位，但易受到环境噪音的影响。基于射频方法易受环境的干扰，且成本较高。
目前国内外专门针对民用无人机拦截的系统研究较少，大多研究尚处于起步阶段，很多都是以企业作为主体开展的应用性研究，虽有有限应用，但是目前尚未达到较好的效果，拦截系统智能化程度低、准确率低、需要“人拉肩扛”等问题，尚不能大规模推广应用。
发明内容
本发明针对现有技术中存在的传统无人机拦截系统智能化程度低、准确率低的技术问题。
本发明提供了一种基于点云的多旋翼无人机跟踪拦截方法，包括以下步骤：
S1，将多个激光雷达纵向排列构成激光雷达阵列，并架设于拦截系统的360°稳定转向平台上，通过360°稳定转向平台控制激光雷达阵列旋转采集多旋翼无人机的三维空间特征信息，形成点云数据；并通过激光雷达阵列识别多旋翼无人机周边变化的动态场景，建立空中目标背景场景模型；
S2，将所述点云数据在相同三维坐标系下进行合并重建，并剔除其中因扫描范围重合而重复的数据，得到预处理数据；
S3，通过深度学习视觉避障模块识别拦截系统周边变化的动态场景，建立地面环境背景场景模型；
S4，将所述预处理数据与所述空中目标背景场景模型作差，并剔除静态环境数据后得到跟踪数据，与地面环境背景场景模型数据一起发送至云计算识别系统；
S5，云计算识别系统根据所述跟踪数据计算出多旋翼无人机的三维坐标信息，拦截系统根据三维坐标信息跟踪所述多旋翼无人机，并根据地面环境背景场景模型数据对多旋翼无人机进行规划路径及姿态调整。
优选地，所述S1具体包括：
在未识别到多旋翼无人机目标的场景下，通过360°稳定转向平台扩大各激光雷达的间距，以提升扫描范围；在检测到多旋翼无人机目标时，通过360°稳定转向平台缩小各激光雷达的间距，以提升扫描精度。
优选地，所述S5之后还包括：根据多旋翼无人机的三维坐标信息，所述360°稳定转向平台控制所述激光雷达阵列实时调整扫描方向以对准所述多旋翼无人机。
优选地，所述S3具体包括：所述深度学习视觉避障模块包括全景摄像头、红外发射装置及深度学习图像识别单元；
所述全景摄像头包含四个超广角摄像头，每个超广角摄像头采集周边一预定角度的环境图像，四个超广角摄像头共同采集拦截系统周边全部场景的图像，分别输入至所述深度学习图像识别单元中做进一步识别；
所述红外发射装置用于在所述全景摄像头采集到的图像无法识别时，通过所述红外发射装置向周边环境投射红外光，增加采集得到的图像特征；
所述深度学习图像识别单元基于YOLO-X图像识别算法对各超广角摄像头采集到的图像实时处理，针对拦截系统周边环境中的动态物体进行实时地分类识别，将计算得到的识别目标类别及坐标发送至所述360°稳定转向平台，所述360°稳定转向平台进一步控制激光雷达阵列旋转采集多旋翼无人机的三维空间特征信息。
优选地，所述S3具体包括：
使用动态对象的数据对所述深度学习图像识别单元进行强化训练，在没有识别到动态对象的情况下，或在识别到周围存在多个动态目标时，暂停移动360°稳定转向平台并保持识别状态；
使用三维形态特征不稳定的物体目标的数据对所述深度学习图像识别单元进行强化训练，当识别到三维形态特征不稳定的物体目标时，更改360°稳定转向平台以规避该三维形态特征不稳定的物体目标。
优选地，所述S5具体包括：
根据三维坐标信息调整拦截系统的诱骗干扰拦截装置的方向，并利用诱骗干扰拦截装置向多旋翼无人机发射虚假的导航信号，使所述多旋翼无人机脱离控制并自主迫降实现拦截。
本发明还提供了一种基于点云的多旋翼无人机跟踪拦截系统，所述系统用于实现基于点云的多旋翼无人机跟踪拦截方法，包括：
多旋翼无人机特征采集模块，包含用于采集多旋翼无人机的三维空间特征信息形成点云数据的激光雷达阵列，所述激光雷达阵列还用于识别多旋翼无人机周边变化的动态场景以建立空中目标背景场景模型；
深度学习视觉避障模块，用于将预处理数据与所述空中目标背景场景模型作差，并剔除静态环境数据后得到跟踪数据，与地面环境背景场景模型数据一起发送至云计算识别系统；
平台驱动模块，包含用于驱动激光雷达阵列和/或深度学习视觉避障模块跟随多旋翼无人机移动的360°稳定转向平台，通过360°稳定转向平台控制激光雷达阵列旋转采集多旋翼无人机的三维空间特征信息，形成点云数据；
数据预处理与传输模块，用于将所述点云数据在相同三维坐标系下进行合并重建，并剔除其中因扫描范围重合而重复的数据，得到预处理数据；
云计算识别系统，用于根据所述跟踪数据计算出多旋翼无人机的三维坐标信息；
拦截系统，用于根据三维坐标信息跟踪所述多旋翼无人机，并根据地面环境背景场景模型数据对多旋翼无人机进行规划路径及姿态调整。
优选地，所述跟踪拦截系统还包括无线电干扰拦截模块，所述无线电干扰拦截模块用于根据三维坐标信息调整诱骗干扰拦截装置的方向，并利用诱骗干扰拦截装置向多旋翼无人机发射虚假的导航信号，使所述多旋翼无人机脱离控制并自主迫降实现拦截。
优选地，在巡检模式下，360°稳定转向平台以较低的角速度旋转，电动调节支架扩大激光雷达间距，以提升扫描稳定性并节省能耗；
在跟踪模式下，360°稳定转向平台以较高的角速度旋转转，电动调节支架缩小激光雷达间距，以扩大单位时间扫描范围，并提升采集目标特征点的密度。
优选地，所述数据预处理与传输模块通过5G工业网关实现与附近 5G基站间的数据收发，基于5G通信的云计算识别系统直接通过光纤连接5G基站。
有益效果：本发明提供的一种基于点云的多旋翼无人机跟踪拦截方法及系统，其中方法包括以下步骤：通过360°稳定转向平台控制激光雷达阵列旋转采集多旋翼无人机的三维空间特征信息，形成点云数据；将所述点云数据在相同三维坐标系下进行合并重建，并剔除其中因扫描范围重合而重复的数据；通过深度学习视觉避障模块识别多旋翼无人机周边变化的动态场景，建立背景场景模型；将所述预处理数据与预先建立的背景场景模型作差；云计算识别系统计算出多旋翼无人机的三维坐标信息，平台驱动模块根据三维坐标信息跟踪拦截所述多旋翼无人机。该方案能高效识别并跟踪拦截入侵的多旋翼无人机，并通过通信信号干扰技术对其进行拦截，保障部署区域的低空安全。
附图说明
图1为本发明提供的一种基于点云的多旋翼无人机跟踪拦截方法流程图；
图2为本发明提供的一种基于点云的多旋翼无人机跟踪拦截系统功能原理图；
图3本发明提供的深度学习图像识别单元处理流程。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，为一种基于点云的多旋翼无人机跟踪拦截方法，包括以下步骤：
S1，将多个激光雷达纵向排列构成激光雷达阵列，并架设于拦截系统的360°稳定转向平台上，通过360°稳定转向平台控制激光雷达阵列旋转采集多旋翼无人机的三维空间特征信息，形成点云数据；并通过激光雷达阵列识别多旋翼无人机周边变化的动态场景，建立空中目标背景场景模型；
S2，将所述点云数据在相同三维坐标系下进行合并重建，并剔除其中因扫描范围重合而重复的数据，得到预处理数据；
S3，通过深度学习视觉避障模块识别拦截系统周边变化的动态场景，建立地面环境背景场景模型；
S4，将所述预处理数据与所述空中目标背景场景模型作差，并剔除静态环境数据后得到跟踪数据，与地面环境背景场景模型数据一起发送至云计算识别系统；
S5，云计算识别系统根据所述跟踪数据计算出多旋翼无人机的三维坐标信息，拦截系统根据三维坐标信息跟踪所述多旋翼无人机，并根据地面环境背景场景模型数据对多旋翼无人机进行规划路径及姿态调整。
该方案能高效识别并跟踪拦截入侵的多旋翼无人机，并通过通信信号干扰技术对其进行拦截，保障部署区域的低空安全。
其中，多旋翼无人机特征采集模块包括激光雷达阵列、360°稳定转向平台、点云数据传输单元组成。所述激光雷达阵列对接点云数据传输单元，并架设于360°稳定转向平台上。
其中，地面环境背景场景模型由深度学习视觉避障模块中的全景摄像头、红外发射装置采集并构建，主要用于拦截系统拦截多旋翼无人机，控制其拦截的路径规划和姿态调整，包括规避道路障碍和三维形态特征不稳定的物体。
进一步的方案，所述S1具体包括：将多个激光雷达纵向排列构成激光雷达阵列；在未识别到多旋翼无人机目标的场景下，扩大激光雷达纵向间距，以提升扫描范围；在检测到多旋翼无人机目标时，缩小激光雷达纵向间距，以提升扫描精度。激光雷达阵列由多个激光雷达纵向排列构成，目的是扩大纵向空间的扫描宽度。激光雷达阵列垂直扫描的锥形空间区域在超过一定距离后重合，可对远距离大范围垂直空间进行无死角采集。除此之外，根据识别目标距离变化的实际应用场景，可通过调整激光雷达之间的间距进一步扩大采集范围。
在未识别到多旋翼无人机目标的场景下，扩大激光雷达纵向间距，以提升扫描范围；在检测到多旋翼无人机目标时，缩小激光雷达纵向间距，以提升扫描精度，最终实现将单一扇形的平面扫描区域扩展为高度可变的半圆柱体区域。对于激光雷达阵列的横向采集，剔除其水平线以下的采集区域，以减少数据量，进而缩减计算时间。
其中，所述激光雷达阵列由多个激光雷达组成，用以采集多旋翼无人机的三维空间特征信息。激光雷达的原理是通过中心区域发射32 线激光，可扫描并采集垂直±15°锥形空间区域的三维特征。通过其内部激光发射装置的高速旋转便可实现360°水平方向扫描，可对距离 100米以上的空间进行特征采样。
进一步的方案，所述S5之后还包括：根据多旋翼无人机的三维坐标信息，所述360°稳定转向平台控制所述激光雷达阵列实时调整扫描方向以对准所述多旋翼无人机。360°稳定转向平台带动激光雷达阵列及其半圆柱体扫描区域旋转，形成对空全方位的扫描区域。在未识别到多旋翼无人机目标的场景下，转向平台以稳定的角速度旋转，在带动激光雷达阵列以固定周期扫描周围360°环境；在识别到多旋翼无人机目标后，根据所述基于5G通信的云计算识别系统计算返回的识别目标信息，根据多旋翼无人机目标的实际位置实时调整方向，减少对冗余环境信息的扫描，并大幅提升扫描采集的无人机目标形态特征数量。
如图3所示，所述S3具体包括：所述深度学习视觉避障模块包括全景摄像头、红外发射装置及深度学习图像识别单元；
所述全景摄像头包含四个超广角摄像头，每个超广角摄像头采集周边一预定角度的环境图像，四个超广角摄像头共同采集所述多旋翼无人机周围全部场景的图像，分别输入至所述深度学习图像识别单元中做进一步识别；
所述红外发射装置用于在所述全景摄像头采集到的图像无法识别时，通过所述红外发射装置向周边环境投射红外光，增加采集得到的图像特征；
所述深度学习图像识别单元基于YOLO-X图像识别算法对各超广角摄像头采集到的图像实时处理，针对环境中的动态物体进行实时地分类识别，将计算得到的识别目标类别及坐标发送至所述360°稳定转向平台，所述360°稳定转向平台进一步控制激光雷达阵列旋转采集多旋翼无人机的三维空间特征信息。以提升所述多旋翼无人机跟踪拦截系统的跟踪效果。
其中，深度学习图像识别单元使用大量行人、车辆等动态对象的数据集进行强化训练，根据周边场景复杂程度，更改所述平台驱动模块的移动策略：在没有识别到运动对象的情况下，保持预先设定的巡检或跟踪方案；在识别到周围存在较多移动目标的场景下，暂停移动 360°稳定转向平台并保持识别状态。
针对三维形态特征不稳定的物体目标，如树木、旗帜等，会对激光雷达的扫描效果产生负面影响，造成配准定位效果下降，错误识别多旋翼无人机目标等情况。所述深度学习图像识别单元识别并记录所有形态稳定性较差目标，将其相对坐标信息发送至所述平台驱动模块的360°稳定转向平台，360°稳定转向平台旋转便可以带动激光雷达阵列和/或深度学习视觉避障模块一起运动，然后便可以更改行动路线以规避识别困难的环境物体。
进一步的方案，所述S5具体包括：根据三维坐标信息调整诱骗干扰拦截装置的方向，并利用诱骗干扰拦截装置向多旋翼无人机发射虚假的导航信号，使所述多旋翼无人机脱离控制并自主迫降实现拦截。
具体地，无线电干扰拦截模块由多旋翼无人机诱骗干扰拦截装置和姿态调整装置组成，多旋翼无人机诱骗干扰拦截装置基于无线电信号感知技术，向多旋翼无人机发射虚假的导航信号，进而接管无人机的控制系统，使其脱离控制并自主迫降。姿态调整装置用以固定多旋翼无人机诱骗干扰拦截装置，并根据识别结果调整多旋翼无人机诱骗装置的方向，以提升干扰拦截效果。
进一步的，多旋翼无人机特征采集模块扫描得到的目标无人机特征点云数据，经基于5G通信的云计算识别系统实时配准识别。识别得到的无人机实时坐标发送至姿态调整装置，进而调整方向至待干扰拦截目标；提取出的目标特征与多旋翼无人机数据库中信号模型作匹配，结果发送至多旋翼无人机诱骗干扰拦截装置，根据匹配得到的结果选择对应的无线电信号干扰方式。
如图2所示，本发明实施例还提供了一种基于点云的多旋翼无人机跟踪拦截系统，所述系统用于实现基于点云的多旋翼无人机跟踪拦截方法，包括：
多旋翼无人机特征采集模块，包含用于采集多旋翼无人机的三维空间特征信息形成点云数据的激光雷达阵列，所述激光雷达阵列还用于识别多旋翼无人机周边变化的动态场景以建立空中目标背景场景模型；
深度学习视觉避障模块，用于将预处理数据与所述空中目标背景场景模型作差，并剔除静态环境数据后得到跟踪数据，与地面环境背景场景模型数据一起发送至云计算识别系统；
平台驱动模块，包含用于驱动激光雷达阵列和/或深度学习视觉避障模块跟随多旋翼无人机移动的360°稳定转向平台，通过360°稳定转向平台控制激光雷达阵列旋转采集多旋翼无人机的三维空间特征信息，形成点云数据；
数据预处理与传输模块，用于将所述点云数据在相同三维坐标系下进行合并重建，并剔除其中因扫描范围重合而重复的数据，得到预处理数据；
云计算识别系统，用于根据所述跟踪数据计算出多旋翼无人机的三维坐标信息；
拦截系统，用于根据三维坐标信息跟踪所述多旋翼无人机，并根据地面环境背景场景模型数据对多旋翼无人机进行规划路径及姿态调整。
其中，拦截系统包括平台驱动模块，其由系统支持平台和驱动模组组成。系统支持平台包含多组液压式减震器，用以平稳部署系统中的各个模块；驱动模组由驱动电机，驱动轮和导向轮组成，用以移动旋翼无人机跟踪拦截系统，实现巡检与跟踪目标。
数据预处理与传输模块负责预处理系统中各模块的数据和信息，与基于5G通信的云计算识别系统建立基于5G网络的双向连接，实时收发处理完成的数据，然后分发至系统中的各个模块。
需要说明的是，激光雷达阵列包含四台VLP-16激光雷达，每台 VLP-16激光雷达通过有线方式连接至点云数据传输单元中的中央控制器，并固定于电动调节支架上。电动调节支架可通过调整激光雷达之间的横向间隙，扩大激光雷达阵列的扫描范围。
360°稳定转向平台以稳定的角速度旋转，具有多个速度档位，以应对不同情况下的无人机特征采集场景。在系统处于巡检模式下， 360°稳定转向平台以较低的角速度旋转，电动调节支架扩大激光雷达间距，以提升扫描稳定性并节省能耗；在系统处于跟踪模式下，360°稳定转向平台以较高的角速度旋转转，电动调节支架缩小激光雷达间距，以扩大单位时间扫描范围，并提升采集目标特征点的密度。
点云数据传输单元接受所有激光雷达扫描到的点云数据，使用内置的NPT时间同步器将单位时间内的点云数据同步并编号，基于串口通信将数据顺序发送至数据预处理与传输模块。
深度学习视觉避障模块包含全景摄像头、红外发射装置、深度学习图像识别单元。全景摄像头使用四个海康威视3T87超广角摄像头组成，每个摄像头提供800万像素和180°广角录制，并集成红外发射装置，具备夜间拍摄能力。全景摄像头使用无线局域网络，将采集到的多路视频流发送至数据预处理与传输模块。
深度学习图像识别单元部署于所述基于5G通信的云计算识别系统，接收来自数据预处理与传输模块视频流数据，基于YOLO-X图像识别算法对多路视频流进行实时检测，并将检测结果通过5G网络发送至数据预处理与传输模块，为系统移动方案提供决策支持。YOLO-X 模型训练使用的数据集来源为两部分：一为常规场景的公共数据集；二为针对多旋翼无人机跟踪拦截系统部署地点，定向采集的形态稳定性差和运动目标图像。
无线电干扰拦截模块包含多旋翼无人机诱骗干扰拦截装置和姿态调整装置。多旋翼无人机诱骗干扰拦截装置采用北斗开放实验室研发的ADS2000诱骗式民用反无人机系统，可通过干扰、压制、欺骗等手段接管无人机核心导航系统，实现对无人机目标的管控捕获。姿态调整装置实现水平120°和垂直90°方向调节，调节响应时间小于0.3 秒。姿态调整装置接收基于5G通信的云计算识别系统发送的目标位置信息，实时调整多旋翼无人机诱骗干扰拦截装置的方向，实现对多旋翼无人机的精准拦截。
平台驱动模块包含系统支持平台和驱动模组。驱动模组中的中央处理器与数据预处理与传输模块建立双向数据传输通路，一方面接收来自数据预处理与传输模块的控制信息，调节驱动策略；另一方面将移动过程中，各传感器采集到的信息发送至数据预处理与传输模块，提供反馈数据。
数据预处理与传输模块与基于5G通信的云计算识别系统建立5G 双向连接。数据预处理与传输模块通过5G工业网关实现与附近5G基站间的数据收发，使用的5G工业网关型号为中移物联网G5100-B01。基于5G通信的云计算识别系统直接通过光纤连接5G基站，实现低时延大数据量的数据传输。数据预处理与传输模块作为通信客户端，向基于5G通信的云计算识别系统发送格式化的、顺序的采集数据，并请求云计算结果。数据预处理与传输模块的数据预处理、数据收发工作主要在其工控机上进行。
基于5G通信的云计算识别系统作为服务端，在收到数据预处理与传输模块发送的数据包后，解析并通过分布式云计算得到识别结果，传输至5G基站，进而发送回数据预处理与传输模块。
在一个具体的实施场景中：
1)多旋翼无人机跟踪拦截系统启动，使用内置电源供电，系统进入初始化状态。数据预处理与传输模块启动：启动内置的数据传输程序，尝试与5G基站建立连接，进而与基于5G通信的云计算识别系统建立数据传输通道；启动数据预处理程序，开始接收来自各模块的采集数据。
2)多旋翼无人机特征采集模块启动，首先启动360°稳定转向平台，调整其姿态并开始加速，达到初始角速度旋转。然后启动激光雷达阵列，依次给其中的四台激光雷达供电，开始三维数据的采集，与数据预处理与传输模块建立连接，发送采集数据。数据预处理与传输模块对采集到的点云数据进行配准和去重复处理，打包发送至基于5G 通信的云计算识别系统。基于5G通信的云计算识别系统调用内置的点云识别程序，识别点云数据中的无人机，并将识别结果发送至数据预处理与传输模块。数据预处理与传输模块根据识别结果，生成对应的控制指令，发送至多旋翼无人机特征采集模块。多旋翼无人机特征采集模块根据数据预处理与传输模块返回的指令，调整激光雷达阵列中电动调节支架宽度，并根据指令中的采集策略，调整360°稳定转向平台的旋转方式为巡检状态或跟踪状态。
3)平台驱动模块启动，向驱动模组中的驱动电机供电，并调整导向轮为初始状态。与数据预处理与传输模块建立双向连接，等待数据预处理与传输模块发送的移动指令。启动模块中的轮压力传感器、瞬时功率采集器等数据采集装置，将采集信息发送至数据预处理与传输模块。数据预处理与传输模块接收平台驱动模块发送的反馈信息，根据多传感器路况数学模型，判断系统的移动状态，计算并调整系统移动策略，实时生成驱动更改指令，发送至平台驱动模块。
4)深度学习视觉避障模块启动，逐个开启全景摄像头中的超广角摄像头，将采集到的多路视频流数据汇总发送至数据预处理与传输模块。数据预处理与传输模块对视频流数据进行转码、压缩、编号，打包发送至基于5G通信的云计算识别系统。基于5G通信的云计算识别系统调用内置的YOLO-X图像识别程序，依次识别图像帧中的物体目标，将识别到的目标坐标信息发送回数据预处理与传输模块。数据预处理与传输模块根据识别结果，规划多旋翼无人机跟踪拦截系统的巡检路线，生成相应的行动指令，发送至平台驱动模块。根据YOLO-X 图像识别程序的识别置信度，向深度学习视觉避障模块发送图像增强指令，启动红外发射装置并实时调整发射强度。
5)无线电干扰拦截模块启动，与数据预处理与传输模块建立连接，等待接收指令。多旋翼无人机诱骗干扰拦截装置开启，等待数据预处理与传输模块发送的拦截信号发射指令。姿态调整装置启动，调整至初始姿态，准备接收数据预处理与传输模块实时发送的姿态调整指令。数据预处理与传输模块在与无线电干扰拦截模块建立连接后，根据基于5G通信的云计算识别系统识别得到的多旋翼无人机目标三维坐标信息，生成拦截信号发射指令与姿态调整指令，实时发送至无线电干扰拦截模块。
在另一个具体的实施场景中：
1)多旋翼无人机跟踪拦截系统处于巡检模式，多旋翼无人机特征采集模块保持低功耗工作状态，激光雷达阵列中的电动调节支架将多台激光雷达的间距调整至最大距离，保持最大扫描范围；360°稳定转向平台以低速稳定旋转，以固定的周期实现对周边环境的扫描。深度学习视觉避障模块持续工作，实时调整系统巡检路线，规避三维形态特征难以采集的障碍物。平台驱动模块低速前进，按照设定的巡检范围循环移动。无线电干扰拦截模块处于待机状态，暂停工作。
2)基于5G通信的云计算识别系统中的三维点云数据识别程序识别到多旋翼无人机目标，将目标的位置信息发送至数据预处理与传输模块。数据预处理与传输模块将目标坐标发送至无线电干扰拦截模块。并生成相应的行动指令，发送至多旋翼无人机特征采集模块、平台驱动模块。
3)多旋翼无人机特征采集模块调整为快速跟踪状态，其中的360°稳定转向平台提升旋转角速度以降级采样周期；激光雷达阵列中的电动调节支架将各激光雷达的间距调节至最小，以提升激光点阵的密度，进而提升目标扫描的精度。
4)平台驱动模块提升驱动电机电压，根据基于5G通信的云计算识别系统中的三维点云数据识别程序返回目标位置信息，快速向多旋翼无人机目标方向移动，同时根据深度学习视觉避障模块实时传输的环境障碍信息调整行进路线。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种基于点云的多旋翼无人机跟踪拦截方法，其特征在于，包括以下步骤：
S1，将多个激光雷达纵向排列构成激光雷达阵列，并架设于拦截系统的360°稳定转向平台上，通过360°稳定转向平台控制激光雷达阵列旋转采集多旋翼无人机的三维空间特征信息，形成点云数据；并通过激光雷达阵列识别多旋翼无人机周边变化的动态场景，建立空中目标背景场景模型；
S2，将所述点云数据在相同三维坐标系下进行合并重建，并剔除其中因扫描范围重合而重复的数据，得到预处理数据；
S3，通过深度学习视觉避障模块识别拦截系统周边变化的动态场景，建立地面环境背景场景模型；
S4，将所述预处理数据与所述空中目标背景场景模型作差，并剔除静态环境数据后得到跟踪数据，与地面环境背景场景模型数据一起发送至云计算识别系统；
S5，云计算识别系统根据所述跟踪数据计算出多旋翼无人机的三维坐标信息，拦截系统根据三维坐标信息跟踪所述多旋翼无人机，并根据地面环境背景场景模型数据对多旋翼无人机进行规划路径及姿态调整。
2.根据权利要求1所述的基于点云的多旋翼无人机跟踪拦截方法，其特征在于，所述S1具体包括：
在未识别到多旋翼无人机目标的场景下，通过360°稳定转向平台扩大各激光雷达的间距，以提升扫描范围；在检测到多旋翼无人机目标时，通过360°稳定转向平台缩小各激光雷达的间距，以提升扫描精度。
3.根据权利要求2所述的基于点云的多旋翼无人机跟踪拦截方法，其特征在于，所述S5之后还包括：根据多旋翼无人机的三维坐标信息，所述360°稳定转向平台控制所述激光雷达阵列实时调整扫描方向以对准所述多旋翼无人机。
4.根据权利要求1所述的基于点云的多旋翼无人机跟踪拦截方法，其特征在于，所述S3具体包括：所述深度学习视觉避障模块包括全景摄像头、红外发射装置及深度学习图像识别单元；
所述全景摄像头包含四个超广角摄像头，每个超广角摄像头采集周边一预定角度的环境图像，四个超广角摄像头共同采集拦截系统周边全部场景的图像，分别输入至所述深度学习图像识别单元中做进一步识别；
所述红外发射装置用于在所述全景摄像头采集到的图像无法识别时，通过所述红外发射装置向周边环境投射红外光，增加采集得到的图像特征；
所述深度学习图像识别单元基于YOLO-X图像识别算法对各超广角摄像头采集到的图像实时处理，针对拦截系统周边环境中的动态物体进行实时地分类识别，将计算得到的识别目标类别及坐标发送至所述360°稳定转向平台，所述360°稳定转向平台进一步控制激光雷达阵列旋转采集多旋翼无人机的三维空间特征信息。
5.根据权利要求4所述的基于点云的多旋翼无人机跟踪拦截方法，其特征在于，所述S3具体包括：
使用动态对象的数据对所述深度学习图像识别单元进行强化训练，在没有识别到动态对象的情况下，或在识别到周围存在多个动态目标时，暂停移动360°稳定转向平台并保持识别状态；
使用三维形态特征不稳定的物体目标的数据对所述深度学习图像识别单元进行强化训练，当识别到三维形态特征不稳定的物体目标时，更改360°稳定转向平台以规避该三维形态特征不稳定的物体目标。
6.根据权利要求1所述的基于点云的多旋翼无人机跟踪拦截方法，其特征在于，所述S5具体包括：
根据三维坐标信息调整拦截系统的诱骗干扰拦截装置的方向，并利用诱骗干扰拦截装置向多旋翼无人机发射虚假的导航信号，使所述多旋翼无人机脱离控制并自主迫降实现拦截。
7.一种基于点云的多旋翼无人机跟踪拦截系统，其特征在于，所述系统用于实现如权利要求1-6任一项所述的基于点云的多旋翼无人机跟踪拦截方法，包括：
多旋翼无人机特征采集模块，包含用于采集多旋翼无人机的三维空间特征信息形成点云数据的激光雷达阵列，所述激光雷达阵列还用于识别多旋翼无人机周边变化的动态场景以建立空中目标背景场景模型；
深度学习视觉避障模块，用于将预处理数据与所述空中目标背景场景模型作差，并剔除静态环境数据后得到跟踪数据，与地面环境背景场景模型数据一起发送至云计算识别系统；
平台驱动模块，包含用于驱动激光雷达阵列和/或深度学习视觉避障模块跟随多旋翼无人机移动的360°稳定转向平台，通过360°稳定转向平台控制激光雷达阵列旋转采集多旋翼无人机的三维空间特征信息，形成点云数据；
数据预处理与传输模块，用于将所述点云数据在相同三维坐标系下进行合并重建，并剔除其中因扫描范围重合而重复的数据，得到预处理数据；
云计算识别系统，用于根据所述跟踪数据计算出多旋翼无人机的三维坐标信息；
拦截系统，用于根据三维坐标信息跟踪所述多旋翼无人机，并根据地面环境背景场景模型数据对多旋翼无人机进行规划路径及姿态调整。
8.根据权利要求7所述的基于点云的多旋翼无人机跟踪拦截系统，其特征在于，所述跟踪拦截系统还包括无线电干扰拦截模块，所述无线电干扰拦截模块用于根据三维坐标信息调整诱骗干扰拦截装置的方向，并利用诱骗干扰拦截装置向多旋翼无人机发射虚假的导航信号，使所述多旋翼无人机脱离控制并自主迫降实现拦截。
9.根据权利要求7所述的基于点云的多旋翼无人机跟踪拦截系统，其特征在于：
在巡检模式下，360°稳定转向平台以较低的角速度旋转，电动调节支架扩大激光雷达间距，以提升扫描稳定性并节省能耗；
在跟踪模式下，360°稳定转向平台以较高的角速度旋转转，电动调节支架缩小激光雷达间距，以扩大单位时间扫描范围，并提升采集目标特征点的密度。
10.根据权利要求7所述的基于点云的多旋翼无人机跟踪拦截系统，其特征在于，所述数据预处理与传输模块通过5G工业网关实现与附近5G基站间的数据收发，基于5G通信的云计算识别系统直接通过光纤连接5G基站。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210829018.7A CN115390582B (zh) | 2022-07-15 | 2022-07-15 | 一种基于点云的多旋翼无人机跟踪拦截方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210829018.7A CN115390582B (zh) | 2022-07-15 | 2022-07-15 | 一种基于点云的多旋翼无人机跟踪拦截方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115390582A true CN115390582A (zh) | 2022-11-25 |
| CN115390582B CN115390582B (zh) | 2023-04-07 |
Family
ID=84116981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210829018.7A Active CN115390582B (zh) | 2022-07-15 | 2022-07-15 | 一种基于点云的多旋翼无人机跟踪拦截方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115390582B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117527135A (zh) * | 2024-01-04 | 2024-02-06 | 北京领云时代科技有限公司 | 基于深度学习的干扰无人机通信的系统及方法 |
| CN117872411A (zh) * | 2023-12-25 | 2024-04-12 | 北京航空航天大学 | 一种基于强化学习的gnss转发式无人机诱骗时延控制系统 |
| CN118485938A (zh) * | 2024-07-16 | 2024-08-13 | 安徽继远软件有限公司 | 基于复杂场景的轻量化无人机环境感知方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709498A (zh) * | 2016-11-15 | 2017-05-24 | 成都赫尔墨斯科技有限公司 | 一种无人机拦截系统 |
| US20170261604A1 (en) * | 2016-03-11 | 2017-09-14 | Raytheon Bbn Technologies Corp. | Intercept drone tasked to location of lidar tracked drone |
| CN110058602A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 基于深度视觉的多旋翼无人机自主定位方法 |
| CN110262534A (zh) * | 2019-06-25 | 2019-09-20 | 北京机械设备研究所 | 一种针对低慢小目标的无人机跟踪与拦截系统及方法 |
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| CN111192295A (zh) * | 2020-04-14 | 2020-05-22 | 中智行科技有限公司 | 目标检测与跟踪方法、相关设备和计算机可读存储介质 |
| CN112000130A (zh) * | 2020-09-07 | 2020-11-27 | 哈尔滨工业大学 | 一种无人机的多机协同高精度建图定位系统 |
| CN113253289A (zh) * | 2020-12-07 | 2021-08-13 | 中国计量大学 | 基于激光雷达与视觉结合的无人机探测跟踪系统实现方法 |
| CN113357965A (zh) * | 2021-06-01 | 2021-09-07 | 吉林大学 | 基于环扫式毫米波雷达点云成像的无人机捕获装置及方法 |
| CN113657270A (zh) * | 2021-08-17 | 2021-11-16 | 江苏熙枫智能科技有限公司 | 一种基于深度学习图像处理技术的无人机追踪方法 |
-
2022
- 2022-07-15 CN CN202210829018.7A patent/CN115390582B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170261604A1 (en) * | 2016-03-11 | 2017-09-14 | Raytheon Bbn Technologies Corp. | Intercept drone tasked to location of lidar tracked drone |
| CN106709498A (zh) * | 2016-11-15 | 2017-05-24 | 成都赫尔墨斯科技有限公司 | 一种无人机拦截系统 |
| CN110058602A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 基于深度视觉的多旋翼无人机自主定位方法 |
| CN110262534A (zh) * | 2019-06-25 | 2019-09-20 | 北京机械设备研究所 | 一种针对低慢小目标的无人机跟踪与拦截系统及方法 |
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| CN111192295A (zh) * | 2020-04-14 | 2020-05-22 | 中智行科技有限公司 | 目标检测与跟踪方法、相关设备和计算机可读存储介质 |
| CN112000130A (zh) * | 2020-09-07 | 2020-11-27 | 哈尔滨工业大学 | 一种无人机的多机协同高精度建图定位系统 |
| CN113253289A (zh) * | 2020-12-07 | 2021-08-13 | 中国计量大学 | 基于激光雷达与视觉结合的无人机探测跟踪系统实现方法 |
| CN113357965A (zh) * | 2021-06-01 | 2021-09-07 | 吉林大学 | 基于环扫式毫米波雷达点云成像的无人机捕获装置及方法 |
| CN113657270A (zh) * | 2021-08-17 | 2021-11-16 | 江苏熙枫智能科技有限公司 | 一种基于深度学习图像处理技术的无人机追踪方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117872411A (zh) * | 2023-12-25 | 2024-04-12 | 北京航空航天大学 | 一种基于强化学习的gnss转发式无人机诱骗时延控制系统 |
| CN117527135A (zh) * | 2024-01-04 | 2024-02-06 | 北京领云时代科技有限公司 | 基于深度学习的干扰无人机通信的系统及方法 |
| CN117527135B (zh) * | 2024-01-04 | 2024-03-22 | 北京领云时代科技有限公司 | 基于深度学习的干扰无人机通信的系统及方法 |
| CN118485938A (zh) * | 2024-07-16 | 2024-08-13 | 安徽继远软件有限公司 | 基于复杂场景的轻量化无人机环境感知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115390582B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115390582B (zh) | 一种基于点云的多旋翼无人机跟踪拦截方法及系统 | |
| CN107650908B (zh) | 无人车环境感知系统 | |
| CN109737981B (zh) | 基于多传感器的无人车目标搜索装置及方法 | |
| CN114474061B (zh) | 基于云服务的机器人多传感器融合定位导航系统及方法 | |
| CN108334103A (zh) | 无人机多距离避障方法及避障系统 | |
| CN109773783B (zh) | 一种基于空间点云识别的巡防智能机器人及其警务系统 | |
| JP6898363B2 (ja) | 高精細度マップ収集システム | |
| US20200393593A1 (en) | Integrated system for geological and geophysical survey based on unmanned aerial vehicle | |
| CN105182992A (zh) | 无人机的控制方法、装置 | |
| CN105946853A (zh) | 基于多传感器融合的长距离自动泊车的系统及方法 | |
| CN113085896B (zh) | 一种现代有轨清洁车辅助自动驾驶系统及方法 | |
| CN112270680A (zh) | 基于声音和图像融合的低空无人机探测的方法 | |
| CN113820709B (zh) | 基于无人机的穿墙雷达探测系统及探测方法 | |
| WO2019167210A1 (ja) | 制御装置、移動体及びプログラム | |
| CN207274661U (zh) | 无人车环境感知系统 | |
| CN112068585A (zh) | 移动载体的无人机动态回收系统 | |
| CN106094849A (zh) | 用于农场自主管理的四旋翼飞行器控制系统及控制方法 | |
| CN109708659B (zh) | 一种分布式智能光电低空防护系统 | |
| CN113498667A (zh) | 一种基于全景机器视觉的智能割草机器人 | |
| CN112051856B (zh) | 用于无人机动态回收的复合传感系统 | |
| CN102034244A (zh) | 基于运动背景的绝缘子实时目标识别和跟踪装置 | |
| CN114526725A (zh) | 一种基于系统级芯片的超融合导航系统 | |
| CN111736622B (zh) | 基于双目视觉与imu相结合的无人机避障方法及系统 | |
| CN208092239U (zh) | 一种用于房屋建筑的图像采集系统 | |
| CN111476134A (zh) | 一种基于增强现实的地质考察数据处理系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240428 Address after: Room 501-01, Building 3, No. 99 Fuda Road, Ludu Street, Taicang City, Suzhou City, Jiangsu Province, 215412 Patentee after: Jiangsu Jinjing Intelligent Control Technology Co.,Ltd. Country or region after: China Address before: 341000 No. 86 Hongqi Avenue, Jiangxi, Ganzhou Patentee before: Jiangxi University of Science and Technology Country or region before: China |