CN113949826A - 一种通信带宽有限条件下无人机集群协同侦察方法及系统 - Google Patents

一种通信带宽有限条件下无人机集群协同侦察方法及系统 Download PDF

Info

Publication number
CN113949826A
CN113949826A CN202111146418.XA CN202111146418A CN113949826A CN 113949826 A CN113949826 A CN 113949826A CN 202111146418 A CN202111146418 A CN 202111146418A CN 113949826 A CN113949826 A CN 113949826A
Authority
CN
China
Prior art keywords
target
unmanned aerial
aerial vehicle
target information
communication bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111146418.XA
Other languages
English (en)
Inventor
樊鹏辉
胡博
余威
李昶
宋国鹏
魏帅迎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Times Feihong Technology Co ltd
Original Assignee
Aerospace Times Feihong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Times Feihong Technology Co ltd filed Critical Aerospace Times Feihong Technology Co ltd
Priority to CN202111146418.XA priority Critical patent/CN113949826A/zh
Publication of CN113949826A publication Critical patent/CN113949826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种通信带宽有限条件下无人机集群协同侦察方法及系统，涉及目标侦查技术领域，能够解决无人机集群侦察中通信带宽受限、目标检测延时大、精度低的问题；该方法步骤包括：S1、第一无人机采集目标图片机载端分析，得到单机视角下目标信息并在集群内共享；继续采集图片的同时将已得目标信息发送给综合判断模块；S2、其他无人机各自判断是否进行协同侦查，若协同侦查，则根据接收的目标信息对目标进行图片采集并机载端分析，得到各自视角下的目标信息，同时将得到的目标信息发送给综合判断模块；S3、综合判断模块对接收到的目标信息进行分析，得到最终的侦查结果。本发明提供的技术方案适用于目标侦查的过程中。

Description

一种通信带宽有限条件下无人机集群协同侦察方法及系统
技术领域
本发明涉及目标侦查技术领域，尤其涉及一种通信带宽有限条件下无人机集群协同侦察方法及系统。
背景技术
在无人机侦察应用中，由于单机侦察过程中会出现目标信息缺失，目标容易被遮挡等问题，导致不能很快的搜寻到目标，因此开展集群协同侦察搜索，可以更快的侦察到目标位置信息，便于快速搜救。同时，由于侦察设备的通信带宽又会受到一定的限制。基于无人机集群协同侦察和基于边缘硬件加速的自动目标识别技术将成为无人机多机协同侦察搜救领域的研究热点。
在多机协同侦察中，将无人机侦察载荷视频数据回传，在地面端进行目标识别的侦察方式存在通信延时较大、通信带宽要求较高等问题，如何将侦察图像在机载端进行实时加速处理、减小通信链路的数据量以适应低带宽限制，并通过多机协同方式提升目标侦察、定位的准确度，仍是亟需解决的问题。
因此，有必要研究一种通信带宽有限条件下无人机集群协同侦察方法及系统来应对现有技术的不足，以解决或减轻上述一个或多个问题。
发明内容
有鉴于此，本发明提供了一种通信带宽有限条件下无人机集群协同侦察方法及系统，能够解决无人机集群侦察系统中通信带宽受限、目标检测延时大、精度低的问题。
一方面，本发明提供一种通信带宽有限条件下无人机集群协同侦察方法，所述方法的步骤包括：
S1、第一无人机采集目标图片并在机载端进行分析，得到单机视角下带有时间戳的目标信息并与集群中的其他无人机进行共享；第一无人机在继续采集图片进行分析的同时将已得到的目标信息发送给综合判断模块；
S2、集群中的其他无人机各自判断是否进行协同侦查，若进行协同侦查，则根据接收到的目标信息对目标进行图片采集并在机载端进行分析，得到各自视角下带有时间戳的目标信息，同时将得到的目标信息发送给综合判断模块；
S3、综合判断模块对接收到的所有目标信息进行综合分析，得到最终的侦查结果；
综合判断模块一般设置在地面，和集群中的所有无人机进行通信；机载端指无人机端，对应于地面端。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在机载端进行分析的内容包括：在机载端布设加速引擎设备，在所述加速引擎设备中布设剪枝压缩后的目标检测模型，由所述目标检测模型对图片进行目标识别，得到所述目标信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述目标检测模型的构建过程包括：
训练一个完整卷积神经网络；
对所述卷积神经网络的每一层权重进行绝对值排序；
选出绝对值低于判断阈值的权重，并全部移除，从而实现剪枝操作；
对剪枝后的卷积神经网络进行重新训练达到符合要求的性能。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，对所述目标检测模型对图片进行目标识别的结果进行NMS(即非极大值抑制)，通过目标分类器得到多个候选框，并根据分类概率进行排序，选出概率最高的候选框，从而实现对视频数据或图片数据中目标的实时检测处理。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述目标信息包括目标类别、目标置信度和目标定位数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述目标定位数据的获得过程包括：
获取无人机当前状态的经纬度、高度、机体姿态以及图片采集设备参数；
获取目标在图片中的坐标数据；
根据目标在图片中坐标数据计算机载坐标系下的目标坐标；
将机载坐标系下的目标坐标转换为WGS-84坐标系下的经纬信息，实现目标定位。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述目标置信度表征图像识别的目标形状与对应类别的标准形状的相似程度。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述加速引擎设备具体为人工智能芯片或高性能CPU。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤S3中侦查结果包括目标类别判断，具体判断内容包括：先分别计算目标为各相应类别的综合置信度，再对所有综合置信度进行大小对比，选择值最大的综合置信度对应的类别作为该目标的最终类别；
综合置信度的计算方式为：
Figure BDA0003285562370000031
式中，Cm为目标为m类的综合置信度；m为预存在机载端的目标类别；
pi(a)为第i架无人机侦查得到的目标置信度；
n为协同侦查的无人机总数。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤S3中侦查结果包括计算目标位移数据，具体计算内容包括：
提取目标信息中的目标定位数据，获取不同无人机对应的目标定位数据中的最大经度和最小经度、最大维度和最小纬度以及经度和维度对应的时间戳差值；
目标的位移计算：经度位移＝最大经度-最小经度，维度位移＝最大维度-最小维度；
目标的运行速度计算：经度运行速度＝经度位移/经度时间戳差值，维度运行速度＝维度位移/维度时间戳差值。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，对剪枝后的卷积神经网络进行重新训练时使用的Dropout率Di的计算公式为：
Cio＝NiNi-1，
Figure BDA0003285562370000041
式中：Cio为初始网络参数个数；Cir为再训练之后的网络参数个数；Ni为第i神经元参数总量；Do为初始Dropout率；1为偏置量。
另一方面，本发明提供一种通信带宽有限条件下无人机集群协同侦察系统，所述系统能够实现如上任一所述的方法；所述系统包括：
具有采集和通信功能并具有协同侦查判断逻辑的无人机集群；
设于无人机上的加速引擎设备，用于对采集的目标图片进行分析，得到单机视角下的目标信息；
设于地面端的综合判断模块，用于接收集群中参与协同侦查的无人机发来的目标信息，并综合分析得到最终的侦查结果。
与现有技术相比，上述技术方案中的一个技术方案具有如下优点或有益效果：本发明采用剪枝压缩技术，通过对目标检测网络中每一层权重的排序、阈值处理以及网络训练迭代，在不损失精度的前提下减小了模型的计算复杂度和空间复杂度，训练获得轻量级的目标检测网络模型；
上述技术方案中的另一个技术方案具有如下优点或有益效果：本发明采用边缘计算的方式，通过部署于机载端的人工智能芯片进行目标检测的加速，提升目标检测的实时性；
上述技术方案中的另一个技术方案具有如下优点或有益效果：本发明通过构建目标信息库，以标签的方式代替以图像方式表征目标，降低了表征目标信息的数据量，减小集群任务下链路传输的数据量以适应受限的带宽；
上述技术方案中的另一个技术方案具有如下优点或有益效果：本发明采用综合置信度算法，通过对集群中多机在不同视角下对同一目标的检测结果进行综合判决，消除了单机单视角可能带来的漏检或误检情况，提高复杂场景下目标检测精度。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一个实施例提供的通信带宽有限条件下无人机集群协同侦察方法流程图；
图2是本发明一个实施例提供的目标检测信息处理与存储转发流程示意图；
图3是本发明一个实施例提供的无人机集群协同侦察示意图；
图4是本发明一个实施例提供的权值与神经元剪枝前后的对比示意图；
图5是本发明一个实施例提供的神经网络加速器架构模型示意图。
具体实施方式
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义；多个，包括两个或者两个以上。
针对现有技术的不足，本发明采用一种基于深度学习的目标检测技术，通过在机载端人工智能芯片的AI加速引擎中部署目标检测网络，实时进行目标识别、分类，配合无人机的经纬高以及姿态信息联合实现对目标的定位和运动情况分析；通过无人机集群协同侦察方式以不同视角对目标进行侦察，提升目标检测的准确度和可靠性；通过构建目标信息库，减小无人机与地面站之间、无人机与无人机之间的通信数据量，适应带宽受限的应用场景。
通信带宽有限条件下无人机集群协同侦察方法，如图1所示，其步骤包括：
步骤1：将无人机侦察载荷采集的图像数据输入到机载端神经网络芯片中，配合剪枝压缩后的轻量级目标检测模型，经AI引擎加速处理，得到无人机单机视角下的目标信息，包括目标类别、目标置信度以及目标边框坐标(根据图片内的目标坐标以及其他因素得到最终的定位数据)；步骤1主要分三步：
步骤11：无人机搭载光电载荷飞临侦察区域进行实时视频数据采集。
步骤12：视频图像数据输入到机载端人工智能芯片中，通过内置的AI加速引擎配合剪枝压缩后的轻量级目标检测模型进行目标识别；
轻量化目标检测模型构建技术：采用剪枝压缩的方法实现目标检测模型轻量化处理，降低网络的复杂度，防止网络过拟合，主要通过对神经网络模型中不重要的权值连接进行剪枝精化，剪枝网络的过程是对全连接层中的连接参数设置一个阈值，权重低的参数进行移除。剪枝后，网络会变得稀疏，分类器将选择更具有明显预测因子的特征，因此可以减小预测误差，减小过拟合。网络剪枝前后的对比如图4所示；剪枝压缩主要包括四个步骤：
1)采用普通方法训练一个完整的卷积神经网络模型；
2)对每一层的权重按其权值的绝对值进行排序；
3)选出权值绝对值低于某一阈值的权重，并将其移除；
4)将剪枝后的网络进行重训练以尽可能达到剪枝前的性能；
经剪枝压缩处理，在不损失精度的前提下，减少了目标检测模型的计算复杂度和空间复杂度，构建了轻量级的目标检测网络模型；在剪枝过程中已经使模型变得稀疏，所以在剪枝后训练网络时所使用的Dropout要更小。剪枝后训练使用的Dropout率Di的计算公式为：
Ci＝NiNi-1
Figure BDA0003285562370000071
式中：Ci即是Cio，为第i层的连接总量；Cio为初始网络参数个数；Cir为再训练之后的网络参数个数；Ni为第i神经元参数总量；Do为初始Dropout率；1为偏置量。
基于人工智能芯片的神经网络加速技术：系统运行时将目标检测模型读取到内存空间并解析出模型的网络参数，模型按照计算特点和硬件支持情况分段在AI引擎或CPU中执行，将计算量大耗时较多的神经网络层在AI引擎上进行执行，将计算量小和数据调度处理较多的其他层放在CPU上进行。通过在机载端采用人工智能芯片的AI加速引擎进行目标检测的硬件加速，可以实现对侦察载荷视频图像的实时处理，相比于侦察视频数据经链路回传后处理，该方式可以提高目标检测的实时性，同时降低数据链路的通信数据量。本实例采用的AI加速引擎是基于CNN、RCNN等神经网络结构的深度学习专用加速器，可用于图片分类、目标检测等应用场景，具有支持N*N卷积、支持Pooling、支持激活函数(Relu、Sigmoid和TanH)、支持向量与矩阵的乘加运算、支持数据与参数位宽可配置、支持参数压缩和参数稀疏以及图像批处理等特征。加速器的架构模型如图5所示。将训练好的目标检测模型部署在AI加速引擎中，系统运行时将模型读取到内存空间并解析出模型的网络参数，模型按照计算特点和硬件支持情况分段在AI加速引擎或CPU中执行，将检测结果进行非极大值抑制，去除多余的和得分很低的检测框，从而实现对视频数据中目标的实时检测处理。
步骤13：对识别到的目标进行分类，并获取目标在图像中的像素坐标以及目标类别的置信度；
在该步骤中，将检测结果进行非极大值抑制(Non-Maximum Suppression，NMS)，去除多余的和得分很低的检测框，从而实现对视频数据中目标的实时检测处理。
步骤2：提取当前所处理图像对应的无人机经纬高以及机体和载荷姿态信息，通过与图像中的目标坐标信息进行融合，实现对目标的定位；
该步骤具体包括：
步骤21：获取无人机当前状态的经纬度、高度、机体姿态以及光电平台参数；
步骤22：根据目标在图像中坐标信息计算机载坐标系下的目标坐标；
步骤23：将机载坐标系下的目标位置转换为WGS-84坐标系下的经纬信息。
步骤3：根据所要侦察的目标类别构建起目标信息库，单机机载端完成目标识别后为目标分配标签(也就是目标类别)，通过标签与地面站以及集群中其他无人机进行目标信息的共享，以减少通信数据量适应受限的通信带宽；
具体包括：
步骤31：根据所要侦察目标类别构建目标信息库，分配不同的标签表征目标；
步骤32：目标识别完成后，根据目标类别在目标信息库中查找目标标签；
步骤33：以无人机编号+目标标签+目标坐标+目标置信度的组合方式对侦察到的各目标信息进行组帧；
步骤34：无人机单机通过带宽受限的数据链路与地面站以及集群中的其他无人机进行目标信息的共享，根据目标的定位判定是否为同一目标。
以上步骤1-步骤3如图2所示。
步骤4：集群中的其他无人机飞临目标临近区域时，根据接收到的目标信息再次进行侦察，实现多机多视角下的覆盖搜索，同时将自身获取的目标信息与地面站以及其他无人机进行共享；无人机集群协同侦察示意如图3所示；
具体包括：
步骤41：集群中的无人机在接收到其他无人机发送的目标信息时，根据当前自身任务的执行进度以及距离目标的距离，综合判定是否进行协同侦察；
步骤42：判定需要进行多机协同侦察时，无人机改变飞行航线并飞抵目标区域进行侦察，获取不同时刻和不同视角下的目标信息；
步骤43：无人机将自身获取的目标信息通过受限的数据链路与其他无人机和地面站之间进行共享；
步骤44：集群中的其他无人机根据同样的条件判定是否进行协同侦察；已经完成对同一目标侦察的无人机不再对接收的目标信息进行侦察响应。
步骤5：根据集群无人机对同一目标侦察得到的目标类别和目标置信度，引用综合置信度算法，纠正单机无人机侦察目标分类错误情况，提升目标检测准确率；根据集群无人机对同一目标侦察得到的目标定位信息，综合判定目标定位和基本运动情况；
具体包括：
步骤51：引入综合置信度算法，对每个目标在多机多视角侦察下的检测结果进行计算，确定目标的最终检测类别；
假设共有n架无人机对区域进行集群协同侦察，第i架飞机检测过程用fi(·)表示，检测结果置信度用pi(·)表示，目标类别共计M种，则对目标a而言，如果第i架无人机检测目标结果为第m类，那么fi(a)＝m，检测结果置信度为pi(a)，n≥2且为正整数，M≥1且为正整数，m∈M；
对于目标a，同一次协同侦察过程中，检测到a是m类目标的综合置信度用Cm表示，那么
Figure BDA0003285562370000101
以目标a的综合置信度最大的类别作为检测的最终类别Ma；
步骤52：对目标在多机侦察下的定位信息和侦察时间戳进行计算，估计目标的基本运动情况；
基于多机协同的目标检测决策技术：假设共有n架无人机对同一区域进行协同侦察，第i架飞机检测过程用fi(·)表示，检测结果置信度用pi(·)表示，目标类别共计M种，则对目标a而言，如果第i架无人机检测目标结果为第m类，那么fi(a)＝m，检测结果置信度为pi(a)。
对目标a而言，同一次协同侦察过程检测到a是m类目标的综合置信度用Cm表示，那么
Figure BDA0003285562370000102
以目标a的综合置信度最大的类别作为检测的最终类别Ma。
假设共有n架无人机对同一区域进行协同侦察，已经确定a是m类目标的综合置信度Cm以及a的最终类别Ma，对不同无人机侦察到的目标定位的最大与最小值进行排序计算，获取目标定位的最大最小经度Lomax/Lomin、最大最小纬度Lamax/Lamin以及对应时刻的时间戳差值ΔTLo/ΔTLa；
目标的位移情况：distLo＝Lomax-Lomin，distLa＝Lamax-Lamin
目标的运行速度：
Figure BDA0003285562370000103
综上，本发明提供一种通信带宽有限条件下无人机集群协同侦察方法，主要融合了轻量化目标检测模型构建技术、基于人工智能芯片的神经网络加速技术和基于多机协同的目标检测决策技术，来快速获取复杂环境下的目标信息，为指挥决策提供精细信息。
轻量化目标检测模型构建技术部分主要用于降低目标检测网络模型的复杂度，防止过拟合。通过设置阈值，移除全连接层中权重较小的参数，使网络变得稀疏，使分类器选择更具有明显预测因子的特性，以减小预测误差。
基于人工智能芯片的神经网络加速技术部分主要应用于机载端视频数据的加速计算。通过将训练好的检测网络部署于AI加速引擎中，实现机载视频的实时处理，减小因图像数据传输引起的延时，并减轻数据链路通信的压力，适应带宽受限的通信环境。
基于多机协同的目标检测决策技术部分主要进行集群侦察结果的综合判决。通过引入综合置信度，纠正单机单视角侦察可能存在的侦察错误情况，提高目标侦察的可靠性和准确率。
实施例1：
以无人机光电侦察载荷拍摄图像为例，首先，基于剪枝压缩后的轻量级目标检测模型，在机载端人工智能芯片中实现对侦察载荷数据的处理，完成多类目标的实时检测，获取目标类别与位置信息；然后，根据无人机飞行参数以及光电载荷参数对目标进行定位，获取目标的经纬度，无人机将获取的目标定位及类别等信息进行组帧转发；集群中的其他无人机接收到目标信息后判决是否进行协同侦察，如需协同侦察，其他无人机飞临目标区域再次进行侦察，获取该无人机视角下的目标信息并进行转发；最后，引用综合置信度算法，对集群协同侦察下的相同目标信息进行计算，提高目标检测精度，并估算目标的基本运动情况。图1为该侦查方法的总体工作流程图。
算法可归纳为以下步骤：
1)将无人机侦察载荷采集的图像数据输入到机载端神经网络芯片中，配合剪枝压缩后的轻量级目标检测模型，经AI引擎加速处理，得到无人机单机视角下的目标信息，包括目标类别、目标置信度以及目标边框坐标。
2)提取当前所处理图像对应的无人机经纬高以及机体和载荷姿态信息，通过与图像中的目标坐标信息进行融合，实现对目标的定位。
3)根据所要侦察的目标类别构建起目标信息库，单机机载端完成目标识别后为目标分配标签，通过标签与地面站以及集群中其他无人机进行目标信息的共享，以减少通信数据量适应受限的通信带宽。以上3个步骤的示意如图2所示。
4)集群中的其他无人机飞临目标临近区域时，根据接收到的目标信息再次进行侦察，实现多视角下的覆盖搜索，同时将自身获取的目标信息与地面站以及其他无人机进行共享。无人机集群协同侦察示意如图3所示。
5)根据集群无人机对同一目标侦察得到的目标类别和目标置信度，引用综合置信度算法，纠正单机无人机侦察目标分类错误情况，提升目标检测准确率；根据集群无人机对同一目标侦察得到的目标定位信息，综合判定目标定位和基本运动情况。
以上对本申请实施例所提供的一种通信带宽有限条件下无人机集群协同侦察方法及系统，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”和“约”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

Claims (10)

1.一种通信带宽有限条件下无人机集群协同侦察方法，其特征在于，所述方法的步骤包括：
S1、第一无人机采集目标图片并在机载端进行分析，得到单机视角下的目标信息并与集群中的其他无人机进行共享；第一无人机在继续采集图片进行分析的同时将已得到的目标信息发送给综合判断模块；
S2、集群中的其他无人机各自判断是否进行协同侦查，若进行协同侦查，则根据接收到的目标信息对目标进行图片采集并在机载端进行分析，得到各自视角下的目标信息，同时将得到的目标信息发送给综合判断模块；
S3、综合判断模块对接收到的所有目标信息进行综合分析，得到最终的侦查结果。
2.根据权利要求1所述的通信带宽有限条件下无人机集群协同侦察方法，其特征在于，步骤S1和S2中在机载端进行分析的内容包括：在机载端布设加速引擎设备，在所述加速引擎设备中布设剪枝压缩后的目标检测模型，由所述目标检测模型对图片进行目标识别，得到所述目标信息。
3.根据权利要求2所述的通信带宽有限条件下无人机集群协同侦察方法，其特征在于，所述目标检测模型的构建过程包括：
训练一个完整卷积神经网络；
对所述卷积神经网络的每一层权重进行绝对值排序；
选出绝对值低于判断阈值的权重，并全部移除，从而实现剪枝操作；
对剪枝后的卷积神经网络进行重新训练达到符合要求的性能。
4.根据权利要求1所述的通信带宽有限条件下无人机集群协同侦察方法，其特征在于，所述目标信息包括目标类别、目标置信度和目标定位数据。
5.根据权利要求4所述的通信带宽有限条件下无人机集群协同侦察方法，其特征在于，所述目标定位数据的获得过程包括：
获取无人机当前状态的经纬度、高度、机体姿态以及图片采集设备参数；
获取目标在图片中的坐标数据；
根据目标在图片中坐标数据计算机载坐标系下的目标坐标；
将机载坐标系下的目标坐标转换为WGS-84坐标系下的经纬信息，实现目标定位。
6.根据权利要求4所述的通信带宽有限条件下无人机集群协同侦察方法，其特征在于，所述目标置信度表征图像识别的目标形状与对应类别的标准形状的相似程度。
7.根据权利要求2所述的通信带宽有限条件下无人机集群协同侦察方法，其特征在于，所述加速引擎设备具体为人工智能芯片或高性能CPU。
8.根据权利要求1所述的通信带宽有限条件下无人机集群协同侦察方法，其特征在于，步骤S3中侦查结果包括目标类别判断，具体判断内容包括：先分别计算目标为各相应类别的综合置信度，再对所有综合置信度进行大小对比，选择值最大的综合置信度对应的类别作为该目标的最终类别；
综合置信度的计算方式为：
Figure FDA0003285562360000021
式中，Cm为目标为m类的综合置信度；m为预存在机载端的目标类别；
pi(a)为第i架无人机侦查得到的目标置信度；
n为协同侦查的无人机总数。
9.根据权利要求1所述的通信带宽有限条件下无人机集群协同侦察方法，其特征在于，步骤S3中侦查结果包括计算目标位移数据，具体计算内容包括：
提取目标信息中的目标定位数据，获取不同无人机对应的目标定位数据中的最大经度和最小经度、最大维度和最小纬度以及经度和维度对应的时间戳差值；
目标的位移计算：经度位移＝最大经度-最小经度，维度位移＝最大维度-最小维度；
目标的运行速度计算：经度运行速度＝经度位移/经度时间戳差值，维度运行速度＝维度位移/维度时间戳差值。
10.一种通信带宽有限条件下无人机集群协同侦察系统，其特征在于，所述系统能够实现如权利要求1-9任一所述的方法；所述系统包括：
具有采集和通信功能并具有协同侦查判断逻辑的无人机集群；
设于无人机上的加速引擎设备，用于对采集的目标图片进行分析，得到单机视角下的目标信息；
设于地面端的综合判断模块，用于接收集群中参与协同侦查的无人机发来的目标信息，并综合分析得到最终的侦查结果。
CN202111146418.XA 2021-09-28 2021-09-28 一种通信带宽有限条件下无人机集群协同侦察方法及系统 Pending CN113949826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111146418.XA CN113949826A (zh) 2021-09-28 2021-09-28 一种通信带宽有限条件下无人机集群协同侦察方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111146418.XA CN113949826A (zh) 2021-09-28 2021-09-28 一种通信带宽有限条件下无人机集群协同侦察方法及系统

Publications (1)

Publication Number Publication Date
CN113949826A true CN113949826A (zh) 2022-01-18

Family

ID=79329576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111146418.XA Pending CN113949826A (zh) 2021-09-28 2021-09-28 一种通信带宽有限条件下无人机集群协同侦察方法及系统

Country Status (1)

Country Link
CN (1) CN113949826A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116088064A (zh) * 2023-01-18 2023-05-09 汕头大学 一种基于无人机群的红火蚁巢穴探测方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393747A (zh) * 2011-08-17 2012-03-28 清华大学 无人机集群的协作交互方法及无人机的可视导航系统
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
KR20180085562A (ko) * 2017-01-19 2018-07-27 금오공과대학교 산학협력단 생체 모방 알고리즘을 이용한 다수 드론의 수색 및 정찰 방법
WO2019033747A1 (zh) * 2017-08-18 2019-02-21 深圳市道通智能航空技术有限公司 无人机智能跟随目标确定方法、无人机和遥控器
CN109917767A (zh) * 2019-04-01 2019-06-21 中国电子科技集团公司信息科学研究院 一种分布式无人机集群自主管理系统及控制方法
CN110782481A (zh) * 2019-10-18 2020-02-11 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 无人艇智能决策方法及系统
CN111476116A (zh) * 2020-03-24 2020-07-31 南京新一代人工智能研究院有限公司 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
CN112197761A (zh) * 2020-07-24 2021-01-08 北京理工大学 一种高精度多旋翼机协同定位方法及系统
CN112488066A (zh) * 2020-12-18 2021-03-12 航天时代飞鸿技术有限公司 一种无人机多机协同侦察下的目标实时检测方法
CN112489032A (zh) * 2020-12-14 2021-03-12 北京科技大学 一种复杂背景下无人机载小目标检测定位方法及系统
CN112541426A (zh) * 2020-12-10 2021-03-23 天津(滨海)人工智能军民融合创新中心 基于无人机集群协同感知的通信带宽自适应数据处理方法
CN112884692A (zh) * 2021-03-15 2021-06-01 中国电子科技集团公司第十一研究所 分布式机载协同侦察光电系统及无人机系统
CN113239813A (zh) * 2021-05-17 2021-08-10 中国科学院重庆绿色智能技术研究院 一种基于三阶级联架构的YOLOv3的远景目标检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393747A (zh) * 2011-08-17 2012-03-28 清华大学 无人机集群的协作交互方法及无人机的可视导航系统
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
KR20180085562A (ko) * 2017-01-19 2018-07-27 금오공과대학교 산학협력단 생체 모방 알고리즘을 이용한 다수 드론의 수색 및 정찰 방법
WO2019033747A1 (zh) * 2017-08-18 2019-02-21 深圳市道通智能航空技术有限公司 无人机智能跟随目标确定方法、无人机和遥控器
CN109917767A (zh) * 2019-04-01 2019-06-21 中国电子科技集团公司信息科学研究院 一种分布式无人机集群自主管理系统及控制方法
CN110782481A (zh) * 2019-10-18 2020-02-11 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 无人艇智能决策方法及系统
CN111476116A (zh) * 2020-03-24 2020-07-31 南京新一代人工智能研究院有限公司 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
CN112197761A (zh) * 2020-07-24 2021-01-08 北京理工大学 一种高精度多旋翼机协同定位方法及系统
CN112541426A (zh) * 2020-12-10 2021-03-23 天津(滨海)人工智能军民融合创新中心 基于无人机集群协同感知的通信带宽自适应数据处理方法
CN112489032A (zh) * 2020-12-14 2021-03-12 北京科技大学 一种复杂背景下无人机载小目标检测定位方法及系统
CN112488066A (zh) * 2020-12-18 2021-03-12 航天时代飞鸿技术有限公司 一种无人机多机协同侦察下的目标实时检测方法
CN112884692A (zh) * 2021-03-15 2021-06-01 中国电子科技集团公司第十一研究所 分布式机载协同侦察光电系统及无人机系统
CN113239813A (zh) * 2021-05-17 2021-08-10 中国科学院重庆绿色智能技术研究院 一种基于三阶级联架构的YOLOv3的远景目标检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116088064A (zh) * 2023-01-18 2023-05-09 汕头大学 一种基于无人机群的红火蚁巢穴探测方法及系统
CN116088064B (zh) * 2023-01-18 2023-10-13 汕头大学 一种基于无人机群的红火蚁巢穴探测方法及系统

Similar Documents

Publication Publication Date Title
CN105447459B (zh) 一种无人机自动检测目标和跟踪方法
CN110570454B (zh) 一种检测异物入侵的方法及装置
CN110619276B (zh) 基于无人机移动监控的异常及暴力检测系统和方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN111986163A (zh) 人脸图像选择方法和装置
CN111831010A (zh) 一种基于数字空间切片的无人机避障飞行方法
CN110992378A (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN112927264A (zh) 一种无人机跟踪拍摄系统及其rgbd跟踪方法
WO2020238790A1 (zh) 相机定位
CN112489072A (zh) 一种车载视频感知信息传输负载优化方法及装置
CN114220157A (zh) 无人机配送中基于人脸转正和人脸识别的收货人识别方法
CN115700808A (zh) 自适应融合可见光和红外图像的双模态无人机识别方法
CN113949826A (zh) 一种通信带宽有限条件下无人机集群协同侦察方法及系统
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN112907972A (zh) 基于无人机的道路车流量检测方法、系统及计算机可读存储介质
CN112616126B (zh) 一种基于分布式协作的传感器信息处理方法
CN113706496A (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN113012228A (zh) 一种工位定位系统及基于深度学习的工件定位方法
CN216647401U (zh) 一种安全帽识别装置
CN115457313A (zh) 一种基于热红外图像分析光伏设备故障的方法及系统
CN113780462B (zh) 基于无人机航拍图像的车辆检测网络建立方法及其应用
CN114049377B (zh) 一种空中高动态小目标检测方法及系统
Wang et al. Online drone-based moving target detection system in dense-obstructer environment
CN114332632A (zh) 一种安全帽识别装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination