CN112541426B - 基于无人机集群协同感知的通信带宽自适应数据处理方法 - Google Patents

基于无人机集群协同感知的通信带宽自适应数据处理方法 Download PDF

Info

Publication number
CN112541426B
CN112541426B CN202011436119.5A CN202011436119A CN112541426B CN 112541426 B CN112541426 B CN 112541426B CN 202011436119 A CN202011436119 A CN 202011436119A CN 112541426 B CN112541426 B CN 112541426B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
bandwidth
target
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011436119.5A
Other languages
English (en)
Other versions
CN112541426A (zh
Inventor
张周
张圣
王彤彤
闫野
仲建
施俊晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center, National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Priority to CN202011436119.5A priority Critical patent/CN112541426B/zh
Publication of CN112541426A publication Critical patent/CN112541426A/zh
Application granted granted Critical
Publication of CN112541426B publication Critical patent/CN112541426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18504—Aircraft used as relay or high altitude atmospheric platform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/78—Architectures of resource allocation
    • H04L47/782—Hierarchical allocation of resources, e.g. involving a hierarchy of local and centralised entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于无人机集群协同感知的通信带宽自适应数据处理方法。该方法为：无人机集群内各无人机根据信道的情况，由边缘节点统计并划分多种不同的信道带宽条件，每个无人机平台对应一种信道带宽条件，选择对应的信息处理方式完成信息处理，将处理后的信息发送到边缘节点完成信息融合，再将融合后的信息在网内共享。本发明使得无人机集群中的各个无人机能够在时变无线网络下，合理分配带宽资源，并根据带宽情况在选择合理的信息数据处理方式，完成对传感器获取视频图像的检测、识别、跟踪，将结果在无人机集群内共享；同时，每个无人机都能利用其它无人机获取的信息对自身传感器信息的融合补充，提高集群整体的目标检测、识别、跟踪水平。

Description

基于无人机集群协同感知的通信带宽自适应数据处理方法
技术领域
本发明涉及无人机集群的协同感知技术，特别是一种基于无人机集群协同感知的通信带宽自适应数据处理方法。
背景技术
当前无人机系统通过集群编组方式完成某个任务已经成为当前无人机系统的一个重要发展方向，通过集群内多个无人机平台的协同感知，无人机平台间可以共同完成某个复杂的侦察、探测等工作，同时将来自不同平台的信息进行融合，得到更为精确的目标信息。随着深度学习理论的发展，目标检测技术和图像区域分割技术在视频图像方面的应用可极大提高单体无人机的数据处理能力，将传感器获取视频图像在本地完成检测、识别与跟踪。然而，无人机集群需要将集群内各无人机获取的视频图像数据与其它无人机获取的信息进行共享，在边缘节点融合，以群体智能的方式协同均需要无线通信网络的支撑，信息通联问题决定了无人机作集群可靠运转和任务执行，单个无人机传感器获取的信息需要通过集群网络在网内进行共享，而网络内对带宽的分配直接影响单个无人采用的信息处理方式和效率，或者直接进行视频图像数据的传输，或者是在本地采用目标检测技术和图像区域分割技术等进行处理后再进行传输到边缘节点，融合后完成网内共享。
传统的无人机集群在进行协同感知时，不考虑网络的时变性，单个无人机在集群内固定采用某种数据处理方法，或者是直接发送传感器获取视频图像，或者是采用某个深度学习技术，对数据进行处理后发送到边缘节点，边缘节点在完成信息融合后将监测、识别、跟踪信息在网内集群共享，如图1所示。
传统的无人机集群协同感知时的数据处理方式无法根据网络变化动态调整信息处理策略，因此存在以下方面的缺陷：
(1)时变无线网络的影响增大了单个无人机对信息处理的难度
无人机集群构建的网络是时变的无线自组织网络，受环境和干扰影响大，尤其在受压制或拒止环境下，通信条件随时发生改变，为了保证通信效率，带宽降速是常态，而如果采用固定的信息处理策略，很难适应带宽变化的需求，导致信息处理后发送的时延过长，影响信息融合及分发的效率。
(2)固定模式的信息处理策略同时影响了边缘节点的信息融合效率
在无人机集群中，多个无人机通过协同感知，提高信息处理效率，有效提高了多个无人机对目标检测、跟踪、识别的能力，在这一过程中边缘节点的信息处理方式需要根据集群中单个无人机的处理策略而发生改变，或者是基于图像的像素级融合，或者是基于图像区域分割处理后信息的融合，或者是基于语义识别后信息的融合，如果采用固定模式，很难动态调整信息融合的方式。
(3)视频图像处理无法随信道变化弹性适变
由于无人机集群的多个平台采用相同固定的数据处理方式产生发送数据，或者是高清图(可以选择压缩处理)，或者采用图像区域分割算法或目标检测算法产生的轮廓图或结构化数据，数据处理的方式是固定产生的，信道发生变化时无法动态调整，同时影响发送端的分发效率和接收端的信息融合效率。
发明内容
本发明的目的在于提供一种基于无人机集群协同感知的通信带宽自适应数据处理方法，以提高集群整体的目标检测、识别、跟踪水平。
实现本发明目的的技术解决方案为：一种基于无人机集群协同感知的通信带宽自适应数据处理方法，无人机集群内各无人机根据信道的情况，由边缘节点统计并划分多种不同的信道带宽条件，每个无人机平台对应一种信道带宽条件，选择对应的信息处理方式完成信息处理，将处理后的信息发送到边缘节点完成信息融合，再将融合后的信息在网内共享。
进一步地，划分的信道带宽条件包括5种，每个无人机平台对应一种信道带宽条件，选择对应的信息处理方式完成信息处理，具体如下：
第一种信道带宽条件为C1，在此条件下所有的无人机节点都可传输连续高清图，此时在所有无人机上运行高清图像处理算法和目标检测识别算法，获取每个无人机目标识别的置信度以及目标类别这些信息；
第二种信道带宽条件为C2，在此条件下部分无人机节点可传输高清图，其它无人机节点则传输轮廓图，此时边缘节点决定如何分配无人机所获取的通信资源；
第三种信道带宽条件为C3，在此条件下所有的无人机节点都可传输轮廓图，则在所有无人机上运行图像区域分割算法，获取目标轮廓图，再获取每个无人机目标识别的置信度；
第四种信道带宽条件为C4，在此条件下部分无人机节点可传输轮廓图，其它无人机节点传输结构化数据，此时边缘节点决定如何分配无人机所获取的通信资源；
第五种信道带宽条件为C5，在此条件下所有的无人机节点只可传输目标对应的结构化数据，则首先在所有无人机上运行目标检测识别算法，获取每个无人机目标识别的置信度。
本发明与现有技术相比，其显著优点为：(1)使得无人机集群中的各个无人机能够在时变无线网络下，根据信道特点，合理分配带宽资源，并根据带宽情况在选择合理的信息数据处理方式，完成对传感器获取视频图像的检测、识别、跟踪，并将结果在无人机集群内共享；(2)每个无人机都能利用其它无人机获取的检测、识别、跟踪信息对自身传感器信息的融合补充，提高了集群整体的目标检测、识别、跟踪水平。
附图说明
图1为传统无人机集群协同感知时的数据处理方法流程图。
图2为无人机集群协同感知的自适应数据处理方法流程图。
图3为基于无人机集群协同感知的通信带宽自适应数据处理流程图。
具体实施方式
首先，本发明中涉及的技术术语解释如下：
边缘节点：无人机集群系统中的边缘节点是距离集群中各无人机节点信息传输较近的计算能力强的信息处理与分发平台，在形式上可以是集群内某一功能较强的无人机或者是某个地面处理单元，通过网络与无人机集群互联互通。
多视角的图像融合：在网络资源比较充足，信道带宽满足传输大量高清图像的情形下，边缘节点采用的信息数据融合方式。该方法主要是将多角度下不同目标中的部件信息和类别信息相结合，更好地表示目标，从而保证目标识别的一致性，继而通过不同角度中目标类别中的互补信息进行融合，提高目标识别率。
轮廓图像融合：在网络资源受限，信道带宽主要用于传输目标轮廓图的情形下，边缘节点采用的信息数据融合方式。该方法主要建立不同角度下，目标轮廓之间的线性依赖关系，该依赖关系融合了不同角度下轮廓的互补信息，从而能够更准确地从目标层面区分轮廓的类别。
图像融合可视化：将无人机集群内的多个无人机拍摄的高清图进行融合，然后产生视角丰富，细节完善，更为高清的图像作为可视化工具进行呈现。
本发明基于无人机集群协同感知的通信带宽自适应数据处理方法，无人机集群内各无人机根据信道的情况，由边缘节点统计并划分多种不同的信道带宽条件，每个无人机平台对应一种信道带宽条件，选择对应的信息处理方式完成信息处理，将处理后的信息发送到边缘节点完成信息融合，再将融合后的信息在网内共享。
进一步地，划分的信道带宽条件包括5种，每个无人机平台对应一种信道带宽条件，选择对应的信息处理方式完成信息处理，具体如下：
第一种信道带宽条件为C1，在此条件下所有的无人机节点都可传输连续高清图，此时在所有无人机上运行高清图像处理算法和目标检测识别算法，获取每个无人机目标识别的置信度以及目标类别这些信息；
第二种信道带宽条件为C2，在此条件下部分无人机节点可传输高清图，其它无人机节点则传输轮廓图，此时边缘节点决定如何分配无人机所获取的通信资源；
第三种信道带宽条件为C3，在此条件下所有的无人机节点都可传输轮廓图，则在所有无人机上运行图像区域分割算法，获取目标轮廓图，再获取每个无人机目标识别的置信度；
第四种信道带宽条件为C4，在此条件下部分无人机节点可传输轮廓图，其它无人机节点传输结构化数据，此时边缘节点决定如何分配无人机所获取的通信资源；
第五种信道带宽条件为C5，在此条件下所有的无人机节点只可传输目标对应的结构化数据，则首先在所有无人机上运行目标检测识别算法，获取每个无人机目标识别的置信度。
进一步地，时变无线网络条件下的信道带宽条件判定，具体如下：
设无人机xi传输的每帧图像数据量为si、每秒传输的帧数t，其中无人机传输数据大小si分为三类，分别是传输高分辨率图所需平均带宽
Figure BDA0002828802850000041
传输轮廓图所需平均带宽
Figure BDA0002828802850000042
和传输结构化数据所需带宽
Figure BDA0002828802850000043
即
Figure BDA0002828802850000044
此外，设每个无人机因多跳产生的额外带宽为
Figure BDA0002828802850000045
如果当前每个无人机的平均带宽为τavg，则该任务组的总带宽为
Figure BDA0002828802850000046
M个无人机组成一个任务组即无人机集群，基于总带宽
Figure BDA0002828802850000047
以及每个无人机传输所需带宽
Figure BDA0002828802850000048
形成5种信道带宽条件：
a)C1：
Figure BDA0002828802850000049
集群内所有无人机可传输高清图；
b)C2：
Figure BDA00028288028500000410
集群内无人机可传输高清图或轮廓图；
(c)C3：
Figure BDA0002828802850000051
集群内无人机均可传输轮廓图；
(d)C4：
Figure BDA0002828802850000052
集群内无人机传输轮廓图或结构化数据；
(e)C5：
Figure BDA0002828802850000053
集群内所有无人机传输结构化数据。
进一步地，所述第一种信道带宽条件为C1，在此条件下所有的无人机节点都可传输连续高清图，此时在所有无人机上运行高清图像处理算法和目标检测识别算法，获取每个无人机目标识别的置信度以及目标类别这些信息，同时在无人机集群内设置边缘节点，边缘节点用于接收集群内各无人机传输的高清图并完成图像融合工作，具体如下：
步骤2.1：若无人机对目标识别的置信度均低于阈值τ，则停止无人机的信息传输，并调度所有无人机节点的目标识别算法正常运行，进一步进行目标搜索；
步骤2.2：若不少于一个无人机对目标识别的置信度高于阈值τ，则找到所有高于阈值τ的无人机节点，依次减少这些无人机节点的通信带宽，减少比例为μln(τ′-τ)，其中τ′为这些无人机各自的当前置信度且τ′大于τ，μ为比例系数且提前预置；其它置信度低于阈值τ的无人机增加通信带宽，增加比例根据置信度高于阈值τ的无人机减少的总带宽进行平均分配；无人机将传感器获取的高清图，连同对目标识别产生的目标类别、置信度这些信息传输到无人机集群内的边缘节点；若传输时超过50％无人机传输时延大于可容忍阈值v，则跳转到步骤2.3，实施网络调整；否则判断具体哪几个无人机传输时延大于可容忍阈值v，放弃这些无人机的传输，跳转到步骤2.4；如果都小于可容忍阈值v，则跳转到步骤2.4；
步骤2.3：判断此时是否网络总带宽发生变化，是则跳转到步骤2.1，按当前总带宽平均分配各无人机通信带宽后重新进行目标识别；否则询问网络层是否能够实施局部网络优化，如果反馈是，则在完成局部网络优化后，跳转到步骤2.2，重新调整网络带宽；如果反馈否，则放弃所有传输时延大于可容忍阈值v的无人机的数据传输，直接执行步骤2.4；
步骤2.4：此时信道带宽允许传输高清图，选择设定的编码方式调整参数，将高清图的大小调整到信道容忍的最大范围内进行传输；由于都是高清图，则集群内边缘节点选择多视角的图像融合实现目标融合，同时调用图像可视化算法实现图像融合可视化；
步骤2.5：若集群内边缘节点在目标融合后，目标识别的置信度超过了95％，则完成对目标的识别工作，根据预先加载的指令要求执行其它任务；否则将该无人机的任务转为目标跟踪任务，调用视频目标跟踪算法，传输高清目标跟踪视频。
进一步地，所述第二种信道带宽条件为C2，在此条件下部分无人机节点可传输高清图，其它无人机节点则传输轮廓图，此时边缘节点决定如何分配无人机所获取的通信资源，具体如下：
步骤3.1：无人机集群内的边缘节点采集无人机相关的信息，包括无人机带宽、目标识别产生的信息，对各无人机数据的传输方式进行调整，规定具体无人机是传输高清图还是轮廓图；设定总的传输速率即带宽为
Figure BDA00028288028500000610
集群内无人机的总数量为M个，设可以传输无人机高清图的个数为a个，可以传输轮廓图的无人机个数为M-a个，传输高清图所需平均带宽
Figure BDA0002828802850000061
传输轮廓图所需平均带宽
Figure BDA0002828802850000062
因传输高清图而多跳所产生的额外带宽
Figure BDA0002828802850000063
因传输轮廓图而多跳所产生的额外带宽
Figure BDA0002828802850000064
每秒传输的帧数t以及每个无人机的时延∈，∈i、ωj分别表示第i个传输高清图无人机的时延、第j个传输轮廓图无人机的时延，则传输高清图的无人机个数a的约束条件如下：
Figure BDA0002828802850000065
通过在边缘节点上计算满足上面约束条件的最大a值，则获得可传输高清图的无人机个数a和可传输轮廓图的无人机个数M-a；
步骤3.2：设置当前每个无人机xi上图像识别相关的一些参数
Figure BDA0002828802850000066
并给每个参数设定权重值
Figure BDA0002828802850000067
其中
Figure BDA0002828802850000068
K为参数个数，其中参数包括无人机xi的平均目标识别置信度、无人机xi的当前电池负荷百分比、无人机xi识别的目标个数、无人机xi离识别目标的实际平均距离、无人机识别目标的平均重要程度、无人机与边缘节点之间传输高清/轮廓图片传输所需流量，集群内每个无人机的相关参数均由边缘节点计算、而参数权重离线设定，最后计算每个无人机xi的排序值ri：
Figure BDA0002828802850000069
根据排序值ri对所有M个无人机按从大到小进行排序，选取前a个ri值对应的无人机作为传输高清图的无人机，剩下的M-a个无人机作为传输轮廓图的无人机。
进一步地，所述第三种信道带宽条件为C3，在此条件下所有的无人机节点都可传输轮廓图，则在所有无人机上运行图像区域分割算法，获取目标轮廓图，再获取每个无人机目标识别的置信度,具体如下：
步骤4.1：若无人机对目标识别的置信度均低于阈值τ，则停止无人机的信息传输，并调度所有无人机节点的图像区域分割算法正常运行，进一步进行目标搜索；图像区域分割算法同样产生目标识别结果；
步骤4.2：若不少于一个无人机对目标识别后的置信度高于阈值τ，则找到所有高于阈值τ的无人机节点，依次减少这些无人机节点的通信带宽，减少比例为μln(τ′-τ)，其中τ′为这些无人机各自的当前置信度且τ′大于τ，μ为比例系数且可提前预置；其它置信度低于阈值τ的无人机增加通信带宽，增加比例根据置信度高于阈值τ的无人机减少的总带宽进行平均分配；无人机将传感器获取并采用区域分割算法生成的轮廓图以及产生的目标类别、置信度这些识别信息传输到无人机集群内的边缘节点；若传输时超过50％无人机传输时延大于可容忍阈值v，则跳转到步骤4.3，实施网络调整；否则判断具体哪几个无人机传输时延大于可容忍阈值v，放弃这几个无人机的传输，跳转到步骤4.4；如果都小于可容忍阈值v，则跳转到步骤4.4；
步骤4.3：判断此时是否网络总带宽发生变化，是则跳转到步骤4.1，按当前总带宽平均分配各无人机通信带宽后重新进行目标识别；否则询问网络层是否能够实施局部网络优化，如果反馈是，则在完成局部网络优化后，跳转到步骤4.2，重新调整网络带宽；如果反馈否，则放弃所有传输时延大于可容忍阈值v的无人机的数据传输，直接执行步骤4.4；
步骤4.4：由于都是轮廓图像，则集群内的边缘节点选择多视角的图像融合实现目标融合，同时调用图像可视化算法实现图像融合可视化；边缘节点同时负责集群内无人机带宽调整和节点信息融合；
步骤4.5：若目标识别的置信度超过95％，完成对目标的识别工作，根据预先加载的指令要求执行其它任务；否则将该无人机的任务转为目标跟踪任务，调用视频目标跟踪算法，传输轮廓跟踪视频。
进一步地，所述第四种信道带宽条件为C4，在此条件下部分无人机节点可传输轮廓图，其它无人机节点传输结构化数据，此时边缘节点决定如何分配无人机所获取的通信资源，具体如下：
步骤5.1：无人机集群内的边缘节点采集无人机相关的信息，包括无人机带宽、目标识别产生的信息，对各无人机数据的传输方式进行调整，规定具体无人机是传输轮廓图还是结构化数据；设定总的传输速率即带宽为
Figure BDA0002828802850000071
集群内无人机的总数量为M个，设可以传输轮廓图的无人机个数为a个，可以传输结构化数据的无人机个数为M-a个，传输轮廓图所需平均带宽
Figure BDA0002828802850000081
传输结构化数据所需平均带宽
Figure BDA0002828802850000082
因传输轮廓图而多跳所产生的额外带宽
Figure BDA0002828802850000083
因传输结构化数据而多跳所产生的额外带宽
Figure BDA0002828802850000084
每秒传输的帧数t以及每个无人机的时延∈，∈i、∈j分别表示第i个传输轮廓图无人机的时延、第j个传输结构化数据无人机的时延，则传输轮廓图的无人机个数a的约束条件如下：
Figure BDA0002828802850000085
通过在边缘节点上计算满足上面约束条件的最大a值，则获得有可传输轮廓图的无人机个数a和可传输结构化数据的无人机个数M-a；
步骤5.2：设置当前每个无人机xi上图像识别相关的一些参数
Figure BDA0002828802850000086
并给每个参数一定的权重值
Figure BDA0002828802850000087
其中
Figure BDA0002828802850000088
K为参数个数，具体的参数包括无人机xi的平均轮廓识别置信度、无人机xi的当前电池负荷百分比、无人机xi识别的目标个数、无人机xi离识别目标的实际平均距离、无人机识别目标的平均重要程度、无人机与边缘节点之间传输轮廓图片/结构化数据传输所需流量，将无人机上相关参数传输到边缘节点，由边缘节点进行计算，而参数权重离线设定，最后计算每个无人机xi的排序值ri：
Figure BDA0002828802850000089
根据排序值ri对所有M个无人机按从大到小进行排序，选取前a个ri值对应的无人机作为传输轮廓图的无人机，剩下的M-a个作为传输结构化数据的无人机。
进一步地，所述第五种信道带宽条件为C5，在此条件下所有的无人机节点只可传输目标对应的结构化数据，则首先在所有无人机上运行目标检测识别算法，获取每个无人机目标识别的置信度，具体如下：
步骤6.1：若无人机对目标识别的置信度均低于阈值τ，则停止无人机的信息传输，并调度所有无人机节点的目标(检测)识别算法正常运行，进一步进行目标搜索；
步骤6.2：若不少于一个无人机对目标识别的置信度高于阈值τ，则找到所有高于阈值τ的无人机节点，依次减少这些无人机节点的通信带宽，减少比例为μln(τ′-τ)，其中τ′为这些无人机各自的当前置信度且τ′大于τ，μ为比例系数可提前预置；其它置信度低于阈值τ的无人机增加通信带宽，增加比例根据置信度高于阈值τ的无人机减少的总带宽进行平均分配，并将无人机传感器获取的结构化数据，连同对目标识别产生的目标类别、置信度这些信息传输到无人机集群内的边缘节点；若传输时超过50％无人机传输时延大于可容忍阈值v，则跳转到步骤6.3，实施网络调整；否则判断具体哪几个无人机传输时延大于可容忍阈值v，放弃这些无人机的传输，跳转到步骤6.4；如果都小于可容忍阈值v，则跳转到步骤6.4；
步骤6.3：判断此时是否网络总带宽发生变化，是则跳转到步骤6.1，按当前总带宽平均分配各无人机通信带宽后重新进行目标识别；否则询问网络层是否能够实施局部网络优化，如果反馈是，则在完成局部网络优化后，跳转到步骤6.2，重新调整网络带宽；如果反馈否，则放弃所有传输时延大于可容忍阈值v的无人机的数据传输，直接执行步骤6.4；
步骤6.4：由于都是目标的结构化数据，则集群内的边缘节点选择多视角的结构化数据融合实现目标融合，集群内的边缘节点同时负责集群内无人机带宽调整和节点信息融合；
步骤6.5：如果目标识别的置信度超过95％，完成对目标的识别工作，根据预先加载的指令要求执行其它任务；否则将该无人机的任务转为目标跟踪任务，将跟踪结果封装为结构化数据进行回传。
下面结合附图及具体实施例对本发明做进一步详细说明。
实施例
采用本发明所描述的方案，无人机集群内各无人机根据信道的情况，由边缘节点统计并划分5种不同的信道带宽条件，每个无人机平台对应这5种信道带宽条件，选择不同的信息处理方式(算法)，在本地完成信息处理，自适应的适配信道的变化，将处理后的信息发送到边缘节点完成信息融合，再将融合后的信息在网内共享。以上过程如图2所示。本实施例给出了在不同信道带宽条件下的数据处理决策，流程如图3所示。
(一)时变无线网络条件下的信道带宽条件判定
1)设置不同阈值满足动态资源分配任务
设无人机xi传输的每帧图像数据量为si、每秒传输的帧数t，其中无人机传输数据大小si分为三类，分别是传输高分辨率图所需平均带宽
Figure BDA0002828802850000091
传输轮廓图所需平均带宽
Figure BDA0002828802850000092
和传输结构化数据所需带宽
Figure BDA0002828802850000093
即
Figure BDA0002828802850000094
此外，设每个无人机因多跳产生的额外带宽为
Figure BDA0002828802850000095
如果当前每个无人机的平均带宽为τavg，M个无人机组成一个任务组(无人机集群)，则该任务组的总带宽为
Figure BDA0002828802850000101
基于总带宽
Figure BDA0002828802850000102
以及每个无人机传输所需带宽
Figure BDA0002828802850000103
形成5种信道带宽条件：
C1：
Figure BDA0002828802850000104
集群内所有无人机可传输高清图；
C2：
Figure BDA0002828802850000105
集群内无人机可传输高清图或轮廓图；
C3：
Figure BDA0002828802850000106
集群内无人机均可传输轮廓图；
C4：
Figure BDA0002828802850000107
集群内无人机传输轮廓图或结构化数据；
C5：
Figure BDA0002828802850000108
集群内所有无人机传输结构化数据。
(二)通信条件下的自适应资源分配决策
步骤1：根据当前带宽资源分配和数据处理决策，执行具体步骤，如表1所示。
表1带宽资源分配和数据处理决策执行步骤
Figure BDA0002828802850000109
表1中可传输的图片形式是由具体的图像算法产生的，图片产生的算法如表2所示。
表2可传输的图片形式对应可采用的图像识别算法
Figure BDA00028288028500001010
步骤2(信道带宽条件C1)：
所有的无人机节点都可传输连续高清图，此时在所有无人机上运行目标(检测)识别算法，获取每个无人机目标识别的置信度：
步骤2.1：若无人机对目标识别的置信度均低于阈值τ，则停止无人机的信息传输，并调度所有无人机节点的目标识别算法正常运行，进一步进行目标搜索；
步骤2.2：若不少于一个无人机对目标识别的置信度高于阈值τ，则找到所有高于阈值τ的无人机节点，依次减少这些无人机节点的通信带宽，减少比例为μln(τ′-τ)，(其中τ′为这些无人机各自的当前置信度且τ′大于τ，μ为比例系数可提前预置)；其它无人机(置信度低于阈值τ)增加通信带宽(增加比例根据置信度高于阈值τ的无人机减少的总带宽进行平均分配)，并将无人机传感器获取的高清图，连同对目标识别产生的信息(类别、置信度等)传输到无人机集群内的边缘节点；若传输时超过50％无人机传输时延大于可容忍阈值v，则跳转到步骤2.3，实施网络调整；否则判断具体哪几个无人机传输时延大于可容忍阈值v，放弃这些无人机的传输，跳转到步骤2.4；如果都小于可容忍阈值v，则跳转到步骤2.4；
步骤2.3：判断此时是否网络总带宽发生变化，是则跳转到步骤2.1，按当前总带宽平均分配各无人机通信带宽后重新进行目标识别；否则询问网络层是否能够实施局部网络优化，如果反馈是，则在完成局部网络优化后，跳转到步骤2.2，重新调整网络带宽；如果反馈否，则放弃所有传输时延大于可容忍阈值v的无人机的数据传输，直接执行步骤2.4；
步骤2.4：此时信道带宽允许传输高清图，选择设定的编码方式调整参数，将高清图的大小调整到信道容忍的最大范围内进行传输；由于都是高清图，则集群内边缘节点选择多视角的图像融合实现目标融合，同时调用图像可视化算法实现图像融合可视化；
步骤2.5：若集群内边缘节点在目标融合后，目标识别的置信度超过了95％，则完成对目标的识别工作，根据预先加载的指令要求执行其它任务；否则将该无人机的任务转为目标跟踪任务，调用视频目标跟踪算法，传输高清目标跟踪视频；
步骤3：(信道带宽条件C2)：
在信道带宽资源C2条件下，部分无人机节点可传输高清图，其它无人机节点则传输轮廓图，此时，边缘节点决定如何分配无人机所获取的通信资源。
步骤3.1：无人机集群内的边缘节点采集无人机相关的信息(包括无人机带宽、目标识别产生的信息等)，对各无人机数据的传输方式进行调整，规定具体无人机是传输高清图还是轮廓图。设定总的传输速率(带宽)为
Figure BDA0002828802850000111
集群内无人机的总数量为M个，设可以传输无人机高清识别图的个数为a个，可以传输轮廓识别图的无人机个数为M-a个，传输高分辨率图所需平均带宽
Figure BDA0002828802850000112
传输轮廓图所需平均带宽
Figure BDA0002828802850000113
因传输高分辨率图而多跳所产生的额外带宽
Figure BDA0002828802850000114
因传输轮廓图而多跳所产生的额外带宽
Figure BDA0002828802850000115
每秒传输的帧数t以及每个无人机的时延∈i，则传输高清目标识别图的无人机个数a的约束条件如下：
Figure BDA0002828802850000121
通过在边缘节点上计算满足上面约束条件的最大a值，则获得有多少个无人机可传输高清目标识别图个数(a个)和轮廓目标图的个数(M-a个)；；
步骤3.2：设置当前每个无人机xi上图像识别相关的一些参数
Figure BDA0002828802850000122
并给每个参数一定的权重值
Figure BDA0002828802850000123
其中
Figure BDA0002828802850000124
K为参数个数，其中参数包括无人机xi的平均目标识别置信度、无人机xi的当前电池负荷百分比、无人机xi识别的目标个数、无人机xi离识别目标的实际平均距离、无人机识别目标的平均重要程度、无人机与边缘节点之间传输高清/轮廓图片传输所需流量等，集群内每个无人机的相关参数均由边缘节点计算、而参数权重可离线设定，最后可计算每个无人机xi的排序值ri：
Figure BDA0002828802850000125
根据排序值ri对所有无人机(M个)按从大到小进行排序，选取前a个ri值对应的无人机作为传输高清目标识别图的无人机，剩下的无人机(M-a个)作为传输轮廓目标识别图的无人机。
步骤4：(信道带宽条件C3)：
在通信条件情况C3，所有的无人机节点都可传输轮廓图，则在所有无人机上运行图像区域分割算法，获取目标轮廓图，再获取每个无人机目标识别的置信度。步骤如下：
步骤4.1：若无人机对目标识别(区域分割算法同样产生目标识别结果)的置信度均低于阈值τ，则停止无人机的信息传输，并调度所有无人机节点的图像区域分割算法正常运行，进一步进行目标搜索；
步骤4.2：若不少于一个无人机对目标识别后的置信度高于阈值τ，则找到所有高于阈值τ的无人机节点，依次减少这些无人机节点的通信带宽，减少比例为μln(τ′-τ)，(其中τ′为这些无人机各自的当前置信度且τ′大于τ，μ为比例系数可提前预置)；其它无人机(置信度低于阈值τ)增加通信带宽(增加比例根据置信度高于阈值τ的无人机减少的总带宽进行平均分配)，无人机传感器获取并采用区域分割算法生成的轮廓图以及产生的识别信息(类别、置信度等)传输到无人机集群内的边缘节点；若传输时超过50％无人机传输时延大于可容忍阈值v，则跳转到步骤4.3，实施网络调整；否则判断具体哪几个无人机传输时延大于可容忍阈值v，放弃这几个无人机的传输，跳转到步骤4.4；如果都小于可容忍阈值v，则跳转到步骤4.4；
步骤4.3：判断此时是否网络总带宽发生变化，是则跳转到步骤4.1，按当前总带宽平均分配各无人机通信带宽后重新进行目标识别；否则询问网络层是否能够实施局部网络优化，如果反馈是，则在完成局部网络优化后，跳转到步骤4.2，重新调整网络带宽；如果反馈否，则则放弃所有传输时延大于可容忍阈值v的无人机的数据传输，直接执行步骤4.4。
步骤4.4：由于都是轮廓图像，则集群内的边缘节点(同时负责集群内无人机带宽调整和节点信息融合)选择多视角的图像融合实现目标融合以提高图像目标识别的准确性，同时调用图像可视化算法实现图像融合可视化；
步骤4.5：若目标识别的置信度超过95％，完成对目标的识别工作，根据预先加载的指令要求执行其它任务；否则将该无人机的任务转为目标跟踪任务，调用视频目标跟踪算法，传输轮廓跟踪视频。
步骤5：(信道带宽条件C4)：
在通信条件情况C4，则部分无人机节点可传输轮廓图，其它无人机节点传输结构化数据，边缘节点决定如何分配无人机所获取的通信资源。
步骤5.1：无人机集群内的边缘节点采集无人机相关的信息(包括无人机带宽、目标识别产生的信息等)，对各无人机数据的传输方式进行调整，规定具体无人机是传输轮廓图还是结构化数据。设定总的传输速率(带宽)为
Figure BDA0002828802850000131
集群内无人机的总数量为M个，设可以传输无人机轮廓图识别的个数为a个，可以传输结构化数据的无人机个数为M-a个，传输轮廓图所需平均带宽
Figure BDA0002828802850000132
传输结构化数据所需平均带宽
Figure BDA0002828802850000133
因传输轮廓图而多跳所产生的额外带宽
Figure BDA0002828802850000134
因传输结构化数据而多跳所产生的额外带宽
Figure BDA0002828802850000135
每秒传输的帧数t以及每个无人机的时延∈i，则传输轮廓图的无人机个数a的约束条件如下：
Figure BDA0002828802850000136
通过在边缘节点上计算满足上面约束条件的最大a值，则获得有多少个无人机可传输轮廓图(a个)和结构化数据的个数(M-a个)；
步骤5.2：设置当前每个无人机xi上图像识别相关的一些参数
Figure BDA0002828802850000137
并给每个参数一定的权重值
Figure BDA0002828802850000138
其中
Figure BDA0002828802850000139
K为参数个数，具体的参数包括无人机xi的平均轮廓识别置信度、无人机xi的当前电池负荷百分比、无人机xi识别的目标个数、无人机xi离识别目标的实际平均距离、无人机识别目标的平均重要程度、无人机与边缘节点之间传输轮廓图片传输所需流量等，将无人机上相关参数传输到边缘节点，由边缘节点进行计算，而参数权重可离线设定，最后计算每个无人机xi的排序值ri：
Figure BDA0002828802850000141
根据排序值ri对所有无人机(M个)按从大到小进行排序，选取前a个ri值对应的无人机作为传输轮廓图的无人机，剩下的(M-a个)作为传输结构化数据(仅目标识别的相关信息)的无人机。
步骤6：(信道带宽条件C5))：
在通信条件情况C5，则原则上所有的无人机节点只可传输目标对应的结构化数据，则首先在所有无人机上运行目标(检测)识别算法，获取每个无人机目标识别的置信度。
步骤6.1：若无人机对目标识别的置信度均低于阈值τ，则停止无人机的信息传输，并调度所有无人机节点的目标识别算法正常运行，进一步进行目标搜索；
步骤6.2：若不少于一个无人机对目标识别的置信度高于阈值τ，则找到所有高于阈值τ的无人机节点，依次减少这些无人机节点的通信带宽，减少比例为μln(τ′-τ)，(其中τ′为这些无人机各自的当前置信度且τ′大于τ，μ为比例系数可提前预置)；其它无人机(置信度低于阈值τ)增加通信带宽(增加比例根据置信度高于阈值τ的无人机减少的总带宽进行平均分配)，并将无人机传感器获取的结构化数据，连同对目标识别产生的信息(类别、置信度等)传输到无人机集群内的边缘节点；若传输时超过50％无人机传输时延大于可容忍阈值v，则跳转到步骤6.3，实施网络调整；否则判断具体哪几个无人机传输时延大于可容忍阈值v，放弃这些无人机的传输，跳转到步骤6.4；如果都小于可容忍阈值v，则跳转到步骤6.4；
步骤6.3：判断此时是否网络总带宽发生变化，是则跳转到步骤6.1，按当前总带宽平均分配各无人机通信带宽后重新进行目标识别；否则询问网络层是否能够实施局部网络优化，如果反馈是，则在完成局部网络优化后，跳转到步骤6.2，重新调整网络带宽；如果反馈否，则放弃所有传输时延大于可容忍阈值v的无人机的数据传输，直接执行步骤6.4；
步骤6.4：由于都是目标的结构化数据，则集群内的边缘节点(同时负责集群内无人机带宽调整和节点信息融合)选择多视角的结构化数据融合实现目标融合以提高图像目标识别的准确性；
步骤6.5：如果目标识别的置信度超过95％，完成对目标的识别工作，根据预先加载的指令要求执行其它任务；否则将该无人机的任务转为目标跟踪任务，将跟踪结果封装为结构化数据进行回传。
本发明的关键点和欲保护点是：
①时变无线网络下基于阈值决策的信道带宽条件判定方法
根据无人集群内各无人机传输的每帧图像数据量等信息，采用阈值决策方式，对带宽进行定制分配策略，以五种不同的模式进行信息处理决策划分，适配不同的处理策略。
②多种信道条件下数据处理策略
根据信道的不同，本发明能够将合理的在不同信道条件下采用不同的信息处理策略，或是在本地进行数据处理完成识别、检测与跟踪，或者是将处理后的部分信息发送到边缘节点进行处理，具有极大的弹性，提高了传感器采集数据的处理效率。
③基于权重决策的节点信息处理选择
在特定信道条件下，采用阈值权重决策的方式选择不同的无人机节点采用的传感器数据处理方式，在边缘节点采用异构图像融合方式，同时提高信道带宽利用率。
本发明在无人系统网络仿真及半实物系统模拟演示验证系统中设计使用，使得无人机集群中的各个无人机能够在时变无线网络下，根据信道特点，合理分配带宽资源，并根据带宽情况在选择合理的信息数据处理方式，完成对传感器获取视频图像的检测、识别、跟踪，并将结果在无人机集群内共享；每个无人机都能利用其它无人机获取的检测、识别、跟踪信息对自身传感器信息的融合补充，提高了集群整体的目标检测、识别、跟踪水平。

Claims (6)

1.一种基于无人机集群协同感知的通信带宽自适应数据处理方法，其特征在于，无人机集群内各无人机根据信道的情况，由边缘节点统计并划分多种不同的信道带宽条件，每个无人机平台对应一种信道带宽条件，选择对应的信息处理方式完成信息处理，将处理后的信息发送到边缘节点完成信息融合，再将融合后的信息在网内共享；
边缘节点是指：无人机集群系统中的边缘节点是距离集群中各无人机节点信息传输较近的计算能力强的信息处理与分发平台，在形式上是集群内某一功能较强的无人机或者是某个地面处理单元，通过网络与无人机集群互联互通；
划分的信道带宽条件包括5种，每个无人机平台对应一种信道带宽条件，选择对应的信息处理方式完成信息处理，具体如下：
第一种信道带宽条件为C1，在此条件下所有的无人机节点都可传输连续高清图，此时在所有无人机上运行高清图像处理算法和目标检测识别算法，获取每个无人机目标识别的置信度以及目标类别这些信息；
第二种信道带宽条件为C2，在此条件下部分无人机节点可传输高清图，其它无人机节点则传输轮廓图，此时边缘节点决定如何分配无人机所获取的通信资源；
第三种信道带宽条件为C3，在此条件下所有的无人机节点都可传输轮廓图，则在所有无人机上运行图像区域分割算法，获取目标轮廓图，再获取每个无人机目标识别的置信度；
第四种信道带宽条件为C4，在此条件下部分无人机节点可传输轮廓图，其它无人机节点传输结构化数据，此时边缘节点决定如何分配无人机所获取的通信资源；
第五种信道带宽条件为C5，在此条件下所有的无人机节点只可传输目标对应的结构化数据，则首先在所有无人机上运行目标检测识别算法，获取每个无人机目标识别的置信度；
时变无线网络条件下的信道带宽条件判定，具体如下：
设无人机xi传输的每帧图像数据量为si、每秒传输的帧数t，其中无人机传输数据大小si分为三类，分别是传输高分辨率图所需平均带宽
Figure FDA0003765342350000011
传输轮廓图所需平均带宽
Figure FDA0003765342350000012
和传输结构化数据所需带宽
Figure FDA0003765342350000013
即
Figure FDA0003765342350000014
此外，设每个无人机因多跳产生的额外带宽为
Figure FDA0003765342350000015
如果当前每个无人机的平均带宽为τavg，则任务组的总带宽为
Figure FDA0003765342350000016
M个无人机组成一个任务组即无人机集群，基于总带宽
Figure FDA0003765342350000021
以及每个无人机传输所需带宽
Figure FDA0003765342350000022
形成5种信道带宽条件：
(a)C1：
Figure FDA0003765342350000023
集群内所有无人机可传输高清图；
(b)C2：
Figure FDA0003765342350000024
集群内无人机可传输高清图或轮廓图；
(c)C3：
Figure FDA0003765342350000025
集群内无人机均可传输轮廓图；
(d)C4：
Figure FDA0003765342350000026
集群内无人机传输轮廓图或结构化数据；
(e)C5：
Figure FDA0003765342350000027
集群内所有无人机传输结构化数据。
2.根据权利要求1所述的基于无人机集群协同感知的通信带宽自适应数据处理方法，其特征在于，所述第一种信道带宽条件为C1，在此条件下所有的无人机节点都可传输连续高清图，此时在所有无人机上运行高清图像处理算法和目标检测识别算法，获取每个无人机目标识别的置信度以及目标类别这些信息，同时在无人机集群内设置边缘节点，边缘节点用于接收集群内各无人机传输的高清图并完成图像融合工作，具体如下：
步骤2.1：若无人机对目标识别的置信度均低于阈值τ，则停止无人机的信息传输，并调度所有无人机节点的目标识别算法正常运行，进一步进行目标搜索；
步骤2.2：若不少于一个无人机对目标识别的置信度高于阈值τ，则找到所有高于阈值τ的无人机节点，依次减少这些无人机节点的通信带宽，减少比例为μln(τ′-τ)，其中τ′为这些无人机各自的当前置信度且τ′大于τ，μ为比例系数且提前预置；其它置信度低于阈值τ的无人机增加通信带宽，增加比例根据置信度高于阈值τ的无人机减少的总带宽进行平均分配；无人机将传感器获取的高清图，连同对目标识别产生的目标类别、置信度这些信息传输到无人机集群内的边缘节点；若传输时超过50％无人机传输时延大于可容忍阈值v，则跳转到步骤2.3，实施网络调整；否则判断具体哪几个无人机传输时延大于可容忍阈值v，放弃这些无人机的传输，跳转到步骤2.4；如果都小于可容忍阈值v，则跳转到步骤2.4；
步骤2.3：判断此时是否网络总带宽发生变化，是则跳转到步骤2.1，按当前总带宽平均分配各无人机通信带宽后重新进行目标识别；否则询问网络层是否能够实施局部网络优化，如果反馈是，则在完成局部网络优化后，跳转到步骤2.2，重新调整网络带宽；如果反馈否，则放弃所有传输时延大于可容忍阈值v的无人机的数据传输，直接执行步骤2.4；
步骤2.4：此时信道带宽允许传输高清图，选择设定的编码方式调整参数，将高清图的大小调整到信道容忍的最大范围内进行传输；由于都是高清图，则集群内边缘节点选择多视角的图像融合实现目标融合，同时调用图像可视化算法实现图像融合可视化；
步骤2.5：若集群内边缘节点在目标融合后，目标识别的置信度超过了95％，则完成对目标的识别工作，根据预先加载的指令要求执行其它任务；否则将无人机的任务转为目标跟踪任务，调用视频目标跟踪算法，传输高清目标跟踪视频。
3.根据权利要求1所述的基于无人机集群协同感知的通信带宽自适应数据处理方法，其特征在于，所述第二种信道带宽条件为C2，在此条件下部分无人机节点可传输高清图，其它无人机节点则传输轮廓图，此时边缘节点决定如何分配无人机所获取的通信资源，具体如下：
步骤3.1：无人机集群内的边缘节点采集无人机相关的信息，包括无人机带宽、目标识别产生的信息，对各无人机数据的传输方式进行调整，规定具体无人机是传输高清图还是轮廓图；设定总的传输速率即带宽为
Figure FDA0003765342350000031
集群内无人机的总数量为M个，设可以传输无人机高清图的个数为a个，可以传输轮廓图的无人机个数为M-a个，传输高清图所需平均带宽
Figure FDA0003765342350000032
传输轮廓图所需平均带宽
Figure FDA0003765342350000033
因传输高清图而多跳所产生的额外带宽
Figure FDA0003765342350000034
因传输轮廓图而多跳所产生的额外带宽
Figure FDA0003765342350000035
每秒传输的帧数t以及每个无人机的时延∈，∈i、∈j分别表示第i个传输高清图无人机的时延、第j个传输轮廓图无人机的时延，则传输高清图的无人机个数a的约束条件如下：
Figure FDA0003765342350000036
通过在边缘节点上计算满足上面约束条件的最大a值，则获得可传输高清图的无人机个数a和可传输轮廓图的无人机个数M-a；
步骤3.2：设置当前每个无人机xi上图像识别相关的一些参数
Figure FDA0003765342350000037
并给每个参数设定权重值
Figure FDA0003765342350000038
其中
Figure FDA0003765342350000039
K为参数个数，其中参数包括无人机xi的平均目标识别置信度、无人机xi的当前电池负荷百分比、无人机xi识别的目标个数、无人机xi离识别目标的实际平均距离、无人机识别目标的平均重要程度、无人机与边缘节点之间传输高清/轮廓图片传输所需流量，集群内每个无人机的相关参数均由边缘节点计算、而参数权重离线设定，最后计算每个无人机xi的排序值ri：
Figure FDA0003765342350000041
根据排序值ri对所有M个无人机按从大到小进行排序，选取前a个ri值对应的无人机作为传输高清图的无人机，剩下的M-a个无人机作为传输轮廓图的无人机。
4.根据权利要求1所述的基于无人机集群协同感知的通信带宽自适应数据处理方法，其特征在于，所述第三种信道带宽条件为C3，在此条件下所有的无人机节点都可传输轮廓图，则在所有无人机上运行图像区域分割算法，获取目标轮廓图，再获取每个无人机目标识别的置信度，具体如下：
步骤4.1：若无人机对目标识别的置信度均低于阈值τ，则停止无人机的信息传输，并调度所有无人机节点的图像区域分割算法正常运行，进一步进行目标搜索；图像区域分割算法同样产生目标识别结果；
步骤4.2：若不少于一个无人机对目标识别后的置信度高于阈值τ，则找到所有高于阈值τ的无人机节点，依次减少这些无人机节点的通信带宽，减少比例为μln(τ′-τ)，其中τ′为这些无人机各自的当前置信度且τ′大于τ，μ为比例系数且可提前预置；其它置信度低于阈值τ的无人机增加通信带宽，增加比例根据置信度高于阈值τ的无人机减少的总带宽进行平均分配；无人机将传感器获取并采用区域分割算法生成的轮廓图以及产生的目标类别、置信度这些识别信息传输到无人机集群内的边缘节点；若传输时超过50％无人机传输时延大于可容忍阈值v，则跳转到步骤4.3，实施网络调整；否则判断具体哪几个无人机传输时延大于可容忍阈值v，放弃这几个无人机的传输，跳转到步骤4.4；如果都小于可容忍阈值v，则跳转到步骤4.4；
步骤4.3：判断此时是否网络总带宽发生变化，是则跳转到步骤4.1，按当前总带宽平均分配各无人机通信带宽后重新进行目标识别；否则询问网络层是否能够实施局部网络优化，如果反馈是，则在完成局部网络优化后，跳转到步骤4.2，重新调整网络带宽；如果反馈否，则放弃所有传输时延大于可容忍阈值v的无人机的数据传输，直接执行步骤4.4；
步骤4.4：由于都是轮廓图像，则集群内的边缘节点选择多视角的图像融合实现目标融合，同时调用图像可视化算法实现图像融合可视化；边缘节点同时负责集群内无人机带宽调整和节点信息融合；
步骤4.5：若目标识别的置信度超过95％，完成对目标的识别工作，根据预先加载的指令要求执行其它任务；否则将无人机的任务转为目标跟踪任务，调用视频目标跟踪算法，传输轮廓跟踪视频。
5.根据权利要求1所述的基于无人机集群协同感知的通信带宽自适应数据处理方法，其特征在于，所述第四种信道带宽条件为C4，在此条件下部分无人机节点可传输轮廓图，其它无人机节点传输结构化数据，此时边缘节点决定如何分配无人机所获取的通信资源，具体如下：
步骤5.1：无人机集群内的边缘节点采集无人机相关的信息，包括无人机带宽、目标识别产生的信息，对各无人机数据的传输方式进行调整，规定具体无人机是传输轮廓图还是结构化数据；设定总的传输速率即带宽为
Figure FDA0003765342350000051
集群内无人机的总数量为M个，设可以传输轮廓图的无人机个数为a个，可以传输结构化数据的无人机个数为M-a个，传输轮廓图所需平均带宽
Figure FDA0003765342350000052
传输结构化数据所需平均带宽
Figure FDA0003765342350000053
因传输轮廓图而多跳所产生的额外带宽
Figure FDA0003765342350000054
因传输结构化数据而多跳所产生的额外带宽
Figure FDA0003765342350000055
每秒传输的帧数t以及每个无人机的时延∈，∈i、∈j分别表示第i个传输轮廓图无人机的时延、第j个传输结构化数据无人机的时延，则传输轮廓图的无人机个数a的约束条件如下：
Figure FDA0003765342350000056
通过在边缘节点上计算满足上面约束条件的最大a值，则获得有可传输轮廓图的无人机个数a和可传输结构化数据的无人机个数M-a；
步骤5.2：设置当前每个无人机xi上图像识别相关的一些参数
Figure FDA0003765342350000057
并给每个参数一定的权重值
Figure FDA0003765342350000058
其中
Figure FDA0003765342350000059
K为参数个数，具体的参数包括无人机xi的平均轮廓识别置信度、无人机xi的当前电池负荷百分比、无人机xi识别的目标个数、无人机xi离识别目标的实际平均距离、无人机识别目标的平均重要程度、无人机与边缘节点之间传输轮廓图片/结构化数据传输所需流量，将无人机上相关参数传输到边缘节点，由边缘节点进行计算，而参数权重离线设定，最后计算每个无人机xi的排序值ri：
Figure FDA00037653423500000510
根据排序值ri对所有M个无人机按从大到小进行排序，选取前a个ri值对应的无人机作为传输轮廓图的无人机，剩下的M-a个作为传输结构化数据的无人机。
6.根据权利要求1所述的基于无人机集群协同感知的通信带宽自适应数据处理方法，其特征在于，所述第五种信道带宽条件为C5，在此条件下所有的无人机节点只可传输目标对应的结构化数据，则首先在所有无人机上运行目标检测识别算法，获取每个无人机目标识别的置信度，具体如下：
步骤6.1：若无人机对目标识别的置信度均低于阈值τ，则停止无人机的信息传输，并调度所有无人机节点的目标识别算法正常运行，进一步进行目标搜索；
步骤6.2：若不少于一个无人机对目标识别的置信度高于阈值τ，则找到所有高于阈值τ的无人机节点，依次减少这些无人机节点的通信带宽，减少比例为μln(τ′-τ)，其中τ′为这些无人机各自的当前置信度且τ′大于τ，μ为比例系数可提前预置；其它置信度低于阈值τ的无人机增加通信带宽，增加比例根据置信度高于阈值τ的无人机减少的总带宽进行平均分配，并将无人机传感器获取的结构化数据，连同对目标识别产生的目标类别、置信度这些信息传输到无人机集群内的边缘节点；若传输时超过50％无人机传输时延大于可容忍阈值v，则跳转到步骤6.3，实施网络调整；否则判断具体哪几个无人机传输时延大于可容忍阈值v，放弃这些无人机的传输，跳转到步骤6.4；如果都小于可容忍阈值v，则跳转到步骤6.4；
步骤6.3：判断此时是否网络总带宽发生变化，是则跳转到步骤6.1，按当前总带宽平均分配各无人机通信带宽后重新进行目标识别；否则询问网络层是否能够实施局部网络优化，如果反馈是，则在完成局部网络优化后，跳转到步骤6.2，重新调整网络带宽；如果反馈否，则放弃所有传输时延大于可容忍阈值v的无人机的数据传输，直接执行步骤6.4；
步骤6.4：由于都是目标的结构化数据，则集群内的边缘节点选择多视角的结构化数据融合实现目标融合，集群内的边缘节点同时负责集群内无人机带宽调整和节点信息融合；
步骤6.5：如果目标识别的置信度超过95％，完成对目标的识别工作，根据预先加载的指令要求执行其它任务；否则将无人机的任务转为目标跟踪任务，将跟踪结果封装为结构化数据进行回传。
CN202011436119.5A 2020-12-10 2020-12-10 基于无人机集群协同感知的通信带宽自适应数据处理方法 Active CN112541426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011436119.5A CN112541426B (zh) 2020-12-10 2020-12-10 基于无人机集群协同感知的通信带宽自适应数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011436119.5A CN112541426B (zh) 2020-12-10 2020-12-10 基于无人机集群协同感知的通信带宽自适应数据处理方法

Publications (2)

Publication Number Publication Date
CN112541426A CN112541426A (zh) 2021-03-23
CN112541426B true CN112541426B (zh) 2022-09-30

Family

ID=75019935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011436119.5A Active CN112541426B (zh) 2020-12-10 2020-12-10 基于无人机集群协同感知的通信带宽自适应数据处理方法

Country Status (1)

Country Link
CN (1) CN112541426B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113358100B (zh) * 2021-05-25 2022-07-29 电子科技大学 嵌入式与yolo4改进算法的无人机实时目标识别系统
CN113949826A (zh) * 2021-09-28 2022-01-18 航天时代飞鸿技术有限公司 一种通信带宽有限条件下无人机集群协同侦察方法及系统
CN114499634B (zh) * 2022-01-04 2024-02-09 中国运载火箭技术研究院 基于电磁超表面人造多普勒效应无人集群协同系统及方法
CN115499671B (zh) * 2022-09-20 2024-02-06 上海哔哩哔哩科技有限公司 直播推流服务滚动发布方法及装置
CN115542951B (zh) * 2022-11-28 2023-03-21 北京卓翼智能科技有限公司 基于5g网络的无人机集中管控方法、系统、设备及介质
CN116152687B (zh) * 2023-04-21 2023-07-14 深圳市慧明捷科技有限公司 一种无人机数据采集模块

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393747A (zh) * 2011-08-17 2012-03-28 清华大学 无人机集群的协作交互方法及无人机的可视导航系统
CN104836640A (zh) * 2015-04-07 2015-08-12 西安电子科技大学 一种无人机编队分布式协作通信方法
CN106774429A (zh) * 2016-12-05 2017-05-31 北京邮电大学 一种数据传输方法及系统
CN106774382A (zh) * 2016-11-30 2017-05-31 中国航空工业集团公司沈阳飞机设计研究所 一种多无人机实时态势信息共享系统
CN108923883A (zh) * 2018-06-13 2018-11-30 西北工业大学 一种基于多进制扩频和多载波调制相结合的抗干扰方法
CN110377054A (zh) * 2019-08-13 2019-10-25 西北工业大学 一种基于机载平台的无人机集群控制系统及方法
CN110597294A (zh) * 2019-10-14 2019-12-20 深圳市元征科技股份有限公司 一种无人机及其集群系统
CN111314710A (zh) * 2020-03-24 2020-06-19 西北工业大学 一种无人机机载多传感器多处理器的视频压缩处理方法和装置
CN111491374A (zh) * 2019-01-25 2020-08-04 成都鼎桥通信技术有限公司 频带资源共享方法、装置、电子设备以及存储介质
CN111884829A (zh) * 2020-06-19 2020-11-03 西安电子科技大学 最大化多无人机架构收益的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074252A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393747A (zh) * 2011-08-17 2012-03-28 清华大学 无人机集群的协作交互方法及无人机的可视导航系统
CN104836640A (zh) * 2015-04-07 2015-08-12 西安电子科技大学 一种无人机编队分布式协作通信方法
CN106774382A (zh) * 2016-11-30 2017-05-31 中国航空工业集团公司沈阳飞机设计研究所 一种多无人机实时态势信息共享系统
CN106774429A (zh) * 2016-12-05 2017-05-31 北京邮电大学 一种数据传输方法及系统
CN108923883A (zh) * 2018-06-13 2018-11-30 西北工业大学 一种基于多进制扩频和多载波调制相结合的抗干扰方法
CN111491374A (zh) * 2019-01-25 2020-08-04 成都鼎桥通信技术有限公司 频带资源共享方法、装置、电子设备以及存储介质
CN110377054A (zh) * 2019-08-13 2019-10-25 西北工业大学 一种基于机载平台的无人机集群控制系统及方法
CN110597294A (zh) * 2019-10-14 2019-12-20 深圳市元征科技股份有限公司 一种无人机及其集群系统
CN111314710A (zh) * 2020-03-24 2020-06-19 西北工业大学 一种无人机机载多传感器多处理器的视频压缩处理方法和装置
CN111884829A (zh) * 2020-06-19 2020-11-03 西安电子科技大学 最大化多无人机架构收益的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《A semi-autonomous distributed blockchain-based framework for UAVs system》;Chunpeng Ge；Xinshu Ma；Zhe Liu;《Journal of Systems Architecture》;20200831;全文 *
《无人机信号侦收干扰一体化平台设计与实现无人机信号侦收干扰一体化平台设计与实现》;朱鹏宇;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20191215;全文 *

Also Published As

Publication number Publication date
CN112541426A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN112541426B (zh) 基于无人机集群协同感知的通信带宽自适应数据处理方法
CN108495358B (zh) 一种基于nfv的网络切片选择方法
CN112616126B (zh) 一种基于分布式协作的传感器信息处理方法
CN110928658A (zh) 一种车边云协同架构的协同任务迁移系统及算法
CN110839075A (zh) 边缘计算环境下基于粒子群的服务迁移方法
CN114912532B (zh) 一种自动驾驶汽车多源异构感知数据融合方法
CN110855564B (zh) 路由路径智能选择方法、装置、设备及可读存储介质
CN117062025B (zh) 一种车联网节能联合计算卸载与资源分配方法
CN114356544A (zh) 面向边缘集群的并行计算方法和系统
CN115022834A (zh) 一种远程驾驶车端网络筛选切换方法与系统
de Souza et al. A bee colony-based algorithm for task offloading in vehicular edge computing
Ding et al. Edge-to-cloud intelligent vehicle-infrastructure based on 5G time-sensitive network integration
US12010596B2 (en) Control device configured for and method of determining a data format
CN111645554B (zh) 一种充电管理方法、设备及计算机可读存储介质
An et al. Information-based bit allocation for cooperative visual sensing in vehicular networks
CN111798122B (zh) 一种机器人和无人机协同巡检的资源调度方法及装置
KR102500352B1 (ko) 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법 및 이를 위한 컴퓨터 프로그램
Alwateer et al. A two-layered task servicing model for drone services: Overview and preliminary results
CN115134370A (zh) 一种多无人机辅助的移动边缘计算卸载方法
WO2019031258A1 (ja) 送信端末、送信方法、情報処理端末、および情報処理方法
CN110855507B (zh) 一种基于软件定义的无人驾驶数据网络交互方法
CN113115072A (zh) 一种基于端云协同的视频目标检测跟踪调度方法及系统
CN101997720A (zh) 跨区域监控流量点播的方法及视频管理服务器
CN116301045B (zh) 一种面向时空约束网络的无人机数据采集任务分配方法
CN116866352B (zh) 一种云边协同的智能摄像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant