CN112616126B - 一种基于分布式协作的传感器信息处理方法 - Google Patents

一种基于分布式协作的传感器信息处理方法 Download PDF

Info

Publication number
CN112616126B
CN112616126B CN202011436229.1A CN202011436229A CN112616126B CN 112616126 B CN112616126 B CN 112616126B CN 202011436229 A CN202011436229 A CN 202011436229A CN 112616126 B CN112616126 B CN 112616126B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
cluster
bandwidth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011436229.1A
Other languages
English (en)
Other versions
CN112616126A (zh
Inventor
张周
张圣
秦伟
王彤彤
仲建
谢佳
施俊晖
闫野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center, National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Priority to CN202011436229.1A priority Critical patent/CN112616126B/zh
Publication of CN112616126A publication Critical patent/CN112616126A/zh
Application granted granted Critical
Publication of CN112616126B publication Critical patent/CN112616126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于分布式协作的传感器信息处理方法。该方法为：无人机集群各平台初始化，根据通信的总带宽和不同传感器数据处理占用的带宽，选择集群内各无人机的传感器数据处理方式；集群内的每个无人机均通过状态感知，维护本机的全网各无人机平台状态信息表，计算并排序本机处理的权重，确定不同无人机的数据处理方式；无人机集群中的各无人机将传感器数据处理后发送到边缘节点进行数据融合后，反向传输到集群内各无人机进行共享决策，同时将融合后的数据传输到地面指挥控制中心。本发明的鲁棒性和抗毁性好，信息传输效率高，传感器数据处理方式动态可调，优化了通信带宽和本地平台的计算能力使用效率，同时提高了协同侦查的效率。

Description

一种基于分布式协作的传感器信息处理方法
技术领域
本发明涉及无人机软件信息处理技术领域，特别是一种基于分布式协作的传感器信息处理方法。
背景技术
无人机集群协同工作，对目标进行侦查已经成为当前无人机的重要应用方式之一。通过集群内的协同，可以有效拓展无人机的侦查范围，实现对目标不同距离，不同视角的侦查，无人机间将各自获得的侦查信息进行融合，有效提高了对目标的侦查质量，克服单个无人机或群体无协作情况下无人机的侦查缺陷。
随着机器学习等人工智能技术的飞速发展，单个无人机已经可以在本地实现传感器获取图像的分析处理。当前无人机集群在进行协同侦查时，或者是事先分配好对传感器数据的通信带宽，或者是通过提前的状态感知将本地无人机平台的信道参数发送到边缘节点，由边缘节点设定无人机平台数据发送时的通信带宽分配。集群内每个无人机采用固定或边缘节点分配数据处理方式，对传感器获取的图像进行处理，并将处理后得到的结果发送到边缘节点，通过边缘节点的计算能力对集群内各节点获取的数据进行信息融合，得到对侦查目标更精确的分析结果，再将结果发送到集群内各无人机平台以及地面指挥控制中心，以上过程如图1所示。
现有的无人机集群协同侦查时，均采用集中式的数据处理方式，即所有无人机均需将所有传感器获取的数据信息回传到边缘节点进行融合处理再进行分发，这也是在无人机集群中单个无人机本地计算能力受限情况下的较好处理方式，但该种方式依然存在以下缺陷：
①通信网络的变化和单个无人机计算能力带来的相互影响制约了单个无人机节点对传感器数据的处理效率。
无线信道的不稳定性决定了通信网络处于时刻变化中，而采用固定式或集中式的带宽分配方式，增加了无人机对数据处理的难度，带宽等通信资源一旦分配完成，调整难度大，如果带宽不够时，无人机数据发送会产生延迟，而通信带宽超过单机处理的数据量时，又会增加通信资源的浪费。
②固定式或集中式的通信带宽分配难以适应网络情况的快速变化。
无人机集群的各个无人机平台采用事先分配的方式获取通信资源，一旦信道条件发生变化，如敌方干扰，通信遮挡等，固定式或集中式的通信带宽分配难以应对变化，调整难度大，无法通过增加带宽等方式及时应对各种通信问题。
③单个无人机对传感器数据的处理方式无法根据带宽或计算能力的变化动态调整。
单个无人机的通信能力和计算能力均在动态变化中，而传感器数据的处理方式同样需要根据这种变化动态调整，例如可以采用不同的机器学习或者调整算法的参数等，这种动态调整能力是当前无人机集群协同侦查时无法提供的。
发明内容
本发明的目的在于提供一种基于分布式协作的传感器信息处理方法，在无人机集群协同侦察条件下对目标进行侦查，优化通信带宽和本地平台的计算能力使用效率，同时提高协同侦查的效率。
实现本发明目的的技术解决方案为：一种基于分布式协作的传感器信息处理方法，步骤如下：
第一步、无人机集群各平台初始化及工作模式设置：根据通信的总带宽和不同传感器数据处理占用的带宽，选择集群内各无人机的传感器数据处理方式；
第二步、无人机执行任务时的状态协同感知和本地处理决策的动态调整：集群内的每个无人机均通过状态感知，维护本机的全网各无人机平台状态信息表，计算并排序本机处理的权重，确定不同无人机的数据处理方式；
第三步、边缘节点的信息数据融合以及数据分享：无人机集群中的各无人机采用不同的数据处理方式，将传感器数据处理后发送到边缘节点进行数据融合，并将融合后的数据反向传输到集群内各无人机进行共享决策，同时将融合后的数据传输到地面指挥控制中心。
进一步地，第一步所述无人机集群各平台初始化及工作模式设置：根据通信的总带宽和不同传感器数据处理占用的带宽，选择集群内各无人机的传感器数据处理方式，具体如下：
步骤1.1：假设无人机集群中共有M架无人机，为每个无人机Xi进行初始化参数分配，i＝1,2,...,M，计算集群内每个无人机传输每帧图像所产生的数据量si、每秒传输的帧数t，传输高清图像所需平均带宽
Figure BDA0002828803640000021
传输轮廓图即语义分割图像所需平均带宽
Figure BDA0002828803640000022
和传输目标识别数据所需带宽
Figure BDA0002828803640000023
即
Figure BDA0002828803640000024
以及该无人机集群所能获得的总的通信带宽
Figure BDA0002828803640000025
步骤1.2：计算并选择当前无人机可采用数据处理方式，设每个无人机的平均带宽为
Figure BDA0002828803640000031
则基于总带宽
Figure BDA0002828803640000032
以及每个无人机传输所需平均带宽τavg判断以下3种情况：
a)
Figure BDA0002828803640000033
且
Figure BDA0002828803640000034
此时每个无人机均可执行目标识别的工作方式，产生目标识别数据并传输，但无法在所有无人机节点传输轮廓图；初始化时每个无人机均采用目标识别算法，从图像中获取目标识别数据；
b)
Figure BDA0002828803640000035
且
Figure BDA0002828803640000036
此时可以传输轮廓图即语义分割图像，但是无法在所有无人机节点传输高清图；初始化时每个无人机均采用语义分割算法，对图像进行语义化分割，将图像处理为轮廓图，降低所需传输的数据量；
c)
Figure BDA0002828803640000037
此时每个无人机都可传输高清图，初始化时每个无人机根据平均带宽τavg，调整本地无人机对高清图像的处理方式，将高清图像压缩到平均带宽所能容忍的范围内。
进一步地，第二步所述无人机执行任务时的状态协同感知和本地处理决策的动态调整：集群内的每个无人机均通过状态感知，维护本机的全网各无人机平台状态信息表，计算并排序本机处理的权重，确定不同无人机的数据处理方式，具体如下：
步骤2.1：无人机集群内的各无人机平台状态感知设置，每个无人机Xi维护一个集群内平台信息表，包括集群内各无人机Xi的相关参数
Figure BDA0002828803640000038
为每个参数赋予权重值
Figure BDA0002828803640000039
其中
Figure BDA00028288036400000310
K为参数个数，参数包括无人机xi的平均目标识别置信度、当前电池负荷百分比、识别的目标个数、无人机Xi离识别目标的实际平均距离、识别目标的平均重要程度；
步骤2.2：集群内无人机状态收集，每个无人机采用设定时间间隔发送当前无人机状态参数，同时接受来自集群内其它无人机的状态参数，并写入本地维护的集群内平台信息表；所述状态参数对应平台信息表中的每个参数项；
步骤2.3：传感器数据处理决策生成：
①若平均带宽满足
Figure BDA00028288036400000311
时，此时保持初始传输策略，传输传感器获取的高清图；
②若平均带宽满足
Figure BDA00028288036400000312
且
Figure BDA00028288036400000313
时，或满足平均带宽
Figure BDA00028288036400000314
且
Figure BDA0002828803640000041
时，通过当前的预置参数的带宽分配以及集群内平台信息表中的各平台状态，在无人机集群运行时，生成不同的处理决策。
进一步地，对于步骤2.3中平均带宽满足
Figure BDA0002828803640000042
且
Figure BDA0002828803640000043
的情况，若当前总带宽满足以下条件：
Figure BDA0002828803640000044
即无法满足所有无人机均传输高清图的情况，此时在部分无人机上对图像进行语义分割，产生轮廓图；
假设可传输高清图的无人机个数为a个，可传输轮廓图的无人机个数为M-a个，则约束条件如下：
Figure BDA0002828803640000045
通过上述约束条件最大化a值获得可传输高清图的无人机个数和传输轮廓图的无人机个数；
采用排序算法来配置集群内不同无人机获取传感器图像处理方式，计算每个无人机Xi的排序值ri：
Figure BDA0002828803640000046
其中计算ri所需的参数αi和权重值ωi均通过步骤2中本地维护的集群内平台信息表进行获取；
每个无人机根据排序值，依次从大到小选取a个无人机采用直接将传感器获取图像生成高清图进行传输，剩下的M-a个无人机采用语义分割将传感器获取图像处理为轮廓图进行传输。
进一步地，对于步骤2.3中平均带宽满足
Figure BDA0002828803640000047
且
Figure BDA0002828803640000048
的情况，若当前总带宽满足以下条件:
Figure BDA0002828803640000049
即无法满足所有无人机均传输轮廓图的情况，此时在部分无人机上对图像进行语义分割，产生轮廓图，而其它无人机对图像进行目标识别，产生目标识别数据；
假设可传输轮廓图的无人机个数为a个，可传输目标识别数据的无人机个数为M-a个，则约束条件如下：
Figure BDA0002828803640000051
通过上述约束条件最大化a值获得可传输轮廓图的无人机个数和传输目标识别数据的无人机个数；
采用排序算法来配置集群内不同无人机获取传感器图像处理方式，计算每个无人机Xi的排序值ri：
Figure BDA0002828803640000052
其中计算ri所需的参数αi和权重值ωi均通过步骤2中本地维护的集群内平台信息表进行获取；
每个无人机根据排序值，依次从大到小选取a个无人机采用语义分割将传感器获取图像处理为轮廓图进行传输，剩下的M-a个采用目标识别，将传感器获取图像处理为目标识别的数据进行传输。
本发明与现有技术相比，其显著优点为：(1)系统的鲁棒性和抗毁性好，各无人机采用的分布式决策及传感器数据处理方式均可在本机完成；(2)信息传输效率高，发送传感器数据的处理方式根据带宽以及集群内各无人机状态进行决策，传输的数据信息在信道发送时能够最大化的利用信道带宽，提升了信道利用率；(3)无人机本地信息处理动态调整策略，根据权重排序方式判定哪些无人机平台采用进行本机信息数据处理(如图像分割、目标识别)，哪些平台仅传输传感器采集图像编码后的高清图，处理方式动态可调。
附图说明
图1为现有无人机集群协同侦查的处理方式示意图。
图2为无人机集群协同感知的自适应数据处理方法流程图。
图3为基于分布式决策的无人机集群传感器数据处理决策流程图。
具体实施方式
为了便于对本发明的理解，对以下技术术语进行说明：
边缘节点：无人机集群系统中的边缘节点是距离集群中各无人机节点信息传输较近的计算能力强的信息处理与分发平台，在形式上可以是集群内某一功能较强的无人机或者是某个地面处理单元，通过网络与无人机集群互联互通。
本发明提供一种基于分布式协作的传感器信息处理方法，步骤如下：
第一步、无人机集群各平台初始化及工作模式设置：根据通信的总带宽和不同传感器数据处理占用的带宽，选择集群内各无人机的传感器数据处理方式；
第二步、无人机执行任务时的状态协同感知和本地处理决策的动态调整：集群内的每个无人机均通过状态感知，维护本机的全网各无人机平台状态信息表，计算并排序本机处理的权重，确定不同无人机的数据处理方式；
第三步、边缘节点的信息数据融合以及数据分享：无人机集群中的各无人机采用不同的数据处理方式，将传感器数据处理后发送到边缘节点进行数据融合，并将融合后的数据反向传输到集群内各无人机进行共享决策，同时将融合后的数据传输到地面指挥控制中心。
进一步地，第一步所述无人机集群各平台初始化及工作模式设置：根据通信的总带宽和不同传感器数据处理占用的带宽，选择集群内各无人机的传感器数据处理方式，具体如下：
步骤1.1：假设无人机集群中共有M架无人机，为每个无人机Xi进行初始化参数分配，i＝1,2,...,M，计算集群内每个无人机传输每帧图像所产生的数据量si、每秒传输的帧数t，传输高清图像所需平均带宽
Figure BDA0002828803640000061
传输轮廓图即语义分割图像所需平均带宽
Figure BDA0002828803640000062
和传输目标识别数据所需带宽
Figure BDA0002828803640000063
即
Figure BDA0002828803640000064
以及该无人机集群所能获得的总的通信带宽
Figure BDA0002828803640000065
步骤1.2：计算并选择当前无人机可采用数据处理方式，设每个无人机的平均带宽为
Figure BDA0002828803640000066
则基于总带宽
Figure BDA0002828803640000067
以及每个无人机传输所需平均带宽τavg判断以下3种情况：
a)
Figure BDA0002828803640000068
且
Figure BDA0002828803640000069
此时每个无人机均可执行目标识别的工作方式，产生目标识别数据并传输，但无法在所有无人机节点传输轮廓图；初始化时每个无人机均采用目标识别算法，从图像中获取目标识别数据；
b)
Figure BDA00028288036400000610
且
Figure BDA00028288036400000611
此时可以传输轮廓图即语义分割图像，但是无法在所有无人机节点传输高清图；初始化时每个无人机均采用语义分割算法，对图像进行语义化分割，将图像处理为轮廓图，降低所需传输的数据量；
c)
Figure BDA00028288036400000612
此时每个无人机都可传输高清图，初始化时每个无人机根据平均带宽τavg，调整本地无人机对高清图像的处理方式，将高清图像压缩到平均带宽所能容忍的范围内。
进一步地，第二步所述无人机执行任务时的状态协同感知和本地处理决策的动态调整：集群内的每个无人机均通过状态感知，维护本机的全网各无人机平台状态信息表，计算并排序本机处理的权重，确定不同无人机的数据处理方式，具体如下：
步骤2.1：无人机集群内的各无人机平台状态感知设置，每个无人机Xi维护一个集群内平台信息表，包括集群内各无人机Xi的相关参数
Figure BDA0002828803640000071
为每个参数赋予权重值
Figure BDA0002828803640000072
其中
Figure BDA0002828803640000073
K为参数个数，参数包括无人机xi的平均目标识别置信度、当前电池负荷百分比、识别的目标个数、无人机Xi离识别目标的实际平均距离、识别目标的平均重要程度等；
步骤2.2：集群内无人机状态收集，每个无人机采用设定时间间隔发送当前无人机状态参数，同时接受来自集群内其它无人机的状态参数，并写入本地维护的集群内平台信息表；所述状态参数对应平台信息表中的每个参数项；
步骤2.3：传感器数据处理决策生成：
①若平均带宽满足
Figure BDA0002828803640000074
时，此时保持初始传输策略，传输传感器获取的高清图；
②若平均带宽满足
Figure BDA0002828803640000075
且
Figure BDA0002828803640000076
时，或满足平均带宽
Figure BDA0002828803640000077
且
Figure BDA0002828803640000078
时，通过当前的预置参数的带宽分配以及集群内平台信息表中的各平台状态，在无人机集群运行时，生成不同的处理决策。
进一步地，对于步骤2.3中平均带宽满足
Figure BDA0002828803640000079
且
Figure BDA00028288036400000710
的情况，若当前总带宽满足以下条件：
Figure BDA00028288036400000711
即无法满足所有无人机均传输高清图的情况，此时在部分无人机上对图像进行语义分割，产生轮廓图；
假设可传输高清图的无人机个数为a个，可传输轮廓图的无人机个数为M-a个，则约束条件如下：
Figure BDA00028288036400000712
通过上述约束条件最大化a值获得可传输高清图的无人机个数和传输轮廓图的无人机个数；
采用排序算法来配置集群内不同无人机获取传感器图像处理方式，计算每个无人机Xi的排序值ri：
Figure BDA0002828803640000081
其中计算ri所需的参数αi和权重值ωi均通过步骤2中本地维护的集群内平台信息表进行获取；
每个无人机根据排序值，依次从大到小选取a个无人机采用直接将传感器获取图像生成高清图进行传输，剩下的M-a个无人机采用语义分割将传感器获取图像处理为轮廓图进行传输。
进一步地，对于步骤2.3中平均带宽满足
Figure BDA0002828803640000082
且
Figure BDA0002828803640000083
的情况，若当前总带宽满足以下条件:
Figure BDA0002828803640000084
即无法满足所有无人机均传输轮廓图的情况，此时在部分无人机上对图像进行语义分割，产生轮廓图，而其它无人机对图像进行目标识别，产生目标识别数据；
假设可传输轮廓图的无人机个数为a个，可传输目标识别数据的无人机个数为M-a个，则约束条件如下：
Figure BDA0002828803640000085
通过上述约束条件最大化a值获得可传输轮廓图的无人机个数和传输目标识别数据的无人机个数；
采用排序算法来配置集群内不同无人机获取传感器图像处理方式，计算每个无人机Xi的排序值ri：
Figure BDA0002828803640000086
其中计算ri所需的参数αi和权重值ωi均通过步骤2中本地维护的集群内平台信息表进行获取；
每个无人机根据排序值，依次从大到小选取a个无人机采用语义分割将传感器获取图像处理为轮廓图进行传输，剩下的M-a个采用目标识别，将传感器获取图像处理为目标识别的数据进行传输。
采用本发明所描述的方案，无人机集群在完成初始化通信带宽分配等参数的配置后，组网并执行任务。此时，集群内每个无人机在网内定时收集来自其它无人机的状态信息，实现状态感知，各无人机平台在本地维护网内所有无人机状态表，分析其它集群内其它无人机状态，以此为基础生成本地传感器数据的处理决策。传感器数据通过本地无人机平台的图像处理(例如图像语义分割、目标识别等)，将处理后的数据信息发送到边缘节点进行数据融合，再在网内实现信息分享，提高侦查效率，同时边缘节点可以进行信息融合，并将融合后的各节点侦查信息送到地面指挥控制中心，以上过程如图2所示。
本发明具有以下特点：
①时变无线网络下不同信道带宽数据处理方式选择策略
集群内各无人机在初始化设置时即可根据通信的总带宽和不同传感器数据处理占用的带宽，选择集群内各无人机的传感器数据处理方式，优化了无人机在时变无线网络下的数据处理效率。
②通信网络变化下的自适应数据选择方法
集群内各无人机在执行任务时，能够根据网络等参数的变化，调整各无人机的传感器数据处理方式，最优化的利用通信带宽，平衡传感器数据的本机处理和在边缘节点的远程处理方式。
③分布式协作的传感器信息处理
集群内的每个无人机均通过状态感知，维护本机的全网各无人机平台状态信息表，计算并排序本机处理的权重，合理安排网内不同无人机的数据处理。分布式协作的鲁棒性和抗毁性好，不需要边缘节点集中处理判定各无人机的数据处理方式，提升了无人机集群的系统稳定性。
下面结合附图及实施例对本发明做进一步详细描述。
实施例
本实施例设计了一种基于分布式协作的无人机集群内的传感器数据处理决策，流程如图3所示。
(一)无人机集群各平台初始化及工作模式设置
步骤1：假设无人机集群中共有M架无人机，为每个无人机Xi进行初始化参数分配，计算集群内每个无人机传输每帧图像所产生的数据量si、每秒传输的帧数t，传输高清图像所需平均带宽
Figure BDA0002828803640000091
传输轮廓图(语义分割图像)所需平均带宽
Figure BDA0002828803640000092
和传输目标识别数据所需带宽
Figure BDA0002828803640000093
即
Figure BDA0002828803640000094
以及该无人机集群所能获得的总的通信带宽
Figure BDA0002828803640000095
步骤2：计算并选择当前无人机可采用数据处理方式，设每个无人机的平均带宽为
Figure BDA0002828803640000101
则基于总带宽
Figure BDA0002828803640000102
以及每个无人机传输所需平均带宽τavg可以判断以下3种情况：
a)
Figure BDA0002828803640000103
且
Figure BDA0002828803640000104
此时平均带宽较小，每个无人机均可执行目标识别的工作方式，产生目标识别数据(结构化的数据信息，带宽要求极低)并传输，但无法在所有无人机节点传输轮廓图。此时每个无人机均采用目标识别算法(如YOLO算法)，从图像中获取目标识别数据(如目标类型、位置等)；
b)
Figure BDA0002828803640000105
且
Figure BDA0002828803640000106
此时平均带宽适中，可以传输轮廓图(语义分割图像)，但是无法在所有无人机节点传输高清图，初始化时每个无人机均采用语义分割算法(如Mask-RCNN算法)，从对图像进行语义化分割，将图像处理为轮廓图，降低所需传输的数据量；
d)
Figure BDA0002828803640000107
此时带宽较大，每个无人机都可传输高清图，此时每个无人机根据平均带宽τavg，调整本地无人机对高清图像的处理方式，将高清图像处理到平均带宽所能容忍的范围内(采用图像压缩编码等方式)。
(二)无人机执行任务时的状态协同感知和本地处理决策的动态调整
步骤1：无人机集群内的各无人机平台状态感知设置，每个无人机Xi维护一个集群内平台信息表，包括集群内各无人机Xi的相关参数
Figure BDA0002828803640000108
为每个参数赋予权重值
Figure BDA0002828803640000109
其中
Figure BDA00028288036400001010
K为参数个数，参数包括无人机xi的平均目标识别置信度、当前电池负荷百分比、识别的目标个数、无人机Xi离识别目标的实际平均距离、识别目标的平均重要程度等，以上参数可由无人机来自行计算，参数权重可离线提前预置。
步骤2：集群内无人机状态收集，每个无人机定时(时间间隔可提前预置)发送当前无人机状态参数(对应平台信息表中的每个参数项)，同时接受来自集群内其它无人机的状态参数，并写入本地维护的集群内平台信息表。
步骤3：传感器数据处理决策生成，若带平均宽充足
Figure BDA00028288036400001011
时，此时保持初始传输策略，传输传感器获取的高清图。如平均带宽适中(
Figure BDA00028288036400001012
且
Figure BDA00028288036400001013
)或平均带宽过小(
Figure BDA00028288036400001014
且
Figure BDA00028288036400001015
)时，通过当前的预置参数的带宽分配以及集群内平台信息表中的各平台状态，在无人机集群运行时，生成不同的处理决策，以提高带宽利用率及传感器数据处理效率。这两种情况的处理如步骤3.1-3.2所示。
步骤3.1：(平均带宽适中的情况)若当前总带宽满足以下条件:
Figure BDA0002828803640000111
即无法满足所有无人机均传输高清图的情况，此时可以在部分无人机上对图像进行语义分割，产生轮廓图。假设可传输高清图的无人机个数为a个，可传输轮廓图的无人机个数为M-a个，则约束条件如下：
Figure BDA0002828803640000112
通过上述约束条件最大化a值可获得可传输高清图的无人机个数和传输轮廓图的无人机个数。
采用排序算法来配置集群内不同无人机获取传感器图像处理方式，计算每个无人机Xi的排序值ri：
Figure BDA0002828803640000113
其中计算ri所需的参数αi和权重值ωi均通过步骤2中本地维护的集群内平台信息表进行获取。每个无人机根据其排序值，依次从大到小选取a个无人机采用直接将传感器获取图像生成高清图进行传输，剩下的M-a个无人机采用语义分割将传感器获取图像处理为轮廓图进行传输。
步骤3.2：(平均带宽较小的情况)若当前总带宽满足以下条件:
Figure BDA0002828803640000114
即无法满足所有无人机均传输轮廓图的情况，此时可以在部分无人机上对图像进行语义分割，产生轮廓图，而其它无人机对图像进行目标识别，产生目标识别数据。假设可传输轮廓图的无人机个数为a个，可传输目标识别数据的无人机个数为M-a个，则约束条件如下：
Figure BDA0002828803640000115
通过上述约束条件最大化a值可获得可传输轮廓图的无人机个数和传输目标识别数据的无人机个数。
采用排序算法来配置集群内不同无人机获取传感器图像处理方式，计算每个无人机Xi的排序值ri：
Figure BDA0002828803640000121
其中计算ri所需的参数αi和权重值ωi均通过步骤2中本地维护的集群内平台信息表进行获取。每个无人机根据其排序值，依次从大到小选取a个无人机采用语义分割将传感器获取图像处理为轮廓图进行传输，剩下的M-a个采用目标识别，将传感器获取图像处理为目标识别的数据进行传输。
(三)边缘节点的信息数据融合以及数据分享
无人机集群中的各无人机采用不同的数据处理方式，将传感器数据处理后发送到边缘节点进行数据融合，提升目标侦查效率，并将融合后的数据反向传输到集群内各无人机进行共享决策，同时将融合后的数据传输到地面指挥控制中心。
综上所述，本发明能够对无人机集群所组成的网络的通信情况和本地平台的计算能力进行分析，集群中的每个无人机节点都能通过群体感知获取本地的对传感器数据的处理方式，在无中心的架构下，协同对目标进行侦查，优化通信带宽和本地平台的计算能力使用效率，同时提高协同侦查的效率。

Claims (3)

1.一种基于分布式协作的传感器信息处理方法，其特征在于，步骤如下：
第一步、无人机集群各平台初始化及工作模式设置：根据通信的总带宽和不同传感器数据处理占用的带宽，选择集群内各无人机的传感器数据处理方式；
第二步、无人机执行任务时的状态协同感知和本地处理决策的动态调整：集群内的每个无人机均通过状态感知，维护本机的全网各无人机平台状态信息表，计算并排序本机处理的权重，确定不同无人机的数据处理方式；
第三步、边缘节点的信息数据融合以及数据分享：无人机集群中的各无人机采用不同的数据处理方式，将传感器数据处理后发送到边缘节点进行数据融合，并将融合后的数据反向传输到集群内各无人机进行共享决策，同时将融合后的数据传输到地面指挥控制中心；
第一步所述无人机集群各平台初始化及工作模式设置：根据通信的总带宽和不同传感器数据处理占用的带宽，选择集群内各无人机的传感器数据处理方式，具体如下：
步骤1.1：假设无人机集群中共有M架无人机，为每个无人机Xi进行初始化参数分配，i＝1,2,...,M，计算集群内每个无人机传输每帧图像所产生的数据量si、每秒传输的帧数t，传输高清图像所需平均带宽
Figure FDA0003507366820000011
传输轮廓图即语义分割图像所需平均带宽
Figure FDA0003507366820000012
和传输目标识别数据所需带宽
Figure FDA0003507366820000013
即
Figure FDA0003507366820000014
以及该无人机集群所能获得的总的通信带宽
Figure FDA0003507366820000015
步骤1.2：计算并选择当前无人机可采用数据处理方式，设每个无人机的平均带宽为
Figure FDA0003507366820000016
则基于总带宽
Figure FDA0003507366820000017
以及每个无人机传输所需平均带宽τavg判断以下3种情况：
a)
Figure FDA0003507366820000018
且
Figure FDA0003507366820000019
此时每个无人机均可执行目标识别的工作方式，产生目标识别数据并传输，但无法在所有无人机节点传输轮廓图；初始化时每个无人机均采用目标识别算法，从图像中获取目标识别数据；
b)
Figure FDA00035073668200000110
且
Figure FDA00035073668200000111
此时可以传输轮廓图即语义分割图像，但是无法在所有无人机节点传输高清图；初始化时每个无人机均采用语义分割算法，对图像进行语义化分割，将图像处理为轮廓图，降低所需传输的数据量；
c)
Figure FDA00035073668200000112
此时每个无人机都可传输高清图，初始化时每个无人机根据平均带宽τavg，调整本地无人机对高清图像的处理方式，将高清图像压缩到平均带宽所能容忍的范围内；
第二步所述无人机执行任务时的状态协同感知和本地处理决策的动态调整：集群内的每个无人机均通过状态感知，维护本机的全网各无人机平台状态信息表，计算并排序本机处理的权重，确定不同无人机的数据处理方式，具体如下：
步骤2.1：无人机集群内的各无人机平台状态感知设置，每个无人机Xi维护一个集群内平台信息表，包括集群内各无人机Xi的相关参数
Figure FDA0003507366820000021
为每个参数赋予权重值
Figure FDA0003507366820000022
其中
Figure FDA0003507366820000023
K为参数个数，参数包括无人机xi的平均目标识别置信度、当前电池负荷百分比、识别的目标个数、无人机Xi离识别目标的实际平均距离、识别目标的平均重要程度；
步骤2.2：集群内无人机状态收集，每个无人机采用设定时间间隔发送当前无人机状态参数，同时接受来自集群内其它无人机的状态参数，并写入本地维护的集群内平台信息表；所述状态参数对应平台信息表中的每个参数项；
步骤2.3：传感器数据处理决策生成：
①若平均带宽满足
Figure FDA0003507366820000024
时，此时保持初始传输策略，传输传感器获取的高清图；
②若平均带宽满足
Figure FDA0003507366820000025
且
Figure FDA0003507366820000026
时，或满足平均带宽
Figure FDA0003507366820000027
且
Figure FDA0003507366820000028
时，通过当前的预置参数的带宽分配以及集群内平台信息表中的各平台状态，在无人机集群运行时，生成不同的处理决策。
2.根据权利要求1所述的基于分布式协作的传感器信息处理方法，其特征在于，对于步骤2.3中平均带宽满足
Figure FDA0003507366820000029
且
Figure FDA00035073668200000210
的情况，若当前总带宽满足以下条件：
Figure FDA00035073668200000211
即无法满足所有无人机均传输高清图的情况，此时在部分无人机上对图像进行语义分割，产生轮廓图；
假设可传输高清图的无人机个数为a个，可传输轮廓图的无人机个数为M-a个，则约束条件如下：
Figure FDA0003507366820000031
通过上述约束条件最大化a值获得可传输高清图的无人机个数和传输轮廓图的无人机个数；
采用排序算法来配置集群内不同无人机获取传感器图像处理方式，计算每个无人机Xi的排序值ri：
Figure FDA0003507366820000032
其中计算ri所需的参数αi和权重值ωi均通过步骤2中本地维护的集群内平台信息表进行获取；
每个无人机根据排序值，依次从大到小选取a个无人机采用直接将传感器获取图像生成高清图进行传输，剩下的M-a个无人机采用语义分割将传感器获取图像处理为轮廓图进行传输。
3.根据权利要求1所述的基于分布式协作的传感器信息处理方法，其特征在于，对于步骤2.3中平均带宽满足
Figure FDA0003507366820000033
且
Figure FDA0003507366820000034
的情况，若当前总带宽满足以下条件:
Figure FDA0003507366820000035
即无法满足所有无人机均传输轮廓图的情况，此时在部分无人机上对图像进行语义分割，产生轮廓图，而其它无人机对图像进行目标识别，产生目标识别数据；
假设可传输轮廓图的无人机个数为a个，可传输目标识别数据的无人机个数为M-a个，则约束条件如下：
Figure FDA0003507366820000036
通过上述约束条件最大化a值获得可传输轮廓图的无人机个数和传输目标识别数据的无人机个数；
采用排序算法来配置集群内不同无人机获取传感器图像处理方式，计算每个无人机Xi的排序值ri：
Figure FDA0003507366820000037
其中计算ri所需的参数αi和权重值ωi均通过步骤2中本地维护的集群内平台信息表进行获取；
每个无人机根据排序值，依次从大到小选取a个无人机采用语义分割将传感器获取图像处理为轮廓图进行传输，剩下的M-a个采用目标识别，将传感器获取图像处理为目标识别的数据进行传输。
CN202011436229.1A 2020-12-10 2020-12-10 一种基于分布式协作的传感器信息处理方法 Active CN112616126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011436229.1A CN112616126B (zh) 2020-12-10 2020-12-10 一种基于分布式协作的传感器信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011436229.1A CN112616126B (zh) 2020-12-10 2020-12-10 一种基于分布式协作的传感器信息处理方法

Publications (2)

Publication Number Publication Date
CN112616126A CN112616126A (zh) 2021-04-06
CN112616126B true CN112616126B (zh) 2022-04-12

Family

ID=75233177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011436229.1A Active CN112616126B (zh) 2020-12-10 2020-12-10 一种基于分布式协作的传感器信息处理方法

Country Status (1)

Country Link
CN (1) CN112616126B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709072B (zh) * 2021-07-29 2022-07-29 电子科技大学 基于无人机动态无线传感器网络的协作式自动调制分类方法
CN116152687B (zh) * 2023-04-21 2023-07-14 深圳市慧明捷科技有限公司 一种无人机数据采集模块
CN117523410B (zh) * 2023-11-10 2024-10-18 中国科学院空天信息创新研究院 基于多终端协同感知分布式大模型的图像处理及构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460064A (zh) * 2019-01-03 2019-03-12 中国人民解放军战略支援部队航天工程大学 基于虚拟势场函数的无人机集群区域覆盖方法及其装置
CN109523011A (zh) * 2018-11-06 2019-03-26 哈尔滨工业大学（深圳） 一种面向多无人机协同探测的多传感器自适应管理方法
CN110958680A (zh) * 2019-12-09 2020-04-03 长江师范学院 面向能量效率的无人机群多智能体深度强化学习优化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679131B2 (en) * 2012-07-12 2020-06-09 Eaton Intelligent Power Limited System and method for efficient data collection in distributed sensor measurement systems
US11003195B2 (en) * 2019-02-28 2021-05-11 GM Global Technology Operations LLC Method to prioritize the process of receiving for cooperative sensor sharing objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523011A (zh) * 2018-11-06 2019-03-26 哈尔滨工业大学（深圳） 一种面向多无人机协同探测的多传感器自适应管理方法
CN109460064A (zh) * 2019-01-03 2019-03-12 中国人民解放军战略支援部队航天工程大学 基于虚拟势场函数的无人机集群区域覆盖方法及其装置
CN110958680A (zh) * 2019-12-09 2020-04-03 长江师范学院 面向能量效率的无人机群多智能体深度强化学习优化方法

Also Published As

Publication number Publication date
CN112616126A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112616126B (zh) 一种基于分布式协作的传感器信息处理方法
CN112541426B (zh) 基于无人机集群协同感知的通信带宽自适应数据处理方法
CN113010305B (zh) 部署在边缘计算网络中的联邦学习系统及其学习方法
CN111522669A (zh) 横向联邦学习系统优化方法、装置、设备及可读存储介质
CN105049812B (zh) 一种无人机便携式地面站处理方法及系统
CN110287945A (zh) 一种5g环境下无人机目标检测方法
CN114237917A (zh) 一种用于电网巡检的无人机辅助边缘计算方法
CN112732450B (zh) 端-边-云协同框架下的机器人知识图谱生成系统及方法
CN113156992B (zh) 面向边缘环境下无人机的三层架构协同优化方法
CN111339893A (zh) 基于深度学习和无人机的管道检测系统及方法
CN115278729B (zh) 一种海洋物联网中无人机协作数据收集与数据卸载方法
CN112965507B (zh) 一种基于智能优化的集群无人机协同工作系统及方法
CN113238867B (zh) 一种基于网络卸载的联邦学习方法
CN115209379B (zh) 基于5g智能网联无人机的电网云边协同巡检系统及方法
CN114356544A (zh) 面向边缘集群的并行计算方法和系统
CN114885379A (zh) 一种大规模无人机集群自适应分簇组网方法
CN114900656A (zh) 一种交通监控视频流处理方法、装置、系统及存储介质
CN109062677B (zh) 一种无人机系统计算迁移方法
CN115329990B (zh) 边缘计算场景下基于模型分割的异步联邦学习加速方法
An et al. Air-ground integrated mobile edge computing in vehicular visual sensor networks
CN114531193B (zh) 基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法
CN115134370B (zh) 一种多无人机辅助的移动边缘计算卸载方法
CN113949826A (zh) 一种通信带宽有限条件下无人机集群协同侦察方法及系统
An et al. Information-based bit allocation for cooperative visual sensing in vehicular networks
CN114513814A (zh) 基于无人机辅助节点的边缘网络计算资源动态优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant