CN117333807A - 空地一体化无人机群云边协同目标锁定系统 - Google Patents

空地一体化无人机群云边协同目标锁定系统 Download PDF

Info

Publication number
CN117333807A
CN117333807A CN202311104324.5A CN202311104324A CN117333807A CN 117333807 A CN117333807 A CN 117333807A CN 202311104324 A CN202311104324 A CN 202311104324A CN 117333807 A CN117333807 A CN 117333807A
Authority
CN
China
Prior art keywords
target
air
unmanned aerial
aerial vehicle
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311104324.5A
Other languages
English (en)
Inventor
李长頔
张承龙
曹宇飞
魏然
赵顺平
刘兴高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202311104324.5A priority Critical patent/CN117333807A/zh
Publication of CN117333807A publication Critical patent/CN117333807A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种空地一体化无人机群云边协同目标锁定系统，用于对无人机战场协同作战进行协同目标检测、分割和锁定，包括轻量化云边协同模块、目标检测模块和目标分割模块。本发明对无人机群云边协同作战过程的目标进行检测、分割和定位，克服已有的云边协同目标检测敏捷性差、算力消耗大、准确性差、从而影响无人集群协同锁定效果较差的缺陷。本发明引入基于云边协同和人工智能算法模块对系统效率、准确率和联动效果进行提升，实现高精度、轻量化、空地一体化的无人机群云边协同目标锁定系统。

Description

空地一体化无人机群云边协同目标锁定系统
技术领域
本发明涉及无人机技术、深度学习领域和群云边协同算法领域，尤其涉及一种结合深度学习和边缘计算算法的空地一体化无人机群云边协同目标锁定系统。
背景技术
近年来，随着科学技术的不断进步和军事需求的不断增长，无人机的规模、性能、功能和应用范围都得到了显著的提升，成为现代战争中不可或缺的作战力量。然而，单个无人机往往受限于自身的载荷、续航、通信和智能等方面的因素，难以适应复杂多变的作战环境和任务需求。为了克服单个无人机的局限性，提高作战效能和效果，无人机群协同作战技术应运而生。无人机群协同作战技术是指通过网络化控制和协调，使多个无人机之间形成有效的信息交流和任务分配，实现对敌方目标的集中锁定或对友方目标的集中保护。无人机群协同作战技术可以充分发挥无人机群的规模效应、异构效应和分布式效应，提高无人机群的整体作战能力和生存能力。
但是，无人机群云边协同目标锁定也面临着诸多挑战和难题，如如何实现无人机群的目标检测、多机联动、智能决策、灵活协同等。传统的地面控制方式往往存在通信延迟、干扰干扰、指挥失效等问题，难以满足无人机群协同作战的实时性、安全性和自主性要求。因此，需要探索一种新型的空地一体化无人机群云边协同目标锁定系统，利用地面云服务器、边缘节点和无人机群构建分层异构网络系统，实现空中、地面和云端之间的高效协同。可以根据不同层次的作战需求，动态地调整无人机群的规模、编队、任务和路径，实现对敌方目标的实时监视、跟踪和识别。该系统可以适应复杂多变的作战环境和任务需求，如对隐蔽目标的检测、对多目标的检测、对动态目标的检测等。该系统可以拓展无人机群协同作战的应用领域，为解决实际作战问题提供新的方案和手段。该系统可以适应复杂多变的作战环境和任务需求，如对隐蔽目标的检测、对多目标的检测、对动态目标的检测等。该系统可以拓展无人机群协同作战的应用领域，为解决实际作战问题提供新的方案和手段。
发明内容
为了克服目前已有的战场无人机群协同目标锁定系统的实时性差、目标检测不准确造成的协同锁定效果不好的缺陷，本发明的目的在于提供一种轻量化、云边协同、目标检测和分割的空地一体化无人机群云边协同目标锁定系统。
本发明解决其技术问题所采用的技术方案是：基于轻量化的目标检测、目标分割和云边协同技术，战场无人机群可对目标进行快速检测和分割并进行协同，包括云边协同模块、轻量化目标检测模块以及目标分割模块，其中：
1、云边协同模块：
(1-1)基于Websocket实现的全双工通信完成云边通信，支持基于Web应用的客户端与云端实现同步通信，可实时获取无人机状态；支持UAV3CA系统框架对无人机进行认证授权并对无人机实施有效管理。支持空地、空空和地地的信息协同，增强空地一体化联合目标识别、分割和锁定的效率和准确性。
(1-2)云边协同模块装备侧可以接入地面装备和空中装备，边缘侧提供边缘功能组件：规则引擎、边缘路由引擎、装备接入管理、边缘应用管理、空地一体化边缘OS和EAAS；平台侧提供空地一体化云边协同控制台、装备实例管理、装备驱动管理和装备应用管理；模块可以为应用侧赋能，包括空对空场景应用、空对地场景应用、地对空场景应用和地对地场景应用；模块可以在目标检测和分割完成后，进行空地信息协同和目标锁定。通过云边端一体化信息协同，可以更加敏捷进行空地一体化联合目标识别、分割和锁定。
2、目标检测模块：
(2-1)无人机群获取图像，预处理至固定大小；
(2-2)将预处理后的图像输入Darknet53特征提取网络，通过卷积提取其中的不同特征；
(2-3)通过多次下采样和上采样操作，得到三个不同尺度的输出层，分别为13×13、26×26和52×52；
(2-4)在检测目标时，YOLOv3首先用S×S的网格对图像进行分割，如果一个网格中有目标的中心点，就预测该网格中的目标，并输出3个不同尺寸的边界框，具体的网络输出如公式所示：
S×S×B×(4+1+C)(1)(2-5)如果存在目标的中心点，则预测该网格中目标的三个不同大小的边界框，并计算每个边界框的类别置信度；类别置信度由以下公式计算：
Pr(si∣object)×Pr()×IoU(2)
其中，Pr(object)表示网格中是否存在目标，Pr(object)＝1表示存在目标，Pr(object)＝0表示不存在目标；Pr(classi∣object)表示目标属于第i类的概率；IoU表示预测边界框与真实边界框的交并比；
使用锚框机制来约束预测边界框，该机制可以缩小预测框并加速模型的收敛；将输入图像分割为多个网格单元；对每个网格单元预测多个候选边界框及其置信度和类别概率；
通过锚框机制约束预测边界框的形状和位置，其中锚框机制通过K-means算法对数据集进行聚类，得到一组预设的锚框尺寸和比例；
根据预设的锚框尺寸和比例，将预测边界框映射到特征图上，并计算其坐标参数；
(cx,cy)表示目标中心所在的网格的坐标；pw，ph分别表示先验轨道锚框机制映射到特征图上的宽度和高度；(tx,ty,tw,th)是网络需要训练求解的参数；σ()表示用Sigmoid函数将压缩到区间(0,1)。
使用Sigmoid函数对坐标参数进行压缩，使其落在(0,1)区间内；
使用损失函数对坐标参数进行优化，使其更接近真实值，其中损失函数包括：坐标损失Lossxy，Losswh用于衡量预测边界框与真实边界框之间的位置和形状差异；置信度损失Lossconf，用于衡量预测边界框与真实边界框之间的重叠程度差异；类别损失Lossclass，用于衡量预测边界框所属类别与真实类别之间的差异；i表示网格数；j表示每个网格预测的边界框的数量；(xi,yi)表示第ith个网格预测的质心的坐标；wi,hi d分别表示边界框的宽度和高度；p(c)表示该目标在第cth类别的概率；λcoord是权重系数；λnoobj是惩罚权重系数；表示第jth个网格单元的第ith个边界框是否负责预测该目标，取决于它取0或1的值。
Loss(object)＝Lossxy+Losswh+Lossconf+Lossclass (4)
对所有预测结果进行过滤，得到最终的输出。
3、目标检测模块引入了解耦头、无锚点检测器、SimOTA分配策略、MixUp和Mosaic数据增强算法。
(3-1)一种用于目标检测的解耦头结构，其将分类和定位过程分开，可应用于基于回归和基于分类的检测器。
(3-2)解耦头结构通过将特征分成两个并行卷积特征，并使用一阶卷积进行通道维度降低以减少参数数量，然后通过两个并行分支，显著提高模型收敛速度。
(3-3)无锚点检测器，其减少了原始特征图预测的3组锚点到1组，并直接预测4个值，从而减少了GFLOPs和参数的数量，加快了速度并呈现更好的结果。无(3-4)SimOTA分配策略，其通过简化OTA的第四和第五步骤，在保证识别精度的最大程度上缩短了训练时间。
(3-5)MixUp和Mosaic数据增强方法，高效稳定的数据增强使空地目标检测模块不再受限于ImageNet训练模型。
(3-6)为了便于在空地边缘计算资源受限的设备上运行，基于YOLOX目标检测网络保留了小型和中型库存的特征检测头，并裁剪了YOLOX中大尺度目标的检测。在YOLOX的特征提取骨干网络中添加金字塔分裂注意力，通过在骨干网络中的Res单元的添加输出处添加金字塔分裂注意力来将金字塔分裂注意力结合，以更好地学习检测和定位目标区域。
(3-7)为了提高空地目标识别准确率，基于SPC模块，将输入张量分成S组，每组的卷积核大小按顺序增加，并对每组执行组卷积。融合了一种PSA模块，其将输入张量从通道分成S组，每组与不同卷积核大小进行卷积以获得不同尺度的感知场并提取不同尺度的信息。如公式(7)所示，可以计算出软分配权重atti，其中Fi为第i组特征尺度图，SEWeight(Fi)为SEWeight模块从不同尺度的输入特征图获取的注意力权重。所以，SPC和PSA的融合可以将多尺度空间信息和跨通道注意力整合到每个特征组中，可以更好地实现局部和全局通道的信息交互。
4、根据权利要求1所述空地一体化无人机群云边协同目标锁定系统，目标分割模块可以实现在目标检测锁定后进行目标精细分割，用于通过空地一体化目标检测确定区域后，进一步精确定位目标，其特征在于：
(1)空地一体化目标分割模块使用HSV颜色空间进行目标区域分割。
(2)空地一体化目标分割模块应用1种颜色特征和2种几何特征，包括HSV颜色空间中三个通道值的阈值过滤、长宽比和圆度。
(3)空地一体化目标分割模块设置HSV的三个通道的颜色阈值，并通过阈值过滤仅保留与目标相关的区域；查找不包括孔洞的所有连通域；计算当前区域的长宽比并将其与先前测量的样本的标准长宽比进行比较；统计第三个连通域的面积和周长以计算圆度。
附图说明
图1是空地一体化无人机群云边协同目标锁定系统结构示意图；
图2是空地一体化无人机群云边协同目标锁定系统目标检测与分割原理图。
具体实施方式
下面根据附图具体说明本发明。
本发明的有益效果主要表现在：
创新性引入空地一体化无人集群云边信息协同机制，通过云边端一体化信息协同，可以更加敏捷进行空地一体化联合目标识别、分割和锁定；
综合轻量化和准确性两方面的考量，引入SPC和PSA模块，使目标锁定系统能够更加快速和准确进行目标识别和锁定；
进一步在目标检测锁定后进行目标精细分割，在空地一体化目标锁定区域后，使用HSV颜色空间进行目标分割。
参照图1，一种空地一体化无人机群云边协同目标锁定系统，可以应用于地面装备和空中装备集群中，有效提高空地装备的协同目标锁定准确率和效率。边缘侧提供边缘功能组件：规则引擎、边缘路由引擎、装备接入管理、边缘应用管理、空地一体化云边协同应用和边缘应用；可以有效管理边缘侧的业务，并且进行实时的云边协同管理。平台侧提供空地一体化云边协同控制台、装备实例管理、装备驱动管理和装备应用管理；可以敏捷的通过云端平台对云边协同进行管理和监控。系统可以为应用侧赋能，包括空对空场景应用、空对地场景应用、地对空场景应用和地对地场景应用；提供松耦合的Api接口，支持跨场景联动，解决数据孤岛问题。
无人机群和地面集群采集到图片后，边缘进行图片的批量预处理，后进入目标检测、目标分割和目标锁定流程中。系统在目标检测和分割完成后，进行空地信息协同和目标锁定。无人机群部署至战场进行侦察，无人机群基于Websocket实现的全双工通信完成云边通信，支持基于Web应用的客户端与云端实现同步通信，可实时获取无人机状态；支持UAV3CA系统框架对无人机进行认证授权并对无人机实施有效管理。支持空地、空空和地地的信息协同。当无人机发现目标进行目标基于轻量化目标检测和分割模块，进行快速目标检测和分割，同时空空、空地信息协同，进行联合化作战。
参照图2为空地一体化无人机群云边协同目标锁定系统的轻量化目标检测和分割系统。通过边缘轻量化处理后，系统对边缘算力资源要求显著降低，可以更广泛的应用于地面装备和空中装备中。
(1)其中空地一体化无人机群云边协同目标锁定系统目标检测模块具体步骤如下：
(1-1)无人机群获取待检测图像，预处理至预设固定大小；
(1-2)将预处理后的图像输入Darknet53特征提取网络，通过卷积提取其中的不同特征；
(1-3)通过多次下采样和上采样操作，得到三个不同尺度的输出层，分别为13×13、26×26和52×52；
(1-4)在检测目标时，首先用S×S的网格对图像进行分割，如果一个网格中有目标的中心点，就预测该网格中的目标，并输出3个不同尺寸的边界框，具体的网络输出如公式所示：
S×S×B×(4+1+C) (1)
(1-5)如果存在目标的中心点，则预测该网格中目标的三个不同大小的边界框，并计算每个边界框的类别置信度；类别置信度由以下公式计算：
Pr(classi∣object)×Pr(object)×IoU (2)
其中，Pr(object)表示网格中是否存在目标，Pr(object)＝1表示存在目标，Pr(object)＝0表示不存在目标；Pr(classi∣object)表示目标属于第i类的概率；IoU表示预测边界框与真实边界框的交并比；
使用锚框机制来约束预测边界框，该机制可以缩小预测框并加速模型的收敛；将输入图像分割为多个网格单元；对每个网格单元预测多个候选边界框及其置信度和类别概率；
通过锚框机制约束预测边界框的形状和位置，其中锚框机制通过K-means算法对数据集进行聚类，得到一组预设的锚框尺寸和比例；
根据预设的锚框尺寸和比例，将预测边界框映射到特征图上，并计算其坐标参数；
(cx,cy)表示目标中心所在的网格的坐标；pw，ph分别表示先验轨道锚框机制映射到特征图上的宽度和高度；(tx,ty,tw,th)是网络需要训练求解的参数；σ()表示用Sigmoid函数将压缩到区间(0,1)。
使用Sigmoid函数对坐标参数进行压缩，使其落在(0,1)区间内；
使用损失函数对坐标参数进行优化，使其更接近真实值，其中损失函数包括：坐标损失Lossxy，Losswh用于衡量预测边界框与真实边界框之间的位置和形状差异；置信度损失Lossconf，用于衡量预测边界框与真实边界框之间的重叠程度差异；类别损失Lossclass，用于衡量预测边界框所属类别与真实类别之间的差异；i表示网格数；j表示每个网格预测的边界框的数量；(xi,yi)表示第ith个网格预测的质心的坐标；wi,hi d分别表示边界框的宽度和高度；p(c)表示该目标在第cth类别的概率；λcoord是权重系数；λnoobj是惩罚权重系数；表示第jth个网格单元的第ith个边界框是否负责预测该目标，取决于它取0或1的值。
Loss(object)＝Lossxy+Losswh+Lossconf+Lossclass (4)
对所有预测结果进行过滤，得到最终的输出。
(2)空地一体化无人机群云边协同目标锁定系统目标检测模块引入了解耦头、无锚点检测器、SimOTA分配策略、MixUp和Mosaic数据增强算法，不仅提高效率，而且在空地，空空场景中表现出更高的准确率，其特点如下：
(2-1)引入一种用于目标检测的解耦头结构，其将分类和定位过程分开，可应用于基于回归和基于分类的检测器。
(2-2)解耦头结构通过将特征分成两个并行卷积特征，并使用一阶卷积进行通道维度降低以减少参数数量，然后通过两个并行分支，显著提高模型收敛速度。可以将解耦的头结构应用于基于回归和基于分类的检测器，该头结构将分类和定位过程分开。在YOLO的早期版本中，仍然在主干中使用耦合的头部，即特征提取。开发人员通过两个实验分析表明，耦合检测器头可能会损害性能。相反，解耦头将特征分成两个并行卷积特征，并使用一阶卷积进行通道维度缩减以减少参数数量，然后通过两个并行分支，可以显著提高模型收敛速度。因此，本方法将分类和定位操作的解耦头分开，这既提高了本方法的收敛速度，又是端到端所必需的。
(2-3)引入无锚点检测器，其减少了原始特征图预测的3组锚点到1组，并直接预测4个值，从而减少了GFLOPs和参数的数量，加快了速度并呈现更好的结果。锚点检测器将原来一个特征图预测的3组锚点减少到1组，并直接预测4个值。GFLOPs和参数的数量减少，速度更快，呈现更好的结果。
(2-4)引入SimOTA分配策略，其通过简化OTA的第四和第五步骤，在保证识别精度的最大程度上缩短了训练时间。OTA从全局候选标签中分配，将分配过程从公式转化为求解最优传输(OT)问题，从而在分配策略中产生SOTA性能，简化开发为动态top-k策略以获得近似解，称为SimOTA。SimOTA在OTA基础上简化了第四和第五步骤，操作速度比OTA快，不需要额外的参数，并缩短了训练时间，同时最大程度地保证了识别精度。
(2-5)引入MixUp和Mosaic数据增强方法，高效稳定的数据增强使空地目标检测模块不再受限于ImageNet训练模型。MixUp被设计用于图像分类，目标检测训练以改进其BoF部分，大概通过将两个图像按一定比例混合到RGB值，并大概通过开发分析性地将两个图像按一定比例混合到RGB值，同时需要能够通过模型预测原始两个图像中的所有目标。本方法添加了MixUp和Mosaic算法，但在最后15个epoch时关闭，并发现高效稳定的数据增强使本方法不再从ImageNet训练模型中获益。
(2-6)为了便于在空地边缘计算资源受限的设备上运行，保留基线模型的小型和中型库存的特征检测头，并裁剪了大尺度目标的检测。在特征提取骨干网络中添加金字塔分裂注意力，通过在骨干网络中的Res单元的添加输出处添加金字塔分裂注意力来将金字塔分裂注意力结合，以更好地学习检测和定位目标区域。
(2-7)融合了一种SPC模块，其将输入张量分成S组，每组的卷积核大小按顺序增加，并对每组执行组卷积。首先，输入张量被分成S组，每组的卷积核大小按顺序增加，例如k＝3,5,7,9。考虑到当卷积核相对较大时，计算量也较大，因此，对每组进行组卷积，具体组数G＝exp(2,(k-1)/2)。当K＝3,5,7,9时，G＝1,2,3,4。不同大小的卷积后，在通道上进行拼接。经过SPC模块后，PSA将SPC模块的输出通过SE Weight Module获得通道注意力值，并进行此操作以获得不同尺度下特征图的注意力权重。这样做可以融合不同尺度的上下文信息，并产生更好的像素级注意力。最后，将每组通道注意力权重拼接在一起，softmax归一化，并对SPC模块的输出进行加权。
(2-8)融合了一种PSA模块，其将输入张量从通道分成S组，每组与不同卷积核大小进行卷积以获得不同尺度的感知场并提取不同尺度的信息。首先将输入张量从通道方向分成S组。每组张量分别经过不同卷积核大小的卷积，以获取不同尺度的感知域，并从不同尺度提取信息。然后，通过SE模块提取每组张量中通道的加权值，最后对S组加权值进行Softmax归一化和加权。本发明中的SPC模块将输入张量分成S组，并为每个组执行不同的卷积。通过在主干中的Res单元的add输出处添加Pyramid Split Attention来提高性能。如公式(7)所示，可以计算出软分配权重atti，其中Fi为第i组特征尺度图，SEWeight(Fi)为SEWeight模块从不同尺度的输入特征图获取的注意力权重。所以，SPC和PSA的融合可以将多尺度空间信息和跨通道注意力整合到每个特征组中，可以更好地实现局部和全局通道的信息交互。
(3)目标分割模块可以实现在目标检测锁定后进行目标精细分割，用于通过空地一体化目标检测确定区域后，进一步精确锁定目标，其特征如下：
(3-1)空地一体化目标分割模块使用HSV颜色空间进行目标区域分割。目标检测框通常包含更多杂乱和无关的背景，这会对目标区域的精确定位带来一定程度的干扰。为了进一步定位精确的目标区域，本发明使用HSV颜色空间对目标区域进行分割，考虑到精度和速度的平衡、易于移动端和嵌入式端部署。
(3-2)空地一体化目标分割模块应用1种颜色特征和2种几何特征，包括HSV颜色空间中三个通道值的阈值过滤、长宽比和圆度。用圆柱体用于表示HSV颜色空间。圆柱体的横截面可以看作极坐标系，其中H由极坐标中的极角表示，S由极坐标中的极轴长度表示，V由圆柱体中心轴的高度表示。颜色圆圈上的所有颜色都是光谱上的颜色，从红色开始逆时针旋转，Hue＝0表示红色，Hue＝120表示绿色，Hue＝240表示蓝色等等。横向表示饱和度，饱和度表示颜色与光谱颜色的接近程度。饱和度越高，颜色越深，越接近光谱，饱和度越低，颜色越浅，越接近白色。饱和度为0表示纯白。取值范围为0-100％，值越大，颜色越饱和。
空地一体化无人机群云边协同目标锁定系统完成目标检测和分割后，可以通过空地信息协同进行空地装备联动目标锁定。提高空地集群联合目标锁定精度和效率。
本发明实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (4)

1.一种空地一体化无人机群云边协同目标锁定系统，用于对无人机群进行协同目标检测、分割和锁定，其特征在于，包括依次相连的云边协同模块、目标检测模块以及目标分割模块。云边协同模块提供无人机群空地通讯、无人机群内部通信和信息协同；目标检测模块引入了解耦头、无锚点检测器、SimOTA分配策略、MixUp和Mosaic数据增强算法，实现目标检测锁定；目标分割模块在目标检测锁定后进行目标精细分割，通过空地一体化目标检测确定区域后，进一步精确定位目标。
2.根据权利要求1所述空地一体化无人机群云边协同目标锁定系统，其特征在于，所述云边协同模块包括：
(1-1)基于Websocket实现的全双工通信完成云边通信，支持基于Web应用的客户端与云端实现同步通信，可实时获取无人机状态；支持UAV3CA系统框架对无人机进行认证授权并对无人机实施有效管理。支持空地、空空和地地的信息协同，增强空地一体化联合目标识别、分割和锁定的效率和准确性。
(1-2)云边协同模块装备侧可接入地面装备和空中装备，边缘侧提供边缘功能组件：规则引擎、边缘路由引擎、装备接入管理、边缘应用管理、空地一体化边缘OS和EAAS；平台侧提供空地一体化云边协同控制台、装备实例管理、装备驱动管理和装备应用管理；云边协同模块可以为应用侧赋能，包括空对空场景应用、空对地场景应用、地对空场景应用和地对地场景应用。
3.根据权利要求1所述空地一体化无人机群云边协同目标锁定系统，其特征在于，目标检测模块通过以下步骤实现目标检测锁定：
(1)无人机群获取图像，预处理至固定大小；
(2)将预处理后的图像输入Darknet53特征提取网络，通过卷积提取其中的不同特征；
(3)通过多次下采样和上采样操作，得到三个不同尺度的输出层，分别为13×13、26×26和52×52；
(4)在每个输出层上，将图像分割为S×S个网格，并预测每个网格中是否存在目标的中心点；
(5)如果存在目标的中心点，则预测该网格中目标的三个不同大小的边界框，并计算每个边界框的类别置信度；类别置信度由以下公式计算：
Pr(classi∣object)×Pr(object)×IoU (1)
其中，Pr(object)表示网格中是否存在目标，Pr(object)＝1表示存在目标，Pr(object)＝0表示不存在目标；Pr(classi∣object)表示目标属于第i类的概率；IoU表示预测边界框与真实边界框的交并比；该步骤包括以下子步骤：
(5-1)使用锚框机制来约束预测边界框，该机制可以缩小预测框并加速模型的收敛；将输入图像分割为多个网格单元；对每个网格单元预测多个候选边界框及其置信度和类别概率；
(5-2)通过锚框机制约束预测边界框的形状和位置，其中锚框机制通过K-means算法对数据集进行聚类，得到一组预设的锚框尺寸和比例；
(5-3)根据预设的锚框尺寸和比例，将预测边界框映射到特征图上，并计算其坐标参数；
(5-4)使用Sigmoid函数对坐标参数进行压缩，使其落在(0,1)区间内；
(5-5)使用损失函数对坐标参数进行优化，使其更接近真实值，其中损失函数包括：坐标损失Lossxy，Losswh用于衡量预测边界框与真实边界框之间的位置和形状差异；置信度损失Lossconf，用于衡量预测边界框与真实边界框之间的重叠程度差异；类别损失Lossclass，用于衡量预测边界框所属类别与真实类别之间的差异；i表示网格数；j表示每个网格预测的边界框的数量；(xi,yi)表示第ith个网格预测的质心的坐标；wi,hi d分别表示边界框的宽度和高度；p(c)表示该目标在第cth类别的概率；λcoord是权重系数；λnoobj是惩罚权重系数；表示第jth个网格单元的第ith个边界框是否负责预测该目标，取决于它取0或1的值。
Loss(object)＝Lossxy+Losswh+Lossconf+Lossclass (2)
(6)对所有预测结果进行过滤，得到最终的输出。
4.根据权利要求1所述空地一体化无人机群云边协同目标锁定系统，其特征在于：目标分割模块可以实现在目标检测锁定后进行目标精细分割，用于通过空地一体化目标检测确定区域后，进一步精确定位目标，具体为，
(1)空地一体化目标分割模块使用HSV颜色空间进行目标区域分割。
(2)空地一体化目标分割模块应用1种颜色特征和2种几何特征，包括HSV颜色空间中三个通道值的阈值过滤、长宽比和圆度。
(3)空地一体化目标分割模块设置HSV的三个通道的颜色阈值，并通过阈值过滤仅保留与目标相关的区域；查找不包括孔洞的所有连通域；计算当前区域的长宽比并将其与先前测量的样本的标准长宽比进行比较；统计第三个连通域的面积和周长以计算圆度。
CN202311104324.5A 2023-08-30 2023-08-30 空地一体化无人机群云边协同目标锁定系统 Pending CN117333807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311104324.5A CN117333807A (zh) 2023-08-30 2023-08-30 空地一体化无人机群云边协同目标锁定系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311104324.5A CN117333807A (zh) 2023-08-30 2023-08-30 空地一体化无人机群云边协同目标锁定系统

Publications (1)

Publication Number Publication Date
CN117333807A true CN117333807A (zh) 2024-01-02

Family

ID=89294109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311104324.5A Pending CN117333807A (zh) 2023-08-30 2023-08-30 空地一体化无人机群云边协同目标锁定系统

Country Status (1)

Country Link
CN (1) CN117333807A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117912254A (zh) * 2024-03-19 2024-04-19 山东高速股份有限公司 一种高速公路空地检测协同布设方法、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117912254A (zh) * 2024-03-19 2024-04-19 山东高速股份有限公司 一种高速公路空地检测协同布设方法、设备及介质
CN117912254B (zh) * 2024-03-19 2024-05-31 山东高速股份有限公司 一种高速公路空地检测协同布设方法、设备及介质

Similar Documents

Publication Publication Date Title
CN114202696B (zh) 基于上下文视觉的sar目标检测方法、装置和存储介质
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
Tong et al. A supervised and fuzzy-based approach to determine optimal multi-resolution image segmentation parameters
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及系统
CN110866887A (zh) 一种基于多传感器的目标态势融合感知方法和系统
CN109214270A (zh) 基于无人机影像的疑似违法违规用地信息快速提取方法
CN112991487B (zh) 一种多线程实时构建正射影像语义地图的系统
US11715286B2 (en) Method and system for recognizing marine object using hyperspectral data
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN117333807A (zh) 空地一体化无人机群云边协同目标锁定系统
CN109668567A (zh) 一种无人机多云条件下偏振光定向方法
CN109829426A (zh) 基于高分遥感影像的铁路建设临时建筑监测方法及系统
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
Sun et al. RobNet: real-time road-object 3D point cloud segmentation based on SqueezeNet and cyclic CRF
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及系统
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN109062677A (zh) 一种无人机系统计算迁移方法
CN111950386A (zh) 基于功能智能的微型无人机环境自适应导航场景识别方法
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统
CN116580324A (zh) 一种基于YOLOv5的无人机对地目标检测方法
CN116070696A (zh) 一种跨域数据深度迁移方法、装置、设备及存储介质
Li et al. A real-time vehicle window positioning system based on nanodet
Sulaiman et al. Precision in Building Extraction: Comparing Shallow and Deep Models Using LiDAR Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination