CN116310689B - 一种无人智能多模态信息融合与目标感知系统及作业方法 - Google Patents

一种无人智能多模态信息融合与目标感知系统及作业方法 Download PDF

Info

Publication number
CN116310689B
CN116310689B CN202310299003.9A CN202310299003A CN116310689B CN 116310689 B CN116310689 B CN 116310689B CN 202310299003 A CN202310299003 A CN 202310299003A CN 116310689 B CN116310689 B CN 116310689B
Authority
CN
China
Prior art keywords
target
intelligent
information
task
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310299003.9A
Other languages
English (en)
Other versions
CN116310689A (zh
Inventor
朱金彪
刘玉泉
汤洪彪
潘洁
尹鹏宇
蒋雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202310299003.9A priority Critical patent/CN116310689B/zh
Publication of CN116310689A publication Critical patent/CN116310689A/zh
Application granted granted Critical
Publication of CN116310689B publication Critical patent/CN116310689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种无人智能多模态信息融合与目标感知系统及作业方法，所述系统包括：智能任务计算机、无人机平台、机载多传感器载荷以及地面指控中心组成，智能任务计算机包括智能任务管控模块和多模态数据智能处理模块，与机载多传感器载荷一同安装在无人机平台上，通过多传感器载荷包括可见光、红外、SAR、ISAR、目标搜索雷达等获取的不同种类图像、目标运动等多模态信息，利用人工智能技术进行实时的任务规划、数据融合处理、感知信息提取、任务推理分析等，在贸易繁华的海湾、水上通道和重要港口等位置为交通管制、贸易活动监测、渔业监测和应急救援提供感知信息支撑，也可用于陆地类似静、动态目标的感知。

Description

一种无人智能多模态信息融合与目标感知系统及作业方法
技术领域
本发明涉及航空遥感、人工智能技术领域，具体涉及一种无人智能多模态信息融合与目标感知系统及作业方法。
背景技术
在贸易繁华的海湾和重要港口探测船舶、人烟稀少地区的空难或车辆搜救、洪水或火灾等自然灾害区域的紧急影像获取等，急需无人智能化监视系统开展交通管制、贸易活动监测、渔业监测和应急救援。许多学者提出了多种使用不同的目标检测方法，例如光学或红外监控卫星、合成孔径雷达(SAR)卫星等，涉及四个基本步骤，即(1)土地掩蔽，(2)预处理，(3)预筛选，(4)监视。这四个步骤经常依次执行，在实际应用中非常麻烦。然而，对于不同分辨率的传感器图像、海况(例如，风和浪)等，这些传统方法仍然不够鲁棒，并且伴随着麻烦的模型参数调整，更糟糕的是，它们的检测速度也不够快，无法满足实时应用要求。
随着智能目标识别技术的兴起，更多新颖的解决方案开始出现。以SAR检测为例，大量基于深度学习的SAR目标检测研究已经出现，小样本深度学习目标检测识别算法是进一步提高雷达智能感知目标准确率表现的重要途径。同时，以往的信息处理模型往往只针对某种单一形式的传感器数据进行推理分析，比如图像识别、语音识别、文本识别等，多模态数据是一个比较广义的概念，既表现为包括网络文本、图像、音频、视频等复杂信息模态混合并存，又表现为各类模态对象形成复杂的关联关系和组织结构，还表现在具有不同模态的对象跨越或平台高度交互融合。通过多模态信息融合智能处理，能从各自的侧面表达相同的语义信息，能比单一的对象及其特定的模态更加全面地反映特定的内容信息。相同的内容信息跨越各类模态对象交叉传播与整合，只有对这些多模态数据进行融合分析，才能尽可能全面、正确地理解这种多模态综合体所蕴涵的内容信息。
发明内容
为解决上述技术问题，本发明提供一种无人智能多模态信息融合与目标感知系统及作业方法，以无人机为平台，融合多传感器载荷，利用人工智能技术进行实时的任务规划、数据融合处理、感知信息提取、任务推理分析等，充分发挥多模态信息的互补特性和人工智能优势，在贸易繁华的海湾、水上通道和重要港口等探测水面船舶、漂浮物、钻井平台等，为交通管制、贸易活动监测、渔业监测和应急救援提供感知信息支撑，也可用于陆地类似静、动态目标的感知。
为达到上述目的，本发明采用的技术方案如下：
一种无人智能多模态信息融合与目标感知系统，包括智能任务计算机、无人机平台、机载多传感器载荷以及地面指控中心；
所述智能任务计算机包括智能任务管控模块和多模态数据智能处理模块，所述多模态数据智能处理模块依托实时性智能处理软件，接收可见光、红外、SAR、ISAR传感器发送的数据，利用多源多模态数据融合及小样本目标识别智能处理技术，实现多源数据的互补性融合，提升有限目标数据条件下的识别准确率，为智能任务计算机决策提供可靠信息；所述智能任务管控模块分析机载多传感器载荷提供的数据和决策信息，联动人工智能决策算法和系统自动化作业流程，实现系统紧耦合集成和无人智能化实时探测作业；
所述无人机平台包括无人机飞控与导航设备、动力设备、电气设备及通信链路，采用载重能力大于50kg的固定翼机型无人机作为集成智能任务计算机和机载多传感器载荷的飞行平台，所述智能任务计算机安装在机腹内，多载荷的探测器安装在机腹下方，无人机电源系统为智能任务计算机和机载多传感器载荷提供电源，通信链路为智能任务计算机和机载多传感器载荷提供宽带通信和窄带通信，无人机飞控与导航设备执行智能任务计算机的智能任务管控模块发送的飞控指令；
所述机载多传感器载荷包括具有目标搜索和目标成像功能的多功能雷达、具有接收可见光、红外光的光电载荷、船舶自动识别系统，所述多功能雷达用于实现在全天时以及复杂气候条件下对海面、陆地广域搜索、目标区域合成孔径雷达成像、目标逆合成孔径成像，所述光电载荷具备红外和可见光成像能力，具备广域快速搜索、核心区域搜索功能，具备目标跟踪及稳定成像跟踪功能，船舶自动识别系统自动接收覆盖区域范围内各船舶的船位、航速、航向、船名、呼号信息；
所述地面指控中心包括高性能主机、双显示屏、载荷控制设备、通信链路，用来显示无人机的飞行信息和载荷信息，并控制无人机和无人机载荷，实现对无人机的起飞、任务作业以及降落的指控，对飞行和任务载荷状态参数进行监控，对紧急事件进行处理，通过数据链获取机上信息并进行记录，对数据进行整理和输出。
进一步地，所述多模态数据智能处理模块对获取的海上船舶多传感器数据进行融合处理，采用基于空间-光谱注意力机制的多源数据融合方法，对可见光、红外和雷达数据的互补信息进行融合；采用基于伪任务正则约束的线性注意力网络，加强网络的表征学习能力和提升模型的迁移学习能力，实现小样本条件下深度网络的优化学习。
进一步地，所述多模态数据智能处理模块的实现过程为：
采用等注意力机制模块代替全连接层，保留特征图决策的空间位置特征信息，通过度量卷积核提取特征图目标位置与网络决策的显著性区域的匹配度，获取关键节点，在等注意力变换中，通过1×1卷积核以及类别激活图，用于捕获小目标决策图的长距离依赖，保留小目标空间位置信息，建立图像上不同空间位置像素之间的联系，使用余弦距离来评估像素间特征相似度，同时，对像素间特征相似度与像素特征值的乘积进行归一化，计算当前空间位置像素与其他位置像素之间的亲和力关系，最后，含有空间位置信息的小目标决策特征计算公式如下：
其中，x表示小目标深度特征，y表示输出特征，其尺寸和x相同，i表示当前像素的空间位置，j表示可能关联的像素位置，f()用来计算和i所有可能关联的位置j之间的相似度，g()用于计算输入特征在j位置的特征值，C(x)是归一化参数，θ(xi)是表示小目标深度特征在i位置的余弦相位，φ(xj)表示输出特征在j位置的余弦相位；
在获取小目标决策特征后，为了度量卷积核对目标识别的贡献度，利用反卷积将每层不同卷积核提取的特征信息重新映射到像素空间，获取局部特征，反卷积网络基于高层的特征信息，通过反池化和激活函数，生成重构的局部特征图；
最后，计算局部特征图与决策特征图余弦相似度及显著性区域的交并比，探索整个检测网络中的重要节点，其中，计算公式如下：
其中，A为局部特征图，B为决策特征图，IoU表示局部特征图与决策特征图的交并比，∑|A∩B|表示局部特征图和决策特征图的交集，∑|A∪B|表示局部特征图和决策特征图的并集，Sim表示计算局部特征图与决策特征图余弦相似度，||||表示特征图内各像素特征值的模；
根据交并比与余弦相似度计算结果，对卷积核节点进行排序，然后通过设置阈值β、筛选网络的节点，当IoU<β、/>时，将对应节点删除，保留网络交并比与余弦相似度较大的节点，将深度卷积网络每个隐藏层中的关键节点和路径选出。
进一步地，所述多模态数据智能处理模块建设海上目标数据集，对获取的海上水面目标多传感器数据进行识别，所述海上目标数据集包括：SAR船舶检测数据集、光学图像船舶检测数据集和多源融合船舶检测数据集；对SAR船舶检测数据集、光学图像船舶检测数据集和多源融合船舶检测数据集的样本进行人工标注，然后将所有标注好的数据按比例划分为训练集、验证集、测试集，并在测试集中放入训练集中未出现过的类别，以验证模型的小样本学习能力以及非合作目标检测能力。
进一步地，所述智能任务管控模块包括规划作业子模块、任务状态评估子模块、感知信息输出子模块；
所述规划作业子模块用于制定装备执行任务过程中的时间、空间和行为准则，用于辅助人工决策操作；
所述任务状态评估子模块用于对多模态数据智能处理模块识别处理后的信息进行判断评估，并反馈指导决策，形成优化规划方案；
所述感知信息输出子模块用于将监视结果以监视感知信息的形式输出给地面指控中心的指挥决策人员。
本发明还提供一种无人智能多模态信息融合与目标感知系统的作业方法，包括如下步骤：
步骤1、地面指控中心通过窄带通信链路发送指挥控制命令、无人机飞行参数和载荷状态参数给智能任务管控模块；
步骤2、智能任务管控模块接受控制指令，输入船舶的方位、活动时间、范围、先验特征属性，图像质量与分辨率要求；
步骤3、智能任务管控模块根据任务信息制定船舶感知分析的优先级策略，按照目标优先级顺序，若目标是漂浮/静止的，以漂浮/静止的目标为圆心制作圆迹飞行作业计划，确定每个圆迹飞行作业计划中无人机的飞行方向、航高、飞行轨迹及作业区域范围，并将漂浮/静止的目标的圆迹飞行作业计划发送给无人机飞控与导航设备、任务载荷和多模态数据智能处理模块；若目标是运动的，制作与运动目标运行轨迹一致的飞行作业计划，确定每个飞行作业计划中无人机的飞行方向、航高、飞行轨迹，并将所有目标的飞行作业计划发送给无人机飞控与导航设备、任务载荷和多模态数据智能处理模块；
步骤4、无人机飞控与导航设备根据飞行作业计划控制无人机执行飞行任务；
步骤5、无人机飞控与导航设备将无人机飞行参数发送给智能任务管控模块，智能任务管控模块再将飞行参数发送给任务载荷；
步骤6、搜索任务载荷，根据广域飞行作业计划和无人机飞行参数执行目标搜索、识别、跟踪、监视及数据采集操作；
步骤7、多模态数据智能处理模块对采集的数据进行融合实时成像处理，结合目标先验特征属性，进行目标的精识别，将融合识别数据发送到智能任务管控模块；
步骤8、智能任务管控模块根据目标的精识别的结果，生成所有目标的态势感知图和实时遥感影像图，通过宽带通信链路发送到地面指控中心。
进一步地，在步骤6包括：
a)在执行海上目标搜索、识别、跟踪、监视任务时，搜索雷达先采用海上广域搜索模式，对大面积搜索海域进行目标搜索、跟踪、监视，搜索到目标后，实时标注每个海上目标的编号、发现时间、经纬度、航向、航速、反射信号强弱信息；对选中目标选用目标逆合成孔径成像模式进行成像识别，进一步实现目标识别与跟踪；
b)在执行陆地目标搜索、识别、跟踪、监视任务时，当目标为移动目标时，搜索雷达采用地面动目标检测模式，对大面积搜索区域进行移动目标的搜索、跟踪、监视，搜索到目标后，实时标注每个陆地移动目标的编号、发现时间、经纬度、运动方向、速度、反射信号强弱信息；当目标为静止目标时，搜索雷达采用合成孔径成像模式，对目标区域进行实时成像，并与地理图象相匹配，为目标识别提供影像支撑。
本发明具有如下有益效果：
1、目标侦察监视任务全自主化、自动化、智能化，通过本发明的系统可以协同控制各类载荷和无人机，实现船舶监视任务全回路、全流程无人自主自动闭环，借助人工智能技术实现多源数据智能融合处理、感知信息自动提取、无人智能推理决策、自主航路规划及指挥控制；
2、数据处理算法鲁棒性、准确率、实时性优势，适应复杂环境，可以实现远距离、全天候、全天时、高分辨的目标探测能力，提升系统的信息利用率和信息处理能力；
3、本发明系统与现役平台和传感器适应性良好，新架构设计显著提升现有设备效能，核心模块包括智能处理器和智能任务机，在硬件组成上是一个独立模块，只需对现有侦察监视装备进行接口改造即可构建无人智能多模态信息融合与目标感知系统，部署的方便性和经济性较好；
4、技术成熟度高，核心基础软硬件自主可控。
附图说明
图1为本发明的一种无人智能多模态信息融合与目标感知系统组成框图；
图2本发明的智能任务管控模块原理框图；
图3本发明的基于表征一致性度量的小目标识别网络剪枝示意图；
图4本发明的作业方法工作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明的一种无人智能多模态信息融合与目标感知系统包括智能任务计算机、无人机平台、机载多传感器载荷以及地面指控中心组成，可以协同控制机载多传感器载荷和无人机，实现在贸易繁华的海湾、通道或重要港口探测船舶，任务全回路、全流程无人自主自动闭环，借助人工智能技术实现多源数据智能融合处理、船舶感知信息自动提取、无人智能推理决策、自主航路规划及指挥控制。
所述机载多传感器载荷包括：具有目标搜索和目标成像功能的多功能雷达、具有接收可见光/红外性能的光电载荷、船舶自动识别系统(AIS)接收机，多功能雷达用于实现在全天时以及复杂气候条件下对海面/陆地广域搜索、目标区域合成孔径雷达(SAR)成像、目标逆合成孔径(ISAR)成像等多种功能，光电载荷具备红外和可见光成像能力，具备广域快速搜索、核心区域搜索功能，具备目标跟踪及稳定成像跟踪功能，AIS接收机能自动接收覆盖区域范围内各船舶的船位、航速、航向、船名、呼号等重要信息。
所述智能任务计算机包括智能任务管控模块和多模态数据智能处理模块，多模态数据智能处理模块依托实时性智能处理软件，接收雷达数据、光电数据和AIS报文信息，利用多源多模态数据融合及小样本目标识别智能处理技术，实现多源数据的互补性融合，提升有限目标数据条件下的识别准确率，智能任务管控模块能够分析机载多传感器载荷发来的载荷参数和多模态数据智能处理模块提供融合识别数据，联动人工智能决策算法和系统自动化作业流程，向机载多传感器载荷及多模态数据智能处理模块发送飞行参数、任务指令，实现系统紧耦合集成和无人智能化实时探测作业。
所述无人机平台包括无人机飞控与导航设备、动力设备、电气设备及通信链路，采用载重能力大于50kg的固定翼机型无人机，作为集成智能任务计算机和机载多传感器载荷的飞行平台，智能任务计算机安装在机腹内，多载荷的探测器部分安装在无人机机腹下方，无人机电源系统直接为智能任务计算机和机载多传感器载荷提供电源，无人机通信系统为智能任务计算机和机载多传感器载荷提供宽带通信和窄带通信，宽带通信负责将雷达数据、光电数据、融合决策数据和AIS报文信息发送至地面指控中心，窄带通信负责将地面指控中心的控制指令分别发送到智能任务计算机和无人机飞控与导航设备，同时将无人机飞控与导航设备发来的参数发送到地面控制中心；
所述地面指控中心包括高性能主机、双显示屏、载荷控制设备、通信链路等设备，主要用来显示无人机的飞行信息和载荷信息，并控制无人机和无人机载荷，实现对飞机的起飞、任务作业以及降落进行有人指控，对飞行和任务载荷状态参数进行监控，发生紧急事件时的处理，通过数据链获取机上信息并进行记录，对数据进行整理和输出等。
如图2所示，所述智能任务计算机的多模态数据智能处理模块对获取的海上船舶多传感器数据进行融合处理，采用基于空间-光谱注意力机制的多源数据融合方法，对可见光、红外和雷达数据的互补信息进行有效融合，解决多源数据存在信息分布不一致的问题；采用基于伪任务正则约束的线性注意力网络，加强网络的表征学习能力和提升模型的迁移学习能力，实现小样本条件下深度网络的优化学习，解决海上船舶数据有限条件下深度网络表征学习能力差和过拟合的问题。
所述智能任务计算机的多模态数据智能处理模块，为了提供能够在移动端部署的具有实时处理能力的嵌入式计算平台，利用深度网络剪枝的压缩技术，在有限算力条件下提高模型的运行效率，同时避免网络性能的损失，如图3所示，具体为：
采用等注意力机制模块代替全连接层，保留特征图决策的空间位置特征信息，通过度量卷积核提取特征图目标位置与网络决策的显著性区域的匹配度，获取关键节点，影响力越大的节点则越有助于检测网络对小目标空间位置特征信息的学习，在等注意力变换中，通过1×1卷积核以及类别激活图，用于捕获小目标决策图的长距离依赖，保留小目标空间位置信息，建立图像上不同空间位置像素之间的联系，使用余弦距离来评估像素间特征相似度，同时，对像素间特征相似度与像素特征值的乘积进行归一化，计算当前空间位置像素与其他位置像素之间的亲和力关系，最后，含有空间位置信息的小目标决策特征计算公式如下：
其中，x表示小目标深度特征，y表示输出特征，其尺寸和x相同，i表示当前像素的空间位置，j表示可能关联的像素位置，f()用来计算和i所有可能关联的位置j之间的相似度，g()用于计算输入特征在j位置的特征值，C(x)是归一化参数，θ(xi)是表示小目标深度特征在i位置的余弦相位，φ(xj)表示输出特征在j位置的余弦相位；
在获取决策特征后，为了度量卷积核对目标识别的贡献度，利用反卷积将每层不同卷积核提取的特征信息重新映射到像素空间，获取局部特征，反卷积网络基于高层的特征信息，通过反池化和激活函数，生成重构的局部特征图，可以在原始图像中找到网络做出相关判断的决策区域，提高了网络决策的可解释性；
最后，计算局部特征图与决策特征图余弦相似度及显著性区域的交并比，其中，交并比越大，余弦相似度越高，说明该卷积核提取特征对目标识别决策的贡献程度越大，由此可以探索整个检测网络中的重要节点，其中，计算公式如下：
其中，A为局部特征图，B为决策特征图，IoU表示局部特征图与决策特征图的交并比，∑|A∩B|表示局部特征图和决策特征图的交集，∑|A∪B|表示局部特征图和决策特征图的并集，Sim表示计算局部特征图与决策特征图余弦相似度，||||表示特征图内各像素特征值的模；根据交并比值与余弦相似度计算结果，对卷积核节点进行排序，然后通过设置阈值β、筛选网络的节点，当IoU<β、/>时，将对应节点删除，保留网络交并比值与余弦相似度较大的节点，将深度卷积网络每个隐藏层中的关键节点和路径选出；
所述智能任务计算机的多模态数据智能处理模块对获取的海上水面目标多传感器数据进行识别，需要建设海上目标数据集，包括：SAR船舶检测数据集、光学图像船舶检测数据集和多源融合船舶检测数据集三个部分，具体为：
a)建设SAR船舶检测数据集：针对繁忙的港口，海峡，河流区域等，从哥白尼开放式访问中心下载15个RAW SENINEL SAR数据，获取RAW Sentinel-1 SAR数据的详细信息，为了便于深度学习模型训练时的数据读取，将原始TIFF文件转换为Joint PhotographicExperts Group(JPG)文件，利用Geospatial Data Abstraction Library(GDAL)来进行格式转换，为了生成更均匀的训练样本，以方便下一步所需进行的图像裁剪，通过重采样的方法将这些图像尺寸重新调整为24，000×16，000像素，然后将这些大规模SAR图像直接切成9000个800×800像素的子图像，最终每个大规模图像包括600个子图像，在数据集中生成了总计9000个子图像用于网络培训和测试；
b)建设光学图像船舶检测数据集：光学图像船舶检测数据集包含来自两种场景的图像，包括海上船舶和近岸船舶，所有图像均来自六个著名的港口，数据获取过程中不仅会收集谷歌地球显示的默认图片，还会在同一位置下载历史图片，图像分辨率介于2米和0.4米之间，图像尺寸范围从300×300到1500×900，其中大部分大于1000×600，在采集数据的过程中，记录了图像信息包括港口、数据来源、图像日期、地理坐标、分辨率层、比例尺等。值得注意的是，谷歌地球的地理坐标系可能会为同一位置分配略有不同的坐标在地球上，每张图像都记录了一个近地地理坐标，最终得到1061幅图像，其中70幅海洋图像，90个样本，991幅海陆图像，2886个样本，对这些样本添加注释，将数据集分为训练集、验证集和测试集，分别包含436张图像(包括1207个样本)、181张图像(包括541个样本)和444张图像(包括1228个样本)，数据集中大多数图像都是近海数据，为了满足海上船舶检测工作的需要，目前还提供了另外610张来自穆曼斯克港的图像，其中包括156张海洋图像和454张海陆图像；
c)建立多源融合船舶检测数据集：所述系统进行可见光、红外、SAR图像数据采集任务，规划多架次、多地区的采集，如从博鳌机场出发，飞行路线途径海湾港口、南海岛礁等区域，以满足数据集样本特征多样性以及数据量的需求，在收集数据的过程中记录图像信息，包括港口、数据源、图像日期、地理坐标、分辨率层、比例等；
数据采集任务完成后，对采集到的成像数据进行筛选和后处理，如剔除大量不包含目标的无用区域，保留目标周边一定范围内的区域数据，在样本类别设置中，样本总类别不少于10类，每一类需要尽可能保证特征多样性，如船类目标需包括近岸样本、离岸样本，以适应目标在近岸和离岸两种状态下的特征收集，不同类别之间保持样本量的平衡，避免出现某一类或几类样本量过多或过少的情况；
对所有样本进行人工标注，然后将所有标注好的数据按一定比例划分为训练集、验证集、测试集，三者样本数量占总数比率约为60％、20％、20％。并在测试集中放入训练集中未出现过的类别，以验证模型的小样本学习能力以及非合作目标检测能力。
所述智能任务计算机的智能任务管控模块包括规划作业子模块、任务状态评估子模块、感知信息输出子模块，具体为：
a)规划作业子模块用于制定装备执行任务过程中的时间、空间和行为准则，通常包括航线规划和机载设备使用规划，以及与其他搜索感知系统的协同和交互规划等，根据智能任务计算机所具有的自主化能力大小，还包括冲突检测、安全评估、自动威胁规避和航线生成等分析计算模块，用于辅助人工决策操作；
b)任务状态评估子模块的任务状态评估的主要作用是对智能处理器识别处理后的信息进行判断评估，并反馈以指导决策，形成优化规划方案，同时便于指挥员和操作员熟悉侦察过程，了解和把握关键环节；
c)感知信息输出子模块的信息输出是将监视结果以监视感知信息的形式输出给地面指控中心的指挥决策人员，输出的信息应该是完备、一致和可理解的，能够被其他信息系统正确读取。
如图4所示，本发明还提供一种无人智能多模态信息融合与目标感知系统的作业方法，包括如下步骤：
步骤1、地面指控中心通过窄带通信链路发送指挥控制命令、无人机飞行参数和载荷状态参数给智能任务管控模块，同时将目标概知信息发送给智能任务管控模块；
步骤2、智能任务管控模块接受控制指令，输入船舶的方位、活动时间、范围、先验特征属性，图像质量与分辨率要求等任务信息；
步骤3、智能任务管控模块根据任务信息制定船舶感知分析的优先级策略，按照船舶优先级顺序，若船舶是漂浮/静止的，以漂浮/静止船舶为圆心制作圆迹飞行作业计划，确定每个圆迹飞行作业计划中无人机的飞行方向、航高、飞行轨迹及作业区域范围，并将漂浮/静止船舶的圆迹飞行作业计划发送给无人机飞控与导航设备、任务载荷和多模态数据智能处理模块；若船舶是运动的，制作与运动目标运行轨迹一致的飞行作业计划，确定每个飞行作业计划中无人机的飞行方向、航高、飞行轨迹，并将所有船舶的飞行作业计划发送给无人机飞控与导航设备、任务载荷和多模态数据智能处理模块；
步骤4、无人机飞控与导航设备根据飞行作业计划控制无人机执行飞行任务；
步骤5、无人机飞控与导航设备将无人机飞行参数发送给智能任务管控模块，智能任务管控模块再将飞行参数发送给任务载荷；
步骤6、搜索雷达、SAR、ISAR、AIS和光学吊舱等任务载荷，根据广域飞行作业计划和无人机飞行参数执行目标搜索、识别、跟踪、监视及数据采集等操作，多功能雷达的操作方法是：
a)在执行海上目标搜索、识别、跟踪、监视任务时，搜索雷达先采用海上广域搜索(MWAS)模式，对大面积搜索海域进行目标搜索、跟踪、监视，搜索到目标后，实时标注每个海上目标的编号、发现时间、经纬度、航向、航速、反射信号强弱等信息；可对选中目标选用ISAR模式进行成像识别，进一步实现目标识别与跟踪；
b)在执行陆地目标搜索、识别、跟踪、监视任务时，当目标为移动目标时，搜索雷达采用地面动目标检测(GMTI)模式，对大面积搜索区域进行移动目标的搜索、跟踪、监视，搜索到目标后，实时标注每个陆地移动目标的编号、发现时间、经纬度、运动方向、速度、反射信号强弱等信息；当目标为静止目标时，搜索雷达采用合成孔径成像(SAR)模式，对目标区域进行实时成像，并与地理图象相匹配，为目标识别提供影像支撑
步骤7、多模态数据智能处理模块对采集的数据进行融合实时成像处理，结合目标先验特征属性，进行目标的精识别，将融合识别数据发送到智能任务管控模块；
步骤8、智能任务管控模块根据目标的精识别结果，生成所有目标的态势感知图和实时遥感影像图，通过宽带通信链路发送到地面指控中心。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种无人智能多模态信息融合与目标感知系统，其特征在于，包括智能任务计算机、无人机平台、机载多传感器载荷以及地面指控中心；
所述智能任务计算机包括智能任务管控模块和多模态数据智能处理模块，所述智能任务管控模块分析机载多传感器载荷提供的数据和决策信息，联动人工智能决策算法和系统自动化作业流程，实现系统紧耦合集成和无人智能化实时探测作业；所述多模态数据智能处理模块依托实时性智能处理软件，接收可见光、红外、SAR、ISAR传感器发送的数据，利用多源多模态数据融合及小样本目标识别智能处理技术，实现多源数据的互补性融合，提升有限目标数据条件下的识别准确率，为智能任务计算机决策提供可靠信息；
所述无人机平台包括无人机飞控与导航设备、动力设备、电气设备及通信链路，采用载重能力大于50kg的固定翼机型无人机作为集成智能任务计算机和机载多传感器载荷的飞行平台，所述智能任务计算机安装在机腹内，机载多传感器载荷的探测器安装在机腹下方，无人机电源系统为智能任务计算机和机载多传感器载荷提供电源，通信链路为智能任务计算机和机载多传感器载荷提供宽带通信和窄带通信，无人机飞控与导航设备执行智能任务计算机的智能任务管控模块发送的飞控指令；
所述机载多传感器载荷包括具有目标搜索和目标成像功能的多功能雷达、具有接收可见光、红外光的光电载荷、船舶自动识别系统接收机，所述多功能雷达用于实现在全天时以及复杂气候条件下对海面、陆地广域搜索、目标区域合成孔径雷达成像、目标逆合成孔径成像，所述光电载荷具备红外和可见光成像能力，具备广域快速搜索、核心区域搜索功能，具备目标跟踪及稳定成像跟踪功能，所述船舶自动识别系统接收机自动接收覆盖区域范围内各船舶的船位、航速、航向、船名、呼号信息；
所述地面指控中心包括高性能主机、双显示屏、载荷控制设备、通信链路，用来显示无人机的飞行信息和载荷信息，并控制无人机和无人机载荷，实现对无人机的起飞、任务作业以及降落的指控，对飞行和任务载荷的状态参数进行监控，对紧急事件进行处理，通过数据链获取机上信息并进行记录，对数据进行整理和输出。
2.根据权利要求1所述的一种无人智能多模态信息融合与目标感知系统，其特征在于，所述多模态数据智能处理模块对获取的海上船舶多传感器数据进行融合处理，采用基于空间-光谱注意力机制的多源数据融合方法，对可见光、红外和雷达数据的互补信息进行融合；采用基于伪任务正则约束的线性注意力网络，加强网络的表征学习能力和提升模型的迁移学习能力，实现小样本条件下深度网络的优化学习。
3.根据权利要求1所述的一种无人智能多模态信息融合与目标感知系统，其特征在于，所述多模态数据智能处理模块的实现过程为：
采用等注意力机制模块代替全连接层，保留特征图决策的空间位置特征信息，通过度量卷积核提取特征图目标位置与网络决策的显著性区域的匹配度，获取关键节点，在等注意力变换中，通过1×1卷积核以及类别激活图，用于捕获小目标决策图的长距离依赖，保留小目标空间位置信息，建立图像上不同空间位置像素之间的联系，使用余弦距离来评估像素间特征相似度，同时，对像素间特征相似度与像素特征值的乘积进行归一化，计算当前空间位置像素与其他位置像素之间的亲和力关系，最后，含有空间位置信息的小目标决策特征计算公式如下：
其中，x表示小目标深度特征，y表示输出特征，其尺寸和x相同，i表示当前像素的空间位置，j表示可能关联的像素位置，f()用来计算和i所有可能关联的位置j之间的相似度，g()用于计算输入特征在j位置的特征值，C(x)是归一化参数，θ(xi)是表示小目标深度特征在i位置的余弦相位，φ(xj)表示输出特征在j位置的余弦相位；
在获取小目标决策特征后，为了度量卷积核对目标识别的贡献度，利用反卷积将每层不同卷积核提取的特征信息重新映射到像素空间，获取局部特征，反卷积网络基于高层的特征信息，通过反池化和激活函数，生成重构的局部特征图；
最后，计算局部特征图与决策特征图余弦相似度及显著性区域的交并比，探索整个检测网络中的重要节点，其中，计算公式如下：
其中，A为局部特征图，B为决策特征图，IoU表示局部特征图与决策特征图的交并比，∑|A∩B|表示局部特征图和决策特征图的交集，∑|A∪B|表示局部特征图和决策特征图的并集，Sim表示计算局部特征图与决策特征图余弦相似度，|| ||表示特征图内各像素特征值的模；
根据交并比与余弦相似度计算结果，对卷积核节点进行排序，然后通过设置阈值β、筛选网络的节点，当IoU<β、/>时，将对应节点删除，保留网络交并比与余弦相似度较大的节点，将深度卷积网络每个隐藏层中的关键节点和路径选出。
4.根据权利要求1所述的一种无人智能多模态信息融合与目标感知系统，其特征在于，所述多模态数据智能处理模块建设海上目标数据集，对获取的海上水面目标多传感器数据进行识别，所述海上目标数据集包括：SAR船舶检测数据集、光学图像船舶检测数据集和多源融合船舶检测数据集；对SAR船舶检测数据集、光学图像船舶检测数据集和多源融合船舶检测数据集的样本进行人工标注，然后将所有标注好的数据按比例划分为训练集、验证集、测试集，并在测试集中放入训练集中未出现过的类别，以验证模型的小样本学习能力以及非合作目标检测能力。
5.根据权利要求1所述的一种无人智能多模态信息融合与目标感知系统，其特征在于，所述智能任务管控模块包括规划作业子模块、任务状态评估子模块、感知信息输出子模块；
所述规划作业子模块用于制定装备执行任务过程中的时间、空间和行为准则，用于辅助人工决策操作；
所述任务状态评估子模块用于对多模态数据智能处理模块识别处理后的信息进行判断评估，并反馈指导决策，形成优化规划方案；
所述感知信息输出子模块用于将监视结果以监视感知信息的形式输出给地面指控中心的指挥决策人员。
6.根据权利要求1-5之一所述的一种无人智能多模态信息融合与目标感知系统的作业方法，其特征在于，包括如下步骤：
步骤1、地面指控中心通过窄带通信链路发送指挥控制命令、无人机飞行参数和载荷状态参数给智能任务管控模块，同时将目标概知信息发送给智能任务管控模块；
步骤2、智能任务管控模块接受控制指令，输入船舶的方位、活动时间、范围、先验特征属性，图像质量与分辨率要求；
步骤3、智能任务管控模块根据任务信息制定船舶感知分析的优先级策略，按照目标优先级顺序，若目标是漂浮/静止的，以漂浮/静止的目标为圆心制作圆迹飞行作业计划，确定每个圆迹飞行作业计划中无人机的飞行方向、航高、飞行轨迹及作业区域范围，并将漂浮/静止的目标的圆迹飞行作业计划发送给无人机飞控与导航设备、任务载荷和多模态数据智能处理模块；若目标是运动的，制作与运动目标运行轨迹一致的飞行作业计划，确定每个飞行作业计划中无人机的飞行方向、航高、飞行轨迹，并将所有目标的飞行作业计划发送给无人机飞控与导航设备、任务载荷和多模态数据智能处理模块；
步骤4、无人机飞控与导航设备根据飞行作业计划控制无人机执行飞行任务；
步骤5、无人机飞控与导航设备将无人机飞行参数发送给智能任务管控模块，智能任务管控模块再将飞行参数发送给任务载荷；
步骤6、搜索任务载荷，根据广域飞行作业计划和无人机飞行参数执行目标搜索、识别、跟踪、监视及数据采集操作；
步骤7、多模态数据智能处理模块对采集的数据进行融合实时成像处理，结合目标先验特征属性，进行目标的精识别，将融合识别数据发送到智能任务管控模块；
步骤8、智能任务管控模块根据目标的精识别的结果，生成所有目标的态势感知图和实时遥感影像图，通过宽带通信链路发送到地面指控中心。
7.根据权利要求6所述的作业方法，其特征在于，在步骤6包括：
a)在执行海上目标搜索、识别、跟踪、监视任务时，搜索雷达先采用海上广域搜索模式，对大面积搜索海域进行目标搜索、跟踪、监视，搜索到目标后，实时标注每个海上目标的编号、发现时间、经纬度、航向、航速、反射信号强弱信息；对选中目标选用目标逆合成孔径成像模式进行成像识别，进一步实现目标识别与跟踪；
b)在执行陆地目标搜索、识别、跟踪、监视任务时，当目标为移动目标时，搜索雷达采用地面动目标检测模式，对大面积搜索区域进行移动目标的搜索、跟踪、监视，搜索到目标后，实时标注每个陆地移动目标的编号、发现时间、经纬度、运动方向、速度、反射信号强弱信息；当目标为静止目标时，搜索雷达采用合成孔径成像模式，对目标区域进行实时成像，并与地理图像相匹配，为目标识别提供影像支撑。
CN202310299003.9A 2023-03-24 2023-03-24 一种无人智能多模态信息融合与目标感知系统及作业方法 Active CN116310689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310299003.9A CN116310689B (zh) 2023-03-24 2023-03-24 一种无人智能多模态信息融合与目标感知系统及作业方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310299003.9A CN116310689B (zh) 2023-03-24 2023-03-24 一种无人智能多模态信息融合与目标感知系统及作业方法

Publications (2)

Publication Number Publication Date
CN116310689A CN116310689A (zh) 2023-06-23
CN116310689B true CN116310689B (zh) 2023-09-08

Family

ID=86802960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310299003.9A Active CN116310689B (zh) 2023-03-24 2023-03-24 一种无人智能多模态信息融合与目标感知系统及作业方法

Country Status (1)

Country Link
CN (1) CN116310689B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117877273B (zh) * 2024-03-12 2024-05-10 山东高速股份有限公司 基于空地信息融合的智慧高速交通状态判别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044052A (zh) * 2019-12-31 2020-04-21 西安交通大学 一种基于智能感知的无人机自适应导航系统及方法
CN113627473A (zh) * 2021-07-06 2021-11-09 哈尔滨工程大学 基于多模态传感器的水面无人艇环境信息融合感知方法
CN114972842A (zh) * 2022-04-24 2022-08-30 中山大学 一种基于无人机载的多模态图像融合探雷方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10110795B2 (en) * 2002-06-04 2018-10-23 General Electric Company Video system and method for data communication
US10991156B2 (en) * 2018-12-05 2021-04-27 Sri International Multi-modal data fusion for enhanced 3D perception for platforms

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044052A (zh) * 2019-12-31 2020-04-21 西安交通大学 一种基于智能感知的无人机自适应导航系统及方法
CN113627473A (zh) * 2021-07-06 2021-11-09 哈尔滨工程大学 基于多模态传感器的水面无人艇环境信息融合感知方法
CN114972842A (zh) * 2022-04-24 2022-08-30 中山大学 一种基于无人机载的多模态图像融合探雷方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multiband spatial angular filtering transmissions through cascade asymmetrical metasurfaces;Jinbiao Zhu.et.;《Microwave and Optical Technology Letters》;第2969-2974页 *

Also Published As

Publication number Publication date
CN116310689A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Kako et al. Estimation of plastic marine debris volumes on beaches using unmanned aerial vehicles and image processing based on deep learning
CN102426019B (zh) 一种无人机景象匹配辅助导航方法及系统
CN110673628B (zh) 一种复合翼无人机油气管线巡检方法
CN110009010A (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN107731011B (zh) 一种港口泊船监测方法、系统及电子设备
CN112347895A (zh) 一种基于边界优化神经网络的舰船遥感目标检测方法
CN108061572B (zh) 一种海洋核动力平台综合态势显控系统及方法
CN116310689B (zh) 一种无人智能多模态信息融合与目标感知系统及作业方法
Jeon et al. A real-time drone mapping platform for marine surveillance
Carlson et al. Surface ocean dispersion observations from the ship-tethered aerostat remote sensing system
CN110751077B (zh) 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法
Kaya et al. Car Detection from Very High-Resolution UAV Images Using Deep Learning Algorithms
Costello et al. Transference of training for a dnn to complete the aerial refueling task
Brauchle et al. MACS-Mar: a real-time remote sensing system for maritime security applications
CN117372875A (zh) 一种航空遥感目标识别方法
Yu et al. Sea ice extraction via remote sensed imagery: Algorithms, datasets, applications and challenges
Vos Remote sensing of the nearshore zone using a rotary-wing UAV
Alessandrini et al. Data driven contextual knowledge from and for maritime situational awareness
Betti et al. Real-time target detection in maritime scenarios based on YOLOv3 model
Bhaganagar et al. A Novel Machine-Learning Framework With a Moving Platform for Maritime Drift Calculations
CN112906538A (zh) 一种基于无人值守平台的舰船目标图像识别系统及方法
CN117058556B (zh) 基于自监督蒸馏的边缘引导sar图像舰船检测方法
Tahir et al. Rapid detection of aircrafts in satellite imagery based on deep neural networks
Power et al. GPS Alignment from Multiple Sources to Extract Aircraft Bearing in Aerial Surveys
Zavtkevics et al. Analysis of Remotely Piloted Aircraft Payload for Oil Spill Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant