CN115471782B - 一种面向无人艇的红外舰船目标检测方法及装置 - Google Patents

一种面向无人艇的红外舰船目标检测方法及装置 Download PDF

Info

Publication number
CN115471782B
CN115471782B CN202211160049.4A CN202211160049A CN115471782B CN 115471782 B CN115471782 B CN 115471782B CN 202211160049 A CN202211160049 A CN 202211160049A CN 115471782 B CN115471782 B CN 115471782B
Authority
CN
China
Prior art keywords
nodes
layer
network model
ship
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211160049.4A
Other languages
English (en)
Other versions
CN115471782A (zh
Inventor
吴鹏
苏绍璟
左震
孙备
郭润泽
童小钟
钱翰翔
孙晓永
黄泓赫
张家菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202211160049.4A priority Critical patent/CN115471782B/zh
Publication of CN115471782A publication Critical patent/CN115471782A/zh
Application granted granted Critical
Publication of CN115471782B publication Critical patent/CN115471782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Vascular Medicine (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种面向无人艇的红外舰船目标检测方法及装置，该方法包括：采集水面舰船目标图像，构建红外舰船目标数据集，并将舰船目标进行像素级标注；将红外舰船目标数据集划分为训练集、验证集和测试集；建立基于堆叠特征提取单元的堆叠网络模型；基于训练集对堆叠网络模型进行训练，得到训练不同步数时的网络模型权重；将各网络模型权重在验证集上进行测试，分别计算IoU和nIoU指标；选择IoU和nIoU指标之和为最大值时对应的网络模型权重记为最终模型权重；基于最终模型权重在测试集上实现对红外舰船目标的检测，同时将最终模型权重部署到无人艇处理平台上，对实时采集的红外图像进行舰船目标检测。本发明检测精度高，能适应目标不清晰、模糊时的场景。

Description

一种面向无人艇的红外舰船目标检测方法及装置
技术领域
本发明涉及红外舰船目标检测领域，具体是涉及一种面向无人艇的红外舰船目标检测方法及装置。
背景技术
随着海洋运输业的发展，海上出现越来越多不同类型的船舶，对安全航行构成一定的隐患。复杂海洋环境中模糊小型舰船目标的检测是当前的研究热点。可见光探测系统无法应对夜景和弱光条件，海杂波影响着航海雷达的精度。红外探测系统能够应对夜晚场景和低照度场景。红外舰船目标检测是海上目标搜索和跟踪的重要补充方法，具有极大的研究价值。提高红外舰船检测的准确性将有利于在复杂的海面环境中监测、检测和识别舰船目标。
然而，红外舰船目标检测面临许多技术挑战。(a)红外传感器容易受到许多干扰，如噪声和海杂波。此外，海浪和尾流通常不稳定且不可预测，这增加了红外弱小舰船目标检测的难度。(b)红外舰船目标的纹理结构数据缺乏。由于成像距离长，成像质量差，图像中待测目标的信号较弱，缺乏明显的形状和纹理细节，几乎无法获得可区分的特征，这增加了检测的不确定性。(c)船舶的可变尺寸和不规则形状进一步限制了红外舰船目标检测的鲁棒性。红外图像的分辨率较低，图像中目标的像素从几个像素到几十个像素不等，辐射能量强度较弱，使得这些目标难以准确检测。
检测红外舰船目标有许多传统方法，包括基于滤波的方法、基于对比度的方法和基于秩的方法。然而，传统方法的性能在很大程度上取决于手工特征的有效性。传统的检测方法不足以准确检测复杂场景中的弱小红外舰船目标。因此，它们无法适应强度和环境温度等因素的不可预测性。此外，当周围参数(例如，目标角度、大小和杂波背景)发生显著变化时，很难提取鲁棒的手工特征来管理此类变化。此外，这些方法的实时性能并不完全适合实际应用。虽然上述算法增强了目标信息，但背景杂波也可能增强，这增加了误报的可能性。此外，现有深度学习难以提取到深层次特征，不足以实现准确的红外舰船目标检测。
总之，红外舰船目标检测仍然是一项困难的任务。无论是传统的目标检测算法还是基于卷积神经网络的算法都无法适应复杂场景，尤其是在背景噪声复杂、舰船目标尺寸较小的情况下。研究可靠、高效的红外舰船目标检测方法是当前亟需解决的技术问题。
发明内容
本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种面向无人艇的红外舰船目标检测方法及装置，解决现有红外舰船目标检测方法及装置存在的效率低、精度低、缺乏实际应用等问题。
本发明解决其技术问题采用的技术方案是，一种面向无人艇的红外舰船目标检测方法，包括以下步骤：
S1.无人艇搭载红外成像仪采集水面舰船目标图像，构建红外舰船目标数据集，并将红外舰船目标数据集中的舰船目标进行像素级标注；
S2.对红外舰船目标数据集进行图像数据预处理，将红外舰船目标数据集划分为训练集、验证集和测试集；
S3.建立基于堆叠特征提取单元的堆叠网络模型；
S4.基于训练集对堆叠网络模型进行训练，得到训练不同步数时的网络模型权重；
S5.将各网络模型权重在验证集上进行测试，分别计算IoU和nIoU指标；
S6.比较各网络模型权重测试时得到的IoU和nIoU指标，选择IoU和nIoU指标之和为最大值时对应的网络模型权重记为最终模型权重；
S7.基于最终模型权重在测试集上实现对红外舰船目标的检测，同时将最终模型权重部署到无人艇处理平台上进行实际应用，对实时采集的红外图像进行舰船目标检测，输出红外舰船目标检测结果。
进一步，步骤S1中，采集水面舰船目标图像1050张，构建红外舰船目标数据集。
进一步，步骤S2中，将1050张水面舰船目标图像按照5:2:3的比例设置训练集、验证集和测试集，即训练集图像525张，验证集图像210张，测试集图像315张。
进一步，步骤S3中，所述堆叠网络模型的结构为：所述堆叠网络模型共计有5层，第一层有5个节点，第二层有4个节点，第三层有3个节点，第四层有2个节点，第五层有1个节点；连接规则为：每个节点与该节点所在层所有节点相连接，特征图分辨率保持一致；每个节点经过下采样后与相邻下层的相邻节点相连接；每个节点还与相邻上层的相邻节点的下一个节点经过上采样后相连接；每一层最后一个节点还与所有上层的最后一个节点经过上采样后相连接；除第一层最后一个节点，其余每层最后一个节点的输出特征图经上采样提高输出特征图分辨率，然后所有层的最终输出特征图进行融合，得到红外舰船目标检测结果。
进一步，所述堆叠网络模型的具体结构为：叠网络模型的第一层共计有5个节点，堆叠网络模型的输入图像送入节点(1,1)，节点(1,1)分别与节点(1,2)、(1,3)、(1,4)、(1,5)相连接，同时经过下采样后与节点(2,1)相连接；节点(1,2)分别与节点(1,3)、(1,4)、(1,5)相连接，同时经过下采样后与节点(2,2)相连接；节点(1,3)分别与节点(1,4)、(1,5)相连接，同时经过下采样后与节点(2,3)相连接；节点(1,4)与节点(1,5)相连接，同时经过下采样后与节点(2,4)相连接；节点(1,5)输出特征图1，为该层的最终输出特征图；
堆叠网络模型的第二层共计有4个节点，节点(2,1)分别与节点(2,2)、(2,3)、(2,4)相连接，同时经过下采样后与节点(3,1)相连接，经过上采样后与节点(1,2)相连接；节点(2,2)分别与节点(2,3)、(2,4)相连接，同时经过下采样后与节点(3,2)相连接，经过上采样后与节点(1,3)相连接；节点(2,3)与节点(2,4)相连接，同时经过下采样后与节点(3,3)相连接，经过上采样后与节点(1,4)相连接；节点(2,4)经过上采样后与节点(1,5)相连接，节点(2,4)的输出特征图经过上采样后得到特征图2，为该层的最终输出特征图；
堆叠网络模型的第三层共计有3个节点，节点(3,1)分别与节点(3,2)、(3,3)相连接，同时经过下采样后与节点(4,1)相连接，经过上采样后与节点(2,2)相连接；节点(3,2)与节点(3,3)相连接，同时经过下采样后与节点(4,2)相连接，经过上采样后与节点(2,3)相连接；节点(3,3)经过上采样后与节点(2,4)、(1,5)相连接，节点(3,3)的输出特征图经过上采样后得到特征图3，为该层的最终输出特征图；
堆叠网络模型的第四层共计有2个节点，节点(4,1)与节点(4,2)相连接，同时经过下采样后与节点(5,1)相连接，经过上采样后与节点(3,2)相连接；节点(4,2)经过上采样后与节点(3,3)、(2,4)、(1,5)相连接，节点(4,2)的输出特征图经过上采样后得到特征图4，为该层的最终输出特征图；
堆叠网络模型的第五层共计有1个节点，节点(5,1)经过上采样后与节点(4,2)、(3,3)、(2,4)、(1,5)相连接，节点(5,1)的输出特征图经过上采样后得到特征图5，为该层的最终特征图；
每一层的最终输出特征图即特征图1、特征图2、特征图3、特征图4、特征图5进行相加融合后输出红外舰船目标检测结果。
进一步，所述堆叠网络模型的节点对图片的处理过程为：设对于节点有n个输入特征图，输入特征图大小为M×M，在进行处理前，将n个输入特征图进行相加，相加后的输入特征图，首先经过卷积层进行处理，输出特征图P，分辨率为M×M，然后依次经过BN层、ReLU层，然后经过两个分支，第一个分支经过水平方向卷积，输出分辨率为M×1的特征图，另外一个分支经过垂直方向卷积后再转置，输出分辨率为M×1的特征图，将两个分支得到的特征图进行拼接，得到分辨率为2M×1的特征图，再依次经过卷积层和BN层，输出分辨率为2M×1的特征图；然后，经过两个分支进行特征图分离，经第一个分支得到水平方向特征图，分辨率为M×1，再经过卷积层，输出分辨率为M×1的特征图；经另外一个分支得到垂直方向特征图并转置，分辨率为1×M，再经过卷积层，输出分辨率为1×M的特征图；然后将两个分支得到的M×1的特征图和1×M的特征图进行矩阵相乘，得到分辨率为M×M的特征图，再将分辨率为M×M的特征图与特征图P进行矩阵相乘，得到该节点的最终输出特征图，分辨率为M×M。
进一步，对于第一层的节点M＝256，对于第二层的节点M＝128，对于第三层的节点M＝64，对于第四层的节点M＝32，对于第五层的节点M＝16。
进一步，步骤S4中，在对堆叠网络模型进行训练时，训练步数上限设置为200，每10步保存一次网络模型权重，共保存20个网络模型权重。
进一步，步骤S5中，所述IoU和nIoU指标的计算方法为：
Figure BDA0003859368630000061
Figure BDA0003859368630000071
其中，TP，FP，TN和FN分别表示所有图像对应的真正样本，假正样本，真负样本和假负样本，N表示图片数量，k表示第k张图片，TP[k]，FP[k]，TN[k]和FN[k]分别表示第k张图像对应的真正样本，假正样本，真负样本和假负样本。
一种面向无人艇的红外舰船目标检测装置，包括无人艇处理平台、岸基平台和堆叠网络模型，无人艇处理平台包括无人艇，无人艇上搭载有红外成像仪和船舱天线，无人艇船舱内部安装有船舱电台、信息中转平台和信息处理平台，红外成像仪与信息处理平台相连，信息处理平台与信息中转平台相连，信息中转平台与船舱电台相连，船舱电台与船舱天线相连；岸基平台包括岸边基站和显示平台，岸边基站包括基站天线和基站电台，显示平台与基站电台相连，基站电台与基站天线相连，基站天线与船舱天线通过无线通信相连；所述堆叠网络模型部署于无人艇处理平台上。
与现有技术相比，本发明的优点如下：
相比于已有的红外舰船目标检测方法及装置，本发明方法及装置的检测精度更高，检测效率更高，能适应目标不清晰、模糊时的场景；同时本发明参数量较少，计算复杂度较低，具备较高的运行效率，能够满足实际应用的实时性要求。
附图说明
图1是本发明实施例之面向无人艇的红外舰船目标检测方法的流程示意图。
图2是本发明实施例之红外舰船目标检测装置的无人艇处理平台的外部结构示意图。
图3是本发明实施例之红外舰船目标检测装置的无人艇处理平台的内部结构示意图。
图4是本发明实施例之红外舰船目标检测装置的岸基平台的结构示意图。
图5是本发明实施例之红外舰船目标检测装置的工作原理图。
图6是本发明实施例之面向无人艇的红外舰船目标检测方法的堆叠网络模型的结构图。
图7是堆叠网络模型的堆叠特征提取单元的原理图。
图8是本发明实施例之面向无人艇的红外舰船目标检测方法与其他方法的检测性能指标对比图。
图9是本发明实施例之面向无人艇的红外舰船目标检测方法与其他方法的检测效果对比图。
图10是本发明实施例之红外舰船目标检测装置的显示平台远程显示的无人艇处理平台实时画面。
图中，1—红外成像仪，2—船舱天线，3—航海雷达，4—差分GPS，5—船舱电台，6—信息中转平台，7—信息处理平台，8—基站天线，9—显示平台。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细描述。
参照图1，本实施例面向无人艇的红外舰船目标检测方法包括以下步骤：
S1.无人艇搭载红外成像仪采集水面舰船目标图像，构建红外舰船目标数据集，并将红外舰船目标数据集中的舰船目标进行像素级标注；
S2.对红外舰船目标数据集进行图像数据预处理，将红外舰船目标数据集划分为训练集、验证集和测试集；
S3.建立基于堆叠特征提取单元的堆叠网络模型；
S4.基于训练集对堆叠网络模型进行训练，得到训练不同步数时的网络模型权重；
S5.将各网络模型权重在验证集上进行测试，分别计算交并比(IoU)和归一化交并比(nIoU)指标；
S6.比较各网络模型权重测试时得到的IoU和nIoU指标，选择IoU和nIoU指标之和为最大值时对应的网络模型权重记为最终模型权重；
S7.基于最终模型权重在测试集上实现对红外舰船目标的检测，同时将最终模型权重部署到无人艇处理平台上进行实际应用，对实时采集的红外图像进行舰船目标检测，输出红外舰船目标检测结果。
本实施例中，构建了红外舰船目标检测装置，参照图2-5，红外舰船目标检测装置包括无人艇处理平台和岸基平台，参照图2，无人艇处理平台包括无人艇，无人艇由不锈钢材打造，喷涂防腐蚀涂装，艇长3.5米，宽2.5米，高2.6米，无人艇上搭载有红外成像仪1、航海雷达3、船舱天线2和差分GPS 4，满足自主航行和进行图像采集、目标检测的需求。参照图3，无人艇船舱内部安装有船舱电台5、信息中转平台6和信息处理平台7，信息处理平台7采用NVIDIA Jetson AGX Xavier即Nvidia处理平台，参照图5，红外成像仪1与Nvidia处理平台相连，Nvidia处理平台与信息中转平台6相连，信息中转平台6与船舱电台5相连，船舱电台5与船舱天线2相连。参照图4，岸基平台包括岸边基站和显示平台9，岸边基站包括基站天线8和基站电台，显示平台9与基站电台相连，基站电台与基站天线8相连，基站天线8与船舱天线2通过无线通信相连。其中，显示平台9负责监控无人艇的实时动态，经本发明方法处理后的红外舰船目标检测数据可以实时显示在电脑端窗口。
参照图5，红外成像仪1采集实时图像数据，通过网线传输给Nvidia处理平台，本发明堆叠网络模型的网络模型权重部署到Nvidia处理平台上，对图像数据进行实时处理，将检测结果通过信息中转平台6、船舱电台5、船舱天线2传输到岸基平台，信息中转平台6对数据进行打包处理，按照规定协议传输数据，岸基平台可以远程访问到艇载Nvidia处理平台画面，显示平台9对画面进行实时显示。同时无人艇载电源分别为红外成像仪1、Nvidia处理平台、信息中转平台6、船舱电台5提供24V、19V、24V、24V电源，保证其正常工作。
本实施例是在湛江某海域开展的实验测试，无人艇的光电吊舱距离海平面1m，搭载的红外成像仪1波长位于8-14um。本实施例在1级海况下进行，海域范围为3km×3km，实验时，光电吊舱固定角度，朝无人艇的正前方，红外成像仪1的视场角度为90度。在开始前，采用角度校准装置对红外成像仪1与无人艇的正前方0°方向进行校准对齐。
本发明所指的舰船包括军舰船和民用船，本实施例以民用船作为目标船，目标船具体为货船和拖船，共采集原始图像1050张，构建红外舰船目标数据集，图像分辨率为1920×1080。对采集的图像进行像素级标注，每张图像标注生成对应的图像掩码，即黑白二值图像，目标用白色标注，其余背景为黑色。将所有1050张图像按照5:2:3的比例设置训练集、验证集和测试集，即训练集图像525张，验证集图像210张，测试集图像315张。在送入网络模型进行检测处理前，图像分辨率需调整为256×256。
本实施例中，设计的基于堆叠特征提取单元的堆叠网络模型如图6所示，堆叠网络模型的结构为：堆叠网络模型共计有5层，第一层有5个节点，第二层有4个节点，第三层有3个节点，第四层有2个节点，第五层有1个节点。每个节点为一个堆叠特征提取单元。约定节点(i，y)表示第i层的第y个节点，文中所指的相邻节点的定义为：节点(i，y)的相邻上层的相邻节点为(i-1，y)，节点(i，y)的相邻下层的相邻节点为(i+1，y)；文中所指的下一个节点的定义为：节点(i，y)的下一个节点为(i，y+1)。连接规则为：每个节点与该节点所在层所有节点相连接，特征图分辨率保持一致，无变化；每个节点经过下采样后与相邻下层的相邻节点相连接；每个节点还与相邻上层的相邻节点的下一个节点经过上采样后相连接；每一层最后一个节点还与所有上层的最后一个节点经过上采样提高特征图分辨率后相连接；除第一层最后一个节点，其余每层最后一个节点的输出特征图需经过上采样提高输出特征图分辨率，然后所有层的最终输出特征图进行融合，得到红外舰船目标检测结果。上采样用于提高特征图分辨率，下采样用于降低特征图分辨率，堆叠网络模型的堆叠结构的作用是为了融合不同层次的目标特征，保证堆叠网络模型能够获得足够的上下文信息，以用于实现准确的红外舰船目标检测。
堆叠网络模型的具体结构为：
在以下说法中，某节点1与某节点2相连接，默认指的是信息箭头流向由节点1指向节点2，同理某节点2与某节点1相连接，默认指的是信息箭头流向由节点2指向节点1。
参照图6，堆叠网络模型的第一层共计有5个节点，5个节点的输出特征图分辨率均为256×256，堆叠网络模型的输入图像分辨率为256×256，送入节点(1,1)，节点(1,1)分别与节点(1,2)、(1,3)、(1,4)、(1,5)相连接，同时经过下采样后与节点(2,1)相连接；节点(1,2)分别与节点(1,3)、(1,4)、(1,5)相连接，同时经过下采样后与节点(2,2)相连接；节点(1,3)分别与节点(1,4)、(1,5)相连接，同时经过下采样后与节点(2,3)相连接；节点(1,4)与节点(1,5)相连接，同时经过下采样后与节点(2,4)相连接；节点(1,5)输出特征图1，分辨率为256×256，为该层的最终输出特征图。
堆叠网络模型的第二层共计有4个节点，4个节点的输出特征图分辨率均为128×128，节点(2,1)分别与节点(2,2)、(2,3)、(2,4)相连接，同时经过下采样后与节点(3,1)相连接，经过上采样后与节点(1,2)相连接；节点(2,2)分别与节点(2,3)、(2,4)相连接，同时经过下采样后与节点(3,2)相连接，经过上采样后与节点(1,3)相连接；节点(2,3)与节点(2,4)相连接，同时经过下采样后与节点(3,3)相连接，经过上采样后与节点(1,4)相连接；节点(2,4)经过上采样后与节点(1,5)相连接，节点(2,4)的输出特征图经过上采样后得到特征图2，分辨率为256×256，为该层的最终输出特征图。
堆叠网络模型的第三层共计有3个节点，3个节点的输出特征图分辨率均为64×64，节点(3,1)分别与节点(3,2)、(3,3)相连接，同时经过下采样后与节点(4,1)相连接，经过上采样后与节点(2,2)相连接；节点(3,2)与节点(3,3)相连接，同时经过下采样后与节点(4,2)相连接，经过上采样后与节点(2,3)相连接；节点(3,3)经过上采样后与节点(2,4)、(1,5)相连接，节点(3,3)的输出特征图经过上采样后得到特征图3，分辨率为256×256，为该层的最终输出特征图。
堆叠网络模型的第四层共计有2个节点，2个节点的输出特征图分辨率均为32×32，节点(4,1)与节点(4,2)相连接，同时经过下采样后与节点(5,1)相连接，经过上采样后与节点(3,2)相连接；节点(4,2)经过上采样后与节点(3,3)、(2,4)、(1,5)相连接，节点(4,2)的输出特征图经过上采样后得到特征图4，分辨率为256×256，为该层的最终输出特征图。
堆叠网络模型的第五层共计有1个节点，1个节点的输出特征图分辨率均为16×16，节点(5,1)经过上采样后与节点(4,2)、(3,3)、(2,4)、(1,5)相连接，节点(5,1)的输出特征图经过上采样后得到特征图5，分辨率为256×256，为该层的最终特征图。
每一层的最终输出特征图，特征图1、特征图2、特征图3、特征图4、特征图5的分辨率均为256×256，进行相加融合后输出红外舰船目标检测结果。
本实施例中，堆叠网络模型的节点的原理图如图7所示，对图片的处理过程为：堆叠网络模型中节点的输入特征图个数不一定相同，例如对节点(1,2)只有1个输入特征图，而节点(2,2)有3个输入特征图。设对于节点有n个输入特征图，在进行处理前，将n个输入特征图进行相加，然后进行后续处理。为了通用性的说明设计方法，设输入特征图大小为M×M，在这里对于第一层的节点M＝256，对于第二层的节点M＝128，对于第三层的节点M＝64，对于第四层的节点M＝32，对于第五层的节点M＝16。
相加后的输入特征图，首先经过卷积层进行处理，输出特征图P，分辨率为M×M，然后依次经过BN层、ReLU层，然后经过两个分支，第一个分支经过水平方向卷积(卷积核为M×1)，输出分辨率为M×1的特征图，另外一个分支经过垂直方向卷积(卷积核为1×M)后再转置，输出分辨率为M×1的特征图，将两个分支得到的特征图进行拼接，得到分辨率为2M×1的特征图，再依次经过卷积层和BN层，输出分辨率为2M×1的特征图。然后，经过两个分支进行特征图分离，经第一个分支得到水平方向特征图，分辨率为M×1，再经过卷积层，输出分辨率为M×1的特征图；经另外一个分支得到垂直方向特征图并转置，分辨率为1×M，再经过卷积层，输出分辨率为1×M的特征图；然后将两个分支得到的M×1的特征图和1×M的特征图进行矩阵相乘，得到分辨率为M×M的特征图，再将分辨率为M×M的特征图与特征图P进行矩阵相乘，得到该节点的最终输出特征图，分辨率为M×M。
本实施例中，在对堆叠网络模型进行训练时，训练步数上限设置为200，每10步保存一次网络模型权重，共保存20个网络模型权重。
本实施例中，IoU和nIoU指标的计算方法为：
Figure BDA0003859368630000151
Figure BDA0003859368630000152
其中，TP，FP，TN和FN分别表示所有图像对应的真正样本，假正样本，真负样本和假负样本，N表示图片数量，k表示第k张图片，TP[k]，FP[k]，TN[k]和FN[k]分别表示第k张图像对应的真正样本，假正样本，真负样本和假负样本。在验证集上分别计算所有网络模型权重测试时得到的IoU和nIoU指标之和，和为最大值时对应的网络模型权重记为最终模型权重。
本实施例中，对所得最终模型权重在测试集上进行测试，计算在测试集上的IoU和nIoU指标大小。同时，本实施例将ALCNET、CCNet、StripPooling、HRNet+OCR、AGPCNet、ACM-FPN分别进行模型训练并测试，作为对比算法。所有算法的IoU和nIoU指标如图8所示，本发明方法的IoU和nIoU指标分别为0.8976和0.8873，在所有算法中均为最高值，表明了本发明方法的有效性。此外，本发明方法的参数量为5.2M，计算复杂度为16.5MGACs，参数量较少，计算复杂度较低，本发明方法具备较高的运行效率，能够满足实际应用的实时性要求。此外，本实施例比较了本发明方法与ALCNET、AGPCNet、ACM-FPN和真值的检测图像，如图9所示，其中每张检测结果的右上角为放大图像，为了能够看清具体细节。可以看到，本发明方法得到的检测结果更加贴近真值目标图像，可以表明本发明方法在红外舰船目标检测方面的有效性。
如图10所示，为岸基平台的显示平台9上，远程访问的艇上Nvidia处理平台实时画面和红外舰船目标检测结果，可以看到，本发明方法能够满足实际应用需求，在海面场景下能够实现红外舰船目标检测功能，具备很强的实用价值。
本领域的技术人员可以对本发明进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (9)

1.一种面向无人艇的红外舰船目标检测方法，其特征在于，包括以下步骤：
S1. 无人艇搭载红外成像仪采集水面舰船目标图像，构建红外舰船目标数据集，并将红外舰船目标数据集中的舰船目标进行像素级标注；
S2. 对红外舰船目标数据集进行图像数据预处理，将红外舰船目标数据集划分为训练集、验证集和测试集；
S3. 建立基于堆叠特征提取单元的堆叠网络模型；
S4. 基于训练集对堆叠网络模型进行训练，得到训练不同步数时的网络模型权重；
S5. 将各网络模型权重在验证集上进行测试，分别计算IoU和nIoU指标；
S6. 比较各网络模型权重测试时得到的IoU和nIoU指标，选择IoU和nIoU指标之和为最大值时对应的网络模型权重记为最终模型权重；
S7. 基于最终模型权重在测试集上实现对红外舰船目标的检测，同时将最终模型权重部署到无人艇处理平台上进行实际应用，对实时采集的红外图像进行舰船目标检测，输出红外舰船目标检测结果；
步骤S3中，所述堆叠网络模型的结构为：所述堆叠网络模型共计有5层，第一层有5个节点，第二层有4个节点，第三层有3个节点，第四层有2个节点，第五层有1个节点；连接规则为：每个节点与该节点所在层所有节点相连接，特征图分辨率保持一致；每个节点经过下采样后与相邻下层的相邻节点相连接；每个节点还与相邻上层的相邻节点的下一个节点经过上采样后相连接；每一层最后一个节点还与所有上层的最后一个节点经过上采样后相连接；除第一层最后一个节点，其余每层最后一个节点的输出特征图经上采样提高输出特征图分辨率，然后所有层的最终输出特征图进行融合，得到红外舰船目标检测结果。
2.如权利要求1所述的面向无人艇的红外舰船目标检测方法，其特征在于：步骤S1中，采集水面舰船目标图像1050张，构建红外舰船目标数据集。
3.如权利要求2所述的面向无人艇的红外舰船目标检测方法，其特征在于：步骤S2中，将1050张水面舰船目标图像按照5:2:3的比例设置训练集、验证集和测试集，即训练集图像525张，验证集图像210张，测试集图像315张。
4.如权利要求1所述的面向无人艇的红外舰船目标检测方法，其特征在于：所述堆叠网络模型的具体结构为：叠网络模型的第一层共计有5个节点，堆叠网络模型的输入图像送入节点（1,1），节点（1,1）分别与节点（1,2）、（1,3）、（1,4）、（1,5）相连接，同时经过下采样后与节点（2,1）相连接；节点（1,2）分别与节点（1,3）、（1,4）、（1,5）相连接，同时经过下采样后与节点（2,2）相连接；节点（1,3）分别与节点（1,4）、（1,5）相连接，同时经过下采样后与节点（2,3）相连接；节点（1,4）与节点（1,5）相连接，同时经过下采样后与节点（2,4）相连接；节点（1,5）输出特征图1，为该层的最终输出特征图；
堆叠网络模型的第二层共计有4个节点，节点（2,1）分别与节点（2,2）、（2,3）、（2,4）相连接，同时经过下采样后与节点（3,1）相连接，经过上采样后与节点（1,2）相连接；节点（2,2）分别与节点（2,3）、（2,4）相连接，同时经过下采样后与节点（3,2）相连接，经过上采样后与节点（1,3）相连接；节点（2,3）与节点（2,4）相连接，同时经过下采样后与节点（3,3）相连接，经过上采样后与节点（1,4）相连接；节点（2,4）经过上采样后与节点（1,5）相连接，节点（2,4）的输出特征图经过上采样后得到特征图2，为该层的最终输出特征图；
堆叠网络模型的第三层共计有3个节点，节点（3,1）分别与节点（3,2）、（3,3）相连接，同时经过下采样后与节点（4,1）相连接，经过上采样后与节点（2,2）相连接；节点（3,2）与节点（3,3）相连接，同时经过下采样后与节点（4,2）相连接，经过上采样后与节点（2,3）相连接；节点（3,3）经过上采样后与节点（2,4）、（1,5）相连接，节点（3,3）的输出特征图经过上采样后得到特征图3，为该层的最终输出特征图；
堆叠网络模型的第四层共计有2个节点，节点（4,1）与节点（4,2）相连接，同时经过下采样后与节点（5,1）相连接，经过上采样后与节点（3,2）相连接；节点（4,2）经过上采样后与节点（3,3）、（2,4）、（1,5）相连接，节点（4,2）的输出特征图经过上采样后得到特征图4，为该层的最终输出特征图；
堆叠网络模型的第五层共计有1个节点，节点（5,1）经过上采样后与节点（4,2）、（3,3）、（2,4）、（1,5）相连接，节点（5,1）的输出特征图经过上采样后得到特征图5，为该层的最终特征图；
每一层的最终输出特征图即特征图1、特征图2、特征图3、特征图4、特征图5进行相加融合后输出红外舰船目标检测结果。
5.如权利要求1所述的面向无人艇的红外舰船目标检测方法，其特征在于：所述堆叠网络模型的节点对图片的处理过程为：设对于节点有n个输入特征图，输入特征图大小为M×M，在进行处理前，将n个输入特征图进行相加，相加后的输入特征图，首先经过卷积层进行处理，输出特征图P，分辨率为M×M，然后依次经过BN层、ReLU层，然后经过两个分支，第一个分支经过水平方向卷积，输出分辨率为M×1的特征图，另外一个分支经过垂直方向卷积后再转置，输出分辨率为M×1的特征图，将两个分支得到的特征图进行拼接，得到分辨率为2M×1的特征图，再依次经过卷积层和BN层，输出分辨率为2M×1的特征图；然后，经过两个分支进行特征图分离，经第一个分支得到水平方向特征图，分辨率为M×1，再经过卷积层，输出分辨率为M×1的特征图；经另外一个分支得到垂直方向特征图并转置，分辨率为1×M，再经过卷积层，输出分辨率为1×M的特征图；然后将两个分支得到的M×1的特征图和1×M的特征图进行矩阵相乘，得到分辨率为M×M的特征图，再将分辨率为M×M的特征图与特征图P进行矩阵相乘，得到该节点的最终输出特征图，分辨率为M×M。
6.如权利要求5所述的面向无人艇的红外舰船目标检测方法，其特征在于：对于第一层的节点M=256，对于第二层的节点M=128，对于第三层的节点M=64，对于第四层的节点M=32，对于第五层的节点M=16。
7.如权利要求1所述的面向无人艇的红外舰船目标检测方法，其特征在于：步骤S4中，在对堆叠网络模型进行训练时，训练步数上限设置为200，每10步保存一次网络模型权重，共保存20个网络模型权重。
8.如权利要求1所述的面向无人艇的红外舰船目标检测方法，其特征在于：步骤S5中，所述
Figure QLYQS_1
和/>
Figure QLYQS_2
指标的计算方法为：
Figure QLYQS_3
；
Figure QLYQS_4
；
其中，
Figure QLYQS_8
，/>
Figure QLYQS_11
，/>
Figure QLYQS_14
和/>
Figure QLYQS_6
分别表示所有图像对应的真正样本，假正样本，真负样本和假负样本，/>
Figure QLYQS_9
表示图片数量，/>
Figure QLYQS_12
表示第/>
Figure QLYQS_15
张图片，/>
Figure QLYQS_5
，/>
Figure QLYQS_10
，/>
Figure QLYQS_13
和/>
Figure QLYQS_16
分别表示第/>
Figure QLYQS_7
张图像对应的真正样本，假正样本，真负样本和假负样本。
9.一种执行权利要求1-8中任一项所述的面向无人艇的红外舰船目标检测方法的面向无人艇的红外舰船目标检测装置，其特征在于：包括无人艇处理平台、岸基平台和堆叠网络模型，无人艇处理平台包括无人艇，无人艇上搭载有红外成像仪和船舱天线，无人艇船舱内部安装有船舱电台、信息中转平台和信息处理平台，红外成像仪与信息处理平台相连，信息处理平台与信息中转平台相连，信息中转平台与船舱电台相连，船舱电台与船舱天线相连；岸基平台包括岸边基站和显示平台，岸边基站包括基站天线和基站电台，显示平台与基站电台相连，基站电台与基站天线相连，基站天线与船舱天线通过无线通信相连；所述堆叠网络模型部署于无人艇处理平台上。
CN202211160049.4A 2022-09-22 2022-09-22 一种面向无人艇的红外舰船目标检测方法及装置 Active CN115471782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211160049.4A CN115471782B (zh) 2022-09-22 2022-09-22 一种面向无人艇的红外舰船目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211160049.4A CN115471782B (zh) 2022-09-22 2022-09-22 一种面向无人艇的红外舰船目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN115471782A CN115471782A (zh) 2022-12-13
CN115471782B true CN115471782B (zh) 2023-06-16

Family

ID=84335339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211160049.4A Active CN115471782B (zh) 2022-09-22 2022-09-22 一种面向无人艇的红外舰船目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN115471782B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245916B (zh) * 2023-05-11 2023-07-28 中国人民解放军国防科技大学 一种面向无人艇的红外舰船目标跟踪方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523771A (zh) * 2020-03-31 2020-08-11 中国人民解放军92942部队 一种无人艇测评系统
CN114612769A (zh) * 2022-03-14 2022-06-10 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744229B (zh) * 2016-02-25 2019-01-15 江苏科技大学 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法
CN111723748B (zh) * 2020-06-22 2022-04-29 电子科技大学 一种红外遥感图像舰船检测方法
CN113591968A (zh) * 2021-07-27 2021-11-02 中国人民解放军国防科技大学 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN114898171B (zh) * 2022-04-07 2023-09-22 中国科学院光电技术研究所 一种适用于嵌入式平台的实时目标检测方法
CN115082672A (zh) * 2022-06-06 2022-09-20 西安电子科技大学 一种基于边界框回归的红外图像目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523771A (zh) * 2020-03-31 2020-08-11 中国人民解放军92942部队 一种无人艇测评系统
CN114612769A (zh) * 2022-03-14 2022-06-10 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法

Also Published As

Publication number Publication date
CN115471782A (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN109583369B (zh) 一种基于目标区域分割网络的目标识别方法及装置
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN111523465A (zh) 基于摄像机标定及深度学习算法的船舶身份识别系统
CN111986240A (zh) 基于可见光和热成像数据融合的落水人员检测方法及系统
CN111753677B (zh) 基于特征金字塔结构的多角度遥感船舶图像目标检测方法
CN109145747A (zh) 一种水面全景图像语义分割方法
CN111476159A (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
Wang et al. Ship detection based on fused features and rebuilt YOLOv3 networks in optical remote-sensing images
CN115471782B (zh) 一种面向无人艇的红外舰船目标检测方法及装置
CN115019182A (zh) 遥感图像目标细粒度识别方法、系统、设备及存储介质
CN113822217A (zh) 基于ais和视频图像分析的船舶尾气监测方法
CN111539456B (zh) 一种目标识别方法及设备
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
CN114565824A (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN116719031B (zh) 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统
CN113344148A (zh) 一种基于深度学习的海上舰船目标识别方法
Huang et al. A deep learning approach to detecting ships from high-resolution aerial remote sensing images
CN116310837A (zh) 一种sar舰船目标旋转检测方法及系统
CN115661692A (zh) 一种基于改进CenterNet检测网络的无人机检测方法及系统
CN115860139A (zh) 一种基于深度学习的多尺度船舶目标检测方法
CN112508848B (zh) 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN114463628A (zh) 一种基于阈值约束的深度学习遥感影像船舰目标识别方法
CN115457120A (zh) 一种gps拒止条件下的绝对位置感知方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant