CN114758202A - 基于语义感知特征增强的短波红外舰船检测方法及系统 - Google Patents

基于语义感知特征增强的短波红外舰船检测方法及系统 Download PDF

Info

Publication number
CN114758202A
CN114758202A CN202210338616.4A CN202210338616A CN114758202A CN 114758202 A CN114758202 A CN 114758202A CN 202210338616 A CN202210338616 A CN 202210338616A CN 114758202 A CN114758202 A CN 114758202A
Authority
CN
China
Prior art keywords
wave infrared
features
short wave
short
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210338616.4A
Other languages
English (en)
Inventor
彭朝晖
张能威
李彬
褚曜珲
谢汶羲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210338616.4A priority Critical patent/CN114758202A/zh
Publication of CN114758202A publication Critical patent/CN114758202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Abstract

本发明公开了一种基于语义感知特征增强的短波红外舰船检测方法及系统，包括：获取海上短波红外图像；得到增强后的短波红外全局特征和实例特征；将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示，将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络，得到增强后的短波红外实例特征；将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，合并后的特征输入至目标检测头，得到短波红外舰船的检测结果。本发明通过语义感知，能够更加深入地挖掘短波红外实例特征的空间信息和语义信息，特征合并模块充分考虑了短波红外全局特征和实例特征的空间关系，合成更好的特征表示。

Description

基于语义感知特征增强的短波红外舰船检测方法及系统
技术领域
本发明涉及目标检测技术领域，尤其涉及一种基于语义感知特征增强的短波红外舰船检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
目标检测是计算机视觉的基础任务之一，目标检测旨在图像中找到感兴趣的目标并且对其进行定位和分类。目标检测在水面交通、海上监视侦查和海事目标探测领域具有广泛的应用。在海洋场景下，环境复杂多变，常有大雨、雾霭等恶劣天气和极端光照条件，可见光摄像机在这种情况下无法正常工作。而短波红外波长能够“绕过”烟尘、雾霭中的细小颗粒，因而相比可见光，它具有更好的细节分辨和解析能力，此外由于夜间大气辉光几乎处于短波红外波段，因此短波红外波长具有较好的夜视能力。
基于深度学习的目标检测算法受到了众多研究人员的关注，越来越多的框架和算法被提出。主要包括two-stage的目标检测算法和one-stage目标检测算法。Two-stage目标检测算法先获得候选框，然后采用边界框回归算法对候选框进行修正，同时预测目标的类别。One-stage目标检测算法没有产生候选框的阶段，直接预测目标的位置和类别。残差网络、多尺度检测和跨尺度特征融合等技术的提出，大大提高了目标检测网络提取和利用特征的能力。但大部分基于深度学习的目标检测算法都是针对可见光图像而提出的，不适用于短波红外图像，这是因为相比于可见光图像，短波红外图像的分辨率低，目标的纹理信息少，易受阳光影响，信噪比低。
不同类别的舰船目标之间特征比较相似，在对目标实例进行特征增强后可能会发生失配，导致目标的类别层次信息一定程度上丢失，比如，类别一的短波红外实例特征在经过增强后，其数据分布可能与可见光中类别一的实例特征存在差异，严重的情况下甚至与其他类别的可见光实例特征相似。
发明内容
为了解决上述问题，本发明提出了一种基于语义感知特征增强的短波红外舰船检测方法及系统，能够挖掘出舰船目标的高层语义信息，并且将之作为语义编码输入生成器的中间卷积层辅助进行特征增强，在增强时以可见光图像作为辅助数据，增强后的特征接近可见光图像的舰船特征，提高目标检测的精度。
在一些实施方式中，采用如下技术方案：
一种基于语义感知特征增强的短波红外舰船检测方法，包括：
获取海上短波红外图像；提取短波红外图像的多尺度特征，对多尺度特征进行融合，得到短波红外图像的全局特征；
预测短波红外图像全局特征的候选框，根据候选框在全局特征图上进行多尺度池化得到实例特征；
将短波红外图像的全局特征输入训练好的第一生成对抗网络，得到增强后的短波红外全局特征；
将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示，将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络，得到增强后的短波红外实例特征；
将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，合并后的特征输入至目标检测头，得到短波红外舰船的检测结果。
在另一些实施方式中，采用如下技术方案：
一种基于语义感知特征增强的短波红外舰船检测系统，包括：
全局特征获取模块，用于根据所获取的海上短波红外图像；提取短波红外图像的多尺度特征，对多尺度特征进行融合，得到短波红外图像的全局特征；
实例特征获取模块，用于预测短波红外图像全局特征的候选框，根据候选框在全局特征图上进行多尺度池化得到实例特征；
特征增强模块，用于将短波红外图像的全局特征输入训练好的第一生成对抗网络，得到增强后的短波红外全局特征；将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示，将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络，得到增强后的短波红外实例特征；
特征合并模块，用于将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，合并后的特征输入至目标检测头，得到短波红外舰船的检测结果。
在另一些实施方式中，采用如下技术方案：
一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的基于语义感知特征增强的短波红外舰船检测方法。
在另一些实施方式中，采用如下技术方案：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于语义感知特征增强的短波红外舰船检测方法。
与现有技术相比，本发明的有益效果是：
(1)本发明通过语义感知，能够更加深入地挖掘短波红外实例特征的空间信息和语义信息，并进行特征增强，特征合并模块充分考虑了短波红外全局特征和实例特征的空间关系，合成更好的特征表示。
(2)本发明在训练模型时使用可见光图像，借助可见光图像，采用生成对抗网络对短波红外图像的低质量的全局特征和实例特征进行增强，增强后的全局特征和实例特征与可见光图像的全局特征和实例特征接近，即具有更高的质量。
本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
图1为本发明实施例中的基于语义感知特征增强的短波红外舰船检测架构图；
图2为本发明实施例中的基于语义感知特征增强的短波红外舰船检测方法过程示意图；
图3为本发明实施例中的语义感知增强过程示意图；
图4为本发明实施例中的生成器网络结构图；
图5为本发明实施例中的特征合并示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
名词解释：
ResNet50：ResNet50是残差网络的一种，采用了跳层连接结构，缓解了网络深度大时的梯度消失和网络退化的问题。
FPN：FPN是特征金字塔网络，它在网络的顶层添加了自顶向下和横向连接的通路，将多尺度的特征进行融合，实验证明该结构在目标检测任务中效果良好。
实施例一
在一个或多个实施方式中，公开了一种基于语义感知特征增强的短波红外舰船检测方法，结合图1-图3，具体包括如下过程：
(1)获取海上短波红外图像；提取短波红外图像的多尺度特征，对多尺度特征进行融合，得到短波红外图像的全局特征；
具体地，对输入的图片数据除以像素值数据类型的最大值，然后进行标准化处理，标准化处理公式如下：
Figure BDA0003577766080000051
其中，μ是图像数据的均值，σ是数据的方差。
将尺寸为CⅹHⅹW的已经标注好的短波红外图像输入ResNet50网络提取得到多尺度特征，然后采用FPN特征金字塔网络进行特征融合得到多尺度的全局特征
Figure BDA0003577766080000061
包含五个不同尺度特征图，它们的步长分别为4,8,16,32,64。
(2)预测短波红外图像的全局特征的候选框，根据候选框在全局特征图上进行多尺度池化得到实例特征；
具体地，将
Figure BDA0003577766080000062
输入区域建议网络来预测候选框，在步长为4，8，16，32，64的特征图上分别设置大小为162，322，642，1282，2562的锚框，各个尺度上采用0.5，1.0，2.0的长宽比。在各个特征图上采用两个1ⅹ1卷积核来预测边界框和前景置信度。用0.85概率的前景置信度来筛选出感兴趣区域ROI。
根据ROI的长宽，将其分配在
Figure BDA0003577766080000063
的不同尺度特征图上进行RoiAlign池化，得到和ROI数目相等的实例特征
Figure BDA0003577766080000064
大小为512ⅹ7ⅹ7。
另外，为了在特征增强阶段进行训练，本实施例获取海上可见光图像，采用与短波红外图像相同的方法获得可见光图像的全局特征
Figure BDA0003577766080000065
对于可见光图像，直接根据真实框在
Figure BDA0003577766080000066
的不同尺度特征图上进行RoiAlign池化，得到其实例特征
Figure BDA0003577766080000067
大小为512ⅹ7ⅹ7。
本实施例中，短波红外图像可通过短波红外摄像机获得，相同场景和类别的可见光图像可通过网络搜集获得。
(3)将短波红外图像的全局特征输入训练好的第一生成对抗网络，得到增强后的短波红外全局特征
Figure BDA0003577766080000068
训练样本集包括经过标注的海洋场景下的短波红外图形和可见光图像。
本实施例中，结合图1，将增强后的短波红外图像全局特征
Figure BDA0003577766080000069
和可见光图像的全局特征
Figure BDA00035777660800000610
用来训练第一生成对抗网络，包括以下步骤：
①固定生成器网络的参数，将海上短波红外图像的全局特征
Figure BDA00035777660800000611
输入生成器，输出增强后的全局特征，然后与海上可见光图像的全局特征
Figure BDA00035777660800000612
共同输入判别器，计算其分类损失，训练判别器，损失函数如下：
Figure BDA0003577766080000071
其中D(x；θD)为判别器，G(x；θG)为生成器。
②固定判别器网络的参数，将短波红外图像全局特征
Figure BDA0003577766080000072
输入生成器得到增强后的全局特征，然后将增强后的全局特征输入判别器网络并计算分类损失，训练生成器网络，损失函数如下：
Figure BDA0003577766080000073
其中，D(x；θD)为判别器、G(x；θG)为生成器。E表示期望，
Figure BDA0003577766080000074
表示
Figure BDA0003577766080000075
服从分布P1。
(4)将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示，将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络，得到增强后的短波红外实例特征；
具体地，对于第二生成对抗网络的训练过程包括如下步骤：
①首先将舰船任务所用到的舰船类别的word，输入到预训练好的BERT模型中，分别取模型输出的第0个向量作为类别的嵌入向量，得到舰船类别的嵌入向量表Tebd，它的每一行为对应类别的嵌入向量，维度为768。
用一个矩阵Wsw，将Tebd嵌入到短波红外域的隐语义空间Ssw，得到该空间的隐语义嵌入向量表
Figure BDA0003577766080000076
同样的，用一个矩阵Wvis，将Tebd嵌入到可见光域的隐语义空间Svis，得到该空间的隐语义嵌入向量表
Figure BDA0003577766080000077
隐语义嵌入向量表的维度为N×M。接下来，计算
Figure BDA0003577766080000078
与
Figure BDA0003577766080000079
之间的一致性损失，损失函数如下：
Figure BDA00035777660800000710
其中T(i)表示第i个表项。[k·L:(k+1)·L]表示下标从k·L到(k+1)·L的向量切片，总体而言，
Figure BDA0003577766080000081
表示对
Figure BDA0003577766080000082
的第i个表项的第k段向量切片的所有元素求和。
本实施例中，通过优化一致性损失，可以使得短波红外域的隐语义嵌入向量表和可见光域的隐语义嵌入向量表之间语义对齐。
②将短波红外实例特征
Figure BDA0003577766080000083
嵌入到隐语义空间Ssw得到其隐语义表示
Figure BDA0003577766080000084
并计算其和隐语义嵌入向量表
Figure BDA0003577766080000085
的相似度，我们采用三元组损失来训练，这样得到的隐语义表示具有较好的判别性，我们这样来构造三元组：
Figure BDA0003577766080000086
中和
Figure BDA0003577766080000087
类别相同的表项作为正样本p，随机抽样出不同类别的表项作为负样本n，损失函数如下：
Figure BDA0003577766080000088
d(x,y)＝‖x-y‖2
其中，d(x,y)用于计算距离，采用L2范数作为度量；比如：
Figure BDA0003577766080000089
表示
Figure BDA00035777660800000810
和p的L2范数。
对于可见光实例特征
Figure BDA00035777660800000811
我们同样将其嵌入到Svis，得到
Figure BDA00035777660800000812
与
Figure BDA00035777660800000813
计算相似度，采用同样的方法构造三元组，损失函数如下：
Figure BDA00035777660800000814
d(x,y)＝‖x-y‖2
本实施例中，具体操作是增大短波红外实例特征的隐语义表示和同一类别的隐语义嵌入向量的相似度，减小短波红外实例特征的隐语义表示和不同类别的隐语义嵌入向量的相似度。这样学习得到的隐语义表示包含短波红外实例特征的深层次语义信息。
③参阅图4，生成器网络采用带跳层连接的自动编码器结构。我们将
Figure BDA00035777660800000815
输入生成器网络，先由解码器得到潜在表示，将潜在表示与
Figure BDA00035777660800000816
逐元素相加，然后输入解码器得到增强后的短波红外实例特征
Figure BDA00035777660800000817
然后将
Figure BDA00035777660800000818
映射到Svis，得到
Figure BDA00035777660800000819
与
Figure BDA00035777660800000820
计算相似度，采用同样的方式构造三元组，损失函数如下：
Figure BDA0003577766080000091
d(x,y)＝‖x-y‖2
基于上述损失函数，使用短波红外实例特征
Figure BDA0003577766080000092
和可见光图像得到的实例特征
Figure BDA0003577766080000093
来学习隐语义表示。
④使用增强后的短波红外实例特征
Figure BDA0003577766080000094
和可见光实例特征
Figure BDA0003577766080000095
来训练第二生成对抗网络，包括如下过程：
(4-1)固定生成器网络的参数，将
Figure BDA0003577766080000096
输入生成器得到
Figure BDA0003577766080000097
然后将
Figure BDA0003577766080000098
和
Figure BDA0003577766080000099
输入判别器，训练判别器，损失函数如下：
Figure BDA00035777660800000910
其中，D(x；θD)为判别器，G(x；θG)为生成器。
(4-2)固定判别器网络的参数，将
Figure BDA00035777660800000911
输入生成器得到
Figure BDA00035777660800000912
然后将
Figure BDA00035777660800000913
输入判别器，训练生成器网络，损失函数如下：
Figure BDA00035777660800000914
D(x；θD)为判别器，G(x；θG)为生成器；E表示期望，
Figure BDA00035777660800000915
表示
Figure BDA00035777660800000916
服从分布P1。
(5)将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，合并后的特征输入至目标检测头，得到短波红外舰船的检测结果。
通常情况下，目标检测可以分为骨干网络和检测头。图像输入骨干网络，输出特征图，检测头可以利用特征图预测目标的边界框和类别。生成对抗网络训练完毕后，可以用其中的生成器来增强骨干网络提取的特征。
具体地，参照图5，取增强后的短波红外全局特征
Figure BDA00035777660800000917
的步长为8,16,32的特征图，分别在其上每个像素点设置尺度为122，242，482的锚框。我们将增强后的短波红外实例特征
Figure BDA0003577766080000101
在原图上的边界框视为在原图上的一个区域。对于
Figure BDA0003577766080000102
的特征图的每一个像素点上计算其锚框和
Figure BDA0003577766080000103
对应的区域的权重，然后将重新赋予权重的
Figure BDA0003577766080000104
以逐元素相加的方式融入
Figure BDA0003577766080000105
权重考虑了锚框和区域的重叠面积和空间关系，融合方式如下：
Figure BDA0003577766080000106
Figure BDA0003577766080000107
Figure BDA0003577766080000108
表示位于(i,j)像素点上的特征，
Figure BDA0003577766080000109
表示第k个实例特征。θ表示锚框和区域的中心点所连矢量的角度，以X轴右方和Y轴下方为正方向建立坐标系，以顺时针方向为正方向。我们认为位于上下左右正方向的区域具有较大的权重。d表示锚框和区域的中心点的归一化欧几里得距离。IOR用于衡量锚框和区域的重叠分数，用锚框和区域的相交面积除以区域的面积，其中anchor表示锚框，region表示区域。
将合并后得到的多尺度全局特征
Figure BDA00035777660800001010
输入目标检测头，首先通过一条自底向上的信息流动路径，来缩短信息的流动，将步长为8的特征图下采样后与步长为16的特征图融合，再与步长为32的特征图融合，分别在每个特征图上设置3个不同尺度的锚框，在三个尺度的特征图上同时预测边界框和类别。
本实施例中，短波红外舰船的检测结果具体为：输出图片中每一个舰船目标的位置和类别，位置表示为(x1,y1,x2,y2)，这是一个框，包含着一个舰船目标，x1和y1为这个框的左上角的横纵坐标，x2和y2表示这个框的右下角的横纵坐标。
实施例二
在一个或多个实施方式中，公开了一种基于语义感知特征增强的短波红外舰船检测系统，包括：
全局特征获取模块，用于基于所获取的海上短波红外图像；提取短波红外图像的多尺度特征，对多尺度特征进行融合，得到短波红外图像的全局特征；
实例特征获取模块，用于预测短波红外图像的全局特征的候选框，根据候选框在全局特征图上进行多尺度池化得到实例特征；
特征增强模块，用于将短波红外图像的全局特征输入训练好的第一生成对抗网络，得到增强后的短波红外全局特征；将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示，将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络，得到增强后的短波红外实例特征；
特征合并模块，用于将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，合并后的特征输入至目标检测头，得到短波红外舰船的检测结果。
需要说明的是，上述各模块的具体实现方式已经在实施例一中进行了说明，此处不再详述。
实施例三
在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于语义感知特征增强的短波红外舰船检测方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例四
在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的基于语义感知特征增强的短波红外舰船检测方法。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，包括：
获取海上短波红外图像；提取短波红外图像的多尺度特征，对多尺度特征进行融合，得到短波红外图像的全局特征；
预测短波红外图像全局特征的候选框，根据候选框在全局特征图上进行多尺度池化得到实例特征；
将短波红外图像的全局特征输入训练好的第一生成对抗网络，得到增强后的短波红外全局特征；
将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示，将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络，得到增强后的短波红外实例特征；
将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，合并后的特征输入至目标检测头，得到短波红外舰船的检测结果。
2.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，采用残差网络作为骨干网络来提取短波红外图像的多尺度特征，采用特征金字塔网络来融合多尺度特征得到全局特征。
3.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，所述第一生成对抗网络的训练过程包括：
构建第一生成对抗网络的训练样本集；训练样本集包括经过标注的海洋场景下的短波红外图形和可见光图像；
固定生成器网络的参数，将海上短波红外图像的全局特征输入生成器，输出增强后的全局特征，然后与海上可见光图像的全局特征共同输入判别器，计算分类损失，训练判别器网络；
固定判别器网络的参数，将海上短波红外图像的全局特征输入生成器，输出增强后的全局特征；然后将增强后的全局特征输入判别器，计算分类损失，训练生成器网络。
4.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，隐语义表示的学习过程包括：
获得舰船类别嵌入向量表，将其分别映射为短波红外域的隐语义嵌入向量表
Figure FDA0003577766070000021
和可见光域的隐语义嵌入向量表
Figure FDA0003577766070000022
计算
Figure FDA0003577766070000023
与
Figure FDA0003577766070000024
之间的一致性损失，构建损失函数Lebd；
将短波红外图像得到的实例特征
Figure FDA0003577766070000025
嵌入到短波红外隐语义空间得到其隐语义表示
Figure FDA0003577766070000026
计算
Figure FDA0003577766070000027
和隐语义嵌入向量表
Figure FDA0003577766070000028
的相似度，构建损失函数
Figure FDA0003577766070000029
将可见光图像得到的实例特征
Figure FDA00035777660700000210
嵌入到可见光隐语义空间得到其隐语义表示
Figure FDA00035777660700000211
计算
Figure FDA00035777660700000212
和隐语义嵌入向量表
Figure FDA00035777660700000213
的相似度，构建损失函数
Figure FDA00035777660700000214
将短波红外图像得到的实例特征
Figure FDA00035777660700000215
输入生成器网络，先由解码器得到潜在表示，将潜在表示与隐语义表示
Figure FDA00035777660700000216
逐元素相加，然后输入解码器得到增强后的短波红外实例特征
Figure FDA00035777660700000217
将
Figure FDA00035777660700000218
映射到可见光域的隐语义空间Svis，得到
Figure FDA00035777660700000219
计算其与隐语义嵌入向量表
Figure FDA00035777660700000220
的相似度，构建损失函数
Figure FDA00035777660700000221
基于上述损失函数，使用短波红外实例特征
Figure FDA00035777660700000222
和可见光图像得到的实例特征
Figure FDA00035777660700000223
来学习隐语义表示。
5.如权利要求4所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，使用短波红外实例特征
Figure FDA00035777660700000224
和可见光图像得到的实例特征
Figure FDA00035777660700000225
来训练第二生成对抗网络；具体包括：
(1)固定生成器网络的参数，将短波红外实例特征
Figure FDA00035777660700000226
输入生成器得到增强后的实例特征，与可见光实例特征
Figure FDA0003577766070000031
共同输入判别器网络并计算分类损失，训练判别器网络；
(2)固定判别器网络的参数，将短波红外实例特征
Figure FDA0003577766070000032
输入生成器得到增强后的实例特征，然后将增强后的实例特征输入判别器网络并计算分类损失，训练生成器网络。
6.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，具体包括：
取增强后的短波红外图像的全局特征设定步长的特征图，分别在其上每个像素点设置设定尺度的锚框；
将增强后的短波红外实例特征在原图上的边界框视为在原图上的一个区域；对所述特征图的每一个像素点，计算其锚框和短波红外实例特征对应的区域的权重，然后将重新赋予权重的短波红外实例特征以逐元素相加的方式融入增强后的短波红外全局特征，得到合并后的特征，权重考虑了锚框和区域的重叠面积和空间关系。
7.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，合并后的特征输入至目标检测头，目标检测头利用所述特征预测舰船目标的边界框和类别。
8.一种基于语义感知特征增强的短波红外舰船检测系统，其特征在于，包括：
全局特征获取模块，用于根据所获取的海上短波红外图像；提取短波红外图像的多尺度特征，对多尺度特征进行融合，得到短波红外图像的全局特征；
实例特征获取模块，用于预测短波红外图像全局特征的候选框，根据候选框在全局特征图上进行多尺度池化得到实例特征；
特征增强模块，用于将短波红外图像的全局特征输入训练好的第一生成对抗网络，得到增强后的短波红外全局特征；将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示，将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络，得到增强后的短波红外实例特征；
特征合并模块，用于将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，合并后的特征输入至目标检测头，得到短波红外舰船的检测结果。
9.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-7任一项所述的基于语义感知特征增强的短波红外舰船检测方法。
10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-7任一项所述的基于语义感知特征增强的短波红外舰船检测方法。
CN202210338616.4A 2022-04-01 2022-04-01 基于语义感知特征增强的短波红外舰船检测方法及系统 Pending CN114758202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210338616.4A CN114758202A (zh) 2022-04-01 2022-04-01 基于语义感知特征增强的短波红外舰船检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210338616.4A CN114758202A (zh) 2022-04-01 2022-04-01 基于语义感知特征增强的短波红外舰船检测方法及系统

Publications (1)

Publication Number Publication Date
CN114758202A true CN114758202A (zh) 2022-07-15

Family

ID=82330088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210338616.4A Pending CN114758202A (zh) 2022-04-01 2022-04-01 基于语义感知特征增强的短波红外舰船检测方法及系统

Country Status (1)

Country Link
CN (1) CN114758202A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062378A (zh) * 2019-12-23 2020-04-24 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置
CN111259740A (zh) * 2020-01-09 2020-06-09 北京航空航天大学 基于轻量级cnn与多源特征决策的红外图像舰船检测方法
CN111340907A (zh) * 2020-03-03 2020-06-26 曲阜师范大学 一种自适应属性和实例掩码嵌入图的文本到图像生成方法
CN112395987A (zh) * 2020-11-18 2021-02-23 西安电子科技大学 基于无监督域适应cnn的sar图像目标检测方法
US20210334664A1 (en) * 2020-04-24 2021-10-28 Adobe Inc. Domain Adaptation for Machine Learning Models
CN113781377A (zh) * 2021-11-03 2021-12-10 南京理工大学 基于对抗性语义引导与感知的红外和可见光图像融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062378A (zh) * 2019-12-23 2020-04-24 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置
CN111259740A (zh) * 2020-01-09 2020-06-09 北京航空航天大学 基于轻量级cnn与多源特征决策的红外图像舰船检测方法
CN111340907A (zh) * 2020-03-03 2020-06-26 曲阜师范大学 一种自适应属性和实例掩码嵌入图的文本到图像生成方法
US20210334664A1 (en) * 2020-04-24 2021-10-28 Adobe Inc. Domain Adaptation for Machine Learning Models
CN112395987A (zh) * 2020-11-18 2021-02-23 西安电子科技大学 基于无监督域适应cnn的sar图像目标检测方法
CN113781377A (zh) * 2021-11-03 2021-12-10 南京理工大学 基于对抗性语义引导与感知的红外和可见光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIYU WANG ET AL.: "Unsupervised Subcategory Domain Adaptive Network for 3D Object Detection in LiDAR", 《ELECTRONICS》, 13 April 2021 (2021-04-13), pages 1 - 13 *
鲍松泽 等: "基于短波红外遥感影像的船只自动检测方法", 《光学学报》, vol. 38, no. 5, 31 May 2018 (2018-05-31), pages 1 - 11 *

Similar Documents

Publication Publication Date Title
WO2020108311A1 (zh) 目标对象3d检测方法、装置、介质及设备
Li et al. Object detection using convolutional neural networks in a coarse-to-fine manner
CN111862201B (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
WO2013065220A1 (ja) 画像認識装置、画像認識方法、及び集積回路
CN112464883A (zh) 一种自然场景下船舶目标自动检测识别方法与系统
CN111967480A (zh) 基于权重共享的多尺度自注意力目标检测方法
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN111027493A (zh) 一种基于深度学习多网络软融合的行人检测方法
CN103430218A (zh) 用3d脸部建模和地标对齐扩增造型的方法
CN109697441B (zh) 一种目标检测方法、装置及计算机设备
CN114419467A (zh) 旋转船只目标检测模型的训练方法、训练装置和存储介质
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN111160293A (zh) 基于特征金字塔网络的小目标船只检测方法及系统
JP2009064434A (ja) 判定方法、判定システムおよびコンピュータ読み取り可能な媒体
CN113177503A (zh) 基于yolov5的任意朝向目标十二参数检测方法
CN116670687A (zh) 用于调整训练后的物体检测模型以适应域偏移的方法和系统
US20220335572A1 (en) Semantically accurate super-resolution generative adversarial networks
CN113705375A (zh) 一种船舶航行环境视觉感知设备及方法
WO2019100348A1 (zh) 图像检索方法和装置以及图像库的生成方法和装置
CN111738071A (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
Guo et al. D3-Net: Integrated multi-task convolutional neural network for water surface deblurring, dehazing and object detection
CN112287906B (zh) 一种基于深度特征融合的模板匹配跟踪方法及系统
CN113205139A (zh) 一种基于密度聚类的无人艇水上球体检测方法
CN116778176B (zh) 基于频域注意力的sar图像舰船尾迹检测方法
CN111563423A (zh) 基于深度去噪自动编码器的无人机图像目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination