CN114758202B - 基于语义感知特征增强的短波红外舰船检测方法及系统 - Google Patents
基于语义感知特征增强的短波红外舰船检测方法及系统 Download PDFInfo
- Publication number
- CN114758202B CN114758202B CN202210338616.4A CN202210338616A CN114758202B CN 114758202 B CN114758202 B CN 114758202B CN 202210338616 A CN202210338616 A CN 202210338616A CN 114758202 B CN114758202 B CN 114758202B
- Authority
- CN
- China
- Prior art keywords
- short
- wave infrared
- features
- enhanced
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 230000008447 perception Effects 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于语义感知特征增强的短波红外舰船检测方法及系统,包括:获取海上短波红外图像;得到增强后的短波红外全局特征和实例特征;将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示,将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络,得到增强后的短波红外实例特征;将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并,合并后的特征输入至目标检测头,得到短波红外舰船的检测结果。本发明通过语义感知,能够更加深入地挖掘短波红外实例特征的空间信息和语义信息,特征合并模块充分考虑了短波红外全局特征和实例特征的空间关系,合成更好的特征表示。
Description
技术领域
本发明涉及目标检测技术领域,尤其涉及一种基于语义感知特征增强的短波红外舰船检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
目标检测是计算机视觉的基础任务之一,目标检测旨在图像中找到感兴趣的目标并且对其进行定位和分类。目标检测在水面交通、海上监视侦查和海事目标探测领域具有广泛的应用。在海洋场景下,环境复杂多变,常有大雨、雾霭等恶劣天气和极端光照条件,可见光摄像机在这种情况下无法正常工作。而短波红外波长能够“绕过”烟尘、雾霭中的细小颗粒,因而相比可见光,它具有更好的细节分辨和解析能力,此外由于夜间大气辉光几乎处于短波红外波段,因此短波红外波长具有较好的夜视能力。
基于深度学习的目标检测算法受到了众多研究人员的关注,越来越多的框架和算法被提出。主要包括two-stage的目标检测算法和one-stage目标检测算法。Two-stage目标检测算法先获得候选框,然后采用边界框回归算法对候选框进行修正,同时预测目标的类别。One-stage目标检测算法没有产生候选框的阶段,直接预测目标的位置和类别。残差网络、多尺度检测和跨尺度特征融合等技术的提出,大大提高了目标检测网络提取和利用特征的能力。但大部分基于深度学习的目标检测算法都是针对可见光图像而提出的,不适用于短波红外图像,这是因为相比于可见光图像,短波红外图像的分辨率低,目标的纹理信息少,易受阳光影响,信噪比低。
不同类别的舰船目标之间特征比较相似,在对目标实例进行特征增强后可能会发生失配,导致目标的类别层次信息一定程度上丢失,比如,类别一的短波红外实例特征在经过增强后,其数据分布可能与可见光中类别一的实例特征存在差异,严重的情况下甚至与其他类别的可见光实例特征相似。
发明内容
为了解决上述问题,本发明提出了一种基于语义感知特征增强的短波红外舰船检测方法及系统,能够挖掘出舰船目标的高层语义信息,并且将之作为语义编码输入生成器的中间卷积层辅助进行特征增强,在增强时以可见光图像作为辅助数据,增强后的特征接近可见光图像的舰船特征,提高目标检测的精度。
在一些实施方式中,采用如下技术方案:
一种基于语义感知特征增强的短波红外舰船检测方法,包括:
获取海上短波红外图像;提取短波红外图像的多尺度特征,对多尺度特征进行融合,得到短波红外图像的全局特征;
预测短波红外图像全局特征的候选框,根据候选框在全局特征图上进行多尺度池化得到实例特征;
将短波红外图像的全局特征输入训练好的第一生成对抗网络,得到增强后的短波红外全局特征;
将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示,将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络,得到增强后的短波红外实例特征;
将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并,合并后的特征输入至目标检测头,得到短波红外舰船的检测结果。
在另一些实施方式中,采用如下技术方案:
一种基于语义感知特征增强的短波红外舰船检测系统,包括:
全局特征获取模块,用于根据所获取的海上短波红外图像;提取短波红外图像的多尺度特征,对多尺度特征进行融合,得到短波红外图像的全局特征;
实例特征获取模块,用于预测短波红外图像全局特征的候选框,根据候选框在全局特征图上进行多尺度池化得到实例特征;
特征增强模块,用于将短波红外图像的全局特征输入训练好的第一生成对抗网络,得到增强后的短波红外全局特征;将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示,将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络,得到增强后的短波红外实例特征;
特征合并模块,用于将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并,合并后的特征输入至目标检测头,得到短波红外舰船的检测结果。
在另一些实施方式中,采用如下技术方案:
一种终端设备,其包括处理器和存储器,处理器用于实现各指令;存储器用于存储多条指令,所述指令适于由处理器加载并执行上述的基于语义感知特征增强的短波红外舰船检测方法。
在另一些实施方式中,采用如下技术方案:
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行上述的基于语义感知特征增强的短波红外舰船检测方法。
与现有技术相比,本发明的有益效果是:
(1)本发明通过语义感知,能够更加深入地挖掘短波红外实例特征的空间信息和语义信息,并进行特征增强,特征合并模块充分考虑了短波红外全局特征和实例特征的空间关系,合成更好的特征表示。
(2)本发明在训练模型时使用可见光图像,借助可见光图像,采用生成对抗网络对短波红外图像的低质量的全局特征和实例特征进行增强,增强后的全局特征和实例特征与可见光图像的全局特征和实例特征接近,即具有更高的质量。
本发明的其他特征和附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本方面的实践了解到。
附图说明
图1为本发明实施例中的基于语义感知特征增强的短波红外舰船检测架构图;
图2为本发明实施例中的基于语义感知特征增强的短波红外舰船检测方法过程示意图;
图3为本发明实施例中的语义感知增强过程示意图;
图4为本发明实施例中的生成器网络结构图;
图5为本发明实施例中的特征合并示意图。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
名词解释:
ResNet50:ResNet50是残差网络的一种,采用了跳层连接结构,缓解了网络深度大时的梯度消失和网络退化的问题。
FPN:FPN是特征金字塔网络,它在网络的顶层添加了自顶向下和横向连接的通路,将多尺度的特征进行融合,实验证明该结构在目标检测任务中效果良好。
实施例一
在一个或多个实施方式中,公开了一种基于语义感知特征增强的短波红外舰船检测方法,结合图1-图3,具体包括如下过程:
(1)获取海上短波红外图像;提取短波红外图像的多尺度特征,对多尺度特征进行融合,得到短波红外图像的全局特征;
具体地,对输入的图片数据除以像素值数据类型的最大值,然后进行标准化处理,标准化处理公式如下:
其中,μ是图像数据的均值,σ是数据的方差。
将尺寸为CⅹHⅹW的已经标注好的短波红外图像输入ResNet50网络提取得到多尺度特征,然后采用FPN特征金字塔网络进行特征融合得到多尺度的全局特征包含五个不同尺度特征图,它们的步长分别为4,8,16,32,64。
(2)预测短波红外图像的全局特征的候选框,根据候选框在全局特征图上进行多尺度池化得到实例特征;
具体地,将输入区域建议网络来预测候选框,在步长为4,8,16,32,64的特征图上分别设置大小为162,322,642,1282,2562的锚框,各个尺度上采用0.5,1.0,2.0的长宽比。在各个特征图上采用两个1ⅹ1卷积核来预测边界框和前景置信度。用0.85概率的前景置信度来筛选出感兴趣区域ROI。
根据ROI的长宽,将其分配在的不同尺度特征图上进行RoiAlign池化,得到和ROI数目相等的实例特征/>大小为512ⅹ7ⅹ7。
另外,为了在特征增强阶段进行训练,本实施例获取海上可见光图像,采用与短波红外图像相同的方法获得可见光图像的全局特征
对于可见光图像,直接根据真实框在的不同尺度特征图上进行RoiAlign池化,得到其实例特征/>大小为512ⅹ7ⅹ7。
本实施例中,短波红外图像可通过短波红外摄像机获得,相同场景和类别的可见光图像可通过网络搜集获得。
(3)将短波红外图像的全局特征输入训练好的第一生成对抗网络,得到增强后的短波红外全局特征训练样本集包括经过标注的海洋场景下的短波红外图形和可见光图像。
本实施例中,结合图1,将增强后的短波红外图像全局特征和可见光图像的全局特征/>用来训练第一生成对抗网络,包括以下步骤:
①固定生成器网络的参数,将海上短波红外图像的全局特征输入生成器,输出增强后的全局特征,然后与海上可见光图像的全局特征/>共同输入判别器,计算其分类损失,训练判别器,损失函数如下:
其中D(x;θD)为判别器,G(x;θG)为生成器。
②固定判别器网络的参数,将短波红外图像全局特征输入生成器得到增强后的全局特征,然后将增强后的全局特征输入判别器网络并计算分类损失,训练生成器网络,损失函数如下:
其中,D(x;θD)为判别器、G(x;θG)为生成器。E表示期望,表示/>服从分布P1。
(4)将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示,将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络,得到增强后的短波红外实例特征;
具体地,对于第二生成对抗网络的训练过程包括如下步骤:
①首先将舰船任务所用到的舰船类别的word,输入到预训练好的BERT模型中,分别取模型输出的第0个向量作为类别的嵌入向量,得到舰船类别的嵌入向量表Tebd,它的每一行为对应类别的嵌入向量,维度为768。
用一个矩阵Wsw,将Tebd嵌入到短波红外域的隐语义空间Ssw,得到该空间的隐语义嵌入向量表同样的,用一个矩阵Wvis,将Tebd嵌入到可见光域的隐语义空间Svis,得到该空间的隐语义嵌入向量表/>隐语义嵌入向量表的维度为N×M。接下来,计算与/>之间的一致性损失,损失函数如下:
其中T(i)表示第i个表项。[k·L:(k+1)·L]表示下标从k·L到(k+1)·L的向量切片,总体而言,表示对/>的第i个表项的第k段向量切片的所有元素求和。
本实施例中,通过优化一致性损失,可以使得短波红外域的隐语义嵌入向量表和可见光域的隐语义嵌入向量表之间语义对齐。
②将短波红外实例特征嵌入到隐语义空间Ssw得到其隐语义表示/>并计算其和隐语义嵌入向量表/>的相似度,我们采用三元组损失来训练,这样得到的隐语义表示具有较好的判别性,我们这样来构造三元组:/>中和/>类别相同的表项作为正样本p,随机抽样出不同类别的表项作为负样本n,损失函数如下:
d(x,y)=‖x-y‖2
其中,d(x,y)用于计算距离,采用L2范数作为度量;比如:表示/>和p的L2范数。
对于可见光实例特征我们同样将其嵌入到Svis,得到/>与/>计算相似度,采用同样的方法构造三元组,损失函数如下:
d(x,y)=‖x-y‖2
本实施例中,具体操作是增大短波红外实例特征的隐语义表示和同一类别的隐语义嵌入向量的相似度,减小短波红外实例特征的隐语义表示和不同类别的隐语义嵌入向量的相似度。这样学习得到的隐语义表示包含短波红外实例特征的深层次语义信息。
③参阅图4,生成器网络采用带跳层连接的自动编码器结构。我们将输入生成器网络,先由解码器得到潜在表示,将潜在表示与/>逐元素相加,然后输入解码器得到增强后的短波红外实例特征/>然后将/>映射到Svis,得到/>与/>计算相似度,采用同样的方式构造三元组,损失函数如下:
d(x,y)=‖x-y‖2
基于上述损失函数,使用短波红外实例特征和可见光图像得到的实例特征来学习隐语义表示。
④使用增强后的短波红外实例特征和可见光实例特征/>来训练第二生成对抗网络,包括如下过程:
(4-1)固定生成器网络的参数,将输入生成器得到/>然后将/>和/>输入判别器,训练判别器,损失函数如下:
其中,D(x;θD)为判别器,G(x;θG)为生成器。
(4-2)固定判别器网络的参数,将输入生成器得到/>然后将/>输入判别器,训练生成器网络,损失函数如下:
D(x;θD)为判别器,G(x;θG)为生成器;E表示期望,表示/>服从分布P1。
(5)将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并,合并后的特征输入至目标检测头,得到短波红外舰船的检测结果。
通常情况下,目标检测可以分为骨干网络和检测头。图像输入骨干网络,输出特征图,检测头可以利用特征图预测目标的边界框和类别。生成对抗网络训练完毕后,可以用其中的生成器来增强骨干网络提取的特征。
具体地,参照图5,取增强后的短波红外全局特征的步长为8,16,32的特征图,分别在其上每个像素点设置尺度为122,242,482的锚框。我们将增强后的短波红外实例特征/>在原图上的边界框视为在原图上的一个区域。对于/>的特征图的每一个像素点上计算其锚框和/>对应的区域的权重,然后将重新赋予权重的/>以逐元素相加的方式融入/>权重考虑了锚框和区域的重叠面积和空间关系,融合方式如下:
表示位于(i,j)像素点上的特征,/>表示第k个实例特征。θ表示锚框和区域的中心点所连矢量的角度,以X轴右方和Y轴下方为正方向建立坐标系,以顺时针方向为正方向。我们认为位于上下左右正方向的区域具有较大的权重。d表示锚框和区域的中心点的归一化欧几里得距离。IOR用于衡量锚框和区域的重叠分数,用锚框和区域的相交面积除以区域的面积,其中anchor表示锚框,region表示区域。
将合并后得到的多尺度全局特征输入目标检测头,首先通过一条自底向上的信息流动路径,来缩短信息的流动,将步长为8的特征图下采样后与步长为16的特征图融合,再与步长为32的特征图融合,分别在每个特征图上设置3个不同尺度的锚框,在三个尺度的特征图上同时预测边界框和类别。
本实施例中,短波红外舰船的检测结果具体为:输出图片中每一个舰船目标的位置和类别,位置表示为(x1,y1,x2,y2),这是一个框,包含着一个舰船目标,x1和y1为这个框的左上角的横纵坐标,x2和y2表示这个框的右下角的横纵坐标。
实施例二
在一个或多个实施方式中,公开了一种基于语义感知特征增强的短波红外舰船检测系统,包括:
全局特征获取模块,用于基于所获取的海上短波红外图像;提取短波红外图像的多尺度特征,对多尺度特征进行融合,得到短波红外图像的全局特征;
实例特征获取模块,用于预测短波红外图像的全局特征的候选框,根据候选框在全局特征图上进行多尺度池化得到实例特征;
特征增强模块,用于将短波红外图像的全局特征输入训练好的第一生成对抗网络,得到增强后的短波红外全局特征;将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示,将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络,得到增强后的短波红外实例特征;
特征合并模块,用于将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并,合并后的特征输入至目标检测头,得到短波红外舰船的检测结果。
需要说明的是,上述各模块的具体实现方式已经在实施例一中进行了说明,此处不再详述。
实施例三
在一个或多个实施方式中,公开了一种终端设备,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现实施例一中的基于语义感知特征增强的短波红外舰船检测方法。为了简洁,在此不再赘述。
应理解,本实施例中,处理器可以是中央处理单元CPU,处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例四
在一个或多个实施方式中,公开了一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行实施例一中所述的基于语义感知特征增强的短波红外舰船检测方法。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种基于语义感知特征增强的短波红外舰船检测方法,其特征在于,包括:
获取海上短波红外图像;提取短波红外图像的多尺度特征,对多尺度特征进行融合,得到短波红外图像的全局特征;
预测短波红外图像全局特征的候选框,根据候选框在全局特征图上进行多尺度池化得到实例特征;
将短波红外图像的全局特征输入训练好的第一生成对抗网络,得到增强后的短波红外全局特征;
将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示,将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络,得到增强后的短波红外实例特征;
将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并,合并后的特征输入至目标检测头,得到短波红外舰船的检测结果;
所述第一生成对抗网络的训练过程包括:
构建第一生成对抗网络的训练样本集;训练样本集包括经过标注的海洋场景下的短波红外图形和可见光图像;
固定生成器网络的参数,将海上短波红外图像的全局特征输入生成器,输出增强后的全局特征,然后与海上可见光图像的全局特征共同输入判别器,计算分类损失,训练判别器网络;
固定判别器网络的参数,将海上短波红外图像的全局特征输入生成器,输出增强后的全局特征;然后将增强后的全局特征输入判别器,计算分类损失,训练生成器网络;
使用短波红外实例特征和可见光图像得到的实例特征来训练第二生成对抗网络;具体包括:
(1)固定生成器网络的参数,将短波红外实例特征输入生成器得到增强后的实例特征,与可见光实例特征共同输入判别器网络并计算分类损失,训练判别器网络;
(2)固定判别器网络的参数,将短波红外实例特征输入生成器得到增强后的实例特征,然后将增强后的实例特征输入判别器网络并计算分类损失,训练生成器网络。
2.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法,其特征在于,采用残差网络作为骨干网络来提取短波红外图像的多尺度特征,采用特征金字塔网络来融合多尺度特征得到全局特征。
3.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法,其特征在于,隐语义表示的学习过程包括:
获得舰船类别嵌入向量表,将其分别映射为短波红外域的隐语义嵌入向量表和可见光域的隐语义嵌入向量表/>计算/>与/>之间的一致性损失,构建损失函数Lebd;
将短波红外图像得到的实例特征嵌入到短波红外隐语义空间得到其隐语义表示计算/>和隐语义嵌入向量表/>的相似度,构建损失函数/>
将可见光图像得到的实例特征嵌入到可见光隐语义空间得到其隐语义表示/>计算/>和隐语义嵌入向量表/>的相似度,构建损失函数/>
将短波红外图像得到的实例特征输入生成器网络,先由解码器得到潜在表示,将潜在表示与隐语义表示/>逐元素相加,然后输入解码器得到增强后的短波红外实例特征将/>映射到可见光域的隐语义空间Svis,得到/>计算其与隐语义嵌入向量表/>的相似度,构建损失函数/>
基于上述损失函数,使用短波红外实例特征和可见光图像得到的实例特征/>来学习隐语义表示。
4.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法,其特征在于,将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并,具体包括:
取增强后的短波红外图像的全局特征设定步长的特征图,分别在其上每个像素点设置设定尺度的锚框;
将增强后的短波红外实例特征在原图上的边界框视为在原图上的一个区域;对所述特征图的每一个像素点,计算其锚框和短波红外实例特征对应的区域的权重,然后将重新赋予权重的短波红外实例特征以逐元素相加的方式融入增强后的短波红外全局特征,得到合并后的特征,权重考虑了锚框和区域的重叠面积和空间关系。
5.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法,其特征在于,合并后的特征输入至目标检测头,目标检测头利用所述特征预测舰船目标的边界框和类别。
6.一种基于语义感知特征增强的短波红外舰船检测系统,其特征在于,包括:
全局特征获取模块,用于根据所获取的海上短波红外图像;提取短波红外图像的多尺度特征,对多尺度特征进行融合,得到短波红外图像的全局特征;
实例特征获取模块,用于预测短波红外图像全局特征的候选框,根据候选框在全局特征图上进行多尺度池化得到实例特征;
特征增强模块,用于将短波红外图像的全局特征输入训练好的第一生成对抗网络,得到增强后的短波红外全局特征;将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示,将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络,得到增强后的短波红外实例特征;
特征合并模块,用于将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并,合并后的特征输入至目标检测头,得到短波红外舰船的检测结果;
所述第一生成对抗网络的训练过程包括:
构建第一生成对抗网络的训练样本集;训练样本集包括经过标注的海洋场景下的短波红外图形和可见光图像;
固定生成器网络的参数,将海上短波红外图像的全局特征输入生成器,输出增强后的全局特征,然后与海上可见光图像的全局特征共同输入判别器,计算分类损失,训练判别器网络;
固定判别器网络的参数,将海上短波红外图像的全局特征输入生成器,输出增强后的全局特征;然后将增强后的全局特征输入判别器,计算分类损失,训练生成器网络;
使用短波红外实例特征和可见光图像得到的实例特征来训练第二生成对抗网络;具体包括:
(1)固定生成器网络的参数,将短波红外实例特征输入生成器得到增强后的实例特征,与可见光实例特征共同输入判别器网络并计算分类损失,训练判别器网络;
(2)固定判别器网络的参数,将短波红外实例特征输入生成器得到增强后的实例特征,然后将增强后的实例特征输入判别器网络并计算分类损失,训练生成器网络。
7.一种终端设备,其包括处理器和存储器,处理器用于实现各指令;存储器用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行权利要求1-5任一项所述的基于语义感知特征增强的短波红外舰船检测方法。
8.一种计算机可读存储介质,其中存储有多条指令,其特征在于,所述指令适于由终端设备的处理器加载并执行权利要求1-5任一项所述的基于语义感知特征增强的短波红外舰船检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210338616.4A CN114758202B (zh) | 2022-04-01 | 2022-04-01 | 基于语义感知特征增强的短波红外舰船检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210338616.4A CN114758202B (zh) | 2022-04-01 | 2022-04-01 | 基于语义感知特征增强的短波红外舰船检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114758202A CN114758202A (zh) | 2022-07-15 |
CN114758202B true CN114758202B (zh) | 2024-05-24 |
Family
ID=82330088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210338616.4A Active CN114758202B (zh) | 2022-04-01 | 2022-04-01 | 基于语义感知特征增强的短波红外舰船检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114758202B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062378A (zh) * | 2019-12-23 | 2020-04-24 | 重庆紫光华山智安科技有限公司 | 图像处理方法、模型训练方法、目标检测方法及相关装置 |
CN111259740A (zh) * | 2020-01-09 | 2020-06-09 | 北京航空航天大学 | 基于轻量级cnn与多源特征决策的红外图像舰船检测方法 |
CN111340907A (zh) * | 2020-03-03 | 2020-06-26 | 曲阜师范大学 | 一种自适应属性和实例掩码嵌入图的文本到图像生成方法 |
CN112395987A (zh) * | 2020-11-18 | 2021-02-23 | 西安电子科技大学 | 基于无监督域适应cnn的sar图像目标检测方法 |
CN113781377A (zh) * | 2021-11-03 | 2021-12-10 | 南京理工大学 | 基于对抗性语义引导与感知的红外和可见光图像融合方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11443193B2 (en) * | 2020-04-24 | 2022-09-13 | Adobe Inc. | Domain adaptation for machine learning models |
-
2022
- 2022-04-01 CN CN202210338616.4A patent/CN114758202B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062378A (zh) * | 2019-12-23 | 2020-04-24 | 重庆紫光华山智安科技有限公司 | 图像处理方法、模型训练方法、目标检测方法及相关装置 |
CN111259740A (zh) * | 2020-01-09 | 2020-06-09 | 北京航空航天大学 | 基于轻量级cnn与多源特征决策的红外图像舰船检测方法 |
CN111340907A (zh) * | 2020-03-03 | 2020-06-26 | 曲阜师范大学 | 一种自适应属性和实例掩码嵌入图的文本到图像生成方法 |
CN112395987A (zh) * | 2020-11-18 | 2021-02-23 | 西安电子科技大学 | 基于无监督域适应cnn的sar图像目标检测方法 |
CN113781377A (zh) * | 2021-11-03 | 2021-12-10 | 南京理工大学 | 基于对抗性语义引导与感知的红外和可见光图像融合方法 |
Non-Patent Citations (2)
Title |
---|
Unsupervised Subcategory Domain Adaptive Network for 3D Object Detection in LiDAR;Zhiyu Wang et al.;《Electronics》;20210413;第1-13页 * |
基于短波红外遥感影像的船只自动检测方法;鲍松泽 等;《光学学报》;20180531;第38卷(第5期);第1-11页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114758202A (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Luo et al. | Traffic sign recognition using a multi-task convolutional neural network | |
CN111027493B (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
Li et al. | Object detection using convolutional neural networks in a coarse-to-fine manner | |
CN103430218A (zh) | 用3d脸部建模和地标对齐扩增造型的方法 | |
CN110084299B (zh) | 基于多头融合注意力的目标检测方法和装置 | |
WO2013065220A1 (ja) | 画像認識装置、画像認識方法、及び集積回路 | |
Geng et al. | Using deep learning in infrared images to enable human gesture recognition for autonomous vehicles | |
WO2023019875A1 (zh) | 车辆损失检测方法、装置、电子设备及存储介质 | |
CN114419467A (zh) | 旋转船只目标检测模型的训练方法、训练装置和存储介质 | |
Shen et al. | Biomimetic vision for zoom object detection based on improved vertical grid number YOLO algorithm | |
CN111126205A (zh) | 一种基于旋转定位网络的光学遥感图像飞机目标检测方法 | |
CN112861785B (zh) | 一种基于实例分割和图像修复的带遮挡行人重识别方法 | |
CN113743385A (zh) | 一种无人船水面目标检测方法、装置及无人船 | |
Zhang et al. | Finding nonrigid tiny person with densely cropped and local attention object detector networks in low-altitude aerial images | |
Fan et al. | A novel sonar target detection and classification algorithm | |
CN115115601A (zh) | 一种基于形变注意金字塔的遥感舰船目标检测方法 | |
Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
Guo et al. | D3-Net: Integrated multi-task convolutional neural network for water surface deblurring, dehazing and object detection | |
CN110516751A (zh) | 三维数据的处理方法、系统及设备 | |
Cheng et al. | C 2-YOLO: Rotating Object Detection Network for Remote Sensing Images with Complex Backgrounds | |
Zhang et al. | Oriented ship detection based on soft thresholding and context information in SAR images of complex scenes | |
CN114758202B (zh) | 基于语义感知特征增强的短波红外舰船检测方法及系统 | |
CN113537397B (zh) | 基于多尺度特征融合的目标检测与图像清晰联合学习方法 | |
Zhu et al. | Application of pornographic images recognition based on depth learning | |
CN116912670A (zh) | 基于改进yolo模型的深海鱼类识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |