CN114973164A - 一种基于图像风格迁移的舰船目标融合识别方法 - Google Patents
一种基于图像风格迁移的舰船目标融合识别方法 Download PDFInfo
- Publication number
- CN114973164A CN114973164A CN202210691091.2A CN202210691091A CN114973164A CN 114973164 A CN114973164 A CN 114973164A CN 202210691091 A CN202210691091 A CN 202210691091A CN 114973164 A CN114973164 A CN 114973164A
- Authority
- CN
- China
- Prior art keywords
- ship
- source
- target
- image
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000004927 fusion Effects 0.000 title claims abstract description 49
- 238000013508 migration Methods 0.000 title claims abstract description 34
- 230000005012 migration Effects 0.000 title claims abstract description 33
- 238000010586 diagram Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007493 shaping process Methods 0.000 claims description 6
- 210000000609 ganglia Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 13
- 238000000605 extraction Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000003331 infrared imaging Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 208000003098 Ganglion Cysts Diseases 0.000 description 2
- 208000005400 Synovial Cyst Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像风格迁移的舰船目标融合识别方法，获取目标舰船的红外图像和可见光图像；采用残差网络分别提取红外图像的红外舰船特征图和可见光图像的可见光舰船特征图；根据红外舰船特征图生成第一目标语义变量和第一源语义变量；根据可见光舰船特征图生成第二源语义变量；对第一目标语义变量、第二目标语义变量和第二源语义变量进行融合，生成源随机舰船特征图；将源随机舰船特征图输入舰船分类网络，确定目标舰船的类别；本发明可以使得在分类过程中舰船分类网络更关注目标相关特征，提升准确性。
Description
技术领域
本发明属于遥感信息融合及目标识别技术领域，尤其涉及一种基于图像风格 迁移的舰船目标融合识别方法。
背景技术
开发完全自主的航海船舶对世界全球供应链和军事领域有着重要的意义。为 了遵守国际海上交通规则，这些船舶必须配备机器视觉系统，以便在白天和夜间 对附近的其他船舶进行分类。这其中的关键技术便是舰船精准识别技术。在目标 识别方面，传统的目标识别方法由两部分组成：特征提取器及分类器，特征提取 器通常为人工设计，用于从原始传感器数据中提取目标特征，而分类器则负责对 这些特征进行分类，得到预测目标类别。这些方法在实施过程中，特征提取与分 类这两部分单独进行优化，导致提取到的特征不一定有利于后续的目标识别，即 特征的判别性不足，使得目标识别准确率并不理想。
随着深度学习的发展，判别式网络(如深度卷积神经网络)等被广泛应用于 目标识别，其采用端到端的方法对特征提取器与分类器进行联合优化，目标识别 准确率大大提高。但由于该方法中特征为网络自动提取，相比于传统的手工提取 方法存在可解释性差等缺陷，识别过程难以被人理解。
多源图像融合方法大体上可分为三类：像素级的融合、特征级的融合及决策 级的融合。像素级融合需要首先对异源图像对进行配准，然后基于像素对进行融 合；对于特征级融合，首先要从异源图像中提取各自的特征，然后对这些异源特 征进行融合；对于决策级融合，则首先需要对各个源的数据进行单独分类，然后 将其分类结果进行融合得到最终分类结果。
在特征融合学习方面，现有方法(如变分自编码网络)多通过引入可编辑的 隐特征/隐变量，使得特征的解释性加强。但是，其强调隐变量间各维度之间是相 互独立的，忽略了隐变量间的相互关系。这种假设性过强，以至于违反了现实规 律，造成识别效果并不理想。
发明内容
本发明的目的是提供一种基于图像风格迁移的舰船目标融合识别方法，通过 从异源图像中挖掘出图像的内禀不变属性和等变属性再进行融合，使分类器更关 注于图像的内禀不变属性，以提升舰船图像类别识别的精准度。
本发明采用以下技术方案：一种基于图像风格迁移的舰船目标融合识别方 法，包括以下步骤：
获取目标舰船的红外图像和可见光图像；
采用残差网络分别提取红外图像的红外舰船特征图和可见光图像的可见光 舰船特征图；
根据红外舰船特征图生成第一目标语义变量和第一源语义变量；根据可见光 舰船特征图生成第二源语义变量；
对第一目标语义变量、第一源语义变量和第二源语义变量进行融合，生成源 随机舰船特征图；
将源随机舰船特征图输入舰船分类网络，确定目标舰船的类别；其中，舰船 分类网络包括依次连接的第一卷积层、第二卷积层、自适应平均池化层和全连接 层。
进一步地，根据红外舰船特征图生成第一目标语义变量和第一源语义变量包 括：
采用
计算红外舰船特征图的通道平均值；其中，z为红外舰 船特征图，μ(z)为第一通道平均值，H为红外舰船特征图的高度维度，W为红外 舰船特征图的宽度维度；
采用
计算红外舰船特征图的第一标准差，∈为噪声；
组合通道平均值和标准差，得到第一源语义变量。
进一步地，得到第一源语义变量之后还包括：
采用
计算第一目标语义变量；其中，c1为第一目标语义变量。
进一步地，对第一目标语义变量、第一源语义变量和第二源语义变量进行融 合包括：
采用
计算可见光舰船特征图的通道平均值；其中，z′为可见光舰船特征图，μ(z′)为第二通道平均值；
采用
计算可见光舰船特征图的第二标准差；
组合第二通道平均值和第二标准差，得到第二源语义变量。
进一步地，得到第二源语义变量之后还包括：
对第一源语义变量和第二源语义变量进行插值，得到第三源语义变量；
根据第三源语义变量和第一目标语义变量确定源随机舰船特征图。
进一步地，确定源随机舰船特征图包括：
采用
计算源随机舰船特征图；
其中，SR(z,z′)为源随机舰船特征图，
α为源风格加权权重，
进一步地，源随机舰船特征图大小为(128,28,28)；
第一卷积层的输入通道数为128、输出通道数为256、卷积核大小为(3,3)、 步长为(1,1)、填充为(1,1)、输出大小为(256,28,28)；
第二卷积层输入通道数为256、输出通道数为512、卷积核大小为(3,3)、步 长为(1,1)、填充为(1,1)、输出大小为(512,28,28)；
自适应平均池化层的输入特征图大小为(512,28,28)、输出大小为(512,1,1)；
全连接层的输入神经节点数512、输出神经节点数6。
进一步地，还包括：
对自适应平均池化层输出的特征图进行整形，将整形后的特征图送入全连接 层；
其中，整形后的特征图大小为(512,1)。
进一步地，舰船分类网络的损失函数为：
l＝Lc+Ladv，
其中，Lc为分类损失函数，
为期望，m为舰船图像，包括红外图像和可见光图像，n为舰船的标签，S为训练数据集， nk为第k个标签，K为标签总数，Gc为舰船分类网络；
Ladv为对抗损失函数，
λadv表示对抗权重，Gs表示舰船分类对抗网络，其网络架构与Gc一致，CR(z,z′)为目标随机舰 船特征图，
本发明的另一种技术方案：一种基于图像风格迁移的舰船目标融合识别装 置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序， 处理器执行计算机程序时实现上述的一种基于图像风格迁移的舰船目标融合识 别方法。
本发明的有益效果是：本发明根据目标舰船的红外图像和可见光图像生成不 同的目标语义变量和源语义变量，再将目标语义变量和源语义变量进行融合得到 源随机舰船特征图，最后通过舰船分类网络对源随机舰船特征图进行分类，可以 使得在分类过程中舰船分类网络更关注目标相关特征，提升准确性。
附图说明
图1为本发明一种基于图像风格迁移的舰船目标融合识别方法的流程图；
图2为本发明一种基于图像风格迁移的舰船目标融合识别方法的原理图；
图3为本发明一种基于图像风格迁移的舰船目标融合识别方法的网络架构示 意图；
图4为本发明验证实施例中舰船分类准确率对比图；
图5为本发明验证实施例中舰船分类准确率方差对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
考虑到在实际应用中，红外成像技术的工作原理是依靠目标自身的辐射能量 进行成像，它和雷达成像技术相比较而言，其在体积、重量、分辨率、抗干扰能 力以及隐蔽性等方面占有比较明显的优势，它与可见光成像技术相比较而言，其 具有云雾穿透能力和超长的作用距离，最重要的是具备夜间观测的能力。
但是，在利用红外图像进行目标识别时也有着以下的问题，第一，红外图像 表征景物的温度分布，为热源成像，没有彩色或阴影(立体感)，图像的分辨率 较低；第二，红外光波波长较长、传输距离较远、传输过程中会受到大气的衰减 以及自然界中的各种干扰，导致了红外图像边界较模糊、空间相关性强、对比度 低等特点；第三，红外图像与可见光图像相比具有分辨率低、探测能力弱等特点， 使得红外图像的可见度比较低；第四，热成像系统自身的误差以及自然界中的干 扰，给图像增加了各种噪声。由于噪声来源的不可预测性，造成了红外图像噪声 的不可预测性以及噪声分布的复杂性，从而导致了红外图像较低的信噪比。以上 问题会导致红外图像会丢失目标的一些诸如颜色、纹理和空间结构信息，造成识 别率相比于同类光学图像会有所下降。而光学遥感相机尽管容易受云层、光照等条件干扰，但成像内容丰富，目标特征直观，故这两种异源图像均被广泛用于舰 船目标识别任务中。光学图像可以提供丰富的关于目标外观方面(如颜色等)的 频谱信息，红外图像则可以很好的反映目标的热力值信息，故两数据源信息存在 互补性，如何能够对光学及红外图像中的舰船目标进行融合学习与识别是亟待解 决的难题。
本发明采用了风格迁移的思想，如图2所示，自然的将一副图像分为内容(与 目标相关语义)与风格(与源相关语义)，符合客观事实，再利用特别设计的采 样策略，挖掘内容与风格间的关系，从而使分类器更多关注于内容，以提升分类 精度。
在多源图像融合方面，像素级的融合需要异源的关于同一目标的时空配准图 像，这在海洋目标识别问题中是很难获得的，而基于特征融合的方法由于可以 挖掘多源数据间内禀不变及等变的属性，不一定需要配准的异源图像。在数据 量方面，深度神经网络需要大量的数据作为支撑，但是在海洋目标识别问题中是 不符合实际的，特别的，对于少量的红外目标图像。本发明可以在少量的红外图 像与大量的可见光图像的支撑下完成对红外图像的精准目标识别。故本发明利用 风格迁移的思想，在异源非配对且少样本的条件下，实现跨源舰船特征融合学习 与舰船目标精准识别。
本发明实施例公开了一种基于图像风格迁移的舰船目标融合识别方法，如图 1所示，包括以下步骤：步骤S110、获取目标舰船的红外图像和可见光图像；步 骤S120、采用残差网络分别提取红外图像的红外舰船特征图和可见光图像的可见 光舰船特征图；步骤S130、根据红外舰船特征图生成第一目标语义变量和第一源 语义变量；根据可见光舰船特征图生成第二源语义变量；步骤S140、对第一目标 语义变量、第一源语义变量和第二源语义变量进行融合，生成源随机舰船特征图； 步骤S150、将源随机舰船特征图输入舰船分类网络，确定目标舰船的类别；其中， 舰船分类网络包括依次连接的第一卷积层、第二卷积层、自适应平均池化层和全 连接层。
本发明根据目标舰船的红外图像和可见光图像生成不同的目标语义变量和 源语义变量，再将目标语义变量和源语义变量进行融合得到源随机舰船特征图， 最后通过舰船分类网络对源随机舰船特征图进行分类，可以使得在分类过程中舰 船分类网络更关注目标相关特征，提升准确性。即将两源图像输入特征提取网络 中解缠分别得到异源图像的内禀不变属性及等变属性的表征，再通过采样与分类 网络进行特征融合，使网络更关注于异源图像的内禀不变属性(即与目标相关的 语义)以实现舰船类别识别。
本发明属于深度学习和目标识别技术领域，跨源的多维异构目标观测数据分 布于不同空间，这使得当前主流的用于单模态数据深度特征学习模型无法对异源 目标找到对应的特征分布流形，本发明利用风格迁移的思想，挖掘异源图像间内 禀不变及等变属性，并通过特殊设计的采样策略进行特征融合，以实现对异源舰 船数据的融合学习与识别。
本发明整体架构由特征提取网络和采样与分类网络两部分组成，特征提取网 络负责从输入的异源图像中挖掘出内禀不变及等变属性。因此，需要对异源图像 内禀不变及等变属性进行建模。
对于异源舰船图像，认为其内禀不变性属性是关于同一类别目标的语义，其 等变属性是与源相关的语义。本发明借鉴了风格迁移的思想，风格迁移的思想通 常是取两张图像，一张作为风格图像，一张作为内容图像，分别将两幅图像解耦 为风格与内容，使用内容图像的内容与风格图像的风格融合生成新图像，使其具 有内容图像的内容与风格图像的风格。如果可以将异源图像的内容与风格解耦， 那么其内容就代表了与目标相关的语义，其风格就代表了与源有关的语义。
在风格迁移方法中的自适应实例归一化方法(Adaptive InstanceNormalization，AdaIN)中，如公式(1)所示：
公式(1)展示了风格迁移中图片的风格化过程，将内容图片x的内容以风 格图片y的风格展现，x与y分别代表内容图片与风格图片，μ(x)与μ(y)分别表 示对内容图片与风格图片按通道求均值操作，如公式(2)所示。σ(x)与σ(y)分 别表示对内容图片与风格图片按通道求标准差操作，如公式(3)所示。
在本实施例中，根据红外舰船特征图生成第一目标语义变量和第一源语义变 量包括：采用
计算红外舰船特征图的通道平均值；其中，z为红 外舰船特征图，μ(z)为第一通道平均值，H为红外舰船特征图的高度维度，W为 红外舰船特征图的宽度维度；采用
计算红外舰船特征 图的第一标准差，∈为噪声；组合通道平均值和标准差，得到第一源语义变量。
该实施例中，将异源图像经过残差网络学习出高维特征图，再通过公式(2) 及公式(3)得到的通道平均值和标准差，最后组合通道平均值和标准差，得到 第一源语义变量。
同时，将异源图像的高维特征图通过归一化公式得到的与目标相关的语义编 码作为图3中语义c1与c2。
具体的，得到第一源语义变量之后还包括：采用
计算第一目标语 义变量；其中，c1为第一目标语义变量。
同时，也要对可见光舰船特征图进行处理，即对第一目标语义变量、第一源 语义变量和第二源语义变量进行融合包括：
采用
计算可见光舰船特征图的通道平均值；其中，z′为可见光舰船特征图，μ(z′)为第二通道平均值；采用
计算 可见光舰船特征图的第二标准差；组合第二通道平均值和第二标准差，得到第二 源语义变量。
在本发明中，采样与分类网络(其包含了舰船图像分类网络)负责将从异源 图像中挖掘出的内禀不变及等变属性进行融合，使分类器更关注于内禀不变的属 性，以完成舰船类别的精准识别。如图3所示，从随机采样的红外舰船图像中挖 掘出与目标相关的语义c1作为内禀不变性表征，与源相关的语义s1作为内禀等 变性表征。同理，得到随机采样的可见光舰船图像的与目标相关的语义c2、以及 与源相关的语义s2。
为了使分类网络更关注于与目标相关的语义，得到第二源语义变量之后还包 括：对第一源语义变量和第二源语义变量进行插值，得到第三源语义变量；根据 第三源语义变量和第一目标语义变量确定源随机舰船特征图。
更为具体的，确定源随机舰船特征图包括：采用
计算源 随机舰船特征图；其中，SR(z,z′)为源随机舰船特征图，
α～Uniform(0,1)为源风格加权权重，
这样就得到了源风 格加权后的与源相关的语义表征
与
然后，生成新的特征图，其具有随机的源风格却仍保存着红外舰船与目标相 关语义c1所对应的舰船类型，生成具有随机的源风格的舰船特征图的过程，该 过程称之为源风格随机采样。
将融合生成的源随机舰船特征图送入由舰船分类网络(即先依次进入两层卷 积层，再经自适应平均池化层后接一层全连接层)，给定其与语义c1所对应的舰 船类型作为真值，在交叉熵损失函数的约束下迫使分类器更关注与目标相关的语 义，以完成舰船的高精度识别任务。
作为一种具体的实例，本实施例中的舰船分类网络具有以下特点：
源随机舰船特征图大小为(128,28,28)；128是通道数，第一个28为特征图 高(H)，第二个28为特征图宽(W)。
第一卷积层的输入特征图大小为(128,28,28)，即输入通道数为128、输出通 道数为256、卷积核大小为(3,3)、步长为(1,1)、填充为(1,1)、输出大小为 (256,28,28)。第二卷积层输入大小为(256,28,28)，即通道数为256、输出通道 数为512、卷积核大小为(3,3)、步长为(1,1)、填充为(1,1)、输出大小为 (512,28,28)。自适应平均池化层的输入特征图大小为(512,28,28)，经过自适应 平均池化层输出大小为(512,1,1)。对自适应平均池化层输出的特征图进行整形， 将整形后的特征图送入全连接层；其中，整形后的特征图大小为(512,1)。全连 接层的输入神经节点数512、输出神经节点数6，即为每一类的分类概率。
在本实施例中，舰船分类网络的损失函数为：
l＝Lc+Ladv (4)
其中，第一项为基于内容的损失函数用于与目标相关语义的学习，以完成舰 船分类预测，第二项为基于源风格的对抗损失函数用于与源相关语义的学习，以 协助完成舰船分类预测。
Lc为分类损失函数，
为期望，m为舰船图像，包括红外图像和可见光图像，n为舰船的标签，S为训练数据集，nk为第k个标签，K为标签总数，Gc为舰船分类网络。舰船分类网络采用Adam优 化器进行优化，初始学习率设置为0.004。
同时，本实施例另外设计了目标随机采样过程，以学习与源相关的语义表征， 在通过对抗损失函数对该舰船分类网络进一步优化。具体为对抗损失函数Ladv，
λadv表示对抗权重，Gs表示舰船分类对抗 网络，其网络架构与Gc一致，CR(z,z′)为目标随机舰船特征图， 
该损失函数意在将通过将目标随机采样过程生成 的目标随机舰船特征图送入分类网络得到的预测与均匀分布求交叉熵，使得预测 结果不能完成舰船类别的分类，以迫使特征提取网络可以学习到语义s1的表征。 目标随机舰船特征图采用
来计算。
综上可知，本发明采用基于图像风格迁移的跨源舰船特征融合学习与识别方 法实现对可见光及红外舰船特征的融合及舰船目标的识别，引入风格迁移的思想 通过从原始异源舰船图像中挖掘出不同数据源间的内禀不变及等变属性，实现了 可解释的特征的提取与融合，并用于舰船目标的识别之中。另外，通过利用跨源 数据，该方法不仅可以提取各个数据源中独有的具有判别性的舰船特征，还可以 提取所有数据源共有的具有判别性的舰船特征，使得特征提取的更充分，因此可 以提高舰船识别准确率并具有强大的鲁棒性。
为了验证本发明方法的可行性，进行了以下验证实施例：
首先需要收集可见光与红外舰船图像。VAIS数据集是世界上第一个公开的可 见光和红外舰船图像配对数据集。该数据集包含六个船舶类别(商船、帆船、客 船、中型船、拖船和小型船)中1000多个成对的RGB和红外图像。手动去除其中 无标签的图像数据，本实施例一共选用966对可见光和红外舰船配对图像。为了 解决图像的尺寸差异问题，手动将每一张舰船图像按比例缩放，同时为了保证图 像是方形可以用于深度学习训练，给每一张缩放后的舰船图像添加黑背景，使其 归一化至224×224像素，至此完成了数据集的制作。数据集的具体信息如表1所 示。
表1验证过程中所使用的数据集的基本信息
在该实施例中，并没有利用配对信息，设计了以下4个实验以模拟异源非配 对且红外小样本的情况下的红外舰船识别。首先，从966张红外图像中每类随机 选取百分之五十的图像(482张)固定作为测试集，在训练时无法接触。之后， 在剩余的484张红外图像中每次按类随机抽取样本总量的百分之四十(387张)、 三十(290张)、二十(193张)、十(97张)的图像用于训练，与可见光(966 张)舰船图像一同构成训练集。具体信息如表2、3、4、5所示。
表2随机百分之四十实验基本信息
表3随机百分之三十实验基本信息
表4随机百分之二十实验基本信息
表5随机百分之十实验基本信息
为了验证方法的高效性与鲁棒性，将本发明方法与目前最先进的目标识别算 法进行了对比。在相同的异源舰船数据集上进行上述4组试验，每组实验数据都 进行三次随机采样，每次随机采样进行三次实验(即在上述4组实验中，每一组 实验的训练集都是通过在数据集上随机采样构成，每组实验随机采样3个相同大 小的训练集，再在每一个训练集上训练3次)。
结果如图4所示，在测试集上，本方法平均分类准确率均高于目前最先进的 目标识别算法，且在红外数据源样本越少的情况下优势越明显，特别的，在百分 之十的红外数据支撑下，仍有着较好的分类能力，分类精度较残差网络(resnet) 可以提升9％以上，更较只使用单源红外数据的残差网络(resnet)可以提升15％ 以上，这充分说明了本发明在舰船目标识别方面具有很高的准确率。
同时，在上述4组实验下，与目前最先进的算法对比了分类准确率的方差， 如图5所示，可以看出，本发明方法的分类准确率波动始终不大，特别在百分之 十的红外数据实验条件下，其分类性能依旧很鲁棒，这表明了本发明在舰船目标 识别方面具有较强的鲁棒性，可在较多场景下使用。
综上所示，本发明将图像风格迁移的思想引入了跨源舰船特征融合与识别任 务中，通过挖掘异源图像间内禀不变及等变属性，并进行融合以完成协同识别。 创造性的提出了将异源图像切片关于同一目标的语义作为异源图像间内禀不变 性的表达，将与源有关的语义作为异源图像间内禀等变性的表达，并通过自适应 实例归一化(AdaptiveInstance Normalization，AdaIN)实现了将两种语义解缠并 融合。
特殊设计的采样过程，源风格随机采样过程使网络更关注于与目标相关语义 的学习，以完成跨源舰船目标的高精度识别。目标随机采样过程采用对抗的思想 使网络更关注于与源相关的语义的学习，以迫使特征提取网络可以完成与风格相 关语义和与目标相关语义的解缠，以辅助跨源舰船目标的高精度识别。
本发明采用基于图像风格迁移的跨源舰船特征融合学习与识别方法，实现了 对可见光及红外舰船特征的融合及舰船目标的识别，引入风格迁移的思想通过从 原始异源舰船图像中挖掘出不同数据源间的内禀不变及等变属性，实现了可解释 的特征的提取与融合，并用于舰船目标的识别之中。通过利用跨源数据，该方法 不仅可以提取各个数据源中独有的具有判别性的舰船特征，还可以提取所有数据 源共有的具有判别性的舰船特征，使得特征提取的更充分，因此可以提高舰船识 别准确率并具有强大的鲁棒性。
本发明还公开了一种基于图像风格迁移的舰船目标融合识别装置，包括存储 器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行 计算机程序时实现上述的一种基于图像风格迁移的舰船目标融合识别方法。
上述的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设 备。该装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解，该装 置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可 以包括输入输出设备、网络接入设备等。
处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成 电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者 晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也 可以是任何常规的处理器等。
存储器在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或 内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备，例如所 述装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字 (Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可 以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操 作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所 述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将 要输出的数据。
需要说明的是，上述装置的具体内容，由于与本发明方法实施例基于同一构 思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述 或记载的部分，可以参见其它实施例的相关描述。本领域普通技术人员可以意识 到，结合本发明中所公开的实施例描述的各示例的模块及算法步骤，能够以电子 硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件 方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对 每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超 出本发明的范围。
Claims (10)
1.一种基于图像风格迁移的舰船目标融合识别方法，其特征在于，包括以下步骤：
获取目标舰船的红外图像和可见光图像；
采用残差网络分别提取所述红外图像的红外舰船特征图和所述可见光图像的可见光舰船特征图；
根据所述红外舰船特征图生成第一目标语义变量和第一源语义变量；根据所述可见光舰船特征图生成第二源语义变量；
对所述第一目标语义变量、第一源语义变量和第二源语义变量进行融合，生成源随机舰船特征图；
将所述源随机舰船特征图输入舰船分类网络，确定所述目标舰船的类别；其中，所述舰船分类网络包括依次连接的第一卷积层、第二卷积层、自适应平均池化层和全连接层。
2.如权利要求1所述的一种基于图像风格迁移的舰船目标融合识别方法，其特征在于，根据所述红外舰船特征图生成第一目标语义变量和第一源语义变量包括：
采用
计算所述红外舰船特征图的通道平均值；其中，z为所述红外舰船特征图，μ(z)为第一通道平均值，H为所述红外舰船特征图的高度维度，W为所述红外舰船特征图的宽度维度；
采用
计算所述红外舰船特征图的第一标准差，∈为噪声；
组合所述通道平均值和标准差，得到第一源语义变量。
3.如权利要求2所述的一种基于图像风格迁移的舰船目标融合识别方法，其特征在于，得到第一源语义变量之后还包括：
采用
计算所述第一目标语义变量；其中，c1为第一目标语义变量。
4.如权利要求2或3所述的一种基于图像风格迁移的舰船目标融合识别方法，其特征在于，对所述第一目标语义变量、第一源语义变量和第二源语义变量进行融合包括：
采用
计算所述可见光舰船特征图的通道平均值；其中，z′为所述可见光舰船特征图，μ(z′)为第二通道平均值；
采用
计算所述可见光舰船特征图的第二标准差；
组合所述第二通道平均值和第二标准差，得到第二源语义变量。
5.如权利要求4所述的一种基于图像风格迁移的舰船目标融合识别方法，其特征在于，得到第二源语义变量之后还包括：
对所述第一源语义变量和第二源语义变量进行差值，得到第三源语义变量；
根据所述第三源语义变量和第一目标语义变量确定所述源随机舰船特征图。
6.如权利要求5所述的一种基于图像风格迁移的舰船目标融合识别方法，其特征在于，确定所述源随机舰船特征图包括：
采用
计算所述源随机舰船特征图；
其中，SR(z,z′)为源随机舰船特征图，
α为源风格加权权重，
7.如权利要求6所述的一种基于图像风格迁移的舰船目标融合识别方法，其特征在于，所述源随机舰船特征图大小为(128,28,28)；
所述第一卷积层的输入通道数为128、输出通道数为256、卷积核大小为(3,3)、步长为(1,1)、填充为(1,1)、输出大小为(256,28,28)；
所述第二卷积层输入通道数为256、输出通道数为512、卷积核大小为(3,3)、步长为(1,1)、填充为(1,1)、输出大小为(512,28,28)；
所述自适应平均池化层的输入特征图大小为(512,28,28)、输出大小为(512,1,1)；
所述全连接层的输入神经节点数512、输出神经节点数6。
8.如权利要求7所述的一种基于图像风格迁移的舰船目标融合识别方法，其特征在于，还包括：
对所述自适应平均池化层输出的特征图进行整形，将整形后的特征图送入所述全连接层；
其中，整形后的特征图大小为(512,1)。
9.如权利要求6所述的一种基于图像风格迁移的舰船目标融合识别方法，其特征在于，所述舰船分类网络的损失函数为：
l＝Lc+Ladv，
其中，Lc为分类损失函数，
为期望，m为舰船图像，包括红外图像和可见光图像，n为舰船的标签，S为训练数据集，nk为第k个标签，K为标签总数，Gc为舰船分类网络；
Ladv为对抗损失函数，
λadv表示对抗权重，Gs表示舰船分类对抗网络，其网络架构与Gc一致，CR(z,z′)为目标随机舰船特征图，
10.一种基于图像风格迁移的舰船目标融合识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任一项所述的一种基于图像风格迁移的舰船目标融合识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210691091.2A CN114973164B (zh) | 2022-06-17 | 2022-06-17 | 一种基于图像风格迁移的舰船目标融合识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210691091.2A CN114973164B (zh) | 2022-06-17 | 2022-06-17 | 一种基于图像风格迁移的舰船目标融合识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114973164A true CN114973164A (zh) | 2022-08-30 |
| CN114973164B CN114973164B (zh) | 2024-08-20 |
Family
ID=82963859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210691091.2A Active CN114973164B (zh) | 2022-06-17 | 2022-06-17 | 一种基于图像风格迁移的舰船目标融合识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114973164B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578246A (zh) * | 2022-10-28 | 2023-01-06 | 电子科技大学 | 基于风格迁移的非对齐可见光和红外模态融合目标检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291639A (zh) * | 2020-01-20 | 2020-06-16 | 西北工业大学 | 基于分层变分自编码的跨源舰船特征融合学习与识别方法 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113781377A (zh) * | 2021-11-03 | 2021-12-10 | 南京理工大学 | 基于对抗性语义引导与感知的红外和可见光图像融合方法 |
-
2022
- 2022-06-17 CN CN202210691091.2A patent/CN114973164B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291639A (zh) * | 2020-01-20 | 2020-06-16 | 西北工业大学 | 基于分层变分自编码的跨源舰船特征融合学习与识别方法 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113781377A (zh) * | 2021-11-03 | 2021-12-10 | 南京理工大学 | 基于对抗性语义引导与感知的红外和可见光图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 常春;房艳飞;: "基于融合协方差的红外和可见光图像特征融合方法", 科技视界, no. 34, 5 December 2014 (2014-12-05) * |
| 李家起;江政杰;姚力波;简涛;: "一种基于深度学习的舰船目标融合识别算法", 舰船电子工程, no. 09, 20 September 2020 (2020-09-20) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578246A (zh) * | 2022-10-28 | 2023-01-06 | 电子科技大学 | 基于风格迁移的非对齐可见光和红外模态融合目标检测方法 |
| CN115578246B (zh) * | 2022-10-28 | 2023-08-04 | 电子科技大学 | 基于风格迁移的非对齐可见光和红外模态融合目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114973164B (zh) | 2024-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cong et al. | RRNet: Relational reasoning network with parallel multiscale attention for salient object detection in optical remote sensing images | |
| Panetta et al. | Comprehensive underwater object tracking benchmark dataset and underwater image enhancement with GAN | |
| Zhou et al. | Semantic-supervised infrared and visible image fusion via a dual-discriminator generative adversarial network | |
| CN111080628B (zh) | 图像篡改检测方法、装置、计算机设备和存储介质 | |
| You et al. | Pixel-level remote sensing image recognition based on bidirectional word vectors | |
| Tokuda et al. | Computer generated images vs. digital photographs: A synergetic feature and classifier combination approach | |
| CN106709486A (zh) | 基于深度卷积神经网络的自动车牌识别方法 | |
| Kadam et al. | [Retracted] Efficient Approach towards Detection and Identification of Copy Move and Image Splicing Forgeries Using Mask R‐CNN with MobileNet V1 | |
| CN113128271A (zh) | 脸部图像的伪造检测 | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
| CN113642621A (zh) | 基于生成对抗网络的零样本图像分类方法 | |
| Liu et al. | Overview of image inpainting and forensic technology | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| Yang et al. | Ai-generated images as data source: The dawn of synthetic era | |
| CN116883303A (zh) | 基于特征差分补偿与融合的红外与可见光图像融合方法 | |
| CN116188956A (zh) | 一种深度伪造人脸图像检测的方法及相关设备 | |
| CN114973164B (zh) | 一种基于图像风格迁移的舰船目标融合识别方法 | |
| Yin et al. | Contrastive learning based multi-task network for image manipulation detection | |
| Sui et al. | ECGAN: An improved conditional generative adversarial network with edge detection to augment limited training data for the classification of remote sensing images with high spatial resolution | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
| Ni et al. | MHST: Multiscale Head Selection Transformer for Hyperspectral and LiDAR Classification | |
| Hepburn et al. | Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance | |
| CN116863247A (zh) | 一种融合全局和局部信息的多模态遥感数据分类方法 | |
| Liu et al. | Image forgery localization based on fully convolutional network with noise feature | |
| Liu et al. | Source-free Domain Adaptive Object Detection in Remote Sensing Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |