CN113610097B - 基于多尺度相似指导网络的sar舰船目标分割方法 - Google Patents
基于多尺度相似指导网络的sar舰船目标分割方法 Download PDFInfo
- Publication number
- CN113610097B CN113610097B CN202110907055.0A CN202110907055A CN113610097B CN 113610097 B CN113610097 B CN 113610097B CN 202110907055 A CN202110907055 A CN 202110907055A CN 113610097 B CN113610097 B CN 113610097B
- Authority
- CN
- China
- Prior art keywords
- image
- query image
- data set
- scale
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度相似指导网络的舰船目标分割方法，主要解决现有技术在小样本条件下对舰船目标分割结果较差的问题。其方案是：将现有的不同地区且包含不同成像方式的SAR图像舰船目标分割数据集构建原始数据集；将原始数据集构建为小样本分割训练数据集和小样本分割测试数据集；构建由支撑图像的特征提取支路、查询图像的特征提取支路、相似度指导模块及生成支路构成的多尺度相似指导网络；使用小样本训练集对该网络进行训练；将小样本测试集输入到训练好的网络中得到舰船目标的分割结果。本发明相较于其他小样本语义分割方法，有效减少目标域上数据所需标注数据的数量，提高了小样本语义分割效果。可用于SAR图像解译的中间处理。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种SAR舰船目标分割方法，可用于SAR图像解译的中间处理。
背景技术
近年来，随着合成孔径雷达系统的发展，获取的信息逐渐由陆地转移到海上，如何解决SAR图像的小样本舰船目标分割成为现在亟需解决的问题。近年来，随着深度学习在计算机视觉、语音信号处理、自然语言处理等领域表现出的优良性能，如何将深度学习方法与SAR图像舰船目标分割问题相结合也变成了如今SAR图像处理领域的热点问题。深度学习方法是通过逐层训练学习的思想，对于训练数据的内在属性特征不断挖掘，进而实现数据的抽象表示。
陈彦彤等人在文章《基于深度语义分割的遥感图像海面舰船检测研究》中提出了一种分割方法，其以ResNet架构为基础,首先将遥感图像经过深度卷积神经网络作为输入,对图像进行粗分割,然后经过改进的全连接条件随机场,利用高斯成对势和平均场近似定理建立条件随机场为递归神经网络作为输出,从而实现了端对端的连接。
汪淼在论文《图像分割中多尺度CNN方法》中提出了一种基于三维空洞卷积神经网络的SAR图像舰船检测分割方法，该方法通过增加图像小波特征构建出基于多尺度的三维图像块,以该三维图像块作为三维空洞卷积神经网络的输入,提高网络提取目标全局特征与局部特征的能力。三维空洞卷积神经网络采用端到端的网络结构,网络输出即为最终输出结果,模型使用方便且效率更高。
上述分割方法均是在较大数据量的情况下，往往需要大量的数据进行训练以此来获取比较鲁棒的模型。然而在SAR图像中，一般只有少部分数据拥有标签，其中大部分数据缺乏正确的标记，因此，如何利用其中标记的少量样本训练优化学习模型是目前SAR图像处理领域中极为关键的问题。比如仅用一张或者几张的标注数据来得到一个在测试数据上表现不错的分割模型。小样本学习FSL可以很好地实现算法的快速学习，这里的小样本指的是在新任务上可以提供的标注数据很少，甚至完全没有。
从解决语义分割问题的思想上来分，现有的小样本语义分割中包括基于匹配的方法和基于原型的方法。
Xiaolin Zhang在文章《SG-One:Similarity Guidance Network for One-ShotSemantic Segmentation》中提出的SG-One是典型的基于匹配的方法，该方法是一种基于相似度引导的单样本语义分割网络，其使用密集的成对特征匹配和特定的解码网络来产生分割结果，建立一个新的框架，有效地学习像素级相似度，并指导分割网络。
Kaixin Wang在文章《PANet:Few-Shot Image Semantic Segmentation withPrototype Alignment》提出的PANet属于基于原型的方法。基于原型的方法其主要思想通常是对每个语义类别使用整体的信息进行表示，利用语义类的整体原型对查询图像进行像素级的匹配。PANet则通过在支撑支路和查询支路之间引入原型对齐正则化来学习类特定原型表示。
然而由于SAR图像成像的特殊性以及图像中舰船目标自身的尺度多样性，现有小样本分割算法并不能很好地适用于SAR图像舰船目标分割。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于多尺度相似指导网络的SAR舰船目标分割方法，以减少目标域上数据所需标注数据的数量，提高小样本语义分割效果。
为实现上述目的，本发明目的技术方案包括如下：
(1)将不同地区，且包含不同成像方式的SAR图像舰船目标分割数据集作为子集，构成原始数据集，每个子数据集称为一个数据域；
(2)根据原始数据集构建小样本训练数据集和小样本测试数据集；
(2a)将所有子集按照子集个数为3:1的比例划分为原始训练数据集和原始测试数据集，并保证原始训练数据集和原始测试数据集没有重复的子集；
(2b)在原始训练数据集中随机选取一个子集，在该子集中随机选择一个图像作为查询图像，从该子集余下的图像中选择K个图像作为支撑图像，得到一个样本对，重复d次上述操作，得到包含d个样本对的小样本训练数据集D：
其中，Si为第i个样本对中的支撑图像，Qi为第i个样本对中所需分割的查询图像；
(2c)在原始测试数据集中按顺序选取一个子集，在该子集中按顺序选择一个图像作为查询图像，从该子集余下的图像中选择K个图像作为支撑图像，得到一个样本对，重复上述操作直至原始测试数据集中每个图像都经过上述操作，得到包含m个样本对的小样本测试数据集M：
(3)构建由支撑图像的特征提取支路、查询图像的特征提取支路、相似度指导模块及生成支路构成的多尺度相似指导网络，其中支撑图像的特征提取支路与查询图像的特征提取支路并接后依次与相似度指导模块和生成支路级联；
(4)采用小批量梯度下降算法，通过训练集数据D对多尺度相似指导网络进行训练，直至网络的损失函数处于收敛状态，得到训练后的多尺度相似指导网络；
(5)将测试集数据M输入到训练好的多尺度相似指导网络，得到测试集数据对应的分割结果。
本发明与现有技术相比具有以下优点：
1)可对小样本条件下的异源SAR图像舰船目标进行分割。
本发明将不同地区的SAR图像舰船分割问题建模成不同的“任务”，利用现有数据制作了小样本条件下的舰船目标分割数据集SARShip-4i，并在此基础上提出了一种多尺度相似指导网络实现对舰船目标的分割，有效的减少目标域上数据所需标注数据的数量，可实现在小样本条件下和不同极化方式、分辨率、不同地区的条件下对舰船目标的分割，解决了现有技术在小样本条件下和不同极化方式、分辨率、不同地区的条件下的舰船目标分割结果较差的问题。
2)总体分割准确率更高
本发明基于多尺度相似指导网络进行分割，将不同地区的SAR图像舰船分割问题建模为小样本条件下的舰船目标分割问题，在现有的双分支的小样本语义分割网络结构中引入相似度指导模块，通过对双分支中不同尺度的特征进行融合，增强了对查询图片的分割效果，使得在小样本条件下和不同极化方式、分辨率、不同地区的条件下取得了更高的分割结果。
附图说明
图1是本发明的实现流程图；
图2是本发明中的多尺度相似指导网络结构图；
图3是图2中残差块的结构图；
图4是图2中相似指导模块的结构图；
图5是本发明中的分割算法与其他三种分割算法的舰船目标分割结果对比图。
具体实施方式
下面结合附图对本发明的实施过程和效果作进一步详细描述。
参照图1，本发明的实现步骤包括如下：
步骤1.将不同地区，且包含不同成像方式的SAR图像舰船目标分割数据集作为子集，构成原始数据集。
步骤2.根据原始数据集构建小样本训练数据集和小样本测试数据集。
(2.1)将所有子集按照子集个数为3:1的比例划分为原始训练数据集和原始测试数据集，并保证原始训练数据集和原始测试数据集没有重复的子集；
(2.2)在原始训练数据集中随机选取一个子集，在该子集中随机选择一个图像作为查询图像，从该子集余下的图像中选择K个图像作为支撑图像，得到一个样本对，重复d次上述操作，得到包含d个样本对的小样本训练数据集D：
其中，Si为第i个样本对中的支撑图像，其中包含K个图像，Qi为第i个样本对中所需分割的查询图像；
(2.3)在原始测试数据集中按顺序选取一个子集，在该子集中按顺序选择一个图像作为查询图像，从该子集余下的图像中选择K个图像作为支撑图像，得到一个样本对，重复上述操作直至原始测试数据集中每个图像都经过上述操作，得到包含m个样本对的小样本测试数据集M：
步骤3.构建一个多尺度相似指导网络。
参照图2，本步骤的具体实现如下：
(3.1)建立支撑图像的特征提取支路，其由一个卷积层和四个残差块依次级联组成，用于提取支撑图像的多尺度特征，每个残差块均包括两个级联的残差层，每个残差层分为并接的两路，如图3所示，其中：
第一个残差层的第一路结构为第一卷积层、第一滤波响应归一化层、第二卷积层和第二滤波响应归一化层的依次级联；第二路结构为卷积层与滤波响应归一化层的级联，这两路并接后的输出使用ReLU激活函数激活；
第二个残差层的第一路的结构为第1卷积层、第1滤波响应归一化层、第2卷积层和第2滤波响应归一化层的依次级联，第二个残差层的两路并接后的输出使用ReLU激活函数激活；
(3.2)构建查询图像的特征提取支路，其由一个卷积层和四个残差块依次级联组成，用于提取查询图像的多尺度特征；每个残差块均包括两个级联的残差层，每个残差层分为并接的两路，其中：
第一个残差层的第一路结构为第一卷积层、第一滤波响应归一化层、第二卷积层和第二滤波响应归一化层的依次级联；第二路结构为卷积层与滤波响应归一化层的级联，第一个残差层的两路并接后的输出使用ReLU激活函数激活；
第二个残差层的第一路的结构为第1卷积层、第1滤波响应归一化层、第2卷积层和第2滤波响应归一化层的依次级联，第二个残差层的两路并接后的输出使用ReLU激活函数激活；
(3.3)构建相似指导模块，其由一个全局池化层和一个求余弦相似度操作组成，用于得到相似指导图，其操作为支撑图像的特征经过全局池化层后与查询图像的特征求取余弦相似度，其结构如图4所示；
(3.4)构建生成支路，其由三个生成模块、第一输出卷积层、滤波响应归一化层和第二输出卷积层依次级联组成，用于获得最终的分割结果；
(3.5)将支撑图像的特征提取支路和查询图像的特征提取支路并接，再依次与相似指导模块与生成支路级联，组成多尺度相似指导网络。
步骤4.对多尺度相似指导网络进行迭代训练。
(4.1)随机从训练数据集D中选择b个样本对
将该样本对中的支撑图像St与其对应的标注相乘，再输入到支撑图像特征提取支路，经过四个残差块后，依次得到四个多尺度支撑图像特征F1 s,
(4.2)将(4.1)所选样本对
中的查询图像Qt输入到查询图像特征提取支路，经过四个残差块后，依次得到四个多尺度查询图像特征F1 q,
(4.3)将四个支撑图像特征与查询图像特征构成四对图像特征(F1 s,F1 q)，
并将构成的这四对图像特征输入到相似指导模块，得到四个多尺度指导图g1,g2,g3,g4；
(4.4)将通过查询图像特征提取支路提取的四个多尺度查询图像特征F1 q,
与四个多尺度指导图g1,g2,g3,g4进行对应相乘，得到经过四个多尺度指导图指导后的四个查询图像特征F1 qs,
(4.5)将经过指导后的查询图像特征经过生成支路得到当前网络参数下的分割结果：
(4.5a)将经过指导后的第四尺度查询图像特征
输入到生成支路，经过上采样后与经过指导后的第三尺度查询图像特征
拼接，再通过第一生成模块得到融合后的特征；
(4.5b)将融合后的特征经过上采样后与经过指导后的第二尺度查询图像特征
拼接，再通过第二生成模块得到新的融合特征；
(4.5c)将新融合特征经过上采样后与经过指导后的第一尺度查询图像特征F1 qs拼接，再通过第三生成模块后得到最终的融合特征；
(4.5d)将最终的融合特征通过生成支路的第一输出卷积层、滤波响应归一化层和第二输出卷积层得到当前网络参数下与查询图像标注尺寸相同的查询图像分割结果predt；
(4.6)定义多尺度相似指导网络的损失函数为二分类交叉熵函数L，表示如下：
其中，N表示样本的个数，yn表示第n个样本的标签，正类为1，负类为0，pn表示样本n预测为正类的概率；
(4.7)使用上述二分类交叉熵函数计算查询图像Qt的真实标注truet与当前网络对查询图像分割的结果predt之间损失Loss为：
其中，X，Y分别为查询图像真实标注中横向像素点的总数和纵向像素点的总数，也分别为查询图像分割结果中横向像素点的总数和纵向像素点的总数，
是坐标为(x,y)的像素被该多尺度相似指导网络分为舰船目标的概率，
是坐标为(x,y)的像素真实标注情况，
等于1代表像素属性为舰船，
等于0代表像素属性为陆地或海洋；
(4.8)根据(4.7)中得到的损失Loss使用梯度下降算法更新网络参数；
(4.9)重复(4.1)～(4.8)，直至查询图像Qt真实标注truet与当前网络对查询图像分割的结果predt之间损失Loss处于收敛状态，得到训练好的多尺度相似指导网络。
步骤5.对训练好的多尺度相似指导网络进行测试
(5.1)按顺序从测试集M中取c个样本对
输入至多尺度相似指导网络，对c个样本对中的每个查询图像Qe，得到其对应的分割结果prede；
(5.2)重复(5.1)，直至测试集M的所有样本都得到分割结果，结束测试。
本发明的效果可通过以下仿真进一步说明。
1.仿真数据
利用现有数据集制作了首个小样本条件下的舰船目标分割数据集SARShip-4i，其中包括青岛、中国香港机场、上海、伊斯坦布尔港四个地区的数据和电子科技大学韦顺军团队提出的HRSID数据集。
该SARShip-4i数据集，总共包含有140幅全景SAR图像，来自于多颗不同成像卫星和多种极化方式，分辨率从0.3米到5米不等。将广幅SAR图像裁剪为大小为800×800以及512×512像素大小的图像块，总计6961张，且每张SAR图像均包含对舰船目标像素级的分割标注，如表1。
表1.SARShip-4i数据集
| 地区 | 成像卫星 | 分辨率/m | 图像数量 | 成像模式 | 极化方式 |
| 青岛 | TanDEM-X | 0.3 | 1 | 凝视聚束模式 | HH |
| 上海 | TanDEM-X | 0.3 | 1 | 凝视聚束模式 | HH |
| 中国香港地区 | TerraSAR-X | 1.0 | 1 | 高分辨率聚束模式 | HH |
| 伊斯坦布尔 | TerraSAR-X | 0.3 | 1 | 凝视聚束模式 | VV |
| 休斯顿 | Sentinel-1B | 3 | 40 | S3-条带模式 | HH |
| 圣保罗 | Sentinel-1B | 3 | 21 | S3-条带模式 | HH |
| 圣保罗 | Sentinel-1B | 3 | 20 | S3-条带模式 | HV |
| 巴塞罗那 | TerraSAR-X | 3 | 23 | 条带模式 | VV |
| 吉大港 | Sentinel-1B | 3 | 18 | S3-条带模式 | VV |
| 阿斯旺水坝 | TerraSAR-X | 0.5 | 2 | 凝视聚束模式 | HH |
| 上海 | TerraSAR-X | 0.5 | 2 | 凝视聚束模式 | HH |
| 巴拿马运河 | TanDEM | 1 | 1 | 高分辨率聚束模式 | HH |
| 纬纱卡帕特南 | TerraSAR-X | 1 | 1 | 高分辨率聚束模式 | VV |
| 新加坡 | TerraSAR-X | 3 | 4 | 条带模式 | HH |
| 直布罗图海峡 | TerraSAR-X | 3 | 2 | 条带模式 | HH |
| 萨尔弗港 | TerraSAR-X | 3 | 1 | 条带模式 | VV |
| 普伦蒂湾 | TerraSAR-X | 3 | 1 | 条带模式 | VV |
表1中，HH表示水平发送水平接收，VV表示垂直发射垂直接收，HV表示水平发送垂直接收，VH表示垂直发送水平接收。
为了更加充分的验证小样本分割模型的效果，将以上数据集划分4组，用于模型的交叉验证，在每组交叉验证中除测试数据集外其余数据集用于训练，每组交叉每个交叉验证数据集的测试数据集见表2。
表2SARShip-4i交叉验证数据集划分
| 数据集 | 测试数据集 |
| <![CDATA[SARShip-4<sup>0</sup>]]> | 纬纱卡帕特南,中国香港地区,巴塞罗那,吉大港 |
| <![CDATA[SARShip-4<sup>1</sup>]]> | 上海-TerraSAR-X,新加坡,上海-TanDEM-X,圣保罗-HV |
| <![CDATA[SARShip-4<sup>2</sup>]]> | 巴拿马运河,普伦蒂湾-萨尔弗港,伊斯坦布尔,圣保罗-HH |
| <![CDATA[SARShip-4<sup>3</sup>]]> | 阿斯旺水坝,直布罗陀海峡,青岛,休斯顿 |
2.仿真内容
采用的本发明和现有SG-One，PMMs，RPMMs三种小样本分割方法，使用SARShip-4i中的四组数据集分别进行交叉验证实验，每组实验中使用相同的训练数据集训练和测试数据集测试。每组实验设置1-shot和5-shot两种模式，其中1-shot是指在对测试数据集进行预测时，需要该测试数据集中的1张图像作为支撑图像，5-shot则是需要该测试数据集中的5张图像作为支撑图像。四种方法的分割结果如图5，其中第一列a为测试图像的真实标注，第二列b为本发明方法对标注所对应测试图像的分割结果，第三列c为现有SG-One方法对标注所对应测试图像的分割结果，第四列d为现有PMMs方法对标注所对应测试图像的分割结果，第五列e为现有RPMMs方法对标注所对应测试图像的分割结果。
使用交并比作为评价指标，统计四种方法分别在四组交叉验证数据集上和1-shot、5-shot两种模式设置下的效果，如表3和表4。
表3 1-shot模式下四种方法小样本分割结果
表4 5-shot模式下四种方法小样本分割结果
| 方法 | <![CDATA[SARShip-4<sup>0</sup>]]> | <![CDATA[SARShip-4<sup>1</sup>]]> | <![CDATA[SARShip-4<sup>2</sup>]]> | <![CDATA[SARShip-4<sup>3</sup>]]> | 平均交并比 |
| SG-One | 0.3065 | 0.4214 | 0.4661 | 0.4390 | 0.4083 |
| PMMs | 0.5106 | 0.5849 | 0.6037 | 0.7067 | 0.6015 |
| RPMMs | 0.4418 | 0.5497 | 0.5590 | 0.5983 | 0.5372 |
| 本发明 | 0.5319 | 0.5963 | 0.6929 | 0.7237 | 0.6362 |
表3和表4中，平均交并比指的是一个方法在1-shot或5-shot设置下，四组交叉验证数据集交并比的平均。
3.仿真效果分析
从图5可见，相比于其他三个对比方法，本发明的分割结果与原始数据标注最为接近，对不同尺度下的舰船目标均实现了较好的分割结果。
从表3和表4可见，本发明的平均交并比最高达到0.6362，在1-shot和5-shot的设置下均取得了最佳的分割性能，与其他三个对比方法相比交并比均有较大的提高。
仿真结果表明，本发明通过基于多尺度相似指导网络的方法，可以有效改善小样本情况下的SAR图像舰船目标分割的结果。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (4)
1.基于多尺度相似指导网络的舰船目标分割方法，其特征在于，包括：
(1)将不同地区，且包含不同成像方式的SAR图像舰船目标分割数据集作为子集，构成原始数据集，每个子数据集称为一个数据域；
(2)根据原始数据集构建小样本训练数据集和小样本测试数据集；
(2a)将所有子集按照子集个数为3:1的比例划分为原始训练数据集和原始测试数据集，并保证原始训练数据集和原始测试数据集没有重复的子集；
(2b)在原始训练数据集中随机选取一个子集，在该子集中随机选择一个图像作为查询图像，从该子集余下的图像中选择K个图像作为支撑图像，得到一个样本对，重复d次上述操作，得到包含d个样本对的小样本训练数据集D：
其中，Si为第i个样本对中的支撑图像，Qi为第i个样本对中所需分割的查询图像；
(2c)在原始测试数据集中按顺序选取一个子集，在该子集中按顺序选择一个图像作为查询图像，从该子集余下的图像中选择K个图像作为支撑图像，得到一个样本对，重复上述操作直至原始测试数据集中每个图像都经过上述操作，得到包含m个样本对的小样本测试数据集M：
(3)构建由支撑图像的特征提取支路、查询图像的特征提取支路、相似度指导模块及生成支路构成的多尺度相似指导网络，其中支撑图像的特征提取支路与查询图像的特征提取支路并接后依次与相似度指导模块和生成支路级联；所述构建的多尺度相似指导网络中各部分的结构和功能如下：
所述支撑图像的特征提取支路，其由一个卷积层和四个残差块依次级联组成，用于提取支撑图像的多尺度特征；
所述查询图像的特征提取支路，其由一个卷积层和四个残差块依次级联组成，用于提取查询图像的多尺度特征；
所述相似度指导模块，其由一个全局池化层和一个求余弦相似度操作组成，用于得到相似指导图，其操作为支撑图像的特征经过全局池化层后与查询图像的特征求取余弦相似度；
所述生成支路，其由三个生成模块、第一输出卷积层、滤波响应归一化层和第二输出卷积层依次级联组成，用于获得最终的分割结果；
(4)采用小批量梯度下降算法，通过训练集数据D对多尺度相似指导网络进行训练，直至网络的损失函数处于收敛状态，得到训练后的多尺度相似指导网络；所述对多尺度相似指导网络进行训练，实现如下：
(4a)随机从训练数据集D中选择b个样本对
将该样本对中的支撑图像St与其对应的标注相乘，再输入到支撑图像特征提取支路，经过四个残差块后，依次得到四个多尺度支撑图像特征F1 s,F2 s,F3 s,F4 s；
(4b)将(4a)所选样本对
中的查询图像Qt输入到查询图像特征提取支路，经过四个残差块后，依次得到四个多尺度查询图像特征F1 q,F2 q,F3 q,F4 q；
(4c)将四个支撑图像特征与查询图像特征构成四对图像特征(F1 s,F1 q)，(F2 s,F2 q)，(F3 s,F3 q)，(F4 s,F4 q)输入到相似指导模块，得到四个多尺度相似指导图g1,g2,g3,g4；
(4d)将四个多尺度查询图像特征F1 q,F2 q,F3 q,F4 q与四个多尺度指导图g1,g2,g3,g4对应相乘，得到经过指导后的查询图像特征F1 qs,F2 qs,F3 qs,F4 qs；
(4e)在当前网络参数下对查询图像进行分割：
(4e1)将经过指导后的第四尺度查询图像特征F4 qs输入到生成支路，经过上采样后与经过指导后的第三尺度查询图像特征F3 qs拼接，再通过第一生成模块得到融合后的特征；
(4e2)将融合后的特征经过上采样后与经过指导后的第二尺度查询图像特征F2 qs拼接，再通过第二生成模块得到新的融合特征；
(4e3)将新的融合特征经过上采样后与经过指导后的第一尺度查询图像特征F1 qs拼接，通过第三生成模块后得到最终的融合特征；
(4e4)将最终的融合特征通过第一输出卷积层、滤波响应归一化层和第二输出卷积层得到当前网络参数下与查询图像标注尺寸相同的查询图像分割结果predt；
(4f)定义多尺度相似指导网络的损失函数为二分类交叉熵函数L，表示如下：
其中，N表示样本的个数，yn表示第n个样本的标签，正类为1，负类为0，pn表示样本n预测为正类的概率；
(4g)使用上述二分类交叉熵函数计算查询图像Qt的真实标注truet与当前网络对查询图像分割的结果predt之间损失Loss为：
其中，X，Y分别为查询图像真实标注中横向像素点的总数和纵向像素点的总数，也分别为查询图像分割结果中横向像素点的总数和纵向像素点的总数，
是坐标为(x,y)的像素被该多尺度相似指导网络分为舰船目标的概率，
是坐标为(x,y)的像素真实标注情况，
等于1代表像素属性为舰船，
等于0代表像素属性为陆地或海洋；
(4h)根据(4g)中得到的损失Loss使用梯度下降算法更新网络参数；
(4i)重复(4a)～(4h)，直至查询图像Qt真实标注truet与当前网络对查询图像分割的结果predt之间损失Loss处于收敛状态，得到经过训练的多尺度相似指导网络；
(5)将测试集数据M输入到训练好的多尺度相似指导网络，得到测试集数据对应的分割结果。
2.根据权利要求1所述的方法，其特征在于，支撑图像特征提取支路与查询图像特征提取支路中的每个残差块均包括两个级联的残差层，每个残差层分为并接的两路，并使用ReLU激活函数激活，其中：
第一个残差层的第一路结构为：第一卷积层→第一滤波响应归一化层→第二卷积层→第二滤波响应归一化层；
第一个残差层的第二路结构为：卷积层→滤波响应归一化层；
第二个残差层的第一路的结构为：第1卷积层→第1滤波响应归一化层→第2卷积层→第2滤波响应归一化层。
3.根据权利要求1所述的方法，其中生成支路的生成模块结构如下：
第一卷积层→第一滤波响应归一化层→第二卷积层→第二滤波响应归一化层；
每个生成模块中滤波响应归一化层后均使用ReLU激活函数激活。
4.根据权利要求1所述的方法，其中(5)使用测试集数据M对训练好的多尺度相似指导网络进行测试，具体实现如下：
(5a)按顺序从测试集M中取c个样本对
输入至训练好的多尺度相似指导网络，对c个样本对中的每个查询图像Qe，得到其对应的分割结果prede；
(5b)重复(5a)，直至测试集M的所有查询图像都得到分割结果，结束测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110907055.0A CN113610097B (zh) | 2021-08-09 | 2021-08-09 | 基于多尺度相似指导网络的sar舰船目标分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110907055.0A CN113610097B (zh) | 2021-08-09 | 2021-08-09 | 基于多尺度相似指导网络的sar舰船目标分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610097A CN113610097A (zh) | 2021-11-05 |
| CN113610097B true CN113610097B (zh) | 2023-05-05 |
Family
ID=78339923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110907055.0A Active CN113610097B (zh) | 2021-08-09 | 2021-08-09 | 基于多尺度相似指导网络的sar舰船目标分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610097B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114187527B (zh) * | 2021-11-28 | 2022-12-27 | 中国电子科技集团公司第二十研究所 | 基于线性加热和快照集成的迁移学习舰船目标分割方法 |
| CN113963337B (zh) * | 2021-12-22 | 2022-04-08 | 中国科学院自动化研究所 | 物体图像轮廓基元提取方法和装置 |
| CN115019036B (zh) * | 2022-05-10 | 2024-02-27 | 西北工业大学 | 一种学习非目标知识的小样本语义分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543502A (zh) * | 2018-09-27 | 2019-03-29 | 天津大学 | 一种基于深度多尺度神经网络的语义分割方法 |
| WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
| CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
| CN112052899A (zh) * | 2020-09-03 | 2020-12-08 | 上海无线电设备研究所 | 一种基于生成对抗网络的单幅舰船目标sar图像生成方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
-
2021
- 2021-08-09 CN CN202110907055.0A patent/CN113610097B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
| CN109543502A (zh) * | 2018-09-27 | 2019-03-29 | 天津大学 | 一种基于深度多尺度神经网络的语义分割方法 |
| CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
| CN112052899A (zh) * | 2020-09-03 | 2020-12-08 | 上海无线电设备研究所 | 一种基于生成对抗网络的单幅舰船目标sar图像生成方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
Non-Patent Citations (2)
| Title |
|---|
| Ship detection in SAR images based on an improved faster R-CNN;Jianwei Li 等;2017 SAR in Big Data Era: Models, Methods and Applications (BIGSARDATA);全文 * |
| 一种基于深层次多尺度特征融合CNN的SAR图像舰船目标检测算法;杨龙 等;光学学报;第40卷(第2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610097A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113610097B (zh) | 基于多尺度相似指导网络的sar舰船目标分割方法 | |
| Lu et al. | Monocular semantic occupancy grid mapping with convolutional variational encoder–decoder networks | |
| CN110135267B (zh) | 一种大场景sar图像细微目标检测方法 | |
| Ma et al. | Light-YOLOv4: An edge-device oriented target detection method for remote sensing images | |
| CN108241854B (zh) | 一种基于运动和记忆信息的深度视频显著性检测方法 | |
| CN111738091A (zh) | 一种基于多任务深度学习的姿态估计与人体解析系统 | |
| CN106910202B (zh) | 一种遥感图像地物的图像分割方法及系统 | |
| Yue et al. | A novel attention fully convolutional network method for synthetic aperture radar image segmentation | |
| Xiao et al. | TTST: A top-k token selective transformer for remote sensing image super-resolution | |
| Tan et al. | Multi-branch convolutional neural network for built-up area extraction from remote sensing image | |
| CN111414953A (zh) | 点云分类方法和装置 | |
| CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
| Li et al. | An aerial image segmentation approach based on enhanced multi-scale convolutional neural network | |
| Wang et al. | Building correlations between filters in convolutional neural networks | |
| Lee et al. | Connectivity-based convolutional neural network for classifying point clouds | |
| Hu et al. | Supervised multi-scale attention-guided ship detection in optical remote sensing images | |
| Li et al. | DSPCANet: Dual-channel scale-aware segmentation network with position and channel attentions for high-resolution aerial images | |
| Wang et al. | Instance segmentation of point cloud captured by RGB-D sensor based on deep learning | |
| Wani et al. | Segmentation of satellite images of solar panels using fast deep learning model | |
| CN113936222A (zh) | 一种基于双分支输入神经网络的火星地形分割方法 | |
| Gu et al. | A classification method for polsar images using SLIC superpixel segmentation and deep convolution neural network | |
| CN111967516B (zh) | 一种逐像素分类方法、存储介质及分类设备 | |
| You et al. | Boundary-aware multi-scale learning perception for remote sensing image segmentation | |
| Yao et al. | SSNet: A Novel Transformer and CNN Hybrid Network for Remote Sensing Semantic Segmentation | |
| Mujtaba et al. | Automatic solar panel detection from high-resolution orthoimagery using deep learning segmentation networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Ruimin Inventor after: Lu Haofan Inventor after: Gou Shuiping Inventor after: Li Jichao Inventor after: Mao Shasha Inventor after: Ren Zihao Inventor after: Bai Yuanning Inventor after: Mou Jinming Inventor before: Gou Shuiping Inventor before: Lu Haofan Inventor before: Li Ruimin Inventor before: Li Jichao Inventor before: Mao Shasha Inventor before: Ren Zihao Inventor before: Bai Yuanning Inventor before: Mou Jinming |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |