CN113723182B - 一种训练样本受限条件下的sar图像舰船检测方法 - Google Patents
一种训练样本受限条件下的sar图像舰船检测方法 Download PDFInfo
- Publication number
- CN113723182B CN113723182B CN202110827306.4A CN202110827306A CN113723182B CN 113723182 B CN113723182 B CN 113723182B CN 202110827306 A CN202110827306 A CN 202110827306A CN 113723182 B CN113723182 B CN 113723182B
- Authority
- CN
- China
- Prior art keywords
- image
- ship
- sea clutter
- images
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 238000012549 training Methods 0.000 title claims abstract description 69
- 230000008859 change Effects 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 45
- 238000004088 simulation Methods 0.000 claims description 31
- 238000009826 distribution Methods 0.000 claims description 28
- 239000002131 composite material Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000001965 increasing effect Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 9
- 238000002474 experimental method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种训练样本受限条件下的SAR图像舰船检测方法，包括：获取针对海面区域的待检测的SAR图像；将SAR图像输入预先训练完成的目标检测模型，得到SAR图像的舰船检测结果；目标检测模型是利用具有标记信息的原始样本集和扩展样本集合并训练得到的；扩展样本集是基于原始样本集中舰船切片图像的方位变化并结合不同海杂波图像得到的。本发明无需高昂的数据采集成本，利用图像处理等手段则可以简便地实现增加训练样本的目的。通过利用原始样本集和扩展样本集合并训练能够提高目标检测模型的训练精度，实现在训练样本受限情况下，提高SAR图像的舰船检测精度的目的。
Description
技术领域
本发明属于目标检测领域，具体涉及一种训练样本受限条件下的SAR图像舰船检测方法。
背景技术
随着微电子和通信技术的发展，大规模数据采集、存储与传输得以实现。在卫星，以及无人机等无人平台上大量设置有各型传感器，使得所获取的传感器数据呈爆炸式增长，这些传感器数据中很大一部分是图像数据。因此，在实际应用中，图像的自动解译成为一种迫切需求，基于图像的目标检测即为其中一种常见的应用需求，比如针对SAR(Synthetic Aperture Radar，合成孔径雷达)图像的海面舰船检测，其对于加强海运交通、海洋渔业活动管理以及海洋监测等方向均有重大意义。
针对上述舰船检测问题，目前常见的一种方法是以深度学习技术为代表的数据驱动目标检测方法。但对于雷达图像而言，由于数据采集成本高昂，且目标的真实信息存在缺失，导致训练样本受限，在使用上述数据驱动目标检测方法时很容易造成训练陷入欠拟合状态，从而无法保证良好的检测精度。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种训练样本受限条件下的SAR图像舰船检测方法。本发明要解决的技术问题通过以下技术方案实现：
获取针对海面区域的待检测的SAR图像；
将所述SAR图像输入预先训练完成的目标检测模型，得到所述SAR图像的舰船检测结果；
其中，所述目标检测模型是利用具有标记信息的原始样本集和扩展样本集合并训练得到的；所述扩展样本集是基于所述原始样本集中舰船切片图像的方位变化并结合不同海杂波图像得到的。
可选的一种实施方式中，所述扩展样本集的获得过程，包括：
从所述原始样本集提取出多个舰船切片图像；
将每个舰船切片图像依次进行坐标变换、角度旋转以及坐标逆变换，得到对应的变姿态舰船切片图像；
将每个变姿态舰船切片图像中舰船轮廓以内的区域从背景中分离出来，得到对应的舰船目标图像；
对海杂波数据进行统计建模，根据海杂波统计特性生成满足预设统计分布的若干海杂波仿真图；
利用舰船目标图像和海杂波仿真图合成方式得到多个合成图像；
向所述多个合成图像分别添加噪声，得到扩展样本集。
可选的一种实施方式中，所述将每个舰船切片图像依次进行坐标变换、角度旋转以及坐标逆变换，得到对应的变姿态舰船切片图像，包括：
针对每个舰船切片图像，将该舰船切片图像中的每个像素点利用预设的坐标变换公式进行坐标变换，得到该舰船切片图像对应的变换图像；
将该舰船切片图像对应的变换图像中的每个像素点，利用预设的角度旋转公式进行平面旋转，得到该舰船切片图像对应的变换旋转图像；
将该舰船切片图像对应的变换旋转图像中的每个像素点，利用预设的坐标逆变换公式进行坐标逆变换，得到该舰船切片图像对应的变姿态舰船切片图像。
可选的一种实施方式中，所述预设的坐标变换公式，包括：
其中，(x0,y0)表示舰船切片图像中的像素点原始坐标；(x1,y1)表示舰船切片图像中的像素点原始坐标进行坐标变换后的坐标；w表示舰船切片图像的宽度；h表示舰船切片图像的高度。
可选的一种实施方式中，所述预设的角度旋转公式，包括：
其中，(x2，y2)表示变换图像中的像素点进行平面旋转后的坐标；θ表示旋转角度。
可选的一种实施方式中，所述预设的坐标逆变换公式，包括：
其中，(x，y)表示变换旋转图像中的像素点进行坐标逆变换后的坐标。
可选的一种实施方式中，所述预设统计分布，包括：K分布和G0分布。
可选的一种实施方式中，所述K分布的概率密度函数公式为：
所述G0分布的概率密度函数公式为：
其中，x表示SAR海杂波幅度值；Γ表示统计函数；v表示等效视数；α表示形状参数；μ表示海杂波数据均值；K表示改进的贝塞尔函数；ρ表示形状因子；γ表示尺度因子。
可选的一种实施方式中，所述向所述多个合成图像分别添加噪声，包括：
针对每个合成图像，确定该合成图像对应的噪声等级，并依据所述噪声等级向该合成图像添加噪声；其中，所述噪声等级的计算公式包括：
其中，ξtcr表示噪声等级；f(i，j)表示位置为(i，j)处的海杂波的数据值；μ表示海杂波数据均值；Rt表示合成图像中舰船目标所在区域；Rc表示合成图像中背景海杂波区域。
可选的一种实施方式中，所述目标检测模型，包括：
R-CNN模型、Faster R-CNN模型、SSD模型和YOLO系列模型。
本发明实施例提出了一种训练样本受限条件下的SAR图像舰船检测方法。在有限的原始样本集基础上，通过对原始样本集中舰船切片图像进行方位变化，并将变化后的图像结合不同海杂波图像，可以得到新增的扩展样本集，无需高昂的数据采集成本，利用图像处理等手段则可以简便地实现增加训练样本的目的。通过利用原始样本集和扩展样本集合并训练能够提高目标检测模型的训练精度，因此在训练完成后用于检测时，能够提高所述目标检测模型对SAR图像的检测精度。因此本发明实施例能够不依赖于大量的训练样本集，使用少量的训练样本即可实现理想的检测效果，实现在训练样本受限情况下，提高SAR图像的舰船检测精度的目的。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1为本发明实施例提供的一种训练样本受限条件下的SAR图像舰船检测方法的流程示意图；
图2为本发明实施例提供的舰船检测结果的示意图；
图3为本发明实施例提供的一种训练样本受限条件下的SAR图像舰船检测方法中扩展样本集获得过程的流程示意图；
图4为本发明实施例提供的舰船切片图像的示意图；
图5为本发明实施例提供的海杂波仿真图的示意图；
图6为本发明实施例提供的扩展样本的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了在训练样本受限情况下，提高SAR图像的舰船检测精度，本发明实施例提供了一种训练样本受限条件下的SAR图像舰船检测方法。
本发明实施例所提供的一种训练样本受限条件下的SAR图像舰船检测方法的执行主体可以为一数据处理设备，如计算机等。
如图1所示，本发明实施例所提供的一种训练样本受限条件下的SAR图像舰船检测方法，可以包括如下步骤：
S1，获取针对海面区域的待检测的SAR图像。
对本发明实施例的SAR系统的类型不做限制，比如可以为机载雷达系统等等。SAR系统可以针对海面区域采集回波数据，并存储在存储硬核中，本发明实施例中作为执行主体的数据处理设备可以通过数据传输，数据复制等形式，获取SAR系统已录取的回波数据，即得到待检测的SAR图像。
S2，将所述SAR图像输入预先训练完成的目标检测模型，得到所述SAR图像的舰船检测结果。
通常来说，目标检测的主要任务是从输入的场景图像中寻找感兴趣区域，并进行判决。本发明实施例的目标检测是针对海杂波中舰船目标进行检测。
本发明实施例可以采用现有的任意一种目标检测模型，其具体构成可以为各种神经网络。比如所述目标检测模型，可以包括：R-CNN模型、Faster R-CNN模型、SSD模型和YOLO系列模型，等等。其中，YOLO系列模型可以包括YOLO、YOLO v2、YOLO v3等等。
关于所述目标检测模型的具体检测过程请参见相关现有技术理解，在此不做详细说明。
所述SAR图像的舰船检测结果可以包括所述SAR图像中各目标的类别和在图像中的位置。可以将所述SAR图像的舰船检测结果以单独的文字形式进行输出，比如输出一个单独的字符串表示舰船检测结果。或者一种常见方式是直接在所述SAR图像上标识出舰船检测结果，比如，目标在图像中的位置可以用包含目标的矩形框来标注，矩形框旁可以标示出矩形框一个顶点的像素坐标值以及矩形框的宽度和高度，简便的一种方式中可以仅标示出矩形框左上角或者右下角的像素坐标值。
目标的类别可以包括舰船和非舰船，可以用不同的字符区分表示，比如以1代表舰船，以0代表非舰船等等。可选的一种实施方式中，所述类别可以由舰船以及对应的置信度表示，置信度表示该目标为舰船的概率，置信度取值范围在0～1之间，置信度越高表示该目标为舰船的可能性越大。
本发明实施例的SAR图像的舰船检测结果可以参见图2，图2为本发明实施例提供的舰船检测结果的示意图；图2中(a)(b)两图内，以白色矩形框标示出目标的位置，图2为了简化并没有示出具体像素坐标。图2中“ship”表示舰船，其后的数字表示目标为舰船的置信度。
本发明实施例中，所述目标检测模型是利用具有标记信息的原始样本集和扩展样本集合并训练得到的。原始样本集和扩展样本集合中每一样本即为一样本图像。
其中，标记信息可以包括舰船的类别和位置。该标记信息是已知的，标记过程利用现有手段完成。
网络训练过程主要包括以下步骤：
1)将原始样本集和扩展样本集中每一样本图像对应目标的位置和类别作为该样本图像对应的真值，将各样本图像和对应的真值，通过搭建好的目标检测网络进行训练，获得各样本图像的训练结果。
2)将每一样本图像的训练结果与该样本图像对应的真值进行比较，得到该样本图像对应的输出结果。
3)根据各个样本图像对应的输出结果，计算目标检测网络的损失值。
4)根据损失值，调整目标检测网络的参数，并重新进行1)-3)步骤，直至目标检测网络的损失值达到了一定的收敛条件，也就是损失值达到最小，这时，意味着每一样本图像的训练结果与该样本图像对应的真值一致，从而完成网络训练，得到训练完成的目标检测网络。
本发明实施例中，所述扩展样本集是基于所述原始样本集中舰船切片图像的方位变化并结合不同海杂波图像得到的。
方位变化包括平面坐标旋转等，通过方位变化可以改变原始样本的舰船倾斜角度，得到姿态发生改变的舰船切片图像；再通过将不同的姿态发生改变的舰船切片图像，与预先得到的不同海杂波图像进行合成、标记，则可以得到舰船角度、舰船分布位置以及海面杂波背景发生变化的扩展样本。可见，通过上述处理可以增加有效的样本数量。利用原始样本集和扩展样本集合并训练所述目标检测模型可以增加模型的训练精度，避免陷入因为缺少训练样本而出现的局部最优解现象，当模型精度得到提高后，无疑能够提高训练完成的目标检测模型在使用时的检测精度。
本发明实施例提出了一种训练样本受限条件下的SAR图像舰船检测方法。在有限的原始样本集基础上，通过对原始样本集中舰船切片图像进行方位变化，并将变化后的图像结合不同海杂波图像，可以得到新增的扩展样本集，无需高昂的数据采集成本，利用图像处理等手段则可以简便地实现增加训练样本的目的。通过利用原始样本集和扩展样本集合并训练能够提高目标检测模型的训练精度，因此在训练完成后用于检测时，能够提高所述目标检测模型对SAR图像的检测精度。因此本发明实施例能够不依赖于大量的训练样本集，使用少量的训练样本即可实现理想的检测效果，实现在训练样本受限情况下，提高SAR图像的舰船检测精度的目的。
以下，对本发明实施例中扩展样本集的获得过程进行详细说明，请参见图3，图3为本发明实施例提供的一种训练样本受限条件下的SAR图像舰船检测方法中扩展样本集获得过程的流程示意图，该过程包括以下步骤：
S01，从所述原始样本集提取出多个舰船切片图像。
原始样本集中含有多个原始样本，每个原始样本为一具有标记信息的SAR图像。其中，舰船切片图像指的是原始样本中仅含有舰船区域的图像，可以理解为原始样本的局部图像。
从所述原始样本集提取出多个舰船切片图像的过程可以包括以下步骤：
针对所述原始样本集中每个原始样本，依据该原始样本的标记信息，提取出该原始样本所含有的各个舰船所对应的舰船切片图像。
可以理解的是，可以先根据一原始样本中各目标的类别确定需要提取的舰船目标，再利用舰船目标在原始样本中的位置，提取出舰船目标对应的局部图像，从而得到舰船切片图像，所得到的每个舰船切片图像中仅含有一个舰船目标。请参见图4，图4为本发明实施例提供的舰船切片图像的示意图；图4中示出了三种不同的舰船切片图像，可以理解的是，由于舰船目标在原始样本中的大小不同，所得到的舰船切片图像的大小是不同的。
S02，将每个舰船切片图像依次进行坐标变换、角度旋转以及坐标逆变换，得到对应的变姿态舰船切片图像。
该步骤是对每个舰船切片图像进行处理，得到其对应的变姿态舰船切片图像。具体的，该步骤可以包括步骤S021～S023：
S021，针对每个舰船切片图像，将该舰船切片图像中的每个像素点利用预设的坐标变换公式进行坐标变换，得到该舰船切片图像对应的变换图像。
所述预设的坐标变换公式，包括：
其中，(x0,y0)表示舰船切片图像中的像素点原始坐标；(x1,y1)表示舰船切片图像中的像素点原始坐标进行坐标变换后的坐标；w表示舰船切片图像的宽度；h表示舰船切片图像的高度，w和h均为大于0的数值。
S022，将该舰船切片图像对应的变换图像中的每个像素点，利用预设的角度旋转公式进行平面旋转，得到该舰船切片图像对应的变换旋转图像。
所述预设的角度旋转公式，包括：
其中，(x2,y2)表示变换图像中的像素点进行平面旋转后的坐标；θ表示旋转角度。
本发明实施例中，θ表示纵轴的左右偏移角度，即θ表示姿态角。θ利用大量经验值确定。可选的一种实施方式中θ∈[-5,5]。针对任一舰船切片图像，在该范围内任意选取一θ即可。
S023，将该舰船切片图像对应的变换旋转图像中的每个像素点，利用预设的坐标逆变换公式进行坐标逆变换，得到该舰船切片图像对应的变姿态舰船切片图像。
该步骤是S021的逆过程。所述预设的坐标逆变换公式，包括：
其中，(x,y)表示变换旋转图像中的像素点进行坐标逆变换后的坐标。
可以理解的是，针对每个舰船切片图像，通过不同的姿态角变化，所得到的多个变姿态舰船切片图像其实是得到了对应的多姿态舰船切片图像。
S03，将每个变姿态舰船切片图像中舰船轮廓以内的区域从背景中分离出来，得到对应的舰船目标图像。
本领域技术人员可以理解的是，变姿态舰船切片图像中除了有舰船轮廓以内的像素点，还含有舰船轮廓以外的背景像素点。可以利用诸如恒虚警率技术等，提取出舰船轮廓以内的所有像素点，从而实现舰船与背景的分离，得到舰船目标图像。
关于将变姿态舰船切片图像中舰船轮廓以内的区域从背景中分离出来的具体步骤，请参见相关现有技术理解，在此不做详细说明。
S04，对海杂波数据进行统计建模，根据海杂波统计特性生成满足预设统计分布的若干海杂波仿真图。
该步骤是利用海杂波数据实测值，建立模型参数，实现对海杂波数据的统计建模，再进一步根据海杂波统计特性生成满足预设统计分布的仿真数据，即得到海杂波仿真图。
为了更好的拟合实测海杂波数据，可选的一种实施方式中，所述预设统计分布，包括：
K分布和G0分布。
所述K分布的概率密度函数公式为：
所述G0分布的概率密度函数公式为：
其中，x表示SAR海杂波幅度值；Γ表示统计函数；v表示等效视数；α表示形状参数；μ表示海杂波数据均值；K表示改进的贝塞尔函数；ρ表示形状因子；γ表示尺度因子。
通过上述处理，K分布和G0分布均可以得到多个海杂波仿真图。作为一个示例，请参见图5，图5为本发明实施例提供的海杂波仿真图的示意图。基于实测数据概率拟合方式生成仿真海杂波。主要过程为：在任一种统计分布下，先根据给定数据估计该统计分布的模型参数，再利用模型参数生成服从该统计分布的海杂波，从而得到与实测数据统计相似的海杂波仿真数据。
关于该步骤的具体处理过程，本领域技术人员可以结合相关现有技术和本发明实施例提出的K分布和G0分布的概率密度函数公式理解实现，在此不做详细说明。
S05，利用舰船目标图像和海杂波仿真图合成方式得到多个合成图像。
本发明实施例得到的多个舰船目标图像构成舰船目标图像集，得到的若干海杂波仿真图构成海杂波仿真图集。
可选的一种实施方式中，每一个合成图像的生成过程可以包括以下步骤：
A1，从所述舰船目标图像集中随机选取n个舰船目标图像，以及从所述海杂波仿真图集中随机选取1个海杂波仿真图。其中n大于0，且上限值小于舰船目标图像集中图像的总数。
A2，将该n个舰船目标图像以位置随机的方式嵌入到选出的海杂波仿真图中，得到对应的合成图像。
其中，为了确保选取的多个舰船目标图像不会在嵌入后发生位置重叠，通过经验值确定n≤5。需要说明的是，虽然在嵌入时舰船目标图像的位置随机分布，但位置是已知的。每个舰船的类别和位置需要进行标注，即生成标注信息，通常为XML标记文件。
可见，该种实施方式通过随机选取方式，确定待合成的舰船目标图像、舰船目标图像的数量、海杂波仿真图以及舰船目标图像在海杂波仿真图中的位置。
可选的另一种实施方式中，每一个合成图像的生成过程可以包括以下步骤：
B1，依据穷举的组合方式，每次从所述舰船目标图像集以及所述海杂波仿真图集中，分别选取n个舰船目标图像和1个海杂波仿真图，作为待合成组，通过对所述舰船目标图像集以及所述海杂波仿真图集中图像的穷举组合得到不同的待合成组。
B2，将每次得到的待合成组中，n个舰船目标图像以位置差异化的方式嵌入到该待合成组的海杂波仿真图中，得到对应的合成图像。
可以理解的是，该种实施方式是从概率角度考虑到所有可能的不同排列方式，并尽量寻求差异化，获得尽量多的合成图像，以增加后续扩展样本的数量。因此，能够使得后续得到的扩展样本数量较多且相似性较低。
S06，向所述多个合成图像分别添加噪声，得到扩展样本集。
本发明实施例的噪声类型可以为现有的任意一种噪声类型。
可选的一种实施方式中，向所述多个合成图像分别添加噪声，包括：
针对每个合成图像，确定该合成图像对应的噪声等级，并依据所述噪声等级向该合成图像添加噪声。
本发明实施例中，每个合成图像根据自身信噪比情况计算出对应的噪声等级。
其中，所述噪声等级的计算公式包括：
其中，ξtcr表示噪声等级；f(i,j)表示位置为(i,j)处的海杂波的数据值；μ表示海杂波数据均值；Rt表示合成图像中舰船目标所在区域；Rc表示合成图像中背景海杂波区域。
从上述噪声等级的计算公式可知，噪声等级用合成图像的信噪比来调整，因此不同合成图像添加的噪声等级可能是不同的。
扩展样本集由添加噪声后的所有合成图像构成，扩展样本集中含有多个扩展样本，每个扩展样本即为一个添加噪声后的合成图像。关于得到的扩展样本，可以参见图6，图6为本发明实施例提供的扩展样本的示意图。该图中白色部分均为舰船目标。
需要补充说明的是，S01～S03，与S04这两个部分可以不分先后顺序或者并行执行。
为了验证本发明实施例所提供的训练样本受限条件下的SAR图像舰船检测方法的有效性，以下以实验数据进行说明。
(一)实验条件：
实验利用公开的SSDD舰船实测数据集，该数据集主要利用RadarSat-2、TerraSAR-X和Sentinel-1传感器，包括HH、HV、VV和VH四种极化方式，分辨率为1m-15m，在大片海域和近岸地区都有舰船目标，数据集共有1160个图像和2456个舰船，平均每个图像有2.12个舰船。
本发明实施例可以使用任意一种目标检测模型完成舰船目标检测，在此，以目标检测模型为YOLOv3模型为例进行实验效果说明，其余模型的实验数据在此不做阐述。实验运行系统为Intel(R)Core(TM)i7-8750H CPU@2.20GHz和NVIDIA GeForce RTX 2060GPU，64位Windows10操作系统，仿真软件采用Python3.6。
(二)实验内容与结果分析：
首先将SSDD数据集中1160张SAR图像划分为训练集合和测试集，可以随机选取其中60％作为训练集，剩余40％作为测试集。
①第一组实验：
原始检测结果是利用原始样本集训练目标检测模型，并使用训练完成的目标检测模型对测试集所有样本图像进行目标检测得到的。
第一组实验中本发明检测结果，是直接将训练集中提取的舰船切片图像随机嵌入到海杂波仿真图中并进行加噪处理，将生成的扩展样本集和原始样本集组合起来训练目标检测模型，并使用训练完成的目标检测模型对测试集中所有样本图像进行目标检测得到的。
对上述检测结果分别使用mAP(Mean Average Precision，均值平均精度)、准确率Precision、召回率Recall、F1分数F1-Score四种指标进行评估，实验结果对比如表1所示。
表1第一组实验的检测结果的评价对比
从表1可以看出，在第一组实验中，本发明提出方法的检测结果在所有评价指标方面，均明显优于原始检测结果，特别是召回率指示，比原始检测结果高1.81％，这表明本发明提出的方法比原始检测方法的漏检情况更少。
②第二组实验：
原始检测结果不变。
第二组实验中本发明检测结果，是将训练集中提取的舰船切片图像分别在θ∈[-5,+5]内随机选取角度进行姿态角旋转后，再随机嵌入到海杂波仿真图中并进行加噪处理，将生成的扩展样本集和原始样本集组合起来训练目标检测模型，并使用训练完成的目标检测模型对测试集中所有样本图像进行目标检测得到的。
同样的，对上述检测结果分别使用mAP、Precision、Recall、F1-Score四种指标进行评估，实验结果对比如表2所示。
表2第二组实验的检测结果的评价对比
从表2可以看出，在第二组实验中，本发明提出方法的检测结果在所有评价指标方面，均明显优于原始检测结果，特别是召回率指示，比原始检测结果高2.48％，这表明在第二组实验中本发明提出的方法相比于第一组的方法均存在更少的漏检情况；另一方面，第二组实验中本发明提出的方法相比于原始检测方法，mAP也有显著改进，改进幅度为1.4％。这表明本发明实施例提出的方法，能够充分利用SAR图像海杂波的统计特性，生成有效的标记样本，很好地克服因训练样本不足导致的神经网络的欠拟合情况，较好地解决训练样本受限条件下的舰船目标检测问题。
本发明实施例将海面杂波的统计特性与深度学习技术相结合，具体提供了一种训练样本受限条件下的SAR图像舰船检测方法。在有限的原始样本集基础上，一方面通过对原始样本集中舰船切片图像进行特定范围内的姿态角变化；另一方面对海杂波数据进行统计建模，根据海杂波统计特性生成满足两种预设统计分布的若干海杂波仿真图；并将姿态角变化后的舰船目标部分，嵌入到不同海杂波仿真图中并进行加噪处理，得到新增的扩展样本集。可见，本发明实施例无需高昂的数据采集成本，仅利用图像处理等手段则可以简便地实现增加训练样本的目的。通过利用原始样本集和扩展样本集合并训练目标检测模型，能够提高训练精度，利用训练完成的目标检测模型能够实现更精确、更稳健的目标检测效果。因此本发明实施例能够在训练样本受限情况下，提高SAR图像的舰船检测精度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (8)
1.一种训练样本受限条件下的SAR图像舰船检测方法，其特征在于，包括：
获取针对海面区域的待检测的SAR图像；
将所述SAR图像输入预先训练完成的目标检测模型，得到所述SAR图像的舰船检测结果；
其中，所述目标检测模型是利用具有标记信息的原始样本集和扩展样本集合并训练得到的；所述扩展样本集是基于所述原始样本集中舰船切片图像的方位变化并结合不同海杂波图像得到的；
其中，所述扩展样本集的获得过程，包括：
从所述原始样本集提取出多个舰船切片图像；
将每个舰船切片图像依次进行坐标变换、角度旋转以及坐标逆变换，得到对应的变姿态舰船切片图像；
将每个变姿态舰船切片图像中舰船轮廓以内的区域从背景中分离出来，得到对应的舰船目标图像；
利用海杂波数据实测值建立模型参数，完成统计建模，根据海杂波统计特性生成满足预设统计分布的、与实测的海杂波数据统计相似的若干海杂波仿真图；
利用舰船目标图像和海杂波仿真图合成方式得到多个合成图像；
向所述多个合成图像分别添加噪声，得到扩展样本集；
其中，利用舰船目标图像和海杂波仿真图合成方式得到多个合成图像，包括：从所述舰船目标图像集中随机选取n个舰船目标图像，以及从所述海杂波仿真图集中随机选取1个海杂波仿真图，0<n≤5；将该n个舰船目标图像以位置随机的方式嵌入到选出的海杂波仿真图中，得到对应的合成图像；
其中，所述向所述多个合成图像分别添加噪声，包括：针对每个合成图像，根据自身信噪比情况计算该合成图像对应的噪声等级，并依据所述噪声等级向该合成图像添加噪声；所述噪声等级的计算公式包括：
其中，ξtcr表示噪声等级；f(i,j)表示位置为(i,j)处的海杂波的数据值；μ表示海杂波数据均值；Rt表示合成图像中舰船目标所在区域；Rc表示合成图像中背景海杂波区域。
2.根据权利要求1所述的训练样本受限条件下的SAR图像舰船检测方法，其特征在于，所述将每个舰船切片图像依次进行坐标变换、角度旋转以及坐标逆变换，得到对应的变姿态舰船切片图像，包括：
针对每个舰船切片图像，将该舰船切片图像中的每个像素点利用预设的坐标变换公式进行坐标变换，得到该舰船切片图像对应的变换图像；
将该舰船切片图像对应的变换图像中的每个像素点，利用预设的角度旋转公式进行平面旋转，得到该舰船切片图像对应的变换旋转图像；
将该舰船切片图像对应的变换旋转图像中的每个像素点，利用预设的坐标逆变换公式进行坐标逆变换，得到该舰船切片图像对应的变姿态舰船切片图像。
3.根据权利要求2所述的训练样本受限条件下的SAR图像舰船检测方法，其特征在于，所述预设的坐标变换公式，包括：
其中，(x0,y0)表示舰船切片图像中的像素点原始坐标；(x1,y1)表示舰船切片图像中的像素点原始坐标进行坐标变换后的坐标；w表示舰船切片图像的宽度；h表示舰船切片图像的高度。
4.根据权利要求3所述的训练样本受限条件下的SAR图像舰船检测方法，其特征在于，所述预设的角度旋转公式，包括：
其中，(x2,y2)表示变换图像中的像素点进行平面旋转后的坐标；q表示旋转角度。
5.根据权利要求4所述的训练样本受限条件下的SAR图像舰船检测方法，其特征在于，所述预设的坐标逆变换公式，包括：
其中，(x,y)表示变换旋转图像中的像素点进行坐标逆变换后的坐标。
6.根据权利要求1所述的训练样本受限条件下的SAR图像舰船检测方法，其特征在于，所述预设统计分布，包括：K分布和G0分布。
7.根据权利要求6所述的训练样本受限条件下的SAR图像舰船检测方法，其特征在于，所述K分布的概率密度函数公式为：
所述G0分布的概率密度函数公式为：
其中，x表示SAR海杂波幅度值；Γ表示统计函数；v表示等效视数；α表示形状参数；μ表示海杂波数据均值；K表示改进的贝塞尔函数；ρ表示形状因子；γ表示尺度因子。
8.根据权利要求1所述的训练样本受限条件下的SAR图像舰船检测方法，其特征在于，所述目标检测模型，包括：
R-CNN模型、Faster R-CNN模型、SSD模型和YOLO系列模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110827306.4A CN113723182B (zh) | 2021-07-21 | 2021-07-21 | 一种训练样本受限条件下的sar图像舰船检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110827306.4A CN113723182B (zh) | 2021-07-21 | 2021-07-21 | 一种训练样本受限条件下的sar图像舰船检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723182A CN113723182A (zh) | 2021-11-30 |
| CN113723182B true CN113723182B (zh) | 2024-07-16 |
Family
ID=78673789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110827306.4A Active CN113723182B (zh) | 2021-07-21 | 2021-07-21 | 一种训练样本受限条件下的sar图像舰船检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723182B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828306A (zh) * | 2024-03-01 | 2024-04-05 | 青岛哈尔滨工程大学创新发展中心 | 一种基于船舶运动频谱特征的数据样本扩充方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145815A (zh) * | 2018-08-21 | 2019-01-04 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
| CN112883971A (zh) * | 2021-03-04 | 2021-06-01 | 中山大学 | 一种基于深度学习的sar图像舰船目标检测方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016097890A1 (en) * | 2014-12-15 | 2016-06-23 | Airbus Group Singapore Pte. Ltd. | Automated method for selecting training areas of sea clutter and detecting ship targets in polarimetric synthetic aperture radar imagery |
| US20170016987A1 (en) * | 2015-07-17 | 2017-01-19 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence | Processing synthetic aperture radar images for ship detection |
| CN106156744B (zh) * | 2016-07-11 | 2019-01-29 | 西安电子科技大学 | 基于cfar检测与深度学习的sar目标检测方法 |
| CN107247930A (zh) * | 2017-05-26 | 2017-10-13 | 西安电子科技大学 | 基于cnn和选择性注意机制的sar图像目标检测方法 |
| CN107563411B (zh) * | 2017-08-07 | 2020-11-24 | 西安电子科技大学 | 基于深度学习的在线sar目标检测方法 |
| CN108052884A (zh) * | 2017-12-01 | 2018-05-18 | 华南理工大学 | 一种基于改进残差神经网络的手势识别方法 |
| CN108038445B (zh) * | 2017-12-11 | 2020-09-15 | 电子科技大学 | 一种基于多视角深度学习框架的sar自动目标识别方法 |
| CN109766835B (zh) * | 2019-01-11 | 2023-04-18 | 西安电子科技大学 | 基于多参数优化生成对抗网络的sar目标识别方法 |
| CN110245711B (zh) * | 2019-06-18 | 2022-12-02 | 西安电子科技大学 | 基于角度旋转生成网络的sar目标识别方法 |
| CN112115937A (zh) * | 2019-06-20 | 2020-12-22 | 成都天府新区光启未来技术研究院 | 目标识别方法、装置、计算机设备和存储介质 |
| CN110414414B (zh) * | 2019-07-25 | 2022-02-18 | 合肥工业大学 | 基于多层级特征深度融合的sar图像舰船目标鉴别方法 |
| CN110516561B (zh) * | 2019-08-05 | 2022-12-06 | 西安电子科技大学 | 基于dcgan和cnn的sar图像目标识别方法 |
| CN112699717A (zh) * | 2019-10-23 | 2021-04-23 | 中国科学院遥感与数字地球研究所 | 基于gan网络的sar图像生成方法及生成装置 |
| CN112597815B (zh) * | 2020-12-07 | 2024-10-01 | 西北工业大学 | 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法 |
-
2021
- 2021-07-21 CN CN202110827306.4A patent/CN113723182B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145815A (zh) * | 2018-08-21 | 2019-01-04 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
| CN112883971A (zh) * | 2021-03-04 | 2021-06-01 | 中山大学 | 一种基于深度学习的sar图像舰船目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113723182A (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163871B (zh) | 一种多线激光雷达的地面分割方法及装置 | |
| CN109284786B (zh) | 基于分布和结构匹配生成对抗网络的sar图像地物分类方法 | |
| CN109284704A (zh) | 基于cnn的复杂背景sar车辆目标检测方法 | |
| CN112257605B (zh) | 基于自标注训练样本的三维目标检测方法、系统及装置 | |
| CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| Mikhail et al. | Detection and sub-pixel location of photogrammetric targets in digital images | |
| Liu et al. | A novel entropy-based method to quantify forest canopy structural complexity from multiplatform lidar point clouds | |
| Amalisana et al. | Land cover analysis by using pixel-based and object-based image classification method in Bogor | |
| EP3239926A1 (en) | Position measuring equipment | |
| CN117197596B (zh) | 基于小样本迁移学习的混合底质声学分类方法 | |
| CN103093243B (zh) | 高分辨率全色遥感图像云判方法 | |
| CN103389074A (zh) | 一种多尺度景象匹配区的选取方法 | |
| Yang et al. | Evaluation and mitigation of rain effect on wave direction and period estimation from X-band marine radar images | |
| Olofsson et al. | A method for linking field-surveyed and aerial-detected single trees using cross correlation of position images and the optimization of weighted tree list graphs. | |
| CN115423968B (zh) | 基于点云数据和实景三维模型的输电通道优化方法 | |
| CN113723182B (zh) | 一种训练样本受限条件下的sar图像舰船检测方法 | |
| Yang et al. | Linking persistent scatterers to the built environment using ray tracing on urban models | |
| CN109579827A (zh) | 一种基于弧形阵列的磁性目标探测和定位方法 | |
| CN113298007B (zh) | 一种小样本sar图像目标识别方法 | |
| CN106096650B (zh) | 基于收缩自编码器的sar图像分类方法 | |
| CN111951204A (zh) | 一种基于深度学习的天宫二号探测数据海面风速反演方法 | |
| CN113960551B (zh) | 一种针对sar图像的杂波图像生成方法和目标检测方法 | |
| CN116819561A (zh) | 一种点云数据匹配方法、系统、电子设备及存储介质 | |
| CN113553708B (zh) | 一种溯源仿真模型关键影响因素的方法和装置 | |
| CN109584279A (zh) | 基于sar图像的船舶检测方法、装置及船舶检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |