CN113284135A - 基于全局与局部上下文信息的sar舰船检测方法 - Google Patents

Abstract

本发明为一种基于全局与局部上下文信息的SAR舰船检测方法，包括步骤一、获取SAR图像，并对SAR图像进行处理，得到二值化图像；步骤二、对二值化图像进行形态学处理；步骤三、基于全局上下文信息的区域选择，筛选出所有潜含舰船的子图像；步骤四、对潜含舰船的子图像进行分类和回归预测；步骤五、对二值化图像重新进行形态学处理；步骤六、基于局部上下文信息的虚警抑制，得到舰船目标。该方法利用SAR图像的全局上下文信息对待检测的子图像进行筛选，筛选出潜含舰船的子图像；然后利用检测框及周边邻域的局部上下文信息，对检测结果进行再次筛选，能够减少计算冗余，提高检测效率，减少虚警，提高检测精度。

Description

基于全局与局部上下文信息的SAR舰船检测方法

技术领域

本发明属于雷达目标检测技术领域，尤其涉及一种基于全局与局部上下文信息的SAR舰船检测方法。

背景技术

近年来，雷达成像技术得到了突飞猛进的发展，已经在军事、农林、地质、海洋、灾害、绘测等诸多方面得到广泛应用。合成孔径雷达(SAR)是一种利用微波进行感知的主动传感器，与红外、光学等其他类型传感器相比，SAR成像不受光照、天气等条件的限制，可以对感兴趣的目标进行全天候、全天时的观测，因而SAR已经成为目前对地观测和军事侦察的重要手段，而基于SAR图像的目标识别也受到越来越广泛的关注。

双参数CFAR检测算法是一种传统的SAR图像目标检测方法，该方法应用的前提要求SAR图像上目标与背景杂波具有较高的对比度。传统的双参数CFAR检测算法将背景杂波的统计分布模型假定为高斯分布，通过滑动窗口处理，对SAR图像中的每个像素进行遍历。在每次滑动窗口处理的过程中，通过计算背景窗口内的所有像素均值和方差来对背景杂波进行参数估计，并以此来确定一个阈值，如果目标窗口内的像素大于这个阈值就认为是目标像素，否则就认为其是杂波像素。由于背景杂波的统计分布模型并不一定服从高斯分布，因此这种方法对背景杂波进行参数估计不仅造成检测时间过长，而且容易导致虚警率高的缺陷。

随着深度学习的发展，Convolutional Neural Networks(CNNs)在目标检测方面取得了显著效果，并已成为主导的机器学习方法。深度学习方法采用端对端的检测流程，具有更高的检测速度与精度，且在大量数据训练下的检测算法具有更强的鲁棒性。现有技术中有很多基于深度学习的SAR图像目标检测方法，例如基于双阶段建议框生成的R-CNN系列的SAR目标检测方法、基于单阶段默认框回归的SSD、YOLO系列的SAR目标检测方法以及基于Anchor Free的CenterNet系列SAR目标检测方法，这些检测方法都是采用数据驱动的方式获取高效的检测模型，输入图像都是基于自然或光学图像所提出，对于输入图像的尺寸要求较小，而SAR图像的尺寸一般远大于普通光学图像，而且SAR图像特有的成像方式使其比普通光学图像更加复杂，因此上述这些检测方法不仅会造成大量的计算冗余导致检测速度过慢，而且待检测图像包含目标的复杂背景杂波区域，亦会对检测结果造成严重的干扰。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提出了一种基于全局与局部上下文信息的SAR舰船检测方法。

本发明解决所述技术问题采用的技术方案是：

一种基于全局与局部上下文信息的SAR舰船检测方法，其特征在于，该方法包括以下步骤：

步骤一、获取SAR图像，并对SAR图像进行处理，得到二值化图像；

步骤二、对二值化图像进行形态学处理，形态学处理包含闭运算和开运算；

步骤三、对SAR图像进行滑动窗口处理，得到子图像和子图像在原始SAR图像中的坐标信息；根据子图像的坐标信息，将子图像映射到经过步骤二的形态学处理后的二值化图像中，计算子图像中背景所占比例a₁，设置阈值T1、T2，T2>T1，若T1<a₁<T2，则表明子图像中潜含有舰船目标，进而筛选出所有潜含舰船的子图像；

步骤四、利用深度学习检测器对潜含舰船的子图像进行分类和回归预测，得到初步检测结果，每个子图像得到多个预测框；

步骤五、对二值化图像重新进行形态学处理；

步骤六、基于局部上下文信息的虚警抑制：将每个预测框以各自的中心为基础，向四周分别扩大j个像素点，得到检测框以及检测框在原始SAR图像中的坐标信息；根据检测框的坐标信息，将检测框映射到经过步骤五的形态学处理后的二值化图像中，计算检测框内前景所占比例a₂，设置阈值T3、T4，T4>T3，若T3<a₂<T4，则认为检测结果为舰船目标，反之则认为检测结果为虚警。

与现有技术相比，本发明具有以下有益效果：

1.检测速度快

传统的双参数CFAR检测方法在检测时，由于首先要对杂波进行统计学建模，然后对每个像素点进行滑动窗口处理，并且在每次处理时需要估计参考窗内杂波的模型参数，因而用于大场景图像检测效率低；传统深度学习方法直接对滑动窗口检测得到的所有子图像进行检测，需要深度学习检测器对每一个子图像进行检测，检测耗时较长，而且滑动窗口计算不仅含有大量的冗余信息，复杂的背景杂波区域更会对检测结果造成干扰。本发明中对大尺度的SAR图像进行滑动窗口处理，利用SAR图像的全局上下文信息对待检测的子图像进行筛选，根据舰船存在于海域上这一先验知识，对不包含舰船目标的含有陆地区域的子图像进行去除，不仅能够减少计算冗余，提高检测效率，亦能够排除部分背景杂波对检测结果的干扰。

2.虚警率低

传统深度学习检测算法通常采用数据驱动的方式对检测虚警进行抑制，在提升检测准确率的同时会使检测率降低，造成漏检现象，因此本发明利用检测框及周边邻域的局部上下文信息，对检测结果进行再次筛选，可排除大量的由陆地建筑及海面杂波造成的虚警，大幅度提高检测精度。

附图说明

图1是本发明的整体流程图；

图2是本发明获取待检测子图像的流程图；

图3是SAR图像；

图4是图3经过处理后得到的二值化图像；

图5是图4经过滑动窗口处理得到的子图像；

图6是本发明利用初步检测结果得到最终检测结果的流程图；

图7是经过步骤一至四得到的检测结果图；

图8是本发明的最终检测结果图；

图9是传统方法得到的检测结果图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案进行详细说明，并不以此限定本申请的保护范围。

本发明为一种基于全局与局部上下文信息的SAR舰船检测方法(简称方法，参见图1-9)，包括以下步骤：

步骤一、获取如图3所示的SAR图像，将SAR图像转化为灰度图像，对灰度图像进行均值滤波，均值滤波的邻域大小约为SAR图像尺寸的1％，均值滤波核大小为25*25像素；滤波后的图像中像素点的灰度值与其邻域内像素点灰度值的关系为：

其中，G为滤波后的图像中当前像素点的灰度值，g_i为当前像素点对应的邻域内像素点i的灰度值，m，n分别表示邻域的长和宽；

对滤波后的图像进行Otsu分割，以区分前景和背景，前景为陆地和舰船，背景为海域；

将分割后的图像进行二值化处理，即将前景区域的像素点的灰度值置为1，背景区域的像素点的灰度值置为0，得到二值化图像。

步骤二、对二值化图像进行形态学处理，得到如图4所示的图像，用于对全局上下文信息的提取；首先对二值化图像进行闭运算，以填充图像的凹角，填平前景中的小裂缝，融合细微连接的图块；闭运算的结构元素为方形，其大小为15*15像素，能够更好的保留图像的区域特性，即原始图像的上下文信息；然后对闭运算后的图像进行开运算，以去除孤立的小点、毛刺、小桥和噪点，将一些过小的物体过滤；开运算的结构元素也是方形，其大小为10*10像素，在优化分割结果的同时保持前景和背景的原始形状与位置不变。

步骤三、基于全局上下文信息的区域选择；

对步骤一获取的SAR图像进行滑动窗口处理，步长为150像素，将SAR图像依次截取为大小512*512像素的子图像，并得到所有子图像在原始SAR图像上的坐标信息；根据子图像的坐标信息，将子图像映射到步骤二经过形态学处理后的二值化图像中，并计算子图像中背景所占比例a₁，即子图像中海域区域的像素点与所有像素点的占比，实现基于全局上下文信息的区域选择；设置阈值T1、T2，T2>T1，若T1<a₁<T2，则表明子图像中潜含有舰船目标，进而筛选出所有潜含舰船的子图像。图5为经过滑动窗口处理得到的子图像，其中(a)与(b)是经过阈值T1、T2筛选去除的子图像，分别对应海域杂波区域与陆地背景杂波区域；(c)为最终筛选出的潜含舰船的子图像。本实施例中T1＝0.5，T2＝0.99。

基于实际的检测任务可以获取如下先验知识：第一，陆地上不存在舰船且并不是所有的海域都存在舰船，即舰船在海域中是稀疏分布的。第二，舰船四周小范围邻域内必定存在海域。

由于合成孔径雷达(SAR)图像的尺寸较大，传统的深度学习舰船检测方法通常利用滑动窗口处理来获取小尺寸的子图像，但是在没有舰船的子图像中，存在大量强烈的背景杂波区域，因此传统方法在滑动窗口处理中可能会产生大量没有舰船的子图像，这会带来大量的计算冗余和虚警，因此本申请基于第一条先验知识，通过计算像素比例能够获得子图像中包含海域比例的上下文信息，在滑动窗口处理得到子图像过程中，当子图像中全为海域时，即背景区域像素点所占比例大于0.99，则表明该子图像中没有舰船目标，应该剔除；当子图像中陆地区域过多时，即背景区域像素点所占比例小于0.5，则表明该子图像中基本不存在舰船目标且易产生虚警，也应该剔除，因此设置阈值T1、T2能够筛选出所有潜含舰船的子图像，将筛选出所有潜含舰船的子图像用于检测，能够减少计算量计算冗余，提升检测效率。

步骤四、将潜含舰船的子图像作为待检测子图像，利用深度学习检测器对待检测子图像进行特征提取，并进行分类和回归预测，得到预测框，预测框包含子图像上各个舰船目标的类别信息和位置信息，即初步检测结果。

深度学习检测器基于卷积神经网络搭建，属于本领域的常规技术手段，在此不再赘述。

步骤五、对步骤一得到的二值化图像重新进行形态学处理；形态学处理包含闭运算和两次开运算，闭运算的结构元素为方形，其大小为15*15像素；开运算的结构元素均为矩形，其大小分别为10*30、30*10像素，主要由于舰船的形状多为窄长矩形，采用矩形结构元素能够保留舰船结构特征的同时去除海域上的其他孤立点；与步骤二的开运算相比，采用更大尺寸的结构元素是为了优化海陆交接地带的分割结果，以便于利用更精确的局部上下文信息。

步骤六、基于局部上下文信息的虚警抑制；

将步骤四得到的每个预测框以各自的中心为基础，向四周分别扩大j个像素点，得到检测框，并得到检测框在原始SAR图像中的坐标信息；此时将检测框在原始SAR图像中对应的区域作为局部上下文信息提取区域，此时检测框所在区域不仅包含舰船目标，还包含舰船目标的周边邻域，因此能够提取到更精确的上下文信息；

根据检测框的坐标信息，将检测框映射到经过步骤五的形态学处理后的图像中，计算检测框内前景所占比例a₂，即检测框内舰船目标所占像素比例；设置阈值T3、T4，T4>T3，若T3<a₂<T4，则认为检测框为最终检测结果，反之则认为检测结果为虚警，需要剔除。本实施例中，T3＝0.7，T4＝0.995。

基于第二条先验知识：当深度学习检测器获得初步检测结果后，得到预测框，将预测框扩大后得到检测框，通过对检测框及其邻域内前景像素点进行计算获取局部上下文信息，用以判断检测框周围是否存在海域，当前景对应的像素点几乎占满整个检测框，则表明检测框内不存在海域，同时表明预测框及其邻域内都不存在海域，此检测框位于陆地，为虚警；当前景对应的像素点在检测框中的占比很小，则表明检测框内全为海域，此检测框中没有舰船，亦为虚警。

为验证本发明的有效性，分别采用本发明的方法和传统方法进行模拟验证；实验运行的硬件环境为：深度学习检测器训练阶段使用的显卡是NVIDIA GeForce RTX 2080Ti，软件环境为Ubuntu 18.04系统，CUDA 10.2以及Pytorch深度学习框架；训练阶段的参数包含非极大值抑制参数为0.15，检测置信度阈值为0.9，批尺寸(Batch_size)为2；检测阶段使用的显卡是NVIDIA GeForce GTX 1650，软件环境为Windows10系统，CUDA 10.0及Pytorch深度学习框架；

采用SARShip-1.0数据集，该数据集包含31景的SAR图像，场景类型包含港口、岛礁、不同级别海况的海面等，标注信息主要为舰船目标的位置；训练集为26景大图，包含近岸及远海场景，图像尺寸为3000*3000像素。测试集为5景大图，其中包括一景远海区域场景大图，两景海陆区域场景大图，两景港口区域场景大图，共包含52个尺寸大小不一的舰船目标。

图7是经过步骤四得到的检测结果，此检测结果未经过步骤六处理，即未结合局部上下文信息的检测结果；图8、9分别为本发明的最终检测结果和传统方法得到的检测结果，传统方法是指常规的深度学习方法，对于待检测区域的选取为“滑窗即检测”，即滑动窗口处理后的所有子图像均用于检测，同时未经过步骤六的处理；图7～9中，矩形框为检测的目标，椭圆框为虚警，菱形框为漏检；表1为两种方法的检测结果对比；

表1 5景SAR图像两种方法的检测结果对比

由表1可以看出，针对SAR图像数据，本发明应用基于全局与局部上下文信息的SAR舰船检测方法进行了目标检测，实验结果表明本发明的检测方法具有良好的性能。此法相比于传统的深度学习舰船目标检测方法来说，不仅能够保证较高的检测率和较低的虚警率，而且相同平台下的算法执行时间约为传统深度学习检测的1/3，具有算法执行速度快、虚警率低的优点，是一种快速并且有效的检测方法，更符合SAR舰船目标检测实时高效检测的初衷，具有良好的应用前景。

对比图7、8可知，未经过步骤六处理得到的虚警为4个，经过步骤六处理后得到的虚警为3个，这是由于将预测框扩大后能够更好的获取局部上下文信息，提高检测精度。

本发明未述及之处适用于现有技术。

Claims (5)

1.一种基于全局与局部上下文信息的SAR舰船检测方法，其特征在于，该方法包括以下步骤：

步骤一、获取SAR图像，并对SAR图像进行处理，得到二值化图像；

步骤二、对二值化图像进行形态学处理，形态学处理包含闭运算和开运算；

步骤三、对SAR图像进行滑动窗口处理，得到子图像和子图像在原始SAR图像中的坐标信息；根据子图像的坐标信息，将子图像映射到经过步骤二的形态学处理后的二值化图像中，计算子图像中背景所占比例a₁，设置阈值T1、T2，T2>T1，若T1<a₁<T2，则表明子图像中潜含有舰船目标，进而筛选出所有潜含舰船的子图像；

步骤四、利用深度学习检测器对潜含舰船的子图像进行分类和回归预测，得到初步检测结果，每个子图像得到多个预测框；

步骤五、对二值化图像重新进行形态学处理；

步骤六、基于局部上下文信息的虚警抑制：将每个预测框以各自的中心为基础，向四周分别扩大j个像素点，得到检测框以及检测框在原始SAR图像中的坐标信息；根据检测框的坐标信息，将检测框映射到经过步骤五的形态学处理后的二值化图像中，计算检测框内前景所占比例a₂，设置阈值T3、T4，T4>T3，若T3<a₂<T4，则认为检测结果为舰船目标，反之则认为检测结果为虚警。

2.根据权利要求1所述的基于全局与局部上下文信息的SAR舰船检测方法，其特征在于，T1＝0.5，T2＝0.99，T3＝0.7，T4＝0.995。

3.根据权利要求1所述的基于全局与局部上下文信息的SAR舰船检测方法，其特征在于，步骤二中闭运算和开运算的结构元素均为方形，大小分别为15*15像素和10*10像素；步骤五中的形态学处理包含闭运算和两次开运算，闭运算的结构元素为方形，大小为15*15像素；两次开运算的结构元素均为矩形，大小分别为10*30像素、30*10像素。

4.根据权利要求1所述的基于全局与局部上下文信息的SAR舰船检测方法，其特征在于，步骤一的具体过程为：获取SAR图像，将SAR图像转化为灰度图像，对灰度图像进行均值滤波，对滤波后的图像进行Otsu分割，对分割后的图像进行二值化处理，得到二值化图像。

5.根据权利要求4所述的基于全局与局部上下文信息的SAR舰船检测方法，其特征在于，均值滤波的邻域大小为SAR图像尺寸的1％，均值滤波核大小为25*25像素。

Images