CN108121991A - 一种基于边缘候选区域提取的深度学习舰船目标检测方法 - Google Patents

Abstract

本发明提供了一种基于边缘候选区域提取的深度学习舰船目标检测方法，利用基于结构化随机森林模型对不同条件下的遥感图像进行边缘检测，得到有目的性的边缘检测结果，抑制海况和光照等情况对边缘结果的影响；利用基于边缘检测结果的候选区域提取算法，在大幅宽的遥感图像中提取可能存在目标的候选区域，将挑选结果作为深度学习网络的输入，从而提升网络处理的效率，加快检测速度。

Description

一种基于边缘候选区域提取的深度学习舰船目标检测方法

技术领域

本发明涉及数字图像处理技术领域，更具体的说是涉及一种基于边缘候选区域提取的深度学习舰船目标检测方法。

背景技术

目标检测技术是计算机视觉领域的核心问题之一。我国领海范围广阔、海岸线绵长、海洋资源丰富，为有效管理我国海洋资源、保障海洋权益、维护领海安全，对海面船只的管理和监控意义重大，即遥感图像中的舰船目标检测研究具有重要的应用价值。近年来，随着图形处理器(GPU)等硬件的快速发展，计算机的计算性能大幅提升，为大规模深度学习模型的训练提供了重要基础。遥感图像与通用图像在训练数据、图像尺度、信息密集性、目标尺度、与目标形态等方面存在较大差异，目前还没有一个完备的基于遥感图像目标检测的深度学习框架。将作为先进的研究方法和研究工具应用于国防和民用的实际问题中，可推动促进我国在该领域的技术水平发展，意义重大。

但是，在不同季节、不同拍摄时间、不同天气情况影响下，遥感图像中海况、云况、光照等存在较大差异，并对目标检测的准确性造成很大影响。同时，随着遥感图像分辨率增加，数据量增大，给数据处理带来困难，部分算法以增加计算的复杂度为代价实现好的检测效果。

目前现有的遥感图像舰船目标检测方法大多分为两个主要步骤：1)首先对原始遥感图像进行候选区域提取操作，常用方法有滑窗法、显著性法、阈值分割等；2)再利用特征或分类器对提取到的候选区域进行分类识别，得到最终的检测结果。

目前，影响可见光遥感图像舰船目标检测的主要因素及本发明中对应技术手段为：

(1)在不同季节、不同拍摄时间、不同天气情况影响下，造成海况、云况、光照等存在较大差异，并对目标造成很大影响；

(2)随着遥感图像分辨率增加，数据量增大，给数据处理带来困难，算法难以实现快速检测，部分算法以增加计算的复杂度为代价实现好的检测效果。

因此，如何提供一种检测速度快，且适用于不同条件下遥感图像边缘候选区域提取的深度学习舰船目标检测方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于边缘候选区域提取的深度学习舰船目标检测方法，本发明利用基于结构化随机森林模型对不同条件下的遥感图像进行边缘检测，得到有目的性的边缘检测结果，抑制海况和光照等情况对边缘结果的影响；利用基于边缘检测结果的候选区域提取算法，在大幅宽的遥感图像中提取可能存在目标的候选区域，将挑选结果作为深度学习网络的输入，从而提升网络处理的效率，加快检测速度。

为了达到上述目的，本发明采用如下技术方案：

一种基于边缘候选区域提取的深度学习舰船目标检测方法，所述方法包括以下步骤：

步骤一，利用光学遥感图像生成对应的边缘真值、目标真值；

步骤二，利用所述光学遥感图像和对应的边缘真值，训练得到结构化随机森林边缘检测模型，并使用所述结构化随机森林边缘检测模型对所述训练数据集图像进行边缘提取，获得边缘检测结果图像；

步骤三，根据所述光学遥感图像和边缘检测结果图像生成灰度边缘融合图，利用所述灰度边缘融合图训练得到深度卷积神经网络模型；

步骤四，基于所述深度卷积神经网络模型对光学遥感测试图像进行舰船目标检测。

优选的，在上述一种基于边缘候选区域提取的深度学习舰船目标检测方法中，所述步骤一具体包括：

(1)对所述光学遥感图像进行二值化的真值标注，得到二值化遥感图像真值图；

(2)根据标注好的二值化遥感图像真值图生成边缘真值和目标真值，并建立训练数据集。

优选的，在上述一种基于边缘候选区域提取的深度学习舰船目标检测方法中，所述步骤三具体包括：

(1)由所述光学遥感图像和所述边缘检测结果图像生成灰度边缘融合图，形成深度卷积神经网络模型的训练数据集；灰度边缘融合图I_gec为三通道图像，三个通道分别为光学遥感图I_gray、边缘检测图I_edge及叠加图像I_com，公式为：

I_gec＝{I_gray,I_edge,I_com}

其中，叠加图像I_com由光学遥感图I_gray、边缘检测图I_edge叠加生成，公式为：

I_com＝min(I_gray+re*I_edge,255)

其中，255为灰度图像中灰度值的上限；re为边缘检测图的叠加系数，本发明中该叠加系数的值为2；

(2)使用所述灰度边缘融合图及对应的所述目标真值，训练得到所述深度卷积神经网络模型。

优选的，在上述一种基于边缘候选区域提取的深度学习舰船目标检测方法中，所述步骤四具体包括：

(1)将光学遥感测试图像输入训练好的结构化随机森林边缘检测模型中进行边缘检测，得到边缘图检测图I_e；

(2)对所述边缘检测图I_e进行形态学处理，得到形态学处理结果图I_m；

(3)对所述形态学处理结果图I_m进行连通区域检测，得到每个连通区域的左上点坐标、宽、高、面积信息[x,y,w,h,Area]，得到连通区域检测结果CR；

(4)根据所述连通区域检测结果CR的分布，提取候选区域；

(5)对所述光学遥感测试图像及所述边缘检测图I_e在候选区域范围进行截取并进行融合，得到候选区域的灰度边缘融合图，将所述候选区域的灰度边缘融合图输入所述深度卷积神经网络进行检测识别，得到每个候选区域中的目标检测结果；

(6)将多个候选区域中的所述目标检测结果合并，返回输入的光学遥感测试图像中，进行非极大值抑制操作，得到整幅光学遥感测试图像的舰船目标检测结果。

优选的，在上述一种基于边缘候选区域提取的深度学习舰船目标检测方法中，所述步骤(2)具体包括：

1)对边缘检测图I_e进行反色处理，得到反色图像I_er，公式为：

I_er(x,y)＝255-I_e(x,y)

2)对所述反色图像I_er进行类阈值分割操作，得到类阈值分割结果图像I_et，公式为：

其中，T为灰度阈值；

3)对所述类阈值分割结果图像I_et进行腐蚀操作，得到腐蚀操作结果图像I_erode，达到去除边缘毛刺及孤立像素的目的，公式为：

I_erode(x,y)＝erode[I_et(x,y),B_e]

其中，B_e为腐蚀操作的结构元素；

5)对所述腐蚀操作结果图像I_erode进行膨胀操作，得到膨胀操作结果图像I_dilate，达到对边缘图像中孔洞进行填充的目的，公式为：

I_dilate(x,y)＝dilate[I_erode(x,y),B_d]

其中，B_d为膨胀操作的结构元素；所述膨胀结果图像I_dilate即为所述形态学处理结果图I_m。

(x,y)表示图像中的像素点坐标，I(x,y)表示图像中像素点的像素值。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于边缘候选区域提取的深度学习舰船目标检测方法，本发明具有以下优越性：

通过结构化随机森林边缘检测模型，可得到有针对性的边缘检测结果，以应对不同环境影响和光照条件下的干扰，为候选区域的获取提供特征基础。结构化随机森林边缘检测模型相较通用边缘检测算法能够有效地将舰船目标从海洋背景和云背景中提取出来；

针对边缘检测结果所进行的一系列形态学处理，可以在边缘检测的基础上抑制虚景、进一步获得更加准确的目标候选区域；

利用基于卷积神经网络的目标识别算法，在候选区域提取的基础上，可获得更为精确的目标检测定位结果；

在卷积神经网络的训练和测试过程中，使用灰度边缘融合策略将边缘信息融合到灰度图像中，为目标检测增加了边缘特征，可获得优于原始遥感灰度图的检测结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明一种基于边缘候选区域提取的深度学习舰船目标检测方法的流程示意图；

图2附图为本发明一种基于边缘候选区域提取的深度学习舰船目标检测方法的原理图；

图3附图为本发明结构化随机森林边缘检测模型与通用边缘检测算法的效果对比图；

图4附图为本发明一种基于边缘候选区域提取的深度学习舰船目标检测方法的舰船目标检测结果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

光学遥感图像由于幅宽较大，其在计算机存储中所占空间也较大，然而由于显存与内存等计算机内部存储设备的容量限制，难以直接将一副完整的光学遥感图像作为训练数据用于模型优化或直接进行模型测试。传统方法多采用滑窗的策略解决此类问题，但滑窗效率较低、成本较高。本发明对全幅面光学遥感图像数据进行了候选区域提取，在1024*1024幅宽候选区域的基础上进行基于深度卷积神经网络的模型训练和测试识别，请参阅图1，图1为本发明一种基于边缘候选区域提取的深度学习舰船目标检测方法的流程示意图。主要包含以下4个步骤：

1、利用光学遥感图像和对应的边缘真值、目标真值，建立训练数据集图像。

数据集是模型训练和测试的基础。建立训练数据集主要包含以下两个步骤：

a、对光学遥感图像进行二值化的真值标注。利用图像编辑软件对原图像进行逐像素的标注，舰船目标区域标注为白色，其他区域标注为黑色，得到二值化遥感图像真值图。

b、根据标注好的二值化遥感图像真值图进行边缘真值和目标真值的生成。二值化遥感图像真值图中的舰船目标被逐像素标注，直接使用Canny算子对该二值图进行边缘检测，得到图像边缘真值图；对二值化遥感图像真值图进行连通区域检测，得到所有舰船目标的外接正矩形框，分别记录其左上点坐标及其宽高，每个矩形框得到一个四维数组(x,y,w,h)，每幅包含n个目标的遥感图像的目标真值为一个n×4矩阵。

2、训练结构化随机森林边缘检测模型。

利用光学遥感图像和其对应的边缘真值图，训练得到结构化随机森林边缘检测模型，并使用该模型对训练数据集图像进行边缘提取。具体包括以下步骤：

a.生成训练集特征：首先对原始输入图像进行包括灰度特征和梯度特征在内的特征提取操作，其中，灰度特征为单通道或多通道的图像灰度，梯度特征包括原图像在四个方向(水平方向、垂直方向、左上-右下方向、右上-左下方向)上的梯度和总梯度；然后对提取到的特征进行降维，然后两两进行差异计算，得到差异特征。

b.利用提取到的特征信息及其对应的边缘真值对单个决策树分类器进行依次训练。

c.根据多个决策树分类器得到随机森林模型。本发明中的随机森林模型由8个决策树分类器组成。

d.利用训练得到的结构化随机森林边缘检测模型对训练集中的光学遥感图像进行边缘提取，得到边缘检测结果图像。

3、利用灰度边缘融合图训练深度卷积神经网络模型。

a.由光学遥感图像和边缘检测结果图像生成灰度边缘融合图，形成深度卷积神经网络模型的训练数据集。

灰度边缘融合图I_gec为三通道图像，三个通道分别为光学遥感图I_gray、边缘检测图I_edge及叠加图像I_com，公式为：

I_gec＝{I_gray,I_edge,I_com}

其中，叠加图像I_com由光学遥感图I_gray、边缘检测图I_edge叠加生成，公式为：

I_com＝min(I_gray+re*I_edge,255)

其中，255为灰度图像中灰度值的上限；re为边缘检测图的叠加系数，本发明中该叠加系数的值为2。

b.使用灰度边缘融合图及其对应的目标真值，训练得到深度卷积神经网络模型。

4、基于边缘候选区域提取的深度学习舰船目标检测方法

基于上述训练好的结构化随机森林边缘检测模型和分类识别模型，对光学遥感测试图像进行舰船目标检测。具体包括以下步骤：

a.将光学遥感测试图像输入训练好的结构化随机森林边缘检测模型中进行边缘检测，得到边缘图检测图I_e；

b.对边缘检测图I_e进行一系列的形态学处理，得到形态学处理结果图I_m。其中，(x,y)表示图像中的像素点坐标，相应地，I(x,y)表示图像中像素点的像素值，I所表示的图像可替换为下述任一步骤的中间图像。具体步骤包括：

(b1)对边缘检测图I_e进行反色处理，得到反色图像I_er，公式为：

I_er(x,y)＝255-I_e(x,y)

(b2)对反色图像I_er进行类阈值分割操作，得到类阈值分割结果图像I_et，公式为：

其中，T为灰度阈值。

(b3)对类阈值分割结果图像I_et进行腐蚀操作，得到腐蚀操作结果图像I_erode，公式为：

I_erode(x,y)＝erode[I_et(x,y),B_e]

其中，B_e为腐蚀操作的结构元素。

(b4)对腐蚀操作结果图像I_erode进行膨胀操作，得到膨胀操作结果图像I_dilate，公式为：

I_dilate(x,y)＝dilate[I_erode(x,y),B_d]。

(b5)膨胀结果图像I_dilate即为形态学处理结果图I_m，公式为：

I_m＝I_dilate

c.对形态学处理结果图I_m进行连通区域检测，得到每个连通区域的左上点坐标、宽、高、面积信息[x,y,w,h,Area]，连通区域个数为m，因此本步骤中连通区域检测结果CR的规模为m×5；

d.根据连通区域检测结果CR的分布，提取候选区域。具体方法为：

(d1)根据面积对每幅图像中的所有连通区域检测结果CR进行降序排序；

(d2)取面积最大的连通区域，以其为中心，在光学遥感测试图像上提取宽高分别为W_pps和H_pps的候选区域ppsR，得到其左上点坐标与宽高信息，并对剩余连通区域进行检测，将候选区域覆盖的所有连通区域从CR中删除；

(d3)判断此时是否有剩余的连通区域，即判断CR是否为空：若CR非空，返回并重复步骤(d2)～(d4)；若CR为空，则完成候选区域提取，停止并跳出此步骤。

e.对光学遥感测试图像及其边缘检测图在候选区域ppsR范围进行截取，并按照步骤三(1)中的方法对图像进行处理和融合，得到候选区域的灰度边缘融合图，将其输入深度卷积神经网络进行检测识别，得到每个候选区域中的目标检测结果；

f.将多个候选区域中的目标检测结果合并，返回原始输入的光学遥感测试图像中，进行非极大值抑制操作，得到整幅光学遥感测试图像的舰船目标检测结果。

图3附图为本发明结构化随机森林边缘检测模型与通用边缘检测算法的效果对比图，图(a)为Canny边缘检测算法获取的边缘效果图，图(b)为Sobel边缘检测算法获取的边缘效果图，图(d)为本发明结构化随机森林边缘检测模型获取的边缘效果图，图(e)为原始光学遥感测试图像；可以看出，结构森林边缘检测算法能够有效地将舰船目标从海洋背景和云背景中提取出来，边缘检测效果明显，有效抑制海况和光照等情况对边缘结果的影响。图4附图为本发明一种基于边缘候选区域提取的深度学习舰船目标检测方法的舰船目标检测结果对比图，可以看出，本发明对于舰船目标检测的效果和准确度明显优于光学遥感灰度图的检测结果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于边缘候选区域提取的深度学习舰船目标检测方法，其特征在于，所述方法包括以下步骤：

步骤一，利用光学遥感图像生成对应的边缘真值、目标真值；

步骤二，利用所述光学遥感图像和对应的边缘真值，训练得到结构化随机森林边缘检测模型，并使用所述结构化随机森林边缘检测模型对所述训练数据集图像进行边缘提取，获得边缘检测结果图像；

步骤三，根据所述光学遥感图像和边缘检测结果图像生成灰度边缘融合图，利用所述灰度边缘融合图训练得到深度卷积神经网络模型；

步骤四，基于所述深度卷积神经网络模型对光学遥感测试图像进行舰船目标检测。

2.根据权利要求1所述的一种基于边缘候选区域提取的深度学习舰船目标检测方法，其特征在于，所述步骤一具体包括：

(1)对所述光学遥感图像进行二值化的真值标注，得到二值化遥感图像真值图；

(2)根据标注好的二值化遥感图像真值图生成边缘真值和目标真值，并建立训练数据集。

3.根据权利要求1所述的一种基于边缘候选区域提取的深度学习舰船目标检测方法，其特征在于，所述步骤三具体包括：

(1)由所述光学遥感图像和所述边缘检测结果图像生成灰度边缘融合图，形成深度卷积神经网络模型的训练数据集；灰度边缘融合图I_gec为三通道图像，三个通道分别为光学遥感图I_gray、边缘检测图I_edge及叠加图像I_com，公式为：

I_gec＝{I_gray,I_edge,I_com}

其中，叠加图像I_com由光学遥感图I_gray、边缘检测图I_edge叠加生成，公式为：

I_com＝min(I_gray+re*I_edge,255)

其中，255为灰度图像中灰度值的上限；re为边缘检测图的叠加系数，本发明中该叠加系数的值为2；

(2)使用所述灰度边缘融合图及对应的所述目标真值，训练得到所述深度卷积神经网络模型。

4.根据权利要求1所述的一种基于边缘候选区域提取的深度学习舰船目标检测方法，其特征在于，所述步骤四具体包括：

(1)将光学遥感测试图像输入训练好的结构化随机森林边缘检测模型中进行边缘检测，得到边缘图检测图I_e；

(2)对所述边缘检测图I_e进行形态学处理，得到形态学处理结果图I_m；

(3)对所述形态学处理结果图I_m进行连通区域检测，得到每个连通区域的左上点坐标、宽、高、面积信息[x,y,w,h,Area]，得到连通区域检测结果CR；

(4)根据所述连通区域检测结果CR的分布，提取候选区域；

(5)对所述光学遥感测试图像及所述边缘检测图I_e在候选区域范围进行截取并进行融合，得到候选区域的灰度边缘融合图，将所述候选区域的灰度边缘融合图输入所述深度卷积神经网络进行检测识别，得到每个候选区域中的目标检测结果；

(6)将多个候选区域中的所述目标检测结果合并，返回输入的光学遥感测试图像中，进行非极大值抑制操作，得到整幅光学遥感测试图像的舰船目标检测结果。

5.根据权利要求4所述的一种基于边缘候选区域提取的深度学习舰船目标检测方法，其特征在于，所述步骤(2)具体包括：

1)对边缘检测图I_e进行反色处理，得到反色图像I_er，公式为：

I_er(x,y)＝255-I_e(x,y)

2)对所述反色图像I_er进行类阈值分割操作，得到类阈值分割结果图像I_et，公式为：

<mrow> <msub> <mi>I</mi> <mrow> <mi>e</mi> <mi>t</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>I</mi> <mrow> <mi>e</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <mi>T</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>I</mi> <mrow> <mi>e</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>I</mi> <mrow> <mi>e</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>T</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中，T为灰度阈值；

3)对所述类阈值分割结果图像I_et进行腐蚀操作，得到腐蚀操作结果图像I_erode，公式为：

I_erode(x,y)＝erode[I_et(x,y),B_e]

其中，B_e为腐蚀操作的结构元素；

4)对所述腐蚀操作结果图像I_erode进行膨胀操作，得到膨胀操作结果图像I_dilate，公式为：

I_dilate(x,y)＝dilate[I_erode(x,y),B_d]

其中，B_d为膨胀操作的结构元素；所述膨胀结果图像I_dilate即为所述形态学处理结果图I_m；

(x,y)表示图像中的像素点坐标，I(x,y)表示图像中像素点的像素值。