CN109409286A - 基于伪样本增强训练的船舶目标检测方法 - Google Patents

Abstract

本发明涉及一种基于伪样本增强训练的船舶目标检测方法，包括以下步骤：搜集船舶3D模型数据，生成初步船舶模型；对初步船舶模型进行纹理映射，生成仿真船舶模型；以真实图像为基底，采用正投影方法将仿真船舶模型投射至图像中，生成仿真图像，以仿真图像数据构成伪样本集；将伪样本集与真实图像数据集结合，构成训练集，采用Faster‑RCNN目标检测方法进行训练，得到船舶检测网络；使用检测网络对待检测的图像进行船舶检测。本发明降低了Faster‑RCNN目标检测方法训练过程中对训练数据量的要求，提升了检测精度，减少了船舶目标漏检。

Description

基于伪样本增强训练的船舶目标检测方法

技术领域

本发明涉及一种船舶目标检测方法，特别是一种基于伪样本增强训练的船舶目标检测方法，属于遥感图像目标检测研究领域。

背景技术

遥感图像目标检测一直是遥感信息的重要应用领域，船舶作为海上主要的运输载体，其自动检测技术在有着广泛的应用前景。可以监控特定港口或海域的海运交通，辅助船只救援，海洋污染监视测量、配合管理部门监测和打击非法捕鱼、非法倾倒油污、走私和海盗等行为。因此针对遥感图像的船舶目标的检测与识别一直是图像处理领域的热点与难点问题。

随着神经网络和深度学习的不断发展，利用神经网络学习遥感图像中船舶的特征，并用训练好的网络检测图像中船舶的方法变得越来越火热起来。近来的更快的基于区域的卷积神经网络(Faster-RCNN)目标检测方法应用于船舶检测取得了不错的成果。由于神经网络是数据驱动的，要训练这样的神经网络，需要大量的遥感船舶图像作为训练样本，但是针对于某些船舶如集装箱桥吊的特种船，半潜船这样的船舶等，图像数据缺乏。在这种数据少的情况下，算法难以准确检测该类型船只，准确率低，鲁棒性差。更快的基于区域的卷积神经网络(Faster Region-based Convolutional Neural Networks,Faster-RCNN)目标检测方法由缺乏训练数据造成的检测精度低、鲁棒性差、虚警高等问题。同时，遥感图像中近海岸的背景十分复杂，给算法检测带来困难。陆地上的建筑，港口的道路，海面上的防波堤拥有着和船舶相似的形状或颜色特征，以及船只和港口之间的联系，给算法检测带来了大量的困难，制造成了大量的虚警。

船舶的3D模型制作简单容易获取，并且可以根据简单的线框在不同细节层次渲染的或者用不同方法进行明暗描绘(shaded)。在进一步使用纹理进行覆盖模型，将纹理排列放到三维模型上，进行纹理映射。纹理映射是将纹理图像映射到三维表面模型然后投影到二维屏幕上的图像合成技术，该技术通过给三维模型加上细节来増强模型的真实感，这样制作的模型更加细致，更加真实，更加接近于真实船舶。这就使得由模型映射到图像中生成的仿真图像十分真实，同时船舶3D模型的多样化和在不同图像中不同的映射位置可以产生大量的仿真图像。

综上所述，本发明提出采用伪样本增强训练的船舶目标检测方法进行遥感图像船舶检测，利用生成的仿真图像构成伪样本集，与真实图像结合后得到的训练数据集，进行训练可以有效的训练网络，提升检测网络的检测精度和鲁棒性，避免了漏检及误检情况的发生。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种提升检测网络的检测精度和鲁棒性，避免了漏检及误检情况的发生的基于伪样本增强训练的船舶目标检测方法。

为解决上述技术问题，本发明一种基于伪样本增强训练的船舶目标检测方法，包括以下步骤：

步骤一、搜集船舶3D模型数据，生成初步船舶模型；

步骤二、对初步船舶模型进行纹理映射，生成仿真船舶模型；

步骤三、以真实图像为基底，采用正投影方法将仿真船舶模型投射至图像中，生成仿真图像，以仿真图像数据构成伪样本集；

步骤四、将伪样本集与真实图像数据集结合，构成训练集，采用更快的基于区域的卷积神经网络目标检测方法进行训练，得到船舶检测网络；

步骤五：使用检测网络对待检测的图像进行船舶检测。

本发明有益效果：

通过将真实图像与仿真船舶模型结合的方式生成仿真图像。大量生成的仿真图像构成伪样本集参与训练，有效地的降低了更快的基于区域的卷积神经网络(FasterRegion-based Convolutional Neural Networks,Faster-RCNN)目标检测方法训练过程中对训练数据量的要求，有效地提升了检测精度，减少了船舶目标的漏检。

在伪样本集与真实图像数据集结合构成训练集的过程中，考虑到遥感图像中空间分辨率以及背景信息的不同，根据这些情况调整训练集中真伪图像的比例及伪样本集中仿真图像的数量，有效的提升了在复杂背景下检测方法的鲁棒性，避免了误检情况的发生。

附图说明

图1是本发明方法的流程图；

图2是本发明步骤三中仿真图像生成方式的流程图；

图3(a)是Googleearth上截取的近海岸遥感图像一；

图3(b)是Googleearth上截取的近海岸遥感图像二；

图3(c)是Googleearth上截取的近海岸遥感图像三；

图3(d)是Googleearth上截取的近海岸遥感图像四；

图4(a)是生成的仿真图像一；

图4(b)是标记出仿真舰船的仿真图像一；

图4(c)是生成的仿真图像二；

图4(d)是标记出仿真舰船的仿真图像二；

图5(a)是采用了伪样本参与训练后得到的检测网络对测试图像中船舶目标检测结果一；

图5(b)是采用了伪样本参与训练后得到的检测网络对测试图像中船舶目标检测结果二；

图5(c)是采用了伪样本参与训练后得到的检测网络对测试图像中船舶目标检测结果三；

图5(d)是采用了伪样本参与训练后得到的检测网络对测试图像中船舶目标检测结果四；

具体实施方式

结合图1说明本实施方式，本实施方式所述的基于伪样本增强训练的船舶目标检测方法的实现过程为：

步骤一、搜集船舶3D模型数据，生成初步船舶模型；

在网络上搜集各式船舶的3D模型数据，对3D模型数据整理，调整统一至STL格式。在此基础上进一步加工，统一船舶比例尺，生成初步的船舶模型；

步骤二、对初步船舶模型进行纹理映射，生成仿真船舶模型；

在初步的船舶模型生成后，使用纹理映射生成仿真船舶模型，纹理图片来自相机图片，而初步船舶模型由三角面片集合构成。有两个不同坐标系统：纹理坐标，由(u,v)表示；三维坐标，由(x,y,z)表示。纹理坐标到屏幕坐标的映射可分为两步，第一步将纹理坐标映射到初步的船舶模型上，叫做参数化，即纹理每个点由一个映射函数映射到初步的船舶模型表面一个点上。通过改变相机位置，参数化模型的任意视图都可以得到。

三角面片的线性参数化可通过指定每个顶点的纹理坐标来实现。三角面片的每个顶点的纹理坐标就可以充分决定从纹理空间到三维模型空间的仿射映射参数{a_i,i＝1...9}，它由齐次矩阵表示。

采用该方法生成仿真船舶模型

步骤三、以真实图像为基底，采用正投影方法将仿真船舶模型投射至图像中，生成仿真图像，以仿真图像数据构成伪样本集；

结合图2、图3(a)、图3(b)、图3(c)、图3(d)、及图4(a)、图4(b)、图4(c)和图4(d)，以真实遥感图像为基底屏幕，采用视图投影方式将仿真船舶模型映射到基底屏幕上，视图投影方法采用正投影，以仿真船舶模型中心点为基准，控制船舶的大小，在屏幕选择合适的坐标(I,J)将中心点置于该坐标上，调整船舶角度集及整幅图像的亮度，使仿真船舶模型融合到图像中，生成仿真图像。由这些生成的仿真图像构成伪样本数据集。

步骤三中通过采用正投影的方法将仿真船舶模型投射到由遥感图像构成的平面上，在该平面上得到的图像即为仿真图像。由这些生成的仿真图像构成伪样本数据集，将伪样本数据集与真实数据集构成训练数据集，可以有效地降低Faster-RCNN目标检测方法训练过程中对训练数据量的要求，提升了检测准确率，降低了图像中漏检目标的个数。

步骤四、将伪样本集与真实图像数据集结合，构成训练集，采用Faster-RCNN目标检测方法进行训练，得到船舶检测网络；

考虑到遥感图像中空间分辨率以及背景信息的不同，根据这些情况调整训练集中真伪图像的比例及伪样本集中仿真图像的数量，生成训练集。采用Faster-RCNN目标检测方法，调试程序，改变参数如调整其中迭代次数、batchsize、rpn网络参数等等。得到准确检测船舶的网络。

步骤四中考虑到不同遥感图像数据集的空间分辨率不同，且不同遥感图像数据集图像的背景信息的复杂程度差异大，根据这些情况调整训练数据集中真伪图像数据的比例及数据量地大小，可以提高检测网络在不同背景下的鲁棒性，降低了图像中误检目标的个数。

步骤五：使用检测网络对待检测的图像进行船舶检测。

结合图5(a)、图5(b)、图5(c)、图5(d)，使用检测网络对测试图像进行检测。

Claims (1)

1.一种基于伪样本增强训练的船舶目标检测方法，其特征在于，包括以下步骤：

步骤一、搜集船舶3D模型数据，生成初步船舶模型；

步骤二、对初步船舶模型进行纹理映射，生成仿真船舶模型；

步骤三、以真实图像为基底，采用正投影方法将仿真船舶模型投射至图像中，生成仿真图像，以仿真图像数据构成伪样本集；

步骤四、将伪样本集与真实图像数据集结合，构成训练集，采用更快的基于区域的卷积神经网络目标检测方法进行训练，得到船舶检测网络；

步骤五：使用检测网络对待检测的图像进行船舶检测。