CN110991230A - 基于旋转候选框的任意方向遥感影像舰船检测方法及系统 - Google Patents
基于旋转候选框的任意方向遥感影像舰船检测方法及系统 Download PDFInfo
- Publication number
- CN110991230A CN110991230A CN201911025562.0A CN201911025562A CN110991230A CN 110991230 A CN110991230 A CN 110991230A CN 201911025562 A CN201911025562 A CN 201911025562A CN 110991230 A CN110991230 A CN 110991230A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- training data
- data set
- faster
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 150
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 36
- 238000010606 normalization Methods 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 238000009795 derivation Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于旋转候选框的任意方向遥感影像舰船检测方法及系统，其方法包括：首先，获取遥感图像训练数据集，对获取的训练数据集中的各遥感图像分别进行预处理，得到预处理后的训练数据集；然后，搭建第一Faster‑RCNN网络，将预处理后的训练数据集中的各遥感图像作为第一Faster‑RCNN网络的训练数据，并采用反向传播算法对第一Faster‑RCNN网络进行训练，得到训练好的第一Faster‑RCNN网络；最后，采用训练好的第一Faster‑RCNN网络对实际遥感图像中的舰船进行检测。本发明的有益效果是：本发明所提出的技术方案避免了人为手工设计特征；提出了一种基于任意方向检测框的网络；同时对于密集的物体，检测效果优于传统的水平框检测网络。
Description
技术领域
本发明涉及遥感图像处理与信息提取技术领域，尤其涉及一种基于旋转候选框的任意方向遥感影像舰船检测方法及系统。
背景技术
以人为手工提取为主的遥感图像地物目标检测方法，不仅消耗大量人力，同时消耗大量的时间，工作效率较低。此外交互式地物目标检测方法受到人为因素的影响较大，精度一般不高。
近年来随着深度学习技术的不断发展，在许多领域取得了瞩目的成就。其中深度学习技术在自然场景的图片中进行目标检测，取得了传统方法难以企及的成就。传统的舰船检测方法，采用经典水平框检测网络，且需要人为手工设计特征，识别精度不高，且效率低下，因此，需要利用深度学习的方法，对遥感图像中的舰船目标进行目标检测，从而实现遥感地物检测任务的自动化和智能化处理，实现全自动化遥感图像地物目标检测。
发明内容
为了解决上述问题，本发明提供了一种基于旋转候选框的任意方向遥感影像舰船检测方法及系统；
一种基于旋转候选框的任意方向遥感影像舰船检测方法，主要包括以下步骤：
S101：获取遥感图像训练数据集；
S102：对获取的所述训练数据集中的各遥感图像分别进行预处理，得到预处理后的训练数据集；
S103：搭建第一Faster-RCNN网络；
S104：将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练，得到训练好的第一Faster-RCNN网络；
S105：采用所述训练好的第一Faster-RCNN网络对实际遥感图像中的舰船进行检测。
进一步地，骤S101中，获取遥感图像训练数据集，具体包括：
S201：获取谷歌地球的HRSC2016公开数据集；
S202：在获取的HRSC2016公开数据集中，选取预设条件的n张遥感图像；所述预设条件包括：分辨率范围为[0.4,2]米，图像大小范围为[300×300,1500×900]；n为根据实际需要预先设置的预设值，且大于0；
S203：将所述的n张遥感图像组成所述遥感图像训练数据集。
进一步地，步骤S102中，对获取的所述训练数据集中的各遥感图像分别进行预处理，具体步骤包括：
S301：对所述训练数据集中的各遥感图像，以短边缩放到600个像素为依据，对该遥感图像进行缩放处理，得到缩放处理后的训练数据集；对于某张遥感图像，具体缩放比例ratio的计算公式如公式(1)所示：
上式中，h和w分别为遥感图像的宽和高，按照得到的缩放比例ratio对整张遥感图像进行缩放处理即可；
S302：计算所述的缩放处理后的训练数据集中的遥感图像的像素值的均值mean和标准差std；
S303：根据所述均值mean和标准差std对所述缩放处理后的训练数据集中的各图像中的像素值value进行如公式(2)所示的归一化处理，得到归一化处理后的训练数据集，即预处理后的训练数据集：
进一步地，步骤S103中，使用Mxnet深度学习框架搭建所述第一Faster-RCNN网络；所述第一Faster-RCNN网络为基于传统Faster-RCNN网络改进后的Faster-RCNN网络；主要是对传统Faster-RCNN网络中的RPN网络进行改进：所述第一Faster-RCNN网络的RPN网络主要用来预测舰船的中心，同时增加角度的回归，在预测的推荐的中心点的位置产生推荐框，因此可以筛选掉大部分不包含舰船中心的点，减少回归的框的个数，在保证预测效果的基础上，保证了网络的运行效率。
进一步地，步骤S104中，将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练时，所述第一Faster-RCNN及基础特征网络采用Resnet152，初始学习率设置为0.001，在训练过程中采用学习率逐渐衰减操作，预设训练次数设置为100轮；当达到训练次数或者网络模型收敛时，结束训练，得到训练好的第一Faster-RCNN网络。
进一步地，一种基于旋转候选框的任意方向遥感影像舰船检测系统，其特征在于：包括以下模块：
训练数据获取模块，用于获取遥感图像训练数据集；
预处理模块，用于对获取的所述训练数据集中的各遥感图像分别进行预处理，得到预处理后的训练数据集；
网络搭建模块，用于搭建第一Faster-RCNN网络；
网络训练模块，用于将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练，得到训练好的第一Faster-RCNN网络；
实际检测模块，用于采用所述训练好的第一Faster-RCNN网络对实际遥感图像中的舰船进行检测。
进一步地，训练数据获取模块中，获取遥感图像训练数据集，具体包括以下单元：
公开数据集获取单元，用于获取谷歌地球的HRSC2016公开数据集；
数据筛选单元，用于在获取的HRSC2016公开数据集中，选取预设条件的n张遥感图像；所述预设条件包括：分辨率范围为[0.4,2]米，图像大小范围为[300×300,1500×900]；n为根据实际需要预先设置的预设值，且大于0；
训练数据集组成单元，用于将所述的n张遥感图像组成所述遥感图像训练数据集。
进一步地，预处理模块中，对获取的所述训练数据集中的各遥感图像分别进行预处理，具体包括以下单元：
缩放处理单元，用于对所述训练数据集中的各遥感图像，以短边缩放到600个像素为依据，对该遥感图像进行缩放处理，得到缩放处理后的训练数据集；对于某张遥感图像，具体缩放比例ratio的计算公式如公式(3)所示：
上式中，h和w分别为遥感图像的宽和高，按照得到的缩放比例ratio对整张遥感图像进行缩放处理即可；
均值处理单元，用于计算所述的缩放处理后的训练数据集中的遥感图像的像素值的均值mean和标准差std；
归一化处理单元，用于根据所述均值mean和标准差std对所述缩放处理后的训练数据集中的各图像中的像素值value进行如公式(4)所示的归一化处理，得到归一化处理后的训练数据集，即预处理后的训练数据集：
进一步地，网络搭建模块中，使用Mxnet深度学习框架搭建所述第一Faster-RCNN网络；所述第一Faster-RCNN网络为基于传统Faster-RCNN网络改进后的Faster-RCNN网络；主要是对传统Faster-RCNN网络中的RPN网络进行改进：所述第一Faster-RCNN网络的RPN网络主要用来预测舰船的中心，同时增加角度的回归，在预测的推荐的中心点的位置产生推荐框，因此可以筛选掉大部分不包含舰船中心的点，减少回归的框的个数，在保证预测效果的基础上，保证了网络的运行效率。
进一步地，网络训练模块中，将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练时，所述第一Faster-RCNN及基础特征网络采用Resnet152，初始学习率设置为0.001，在训练过程中采用学习率逐渐衰减操作，预设训练次数设置为100轮；当达到训练次数或者网络模型收敛时，结束训练，得到训练好的第一Faster-RCNN网络。
本发明提供的技术方案带来的有益效果是：本发明所提出的技术方案具备以下优点：
(1)使用端到端的一体化模型，避免了人为手工设计特征；
(2)与经典水平框检测网络相比，本申请提出了一种基于任意方向检测框的网络；
(3)检测过程完全自动化、智能化，无需人工干预；同时对于密集的物体，检测效果优于传统的水平框检测网络。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于旋转候选框的任意方向遥感影像舰船检测方法的流程图；
图2是本发明实施例中HRSC2016数据集示例图；
图3是本发明实施例中Faster-RCNN网络结构图；
图4是本发明实施例中RPN原理示意图；
图5是本发明实施例中链式求导法则计算原理图；
图6是本发明实施例中一种基于旋转候选框的任意方向遥感影像舰船检测系统的模块组成示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于旋转候选框的任意方向遥感影像舰船检测方法及系统。
请参考图1，图1是本发明实施例中一种基于旋转候选框的任意方向遥感影像舰船检测方法的流程图，具体包括如下步骤：
S101：获取遥感图像训练数据集；
S102：对获取的所述训练数据集中的各遥感图像分别进行预处理，得到预处理后的训练数据集；
S103：搭建第一Faster-RCNN网络；
S104：将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练，得到训练好的第一Faster-RCNN网络；
S105：采用所述训练好的第一Faster-RCNN网络对实际遥感图像中的舰船进行检测。
步骤S101中，获取遥感图像训练数据集，具体包括：
S201：获取谷歌地球的HRSC2016(High Resolution Ship Collection 2016)公开数据集；
S202：在获取的HRSC2016公开数据集中，选取预设条件的n张遥感图像；所述预设条件包括：分辨率范围为[0.4,2]米，图像大小范围为[300×300,1500×900]；n为根据实际需要预先设置的预设值，且大于0；
S203：将所述的n张遥感图像组成所述遥感图像训练数据集。
其中，HRSC2016数据集中的图像为高分可见光遥感图像，具有较为单一的背景,一般为海面或海港。主要包含两个场景：海面场景和近岸场景。如图2所示。图像为RGB三通道彩色图，由于图像分辨率存在一个变化的范围，因此对于输入检测的网络的图像，需要以图像短边缩放到600个像素大小为依据，对整张图进行缩放处理。同时需要对图像像素值进行减均值除标准差归一化处理。
步骤S102中，对获取的所述训练数据集中的各遥感图像分别进行预处理，具体步骤包括：
S301：对所述训练数据集中的各遥感图像，以短边缩放到600个像素为依据，对该遥感图像进行缩放处理，得到缩放处理后的训练数据集；对于某张遥感图像，具体缩放比例ratio的计算公式如公式(1)所示：
上式中，h和w分别为遥感图像的宽和高，按照得到的缩放比例ratio对整张遥感图像进行缩放处理即可；
S302：计算所述的缩放处理后的训练数据集中的遥感图像的像素值的均值mean和标准差std；
S303：根据所述均值mean和标准差std对所述缩放处理后的训练数据集中的各图像中的像素值value进行如公式(2)所示的归一化处理，得到归一化处理后的训练数据集，即预处理后的训练数据集：
步骤S103中，使用Mxnet深度学习框架搭建所述第一Faster-RCNN网络；所述第一Faster-RCNN网络为基于传统Faster-RCNN网络改进后的Faster-RCNN网络；主要是对传统Faster-RCNN网络中的RPN网络进行改进：所述第一Faster-RCNN网络的RPN网络主要用来预测舰船的中心，同时增加角度的回归，在预测的推荐的中心点的位置产生推荐框，因此可以筛选掉大部分不包含舰船中心的点，减少回归的框的个数，在保证预测效果的基础上，保证了网络的运行效率。
其中，Faster-RCNN为目标检测领域精度良好的两阶段检测网络，其网络结构如图3所示，
其中的损失函数主要采用交叉熵损失函数和平滑的一范数损失函数；对一范数损失函数形式如公式(3)所示：
上式中，i表示图中锚框的索引，pi表示锚框预测为目标的概率，
表示锚框为真实目标的概率；j为根据RPN推荐出的舰船中心点产生的推荐框中筛选出回归框的索引，tj＝{tx，ty，tw，th,tang}为一个向量，表示预测的包围框的5个参数化坐标
表示真实的参数化包围框坐标和角度；
上式中，IoU表示锚框与真实框的交集部分的面积与并集部分的面积之比；IoU∈[0,0.3)时
为0；IoU∈(0.7,1])时，
为1，其他情况则对锚框进行忽略不予参与损失函数的计算；
上式中，IoU∈[0,0.5)时
为0，IoU∈[0.5,1])时，
为1。
其中tj与
具体计算方式如公式(6)所示：
上式中，x，y,w,h,ang分别表示预测的框中心坐标(x,y)、框的宽高(w,h)和框的角度ang；x*,y*,w*,h*，ang*分别表示真实框中心坐标(x*,y*)、框的宽高(w*,h*)和框的角度ang*；xa,ya,wa,ha分别表示推荐框的中心坐标(xa,ya)及锚框的宽高(wa,ha)。
类别损失函数
具体表达式如公式(7)所示：
框坐标回归损失函数
具体表达式如公式(8)所示：
类别损失函数
具体损失函数表达式如公式(9)所示：
上式中，pselect_j为物体类别概率分布，
为真实的概率分布。
本发明实施例中，采用区域生成网络(Region Proposal Network，RPN)来实现舰船中心点推荐：
RPN是一种全卷积网络(Fully Convolutional Networks，FCN)，它能够处理任意大小的输入图像，输出一组具有目标分值的建议区域。这些候选区域将被输入到随后的目标检测网络中进行精确的目标识别与分类。RPN的核心机制是“anchor”，它在最后一个共享卷积层上每个滑动窗口处同时预测k个不同尺度、不同纵横比的建议区域。每个滑动窗口获得的特征将导入两个同级的全连接层，即box-classification layer(cls)和box-regression layer(reg)。cls层用于判定当前目标框所包含的物体是否为前景目标，而reg层用于回归当前目标框的坐标。因此，cls层有2k个输出，而reg层有4k个输出。图4给出了RPN的原理和anchor的机制。本发明实施例中，仅需要使用RPN中的cls层实现舰船中心点的推荐。具体细节如下：1)对于特征图上的每个像素位置会对应2k个值，计算每个框的属于前景的概率值，则概率值大于一定阈值的框中心即为舰船的推荐中心点，由此获得图像中的舰船推荐中心点；
对产生的舰船推荐中心点，分别生成不同尺度、不同纵横比的推荐框；
利用产生的推荐框，在原始的特征图上取相应区域的特征进行坐标和角度的回归，以及类别的识别。
步骤S104中，将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练时，所述第一Faster-RCNN及基础特征网络采用Resnet152，初始学习率设置为0.001，在训练过程中采用学习率逐渐衰减操作，预设训练次数设置为100轮；当达到训练次数或者网络模型收敛时，结束训练，得到训练好的第一Faster-RCNN网络。
反向传播算法是神经网络得以训练的重要的参数更新算法，其核心为链式求导法则和梯度下降。
链式求导法则是一种对复合函数求导的方法。假设存在如图5所示的计算图，最终输出f对输入变量a,b,c的偏导数计算如公式(10)～(12)所示：
以上公式(10)～(12)表示的是复合函数对于变量的链式求导法则。
梯度下降是一种寻求目标函数极小值的算法，假设存在多元函数g＝f(x1,x2,x3,…,xn)，则有函数g对于变量x1,x2,x3,…,xn的偏导数如公式(13)：
为使得函数g的函数值不断向极小值移动，则对于每个变量xi进行如下调整，如公式(14)：
其中xi:表示调整后的xi的值，lr为调整的步长，在深度学习中也称之为学习率。因此通过上述公式(13)不断计算变量的偏导数，然后利用公式(14)不断调整变量的值。重复上述两个步骤，当变量的值稳定在一个值附近时，此时的函数值即为极小值附近的一个较小的值；
深度学习中的目标函数一般为损失函数，通过反向传播算法对参数不断更新，使得损失函数越来越小，不断接近极小值，最后在极小值附近波动。从而使得模型的拟合误差越来越小，下降到一个较小的值。
如下表所示为本发明实施例中的检测结果精度评定表：
表1 检测结果精度评定表
| 类别总数 | 类别名称 | AP | mAP |
| 1 | 船 | 78.42％ | 78.42％ |
请参阅图6，图6是本发明实施例中一种基于旋转候选框的任意方向遥感影像舰船检测系统的模块组成示意图；包括顺次连接的：训练数据获取模块11、预处理模块12、网络搭建模块13、网络训练模块14和实际检测模块15；其中，
训练数据获取模块11，用于获取遥感图像训练数据集；
预处理模块12，用于对获取的所述训练数据集中的各遥感图像分别进行预处理，得到预处理后的训练数据集；
网络搭建模块13，用于搭建第一Faster-RCNN网络；
网络训练模块14，用于将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练，得到训练好的第一Faster-RCNN网络；
实际检测模块15，用于采用所述训练好的第一Faster-RCNN网络对实际遥感图像中的舰船进行检测。
训练数据获取模块11中，获取遥感图像训练数据集，具体包括以下单元：
公开数据集获取单元，用于获取谷歌地球的HRSC2016公开数据集；
数据筛选单元，用于在获取的HRSC2016公开数据集中，选取预设条件的n张遥感图像；所述预设条件包括：分辨率范围为[0.4，2]米，图像大小范围为[300×300，1500×900]；n为根据实际需要预先设置的预设值，且大于0；
训练数据集组成单元，用于将所述的n张遥感图像组成所述遥感图像训练数据集。
预处理模块12中，对获取的所述训练数据集中的各遥感图像分别进行预处理，具体包括以下单元：
缩放处理单元，用于对所述训练数据集中的各遥感图像，以短边缩放到600个像素为依据，对该遥感图像进行缩放处理，得到缩放处理后的训练数据集；对于某张遥感图像，具体缩放比例ratio的计算公式如公式(15)所示：
上式中，h和w分别为遥感图像的宽和高，按照得到的缩放比例ratio对整张遥感图像进行缩放处理即可；
均值处理单元，用于计算所述的缩放处理后的训练数据集中的遥感图像的像素值的均值mean和标准差std；
归一化处理单元，用于根据所述均值mean和标准差std对所述缩放处理后的训练数据集中的各图像中的像素值value进行如公式(16)所示的归一化处理，得到归一化处理后的训练数据集，即预处理后的训练数据集：
网络搭建模块13中，使用Mxnet深度学习框架搭建所述第一Faster-RCNN网络；所述第一Faster-RCNN网络为基于传统Faster-RCNN网络改进后的Faster-RCNN网络；主要是对传统Faster-RCNN网络中的RPN网络进行改进：所述第一Faster-RCNN网络的RPN网络主要用来预测舰船的中心，同时增加角度的回归，在预测的推荐的中心点的位置产生推荐框，因此可以筛选掉大部分不包含舰船中心的点，减少回归的框的个数，在保证预测效果的基础上，保证了网络的运行效率。
网络训练模块14中，将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练时，所述第一Faster-RCNN及基础特征网络采用Resnet152，初始学习率设置为0.001，在训练过程中采用学习率逐渐衰减操作，预设训练次数设置为100轮；当达到训练次数或者网络模型收敛时，结束训练，得到训练好的第一Faster-RCNN网络。
本发明的有益效果是：本发明所提出的技术方案具备以下优点：
(1)使用端到端的一体化模型，避免了人为手工设计特征；
(2)与经典水平框检测网络相比，本申请提出了一种基于任意方向检测框的网络；
(3)检测过程完全自动化、智能化，无需人工干预；同时对于密集的物体，检测效果优于传统的水平框检测网络。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于旋转候选框的任意方向遥感影像舰船检测方法，其特征在于：包括以下步骤：
S101：获取遥感图像训练数据集；
S102：对获取的所述训练数据集中的各遥感图像分别进行预处理，得到预处理后的训练数据集；
S103：搭建第一Faster-RCNN网络；
S104：将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练，得到训练好的第一Faster-RCNN网络；
S105：采用所述训练好的第一Faster-RCNN网络对实际遥感图像中的舰船进行检测。
2.如权利要求1所述的一种基于旋转候选框的任意方向遥感影像舰船检测方法，其特征在于：步骤S101中，获取遥感图像训练数据集，具体包括：
S201：获取谷歌地球的HRSC2016公开数据集；
S202：在获取的HRSC2016公开数据集中，选取预设条件的n张遥感图像；所述预设条件包括：分辨率范围为[0.4,2]米，图像大小范围为[300×300,1500×900]；n为根据实际需要预先设置的预设值，且大于0；
S203：将所述的n张遥感图像组成所述遥感图像训练数据集。
3.如权利要求1所述的一种基于旋转候选框的任意方向遥感影像舰船检测方法，其特征在于：步骤S102中，对获取的所述训练数据集中的各遥感图像分别进行预处理，具体步骤包括：
S301：对所述训练数据集中的各遥感图像，以短边缩放到600个像素为依据，对该遥感图像进行缩放处理，得到缩放处理后的训练数据集；对于某张遥感图像，具体缩放比例ratio的计算公式如公式(1)所示：
上式中，h和w分别为遥感图像的宽和高，按照得到的缩放比例ratio对整张遥感图像进行缩放处理即可；
S302：计算所述的缩放处理后的训练数据集中的遥感图像的像素值的均值mean和标准差std；
S303：根据所述均值mean和标准差std对所述缩放处理后的训练数据集中的各图像中的像素值value进行如公式(2)所示的归一化处理，得到归一化处理后的训练数据集，即预处理后的训练数据集：
4.如权利要求1所述的一种基于旋转候选框的任意方向遥感影像舰船检测方法，其特征在于：步骤S103中，使用Mxnet深度学习框架搭建所述第一Faster-RCNN网络；所述第一Faster-RCNN网络为基于传统Faster-RCNN网络改进后的Faster-RCNN网络；主要是对传统Faster-RCNN网络中的RPN网络进行改进：所述第一Faster-RCNN网络的RPN网络主要用来预测舰船的中心，同时增加角度的回归，在预测的推荐的中心点的位置产生推荐框，因此可以筛选掉大部分不包含舰船中心的点，减少回归的框的个数，在保证预测效果的基础上，保证了网络的运行效率。
5.如权利要求1所述的一种基于旋转候选框的任意方向遥感影像舰船检测方法，其特征在于：步骤S104中，将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练时，所述第一Faster-RCNN及基础特征网络采用Resnet152，初始学习率设置为0.001，在训练过程中采用学习率逐渐衰减操作，预设训练次数设置为100轮；当达到训练次数或者网络模型收敛时，结束训练，得到训练好的第一Faster-RCNN网络。
6.一种基于旋转候选框的任意方向遥感影像舰船检测系统，其特征在于：包括以下模块：
训练数据获取模块，用于获取遥感图像训练数据集；
预处理模块，用于对获取的所述训练数据集中的各遥感图像分别进行预处理，得到预处理后的训练数据集；
网络搭建模块，用于搭建第一Faster-RCNN网络；
网络训练模块，用于将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练，得到训练好的第一Faster-RCNN网络；
实际检测模块，用于采用所述训练好的第一Faster-RCNN网络对实际遥感图像中的舰船进行检测。
7.如权利要求6所述的一种基于旋转候选框的任意方向遥感影像舰船检测方法，其特征在于：训练数据获取模块中，获取遥感图像训练数据集，具体包括以下单元：
公开数据集获取单元，用于获取谷歌地球的HRSC2016公开数据集；
数据筛选单元，用于在获取的HRSC2016公开数据集中，选取预设条件的n张遥感图像；所述预设条件包括：分辨率范围为[0.4,2]米，图像大小范围为[300×300,1500×900]；n为根据实际需要预先设置的预设值，且大于0；
训练数据集组成单元，用于将所述的n张遥感图像组成所述遥感图像训练数据集。
8.如权利要求6所述的一种基于旋转候选框的任意方向遥感影像舰船检测方法，其特征在于：预处理模块中，对获取的所述训练数据集中的各遥感图像分别进行预处理，具体包括以下单元：
缩放处理单元，用于对所述训练数据集中的各遥感图像，以短边缩放到600个像素为依据，对该遥感图像进行缩放处理，得到缩放处理后的训练数据集；对于某张遥感图像，具体缩放比例ratio的计算公式如公式(3)所示：
上式中，h和w分别为遥感图像的宽和高，按照得到的缩放比例ratio对整张遥感图像进行缩放处理即可；
均值处理单元，用于计算所述的缩放处理后的训练数据集中的遥感图像的像素值的均值mean和标准差std；
归一化处理单元，用于根据所述均值mean和标准差std对所述缩放处理后的训练数据集中的各图像中的像素值value进行如公式(4)所示的归一化处理，得到归一化处理后的训练数据集，即预处理后的训练数据集：
9.如权利要求6所述的一种基于旋转候选框的任意方向遥感影像舰船检测方法，其特征在于：网络搭建模块中，使用Mxnet深度学习框架搭建所述第一Faster-RCNN网络；所述第一Faster-RCNN网络为基于传统Faster-RCNN网络改进后的Faster-RCNN网络；主要是对传统Faster-RCNN网络中的RPN网络进行改进：所述第一Faster-RCNN网络的RPN网络主要用来预测舰船的中心，同时增加角度的回归，在预测的推荐的中心点的位置产生推荐框，因此可以筛选掉大部分不包含舰船中心的点，减少回归的框的个数，在保证预测效果的基础上，保证了网络的运行效率。
10.如权利要求6所述的一种基于旋转候选框的任意方向遥感影像舰船检测方法，其特征在于：网络训练模块中，将所述预处理后的训练数据集中的各遥感图像作为所述第一Faster-RCNN网络的训练数据，并采用反向传播算法对所述第一Faster-RCNN网络进行训练时，所述第一Faster-RCNN及基础特征网络采用Resnet152，初始学习率设置为0.001，在训练过程中采用学习率逐渐衰减操作，预设训练次数设置为100轮；当达到训练次数或者网络模型收敛时，结束训练，得到训练好的第一Faster-RCNN网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911025562.0A CN110991230B (zh) | 2019-10-25 | 2019-10-25 | 基于旋转候选框的任意方向遥感影像舰船检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911025562.0A CN110991230B (zh) | 2019-10-25 | 2019-10-25 | 基于旋转候选框的任意方向遥感影像舰船检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110991230A true CN110991230A (zh) | 2020-04-10 |
| CN110991230B CN110991230B (zh) | 2023-08-11 |
Family
ID=70082438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911025562.0A Active CN110991230B (zh) | 2019-10-25 | 2019-10-25 | 基于旋转候选框的任意方向遥感影像舰船检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991230B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563473A (zh) * | 2020-05-18 | 2020-08-21 | 电子科技大学 | 基于密集特征融合和像素级注意力的遥感舰船识别方法 |
| CN112347994A (zh) * | 2020-11-30 | 2021-02-09 | 四川长虹电器股份有限公司 | 一种基于深度学习的发票图像目标检测与角度检测方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980895A (zh) * | 2017-02-22 | 2017-07-25 | 中国科学院自动化研究所 | 基于旋转区域的卷积神经网络预测方法 |
| CN107274451A (zh) * | 2017-05-17 | 2017-10-20 | 北京工业大学 | 基于共享卷积神经网络的绝缘子检测方法及装置 |
| US20170344808A1 (en) * | 2016-05-28 | 2017-11-30 | Samsung Electronics Co., Ltd. | System and method for a unified architecture multi-task deep learning machine for object recognition |
| CN108694401A (zh) * | 2018-05-09 | 2018-10-23 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
| CN109711295A (zh) * | 2018-12-14 | 2019-05-03 | 北京航空航天大学 | 一种光学遥感图像近岸舰船检测方法 |
| CN109800714A (zh) * | 2019-01-22 | 2019-05-24 | 浙江华是科技股份有限公司 | 一种基于人工智能的船舶检测系统及方法 |
| CN110046530A (zh) * | 2019-03-15 | 2019-07-23 | 中科院微电子研究所昆山分所 | 一种基于多任务目标检测的条形码倾斜矫正方法 |
| CN110163114A (zh) * | 2019-04-25 | 2019-08-23 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 |
| CN110223302A (zh) * | 2019-05-08 | 2019-09-10 | 华中科技大学 | 一种基于旋转区域提取的舰船多目标检测方法 |
| CN110232380A (zh) * | 2019-06-13 | 2019-09-13 | 应急管理部天津消防研究所 | 基于Mask R-CNN神经网络的火灾夜间场景复原方法 |
-
2019
- 2019-10-25 CN CN201911025562.0A patent/CN110991230B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170344808A1 (en) * | 2016-05-28 | 2017-11-30 | Samsung Electronics Co., Ltd. | System and method for a unified architecture multi-task deep learning machine for object recognition |
| CN106980895A (zh) * | 2017-02-22 | 2017-07-25 | 中国科学院自动化研究所 | 基于旋转区域的卷积神经网络预测方法 |
| CN107274451A (zh) * | 2017-05-17 | 2017-10-20 | 北京工业大学 | 基于共享卷积神经网络的绝缘子检测方法及装置 |
| CN108694401A (zh) * | 2018-05-09 | 2018-10-23 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
| CN109711295A (zh) * | 2018-12-14 | 2019-05-03 | 北京航空航天大学 | 一种光学遥感图像近岸舰船检测方法 |
| CN109800714A (zh) * | 2019-01-22 | 2019-05-24 | 浙江华是科技股份有限公司 | 一种基于人工智能的船舶检测系统及方法 |
| CN110046530A (zh) * | 2019-03-15 | 2019-07-23 | 中科院微电子研究所昆山分所 | 一种基于多任务目标检测的条形码倾斜矫正方法 |
| CN110163114A (zh) * | 2019-04-25 | 2019-08-23 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 |
| CN110223302A (zh) * | 2019-05-08 | 2019-09-10 | 华中科技大学 | 一种基于旋转区域提取的舰船多目标检测方法 |
| CN110232380A (zh) * | 2019-06-13 | 2019-09-13 | 应急管理部天津消防研究所 | 基于Mask R-CNN神经网络的火灾夜间场景复原方法 |
Non-Patent Citations (5)
| Title |
|---|
| SHAOMING ZHANG 等: "R-CNN-Based Ship Detection from High Resolution Remote Sensing Imagery", 《REMOTE SENSING》 * |
| 林刚等: "基于改进Faster-RCNN的输电线巡检图像多目标检测及定位", 《电力自动化设备》, no. 05 * |
| 欧攀等: "基于卷积神经网络的遥感图像目标检测", 《激光与光电子学进展》, no. 05 * |
| 赵春晖 等: "基于改进Faster R-CNN算法的舰船目标检测与识别", 《沈阳大学学报(自然科学版)》, vol. 30, no. 5 * |
| 邓瑞 等: "基于深度学习的建筑物识别", 《重庆工商大学学报( 自然科学版)》, vol. 36, no. 4 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563473A (zh) * | 2020-05-18 | 2020-08-21 | 电子科技大学 | 基于密集特征融合和像素级注意力的遥感舰船识别方法 |
| CN111563473B (zh) * | 2020-05-18 | 2022-03-18 | 电子科技大学 | 基于密集特征融合和像素级注意力的遥感舰船识别方法 |
| CN112347994A (zh) * | 2020-11-30 | 2021-02-09 | 四川长虹电器股份有限公司 | 一种基于深度学习的发票图像目标检测与角度检测方法 |
| CN112347994B (zh) * | 2020-11-30 | 2022-04-22 | 四川长虹电器股份有限公司 | 一种基于深度学习的发票图像目标检测与角度检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110991230B (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11488308B2 (en) | Three-dimensional object detection method and system based on weighted channel features of a point cloud | |
| CN106683048B (zh) | 一种图像超分辨率方法及设备 | |
| CN107871119B (zh) | 一种基于目标空间知识和两阶段预测学习的目标检测方法 | |
| CN108960135B (zh) | 基于高分辨遥感图像的密集舰船目标精确检测方法 | |
| CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
| CN111985376A (zh) | 一种基于深度学习的遥感影像舰船轮廓提取方法 | |
| CN113435282B (zh) | 基于深度学习的无人机影像麦穗识别方法 | |
| CN110245620B (zh) | 一种基于注意力的非最大化抑制方法 | |
| CN103164855A (zh) | 一种结合反射光照的贝叶斯决策前景提取方法 | |
| CN110163207A (zh) | 一种基于Mask-RCNN船舶目标定位方法及存储设备 | |
| CN114049434A (zh) | 一种基于全卷积神经网络的3d建模方法及系统 | |
| CN110991230A (zh) | 基于旋转候选框的任意方向遥感影像舰船检测方法及系统 | |
| CN115937552A (zh) | 一种基于融合手工特征与深度特征的图像匹配方法 | |
| CN117315169A (zh) | 基于深度学习多视密集匹配的实景三维模型重建方法和系统 | |
| CN115641767A (zh) | 无人艇感知实验平台装置 | |
| CN113723371B (zh) | 无人船清洁路线规划方法、装置、计算机设备及存储介质 | |
| CN115393734A (zh) | 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法 | |
| CN113963009A (zh) | 基于可形变划块的局部自注意力的图像处理方法和模型 | |
| CN117456376A (zh) | 一种基于深度学习的遥感卫星影像目标检测方法 | |
| CN117576461A (zh) | 一种用于变电站场景的语义理解方法、介质及系统 | |
| CN112750155A (zh) | 基于卷积神经网络的全景深度估计方法 | |
| CN115984360B (zh) | 一种基于图像处理的计算干滩长度的方法及系统 | |
| CN116977632A (zh) | 基于非对称卷积的改进U-Net网络的滑坡提取方法 | |
| Aldabbagh et al. | Classification of chili plant growth using deep learning | |
| CN110084203A (zh) | 基于上下文关联的全卷积网络飞机层级检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231205 Address after: 430000 Hubei city of Wuhan province Wuchang Luojiashan Patentee after: WUHAN University Address before: Building 5 (1-3), Building 3S Geospatial Information Industry Base, No. 7 Wudayuan Road, Donghu Development Zone, Wuhan City, Hubei Province 430000 Patentee before: Hubei furuier Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |