CN108596101B - 一种基于卷积神经网络的遥感图像多目标检测方法 - Google Patents
一种基于卷积神经网络的遥感图像多目标检测方法 Download PDFInfo
- Publication number
- CN108596101B CN108596101B CN201810380509.1A CN201810380509A CN108596101B CN 108596101 B CN108596101 B CN 108596101B CN 201810380509 A CN201810380509 A CN 201810380509A CN 108596101 B CN108596101 B CN 108596101B
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- selection
- training
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 239000010410 layer Substances 0.000 claims description 91
- 238000011176 pooling Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 2
- 239000002356 single layer Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于卷积神经网络的遥感图像多目标检测方法，该方法利用卷积神经网络为核心，建立一种端到端的检测框架，先利用选框产生网络产生物体的选框，再通过检测子网络确定最终的目标分类及位置，为了提升多种尺度目标的检测准确率，提出了以双层选框产生网络和融合特征为核心的尺度自适应目标检测方法。该方法在公开遥感数据集中完成了训练和测试，识别精度较高，能够高效地检测遥感图像中的多种目标。
Description
技术领域
本发明涉及计算机视觉和遥感图像处理，特别是一种基于卷积神经网络的遥感图像多目标检测方法。
背景技术
遥感技术是一种凭借载体，比如飞行器、人造卫星等，通过光学、雷达等传感器对远距离目标进行探测和识别的综合技术。随着遥感技术的逐步提高，可用于观测地球的仪器日见增多，例如成像光谱仪，合成孔径雷达，无人机，卫星等，产生了越来越多分辨率不同的各种类型的机载或卫星图像。这也就带来了一个十分重要的需求，充分利用得到的遥感图像，通过遥感图像对地球进行智能观测。遥感技术为人类更好的了解地球打开了一扇大门。
事实上，遥感技术在数据收集上也在变得越来越重要。信息技术公司通过遥感来更新基于位置的服务。谷歌地球也利用高分辨率的遥感技术来给用户提供生动的地球表面的图像。政府也在一系列的公共服务中应用遥感技术，比如气象预报，交通监管等。作为航空图像与卫星图像分析领域中的一个热门的研究方向，遥感图像场景分类是通过图像的内容来将图像场景归入不同的土地利用和土地覆盖(LULC)类。由于遥感图像场景分类的重要作用和广泛的应用范围，比如自然灾害检测，LULC测定，地理空间物体检测，地理图像检索，植被测绘，环境监测和城市规划等，在过去几十年中，在发展各种遥感图像场景分类任务的方法上，科学家们已经花费了巨大的努力。目前，航空航天遥感正向高空间分辨率、高光谱分辨率、高时间分辨率、多极化、多角度的方向迅猛发展。随着科技的进一步发展，在未来的十年中，空、天、地平台部署的传感器将获取更大量的数据供我们分析。遥感观测应用已经全面进入大数据时代。
光学遥感图像的目标检测是判断一张卫星图片里是否包含一种或者多种所感兴趣的类别的物体，并且将每一个检测到的目标预测定位在图片中。这里的“目标”指的是它的广义形式，包括有明确边界、独立于背景环境的人造物体(比如车辆，船舶，建筑等)，也包括景观物体(比如分界模糊、并且是背景环境一部分的土地利用/土地覆盖区域)。目前，遥感图像中的目标检测通常面临几个严重的挑战，包括由视点变化、遮挡，背景杂波，背景照明，阴影等造成的物体的视觉外观上的巨大变化，遥感图像在数量和质量上爆炸性的增长，以及新应用领域的各种要求。
当前，遥感图像目标检测的传统方法分为这样几类：基于模板匹配的方法，基于先验知识的方法和先划分对象区域后分类的方法。传统的算法在复杂条件下的检测精度并不是很高，部分算法复杂度太高，很难在实际中实现。近年来，随着计算机视觉的发展以及深度学习在图像识别领域的成功，以卷积神经网络为核心的众多方法被运用在遥感图像目标识别问题中。其中很多方法只针对场景分类问题，任务简单，或者只解决单一物体(如车辆，船只等)的检测问题，缺少一种能够有效进行遥感图像多目标物体检测的方法。
发明内容
本发明的目的是提出一种基于卷积神经网络的遥感图像多目标的检测方法，该方法能够快速有效地检测遥感图像中的多种目标，该方法与传统算法相比识别精度和效率更高，而且对于遥感图像中尺度较小，难识别的物体如车辆，船只等，检测准确率也非常高。
本发明的技术解决方案如下：
一种基于卷积神经网络的遥感图像多目标的检测方法，主要包括以下步骤：
步骤1，采集遥感图像数据集，通过从公开的遥感影音图像数据如谷歌地球图像中截取而来，其中包含不同类别的遥感物体包含不同类别物体的遥感图像组成，分成训练图像和测试图像；
所述的步骤1中，需要对数据集进行预处理，包括尺度缩放，左右翻转和调节亮度均衡等操作。
步骤2，设置卷积神经网络模型参数，使用ImageNet预训练模型初始化网络参数；
所述的步骤2中，采用的卷积神经网络模型是一个包含13层卷积层，4层最大池化层，2层全连接层和一层Softmax层的网络，其中最后一层Softmax层并没有使用预训练的参数；
步骤3，训练尺度自适应网络，读取训练图像数据集，通过训练来降低实际网络输出与指定目标输出之间的误差值，当达到一定迭代次数后，停止训练，得到最终模型；
所述的步骤3中，检测方法主要包括两个部分：第一个部分为选框产生网络，主要目的是产生包含各种目标的前景选框以及不包含目标或者包含目标区域较少的背景选框，第二个部分为检测子网络，主要是对第一个部分产生的选框进行预测，输出目标的位置与种类。
步骤4，网络测试，读取测试图像，将测试图像输入到训练完成后的模型中，网络输出物体的类别和坐标。
所述的步骤2中，卷积神经网络的模型设置具体如下：
步骤2-1，将训练图像输入，第一部分为两层卷积层，都是采用3x3的卷积核，得到第一部分的特征图F1；
步骤2-2，对F1进行池化操作，经过池化窗口大小为2x2的池化层，得到第二部分的特征图F2；
步骤2-3，F2输入第三部分的卷积层，分为两层卷积层，采用3x3的卷积核，得到第三部分的特征图F3，后续的卷积部分都是以此类推，具体的参数如表1，表1中的Conv1_1，Conv1_2代表了第一部分的两层卷积层Softmax层的输出可以按照具体的输出类别修改，因此其参数初始化时没有继承预训练模型的值；
表1卷积神经网络的参数设置
| 名称 | 主要参数 | 输入 | 输出 |
| Conv1_1,Conv1_2 | 卷积层，3x3卷积核 | 输入图片 | F<sub>1</sub> |
| Pool1 | 池化层，2x2池化核 | F<sub>1</sub> | F<sub>2</sub> |
| Conv2_1,Conv2_2 | 卷积层，3x3卷积核 | F<sub>2</sub> | F<sub>3</sub> |
| Pool2 | 池化层，2x2池化核 | F<sub>3</sub> | F<sub>4</sub> |
| Conv3_1Conv3_2,Conv3_3 | 卷积层，3x3卷积核 | F<sub>4</sub> | F<sub>5</sub> |
| Pool3 | 池化层，2x2池化核 | F<sub>5</sub> | F<sub>6</sub> |
| Conv4_1Conv4_2,Conv4_3 | 卷积层，3x3卷积核 | F<sub>6</sub> | F<sub>7</sub> |
| Pool4 | 池化层，2x2池化核 | F<sub>7</sub> | F<sub>8</sub> |
| Conv5_1Conv5_2,Conv5_3 | 卷积层，3x3卷积核 | F<sub>8</sub> | F<sub>9</sub> |
| Pool5 | 池化层，2x2池化核 | F<sub>9</sub> | F<sub>10</sub> |
| Fc6 | 全连接层，输出4096 | F<sub>11</sub> | F<sub>12</sub> |
| Fc7 | 全连接层，输出4096 | F<sub>12</sub> | F<sub>13</sub> |
| Softmax | Softmax层，输出n | F<sub>13</sub> | F<sub>14</sub> |
所述步骤3中尺度自适应网络，包括双层选框网络与检测子网络。
所述的双层选框网络，选框产生网络主要输入不同卷积层的特征，低层特征分辨率高，语义性低适合小目标检测，而高层特征分辨率低，语义性强适合大目标检测，每一个单独的选框产生网络主要包括一个特征降维卷积层，前景后景概率卷积层和一个坐标回归预测卷积层，之后通过输出的前景后景概率以及坐标筛选出一定数量和比例的正负选框。两个选框产生网络的区别在于输入低层特征的网络在预测坐标时使用的是尺寸较大的选框基准，而输入高层特征的网络在预测坐标时采用的是尺寸较小的选框基准。
检测子网络中采用了一种多层特征融合方法，考虑到高层特征与低层特征分辨率不同，采用反卷积层在保留高层特征的同时扩大其分辨率，并按照对应坐标逐个相加的方式融合低层与高层的特征得到一组新的特征，输入到检测网络中。
所述的步骤3，检测网络的具体训练步骤如下：
步骤3-1，检测网络的具体结构如图1所示，从训练集中随机选取图像Xi进行训练，通过预训练卷积神经网络模型中的Conv1至Conv5(不含Pool5)得到特征图Fk；
步骤3-2，检测网络中为了提升对多种尺度目标的检测能力，基于卷积神经网络模型的特点，低层特征分辨率高，感受也小，适合小尺寸的目标检测，而高层特征分辨率低，感受也大，适合大尺寸的目标检测，提出了双层选框产生网络，两个选框产生网络的操作基本一致，但利用的特征层次不同，同时基于低层特征的选框基准尺寸较小，适合小尺寸选框的回归，而同时基于高层特征的选框基准尺寸较大，适合大尺寸选框
步骤3-3，检测网络中的单层选框产生网络再对FK进行卷积核为3x3的卷积操作得到Frpn_conv，在对Frpn_conv分别进行卷积核为1x1的卷积操作，分别得到Frpn_cls和Frpn_bbr，其中Frpn_conv的Frpn_cls代表了选框为前景的概率，Frpn_bbr代表了选框的四个坐标值；
步骤3-4，选框产生网络通过选框的坐标以及选框为前景的概率筛选部分选框进入最终的检测子网络，通过选框与原图的对应关系以及FK，计算出选框所对应的特征图Fproposal，经过RoI_Pooling层的池化后得到大小为7x7的特征图FRoI，通过两层全连接层Fc6和Fc7后得到4096维的特征向量，并再次利用两个1x1的卷积层得到Fcls和Fbbr，Fcls代表了预测目标的类别概率，Fbbr代表了预测目标的选框坐标；
步骤3-5，训练过程中，需要反向传播以及梯度下降算法来降低网络的误差值(loss)，检测网络的loss主要包括两个部分，分别对应选框产生网Loss1以及检测子网络Loss2。两部分的loss都是包含了分类的误差以及坐标预测的误差，即Frpn_cls和Frpn_bbr，Fcls和Fbbr的输出与真实值之间的误差；设样本的真实类别为Y，预测类别为P，真实坐标为集合d＝(dx，dy，dw，dh)，预测坐标为集合
集合中四个坐标分别代表的一个矩形的左上角的x，y坐标以及矩形的宽度与高度，以Loss1为例，
其中Lcls(p，y)＝-log(py)，代表分类损失，当y≥1时，即不是背景类别时，定位的损失为
其中
Loss2与Loss1一样，也是由分类损失和坐标预测损失组成。
步骤3-6，因为卷积神经网络中池化层的存在，在卷积的前向过程中，特征图大小会逐渐减小，这就造成了高层特征中原图中比较小的目标的特征将逐渐消失，本发明采用高层特征与低层特征相融合的方式，Conv4和Conv5的F7和F9对应通道和像素位置依次相加，输入到最终检测子网络中，提升了小目标的识别率；
步骤3-7，通过梯度下降算法，降低整个检测网络的loss并更新网络中的权重，训练50，000次迭代后，保存模型。
与传统的遥感图像检测算法相比，本发明的有益效果是：
本发明可以同时进行多个目标的检测，训练数据集以检测目标来确定；
本发明的检测流程是端到端的(即输入到输出可以经过一个完整的方法，不需要在中间过程进行额外存储)，与传统的算法相比，效率更高，且速度更快；
本发明所提出的遥感图像目标检测方法可以明显提升小目标的检测准确率。
附图说明
图1为本发明遥感图像目标检测的流程图
图2为本发明遥感图像多目标检测效果图，其中从左到右从上到下依次为车辆，飞机，船只，存储罐，操场，港口的检测图
具体实施方式
为了使本发明实现的措施、创作特征、达成目的与功效易于明白了解，下面结合附图，进一步阐述本发明。
图1为本发明的流程图，包括如下步骤：
步骤1，收集遥感图像数据集，实验中采用的是西北工业大学程塨教授提出的公开遥感图像数据集NWPU VHR-10，并随机划分为训练集图像和测试集图像。
本实施例数据集主要由10个类别的高精度遥感图像组成，这十个类别主要是飞机，船只，存储罐，棒球场，网球场，篮球场，操场，港口，桥梁和车辆，其中小目标如车辆的像素大小在30x20左右，大目标如篮球场约在150x120左右。为了验证提出的网络的识别精度，数据集被随机划分为训练数据集和测试集，两者比例为7：3。
步骤2，设置卷积神经网络参数，并使用ImageNet预训练模型进行参数初始化。
所述卷积神经网络具体参数设置如下：
步骤2-1，本实施例初始化模型是一个包含13层卷积层，4层池化层，2层全连接层以及一层Softmax层的网络，在ImageNet训练过程中，输入图像大小为224x224的大小，每一层的特征图大小如表2所示。
表2卷积神经网络的输入输出大小关系
步骤2-2，在卷积神经网络中，卷积层和池化层都不需要固定输入输出大小，权重参数只与核的大小及输出维度有关，只有全连接层的参数才与输入大小有关系，在以卷积神经网络为核心的遥感图像检测框架中，为了不过度缩放遥感图像的大小影响特征的提取，所以训练图片的长宽以同比例被缩放至长边最大为1000像素作为输入。
步骤3，读取训练集图像，在深度学习平台中训练尺度自适应网络，为了降低检测网络的前向计算实际输出与真实目标值之间的损失，后向使用梯度下降算法降低整体网络损失，当训练迭代次数达到50000次后，停止训练，得到最终模型。
所述的深度学习平台，训练机器主要是一台CPU型号为Intel(R)Xeon(R)E5-1620，GPU型号为NVIDIA GTX 1080Ti的服务器，软件系统主要是Ubuntu16.04以及开源的深度学习训练框架Caffe；
所述的尺度自适应网络的训练步骤如下：
步骤3-1，双层选框产生网络利用不同层次的特征图产生选框，网络1采用Conv5层的特征并利用面积较大的基准框集合{1282，2562，5122}适应大目标选框的产生，而网络2采用Conv4层的特征并利用面积较大的基准框集合{322，642，1282}产生更多小目标的选框，最终双层选框产生网络产生的选框进行汇集并筛选送入到检测子网络中。
步骤3-2，检测框架舍弃了Pool5和Softmax层，考虑到全连接层的输入必须与初始化模型一样，使用RoI-Pooling层，该层的作用是可以接受大小不同的特征图如H×W，通过设置池化核的大小为[H/7，W/7]，获得池化后的7×7特征图。
步骤3-3，训练中的特征融合方式是，Conv4输出的特征F7和Conv5输出的特征F9在尺度上相差两倍，即F7的宽度和高度是F9宽高的两倍，通过反卷积操作，先将F9的特征图扩大两倍，得到Fdeconv，之后Fdeconv和F7按照逐坐标相加的方式得到Ffusion：
Ffusion(x，y，c)＝Fdeconv(x，y，c)+F7(x，y，c)，x＝1...W，y＝1...H，c＝1...C
其中，W和H分别是特征图的宽和高，C为通道数，融合的两层特征在三个维度上保持一致；
步骤3-4，在网络训练过程中，初始的学习率为0.001，经过2,5000迭代后，缩小10倍，继续训练，这样可以加速网络的收敛速度，获得更高的准确率。
步骤3-5，整个训练过程需持续约6.5个小时，一个批次的训练时间0.484s。
步骤4，读取测试集图像，将测试图像输入到步骤3训练完成后的最终模型中，得到测试图像的输出并与实际结果比对，得到检测准确率。
所述步骤4中的遥感图像测试的步骤如下：
步骤4-1，通过测试集的测试，得到整个检测框架的测试准确率，不同类别的测试准确率如表3所示，本发明的准确率在目前已有算法中，效果最好，检测效率较高。
表3遥感图像目标检测的测试准确率
| 类别 | 准确率 |
| 飞机 | 97.8％ |
| 船只 | 87.6％ |
| 存储罐 | 67.2％ |
| 棒球场 | 94.8％ |
| 网球场 | 99.5％ |
| 篮球场 | 99.5％ |
| 操场 | 95.9％ |
| 港口 | 96.8％ |
| 桥梁 | 68.0％ |
| 车辆 | 85.1％ |
| 平均 | 89.2％ |
步骤4-2，图2为测试数据集中部分类别的测试效果图，可以看到本发明可以很好地检测多种目标，在小目标上检测效果也很不俗。
Claims (3)
1.一种基于卷积神经网络的遥感图像多目标检测方法，其特征在于：该方法包含以下步骤：
1)采集遥感图像数据集，通过从公开的遥感影音图像数据中获取，随机分成训练集图像和测试集图像；
2)设置网络参数，包括网络层数，层与层之间的连接关系，以及每一层的权重；采用预训练模型对网络参数进行初始化；
3)读取训练集图像，在深度学习平台中训练尺度自适应网络，通过多次迭代来降低网络输出与实际真实值之间的误差，达到一定迭代次数后，得到最终模型；
所述的尺度自适应网络包括双层选框网络与检测子网络，具体的：
所述的双层选框网络，采用输入不同卷积层的特征，低层特征分辨率高，语义性低适合小目标检测，高层特征分辨率低，语义性强适合大目标检测，每一个单独的选框产生网络包括一个特征降维卷积层，前景后景概率卷积层和一个坐标回归预测卷积层，之后通过输出的前景后景概率以及坐标筛选出一定数量和比例的正负选框；所述的检测子网络采用多层特征融合，将反卷积层在保留高层特征的同时扩大其分辨率，并按照对应坐标逐个相加的方式融合低层与高层的特征得到一组新的特征，输入到检测网络中；
4)网络测试，读取测试集图像，并输入到所述的最终模型中，输出物体的坐标和类别。
2.根据权利要求1所述的基于卷积神经网络的遥感图像多目标检测方法，其特征在于：所述的尺度自适应网络的训练步骤如下：
步骤3-1，双层选框产生网络利用不同层次的特征图产生选框，网络1采用Conv5层的特征并通过面积较大的基准框集合S1来产生大目标选框，即最小覆盖目标区域的矩形面积在128x128以上；网络2采用Conv4层的特征并利用面积较小的基准框集合S2产生更多小目标的选框，即最小覆盖目标区域的矩形面积在128x128以下，最终双层选框产生网络产生的选框进行汇集并筛选送入到检测子网络中；
步骤3-2，用RoI-Pooling层，接受大小不同的特征图，通过设置池化核的大小为[H/7，W/7]，获得池化后固定大小的特征图；
步骤3-3，训练中的特征融合方式是，Conv4输出的特征F7和Conv5输出的特征F9在尺度上相差两倍，即F7的宽度和高度是F9宽高的两倍，通过反卷积操作，先将F9的特征图扩大两倍，得到Fdeconv，之后Fdeconv和F7按照逐坐标相加的方式得到Ffusion：
Ffusion(x，y，c)＝Fdeconv(x，y，c)+F7(x，y，c)，x＝1...W，y＝1...H，c＝1...C
其中，W和H分别是特征图的宽和高，C为通道数，融合的两层特征在三个维度上保持一致；
步骤3-4，在网络训练过程中，先设定一个初始的学习率为lr，经过n次迭代后，缩小10倍，继续训练，这样可以加速网络的收敛速度，获得更高的准确率。
3.根据权利要求1所述的基于卷积神经网络的遥感图像多目标检测方法，其特征在于：所述的步骤3，检测网络的具体训练步骤如下：
步骤3-1，从训练集中随机选取图像Xi进行训练，通过预训练卷积神经网络模型中的Conv1至Conv5得到特征图Fk；
步骤3-2，双层选框产生网络，两个选框产生网络的操作基本一致，但利用的特征层次不同，同时基于低层特征的选框基准尺寸较小，适合小尺寸选框的回归，而同时基于高层特征的选框基准尺寸较大，适合大尺寸选框；
步骤3-3，检测网络中的单层选框产生网络再对FK进行卷积操作得到Frpn_conv，再对Frpn_conv进行两次卷积操作，分别得到Frpn_cls和Frpn_bbr，其中Frpn_conv的Frpn_cls代表了选框为前景的概率，Frpn_bbr代表了选框的四个坐标值；
步骤3-4，选框产生网络通过选框的坐标以及选框为前景的概率筛选部分选框进入最终的检测子网络，通过选框与原图的对应关系以及FK，计算出选框所对应的特征图Fproposal，经过RoI_Pooling层的池化后得到特征图FRoI，通过两层全连接层Fc6和Fc7后得到一个固定维度的特征向量，并再次利用两个卷积层得到Fcls和Fbbr，Fcls代表了预测目标的类别概率，Fbbr代表了预测目标的选框坐标；
步骤3-5，训练过程中，需要反向传播以及梯度下降算法来降低网络的误差值loss，检测网络的loss包括两个部分，分别对应选框产生网Loss1以及检测子网络Loss2；两部分的loss都是包含了分类的误差以及坐标预测的误差，即Frpn_cls和Frpn_bbr，Fcls和Fbbr的输出与真实值之间的误差；设样本的真实类别为Y，预测类别为P，真实坐标为集合d＝(dx，dy，dw，dh)，预测坐标为集合
集合中四个坐标分别代表的一个矩形的左上角的x，y坐标以及矩形的宽度与高度，以Loss1为例，
其中Lcls(p，y)＝-log(py)，代表分类损失，当y≥1时，即不是背景类别时，定位的损失为
其中
Loss2与Loss1是由分类损失和坐标预测损失组成；
步骤3-6，采用高层特征与低层特征相融合的方式，Conv4和Conv5的F7和F9对应通道和像素位置依次相加，输入到最终检测子网络中，提升了小目标的识别率；
步骤3-7，通过梯度下降算法，降低整个检测网络的loss并更新网络中的权重，训练N次迭代后，保存模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810380509.1A CN108596101B (zh) | 2018-04-25 | 2018-04-25 | 一种基于卷积神经网络的遥感图像多目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810380509.1A CN108596101B (zh) | 2018-04-25 | 2018-04-25 | 一种基于卷积神经网络的遥感图像多目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108596101A CN108596101A (zh) | 2018-09-28 |
| CN108596101B true CN108596101B (zh) | 2021-07-27 |
Family
ID=63609863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810380509.1A Active CN108596101B (zh) | 2018-04-25 | 2018-04-25 | 一种基于卷积神经网络的遥感图像多目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108596101B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109726739A (zh) * | 2018-12-04 | 2019-05-07 | 深圳大学 | 一种目标检测方法和系统 |
| CN109800637A (zh) * | 2018-12-14 | 2019-05-24 | 中国科学院深圳先进技术研究院 | 一种遥感影像小目标检测方法 |
| CN109800755A (zh) * | 2018-12-14 | 2019-05-24 | 中国科学院深圳先进技术研究院 | 一种基于多尺度特征的遥感影像小目标检测方法 |
| CN109685780B (zh) * | 2018-12-17 | 2021-05-11 | 河海大学 | 一种基于卷积神经网络的零售商品识别方法 |
| CN111368600B (zh) * | 2018-12-26 | 2023-10-31 | 北京眼神智能科技有限公司 | 遥感图像目标检测识别方法、装置、可读存储介质及设备 |
| CN109726769B (zh) * | 2019-01-24 | 2020-07-10 | 电子科技大学 | 一种基于卷积核权重参数的目标分类和角度估计方法 |
| CN109815914A (zh) * | 2019-01-28 | 2019-05-28 | 成都蝉远科技有限公司 | 一种基于植被区域识别的卷积神经网络模型训练方法及系统 |
| CN109977997B (zh) * | 2019-02-13 | 2021-02-02 | 中国科学院自动化研究所 | 基于卷积神经网络快速鲁棒的图像目标检测与分割方法 |
| CN110084093B (zh) * | 2019-02-20 | 2020-07-17 | 北京航空航天大学 | 基于深度学习的遥感图像中目标检测与识别的方法及装置 |
| CN109959911A (zh) * | 2019-03-25 | 2019-07-02 | 清华大学 | 基于激光雷达的多目标自主定位方法及装置 |
| CN110197147B (zh) * | 2019-05-23 | 2022-12-02 | 星际空间（天津）科技发展有限公司 | 遥感影像的建筑物实例提取方法、装置、存储介质及设备 |
| CN110378242A (zh) * | 2019-06-26 | 2019-10-25 | 南京信息工程大学 | 一种双重注意力机制的遥感目标检测方法 |
| CN110414377B (zh) * | 2019-07-09 | 2020-11-13 | 武汉科技大学 | 一种基于尺度注意力网络的遥感图像场景分类方法 |
| CN110400305A (zh) * | 2019-07-26 | 2019-11-01 | 哈尔滨理工大学 | 一种基于深度学习的目标检测方法 |
| CN111160410B (zh) * | 2019-12-11 | 2023-08-08 | 北京京东乾石科技有限公司 | 一种物体检测方法和装置 |
| CN111091095B (zh) * | 2019-12-19 | 2022-03-29 | 华中科技大学 | 一种遥感图像中船只目标的检测方法 |
| CN111192240B (zh) * | 2019-12-23 | 2023-09-01 | 北京航空航天大学 | 一种基于随机接入记忆的遥感图像目标检测方法 |
| CN110992642B (zh) * | 2019-12-25 | 2021-11-05 | 辽宁石油化工大学 | 一种基于深度学习的火灾检测方法 |
| CN111401383B (zh) * | 2020-03-06 | 2023-02-10 | 中国科学院重庆绿色智能技术研究院 | 基于图像检测的目标框预估方法、系统、设备及介质 |
| CN111709307B (zh) * | 2020-05-22 | 2022-08-30 | 哈尔滨工业大学 | 一种基于分辨率增强的遥感图像小目标检测方法 |
| CN111709991B (zh) * | 2020-05-28 | 2023-11-07 | 武汉工程大学 | 一种铁路工机具的检测方法、系统、装置和存储介质 |
| CN112180338B (zh) * | 2020-06-10 | 2022-03-01 | 四川九洲电器集团有限责任公司 | 全息数字阵列雷达目标数量估计方法和系统 |
| CN113935928B (zh) * | 2020-07-13 | 2023-04-11 | 四川大学 | 基于Raw格式岩心图像超分辨率重建 |
| CN111798530A (zh) * | 2020-07-15 | 2020-10-20 | 南京信息工程大学 | 一种遥感图像分类方法 |
| CN112017178A (zh) * | 2020-09-08 | 2020-12-01 | 重庆市地理信息和遥感应用中心 | 一种基于双时相差值图像法的遥感图像区域变化检测方法 |
| CN112800982A (zh) * | 2021-02-01 | 2021-05-14 | 苏州喆鑫信息科技有限公司 | 一种基于遥感场景分类的目标检测方法 |
| CN112884753A (zh) * | 2021-03-10 | 2021-06-01 | 杭州申昊科技股份有限公司 | 一种基于卷积神经网络的轨道扣件检测及分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
| CN107657224A (zh) * | 2017-09-19 | 2018-02-02 | 武汉大学 | 一种基于部件的多层并行网络sar图像飞机目标检测方法 |
| CN107886117A (zh) * | 2017-10-30 | 2018-04-06 | 国家新闻出版广电总局广播科学研究院 | 基于多特征提取和多任务融合的目标检测算法 |
-
2018
- 2018-04-25 CN CN201810380509.1A patent/CN108596101B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
| CN107657224A (zh) * | 2017-09-19 | 2018-02-02 | 武汉大学 | 一种基于部件的多层并行网络sar图像飞机目标检测方法 |
| CN107886117A (zh) * | 2017-10-30 | 2018-04-06 | 国家新闻出版广电总局广播科学研究院 | 基于多特征提取和多任务融合的目标检测算法 |
Non-Patent Citations (1)
| Title |
|---|
| FAST AIRCRAFT DETECTION BASED ON REGION LOCATING NETWORK IN LARGE-SCALE REMOTE SENSING IMAGES;Zhongxing Han, Hui Zhang, Jinfang Zhang, Xiaohui Hu;《IEEE》;20180222;第1-5页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108596101A (zh) | 2018-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596101B (zh) | 一种基于卷积神经网络的遥感图像多目标检测方法 | |
| CN110956651B (zh) | 一种基于视觉和振动触觉融合的地形语义感知方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| Su et al. | Object detection and instance segmentation in remote sensing imagery based on precise mask R-CNN | |
| CN108710863A (zh) | 基于深度学习的无人机航拍场景语义分割方法及系统 | |
| Marcu et al. | SafeUAV: Learning to estimate depth and safe landing areas for UAVs from synthetic data | |
| CN110009010B (zh) | 基于兴趣区域重检测的宽幅光学遥感目标检测方法 | |
| CN110189304B (zh) | 基于人工智能的光学遥感图像目标在线快速检测方法 | |
| CN108596108B (zh) | 基于三元组语义关系学习的航拍遥感图像变化检测方法 | |
| CN107690840B (zh) | 无人机视觉辅助导航方法及系统 | |
| US7603208B2 (en) | Geospatial image change detecting system with environmental enhancement and associated methods | |
| CN107918776B (zh) | 一种基于机器视觉的用地规划方法、系统及电子设备 | |
| US11430087B2 (en) | Using maps comprising covariances in multi-resolution voxels | |
| CN113111727B (zh) | 一种基于特征对齐的遥感场景下旋转目标检测方法 | |
| CN115439424A (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN113255589B (zh) | 一种基于多卷积融合网络的目标检测方法及系统 | |
| CN107194343B (zh) | 基于位置相关的卷积与Fire模型的红绿灯检测方法 | |
| US11288861B2 (en) | Maps comprising covariances in multi-resolution voxels | |
| Shen et al. | Biomimetic vision for zoom object detection based on improved vertical grid number YOLO algorithm | |
| US20230281913A1 (en) | Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments | |
| CN114612835A (zh) | 一种基于YOLOv5网络的无人机目标检测模型 | |
| CN109241902A (zh) | 一种基于多尺度特征融合的山体滑坡检测方法 | |
| Li et al. | Photo-realistic simulation of road scene for data-driven methods in bad weather | |
| CN114038193A (zh) | 基于无人机和多目标追踪的智能交通流量数据统计方法及系统 | |
| CN115272876A (zh) | 一种基于深度学习的遥感图像船舶目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221010 Address after: No. 803, Unit 2, Building 3, Nanlihan Lanting, Jingshu District, Beijing 100083 Patentee after: Xu Ningyi Patentee after: He Guanghui Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District Patentee before: SHANGHAI JIAO TONG University Effective date of registration: 20221010 Address after: Room 00036, 1st Floor, Building F5, Phase II, Innovation Industrial Park, No. 2800, Innovation Avenue, High tech Zone, Hefei, Anhui, 230088 Patentee after: Hefei Huixi Intelligent Technology Co.,Ltd. Address before: No. 803, Unit 2, Building 3, Nanlihan Lanting, Jingshu District, Beijing 100083 Patentee before: Xu Ningyi Patentee before: He Guanghui |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231206 Address after: Room 202, No. 6, Lane 388, Urban Road, Minhang District, Shanghai, 201109 Patentee after: He Guanghui Patentee after: Xu Ningyi Address before: Room 00036, 1st Floor, Building F5, Phase II, Innovation Industrial Park, No. 2800, Innovation Avenue, High tech Zone, Hefei, Anhui, 230088 Patentee before: Hefei Huixi Intelligent Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |