CN110956157A - 基于候选框选择的深度学习遥感影像目标检测方法及装置 - Google Patents
基于候选框选择的深度学习遥感影像目标检测方法及装置 Download PDFInfo
- Publication number
- CN110956157A CN110956157A CN201911286987.7A CN201911286987A CN110956157A CN 110956157 A CN110956157 A CN 110956157A CN 201911286987 A CN201911286987 A CN 201911286987A CN 110956157 A CN110956157 A CN 110956157A
- Authority
- CN
- China
- Prior art keywords
- candidate
- frame
- remote sensing
- sensing image
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000011176 pooling Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Astronomy & Astrophysics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及遥感影像领域，具体涉及一种基于候选框选择的深度学习遥感影像目标检测方法及装置。该方法及装置将遥感影像输入到深度神经网络中进行特征提取，获得特征图，利用特征图生成候选框，按照置信度排序的方式，选择出置信度最高的多个候选框，同时从被丢弃的候选框中随机选择部分候选框，共同组成最终的候选框，一同送入到深度神经网络下一层，对最终的候选框进行分类和边框回归。该方法及装置利用随机选择策略对候选框的选择进行增强，以降低小目标的信息丢失，从而增强网络对于小目标的学习，提升了整体的检测结果。
Description
技术领域
本发明涉及遥感影像领域，具体而言，涉及一种基于候选框选择的深度学习遥感影像目标检测方法及装置。
背景技术
随着机器学习技术的不断发展，遥感影像的目标检测方法越来越多。由于影像中大量小目标的存在，从影像中检测小目标是很困难的，存在大量漏检，从而影响到了整体的检测效果，因此在遥感影像中小目标检测是目前研究的重点区域。
为了能够有效的在遥感影像中检测出目标，常用的检测方法有：1)Harr分类器；2)梯度直方图(HoG)+SVM分类器；3)Discriminatively trained deformable part models(DPM)。4)基于深度神经网络的方法。Haar分类器实际上是Boosting算法的一个应用，Haar分类器用到了Boosting算法中的AdaBoost算法，只是把AdaBoost算法训练出的强分类器进行了级联，并且在底层的特征提取中采用了高效率的矩形特征和积分图方法，但是由于原始的Haar特征太简单，无法有效检测出需求的目标。梯度直方图特征(HOG)是一种对图像局部重叠区域的密集型描述符,它通过计算局部区域的梯度方向直方图来构成特征，使用梯度直方图特征结合SVM分类器对目标进行检测，但是梯度直方图的方法存在描述子生成过程冗长，导致速度慢、实时性差、很难处理遮挡等技术问题，并且存在对噪点相当敏感等缺点。DPM方法可以看作是梯度直方图和SVM分类器的升级版，但是DPM相对复杂，检测速度也比较慢，同时对于场景较为复杂的情况还是无法解决。深度神经网络的方法主要有FasterRCNN。深度神经网络可以很好的对于复杂的场景实现检测，精度和召回率都可以得到很好的保证，对于特征的提取由深度神经网络自动完成，也提高了目标检测的迁移性，但是目前的深度神经网络对于小目标检测效果较差，小目标由于自身信息少，不易识别，在与其他目标之间的竞争中处于劣势，在网络中容易被丢弃造成小目标信息丢失。
发明内容
本发明实施例提供了一种基于候选框选择的深度学习遥感影像目标检测方法及装置，以至少解决现有检测方法易造成小目标信息丢失的技术问题。
根据本发明的一实施例，提供了一种基于候选框选择的深度学习遥感影像目标检测方法，包括以下步骤：
S100:将遥感影像输入到深度神经网络中进行特征提取，获得特征图；
S200:利用特征图生成候选框；
S300:按照置信度排序的方式，选择出置信度最高的多个候选框，同时从被丢弃的候选框中随机选择部分候选框，共同组成最终的候选框，一同送入到深度神经网络下一层；
S400:对最终的候选框进行分类和边框回归。
进一步地，深度神经网络包括：13个卷积层、3个全连接层、5个池化层；或包括：16个卷积层、3个全连接层、5个池化层；5个池化层将深度神经网络划分为了5层不同大小的特征图。
进一步地，步骤S200包括：
通过滑窗的方式依次遍历特征图，将特征图上每一个点利用不同的卷积核映射到大小比例不同的K个候选区域上来获取K个候选框，K为大于1的整数。
进一步地，K个候选区域为依次取像素尺寸大小为2、4、8、16、32、64，宽高比例大小为0.25、0.4、0.5、0.67、1、1.5、2、2.5、4的候选区域。
进一步地，步骤S300包括：
按照置信度对多个候选框进行排序，选择出置信度最高的K个候选框，作为最终的候选框送入到深度神经网络下一层,并加入随机选择增强的一个分支，K为大于1的整数。
进一步地，加入随机选择增强的一个分支包括：
在每轮迭代选择候选框的过程中，从被丢弃的候选框中随机选取一部分，将它们与按照置信度选出的K个候选框一同送入到深度神经网络下一层进行训练。
进一步地，对最终的候选框进行分类包括：
分类利用softmax函数将候选框对应的特征映射到(0，1)区间，对应n个类别上去，n为大于1的整数，概率最高的类别为预测的类别；
其中Si表示对于类别的概率，ei表示对类别的预测分数，∑jej表示所有类别分数和。
根据本发明的另一实施例，提供了一种基于候选框选择的深度学习遥感影像目标检测装置，包括：
特征获取单元，用于将遥感影像输入到深度神经网络中进行特征提取，获得特征图；
候选框获取单元，用于利用特征图生成候选框；
候选框排序单元，用于按照置信度排序的方式，选择出置信度最高的多个候选框，同时从被丢弃的候选框中随机选择部分候选框，共同组成最终的候选框，一同送入到深度神经网络下一层；
分类和边框回归单元，用于对最终的候选框进行分类和边框回归。
一种存储介质，存储介质存储有能够实现如上任意一项基于候选框选择的深度学习遥感影像目标检测方法的程序文件。
一种处理器，处理器用于运行程序，其中，程序运行时执行如上任意一项的基于候选框选择的深度学习遥感影像目标检测方法。
本发明实施例中的基于候选框选择的深度学习遥感影像目标检测方法及装置，将遥感影像输入到深度神经网络中进行特征提取，获得特征图，对特征图进行筛选，获取多个候选框，利用特征图生成候选框，按照置信度排序的方式，选择出置信度最高的多个候选框，同时从被丢弃的候选框中随机选择部分候选框，共同组成最终的候选框，一同送入到深度神经网络下一层，对最终的候选框进行分类和边框回归。该方法及装置利用随机选择策略对候选框的选择进行增强，以降低小目标的信息丢失，从而增强网络对于小目标的学习，提升了整体的检测结果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明基于候选框选择的深度学习遥感影像目标检测方法的流程图；
图2为本发明中VGG网络结构图；
图3为本发明中锚点设计示意图；
图4为本发明中随机选择示意图；
图5为本发明基于候选框选择的深度学习遥感影像目标检测装置的模块图；
图6(a)为Faster RCNN的检测效果图；
图6(b)为本发明的检测效果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在遥感影像中，受图像分辨率的影响，其中有着大量的小目标存在，这些小目标由于自身图像分辨率低，不易识别，在训练中与其他目标之间的竞争中处于劣势，容易在网络训练中被丢弃造成小目标信息丢失。本发明即解决遥感影像中小目标信息丢失的问题，本发明利用随机选择策略对候选框的选择进行增强，以降低小目标的信息丢失，从而增强网络对于小目标的学习，提升了整体的检测结果。
实施例1
根据本发明一实施例，提供了一种基于候选框选择的深度学习遥感影像目标检测方法，参见图1，包括以下步骤：
S100:将遥感影像输入到深度神经网络中进行特征提取，获得特征图；
S200:利用特征图生成候选框；
S300:按照置信度排序的方式，选择出置信度最高的多个候选框，同时从被丢弃的候选框中随机选择部分候选框，共同组成最终的候选框，一同送入到深度神经网络下一层；
S400:对最终的候选框进行分类和边框回归。
本发明实施例中的基于候选框选择的深度学习遥感影像目标检测方法，将遥感影像输入到深度神经网络中进行特征提取，获得特征图，利用特征图生成候选框，按照置信度排序的方式，选择出置信度最高的多个候选框，同时从被丢弃的候选框中随机选择部分候选框，共同组成最终的候选框，一同送入到深度神经网络下一层，对最终的候选框进行分类和边框回归。该方法利用随机选择策略对候选框的选择进行增强，以降低小目标的信息丢失，从而增强网络对于小目标的学习，提升了整体的检测结果。
下面以具体的实施例，对本发明基于候选框选择的深度学习遥感影像目标检测方法进行详细说明。
1.特征提取
使用了深度神经网络对特征进行提取。将一副原始的遥感影像输入到深度神经网络中，经过深度神经网络的自动提取，得到特征图。
参见图2，所使用的深度神经网络包括VGG-16，其中包含13个卷积层(conv)和3个全连接层(FC)。VGG-19包含16个卷积层(conv)和3个全连接层(FC)。此外VGG网络还有5个池化层(pool)，5个池化层将整个VGG网络划分为了5层不同大小的特征图，一般本发明取最顶层的特征。
2.重构锚点
利用第一步深度神经网络提取出来的特征进行候选框的一个筛选，在所有预设的候选框(被称作锚点)之间竞争选出优胜者，在这里本发明重构了锚点的设计，参见图3。通过滑窗的方式依次遍历特征图，将特征图上每一个点利用不同的卷积核映射到大小比例不同的K个候选区域上。即特征提取出来之后，在特征图上通过滑窗的方式依次遍历每一个点，将其中每一个点都通过不同的卷积核映射到原图的K个区域，这K个区域依次取像素尺寸大小为(2，4，8，16，32，64)、宽高比例大小为(0.25，0.4，0.5，0.67，1，1.5，2，2.5，4)的候选区域，这样得到一共6*9＝54个区域。这里本发明设计了更加丰富的锚点，适应小目标的检测需求，降低了小目标的信息丢失。
3.随机选择
对第二步预设的候选框按照置信度进行排序，选择出置信度最高的K个预设候选框，作为最终的候选框送入到深度神经网络下一层进行进一步的分类和边框回归。在这里加入了随机选择增强的一个分支。在每轮迭代选择候选框的过程中，从那些被丢弃的候选框中随机选取一部分，将它们与按照置信度选出的K个候选框一同送入到深度神经网络下一层进行训练。这样增强了小目标得到训练的机会，减小了小目标的信息丢失。参见图4，直箭头表示按照置信度排序选取出的K个候选框，弯曲箭头表示从余下的候选框中随机选取部分候选框，一同加入到下一层的网络训练中，以增强深度神经网络对于目标的学习。
4.候选框进一步分类和边框回归
将深度神经网络最终选取出来的候选框进行进一步的分类和边框回归。分类利用softmax函数将候选框对应的特征映射到(0，1)区间，对应n个类别上去，概率最高的类别即是预测的类别。
其中Si表示对于类别的概率，ei表示对类别的预测分数，∑jej表示所有类别分数和。
边框回归是为了修正预测的边框，以更加精确的定位。边框回归的函数如下：
Gx＝Pxdx(P)+Px， (2)
Gy＝Phdy(P)+Py， (3)
Gw＝Pwexp(dw(P))， (4)
Gh＝Phexp(dh(P))， (5)
其中，公式(1)(2)表示平移变换，公式(3)(4)表示缩放变换。经过边框回归就可以得到一个和真实框十分接近的边界框。
实施例2
根据本发明的另一实施例，提供了一种基于候选框选择的深度学习遥感影像目标检测装置，参见图5，包括：
特征获取单元201，用于将遥感影像输入到深度神经网络中进行特征提取，获得特征图；
候选框获取单元202，用于利用特征图生成候选框；
候选框排序单元203，用于按照置信度排序的方式，选择出置信度最高的多个候选框，同时从被丢弃的候选框中随机选择部分候选框，共同组成最终的候选框，一同送入到深度神经网络下一层；
分类和边框回归单元204，用于对最终的候选框进行分类和边框回归。
本发明实施例中的基于候选框选择的深度学习遥感影像目标检测装置，将遥感影像输入到深度神经网络中进行特征提取，获得特征图，利用特征图生成候选框，按照置信度排序的方式，选择出置信度最高的多个候选框，同时从被丢弃的候选框中随机选择部分候选框，共同组成最终的候选框，一同送入到深度神经网络下一层，对最终的候选框进行分类和边框回归。该装置利用随机选择策略对候选框的选择进行增强，以降低小目标的信息丢失，从而增强网络对于小目标的学习，提升了整体的检测结果。
下面以具体的实施例，对本发明基于候选框选择的深度学习遥感影像目标检测装置进行详细说明。
1.特征获取单元201：特征提取
使用了深度神经网络对特征进行提取。将一副原始的遥感影像输入到深度神经网络中，经过深度神经网络的自动提取，得到特征图。
参见图2，所使用的深度神经网络包括VGG-16，其中包含13个卷积层(conv)和3个全连接层(FC)。VGG-19包含16个卷积层(conv)和3个全连接层(FC)。此外VGG网络还有5个池化层(pool)，5个池化层将整个VGG网络划分为了5层不同大小的特征图，一般本发明取最顶层的特征。
2.候选框获取单元202：重构锚点
利用第一步深度神经网络提取出来的特征进行候选框的一个筛选，在所有预设的候选框(被称作锚点)之间竞争选出优胜者，在这里本发明重构了锚点的设计，参见图3。通过滑窗的方式依次遍历特征图，将特征图上每一个点利用不同的卷积核映射到大小比例不同的K个候选区域上。即特征提取出来之后，在特征图上通过滑窗的方式依次遍历每一个点，将其中每一个点都通过不同的卷积核映射到原图的K个区域，这K个区域依次取像素尺寸大小为(2，4，8，16，32，64)、宽高比例大小为(0.25，0.4，0.5，0.67，1，1.5，2，2.5，4)的候选区域，这样得到一共6*9＝54个区域。这里本发明设计了更加丰富的锚点，适应小目标的检测需求，降低了小目标的信息丢失。
3.候选框排序单元203：随机选择
对第二步预设的候选框按照置信度进行排序，选择出置信度最高的K个预设候选框，作为最终的候选框送入到深度神经网络下一层进行进一步的分类和边框回归。在这里加入了随机选择增强的一个分支。在每轮迭代选择候选框的过程中，从那些被丢弃的候选框中随机选取一部分，将它们与按照置信度选出的K个候选框一同送入到深度神经网络下一层进行训练。这样增强了小目标得到训练的机会，减小了小目标的信息丢失。参见图4，直箭头表示按照置信度排序选取出的K个候选框，弯曲箭头表示从余下的候选框中随机选取部分候选框，一同加入到下一层的网络训练中，以增强深度神经网络对于目标的学习。
4.分类和边框回归单元204：候选框进一步分类和边框回归
将深度神经网络最终选取出来的候选框进行进一步的分类和边框回归。分类利用softmax函数将候选框对应的特征映射到(0，1)区间，对应n个类别上去，概率最高的类别即是预测的类别。
其中Si表示对于类别的概率，ei表示对类别的预测分数，∑jej表示所有类别分数和。
边框回归是为了修正预测的边框，以更加精确的定位。边框回归的函数如下：
Gx＝Pxdx(P)+Px， (2)
Gy＝Phdy(P)+Py， (3)
Gw＝Pwexp(dw(P))， (4)
Gh＝Phexp(dh(P))， (5)
其中，公式(1)(2)表示平移变换，公式(3)(4)表示缩放变换。经过边框回归就可以得到一个和真实框十分接近的边界框。
实施例3
一种存储介质，存储介质存储有能够实现如上任意一项基于候选框选择的深度学习遥感影像目标检测方法的程序文件。
实施例4
一种处理器，处理器用于运行程序，其中，程序运行时执行如上任意一项的基于候选框选择的深度学习遥感影像目标检测方法。
本发明的创新技术点至少在于：
步骤二中的重构锚点；
步骤三中的随机选择。
与现有方法相比，本发明的优点是能够更有效检测小目标，对小目标的召回率有了很大提升。
利用多幅包含小目标的遥感影像测试本发明的有效性，同时与Faster RCNN的检测效果进行了比较。图6(a)为Faster RCNN的检测效果，图6(b)为本发明的检测效果。从两图中可以看出，本发明能够有效地对小目标进行检测，对小目标的召回率得到了显著的提高，小目标遗漏的情况减轻了很多。
为客观评价算法检测的结果，采用平均精度指标来评估检测的质量，即：
Accuracy表示精确度，所有类别的精确度平均值就是平均精度。TruePositivesAccuracy表示精确度，所有类别的精确度平均值就是平均精度。TruePositives表示正确正预测，TrueNegatives表示正确负预测，FalseNegatives表示错误负预测，FalsePositives表示错误正预测。质量评价结果如下表1所示：
表1目标检测平均精度
从评价结果可以看出，使用了重构锚点设计和随机选择增强的模型整体的平均精度比Faster R-CNN的效果要好很多。本发明在实验测试中比Faster R-CNN的平均精度高出了12％多，结果表明本发明能够对检测效果带来提升，尤其是在小目标上有很好的效果。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于候选框选择的深度学习遥感影像目标检测方法，其特征在于，包括以下步骤：
S100:将遥感影像输入到深度神经网络中进行特征提取，获得特征图；
S200:利用特征图生成候选框；
S300:按照置信度排序的方式，选择出置信度最高的多个候选框，同时从被丢弃的候选框中随机选择部分候选框，共同组成最终的候选框，一同送入到深度神经网络下一层；
S400:对最终的候选框进行分类和边框回归。
2.根据权利要求1所述的基于候选框选择的深度学习遥感影像目标检测方法，其特征在于，所述深度神经网络包括：13个卷积层、3个全连接层、5个池化层；或包括：16个卷积层、3个全连接层、5个池化层；5个池化层将所述深度神经网络划分为了5层不同大小的特征图。
3.根据权利要求1所述的基于候选框选择的深度学习遥感影像目标检测方法，其特征在于，步骤S200包括：
通过滑窗的方式依次遍历特征图，将特征图上每一个点利用不同的卷积核映射到大小比例不同的K个候选区域上来获取K个候选框，K为大于1的整数。
4.根据权利要求3所述的基于候选框选择的深度学习遥感影像目标检测方法，其特征在于，K个候选区域为依次取像素尺寸大小为2、4、8、16、32、64，宽高比例大小为0.25、0.4、0.5、0.67、1、1.5、2、2.5、4的候选区域。
5.根据权利要求1所述的基于候选框选择的深度学习遥感影像目标检测方法，其特征在于，步骤S300包括：
按照置信度对多个候选框进行排序，选择出置信度最高的K个候选框，作为最终的候选框送入到深度神经网络下一层,并加入随机选择增强的一个分支，K为大于1的整数。
6.根据权利要求5所述的基于候选框选择的深度学习遥感影像目标检测方法，其特征在于，所述加入随机选择增强的一个分支包括：
在每轮迭代选择候选框的过程中，从被丢弃的候选框中随机选取一部分，将它们与按照置信度选出的K个候选框一同送入到深度神经网络下一层进行训练。
7.根据权利要求1所述的基于候选框选择的深度学习遥感影像目标检测方法，其特征在于，所述对最终的候选框进行分类包括：
分类利用softmax函数将候选框对应的特征映射到(0，1)区间，对应n个类别上去，n为大于1的整数，概率最高的类别为预测的类别；
其中Si表示对于类别的概率，ei表示对类别的预测分数，∑jej表示所有类别分数和。
8.一种基于候选框选择的深度学习遥感影像目标检测装置，其特征在于，包括：
特征获取单元，用于将遥感影像输入到深度神经网络中进行特征提取，获得特征图；
候选框获取单元，用于利用特征图生成候选框；
候选框排序单元，用于按照置信度排序的方式，选择出置信度最高的多个候选框，同时从被丢弃的候选框中随机选择部分候选框，共同组成最终的候选框，一同送入到深度神经网络下一层；
分类和边框回归单元，用于对最终的候选框进行分类和边框回归。
9.一种存储介质，其特征在于，所述存储介质存储有能够实现权利要求1至7中任意一项所述基于候选框选择的深度学习遥感影像目标检测方法的程序文件。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的基于候选框选择的深度学习遥感影像目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911286987.7A CN110956157A (zh) | 2019-12-14 | 2019-12-14 | 基于候选框选择的深度学习遥感影像目标检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911286987.7A CN110956157A (zh) | 2019-12-14 | 2019-12-14 | 基于候选框选择的深度学习遥感影像目标检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110956157A true CN110956157A (zh) | 2020-04-03 |
Family
ID=69981602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911286987.7A Pending CN110956157A (zh) | 2019-12-14 | 2019-12-14 | 基于候选框选择的深度学习遥感影像目标检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110956157A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553212A (zh) * | 2020-04-16 | 2020-08-18 | 中国科学院深圳先进技术研究院 | 一种基于平滑边框回归函数的遥感图像目标检测方法 |
| CN112150509A (zh) * | 2020-09-29 | 2020-12-29 | 中国人民解放军63875部队 | 基于多层深度特征的分块跟踪算法 |
| CN117173568A (zh) * | 2023-09-05 | 2023-12-05 | 北京观微科技有限公司 | 目标检测模型训练方法和目标检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416287A (zh) * | 2018-03-04 | 2018-08-17 | 南京理工大学 | 一种基于遗漏负样本挖掘的行人检测方法 |
| CN108629354A (zh) * | 2017-03-17 | 2018-10-09 | 杭州海康威视数字技术股份有限公司 | 目标检测方法及装置 |
| WO2019033747A1 (zh) * | 2017-08-18 | 2019-02-21 | 深圳市道通智能航空技术有限公司 | 无人机智能跟随目标确定方法、无人机和遥控器 |
| CN109800755A (zh) * | 2018-12-14 | 2019-05-24 | 中国科学院深圳先进技术研究院 | 一种基于多尺度特征的遥感影像小目标检测方法 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
-
2019
- 2019-12-14 CN CN201911286987.7A patent/CN110956157A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629354A (zh) * | 2017-03-17 | 2018-10-09 | 杭州海康威视数字技术股份有限公司 | 目标检测方法及装置 |
| WO2019033747A1 (zh) * | 2017-08-18 | 2019-02-21 | 深圳市道通智能航空技术有限公司 | 无人机智能跟随目标确定方法、无人机和遥控器 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN108416287A (zh) * | 2018-03-04 | 2018-08-17 | 南京理工大学 | 一种基于遗漏负样本挖掘的行人检测方法 |
| CN109800755A (zh) * | 2018-12-14 | 2019-05-24 | 中国科学院深圳先进技术研究院 | 一种基于多尺度特征的遥感影像小目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 卢誉声: "《移动平台深度神经网络实战》", 机械工业出版社, pages: 60 - 61 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553212A (zh) * | 2020-04-16 | 2020-08-18 | 中国科学院深圳先进技术研究院 | 一种基于平滑边框回归函数的遥感图像目标检测方法 |
| WO2021208502A1 (zh) * | 2020-04-16 | 2021-10-21 | 中国科学院深圳先进技术研究院 | 一种基于平滑边框回归函数的遥感图像目标检测方法 |
| CN112150509A (zh) * | 2020-09-29 | 2020-12-29 | 中国人民解放军63875部队 | 基于多层深度特征的分块跟踪算法 |
| CN112150509B (zh) * | 2020-09-29 | 2024-05-03 | 中国人民解放军63875部队 | 基于多层深度特征的分块跟踪方法 |
| CN117173568A (zh) * | 2023-09-05 | 2023-12-05 | 北京观微科技有限公司 | 目标检测模型训练方法和目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11901077B2 (en) | Multiple instance learner for prognostic tissue pattern identification | |
| Mou et al. | Vehicle instance segmentation from aerial image and video using a multitask learning residual fully convolutional network | |
| Aguilar et al. | Grab, pay, and eat: Semantic food detection for smart restaurants | |
| Xu et al. | Gland instance segmentation using deep multichannel neural networks | |
| CN107808143B (zh) | 基于计算机视觉的动态手势识别方法 | |
| CN111161311A (zh) | 一种基于深度学习的视觉多目标跟踪方法及装置 | |
| CN105144239B (zh) | 图像处理装置、图像处理方法 | |
| CN109376603A (zh) | 一种视频识别方法、装置、计算机设备及存储介质 | |
| CN109829467A (zh) | 图像标注方法、电子装置及非暂态电脑可读取储存媒体 | |
| US11640714B2 (en) | Video panoptic segmentation | |
| CN111061898A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN110765833A (zh) | 一种基于深度学习的人群密度估计方法 | |
| CN110956157A (zh) | 基于候选框选择的深度学习遥感影像目标检测方法及装置 | |
| CN108229674A (zh) | 聚类用神经网络的训练方法和装置、聚类方法和装置 | |
| CN107492084B (zh) | 基于随机性的典型成团细胞核图像合成方法 | |
| CN107622280B (zh) | 基于场景分类的模块化处方式图像显著性检测方法 | |
| CN110796659B (zh) | 一种目标检测结果的鉴别方法、装置、设备及存储介质 | |
| CN112784742B (zh) | 鼻纹特征的提取方法、装置及非易失性存储介质 | |
| Rossi et al. | FishAPP: A mobile App to detect fish falsification through image processing and machine learning techniques | |
| Naqvi et al. | Feature quality-based dynamic feature selection for improving salient object detection | |
| CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
| CN112926652A (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
| Tai et al. | A dish recognition framework using transfer learning | |
| CN112991280B (zh) | 视觉检测方法、系统及电子设备 | |
| Matzen et al. | Bubblenet: Foveated imaging for visual discovery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200403 |