CN111723660A - 一种用于长形地面目标检测网络的检测方法 - Google Patents
一种用于长形地面目标检测网络的检测方法 Download PDFInfo
- Publication number
- CN111723660A CN111723660A CN202010417332.5A CN202010417332A CN111723660A CN 111723660 A CN111723660 A CN 111723660A CN 202010417332 A CN202010417332 A CN 202010417332A CN 111723660 A CN111723660 A CN 111723660A
- Authority
- CN
- China
- Prior art keywords
- network
- feature extraction
- target
- detection method
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 230000000694 effects Effects 0.000 claims abstract description 20
- 238000011176 pooling Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000005728 strengthening Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 238000011161 development Methods 0.000 abstract description 4
- 230000008092 positive effect Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于长形地面目标检测网络的检测方法，在卷积层与池化层之间加入了注意力模块，由通道注意力模块和空间注意力模块构成，使得网络提取到的特征更符合目标图像的真实特征，对后续步骤的处理起到更积极的作用，相比于原始的网络，在模型运行时间差别不大的情况下，能够得出更加准确的检测效果。本发明设计科学合理，实现高效率、高精度的目标检测，利用此网络可以帮助在遥感图像上快速找到城镇、机场、道路以及桥梁等重要信息，从而为沙漠化面积监测、河流流量监测、评估城市的发展水平等方面的工作提供便利。
Description
技术领域
本发明属于计算机视觉中的目标检测领域，涉及深度学习技术，特别涉及一种用于长形地面目标检测网络的检测方法。
背景技术
目标检测是机器视觉和图像处理领域的重要研究方向，并且在机械控制、人机交互等方面有广泛的应用。而随着空间技术的发展和成像设备的不断进步，高清卫星成为了分析土地使用情况、地面目标检测等任务的利器，计算机处理技术也已经越来越多地应用于遥感图像处理之中。在光学图像转换为数字图像之后，或通过遥感传感器直接获得数字遥感图像之后，就可以利用计算机对遥感图像数据进行处理，这种处理技术称为遥感图像数字处理方法，遥感图像目标检测与识别是卫星遥感图像处理领域中最基础的任务。
近年来，深度学习不仅在机器视觉领域取得了优秀的成绩，基于深度学习的目标探测与识别算法也因此成为人工智能领域备受瞩目的研究内容之一，具有共享权值、位移旋转不变性的卷积神经网络(Convolutional Neural Networks，CNN)包含了高层语义特征，在图像分类及目标检测项目中均取得很好的效果，对于提高遥感图像目标检测的准确率与对象识别正确率有很大的帮助。
Faster R-CNN首先将原始图像输入到卷积神经网络，提取出特征图，卷积网络的输出特征图被当作候选区域网络(Region Proposal Networks，RPN)的输入项，选取出符合目标特征信息的候选边框，最后对提取出的特征进行判别分类，使用回归器得到更精准位置。
本专利申请基于Faster R-CNN进行改进，提出一种用于长形地面目标检测网络的检测方法。
发明内容
本发明的目的在于克服现有技术的不足，提供一种用于长形地面目标检测网络的检测方法，实现高效率、高精度的目标检测，利用此网络可以帮助在遥感图像上快速找到城镇、机场、道路以及桥梁等重要信息，从而为沙漠化面积监测、河流流量监测、评估城市的发展水平等方面的工作提供便利。
本发明解决其技术问题是通过以下技术方案实现的：
一种用于长形地面目标检测网络的检测方法，其特征在于：所述方法的步骤为：
S1、将目标图像输入到预训练的网络中进行特征提取，并将提取到的特征信息利用注意力模块进行强化，得到特征提取图；
S2、将步骤S1中的特征提取图经过RPN网络生成候选框，找出若干感兴趣区域，用于后续的分类与定位；
S3、将步骤S1、S2中的若干感兴趣区域及特征提取图输入到分类层中，对若干感兴趣区域池化并进行全连接操作，利用分类器进行具体类别的分类，同时进行微调获得目标的精准位置；
S4、通过实验评估和验证对长形地面目标检测网络进行效果验证。
而且，所述步骤S1中对目标图像进行特征提取的具体步骤为：将输入的目标图像矩阵依次经过卷积模块、注意力模块及及池化模块进行特征提取操作，进行若干次顺序操作，得到最终的特征提取图。
而且，所述步骤S2中对RPN网络生成候选框的具体步骤为：
a、RPN网络接收步骤S1生成的特征提取图，利用锚点机制生成锚点，该锚点包含绝大多数的真实坐标边界框；
b、RPN网络通过所得到的锚点为目标图像选择输出良好的候选框；
c、利用非极大值抑制，输出概率最大且符合要求的300个感兴趣区域。
而且，所述步骤S3中目标分类及边框回归的具体步骤为：将候选区域划分到目标类别中，并添加背景，删除不良的候选框提议；并根据预测的类别校正得到精准的边框坐标位置。
而且，所述步骤S4中对长形地面目标检测网络进行评估及验证的具体步骤为：对实验的平均精度和平均精度均值进行计算从而实现对模型效果的评估，并与Faster R-CNN网络进行比较，对算法的效果进行评估及验证。
本发明的优点和有益效果为：
1、本发明一种用于长形地面目标检测网络的检测方法，在卷积层与池化层之间加入了注意力模块，由通道注意力模块和空间注意力模块构成，使得网络提取到的特征更符合目标图像的真实特征，对后续步骤的处理起到更积极的作用，相比于原始的网络，在模型运行时间差别不大的情况下，能够得出更加准确的检测效果。
2、本发明一种用于长形地面目标检测网络的检测方法，用AP值来评价检测效果的好坏，改善网络结构后，相较于原始的Faster R-CNN网络，最终测试图像集中计算出的各类别AP值均得到了提升，所有类别的mAP约为0.8014，得到的训练模型进行目标检测时识别的边框的置信率平均为0.995，相对于原始网络，能够产生更加准确的分类效果，对于规划等工作能够产生更大的实际价值。
3、本发明一种用于长形地面目标检测网络的检测方法，实现高效率、高精度的目标检测，利用此网络可以帮助在遥感图像上快速找到城镇、机场、道路以及桥梁等重要信息，从而为沙漠化面积监测、河流流量监测、评估城市的发展水平等方面的工作提供便利。
附图说明
图1为原始的Faster R-CNN网络结构图；
图2为本发明的特征提取网络结构图；
图3为本发明目标检测类别AP折线图。
具体实施方式
下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
一种用于长形地面目标检测网络的检测方法，其特征在于：所述方法的步骤为：
步骤S1：将输入的图片矩阵依次经过两次64个卷积核的卷积模块、注意力模块及池化模块；两次128个卷积核的卷积模块、，注意力模块及池化模块；三次256个卷积核的卷积模块、注意力模块及池化模块；三次512个卷积核的卷积模块、注意力模块及池化模块；三次全连接层，进行特征提取操作，得到特征提取图；
步骤S21：接收特征提取图，利用Anchor机制在特征提取图上创建20000多个锚点；
步骤S22：将特征图经过一个3×3的卷积核，接着分别使用1×1的卷积核输出用于分类和目标位置回归的锚点，分类判断是否为正样本，从20000多个候选的锚点中挑选256个符合要求的锚点，并利用它们完成目标的分类及回归；
步骤S23：将上述选出的锚点利用非极大值抑制(Non-maximum Suppression,NMS)，输出概率最大且符合要求的300个ROIs；
步骤S3：利用特征提取层产生的特征图(62×37，512个通道)以及RPN层输出的候选区域(300个ROIs)，在这300个候选框上进行目标分类和边框回归的工作；
a、通过候选区域池化操作得到通道数是512，尺寸为7×7的特征图；
b、介入全连接层进行分类，预测候选区域属于哪个类别(类别编号+背景)，使用交叉熵计算损失。
c、为了得到准确的预测，在返回最终结果之前需要进一步处理，这与RPN的最后阶段处理是相似的，在实施边框调整之前，首先要根据候选框的置信率，判断哪个类别具有对该边框的最高概率，同时也要忽略具有最高概率的边框，最终得出适合的候选区域目标之后，将NMS应用于基于类的独立分组；
步骤S4：通过计算AP值以及mAP值，以及与原始Faster R-CNN的AP值比较，可对本发明在遥感图像上目标检测的实际效果进行评价和验证。
图1为原始的Faster R-CNN网络结构图，主要分为三部分：以VGG16为基础的特征提取层、用于生成候选区域的RPN层及用于目标分类的ROIHead层。
图2为本发明的特征提取网络结构图，用于替换图1的VGG16网络，原始网络的特征提取结构为卷积层加池化层，本发明在卷积层与池化层之间加入了注意力模块，其由通道注意力模块和空间注意力模块构成，具体操作如下：
将卷积层得到的特征图做空间上的全局平均池化和全局最大池化，提取到丰富的高层次特征，之后输入到多层感知器，将两个输出进行对位相加，并使用sigmoid函数激活，与输入特征图做对位相乘之后，形成空间注意力模块的输入；通道注意力模块输出的特征图再次做全局平均池化和全局最大池化，将得到的两个池化图按照通道连接起来，并通过7×7的卷积核，降为1个通道，再次使用sigmoid函数激活，最终与上一个模块(通道注意力模块)的输出相乘，得到效果明显增强的特征提取图，便于后续RPN网络中候选框的输出。
本发明的网络对遥感卫星图像进行目标检测，对Faster R-CNN进行了改进，在进行特征提取时加入了注意力机制，在特征提取时重点关注那些与图片特征相关的信息，忽略与图片特征相关性低的特征，解决了以往特征提取特征不明显，特征相关性低等缺陷，使得对遥感图像的特征提取更具说服力，提取效果更加突出。特征提取效果的提升，对分类问题效果的提升有着非常明显的促进作用。在不牺牲速度的前提下，本发明取得了比FasterR-CNN更高的检测平均精度，在实际使用中得到了更好的检测效果，对于解决遥感图像的目标检测问题有着重大的现实意义与使用价值。
尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。
Claims (5)
1.一种用于长形地面目标检测网络的检测方法，其特征在于：所述方法的步骤为：
S1、将目标图像输入到预训练的网络中进行特征提取，并将提取到的特征信息利用注意力模块进行强化，得到特征提取图；
S2、将步骤S1中的特征提取图经过RPN网络生成候选框，找出若干感兴趣区域，用于后续的分类与定位；
S3、将步骤S1、S2中的若干感兴趣区域及特征提取图输入到分类层中，对若干感兴趣区域池化并进行全连接操作，利用分类器进行具体类别的分类，同时进行微调获得目标的精准位置；
S4、通过实验评估和验证对长形地面目标检测网络进行效果验证。
2.根据权利要求1所述的用于长形地面目标检测网络的检测方法，其特征在于：所述步骤S1中对目标图像进行特征提取的具体步骤为：将输入的目标图像矩阵依次经过卷积模块、注意力模块及及池化模块进行特征提取操作，进行若干次顺序操作，得到最终的特征提取图。
3.根据权利要求1所述的用于长形地面目标检测网络的检测方法，其特征在于：所述步骤S2中对RPN网络生成候选框的具体步骤为：
a、RPN网络接收步骤S1生成的特征提取图，利用锚点机制生成锚点，该锚点包含绝大多数的真实坐标边界框；
b、RPN网络通过所得到的锚点为目标图像选择输出良好的候选框；
c、利用非极大值抑制，输出概率最大且符合要求的300个感兴趣区域。
4.根据权利要求1所述的用于长形地面目标检测网络的检测方法，其特征在于：所述步骤S3中目标分类及边框回归的具体步骤为：将候选区域划分到目标类别中，并添加背景，删除不良的候选框提议；并根据预测的类别校正得到精准的边框坐标位置。
5.根据权利要求1所述的用于长形地面目标检测网络的检测方法，其特征在于：所述步骤S4中对长形地面目标检测网络进行评估及验证的具体步骤为：对实验的平均精度和平均精度均值进行计算从而实现对模型效果的评估，并与Faster R-CNN网络进行比较，对算法的效果进行评估及验证。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010417332.5A CN111723660A (zh) | 2020-05-18 | 2020-05-18 | 一种用于长形地面目标检测网络的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010417332.5A CN111723660A (zh) | 2020-05-18 | 2020-05-18 | 一种用于长形地面目标检测网络的检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111723660A true CN111723660A (zh) | 2020-09-29 |
Family
ID=72564527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010417332.5A Pending CN111723660A (zh) | 2020-05-18 | 2020-05-18 | 一种用于长形地面目标检测网络的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723660A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699855A (zh) * | 2021-03-23 | 2021-04-23 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像场景识别方法、装置及电子设备 |
| CN112766181A (zh) * | 2021-01-22 | 2021-05-07 | 电子科技大学 | 一种提高线图识别准确率的方法 |
| CN112785561A (zh) * | 2021-01-07 | 2021-05-11 | 天津狮拓信息技术有限公司 | 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法 |
| CN113255605A (zh) * | 2021-06-29 | 2021-08-13 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种路面病害检测方法、装置、终端设备及存储介质 |
| CN113989632A (zh) * | 2021-09-13 | 2022-01-28 | 西安电子科技大学 | 一种遥感图像桥梁检测方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829893A (zh) * | 2019-01-03 | 2019-05-31 | 武汉精测电子集团股份有限公司 | 一种基于注意力机制的缺陷目标检测方法 |
| CN109886269A (zh) * | 2019-02-27 | 2019-06-14 | 南京中设航空科技发展有限公司 | 一种基于注意力机制的交通广告牌识别方法 |
| CN110084210A (zh) * | 2019-04-30 | 2019-08-02 | 电子科技大学 | 基于注意力金字塔网络的sar图像多尺度舰船检测方法 |
-
2020
- 2020-05-18 CN CN202010417332.5A patent/CN111723660A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829893A (zh) * | 2019-01-03 | 2019-05-31 | 武汉精测电子集团股份有限公司 | 一种基于注意力机制的缺陷目标检测方法 |
| CN109886269A (zh) * | 2019-02-27 | 2019-06-14 | 南京中设航空科技发展有限公司 | 一种基于注意力机制的交通广告牌识别方法 |
| CN110084210A (zh) * | 2019-04-30 | 2019-08-02 | 电子科技大学 | 基于注意力金字塔网络的sar图像多尺度舰船检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| SANGHYUN WOO ET AL.: "CBAM: Convolutional Block Attention Module", 《ARXIV:1807.06521V2 [CS.CV]》 * |
| SHAOQING REN ET AL.: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV:1506.01497V3 [CS.CV]》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785561A (zh) * | 2021-01-07 | 2021-05-11 | 天津狮拓信息技术有限公司 | 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法 |
| CN112766181A (zh) * | 2021-01-22 | 2021-05-07 | 电子科技大学 | 一种提高线图识别准确率的方法 |
| CN112699855A (zh) * | 2021-03-23 | 2021-04-23 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像场景识别方法、装置及电子设备 |
| CN113255605A (zh) * | 2021-06-29 | 2021-08-13 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种路面病害检测方法、装置、终端设备及存储介质 |
| CN113989632A (zh) * | 2021-09-13 | 2022-01-28 | 西安电子科技大学 | 一种遥感图像桥梁检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111210443B (zh) | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 | |
| CN110472627B (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
| CN110136154B (zh) | 基于全卷积网络与形态学处理的遥感图像语义分割方法 | |
| CN108764063B (zh) | 一种基于特征金字塔的遥感影像时敏目标识别系统及方法 | |
| Han et al. | Semisupervised and weakly supervised road detection based on generative adversarial networks | |
| CN107609525B (zh) | 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法 | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| CN111723660A (zh) | 一种用于长形地面目标检测网络的检测方法 | |
| CN114202672A (zh) | 一种基于注意力机制的小目标检测方法 | |
| Michieli et al. | Adversarial learning and self-teaching techniques for domain adaptation in semantic segmentation | |
| Lei et al. | Region-enhanced convolutional neural network for object detection in remote sensing images | |
| CN108537824B (zh) | 基于交替反卷积与卷积的特征图增强的网络结构优化方法 | |
| CN111461083A (zh) | 基于深度学习的快速车辆检测方法 | |
| CN111401293B (zh) | 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法 | |
| CN110348447B (zh) | 一种具有丰富空间信息的多模型集成目标检测方法 | |
| CN111709311A (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
| CN113486726A (zh) | 一种基于改进卷积神经网络的轨道交通障碍物检测方法 | |
| CN111259940A (zh) | 一种基于空间注意力地图的目标检测方法 | |
| CN113673510B (zh) | 一种结合特征点和锚框共同预测和回归的目标检测方法 | |
| CN114049381A (zh) | 一种融合多层语义信息的孪生交叉目标跟踪方法 | |
| CN111310609B (zh) | 基于时序信息和局部特征相似性的视频目标检测方法 | |
| CN114049515A (zh) | 图像分类方法、系统、电子设备和存储介质 | |
| Xiong et al. | Contextual sa-attention convolutional LSTM for precipitation nowcasting: A spatiotemporal sequence forecasting view | |
| CN116935332A (zh) | 一种基于动态视频的渔船目标检测与跟踪方法 | |
| CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200929 |