CN110705544B - 基于Faster-RCNN的自适应快速目标检测方法 - Google Patents
基于Faster-RCNN的自适应快速目标检测方法 Download PDFInfo
- Publication number
- CN110705544B CN110705544B CN201910836066.7A CN201910836066A CN110705544B CN 110705544 B CN110705544 B CN 110705544B CN 201910836066 A CN201910836066 A CN 201910836066A CN 110705544 B CN110705544 B CN 110705544B
- Authority
- CN
- China
- Prior art keywords
- candidate regions
- network
- candidate
- feature map
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000003044 adaptive effect Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种基于Faster‑RCNN的自适应快速目标检测方法。其包括将原始图像输入底层特征提取网络中得到特征图;将特征图输入区域建议网络的卷积层中进行训练;对候选区域进行重叠度评分,然后自适应选取候选区域并输入分类和回归层中进行训练,得到含有目标的候选区域;将含有目标的候选区域和特征图一起送入最终分类回归层,判断出哪一类目标等步骤。本发明将底层特征提取网络从vgg网络改变成残差网络,使网络深度更深更高,提取的特征自然更抽象更全面,提高了目标检测的识别率。采取自适应的方式选取候选区域的数量,通过训练结果反馈调节,使候选区域的数量在300‑2000之间动态变化,有效减少了训练时间,并且识别率更高。
Description
技术领域
本发明属于计算机视觉和图像处理技术领域,特别是涉及一种基于Faster-RCNN的自适应快速目标检测方法。
背景技术
目标检测,也叫目标提取,是一种基于目标几何和统计特征的图像分割,它将目标的分割和识别合二为一,其准确性和实时性是整个系统的一项重要能力。目标检测是计算机视觉中一个重要问题,在行人跟踪、车牌识别、无人驾驶等领域都具有重要的研究价值。近年来,随着深度学习对图像分类准确度的大幅度提高,基于深度学习的目标检测算法逐渐成为主流。
自目标检测的概念提出以来,国内外学者针对这个问题进行了不懈探索。传统的目标检测算法,多是基于滑动窗口的框架或是根据特征点进行匹配。自2012年AlexNet在当年度ImageNet大规模视觉识别挑战赛中一举夺冠,且效果远超传统算法,将大众的视野重新带回到深度神经网络。2014年R-CNN的提出,使得基于CNN的目标检测算法逐渐成为主流。
发明内容
为了解决上述问题,本发明的目的在于提供一种基于Faster-RCNN的自适应快速目标检测方法。
为了达到上述目的,本发明提供的基于Faster-RCNN的自适应快速目标检测方法包括按顺序进行的下列步骤:
(1)将原始图像输入底层特征提取网络中,经过若干次卷积得到特征图;
(2)将上述特征图输入到区域建议网络的卷积层中进行训练,通过预先设置的锚点,建立特征图到原始图像的映射,即特征图上某一像素点对应于原始图像中的k个候选区域;
(3)对上述所有候选区域进行重叠度的评分,然后自适应选取评分在300-2000名之间的候选区域并输入到区域建议网络的分类和回归层中进行训练,得到含有目标的候选区域;
(4)将上述含有目标的候选区域和特征图一起送入区域建议网络的最终分类回归层,采用ROI池化操作来判断出该候选区域中的目标具体为哪一类目标,由此获得最终识别结果。
在步骤(1)中,所述的底层特征提取网络采用RESNET58残差网络。
在步骤(2)中,所述的通过预先设置的锚点,建立特征图到原始图像的映射的方法是:通过预先设置的锚点,在此基础上生成若干个候选区域,特征图上的每一个像素点对应于原始图像中的某一个区域,然后对此区域进行调整,将该区域进行长宽比分别为1:1,1:2,2:1的三种设置,锚点的大小分别为大中小的三种不同设置,因此,特征图上每一个像素点对应于原始图像中的9个候选区域,即k等于9。
在步骤(3)中,所述的自适应选取评分在300-2000名之间的候选区域的方法是:每隔N次训练计算出回归损失的平均值total_loss,认为每隔N次训练,回归损失的平均值total_loss缩小一半和自增一倍为合理变化抖动区间,超过这个区间,认为需要反馈调节;当回归损失的平均值total_loss翻倍及其以上时,将候选区域的数量自增1+Number_rate_up倍;当回归损失的平均值total_loss缩小一半及其更小时,适当减少候选区域的数量,将候选区域的数量变为1-Number_rate_down倍,即让候选区域的数量在300-2000这个区间内自适应改变。
本发明提供的基于Faster-RCNN的自适应快速目标检测方法具有如下优点:
1、将底层特征提取网络从vgg网络改变成残差网络,使网络深度更深更高,提取的特征自然更抽象更全面,并由原本的16层上升到50层,提高了目标检测的识别率。
2、提出一种具有区域数目调节层的快速目标检测方法对经典的区域建议网络进行改善。在训练时,引入区域数目调节层,实时判断当前训练效果,根据当前训练效果调节候选区域数量,训练结束时确定最佳候选区域数量。通过训练结果反馈调节,使候选区域的数量在300-2000之间动态变化,实验表明,相对于传统Faster-RCNN网络,速率提升了18个百分点,识别率提高了3个百分点,对环境的适应性更强,因此有效减少了训练时间,并且识别率更高。
附图说明
图1是本发明提供的基于Faster-RCNN的自适应快速目标检测方法整体流程图;
图2是本发明中提供的基于Faster-RCNN的自适应快速目标检测方法中所采用的底层特征提取网络框图;
具体实施方式
下面结合附图和具体实施例对本发明提供的基于Faster-RCNN的自适应快速目标检测方法进行详细说明。
如图1所示,本发明提供的基于Faster-RCNN的自适应快速目标检测方法包括按顺序进行的下列步骤:
(1)将voc2007数据集中的原始图像输入到如图2所示的作为底层特征提取网络的RESNET58残差网络中,经过若干次卷积得到特征图;传统的做法是选取vgg16作为底层特征提取网络。由于随着网络层数的增加,训练结果收敛性越来越差,甚至导致网络层数越高,训练效果越差。为了解决网络的退化问题,本发明采用RESNET58残差网络作为底层特征提取网络,使得底层特征提取网络的层数由16层变为58层,从而可以极大提升训练效果。底层特征提取网络的结构如表1所示。
(2)将上述特征图输入到区域建议网络(RPN)的卷积层中进行训练,通过预先设置的锚点,建立特征图到原始图像的映射,即特征图上某一像素点对应于原始图像中的k个候选区域;
Faster-RCNN的核心思想是通过预先设置的锚点,在此基础上生成若干个候选区域,特征图上的每一个像素点对应于原始图像中的某一个区域,然后对此区域进行调整,在本发明中将该区域进行长宽比分别为1:1,1:2,2:1的三种设置,锚点的大小分别为大中小的三种不同设置,因此,特征图上每一个像素点对应于原始图像中的9个候选区域,即k等于9。原始图像中的候选区域数量为特征图中像素点数量的9倍,可以认为需要被检测的目标被所有候选区域穷尽。将这种特征图上设置好对应关系的像素点称为锚点。这些像素点类似于一个个船锚固定在海洋上,通过这些船锚按图索骥即可寻找到船只,即通过这些锚点来对应原始图像上的候选区域。
(3)对上述所有候选区域进行重叠度的评分,然后自适应选取评分在300-2000名之间的候选区域并输入到区域建议网络的分类和回归层中进行训练,得到含有目标的候选区域;
传统的做法是对所有候选区域进行重叠度的评分,重叠度和评分负相关。然后选取评分在前2000名的候选区域进行训练。由于步骤(2)中生成的候选区域数量太多,这样容易造成训练开销太大且消耗时间太多,因此本发明在此进行了优化,并在训练过程中引入了NP(建设数量)层对训练结果进行反馈,以对候选区域的数量进行自适应调整,舍弃了大部分的候选区域,从而缩短了训练时间。自适应选取候选区域的方法是每隔N次训练计算出回归损失的平均值total_loss,认为每隔N次训练,回归损失的平均值total_loss缩小一半和自增一倍为合理变化抖动区间,超过这个区间,认为需要反馈调节;当回归损失的平均值total_loss翻倍及其以上时,将候选区域的数量自增1+Number_rate_up倍;当回归损失的平均值total_loss缩小一半及其更小时,适当减少候选区域的数量,将候选区域的数量变为1-Number_rate_down倍,即让候选区域的数量在300-2000这个区间内自适应改变,可使运算速率提高18%,本发明方法与其空白对照组的具体结果如表2所示。最终得到含有目标的候选区域。
(4)将上述含有目标的候选区域和特征图一起送入区域建议网络的最终分类回归层,采用ROI(感兴趣区域)池化操作来判断出该候选区域中的目标具体为哪一类目标,由此获得最终识别结果。
表1底层特征提取网络的结构
表2
Claims (3)
1.一种基于Faster-RCNN的自适应快速目标检测方法,其特征在于:所述的基于Faster-RCNN的自适应快速目标检测方法包括按顺序进行的下列步骤:
(1)将原始图像输入底层特征提取网络中,经过若干次卷积得到特征图;
(2)将上述特征图输入到区域建议网络的卷积层中进行训练,通过预先设置的锚点,建立特征图到原始图像的映射,即特征图上某一像素点对应于原始图像中的k个候选区域;
(3)对以上所有候选区域进行重叠度的评分,然后自适应选取评分在300-2000名之间的候选区域并输入到区域建议网络的分类和回归层中进行训练,得到含有目标的候选区域;
(4)将上述含有目标的候选区域和特征图一起送入区域建议网络的最终分类回归层,采用ROI池化操作来判断出该候选区域中的目标具体为哪一类目标,由此获得最终识别结果;
在步骤(3)中,所述的自适应选取评分在300-2000名之间的候选区域的方法是:每隔N次训练计算出回归损失的平均值total_loss,认为每隔N次训练,回归损失的平均值total_loss缩小一半和自增一倍为合理变化抖动区间,超过这个区间,认为需要反馈调节;当回归损失的平均值total_loss翻倍及其以上时,将候选区域的数量自增1+Number_rate_up倍;当回归损失的平均值total_loss缩小一半及其更小时,适当减少候选区域的数量,将候选区域的数量变为1-Number_rate_down倍,即让候选区域的数量在300-2000这个区间内自适应改变。
2.根据权利要求1所述的基于Faster-RCNN的自适应快速目标检测方法,其特征在于:在步骤(1)中,所述的底层特征提取网络采用RESNET58残差网络。
3.根据权利要求1所述的基于Faster-RCNN的自适应快速目标检测方法,其特征在于:在步骤(2)中,所述的通过预先设置的锚点,建立特征图到原始图像的映射的方法是:通过预先设置的锚点,在此基础上生成若干个候选区域,特征图上的每一个像素点对应于原始图像中的某一个区域,然后对此区域进行调整,将该区域进行长宽比分别为1:1,1:2,2:1的三种设置,锚点的大小分别为大中小的三种不同设置,因此,特征图上每一个像素点对应于原始图像中的9个候选区域,即k等于9。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910836066.7A CN110705544B (zh) | 2019-09-05 | 2019-09-05 | 基于Faster-RCNN的自适应快速目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910836066.7A CN110705544B (zh) | 2019-09-05 | 2019-09-05 | 基于Faster-RCNN的自适应快速目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110705544A CN110705544A (zh) | 2020-01-17 |
CN110705544B true CN110705544B (zh) | 2023-04-07 |
Family
ID=69194217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910836066.7A Active CN110705544B (zh) | 2019-09-05 | 2019-09-05 | 基于Faster-RCNN的自适应快速目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110705544B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111540203B (zh) * | 2020-04-30 | 2021-09-17 | 东华大学 | 基于Faster-RCNN调节绿灯通行时间的方法 |
CN111611998A (zh) * | 2020-05-21 | 2020-09-01 | 中山大学 | 一种基于候选区域面积和宽高的自适应特征块提取方法 |
CN117157679A (zh) * | 2021-04-12 | 2023-12-01 | 华为技术有限公司 | 感知网络、感知网络的训练方法、物体识别方法及装置 |
CN113205026B (zh) * | 2021-04-26 | 2022-08-16 | 武汉大学 | 一种基于Faster RCNN深度学习网络改进的车型识别方法 |
CN113435261A (zh) * | 2021-06-07 | 2021-09-24 | 同济大学 | 一种基于视觉弱光环境的洞穴渗透缺陷识别方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780612A (zh) * | 2016-12-29 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
CN107145889A (zh) * | 2017-04-14 | 2017-09-08 | 中国人民解放军国防科学技术大学 | 基于具有RoI池化的双CNN网络的目标识别方法 |
CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
CN108596055A (zh) * | 2018-04-10 | 2018-09-28 | 西北工业大学 | 一种复杂背景下高分辨遥感图像的机场目标检测方法 |
CN108710875A (zh) * | 2018-09-11 | 2018-10-26 | 湖南鲲鹏智汇无人机技术有限公司 | 一种基于深度学习的航拍公路车辆计数方法及装置 |
CN109344802A (zh) * | 2018-10-29 | 2019-02-15 | 重庆邮电大学 | 一种基于改进的级联卷积神经网的人体疲劳检测方法 |
CN109635667A (zh) * | 2018-11-16 | 2019-04-16 | 中国计量大学 | 一种基于Guided Faster-RCNN的车辆检测系统 |
CN109886230A (zh) * | 2019-02-28 | 2019-06-14 | 中南大学 | 一种图像目标检测方法及装置 |
CN109886357A (zh) * | 2019-03-13 | 2019-06-14 | 哈尔滨工程大学 | 一种基于特征融合的自适应权重深度学习目标分类方法 |
CN110097053A (zh) * | 2019-04-24 | 2019-08-06 | 上海电力学院 | 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法 |
WO2019148362A1 (zh) * | 2018-01-31 | 2019-08-08 | 富士通株式会社 | 物体检测方法和装置 |
-
2019
- 2019-09-05 CN CN201910836066.7A patent/CN110705544B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780612A (zh) * | 2016-12-29 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
CN107145889A (zh) * | 2017-04-14 | 2017-09-08 | 中国人民解放军国防科学技术大学 | 基于具有RoI池化的双CNN网络的目标识别方法 |
CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
WO2019148362A1 (zh) * | 2018-01-31 | 2019-08-08 | 富士通株式会社 | 物体检测方法和装置 |
CN108596055A (zh) * | 2018-04-10 | 2018-09-28 | 西北工业大学 | 一种复杂背景下高分辨遥感图像的机场目标检测方法 |
CN108710875A (zh) * | 2018-09-11 | 2018-10-26 | 湖南鲲鹏智汇无人机技术有限公司 | 一种基于深度学习的航拍公路车辆计数方法及装置 |
CN109344802A (zh) * | 2018-10-29 | 2019-02-15 | 重庆邮电大学 | 一种基于改进的级联卷积神经网的人体疲劳检测方法 |
CN109635667A (zh) * | 2018-11-16 | 2019-04-16 | 中国计量大学 | 一种基于Guided Faster-RCNN的车辆检测系统 |
CN109886230A (zh) * | 2019-02-28 | 2019-06-14 | 中南大学 | 一种图像目标检测方法及装置 |
CN109886357A (zh) * | 2019-03-13 | 2019-06-14 | 哈尔滨工程大学 | 一种基于特征融合的自适应权重深度学习目标分类方法 |
CN110097053A (zh) * | 2019-04-24 | 2019-08-06 | 上海电力学院 | 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法 |
Non-Patent Citations (2)
Title |
---|
基于Faster-RCNN的花生害虫图像识别研究;陶震宇等;《江苏农业大学》;20190625;正文第1-3节 * |
面向少样本网状结构体的候选区域自适应检测方法;牟磊等;《计算机应用研究》;20181016;正文第1-4节 * |
Also Published As
Publication number | Publication date |
---|---|
CN110705544A (zh) | 2020-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110705544B (zh) | 基于Faster-RCNN的自适应快速目标检测方法 | |
CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
CN107145889B (zh) | 基于具有RoI池化的双CNN网络的目标识别方法 | |
CN111368683B (zh) | 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法 | |
CN109410247A (zh) | 一种多模板和自适应特征选择的视频跟踪算法 | |
CN111354017A (zh) | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 | |
CN109977774B (zh) | 一种基于自适应卷积的快速目标检测方法 | |
CN107392919B (zh) | 基于自适应遗传算法的灰度阈值获取方法、图像分割方法 | |
CN106127776A (zh) | 基于多特征时空上下文机器人目标识别与运动决策方法 | |
CN109492636B (zh) | 基于自适应感受野深度学习的目标检测方法 | |
CN111598876B (zh) | 甲状腺结节自动识别模型构建方法、系统及设备 | |
WO2016145675A1 (zh) | 一种基于分段的两级深度学习模型的大数据处理方法 | |
CN111914727A (zh) | 基于平衡采样与非线性特征融合的小目标人体检测方法 | |
CN105405136A (zh) | 一种基于粒子群算法的自适应脊柱ct图像分割方法 | |
CN104881871A (zh) | 基于改进多目标和声搜索算法的交通图像分割方法 | |
CN1619593A (zh) | 基于多特征信息融合的视频运动目标自适应跟踪方法 | |
CN107203783A (zh) | 基于自适应卷积核卷积神经网络的遥感图像像素级分类方法 | |
CN111401226A (zh) | 一种辐射源快速识别方法 | |
CN110956643A (zh) | 一种基于MDNet的改进车辆跟踪方法及系统 | |
CN116935054A (zh) | 一种基于混合-解耦训练的半监督医学图像分割方法 | |
CN105825234A (zh) | 一种融合超像素和背景模型的前景检测方法 | |
CN114627372A (zh) | 基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法 | |
CN112446417B (zh) | 基于多层超像素分割的纺锤形果实图像分割方法及系统 | |
CN105654498B (zh) | 基于动态局部搜索和免疫克隆自动聚类的图像分割方法 | |
CN107644233A (zh) | 基于聚类分类的filtersim模拟方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |