CN110705544A - 基于Faster-RCNN的自适应快速目标检测方法 - Google Patents

基于Faster-RCNN的自适应快速目标检测方法 Download PDF

Info

Publication number
CN110705544A
CN110705544A CN201910836066.7A CN201910836066A CN110705544A CN 110705544 A CN110705544 A CN 110705544A CN 201910836066 A CN201910836066 A CN 201910836066A CN 110705544 A CN110705544 A CN 110705544A
Authority
CN
China
Prior art keywords
candidate regions
fast
candidate
network
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910836066.7A
Other languages
English (en)
Other versions
CN110705544B (zh
Inventor
张良
曹之君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN201910836066.7A priority Critical patent/CN110705544B/zh
Publication of CN110705544A publication Critical patent/CN110705544A/zh
Application granted granted Critical
Publication of CN110705544B publication Critical patent/CN110705544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于Faster‑RCNN的自适应快速目标检测方法。其包括将原始图像输入底层特征提取网络中得到特征图；将特征图输入区域建议网络的卷积层中进行训练；对候选区域进行重叠度评分，然后自适应选取候选区域并输入分类和回归层中进行训练，得到含有目标的候选区域；将含有目标的候选区域和特征图一起送入最终分类回归层，判断出哪一类目标等步骤。本发明将底层特征提取网络从vgg网络改变成残差网络，使网络深度更深更高，提取的特征自然更抽象更全面，提高了目标检测的识别率。采取自适应的方式选取候选区域的数量，通过训练结果反馈调节，使候选区域的数量在300‑2000之间动态变化，有效减少了训练时间，并且识别率更高。

Description

基于Faster-RCNN的自适应快速目标检测方法
技术领域
本发明属于计算机视觉和图像处理技术领域，特别是涉及一种基于Faster-RCNN的自适应快速目标检测方法。
背景技术
目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。目标检测是计算机视觉中一个重要问题，在行人跟踪、车牌识别、无人驾驶等领域都具有重要的研究价值。近年来，随着深度学习对图像分类准确度的大幅度提高，基于深度学习的目标检测算法逐渐成为主流。
自目标检测的概念提出以来，国内外学者针对这个问题进行了不懈探索。传统的目标检测算法，多是基于滑动窗口的框架或是根据特征点进行匹配。自2012年AlexNet在当年度ImageNet大规模视觉识别挑战赛中一举夺冠，且效果远超传统算法，将大众的视野重新带回到深度神经网络。2014年R-CNN的提出，使得基于CNN的目标检测算法逐渐成为主流。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于Faster-RCNN的自适应快速目标检测方法。
为了达到上述目的，本发明提供的基于Faster-RCNN的自适应快速目标检测方法包括按顺序进行的下列步骤：
(1)将原始图像输入底层特征提取网络中，经过若干次卷积得到特征图；
(2)将上述特征图输入到区域建议网络的卷积层中进行训练，通过预先设置的锚点，建立特征图到原始图像的映射，即特征图上某一像素点对应于原始图像中的k个候选区域；
(3)对上述所有候选区域进行重叠度的评分，然后自适应选取评分在300-2000名之间的候选区域并输入到区域建议网络的分类和回归层中进行训练，得到含有目标的候选区域；
(4)将上述含有目标的候选区域和特征图一起送入区域建议网络的最终分类回归层，采用ROI池化操作来判断出该候选区域中的目标具体为哪一类目标，由此获得最终识别结果。
在步骤(1)中，所述的底层特征提取网络采用RESNET58残差网络。
在步骤(2)中，所述的通过预先设置的锚点，建立特征图到原始图像的映射的方法是：通过预先设置的锚点，在此基础上生成若干个候选区域，特征图上的每一个像素点对应于原始图像中的某一个区域，然后对此区域进行调整，将该区域进行长宽比分别为1:1,1:2,2:1的三种设置，锚点的大小分别为大中小的三种不同设置，因此，特征图上每一个像素点对应于原始图像中的9个候选区域，即k等于9。
在步骤(3)中，所述的自适应选取评分在300-2000名之间的候选区域的方法是：每隔N次训练计算出回归损失的平均值total_loss，认为每隔N次训练，回归损失的平均值total_loss缩小一半和自增一倍为合理变化抖动区间，超过这个区间，认为需要反馈调节；当回归损失的平均值total_loss翻倍及其以上时，将候选区域的数量自增1+Number_rate_up倍；当回归损失的平均值total_loss缩小一半及其更小时，适当减少候选区域的数量，将候选区域的数量变为1-Number_rate_down倍，即让候选区域的数量在300-2000这个区间内自适应改变。
本发明提供的基于Faster-RCNN的自适应快速目标检测方法具有如下优点：
1、将底层特征提取网络从vgg网络改变成残差网络，使网络深度更深更高，提取的特征自然更抽象更全面，并由原本的16层上升到50层，提高了目标检测的识别率。
2、提出一种具有区域数目调节层的快速目标检测方法对经典的区域建议网络进行改善。在训练时，引入区域数目调节层，实时判断当前训练效果，根据当前训练效果调节候选区域数量，训练结束时确定最佳候选区域数量。通过训练结果反馈调节，使候选区域的数量在300-2000之间动态变化，实验表明，相对于传统Faster-RCNN网络，速率提升了18个百分点，识别率提高了3个百分点，对环境的适应性更强，因此有效减少了训练时间，并且识别率更高。
附图说明
图1是本发明提供的基于Faster-RCNN的自适应快速目标检测方法整体流程图；
图2是本发明中提供的基于Faster-RCNN的自适应快速目标检测方法中所采用的底层特征提取网络框图；
图3是本发明提供的基于Faster-RCNN的自适应快速目标检测方法提取的人脸感兴趣区域结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明提供的基于Faster-RCNN的自适应快速目标检测方法进行详细说明。
如图1所示，本发明提供的基于Faster-RCNN的自适应快速目标检测方法包括按顺序进行的下列步骤：
(1)将voc2007数据集中的原始图像输入到如图2所示的作为底层特征提取网络的RESNET58残差网络中，经过若干次卷积得到特征图；传统的做法是选取vgg16作为底层特征提取网络。由于随着网络层数的增加，训练结果收敛性越来越差，甚至导致网络层数越高，训练效果越差。为了解决网络的退化问题，本发明采用RESNET58残差网络作为底层特征提取网络，使得底层特征提取网络的层数由16层变为58层，从而可以极大提升训练效果。底层特征提取网络的结构如表1所示。
(2)将上述特征图输入到区域建议网络(RPN)的卷积层中进行训练，通过预先设置的锚点，建立特征图到原始图像的映射，即特征图上某一像素点对应于原始图像中的k个候选区域；
Faster-RCNN的核心思想是通过预先设置的锚点，在此基础上生成若干个候选区域，特征图上的每一个像素点对应于原始图像中的某一个区域，然后对此区域进行调整，在本发明中将该区域进行长宽比分别为1:1,1:2,2:1的三种设置，锚点的大小分别为大中小的三种不同设置，因此，特征图上每一个像素点对应于原始图像中的9个候选区域，即k等于9。原始图像中的候选区域数量为特征图中像素点数量的9倍，可以认为需要被检测的目标被所有候选区域穷尽。将这种特征图上设置好对应关系的像素点称为锚点。这些像素点类似于一个个船锚固定在海洋上，通过这些船锚按图索骥即可寻找到船只，即通过这些锚点来对应原始图像上的候选区域。
(3)对上述所有候选区域进行重叠度的评分，然后自适应选取评分在300-2000名之间的候选区域并输入到区域建议网络的分类和回归层中进行训练，得到含有目标的候选区域；
传统的做法是对所有候选区域进行重叠度的评分，重叠度和评分负相关。然后选取评分在前2000名的候选区域进行训练。由于步骤(2)中生成的候选区域数量太多，这样容易造成训练开销太大且消耗时间太多，因此本发明在此进行了优化，并在训练过程中引入了NP(建设数量)层对训练结果进行反馈，以对候选区域的数量进行自适应调整，舍弃了大部分的候选区域，从而缩短了训练时间。自适应选取候选区域的方法是每隔N次训练计算出回归损失的平均值total_loss，认为每隔N次训练，回归损失的平均值total_loss缩小一半和自增一倍为合理变化抖动区间，超过这个区间，认为需要反馈调节；当回归损失的平均值total_loss翻倍及其以上时，将候选区域的数量自增1+Number_rate_up倍；当回归损失的平均值total_loss缩小一半及其更小时，适当减少候选区域的数量，将候选区域的数量变为1-Number_rate_down倍，即让候选区域的数量在300-2000这个区间内自适应改变，可使运算速率提高18％，本发明方法与其空白对照组的具体结果如表2所示。最终得到含有目标的候选区域。
(4)将上述含有目标的候选区域和特征图一起送入区域建议网络的最终分类回归层，采用ROI(感兴趣区域)池化操作来判断出该候选区域中的目标具体为哪一类目标，由此获得最终识别结果。图3是本发明提供的基于Faster-RCNN的自适应快速目标检测方法提取的人脸感兴趣区域结果示意图。
表1底层特征提取网络的结构
Figure BDA0002192197410000061
表2
Figure BDA0002192197410000062

Claims (4)

1.一种基于Faster-RCNN的自适应快速目标检测方法，其特征在于：所述的基于Faster-RCNN的自适应快速目标检测方法包括按顺序进行的下列步骤：
(1)将原始图像输入底层特征提取网络中，经过若干次卷积得到特征图；
(2)将上述特征图输入到区域建议网络的卷积层中进行训练，通过预先设置的锚点，建立特征图到原始图像的映射，即特征图上某一像素点对应于原始图像中的k个候选区域；
(3)对上述所有候选区域进行重叠度的评分，然后自适应选取评分在300-2000名之间的候选区域并输入到区域建议网络的分类和回归层中进行训练，得到含有目标的候选区域；
(4)将上述含有目标的候选区域和特征图一起送入区域建议网络的最终分类回归层，采用ROI池化操作来判断出该候选区域中的目标具体为哪一类目标，由此获得最终识别结果。
2.根据权利要求1所述的基于Faster-RCNN的自适应快速目标检测方法，其特征在于：在步骤(1)中，所述的底层特征提取网络采用RESNET58残差网络。
3.根据权利要求1所述的基于Faster-RCNN的自适应快速目标检测方法，其特征在于：在步骤(2)中，所述的通过预先设置的锚点，建立特征图到原始图像的映射的方法是：通过预先设置的锚点，在此基础上生成若干个候选区域，特征图上的每一个像素点对应于原始图像中的某一个区域，然后对此区域进行调整，将该区域进行长宽比分别为1:1,1:2,2:1的三种设置，锚点的大小分别为大中小的三种不同设置，因此，特征图上每一个像素点对应于原始图像中的9个候选区域，即k等于9。
4.根据权利要求1所述的基于Faster-RCNN的自适应快速目标检测方法，其特征在于：在步骤(3)中，所述的自适应选取评分在300-2000名之间的候选区域的方法是：每隔N次训练计算出回归损失的平均值total_loss，认为每隔N次训练，回归损失的平均值total_loss缩小一半和自增一倍为合理变化抖动区间，超过这个区间，认为需要反馈调节；当回归损失的平均值total_loss翻倍及其以上时，将候选区域的数量自增1+Number_rate_up倍；当回归损失的平均值total_loss缩小一半及其更小时，适当减少候选区域的数量，将候选区域的数量变为1-Number_rate_down倍，即让候选区域的数量在300-2000这个区间内自适应改变。
CN201910836066.7A 2019-09-05 2019-09-05 基于Faster-RCNN的自适应快速目标检测方法 Active CN110705544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910836066.7A CN110705544B (zh) 2019-09-05 2019-09-05 基于Faster-RCNN的自适应快速目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910836066.7A CN110705544B (zh) 2019-09-05 2019-09-05 基于Faster-RCNN的自适应快速目标检测方法

Publications (2)

Publication Number Publication Date
CN110705544A true CN110705544A (zh) 2020-01-17
CN110705544B CN110705544B (zh) 2023-04-07

Family

ID=69194217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910836066.7A Active CN110705544B (zh) 2019-09-05 2019-09-05 基于Faster-RCNN的自适应快速目标检测方法

Country Status (1)

Country Link
CN (1) CN110705544B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540203A (zh) * 2020-04-30 2020-08-14 东华大学 基于Faster-RCNN调节绿灯通行时间的方法
CN111611998A (zh) * 2020-05-21 2020-09-01 中山大学 一种基于候选区域面积和宽高的自适应特征块提取方法
CN113205026A (zh) * 2021-04-26 2021-08-03 武汉大学 一种基于Faster RCNN深度学习网络改进的车型识别方法
CN113435261A (zh) * 2021-06-07 2021-09-24 同济大学 一种基于视觉弱光环境的洞穴渗透缺陷识别方法
WO2022217434A1 (zh) * 2021-04-12 2022-10-20 华为技术有限公司 感知网络、感知网络的训练方法、物体识别方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780612A (zh) * 2016-12-29 2017-05-31 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN107145889A (zh) * 2017-04-14 2017-09-08 中国人民解放军国防科学技术大学 基于具有RoI池化的双CNN网络的目标识别方法
CN107368845A (zh) * 2017-06-15 2017-11-21 华南理工大学 一种基于优化候选区域的Faster R‑CNN目标检测方法
CN108596055A (zh) * 2018-04-10 2018-09-28 西北工业大学 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN108710875A (zh) * 2018-09-11 2018-10-26 湖南鲲鹏智汇无人机技术有限公司 一种基于深度学习的航拍公路车辆计数方法及装置
CN109344802A (zh) * 2018-10-29 2019-02-15 重庆邮电大学 一种基于改进的级联卷积神经网的人体疲劳检测方法
CN109635667A (zh) * 2018-11-16 2019-04-16 中国计量大学 一种基于Guided Faster-RCNN的车辆检测系统
CN109886357A (zh) * 2019-03-13 2019-06-14 哈尔滨工程大学 一种基于特征融合的自适应权重深度学习目标分类方法
CN109886230A (zh) * 2019-02-28 2019-06-14 中南大学 一种图像目标检测方法及装置
CN110097053A (zh) * 2019-04-24 2019-08-06 上海电力学院 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法
WO2019148362A1 (zh) * 2018-01-31 2019-08-08 富士通株式会社 物体检测方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780612A (zh) * 2016-12-29 2017-05-31 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN107145889A (zh) * 2017-04-14 2017-09-08 中国人民解放军国防科学技术大学 基于具有RoI池化的双CNN网络的目标识别方法
CN107368845A (zh) * 2017-06-15 2017-11-21 华南理工大学 一种基于优化候选区域的Faster R‑CNN目标检测方法
WO2019148362A1 (zh) * 2018-01-31 2019-08-08 富士通株式会社 物体检测方法和装置
CN108596055A (zh) * 2018-04-10 2018-09-28 西北工业大学 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN108710875A (zh) * 2018-09-11 2018-10-26 湖南鲲鹏智汇无人机技术有限公司 一种基于深度学习的航拍公路车辆计数方法及装置
CN109344802A (zh) * 2018-10-29 2019-02-15 重庆邮电大学 一种基于改进的级联卷积神经网的人体疲劳检测方法
CN109635667A (zh) * 2018-11-16 2019-04-16 中国计量大学 一种基于Guided Faster-RCNN的车辆检测系统
CN109886230A (zh) * 2019-02-28 2019-06-14 中南大学 一种图像目标检测方法及装置
CN109886357A (zh) * 2019-03-13 2019-06-14 哈尔滨工程大学 一种基于特征融合的自适应权重深度学习目标分类方法
CN110097053A (zh) * 2019-04-24 2019-08-06 上海电力学院 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
牟磊等: "面向少样本网状结构体的候选区域自适应检测方法", 《计算机应用研究》 *
陶震宇等: "基于Faster-RCNN的花生害虫图像识别研究", 《江苏农业大学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540203A (zh) * 2020-04-30 2020-08-14 东华大学 基于Faster-RCNN调节绿灯通行时间的方法
CN111611998A (zh) * 2020-05-21 2020-09-01 中山大学 一种基于候选区域面积和宽高的自适应特征块提取方法
WO2022217434A1 (zh) * 2021-04-12 2022-10-20 华为技术有限公司 感知网络、感知网络的训练方法、物体识别方法及装置
CN113205026A (zh) * 2021-04-26 2021-08-03 武汉大学 一种基于Faster RCNN深度学习网络改进的车型识别方法
CN113435261A (zh) * 2021-06-07 2021-09-24 同济大学 一种基于视觉弱光环境的洞穴渗透缺陷识别方法

Also Published As

Publication number Publication date
CN110705544B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110705544B (zh) 基于Faster-RCNN的自适应快速目标检测方法
CN109145713B (zh) 一种结合目标检测的小目标语义分割方法
CN107145889B (zh) 基于具有RoI池化的双CNN网络的目标识别方法
CN110619327A (zh) 一种复杂场景下基于深度学习的实时车牌识别方法
CN107392919B (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN109448001B (zh) 一种图片自动裁剪方法
WO2016145675A1 (zh) 一种基于分段的两级深度学习模型的大数据处理方法
CN106934455B (zh) 基于cnn的遥感影像光学适配结构选取方法及系统
CN112541422A (zh) 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN109492636B (zh) 基于自适应感受野深度学习的目标检测方法
CN111598876A (zh) 甲状腺结节自动识别模型构建方法、系统及设备
CN108921817B (zh) 一种针对皮肤病图像的数据增强方法
CN103699900A (zh) 卫星影像中建筑物水平矢量轮廓自动批量提取方法
CN112418397B (zh) 一种基于轻量级卷积神经网络的图像分类方法
CN110276764A (zh) 基于K值估计的K-Means水下图像背景分割改进算法
CN104881871A (zh) 基于改进多目标和声搜索算法的交通图像分割方法
CN111401226A (zh) 一种辐射源快速识别方法
CN103761736B (zh) 一种基于贝叶斯和谐度的图像分割方法
CN108229247A (zh) 一种移动车辆检测方法
CN114818963A (zh) 一种基于跨图像特征融合的小样本检测算法
CN111582198A (zh) 一种遥感图像海陆自动分割方法
CN114627372A (zh) 基于域内迁移学习的宽幅遥感影像舰船目标快速检测方法
CN112446417B (zh) 基于多层超像素分割的纺锤形果实图像分割方法及系统
CN112381844B (zh) 基于图像分块的自适应orb特征提取方法
CN109741358A (zh) 基于自适应超图学习的超像素分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant