CN110619356A - 基于区域建议注意力的目标检测方法 - Google Patents
基于区域建议注意力的目标检测方法 Download PDFInfo
- Publication number
- CN110619356A CN110619356A CN201910802929.9A CN201910802929A CN110619356A CN 110619356 A CN110619356 A CN 110619356A CN 201910802929 A CN201910802929 A CN 201910802929A CN 110619356 A CN110619356 A CN 110619356A
- Authority
- CN
- China
- Prior art keywords
- classification
- characteristic
- spectrums
- layers
- characteristic spectrums
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于区域建议注意力的目标检测方法,针对RefineDet特征判别力不足的问题,将ARM生成的有无目标的分类结果特征谱作为区域建议注意力与ODM的多分类特征谱通过点乘的方式进行融合,在优化后的多分类特征谱中突出目标区域的显著性。本发明优化了多分类特征谱的判别力,提升了后续进行的RefineDet目标检测的分类效果,从而有效减少误检、漏检情况,提升目标检测的准确率。相比于现有RefineDet算法,能够在不增加参数的基础上,有效地提升目标检测的分类精度。
Description
技术领域
本发明涉及目标检测技术。
背景技术
目标检测和图像分类、分割是计算机视觉的三大任务。目标检测是许多进阶视觉任务的先决条件,如:关系识别、场景解析、实例分割等等。当下,目标检测也被很多公司用到了造福民生的实际任务中,例如:智慧交通、安防、智能眼镜、自动驾驶等。由于目标检测的重大意义,大量科研人员投入到目标检测的研究上来,为目标检测的发展做出了巨大的贡献。随着计算机算力的大大提升,深度学习的蓬勃发展,目标检测迎来一个又一个里程碑式的提升。尽管如此,现有方法的检测准确率还是较低,实际使用中容易出现误检和漏检。因此目标检测还需要科研人员继续为之付出努力,提升其性能。
由于R-CNN系列的横空出世,宣布目标检测进入深度学习时代,主要可以分为两大类:(1)Two-Stage的目标检测方法,其先生成目标候选区域,然后再对候选区域进行回归和分类,典型代表是R-CNN(Regions with Convolutional Neural Network))系列算法,如R-CNN,Fast R-CNN,Faster R-CNN等;(2)One-Stage的目标检测算法,其不会产生候选框,直接生成目标的类别及坐标位置,典型算法如YOLO(You Only Look Once)、SSD(Single ShotMultiBox Detector)。RefineDet(Single-Shot Refinement Neural Network for ObjectDetection)是将前两类算法结合起来的One-Stage的方法。目标检测主要性能指标包括:检测精度和速度,检测精度又包括定位精度和分类精度。在实际使用中RefineDet算法在检测速度和定位精度表现较好,但是在分类精度上表现有待提高。
发明内容
本发明所要解决的技术问题是,提供一种优化RefineDet算法,提升分类效果的目标检测方法。
本发明为解决上述技术问题所采用的技术方案是,基于区域建议注意力的目标检测方法,包括以下步骤:
1)将待检测图像输入RefineDet网络,其ARM模块经卷积得到尺寸从大到小的N层0/1分类特征谱,N层不同尺寸的0/1分类特征谱经二分类处理后得到相应的N层分类结果特征谱;
2)ODM模块得到尺寸从小到大的N层多分类特征谱;
3)ODM模块将N层升维后的分类结果特征谱分别与相同尺寸的多分类特征谱通过哈达马积的方式进行融合,得到N层优化后的多分类特征谱;所述升维是指将分类结果特征谱升维到与多分类特征谱的通道数相同;
4)ODM模块将优化后的多分类特征谱用于后续RefineDet网络的目标定位和目标分类。
ARM是一个二分类模块,专注于有/无目标的检测。ODM是一个多分类模块,专注于所有类别的检测。本发明针对RefineDet特征判别力不足的问题,将ARM(AnchorRefinement Module)生成的有无目标的分类结果特征谱作为区域建议注意力与ODM(Object Detection Module)的多分类特征谱通过点乘的方式进行融合,在优化后的多分类特征谱中突出目标区域的显著性。
本发明的有益效果是,优化多分类特征谱的判别力,提升后续进行的RefineDet目标检测的分类效果,从而有效减少误检、漏检情况,提升目标检测的准确率。相比于现有RefineDet算法,能够在不增加参数的基础上,有效地提升目标检测的分类精度。
附图说明
图1:本发明流程图;
图2:多分类特征谱优化示意图。
具体实施方式
实施例在TITAN Xp服务器上进行实现,RefineDet目标检测网络包括ARM模块与ODM模块,模块中的特征谱均为不同尺寸的4层。如图1所示,主要包括几个步骤,ARM模块根据4层不用尺寸的0/1分类特征谱获得有无目标的分类结果特征谱即区域建议注意力。ODM模块生成4层多分类特征谱,将分类结果特征谱升维到256个通道与多分类特征谱相匹配,采用Hadamard积方式将同尺寸的分类结果特征谱和多分类特征谱进行融合,将融合后的特征谱作为优化的多分类特征谱进入后续目标的定位和分类处理,得到目标检测结果。
具体的,ODM模块生成多分类特征谱的方法是:ODM模块将ARM模块中各层0/1分类特征谱进行通道数匹配,将进行通道数匹配后最小尺寸的0/1分类特征谱作为ODM模块中最小尺寸的多分类特征谱,最小尺寸的多分类特征作为第1层多分类特征经3次上采样依次得到第2到第4层上采样特征谱;将尺寸相同的第n-1层上采样特征谱与其尺寸相同的通道数匹配后0/1分类特征谱相加后得到的特征谱作为第n层多分类特征谱;n=2,3,4;所述通道数匹配为使得0/1分类特征谱的通道数与多分类特征谱的通道数相同的处理。
多分类特征谱优化的具体步骤如图2所示:
步骤一:
第1步:对待检测图像Image送入RefineDet目标检测网络进行处理,先经过ARM模块的多层卷积核得到尺寸从大到小的4层0/1分类特征谱Conv4-3、Conv5-3、fc7、Conv6-2;Conv4-3和Conv5-3的通道数均为512,fc7的通道数为1024,Conv6-2的通道数为256;4层不同尺寸的0/1分类特征谱经二分类处理后得到相应的4层分类结果特征谱,4层分类结果特征谱的通道数为2;在实际处理中,分类结果特征谱只取有目标的那1个通道的特征谱,所以输出至ODM模块的分类结果特征谱的通道数是1。
第2步:ODM模块将ARM模块中最小尺寸的0/1分类特征谱作为ODM模块中最小尺寸的多分类特征谱(第1层多分类特征谱)通过3次上采样得到尺寸从小到大的第2至4层多分类特征谱。除了第1层多分类特征谱P6外,其他第n层(n=2,3,4)的多分类特征谱P5,P4,P3为:相同尺寸的0/1分类特征谱经降维(降维到256个通道)后与上采样后的第n-1层多分类特征谱相加后得到。
步骤二:
第1步:将4个不同尺寸的分类结果特征谱用1x1的卷积核从1个通道升维到256个通道;实施例中升维与降维操作的目的都是为了使得从ARM输出的特征谱与ODM的特征谱的通道数匹配。
第3步:将上一步得到的4个进行通道数匹配后的分类结果特征谱Conf3、Conf4、Conf5、Conf6和对应的尺寸相同的4层多分类特征谱一一进行点对点相乘(Hadamard积)式的融合,得到优化后的多分类特征谱P3′=Conf3*P3、P4′=Conf4*P4、P5′=Conf5*P5、P6′=Conf6*P6。
Claims (3)
1.基于区域建议注意力的目标检测方法,其特征在于,包括以下步骤:
1)将待检测图像输入RefineDet网络,其ARM模块经卷积得到尺寸从大到小的N层0/1分类特征谱,N层不同尺寸的0/1分类特征谱经二分类处理后得到相应的N层分类结果特征谱;
2)ODM模块得到尺寸从小到大的N层多分类特征谱;
3)ODM模块将N层升维后的分类结果特征谱分别与相同尺寸的多分类特征谱通过哈达马积的方式进行融合,得到N层优化后的多分类特征谱;所述升维是指将分类结果特征谱升维到与多分类特征谱的通道数相同;
4)ODM模块将优化后的多分类特征谱用于后续RefineDet网络的目标定位和目标分类。
2.如权利要求1所述方法,其特征在于,步骤2)具体为:ODM模块将ARM模块中各层0/1分类特征谱进行通道数匹配,将进行通道数匹配后最小尺寸的0/1分类特征谱作为ODM模块中最小尺寸的多分类特征谱,最小尺寸的多分类特征作为第1层多分类特征经N-1次上采样依次得到第2到第N层上采样特征谱;将尺寸相同的第n-1层上采样特征谱与其尺寸相同的通道数匹配后0/1分类特征谱相加后得到的特征谱作为第n层多分类特征谱;n=2,…,N;所述通道数匹配为使得0/1分类特征谱的通道数与多分类特征谱的通道数相同的处理。
3.如权利要求1所述方法,其特征在于,N=4。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910802929.9A CN110619356B (zh) | 2019-08-28 | 2019-08-28 | 基于区域建议注意力的目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910802929.9A CN110619356B (zh) | 2019-08-28 | 2019-08-28 | 基于区域建议注意力的目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110619356A true CN110619356A (zh) | 2019-12-27 |
CN110619356B CN110619356B (zh) | 2023-03-28 |
Family
ID=68922540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910802929.9A Active CN110619356B (zh) | 2019-08-28 | 2019-08-28 | 基于区域建议注意力的目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110619356B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126514A (zh) * | 2020-03-30 | 2020-05-08 | 同盾控股有限公司 | 图像多标签分类方法、装置、设备及介质 |
CN112446372A (zh) * | 2020-12-08 | 2021-03-05 | 电子科技大学 | 基于通道分组注意力机制的文本检测方法 |
CN112733792A (zh) * | 2021-01-21 | 2021-04-30 | 高新兴科技集团股份有限公司 | 一种基于监控视频的倒地行为检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060029253A1 (en) * | 2004-07-30 | 2006-02-09 | Euclid Discoveries Llc | Apparatus and method for processing video data |
CN105046701A (zh) * | 2015-07-08 | 2015-11-11 | 安徽大学 | 一种基于构图线的多尺度显著目标检测方法 |
US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
CN109035251A (zh) * | 2018-06-06 | 2018-12-18 | 杭州电子科技大学 | 一种基于多尺度特征解码的图像轮廓检测方法 |
CN109308458A (zh) * | 2018-08-31 | 2019-02-05 | 电子科技大学 | 一种基于特征谱尺度变换提升小目标检测精度的方法 |
-
2019
- 2019-08-28 CN CN201910802929.9A patent/CN110619356B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060029253A1 (en) * | 2004-07-30 | 2006-02-09 | Euclid Discoveries Llc | Apparatus and method for processing video data |
US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
CN105046701A (zh) * | 2015-07-08 | 2015-11-11 | 安徽大学 | 一种基于构图线的多尺度显著目标检测方法 |
CN109035251A (zh) * | 2018-06-06 | 2018-12-18 | 杭州电子科技大学 | 一种基于多尺度特征解码的图像轮廓检测方法 |
CN109308458A (zh) * | 2018-08-31 | 2019-02-05 | 电子科技大学 | 一种基于特征谱尺度变换提升小目标检测精度的方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126514A (zh) * | 2020-03-30 | 2020-05-08 | 同盾控股有限公司 | 图像多标签分类方法、装置、设备及介质 |
CN112446372A (zh) * | 2020-12-08 | 2021-03-05 | 电子科技大学 | 基于通道分组注意力机制的文本检测方法 |
CN112446372B (zh) * | 2020-12-08 | 2022-11-08 | 电子科技大学 | 基于通道分组注意力机制的文本检测方法 |
CN112733792A (zh) * | 2021-01-21 | 2021-04-30 | 高新兴科技集团股份有限公司 | 一种基于监控视频的倒地行为检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110619356B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Improved YOLOv5 network for real-time multi-scale traffic sign detection | |
US10657364B2 (en) | System and method for deep network fusion for fast and robust object detection | |
CN110619356B (zh) | 基于区域建议注意力的目标检测方法 | |
US8488877B1 (en) | System for object recognition in colorized point clouds | |
Alsanad et al. | YOLO-V3 based real-time drone detection algorithm | |
Zhang et al. | ReYOLO: A traffic sign detector based on network reparameterization and features adaptive weighting | |
Hashmi et al. | Application of deep learning for weapons detection in surveillance videos | |
Ding et al. | Prior knowledge-based deep learning method for indoor object recognition and application | |
CN114821018A (zh) | 一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法 | |
Shi et al. | Layout-aware subfigure decomposition for complex figures in the biomedical literature | |
Arshad | Object Detection in Last Decade-A Survey | |
Liu et al. | YOLO_Bolt: a lightweight network model for bolt detection | |
US10346716B2 (en) | Fast joint template machining | |
Batsis et al. | Illicit item detection in X-ray images for security applications | |
CN110674845B (zh) | 一种结合多感受野注意与特征再校准的菜品识别方法 | |
Song et al. | ODSPC: deep learning-based 3D object detection using semantic point cloud | |
Chen et al. | Road object detection using a disparity-based fusion model | |
Rawat et al. | Surveillance System using Moving Vehicle Number Plate Recognition | |
CN109308458B (zh) | 一种基于特征谱尺度变换提升小目标检测精度的方法 | |
CN113658222A (zh) | 一种车辆检测跟踪方法及装置 | |
CN112836510A (zh) | 一种产品图片文字识别方法和系统 | |
Yuan et al. | Improved SSD for Door Panel Missed Installations Inspection Using PASSD | |
Mane et al. | A Metaphor Analysis on Vehicle License Plate Detection using Yolo-NAS and Yolov8 | |
Adedayo et al. | Real-time automated detection and recognition of Nigerian license plates via deep learning single shot detection and optical character recognition | |
Ou et al. | Drone-TOOD: A Lightweight Task-Aligned Object Detection Algorithm for Vehicle Detection in UAV Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |