CN108596170B - 一种自适应非极大抑制的目标检测方法 - Google Patents

一种自适应非极大抑制的目标检测方法 Download PDF

Info

Publication number
CN108596170B
CN108596170B CN201810239211.9A CN201810239211A CN108596170B CN 108596170 B CN108596170 B CN 108596170B CN 201810239211 A CN201810239211 A CN 201810239211A CN 108596170 B CN108596170 B CN 108596170B
Authority
CN
China
Prior art keywords
candidate
adjacent
adaptive
target
candidate frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810239211.9A
Other languages
English (en)
Other versions
CN108596170A (zh
Inventor
郭春生
李慧娟
陈华华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810239211.9A priority Critical patent/CN108596170B/zh
Publication of CN108596170A publication Critical patent/CN108596170A/zh
Application granted granted Critical
Publication of CN108596170B publication Critical patent/CN108596170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自适应非极大抑制的目标检测方法，包括：S1：选取初始候选框集合进行迭代处理以对初始候选框集合内的候选框进行遍历排序得分，并将排序得分非最高得分的所有候选框组成剩余候选框集合；S2：基于剩余候选框集合中的两相邻候选框的注意力地图的差异以获取两相邻候选框的相邻目标区分度；S3：基于两相邻候选框的相邻目标区分度，构建自适应得分衰减函数并基于自适应衰减得分函数的计算结果自动赋予与两相邻候选框的得分相对应的衰减系数；S4：对两相邻候选框重新得分并丢弃得分低于阈值的候选框；S5：迭代重复步骤S2～S4，并判断剩余候选框集合中候选框数量是否为1；若是，则终止目标检测并输出最终的候选框融合结果。

Description

一种自适应非极大抑制的目标检测方法
技术领域
本发明涉及目标检测技术领域，尤其涉及一种自适应非极大抑制的目标检测方法。
背景技术
在实际应用中，目标检测经常需要处理各种场景，尤其经常需要处理复杂的场景，例如城市环境中，目标检测系统经常需要面对包含大量目标且这些目标相互交叠在一起的场景，这对目标检测任务构成极大的挑战。在这种情形下，目标检测经常由于多重候选区域在同一感兴趣区域进行回归而导致混乱的检测结果，非极大抑制(NMS)则通常作为一种后处理步骤以得到最终的处理结果。而非极大抑制的一个主要问题就是其会将超过NMS阈值的相邻候选框的得分设置为0，即通过删除检测结果来做出硬决策，这种决策是基于一个固定的交叠比例阈值(即为NMS阈值)，这个阈值控制着抑制宽度。一个宽抑制将会移除邻近的高分检测结果，这样就很可能会产生假阳性从而降低准确率。另一方面，如果目标是邻近的(例如在拥挤的场景中)，邻近的检测结果很可能是正确的正样本，这种情况下，抑制宽度应该收缩以提高召回率。因此，当目标相互邻近时，无论如何调节阈值，传统非极大抑制都注定要牺牲精确度或者召回率。
发明内容
针对上述问题，本发明公开了一种自适应非极大抑制的目标检测方法，包括步骤：
S1：选取初始候选框集合进行迭代处理以对初始候选框集合内的候选框进行遍历排序得分，并将排序得分非最高得分的所有候选框组成剩余候选框集合；
S2：基于剩余候选框集合中的两相邻候选框的注意力地图的差异以获取两相邻候选框的相邻目标区分度；相邻目标区分度是用于衡量目标错失可能性的大小；
S3：基于两相邻候选框的相邻目标区分度，构建自适应得分衰减函数并基于自适应衰减得分函数的计算结果自动赋予与两相邻候选框的得分相对应的衰减系数；
S4：对两相邻候选框重新得分，并丢弃得分低于阈值的候选框；
S5：迭代重复步骤S2～S4，并判断剩余候选框集合中候选框数量是否为1；若是，则终止目标检测并输出最终的候选框融合结果。
进一步的，步骤S2中两相邻候选框候选区域的交叠部分的相邻目标区分度函数关系式为：
Figure GDA0003065700190000021
其中，该相邻目标区分度的函数关系式表示两个注意力地图在并区域上不同的点的总和与并区域面积之比，用于返佣相邻目标错失可能性的大小；CA和CB分别表示候选区域A和B的注意力地图；A∪B表示A和B的并区域，令w和h分别表示并区域的宽和高；其中，Threshold(C,bt)为可以根据实际需要进行选择的二值化函数，bt表示二值化阈值，area(r)表示求区域r的面积。
进一步的，若CA和CB完全不同时，则相邻目标区分度函数关系式的分子为并区域的面积，d(CA,CB)＝1；若所述CA和CB完全相同时，则相邻目标区分度函数关系式的分子为0，d(CA,CB)＝0。
进一步的，若并区域上两个注意力地图不相同点的总和小于并区域的面积时，则d(CA,CB)∈[0,1]。
进一步的，上述步骤S3中自适应得分衰减函数为：
Figure GDA0003065700190000031
其中，a为自适应衰减参数，候选框bi与M为相邻候选框。
进一步的，自适应得分衰减参数与相邻目标区分度的函数关系式为：
a＝k·d(Ci,CM)+b
其中，自适应衰减参数a与目标错失可能性相关联，d(Ci,CM)表示候选框bi和M之间的相邻目标区分度，k为一个线性系数，b为偏置。
进一步的，步骤S3中自适应得分衰减函数关系式为：
a＝k·d2(Ci,CM)+b，
其中，自适应衰减参数a与目标错失可能性相关联，d(Ci,CM)表示候选框bi和M之间的相邻目标区分度，k为一个线性系数，b为偏置。
本发明的有益效果在于：本发明所公开的一种自适应非极大抑制(NMS)的目标检测方法，可以更有效地应对拥挤场景下的目标检测任务，是一种更接近生物视觉机制的融合方案，其基于注意力地图提出了相邻目标区分度(用于计算交叠候选区域目标错失的可能性)；并基于所提出的相邻目标区分度，分别设计了线性和非线性的自适应参数应用于自适应得分衰减函数中，从而在每次对候选框的遍历中，每个候选框的排序得分都会根据其与当前最高得分候选框之间的相邻目标区分度以及交叠比例得到衰减，可以在有效保留交叠区域中包含不同目标的候选框的同时抑制对已检测目标进行重复检测的候选框，从而突破了传统NMS需要手工设计NMS阈值的限制，达到自适应融合候选框的效果，有助于提升目标检测性能。
附图说明
图1为相邻目标区分度的计算原理；
图2为实施例一中的一种自适应非极大抑制的目标检测方法流程图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
参照图2，本实施例公开了一种自适应非极大抑制的目标检测方法，包括步骤：
S1：选取初始候选框集合进行迭代处理以对所述初始候选框集合内的候选框进行遍历排序得分，并将排序得分非最高得分的所有候选框组成剩余候选框集合；其中对于得分最高的候选框处理方式为是将得分最高的候选框直接送入目标检测结果中。
S2：基于剩余候选框集合中的两相邻候选框的注意力地图的差异以获取两相邻候选框的相邻目标区分度；其中相邻目标区分度是用于衡量目标错失可能性的大小。
S3：基于所述两相邻候选框的相邻目标区分度，构建自适应得分衰减函数并基于自适应衰减函数的计算结果自动赋予与两相邻候选框的得分相对应的衰减系数。
S4：对两相邻候选框重新得分，并丢弃得分低于阈值的候选框。其中，阈值指的是NMS阈值。其中，两相邻候选框重新得分是依据步骤3中两相邻候选框的衰减系数进行评分得到。
S5：迭代重复步骤S2～S4，并判断剩余候选框集合中候选框数量是否为1；若是，则终止目标检测并输出最终的候选框融合结果。
具体的，步骤S2中两相邻候选框候选区域的交叠部分的相邻目标区分度函数关系式为：
Figure GDA0003065700190000051
其中，该相邻目标区分度的函数关系式表示两个注意力地图在并区域上不同的点的总和与并区域面积之比，用于反映相邻目标错失可能性的大小；CA和CB分别表示候选区域A和B的注意力地图；A∪B表示A和B的并区域，令w和h分别表示并区域的宽和高；其中，Threshold(C,bt)为可以根据实际需要进行选择的二值化函数，bt表示二值化阈值，area(r)表示求区域r的面积。
若CA和CB完全不同时，则相邻目标区分度函数关系式的分子为并区域的面积，d(CA,CB)＝1；若所述CA和CB完全相同时，则相邻目标区分度函数关系式的分子为0，d(CA,CB)＝0；若并区域上两个注意力地图不相同点的总和小于并区域的面积时，则d(CA,CB)∈[0,1]。
参照图1，对于相邻目标区分度的计算原理为：
当得到两个相邻候选框(候选框b1与候选框b2)的注意力地图后，候选框b1的注意力地图100与候选框b2的注意力地图200对应的并区域部分会分别得到二值化处理，然后对两个二值化处理后的注意力地图300与注意力地图400进行异或处理，从而得到两幅注意力地图的相异表示图500，最后，将相异表示图叠加后除以原并区域的面积就是对应的相邻目标区分度600。
具体的，步骤S3中自适应得分衰减函数关系式为：
Figure GDA0003065700190000061
其中，a为自适应衰减参数，候选框bi与M为相邻候选框。
自适应衰减参数与相邻目标区分度的函数关系式为：
a＝k·d(Ci,CM)+b
其中，自适应得分衰减函数为线性函数；自适应衰减参数a与目标错失可能性相关联，d(Ci,CM)表示候选框bi和M之间的相邻目标区分度，k为一个线性系数，b为偏置。
但是，由于相邻目标区分度与目标错失可能性之间的关系复杂，通过线性的自适应衰减函数并不能准确的描述相邻目标区分度与目标错失可能性之间的复杂关系。因此，当自适应衰减函数为非线性函数时，其自适应衰减参数与相邻目标区分度的函数关系式为：
a＝k·d2(Ci,CM)+b
其中，参数a与目标错失可能性相关联，d(Ci,CM)表示候选框bi和M之间的相邻目标区分度，k为一个线性系数，b为偏置。
本实施例所公开的一种自适应非极大抑制(NMS)的目标检测方法，可以更有效地应对拥挤场景下的目标检测任务，是一种更接近生物视觉机制的融合方案，其基于注意力地图提出了相邻目标区分度(用于计算交叠候选区域目标错失的可能性)；并基于所提出的相邻目标区分度，分别设计了线性和非线性的自适应参数应用于自适应得分衰减函数中，从而在每次对候选框的遍历中，每个候选框的排序得分都会根据其与当前最高得分候选框之间的相邻目标区分度以及交叠比例得到衰减，可以在有效保留交叠区域中包含不同目标的候选框的同时抑制那些对已检测目标进行重复检测的候选框，从而突破了传统NMS需要手工设计NMS阈值的限制，达到自适应融合候选框的效果，有助于提升目标检测性能。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种自适应非极大抑制的目标检测方法，其特征在于，所述目标检测方法包括步骤：
S1：选取拥挤场景下初始候选框集合进行迭代处理以对所述初始候选框集合内的候选框进行遍历排序得分，并将排序得分非最高得分的候选框组成剩余候选框集合；
S2：基于所述剩余候选框集合中两相邻候选框形成的注意力地图的差异以获取两相邻候选框的相邻目标区分度；所述相邻目标区分度是用于衡量目标错失可能性的大小；所述步骤S2中两相邻候选框候选区域的相邻目标区分度函数关系式为：
Figure FDA0003114219200000011
其中，所述相邻目标区分度的函数关系式表示两个注意力地图在并区域上不同的点的总和与并区域面积之比，用于反映所述相邻目标错失可能性的大小；所述CA和CB分别表示候选区域A和B的注意力地图；AUB表示A和B的并区域，令w和h分别表示并区域的宽和高，所述Threshold(C,bt)为根据实际需要进行选择的二值化函数，所述bt表示二值化阈值，area(r)表示求区域r的面积；
S3：基于所述两相邻候选框的相邻目标区分度，构建自适应得分衰减函数并基于所述自适应得分衰减函数自动赋予与所述两相邻候选框的得分相对应的衰减系数；所述步骤S3中自适应得分衰减函数为：
Figure FDA0003114219200000012
其中，a为自适应衰减参数，候选框bi与M为相邻候选框；
S4：对所述两相邻候选框重新得分，并丢弃得分低于阈值的候选框；
S5：迭代重复步骤S2～S4，并判断所述剩余候选框集合中候选框数量是否为1；若是，则终止目标检测并输出最终的候选框融合结果。
2.如权利要求1所述的一种自适应非极大抑制的目标检测方法，其特征在于，若所述CA和CB完全不同时，则所述相邻目标区分度函数关系式的分子为并区域的面积，所述d(CA,CB)＝1；若所述CA和CB完全相同时，则所述相邻目标区分度函数关系式的分子为0，所述d(CA,CB)＝0。
3.如权利要求2所述的一种自适应非极大抑制的目标检测方法，其特征在于，若所述并区域上两个注意力地图不相同点的总和小于所述并区域的面积时，所述d(CA,CB)∈[0,1]。
4.如权利要求1所述的一种自适应非极大抑制的目标检测方法，其特征在于，自适应衰减参数与相邻目标区分度的函数关系式为：
a＝k·d2(Ci,CM)+b，
其中，所述自适应衰减参数a与所述目标错失可能性相关联，所述d(Ci,CM)表示候选框bi和M之间的相邻目标区分度，k为一个线性系数，b为偏置。
CN201810239211.9A 2018-03-22 2018-03-22 一种自适应非极大抑制的目标检测方法 Active CN108596170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810239211.9A CN108596170B (zh) 2018-03-22 2018-03-22 一种自适应非极大抑制的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810239211.9A CN108596170B (zh) 2018-03-22 2018-03-22 一种自适应非极大抑制的目标检测方法

Publications (2)

Publication Number Publication Date
CN108596170A CN108596170A (zh) 2018-09-28
CN108596170B true CN108596170B (zh) 2021-08-24

Family

ID=63626976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810239211.9A Active CN108596170B (zh) 2018-03-22 2018-03-22 一种自适应非极大抑制的目标检测方法

Country Status (1)

Country Link
CN (1) CN108596170B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245620B (zh) * 2019-06-18 2021-08-20 杭州电子科技大学 一种基于注意力的非最大化抑制方法
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111967595B (zh) * 2020-08-17 2023-06-06 成都数之联科技股份有限公司 候选框标注方法及系统及模型训练方法及目标检测方法
CN112200089B (zh) * 2020-10-12 2021-09-14 西南交通大学 一种基于车辆计数感知注意力的稠密车辆检测方法
CN113486722A (zh) * 2021-06-10 2021-10-08 青岛本原微电子有限公司 基于dsp的非极大值抑制算法的实现方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810161A (zh) * 2012-06-07 2012-12-05 江苏物联网研究发展中心 一种用于拥挤场景下的多个行人检测方法
CN103003814A (zh) * 2010-05-14 2013-03-27 数据逻辑Adc公司 使用大型数据库进行对象识别的系统及方法
CN105303581A (zh) * 2014-06-12 2016-02-03 南京理工大学 一种自适应参数的运动目标检测方法
CN106327492A (zh) * 2016-08-23 2017-01-11 北京光年无限科技有限公司 一种面向智能机器人的注意力数据处理方法及装置
CN106934346A (zh) * 2017-01-24 2017-07-07 北京大学 一种目标检测性能优化的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103003814A (zh) * 2010-05-14 2013-03-27 数据逻辑Adc公司 使用大型数据库进行对象识别的系统及方法
CN102810161A (zh) * 2012-06-07 2012-12-05 江苏物联网研究发展中心 一种用于拥挤场景下的多个行人检测方法
CN105303581A (zh) * 2014-06-12 2016-02-03 南京理工大学 一种自适应参数的运动目标检测方法
CN106327492A (zh) * 2016-08-23 2017-01-11 北京光年无限科技有限公司 一种面向智能机器人的注意力数据处理方法及装置
CN106934346A (zh) * 2017-01-24 2017-07-07 北京大学 一种目标检测性能优化的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Multi-label Image Recognition by Recurrently Discovering Attentional Regions";Zhouxia Wang et al.;《2017 IEEE International Conference on Computer Vision》;20171231;第464-472页 *
"SALIENCY DETECTION BASED ON EXTENDED BOUNDARY PRIOR WITH FOCI OF ATTENTION";Yijun Li et al.;《2014 IEEE International Conference on Acoustic, Speech and Signal Processing (ICASSP)》;20141231;第2798-2802页 *
"拥挤场景中对多个人的检测和跟踪技术研究";徐曼;《上海电力学院学报》;20130430;第29卷(第2期);第180-184页 *
"结合相位一致性和脉冲耦合神经网络的图像检索";吴骏 等;《天津工业大学学报》;20140630;第33卷(第3期);第48-54页 *

Also Published As

Publication number Publication date
CN108596170A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108596170B (zh) 一种自适应非极大抑制的目标检测方法
CN109035276B (zh) 一种图像边缘提取方法、装置及自动驾驶系统
JP6016061B2 (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US7162089B2 (en) Method for segmenting and recognizing an image in industry radiation imaging
CN107330885B (zh) 一种保持重要内容区域宽高比的多算子图像重定向方法
CN110110682B (zh) 遥感图像的语义立体重构方法
CN109785247B (zh) 激光雷达异常点云数据的修正方法、装置及存储介质
CN111709975A (zh) 多目标跟踪方法、装置、电子设备及存储介质
CN101976436B (zh) 一种基于差分图修正的像素级多聚焦图像融合方法
Zhang et al. Salt and pepper noise removal with image inpainting
JP2005037378A (ja) 奥行計測方法と奥行計測装置
JP5506717B2 (ja) ステレオ画像においてオクルージョンをハンドリングするための方法
EP3293700A1 (en) 3d reconstruction for vehicle
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN108550134B (zh) 建图效果指标的确定方法和建图效果指标的确定装置
CN110708568A (zh) 一种视频内容突变检测方法及装置
CN113538523B (zh) 车位检测跟踪方法、电子设备及车辆
KR100930286B1 (ko) 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법
CN103413138A (zh) 一种红外图像序列中点目标检测方法
JP2005250994A (ja) ステレオ画像処理装置
Hermann et al. Inclusion of a second-order prior into semi-global matching
CN115830049A (zh) 角点检测的方法和装置
CN110363723B (zh) 改进图像边界效果的图像处理方法及装置
CN107330932B (zh) 一种修补视差图中噪点的方法及装置
CN111009036A (zh) 同步定位与地图构建中栅格地图的修正方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant