CN110826572B - 多目标检测的非极大值抑制方法、装置及设备 - Google Patents

多目标检测的非极大值抑制方法、装置及设备 Download PDF

Info

Publication number
CN110826572B
CN110826572B CN201810903584.1A CN201810903584A CN110826572B CN 110826572 B CN110826572 B CN 110826572B CN 201810903584 A CN201810903584 A CN 201810903584A CN 110826572 B CN110826572 B CN 110826572B
Authority
CN
China
Prior art keywords
target
category
detection
preset
duty ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810903584.1A
Other languages
English (en)
Other versions
CN110826572A (zh
Inventor
张欢欢
刘童
张忆非
唐小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810903584.1A priority Critical patent/CN110826572B/zh
Priority to JP2020562191A priority patent/JP7376508B2/ja
Priority to EP19846730.0A priority patent/EP3836005A4/en
Priority to PCT/CN2019/100039 priority patent/WO2020030134A1/zh
Publication of CN110826572A publication Critical patent/CN110826572A/zh
Priority to US16/904,800 priority patent/US11468594B2/en
Application granted granted Critical
Publication of CN110826572B publication Critical patent/CN110826572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种多目标检测的非极大值抑制方法、装置、设备及计算机可读存储介质，属于计算机技术领域，本发明的多目标检测的非极大值抑制方法，包括：获取各个检测出的目标的类别和置信分数，并按照置信分数对各个目标进行排序，得到检测队列；获取检测队列中置信分数最高的目标，记作目标A，判断目标A的置信分数是否满足类别预设条件；若目标A的置信分数满足其所属类别的类别预设条件，判断目标A的检测框是否与其它目标的检测框存在交叠；若判断出目标A与其它目标的检测框存在交叠，将检测框与目标A的检测框存在交叠的目标记作目标B，判断目标A与目标B是否为同一类别，并根据判断结果采用对应的抑制算法，判断目标B是否被抑制。

Description

多目标检测的非极大值抑制方法、装置及设备
技术领域
本发明属于计算机技术领域，具体涉及一种多目标检测的非极大值抑制方法、装置、设备及计算机可读存储介质。
背景技术
非极大值抑制(Non-Maximum,Suppression,NMS)是计算机视觉中的重要的一环。在计算机视觉任务中，经常用来在整个图像上提取有效的特征点，然后进行局部搜索，取出局部得分最高的特征点。
对于密集分布的多目标检测而言，启发式窗口融合算法容易造成大量漏检测，均值漂移非极大值抑制，计算复杂，不利于实时检测，目前的贪心策略的非极大值针对人脸检测、行人检测等单一类别目标检测精度提升具有较好的效果，对于多种类别密集分布的多目标检测精度的提升存在一定局限性。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提供一种提高多目标检测精度的多目标检测的非极大值抑制方法、装置、设备及计算机可读存储介质。
解决本发明技术问题所采用的技术方案是一种多目标检测的非极大值抑制方法，包括：
获取各个检测出的目标的类别和置信分数，并按照置信分数的高低对各个所述目标进行排序，得到检测队列；
获取所述检测队列中置信分数最高的目标，将其记作目标A，并判断所述目标A的置信分数是否满足其所属类别的类别预设条件；
若所述目标A的置信分数满足其所属类别的类别预设条件，则判断所述目标A的检测框是否与其它目标的检测框存在交叠；
若判断出所述目标A的检测框与其它目标的检测框存在交叠，将检测框与目标A的检测框存在交叠的目标记作目标B，则判断所述目标A与所述目标B是否为同一类别，并根据判断结果采用对应的抑制算法，判断所述目标B是否被抑制；
若所述目标B被抑制，则将所述目标A和所述目标B从所述检测队列中去除，得到当前检测队列，返回所述获取所述检测队列中置信分数最高的目标的步骤，并将所述当前检测队列作为该步骤中的所述检测队列，遍历所述检测队列中的所有目标；
若所述目标B被保留，则将所述目标A从所述检测队列中去除，得到当前检测队列，返回所述获取所述检测队列中置信分数最高的目标的步骤，并将所述当前检测队列作为该步骤中的所述检测队列，遍历所述检测队列中的所有目标。
优选的是，所述判断所述目标A的置信分数是否满足其所属类别的类别预设条件的步骤，包括：
判断所述目标A的置信分数是否大于第一阈值；
若所述目标A的置信分数大于所述第一阈值，则判断所述目标A的置信分数是否大于第二阈值；其中，THR2＝ave1-γ×std1；其中，THR2代表第二阈值，γ选取1-3之间的任意数值，ave1代表所述目标A所属类别中各个目标的置信分数的均值，std1代表所述目标A所属类别中各个目标的置信分数的方差；
若所述目标A的置信分数大于所述第二阈值，则判断所述目标A是否为其所属类别在检测队列中第一个被处理的目标；
若所述目标A不是其所属类别在检测队列中第一个被处理的目标，则判断所述目标A的置信分数和与其所属同一类别的上一个被处理的目标的置信分数之差是否小于第三阈值，若小于所述第三阈值则执行判断所述目标A的检测框是否与其它目标的检测框存在交叠的步骤。
优选的是，所述若判断出所述目标A的检测框与其它目标的检测框存在交叠，将检测框与目标A的检测框存在交叠的目标记作目标B，则判断所述目标A与所述目标B是否为同一类别，并根据判断结果采用对应的抑制算法，判断所述目标B是否被抑制的步骤，包括：
判断所述目标A和所述目标B是否为同一类别；
若所述目标A和所述目标B为同一类别，则根据所述目标A和所述目标B的置信分数与其所属类别的第一预设类别阈值的大小关系，以及所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值，其中，所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值分别记作第一占比值和第二占比值，判断所述目标B是否被抑制；
若所述目标A和所述目标B不为同一类别，则根据所述目标A和所述目标B各自的置信分数与其所属类别的所述第一预设类别阈值的大小关系，所述第一占比值和所述第二占比值，以及所述目标B的置信分数与第二预设类别阈值的大小关系，判断所述目标B是否被抑制。
优选的是所述若所述目标A和所述目标B为同一类别，则根据所述目标A和所述目标B的置信分数与其所属类别的第一预设类别阈值的大小关系，以及所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值，其中，所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值分别记作第一占比值和第二占比值，判断所述目标B是否被抑制的步骤，包括：
判断所述目标A和所述目标B的置信分数是否均大于这二者所属类别的所述第一预设类别阈值；其中，THR4＝ave1+2×std1；其中，THR4代表所述目标A和所述目标B所属类别的第一预设类别阈值，ave1代表所述目标A的所属类别中各个目标的置信分数的均值，std1代表所述目标A的所属类别中各个目标的置信分数的方差；
若所述目标A和所述目标B的置信分数均大于所述第一预设类别阈值，则所述目标B一定被保留；
若所述目标B的置信分数小于所述第一预设类别阈值，则计算第一占比值和第二占比值，并判断第一占比值和第二占比值中最大的占比值是否大于第一预设占比值，若大于则将所述目标B进行抑制，否则反之。
优选的是，所述若所述目标A和所述目标B不为同一类别，则根据所述目标A和所述目标B各自的置信分数与其所属类别的所述第一预设类别阈值的大小关系，所述第一占比值和所述第二占比值，以及所述目标B的置信分数与第二预设类别阈值的大小关系，判断所述目标B是否被抑制的步骤，包括：
判断所述目标A的置信分数和所述目标B的置信分数是否均大于各自所属类别的第一预设类别阈值；
若所述目标A的置信分数和所述目标B的置信分数均大于各自所属类别的第一预设类别阈值，则所述目标B一定被保留；
若所述目标B的置信分数小于其所属类别的第一预设类别阈值，则获取所述第一占比值和所述第二占比值，并判断所述第一占比值和所述第二占比值是否均大于第二预设占比值；
若所述第一占比值和所述第二占比值均大于所述第二预设占比值，则所述目标B被抑制；
若所述第一占比值和所述第二占比值不是均大于所述第二预设占比值，则判断所述第一占比值是否大于第三预设占比值，以及判断所述目标B的置信分数是否小于所述第二预设类别阈值，THR5＝ave2-γ×std2，其中，THR5代表所述目标B所属类别的第二预设类别阈值，γ选取1-3之间的任意数值，ave2代表所述目标B的所属类别中各个目标的置信分数的均值，std2代表所述目标B的所属类别中各个目标的置信分数的方差；
若所述第一占比值大于第三预设占比值，且判断出所述目标B的置信分数小于第二预设类别阈值，则目标B被抑制，否则反之；
若所述第一占比值小于或者等于第三预设占比值，且判断出所述第一占比值大于第四预设占比值，则目标B被抑制，否则反之。
解决本发明技术问题所采用的技术方案是一种多目标检测的非极大值抑制装置，包括：
获取单元，用于获取各个检测出的目标的类别和置信分数，并按照置信分数的高低对各个目标进行排序，得到检测队列；
第一判断单元，用于获取所述检测队列中置信分数最高的目标，将其记作目标A，并判断所述目标A的置信分数是否满足其所属类别的类别预设条件；
第二判断单元，用于当所述第一判断单元判断出所述目标A的置信分数满足其所属类别的类别预设条件时，判断所述目标A的检测框是否与其它目标的检测框存在交叠；
第三判断单元，用于当所述第二判断单元判断出所述目标A的检测框与其它目标的检测框存在交叠时，将检测框与目标A的检测框存在交叠的目标记作目标B，则判断所述目标A与所述目标B是否为同一类别，并根据判断结果采用对应的抑制算法，判断所述目标B是否被抑制；
抑制单元，用于在所述第三判断单元判断出目标B被抑制时将目标B抑制；
遍历单元，用于按照预设算法遍历所述检测队列中的各个目标。
优选的是，第一判断单元包括：
第一判断模块，用于判断所述目标A的置信分数是否大于第一阈值；
第二判断模块，用于当所述第一判断模块判断出所述目标A的置信分数大于所述第一阈值时，判断所述目标A的置信分数是否大于第二阈值；其中，THR2＝ave1-γ×std1；其中，THR2代表第二阈值，γ选取1-3之间的任意数值，ave1代表所述目标A所属类别中各个目标的置信分数的均值，std1代表所述目标A所属类别中各个目标的置信分数的方差；
第三判断模块，用于当所述第二判断模块判断出目标A的置信分数大于所述第二阈值时，判断所述目标A是否为其所属类别在检测队列中第一个被处理的目标；
第四判断模块，用于当所述第三判断模块判断出所述目标A不是其所属类别在检测队列中第一个被处理的目标，判断所述目标A的置信分数和与其所属同一类别的上一个被处理的目标的置信分数之差是否大于第三阈值。
优选的是，所述第三判断单元包括：
第五判断模块，用于判断所述目标A和所述目标B是否为同一类别；
第六判断模块，用于当所述第五判断模块判断出所述目标A和所述目标B为同一类别时，根据所述目标A和所述目标B的置信分数与其所属类别的第一预设类别阈值的大小关系，以及所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值，其中，所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值分别记作第一占比值和第二占比值，判断所述目标B是否被抑制；
第七判断模块，用于当所述第五判断模块判断出所述目标A和所述目标B不为同一类别时，根据所述目标A和所述目标B各自的置信分数与其所属类别的所述第一预设类别阈值的大小关系，所述第一占比值和所述第二占比值，以及所述目标B的置信分数与第二预设类别阈值的大小关系，判断所述目标B是否被抑制。
优选的是，所述第六判断模块，具体用于判断所述目标A和所述目标B的置信分数是否均大于这二者所属类别的所述第一预设类别阈值；其中，THR4＝ave1+2×std1；其中，THR4代表所述目标A和所述目标B所属类别的第一预设类别阈值，ave1代表所述目标A的所属类别中各个目标的置信分数的均值，std1代表所述目标A的所属类别中各个目标的置信分数的方差；
若所述目标A和所述目标B的置信分数均大于所述第一预设类别阈值，则所述目标B一定被保留；
若所述目标B的置信分数小于所述第一预设类别阈值，则计算第一占比值和第二占比值，并判断第一占比值和第二占比值中最大的占比值是否大于第一预设占比值，若大于则将所述目标B进行抑制，否则反之。
优选的是，所述第七判断模块，具体用于判断所述目标A的置信分数和所述目标B的置信分数是否均大于各自所属类别的第一预设类别阈值；
若所述目标A的置信分数和所述目标B的置信分数均大于各自所属类别的第一预设类别阈值，则所述目标B一定被保留；
若所述目标B的置信分数小于其所属类别的第一预设类别阈值，则获取所述第一占比值和所述第二占比值，并判断所述第一占比值和所述第二占比值是否均大于第二预设占比值；
若所述第一占比值和所述第二占比值均大于所述第二预设占比值，则所述目标B被抑制；
若所述第一占比值和所述第二占比值不是均大于所述第二预设占比值，则判断所述第一占比值是否大于第三预设占比值，以及判断所述目标B的置信分数是否小于所述第二预设类别阈值，THR5＝ave2-γ×std2，其中，THR5代表所述目标B所属类别的第二预设类别阈值，γ选取1-3之间的任意数值，ave2代表所述目标B的所属类别中各个目标的置信分数的均值，std2代表所述目标B的所属类别中各个目标的置信分数的方差；
若所述第一占比值大于第三预设占比值，且判断出所述目标B的置信分数小于第二预设类别阈值，则目标B被抑制，否则反之；
若所述第一占比值小于或者等于第三预设占比值，且判断出所述第一占比值大于第四预设占比值，则目标B被抑制，否则反之。
解决本发明技术问题所采用的技术方案是一种多目标检测的非极大值抑制设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机指令，所述处理器配置成执行所述计算机指令时实现如上述中任一项所述方法的一个或多个步骤。
解决本发明技术问题所采用的技术方案是一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现如上述中任一项所述方法的一个或多个步骤。
附图说明
图1为本发明的实施例1的多目标检测的非极大值抑制方法的流程图；
图2为本发明的实施例2的多目标检测的非极大值抑制装置的示意图；
图3为本发明的实施例2的多目标检测的非极大值抑制装置中的第一判断单元的示意图；
图4为本发明的实施例2的多目标检测的非极大值抑制装置中的第二判断单元的示意图；
图5为本发明的实施例3的多目标检测的非极大值抑制设备的示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。
实施例1：
结合图1所示，本实施例提供一种多目标检测的非极大值抑制方法，该方法具体可以应用至超市、商场货架上的商品检测、路人或路标等检测。该方法具体包括如下步骤：
S1、获取所显示图像中各个被检测出的目标的类别和置信分数，并按照置信分数的高低对各个目标进行排序，得到检测队列。
步骤S1具体的可以包括：获取所显示画面中的各个目标的检测框，之后确定出检测框中的各个目标，以及目标的类别和置信分数，并按照置信分数的高低对各个目标进行排序，获取检测队列，其中各个目标的置信分数可以由高至低进行排序，也可以由低至高进行排序。在本实施例中以检测队列中的各个目标是按照置信分数由高至低排序为例进行说明的。
S2、获取检测队列中置信分数最高的目标，将其标记为目标A，并判断目标A的置信分数是否符合其所属类别的类别预设条件。在此需要说明的是的，在本实施例中只是为了描述方便，将检测队列中置信分数最高的目标用目标A表示，虽然此处描述为“将其标记为目标A”，但并不代表对该目标做任何的处理。
步骤S2具体可以采用以下步骤实现：
S21、判断目标A的置信分数是否大于第一阈值。
具体的，若目标A的所属类别为k，第一阈值用THR1表示，若目标A的置信分数小于等于第一阈值THR1，则目标A被抑制，若目标A的置信分数大于第一阈值THR1则执行步骤S22。
在此需要说明的是，若某一目标被抑制，则在本实施例的方法执行完成后关于该目标的信息则不会被输出，也即该目标的类别、置信分数、检测框位置信息等均不会被输出。在本实施例中某一目标不被抑制则是指被保留，也即在本实施例的方法执行完成后关于该目标的信息则会被输出，也即该目标的类别、置信分数、检测框位置信息等均会被输出。
S22、判断目标A的置信分数是否大于第二阈值THR2；其中，THR2＝ave1-γ×std1；其中，γ选取1-3之间的任意数值，ave1代表目标A所属类别(类别k)中各个目标的置信分数的均值，std1代表目标A所属类别(类别k)中各个目标的置信分数的方差，若在该步骤中判断出目标A小于第二阈值THR2，则目标A被抑制，若目标A的置信分数大于第二阈值THR2则执行步骤S23。
其中，步骤S22中的第二阈值THR2，以及计算第二阈值THR2所用的类别k中的各个目标的置信分数的均值和方差，可以在执行步骤S22的步骤之前计算得到，具体的可以在S21之前，而且还需要说明的是，γ的取值可以根据具体的检测场景具体设置。
S23、判断目标A是否为其所属类别(类别k)在检测队列中第一个被处理的目标；也就是说，在该步骤中判断一下目标A是否为步骤S21和步骤S22的目标，若不是则执行S24，若是第一个执行步骤S21和步骤S22的步骤目标，则直接执行步骤S3。
S24、判断目标A和与其所属同一类别(类别k)的上一个被处理的目标的置信分数之差是否大于第三阈值THR3，若这二者的置信分数之差小于第三阈值THR3则执行步骤S3。
S3、判断目标A的检测框是否与其它目标检测框存在交叠，若判断出存在其它目标的检测框与目标A的检测框存在交叠的情况，则执行步骤S4；若不存在其它目标的检测框与目标A的检测框交叠的情况，则将目标A从检测队列中去除，并返回步骤S2。
在此需要说明的是，为了描述简便，在本实施例中将检测框与目标A的检测框存在交叠的目标用目标B表示，其中，检测框与目标A的检测框存在交叠的目标B可以是一个也可以是多个，本实施例中仅以其中一个目标B为例进行说明。
S4、判断目标A和目标B是否为同一类别，并根据判断结果采用对应的抑制算法，判断目标B是否被抑制；其中，若目标A和目标B为同一类别采用第一抑制算法，判断目标B是否被抑制；若目标A和目标B不是同一类别采用第二抑制算法，判断目标B是否被抑制。
步骤S4具体可以采用以下步骤实现：
S41、判断目标A和目标B是否为同一类别，若目标A和目标B为同一类别，则执行步骤S42，也即采用第一抑制算法，判断目标B是否被抑制；若目标A和目标B不为同一类别，则执行步骤S42'，也即采用第二抑制算法，判断目标B是否被抑制。
S42、根据目标A和目标B的置信分数与其所属类别(类别k)的第一预设类别阈值的大小关系、以及这二者检测框的交叠面积分别占各自检测框面积的占比值(为了描述简便分别用第一占比值和第二占比值表示)，判断目标B是否被抑制，若判断出目标B被抑制则将目标B和目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，返回步骤S2，按照步骤S2-S4遍历检测队列中所有目标；若目标B被保留，则将目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，返回步骤S2，按照步骤S2-S4遍历检测队列中其余的目标。
其中，步骤S42具体可以采用如下步骤实现：
S421、判断目标A的置信分数和目标B的置信分数是否均大于这二者所属类别k的第一预设类别阈值THR4；其中，THR4＝ave1+2×std1；其中，ave1代表目标A的所属类别k中各个目标的置信分数的均值，std1代表目标A的所属类别k中各个目标的置信分数的方差。若判断出目标A和目标B均大于这二者所属类别k的第一预设类别阈值THR4，则目标B一定被保留，则将目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，返回步骤S2，按照步骤S2-S4遍历检测队列中其余的目标。若目标B的置信分数小于类别k的第一预设类别阈值THR4，则执行步骤S422。
在此需要说明的是，其中，本步骤中所用的ave1、std1与步骤S22中的值是相同的，因此均可以在步骤S21之前计算得到，当然也可以在使用时再计算，若通过上述公式所计算第一预设类别阈值THR4并不是大于0.9且小于0.98的值时，若计算得到的第一预设类别阈值THR4小于等于0.9，则认为第一预设类别阈值THR4等于0.9，若计算得到的第一预设类别阈值THR4大于等于0.98，则认为第一预设类别阈值THR4等于0.98。
S422、计算目标A的检测框和目标B的检测框的交叠面积分别占各自检测框面积的占比值，分别为第一占比值和第二占比值，并判断第一占比值和第二占比值中最大的占比值是否大于第一预设占比值，若大于则将目标B进行抑制。
步骤S422具体可以包括：获取目标A的检测框的面积S1、目标B的检测框的面积S2，以及目标A和目标B的检测框交叠面积S3；计算S1与S3的比值，得到目标A和目标B的检测框的交叠面积占目标A的检测框面积的占比值OverlapRatioi；同理，计算S2与S3的比值，得到目标A和目标B的检测框的交叠面积占目标B的检测框面积的占比值OverlapRatioj，将OverlapRatioi和OverlapRatioj二者中较大的值作为OverlapRatiomax，将OverlapRatiomax与第一预设占比值进行比较，其中，第一预设占比值可以等于0.8，若OverlapRatiomax大于0.8，目标B则被抑制，此时将目标B和目标A从检测队列中去除，并返回步骤S2，遍历检测队列中其余的目标；若目标B被保留，则将目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，并返回步骤S2，按照步骤S2-S4遍历检测队列中所有目标。
S42'根据目标A和目标B各自的置信分数与其所属类别的第一预设类别阈值的大小关系，目标A的检测框和目标B的检测框的交叠面积分别占各自检测框面积的占比值(分别为第一占比值和第二占比值)，以及目标B的置信分数与第二预设类别阈值的大小关系，判断目标B是否被抑制，若判断出目标B被抑制，则将目标B和目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，返回步骤S2，按照步骤S2-S4遍历检测队列中所有目标；若目标B被保留则将目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，返回步骤S2，按照步骤S2-S4遍历检测队列中其余的目标。
其中，步骤S42'具体可以采用如下步骤实现：
S421'、判断目标A的置信分数和目标B的置信分数是否均大于各自所属类别的第一预设类别阈值。其中，目标A的类别为k，目标B的类别为m，类别k的第一预设类别阈值THR4k，类别m的第一预设类别阈值THR4m，若目标A的置信分数大于类别k的第一预设类别阈值THR4k，同时，目标B的置信分数大于类别m的第一预设类别阈值THR4m，则目标B一定被保留，则将目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，返回步骤S2，按照步骤S2-S4遍历检测队列中其余的目标。若目标B的置信分数小于类别m的第一预设类别阈值THR4m，则执行S422'。
S422'、计算目标A的检测框和目标B的检测框的交叠面积分别占各自检测框面积的占比值，得到第一占比值和第二占比值，并判断这第一占比值和第二占比值是否均大于第二预设占比值，若均大于则目标B被抑制，将目标B和目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，返回步骤S2，按照步骤S2-S4遍历检测队列中其余的目标，若判断出这第一占比值和第二占比值不是均大于第二预设占比值，则执行步骤S423'。
步骤S422'具体可以包括：获取目标A的检测框的面积S1、目标B的检测框的面积S2，以及目标A的检测框和目标B的检测框交叠面积S3；计算S1与S3的比值，得到目标A的检测框和目标B的检测框的交叠面积占目标A的检测框面积的占比值OverlapRatioi；同理，计算S2与S3的比值，得到目标A和目标B的检测框的交叠面积占目标B的检测框面积的占比值OverlapRatioj，分别将OverlapRatioi和OverlapRatioj与第二预设占比值进行比较，其中，第二预设占比值可以等于0.9，若OverlapRatioi和OverlapRatioj均大于0.9，则目标B被抑制，将目标B和目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，并回步骤S2，按照步骤S2-S4遍历检测队列中其余的目标，若判断出这两者占比值不是均大于第二预设占比值，则执行步骤S423'。
S423'、判断目标A的检测框和目标B的检测框的交叠面积占目标A的检测框面积的占比值OverlapRatioi是否大于第三预设占比值，以及判断目标B的置信分数是否小于第二预设类别阈值THR5，THR5＝ave2-γ×std2，若目标A的检测框和目标B的检测框的交叠面积占目标A的检测框面积的占比值OverlapRatioi大于第三预设占比值，且判断目标B的置信分数小于第二预设类别阈值，则目标B被抑制；其中，γ选取1-3之间的任意数值，ave2代表目标B的所属类别m中各个目标的置信分数的均值，std2代表目标B的所属类别m中各个目标的置信分数的方差。若目标A的检测框和目标B的检测框的交叠面积占目标A的检测框面积的占比值OverlapRatioi小于或等于第三预设占比值，且目标A的检测框和目标B的检测框的交叠面积占目标A的检测框面积的占比值OverlapRatioi大于第四预设占比值，则目标B被抑制，其中，第四预设占比值可以为0.8，该取值是根据具体检测场景设置的。在该步骤中目标B被抑制，则将目标B和目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，并返回步骤S2，按照步骤S2-S4遍历检测队列中其余的目标；若在该步骤中目标B被保留，则将目标A从检测队列中去除，得到当前检测队列，并将当前检测队列作为步骤S2中的检测队列，返回步骤S2，按照步骤S2-S4遍历检测队列中其余的目标。在对检测队列中的所有目标遍历完成之后，将没有被抑制的目标的类别、置信分数，以及检测框的位置信息进行输出。其中，检测框的位置信息可以是检测框两个对角的坐标信息；当然也可以是四个对角的位置信息。
在此需要说明的是，上述步骤中是以包括一个目标B为例进行说明，若包括多个目标B则在完成判定一个目标B是否被抑制的步骤之后返回步骤S3，也即图1中所示的步骤S5，按照上述的步骤S3和S4遍历所有的目标B，直至所有的目标B完成检测为止，之后再返回步骤S2，遍历检测队列中其余的目标，也即图1中所示的步骤S6。
以上步骤完成本实施例中的多目标检测的非极大值抑制方法。
本实施例中的多目标检测的非极大值抑制方法，基于检测目标的置信分数和交叠区域面积分别对同类和不同类目标进行抑制，改进的非极大值抑制算法，有效提高了密集多目标检测算法的精度。
实施例2：
如图2所示，本实施例提供一种多目标检测的非极大值抑制装置，其可以用于实现实施例1中的多目标检测的非极大值抑制方法。该装置包括：获取单元、第一判断单元、第二判断单元、第三判断单元、抑制单元和遍历单元。
其中，获取单元用于获取各个检测出的目标的类别和置信分数，并按照置信分数的高低对各个目标进行排序，得到检测队列。
其中，第一判断单元用于获取所述检测队列中置信分数最高的目标，将其记作目标A，并判断所述目标A的置信分数是否满足其所属类别的类别预设条件。
具体的，如图3所示，第一判断单元包括：第一判断模块、第二判断模块、第三判断模块，以及第四判断模块。
其中，第一判断模块用于判断目标A的置信分数是否大于第一阈值。
第二判断模块用于当所述第一判断模块判断出所述目标A的置信分数大于所述第一阈值时，判断所述目标A的置信分数是否大于第二阈值；其中，THR2＝ave1-γ×std1；其中，THR2代表第二阈值，γ选取1-3之间的任意数值，ave1代表所述目标A所属类别中各个目标的置信分数的均值，std1代表所述目标A所属类别中各个目标的置信分数的方差。
第三判断模块，用于当所述第二判断模块判断出目标A的置信分数大于所述第二阈值时，判断所述目标A是否为其所属类别在检测队列中第一个被处理的目标。
第四判断模块，用于当所述第三判断模块判断出所述目标A不是其所属类别在检测队列中第一个被处理的目标，判断所述目标A的置信分数和与其所属同一类别的上一个被处理的目标的置信分数之差是否大于第三阈值。
其中，第二判断单元，当所述第一判断单元判断出所述目标A的置信分数满足其所属类别的类别预设条件时，判断所述目标A的检测框是否与其它目标的检测框存在交叠。
第三判断单元，用于当所述第二判断单元判断出所述目标A的检测框与其它目标的检测框存在交叠时，将检测框与目标A的检测框存在交叠的目标记作目标B，则判断所述目标A与所述目标B是否为同一类别，并根据判断结果采用对应的抑制算法，判断所述目标B是否被抑制。
具体的，如图4所示，第三判断单元包括：第五判断模块、第六判断模块，以及第七判断模块。
其中，第五判断模块用于判断目标A和目标B是否为同一类别。
第六判断模块用于当所述第五判断模块判断出所述目标A和所述目标B为同一类别时，根据所述目标A和所述目标B的置信分数与其所属类别的第一预设类别阈值的大小关系，以及所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值，其中，所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值分别记作第一占比值和第二占比值，判断所述目标B是否被抑制。
该第六判断模块具体用于判断所述目标A和所述目标B的置信分数是否均大于这二者所属类别的所述第一预设类别阈值；其中，THR4＝ave1+2×std1；其中，THR4代表所述目标A和所述目标B所属类别的第一预设类别阈值，ave1代表所述目标A的所属类别中各个目标的置信分数的均值，std1代表所述目标A的所属类别中各个目标的置信分数的方差；若所述目标A和所述目标B的置信分数均大于所述第一预设类别阈值，则所述目标B一定被保留；若所述目标B的置信分数小于所述第一预设类别阈值，则计算第一占比值和第二占比值，并判断第一占比值和第二占比值中最大的占比值是否大于第一预设占比值，若大于则将所述目标B进行抑制，否则反之。
第七判断模块用于当所述第六判断模块判断出所述目标A和所述目标B不为同一类别时，根据所述目标A和所述目标B各自的置信分数与其所属类别的所述第一预设类别阈值的大小关系，所述第一占比值和所述第二占比值，以及所述目标B的置信分数与第二预设类别阈值的大小关系，判断所述目标B是否被抑制。
该第七判断模块具体用于判断所述目标A的置信分数和所述目标B的置信分数是否均大于各自所属类别的第一预设类别阈值；若所述目标A的置信分数和所述目标B的置信分数均大于各自所属类别的第一预设类别阈值，则所述目标B一定被保留；若所述目标B的置信分数小于其所属类别的第一预设类别阈值，则获取所述第一占比值和所述第二占比值，并判断所述第一占比值和所述第二占比值是否均大于第二预设占比值；若所述第一占比值和所述第二占比值均大于所述第二预设占比值，则所述目标B被抑制；若所述第一占比值和所述第二占比值不是均大于所述第二预设占比值，则判断所述第一占比值是否大于第三预设占比值，以及判断所述目标B的置信分数是否小于所述第二预设类别阈值，THR5＝ave2-γ×std2，其中，THR5代表所述目标B所属类别的第二预设类别阈值，γ选取1-3之间的任意数值，ave2代表所述目标B的所属类别中各个目标的置信分数的均值，std2代表所述目标B的所属类别中各个目标的置信分数的方差；若所述第一占比值大于第三预设占比值，且判断出所述目标B的置信分数小于第二预设类别阈值，则目标B被抑制，否则反之；若所述第一占比值小于或者等于第三预设占比值，且判断出所述第一占比值大于第四预设占比值，则目标B被抑制，否则反之。
抑制单元用于在所述第三判断单元判断出目标B被抑制时将目标B抑制。
遍历单元用于按照预设算法遍历所述检测队列中的各个目标；其中，此处的预设算法为实施例1中的多目标检测的非极大值抑制方法。
本实施例中的多目标检测的非极大值抑制装置包括上述功能模块，且能够采用实施例1中的方法基于检测目标的置信分数和交叠区域面积分别对同类和不同类目标进行抑制，改进的非极大值抑制算法有效提高了密集多目标检测算法的精度。
实施例3：
本实发明施例提供了一种多目标检测的非极大值抑制装设备，其中本发明实施例1的多目标检测的非极大值抑制装方法可以由超分辨率图像重构设备来实现。图5示出了本发明实施例提供的多目标检测的非极大值抑制设备的硬件结构示意图。
该设备可以包括处理器以及存储有计算机指令的存储器。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ASIC)，或者现场可编程逻辑阵列FPGA，或者图像处理器GPU，或者可以被配置成实施本发明实施例方法的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种图像重构方法的一个或多个步骤。
在一个示例中，所述设备还可包括通信接口和总线。其中，如图5所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将设备的各个部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例4：
本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种多目标检测的非极大值抑制方法的一个或多个步骤。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、局域网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种多目标检测的非极大值抑制方法，其特征在于，包括：
获取各个检测出的目标的类别和置信分数，并按照置信分数的高低对各个所述目标进行排序，得到检测队列；
获取所述检测队列中置信分数最高的目标，将其记作目标A，并判断所述目标A的置信分数是否满足其所属类别的类别预设条件；
若所述目标A的置信分数满足其所属类别的类别预设条件，则判断所述目标A的检测框是否与其它目标的检测框存在交叠；
若判断出所述目标A的检测框与其它目标的检测框存在交叠，将检测框与目标A的检测框存在交叠的目标记作目标B，则判断所述目标A与所述目标B是否为同一类别，并根据判断结果采用对应的抑制算法，判断所述目标B是否被抑制；其中，包括：
判断所述目标A和所述目标B是否为同一类别；
若所述目标A和所述目标B为同一类别，则根据所述目标A和所述目标B的置信分数与其所属类别的第一预设类别阈值的大小关系，以及所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值，其中，所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值分别记作第一占比值和第二占比值，判断所述目标B是否被抑制；
若所述目标A和所述目标B不为同一类别，则根据所述目标A和所述目标B各自的置信分数与其所属类别的所述第一预设类别阈值的大小关系，所述第一占比值和所述第二占比值，以及所述目标B的置信分数与第二预设类别阈值的大小关系，判断所述目标B是否被抑制；
若所述目标B被抑制，则将所述目标A和所述目标B从所述检测队列中去除，得到当前检测队列，返回所述获取所述检测队列中置信分数最高的目标的步骤，并将所述当前检测队列作为该步骤中的所述检测队列，遍历所述检测队列中的所有目标；
若所述目标B被保留，则将所述目标A从所述检测队列中去除，得到当前检测队列，返回所述获取所述检测队列中置信分数最高的目标的步骤，并将所述当前检测队列作为该步骤中的所述检测队列，遍历所述检测队列中的所有目标。
2.根据权利要求1所述的多目标检测的非极大值抑制方法，其特征在于，所述判断所述目标A的置信分数是否满足其所属类别的类别预设条件的步骤，包括：
判断所述目标A的置信分数是否大于第一阈值；
若所述目标A的置信分数大于所述第一阈值，则判断所述目标A的置信分数是否大于第二阈值；其中，THR2＝ave1-γ×std1；其中，THR2代表第二阈值，γ选取1-3之间的任意数值，ave1代表所述目标A所属类别中各个目标的置信分数的均值，std1代表所述目标A所属类别中各个目标的置信分数的方差；
若所述目标A的置信分数大于所述第二阈值，则判断所述目标A是否为其所属类别在检测队列中第一个被处理的目标；
若所述目标A不是其所属类别在检测队列中第一个被处理的目标，则判断所述目标A的置信分数和与其所属同一类别的上一个被处理的目标的置信分数之差是否小于第三阈值，若小于所述第三阈值则执行判断所述目标A的检测框是否与其它目标的检测框存在交叠的步骤。
3.根据权利要求1所述的多目标检测的非极大值抑制方法，其特征在于，所述若所述目标A和所述目标B为同一类别，则根据所述目标A和所述目标B的置信分数与其所属类别的第一预设类别阈值的大小关系，以及所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值，其中，所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值分别记作第一占比值和第二占比值，判断所述目标B是否被抑制；的步骤，包括：
判断所述目标A和所述目标B的置信分数是否均大于这二者所属类别的所述第一预设类别阈值；其中，THR4＝ave1+2×std1；其中，THR4代表所述目标A和所述目标B所属类别的第一预设类别阈值，ave1代表所述目标A的所属类别中各个目标的置信分数的均值，std1代表所述目标A的所属类别中各个目标的置信分数的方差；
若所述目标A和所述目标B的置信分数均大于所述第一预设类别阈值，则所述目标B一定被保留；
若所述目标B的置信分数小于所述第一预设类别阈值，则计算第一占比值和第二占比值，并判断第一占比值和第二占比值中最大的占比值是否大于第一预设占比值，若大于则将所述目标B进行抑制，否则反之。
4.根据权利要求1所述的多目标检测的非极大值抑制方法，其特征在于，所述若所述目标A和所述目标B不为同一类别，则根据所述目标A和所述目标B各自的置信分数与其所属类别的所述第一预设类别阈值的大小关系，所述第一占比值和所述第二占比值，以及所述目标B的置信分数与第二预设类别阈值的大小关系，判断所述目标B是否被抑制的步骤，包括：
判断所述目标A的置信分数和所述目标B的置信分数是否均大于各自所属类别的第一预设类别阈值；
若所述目标A的置信分数和所述目标B的置信分数均大于各自所属类别的第一预设类别阈值，则所述目标B一定被保留；
若所述目标B的置信分数小于其所属类别的第一预设类别阈值，则获取所述第一占比值和所述第二占比值，并判断所述第一占比值和所述第二占比值是否均大于第二预设占比值；
若所述第一占比值和所述第二占比值均大于所述第二预设占比值，则所述目标B被抑制；
若所述第一占比值和所述第二占比值不是均大于所述第二预设占比值，则判断所述第一占比值是否大于第三预设占比值，以及判断所述目标B的置信分数是否小于所述第二预设类别阈值，THR5＝ave2-γ×std2，其中，THR5代表所述目标B所属类别的第二预设类别阈值，γ选取1-3之间的任意数值，ave2代表所述目标B的所属类别中各个目标的置信分数的均值，std2代表所述目标B的所属类别中各个目标的置信分数的方差；
若所述第一占比值大于第三预设占比值，且判断出所述目标B的置信分数小于第二预设类别阈值，则目标B被抑制，否则反之；
若所述第一占比值小于或者等于第三预设占比值，且判断出所述第一占比值大于第四预设占比值，则目标B被抑制，否则反之。
5.一种多目标检测的非极大值抑制装置，其特征在于，包括：
获取单元，用于获取各个检测出的目标的类别和置信分数，并按照置信分数的高低对各个目标进行排序，得到检测队列；
第一判断单元，用于获取所述检测队列中置信分数最高的目标，将其记作目标A，并判断所述目标A的置信分数是否满足其所属类别的类别预设条件；
第二判断单元，用于当所述第一判断单元判断出所述目标A的置信分数满足其所属类别的类别预设条件时，判断所述目标A的检测框是否与其它目标的检测框存在交叠；
第三判断单元，用于当所述第二判断单元判断出所述目标A的检测框与其它目标的检测框存在交叠时，将检测框与目标A的检测框存在交叠的目标记作目标B，则判断所述目标A与所述目标B是否为同一类别，并根据判断结果采用对应的抑制算法，判断所述目标B是否被抑制；其中，所述第三判断单元包括：
第五判断模块，用于判断所述目标A和所述目标B是否为同一类别；
第六判断模块，用于当所述第五判断模块判断出所述目标A和所述目标B为同一类别时，根据所述目标A和所述目标B的置信分数与其所属类别的第一预设类别阈值的大小关系，以及所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值，其中，所述目标A和所述目标B的检测框的交叠面积分别占各自检测框面积的占比值分别记作第一占比值和第二占比值，判断所述目标B是否被抑制；
第七判断模块，用于当所述第五判断模块判断出所述目标A和所述目标B不为同一类别时，根据所述目标A和所述目标B各自的置信分数与其所属类别的所述第一预设类别阈值的大小关系，所述第一占比值和所述第二占比值，以及所述目标B的置信分数与第二预设类别阈值的大小关系，判断所述目标B是否被抑制；
抑制单元，用于在所述第三判断单元判断出目标B被抑制时将目标B抑制；
遍历单元，用于按照预设算法遍历所述检测队列中的各个目标。
6.根据权利要求5所述的多目标检测的非极大值抑制装置，其特征在于，第一判断单元包括：
第一判断模块，用于判断所述目标A的置信分数是否大于第一阈值；
第二判断模块，用于当所述第一判断模块判断出所述目标A的置信分数大于所述第一阈值时，判断所述目标A的置信分数是否大于第二阈值；其中，THR2＝ave1-γ×std1；其中，THR2代表第二阈值，γ选取1-3之间的任意数值，ave1代表所述目标A所属类别中各个目标的置信分数的均值，std1代表所述目标A所属类别中各个目标的置信分数的方差；
第三判断模块，用于当所述第二判断模块判断出目标A的置信分数大于所述第二阈值时，判断所述目标A是否为其所属类别在检测队列中第一个被处理的目标；
第四判断模块，用于当所述第三判断模块判断出所述目标A不是其所属类别在检测队列中第一个被处理的目标，判断所述目标A的置信分数和与其所属同一类别的上一个被处理的目标的置信分数之差是否大于第三阈值。
7.根据权利要求5所述的多目标检测的非极大值抑制装置，其特征在于，所述第六判断模块，具体用于判断所述目标A和所述目标B的置信分数是否均大于这二者所属类别的所述第一预设类别阈值；其中，THR4＝ave1+2×std1；其中，THR4代表所述目标A和所述目标B所属类别的第一预设类别阈值，ave1代表所述目标A的所属类别中各个目标的置信分数的均值，std1代表所述目标A的所属类别中各个目标的置信分数的方差；
若所述目标A和所述目标B的置信分数均大于所述第一预设类别阈值，则所述目标B一定被保留；
若所述目标B的置信分数小于所述第一预设类别阈值，则计算第一占比值和第二占比值，并判断第一占比值和第二占比值中最大的占比值是否大于第一预设占比值，若大于则将所述目标B进行抑制，否则反之。
8.根据权利要求5所述的多目标检测的非极大值抑制装置，其特征在于，所述第七判断模块，具体用于判断所述目标A的置信分数和所述目标B的置信分数是否均大于各自所属类别的第一预设类别阈值；
若所述目标A的置信分数和所述目标B的置信分数均大于各自所属类别的第一预设类别阈值，则所述目标B一定被保留；
若所述目标B的置信分数小于其所属类别的第一预设类别阈值，则获取所述第一占比值和所述第二占比值，并判断所述第一占比值和所述第二占比值是否均大于第二预设占比值；
若所述第一占比值和所述第二占比值均大于所述第二预设占比值，则所述目标B被抑制；
若所述第一占比值和所述第二占比值不是均大于所述第二预设占比值，则判断所述第一占比值是否大于第三预设占比值，以及判断所述目标B的置信分数是否小于所述第二预设类别阈值，THR5＝ave2-γ×std2，其中，THR5代表所述目标B所属类别的第二预设类别阈值，γ选取1-3之间的任意数值，ave2代表所述目标B的所属类别中各个目标的置信分数的均值，std2代表所述目标B的所属类别中各个目标的置信分数的方差；
若所述第一占比值大于第三预设占比值，且判断出所述目标B的置信分数小于第二预设类别阈值，则目标B被抑制，否则反之；
若所述第一占比值小于或者等于第三预设占比值，且判断出所述第一占比值大于第四预设占比值，则目标B被抑制，否则反之。
9.一种多目标检测的非极大值抑制设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机指令，所述处理器配置成执行所述计算机指令时实现如权利要求1-4中任一项所述方法的一个或多个步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1-4中任一项所述方法的一个或多个步骤。
CN201810903584.1A 2018-08-09 2018-08-09 多目标检测的非极大值抑制方法、装置及设备 Active CN110826572B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810903584.1A CN110826572B (zh) 2018-08-09 2018-08-09 多目标检测的非极大值抑制方法、装置及设备
JP2020562191A JP7376508B2 (ja) 2018-08-09 2019-08-09 複数対象を検出する画像処理方法、装置、およびデバイス
EP19846730.0A EP3836005A4 (en) 2018-08-09 2019-08-09 NON-MAXIMUM SUPPRESSION METHOD, DEVICE AND DEVICE FOR MULTI-TARGET DETECTION
PCT/CN2019/100039 WO2020030134A1 (zh) 2018-08-09 2019-08-09 多目标检测的非极大值抑制方法、装置及设备
US16/904,800 US11468594B2 (en) 2018-08-09 2020-06-18 Image processing method, device and apparatus for multi-object detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810903584.1A CN110826572B (zh) 2018-08-09 2018-08-09 多目标检测的非极大值抑制方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110826572A CN110826572A (zh) 2020-02-21
CN110826572B true CN110826572B (zh) 2023-04-21

Family

ID=69414004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810903584.1A Active CN110826572B (zh) 2018-08-09 2018-08-09 多目标检测的非极大值抑制方法、装置及设备

Country Status (5)

Country Link
US (1) US11468594B2 (zh)
EP (1) EP3836005A4 (zh)
JP (1) JP7376508B2 (zh)
CN (1) CN110826572B (zh)
WO (1) WO2020030134A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418283B (zh) * 2020-11-13 2023-07-11 三六零智慧科技(天津)有限公司 用于目标检测的标签平滑方法、装置、设备及存储介质
CN113240567A (zh) * 2021-05-07 2021-08-10 北京航空航天大学 一种并行非极大值抑制运算装置
CN113743249B (zh) * 2021-08-16 2024-03-26 北京佳服信息科技有限公司 一种违章识别方法、装置、设备及可读存储介质
US11989948B1 (en) * 2021-10-13 2024-05-21 Nvidia Corporation Accelerated non-maximum suppression in machine learning applications
CN114049383B (zh) * 2022-01-13 2022-04-22 苏州浪潮智能科技有限公司 一种多目标跟踪方法、设备及可读存储介质
CN115100419B (zh) * 2022-07-20 2023-02-21 中国科学院自动化研究所 目标检测方法、装置、电子设备及存储介质
CN116563521B (zh) * 2023-04-14 2024-04-23 依未科技(北京)有限公司 目标检测的检测框处理方法及其装置、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228158A (zh) * 2016-07-25 2016-12-14 北京小米移动软件有限公司 图片检测的方法和装置
WO2017166098A1 (en) * 2016-03-30 2017-10-05 Xiaogang Wang A method and a system for detecting an object in a video
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411716A (zh) * 2010-09-21 2012-04-11 索尼公司 目标检测和分类方法和装置
JP6116916B2 (ja) 2013-01-15 2017-04-19 株式会社メガチップス 画像検出装置及び制御プログラム並びに画像検出方法
US9165369B1 (en) * 2013-03-14 2015-10-20 Hrl Laboratories, Llc Multi-object detection and recognition using exclusive non-maximum suppression (eNMS) and classification in cluttered scenes
US9514366B2 (en) * 2014-02-03 2016-12-06 Xerox Corporation Vehicle detection method and system including irrelevant window elimination and/or window score degradation
US11120478B2 (en) * 2015-01-12 2021-09-14 Ebay Inc. Joint-based item recognition
CN105844283B (zh) * 2015-01-16 2019-06-07 阿里巴巴集团控股有限公司 用于识别图像类目归属的方法、图像搜索方法及装置
US9582895B2 (en) * 2015-05-22 2017-02-28 International Business Machines Corporation Real-time object analysis with occlusion handling
US10325390B2 (en) * 2016-03-31 2019-06-18 Qualcomm Incorporated Geometric work scheduling with dynamic and probabilistic work trimming
KR20170138842A (ko) * 2016-06-08 2017-12-18 현대자동차주식회사 템플릿 매칭 기반의 차량 추적 시스템 및 방법
CN106056101A (zh) * 2016-06-29 2016-10-26 哈尔滨理工大学 用于人脸检测的非极大值抑制方法
CN106778835B (zh) * 2016-11-29 2020-03-24 武汉大学 融合场景信息和深度特征的遥感图像机场目标识别方法
WO2018197019A1 (en) * 2017-04-28 2018-11-01 Toyota Motor Europe System and method for detecting objects in a digital image, and system and method for rescoring object detections.
CN107301431A (zh) 2017-06-29 2017-10-27 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于权重的非极大值抑制的方法及装置
CN107679469B (zh) * 2017-09-22 2021-03-30 东南大学—无锡集成电路技术研究所 一种基于深度学习的非极大值抑制方法
CN107657225B (zh) * 2017-09-22 2020-05-12 电子科技大学 一种基于聚合通道特征的行人检测方法
CN107808122B (zh) * 2017-09-30 2020-08-11 中国科学院长春光学精密机械与物理研究所 目标跟踪方法及装置
CN108009544B (zh) * 2017-12-13 2021-08-31 北京小米移动软件有限公司 目标检测方法及装置
CN108268869B (zh) * 2018-02-13 2021-11-16 北京旷视科技有限公司 目标检测方法、装置及系统
DE112019000049T5 (de) * 2018-02-18 2020-01-23 Nvidia Corporation Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
US10157331B1 (en) * 2018-03-08 2018-12-18 Capital One Services, Llc Systems and methods for image preprocessing to improve accuracy of object recognition
US20200394458A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Weakly-supervised object detection using one or more neural networks
EP3767527A1 (en) * 2019-07-16 2021-01-20 Tata Consultancy Services Limited Method and system for region proposal based object recognition for estimating planogram compliance
CN111401148B (zh) * 2020-02-27 2023-06-20 江苏大学 一种基于改进的多级YOLOv3的道路多目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017166098A1 (en) * 2016-03-30 2017-10-05 Xiaogang Wang A method and a system for detecting an object in a video
CN106228158A (zh) * 2016-07-25 2016-12-14 北京小米移动软件有限公司 图片检测的方法和装置
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法

Also Published As

Publication number Publication date
US20200320736A1 (en) 2020-10-08
CN110826572A (zh) 2020-02-21
EP3836005A4 (en) 2022-05-04
US11468594B2 (en) 2022-10-11
EP3836005A1 (en) 2021-06-16
JP2021533429A (ja) 2021-12-02
JP7376508B2 (ja) 2023-11-08
WO2020030134A1 (zh) 2020-02-13

Similar Documents

Publication Publication Date Title
CN110826572B (zh) 多目标检测的非极大值抑制方法、装置及设备
JP2022535839A (ja) 破線車線検出方法、装置及び電子機器
CN108182383B (zh) 一种车窗检测的方法及设备
CN111399492A (zh) 一种机器人及其障碍物感知方法和装置
EP4016496A1 (en) Parking space detection method and apparatus, vehicle and readable medium
CN109118541B (zh) 舞台定向车台导轨位置分析系统
TW201341758A (zh) 用於實景導航之定位方法、定位系統及電腦可讀取儲存媒體
CN109726678B (zh) 一种车牌识别的方法及相关装置
CN113763466B (zh) 一种回环检测方法、装置、电子设备和存储介质
CN109754034A (zh) 一种基于二维码的终端设备定位方法及装置
CN112598743A (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN113112524A (zh) 自动驾驶中移动对象的轨迹预测方法、装置及计算设备
CN115761668A (zh) 摄像头的污渍识别方法、装置、车辆及存储介质
CN111191557A (zh) 一种标志识别定位方法、标志识别定位装置及智能设备
CN112837384B (zh) 车辆标记方法、装置和电子设备
CN111157012B (zh) 一种机器人导航方法、装置、可读存储介质及机器人
CN117274393A (zh) 相机外参标定系数的确定方法、装置、设备及存储介质
JP6665522B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
CN103413328B (zh) 运动物体的跟踪方法和装置
CN113591543B (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
JPWO2020030134A5 (zh)
CN113902742A (zh) 一种基于tft-lcd检测缺陷真假判定方法和系统
CN112556702A (zh) 一种车辆移动轨迹的高度修正方法及相关装置
CN113538900B (zh) 停车场中车辆逆向行驶检测方法
CN115641567B (zh) 用于车辆的目标对象检测方法、装置、车辆及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant