CN111310759B - 双模式协作的目标检测抑制优化方法及设备 - Google Patents
双模式协作的目标检测抑制优化方法及设备 Download PDFInfo
- Publication number
- CN111310759B CN111310759B CN202010091307.2A CN202010091307A CN111310759B CN 111310759 B CN111310759 B CN 111310759B CN 202010091307 A CN202010091307 A CN 202010091307A CN 111310759 B CN111310759 B CN 111310759B
- Authority
- CN
- China
- Prior art keywords
- sequence
- initial predicted
- target
- predicted target
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000005764 inhibitory process Effects 0.000 title claims abstract description 61
- 238000005457 optimization Methods 0.000 title claims abstract description 17
- 230000001629 suppression Effects 0.000 claims description 70
- 238000003062 neural network model Methods 0.000 claims description 24
- 238000012216 screening Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 18
- 230000009977 dual effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 40
- 238000005259 measurement Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明的目的是提供一种双模式协作的目标检测抑制优化方法及设备，本发明可以结合模型预测的位置信息，引入距离度量。该方法首先利用边界框之间的交并比IOU和距离，通过类内抑制模式消除同一目标的同类冗余边界框，然后设计一种基于距离的类间抑制方法，用于消除模型对同一目标预测的错误类别边界框。该方法通过引入距离度量，结合了NMS算法类内和类间两种抑制模式的优点，对模型预测的冗余的边界框做出了更加合理的抑制，有效解决了传统NMS算法的不合理抑制问题，增强了模型的检测性能和实际应用能力。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种双模式协作的目标检测抑制优化方法及设备。
背景技术
非极大值抑制(Non-maximum suppression,NMS)算法是目标检测任务中最常用算大之一，其主要目的在于对模型检测的冗余结果进行抑制，从而输出较为正确的结果。在简单场景下，传统NMS算法可以取得不错的抑制效果，能够对冗余检测结果进行非常有效地抑制。
传统NMS算法依据边界框之间的交并比(Intersection over Union,IOU)对冗余检测框进行抑制。如图1所示，假设模型现对某个目标输出A和B两个边界框(bounding box,bbox)，A的置信度为PA，面积为SA；B的置信度为PB，面积为SB；A和B面积的交集为SA∩B。此时边界框A和B面积的IOU为：
IOU＝SA∩B/(SA+SB－SA∩B) 公式(1)
若此时交并比IOU的值大于某个阈值nms_threshold，那么只保留置信度最高的那个边界框，删除其它边界框。
综上分析，传统NMS算法的操作流程可总结如下：
步骤1:设置非极大值抑制阈值nms_threshold；初始化空序列Sequence1和Sequence2；
步骤2:将模型预测的边界框按照置信度从大到小的顺序存入序列Sequence1；
步骤3:依次计算序列Sequence1的头元素与后面所有元素之间的交并比IOU，从后面的元素中删除IOU大于阈值nms_threshold的元素；
步骤4:从序列Sequence1中取出头元素存入序列Sequence2；
步骤5:重复Step3～Step4，直到序列Sequence1为空；
步骤6:输出模型最终的预测结果Sequence2。
目前的NMS算法，主要有两种实现方式：
(1)类间抑制，即不考虑目标的类别属性，直接根据置信度排列顺序和阈值nms_threshold对冗余边界框进行抑制；
(2)类内抑制，这种方式主要是对同一类的边界框进行抑制，最终只保留该类别的最优边界框。
传统NMS算法在理想条件下可以得到不错的抑制效果。然而，在目标稠密、紧贴、旋转等较为复杂的应用场景下，模型输出的检测框之间通常具有较高的IOU，此时，这种仅依据IOU的非极大值抑制方法极有可能发生误抑制现象。
图2a和2b展示了目标在稠密、紧贴、旋转等复杂场景下的两幅待检测图像，包含bag(袋状)、bottle(瓶状)、box(盒状)和bucket(桶状)共四个类别的目标；
此时，训练的模型需要对图中的目标商品进行检测；图2c和2d展示了YOLOv3模型的初始预测结果，可以看出模型可以检测出图中的每个目标，并且对每个目标都有冗余的检测结果；
图2e和2f为传统NMS算法抑制后的结果，可以看出传统NMS算法此时做出了错误的抑制，图2e中对右下角同为bottle的类别目标做了误抑制操作，并且图中bag目标还保留了一个误识别为box的错误边界框；而图2f中由于bottle和box的IOU过高，被误抑制类。
传统NMS算法在类内和类间两种模式下，各有优点，但各自也存在一定的缺陷，其中，
在传统类内抑制模式下，由于只对属于同一类的冗余检测结果进行抑制，因此不会对其它类的检测结果进行误抑制操作，但是这种做法有两种缺陷:
(1)在两个属于同类的目标处于紧贴或者旋转场景下的时候，NMS类内抑制容易对相邻的同类目标边界框做出误抑制操作；
(2)当模型对同一目标存在误检时，NMS类内抑制难以消除误检产生的冗余边界框。
上述传统类内抑制模式下的问题如图2e所示。
在类间抑制模式下，传统NMS算法可以消除模型对同一个目标产生的误检框，但在应用场景中的目标处于稠密、紧贴、旋转等场景下的时候，由于检测的边界框之间的IOU过高，容易引起一些误抑制问题，如图2f所示。
综上所述，传统NMS算法在复杂场景下容易发生一些不合理的抑制操作，其抑制能力有限，容易引起漏检、多框误检等问题。
发明内容
本发明的一个目的是提供一种双模式协作的目标检测抑制优化方法及设备。
根据本发明的一个方面，提供了一种双模式协作的目标检测抑制优化方法，该方法包括：
步骤S1，获取待检测目标的图片；
步骤S2，将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
步骤S3，基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
步骤S4，基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中未删除的初步筛选的目标边界框作为最终的目标边界框。
进一步的，上述方法中，所述距离为欧氏距离，所述欧氏距离distance的计算公式如下：
其中，两个目标边界框的中心点的坐标分别为(x1,y1)和(x2,y2)。
进一步的，上述方法中，步骤S3，包括：
步骤S31，设置交并比抑制阈值、类内抑制距离阈值和类间抑制距离阈值，并初始化类别标签i＝0，初始化空序列的第一序列；
步骤S32，初始化空序列的第二序列，将类别标签为i类的初始预测的目标边界框按照置信度从大到小的顺序存入第二序列；
步骤S33，依次计算所述第二序列中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的交并比和距离，从所述第二序列中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第二序列中的第一个初始预测的目标边界框的交并比大于所述交并比抑制阈值且距离小于所述类内抑制距离阈值的目标边界框；
步骤S34，从所述第二序列中取出第一个初始预测的目标边界框存入所述第一序列；
步骤S35，依次重复步骤S33至步骤S34，直到所述第二序列为空时，执行步骤S36；
步骤S36，令i＝i+1，当i<＝N时，重新从步骤S32开始执行，其中，N为类别标签i的最大值；否则，执行步骤S4。
进一步的，上述方法中，步骤S4，包括：
步骤S47，初始化空序列的第三序列，将所述第一序列中的初始预测的目标边界框按照置信度从大到小的顺序重新排列并保存；
步骤S48，依次计算所述第一序列中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的距离，从所述第一序列中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第一序列中的第一个初始预测的目标边界框的距离小于所述类间抑制距离阈值的目标边界框；
步骤S49，从所述第一序列中取出第一个初始预测的目标边界框存入所述第三序列；
步骤S50，依次重复步骤S48至步骤S49，直到所述第一序列为空；
步骤S51，将所述第三序列中的初始预测的目标边界框作为最终的目标边界框。
根据本发明的另一方面，还提供一种双模式协作的目标检测抑制优化设备，其中，该设备包括：
获取装置，用于获取待检测目标的图片；
初始预测装置，用于将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
类内筛选装置，用于基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的剩余的即未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
类间筛选装置，用于基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中的剩余的即未删除的初步筛选的目标边界框作为最终的目标边界框。
进一步的，上述设备中，所述距离为欧氏距离，所述欧氏距离distance的计算公式如下：
其中，两个目标边界框的中心点的坐标分别为(x1,y1)和(x2,y2)。
进一步的，上述设备中，所述类内筛选装置，包括：
第31模块，用于设置交并比抑制阈值、类内抑制距离阈值和类间抑制距离阈值，并初始化类别标签i＝0，初始化空序列的第一序列；
第32模块，用于初始化空序列的第二序列，将类别标签为i类的初始预测的目标边界框按照置信度从大到小的顺序存入所述第二序列；
第33模块，用于依次计算所述第二序列中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的交并比和距离，从第二序列中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第二序列中的第一个初始预测的目标边界框的交并比大于所述交并比抑制阈值且距离小于所述类内抑制距离阈值的目标边界框；
第34模块，用于从所述第二序列中取出第一个初始预测的目标边界框存入所述第一序列；
第35模块，用于重复依次执行第33模块至第34模块，直到所述第二序列为空时，执行第36模块；
第36模块，用于令i＝i+1，当i<＝N时，重新从第32模块开始执行，其中，N为类别标签i的最大值；否则，执行所述类间筛选装置。
进一步的，上述设备中，所述类间筛选装置，包括：
第47模块，用于初始化空序列的第三序列，将所述第一序列中的初始预测的目标边界框按照置信度从大到小的顺序重新排列并保存；
第48模块，用于依次计算所述第一序列中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的距离，从所述第一序列中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第一序列中的第一个初始预测的目标边界框的距离小于所述类间抑制距离阈值的目标边界框；
第49模块，用于从所述第一序列中取出第一个初始预测的目标边界框存入所述第三序列；
第50模块，用于依次重复执行第48模块至第49模块，直到所述第一序列为空；
第51模块，用于将所述第三序列中的初始预测的目标边界框作为最终的目标边界框。
根据本发明的另一方面，还提供一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取待检测目标的图片；
将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中未删除的初步筛选的目标边界框作为最终的目标边界框。
根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
获取待检测目标的图片；
将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中未删除的初步筛选的目标边界框作为最终的目标边界框。
与现有技术相比，本发明可以结合模型预测的位置信息，引入距离度量。该方法首先利用边界框之间的交并比IOU和距离，通过类内抑制模式消除同一目标的同类冗余边界框，然后设计一种基于距离的类间抑制方法，用于消除模型对同一目标预测的错误类别边界框。该方法通过引入距离度量，结合了NMS算法类内和类间两种抑制模式的优点，对模型预测的冗余的边界框做出了更加合理的抑制，有效解决了传统NMS算法的不合理抑制问题，增强了模型的检测性能和实际应用能力。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出传统的边界框IOU抑制示意图；
图2a示出复杂场景下的第一幅待检测图像；
图2b示出复杂场景下的第二幅待检测图像；
图2c示出图2a通过YOLOv3模型的预测结果的示意图；
图2d示出图2b YOLOv3模型的预测结果的示意图；
图2e示出图2c的传统的类内误抑制结果的示意图；
图2f示出图2d的传统的类间误抑制结果的示意图；
图3a示出图2c的本发明的类内正确抑制结果的示意图；
图3b示出图2d的本发明的类间正确抑制结果的示意图；
图4a示出图2c的边界框及其中心点的示意图；
图4b出图2d的边界框及其中心点的示意图；
图5示出本发明一实施例的双模式协作的目标检测抑制优化方法的流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本发明提供一种双模式协作的目标检测抑制优化方法，所述方法包括：
步骤S1，获取待检测目标的图片；
步骤S2，将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
步骤S3，基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的剩余的即未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
步骤S4，基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中的剩余的即未删除的初步筛选的目标边界框作为最终的目标边界框。
在此，在目标稠密、紧贴、旋转等较为复杂的应用场景下，现有NMS算法对模型检测结果进行抑制的过程中，容易引起一些错误的抑制问题，现有算法在实际工程中的应用带来巨大的局限性。
为解决传统NMS算法在复杂场景下存在漏检、误检等问题，本申请提出了一种基于边界框距离双模式协作判别的非极大值抑制方法，该方法可以结合模型预测的位置信息，引入距离度量。该方法首先利用边界框之间的交并比IOU和距离，通过类内抑制模式消除同一目标的同类冗余边界框，然后设计一种基于距离的类间抑制方法，用于消除模型对同一目标预测的错误类别边界框。该方法通过引入距离度量，结合了NMS算法类内和类间两种抑制模式的优点，对模型预测的冗余的边界框做出了更加合理的抑制，有效解决了传统NMS算法的不合理抑制问题，增强了模型的检测性能和实际应用能力。
具体的，原始待检测的图像数据如图2a和2b所示，图2c和2d为现有的YOLOv3模型的预测结果，图3a对本申请提出的NMS方法的类内抑制效果进行了示例与展示，图3b对本申请提出的NMS方法的类间抑制效果进行了示例与展示。可以看出，本申请提出的NMS抑制方法做出了正确的抑制，得到了正确的检测结果。
在实际项目中，应用场景的不稳定性，会对目标检测和识别算法带来巨大挑战。本申请提出的NMS算法，在目标稠密、紧贴、旋转等较为复杂的应用场景下能对模型的冗余检测结果做出更为合理的抑制，能够减少漏检和误检，增强模型的实际应用能力。本申请可应用用于商品检测与识别，性能表现非常稳定，可极大地提升公司产品的实际应用能力。
目前在计算机视觉应用上，YOLO(You Only Look Once)系列的目标检测框架中，较多的使用了NMS算法对模型预测的冗余结果进行抑制。在其它的目标检测框架中如SSD(Single Shot MultiBox Detector)、Faster-RCNN(Faster-Regions with ConvolutionalNeural Networks)等，该申请仍然可用适用于解决它们遇到的非极大值误抑制问题。
本发明的双模式协作的目标检测抑制优化方法一实施例中，所述距离为欧氏距离，所述欧氏距离distance的计算公式如下：
其中，两个目标边界框的中心点的坐标分别为(x1,y1)和(x2,y2)。
在此，现有的目标检测算法对目标进行检测时，通常会预测5个值来表示检测出的边界框，它们分别为：置信度(confidence)、检测框的中心点坐标(x,y)，检测框的长和宽(w,h)。为解决传统NMS算法在复杂场景下的不合理抑制问题，本实施例在原有的IOU判别基础上，结合边界框之间的中心距离进行更精细化的协作判别。
具体，图4a画出了图2c中每个目标的边界框及其中心点,图4b画出了图2d中每个目标的边界框及其中心点。
可以看出，对于同一个目标，虽然模型可能会对其预测多个边界框，并且这些边界框的长宽不一，但是这些边界框的中心点比较集中，它们中心点之间的距离非常小。所以，可以根据边界框中心点之间的距离来对同一目标的边界框进行更加准确的筛选，假设现有bbox1和bbox2两个边界框，其中心点的坐标分别为(x1,y1)和(x2,y2),二者中心点之间的欧氏距离distance(distance)计算方式如下：
结合图4a、4b和上述分析可知，如果某些目标边界框的中心点之间的距离非常小例如小于某阈值dis_threshold，则可以认为它们是属于同一个目标的边界框，然后再根据交并比IOU阈值，对这些属于同一个目标的边界框进行更加合理的抑制。
本实施例提出了基于边界框中心距离双模式协作判别的非极大值抑制方法，该方法结合模型预测的位置信息，通过类内和类间二次协作判别机制，对冗余的边界框进行了更加合理的抑制处理，有效解决了传统NMS算法的不合理抑制问题。
如图5所示，本发明的双模式协作的目标检测抑制优化方法一实施例中，步骤S3，基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的剩余的即未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合，包括：
步骤S31，设置交并比IOU抑制阈值nms_threshold、类内抑制距离阈值dis_threshold1和类间抑制距离阈值dis_threshold2，并初始化类别标签i＝0，初始化空序列的第一序列Sequence1；
步骤S32，初始化空序列的第二序列Sequence2，将类别标签为i类的初始预测的目标边界框按照置信度从大到小的顺序存入第二序列Sequence2；
步骤S33，依次计算第二序列Sequence2中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的交并比IOU和距离distance，从第二序列Sequence2中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第二序列Sequence2中的第一个初始预测的目标边界框的交并比大于所述交并比IOU抑制阈值nms_threshold且距离小于所述类内抑制距离阈值dis_threshold1的目标边界框；
步骤S34，从所述第二序列Sequence2中取出第一个初始预测的目标边界框存入所述第一序列Sequence1；
步骤S35，依次重复步骤S33至步骤S34，直到所述第二序列Sequence2为空时，执行步骤S36；
步骤S36，令i＝i+1，当i<＝N时，重新从步骤S32开始执行，其中，N为类别标签i的最大值；否则，执行步骤S4。
在此，假设现有N个类别的目标检测问题。所述第一序列Sequence1中的初始预测的目标边界框即为初步筛选的目标边界框的集合。
本实施例结合了边界框之间的距离，通过类内与类间的协作抑制，较好地解决了传统NMS算法在复杂场景下存在的漏检、误检等不合理抑制问题。
上述步骤S31～步骤S36为结合边界框交并比IOU和距离的类内抑制过程。
如图5所示，本发明的双模式协作的目标检测抑制优化方法一实施例中，步骤S4，基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中的剩余的即未删除的初步筛选的目标边界框作为最终的目标边界框，包括：
步骤S47，初始化空序列的第三序列Sequence3，将所述第一序列Sequence1中的初始预测的目标边界框按照置信度从大到小的顺序重新排列并保存；
步骤S48，依次计算所述第一序列Sequence1中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的距离distance，从第一序列Sequence1中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第一序列Sequence1中的第一个初始预测的目标边界框的距离小于所述类间抑制距离阈值dis_threshold2的目标边界框；
步骤S49，从所述第一序列Sequence1中取出第一个初始预测的目标边界框存入所述第三序列Sequence3；
步骤S50，依次重复步骤S48至步骤S49，直到所述第一序列Sequence1为空；
步骤S51，将第三序列Sequence3中的初始预测的目标边界框作为最终的目标边界框。
在此，步骤S47～步骤S51为基于距离的类间抑制过程。
本实施例结合了边界框之间的距离，通过类内与类间的协作抑制，较好地解决了传统NMS算法在复杂场景下存在的漏检、误检等不合理抑制问题。
本发明提供一种双模式协作的目标检测抑制优化设备，所述设备包括：
获取装置，用于获取待检测目标的图片；
初始预测装置，用于将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
类内筛选装置，用于基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的剩余的即未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
类间筛选装置，用于基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中的剩余的即未删除的初步筛选的目标边界框作为最终的目标边界框。
在此，在目标稠密、紧贴、旋转等较为复杂的应用场景下，现有NMS算法对模型检测结果进行抑制的过程中，容易引起一些错误的抑制问题，现有算法在实际工程中的应用带来巨大的局限性。
为解决传统NMS算法在复杂场景下存在漏检、误检等问题，本申请提出了一种基于边界框距离双模式协作判别的非极大值抑制方法，该方法可以结合模型预测的位置信息，引入距离度量。该方法首先利用边界框之间的交并比IOU和距离，通过类内抑制模式消除同一目标的同类冗余边界框，然后设计一种基于距离的类间抑制方法，用于消除模型对同一目标预测的错误类别边界框。该方法通过引入距离度量，结合了NMS算法类内和类间两种抑制模式的优点，对模型预测的冗余的边界框做出了更加合理的抑制，有效解决了传统NMS算法的不合理抑制问题，增强了模型的检测性能和实际应用能力。
具体的，原始待检测的图像数据如图2a和2b所示，图2c和2d为现有的YOLOv3模型的预测结果，图3a对本申请提出的NMS方法的类内抑制效果进行了示例与展示，图3b对本申请提出的NMS方法的类间抑制效果进行了示例与展示。可以看出，本申请提出的NMS抑制方法做出了正确的抑制，得到了正确的检测结果。
在实际项目中，应用场景的不稳定性，会对目标检测和识别算法带来巨大挑战。本申请提出的NMS算法，在目标稠密、紧贴、旋转等较为复杂的应用场景下能对模型的冗余检测结果做出更为合理的抑制，能够减少漏检和误检，增强模型的实际应用能力。本申请可应用用于商品检测与识别，性能表现非常稳定，可极大地提升公司产品的实际应用能力。
目前在计算机视觉应用上，YOLO(You Only Look Once)系列的目标检测框架中，较多的使用了NMS算法对模型预测的冗余结果进行抑制。在其它的目标检测框架中如SSD(Single Shot MultiBox Detector)、Faster-RCNN(Faster-Regions with ConvolutionalNeural Networks)等，该申请仍然可用适用于解决它们遇到的非极大值误抑制问题。
本发明的双模式协作的目标检测抑制优化设备一实施例中，所述距离为欧氏距离，所述欧氏距离distance的计算公式如下：
其中，两个目标边界框的中心点的坐标分别为(x1,y1)和(x2,y2)。
在此，现有的目标检测算法对目标进行检测时，通常会预测5个值来表示检测出的边界框，它们分别为：置信度(confidence)、检测框的中心点坐标(x,y)，检测框的长和宽(w,h)。为解决传统NMS算法在复杂场景下的不合理抑制问题，本实施例在原有的IOU判别基础上，结合边界框之间的中心距离进行更精细化的协作判别。
具体，图4a画出了图2c中每个目标的边界框及其中心点,图4b画出了图2d中每个目标的边界框及其中心点。
可以看出，对于同一个目标，虽然模型可能会对其预测多个边界框，并且这些边界框的长宽不一，但是这些边界框的中心点比较集中，它们中心点之间的距离非常小。所以，可以根据边界框中心点之间的距离来对同一目标的边界框进行更加准确的筛选，假设现有bbox1和bbox2两个边界框，其中心点的坐标分别为(x1,y1)和(x2,y2),二者中心点之间的欧氏距离distance(distance)计算方式如下：
结合图4a、4b和上述分析可知，如果某些目标边界框的中心点之间的距离非常小例如小于某阈值dis_threshold，则可以认为它们是属于同一个目标的边界框，然后再根据交并比IOU阈值，对这些属于同一个目标的边界框进行更加合理的抑制。
本实施例提出了基于边界框中心距离双模式协作判别的非极大值抑制方法，该方法结合模型预测的位置信息，通过类内和类间二次协作判别机制，对冗余的边界框进行了更加合理的抑制处理，有效解决了传统NMS算法的不合理抑制问题。
如图5所示，本发明的双模式协作的目标检测抑制优化设备一实施例中，所述类内筛选装置，包括：
第31模块，用于设置交并比IOU抑制阈值nms_threshold、类内抑制距离阈值dis_threshold1和类间抑制距离阈值dis_threshold2，并初始化类别标签i＝0，初始化空序列的第一序列Sequence1；
第32模块，用于初始化空序列的第二序列Sequence2，将类别标签为i类的初始预测的目标边界框按照置信度从大到小的顺序存入第二序列Sequence2；
第33模块，用于依次计算第二序列Sequence2中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的交并比IOU和距离distance，从第二序列Sequence2中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第二序列Sequence2中的第一个初始预测的目标边界框的交并比大于所述交并比IOU抑制阈值nms_threshold且距离小于所述类内抑制距离阈值dis_threshold1的目标边界框；
第34模块，用于从所述第二序列Sequence2中取出第一个初始预测的目标边界框存入所述第一序列Sequence1；
第35模块，用于重复依次执行第33模块至第34模块，直到所述第二序列Sequence2为空时，执行第36模块；
第36模块，用于令i＝i+1，当i<＝N时，重新从第32模块开始执行，其中，N为类别标签i的最大值；否则，执行类间筛选装置。
在此，假设现有N个类别的目标检测问题。所述第一序列Sequence1中的初始预测的目标边界框即为初步筛选的目标边界框的集合。
本实施例结合了边界框之间的距离，通过类内与类间的协作抑制，较好地解决了传统NMS算法在复杂场景下存在的漏检、误检等不合理抑制问题。
上述第31模块～第36模块为结合边界框交并比IOU和距离的类内抑制过程。
如图5所示，本发明的双模式协作的目标检测抑制优化设备一实施例中，所述类间筛选装置，包括：
第47模块，用于初始化空序列的第三序列Sequence3，将所述第一序列Sequence1中的初始预测的目标边界框按照置信度从大到小的顺序重新排列并保存；
第48模块，用于依次计算所述第一序列Sequence1中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的距离distance，从第一序列Sequence1中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第一序列Sequence1中的第一个初始预测的目标边界框的距离小于所述类间抑制距离阈值dis_threshold2的目标边界框；
第49模块，用于从所述第一序列Sequence1中取出第一个初始预测的目标边界框存入所述第三序列Sequence3；
第50模块，用于依次重复执行第48模块至第49模块，直到所述第一序列Sequence1为空；
第51模块，用于将所述第三序列Sequence3中的初始预测的目标边界框作为最终的目标边界框。
在此，第47模块～第S51模块为基于距离的类间抑制过程。
本实施例结合了边界框之间的距离，通过类内与类间的协作抑制，较好地解决了传统NMS算法在复杂场景下存在的漏检、误检等不合理抑制问题。
根据本发明的另一方面，还提供一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取待检测目标的图片；
将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中未删除的初步筛选的目标边界框作为最终的目标边界框。
根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
获取待检测目标的图片；
将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中未删除的初步筛选的目标边界框作为最终的目标边界框。
本发明的各设备和存储介质实施例的详细内容，具体可参见各方法实施例的对应部分，在此，不再赘述。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (10)
1.一种双模式协作的目标检测抑制优化方法，其中，该方法包括：
步骤S1，获取待检测目标的图片；
步骤S2，将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
步骤S3，基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
步骤S4，基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中未删除的初步筛选的目标边界框作为最终的目标边界框。
2.根据权利要求1所述的方法，其中，所述距离为欧氏距离，所述欧氏距离distance的计算公式如下：
其中，两个目标边界框的中心点的坐标分别为(x1,y1)和(x2,y2)。
3.根据权利要求1或2所述的方法，其中，步骤S3，包括：
步骤S31，设置交并比抑制阈值、类内抑制距离阈值和类间抑制距离阈值，并初始化类别标签i＝0，初始化空序列的第一序列；
步骤S32，初始化空序列的第二序列，将类别标签为i类的初始预测的目标边界框按照置信度从大到小的顺序存入第二序列；
步骤S33，依次计算所述第二序列中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的交并比和距离，从所述第二序列中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第二序列中的第一个初始预测的目标边界框的交并比大于所述交并比抑制阈值且距离小于所述类内抑制距离阈值的目标边界框；
步骤S34，从所述第二序列中取出第一个初始预测的目标边界框存入所述第一序列；
步骤S35，依次重复步骤S33至步骤S34，直到所述第二序列为空时，执行步骤S36；
步骤S36，令i＝i+1，当i<＝N时，重新从步骤S32开始执行，其中，N为类别标签i的最大值；否则，执行步骤S4。
4.根据权利要求3所述的方法，其中，步骤S4，包括：
步骤S47，初始化空序列的第三序列，将所述第一序列中的初始预测的目标边界框按照置信度从大到小的顺序重新排列并保存；
步骤S48，依次计算所述第一序列中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的距离，从所述第一序列中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第一序列中的第一个初始预测的目标边界框的距离小于所述类间抑制距离阈值的目标边界框；
步骤S49，从所述第一序列中取出第一个初始预测的目标边界框存入所述第三序列；
步骤S50，依次重复步骤S48至步骤S49，直到所述第一序列为空；
步骤S51，将所述第三序列中的初始预测的目标边界框作为最终的目标边界框。
5.一种双模式协作的目标检测抑制优化设备，其中，该设备包括：
获取装置，用于获取待检测目标的图片；
初始预测装置，用于将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
类内筛选装置，用于基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的剩余的即未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
类间筛选装置，用于基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中的剩余的即未删除的初步筛选的目标边界框作为最终的目标边界框。
6.根据权利要求5所述的设备，其中，所述距离为欧氏距离，所述欧氏距离distance的计算公式如下：
其中，两个目标边界框的中心点的坐标分别为(x1,y1)和(x2,y2)。
7.根据权利要求5或6所述的设备，其中，所述类内筛选装置，包括：
第31模块，用于设置交并比抑制阈值、类内抑制距离阈值和类间抑制距离阈值，并初始化类别标签i＝0，初始化空序列的第一序列；
第32模块，用于初始化空序列的第二序列，将类别标签为i类的初始预测的目标边界框按照置信度从大到小的顺序存入所述第二序列；
第33模块，用于依次计算所述第二序列中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的交并比和距离，从第二序列中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第二序列中的第一个初始预测的目标边界框的交并比大于所述交并比抑制阈值且距离小于所述类内抑制距离阈值的目标边界框；
第34模块，用于从所述第二序列中取出第一个初始预测的目标边界框存入所述第一序列；
第35模块，用于重复依次执行第33模块至第34模块，直到所述第二序列为空时，执行第36模块；
第36模块，用于令i＝i+1，当i<＝N时，重新从第32模块开始执行，其中，N为类别标签i的最大值；否则，执行所述类间筛选装置。
8.根据权利要求7所述的设备，其中，所述类间筛选装置，包括：
第47模块，用于初始化空序列的第三序列，将所述第一序列中的初始预测的目标边界框按照置信度从大到小的顺序重新排列并保存；
第48模块，用于依次计算所述第一序列中的第一个初始预测的目标边界框与第一个初始预测的目标边界框后面每个初始预测的目标边界框之间的距离，从所述第一序列中的第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第一序列中的第一个初始预测的目标边界框的距离小于所述类间抑制距离阈值的目标边界框；
第49模块，用于从所述第一序列中取出第一个初始预测的目标边界框存入所述第三序列；
第50模块，用于依次重复执行第48模块至第49模块，直到所述第一序列为空；
第51模块，用于将所述第三序列中的初始预测的目标边界框作为最终的目标边界框。
9.一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取待检测目标的图片；
将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中未删除的初步筛选的目标边界框作为最终的目标边界框。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
获取待检测目标的图片；
将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的类别和置信度；
基于同一类别中的初始预测的目标边界框的置信度、初始预测的目标边界框之间的距离和交并比，分别删除每一类别中冗余的初始预测的目标边界框，得到各个类别的未删除的初始预测的目标边界框作为初步筛选的目标边界框的集合；
基于所述集合中各个的初步筛选的目标边界框的置信度、初步筛选的目标边界框之间的距离，删除所述集合中的冗余的初步筛选的目标边界框，将所述集合中未删除的初步筛选的目标边界框作为最终的目标边界框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010091307.2A CN111310759B (zh) | 2020-02-13 | 2020-02-13 | 双模式协作的目标检测抑制优化方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010091307.2A CN111310759B (zh) | 2020-02-13 | 2020-02-13 | 双模式协作的目标检测抑制优化方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111310759A CN111310759A (zh) | 2020-06-19 |
| CN111310759B true CN111310759B (zh) | 2024-03-01 |
Family
ID=71147069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010091307.2A Active CN111310759B (zh) | 2020-02-13 | 2020-02-13 | 双模式协作的目标检测抑制优化方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111310759B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419263B (zh) * | 2020-11-20 | 2023-04-14 | 上海电力大学 | 一种基于类间覆盖比的多类别非极大抑制方法及系统 |
| CN112934758B (zh) * | 2020-12-14 | 2022-10-14 | 中科院计算所西部高等技术研究院 | 基于图像识别的煤炭分拣拨手控制方法 |
| CN112613564A (zh) * | 2020-12-25 | 2021-04-06 | 桂林汉璟智能仪器有限公司 | 一种剔除重叠框的目标检测后处理方法 |
| CN114266886A (zh) * | 2021-12-23 | 2022-04-01 | 江西中科智鹏物联科技有限公司 | 一种自适应选择交并区域比阈值的非极大值抑制方法 |
| CN114707015A (zh) * | 2022-03-14 | 2022-07-05 | 同盾科技有限公司 | 一种商标标注方法、装置、电子设备以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018137357A1 (zh) * | 2017-01-24 | 2018-08-02 | 北京大学 | 一种目标检测性能优化的方法 |
| CN109934121A (zh) * | 2019-02-21 | 2019-06-25 | 江苏大学 | 一种基于YOLOv3算法的果园行人检测方法 |
| CN110084173A (zh) * | 2019-04-23 | 2019-08-02 | 精伦电子股份有限公司 | 人头检测方法及装置 |
| CN110781819A (zh) * | 2019-10-25 | 2020-02-11 | 浪潮电子信息产业股份有限公司 | 一种图像目标检测方法、系统、电子设备及存储介质 |
-
2020
- 2020-02-13 CN CN202010091307.2A patent/CN111310759B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018137357A1 (zh) * | 2017-01-24 | 2018-08-02 | 北京大学 | 一种目标检测性能优化的方法 |
| CN109934121A (zh) * | 2019-02-21 | 2019-06-25 | 江苏大学 | 一种基于YOLOv3算法的果园行人检测方法 |
| CN110084173A (zh) * | 2019-04-23 | 2019-08-02 | 精伦电子股份有限公司 | 人头检测方法及装置 |
| CN110781819A (zh) * | 2019-10-25 | 2020-02-11 | 浪潮电子信息产业股份有限公司 | 一种图像目标检测方法、系统、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 赵文清 ; 严海 ; 邵绪强 ; .改进的非极大值抑制算法的目标检测.中国图象图形学报.2018,(11),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111310759A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310759B (zh) | 双模式协作的目标检测抑制优化方法及设备 | |
| US11055535B2 (en) | Method and device for video classification | |
| US11321593B2 (en) | Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device | |
| CN109035304B (zh) | 目标跟踪方法、介质、计算设备和装置 | |
| US9697416B2 (en) | Object detection using cascaded convolutional neural networks | |
| US11170224B2 (en) | Keyframe-based object scanning and tracking | |
| CN111754394B (zh) | 鱼眼图像中的对象检测方法、装置及存储介质 | |
| US20120294476A1 (en) | Salient Object Detection by Composition | |
| CN111260684A (zh) | 基于帧差法和背景差分法结合的前景像素提取方法及系统 | |
| CN110147750B (zh) | 一种基于运动加速度的图像搜索方法、系统及电子设备 | |
| CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
| CN114359932B (zh) | 文本检测方法、文本识别方法及装置 | |
| CN114782499A (zh) | 一种基于光流和视图几何约束的图像静态区域提取方法及装置 | |
| CN111291661A (zh) | 一种屏幕中图标的文本内容的识别方法及设备 | |
| US20210312215A1 (en) | Method for book recognition and book reading device | |
| US8989505B2 (en) | Distance metric for image comparison | |
| CN113674220A (zh) | 一种图像差异检测方法、检测装置和存储介质 | |
| Zhang et al. | Depth enhancement with improved exemplar-based inpainting and joint trilateral guided filtering | |
| US20220311910A1 (en) | Corner detection method and corner detection device | |
| Pan et al. | Research on seamless image stitching based on fast marching method | |
| CN105608423A (zh) | 一种视频匹配方法及装置 | |
| CN114155285A (zh) | 基于灰度直方图的图像配准方法 | |
| CN117496204A (zh) | 一种图像特征点匹配方法、装置、设备及介质 | |
| CN112819889A (zh) | 位置信息的确定方法及装置、存储介质、电子装置 | |
| WO2022174603A1 (zh) | 一种位姿预测方法、位姿预测装置及机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |