CN116543189B - 一种目标检测方法、装置、设备及存储介质 - Google Patents
一种目标检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116543189B CN116543189B CN202310778164.6A CN202310778164A CN116543189B CN 116543189 B CN116543189 B CN 116543189B CN 202310778164 A CN202310778164 A CN 202310778164A CN 116543189 B CN116543189 B CN 116543189B
- Authority
- CN
- China
- Prior art keywords
- detection
- frame
- detection frames
- target
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 430
- 238000000034 method Methods 0.000 claims description 34
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种目标检测方法、装置、设备及存储介质,其中,目标检测方法包括:对图像中的至少一个目标进行检测,得到多个检测框及关联置信度;剔除置信度小于置信度阈值的检测框,利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,每一类代表一个目标;根据聚类结果,确定各目标的多个候选检测框,合并各目标的多个检测框得到各目标的最终检测框。本发明实施例提供的技术方案,在目标检测框确定时考虑了目标关联的多个候选检测框特征,避免了单一候选检测框作为目标检测框时过度依赖对应候选检测框准确性的问题发生,提高了图像中目标位置检测的准确度。
Description
技术领域
本发明涉及图像识别技术领域,尤其涉及一种目标检测方法、装置、设备及存储介质。
背景技术
目前运动目标的检测算法多通过神经网络实现位置检测。该方案中通过特征提取和深度学习,确定多个指向该运动目标的候选框,然后通过非极大值抑制(non maximumsuppression,NMS)的方式,在多个候选框中确定目标框,从而实现运动目标的位置检测。
但是该方案中一般选择置信度最高的候选框为目标框,置信度最高的候选框可能不是最能表征运动目标的位置的候选框。简单的通过置信度和交并比(Intersection overUnion ,IOU)的方式确定运动目标的检测位置,与运动目标的实际位置可能存在偏差,导致运动目标的位置检测准确率较低。
发明内容
本发明提供了一种目标检测方法、装置、设备及存储介质,能够提高图像中目标位置检测的准确度。
第一方面,本发明提供了一种目标检测方法,包括:
获取图像中对至少一个目标进行检测得到的多个检测框及关联置信度;
剔除置信度小于置信度阈值的检测框,利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,每一类代表一个目标;
根据聚类结果,确定各目标的多个候选检测框,合并各目标的多个检测框得到各目标的最终检测框。
可选地,所述利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,包括:
按照置信度由大至小的顺序,遍历剩余检测框,计算遍历到的检测框与其他检测框的重叠度以及中心点的距离;
若重叠度大于重叠度阈值,且中心点的距离小于距离阈值,则确定该遍历到的检测框与该其他检测框为同一目标,将二者划为同一类别;
将属于同一目标的检测框从所述剩余检测框中提取出来,继续对剩余检测框进行遍历,得到代表不同目标的不同检测框聚类结果。
可选地,所述按照置信度由大至小的顺序,遍历剩余检测框,计算遍历到的检测框与其他检测框的重叠度以及中心点的距离,包括:
将剩余检测框按置信度降序顺序排列并存放至候选检测框集合H中,其中集合H的初始状态为空集;
若集合H中存放检测框的数量大于第一数量阈值,则将集合H中第一个检测框作为假设核心框,并移动假设核心框至同目标检测框集合L中,其中集合L的初始状态为空集;
分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离;
所述将属于同一目标的检测框从所述剩余检测框中提取出来,继续对剩余检测框进行遍历,得到代表不同目标的不同检测框聚类结果包括:
将与假设核心框属于同一目标的该其他检测框从集合H中移至集合L中,继续遍历集合H中的其他检测框;
在遍历完集合H中所有检测框后,统计集合L中的检测框个数,若个数大于第二数量阈值,则确认假设核心框为真实核心框,提取集合L中的检测框作为第一目标的检测框聚类结果,第一目标是真实核心框的检测目标;
将集合L设置为空集,返回执行“若集合H中存放检测框的数量大于第一数量阈值,则将集合H中第一个检测框作为假设核心框”的步骤,直至集合H中存放检测框的数量小于或等于第一数量阈值。
可选地,所述在遍历完集合H中所有检测框后,统计集合L中的检测框个数之后,所述方法还包括:
若个数等于1,则认为假设核心框是一个异常框,将假设核心框从集合L中删除;
若个数小于或等于第二数量阈值,且大于1,则认为假设核心框是一个边界框,将集合L中第二个检测框作为假设核心框并返回执行“分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离”的步骤,直到确定一个真实核心框。
可选地,所述分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离包括:
将集合H中检测框作为对比框;
分别计算各对比框与假设核心框的重叠度;
判断重叠度大于重叠度阈值时,计算对应对比框的中心点与假设核心框的中心点的距离。
可选地,分别计算各对比框与假设核心框的重叠度包括:
获取各对比框与假设核心框的相似度以及交并比;
根据各对比框与假设核心框的相似度以及交并比,确定各对比框与假设核心框的重叠度。
可选地,所述合并各目标的多个检测框得到各目标的最终检测框包括:
选取所述多个候选框相同边缘的特征集中区域的均值作为对应所述目标检测框的相应边缘。
第二方面,本发明还提供了一种目标检测装置,包括:
初检模块,用于获取图像中对至少一个目标进行检测得到的多个检测框及关联置信度;
聚类模块,用于剔除置信度小于置信度阈值的检测框,利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,每一类代表一个目标;
结果输出模块,用于根据聚类结果,确定各目标的多个候选检测框,合并各目标的多个检测框得到各目标的最终检测框。
第三方面,本发明还提供了一种设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的目标检测方法。
第四方面,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的目标检测方法。
本发明实施例提供的技术方案,通过利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,确定各目标的多个候选检测框,根据多个候选检测框,确定目标的目标检测框,在目标检测框确定时考虑了目标关联的多个候选检测框特征,避免了单一候选检测框作为目标检测框时过度依赖对应候选检测框准确性的问题发生,提高了图像中目标位置检测的准确度。
此外,利用检测框间的重叠度以及中心点的距离两个维度对检测框进行聚类,从而提高候选检测框的筛选准确率,进而提高目标检测的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标检测方法的流程示意图;
图2是本发明实施例提供的一种检测框聚类的方法流程示意图;
图3是本发明实施例提供的一种重叠度以及中心点的距离计算的方法流程示意图;
图4是本发明实施例提供的一种分别计算各对比框与假设核心框的重叠度的方法流程示意图;
图5是本发明实施例提供的一种判断假设核心框标签的方法流程示意图;
图6是本发明实施例提供的一种目标检测装置的结构示意图;
图7是本发明实施例提供的一种设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
在本发明的描述中,除非另有说明,“/”表示“或”的意思,例如,A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。此外,“至少一个”“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,便于理解。
此外,本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是可选的还包括其他没有列出的步骤或模块,或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明的附图通过具体实施例来进行说明。
目前,在图像的目标识别过程中,网络模型往往会对一个目标给出多个检测框,通过NMS操作可以有效的删除多余的检测框而只保留一个最优的结果,然而,传统NMS首先根据目标的置信度得分对所有的检测框进行降序排列建表,然后将置信度最高的检测框作为可靠的检测框,并分别计算其与剩余检测框的IoU(交并比),表中仅保留IoU小于设定阈值的检测框,以此往复循环直到结束。其缺陷在于:使用置信度这个指标不合理,置信度最高的检测框定位不一定最准确。
本发明提出一种目标检测方法,基于预设条件筛选获得目标关联的多个候选检测框,合并多个候选检测框获得目标检测框,因此考虑到了多个候选检测框的特征,避免了前述问题导致的不准确问题发生。
本发明适用于本车对周围车辆或行人等物体进行检测的情况,其中本车可以是商用车,也可以是乘用车,本实施例对此并不进行任何限定。典型的,本发明适用于在行驶的过程中本车对前车进行目标检测的情况,其中本车是商用车。
图1是本发明实施例提供的一种目标检测方法的流程示意图。该方法的执行主体为目标检测装置。该装置可以配置于摄像装置中,或者与摄像装置连接的控制器中,该控制器可以是出厂前安装于车辆中,也可以是出厂后再安装于车辆中。该方法包括如下:
S11、获取图像中对至少一个目标进行检测得到的多个检测框及关联置信度。
其中,目标检测方法可以是现有技术中的任意方法,本实施例对此并不进行任何限定。
示例性的,图像可以由本车中的摄像装置采集得到。
目标指待识别的目标物。在一些实施例中,目标包括本车周围的静止目标和运动目标。示例性的,目标可以为本车周围的道路护栏、灯杆等。目标还可以为本车周围的车辆、行人等。
作为一种可能的实现方式,控制器可以通过摄像装置对目标进行拍摄,逐帧获取目标的实时图像。
作为另一种可能的实现方式,控制器还可以从控制器的存储器中获取目标在各时刻的历史图像。
通常,每个目标通过检测可以得到1个或多个检测框。每个检测框有一个置信度,置信度用于描述检测框的检测准确度。
S12、剔除置信度小于置信度阈值的检测框,利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,每一类代表一个目标。
其中,剩余检测框是剔除置信度小于置信度阈值的检测框后剩余的检测框。重叠度是指两检测框之间的重叠程度。中心点的距离是指两检测框中心点之间的距离。
具体地,利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,包括:
计算两两检测框间的重叠度以及中心点的距离,根据计算结果将重叠度大于设定阈值,中心点的距离小于设定阈值的检测框划分为一类;
每一类对应一个目标,每一类别下的多个检测框可视为该目标的多个候选检测框。
为提高聚类计算效率,所述利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,包括:
按照置信度由大至小的顺序,遍历剩余检测框,计算遍历到的检测框与其他检测框的重叠度以及中心点的距离;
若重叠度大于重叠度阈值,且中心点的距离小于距离阈值,则确定该遍历到的检测框与该其他检测框为同一目标,将二者划为同一类别;
将属于同一目标的检测框从所述剩余检测框中提取出来,继续对剩余检测框进行遍历,得到代表不同目标的不同检测框聚类结果。
其中,其他检测框是指剩余检测框中除遍历到的检测框以及提取出来的检测框以外的检测框。
例如,首先遍历剩余检测框中最大置信度对应的检测框,计算该最大置信度对应的检测框与剩余检测框中除最大置信度对应的检测框以外的其他检测框之间的重叠度和中心点距离;若重叠度大于重叠度阈值,且中心点的距离小于距离阈值,则确定该最大置信度对应的检测框与该其他检测框为同一目标,将二者划为同一类别;将该最大置信度对应的检测框与该其他检测框提取出来。
需要说明的是,每个目标对应多个候选检测框可以理解的是,多个候选检测框集中分布于对应目标附近。
可选的,按照置信度降序顺序依次存放于集合H中之前还包括:删除所有检测框中置信度低于置信度阈值的检测框。可以理解的是,置信度低于置信度阈值的检测框大概率为假检测框,即未框选成功任何真实目标,因此,删除该类检测框,达到去噪效果,提高目标检测框确定的准确性。
S13、根据聚类结果,确定各目标的多个候选检测框,合并各目标的多个检测框得到各目标的最终检测框。
其中,最终检测框是指最终确定的目标的检测框,也即本目标检测技术方案输出的检测结果。
可以直接将每个类别下的检测框作为对应检测目标的候选检测框。
为了进一步提高目标检测准确率,根据聚类结果,确定各目标的多个候选检测框,包括:
统计每个类别中检测框的数量,若数量大于第二数量阈值,则将该类别中的检测框确定为该类别关联目标的候选检测框;
若数量等于1,则将该检测框认定为异常检测框;
若数量大于1,且小于或等于第二数量阈值,则对该部门检测框进行重新聚类。
相较于现有技术中仅采用置信度最高的检测框作为目标检测框,合并多个候选检测框作为目标检测框的方式融合了更多检测框特征,且由于候选检测框均为经筛选后获得的分布于对应目标附近的检测精度较高的检测框,合并后能够更为准备的确定目标位置。
示例性的,合并多个候选检测框包括:选取多个候选框相同边缘的特征集中区域的均值作为对应目标检测框的相应边缘。
具体的,以检测框的左边界为例,假设左边界对应像素所在列服从正态分布,则取所有左边界所在列的特征集中区域的平均值作为对应目标的目标检测框的左边界,其中,特征集中区域例如可以是整条左边界线的80%,本实施例不做具体限定,可根据实际需求合理选择。可以理解的是,除左边界线外的其他边界线可采用相同方式确定。
在本实施例的其他实施方式中,也可以采用其他合理方式合并多个候选检测框。
本发明实施例提供的技术方案,通过利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,确定各目标的多个候选检测框,根据多个候选检测框,确定目标的目标检测框,在目标检测框确定时考虑了目标关联的多个候选检测框特征,避免了单一候选检测框作为目标检测框时过度依赖对应候选检测框准确性的问题发生,提高了图像中目标位置检测的准确度。
图2是本发明实施例提供的一种检测框聚类的方法流程示意图。如图2所示,利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类包括如下:
S1、构建检测框集合H,获取图像上的所有检测框,并按照置信度降序顺序依次存放于集合H中。
需要说明的是,每帧图像上包括至少一个目标,图像上的所有检测框指当前帧图像上全部目标的检测框。其中,检测框为初始识别图像目标时形成的检测框。
S2、构建检测框集合L,选取集合H中置信度最高的检测框作为假设核心框,并从集合H移动至集合L。
需要说明的是,假设核心框为假设的一个框选对应目标最为准确的检测框,后续会对假设核心框的准确性进行核对,以通过确认或调整获得准确的核心框。
可以理解的是,将假设核心框从集合H移动至集合L后,集合H不再包含假设核心框。
S3、确定假设核心框关联的多个检测框,从集合H移动至集合L,并按照置信度降序顺序依次存放。
需要说明的是,假设核心框关联的多个检测框指的是与假设核心框重叠度高且中心距离近的检测框。
可以理解的是,将多个检测框成功集合H移动至集合L后,集合H不再包含这些检测框。
S4、根据假设核心框关联的多个检测框的数量,判断假设核心框标签。
其中,假设核心框的标签包括核心框、边界框和异常框,判断假设核心框标签即确定假设核心框为核心框、边界框和异常框中的哪一种。
S5、若假设核心框的标签为边界框,则选取集合L中下一检测框作为新的假设核心框,继续执行S3,直至假设核心框的标签为核心框。若假设核心框的标签为异常框,则从集合L中删除该假设核心框,并继续执行S3,直至假设核心框的标签为核心框。
可以理解的是,检测框在集合L中按照置信度降序顺序排列,集合L中下一检测框指的是置信度低于当前假设核心框的检测框。
S6、将集合L中的多个检测框作为第一目标的多个候选检测框,并清空集合L。
其中,第一目标为图像中至少一个目标中的一个,具体指采用本发明实施例提供的技术方案被首个确定目标检测框的目标。
可以理解的是,集合L必然包括核心框,可能包括边界框,不包括异常框。清空集合L是为了使用集合L存储下一目标的多个候选检测框。
S7、继续执行S2,直至集合H为空,以获得其他目标的多个候选检测框。
可以理解的是,获得其他目标的多个候选检测框的方式与获得第一目标的多个候选检测框的方式相同,不同的仅是集合H和集合L中检测框的数量。
图3是本发明实施例提供的一种重叠度以及中心点的距离计算的方法流程示意图。如图3所示,分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离包括如下:
S21、将集合H中检测框作为对比框。
可以理解的是,集合H中的检测框不包含已被移动至集合L中的假设目标框。
S22、分别计算各对比框与假设核心框的重叠度。
依次用各对比框分别与假设核心框求两者重叠度,其中,重叠度用于衡量对比框与假设核心框的重叠程度。
S23、判断重叠度大于重叠度阈值时,计算对应对比框与假设核心框的中心点的距离。
其中,重叠度阈值为一经验值,通常为一定值,在该重叠阈值下,重叠度不受对比框以及假设核心框的参数影响。
示例性的,对比框与假设核心框的中心点的距离可以为中心点间的欧氏距离、曼哈顿距离等。
S24、将小于距离阈值的距离对应的对比框作为假设核心框关联的检测框。
其中,距离阈值为一经验值,通常为一定值,在该距离阈值下,距离不受对比框以及假设核心框的参数影响。
对比框与假设核心框的距离小于距离阈值说明对比框在假设核心框的中心点半径领域内,两者重叠度高且中心点彼此靠近。
图4是本发明实施例提供的一种分别计算各对比框与假设核心框的重叠度的方法流程示意图。如图4所示,分别计算各对比框与假设核心框的重叠度包括:
S31、获取各对比框与假设核心框的相似度以及交并比。
其中,相似度具体为各对比框与假设核心框的类别相似度,用来描述两个标签的检测框的相似程度,若两个检测框的标签一致,则相似度为1;若两个检测框所框选的目标对网络来说从外观上难以区分,例如,快递三轮车与厢式货车的车辆从车尾方向上看区别不大,网络也容易将这两个标签混淆,依据经验将易混淆标签的相似度定为义0~1之间的数(例如,将三轮车和箱式货车车尾的相似度定为0.9,将自行车骑手和摩托车骑手的相似度定为0.8);若两个标签不一致也不会混淆,则相似度为0;相似度s的计算公式如下:
------ (1)
其中0 < f < 1, 表示两个检测框的标签一致, />表示两个检测框的标签不一致但相似,而/>表示两标签不一致也不相似。
交并比用来描述两个检测框所在位置存在的偏差。它等于两个检测框重合区域面积与整体所占区域面值之比。显然,IoU的值越大,两检测框的重合度越高,且当IoU=1时,两检测框完全重合,当IoU=0时,两检测框完全不重合。
S32、根据各对比框与假设核心框的相似度以及交并比,确定各对比框与假设核心框的重叠度。
采用重叠度的计算公式进行计算:c=s×IoU。其中,c为重叠度,s为两个标签的检测框的相似程度,IoU为两个标签的检测框的交并比。
图5是本发明实施例提供的一种判断假设核心框标签的方法流程示意图。如图5所示,根据假设核心框关联的多个检测框的数量,判断假设核心框标签包括如下:
S41、比较假设核心框关联的多个检测框的数量与数量阈值。
其中,数量阈值为经验值。
S42、判断多个检测框的数量小于或等于数量阈值时,确定假设核心框的标签为边界框。
S43、判断多个检测框的数量大于数量阈值时,确定假设核心框的标签为核心框。
S44、判断多个检测框的数量等于0时,确定假设核心框的标签为异常框。
可以理解的是,假设核心框的标签为核心框时,说明假设成立,即假设核心框即为真实的核心框,假设核心框的标签为异常框时,说明当前的假设核心框处于异常状态,需彻底删除,以免影响最终判定结果,假设核心框的标签为边界框时,说明当前假设核心框非核心框,但是属于边界值,可保留。
以下给出本发明的一个具体实施例:
步骤1、获取图像中对至少一个目标进行检测得到的多个检测框及关联置信度。
步骤2、剔除置信度小于置信度阈值的检测框,将剩余检测框按置信度降序顺序排列并存放到候选检测框集合H中。
其中,集合H的初始状态为空集。
步骤3、判断集合H是不是空集,若是空集,直接退出本流程,否则进行步骤4。
本步骤的目的是:判断集合H中存放检测框的数量大于第一数量阈值,该第一数量阈值可以根据实际需要设定,典型的,第一数量阈值可以是1。
步骤4、构建空的同目标检测框集合L,用来暂时存放同一个目标的检测框。此外,还可以同时构建空的结果存放集合M,用于存放输出结果。
步骤5、将集合H中第一个检测框作为假设核心框m,并移动至集合L。
步骤6、分别计算假设核心框m与集合H中所有检测框的重叠度以及中心点的距离。
若假设核心框m与集合H中某个检测框的重叠度大于重叠度阈值,则继续计算假设核心框m的中心点与该检测框中心点的距离,若距离小于距离阈值,则认为该检测框中心点在假设核心框m中心点的半径领域内,将该检测框移到集合L中,此后H中已不包含该检测框。
步骤7、确定核心框。
遍历完H中所有检测框,统计假设核心框m中心点的半径领域内的中心点对应的检测框的个数,若个数大于数量阈值,则确认假设核心框m为真实核心框,假设成立;若个数等于零,则认为假设核心框m是一个异常框,将假设核心框m从集合L中删除;若个数小于等于数量阈值但大于零,则认为假设核心框m是一个边界框,将集合L中第二个检测框标记为m并重复步骤6,直到确定一个真实核心框则进行步骤8。
其中,假设核心框m中心点的半径领域内的中心点对应的检测框的个数可以通过统计集合L中的检测框个数再减去1得到,减去1是把假设核心框排除。
可选地,该步骤也可以描述为:在遍历完集合H中所有检测框后,统计集合L中的检测框个数,若个数大于第二数量阈值,则确认假设核心框为真实核心框;若个数等于1,则认为假设核心框是一个异常框,将假设核心框从集合L中删除;
若个数小于或等于第二数量阈值,且大于1,则认为假设核心框是一个边界框,将集合L中第二个检测框作为假设核心框并返回执行“分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离”的步骤,直到确定一个真实核心框。
步骤8、将集合L中的检测框组合成一个检测框并移入集合M,同时将L清空。
步骤9、返回步骤3并继续步骤3及之后的步骤,直到集合H为空集。
图6是本发明实施例提供的一种目标检测装置的结构示意图。如图6所示,目标检测装置包括:
初检模块61,用于获取图像中对至少一个目标进行检测得到的多个检测框及关联置信度;
聚类模块62,用于剔除置信度小于置信度阈值的检测框,利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,每一类代表一个目标;
结果输出模块63,用于根据聚类结果,确定各目标的多个候选检测框,合并各目标的多个检测框得到各目标的最终检测框。
可选的,聚类模块62可以包括:
计算单元,用于按照置信度由大至小的顺序,遍历剩余检测框,计算遍历到的检测框与其他检测框的重叠度以及中心点的距离;
目标确定单元,用于若重叠度大于重叠度阈值,且中心点的距离小于距离阈值,则确定该遍历到的检测框与该其他检测框为同一目标,将二者划为同一类别;
提权单元,用于将属于同一目标的检测框从所述剩余检测框中提取出来,继续对剩余检测框进行遍历,得到代表不同目标的不同检测框聚类结果。
可选的,计算单元用于:
将剩余检测框按置信度降序顺序排列并存放至候选检测框集合H中,其中集合H的初始状态为空集;
若集合H中存放检测框的数量大于第一数量阈值,则将集合H中第一个检测框作为假设核心框,并移动假设核心框至同目标检测框集合L中,其中集合L的初始状态为空集;
分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离。
提权单元用于:将与假设核心框属于同一目标的该其他检测框从集合H中移至集合L中,继续遍历集合H中的其他检测框;
在遍历完集合H中所有检测框后,统计集合L中的检测框个数,若个数大于第二数量阈值,则确认假设核心框为真实核心框,提取集合L中的检测框作为第一目标的检测框聚类结果,第一目标是真实核心框的检测目标;
若个数等于1,则认为假设核心框是一个异常框,将假设核心框从集合L中删除;
若个数小于或等于第二数量阈值,且大于1,则认为假设核心框是一个边界框,将集合L中第二个检测框作为假设核心框并返回执行“分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离”的步骤,直到确定一个真实核心框;
将集合L设置为空集,返回执行“若集合H中存放检测框的数量大于第一数量阈值,则将集合H中第一个检测框作为假设核心框”的步骤,直至集合H中存放检测框的数量小于或等于第一数量阈值。
所述分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离包括:
将集合H中所述检测框作为对比框;
分别计算各所述对比框与所述假设核心框的重叠度;
判断所述重叠度大于重叠度阈值时,计算对应所述对比框的中心点与所述假设核心框的中心点的距离。
分别计算各所述对比框与所述假设核心框的重叠度包括:
获取各所述对比框与所述假设核心框的相似度以及交并比;
根据各所述对比框与所述假设核心框的相似度以及交并比,确定各所述对比框与所述假设核心框的重叠度。
可选的,结果输出模块模块63可以包括:
边缘处理单元,用于选取所述多个候选框相同边缘的特征集中区域的均值作为对应所述目标检测框的相应边缘。
图7是本发明实施例提供的一种设备的结构示意图。如图7所示,该设备包括处理器72、存储器71、输入装置73和输出装置74;设备中处理器72的数量可以是一个或多个,图7中以一个处理器72为例;设备中的处理器72、存储器71、输入装置73和输出装置74可以通过总线或其他方式连接,图7中以通过总线连接为例。
存储器71作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的目标检测方法对应的程序指令/模块(例如,目标检测装置包括的初检模块61、聚类模块62、结果输出模块63)。处理器72通过运行存储在存储器71中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的目标检测方法。
存储器71可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器71可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器71可进一步包括相对于处理器72远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置73可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置74可包括显示屏等显示设备。
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种目标检测方法,该方法包括:
获取图像,所述图像包括至少一个目标;
确定各所述目标的多个候选检测框;
合并所述多个候选检测框,作为对应所述目标的目标检测框。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的目标检测方法中的相关操作.
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory, ROM)、随机存取存储器(RandomAccess Memory, RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述目标检测装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种目标检测方法,其特征在于,包括:
获取图像中对至少一个目标进行检测得到的多个检测框及关联置信度;
剔除置信度小于置信度阈值的检测框,利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,每一类代表一个目标,中心点的距离是指两检测框中心点之间的距离;
根据聚类结果,确定各目标的多个候选检测框,合并各目标的多个检测框得到各目标的最终检测框;
所述合并各目标的多个检测框得到各目标的最终检测框包括:
选取多个候选框相同边缘的特征集中区域的均值作为对应目标检测框的相应边缘。
2.根据权利要求1所述的目标检测方法,其特征在于,所述利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,包括:
按照置信度由大至小的顺序,遍历剩余检测框,计算遍历到的检测框与其他检测框的重叠度以及中心点的距离;
若重叠度大于重叠度阈值,且中心点的距离小于距离阈值,则确定该遍历到的检测框与该其他检测框为同一目标,将二者划为同一类别;
将属于同一目标的检测框从所述剩余检测框中提取出来,继续对剩余检测框进行遍历,得到代表不同目标的不同检测框聚类结果。
3.根据权利要求2所述的方法,其特征在于,所述按照置信度由大至小的顺序,遍历剩余检测框,计算遍历到的检测框与其他检测框的重叠度以及中心点的距离,包括:
将剩余检测框按置信度降序顺序排列并存放至候选检测框集合H中,其中集合H的初始状态为空集;
若集合H中存放检测框的数量大于第一数量阈值,则将集合H中第一个检测框作为假设核心框,并移动假设核心框至同目标检测框集合L中,其中集合L的初始状态为空集;
分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离;
所述将属于同一目标的检测框从所述剩余检测框中提取出来,继续对剩余检测框进行遍历,得到代表不同目标的不同检测框聚类结果包括:
将与假设核心框属于同一目标的该其他检测框从集合H中移至集合L中,继续遍历集合H中的其他检测框;
在遍历完集合H中所有检测框后,统计集合L中的检测框个数,若个数大于第二数量阈值,则确认假设核心框为真实核心框,提取集合L中的检测框作为第一目标的检测框聚类结果,第一目标是真实核心框的检测目标;
将集合L设置为空集,返回执行“若集合H中存放检测框的数量大于第一数量阈值,则将集合H中第一个检测框作为假设核心框”的步骤,直至集合H中存放检测框的数量小于或等于第一数量阈值。
4.根据权利要求3所述的目标检测方法,其特征在于,所述在遍历完集合H中所有检测框后,统计集合L中的检测框个数之后,所述方法还包括:
若个数等于1,则认为假设核心框是一个异常框,将假设核心框从集合L中删除;
若个数小于或等于第二数量阈值,且大于1,则认为假设核心框是一个边界框,将集合L中第二个检测框作为假设核心框并返回执行“分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离”的步骤,直到确定一个真实核心框。
5.根据权利要求3所述的目标检测方法,其特征在于,所述分别计算假设核心框与集合H中各检测框的重叠度以及中心点的距离包括:
将集合H中检测框作为对比框;
分别计算各对比框与假设核心框的重叠度;
判断重叠度大于重叠度阈值时,计算对应对比框的中心点与假设核心框的中心点的距离。
6.根据权利要求5所述的目标检测方法,其特征在于,分别计算各对比框与假设核心框的重叠度包括:
获取各对比框与假设核心框的相似度以及交并比;
根据各对比框与假设核心框的相似度以及交并比,确定各对比框与假设核心框的重叠度。
7.一种目标检测装置,其特征在于,包括:
初检模块,用于获取图像中对至少一个目标进行检测得到的多个检测框及关联置信度;
聚类模块,用于剔除置信度小于置信度阈值的检测框,利用检测框间的重叠度以及中心点的距离将剩余检测框进行聚类,每一类代表一个目标,中心点的距离是指两检测框中心点之间的距离;
结果输出模块,用于根据聚类结果,确定各目标的多个候选检测框,合并各目标的多个检测框得到各目标的最终检测框;
所述合并各目标的多个检测框得到各目标的最终检测框包括:
选取多个候选框相同边缘的特征集中区域的均值作为对应目标检测框的相应边缘。
8.一种电子设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的目标检测方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310778164.6A CN116543189B (zh) | 2023-06-29 | 2023-06-29 | 一种目标检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310778164.6A CN116543189B (zh) | 2023-06-29 | 2023-06-29 | 一种目标检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116543189A CN116543189A (zh) | 2023-08-04 |
CN116543189B true CN116543189B (zh) | 2023-09-26 |
Family
ID=87449078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310778164.6A Active CN116543189B (zh) | 2023-06-29 | 2023-06-29 | 一种目标检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116543189B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110060233A (zh) * | 2019-03-20 | 2019-07-26 | 中国农业机械化科学研究院 | 一种玉米果穗破损检测方法 |
CN111310622A (zh) * | 2020-02-05 | 2020-06-19 | 西北工业大学 | 一种面向水下机器人智能作业的鱼群目标识别方法 |
CN112348778A (zh) * | 2020-10-21 | 2021-02-09 | 深圳市优必选科技股份有限公司 | 一种物体识别方法、装置、终端设备及存储介质 |
CN113221750A (zh) * | 2021-05-13 | 2021-08-06 | 杭州飞步科技有限公司 | 车辆追踪方法、装置、设备及存储介质 |
CN114120127A (zh) * | 2021-11-30 | 2022-03-01 | 济南博观智能科技有限公司 | 一种目标检测方法、装置及相关设备 |
CN114494160A (zh) * | 2022-01-10 | 2022-05-13 | 复旦大学 | 一种基于完全融合集成网络候选框的骨折检测方法 |
CN115223003A (zh) * | 2022-06-07 | 2022-10-21 | 烽台科技(北京)有限公司 | 基于YOLOv5的入侵检测模型的训练方法和装置 |
CN115294328A (zh) * | 2022-08-09 | 2022-11-04 | 地平线(上海)人工智能技术有限公司 | 目标检测框的生成方法、装置、存储介质和电子设备 |
CN116052175A (zh) * | 2022-10-28 | 2023-05-02 | 北京迈格威科技有限公司 | 文字检测方法、电子设备、存储介质及计算机程序产品 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021098796A1 (zh) * | 2019-11-20 | 2021-05-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
-
2023
- 2023-06-29 CN CN202310778164.6A patent/CN116543189B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110060233A (zh) * | 2019-03-20 | 2019-07-26 | 中国农业机械化科学研究院 | 一种玉米果穗破损检测方法 |
CN111310622A (zh) * | 2020-02-05 | 2020-06-19 | 西北工业大学 | 一种面向水下机器人智能作业的鱼群目标识别方法 |
CN112348778A (zh) * | 2020-10-21 | 2021-02-09 | 深圳市优必选科技股份有限公司 | 一种物体识别方法、装置、终端设备及存储介质 |
CN113221750A (zh) * | 2021-05-13 | 2021-08-06 | 杭州飞步科技有限公司 | 车辆追踪方法、装置、设备及存储介质 |
CN114120127A (zh) * | 2021-11-30 | 2022-03-01 | 济南博观智能科技有限公司 | 一种目标检测方法、装置及相关设备 |
CN114494160A (zh) * | 2022-01-10 | 2022-05-13 | 复旦大学 | 一种基于完全融合集成网络候选框的骨折检测方法 |
CN115223003A (zh) * | 2022-06-07 | 2022-10-21 | 烽台科技(北京)有限公司 | 基于YOLOv5的入侵检测模型的训练方法和装置 |
CN115294328A (zh) * | 2022-08-09 | 2022-11-04 | 地平线(上海)人工智能技术有限公司 | 目标检测框的生成方法、装置、存储介质和电子设备 |
CN116052175A (zh) * | 2022-10-28 | 2023-05-02 | 北京迈格威科技有限公司 | 文字检测方法、电子设备、存储介质及计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN116543189A (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11455805B2 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
CN109087510B (zh) | 交通监测方法及装置 | |
CN110706261A (zh) | 车辆违章检测方法、装置、计算机设备和存储介质 | |
WO2015184899A1 (zh) | 一种车辆车牌识别方法及装置 | |
CN109377694B (zh) | 社区车辆的监控方法及系统 | |
JP6226368B2 (ja) | 車両監視装置、および車両監視方法 | |
CN111417960B (zh) | 信息处理装置、信息处理方法及程序 | |
CN112997190A (zh) | 车牌识别方法、装置及电子设备 | |
CN111369801B (zh) | 车辆识别方法、装置、设备和存储介质 | |
CN113420673B (zh) | 垃圾分类方法、装置、设备及存储介质 | |
CN113792586A (zh) | 车辆事故检测方法、装置及电子设备 | |
CN111295666A (zh) | 一种车道线检测方法、装置、控制设备及存储介质 | |
CN114387591A (zh) | 车牌识别方法、系统、设备及存储介质 | |
CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
CN111027534A (zh) | 一种紧凑双车牌检测方法及装置 | |
CN112597995B (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
CN114067186A (zh) | 一种行人检测方法、装置、电子设备及存储介质 | |
CN116543189B (zh) | 一种目标检测方法、装置、设备及存储介质 | |
CN111695389A (zh) | 一种车道线聚类方法及装置 | |
CN117333542A (zh) | 一种位置检测方法及装置 | |
CN112464938B (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
CN115082832A (zh) | 信息识别方法、装置及存储介质 | |
CN114419531A (zh) | 目标检测方法、目标检测系统以及计算机可读存储介质 | |
CN114445786A (zh) | 道路拥堵检测方法、装置、电子设备及存储介质 | |
CN114333409A (zh) | 目标跟踪方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |