CN112749751A

CN112749751A - 一种基于概率感知的检测器融合方法及系统

Info

Publication number: CN112749751A
Application number: CN202110055452.XA
Authority: CN
Inventors: 张宝昌; 毛明远; 郭杰; 吕金虎
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2021-01-15
Filing date: 2021-01-15
Publication date: 2021-05-04
Anticipated expiration: 2041-01-15
Also published as: CN112749751B

Abstract

本发明提供一种基于概率感知的检测器融合方法及系统，包括：获取若干个检测器的融合检测结果集合；将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致，获得所述融合检测结果集合的mAP最大期望值；基于所述mAP最大期望值，采用条件概率获得所述若干个检测器的检测框与检测目标匹配准确率。本发明采用基于概率感知的方法，通过统计概率对检测器中检测框对应的预测置信度进行细化，得到更高的置信度，获得更加合理的衡量检测框质量指标，从而提高检测融合模型的性能。

Description

一种基于概率感知的检测器融合方法及系统

技术领域

本发明涉及目标检测技术领域，尤其涉及一种基于概率感知的检测器融合方法及系统。

背景技术

目标检测是计算机视觉领域研究的热点之一，近年来在目标检测领域所取得的重大成果大多基于卷积神经网络的检测器模型，输出结果为位置信息，分类标签以及置信度，这些模型仅关注单个检测器模型优化，无法满足解决复杂的实际应用的需求。

为满足实际应用，目前采用较多的方案是进行检测器融合。这些方案将来自不同检测器的检测框进行融合，常用方法为非极大值抑制(Non-Maximum Suppression，NMS)和Soft-NMS，将各检测器所得检测器按照置信度将检测框排序，将得分最高的检测框保留并利用提前设定的阈值将其余与其有重叠的框抑制或更新置信度。后来又提出Soft-NMS，与NMS不同的是，Soft-NMS不会将与被选中检测框重合度较高的检测框的置信度分数置为零，而是根据重合度的高低，将其置信度分数削减，重合度越高，削减幅度越大，再通过预先设置的阈值，选出结果较好的一部分检测框，而不是单纯地抑制重合度较高的检测框。

尽管目前采用的检测器融合方法取得了一定的成效，但在融合之前，忽略了不同检测器之间的置信差异问题，即来自不同检测器具有相同置信度的检测框具有较大的预测质量差异问题。这种差异主要是由于在检测器的回归任务和分类任务重，前者利用的是目标的中心点坐标而后者利用的是目标的凸出部分，故而二者的特征侧重是不同的。置信度作为对检测框排序的重要指标，仅仅是对分类效果的反应，故置信度并不能全面地同时反映出一个检测框对于目标的定位和分类情况。因此，利用传统的利用置信度对检测框进行排序的方法并不能将结果最优化。

为了证明按照置信度高低对检测框进行排序后融合并不是得到最优结果的途径，首先定义了统计概率(statistical probability，SP)，SP表示一个检测框正确地匹配到目标的概率。正确匹配的条件是检测框与GT的IoU(Intersection over Union，交并比)超过预先设定的阈值(通常为0.5)并且检测框预测的类别是正确的，并选择mAP(Mean AveragePrecision，平均AP值)不同的几个检测器在COCO2017的验证集上测试，算出了不同置信度水平上正确预测了目标的检测框的比例用来估计SP，可以得出置信度并不能完全反应检测框预测的正确性，特别是在mAP不同的检测器上，故通过传统方法进行检测器融合并不能得到最优的结果。

发明内容

本发明提供一种基于概率感知的检测器融合方法及系统，用以解决现有技术中存在的缺陷。

第一方面，本发明提供一种基于概率感知的检测器融合方法，包括：

获取若干个检测器的融合检测结果集合；

将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致，获得所述融合检测结果集合的mAP最大期望值；

基于所述mAP最大期望值，采用条件概率获得所述若干个检测器的检测框与检测目标匹配准确率。

在一个实施例中，所述将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致，获得所述融合检测结果集合的mAP最大期望值，之后还包括：

采用预设反证法对所述将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致进行验证。

在一个实施例中，所述采用预设反证法对所述将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致进行验证，具体包括：

获取任一检测框的置信度排序值和检测值集合，其中所述检测值集合包括位置信息、置信度信息和类别信息；

确定第一数值和第二数值，设定所述第一数值对应的第一置信度和第一概率，以及所述第二数值对应的第二置信度和第二概率，分别设置所述第一置信度大于所述第二置信度以及所述第一概率小于所述第二概率；

确定所述第一数值对应的第一检测集合和所述第二数值对应的第二检测集合，得到所述第一检测集合和所述第二检测集合分别为预测准确和预测错误时的组合概率集合；

基于所述组合概率集合获得四种检测场景下的mAP组合期望值，所述组合期望值包括任一检测场景的概率和mAP期望的加权求和；

提取所述四种检测场景中的任意两种场景下的概率和mAP期望值，得到第一组合概率排序值，将所述任意两种场景的mAP期望值进行交换，得到第二组合概率排序值，得到所述第二组合概率排序值大于所述第一组合概率排序值，则验证通过。

在一个实施例中，所述基于所述mAP最大期望值，采用条件概率获得所述若干个检测器的检测框与检测目标匹配准确率，包括：

基于位置信息和置信度信息获取任一检测框的检测准确度概率，采用统计概率估计所述检测准确度概率，得到统计概率估计值；

采用上置信界算法对所述统计概率估计值进行平衡处理，得到统计概率平衡处理结果；

基于排名感知策略优化所述统计概率平衡处理结果，并基于概率感知融合计算得到检测框排序结果。

在一个实施例中，所述基于位置信息和置信度信息获取任一检测框的检测准确度概率，采用统计概率估计所述检测准确度概率，得到统计概率估计值，具体包括：

将原始置信度区间离散为预设长度区间，由所述预设长度区间获取任一置信度子区间中心点，基于所述任一置信度子区间中心点得到任一置信度子区间范围；

在每个置信度子区间范围内统计所有检测框数量以及目标匹配正确的检测框数量，基于所述所有检测框数量和所述目标匹配正确的检测框数量得到所述统计概率；

由所述统计概率得到所述统计概率估计值。

在一个实施例中，所述采用上置信界算法对所述统计概率估计值进行平衡处理，得到统计概率平衡处理结果，具体包括：

获取可调谐参数和子区间数量；

基于所述可调谐参数、所述子区间数量、所述所有检测框数量和所述统计概率，得到所述统计概率平衡处理结果。

在一个实施例中，所述基于排名感知策略优化所述统计概率平衡处理结果，并基于概率感知融合计算得到检测框排序结果，具体包括：

获取各子区间排名感知策略因子；

基于所述各子区间排名感知策略因子对所述统计概率平衡处理结果进行优化处理，得到优化后的统计概率平衡处理结果；

基于所述优化后的统计概率平衡处理结果和所述统计概率，得到所述检测框排序结果。

第二方面，本发明还提供一种基于概率感知的检测器融合系统，包括：

获取模块，用于获取若干个检测器的融合检测结果集合；

设置模块，用于将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致，获得所述融合检测结果集合的mAP最大期望值；

处理模块，用于基于所述mAP最大期望值，采用条件概率获得所述若干个检测器的检测框与检测目标匹配准确率。

第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于概率感知的检测器融合方法的步骤。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于概率感知的检测器融合方法的步骤。

本发明提供的基于概率感知的检测器融合方法及系统，通过采用基于概率感知的方法，通过统计概率对检测器中检测框对应的预测置信度进行细化，得到更高的置信度，获得更加合理的衡量检测框质量指标，从而提高检测融合模型的性能。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于概率感知的检测器融合方法的流程示意图；

图2是本发明提供的基于概率感知的检测器融合系统的结构示意图；

图3是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有技术中的不足，本发明创新性地提出了一种综合考虑来自不同检测器的定位和分类情况的模型融合方法，概率感知融合(Probabilistic Ranking AwareEnsemble，PRAE)，且提供了支持此方法的理论依据，图1是本发明提供的基于概率感知的检测器融合方法的流程示意图，如图1所示，包括：

S1，获取若干个检测器的融合检测结果集合；

S2，将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致，获得所述融合检测结果集合的mAP最大期望值；

S3，基于所述mAP最大期望值，采用条件概率获得所述若干个检测器的检测框与检测目标匹配准确率。

具体地，本发明综合考虑在多个检测器中的融合检测结果集合中的任何预测，包括位置、类别标签和关联置信度，将其中的置信度信息的等级设置为与概率的等级保持一致，则mAP的期望可实现最大化，然后采用条件概率进一步衡量检测框的检测准确率。

本发明通过采用基于概率感知的方法，通过统计概率对检测器中检测框对应的预测置信度进行细化，得到更高的置信度，获得更加合理的衡量检测框质量指标，从而提高检测融合模型的性能。

基于上述实施例，该方法中步骤S2之后还包括：

其中，所述采用预设反证法对所述将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致进行验证，具体包括：

具体地，本发明定义了任何预测(包括位置、类别标签和关联置信度)，如果置信度的等级与概率的等级一致，则mAP的期望可以最大化。

此处，mAP被定义与准确率-召回曲线(PR曲线)与坐标轴横轴所围成的面积，可用公式表示为：

其中Pr(R_n)表示当召回率为R_n时所对应的准确率的值且N一般取值为100。

PR曲线中的P代表precision即准确率，计算公式为预测样本中实际正样本数/所有的正样本数；R代表recall即召回率，计算公式为预测样本中实际正样本数/预测的样本数。

假设将包含位置(边界框)、类别和置信度的某个预测表示为

S＝{s_i,i＝1,2,…,N}

s_i＝(bbox_i,conf_i,cls_i)

其中S根据置信度由高至低排布。

本发明采用反证法来验证上述定理的准确性，假设即使在置信度和概率的等级不匹配的情况下，S依旧可以使mAP达到最大期望值。这个假设意味着存在m和n使得conf_m>conf_n且prob_m<prob_n。表1列出了四种可能的情况以及相应的概率值。

表1

项目	s<sub>m</sub>	s<sub>n</sub>	概率
				1	True	True	P(s<sub>m</sub>)P(s<sub>n</sub>)
2	True	False	P(s<sub>m</sub>)(1-P(s<sub>n</sub>))
				3	False	True	(1-P(s<sub>m</sub>))P(s<sub>n</sub>)
4	False	False	(1-P(s<sub>m</sub>))(1-P(s<sub>n</sub>))

表1列出了两个检测框的四种检测情况，True表示预测框匹配目标对象，False表示检测错误。

对于上述四种情况的期望，通过如下公式表示：

其中prob_i和mAP_i分别代表在第i种情况下的概率和mAP。对于S，检测框的置信度从高到低排序，所以s_m的顺序早于s_n。

提取其中的任意两种情况，如表1中的情况2可表示为：

其中

表示第m个检测框正确匹配了目标，

表示第n个检测框错误检测了目标。同理，表1中的情况3可表示为

定义Sⁱ为：

Sⁱ＝{s₁,s₂,…,s_i}

显然，当i≤m-1或者i≥n时，

和

有相同数量的True和False检测框数量。但当m≤i≤n时，因为

总是比

少一个检测错误的检测框，只要

和

有相同的召回率R_i，P_r1(R_i)总是大于P_r2(R_i)。所以S₁获得了比S₂更高的mAP，且mAP₂>mAP₃。

基于P(s_m)<P(s_n)的假设，有prob₂<prob₃。如果适当调整s_m和s_n的置信度，并交换它们在S中的位置，则有：

故在计算mAP的期望时将第二和第三项由

S:prob₂×mAP₂+prob₃×mAP₃

变换为

显然，

的mAP的期望比S的高，故定理成立。

本发明通过采用反证法从反面验证前述的假设定理是成立的，充分证实了置信度等级和概率等级是严格保持一致的，为后续验证检测结果提供了充分的依据。

基于上述任一实施例，该方法中步骤S3包括：

其中，所述基于位置信息和置信度信息获取任一检测框的检测准确度概率，采用统计概率估计所述检测准确度概率，得到统计概率估计值，具体包括：

由所述统计概率得到所述统计概率估计值。

其中，所述采用上置信界算法对所述统计概率估计值进行平衡处理，得到统计概率平衡处理结果，具体包括：

获取可调谐参数和子区间数量；

其中，所述基于排名感知策略优化所述统计概率平衡处理结果，并基于概率感知融合计算得到检测框排序结果，具体包括：

获取各子区间排名感知策略因子；

具体地，将前述通过验证的定理运用在实际中，可以用条件概率来衡量一个检测框是否正确匹配了目标，记为P(bbox|conf)。为了估计P(bbox|conf)，首先将置信度区间(0，1)离散为长度d，中心点为：

中心点对应的子区间，表示为：

在每个子区间l_i上，统计所有检测框数量T_i与目标匹配正确的检测框数量TP_i,计算统计概率SP_i用来估计P(bbox|conf)。

由于在每个置信度子区间内检测框数量T_i不相同，会引起置信度不平衡的问题，为了解决这个问题，本发明利用Upper Confidence Bound(UCB，上置信界算法)来保证每个子区间被平等地考虑到。

其中，

为在l_i内的统计概率，θ为一可调谐参数，N为子区间的数量。

为了赋予同一子区间内置信度相对较高的检测框更高的权重，本发明利用排名感知策略(ranking aware strategy)进一步优化

为：

其中，

经过排名感知策略处理的结果，

的排名与统计概率达到了统一，故而为检测器融合提供了更好的检测框排序标准。

降低了不同检测器之间的置信度差异，故而在检测器融合中所有重合的检测框都可是为提供了同等重要的信息，所以本发明又提出了基于PRAE的NMS用来融合符合要求的检测框。当几个检测框的IoU大于预先设定的阈值，计算这些检测框

的平均值并用以下公式计算融合过后的位置：

其中，n表示重叠的检测框的数量，

和loc_k分别代表第k个检测框的概率统计数值和位置。

本发明提出的统计概率方法通过对同一验证数据集上的检测框随机抽样，对预测置信度进行细化，得到更可靠的置信度，从而获得更合理的衡量检测框质量的指标，并通过PRAE的处理，显著提高了模型融合的性能。

下面对本发明提供的基于概率感知的检测器融合系统进行描述，下文描述的基于概率感知的检测器融合系统与上文描述的基于概率感知的检测器融合方法可相互对应参照。

图2是本发明提供的基于概率感知的检测器融合系统的结构示意图，如图2所示，包括：获取模块21、设置模块22和处理模块23；其中：

获取模块21用于获取若干个检测器的融合检测结果集合；设置模块22用于将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致，获得所述融合检测结果集合的mAP最大期望值；处理模块23用于基于所述mAP最大期望值，采用条件概率获得所述若干个检测器的检测框与检测目标匹配准确率。

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于概率感知的检测器融合方法，该方法包括：获取若干个检测器的融合检测结果集合；将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致，获得所述融合检测结果集合的mAP最大期望值；基于所述mAP最大期望值，采用条件概率获得所述若干个检测器的检测框与检测目标匹配准确率。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于概率感知的检测器融合方法，该方法包括：获取若干个检测器的融合检测结果集合；将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致，获得所述融合检测结果集合的mAP最大期望值；基于所述mAP最大期望值，采用条件概率获得所述若干个检测器的检测框与检测目标匹配准确率。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于概率感知的检测器融合方法，该方法包括：获取若干个检测器的融合检测结果集合；将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致，获得所述融合检测结果集合的mAP最大期望值；基于所述mAP最大期望值，采用条件概率获得所述若干个检测器的检测框与检测目标匹配准确率。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于概率感知的检测器融合方法，其特征在于，包括：

获取若干个检测器的融合检测结果集合；

2.根据权利要求1所述的基于概率感知的检测器融合方法，其特征在于，所述将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致，获得所述融合检测结果集合的mAP最大期望值，之后还包括：

3.根据权利要求2所述的基于概率感知的检测器融合方法，其特征在于，所述采用预设反证法对所述将所述融合检测结果集合中的置信度等级与检测准确度概率等级设置为一致进行验证，具体包括：

4.根据权利要求1所述的基于概率感知的检测器融合方法，其特征在于，所述基于所述mAP最大期望值，采用条件概率获得所述若干个检测器的检测框与检测目标匹配准确率，包括：

5.根据权利要求4所述的基于概率感知的检测器融合方法，其特征在于，所述基于位置信息和置信度信息获取任一检测框的检测准确度概率，采用统计概率估计所述检测准确度概率，得到统计概率估计值，具体包括：

由所述统计概率得到所述统计概率估计值。

6.根据权利要求5所述的基于概率感知的检测器融合方法，其特征在于，所述采用上置信界算法对所述统计概率估计值进行平衡处理，得到统计概率平衡处理结果，具体包括：

获取可调谐参数和子区间数量；

7.根据权利要求6所述的基于概率感知的检测器融合方法，其特征在于，所述基于排名感知策略优化所述统计概率平衡处理结果，并基于概率感知融合计算得到检测框排序结果，具体包括：

获取各子区间排名感知策略因子；

8.一种基于概率感知的检测器融合系统，其特征在于，包括：

获取模块，用于获取若干个检测器的融合检测结果集合；

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于概率感知的检测器融合方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于概率感知的检测器融合方法的步骤。