CN110443267A - 误检过滤方法、装置、拍摄装置及存储介质 - Google Patents

Abstract

误检过滤方法、装置、拍摄装置及存储介质。本发明公开了一种误检过滤方法、装置及存储介质。该误检过滤方法包括：获取目标检测结果，目标检测结果包括目标图像及分类结果；提取目标图像的特征；分别计算特征与多个原型向量之间的欧氏距离，多个原型向量被分为至少两个大类，每个大类包括至少一个子类；根据欧氏距离确定与特征最相似的匹配原型向量以及匹配距离，匹配距离为特征与匹配原型向量之间的距离；利用匹配原型向量及匹配距离确定目标检测结果是否有误。通过上述方式，本发明能够改善误检过滤效果。

Description

误检过滤方法、装置、拍摄装置及存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种误检过滤方法、装置及存储介质。

背景技术

在图像处理中，目标检测是找出图像中所有感兴趣的目标(物体)，确定它们的位置、尺度以及类别信息。在目标检测领域里，两个最常见的衡量指标是召回率和准确率，这两个指标往往是此消彼长的过程。为保证召回率往往会使准确率下降，产生误检。因此，往往需要对目标检测结果进行过滤以去除误检。

相关技术中一般采用softmax分类来进行误检过滤。然而softmax 学习的是一个纯判别式模型，由于分类类别数目固定，该模型会学习一种特征空间的完整划分，属于闭集分类。对于未见类别样本，该模型会以很高的置信度将该未见类别样本分到一个分类类别中。而误检样本在目标检测的过程中具体类别不确定，无法一一枚举所有类别，若误检样本不在已有的类别中，可能会以很高的置信度被分到错误的类别中，使得误检过滤效果不佳。

发明内容

本申请提供一种误检过滤方法、装置及存储介质，能够解决现有技术中采用softmax进行误检过滤效果不佳的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种误检过滤方法，该方法包括：获取目标检测结果，目标检测结果包括目标图像及分类结果；提取目标图像的特征；分别计算特征与多个原型向量之间的欧氏距离，多个原型向量被分为至少两个大类，每个大类包括至少一个子类；根据欧氏距离确定与特征最相似的匹配原型向量以及匹配距离，匹配距离为特征与匹配原型向量之间的距离；利用匹配原型向量及匹配距离确定目标检测结果是否有误。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种误检过滤装置，该误检过滤装置包括处理器，处理器用于执行指令以实现前述的误检过滤方法。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有指令，指令被执行时实现前述的误检过滤方法。

本申请的有益效果是：通过获取目标检测结果，目标检测结果包括目标图像及分类结果；提取目标图像的特征；分别计算特征与多个原型向量之间的欧氏距离，多个原型向量被分为至少两个大类，每个大类包括至少一个子类；根据欧氏距离确定与特征最相似的匹配原型向量以及匹配距离，匹配距离为特征与匹配原型向量之间的距离；利用匹配原型向量及匹配距离确定目标检测结果是否有误；基于欧式距离度量的特征空间划分是一个超球面聚类簇，根据欧式距离可以确定与特征最相似的匹配原型向量，进而评价目标检测结果是否有误，能够处理开集分类，对于未知类别尤其是属于未知子类的误检目标有很好的区分能力，改善误检过滤效果。

附图说明

图1是本发明误检过滤方法一实施例的流程示意图；

图2是图1中S4的一种具体流程示意图；

图3是图2中S45的具体流程示意图；

图4是图1中S5的一种具体流程示意图；

图5是本发明误检过滤方法一实施例中传统softmax深度网络学习的特征空间划分和基于欧式距离度量的原型向量的嵌入特征空间划分的示意图。

图6是本发明误检过滤装置一实施例的结构示意图；

图7是本发明存储介质一实施例的的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

图1是本发明误检过滤方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：

S1：获取目标检测结果。

目标检测结果包括目标图像及分类结果。分类结果表示目标检测过程中判定的目标图像的类别。例如，检测运动目标的情况下，分类结果可以为行人、机动车、非机动车中的一种。

S2：提取目标图像的特征。

特征的提取方式可以是指定的，也可以是经过训练/学习得到的。可选的，特征可以为采用深度学习提取的嵌入特征。在相关技术中，softmax 学习的特征具有类内距离大的固有缺陷，鲁棒性不强。而采用深度学习提取的嵌入特征，分类之后的类内距离更加紧凑，类间距离更加可分，判别能力强，鲁棒性好，能够更好的处理未知的误检结果。

S3：分别计算特征与多个原型向量之间的欧氏距离。

多个原型向量基于欧式距离度量将特征空间划分为多个区域,由此形成了对特征空间的聚类簇划分，每个原型向量和聚类簇一一对应。特征与某个原型向量之间的欧氏距离可以被称为与该原型向量对应的欧式距离，反映了特征与该原型向量之间的相似程度，一般来说欧式距离越小，相似程度越高。

多个原型向量被分为至少两个大类，至少一个大类包括至少两个子类。大类的分类方式和目标检测结果的分类方式是一致的。例如，目标检测结果的类别包括行人、机动车、非机动车。由于遮挡、截断、姿态、环境光线等等因素的影响，至少一个大类内的目标可以被进一步划分为至少两个子类。由于影响子类分类的因素多种多样，已知的子类不一定能代表所有子类，特别是误检结果很有可能不属于已知的任何一个子类。在子类级别上，对目标检测结果的分类属于开集分类问题。

可选的，多个原型向量是对带有类别标记的样本集进行原型聚类学习得到的。类别标记指示的是大类而不包括子类，原型向量的子类分类是在无监督数据辅助下自行聚类得到的。原型聚类假设聚类结构可以通过一组原型刻画，通常算法会对原型进行初始化，然后对原型进行迭代更新求解。原型聚类包括但不限于k均值、学习向量量化(LVQ)、高斯混合聚类等。

S4：根据欧氏距离确定与特征最相似的匹配原型向量以及匹配距离。

匹配距离为特征与匹配原型向量之间的欧式距离。

在本发明一具体实施例中，可以选择所有欧式距离中最小的一个作为匹配距离，匹配距离对应原型向量作为匹配原型向量。在选择匹配距离的过程中，可以直接从所有的欧式距离中选出最小的一个作为匹配距离；也可以分次选择，例如先在每个大类中找出最小的欧式距离，再从所有大类的最小欧氏距离中找出最小的一个作为匹配距离。

如图2所示，在本发明另一具体实施例中，S4包括：

S41：分别将每个欧式距离与第一阈值进行比较。

第一阈值可以是预先设定的。

S42：统计小于第一阈值的欧氏距离的数量。

若该数量等于0，则跳转到S43；若该数量等于1，则跳转到S44；，若该数量大于1，则跳转到S45。

S43：判定目标检测结果有误。

S44：将小于第一阈值的欧氏距离作为匹配距离，对应的原型向量作为匹配原型向量。

S45：基于多数优先和近距离优先的原则从小于第一阈值的欧氏距离中选出匹配距离，对应的原型向量为匹配原型向量。

多数优先的原则的优先级可以高于近距离优先的原则。即可以先基于多数优先的原则确定特征所属的大类，再在该大类中确定匹配距离和匹配原型向量。

如图3所示，在本发明一具体实施例中，S45可以具体包括：

S451：统计小于第一阈值的欧氏距离对应的原型向量所属的类别。

这里的类别是指大类。

S452：判断是否存在第一类别。

第一类别满足以下条件：属于第一类别的小于第一阈值的欧氏距离对应的原型向量的数量大于属于其他每一类别的小于第一阈值的欧氏距离对应的原型向量的数量。

若存在第一类别，则跳转到S453；否则跳转到S454。

S453：选择属于第一类别的原型向量对应的欧氏距离中最小的一个作为匹配距离，对应的原型向量为匹配原型向量。

第一类别即为基于多数优先的原则确定的特征所属的大类。

S454：选择所有欧式距离中最小的一个作为匹配距离，对应的原型向量为匹配原型向量。

S5：利用匹配原型向量及匹配距离确定目标检测结果是否有误。

若匹配原型属于的大类与分类结果一致，且匹配距离小于预设阈值，目标检测结果是正确的；若匹配原型属于的大类与分类结果不同，或者匹配距离大于或等于预设阈值，目标检测结果有误。

如图4所示，在本发明一具体实施例中，S5可以具体包括：

S51：利用匹配距离计算目标检测结果的置信度。

由于匹配距离的取值范围过大，一般为[0,∞)，为便于比较，可以利用匹配距离计算取值范围较小的置信度，匹配距离与置信度负相关。

S52：判断匹配原型向量属于的大类与分类结果是否一致，且置信度是否大于第二阈值。

第二阈值可以与利用第一阈值计算得到的置信度相等，也可以不相等。

若匹配原型向量属于的大类与分类结果一致，且置信度大于第二阈值，则跳转到S53；否则跳转到S54。

S53：判定目标检测结果无误。

S54：判定目标检测结果有误。

对一个视频帧的目标检测可能得到多个目标检测结果，可以为这些检测结果中的部分或全部执行上述步骤。

通过本实施例的实施，基于欧式距离度量的特征空间划分是一个超球面聚类簇，根据欧式距离可以确定与特征最相似的匹配原型向量，进而评价目标检测结果是否有误，能够处理开集分类，对于未知类别尤其是属于未知子类的误检目标有很好的区分能力，改善误检过滤效果。

下面以采用最小的欧式距离作为匹配距离为例说明一个目标检测结果的误检过滤过程。

(1)输入目标检测结果图像x和分类结果y。

(2)经过主干网络提取嵌入特征

(3)基于原型聚类方法学习到了q个原型向量，每一个原型向量记为p_ij，其中i∈{1,2,...,C}，j∈{1,2,...,K_c}，C表示训练数据有C个大类。如图5 所示，这组原型向量P＝{p_ij|i＝1,2,...,C；j＝1,2,...,K_c}基于欧式距离度量将嵌入特征空间中分成多个区域r_ij,由此形成了对嵌入特征空间的聚类簇划分R＝{r_ij|i＝1,2,...,C；j＝1,2,...,K_c}。而传统softmax深度网络学习将特征空间完整的划分为几个区域，只能根据样本所落入的区域判定样本所述的类别，对于子类，特别是未知子类没有很好的办法处理。簇r_ij代表聚类学习得到的第i个大类的第j个子类。

(4)对于每一个大类i，利用公式(1)计算嵌入特征与原型向量p_ij的最小欧式距离d_ij*(x)：

其中||·||₂表示二范数。

(5)对所有大类计算利用公式(2)推断目标检测样本x的类别c^*和距离也就是说，样本x落在簇属于第c^*个类的第j^*个子类。

(6)使用公式(4)计算置信度：

(7)将置信度s(x)与第二阈值比较，若置信度s(x)小于第二阈值且y＝c^*，

则该目标检测结果无误，否则该目标检测结果有误。

可以为每个目标检测结果执行上述步骤，并去除有误的目标检测结果，输出过滤后的目标检测结果以供后续处理。

请参阅图6，图6为本发明误检过滤装置一实施例的结构示意图。如图6所示，该误检过滤装置20包括处理器21。

处理器21还可以称为CPU(Central Processing Unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21 还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

误检过滤装置20可以进一步包括存储器(图中未示出)，用于存储处理器21运行所需的指令和数据。

处理器21用于执行指令以实现上述本发明误检过滤方法任一实施例及任意不冲突的组合所提供的方法。

参阅图7，图7为本发明存储介质一实施例的结构示意图。本发明实施例的存储介质30存储有指令，该指令被执行时实现本发明误检过滤方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令可以形成程序文件以软件产品的形式存储在上述存储介质中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种误检过滤方法，其特征在于，包括：

获取目标检测结果，所述目标检测结果包括目标图像及分类结果；

提取所述目标图像的特征；

分别计算所述特征与多个原型向量之间的欧氏距离，多个所述原型向量被分为至少两个大类，至少一个所述大类包括至少两个子类；

根据所述欧氏距离确定与所述特征最相似的匹配原型向量以及匹配距离，所述匹配距离为所述特征与所述匹配原型向量之间的欧式距离；

利用所述匹配原型向量及所述匹配距离确定所述目标检测结果是否有误。

2.根据权利要求1所述的方法，其特征在于，

所述特征为采用深度学习提取的嵌入特征。

3.根据权利要求1所述的方法，其特征在于，

多个所述原型向量是对带有类别标记的样本集进行原型聚类学习得到的。

4.根据权利要求1所述的方法，其特征在于，

所述匹配距离为所有所述欧式距离中最小的一个。

5.根据权利要求1所述的方法，其特征在于，

所述根据所述欧氏距离确定与所述特征最相似的匹配原型向量以及匹配距离包括：

分别将每个所述欧式距离与第一阈值进行比较；

若小于所述第一阈值的所述欧氏距离的数量等于一，则将所述小于所述第一阈值的所述欧氏距离作为所述匹配距离，对应的所述原型向量作为所述匹配原型向量；

若小于所述第一阈值的所述欧氏距离的数量大于一，则基于多数优先和近距离优先的原则从所述小于所述第一阈值的所述欧氏距离中选出所述匹配距离，对应的所述原型向量为所述匹配原型向量。

6.根据权利要求5所述的方法，其特征在于，

所述基于多数优先和近距离优先的原则从所述小于所述第一阈值的所述欧氏距离中选出所述匹配距离包括：

统计所述小于所述第一阈值的所述欧氏距离对应的原型向量所属的类别；

若存在第一类别，满足属于所述第一类别的所述小于所述第一阈值的所述欧氏距离对应的原型向量的数量大于属于其他每一类别的所述小于所述第一阈值的所述欧氏距离对应的原型向量的数量，则选择属于所述第一类别的原型向量对应的欧氏距离中最小的一个作为所述匹配距离，对应的所述原型向量为所述匹配原型向量。

7.根据权利要求6所述的方法，其特征在于，

所述统计所述小于所述第一阈值的所述欧氏距离对应的原型向量所属的类别之后进一步包括：

若不存在所述第一类别，则选择所有所述欧式距离中最小的一个作为所述匹配距离，对应的所述原型向量为所述匹配原型向量。

8.根据权利要求5所述的方法，其特征在于，

所述分别将每个所述欧式距离与第一阈值进行比较之后进一步包括：

若小于所述第一阈值的所述欧氏距离的数量为0，则判定所述目标检测结果有误。

9.根据权利要求1所述的方法，其特征在于，

所述利用所述匹配原型向量及所述匹配距离确定所述目标检测结果是否有误包括：

利用所述匹配距离计算所述目标检测结果的置信度，所述匹配距离与所述置信度负相关；

若所述匹配原型向量属于的大类与所述分类结果一致，且所述置信度大于第二阈值，则判定所述目标检测结果无误；否则判定所述目标检测结果有误。

10.一种误检过滤装置，其特征在于，所述误检过滤装置包括处理器，

所述处理器用于执行指令以实现如权利要求1-9中任一项所述的方法。

11.一种存储介质，存储有指令，其特征在于，所述指令被执行时实现如权利要求1-9中任一项所述的方法。