CN112883214B - 特征检索方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种特征检索方法、电子设备及存储介质。该方法包括：获取待检索人体特征；从历史人体特征库中检索与待检索人体特征匹配的至少一条历史人体特征，作为匹配人体特征；获取与匹配人体特征对应的第一人脸特征；从历史人脸特征库中检索与第一人脸特征匹配的第二人脸特征；将匹配人体特征和第二人脸特征作为待检索人体特征的检索结果。通过上述方式，能够提高检索结果的完整性。

Description

特征检索方法、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种特征检索方法、电子设备及存储介质。

背景技术

图像特征检索技术也可以被称为以图搜图技术，其被广泛应用于安防行业中。图像特征检索也即提取待检索图像的特征，获取待检索图像的特征与历史图像特征库中各历史图像特征之间的匹配度，然后根据匹配度判断待检索图像的特征和历史图像特征是否指向同一个人。

但是，现有的图像特征检索的方法得到的检索结果不够完整。

发明内容

本申请提供一种特征检索方法、电子设备及存储介质，能够解决现有的图像特征检索的方法得到的检索结果不够完整的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种特征匹配方法。该方法包括：获取待检索人体特征；从历史人体特征库中检索与待检索人体特征匹配的至少一条历史人体特征，作为匹配人体特征；获取与匹配人体特征对应的第一人脸特征；从历史人脸特征库中检索与第一人脸特征匹配的第二人脸特征；将匹配人体特征和第二人脸特征作为待检索人体特征的检索结果。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。

通过上述方式，本申请中将对待检索人体特征的检索分为两次，第一次从历史人体特征库中检索与待检索人体特征匹配的历史人体特征作为匹配人体特征，第二次是从历史人脸特征库中检索与匹配人体特征对应的第一人脸特征匹配的第二人脸特征，然后将第一次检索到的匹配人体特征和第二次检索到的第二人脸特征合并作为最终的检索结果。相比于仅检索与待检索人体特征匹配的人体特征的方式，本申请提供的特征检索方法能够提高最终得到的检索结果的完整性。

附图说明

图1是本申请特征检索方法一实施例的流程示意图；

图2是图1中S11的具体流程示意图；

图3是图1中S13的具体流程示意图；

图4是图3中S133的具体流程示意图；

图5是图1中S15的具体流程示意图；

图6是本申请电子设备一实施例的结构示意图；

图7是本申请存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

在介绍本申请提供的特征检索方法之前，先对其应用场景进行说明：

为保证小区住户安全，在小区的公共区域布设有摄像器件，以通过摄像器件对公共区域的人员进出情况进行记录。若小区出现不法分子，可调取摄像器件的记录，再通过本申请提供的特征检索方法获取摄像器件记录的不法分子在小区内的历史轨迹。

需要说明的是，以上应用场景仅为举例，并不意味着对本申请的限定。

可以理解的是，以图搜图(图像特征检索)可以被分为人脸搜图和人体搜图两种。所谓人脸搜图，也即在历史人脸特征库中检索与待检索人脸特征匹配的历史人脸特征；所谓人体搜图，也即在历史人体特征库中检索与待检索人体特征匹配的历史人体特征。

但是，由于历史人脸特征库中仅包含历史人脸特征而不包括历史人体特征，因此无法在历史人脸特征库中检索到与目标人体特征相似的历史人体特征。同样地，由于历史人体特征库中仅包含历史人体特征而不包括历史人脸特征，因此无法在历史人体特征库中检索到与目标人脸特征相似的历史人脸特征。从而导致获取到的检索结果不够完整。

为提高检索结果的完整性，本申请提供了一种特征检索方法如下：

图1是本申请特征检索方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：

S11：获取待检索人体特征。

待检索人体特征可以为待检索图像中的人体的特征。待检索图像可以由布设在监控区域的摄像器件获取得到。

可以理解的是，受摄像器件的类型、设置角度等因素的影响，获取到的待检索图像中可能只包括人体不包括人脸，或者包括的人脸不是正人脸。因此本申请中使用待检索图像中的人体特征来实现检索。

可以基于人体检测、人体分割等算法从待检索图像中获取待检索人体特征。其中，基于人体检测算法获取待检索人体特征，也即检测人体在待检索图像中的位置，提取待检索图像中人体位置对应的特征，作为待检索人体特征。基于人体分割算法获取待检索人体特征，也即将待检索图像中人体对应的区域分割出来，提取待检索图像中人体区域对应的特征，作为待检索人体特征。

结合参阅图2，在基于人体检测算法获取待检索人体特征的情况下，S11可以包括以下子步骤：

S111：获取待检索图像。

S112：对待检索图像进行人体检测，获取待检索图像中的人体特征，作为待检索的人体特征。

S12：从历史人体特征库中检索与待检索人体特征匹配的至少一条历史人体特征，作为匹配人体特征。

可选地，历史人体特征库包括多条人体特征记录，每条人体特征记录可以包括一条历史人体特征，至少部分条人体特征记录还包括与历史人体特征关联的参考人脸特征。

与历史人体特征关联的参考人脸特征可以为历史人脸特征库中与历史人体特征关联的历史人脸特征。存在关联关系的历史人体特征和参考人脸特征用于表示同一个人。

也就是说，本申请的历史人体特征库和后面提及的历史人脸特征库中，属于同一个人的历史人体特征和历史人脸特征是相互关联的。并且，相互关联的历史人体特征和历史人脸特征(或历史人脸特征的索引号)会被存储在同一条人体特征记录中。

可以分别计算待检索人体特征与各历史人体特征之间的匹配度，可以将与待检索人体特征之间的匹配度满足要求的历史人体特征作为匹配人体特征。

S13：获取与匹配人体特征对应的第一人脸特征。

可以基于各匹配人体特征关联的参考人脸特征，获取对应的第一人脸特征。具体而言，结合参阅图3，S13可以包括以下子步骤：

S131：从至少一条匹配人体特征中选出满足预设条件的匹配人体特征。

预设条件可以包括以下至少一个：与待检索人体特征之间的匹配度满足匹配要求、匹配人体特征对应的人体特征记录包括参考人体特征。

匹配要求可以为：在对应的人体特征记录包括第一人脸特征的匹配人体特征中，匹配度从高到底排序在前预设数量位。

匹配人体特征对应的人体特征记录包括参考人体特征，也即该匹配人体特征具有关联的参考人体特征。

下面以预设条件包括与待检索人体特征之间的匹配度满足匹配要求、以及匹配人体特征对应的人体特征记录包括第一人体特征为例进行说明。

预设数量为3，检索到匹配人体特征1～10，其中匹配人体特征1～5具有关联的参考人体特征，匹配人体特征6-10没有关联的参考人体特征。按照与待检索人体特征之间的匹配度从高到底排序为匹配人体特征1>匹配人体特征2>匹配人体特征3>匹配人体特征4>匹配人体特征5。那么满足预设条件的匹配人体特征为匹配人体特征1、2、3。

S132：获取与满足预设条件的匹配人体特征关联的参考人脸特征。

可以基于人体特征记录获得与满足预设条件的匹配人体特征关联的参考人脸特征。

在人体特征记录中直接记录的是参考人脸特征的情况下，可直接可以从人体特征记录中，获得与满足预设条件的匹配人体特征关联的参考人脸特征。在人体特征记录中记录的是参考人脸特征的索引号情况下，可以根据参考人脸特征的索引号在历史人脸特征库中查找到参考人脸特征。

S133：选择一个或多个参考人脸特征作为第一人脸特征。

在一具体实施方式中，可以选择对应的匹配人体特征与待检索人体特征之间的匹配度最高的参考人脸特征作为第一人脸特征。

为了提高第一人脸特征的精度，在另一具体实施方式中，可以先对参考人脸特征进行聚类，根据聚类结果从参考人脸特征中选出第一人脸特征。结合参阅图4，在此方式下，S133可以包括以下子步骤：

S1331：将参考人脸特征进行聚类，得到每个参考人脸特征所属的类别。

将参考人脸特征进行聚类的方法可以为，获取各参考人脸特征的特征中心，分别计算各参考人脸特征与该特征中心的距离。根据对应距离的大小将参考人脸特征划分到对应的类别，即认为该参考人脸特征所属的类别。

S1332：选择其中一种类别作为目标类别。

在一具体实施方式中，可以选择参考人脸特征数量最多的类别作为目标类别。在其他实施方式中，也可以根据其他规则从各类别中选出目标类别。例如，对于每个类别，可以计算其中包含的各参考人脸特征关联的匹配人体特征的特征中心，计算各类别对应的匹配人体特征的特征中心与待检索人体特征之间的距离，将与待检索人体特征之间的距离最小的匹配人体特征的特征中心对应的类别作为目标类别。S1333：选择属于目标类别的一个或多个参考人脸特征，作为第一人脸特征。

在一具体实施方式中，可以选择目标类别中对应人脸图像质量最高的参考人脸特征，作为第一人脸特征。当然在其他实施方式中，也可以根据其他规则从目标类别的参考人脸特征中选出第一人脸特征。

可以理解的是，各参考人脸特征中，与待检索人体特征属于同一个人的参考人脸特征的数量更多，因此相比于其他类别，包含参考人脸特征数量最多的类别更可能是待检索人体特征所属的类别，选择包含参考人脸特征数量最多的类别作为目标类别，能够提高后续检索的准确性。而利用目标类别中对应人脸图像质量最高的参考人脸特征来检索，能够进一步提高后续利用人脸特征进行检索的精度。

S14：从历史人脸特征库中检索与第一人脸特征匹配的第二人脸特征。

历史人脸特征库中可以包括多条历史人脸特征。可以分别计算第一人脸特征与历史人脸特征之间的匹配度，将与第一人脸特征之间的匹配度满足要求的历史人脸特征作为第二人脸特征。

S15：将匹配人体特征和第二人脸特征作为待检索人体特征的检索结果。

其中，可以直接将匹配人体特征和第二人脸特征作为待检测人体特征的检索结果。

为避免由于匹配人体特征和第二人脸特征相互关联(属于同一个人)导致检索结果冗余的情况发生，也可以先进行去重，在将经去重的结果作为待检索人体特征的检索结果。参阅图5，在此情况下，S15可以包括以下步骤：

S151：判断是否存在匹配人体特征与第二人脸特征关联。

可以根据历史人体特征库中的匹配人体特征对应的人体特征记录来判断是否存在匹配人体特征与第二人脸特征关联。

若是，则执行S152。

S152：将关联的匹配人体特征与第二人脸特征中的匹配人体特征或第二人脸特征剔除。

S153：将经剔除的匹配人体特征与第二人脸特征作为检索结果。

通过本实施例的实施，本申请中将对待检索人体特征的检索分为两次，第一次从历史人体特征库中检索与待检索人体特征匹配的历史人体特征作为匹配人体特征，第二次是从历史人脸特征库中检索与匹配人体特征对应的第一人脸特征匹配的第二人脸特征，然后将第一次检索到的匹配人体特征和第二次检索到的第二人脸特征合并作为最终的检索结果。相比于仅检索与待检索人体特征匹配的人体特征的方式，本申请提供的特征检索方法能够提高最终得到的检索结果的完整性。

下面以一个例子的形式，对本申请提供的特征检索方法进行说明。

获取到待检索人体特征a，在历史人体特征库中检索得到与a匹配的人体特征A～G。A～G与a的匹配度依次递减，且A～G中只有A～F关联有历史人脸特征。从A～F中选择A～D关联的历史人脸特征进行聚类，将A～D关联的历史人脸特征归属到3个类别，类别1包括3条人脸特征，类别2包括5条人脸特征，类别3包括9条人脸特征。从类别3包括的9条人脸特征中选择一条质量最好的人脸特征，在历史人脸特征库中检索得到与该质量最好的人脸特征匹配的历史人脸特征(1)～(5)。其中(1)和D存在关联，则将A～C，E～G，(2)～(5)作为检索结果。

图6是本申请电子设备一实施例的结构示意图。如图6所示，该电子设备包括处理器21、与处理器21耦接的存储器22。

其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为CPU(Central Processing Unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

图7是本申请存储介质一实施例的结构示意图。如图7所示，本申请实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本申请上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种特征检索方法，其特征在于，包括：

获取待检索人体特征；

从历史人体特征库中检索与所述待检索人体特征匹配的至少一条历史人体特征，作为匹配人体特征；

获取与所述匹配人体特征对应的第一人脸特征，所述第一人脸特征是从所述匹配人体特征关联的参考人脸特征中选择的，所述参考人脸特征为历史人脸特征库中的历史人脸特征；

从所述历史人脸特征库中检索与所述第一人脸特征匹配的第二人脸特征；

判断是否存在所述匹配人体特征与所述第二人脸特征关联；

若是，则将关联的所述匹配人体特征与所述第二人脸特征中的所述匹配人体特征或所述第二人脸特征剔除；

将经剔除的所述匹配人体特征与所述第二人脸特征作为检索结果。

2.根据权利要求1所述的方法，其特征在于，所述获取与所述匹配人体特征对应的第一人脸特征，包括：

从所述至少一条匹配人体特征中选出满足预设条件的匹配人体特征；

获取与所述满足预设条件的匹配人体特征关联的参考人脸特征；

选择一个或多个所述参考人脸特征作为所述第一人脸特征。

3.根据权利要求2所述的方法，其特征在于，所述历史人体特征库包括多条人体特征记录，每条所述人体特征记录包括一条所述历史人体特征，至少部分条所述人体特征记录还包括与所述历史人体特征关联的所述参考人脸特征；其中，

所述预设条件包括以下至少一个：与所述待检索人体特征之间的匹配度满足匹配要求、所述匹配人体特征对应的所述人体特征记录包括所述参考人脸特征；

和/或，所述获取与所述满足预设条件的匹配人体特征关联的参考人脸特征，包括：

从所述人体特征记录中，获得与所述满足预设条件的匹配人体特征关联的所述参考人脸特征。

4.根据权利要求3所述的方法，其特征在于，所述匹配要求为：在对应的所述人体特征记录包括所述参考人脸特征的匹配人体特征中，所述匹配度从高到底排序在前预设数量位。

5.根据权利要求2所述的方法，其特征在于，所述选择一个或多个所述参考人脸特征作为所述第一人脸特征，包括：

将所述参考人脸特征进行聚类，得到每个所述参考人脸特征所属的类别；

选择其中一种所述类别作为目标类别；

选择属于所述目标类别的一个或多个所述参考人脸特征，作为所述第一人脸特征。

6.根据权利要求5所述的方法，其特征在于，所述选择其中一种所述类别作为目标类别，包括：

选择所述参考人脸特征数量最多的所述类别作为所述目标类别；

所述选择属于所述目标类别的一个或多个参考人脸特征，作为所述第一人脸特征，包括：

选择所述目标类别中对应人脸图像质量最高的所述参考人脸特征，作为所述第一人脸特征。

7.根据权利要求1所述的方法，其特征在于，所述获取待检索人体特征，包括：

获取待检索图像；

对所述待检索图像进行人体检测，获取所述待检索图像中的人体特征，作为所述待检索的人体特征。

8.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-7中任一项所述的方法。

9.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求1-7中任一项所述的方法。

Images