CN110245247A - 图片搜索的方法、电子设备和计算机存储介质 - Google Patents

Abstract

本申请公开图片搜索的方法、电子设备和计算机存储介质，其中方法包括：获取目标图片；对目标图片进行处理，提取其中的目标对象和至少一个参考对象；将目标对象、至少一个参考对象与数据库中的数据作对比，并返回对比得到的对应目标对象的第一类数据和对应至少一个参考对象的第二类数据；在第一类数据和第二类数据中寻找同时匹配目标对象以及至少一个参考对象的交集数据；对交集数据进行目标对象相似度从高到低的排序，取其中相似度最高的预设数量的交集数据作为搜索结果。通过上述方式，本申请图片搜索的方法提取目标图片中的多个对象进行比对分析，可以找出真正需要并与图片场景相近的数据，提高了搜索的准确性。

Description

图片搜索的方法、电子设备和计算机存储介质

技术领域

本申请涉及图像处理领域，特别是涉及图片搜索的方法、电子设备和计算机存储介质。

背景技术

随着社会的发展，国内外很多城市在各个道路和街道都设置有高精度的拍摄设备用于对交通信息等的监控。上述监控拍摄设备的存在同样为社会治安防范与案件侦破的有重要作用。

人们希望在监控视频中检索出想要的信息，用于确定身份、事发地点以及报警应用等。然而，在现有的技术中，由于拍摄设备等各种环境及人的姿态等各种因素，对于真正想要找的目标仍有遗漏或者排序非常靠后，这仍然带来了非常多需要人工确认的环节。目前图像搜索的技术难以满足人们更高准确性的要求。

发明内容

本申请提供图片搜索的方法、电子设备和计算机存储介质，以解决现有技术中图片搜索结果准确性不高的问题。

为解决上述技术问题，本申请提出一种图片搜索的方法，其中方法包括：获取目标图片；对目标图片进行处理，提取其中的目标对象和至少一个参考对象；将目标对象、至少一个参考对象与数据库中的数据作对比，并返回对比得到的对应目标对象的第一类数据和对应至少一个参考对象的第二类数据；在第一类数据和第二类数据中寻找同时匹配目标对象以及至少一个参考对象的交集数据；对交集数据进行目标对象相似度从高到低的排序，取其中相似度最高的预设数量的交集数据作为搜索结果。

为解决上述技术问题，本申请提出一种电子设备，其中电子设备包括存储器和处理器；处理器与存储器连接；存储器用于存储计算机程序，处理器用于执行计算机程序以实现上述搜索方法。

为解决上述技术问题，本申请提出一种计算机存储介质，其中计算机存储介质存储有计算机程序，计算机程序被执行时上述搜索方法。

本申请提供了一种图片搜索的方法，通过从目标图片中提取目标对象和参考对象分别与数据库中的数据作对比，获得第一类数据和第二类数据，并对第一类数据和第二类数据取交集，在最后将交集数据按照目标对象的相似度从高到低排列，并返回结果。通过上述方式，本申请通过提取图片中的多个对象进行搜索，可以进一步提高相似度结果的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请图片搜索方法一实施例的流程示意图；

图2是本申请图片搜索方法一实施例中利用时空数据关联数据的流程示意图；

图3是本申请图片搜索方法另一实施例的流程示意图；

图4是本申请图片搜索方法另一实施例的示意图；

图5是本申请用于图片搜索电子设备一实施例的结构示意图；

图6是本申请计算机存储介质一实施例的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对发明所提供的图片搜索的方法、电子设备和计算机存储介质进一步详细描述。

请参阅图1，图1是本申请图片搜索方法一实施例的流程示意图，其中步骤包括：

S11：获取目标图片。

获取目标图片，目标图片可以是用户输入的要搜索的图片。目标图片中一般包含多个对象，其中对象可以为人脸对象和非人脸对象，非人脸可以是机动车、建筑物等等。

S12：对目标图片进行处理，提取其中的目标对象和至少一个参考对象。

对目标图片进行运算处理，提取目标对象和至少一个参考对象。具体地，可以对图片进行特征检测，检测出目标图片中存在的几个对象，并从中提取目标对象和至少一个参考对象。其中目标对象为用户需要搜索的对象，可以是人脸，机动车等等；至少一个参照对象需要具备标志性，可以协助锁定目标对象，一般可以选择机动车、标志性的建筑物或特殊的饰物等等。

S13：将目标对象、至少一个参考对象与数据库中的数据作对比，并返回对比得到的对应目标对象的第一类数据和对应至少一个参考对象的第二类数据。

将目标对象、至少一个参考对象与数据库中的数据作对比。数据库中存储有大量图片数据，数据库可以由大量静态图片数据构成，也可以由摄像机实时抓拍的图片数据构成。

将目标对象、至少一个参考对象与数据库中的数据作对比可以是特征向量的对比。具体地，对目标对象和至少一个参考对象进行特征向量提取，获得目标对象特征向量和至少一个参考对象特征向量。特征向量的数目越多，对对象的描述越精确，检索的准确率提高，但这也会增加硬件成本得到同时耗费大量计算时间。基于此，在进行特征提取之前可以先对图片进行适度的压缩。将目标对象特征向量和至少一个参考对象特征向量与数据库中的特征向量数据作对比，获得相似度结果。

在其他的实施例中，也可以获得要搜索的目标时间段，并将目标对象，至少一个参考对象与数据库中的目标时间段内的数据作对比。通过获得要搜索的目标时间段，可以对数据库中的数据进行筛选，提高运算效率。

S14：在第一类数据和第二类数据中寻找同时匹配目标对象以及至少一个参考对象的交集数据。

例如，在一些实施例中，用户想要获得与目标照片相类似的照片，将目标照片中的人脸设为目标对象，将目标照片中的机动车设为第一参考对象，分别与数据库中的图片作对比，获得若干张包含该人脸的第一类图片和包含该机动车的第二类图片。在第一类图片和第二类图片中寻找同时具有该人脸和该机动车的交集图片。

S15：对交集数据进行目标对象相似度从高到低的排序，取其中相似度最高的预设数量的交集数据作为搜索结果。

通过上述步骤可以获得的若干个交集数据，进一步地，需要对交集数据进行排序以返回预设数量的交集数据。本实施例中可以按照目标对象相似度的结果对交集数据从高到低排序，取其中相似度最高的预设数量的交集数据作为搜索结果。由于想要搜索的是目标对象，参考对象只是为了辅助寻找目标，因为以目标对象相似度的结果对交集数据从高到低排序，优先返回前面的交集数据，可以获得最佳的搜索结果。

本实施例中提供了一种图片搜索的方法，通过从目标图片中获得多个对象并与数据库中的数据作对比，最终取交集并以目标对象的相似度结果由高到低返回预设数量的数据作为搜索结果，跟现有技术中对比单一对象的相似度结果相比，本实施例增加多维融合来提升搜索结果的准确性。

在其他的一些实施例中，若第一类数据和第二类数据中不存在交集数据时，还可以加入时空数据作为关联条件从而进行数据的碰撞。请参阅图2，图2是本申请图片搜索方法一实施例中利用时空数据关联数据的流程示意图，包括以下步骤，其中与上述实施例中相似的步骤在此不再赘述。

S21：获得第一类数据和第二类数据的拍摄时间、拍摄机号。

当通过分析获得第一类数据和第二类数据后，还可以结合时空数据对第一类数据和第二类数据进行分析。在由摄像机实时抓拍的图片建立起的动态数据库中，时空数据可以是第一类数据和第二类数据的拍摄时间、拍摄机号。拍摄机号可以反映摄像机的抓拍时的位置关系，拍摄机号是唯一的。拍摄机号可以是安装时预设号的摄像机编号，若摄像机编号不唯一时，例如后续新装入了其他的系统摄像机导致摄像机编号重复时，可以由其他定位系统定位得到的位置信息确定唯一的拍摄机号，例如GPS定位等，比如，大厦中有两个编号为0030的摄像头，一个安装在前门，一个安装在电梯，则可以设定这两个摄像头的拍摄机号为qm0030和dt0030。在其他的一些情况下，也可以根据系统名确定唯一的拍摄机号。

S22：将拍摄时间、拍摄机号作为关联条件，对第一类数据和第二类数据行进分析，得到交集数据。

当第一类数据和第二类数据中的不存在对象的交集，可以利用大数据分析技术，将第一类数据和第二类数据通过拍摄时间、拍摄机号作为关联条件，进行第一类数据和第二类数据之间的碰撞分析，进而得到交集数据。

可以这样理解，第一类数据中包含与目标对象的相似度结果，拍摄时间，拍摄机号，同理第二类数据也一样。将上述数据进行碰撞分析获得有关联的交集数据。举个例子，第一类数据包含数据A1(T1,D1)，T1为数据A1的拍摄时间，D1为数据A1的拍摄机号。第二类数据包括B1(T2,D1)和B2(T3,D3)，第二类数据中包含了与第一类数据相交的数据B1(T2,D1)，数据B1即跟数据A1同个摄像头不同时间抓拍下的数据。

利用拍摄时间和拍摄机号所代表的时空数据，可以将原本不产生交集的第一类数据和第二类数据串联起来，并分析出两者的交集数据。

S23：对交集数据进行处理，获得相似度最高的交集数据作为搜索结果。

获得交集数据后，将交集数据以及在第一类数据和第二类数据中通过相似度结果取最高而得到的高相似度数据进行数据去重，对去重的数据标记为1，对剩下的交集数据及高相似度数据标记为0；对标记为1的数据进行目标对象相似度从高到低的排序，取其中相似度最高的预设数量的数据作为搜索结果。通过上述方式，处理得到的数据集1中的数据的目标对象相似度高于数据集0中的数据，优先返还相似度较高的数据。

在一些实施例中，若数据集1中的数据数量不满足预设数量，还可以获取数据集0中的目标对象数据。具体地，按照目标特征相似度由高到低将标记为1的数据进行排序，得到第一数据集，按照目标对象相似度由高到低将标记为0的数据进行排序，得到第二数据集，将第二数据集放在第一数据集后面得到最终数据集，在最终数据集中取前面预设数量的数据进而得到搜索结果。

上述实施例中提供了利用时空数据从而使第一类数据和第二类数据产生交集的方法，并将交集数据和第一类数据、第二类数据中相似度最高的数据进行碰撞分析，获得与目标照片相似度最高的数据并按照顺序排列，返回搜索结果。本实施例利用了多个对象在同一时间和同一空间的关系在单维度的相似度结果前提下增加多维融合分析来提升搜索结果的准确性。

请参阅图3和图4，图3是本申请图片搜索方法另一实施例的流程示意图；图4是本申请图片搜索方法另一实施例的示意图。本实施例中一共从目标图片中提取了一个目标对象和两个参考对象去搜索相似数据。其中跟上述实施例中相类似的步骤在此不再赘述，本实施例的步骤如下：

S31：获取目标图片。

目标图片包括目标对象外还至少包括两个参考对象。

S32：对目标图片进行处理，提取其中的目标对象、第一参考对象和第二参考对象。

提取要搜索的目标对象，并选定其他对象中比较具有特征性的两个对象作为第一参考对象和第二参考对象。

S33：将对象与数据库中的数据作比对。

将目标对象、第一参考对象、第二参考对象分别于数据库中的对象数据做对比，得到相似度结果。S33具体分成下面三个步骤：

S331:将目标对象与数据库中的目标对象数据作比对。

目标对象与数据库中的目标对象数据作比对，得到与目标对象相似的第一类数据及对应的目标对象相似度结果。需要说明的是，目标对象数据为与目标对象同类别的数据，但不限定相似度结果；第一类数据为与目标对象同类别且具有一定相似度的数据。例如，目标对象为一辆蓝色小轿车，目标对象数据可以为小车数据，第一类数据则为小车数据中蓝色小车的数据。

S332:将第一参考对象与数据库中的第一参考对象数据作比对。

第一参考对象与数据库中的第一参考对象数据作比对，得到与第一参考对象相似的第二类数据及对应的第一参考对象相似度结果。

S333:将第二参考对象与数据库中的第二参考对象数据作比对。

第二参考对象与数据库中的第二参考对象数据作比对，得到与第二参考对象相似的第三类数据及对应的第二参考对象相似度结果。

S34：获取对比数据以及对应的拍摄时间、拍摄位置。

根据相似度结果获得对应对比数据的拍摄时间和拍摄位置，将拍摄时间和拍摄位置作为关联条件，可以将第一类数据、第二类数据和第三类数据进行数据碰撞得到交集数据。本实施例中的拍摄位置与上述实施例中的拍摄机号具有同样的作用，都是为了表示地点信息。具体地，S34具体分成下面三个步骤：

S341:获得第一类数据及对应的拍摄时间、拍摄位置。

S342:获得第二类数据及对应的拍摄时间、拍摄位置。

S343:获得第三类数据及对应的拍摄时间、拍摄位置。

S35：对上述数据、拍摄时间、拍摄地点进行大数据分析，得到交集数据。

以第一类数据为主，对上述数据、拍摄时间、拍摄地点进行大数据分析，需要注意的时，若仅仅是第二类数据与第三类数据产生交集，但与第一类数据不产生交集，则不算入交集数据中，因为要搜索的目标是是目标对象，第二类数据和第三类数据中不包含目标对象，第二类和第三类数据只起到辅助搜索的作用。

S36：获取搜索结果。

将交集数据与第一类数据、第二类数据和第三类数据中相似度最高的数据进行比较，并将重复数据去除。重复数据是经过筛选出来满足多维度相似度的数据，因此将重复数据标记为1，形成第一数据集；将剩下的未重复的数据标记为0，形成第二数据集。第一数据集和第二数据集中的数据可以按照目标对象相似度进行排序。将第二数据集排在第一数据集的后面，形成最终数据集。

为了方便理解，可进一步参阅图4来理解本实施例，通过步骤S34后分别找出目标对象数据及对应的拍摄时间、拍摄位置：A1(T1,D1)、A2(T2,D2)、A3(T3,D3)、A4(T4,D4)、A5(T5,D5)；第一参考对象数据及对应的拍摄时间、拍摄位置：B1(T1,D1)、B2(T2,D2)、B3(T3,D2)、B4(T4,D5)、B5(T2,D5)；第二参考对象数据及对应的拍摄时间、拍摄地点：C1(T1,D1)、C2(T2,D1)、C3(T3,D3)、C4(T2,D4)、C5(T5,D1)；本实施例中选取交集数据的要求是拍摄时间和拍摄位置相一致，选取数据以目标数据为主，因此选出来的交集数据为：A1(T1,D1)、A2(T2,D2)、A3(T3,D3)。在其他实施例中，也可以是拍摄时间或拍摄位置中的一个数据相同即选为交集数据。例如A5(T5,D5)和C5(T5,D1)是拍摄时间相同但拍摄位置不同的交集数据。

将交集数据与各自挑选出来的相似度最高的数据进行分析，并去掉重复性的数据。本实施例中挑选出来三类的数据按各自的相似度从高到低排列分别有A1(T1,D1)，A5(T5,D5)，A4(T4,D4)；B1(T1,D1)，B3(T3,D2)、B4(T4,D5)；C1(T1,D1)，C3(T3,D3)，C5(T5,D1)，其中A1(T1,D1)，B1(T1,D1)，C1(T1,D1)，C3(T3,D3)为与交集数据重复的数据，去掉。将重复的目标对象数据标记为1，将未重复的目标对象数据标记为0，形成数据集1和数据集0。数据集1包括A1和A3，数据集0包括A5,A4,A2，上述数据在数据集中的排列按目标对象相似度从高到低排列。最后将数据集0排在数据集1后面形成最终数据集，并按照要求从前到后返回最终数据集里预设数量的数据。最终数据集里的数据包括：A1、A3、A5、A4、A2。如果最后要返回3个数据，则返回A1、A3、A5。

本实施例中提供了一种利用两个参考对象去搜索目标对象的图片搜索的方法，可以提高搜索结果的相似度的准确性。在其他的实施例中，本领域的技术人员也可以根据算法能力或准确度的要求增加或减少参考对象的检测。

本申请提出了一种用于图片搜索的电子设备，请参阅图5，图5是本申请图片搜索电子设备一实施例的结构示意图。其中电子设备500包括存储器51和处理器52，其中处理器52与存储器51相连接。存储器51用于存储计算机程序，处理器52用于执行计算机程序以实现上述图片搜索方法的任一项步骤，精确寻找出数据库中与目标图片相似的数据。

本申请还包括一种计算机存储介质。请参阅图6，图6是本申请计算机储存介质一实施例的结构示意图。计算机存储介质600存储有计算机程序61，计算机程序61被处理器执行时实现上述图片搜索方法的任一项步骤。计算机存储介质600可以是设置于上述各实施例中的电子设备中。进一步的，计算机存储介质还可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、磁带或者光盘等各种可以存储程序代码的介质。

本申请提供了一种图片搜索的方法，通过获取目标图片中的多个对象并与数据库中的数据作对比，获得第一类数据和第二类数据后取交集，最后按照目标对象相似度从高到低返回交集数据。通过上述方法，可以提高图片搜索的准确度。本申请的图片搜索方法可以应用于摄像机抓拍的动态数据库，也可以应用于以图搜图等静态的数据库。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图片搜索的方法，其特征在于，所述方法包括：

获取目标图片；

对所述目标图片进行处理，提取其中的目标对象和至少一个参考对象；

将所述目标对象、所述至少一个参考对象与数据库中的数据作对比，并返回对比得到的对应所述目标对象的第一类数据和对应所述至少一个参考对象的第二类数据；

在所述第一类数据和所述第二类数据中寻找同时匹配所述目标对象以及所述至少一个参考对象的交集数据；

对所述交集数据进行所述目标对象相似度从高到低的排序，取其中相似度最高的预设数量的交集数据作为搜索结果。

2.根据权利要求1所述的图片搜索的方法，其特征在于，所述方法包括：

所述获取目标图片的同时，获得要搜索的目标时间段；

所述将所述目标对象、所述至少一个参考对象与数据库中的数据作对比包括：

将所述目标对象、所述至少一个参考对象与数据库中的所述目标时间段内的数据作对比。

3.根据权利要求2所述的图片搜索的方法，其特征在于，所述在所述第一类数据和所述第二类数据中寻找同时匹配所述目标对象以及所述至少一个参考对象的交集数据之前包括：

获得所述第一类数据和所述第二类数据的拍摄时间、拍摄机号；

所述在所述第一类数据和所述第二类数据中寻找同时匹配所述目标对象以及所述至少一个参考对象的交集数据包括：

利用大数据分析技术，将所述第一类数据和所述第二类数据通过所述拍摄时间、所述拍摄机号作为关联条件，进行所述第一类数据和所述第二类数据之间的碰撞分析，进而得到所述交集数据。

4.根据权利要求1所述的图片搜索的方法，其特征在于，所述得到所述交集数据后包括：

将所述交集数据以及在所述第一类数据中通过相似度结果取最高而得到的高相似度数据进行数据去重，对去重的所述数据标记为1；

对所述标记为1的数据进行所述目标对象相似度从高到低的排序，取其中相似度最高的预设数量的所述交集数据作为搜索结果。

5.根据权利要求4所述的图片搜索的方法，其特征在于，所述对所述交集数据进行所述目标对象相似度从高到低的排序，取其中相似度最高的预设数量的交集数据作为数据搜索结果包括：

对去重的所述数据标记为1，对剩下的所述交集数据及所述高相似度数据标记为0；

按照所述目标特征相似度由高到低将所述标记为1的所述数据进行排序，得到第一数据集，按照所述目标对象相似度由高到低将所述标记为0的所述数据进行排序，得到第二数据集，将所述第二数据集放在所述第一数据集后面得到最终数据集，在所述最终数据集中取前面所述预设数量的数据进而得到所述搜索结果。

6.根据权利要求3所述的图片搜索的方法，其特征在于，所述获得所述第一类数据和所述第二类数据的拍摄机号包括：

通过抓拍所述第一类数据和所述第二类数据的摄像机编号或其定位系统定位得到的位置信息确定所述第一类数据和所述第二类数据的所述拍摄机号。

7.根据权利要求1所述的图片搜索的方法，其特征在于，所述对所述目标图片进行处理，提取其中的目标对象和至少一个参考对象包括：

对所述图片进行特征检测，检测并提取其中所述图片中的所述目标对象和所述至少一个参考对象。

8.根据权利要求1所述的图片搜索的方法，其特征在于，所述将所述目标对象、所述至少一个参考对象与数据库中的数据作对比包括：

对所述目标对象和所述至少一个参考对象进行特征向量提取，获得所述目标对象特征向量和所述至少一个参考对象特征向量；

将所述目标对象特征向量和所述至少一个参考对象特征向量与所述数据库中的数据作对比，获得所述相似度结果。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；所述处理器与所述存储器连接；所述存储器用于存储计算机程序，所述处理器用于执行计算机程序以实现如权利要求1-8任一项所述的搜索方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1-8任一项所述的搜索方法。