CN106570015B - 图像搜索方法和装置 - Google Patents

Abstract

本发明公开了一种图像搜索方法和装置。其中，该方法包括：接收外部输入的查询图像；从查询图像中获取基准目标对象；接收外部输入的潜在目标对象的类型；根据基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，得到潜在目标对象集；计算潜在目标对象集中的潜在目标对象与基准目标对象的关联程度；以及按照潜在目标对象集中的潜在目标对象与基准目标对象的关联程度显示潜在目标对象集中的潜在目标对象。本发明解决了相关技术中无法根据基准目标查找潜在关联目标的技术问题。

Description

图像搜索方法和装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像搜索方法和装置。

背景技术

在现有的图像检索系统中，多个查询图像通常都对应于相同的语义内容，只是包含不同的背景、视角等。这一类多重查询方法是将不同查询图像的低层特征融合生成一个独立的平均查询特征。从应用场景来说，现有的多重查询系统只针对基准目标对象本身，通过检索找出与基准目标对象相同或非常相似的目标，并不能对基准目标对象关联的潜在目标对象进行查找，例如，根据嫌疑人查找共犯、根据丢失物查找偷窃者等。

针对相关技术中无法根据基准目标查找潜在关联目标的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像搜索方法和装置，以至少解决相关技术中无法根据基准目标查找潜在关联目标的技术问题。

根据本发明实施例的一个方面，提供了一种图像搜索方法，包括：接收外部输入的查询图像；从查询图像中获取基准目标对象；接收外部输入的潜在目标对象的类型；根据基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，得到潜在目标对象集；计算潜在目标对象集中的潜在目标对象与基准目标对象的关联程度；以及按照潜在目标对象集中的潜在目标对象与基准目标对象的关联程度显示潜在目标对象集中的潜在目标对象。

进一步地，计算潜在目标对象集中的潜在目标对象与基准目标对象的关联程度包括：对潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象；以及分别计算多个类别的潜在目标对象与基准目标对象的关联程度，按照潜在目标对象集中的潜在目标对象与基准目标对象的关联程度显示潜在目标对象集中的潜在目标对象包括：按照多个类别的潜在目标对象与基准目标对象的关联程度的高低顺序显示 多个类别的潜在目标对象。

进一步地，对潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象包括：步骤11，计算潜在目标对象集中每个潜在目标对象的密度值；步骤12，取潜在目标对象的密度值中最大密度值对应的潜在目标对象作为第K个聚类中心；步骤13，将最大密度值和预设密度值比较；步骤14，如果最大密度值大于或等于预设密度值，则对潜在目标对象集中每个潜在目标对象的密度值进行修正；步骤15，重复执行步骤12至步骤14直至修正后的密度值中最大密度值小于预设密度值，其中，K的初始值为1，每重复执行一次步骤12至步骤14，K的值加1；步骤16，如果最大密度值小于预设密度值，对潜在目标对象集中的潜在目标对象进行聚类。

进一步地，采用如下公式计算潜在目标对象集中每个潜在目标对象的密度值： D_ij＝||x_i-x_j||，其中，INF_i表示潜在目标对象的密度值，N表 示潜在目标对象的总数，x_i、x_j表示所示潜在目标对象，D_ij表示潜在目标对象x_i和x_j之间距 离，I_ij表示D_ij的倒数，采用如下公式对潜在目标对象集中每个潜在目标对象的密度值进行 修正：

其中，r是一个正常数，x_i表示潜在目标对象集 中任意的潜在目标对象，表示最大密度值对应的潜在目标对象，表示最大密度值，表示修正前的密度值，表示修正后的密度值。

进一步地，对潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象包括：步骤21，从潜在目标对象集中获取任意一个潜在目标对象，作为第一潜在目标对象；步骤22，分别计算第一潜在目标对象与潜在目标对象集中剩余的潜在目标对象的相似度；步骤23，将与第一潜在目标对象的相似度大于第二预设阈值的潜在目标对象与第一潜在目标对象划分为同一类别；步骤24，从潜在目标对象集中剔除已分类的潜在目标对象；步骤25，重复执行步骤21至步骤24直至潜在目标对象集为空集。

进一步地，采用如下公式分别计算多个类别的潜在目标对象与基准目标对象的关联程度：C_i＝f(n_i,1/dis_i)，

其中，C_i表示第i个类别的潜在目标对 象与基准目标对象的关联程度，n_i表示第i个类别中潜在目标对象的总数，d_j表示第i个类别中第j个潜在目标对象与基准目标对象的距离。

进一步地，根据基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，得到潜在目标对象集包括：从预设图像库获取第一图像集，其中，第一图像集中的每一张图像均包含基准目标对象的类型对应的对象和潜在目标对象的类型对应的对象；分别计算第一图像集中每一张图像与基准目标对象的相似度；取与基准目标对象的相似度大于第一预设阈值的图像作为第二图像集；以及从第二图像集中获取对应于潜在目标对象的类型的所有对象并作为潜在目标对象，得到潜在目标对象集。

进一步地，第一图像集包括第一图像，分别计算第一图像集中每一张图像与基准目标对象的相似度包括计算第一图像与基准目标对象的相似度，计算第一图像与基准目标对象的相似度包括：从第一图像获取基准目标对象的类型对应的对象，作为第一对象；计算第一对象与基准目标对象的相似度；以及通过第一对象与基准目标对象的相似度确定第一图像与基准目标对象的相似度。

进一步地，计算第一对象与基准目标对象的相似度包括：分别提取第一对象和基准目标对象的特征，其中，特征至少包括如下之一：纹理特征，颜色特征，结构特征；以及根据第一对象和基准目标对象的特征计算相似度。

进一步地，基准目标对象包括第一基准目标对象和第二基准目标对象，第一图像集包括第二图像，分别计算第一图像集中每一张图像与基准目标对象的相似度包括计算第二图像与基准目标对象的相似度，计算第二图像与基准目标对象的相似度包括：从第二图像中获取第一基准目标对象的类型对应的对象和第二基准目标对象的类型对应的对象，作为第二对象和第三对象；分别计算第二对象与第一基准目标对象的相似度和第三对象和第二基准目标对象的相似度；以及通过第二对象与第一基准目标对象的相似度和第三对象和第二基准目标对象的相似度确定第二图像与基准目标对象的相似度。

根据本发明实施例的另一方面，还提供了一种图像搜索装置，包括：第一接收单元，用于接收外部输入的查询图像；第一获取单元，用于从查询图像中获取基准目标对象；第二接收单元，用于接收外部输入的潜在目标对象的类型；第二获取单元，用于根据基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，得到潜在目标对象集；计算单元，用于计算潜在目标对象集中的潜在目标对象与基准目标对象的关联程度；以及显示单元，用于按照潜在目标对象集中的潜在目标对象与基准目标对象的关联程度显示潜在目标对象集中的潜在目标对象。

进一步地，计算单元包括：分类模块，用于对潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象；第一计算模块，用于分别计算多个类别的潜在目标对象与基准目标对象的关联程度，显示单元包括：显示模块，用于按照多个类别的潜在目标对象与基准目标对象的关联程度的高低顺序显示多个类别的潜在目标对象。

进一步地，第二获取单元包括：第一获取模块，用于从预设图像库获取第一图像集，其中，第一图像集中的每一张图像均包含基准目标对象的类型对应的对象和潜在目标对象的类型对应的对象；第二计算模块，用于分别计算第一图像集中每一张图像与基准目标对象的相似度；第二获取模块，用于取与基准目标对象的相似度大于第一预设阈值的图像作为第二图像集；以及第三获取模块，用于从第二图像集中获取对应于潜在目标对象的类型的所有对象并作为潜在目标对象，得到潜在目标对象集。

进一步地，第一图像集包括第一图像，第二计算模块包括：第一获取子模块，用于从第一图像获取基准目标对象的类型对应的对象，作为第一对象；第一计算子模块，用于计算第一对象与基准目标对象的相似度；以及第一确定子模块，用于通过第一对象与基准目标对象的相似度确定第一图像与基准目标对象的相似度。

进一步地，基准目标对象包括第一基准目标对象和第二基准目标对象，第一图像集包括第二图像，第二计算模块包括：第二获取子模块，用于从第二图像中获取第一基准目标对象的类型对应的对象和第二基准目标对象的类型对应的对象，作为第二对象和第三对象；第二获取子模块，用于分别计算第二对象与第一基准目标对象的相似度和第三对象和第二基准目标对象的相似度；以及第二确定子模块，用于通过第二对象与第一基准目标对象的相似度和第三对象和第二基准目标对象的相似度确定第二图像与基准目标对象的相似度。

在本发明实施例中，采用接收外部输入的查询图像；从查询图像中获取基准目标对象；接收外部输入的潜在目标对象的类型；根据基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，得到潜在目标对象集；计算潜在目标对象集中的潜在目标对象与基准目标对象的关联程度；以及按照潜在目标对象集中的潜在目标对象与基准目标对象的关联程度显示潜在目标对象集中的潜在目标对象，通过基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，从而实现了根据基准目标查找潜在关联目标的技术效果，进而解决了相关技术中无法根据基准目标查找潜在关联目标的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明第一实施例的图像搜索方法的流程图；

图2是根据本发明实施例的确认多个目标对象关联性的流程图；

图3是根据本发明第二实施例的图像搜索方法的流程图；

图4是根据本发明第三实施例的图像搜索方法的流程图；

图5是根据本发明实施例的潜在目标对象搜索的流程图；以及

图6是根据本发明实施例的图像搜索装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种图像搜索方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明第一实施例的图像搜索方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，接收外部输入的查询图像。

本发明实施例的查询图像是指用于图像搜索的基准图像，在基准图像中包含用于图像搜索的基准目标对象，例如，搜索包含赵州桥的图像，则基准图像即用户指定的包含赵州桥的图像，基准图像中的赵州桥即基准目标对象。需要说明的是，查询图像可以是一张图像，也可以是多张图像。

步骤S104，从查询图像中获取基准目标对象。

从查询图像中获取基准目标对象可以是通过目标检测器从查询图像中检测出基准目标对象，也可以是通过用户指定基准目标对象，例如，通过用户手动的在查询图像中标识出基准目标对象，也可以是通过目标检测器检测出多个对象后再由用户确定最终的基准目标对象。需要说明的是，基准目标对象可以是一个对象，也可以是多个对象，目标检测器可以是基于目标检测算法的程序。

步骤S106，接收外部输入的潜在目标对象的类型。

本发明实施例的潜在目标对象是指可能与基准目标对象存在关联的对象，例如，在根据丢失物查找偷窃者的应用场景中，丢失物即基准目标对象，潜在目标对象是指与丢失物密切相关的人，其为偷窃者的可能性较大。潜在目标对象的类型用来限定搜索的范围，具体地，可以由用户指定，例如，可以指定潜在目标对象的类型为人，也可以指定潜在目标对象的类型为车等。

步骤S108，根据基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，得到潜在目标对象集。

本发明实施例在得到基准目标对象和潜在目标对象的类型之后，可以从预设图像库中获取潜在目标对象，可选地，可以从预设图像库中搜索同时包含基准目标对象和潜在目标对象的类型的对象的所有图像，将上述图像中对应于潜在目标对象的类型的对象即作为潜在目标对象，例如，基准目标对象为车A，潜在目标对象的类型为人，此时可以从预设图像库中搜索同时包含车A和人的图像，将图像中出现的人作为潜在目标对象。

步骤S110，计算潜在目标对象集中的潜在目标对象与基准目标对象的关联程度。

例如，可以通过计算潜在目标对象集中的潜在目标对象与基准目标对象的距离(例如，欧式距离等)来衡量该潜在目标对象与基准目标对象的关联程度，其中，潜在目标对象与基准目标对象的距离越小说明该潜在目标对象与基准目标对象的关联程度越大，潜在目标对象与基准目标对象的距离越大说明该潜在目标对象与基准目标对象的 关联程度越小；也可以是统计潜在目标对象集中对应于同一个体的潜在目标对象的个数来衡量潜在目标对象与基准目标对象的关联程度，其中，个数越多则对应于同一个体的潜在目标对象与基准目标对象的关联程度越大，个数越少则对应于同一个体的潜在目标对象与基准目标对象的关联程度越小。例如，基准目标对象为车A，潜在目标对象的类型为人，假设当前存在10张图像同时包括车A和人，则这10张图像中的人均为潜在目标对象，当这10张图像中有3张图像中的潜在目标对象都是同一个人的图像(即这3个潜在目标对象对应于同一个体)，则对应于该人的潜在目标对象的个数为3。

步骤S112，按照潜在目标对象集中的潜在目标对象与基准目标对象的关联程度显示潜在目标对象集中的潜在目标对象。

具体地，可以是按照目标对象集中的潜在目标对象与基准目标对象的关联程度的高低排序对潜在目标对象集中的潜在目标对象进行显示，例如，与基准目标对象的关联程度越高的潜在目标对象则显示越靠前，与基准目标对象的关联程度越低的潜在目标对象则显示越靠后。

本发明实施例通过接收外部输入的查询图像；从查询图像中获取基准目标对象；接收外部输入的潜在目标对象的类型；根据基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，得到潜在目标对象集；计算潜在目标对象集中的潜在目标对象与基准目标对象的关联程度；以及按照潜在目标对象集中的潜在目标对象与基准目标对象的关联程度显示潜在目标对象集中的潜在目标对象。通过基准目标对象和潜在目标对象的类型可快速查找与基准目标对象密切关联的潜在目标对象，从而实现了根据基准目标查找潜在关联目标的技术效果，进而解决了相关技术中无法根据基准目标查找潜在关联目标的技术问题。

优选地，计算潜在目标对象集中的潜在目标对象与基准目标对象的关联程度包括：对潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象；以及分别计算多个类别的潜在目标对象与基准目标对象的关联程度，按照潜在目标对象集中的潜在目标对象与基准目标对象的关联程度显示潜在目标对象集中的潜在目标对象包括：按照多个类别的潜在目标对象与基准目标对象的关联程度的高低顺序显示多个类别的潜在目标对象。

在潜在目标对象集中，可能多个潜在目标对象对应于同一个体，例如，基准目标对象为车A，潜在目标对象的类型为人，假设当前存在10张图像同时包括车A和人，则这10张图像中的人均为潜在目标对象，当这10张图像中有3张图像中的潜在目标对象都是同一个人的图像，即这3个潜在目标对象对应于同一个体(即同一个人)。

因此，本发明实施例对潜在目标对象集中的潜在目标对象进行分类，将属于同一个体的对象划分为同一类。具体地，可以通过聚类进行分类，聚类可以把无类别标识的数据对象自动划分为不同的类，不受人的先验知识的约束和干扰，但常用的聚类算法需要预先给定聚类中心个数，而本发明实施例在实际应用中无法预知潜在目标对象个数，也无法预知聚类中心个数。优选地，本发明实施例基于样本密度信息的聚类中心选取算法进行聚类，该基于样本密度信息的聚类中心选取算法进行聚类的步骤如下：

步骤11，计算潜在目标对象集中每个潜在目标对象的密度值。

具体地，可以采用如下公式计算潜在目标对象集中每个潜在目标对象的密度值：

D_ij＝||x_i-x_j||，其中，INF_i表示潜在目标对象的密度值，N表示潜在目标对象的总数，x_i、x_j表示所示潜在目标对象，D_ij表示潜在目标对象x_i和x_j之间距离，I_ij表示D_ij的倒数。需要说明的是，上述i表示潜在目标对象集中第i个潜在目标对象。

步骤12，取潜在目标对象的密度值中最大密度值对应的潜在目标对象作为第K个聚类中心。

步骤13，将最大密度值和预设密度值比较。

步骤14，如果最大密度值大于或等于预设密度值，则对潜在目标对象集中每个潜在目标对象的密度值进行修正。

具体地，可以采用如下公式对潜在目标对象集中每个潜在目标对象的密度值进行 修正：

其中，r是一个正常数。x_i表示潜在目标对象集 中任意的潜在目标对象，表示最大密度值对应的潜在目标对象，表示最大密度值，表示修正前的密度值，表示修正后的密度值。需要说明的是，设置r是为了避免 下一个聚类中心点离前面的中心点太近。

步骤15，重复执行步骤12至步骤14直至修正后的密度值中最大密度值小于预设密度值，其中，K的初始值为1，每重复执行一次步骤12至步骤14，K的值加1。

步骤16，如果最大密度值小于预设密度值，对潜在目标对象集中的潜在目标对象进行聚类。

聚类中心的个数为K，聚类中心可以是每一次循环中最大密度值对应的潜在目标对象，也可以是从潜在目标对象集中任意指定的K个潜在目标对象。对潜在目标对象集中的潜在目标对象进行聚类时，可以采用任意的聚类方法进行聚类，例如，k-means算法、gmm算法，其中，聚到同一类的潜在目标对象则认为是对应于同一个体。

优选地，也可以采用检索的方法对潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象，具体地，采用搜索的方法对潜在目标对象集中的潜在目标对象进行分类包括如下步骤：

步骤21，从潜在目标对象集中获取任意一个潜在目标对象，作为第一潜在目标对象。

步骤22，分别计算第一潜在目标对象与潜在目标对象集中剩余的潜在目标对象的相似度。

潜在目标对象集中剩余的潜在目标对象是指潜在目标对象集中除第一潜在目标对象之外的潜在目标对象。

步骤23，将与第一潜在目标对象的相似度大于第二预设阈值的潜在目标对象与第一潜在目标对象划分为同一类别。

步骤24，从潜在目标对象集中剔除已分类的潜在目标对象。

即将与第一潜在目标对象的相似度大于第二预设阈值的潜在目标对象从潜在目标对象集中剔除。

步骤25，重复执行步骤21至步骤24直至潜在目标对象集为空集。

在剔除已分类的潜在目标对象之后的潜在目标对象集中再获取任意一个潜在目标对象，并执行后续的步骤。重复执行步骤21至步骤24直至潜在目标对象集中潜在目标对象的个数为0。

本发明实施例在对潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象之后，计算多个类别的潜在目标对象与基准目标对象的关联程度。优选地，可以采用如下公式分别计算多个类别的潜在目标对象与基准目标对象的关联程度：C_i＝f(n_i,1/dis_i)，其中，C_i表示第i个类别的潜在目标对象与基准目标对象的关联程度，n_i表示第i个类别中潜在目标对象的总数，d_j表示第i个类别 中第j个潜在目标对象与基准目标对象的距离。

具体地，C_i＝f(n_i,1/dis_i)表示C_i为n_i和dis_i的函数(即C_i由n_i和dis_i共同确定)，例如，C_i＝n_i+1/dis_i，或C_i＝n_i*(1/dis_i)等。优选地，在根据n_i和dis_i共同确定C_i时，可以先对n_i和1/dis_i进行归一化处理，通过归一化处理后的n_i和1/dis_i来确定C_i。

需要说明的是，潜在目标对象与基准目标对象的距离可以通过目标检测器检测得到的对象的位置进行计算。

本发明实施例在得到多个类别的潜在目标对象与基准目标对象的关联程度之后，对多个类别的潜在目标对象与基准目标对象的关联程度进行排序，并按照多个类别的潜在目标对象与基准目标对象的关联程度的高低顺序显示多个类别的潜在目标对象。具体地，可以从每个类别中选取一个潜在目标对象作为封面进行显示，当用户点击封面潜在目标对象时可以查看属于同一类别的所有潜在目标对象，进一步地，如果用户再次点击潜在目标对象，就可以查看包含该潜在目标对象的图像，在该图像中可以用不同颜色的方框将基准目标对象(例如，蓝色)和潜在目标对象(例如，红色)标示出来。优选地，可以根据每个类别中每个潜在目标对象所在的图像与基准目标对象的相似度的大小对每个类别的潜在目标对象进行排序，取与基准目标对象的相似度最大的图像中的潜在目标对象显示在封面。

优选地，本发明实施例在对潜在目标对象集中的潜在目标对象进行分类之前，可以先统计潜在目标对象的数目，并判断潜在目标对象的数目是否大于第三预设阈值，其中，在判断出潜在目标对象的数目大于第三预设阈值时，则对潜在目标对象进行分类，在判断出潜在目标对象的数目不大于第三预设阈值时，则不对潜在目标对象进行分类。

在检索得到的潜在目标对象数量较少时，例如，为3个，可以直接显示全部的潜在目标对象，而不进行分类。从而可以简化整个检索过程，缩短检索时间。

优选地，本发明实施例在得到多个类别的潜在目标对象与基准目标对象的关联程度之后，可以进一步确认潜在目标对象和基准目标对象的关联性，具体地，可以将潜在目标对象与基准目标对象进行联合搜索，从图像库中查找同时包含潜在目标对象与基准目标对象的图像，以确认潜在目标对象和基准目标对象的关联性。

具体地，图2是根据本发明实施例的确认多个目标对象关联性的流程图，如图2所示，确认多个目标对象关联性包括如下步骤：

步骤S202:输入查询图像。

例如，将潜在目标对象与基准目标对象所在的图像作为查询图像。

步骤S204：目标检测器检测目标。

通过目标检测器从潜在目标对象所在的图像和基准目标对象所在的图像中提取目标对象，并从图像库中的图像中提取目标对象作为待检索目标对象。

步骤S206：提取特征。

提取潜在目标对象与基准目标对象的特征以及待检索目标对象的特征，具体地，特征可以包括颜色特征、纹理特征和结构特征等。

步骤S208：相似度计算。

通过上述特征计算相似度，具体地，在计算相似度之前，先进行对应类型特征匹配，例如，潜在目标对象的类型为A,基准目标对象的类型为B，某图像中待检索目标对象1的类型为A，待检索目标对象2的类型为B，则先分别计算潜在目标对象与待检索目标对象1的相似度a和基准目标对象与待检索目标对象2的相似度b，再通过相似度a和相似度b确定最终结果，例如，取相似度a和相似度b中最大值作为最终结果或取相似度a和相似度b的平均值作为最终结果。

步骤S210：结果排序显示。

对上述相似度的最终结果进行排序，返回排序结果中的前N个显示给用户，N值可以预先设置。

优选地，为了提高搜索到的潜在目标对象与基准目标对象关联性，根据基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，得到潜在目标对象集包括：从预设图像库获取第一图像集，其中，第一图像集中的每一张图像均包含基准目标对象的类型对应的对象和潜在目标对象的类型对应的对象；分别计算第一图像集中每一张图像与基准目标对象的相似度；取与基准目标对象的相似度大于第一预设阈值的图像作为第二图像集；以及从第二图像集中获取对应于潜在目标对象的类型的所有对象并作为潜在目标对象，得到潜在目标对象集。

具体地，可以通过目标检测器检测查询图像和预设图像库中每一张图像的对象、对象类型、位置等信息，并进行存储。在得到查询图像和预设图像库中每一张图像的对象、对象类型后，依次判断预设图像库中每一张图像的对象类型与潜在目标对象的类型和基准目标对象的类型比较，并将预设图像库中同时包含潜在目标对象的类型对 应的对象和基准目标对象的类型对应的对象的图像组成第一图像集。

本发明实施例在第一图像集后，计算第一图像集中每一张图像与基准目标对象的相似度。可选地，第一图像为第一图像集中的任意一张图像，以下以第一图像为例对本发明实施例的计算第一图像集中每一张图像与基准目标对象的相似度进行说明。

可选地，第一图像集包括第一图像，分别计算第一图像集中每一张图像与基准目标对象的相似度包括计算第一图像与基准目标对象的相似度，计算第一图像与基准目标对象的相似度包括：从第一图像获取基准目标对象的类型对应的对象，作为第一对象；计算第一对象与基准目标对象的相似度；以及通过第一对象与基准目标对象的相似度确定第一图像与基准目标对象的相似度。

具体地，由于第一图像中基准目标对象的类型对应的对象可以是一个也可以是多个，即第一对象可以是一个对象也可以是多个对象。具体地，当第一对象是一个对象时，直接计算第一对象和基准目标对象的类型对应的对象的相似度，作为第一图像与基准目标对象的相似度，当第一对象是多个对象时，以第一对象包括对象1、对象2为例进行说明，分别计算对象1和基准目标对象的类型对应的对象的相似度1与对象2基准目标对象的类型对应的对象的相似度2，并取相似度1和相似度2中较大值作为第一图像与基准目标对象的相似度。

可选地，计算第一对象与基准目标对象的相似度包括：分别提取第一对象和基准目标对象的特征，其中，特征至少包括如下之一：纹理特征，颜色特征，结构特征；以及根据第一对象和基准目标对象的特征计算相似度。

本发明实施例可以根据实际情况选择特征的种类，例如，可以仅采用纹理特征，也 可以是综合纹理特征和颜色特征等。以下以综合纹理特征、颜色特征和结构特征共同计算 第一对象与基准目标对象的相似度为例进行说明，对象的特征表示为X＝{w_cX_c,w_tX_t,w_sX_s}， 其中，

分别表 示颜色特征、纹理特征和结构特征这3种特征向量，w_c，w_t，w_s分别表示3种特征的权重，初始 权重可以默认为1。优选地，可以支持用户定义权重，通过人为干预和大量的前期实验寻找 出最优权重，如果用户设定某一项权重为零，则表示在检索中不使用该项特征；也可以通过 训练中的检索结果量化各个特征的表征性能，根据各个特征的检索性能评估结果，例如，平 均精度均值(mean Average Precision，简称为mAP)，来确定权重值，例如，对某一测试集来 说，颜色特征得到的检索性能最好，则将其权值设为最大，从而可以根据预设图像库的图像 的特点灵活 调整各个特征的影响比例。

具体地，本实施将第一对象的特征表示为基准目标对象的特征表 示为{X_c ^c,X_t ^c,X_s ^c}，可以采用特征距离加权求和的方法计算相似度，即

其中，

和表示两个向量之间的距离，例如，欧式距离、马氏距离、余弦距离等。

本发明实施例在得到第一图像集中每一张图像与基准目标对象的相似度之后，将每一张图像与基准目标对象的相似度和第一预设阈值进行比较，如果与基准目标对象的相似度大于第一预设阈值，则将该图像中潜在目标对象的类型的所有对象作为潜在目标，例如，基准目标对象为人，潜在目标对象的类型为车，对于预设图像库中包含人和车的图像，如果该图像中的人和作为基准目标对象的人的相似度大于第一预设阈值，则该图像中的车即作为潜在目标对象。

优选地，为了实现多目标的潜在目标对象的查找，基准目标对象包括第一基准目标对象和第二基准目标对象，第一图像集包括第二图像，分别计算第一图像集中每一张图像与基准目标对象的相似度包括计算第二图像与基准目标对象的相似度，计算第二图像与基准目标对象的相似度包括：从第二图像中获取第一基准目标对象的类型对应的对象和第二基准目标对象的类型对应的对象，作为第二对象和第三对象；分别计算第二对象与第一基准目标对象的相似度和第三对象和第二基准目标对象的相似度；以及通过第二对象与第一基准目标对象的相似度和第三对象和第二基准目标对象的相似度确定第二图像与基准目标对象的相似度。

本发明实施例的第二图像可以是第一图像集中任意一张图像，以下以第二图像为例对本发明实施例的计算第一图像集中每一张图像与基准目标对象的相似度进行说明。

例如，第一基准目标对象为车A1，则第一基准目标对象的类型为车，第二基准目标对象为桥A2，则第二基准目标对象的类型为桥，潜在目标对象的类型为人，则第二图像为同时包含车、桥和人三种对象的图像。在计算相似度前，可以先进行对象匹配，将第二图像中车(即第一基准目标对象的类型对应的对象)与第一基准目标对象车A1匹配，将第二图像中桥(即第二基准目标对象的类型对应的对象)与第二基准对象桥A2匹配，再计算第二图像中车与车A1的相似度a1，第二图像中桥与桥A2的相似度a2，通过相似度a1和相似度a2共同确定第二图像与基准目标对象的相似度，具体地，可以是取相似度a1和相似度a2中较大值作为第二图像与基准目标对象的相似度，也 可以是取相似度a1和相似度a2的平均值作为第二图像与基准目标对象的相似度，也可以采用对相似度a1和相似度a2设置不同权重来共同确定第二图像与基准目标对象的相似度等。

通过本发明实施例，可以通过多个基准目标对象和潜在目标对象的类型共同搜索潜在目标对象，可以缩小潜在目标对象搜索范围，也可以使得搜索到的潜在目标对象更符合用户的查找目标。

图3是根据本发明第二实施例的图像搜索方法的流程图。如图3所示，该方法包括：

步骤S302，接收查询图像和潜在目标对象的类型。

本发明实施例支持用户输入单张或多张查询图像，具体地，从查询图像中确定查询目标(即基准目标对象)有两种方法：1、用目标检测器检出目标(即对象)后由用户选定目标框；2、用户对查询目标进行手动画框。本发明实施例以用目标检测器检出目标后由用户选定目标框的方式为例进行说明。

步骤S304，目标检测器检测目标。

目标检测器可根据潜在目标对象的类型对所有查询图像和待检索图像(即预设图像库中图像)进行目标检测，存储每张图像中检测出的对象的类型、位置和其他属性，例如，大小、颜色、性别(行人检索)、车牌(车辆检索)等。

步骤S306，指定基准目标对象。

在目标检测器检测出查询图像上的目标对象后，由用户指定基准目标对象。本发明实施例在获取到基准目标对象后，从预设图像库中检索同时包含基准目标对象的类型对应的对象和潜在目标对象的类型对应的对象的图像。具体地，可以依次判断预设图像库中每一张图像的对象类型与潜在目标对象的类型和基准目标对象的类型比较，并获取预设图像库中同时包含潜在目标对象的类型对应的对象和基准目标对象的类型对应的对象的图像。为了便于说明，将同时包含潜在目标对象的类型对应的对象和基准目标对象的类型对应的对象的图像称为潜在目标图像。

步骤S308，提取特征。

本发明实施例可以根据实际情况选择特征的种类，例如，可以仅采用纹理特征，也可以是综合纹理特征和颜色特征等。具体地，分别提取基准目标对象和潜在目标图像中与基准目标对象的类型对应的对象的特征。

步骤S310，相似度计算。

根据基准目标对象和潜在目标图像中与基准目标对象的类型对应的对象的特征 计算相似度。具体地，相似度的计算采用特征距离加权求和的方法。以下以综合纹理特征、 颜色特征和结构特征共同计算第一对象与基准目标对象的相似度为例进行说明，基准目标 对象A特征为{X_c ^a,X_t ^a,X_s ^a}，待检索目标对象C(即潜在目标图像中与基准目标对象的类型对 应的对象)特征为{X_c ^c,X_t ^c,X_s ^c}，两个对象相似度为

其中，

和表示两个向量之间的距离，例如，欧式距离、马氏距离、余弦距离等，

分别表示颜色 特征、纹理特征和结构特征这3种特征向量，w_c，w_t，w_s分别表示权重。

具体地，本发明实施例可以对计算得到的相似度进行排序并返回排序结果中的前N个相似度对应的图像显示给用户，并在图像中显示目标框，以及支持用户更改N值。

步骤S312，结果排序并提取潜在目标对象。

本发明实施例对计算得到的相似度进行排序并提取相似度大于设定值的图像，并从该图像中提取潜在目标对象。

步骤S314，区分潜在目标对象个体。

由于多个潜在目标对象可能对应于同一个体，例如，多个潜在目标对象对应于同一个人，因此，本发明实施例需要对潜在目标对象进行分类，以区分潜在目标对象个体。

具体地，对潜在目标对象进行分类可以采用如下两种方式：

(1)聚类：聚类分析可以把无类别标识的数据对象自动划分为不同的类，不受人的先验知识的约束和干扰，但常用聚类算法需要预先给定聚类中心个数，这与本发明实施例的功能需求不符，因为实际应用中无法预知潜在目标个数。本发明实施例采用一种基于样本密度信息的聚类中心选取算法，定义数据点(即潜在目标对象)x_i的样本密度为：

D_ij＝||x_i-x_j||，其中N表示样本总数，I_ij表 示样本(即潜在目标对象)x_i、x_j之间距离D_ij的倒数。

聚类步骤如下：

a、计算每个数据点(检测结果的特征)的初始密度值并设定密度阈值inf。

b、选取样本密度最大的点作为第K个聚类中心，其密度为

如果

跳至步骤e。

c、修正样本密度值，以避免在第一个中心点附近再选到另一个中心点。离已确定的聚类中心越近，密度减小得越大。具体地，采用如下公式修正样本密度值：

其中，r是一个正常数，设置r是为了避免下一个聚类中心点离前面的中心点太近。

d、重复执行步骤b至步骤c直至最大样本密度值大于inf，上述K的初始值为1，每重复执行一次步骤b至步骤c，K的值加1。

e、对数据点进行聚类，聚类方法不限，例如，k-means算法、gmm算法等。聚到一类的样本被认为是对应于同一个体。

(2)检索。在未确定潜在目标集(即潜在目标对象集)中循环做单目标检索。具体地，从未确定潜在目标集中任意获取一个潜在目标对象作为查询目标，并计算未确定潜在目标集中剩余潜在目标与该查询目标的相似度，一次检索中与该查询目标的相似度大于阈值S_thd的潜在目标对象被认为与查询目标同属于一个类别，从未确定潜在目标集中被排除掉，并用未确定潜在目标集中剩余潜在目标对象继续进行检索，直至剩余的潜在目标对象个数为0。

步骤S316，潜在目标对象排序显示。

潜在目标对象按照与基准目标对象的密切程度进行排序。第i个类别的潜在目标对象与基准目标对象的密切程度表示为C_i＝f(n_i,1/dis_i)，

其中，n_i表征属于当前潜在目标的样本总数，d_j表征当前潜在目标到基准目标的平均距离， C_i＝f(n_i,1/dis_i)表示C_i为n_i和dis_i的函数(即C_i由n_i和dis_i共同确定)，例如，C_i＝n_i+1/dis_i，或C_i＝n_i*(1/dis_i)等。优选地，在根据n_i和dis_i共同确定C_i时，可以先对n_i和1/dis_i进行归一化处理，通过归一化处理后的n_i和1/dis_i来确定C_i。

每个类别的潜在目标对象给出一张图像作为封面，按C_i从大到小的顺序排序显示给用户，同时显示C_i值，支持用户点击图像查看属于同一类别的所有图像。支持用户设定条件对潜在目标对象进行筛选，例如，限定其大小、颜色、位置等，只为用户显示筛选后的潜在目标对象。用户也可以同时选取基准目标对象和其中的一个潜在目标对象做联合搜索，进一步确认潜在目标与基准目标间的关联性，具体地，可以采用图2所示的方法确认潜在目标与基准目标间的关联性。

图4是根据本发明第三实施例的图像搜索方法的流程图。如图4所示，该方法包括：

步骤S402：指定基准目标对象和潜在目标对象的类型。

具体地，基准目标对象可以是一个，也可以是多个。

步骤S404：检索。

具体地，步骤S404用于从图像库中搜索潜在目标对象。图5是根据本发明实施例的潜在目标对象搜索的流程图，如图5所示，潜在目标对象搜索包括如下步骤：

步骤S502：读入单张图像的待检索目标信息。

具体地，待检索目标信息包括目标对象、目标对象的类型、目标对象的位置等信息。

步骤S504：判断类型是否匹配。

具体地，判断上述图像中目标对象的类型是否与基准目标对象的类型和潜在目标对象的类型匹配。如果匹配，则执行步骤S506，如果不匹配，则执行步骤S502，重新读取一张图像的待检索目标信息。

步骤S506：对应类型特征匹配。

例如，基准目标对象1的类型为A,基准目标对象2的类型为B，该图像中待检索目标对象1的类型为A，待检索目标对象2的类型为B，则基准目标对象1与待检索目 标对象1的类型匹配，基准目标对象2与待检索目标对象2的类型匹配。

步骤S508：计算总相似度。

例如，基准目标对象1与待检索目标对象1的类型匹配，基准目标对象2与待检索目标对象2的类型匹配，先分别计算基准目标对象1与待检索目标对象1的相似度1和基准目标对象2与待检索目标对象2的相似度2，再通过相似度1和相似度2确定总相似度，例如，取相似度1和相似度2中最大值作为总相似度或取相似度1和相似度2的平均值作为总相似度。

步骤S510：判断是否遍历所有待检索图像。

如果已经遍历所有待检索图像，则执行步骤S512，否则执行步骤S502。

步骤S512：相似度排序和图像显示。

返回排序结果中的前N个显示给用户，在图像中显示目标框，支持用户更改N值。

步骤S406：选取检索结果。

具体地，从检索结果中选取相似度大于阈值的图像，集合这些图像中符合潜在目标类型的所有目标，得到未确定潜在目标集。

步骤S408：目标对象分类。

由于多个潜在目标对象可能对应于同一个体，例如，多个潜在目标对象对应于同一个人，因此，本发明实施例需要对潜在目标对象进行分类，以区分潜在目标对象个体。

步骤S410：统计频率并计算距离。

潜在目标对象按照与基准目标对象的密切程度进行排序。第i个类别的潜在目标对象密切程度表示为C_i＝f(n_i,1/dis_i)，其中n_i表征属于当前类别的潜在目标对象的样本总数，表示当前潜在目标对象到基准目标对象的平均距离，C_i＝f(n_i,1/dis_i)表示C_i为n_i和dis_i的函数(即C_i由n_i和dis_i共同确定)，例如，C_i＝n_i+1/dis_i，或C_i＝n_i*(1/dis_i)等。优选地，在根据n_i和dis_i共同确定C_i时，可以先对n_i和1/dis_i进行归一化处理，通过归一化处理后的n_i和1/dis_i来确定C_i。

步骤S412：结果排序并返回。

每个类别的潜在目标对象给出一张图像作为封面，多个类别的潜在目标对象按C_i从大到小的顺序排序显示给用户，同时显示C_i值，支持用户点击图像查看属于同一类别的所有图像。支持用户设定条件对潜在目标对象进行筛选，例如，限定其大小、颜色、位置等，只为用户显示筛选后的潜在目标对象。用户也可以同时选取基准目标对象和其中的一个潜在目标对象所在的图像做联合搜索，进一步确认潜在目标对象与基准目标对象间的关联性。

由上述描述可以看出，本发明实施例可以用于挖掘不同目标对象间的关联性，且不限定于同类型目标对象，是为特定应用而专门设计的一种图像检索系统；本发明实施例使用颜色、纹理和结构等特征进行检索，用训练结果确定特征权重，能针对不同图像集灵活调整特征权重，达到更好的检索性能；本发明实施例还用样本密度优化初始的聚类中心，用密度阈值作为优化的中止条件；本发明实施例用出现频率和空间距离共同量化潜在目标对象与基准目标对象的关联度。

此外，本发明实施例利用多重查询的原理，对不同目标对象进行联合检索，在图像集中找出同时包含多个查询目标的图像，能协助用户判断多个目标间的关联性；另外还能找出特定类型的与基准目标对象关联密切的潜在目标对象，从而协助用户对事件的发展和发散进行跟踪。此外，现有常用聚类技术需要预先给定中心点数，中心点的初始化对聚类结果影响很大，而本发明实施例根据样本本身的分布确定中心点的个数和位置，更为灵活可靠，更有可能得到较好的聚类结果，这也会直接影响潜在目标的搜索结果。

根据本发明实施例，还提供了一种图像搜索装置，图6是根据本发明实施例的图像搜索装置的示意图。如图6所示，该装置包括：第一接收单元60，第一获取单元61，第二接收单元62、第二获取单元63、计算单元64和显示单元65。

第一接收单元60，用于接收外部输入的查询图像。

具体地，第一接收单元60的功能可以由用户交互模块实现。

用户交互模块支持用户选择不同的查询子系统，支持用户输入单张或多张查询图像。具体地，本发明实施例的图像搜索系统包括关联性判断子系统(即系统1)和潜在目标查询子系统(即系统2)，其中，关联性判断子系统实现关联性确认的流程图如图2所示，潜在目标查询子系统实现潜在目标查询的流程如图3所示。

此外，用户交互模块还支持用户选定或更改目标类型，支持用户选择待检索的图像库所属的文件夹目录，即设置图像检索的查找范围。在检索过程中系统可以获取当前已处理的图像数量k以及检索库中所有的图像数量N，从而以进度条或数字百分比的形式(k/N*100％)向用户反馈当前进度。

第一获取单元61，用于从查询图像中获取基准目标对象。

可选地，第一获取单元61的功能可以由目标检测器实现。

目标检测器可根据设定的类型对所有查询图像和待检索图像(即预设图像库中的图像)进行目标检测，存储每张图像中检出的目标对象的类型、位置和各种可得到的属性，例如，大小、颜色、性别(行人检索)、车牌(车辆检索)等。

具体地，从查询图像中确定基准目标对象有两种方法：1、用目标检测器检出目标后由用户选定目标框；2、用户对目标进行手动画框，支持用户对目标框进行选定、平移、缩放、删除等操作。

第二接收单元62，用于接收外部输入的潜在目标对象的类型。

同样的，第二接收单元62的功能可以由用户交互模块实现。用户可以通过户交互模块指定潜在目标对象的类型。

第二获取单元63，用于根据基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，得到潜在目标对象集。

本发明实施例在得到基准目标对象和潜在目标对象的类型之后，可以从预设图像库中获取潜在目标对象，可选地，可以从预设图像库中搜索同时包含基准目标对象和潜在目标对象的类型的对象的所有图像，将上述图像中对应于潜在目标对象的类型的对象即作为潜在目标对象，例如，基准目标对象为车A，潜在目标对象的类型为人，此时可以从预设图像库中搜索同时包含车A和人的图像，将图像中出现的人作为潜在目标对象。

计算单元64，用于计算潜在目标对象集中的潜在目标对象与基准目标对象的关联程度。

显示单元65，用于按照潜在目标对象集中的潜在目标对象与基准目标对象的关联程度显示潜在目标对象集中的潜在目标对象。

本发明实施例通过第一接收单元60接收外部输入的查询图像；第一获取单元，用于从查询图像中获取基准目标对象；第二接收单元61接收外部输入的潜在目标对象的类型；第二获取单元63根据基准目标对象和潜在目标对象的类型从预设图像库中获取 潜在目标对象，得到潜在目标对象集；计算单元64计算潜在目标对象集中的潜在目标对象与基准目标对象的关联程度；以及显示单元65按照潜在目标对象集中的潜在目标对象与基准目标对象的关联程度显示潜在目标对象集中的潜在目标对象，通过基准目标对象和潜在目标对象的类型从预设图像库中获取潜在目标对象，从而实现了根据基准目标查找潜在关联目标的技术效果，进而解决了相关技术中无法根据基准目标查找潜在关联目标的技术问题。

优选地，计算单元64包括：分类模块，用于对潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象；第一计算模块，用于分别计算多个类别的潜在目标对象与基准目标对象的关联程度，显示单元65包括：显示模块，用于按照多个类别的潜在目标对象与基准目标对象的关联程度的高低顺序显示多个类别的潜在目标对象。

优选地，第二获取单元63包括：第一获取模块，用于从预设图像库获取第一图像集，其中，第一图像集中的每一张图像均包含基准目标对象的类型对应的对象和潜在目标对象的类型对应的对象；第二计算模块，用于分别计算第一图像集中每一张图像与基准目标对象的相似度；第二获取模块，用于取与基准目标对象的相似度大于第一预设阈值的图像作为第二图像集；以及第三获取模块，用于从第二图像集中获取对应于潜在目标对象的类型的所有对象并作为潜在目标对象，得到潜在目标对象集。

可选地，第一图像集包括第一图像，第二计算模块包括：第一获取子模块，用于从第一图像获取基准目标对象的类型对应的对象，作为第一对象；第一计算子模块，用于计算第一对象与基准目标对象的相似度；以及第一确定子模块，用于通过第一对象与基准目标对象的相似度确定第一图像与基准目标对象的相似度。

优选地，基准目标对象包括第一基准目标对象和第二基准目标对象，第一图像集包括第二图像，第二计算模块包括：第二获取子模块，用于从第二图像中获取第一基准目标对象的类型对应的对象和第二基准目标对象的类型对应的对象，作为第二对象和第三对象；第二获取子模块，用于分别计算第二对象与第一基准目标对象的相似度和第三对象和第二基准目标对象的相似度；以及第二确定子模块，用于通过第二对象与第一基准目标对象的相似度和第三对象和第二基准目标对象的相似度确定第二图像与基准目标对象的相似度。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种图像搜索方法，其特征在于，包括：

接收外部输入的查询图像；

从所述查询图像中获取基准目标对象；

接收外部输入的潜在目标对象的类型；

根据所述基准目标对象和所述潜在目标对象的类型从预设图像库中获取所述潜在目标对象，得到潜在目标对象集；

对所述潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象；以及分别计算所述多个类别的潜在目标对象与所述基准目标对象的关联程度；以及

按照所述多个类别的潜在目标对象与所述基准目标对象的关联程度的高低顺序显示所述多个类别的潜在目标对象。

2.根据权利要求1所述的方法，其特征在于，对所述潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象包括：

步骤11，计算所述潜在目标对象集中每个潜在目标对象的密度值；

步骤12，取所述潜在目标对象的密度值中最大密度值对应的潜在目标对象作为第K个聚类中心；

步骤13，将所述最大密度值和预设密度值比较；

步骤14，如果所述最大密度值大于或等于所述预设密度值，则对所述潜在目标对象集中每个潜在目标对象的密度值进行修正；

步骤15，重复执行步骤12至步骤14直至修正后的密度值中最大密度值小于所述预设密度值，其中，K的初始值为1，每重复执行一次步骤12至步骤14，K的值加1；

步骤16，如果所述最大密度值小于所述预设密度值，对所述潜在目标对象集中的潜在目标对象进行聚类。

3.根据权利要求2所述的方法，其特征在于，

采用如下公式计算所述潜在目标对象集中每个潜在目标对象的密度值：

D_ij＝||x_i-x_j||，

其中，INF_i表示潜在目标对象的密度值，N表示潜在目标对象的总数，x_i、x_j表示所示潜在目标对象，D_ij表示潜在目标对象x_i和x_j之间距离，I_ij表示D_ij的倒数，

采用如下公式对所述潜在目标对象集中每个潜在目标对象的密度值进行修正：

其中，r是一个正常数，x_i表示所述潜在目标对象集中任意的潜在目标对象，

表示最大密度值对应的潜在目标对象，表示最大密度值，INF_i ^k-1表示修正前的密度值，INF_i ^k表示修正后的密度值。

4.根据权利要求1所述的方法，其特征在于，对所述潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象包括：

步骤21，从所述潜在目标对象集中获取任意一个潜在目标对象，作为第一潜在目标对象；

步骤22，分别计算所述第一潜在目标对象与所述潜在目标对象集中剩余的潜在目标对象的相似度；

步骤23，将与所述第一潜在目标对象的相似度大于第二预设阈值的潜在目标对象与所述第一潜在目标对象划分为同一类别；

步骤24，从所述潜在目标对象集中剔除已分类的潜在目标对象；

步骤25，重复执行步骤21至步骤24直至所述潜在目标对象集为空集。

5.根据权利要求1所述的方法，其特征在于，采用如下公式分别计算所述多个类别的潜在目标对象与所述基准目标对象的关联程度：

C_i＝f(n_i,1/dis_i)，

其中，C_i表示第i个类别的潜在目标对象与所述基准目标对象的关联程度，n_i表示第i个类别中潜在目标对象的总数，d_j表示第i个类别中第j个潜在目标对象与所述基准目标对象的距离。

6.根据权利要求1所述的方法，其特征在于，根据所述基准目标对象和所述潜在目标对象的类型从预设图像库中获取所述潜在目标对象，得到潜在目标对象集包括：

从所述预设图像库获取第一图像集，其中，所述第一图像集中的每一张图像均包含所述基准目标对象的类型对应的对象和所述潜在目标对象的类型对应的对象；

分别计算所述第一图像集中每一张图像与所述基准目标对象的相似度；

取与所述基准目标对象的相似度大于第一预设阈值的图像作为第二图像集；以及

从所述第二图像集中获取对应于所述潜在目标对象的类型的所有对象并作为所述潜在目标对象，得到所述潜在目标对象集。

7.根据权利要求6所述的方法，其特征在于，所述第一图像集包括第一图像，分别计算所述第一图像集中每一张图像与所述基准目标对象的相似度包括计算所述第一图像与所述基准目标对象的相似度，计算所述第一图像与所述基准目标对象的相似度包括：

从所述第一图像获取所述基准目标对象的类型对应的对象，作为第一对象；

计算所述第一对象与所述基准目标对象的相似度；以及

通过所述第一对象与所述基准目标对象的相似度确定所述第一图像与所述基准目标对象的相似度。

8.根据权利要求7所述的方法，其特征在于，计算所述第一对象与所述基准目标对象的相似度包括：

分别提取所述第一对象和所述基准目标对象的特征，其中，所述特征至少包括如下之一：纹理特征，颜色特征，结构特征；以及

根据所述第一对象和所述基准目标对象的特征计算所述相似度。

9.根据权利要求6所述的方法，其特征在于，所述基准目标对象包括第一基准目标对象和第二基准目标对象，所述第一图像集包括第二图像，分别计算所述第一图像集中每一张图像与所述基准目标对象的相似度包括计算所述第二图像与所述基准目标对象的相似度，计算所述第二图像与所述基准目标对象的相似度包括：

从所述第二图像中获取所述第一基准目标对象的类型对应的对象和所述第二基准目标对象的类型对应的对象，作为第二对象和第三对象；

分别计算所述第二对象与所述第一基准目标对象的相似度和所述第三对象和所述第二基准目标对象的相似度；以及

通过所述第二对象与所述第一基准目标对象的相似度和所述第三对象和所述第二基准目标对象的相似度确定所述第二图像与所述基准目标对象的相似度。

10.一种图像搜索装置，其特征在于，包括：

第一接收单元，用于接收外部输入的查询图像；

第一获取单元，用于从所述查询图像中获取基准目标对象；

第二接收单元，用于接收外部输入的潜在目标对象的类型；

第二获取单元，用于根据所述基准目标对象和所述潜在目标对象的类型从预设图像库中获取所述潜在目标对象，得到潜在目标对象集；

计算单元，包括：分类模块，用于对所述潜在目标对象集中的潜在目标对象进行分类，得到多个类别的潜在目标对象；第一计算模块，用于分别计算所述多个类别的潜在目标对象与所述基准目标对象的关联程度；以及

显示单元，包括：显示模块，用于按照所述多个类别的潜在目标对象与所述基准目标对象的关联程度的高低顺序显示所述多个类别的潜在目标对象。

11.根据权利要求10所述的装置，其特征在于，所述第二获取单元包括：

第一获取模块，用于从所述预设图像库获取第一图像集，其中，所述第一图像集中的每一张图像均包含所述基准目标对象的类型对应的对象和所述潜在目标对象的类型对应的对象；

第二计算模块，用于分别计算所述第一图像集中每一张图像与所述基准目标对象的相似度；

第二获取模块，用于取与所述基准目标对象的相似度大于第一预设阈值的图像作为第二图像集；以及

第三获取模块，用于从所述第二图像集中获取对应于所述潜在目标对象的类型的所有对象并作为所述潜在目标对象，得到所述潜在目标对象集。

12.根据权利要求11所述的装置，其特征在于，所述第一图像集包括第一图像，所述第二计算模块包括：

第一获取子模块，用于从所述第一图像获取所述基准目标对象的类型对应的对象，作为第一对象；

第一计算子模块，用于计算所述第一对象与所述基准目标对象的相似度；以及

第一确定子模块，用于通过所述第一对象与所述基准目标对象的相似度确定所述第一图像与所述基准目标对象的相似度。

13.根据权利要求11所述的装置，其特征在于，所述基准目标对象包括第一基准目标对象和第二基准目标对象，所述第一图像集包括第二图像，所述第二计算模块包括：

第二获取子模块，用于从所述第二图像中获取所述第一基准目标对象的类型对应的对象和所述第二基准目标对象的类型对应的对象，作为第二对象和第三对象；

第二获取子模块，用于分别计算所述第二对象与所述第一基准目标对象的相似度和所述第三对象和所述第二基准目标对象的相似度；以及

第二确定子模块，用于通过所述第二对象与所述第一基准目标对象的相似度和所述第三对象和所述第二基准目标对象的相似度确定所述第二图像与所述基准目标对象的相似度。

Images