CN110083732B - 图片检索方法、装置及计算机存储介质 - Google Patents

Abstract

本申请公开了一种图片检索方法、图片检索装置及计算机存储介质，方法用于从多个待检索图片中检索与目标图片相关的待检索图片，包括：以多个检索图片和目标图片为一图片集，计算图片集中各个图片与其他图片之间的图片差异度；基于图片差异度确定各个图片的扩展邻近图片集，并对扩展邻近图片集中的图片进行排序；计算目标图片的扩展邻近图片集与各个待检索图片的扩展邻近图片集之间的图片集差异度，将图片集差异度作为目标图片与待检索图片之间的扩展差异度；基于扩展差异度确定与目标图片相关的待检索图片。本申请的方法可高效准确的实现图片检索。

Description

图片检索方法、装置及计算机存储介质

技术领域

本申请涉及图片检索领域，特别是涉及一种图片检索方法、图片检索装置及计算机存储介质。

背景技术

图片检索涉及到从海量图片中找到与目标图片类似的图片，其主要应用于行人重识别，例如在安防监控领域，随着监控摄像头布置的增多，大量的行人图片数据被保存，如何高效准确的从大量的图片中找到目标，成为当前研究的挑战。

如今深度学习、重排序方法等均被应用到图片检索领域，但依旧存在计算复杂，且计算过程中信息丢失严重等问题，继而造成无法准确高效的实现图片检索。

发明内容

本申请提供一种图片检索方法、图片检索装置及计算机存储介质，以解决现有技术中无法实现准确高效的图片检索的问题。

为解决上述技术问题，本申请提供一种图片检索方法，用于从多个待检索图片中检索与目标图片相关的待检索图片，包括：以多个待检索图片和目标图片作为一图片集，计算图片集中各个图片与其他图片之间的图片差异度；基于图片差异度确定各个图片的扩展邻近图片集，并对扩展邻近图片集中的图片进行排序；计算目标图片的扩展邻近图片集与各个待检索图片的扩展邻近图片集之间的图片集差异度，将图片集差异度作为目标图片与待检索图片之间的扩展差异度；基于扩展差异度确定与目标图片相关的待检索图片。

为解决上述技术问题，本申请提供一种图片检索装置，包括处理器和存储器，存储器中存储有计算机程序，处理器用于执行计算机程序以实现上述图片检索方法的步骤。

为解决上述技术问题，本申请提供一种计算机存储介质，其中存储有计算机程序，计算机程序被执行时实现上述图片检索方法的步骤。

本申请图片检索方法用于从待检索图片中检索与目标图片相关的待检索图片，该方法包括以多个待检索图片和目标图片作为一个图片集，计算图片集中各个图片与其他图片之间的图片差异度，基于图片差异度确定各个图片的扩展邻近图片集，将扩展邻近图片集之间的图片集差异度作为各个图片之间的扩展差异度；基于此，重新计算待检索图片与目标图片之间的扩展差异度，并根据扩展差异度来确定与目标图片相关的待检索图片。本申请方法中不再单一的考虑图片之间的差异度，而是对图片进行扩展，形成图片集进行差异度的计算，从而提高图片检索的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请图片检索方法一实施例的流程示意图；

图2是本申请图片检索方法另一实施例的流程示意图；

图3是本申请图片检索装置一实施例的结构示意图；

图4是本申请计算机存储介质一实施例的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本申请所提供的一种图片检索方法、图片检索装置及计算机存储介质做进一步详细描述。

图片检索方法用于从多个待检索图片中检索与目标图片相关的待检索图片，可应用于行人重识别。在图片检索方法中，通过比较待检索图片与目标图片的差异度来找到与目标图片类似的待检索图片。由于单个图片比较时容易出现信息缺失等问题，导致差异度不够准确；因此本实施例中不再简单的比较两张图片之间的差异度，而是将图片扩展到图片集，通过比较两图片集之间的差异度来确定与目标图片类似的待检索图片，以提高检索准确性。

具体请参阅图1，图1是本申请图片检索方法一实施例的流程示意图，本实施例图片检索方法包括以下步骤。

S101：以多个待检索图片与目标图片作为一图片集，计算图片集中各个图片与其他图片之间的图片差异度。

图片检索即需要从多个待检索图片中找到与目标图片类似的，因而在检索时需要对多个待检索图片及目标图片进行处理，本实施例需要对图片进行扩展到图片集，即将与该图片类似的图片作为一图片集，该扩展过程需要获知该该图片与其他图片之间的图片差异度，因而本步骤中计算各个图片与其他图片之间的图片差异度，即计算每两图片之间的图片差异度。

S102：基于图片差异度确定各个图片的扩展邻近图片集，并对扩展邻近图片集中的图片进行排序。

如前所述，根据图片差异度来确定各个图片的扩展邻近图片集，将与该图片类似的图片均集合在一个图片集中，其中所基于的该图片可认为是扩展邻近图片集的中心图片。在该图片集中的图片有一定的排序位置，可根据与该图片的相似程度来排序，即差异度越小的排的越靠前。

S103：计算目标图片的扩展邻近图片集与各个待检索图片的扩展邻近图片集之间的图片集差异度，将图片集差异度作为目标图片与待检索图片之间的扩展差异度。

对每个图片都进行扩展后，即可开始计算各个图片集之间的差异度，图片集差异度的求解可采用多种方式，例如可先根据图片集中所有图片的特征向量来计算图片集的总特征向量，然后根据图片集的总特征向量来计算各个图片集之间的图片集差异度。还可计算两图片集的中心图片与另一图片集的差异度，然后对差异度进行加权平均，从而获得图片集差异度。具体求解方式可根据实际情况确定。

由于本实施例中需要找到与目标图片类似的待检索图片，因此本步骤只需计算目标图片的扩展邻近图片集与各个待检索图片的扩展邻近图片集之间的扩展差异度即可，将算得的图片集差异度作为目标图片与待检索图片之间的扩展差异度。

S104：基于扩展差异度确定与目标图片相关的待检索图片。

最后基于该扩展差异度即可确定与目标图片相关的待检索图片，例如扩展差异度最小的待检索图片及与目标图片最相关的。还可基于该扩展差异度再对目标图片进行扩展，同样对其他图片也进行扩展，再次通过上述步骤利用扩展的图片集来重复迭代计算差异度，从而提高准确性。

本实施例中基于图片之间的差异度将图片扩展到图片集，并计算各个图片集之间的差异度，以作为各个图片之间的扩展差异度，通过扩展的方式来提高差异度判断的准确性。

基于图1所示的实施例，本申请进一步提出更具体的方案，请参阅图2，图2是本申请图片检索方法另一实施例的流程示意图。本实施例图片检索方法包括以下步骤。

S201：利用预先训练的卷积神经网络获取图片集中每个图片的特征向量。

本实施例中通过各个图片的特征向量来计算图片之间的差异度，因此首先在步骤S201中通过预先训练的卷积神经网络来获取每个图片的特征向量。

具体来说，本实施例的卷积神经网络中，在倒数第二层和分类层(最后一层)之间引入一个哈希编码层，从而获得哈希特征向量，通过引入哈希编码层可以将高维度的浮点特征实现量化编码，从而降低存储空间的消耗。且为了保证编码过程中信息损失最小，该哈希编码层输出的特征维数与倒数第二层输出的维数相同。

进一步的，在哈希编码层之后，还引入二值化函数，例如sigmoid函数，以将输出限制在0,1；其中，当输出大于等于0.5时，将该值扩展为1；当输出小于0.5时，将该值压缩为0。最终实现将高纬度的浮点特征向量压缩为0或1的二值化哈希编码特征向量。

S202：根据特征向量，计算各个图片与其他图片之间的图片差异度。

在获取特征向量后，即可根据特征向量来计算各个图片与其他图片之间的图片差异度，图片差异度可通过汉明距离欧式距离，余弦距离等来表示，本实施例中采用汉明距离，以提高检索速度。

为更便于理解，以下通过案例来描述。目标图片q，待检索图片gi，i＝1～N，N为待检索图片的数目。

步骤S201中获取目标图片q的哈希特征向量H_q，以及待检索图片的哈希特征向量H_gi。

本步骤S202中计算目标图片q与待检索图片gi之间的图片差异度(汉明距离)，并可同时根据汉明距离对待检索图片gi进行排序，如下：

d_init＝[d_q,g1,d_q,g2,d_q,g3,……,d_q,gN]

其中，d_q,gi表示目标图片q与第i个待检索图片gi的汉明距离。

对于其他图片之间的图片差异度也采用同样的方式来求解，基于所求得的图片差异度，即可采用以下步骤S203-S2056进行图片集的扩展。

S203：选择与各个图片之间图片差异度最小的前第一数量个其他图片，作为各个图片的第一邻近图片集。

S204：选择与各个图片之间图片差异度最小的前第二数量个其他图片，作为各个图片的第二邻近图片集。

S205：计算各个图片的第一邻近图片集中每个图片的第二邻近图片集；将各个图片的第一邻近图片集，以及第一邻近图片集中每个图片的第二邻近图片集的集合作为扩展邻近图片集。

上述步骤可同时进行，并没有先后顺序的限制，对于本实施例来说，需要对每个图片都进行扩展以获得其扩展邻近图片集，以目标图片的扩展为例。

首先通过步骤S203来确定目标图片的第一邻近图片集，即将与目标图片差异度最小的前第一数量m个待检索图片作为第一邻近图片集，具体可根据步骤S202中的排序结果，来选择与目标图片最近的m个待检索图片，可记为：

E(q,m)＝{g1,g2,g3,…,gm}

然后通过步骤S204来确定第一邻近图片集中每个图片的第二邻近图片集，即选择与各待检索图片差异度最小的前第二数量k个作为第二邻近图片集，同样根据步骤S202中的排序结果，来选择与各待检索图片最近的k个其他图片。

以公式的方式描述，即计算E(q,m)中每个元素与其他图片的汉明距离，并选择距离其最近的k个图片，记为E(gi,k)。

最后将各个图片的第一邻近图片集，以及第一邻近图片集中每个图片的第二邻近图片集的集合作为扩展邻近图片集。即最终得到的扩展邻近图片集为：

N(q,t)＝{E(q,m),E(g1,k),E(g2,k),…,E(gm,k)}

其中，t＝m+m×k，并且，N(q,t)中图片的排序也体现了与目标图片的相关程度。

同样的过程，计算得到每个待检索图片的扩展邻近图片集：N(gi,t)。

确定每个图片的扩展邻近图片集后，本实施例中通过以下步骤S206-S208对图片集差异度进行求解。

S206：以待检索图片的扩展邻近图片集中每个图片的排序位置确定权值，对目标图片与待检索图片的扩展邻近图片集中每个图片的差异度进行加权平均，求得目标图片差异度。

S207：以目标图片的扩展邻近图片集中每个图片的排序位置确定权值，对待检索图片与目标图片的扩展邻近图片集中每个图片的差异度进行加权平均，求得检索图片差异度。

S208：计算目标图片差异度和检索图片差异度的均值，以作为图片集差异度，将图片集差异度作为目标图片与待检索图片之间的扩展差异度。

为便于理解，通过以下扩展差异度的公式来对上述步骤进行说明：

其中，qE_j表示N(q,t)中第j个元素，d(qE_j,gi)表示N(q,t)中第j个元素与gi的汉明距离，r_i，j表示gi与其它图片计算汉明距离并排序后元素qE_j所排的位置。giE_j表示N(gi,t)中第j个元素，d[giE_j,q]表示N(gi,t)中第j个元素与q的汉明距离，r_q,j表示q与其它图片计算汉明距离并排序后元素giE_j所排的位置。

上述步骤中以排序位置来确定权值，排序位置表示了相关程度，即本实施例中在考虑干扰线的同时，引入不同的权重来平衡干扰项的影响，提高了方法的稳定性。

S209：基于扩展差异度确定与目标图片相关的待检索图片。

基于扩展差异度即可确定与目标图片最相关的几个待检索图片，还可确定相关度排序，继而实现图片检索。

在实际应用中，步骤S209完成后即可向用户返回检索结果。本实施例中，由于采用了加权平均的策略，因此本实施例中所设置的参数m，k对于相关度排序结果影响较小。即方法的稳定性较好，对于参数的依赖较小，能够得到较为精确的结果。

此外，若目标图片和待检索图片均存在类别标签时，则可进一步的进行精度判断。

类别标签标识图片的类别信息，例如猫咪图片的类别标签为猫，男性图片的类别标签为男性，根据该类别标签可以对检索结果进行评价。例如若排序靠前的待检索图片与目标图片的类别相同，则算得的检索精度较高，若类别不同，则算得的检索精度较低。

计算得到检索精度后，与前一次检索精度进行比较，若检索精度升高，则继续重复上述步骤进行迭代；若检索精度不再变化，则停止迭代。重复迭代即以上次的扩展差异度的排序来重新确定本次各个图片的扩展邻近图片集，然后再计算本次的扩展差异度。通过不断的迭代，以提高检索精度。

上述图片检索方法一般由图片检索装置实现，因而本申请还提出一种图片检索装置。请参阅图3，图3是本申请图片检索装置一实施例的结构示意图。本实施例图片检索装置100包括处理器11和存储器12；存储器12中存储有计算机程序，处理器11用于执行计算机程序以实现如上述图片检索方法的步骤。

上述图片检索方法的逻辑过程以计算机程序呈现，在计算机程序方面，若其作为独立的软件产品销售或使用时，其可存储在计算机存储介质中，因而本申请提出一种计算机存储介质。请参阅图4，图4是本申请计算机存储介质一实施例的结构示意图，本实施例计算机存储介质200中存储有计算机程序21，计算机程序被处理器执行时实现上述配网方法或控制方法。

该计算机存储介质200具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机程序的介质，或者也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。该计算机存储介质200从物理实体上来看，可以为多个实体的组合，例如多个服务器、服务器加存储器、或存储器加移动硬盘等多种组合方式。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种图片检索方法，其特征在于，所述方法用于从多个待检索图片中检索与目标图片相关的待检索图片，包括：

以所述多个待检索图片和所述目标图片为一图片集，计算所述图片集中各个图片与其他图片之间的图片差异度；

基于所述图片差异度确定各个图片的扩展邻近图片集，并对所述扩展邻近图片集中的图片进行排序；

计算所述目标图片的扩展邻近图片集与各个待检索图片的扩展邻近图片集之间的图片集差异度，将所述图片集差异度作为所述目标图片与所述待检索图片之间的扩展差异度；

基于所述扩展差异度确定与所述目标图片相关的待检索图片；

其中，计算所述目标图片的扩展邻近图片集与各个待检索图片的扩展邻近图片集之间的图片集差异度，包括：计算所述目标图片与所述待检索图片的扩展邻近图片集的目标图片差异度；计算所述待检索图片与所述目标图片的扩展邻近图片集的检索图片差异度；计算所述目标图片差异度和所述检索图片差异度的均值，作为所述图片集差异度。

2.根据权利要求1所述的方法，其特征在于，所述计算所述图片集中各个图片与其他图片之间的图片差异度，包括：

利用预先训练的卷积神经网络获取所述图片集中每个图片的特征向量；

根据所述特征向量，计算各个图片与其他图片之间的图片差异度。

3.根据权利要求2所述的方法，其特征在于，所述利用预先训练的卷积神经网络获取所述图片集中每个图片的特征向量，包括：

利用预先训练的卷积神经网络中的哈希编码层获取所述图片集中每个图片的哈希特征向量。

4.根据权利要求1所述的方法，其特征在于，所述基于所述图片差异度确定各个图片的扩展邻近图片集，包括：

选择与所述各个图片之间图片差异度最小的前第一数量个其他图片，作为所述各个图片的第一邻近图片集；

以所述第一邻近图片集确定所述扩展邻近图片集。

5.根据权利要求4所述的方法，其特征在于，所述基于所述图片差异度确定各个图片的扩展邻近图片集，进一步包括：

选择与所述各个图片之间图片差异度最小的前第二数量个其他图片，作为所述各个图片的第二邻近图片集；

计算所述各个图片的第一邻近图片集中每个图片的第二邻近图片集；

将各个图片的第一邻近图片集，以及所述第一邻近图片集中每个图片的第二邻近图片集的集合作为所述扩展邻近图片集。

6.根据权利要求1所述的方法，其特征在于，所述计算所述目标图片与所述待检索图片的扩展邻近图片集的目标图片差异度，包括：

以所述待检索图片的扩展邻近图片集中每个图片的排序位置确定权值，对所述目标图片与所述待检索图片的扩展邻近图片集中每个图片的差异度进行加权平均，求得所述目标图片差异度；

所述计算所述待检索图片与所述目标图片的扩展邻近图片集的检索图片差异度，包括：

以所述目标图片的扩展邻近图片集中每个图片的排序位置确定权值，对所述待检索图片与所述目标图片的扩展邻近图片集中每个图片的差异度进行加权平均，求得所述检索图片差异度。

7.根据权利要求1所述的方法，其特征在于，所述图片检索方法进一步包括：

比对分析所述目标图片的类别以及所确定的与所述目标图片相关的待检索图片的类别，以计算检索精度；

重复所述图片检索方法中的步骤：基于扩展差异度确定各个图片的扩展邻近图片集；计算目标图片与待检索图片之间的扩展差异度；确定与目标图片相关的待检索图片；计算检索精度；

直至所述检索精度不再升高。

8.一种图片检索装置，其特征在于，所述图片检索装置包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-7中任一项所述方法的步骤。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1-7中任一项所述方法的步骤。

Images