CN113407751A - 一种图像检索结果重排序方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种图像检索结果重排序方法、装置、设备及介质，方法包括：根据检索目标，确定原排序结果；根据所述原排序结果，确定直接相似图像集合；根据所述直接相似图像集合，确定间接相似图像集合；根据所述间接相似图像集合，确定所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，其中，所述初始距离为根据所述间接相似图像集合与所述检索目标的欧几里得距离之和求平均得到的距离；根据所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，确定排序结果。本发明实现了有效利用原排序结果中的分布信息，快速提高了检索系统的精度以及稳定性，能广泛运用于图像检索技术领域。

Description

一种图像检索结果重排序方法、装置、设备及介质

技术领域

本发明涉及图像检索技术领域，尤其是一种图像检索结果重排序方法、装置、设备及介质。

背景技术

随着大数据时代的到来，如何从海量数据中检索到目标成为亟待解决的关键问题。近几年，深度学习技术飞速发展，在检索任务上，如：行人重识别(person re-identification)和车辆重识别(vehicle re-identification)，深度卷积网络的检索性能水平已经接近人类平均水平甚至有所超越。现在比较常用的图像检索方法为通过直接比较检索目标和数据库图像的欧几里得距离得出排序结果，这种排序方法称为原排序。在原排序中，相似度度量方法单一，仅用欧几里得距离，而且未利用数据库图像之间的关联信息。使用数据库图像之间的关联信息作为一种度量方法补充到相似度计算中已经成为了一种新的方向。在原排序的基础上，充分利用其他已有信息，对原排序结果进行重新排序便是重排序。

现在比较常用的重排序算法是k-连通编码(k-reciprocal encoding)。该算法的大致流程分为下面五步：1.求出检索目标的相似图像集合，2.分别求出相似图像集合中每一张图像的相似图像集合，3.逐一计算两集合的杰卡德距离，4.将各张图像对应的杰卡德距离和欧几里得距离相加，5.用相加后的距离进行排序。这种算法的逻辑运算较多，导致其运行时间比较长，难以部署到生产环境中，目前多使用在学术研究上。

发明内容

有鉴于此，本发明实施例提供一种图像检索结果重排序方法、装置、设备及介质。

一方面，本发明提供了一种图像检索结果重排序方法，包括：

根据检索目标，确定原排序结果；

根据所述原排序结果，确定直接相似图像集合；

根据所述直接相似图像集合，确定间接相似图像集合；

根据所述间接相似图像集合，确定所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离；

根据所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，确定排序结果。

可选地，所述根据检索目标，确定原排序结果，包括：

通过图像检索方法，确定原排序结果。

可选地，所述根据所述原排序结果，确定直接相似图像集合，包括：

提取所述原排序结果中与所述检索目标的欧几里得距离最小的图像，确定直接相似图像集合。

可选地，所述根据所述直接相似图像集合，确定间接相似图像集合，包括：

根据所述直接相似图像集合，提取与所述直接相似图像集合相似的图像，确定所述间接相似图像集合。

可选地，所述根据所述间接相似图像集合，确定所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，其中，所述初始距离为根据所述间接相似图像集合与所述检索目标的欧几里得距离之和求平均得到的距离，包括：

计算所述间接相似图像与所述检索目标的欧几里得距离，根据初始距离计算公式得到所述直接相似图像与所述检索目标的初始距离。

所述初始距离的计算公式为：

其中，d_i表示k₁张直接相似图像中第i张图像的初始距离，e_j表示k₂张间接相似图像中第j张图像与检索目标的欧几里得距离，k₁为直接相似图像集合的数量，k₂为间接相似图像集合的数量。

可选地，所述根据所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，确定排序结果，包括：

根据所述直接相似图像与检索目标的欧几里得距离以及初始距离结合重排序，得到目标距离；

根据目标距离对所述直接相似图像集合进行排序；

所述重排序的计算公式为：

final_disti＝λ×e_i+(1-λ)×d_i,i＝1,2,...,k₁；

其中，final_disti表示k₁张直接相似图像中第i张图像的目标距离，e_i表示k₁张直接相似图像中第i张图像的与检索目标的欧几里得距离，λ表示权重，d_i表示k₁张直接相似图像中第i张图像的初始距离，k₁为直接相似图像集合的数量，k₂为间接相似图像集合的数量。

另一方面，本发明实施例还公开了一种图像检索结果重排序装置，包括以下模块：

检索模块，用于根据检索目标，确定原排序结果；

第一提取模块，用于根据所述原排序结果，确定直接相似图像集合；

第二提取模块，用于根据所述直接相似图像集合，确定间接相似图像集合；

计算模块，用于根据所述间接相似图像集合，确定所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离；

排序模块，用于根据所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，确定排序结果。

另一方面，本发明实施例还公开了一种电子设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如前面所述的方法。

另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行如前面所述的方法。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明实施例根据检索目标，确定原排序结果；根据所述原排序结果，确定直接相似图像集合；根据所述直接相似图像集合，确定间接相似图像集合；有效地利用了原排序中的分布信息，大大地减少了逻辑运算过程。另外，本发明实施例根据所述间接相似图像集合，确定所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离；根据所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，确定排序结果；对原排序结果做出了修正，提高了系统的稳定性和准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的具体流程图；

图2为根据检索目标得到的直接相似图像；

图3为根据直接相似图像得到的间接相似图像。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明实施例通过提供一种图像检索结果重排序方法、装置、设备及介质，实现了对检索系统精度和稳定性的快速提高。

本发明实施例提供了一种图像检索结果重排序方法，包括：

根据检索目标，确定原排序结果；

根据原排序结果，确定直接相似图像集合；

根据直接相似图像集合，确定间接相似图像集合；

根据间接相似图像集合，确定直接相似图像集合中每一张直接相似图像与检索目标的初始距离；

根据直接相似图像集合中每一张直接相似图像与检索目标的初始距离，确定排序结果。

进一步作为优选的实施方式，根据检索目标，确定原排序结果，包括：

通过图像检索方法，确定原排序结果。

其中，图像检索方法基于特征匹配技术，使用深度卷积网络提取图像的特征向量，使用已有的特征提取函数生成图像的特征，使用机器学习模型对图像的特征分类，确定图像的特征向量；将数据库中与检索目标相似度最高的图像作为结果返回，其中相似度为两个图像的特征向量之间的欧几里得距离。根据结果返回，将返回的图像根据相似度从大到小进行排序，得到原排序结果。

进一步作为优选的实施方式，根据原排序结果，确定直接相似图像集合，包括：

提取原排序结果中与检索目标的欧几里得距离最小的图像，确定直接相似图像集合。

参照图2，图2为根据检索目标得到的直接相似图像；其中，根据原排序的结果进行重排序，从原排序结果中提取前k₁张图像，k₁表示参与重排序的图像数；当k₁越大时，表示参与重排序的图像数越多，会增大计算负担且大部分为无用计算；当k₁越小时，参与重排序的图像数越少，无法对匹配结果进行重排序；当k₁为1时，算法无意义。经实验表明，k₁取20时，算法效果好且通用性强。

进一步作为优选的实施方式，根据直接相似图像集合，确定间接相似图像集合，包括：

根据所述直接相似图像集合，提取与所述直接相似图像集合相似的图像，确定所述间接相似图像集合。

参照图3，图3为根据直接相似图像得到的间接相似图像；其中，根据提取到的k₁张直接相似图像，再根据欧几里得距离从数据库中搜索出与每一张直接相似图像特征向量的欧几里得距离最小的k₂张间接相似图像；k₂表示间接相似图像的图像数，当k₂越大时，参与运算的图像数越多，会降低匹配结果的距离权重，且增大计算负担；当k₂越小时，初始距离的偶然性越大，初始距离为根据间接相似图像集合与检索目标的欧几里得距离之和求平均得到的距离；当k₂等于1时，算法无意义；经实验表明，k₂取17时，算法效果好且通用性强。

进一步作为优选的实施方式，根据间接相似图像集合，确定直接相似图像集合中每一张直接相似图像与检索目标的初始距离，初始距离为根据间接相似图像集合与检索目标的欧几里得距离之和求平均得到的距离，包括：

计算间接相似图像与检索目标的欧几里得距离，根据初始距离计算公式得到直接相似图像与检索目标的初始距离。

初始距离的计算公式为：

公式中，d_i表示k₁张直接相似图像中第i张图像的初始距离，e_j表示k₂张间接相似图像中第j张图像与检索目标的欧几里得距离，k₁为直接相似图像集合的数量，k₂为间接相似图像集合的数量。

其中，根据基于特征匹配技术的图像检索方法，可以得出每一张直接相似图像对应的间接图像集合，然后计算每一张间接图像与检索目标的欧几里得距离，把间接图像与检索目标的欧几里得距离相加求平均，得到每一张直接相似图像与检索目标的初始距离。

进一步作为优选的实施方式，根据直接相似图像集合中每一张直接相似图像与检索目标的初始距离，确定排序结果，包括：

根据直接相似图像与检索目标的欧几里得距离以及初始距离结合重排序，得到目标距离；

根据目标距离对直接相似图像集合进行排序；

重排序的计算公式为：

final_disti＝λ×e_i+(1-λ)×d_i,i＝1,2,...,k₁；

公式中，final_disti表示k₁张直接相似图像中第i张图像的目标距离，e_i表示k₁张直接相似图像中第i张图像的与检索目标的欧几里得距离，λ表示权重，d_i表示k₁张直接相似图像中第i张图像的初始距离，k₁为直接相似图像集合的数量，k₂为间接相似图像集合的数量。

其中，在原排序中已经计算了直接相似图像与检索目标的特征向量的欧几里得距离；设置权重值λ，将直接相似图像与检索目标的欧几里得距离乘以权重，将1减去权重再与直接相似图像与检索目标的初始距离相乘，然后把计算结果相加得到直接相似图像与检索目标的目标距离，即目标距离；最后将目标距离进行排序得到重排序的结果；经过实验数据表明，λ取0.2时，算法效果好且通用性强。

下面结合图1进一步说明本发明实施例的具体算法流程：使用深度卷积层网络提取检索目标的特征向量，将数据库中所有图像的特征向量与检索目标的特征向量进行欧几里得距离计算，将计算结果按照欧几里得距离大小进行排序，将结果返回；根据原排序返回的结果，从中提取出最相似的k₁张直接相似图像；根据直接相似图像，从数据库中提取出与直接相似图像欧几里得距离最近的k₂张间接相似图像；计算间接相似图像与检索目标的欧几里得距离之和求平均得到初始距离；根据初始距离和原排序中直接相似图像与检索目标的欧几里得距离分别乘以不同的权重后相加，得到目标距离；根据目标距离进行排序，得到重排序结果。

本发明实施例还公开了一种图像检索结果重排序装置，包括以下模块：

检索模块，用于根据检索目标，确定原排序结果；

第一提取模块，用于根据原排序结果，确定直接相似图像集合；

第二提取模块，用于根据直接相似图像集合，确定间接相似图像集合；

计算模块，用于根据间接相似图像集合，确定直接相似图像集合中每一张直接相似图像与检索目标的初始距离；其中，初始距离为根据间接相似图像集合与检索目标的欧几里得距离之和求平均得到的距离；

排序模块，用于根据直接相似图像集合中每一张直接相似图像与检索目标的初始距离，确定排序结果。

与图1的方法相对应，本发明实施例还提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如前面所述的方法。

与图1的方法相对应，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

现有技术中，直接比较检索目标和数据库图像相似度的排序方法只使用了欧几里得距离，相似度度量的方法比较单一，而且并没有利用数据库图像之间的关联信息；在原排序的基础上对原排序结果进行重新排序为重排序，现在比较常用的重排序算法为K-连通编码，但是该算法的逻辑运算较多，导致其运行时间比较长，难以部署到生产环境中，目前多运用在学术研究上。

综上所述，本发明一种图像检索结果重排序方法、装置、设备及介质具有以下优点：

(1)本发明实施例对原排序结果进行重排序，在一定程度上提高了检索的准确率。

(2)本发明实施例有效利用了原排序结果中的分布信息，提高了检索系统的稳定性。

(3)本发明实施例只计算了欧几里得距离，减少了大量的逻辑运算，快速提高了检索系统的精度。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种图像检索结果重排序方法，其特征在于，包括：

根据检索目标，确定原排序结果；

根据所述原排序结果，确定直接相似图像集合；

根据所述直接相似图像集合，确定间接相似图像集合；

根据所述间接相似图像集合，确定所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，其中，所述初始距离为根据所述间接相似图像集合与所述检索目标的欧几里得距离之和求平均得到的距离；

根据所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，确定排序结果。

2.根据权利要求1所述的一种图像检索结果重排序方法，其特征在于，所述根据检索目标，确定原排序结果，包括：

通过图像检索方法，确定原排序结果。

3.根据权利要求1所述的一种图像检索结果重排序方法，其特征在于，所述根据所述原排序结果，确定直接相似图像集合，包括：

提取所述原排序结果中与所述检索目标的欧几里得距离最小的图像，确定直接相似图像集合。

4.根据权利要求1所述的一种图像检索结果重排序方法，其特征在于，所述根据所述直接相似图像集合，确定间接相似图像集合，包括：

根据所述直接相似图像集合，提取与所述直接相似图像集合相似的图像，确定所述间接相似图像集合。

5.根据权利要求1所述的一种图像检索结果重排序方法，其特征在于，所述根据所述间接相似图像集合，确定所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离；所述初始距离为根据所述间接相似图像集合与所述检索目标的欧几里得距离之和求平均得到的距离，包括：

计算所述间接相似图像与所述检索目标的欧几里得距离，根据初始距离计算公式得到所述直接相似图像与所述检索目标的初始距离；

所述初始距离的计算公式为：

其中，d_i表示k₁张直接相似图像中第i张图像的初始距离，e_j表示k₂张间接相似图像中第j张图像与检索目标的欧几里得距离，k₁为直接相似图像集合的数量，k₂为间接相似图像集合的数量。

6.根据权利要求1所述的一种图像检索结果重排序方法，其特征在于，所述根据所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，确定排序结果，包括：

根据所述直接相似图像与检索目标的欧几里得距离以及初始距离结合重排序，得到目标距离；所述目标距离为根据所述初始距离进行权重计算得到的距离；

根据目标距离对所述直接相似图像集合进行排序；

所述重排序的计算公式为：

final_disti＝λ×e_i+(1-λ)×d_i，i＝1，2，...，k₁；

其中，final_disti表示k₁张直接相似图像中第i张图像的目标距离，e_i表示k₁张直接相似图像中第i张图像的与检索目标的欧几里得距离，λ表示权重，d_i表示k₁张直接相似图像中第i张图像的初始距离，k₁为直接相似图像集合的数量，k₂为间接相似图像集合的数量。

7.一种图像检索结果重排序装置，其特征在于，包括以下模块：

检索模块，用于根据检索目标，确定原排序结果；

第一提取模块，用于根据所述原排序结果，确定直接相似图像集合；

第二提取模块，用于根据所述直接相似图像集合，确定间接相似图像集合；

计算模块，用于根据所述间接相似图像集合，确定所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，其中，所述初始距离为根据所述间接相似图像集合与所述检索目标的欧几里得距离之和求平均得到的距离；

排序模块，用于根据所述直接相似图像集合中每一张直接相似图像与所述检索目标的初始距离，确定排序结果。

8.一种电子设备，其特征在于，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。

Images