CN110750661B - 检索图像的方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本公开是关于一种检索图像的方法、装置、计算机设备和存储介质，属于图像检索技术领域。所述方法包括：获取待检索图像；确定待检索图像在获取的多个样本图像中对应的初始样本图像；获取预先存储的与各样本图像分别相关联的样本图像的标识、以及预先存储的各样本图像和分别相关联的样本图像之间的关联度；基于初始样本图像、与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，对待检索图像进行检索处理。采用本公开，可以简化检索处理的过程，减少检索处理的计算量。

Description

检索图像的方法、装置、计算机设备和存储介质

技术领域

本公开是关于图像检索技术领域，尤其是关于一种检索图像的方法、装置、计算机设备和存储介质。

背景技术

可以基于数据库中预先存储的大量的样本图像，对给定的图像进行检索处理。检索处理除了包括在数据库中检索和给定的图像最为相似的图像之外，还包括检索给定的两个图像之间的最短路径等处理。例如，可以基于数据库检索给定的图像A和图像B之间的最短路径。

具体首先对于图像A，需要确定图像A分别和数据库中的各样本图像之间的相似度，确定相似度最高的预设数目个样本图像，分别将各样本图像设置为和图像A相关联的图像，这样，可以认为图像A就分别和这些相关联的图像之间存在一条路径。相应地对于图像B，需要确定图像B分别和数据库中的各样本图像之间的相似度，确定相似度最高的预设数目个样本图像，分别将各样本图像设置为和图像B相关联的图像，这样，可以认为图像B就分别和这些相关联的图像之间存在一条路径。接着需要逐个获取数据库中的各样本图像，每当获取出一个样本图像时，需要确定当前获取出的样本图像分别和数据库中其他样本图像之间的相似度，确定相似度最高的预设数目个其他样本图像，分别将各其他样本图像设置为和当前获取出的样本图像相关联的图像，这样，可以认为当前获取出的样本图像就分别和这些相关联的图像之间存在一条路径。

通过上述处理，能够确定出图像A和样本图像之间、不同的样本图像之间、以及图像B和样本图像之间的全部路径，继而可以基于全部路径，检索图像A和图像B之间的最短路径。

在实现本公开的过程中，发明人发现至少存在以下问题：

基于数据库对给定的图像进行检索处理的过程较为复杂，计算量大。

发明内容

为了克服相关技术中存在的问题，本公开提供了以下技术方案：

根据本公开实施例的第一方面，提供一种检索图像的方法，所述方法包括：

获取待检索图像；

确定所述待检索图像在获取的多个样本图像中对应的初始样本图像；

获取预先存储的与各样本图像分别相关联的样本图像的标识、以及预先存储的所述各样本图像和分别相关联的样本图像之间的关联度；

基于所述初始样本图像、与所述各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度，对所述待检索图像进行检索处理。

通过本公开实施例提供的方法，可以预先存储与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，在对待检索图像进行检索处理时，可以利用与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，直接对待检索图像进行检索处理。这样可以简化检索处理的过程，减少检索处理的计算量。

在一种可能的实现方式中，在获取与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度之前，所述方法包括：

获取各样本图像分别对应的多个维度的图像特征值；

基于所述各样本图像分别对应的多个维度的图像特征值，确定与所述各样本图像分别相关联的样本图像。

可以通过预设特征提取算法，提取各样本图像分别对应的多个维度的图像特征值。预设特征提取算法可以包括但不限于HSV(Hue、Saturation、Value，空间色彩矩)算法、HU(一种形状矩)算法、Tamura(Tamura提出的纹理算法)算法等。在一种应用场景中，可以结合HSV、HU、Tamura 3种算法，提取一个样本图像的19种类型的图像特征值，每种类型的图像特征值可以作为1个维度的图像特征值，这样一个样本图像可以对应有19个维度的图像特征值。在实际应用中，可以根据实际需求选择特征提取算法，也可以适当增加或者减少图像特征值的维度数目，对此本公开实施例不作限定。

在一种可能的实现方式中，所述基于所述各样本图像分别对应的多个维度的图像特征值，确定与所述各样本图像分别相关联的样本图像，包括：

对于每个样本图像的图像特征值的每个维度，确定所述样本图像的所述维度的图像特征值和其他的样本图像的所述维度的图像特征值之间的距离，基于确定出的距离，确定在所述维度上所述样本图像和所述其他的样本图像之间的关联度；

对于每个样本图像，如果在任一维度上所述样本图像和任一其他的样本图像之间的关联度大于预设阈值，则确定所述任一其他的样本图像为与所述样本图像相关联的样本图像。

在一种可能的实现方式中，所述基于确定出的距离，确定在所述维度上所述样本图像和所述其他的样本图像之间的关联度，包括：

按照确定出的距离由小到大的顺序对所述其他的样本图像进行排序；

逐个获取所述其他的样本图像，每当获取一个其他的样本图像时，确定当前获取的其他的样本图像相对于所述样本图像的第一排序位置，并确定所述样本图像相对于所述当前获取的其他的样本图像的第二排序位置，基于所述第一排序位置和所述第二排序位置，确定在所述维度上所述样本图像和所述当前获取的其他的样本图像之间的关联度。

对于每个样本图像的图像特征值的每个维度，可以确定出每个样本图像的每个维度的图像特征值分别和其他的样本图像的对应维度的图像特征值之间的距离。在确定出上述距离之后，可以选定一个维度，确定选定的维度上样本图像和其他的样本图像的图像特征值之间的距离，按照确定出的距离由小到大的顺序对其他的样本图像进行排序。

在一种可能的实现方式中，在获取与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度之前，所述方法还包括：

当检测到对与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度的修改指令时，确定所述修改指令对应的待修改样本图像；

确定与所述待修改样本图像相关联的样本图像的标识；

基于与所述待修改样本图像相关联的样本图像的标识，对与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度进行修改处理。

通过上述处理方式，可以构建关联图结构模型，在构建完毕关联图结构模型之后，还可以对构建完毕的关联图结构模型进行修改。修改处理可以包括添加新的样本图像以及删除已有的样本图像。

在一种可能的实现方式中，所述基于所述初始样本图像、与所述各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度，对所述待检索图像进行检索处理，包括：

获取所述待检索图像相应的样本图像检索数目和样本图像检索总关联度；

在与所述各样本图像分别相关联的样本图像的标识中，获取与所述初始样本图像相关联的样本图像的标识；

如果获取到的标识的数目大于或者等于所述样本图像检索数目，则在与所述初始样本图像相关联的样本图像中，确定与所述初始样本图像的关联度的总和大于或者等于所述样本图像检索总关联度的所述样本图像检索数目个检索样本图像。

在构建完毕关联图结构模型之后，可以根据需求任意使用构建完毕的关联图结构模型。

根据本公开实施例的第二方面，提供了一种检索图像的装置，该装置包括至少一个模块，该至少一个模块用于实现上述本公开实施例的第一方面所提供的检索图像的方法。

根据本公开实施例的第三方面，提供了一种计算机设备，该计算机设备包括处理器、收发器和存储器，处理器被配置为执行存储器中存储的指令；处理器通过执行指令来实现上述本公开实施例的第一方面所提供的检索图像的方法。

根据本公开实施例的第四方面，提供了计算机可读存储介质，包括指令，当所述计算机可读存储介质在计算机设备上运行时，使得所述计算机设备执行上述本公开实施例的第一方面所提供的检索图像的方法。

根据本公开实施例的第五方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得所述计算机设备执行上述本公开实施例的第一方面所提供的检索图像的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

通过本公开实施例提供的方法，可以预先存储与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，在对待检索图像进行检索处理时，可以利用与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，直接对待检索图像进行检索处理。这样可以简化检索处理的过程，减少检索处理的计算量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。在附图中：

图1是根据一示例性实施例示出的一种检索图像的方法的流程示意图；

图2是根据一示例性实施例示出的一种应用场景的示意图；

图3是根据一示例性实施例示出的一种关联图结构模型的构建方法的流程示意图；

图4是根据一示例性实施例示出的一种构建关联图结构模型的方法的流程示意图；

图5是根据一示例性实施例示出的一种确定边属性的示意图；

图6是根据一示例性实施例示出的一种构建关联图结构模型的方法的流程示意图；

图7是根据一示例性实施例示出的一种添加新的样本图像的方法的流程示意图；

图8是根据一示例性实施例示出的一种删除已有的样本图像的方法的流程示意图；

图9是根据一示例性实施例示出的一种构建结果的示意图；

图10是根据一示例性实施例示出的一种实验集结果平均值的示意图；

图11是根据一示例性实施例示出的一种检索效果的示意图；

图12是根据一示例性实施例示出的一种检索图像的装置的结构示意图；

图13是根据一示例性实施例示出的一种计算机设备的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开一示例性实施例提供了一种检索图像的方法，如图1所示，该方法的处理流程可以包括如下的步骤：

步骤S101，获取待检索图像。

在实施中，本公开实施例提供的方法可以在计算机设备中实现。用户可以向计算机设备上传一个待检索图像，计算机设备可以获取到该待检索图像。需要说明的是，待检索图像可以是单个图像，也可以是从一段视频中提取的一个视频帧等。

步骤S102，确定述待检索图像在获取的多个样本图像中对应的初始样本图像。

在实施中，在计算机设备中可以预先建立一个数据库，在数据库中可以存储有大量的样本图像和每个样本图像的结构信息。例如，可以从benchmark(基准点)图片库的COREL中选取由十类主题构成的1000张图像作为样本图像。通过样本图像和每个样本图像的结构信息，可以将大量的样本图像组建成一个有组织、结构化的关联图结构模型。在关联图结构模型中，每个样本图像都和关联图结构模型中的其他的样本图像之间存在一定联系，当在关联图结构模型中确定一个初始样本图像之后，可以寻着该初始样本图像找到与之相关联的其他的样本图像。

当计算机设备获取到用户输入的待检索图像之后，可以计算待检索图像分别与每个样本图像之间的相似度，在所有样本图像中确定相似度最高的或者相似度较高的初始样本图像，作为初始近邻点。例如，可以通过KD树(k-dimensional tree，k维树)，获取似度较高的初始样本图像。该初始样本图像存在与之相关联的其他的样本图像。

步骤S103，获取预先存储的与各样本图像分别相关联的样本图像的标识、以及预先存储的各样本图像和分别相关联的样本图像之间的关联度。

在实施中，可以通过样本图像和每个样本图像的结构信息，将大量的样本图像组建成一个有组织、结构化的关联图结构模型，其中，结构信息可以包括与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度。在关联图结构模型中，可以将每个样本图像作为模型中的一个顶点，每个顶点之间可以存在一条“边”。如果两个顶点之间存在一条边，则表示该两个顶点所代表的样本图像是相关联的。此外，两个顶点之间的边还具有边属性，边属性可以表示边相连接的两个顶点所代表的样本图像之间的关联度。

可以预先确定与各样本图像分别相关联的样本图像，将各样本图像和分别相关联的样本图像的标识对应进行存储，同时还可以确定各样本图像和分别相关联的样本图像之间的关联度，将各样本图像和和分别相关联的样本图像之间的关联度对应进行存储。这样在需要对待检索图像进行检索处理时，可以直接获取与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度。

步骤S104，基于初始样本图像、与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，对待检索图像进行检索处理。

在实施中，可以通过与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，将大量的样本图像组建成一个有组织、结构化的关联图结构模型。在关联图结构模型中，每个样本图像都和关联图结构模型中的其他的样本图像之间存在一定联系，当在关联图结构模型中确定一个初始样本图像之后，可以寻着该初始样本图像找到与之相关联的其他的样本图像。

在对待检索图像进行检索处理的过程中，可以将和待检索图像相似度最高的初始样本图像作为在关联图结构模型中的初始近邻点，基于初始近邻点，对待检索图像进行检索处理。

本公开实施提供的方法的应用场景可见图2所示。本公开实施提供的关联图结构模型的构建方法的流程可以参见图3所示。

下面将介绍与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度的确定方式，在确定与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度之后，可以将其和样本图像对应进行存储。

可选地，在获取与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度之前，本公开实施例提供的方法可以包括：获取各样本图像分别对应的多个维度的图像特征值；基于各样本图像分别对应的多个维度的图像特征值，确定与各样本图像分别相关联的样本图像。

在实施中，可以通过预设特征提取算法，提取各样本图像分别对应的多个维度的图像特征值。预设特征提取算法可以包括但不限于HSV(Hue、Saturation、Value，空间色彩矩)算法、HU(一种形状矩)算法、Tamura(Tamura提出的纹理算法)算法等。在一种应用场景中，可以结合HSV、HU、Tamura 3种算法，提取一个样本图像的19种类型的图像特征值，每种类型的图像特征值可以作为1个维度的图像特征值，这样一个样本图像可以对应有19个维度的图像特征值。在实际应用中，可以根据实际需求选择特征提取算法，也可以适当增加或者减少图像特征值的维度数目，对此本公开实施例不作限定。

在通过预设特征提取算法提取各样本图像分别对应的多个维度的图像特征值之后，可以基于各样本图像分别对应的多个维度的图像特征值，确定与各样本图像分别相关联的样本图像。

可选地，基于各样本图像分别对应的多个维度的图像特征值，确定与各样本图像分别相关联的样本图像的步骤可以包括：对于每个样本图像的图像特征值的每个维度，确定样本图像的该维度的图像特征值和其他的样本图像的该维度的图像特征值之间的距离，基于确定出的距离，确定在该维度上样本图像和其他的样本图像之间的关联度；对于每个样本图像，如果在任一维度上样本图像和任一其他的样本图像之间的关联度大于预设阈值，则确定任一其他的样本图像为与样本图像相关联的样本图像。

其中，其他的样本图像为数据库中除当前的样本图像之外的样本图像。

在实施中，一个样本图像可以对应有多个维度的图像特征值，每个维度的图像特征值代表了该样本图像某种类型上的特征，相同维度上的图像特征值较为具有可比性。例如，一号样本图像对应有3个维度的图像特征值，包括A维度、B维度、C维度的图像特征值。以A维度为例进行说明，对于一号样本图像的图像特征值的A维度，可以确定一号样本图像的A维度的图像特征值和其他的样本图像(如二号样本图像)的A维度的图像特征值之间的距离。可以确定它们之间的欧式距离、余弦距离、曼哈顿距离、闵氏(Minkowski)距离等。在确定出一号样本图像的A维度的图像特征值和其他的样本图像的A维度的图像特征值之间的距离之后，可以基于确定出的距离，确定在A维度上一号样本图像和其他的样本图像之间的关联度，关联度可以记为NN_m(·)。一号样本图像对应有A维度、B维度、C维度的图像特征值，可以基于上述确定在A维度上一号样本图像和其他的样本图像之间的关联度的相同的方式，确定在B维度上一号样本图像和其他的样本图像之间的关联度、以及在C维度上一号样本图像和其他的样本图像之间的关联度，最后得到分别在A维度、B维度、C维度上一号样本图像和其他的样本图像之间的关联度。上述关联度可以记为：

其中，c_ij表示顶点序号为i对应的样本图像和顶点序号为j对应的样本图像之间的关联度，NN_m(·)为两个样本图像之间在第m个维度上的关联度，M为总维度的数目。

接上例，一号样本图像和其他的样本图像之间在A维度、B维度、C维度上的关联度可能是小于0、等于0或者大于0的值，如果一号样本图像和其他的样本图像之间在任一X维度上的关联度小于0，则可以将一号样本图像和其他的样本图像之间在X维度上的关联度设置为0，这样一号样本图像和其他的样本图像之间在A维度、B维度、C维度上的关联度可能是等于0或者大于0的值。如果一号样本图像和其他的样本图像(如二号样本图像)之间在任一Y维度上的关联度大于0，则可以确定一号样本图像和二号样本图像是相关联的两个样本图像，它们之间存在一条边。如果一号样本图像和其他的样本图像(如二号样本图像)之间在所有维度上的关联度都等于0，则可以确定一号样本图像和二号样本图像不是相关联的两个样本图像，它们之间没有边。需要说明的是，两个样本图像之间只能存在一条边。

基于上述方式，可以确定与每个样本图像相关联的其他的样本图像，样本图像和与该样本图像相关联的其他的样本图像之间存在一条边。

可选地，基于确定出的距离，确定在该维度上样本图像和其他的样本图像之间的关联度的步骤可以包括：按照确定出的距离由小到大的顺序对其他的样本图像进行排序；逐个获取其他的样本图像，每当获取一个其他的样本图像时，确定当前获取的其他的样本图像相对于样本图像的第一排序位置，并确定样本图像相对于当前获取的其他的样本图像的第二排序位置，基于第一排序位置和第二排序位置，确定在该维度上样本图像和当前获取的其他的样本图像之间的关联度。

在实施中，对于每个样本图像的图像特征值的每个维度，可以确定出每个样本图像的每个维度的图像特征值分别和其他的样本图像的对应维度的图像特征值之间的距离。在确定出上述距离之后，可以选定一个维度，确定选定的维度上样本图像和其他的样本图像的图像特征值之间的距离，按照确定出的距离由小到大的顺序对其他的样本图像进行排序。例如，一号样本图像对应有3个维度的图像特征值，包括A维度、B维度、C维度的图像特征值。以选定A维度为例进行说明，可以确定在A维度上，一号样本图像和二号样本图像的图像特征值之间的距离为10、一号样本图像和三号样本图像的图像特征值之间的距离为5、一号样本图像和四号样本图像的图像特征值之间的距离为9，则按照确定出的距离由小到大的顺序对二号样本图像、三号样本图像、四号样本图像进行排序，得到的顺序序列为三号样本图像、四号样本图像、二号样本图像。

对于一个选定的维度，在按照确定出的距离由小到大的顺序对其他的样本图像进行排序之后，可以得到由其他的样本图像组成的顺序序列，排序靠前的其他的样本图像为和样本图像之间在该维度上相似度较高的图像，排序靠后的其他的样本图像为和样本图像之间在该维度上相似度较低的图像。

按照上述排序，从排序靠前到排序靠后的顺序逐个获取顺序序列中的其他的样本图像。每当获取顺序序列中的一个其他的样本图像时，确定当前获取的其他的样本图像相对于样本图像的第一排序位置。例如，一号样本图像对应的顺序序列为三号样本图像、四号样本图像、二号样本图像，四号样本图像相对于一号样本图像的第一排序位置为2。接着，可以按照相同的方式，确定样本图像相对于当前获取的其他的样本图像的第二排序位置。例如，四号样本图像对应的顺序序列为三号样本图像、二号样本图像、一号样本图像，一号样本图像相对于四号样本图像的第二排序位置为3。

最后可以基于第一排序位置和第二排序位置，确定在该维度上样本图像和当前获取的其他的样本图像之间的关联度。确定预设数目tk_m减去第一排序位置得到的第一差值，确定预设数目tk_m减去第二排序位置得到的第二差值，将第一差值和第二差值的和值，确定为在该维度上样本图像和当前获取的其他的样本图像之间的关联度，可以记为NN_m(·)，NN_m(·)的值大于或者等于0。其中，对于tk_m，如果维度不同，则tk_m的取值可能不同，且tk_m的取值和数据库中样本图像的总数目、K近邻中的近邻参数k相关，具体可以是和数据库中样本图像的总数目、K近邻中的近邻参数k成正比。

在一种应用场景中，可以将关联图结构模型记为G＝<V,E>，G＝<V,E>是一个无向图结构，其中的每个顶点v_i表示一个样本图像I_i，顶点v_i的属性可以用f表示，f指向样本图像I_i对应的由多个维度的图像特征值构成的特征集合F_i。两个顶点v_i和v_j之间最多存在一条无向边记为e_ij，v_i和v_j之间的边e_ij对应的边属性记为c_ij。可以使用三元组(i,j,c_ij)表示一条边和对应的边属性。

可以获取样本图像I_i对应的特征集合F_i，从特征集合F_i中获取样本图像I_i对应的多个维度的图像特征值，基于样本图像I_i对应的多个维度的图像特征值，确定k个近邻样本图像。

在计算两个顶点v_i和v_j之间的边e_ij在第m维度上对应的边属性NN_m(·)的过程中，可以选定一个维度，对于选定的维度，确定v_j相对于v_i的第一排序位置如4，确定v_i相对于v_j的第二排序位置如3，假设tk_m的取值为5，则NN_m(·)＝(th_m-4)+(th_m-3)＝3。

可以对样本图像I_i对应的特征集合F_i中的每个维度的图像特征值，进行归一化处理，并计算归一化后的方差，按照方差由大到小的顺序进行排序，排序靠前的方差对应的维度表示其重要性比较高，因此可以将重要性比较高的维度放在前面，把重要性比较低的维度放在后面。例如，顶点v_i和v_j分别对应有m维度、n维度、p维度的图像特征值，按照重要性排序依次为m维度、n维度、p维度，进而顶点v_i和v_j之间的边e_ij对应的边属性c_ij＝Combine(NN_m(·),NN_n(·),NN_p(·))。可以通过二进制位组合的方式对NN_m(·),NN_n(·),NN_p(·)进行处理，得到最终的边属性c_ij。Combine(·)为数学运算符号。

如图4所示，是构建关联图结构模型的方法的流程示意图。首先，可以导入视频图像等非结构化数据的特征值，并以之作为顶点。接着，计算各个顶点不同特征值的近邻关系，并将tk_m个近邻关系保存到顶点数据中。随后，计算各个顶点的互关联关系，并根据互关联关系生成顶点间的边。最后，将图模型保存到图数据库中。

如图5所示，

为k_m＝3,k_m'＝4,tk_m＝5，有

为k_n＝8,k_n'＝5,tk_n＝6，有

为k_p＝1,k_p'＝1,tk_p＝5，有

分别3、0、8表示为二进制，则有0011、0000、1000，将0011、0000、1000进行组合，则有001100001000，将001100001000转换为十进制，则得到776。所以最终v_i和v_j之间的边e_ij对应的边属性c_ij可以表示为776。

在上述构建关联图结构模型的过程中，主要的计算过程在于近邻求取和边属性计算两个过程，为了加快计算速度，可以将近邻求取拆分到多个运算单元、运算节点中执行，接着可以将结果进行聚合，再将聚合后的结果分配到多个运算单元、运算节点进行边属性的组合。

关联图结构模型仅代表逻辑上的组件划分，并不对物理实现做出约束。在物理实现时，两个组件可以实现于不同的程序、运行于不同的进程，也可以实现于相同的程序、运行于相同的进程，并可以各自以分布式方式实现。

如图6所示，是构建关联图结构模型的方法的流程示意图。在图6中，可以将样本图像I_i映射到顶点v_i，将顶点v_i和其他顶点放入顶点集合V中。将样本图像I_i对应的特征集合F_i映射到{v_i,f}中。样本图像I_i对应的特征集合F_i共包括M个维度的图像特征值，任一维度可以记为m，当m＝1时，可以根据i分配不同运算单元。例如，在并行运算单元1至S的每个运算单元中，计算顶点v_i的近邻顶点。接着，将并行运算的结果进行聚合，得到最终结果，根据最终结果对v_i的顶点属性进行更新。判断当前m是否大于M，如果不是则将m加1，转至执行根据i分配不同运算单元及其之后的步骤，如果是则根据i分配不同运算单元，在并行运算单元1至S的每个运算单元中，计算顶点v_i对应的边属性，得到三元组。将三元组放入集合E中。最后，可以根据集合E，映射出G＝<V,E>。

通过上述处理方式，可以构建关联图结构模型，在构建完毕关联图结构模型之后，还可以对构建完毕的关联图结构模型进行修改。可选地，在获取与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度之前，本公开实施例提供的方法还可以包括：当检测到对与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度的修改指令时，确定修改指令对应的待修改样本图像；确定与待修改样本图像相关联的样本图像的标识；基于与待修改样本图像相关联的样本图像的标识，对与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度进行修改处理。

在实施中，修改处理可以包括添加新的样本图像以及删除已有的样本图像。

在添加新的样本图像的过程中，可以确定与新的样本图像相关联的样本图像。在构建完毕的关联图结构模型中插入添加新的样本图像对应的顶点，重新确定与新的样本图像相关联的各样本图像相连接的边和这些边的边属性。如果有变化，则将变化的边或者边属性进行更新。最后可以将与新的样本图像相关联的各样本图像之间的边和这些边的边属性添加到构建完毕的关联图结构模型中。如图7所示，添加新的样本图像的过程可以包括：首先，确定新顶点的特征值，并以之作为顶点。接着，计算新顶点和各个顶点的近邻关系，并将tk_m个近邻关系保存到新顶点属性中。随后，计算各个关联顶点的互关联关系，更新顶点属性和边属性。最后，将图模型保存到图数据库中。

在删除已有的样本图像的过程中，可以确定与待删除的样本图像相关联的样本图像。重新确定与待删除的样本图像相关联的各样本图像相连接的边和这些边的边属性。如果有变化，则将变化的边或者边属性进行更新。最后可以在构建完毕的关联图结构模型中删除已有的样本图像对应的顶点。如图8所示，删除已有的样本图像的过程可以包括：首先从图中删除已知顶点。接着，计算各个关联顶点的互关联关系，更新顶点属性和边属性。最后，将图模型保存到图数据库中。

在构建完毕关联图结构模型之后，可以根据需求任意使用构建完毕的关联图结构模型。在本公开实施例中，可选地，基于初始样本图像、与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，对待检索图像进行检索处理的步骤可以包括：获取待检索图像相应的样本图像检索数目和样本图像检索总关联度；在与各样本图像分别相关联的样本图像的标识中，获取与初始样本图像相关联的样本图像的标识；如果获取到的标识的数目大于或者等于样本图像检索数目，则在与初始样本图像相关联的样本图像中，确定与初始样本图像的关联度的总和大于或者等于样本图像检索总关联度的样本图像检索数目个检索样本图像。

在实施中，计算机设备可以获取用户输入的待检索图像、待检索图像相应的样本图像检索数目和样本图像检索总关联度。例如，用户输入了待检索图像，待检索图像相应的样本图像检索数目为10，样本图像检索总关联度为20。可以在关联图结构模型包括的各顶点中，找到与待检索图像之间的相似度最高的一个顶点作为初始近邻点，接着，可以获取与初始近邻点相关联的多个其他近邻点。如果多个其他近邻点的数目大于或者等于10，则在多个其他近邻点中，确定与初始近邻点的关联度的总和大于或者等于20的至少一个其他近邻点。

还可以基于关联图结构模型，对两个待检索图像进行最短距离计算处理。可以依次确定待检索图像A和B对应的初始近邻点A'和B'，在关联图结构模型中，查找A'和B'之间的最短距离，基于A'和B'之间的最短距离，确定待检索图像A和B之间的最短距离。

在实际应用中，例如对benchmark(基准点)图片库的COREL中选取的1000个样本图像进行关联图结构模型的构建，构建结果可以见图9所示。同时，对其中随机20个样本图像进行其同类图像对应顶点在图结构模型中的分布统计，特征关联门限为th₁＝25、th₂＝30、th₃＝20，实验集结果平均值如图10所示。

图10中分别显示了距离测试顶点的路长(即到测试点的跳数)l_cur＝1到l_cur＝5的顶点数比、Recall(查全率)和Precision(查准率)。其中，顶点数比＝当前路长的顶点数÷所有顶点数，Recall＝当前路长的同类顶点数÷总的同类顶点数，Precision＝当前路长的同类顶点数÷当前路长的顶点数。从图10中可以看出，距离测试顶点的关联顶点数随着路长的增加而增加，到达4跳以后，由于总的顶点数目有限而下降，其中第1、2跳仅占总的顶点数目的12％左右，但却分别包括了所有同类别图像24％和53％，第1跳所有顶点中同类图像的比例高达88％，第2跳为45％。由此，通过关联图结构模型，能够很好地把内容具有相似性的同类图像进行关联，使得在距查询点较短的路长范围内即可得到绝大多数具有内容关联的图像。

参见图11可见，本公开实施例提供的方法的检索效果优于KNN(k-NearestNeighbor，k最邻近分类)算法的检索效果，随着查全率的提高，这一优势更加明显。这表明了，关联图结构模型更加易于获取图像特征值的查询距离较远但实际内容却存在关联性的图像。其主要原因是本公开实施例提供的方法在考虑关联性的同时考虑了图结构，将图结构作为相似性检索依据，从某种程度上模拟了结果集的流形分布。

通过本公开实施例提供的方法，可以预先存储与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，在对待检索图像进行检索处理时，可以利用与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，直接对待检索图像进行检索处理。这样可以简化检索处理的过程，减少检索处理的计算量。

本公开又一示例性实施例提供了一种检索图像的装置，如图12所示，该装置包括：

获取模块1201，用于获取待检索图像，具体可以实现上述步骤S101中的获取功能，以及其他隐含步骤；

确定模块1202，用于在获取的多个样本图像中，确定和所述待检索图像之间的相似度最高的初始样本图像，具体可以实现上述步骤S102中的确定功能，以及其他隐含步骤；

所述获取模块1201，用于获取与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度，具体可以实现上述步骤S103中的获取功能，以及其他隐含步骤；

检索模块1203，用于基于所述初始样本图像、与所述各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度，对所述待检索图像进行检索处理，具体可以实现上述步骤S104中的检索功能，以及其他隐含步骤。

可选地，所述获取模块1201，还用于获取各样本图像分别对应的多个维度的图像特征值；

所述确定模块1202，还用于基于所述各样本图像分别对应的多个维度的图像特征值，确定与所述各样本图像分别相关联的样本图像。

可选地，所述确定模块1202，用于：

对于每个样本图像的图像特征值的每个维度，确定所述样本图像的所述维度的图像特征值和其他的样本图像的所述维度的图像特征值之间的距离，基于确定出的距离，确定在所述维度上所述样本图像和所述其他的样本图像之间的关联度；

对于每个样本图像，如果在任一维度上所述样本图像和任一其他的样本图像之间的关联度大于预设阈值，则确定所述任一其他的样本图像为与所述样本图像相关联的样本图像。

可选地，所述确定模块1202，用于：

按照确定出的距离由小到大的顺序对所述其他的样本图像进行排序；

逐个获取所述其他的样本图像，每当获取一个其他的样本图像时，确定当前获取的其他的样本图像相对于所述样本图像的第一排序位置，并确定所述样本图像相对于所述当前获取的其他的样本图像的第二排序位置，基于所述第一排序位置和所述第二排序位置，确定在所述维度上所述样本图像和所述当前获取的其他的样本图像之间的关联度。

可选地，所述确定模块1202，还用于当检测到对与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度的修改指令时，确定所述修改指令对应的待修改样本图像；确定与所述待修改样本图像相关联的样本图像的标识；

所述装置还包括：

修改模块，用于基于与所述待修改样本图像相关联的样本图像的标识，对与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度进行修改处理。

可选地，所述检索模块1203，用于：

获取所述待检索图像相应的样本图像检索数目和样本图像检索总关联度；

在与所述各样本图像分别相关联的样本图像的标识中，获取与所述初始样本图像相关联的样本图像的标识；

如果获取到的标识的数目大于或者等于所述样本图像检索数目，则在与所述初始样本图像相关联的样本图像中，确定与所述初始样本图像的关联度的总和大于或者等于所述样本图像检索总关联度的所述样本图像检索数目个检索样本图像。

需要说明的是，上述获取模块1201、确定模块1202、检索模块1203可以由处理器实现，或者由处理器配合存储器、收发器等来实现。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

通过本公开实施例提供的装置，可以预先存储与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，在对待检索图像进行检索处理时，可以利用与各样本图像分别相关联的样本图像的标识、以及各样本图像和分别相关联的样本图像之间的关联度，直接对待检索图像进行检索处理。这样可以简化检索处理的过程，减少检索处理的计算量。

需要说明的是：上述实施例提供的检索图像的装置在检索图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的检索图像的装置与检索图像的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图13示出了本公开一个示例性实施例提供的计算机设备1900的结构示意图。该计算机设备1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)1910和一个或一个以上的存储器1920。其中，所述存储器1920中存储有至少一条指令，所述至少一条指令由所述处理器1910加载并执行以实现上述实施例所述的检索图像的方法。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (17)

1.一种检索图像的方法，其特征在于，所述方法包括：

获取待检索图像；

确定所述待检索图像在获取的多个样本图像中对应的初始样本图像；

获取预先存储的与各样本图像分别相关联的样本图像的标识、以及预先存储的所述各样本图像和分别相关联的样本图像之间的关联度，其中，两个样本图像之间的关联度是基于第一排序位置和第二排序位置确定的，所述两个样本图像包括第一样本图像和第二样本图像，所述第一排序位置是指，按照与所述第一样本图像的相似度对其他的样本图像进行排序后，所述第二样本图像的排序位置，所述第二排序位置是指，按照与所述第二样本图像的相似度对其他的样本图像进行排序后，所述第一样本图像的排序位置；

基于所述初始样本图像、与所述各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度，对所述待检索图像进行检索处理。

2.根据权利要求1所述的方法，其特征在于，在获取预先存储的与各样本图像分别相关联的样本图像的标识、以及预先存储的所述各样本图像和分别相关联的样本图像之间的关联度之前，所述方法包括：

获取每个样本图像分别对应的多个维度的图像特征值；

对于每个样本图像的图像特征值的每个维度，确定所述样本图像的所述维度的图像特征值和其他的样本图像的所述维度的图像特征值之间的距离，其中，所述距离用于表征相似度；

按照确定出的距离由小到大的顺序对所述其他的样本图像进行排序；

逐个获取所述其他的样本图像，每当获取一个其他的样本图像时，确定当前获取的其他的样本图像相对于所述样本图像的第一排序位置，并确定所述样本图像相对于所述当前获取的其他的样本图像的第二排序位置，基于所述第一排序位置和所述第二排序位置，确定在所述维度上所述样本图像和所述当前获取的其他的样本图像之间的关联度。

3.根据权利要求2所述的方法，其特征在于，所述确定在所述维度上所述样本图像和所述当前获取的其他的样本图像之间的关联度之后，所述方法还包括：

对于每个样本图像，如果在任一维度上所述样本图像和任一其他的样本图像之间的关联度大于预设阈值，则确定所述任一其他的样本图像为与所述样本图像相关联的样本图像。

4.根据权利要求1-3任一项所述的方法，其特征在于，在获取与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度之前，所述方法还包括：

当检测到对与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度的修改指令时，确定所述修改指令对应的待修改样本图像；

确定与所述待修改样本图像相关联的样本图像的标识；

基于与所述待修改样本图像相关联的样本图像的标识，对与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度进行修改处理。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述初始样本图像、与所述各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度，对所述待检索图像进行检索处理，包括：

获取所述待检索图像相应的样本图像检索数目和样本图像检索总关联度；

在与所述各样本图像分别相关联的样本图像的标识中，获取与所述初始样本图像相关联的样本图像的标识；

如果获取到的标识的数目大于或者等于所述样本图像检索数目，则在与所述初始样本图像相关联的样本图像中，确定与所述初始样本图像的关联度的总和大于或者等于所述样本图像检索总关联度的所述样本图像检索数目个检索样本图像。

6.一种检索图像的装置，其特征在于，所述装置包括：

获取模块，用于获取待检索图像；

确定模块，用于确定所述待检索图像在获取的多个样本图像中对应的初始样本图像；

所述获取模块，用于获取预先存储的与各样本图像分别相关联的样本图像的标识、以及预先存储的所述各样本图像和分别相关联的样本图像之间的关联度，其中，两个样本图像之间的关联度是基于第一排序位置和第二排序位置确定的，所述两个样本图像包括第一样本图像和第二样本图像，所述第一排序位置是指，按照与所述第一样本图像的相似度对其他的样本图像进行排序后，所述第二样本图像的排序位置，所述第二排序位置是指，按照与所述第二样本图像的相似度对其他的样本图像进行排序后，所述第一样本图像的排序位置；

检索模块，用于基于所述初始样本图像、与所述各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度，对所述待检索图像进行检索处理。

7.根据权利要求6所述的装置，其特征在于，所述获取模块，还用于获取每个样本图像分别对应的多个维度的图像特征值；

所述确定模块，还用于对于每个样本图像的图像特征值的每个维度，确定所述样本图像的所述维度的图像特征值和其他的样本图像的所述维度的图像特征值之间的距离，其中，所述距离用于表征相似度；

按照确定出的距离由小到大的顺序对所述其他的样本图像进行排序；

逐个获取所述其他的样本图像，每当获取一个其他的样本图像时，确定当前获取的其他的样本图像相对于所述样本图像的第一排序位置，并确定所述样本图像相对于所述当前获取的其他的样本图像的第二排序位置，基于所述第一排序位置和所述第二排序位置，确定在所述维度上所述样本图像和所述当前获取的其他的样本图像之间的关联度。

8.根据权利要求7所述的装置，其特征在于，所述确定模块，用于：

对于每个样本图像，如果在任一维度上所述样本图像和任一其他的样本图像之间的关联度大于预设阈值，则确定所述任一其他的样本图像为与所述样本图像相关联的样本图像。

9.根据权利要求6-8任一项所述的装置，其特征在于，所述确定模块，还用于当检测到对与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度的修改指令时，确定所述修改指令对应的待修改样本图像；确定与所述待修改样本图像相关联的样本图像的标识；

所述装置还包括：

修改模块，用于基于与所述待修改样本图像相关联的样本图像的标识，对与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度进行修改处理。

10.根据权利要求6-8任一项所述的装置，其特征在于，所述检索模块，用于：

获取所述待检索图像相应的样本图像检索数目和样本图像检索总关联度；

在与所述各样本图像分别相关联的样本图像的标识中，获取与所述初始样本图像相关联的样本图像的标识；

如果获取到的标识的数目大于或者等于所述样本图像检索数目，则在与所述初始样本图像相关联的样本图像中，确定与所述初始样本图像的关联度的总和大于或者等于所述样本图像检索总关联度的所述样本图像检索数目个检索样本图像。

11.一种计算机设备，其特征在于，所述计算机设备包括处理器、收发器和存储器，其中：

所述收发器，用于获取待检索图像；

所述处理器，用于确定所述待检索图像在获取的多个样本图像中对应的初始样本图像；

所述处理器，用于获取预先存储的所述存储器中存储的与各样本图像分别相关联的样本图像的标识、以及预先存储的所述各样本图像和分别相关联的样本图像之间的关联度，其中，两个样本图像之间的关联度是基于第一排序位置和第二排序位置确定的，所述两个样本图像包括第一样本图像和第二样本图像，所述第一排序位置是指，按照与所述第一样本图像的相似度对其他的样本图像进行排序后，所述第二样本图像的排序位置，所述第二排序位置是指，按照与所述第二样本图像的相似度对其他的样本图像进行排序后，所述第一样本图像的排序位置；

所述处理器，用于基于所述初始样本图像、与所述各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度，对所述待检索图像进行检索处理。

12.根据权利要求11所述的计算机设备，其特征在于，所述处理器，用于：

获取每个样本图像分别对应的多个维度的图像特征值；

对于每个样本图像的图像特征值的每个维度，确定所述样本图像的所述维度的图像特征值和其他的样本图像的所述维度的图像特征值之间的距离，其中，所述距离用于表征相似度；

按照确定出的距离由小到大的顺序对所述其他的样本图像进行排序；

逐个获取所述其他的样本图像，每当获取一个其他的样本图像时，确定当前获取的其他的样本图像相对于所述样本图像的第一排序位置，并确定所述样本图像相对于所述当前获取的其他的样本图像的第二排序位置，基于所述第一排序位置和所述第二排序位置，确定在所述维度上所述样本图像和所述当前获取的其他的样本图像之间的关联度。

13.根据权利要求12所述的计算机设备，其特征在于，所述处理器，用于：

对于每个样本图像，如果在任一维度上所述样本图像和任一其他的样本图像之间的关联度大于预设阈值，则确定所述任一其他的样本图像为与所述样本图像相关联的样本图像。

14.根据权利要求11-13任一项所述的计算机设备，其特征在于，所述处理器，用于：

当检测到对与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度的修改指令时，确定所述修改指令对应的待修改样本图像；

确定与所述待修改样本图像相关联的样本图像的标识；

基于与所述待修改样本图像相关联的样本图像的标识，对与各样本图像分别相关联的样本图像的标识、以及所述各样本图像和分别相关联的样本图像之间的关联度进行修改处理。

15.根据权利要求11-13任一项所述的计算机设备，其特征在于，所述处理器，用于：

获取所述待检索图像相应的样本图像检索数目和样本图像检索总关联度；

在与所述各样本图像分别相关联的样本图像的标识中，获取与所述初始样本图像相关联的样本图像的标识；

如果获取到的标识的数目大于或者等于所述样本图像检索数目，则在与所述初始样本图像相关联的样本图像中，确定与所述初始样本图像的关联度的总和大于或者等于所述样本图像检索总关联度的所述样本图像检索数目个检索样本图像。

16.一种计算机可读存储介质，其特征在于，包括指令，当所述计算机可读存储介质在计算机设备上运行时，使得所述计算机设备执行所述权利要求1-5中任一权利要求所述的方法。

17.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在计算机设备上运行时，使得所述计算机设备执行所述权利要求1-5中任一权利要求所述的方法。

Images