CN113239225A - 一种图像检索方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像检索方法、装置、设备及存储介质，应用于人工智能技术领域和金融科技技术领域，该方法包括：获取目标图像，所述目标图像不包括目标元素；提取所述目标图像的全局特征；利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合；采用区域检测方法获取所述目标图像的目标局部特征；根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合。采用本申请，可以提升图像检索精度。本申请涉及区块链技术，如可从区块链获取目标图像。

Description

一种图像检索方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及智能决策技术领域，尤其涉及一种图像检索方法、装置、设备及存储介质。

背景技术

基于深度学习的图像检索技术可以包括全局特征检索方法和局部特征检索方法。全局特征检索方法主要包括netvlad、RMAC和GEM等等，其通过提取图像的全局特征做检索，导致对一些背景遮挡严重和高度相似背景的背景场景检索精度不高。局部特征检索方法主要包括delf，其通过提取图像多个局部特征来做图像检索，其重点关注局部特征，对全局特征关注较少对一些具有局部相同区域图像容易出现错误。可见，这两种图像检索方法的图像检索精度都有待提升。

发明内容

本申请实施例提供了一种图像检索方法、装置、设备及存储介质，可以提升图像检索精度。

第一方面，本申请实施例提供了一种图像检索方法，包括：

获取目标图像，所述目标图像不包括目标元素；

提取所述目标图像的全局特征；

利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合；

采用区域检测方法获取所述目标图像的目标局部特征；

根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

可选的，所述利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合，包括：

获得图库中各张图像的全局特征；

根据所述目标图像的全局特征与所述图库中各张图像的全局特征，计算所述目标图像与所述图库中各张图像之间的相似度；

根据计算出的相似度，从所述图库中确定出与所述目标图像之间的相似度大于或等于第一预设值的至少一张图像；

构建包括所述至少一张图像的第一图像集合。

可选的，所述采用区域检测方法获取所述目标图像的目标局部特征，包括：

获取所述目标图像对应的特征图；

采用区域检测方法对所述目标图像进行区域检测，得到所述目标图像的目标区域；

确定所述目标区域在所述特征图中对应的局部特征；

将所述目标区域在所述特征图中对应的局部特征确定为所述目标图像的目标局部特征。

可选的，所述根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合，包括：

获得所述第一图像集合中各张图像的目标局部特征；

根据所述目标图像的目标局部特征与所述第一图像集合中各张图像的目标局部特征，计算所述目标图像与所述第一图像集合中各张图像之间的相似度；

根据计算出的相似度，从所述第一图像集合中确定出与所述目标图像之间的相似度大于或等于第二预设值的至少一张图像；

构建包括所述至少一张图像的第二图像集合。

可选的，所述根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合，包括：

利用预设的码本对所述目标图像的目标局部特征进行编码表示，得到所述目标图像的目标局部特征的编码；

利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

可选的，所述利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合，包括：

获得所述第一图像集合中各图像的目标局部特征的编码；

根据所述目标图像的目标局部特征的编码以及所述第一图像集合中各张图像的目标局部特征的编码，确定所述目标图像与所述第一图像集合中各张图像之间相同聚类中心特征的种类数或数量；

根据所述目标图像与所述第一图像集合中每张图像之间相同聚类中心特征的种类数或数量，从所述第一图像集合中筛选出第二图像集合。

可选的，所述利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合，包括：

获得所述第一图像集合中各张图像的目标局部特征的编码；

根据所述目标图像的目标局部特征的编码以及所述第一图像集合中各张图像的目标局部特征的编码，确定所述目标图像与所述第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码；

计算所述目标图像与所述第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码之间的相似度；

根据计算出的相似度，从所述第一图像集合中筛选出第二图像集合。

第二方面，本申请实施例提供了一种图像检索装置，包括：

获取模块，用于获取目标图像，所述目标图像不包括目标元素；

提取模块，用于提取所述目标图像的全局特征；

检索模块，用于利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合；

所述获取模块，还用于采用区域检测方法获取所述目标图像的目标局部特征；

所述检索模块，还用于根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

第三方面，本申请实施例提供了一种图像检索设备，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面所述的方法。

综上所述，图像检索设备可以获取目标图像，提取目标图像的全局特征；图像检索设备可以利用目标图像的全局特征进行第一次图像检索，得到第一图像集合，并采用区域检测方法获取目标图像的目标局部特征，从而根据目标图像的目标局部特征在第一图像集合中进行第二次图像检索，得到第二图像集合，相较于现有技术单独利用全局特征进行图像检索或单独使用局部特征进行图像检索的方式，本申请先基于全局特征进行图像的初筛，而后利用目标局部特征进行二次筛选的过程，能够有效地提升图像检索精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像检索方法的流程示意图；

图2是本申请实施例提供的另一种图像检索方法的流程示意图；

图3是本申请实施例提供的一种图像检索装置的结构示意图；

图4是本申请实施例提供的一种图像检索设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

请参阅图1，为本申请实施例提供的一种图像检索方法的流程示意图。该图像检索方法可以应用于图像检索设备，该图像检索设备可以为服务器或智能终端等可以实现图像检索功能的设备。具体地，该方法可以包括以下步骤：

S101、获取目标图像，所述目标图像不包括目标元素。

其中，目标元素可以为人体图像、某种动物图像或某种物体图像，等等。在一个实施例中，目标元素可以是遮挡了背景图像的图像。目标图像可以是背景图像。

在一个实施例中，图像检索设备可以获取目标设备采集的目标图像。其中，目标设备可以是具有摄像头的电子设备，或具有图像下载功能的电子设备。此处的电子设备例如可以为手机、笔记本电脑、台式电脑等智能终端。

在一个实施例中，图像检索设备可以获取第一图像，如目标设备采集的第一图像。图像检索设备可以当第一图像不包括目标元素时，将第一图像确定为目标图像。图像检索设备可以当第一图像包括目标元素时，对第一图像包括的目标元素进行抠图处理，得到抠图了的第一图像，以作为目标图像。对目标元素进行抠图处理，可以降低目标元素对图像检索准确度的影响。或，图像检索设备还可以当所述第一图像包括目标元素时，为第一图像包括的目标元素添加蒙板，得到添加了蒙版的第一图像以作为目标图像。为目标元素添加蒙版，可以降低目标元素对图像检索准确度的影响。

需要说明的是，本申请实施例除了采用抠图处理或添加蒙版的方式使得一张图像不包括目标元素之外，还可以采用其它图像处理方式使得一张图像不包括目标元素，在此不一一列举。

在一个实施例中，图像检索设备可以获取目标视频，并获取目标视频的连续多帧图像，根据多帧图像中的第二图像确定目标图像，第二图像为多帧图像中的任一帧图像。图像检索设备可以当第二图像不包括目标元素时，将第二图像确定为目标图像。图像检索设备可以当第二图像包括目标元素时，对第二图像包括的目标元素进行抠图处理，得到抠图了的第二图像以作为目标图像。其中，第二图像为多帧图像中包括目标元素的图像。或，图像检索设备可以当第二图像不包括目标元素时，为第二图像包括的目标元素添加蒙板，得到添加了蒙版的第二图像以作为目标图像。在一个实施例中，所述的多帧图像可以是指定时间范围内的连续多帧图像。

在一个实施例中，图像检索设备可以从数据库读取目标视频。

在一个实施例中，图像检索设备可以获取目标设备采集的目标视频。

在一个实施例中，目标视频可以为目标类别的视频。例如，在将本申请用于金融欺诈识别时，目标类别可以为理财、投资、股票、购物、借贷等金融相关的类别。此处，在其它应用场景下，目标类别也可以为其它类别，在此不做限制。

在一个实施例中，目标视频还可以是目标用户的视频。例如，在将本申请用于金融欺诈识别时，目标用户可以是有金融欺诈记录或被举报存在金融欺诈嫌疑的用户；或，目标用户还可以是监管用户名单中的用户。

S102、提取所述目标图像的全局特征。

本申请实施例中，图像检索设备可以通过图像特征提取模型提取目标图像的全局特征。

在一个实施例中，图像检索设备提取目标图像的全局特征的方式可以如下：图像检索设备将目标图像输入训练后的卷积神经网络，通过训练后的卷积神经网络对目标图像进行特征提取，得到目标图像对应的特征图，并对目标图像对应的特征图进行池化处理和/或全连接处理，得到目标图像的全局特征。其中，所指的卷积神经网络可以为resnet、vgg或mobilenet，等等。在一个实施例中，图像检索设备可以通过训练后的卷积神经网络的最后一层卷积层输出目标图像对应的特征图。

举例来说，若最后一层卷积层的卷积核的大小是1*7*7*512，图像检索设备可以将目标图像输入训练后的卷积神经网络，由训练后的卷积神经网络的最后一层卷积层处理后输出目标图像对应的特征图，包括49个512维的局部特征，并对目标图像的49个512维的局部特征进行池化处理或全连接处理，得到目标图像的全局特征。

在一个实施例中，特征提取的方式可以包括全卷积处理。其中，全卷积处理为通过多个卷积层以及多个池化层处理的过程。此处，多个池化层及多个卷积层之间的连接方式可以为：至少一个卷积层连接一个池化层，池化层后有接有至少一个卷积层，以此类推，直到连接至最后一层卷积层。

在一个实施例中，训练后的卷积神经网络可以通过如下方式获得：图像检索设备获取多张样本图像，样本图像不包括目标元素；图像检索设备利用多张样本图像构建训练集，训练集包括多个样本图像对，多个样本图像对包括第一样本图像对和第二样本图像对，第一样本图像对包括第一样本图像以及与第一样本图像背景相似的第二样本图像，第二样本图像对包括第一样本图像以及与第一样本图像背景不相似的第三样本图像；图像检索设备将训练集输入初始的卷积神经网络，以对初始的卷积神经网络进行训练，得到训练后的卷积神经网络。样本图像，可以为目标场景的样本图像，如金融欺诈场景的样本图像。其中，与第一样本图像之间相似度大于或等于预设相似度的样本图像可以为第二样本图像，与第一样本图像之间相似度小于预设相似度的图像可以为第三样本图像。

在一个实施例中，图像检索设备利用训练集训练初始的卷积神经网络模型，得到训练后的卷积神经网络模型的过程如下：利用训练集以及训练集中每个样本图像对携带的指示样本图像间是否相似的标签来训练初始的卷积神经网络模型，得到训练后的卷积神经网络模型。在一个实施例中，图像检索设备可以利用训练集以及训练集中每个样本图像对携带的指示样本图像间是否相似的标签，并结合度量学习的方法来训练初始的卷积神经网络模型，得到训练后的卷积神经网络模型。度量学习可以学习两张样本图像间的相似性。通过度量学习可以使得正例(相似背景的样本图像)之间的特征表示距离更近，让负例(背景不相似的样本图像)之间的特征表示距离更远。

S103、利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合。

本申请实施例中，图像检索设备可以利用目标图像的全局特征，采用快速最近邻检索方式从图库中检索出第一图像集合。采用该过程可以获得相似度排名靠前的少量全局相似的图像。其中，快速最近邻检索方式可以为哈希检索、二叉树检索，等等。图库可以包括多张不包括目标元素的图像。或，图库可以包括多张目标场景的背景图像，如金融欺诈场景的背景图像。在一个实施例中，训练集可以涵盖多个金融欺诈场景中每个金融欺诈场景的样本图像，图库可以包括多个金融场景中的至少一个金融欺诈场景的背景图像。

在一个实施例中，图像检索设备利用目标图像的全局特征进行第一次图像检索，得到第一图像集合的方式可以为：图像检索设备获得图库中各张图像的全局特征，并根据目标图像的全局特征与图库中各张图像的全局特征，计算目标图像与图库中各张图像之间的相似度；图像检索设备根据计算出的相似度，从图库中确定出与目标图像之间的相似度大于或等于第一预设值的至少一张图像，并构建包括至少一张图像的第一图像集合。采用上述过程，可以从图库中找到少量与待检索背景相似的图像。

在一个实施例中，图像检索设备在根据目标图像的全局特征与图库中各张图像的全局特征，计算目标图像与图库中各张图像之间的相似度时，图像检索设备可以计算目标图像的全局特征与图库中各张图像的全局特征之间的相似度，并根据目标图像的全局特征与图库中各张图像的全局特征确定目标图像与图库中各张图像之间的相似度。

在一个实施例中，若图库中各张图像已有全局特征(全局特征可以存于图库中，或存于数据库中，或存于图像检索设备)，则可以直接获取各张图像的全局特征，若各张图像还没有全局特征，则可以参见提取目标图像的全局特征的方式提取各张图像的全局特征。

S104、采用区域检测方法获取所述目标图像的目标局部特征。

本申请实施例中，图像检索设备可以获取目标图像对应的特征图，并采用区域检测算法，如MSER(Maximally Stable Extremal Regions)算法对目标图像进行区域检测，得到目标区域。之后，图像检测设备可以确定目标区域在特征图中对应的局部特征，并将目标区域在特征图中对应的局部特征确定为目标图像的目标局部特征。采用区域检测算法，可以剔除背景中没有可区分性的区域，如大量留白区域，如白墙。

在一个实施例中，图像检索设备在得到目标区域后，可以获取目标区域在目标图像中的位置信息，并获取目标图像的局部特征在目标图像中的位置信息，根据所述目标区域在目标图像中的位置信息以及目标图像的局部特征在目标图像的位置信息，确定目标区域在特征图中对应的目标局部特征，以作为目标图像的目标局部特征。该过程完成了对局部特征的筛选，保留了有区分性的局部特征，比如采用该过程可以从49个局部特征中筛出20个局部特征。

在一个实施例中，若图库中各张图像已有目标局部特征(目标局部特征可以存于图库中，或存于数据库中，或存于图像检索设备)，则可以直接获取各张图像的目标局部特征，若各张图像还没有目标局部特征，则可以参见获取目标图像的目标局部特征的方式获取各张图像的目标局部特征。

S105、根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

本申请实施例中，图像检索设备根据目标图像的目标局部特征在第一图像集合中进行第二次图像检索，得到第二图像集合的方式可以如下：图像检索设备获得第一图像集合中各张图像的目标局部特征，并根据目标图像的目标局部特征与第一图像集合中各张图像的目标局部特征，计算目标图像与第一图像集合中各张图像之间的相似度。之后，图像检索设备根据计算出的相似度，从第一图像集合中确定出与目标图像之间的相似度大于或等于第二预设值的至少一张图像，并构建包括至少一张图像的第二图像集合。

在一个实施例中，图像检索设备在根据目标图像的目标局部特征与第一图像集合中各张图像的目标局部特征，计算目标图像与第一图像集合中各张图像之间的相似度的过程中，图像检索设备可以计算目标图像的目标局部特征与第一图像集合中各张图像的目标局部特征之间的相似度，并根据目标图像的目标局部特征与第一图像集合中各张图像的目标局部特征之间的相似度，确定目标图像与第一图像集合中各张图像之间的相似度。

可见，图1所示的实施例中，图像检索设备可以获取目标图像，提取目标图像的全局特征；图像检索设备可以利用目标图像的全局特征进行第一次图像检索，得到第一图像集合，并采用区域检测方法获取目标图像的目标局部特征，从而根据目标图像的目标局部特征在第一图像集合中进行第二次图像检索，得到第二图像集合，采用该过程，能够提升图像检索精度。

请参阅图2，为本申请实施例提供的另一种图像检索方法的流程示意图。该方法可以应用于前述提及的图像检索设备。该方法可以包括以下步骤：

S201、获取目标图像，所述目标图像不包括目标元素。

S202、提取所述目标图像的全局特征。

S203、利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合。

S204、采用区域检测方法获取所述目标图像的目标局部特征。

其中，步骤S201-步骤S204可以参见图1实施例中的步骤S101-步骤S104，在此不做赘述。

S205、利用预设的码本对所述目标图像的目标局部特征进行编码表示，得到所述目标图像的目标局部特征的编码。

S206、利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

在步骤S205-步骤S206中，图像检索设备可以利用预设的码本对所述目标图像的目标局部特征进行编码表示，得到所述目标图像的目标局部特征的编码，并利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

其中，码本可以包括多个码字，每个码字对应一个聚类中心特征，每个码字对应的聚类中心特征不同。在一个实施例中，码本可以通过如下方式得到：图像检索设备采用聚类算法，如K-means算法对的大量不包括目标元素的图像进行聚类处理，得到多个聚类中心特征，并根据多个聚类中心特征构建码本。大量不包括目标元素的图像可以为大量目标场景的背景图像，如金融欺诈场景的背景图像。其中，聚类中心特征为聚类中心对应的特征。或，图像检索设备还可以采用聚类算法对前述提及的训练集进行聚类处理，得到多个聚类中心特征，并根据多个聚类中心特征构建码本。

其中，图像检索设备利用预设的码本对目标图像的目标局部特征进行编码表示，得到目标图像的目标局部特征的编码有如下两种：①从每个码字对应的聚类中心特征中确定出距离该目标局部特征最近的聚类中心特征；利用距离该目标图像的目标局部特征距离最近的聚类中心特征对应的码字，对该目标图像的目标局部特征进行编码表示，得到目标图像的目标局部特征的编码。②从每个码字对应的聚类中心特征中确定出距离目标图像的目标局部特征最近的聚类中心特征；计算该目标图像的目标局部特征与距离该目标图像的目标局部特征距离最近的聚类中心特征之间的距离值；利用该目标图像的目标局部特征与距离该目标图像的目标局部特征最近的聚类中心特征之间的距离值，对该目标图像的目标局部特征进行编码表示，得到该目标图像的目标局部特征的编码。

在一个实施例中，图像检索设备利用目标图像的目标局部特征的编码在第一图像集合中进行第二次图像检索，得到第二图像集合的方式可以为：图像检索设备获得第一图像集合中各图像的目标局部特征的编码，并根据目标图像的目标局部特征的编码以及第一图像集合中各张图像的目标局部特征的编码，确定目标图像与第一图像集合中各张图像之间相同聚类中心特征的种类数或数量，从而根据目标图像与第一图像集合中每张图像之间相同聚类中心特征的种类数或数量，从第一图像集合中筛选出第二图像集合。

在一个实施例中，图像检索设备在根据目标图像与第一图像集合中各张图像之间相同聚类中心特征的种类数，从第一图像集合中筛选出第二图像集合的过程中，可以根据目标图像与第一图像集合中各张图像之间相同聚类中心特征的种类数，确定目标图像与第一图像集合中各张图像之间的相似度，并根据确定出的相似度从第一图像集合中筛选出第二图像集合。在一个实施例中，图像检索设备根据目标图像与第一图像集合中各张图像之间相同聚类中心特征的种类数，确定目标图像与第一图像集合中各张图像之间的相似度的方式可以为：将目标图像与第一图像集合中各张图像之间相同聚类中心特征的种类数，确定为目标图像与第一图像集合中各张图像之间的相似度。

在一个实施例中，对应于前述第①种编码获取方式，图像检索设备可以根据目标图像的目标局部特征的编码以及第一图像集合中各张图像的目标局部特征的编码，确定目标图像在码本中每一个码字对应的聚类中心特征的数量以及第一图像集合中各张图像在码本中每一个码字对应的聚类中心特征的数量，并根据确定的数量构建目标图像的词频表示以及第一图像集合中各张图像的词频表示，从而根据目标图像的词频表示以及第一图像集合中各张图像的词频表示计算目标图像与第一图像集合中各张图像之间的相似度，并根据计算出的相似度从第一图像集合中筛选出第二图像集合。其中，目标图像的词频表示可以包括目标图像在码本中每一个码字对应的聚类中心特征的数量，第一图像集合中各张图像的词频表示可以包括该图像在码本中每一个码字对应的聚类中心特征的数量。在一个实施例中，图像检索设备可以根据目标图像的词频表示以及第一图像集合中各张图像的词频表示，统计目标图像与第一图像集合中各张图像之间相同聚类中心特征的种类数，从而根据目标图像与第一图像集合中各张图像之间相同聚类中心特征的种类数，计算目标图像与第一图像集合中各张图像之间的相似度，并根据计算出的相似度从第一图像集合中筛选出第二图像集合。在一个实施例中，图像检索设备可以直接计算目标图像的词频表示与第一图像集合中各张图像的词频表示之间的相似度，根据目标图像的词频表示与第一图像集合中各张图像的词频表示之间的相似度确定目标图像与第一图像集合中各张图像之间的相似度，并根据计算出的相似度从第一图像集合中筛选出第二图像集合。这里，图像检索设备可以将目标图像的词频表示与第一图像集合中各张图像的词频表示之间的相似度，确定为目标图像与第一图像集合中各张图像之间的相似度。这里，可以通过计算欧式距离或余弦相似度等方式计算目标图像的词频表示与第一图像集合中各张图像的词频表示之间的相似度。

举例来说，假设图像1的词频表示：[2,3,0,0,0]，图像2的词频表示：[6,1,6,3,0]。其中，图像1的词频表示中的2，表示图像1中有两个局部特征的编码相同，编码均为位于码本中第一位的码字。其中，图像1的词频表示中的3，表示图像1中有三个局部特征的编码相同，编码均为位于码本中第二位的码字。其中，图像2的词频表示中的位于第一位的6，表示图像2中有六个局部特征的编码相同，编码均为位于码本中第一位的码字。其中，图像2的词频表示中的1，表示图像2中有一个局部特征的编码为位于码本中第二位的码字。其中，图像2的词频表示中的位于第三位的6，表示图像2中有六个局部特征的编码相同，编码均为位于码本中第三位的码字。其中，图像2的词频表示中的3，表示图像2中有三个局部特征的编码相同，编码均为位于码本中第四位的码字。图像检索设备可以根据图像1的词频表示中位于第一位的2以及位于第二位的3，以及图像2的词频表示中位于第一位的6以及第二位的1，可以确定两张图像之间相同聚类中心特征的种类数为2，因此可以确定图像1与图像2之间的相似度为2。或，图像检索设备可以直接计算图像1的词频表示与图像2的词频表示之间的相似度，并将图像1的词频表示与图像2的词频表示之间的相似度确定为图像1与图像2之间的相似度。

需要说明的是，上述过程采用类似于BOW的词频表示方式针对图像得到图像的词频表示，可以将不同图像的局部特征归一化为统一维度的特征表示，然后计算相似度。比如上述示例中，假设图像1有5个局部特征，图像2有16个局部特征。采用类似于BOW的词频表示方式将图像1的局部特征和图像2的局部特征都聚合成5维(与码本大小相同，码本大小指码本包括的聚类中心特征的数量)的上述词频表示，然后计算相似度。

在一个实施例中，对应于前述第②种编码获取方式，图像检索设备利用目标图像的目标局部特征的编码在第一图像集合中进行第二次图像检索，得到第二图像集合的方式可以为：图像检索设备获得第一图像集合中各张图像的目标局部特征的编码，并根据目标图像的目标局部特征的编码以及第一图像集合中各张图像的目标局部特征的编码，确定目标图像与第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码；图像检索设备计算目标图像与第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码之间的相似度，并根据计算出的相似度，从第一图像集合中筛选出第二图像集合。这里，可以通过计算欧氏距离或余弦相似度等方式来计算目标图像与第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码之间的相似度。在一个实施例中，图像检索设备可以在目标图像与第一图像集合中每张图像之间位置相同且聚类中心特征相同的目标局部特征为多个时，计算出多个相似度，并获得多个相似度的累加值或均值，然后根据多个相似度的累加值或均值从第一图像集合中筛选出第二图像集合。或，图像家检索设备还可以根据多个相似度的累加值或均值确定该累加值或均值对应的分值，并根据确定出的分值从第一图像集合中筛选出第二图像集合。

举例来说，假设预设的码本为一个65536大小的码本，即为一个对应有65536个聚类中心特征的码本，假设码本中每个码字对应聚类中心特征维度为4，聚类中心特征以及该聚类中心特征对应的码字(冒号前的数字为码字，冒号后的数字为聚类中心特征)，如下：

1:0.1，0.1，0.1，0.1

2:0.2，0.2，0.2，0.2

.

.

65536:0.9，0.9，0.9，0.9

假设目标图像为图像x，第一图像集合包括图像y。图像x的目标局部特征以及与该距离目标局部特征最近的聚类中心特征对应的码字(冒号前的数字为码字，冒号后的数字为目标局部特征)，如下：

1:0 0 0 0.1

3:0 0 0.1 0

5:0 0.1 0 0

7:0.1 0 0 0

7:0.1 0.1 0 0

图像y的目标局部特征与距离该目标局部特征最近的聚类中心特征对应的码字(冒号前的数字为码字，冒号后的数字为目标局部特征)，如下：

1:0 0 0 0.2

3:0 0 0.2 0

4:0 0.2 0.2 0

4:0 0.2 0.2 0.2

图像检索设备可以确定图像x和图像y之间位置相同且聚类中心特征相同的目标局部特征为码字1对应的目标局部特征和码字3对应的目标局部特征，若图像x的码字1对应的目标局部特征的编码(为图像x的码字1对应的目标局部特征与码字1对应的聚类中心特征之间的距离值)以及图像x的码字3对应的目标局部特征的编码(为图像x的码字3对应的目标局部特征与码字3对应的聚类中心特征之间的距离值)分别为r(x1)和r(x3)，图像y的码字1对应的目标局部特征的编码(为图像y的码字1对应的目标局部特征与码字1对应的聚类中心特征之间的距离值)以及图像y的码字3对应的目标局部特征的编码(为图像y的码字3对应的目标局部特征与码字3对应的聚类中心特征之间的距离值)分别为得到r(y1)和r(y3)，则图像检索设备可以分别计算r(x1)与r(y1)、r(x3)与r(y3)之间的相似度d(x1，y1)和d(x3，y3)，并将d(x1，y1)+d(x3，y3)确定为图像x和图像y之间的相似度。其中：

r(x1)＝[-0.1 -0.1 -0.1 0]

r(x3)＝[-0.2 -0.2 -0.1 -0.2]

r(y1)＝[-0.1 -0.1 -0.1 0.1]

r(y3)＝[-0.2 -0.2 0 -0.2]

在一个实施例中，图像检索设备还可以利用预设的码本对目标图像的目标局部特征进行编码表示，得到目标图像的目标局部特征的编码，并利用训练后的transformer网络根据目标图像的目标局部特征的编码提取目标特征，并基于目标特征在第一图像集合中进行第二次图像检索。其中，基于目标特征在第一图像集合中进行检索的过程可以为：获得第一图像集合中每张图像的目标特征，计算提取的目标特征与第一图像集合中每张图像的相似度，根据计算出的相似度从第一图像集合中筛选出第二图像集合。

可见，图2所示的实施例中，图像检索设备可以利用预设的码本对目标图像的目标局部特征进行编码表示，得到目标图像的目标局部特征的编码，并利用目标图像的目标局部特征的编码在第一图像集合中进行第二次图像检索，得到第二图像集合，从而实现根据目标图像的目标局部特征在第一图像集合中进行第二次图像检索，得到第二图像集合，该过程能够提升图像检测准确度。

在一个应用场景中，由于网络视频借贷等金融欺诈的方式和手段各异，本申请实施例所述的图像检索方案可以用于多人在同一地点、同一场景下实施欺诈等场景中，比如用于大量的业务申请地点集中，申请时视频背景相同的情况。本申请实施例所述的图像检索方案具有如下优点：在面对各种恶劣场景比如恶劣光照、运动模糊和网络传输丢包等对图像检索过程有较高泛化性要求的场景时，采用本申请实施例提供的图像检索方案针对这类恶劣场景也有较高的图像检索准确度；当人体大面积遮挡导致有用的背景区域占比较小，通过区域检测算法可以自动屏蔽非背景区域更加聚焦在背景区域，从而实现更加精准的图像检索过程；并且，在面对相似背景比较多的环境，比如不同车内环境，由于其整体相似性较高，本申请实施例可以提取能通过背景中的局部背景差异以用于图像检索过程；此外，因摄像头运动或人走动会出现原本相似的背景场景基本没有重叠的区域，但整体大环境却是相似的，本申请实施例可以有效的关注图像的全局特征以用于图像检索过程。

本申请涉及区块链技术，如可从区块链获取目标图像，或从区块链获取第一图像，或还可以从区块链获取目标视频，等等。

请参阅图3，为本申请实施例提供的一种图像检索装置的结构示意图。该装置可以应用于前述提及的图像检索设备。具体地，该装置可以包括：

获取模块301，用于获取目标图像，所述目标图像不包括目标元素。

提取模块302，用于提取所述目标图像的全局特征。

检索模块303，用于利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合。

获取模块301，还用于采用区域检测方法获取所述目标图像的目标局部特征。

检索模块303，还用于根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

在一种可选的实施方式中，检索模块303，具体用于：

获得图库中各张图像的全局特征；

根据所述目标图像的全局特征与所述图库中各张图像的全局特征，计算所述目标图像与所述图库中各张图像之间的相似度；

根据计算出的相似度，从所述图库中确定出与所述目标图像之间的相似度大于或等于第一预设值的至少一张图像；

构建包括所述至少一张图像的第一图像集合。

在一种可选的实施方式中，获取模块301，具体用于：

获取所述目标图像对应的特征图；

采用区域检测方法对所述目标图像进行区域检测，得到所述目标图像的目标区域；

确定所述目标区域在所述特征图中对应的局部特征；

将所述目标区域在所述特征图中对应的局部特征确定为所述目标图像的目标局部特征。

在一种可选的实施方式中，检索模块303，具体用于：

获得所述第一图像集合中各张图像的目标局部特征；

根据所述目标图像的目标局部特征与所述第一图像集合中各张图像的目标局部特征，计算所述目标图像与所述第一图像集合中各张图像之间的相似度；

根据计算出的相似度，从所述第一图像集合中确定出与所述目标图像之间的相似度大于或等于第二预设值的至少一张图像；

构建包括所述至少一张图像的第二图像集合。

在一种可选的实施方式中，检索模块303，具体用于：

利用预设的码本对所述目标图像的目标局部特征进行编码表示，得到所述目标图像的目标局部特征的编码；

利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

在一种可选的实施方式中，检索模块303，具体用于：

获得所述第一图像集合中各图像的目标局部特征的编码；

根据所述目标图像的目标局部特征的编码以及所述第一图像集合中各张图像的目标局部特征的编码，确定所述目标图像与所述第一图像集合中各张图像之间相同聚类中心特征的种类数或数量；

根据所述目标图像与所述第一图像集合中每张图像之间相同聚类中心特征的种类数或数量，从所述第一图像集合中筛选出第二图像集合。

在一种可选的实施方式中，检索模块303，具体用于：

获得所述第一图像集合中各张图像的目标局部特征的编码；

根据所述目标图像的目标局部特征的编码以及所述第一图像集合中各张图像的目标局部特征的编码，确定所述目标图像与所述第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码；

计算所述目标图像与所述第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码之间的相似度；

根据计算出的相似度，从所述第一图像集合中筛选出第二图像集合。

可见，图3所示的实施例中，图像检索装置可以获取目标图像，提取目标图像的全局特征；图像检索装置可以利用目标图像的全局特征进行第一次图像检索，得到第一图像集合，并采用区域检测方法获取目标图像的目标局部特征，从而根据目标图像的目标局部特征在第一图像集合中进行第二次图像检索，得到第二图像集合，采用该过程，能够提升图像检索精度。

请参阅图4，为本申请实施例提供的一种图像检索设备的结构示意图。本实施例中所描述的图像检索设备可以包括：一个或多个处理器1000和存储器2000。处理器1000、和存储器2000可以通过总线连接。

处理器1000可以是中央处理模块(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器2000可以是高速RAM存储器，也可为非不稳定的存储器(non-volatilememory)，例如磁盘存储器。其中，存储器2000用于存储计算机程序，所述计算机程序包括程序指令，处理器1000被配置用于调用所述程序指令，执行以下步骤：

获取目标图像，所述目标图像不包括目标元素；

提取所述目标图像的全局特征；

利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合；

采用区域检测方法获取所述目标图像的目标局部特征；

根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

在一个实施例中，在利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合时，处理器1000被配置用于调用所述程序指令，具体执行以下步骤：

获得图库中各张图像的全局特征；

根据所述目标图像的全局特征与所述图库中各张图像的全局特征，计算所述目标图像与所述图库中各张图像之间的相似度；

根据计算出的相似度，从所述图库中确定出与所述目标图像之间的相似度大于或等于第一预设值的至少一张图像；

构建包括所述至少一张图像的第一图像集合。

在一个实施例中，在采用区域检测方法获取所述目标图像的目标局部特征时，处理器1000被配置用于调用所述程序指令，具体执行以下步骤：

获取所述目标图像对应的特征图；

采用区域检测方法对所述目标图像进行区域检测，得到所述目标图像的目标区域；

确定所述目标区域在所述特征图中对应的局部特征；

将所述目标区域在所述特征图中对应的局部特征确定为所述目标图像的目标局部特征。

在一个实施例中，在根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合时，处理器1000被配置用于调用所述程序指令，具体执行以下步骤：

获得所述第一图像集合中各张图像的目标局部特征；

根据所述目标图像的目标局部特征与所述第一图像集合中各张图像的目标局部特征，计算所述目标图像与所述第一图像集合中各张图像之间的相似度；

根据计算出的相似度，从所述第一图像集合中确定出与所述目标图像之间的相似度大于或等于第二预设值的至少一张图像；

构建包括所述至少一张图像的第二图像集合。

在一个实施例中，在根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合时，处理器1000被配置用于调用所述程序指令，具体执行以下步骤：

利用预设的码本对所述目标图像的目标局部特征进行编码表示，得到所述目标图像的目标局部特征的编码；

利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

在一个实施例中，在利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合时，处理器1000被配置用于调用所述程序指令，具体执行以下步骤：

获得所述第一图像集合中各图像的目标局部特征的编码；

根据所述目标图像的目标局部特征的编码以及所述第一图像集合中各张图像的目标局部特征的编码，确定所述目标图像与所述第一图像集合中各张图像之间相同聚类中心特征的种类数或数量；

根据所述目标图像与所述第一图像集合中每张图像之间相同聚类中心特征的种类数或数量，从所述第一图像集合中筛选出第二图像集合。

在一个实施例中，在利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合时，处理器1000被配置用于调用所述程序指令，具体执行以下步骤：

获得所述第一图像集合中各张图像的目标局部特征的编码；

根据所述目标图像的目标局部特征的编码以及所述第一图像集合中各张图像的目标局部特征的编码，确定所述目标图像与所述第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码；

计算所述目标图像与所述第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码之间的相似度；

根据计算出的相似度，从所述第一图像集合中筛选出第二图像集合。

具体实现中，本申请实施例中所描述的处理器1000可执行图1实施例、图2实施例所描述的实现方式，也可执行本申请实施例所描述的实现方式，在此不再赘述。

在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采样硬件的形式实现，也可以采样软件功能模块的形式实现。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的计算机可读存储介质可为易失性的或非易失性的。例如，该计算机存储介质可以为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

其中，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims (10)

1.一种图像检索方法，其特征在于，包括：

获取目标图像，所述目标图像不包括目标元素；

提取所述目标图像的全局特征；

利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合；

采用区域检测方法获取所述目标图像的目标局部特征；

根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

2.根据权利要求1所述的方法，其特征在于，所述利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合，包括：

获得图库中各张图像的全局特征；

根据所述目标图像的全局特征与所述图库中各张图像的全局特征，计算所述目标图像与所述图库中各张图像之间的相似度；

根据计算出的相似度，从所述图库中确定出与所述目标图像之间的相似度大于或等于第一预设值的至少一张图像；

构建包括所述至少一张图像的第一图像集合。

3.根据权利要求1或2所述的方法，其特征在于，所述采用区域检测方法获取所述目标图像的目标局部特征，包括：

获取所述目标图像对应的特征图；

采用区域检测方法对所述目标图像进行区域检测，得到所述目标图像的目标区域；

确定所述目标区域在所述特征图中对应的局部特征；

将所述目标区域在所述特征图中对应的局部特征确定为所述目标图像的目标局部特征。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合，包括：

获得所述第一图像集合中各张图像的目标局部特征；

根据所述目标图像的目标局部特征与所述第一图像集合中各张图像的目标局部特征，计算所述目标图像与所述第一图像集合中各张图像之间的相似度；

根据计算出的相似度，从所述第一图像集合中确定出与所述目标图像之间的相似度大于或等于第二预设值的至少一张图像；

构建包括所述至少一张图像的第二图像集合。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合，包括：

利用预设的码本对所述目标图像的目标局部特征进行编码表示，得到所述目标图像的目标局部特征的编码；

利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

6.根据权利要求5所述的方法，其特征在于，所述利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合，包括：

获得所述第一图像集合中各图像的目标局部特征的编码；

根据所述目标图像的目标局部特征的编码以及所述第一图像集合中各张图像的目标局部特征的编码，确定所述目标图像与所述第一图像集合中各张图像之间相同聚类中心特征的种类数或数量；

根据所述目标图像与所述第一图像集合中每张图像之间相同聚类中心特征的种类数或数量，从所述第一图像集合中筛选出第二图像集合。

7.根据权利要求5所述的方法，其特征在于，所述利用所述目标图像的目标局部特征的编码在所述第一图像集合中进行第二次图像检索，得到第二图像集合，包括：

获得所述第一图像集合中各张图像的目标局部特征的编码；

根据所述目标图像的目标局部特征的编码以及所述第一图像集合中各张图像的目标局部特征的编码，确定所述目标图像与所述第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码；

计算所述目标图像与所述第一图像集合中各张图像之间位置相同且聚类中心特征相同的目标局部特征的编码之间的相似度；

根据计算出的相似度，从所述第一图像集合中筛选出第二图像集合。

8.一种图像检索装置，其特征在于，包括：

获取模块，用于获取目标图像，所述目标图像不包括目标元素；

提取模块，用于提取所述目标图像的全局特征；

检索模块，用于利用所述目标图像的全局特征进行第一次图像检索，得到第一图像集合；

所述获取模块，还用于采用区域检测方法获取所述目标图像的目标局部特征；

所述检索模块，还用于根据所述目标图像的目标局部特征在所述第一图像集合中进行第二次图像检索，得到第二图像集合。

9.一种图像检索设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。

Images