CN115687670A - 图像搜索方法、装置、计算机可读存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种图像搜索方法、装置、计算机可读存储介质及电子设备。该方法包括：获取待搜索图像；基于目标特征提取模型，对待搜索图像进行特征提取，得到第一目标特征信息；计算第一目标特征信息与每个待匹配图像对应的第二目标特征信息之间的相似度，得到多个相似度值；基于多个相似度值，从多个待匹配图像中确定目标图像，并确定目标图像为与待搜索图像对应的搜索结果。本发明解决了相关技术中基于手绘图进行以图搜图时，存在搜索准确性差的技术问题。

Description

图像搜索方法、装置、计算机可读存储介质及电子设备

技术领域

本发明涉及人工智能领域，具体而言，涉及一种图像搜索方法、装置、计算机可读存储介质及电子设备。

背景技术

随着科技的不断发展，图像搜索的方式不再局限于文字描述，而是还可以通过以图搜图的方式进行搜索。以图搜图即用户给定一张查询图，系统能够自动从数据库中寻找与查询图内容相似的图片并反馈给用户。

传统以图搜图任务需要查询图和目标图有明显的相似特征存在，但由于查询图（如：手绘图等）的随意性，往往与目标图特征不能完全一致。目前，应用于以图搜图技术的模型通常为传统算法或有监督学习，从而对专有领域的图像适应性较差，进而具有搜索准确性差的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像搜索方法、装置、计算机可读存储介质及电子设备，以至少解决相关技术中基于手绘图进行以图搜图时，存在搜索准确性差的技术问题。

根据本发明实施例的一个方面，提供了一种图像搜索方法，包括：获取待搜索图像；基于目标特征提取模型，对待搜索图像进行特征提取，得到第一目标特征信息，其中，目标特征提取模型为基于无监督对比学习方式训练得到的，目标特征提取模型采用目标训练样本集进行训练，目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的；计算第一目标特征信息与每个待匹配图像对应的第二目标特征信息之间的相似度，得到多个相似度值，其中，第二目标特征信息为基于目标特征提取模型对待匹配图像进行特征提取得到的；基于多个相似度值，从多个待匹配图像中确定目标图像，并确定目标图像为与待搜索图像对应的搜索结果，其中，目标图像的图像内容与待搜索图像的图像内容之间的相似度大于预设相似度。

进一步地，图像搜索方法还包括：对待搜索图像进行特征提取处理，得到初始特征信息；对初始特征信息进行局部特征提取处理，得到局部特征信息；对初始特征信息进行全局特征提取处理，得到全局特征信息；对局部特征信息和全局特征信息进行特征融合，得到第一目标特征信息。

进一步地，目标训练样本集基于以下方法构建得到：获取多个第一样本图像；对每个第一样本图像进行第一图像增强处理，得到每个第一样本图像对应的第二样本图像；对每个第一样本图像进行第二图像增强处理，得到每个第一样本图像对应的第三样本图像，其中，第一图像增强处理与第二图像增强处理不同；基于第二样本图像和第三样本图像构建目标训练样本集。

进一步地，图像搜索方法还包括：获取多个初始样本图像；对每个初始样本图像进行多尺度裁剪处理，得到每个初始样本图像所对应的多个第四样本图像，其中，多个第四样本图像具有不同的尺寸；对多个第四样本图像进行归一化处理，得到每个第四样本图像对应的第一样本图像。

进一步地，目标特征提取模型基于以下方法训练得到：构建初始特征提取模型；基于初始特征提取模型，对目标训练样本集中的每个目标样本图像进行特征提取，得到每个目标样本图像对应的目标样本特征信息，其中，目标样本图像为第二样本图像或第三样本图像；基于每个目标样本图像对应的目标样本特征信息，训练初始特征提取模型，得到目标特征提取模型。

进一步地，图像搜索方法还包括：对每个目标样本图像进行特征提取处理，得到每个目标样本图像对应的样本初始特征信息；对每个样本初始特征信息进行局部特征提取处理，得到每个目标样本图像对应的样本局部特征信息；对每个样本初始特征信息进行全局特征提取处理，得到每个目标样本图像对应的样本全局特征信息；对每个目标样本图像对应的样本局部特征信息和样本全局特征信息进行特征融合，得到每个目标样本图像对应的目标样本特征信息。

进一步地，图像搜索方法还包括：在基于目标特征提取模型，对待搜索图像进行特征提取，得到第一目标特征信息之前，对待搜索图像和待匹配图像进行归一化处理。

根据本发明实施例的另一方面，还提供了一种图像搜索装置，包括：第一获取模块，用于获取待搜索图像；第一特征提取模块，用于基于目标特征提取模型，对待搜索图像进行特征提取，得到第一目标特征信息，其中，目标特征提取模型为基于无监督对比学习方式训练得到的，目标特征提取模型采用目标训练样本集进行训练，目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的；计算模块，用于计算第一目标特征信息与每个待匹配图像对应的第二目标特征信息之间的相似度，得到多个相似度值，其中，第二目标特征信息为基于目标特征提取模型对待匹配图像进行特征提取得到的；确定模块，用于基于多个相似度值，从多个待匹配图像中确定目标图像，并确定目标图像为与待搜索图像对应的搜索结果，其中，目标图像的图像内容与待搜索图像的图像内容之间的相似度大于预设相似度。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的图像搜索方法。

根据本发明实施例的另一方面，还提供了一种电子设备，电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的图像搜索方法。

在本发明实施例中，采用基于无监督对比学习方式训练得到的模型实现图片搜索的方式，通过获取待搜索图像，然后基于目标特征提取模型，对待搜索图像进行特征提取，得到第一目标特征信息，接着计算第一目标特征信息与每个待匹配图像对应的第二目标特征信息之间的相似度，得到多个相似度值，从而基于多个相似度值，从多个待匹配图像中确定目标图像，并确定目标图像为与待搜索图像对应的搜索结果，其中，目标特征提取模型为基于无监督对比学习方式训练得到的，目标特征提取模型采用目标训练样本集进行训练，目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的，第二目标特征信息为基于目标特征提取模型对待匹配图像进行特征提取得到的，目标图像的图像内容与待搜索图像的图像内容之间的相似度大于预设相似度。

在上述过程中，由于目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的，因此，实现了对对比学习方式中正样本对的构建，从而避免了对图像的图像信息进行标注。进一步地，基于无监督对比学习方式对目标特征提取模型进行训练，一方面，利用无监督学习的方式可以得到对不同训练数据都具有鲁棒性的模型，另一方面，利用对比学习的方式可以让网络对类似图像的不同变体有更好的辨别能力，从而使得目标特征提取模型能够学习到的特征更加具有适应性和丰富性。更进一步地，通过目标特征提取模型对待搜索图像和待匹配图像进行特征提取，实现了对待搜索图像和待匹配图像更准确的特征表示，从而使得基于特征提取的结果计算得到的待搜索图像和待匹配图像之间的相似度更加准确，进而提高了图像搜索的准确性。

由此可见，本申请所提供的方案达到了基于无监督对比学习方式训练得到的模型实现图片搜索的目的，从而实现了提高图像搜索准确性的技术效果，进而解决了相关技术中基于手绘图进行以图搜图时，存在搜索准确性差的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图像搜索方法的示意图；

图2是根据本发明实施例的一种可选的图像搜索系统、终端设备、图像特征数据库之间的关系示意图；

图3是根据本发明实施例的一种可选的初始特征提取模型的训练示意图；

图4是根据本发明实施例的一种可选的图像搜索方法的流程图；

图5是根据本发明实施例的一种可选的图像搜索装置的示意图；

图6是根据本发明实施例的一种可选的电子设备的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本公开所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于展示的数据、分析的数据等），均为经用户授权或者经过各方充分授权的信息和数据。

实施例1

根据本发明实施例，提供了一种图像搜索方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请所提供的图像搜索方法应用于查询图与目标图特征难以完全一致的以图搜图场景，例如，通过手绘图查询目标图的场景。进一步地，本申请所提供的图像搜索方法可以应用于在文博领域通过手绘图匹配文物图像的场景、在购物软件上通过手绘图匹配商品图像的场景等。

图1是根据本发明实施例的一种可选的图像搜索方法的示意图，如图1所示，该方法包括如下步骤：

步骤S101，获取待搜索图像。

在步骤S101中，可以通过电子设备、服务器、工作站等装置获取待搜索图像，在本申请中，通过图像搜索系统获取待搜索图像。可选的，前述的图像搜索系统可以以HTTP服务的方式提供以图搜图服务，其可以对外提供Restful标准协议接口，通过在相关服务器上配置图像搜索服务，以实现客户端通过访问服务器来完成图像搜索。可选的，如图2所示，用户可以通过其所持有的终端设备选择待搜索图像，并上传到与图像搜索系统对应的应用软件或是小程序中，以供图像搜索系统获取。其中，待搜索图像为用户用于查询其所期望获取的图像的图片，前述的终端设备的设备类型包括但不限于智能手机、电脑、平板、智能佩戴设备等。

可选的，在本实施例中，以在文博领域通过手绘图匹配文物图像的场景为示例，对本申请所提供的图像搜索方法进行说明。例如，用户在其所持有的终端设备上绘制手绘图（即前述的待搜索图像），然后将手绘图上传到文博应用软件上，以供图像搜索系统获取。

步骤S102，基于目标特征提取模型，对待搜索图像进行特征提取，得到第一目标特征信息，其中，目标特征提取模型为基于无监督对比学习方式训练得到的，目标特征提取模型采用目标训练样本集进行训练，目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的。

在步骤S102中，目标特征提取模型采用的目标训练样本集为基于对多个图像中的每个图像进行多种图像增强所得到的，即目标训练样本集中所包含的图像可以分为多组，其中，每组图像中包含多个图像，且同一组图像中的多个图像为对同一个图像进行不同图像增强处理得到的。其中，由于在手绘图匹配文物图片的以图搜图场景中，涉及到的图片均为黑白线描图，因此，进行图像增强前的图像优选为黑白线描图。

进一步地，可以基于目标特征提取模型，对待搜索图像进行特征提取，以得到与待搜索图像对应的第一目标特征信息，其中，对待搜索图像进行特征提取的提取方式包括但不限于局部特征提取、全局特征提取等方式。

需要说明的是，由于目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的，因此，实现了对对比学习方式中正样本对的构建，从而避免了对图像的图像信息进行标注。进一步地，基于无监督对比学习方式对目标特征提取模型进行训练，一方面，利用无监督学习的方式可以得到对不同训练数据都具有鲁棒性的模型，另一方面，利用对比学习的方式可以让模型对类似图像的不同变体有更好的辨别能力，从而使得目标特征提取模型能够学习到的特征更加具有适应性和丰富性，进而提高搜索准确性。

步骤S103，计算第一目标特征信息与每个待匹配图像对应的第二目标特征信息之间的相似度，得到多个相似度值，其中，第二目标特征信息为基于目标特征提取模型对待匹配图像进行特征提取得到的。

在步骤S103中，图像搜索系统可以根据相关技术中的相似度算法，计算第一目标特征信息与多个待匹配图像中的每个待匹配图像对应的第二目标特征信息之间的相似度，得到第一目标特征信息与每个第二目标特征信息之间的相似度值。其中，图像搜索系统可以从如图2所示的图像特征数据库中获取多个待匹配图像中的每个待匹配图像对应的第二目标特征信息，待匹配图像为用户期望获取的图像所在的图像集合中的图像，例如，待匹配图像为博物馆中已有的文物所对应的图像。

例如，在图像搜索系统获取到用户输入的手绘图，并对手绘图进行特征提取，得到手绘图对应的特征信息（即前述的第一目标特征信息）后，图像搜索系统可以从如图2所示的图像特征数据库中获取每个文物图片（即前述的待匹配图像）对应的特征信息（即前述的第二目标特征信息），从而计算手绘图对应的特征信息与每个文物图片对应的特征信息的相似度，得到多个相似度值。

步骤S104，基于多个相似度值，从多个待匹配图像中确定目标图像，并确定目标图像为与待搜索图像对应的搜索结果，其中，目标图像的图像内容与待搜索图像的图像内容之间的相似度大于预设相似度。

在步骤S104中，可选的，图像搜索系统可以将在多个相似度值中相似度值高于预设数值的待匹配图像确定为目标图像，然后从图像特征数据库中找到该目标图像，并将该目标图像输出至用户所持有的终端设备，以作为与待搜索图像对应的搜索结果展示给用户。可选的，图像搜索系统也可以将在多个相似度值中相似度值最高的待匹配图像确定为目标图像。

基于上述步骤S101至步骤S104所限定的方案，可以获知，在本发明实施例中，采用基于无监督对比学习方式训练得到的模型实现图片搜索的方式，通过获取待搜索图像，然后基于目标特征提取模型，对待搜索图像进行特征提取，得到第一目标特征信息，接着计算第一目标特征信息与每个待匹配图像对应的第二目标特征信息之间的相似度，得到多个相似度值，从而基于多个相似度值，从多个待匹配图像中确定目标图像，并确定目标图像为与待搜索图像对应的搜索结果，其中，目标特征提取模型为基于无监督对比学习方式训练得到的，目标特征提取模型采用目标训练样本集进行训练，目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的，第二目标特征信息为基于目标特征提取模型对待匹配图像进行特征提取得到的，目标图像的图像内容与待搜索图像的图像内容之间的相似度大于预设相似度。

容易注意到的是，在上述过程中，由于目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的，因此，实现了对对比学习方式中正样本对的构建，从而避免了对图像的图像信息进行标注。进一步地，基于无监督对比学习方式对目标特征提取模型进行训练，一方面，利用无监督学习的方式可以得到对不同训练数据都具有鲁棒性的模型，另一方面，利用对比学习的方式可以让网络对类似图像的不同变体有更好的辨别能力，从而使得目标特征提取模型能够学习到的特征更加具有适应性和丰富性。更进一步地，通过目标特征提取模型对待搜索图像和待匹配图像进行特征提取，实现了对待搜索图像和待匹配图像更准确的特征表示，从而使得基于特征提取的结果计算得到的待搜索图像和待匹配图像之间的相似度更加准确，进而提高了图像搜索的准确性。

由此可见，本申请所提供的方案达到了基于无监督对比学习方式训练得到的模型实现图片搜索的目的，从而实现了提高图像搜索准确性的技术效果，进而解决了相关技术中基于手绘图进行以图搜图时，存在搜索准确性差的技术问题。

在一种可选的实施例中，目标训练样本集基于以下方法构建得到：图像搜索系统获取多个第一样本图像，然后对每个第一样本图像进行第一图像增强处理，得到每个第一样本图像对应的第二样本图像，接着对每个第一样本图像进行第二图像增强处理，得到每个第一样本图像对应的第三样本图像，从而基于第二样本图像和第三样本图像构建目标训练样本集。其中，第一图像增强处理与第二图像增强处理不同。

可选的，图像搜索系统可以获取多个第一样本图像，其中，前述的第一样本图像可以为从数据库或互联网直接爬取的，第一样本图像也可以为对爬取后的图像进行预处理后得到的。进一步地，图像搜索系统可以对每个第一样本图像应用两种不同的数据增强处理，从而得到对应的第二样本图像和第三样本图像。其中，前述的数据增强处理可以是对图像采用至少一种几何变换方法，也可以是对图像采用至少一种像素变换方法，还可以是对图像采用至少一种几何变换方法和至少一种像素变换方法，几何变换方法可以是翻转、旋转、缩放、平移、抖动等，像素变换方法可以是加椒盐噪声、高斯噪声、高斯模糊、直方图均衡化等。

进一步地，图像搜索系统可以基于每个第一样本图像对应的第二样本图像和第三样本图像，构建得到目标训练样本集。例如，当第一样本图像存在N个时，则目标训练样本集中包含2N个图像。

需要说明的是，对无监督学习而言，数据有怎样的变化，网络就能学习到怎样的信息，因此，通过对图像进行多种数据增强，一方面，实现了对对比学习中正样本对的构建，另一方面，以便于目标特征提取模型能够更好的学习。

在一种可选的实施例中，在获取多个第一样本图像的过程中，图像搜集系统可以获取多个初始样本图像，然后对每个初始样本图像进行多尺度裁剪处理，得到每个初始样本图像所对应的多个第四样本图像，从而对多个第四样本图像进行归一化处理，得到每个第四样本图像对应的第一样本图像。其中，多个第四样本图像具有不同的尺寸。

可选的，图像搜索系统可以先从数据库或互联网爬取得到多个图像，然后对搜集到的多个图像进行清洗，挑选出完整、清晰，对训练有益的图像作为初始样本图像。其中，为了使得训练好的目标特征提取模型能够更准确的提取出待匹配图像和待搜索图像的特征，在选择初始样本图像时，可以优先选取与待匹配图像和待搜索图像具有关联特征的图像，例如，与本实施例中的待搜索图像具有关联特征的为线描图，与待匹配图像具有关联特征的为文物图像，则初始样本图像可以为相关文物的线描图，以使模型主要学习分辨不同线描图的形状。

进一步地，如图3所示，图像搜索系统可以对得到的初始样本图像进行预处理，在预处理过程中，对于一张初始样本图像，图像搜索系统可以设置不同的尺寸对该初始样本图像进行多尺度随机裁剪，从而得到与该初始样本图像对应的多个第四样本图像，其中，多个第四样本图像具有不同的尺寸。之后，图像搜索系统可以对多个第四样本图像进行归一化处理，以将多个第四样本图像调整为统一的尺寸，从而得到尺寸同一的第一样本图像，由此，完成对一张初始样本图像的预处理。可选的，图像搜索系统可以基于前述方法，对每个初始样本图像进行相同的预处理，从而得到每个初始样本图像对应的多个第一样本图像。

需要说明的是，通过对初始样本图像进行多尺度裁剪，可以让目标特征提取模型学习到图像的尺寸信息，以在应用阶段适应多尺度图像，从而更进一步地提高图像搜索的准确性。

在一种可选的实施例中，目标特征提取模型可以基于以下方法训练得到：构建初始特征提取模型，基于初始特征提取模型，对目标训练样本集中的每个目标样本图像进行特征提取，得到每个目标样本图像对应的目标样本特征信息，基于每个目标样本图像对应的目标样本特征信息，训练初始特征提取模型，得到目标特征提取模型。其中，目标样本图像为第二样本图像或第三样本图像。

可选的，如图3所示，图像搜索系统可以先构建初始特征提取模型，然后将目标训练样本集中的所有图像（即前述的目标样本图像）输入至初始特征提取模型，以通过初始预测模块对每个图像进行特征提取，从而得到每个图像对应的目标样本特征信息。

进一步地，如图3所示，图像搜索系统可以将同一张第一样本图像做了不同数据增强的两张图像视为正例（也即这两张图像可以形成正样本对），把目标训练样本集中的其他图片视为负例（也即前述的两张图像中的任一图像和其它图片可以形成负样本对）进行对比学习，从而通过对比损失函数，基于每个目标样本图像对应的目标样本特征信息，对初始特征提取模型进行训练，以在无监督学习的情况下让网络学习到图像的深层特征表示。其中，需要说明的是，在将目标训练样本集中的图像输入至初始特征提取模型之前，对对应于相同第一样本图像的第二样本图像和第三样本图像设置有相同标记，对对应于不同第一样本图像的第二样本图像和第三样本图像设置有不同标记，从而便于在对比学习过程中，确定正样本对和负样本对。

可选的，图像搜索系统也可以在构建得到初始特征提取模型之后，从目标训练样本集中随机选取至少部分图像输入至初始特征提取模型，其中，前述的至少部分图像由所有第一样本图像中的部分第一样本图像所对应的第二样本图像以及第三样本图像组成，以保证针对每一张第二样本图像或第三样本图像，都能找到正例或负例。更进一步地，初始预测模块可以对获取的至少部分图像中的每个图像进行特征提取，从而得到每个图像对应的目标样本特征信息。

进一步地，图像搜索系统可以通过对比损失函数，基于前述的至少部分图像对应的目标样本特征信息对初始特征提取模型进行训练。并可以在迭代训练过程中，每次都只从目标训练样本集中的随机选取至少部分图像输入至初始特征提取模型。

需要说明的是，通过基于无监督对比学习方法，训练得到目标特征提取模型，使得目标特征提取模型能够对同一线描图的不同表现形式具有分辨能力，进而提高特征提取的准确性。

在一种可选的实施例中，在基于初始特征提取模型，对目标训练样本集中的每个目标样本图像进行特征提取，得到每个目标样本图像对应的目标样本特征信息的过程中，初始特征提取模型可以对每个目标样本图像进行特征提取处理，得到每个目标样本图像对应的样本初始特征信息，然后对每个样本初始特征信息进行局部特征提取处理，得到每个目标样本图像对应的样本局部特征信息，从而对每个样本初始特征信息进行全局特征提取处理，得到每个目标样本图像对应的样本全局特征信息，并对每个目标样本图像对应的样本局部特征信息和样本全局特征信息进行特征融合，得到每个目标样本图像对应的目标样本特征信息。

可选的，初始特征提取模型为在CNN（卷积神经网络，Convolutional NeuralNetworks）的基础上结合Transformer的网络结构，其中，Transformer结构包括自注意力网络和前馈神经网络。具体地，如图3所示，初始特征提取模型包括基础模块、局部特征提取模块、全局特征提取模块以及特征融合模块。

如图3所示，当初始特征提取模型获取到目标样本图像之后，初始特征提取模型可以利用基础模块，对目标样本图像进行处理得到基础特征（也即前述的样本初始特征信息），其中，此处得到的基础特征用于对图像进行初步的特征表示，该基础特征对图像特征表示的准确程度低于后续的样本局部特征信息或样本全局特征信息对图像特征表示的准确程度。如图3所示，基础模块为初始特征提取模型中的主干网络（backbone），其为一般的CNN网络结构。

进一步地，如图3所示，可以将基础模块的输出作为局部特征提取模块和全局特征提取模块的输入，从而通过局部特征提取模块对每个样本初始特征信息进行局部特征提取处理，得到每个目标样本图像对应的样本局部特征信息，通过全局特征提取模块对每个样本初始特征信息进行全局特征提取处理，得到每个目标样本图像对应的样本全局特征信息。其中，局部特征提取模块采用的CNN至少由多个卷积层组成，其深层次的卷积可以让网络更关注图像中的局部信息；全局特征提取模块采用自注意力（Self-attention）层对输入的特征信息做自注意力机制，通过全局注意力机制可以让网络关注到图像中的全局信息。

更进一步地，如图3所示，在得到局部特征提取模块和全局特征提取模块的输出结果后，可以通过特征融合模块对样本局部特征信息和样本全局特征信息进行拼接，得到拼接特征信息，并对拼接得到的拼接特征信息通过自注意力（Self-attention）层再应用一次自注意力机制，以实现对样本局部特征信息和样本全局特征信息更好的融合，得到目标样本特征信息，进而使得模型能够输出更具鲁棒性的特征。

需要说明的是，通过基于结合了Transformer和CNN的初始特征提取模型对图像进行特征提取，使得其可以对图像进行更有效的特征表示，从而使得基于无监督学习方式对该初始特征提取模型训练后，可以得到一个能够分辨形状相似但是表现形式不同的两张线描图的模型（即前述的目标特征提取模型），使用该模型可以得到手绘图或线描图的一致性、高均匀性的图像特征向量表示，从而可以保证以图搜图任务的匹配准确率。

在一种可选的实施例中，在基于目标特征提取模型，对待搜索图像进行特征提取，得到第一目标特征信息之前，图像搜索系统可以对待搜索图像和待匹配图像进行归一化处理。

可选的，如图4所示，在应用过程中，图像搜索系统可以先对待匹配图像进行归一化处理（即图4中的预处理），然后通过目标特征提取模型提取待匹配图像的图像特征，得到每个待匹配图像对应的第二目标特征信息。其中，由于目标特征提取模型为基于初始特征提取模型训练得到的，因此，目标特征提取模型与初始特征提取模型具有相同的网络结构，目标特征提取模型对待匹配图像的图像特征提取方法与前述的初始特征提取模型对样本图像的图像特征提取方法相同，故此处不再赘述。其中，前述的处理后得到的第二目标特征信息可以存储至前述的图像特征数据库。

进一步地，当图像搜索系统获取到用户输入的待搜索图像时，如图4所示，图像搜索系统同样先对待搜索图像进行归一化处理（即图4中的预处理），然后通过目标特征提取模型提取待搜索图像的图像特征，得到第一目标特征信息。其中，待搜索图像与待匹配图像归一化后的尺寸相同。

需要说明的是，通过在对待搜索图像和待匹配图像进行特征提取之前，先对待搜索图像和待匹配图像进行归一化，以便于目标特征提取模型更好的处理。

在一种可选的实施例中，在对待搜索图像进行特征提取，得到第一目标特征信息的过程中，图像搜索系统可以对待搜索图像进行特征提取处理，得到初始特征信息，然后对初始特征信息进行局部特征提取处理，得到局部特征信息，接着对初始特征信息进行全局特征提取处理，得到全局特征信息，从而对局部特征信息和全局特征信息进行特征融合，得到第一目标特征信息。

可选的，如图4所示，图像搜索系统在获取到待搜索图像之后，将其输入到先前用于处理待匹配图像的目标特征提取模型中。从而得到第一目标特征信息。其中，目标特征提取模型对待搜索图像的图像特征提取方法与前述的初始特征提取模型对样本图像的图像特征提取方法相同，故此处不再赘述。

进一步地，在获取到第一目标特征信息后，如图4所示，图像搜索系统可以将第一目标特征信息与每个第二目标特征信息进行相似度计算（即图4中的相似度度量），从而得到第一目标特征信息与每个待匹配图像对应的第二目标特征信息之间的相似度值，进而便于确定目标图像。

需要说明的是，本申请提供了一种基于无监督学习的适用文博领域手绘图匹配文物图片的以图搜图技术。相对于相关技术中的以图搜图算法，本申请所提供的方法针对不同应用场景的需求有较好的适应性，由于采用了无监督学习的方式，因此在准备数据阶段无需对图像进行标注，只需挑选与特定需求有关的图片即可进行训练。同时，受益于本申请所提供的方法中的训练策略和网络结构的有效性，保证了以图搜图的准确性和匹配的效率，该方法不仅可以实现更可靠的匹配，同时也适用于多种场景。针对手绘图匹配文物图片，本申请所提供的方法可以作为在文博领域场馆内容搭建中提升用户参展体验感的可选项。

由此可见，本申请所提供的方案达到了基于无监督对比学习方式训练得到的模型实现图片搜索的目的，从而实现了提高图像搜索准确性的技术效果，进而解决了相关技术中基于手绘图进行以图搜图时，存在搜索准确性差的技术问题。

实施例2

根据本发明实施例，提供了一种图像搜索装置的实施例，其中，图5是根据本发明实施例的一种可选的图像搜索装置的示意图，如图5所示，该装置包括：

第一获取模块501，用于获取待搜索图像；

第一特征提取模块502，用于基于目标特征提取模型，对待搜索图像进行特征提取，得到第一目标特征信息，其中，目标特征提取模型为基于无监督对比学习方式训练得到的，目标特征提取模型采用目标训练样本集进行训练，目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的；

计算模块503，用于计算第一目标特征信息与每个待匹配图像对应的第二目标特征信息之间的相似度，得到多个相似度值，其中，第二目标特征信息为基于目标特征提取模型对待匹配图像进行特征提取得到的；

确定模块504，用于基于多个相似度值，从多个待匹配图像中确定目标图像，并确定目标图像为与待搜索图像对应的搜索结果，其中，目标图像的图像内容与待搜索图像的图像内容之间的相似度大于预设相似度。

需要说明的是，上述第一获取模块501、第一特征提取模块502、计算模块503以及确定模块504对应于上述实施例中的步骤S101至步骤S104，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。

可选的，第一特征提取模块还包括：第一特征提取子模块，用于对待搜索图像进行特征提取处理，得到初始特征信息；第二特征提取子模块，用于对初始特征信息进行局部特征提取处理，得到局部特征信息；第三特征提取子模块，用于对初始特征信息进行全局特征提取处理，得到全局特征信息；第一特征融合子模块，用于对局部特征信息和全局特征信息进行特征融合，得到第一目标特征信息。

可选的，图像搜索装置还包括：第二获取模块，用于获取多个第一样本图像；第一图像增强模块，用于对每个第一样本图像进行第一图像增强处理，得到每个第一样本图像对应的第二样本图像；第二图像增强模块，用于对每个第一样本图像进行第二图像增强处理，得到每个第一样本图像对应的第三样本图像，其中，第一图像增强处理与第二图像增强处理不同；第一构建模块，用于基于第二样本图像和第三样本图像构建目标训练样本集。

可选的，第二获取模块还包括：获取子模块，用于获取多个初始样本图像；裁剪子模块，用于对每个初始样本图像进行多尺度裁剪处理，得到每个初始样本图像所对应的多个第四样本图像，其中，多个第四样本图像具有不同的尺寸；处理子模块，用于对多个第四样本图像进行归一化处理，得到每个第四样本图像对应的第一样本图像。

可选的，图像搜索装置还包括：第二构建模块，用于构建初始特征提取模型；第二特征提取模块，用于基于初始特征提取模型，对目标训练样本集中的每个目标样本图像进行特征提取，得到每个目标样本图像对应的目标样本特征信息，其中，目标样本图像为第二样本图像或第三样本图像；训练模块，用于基于每个目标样本图像对应的目标样本特征信息，训练初始特征提取模型，得到目标特征提取模型。

可选的，第二特征提取模块还包括：第四特征提取子模块，用于对每个目标样本图像进行特征提取处理，得到每个目标样本图像对应的样本初始特征信息；第五特征提取子模块，用于对每个样本初始特征信息进行局部特征提取处理，得到每个目标样本图像对应的样本局部特征信息；第六特征提取子模块，用于对每个样本初始特征信息进行全局特征提取处理，得到每个目标样本图像对应的样本全局特征信息；第二特征融合子模块，用于对每个目标样本图像对应的样本局部特征信息和样本全局特征信息进行特征融合，得到每个目标样本图像对应的目标样本特征信息。

可选的，图像搜索装置还包括：处理模块，用于对待搜索图像和待匹配图像进行归一化处理。

实施例3

根据本发明实施例的另一方面，还提供了计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的图像搜索方法。

实施例4

根据本发明实施例的另一方面，还提供了一种电子设备，其中，图6是根据本发明实施例的一种可选的电子设备的示意图，如图6所示，电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的图像搜索方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像搜索方法，其特征在于，包括：

获取待搜索图像；

基于目标特征提取模型，对所述待搜索图像进行特征提取，得到第一目标特征信息，其中，所述目标特征提取模型为基于无监督对比学习方式训练得到的，所述目标特征提取模型采用目标训练样本集进行训练，所述目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的；

计算所述第一目标特征信息与每个待匹配图像对应的第二目标特征信息之间的相似度，得到多个相似度值，其中，所述第二目标特征信息为基于所述目标特征提取模型对所述待匹配图像进行特征提取得到的；

基于所述多个相似度值，从多个待匹配图像中确定目标图像，并确定所述目标图像为与所述待搜索图像对应的搜索结果，其中，所述目标图像的图像内容与所述待搜索图像的图像内容之间的相似度大于预设相似度。

2.根据权利要求1所述的方法，其特征在于，对所述待搜索图像进行特征提取，得到第一目标特征信息，包括：

对所述待搜索图像进行特征提取处理，得到初始特征信息；

对所述初始特征信息进行局部特征提取处理，得到局部特征信息；

对所述初始特征信息进行全局特征提取处理，得到全局特征信息；

对所述局部特征信息和所述全局特征信息进行特征融合，得到所述第一目标特征信息。

3.根据权利要求1所述的方法，其特征在于，所述目标训练样本集基于以下方法构建得到：

获取多个第一样本图像；

对每个第一样本图像进行第一图像增强处理，得到所述每个第一样本图像对应的第二样本图像；

对所述每个第一样本图像进行第二图像增强处理，得到所述每个第一样本图像对应的第三样本图像，其中，所述第一图像增强处理与所述第二图像增强处理不同；

基于所述第二样本图像和所述第三样本图像构建所述目标训练样本集。

4.根据权利要求3所述的方法，其特征在于，获取多个第一样本图像，包括：

获取多个初始样本图像；

对每个初始样本图像进行多尺度裁剪处理，得到每个初始样本图像所对应的多个第四样本图像，其中，所述多个第四样本图像具有不同的尺寸；

对所述多个第四样本图像进行归一化处理，得到每个第四样本图像对应的第一样本图像。

5.根据权利要求3或4所述的方法，其特征在于，所述目标特征提取模型基于以下方法训练得到：

构建初始特征提取模型；

基于所述初始特征提取模型，对所述目标训练样本集中的每个目标样本图像进行特征提取，得到所述每个目标样本图像对应的目标样本特征信息，其中，所述目标样本图像为所述第二样本图像或所述第三样本图像；

基于所述每个目标样本图像对应的目标样本特征信息，训练所述初始特征提取模型，得到所述目标特征提取模型。

6.根据权利要求5所述的方法，其特征在于，对所述目标训练样本集中的每个目标样本图像进行特征提取，得到所述每个目标样本图像对应的目标样本特征信息，包括：

对所述每个目标样本图像进行特征提取处理，得到所述每个目标样本图像对应的样本初始特征信息；

对每个样本初始特征信息进行局部特征提取处理，得到所述每个目标样本图像对应的样本局部特征信息；

对所述每个样本初始特征信息进行全局特征提取处理，得到所述每个目标样本图像对应的样本全局特征信息；

对所述每个目标样本图像对应的样本局部特征信息和样本全局特征信息进行特征融合，得到所述每个目标样本图像对应的目标样本特征信息。

7.根据权利要求1所述的方法，其特征在于，在基于目标特征提取模型，对所述待搜索图像进行特征提取，得到第一目标特征信息之前，包括：

对所述待搜索图像和所述待匹配图像进行归一化处理。

8.一种图像搜索装置，其特征在于，包括：

第一获取模块，用于获取待搜索图像；

第一特征提取模块，用于基于目标特征提取模型，对所述待搜索图像进行特征提取，得到第一目标特征信息，其中，所述目标特征提取模型为基于无监督对比学习方式训练得到的，所述目标特征提取模型采用目标训练样本集进行训练，所述目标训练样本集是基于对多个图像中的每个图像进行多种图像增强所得到的；

计算模块，用于计算所述第一目标特征信息与每个待匹配图像对应的第二目标特征信息之间的相似度，得到多个相似度值，其中，所述第二目标特征信息为基于所述目标特征提取模型对所述待匹配图像进行特征提取得到的；

确定模块，用于基于所述多个相似度值，从多个待匹配图像中确定目标图像，并确定所述目标图像为与所述待搜索图像对应的搜索结果，其中，所述目标图像的图像内容与所述待搜索图像的图像内容之间的相似度大于预设相似度。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的图像搜索方法。

10.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现用于运行程序，其中，所述程序被设置为运行时执行所述权利要求1至7任一项中所述的图像搜索方法。

Images