CN113688263B - 用于搜索图像的方法、计算设备和存储介质 - Google Patents

Abstract

本公开的实施例涉及一种用于搜索图像的方法、计算设备和存储介质。根据该方法，确定待检索图像的分类信息；确定待检索图像的第一特征信息，第一特征信息为局部特征信息和全局特征信息中的一个；基于索引库，检索图像资料库中与待检索图像的分类信息匹配的第一图像列表，第一图像列表中的每一第一图像具有第一排序分数；基于索引库，检索第一图像列表中与待检索图像的第一特征信息匹配的第二图像列表，第二图像列表中的每一第二图像具有第二排序分数；以及确定最终的搜索结果，包括基于每一第二图像的第一排序分数和第二排序分数对第二图像列表进行排序，并将经排序的第二图像列表确定为最终的搜索结果。由此，能够提高图像的搜索精度。

Description

用于搜索图像的方法、计算设备和存储介质

技术领域

本公开的实施例总体涉及信息搜索领域，并且更具体地涉及一种用于搜索图像的方法、计算设备和存储介质。

背景技术

随着技术的发展，图像搜索已得到了越来越广泛的应用与发展。医学图像由于其对于疾病诊断的辅助作用，因此医学图像搜索更是具有非常重要的意义。

目前，大部分医学图像搜索系统主要利用例如基于网络模型的图像检索技术和基于图像视觉特征的图像检索技术之类的通用图像搜索技术。

基于网络模型的图像检索技术主要通过端到端的训练学习图像的特征因子，然后再根据待检索图像进行分类，来检索出相似结果，或者不直接训练网络模型，而是训练一个模型特征，然后通过例如K-近邻算法（KNN）找出相似结果集合。但是，这种方案需要收集大量的样本图像才能训练出一个相对可用的网络模型或模型特征。然而，对于绝大多数搜索引擎场景而言，往往很难收集到足够多的样本图像来进行前述训练。尤其是在医学领域，由于医学图像的保密性，往往仅有相关的医生才能获取有关的医学图像，因此可用的资源更为有限。由此，使得通过这种方法训练得到的网络模型往往检索精度不够理想。

基于图像视觉特征的图像搜索技术主要包括提取图像的视觉特征信息，然后通过复杂的特征计算公式构建图像索引信息，然后再通过距离相似度计算公式得出匹配度。然而，该方法可能会导致图像内在深层语义信息丢失，从而导致无法得到令人满意的检索结果。

由此，有必要提供一种用于搜索图像的技术，使得可以提高图像（尤其是医学图像）的搜索精度，进而提高用户的体验度。

发明内容

针对上述问题，本公开提供了一种用于搜索图像的方法和设备，使得有助于提高图像（尤其是医学图像）的搜索精度，进而提高用户的体验度。

根据本公开的第一方面，提供了一种用于搜索图像的方法，包括：确定待检索图像的分类信息；确定所述待检索图像的第一特征信息，所述第一特征信息为局部特征信息和全局特征信息中的一个；基于索引库，检索图像资料库中与所述待检索图像的分类信息匹配的第一图像列表，所述第一图像列表中的每一第一图像具有第一排序分数，所述索引库被配置成通过倒排索引将所述图像资料库中的每一图像的分类信息与所述图像绑定，并通过正排索引将所述图像资料库中的每一图像的第一特征信息与所述图像绑定；基于所述索引库，检索所述第一图像列表中与所述待检索图像的第一特征信息匹配的第二图像列表，所述第二图像列表中的每一第二图像具有第二排序分数；以及确定最终的搜索结果，确定最终的搜索结果包括基于每一第二图像的第一排序分数和第二排序分数对所述第二图像列表进行排序，并将经排序的第二图像列表确定为最终的搜索结果。

根据本公开的第二方面，提供了一种计算设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的第一方面的方法。

在本公开的第三方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中所述计算机指令用于使计算机执行本公开的第一方面的方法。

在一些实施例中，所述索引库还被配置成通过正排索引将所述图像资料库中的每一图像的第二特征信息与所述图像绑定，所述第二特征信息为全局特征信息和局部特征信息中的另一个，并且所述方法还包括：确定待检索图像的第二特征信息；基于所述索引库，检索所述第二图像列表中与所述待检索图像的第二特征信息匹配的第三图像列表，所述第三图像列表中的每一第三图像具有第三排序分数。

在一些实施例中，确定最终的搜索结果还包括：基于每一第三图像的第一排序分数、第二排序分数和第三排序分数对所述第三图像列表进行排序，并将经排序的第三图像列表确定为最终的搜索结果。

在一些实施例中，每一第一图像的第一排序分数指示该第一图像的类别与所述待检索图像的类别的匹配度，并且每一第二图像的第二排序分数指示该第二图像的第一特征信息与所述待检索图像的第一特征信息之间的匹配度。

在一些实施例中，每一第三图像的第三排序分数指示该第三图像的第二特征信息与所述待检索图像的第二特征信息之间的匹配度。

在一些实施例中，所述待检索图像的分类信息以及所述图像资料库中的每一图像的分类信息均由分类模块基于经训练的卷积分类模型确定。

在一些实施例中，所述第一特征信息为局部特征信息，并且所述待检索图像的第一特征信息以及所述图像资料库中的每一图像的第一特征信息均由第一特征信息提取模块基于以下方式确定：基于SURF特征提取算法，从相应图像中提取多个SURF描述符，以便作为所述相应图像的第一特征信息。

在一些实施例中，所述第二特征信息为全局特征信息，并且所述待检索图像的第二特征信息以及所述图像资料库中的每一图像的第二特征信息均由第二特征信息提取模块通过以下方式确定：使用边缘检测算法对相应图像进行边缘检测，以得到所述相应图像的轮廓线；对所述轮廓线进行傅里叶变换，以便得到用于表征所述相应图像的形状的多个傅里叶描述符；从所述多个傅里叶描述符中选取预定数量的傅里叶描述符作为所述相应图像的第二特征信息。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。

图1示出了用于实现根据本发明的实施例的用于搜索图像的方法的系统100的示意图。

图2示出了根据本公开的实施例的示例性图像搜索引擎系统200的结构框图。

图3示出了根据本公开的一些实施例的用于搜索图像的方法300的流程图。

图4示出了根据本公开了另一些实施例的用于搜索图像的方法400的流程图。

图5示出了根据本公开的实施例的电子设备500的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如上所述，医学图像由于其对于疾病诊断的辅助作用，因此医学图像搜索更是具有非常重要的意义。目前，大部分医学图像搜索系统主要利用例如基于网络模型的图像检索技术和基于图像视觉特征的图像检索技术之类的通用图像搜索技术，但是这两种检索技术的搜索精度都不够理想，用户体验度较差。

为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种图像搜索方法，包括：确定待检索图像的分类信息和第一特征信息，所述第一特征信息为局部特征信息或全局特征信息；基于索引库，检索图像资料库中与所述待检索图像的分类信息匹配的第一图像列表，所述第一图像列表中的每一第一图像具有第一排序分数，所述索引库被配置成将所述图像资料库中的每一图像与其分类信息绑定，并将所述图像资料库中的每一图像的第一特征信息与该图像绑定；基于所述索引库，检索所述第一图像列表中与所述待检索图像的第一特征信息匹配的第二图像列表，所述第二图像列表中的每一第二图像具有第二排序分数；以及基于每一第二图像的第一排序分数和第二排序分数，对所述第二图像列表进行排序，以便得到最终的搜索结果。以此方式，使得可以提高图像（尤其是医学图像）的搜索精度，进而提高用户的体验度。

图1示出了用于实现根据本发明的实施例的用于搜索图像的方法的系统100的示意图。如图1中所示，系统100包括图像搜索引擎系统110、网络120、网络服务器130和用户终端140。图像搜索引擎系统110、网络服务器130和用户终端140可以通过网络120（例如，因特网）进行通信。在本公开中，网络服务器130可供图像搜索引擎系统110抓取各种检索资源。例如，在图像搜索引擎系统110为专用于搜索医学领域的医学图像搜索引擎系统的情况下，网络服务器130可以是用于提供各种医学图像数据的网络服务器。用户终端140包括浏览器，以用于将用户输入的待检索图像提交给图像搜索引擎系统110，以及显示图像搜索引擎系统110返回的搜索结果。图像搜索引擎系统110可经由网络120与网络服务器130进行通信，以从网络服务器130中抓取相应的图像资料，从而帮助实现对例如后面将结合图2来进一步说明的图像资料库212以及索引库214的建立。图像搜索引擎系统110可由一个或多个计算设备实现，每一计算设备可以包括至少一个处理器112以及与该至少一个处理器112耦合的至少一个存储器114，该存储器114中存储有可由该至少一个处理器112执行的指令116，该指令116在被该至少一个处理器112执行时执行如下所述的方法300和400。图像搜索引擎系统110或用于实现图像搜索引擎系统110的计算设备的具体结构例如可以如下结合图5所述。

图2示出了根据本公开的一些实施例的示例性图像搜索引擎系统200的结构框图。如图2所示，图像搜索引擎系统200可以是如图1所示的图像搜索引擎系统110，其可包括抓取器202、搜索引擎收发模块204、分类模块206、第一特征信息提取模块208、图像资料库212、索引库214和检索模块216。

抓取器202被配置为通过网络（例如，图1所示的网络120）从网络服务器（例如，图1所示的网络服务器130）抓取所需的图像资料，以形成图像资料库212。

搜索引擎收发模块204被配置为接收用户例如经由用户终端140上的浏览器提交的待检索图像，并且被配置成将搜索结果提供给用户终端140的浏览器进行显示。

分类模块206被配置成为图像资料库中的每一图像以及待检索图像确定分类信息。该分类信息可包括为相应图像确定的类别以及该图像属于该类别的概率。分类模块206会对其接收到的每一个图像进行分类，以获取相应的分类信息。在一些实施例中，分类模块206可基于经训练的卷积分类模型（诸如，LeNet深度模型等）为来自图像资料库的每一图像以及待检索图像确定分类信息。该卷积分类模型是利用多个不同类别的样本图像训练而成的，每一样本图像上均标注有相应的类别，例如对与医学图像而言，这些类别可以是基于该医学图像所涉及的身体部位来进行区分的，例如包括颅骨、上肢、脊柱、髋关节、下肢、足踝等。为了提高卷积分类模型的准确度，在使用样本图像对卷积分类模型进行训练之前，可先对这些样本图像进行数据增广以及人工正负样本构造等处理。当将图像输入分类模块206时，该分类模块206可输出该图像的分类信息，例如该图像所属的类别以及该图像属于该类别的概率。在另一些实施例中，针对样本图像数量较少的应该场景，分类模块206可被配置成通过开源的预训练特征为来自图像资料库的每一图像以及待检索图像进行KNN分类，以便确定其分类信息。

第一特征信息提取模块208被配置成为图像资料库中的每一图像以及待检索图像确定第一特征信息，其可以是局部特征信息提取模块或全局特征信息提取模块中的任一者。在第一特征信息提取模块208为局部特征信息提取模块的情况下，第一特征信息为局部特征信息，而在第一特征信息提取模块208为全局特征信息提取模块的情况下，该第一特征为全局特征信息。

在一些实施例中，全局特征信息提取模块被配置成通过确定图像的全局特征信息来标识该图像。一般来说，图像的全局特征信息可包括该图像的颜色特征、纹理特征以及形状特征等。但是，图像的诸如颜色直方图、颜色矩阵、颜色聚合向量等图像特征易受色彩空间和噪音点等影响，而且对于医学图像而言，其通常不包括RGB之类的颜色信息，而仅包括灰度信息。另外，如前面所提到的，图像的纹理特征会导致图像的内在深层语义信息的丢失。因此，在本公开中，主要将图像的形状特征构建为该图像的全局特征信息。全局特征信息可以由例如用于表征图像的形状特征的多个全局特征描述符来表示。

在一些实施例中，全局特征信息提取模块可被配置成通过以下方式来构建全局特征信息：首先，使用边缘检测算法（例如，Canny边缘检测算法）对该全局特征信息提取模块接收到的图像进行边缘检测，以得到所述接收到的图像的轮廓线。在本公开中，边缘指的图像中灰度值变化较大的像素点的集合。例如，Canny边缘检测算法可具体包括先对图像进行滤波（例如，高斯滤波），以对图像进行降噪，使得该图像变得平滑，但该过程也可能会增大边缘的宽度。然后，使用Sobel算子或其他算子计算经滤波的图像的梯度值和梯度方向。由于在滤波的过程中，边缘有可能被增大了，因此随后还需过滤图像中的非最大值，以过滤掉图像中不是边缘的像素点（即，假的边缘点），使边缘的宽度尽可能为1个像素点：如果一个像素点属于边缘，那么这个像素点在梯度方向上的梯度值是最大的。否则不是边缘，将灰度值设为0。然后，进行边缘的滞后阈值筛选，即将图像中梯度强度低于预定低阈值的像素点进行抑制，以将其排除在边缘点之外，将图像中梯度强度高于预定高阈值的像素点标识为强边缘，以将其保留为边缘点，并将处于预定高阈值和低阈值之间的像素点标识为弱边缘，以留待进一步处理。然后，进行滞后边缘跟踪，即选出被定义为弱边缘的像素点中可作为真实边缘点的像素点，例如可查看每一弱边缘点及其8个邻域像素，如果其邻域像素点中的一个像素点已被标识为强边缘，则可将该弱边缘标识为真实边缘点。通过以上方式，可标识出图像中的整个轮廓线。在得到了图像的轮廓线后，可对该轮廓线进行傅里叶变换，以便得到用于表征该接收到的图像的形状的多个全局特征描述符（在该实施例中，为傅里叶描述符）。最后，从所得到的多个傅里叶描述符中选取预定数量的傅里叶描述符（例如，选取10个或15个傅里叶描述符）作为该接收到的图像的全局特征信息。

在一些实施例中，局部特征信息提取模块被配置成通过确定图像的局部特征信息来标识该图像。在本公开中，局部特征信息可通过分别用于表征图像中的多个局部特征的多个局部特征描述符来表示。在本公开中，局部特征信息可以包括与从图像的局部区域中抽取的局部特征（包括边缘、角点、线、曲线和具有特别属性的区域等）相关的信息。与全局特征信息相比，局部特征信息具有在图像中蕴含数量丰富，特征间相关度小，遮挡情况下不会因为部分特征的消失而影响其他特征的检测和匹配等特点，因此在图像搜索时考虑图像的这种局部特征信息，可有利于提高图像搜索的精度。在一些实施例中，局部特征信息提取模块可被配置成基于SURF特征提取算法，从其接收到的图像中提取多个局部特征描述符（在该实施例中为多个SURF描述符），以便作为该接收到的图像的局部特征信息。在又一些实施例中，局部特征信息提取模块也可被配置成基于SIFT特征提取算法，从其接收到的图像中提取多个局部特征描述符（在该实施例中为多个SIRF描述符），以便作为该接收到的图像的局部特征信息。

索引库214被配置成通过倒排索引将图像资料库212中的每一图像的分类信息与该图像绑定，并通过正排索引将图像资料库212中的每一图像的第一特征信息与该图像绑定。例如，该索引库214可包括倒排索引表和正排索引表。在该索引库214中的倒排索引表中，以图像的类别为关键字进行索引，该表中的关键字所对应的记录表项记录了图像资料库中属于该类别的所有图像的ID，由此可确定该图像的位置。在该索引库214中的正排索引表中，以图像的ID为关键字，该表中的关键字所对应的记录表项记录了相应图像的第一特征信息（局部特征描述符或全局特征描述符），查找时可扫描该表中的每个图像的第一特征信息直到找出与待检索图像的第一特征信息匹配的所有图像。

检索模块216可被配置成对所获取的待检索图像进行检索，以确定（即获得）与该待检索图像匹配的搜索结果。具体地，检索模块216可被配置成：基于索引库214，检索图像资料库212中与待检索图像的分类信息匹配的第一图像列表，第一图像列表中的每一第一图像具有第一排序分数；基于索引库214，检索第一图像列表中与待检索图像的第一特征信息匹配的第二图像列表，第二图像列表中的每一第二图像具有第二排序分数；以及确定最终的搜索结果，确定最终的搜索结果包括基于每一第二图像的第一排序分数和第二排序分数对第二图像列表进行排序，并将经排序的第二图像列表确定为最终的搜索结果。

在一些实施例中，如图2的示例所示，图像搜索引擎系统200还可包括第二特征信息提取模块210。第二特征信息提取模块210被配置成为图像资料库中的每一图像以及待检索图像确定第二特征信息。在第一特征信息提取模块208为局部特征信息提取模块，以被配置成为图像资料库中的每一图像以及待检索图像确定局部特征信息的情况下，该第二特征信息提取模块210可以为全局特征信息提取模块，以被配置成为图像资料库中的每一图像以及待检索图像确定全局特征信息。相反，在第一特征信息提取模块208为全局特征信息提取模块，以被配置成为图像资料库中的每一图像以及待检索图像确定全局特征信息的情况下，该第二特征信息提取模块210可以为局部特征信息提取模块，以被配置成为图像资料库中的每一图像以及待检索图像确定局部特征信息。

在这些实施例中，索引库214除了被配置为通过倒排索引将图像资料库212中的每一图像的分类信息与该图像绑定，并通过正排索引将图像资料库212中的每一图像的第一特征信息与该图像绑定以外，还被配置为通过正排索引将图像资料库212中的每一图像的第二特征信息与该图像绑定。由此，在该索引库214中的正排索引表中，以图像的ID为关键字，并且可通过与该表中的关键字相对应的第一记录表项记录相应图像的第一特征信息，并通过与该关键字相对应的第二记录表项记录相应图像的第二特征信息。

在这些实施例中，检索模块216还可被配置成：基于索引库214，检索第二图像列表中与待检索图像的第二特征信息匹配的第三图像列表，第三图像列表中的每一第三图像具有第三排序分数。由此，确定最终的搜索结果还可包括基于每一第三图像的第一排序分数、第二排序分数和第三排序分数对第三图像列表进行排序，并将经排序的第三图像列表确定为最终的搜索结果。

图3示出了根据本公开的一些实施例的用于搜索图像的方法300的流程图。方法300可由如图1所示的图像搜索引擎系统110或图2所示的图像搜索引擎系统200执行，也可以在图5所示的电子设备500处执行。应当理解的是，方法300还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤302，确定待检索图像的分类信息。

待检索图像的分类信息可由如图2所示的分类模块206基于经训练的卷积分类模型确定。在一些实施例中，待检索图像的分类信息可包括由分类模块206为该待检索图像确定的类别以及该图像属于该类别的概率。在本公开中，图像的类别可以指的是图像中所涉及的对象的类别。例如，在医学图像的应用场景中，图像的类别可根据图像所涉及的身体部位来进行区分，例如图像的类别可包括颅骨、上肢、脊柱、髋关节、下肢、足踝等等。

在步骤304，确定待检索图像的第一特征信息，第一特征信息为局部特征信息和全局特征信息中的一个。

在本公开中，待检索图像的局部特征信息可包括与从该待检索图像的局部区域中抽取的特征（包括边缘、角点、线、曲线和具有特别属性的区域等）相关的信息。如前所述，待检索图像的局部特征信息可由前面提到的局部特征信息提取模块来确定，其由从该待检索图像中提取的多个SURF描述符来表示。

待检索图像的全局特征信息可包括该待检索图像的形状特征信息，例如该图像中的边缘信息。如前所述，待检索图像的全局特征信息可由前面提到的全局特征信息提取模块来确定，其由表征该待检索图像的形状的预定数量的傅里叶描述符来表示。

在本公开中，在第一特征信息为局部特征信息的情况下，第一特征信息提取模块为局部特征信息提取模块，这时待检索图像的第一特征信息可由第一特征信息提取模块通过以下方式确定：基于SURF特征提取算法，从待检索图像中提取多个SURF描述符，以便作为该待检索图像的第一特征信息。

在本公开中，在第一特征信息为全局特征信息的情况下，该待检索图像的第二特征信息可由第二特征信息提取模块通过以下方式确定：使用边缘检测算法对相应图像进行边缘检测，以得到该待检索图像的轮廓线；对该轮廓线进行傅里叶变换，以便得到用于表征该待检索图像的形状的多个傅里叶描述符；从多个傅里叶描述符中选取预定数量的傅里叶描述符作为该待检索图像的第二特征信息。

在步骤306，基于索引库214，检索图像资料库中与待检索图像的分类信息匹配的第一图像列表，该第一图像列表中的每一第一图像具有第一排序分数，索引库被配置成将图像资料库中的每一图像的分类信息与该图像绑定，并将图像资料库中的每一图像的第一特征信息与该图像绑定。图像资料库中的每一图像的分类信息也可由如图2所示的分类模块206基于经训练的卷积分类模型确定。

图像资料库中的每一图像的分类信息由如图2所示的分类模块206基于经训练的卷积分类模型确定。图像资料库中的每一图像的第一特征信息由第一特征信息提取模块按与待检索图像的第一特征信息类似的方法确定。为了简要起见，这里不再进行赘述。

此外，在本公开中，可利用以上提到的索引库214中的倒排索引表，查找图像资料库中与待检索图像的类别匹配的所有图像的ID，然后基于该ID，在图像资料库中找到相应的匹配图像，从而形成第一图像列表。

在本公开中，每一第一图像的第一排序分数指示该第一图像的类别与待检索图像的类别的匹配度。

例如，该第一排序分数可通过计算待检索图像属于为其确定的类别的概率以及第一图像属于该类别的概率的乘积来确定。

在步骤308，基于索引库214，检索第一图像列表中与待检索图像的第一特征信息匹配的第二图像列表，第二图像列表中的每一第二图像具有第二排序分数。

例如，可利用以上提到的索引库214中的正排索引表，在该正排索引表中查找第一特征信息与待检索图像的第一特征信息匹配的第一图像列表中的所有第一图像，从而得到第二图像列表。

每一第二图像的第二排序分数指示该第二图像的第一特征信息与待检索图像的第一特征信息之间的匹配度。

在第一特征信息为局部特征信息的情况下，该第二排序分数为基于以下公式（1）确定的局部排序分数：

（1）

其中，n表示从第二图像中提取的局部特征描述符中与从待检索图像中提取的局部特征描述符匹配的个数。

在第一特征新为全局特征信息的情况下，该第二排序分数为基于以下公式（2）确定的全局排序分数：

（2）

其中，W表示由多个权重因子组成的矩阵，diag(W)表示W的对角矩阵，F_q表示由从待检索图像中提取的多个全局特征描述符组成的矩阵，F_d表示由从第二图像中提取的多个全局特征描述符组成的矩阵。

在步骤310，确定最终的搜索结果。在一些实施例中，确定最终的搜索结果包括基于每一第二图像的第一排序分数和第二排序分数对第二图像列表进行排序，并将经排序的第二图像列表确定为最终的搜索结果。

在一些实施例中，可通过计算第一排序分数和第二排序分数的和来得到最终排序分数，然后基于该最终排序分数来对第二图像列表进行排序，从而得到最终搜索结果。

在另一些实施例中，最终排序分数也可通过计算第一排序分数和第二排序分数的加权和来得到。

图4示出了根据本公开的另一些实施例的用于搜索图像的方法400的流程图。方法400可由如图1所示的图像搜索引擎系统110或图2所示的图像搜索引擎系统200执行，也可以在图5所示的电子设备500处执行。应当理解的是，方法400还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

如图4所示，该用于搜索图像的方法400除了包括与图3所示的用于搜索图像的方法300中的步骤302-308相同的步骤402-408之外，还包括步骤410-412。为了简要起见，这里不对步骤402-408作进一步赘述。此外，在这些实施例中，确定最终的搜索结果的步骤可包括基于每一第三图像的第一排序分数、第二排序分数和第三排序分数对第三图像列表进行排序，并将经排序的第三图像列表确定为最终的搜索结果，下面将结合步骤414对此进行更详细的描述。

在步骤410，确定待检索图像的第二特征信息。当第一特征信息为局部特征信息时，第二特征信息为全局特征信息，而当第一特征信息为全局特征信息时，第二特征信息为局部特征信息。

步骤410确定待检索图像的第二特征信息的具体方法与以上针对步骤304所描述的方法类似，因此为了简要起见，这里不再进行赘述。

在步骤412，基于索引库214，检索第二图像列表中与待检索图像的第二特征信息匹配的第三图像列表，第三图像列表中的每一第三图像具有第三排序分数。

这时，索引库除了被配置成通过倒排索引将图像资料库中的每一图像的分类信息与该图像绑定，并通过正排索引将图像资料库中的每一图像的第一特征信息与该图像绑定之外，还被配置成通过正排索引将图像资料库中的每一图像的第二特征信息与该图像绑定。例如，可利用以上提到的索引库214中的正排索引表，在该正排索引表中查找第二特征信息与待检索图像的第二特征信息匹配的第二图像列表中的所有第二图像，从而得到第三图像列表。

第三图像列表中的每一第三图像的第三排序分数指示该第三图像的第二特征信息与待检索图像的第二特征信息之间的匹配度。

在第二特征信息为局部特征信息的情况下，该第三排序分数为基于以下公式（3）确定的局部排序分数：

（3）

其中，n表示从第三图像中提取的局部特征描述符中与从待检索图像中提取的局部特征描述符匹配的个数。

在第二特征信息为全局特征信息的情况下，该第三排序分数为基于以下公式（4）确定的全局排序分数：

（4）

其中，W表示由多个权重因子组成的矩阵，diag(W)表示W的对角矩阵，F_q表示由从待检索图像中提取的多个全局特征描述符组成的矩阵，F_d表示由从第三图像中提取的多个全局特征描述符组成的矩阵。

在步骤414，确定最终的搜索结果。这时确定最终的搜索结果可包括基于每一第三图像的第一排序分数、第二排序分数和第三排序分数对所述第三图像列表进行排序，并将经排序的第三图像列表确定为最终的搜索结果。

在一些实施例中，可通过计算第一排序分数、第二排序分数和第三排序分数的和来得到最终排序分数，然后基于该最终排序分数来对第三图像列表进行排序，从而得到最终搜索结果。

在另一些实施例中，最终排序分数也可通过计算第一排序分数、第二排序分数和第三排序分数的加权和来得到。

通过以上技术方案，图像（尤其是医学图像）的搜索精度可以进一步得到提高，进而进一步提高了用户的体验度。

图5示出了可以用来实施本公开内容的实施例的示例电子设备500的示意性框图。例如，如图1所示的图像搜索服务器110和图2所示的图像搜索服务器200均可以由电子设备500来实施。如图所示，电子设备500包括中央处理单元（CPU）501，其可以根据存储在只读存储器（ROM）502中的计算机程序指令或者从存储单元508加载到随机存取存储器（RAM）503中的计算机程序指令，来执行各种适当的动作和处理。在随机存取存储器503中，还可存储电子设备500操作所需的各种程序和数据。中央处理单元501、只读存储器502以及随机存取存储器503通过总线504彼此相连。输入/输出（I/O）接口505也连接至总线504。

电子设备500中的多个部件连接至输入/输出接口505，包括：输入单元506，例如键盘、鼠标、麦克风等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如方法300和400，可由中央处理单元501执行。例如，在一些实施例中，方法300和400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由只读存储器502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序被加载到随机存取存储器503并由中央处理单元501执行时，可以执行上文描述的方法300和400的一个或多个动作。

本公开涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘计算设备。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种用于搜索图像的方法，包括：

确定待检索图像的分类信息；

确定所述待检索图像的第一特征信息，所述第一特征信息为局部特征信息和全局特征信息中的一个，其中所述局部特征信息通过分别用于表征所述待检索图像中的多个局部特征的多个局部特征描述符来表示，所述全局特征信息由用于表征所述待检索图像的形状特征的多个全局特征描述符来表示；基于索引库，检索图像资料库中与所述待检索图像的分类信息匹配的第一图像列表，所述第一图像列表中的每一第一图像具有第一排序分数，所述索引库被配置成通过倒排索引将所述图像资料库中的每一图像的分类信息与所述图像绑定，并通过正排索引将所述图像资料库中的每一图像的第一特征信息与所述图像绑定；

基于所述索引库，检索所述第一图像列表中与所述待检索图像的第一特征信息匹配的第二图像列表，所述第二图像列表中的每一第二图像具有第二排序分数；确定待检索图像的第二特征信息，所述第二特征信息为全局特征信息和局部特征信息中的另一个；

基于所述索引库，检索所述第二图像列表中与所述待检索图像的第二特征信息匹配的第三图像列表，所述第三图像列表中的每一第三图像具有第三排序分数，并且所述索引库还被配置成通过正排索引将所述图像资料库中的每一图像的第二特征信息与所述图像绑定；

确定最终的搜索结果，确定最终的搜索结果包括基于每一第三图像的第一排序分数、第二排序分数和第三排序分数对所述第三图像列表进行排序，并将经排序的第三图像列表确定为最终的搜索结果。

2.根据权利要求1所述的方法，其中每一第一图像的第一排序分数指示该第一图像的类别与所述待检索图像的类别的匹配度，并且每一第二图像的第二排序分数指示该第二图像的第一特征信息与所述待检索图像的第一特征信息之间的匹配度。

3.根据权利要求1所述的方法，其中每一第三图像的第三排序分数指示该第三图像的第二特征信息与所述待检索图像的第二特征信息之间的匹配度。

4.根据权利要求1所述的方法，其中所述待检索图像的分类信息以及所述图像资料库中的每一图像的分类信息均由分类模块基于经训练的卷积分类模型确定。

5.根据权利要求1所述的方法，其中所述第一特征信息为局部特征信息，并且所述待检索图像的第一特征信息以及所述图像资料库中的每一图像的第一特征信息均由第一特征信息提取模块基于以下方式确定：

基于SURF特征提取算法，从相应图像中提取多个SURF描述符，以便作为所述相应图像的第一特征信息。

6.根据权利要求1所述的方法，其中所述第二特征信息为全局特征信息，并且所述待检索图像的第二特征信息以及所述图像资料库中的每一图像的第二特征信息均由第二特征信息提取模块通过以下方式确定：

使用边缘检测算法对相应图像进行边缘检测，以得到所述相应图像的轮廓线；

对所述轮廓线进行傅里叶变换，以便得到用于表征所述相应图像的形状的多个傅里叶描述符；

从所述多个傅里叶描述符中选取预定数量的傅里叶描述符作为所述相应图像的第二特征信息。

7.一种计算设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其中所述计算机指令用于使计算机执行权利要求1-6中任一项所述的方法。

Images