CN108875814A - 图片检索方法、装置及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图片检索方法、装置及电子设备，在检索到相似图片后，不仅显示图片，还显示语义信息，通过该语义信息提示用户待分析图片与检索到的图片的相同内容和/或不同内容，从而使得用户明确知道待分析图片与检索到的图片的相同和/或区别，进而提高图片检索结果对用户的辅助性。

Description

图片检索方法、装置及电子设备

技术领域

本申请涉及检索技术领域，更具体地说，涉及一种图片检索方法、装置及电子设备。

背景技术

图片作为信息载体，是很多领域的研究对象。在研究过程中，有时需要从图片库中检索与待分析图片相似的图片，以便用户根据检索结果对待分析图片进行辅助分析。目前的图片检索方法多是基于图片底层特征(如，颜色，形状，纹理等)的检索，而图片的底层特征是对图片的统计信息进行描述，这种图片检索方法的检索结果不能很好的满足用户的需求，即检索结果对用户的辅助性较低。

因此，如何提高图片检索结果对用户的辅助性成为亟待解决的问题。

发明内容

本申请的目的是提供一种图片检索方法、装置及电子设备，以至少部分地解决现有技术中存在的问题。

为实现上述目的，本申请提供了如下技术方案：

一种图片检索方法，包括：

获取待分析图片；

将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，以确定目标样本图片；其中，所述待分析图片与所述目标样本图片的相似度，大于所述待分析图片与所述至少部分样本图片中除所述目标样本图片外其它样本图片之间的相似度；

显示所述目标样本图片，以及用于提示所述目标样本图片与所述待分析图片的相同和/或不同内容的语义信息。

上述方法，优选的，所述将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，包括：

对所述待分析图片中包含的目标对象进行识别；

基于所述目标对象将所述待分析图片与预置图片库中的至少部分样本图片进行匹配。

上述方法，优选的，所述将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，包括：

获取预定文本信息；

基于所述预定文本信息将所述待分析图片与预置图片库中的至少部分样本图片进行匹配。

上述方法，优选的，所述基于所述预定文本信息将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，包括：

基于所述预定文本信息对所述预置图片库中的样本图片进行筛选，得到第一候选样本图片，所述第一候选样本图片关联有所述预定文本信息；

将所述待分析图片与各个所述第一候选样本图片分别进行匹配。

上述方法，优选的，所述预定文本信息包括：所述待分析图片中目标对象所属用户的性别。

上述方法，优选的，所述待分析图片为医学图片。

上述方法，优选的，若获取预定文本信息，所述预定文本信息包括如下几种信息中的至少一种：病人的性别，病人的年龄，病人的籍贯，以及病人所属的科室。

上述方法，优选的，所述医学图片为CT图片。

上述方法，优选的，若对所述待分析图片中包含的目标对象进行识别，具体包括：对所述待分析图片中的预定器官的病灶部位进行识别。

上述方法，优选的，所述基于所述目标对象将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，包括：

获取所述病灶部位的语义特征，所述语义特征中至少包括表征所述病灶部位的医学特性的第一信息；

基于所述病灶部位的语义特征将所述待分析图片与预置图片库中的至少部分样本图片进行匹配。

上述方法，优选的，所述第一信息至少包括第一子信息，所述第一子信息包括：所述病灶部位的数量信息，以及用于表征所述病灶部位在所述预定器官中的位置的位置信息；所述基于所述病灶部位的语义特征将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，包括：

将所述待分析图片的第一子信息与所述预置图片库中各个样本图片的第一子信息分别进行匹配，得到所述预置图片库中各个样本图片分别对应的第一匹配结果；

将所述预置样本图片库中，表征待分析图片与样本图片具有相同第一子信息的第一匹配结果对应的样本图片作为第二候选样本图片；

对所述待分析图片的病灶部位进行哈希编码，得到所述待分析图片的第一哈希编码；

将所述待分析图片的第一哈希编码与各个所述第二候选样本图片的第一哈希编码分别进行匹配。

一种图片检索装置，包括：

获取模块，用于获取待分析图片；

匹配模块，用于将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，以确定目标样本图片；其中，所述待分析图片与所述目标样本图片的相似度，大于所述待分析图片与所述至少部分样本图片中除所述目标样本图片外其它样本图片之间的相似度；

显示模块，用于显示所述目标样本图片，以及用于提示所述目标样本图片与所述待分析图片的相同和/或不同内容的语义信息。

一种电子设备，包括处理器，以及所述处理器耦合的存储器；

所述存储器用于存储程序；

所述处理器用于运行所述存储器存储的程序，执行前述的图片检索方法。

通过以上方案可知，本申请提供的一种图片检索方法、装置及电子设备，在检索到相似图片后，不仅显示图片，还显示语义信息，通过该语义信息提示用户待分析图片与检索到的图片的相同内容和/或不同内容，从而使得用户明确知道待分析图片与检索到的图片的相同和/或区别，进而提高图片检索结果对用户的辅助性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图片检索方法的一种实现流程图；

图2为本申请实施例提供的将待分析图片与预置图片库中的至少部分样本图片进行匹配的一种实现流程图；

图3为本申请实施例提供的基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配的一种实现流程图；

图4为本申请实施例提供的基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配的另一种实现流程图；

图5为本申请实施例提供的基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配的又一种实现流程图；

图6为本申请实施例提供的基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配的又一种实现流程图；

图7为本申请实施例提供的基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配的又一种实现流程图；

图8为本申请实施例提供的图片检索方法的另一种实现流程图；

图9为本申请实施例提供的图片检索装置的一种结构示意图。

说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的图片检索方法的一种实现流程图如图1所示，可以包括：

步骤S11：获取待分析图片。

步骤S12：将待分析图片与预置图片库中的至少部分样本图片进行匹配，以确定目标样本图片。其中，待分析图片与目标样本图片的相似度，大于待分析图片与上述至少部分样本图片中除目标样本图片外其它样本图片的相似度。换句话说，在所有与待分析图片进行匹配的样本图片中，目标样本图片与待分析图片的相似度，大于非目标样本图像与待分析图片的相似度。

可以将待分析图片与预置图片库中的所有图片进行匹配，也可以先从预置图片库中先筛选出一部分图片，然后再将待分析图片与筛选出的图片进行匹配。

将待分析图片与样本图片进行匹配的过程，就是检索与待分析图片最相似的图片的过程。

步骤S13：显示目标样本图片，以及用于提示目标样本图片与待分析图片的相同和/或不同内容的语义信息。

通过步骤S12，可以确定目标样本图片与待分析样本图片中有哪些内容相同，哪些内容不同。本申请实施例中，在显示目标样本图片的同时，以展示语义信息的方式，使用户更加清楚的知道目标样本图片与待分析样本图片中，哪些内容相同和/或哪些内容不同。

该语义信息可以是文本、图形或符号等几种形式中的任意一种或至少两种的组合。

在一可选的实施例中，可以直接将语义信息漂浮显示在目标样本图片和/或待分析图片上。或者，将语义信息在图片之外的地方显示。

语义信息可以与语义信息所提示内容对应的对象相关联。也就是说，对于任意一个语义信息，为便于说明，这里记为第一语义信息。第一语义信息与位于待分析图片中的至少一个第一对象，以及位于样本图片中的至少一个第二对象相关联，其中，上述至少一个第一对象，以及上述至少一个第二对象均为第一语义信息所提示内容对应的对象。

从而可以在用户对第一语义信息进行第一操作(例如，单击操作)时，在待分析图片中将与第一语义信息关联的至少一个第一对象进行标记，以方便用户查看上述至少一个第一对象；在用户对第一语义信息进行第一操作时，还可以在目标样本图片中将与第一语义信息关联的至少一个第二对象进行标记，以方便用户查看上述至少一个第二对象。也就是说，当接收到针对第一语义信息的第一操作指令时，在待分析图片中将与第一语义信息关联的至少一个第一对象进行标记，并在目标样本图片中将与第一语义信息关联的至少一个第二对象进行标记。

或者，

可以在用户对待分析图片中的第一对象进行第一操作(例如，单击操作)时，将该第一对象关联的第一语义信息进行标记，若第一语义信息关联有多个第一对象，还在待分析图片中将与第一语义信息关联的多个第一对象(包括用户进行第一操作的第一对象)均进行标记，在用户对第一对象进行第一操作时，还可以在目标样本图片中将与第一语义信息关联的至少一个第二对象进行标记，以方便用户获知上述至少一个第一对象与上述至少一个第二对象的相同或不同。也就是说，当接收到针对第一对象的第一操作指令时，确定第一对象关联的第一语义信息，将第一语义信息进行标记，并在待分析图片中将与第一语义信息关联的至少一个第一对象进行标记，以及在目标样本图片中将与第一语义信息关联的至少一个第二对象进行标记。

同理，当接收到针对目标样本图片中第二对象的第一操作指令时，确定第二对象关联的第一语义信息，将第一语义信息进行标记，并在待分析图片中将与第一语义信息关联的至少一个第一对象进行标记，以及在目标样本图片中将与第一语义信息关联的至少一个第二对象进行标记。

在将语义信息漂浮显示在目标样本图片和/或待分析图片上的情况下，语义信息会遮挡图片中的部分内容。当用户查看第一图片(该第一图片为待分析图片或者是目标样本图片)时，若第一语义信息遮挡了第一图片中用户想要查看的内容，用户可以对该第一语义信息进行拖拽操作，以改变该第一语义信息的显示位置。也就是说，当接收到针对第一语义信息的拖拽指令时，改变第一语义信息的显示位置。

在一可选的实施例中，可以将目标样本图片与待分析样本图片的相同内容通过相同的图形和/或符号进行标记；当目标样本图片存在多个时，不同的目标样本图像采用不同的图形和/或符号进行标记。标记出相同内容后，不同内容也就清楚了。

进一步地，上述用于标记目标样本图片与待分析样本图片的相同之处的图形和/或符号还可以关联文本，以便于用户通过关联的文本更清楚的了解目标样本图片与待分析样本图片的相同之处。

本申请提供的图片检索方法，在检索到相似图片后，不仅显示图片，还显示语义信息，通过该语义信息提示用户待分析图片与检索到的图片的相同内容和/或不同内容，从而使得用户明确知道待分析图片与检索到的图片的相同点和/或区别，进而提高图片检索结果对用户的辅助性。

在一可选的实施例中，可以提取图片的语义特征，基于语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配。

本申请实施例中，可以提取图片中包含的对象在图片所属应用领域的属性信息，将该属性信息定义为语义特征。

图片所属领域可以包括但不限于如下列举的几种领域中的任意一种：医学领域，遥感领域等，也就是说，本申请中的图片可以为医学图片，也可以为遥感图片等。

相应的，目标样本图片与待分析图片的相同和/或不同内容可以是指同一对象的相同和/或不同的属性信息。

根据语义特征将待分析图片与样本图片进行匹配，使得检索到的图片在其应用领域内更加与待分析图片相匹配，从而进一步提高图片检索结果对用户的辅助性。

在一可选的实施例中，可以结合图片的语义特征、哈希编码和DBOW(DistributedBag of Words，分布式词袋)特征将待分析图片与预置图片库中的至少部分样本图片进行匹配。具体可以有以下几种实现方式：

方式一

将待分析图片的语义特征与预置图片库中的样本图片的语义特征进行匹配，筛选出语义特征与待分析图片的语义特征相同的样本图片；

利用图片的哈希编码或DBOW特征将待分析图片与筛选出的样本图片进行匹配，以确定目标样本图片。

在利用哈希编码将待分析图片与样本图片进行匹配时，可以计算待分析图片与样本图片的哈希编码之间的距离(如海明距离，欧式距离等)，距离越小，待分析图片与样本图片的相似度越大，距离越大，待分析图片与样本图片的相似度越小。

同理，在利用DBOW特征将待分析图片与样本图片进行匹配时，可以计算待分析图片与样本图片的DBOW特征之间的距离(如海明距离，欧式距离等)，距离越小，待分析图片与样本图片的相似度越大，距离越大，待分析图片与样本图片的相似度越小。

方式二

将待分析图片的哈希编码与样本图片的哈希编码进行匹配，筛选出与待分析图片的相似度较大的若干样本图片；

利用图片的语义特征将待分析图片与筛选出的若干样本图片进行匹配，以确定目标样本图片。

方式三

基于图片的第一语义特征获取图片的哈希编码；与方式二中的哈希编码不同，方式二中，哈希编码与语义特征无关，而本方式中的哈希编码是与语义特征相关的，即哈希编码根据语义特征得到。

利用获取的哈希编码将待分析图片与预置图片库中的样本图片进行匹配，筛选出与待分析图片的相似度较大的若干样本图片；

利用图片的第二语义特征将待分析图片与筛选出的若干样本图片进行匹配，以确定目标样本图片。

方式四

基于图片的第一语义特征获取图片的哈希编码；

利用获取的哈希编码将待分析图片与预置图片库中的样本图片进行匹配，筛选出与待分析图片的相似度较大的若干样本图片；

利用图片的DBOW特征将待分析图片与筛选出的若干样本图片进行匹配，以确定目标样本图片。

方式五

基于图片的第一语义特征获取图片的第一哈希编码；

利用获取的第一哈希编码将待分析图片与预置图片库中的样本图片进行匹配，筛选出与待分析图片的相似度较大的第一组样本图片；

利用第二语义特征将待分析图片与第一组样本图片中的样本图片进行匹配，筛选出与待分析图片的第二语义特征相同的第二组样本图片；

利用第三语义特征以及DBOW特征将待分析图片与第二组样本图片中的样本图片进行匹配，以确定目标样本图片。

在一可选的实施例中，本申请提供的将待分析图片与预置图片库中的至少部分样本图片进行匹配的一种实现流程图如图2所示，可以包括：

步骤S21：对待分析图片中包含的目标对象进行识别。

其中，目标对象可以为待分析图片中的其中一个对象，也可以为待分析图片中的至少两个对象。优选的，该至少两个对象可以为具有关联关系的至少两个对象。

步骤S22：基于目标对象将待分析图片与预置图片库中的至少部分样本图片进行匹配。对于目标对象中的每一个对象，为方便叙述，记为第一目标对象：可以提取第一目标对象的语义特征，或者，提取第一目标对象的非语义特征，或者，语义特征和非语义特征均提取。不同的目标对象提取的特征可以相同，也可以不同。

在进行匹配时，利用目标对象的特征，从预置图片库中筛选目标对象与待分析图片的目标对象相似的样本图片。

本申请实施例中，先对图片中的目标对象进行识别，根据该目标对象的特征(而不是整幅图片的特征)将待分析图片与预置图片库中的至少部分样本图片进行匹配，一方面减少了计算量，一方面提高检索精度。

在一可选的实施例中，本申请提供的将待分析图片与预置图片库中的至少部分样本图片进行匹配的一种实现方式可以为：

获取预定文本信息，该预定文本信息可以是用户输入的文本信息，或者，可以是用户从预置的可选文本中选择的文本信息。

基于该预定文本信息将待分析图片与预置图片库中的至少部分样本图片进行匹配，具体可以为：

基于预定文本信息对预置图片库中的样本图片进行筛选，得到第一候选样本图片，该第一候选样本图片关联有上述预定文本信息；也就是说，预置图片库中的样本图片关联有文本信息。

将待分析图片与各个第一候选样本图片分别进行匹配。

本申请实施例中，先通过文本信息对预置图片库中的图片进行筛选，然后将待分析图片与筛选出的样本图片进行匹配，减少了匹配计算量，也就减少了图片检索的工作量，一方面提高检索速度，一方面提高检索结果对于用户的有效性，进一步提高了图片检索结果对用户的辅助性。

在一可选的实施例中，上述预定文本信息可以包括：待分析图片中的目标对象所属用户的性别。

目标对象所属用户的性别不同，目标对象的属性可能会不同，因此，通过目标对象所属用户的性别，可以筛选出对待分析图片的用于更有辅助意义的图片。

在一可选的实施例中，待分析图片可以为医学图片，如，可以为CT(ComputerTomography，计算机断层扫描)图片，它是用X射线束对人体某部一定厚度的层面进行扫描得到。相应的，图片库中的样本图片也为CT图片

在一可选的实施例中，对应医学图片，上述预定义文本信息可以包括如下几种信息中的至少一种：病人的性别，病人的年龄，病人的籍贯，以及病人所属的科室等。也就是说，文本信息均为医学领域的相关信息。

在一可选的实施例中，对应医学图片，上述对待分析图片中包含的目标对象进行识别，具体可以包括：对待分析图片中的预定器官的病灶部位进行识别。例如，对预定器官(比如，脑、肝、胰、脾等)的肿瘤进行识别。

要对预定器官的病灶部位进行识别，先要识别出预定器官，然后在识别出的预定器官处对病灶部位进行识别。根据实际需要，可以只将病灶部位作为目标对象，或者，将预定器官和病灶部位均作为目标对象。

可选的，可以基于U-net网络对待分析图片中额预定器官的病灶部位进行识别。U-net网络是菲兹保大学的Olaf Ronneberger等人在2015年提出的用于图像分割的网络模型。

在一可选的实施例中，基于目标对象将待分析图片与预置图片库中的至少部分样本图片进行匹配的一种实现方式可以为：

获取病灶部位的语义特征，该语义特征中至少包括表征病灶部位的医学特性的第一信息，例如，第一信息可以为病灶的大小，病灶在器官中的位置，病灶的数量等。

基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配。

在一可选的实施例中，第一信息中至少可以包括第一子信息，该第一子信息可以包括：病灶部位的数量信息，以及用于表征病灶部位在预定器官中的位置的位置信息；则基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配的一种实现流程图如图3所示，可以包括：

步骤S31：将待分析图片的第一子信息与预置图片库中各个样本图片的第一子信息分别进行匹配，得到预置图片库中各个样本图片分别对应的第一匹配结果，该第一匹配结果用于表征待分析图片与样本图片的第一子信息是否相同。

步骤S32：将预置样本图片库中，表征待分析图片与样本图片具有相同第一子信息的第一匹配结果对应的样本图片作为第二候选样本图片。第二候选样本图片可以有若干个。

步骤S33：对待分析图片的病灶部位进行哈希编码，得到待分析图片的第一哈希编码。也就是说，本实施例中，用病灶部位的哈希编码表征待分析图片的第一哈希编码。

步骤S34：将待分析图片的第一哈希编码与各个第二候选样本图片的第一哈希编码分别进行匹配，以确定目标样本图片。具体可以计算待分析图片和第二候选样本图片的第一哈希编码的海明距离，将小于预设距离阈值的海明距离对应的第二候选样本图片作为目标样本图片。

在一可选的实施例中，第一信息中除了包括第一子信息，还可以包括第二子信息，该第二子信息可以包括：病灶部位的大小信息。则基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配的另一种实现流程图如图4所示，可以包括：

步骤S41：将待分析图片的第一子信息与预置图片库中各个样本图片的第一子信息分别进行匹配，得到预置图片库中各个样本图片分别对应的第一匹配结果，该第一匹配结果用于表征待分析图片与样本图片的第一子信息是否相同。

步骤S42：将预置样本图片库中，表征待分析图片与样本图片具有相同第一子信息的第一匹配结果对应的样本图片作为第二候选样本图片。

步骤S43：对待分析图片的病灶部位进行哈希编码，得到待分析图片的第一哈希编码。

步骤S41～步骤S43的实现过程与步骤S31～步骤S33的实现过程相同，这里不再详述。

步骤S44：基于上述第二子信息和第一哈希编码，将待分析图片与各个第二候选样本图片分别进行匹配，以确定目标样本图片。

可选的，步骤S44具体可以通过如下方式实现：

根据第二子信息将待分析图片与各个第二候选样本图片分别进行匹配，得到与每个第二候选样本图片对应的第一相似度参数；

根据第一哈希编码将待分析图片与各个第二候选样本图片分别进行匹配，得到与每个第二候选样本图片对应的第二相似度参数；

将第一相似度参数进行归一化，得到第一归一化值；将第二相似度参数进行归一化，得到第二归一化值。

其中，第一归一化值和第二归一化值与相似度均呈正相关，或均呈负相关。即，第一归一化值越大，待分析图片与第二候选样本图片的相似度越大，且第二归一化值越大，待分析图片与第二候选样本图片的相似度越大；或者，第一归一化值越小，待分析图片与第二候选样本图片的相似度越大，且第二归一化值越小，待分析图片与第二候选样本图片的相似度越大。

将同一第二候选样本图片对应的第一归一化值和第二归一化值相加，得到和值；

将表征最大相似度的n个和值对应的样本图片确定为目标样本图片。也就是说，该n个和值表征的相似度，大于其它和值表征的相似度。其中，上述n个和值可以相同，也可以不同。

在一可选的实施例中，第一信息中除了包括第一子信息，还可以包括第二子信息，该第二子信息可以包括：病灶部位的大小信息。则基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配的又一种实现流程图如图5所示，可以包括：

步骤S51：将待分析图片的第一子信息与预置图片库中各个样本图片的第一子信息分别进行匹配，得到预置图片库中各个样本图片分别对应的第一匹配结果，该第一匹配结果用于表征待分析图片与样本图片的第一子信息是否相同。

步骤S52：将预置样本图片库中，表征待分析图片与样本图片具有相同第一子信息的第一匹配结果对应的样本图片作为第二候选样本图片。

步骤S51～步骤S52的实现过程与步骤S31～步骤S32的实现过程相同，这里不再详述。

步骤S53：提取待分析图片的病灶部位的DBOW特征。

步骤S54：基于上述第二子信息和DBOW特征，将待分析图片与各个第二候选样本图片分别进行匹配，以确定目标样本图片。

可选的，步骤S54具体可以通过如下方式实现：

根据第二子信息将待分析图片与各个第二候选样本图片分别进行匹配，得到与每个第二候选样本图片对应的第一相似度参数；

根据DBOW特征将待分析图片与各个第二候选样本图片分别进行匹配，得到与每个第二候选样本图片对应的第二相似度参数；

将第一相似度参数进行归一化，得到第一归一化值；将第二相似度参数进行归一化，得到第二归一化值。

其中，第一归一化值和第二归一化值与相似度均呈正相关，或均呈负相关。即，第一归一化值越大，待分析图片与第二候选样本图片的相似度越大，且第二归一化值越大，待分析图片与第二候选样本图片的相似度越大；或者，第一归一化值越小，待分析图片与第二候选样本图片的相似度越大，且第二归一化值越小，待分析图片与第二候选样本图片的相似度越大。

将同一第二候选样本图片对应的第一归一化值和第二归一化值相加，得到和值；

将表征最大相似度的n个和值对应的样本图片确定为目标样本图片。

本实施例与图4所示实施例的不同之处在于，在确定第二候选样本图片后，图4所示实施例是基于病灶部位的哈希编码和第二子信息筛选目标样本图片，而本实施例是基于病灶部位的DBOW特征和第二子信息筛选目标样本图片。

在一可选的实施例中，图片的语义特征除了包括第一信息外，还可以包括表征预定器官的医学特性的第二信息。可选的，该第二信息可以包括预定器官的尺寸；则，基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配的又一种实现流程图如图6所示，可以包括：

步骤S61：根据预定器官的尺寸，将待分析图片的预定器官所在区域转换为第三哈希编码，第三哈希编码的长度与预定器官的尺寸相对应。也就是说，第三哈希编码的长度与预定器官的尺寸相关联，具体可以为：对应预定器官的不同尺寸范围，第三哈希编码的长度不同，其中，对于属于不同尺寸范围内的预定器官的尺寸，预定器官的尺寸越大，第三哈希编码的长度越长。

步骤S62：将待分析图片的第三哈希编码与预置图片库中各个样本图片的第三哈希编码分别进行匹配，得到预置图片库中各个样本图片分别对应的第三匹配结果。可以计算待分析图片的第三哈希编码与样本图片的第三哈希编码之间的海明距离，根据海明距离确定待分析图片与样本图片的相似度。其中，海明距离越小，待分析图片与样本图片的相似度越高。

步骤S63：根据第三匹配结果确定第一候选样本图片，第一候选样本图片与待分析图片的相似度大于预置图片库中其它样本图片与待分析图片的相似度。第一候选样本图片通常为若干个。

步骤S64：将待分析图片的第一子信息与各个第一候选样本图片的第一子信息分别进行匹配，得到各个第一候选样本图片分别对应的第一匹配结果。

步骤S65：将第一候选样本图片中，表征待分析图片与样本图片具有相同第一子信息的第一匹配结果对应样本图片作为第二候选样本图片。第一候选样本图片通常为若干个。

步骤S66：提取待分析图片的病灶部位的DBOW特征。

步骤S67：将提取的待分析图片的DBOW特征与各个第二候选样本图片的DBOW特征分别进行匹配，以确定目标样本图片。

在一可选的实施例中，图片的语义特征除了包括第一信息外，还可以包括表征预定器官的医学特性的第二信息。可选的，该第二信息可以包括预定器官的尺寸；则，基于病灶部位的语义特征将待分析图片与预置图片库中的至少部分样本图片进行匹配的又一种实现流程图如图7所示，可以包括：

步骤S71：根据预定器官的尺寸，将待分析图片的预定器官所在区域转换为第三哈希编码，即该第三哈希编码的长度与预定器官的尺寸相对应。

步骤S72：将待分析图片的第三哈希编码与预置图片库中各个样本图片的第三哈希编码分别进行匹配，得到预置图片库中各个样本图片分别对应的第三匹配结果。可以计算待分析图片的三哈希编码与样本图片的三哈希编码之间的海明距离，根据海明距离确定待分析图片与样本图片的相似度。其中，海明距离越小，待分析图片与样本图片的相似度越高。

步骤S73：根据第三匹配结果确定第一候选样本图片，第一候选样本图片与待分析图片的相似度大于预置图片库中其它样本图片与待分析图片的相似度。

步骤S74：将待分析图片的第一子信息与各个第一候选样本图片的第一子信息分别进行匹配，得到各个第一候选样本图片分别对应的第一匹配结果。

步骤S75：将第一候选样本图片中，表征待分析图片与样本图片具有相同第一子信息的第一匹配结果对应样本图片作为第二候选样本图片。

步骤S76：提取待分析图片的病灶部位的DBOW特征。

步骤S77：基于第二子信息和DBOW特征，将待分析图片与各个第二候选图片分别进行匹配，以确定目标样本图片。

前述实施例中，用于表征病灶部位在预定器官中的位置的位置信息，可以由病灶部位与预定器官在图片中的位置关系进行语义量化得到，例如，可以将病灶部位在预定器官中的位置语义量化为如下四种类型：上、下、左、右。具体可以根据上述位置关系与语义量化结果的对应关系，确定量化结果，即用于表征病灶部位在预定器官中的位置的位置信息。

病灶部位的数量信息可以由病灶部位的实际数量量化得到，具体可以量化为如下三种类型：1个，少数(例如：病灶部位的数量为2个或3个)和多数(例如，病灶部位的数量大于3个)。

病灶部位的大小信息由病灶部位的实际尺寸量化得到，具体可以量化为如下三种类型：小(例如，病灶部位小于3cm)，中(例如，病灶部位大于或等于3cm，且小于或等于10cm)，大(例如，病灶部位大于10cm)。

由于原生的病灶部位(如肿瘤)通常只有1个，而一般小的病灶部位是指小于3cm的病灶，因此，上述量化都是具有领域意义的。

另外，在预置图片库建库的时候，为了减少计算量，提高匹配精度，可以通过如下方法建立图片库：

提取图片集中的各个图片的局部敏感哈希(Locality Sensitive Hashing，LSH)特征；

计算两两图片的局部敏感哈希特征之间的海明距离；

利用VisualRank算法，根据图片间的海明距离从图片集中提取中满足预置条件的图片作为上述预置图片库。

其中，VisualRank算法的原理是：如果两个图像的距离如果足够近(如两个图像的距离小于预设距离预置)，那么就相当于两个图像之间有链接，存在链接越多的图片，该图片的重要性就越高。上述满足预置条件的图片可以为链接数量大于预设数量阈值的图片。

需要说明书的是，实际应用中，一张CT图片上会有多个子图，不同的子图是扫描对象的不同深度的切面图。

本申请实施例中，在进行匹配时，是针对CT图片中的子图进行匹配。对于待分析的CT图片，用户可以指定至少一个子图(通常是携带病灶部位的子图)进行匹配。对于用户指定的每一个子图，需要从预置图像库中搜索并返回与该子图相似的子图，或者，搜索并返回包含与该子图相似的子图的CT图片。基于此，前述实施例中，待分析图片是指一张CT图片中的一个子图。

下面以待分析图片为医学领域中的腹部CT图片为例，对本申请的图像检索方法的一种可选的实现方式进行示例性说明，假设用户(如，医生，科研人员等)想搜索与待分析CT图片中某个子图中的肝肿瘤相似的CT图片。本实施例提供的图片检索方法的另一种实现流程图如图8所示，可以包括：

步骤S801：电子设备获取待分析CT图片中指定的子图(为便于叙述，记为待分析子图)，以及预定文本信息。该预定文本信息可以为如下几种信息中的至少一种：病人的性别，病人的年龄，病人的籍贯，以及病人所属的科室等。其中，涉及具体数值的信息(例如，年龄等)，为避免检索条件限定的范围太小而无法检索到图片，预定文本信息可以为一个取值范围。

本示例中，用户除了将待分析的CT图片输入电子设备外，还将预定文本信息输入电子设备。另外，用户还指定CT图片中显示具有肝肿瘤的子图作为待分析子图。

电子设备根据待分析CT图片中的待分析子图，以及预定文本信息，执行步骤S802～步骤S811。

步骤S802：根据上述预定文本信息，对预置CT图片库中的样本图片进行筛选，得到若干个第一候选CT图片，该第一候选CT图片关联有上述预定文本信息。

步骤S803：确定一个待分析子图为目标子图。

步骤S804：对目标子图中的肝，以及肝肿瘤分别进行识别，确定语义信息，语义信息包括：肝的尺寸，肝肿瘤在肝上的位置，肝肿瘤的个数，以及各个肝肿瘤的大小。

步骤S805：将肝肿瘤的语义信息进行量化，其中，肝肿瘤在肝上的位置可以量化为上、下、左或右；肝肿瘤的个数可以量化为1个、少数(在肝肿瘤的个数为2个或3个时)或多数(在肝肿瘤的个数大于3个时)；肝肿瘤的大小可以量化为：小(在肝肿瘤小于3cm时)、中(在肝肿瘤大于或等于3cm，且小于或等于10cm时)或大(在肝肿瘤大于10cm时).

步骤S806：根据肝的尺寸，将目标子图中的肝区域转换为一定长度的哈希编码。

步骤S807：根据肝区域的哈希编码将目标子图与第一候选CT图片中的各个子图(为便于叙述，记为候选子图)分别进行匹配，确定与目标子图的相似度最大的N个第一候选子图，将包含至少一个第一候选子图的第一候选CT图片确定为第二候选CT图片。

步骤S808：利用量化后的肝肿瘤在肝上的位置，以及量化后的肝肿瘤的数量，在第二候选CT图片的第一候选子图中，筛选肝肿瘤在肝上的位置和肝肿瘤的数量均与目标子图相同的第二候选子图，将包含至少一个第二候选子图的第二候选CT图片确定为第三候选CT图片。

步骤S809：根据目标子图中肝肿瘤的大小以及肝肿瘤的DBOW特征，在第三候选CT图片的第二候选子图中，确定与目标子图匹配的第三候选子图，将包含至少一个第三候选子图的第三候选CT图片确定为与目标子图对应的目标CT图片。

其中，确定第三候选子图的过程可以包括：

对于目标子图中的每一个肝肿瘤(为方便叙述，记为目标肝肿瘤)，将该目标肝肿瘤的大小与第二候选子图中的各个肝肿瘤分别进行匹配，得到目标肝肿瘤与第一肝肿瘤的第一相似度。其中，若第一匹配结果为目标肝肿瘤的大小与第二候选子图中的第一肝肿瘤的大小相同，则第一相似度记为1，否则第一相似度记为0；

利用DBOW特征，将目标肝肿瘤与第一肝肿瘤的进行匹配，得到目标肝肿瘤与第一肝肿瘤的第二相似度，将第二相似度的取值归一化到[0，1]。

将第一相似度与归一化后的第二相似度相加，得到目标肝肿瘤与第一肝肿瘤的相似度。

同理可以得到目标肝肿瘤与第二候选子图中的其它肿瘤的相似度。

在目标肿瘤与第二候选子图中的各个肿瘤的相似度中，确定最大相似度，将该最大相似度作为目标肿瘤与第二候选子图的相似度。

同理可以确定目标子图中其它肝肿瘤与第二候选子图的相似度。

将目标子图中各个肝肿瘤与第二候选子图的相似度求和，得到目标子图与第二候选子图的相似度。

将与目标子图的相似度最大的M个第二候选子图确定为第三候选子图。

步骤S810：判断待分析CT图片中是否还存在未进行匹配的待分析子图，若存在，执行步骤S812；若不存在，则执行步骤S811；

步骤S811：显示与各个目标子图对应的目标CT图片，以及目标子图与目标CT图片的相同和/或不同内容。本示例中，目标子图与目标CT图片的相同和/或不同内容可以为：

肝的大小，肝肿瘤在肝中的位置，肝肿瘤的大小，以及肝肿瘤的数量等。

步骤S812：将下一个未进行匹配的待分析子图确定为目标子图，返回执行步骤S804及后续步骤。

与方法实施例相对应，本申请还提供一种图片检索装置，本申请提供的图片检索装置的一种结构示意图如图9所示，可以包括：

获取模块91，匹配模块92和显示模块93；其中，

获取模块91用于获取待分析图片；

匹配模块92用于将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，以确定目标样本图片；其中，所述待分析图片与所述目标样本图片的相似度，大于所述待分析图片与所述至少部分样本图片中除所述目标样本图片外其它样本图片之间的相似度；

显示模块93用于显示所述目标样本图片，以及用于提示所述目标样本图片与所述待分析图片的相同和/或不同内容的语义信息。

本申请提供的图片检索装置，在检索到相似图片后，不仅显示图片，还显示语义信息，通过该语义信息提示用户待分析图片与检索到的图片的相同内容和/或不同内容，从而使得用户明确知道待分析图片与检索到的图片的相同点和/或区别，进而提高图片检索结果对用户的辅助性。

在一可选的实施例中，匹配模块92可以用于：

对所述待分析图片中包含的目标对象进行识别；

基于所述目标对象将所述待分析图片与预置图片库中的至少部分样本图片进行匹配。

在一可选的实施例中，匹配模块92可以用于：

获取预定文本信息；

基于所述预定文本信息将所述待分析图片与预置图片库中的至少部分样本图片进行匹配。

在一可选的实施例中，匹配模块92基于所述预定文本信息将所述待分析图片与预置图片库中的至少部分样本图片进行匹配时，具体可以用于：

基于所述预定文本信息对所述预置图片库中的样本图片进行筛选，得到第一候选样本图片，所述第一候选样本图片关联有所述预定文本信息；

将所述待分析图片与各个所述第一候选样本图片分别进行匹配。

在一可选的实施例中，所述预定文本信息可以包括：所述待分析图片中目标对象所属用户的性别。

在一可选的实施例中，所述待分析图片可以为医学图片。

在一可选的实施例中，若获取预定文本信息，所述预定文本信息可以包括如下几种信息中的至少一种：病人的性别，病人的年龄，病人的籍贯，以及病人所属的科室等。

在一可选的实施例中，医学图片可以为CT图片。

在一可选的实施例中，匹配模块92若对所述待分析图片中包含的目标对象进行识别，具体可以用于：对所述待分析图片中的预定器官的病灶部位进行识别。

在一可选的实施例中，匹配模块92基于所述目标对象将所述待分析图片与预置图片库中的至少部分样本图片进行匹配时具体可以用于：

获取所述病灶部位的语义特征，所述语义特征中至少包括表征所述病灶部位的医学特性的第一信息；

基于所述病灶部位的语义特征将所述待分析图片与预置图片库中的至少部分样本图片进行匹配。

在一可选的实施例中，所述第一信息至少可以包括第一子信息，所述第一子信息可以包括：所述病灶部位的数量信息，以及用于表征所述病灶部位在所述预定器官中的位置的位置信息；匹配模块92基于所述病灶部位的语义特征将所述待分析图片与预置图片库中的至少部分样本图片进行匹配时，具体可以用于：

将所述待分析图片的第一子信息与所述预置图片库中各个样本图片的第一子信息分别进行匹配，得到所述预置图片库中各个样本图片分别对应的第一匹配结果；

将所述预置样本图片库中，表征待分析图片与样本图片具有相同第一子信息的第一匹配结果对应样本图片作为第二候选样本图片；

对所述待分析图片的病灶部位进行哈希编码，得到所述待分析图片的第一哈希编码；

将所述待分析图片的第一哈希编码与各个所述第二候选样本图片的第一哈希编码分别进行匹配。

本申请实施例还提供一种电子设备，该电子设备包括处理器，以及与该处理器耦合的存储器，该存储器用于存储程序，处理器用于运行存储器存储的程序，执行本申请公开的图片检索方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应当理解，本申请实施例中，从权、各个实施例、特征可以互相组合结合，都能实现解决前述技术问题。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图片检索方法，其特征在于，包括：

获取待分析图片；

将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，以确定目标样本图片；其中，所述待分析图片与所述目标样本图片的相似度，大于所述待分析图片与所述至少部分样本图片中除所述目标样本图片外其它样本图片之间的相似度；

显示所述目标样本图片，以及用于提示所述目标样本图片与所述待分析图片的相同和/或不同内容的语义信息。

2.根据权利要求1所述的方法，其特征在于，所述将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，包括：

对所述待分析图片中包含的目标对象进行识别；

基于所述目标对象将所述待分析图片与预置图片库中的至少部分样本图片进行匹配。

3.根据权利要求1所述的方法，其特征在于，所述将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，包括：

获取预定文本信息；

基于所述预定文本信息对所述预置图片库中的样本图片进行筛选，得到第一候选样本图片，所述第一候选样本图片关联有所述预定文本信息；

将所述待分析图片与各个所述第一候选样本图片分别进行匹配。

4.根据权利要求3所述的方法，其特征在于，所述预定文本信息包括：所述待分析图片中目标对象所属用户的性别。

5.根据权利要求1-3任意一项所述的方法，其特征在于，所述待分析图片为医学CT图片，若获取预定文本信息，所述预定文本信息包括如下几种信息中的至少一种：病人的性别，病人的年龄，病人的籍贯，以及病人所属的科室。

6.根据权利要求5所述的方法，其特征在于，若对所述待分析图片中包含的目标对象进行识别，具体包括：对所述待分析图片中的预定器官的病灶部位进行识别。

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标对象将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，包括：

获取所述病灶部位的语义特征，所述语义特征中至少包括表征所述病灶部位的医学特性的第一信息；

基于所述病灶部位的语义特征将所述待分析图片与预置图片库中的至少部分样本图片进行匹配。

8.根据权利要求7所述的方法，其特征在于，所述第一信息至少包括第一子信息，所述第一子信息包括：所述病灶部位的数量信息，以及用于表征所述病灶部位在所述预定器官中的位置的位置信息；所述基于所述病灶部位的语义特征将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，包括：

将所述待分析图片的第一子信息与所述预置图片库中各个样本图片的第一子信息分别进行匹配，得到所述预置图片库中各个样本图片分别对应的第一匹配结果；

将所述预置样本图片库中，表征待分析图片与样本图片具有相同第一子信息的第一匹配结果对应的样本图片作为第二候选样本图片；

对所述待分析图片的病灶部位进行哈希编码，得到所述待分析图片的第一哈希编码；

将所述待分析图片的第一哈希编码与各个所述第二候选样本图片的第一哈希编码分别进行匹配。

9.一种图片检索装置，其特征在于，包括：

获取模块，用于获取待分析图片；

匹配模块，用于将所述待分析图片与预置图片库中的至少部分样本图片进行匹配，以确定目标样本图片；其中，所述待分析图片与所述目标样本图片的相似度，大于所述待分析图片与所述至少部分样本图片中除所述目标样本图片外其它样本图片之间的相似度；

显示模块，用于显示所述目标样本图片，以及用于提示所述目标样本图片与所述待分析图片的相同和/或不同内容的语义信息。

10.一种电子设备，其特征在于，包括处理器，以及所述处理器耦合的存储器；

所述存储器用于存储程序；

所述处理器用于运行所述存储器存储的程序，执行如权利要求1-8任意一项所述的图片检索方法。