CN113449130A - 一种图像检索方法、装置、一种计算机可读存储介质和计算设备 - Google Patents

Abstract

本申请实施例公开了图像检索方法、装置、电子设备和计算机可读介质，该方法的实施例包括：获取待检索图像；确定所述待检索图像的图像信息，所述待检索图像的图像信息包括所述待检索图像中至少一个检测目标的类型信息和/或所述至少一个检测目标的质量信息；确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，所述匹配检索依赖关系包括至少一个子检索，所述子检索具有其对应的查询图像和检索主题库；进行所述匹配依赖关系中包括的子检索。如此，能够最大化地根据待检索图像的图像信息识别用户检索意图。

Description

一种图像检索方法、装置、一种计算机可读存储介质和计算 设备

技术领域

本发明涉及图像检索技术领域，具体而言，涉及一种图像检索方法、装置及系统。

背景技术

随着互联网技术的迅猛发展以及移动终端的快速普及，多媒体信息(例如视频、图像等)在人们的生活中扮演着越来越重要的角色。作为多媒体应用领域的代表，图像检索在信息检索领域所占的比例也越来越高。图像中包含的巨大信息量可以帮助人们在最短的时间内通过最为直观的手段，获取到感兴趣的信息。对于图像检索问题的研究，也在例如城市管理、交通管理等很多应用领域发挥着十分重要的作用。随着新型智慧城市和基于神经网络的图形目标检测和识别算法的发展和普及，视频结构化系统正在通过解析利用城市数万到上百万治安卡口相机的方式帮助城市管理者通过机器完成海量视图资源的解析。由此也引发了如何更好地实现以图搜图，进行各种目标检索的问题。

现有技术中，根据待检索图像自身的特点进行不同的检索入口分类，例如：检索露天垃圾堆放、检索人体、检索人脸、检索非机动车、检索车牌等等。然而，一次检索并不能满足用户需求，例如待检索图像中包含人体背影，虽然一次检索可能检索到人体正面图像，但用户可能想要检索到人脸图像或其他信息，这就需要用户不断干预检索过程，在不同检索入口反复切换、进行多次检索，才能得到想要的检索结果。此外，由于多次检索操作是割裂的，无法利用多次检索结果进行综合排序。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的，第一方面，本发明提供了一种图像检索方法，其包括：

获取待检索图像；确定所述待检索图像的图像信息，所述待检索图像的图像信息包括所述待检索图像中至少一个检测目标的类型信息和/或所述至少一个检测目标的质量信息；确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，所述匹配检索依赖关系包括至少一个子检索，所述子检索具有其对应的查询图像和检索主题库；进行所述匹配依赖关系中包括的子检索。

可选的，所述匹配检索依赖关系中包含至少一个子检索，所述子检索具有其对应的查询图像来源和检索主题库，所述查询图像来源包括第一来源和/或第二来源，所述第一来源包括所述待检索图像；所述第二来源包括所述匹配检索依赖关系中所包括的子检索中至少一个子检索的结果图像；所述匹配检索依赖关系中至少一个所述子检索的查询图像来源为所述第一来源；所述匹配检索依赖关系中查询图像来源为所述第一来源的子检索为初始子检索，所述初始子检索还具有匹配图像信息条件；所述确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，包括：根据所述待检索图像的图像信息，获取所述匹配图像信息条件与所述的待检索图像的图像信息匹配的匹配检索依赖关系。

可选的，进行所述匹配依赖关系中包括的子检索，包括：将所述初始子检索作为当前子检索；将所述待检索图像或所述待检索图像的子图作为当前子检索的查询图像；子检索步骤：根据当前子检索的查询图像，在当前子检索的检索主题库中进行检索，得到当前子检索的检索结果；子检索确定步骤：若当前子检索的检索结果包括结果图像，将所述匹配检索依赖关系中的第一子检索作为新的当前子检索，所述第一子检索为查询图像来源包括当前子检索的结果图像的子检索；将当前子检索的结果图像或结果图像的子图作为新的当前子检索的查询图像；重复执行所述子检索步骤和所述子检索确定步骤，直到根据所述子检索确定步骤无法确定出新的当前子检索。

可选的，图像检索方法还包括：获取检索依赖关系集合；所述检索依赖关系集合中包含至少一条检索依赖关系，所述检索依赖关系包含查询图像所要满足的图像信息条件和满足图像信息条件时进行的子检索，所述子检索具有其对应的查询图像和检索主题库；确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，包括：从检索依赖关系集合中，查找图像信息条件与所述待检索图像的图像信息匹配的目标检索依赖关系；进行所述匹配依赖关系中包括的子检索，包括：将待检索图像或待检索图像的子图作为查询图像，在所述目标检索依赖关系包括的子检索的检索主题库中进行检索，得到所述目标检索依赖关系包括的子检索的检索结果。

可选的，图像检索方法还包括：目标检索依赖关系确定步骤：如果目标检索依赖关系包括的子检索的检索结果中包括目标结果图像，从所述检索依赖关系集合中，查找图像信息条件与目标结果图像的图像信息匹配的新的目标检索依赖关系；目标子检索步骤：将部分或全部的所述目标结果图像或目标结果图像的子图作为查询图像，在所述新的目检索的检索主题库中进行检索，得到所述新的目标检索依赖关系包括的子检索的检索结果；重复执行所述目标检索依赖关系确定步骤和所述目标子检索步骤，直到根据所述目标检索依赖关系确定步骤无法确定出新的目标检索依赖关系。

可选的，检索依赖关系集合中的检索依赖关系包括一下至少之一：图像信息为人体、背面时，以人体主题库作为检索主题库进行检索；图像信息为人体、正面时，以人脸主题库作为检索主题库进行检索；图像信息为人脸时，以人脸主题库作为检索主题库进行检索；图像信息为人脸时，以人脸-身份主题库作为检索主题库进行检索；图像信息为车牌时，以车牌主题库作为检索主题库进行检索。

可选的，图像检索方法还包括：通过以下方式至少之一展示子检索的检索结果：直接展示第一种类的检索结果；关联展示第二种类和第三种类的检索结果；关联展示待检索图像和第四种类的检索结果；关联展示第五种类中第一类型和第二类型的检索结果；根据第六种类检索结果，生成第一展示结果。

可选的，图像检索方法还包括：获取结果选择指令，所述结果选择指令用于从展示的检索结果中选取期望的检索结果；根据所述期望的检索结果更新展示检索结果的方式/检索依赖关系。

为达上述目的，第二方面，本申请实施例提供了一种图像检索装置，其包括：包括图像获取单元、图像信息确定单元、检索依赖关系确定单元和子检索单元；所述图像获取单元用于获取待检索图像；所述图像信息确定单元用于确定所述待检索图像的图像信息，所述待检索图像的图像信息包括所述待检索图像中至少一个检测目标的类型信息和/或所述至少一个检测目标的质量信息；所述检索依赖关系确定单元用于确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，所述匹配检索依赖关系包括至少一个子检索，所述子检索具有其对应的查询图像和检索主题库；所述子检索单元用于进行所述匹配依赖关系中包括的子检索。

为达上述目的，第三方面，本申请实施例还提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器用于存储程序；所述处理器调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。

第四方面，本申请实施例还提供一种非易失性计算机可读取存储介质(以下简称计算机可读存储介质)，其上存储有计算机程序，所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

附图说明

图1为根据本发明实施例的图像检索方法的流程示意图；

图2为根据本发明实施例的图像检索装置的结构示意图；

图3为根据本发明实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图详细描述根据本发明的实施例，描述涉及附图时，除非另有表示，不同附图中的相同附图标记表示相同或相似的要素。要说明的是，以下示例性实施例中所描述的实施方式并不代表本发明的所有实施方式。它们仅是与如权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，本发明的范围并不局限于此。在不矛盾的前提下，本发明各个实施例中的特征可以相互组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。

在当今的信息社会中，图像已经成为了最主要的信息载体之一，图像检索也逐渐成为人们获取信息的主流途径之一。

图像检索的一大难题是如何从用户有限的查询指令中了解用户的检索意图，为用户返回满意的结果。当用户提供的查询指令较少时，用于描述用户检索意图的信息较少，容易使系统错误的理解用户的意图，进而给出用户不需要的结果。当用户提供的查询指令较多时，需要用户反复与系统交互，虽然能够使系统更好的理解用户的检索意图，但是用户体验较差。如何在用户提供的有限的查询指令中更好地理解用户意图，从而在无需与用户反复交互的情况下提供更加匹配用户检索意图的图像检索结果成为目前亟待解决的问题。

本发明实施例的方法能够根据待检索图像的图像信息推测用户检索意图，并借助检索依赖关系构建一系列的子检索来实现用户检索意图。如此，可在最大化的根据待检索图像的图像信息识别用户检索意图，减少对额外查询指令的需求，从而能够在简化与用户交互的情况下尽可能的为用户提供有效信息。

图1所示为根据本发明实施例的图像检索方法的流程示意图，包括步骤S01至S04。

在步骤S01中，获取待检索图像。待检索图像中可以包括一个或多个检测目标。

待检索图像可以是全景图像，也可以是仅包括检测目标所在区域的全景图像子图。

待检索图像是全景图像时，可以包括一个或多个检测目标。待检索图像是全景图像子图时，可以仅包括一个检测目标。

在步骤S02中，确定所述待检索图像的图像信息。

待检索图像的图像信息包括所述待检索图像中至少一个检测目标的类型信息和/或所述至少一个检测目标的质量信息。检测目标的类型信息用于描述检测目标所属的类型(如人脸、人体、车辆等)，还可用于描述检测目标属于该类型的置信度。因此检测目标的类型信息可以包括分类结果，还可以包括分类结果的置信度。检测目标的质量信息用于描述检测目标的质量，可以包括模糊度、角度、遮挡程度、是否正面、是否关联人脸、是否关联人体、是否关联车牌中至少一者。不同类型的检测目标的质量评价角度可能不同，因此不同类型的检测目标可以对应不同的质量信息类别，例如人体类型的检测目标的质量信息可包括模糊度、角度、是否关联人脸，人脸类型的检测目标的质量信息可包括模糊度、角度、是否关联人体。有些类别的质量信息可以为布尔值，例如是否正面：0背面1正面，有些类别的质量信息可以为数值型，例如遮挡程度：0表示无遮挡，3表示部分遮挡，10表示完全遮挡。

例如，若待检索图像包括一个人骑非机动车的场景，其包括的检测目标的类型为人脸、人体、非机动车，三个类型的检测目标对应的质量信息如表1所示：

表1

一例中，可将待检索图像输入多目标检测模型，得到待检索图像中至少一个检测目标的类型信息。例如，可将待检索图像输入多目标检测模型以对多种类型的目标进行检测。检测模型可采用现有的Faster-RCNN等卷积神经网络模型。若待检索图像包括人骑非机动车，则将待检索图像输入多目标检测模型进行多目标检测，得到“人脸”、“人体”和“非机动车”三个类型。可理解的是，目标检测模型在给出检测目标类型的同时，还可以给出检测目标在待检索图像中的位置，后续可根据检测目标在待检索图像中的位置从待检索图像中截取出检测目标所在子图。

一例中，可将待检索图像或待检索图像的子图输入质量模型，得到待检索图像中至少一个检测目标的质量信息。

一例中，可将待检索图像输入能够同时检测目标并给出目标质量的模型，直接得到待检索图像中至少一个检测目标的质量信息。

本步骤中确定了待检索图像的图像信息，用于通过待检索图像的图像信息推测用户的检索意图。

在步骤S03中，确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，所述匹配检索依赖关系包括至少一个子检索，所述子检索具有其对应的查询图像和检索主题库。所述子检索还具有排序过滤规则，包括例如相关性条件、图像条件和其他条件。

进行一次子检索，就是在某个检索主题库中检索与某个查询图像满足一定相关性条件(例如与查询图像相似度大于阈值)或同时满足图像条件(例如图像采集时间在一定范围)、其他条件(例如取前三，例如需要关联人体)中至少一者的结果的过程。因此，各子检索具有与其对应的查询图像和检索主题库。

检索主题库是按照图像中所包含的检测目标的类型进行划分的图像库，检索主题库可以是人脸库、人体库、车辆库、人脸-身份库等。还可根据其他划分标准对检索主题库进行进一步划分，例如可根据图像采集时间划分为实时库、历史库，图像采集时间距离当前时刻的时长小于时长阈值时，图像位于实时库，达到时长阈值时就转移至历史库。

本步骤中，根据待检索图像的图像信息，借助检索依赖关系构建一系列的子检索来实现用户检索意图用户的检索意图。

例如，当用户输入的待检索图像为人体背面图像时(待检索图像的图像信息为类型信息：人体，质量信息：背面)，推测其检索意图大概率是要确定人员身份，同时找出人体背面图像对应的人员最新出现的时间地点。人员身份通常需通过人脸或车牌确定，人员最新出现的时间地点可通过人员对应的人脸、人体最新被抓拍到的时间地点确定。

在一些实施例中，匹配检索依赖关系中包括一系列子检索，根据匹配检索依赖关系可一次性确定出实现用户检索意图所需的全部子检索。此时，可根据待检索图像的图像信息，从多个检索依赖关系中选择出匹配依赖关系，根据匹配依赖关系中包括的一系列子检索中构建实现用户检索意图所需的全部子检索。续举前例，匹配检索依赖关系中包括“在人体检索主题库中用人体背面图像检索，得到人体正面图像，截取人体正面图像中的人脸，在人脸-身份检索主题库用人脸检索，得到人员身份，在人脸检索主题库用人脸检索，得到最新采集到的人脸图像，在人体检索主题库中用人体背面图像、人体正面图像检索，得到最新采集到的人体图像”，根据匹配依赖关系即可构建出一系列子检索，进行了这些子检索也就能够实现用户检索意图。

另一些实施例中，匹配检索依赖关系中仅包括以待检索图像为查询图像的一级子检索，根据匹配检索依赖关系可确定出实现用户检索意图所需的一级子检索，后续可通过其他检索依赖关系继续确定出实现用户检索意图所需的其他子检索。续举前例，匹配检索依赖关系中包括“在人体检索主题库中用人体背面图像检索，得到人体正面图像”这一子检索，后续可根据该子检索的检索结果结合其他检索依赖关系确定实现用户检索意图所需的其他子检索。

在步骤S04中，进行所述匹配依赖关系中包括的子检索。

一些实施例中，步骤S03中根据匹配检索依赖关系一次性确定出实现用户检索意图所需的全部子检索，步骤S04中便可进行子检索，从而最大限度的实现用户的检索意图。

另一些实施例中，可在步骤S03中确定出实现用户检索意图所需的部分子检索，步骤S04中便可进行子检索，后续可根据该子检索的检索结果结合其他检索依赖关系确定实现用户检索意图所需的其他子检索，从而最大限度的实现用户的检索意图。

需要说明的是，这里的“最大限度”的完成是指存在无法完成用户检索意图对应的检索的情况，例如“在人体检索主题库中用人体背面图像检索人体正面图像”时，存在无法检索到人体正面图像的情况，此时检索被迫中止，无法实现用户检索意图。

可以理解的是，检索结果可以包括不同种类。例如检索结果可包括图像种类的检索结果(结果图像)、附加信息种类的检索结果(如结果图像的附加信息，如拍摄时间、地点等)、其他种类的检索结果(如身份)。

采用本发明实施例的图像检索方法，根据待检索图像的图像信息推测用户检索意图，通过与待检索图像的图像信息匹配的、能够体现用户检索意图的一系列子检索实现用户检索意图。因此本发明实施例能够根据待检索图像的图像信息推测用户检索意图，并借助检索依赖关系构建一系列的子检索来实现用户检索意图。如此，可在最大化的根据待检索图像的图像信息识别用户检索意图，减少对额外查询指令的需求，从而能够在简化与用户交互的情况下尽可能的为用户提供有效信息。

根据本发明实施例的图像检索方法，检索依赖关系至少可以有以下两种设置方式：

方式一，一个检索依赖关系中包括图像信息条件和图像信息条件对应的一系列子检索。根据待检索图像的图像信息从检索依赖关系中确定出匹配检索依赖关系后，根据匹配检索依赖关系可一次性确定出实现用户检索意图所需的全部子检索。

方式二，一个检索依赖关系包括图像信息条件和图像信息对应的一级子检索。根据待检索图像的图像信息从检索依赖关系中确定出匹配检索依赖关系后，根据匹配检索依赖关系仅能确定出实现用户检索意图所需的一级子检索。后续可通过其他检索依赖关系继续确定出实现用户检索意图所需的其他子检索。

下面对这两种方式分别进行说明。

对应于方式一的一个具体实施方式中，子检索具有其对应的查询图像来源和检索主题库，所述查询图像来源包括第一来源和/或第二来源，所述第一来源包括所述待检索图像；所述第二来源包括所述匹配检索依赖关系中所包括的子检索中至少一个子检索的结果图像；所述匹配检索依赖关系中至少一个所述子检索的查询图像来源为所述第一来源；所述匹配检索依赖关系中查询图像来源为所述第一来源的子检索为初始子检索，所述初始子检索还具有图像信息条件。

对于某一个子检索，其查询图像来源可以是第一来源，也可以是第二来源，也可以同时包括第一来源和第二来源。第二来源也可以同时包括一个或多个子检索，例如第二来源为子检索3和子检索4的结果图像。

可以理解的是，匹配检索依赖关系可以是根据待检索图像的图像信息从多个检索依赖关系中筛选而来，每个检索依赖关系均包括至少一个子检索，至少一个子检索中的初始子检索具有图像信息条件，初始子检索的图像信息条件用于和待检索图像的图像信息进行匹配，以判断该检索依赖关系是否是与待检索图像的图像信息匹配的匹配检索依赖关系。检索依赖关系还可以包括排序过滤条件，也可不包含排序过滤条件而使用默认的排序过滤条件。排序过滤条件为：按相似度排序，用相似度阈值过滤，用是否关联有其他目标过滤，根据本子检索对应的检索主题库中各图像与查询图像的相似度和各图像关联的其他目标的图像与查询图像中其他目标的图像的相似度得到综合相似度、按照综合相似度排序等，本发明实施例不做限定。

本方式中，检索依赖关系可以如表2所示。

表2

可以理解的是，由于除初始子检索外的其他子检索已经限定了查询图像来源、查询图像来源为子检索且子检索的结果图像的图像信息通常是已知的(例如，子检索2是在人脸检索主题库中进行，其结果必然是人脸图像)，可不限定除初始子检索外的其他子检索的图像信息条件。当出现当前子检索的查询图像的类型信息和当前子检索的检索主题库的类型不符的情况时，很可能是因为查询图像的查询图像中除了包含查询图像类型的类型信息的目标，还包括检索主题库对应的类型信息的目标。例如人体正面图像，虽然该图像包含目标的类型信息为人体，但其实际上还包括人脸类型的目标。此时，可对查询图像来源进行目标检测，从中截取检测目标的类型信息和检索主题库类型匹配的部分作为查询图像。

步骤S03包括：

根据所述待检索图像的图像信息，获取所述图像信息条件与所述的待检索图像的图像信息匹配的匹配检索依赖关系。

例如，待检索图像的图像信息为人体、背面，则可根据待检索图像的图像信息，从多个检索依赖关系中筛选图像信息条件与待检索图像的图像信息匹配的匹配检索依赖关系。表2所示的检索依赖关系的图像信息条件与待检索图像的图像信息匹配，因此表2的检索依赖关系为匹配检索依赖关系。

步骤S04包括：

S041:将所述初始子检索作为当前子检索；

初始子检索为查询图像来源为待检索图像的子检索，在确定出匹配依赖关系后，可以匹配检索依赖关系中的初始子检索作为当前子检索。

S042:将所述待检索图像或所述待检索图像的子图作为当前子检索的查询图像。

在一些检索手段中，查询图像和检索主题库中的图像均为仅包括检测目标的子图。此时，将待检索图像的子图作为当前子检索的查询图像。

在这种情况下，如果前一子检索的结果图像为子图，当前子检索的检索主题库也为同类型检测目标的子图，则直接将前一子检索的结果图像作为当前子检索的查询图像。例如前一子检索的结果图像为人体正面图像，当前子检索的检索主题库为人体主题库，则可直接将前一子检索的人体正面图像结果图像作为当前子检索的查询图像。如果前一子检索的结果图像为子图，但是当前子检索的检索主题库为不同类型检测目标的子图，需要根据前一子检索的结果图像获取与当前子检索的检索主题库同类型检测目标的子图。这里的获取可以是截取，也可以是查找与结果图像关联的且与当前子检索的检索主题库同类型的检测目标的子图。例如前一子检索的结果图像为人体正面图像，当前子检索的检索主题库为人脸主题库，则可从人体正面图像中截取人脸子图，或是获取和人体正面图像关联的人脸子图作为当前子检索的查询图像。可以理解的是，如果需要根据前一子检索的结果图像截取子图，可以对前一子检索的结果图像进行目标检测，获得所要截取的目标所在区域后进行截取。

在一些检索手段中，查询图像和检索主题库中的图像均为包括检测目标的全景图像。此时，将待检索图像作为当前子检索的查询图像。

S043:子检索步骤：根据当前子检索的查询图像，在当前子检索的检索主题库中进行检索，得到当前子检索的检索结果。

可以根据当前子检索的查询图像，在当前子检索的检索主题库中进行检索，得到中间检索结果，再用排序过滤条件对中间检索结果进行筛选，得到当前子检索的检索结果。

续举前例，当前子检索为子检索1/初始子检索，以待查询图像的人体背面图像所在区域的子图为查询图像，在人体主题库中进行子检索1。

S044:子检索确定步骤：若当前子检索的检索结果包括结果图像，将所述匹配检索依赖关系中的第一子检索作为新的当前子检索，所述第一子检索为查询图像来源包括当前子检索的结果图像的子检索；将当前子检索的结果图像或结果图像的子图作为新的当前子检索的查询图像。

进行当前子检索后，得到的检索结果可能包含结果图像，也可能不包含结果图像。不包含结果图像可能由两种原因造成。

原因1：子检索返回的结果不是图像，例如人脸-身份库返回的结果是身份，此时无需利用身份进行下一步检索。

原因2：子检索返回的结果是图像，但是返回的全部图像均不满足排序过滤条件。例如排序过滤条件是人体正面图像，但返回的全部图像均是人体背面图像，不包含人体正面图像，因此检索结果中不包含结果图像。此时后续检索被迫中止，无法实现用户检索意图。

无论是哪种原因，都无需在匹配依赖关系中确定新的当前子检索，

进行当前子检索后，若得到的检索结果中包括结果图像，则可将结果图像的部分或全部作为后续子检索的查询图像进行后续子检索。将匹配检索依赖关系中查询图像来源为当前子检索的检索结果的子检索作为新的当前子检索。

续举前例，当前子检索为子检索1(初始子检索)，子检索2和子检索3的查询图像来源为子检索1，因此子检索2和子检索3为新的当前子检索。子检索1的结果图像或结果图像子图为新的当前子检索的查询图像。

重复执行S043和S044，直到根据S044无法确定出新的当前子检索。

如前所述，可能基于原因1或原因2无法确定新的子检索。无法确定新的子检索的另一可能原因是，虽然当前子检索的检索结果包括结果图像，但是匹配检索依赖关系中各子检索的查询图像来源均不包括当前子检索的结果图像。续举前例，进行子检索2和子检索3后，在步骤S044中确定新的当前子检索时发现，匹配检索依赖关系中的任何子检索的查询图像来源均不包括子检索2和子检索3的结果图像，因此无法确定新的当前子检索。

此时，基于匹配依赖关系的检索结束，最大限度的实现了用户的检索意图。

在方式一中，通过待检索图像的图像信息确定匹配检索依赖关系，根据匹配检索依赖关系构建一系列子检索，从而通过构建出的子检索最大限度的实现用户检索意图。

对应于方式二的一个具体实施方式中，在步骤S01之前，图像检索方法还包括：

步骤S00:获取检索依赖关系集合；所述检索依赖关系集合中包含至少一条检索依赖关系，所述检索依赖关系包含查询图像所要满足的图像信息条件和满足图像信息条件时进行的子检索，所述子检索具有其对应的查询图像和检索主题库。

检索依赖关系集合的一个具体示例如表3所示。在获取了检索依赖关系集合后，在每次确定匹配检索依赖关系或后续确定目标检索依赖关系时，都从检索依赖关系集合中包含的检索依赖关系中进行筛选。

表3

如前所述，检索依赖关系中可包括或不包括排序过滤条件。

步骤S03包括：从检索依赖关系集合中，查找图像信息条件与所述待检索图像的图像信息匹配的目标检索依赖关系。

例如，待检索图像的图像信息为人体、正面时，图像信息条件与所述待检索图像的图像信息匹配的目标检索依赖关系为检索依赖关系2和检索依赖关系3。待检索图像的图像信息为人体、背面时，图像信息条件与所述待检索图像的图像信息匹配的目标检索依赖关系为检索依赖关系1。

步骤S04包括：将待检索图像或待检索图像的子图作为查询图像，在所述目标检索依赖关系包括的子检索的检索主题库中进行检索，得到所述目标检索依赖关系包括的子检索的检索结果。

关于子检索使用子图还是全景图像、子检索的检索结果的类型、是否包括图像、排序过滤条件同方式一，在此不再赘述。

在步骤S04之后，图像检索方法还包括：

步骤S05目标检索依赖关系确定步骤：如果目标检索依赖关系包括的子检索的检索结果中包括目标结果图像，从所述检索依赖关系集合中，查找图像信息条件与目标结果图像的图像信息匹配的新的目标检索依赖关系。

方式二中，每次只确定并进行一级子检索。在步骤S03和S04确定并进行了一级子检索(匹配检索依赖关系包括的子检索)，在步骤S05中根据目标结果图像的图像信息确定出下一级子检索。具体过程为，如果目标检索依赖关系包括的子检索的检索结果中包括结果图像(称为目标结果图像)，则确定目标结果图像的图像信息(确定目标结果图像的图像信息的过程如步骤02所述，在此不再赘述)，再从所述检索依赖关系集合中，查找图像信息条件与目标结果图像的图像信息匹配的检索依赖关系作为新的目标检索依赖关系。

例如，检索依赖关系1所包含的子检索所得目标结果图像的图像信息为人体、正面，则可从检索依赖关系集合中，查找到图像信息条件与目标结果图像的图像信息匹配的新的目标检索依赖关系：检索依赖关系2和3。

步骤S06目标子检索步骤：将所述目标结果图像或目标结果图像的子图作为查询图像，在所述新的目检索的检索主题库中进行检索，得到所述新的目标检索依赖关系包括的子检索的检索结果。

本步骤同方式一的子检索步骤，在此不再赘述。

重复执行步骤S05和步骤S06，直到根据步骤S05无法确定出新的目标检索依赖关系。

通过步骤S05和步骤S06，可以根据待检索图像的图像信息构建一级子检索、进行一级子检索，再根据子检索的结果构建新一级子检索、进行新一级子检索的方式，构建出一系列子检索，从而通过构建出的子检索最大限度的实现用户检索意图。

相比于方式二，方式一中，对某个检索依赖关系的修改不会影响对应不同待检索图像的图像信息的其他检索。例如，第一次检索中，待检索图像为人脸，匹配检索依赖关系为检索依赖关系1，检索依赖关系1中包括根据待检索图像(人脸图像)在人脸-身份库中进行检索的子检索1。第二次检索中，待检索图像为人体背面图像，匹配检索依赖关系为检索依赖关系2，检索依赖关系2中包括根据人体背面图像在人体主题库中进行检索的子检索2，根据子检索2检索到的人体正面图像在人脸主题库中进行检索的子检索3，根据子检索3检索到的人脸图像在人脸-身份库中进行检索的子检索4。由于检索依赖关系1和检索依赖关系2单独维护，即便改动了子检索1的检索主题库或排序过滤条件，也并不影响检索依赖关系2中的子检索4，也就不影响第二次检索的检索结果。第三次检索中，待检索图像为人脸，匹配检索依赖关系和第一次检索一样为检索依赖关系1，如果改动了子检索1的检索主题库或排序过滤条件，会影响第三次检索的检索结果。可见方式一中，当其他检索与当前检索的待检索图像的图像信息不同时，对某个检索依赖关系的修改不会影响其他检索。当其他检索与当前检索的待检索图像的图像信息相同时，由于二个检索进行时(子检索构建时)依赖相同的检索依赖关系，对某个检索依赖关系的修改会影响其他检索。

方式二中，对某个检索依赖关系的修改可能影响该检索依赖关系参与构建的所有检索，无需针对每种待检索图像的图像信息单独修正检索依赖关系。例如，第一次检索中，待检索图像为人脸，对应的检索依赖关系为检索依赖关系1，检索依赖关系1中包括根据人脸图像在人脸-身份库中进行检索的子检索1。第二次检索中，待检索图像为人体背面图像，确定出的检索依赖关系依次为检索依赖关系3->检索依赖关系2->检索依赖关系1。第三次检索中，待检索图像为人体正面图像，确定出的检索依赖关系依次为检索依赖关系2->检索依赖关系1。由于检索依赖关系1参与了第一次、第二次、第三次检索的构建，如果改动了子检索1的检索主题库或排序过滤条件，则第一次、第二次、第三次检索的检索结果都会受到影响。而且，修改的检索依赖关系越底层、距离用户所需的最终检索结果越近(例如在确定出的一系列检索依赖关系中，被较晚的确定出来、位置靠后)，基于检索依赖关系构建子检索时用到该检索依赖关系的频率越高，影响越广泛。如此，可通过一次检索依赖关系的修改影响多个检索。

一例中，方式二中，检索依赖关系集合中的检索依赖关系包括一下至少之一：

图像信息为人体、背面时，以人体主题库作为检索主题库进行检索；

图像信息为人体、正面时，以人脸主题库作为检索主题库进行检索；

图像信息为人脸时，以人脸主题库作为检索主题库进行检索；

图像信息为人脸时，以人脸-身份主题库作为检索主题库进行检索；

图像信息为车牌时，以车牌主题库作为检索主题库进行检索。

一个具体实施方式中，对于方式一或方式二，图像检索方法还包括：

步骤S07：通过以下方式至少之一展示子检索的检索结果：

展示方式1：直接展示第一种类的检索结果；

展示方式2：关联展示第二种类和第三种类的检索结果；

展示方式3：关联展示待检索图像和第四种类的检索结果；

展示方式4：关联展示第五种类中第一类型和第二类型的检索结果。

展示方式5：根据第六种类检索结果，生成第一展示结果；

用于展示的子检索的检索结果可以是各个子检索的检索结果，也可以是不包括终点子检索(即无法根据该子检索的检索结果确定出下一级子检索的子检索)的检索结果。

第一种类至第六种类、第一类型至第二类型只是出于表述方便编号，并不必然代表不同的种类或类型。第一种类至第六种类、第一类型至第二类型中的每一个均可代表一个或多个种类或类型。

如前所述，检索结果可以包括不同种类。例如检索结果可包括图像种类的检索结果(结果图像)、附加信息种类的检索结果(如结果图像的附加信息，如拍摄时间、地点等)、其他种类的检索结果(如身份)。图像种类的检索结果又可以包含不同类型信息，例如结果图像可以是人脸类型，也可与是人体类型。进行结果展示时，可直接展示图像种类的检索结果，或者关联展示图像种类和身份种类的检索结果，或关联展示待检索图像和图像种类、身份种类的检索结果，或关联展示图像类型的检索结果中的人脸图像、人体图像，后者根据图像类型的检索结果中的人脸图像、人体图像对应的附加信息生成人员轨迹作为第一展示结果。

一个具体实施方式中，图像检索方法还包括：

步骤S08：获取结果选择指令，所述结果选择指令用于从展示的检索结果中选取期望的检索结果。

将根据步骤S07中的展示方式对检索结果进行组织并展示后，可收到用户的结果选择指令，以确定哪个或哪些检索结果/展示方式是用户期望的。

步骤S09:根据所述期望的检索结果更新展示检索结果的方式/检索依赖规则。

展示的结果是怎样的由检索依赖规则和展示方式共同决定。根据用户期望的检索结果更新展示检索结果的方式/检索依赖规则，可使图像检索方法更符合用户的检索意图。

将某个子检索的检索结果展示给用户后，用户从未选择过该子检索的检索结果，可以认为用户不关心该子检索的检索结果，可以从检索依赖关系中将该子检索删除。例如，将身份种类的检索结果展示给用户后，用户从未选择过该检索结果，因此认为用户不关心身份信息，可以从检索依赖关系中将身份信息相关的子检索删除。

本发明第二方面的实施例还提供了一种图像检索装置。图2所示为根据本发明实施例的图像检索装置200的结构示意图，包括图像获取单元201、图像信息确定单元202、检索依赖关系确定单元203和子检索单元204；所述图像获取单元用于获取待检索图像；所述图像信息确定单元用于确定所述待检索图像的图像信息，所述待检索图像的图像信息包括所述待检索图像中至少一个检测目标的类型信息和/或所述至少一个检测目标的质量信息；所述检索依赖关系确定单元用于确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，所述匹配检索依赖关系包括至少一个子检索，所述子检索具有其对应的查询图像和检索主题库；所述子检索单元用于进行所述匹配依赖关系中包括的子检索。

本发明第三方面的实施例提供了一种电子设备300，包括：存储器301和处理器302，所述存储器和所述处理器连接；所述存储器用于存储程序；所述处理器调用存储于所述存储器中的程序，以执行权利要求1-8任一项提供的方法。

本发明第四方面的实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现根据本发明第一方面所述的图像检索方法。

一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。

计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

根据本发明第三、四方面的电子设备和非临时性计算机可读存储介质，可以参照根据本发明第一方面实施例具体描述的内容实现，并具有与根据本发明第一方面实施例的图像检索方法具有类似的有益效果，在此不再赘述。

尽管上面已经示出和描述了本发明的实施例，应当理解的是，上述实施例是示例性的，不能解释为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种图像检索方法，其特征在于，包括：

获取待检索图像；

确定所述待检索图像的图像信息，所述待检索图像的图像信息包括所述待检索图像中至少一个检测目标的类型信息和/或所述至少一个检测目标的质量信息；

确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，所述匹配检索依赖关系包括至少一个子检索，所述子检索具有其对应的查询图像和检索主题库；

进行所述匹配依赖关系中包括的子检索。

2.根据权利要求1所述的图像检索方法，其特征在于，所述子检索具有其对应的查询图像来源和检索主题库，所述查询图像来源包括第一来源和/或第二来源，所述第一来源包括所述待检索图像；所述第二来源包括所述匹配检索依赖关系中所包括的子检索中至少一个子检索的结果图像；所述匹配检索依赖关系中查询图像来源为所述第一来源的子检索为初始子检索，所述初始子检索还具有匹配图像信息条件；

所述确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，包括：

根据所述待检索图像的图像信息，获取匹配图像信息条件与所述的待检索图像的图像信息匹配的匹配检索依赖关系。

3.根据权利要求2所述的图像检索方法，其特征在于，进行所述匹配依赖关系中包括的子检索，包括：

将所述初始子检索作为当前子检索；

将所述待检索图像或所述待检索图像的子图作为当前子检索的查询图像；

子检索步骤：根据当前子检索的查询图像，在当前子检索的检索主题库中进行检索，得到当前子检索的检索结果；

子检索确定步骤：若当前子检索的检索结果包括结果图像，将所述匹配检索依赖关系中的第一子检索作为新的当前子检索，所述第一子检索为查询图像来源包括当前子检索的结果图像的子检索；将当前子检索的结果图像或结果图像的子图作为新的当前子检索的查询图像；

重复执行所述子检索步骤和所述子检索确定步骤，直到根据所述子检索确定步骤无法确定出新的当前子检索。

4.根据权利要求1所述的图像检索方法，其特征在于，所述方法还包括：

获取检索依赖关系集合；所述检索依赖关系集合中包含至少一条检索依赖关系，所述检索依赖关系包含查询图像所要满足的图像信息条件和满足图像信息条件时进行的子检索，所述子检索具有其对应的查询图像和检索主题库；

确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，包括：

从检索依赖关系集合中，查找图像信息条件与所述待检索图像的图像信息匹配的目标检索依赖关系；

进行所述匹配依赖关系中包括的子检索，包括：

将待检索图像或待检索图像的子图作为查询图像，在所述目标检索依赖关系包括的子检索的检索主题库中进行检索，得到所述目标检索依赖关系包括的子检索的检索结果。

5.根据权利要求4所述的图像检索方法，其特征在于，所述方法还包括：

目标检索依赖关系确定步骤：如果目标检索依赖关系包括的子检索的检索结果中包括目标结果图像，从所述检索依赖关系集合中，查找图像信息条件与目标结果图像的图像信息匹配的新的目标检索依赖关系；

目标子检索步骤：将部分或全部的所述目标结果图像或目标结果图像的子图作为查询图像，在所述新的目检索的检索主题库中进行检索，得到所述新的目标检索依赖关系包括的子检索的检索结果；

重复执行所述目标检索依赖关系确定步骤和所述目标子检索步骤，直到根据所述目标检索依赖关系确定步骤无法确定出新的目标检索依赖关系。

6.根据权利要求4或5所述的图像检索方法，其特征在于，所述检索依赖关系集合中的检索依赖关系包括一下至少之一：

图像信息为人体、背面时，以人体主题库作为检索主题库进行检索；

图像信息为人体、正面时，以人脸主题库作为检索主题库进行检索；

图像信息为人脸时，以人脸主题库作为检索主题库进行检索；

图像信息为人脸时，以人脸-身份主题库作为检索主题库进行检索；

图像信息为车牌时，以车牌主题库作为检索主题库进行检索。

7.根据权利要求1-6任一项所述的图像检索方法，其特征在于，所述方法还包括：

通过以下方式至少之一展示子检索的检索结果：

直接展示第一种类的检索结果；

关联展示第二种类和第三种类的检索结果；

关联展示待检索图像和第四种类的检索结果；

关联展示第五种类中第一类型和第二类型的检索结果；

根据第六种类检索结果，生成第一展示结果。

8.根据权利要求7所述的图像检索方法，其特征在于，所述方法还包括：

获取结果选择指令，所述结果选择指令用于从展示的检索结果中选取期望的检索结果；

根据所述期望的检索结果更新展示检索结果的方式/检索依赖关系。

9.一种图像检索装置，其特征在于，包括图像获取单元、图像信息确定单元、检索依赖关系确定单元和子检索单元；

所述图像获取单元用于获取待检索图像；

所述图像信息确定单元用于确定所述待检索图像的图像信息，所述待检索图像的图像信息包括所述待检索图像中至少一个检测目标的类型信息和/或所述至少一个检测目标的质量信息；

所述检索依赖关系确定单元用于确定与所述待检索图像的图像信息匹配的匹配检索依赖关系，所述匹配检索依赖关系包括至少一个子检索，所述子检索具有其对应的查询图像和检索主题库；

所述子检索单元用于进行所述匹配依赖关系中包括的子检索。

10.一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器用于存储程序；所述处理器调用存储于所述存储器中的程序，以执行权利要求1-8任一项提供的方法。

11.一种非易失性计算机可读取存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时执行权利要求1-8任一项提供的方法。

Images