CN110659373A - 图像检索的方法、设备、计算机设备和存储介质 - Google Patents

Abstract

本发明公开了图像检索的方法、设备、计算机设备和存储介质，其中，预先生成包含特征向量额和时间索引信息的特征文件，加载第一预设时间段内的特征文件，在该加载完成后，从目标图像中提取目标特征向量，依据该目标特征向量，从该特征文件中进行图像检索，解决了以图搜图在图片加载过程中无法检索，耗时过长的问题，减少了检索等待的时间。

Description

图像检索的方法、设备、计算机设备和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及图像检索的方法、设备、计算机设备和存储介质。

背景技术

随着人工智能领域的发展，出现了以图搜图技术，以图搜图是指以一张包含有某一目标的查询图像为基础，从海量的视频或图像库中查找有相似目标的图像数据，并根据查找得到的图像结果，确定包含特征的目标出现的时间和地点信息，进而确定该查询图像中目标的行动轨迹。以图搜图包括建立图像数据库和目标查询两个阶段，在建立图像数据库的阶段，需要对海量的图像数据进行目标特征提取用以建立以图搜图的图像数据库，在目标查询的阶段，输入需查询的目标特征与图像数据库中的图像数据进行对比，进而查找所需的图像信息。其中，图像的特征一般用特征向量来表示。

在相关技术中，图1是根据相关技术中的以图搜图的流程图，如图1所示，以图搜图技术需要将图像数据库中的的所有图像数据全部加载完成之后，再进行以图搜图。随着智慧城市的建设，视频监控获得的数据量成指数级上升，等待图像数据库加载完成需要等待相当长的时间，而在此期间，以图搜图的过程是完全无法进行的。

针对相关技术中，以图搜图在图片加载过程中无法检索，耗时过长的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中，以图搜图在图片加载过程中无法检索，耗时过长的问题，本发明提供了图像检索的方法、设备、计算机设备和存储介质，以至少解决上述问题。

根据本发明的一个方面，提供了一种图像检索方法，所述方法包括：

预先生成包含特征向量和时间索引信息的特征文件；

加载第一预设时间段内的所述特征文件；

在所述加载完成后，从目标图像中提取目标特征向量，依据所述目标特征向量，从所述特征文件中进行图像检索。

在其中一个实施例中，所述加载第一预设时间段内的所述特征文件包括：

对所述时间索引信息按时间单位分成若干时间单元；

依据所述时间索引信息加载所述时间单元内的特征文件。

在其中一个实施例中，所述对所述时间索引信息按时间单位分成若干时间单元之前，所述方法还包括；

对所述时间索引信息进行倒序排列。

在其中一个实施例中，所述预先生成包含特征向量和时间索引信息的特征文件包括：

在存储所述图像特征向量的过程中，生成与所述图像特征向量对应的所述时间索引信息；

判断与时间单元对应的所述特征文件是否存在，其中所述时间单元与所述时间索引信息相对应；

在所述特征文件存在的情况下，在所述特征文件后面追加写入所述图像特征向量；

在所述特征文件不存在的情况下，生成与所述时间单位对应的特征文件，并将所述图像特征向量写入所述特征文件。

在其中一个实施例中，在所述在存储所述图像特征向量的过程中，生成与所述图像特征向量对应的所述时间索引信息之后，还包括：

存储所述图像特征向量，生成与所述图像特征向量对应的目录信息，所述目录信息包括：存储路径信息和设备信息。

在其中一个实施例中，所述在所述加载完成之后，还包括以下之一：

继续加载第二预设时间段的所述图像特征向量，至所有的所述图像特征向量加载完成；

继续加载已存储的所述图像特征向量，至所有的所述图像特征向量加载完成。

根据本发明的另一个方面，提供了一种图像检索的设备，所述设备包括生成模块、加载模块和检索模块：

所述生成模块，用于预先生成包含特征向量和时间索引信息的特征文件；

所述加载模块，用于加载第一预设时间段内的所述特征文件；

所述检索模块，用于在所述加载完成后，从目标图像中提取目标特征向量，依据所述目标特征向量，从所述特征文件中进行图像检索。

在其中一个实施例中，所述加载模块包括处理单元：

所述处理单元，用于对所述时间索引信息按时间单位分成若干时间单元。

根据本发明的另一个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一所述方法。

根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一所述方法。

通过本发明，预先生成包含特征向量额和时间索引信息的特征文件，加载第一预设时间段内的特征文件，在该加载完成后，从目标图像中提取目标特征向量，依据该目标特征向量，从该特征文件中进行图像检索，解决了以图搜图在图片加载过程中无法检索，耗时过长的问题，减少了检索过程中用户需要等待的时间。

附图说明

图1是根据相关技术中的以图搜图的流程图；

图2是根据本发明实施例的图像检索的方法的流程图一；

图3是根据本发明实施例的加载预先生成的第一预设时间段内的特征文件的的流程图；

图4是根据本发明实施例的图像检索的方法的流程图二；

图5是根据本发明实施例的图像检索的方法的流程图三；

图6是根据本发明实施例的图像检索设备的结构框图一；

图7是根据本发明实施例的图像检索设备的结构框图二；

图8是根据本应用场景的路人图像特征向量存放及时间索引信息生成的流程图；

图9是根据本应用场景的路人图像特征向量加载的流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，提供了一种图像检索的方法，图2是根据本发明实施例的图像检索的方法的流程图一，如图2所示，该方法包括如下步骤：

步骤S202，预先生成包含特征向量和时间索引信息的特征文件，电子设备从待查询的图像中提取图像特征向量，图像特征向量可以按照时间单位形成特征文件，例如，图像特征向量可以以小时为单位，存放为对应于每个小时的特征文件。

步骤S204，加载第一预设时间段内的特征文件。当电子设备接收到目标图像后，需要用户预设必要的查询时间段，才开始加载特征文件。本实施例中的第一预设时间段即为用户预设的查询时间段，该查询时间段可以以小时为单位，也可以以天为单位，该查询时间段可以为当前时间之前的时间段，也可以为当前时间之后的时间段。

步骤S206，在该加载完成后，从目标图像中提取目标特征向量，依据该目标特征向量，从该特征文件中进行图像检索，其中，当电子设备加载完用户预设的的查询时间段内的所有特征文件之后，电子设备即可开始进行图像检索。图像检索的具体方式为，对目标特征向量和特征文件中的图像特征向量做相似度计算，找出计算结果相近的图像特征向量，并向用户反馈与计算结果相近的图像特征向量对应的图像。

本实施例提供的图像检索的方法，可以应用于各类具有图像信息的处理能力的电子设备，包括手机、电脑、服务器、监控摄像头以及监控摄像头所连接的监控系统等。目标图像可以为含有一个或多个目标的各种图像，目标图像中的目标也可以为各种类型的目标，包括人脸、车辆、车牌或其它类型的目标，电子设备在接收到目标图像后，需要从目标图像中提取目标特征向量。

通过上述步骤，仅加载预先生成的第一预设时间段内的特征文件，即可依据该目标特征向量，从该特征文件中进行图像检索，相对于相关技术中，需要将图像数据全部加载完成之后再进行以图搜图的方式，该方法可以在进行检索时预设检索所需的时间段，当所需的时间段内的图像数据加载完成之后，即可开始进行以图搜图，减少了检索等待的时间。

在另一个实施例中，图3是根据本发明实施例的加载第一预设时间段内的特征文件的的流程图，如图3所示，该方法还包括：

步骤S302，对时间索引信息按时间单位分成若干时间单元。电子设备完成对图像特征向量的提取之后，会生成与该图像特征向量对应的时间索引信息，该时间索引信息为，电子设备抓拍到该图像的时间，该时间可以精确到天，也可以精确到时、分或秒。电子设备通过对图像特征向量时间索引信息的记录，可以进一步对存储的大量时间索引信息按照时间单位分成若干时间单元，比如，在时间单位为天的情况下，单个时间单元可以包含两天的图像特征向量，在时间单位为小时的情况下，单个时间单元也可以包含三个小时的图像特征向量。

步骤S304，依据该时间索引信息加载该时间单元内的特征文件，其中，用户在进行图像检索时，会预设需要检索的时间段信息，即第一预设时间段，电子设备会根据该时间段信息，以生成的时间索引信息为依据，加载第一预设时间段内的特征文件。

通过上述步骤，在加载第一预设时间段内的特征文件时，生成与图像特征向量对应的时间索引信息，并对该时间索引信息按时间单位分成若干时间单元，可以先加载与用户需求最近的时间段内的图像，最近的时间段内的图像也是实际应用中最具有价值的，通过上述方法可以最大程度的节省检索时间，且该时间索引信息可以为后续的检索提供图片被抓拍到的时间，便于进一步对目标行动轨迹的分析。

在另外一个实施例中，在步骤S302之前，还包括如下步骤：

对该时间索引信息进行倒序排列，其中，对时间索引信息进行倒序排列，即为将时间索引信息最迟的排在最前面，将时间索引信息最早的排在最后面，在该实施方式下，电子设备可以最快地调用与当前时间最近接的特征文件，节约加载时间。

在另一个实施例中，在预先生成包含特征向量和时间索引信息的特征文件时，在存储所述图像特征向量的过程中，生成与所述图像特征向量对应的所述时间索引信息，判断与时间单元对应的特征文件是否存在，其中所述时间单元与所述时间索引信息相对应；在该特征文件存在的情况下，在特征文件后面追加写入图像特征向量；在该特征文件不存在的情况下，生成与该时间单位对应的特征文件，并将图像特征向量写入特征文件，在确定与需要加载的时间单元对应的特征文件存在的情况下，开始进行加载。

在另一个实施例中，在存储所述图像特征向量的过程中，生成与该图像特征向量对应的时间索引信息，之后还包括：

存储图像特征向量，生成与该图像特征向量对应的目录信息，该目录信息包括：存储路径信息和设备信息，其中，存储路径信息可以为电子设备存储图像的路径，设备信息可以为抓拍图像的监视器或其它终端设备的位置信息，包括行政区域、街道信息、监视器或终端的编号等，时间索引信息为监控器或终端抓拍到图像的时间，可以精确到秒。

通过上述步骤，电子设备在加载第一预设时间段内特征文件时，加载特征文件的方式更加灵活多变，可以按照用户对时间和地点的不同需求，加载对应的特征文件，提高了加载速度，减少了用户在检索过程中等待的时间。

在一个实施例中，图4是根据本发明实施例的图像检索的方法的流程图二，如图4所示，该方法在S206之后，包括如下步骤：

步骤S402，加载第二预设时间段的图像特征向量，至所有的图像特征向量加载完成，其中，第二预设时间段为用户预设的在第一预设时间段加载完成后，需要的加载的时间段。第二预设时间段可以与第一预设时间段邻近，也可以相隔一段时间，第二预设时间段的时长与第一预设时间段的时长相互独立，二者互不影响，可以为任何时长。

通过上述步骤，在开始图像检索之后，可以在检索的同时，继续加载第二预设时间段的图像特征向量，为检索提供了较为完整的检索资料，并且节约了加载时间。

在一个实施例中，图5是根据本发明实施例的图像检索的方法的流程图三，如图5所示，该方法在S206之后，包括如下步骤：

步骤S502，继续加载已存储的图像特征向量，至所有的图像特征向量加载完成。

通过上述步骤，电子设备将所有的图像特征向量提供给用户进行图像检索，而且继续加载的过程是在检索的过程中进行的，因此这种检索方法有利于用户在检索时得到完整的检索结果。

应该理解的是，虽然图1至5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

对应于上述图像检索的方法，在本实施例中，还提供了一种图像检索的设备，该设备用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

在一个实施例中，提供了一种图像检索的设备，图6是根据本发明实施例的图像检索设备的结构框图一，如图6所示，包括：生成模块62、加载模块64和检索模块66，其中：

生成模块62，用于预先生成包含特征向量和时间索引信息的特征文件；

加载模块64，用于加载第一预设时间段内的特征文件；

检索模块66，用于在加载完成后，从目标图像中提取目标特征向量，依据该目标特征向量，从该特征文件中进行图像检索。

通过上述设备，通过上述步骤，在加载模块64加载预先生成的第一预设时间段内的特征文件之后，即可利用检索模块66得到的目标特征向量，从该特征文件中进行图像检索，相对于相关技术中，需要将图像数据全部加载完成之后再进行以图搜图的方式，该方法可以在进行检索时预设检索所需的时间段，当所需的时间段内的图像数据加载完成之后，即可开始进行以图搜图，减少了检索等待的时间。

在一个实施例中，图7是根据本发明实施例的图像检索设备的结构框图二，如图7所示，本发明的加载模块64包括：处理单元72。

处理单元72，用于对时间索引信息按时间单位分成若干时间单元。

关于图像检索的设备的具体限定可以参见上文中对于图像检索的方法的限定，在此不再赘述。上述图像检索的设备中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

下面结合实际应用场景对本发明的实施例进行详细说明，在进行以图搜图路人图像特征加载时，图8是根据本应用场景的路人图像特征向量存放及时间索引信息生成的流程图，如图8所示，该方法包括如下步骤：

步骤S802，当接收到一个新产生的路人图像特征向量时，先获取该路人所属的设备信息以及当前系统时间；

步骤S804，判断当前小时特征文件是否已经存在，在当前小时特征文件存在的情况下，则在该文件后面追加写入该图像特征向量，在当前小时特征文件不存在的情况下，则生成当前小时的特征文件，并将该图像特征向量写入；

步骤S806，获取写入该图像特征向量的特征文件的存储路径；

步骤S808，将特征文件存储路径信息、设备信息、时间索引信息同时写入数据库，完成路人图像特征向量存放及目录信息的生成。

通过上述步骤，电子设备存储的特征文件以小时为单位进行存储，便于后续按小时的快速查询。

在进行以图搜图路人图像特征向量加载时，图9是根据本应用场景的路人图像特征向量加载的流程图，如图9所示，该方法包括如下步骤：

步骤S902，获取所需加载路人图像特征向量的时间索引信息；

步骤S904，对获取的时间索引信息进行倒序排列；

步骤S906，对倒序排列后的时间索引信息按照时间单位分为时间单元；

步骤S908，加载最近一个时间单位的路人图像特征向量；

步骤S910，判断当前加载的路人图像特征向量是否达到设定的阈值(时间单位内的图像特征向量)，在达到设定阈值的条件下，启动以图搜图服务，对外提供以图搜图功能，在没有达到设定阈值的条件下，继续加载路人图像特征向量；

步骤S912，继续加载剩余路人图像特征向量，直至全部加载完成。

通过上述步骤，实现了路人图像特征向量的分批加载，并可以在电子设备进行路人图像特征向量加载的同时进行以图搜图，节省了用户等待的时间。

在一个实施例中，提供了一种计算机设备。该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像检索的方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例提供的图像检索方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例提供的图像检索方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像检索的方法，其特征在于，所述方法包括：

预先生成包含特征向量和时间索引信息的特征文件；

加载第一预设时间段内的所述特征文件；

在所述加载完成后，从目标图像中提取目标特征向量，依据所述目标特征向量，从所述特征文件中进行图像检索。

2.根据权利要求1所述的方法，其特征在于，所述加载第一预设时间段内的所述特征文件包括：

对所述时间索引信息按时间单位分成若干时间单元；

依据所述时间索引信息加载所述时间单元内的特征文件。

3.根据权利要求2所述的方法，其特征在于，所述对所述时间索引信息按时间单位分成若干时间单元之前，所述方法还包括；

对所述时间索引信息进行倒序排列。

4.根据权利要求1所述的方法，其特征在于，所述预先生成包含特征向量和时间索引信息的特征文件包括：

在存储所述图像特征向量的过程中，生成与所述图像特征向量对应的所述时间索引信息；

判断与时间单元对应的所述特征文件是否存在，其中所述时间单元与所述时间索引信息相对应；

在所述特征文件存在的情况下，在所述特征文件后面追加写入所述图像特征向量；

在所述特征文件不存在的情况下，生成与所述时间单位对应的特征文件，并将所述图像特征向量写入所述特征文件。

5.根据权利要求4所述的方法，其特征在于，在所述在存储所述图像特征向量的过程中，生成与所述图像特征向量对应的所述时间索引信息之后，还包括：

存储所述图像特征向量，生成与所述图像特征向量对应的目录信息，所述目录信息包括：存储路径信息和设备信息。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述在所述加载完成之后，还包括以下之一：

继续加载第二预设时间段的所述图像特征向量，至所有的所述图像特征向量加载完成；

继续加载已存储的所述图像特征向量，至所有的所述图像特征向量加载完成。

7.一种图像检索的设备，其特征在于，所述设备包括生成模块、加载模块和检索模块：

所述生成模块，用于预先生成包含特征向量和时间索引信息的特征文件；

所述加载模块，用于加载第一预设时间段内的所述特征文件；

所述检索模块，用于在所述加载完成后，从目标图像中提取目标特征向量，依据所述目标特征向量，从所述特征文件中进行图像检索。

8.根据权利要求7所述的设备，其特征在于，所述加载模块包括处理单元：

所述处理单元，用于对所述时间索引信息按时间单位分成若干时间单元。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images