CN105260412A - 一种图像存储方法、图像检索方法和装置 - Google Patents

Abstract

本发明提供了一种图像存储方法、图像检索方法和装置，所述图像存储方法包括：获取采集到的监控图像的疑似目标区域；提取疑似目标区域的区域图像特征，并计算疑似目标区域的区域图像特征的哈希值；将监控图像与疑似目标区域和疑似目标区域对应的哈希值关联存储在图像库中。通过本发明，减小了监控图像和监控图像的图像特征所消耗的存储空间，并加快了图像检索速度。

Description

一种图像存储方法、图像检索方法和装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像存储方法、图像检索方法和装置。

背景技术

目前，为了维护社会的治安，安保人员会通过安装的视频监控系统实时获取监控视频，通过监控视频对突发的治安事件进行反应。为了查询监控视频中出现的某个物品的行踪，安保人员会提取监控视频中该物品所在的局部区域图像，并通过该物品对应的局部区域图像检索图像库，从图像库中存储的监控图像中查找包含该物品的图像，从而确定物品的行踪。

在将监控图像存储到图像库的过程中，需要对监控图像进行预处理，相关技术中通常先提取监控图像的角点特征，并将监控图像的角点特征与监控图像一起存储到图像库中。

然而现有的角点特征提取方式，每个图像都会被提取出数千个角点特征，提取出的每个角点特征是一个上千维数的数组，因此将提取的海量角点特征与图像一起存储到图像库中，会消耗大量的存储空间，并且基于这种图像库进行的图像检索，也需要比对大量的角点特征，耗时较长，并导致在大场景监控图像中对检索目标的检索准确率较低。

发明内容

本发明的目的在于提供一种图像存储方法、图像检索方法和装置，可以在存储监控图像和监控图像的图像特征时，减小了监控图像和监控图像的图像特征所消耗的存储空间，并提高了大场景监控图像中对检索目标的检索准确率。

第一方面，本发明实施例提供了一种图像存储方法，所述方法包括：

获取采集到的监控图像的疑似目标区域；

提取所述疑似目标区域的区域图像特征，并计算所述疑似目标区域的区域图像特征的哈希值；

将所述监控图像与所述疑似目标区域和所述疑似目标区域对应的哈希值关联存储在图像库中。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，获取采集到的监控图像的疑似目标区域包括：

通过通用目标检测算法获取所述监控图像的多个疑似区域和对应的疑似区域信息；所述疑似区域信息包括：所述疑似区域的大小和置信度，以及所述疑似区域所在图像的标识和位置；

根据所述疑似区域信息，计算所述多个疑似区域之间的面积交并比例，选择面积交并比例小于设定比例阈值的疑似区域作为所述监控图像的疑似目标区域。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据所述疑似区域信息，计算所述多个疑似区域之间的面积交并比例，选择面积交并比例小于设定比例阈值的疑似区域作为所述监控图像的疑似目标区域包括：

对于所述多个疑似区域中的每个疑似区域，按照置信度的大小，逐一计算当前疑似区域与置信度小于所述当前疑似区域的疑似区域之间的面积交并比例；

当计算得到的面积交并比例大于或等于设定的比例阈值时，删除所述小于所述当前疑似区域的疑似区域，保留所述当前疑似区域作为所述监控图像的疑似目标区域。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，获提取所述疑似目标区域的区域图像特征包括：

通过深度神经网络获取所述疑似目标区域的区域图像特征。

第二方面，本发明实施例提供了一种图像检索方法，所述方法包括：

确定用户在待检索图像中选定的目标查询区域；

提取所述目标查询区域的区域图像特征，并计算所述目标查询区域的区域图像特征的哈希值；

从图像库中查询与所述哈希值最接近的哈希值，确定所述最接近的哈希值对应的疑似目标区域；

将包含所述疑似目标区域的监控图像返回给用户。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，确定用户在待检索图像中选定的目标查询区域包括：

获取用户在所述待检索图像中选择的检索区域；

通过通用目标检测算法提取所述待检索图像中的多个疑似检索区域；

分别计算所述多个疑似检索区域中每个疑似检索区域与所述检索区域的面积交并比例，选择与所述检索区域面积交并比例最大的疑似检索区域作为目标查询区域。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，从图像库中查询与所述哈希值最接近的哈希值，确定所述最接近的哈希值对应的疑似目标区域包括：

计算所述目标查询区域的哈希值与所述图像库内每个疑似目标区域的哈希值的汉明距离；

将计算得到的所述汉明距离中的最小值对应的哈希值作为所述目标查询区域的哈希值最接近的哈希值；

从所述图像库中选择与所述最接近的哈希值对应的疑似目标区域，将选择的所述疑似目标区域作为所述目标查询区域的哈希值对应的疑似目标区域。

第三方面，本发明实施例提供了一种图像存储装置，所述装置包括：

疑似目标区域获取模块，用于获取采集到的监控图像的疑似目标区域；

区域图像特征提取模块，用于提取所述疑似目标区域的区域图像特征，并计算所述疑似目标区域的区域图像特征的哈希值；

存储模块，用于将所述监控图像与所述疑似目标区域和所述疑似目标区域对应的哈希值关联存储在图像库中。

结合第三方面，本发明实施例提供了第三方面的第一种可能的实施方式，其中，疑似目标区域获取模块包括：

疑似区域获取单元，用于通过通用目标检测算法获取所述监控图像的多个疑似区域和对应的疑似区域信息；所述疑似区域信息包括：所述疑似区域的大小和置信度，以及所述疑似区域所在图像的标识和位置；

疑似目标区域确定单元，用于根据所述疑似区域信息，计算所述多个疑似区域之间的面积交并比例，选择面积交并比例小于设定比例阈值的疑似区域作为所述监控图像的疑似目标区域。

结合第三方面，本发明实施例提供了第三方面的第二种可能的实施方式，其中，疑似目标区域确定单元包括：

面积交并比例计算子单元，用于对于所述多个疑似区域中的每个疑似区域，按照置信度的大小，逐一计算当前疑似区域与置信度小于所述当前疑似区域的疑似区域之间的面积交并比例；

疑似目标区域选择子单元，用于当计算得到的面积交并比例大于或等于设定的比例阈值时，删除所述小于所述当前疑似区域的疑似区域，保留所述当前疑似区域作为所述监控图像的疑似目标区域。

结合第三方面，本发明实施例提供了第三方面的第三种可能的实施方式，其中，区域图像特征提取模块包括：

深度神经网络处理单元，用于通过深度神经网络获取所述疑似目标区域的区域图像特征。

第四方面，本发明实施例提供了一种图像检索装置，所述装置包括：

目标查询区域确定模块，用于确定用户在待检索图像中选定的目标查询区域；

区域图像特征哈希值计算模块，用于提取所述目标查询区域的区域图像特征，并计算所述目标查询区域的区域图像特征的哈希值；

疑似目标区域确定模块，用于从图像库中查询与所述哈希值最接近的哈希值，确定所述最接近的哈希值对应的疑似目标区域；

监控图像返回模块，用于将包含所述疑似目标区域的监控图像返回给用户。

结合第四方面，本发明实施例提供了第四方面的第一种可能的实施方式，其中，目标查询区域确定模块包括：

检索区域获取单元，用于获取用户在所述待检索图像中选择的检索区域；

疑似检索区域确定单元，用于通过通用目标检测算法提取所述待检索图像中的多个疑似检索区域；

目标查询区域选择单元，用于分别计算所述多个疑似检索区域中每个疑似检索区域与所述检索区域的面积交并比例，选择与所述检索区域面积交并比例最大的疑似检索区域作为目标查询区域。

结合第四方面，本发明实施例提供了第四方面的第二种可能的实施方式，其中，疑似目标区域确定模块包括：

汉明距离计算单元，用于计算所述目标查询区域的哈希值与所述图像库内每个疑似目标区域的哈希值的汉明距离；

最接近哈希值确定单元，用于将计算得到的所述汉明距离中的最小值对应的哈希值作为所述目标查询区域的哈希值最接近的哈希值；

疑似目标区域选择单元，用于从所述图像库中选择与所述最接近的哈希值对应的疑似目标区域，将选择的所述疑似目标区域作为所述目标查询区域的哈希值对应的疑似目标区域。

本发明实施例提供的一种图像存储方法、图像检索方法和装置，通过提取采集到的监控图像中各个疑似目标区域的区域图像特征，区域图像特征所表征的图像范围要大于角点特征所表征的图像范围，所以在提取的监控图像的区域图像特征过程中，提取的区域图像特征的数量要小于提取角点特征的数量；在存储区域图像特征时，将区域图像特征对应的哈希值进行存储，相对于会占用上百个字节存储空间的角点特征，十几个字节大小的哈希值可以大大降低区域图像特征所消耗的存储空间；在图像检索的过程中，通过区域图像特征的哈希值在图像库中对包括目标查询区域的监控图像进行查询，可以降低图像检索过程的计算量，提高向用户返回查询图像的速度，而且由于提取的监控图像区域图像特征数量较少，所以在大场景监控图像中检索目标图像时，提高了对检索目标的检索准确率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种图像存储方法所涉及的一种实施系统的结构示意图；

图2示出了本发明实施例1提供的一种图像存储方法的流程图；

图3示出了本发明实施例2提供的一种图像检索方法的流程图；

图4示出了本发明实施例4提供的一种图像存储装置的结构示意图；

图5示出了本发明实施例5提供的一种图像检索装置的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关的图像检索技术中，现有的角点特征提取方式，每个图像都会被提取出数千个角点特征，提取出的每个角点特征是一个上千维数的数组，因此将提取的海量角点特征与图像一起存储到图像库中，会消耗大量的存储空间，并且基于这种图像库进行的图像检索，也需要比对大量的角点特征，耗时较长。基于此，本发明实施例提供了一种图像存储方法、图像检索方法和装置。

参见图1，其示出了本发明实施例提供的图像存储方法所涉及的一种实施系统的结构示意图，该系统包括：图像存储服务器10。

其中，图像存储服务器10包括图像特征提取器件100和图像库101；

图像存储服务器10通过设置的图像接口获取监控图像，并将获取到的监控图像发送到图像特征提取器件100；图像特征提取器件100，用于接收图像接口发送过来的监控图像，获取监控图像中的所有疑似目标区域，并提取分别表征所有疑似目标区域的区域图像特征，在提取到所有疑似目标区域的区域图像特征后，计算区域图像特征的哈希值，最后将监控图像与疑似目标区域和疑似目标区域对应的哈希值关联存储在图像库101中；图像库101，用于接收并存储图像特征提取器件100发送的监控图像与疑似目标区域和疑似目标区域对应的哈希值。

图像存储服务器10可以采用现有的任意型号的服务器或者计算设备提取监控图像的区域图像特征并进行存储，这里不再一一赘述。

图像特征提取器件100可以采用现有的任何中央处理器、微处理器或者可编程器件对监控图像的区域图像特征进行提取，这里不再一一赘述。

图像库101可以采用现有的任何大容量存储介质对监控图像和区域图像特征进行存储，这里不再一一赘述。

实施例1

参见图2，本实施例提供一种图像存储方法，该方法包括如下步骤：

步骤200、图像存储服务器获取采集到的监控图像的疑似目标区域。

监控图像，是与图像存储服务器连接的摄像机或者录像机实时获取到的每一帧图像的图像内容，摄像机或者录像机在实时获取图像时，会将获取的每一帧图像发送到图像存储服务器进行处理并存储。

疑似目标区域，是监控图像中可以表示监控图像的特征的图像区域，这些疑似目标区域在监控图像中是可能会被检索到的图像区域。对于同一张监控图像，可以根据不同的特征获取条件，得到监控图像中不同的疑似区域。

比如有一张监控图像是人物面部图像，若以图像的对比度作为特征获取条件，那么就会得到监控图像中颜色发生变化的多个图像区域作为监控图像的疑似目标区域；若以人物面部特征作为特征获取条件，那么就会得到监控图像中近似于人物的鼻子、眼睛和嘴等可以表征人物面部特征的多个图像区域作为监控图像的疑似目标区域，当然，还可以根据图像检索的需要，通过其他的特征获取条件获取到监控图像中相应的疑似目标区域，这里不再一一赘述。

每个图像存储服务器在通常情况下，只会根据预设的特征获取条件，获取相应的图像特征并存储。

步骤202、图像存储服务器提取疑似目标区域的区域图像特征，并计算疑似目标区域的区域图像特征的哈希值。

区域图像特征，是用于表示疑似目标区域的特征向量；特征向量由一个多维数组组成，特征向量是由预设的图像获取算法对疑似目标区域计算得到。

在相关技术中，通常是通过sift(尺度不变特征变换，Scale-invariantfeaturetransform)或者surf(加速鲁棒性特征，SpeededUpRobustFeatures)等特征提取方法来提取区域图像特征，而采用sift或者surf方式提取的疑似目标区域的区域图像特征通常是1024维度及更多维度的特征向量，要对这些由1024或更多维度的数组组成的区域图像特征进行存储时，会增大存储空间的消耗。因此在本实施例中，通过深度神经网络获取疑似目标区域的区域图像特征。

通过深度神经网络获取疑似目标区域的图像特征的数组维数是512维，比现有的通过sift或者surf方式提取的1024维的数组维数要小一半，所以可以降低区域图像特征对存储空间的消耗；而且在进行后续的哈希计算时，可以减少哈希计算的计算量，加快存储速度。

图像存储服务器可以使用现有的任何深度神经网络获取疑似目标区域的区域图像特征，这里不再一一赘述。

图像存储服务器可以通过预先设定的哈希算法对疑似目标区域的区域图像特征进行哈希计算，得到疑似目标区域的区域图像特征的哈希值。图像存储服务器可以使用现有的任何哈希算法对疑似目标区域的区域图像特征进行计算，这里不再一一赘述。

步骤204、图像存储服务器将监控图像与疑似目标区域和疑似目标区域对应的哈希值关联存储在图像库中。

在得到疑似目标区域的区域图像特征的哈希值后，图像存储服务器形成疑似目标区域和用于表征该疑似目标区域的哈希值的关联关系，然后存储到图像库中。

为了图像检索时节省对疑似目标区域查询时的时间，加快向用户反馈图像查询结果的速度，可以将监控图像以及疑似目标区域和对应哈希值的关联关系分别存储在不同的存储介质分区中。

综上所述，本实施例提供的一种图像存储方法，通过提取采集到的监控图像中各个疑似目标区域的区域图像特征，区域图像特征所表征的图像范围要大于角点特征所表征的图像范围，所以在提取的监控图像的区域图像特征过程中，提取的区域图像特征的数量要小于提取角点特征的数量；而且在存储区域图像特征时，将区域图像特征对应的哈希值进行存储，相对于会占用上百个字节存储空间的角点特征，十几个字节大小的哈希值可以大大降低区域图像特征所消耗的存储空间。

由于监控图像中的一些区域图像特征比较接近并出现重叠部分，所以这些具有重叠部分的区域图像特征中可能会出现相似的图像特征，而这些相似的图像特征在图像检索的过程中作用类似，所以只保留其中的一个图像特征就可以满足图像检索的需求；但在相关技术中不会对得到的图像特征进行筛选，只会在得到图像特征后，直接对表示图像特征的所有多维数组进行存储，从而增加存储空间的消耗，所以获取采集到的监控图像的疑似目标区域步骤包括以下步骤(1)至步骤(2)：

(1)通过通用目标检测算法获取监控图像的多个疑似区域和对应的疑似区域信息；疑似区域信息包括：疑似区域的大小和置信度，以及疑似区域所在图像的标识和位置；

(2)根据疑似区域信息，计算多个疑似区域之间的面积交并比例，选择面积交并比例小于设定比例阈值的疑似区域作为监控图像的疑似目标区域。

在步骤(1)中，通用目标检测算法(也叫做疑似目标检测算法，英文名：ObjectnessProposal)是基于低级图像特征(例如梯度、边缘、颜色、轮廓等信息)提取图像中非限定类别目标的算法，可以在监控图像中，以区域为单位提取疑似目标区域。一张监控图像中，一般会提取出1000到2000个左右的疑似目标区域，这比相关技术在一张监控图像中提取出4000到5000以上的角点特征来说，大大减少了图像特征的提取数量。通用目标检测算法通常应用于提高目标检测算法的执行效率。与传统的基于窗口平移的目标检测相比，通用目标检测算法以相对较低的运算量保留可能有目标的图像区域，避免后续耗时较长的特征提取算法处理显然没有目标的图像区域。

其中，疑似区域信息中记录的置信度表示该疑似区域符合特征获取条件的程度，越符合特征获取条件的疑似区域的置信度越大，反之疑似区域的置信度越小。

为了减小确定疑似目标区域过程中的计算量，上述步骤(2)具体包括如下步骤(21)和步骤(22)：

(21)对于多个疑似区域中的每个疑似区域，按照置信度的大小，逐一计算当前疑似区域与置信度小于当前疑似区域的疑似区域之间的面积交并比例；

(22)当计算得到的面积交并比例大于或等于设定的比例阈值时，删除小于当前疑似区域的疑似区域，保留当前疑似区域作为监控图像的疑似目标区域。

上述步骤(21)具体包括下述步骤(1)至步骤(3)：

(1)根据每个疑似区域的疑似区域信息中记录的疑似区域的大小和疑似区域所在图像的位置，确定每个疑似区域在监控图像中所占据的面积；

(2)根据每个疑似区域的置信度大到小的顺序，对所有的疑似区域进行排序；

(3)根据以下公式1逐一计算当前疑似区域与置信度小于当前疑似区域的疑似区域之间的面积交并比例：

$ratio=\frac{A\∩B}{A\∪B}---\left(1\right)$

其中，ratio表示面积交并比例，A表示当前疑似区域，B表示置信度小于当前疑似区域的疑似区域。

疑似区域一般是长方形或者正方形等四边形区域，所以在疑似区域信息中只要记录疑似区域所在监控图像中的长方形或者正方形中的某个端点坐标或者中心点坐标，就可以确定疑似区域在监控图像中的位置，在此基础上再利用疑似区域信息中记录的疑似区域的大小，就可以确定疑似区域在监控图像中所占据的面积大小。

通过上述步骤(21)的具体流程可以看出，可以通过简单的面积交并比例计算和对比，就可以对将多个疑似区域中不符合条件的疑似区域筛选出监控图像的疑似目标区域，操作简单。

上述步骤(22)具体包括下述步骤(1)至步骤(3)：

(1)判断计算得到的面积交并比例是否大于或等于设定的比例阈值，如果是则执行步骤(2)，如果否则执行步骤(3)；

(2)删除小于当前疑似区域的疑似区域，保留当前疑似区域作为监控图像的疑似目标区域；

(3)保留当前疑似区域和置信度小于当前疑似区域的疑似区域作为监控图像的疑似目标区域。

通过上述步骤(22)的具体流程可以看出，通过计算置信度高的当前疑似区域和比当前疑似区域的置信度低的疑似区域之间的面积交并比，可以进一步降低确定监控图像的疑似目标区域过程中的计算量，提高图像和图像特征的存储速度。

综上所述，选择面积交并比例小于设定比例阈值的疑似区域作为监控图像的疑似目标区域对得到的疑似目标区域进行筛选，减小监控图像的疑似目标区域的数量，进一步减少监控图像的疑似目标区域的区域图像特征所消耗的存储空间。

实施例2

参见图3，本实施例提供一种图像检索方法，包括如下步骤：

步骤300、图像存储服务器确定用户在待检索图像中选定的目标查询区域。

步骤302、图像存储服务器提取目标查询区域的区域图像特征，并计算目标查询区域的区域图像特征的哈希值。

步骤304、图像存储服务器从图像库中查询与哈希值最接近的哈希值，确定最接近的哈希值对应的疑似目标区域。

步骤306、图像存储服务器将包含疑似目标区域的监控图像返回给用户。

综上所述，本实施例提供一种图像检索方法，在图像检索的过程中，通过区域图像特征的哈希值在图像库中对目标查询区域进行查询，可以降低图像检索过程的计算量，提高向用户返回查询图像的速度，而且由于提取的监控图像区域图像特征数量较少，所以在大场景监控图像中检索目标图像时，提高了对检索目标的检索准确率。

相关技术中，通过角点特征来对图像进行检索时，需要将用户在待检索图像中选择的查询区域中的多个角点特征作为检索条件，在图像库中进行查找后，才可以确定包括查询区域的监控图像，计算过程复杂且增加了检索耗时，因此，确定用户在待检索图像中选定的目标查询区域步骤具体包括：步骤(1)至步骤(3)：

(1)获取用户在待检索图像中选择的检索区域；

(2)通过通用目标检测算法提取待检索图像中的多个疑似检索区域；

(3)分别计算多个疑似检索区域中每个疑似检索区域与检索区域的面积交并比例，选择面积交并比例最大的疑似检索区域作为目标查询区域。

在步骤(1)中，用户通过计算机的任何输入设备在待检索图像中选择的检索区域，在用户选择之后，用户的计算机会向图像存储服务器发送图像检索指令，图像检索指令包括待检索图像、用户选择的检索区域和检索区域信息，检索区域信息包括检索区域的大小和在待检索图像中的位置。计算机的输入设备包括：鼠标、键盘或者触控装置等，这里不再一一赘述。

在步骤(2)中，图像存储服务器通过通用目标检测算法提取待检索图像中的多个疑似检索区域和多个疑似检索区域的疑似检索区域信息，疑似检索区域信息包括：疑似检索区域的大小以及疑似区域所在图像的位置。

步骤(3)具体包括如下步骤(31)至(33)：

(31)根据疑似检索区域的大小和疑似检索区域所在图像的位置，以及检索区域的大小和在待检索图像中的位置，分别确定每个疑似检索区域和检索图像在待检索图像中所占据的面积；

(32)根据上述的公式1分别计算多个疑似检索区域中每个疑似检索区域与检索区域的面积交并比例，其中，在上述公式1中，A表示检索区域，B表示疑似检索区域；

(33)选择与检索区域交并比例最大的疑似检索区域作为目标查询区域。

综上所述，通过计算多个疑似检索区域中每个疑似检索区域与检索区域的面积交并比例，选择与检索区域面积交并比例最大的疑似检索区域作为目标查询区域，可以通过目标查询区域在图像库中进行相似图像的查找，无需进行大量的角点特征匹配，就可以确定包括目标查询区域的监控图像，减少了图像检索时的计算量。

相关技术中，通过进行查询区域的角点特征以及图像库中各监控图像的角点特征的匹配，来确定包括查询区域额目标图像，计算量较大，当需要匹配的图像数量较大时，会导致图像检索时间长的缺陷。因此，在从图像库中查询与哈希值最接近的哈希值，确定最接近的哈希值对应的疑似目标区域步骤包括步骤(1)至步骤(3)：

(1)通过公式2计算目标查询区域的哈希值与图像库内每个疑似目标区域的哈希值的汉明距离；

$d(x,\mathrm{\γ})=\underset{i=0}{\overset{n-1}{\Σ}}(x_i\⊕y_i)---\left(2\right)$

其中，n是哈希值的长度，x_i和y_i分别是目标查询区域和疑似目标区域的哈希值中的第i位，⊕是异或运算符。

(2)将计算得到的汉明距离中的最小值对应的哈希值作为目标查询区域的哈希值最接近的哈希值；

(3)根据图像库中预先存储的疑似目标区域和用于表征该疑似目标区域的哈希值的关联关系，确定与最接近的哈希值对应的疑似目标区域，将选择的疑似目标区域作为目标查询区域的哈希值对应的疑似目标区域。

综上所述，可以通过计算目标查询区域的哈希值与图像库内每个疑似目标区域的哈希值的汉明距离，从图像库中选择与目标查询区域哈希值最接近的哈希值对应的疑似目标区域，来对图像库中的图像进行检索，计算量较小，可以减少图像检索的时间。

可选地，在将包含疑似目标区域的监控图像返回给用户的过程中，如果向用户返回的是多个监控图像时，可以按照多个监控图像中包含的疑似目标区域与目标查询区域的汉明距离从小到大的顺序，对多个监控图像进行排序，并按照排序顺序向用户返回包含疑似目标区域的多个监控图像。可以使用户在接收图像存储服务器返回的监控图像后，短时间内就可以确定包括目标检索区域的监控图像，提高用户的体验。

实施例3

本实施例提供一种图像存储方法，在图像库预处理阶段，遍历各图像，每张图像按顺序进行以下处理：

利用疑似目标检测算法提取不超过N个(例如2000个)疑似目标信息(位置、大小、置信度(算法输出目标位置中存在真实目标的可信度))等)。所谓疑似目标检测算法(或称通用目标检测算法，英文名为ObjectnessProposal)，是基于低级图像特征(例如梯度、边缘、颜色、轮廓等信息)提取图像中非限定类别目标的算法，目前已经提出的此类算法包括SelectiveSearch算法、EdgeBox算法和BING算法等。

其中，SelectiveSearch算法是利用颜色、边缘信息自底向上不递归合并小区域，从而预测疑似目标；EdgeBox算法是利用轮廓的重叠性预测疑似目标；BING算法是利用快速多尺度窗口遍历来预测疑似目标。

对图中的所有疑似目标按置信度进行局部非极大值抑制，实现方法如下：

所有疑似目标按置信度由大到小的顺序进行排序；

求取所有疑似目标两两之间的候选区域交并比。候选区域的交并比主要依据两者之间的交集区域面积与其并集区域面积的比例，具体定义如下：

$ratio=\frac{A\∩B}{A\∪B}$

式中：A代表的是疑似目标1的目标区域，B代表的是疑似目标2的目标区域。

执行非极大值抑制：设定交并比阈值Ω(例如80％)，若ratio>Ω，则可以认为两疑似目标为同一目标，此时保留两者之间置信度高的为疑似目标，剔除置信度低的疑似目标。否则两目标都保留。

对局部非极大值抑制后的每个疑似目标利用深度神经网络提取图像特征。可采用已在大规模图像数据集(例如目前世界上最大的公开图像识别数据库ImageNet)上训练的深度神经网络模型，如AlexNet、GoogLeNet等，根据实验选取有利于图像检索的层作为特征输出。

对深度神经网络提取的连续实数空间的特征进行哈希编码(例如PCA(主成分分析)、LDA(线性判别式分析)哈希编码等)，得到每个疑似目标的哈希值。

将各疑似目标的位置、大小以及对应的二值图像特征存储在图像库特征文件中。

本实施例还提出一种图像检索方法，在目标图像检索阶段，执行以下步骤(除步骤1需要人工操作之外，其它步骤由计算机自动完成)：

用户在待检索图像中选择任意感兴趣区域；

利用疑似目标检测算法提取待检索图像中的所有疑似目标；

对疑似目标按置信度进行局部非极大值抑制(方法与预处理阶段相同)；

选择与用户已选感兴趣区域最接近的疑似目标区域，用深度神经网络提取该区域的图像特征并进行哈希编码；

遍历图像库中所有疑似目标，计算库中疑似目标二值特征与待检索目标二值特征的汉明距离。汉明距离公式如下：

$d(x,\mathrm{\γ})=\underset{i=0}{\overset{n-1}{\Σ}}(x_i\⊕y_i)$

其中n是目标二值特征的长度，xi和yi分别是疑似目标和待检索目标的第i维特征，⊕是异或运算符。

定义匹配值数据结构：其中包含库中疑似目标的索引值和该疑似目标与待检索目标的特征匹配值。特征匹配值计算公式如下：

$MatchScore=\frac{n-d(x,y)}{n}$

在遍历图像库的同时产生匹配值结构的实例，对其赋值后插入匹配值列表中。

对匹配值列表按其中匹配值由大到小的顺序进行排序。

保留排序后的匹配值列表前K(例如50)项。利用每项中疑似目标索引值定位到图像库中的图像原图以及该疑似目标的位置、大小等信息。

在用户操作界面中显示这K个疑似目标的图像。

综上所述，本实施例提供的一种图像存储方法和图像检索方法，通过提取采集到的监控图像中各个疑似目标区域的区域图像特征，区域图像特征所表征的图像范围要大于角点特征所表征的图像范围，所以在提取的监控图像的区域图像特征过程中，提取的区域图像特征的数量要小于提取角点特征的数量；在存储区域图像特征时，将区域图像特征对应的哈希值进行存储，相对于会占用上百个字节存储空间的角点特征，十几个字节大小的哈希值可以大大降低区域图像特征所消耗的存储空间；在图像检索的过程中，通过区域图像特征的哈希值在图像库中对目标查询区域进行查询，可以降低图像检索过程的计算量，提高向用户返回查询图像的速度，而且由于提取的监控图像区域图像特征数量较少，所以在大场景监控图像中检索目标图像时，提高了对检索目标的检索准确率。

实施例4

参见图4，一种图像存储装置，用于执行上述实施例中描述的图像存储方法，该装置包括：疑似目标区域获取模块400、区域图像特征提取模块402和存储模块404；

其中，疑似目标区域获取模块400，用于获取采集到的监控图像的疑似目标区域；区域图像特征提取模块402，与疑似目标区域获取模块400连接，用于提取疑似目标区域的区域图像特征，并计算疑似目标区域的区域图像特征的哈希值；存储模块404，与区域图像特征提取模块402连接，用于将监控图像与疑似目标区域和疑似目标区域对应的哈希值关联存储在图像库中。

由于监控图像中的一些区域图像特征比较接近并出现重叠部分，所以这些具有重叠部分的区域图像特征中可能会出现相似的图像特征，而这些相似的图像特征在图像检索的过程中作用类似，所以只保留其中的一个图像特征就可以满足图像检索的需求；但在相关技术中不会对得到的图像特征进行筛选，只会在得到图像特征后，直接对表示图像特征的所有多维数组进行存储，从而增加存储空间的消耗，所以疑似目标区域获取模块400通过设置的疑似区域获取单元和疑似目标区域确定单元，对相似的区域图像特征进行筛选，疑似目标区域获取模块400具体包括：

疑似区域获取单元，用于通过通用目标检测算法获取监控图像的多个疑似区域和对应的疑似区域信息；疑似区域信息包括：疑似区域的大小和置信度，以及疑似区域所在图像的标识和位置；

疑似目标区域确定单元，用于根据疑似区域信息，计算多个疑似区域之间的面积交并比例，选择面积交并比例小于设定比例阈值的疑似区域作为监控图像的疑似目标区域。

进一步地，疑似目标区域确定单元通过设置的面积交并比例计算子单元和疑似目标区域选择子单元减小确定疑似目标区域过程中的计算量，疑似目标区域确定单元具体包括：

面积交并比例计算子单元，用于对于多个疑似区域中的每个疑似区域，按照置信度的大小，逐一计算当前疑似区域与置信度小于当前疑似区域的疑似区域之间的面积交并比例；

疑似目标区域选择子单元，用于当计算得到的面积交并比例大于或等于设定的比例阈值时，删除小于当前疑似区域的疑似区域，保留当前疑似区域作为监控图像的疑似目标区域。

通过计算置信度高的当前疑似区域和比当前疑似区域的置信度低的疑似区域之间的面积交并比，可以进一步降低确定监控图像的疑似目标区域过程中的计算量，提高图像和图像特征的存储速度。

综上所述，选择面积交并比例小于设定比例阈值的疑似区域作为监控图像的疑似目标区域对得到的疑似目标区域进行筛选，减小监控图像的疑似目标区域的数量，进一步减少监控图像的疑似目标区域的区域图像特征所消耗的存储空间。

在相关技术中，通常是通过sift或者surf等特征提取方法来提取区域图像特征，而采用sift或者surf方式提取的疑似目标区域的区域图像特征通常是1024维度及以上维度的特征向量，要对这些由1024维度的数组组成的区域图像特征进行存储时，会增大存储空间的消耗。因此区域图像特征提取模块402通过设置的深度神经网络处理单元来获取区域图像特征，降低区域图像特征对存储空间的消耗，区域图像特征提取模块402具体包括：

深度神经网络处理单元，用于通过深度神经网络获取疑似目标区域的区域图像特征。

通过深度神经网络获取疑似目标区域的区域图像特征的数组维数是512维，比现有的通过sift或者surf方式提取的1024维的数组维数要小一半，所以可以降低区域图像特征对存储空间的消耗；而且在进行后续的哈希计算时，可以减少哈希计算的计算量，加快存储速度。

本实施例提供的一种图像存储装置，通过提取采集到的监控图像中各个疑似目标区域的区域图像特征，区域图像特征所表征的图像范围要大于角点特征所表征的图像范围，所以在提取的监控图像的区域图像特征过程中，提取的区域图像特征的数量要小于提取角点特征的数量；而且在存储区域图像特征时，将区域图像特征对应的哈希值进行存储，相对于会占用上百个字节存储空间的角点特征，十几个字节大小的哈希值可以大大降低区域图像特征所消耗的存储空间。

实施例4

参见图5，一种图像检索装置，用于执行上述实施例中描述的图像检索方法，该装置包括：目标查询区域确定模块500、区域图像特征哈希值计算模块502、疑似目标区域确定模块504和监控图像返回模块506；

其中，目标查询区域确定模块500，用于确定用户在待检索图像中选定的目标查询区域；区域图像特征哈希值计算模块502，与目标查询区域确定模块500连接，用于提取目标查询区域的区域图像特征，并计算目标查询区域的区域图像特征的哈希值；疑似目标区域确定模块504，与区域图像特征哈希值计算模块502连接，用于从图像库中查询与哈希值最接近的哈希值，确定最接近的哈希值对应的疑似目标区域；监控图像返回模块506，与疑似目标区域确定模块504连接，用于将包含疑似目标区域的监控图像返回给用户。

相关技术中，通过角点特征来对图像进行检索时，需要将用户在待检索图像中选择的查询区域中的多个角点特征作为检索条件，在图像库中进行查找后，才可以确定包括查询区域的监控图像，计算过程复杂且增加了检索耗时，因此，目标查询区域确定模块500通过设置的检索区域获取单元、疑似检索区域确定单元和目标查询区域选择单元来减少了图像检索时的计算量，目标查询区域确定模块500具体包括：

检索区域获取单元，用于获取用户在待检索图像中选择的检索区域；

疑似检索区域确定单元，用于通过通用目标检测算法提取待检索图像中的多个疑似检索区域；

目标查询区域选择单元，用于分别计算多个疑似检索区域中每个疑似检索区域与检索区域的面积交并比例，选择与检索区域面积交并比例最大的疑似检索区域作为目标查询区域。

综上所述，通过计算多个疑似检索区域中每个疑似检索区域与检索区域的面积交并比例，选择与检索区域面积交并比例最大的疑似检索区域作为目标查询区域，可以通过目标查询区域在图像库中进行相似图像的查找，无需进行大量的角点特征匹配，就可以确定包括目标查询区域的监控图像，减少了图像检索时的计算量。

相关技术中，通过进行查询区域的角点特征以及图像库中各监控图像的角点特征的匹配，来确定包括查询区域额目标图像，计算量较大，当需要匹配的图像数量较大时，会导致图像检索时间长的缺陷。因此，疑似目标区域确定模块504通过设置的汉明距离计算单元、最接近哈希值确定单元和疑似目标区域选择单元来缩短图像检索时间，疑似目标区域确定模块504具体包括：

汉明距离计算单元，用于计算目标查询区域的哈希值与图像库内每个疑似目标区域的哈希值的汉明距离；

最接近哈希值确定单元，用于将计算得到的汉明距离中的最小值对应的哈希值作为目标查询区域的哈希值最接近的哈希值；

疑似目标区域选择单元，用于从图像库中选择与最接近的哈希值对应的疑似目标区域，将选择的疑似目标区域作为目标查询区域的哈希值对应的疑似目标区域。

综上所述，可以通过计算目标查询区域的哈希值与图像库内每个疑似目标区域的哈希值的汉明距离，从图像库中选择与目标查询区域哈希值最接近的哈希值对应的疑似目标区域，来对图像库中的图像进行检索，计算量较小，可以减少图像检索的时间。

综上所述，本实施例提供一种图像检索装置，在图像检索的过程中，通过区域图像特征的哈希值在图像库中对目标查询区域进行查询，可以降低图像检索过程的计算量，提高向用户返回查询图像的速度，而且由于提取的监控图像区域图像特征数量较少，所以在大场景监控图像中检索目标图像时，提高了对检索目标的检索准确率。

本发明实施例所提供的图像存储方法和图像检索方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种图像存储方法，其特征在于，所述方法包括：

获取采集到的监控图像的疑似目标区域；

提取所述疑似目标区域的区域图像特征，并计算所述疑似目标区域的区域图像特征的哈希值；

将所述监控图像与所述疑似目标区域和所述疑似目标区域对应的哈希值关联存储在图像库中。

2.根据权利要求1所述的方法，其特征在于，获取采集到的监控图像的疑似目标区域包括：

通过通用目标检测算法获取所述监控图像的多个疑似区域和对应的疑似区域信息；所述疑似区域信息包括：所述疑似区域的大小和置信度，以及所述疑似区域所在图像的标识和位置；

根据所述疑似区域信息，计算所述多个疑似区域之间的面积交并比例，选择面积交并比例小于设定比例阈值的疑似区域作为所述监控图像的疑似目标区域。

3.根据权利要求2所述的方法，其特征在于，根据所述疑似区域信息，计算所述多个疑似区域之间的面积交并比例，选择面积交并比例小于设定比例阈值的疑似区域作为所述监控图像的疑似目标区域包括：

对于所述多个疑似区域中的每个疑似区域，按照置信度的大小，逐一计算当前疑似区域与置信度小于所述当前疑似区域的疑似区域之间的面积交并比例；

当计算得到的面积交并比例大于或等于设定的比例阈值时，删除所述小于所述当前疑似区域的疑似区域，保留所述当前疑似区域作为所述监控图像的疑似目标区域。

4.根据权利要求1所述的方法，其特征在于，提取所述疑似目标区域的区域图像特征包括：

通过深度神经网络获取所述疑似目标区域的区域图像特征。

5.一种图像检索方法，其特征在于，所述方法包括：

确定用户在待检索图像中选定的目标查询区域；

提取所述目标查询区域的区域图像特征，并计算所述目标查询区域的区域图像特征的哈希值；

从图像库中查询与所述哈希值最接近的哈希值，确定所述最接近的哈希值对应的疑似目标区域；

将包含所述疑似目标区域的监控图像返回给用户。

6.根据权利要求5所述的方法，其特征在于，确定用户在待检索图像中选定的目标查询区域包括：

获取用户在所述待检索图像中选择的检索区域；

通过通用目标检测算法提取所述待检索图像中的多个疑似检索区域；

分别计算所述多个疑似检索区域中每个疑似检索区域与所述检索区域的面积交并比例，选择与所述检索区域面积交并比例最大的疑似检索区域作为目标查询区域。

7.根据权利要求5所述的方法，其特征在于，从图像库中查询与所述哈希值最接近的哈希值，确定所述最接近的哈希值对应的疑似目标区域包括：

计算所述目标查询区域的哈希值与所述图像库内每个疑似目标区域的哈希值的汉明距离；

将计算得到的所述汉明距离中的最小值对应的哈希值作为所述目标查询区域的哈希值最接近的哈希值；

从所述图像库中选择与所述最接近的哈希值对应的疑似目标区域，将选择的所述疑似目标区域作为所述目标查询区域的哈希值对应的疑似目标区域。

8.一种图像存储装置，其特征在于，所述装置包括：

疑似目标区域获取模块，用于获取采集到的监控图像的疑似目标区域；

区域图像特征提取模块，用于提取所述疑似目标区域的区域图像特征，并计算所述疑似目标区域的区域图像特征的哈希值；

存储模块，用于将所述监控图像与所述疑似目标区域和所述疑似目标区域对应的哈希值关联存储在图像库中。

9.根据权利要求8所述的装置，其特征在于，疑似目标区域获取模块包括：

疑似区域获取单元，用于通过通用目标检测算法获取所述监控图像的多个疑似区域和对应的疑似区域信息；所述疑似区域信息包括：所述疑似区域的大小和置信度，以及所述疑似区域所在图像的标识和位置；

疑似目标区域确定单元，用于根据所述疑似区域信息，计算所述多个疑似区域之间的面积交并比例，选择面积交并比例小于设定比例阈值的疑似区域作为所述监控图像的疑似目标区域。

10.根据权利要求9所述的装置，其特征在于，疑似目标区域确定单元包括：

面积交并比例计算子单元，用于对于所述多个疑似区域中的每个疑似区域，按照置信度的大小，逐一计算当前疑似区域与置信度小于所述当前疑似区域的疑似区域之间的面积交并比例；

疑似目标区域选择子单元，用于当计算得到的面积交并比例大于或等于设定的比例阈值时，删除所述小于所述当前疑似区域的疑似区域，保留所述当前疑似区域作为所述监控图像的疑似目标区域。

11.根据权利要求8所述的装置，其特征在于，区域图像特征提取模块包括：

深度神经网络处理单元，用于通过深度神经网络获取所述疑似目标区域的区域图像特征。

12.一种图像检索装置，其特征在于，所述装置包括：

目标查询区域确定模块，用于确定用户在待检索图像中选定的目标查询区域；

区域图像特征哈希值计算模块，用于提取所述目标查询区域的区域图像特征，并计算所述目标查询区域的区域图像特征的哈希值；

疑似目标区域确定模块，用于从图像库中查询与所述哈希值最接近的哈希值，确定所述最接近的哈希值对应的疑似目标区域；

监控图像返回模块，用于将包含所述疑似目标区域的监控图像返回给用户。

13.根据权利要求12所述的装置，其特征在于，目标查询区域确定模块包括：

检索区域获取单元，用于获取用户在所述待检索图像中选择的检索区域；

疑似检索区域确定单元，用于通过通用目标检测算法提取所述待检索图像中的多个疑似检索区域；

目标查询区域选择单元，用于分别计算所述多个疑似检索区域中每个疑似检索区域与所述检索区域的面积交并比例，选择与所述检索区域面积交并比例最大的疑似检索区域作为目标查询区域。

14.根据权利要求12所述的装置，其特征在于，疑似目标区域确定模块包括：

汉明距离计算单元，用于计算所述目标查询区域的哈希值与所述图像库内每个疑似目标区域的哈希值的汉明距离；

最接近哈希值确定单元，用于将计算得到的所述汉明距离中的最小值对应的哈希值作为所述目标查询区域的哈希值最接近的哈希值；

疑似目标区域选择单元，用于从所述图像库中选择与所述最接近的哈希值对应的疑似目标区域，将选择的所述疑似目标区域作为所述目标查询区域的哈希值对应的疑似目标区域。