CN106844654A - 面向警务实战的海量视频分布式检索方法 - Google Patents

Abstract

本发明涉及一种面向警务实战的海量视频分布式检索方法，包括以下步骤(1)搭建分布式网络环境；(2)管理计算资源并传输数据；(3)对视频数据进行管理和存储；(4)对任务进行分配和管理；(5)对视频的关键帧进行处理；(6)进行结构化信息管理；(7)进行实时展示和反馈。采用该方法，能够快速搭建一个分布式网络，将一切可用的计算资源连接起来，有效存储和管理不断增加的侦查视频数据，针对已有的线索信息，在海量的侦查视频中分布式检索，并依照实时展现检索结果实现相关反馈，以便快速准确地获得视频线索。

Description

面向警务实战的海量视频分布式检索方法

技术领域

本发明涉及大数据处理技术领域，尤其涉及视频图像检索技术领域，具体是指一种面向警务实战的海量视频分布式检索方法。

背景技术

视频图像是公安维护社会稳定和人民生命财产安全必不可少的信息资源。然而，随着视频监控系统规模的不断扩大，一方面视频监控数据出现了爆炸性的增长，另一方面现有的绝大多数视频监控系统仍停留在人为观察和手工操作的基础之上，当监控场景中出现异常情况或潜在危险时，都需要警务人员进行人为分析与处理，即使是事后调查取证，也需要办案人员对视频数据进行人工搜索，这种模式很大程度上限制了视频监控资源的有效利用，直接影响到了办案效率。利用计算机辅助进行视频检索是目前最直接可行的方法。

视频检索通常指的是基于内容的图像检索，即直接从图像中提取视觉特征，通过图像视觉特征之间的匹配达到检索目的。它公共安全、司法管理，军事等领域有着广泛地应用。然而，目前的基于内容检索技术仍存在着交互性差，图像底层特征与高层语义之间存在“语义鸿沟”等很多问题，而且现有的视频图像检索系统如QBIC，Virage，Photobook，Webseek等大都基于视频图像的底层特征，检索耗时且准确度不高，也无法满足公安行业因为数据保密级别高而需要灵活部署和快速检索的需求。

因此，有必要提出一种面向警务实战的海量视频图像检索方法。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现灵活部署和快速检索的面向警务实战的海量视频分布式检索方法。

为了实现上述目的，本发明具有如下构成：

该面向警务实战的海量视频分布式检索方法，包括以下步骤：

(1)搭建分布式网络环境；

(2)管理计算资源并传输数据；

(3)对视频数据进行管理和存储；

(4)对任务进行分配和管理；

(5)对视频的关键帧进行处理；

(6)进行结构化信息管理；

(7)进行实时展示和反馈。

较佳地，所述的步骤(1)具体为：

搭建控制端计算机、客户端计算机和服务端计算机的基本环境。

较佳地，所述的步骤(2)具体为：

网络交换机自动IP分配设置，控制端计算机通过DHCP协议扫描网络，搜集网络中的计算资源，并自动配置和控制端计算机相同的NFS共享文件夹，视频数据通过网络中任何计算机的传输接口拷贝到NFS共享文件夹中，实现网络共享。

较佳地，所述的步骤(3)具体为：

控制端计算机对NFS中的视频实行登记管理，形成视频资源表，根据实际处理情况标记视频文件的状态。

更佳地，所述的根据实际处理情况标记视频文件的状态，具体为：

将新增视频文件标记为未处理，将处理完的视频文件标记为处理过，将正在处理的视频文件标记处理中，将因故障没有处理完的视频文件标记为处理中断并记录中断位置。

较佳地，所述的步骤(4)具体为：

控制端计算机扫描视频文件资源表，统计被标记为未处理和处理中断的视频文件，评估资源表中的计算资源和网络中可用计算资源的传输成本，将传输成本最小的视频资源分配给闲置的计算资源，同时将视频资源的状态改变为处理中。

较佳地所述的步骤(5)还包括一下步骤：

(5-1)服务端计算机接受控制端计算机任务分配指令，从NFS中取得需要处理的视频文件；

(5-2)根据自身可用的CPU核的数目，将视频文件解码分成相应多段；

(5-3)多线程同时解码提取关键帧，置入根据计算机可用内存大小而设定的缓存池中；

(5-4)多线程同时处理关键帧，存储关键帧，特征提取，特征比对，特征存储，计算相似度；

(5-5)利用目标检测器实现对关键帧中的相关目标的检测定位。

较佳地，所述的步骤(6)具体为：

将特征以向量方式进行连接，通过HBASE实现分布式存储，并通过倒排表、HASH方法对特征文件进行索引，提取任务中人物图像和背景图像的特征并量化。

较佳地，所述的步骤(7)具体为：

将计算局部区域的特征同海量图像特征比对，找到最相似的区域，计算两者的相似度并按照其从大到小将对应的关键帧在网页上实时展示，能够提供相关反馈的接口，加载人工经验，进一步修正检索结果。

采用了该发明中的面向警务实战的海量视频分布式检索方法，实现案件侦破过程中视频线索的快速发现，即快速搭建一个分布式网络，将一切可用的计算资源连接起来，有效存储和管理不断增加的侦查视频数据，针对已有的线索信息，在海量的侦查视频中分布式检索，并依照实时展现检索结果实现相关反馈，以便快速准确地获得视频线索，具有广泛的应用范围。

附图说明

图1为本发明的面向警务实战的海量视频分布式检索方法的系统结构示意图。

图2为本发明的面向警务实战的海量视频分布式检索方法的发起检索任务的示意图。

图3为本发明的面向警务实战的海量视频分布式检索方法的任务分配的示意图。

图4为本发明的面向警务实战的海量视频分布式检索方法的任务回收的示意图。

图5为本发明的面向警务实战的海量视频分布式检索方法的检索任务流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

该面向警务实战的海量视频分布式检索方法，包括以下步骤：

(1)搭建分布式网络环境；

(2)管理计算资源并传输数据；

(3)对视频数据进行管理和存储；

(4)对任务进行分配和管理；

(5)对视频的关键帧进行处理；

(6)进行结构化信息管理；

(7)进行实时展示和反馈。

较佳地，所述的步骤(1)具体为：

搭建控制端计算机、客户端计算机和服务端计算机的基本环境。

较佳地，所述的步骤(2)具体为：

网络交换机自动IP分配设置，控制端计算机通过DHCP协议扫描网络，搜集网络中的计算资源，并自动配置和控制端计算机相同的NFS共享文件夹，视频数据通过网络中任何计算机的传输接口拷贝到NFS共享文件夹中，实现网络共享。

较佳地，所述的步骤(3)具体为：

控制端计算机对NFS中的视频实行登记管理，形成视频资源表，根据实际处理情况标记视频文件的状态。

更佳地，所述的根据实际处理情况标记视频文件的状态，具体为：

将新增视频文件标记为未处理，将处理完的视频文件标记为处理过，将正在处理的视频文件标记处理中，将因故障没有处理完的视频文件标记为处理中断并记录中断位置。

较佳地，所述的步骤(4)具体为：

控制端计算机扫描视频文件资源表，统计被标记为未处理和处理中断的视频文件，评估资源表中的计算资源和网络中可用计算资源的传输成本，将传输成本最小的视频资源分配给闲置的计算资源，同时将视频资源的状态改变为处理中。

较佳地所述的步骤(5)还包括一下步骤：

(5-1)服务端计算机接受控制端计算机任务分配指令，从NFS中取得需要处理的视频文件；

(5-2)根据自身可用的CPU核的数目，将视频文件解码分成相应多段；

(5-3)多线程同时解码提取关键帧，置入根据计算机可用内存大小而设定的缓存池中；

(5-4)多线程同时处理关键帧，存储关键帧，特征提取，特征比对，特征存储，计算相似度；

(5-5)利用目标检测器实现对关键帧中的相关目标的检测定位。

较佳地，所述的步骤(6)具体为：

将特征以向量方式进行连接，通过HBASE实现分布式存储，并通过倒排表、HASH方法对特征文件进行索引，提取任务中人物图像和背景图像的特征并量化。

较佳地，所述的步骤(7)具体为：

将计算局部区域的特征同海量图像特征比对，找到最相似的区域，计算两者的相似度并按照其从大到小将对应的关键帧在网页上实时展示，能够提供相关反馈的接口，加载人工经验，进一步修正检索结果。

如图1所示，系统基于Apache Thrift框架实现通信，主要分为客户端，控制端和服务端三个部分，实现多台服务器共同工作。为构建上述系统，本发明使用的方法如图5所示，包括以下操作步骤：

步骤1：搭建控制端计算机的基本环境，它是整个分布式系统运行的基础，需要安装Linux操作系统，并和配置包括thrift，boost C++，Eigen，OpenCV，FFTW，OpenMP，NFS，RabbitMQ，FFmpeg等库环境，以支持网络通信、分布式计算、存储共享、视频解码以及视频图像特征提取等方面工作。

步骤2：搭建客户端计算机基础环境，为了合理利用资源，可以在控制端计算机上部署。该步骤包含目标图片检索前个性化区域选择和检索结果的实时展示。个性化区域选择，用户根据关注点，用鼠标在目标图像上选择一个矩形区域，将该区域的图像提交到控制端计算机，如图2所示，计算其传统的兴趣点特征，如HOG，SIFT等特征，并将该特征存储在计算机中。检索结果的实时展示，将相似度从高到低的排序结果存入HTML文件，并按照自定义频率将其载入到安装了Reload Every插件的Firefox浏览器中展示给用户。通过对结果列表中无关图像和相关图像进行人工标注，改进检索过程中的相似度度量框架。

步骤3：搭建服务端计算机的基本环境，它是任务具体执行的单位，可以类似步骤1那样安装Linux操作系统，并和配置包括thrift，boost C++，Eigen，OpenCV，FFTW，OpenMP，NFS，RabbitMQ，FFmpeg等库环境，以支持后面网络通信、分布式计算、存储共享、视频解码以及视频图像特征提取等方面工作；也可以通过虚拟机的方式，直接把标准的运行环境拷贝过来。

步骤4：配置网络。网络交换机实现自动IP分配设置，控制端计算机通过DHCP协议扫描网络，搜集网络中的计算资源，如CPU核数、系统可用内存大小、磁盘大小等，形成计算资源表；自动配置和控制端计算机相同的NFS共享文件夹。

步骤5：数据传输。视频数据通过网络中任何计算机的传输接口如USB接口拷贝到NFS共享文件夹中，实现网络共享。

步骤6：视频数据管理。控制端计算机对NFS中的视频实行登记管理，形成视频资源表，标记视频文件的状态(未处理/处理过/处理中/处理中断)：新增视频文件标记“未处理”，处理完的标记为“处理过”，正在处理的文件标记“处理中”，因为故障没有处理完的视频，标记为“处理中断”并记录中断位置。

步骤7：任务分配。控制端计算机扫描视频文件资源表，统计状态标记为“未处理”和“处理中断”的视频文件。评估这些资源和网络中可用计算资源的传输成本，把传输成本最小的视频资源分配给闲置的计算资源，同时改变视频资源的状态为“处理中”，其中传输成本计算同视频文件大小正相关，同计算机传输距离正相关，如图3所示。

步骤8：视频关键帧处理。服务端计算机接受控制端计算机任务分配指令，从NFS中取得需要处理的视频文件，根据自身可用的CPU核的数目，将视频文件解码分成相应多段，多线程同时解码提取关键帧，置入根据计算机可用内存大小而设定的缓存池中；同时多线程同时处理关键帧，存储关键帧，特征提取，特征比对，特征存储，计算相似度等。其中，提取的特征包括传统的兴趣点特征和深度特征。传统特征提取方法是用opposift+harrislaplace的方法和HOG方法提取关键帧的SIFT、HOG等特征，将这些特征以列向量形式存到HBASE中，如图4所示；利用目标检测器，如行人检测器、汽车检测器等目标大类检测器，实现对关键帧中的相关目标的检测定位。特征索引，将步骤8中的特征文件中的特征聚类m类、量化、构建倒排表。通过倒排表，提取任务中人物图像和背景图像的特征并量化。特征比对，计算和查询检测区域和目标图像的SIFT特征，然后从倒排表中找到对应的类的特征点，并找到这些特征点对应的图片。最后按照图片的权重进行排序priority＝前景中特征点数×ratio1+背景中特征点数×ratio2，其中ratio1和ratio2是权重参数。

采用了该发明中的面向警务实战的海量视频分布式检索方法，实现案件侦破过程中视频线索的快速发现，即快速搭建一个分布式网络，将一切可用的计算资源连接起来，有效存储和管理不断增加的侦查视频数据，针对已有的线索信息，在海量的侦查视频中分布式检索，并依照实时展现检索结果实现相关反馈，以便快速准确地获得视频线索，具有广泛的应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (9)

1.一种面向警务实战的海量视频分布式检索方法，其特征在于，所述的方法包括以下步骤：

(1)搭建分布式网络环境；

(2)管理计算资源并传输数据；

(3)对视频数据进行管理和存储；

(4)对任务进行分配和管理；

(5)对视频的关键帧进行处理；

(6)进行结构化信息管理；

(7)进行实时展示和反馈。

2.根据权利要求1所述的面向警务实战的海量视频分布式检索方法，其特征在于，所述的步骤(1)具体为：

搭建控制端计算机、客户端计算机和服务端计算机的基本环境。

3.根据权利要求1所述的面向警务实战的海量视频分布式检索方法，其特征在于，所述的步骤(2)具体为：

网络交换机自动IP分配设置，控制端计算机通过DHCP协议扫描网络，搜集网络中的计算资源，并自动配置和控制端计算机相同的NFS共享文件夹，视频数据通过网络中任何计算机的传输接口拷贝到NFS共享文件夹中，实现网络共享。

4.根据权利要求1所述的面向警务实战的海量视频分布式检索方法，其特征在于，所述的步骤(3)具体为：

控制端计算机对NFS中的视频实行登记管理，形成视频资源表，根据实际处理情况标记视频文件的状态。

5.根据权利要求4所述的面向警务实战的海量视频分布式检索方法，其特征在于，所述的根据实际处理情况标记视频文件的状态，具体为：

将新增视频文件标记为未处理，将处理完的视频文件标记为处理过，将正在处理的视频文件标记处理中，将因故障没有处理完的视频文件标记为处理中断并记录中断位置。

6.根据权利要求1所述的面向警务实战的海量视频分布式检索方法，其特征在于，所述的步骤(4)具体为：

控制端计算机扫描视频文件资源表，统计被标记为未处理和处理中断的视频文件，评估资源表中的计算资源和网络中可用计算资源的传输成本，将传输成本最小的视频资源分配给闲置的计算资源，同时将视频资源的状态改变为处理中。

7.根据权利要求1所述的面向警务实战的海量视频分布式检索方法，其特征在于，所述的步骤(5)还包括一下步骤：

(5-1)服务端计算机接受控制端计算机任务分配指令，从NFS中取得需要处理的视频文件；

(5-2)根据自身可用的CPU核的数目，将视频文件解码分成相应多段；

(5-3)多线程同时解码提取关键帧，置入根据计算机可用内存大小而设定的缓存池中；

(5-4)多线程同时处理关键帧，存储关键帧，特征提取，特征比对，特征存储，计算相似度；

(5-5)利用目标检测器实现对关键帧中的相关目标的检测定位。

8.根据权利要求1所述的面向警务实战的海量视频分布式检索方法，其特征在于，所述的步骤(6)具体为：

将特征以向量方式进行连接，通过HBASE实现分布式存储，并通过倒排表、HASH方法对特征文件进行索引，提取任务中人物图像和背景图像的特征并量化。

9.根据权利要求1所述的面向警务实战的海量视频分布式检索方法，其特征在于，所述的步骤(7)具体为：

将计算局部区域的特征同海量图像特征比对，找到最相似的区域，计算两者的相似度并按照其从大到小将对应的关键帧在网页上实时展示，能够提供相关反馈的接口，加载人工经验，进一步修正检索结果。