CN105589974B - 基于Hadoop平台的监控视频检索方法和系统 - Google Patents

Abstract

本发明公开一种基于Hadoop平台的监控视频检索方法，包括：基于Hadoop平台，对监控视频信息同时进行两种以上的预设处理，并将经过处理得出的特征信息存储在对应的数据库中；接收输入的检索条件信息，在各种数据库中同时检索符合检索条件信息的特征信息，并根据检索出的特征信息从监控视频信息中得出一个以上的候选检索目标；其中，数据库分为两种以上，每种数据库存储一种特征信息；特征信息的条数为一个以上，每条特征信息对应一个候选检索目标。上述方法能够有效的提高监控视频检索效率，增快监控视频检索的速度。本发明还公开一种基于Hadoop平台的监控视频检索系统。

Description

基于Hadoop平台的监控视频检索方法和系统

技术领域

本发明涉及监控视频检索技术领域，尤其涉及一种基于Hadoop平台的监控视频检索方法和系统。

背景技术

随着多种多样的商业信息系统的广泛应用，所产生的数据类型越来越多，数据量也越来越大。如何构建高性能的大数据平台，进行海量数据分析、处理，挖局出有价值的信息，为有效决策提供支持，已经成为各个行业的信息系统需求方面的关注热点。而传统的监控视频检索方法和系统的效率较低，检索速度较慢。

发明内容

基于此，有必要提供一种检索效率较高的基于Hadoop平台的监控视频检索方法和系统。

一种基于Hadoop平台的监控视频检索方法，包括：

基于Hadoop平台，对监控视频信息同时进行两种以上的预设处理，并将经过处理得出的特征信息存储在对应的数据库中；所述数据库分为两种以上，每种所述数据库存储一种所述特征信息；

接收输入的检索条件信息，在各种所述数据库中同时检索符合所述检索条件信息的所述特征信息，并根据检索出的所述特征信息从所述监控视频信息中得出一个以上的候选检索目标；所述特征信息的条数为一个以上，每条所述特征信息对应一个所述候选检索目标。

在其中一个实施例中，所述预设处理包括关键帧处理和视频摘要处理；所述数据库包括关键帧库和视频摘要库；

所述关键帧处理包括：从所述监控视频信息中提取反映视频主要事件的关键帧；对所述关键帧进行图像特征提取；将所述关键帧和所述图像特征存储至所述关键帧库中；其中，所述图像特征包括颜色、纹理和轮廓中的至少一种；

所述视频摘要处理包括：将监控视频信息进行浓缩，得出视频摘要和运动特征序列；将所述视频摘要和所述运动特征序列存储至所述视频摘要库中。

在其中一个实施例中，在所述对监控视频信息同时进行两种以上的预设处理步骤之前，还包括：

对所述监控视频信息进行镜头边界检测，将所述监控视频信息进行分割。

在其中一个实施例中，所述在所述数据库中检索符合所述检索条件信息的所述特征信息，并根据检索出的所述特征信息从所述监控视频信息中得出一个以上的候选检索目标步骤包括：

同时从所述关键帧库和所述视频摘要库中按照所述检索条件信息进行特征匹配检索；

若先从所述关键帧库中匹配成功，则根据对应的关键帧定位出所述候选检索目标在所述监控视频信息中的位置；

若先从所述视频摘要库中匹配成功，则根据对应的视频摘要定位出所述候选检索目标在所述监控视频信息中的位置。

在其中一个实施例中，所述检索条件信息为文本、图像或视频。

在其中一个实施例中，根据相似度度量方法进行特征匹配检索；

其中，所述相似度度量方法包括：距离度量方法或关联系数计算方法。

在其中一个实施例中，所述基于Hadoop平台的监控视频检索方法还包括：

将各个所述候选检索目标按照符合度的大小进行排序并输出。

一种基于Hadoop平台的监控视频检索系统，包括监控视频处理模块、目标检索模块和数据库；

所述监控视频处理模块，被配置以基于Hadoop平台，对监控视频信息同时进行两种以上的预设处理，并将经过处理得出的特征信息存储在所述数据库中；所述数据库分为两种以上，每种所述数据库存储一种所述特征信息；

所述目标检索模块，被配置以接收输入的检索条件信息，在各种所述数据库中同时检索符合所述检索条件信息的所述特征信息，并根据检索出的所述特征信息从所述监控视频信息中得出一个以上的候选检索目标；所述特征信息的条数为一个以上，每条所述特征信息对应一个所述候选检索目标。

在其中一个实施例中，所述监控视频处理模块包括关键帧处理单元和视频摘要处理单元；所述数据库包括关键帧库和视频摘要库；

所述关键帧处理单元，被配置以从所述监控视频信息中提取反映视频主要事件的关键帧，并对所述关键帧进行图像特征提取，以及将所述关键帧和所述图像特征存储至所述关键帧库中；其中，所述图像特征包括颜色、纹理和轮廓中的至少一种；

所述视频摘要处理单元，被配置以将监控视频信息进行浓缩，得出视频摘要和运动特征序列，并将所述视频摘要和所述运动特征序列存储至所述视频摘要库中。

在其中一个实施例中，所述监控视频处理模块还包括镜头边界检测单元；

所述镜头边界检测单元，被配置以对所述监控视频信息进行镜头边界检测，将所述监控视频信息进行分割。

在其中一个实施例中，还包括检索目标排序输出模块；

所述检索目标排序输出模块，被配置以将各个所述候选检索目标按照符合度的大小进行排序并输出。

上述基于Hadoop平台的监控视频检索方法和系统，基于Hadoop平台对监控视频信息进行预处理，并将得出的特征信息存储在对应的数据库中；在各种数据库中同时检索符合检索条件信息的特征信息，并根据检索出的特征信息从监控视频信息中得出候选检索目标，能够有效的提高监控视频检索效率，增快监控视频检索的速度。

附图说明

图1为本发明基于Hadoop平台的监控视频检索方法一个实施例的流程示意图；

图2为本发明基于Hadoop平台的监控视频检索方法一个实施例中的关键帧处理的流程示意图；

图3为本发明基于Hadoop平台的监控视频检索方法一个实施例中的视频摘要处理的流程示意图；

图4为本发明基于Hadoop平台的监控视频检索方法一个实施例中的在数据库中检索符合检索条件信息的特征信息，并根据检索出的特征信息从监控视频信息中得出一个以上的候选检索目标的流程示意图；

图5为本发明基于Hadoop平台的监控视频检索系统一个实施例的结构示意图；

图6为本发明基于Hadoop平台的监控视频检索系统一个实施例中监控视频处理模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明基于Hadoop平台的监控视频检索方法和系统的具体实施方式进行说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

基于Hadoop平台的监控视频检索方法可以分为视频入库和视频查询两大部分。其中，可以将视频入库设置为为离线处理，将视频查询设置为在线处理。参见图1，一个实施例中，基于Hadoop平台的监控视频检索方法具体可以包括以下步骤：

S101，基于Hadoop平台，对监控视频信息同时进行两种以上的预设处理，并将经过处理得出的特征信息存储在对应的数据库中。

其中，数据库可以分为两种以上，每种数据库对应存储一种特征信息。一个实施例中，预设处理可以包括关键帧处理和视频摘要处理。数据库可以包括关键帧库和视频摘要库。以下以铁路监控视频为例进行说明，但并不以此为限。铁路监控视频具有静态场景多，动态目标少，目标前景所占比例小等特点。针对铁路视频特点，设想加入提取关键帧和视频摘要的步骤。其中，关键帧反映了视频中主要事件，视频摘要是通过对整段视频进行浓缩，得到每段视频的一个整体概括。这两种方式避免了检索时依次对每一帧图像进行处理，以实现目标视频的快速检索。

具体的，参见图2，关键帧处理的过程可以包括以下步骤：

S201，从监控视频信息中提取反映视频主要事件的关键帧。

S202，对关键帧进行图像特征提取。

其中，图像特征可以包括颜色、纹理和轮廓中的至少一种特征。图像特征提取包括对图像内容的底层物理特征进行提取，包括颜色直方图、图像纹理、轮廓等，也包括运动轨迹等高层信息。另外，提取到图像特征后，可以用数值信息表示。

S203，将关键帧和图像特征存储至关键帧库中。

将关键帧和对应的图像特征存储到关键帧库中以后，用于后续视频查询步骤。

参见图3，视频摘要处理的过程可以包括以下步骤：

S301，将监控视频信息进行浓缩，得出视频摘要和运动特征序列。

其中，将监控视频信息进行浓缩，可以包括背景检测、运动目标提取和视频摘要合成等步骤。通过上述浓缩步骤得到视频摘要和对应的运动特征序列。

S302，将视频摘要和运动特征序列存储至视频摘要库中。

将视频摘要和对应的运动特征序列存储到视频摘要库中以后，用于后续视频查询步骤。

进一步的，在对监控视频信息同时进行两种以上的预设处理步骤之前，步骤S101还可以包括：对监控视频信息进行镜头边界检测，将监控视频信息进行分割。对监控视频信息进行镜头边界检测，将监控视频信息进行分割以后，同时采用关键帧处理和视频摘要处理对监控视频信息进行处理，并将处理后的特征信息存储至对应的数据库中。此处，特征信息可以包括关键帧和对应的图像特征，或视频摘要和对应的运动特征序列。将关键帧和对应的图像特征存储至关键帧库中。将视频摘要和对应的运动特征序列存储至视频摘要库中。

S102，接收输入的检索条件信息，在数据库中检索符合检索条件信息的特征信息，并根据检索出的特征信息从监控视频信息中得出一个以上的候选检索目标。

其中，特征信息的条数为一个以上，每条特征信息对应一个候选检索目标。参见图4，一个实施例中，步骤S102可以包括以下具体过程：

S401，同时从关键帧库和视频摘要库中按照检索条件信息进行特征匹配检索。

其中，检索条件信息可以为文本、图像或视频等形式。具体的，可以根据文本描述的关键字或者文本标题进行特征匹配检索。也可以根据图像中的人、物、颜色或运动方向等特征进行特征匹配检索。当然，还可以根据视频内的运动轨迹等信息进行特征匹配检索。另外，还可以根据文本、图像和视频任意两种以上的形式进行特征匹配检索，对此不做限制。

优选的，本实施例中，可以根据相似度度量方法进行特征匹配检索。具体的，可以计算图像特征在多维空间内的距离，用距离来表示图像的匹配程度。从而根据图像特征之间的距离关系进行特征匹配检索。另外，图像特征匹配还有相关计算、关联系数计算等方法。例如，检索条件信息为视频形式时，可以采用距离或相关计算的方法，寻找相似的运动序列实现以视频搜索视频的目的。

根据本步骤中的具体方法，同时在关键帧库和视频摘要库中进行特征匹配检索。

S402，若先从关键帧库中匹配成功，则根据对应的关键帧定位出候选检索目标在监控视频信息中的位置。

其中，若首先从关键帧库中匹配成功，则根据匹配成功的关键帧定位出候选检索目标在监控视频信息中的位置，从而获取到候选检索目标。具体的，可以根据匹配成功的关键帧与监控视频信息的对应关系，得出候选检索目标在监控视频信息中的位置。

S403，若先从视频摘要库中匹配成功，则根据对应的视频摘要定位出候选检索目标在监控视频信息中的位置。

其中，若首先从视频摘要库中匹配成功，则根据匹配成功的视频摘要定位出候选检索目标在监控视频中的位置，从而获取到候选检索目标。具体的，可以根据匹配成功的视频摘要与监控视频信息的对应关系，得出候选检索目标在监控视频信息中的位置。

进一步的，在步骤S201之后，基于Hadoop平台的监控视频检索方法还可以包括将各个候选检索目标按照符合度的大小进行排序并输出。具体的，特征匹配完成后，将满足一定符合度范围的一组候选结果按符合度大小排列后返回给用户。对系统返回的结果用户可通过浏览来挑选，选择满意的结果，或从候选结果中选择一个示例重新查询。

上述基于Hadoop平台的监控视频检索方法，基于Hadoop平台对监控视频信息进行预处理，并将得出的特征信息存储在对应的数据库中；在各种数据库中同时检索符合检索条件信息的特征信息，并根据检索出的特征信息从监控视频信息中得出候选检索目标，能够有效的提高监控视频检索效率，增快监控视频检索速度。

基于统一发明构思，本发明还提出一种基于Hadoop平台的监控视频检索系统。该系统可以通过上述方法实现，故重复之处不再赘述。参见图5，一个实施例中，基于Hadoop平台的监控视频检索系统可以包括监控视频处理模块100、目标检索模块200和数据库300。

具体的，监控视频处理模块100，被配置以基于Hadoop平台，对监控视频信息同时进行两种以上的预设处理，并将经过处理得出的特征信息存储在数据库300中。数据库300分为两种以上，每种数据库300被配置以存储一种特征信息。

目标检索模块200，被配置以接收输入的检索条件信息，在各种数据库300中同时检索符合检索条件信息的特征信息，并根据检索出的特征信息从监控视频信息中得出一个以上的候选检索目标。其中，特征信息的条数为一个以上，每条特征信息对应一个候选检索目标。检索条件信息可以为文本、图像或视频等形式。具体的，可以根据文本描述的关键字或者文本标题进行特征匹配检索。也可以根据图像中的人、物、颜色或运动方向等特征进行特征匹配检索。当然，还可以根据视频内的运动轨迹等信息进行特征匹配检索。另外，还可以根据文本、图像和视频任意两种以上的形式进行特征匹配检索，对此不做限制。

本实施例中，可以根据相似度度量方法进行特征匹配检索。具体的，可以计算图像特征在多维空间内的距离，用距离来表示图像的匹配程度。从而根据图像特征之间的距离关系进行特征匹配检索。另外，图像特征匹配还有相关计算、关联系数计算等方法。例如，检索条件信息为视频形式时，可以采用距离或相关计算的方法，寻找相似的运动序列实现以视频搜索视频的目的。

参见图6，一个实施例中，监控视频处理模块100包括关键帧处理单元110和视频摘要处理单元120。数据库300可以包括关键帧库和视频摘要库。

关键帧处理单元110，被配置以从监控视频信息中提取反映视频主要事件的关键帧，并对关键帧进行图像特征提取，以及将关键帧和图像特征存储至关键帧库中。其中，图像特征可以包括颜色、纹理和轮廓中的至少一种。

视频摘要处理单元120，被配置以将监控视频信息进行浓缩，得出视频摘要和运动特征序列，并将视频摘要和运动特征序列存储至视频摘要库中。

进一步的，监控视频处理模块100还包括镜头边界检测单元130。镜头边界检测单元130，被配置以对监控视频信息进行镜头边界检测，将监控视频信息进行分割。

优选的，参见图5，基于Hadoop平台的监控视频检索系统还可以包括检索目标排序输出模块400。检索目标排序输出模块400，被配置以将各个候选检索目标按照符合度的大小进行排序并输出。

以下通过一个具体实例对基于Hadoop平台的监控视频检索系统进行进一步说明。

Apache Hadoop社区生态环境是能够对大数据进行分布式处理的开源软件框架，具有灵活、高效、可靠、可伸缩等优势，因此可全面拥抱Hadoop，结合视频监控应用需求，构建基于Hadoop平台的铁路监控视频检索系统。该系统按功能可以分为数据采集层、数据存储层、并行计算层、数据分析层、数据服务层和数据应用层。

具体的，数据采集层使用Apache Flume进行日志归集和文件传输，使用ETL(Extract-Transform-Load，抽取-转换-加载)工具Sqoop将传统数据库中视频信息导入HBase。数据存储层使用HDFS(Hadoop Distributed File System，分布式文件系统)进行文件分布式存储，使用HBase进行数据存储，使用Hive构建分布式数据仓库。Hive为HBase提供高层语言支持，便于在HBase上进行数据统计处理。并行计算层使用MapReduce、Spark、Storm构建计算框架，使用YARN(Yet Another Resource Negotiator，另一种资源协调者)进行资源管理。数据分析层包含视频检索系统的核心算法，如视频浓缩算法、视频检索算法。数据服务层包含各类算法服务引擎。数据应用层包括视频检索互动门户、Web配置、运维监控等。集群节点通过Zookeeper进行管理协调。

上述系统具有以下优点：

1.在线分析采用Storm流式计算框架，离线分析采用Hadoop生态系统的MapReduce。在线分析与离线分析计算框架分离，充分发挥不同技术优势。

2.Spark引入RDD(Resilient Distributed Dataset，弹性分布式数据集)，所有统计分析认为被编译成对RDD的若干基本操作组成的有向无环图(DAG)。RDD可以被驻留在内存中，后续的任务可以直接读取内存中的数据。同时分析DAG中任务之间的依赖性可以把相邻的任务合并，从而减少了大量中间结果输出，极大减少了磁盘I/O。能够充分利用Spark基于内存计算的高速高效计算框架，进行实时查询、流处理、迭代算法、复杂操作运算等。

3.面对监控系统的海量视频，如果直接从HDFS上读写视频是比较花费时间的。HBase是一个在HDFS上开发的面向列的分布式数据库，适合实时地随机读/写超大规模数据集。将根据视频中的图像序列及其特征、视频中出现的运动目标等内容划分列族，在此基础上细分列。检索时只需查找特征列族，并进行列族内分列内容的匹配即可，从而达到效率的提升。

4.由于系统高并发量特点，采用对数据库进行读写分离设计，即将读数据和写数据进行分离，以提高数据访问可用性。

上述基于Hadoop平台的监控视频检索系统，基于Hadoop平台对监控视频信息进行预处理，并将得出的特征信息存储在对应的数据库中；在各种数据库中同时检索符合检索条件信息的特征信息，并根据检索出的特征信息从监控视频信息中得出候选检索目标，能够有效的提高监控视频检索效率，增快监控视频检索的速度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于Hadoop平台的监控视频检索方法，其特征在于，包括：

基于Hadoop平台，对监控视频信息同时进行两种以上的预设处理，并将经过处理得出的特征信息存储在对应的数据库中；所述数据库分为两种以上，每种所述数据库存储一种所述特征信息；

接收输入的检索条件信息，在各种所述数据库中同时检索符合所述检索条件信息的所述特征信息，并根据检索出的所述特征信息从所述监控视频信息中得出一个以上的候选检索目标；所述特征信息的条数为一个以上，每条所述特征信息对应一个所述候选检索目标；

所述预设处理包括关键帧处理和视频摘要处理；所述数据库包括关键帧库和视频摘要库；

所述关键帧处理包括：从所述监控视频信息中提取反映视频主要事件的关键帧；对所述关键帧进行图像特征提取；将所述关键帧和所述图像特征存储至所述关键帧库中；其中，所述图像特征包括颜色、纹理和轮廓中的至少一种；

所述视频摘要处理包括：将监控视频信息进行浓缩，得出视频摘要和运动特征序列；将所述视频摘要和所述运动特征序列存储至所述视频摘要库中。

2.根据权利要求1所述的基于Hadoop平台的监控视频检索方法，其特征在于，在所述对监控视频信息同时进行两种以上的预设处理步骤之前，还包括：

对所述监控视频信息进行镜头边界检测，将所述监控视频信息进行分割。

3.根据权利要求1所述的基于Hadoop平台的监控视频检索方法，其特征在于，所述在所述数据库中检索符合所述检索条件信息的所述特征信息，并根据检索出的所述特征信息从所述监控视频信息中得出一个以上的候选检索目标步骤包括：

同时从所述关键帧库和所述视频摘要库中按照所述检索条件信息进行特征匹配检索；

若先从所述关键帧库中匹配成功，则根据对应的关键帧定位出所述候选检索目标在所述监控视频信息中的位置；

若先从所述视频摘要库中匹配成功，则根据对应的视频摘要定位出所述候选检索目标在所述监控视频信息中的位置。

4.根据权利要求3所述的基于Hadoop平台的监控视频检索方法，所述检索条件信息为文本、图像或视频。

5.根据权利要求3所述的基于Hadoop平台的监控视频检索方法，根据相似度度量方法进行特征匹配检索；

其中，所述相似度度量方法包括：距离度量方法或关联系数计算方法。

6.根据权利要求1至5任意一项所述的基于Hadoop平台的监控视频检索方法，其特征在于，所述基于Hadoop平台的监控视频检索方法还包括：

将各个所述候选检索目标按照符合度的大小进行排序并输出。

7.一种基于Hadoop平台的监控视频检索系统，其特征在于，包括监控视频处理模块、目标检索模块和数据库；

所述监控视频处理模块，被配置以基于Hadoop平台，对监控视频信息同时进行两种以上的预设处理，并将经过处理得出的特征信息存储在所述数据库中；所述数据库分为两种以上，每种所述数据库存储一种所述特征信息；

所述目标检索模块，被配置以接收输入的检索条件信息，在各种所述数据库中同时检索符合所述检索条件信息的所述特征信息，并根据检索出的所述特征信息从所述监控视频信息中得出一个以上的候选检索目标；所述特征信息的条数为一个以上，每条所述特征信息对应一个所述候选检索目标；

所述监控视频处理模块包括关键帧处理单元和视频摘要处理单元；所述数据库包括关键帧库和视频摘要库；

所述关键帧处理单元，被配置以从所述监控视频信息中提取反映视频主要事件的关键帧，并对所述关键帧进行图像特征提取，以及将所述关键帧和所述图像特征存储至所述关键帧库中；其中，所述图像特征包括颜色、纹理和轮廓中的至少一种；

所述视频摘要处理单元，被配置以将监控视频信息进行浓缩，得出视频摘要和运动特征序列，并将所述视频摘要和所述运动特征序列存储至所述视频摘要库中。

8.根据权利要求7所述的基于Hadoop平台的监控视频检索系统，其特征在于，所述监控视频处理模块还包括镜头边界检测单元；

所述镜头边界检测单元，被配置以对所述监控视频信息进行镜头边界检测，将所述监控视频信息进行分割。

9.根据权利要求7至8任意一项所述的基于Hadoop平台的监控视频检索系统，其特征在于，还包括检索目标排序输出模块；

所述检索目标排序输出模块，被配置以将各个所述候选检索目标按照符合度的大小进行排序并输出。