CN105243160A - 基于海量数据的分布式视频处理系统 - Google Patents

Abstract

本发明公开了基于海量数据的分布式视频处理系统，包括：步骤一、视频的读取、分割、封装：首先从HDFS分布式文件系统中获取相应路径下的视频文件，然后对视频文件进行读取、分割，将分割后的视频片段数据封装为对象，以便对视频封进行传输；步骤二、视频分析算法封装：采用视频分析算法用来完成对视频片段数据的分析处理，且视频分析算法通过JNI接口和Hadoop平台进行交互；步骤三、结果整合及存储：采用Hadoop平台，在各节点调用封装的视频分析算法完成视频的分析处理，然后将视频片段数据整合成完整视频。解决了传统的集中式视频处理在存储能力和处理能力不足及不可扩展的问题，通过对Hadoop平台中MapReduce计算框架的数据结构及相关接口进行扩展，实现海量视频的分布式处理和分析。

Description

基于海量数据的分布式视频处理系统

技术领域

本发明属于视频分析技术领域，涉及一种利用大数据处理技术来实现对海量数据进行分布式处理系统。

背景技术

随着视频数据量的急剧增长，给视频监控带来了一系列现实的问题：网络带宽紧张、存储空间庞大、对性能的要求成倍增长、投资与维护成本高昂、系统扩展升级压力等。传统的集中式视频处理存在存储能力和数据处理能力不足、存储能力和处理能力不可扩展的缺点。

分布式计算是近年来提出的一种新的计算方式，作为一门新兴科学领域它主要研究如何把一个需要很大的计算能力才能解决的大问题划分成若干个小的问题，然后把这些小问题分配给多台计算机进行并行协同处理，最后把各部分计算结果综合汇总起来得到最终结果。

Hadoop提供了一个分布式系统基础架构，其采用并行计算框架进行高效的分布式计算并拥有自己的分布式文件系统HDFS提供可扩展、健壮的数据存储；

Yarn是一种资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处；

MapReduce计算框架封装了底层的具体实现，减少了并行编程的难度，使用户可以在不了解分布式底层实现细节的情况下开发分布式程序；其生态圈中的HBase数据库，是一个分布式的、面向列的开源数据库，适合于非结构化数据存储，主要用来存储大量的小数据文件，如图片数据。

将视频分析与分布式计算结合起来，充分利用分布式计算的处理能力，将一台机器的负载分摊到多台机器并行处理，降低了时间成本，减轻了带宽压力，还可以应对并发视频处理任务，从而使视频处理在执行效率上有了较大提升。由于视频中帧数据的关联性，使用Hadoop内置的数据结构无法对数据直接进行分块读取，实现任务的分布式处理，因此，需要设计数据结构及相关接口对MapReduce框架进行扩展，使其可以对视频进行分布式分析。

发明内容

本发明的目的是提供基于海量数据的分布式视频处理系统，解决了传统的集中式视频处理在存储能力和处理能力不足及不可扩展的问题，通过对Hadoop、MapReduce框架的数据结构及相关接口进行扩展，实现海量视频的分布式处理和分析。

为达到上述目的，本发明的技术方案如下：

基于海量数据的分布式视频处理系统，包括：

步骤一、视频的读取、分割、封装

首先从HDFS分布式文件系统中获取相应路径下的视频文件，然后对视频文件进行读取、分割，将分割后的视频片段数据封装为对象，以便对视频封进行传输；

步骤二、视频分析算法封装：

采用视频分析算法用来完成对视频片段数据的分析处理，且视频分析算法通过JNI接口和Hadoop平台进行交互；

步骤三、结果整合及存储：

采用Hadoop平台，在各节点调用封装的视频分析算法完成视频的分析处理，然后将视频片段数据整合成完整视频。

在本发明的一个优选实施例中，针对步骤一中视频文件中的视频流进行解码，根据视频流信息定位分割点帧数或时间所对应的物理位置。

在本发明的一个优选实施例中，针对步骤一中视频片段数据进行封装时，所述视频片段包含该段视频片段所对应的视频名称、该段视频片段所在整个视频中的顺序id以使该段视频片段实现顺序排布。

在本发明的一个优选实施例中，所述步骤二中的视频片段数据的交互通过本地文件的形式实现，而视频片段数据中图片数据存储于HBase开源数据库中，并通过thrift接口与所述HBase开源数据库进行交互连通，其中thrift接口为传输数据的中间件。

在本发明的一个优选实施例中，所述步骤三中采用Hadoop分布式系统基础架构在各节点调用存储的视频片段数据，并从视频存储类中获取各视频片段的顺序id，按照id实现对结果的整合。

通过上述技术方案，本发明的有益效果是：

本发明通过对Hadoop平台的扩展，通过对视频的数据分割、传输、处理分析及对分析结果进行合并等过程，实现对海量视频的分布式处理分析，有效地克服了传统视频处理在存储和分析方面能力不足及不可扩展的缺点，极大地提升了在海量视频处理方面的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的分布式视频分析流程；

图2是本发明的视频分割及读取流程；

图3是本发明的视频分析算法封装流程；

图4是本发明的结果整合及存储流程。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

分布式视频分析处理整体流程如图1所示，主要包含：视频读取部分(包括视频分割及读取、键值对的设计)、视频分析算法封装、结果整合及存储，具体如下：

开始执行视频分析任务时，需要从HDFS中获取相应路径下的视频文件，并根据设置对视频文件进行分割、读取、封装(键值对形式)。

该部分整体流程如图2所示。首先需要设计视频段的封装形式即键值对中Value，Value指的是封装后的视频段对象，由于在集群运行过程中需要对Value进行序列化和反序列化操作，因此Value要实现Writable接口，使得封装的视频段可以进行序列化处理(即可以进行存储)，另外，在最终进行结果合并时，为了保证结果的准确性，在其中加入顺序的标识。之后，由于Hadoop会通过输入格式接口InputFormat来读取HDFS中相应目录下的所有文件，在具体使用时可继承文件类输入格式FileInputFormat类，并重写其isSplitable方法、createRecordReader方法和getSplits方法；isSplitable方法用来判断文件是否进行分割，其默认为真(对文件进行分割)，getSplits根据isSplitable的返回结果来确定如何对文件进行分割并将分割后文件封装到InputSplit的实现中，具体可继承文件分片类FileInputSplit，并使用视频封装类来保存视频片段数据；对于视频文件的分割，可调用厂商提供的解码库来获取分割点的物理位置，以在读取时只读取相应的视频片段即可；然后通过输入格式接口InputFormat中的创建记录读取类createRecordReader方法获取记录读取类RecordReader以对输入分片InputSplit中的文件进行读取，在记录读取类RecordReader中具体定义了读取视频片段的方法，进一步通过记录读取类RecordReader中的获取键getCurrentKey和获取值getCurrentValue将各段视频组装成键值对(Key,Value)的形式。

将视频片段封装成Key,Value键值对形式之后，会根据getSplits方法返回的inputSplit个数启动相应个数的Mapper，并调用其map函数对各视频片段进行处理。

由于java程序无法直接调用C++程序，而视频分析算法使用C++语言进行实现，Hadoop平台是基于java实现的，为了利用Hadoop平台实现对分析算法的分布式处理，需要两者之间进行交互，因此需要对分析算法进行封装，

进一步地，视频分析算法用来完成对视频段的分析处理，如采用人脸检测算法对视频中出现的人脸进行检测，或采用入侵检测算法对视频中特定区域出现的异物进行检测，从而实现对视频的自动分析，并进一步可形成报警信息，为决策提供支撑

该部分整体流程如图3所示。需要注意的是mapper输出的设置，对应reduce部分的输入，可根据需要设计mapper输出的键值对，。具体视频分析算法在map中实现，对于分析算法的封装，由于算法使用C++进行实现，需要将算法编译为动态链接库，然后使用JNI方式对算法进行封装，实现对视频的分析处理。同时，将分析结果中的图像数据通过Thrift接口存储到HBase中，以减小大量图片数据对Hadoop的Namenode造成较大的压力。

最终，根据Mapper的输出，设计Reducer以对算法处理结果进行处理，主要将map输出的视频片段进行合并然后存储到HDFS中，或将map输出的告警信息通过JDBC的方式存储到数据库中。

该部分整体流程如图4所示。Mapper处理完成之后，会将结果传入到Reducer中进行处理，在实现时需要重载reduce方法，并在其中对结果进行合并处理，对于视频片段，就需要在保证顺序的情况下完成视频的合并，处理完成之后，可根据业务需要将结果通过OutputFormat调用RecordWriter的write方法存储到HDFS上，或通过JDBC的方式将结果存储到数据库中。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.基于海量数据的分布式视频处理系统，其特征在于，包括：

步骤一、视频的读取、分割、封装

首先从HDFS分布式文件系统中获取相应路径下的视频文件，然后对视频文件进行读取、分割，将分割后的视频片段数据封装为对象，以便对视频进行传输；

步骤二、视频分析算法封装：

采用视频分析算法用来完成对视频片段数据的分析处理，且视频分析算法通过JNI接口和Hadoop平台进行交互；

步骤三、结果整合及存储：

采用Hadoop平台，在各节点调用封装的视频分析算法完成视频的分析处理，然后将视频片段数据整合成完整视频。

2.根据权利要求1所述的基于海量数据的分布式视频处理系统，其特征在于，针对步骤一中视频文件中的视频流进行解码，根据视频流信息定位分割点帧数或时间所对应的物理位置。

3.根据权利要求1或2所述的基于海量数据的分布式视频处理系统，其特征在于，针对步骤一中视频片段数据进行封装时，所述视频片段包含该段视频片段所对应的视频名称、该段视频片段所在整个视频中的顺序id以使该段视频片段实现顺序排布。

4.根据权利要求1所述的基于海量数据的分布式视频处理系统，其特征在于，所述步骤二中的视频片段数据的交互通过本地文件的形式实现，而视频片段数据中图片数据存储于HBase开源数据库中，并通过thrift接口与所述HBase开源数据库进行交互连通，其中thrift接口为传输数据的中间件。

5.根据权利要求1所述的基于海量数据的分布式视频处理系统，其特征在于，所述步骤三中采用Hadoop分布式系统基础架构在各节点调用存储的视频片段数据，并从视频存储类中获取各视频片段的顺序id，按照id实现对结果的整合。