CN109168008B - 一种基于云分布式海量交通视频信息处理方法 - Google Patents

Abstract

本发明公开了一种基于云分布式海量交通视频信息处理方法，将原视频文件解压为固定大小的视频帧图像；将解压后的单帧图像按照固定帧数来压缩成小的视频文件；对重新压缩得到的所有视频文件按照数据量大小进行排序，两两进行合并，待合并的两个视频文件分别取自最大的视频文件和最小的视频文件；使用Xuggler来对分布式文件系统上的交通视频文件进行编解码操作。本发明的有益效果是能提高处理海量交通视频信息的效率。

Description

一种基于云分布式海量交通视频信息处理方法

技术领域

本发明属于数据处理技术领域，涉及一种基于云分布式海量交通视频信息处理方法。

背景技术

目前海量交通视频文件的分布式存储鉴于视频文件的结构特性以及Hadoop分布式文件系统(HDFS)的分块存储策略，但是如何存储海量交通视频文件有三个问题：

1)块利用率不高：由于交通视频文件大小不固定，很难保证每个视频文件大小都是HDFS数据块的整数倍，从而在最后一块的时候仅仅剩下几十MB甚至几MB，浪费HDFS的存储资源。

2)视频的帧间关系可能被打破：由于交通视频文件由若干GOP组成，而且每个GOP由一个I帧，若干个B帧和若干个P帧组成，当HDFS对交通视频文件进行分块存储的时候会把某一个GOP切断，使得无法正常读取交通视频文件。

3)视频头信息的存储：对于分块存储的交通视频文件，只有第一块含有头文件，后续的数据块都因为没有头信息而无法正常读取。

目前基于海量交通视频文件的分布式存储设计基于Hadoop读取接口InputFormat的海量交通视频信息的分布式并行处理，分布式并行处理主要涉及分布式文件系统中的交通视频文件解码、Key/Value对的解析以及数据传递三个主要部分。FFmpeg虽然能很好的对本地视频文件进行编解码操作，但是它对外提供的API对Hadoop框架不友好。

发明内容

本发明的目的在于提供一种基于云分布式海量交通视频信息处理方法，本发明的有益效果是能提高处理海量交通视频信息的效率。

本发明所采用的技术方案是按照以下步骤进行：

1)将原视频文件解压为固定大小的视频帧图像；

2)将解压后的单帧图像按照固定帧数来压缩成小的视频文件；

3)对重新压缩得到的所有视频文件按照数据量大小进行排序，两两进行合并，待合并的两个视频文件分别取自最大的视频文件和最小的视频文件；

4)使用Xuggler来对分布式文件系统上的交通视频文件进行编解码操作。

进一步，步骤1)利用OpenCV库读取原始视频文件来获取视频文件包含的所有单帧图像。

进一步，步骤2)设置HDFS数据块大小为2T MB，以f帧为固定帧数来压缩单帧图像得到新的待合并视频文件，对于重新压缩后数据量大于T MB的视频文件，以起始固定帧数的一半即

帧为固定帧数重复步骤1)、2)得到更小的视频文件。

进一步，步骤3)中待合并的两个视频文件分别取自最大的视频文件和最小的视频文件，选取依据是数据量之和尽量接近HDFS数据块2TMB。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明采用拆分与合并的方法对海量交通视频文件进行分布式存储，方法包括以下步骤：

1)将原视频文件解压为固定大小的视频帧图像。该步骤利用OpenCV库读取原始视频文件来获取视频文件包含的所有单帧图像。

2)将解压后的单帧图像按照固定帧数来压缩成小的视频文件。在统计了现有视频文件的数据量和视频帧数之后，总结出视频帧数和数据量的关系来估算拆分后的视频文件包含的视频帧数f。公式如下：

f＝m*(60*t*r)/M

上式中，f为视频帧数，t为视频时长，单位为分钟，r为帧率，每秒内有多少帧，M为原始视频文件大小，单位为MB，m为拆分后的视频文件大小。

本发明实施阶段使用的HDFS文件系统的默认数据块大小为128MB。大多数视频文件的帧数为3000帧时数据量不超过64MB。经过计算和统计分析，以3000帧为固定帧数来压缩单帧图像得到新的待合并视频文件。对于重新压缩后数据量大于64MB的视频文件，以起始固定帧数的一半即1500帧为固定帧数重复步骤1)、2)得到更小的视频文件。

3)对重新压缩后的视频文件进行排序，对排序之后的视频文件进行合并，该合并过程以HDFS数据块2T MB为上限。对于第二步重新压缩得到的所有视频文件按照数据量大小进行排序，两两进行合并。待合并的两个视频文件分别取自最大的视频文件和最小的视频文件，选取依据为数据量之和尽量接近HDFS数据块2T MB。

4)使用Xuggler来对分布式文件系统上的交通视频文件进行编解码操作。Xuggler是适用于Java的解压缩，修改和重新压缩任何媒体文件(或流)的一种简单方法。Xuggler能够用于本地视频文件或者网络视频文件的读取。相对于本地文件系统而言，HDFS相当于网络上的资源，其中的视频可以当作网络视频处理，可以直接由Xuggler读取，并且结合Java的Buffered Image类，完成对视频的解码操作，获得视频帧数据作为待处理的图像。

以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (1)

1.一种基于云分布式海量交通视频信息处理方法，其特征在于按照以下步骤进行：

1)将原视频文件解压为固定大小的视频帧图像，利用OpenCV库读取原始视频文件来获取视频文件包含的所有单帧图像；

2)将解压后的单帧图像按照固定帧数来压缩成小的视频文件；以3000帧为固定帧数来压缩单帧图像得到新的待合并视频文件，对于重新压缩后数据量大于64MB的视频文件，以起始固定帧数的一半即1500帧为固定帧数重复步骤1)、2)得到更小的视频文件；

3)对重新压缩得到的所有视频文件按照数据量大小进行排序，两两进行合并，待合并的两个视频文件分别取自最大的视频文件和最小的视频文件；待合并的两个视频文件分别取自最大的视频文件和最小的视频文件，选取依据是数据量之和尽量接近128M；

4)使用Xuggler来对分布式文件系统上的交通视频文件进行编解码操作。