CN105139421A - 电力系统基于互信息量的视频关键帧提取方法 - Google Patents

Abstract

本发明公开了电力系统基于互信息量的视频关键帧提取方法，包括如下步骤：读取视频数据，其中所述视频数据是由一系列连续有序的图像帧组成的有序序列，且连续的图像变化每秒超过24帧(frame)。根据比较算法提取监测视频中含有运动物体的关键帧视频段，将视频序列分为若干含有运动物体的视频段。获取视频段内相邻帧的互信息量。根据视频段间互信息量的阀值，对视频段进行聚类，聚类完成后，从每个视频段提取出互信息量最大、最小、平均互信息量的三帧作为关键帧的候选，依据视频的质量从候选帧中选出关键帧。本方法及系统解决了现在关键帧提取计算复杂，计算量大的问题，同时可以有效减少提取的关键帧数量，满足实际应用需求。

Description

电力系统基于互信息量的视频关键帧提取方法

技术领域

本发明涉及视频数据处理技术领域，特别是涉及互信息量的关键帧提取方法。

背景技术

视频(Video)泛指将一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术。连续的图像变化每秒超过24帧(frame)画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面；看上去是平滑连续的视觉效果，这样连续的画面叫做视频。

随着互联网的发展，视频监控在广大领域得到应用。视频数据数量也随着应用的发展，呈现爆炸式的增长。现在的应用对视频内容自动检测、过滤及视频内容的检索等需求不断增加。如何从海量的视频中快速，准确定位到感兴趣的信息成为智能信息化的重要课题之一。视频关键帧提取，是视频应用的基础，如果快速有效的提取视频关键帧，直接影响到高级视频应用的性能。当前视频关键帧提取方法主要有：基于颜色(或直方图)帧差方法，基于运动分析方法。基于颜色的帧差方法，光线的明暗对算法的影响较大，导致关键帧提取数量很多，提取效果很差。基于运动分析的关键帧提取方法使用光流分析计算视频帧的运动量，算法复杂，计算量大。

发明内容

本发明的目的是提供了一种电力系统基于互信息量的视频关键帧提取方法，解决了现有视频关键帧提取过程中，计算量大，计算复杂，提取关键帧较多的问题，计算过程比较简单，计算量比较小。

本发明的技术方案是：基于互信息量的视频关键帧提取方法，包括如下步骤：

步骤一：逐步读取视频帧数据，依次计算各相邻视频帧之间的互信息量，对于三色图像，分别计算各个通道的互信息量，视频帧之间的互信息量是最后三通道互信息量的总和，最后组成互信息量序列；使用互信息量序列代表视频序列，对视频帧序列的操作即为对互信息量序列的操作；

步骤二：将互信息序列划分为不同相似度的多个候选视频段数据；

步骤三：依据设定的阀值的大小，将多个候选视频段数据合并，最后组成聚类集合；

步骤四：从聚类集合中提取视频关键帧。

优选的技术方案：

步骤一中包括：

(1)分别获取视频帧图像像素RGB三通道的互信息量，对应的公式为：

$I_{t,t+1}^R=-\underset{a=0}{\overset{a=L-1}{\mathrm{\Σ}}}\underset{b=0}{\overset{b=L-1}{\mathrm{\Σ}}}{P}_{AB}\left(a,b\right)*\log \frac{P_{AB}\left(a,b\right)}{P_A\left(a\right)*P_B\left(b\right)}$

(2)将视频帧图像像素RGB三通道的互信息量转换为对应视频帧的互信息量，转换公式为：

$I_{\left(t,t+1\right)}=I_{\left(t,t+1\right)}^R+I_{\left(t,t+1\right)}^G+I_{\left(t,t+1\right)}^B$

(3)保存获取的互信息量，组成一个互信息量序列。

步骤二中，依据视频数据中所有视频帧间的互信息量，计算所有视频帧间互信息量的平均值为阀值。确定相邻帧间的互信息量与平均域值的大小，比平均域值大的相邻帧互信息量认为两帧较为相似，否则认为相邻两帧的变化较大。通过互信息量小于阀值的情况，可以将视频数据分为若干候选视频段数据。

步骤三中，依据设定的阀值大小，将多个候选视频段数据合并，最后组成聚类集合的步骤包括：

(1)计算候选视频段数据的视频帧之间的互信息量；

(2)计算候选视频段数据的视频帧之间互信息量的平均值；

(3)计算候选视频段数据之间互信息量平均值的差的绝对值；

(4)将小于设置阀值的候选视频段合并为一个候选视频段，同时候选视频段数量减一；当互信息量之差的绝对值大于设置阀值时，聚类的个数加一；当聚类的个数等于候选段减少后的个数时，生成聚类集合。控制候选视频段数据的个数，最后控制聚类集合的个数，进而控制关键帧数量。

步骤四中，从聚类集合中选取互信息量最大、最小和最接近该类平均互信息量的三帧作为候选帧，如果最大帧和最小帧之间差的绝对值大于视频帧率时，选取互信息量最大和互信息量最小的两帧为最终关键帧，否则选取最接近该类平均互信息的一帧作为最终的关键帧。

本发明的有益效果：

本发明所述的视频关键帧提取方法，能够实现视频关键帧的有效提取，通过设置第二个阀值的大小，可以实现场景渐变过程关键帧的提取，使得关键帧提取数量可以控制，同时算法复杂度降低，计算量大大减小。

附图说明

图1是该方法实现的提取视频中关键帧的示意图。

图2是视频数据关键帧提取的流程图。

图3是生成候选视频段数据的流程图。

图4是生成聚类集合的流程图。

图5是从聚类集合中提取关键帧的流程图。

具体实施方式

以下结合附图对本发明内容进行详细说明。

如图1所示，从整体上说明本方法对视频的处理，先将视频划分为场景，再对场景作处理提取关键帧。其中所述的场景是进行聚类后的候选视频段。

如图2所示，本发明所述的视频关键帧提取方法，包括：读取视频数据，其中所述视频数据是由一系列连续有序的图像帧组成的有序序列，且连续的图像变化每秒超过24帧(frame)。根据比较算法提取监测视频中含有运动物体的关键帧视频段，将视频序列分为若干含有运动物体的视频段。获取视频段内相邻帧的互信息量。根据视频段间互信息量的阀值，对视频段进行聚类，聚类完成后，从每个视频段提取出互信息量做大、最小、平均互信息量的三帧作为关键帧的候选，依据视频的质量从候选帧中选出关键帧。

本发明所述的视频关键帧提取方法的实施步骤包括以下步骤：

(1)从视频数据逐帧读取视频帧数据，计算相邻视频帧之间的互信息量，组成互信息量序列，使用互信息量序列代表视频帧序列，

详细步骤如下：

a、相邻两帧在R分量上的互信息量计算公式为：

$I_{t,t+1}^R=-\underset{a=0}{\overset{a=L-1}{\mathrm{\Σ}}}\underset{b=0}{\overset{b=L-1}{\mathrm{\Σ}}}{P}_{AB}\left(a,b\right)*\log \frac{P_{AB}\left(a,b\right)}{P_A\left(a\right)*P_B\left(b\right)}$

其中P_A，P_B表示两个具有相同灰度级别的图像(其中P_A，P_B分别是各图像的直方图除以图像总的像素个数得到)。联合概率密度P_AB(a，b)为两图像的联合灰度直方图除以图像像素的总个数得到；

b、对于彩色图像，相邻的两帧视频分别独立计算RGB分量的互信息量，通过R、G、B三个颜色通道计算其总的互信息量为：

$I_{\left(t,t+1\right)}=I_{\left(t,t+1\right)}^R+I_{\left(t,t+1\right)}^G+I_{\left(t,t+1\right)}^B$

c、保存RGB三通道的互信息量和I_(t，t+1)，所有相邻视频帧的互信息量组成一个互信息量序列mutual[m]，m为帧的总数量减1。

(2)将视频帧序列划分为多个相似的视频帧序列，即将步骤(1)中得到的互信息量序列划分为互信息量相似序列；互信息量变动较小时，认为视频帧之间的内容变动较小；当互信息量的值较大时，认为互信息量之间的相似度较高，因此可以通过比较互信息量和互信息量平均值的大小，将整个视频数据分为若干候选视频段数据，同属于一个候选视频段数据的相邻关键帧具有相似性，视频内容未明显变化。如图3所示，划分过程会记录视频候选视频关键帧的起止帧位置，视频数据分割过程如下：

a、计算所有视频帧间的互信息量的平均值作为阀值θ₁

在(1)中已经获取到视频数据的互信息量序列mutual[m]，对数组元素相加后除以m，即为所有视频数据的互信息量的平均值θ₁；

b、依据互信息量mutual[m]与θ₁的比较划分若干候选视频段数据

当互信息量较大时两视频帧之间较为相似；当互信息量值变化不大时，说明两帧内容未发生较大变化。当mutual[i]开始小于θ₁时，将第i+1帧记为候选视频段起始帧；在mutual[]一直小于θ₁的情况下，出现mutual[k]开始大于θ₁时，第k帧记为候选视频段数据的停止帧，不断迭代循环，得到若干个(N)候选视频段数据；

c、依据(2)中生成候选视频段数据，形成候选视频段序列

S_t＝{S₁，S₂，S₃，...，S_N}

s_t代表候选视频段数据，本文使用和表示相邻的两帧，每个候选视频段数据的内部数据帧为：

(3)依据设定的最小阀值，对候选视频段序列进行合并，依据互信息量的比较，从候选视频段数据中合并相似的候选视频段数据，最后生成聚类集合，如图4所示，具体的实现如下：

a、分别计算所有候选视频段数据的视频帧间互信息量

I_s＝{I_1，2，I_2，3，I_3，4，...，I_N，N-1}

其中I_s表示候选视频段数据的所有相邻视频帧间的互信息量；

b、分别计算所有候选视频段数据所有相邻视频帧之间互信息量的平均值

${\stackrel{\‾}{I}}_S=\frac{{\mathrm{\Σ}}_{t=1}^{N-1}{I}_{t,t+1}}{N}$

其中I_s表示候选视频段数据的所有相邻视频帧之间互信息量的平均值；

c、计算相邻候选视频段数据和的互信息平均值的差值的绝对值

$\stackrel{\‾}{I_{s_{1,S_{1+1}}}}=\left|\stackrel{\‾}{I_{S_1}}-\stackrel{\‾}{I_{S_{1+1}}}\right|$

d、设置阀值θ₂，用于筛选候选视频段数据中相似度较高的候选视频段数据，将相似度较高的候选视频段序列合并为一个集合，同时将候选视频段数据的个数减一即N-1。经过不断的迭代循环，当候选视频段数据的个数不再变化时，认为筛选完成，形成一个或多个聚类集合。

(4)从聚类集合中提取出关键帧，如图5所示，具体如下：

从每一个聚类集合中选出至少三个视频帧，分别为聚类集合中互信息量最大的帧、互信息量最小的帧和互信息量的值最近接聚类集合中所有互信息量的平均值的一帧。当互信息量最大的一帧和互信息量最小的一帧之间的差大于视频帧率时，则选择这两帧为关键帧，否则选择互信息量中最接近平均值的一帧为关键帧。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何限制，凡是根据发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (5)

1.基于互信息量的视频关键帧提取方法，其特征是包括如下步骤：

步骤一：逐步读取视频帧数据，依次计算各相邻视频帧之间的互信息量，对于三色图像，分别计算各个通道的互信息量，视频帧之间的互信息量是最后三通道互信息量的总和，最后组成互信息量序列；

步骤二：将互信息序列划分为不同相似度的多个候选视频段数据；

步骤三：依据设定的阀值的大小，将多个候选视频段数据合并，最后组成聚类集合；

步骤四：从聚类集合中提取视频关键帧。

2.根据权利要求1所述的基于互信息量的视频关键帧提取方法，其特征是步骤一中包括：

(1)分别获取视频帧图像像素RGB三通道的互信息量，对应的公式为：

$I_{t,t+1}^R=-\underset{a=0}{\overset{a=L-1}{\mathrm{\Σ}}}\underset{b=0}{\overset{b=L-1}{\mathrm{\Σ}}}{P}_{AB}\left(a,b\right)*\log \frac{P_{AB}\left(a,b\right)}{P_A\left(a\right)*P_B\left(b\right)}$

(2)将视频帧图像像素RGB三通道的互信息量转换为对应视频帧的互信息量，转换公式为：

$I_{\left(t,t+1\right)}=I_{\left(t,t+1\right)}^R+I_{\left(t,t+1\right)}^G+I_{\left(t,t+1\right)}^B$

(3)保存获取的互信息量，组成一个互信息量序列。

3.根据权利要求1所述的基于互信息量的视频关键帧提取方法，其特征是步骤二中，依据视频数据中所有视频帧间的互信息量，计算所有视频帧间互信息量的平均值为阀值，确定相邻帧间的互信息量与平均阀值的大小，比平均阀值大的相邻帧互信息量认为两帧较为相似，否则认为相邻两帧的变化较大，通过互信息量小于阀值的情况，将视频数据分为若干候选视频段数据。

4.根据权利要求1所述的基于互信息量的视频关键帧提取方法，其特征在于步骤三中，依据设定的阀值大小，将多个候选视频段数据合并，最后组成聚类集合的步骤包括：

(1)计算候选视频段数据的视频帧之间的互信息量；

(2)计算候选视频段数据的视频帧之间互信息量的平均值；

(3)计算候选视频段数据之间互信息量平均值的差的绝对值；

(4)将小于设置阀值的候选视频段合并为一个候选视频段，同时候选视频段数量减一；当互信息量之差的绝对值大于设置阀值时，聚类的个数加一；当聚类的个数等于候选段减少后的个数时，生成聚类集合。

5.根据权利要求1所述的基于互信息量的视频关键帧提取方法，其特征在于步骤四中，从聚类集合中选取互信息量最大、最小和最接近该类平均互信息量的三帧作为候选帧，如果最大帧和最小帧之间差的绝对值大于视频帧率时，选取互信息量最大和互信息量最小的两帧为最终关键帧，否则选取最接近该类平均互信息的一帧作为最终的关键帧。