CN103533255B - 基于运动位移曲线精简的视频场景自动分割方法 - Google Patents

Abstract

本发明提供一种基于运动位移曲线精简的视频场景自动分割方法，包括：步骤1：输入视频的图像序列，并灰度转换得到灰度图像；步骤2：对灰度图像进行预处理；步骤3：对相邻的两帧灰度图像采用灰度投影运动估计算法获取图像偏移；步骤4：对图像偏移进行积分运算得到运动矢量曲线；步骤5：利用道格拉斯-普克矢量压缩算法压缩运动矢量曲线，消去摄像机的抖动分量；以及步骤6：基于压缩后的运动矢量曲线，获取曲线斜率变化的突变位置，并以突变位置为分割点分割出视频场景。本发明的方法可快速、准确地提取出摄像头预置位监控点的视频信息，并过滤掉摄像头转动时产生的视频数据，为监控点的视频数据的下一步分析和应用提供稳定基础。

Description

基于运动位移曲线精简的视频场景自动分割方法

技术领域

本发明涉及图象处理和模式识别领域，具体而言涉及一种基于运动位移曲线精简的视频场景自动分割方法。

背景技术

视频监控业务具有悠久的历史，在传统上广泛应用于安防领域，是协助公共安全部门打击犯罪、维持社会安定的重要手段。近年来，随着宽带的普及，计算机技术的发展，图像处理技术的提高，视频监控正越来越广泛地渗透到教育、政府、娱乐、医疗、酒店、运动等其他各种领域，例如档案室、文件室、金库、博物馆等机要部门的监视、控制和报警；交通领域的高速路收费管理、交通违章和流量监控、车辆牌照管理和公路桥梁铁路机场等场所的远程图像监控；社区物业管理中的住宅小区、办公室安全防范、智能大厦、停车场的无人监控等。

在视频监控系统应用下，当摄像机长时间、多预置位，大范围监控时，会产生海量的视频数据这对于存储、调取和处理来说，都面临严峻的挑战。

视频场景分割技术是在静态图像分割的技术基础上发展起来的。视频场景分割通常同时利用视频图像在空间和时间轴上的信息进行分割，目前大多数场景分割算法都采用比较镜头相似度的方法把相关的镜头聚类成场景。其中比较有代表性的场景分割算法是时间受限的镜头聚类算法和时间自适应分组法，这些算法都需要利用从镜头关键帧中获得的图像特征。而每种特征都有各自的优劣性。比如，将亮度相近的镜头归为一个场景，但容易受光照的影响。因此，如何从众多的图像特征中选择最合适的特征用于场景分割，尽可能避免干扰，是一件非常困难的工作。鉴于上述算法复杂，运算量大，分割精度易受观测噪声影响。考虑到监控视频的特性，本文提出了一种基于摄像机运动位移曲线精简的视频场景自动分割方法，对于象摄像机定点监控视频这种时间性较强的视频类型具有比较理想的分割效果。

发明内容

本发明目的在于提供一种基于运动位移曲线精简的视频场景自动分割方法，可快速、准确地提取出摄像头预置位监控点的视频信息，并且过滤掉摄像头转动时产生的视频数据，为监控点的视频数据的下一步分析和应用提供稳定基础。

为达成上述目的，本发明所采用的技术方案如下：

基于运动位移曲线精简的视频场景自动分割方法，包括以下步骤：

步骤1：输入视频的图像序列，并灰度转换得到灰度图像；

步骤2：对灰度图像进行预处理；

步骤3：对相邻的两帧灰度图像采用灰度投影算法获取图像偏移；

步骤4：对图像偏移进行积分运算得到运动矢量曲线；

步骤5：利用道格拉斯-普克矢量压缩算法（Douglas–Peuckeralgorithm）对运动矢量曲线进行压缩，以消去摄像机的抖动分量；以及

步骤6：基于步骤5压缩后的运动矢量曲线，获取曲线斜率变化的突变位置，并以突变位置为分割点分割出视频场景。

进一步，前述步骤1中，在视频的图像序列中每秒提取10帧图像，并对提取的图像进行灰度转换。

进一步，前述步骤2中，先对灰度图像进行去噪处理，然后再用直方图均衡方法来增强图像对比度。

进一步，前述步骤3中，对视频的图像序列内每相邻的两帧灰度图像，使用灰度投影算法，获取每相邻的两帧图像在X轴和Y轴上的图像偏移；然后在视频的图像序列内重复上述过程，直到得到所有的相邻两帧灰度图像的图像偏移。

进一步，前述步骤4中，将得到的图像偏移积分转换为摄像机的运动矢量，再进行积分运算获取运动矢量曲线，其实现过程如下：

对步骤3求得的图像偏移进行积分运算，采用累加的方法近似积分，其中：

对X轴的累加公式为：

X(n)=X(n-1)+δ_x

式中：X(n)为n个图像偏移的累加和，X(n-1)为n-1个图像偏移的累加和，δ_x为当前值，计算得到的X(n)即为X轴运动矢量的积分曲线；

对Y轴的累加公式为：

Y(n)=Y(n-1)+δ_y

式中：Y(n)为n个图像偏移的累加和，Y(n-1)为n-1个图像偏移的累加和，δ_y为当前值，计算得到的Y(n)即为Y轴运动矢量的积分曲线。

进一步，前述步骤6中，设定斜率阈值，基于压缩后运动矢量曲线上任意两点间的斜率超过前述斜率阈值，则判断为突变位置并以突变位置为分割点分割出视频场景。

进一步，前述步骤6中，对于压缩后运动矢量曲线上的两点，如果没有超过该斜率阈值，则设为同一直线，可设定一时间参数，选取出时间长度大于该时间参数的水平直线作为为摄像机静止状态监控时的时间片段，分离出相应的时间片段，该时间片段就是摄像机的静止的时间区域。

由以上本发明的技术方案可知，本发明的有益效果在于利用数字图像处理获取出摄像头的运动矢量信息，并基于运动矢量曲线来判定摄像机的运动状态，分割出摄像机在不同预置位的监控视频，为监控点的视频数据的下一步分析和应用提供稳定基础。

附图说明

图1为基于运动位移曲线精简的视频场景自动分割方法的实现流程图。

图2为灰度投影法得到的图像位移示意图。

图3为道格拉斯-普克矢量压缩算法（Douglas–Peuckeralgorithm）的实现过程示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

如图1所示，根据本发明的较优实施例，基于运动位移曲线精简的视频场景自动分割方法，包括以下步骤：

步骤1：输入视频的图像序列，并灰度转换得到灰度图像；

步骤2：对灰度图像进行预处理；

步骤3：对相邻的两帧灰度图像采用灰度投影算法获取图像偏移；

步骤4：对图像偏移进行积分运算得到运动矢量曲线；

步骤5：利用道格拉斯-普克矢量压缩算法（Douglas–Peuckeralgorithm）对运动矢量曲线进行压缩，以消去摄像机的抖动分量；以及

步骤6：基于步骤5压缩后的运动矢量曲线，获取曲线斜率变化的突变位置，并以突变位置为分割点分割出视频场景。

较佳地，本实施例中，在前述步骤1中，在视频的图像序列中每秒提取10帧图像，然后对提取的图像进行灰度转换，可在保证精度的同时减少运算量。

佳佳地，前述步骤2中，前述预处理包括去噪处理和图像增强处理，也即先对灰度图像进行去噪处理，然后再用直方图均衡方法来增强图像对比度。

较佳地，前述步骤3中，采用灰度投影算法对视频的图像序列内每相邻的两帧灰度图像，使用灰度投影算法，获取每相邻的两帧图像在X轴和Y轴上的图像偏移；然后在视频的图像序列内重复上述过程，直到得到所有的相邻两帧灰度图像的图像偏移。

其中，灰度投影算法(GrayProjectionAlgorithm)是一种基于投影算法的稳像方法，就是将经过滤波预处理后的每一帧M×N图像的二维灰度信息映射成2个独立的一维投影序列，可分为图像映射和相关计算两个步骤。参考图2所示，灰度投影法的实现过程如下：

步骤1：图像映射

对于视频的图像序列中，图像大小为MxN，每一帧图像数据经过一定的预处理后，把其灰度像素值映射成沿X轴、Y轴方向的2个独立一维波形，可表示为：

$G_k\left(i\right)=\underset{j}{\mathrm{\&Sigma;}}{G}_k(i,j),(0\&le;i<M)$

$G_k\left(j\right)=\underset{i}{\mathrm{\&Sigma;}}{G}_k(i,j),(0\&le;j<N)$

其中，G_k(i)为第k帧视频图像中，第i列像素灰度值之和；G_k(j)为第k帧图像中，第j行像素灰度值之和；G_k(i,j)为第k帧图像上（i,j）坐标位置的像素灰度值。

步骤2：相关计算

将得到的第k帧的投影一维波形与参考帧图像（r）的投影一维波形做互相关计算，计算公式为：

$C\left(\mathrm{\&omega;}\right)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{[G_k(1+\mathrm{\&omega;})-G_r(m+i+1)]}^2,(1\&le;\mathrm{\&omega;}\&le;2m+1)$

式中：G_k(i)和G_r(i)分别为第k帧和参考帧的第i列像素灰度值投影值，N为图像的宽度，m为投影曲线相对于参考帧对应位置在某一侧的搜索宽度范围。

互相关运算得到的值将形成一条互相关值曲线，互相关曲线的唯一峰值即为灰度投影法所求得的位移矢量值。当ω＝W_min时，假设C(ω)取得最小值，则当前帧k图像相对于参考帧图像r在X轴方向的位移值为：

δ_x＝m+1-W_min

δ_x为正时，表明当前帧（即第k帧）相对参考帧向左运动了|δ_x|像素，δ_x为负时则表明当前帧（即第k帧）向右运动了|δ_x|像素。同样的步骤可以求得垂直方向、即Y轴的位移矢量，如图2所示。

灰度投影算法将两维图像信息转化为一维投影曲线，然后进行一维相关运算求出运动矢量，大大减少了计算量；同时反映出图像的整体特征，具有抑制噪声的性能，从而保证了图像偏移的精度。

值得一提的是，本实施例中下面的所有计算提到投影都只分析列投影，行灰度投影和列灰度投影方法的相关计算类似，不再赘述。

较佳地，前述步骤4中，将得到的图像偏移积分转换为摄像机的运动矢量，再进行积分运算获取运动矢量曲线。具体地，对求得的图像偏移进行积分运算，可以采用累加的方法近似积分。对X轴的累加公式为：

X(n)=X(n-1)+δ_x

其中：X(n)为n个图像偏移的累加和，X(n-1)为n-1个图像偏移的累加和，δ_x为当前值。计算得到的X(n)即为X轴运动矢量的积分曲线。

同理有对Y轴的累加公式：

Y(n)=Y(n-1)+δ_y，其中Y(n)为n个图像偏移的累加和，Y(n-1)为n-1个图像偏移的累加和，δ_y为当前值。计算得到的Y(n)即为Y轴运动矢量的积分曲线。

上述得到的运动矢量曲线在定点监控时会有波动的，曲线并不是规范的，图像上的直线实际可能是由许多折线组成的。这会给我们带来两个方面的问题：

（1）增大了计算量。由于干扰的增多，需要计算的像素点数也就增多，如果不加处理直接进行计算，那势必会增加计算量。

（2）影响定位的精度。由于设定的定点监控时曲线都是边缘工整的，所以不对原始曲线进行处理的话会大大影响定位的精度。

鉴于以上两个原因，本实施例中在步骤5中采用了道格拉斯-普克矢量压缩算法（（Douglas–Peuckeralgorithm，简称DP算法）来对曲线数据进行简化压缩，从而消除摄像机的抖动分量。

参考图3所示，所述步骤5中，简化压缩基本实现过程是：对每一条曲线的首末点虚连一条直线，求所有点与直线的距离，并找出最大距离d_max，比较d_max与设定的线差D：如果d_max<D，则这条直线上的中间点全部舍去。如果d_max≥D，则保留d_max对应的坐标点，并以该点为界，将曲线分为两部分，对这新分开的两部分重复使用上述方法。

对上面求得到的X(n)和Y(n)点集，以n为坐标横轴，X(n)和Y(n)分别为坐标的纵轴用道格拉斯-普克矢量压缩算法进行曲线压缩，压缩后剩下新的点集n的数目会大幅度减少。设曲线精简后的运动矢量曲线新的点集记为X(m)和Y(m)，然后从X(0)和Y(0)开始分别遍历计算相邻两点的斜率，设定斜率的阈值，和前面的斜率比较，小于阈值的设为同一直线，求出整个曲线里面的水平直线部分，取X(n)和Y(n)的公共水平直线的交集，同时可设定时间参数，选取出时间长度大于时间参数的水平直线作为为摄像机静止状态监控时的时间片段。

由此，本实施例的方法中在前述步骤6，设定斜率阈值，基于压缩后的运动矢量曲线上任意两点间的斜率超过前述斜率阈值，则判断为突变位置并以突变位置为分割点分割出视频场景。如果没有超过该斜率阈值，设为同一直线，求出整个曲线里面的水平直线部分，取X(n)和Y(n)的公共水平直线的交集，设定时间参数，选取出时间长度大于时间参数的水平直线作为为摄像机静止状态监控时的时间片段，分离出相应的时间片段，该时间片段就是摄像机的静止的时间区域。

综上所述，本发明所提供的基于运动位移曲线精简的视频场景自动分割方法，其显著效果在于：利用数字图像处理获取出摄像头的运动矢量信息，并基于运动矢量曲线来判定摄像机的运动状态，分割出摄像机在不同预置位的监控视频，以利为监控点的视频数据的下一步分析和应用提供稳定基础。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种基于运动位移曲线精简的视频场景自动分割方法，其特征在于，包括以下步骤：

步骤1：输入视频的图像序列，并灰度转换得到灰度图像；

步骤2：对灰度图像进行预处理；

步骤3：对相邻的两帧灰度图像采用灰度投影算法获取图像偏移；

步骤4：对图像偏移进行积分运算得到运动矢量曲线；

步骤5：利用Douglas–Peuckeralgorithm算法对运动矢量曲线进行压缩，以消去摄像机的抖动分量；以及

步骤6：基于步骤5压缩后的运动矢量曲线，获取曲线斜率变化的突变位置，并以突变位置为分割点分割出视频场景。

2.根据权利要求1所述的基于运动位移曲线精简的视频场景自动分割方法，其特征在于，前述步骤1中，在视频的图像序列中每秒提取10帧图像，并对提取的图像进行灰度转换。

3.根据权利要求1所述的基于运动位移曲线精简的视频场景自动分割方法，其特征在于，前述步骤2中，先对灰度图像进行去噪处理，然后再用直方图均衡方法来增强图像对比度。

4.根据权利要求1所述的基于运动位移曲线精简的视频场景自动分割方法，其特征在于，前述步骤3中，对视频的图像序列内每相邻的两帧灰度图像，使用灰度投影算法，获取每相邻的两帧图像在X轴和Y轴上的图像偏移；然后在视频的图像序列内重复上述过程，直到得到所有的相邻两帧灰度图像的图像偏移。

5.根据权利要求1所述的基于运动位移曲线精简的视频场景自动分割方法，其特征在于，前述步骤4中，将得到的图像偏移积分转换为摄像机的运动矢量，再进行积分运算获取运动矢量曲线，其实现过程如下：

对步骤3求得的图像偏移进行积分运算，采用累加的方法近似积分，其中：

对X轴的累加公式为：

X(n)＝X(n-1)+δ_x

式中：X(n)为n个图像偏移的累加和，X(n-1)为n-1个图像偏移的累加和，δ_x为当前帧在X轴方向的位移值，计算得到的X(n)即为X轴运动矢量的积分曲线；

对Y轴的累加公式为：

Y(n)＝Y(n-1)+δ_y

式中：Y(n)为n个图像偏移的累加和，Y(n-1)为n-1个图像偏移的累加和，δ_y为当前帧在Y轴方向的位移值，计算得到的Y(n)即为Y轴运动矢量的积分曲线。

6.根据权利要求1所述的基于运动位移曲线精简的视频场景自动分割方法，其特征在于，前述步骤6中，设定斜率阈值，基于压缩后运动矢量曲线上任意两点间的斜率超过前述斜率阈值，则判断为突变位置并以突变位置为分割点分割出视频场景。

7.根据权利要求6所述的基于运动位移曲线精简的视频场景自动分割方法，其特征在于，前述步骤6中，对于压缩后运动矢量曲线上的两点，如果没有超过所述斜率阈值，则设为同一直线，可设定一时间参数，选取出时间长度大于该时间参数的水平直线作为摄像机静止状态监控时的时间片段，分离出相应的时间片段，该时间片段就是摄像机的静止的时间区域。