CN102495887A - 一种基于关键区域色彩矩阵的视频镜头分割方法及其应用 - Google Patents

Abstract

本发明公开了一种基于关键区域色彩矩阵的视频镜头分割方法，包括以下流程：帧预处理→定义多个关键区域→通过色彩均值化计算关键区域的色彩矩阵，得到关键矩阵→将关键矩阵储存入视频特征数据库→根据色彩矩阵，生成关键区域色彩曲线，并对曲线进行滤波→检测关键区域色彩曲线拐点，得到拐点矩阵→对拐点处相邻帧分析，计算相邻帧间距离D→通过分析D的值，判断是否存在镜头切换。本发明还公开了一种视频镜头分割方法的应用，将所述视频镜头分割方法应用于视频内容检索。本发明既能够避免只取关键帧信息而造成特征提取不全面、不准确的问题，又能克服提取一段视频整体特征而造成保存信息和检索时效率低、耗时长的弊端。

Description

一种基于关键区域色彩矩阵的视频镜头分割方法及其应用

技术领域

本发明涉及一种视频镜头分割方法及其应用，尤其涉及一种基于关键区域色彩矩阵的视频镜头分割方法及其在视频检索过程中的应用。

背景技术

随着信息传播工具的迅速发展，视频已经渐渐取代文本、图像成为人们日常生活中获取信息的一个主要途径，如何对这些视频进行有效的检索和识别已经成为互联网应用的一个重要问题。由于视频信息数据量大、分辨率不统一、编码多种多样等特点，制约着基于视频内容检索的发展。因此，如何提高视频内容检测的准确度与效率，成为视频内容检索关注的问题。

为了对视频内容进行有效的组织，需要将视频分解为一个个基本单元，而一般认为视频的基本物理单元是镜头，一个镜头由一组摄像机连续拍摄得到的时间上连续的若干帧图像组成。镜头的自动分割是视频结构化的基础，也是视频分析和视频检索过程中的首要任务，镜头分割在基于内容的视频分析与检索的研究中具有重要地位，镜头分割的好坏将直接影响到更高一级的视频结构化以及后续视频检索的效果。

传统镜头分割的主要思想为依据两帧图像的特征值的差值与给定阈值进行比较，如果差值大于给定的阈值，说明两帧的特征变化较大，可以认为两帧为不同的主题，在此两帧之间进行镜头分割；如果差值小于给定的阈值，则说明两帧的特征变化较小，可以认为两帧为同一主题，可以继续进行下两帧的比较。

目前镜头分割的常用方法可以分为两类：一类是基于图像的色彩特征来进行镜头分割。另一类是利用图像的形态信息进行镜头的分割。

基于图像色彩特征来进行镜头分割的基本思想是：比较两帧图像的色彩差别，当差别大于一定阈值的时候认为两帧属于不同的主题，反之则认为是同一个主题。该方法是利用整个图像的色彩差别来判断镜头的切换，计算量比较大，受画面的分辨率影响较大，并且检测切变和渐变较为复杂。另一方面，采用整个画面的颜色数据作为检索特征，特征数据很庞大，降低了检索效率。

基于图像形态信息来进行镜头分割的主要思想是：比较两帧图像形态特征的差别，例如比较两帧图像的边缘信息，或者角点信息等，如果差别较大，则认为两帧属于不同的主题，差别较小则认为是同一个主题。该方法是利用画面的形态变化来判断镜头的切换，需要额外计算图像的形态特征，计算量较大，同时也受视频分辨率等因素影响，准确率不高。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于关键区域色彩矩阵的视频镜头分割方法及其在视频内容检索领域的应用。

为了达到上述目的，本发明采用了以下技术方案：

本发明中的基于关键区域色彩矩阵的视频镜头分割方法包括以下流程：帧预处理→定义多个关键区域→通过色彩均值化计算关键区域的色彩矩阵，得到关键矩阵→将关键矩阵储存入视频特征数据库→根据色彩矩阵，生成关键区域色彩曲线，并对曲线进行滤波→检测关键区域色彩曲线拐点，得到拐点矩阵→对拐点处相邻帧分析，计算相邻帧间距离D→通过分析D的值，判断是否存在镜头切换。

所述流程中，定义关键区域的方法为：将帧图像划分为六个关键区域，分别是：中心区域、中上区域、左上区域、左下区域、右上区域和右下区域；其中，中心区域为视觉集中区域，左上区域、右上区域、左下区域、右下区域这四个区域为画面背景区域，中上区域为视频画面比例检测区域。

所述流程中，计算关键区域的色彩矩阵的方法为：首先采用以下公式计算第l帧图像的第k个关键区域的色彩向量：

$m_k^l=\frac{1}{w_k*h_k}\underset{(i,j)\∈{\mathrm{\Ω}}_k}{\mathrm{\Σ}}{I}_{i,j}^l$

其中， $I_{i,j}^l=[r_{i,j}^l,g_{i,j}^l,b_{i,j}^l]$

式中，

表示第l帧图像的第k个关键区域的色彩向量，Ω_k表示第k个关键区域的像素范围，

表示在第l帧图像中(i，j)处的色彩向量，

分别表示第l帧图像中(i，j)处像素的RGB色彩分量，w_k表示第k个关键区域的像素宽度，h_k表示第k个关键区域的像素高度；

然后计算第l帧图像的关键区域的色彩矩阵M^l，其计算公式为：

$M^l={\left[\begin{array}{cccc}{m}_1^l& m_2^l& \·\·\·& m_6^l\end{array}\right]}^T$

所述关键矩阵的计算方法为：第l帧图像的关键矩阵N^l的计算公式为：

$N^l={\left[\begin{array}{cccc}\left|\right|m_1^l\left|\right|& \left|\right|m_2^l\left|\right|& \·\·\·& \left|\right|m_6^l\left|\right|\end{array}\right]}^T$

式中，||·||表示向量1-范数。

所述流程中，对拐点处相邻帧分析的方法为：计算第l帧拐点矩阵T^l，其计算公式如下：

$T^l={\left[\begin{array}{cccc}{t}_1^l& t_2^l& \·\·\·& t_6^l\end{array}\right]}^T,$

式中，

所述计算相邻帧间距离D的方法为：

D＝(T^l-T^l-1)^T·[α₁ α₂…α₆]^T，

式中，α_i，i＝1，2，...，6为根据不同关键区域对镜头分割的影响而设置的权重系数。

所述流程中，判断是否存在镜头切换的方法为：设置阈值Φ，若D≥Φ，则判断在第l帧处存在镜头切换，否则判断为在第l帧处不存在镜头切换。

所述视频特征数据库的结构依次为：视频内容的文字描述；视频索引矩阵；视频关键帧的色彩矩阵、关键矩阵；视频关键帧直方图数据。

所述视频索引矩阵的计算公式为：

$\mathrm{Index}=\frac{1}{\left|\mathrm{Kf}\right|}\underset{l\∈\mathrm{Kf}}{\mathrm{\Σ}}{N}^l$

式中，Index表示视频索引矩阵，Kf表示当前视频序列中关键帧集合，|Kf|为集合中关键帧个数。

本发明中视频镜头分割方法的应用，将所述视频镜头分割方法应用于视频内容检索，其方法为：检测当前视频序列；采用所述视频镜头分割方法提取关键帧；根据关键帧的色彩矩阵，从视频特征数据库中检索存储的索引矩阵，获得候选视频特征列表；计算当前视频的关键帧直方图；根据直方图信息，在候选特征列表中确定当前视频内容。

本发明的有益效果在于：

由于本发明中视频镜头分割的方法采用多个关键区域划分视频帧，并针对多个关键帧计算视频索引矩阵，既能够避免只取关键帧信息而造成特征提取不全面、不准确的问题，又能克服提取一段视频整体特征而造成保存信息和检索时效率低、耗时长的弊端。

结合本发明的应用，本发明的优点还体现在以下方面：受画面分辨率影像较小；由于采用关键区域划分方法，大大降低了算法的时间复杂度，检测镜头切换速度较快，准确度较高，特征数据量较小，能够反应视频内容随时间动态变化特征。

附图说明

图1是本发明中视频镜头分割方法在视频内容检索系统中应用的整体结构图；

图2是本发明中视频镜头分割方法的流程图；

图3是本发明中视频镜头分割方法中的关键区域划分示意图；

图4是本发明中视频镜头分割方法应用于视频内容检索的方法流程图。

具体实施方式

下面结合附图对本发明作进一步具体描述：

如图2所示，本发明中视频镜头分割方法包括以下流程：

1.对视频图像进行预处理201，预处理201的过程包括统一分辨率，去噪，中值滤波。

2.对视频图像进行单帧扫描202。

3.定义多个关键区域，这里定义6个关键区域，对关键区域划分203，划分的结构如图3所示。

4.关键区域扫描204，对每帧图像计算关键区域色彩向量205，其计算公式如下：

$m_k^l=\frac{1}{w_k*h_k}\underset{(i,j)\∈{\mathrm{\Ω}}_k}{\mathrm{\Σ}}{I}_{i,j}^l$

其中， $I_{i,j}^l=[r_{i,j}^l,g_{i,j}^l,b_{i,j}^l]$

式中，

表示第l帧图像的第k个关键区域的色彩向量，Ω_k表示第k个关键区域的像素范围，

表示在第l帧图像中(i，j)处的色彩向量，分别表示第l帧图像中(i，j)处像素的RGB色彩分量，w_k表示第k个关键区域的像素宽度，h_k表示第k个关键区域的像素高度；

然后计算色彩矩阵206，其计算公式如下：

$M^l={\left[\begin{array}{cccc}{m}_1^l& m_2^l& \·\·\·& m_6^l\end{array}\right]}^T$

式中，M^l表示第l帧图像的关键区域的色彩矩阵；

再计算关键矩阵207，其计算公式为：

$N^l={\left[\begin{array}{cccc}\left|\right|m_1^l\left|\right|& \left|\right|m_2^l\left|\right|& \·\·\·& \left|\right|m_6^l\left|\right|\end{array}\right]}^T$

式中，N^l表示第l帧图像的关键矩阵，||·||表示向量1-范数。

5.将该帧关键矩阵、色彩矩阵存入视频特征数据库即视频特征缓存208。

6.根据视频序列帧中，关键区域色彩矩阵M^l中

i＝1，2，...，6的色彩分量值，描述区域色彩曲线209，并对色彩曲线进行曲线滤波210。

7.对滤波后得到的色彩曲线进行分析，检测拐点211，计算第l帧拐点矩阵T^l，其计算公式如下：

$T^l={\left[\begin{array}{cccc}{t}_1^l& t_2^l& \·\·\·& t_6^l\end{array}\right]}^T,$

式中，

然后进行区域加权212，再进行镜头分割213，镜头分割213首先要计算相邻帧间距离D，其计算方法为：

D＝(T^l-T^l-1)^T·[α₁ α₂…α₆]^T，

式中，α_i，i＝1，2，...，6为根据不同关键区域对镜头分割的影响而设置的权重系数；

最后判断是否存在镜头切换，其方法为：设置阈值Φ，若D≥Φ，则判断在第l帧处存在镜头切换，否则判断为在第l帧处不存在镜头切换。

8.当发生镜头切换时，进行关键帧提取214，具体为：提取镜头变换的第一帧作为关键帧。

9.计算索引矩阵215，其计算公式为：

$\mathrm{Index}=\frac{1}{\left|\mathrm{Kf}\right|}\underset{l\∈\mathrm{Kf}}{\mathrm{\Σ}}{N}^l$

式中，Index表示视频索引矩阵，Kf表示当前视频序列中关键帧集合，|Kf|为集合中关键帧个数。

如图1所示，基于本发明中视频镜头分割方法的视频内容检索系统主要涉及两个阶段：特征提取阶段和特征检索阶段，分为离线过程和在线过程。见图1中101-104，离线过程主要完成对视频样本库中的视频进行特征提取，并存入视频特征库105；见图1中102-104和106-108，在线过程主要应用类似原理对待检测视频完成特征提取，然后与视频特征库105中的特征进行匹配，完成特征检索的过程，最后输出结果，确定待检索视频内容。

在特征提取阶段主要是经过视频镜头分割，提取视频特征，具体步骤如图2所示。

在特征检索阶段，利用同样的方法进行镜头分割，提取当前视频的关键帧特征，并在数据库中进行比对，根据比对结果来判断该视频的内容。详细步骤如图4所示，包括如下流程：

1.对待检测视频进行预处理401，并获取首帧色彩矩阵402；

2.将得到的色彩矩阵与视频特征库中的视频索引矩阵进行特征粗匹配403，得到与当前视频颜色相近的一系列视频特征，即候选特征列表404；

3.继续检测视频中的镜头切换，获取关键帧405，以及关键帧直方图406；

4.将得到的关键帧的直方图，与候选特征列表对应的关键帧直方图进行精确匹配407，判断当前待检索视频与特征库中视频数据是否一致，然后进行检索结果输出408，完成视频检索。

如图3所示，本发明中视频镜头分割方法中关键区域的分布，将帧图像划分为六个关键区域，分别是：中心区域即图中区域4、中上区域即图中区域2、左上区域即图中区域1、左下区域即图中区域5、右上区域即图中区域3和右下区域即图中区域6；其中，中心区域为视觉集中区域，左上区域、右上区域、左下区域、右下区域这四个区域为画面背景区域，中上区域为视频画面比例检测区域。这六个区域包含了大多数的前景和背景内容。与采用整幅视频图像进行计算的方法相比，这种关键区域划分方法能够减少视频字幕、台标等因素对镜头分割造成的影响，提高镜头分割精度，减少镜头分割检测时间。

Claims (8)

1.一种基于关键区域色彩矩阵的视频镜头分割方法，其特征在于：包括以下流程：帧预处理→定义多个关键区域→通过色彩均值化计算关键区域的色彩矩阵，得到关键矩阵→将关键矩阵储存入视频特征数据库→根据色彩矩阵，生成关键区域色彩曲线，并对曲线进行滤波→检测关键区域色彩曲线拐点，得到拐点矩阵→对拐点处相邻帧分析，计算相邻帧间距离D→通过分析D的值，判断是否存在镜头切换。

2.根据权利要求1所述的基于关键区域色彩矩阵的视频镜头分割方法，其特征在于：所述流程中，定义关键区域的方法为：将帧图像划分为六个关键区域，分别是：中心区域、中上区域、左上区域、左下区域、右上区域和右下区域；其中，中心区域为视觉集中区域，左上区域、右上区域、左下区域、右下区域这四个区域为画面背景区域，中上区域为视频画面比例检测区域。

3.根据权利要求1所述的基于关键区域色彩矩阵的视频镜头分割方法，其特征在于：所述流程中，计算关键区域的色彩矩阵的方法为：首先采用以下公式计算第l帧图像的第k个关键区域的色彩向量：

$m_k^l=\frac{1}{w_k*h_k}\underset{(i,j)\∈{\mathrm{\Ω}}_k}{\mathrm{\Σ}}{I}_{i,j}^l$

其中， $I_{i,j}^l=[r_{i,j}^l,g_{i,j}^l,b_{i,j}^l]$

式中，

表示第l帧图像的第k个关键区域的色彩向量，Ω_k表示第k个关键区域的像素范围，

表示在第l帧图像中(i，j)处的色彩向量，分别表示第l帧图像中(i，j)处像素的RGB色彩分量，w_k表示第k个关键区域的像素宽度，h_k表示第k个关键区域的像素高度；

然后计算第l帧图像的关键区域的色彩矩阵M^l，其计算公式为：

$M^l={\left[\begin{array}{cccc}{m}_1^l& m_2^l& \·\·\·& m_6^l\end{array}\right]}^T$

所述关键矩阵的计算方法为：第l帧图像的关键矩阵N^l的计算公式为：

$N^l={\left[\begin{array}{cccc}\left|\right|m_1^l\left|\right|& \left|\right|m_2^l\left|\right|& \·\·\·& \left|\right|m_6^l\left|\right|\end{array}\right]}^T$

式中，||·||表示向量1-范数。

4.根据权利要求1所述的基于关键区域色彩矩阵的视频镜头分割方法，其特征在于：所述流程中，对拐点处相邻帧分析的方法为：计算第l帧拐点矩阵T^l，其计算公式如下：

$T^l={\left[\begin{array}{cccc}{t}_1^l& t_2^l& \·\·\·& t_6^l\end{array}\right]}^T,$

式中，

所述计算相邻帧间距离D的方法为：

D＝(T^l-T^l-1)^T·[α₁ α₂…α₆]^T，

式中，α_i，i＝1，2，...，6为根据不同关键区域对镜头分割的影响而设置的权重系数。

5.根据权利要求1所述的基于关键区域色彩矩阵的视频镜头分割方法，其特征在于：所述流程中，判断是否存在镜头切换的方法为：设置阈值Φ，若D≥Φ，则判断在第l帧处存在镜头切换，否则判断为在第l帧处不存在镜头切换。

6.根据权利要求1所述的基于关键区域色彩矩阵的视频镜头分割方法，其特征在于：所述视频特征数据库的结构依次为：视频内容的文字描述；视频索引矩阵；视频关键帧的色彩矩阵、关键矩阵；视频关键帧直方图数据。

7.根据权利要求6所述的基于关键区域色彩矩阵的视频镜头分割方法，其特征在于：所述视频索引矩阵的计算公式为：

$\mathrm{Index}=\frac{1}{\left|\mathrm{Kf}\right|}\underset{l\∈\mathrm{Kf}}{\mathrm{\Σ}}{N}^l$

式中，Index表示视频索引矩阵，Kf表示当前视频序列中关键帧集合，|Kf|为集合中关键帧个数。

8.一种如权利要求1所述的基于关键区域色彩矩阵的视频镜头分割方法的应用，其特征在于：将所述视频镜头分割方法应用于视频内容检索，其方法为：检测当前视频序列；采用所述视频镜头分割方法提取关键帧；根据关键帧的色彩矩阵，从视频特征数据库中检索存储的索引矩阵，获得候选视频特征列表；计算当前视频的关键帧直方图；根据直方图信息，在候选特征列表中确定当前视频内容。

Images