CN102129681A - 一种镜头边界检测方法 - Google Patents

Abstract

本发明公开了一种镜头边界检测方法，包括以下步骤：A1、计算样本集V1的类内离散度矩阵S₁、样本集V2的类内离散度矩阵S₂，计算总类内离散度矩阵S_w＝S₁+S₂；计算V1、V2类间离散度矩阵S_b：S_b＝(m₁-m₂)(m₁-m₂)^T；A2、切变检测准则建立及切变检测；A3、渐变检测准则建立及渐变检测。针对以往算法切变检测后需再采用不同特征量、不同评判准则进行渐变检测的缺陷，本发明在渐变检测时不需采用、计算新特征量，也不需采用新的评判准则，只需对切变中的Fisher评判准则稍作改动，便可进行渐变检测，降低了检测难度和复杂度。另外，在镜头切变、渐变检测中，用特征曲线极值法代替了传统的阈值法，避免了阈值法适应性差的缺陷。

Description

一种镜头边界检测方法

技术领域

本发明涉及视频内容分析技术领域，尤其是一种镜头边界检测方法。

背景技术

视频序列中，镜头的边界分为两大类：切变(abrupt transition)和渐变(gradualtransition)。切变是指变化突然发生在连续的两帧之间，而渐变是指变化发生在连续的多帧之间。渐变比较复杂，包括淡入淡出、溶解和擦除等。目前，国内外研究者提出了多种不同的镜头边界检测方法。镜头边界检测的基本思想是通过比较视频序列的帧间差异来寻找镜头边界变化的规律。首先提取视频帧的特征，这些特征必须能够较好地突出镜头边界与非边界的差异；然后利用这些特征量构造评判准则，并将评判准则结果与事先设定的阈值相比较，从而判定是否发生镜头变化。

镜头内的各帧画面在时间和空间上都是连续的，一个镜头中连续帧之间通常表现出较高的相似性。如果连续帧之间的非相似性(Dissimilarity)较大，往往是由于镜头转变而引起的。因此，镜头边界检测算法通常根据帧之间的非相似性来检测镜头的转变，这就需要寻找效果理想的视频帧特征和评判准则。另外在阈值选取方面，主要存在固定阈值和自适应阈值两种，固定阈值实现简单，但是无法适应视频类型和内容的变化。Zhang H J等^[2]最早提出了经典的双阈值判定方法，有效地解决了单阈值算法难以兼顾切变和渐变检测的问题。为了消除主观误差，一些自适应阈值方法随之产生，如Youn S等^[3]提出根据已逝时间和已检测镜头边界动态选取阈值的方法；Sze K W等^[4]提出利用最大熵阈值来确定镜头边界检测中最优阈值的方法；成勇等^[5]提出根据综合图像的颜色特征和空间特征进行阈值最优化选取的方法等。

目前，镜头切变已取得了不错的效果，这是因为切变时镜头之间没有过渡，由一个镜头瞬间直接转换到另一个镜头，表现出十分突出的非相似性特征；而镜头渐变则发生在一个时间段内，每帧的特征都不明显，很难根据某个时刻的特征值是否超过阈值进行镜头渐变的检测。

另外，在镜头边界检测中，还存在着闪光、镜头内部的物体运动以及摄像机自身运动等带来的“噪声”，也给现有的方法带来了干扰。由上可见，如何选取有效的视频特征、评判准则，以及如何选取自适应阈值是镜头边界检测中的重点和难点。

参考文献

[1]耿玉亮，须德，冯松鹤.一种快速有效的视频镜头边界检测方法[J].电子学报，2006，34(12)：2272-2277.

[2]Zhang H J，Kankanhalli A，Smoliar S W.Automatic partitioning offull-motio n video[J].Multimedia Systems，1993，1(1)：10-28.

[3]Youm S，Kim W.Dynamic threshold method for scene change detection[C]//Proceedings of IEEE ICME’03.Baltimore，USA：IEEE Computer Society，2003：337-340.

[4]Sze K W，Lam K M，Qiu G.Scene cut detection using the colored patternappearance model[C]//Proceedings of the IEEE ICIP2003.Barcelona，Spain：IEEEComputer Society，2003：1017-1020.

[5]成勇，须德.一种自动选取阈值的视频镜头边界检测算法[J].电子学报，2004，32(3)：508-511.

[6]杜奎然，肖国强，江健民.基于多种视频特征的镜头边界检测算法[J].计算机工程，2009，35(11)：243-245.

[7]杨淑莹.模式识别与智能计算[M].北京：电子工业出版社，2008.1，26-28.

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种镜头边界检测方法，采用如下技术方案：

一种镜头边界检测方法，包括以下步骤：

A1、首先建立长度为2L的滑动窗口，在图像的HSV空间内提取颜色或亮度直方图H_i，设直方图H中柄的个数为M，设滑动窗口中前L帧为样本集V₁＝(H_(i-L)，H_(i-L+1)，...，H_(i))，后L帧为样本集V₂＝(H_(i+1)，H_(i+2)，...，H_(i+L))；计算样本集Vi均值向量m_i，m_i是各个类的均值，N_i是ω_i类的样品个数：

$m_i=\frac{1}{N_i}\underset{H\∈{\mathrm{\ω}}_i}{\mathrm{\Σ}}H$ i＝1，2

计算样本集V1的类内离散度矩阵S₁、样本集V2的类内离散度矩阵S₂，

$s_i=\underset{H\∈{\mathrm{\ω}}_i}{\mathrm{\Σ}}(H-m_i){(H-m_i)}^T$ i＝1，2；

计算总类内离散度矩阵S_w＝S₁+S₂；

计算V1、V2类间离散度矩阵S_b：S_b＝(m₁-m₂)(m₁-m₂)^T；

A2、切变检测准则建立及切变检测：

利用det(S_b)和det(S_w)作为视频特征，并构造Fisher评判准则F₁用于切变检测：

$F_1=\frac{\det \left(S_w\right)}{\det \left(S_b\right)}$

记F₁的特征曲线极小值所对应的帧集合为C_a，C_a即为切变发生处；

A3、渐变检测准则建立及渐变检测

利用det(S_b)和det(S₁)作为视频特征，并构造用于渐变检测的Fisher评判准则F₂：

$F_2=\frac{\det \left(S_b\right)}{\det \left(S_1\right)}$

记F₂的特征曲线中极大值对应的帧集合C_g，C_g-(C_g∩C_a)即为渐变发生处。

本发明选取具备符合类间距离最大、均方误差最小准则的视频特征量构造新的Fisher评判准则，从而可直接依靠样本计算，直观简捷，物理概念清晰。

利用所选特征量构造新的Fisher评判准则进行准确的切变、渐变检测，且不需要设定阈值，降低了检测难度。

针对以往算法切变检测后需再采用不同特征量、不同检测准则进行渐变检测的缺陷，本专利在渐变检测时不需采用、计算新的特征量，也不需采用新的检测准则，只需对切变中的Fisher评判准则稍作改动，便可进行渐变检测，降低了检测难度和复杂度。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

具体步骤如下：

A1、前期准备：首先建立长度为2L的滑动窗口，在图像的HSV空间内提取颜色(或亮度等)直方图H，设直方图中柄的个数为M。设滑动窗口中前L帧为样本集V₁＝(H_(i-L)，H_(i-L+1)，...，H_(i))，后L帧为样本集V₂＝(H_(i+1)，H_(i+2)，...，H_(i+L))。

计算样本集Vi均值向量m_i，m_i是各个类的均值，N_i是ω_i类的样品个数。

$m_i=\frac{1}{N_i}\underset{H\∈{\mathrm{\ω}}_i}{\mathrm{\Σ}}H$ i＝1，2……………………………………………………………公式(3)

计算样本集V1的类内离散度矩阵S₁、V2的类内离散度矩阵S₂，总类内离散度矩阵S_w＝S₁+S₂。

$s_i=\underset{H\∈{\mathrm{\ω}}_i}{\mathrm{\Σ}}(H-m_i){(H-m_i)}^T$ i＝1，2………………………………………………公式(4)

S_w＝S₁+S₂………………………………………………………………………公式(5)

V1、V2类间离散度矩阵S_b。

S_b＝(m₁-m₂)(m₁-m₂)^T……………………………………………………………公式(6)

由基于距离的可分性判据^[7]可知，使得两类样本集类间距离最大、类内距离最小的帧，即可确定为发生切变的边界帧。要保证滑动窗口内的样本符合类内距离最小、类间距离最大，即要保证J₁＝tr(S_w)或J₁＝det(S_w)最小，且J₂＝tr(S_b)或J₂＝det(S_b)最大。

A2、切变检测准则建立及切变检测

利用det(S_b)和det(S_w)作为视频特征，并构造Fisher评判准则F1用于切变检测：

$F_1=\frac{\det \left(S_w\right)}{\det \left(S_b\right)}$ ………………………………………………………………………………公式(7)

从式(7)中可以看出，发生突变时，检测窗内前后2个镜头内变化最小，前后镜头间变化最大。理想情况下，式(7)的值趋近于0。因此，记F₁的特征曲线极小值所对应的帧集合为C_a，C_a即为切变发生处；

A3、渐变检测准则建立及渐变检测

利用det(S_b)和det(S₁)作为视频特征，并构造用于渐变检测的Fisher评判准则F2：

$F_2=\frac{\det \left(S_b\right)}{\det \left(S_1\right)}$ ………………………………………………………………………………………公式(8)

当滑动窗口的后L逐渐进入渐变镜头的过程中，V1中的样本仍为同一个镜头，V2中上一个镜头的样本数量逐渐减少，新的渐变镜头样本逐渐增多，此时V1的类内离散距离基本不变，V1与V2的类间离散距离变化越来越大，当滑动窗的第L+1帧成为渐变镜头的第一帧时类间离散距离最大；当滑动窗的前L帧也逐渐进入渐变镜头时，V1的类内离散距离变大，V1与V2的类间离散距离变小。由以上分析可见，在滑动窗逐帧进入渐变镜头时，F₂的取值逐渐变大，然后又逐渐变小，且在滑动窗的第L+1帧为渐变镜头的第一帧时取值最大。因此，F₂的特征曲线中极大值对应的帧号即为镜头发生变化处，并记F₂的特征曲线中极大值对应的帧集合C_g。由于集合C_g中会包含着突变检测时得到的镜头边界，因此渐变发生处的帧集合为C_g-(C_g∩C_a)。

1、由于本专利提取的是每帧的直方图，而非帧间差异。视频帧的自身直方图保持了视频帧间的独立性，保留了视频帧的绝对信息，而不是差值信息，因此对闪光、运动干扰等具有较强的抵御能力：

2、采用了基于类间距离最大、类内距离最小的准则采用的特征量，并将Fisher判别式用在切变、渐变检测中，兼顾了镜头间差别和镜头内差别，进一步消除一些镜头内变化的干扰。

3.本专利在切变、渐变检测中都不需要采用阈值，而是通过寻找Fisher评判值特征曲线的极值来识别切变、渐变的发生，从而避免了阈值法的自身缺陷。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (1)

1.一种镜头边界检测方法，其特征在于，包括以下步骤：

A1、首先建立长度为2L的滑动窗口，在图像的HSV空间内提取颜色或亮度直方图H，设直方图H中柄的个数为M，设滑动窗口中前L帧为样本集V₁＝(H_(i-L)，H_(i-L+1)，...，H_(i))，后L帧为样本集V₂＝(H_(i+1)，H_(i+2)，...，H_(i+L))；计算样本集Vi均值向量m_i，m_i是各个类的均值，N_i是ω_i类的样品个数：

$m_i=\frac{1}{N_i}\underset{H\∈{\mathrm{\ω}}_i}{\mathrm{\Σ}}H$ i＝1，2

计算样本集V1的类内离散度矩阵S₁、样本集V2的类内离散度矩阵S₂，

$s_i=\underset{H\∈{\mathrm{\ω}}_i}{\mathrm{\Σ}}(H-m_i){(H-m_i)}^T$ i＝1，2；

计算总类内离散度矩阵S_w＝S₁+S₂；

计算V1、V2类间离散度矩阵S_b：S_b＝(m₁-m₂)(m₁-m₂)^T；

A2、切变检测准则建立及切变检测：

利用det(S_b)和det(S_w)作为视频特征，并构造Fisher评判准则F₁用于切变检测：

$F_1=\frac{\det \left(S_w\right)}{\det \left(S_b\right)}$

记F₁的特征曲线极小值所对应的帧集合为C_a，C_a即为切变发生处；

A3、渐变检测准则建立及渐变检测

利用det(S_b)和det(S₁)作为视频特征，并构造用于渐变检测的Fisher评判准则F₂：

$F_2=\frac{\det \left(S_b\right)}{\det \left(S_1\right)}$

记F₂的特征曲线中极大值对应的帧集合C_g，C_g-(C_g∩C_a)即为渐变发生处。