CN1761331A - 视频场景切换检测方法 - Google Patents

Abstract

一种视频场景切换检测方法，其首先对当前输入图像的前向运动补偿块误配像素作直方图统计，其次计算相邻帧间的运动补偿块误配像素直方图异变特征统计量，再根据所述统计量进行场景切换的判决，并输出判决结果。本发明视频场景切换检测方法采用基于运动补偿的差分检测技术，通过对图像前向运动补偿块误配像素计数统计直方图的分析，来判决场景切换点，不仅可以克服相邻帧同位像素差分算法对噪声和运动的敏感性，而且还可以克服常规的像素强度统计直方图分析决策方法中对视频对象空间信息的忽视，大幅度降低视频场景切换检测的虚警概率和漏报概率，提升场景检测的判别精度和准度。

Description

视频场景切换检测方法

技术领域

本发明涉及一种视频场景切换检测方法，尤其涉及一种适用于视频数据库信息检索装置和数字视频信号处理器(如场/帧频转换器、去隔行扫描转换器)中用于提升检测精度和准度、降低虚警率和漏报率的视频场景切换检测方法。

背景技术

场景切换，指的是一段连续影片中视觉上的中断点，其通常来自于影片拍摄时摄影机的中断或事后影片编辑的插断点，一部影片通常可以看作许多场景的集合，场景则是检索一部影片的最小单位。而视频场景切换检测则是在所有视频图像分析处理应用中最基本的一个处理步骤。

由于场景切换检测的重要性，目前已经出现了许多相关算法，其中比较典型的现有技术包括：像素差分算法和像素直方图算法。

因为场景切换本质上可以看作是视频序列的时间维度上的切分，其最直观的表现是，在场景切换点相邻帧同位像素间存在剧烈跳变。现有的像素差分算法(如中国第99813804号专利申请揭示的一种高清晰度电视编码器中检测场景改变与调节画面编码类型的方法与装置)就是通过检测相邻帧间同位像素间的跳变统计量来鉴别场景切换。常用的跳变统计量有同位像素平均绝对偏差(MAD，请参阅式1)和同位像素突变概率统计(DP，请参阅式2)。

$\mathrm{MAD}=\frac{1}{H\×W}\underset{\stackrel{\→}{X}\∈I}{\mathrm{\Σ}}|f_1\left(\stackrel{\→}{X}\right)-f_2\left(\stackrel{\→}{X}\right)|\·\·\·\left(1\right)$

$\mathrm{DP}=\frac{1}{H\×W}\underset{\stackrel{\→}{X}\∈I}{\mathrm{\Σ}}\left(\right|f_1\left(\stackrel{\→}{X}\right)-f_2\left(\stackrel{\→}{X}\right)|>T?1:0)\·\·\·\left(2\right)$

上述式中f₁和f₂分别代表当前帧和前一帧的像素值，H和W则分别代表图象的水平方向和垂直方向的像素数，T为误差门限。然而，像素差分算法突出的问题是对噪声和像机以及视频对象的运动特别敏感，容易造成虚警。

现有像素直方图算法(如中国第03147508号专利申请揭示的一种场景改变检测器及其方法)的基本思想是，在同一组连续场景内视频图像全局视觉信息基本保持不变，表现在像素分布直方图上的统计规律是，在同一组场景内的相邻帧间的像素分布直方图变化要远远小于其在场景切换边界处的突变。直方图检验算法的处理方法步骤通常包括：首先将像素的域值劈分为离散小区间，进而统计每幅图像落入每个小区间的像素个数得到图像象素在像素的域值空间上分布直方图，然后通过检测相邻帧间的像素直方图的异变统计量来判别是否存在场景切换。常用的直方图的异变统计量有点对点差分(B2B，请参阅式3)和直方图交集补(CI，请参阅式4)。

$B2B=\frac{1}{2P}\underset{i}{\mathrm{\Σ}}|H_1\left(i\right)-H_2\left(i\right)|\·\·\·\left(3\right)$

$\mathrm{CI}=1-\frac{1}{P}\underset{i}{\mathrm{\Σ}}\min (H_1\left(i\right),H_2\left(i\right))\·\·\·\left(4\right)$

上述式中H₁和H₂分别代表了当前帧和前一帧的直方图，P代表H₁或H₂的累计和。相对于像素差分检验算法，像素直方图检验法可以减少虚警概率。然而，由于此方法放弃了对视频对象空间位置信息的考量，它会增加漏报概率，最简单的反例是，如视频对象的帧内换位。

发明内容

为了克服上述现有技术的不足，而提供一种视频场景切换检测方法，从而解决目前视频场景切换检测方法的容易造成虚报、漏报概率较高的问题。

本发明所采用的技术方案为：提供一种视频场景切换检测方法，其首先对当前输入图像的前向运动补偿块误配像素作直方图统计，其次计算相邻帧间的运动补偿块误配像素直方图异变特征统计量，再根据所述统计量进行场景切换的判决，并输出判决结果。

所述对输入图像前向运动补偿块误配像素作直方图统计的步骤包括，首先将每个当前帧分成互不重叠的固定尺寸子块；其次，选取其前一帧作为参考图像，先计算当前子块的前向运动矢量，并根据该前向运动矢量计算其运动补偿误配像素数，再对该运动补偿误配像素数进行直方图统计；再次，考察是否遍历整幅图像，若是则结束统计，若否则跳至下一个子块并返回到选取参考图像计算其前向运动矢量之步骤重新运行。

所述计算当前子块的运动补偿误配像素数的步骤包括，先计算当前块与参考帧匹配块的对应像素绝对偏差，再逐个判别上述对应像素绝对偏差是否大于给定像素匹配误差门限，若是则块误配像素计数器加1，否则不变。

所述对当前子块的运动补偿误配像素数进行直方图统计的步骤包括，先检查该误配像素数落入其值域离散区间的位置索引，再将对应该区间位置索引的运动补偿块误配像素直方图计数器加1。

所述对当前子块

的运动补偿误配像素数(NMP)、像素绝对偏差(PAD)及误配像素计量(MPC)的计算方法如下：

$\mathrm{NMP}\left({\stackrel{\→}{X}}_0\right)=\underset{\stackrel{\→}{X}\∈B\left({\stackrel{\→}{X}}_0\right)}{\mathrm{\Σ}}\mathrm{MPC}(f_1\left(\stackrel{\→}{X}\right),f_2(\stackrel{\→}{X}+\stackrel{\→}{D}))$

$\mathrm{PAD}(f_1\left(\stackrel{\→}{X}\right),f_2(\stackrel{\→}{X}+\stackrel{\→}{D}))=|f_1\left(\stackrel{\→}{X}\right)-f_2(\stackrel{\→}{X}+\stackrel{\→}{D})|$

其中 代表了图象的像素位置坐标，

代表了起始像素位于 的图像块， $\stackrel{\→}{X}\∈B\left({\stackrel{\→}{X}}_0\right)$ 代表

遍历当前块 内所有像素，f₁和f₂分别代表了当前帧和前一帧的像素值， 为图像块的运动矢量，T为像素匹配误差门限。

所述场景切换的判决方法是，若所述运动补偿块误配像素直方图异变特征统计量大于判别门限，则认为当前帧为场景切换点。

所述运动补偿块误配像素直方图异变特征统计量(J)是通过点对点差分函数计算所得，该函数如下：

$J=\frac{1}{2P}\underset{i}{\mathrm{\Σ}}|H_1\left(i\right)-H_2\left(i\right)|$

其中H₁和H₂分别代表了当前帧和前一帧的匹配块误配像素直方图，P代表H₁或H₂的累计和。

可以理解，所述运动补偿块误配像素直方图异变特征统计量(J)也可以通过直方图交集补函数计算所得，该函数如下：

$J=1-\frac{1}{P}\underset{i}{\mathrm{\Σ}}\min (H_1\left(i\right),H_2\left(i\right))$

其中H₁和H₂分别代表了当前帧和前一帧的匹配块误配像素直方图，P代表H₁或H₂的累计和。

上述方法在计算相邻帧间的运动补偿块误配像素直方图异变特征统计量之前还包括考察是否为本组场景的第二帧的步骤，若是则跳至下一帧并返回重新开始，若否则执行计算该统计量；此外，该方法在输出判决结果之后还包括考察是否遍历整组视频序列的步骤，若是则结束，若否则跳至下一帧并返回重新开始。

本发明的有益效果在于：本发明视频场景切换检测方法采用基于运动补偿的差分检测技术，通过对图像前向运动补偿块误配像素直方图的分析，来判决场景切换点，不仅可以克服相邻帧同位像素差分算法对噪声和运动的敏感性，而且还可以克服常规的像素强度统计直方图分析决策方法中对视频对象运动信息的忽视，大幅度降低视频场景切换检测的虚警概率和漏报概率，提升场景检测的判别精度和准度。

附图说明

图1是本发明视频场景切换检测方法的处理流程示意图；

图2是本发明视频场景切换检测方法的运动补偿块误配像素直方图统计流程示意图。

具体实施方式

请参阅图1，本发明视频场景切换检测方法依据原理是在同一组连续场景内视频图像全局视觉信息基本保持不变，表现在运动补偿块误配像素直方图上的分布规律是，同一组场景内相邻帧间运动补偿块误配像素直方图的异变要远远小于其在场景切换边界处的突变。其具体实施包括以下步骤：

S101.对当前输入图像I的前向运动补偿块误配像素作直方图统计；

S102.考察I是否为本组场景的第二帧，若是则跳至下一帧并返回步骤S101，若否则执行步骤S103；

S103.计算当前帧的运动补偿块误配像素直方图相对于其前一帧的异变特征统计量J；

S104.根据J进行场景切换的判决，并输出判决结果：如果J大于判决门限Th(本实施例Th＝0.4)，则认为存在场景切换；

S105.考察是否遍历整组视频序列，若否则跳至下一帧并返回步骤S101重新执行，若是则结束。

请一并参阅图2，本发明视频场景切换检测方法的对输入图像前向运动补偿块误配像素作直方图统计包括以下步骤：

S201.将当前图像I分成互不重叠的固定尺寸为M×N的子块(其中M和N分别为图像块的水平方向和垂直方向的像素数)；

S202.选取其前一帧作为参考图像，计算当前子块的前向运动矢量

S203.根据 计算当前子块的运动补偿误配像素数(Number ofMismatching Pixels，NMP)；

S204.对NMP进行直方图统计；

S205.考察是否遍历整幅图像，若否则跳至下一个子块并返回步骤S202重新执行，若是则结束统计。

在上述步骤中，本发明视频场景切换检测方法对运动补偿块误配像素(NMP，请参阅式5)计算方法如下：

首先，计算当前块与参考帧匹配块对应像素绝对偏差(Pixel AbsoluteDifference，PAD，请参阅式6)，其次，逐个判别每个PAD是否大于给定的像素匹配误差门限T(本实施例T＝15)，若是则误配像素计数器(MismatchingPixels Counter，MPC)加1，否则不变(请参阅式5和7)。

$\mathrm{NMP}\left({\stackrel{\→}{X}}_0\right)=\underset{\stackrel{\→}{X}\∈B\left({\stackrel{\→}{X}}_0\right)}{\mathrm{\Σ}}\mathrm{MPC}(f_1\left(\stackrel{\→}{X}\right),f_2(\stackrel{\→}{X}+\stackrel{\→}{D}))\·\·\·\left(5\right)$

$\mathrm{PAD}\left(f_1\left(\stackrel{\→}{X}\right),f_2(\stackrel{\→}{X}+\stackrel{\→}{D})\right)=|f_1\left(\stackrel{\→}{X}\right)-f_2(\stackrel{\→}{X}+\stackrel{\→}{D})|\·\·\·\left(6\right)$

其中

代表了图象的像素位置坐标，

代表了起始像素位于 的图像块， $\stackrel{\→}{X}\∈B\left({\stackrel{\→}{X}}_0\right)$ 代表 遍历当前块

内所有像素，f₁和f₂分别代表了当前帧和前一帧的像素值， 为图像块的运动矢量，T为像素匹配误差门限。

在上述步骤中，本发明视频场景切换检测方法对运动补偿块误配像素(NMP)进行直方图统计方法如下：

先检查该NMP落入其值域[0，M*N]离散区间I₁的位置索引i，再将对应该区间位置索引的运动补偿块误配像素直方图计数器H(i)加1。

在上述步骤中，本发明视频场景切换检测方法所述的相邻帧间的运动补偿块误配像素直方图异变统计量J的计算，可以选用现有的点对点差分(B2B)函数(请参阅式3)，也可以选用现有的直方图交集补(CI)函数(请参阅式4)。

Claims (9)

1.一种视频场景切换检测方法，其特征在于：其首先对当前输入图像的前向运动补偿块误配像素作直方图统计，其次计算相邻帧间的运动补偿块误配像素直方图异变特征统计量，再根据所述统计量进行场景切换的判决，并输出判决结果。

2.如权利要求1所述的视频场景切换检测方法，其特征在于：所述对当前输入图像前向运动补偿块误配像素作直方图统计的步骤包括，首先将每个当前帧分成互不重叠的固定尺寸子块；其次，选取其前一帧作为参考图像，先计算当前子块的前向运动矢量，并根据该前向运动矢量计算其运动补偿误配像素数，再对该运动补偿误配像素数进行直方图统计；再次，考察是否遍历整幅图像，若是则结束统计，若否则跳至下一个子块并返回到选取参考图像计算其前向运动矢量之步骤重新运行。

3.如权利要求2所述的视频场景切换检测方法，其特征在于：所述计算当前子块的运动补偿误配像素数的步骤包括，先计算当前块与参考帧匹配块的对应像素绝对偏差，再逐个判别上述对应像素绝对偏差是否大于给定像素匹配误差门限，若是则块误配像素计数器加1，否则不变。

4.如权利要求3所述的视频场景切换检测方法，其特征在于：所述对当前子块的运动补偿误配像素数进行直方图统计的步骤包括，先检查该运动补偿块误配像素数落入其值域离散区间的位置索引，再将对应该区间位置索引的运动补偿块误配像素直方图计数器加1。

5.如权利要求4所述的视频场景切换检测方法，其特征在于：所述对当前子块

的运动补偿误配像素数(NMP)、像素绝对偏差(PAD)及误配像素计量(MPC)的计算方法如下：

$\mathrm{NMP}\left({\stackrel{\→}{X}}_0\right)=\underset{\stackrel{\→}{X}\∈B\left({\stackrel{\→}{X}}_0\right)}{\mathrm{\Σ}}\mathrm{MPC}(f_1\left(\stackrel{\→}{X}\right),f_2(\stackrel{\→}{X}+\stackrel{\→}{D}))$

$\mathrm{PAD}(f_1\left(\stackrel{\→}{X}\right),f_2(\stackrel{\→}{X}+\stackrel{\→}{D}))=|f_1\left(\stackrel{\→}{X}\right)-f_2(\stackrel{\→}{X}+\stackrel{\→}{D})|$

其中

代表了图象的像素位置坐标，

代表了起始像素位于

的图像块， $\stackrel{\→}{X}\∈B\left({\stackrel{\→}{X}}_0\right)$ 代表 遍历当前块

内所有像素，f₁和f₂分别代表了当前帧和前一帧的像素值，

为图像块的运动矢量，T为像素匹配误差门限。

6.如权利要求1至5任一项所述的视频场景切换检测方法，其特征在于：所述场景切换的判决方法是，若所述运动补偿块误配像素直方图异变特征统计量大于判别门限，则认为当前帧为场景切换点。

7.如权利要求6所述的视频场景切换检测方法，其特征在于：所述运动补偿块误配像素直方图异变特征统计量(J)是通过点对点差分函数计算所得，该函数如下：

$J=\frac{1}{2P}\underset{i}{\mathrm{\Σ}}|H_1\left(i\right)-H_2\left(i\right)|$

其中H₁和H₂分别代表了当前帧和前一帧的匹配块误配像素直方图，P代表H₁或H₂的累计和。

8.如权利要求6所述的视频场景切换检测方法，其特征在于：所述运动补偿块误配像素直方图异变特征统计量(J)是通过直方图交集补函数计算所得，该函数如下：

$J=1-\frac{1}{P}\underset{i}{\mathrm{\Σ}}\min (H_1\left(i\right),H_2\left(i\right))$

其中H₁和H₂分别代表了当前帧和前一帧的匹配块误配像素直方图，P代表H₁或H₂的累计和。

9.如权利要求1所述的视频场景切换检测方法，其特征在于：该方法在计算相邻帧间的运动补偿块误配像素直方图异变特征统计量之前还包括考察是否为本组场景的第二帧的步骤，若是则跳至下一帧并返回重新开始，若否则执行计算该统计量；此外，该方法在输出判决结果之后还包括考察是否遍历整组视频序列的步骤，若是则结束，若否则跳至下一帧并返回重新开始。