CN1758759A - 一种视频场景切换检测方法 - Google Patents

Abstract

本发明涉及一种视频场景切换检测方法，属于视频压缩处理技术领域。首先，若当前帧为视频序列的第一帧或新场景的第一帧，设当前帧在当前场景中的编号为k，则k＝1，计算当前帧亮度和色度三个分量的均值mean(S_i，Y)、mean(S_i，U)、mean(S_i，V)，并初始化当前场景内多个图像的亮度和色度三个分量的均值meanY，meanU和meanV，使i＝i+1，读取图像数据，计算当前帧的亮度和色度三个分量与前一帧亮度和色度三个分量均值差值的绝对值D_Y、D_U、D_V，用和D_Y+D_U+D_V≥N两个条件判断是否有场景切换，更换参数，循环检测。本发明的方法中，同时考察相对差值和绝对差值两方面，因此降低了错误检测和漏检测的几率，同时本发明所采用方法只需要计算图像帧的均值信息，计算量非常小，适于应用于实时视频编码。

Description

一种视频场景切换检测方法

技术领域

本发明涉及一种视频场景切换的检测方法，属于视频压缩处理技术领域。

背景技术

在一段视频序列频繁地出现场景切换的情况下，会造成编码质量下降，并增加了大量的算法复杂度。当场景切换帧为I帧时，由于I帧中的宏块全部应用帧内编码模式，场景切换不会对其编码质量带来不利影响；如果为B帧，由于B帧采取双向预测模式，即使存在场景切换，前后两个参考帧只要有一帧与当前B帧为同一场景，就不会对当前B帧的编码带来大的影响；但是如果场景切换发生在P帧，由于其参考帧为前一个I帧或者P帧，参考帧与当前P帧处于不同的场景内，导致当前编码P帧中绝大多数宏块采取帧内编码方式，某些情况下，甚至全部的宏块采用帧内编码模式。这样不仅占用了本图像组(以下简称GOP)后续帧的码率资源，同时无效的运动搜索也增加了编码运算复杂度，大大降低了视频编码性能。因此，在视频编码码率控制技术的研究中设计快速有效的场景切换检测算法具有重要的意义。

已有的场景切换检测算法大致可以分为三类：基于灰度值(gray-value-based)、基于边缘轮廓(edge/contour-based)和基于运动(motion-based)。

基于灰度值的检测算法基本思想是以参考帧图像灰度值和当前帧的差异作为判断是否场景切换的依据，其中最典型的算法是比较两帧图像在灰度直方图上的差异从而判断是否有场景切换发生。基于灰度值这一类的算法运算复杂度比较低，但是在视频对象的运动和场景切换之间容易误判。

基于边缘轮廓的检测方法是根据对参考帧和当前帧中相应的物体边缘轮廓进行比较从而判断是否有场景切换发生，这是由于场景切换时，前后两帧图像对应物体的边缘和轮廓是不同的。此类算法的主要步骤是提取图像的边缘轮廓。它可以有效地区分视频对象的运动和突变场景切换，同时还可有效地检测消融和淡入淡出等软切换；但对于突变场景切换的检测，相比基于灰度值的方法没有性能上的优越，且需要更大的运算复杂度。

基于运动的场景切换算法的基本思想是场景切换前后视频对象运动的不连续性，采用块匹配(block-matching)的运动估计思想，以运动估计剩余残差的均值作为是否有场景切换的依据。相关文献指出，采用这种块匹配的基于运动的算法，性能上并不比基于灰度值的算法优越，归其原因在于，可靠的运动估计算法远比场景切换检测要复杂得多，在解决一个简单的问题中，采用了一个要比问题本身复杂得多的方法，这是得不偿失的。

对于一种应用于视频码率控制算法的场景切换检测算法来说，对实时性的要求较高，这就要求算法复杂度应该尽可能的低，显然基于边缘轮廓和基于运动的场景切换检测算法都是不实际的，需要利用高效、低复杂度的方法。

发明内容

本发明的目的是提出一种视频场景切换检测方法，通过场景检测、判断得到场景切换的时刻，以指导切换后的图像帧编码模式的选择，省略不必要的运动估计步骤，从而降低运算复杂度，并提高编码效率。

本发明提出的视频场景切换检测方法，包括以下步骤：

(1)若当前帧为视频序列的第一帧或新场景的第一帧，设当前帧在当前场景中的编号为k，则k＝1，计算当前帧亮度和色度三个分量的均值mean(S_i，Y)、mean(S_i，U)、mean(S_i，V)：

$\mathrm{mean}\left(S_{i,Y}\right)=\frac{1}{H\×W}\underset{h=0}{\overset{H-1}{\mathrm{\Σ}}}\underset{w=0}{\overset{W-1}{\mathrm{\Σ}}}{S}_{i,Y}(h,w)$

$\mathrm{mean}\left(S_{i,U}\right)=\frac{4}{H\×W}\underset{h=0}{\overset{H/2-1}{\mathrm{\Σ}}}\underset{w=0}{\overset{W/2-1}{\mathrm{\Σ}}}{S}_{i,U}(h,w)$

$\mathrm{mean}\left(S_{i,V}\right)=\frac{4}{H\×W}\underset{h=0}{\overset{H/2-1}{\mathrm{\Σ}}}\underset{w=0}{\overset{W/2-1}{\mathrm{\Σ}}}{S}_{i,V}(h,w)$

其中，S_i，Y(h，w)、S_i，U(h，w)和S_i，V(h，w)分别表示视频序列中第i帧图像中，坐标为(h，w)像素的Y、U、V分量取值，H、W分别表示视频序列Y分量的高和宽；

(2)计算当前场景内前k帧的亮度和色度三个分量的均值meanY，meanU和meanV：

meanY＝mean(S_i，Y)

meanU＝mean(S_i，U)

meanV＝mean(S_i，V)

若i＝n，n为视频序列中的图像帧数，即当前帧为视频序列的最后一帧，则结束循环，退出检测，若i＜n，进行下述步骤(3)；

(3)使i＝i+1，读取图像数据，计算当前帧的亮度和色度三个分量与前一帧亮度和色度三个分量均值差值的绝对值D_Y、D_U、D_V：

D_Y＝|mean(S_i，Y)-mean(S_i-1，Y)|

D_U＝|mean(S_i，U)-mean(S_i-1，U)|

D_V＝|mean(S_i，V)-mean(S_i-1，V)|

(4)若 $\frac{D_Y}{\mathrm{meanY}}+\frac{D_U}{\mathrm{meanU}}+\frac{D_V}{\mathrm{meanV}}\≥M$ 和D_Y+D_U+D_V≥N两个条件不能同时满足，则无场景切换，若同时满足，则有场景切换，并转入步骤(1)，其中M，N分别为场景切换的判定阈值，M取值范围为0.01～1.0，N取值范围为1～100；

(5)使k＝k+1；，计算当前场景内前k帧的亮度和色度三个分量的均值meanY，meanU和meanV：

$\mathrm{meanY}=\frac{1}{k}(\mathrm{meanY}\×(k-1)+\mathrm{mean}\left(S_{i,Y}\right))$

$\mathrm{meanU}=\frac{1}{k}(\mathrm{meanU}\×(k-1)+\mathrm{mean}\left(S_{i,U}\right)),$

$\mathrm{meanV}=\frac{1}{k}(\mathrm{meanV}\×(k-1)+\mathrm{mean}\left(S_{i,V}\right))$

若i＜n，即当前帧不是视频序列最后一帧，则进行步骤(3)，若i＝n，则结束循环，退出检测。

本发明提出的视频场景切换检测方法，考察当前帧和前一帧亮度和色度信息均值的差值，将差值与一个阈值比较，以判断当前帧相对于前一帧是否发生场景切换。在算法中，同时考察相对差值和绝对差值两方面，因此降低了错误检测和漏检测的几率。

对场景切换方法可以从算法复杂度和检出率、检测精度三个方面进行评价。其中检出率(Recall)和检测精度(Precise)定义如下：

$\mathrm{recall}=\frac{N_c}{N_c+N_m}$

$\mathrm{precision}=\frac{N_c}{N_c+N_f}$

其中N_c为正确检测出的场景切换帧的数量，N_m为没有检测出的场景切换帧的数量，N_f为误判为有场景切换帧的数量。利用本发明的方法，以中央电视台新闻联播、焦点访谈、东方时空、法制在线、质量报告、经济半小时和新闻会客厅等节目源作为视频测试序列进行测试，本算法达到87％以上的检出率和97％以上的检测精度。另外，在算法复杂度评价中，由于本发明方法只计算每帧图像的亮度和色度信息共三个均值，计算复杂度非常低，对于视频编码来说基本不增加运算复杂度，能很好的满足码率控制对视频场景切换检测的要求。

附图说明

图1是本发明的视频场景切换检测方法的流程图。

具体实施方式

本发明提出的视频场景切换检测方法，其流程如图1所示。

(1)若当前帧为视频序列的第一帧或新场景的第一帧，设当前帧在当前场景中的编号为k，则k＝1，计算当前帧亮度和色度三个分量的均值mean(S_i，Y)、mean(S_i，U)、mean(S_i，V)：

$\mathrm{mean}\left(S_{i,Y}\right)=\frac{1}{H\×W}\underset{h=0}{\overset{H-1}{\mathrm{\Σ}}}\underset{w=0}{\overset{W-1}{\mathrm{\Σ}}}{S}_{i,Y}(h,w)$

$\mathrm{mean}\left(S_{i,U}\right)=\frac{4}{H\×W}\underset{h=0}{\overset{H/2-1}{\mathrm{\Σ}}}\underset{w=0}{\overset{W/2-1}{\mathrm{\Σ}}}{S}_{i,U}(h,w)$

$\mathrm{mean}\left(S_{i,V}\right)=\frac{4}{H\×W}\underset{h=0}{\overset{H/2-1}{\mathrm{\Σ}}}\underset{w=0}{\overset{W/2-1}{\mathrm{\Σ}}}{S}_{i,V}(h,w)$

其中，S_i，Y(h，w)、S_i，U(h，w)和S_i，V(h，w)分别表示视频序列中第i帧图像中，坐标为(h，w)像素的Y、U、V分量取值(Y、U、V均按无符号数读取)，H、W分别表示视频序列Y分量的高和宽。在YUV420格式中，U分量和V分量高和宽分别为Y分量高和宽的一半，上式以YUV420格式序列为例；对于YUV422和YUV444或其它格式视频序列，只是U和V两个色度分量与亮度分量的尺寸大小关系不一样而已。

(2)计算当前场景内前k帧的亮度和色度三个分量的均值meanY，meanU和meanV：

meanY＝mean(S_i，Y)

meanU＝mean(S_i，U)

meanV＝mean(S_i，V)

若i＝n，即当前帧为视频序列的最后一帧，则结束循环，退出检测，若i＜n，进行下述步骤(3)，n为视频序列中的图像帧数。

(3)使i＝i+1，读取图像数据，计算当前帧的亮度和色度三个分量与前一帧亮度和色度三个分量均值差值的绝对值D_Y、D_U、D_V：

D_Y＝|mean(S_i，Y)-mean(S_i-1，Y)|

D_u＝|mean(S_i，U)-mean(S_i-1，U)|，其中S_i，Y、S_i，U、S_i，V分别表示当前帧的三个分量组

D_V＝|mean(S_i，V)-mean(S_i-1，V)|

成的二维矩阵，S_i-1，Y、S_i-1，U、S_i-1，V分别表示前一帧的三个分量组成的二维矩阵。

(4)若 $\frac{D_Y}{\mathrm{meanY}}+\frac{D_U}{\mathrm{meanU}}+\frac{D_V}{\mathrm{meanV}}\≥M$ 和D_Y+D_U+D_V≥N两个条件不能同时满足，则无场景切换，若同时满足，则有场景切换，并转入步骤(1)，其中M，N分别为场景切换的判定阈值，M取值范围为0.01～1.0，N取值范围为1～100。

(5)使k＝k+1；，计算当前场景内前k帧的亮度和色度三个分量的均值meanY，meanU和meanV：

$\mathrm{meanY}=\frac{1}{k}(\mathrm{meanY}\×(k-1)+\mathrm{mean}\left(S_{i,Y}\right))$

$\mathrm{meanU}=\frac{1}{k}(\mathrm{meanU}\×(k-1)+\mathrm{mean}\left(S_{i,U}\right)),$

$\mathrm{meanV}=\frac{1}{k}(\mathrm{meanV}\×(k-1)+\mathrm{mean}\left(S_{i,V}\right))$

若i＜n，即当前帧不是视频序列最后一帧，则进行步骤(3)，若i＝n，则结束循环，退出检测。

当视频序列发生突变场景切换时，Y、U、V三个分量的均值将全部或部分出现突变，一般来说Y分量相差很明显；在某些情况下，比如说前一帧和当前帧图像都很亮或者很暗，Y分量相差不明显，此时可以以色度分量U、V的差别作为判断依据，实验表明，将当前帧和前一帧的Y、U、V三个分量的差别作为突变场景切换的判断依据是可行的。

Claims (1)

1、一种视频场景切换检测方法，其特征在于该方法包括以下步骤：

(1)若当前帧为视频序列的第一帧或新场景的第一帧，设当前帧在当前场景中的编号为k，则k＝1，计算当前帧亮度和色度三个分量的均值mean(S_i，Y)、mean(S_i，U)、mean(S_i，V)：

$\mathrm{mean}\left(S_{i,Y}\right)=\frac{1}{H\×W}\underset{h=0}{\overset{H-1}{\mathrm{\Σ}}}\underset{w=0}{\overset{W-1}{\mathrm{\Σ}}}{S}_{i,Y}(h,w)$

$\mathrm{mean}\left(S_{i,U}\right)=\frac{4}{H\×W}$ $\underset{h=0}{\overset{H/2-1}{\mathrm{\Σ}}}\underset{w=0}{\overset{W/2-1}{\mathrm{\Σ}}}{S}_{i,U}(h,w)$

$\mathrm{mean}\left(S_{i,V}\right)=\frac{4}{H\×W}\underset{h=0}{\overset{H/2-1}{\mathrm{\Σ}}}\underset{w=0}{\overset{W/2-1}{\mathrm{\Σ}}}{S}_{i,V}(h,w)$

其中，S_i，Y(h，w)、S_i，U(h，w)和S_i，V(h，w)分别表示视频序列中第i帧图像中，坐标为(h，w)像素的Y、U、V分量取值，H、W分别表示视频序列Y分量的高和宽；

(2)计算当前场景内前k帧的亮度和色度三个分量的均值meanY，meanU和meanV：

meanY＝mean(S_i，Y)

meanU＝mean(S_i，U)

meanV＝mean(S_i，V)

若i＝n，n为视频序列中的图像帧数，即当前帧为视频序列的最后一帧，则结束循环，退出检测，若i＜n，进行下述步骤(3)；

(3)使i＝i+1，读取图像数据，计算当前帧的亮度和色度三个分量与前一帧亮度和色度三个分量均值差值的绝对值D_Y、D_U、D_V：

D_Y＝|mean(S_i，Y)-mean(S_i-1，Y)|

D_U＝|mean(S_i，U)-mean(S_i-1，U)|

D_V＝|mean(S_i，V)-mean(S_i-1，V)|

(4)若 $\frac{D_Y}{\mathrm{meanY}}+\frac{D_U}{\mathrm{meanU}}+\frac{D_V}{\mathrm{meanV}}\≥M$ 和D_Y+D_U+D_V≥N两个条件不能同时满足，则无场景切换，若同时满足，则有场景切换，并转入步骤(1)，其中M，N分别为场景切换的判定阈值，M取值范围为0.01～1.0，N取值范围为1～100；

(5)使k＝k+1；，计算当前场景内前k帧的亮度和色度三个分量的均值meanY，meanU和meanV：

$\mathrm{meanY}=\frac{1}{k}(\mathrm{meanY}\×(k-1)+\mathrm{mean}\left(S_{i,Y}\right))$

$\mathrm{meanU}=\frac{1}{k}(\mathrm{meanU}\×(k-1)+\mathrm{mean}\left(S_{i,U}\right)),$

$\mathrm{meanV}=\frac{1}{k}(\mathrm{meanV}\×(k-1)+\mathrm{mean}\left(S_{i,V}\right))$

若i＜n，即当前帧不是视频序列最后一帧，则进行步骤(3)，若i＝n，则结束循环，退出检测。