CN103458155B - 视频场景变换检测方法和系统及体验质量检测方法和系统 - Google Patents

Abstract

本发明提供一种动态视频场景变换检测方法和系统及体验质量检测方法和系统。动态视频场景变换检测方法包括如下步骤：实时获取动态视频图像的当前帧；计算当前帧的场景变换特征参数ti(n)；根据所述动态视频图像的之前一个或数个帧的场景变换特征参数计算对应于当前帧的动态阈值threshold(n)；判断当前帧的场景变换特征参数ti(n)是否小于或等于其对应的动态阈值，如果是，则判断为不是场景变换帧，否则，判断为是场景变换帧。本发明能够在网络视频流的传输过程中，及时截取传输的当前视频帧，并实时地与之前截取的一个或数个帧的参数对比从而判断出场景的变换，可以广泛适用于视频体验质量评估领域和其他各项图像检测领域。

Description

视频场景变换检测方法和系统及体验质量检测方法和系统

技术领域

本发明涉及视频图像分析领域，尤其涉及视频场景变换检测方法和系统及体验质量检测方法和系统。

背景技术

体验质量(QoE——quality of experience)是现在评价网络服务质量的重要指标之一，它能够从用户的角度出发来考虑服务质量，所以更加的可靠以及人性化。而由于视频服务已经成为当今网络服务的主要组成部分，视频QoE的评估也相应的成为当今QoE研究的热点问题。影响视频QoE的因素有很多，其中一个较为受人们关注的是视频的内容类型因素，这是因为在相同的网络损伤条件下，不同的内容类型的视频QoE结果会差异很大，这使得在QoE领域中，视频内容类型的研究显得至关重要。

而视频的内容类型在视频的播放过程中也是不尽相同的，视频的类型变换往往发生在视频场景变换的时刻，视频的场景变换往往会导致视频的内容类型变化。在现有技术中，对于一段已经存储在服务器中的静态视频，可以做到根据视频的内容类型分类，并且利用各种算法(如MPEG编码、DC序列等方法)对整段视频的场景变换进行静态的综合分析和探测，以期能够得到较准确的场景变换结果，来有效分析视频内容类型的变化及对静态视频QoE的影响。

但在现在使用范围很广的网络视频流中，此类方法的应用却相对来说困难得多。因为现有技术中的场景变换检测往往都是面向视频的可变比特率编码的应用领域，并不适用于实时的网络视频传输，也无法适应编码方式多变的网络传播流媒体。所以对于网络视频的QoE评估领域，现有技术无法做到动态视频传输过程中的实时场景检测与更新，也相应的无法实时分析视频的内容类型变换过程，无法满足网络视频QoE评估领域对场景变换检测的需求。

发明内容

(一)要解决的技术问题

本发明提供一种动态视频场景变换检测方法和系统及体验质量检测方法和系统，能够在传播过程中实时的针对网络视频流进行评估分析，以解决现有的视频场景检测方法无法满足较强实时性需求的问题。

(二)技术方案

为解决上述技术问题，本发明提供一种动态视频的场景变换检测方法，包括：

实时获取动态视频图像的当前帧；

计算当前帧的场景变换特征参数ti(n)；

根据所述动态视频图像的之前一个或数个帧的场景变换特征参数计算对应于当前帧的动态阈值threshold(n)；

判断当前帧的场景变换特征参数ti(n)是否小于或等于其对应的动态阈值threshold(n)，如果是，则判断为不是场景变换帧，否则，判断为是场景变换帧。

进一步地，所述场景变换特征参数ti(n)的计算表达式为：

ti(n)＝std_space[M_n(i，j)]

其中std_space为视频帧的图像空间，M_n(i，j)＝F_n(i，j)-F_n-1(i，j)，F_n(i，j)是视频当前帧图像的第i行、第j列的像素值，则M_n(i，j)表示视频中当前帧和之前一帧连续两帧之间同一位置处像素值的变化。

进一步地，在所述计算对应于当前帧的动态阈值threshold(n)之前，进一步包括：确定动态阈值threshold(n)的计算范围为当前帧之前一个或数个帧的集合[i，j]，所述集合[i，j]为一个滑动窗口W[i，j]，定义n为当前帧数，sce是上一个发生场景变换的帧数，N为固定值，其取值由当前视频的内容类型决定，t＝[ti(n)]，则所述滑动窗口W[i，j]的计算方法为：

当第n帧与第sce帧之间的帧距离大于N+t+1时，

[i，j]＝[n-N-t，n]

当第n帧与第sce帧之间的帧距离小于等于N+t+1时，

[i，j]＝[sce，n]

所述计算对应于当前帧的动态阈值threshold(n)的方法为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i，j]内视频帧的场景变换特征参数ti(n)的平均值：

$\mathrm{mean}\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(n\right)}{i-j+1}$

std(n)为ti(n)的标准差：

$\mathrm{std}\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(n\right)-\mathrm{mean}\left(n\right)]}^2}$

a、b为常数。

进一步地，在所述计算对应于当前帧的动态阈值threshold(n)之前，进一步包括：设置固定窗口，取值为70帧；

所述计算对应于当前帧的动态阈值threshold(n)的方法为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i，j]内视频帧的场景变换特征参数ti(n)的平均值：

$\mathrm{mean}\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(n\right)}{i-j+1}$

当j＞69时，i＝j-69，否则，i＝1；

std(n)为ti(n)的标准差：

$\mathrm{std}\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(n\right)-\mathrm{mean}\left(n\right)]}^2}$

当j＞69时，i＝j-69，否则，i＝1；

a、b为常数。

另一方面，本发明还提供一种动态视频的场景变换检测系统，包括：

视频输入装置，用于实时获取动态视频图像的当前帧；

场景变换特征参数计算装置，用于计算当前帧的场景变换特征参数ti(n)，然后将结果分别输出至动态阈值计算装置和场景变换检测装置；

动态阈值计算装置，用于根据当前帧动态视频图像之前的一个或数个帧的场景变换特征参数，计算对应于当前帧的动态阈值threshold(n)，并输出至场景变换检测装置；

场景变换检测装置，用于对比场景变换特征参数计算装置和动态阈值计算装置输入的结果，来判断当前帧是否为场景变换帧，如果当前帧的场景变换特征参数ti(n)小于或等于其对应的动态阈值threshold(n)，则判断为不是场景变换帧，否则，判断为是场景变换帧；

输出装置，用于输出视频的场景变换帧。

进一步地，所述场景变换特征参数计算装置，用于计算的场景变换特征参数ti(n)的表达式为：

ti(n)＝std_space[M_n(i，j)]

其中std_space为视频帧的图像空间，M_n(i，j)＝F_n(i，j)-F_n-1(i，j)，F_n(i，j)是视频当前帧图像的第i行、第j列的像素值，则M_n(i，j)表示视频中当前帧和之前一帧连续两帧之间同一位置处像素值的变化。

进一步地，所述动态视频的场景变换检测系统，进一步包括：滑动窗口计算装置，连接在所述场景变换特征参数计算装置和所述动态阈值计算装置之间，用于取值当前帧之前的一个或数个帧的集合[i，j]，来定义动态阈值threshold(n)的计算范围，设n为当前帧数，sce是上一个发生场景变换的帧数，N为固定值，其取值由当前视频的内容类型决定，t＝[ti(n)]，则所述滑动窗口计算装置用于取值滑动窗口W[i，j]为：

当第n帧与第sce帧之间的帧距离大于N+t+1时，

[i，j]＝[n-N-t，n]

当第n帧与第sce帧之间的帧距离小于等于N+t+1时，

[i，j]＝[sce，n]

所述动态阈值计算装置用于计算的动态阈值threshold(n)的表达式为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i，j]内视频帧的场景变换特征参数ti(n)的平均值：

$\mathrm{mean}\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(n\right)}{i-j+1}$

std(n)为ti(n)的标准差：

$\mathrm{std}\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(n\right)-\mathrm{mean}\left(n\right)]}^2}$

a、b为常数。

进一步地，所述动态视频的场景变换检测系统，进一步包括：固定窗口计算装置，连接在所述场景变换特征参数计算装置和所述动态阈值计算装置之间，用于定义动态阈值threshold(n)的计算范围，取值为70帧；

所述动态阈值计算装置用于计算的动态阈值threshold(n)的表达式为

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i，j]内视频帧的场景变换特征参数ti(n)的平均值：

$\mathrm{mean}\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(n\right)}{i-j+1}$

当j＞69时，i＝j-69，否则，i＝1；

std(n)为ti(n)的标准差：

$\mathrm{std}\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(n\right)-\mathrm{mean}\left(n\right)]}^2}$

当j＞69时，i＝j-69，否则，i＝1；

a、b为常数。

另一方面，本发明提供一种动态视频体验质量的检测方法，包括：

在动态视频传输过程中，利用上述任一项动态视频的场景变换检测方法实时检测动态视频场景变换；

利用动态视频场景变换的输出结果，结合视频分类方法区分动态视频的内容类型，并实时判断变化过程；

将所判断的视频内容类型实时输出，并作为参数之一用于检测动态视频的体验质量。

再一方面，本发明还提供一种动态视频体验质量检测系统，包括：

利用上述任一项动态视频的场景变换检测系统检测视频场景变换，检测结果输出至视频分类装置；

视频分类装置，用于判断网络视频类型，并根据接收到的动态视频场景变换结果判断内容类型的变化过程，然后输出至体验质量检测装置；

体验质量检测装置，用于根据视频分类装置实时输入的动态视频的内容类型结合其他参数综合评估视频的体验质量。

(三)有益效果

本发明提供一种动态视频的场景变换检测方法和体验质量检测方法，其目的是在网络视频流的传输过程中，及时截取传输中的当前视频帧，并实时地与之前截取的一个或数个帧的参数进行对比，从而判断出场景的变换并迅速反馈检测结果，以快速分类网络视频内容。它可以及时准确地判断出动态视频播放过程中的场景变换，为后期的内容类型的判断提供基础，并且与此同时不影响动态网络视频的传输过程，不影响用户体验度。本方法非常适用于网络视频QoE的评估领域，提高了评估准确性，同时也可以进一步应用于其他各项图像检测领域，具有很高的应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是动态视频的场景变换检测流程图；

图2是动态视频体验质量检测流程图；

图3是新闻(news)视频的场景变换检测流程图；

图4是新闻(news)视频序列的验证结果；

图5是小动画(betespas)视频序列的验证结果；

图6是啦啦队(cheerleaders)视频序列的验证结果；

图7是象的梦(ED)视频序列的验证结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例首先提出了一种动态视频的场景变换检测方法，参见图1，该方法包括：

步骤101：实时获取动态视频图像的当前帧。

步骤102：计算当前帧的场景变换特征参数ti(n)。

步骤103：根据所述动态视频图像的之前一个或数个帧的场景变换特征参数计算对应于当前帧的动态阈值threshold(n)。

步骤104：判断当前帧的场景变换特征参数ti(n)是否小于或等于其对应的动态阈值threshold(n)，如果是，则判断为不是场景变换帧，回到步骤101；如果否，则跳到步骤105。

步骤105：输出场景变换帧。

本发明另一个实施例还提出了一种动态视频体验质量的检测方法，如图2所示，包括：

步骤201：实时获取动态视频图像的当前帧。

步骤202：计算当前帧的场景变换特征参数ti(n)。

步骤203：根据所述动态视频图像的之前一个或数个帧的场景变换特征参数计算对应于当前帧的动态阈值threshold(n)。

步骤204：判断当前帧的场景变换特征参数ti(n)是否小于或等于其对应的动态阈值threshold(n)，如果是，则判断为不是场景变换帧，回到步骤201；如果否，则跳到步骤205。

步骤205：输出场景变换帧。

步骤206：根据步骤205中输出的结果，区分动态视频的内容类型并实时判断变化过程。

步骤207：将所判断的视频内容类型实时输出并作为参数之一，结合其他客观参数：如网络损伤、帧率、比特率等，用于综合检测动态视频的体验质量。

由此可见，在本发明实施例中提出的动态视频的场景变换检测方法和体验质量检测方法中，是在网络视频流的传输过程中，及时截取传输中的当前视频帧，并实时地与之前截取的一个或数个帧的参数进行对比，从而判断出场景的变换并迅速反馈检测结果，以快速分类网络视频内容。它可以及时准确地判断出动态视频播放过程中的场景变换，为后期的内容类型的判断提供基础，并且与此同时不影响动态网络视频的传输过程，不影响用户体验度。本方法非常适用于网络视频QoE的评估领域，提高了评估准确性，同时也可以进一步应用于其他各项图像检测领域，具有很高的应用价值。

在本发明实施例的上述方法中，由于根据国际电信联盟远程通信标准化组织(ITU-T)P.910的定义，空间时间感知信息指标TI为：

TI＝max_time{std_space[M_n(i，j)]}

所以，为了更好的体现空间时间的感知信息，一种较佳的方式是可以进一步定义场景变换特征参数ti(n)为：

ti(n)＝std_space[M_n(i，j)]

上述两式中，max_time为所检测视频时间内的最大值，std_space为视频帧的图像空间，M_n(i，j)＝F_n(i，j)-F_n-1(i，j)，F_n(i，j)是视频当前帧图像的第i行、第j列的像素值，则M_n(i，j)表示表示视频中当前帧和之前一帧连续两帧之间同一位置处像素值的变化。

在本发明实施例的方法中，计算所述动态阈值threshold(n)之前，可以进一步包括：确定动态阈值threshold(n)的计算范围为当前帧之前一个或数个帧的集合[i，j]，称为一个窗口。由于窗口的大小与当前视频的运动特征有关，在研究中发现，为了提高检测结果的准确性，可以定义集合[i，j]的值是可变的，将W[i，j]定义为滑动窗口，n为当前帧数，sce是上一个发生场景变换的帧数，N为固定值，其取值由当前视频的内容类型决定，当ti(n)＜＝20，N＝10；当20＜ti(n)＜＝40，N＝20；当40＜ti(n)＜＝60，N＝30；当60＜ti(n)＜＝80，N＝40；当ti(n)＞80，N＝50。t＝[ti(n)]，则所述滑动窗口W[i，j]的计算方法为：

当第n帧与第sce帧之间的帧距离大于N+t+1时，

[i，j]＝[n-N-t，n]

当第n帧与第sce帧之间的帧距离小于等于N+t+1时，

[i，j]＝[sce，n]

此处的滑动窗口不存在数据的落空和重叠问题，因为在网络视频传输中，对于每一个帧来说，只对应于一个滑动窗口。

在判断视频场景变换帧的过程中，需要定义一个值来作为标准进行判断，这个动态阈值threshold(n)既需要具有足够的准确度和灵敏度，又需要尽可能避免将快速运动变化误检为场景变换，降低误检率。一种较佳的定义方式为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i，j]内视频帧的场景变换特征参数ti(n)的平均值：

$\mathrm{mean}\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(n\right)}{i-j+1}$

std(n)为ti(n)的标准差：

$\mathrm{std}\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(n\right)-\mathrm{mean}\left(n\right)]}^2}$

a、b为常数，a用于提高场景变换检测的准确度，b用于防止将一些较快的动作场景误检测为场景变换。a、b的取值由大量视频特征数据拟合而来，通过对不同内容类型的视频的相关场景特征等进行数据分析而得到。

在本发明另一个实施例的方法中，计算所述动态阈值threshold(n)之前，可以进一步包括：确定动态阈值threshold(n)的计算范围为当前帧之前数个帧的集合[i，j]，该窗口还可以为：固定窗口。此固定窗口的取值范围可以是70帧，是由大量数据拟合决定的。

根据此固定窗口的计算范围所得到的动态阈值为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i，j]内视频帧的场景变换特征参数ti(n)的平均值：

$\mathrm{mean}\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(n\right)}{i-j+1}$

当j＞69时，i＝j-69，否则，i＝1；

std(n)为ti(n)的标准差：

$\mathrm{std}\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(n\right)-\mathrm{mean}\left(n\right)]}^2}$

当j＞69时，i＝j-69，否则，i＝1；

a、b为常数。

下面以检测具体的视频序列的场景变换和体验质量为例，来详细说明本发明实施例的实现过程。

在本发明的一个优选实施例中，选取典型的新闻广播视频序列(news)作为待测视频，针对该视频进行场景变换和体验质量的检测。视频随机取自网络，视频分辨率采用CIF分辨率(352×288)4∶2∶0的格式，帧率为25fps，帧总数为300帧。本视频为IPTV中常见的典型视频，具有较大范围的空间和时间感知信息值，如图3所示，针对此视频的动态场景变换的检测过程包括：

步骤301：截取新闻视频的第1帧输入系统。

由于本发明实施例所进行的是网络视频的实时监测与输出，所以本步骤是在网络流媒体同步传输的过程中不影响视频本身传输的条件下，截取视频的某一帧进行输入检测。

步骤302：同样方法截取视频的第2帧输入系统。

步骤303：计算当前第2帧的场景变换特征参数ti(2)。

根据国际电信联盟远程通信标准化组织(ITU-T)P.910的定义，空间时间感知信息指标TI为：

TI＝max_time{std_space[M_n(i，j)]}

为了更好的体现空间时间的感知信息，定义场景变换特征参数ti(2)为

ti(2)＝std_space[M₂(i，j)]

上述两式中，max_time为所检测视频时间内的最大值，std_space为视频帧的图像空间，M₂(i，j)＝F₂(i，j)-F₁(i，j)，F_n(i，j)是视频第n帧图像的第i行、第j列的像素值，则M₂(i，j)表示视频中第2帧和第1帧连续两帧之间同一位置处像素值的变化。

步骤304：计算对应于第2帧的窗口取值和所对应的动态阈值threshold(2)。

在本发明实施例中，由于窗口的大小与当前视频的运动特征有关，为提高检测结果的准确性，较佳的，本发明实施例采用了一种动态窗口的计算方法：定义集合[i，j]为一个窗口，[i，j]的值是可变的，将W[i，j]定义为滑动窗口，n为当前帧数，sce是上一个发生场景变换的帧数，N为固定值，其取值由当前视频的内容类型决定，此处对应于相对和缓的视频类型，ti(n)＜5，N＝10；t＝[ti(n)]，则所述滑动窗口W[i，j]的计算方法为：

当第n帧与第sce帧之间的帧距离大于N+t+1时，

[i，j]＝[n-N-t，n]

当第n帧与第sce帧之间的帧距离小于等于N+t+1时，

[i，j]＝[sce，n]

此处的滑动窗口不存在数据的落空和重叠问题，因为在网络视频传输中，对于每一个帧来说，只对应于一个滑动窗口。

在本发明实施例中，对应于第2帧的动态阈值的滑动窗口[i，j]取值为[1，2]；

动态阈值threshold(n)的取值既需要具有足够的准确度和灵敏度，又需要尽可能避免将快速运动变化误检为场景变换，降低误检率。在本发明实施例中，较佳地，对应于当前第2帧的动态阈值threshold(2)的方法为：

threshold(2)＝a×mean(2)+b×std(2)

其中mean(2)为窗口[i，j]内视频帧的场景变换特征参数ti(2)的平均值：

$\mathrm{mean}\left(2\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(2\right)}{i-j+1}$

std(2)为ti(2)的标准差：

$\mathrm{std}\left(2\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(2\right)-\mathrm{mean}\left(2\right)]}^2}$

对应于第2帧的具体取值，i＝1，j＝2；a、b为常数，a用于提高场景变换检测的准确度，b用于防止将一些较快的动作场景误检测为场景变换。a、b的取值由大量视频特征数据拟合而来，通过对不同内容类型的视频的相关场景特征等进行数据分析而得到。在本发明实施例中，较佳的，经过数据多次拟合，取值为a＝2.2，b＝2.0。

步骤305：判断当前的视频第2帧的场景变换特征参数ti(2)是否小于或等于其对应的动态阈值threshold(2)，如果是，则确定不是场景变换帧，执行步骤307，否则，判断为是场景变换帧，执行步骤306。

步骤306：将当前帧为场景变换帧的结果输出，然后执行步骤307。

步骤307：截取新闻视频的第n帧(3≤n≤300)输入系统。

步骤308：计算第n帧的场景变换特征参数ti(n)；滑动窗口取值和所对应的动态阈值threshold(n)。

如前所述，其中：ti(n)＝std_space[M_n(i，j)]

滑动窗口为 $W(i,j)=\left\{\begin{array}{c}[i,j]=[n-N-t,n]\\ [i,j]=[\mathrm{sce},n]\end{array}\right.$

动态阈值为threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i，j]内视频帧的场景变换特征参数ti(n)的平均值：

$\mathrm{mean}\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(n\right)}{i-j+1}$

std(n)为ti(n)的标准差：

$\mathrm{std}\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(n\right)-\mathrm{mean}\left(n\right)]}^2}$

a、b为常数。

步骤309：比较场景变换特征参数ti(n)和相对应的动态阈值threshold(n)的大小，若ti(n)小于或等于threshold(n)，则不是场景变换帧，回到步骤307循环执行第n+1帧；否则，则判断为是场景变换帧，跳至步骤306。

步骤310：以此类推，计算每一帧的结果直至300帧视频结束。

至此，则完成了本发明实施例中关于动态视频场景变换帧的判断过程。

另外，需要说明的是，上述的所有流程描述是本发明检测动态视频场景变换的一种优选实现过程，在本发明检测动态视频场景变换的实际实现中，可以根据需要在此基础上做任意变形。比如，在上述步骤304和步骤308中，计算动态阈值取值范围可以替换为固定窗口，在本发明的另一个实施例中，此固定窗口的取值可以是：70帧。相应的动态阈值的计算公式为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i，j]内视频帧的场景变换特征参数ti(n)的平均值：

$\mathrm{mean}\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(n\right)}{i-j+1}$

当j＞69时，i＝j-69，否则，i＝1；

std(n)为ti(n)的标准差：

$\mathrm{std}\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(n\right)-\mathrm{mean}\left(n\right)]}^2}$

当j＞69时，i＝j-69，否则，i＝1；

a、b为常数。

此固定窗口的取值方法适用于第2帧至第300帧中的任意一帧或者多个帧。

此视频序列在MATLAB^TM R2010b环境下的验证结果如图4所示，图中虚线为动态阈值threshold(n)的变化曲线，实线为指标ti(n)的变化曲线，每当动态阈值threshold(n)超过ti(n)时，系统即认为视频发生了场景变换，便将帧的序号记录下来。图中箭头表示在实际情况下，系统检测到的场景变换帧出现的位置。由此可知，此视频的场景变换次数为3次。

为了检测本发明的实施效果，在此继续选取多个视频序列进行进一步检测和统计，重复进行上述步骤。视频的来源、分辨率等如前所述，视频时间从10s至5min不等。所选视频序列具有各自不同的特点，以期可以较完整涵盖网络视频流的各种类型。其中，前述的新闻(news)视频没有明显的场景变化；小动画(betespas)包含突然的场景切换，其很容易被探测到；啦啦队(cheerleaders)运动变化非常快，但是实际上场景并没有变化(可能被误检测出场景变化)；巴黎(paris)是一个脱口秀节目；李献计历险记(lixianji)包含很多不同类型的场景转换(很难被精确检测)；高速公路(highway)和远方的桥(bridge-far)是两个风景视频；大兔子(BBB)和象的梦(ED)是两个电影，包含不同类型的场景变化。有关视频的信息(帧总数和测量得到每个视频中场景变换的实际次数)见表1所示。

视频	帧率(fps)	帧总数	场景变换次数
				新闻	25	300	3
小动画	30	301	5
				啦啦队	30	301	1
巴黎	25	1065	1
				李献计历险记	24	1485	26
高速公路	30	2000	1
				远方的桥	30	2101	1
大兔子	24	14315	143
				象的梦	24	15691	77

表1 实验视频的相关信息

这些视频在在MATLAB^TM R2010b环境下的部分检测结果如图5-7所示。如前所述，图中体现了视频的场景特征参数ti(n)和动态阈值threshold(n)的变化情况。其中，threshold(n)中a、b的取值为2.2以及2.0，其值由大量视频数据分析得到。图中箭头指示为实际情况下，场景变换帧的位置，系统检测到的场景变换帧为threshold(n)超过ti(n)的位置。

这些视频序列进行性能参数的统计如下：本发明实施例定义漏检测数为没有检测出的场景变换的数量，错误检测反映错误的场景变换检测数量，定义准确率为场景变换检测的准确度，本发明的算法准确率效果如表2所示。

视频	漏检测数	错误检测数	准确率(％)
				新闻	1	0	75.0
小动画	0	0	100

啦啦队	0	0	100
				巴黎	0	0	100
李献计历险记	3	1	88.5
				高速公路	0	0	100
远方的桥	0	0	100
				大兔子	16	6	88.1
象的梦	6	3	92.2

表2 视频场景的动态检测方法验证

根据上表和图2-5可以得知，本发明实施例对于动态的场景检测，尤其对于突然场景变换的检测算法具有较高的准确性。

本发明的一个实施例中，提出了一种检测视频体验质量的方法，包括如下步骤：

采用上述任一本发明实施例提出的动态视频场景变换检测方法进行场景检测；

利用动态视频场景变换输出结果，结合视频分类方法区分动态视频的内容类型，并实时判断变化过程；

将所判断的视频内容类型实时输出，并作为参数之一与其他的客观参数，比如网络损伤、帧类比特率等等同时结合起来进行体验质量的评估。

本发明一个实施例中还提出了一种动态视频场景变换检测的系统，该系统包括：

视频输入装置，用于实时获取动态视频图像的当前帧；

场景变换特征参数计算装置，用于计算当前帧的场景变换特征参数ti(n)，然后将结果分别输出至动态阈值计算装置和场景变换检测装置；

动态阈值计算装置，用于根据当前帧动态视频图像之前的一个或数个帧的场景变换特征参数，计算对应于当前帧的动态阈值threshold(n)，并输出至场景变换检测装置；

场景变换检测装置，用于对比场景变换特征参数计算装置和动态阈值计算装置输入的结果，来判断当前帧是否为场景变换帧，如果当前帧的场景变换特征参数ti(n)小于或等于其对应的动态阈值threshold(n)，则判断为不是场景变换帧，否则，判断为是场景变换帧；

输出装置，用于输出视频的场景变换帧。

在本发明系统的一个实施例中，为了更好地体现空间时间的感知信息，场景特征变换参数计算装置所计算的场景变换特征参数ti(n)表达式为：

ti(n)＝std_space[M_n(i，j)]

其中std_space为视频帧的图像空间，M_n(i，j)＝F_n(i，j)-F_n-1(i，j)，F_n(i，j)是视频当前帧图像的第i行、第j列的像素值。M_n(i，j)表示视频中当前帧和之前一帧连续两个帧之间同一位置处像素值的变化。

在本发明系统的另一个实施例中，较佳地，本发明系统可以进一步包括：滑动窗口计算装置，连接在所述场景变换特征参数计算装置和所述动态阈值计算装置之间，用于取值当前帧之前的一个或数个帧的集合[i，j]，来定义动态阈值threshold(n)的计算范围，设n为当前帧数，sce是上一个发生场景变换的帧数，N为固定值，其取值由当前视频的内容类型决定，t＝[ti(n)]，则所述滑动窗口计算装置用于取值滑动窗口W[i，j]为：

当第n帧与第sce帧之间的帧距离大于N+t+1时，

[i，j]＝[n-N-t，n]

当第n帧与第sce帧之间的帧距离小于等于N+t+1时，

[i，j]＝[sce，n]

在本发明的另一个实施例中，为了使检测结果既具有足够的准确度和灵敏度，又尽量避免误检，较佳的，动态阈值计算装置可以定义动态阈值为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i，j]内视频帧的场景变换特征参数ti(n)的平均值：

$\mathrm{mean}\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(n\right)}{i-j+1}$

std(n)为ti(n)的标准差：

$\mathrm{std}\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(n\right)-\mathrm{mean}\left(n\right)]}^2}$

a、b为常数。a用于提高场景变换检测的准确度，b用于防止将一些较快的动作场景误检测为场景变换。a、b的取值由大量视频特征数据拟合而来，通过对不同内容类型的视频的相关场景特征等进行数据分析而得到。在本发明实施例中，较佳的，经过数据多次拟合，取值为a＝2.2，b＝2.0。

在本发明的另一个实施例中，本发明系统可以进一步包括：固定窗口计算装置，连接在所述场景变换特征参数计算装置和所述动态阈值计算装置之间，用于定义动态阈值threshold(n)的计算范围，取值为70帧；

所述动态阈值计算装置用于计算的动态阈值threshold(n)的表达式为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i，j]内视频帧的场景变换特征参数ti(n)的平均值：

$\mathrm{mean}\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^j\mathrm{ti}\left(n\right)}{i-j+1}$

当j＞69时，i＝j-69，否则，i＝1；

std(n)为ti(n)的标准差：

$\mathrm{std}\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{[\mathrm{ti}\left(n\right)-\mathrm{mean}\left(n\right)]}^2}$

当j＞69时，i＝j-69，否则，i＝1；

a、b为常数。

需要说明的是，上述本发明系统的实施例中的各个部分可以任意组合使用和在此基础上做任意变形。

另外，本发明实施例还提出一种检测视频体验质量的系统，包括：

本发明实施例提出的任意一种检测动态视频变换的系统，检测结果输出至视频分类装置；

视频分类装置，用于判断网络视频类型，并根据接收到的动态视频场景变换结果判断内容类型的变化过程，然后输出至体验质量检测装置；

体验质量检测装置，用于根据视频分类装置实时输入的动态视频的内容类型结合其他参数综合评估视频的体验质量。

本发明实施例中提出的视频体验质量检测方法和系统中，检测视频的体验质量的过程可以参考现有技术中的相关处理。比如，利用动态视频的场景变换来判断视频内容类型，同时作为一个参数与其他的客观参数，比如网络损伤、帧类比特率等等同时结合起来进行体验质量评估，以期得到更加精确地结果。

可见，本发明实施例的有益效果为：本发明提供一种动态视频的场景变换检测方法和体验质量检测方法，其目的是在网络视频流的传输过程中，及时截取传输中的当前视频帧，并实时地与之前截取的一个或数个帧的参数进行对比，从而判断出场景的变换并迅速反馈检测结果，以快速分类网络视频内容。它可以及时准确地判断出动态视频播放过程中的场景变换，为后期的内容类型的判断提供基础，并且与此同时不影响动态网络视频的传输过程，不影响用户体验度。本方法非常适用于网络视频QoE的评估领域，提高了评估准确性，同时也可以进一步应用于其他各项图像检测领域，具有很高的应用价值。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种动态视频的场景变换检测方法，其特征在于，包括：

实时获取动态视频图像的当前帧；

计算当前帧的场景变换特征参数ti(n)；

根据所述动态视频图像的之前一个或数个帧的场景变换特征参数计算对应于当前帧的动态阈值threshold(n)；

判断当前帧的场景变换特征参数ti(n)是否小于或等于其对应的动态阈值threshold(n)，如果是，则判断为不是场景变换帧，否则，判断为是场景变换帧；

其中，在所述计算对应于当前帧的动态阈值threshold(n)之前，进一步包括：确定动态阈值threshold(n)的计算范围为当前帧之前一个或多个帧的集合[i,j]，所述集合[i,j]为一个滑动窗口W[i,j]，定义n为当前帧数，sce是上一个发生场景变换的帧数，N为固定值，其取值由当前视频的内容类型决定，t＝[ti(n)]，则所述滑动窗口W[i,j]的计算方法为：

当第n帧与第sce帧之间的帧距离大于N+t+1时，

[i,j]＝[n-N-t,n]

当第n帧与第sce帧之间的帧距离小于等于N+t+1时，

[i,j]＝[sce,n]

所述计算对应于当前帧的动态阈值threshold(n)的方法为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i,j]内视频帧的场景变换特征参数ti(n)的平均值：

$mean\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^{j}ti\left(n\right)}{i-j+1}$

std(n)为ti(n)的标准差：

$std\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{\[ti\left(n\right)-mean\left(n\right)\]}^2}$

a、b为常数。

2.根据权利要求1所述动态视频的场景变换检测方法，其特征在于，所述场景变换特征参数ti(n)的计算表达式为：

ti(n)＝std_space[M_n(i,j)]

其中std_space为视频帧的图像空间，M_n(i,j)＝F_n(i,j)-F_n-1(i,j)，F_n(i,j)是视频当前帧图像的第i行、第j列的像素值，则M_n(i,j)表示视频中当前帧和之前一帧连续两帧之间同一位置处像素值的变化。

3.根据权利要求1所述动态视频的场景变换检测方法，其特征在于，在所述计算对应于当前帧的动态阈值threshold(n)之前，进一步包括：设置固定窗口，取值为70帧；

所述计算对应于当前帧的动态阈值threshold(n)的方法为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i,j]内视频帧的场景变换特征参数ti(n)的平均值：

$mean\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^{j}ti\left(n\right)}{i-j+1}$

当j>69时，i＝j-69，否则，i＝1；

std(n)为ti(n)的标准差：

$std\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{\[ti\left(n\right)-mean\left(n\right)\]}^2}$

当j>69时，i＝j-69，否则，i＝1；

a、b为常数。

4.一种动态视频的场景变换检测系统，其特征在于，包括：

视频输入装置，用于实时获取动态视频图像的当前帧；

场景变换特征参数计算装置，用于计算当前帧的场景变换特征参数ti(n)，然后将结果分别输出至动态阈值计算装置和场景变换检测装置；

动态阈值计算装置，用于根据当前帧动态视频图像之前的一个或数个帧的场景变换特征参数，计算对应于当前帧的动态阈值threshold(n)，并输出至场景变换检测装置；

场景变换检测装置，用于对比场景变换特征参数计算装置和动态阈值计算装置输入的结果，来判断当前帧是否为场景变换帧，如果当前帧的场景变换特征参数ti(n)小于或等于其对应的动态阈值threshold(n)，则判断为不是场景变换帧，否则，判断为是场景变换帧；

输出装置，用于输出视频的场景变换帧；

还包括，滑动窗口计算装置，连接在所述场景变换特征参数计算装置和所述动态阈值计算装置之间，用于取值当前帧之前的一个或数个帧的集合[i,j]，来定义动态阈值threshold(n)的计算范围，设n为当前帧数，sce是上一个发生场景变换的帧数，N为固定值，其取值由当前视频的内容类型决定，t＝[ti(n)]，则所述滑动窗口计算装置用于取值滑动窗口W[i,j]为：

当第n帧与第sce帧之间的帧距离大于N+t+1时，

[i,j]＝[n-N-t,n]

当第n帧与第sce帧之间的帧距离小于等于N+t+1时，

[i,j]＝[sce,n]

所述动态阈值计算装置用于计算的动态阈值threshold(n)的表达式为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i,j]内视频帧的场景变换特征参数ti(n)的平均值：

$mean\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^{j}ti\left(n\right)}{i-j+1}$

std(n)为ti(n)的标准差：

$std\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^j{\[ti\left(n\right)-mean\left(n\right)\]}^2}$

a、b为常数。

5.根据权利要求4所述动态视频的场景变换检测系统，其特征在于，所述场景变换特征参数计算装置，用于计算的场景变换特征参数ti(n)的表达式为：

ti(n)＝std_space[M_n(i,j)]

其中std_space为视频帧的图像空间，M_n(i,j)＝F_n(i,j)-F_n-1(i,j)，F_n(i,j)是视频当前帧图像的第i行、第j列的像素值，则M_n(i,j)表示视频中当前帧和之前一帧连续两帧之间同一位置处像素值的变化。

6.根据权利要求4所述动态视频的场景变换检测系统，其特征在于，该系统进一步包括：固定窗口计算装置，连接在所述场景变换特征参数计算装置和所述动态阈值计算装置之间，用于定义动态阈值threshold(n)的计算范围，取值为70帧；

所述动态阈值计算装置用于计算的动态阈值threshold(n)的表达式为：

threshold(n)＝a×mean(n)+b×std(n)

其中mean(n)为窗口[i,j]内视频帧的场景变换特征参数ti(n)的平均值：

$mean\left(n\right)=\frac{{\mathrm{\Σ}}_{n=i}^{j}ti\left(n\right)}{i-j+1}$

当j>69时，i＝j-69，否则，i＝1；

std(n)为ti(n)的标准差：

$std\left(n\right)=\sqrt{\frac{1}{i-j+1}{\mathrm{\Σ}}_{n=i}^y{\[ti\left(n\right)-mean\left(n\right)\]}^2}$

当j>69时，i＝j-69，否则，i＝1；

a、b为常数。

7.一种动态视频体验质量的检测方法，其特征在于，包括：

在动态视频传输过程中，利用权利要求1-3所述任一项方法实时检测动态视频场景变换；

利用动态视频场景变换的输出结果，结合视频分类方法区分动态视频的内容类型，并实时判断变化过程；

将所判断的视频内容类型实时输出，并作为参数之一用于检测动态视频的体验质量。

8.一种动态视频体验质量的检测系统，其特征在于，包括：

利用权利要求4-6任一项所述的检测动态视频场景变换的系统，检测结果输出至视频分类装置；

视频分类装置，用于判断网络视频类型，并根据接收到的动态视频场景变换结果判断内容类型的变化过程，然后输出至体验质量检测装置；

体验质量检测装置，用于根据视频分类装置实时输入的动态视频的内容类型结合其他参数综合评估视频的体验质量。