CN106572387A - 视频序列对齐方法和系统 - Google Patents

Abstract

本发明涉及一种视频序列对齐方法和系统，方法包括以下步骤：从待对齐的视频序列中抓取无场景切换的视频片段；将所述视频片段输入至预先训练的高斯混合模型，分别计算所述视频片段属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。所述方法和系统能够有效减少视频对齐的时间，提高视频对齐的效率。

Description

视频序列对齐方法和系统

技术领域

本发明涉及信号检测技术领域，特别是涉及一种视频序列对齐方法和系统。

背景技术

显示设备是一种可输出图像或感触信息的设备。为了保证显示设备正常工作，通常需要对显示设备的一些性能参数进行检测。以电视机为例，电视机的主板灵敏度是电视机的一个重要性能性能参数。

现有的检测电视机主板灵敏度的方案是：利用原始的视频信号作为参考，将待检测的视频信号与原始视频信号进行对齐，将对齐后的视频信号的信号强度调整为经所述显示设备输出后无马赛克效应与出现马赛克效应之间的临界信号强度，并根据该信号强度确定所述显示设备的性能参数。

然而，当作为样本的原始视频序列较长时，传统视频对齐方法需要从一段较长的原始视频序列中定位待对齐的视频序列，导致信号处理效率较低。

发明内容

基于此，有必要针对信号处理效率较低的问题，提供一种视频序列对齐方法和系统。

一种视频序列对齐方法，包括以下步骤：

从待对齐的视频序列中抓取无场景切换的视频片段；

将所述视频片段输入至预先训练的高斯混合模型，分别计算所述视频片段属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；

将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。

一种视频序列对齐系统，包括：

视频抓取模块，用于从待对齐的视频序列中抓取无场景切换的视频片段；

第一计算模块，用于将所述视频片段输入至预先训练的高斯混合模型，分别计算所述视频片段属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；

对齐模块，用于将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。

上述视频序列对齐方法和系统，从待对齐的视频序列中抓取无场景切换的视频片段，将所述视频片段输入至预先训练的高斯混合模型，分别计算所述视频片段属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别，将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐，通过先进行粗对齐找到原始视频序列中属于所述第一场景类别的视频片段，再将待对齐的视频序列与所述第一场景类别的视频片段进行精对齐，能够有效减少视频对齐的时间，提高视频对齐的效率。

附图说明

图1为一个实施例的视频序列对齐方法流程图；

图2为一个实施例的原始视频序列按场景分类示意图；

图3为一个实施例的视频序列对齐系统的结构示意图。

具体实施方式

下面结合附图对本发明的技术方案进行说明。

如图1所示，本发明提供一种视频序列对齐方法，可包括以下步骤：

S1，从待对齐的视频序列中抓取无场景切换的视频片段；

其中，所述视频序列的长度应满足一定的时间代价约束条件，所述时间代价约束条件用于表征视频序列对齐操作花费的时间。一般来说，视频序列的长度越长，对齐过程花费的时间越长。为了满足上述约束条件，一般抓取一段较短的视频片段(例如长度为1秒的视频片段)。

抓取视频片段后，需要对抓取的视频片段进行判断，若不符合条件，则重新抓取。判断的基本原理是：尽量保持获取的视频片段前后变化小，无场景切换等。可采用累积的帧间误差作为评判标准，累积的帧间误差为：

式中，f(z_i)为第i个视频帧的特征(例如分区域的颜色直方图)，f(z_i-1)为第i-1个视频帧的特征，||·||为距离度量函数(例如，L2距离度量函数)，T为预设的距离阈值，n为所述待对齐的视频序列中的视频片段的总数。

若不满足上述条件，则需要重新抓取视频片段。一般来说，1秒内的视频片段很容易满足上述条件，因此不会过多地重复采集。

S2，将所述视频片段输入至预先训练的高斯混合模型，分别计算所述视频片段属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；

其中，所述概率值可以根据如下公式计算：

式中，p(Y_j/Z)为所述视频片段序列属于第j场景类别的概率值，Z为所述视频片段，z_i(i＝1，2,…n)为Z中的第i个视频帧，Y_j表示所述原始视频序列中属于第j场景类别的视频片段，p(z_i/Y_j)为视频帧z_i属于第j场景类别的概率值。

所述高斯混合模型可以在执行对齐操作之前预先训练。训练方式可包括以下步骤：

步骤1，获取视频序列样本，将所述视频序列样本按场景划分为多个场景类别；

视频序列中，若场景不进行切换，则相邻图像相似度极高。因此可以将视频序列样本按场景划分为较粗的类别，并保持时间先后关系。在粗定位时，只需确定当前视频片段与哪一个类别最为相似即可。具体分类描述如下：

设视频序列样本为Y＝[y₁,y₂,...y_m]，m为视频序列样本中的视频帧的总数。按场景划分为多个类别，如图2所示。图2中，Y_l为视频序列样本中的第l个视频片段，每个视频片段包括若干个视频帧。

可以预先在场景边界做标注，根据该标注信息进行场景划分(一般原始视频序列20-30分钟，标注量不大，并且是一次性工作)，也可以采用典型的帧间累积误差自动进行场景分类：累积的帧间误差为：

其中，f(y_i)表示第i个视频帧的特征表示(例如分区域的颜色直方图)，||·||是距离度量函数。若d(Y)小于设置的阈值，则将当前相邻图像划分为同一个类别；后续未划分的序列则重复上述划分过程即可。

步骤2，分别计算属于各个场景类别的视频片段样本的特征，将所述特征导入预先建立的高斯混合模型，获取所述高斯混合模型的权重、期望值与方差值的约束条件；

所述高斯混合模型是一种场景类别生成模型，其针对输入图像，能直接或间接得到该图像属于任何一个类别的概率。高斯混合模型的计算量较小，速度快，并且用较多的混合分量可以描述较为复杂类别。例如，对于类别Y_l，其类条件概率函数为：

其中K是高斯分量个数，需要事先设置；ω_j，μ_j，C_j分别表示该GMM(GaussianMixture Model，高斯混合模型)的第j个高斯分量的权重、均值和方差，T表示转置操作。在类别样本Y_l＝[y_c,...y_m]已知的情况下，可以采用任意的图像特征算法提取该类别下所有样本对应的特征。在后续粗定位中，特征获取算法应与此处使用的特征获取算法要保持一致。

步骤3，对所述约束条件进行迭代求解，获取所述权重、期望值与方差值。

例如，可以利用EM算法(Expectation Maximization Algorithm，期望最大化算法)迭代优化得到上述三个参数。

步骤4，可以根据所述权重、期望值与方差值获取所述高斯混合模型。

S3，将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。

步骤S2已经粗略定位当前视频片段Z＝[z₀,z₁,...z_n]属于哪个类别Y_J＝[y_u,y_u+1,...y_v]。本步骤即将在中精确地定位当前视频片段所属位置。为了防止边界问题，可以将Y_J进行左右扩展为Y_J＝[y_u-n,y_u-n+1,…y_v+n]，则精确对齐的计算方式为：

其中，Y_J＝[y_u-n,y_u-n+1,…y_v+n]；

式中，Q表示所述视频片段与原始视频序列的最佳对齐位置，d(·)为距离度量函数，Z为所述视频片段，z_i为Z中的第i个视频帧，Y_j＝[y_u,y_u+1,…y_v]表示所述原始视频序列中属于第j场景类别的视频片段，y_i为Y_j中的第i个视频帧，y_u-i(i＝1,2,…,n)为y₀前i时刻的视频帧，y_v+i(i＝1,2,…,n)为y_n后i时刻的视频帧，n为正整数，q∈[u-n,v]。

上述视频序列对齐方法，采用由粗到精的搜索策略，通过先进行粗对齐找到原始视频序列中属于所述第一场景类别的视频片段，再将待对齐的视频序列与所述第一场景类别的视频片段进行精对齐，有效减少了视频对齐的时间，提高了视频对齐的效率。

如图3所示，本发明提供一种视频序列对齐系统，可包括：

视频抓取模块10，用于从待对齐的视频序列中抓取无场景切换的视频片段；

其中，所述视频序列的长度应满足一定的时间代价约束条件，所述时间代价约束条件用于表征视频序列对齐操作花费的时间。一般来说，视频序列的长度越长，对齐过程花费的时间越长。为了满足上述约束条件，一般抓取一段较短的视频片段(例如长度为1秒的视频片段)。

抓取视频片段后，需要对抓取的视频片段进行判断，若不符合条件，则重新抓取。判断的基本原理是：尽量保持获取的视频片段前后变化小，无场景切换等。可设置一判定模块，采用累积的帧间误差作为评判标准，累积的帧间误差为：

式中，f(z_i)为第i个视频帧的特征(例如分区域的颜色直方图)，f(z_i-1)为第i-1个视频帧的特征，||·||为距离度量函数(例如，L2距离度量函数)，T为预设的距离阈值，n为所述待对齐的视频序列中的视频片段的总数。

若不满足上述条件，则需要重新抓取视频片段。一般来说，1秒内的视频片段很容易满足上述条件，因此不会过多地重复采集。

第一计算模块20，用于将所述视频片段输入至预先训练的高斯混合模型，分别计算所述视频片段属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；

其中，所述概率值可以根据如下公式计算：

式中，p(Y_j/Z)为所述视频片段序列属于第j场景类别的概率值，Z为所述视频片段，z_i(i＝1,2,…n)为Z中的第i个视频帧，Y_j表示所述原始视频序列中属于第j场景类别的视频片段，p(z_i/Y_j)为视频帧z_i属于第j场景类别的概率值。

所述高斯混合模型可以在执行对齐操作之前预先训练。所述视频序列对齐系统还可包括：

分类模块，用于获取视频序列样本，将所述视频序列样本按场景划分为多个场景类别；

视频序列中，若场景不进行切换，则相邻图像相似度极高。因此可以将视频序列样本按场景划分为较粗的类别，并保持时间先后关系。在粗定位时，只需确定当前视频片段与哪一个类别最为相似即可。具体分类描述如下：

设视频序列样本为Y＝[y₁，y₂,...y_m]，m为视频序列样本中的视频帧的总数。按场景划分为多个类别，如图2所示。图2中，Y_l为视频序列样本中的第l个视频片段，每个视频片段包括若干个视频帧。

可以预先在场景边界做标注，根据该标注信息进行场景划分(一般原始视频序列20-30分钟，标注量不大，并且是一次性工作)，也可以采用典型的帧间累积误差自动进行场景分类：累积的帧间误差为：

其中，f(y_i)表示第i个视频帧的特征表示(例如分区域的颜色直方图)，||·||是距离度量函数。若d(Y)小于设置的阈值，则将当前相邻图像划分为同一个类别；后续未划分的序列则重复上述划分过程即可。

第二计算模块，用于分别计算属于各个场景类别的视频片段样本的特征，将所述特征导入预先建立的高斯混合模型，获取所述高斯混合模型的权重、期望值与方差值的约束条件；

所述高斯混合模型是一种场景类别生成模型，其针对输入图像，能直接或间接得到该图像属于任何一个类别的概率。高斯混合模型的计算量较小，速度快，并且用较多的混合分量可以描述较为复杂类别。例如，对于类别Y_l，其类条件概率函数为：

其中K是高斯分量个数，需要事先设置；ω_j，μ_j，C_j分别表示该GMM(GaussianMixture Model，高斯混合模型)的第j个高斯分量的权重、均值和方差，T表示转置操作。在类别样本Y_l＝[y_c,...y_m]已知的情况下，可以采用任意的图像特征算法提取该类别下所有样本对应的特征。在后续粗定位中，特征获取算法应与此处使用的特征获取算法要保持一致。

求解模块，用于对所述约束条件进行迭代求解，获取所述权重、期望值与方差值。

例如，可以利用EM算法(Expectation Maximization Algorithm，期望最大化算法)迭代优化得到上述三个参数。

模型获取模块，用于根据所述权重、期望值与方差值获取所述高斯混合模型。

对齐模块30，用于将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。

第一计算模块20已经粗略定位当前视频片段Z＝[z₀,z₁,...z_n]属于哪个类别Y_J＝[y_u，y_u+1,...y_v]。对齐模块30即将在中精确地定位当前视频片段所属位置。为了防止边界问题，可以将Y_J进行左右扩展为Y_J＝[y_u-n，y_u-n+1,...y_v+n]，则精确对齐的计算方式为：

其中，Y_J＝[y_u-n,y_u-n+1,…y_v+n]；

式中，Q表示所述视频片段与原始视频序列的最佳对齐位置，d(·)为距离度量函数，Z为所述视频片段，z_i为Z中的第i个视频帧，Y_j＝[y_u,y_u+1,…y_v]表示所述原始视频序列中属于第j场景类别的视频片段，y_i为Y_j中的第i个视频帧，y_u-i(i＝1,2,…,n)为y₀前i时刻的视频帧，y_v+i(i＝1,2,…,n)为y_n后i时刻的视频帧，n为正整数，q∈[u-n,v]。

上述视频序列对齐系统，采用由粗到精的搜索策略，通过先进行粗对齐找到原始视频序列中属于所述第一场景类别的视频片段，再将待对齐的视频序列与所述第一场景类别的视频片段进行精对齐，有效减少了视频对齐的时间，提高了视频对齐的效率。

本发明的视频序列对齐系统与本发明的视频序列对齐方法一一对应，在上述视频序列对齐方法的实施例阐述的技术特征及其有益效果均适用于视频序列对齐系统的实施例中，特此声明。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频序列对齐方法，其特征在于，包括以下步骤：

从待对齐的视频序列中抓取无场景切换的视频片段；

将所述视频片段输入至预先训练的高斯混合模型，分别计算所述视频片段属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；

将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。

2.根据权利要求1所述的视频序列对齐方法，其特征在于，在将所述视频片段输入至预先训练的高斯混合模型之前，还包括以下步骤：

获取视频序列样本，将所述视频序列样本按场景划分为多个场景类别，得到若干个视频片段样本；

分别计算属于各个场景类别的视频片段样本的特征，将所述特征导入预先建立的高斯混合模型，获取所述高斯混合模型的权重、期望值与方差值的约束条件；

对所述约束条件进行迭代求解，获取所述权重、期望值与方差值；

根据所述权重、期望值与方差值获取所述高斯混合模型。

3.根据权利要求1所述的视频序列对齐方法，其特征在于，还包括以下步骤：

若所述视频片段满足如下条件，判定所述视频片段无场景切换：

$\underset{i=1}{\overset{n}{\Σ}}\left|\right|f\left(z_i\right)-f\left(z_{i-1}\right)\left|\right|\≤T;$

式中，f(z_i)为第i个视频帧的特征，f(z_i-1)为第i-1个视频帧的特征，||·||为距离度量函数，T为预设的距离阈值，n为所述待对齐的视频序列中的视频片段的总数。

4.根据权利要求1所述的视频序列对齐方法，其特征在于，分别计算所述视频片段属于各个场景类别的概率值的步骤包括：

根据如下公式计算所述视频片段属于各个场景类别的概率值：

$\begin{array}{c}p(Y_j/Z)=p\left(Y_j\right)\×p(z_0,z_1,...z_n/Y_j)\\ =p\left(Y_j\right)\×\underset{i=0}{\overset{n}{\Π}}p(z_i/Y_j)\end{array}$

式中，p(Y_j/Z)为所述视频片段序列属于第j场景类别的概率值，Z为所述视频片段，z_i(i＝1,2,…n)为Z中的第i个视频帧，Y_j表示所述原始视频序列中属于第j场景类别的视频片段，p(z_i/Y_j)为视频帧z_i属于第j场景类别的概率值。

5.根据权利要求1所述的视频序列对齐方法，其特征在于，将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐的步骤包括：

根据如下公式将所述视频片段与原始视频序列中属于所述第一场景类别的视频片段进行对齐：

$\begin{array}{c}Q=\underset{q}{\arg \min }d(Z,Y_J)\\ =\underset{q}{\arg \min }\underset{i=0}{\overset{n}{\Σ}}d(z_i,y_{q+i})\end{array};$

其中，Y_J＝[y_u-n,y_u-n+1,...y_v+n]；

式中，Q表示所述视频片段与原始视频序列的最佳对齐位置，d(·)为距离度量函数，Z为所述视频片段，z_i为Z中的第i个视频帧，Y_j＝[y_u,y_u+1,...y_v]表示所述原始视频序列中属于第j场景类别的视频片段，y_i为Y_j中的第i个视频帧，y_u-i(i＝1,2,…,n)为y₀前i时刻的视频帧，y_v+i(i＝1,2,…,n)为y_n后i时刻的视频帧，n为正整数，q∈[u-n,v]。

6.一种视频序列对齐系统，其特征在于，包括：

视频抓取模块，用于从待对齐的视频序列中抓取无场景切换的视频片段；

第一计算模块，用于将所述视频片段输入至预先训练的高斯混合模型，分别计算所述视频片段属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；

对齐模块，用于将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。

7.根据权利要求6所述的视频序列对齐系统，其特征在于，还包括：

分类模块，用于获取视频序列样本，将所述视频序列样本按场景划分为多个场景类别，得到若干个视频片段样本；

第二计算模块，用于分别计算属于各个场景类别的视频片段样本的特征，将所述特征导入预先建立的高斯混合模型，获取所述高斯混合模型的权重、期望值与方差值的约束条件；

求解模块，用于对所述约束条件进行迭代求解，获取所述权重、期望值与方差值；

模型获取模块，用于根据所述权重、期望值与方差值获取所述高斯混合模型。

8.根据权利要求6所述的视频序列对齐系统，其特征在于，还包括：

判定模块，用于若所述视频片段满足如下条件，判定所述视频片段无场景切换：

$\underset{i=1}{\overset{n}{\Σ}}\left|\right|f\left(z_i\right)-f\left(z_{i-1}\right)\left|\right|\≤T;$

式中，f(z_i)为第i个视频帧的特征，f(z_i-1)为第i-1个视频帧的特征，||·||为距离度量函数，T为预设的距离阈值，n为所述待对齐的视频序列中的视频片段的总数。

9.根据权利要求6所述的视频序列对齐系统，其特征在于，所述计算模块进一步根据如下公式计算所述视频片段属于各个场景类别的概率值：

$\begin{array}{c}p(Y_j/Z)=p\left(Y_j\right)\×p(z_0,z_1,...z_n/Y_j)\\ =p\left(Y_j\right)\×\underset{i=0}{\overset{n}{\Π}}p(z_i/Y_j)\end{array}$

式中，p(Y_j/Z)为所述视频片段序列属于第j场景类别的概率值，Z为所述视频片段，z_i(i＝1,2,…n)为Z中的第i个视频帧，Y_j表示所述原始视频序列中属于第j场景类别的视频片段，p(z_i/Y_j)为视频帧z_i属于第j场景类别的概率值。

10.根据权利要求6所述的视频序列对齐系统，其特征在于，所述对齐模块进一步根据如下公式将所述视频片段与原始视频序列中属于所述第一场景类别的视频片段进行对齐：

$\begin{array}{c}Q=\underset{q}{\arg \min }d(Z,Y_J)\\ =\underset{q}{\arg \min }\underset{i=0}{\overset{n}{\Σ}}d(z_i,y_{q+i})\end{array};$

其中，Y_J＝[y_u-n,y_u-n+1,...y_v+n]；

式中，Q表示所述视频片段与原始视频序列的最佳对齐位置，d(·)为距离度量函数，Z为所述视频片段，z_i为Z中的第i个视频帧，Y_j＝[y_u,y_u+1,...y_v]表示所述原始视频序列中属于第j场景类别的视频片段，y_i为Y_j中的第i个视频帧，y_u-i(i＝1,2,…,n)为y₀前i时刻的视频帧，y_v+i(i＝1,2,…,n)为y_n后i时刻的视频帧，n为正整数，q∈[u-n,v]。