CN103327261B - 一种简单快速的视频重定向方法 - Google Patents

Abstract

一种简单快速的视频重定向方法属于视频处理领域。本发明提供一种基于内容的适用于不同用户终端的视频重定向方法，使固定尺寸的视频能够自适应地显示在不同类型的终端设备上，当视频的长宽比例发生改变时能够尽可能的保持重要对象无拉伸变形，保证视频的观赏质量。算法整体操作简单，且后期的实时处理模块速度较快，可以面向不同目标尺寸实时处理，灵活性好。在流媒体播放领域有非常好的发展和应用前景。本发明将整个处理算法分为了预处理和实时处理两部分，将复杂的重要度计算和分析镜头移动的计算放在了预处理模块中，实时处理模块只需要调用预处理结果。并且利用帧间重要度的叠加的思想保证前后帧内容缩放的一致性，具有一定的应用价值。

Description

一种简单快速的视频重定向方法

技术领域

本发明涉及视频处理技术领域中基于内容感知的视频缩放技术，具体涉及一种简单快速的视频重定向方法的研究及实现。

背景技术

随着互联网技术的快速发展以及数字设备硬件水平的不断提高，适用于不同网络的终端设备不断更新换代，例如电视、笔记本电脑、PDA、手机等，它们具有不同类型的显示尺寸，然而大多数视频都是以某一固定尺寸和宽高比制作而成，当在不同类型的数字设备上去显示它们时，通常需要改变它们的尺寸和宽高比，来适应各种显示设备。传统的图像缩放方法主要分为3种，其中一种是将原始图像通过插值或下采样得到目标尺寸的图像，这就是所谓的均匀缩放技术，然而当需要改变图像宽高比来进行均匀缩放时，它往往会造成图像主要内容的拉伸变形。另一种方法就是简单的裁切技术，它通过裁掉图像边缘内容来得到目标尺寸，这会带来较多内容信息的丢失。第三种方法就是选择图像宽度或高度的最小缩放比例作为整体缩放比例来对原始图像进行等比缩放，这种做法也被称作“信箱”技术，它的问题在于经常会在设备上下或左右两边产生黑色边框，不能充分的利用移动设备有限的屏幕资源。上述3种传统的缩放方法都没有考虑图像的内容。为了使用户能够在终端设备上更舒适地观看图像，需要根据图像内容的重要程度对其进行缩放处理，来自适应于不同网络类型、不同尺寸、不同比例的终端显示设备。那么基于内容感知的图像缩放技术就是用来解决如何将图像更好的显示在多样化的数字设备上的问题。

视频的缩放需要对每帧图像进行处理，本质与图像缩放一样,但是视频多了一个时间因素，在考虑每帧图像的处理质量的同时还要考虑视频内容在时间维度上的一致性。单独的对视频中的每一帧进行缩放处理势必会导致结果视频中出现闪烁或波浪的现象。这是由于没有考虑视频帧在时间上的关系，导致在进行缩放处理后破坏了原始视频内容时间轴上像素的相邻关系，没有对帧间相对应的目标物体进行一致的缩放处理。由于在拍摄视频时摄像机可能会出现平移、翻转、变焦等多种情况，而且拍摄的视频内容也可能是动态变化的，这使得想要得到令人满意的基于内容感知的视频缩放结果具有相当大的挑战性。将图像的缩放问题扩展到视频需要额外的去考虑摄像头和目标物体运动的影响，利用运动信息去扩展重要度模型并且以一种时间一致性的方式去处理每一帧。

发明内容

本发明提供一种基于内容感知的适用于不同用户终端的简单快速视频重定向技术，使固定尺寸的视频能够自适应地显示在不同类型的终端设备上，当长宽比例发生改变时能够尽可能的保持重要对象无拉伸变形，保证视频的观赏质量。传统视频重定向方法时间复杂度很高，都是对视频计算一次得到一个目标尺寸的结果，要想改变目标尺寸的大小需要重新计算一次，实际应用很不方便，而且很多方法都没有考虑镜头的移动方式，因此不仅处理速度慢而且处理效果也不好。本发明主要分为预处理和实时处理两部分，预处理主要是解决摄像头所带来的影响，对相邻视频帧内容进行对齐,并计算每帧图像对齐后的每个条带叠加重要度，一段视频仅进行一次预处理，读入预处理的结果参数，可以实时的对视频进行任意尺寸的重定向。本发明只考虑了比较常见的镜头静止或者平移的情况。

为了实现上述问题，本发明提供了一种简单的快速细缝裁剪视频重定向方法。不失一般性，以改变视频宽度为例（改变视频高度的方法与其类似），该方法具体包括：

1)输入一段尺寸为W*H包含N帧的原始视频流，并设定其目标尺寸为W_T*H；

2)把原始视频划分为M个等间隔的竖直条带，利用光流法跟踪条带，并计算得到每个条带的累积重要度；

3)根据当前帧中每个条带的累积重要度S_over(k,i)以及目标视频尺寸通过求解最优化问题得到每个条带的目标尺寸；具体包括：

原始视频帧中每个条带宽度均为w=W/M，则各条带对应的目标宽度W_i′={w₁′,w₂′…w_N′}^T,i=1,2,…M，该最优化问题中，F(w_i’)为其目标函数，定义了目标条带的形变量，公式(2)为其约束条件：

$F\left({w_i}^{\′}\right)=\min \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{S}_{\mathrm{over}}(k,i){(w-{w_i}^{\′})}^2---\left(1\right)$

$\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w_i}^{\′}=W_T---\left(2\right)$

(1)式中，用S_over(k,i)表示第k帧标识码为i的条带的累积重要度，w和w_i’分别代表第i个竖直条带的原始宽度和目标宽度；(2)式中W_T为视频的目标宽度，M代表当前帧条带总数量；

4)将原始条带的内容均匀缩放到对应的目标尺寸条带中，逐帧的进行处理，进而得到目标尺寸视频；

所述步骤2）具体为：

①计算每一帧的显著度图；

②计算视频的光流场；

③分析统计光流场中数量最多的运动矢量作为视频帧的全局运动的矢量，得到的全局运动矢量用表示，其中和分别为x和y方向的单位矢量；

④用光流场的每个矢量减去全局运动矢量计算出前景运动矢量场，设光流场中某一像素点的运动矢量为，那么前景运动矢量场的计算如公式（3）所示：

${\stackrel{\→}{F}}_o-\stackrel{\→}{F}=(x_o-x)\stackrel{\→}{i}+(y_o-y)\stackrel{\→}{j}---\left(3\right)$

取前景运动矢量的模作为前景运动的能量场，每个像素的前景运动能量e₀的计算如公式（4）所示：

$e_o=|{\stackrel{\→}{F}}_o-\stackrel{\→}{F}|=\sqrt{{(x_o-x)}^2+{(y_o-y)}^2}---\left(4\right)$

⑤原始视频中所有帧的条带划分宽度均为20-30像素中任意一值，并且在条带跟踪的过程中每个条带的宽度始终保持不变，第K+1帧条带位置通过第K帧中对应的条带位置减去全局运动矢量的水平分量得到；

⑥结合原始视频帧的显著度图以及运动能量场去获得每帧图像的重要度图，进而去得到每个条带的重要度，具体包括：

在得到显著度图和前景运动能量场之后，需要求显著度图和前景运动能量场在每个条带所覆盖区域的平均值，分别用S(k,i)、S_a(k,i)和S_d(k,i)表示第k帧标识码为i的条带的重要度、平均显著度和平均前景运动能量，则第k帧标识码为i的条带的重要度计算如公式（5）所示：

S(k,i)=α·S_a(k,i)+β·S_d(k,i)（5）

其中α=β=1.0；

⑦取当前帧的前n帧与后n帧中具有相同标识码的条带的重要度进行了叠加，获得每个条带的累积重要度，以此来减弱了相邻帧具有相同标识码的条带重要度的差异性，使得目标视频前后帧的重定向具有连贯性；用S_over(k,i)表示第k帧标识码为i的条带的叠加重要度，则S_over(k,i)的计算公式如下所示：

$S_{\mathrm{over}}(k,i)=\left\{\begin{array}{cc}S(k-n,i)+...+S(k,i)+...+S(k+n,i),& k-n\&GreaterEqual;0\&cap;k+n\&le;N\left(a\right)\\ S(0,i)+...+S(k,i)+...+S(k+n,i),& k-n<0\&cap;k+n\&le;N\left(b\right)\\ S(k-n,i)+...+S(k,i)+...+S(N,i),& k-n\&GreaterEqual;0\&cap;k+n>N\left(c\right)\\ S(0,i)+...+S(k,i)+...+S(N,i),& k-n<0\&cap;k+n>N\left(d\right)\end{array}\right.---\left(6\right)$

其中N为输入视频的所有帧数，k表示当前帧，n表示需要前后累加的相邻帧的数量；如果当前帧的前面的帧数不够原始设定的需要累加的相邻帧数量，那么前面的相邻帧只累加到第0帧即可；如果当前帧的后面的帧数不够原始设定的需要累加的相邻帧数量，那么只累加到最后一帧即可；公式(6)中，（a）表示如果当前帧有足够的前后相邻帧来进行累加，那么当前帧进行正常的前后相邻帧重要度累加；(b)表示如果当前帧的前面没有足够的相邻帧进行累加，后面有足够的相邻帧进行累加，那么前面的相邻帧累加到第0帧即可，后面的相邻帧正常累加；(c)表示如果当前帧的后面没有足够的相邻帧进行累加，前面有足够的相邻帧进行累加，那么后面的相邻帧累加到最后一帧即可，前面的相邻帧正常累加；(d)表示如果当前帧的前面和后面都没有足够的相邻帧进行重要度累加时，前面的相邻帧累加到第0帧，后面的相邻帧累加到最后一帧即可；

⑧在计算完条带的累积重要度S_over(k,i)之后，需要将每帧的条带划分情况和每个条带的累积重要度保存在一个文件中，把它叫做配置文件，后期处理的时候直接将配置文件的参数读入系统中，实时的对每帧图像进行重定向处理。

本发明提出了一种简单快速的视频重定向框架，算法整体操作简单，且后期的实时处理模块速度较快，可以面向不同目标尺寸的视频进行实时处理，灵活性较好。在流媒体播放领域有非常好的发展和应用前景。本发明将整个处理算法分为了预处理和实时处理两部分，将复杂的重要度计算和分析镜头移动的计算放在了预处理模块中，实时处理模块只需要调用预处理结果，节约了大量时间，为实时处理应用奠定了良好的基础。并且应用条带对图像进行分区，并利用光流实现了帧间条带的跟踪，方便前后帧相同内容的快速对应，其次利用图像重定向的方式连续的单独处理每帧图像，提高了后期处理算法的实时性。而且利用帧间重要度的叠加减弱了相邻帧间对应条带的重要度差异，保证了进行单帧重定向后，前后相邻帧对应的条带子图像区域具有相似的目标尺寸，保证了前后帧内容的连贯性。

附图说明：

图1是本实例要处理的大小为640*459的包含100帧的视频流中的一帧图像。

图2是计算得到该帧的显著度图。

图3是该视频流中某一帧光流场示意图。

图4是该帧光流矢量三维数量统计直方图。

图5是前景运动矢量示意图。

图6是前景运动能量场示意图。

图7是条带的划分和运动跟踪示意图。

图8是三帧相邻图像条带的重要度分布图。

图9是三帧相邻图像条带的叠加重要度的平均值分布图。

图10是配置文件示例图。

图11是我们的结果与均匀缩放结果的对比图，其中，图a是我们的实验结果，图b是均匀缩放的实验结果。

具体实施方式：

1)输入一段尺寸为W*H包含N帧的原始视频流，并设定其目标尺寸为W_T*H。

2)把原始视频划分为M个等间隔的竖直条带，并计算得到每个条带的累积重要度，具体步骤包括：

①计算每一帧的显著度图（图2）。

②采用光流跟踪算法计算视频的光流场（图3）。

③分析统计光流场中数量最多的运动矢量作为视频帧的全局运动的矢量（图4），得到的全局运动矢量用表示，其中和分别为x和y方向的单位矢量。

④用光流场的每个矢量减去全局运动矢量计算出前景运动矢量场，设光流场中某一像素点的运动矢量为，那么前景运动矢量场的计算如公式（1）所示（图5）：

${\stackrel{\&RightArrow;}{F}}_o-\stackrel{\&RightArrow;}{F}=(x_o-x)\stackrel{\&RightArrow;}{i}+(y_o-y)\stackrel{\&RightArrow;}{j}---\left(1\right)$

取前景运动矢量的模作为前景运动的能量场(图6)，每个像素的前景运动能量e₀的计算如公式（2）所示：

$e_o=|{\stackrel{\&RightArrow;}{F}}_o-\stackrel{\&RightArrow;}{F}|=\sqrt{{(x_o-x)}^2+{(y_o-y)}^2}---\left(2\right)$

⑤本发明所做实验的条带宽度（以像素为单位）设置为20。如图7中，原始视频中所有帧的条带划分宽度均为20像素，并且在条带跟踪的过程中每帧中每个条带的宽度始终保持不变，第K+1帧条带位置通过第K帧中对应的条带位置减去全局运动矢量的水平分量得到，以此来达到条带跟踪的目的。

⑥结合视频帧的显著度图以及运动能量场去获得每帧图像的重要度图，进而去得到每个条带的重要度，具体包括：

在得到显著度图和前景运动能量场之后，需要求显著度图和前景运动能量场在每个条带所覆盖区域的平均值，分别用S(k,i)、S_a(k,i)和S_d(k,i)表示第k帧标识码为i的条带的重要度、平均显著度和平均前景运动能量，则第k帧标识码为i的条带的重要度计算如公式（3）所示：

S(k,i)=α·S_a(k,i)+β·S_d(k,i)（3）

其中α=β=1.0。

⑦取当前帧的前n帧与后n帧中具有相同标识码的条带的重要度进行了叠加，获得每个条带的累积重要度，以此来减弱了相邻帧具有相同标识码的条带重要度的差异性(图9)，使得目标视频前后帧内容重定向具有连贯性。用S_over(k,i)表示第k帧标识码为i的条带的叠加重要度，则S_over(k,i)的计算公式如下所示：

$S_{\mathrm{over}}(k,i)=\left\{\begin{array}{cc}S(k-n,i)+...+S(k,i)+...+S(k+n,i),& k-n\&GreaterEqual;0\&cap;k+n\&le;N\left(a\right)\\ S(0,i)+...+S(k,i)+...+S(k+n,i),& k-n<0\&cap;k+n\&le;N\left(b\right)\\ S(k-n,i)+...+S(k,i)+...+S(N,i),& k-n\&GreaterEqual;0\&cap;k+n>N\left(c\right)\\ S(0,i)+...+S(k,i)+...+S(N,i),& k-n<0\&cap;k+n>N\left(d\right)\end{array}\right.---\left(4\right)$

其中N为输入视频的所有帧数，k表示当前帧，n表示需要前后累加的相邻帧的数量。如果当前帧的前面的帧数不够原始设定的需要累加的相邻帧数量，那么前面的相邻帧只累加到第0帧即可。如果当前帧的后面的帧数不够原始设定的需要累加的相邻帧数量，那么只累加到最后一帧即可。公式(4)中，（a）表示如果当前帧有足够的前后相邻帧来进行累加，那么当前帧进行正常的前后相邻帧重要度累加。(b)表示如果当前帧的前面没有足够的相邻帧进行累加，后面有足够的相邻帧进行累加，那么前面的相邻帧累加到第0帧即可，后面的相邻帧正常累加。(c)表示如果当前帧的后面没有足够的相邻帧进行累加，前面有足够的相邻帧进行累加，那么后面的相邻帧累加到最后一帧即可，前面的相邻帧正常累加。(d)表示如果当前帧的前面和后面都没有足够的相邻帧进行重要度累加时，前面的相邻帧累加到第0帧，后面的相邻帧累加到最后一帧即可。

⑧在计算完条带的累积重要度S_over(k,i)之后，需要将每帧的条带划分情况和每个条带的累积重要度保存在一个文件中，把它称作为配置文件（图10），后期处理的时候直接将配置文件的参数读入系统中，实时的对每帧图像进行重定向处理。

3)根据当前帧中每个条带的累积重要度S_over(k,i)以及目标视频尺寸通过求解最优化问题得到每个条带的目标尺寸。具体包括：

原始视频帧中每个条带宽度均为w=W/M，则各条带对应的目标宽度W_i′={w₁′,w₂′…w_N′}^T,i=1,2,…M，该最优化问题中，F(w_i’)为其目标函数，定义了目标条带的形变量，公式(6)为其约束条件：

$F\left({w_i}^{\&prime;}\right)=\min \underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{S}_{\mathrm{over}}(k,i){(w-{w_i}^{\&prime;})}^2---\left(5\right)$

$\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{w_i}^{\&prime;}=W_T---\left(6\right)$

(5)式中，用S_over(k,i)表示第k帧标识码为i的条带的累积重要度，w和w_i’分别代表第i个竖直条带的原始宽度和目标宽度。(6)式中W_T为视频的目标宽度，M代表当前帧条带总数量。

4)将原始条带的内容均匀缩放到对应目标尺寸条带中，逐帧的进行处理，进而得到目标尺寸视频(图11)。

Claims (1)

1.一种简单快速的视频重定向方法，其特征在于：该方法具体包括：

1)输入一段尺寸为W*H包含N帧的原始视频流，并设定其目标尺寸为W_T*H；

2)把原始视频划分为M个等间隔的竖直条带，利用光流法跟踪条带，并计算得到每个条带的累积重要度；

3)根据当前帧中每个条带的累积重要度S_over(k,i)以及目标视频尺寸,通过求解最优化问题得到每个条带的目标尺寸；具体包括：

原始视频帧中每个条带宽度均为w＝W/M，则各条带对应的目标宽度w_i'＝{w₁',w₂'...w_N'}^T,i＝1,2,...M，该最优化问题中，F(w_i')为其目标函数，定义了目标条带的形变量，公式(2)为其约束条件：

(1)式中，用S_over(k,i)表示第k帧标识码为i的条带的累积重要度，w和w_i'分别代表第i个竖直条带的原始宽度和目标宽度；(2)式中W_T为视频的目标宽度，M代表当前帧条带总数量；

4)将原始条带的内容均匀缩放到对应的目标尺寸条带中，逐帧的进行处理，进而得到目标尺寸视频；

所述步骤2)具体为：

①计算每一帧的显著度图；

②计算视频的光流场；

③分析统计光流场中数量最多的运动矢量作为视频帧的全局运动的矢量，得到的全局运动矢量用表示，其中和分别为横坐标和纵坐标方向的单位矢量；

④用光流场的每个矢量减去全局运动矢量计算出前景运动矢量场，设光流场中某一像素点的运动矢量为那么前景运动矢量场的计算如公式(3)所示：

取前景运动矢量的模作为前景运动的能量场，每个像素的前景运动能量e₀的计算如公式(4)所示：

⑤原始视频中所有帧的条带划分宽度均为20-30像素中任意一值，并且在条带跟踪的过程中每个条带的宽度始终保持不变，第K+1帧条带位置通过第K帧中对应的条带位置减去全局运动矢量的水平分量得到；

⑥结合原始视频帧的显著度图以及运动能量场去获得每帧图像的重要度图，进而去得到每个条带的重要度，具体包括：

在得到显著度图和前景运动能量场之后，需要求显著度图和前景运动能量场在每个条带所覆盖区域的平均值，分别用S(k,i)、S_a(k,i)和S_d(k,i)表示第k帧标识码为i的条带的重要度、平均显著度和平均前景运动能量，则第k帧标识码为i的条带的重要度计算如公式(5)所示：

S(k,i)＝α·S_a(k,i)+β·S_d(k,i)(5)

其中α＝β＝1.0；

⑦取当前帧的前n帧与后n帧中具有相同标识码的条带的重要度进行了叠加，获得每个条带的累积重要度，以此来减弱了相邻帧具有相同标识码的条带重要度的差异性，使得目标视频前后帧的重定向具有连贯性；用S_over(k,i)表示第k帧标识码为i的条带的叠加重要度，则S_over(k,i)的计算公式如下所示：

其中N为输入视频的所有帧数，k表示当前帧，n表示需要前后累加的相邻帧的数量；如果当前帧的前面的帧数不够原始设定的需要累加的相邻帧数量，那么前面的相邻帧只累加到第0帧即可；如果当前帧的后面的帧数不够原始设定的需要累加的相邻帧数量，那么只累加到最后一帧即可；公式(6)中，(a)表示如果当前帧有足够的前后相邻帧来进行累加，那么当前帧进行正常的前后相邻帧重要度累加；(b)表示如果当前帧的前面没有足够的相邻帧进行累加，后面有足够的相邻帧进行累加，那么前面的相邻帧累加到第0帧即可，后面的相邻帧正常累加；(c)表示如果当前帧的后面没有足够的相邻帧进行累加，前面有足够的相邻帧进行累加，那么后面的相邻帧累加到最后一帧即可，前面的相邻帧正常累加；(d)表示如果当前帧的前面和后面都没有足够的相邻帧进行重要度累加时，前面的相邻帧累加到第0帧，后面的相邻帧累加到最后一帧即可；

⑧在计算完条带的累积重要度S_over(k,i)之后，需要将每帧的条带划分情况和每个条带的累积重要度保存在一个文件中，把它叫做配置文件，后期处理的时候直接将配置文件的参数读入系统中，实时的对每帧图像进行重定向处理。