CN102665060B - 从交错式格式视频到渐进式格式视频的转换方法 - Google Patents

Abstract

本发明涉及一种从交错式格式视频到渐进式格式视频的转换方法和装置。该方法包括：输入交错式视频图像的多个场，将每个所述场扩展到帧的尺寸，置所述帧中的未知像素为0，将得到的所有帧组成一个空间和时间上的三维矩阵；将所述三维矩阵作为初始的更新视频帧集合，判断所述初始的更新视频帧集合是否满足设定的条件，当所述判断结果为是时，对所述初始的更新视频帧集合进行重组处理得到渐进式格式视频；当所述判断结果为否，对所述初始的更新视频帧集合进行更新处理得到更新后的更新视频帧集合，并判断所述更新后的更新视频帧集合是否满足所述条件。本发明实施例不仅仅利用当前场中已知的像素，同时也利用相邻场的已知像素。由于相邻场的已知像素是当前场中待恢复像素在时间上的近邻，所以有效地利用相邻场的已知像素信息会明显提高视频去交错处理的质量。

Description

从交错式格式视频到渐进式格式视频的转换方法

技术领域

本发明涉及视频处理技术领域，尤其涉及一种从交错式格式视频到渐进式格式视频的转换方法。

背景技术

去交错是将交错式(即隔行扫描)视频转换为渐进式(即逐行扫描)视频的一种方法。

一个动态影像是由一连串连续的静态影像所组成的，其中每一个静态影像称为帧，而动态影像中每秒所包含静态影像的数量则称为帧率(frame persecond，fps)。

在显示器上显示动态影像的方式有两种：

逐行扫描：将每一帧从左至右、由上至下，逐一的将所有的画素显示出来。

隔行扫描：将一帧图像的奇数行像素及偶数行像素分开，分成为两个场(field)。轮流扫描奇数行所构成的场及偶数行所构成的场。

当摄像机采集图像时，偶数场和奇数场不是在同一时刻采集的。例如在一个每秒50场的摄像机中，偶数场的采集是在奇数场的采集1/50秒之后进行的。

因为一个场只有一半帧的信息量，因此在装置处理速度无法即时的处理整帧以及传输带宽不够的情形下，使用隔行扫描可以节省一半的信息量且可以为持相同的刷新率。以往阴极射线管显示器很难一次扫描整个屏幕，因此无法使用逐行扫描。但是因为屏幕上萤光的余晖加上视觉暂留效应，使得隔行扫描在阴极射线管显示器上运作的相当顺利。

现在新式的快速的显示设备(例如，液晶显示器，等离子电视)可以即时地处理且扫描整个帧，因此都是使用逐行扫描。但是在这些新型的显示设备上直接播放交错式视频会产生严重的闪烁现象，而且因为交错式视频两行中只有一行有像素另一行则是全黑的，所以播放的视频亮度看起来会减少一半。由于现有的大量视频是以交错式的格式保存的，因此，提供一种高质量的从交错式格式视频到渐进式格式视频的转换方法是非常必要地。

现有技术中的第一种从交错式格式视频到渐进式格式视频的转换方法为：利用当前场已知的像素，例如第n行和第n+2行像素，通过取二者的平均值生成待恢复的n+1行像素。

上述现有技术中的第一种从交错式格式视频到渐进式格式视频的转换方法的缺点为：通过该方法去交错生成的图像，画质看起来会比较松散，不锐利。若是图像中含有横向的细线，在某些场可能刚好没有被扫描到，因此重建出来的图像细线的部分看起来会有闪烁的感觉。对于非垂直的边缘会产生锯齿效应。

现有技术中的第二种从交错式格式视频到渐进式格式视频的转换方法为：将连续的两个场直接结合成为一个帧，不做任何修改。

上述现有技术中的第二种从交错式格式视频到渐进式格式视频的转换方法的缺点为：使用该方法去交错得到的图像，虽然在画面静止的地方画质会好，但是在画面有移动的地方会有羽毛效应以及锯齿。

【发明内容】

本发明的实施例提供了一种从交错式格式视频到渐进式格式视频的转换方法，以实现高效地将交错式格式视频转换为渐进式格式视频。

为实现上述的发明目的，本发明采用下述的技术方案：

一种从交错式格式视频到渐进式格式视频的转换方法，包括：

输入交错式视频图像的多个场，将每个所述场扩展到帧的尺寸，置所述帧中的未知像素为0，将得到的所有帧组成一个视频帧集合；

将所述视频帧集合作为初始的更新视频帧集合，判断所述初始的更新视频帧集合是否满足设定的条件，所述条件为：所述初始的更新视频帧集合中的每一帧在空间上是分片连续的；所述初始的更新视频帧集合中的所有帧在时间上是连续的；输入的交错式视频的场中的已知像素被一一映射到所述初始的更新视频帧集合中的对应的帧中；

当所述初始的更新视频帧集合满足所述条件时，对所述初始的更新视频帧集合进行重组处理得到所需的渐进式格式视频；否则，对所述初始的更新视频帧集合进行更新处理得到更新后的更新视频帧集合，并判断所述更新后的更新视频帧集合是否满足所述条件。

一种从交错式格式视频到渐进式格式视频的转换装置，包括：

扩展和初始化处理模块，用于接收输入的交错式视频图像的多个场，将每个所述场扩展到帧的尺寸，置所述帧中的未知像素为0，将得到的所有帧组成一个视频帧集合；

判断处理模块，用于将所述视频帧集合作为初始的更新视频帧集合，判断所述初始的更新视频帧集合是否满足设定的条件，所述条件为：所述初始的更新视频帧集合中的每一帧在空间上是分片连续的；所述初始的更新视频帧集合中的所有帧在时间上是连续的；输入的交错式视频的场中的已知像素被一一映射到所述初始的更新视频帧集合中的对应的帧中；

输出处理模块，用于当所述初始的更新视频帧集合满足所述条件时，对所述初始的更新视频帧集合进行重组处理得到所需的渐进式格式视频；否则，对所述初始的更新视频帧集合进行更新处理得到更新后的更新视频帧集合，并判断所述更新后的更新视频帧集合是否满足所述条件。

由上述本发明实施例的技术方案可以看出，本发明实施例不仅仅利用当前场中已知的像素，同时也利用相邻场的已知像素。由于相邻场的已知像素是当前场中待恢复像素在时间上的近邻，所以有效地利用相邻场的已知像素信息会明显提高视频去交错处理的质量。

【附图说明】

图1为本发明实施例一提供的一种从交错式格式视频到渐进式格式视频的转换方法的具体处理流程图；

图2为本发明实施例一提供的一种将输入单元矩阵化的处理过程示意图；

图3为本发明实施例二提供了一种从交错式格式视频到渐进式格式视频的转换装置的具体结构图；

图4为现有技术1、现有技术2和本发明实施例三种去交错方法的主观质量比较示意图。

【具体实施方式】

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图，以对本发明实施例进行清楚、完整地描述。

实施例一

该实施例提供的一种从交错式格式视频到渐进式格式视频的转换方法的具体处理流程如图1所示，包括如下的处理步骤：

步骤11、对输入的交错式视频文件数据矩阵化，并对矩阵初始化。

为了方面描述技术内容，首先对如下参量进行定义：

输入单元：设输入的一帧交错式视频图像的横向像素为m个，纵向像素为n个，则对于每场图像，其像素个数为m×n/2个，本发明实施例的输入单元是一系列连续的场(k个)，因此，本发明实施例的输入单元包含总的像素为m×n×k/2个。

对于每个输入单元，首先经过矩阵化形成处理单元。该实施例提供的一种将输入单元矩阵化的处理过程如图2所示，具体处理过程为：将输入单元的交错式视频每一场扩展到帧的尺寸，置未知像素为0，并将得到的帧组成一个空间和时间上的视频帧集合，即处理单元Y，

如图2所示，虚线代表未知像素值为0，实线代表已知像素。

处理单元Y的像素个数为m×n×k，处理单元中的每个元素为Y(x，y，t)，代表了位于处理单元的视频帧集合中的第t帧中空间坐标为(x，y)处的像素，x＝0，...，i，...，m-1，y＝0，...，j，...，n-1，t＝0，...，l，...，k-1。本发明实施例中使用Ω代表Y中已知的像素集合。

步骤12、将上述处理单元作为初始的更新单元M，

代表去交错过程中的处理结果像素集合。其中每个元素M(x，y，t)，代表了位于输出单元中的第t帧中空间坐标为(x，y)处的像素，x＝0，...，i，...，m-1，y＝0，...，j，...，n-1，t＝0，...，l，...，k-1。

对于去交错视频应用，本发明实施要求最终的更新单元M满足下述三个条件：

1)每一帧在空间上是分片连续的；

2)所有帧在时间上是连续的。

3)还要约束最终去交错结果在已知像素集合Ω中的那些像素保持不变，即Y中的已知像素集合必须被一一映射到M。

所述M为所需的渐进式格式视频，所述

‖M‖_3D TV为M的3维总体变分，

‖M‖_3D TV＝α₁|D_xM |+α₂|D_yM|+α₃|D_tM|，α₁，α₂，α₃是正常数，D_x，D_y，D_t分别是水平方向、垂直方向和时间方向上的一阶前向差分算子。D_xM，D_yM，D_tM都是视频帧集合：

D_xM(x，y，t)＝M(x+1，y，t)-M(x，y，t)；x＝0，...，m-2；y＝0，...，n-1；t＝0，...，k-1公式1

D_yM(x，y，t)＝M(x，y+1，t)-M(x，y，t)；x＝0，...，m-1，y＝0，...，n-2，t＝0，...，k-1公式2

D_tM(x，y，t)＝M(x，y，t+1)-M(x，y，t)；x＝0，...，m-1，y＝0，...，n-1，t＝0，...，k-2公式3

通过最小化3D TV范数确保上述条件1)和2)，通过约束满足上述条件3)，为此，对于M的设定条件为：

min_M‖M‖_3D TV，

s.t.P_Ω(M-Y)＝0公式4

该条件保证了M在时间和空间上是连续的，且满足从交错式格式视频到渐进式格式视频的最优转换。

其中P_Ω(M-Y)＝0即表示Y中的已知像素集合必须被一一映射到M。

进一步，通过引入变量Z∈R^m×n×k将公式4转化为公式5：

min_M‖M‖_3D TV，

Y＝M+Z

P_Ω(Z)＝0公式5

进一步，设定判断条件S_k，

$s_k=\frac{{\left|\right|M_k+Z_k-Y\left|\right|}_F}{{\left|\right|Y\left|\right|}_F}$ 公式6

所述 $Z_k=\left\{\begin{array}{cc}{X}_k./c_k+Y-T_k,& \mathrm{if}(x,y,t)\∉\mathrm{\Ω}\\ 0,& \mathrm{else}\end{array}\right.,$

所述 ${\left|\right|Y\left|\right|}_F=\sqrt{{\mathrm{\Σ}}_{x=0,y=0,t=0}^{m-1,n-1,k-1}{Y}^2(x,y,t)}.$

k＝0代表初始状态，Z_k为满足交错式格式视频到渐进式格式视频的最优转换中对未知像素预测的视频帧集合，其值会被更新，c_k当k＝0时为设定大于0小于1的数值，比如为0.6，当k＞0时会被更新，X_k当k＝0时为像素值全为1的视频帧集合，且和M的空间、时间分辨率相同，当k＞0时会被更新，T_k当k＝0时为像素值全为0的视频帧集合，且和M的空间、时间分辨率相同，当k＞0时会被更新。

设置判断阈值tol，tol＜＝1e-3，可取1e-4，1e-5，值越小越精确，迭代次数越多。判断S_k是否小于tol，如果是，则判断上述更新单元M满足了上述设定条件，执行步骤13；否则，执行步骤14。

步骤13、将更新单元M最终的结果中包括的m×n×k个像素按照帧的方式进行重排列，形成输出单元，输出单元中包括一共K个帧，每帧横向像素为m个，纵向像素为n个。上述输出单元即为去交错处理后的渐进式格式视频数据。

步骤14、设定反卷积处理前的输入视频帧集合A_k+1：

A_k+1＝Y-Z_k+(X_k./c_k)    公式7

对所述A_k+1进行反卷积处理，该反卷积处理为：

${\min }_{B_{k+1}}\frac{c}{2}{\left|\right|{\mathrm{HB}}_{k+1}-A_{k+1}\left|\right|}^2+{\left|\right|B_{k+1}\left|\right|}_{3\mathrm{DTV}}$ 公式8

其中H是单位阵，B_k+1是反卷积处理后的输出视频帧集合；

步骤15、根据所述反卷积处理后的输出视频帧集合B_k+1，更新T_k，X_k和c_k：

T_k+1＝B_k+1；

X_k+1＝X_k-(T_k+1+Z_k-Y).＊c_k；

c_k+1＝c_k＊p，其中p为设定的常数，比如，其值为1.5；

将所述T_k+1作为更新后的更新视频帧集合M_k+1，

在实际应用中，上述tol可以为0.001，α₁、α₂可以为5，α₃可以为10，P可以为1.5。

将更新后的X_k+1、T_k+1和c_k+1一起返回到步骤12，重新执行步骤12。即根据更新后的X_k+1、T_k+1和c_k+1得到更新后的Z_k+1，根据更新后的M_k+1、Z_k+1以及所述Y重新判断所述更新后的M_k+1是否满足所述条件，即按照设定条件

得到更新后的S_k+1，判断所述更新后的S_k+1是否小于tol，如果是，则判断所述更新后的更新视频帧集合M_k+1满足所述设定的条件；否则，判断所述更新后的更新视频帧集合M_k+1不满足所述设定的条件。

实施例二

该实施例提供了一种从交错式格式视频到渐进式格式视频的转换装置，其具体结构如图3所示，包括如下的模块：

扩展和初始化处理模块31，用于接收输入的交错式视频图像的多个场，将每个所述场扩展到帧的尺寸，置所述帧中的未知像素为0，将得到的所有帧组成一个视频帧集合；

判断处理模块32，用于将所述视频帧集合作为初始的更新视频帧集合，判断所述初始的更新视频帧集合是否满足设定的条件，所述条件为：所述初始的更新视频帧集合中的每一帧在空间上是分片连续的；所述初始的更新视频帧集合中的所有帧在时间上是连续的；输入的交错式视频的场中的已知像素被一一映射到所述初始的更新视频帧集合中的对应的帧中；

输出处理模块33，用于当所述初始的更新视频帧集合满足所述设定条件时，对所述初始的更新视频帧集合进行重组处理得到所需的渐进式格式视频；否则，对所述初始的更新视频帧集合进行更新处理得到更新后的更新视频帧集合，并判断所述更新后的更新视频帧集合是否满足所述设定条件。

进一步地，所述的装置还可以包括：

条件设定模块35，用于设置所述的设定条件：

min_M‖M‖_3D TV，

s.t.P_Ω(M-Y)＝0

所述M为所需的渐进式格式视频，并且在时间和空间上是连续的，所述Y为所述初始输入的视频场经过扩展后的视频帧集合，

设所述渐进式视频图像的帧的横向像素为m个，纵向像素为n个，所述多个场的个数为k，所述

所述

M(x，y，t)代表了M中的第t帧中空间坐标为(x，y)处的像素，x＝0，...，i，...，m-1，y＝0，...，j，...，n-1，t＝0，...，l，...，k-1；所述P_Ω(M-Y)＝0，表示Y中的已知像素集合被一一映射到M。

‖M‖_3D TV为M的3维总体变分；

所述‖M‖_3D TV为：

‖M‖_3D TV＝α₁|D_xM |+α₂|D_yM|+α₃|D_tM|，

所述α₁，α₂，α₃是设定的常数，所述D_x，D_y，D_t分别是水平方向、垂直方向和时间方向上的一阶前向差分算子；

D_xM(x，y，t)＝M(x+1，y，t)-M(x，y，t)；x＝0，...，m-2；y＝0，...，n-1；t

            ＝0，...，k-1

D_yM(x，y，t)＝M(x，y+1，t)-M(x，y，t)；x＝0，...，m-1，y＝0，...，n-2，t

            ＝0，...，k-1

D_tM(x，y，t)＝M(x，y，t+1)-M(x，y，t)；x＝0，...，m-1，y＝0，...，n-1，t

            ＝0，...，k-2

具体的，所述的判断处理模块32，包括设定条件：

$s_k=\frac{{\left|\right|M_k+Z_k-Y\left|\right|}_F}{{\left|\right|Y\left|\right|}_F},$

所述 $Z_k=\left\{\begin{array}{cc}{X}_k./c_k+Y-T_k,& \mathrm{if}(x,y,t)\∉\mathrm{\Ω}\\ 0,& \mathrm{else}\end{array}\right.$

所述 ${\left|\right|Y\left|\right|}_F=\sqrt{{\mathrm{\Σ}}_{x=0,y=0,t=0}^{m-1,n-1,k-1}{Y}^2(x,y,t)};$

所述k＝0代表初始状态，Z_k为满足交错式格式视频到渐进式格式视频的最优转换中对未知像素预测的视频帧集合，其值会被更新，c_k当k＝0时为设定大于0小于1的数值，当k＞0时会被更新，X_k当k＝0时为像素值全为1的视频帧集合，且和M的空间、时间分辨率相同，当k＞0时会被更新，T_k当k＝0时为像素值全为0的视频帧集合，且和M的空间、时间分辨率相同，当k＞0时会被更新；设置判断阈值tol，判断所述S_k是否小于tol，如果是，则判断所述M满足所述设定的条件；否则，判断所述M不满足所述设定的条件。

进一步地，所述的装置还可以包括：

更新处理模块34，用于设定反卷积处理前的输入视频帧集合A_k+1：

A_k+1＝Y-Z_k+(X_k./c_k)；

对所述A_k+1进行反卷积处理，该反卷积处理为：

${\min }_{B_{k+1}}\frac{c}{2}{\left|\right|{\mathrm{HB}}_{k+1}-A_{k+1}\left|\right|}^2+{\left|\right|B_{k+1}\left|\right|}_{3\mathrm{DTV}},$ 其中H是单位阵，B_k+1是反卷积处理后的输出视频帧集合；根据所述反卷积处理后的输出视频帧集合B_k+1，更新T_k，X_k和c_k：

T_k+1＝B_k+1；

X_k+1＝X_k-(T_k+1+Z_k-Y).＊c_k；

c_k+1＝c_k＊p，其中p为设定的常数，比如，其值为1.5；

将所述T_k+1作为更新后的更新视频帧集合M_k+1，根据更新后的X_k+1、T_k+1和c_k+1得到更新后的Z_k+1，根据更新后的M_k+1、Z_k+1以及所述Y重新判断所述更新后的M_k+1是否满足所述条件，即按照设定条件

得到更新后的S_k+1，判断所述更新后的S_k+1是否小于tol，如果是，则判断所述更新后的更新视频帧集合M_k+1满足所述设定的条件；否则，判断所述更新后的更新视频帧集合M_k+1不满足所述设定的条件。

具体的，所述的输出处理模块33，还用于将所述初始的更新视频帧集合中包括的m×n×k个像素按照帧的方式进行重排列，形成输出单元，该输出单元中包括k帧，每帧横向像素为m个，纵向像素为n个，所述输出单元即为去交错处理后的渐进式格式视频数据。

应用本发明实施例的装置进行从交错式格式视频到渐进式格式视频的转换的具体处理过程与前述方法实施例类似，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

为了比较各个方法的效果，我们对尺寸为CIF(352x288)的原始渐进式视频序列foreman在空间上采样(第一帧保留偶数场，第二帧保留奇数场，第三帧保留偶数场...)生成交错式视频序列，我们分别采用上述现有技术中的第一种视频去交错技术、第二种视频去交错技术和本发明实施例技术(3D TV)对该交错式视频序列去交错，并将结果和原始渐进式视频序列比较PSNR(峰值信噪比)，所得结果如下表所示：

表1.不同去交错方法的PSN R比较(表中数字单位为dB)

图4给出了三种方法主观质量的比较，从图4可以看出现有技术1的图2(b)存在明显的锯齿效应，现有技术2的图2(c)存在明显的羽毛效应，而这些问题在本发明实施例的图2(d)中都没有。

综上所述，本发明实施例不仅仅利用当前场中已知的像素，同时也利用相邻场的已知像素。由于相邻场的已知像素是当前场中待恢复像素在时间上的近邻，所以有效地利用相邻场的已知像素信息会明显提高视频去交错处理的质量。

本发明实施例在利用当前场和相邻场中的已知像素时会对其整体施加一个和待恢复像素的约束条件，保证时间和空间上的连续性，消除羽毛和锯齿效应。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种从交错式格式视频到渐进式格式视频的转换方法，其特征在于，包括：

输入交错式视频图像的多个场，将每个所述场扩展到帧的尺寸，置所述帧中的未知像素为0，将得到的所有帧组成一个视频帧集合；

将所述视频帧集合作为初始的更新视频帧集合，判断所述初始的更新视频帧集合是否满足设定的条件，所述条件为：所述初始的更新视频帧集合中的每一帧在空间上是分片连续的；所述初始的更新视频帧集合中的所有帧在时间上是连续的；输入的交错式视频的场中的已知像素被一一映射到所述初始的更新视频帧集合中的对应的帧中；

当所述初始的更新视频帧集合满足所述条件时，对所述初始的更新视频帧集合进行重组处理得到所需的渐进式格式视频；否则，对所述初始的更新视频帧集合进行更新处理得到更新后的更新视频帧集合，并判断所述更新后的更新视频帧集合是否满足所述条件。

2.根据权利要求1所述的从交错式格式视频到渐进式格式视频的转换方法，其特征在于，所述的设定条件包括：

min_M‖M‖_3D TV，

s.t.P_Ω(M-Y)＝0

所述M为所需的渐进式格式视频，并且在时间和空间上是连续的，所述Y为所述初始输入的视频场经过扩展后的视频帧集合，

设所述渐进式视频图像的帧的横向像素为m个，纵向像素为n个，所述多个场的个数为k，所述

所述

M(x，y，t)代表了M中的第t帧中空间坐标为(x，y)处的像素，x＝0，...，i，...，m-1，y＝0，...，j，...，n-1，t＝0，...，l，...，k-1；所述P_Ω(M-Y)＝0，表示Y中的已知像素集合被一一映射到M；

‖M‖_3D TV为M的3维总体变分，

所述‖M‖_3D TV为：

‖M‖_3D TV＝α₁|D_xM |+α₂|D_yM|+α₃|D_tM|，

所述α₁，α₂，α₃是设定的常数，所述D_x，D_y，D_t分别是水平方向、垂直方向和时间方向上的一阶前向差分算子；

D_xM(x，y，t)＝M(x+1，y，t)-M(x，y，t)；x＝0，...，m-2；y＝0，...，n-1；t

            ＝0，...，k-1

D_yM(x，y，t)＝M(x，y+1，t)-M(x，y，t)；x＝0，...，m-1，y＝0，...，n-2，t

            ＝0，...，k-1

D_tM(x，y，t)＝M(x，y，t+1)-M(x，y，t)；x＝0，...，m-1，y＝0，...，n-1，t

            ＝0，...，k-2。

3.根据权利要求2所述的从交错式格式视频到渐进式格式视频的转换方法，

其特征在于，所述初始的更新视频帧集合是否满足设定的判断条件S_k：

$s_k=\frac{{\left|\right|M_k+Z_k-Y\left|\right|}_F}{{\left|\right|Y\left|\right|}_F},$

所述 $Z_k=\left\{\begin{array}{cc}{X}_k./c_k+Y-T_k,& \mathrm{if}(x,y,t)\∉\mathrm{\Ω}\\ 0,& \mathrm{else}\end{array}\right.,$

所述 ${\left|\right|Y\left|\right|}_F=\sqrt{{\mathrm{\Σ}}_{x=0,y=0,t=0}^{m-1,n-1,k-1}{Y}^2(x,y,t)}$

所述k＝0代表初始状态，Z_k为满足交错式格式视频到渐进式格式视频的最优转换中对未知像素预测的视频帧集合，其值会被更新，c_k当k＝0时为设定大于0小于1的数值，当k＞0时会被更新，X_k当k＝0时为像素值全为1的视频帧集合，且和M的空间、时间分辨率相同，当k＞0时会被更新，T_k当k＝0时为像素值全为0的视频帧集合，且和M的空间、时间分辨率相同，当k＞0时会被更新；

设置判断阈值tol，判断所述S_k是否小于tol，如果是，则判断所述M满足所述设定的条件；否则，判断所述M不满足所述设定的条件。

4.根据权利要求3所述的从交错式格式视频到渐进式格式视频的转换方法，其特征在于，对所述初始的更新视频帧集合进行更新处理得到更新后的更新视频帧集合，并判断所述更新后的更新视频帧集合是否满足所述条件，包括：

设定反卷积处理前的输入视频帧集合A_k+1：

A_k+1＝Y-Z_k+(X_k./c_k)；

对所述A_k+1进行反卷积处理，所述反卷积处理为：

${\min }_{B_{k+1}}\frac{c}{2}{\left|\right|{\mathrm{HB}}_{k+1}-A_{k+1}\left|\right|}^2+{\left|\right|B_{k+1}\left|\right|}_{3\mathrm{DTV}},$ 其中H是单位阵，B_k+1是反卷积处理后的输出视频帧集合；根据所述反卷积处理后的输出视频帧集合B_k+1，更新T_k，X_k和c_k：

T_k+1＝B_k+1；

X_k+1＝X_k-(T_k+1+Z_k-Y).＊c_k；

c_k+1＝c_k＊p，其中p为设定的常数；

将所述T_k+1作为更新后的更新视频帧集合M_k+1，根据更新后的X_k+1、T_k+1和c_k+1得到更新后的Z_k+1，根据更新后的M_k+1、Z_k+1以及所述Y重新判断所述更新后的M_k+1是否满足所述条件，即按照所述条件

得到更新后的S_k+1，判断所述更新后的S_k+1是否小于tol，如果是，则判断所述更新后的更新视频帧集合M_k+1满足所述设定的条件；否则，判断所述更新后的更新视频帧集合M_k+1不满足所述设定的条件。

5.根据权利要求1至4任一项所述的从交错式格式视频到渐进式格式视频的转换方法，其特征在于，所述的对所述初始的更新视频帧集合进行重组处理得到渐进式格式视频，包括：

将所述初始的更新视频帧集合中包括的m×n×k个像素按照帧的方式进行重排列，形成输出单元，该输出单元中包括k帧，每帧横向像素为m个，纵向像素为n个，所述输出单元即为交错处理后的渐进式格式视频数据。

6.一种从交错式格式视频到渐进式格式视频的转换装置，其特征在于，包括：

扩展和初始化处理模块，用于接收输入的交错式视频图像的多个场，将每个所述场扩展到帧的尺寸，置所述帧中的未知像素为0，将得到的所有帧组成一个视频帧集合；

判断处理模块，用于将所述视频帧集合作为初始的更新视频帧集合，判断所述初始的更新视频帧集合是否满足设定的条件，所述条件为：所述初始的更新视频帧集合中的每一帧在空间上是分片连续的；所述初始的更新视频帧集合中的所有帧在时间上是连续的；输入的交错式视频的场中的已知像素被一一映射到所述初始的更新视频帧集合中的对应的帧中；

输出处理模块，用于当所述初始的更新视频帧集合满足所述条件时，对所述初始的更新视频帧集合进行重组处理得到所需的渐进式格式视频；否则，对所述初始的更新视频帧集合进行更新处理得到更新后的更新视频帧集合，并判断所述更新后的更新视频帧集合是否满足所述条件。

7.根据权利要求6所述的从交错式格式视频到渐进式格式视频的转换装置，其特征在于，所述的装置还包括：

条件设定模块，用于设置所述的设定条件：

min_M‖M‖_3D TV，

s.t.P_Ω(M-Y)＝0

所述M为所需的渐进式格式视频，并且在时间和空间上是连续的，所述Y为所述初始输入的视频场经过扩展后的视频帧集合，

设所述渐进式视频图像的帧的横向像素为m个，纵向像素为n个，所述多个场的个数为k，所述

所述

M(x，y，t)代表了M中的第t帧中空间坐标为(x，y)处的像素，x＝0，...，i，...，m-1，y＝0，...，j，...，n-1，t＝0，...，l，...，k-1；所述P_Ω(M-Y)＝0，表示Y中的已知像素集合被一一映射到M；

‖M‖_3D TV为M的3维总体变分，

所述‖M‖_3D TV为：

‖M‖_3D TV＝α₁|D_xM |+α₂|D_yM|+α₃|D_tM|，

所述α₁，α₂，α₃是设定的常数，所述D_x，D_y，D_t分别是水平方向、垂直方向和时间方向上的一阶前向差分算子；

D_xM(x，y，t)＝M(x+1，y，t)-M(x，y，t)；x＝0，...，m-2；y＝0，...，n-1；t

            ＝0，...，k-1

D_yM(x，y，t)＝M(x，y+1，t)-M(x，y，t)；x＝0，...，m-1，y＝0，...，n-2，t

            ＝0，...，k-1

D_tM(x，y，t)＝M(x，y，t+1)-M(x，y，t)；x＝0，...，m-1，y＝0，...，n-1，t

            ＝0，...，k-2。

8.根据权利要求7所述的从交错式格式视频到渐进式格式视频的转换装置，其特征在于：

所述的判断处理模块，还用于判断是否满足设定的条件S_k：

$s_k=\frac{{\left|\right|M_k+Z_k-Y\left|\right|}_F}{{\left|\right|Y\left|\right|}_F},$

所述 $Z_k=\left\{\begin{array}{cc}{X}_k./c_k+Y-T_k,& \mathrm{if}(x,y,t)\∉\mathrm{\Ω}\\ 0,& \mathrm{else}\end{array}\right.$

所述 ${\left|\right|Y\left|\right|}_F=\sqrt{{\mathrm{\Σ}}_{x=0,y=0,t=0}^{m-1,n-1,k-1}{Y}^2(x,y,t)}$

所述k＝0代表初始状态，Z_k为满足交错式格式视频到渐进式格式视频的最优转换中对未知像素预测的视频帧集合，其值会被更新，c_k当k＝0时为设定大于0小于1的数值，当k＞0时会被更新，X_k当k＝0时为像素值全为1的视频帧集合，且和M的空间、时间分辨率相同，当k＞0时会被更新，T_k当k＝0时为像素值全为0的视频帧集合，且和M的空间、时间分辨率相同，当k＞0时会被更新；

设置判断阈值tol，判断所述S_k是否小于tol，如果是，则判断所述M满足所述设定的条件；否则，判断所述M不满足所述设定的条件。

9.根据权利要求8所述的从交错式格式视频到渐进式格式视频的转换装置，其特征在于，所述的装置还包括：

更新处理模块，用于设定反卷积处理前的输入视频帧集合A_k+1：

A_k+1＝Y-Z_k+(X_k./c_k)；

对所述A_k+1进行反卷积处理，所述反卷积处理为：

${\min }_{B_{k+1}}\frac{c}{2}{\left|\right|{\mathrm{HB}}_{k+1}-A_{k+1}\left|\right|}^2+{\left|\right|B_{k+1}\left|\right|}_{3\mathrm{DTV}},$ 其中H是单位阵，B_k+1是反卷积处理后的输出视频帧集合；根据所述反卷积处理后的输出视频帧集合B_k+1，更新T_k，X_k和c_k：

T_k+1＝B_k+1；

X_k+1＝X_k-(T_k+1+Z_k-Y).＊c_k；

c_k+1＝c_k＊p，其中p为设定的常数；

将所述T_k+1作为更新后的更新视频帧集合M_k+1，根据更新后的X_k+1、T_k+1和c_k+1得到更新后的Z_k+1，根据更新后的M_k+1、Z_k+1以及所述Y重新判断所述更新后的M_k+1是否满足所述条件，即按照所述条件

得到更新后的S_k+1，判断所述更新后的S_k+1是否小于tol，如果是，则判断所述更新后的更新视频帧集合M_k+1满足所述设定的条件；否则，判断所述更新后的更新视频帧集合M_k+1不满足所述设定的条件。

10.根据权利要求6至9任一项所述的从交错式格式视频到渐进式格式视频的转换装置，其特征在于：

所述的输出处理模块，还用于将所述初始的更新视频帧集合中包括的m×n×k个像素按照帧的方式进行重排列，形成输出单元，该输出单元中包括k帧，每帧横向像素为m个，纵向像素为n个，所述输出单元即为交错处理后的渐进式格式视频数据。

Images