CN102223524A - 一种三维小波视频编码帧分组方法及装置 - Google Patents

Abstract

本发明公开了一种三维小波视频编码帧分组方法及装置，涉及三维小波视频编码领域中的GOP自适应分组算法。本发明方法包括：将相邻两帧进行一次运动补偿时域滤波(MCTF)变换后，根据相邻两帧中所包含的剧烈运动像素点数目的百分比和设定阈值确定合适的帧组(GOP)尺寸；对确定了GOP尺寸的GOP进行MCTF变换。本发明可以有效地降低由于采用固定GOP大小和MCTF变换结构对存在快速或者复杂运动的视频序列进行MCTF所造成的编码性能损失，可以适用于具有不同运动剧烈程度的视频序列。

Description

一种三维小波视频编码帧分组方法及装置

技术领域

本发明涉及三维小波视频编码领域中的GOP(Group of Picture，帧组)自适应分组算法，具体为一种三维小波视频编码帧分组方法及装置。

背景技术

小波变换因其特有的与人眼视觉特性相符的多分辨率分析能力及方向选择能力，而被广泛应用于图像、视频压缩领域，并取得了很好的效果。基于运动补偿的三维小波视频编码框架可以获得良好的编码性能和可伸缩特性，已成为一种重要的可伸缩视频编码方案。可伸缩视频编码对于可变带宽下的多媒体传输、不同存储容量的媒体存储和不同显示能力的终端都具有重要的意义。在这种基于运动补偿的三维小波可伸缩视频编码框架中，三维小波变换通过一维MCTF(Motion Compensation Temporal Filter，运动补偿时域滤波)加上空间二维小波变换的方式联合实现。其中，MCTF将运动估计/补偿技术和时间轴一维小波变换结合起来，可以有效地去除时间冗余信息，是基于运动补偿的三维小波视频编码框架中的关键技术之一，对三维小波编码性能有着直接的影响。

由于内存空间和编解码复杂度的限制，在对视频序列进行MCTF变换时首先需要对视频序列进行分组，即确定每个GOP中包含的编码帧数目，然后再对每个GOP进行多级MCTF变换，以有效去除视频中包含的时间冗余信息。通常利用基于提升的Haar(哈尔)小波或是5/3小波进行MCTF变换，得到时域低频帧和时域高频帧。在进行多级MCTF变换时，通过对上一级变换得到的低频帧继续进行MCTF变换来实现，直至只剩下一个低频帧。

图1所示即为GOP大小为16的4级MCTF变换示意图，每个GOP进行4级MCTF后，最终获得1个LLLL，1个LLLH，2个LLH，4个LH和8个H，共16个时域低频帧和时域高频帧，以及进行15次运动估计后得到的15组运动矢量。

在现有的基于运动补偿的三维小波视频编码框架中，GOP大小和MCTF变换结构通常是固定的。常用的GOP大小为8、16，对每个GOP均进行最大级数的MCTF变换。这种固定的GOP大小和MCTF变换结构简单且易于实现。但是，对于具有不同运动特征的视频序列来说，固定的GOP大小和MCTF变换结构所获得的编码性能往往相差很大。若视频序列运动剧烈，且编码时使用较大的GOP，则两帧之间相隔较远、相关性会变弱，相应地运动估计的准确性会下降，从而降低编码效率。若视频序列运动较平缓，而编码时采用了较小的GOP，则无法有效去除帧间较强的相关性。因此，固定GOP大小和MCTF变换结构不能适用于不同运动剧烈程度和纹理的视频序列，在一定程度上会影响基于运动补偿的三维小波编码框架的编码性能。

发明内容

本发明所要解决的技术问题是，提出一种三维小波视频编码帧分组方法及装置，以提高三维小波编码框架的编码性能。

为了解决上述问题，本发明公开了一种三维小波视频编码帧分组方法，包括：

将相邻两帧进行一次运动补偿时域滤波(MCTF)变换后，根据相邻两帧中所包含的剧烈运动像素点数目的百分比和设定阈值确定合适的帧组(GOP)尺寸；对确定了GOP尺寸的GOP进行MCTF变换。

进一步地，上述方法中，根据相邻两帧中所包含的剧烈运动像素点数目的百分比和设定阈值确定合适的GOP尺寸的过程如下：

预设GOP尺寸，并计算预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值，仅当计算所得的百分比值大于或等于预设GOP尺寸对应的阈值时，将所预设的GOP尺寸确定为合适的GOP尺寸。

其中，当预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值，小于预设GOP尺寸对应的阈值时，增大所预设的GOP尺寸，直到所预设的GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值大于预设GOP尺寸对应的阈值，其中，增大预设的GOP尺寸的过程中，如果预设的GOP尺寸为GOP最大尺寸，则直接将GOP最大尺寸确定为合适的GOP尺寸。

若预设GOP尺寸为4，则其对应的阈值为第一阀值，所述第一阀值的取值范围为0.4～0.5；

若预设GOP尺寸为8，则其对应的阈值为第二阀值，所述第二阀值的取值范围为0.2～0.4；

若预设GOP尺寸为16，则其对应的阈值为第三阀值，所述第三阀值的取值范围为0.1～0.2。

确定合适的GOP尺寸后，若该GOP内相邻帧中含有剧烈运动像素点的总数目的标准差σ与相邻帧中含有剧烈运动像素点数目的均值

的比值大于或等于设定阈值，则将所确定的合适的GOP尺寸划分为两个尺寸相同的子GOP，并对这两个子GOP分别进行独立的MCTF变换，所述阈值的取值为

的30％；

其中，按照如下公式计算GOP内相邻帧中含有剧烈运动像素点的总数目的标准差σ：

$\mathrm{\σ}=\sqrt{\frac{1}{n}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{({\mathrm{SA}\_\mathrm{Frame}}_{(2k,2k+1)}-\stackrel{\‾}{\mathrm{SA}\_\mathrm{Frame}})}^2}$

$\stackrel{\‾}{\mathrm{SA}\_\mathrm{Frame}}=\frac{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{SA}\_\mathrm{Frame}}_{(2k,2k+1)}}{n}$

式中，SA_Frame_(2k，2k+1)表示相邻两帧中含有剧烈运动像素点的总数目，n为所确定的GOP尺寸值的二分之一，k为当前帧序号，k+1为当前帧的相邻帧序号。

对确定了GOP尺寸的GOP进行MCTF变换指：

对确定了GOP尺寸的GOP进行最大MCTF级数的MCTF变换；或者

对确定了GOP尺寸的GOP进行优选MCTF级数的MCTF变换。

对确定了GOP尺寸的GOP进行优选MCTF级数的MCTF变换的过程如下：

对确定了GOP尺寸的GOP进行MCTF变换后，比较该MCTF变换过程中“非连接的”像素点数目占所有像素点的百分比与下一级运动补偿时域滤波的阈值的大小，仅当该MCTF变换过程中“非连接的”像素点数目占所有像素点的百分比小于所述下一级运动补偿时域滤波的阈值，且当前进行MCTF变换的级数未达到最大的MCTF级数时，对该GOP进行下一级MCTF变换，其中，下一级运动补偿时域滤波的阈值的取值范围为0.4～0.6，优选为0.5。

本发明还公开了一种三维小波视频编码帧分组装置，包括帧组(GOP)尺寸控制模块和运动补偿时域滤波(MCTF)变换模块，其中：

所述GOP尺寸控制模块，用于根据进行过一次MCTF变换后的相邻两帧中所包含的剧烈运动像素点数目的百分比和设定阈值确定合适的GOP尺寸；

所述MCTF变换模块，用于对所述GOP尺寸控制模块所确定的GOP尺寸的GOP进行MCTF变换。

进一步地，上述装置中，所述GOP尺寸控制模块，用于预设GOP尺寸，并计算预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值，仅当计算所得的百分比值大于或等于预设GOP尺寸对应的阈值时，将所预设的GOP尺寸确定为合适的GOP尺寸；

以及用于在预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值，小于预设GOP尺寸对应的阈值时，增大所预设的GOP尺寸，直到所预设的GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值大于预设GOP尺寸对应的阈值，其中，增大预设的GOP尺寸的过程中，如果预设的GOP尺寸为GOP最大尺寸，则直接将GOP最大尺寸确定为合适的GOP尺寸。

进一步地，所述GOP尺寸控制模块，确定合适的GOP尺寸后，还用于比较该GOP内相邻帧中含有剧烈运动像素点的总数目的标准差σ与相邻帧中含有剧烈运动像素点数目的均值的比值与设定阈值的大小，若所述标准差σ与

的比值大于或等于设定阈值，则将所确定的合适的GOP尺寸划分为两个尺寸相同的子GOP，并对这两个子GOP分别进行独立的MCTF变换，所述阈值的取值为

的30％；

其中，按照如下公式计算GOP内相邻帧中含有剧烈运动像素点的总数目的标准差σ：

$\mathrm{\σ}=\sqrt{\frac{1}{n}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{({\mathrm{SA}\_\mathrm{Frame}}_{(2k,2k+1)}-\stackrel{\‾}{\mathrm{SA}\_\mathrm{Frame}})}^2}$

$\stackrel{\‾}{\mathrm{SA}\_\mathrm{Frame}}=\frac{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{SA}\_\mathrm{Frame}}_{(2k,2k+1)}}{n}$

式中，SA_Frame_(2k，2k+1)表示相邻两帧中含有剧烈运动像素点的总数目，n为所确定的GOP尺寸值的二分之一，k为当前帧序号，k+1为当前帧的相邻帧序号。

其中，所述MCTF变换模块，用于对确定了GOP尺寸的GOP进行最大MCTF级数的MCTF变换；或者

对确定了GOP尺寸的GOP进行优选MCTF级数的MCTF变换。

所述MCTF变换模块，对确定了GOP尺寸的GOP进行MCTF变换后，还用于比较该MCTF变换过程中“非连接的”像素点数目占所有像素点的百分比与下一级运动补偿时域滤波的阈值的大小，仅当该MCTF变换过程中“非连接的”像素点数目占所有像素点的百分比小于所述下一级运动补偿时域滤波的阈值，且当前进行MCTF变换的级数未达到最大的MCTF级数时，对该GOP进行下一级MCTF变换，其中，下一级运动补偿时域滤波的阈值的取值范围为0.4～0.6，优选为0.5。

本发明可以有效地降低由于采用固定GOP大小和MCTF变换结构对存在快速或者复杂运动的视频序列进行MCTF所造成的编码性能损失，可以适用于具有不同运动剧烈程度的视频序列。另外，本发明的优选方案中利用了MCTF过程中产生的运动信息来和“非连接的”像素点统计特性来自适应地选择GOP的大小和MCTF变换结构，并没有引入额外的计算，因此运算复杂度低。

附图说明

图1为现有技术中GOP为16的4级MCTF变换示意图；

图2为本发明实现三维小波视频编码帧分组的流程图；

图3为本发明提出的自适应GOP大小和MCTF变换结构选择流程图。

具体实施方式

考虑到视频序列的运动剧烈程度对MCTF的效果有很重要的影响，例如，对于运动平缓的视频序列，相邻帧之间的相关性强，因此在进行连续两次MCTF之后，所产生的两个时域低频帧之间仍然存在着较强的相关性，这时可以再进行一级MCTF以进一步去除冗余信息。而对于运动剧烈的视频序列，由于相邻帧之间的相关性弱，相应地，两次MCTF变换后的相邻时域低频帧之间的相关性也较弱，此时，如果继续进行MCTF，不仅无法有效去除时间冗余，还会因为预测误差大，最终造成编码效率的下降。同时，还需要更多的内存开销和运算量。因此，本发明技术方案提出，可以根据视频序列的运动剧烈程度来自适应地选择GOP尺寸和MCTF变换结构。

本发明的主要思路：对相邻两帧进行一次运动估计后，根据运动估计过程中所包含有的剧烈运动像素点的数目确定GOP大小；根据所确定的GOP尺寸，进行最大级数的MCTF变换即可，这样就可以提高三维小波编码框架的编码性能。优选地，在确定GOP尺寸后，也可以不进行最大级数的MCTF变换，而是根据每级MCTF变换中的“非连接的”像素点的统计特性确定是否需要下一级MCTF变换，最终得到最优的MCTF变换级数。

下面结合附图及具体实施方式对本发明技术方案做进一步详细说明。

一种三维小波视频编码帧分组装置，包括帧组(GOP)尺寸控制模块和运动补偿时域滤波(MCTF)变换模块。

GOP尺寸控制模块，用于根据进行过一次MCTF变换后的相邻两帧中所包含的剧烈运动像素点数目的百分比和设定阈值确定合适的GOP尺寸；

具体地，GOP尺寸控制模块，用于预设GOP尺寸，并计算预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值，仅当计算所得的百分比值大于或等于预设GOP尺寸对应的阈值时，将所预设的GOP尺寸确定为合适的GOP尺寸；

以及用于在预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值，小于预设GOP尺寸对应的阈值时，增大所预设的GOP尺寸，直到所预设的GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值大于预设GOP尺寸对应的阈值，其中，增大预设的GOP尺寸的过程中，如果预设的GOP尺寸为GOP最大尺寸，则直接将GOP最大尺寸确定为合适的GOP尺寸。

优选的方案中，GOP尺寸控制模块确定合适的GOP尺寸后，还用于比较该GOP内相邻帧中含有剧烈运动像素点的总数目的标准差σ与相邻帧中含有剧烈运动像素点数目的均值

的比值与设定阈值的大小，若所述标准差σ与

的比值大于或等于设定阈值，则将所确定的合适的GOP尺寸划分为两个尺寸相同的子GOP，并对这两个子GOP分别进行独立的MCTF变换，所述阈值的取值为

的30％；

其中，按照如下公式计算GOP内相邻帧中含有剧烈运动像素点的总数目的标准差σ：

$\mathrm{\σ}=\sqrt{\frac{1}{n}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{({\mathrm{SA}\_\mathrm{Frame}}_{(2k,2k+1)}-\stackrel{\‾}{\mathrm{SA}\_\mathrm{Frame}})}^2}$

$\stackrel{\‾}{\mathrm{SA}\_\mathrm{Frame}}=\frac{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{SA}\_\mathrm{Frame}}_{(2k,2k+1)}}{n}$

式中，SA_Frame_(2k，2k+1)表示相邻两帧中含有剧烈运动像素点的总数目，n为所确定的GOP尺寸值的二分之一，k为当前帧序号，k+1为当前帧的相邻帧序号。

MCTF变换模块，用于对所述GOP尺寸控制模块所确定的GOP尺寸的GOP进行MCTF变换；

其中，MCTF变换模块，可以对确定了GOP尺寸的GOP进行最大MCTF级数的MCTF变换；或者对确定了GOP尺寸的GOP进行优选MCTF级数的MCTF变换；

所述MCTF变换模块对确定了GOP尺寸的GOP进行优选MCTF级数的MCTF变换的过程如下：

对确定了GOP尺寸的GOP进行MCTF变换后，还用于比较该MCTF变换过程中“非连接的”像素点数目占所有像素点的百分比与下一级运动补偿时域滤波的阈值的大小，仅当该MCTF变换过程中“非连接的”像素点数目占所有像素点的百分比小于所述下一级运动补偿时域滤波的阈值，且当前进行MCTF变换的级数未达到最大的MCTF级数时，对该GOP进行下一级MCTF变换，其中，下一级运动补偿时域滤波的阈值的取值范围为0.4～0.6，优选为0.5。

下面介绍实现三维小波视频编码帧分组的过程，该过程如图2所示，包括以下步骤：

步骤100、对相邻两帧进行一次运动估计后，根据运动估计过程中所包含有的剧烈运动像素点的数目确定GOP尺寸；

具体地，该步骤中，进一步可分为以下几步：

步骤A，可以先判断相邻两帧中哪些像素点为剧烈运动像素点；

在本实施例中，判断剧烈运动像素点时采用了运动矢量方法，该方法是表示视频序列运动剧烈程度的一种有效方法，该运动矢量方法的判断公式如公式(1)所示：

$\mathrm{SA}(i,j)=\left\{\begin{array}{c}\frac{1}{\mathrm{MN}}[{{\mathrm{mv}}_x}^2(i,j)+{{\mathrm{mv}}_y}^2(i,j)]\&GreaterEqual;\mathrm{Thr}\_\mathrm{MV},1\\ \frac{1}{\mathrm{MN}}[{{\mathrm{mv}}_x}^2(i,j)+{{\mathrm{mv}}_y}^2(i,j)]<\mathrm{Thr}\_\mathrm{MV},0\end{array}\right.$ 公式(1)

上式中，SA(i，j)表示当前帧内位置为(i，j)的像素点是否属于剧烈运动像素点；M表示当前帧图像亮度分量的宽度；N表示当前帧图像亮度分量的高度；mv_x表示像素点(i，j)的运动矢量中的x分量；mv_y表示像素点(i，j)的运动矢量中的y分量；Thr_MV为判断像素点是否为剧烈运动像素点的阈值，可由经验所得。

若公式(1)中，像素点(i，j)运动矢量中的x、y分量的平方和大于阈值Thr_MV，即SA(i，j)为1时，则认为该像素点为剧烈运动像素点；否则(即SA(i，j)为0时)认为该像素点为非剧烈运动像素点。

在其他应用场景中，也可以采用除本实施例所提供方法以外的其他方法判断相邻两帧中哪些像素点为剧烈运动像素点。

步骤B，当判断出剧烈运动像素点后，确定相邻两帧中包含的剧烈运动像素点的总数目；

假设相邻两帧中含有剧烈运动像素点的总数目用SA_Frame_(2k，2k+1)表示，SA_Frame_(2k，2k+1)可以按照公式(2)计算：

$\mathrm{SA}\_\mathrm{Fram}{e}_{(2k,2k+1)}=\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\mathrm{SA}(i,j)$ 公式(2)

上式中，SA(i，j)、M、N的含义与公式(1)中的含义相同；k为当前帧序号，k+1为当前帧的相邻帧序号。

步骤C，根据所确定的相邻两帧中包含的剧烈运动像素点数目所占百分比与设置的阈值进行比较，并根据比较结果选择合适的GOP尺寸；

由于GOP内含有剧烈运动像素点数目百分比可以表征视频序列的运动剧烈程序，因此，可以先预设GOP尺寸，按照公式(3)计算所预设的GOP内含有剧烈运动像素点的数目百分比SA_GOP：

$\mathrm{SA}\_\mathrm{GOP}=\frac{1}{\mathrm{nMN}}\underset{k=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{\mathrm{SA}\_\mathrm{Frame}}_{(2k,2k+1)}$ 公式(3)

上式中，SA_GOP表示所预设的GOP内含有剧烈运动像素点的数目百分比；M表示当前帧图像亮度分量的宽度；N表示当前帧图像亮度分量的高度；n为预设的GOP尺寸值的二分之一，其中，预设的GOP尺寸为4、8、16或32，k为当前帧序号，k+1为当前帧的相邻帧序号。

当计算所得的SA_GOP值较小时，表明视频序列的运动平缓，在这种情况下应选择比预设的GOP尺寸更大的GOP尺寸，从而构造更多级的MCTF变换，更充分地去除时域冗余信息，提高编码效率；当SA_GOP值较大时，说明视频序列运动剧烈，则应选择比预设的GOP尺寸更小的GOP尺寸，避免进行不必要的多级MCTF变换，从而降低内存需求和运算复杂度，例如，可以预设GOP尺寸，若预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值小于预设GOP尺寸对应的阈值，则增大所预设的GOP尺寸，直到所预设的GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值大于预设GOP尺寸对应的阈值，其中，增大预设的GOP尺寸的过程中，如果预设的GOP尺寸已经为GOP最大尺寸，则直接将GOP最大尺寸确定为合适的GOP尺寸，具体地选择过程如下：

本实施例中选择合适的GOP尺寸的具体过程是：将SA GOP和标准差(σ)与设置的阈值进行比较来选择合适的GOP尺寸，可选的GOP尺寸包括：4、8、16、32。首先，预设GOP尺寸为4，将根据公式(3)所计算的SA GOP与第一阈值(Thr1)(即预设GOP尺寸为4对应的阈值，该阈值为经验值，其优选的取值范围为0.4～0.5)进行比较，若SA_GOP大于或等于第一阈值，则表示当前预设的GOP尺寸为优选的GOP尺寸，即选择当前预设的GOP尺寸作为合适的GOP尺寸，若SA_GOP小于第一阈值，则表示当前预设的GOP尺寸较小，需要增大预设的GOP尺寸，例如，预设GOP尺寸为8，更新计算SA_GOP，再将SA_GOP与第二阈值(Thr2)(即预设GOP尺寸为8对应的阈值，该阈值为经验值，其优选的取值范围为0.2～04)进行比较，同理，若SA_GOP大于或等于第二阈值，则表示当前预设的GOP尺寸为优选的GOP尺寸，即选择当前预设的GOP尺寸作为合适的GOP尺寸，若SA_GOP小于当前第二阈值，则表示当前预设的GOP尺寸较小，需要增大预设的GOP尺寸，例如，预设GOP尺寸为16，更新计算SA_GOP，再将SA_GOP与第三阈值(Thr3)(即预设GOP尺寸为16对应的阈值，该阈值为经验值，其优选的取值范围为0.1～0.2)进行比较，若SA_GOP大于或等于第三阈值，则表示当前预设的GOP尺寸为优选的GOP尺寸，即选择当前预设的GOP尺寸作为合适的GOP尺寸，若SA_GOP小于第三阈值，则表示当前预设的GOP尺寸较小，需要增大预设的GOP尺寸，例如，将预设GOP尺寸设定为最大值32，由于GOP尺寸最大为32，因此，此时无需再进行比较操作，即可将确定优选的GOP尺寸为32。进一步地，预设的GOP中可能包括场景切换或是含有不同运动性质的子GOP序列，这时不宜把它们划分到同一个GOP内，针对这问题，本实施例可以使用GOP内帧间各SA_Frame_(2k，2k+1)值的标准差σ来进一步地控制GOP尺寸，以防止同一个GOP内运动变化过快，具体地，可以按照下面公式(4)计算SA_Frame_(2k，2k+1)值集合，即{SA_Frame_(0，1)，SA_Frame_(2，3)，...SA_Frame_(2k，2k+1)}来计算GOP集合的标准差σ(即均方差)：

$\mathrm{\&sigma;}=\sqrt{\frac{1}{n}\underset{k=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{({\mathrm{SA}\_\mathrm{Frame}}_{(2k,2k+1)}-\stackrel{\&OverBar;}{\mathrm{SA}\_\mathrm{Frame}})}^2}$ 公式(4)

上式中，

为SA_Frame_(2k，2k+1)值集合的均值，n为预设的GOP尺寸值的二分之一，k为当前帧序号，k+1为当前帧的相邻帧序号；

之后，将计算所得的标准差σ与SA_Frame_(2k，2k+1)值集合的均值(即

)的比值与标准差阈值Var_T(该阈值为经验值，其优选取值为

的30％)进行比较，若标准差σ与SA_Frame_(2k，2k+1)值集合的均值的比值大于或等于阈值Var_T，则将上述确定的最优GOP尺寸分成两个尺寸相同的子GOP，这时两个子GOP分别进行独立的MCTF变换，若标准差σ与SA_Frame_(2k，2k+1)值集合的均值的比值小于阈值Var_T，则将上述确定的最优GOP尺寸作为最终的GOP尺寸，然后进入下一个GOP分组。在其他应用场景中，选择合适的GOP尺寸的过程中，也可以按照其他顺序(例如按GOP尺寸从大到小的顺序，或者按任意顺序)来预设GOP尺寸，只要保证预设的GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值大于或等于预设GOP尺寸对应的阈值，即可将该预设GOP尺寸确定为合适的GOP尺寸。

步骤200、对所选择的GOP尺寸大小的GOP进行MCTF变换；

该步骤中，可以根据所选择的GOP尺寸大小的GOP进行最大MCTF级数的MCTF变换；

在优选的方案中，步骤200的操作中，也可以进行合适的MCTF级数的MCTF变换，即以上步骤100中根据运动矢量信息选择合适的GOP尺寸后，将基于所确定的合适的GOP尺寸的GOP值进行合适的MCTF级数的MCTF变换。

其中，进行合适的MCTF级数的MCTF变换指，在MCTF变换过程中可以根据”非连接的”像素点数目占所有像素点的百分比来确定是否进行下一级MCTF变换。即，MCTF的级数由”非连接的”像素点数目占所有像素点的百分比来确定，其中，按照公式(4)计算”非连接的”像素点数目占所有像素点的百分比Uncon_pre：

$\mathrm{Uncon}\_\mathrm{pre}=\frac{\mathrm{Uncon}\_\mathrm{num}}{\mathrm{Pixel}\_\mathrm{num}}$ 公式(4)

上式中，Uncon_num为欲做下一级MCTF变换的时域低频帧中“非连接的”像素点的数目，Pixel_num为所有时域低频帧像素点的总和。

若Uncon_pre大于阈值Threshold(该阈值的取值范围可为0.4～0.6，优选方案中，该阈值的取值为0.5)，则将不进行下一级MCTF变换。如果Uncon_pre小于阈值Threshold，且没有达到最大的MCTF级数，则继续进行下一级MCTF变换。其中，Threshold为控制GOP是否进行下一级运动补偿时域滤波的阈值。

附图3所示即为本发明的优选方案中提出的自适应GOP尺寸和MCTF变换结构选择的流程图。从图中可以看出，整个流程分为两个部分，即GOP尺寸和MCTF变换结构的自适应选择，具体的实现过程见下面的伪代码部分。

根据上述的描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。下面是本发明具体实现的伪代码：

Step1初始化：

k＝0；

MCTF_num＝0；

Step2GOP大小的自适应选择：

读取帧数据F_2k和F_2k+1；

计算F_2k和F_2k+1相邻两帧亮度分量中含有剧烈运动像素点的数目SA_Frame_(2k，2k+1)；

根据SA_Frame_(2k，2k+1)值集合{SA_Frame_(0，1)，SA_Frame_(2，3)，...SA_Frame_(2k，2k+1)}，计算GOP内含有剧烈运动像素点的数目百分比SA_GOP；

if((SA_GOP＞＝Thr1)&&(k＞＝4))

GOP＝4；

else if((Thr1＞SA_GOP＞＝Thr2)&&(k＞＝8))

GOP＝8；

else if((Thr2＞SA_GOP＞＝Thr3)&&(k＞＝16)

GOP＝16；

else if(Thr3＞SA_GOP)&&(k＞＝32))

GOP＝32；

else

k++；

goto Setp2；

计算SA_Frame_(2k，2k+1)值集合{SA_Frame_(0，1)，SA_Frame_(2，3)，...SA_Frame_(2k，2k+1)}的标准差σ；

if(σ＞＝Var_T)

GOP＝GOP/2；

Step3 MCTF级数的自适应选择：

if((Uncon_pre＜Threshold)&&(MCTF_num＜log₂(GOP)))

MCTF()；

MCTF_num++；

goto Step3；

else

goto Step1；

其中，SA_Frame_(2k，2k+1)为相邻两帧中含有剧烈运动像素点的数目，SA_GOP为GOP内含有剧烈运动像素点的数目百分比，Thr1、Thr2、Thr2、Var_T参数用于控制GOP大小的阈值。Uncon_pre为”非连接的”像素点数目占所有像素点的百分比，Threshold为控制GOP是否进行下一级MCTF变换的阈值。MCTF(·)表示MCTF操作，MCTF_num为每个GOP进行MCTF的实际级数，log₂(GOP)为最大的MCTF级数。

从上述实施例可以看出，本发明技术方案利用了MCTF过程中产生的运动信息选择合适的GOP尺寸进行MCTF变换，从而提高了三维小波编码框架的编码性能。本发明所提出的优选方案中，在选择合适的GOP尺寸的基础上，根据“非连接的”像素点的统计特性来自适应选择MCTF变换结构，并未引入额外的计算，因此运算复杂度较低，且减少了在运动估计/补偿过程中产生误匹配点的可能，进一步提高了三维小波编码框架的编码性能及编码效率。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种三维小波视频编码帧分组方法，其特征在于，该方法包括：

将相邻两帧进行一次运动补偿时域滤波(MCTF)变换后，根据相邻两帧中所包含的剧烈运动像素点数目的百分比和设定阈值确定合适的帧组(GOP)尺寸；对确定了GOP尺寸的GOP进行MCTF变换。

2.如权利要求1所述的方法，其特征在于，

根据相邻两帧中所包含的剧烈运动像素点数目的百分比和设定阈值确定合适的GOP尺寸的过程如下：

预设GOP尺寸，并计算预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值，仅当计算所得的百分比值大于或等于预设GOP尺寸对应的阈值时，将所预设的GOP尺寸确定为合适的GOP尺寸。

3.如权利要求2所述的方法，其特征在于，

当预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值，小于预设GOP尺寸对应的阈值时，增大所预设的GOP尺寸，直到所预设的GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值大于预设GOP尺寸对应的阈值，其中，增大预设的GOP尺寸的过程中，如果预设的GOP尺寸为GOP最大尺寸，则直接将GOP最大尺寸确定为合适的GOP尺寸。

4.如权利要求2或3所述的方法，其特征在于，

若预设GOP尺寸为4，则其对应的阈值为第一阀值，所述第一阀值的取值范围为0.4～0.5；

若预设GOP尺寸为8，则其对应的阈值为第二阀值，所述第二阀值的取值范围为0.2～0.4；

若预设GOP尺寸为16，则其对应的阈值为第三阀值，所述第三阀值的取值范围为0.1～0.2。

5.如权利要求2或3所述的方法，其特征在于，

确定合适的GOP尺寸后，若该GOP内相邻帧中含有剧烈运动像素点的总数目的标准差σ与相邻帧中含有剧烈运动像素点数目的均值

的比值大于或等于设定阈值，则将所确定的合适的GOP尺寸划分为两个尺寸相同的子GOP，并对这两个子GOP分别进行独立的MCTF变换，所述阈值的取值为

的30％；

其中，按照如下公式计算GOP内相邻帧中含有剧烈运动像素点的总数目的标准差σ：

$\mathrm{\&sigma;}=\sqrt{\frac{1}{n}\underset{k=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{(\mathrm{SA}\_{\mathrm{Frame}}_{(2k,2k+1)}-\stackrel{\&OverBar;}{\mathrm{SA}\_\mathrm{Frame}})}^2}$

$\stackrel{\&OverBar;}{\mathrm{SA}\_\mathrm{Frame}}=\frac{\underset{k=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\mathrm{SA}\_{\mathrm{Frame}}_{(2k,2k+1)}}{n}$

式中，SA_Frame_(2k，2k+1)表示相邻两帧中含有剧烈运动像素点的总数目，n为所确定的GOP尺寸值的二分之一，k为当前帧序号，k+1为当前帧的相邻帧序号。

6.如权利要求5所述的方法，其特征在于，

对确定了GOP尺寸的GOP进行MCTF变换指：

对确定了GOP尺寸的GOP进行最大MCTF级数的MCTF变换；或者

对确定了GOP尺寸的GOP进行优选MCTF级数的MCTF变换。

7.如权利要求6所述的方法，其特征在于，

对确定了GOP尺寸的GOP进行优选MCTF级数的MCTF变换的过程如下：

对确定了GOP尺寸的GOP进行MCTF变换后，比较该MCTF变换过程中“非连接的”像素点数目占所有像素点的百分比与下一级运动补偿时域滤波的阈值的大小，仅当该MCTF变换过程中“非连接的”像素点数目占所有像素点的百分比小于所述下一级运动补偿时域滤波的阈值，且当前进行MCTF变换的级数未达到最大的MCTF级数时，对该GOP进行下一级MCTF变换，其中，下一级运动补偿时域滤波的阈值的取值范围为0.4～0.6，优选为0.5。

8.一种三维小波视频编码帧分组装置，其特征在于，该装置包括帧组(GOP)尺寸控制模块和运动补偿时域滤波(MCTF)变换模块：

所述GOP尺寸控制模块，用于根据进行过一次MCTF变换后的相邻两帧中所包含的剧烈运动像素点数目的百分比和设定阈值确定合适的GOP尺寸；

所述MCTF变换模块，用于对所述GOP尺寸控制模块所确定的GOP尺寸的GOP进行MCTF变换。

9.如权利要求8所述的装置，其特征在于，

所述GOP尺寸控制模块，用于预设GOP尺寸，并计算预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值，仅当计算所得的百分比值大于或等于预设GOP尺寸对应的阈值时，将所预设的GOP尺寸确定为合适的GOP尺寸；

以及用于在预设GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值，小于预设GOP尺寸对应的阈值时，增大所预设的GOP尺寸，直到所预设的GOP尺寸的GOP内所包含的剧烈运动像素点的百分比值大于预设GOP尺寸对应的阈值，其中，增大预设的GOP尺寸的过程中，如果预设的GOP尺寸为GOP最大尺寸，则直接将GOP最大尺寸确定为合适的GOP尺寸。

10.如权利要求9所述的装置，其特征在于，

所述GOP尺寸控制模块，确定合适的GOP尺寸后，还用于比较该GOP内相邻帧中含有剧烈运动像素点的总数目的标准差σ与相邻帧中含有剧烈运动像素点数目的均值的比值与设定阈值的大小，若所述标准差σ与

的比值大于或等于设定阈值，则将所确定的合适的GOP尺寸划分为两个尺寸相同的子GOP，并对这两个子GOP分别进行独立的MCTF变换，所述阈值的取值为的30％；

其中，按照如下公式计算GOP内相邻帧中含有剧烈运动像素点的总数目的标准差σ：

$\mathrm{\&sigma;}=\sqrt{\frac{1}{n}\underset{k=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{(\mathrm{SA}\_{\mathrm{Frame}}_{(2k,2k+1)}-\stackrel{\&OverBar;}{\mathrm{SA}\_\mathrm{Frame}})}^2}$

$\stackrel{\&OverBar;}{\mathrm{SA}\_\mathrm{Frame}}=\frac{\underset{k=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\mathrm{SA}\_{\mathrm{Frame}}_{(2k,2k+1)}}{n}$

式中，SA_Frame_(2k，2k+1)表示相邻两帧中含有剧烈运动像素点的总数目，n为所确定的GOP尺寸值的二分之一，k为当前帧序号，k+1为当前帧的相邻帧序号。

11.如权利要求8至10任一项所述的装置，其特征在于，

所述MCTF变换模块，用于对确定了GOP尺寸的GOP进行最大MCTF级数的MCTF变换；或者

对确定了GOP尺寸的GOP进行优选MCTF级数的MCTF变换。

12.如权利要求11所述的装置，其特征在于，

所述MCTF变换模块，对确定了GOP尺寸的GOP进行MCTF变换后，还用于比较该MCTF变换过程中“非连接的”像素点数目占所有像素点的百分比与下一级运动补偿时域滤波的阈值的大小，仅当该MCTF变换过程中“非连接的”像素点数目占所有像素点的百分比小于所述下一级运动补偿时域滤波的阈值，且当前进行MCTF变换的级数未达到最大的MCTF级数时，对该GOP进行下一级MCTF变换，其中，下一级运动补偿时域滤波的阈值的取值范围为0.4～0.6，优选为0.5。