CN105872559A

CN105872559A - 一种基于色度混合匹配的帧率上转换方法

Info

Publication number: CN105872559A
Application number: CN201610172218.4A
Authority: CN
Inventors: 李然; 孙芳; 刘宏兵
Original assignee: Xinyang Normal University
Current assignee: Xinyang Normal University
Priority date: 2016-03-20
Filing date: 2016-03-20
Publication date: 2016-08-17

Abstract

本文公开了一种基于色度混合匹配的帧率上转换方法，用以增强视频序列的视觉质量，首先，采用色度混合匹配模型设计块匹配准则，其能以小计算代价反映视频序列亮度与色差通道上的差值水平；接着，改进的三维递归搜索方法被使用计算前后向初始运动向量场，在此基础上，提出时空运动向量提纯方法，隐式地加入时空平滑约束至运动向量提纯过程，获得更平滑的运动向量场；然后，提出高容错运动向量平滑方法，抑制运动向量场中存在的异常；最后，为了减少边缘模糊与遮挡问题，提出双加权重叠块运动补偿方法，使用前后向运动向量场联合生成内插帧，本发明可明显改善内插帧的主客观质量，且确保了低计算复杂度。

Description

一种基于色度混合匹配的帧率上转换方法

技术领域

本发明属于视频编码技术领域，涉及一种视频帧率上转换方法，特别涉及一种基于色度混合匹配的帧率上转换方法。

背景技术

随着高清数字电视(HDTV)和高端多媒体信息系统的迅速发展，急需提高现有视频节目源帧率以达到高质量视觉效果；另外，对于某些传输带宽受限场合，例如，视频会议及3G视频会议，仅利用主流标准进行压缩，仍然无法达到要求帧率，因此，需要在编码端减少输入视频帧率，对低帧率视频作编码，而对解码后的低帧率视频进行帧率上转换。

帧率上转换的主流技术是运动补偿法，它的基本要素是运动估计和运动补偿内插。运动估计对运动补偿帧率上转换性能具有极大影响，而运动补偿内插的实施也需依靠不同的运动估计策略。目前，现有的运动补偿帧率上转换可分为三类：1)单向运动估计；2)双向运动估计；3)多假设运动估计。单向运动估计首先估计出前后两帧间的运动向量场，随后，沿着运动轨迹平移各块内插出新帧，然而，视频帧存在的遮挡问题和异常运动向量会导致新帧中出现空洞和重叠现象。根据运动对称假设，双向运动估计为内插帧的每块分配唯一运动向量，从而避免了重叠与空洞问题，然而，当物体运动失去对称性时，它就无法确保运动估计的准确性，除此之外，由于内插块是未知的，视频帧存在的大量周期重复性模式也会导致不准确的运动向量。多假设运动估计估计出多种运动向量场，相应的运动补偿内插则是充分利用这些具有不同准确度的运动向量场以最大后验概率准则生成内插帧，尽管它能够提供显著地性能提升，但是它的计算复杂度是传统方法的若干倍。由上可知，如何提高运动估计精度，较好地克服遮挡与异常运动向量引起的不良效应，并确保低计算复杂度，生成高质量的帧率上转换信息是目前亟待解决的技术问题。

发明内容

技术问题：本发明为解决在低计算负担下确保高精度运动估计，提出了一种基于色度混合匹配的帧率上转换方法，进一步改善运动补偿帧率上转换性能。

技术方案：为了实现上述目的，本发明借助于色度混合匹配，分别提出时空运动向量提纯和高容错运动向量平滑提纯内插帧的运动向量场，双加权重叠块运动补偿也被提出用以减弱运动补偿内插中的边缘模糊与遮挡问题。其包括如下步骤：

S1：块匹配准则首先通过采用色度混合匹配模型进行改善，受Bayer模式启发，色度混合匹配模型混合亮度与色差成份至一个二维平面，因此，单次作绝对差值和运算就可近似计算视频序列中多个通道的差值，基于色度混合匹配模型的块匹配准则充分利用多通道上的信息，与此同时，减少计算复杂度。由于块匹配准则是运动估计各模块中的基本要素，因此，其对运动补偿帧率上转换整体性能有着较大的积极影响。

S2：内插帧的前后运动向量场将分别计算，它们被使用去联合内插新帧，为了减少前后运动估计的计算复杂度，三维递归搜索方法被用于生成前后帧的前向与后向运动向量场。基于大量的实践经验，更合适的候选运动向量集合和单次迭代被用于三维递归搜索方法，其有助于权衡运动估计精度与搜索速度。

S3：为了克服现存运动向量提纯方法总会导致不平滑运动向量场的问题，提出时空运动向量提纯得到更可靠的运动向量场，并依靠运动向量场的时空一致性假设，隐式地嵌入平滑约束至提纯过程。

S4：提出高容错运动向量平滑抑制边缘的过平滑，它采用加权方法检测不准确的运动向量以抑制邻近运动向量中的异常不误导检测结果，由于这些异常经常出现在边缘地区，传统基于空间相关性的纠错法将由基于时间相关性的方法替换。

S5：利用前后运动向量场，双加权重叠块运动补偿被提出缓解边缘过平滑和遮挡：

S51：为了减少边缘过平滑，当前块在前后帧中匹配块的加权平均被用于分别计算前后向运动向量场的两个内插块候选，其中匹配块的加权系数根据重叠区域绝对差值和计算，重叠区域绝对差值和代表了内插块与邻近块的连续性；

S52：为了缓解遮挡问题，根据基于色度混合匹配模型的双向绝对差值和度量前后向运动向量的可靠性，两个内插块候选将被再次加权。

有益效果：本发明提出了一种基于色度混合匹配的帧率上转换方法，其中混合色度匹配模型可减少由噪声和重复模式所导致的不准确运动向量的数量，时空运动向量提纯和高容错运动向量平滑抑制了异常运动向量数量，双加权重叠块运动补偿则可同时缓解边缘过平滑和遮挡问题。本发明以小计算代价明显改善内插帧的主客观质量，获得了良好的视觉效果。

附图说明

图1为本发明的流程

图2为混合色度匹配模型的构造过程

图3为三维递归搜索方法中候选运动向量的相对位置

图4为时空运动向量提纯中候选提纯运动向量集

图5为运动向量窗口和运动异常实例：(a)运动向量窗口；(b)运动异常实例

图6为双加权重叠块运动补偿方法流程

图7为重叠区域绝对差值和实例

具体实施方式

下面结合附图和对本发明的技术方案作进一步的说明。

本发明提出的运动补偿帧率上转换方法整体流程如图1所示，包括基于色度混合匹配模型的块匹配准则、基于三维递归搜索的前后向运动估计、时空运动向量提纯、高容错运动向量平滑和双加权重叠块运动补偿。具体实施步骤如下：

S1：受Bayer模式的启发，构造出色度混合匹配模型，如图2所示。由于人眼视觉系统相对地更加关注亮度细节，因此，色度混合匹配模型包含有较多的亮度采样点。Y通道上块B_i，j的亮度采样点位置B_i，j ^Y由菱形下采样决定。经过大量的统计分析，常见自然图像的频谱主要分布在二维频谱中以原点为中心、4个顶点在直角坐标轴上的一个菱形范围内，这是由于在自然场景图像中，垂直的和水平的物体、线条、运动等比在其他方向上要多，因而，反映在频谱上就是水平和垂直方向的高频分量要比其他方向多。基于该经验，色度混合匹配模型使用菱形下采样来避免在下采样过程可能引入的频谱混叠失真。考虑到人眼视觉系统对彩色信息并不敏感，彩色信息将被适当地丢弃，块B_i，j在U和V通道上将通过均匀下采样分别获得采样位置B_i，j ^U和B_i，j ^V。为了不引入过多的计算复杂度，在容忍一定失真的前提下，下采样前的低通滤波过程将被忽略。将B_i，j ^Y、B_i，j ^U和B_i，j ^V合并就形成了最终的色度混合匹配模型，那么，前向的基于色度混合匹配模型的绝对差值和可设计如下：

式中f_t-1、f_t+1分别是前参考帧、后参考帧，Y_t+1(·)与Y_t-1(·)分别表示f_t+1与f_t-1的亮度成份，U_t+1(·)和U_t-1(·)分别是f_t-1和f_t+1的蓝色差分量，V_t+1(·)和V_t-1(·)分别是f_t-1和f_t+1的红色差分量。由于色差分量的误差能量常小于亮度分量的误差能量，因此，通过引入W适当地放大U和V通道上的绝对差值和。后向的基于色度混合匹配模型的绝对差值和也能以上式相似的形式构造。基于色度混合匹配模型的双向绝对差值和被设计如下：

利用格式分别为CIF(352×288)、720P(1280×720)和1080P(1920×1080)的若干测试序列评估在不同W值下的算法性能，发现最优W值出现在[4，12]范围内。因此，W将被设置为8。

S2：三维递归搜索方法采用MCMP-SAD计算f_t-1与f_t+1间的前后向运动向量场。在本示例中，仅详细描述前向运动估计的流程，对于后向运动估计，其与前向运动估计类似，仅是沿着相反方向执行。由f_t+1到f_t-1的前向运动向量v_f0可计算如下：

式中CS为三维递归搜索方法的候选运动向量集，其候选运动向量位置如图3所示，这些候选运动向量分别是：零向量0，当前块位置B_i，j(中心)处的运动向量，空间邻域块位置S_a(上方)和S_b(左侧)处的运动向量，时间邻域块位置T_a(下侧)和T_b(右侧)处的运动向量，以及空间邻域块位置U_a(左上方)和U_b(右上侧)处的随机扰动运动向量，如下表示：

CS＝{0，MVF_t+1，t-1(S_a)，MVF_t+1，t-1(S_b)，

MVF_t-1，t-3(T_a)，MVF_t-1，t-3(T_b)，R_a，R_b∈US

MVFt_+1，t-1(U_a)+R_a，MVF_t+1，t-1(U_b)+R_b}

式中MVF_t+1，t-1表示f_t+1到f_t-1的运动向量场，MVF_t-1，t-3表示f_t-1到f_t-3的运动向量场。

S3：获得f_t-1与f_t+1间的前后向运动向量场后，提出的时空运动向量提纯方法将利用它们分别为内插帧内各块分配唯一的前向运动向量v_f和后向运动向量v_b。本示例详细介绍前向运动向量提纯过程，后向运动向量提纯仅是沿着相反方向进行相同的运算。在前向情形中，当计算内插帧f_t的前向运动向量场MVF_t，t-1时，由f_t-1到f_t-3的运动向量场MVF_t-1，t-3和由f_t+1到f_t-1的运动向量场MVF_t+1，t-1是已知的，因此，由f_t-1到f_t-2的运动向量场MVF_t-1，t-2和由f_t+1到f_t的运动向量场MVF_t+1，t可计算如下：

MVF_t-1，t-2＝MVF_t-1，t-3/2

MVF_t+1，t＝MVF_t+1，t-1/2

根据上述的时间邻域运动向量场，时空运动一致性可隐含地加入至前向运动向量提纯，通过如图4所示的候选提纯运动向量集RS，其可表示如下：

RS＝(0，MVF_t，t-1(S₁)，MVF_t，t-1(S₂)，MVF_t，t-1(S₃)，MVF_t，t-1(S₄)

MVF_t+1，t(T₁)，MVF_t+1，t(T₂)，MVF_t-1，t-2(T₃)，MVF_t-1，t-2(T₄)}

其中零向量0加入至RS中是因为零向量出现频率较高。最后，由f_t到f_t-1的前向运动向量v_f可计算如下：

S4：高容错运动平滑方法去纠正边缘区域内不准确的运动向量。为了检测异常，尺寸为3×3的窗口(如图5(a)所示)自上到下从左至右依次遍历所有运动向量。在运动向量窗口内，v₀是待处理的运动向量，v₁-v₈是v₀的邻域运动向量。然而，若运动异常存在于v₁-v₈内，那么，将会对异常检测产生不良影响，例如，图5(b)显示了在邻域运动向量中v₃和v₆为运动异常。为了克服该问题，提出一个加权策略检测异常，首先计算v_m、D₀和D_m如下：

D₀＝||v₀-v_m||₂

式中v_m表示八个邻域运动向量v₁-v₈的加权均值，w_i用于度量邻域运动向量v_i的可靠度(MCMP-SBAD越小，v_i的可靠度越高)，D₀表示v_m与v₀的欧式距离，D_m表示v_m与八个邻域运动向量之间欧式距离的平均，||·||₂代表l₂范数。若D₀＞D_m，v₀被认为是一个异常。加权检测可阻止v_m接近八个邻域运动向量内的异常，因此，提高了异常检测的准确度。由于运动异常经常会出现在边缘区域，因此，HFT-MVS算法将使用时间相关性纠正异常，如下：

式中V_in是由相邻块的非异常运动向量组成的集合。

S5：为了阻止边缘过平滑和遮挡现象，提出的双加权重叠块运动补偿方法将联合前后向运动向量场利用空间与时间加权生成内插帧。具体的实施过程如图6所示，描述如下：

S51：对于空间加权策略，利用前向运动向量分别从f_t-1与f_t+1中抽取参考块X_fp和X_fn，接着，利用下式生成前向候选块X_fc：

X_fc＝α_fpX_fp+α_fnX_fn

其中α_fp和α_fn分别表示评估X_fp、X_fn与它们空间邻域块连续性的加权系数。采用重叠区域绝对差值和计算加权系数α_fp和α_fn。图7列举了计算重叠区域绝对差值和时，当前块与空间邻域块的关系，其计算表达式为：

Λ_m，n＝B_i+m，j+n⌒O_i，j

v_i+m，j+n＝MVF_t，t-1(B_i+m，j+n)

式中B_i，j是当前内插块的位置，B_i+m，j+n(m，n＝-1，0，1)是其空间邻域块的位置，O_i，j为B_i，j和B_i+m，j+n的重叠区域。SOAD_fp和SOAD_fn可反映X_fp、X_fn与它们空间邻域块连续性，且连续性越强，SOAD_fp和SOAD_fn取值越小。因此，α_fp和α_fn可计算如下：

后向候选块X_bc也可计算如下：

X_bc＝α_bpX_bp+α_bpX_bn

式中X_bp和X_bn是利用后向运动向量v_bc从f_t-1与f_t+1中抽取的参考块，SOAD_bp和SOAD_bn分别为X_bp、X_bn与它们空间邻域块的重叠区域绝对差值和。

S52：对于时间加权策略，最终的内插块X_c将由X_fc和X_bc通过加权β_f和β_b求和得到，表达如下：

X_c＝β_fX_fc+β_bX_bc

其中β_f和β_b分别用于度量前后向运动向量v_fc和v_bc的可靠性。MCMP-SBAD被用于度量运动向量的可靠度。MCMP-SBAD值较低，表示该运动向量相对更加真实，其造成遮挡现象的概率越低，因此，β_f和β_b可计算如下：

TC_f＝MCMP-SBAD(B_i，j，v_fc，t)

TC_b＝MCMP-SBAD(B_i，j，-v_bc，t)

时间加权策略使最终的内插块X_c自适应地接近X_fc和X_bc中具有更大时间相关性的一个，而高时间相关性将确保运动向量的可靠性，降低遮挡出现的概率，因此，遮挡问题可得到有效缓解。

本发明的仿真结果

实施若干种实验评估本发明提出的帧率上转换方法性能。测试序列使用两种格式CIF(352×288)和1080P(1920×1080)，其中CIF格式的测试序列包括Foreman、Pairs、Football、Stefan、Tennis、Mobile和Bus，1080P格式的测试序列包括Pedestrian、RushHour和Tractor。为了评估内插帧的质量，每个测试序列的前50个偶数帧被移除，接着，它们通过各种内插算法由前50个奇数帧再次生成，最后，再计算生成内插帧与原始帧之间的PSNR(峰值信噪比)值以反映内插帧的客观质量。对比算法采用四类方法如下：文献C.Wang和S.G.Jeong提出的基于单向运动估计的内插方法，文献B.D.Choi和S.J.Kang提出的基于双向运动估计的内插方法，以及文献H.B.Liu和S.G.Jeong提出的基于多假设运动估计的内插方法。

表1列出了在格式为CIF和1080P的不同测试序列下各视频帧率上转换方法重建出内插帧的平均PSNR值，可看出与除多假设运动估计类方法外的对比方法相比，本发明获得了更高的PSNR值，例如，对于包含有缩放场景、旋转和慢速平移运动的Mobile序列，本发明获得了3.11dB～8.28dB的PSNR增益。与多假设运动估计类方法相比，本发明平均上降低约0.44dB，仅在少数序列下获得了更高的PSNR值，例如，对于Football和Tractor序列，与H.B.Liu方法相比，本发明分别获得了0.13dB和0.71dB的PSNR增益，而对于Mobile序列，本发明也比S.G.Jeong方法高出1.89dB。然而，由于需要多个不同密度的运动向量场，多假设运动估计类方法具有较大的计算复杂度，尤其对于S.G.Jeong方法，若干复杂的视频分析工具(视频分段，纹理综合等)将进一步在H.B.Liu方法基础上引入沉重的计算负担，因此，多假设运动估计类方法的良好性能是以增加计算复杂度为代价的。如表2所示，由于提出算法使用了简单的预测搜索技术，且仅利用单运动向量场内插边信息，所以它具有相对轻的计算负担。与其他仅利用单运动向量场的对比方法相比，本发明以较小的计算复杂度缩短了与多假设运动估计类方法的性能差距，甚至在个别情况下，本发明性能也超出了多假设运动估计类方法。

表1格式为CIF和1080P的不同测试序列下各视频帧率上转换方法生成内插帧的平均PSNR值(dB)

表2对于CIF和1080P格式的视频序列各视频帧率上转换方法生成内插帧所需的平均处理时间(s/Frame)

Claims

1.一种基于色度混合匹配模型的视频帧率上转换方法，其特征在于该方法借助于色度混合匹配模型，分别提出时空运动向量提纯方法和高容错运动向量平滑方法提纯内插帧的运动向量场，双加权重叠块运动补偿方法也被提出用以减弱运动补偿内插中的边缘模糊与遮挡问题。

2.如权利要求1所述的色度混合匹配模型，其特征在于混合亮度与色差成份至一个二维平面，单次作绝对差值和运算就可近似计算视频序列中多个通道的差值，基于色度混合匹配模型的块匹配准则充分利用多通道上的信息，与此同时，减少计算复杂度，由于块匹配准则是运动估计各模块中的基本要素，因此，其对运动补偿帧率上转换整体性能有着较大的积极影响。

3.如权利要求1所述的时空运动向量提纯方法，其特征在于依靠运动向量场的时空一致性假设，隐式地嵌入平滑约束至提纯过程。

4.如权利要求1所述的高容错运动向量平滑方法，其特征在于采用加权方法检测不准确的运动向量以抑制邻近运动向量中的异常不误导检测结果，由于这些异常经常出现在边缘地区，传统基于空间相关性的纠错法将由基于时间相关性的方法替换。

5.如权利要求1所述的双加权重叠块运动补偿方法，其特征在于：(1)为了减少边缘过平滑，当前块在前后帧中匹配块的加权平均被用于分别计算前后向运动向量场的两个内插块候选，其中匹配块的加权系数根据重叠区域绝对差值和计算，重叠区域绝对差值和代表了内插块与邻近块的连续性；(2)为了缓解遮挡问题，根据基于色度混合匹配模型的双向绝对差值和度量前后向运动向量的可靠性，两个内插块候选将被再次加权。