CN103442231A - 一种视频编码的方法 - Google Patents

Abstract

本发明公开了一种视频编码的方法，包括如下步骤：判断当前编码的序列是否为右视点图像；将右视点图像分为16×16块；判断当前帧的当前宏块i的BJND值是否大于阈值T2；判断当前帧的当前宏块i的BJND值是否大于阈值T1；判断当前宏块i是否为当前帧的最后一个宏块；判断当前帧是否是右视点的最后一帧。通过实施本发明，显著降低了编码的复杂度。为立体视频远程通信中的实时性进行了进一步的改进，为立体视频走向实际应用起到了一定的作用。

Description

一种视频编码的方法

技术领域

本发明涉及音视频编码技术领域，具体涉及一种视频编码的方法。

背景技术

进入信息时代，计算机、通信和显示技术得到迅猛发展。模拟电视经过数十年的发展和应用，如今正被数字电视取代，高清晰电视通过增加图像显示的分辨力，进一步提高了视觉的真实性。然而以平面图像描述的2D数字电视技术远未满足人们日益增长的对场景再现更真实、更自然的需求。今后的数字视频将向着提高视觉真实感、提高交互性和模型化方向发展，而三维电视将会取代高清电视，成为下一代数字视频技术的主流。三维电视是采用人眼视觉特性原理来实现人们对电视屏幕上活动影响产立体感觉的电视系统。它在传统二维视频的基础上，增加了视觉的现实感和逼真度。用户在欣赏节目的同时，能够自由选择视点与视角。然而，这种逼真感的直接代价就是2倍甚至更多于普通视频图像的数据量，这给立体图像的传输和存储带来一定困难，所以立体视频的传输和存储必需借助于图像编码技术。因此，在带宽有限的信道中，如何提高视频信号的编码效率，就成为当前三维电视的重要研究方向。

JVT提出的JMVC公共测试环境中JMVC编码每个宏块存在两个不同的编码循环路线。一是可变块模式选择的循环，逐个搜索候选模式以找到最优宏块模式。另一个是多参考帧选择循环，通过搜索可变块模式的每一个参考帧和搜索方向选择最优参考帧。编码每一个宏块的每个帧间模式都要进行多参考帧选择。多参考帧内部存在两个选择循环，第一是List0、List1和双向迭代三个方向搜索的循环，List0和List1分别存储前向和后向参考帧。第二个循环是每个方向上参考帧选择的循环。最后比较前向、后向和双向预测的编码率失真代价值以确定最优参考帧。

对于不同的测试序列，第一参考帧被选为最优参考帧的概率最大，平均为95.66％-98.77％，远远大于第二参考帧被选为最优参考帧的概率1.23％-4.34％。这说明对于时间相关行强的测试序列，即使遍历多个参考帧，最终选择第一参考帧作为最优参考帧的概率较大。在这种情况下，利用多参考帧提高编码效率的作用并不明显，而增加的计算量无疑是一种浪费。

不同的测试序列选择第一参考帧和第二参考帧的概率值有所不同，这和测试序列本身的特性有关。对于背景比例大、运动平缓的测试序列，往往在第一参考帧中就能找到最优匹配块。而对于运动剧烈、场景变换多的测试序列，由于视频内容变化较大，第一参考帧中可能找不到较好的匹配块，需要在其它参考帧中搜寻最优匹配块。对于不同的测试序列，在相同或不同QP下，第一参考帧被选为最优参考帧的概率都很大；此外相同序列在不同QP下的概率变化不大。

因此，相对于第一参考帧，参考帧列表中其余参考帧被选为最优参考帧的概率很低，而每增加一个参考帧就会增加一倍的计算量，所以在一定条件下合理减少参考帧的数量，对降低编码器计算复杂度和编码时间有重要意义。但JMVC编码算法中并没有考虑这些问题，使得编码计算复杂度和编码时间并不是最优。

发明内容

本发明的目的是针对现有技术的不足，提出一种视频编码的方法，确定提前终止多参考帧搜索的阈值以实现多视点视频的快速编码。在保证很小的编码率失真情况下，提供最优的编码效率，显著提高多视点视频编码速度。

相应的，本发明实施例提供了一种视频编码的方法，包括如下步骤：

(1)判断当前编码的序列是否为右视点图像，如果是，进入下一步，否则不进行快速算法；

(2)将右视点图像分为16×16块，考虑到视差计算，出去图像边缘上下左右的第一个宏块并计算每一帧每一宏块的双目恰可察觉失真BJND值；

(3)判断当前帧的当前宏块i的BJND值是否大于阈值T2，如果是只进行前向和后向搜索，否则仍需要进行双向搜索；

(4)判断当前帧的当前宏块i的BJND值是否大于阈值T1，如果是则将最优搜索方向上的第一参考帧作为最优参考帧进行搜索，否则进行全搜索，以找到最优参考帧；

(5)判断当前宏块i是否为当前帧的最后一个宏块，如果不是转向步骤(3)，否则进入下一步；

(6)判断当前帧是否是右视点的最后一帧，如果是，算法结束，否则转向步骤(1)。

所述阈值T2为4，所述阈值T1为7。

本发明实施例在立体视频系统中，由于双眼各自独立接收信息，因此与单目视频相比，它在给人们带来真实感受的同时，也带来了一系列问题，最为明显的就是数据量和处理复杂程度的成倍增加，使得立体视频在远程通信、信息存储、信息处理等应用领域面临巨大考验。在有限带宽的条件下，不采用任何技术处理的立体视频信息远程传输几乎是不可能的。因此，高效的立体视频信息编码技术是立体视频走向实际应用的关键。本发明中所用到的方法是可靠和一致的。可见在允许的性能下降范围内，本发明显著降低了编码的复杂度。为立体视频远程通信中的实时性进行了进一步的改进，为立体视频走向实际应用起到了一定的作用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的视频编码的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明的目的是针对现有技术的不足，提出一种基于双目感知的多视点视频快速编码方法，确定提前终止多参考帧搜索的阈值以实现多视点视频的快速编码。在保证很小的编码率失真情况下，提供最优的编码效率，显著提高多视点视频编码速度。

为了阐述完整技术方案，我们首先介绍双目恰可擦觉失真BJND模型，BJND模型表示在背景信息和一个视点相应区域的失真给定情况下，另一个视点能够引起立体图像感知差异的最小失真。视觉心理实验证明BJND与人类视觉系统HVS的亮度适应性和对比度掩蔽特点有关。在左右视点图像给定下，定义右视点的BJND为：

BJND_R(bg(i+d)，eh(i+d)，A_l(i+d))=

$A_{C,\mathrm{limit}}(\mathrm{bg}(i+d),\mathrm{eh}(i+d))\×{(1-{\left(\frac{A_l(i+d)}{\left(A_{C,\mathrm{limit}}(\mathrm{bg}(i+d),\mathrm{eh}(i+d)\right)}\right)}^{\mathrm{\λ}})}^{1/\mathrm{\λ}}$

其中，BJNDR表示右视点图像的BJND，d表示右视点相对于左视点的视差，AC,limit是考虑对比度掩蔽效应时，左视点随机噪声幅度为零，右视点加入的能够引起双目感知失真的随机噪声幅度上限，bg(i)是区域i(例如一个宏块)像素的亮度平均值，参数λ控制左视点的噪声影响，其范围为1.0-1.5，在本发明中设置为1.25，eh(i)是区域i利用5×5Sobel算子得到的边缘梯度，Al(i+d)表示左视点相应区域i所加的最大可容忍的随机噪声幅度。现有中给出了AC,limit，eh(i)和Al(i+d)的具体求法。BJND值越大代表能够容忍的双目感知失真越小。

在不同的QP下，以视点0作为左视点对视点1和视点2编码时，将第二参考帧作为最优参考帧时，编码宏块BJND的统计规律如下：第一，R2被选择作为最优参考帧时各序列宏块对应的BJND值都不大于10，在BJND<4时，R2作为最优参考帧的比例相对较大；第二，在BJND>7时R2被选为最优参考帧的概率变得很小并趋向于0；第三，虽然各个序列将R2作为最优参考帧的比例变化过程不同，但最终在BJND大于7时该比例不会超过0.5％。对于视点2及其它QP也存在类似统计特征。基于以上分析，在编码宏块BJND大于7时因其增益有限而计算复杂度较高，可以不进行R2帧的搜索。

进一步统计了不同QP下视点1和视点2在实际编码过程中编码宏块的BJND与双向搜索间的特性。其中，视点1的双向搜索和编码宏块BJND间的统计规律如下：第一，BJDN大于7时，双向搜索的搜索比例趋向于0，而BJND小于4时双向搜索所占的百分比都相对较大；第二，双向搜索的比例在BJND小于2时都是递增的，当BJND=2时达到最大值，之后出现递减趋势直至为0；第三，当BJND值大于4时双向搜索比例不会超过0.5％。对于视点2及其它QP也存在类似统计特性。由此，可以在编码宏块BJND大于4时避免进行双向搜索。

根据以上统计分析设定算法的T1、T2分别为7、4，基于BJND的参考帧快速算法具体如下：

(1)判断当前编码的序列是否为右视点图像，如果是，进入下一步，否则不进行快速算法；

(2)将右视点图像分为16×16块，考虑到视差计算，出去图像边缘上下左右的第一个宏块并计算每一帧每一宏块的BJND值；

(3)判断当前帧的当前宏块i的BJND值是否大于阈值T2，如果是只进行前向和后向搜索，否则仍需要进行双向搜索；

(4)判断当前帧的当前宏块i的BJND值是否大于阈值T1，如果是则将最优搜索方向上的第一参考帧作为最优参考帧进行搜索，否则进行全搜索，以找到最优参考帧；

(5)判断当前宏块i是否为当前帧的最后一个宏块，如果不是转向步骤(3)，否则进入下一步；

(6)判断当前帧是否是右视点的最后一帧，如果是，算法结束，否则转向步骤(1)。

综上，在立体视频系统中，由于双眼各自独立接收信息，因此与单目视频相比，它在给人们带来真实感受的同时，也带来了一系列问题，最为明显的就是数据量和处理复杂程度的成倍增加，使得立体视频在远程通信、信息存储、信息处理等应用领域面临巨大考验。在有限带宽的条件下，不采用任何技术处理的立体视频信息远程传输几乎是不可能的。因此，高效的立体视频信息编码技术是立体视频走向实际应用的关键。

本发明中所用到的方法是可靠和一致的。可见在允许的性能下降范围内，本发明显著降低了编码的复杂度。为立体视频远程通信中的实时性进行了进一步的改进，为立体视频走向实际应用起到了一定的作用。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的一种视频编码的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种视频编码的方法，其特征在于，包括如下步骤：

(1)判断当前编码的序列是否为右视点图像，如果是，进入下一步，否则不进行快速算法；

(2)将右视点图像分为16×16块，考虑到视差计算，出去图像边缘上下左右的第一个宏块并计算每一帧每一宏块的双目恰可察觉失真BJND值；

(3)判断当前帧的当前宏块i的BJND值是否大于阈值T2，如果是只进行前向和后向搜索，否则仍需要进行双向搜索；

(4)判断当前帧的当前宏块i的BJND值是否大于阈值T1，如果是则将最优搜索方向上的第一参考帧作为最优参考帧进行搜索，否则进行全搜索，以找到最优参考帧；

(5)判断当前宏块i是否为当前帧的最后一个宏块，如果不是转向步骤(3)，否则进入下一步；

(6)判断当前帧是否是右视点的最后一帧，如果是，算法结束，否则转向步骤(1)。

2.如权利要求1所述的视频编码的方法，其特征在于，所述阈值T2为4，所述阈值T1为7。