CN102447903A - 基于边缘强度的i帧大小估计 - Google Patents

Abstract

本发明的各种实施方案涉及基于整体边缘强度值和用于对应的压缩帧的可用比特率来选择量化参数集的视频编码的系统、装置和方法。使用I帧的整体边缘强度值与用于对应的压缩帧的可用比特率/最大目标帧大小之间的数学相关性来选择量化参数。

Description

基于边缘强度的I帧大小估计

技术领域

本发明涉及视频编码，并且具体地，涉及基于I帧的整体边缘强度值和用于其对应的压缩帧的可用比特率(available bitrate)来选择用于该I帧的量化参数。

背景技术

对视频图像进行压缩，以降低通过广播服务、无线系统、互联网或局域网进行传输所需的带宽。传输以这样的方式被实现，以致达到特定帧的压缩质量与用于压缩该帧的比特量之间的平衡。

确定压缩视频帧的比特大小的一个因素是有损量化处理，有损量化处理减少用于对原始表征进行编码的数据量。量化参数集定义如何执行量化处理以及在这个过程期间丢失的数据量。最新的国际视频编解码器标准H.264或MPEG-4提供52个量化参数集，每个量化参数集与不同的视觉品质和帧大小相关联。

在通常包括三个主要功能块(参考解码器、参数选择器和视频编码器)的视频编码系统中使用传输速率控制。参考解码器从编码器接收反馈，并且根据解码器缓冲区的状态来限制比特率。输入帧被压缩为优选大小，以使得该帧被以特定的比特率传输，而不引起缓冲区上溢或下溢。因此，在目标帧大小给定的情况下，需要用于从根据所用视频编解码器标准识别的量化参数的列表选择合适的量化参数集的参数选择器。由于与可用量化参数相关联的帧大小是离散值，所以所选择的量化参数集仅可以导致不超过容许大小的优选帧大小。量化参数选择的错误可以导致正被编码的视频帧的不期望的比特数量，并且可以引起缓冲区上溢或下溢。

选择量化参数的典型方法是从先前编码的帧(一个或更多个)对用于当前帧的量化参数进行外插；然而，当前帧和先前帧共享相同复杂度的基本假设可以引起高的误差概率。如果不涉及明显的场景变化，则参考解码器可以适应这样的误差。然而，即使没有任何场景变化，对于内帧(I帧)，内容复杂度的提高仍可以产生估计误差。而且，在实时编码应用中，编码器被限制为仅运行单行程(帧)。

因此，所需要的是解决现有技术中的上述缺点的系统和方法。

发明内容

本发明的各种实施方案涉及基于整体边缘强度值和用于对应的压缩帧的可用比特率来选择量化参数集的视频编码的系统、装置和方法。结果，基于I帧本身的特性，而不是依赖于可随场景变化的前帧特性来选择该I帧的量化参数。

视频编码系统的某些实施方案包括参考解码器、码率(rate)量化模型模块和视频编码器。码率量化模型模块依赖于在帧的预处理期间识别的整体边缘强度(GE)值和取决于参考解码器内的缓冲区(一个或更多个)的状态的可用比特率。

使用I帧的整体边缘强度与用于对应的压缩帧的目标帧大小之间的数学相关性来选择量化参数。具体地，基于在特定帧的预处理期间产生的整体边缘强度值和根据参考解码器缓冲区提供的目标帧大小来选择用于该特定帧的量化参数。所选择的量化参数允许在仍在由参考解码器提供的可用码率内工作的同时保持I帧的优选压缩质量。本领域技术人员将认识到可以使用各种方法来实现计算帧的整体边缘强度值的方式，所有这些方法都意图落在本发明的范围内。另外，本领域技术人员将认识到在基于I帧的整体边缘强度值和可用比特率来选择该I帧的量化参数(一个或更多个)时可以利用各种方法，所有这些方法都意图落在本发明的范围内。

在本发明内容部分中已经整体上描述了本发明的某些特征和优点；然而，本文介绍了另外的特征、优点和实施方案，或者本领域的普通技术人员鉴于本发明的附图、说明书及权利要求书将清楚另外的特征、优点和实施方案。因此，应该理解，本发明的范围不应该被本发明内容部分中所公开的特定实施方案限制。

附图说明

将对本发明的实施方案进行论述，本发明的示例性实施方案可以在附图中被图示说明。这些附图的意图是示例性的，而不是限制性的。虽然在这些实施方案的上下文中一般性地描述本发明，但是应该理解并非意图将本发明的范围限制为这些特定的实施方案。

图1图示说明根据本发明的各种实施方案的使用外部产生的整体边缘强度的视频编码系统的框图。

图2图示说明根据本发明的各种实施方案的使用内部产生的整体边缘强度的视频编码系统的框图。

图3图示说明根据本发明的各种实施方案的帧大小和整体边缘强度的线性相关性。

图4图示说明根据本发明的各种实施方案的基于整体边缘强度的码率量化模型模块。

图5图示说明根据本发明的各种实施方案的示出用于识别优选帧大小和量化参数的方法和数据路径的流程图。

图6描绘根据本发明的实施方案的计算系统的实施例的框图。

具体实施方式

本发明的实施方案提供用于视频编码器的系统、装置和方法，并且具体地，涉及其中所用的量化参数的选择。在以下描述中，为了说明的目的，对特定细节进行了陈述，以便提供本发明的理解。然而，本领域技术人员将清楚的是，可以在没有这些细节的情况下实施本发明。本领域技术人员将认识到可以以各种方式和使用各种结构来执行以下所描述的本发明的实施方案。本领域技术人员还将认识到，如在其中本发明可以提供实用性的另外的领域那样，另外的修改、应用和实施方案在本发明的范围内。另外，本发明的各种实施方案可以用硬件、固件、软件或者它们的组合来实现。因此，以下所描述的实施方案图示说明本发明的特定实施方案，并且意在避免模糊本发明。

本说明书中“一个实施方案”或“实施方案”的指代表示结合实施方案所描述的特定特征、结构、特性或功能被包括在本发明的至少一个实施方案中。本说明书中的各个地方出现的术语“在一个实施方案中”不必全部针对同一个实施方案。

图1图示说明根据本发明的各种实施方案的使用在帧的预处理期间产生的整体边缘强度值的视频编码系统的框图100。该视频编码系统包括参考解码器(RD)、码率量化(RQ)模型和视频编码器。预先为通信信道确定比特率，并且基于比特率总是被控制在容限内的假设来构造该视频编码系统。

参考解码器101具体用于限制可以以多快的速度从编码器103产生比特流数据和需要比特流和编码图片的多少缓冲。帧大小的界限根据所容许的比特率来识别。参考解码器中的内部缓冲区为其大小超过界限的帧临时储存过多的信息；然而，如果帧大小太大，则不得不丢弃帧。由于损失巨大的信道可能是由导致帧被丢弃的各种因素或者由缓冲区下溢引起的传输延时所引起的，所以该比特率的管理很重要。

码率量化模型模块102产生与在视频压缩/编码处理内执行的量化操作相关的量化参数。在现有技术的单行程(single-pass)或多行程(multi-pass)视频编码系统中，基于前帧的信息产生用于特定帧的量化参数。具体地，通过对前组图片(GOP)的量化参数进行平均来推导用于帧内编码帧(I帧)的量化参数。然而，如果当前组图片显示出与前面的组没有相关性，则该量化模型模块将会导致错误。

在本发明的各种实施方案中，码率量化模型模块102基于被称为整体边缘强度的输入参数来选择用于帧的量化参数(一个或更多个)。与常规模型相比，该码率量化模型模块易于实现，并且处理过程与帧历史无关，而是基于当前帧。码率量化模型模块102与场景的内容类型或内容变化或者跨多个帧的运动的相关性也较小。

图2图示说明还包括用于产生整体边缘强度值的预处理器201的视频编码系统的框图200。本领域技术人员将认识到可以在视频编码系统的预处理器或者位于该系统外部的处理器内产生该整体边缘强度值。码率量化模型模块03基于分别由参考解码器202提供的最大容许帧大小和由201提供的整体边缘强度来识别目标量化参数。与用于视频编码系统100的编码器103中类似，基于视频编码器204中的量化参数对视频帧进行压缩。

在某些实施方案中，使用边缘检测来计算整体边缘强度(GE)，边缘检测是一种用于识别图像亮度急剧变化或者具有不连续性的点的信号处理中的图像处理工具。帧中的每个点处的图像强度的梯度在数学上被表征为Sobel内核(kernel)。位于(x，y)处的点的Sobel边缘强度(SE)被表征为：

$\mathrm{SE}(x,y)=\underset{i=1}{\overset{1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}S(i,j)I(x-j,y-j)---\left(1\right)$

其中，S(i，j)为Sobel内核，并且I(x，y)为图像。对于每个像素，计算垂直、水平和两个对角方向的Sobel边缘强度。以下给出用于水平方向的Sobel内核，并且通过将水平内核适当地旋转来获得用于其他方向中的每一个的内核。

$\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right)$

用于宏块的平均边缘强度(SE_mb)被计算为所有点的Sobel边缘强度的平均值。在使用H.263和H.264的编解码器中，总体宏块大小固定为16x16像素，并且平均边缘强度SE_mb被推导为：

${\mathrm{SE}}_{\mathrm{mb}}\left(k\right)=\frac{1}{256}\underset{i=-0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}\left|\mathrm{SE}(i,j)\right|---\left(2\right)$

整个视频帧的整体边缘强度(GE)被定义为所有宏块的平均边缘强度之和：

$\mathrm{GE}=\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{SE}}_{\mathrm{mb}}\left(k\right)---\left(3\right)$

其中，N为视频帧中的宏块的总数。

本领域技术人员将认识到可以利用可替换的边缘检测算子(诸如Prewitt、Canny或Gradient边缘检测器)来获得整体边缘强度，并且上述算子，Sobel内核，被意图作为实施例。

帧大小和整体边缘强度显示出如图3中所示的线性相关性。在给定的量化设置，帧大小(S)与整体边缘强度(GE)之间的线性近似被表征为：

S(QP)＝α_i*GE+β_i                (4)

其中，α_i和β_i为取决于所应用的特定级i的量化参数的常数。例如，由于H.264标准具有52个级别的量化，所以对于H.264视频编码系统，存在52个线性相关性。常数α和β的准确值取决于各个编码参数，诸如量化矩阵、死区矩阵和熵编码模式，这些参数中的大多数是通过编码设置而预先确定的常数。

图4是图示说明使用整体边缘强度和目标帧大小(或目标比特率)的码率量化模型模块的框图400。图5是图示说明用于识别优选帧大小和量化参数的对应方法和数据路径的流程图500。帧大小接口402提供由参考编码器101或202产生的目标帧大小或比特率(并且还可以包括容限)，而整体边缘强度值由边缘强度接口401提供。量化参数处理器403是应用特定方法和从与整体边缘强度值和目标帧大小(或比特率)相关的列表选择优选量化参数的核心部件。内部存储器404被用于储存量化参数列表、常数(α和β)的列表和处理器403所需的中间数据。

处理器403中所使用的方法可以通过下述方式实现，即，识别最佳地拟合帧的整体边缘强度与目标帧大小或者如根据系统的容限定义的帧大小范围之间的相关性的优选量化参数。对于每个量化参数集，存在用于获得帧所需的已知整体边缘强度的特定的帧大小。优选量化参数集可以导致与最大大小偏差最少或者仅需要落在最大帧大小的某个范围内的帧大小。一旦标准被指定，几种方法就可以应用于在501中有效率地搜索最优量化参数。以下提供这样的方法的两个实施例：

(1)顺序搜索引起相对于整体边缘强度和目标帧大小对每个可能的量化参数集的分析。在每个搜索步骤中，首先对于特定的量化参数计算帧大小，并且如果容许帧大小与计算的大小之间的差值为正，则将差值与先前储存在存储器中的最小大小差值进行比较。更小的差值替换储存的值；否则，搜索向前移动到下一量化设置。重复比较和储存处理，直到所有的量化参数被验证并且最佳的量化参数集被选择为止。以下给出H.264视频编码系统中所使用的采样方法。

例如，在索引在0-51范围内变化的H.264编码系统中，帧大小通常随着量化索引增大而单调地减小。在H.264编码系统中，如果索引从51开始减小，则当帧大小增大到大于容限时，可以终止顺序搜索，或者，如果索引从0开始增大，则当帧大小降至低于容限时，可以终止顺序搜索。顺序搜索的效率在这样的单调系统中被显著地增加。

(2)迭代搜索。虽然迭代搜索不需要从量化参数列表中的任何特定位置开始，但是第一或最后量化参数通常被用作起点。例如，在H.264编码系统中，搜索可以从第一量化参数集开始。如果计算的帧大小大于最大容许帧大小，则对于最后(第52个)量化参数集进行重复比较。两个索引号(index_max和index_min)被储存在存储器中，一个用于最后一次好于容限的量化，而另一个用于最后一次坏于容限的量化。下一次迭代移动到其索引为那两个储存索引的平均值的量化设置，并且然后在迭代之后刷新它们。一旦这两个储存索引是连续整数，则迭代可以终止，并且应该使用以更高的索引(index_max)识别的量化参数。表1示出识别如H.264编码系统中所优选的第15个量化参数的步骤。该迭代搜索仅需要8次迭代来识别目标量化参数。不管处理的相对复杂度如何，迭代搜索通常是比顺序搜索的时间效率更高并且更快。

表1.H.264编码系统中的迭代搜索的实施例

本领域技术人员将认识到，可以在搜索中利用各种迭代方法，并且上述方法的意图是作为两个实施例。

处理器403中可应用的可替换方法通过下述方式实现，即，将优选的量化情况识别为：具有与容限相同的帧大小，同时整体边缘强度只比实际的好。该方法基于图3中的所有相关性都显示出正线性的事实。如果最大容许帧大小对应于某个整体边缘强度，则较小的整体边缘强度仅需要较小的帧大小。为了对每种量化情况计算整体边缘强度GE，公式(4)被调整为：

GE(QP)＝α_i*S_T+β_i            (5)

其中，α_i和β_i为与量化参数相关联的常数，并且S_T为帧大小容限。数学上，计算的整体边缘强度可以甚至小于零，这在实际中是不可行的，并且仅仅指示使用这样的帧大小可能无法实现特定的量化。对于具有最大容许大小的帧，最优量化参数允许更好的整体边缘强度，同时使得与实际强度的偏差最小。实际的帧大小和图像细节被最大化。

除了对于视频帧中的弱边缘(faint edge)可能无法使用公式(1)中的Sobel边缘强度来准确描述的情况之外，图5中的识别量化参数和帧大小的方法是有效的且实际可行的。在具有甚低频信息的均匀视频帧(flat video frame)中观察到这种异常情况。如果多于50％的宏块具有零边缘强度，则基于整体边缘强度估计的该方法不是那么准确。在大多数情况下，实际的帧大小趋向于为预测大小的1.5倍；因此，必须调整帧大小与整体边缘强度之间的线性相关性来适应异常情况。

预处理器201可以集成另外的功能块，所述功能块针对较低边缘强度设置bin大小(binsize)的阈值，并且对具有比阈值低的边缘强度的宏块进行计数。一旦多于50％的宏块具有零边缘强度，则自动将调整应用于由处理器403产生的估计的帧大小。不管各种可应用的数学方法如何，建议的调整都是在将计算的帧大小与最大容许帧大小进行比较之前将1.5的比例应用于计算的帧大小。调整的帧大小被用于搜索处理501，以识别优选量化参数。结果，通过这种调整，20％错误率中的大部分可被消除。

如前所述，本发明可以用硬件、固件、软件或者它们的组合来实现。例如，用于实施本发明的各个方面的功能可以用以多种方式实现的部件来执行，包括离散逻辑部件、一个或更多个特定应用集成电路(ASIC)和/或编程控制的处理器。应该指出，实现这些项目的方式对于本发明并不重要。

图6描绘可以实现或体现本发明实施方案的指令-执行/计算系统600的实施方案的功能框图。如图6所图示说明的，处理器602执行软件指令，并且与其他系统部件交互。在实施方案中，处理器602可以是通用处理器，诸如(作为示例，而不是限制)AMD处理器、INTEL处理器、SUN MICROSYSTEMS处理器或者POWERPC兼容CPU，或者处理器可以是一个特定应用处理器或多个特定应用处理器。储存装置604可以是硬盘驱动器和/或能够储存数据的另一个装置，诸如磁或光学介质(比如，磁盘、磁带、光盘、DVD等)驱动器或者固态存储装置。储存装置604可以保存用于与处理器602一起使用的程序、指令和/或数据。在实施方案中，储存在储存装置604上或者从储存装置604加载的程序或指令可以被加载到存储器606中，并且被处理器602执行。在实施方案中，储存装置604保存用于在处理器602上实现操作系统的程序或指令。在一个实施方案中，可能的操作系统包括，但不限于，UNIX、AIX、LINUX、微软的Windows和苹果的MAC OS。在实施方案中，操作系统在计算系统600上执行，并且控制计算系统600的操作。

在实施方案中，计算系统600提供与其他装置、其他网络或者这二者通信的能力。计算系统600可以包括用于将计算系统600与其他网络和装置通信耦合的一个或更多个网络接口或适配器612、614。例如，计算系统600可以包括网络接口612、通信端口614或者这二者，网络接口612和通信端口614均与处理器602通信耦合，并且可以被用于将计算系统600与其他计算机系统、网络、数据库和/或装置耦合。

在实施方案中，计算系统600可以包括与处理器602耦合的便利显示图形和文本的一个或更多个输出装置608。输出装置608可以包括，但不限于，显示器、LCD屏幕、CRT监视器、打印机、触摸屏或者用于显示信息的其他装置。计算系统600还可以包括用于帮助在输出装置608上显示信息或图像的图形适配器(未显示)。

与处理器602耦合的一个或更多个输入装置610可以被用于便利使用者输入。输入装置610可以包括，但不限于，诸如鼠标、轨迹球或触摸板的指点装置，并且还可以包括用于将数据或指令输入到计算系统600中的键盘或键区。

在实施方案中，计算系统600可以通过通信端口614、网络接口612、存储器604/606中储存的数据接收输入，或者通过输入装置610从视频摄像机(video camera)、摄像机(camera)、扫描仪、复印机、传真机或其他计算装置接收输入。

本领域技术人员将认识到没有计算系统对于本发明的实施是关键性的。本领域技术人员还将认识到上述许多元件可以在物理上和/或功能上被划分为子模块或者被组合在一起。

应该指出，本发明的实施方案还可以涉及具有计算机可读介质的计算机产品，所述计算机可读介质上具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是为了本发明的目的而专门设计和构造的那些介质和计算机代码，或者它们可以是相关领域的技术人员已知或者可用的种类。计算机可读介质的实施例包括，但不限于：磁介质，诸如硬盘、软盘和磁带；光学介质，诸如CD-ROM和全息照相装置；磁光介质；以及被专门配置来储存或者储存并执行程序代码的硬件装置，诸如特定应用集成电路(ASIC)、可编程逻辑器件(PLD)、闪存装置以及ROM和RAM装置。计算机代码的实施例包括诸如由编译器生成的机器代码和包含被计算机使用解释程序(interpreter)而执行的更高级代码的文件。本发明的实施方案可以全部或部分被实现为可以在被计算机执行的程序模块中的机器可执行指令。程序模块的实施例包括库、程序、例行程序(routine)、对象、组件和数据结构。在分布式计算环境下，程序模块可以在物理上被设置在本地、远程或者这二者的设置中。

尽管本发明可以有各种修改和可替换形式，但是在附图中已经示出了其特定实施例，并且在本文对这些特定实施例进行了详细描述。然而，应该理解，本发明不限于所公开的特定形式，而是相反，本发明涵盖落在所附的权利要求书的范围内的所有修改、等同和可替换形式。

Claims (20)

1.一种视频编码系统，所述视频编码系统包括：

参考解码器，所述参考解码器包括至少一个缓冲区，并且基于所述至少一个缓冲区内储存的数据量设置可用比特率；

码率量化模型模块，所述码率量化模型模块被耦合以接收视频帧的所述可用比特率和整体边缘强度值，所述码率量化模型模块基于所述可用比特率和所述整体边缘强度值来选择用于所述视频帧的优选量化参数集；

视频编码器，所述视频编码器被耦合以接收所述优选量化参数集，所述视频编码器在I帧的编码过程期间根据所述优选量化参数执行量化操作。

2.根据权利要求1所述的视频编码系统，还包括被耦合以与所述码率量化模型模块通信的预处理器，所述预处理器在所述I帧的预处理期间产生所述整体边缘强度值。

3.根据权利要求2所述的视频编码系统，其中，使用I帧的Sobel边缘强度分析产生所述整体边缘强度值。

4.根据权利要求1所述的视频编码系统，其中，所述视频编码器根据H.264国际视频编解码器标准操作。

5.根据权利要求1所述的视频编码系统，其中，所述码率量化模型模块利用顺序搜索从多个量化参数集选择所述优选量化参数集。

6.根据权利要求1所述的视频编码系统，其中，所述码率量化模型模块利用迭代搜索从多个量化参数集选择所述优选量化参数集。

7.根据权利要求1所述的视频编码系统，其中，所述码率量化模型模块包括：

帧大小接口，在所述帧大小接口上，接收可用比特率；

边缘强度接口，在所述边缘强度接口上，接收整体边缘强度值；以及

量化参数处理器，所述量化参数处理器被耦合以接收所述可用比特率和所述整体边缘强度值，所述量化参数处理器基于所述可用比特率和所述整体边缘强度值来选择所述优选量化参数集。

8.根据权利要求7所述的视频编码系统，其中，所述码率量化模型模块还包括与所述量化参数处理器耦合的存储器，所述存储器储存多个量化参数集。

9.根据权利要求8所述的视频编码系统，其中，所述优选量化参数集选自所述多个量化参数集。

10.一种用于设置用于I帧的量化参数集的方法，所述方法包括：

接收可用比特率；

接收指示所述I帧内的边缘的幅值的整体边缘强度值；

基于所述可用比特率和所述整体边缘强度值的分析从多个量化参数选择优选量化参数集；以及

根据所述优选量化参数集对所述I帧内的至少一个块执行量化处理。

11.根据权利要求10所述的方法，还包括在对所述I帧进行预处理操作期间产生所述整体边缘强度值的步骤。

12.根据权利要求11所述的方法，其中，使用Sobel边缘强度分析产生所述整体边缘强度值。

13.根据权利要求10所述的方法，其中，根据H.264标准对所述I帧进行编码。

14.根据权利要求10所述的方法，其中，使用顺序搜索从所述多个量化参数集选择所述优选量化参数集。

15.根据权利要求10所述的方法，其中，使用迭代搜索从所述多个量化参数集选择所述优选量化参数集。

16.根据权利要求10所述的方法，其中，所述可用比特率从参考解码器被接收，并且与最大容许帧大小相关。

17.一种码率量化模型模块，所述码率量化模型模块包括：

帧大小接口，在所述帧大小接口上，接收可用比特率；

边缘强度接口，在所述边缘强度接口上，接收整体边缘强度值；以及

量化参数处理器，所述量化参数处理器被耦合以接收所述可用比特率和所述整体边缘强度值，所述量化参数处理器基于所述可用比特率和所述整体边缘强度值来选择所述优选量化参数集。

18.根据权利要求17所述的模块，其中，所述码率量化模型模块还包括与所述量化参数处理器耦合的存储器，所述存储器储存多个量化参数集。

19.根据权利要求17所述的模块，其中，所述边缘强度接口还接收指示在所述I帧内存在弱边缘的弱边缘值。

20.根据权利要求17所述的模块，其中，所述弱边缘值指示补偿将被执行，以应对所述I帧内的弱边缘。

Images