CN1659890A - 用于在编码期间优化图像清晰度的方法和系统 - Google Patents

Abstract

本发明涉及通过在编码期间选择最佳量化参数来控制视频数据质量的方法和系统。该系统被配置成用不同范围的步长对一个或多个宏块执行量化，然后计算出相应经量化的数据的峰度，以确定所述宏块和产生最高峰度值的相应量化步长。在编码期间为输入视频数据块选择产生最高峰度值的量化步长。

Description

用于在编码期间优化图像清晰度的方法和系统

本发明涉及增强图像清晰度的方法和系统，具体地说，涉及在编码和图像增强处理过程期间优化画面清晰度质量的方法和系统。

视频专家的最终目的是为观看者提供在感觉上最有吸引力的视频图像。清晰度与视频图像内的细节的分明性有关，并且主要取决于图像的边缘明晰度。一个图像的相对清晰度可以在空间域内用与一个参考图像相比的边缘明晰度来测量，或者在经变换的域内用与边缘和精细细节相关联的高频能量与参考图像相比的差来测量。如熟悉该技术领域的人员可看到的那样，在MPEG/JPEG编码处理过程期间，对8×8的块的DCT系数的量化会在引入块状伪像(blocking artifact)的同时也导致影响清晰度的内容的损失。虽然可以减小块状伪像而不损失边缘信息，但由于DCT量化而导致的清晰度损失是不可能通过后处理恢复的。

因此，本发明提出了这样一种方法：计算由量化所引起的清晰度损失，然后用这个损失准则来有选择地调整量化参数从而在视频编码处理过程期间保持图像清晰度。

本发明是针对一种设备和方法，所述设备和方法用于通过为量化参数选择处理过程附加一个清晰度准则来控制视频清晰度质量，以使得所得到的图像对于相同的比特率预算来说在清晰度方面有所增益。

另一方面，本发明可以用一种简单、可靠而廉价的实现方式来实现。

从以下对附图所例示的优选实施例的更为详细的说明中可以清楚地看到本发明的以上及其他特征和优点，在这些附图中的标注字符所标的是相同的部件。这些附图没有必要按比例尺度示出，相反地，所强调的是例示本发明的原理。

图1为按照本发明第一实施例构建的设备的简化方框图；

图2为按照本发明第二实施例构建的设备的简化方框图；

图3为例示按照本发明控制视频质量清晰度的操作步骤的流程图；以及

图4为按照本发明第三实施例构建的设备的简化方框图。

为了能对本发明有深入的理解，出于说明而不是限制的目的在以下说明中阐述了诸如具体的体系结构、接口、技术等等之类的具体细节。为了简明起见，略去了对众所周知的设备、电路和方法的详细说明，以免让不必要的细节模糊对本发明的说明。

为了有利于对本发明的理解，首先将对与运动图像专家组(MPEG)和H.263编码有关的背景信息作一些说明。通常，对一个图像执行MPEG-2和H.263编码，这是通过将图像分成16×16个像素的宏块，每个宏块有一个独立的量化器尺度值(quantizer-scale value)与之关联。这些宏块再各被分成8×8像素的块。每个8×8像素块受到离散余弦变换(DCT)，以为其中的64个频带中的每一个产生DCT系数。一个8×8像素块内的DCT系数然后除以一个相应的编码参数，即量化权重。一个给定的8×8像素块的量化权重用一个8×8的量化矩阵表示。此后，对所述DCT系数进行附加的运算以特别考虑量化器尺度值，从而完成MPEG-2和H.263编码。应指出的是，在本发明中也可以使用诸如JPEG等之类的其他编码技术。MPEG标准定义了三种视频信息帧：内部编码帧(I帧)、前向预测帧(P帧)和双向预测帧(B帧)。I帧(或者实际的视频参考帧)被周期地编码，即每十五个帧有一个参考帧。通过合成位于特定数目帧的前面并在下一参考帧之前的视频帧(即P帧)来进行预测。B帧在I帧和P帧之间被预测，或者通过对过去的参考帧内的宏块与将来的参考帧内的宏块的内插(平均)得到。还对运动矢量进行编码，运动矢量规定参考帧内的一个宏块相对当前帧内的该宏块的相对位置。

如普通熟悉该技术领域的人员可看到的那样，许多统计分析的基本任务是表征一个数据集的位置和可变性。数据的表征可以用斜度(skewness)和峰度(kurtosis)表示。斜度是对对称性的度量，如果一个数据集在中心点左侧和右侧看起来相同的话，则这个数据集或分布可以认为是对称的。峰度是对数据相对于正态分布是峰起还是平坦的度量。峰度高的数据集往往在平均值附近具有一个显著的峰，然后迅速跌落，而且具有重的拖尾。峰度低的数据集往往在干均值附近具有一个平坦的顶而不是一个陡峭的峰。通常，例如在扫描电子显微镜成像中用峰度来计算清晰度。然而，还没有将FFT或DCT的空间频率分布的峰度应用于编码的图像和视频。因此，本发明的一个关键性原理是基于认识到峰度和斜度是与由编码所引起的清晰度损失高度相关的。

下面将参照附图对本发明进行详细说明。可以理解，为了简明起见，以下的说明省略了为熟悉该技术领域的人员所周知的传统编码器功能和编码技术的详细说明。

图1为按照本发明第一实施例的清晰度控制器10的简化方框图。特别地，图1所示的实施例在静止图像的JPEG编码期间是适用的。如图1所示，清晰度控制器10包括DCT模块12、量化模块14、清晰度控制模块16和熵编码器18，以用来在编码期间优化图像清晰度。应指出的是，清晰度控制器10可以代表微处理器、中央处理单元、计算机、电路卡或专用集成电路(ASIC)，也可以包括一个数字信号处理器。

在操作中，将由模拟视频数据经变换得到的数字图像数据转送给清晰度控制器10。输入数字图像数据被变换为一组8×8的像素块后，由DCT模块12对每个8×8块进行DCT处理，以便为其中的64个频带中的每个产生DCT系数。如熟悉该技术领域的人员可看到的那样，DCT编码适于将系数编码为特定的余弦基函数的振幅。在常规操作中，量化器14在清晰度控制模块16的控制下将一个8×8像素块内的DCT系数除以一个由清晰度控制模块16选择的特定量化参数。如熟悉该技术领域的人员所知，量化处理过程包括有意丢弃一些被认为是冗余的或对于图像的足够的感知来说不重要的频率数据。

清晰度控制模块16负责选择量化期间的DCT量化参数，即量化步长。量化表20包括一个量化步长范围，因此清晰度控制模块16可以用不同的量化步长对一个给定的宏块执行量化。在用不同的量化步长得到量化的DCT系数后，就对于相应的量化的DCT系数计算2-D峰度。注意，2-D峰度是整个m×n图像或其中任何区域的清晰度指标。然后，清晰度控制模块16为在常规操作期间量化来自DCT模块12的输出信号而选择在输入数字图像数据的所述块之一中产生最高峰度值的量化步长。此后，量化器14用由清晰度控制模块16所选择的量化步长进行量化，所输出的经量化的数据被转送给熵编码器18。如普通熟悉该技术领域的人员所知，经量化的DCT系数值分别被用诸如Huffman码之类的变长码编码，以便最小化数据率。码字和相应的码长以码长查找表的形式被包括在Huffman表22中。最后，熵编码器18对输入的经量化的DCT系数值进行压缩并提供经压缩的数据，从而完成编码。

图2为按照本发明第二实施例的清晰度控制器30的功能方框图。具体地说，图2所示的实施例适用于诸如含有运动序列的MPEG和H.26xITU系列之类的基于块的视频压缩。在国际标准ISO/IEC 11172-1的“Information Technology-Coding of moving pictures andassociated audio-for-digital storage media at up toapproximately 1.5Mbit/s(信息技术-用于速率高达约1.5Mbit/s的数字存储媒体的运动画面及相关音频的编码)”(Parts1，2 and 3，First edition 1993-08-01)中规定了MPEG的标准，在此将其全部引用以作参考。此外，应指出的是，清晰度控制器30可能代表微处理器、中央处理单元、计算机、电路卡或专用集成电路(ASIC)，也可以包括一个数字信号处理器。

如图2所示，含有图像-画面数据的输入视频流通过视频预处理器32，并被变换为一组8×8像素块。视频预处理器32的输出被输入运动估计34，运动估计将过去的画面与当前的画面数据进行比较，以产生用于对视频流内的画面数据进行时间上压缩的运动矢量。如普通熟悉该技术领域的人员所知，过去的画面存储在帧存储器46内，并且是这样得到的：为IDCT和量化模块44提供经量化的数据以进行逆DCT操作和去量化，从而解压缩像素值。运动估计34的输出被转送给DCT和量化模块36，DCT和量化模块36对每个8×8块执行DCT变换处理，以为其中的64个频带中的每一个产生DCT系数。同时，量化器14将一个8×8像素块内的DCT系数除以一个由清晰度控制模块42选择的特定量化步长。注意，量化误差(经量化的与未经量化的DCT系数之差)取决于量化矩阵和量化器尺度(称为MQANT)。由于量化矩阵基本上是恒定的，与量化参数有关的决定是根据四个8×8块作出的，其中根据在恒定比特率应用中缓存器40的状态考虑了宏块的复杂性。应指出的是，按照在MPEG标准中所提出的标准，同时处理有限的四个8×8像素块。然而，可以理解，在本说明书中的宏块数不应对本发明的范围施加限制。

量化步长的选择按以下方式执行。首先清晰度控制模块42对所给定的每四个宏块用不同范围的步长进行量化，然后对于相应的经量化的DCT系数计算峰度。然后，清晰度控制模块42为量化来自运动估计34的输出信号而选择在使四个宏块之一中产生最高峰度的量化步长。

在得到量化步长后，用由清晰度控制模块42选择的量化步长量化运动估计34的输出。由DCT和量化模块36输出的经量化的DCT系数值被转送给游程编码器38。最后，游程编码器38接收DCT和量化器36的输出以产生用于画面的经压缩的数据分组，这些分组被存储在缓存器40内，以作为一个经编码的视频流输出。运动矢量也被编码，它们规定参考帧内的一个宏块相对当前帧内的该宏块的相对位置。

图3为描述按照本发明第一和第二实施例在量化处理过程期间选择DCT量化参数的操作步骤的流程图。注意，这个流程图例示了普通熟悉该技术领域的人员为了执行具体设备所需的处理而在制作电路或生成计算机软件方面所需的功能信息。

在步骤100，对输入视频数据的一个8×8块执行DCT操作，以为其中的64个频带中的每一个得到DCT系数。然后在步骤120，对这些DCT系数用不同的步长进行量化，以丢弃冗余的或者对于图像的足够的感知来说不重要的频率数据。此后，在步骤140，对于每个宏块对所有经量化的DCT系数执行2-D峰度计算。在步骤160，确定峰度值最高的宏块。然后，在步骤180，用产生最高峰度值的步长对整个画面进行量化。

图4例示了按照本发明第三实施例的视频/图像处理系统50。举例来说，系统50可以代表电视、机顶盒、计算机(台式、膝上型或掌上型)、个人数字助理(PDA)、诸如卡带式录像机(VCR)之类的视频/图像存储设备、数字录像机(DVR)、TiVO设备等，以及这些及其他设备的部分或组合。如图3所示，系统50包括一个或多个视频/图像源52、一个或多个输入/输出设备54、一个处理器56和一个存储器58。视频/图像源52可以代表电视接收机、VCR或其他视频/图像存储设备。输入/输出设备54、处理器56和存储器58可以通过通信媒体60进行通信，通信媒体60可以代表总线、通信网络、电路或电路卡或其他设备的一个或多个内部连接，以及这些和其他通信媒体的部分和组合。程序存储器58可以代表基于盘的光或磁存储单元、电子存储器，以及这些和其他储存设备的部分或组合。

与如前面所说明的那样，与清晰度控制器10和30关联的各个功能操作可以完全或部分由一个或多个存储在存储器58内并由处理器56执行的软件程序/信号处理例程实现。然而，在其他实施例中，可以用硬件电路代替软件指令或将其与软件指令相结合来实现本发明。虽然以上对本发明的优选实施例作了例示和说明，但熟悉该技术领域的人员可以理解，在不背离本发明的真实范围的情况下可以进行各种变动和修改，也可以用等效元件代替其中的元件。此外，在不背离中心范围的情况下可以作出许多修改以适配于具体情况和本发明的教导。因此，本发明不希望被局限于作为为了执行本发明所设想的最佳方式而公开的具体实施例，而是希望包括所有属于所附权利要求书的专利保护范围的实施方式。

Claims (19)

1.一种控制视频数据的清晰度质量的方法，所述方法包括下列步骤：

(a)将输入视频数据变换成块；

(b)对所述输入视频数据的所述块执行离散余弦变换(DCT)，以产生DCT系数块；

(c)选择一个为所述DCT系数块中的一个块提供最高峰度输出的量化参数；以及

(d)用所述所选的量化参数量化所述DCT系数块，从而产生经量化的数据。

2.权利要求1的方法，所述方法还包括将所述经量化的数据编码成预定的、遵从标准的分组和发送所述遵从标准的分组的步骤。

3.权利要求2的方法，其中所述编码步骤用Huffman码执行。

4.权利要求1的方法，其中所述选择所述量化参数的步骤(c)包括下列步骤：

用预定范围内的各个步长来量化所述DCT系数块和确定其峰度；以及

确定所述DCT系数块中的一个块以及一个产生最高峰度输出的相应步长。

5.权利要求1的方法，其中所述输入视频数据是JPEG和MPEG信号之一。

6.一种控制输入视频数据的清晰度质量的设备，所述设备包括：

将所述输入视频数据变换成块的装置；

将所述输入视频块变换成DCT系数块的装置；

一个自适应地用一个量化参数量化来自所述变换装置的输出以产生经量化的数据的量化器；以及

一个与所述量化器相耦合的清晰度控制器，用来根据如下操作选择所述量化参数：用预定范围的步长量化所述DCT系数块并计算其峰度和将所述步长中的一个产生最高峰度的步长选择为所述量化参数。

7.权利要求6的设备，所述设备还包括一个用来将所述经量化的数据编码成预定的、遵从标准的分组的编码器。

8.权利要求6的设备，其中所述峰度表示所述输入视频数据块的清晰度质量。

9.权利要求6的设备，其中所述输入视频数据是JPEG和MPEG信号之一。

10.一个控制视频数据的清晰度质量的方法，所述方法包括下列步骤：

(a)将输入视频数据变换成块；

(b)对所述输入视频数据块执行运动估计分析，以产生一个参考信号；

(c)对所述输入视频数据块执行离散余弦变换(DCT)，以产生DCT系数块；

(d)选择一个为所述DCT系数块中的一个块提供最高峰度输出的量化参数；

(e)用所述所选的量化参数量化所述DCT系数块，从而产生经量化的数据；以及

(f)将所述经量化的数据和所述参考信号编码成一个预定的、遵从标准的分组和发送所述遵从标准的分组。

11.权利要求10的方法，所述方法还包括存储所述遵从标准的分组以用于随后传输的步骤。

12.权利要求10的方法，所述方法还包括将所述经量化的数据逆量化和变换成经解压缩的数据以及将所述经解压缩的数据存储起来以用于供随后产生所述参考信号的步骤。

13.权利要求10的方法，其中所述选择所述量化参数的步骤(d)包括下列步骤：

用预定范围内的步长量化所述DCT系数块和确定其峰度；以及

确定一个块以及一个产生最高峰度输出的相应的步长。

14.权利要求10的方法，其中所述输入视频数据是JPEG和MPEG信号之一。

15.一种控制输入视频数据的清晰度质量的设备，所述设备包括：

将所述输入视频数据变换成块的装置；

对所述输入视频数据块执行运动估计分析以产生一个参考信号的装置；

将所述输入视频块变换成DCT系数块和用一个量化参数量化所述DCT系数块从而产生经量化的数据的装置；

一个与所述变换装置相耦合的清晰度控制器，用来根据如下操作选择所述量化参数：用预定范围的步长量化所述DCT系数块并计算其峰度和将所述步长中的一个产生最高峰度的步长选择为所述量化参数；以及

一个被配置成接收所述经量化的数据和所述参考信号并将它们编码成一个预定的、遵从标准的分组的编码器。

16.权利要求15的设备，其中所述峰度表示所述输入视频数据块的清晰度质量。

17.权利要求15的设备，其中所述输入视频数据是JPEG和MPEG信号之一。

18.权利要求15的设备，所述设备还包括一个被配置成用来接收所述编码器的输出以便将所述遵从标准的分组存储起来供随后传输的缓存器。

19.权利要求15的设备，所述设备还包括：

一个被耦合来接收所述变换装置的输出的逆变换器，以便用于将所述经量化的数据逆量化和变换成经解压缩的数据；以及

一个用来存储所述经解压缩的数据以供随后产生所述参考信号的存储器。

Images