CN101103632A - 利用动态地基于法向流的量化步长来处理视频信号的方法 - Google Patents

Abstract

本发明公开了一种在数据处理器(20)中处理视频输入信号(50)以便生成相应的经过处理的输出数据(40，200)的方法。所述方法包括以下步骤：(a)在该数据处理器(20)处接收该视频输入信号(50)，所述视频输入信号(50)包括图像序列(100)，其中所述图像分别由像素表示；(b)对所述像素进行分组，以便对于每个图像生成几组像素；(c)把所述各组变换成相应的表示变换参数；(d)对所述各组的所述变换参数进行编码，以便生成相应的经过量化的变换数据；(e)对该经过量化的变换数据进行处理，以便生成表示所述输入信号的经过处理的输出数据(40，200)。所述方法涉及在步骤(d)中利用量化步长对所述变换参数进行编码，所述量化步长可以作为在所述图像序列(100)中传送的空间-时间信息的函数而动态地改变。所述方法在从所述输出数据(40，200)再生的图像中增强了图像质量。

Description

利用动态地基于法向流的量化步长来处理视频信号的方法

本发明涉及处理输入数据以便生成相应的经过处理的输出数据的方法。此外，本发明还涉及对所述经过处理的输出数据进行处理以便再生对所述输入数据的表示的其他方法。此外，本发明还涉及适于实现这些方法的设备，以及包括这种设备的系统。此外，本发明可以通过硬件来实现，或者可以通过能够在计算硬件上执行的软件来实现。本发明与电子设备相关，比如移动电话(蜂窝电话)、视频记录器、计算机、光盘播放器以及电子摄影机，但是本发明不限于此。

在当今的电子设备和系统中，已经发现与模拟图像信号相比，当从数字化的图像数据中导出画面时，可以向观众呈现更高的画面质量。这种益处不仅涉及到广播图像内容(比如卫星电视)，而且还涉及到预先记录的图像内容(比如当前从DVD提供的图像内容)。针对在图像序列被数字化时能够产生相对较大的数据量这一问题，已经开发了多种用于压缩图像数据的方案；这些方案当中的某一些已经导致所建立的国际标准，比如一系列MPEG标准。MPEG是运动画面专家组的简写。

在MPEG2压缩中，有可能对数字化的图像数据进行压缩，以便生成MPEG压缩图像数据；这种压缩能够提供40∶1到60∶1的范围内的数据量减少。MPEG编码器适于把图像序列分类成内部(I)帧、预测(P)帧和双向(B)帧。对于I帧的使用是由于在所述编码器中所采用的画面组(GOP)结构而造成的。例如，一个GOP结构可以包括帧序列IPPBBBPPBBB，其旨在对于I帧实现最佳质量，对于P帧实现较低质量，并且其中B帧被设置成采用来自“过去和未来”帧的信息(即双向信息)。GOP结构在MPEG编码之前被确定，并且所采用的分组独立于视频内容信息。在一个GOP内的相继图像常常是更为渐变地改变，从而可以通过仅仅(例如按照流矢量)描述改变来实现相当程度的数据压缩；这种压缩是通过使用前述P帧和B帧而实现的。在MPEG2数据压缩期间，所述序列中的图像被划分成宏块，其中每个宏块便利地包括一个16x16像素的二维场。这种宏块生成涉及到以交织的格式把图像划分成两个场。每个场包括相应帧的半数像素行以及相应帧的相同数目的像素列。因此，一个16x16帧宏块在相应场中变成一个8x16宏块。上述流矢量被用来描述宏块从所述序列中的给定的早期图像到该序列的后续图像的宏块的演变。

在生成MPEG压缩数据的过程中，使用一种变换把对应于所选宏块的像素亮度和颜色的信息转换成所述压缩数据中的相应参数。根据MPEG标准，离散余弦变换(DCT)被有利地采用来生成所述参数。

所述参数是表示对相应的宏块像素的数字化的辉度和颜色信息的变换的数字值。此外，所述参数被便利地量化并且被限幅到1至31的范围内，即由包括在MPEG压缩数据中的报头内的五个二进制比特表示。此外，表查找方法被便利地采用来对DCT系数进行量化，以便生成所述参数。

如在所公开的美国专利no.US6,463,100中所描述的那样，为了尝试确保对于与图像序列相对应的图像数据的MPEG编码产生可管理的MPEG编码输出数据速率，传统的实践是利用一个复杂度计算器。该复杂度计算器适于计算存储在存储器中的图像的空间复杂度。此外，该复杂度计算器耦合到一个比特率控制器以便控制量化率，从而把已编码输出数据速率保持在可允许的极限内，该比特率控制器适于把所述量化率作为由所述复杂度计算器所计算的空间复杂度的函数来控制。特别地，当所述复杂度计算器识别出高空间复杂度时，使得在生成所述输出数据的过程中所采用的量化更为粗糙，并且对于较低的空间复杂度使得所述量化较不粗糙。因此，空间复杂度被用来控制对于量化的比特率控制。此外，根据传输比特率为一个画面组(GOP)分配所定义的比特率，并且根据每个画面的复杂度(取决于其是I帧、P帧还是B帧)为每个图像分配比特。

虽然在专利no.US6,463,100中所描述的数据压缩技术能够提供进一步的数据压缩，但是在实践中发现这种压缩可能会导致不合期望的伪像，特别是当发生快速的场景改变从而导致潜在的瞬时高数据速率时尤其如此。在构想本发明的过程中，发明人已经尝试在使用高度数据压缩时解决这一不合期望的伪像的问题，从而在后续的图像数据解压缩之后得到更加可接受的图像质量。

本发明的一个目的是提供一种在数据处理器中对包括图像序列的视频输入信号进行处理的改进的方法，以便生成表示该图像序列的相应的经过处理的输出数据。

根据本发明的第一方面，提供一种在数据处理器中处理视频输入信号以便生成相应的经过处理的输出数据的方法，所述方法包括以下步骤：

(a)在该数据处理器处接收该视频输入信号，所述视频输入信号包括图像序列，其中所述图像分别由像素表示；

(b)对所述像素进行分组，以便对于每个图像生成至少一组像素；

(c)把该至少一组变换成相应的表示变换参数；

(d)对该至少一组的所述变换参数进行编码，以便生成相应的经过量化的变换数据；

(e)对该经过量化的变换数据进行处理，以便生成表示所述视频输入信号的经过处理的输出数据，

其特征在于，在步骤(d)中对所述变换参数进行编码是利用量化步长实现的，所述量化步长可以作为在所述图像序列中传送的空间-时间信息的函数而动态地改变。

本发明的优点在于，其能够生成作为对应于给定数据列的所述视频输入信号的更加可接受的表示的经过处理的输出数据。

可选地，在所述方法中，所述至少一组对应于至少一个像素块。对于像素块的使用使得所述方法适用于改进基于块表示的传统的图像处理方法。

可选地，在所述方法中，对于给定组所采用的量化步长是作为所述图像序列中的对于该给定组来说是局部的空间-时间信息的函数来确定的。使用局部空间信息和局部时间信息具有相当大的好处，这是因为可以对存在于所述经过处理的输出数据中的数据比特进行更有效的分配以便更加适当地表示所述输入视频信号，同时在进行这种比特分配的过程中不需要太多的计算资源。

可选地，在所述方法中，作为对在所述图像序列中传送的空间-时间信息的统计分析的函数来确定所述量化步长。这种统计分析易于给出统计参数，所述统计参数是用来确定所述输入视频信号中的需要以更高精度处理的各图像部分的更加适当的指标。

可选地，在所述方法中，作为在所述图像序列中的每一组内出现的法向流(normal flow)的函数来确定所述量化步长，所述法向流是与该组相关的图像速度的局部分量。更为可选地，在所述方法中，对于每一组根据与该组相关的图像亮度数据和图像颜色数据的至少其中之一来局部地计算所述法向流。与其他当前的高级图像压缩技术相比，在实践中发现使用所述法向流作为用于确定适当量化步长的参数可以在后续的解压缩中提供更好的数据压缩结果。

可选地，在所述方法中，对于所述法向流的统计分析涉及到计算对应于每一组的法向流的均值和方差的大小。在实践中，所述法向流的方差对于确定在压缩图像序列时在哪里最为有效地分配比特是特别有用的。

可选地，在所述方法中，基本上根据下面的关系式以线性方式实现对于给定组的量化步长的调节：

q_sc_m＝((δ.q_sc)±(λ.Γ(x)))

其中

Γ(x)＝x.e^-(x-1)，即给出非线性调制的偏移的Gamma或Erlang函数；

x＝法向流大小的方差；

λ＝乘法系数；

δ＝乘法系数；以及

q_sc＝量化尺度。

这种关系式能够在压缩图像序列时进一步导致更为高效的比特分配。

可选地，所述方法被适配成在步骤(c)中采用离散余弦变换(DCT)，并且根据MPEG标准生成各像素组。将所述方法适配于当前的MPEG标准能够在只需要对该方法进行很少改变的情况下使得该方法可以与现有的系统和设备一起工作。

根据本发明的第二方面，提供按照本发明的第一方面的方法生成的经过处理的视频数据，所述数据是利用量化步长处理的，所述量化步长可以作为存在于由所述经过处理的视频数据表示的图像序列中的空间-时间信息的函数而动态地改变。

可选地，所述经过处理的视频数据被存储在例如DVD的数据载体上。

根据本发明的第三方面，提供一种用于接收视频输入信号以及生成相应的经过处理的输出数据的处理器，该处理器适于在生成所述经过处理的输出数据的过程中应用根据本发明的第一方面的方法。

根据本发明的第四方面，提供一种在数据处理器中解码经过处理的输入数据以便生成对应于图像序列的已解码视频输出数据的方法，其特征在于，所述方法包括以下步骤：

(a)在该数据处理器处接收所述经过处理的输入数据；

(b)对该经过处理的输入数据进行处理，以便生成相应的经过量化的变换数据；

(c)对该经过量化的变换数据进行处理，以便生成所述图像序列的至少一组像素的变换参数，其中对该变换数据的所述处理利用了具有量化步长的量化；

(d)把所述变换参数解码成相应的像素组；以及

(e)对所述像素组进行处理，以便生成用于包括在所述已解码视频输出数据中的相应的图像序列，

其中，所述数据处理器适于在步骤(d)中利用量化步长来进行解码，所述量化步长可以作为在所述图像序列中传送的空间-时间信息的函数而动态地改变。

可选地，在所述方法中，所述至少一组像素对应于至少一个像素块。

可选地，在所述方法中，使得对于给定组所采用的量化步长依赖于对于所述图像序列中的该给定组来说是局部的空间-时间信息。更加可选地，在所述方法中，作为对于在所述图像序列中传送的空间-时间信息的统计分析的函数来确定所述量化步长。

可选地，在所述方法中，作为在所述图像序列中的每一组内出现的法向流的函数来确定所述量化步长，所述法向流是与该组相关的图像速度的局部分量。

可选地，在所述方法中，对于每一组根据与该组相关的图像亮度数据和图像颜色数据的至少其中之一来局部地计算所述法向流。

可选地，在所述方法中，对于所述法向流的所述统计分析涉及到计算对应于每一个宏块的法向流的均值和方差的大小。

可选地，在所述方法中，基本上根据下式以线性方式实现对于给定组的量化步长的调节：

q_sc_m＝((δ.q_sc)±(λ.Γ(x)))

其中

Γ(x)＝x.e^-(x-1)，即给出非线性调制的偏移的Gamma或Erlang函数；

x＝法向流大小的方差；

λ＝乘法系数；

δ＝乘法系数；以及

q_sc＝量化尺度。

可选地，所述方法被适配成在步骤(d)中采用离散余弦变换(DCT)，并且根据MPEG标准来处理各像素组。

根据本发明的第五方面，提供一种用于在其中解码经过处理的输入数据以便生成对应于图像序列的视频输出数据的处理器，所述处理器适于采用根据本发明的第四方面的用于生成所述视频输出数据的方法。

根据本发明的第六方面，提供一种用于处理对应于图像序列的视频数据的设备，所述设备包括以下各项的至少其中之一：根据本发明的第三方面的处理器，根据本发明的第五方面的处理器。可选地，所述设备被实现为以下各项的至少其中之一：移动电话，电视接收机，视频记录器，计算机，便携式膝上型计算机，便携式DVD播放器，用于拍照的摄影机。

根据本发明的第七方面，提供一种用于分发视频数据的系统，所述系统包括：

(a)根据本发明的第三方面的第一处理器，其用于接收对应于图像序列的视频输入信号以及生成相应的经过处理的输出数据；

(b)根据本发明的第五方面的第二处理器，其用于在其中解码所述经过处理的输出数据，以便生成对应于所述图像序列的视频数据；以及

(c)数据传送装置，其用于把所述已编码数据从第一处理器传送到第二处理器。

可选地，在所述系统中，所述数据传送装置包括以下各项的至少其中之一：数据存储介质，数据分发网络。例如，所述系统可以通过因特网或者通过移动电话(蜂窝电话)网络来实现。

根据本发明的第八方面，提供用于在计算硬件中执行的软件，以便实现根据本发明的第一方面的方法。

根据本发明的第九方面，提供用于在计算硬件中执行的软件，以便实现根据本发明的第四方面的方法。

应当理解，在不背离本发明的范围的情况下，本发明的各特征可以按照任何组合方式而被组合。

下面将参照附图仅以举例的方式描述本发明的各实施例，其中：

图1是根据本发明的系统的示意图，该系统包括第一处理器和第二处理器，第一处理器用于处理视频输入信号以便生成相应的已压缩的经过处理的输出数据，第二处理器用于对该经过处理的输出数据进行处理以便生成对所述视频输入信号的表示；

图2是在图1的系统的第一处理器内执行的数据压缩的示意图；

图3是在以均匀速度

移动的轮廓的两点处的法向流和切向流的示意图；

图4是用于在图1中的第一处理器内确定各流的2x2x2图像亮度立方表示的示意图；

图5是用于平滑法向流方差的一阶邻域；

图6是示例性法向流大小方差直方图；

图7是在图1中的系统的第一处理器内执行的各功能的示意图；以及

图8是在图1的系统的第二处理器内执行的各功能的示意图。

参照图1，其中示出了根据本发明的系统，该系统总体上由10表示。该系统10包括第一处理器20、第二处理器30以及用于把数据40从第一处理器20传送到第二处理器30的装置。此外，第一处理器20在其输入端50处耦合到一个数据源，该数据源提供包括图像的时间序列的输入视频信号。此外，第二处理器30包括输出端60，其用于提供解压缩后的图像输出数据，以便生成用于通过图像监视器80呈现给所述系统10的用户90的图像；所述解压缩后的图像输出数据是对包括在所述输入视频数据中的图像的表示。所述图像监视器80可以是任何类型的通用显示器，例如液晶设备(LCD)、等离子显示器、阴极射线管(CRT)显示器、发光二极管(LED)显示器以及电致发光显示器。所述用于把数据40从第一处理器20传送到第二处理器30的装置可以以几种不同方式实现，例如以以下几种方式的至少其中之一实现：

(a)通过数据通信网络，比如因特网；

(b)通过地面无线广播网络，比如通过无线局域网(WAN)、通过卫星传输或者通过超高频传输；以及

(c)通过数据载体，例如磁硬盘、光盘(比如DVD)、固态存储器设备(比如数据存储卡或模块)。

第一和第二处理器20、30可以利用定制硬件(比如专用集成电路(ASIC))来实现、在适于执行适当软件的计算硬件中实现以及以所述硬件和具有相关软件的计算硬件的任意混合来实现。本发明特别涉及到发生在第一处理器20内的数据压缩处理，下面将更加详细地进行描述。

参照图2，其中示出了在第一处理器20内执行的MPEG类图像处理的示意概略图。在输入端50处提供的图像序列总体上由100表示。该序列100参照时间轴102示出，其中，该序列中的左侧图像早于右侧图像。附加地提供了相互正交的空间轴104、106。该序列100中的每个图像包括一个像素单元(也被称作像素)的阵列。该序列100如箭头110所示在处理器20中被处理，以便确定适于形成各画面组(GOP)的初始的I帧(I)的那些画面。如前所述，能够从这种I帧预测的其他画面被标记为B帧或P帧。例如，当识别出该序列100中的一个I帧时，该I帧被细分为宏块，例如一个宏块130包括16x16个像素，例如其中像素140、150是该宏块130的对角像素。宏块130的邻居有空间相邻的宏块(比如宏块134、136)以及时间相邻的宏块(比如宏块132、138)；空间相邻的宏块和时间相邻的宏块在这里也被称作空间局部宏块和时间局部宏块。随后通过由箭头160表示的变换(比如离散余弦变换(DCT)或者诸如波变换之类的替换方案)来处理每一个宏块，以便生成包括参数p₁到p_n的相应的参数170的序列，其中n是对应于表示每个被变换的宏块所需要的变换参数的数目的整数。所述参数170分别包括最高有效位184和最低有效位182。如180所示，参数p₁到p_n的最低有效位通过量化而被去除，以便产生由190表示的所述参数p₁到p_n的更高有效位的序列。把所述更高有效位序列190与关于所述图像序列100的其他数据195(比如报头数据)相组合，以便生成由200表示的已压缩输出数据；这种压缩例如使用当前已知的熵编码。输出数据200随后被从处理器20输出，以便作为前述数据40来存储或传输。本发明涉及到被应用于所述参数170以便生成相应的经过量化的参数190的量化步长，即在所示出的区域180中表示的数据比特的数目。

正如前面所阐明的那样，已经知道在逐图像帧的基础上改变应用于所述参数p₁到p_n的量化步。此外，还知道使得所述量化步长是包括在每一帧内的空间信息(比如空间复杂度)的函数。第一处理器20与这些已知方法的不同之处在于，所述量化步长在各帧或各宏块组内被改变，每一组包括一个或多个宏块。此外，所述量化步长不仅是每一组周围的空间复杂度的函数，而且还是每一组周围的时间活动的函数。

例如，在处理器20中，宏块130产生所示出的参数170，随后利用由180表示的量化步长对这些参数170进行量化，其中所述量化步长180是特别从空间相邻的宏块134、136导出的空间复杂度信息以及从时间相邻的宏块132、138导出的时间信息的函数。

通过在宏块的基础上改变所述量化步长，有可能在输出数据200中包括与最易于由观众感知到的图像特征相关的细节，并且从而对于给定数量的输出数据200增强图像质量。因此，比起之前所可能的情况，所述处理器20能够更好地使用所述输出数据200中的比特来增强第二处理器30内的再生图像质量。

总而言之，发明人已经意识到，在所述序列100中的图像内出现的法向流是用于控制前述量化步长的有用参数。法向流考虑到与对象形状、对象纹理精细特征及其视运动相关的信息。可选地，发明人已经发现，所述法向流大小的方差是用于确定在处理图像帧内的宏块组当中的任意给定宏块时所要应用的最佳量化步长的特别有用的量度。举例来说，所述量化尺度(因此是量化步长)q_sc_m有利地基本上是所述法向流大小的方差的函数，正如等式1.1(Eq.1.1)中所提供的那样：

q_sc m＝((δ.q_sc)±(λ.Γ(x)))    Eq.1.1

其中

Γ(x)＝xe^-(x-1)，即给出非线性调制的偏移的Gamma或Erlang函数；

x＝法向流大小的方差；

λ＝乘法系数；

δ＝乘法系数；以及

q_sc＝量化尺度。

此外，发明人已经从实验中发现，方差v的变化程度相当大，因此其并不是一个理想的参数以用来直接导出用于处理每个宏块或宏块组的量化步的适当值。发明人已经意识到，尽管这种方差表面上看起来无法理想地使用，但是考虑所述方差的概率分布(例如概率分布中的尾部)也是有好处的，从而可以对所述方差v进行处理，以便生成可以据其导出所述量化步长的适当数字。

本发明的好处在于，其能够在图像内局部地改进图像质量，特别是在空间纹理的数量较高以及在局部细节也随时间改变的情况下尤其如此。如果对于更为复杂的图像序列(例如视频)不使用根据本发明的自适应量化，则将出现视觉伪像；这种视觉伪像例如包括块效应(blockiness)。传统上，与本发明相反，对于给定图像中的所有宏块所使用的均匀量化将导致无法为可能包含多于必要的空间和时间纹理或细节的相应宏块提供适当的比特数以便充分表示所有细节。因此，根据本发明的自适应量化方案能够降低观察到明显块效应的概率，这种降低是通过基于空间纹理、时间纹理和图像运动进行对于每帧(即帧宏块)的更为适当的比特分布而实现的。

现在将更加详细地描述本发明的一个实施例。

前述法向流被定义为局部图像速度或光学流的法向分量，即平行于空间图像梯度。在所述图像序列100中，所述法向图像速度可以在每个像素处被分解为法向和切向分量，如图3中所示。在明确定义的图像边界处，或者当轮廓如图所示的那样经过给定的目标像素220时，所述两个分量特别容易理解。例如，当沿着边界从点A行进到点B时，与点A处的像素220相关的法向和切向图像速度在点B处改变其空间指向；在点A处的法向和切向速度分别由v_A，n、v_A，t标记，而在点B处的法向和切向速度分别由v_B，n、v_B，t标记。

如图3中所示，所述法向和切向流总是相互90o正交。所述法向流的一个重要属性在于，其是仅有的可以相对直接地计算的图像速度分量；所述切向分量无法被合理地计算。现在将进一步阐述对于所述法向流的计算。

对于点P，图像亮度由I(x，y)表示。出于推导的目的，当点P从时间t的第一位置(x，y)移动到时间t’＝t+Δt的第二位置(x’，y’)时，所述亮度是恒定的。因此，可以按照等式1.2(Eq.1.2)表示点P的空间坐标：

$(x^{\′},y^{\′})=(x,y)+\stackrel{\→}{V}.\mathrm{\Δt}$ Eq.1.2

其中，

是与从第一位置到第二位置的移动相关的速度矢量，该矢量包括如图3中所示的相应的矢量分量v_x和v_y。

对于当ΔT相对较小时的近似，等式1.3(Eqs.1.3)涉及到：

x′＝x+(v_x.Δt)

y′＝y+(v_y.Δt)    Eqs.1.3

t′＝t+Δt

随后可以应用Taylor展开以便令第一和第二位置处的亮度近似相等，即等式1.4(Eq.1.4)中的I(x′，y′，t′)≈I(x，y，t)，其中I(x′，y′，t′)的Taylor展开被显示到一阶的Δt，高阶展开项则被忽略：

$I(x^{\′},y^{\′}{t}^{\′})=I(x+v_x.\mathrm{\Δt},y+v_y.\mathrm{\Δt},t+\mathrm{\Δt})=v_x.\mathrm{\Δt}.\frac{\∂I(x^{\′},y^{\′},t^{\′})}{\∂x}{|}_{x^{\′}=x,y^{\′}=y,t^{\′}=t}+---\mathrm{Eq}.1.4$

$v_y.\mathrm{\Δt}.\frac{\∂I(x^{\′},y^{\′},t^{\′})}{\∂y}{|}_{x^{\′}=x,y^{\′}={\mathrm{yt}}^{*}=t}+\mathrm{\Δt}\frac{\∂I(x^{\′},y^{\′},t^{\′})}{\∂t}{|}_{x^{\′}=x,y^{\′}=y,t^{\′}=t}\≈I(x,y,t)$

由于I(x′，y′，t′)≈I(x，y，t)，有可能从等式1.4导出相应的等式1.5(Eq.1.5)：

$\stackrel{\→}{v}.\stackrel{\→}{\▿}I(x,y,t)+\frac{\∂I(x,y,t)}{\∂t}\≈0---\mathrm{Eq}.1.5$

其中

$\stackrel{\→}{\▿}\≡(\frac{\∂}{\∂x},\frac{\∂}{\∂y})---\mathrm{Eq}.1.6$

在等式1.5中表示矢量

与 的标量积；并且

$\stackrel{\→}{v}.\stackrel{\→}{\▿}I(x,y,t)\≡v_x.\frac{\∂I(x,y,t)}{\∂x}+v_y\frac{\∂I(x,y,t)}{\∂y}---\mathrm{Eq}.1.7$

通过检查图3，将会理解 $\stackrel{\→}{v}={\stackrel{\→}{v}}_n+{\stackrel{\→}{v}}_t,$ 其中忽略了对点A和B的参考；矢量

是矢量

相对于图像等亮度线(即边缘)的法向分量，所述图像等亮度线垂直于前述图像亮度梯度 矢量

是矢量

的切向分量，并且垂直于法向矢量

和 可以简化等式1.7(Eq.1.7)，从而生成等式1.8(Eq.1.8)。

$v_n.\stackrel{\→}{\▿}I(x,y,t)+\frac{\∂I(x,y,t)}{\∂t}\≈0---\mathrm{Eq}.1.8$

通过上式，可以根据等式1.9(Eq.1.9)来计算法向流矢量 的大小：

$\left|{\stackrel{\→}{v}}_n\right|=\frac{\left|\frac{\∂I(x,y,t)}{\∂t}\right|}{|\▿I(x,y,t)|}---\mathrm{Eq}.1.9$

并且可以根据等式1.10(Eq.1.10)来计算法向流矢量

的单位矢量方向：

$\hat{n}\≡\frac{\stackrel{\→}{\▿}I(x,y,t)}{\left|\stackrel{\→}{\▿}I(x,y,t)\right|}---\mathrm{Eq}.1.10$

在等式1.9和1.10中提供的区别于图像速度的所述法向流还充当局部图像亮度梯度指向的量度。由等式1.10提供的所述法向流矢量的方向的可变性还是每单位图像面积的图像空间纹理的数量的隐含量度，该量度可以用来确定在实现本发明时将要使用的适当量化步长。

在所述处理器20中，通过用I[i][j][k]近似I(x，y，t)而以离散的方式计算等式1.9和1.10，其中i、j和k是索引。通过采用这种离散的方法，利用总体上由图4中的250所表示的图像亮度立方表示来计算空间和时间导数的近似于是就是可行的。所述亮度立方表示具有对于该立方的每个顶点所定义的亮度值。如下面将更为详细地阐述的那样，在处理器20中计算所述法向流的统计量。

给定存在于如图2中所示的图像序列120中的两个接连图像帧I₁和I₂，在处理器20中利用一种算法来计算所述法向流大小的方差，在表1中概略地描述了该算法的各步骤：

表1

步骤	所执行的功能
		1	把图像I1、I2划分成不重叠的像素组，例如正方形或矩形的像素块。
2	在每组像素内或者对于每个像素计算法向流大小 方差(见等式1.9和1.10)。

3	基于在步骤2中产生的结果对于每一组确定法向流大小的平均值。
		4	基于来自步骤2和3的所计算的法向流大小及其平均值来计算方差的值。
5	在给定阈值Tstat的情况下，选择组的集合，其中对于所述组的集合，在步骤4中计算的方差大于Tstat。

在步骤3中计算的平均值被便利地标记为μ_B。类似地，在步骤2中计算的方差被便利地标记为σ_B。对于一组NxN个像素(即尺寸为NxN像素的图像块)，利用等式2.1和2.2(Eq.2.1和2.2)在处理器20中计算μ_B和σ_B的值：

${\mathrm{\μ}}_B=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|{\stackrel{\→}{v}}_{n,i}\right|---\mathrm{Eq}.2.1$

${\mathrm{\σ}}_B=\sqrt{\frac{1}{N}\·{({\stackrel{\→}{v}}_{n,i}-{\mathrm{\μ}}_B)}^2}---\mathrm{Eq}.2.2$

可选地，当在处理器20中执行图像处理时，各像素组被选择成像素块，例如8x8像素或16x16像素的块。使用这种块导致图像被镶嵌(tessellate)成正方形块；该画面的任何剩余部分保持不被镶嵌。各层皮(peel)的各块的生成是由编码器20处理的；然而，输入视频有利地具有适当的图像尺寸，从而不出现相互关联的皮。更加可选地，为了减小残留的未镶嵌的图像区域，可以使用矩形镶嵌，并且可以采用所述法向流的方差；然而，采用矩形分组的这种方法可能导致相对于诸如MPEG 8x8(DCT)或MPEG 16x16(MC)之类的标准的对准问题。

在处理器20中执行处理的过程中，在以下位置处实现对每一组(例如块)内的特征值的计算：

(a)在|I(x，y，t)|大于预定阈值T的每一像素处；或者

(b)在|I(x，y，t)|大约预定阈值T_Gr的各特征点处。

有利地，所述阈值T和T_Gr被设置成使得T＜T_Gr。

前面描述的本发明的实施例可以包括进一步的细化。第一可选特征是图像配准。此外，第二可选特征是作为对法向流大小方差的后处理的平滑。

在由所述处理器20执行的各处理功能中包括图像配准能够考虑到由于快速的摄影机运动(比如镜头摇动以及变焦操作)而出现的效应。该特征以对于每组像素(例如每宏块)的速度补偿的形式被添加到表1中所概述的各步骤当中。需要包括这种补偿的一个原因是由于等式1.9和1.10(Eq.1.9和1.10)是近似，即Δt的一阶Taylor展开仅仅对于小图像速度值到中等图像速度值是合理地精确的。通过把连续图像关于其全局图像速度进行配准，有可能计算对应于给定图像及其配准对图像(而不是连续图像)的前述法向流。于是这种运动补偿使得前述近似适于使用；一旦所述图像已经被配准(例如为了补偿摄影机运动)，为之计算所述法向流的残留运动就足够小，从而满足采用Taylor展开的近似的约束。当实现所述运动补偿时，方便地对于每宏块采用3DRS速度估计方法；所述3DRS方法是由Philips BV开发的，并且其利用了任何每宏块的基于块的运动估计都适于配准这一特性。

把平滑包括为对法向流大小方差的后处理优选地是在所述处理器20中实现的，这是通过如图5中所示的那样使用一阶邻域信息。当实现这种平滑时，对于给定像素组(例如对于包括mxn个像素的给定块(m，n))计算的所述法向流大小方差有利地被作为相邻各组(例如块(m，n-1)、(m，n+1)、(m，n+1)、(m-1，n)和(m+1，n))的函数而求平均。这种直接相邻的块被称作一阶邻域。对于所述给定组的该方差应用这种平滑使得所得到的经过平滑的方差值较不易于受到细微变化的影响。

当如前面所描述的那样在所述处理器20中执行图像处理时，很方便的是采用被实现为与标准MPEG图像栅格对准的8x8像素的像素组。这些组对应于I帧DCT/IDCT计算，并且描述空间细节信息。或者，当如上面所阐述的那样在处理器20中执行图像处理时，还很方便的是在处理P帧和B帧宏块以便在与MPEG/H.26x视频标准兼容的基于块的运动估计中执行运动补偿(MC)时采用被实现为与MPEG图像栅格对准的16x16像素的像素组。这种实现方式允许描述空间-时间信息。

在前面的内容中描述了所述量化步长作为法向流的函数而被改变，可选地作为所述法向流大小的方差或其统计量(比如均值和方差)的函数而被改变。所述量化步长由被标记为q_sc的量化尺度确定，该量化尺度作为所述法向流方差的函数而被自适应地修改。发明人已经从实验中意识到，例如从等式2.2(Eq.2.2)计算的所述法向流大小方差σ_vn的直方图的简图是对Gamma类函数的相对接近的拟合，这种函数也被称作Erlang函数。在图5中给出的法向流方差的直方图中示出了这种方差分布的一个例子。发明人还从实验中意识到，所述法向流大小方差在具有低空间纹理的图像区域内具有相对较低的值；这种较低值由图5中的黑色直方条表示。当给定的宏块以可变速度移动时，生成由图5中的白色直方条表示的相对更高的方差值。方便地采用对应于每组像素(例如宏块)所使用的量化尺度的多分区模型；该多分区模型包括两个或更多分区。可选地，在生成所述输出数据40时采用三分区模型，该三分区模型使用了由等式3.1到3.3(EQ.3.1到3.3)所定义的三个不同的尺度因数：

q_m_low＝((δ_low·q)+(λ_low.Γ(x)))    Eq.3.1

q_m_mid＝((δ_mid·q)-(λ_mid.Γ(x)))    Eq.

3.2

q_m_high＝((δ_high.q)-(λ_highΓ(x)))    Eq.3.3

其中，q-m和q是分别描述已调制的量化尺度和未调制的量化尺度的参数。此外，表达式Γ(x)＝x.exp(-(x-1))被包括来表示Gamma函数。参数δ和λ是可调节的参数。此外，等式3.1中的加法“+”被包括来模拟对应于法向流大小方差较小的图像区域。此外，等式3.2和3.3中的减法“-”被包括来最佳地处理图像中的有纹理的区域。术语“low”、“mid”和“high”分别被包括来表示低量化尺度因数、中等量化尺度因数和高量化尺度因数。

在所述输出数据200中获得更好的数据压缩方面，使用多分区是有利的，这是因为不需要由所述处理器20支持可能的量化尺度因数(因此是量化步长)的连续范围。例如，对应于三分区的每个像素组所选的已调制量化尺度因数可以用所述输出数据200中的两个数据比特来表示，尽管对于所述分区所采用的尺度因数具有更高分辨率(例如按照5比特尺度)。可选地，所述多个分区的数目至少比对于所述尺度因数所可能的实际分辨率小4倍。

当被采用在DVD+RW设备中时，本发明能够改进DVD+RW记录的视觉质量。此外，本发明还与高性能电视相关，对于所述高性能电视来说，适当的去交织和所呈现的图像锐度改进是当前的一个技术问题，特别是在越来越多地使用数字显示设备的情况下尤其如此，在所述数字显示设备中遇到了新的数字显示伪像类型。此外，本发明还涉及移动电话(蜂窝电话)、个人数字助理(PDA)、电子游戏以及能够向用户呈现图像的类似的个人电子设备；这种设备当前常常配备有电子像素阵列摄影机，其输出信号在被存储(例如存储在小型硬盘驱动器、光盘驱动器上或者存储在这种设备的固态存储器中)之前受到数据压缩。本发明还涉及例如被无线地传送到这种设备的图像数据。

在所述系统10中，第二处理器30被设计成接受已压缩数据40并且对其进行解压缩，其在需要时在所述数据40中所表示的每个图像帧内应用可变量化步长，以便生成用于在显示器80上呈现给用户90的数据60。当再生各像素组(例如宏块)时，所述处理器30在再生参数的过程中应用可变量化步长，所述参数经受逆变换(例如逆离散余弦变换(IDCT))以便再生各像素组(例如宏块)，从而重新组合所述图像序列100的表示；所述逆离散余弦变换(IDCT)方便地通过查找表来实现。因此，所述处理器30被设计成识别在所述数据40中包括了表示将要采用的量化步长的附加参数；可选地，这些参数可以特别按照参照前面的等式3.1到3.3所概述的方式表示多分区的预先声明的量化尺度因数。

在图7中示意性地示出了在所述处理器30中执行的处理操作，所述处理操作的功能在表2中列出。然而，这些操作的其他实现方式也是可行的。在如图7中的箭头所示的序列中执行表2中所描述的功能500到550。

表2

附图标记	表示
		40	已压缩数据
50	用于接收输入图像数据的输入端
		500	用于执行图像分析的功能
510	用于把图像分割成各像素组(例如宏块)的功能
		520	用于执行对法向流、其方差以及相关统计量的分析的功能
530	用于把各像素组(例如宏块)变换成相应的表示参数的功能，例如离散傅里叶变换(DCT)

540	用于实现对来自功能530的参数的可变量化步长处理的功能
		550	用于把来自功能540的经过量化的参数与其他图像处理数据合并以便生成已压缩输出数据40的功能
560	如170中所示的参数p(图2)

在图8中示意性地示出了在所述处理器20中执行的处理操作(例如为了实现如表1中所描述的步骤1到5)，所述处理操作的功能在表3中列出。然而，这些操作的其他实现方式也是可行的。在如图8中的箭头所示的序列中执行表3中所描述的功能600到640。

表3

附图标记	表示
		40	已压缩数据
60	适于呈现给观众90的解压缩的输出数据
		600	用于执行对已压缩数据的分类的功能，例如识别报头、各种全局参数以及类似参数
610	用于处理在处理器20中经受量化的参数的功能，其中利用作为法向流方差的函数的可变量化步长
		620	表示所采用的可变量化步长或可变量化尺度的参数
630	用于把参数变换到各像素组(例如宏块)的逆变换，该功能可选地是逆离散傅里叶变换(IDCT)
		640	用于把各宏块组合在一起并且执行相关处理(例如预测处理)以便生成所述图像序列100的表示的功能

如前所述，所述处理器20、30方便地通过适于执行适当软件的计算硬件来实现。然而，其他实现方式也是可能的，例如专用定制数字硬件。

应当理解，在不背离由所附权利要求书限定的本发明的范围的情况下可以修改前面描述的本发明的实施例。

在所附权利要求书中，包括在括号内的数字和其他符号用来帮助理解权利要求，而不意图以任何方式限制权利要求的范围。

在解释说明书及其相关权利要求时，诸如“包括”、“合并”、“包含”、“是”以及“具有”之类的表达方式应当以非排他性的方式来理解，即应当被理解为还允许存在没有明确限定的其他项目或组件。对于单数的参考还应当被理解为对于复数的参考，反之亦然。

适于采用一种方法意味着存在被安排成或者可以被安排成执行各方法步骤的装置(例如每个步骤一个装置)，例如运行在处理器上的软件或者ASIC之类的硬件。

Claims (28)

1、一种在数据处理器(20)中处理视频输入信号(50)以便生成相应的经过处理的输出数据(40，200)的方法，所述方法包括以下步骤：

(a)在该数据处理器(20)处接收该视频输入信号(50)，所述视频输入信号(50)包括图像序列(100)，其中所述图像分别由像素表示；

(b)对所述像素进行分组，以便对于每个图像生成至少一组像素；

(c)把该至少一组变换成相应的表示变换参数；

(d)对该至少一组的所述变换参数进行编码，以便生成相应的经过量化的变换数据；

(e)对该经过量化的变换数据进行处理，以便生成表示所述视频输入信号的经过处理的输出数据(40，200)，

其特征在于，在步骤(d)中对所述变换参数进行编码是利用量化步长实现的，所述量化步长可以作为在所述图像序列中传送的空间-时间信息的函数而动态地改变。

2、如权利要求1所述的方法，其中，所述至少一组对应于至少一个像素块。

3、如权利要求1所述的方法，其中，对于给定组所采用的所述量化步长是作为所述图像序列中的对于该给定组来说是局部的空间-时间信息的函数来确定的。

4、如权利要求1所述的方法，其中，所述量化步长是作为对在所述图像序列中传送的空间-时间信息的统计分析的函数来确定的。

5、如权利要求4所述的方法，其中，所述量化步长是作为在所述图像序列中的每一组内出现的法向流的函数来确定的，所述法向流是与该组相关的图像速度的局部分量。

6、如权利要求5所述的方法，其中，对于每一组根据与该组相关的图像亮度数据和图像颜色数据的至少其中之一来局部地计算所述法向流。

7、如权利要求5所述的方法，其中，对于所述法向流的所述统计分析涉及到计算对应于每一组的法向流的均值和方差的大小。

8、如权利要求5所述的方法，其中，基本上根据下面的关系式以线性方式实现对于给定组的量化步长的调节：

q_sc_m＝((δ.q_sc)±(λ.Γ(x)))

其中

Γ(x)＝x.e^-(x-1)，即给出非线性调制的偏移的Gamma或Erlang函数；

x＝法向流大小的方差；

λ＝乘法系数；

δ＝乘法系数；以及

q_sc＝量化尺度。

9、如权利要求1所述的方法，所述方法被适配成在步骤(c)中采用离散余弦变换(DCT)并且根据MPEG标准生成各像素组。

10、按照如权利要求1所述的方法生成的经过处理的视频数据(40，200)，所述数据(40)是利用量化步长处理的，所述量化步长可以作为存在于由所述经过处理的视频数据表示的图像序列中的空间-时间信息的函数而被动态地改变。

11、如权利要求10所述的经过处理的视频数据(40，200)，其被存储在例如DVD的数据载体上。

12、一种用于接收视频输入信号以及生成相应的经过处理的输出数据(40，200)的处理器(20)，该处理器(20)适于在生成所述经过处理的输出数据(40，200)的过程中应用如权利要求1所述的方法。

13、一种在数据处理器(30)中解码经过处理的输入数据(40，200)以便生成对应于图像序列(100)的已解码视频输出数据(60)的方法，其特征在于，所述方法包括以下步骤：

(a)在该数据处理器(30)处接收所述经过处理的输入数据(40，200)；

(b)对该经过处理的输入数据进行处理，以便生成相应的经过量化的变换数据；

(c)对该经过量化的变换数据进行处理，以便生成所述图像序列的至少一组像素的变换参数，其中对该变换数据的所述处理利用了具有量化步长的量化；

(d)把所述变换参数解码成相应的像素组；以及

(e)对所述像素组进行处理，以便生成用于包括在所述已解码视频输出数据(60)中的相应的图像序列，

其中，所述数据处理器(30)适于在步骤(d)中利用量化步长来进行解码，所述量化步长可以作为在所述图像序列中传送的空间-时间信息的函数而动态地改变。

14、如权利要求13所述的方法，其中，所述至少一组像素对应于至少一个像素块。

15、如权利要求13所述的方法，其中，使得对于给定组所采用的所述量化步长依赖于对于所述图像序列中的该给定组来说是局部的空间-时间信息。

16、如权利要求13所述的方法，其中，所述量化步长是作为对于在所述图像序列中传送的空间-时间信息的统计分析的函数来确定的。

17、如权利要求16所述的方法，其中，所述量化步长是作为在所述图像序列中的每一组内出现的法向流的函数来确定的，所述法向流是与该组相关的图像速度的局部分量。

18、如权利要求15所述的方法，其中，对于每一组根据与该组相关的图像亮度数据和图像颜色数据的至少其中之一来局部地计算所述法向流。

19、如权利要求17所述的方法，其中，对于所述法向流的所述统计分析涉及到计算对应于每一个宏块的法向流的均值和方差的大小。

20、如权利要求17所述的方法，其中，基本上根据下式以线性方式实现对于给定组的量化步长的调节：

q_sc_m＝((δ.q_sc)±(λ.Γ(x)))

其中

Γ(x)＝x.e^-(x-1)，即给出非线性调制的偏移的Gamma或Erlang函数；

x＝法向流大小的方差；

λ＝乘法系数；

δ＝乘法系数；以及

q_sc＝量化尺度。

21、如权利要求13所述的方法，所述方法被适配成在步骤(d)中采用离散余弦变换(DCT)，并且根据MPEG标准来处理各像素组。

22、一种用于在其中解码经过处理的输入数据以便生成对应于图像序列的视频输出数据的处理器(30)，所述处理器(30)适于采用如权利要求13所述的用于生成所述视频输出数据(60)的方法。

23、一种用于处理对应于图像序列的视频数据的设备(10)，所述设备包括以下各项的至少其中之一：如权利要求13所述的处理器(20)，如权利要求22所述的处理器(30)。

24、如权利要求23所述的设备(10)，其中，所述设备被实现为以下各项的至少其中之一：移动电话，电视接收机，视频记录器，计算机，便携式膝上型计算机，便携式DVD播放器，用于拍照的摄影机。

25、一种用于分发视频数据的系统(10)，所述系统(10)包括：

(a)如权利要求12所述的第一处理器(20)，其用于接收对应于图像序列的视频输入信号(50)以及生成相应的经过处理的输出数据(40，200)；

(b)如权利要求22所述的第二处理器(30)，其用于在其中解码所述经过处理的输出数据(40，200)，以便生成对应于所述图像序列的视频数据(60)；以及

(c)数据传送装置(40)，其用于把所述已编码数据从第一处理器(20)传送到第二处理器(30)。

26、如权利要求25所述的系统(10)，其中，所述数据传送装置(40)包括以下各项的至少其中之一：数据存储介质，数据分发网络。

27、用于在计算硬件中执行以便实现如权利要求1所述的方法的软件。

28、用于在计算硬件中执行以便实现如权利要求13所述的方法的软件。

Images