CN1133327C - 低噪声编码解码装置和方法 - Google Patents

Abstract

一种自适应数字图像处理器(22)配置在MPEG 2编码器(24)之前。该处理器接收打算用于广播或存储的高清晰度(每图像1920×1080像素)视频信号，并自适应地低通滤波该信号。该信号经过低通二维滤波(223)消除其编码赝象和相关噪声。然后，视频信号被水平下取样以生成较低分辨率的混合信号(每图像1280×1080像素)。接收器解码和解压缩该混合信号。利用现有硬件和经过软件修收的软件将混合信号上取样成它原来的分辨率。

Description

低噪声编码解码装置和方法

技术领域

本发明涉及用于降低数字视频编码器带宽要求的图像压缩技术。

背景技术

美国联邦通信委员会(FCC)已经批准了由大联盟(Grand Alliance，GA)提出的数字高清晰度电视(HDTV)标准，从而为美国的地面数字电视广播扫清道路。GAHDTV系统采用了运动图像专家组(MPEG2)视频压缩标准。关于这方面的细节，请查阅“信息技术-运动图像和相关音频信息的通用编码：视频”，(Information Technology-Generic Coding of Moving Picture andAssociated Audio Information：Video，”ISO/IEC13818-2：1996(E).)。利用现代的和完善的视频压缩技术，例如，源处理、运动估计和补偿、传输表示和统计编码，MPEG压缩系缩可以将传送位速率减小到原来五十分之一或更少。一个长达一秒的完全HD信号在压缩之前需要大约1×10⁹位。正如GA技术要求所推荐的，以每秒60字段的速率传送的1920×1080像素(图形基本元素)图像被压缩成每秒18兆位的速率传送的数据供数字广播用。

GA视频压缩系统通常包括两个主要的子系统，即预处理器和MPEG2视频编码器，在它们之后紧随输出缓冲器。到预处理器的输入是RGB格式的模拟视频。预处理器数字化输入信号，并对每个颜色成分进行伽马(gamma)校正，以补偿成像摄像机的非线性响应。伽马校正降低了包含在压缩图像，尤其是在图像的暗区，中的量化噪声的视见度。然后，预处理器将数字化和伽马校正的RGB样本线性变换到SMPTE 240M YC1C2彩色空间。最后，对最终得到的色度成分进行二次取样形成4：2：0的数字视频输入信号。除了刚刚描述的任务之外，预处理器还可以实施图像转换。例如，在数字卫星广播系统中，将视频信号从每线720像素水平抽选成每线544像素，进一步降低带宽要求。这个信号传送到MPEG2视频编码器。

MPEG2视频编码器通过去除帧中帧与一些空间冗余位之间的时间冗余位来压缩输入数字视频信号。一般来说，压缩是通过连续使用若干种上面所述的技术达到的。调整量化精度可以使编码器生成以任何由应用决定的速率的压缩位流。MPEG2系统中的量化是针对数据块的DCT系数来实现的，它可以是原始图像信息，或者是根据运动估计的剩余信息。利用与可按比例改变的量化步长相结合的量化矩阵，量化器从每个DCT块中只选择和量化小部分的DCT系数供发送用，导致有效数据的减少。量化矩阵可以根据DCT系数的统计分布和视频信号的内容以帧为单位发生改变。对于帧中的不同区域，量化可以根据宏块(macroblock)的复杂程度、通过按比例改变量化步长，以宏块为单位细调。对于给定的输出位速率，输出缓冲器提供供编码器使用的控制信号，调整用于特定帧的量化步长以便在适用的带宽内最大化量化分辨率。

理论上，视频压缩系统去除了高频成分，当图像被重构和显示时，由于这些高频成分已经丢失，不再被观看者感觉到。剩下的低频成分在适用的带宽范围内被量化。对观看者来说，当图像重构时，带入到信号中的量化噪声也应该是不可见的。然而，在实际的系统中，在发送的信息与关于带宽的量化步长之间进行了折衷。如果系统不下降足够的关于量化的系数，系统则增大导致重构图像中的块状赝象(blocky artifact)的量化步长。如果图像在压缩处理过程中丢失了太多的高频信息，重构图像则将会有其它明显的边缘赝象(edge arfifact)。

此外，每个帧之间的量化差异使图像组(GOP)中的帧包含可变的高频成分。例如，I帧可能含有相当数量的在编码过程中下降的高频系数，而P和B帧却保留与I帧中下降的高频成分相对应的高频成分。现在，由于在用于相互重构的帧之间高频信息发生了变化，重构的GOP包含了赝象。

这些问题出现在当前所定义的GA系统中。压缩HD图像信号反而进一步降低了显示图像的质量。由于一次只有一个节目可以通过转发器发送出去，卫星广播供应商不愿发送HD信号。迄今为止，在同一时刻在一个卫星信道(例如，24MHz 4-PSK调制)中充分压缩HD节目以适用两个节目导致观看者难以接收的图像质量。因此，由于信道不够使用，卫星广播供应商不情愿广播HDTV。同样，当一个节目完全占用几个SD节目可以存在于其中的信道时，地面广播供应商也不愿意承担提供完全HD节目的责任。

发明内容

根据本发明的原理，数字图像处理器识别视频信号的类型，并有选择地将原来信号格式转换成不同的所需要的格式。转换的信号被过滤之后重新转换成所需要的原来格式。过滤后的信号被转换成低分辨率的和被压缩成以目标位速率传送的信号。最后，压缩信号被传送到输出数据信道上。

按照本发明的一个方面，提供一种处理分别呈现第一和第二不同图像格式的第一和第二视频信号的方法，包括检测所述第一或第二视频信号存在的步骤，和进一步包括如下步骤：A.当所述第一视频信号被检测到时，(a)将所述第一视频信号转换成不同的格式，生成转换信号；(b)滤波所述转换信号生成滤波信号；(c)将所述滤波信号重新转换回到所述第一信号的原来格式，生成重新转换信号；(d)将所述重新转换信号转换至较低分辨率，生成较低分辨率信号；(e)编码所述较低分辨率信号生成编码信号；和(f)将所述编码信号传送到输出信道；以及B.当所述第二视频信号被检测到时，(g)滤波所述第二视频信号生成滤波信号；(h)将所述滤波信号转换至较低分辨率，生成较低分辨率信号；(i)编码所述较低分辨率信号生成编码信号；和(j)将所述编码信号传送到输出信道。

按照本发明的另一方面，提供一种处理无电视电影格式转换的逐行扫描视频信号的方法，包括下列步骤：自适应地滤波所述检测信号生成滤波信号；将所述滤波信号转换至较低空间分辨率，生成较低空间分辨率信号；MPEG编码所述较低空间分辨率信号生成编码信号；和将所述编码信号传送到输出信道，其中所述自适应滤波是滤波之前的图像信号参数的函数。

按照本发明的另一方面，提供一种处理无电视电影格式转换的逐行扫描视频信号，包括下列步骤：滤波所述检测信号生成滤波信号；将所述滤波信号转换至较低分辨率，生成具有每帧1280×1080样本的分辨率的较低分辨率信号；编码所述较低分辨率信号生成编码信号；和将所述编码信号传送到输出信道。

按照本发明的另一方面，提供在高清晰度视频信号处理系统中，一种在呈现包括每帧1280×1080数据样本的分辨率在内的多于一种图像分辨率的条件下处理接收的数字视频信号的方法，包括下列步骤：解码所述信号生成解码信号；确定所述解码信号的图像分辨率；如果所述解码信号具有每线1280样本的水平图像分辨率，将来自所述解码信号的水平信息转换成不同的分辨率，生成转换信号；和将所述转换信号传送到输出设备。

优选地，所述自适应滤波是与由所述转换步骤所实现的信号二次取样无关的。

优选地，包括所述自适应滤波步骤一直到所述传送步骤的所述方法是根据固定的图像帧格式进行操作的。

优选地，所述自适应滤波是在图像帧内的自适应。

优选地，所述自适应滤波是以一个像素一个像素为单位进行的。

附图说明

图1显示根据本发明的视频压缩器的一种结构。

图2显示图1中的单元22的细节结构。

图3显示包含在单元22中的自适应滤波器的一种可能响应。

图4显示利用本发明的示范性发射系统的流程图。

图5显示利用本发明的示范性接收系统的流程图。

           具体实施方式

包含根据本发明原理的装置的MPEG2包括在编码器前面的二维(例如，垂直和水平)滤波器。编码器、输出缓冲器和滤波器每一个都产生可以被其它单元用来提高总效率的信息。这样的信息涉及，例如，图像运动、图像对比度、量化矩阵选择、比例因子选择、出自各个单元的位速率和图像纹理结构。信息是在由监视编码处理的控制器、或由驻留在每个单元中的单独控制器控制的单元之间进行通信的。

控制器评价到来的信息，并识别在图像组、一帧、或部分帧上的共性，这个共性可以有利地用来修改滤波器和/或编码器的操作以便有效地将图像组、帧或部分帧编码成以目标位速率发送的。由于调整滤波器比调整编码器诱发更少的噪声，因此，一般来说，都是调整滤波器的。另外，滤波器实际上是一组滤波器，按需要调整各个滤波器系数，可以达到最大灵活性。这些滤波器是水平抗混淆低通滤波器、垂直低通滤波器和二维低通滤波器，通常按照刚才给出的顺序依次排列着。控制器评估相对于当前滤波器和编码器装置的接收信息，并根据一个或多个突出共性对一个或多个滤波器和/或编码器作出调整。最后的结果是，输入信号被滤波器按照通常使编码器在整个与被均匀编码的数据的突出共性相关的图像组、一帧、或部分帧上均匀编码图像的方式低通滤波。

编码信号可以在适用的带宽中发送，并且在没有在其它条件下要出现的赝象的情况下被重构和显示。对于具有每图像帧1920×1080像素的高清晰度信号而言，在过滤之后编码之前水平分辨率降低到每线1280像素，进一步压缩了发送信号的带宽。这个结果是利用较小地软件改动HD接收器就能接收、解码和显示的混合图像分辨率。

根据本发明的视频压缩系统的示范性结构显示在图1中。输入视频信号是由电影检测器20来接收的，它识别该信号是否是已经通过电视电影格式转换方法从每秒24帧重新格式化成每秒30帧的电影(影片)信号。重新格式化的电影信号流向如下所述的自适应图像处理器22的适当部分。如果输入信号不是重新格式化的电影信号，信号传送到自适应图像处理器22的另一个部分。识别电视电影格式转换的电影信号是通过公知方法完成的。

根据本发明的视频压缩系统的示范性结构显示在图1中。输入视频信号是由电影检测器20来接收的，它识别该信号是否是已经通过电视电影格式转换方法从每秒24帧重新格式化成每秒30帧的电影(影片)信号。重新格式化的电影信号流向如下所述的自适应图像处理器22的适当部分。如果输入信号不是重新格式化的电影信号，信号传送到自适应图像处理器22的另一个部分。识别电视电影格式转换的电影信号是通过公知方法完成的。

处理器22通过控制器28接收来自输出缓冲器26和来自MPEG2编码器24的控制信号，并滤波图像帧，使得编码器24能够有效地将该帧编码成在适用的位速率之内，和通常无明显的赝象。处理器22按需要二维(2-D)(例如，水平和垂直)滤波信号，提高限制在平均位速率上的MPEG2编码位流的重构图像质量。其目的是按照就图像清晰度和编码赝象而论对MPEG2重构图像损害最小的方式修改图像的局部2-D频谱，来提高MPEG2编码效率。信号的滤波可以对预定的数据，例如，图像组(GOP)或帧组、单帧、或一个像素一个像素，来进行。

2-D滤波器低通滤波图像。最佳的是，要去除的高频信息对观看者来说既是冗余的又是不重要的。实际上，为了取得所希望的位速率，一些对观看者来说是重要的高频信息可以去除。但是，正如下面所讨论的，在MPEG2编码之前包括处理器22的系统生成的图像要优于没有处理器22的系统所生成的图像。

滤波信号由MPEG2编码器24编码，它通过控制器28接收来自处理器22和输出缓冲器26的图像参数，并调整MPEG2压缩以便遵守适用的位速率。压缩按照与GA技术要求所述的相同方式进行。编码器24将压缩数据传送到输出缓冲器26。缓冲器26提供利用公知信号处理技术编码、调制和通过发送信道发送的、以预定速率的待传输压缩数据。在调制之前，压缩信号可以传送到统计多路复用器，用乘法程序进行多路复用，以便在单个信道上发送。缓冲器26后面的信号处理单元是众所周知的，因此，为了简化图形，没有显示在图1中。

可以将视频压缩系统构造成能接收任何类型的视频信号。图1的系统被构造成可以接收格式化成公知工业标准的电视(投影电视)和电影(影片)节目。对于图1的系统，一种通用的结构可以是，例如，接收来自前面背景技术中所述的预处理器的输出。通过添加适当的硬件和/或软件，系统也可以构造成能接收其它类型的视频信号。这些结构都没有显示出来以便简化图1。

电影检测器20识别输入信号中可以用来提高编码效率的某种关系的存在：(类型1)60字段/秒隔行扫描源、(类型2)60字段/秒隔行扫描的30帧/秒电影、(类型3)60字段/秒隔行扫描的24帧/秒电影、(类型4)逐行扫描源、(类型5)60帧/秒逐行扫描的30帧/秒电影和(类型6)60帧/秒逐行扫描的24帧/秒电影。检测是根据外部控制信号(图中未显示)或通过如现行标准清晰度(SD)MPEG2编码器所使用的公知技术进行的。正如下面所述的，信号格式信息与信号一起传送到自适应图像处理器22。电影检测器20还检测该信号是隔行扫描型的还是逐行扫描型的，并将这个信息传送到处理器22。这些扫描类型是示范性的，并确定使信号流向处理器22的参数。关于其它字段和帧速率的实施方案也可以使用。

自适应图像处理器22实现几个降低将由编码器24压缩的数据的数量的可编程功能。处理器22通常对每个帧进行操作，致使经处理的帧可以得到最佳编码，消除或大大地降低对观看者来说是明显的噪声。通常可以将处理器22看作空间可变2-D低通滤波器，因为它从空间上下取样(down-sample)每个图像帧和自适应地从信号中滤波选择的2-D高频成分。自适应滤波可以被调整到在一列帧上进行、在单一个帧内进行、或一个像素一个像素地进行，生成经处理的帧。

处理器22能够便利对任何类型信号的编码。但是，对于这个实施例来说，处理器22被编程成对GA技术要求所规定的HD数据进行操作。这既可以是每幅图像1920×1080像素也可以是每幅图像1280×720像素。根据此GA技术要求，每个HD格式要求播送大约每秒18兆位。为了使讨论简单化，现在只对1920×1080格式进行详细讨论。此讨论同样适用于1280×720格式或任何其它格式。

图2显示了自适应图像处理器22的细节结构。根据从检测器20接收的信号格式信息，图像信号由控制器28(图1)路由到隔行-逐行转换器221(类型1)、逆电视电影格式转换(de-telecine)单元222(类型2、3)、或不加修改地传送到空间限带低通滤波器223。在单元221和222已经对信号进行了处理之后，滤波器223接收它们的输出。

如果信号格式包含60Hz隔行字段，转换器221就接收这个信号，并将它转换成每秒60帧速率的逐行帧。逐行帧包括每帧中的所有图像信息。滤波逐行扫描信号通常并不带入滤波隔行信号的字段信息时可能出现的赝象。转换器221利用公知的方法将隔行字段转换成逐行帧。

逆电视电影格式转换单元222消除60Hz隔行扫描电影的冗余字段和重构原始的逐行扫描电影。逐行格式使随后的垂直低通滤波不受运动赝象的干扰。万一电影源(类型2或类型3)输入被当作类型1的源输入处理，垂直低通滤波将降低MPEG2编码器检测和适当处理电影源内容的能力。编码效率也将遭受损害。单元222将信号转换成逐格式的信号，并在滤波之前去除冗余字段/帧，因为滤波过程可能各不相同地滤波掉冗余信息。如果冗余信息没有在滤波之前被去除，那么在滤波之后信息可能是不同的，编码器可能不能将此信号识别为类型2/3的信号，然后，编码器将编码在其它情况下由于其冗余性已经被去除的信息。

此外，通过在单元222上提供单个输出时钟可以简化处理器22的设计。如果单元222提供每秒24帧速率和每秒30帧速率两种逐行影片图像的输出，则需要两个输出时钟和支持电路。

按照每秒30帧逐行格式原始生成的信号直接传送到滤波器223。滤波器223要求表示成完整图像帧的视频信息。空间低通滤波器223实际上是一组滤波器。例如，如上所述，第一滤波器是抗混淆水平低通滤器，第二滤波器是垂直低通滤波器，和最后滤波器是2-D低通滤波器。每个滤波器的抽头系数可以根据来自如图1所示的编码器24和缓冲器26的控制信息自适应地设置。逐行信号被水平低通滤波，以便从随后的以取样速率下取样的转换器226中消除混淆。正如下面将要讨论的，每线1920像素的最后水平输出将变成每线1280像素。为了消除最后信号中的混淆噪声，低通滤波器223具有每线640周的截止频率。包含在单元223中的水平抗混淆滤波器可以是带有如下抽头系数的17抽头有限脉冲响应(FIR)滤波器：

[f₀、f₁、…、f₁₅、f₁₆]＝[-4、10、0、-30、48、0、-128、276、680、276、-128、0、48、-30、0、10、-4]/1024

位速率降低了的编码HD视频信号通常需要附加垂直低通滤波，以进一步压缩视频信号的带宽。在MPEG编码之前去除垂直高频能量对取得可接收的总体图像质量是必要的。最高相位灵敏度的垂直频区被衰减。垂直截止频率被设置成奈奎斯特(Nyquist)频率的某个分数倍。例如，对于一些视频内容(素材)来说，大约等于HD输入信号的线速率的一半的截止频率可能是合适的。对于带有1080线/图像高度(l/ph)的HD信号而言，这将对应于540l/ph的截止频率。这个频率可以是可编程的，可编程的截止频率将由控制器28根据来自图1的编码器24和缓冲器26的适当参数(即，所希望的位速率、量化矩阵，等)来确定。包含在单元223中的垂直低通滤波器可以是带有如下抽头系数的17抽头FIR滤波器：

[f₀、f₁、…、f₁₅、f₁₆]＝[-4、-7、14、28、-27、-81、37、316、472、316、37、-81、-27、28、14、-7、-4]/1024作为一个可选值，截止频率可以等于SD信号的线速率的两倍。一般来说，垂直低通滤波器紧接在水平抗混淆滤波器的后面。

处理器22进行垂直滤波，而不是进行垂直抽选，从而保持了恒定的垂直线分辨率。通常对于隔行视频信号，滤波优于抽选。转换有关隔行图像序列的垂直线分辨率需要复杂的硬件和软件，导致接收器成本升高。由于提高了与奈奎斯特(Nyquist)取样(即，无过取样)有关的抽头复杂性，垂直取样速率转换要兼顾到垂直高频性能。对接收器的成本考虑通常不鼓励降低垂直分辨率来降低赝象和编码位速率。在取代如上所述的垂直低通滤波器的垂直取样速率转换器中应用现有技术会使显示图像质量显著变差。但是，有效的和有成本优势的垂直取样速率转换器可以取代本文所述的垂直滤波器，而并不偏离本发明的原理。

如有必要，关于水平和垂直低通滤波器的系数可以上软件来修改，并应用到像素电平上以取得在重构图像中不生成赝象的目标位速率。一般来说，以帧为单位的系数修改就足够了。用于较慢处理器的一种可选方案是为滤波器预编程若干个不同的系数组并选择最合适的那一组用于正在处理的图像信息。相对于没有自适应滤波器的系统来说，自适应滤波器的较大灵活性使整个系统能够产生带有较少赝象的数据流。

在信号已经由单元223沿着水平方向和垂直方向进行低通滤波之后，控制器28判断该信号是否由编码器24以帧为单位均匀编码而没有带入明显的量化噪声。如果这样的话，信号根据其格式传送到单元224、225或226，下面将会对此进行讨论。但是，如果编码过程有可能将噪声和/或赝象带入到信号中，则将信号传送到单元223中的二维低通滤波器进行进一步的自适应滤波。来自处理器22、编码器24和输出缓冲器26(图1)的控制参数使控制器28(或单元223中的单独的单元控制器)判断是否需要进一步滤波。用于作出这个判断的控制参数是，例如，运动和对比度的测量结果、适用的量化表、编码效率和当前目标位速率。

单元223中的2-D滤波器减少了来自主要沿着对角线方向，而不仅仅是沿着水平或垂直方向的图像帧的高频信息。相对于对角线方向来说，人眼对沿着垂直和水平方向的高频噪声格外敏感。沿着对角线方向去除足够的高频信息让编码器24均匀量化通常生成带有较少可察觉噪声的较高质量信号。与所有以前的滤波一样，对角线滤波器对整个图像帧进行操作，并且是可编程的。

对角线滤波器可以与编码器中的量化矩阵兼容。用于I帧量化的量化矩阵经常使用菱形状矩阵。但是，由于B和P帧使用其它类型的量化矩阵，它们在编码器24中进行的压缩和运动补偿处理过程中保留了高频成分，因此，这些菱形状矩阵往往诱发噪声。在MPEG2编码器24在运动估计网络中将数据处理成I、P和B帧之前，处理器22的滤波器从每个图像帧中去除高频信息。因此，高频成分通常不但从I帧中而且从P和B帧中消除。在重构时，图像通常不含公知的由MPEG 2编码产生的赝象。

参照图1，实际上，控制器28在处理器22滤波给定的帧之前估计信号参数(例如，运动、对比度等)，并确定关于单元223中的所有滤波器的系统设置，包括所需要的对角线滤波。在对给定帧的滤波处理过程中，控制器28监视来自处理器22、编码器24和缓冲器26的信号参数，并按需要改变系数以保持使赝象/噪声最小的目标位速率。每个帧是根据最近的信号参数进行滤波的，并传送到编码器24进行压缩，然后传送到缓冲器26作为后续信息输入到滤波器223中。

如果信号源于每秒24帧的电影信号，则将滤波信号施加到3：2下拉单元(pull down unif)224上。单元224复制所选择的帧以提供每秒30帧的输出信号。这是利用公知方法完成的。然后，信号从单元224传送到水平下取样转换器226。

字段二次取样单元225将来自滤波器223的逐行信号从逐行扫描格式转换成隔行扫描格式。这种转换是通过公知方法完成的。由于来自单元221的逐行帧速率是60Hz，无需转换回到隔行格式，该信号将含有两倍的数据量。隔行信号施加到转换器226。

取样速率转换器226直接从滤波器223接收每秒30帧的逐行信号。此外，如上所述，单元224和225也将信号提供给转换器226。转换器226将HD信号下取样成所选择的发送格式。这种格式并不需要是一种标准格式。它可以是任何图像比和所希望的帧尺寸。但是，非标准格式需要接收器对其进行修改。

当转换器226接收1920×1080 GA HDTV信号时，转换器226下取样水平信息并输出1280×1080的混合像素帧格式。GA HDTV兼容接收器能够接收含有1920×1080像素和1280×720像素的图像帧。因此，可以对GA兼容接收器加以修改，以支持1280像素水平分辨率和1080像素垂直分辨率。兼容接收器硬件结合垂直分辨率的提高将1280水平像素上取样成1920水平像素。但是，既不能要求GA从属接收器也不能将GA从属接收器编程成能接收如所定义的格式的1280×1080像素(水平×垂直)的图像帧分辨率。硬件处在接收和解码这个分辨率的位置上，但必须添加解码和只提高水平分辨率的支持软件。相对于重新设计和添加其它非标准格式所需要的新硬件来说，添加软件是既简单又便宜。

由于现有显示技术还不能显示1920像素/线的分辨率，处理器22提供1280×1080的混合格式。目前，最好的电视监视器也只能显示大约1200-1300像素/线的分辨率。因此，将水平方向的输出分辨率限制在1280像素/线对图像质量几乎没有什么负面效应。通过提供受现有解码和解压缩接收器硬件支持的显示分辨率(1280×1080)，由于只对软件作必要的改变，接收器制造商将受到极小影响。对于某些接收器，例如用于广播卫星的接收器，软件修改可以通过卫星链路远程下载和安装。对于这些接收器，无需服务技术专家参与。

由于地面和卫星节目提供商都不情愿发送HD节目，这种混合格式是有优势的。卫星转发器发送大约每秒24兆位(Mbps)的数据流。地面HDTV广播可以发送直到19Mbps的数据流，包括18Mbps的HD节目和其它信息(例如，音频、节目预告、条件收视等)。目前的卫星转发器每个最多只能传送一个HDTV节目，这正是卫星节目提供商抱怨无利可图的焦点所在。简单地将水平帧分辨率从1920降低到1280并不足以使单个卫星转发器同时发送两个HD节目。由处理器22提供的滤波有利于在单个信道上进行这样的双HD发送。

由处理器22提供的滤波特性可以具有各种形状、包括从一轴到另一轴的菱形形状、交叉形状、和双曲线形状，这里，对于每个滤波器，滤波是对角的。一个可能的形状，2-D双曲线形，在本应用中尤其有长处，它具有如图3所示的幅度-频率响应。可调滤波截止频率通常被设置成使所选择的GOP、帧或部分帧由编码器24均匀压缩。如有必要，可以另外对水平和垂直高频信息进行滤波，但通常这是不必要的。随着图像复杂性的改变，或随着可适用位速率的提高，由对角线滤波器和其它前面的滤波器滤波的数据量会减少。2-D滤波器可以称为，例如，在每个方向都带有13个抽头的二维FIR滤波器(13×13)，或2-D有限脉冲响应(IIR)滤波器。

包含在单元223中的2-D FIR滤波器可以是带有下列抽头系数的13×13抽头滤波器：

0    0    0    1   -3    5    -5     5   -3    1    0    0    0

0    0    1   -1   -3    9    -11    9   -3   -1    1    0    0

0    1   -1   -4    4    6    -13    6    4   -4   -1    1    0

1   -1   -4    1    14  -13    4    -13   14   1   -4   -1    1-3   -3    4    14   5   -47    61   -47   5    14   4   -3   -3

5    9    6   -13  -47  -55    193  -55  -47  -13   6    9    5-5   -11 -13    4    61   193   556   193  61   4   -1   -11  -5

5    9    6   -13  -47  -55    193  -55  -47  -13   6    9    5-3   -3    4    14   5   -47    61   -47   5    14   4   -3   -3

1   -1   -4    1    14  -13    4    -13   14   1   -4   -1    1

0    1   -1   -4    4    6    -13    6    4   -4   -1    1    0

0    0    1   -1   -3    9    -11    9   -3   -1    1    0    0

0    0    0    1   -3    5    -5     5   -3    1    0    0    0

对于这些系数，DC增益是1024。这些系数呈现出卦限对称性，它给出了28个独立系数。对称系数区使可调滤波器得到较快设置。但是，例如，如果被滤波的图像或区域在图像的某一部分中呈现不同的特性，则有可能每个卦限各不相同。

处理器22的滤波响应可以以像素到像素为单位从一组系数连续变化到另一组系数。因此，正如下面将要讨论的，在位速率约束下，处理器可以呈现不同的工作参数以保持高质图像。

如前所述，处理器22根据用来定义滤波器自适应性的参数可以自适应地得到修正进行自适应滤波。例如，图像帧中的方差可以用来将图像分成若干个区域以进行不同的处理。边缘是重要的图像特征，因为主边缘隐蔽着那个区域的编码误差，和它们也可以定义图像范围。色度可以用来识别低复杂性的区域，象肌肤和天空等。也可以对一个区域的纹理进行识别和处理。纹理通常没有边缘那么重要。因此，纹理用来识别比其它区域滤波得更多的区域。此外，电影内容也可以用来定位要求较高编码效率、因此较少滤波的重要人像或动作。背景通常被摄像机镜头的场深软化，可以被更多地滤波掉。随动拍摄(pan)和扫描信息可以用来确定感兴趣图像的中心供处理器22进行不同的处理用。

编码器24的工作是与MPEG2标准兼容的。编码器24可以通过控制器28提供处理器22可以用来提高性能的信息。这样的信息可以包括，例如，位速率信息。这个位速率信息可以包括GOP的平均位速率、帧位速率、和宏块或块位速率。其它可以提高处理器22性能的信息包括离散余弦变换的复杂性、正在使用的量化矩阵的类型、和正在使用的量化矩阵步长。此外，处理器22也可以通过控制器28将信息提供给编码器24，调整编码器的工作状态以提高编码性能。

在利用公知技术形成传输分组数据流之后，HD信号按照公知方式，例如，如Grand Alliance技术要求所描述的方式，发送到接收器。除了在接收器上对完全HD像素分辨率要求上取样之外，由处理器22提供的信号处理对Grand Alliance兼容接收器中的解码器是透明的。

在接收器上，利用公知技术对数据流进行解调和对传输流进行处理来恢复数据包和节目信息。对于按照上面所述的混合格式的HD节目，如果显示器要求完全HD信号，则信号在显示处理器中沿着水平方向被上取样。图像信号中的垂直线数没有改变。这样就重构出1920×1080分辨率的完全HD信号供高清晰度图像重现设备显示用。如果图像显示设备要求低于完全HD信号的信号，在显示之前的图像重构过程中该信号利用公知方法进行合适地下取样。现有的GrandAlliance兼容接收器要求对软件进行修改，以便能够重构混合信号。软件修改使指定给GrandAlliance标准化模式的水平和垂直硬件和软件处理程序可以根据输入信号的需要独立地得到选择。

图4是流过编码系统的视频图像信号的流程图。在步骤30，对信号格式进行识别并将识别信息与视频信号一起传输。格式信息可以表示，例如，信号是否是源自每秒24帧格式的电影，和信号是隔行扫描的还是逐行扫描的。如果视频信号是隔行扫描信号，则在步骤31，将信号转换成每秒60帧的逐行扫描信号。如果信号已经由3：2下拉单元转换，则在步骤32，去除冗余帧。如果视频信号已经是投影电视逐行扫描格式，则直接传送到步骤34的滤波器。在步骤34，视频信号被空间低通滤波。空间低通滤波包括如上所述的垂直、水平和对角线滤波。步骤35将在步骤31从隔行扫描信号转换的逐行扫描信号重新转换回到隔行扫描信号。在步骤36，对信号进行3：2下拉处理以复原在前面步骤32删除的冗余帧。上面从步骤30直接传送到步骤34的视频信号现在直接从步骤34传送到步骤38。在步骤38，来自步骤34、35和36之一的视频信号被二次取样成如上所定义的混合1280×1080 HD信号分辨率，或另一种所希望的输出格式。在步骤40，按如前所述的方式MPEG2编码混合信号。步骤42传输处理编码信号，和步骤44按照通过诸如RF地面广播信道那样的输出信道的发送要求调制传输信号。最后，步骤46发送调制信号。步骤42-46是通过公知方法实现的。

图5是流过接收器的发射图像信号的流程图。这个流程图假定接收信号的图像分辨率是如上述定义的混合1280×1080 HD信号分辨率。在步骤50，发送信号由调谐器接收并得到解调。在步骤52，对解调信号进行MPEG2解码和解压缩。步骤54通过与信号一起传送的控制信息将视频信号分辨识别为每个图像1280×1080像素。Grand Alliance MPEG2协议将发送信号提供给图像分辨率信息。与任何其它定义的分辨率一样，混合信号通常通过专用码来识别。在其它情况下，混合信号也可以通过，例如，发送数据的用户数据中的信息来确定。在步骤56，在显示处理过程中混合视频信号被水平上取样成完全1920×1080 HD信号。混合信号是利用与现有硬件有关的新软件和驻留在如前所述的接收器中的软件来上取样的。最后，在步骤58，完全HD视频信号显示在1920×1080显示器上。步骤50、52和58使用了公知的方法。

上面所述的装置和方法可以应用于许多结构中来获得改善了的图像重构供高清晰度显示用。可以根据具体系统的要求决定使用自适应的和非自适应的可选方案。下面讨论这些可选方案中的几个。

非自适应策略是将处理器22的帧滤波限制在目标位速率上并使所有图像得到均匀处理。另一种非自适应策略是假设显示图像的中心是最感兴趣区域。这也假定了对观看者来说图像的周围并不太令人感兴趣，因此也不太重要。处理器22的滤波系数是由控制器28通过作为像素空间位置的函数的参数来设置的，和所有的图像信息都得到均匀处理。

自适应可选方案是利用基于源图像的纹理模型参数、局部视频方差、色度、或其它图像复杂性程度将图像分成若干个区域。处理器22的滤波特性是针对不同的区域自适应地修正的。

另一种方法是自适应地修正作为实际位速率与目标位速率之差的函数的滤波特性。在这种情况中，单个参数控制关于2-D频率响应的滤波系数的变换。

另一种策略是将处理器22提供的滤波的2-D频率响应设计成与编码器24所使用的量化矩阵兼容。量化矩阵可以被看成具有2-D形状的低通滤波器。对于这种策略，滤波系数的值将是量化矩阵步长的函数。随着步长根据公知的编码器操作发生改变，相应的滤波系数也会发生相应的改变。

上面所述的可选方案说明了应用本发明原理的系统的灵活性。这样的系统最好在MPEG2速率控制的范围内操作，以便通过降低编码赝象和其它噪声来扩展MPEG2的压缩能力。HDTV应用的通用性和经济实用性是通过使用本发明得到提高的。在直播卫星系统(即，24MHz 4-PSK)中每个转发器发送的HD节目数从一个节目增加到两个节目，或带有多个SD节目的一个HD节目。在6MHz地面广播信道中发送带有多个SD节目的一个HD节目的能力是根据本发明的原理达到的。以前，广播电台限制在一个信道中只发送一个HD节目，或一个信道中只发送多个SD节目。

尽管在HD信号发送和接收系统内已经对本发明进行了说明，但本发明的原理可以应用于诸如数据存储系统之类的其它装置中。在诸如数据视频光盘(DVD)那样的系统中，编码并存储视频数据以供以后重放用。这种存储介质只有有限的可适用存储空间。如果编码节目、电影、或其它视频序列超过介质上的可用空间，就要进一步编码/压缩使节目与可用空间相匹配，这样可能造成令人难以接收的赝象。上面所述的发明可以用来有效地将节目编码成具有使节目与盘相匹配的较低位速率。或者，现在，多个节目可以安装在一个盘上。存储到磁带上的数字存储也可以具有上述的优点。

Claims (23)

1.一种处理分别呈现第一和第二不同图像格式的第一和第二视频信号的方法，包括检测所述第一或第二视频信号存在的步骤，和进一步包括如下步骤：

A.当所述第一视频信号被检测到时，

(a)将所述第一视频信号转换成不同的格式，生成转换信号；

(b)滤波所述转换信号生成滤波信号；

(c)将所述滤波信号重新转换回到所述第一信号的原来格式，生成重新转换信号；

(d)将所述重新转换信号转换至较低分辨率，生成较低分辨率信号；

(e)编码所述较低分辨率信号生成编码信号；和

(f)将所述编码信号传送到输出信道；以及

B.当所述第二视频信号被检测到时，

(g)滤波所述第二视频信号生成滤波信号；

(h)将所述滤波信号转换至较低分辨率，生成较低分辨率信号；

(i)编码所述较低分辨率信号生成编码信号；和

(j)将所述编码信号传送到输出信道。

2.如权利要求1所述的方法，其中：

所述第一视频信号是隔行扫描信号，和所述隔行扫描信号在步骤(a)被转换成逐行扫描信号。

3.如权利要求1所述的方法，其中：

所述第一视频信号是经电视电影格式转换的电影信号，和所述经电视电影格式转换的电影信号在步骤(a)被转换成经逆电视电影格式转换的信号。

4.如权利要求1所述的方法，其中：

所述第二视频信号是逐行扫描信号。

5.如权利要求1所述的方法，其中：

所述滤波步骤提供了低通滤波。

6.如权利要求5所述的方法，其中：

所述滤波步骤提供了二维滤波。

7.如权利要求1所述的方法，其中：

所述滤波步骤提供了适用于一组图像帧、单帧和部分帧之一的自适应滤波。

8.如权利要求1所述的方法，其中：

所述滤波步骤提供了时间低通滤波和响应所述信号的特性自适应地改变滤波特性。

9.如权利要求1所述的方法，其中：

所述滤波步骤提供了空间低通滤波和响应所述信号的特性自适应地改变滤波特性。

10.如权利要求1所述的方法，其中：

所述编码步骤是MPEG2兼容的。

11.如权利要求1所述的方法，其中：

所述较低分辨率信号具有每帧1280×1080数据样本的分辨率。

12.如权利要求1所述的方法，其中：

所述第一和第二视频信号是具有每帧1920×1080数据样本的高清晰度信号。

13.一种处理无电视电影格式转换的逐行扫描视频信号的方法，包括下列步骤：

自适应地滤波所述检测信号生成滤波信号；

将所述滤波信号转换至较低空间分辨率，生成较低空间分辨率信号；

MPEG编码所述较低空间分辨率信号生成编码信号；和

将所述编码信号传送到输出信道，其中所述自适应滤波是滤波之前的图像信号参数的函数。

14.如权利要求13所述的方法，其中：

所述滤波步骤是低通滤波，和所述编码步骤是MPEG2编码。

15.如权利要求13所述的方法，其中：

所述自适应滤波是与由所述转换步骤所实现的信号二次取样无关的。

16.如权利要求13所述的方法，其中：

包括所述自适应滤波步骤一直到所述传送步骤的所述方法是根据固定的图像帧格式进行操作的。

17.如权利要求13所述的方法，其中：

所述自适应滤波是在图像帧内的自适应。

18.如权利要求13所述的方法，其中：

所述自适应滤波是以一个像素一个像素为单位进行的。

19.一种处理无电视电影格式转换的逐行扫描视频信号的方法，包括下列步骤；

滤波所述检测信号生成滤波信号；

将所述滤波信号转换至较低分辨率，生成具有每帧1280×1080样本的分辨率的较低分辨率信号；

编码所述较低分辨率信号生成编码信号；和

将所述编码信号传送到输出信道。

20.在高清晰度视频信号处理系统中  一种在呈现包括每帧1280×1080数据样本的分辨率在内的多于一种图像分辨率的条件下处理接收的数字视频信号的方法，包括下列步骤：

解码所述信号生成解码信号；

确定所述解码信号的图像分辨率；

如果所述解码信号具有每线1280样本的水平图像分辨率，将来自所述解码信号的水平信息转换成不同的分辨率，生成转换信号；和

将所述转换信号传送到输出设备。

21.如权利要求20所述的方法，其中：

所述转换是上转换，和所述不同分辨率是每线1920水平样本。

22.如权利要求20所述的方法，其中：

所述转换是下转换，和所述不同分辨率是较低分辨率。

23.如权利要求20所述的方法，其中：

所述接收数字视频信号是MPEG2兼容的。

Images