CN1255017A - 使用一预抽取滤波器的下变换系统 - Google Patents

使用一预抽取滤波器的下变换系统 Download PDF

Info

Publication number
CN1255017A
CN1255017A CN99121711A CN99121711A CN1255017A CN 1255017 A CN1255017 A CN 1255017A CN 99121711 A CN99121711 A CN 99121711A CN 99121711 A CN99121711 A CN 99121711A CN 1255017 A CN1255017 A CN 1255017A
Authority
CN
China
Prior art keywords
filter
pixel value
piece
video signal
low resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN99121711A
Other languages
English (en)
Other versions
CN1122413C (zh
Inventor
金熙龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1255017A publication Critical patent/CN1255017A/zh
Application granted granted Critical
Publication of CN1122413C publication Critical patent/CN1122413C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

高清晰度电视信号下变换系统包括从高分辨率编码信号形成低分辨率信号的设备,该设备包括:接收装置,接收编码信号作为包括宏块的高分辨率频域视频系数值块;下变换滤波装置,对块内被选高分辨率频域视频系数值加权生成频域视频系数块;反变换装置,将系数块变成第一滤波象素值的一块;预抽取滤波装置,对第一滤波象素值滤波提供第二滤波象素值块;及抽取装置,删除第二滤波象素值中被选值提供低分辨率信号象素值块。

Description

使用一预抽取滤波器的下变换系统
本发明涉及一种将一编码的高分辨率视频信号，例如MPEG-2编码的视频信号转换并格式化成一解码的低分辨率输出视频信号的解码器，且更具体地，涉及一种用于该解码器的下变换系统。
在美国，一标准已被建议用于数字编码的高清晰度电视信号(HDTV)。该标准的一部分在本质上与由国际标准化组织(ISO)的运动图象专家组(MPEG)建议的MPEG-2是相同的。该标准在题为“信息技术—运动图象及相关的音频的类编码，建议H.626(InformationTechnology-Generic Coding of Moving Pictures and AssociatedAudio，Recommendation H.626)”，ISO/IEC 13818-2，IS，11/94的可从ISO获得的国际标准(IS)出版物中被描述，并将它的有关MPEG-2数字视频编码标准的说明结合在此作为参考。
MPEG-2标准实际上是几个不同的标准，在MPEG-2中，几个不同的轮廓被定义，各对应于被编码图象的一不同的复杂度水平。对于各轮廓，不同的水平被定义，各水平对应于一不同的图象分辨率。MPEG-2标准之一被称之为主轮廓，主水平(Main Profile，Main Level)，其用于对符合现有电视标准(即NTSC或PAL)的视频信号进行编码。另一标准被称之为主轮廓，高水平(Main Profile，High Level)，其用于对高清晰度电视图象进行编码。根据主轮廓，高水平标准被编码的图象具有高达每图象帧1152有效行和每行1920个象素。
另一方面，主轮廓，主水平标准定义了每行720个象素和每帧576行的最大画面尺寸。在每秒30帧的帧速下，根据该标准被编码的信号具有每秒720×576×30或12441600个象素的数据速率。对比起来，根据主轮廓，高水平标准被编码的图象具有每秒1152×1920×30或66335200个象素的最大数据速率。该数据速率比根据主轮廓，主水平标准被编码的图象数据的数据速率的五倍还要大。在美国被建议用于HDTV编码的标准是该标准的一子组，具有高达每图象帧1080行和每行1920个象素，及对于该帧尺寸的每秒30帧的最大帧速。用于该建议的标准的数据速率仍远大于用于主轮廓，主水平标准的最大数据速率。
MPEG-2标准定义了包含数据和控制信息的一混合物的一复合语法。该控制信息的一些被用于使具有几种不同格式的信号能被该标准所覆盖。这些格式定义了具有不同的每行图象元素(象素)数，不同每帧或每场的行数，和不同的每秒帧数或场数的图象。而且，MPEG-2主轮廓的基本语法定义了代表在五个层，序列层、图象群层、图象层、片(slice)层和宏块层中的一序列图象的压缩的MPEG-2位流。这些层中的各层用控制信息被引导。最后，其他信息，也被称为辅助信息(例如，帧类型，宏块图案，图象运动矢量，系数Z形图案和去量化信息)通过该编码的位流被散置。
一下变换系统将高清晰度输入图象变换成低分辨率图象用于在一低分辨率监视器上显示。高分辨率主轮廓，高水平图象到主轮廓，主水平图象，或其他低分辨率图象格式的下转换已获得增大的用于减小HDTV的实现成本的重要性。下转换允许用具有低图象分辨率的便宜的现有的监视器来替换使用主轮廓，高水平编码的图象的昂贵的高清晰度监视器以支持例如主轮廓，主水平编码的图象，例如NTSC或525逐行监视器。
为有效地接收数字图象，解码器应快速地处理视频信号信息。为使最佳地有效，编码系统应是相对便宜的且还具有充足的能力来实时地解码这些数字信号。
现有技术中的一种下变换的方法简单地进行低通滤波并抽取解码的高分辨率、主轮廓，高水平图象以形成适用于在一常规的电视接收机上进行显示的图象。因此，使用现有技术，采用下变换的解码器可使用一单个的具有复杂设计，很大的存储量，并以高数据速率对空间域图象起作用的处理器而被实现以执行该功能。然而，高分辨率，和高数据速率要求非常昂贵的电路，这与成本是主要因素的消费者的电视接收机中的解码器的实现是相违背的。
本发明是在一用于从一代表一视频图象的被编码的视频信号形成一低分辨率视频信号的设备中被实现的。该被编码的视频信号是一频域变换的高分辨率视频信号。该设备包括一用于接收该被编码的视频信号作为多个高分辨率频域视频系数值的块。一下变换滤波器对在各块内的高分辨率频域视频系数值中被选择的系数值进行加权以生成对应的滤波后的频域视频系数的块。一逆变换处理器将各滤波后的频域视频系数的块变换成一第一滤波后的象素值的块。一预抽取滤波器执行多个第一滤波后的象素值的块的块间滤波并提供对应的第二滤波后的象素值的块。一抽取装置删除各块内的第二滤波后的象素值中的被选择的象素值以提供低分辨率向下抽样的视频信号象素值。
根据本发明的一方面，该抽取装置被耦合至一向上抽样滤波器，该向上抽样滤波器将低分辨率向下抽样的视频信号象素值的块转换成低分辨率视频信号象素值的向上抽样的块。一加法器然后将这些低分辨率视频信号象素值的向上抽样的块加至第一滤波后的象素值的块以提供一通过该预抽取滤波器被滤波的且然后通过该抽取装置被抽取的一和。该向上抽样滤波器和预抽取滤波器的组合的频率响应特性符合一拉格朗日(lagrange)插值器的响应特性。
从以下结合附图进行的详细描述，本发明的以上及其他的目的和特征将变得显然。
图1为现有技术的一视频解码系统的高水平方框图；
图2为具有一DCT域滤波器和一预抽取滤波器的一下变换系统的一示例性实施例的高水平方框图；
图3A示出了3∶1和2∶1下变换系统的示例性实施例的子象素部分和对应的预测的象素；
图3B示出了对一示例性下变换系统的一输入宏块的各行执行的向上抽样过程；
图4示出了用于一块反射镜滤波器的一示例性实施例的第一和第二输出象素值的乘法对；
图5A示出了用于使用3∶1抽取的4∶2∶0视频信号的输入和抽取的输出象素；
图5B示出了用于使用2∶1抽取的4∶2∶0视频信号的输入和抽取的输出象素；
图6示出了一向上抽样滤波器、一预抽取滤波器的频率响应特性和它们的对于一水平的3∶1下变换系统的级联的响应；及
图7示出了一向上抽样滤波器、一预抽取滤波器的频率响应特性和它们的对于一水平的2∶1下变换系统的级联的响应。
I.解码器综述
本发明的示例性实施例对已根据MPEG-2标准且更具体地是主轮廓，高水平MPE6-2标准被编码的解码的HDTV信号进行滤波。
然而，在此所述的本发明并不限于解码的HDTV信号的下变换滤波。以下描述的滤波方法还可被使用以对其他类型的频域编码的数字信号(可被划分成若干部分，被滤波，且然后被重组合)进行滤波。
该MPEG-2主轮廓，高水平标准以五个水平：序列水平、图象群水平、图象水平、片水平和宏块水平定义了一序列图象。这些水平中的各个可被认为是一数据流中的一记录，后列出的水平出现作为先列出的水平中的嵌套的子水平。各水平的记录包括一头部，该头部包含在解码其子记录中被使用的数据。
宏块由六个块组成，4个亮度块Y和2个色度块Cr和Cb。编码的HDTV信号的各块包含代表一两维离散余弦变换(DCT)的64个各自系数值的数据，其中该64个各自系数值代表HDTV图象中的64个图象元素(象素)。
在编码的过程中，象素数据在被进行离散余弦变换之前被进行运动补偿差分编码且这些变换的系数的块通过采用行程长度和可变长度编码技术而再被编码。从该数据流恢复该图象序列的一解码器逆反该编码过程。该解码器采用一熵解码器(例如，一可变长度编码器)，一逆离散余弦变换处理器，一运动补偿处理器，和一插值滤波器。
图1是现有技术的一典型的视频解码系统的高水平方框图。该现有技术的视频解码器包括一熵解码器110(通常是一可变长度解码器和一行程长度解码器)，一反量化器120，和一反离散余弦变换(IDCT)处理器130。该示例性系统还包括一相应于由熵解码器110从输入位流检索的控制信息来控制该解码系统的不同元件的控制器170。为处理预测图象，该现有技术的系统还包括一存储器160，一加法器140，一运动补偿处理器150，和一块到光栅(block to raster)转换器180。
可变长度解码器110接收编码的视频图象信号，并逆转编码过程以生成包括描述一先前解码的图象中的一匹配的宏块的相对位移的运动矢量的控制信息。该匹配的宏块对应于当前被解码的预测的图象的一宏块。该可变长度解码器110还接收或者被称之为剩余视频图象的当前视频图象的块的量化的DCT变换系数(如果使用帧内编码)，或者接收当前和预测的视频图象之间的差(如果使用帧间编码)。反量化器120接收量化的DCT变换系数并重构用于一具体宏块的量化的DCT系数。待被用于一具体块的量化矩阵被从该可变长度解码器110接收。
IDCT处理器130将重构的DCT系数变换成空间域中的象素值(用于代表该宏块的亮度或色度分量的8×8矩阵值的各块，和用于代表该预测的宏块的差分亮度或差分色度分量的8×8矩阵值的各块)。
如果该当前宏块未被预测地编码，则输出矩阵值是当前视频图象的对应宏块的象素值。如果该宏块被进行帧间编码，先前视频图象帧(一基准帧)的对应宏块被存储在存储器160中供运动补偿处理器150使用。运动补偿处理器150响应于从熵解码器110接收的运动矢量，从存储器160接收先前的宏块。运动补偿处理器然后在加法器140中将该先前宏块加至当前IDCT变换的宏块(对应于当前预测地编码的帧的一剩余分量)以生成用于当前视频图象的象素的对应的宏块，然后被存入存储器160。
II.下变换系统
A.综述
图2是一下变换系统的一示例性实施例的高水平方框图。如图2中所述，该下变换系统包括一可变长度解码器(VLD)210，一行程长度(R/L)解码器212，一反量化器214，和一反离散余弦变换(IDCT)处理器218。而且，该下变换系统还包括一下变换滤波器(DCT滤波器)216，一预抽取滤波器240，和一用于编码的图象的滤波的向下抽样处理器232。尽管以下描述了用于一主轮廓，高水平编码的输入的示例性实施例，该下变换系统可用任何类似的进行编码的高分辨率图象位流而被实现。
该下变换系统还包括一运动矢量(MV)变换器220，包括向上抽样处理器226和半象素生成器228的一高分辨率运动块生成器224和一基准帧存储器222。
而且，该系统包括一显示转换单元280(包括一垂直可编程滤波器(VPF)282和水平可编程滤波器(HZPF)284)。该显示转换单元280将一向下抽样的图象转换成在具有低分辨率的一具体显示器上进行显示的图象。
下变换滤波器216执行频域内的高分辨率(例如主轮廓，高水平DCT)系数的块内低通滤波。预抽取滤波器240执行空间象素值的块间低通滤波。向下抽样处理器232通过抽取低通滤波的主轮廓，高水平图象而消去选择的空间象素值以生成一组可在具有比要求显示主轮廓，高水平图象的分辨率要低的分辨率的监视器上显示的象素值。示例性的基准帧存储器222存储对应于具有对应于向下抽样的图象的一分辨率的至少一先前编码的基准帧的空间象素值。对于非宏块内编码，MV转换器220和分辨率的减少一致地对接收的图象的各块运动矢量进行定标，且低分辨率运动块生成器224接收由基准帧存储器222提供的抽取的低分辨率运动块，对这些运动块进行向上抽样并生成半象素值从而以半象素精度提供运动块，其呈现与解码的及滤波的差分象素块的良好的空间一致。
现描述下变换系统的该示例性实施例的用于宏块内编码的操作。该主轮廓，高水平位流由VLD210接收及解码。除了由HDTV系统使用的首部信息外，VLD210提供用于各块和宏块的DCT系数，和运动矢量信息。这些DCT系数在R/L解码器212中被进行行程长度解码并由反量化器214进行反量化。VLD210和R/L解码器212对应于图1中的熵解码器。
由于由DCT系数表示的接收的视频图象是高分辨率图象，各块的DCT系数在进行高分辨率视频图象的抽取之前被低通滤波。反量化器214将这些DCT系数提供给DCT滤波器216，后者在将它们提供给IDCT处理器218之前通过用预定的滤波系数对这些DCT系数进行加权而执行在频域内低通滤波。在一示例性实施例中，该滤波操作在逐块的基础上进行。
IDCT处理器218通过执行滤波的DCT系数的一反离散余弦变换来提供空间象素值。预抽取滤波器240对IDCT处理器218提供的这些空间象素值进行滤波。向下抽样处理器232通过根据一预定的抽取比消去空间象素值来减小图象取样尺寸；因此，该低分辨率图象的存储使用相比于存储较高分辨率的主轮廓，高水平图象所需的帧存储器要小的帧存储器222。
现描述一下变换系统的该示例性实施例用于非宏块内编码的操作。在该示例性实施例中，按照MPEG标准，当前接收的图象DCT系数代表预测的图象宏块的剩余分量DCT系数。由于存储在基准帧存储器222中的先前帧低分辨率参考图象不具有与高分辨率的预测的帧(主轮廓，高水平)相同的象素数，这些运动矢量的水平分量被定标。
参见图2由VLD210提供的主轮廓、高水平位流的运动矢量被提供给MV变换器220。各运动矢量由MV变换器220定标以参考基准帧存储器222中存储的一先前图象的基准帧的适当的预测块。被检索的块中的大小(象素值数)限于被用于编码当前图象的对应的高分辨率块的一块；因此该被检索的块被进行向上抽样以形成具有与IDCT处理器218提供的剩余块相同数目的象素的一预测块。
该预测块通过向上抽样处理器226响应于来自MV变换器220的一控制信号被向上抽样以生成对应于象素的初始高分辨率块的一块。然后，生成半象素值，如果由半象素发生器228中的向上抽样的预测块的运动矢量指示，以确保该预测块的空间对准。该被向上抽样和对准的预测块在加法器230中被加至当前滤波的块，其例如是来自该预测块的分辨率降低的剩余分量。所有的处理是在逐宏块的基础上进行的。在向上抽样域中完成对当前宏块的运动补偿处理后，重建的宏块通过预抽取滤波器240被滤波且然后在向下抽样处理器232中被抽取。预抽取滤波器240以一固定的核(kernel)大小工作以滤波越过块和宏块边界的空间象素值。这样，预抽取滤波器240是一块间滤波器。预抽取滤波器240的作用是减少例如由块内频域滤波器216引起的解码图象中的成块人工因素(artifact)。该抽取处理不降低图象的分辨率而简单地从低分辨率滤波的图象中去除剩余象素。
一旦获得用于一图象的向下抽样的宏块，显示转换单元280通过分别在VPF282和HZPF294中对该向下抽样的图象的垂直和水平分量进行滤波来调节该图象以在一低分辨率电视显示器上进行显示。
B.宏块预测
由于先前图象的基准帧的大小被弄小，接收的针对这些帧的运动矢量也可根据变换比被变换。以下描述例如在水平方向上对亮度块的运动变换。本领域的熟练技术人员将容易地将以下讨论扩展至在垂直方向上的运动变换(如果使用的话)。标记x和y作为初始图象帧中的当前宏块地址，Dx作为水平抽取因子及mvx作为初始图象帧的半象素水平运动矢量，初始图象帧中的运动块的左顶象素的地址，以半象素单位被表示为XH，由下式给出：
               XH＝2x+mvx    (1)
对应于该运动块的象素在向下抽样的图象中开始，其地址以象素单位被表示为x*和y*，在下式(2)被给出 x * = XH 2 · Dx ; y * = y - - - ( 2 )
因为例示的DCT滤波器216和向下抽样处理器232仅减少该图象的水平分量，而对运动矢量的垂直分量不影响。对于色度，该运动矢量是初始图象中的一亮度运动矢量的一半。因此，用于变换色度运动矢量的定义也可使用公式(1)和(2)。
运动预测由两步处理完成：首先，在图2的向上抽样处理器226中对该向下抽样的图象帧进行向上抽样所恢复的初始图象帧中的象素精度运动估算，然后，半象素发生器228通过平均最接近的象素值来执行一半象素运动估算。
对应于一初始图象中的象素的一抽取的图象中的子象素例如使用向上抽样处理器226中的一向上抽样多相滤波器被进行内插，该向上抽样处理器226给出初始图象中的一运动预测。该运动预测在加法器230中被加至IDCT处理器218的一输出信号。由于加法器230的输出值对应于一初始图象格式的分辨率降低的图象，这些值可被向下抽样用于在一具有低分辨率的显示器上进行显示。在向下抽样处理器232中的向下抽样基本上等同于一图象帧的子抽样，但可根据变换比进行调节。例如，在3∶1向下抽样的情况下，对于各输入宏块，水平向下抽样的象素数是6或5，且第一向下抽样的象素不总是输入宏块中的第一象素。
在从该向下抽样的图象获取正确的运动预测块后，执行向上抽样以得到初始图象中的对应的预测块。因此，运动块预测中的子象素精度在该向下抽样的图象中是所期望的。例如，使用3∶1抽取，在运动预测中具有1/3(或1/6)子象素精度是所期望的，除了向下抽样的运动块外的，该运动矢量所需的一第一象素的该子象素被确定。然后，使用模运算确定后继的子象素位置，如以下所述的。这些子象素位置被表示为xs，如式(3)中给出的： X s = ( XH 2 ) % ( Dx ) - - - ( 3 )
其中“％”代表模除法。
例如，xs的范围对于3∶1向上抽样是0，1，2且对于2∶1向上抽样是0，1。图3A示出了用于3∶1和2∶1例子的子象素位置和对应的17个预测的象素，且表1给出了图3A的符号表。
表1
    符号     象素
    ●     向下抽样的象素
    △     向上抽样的象素
    ○     预测象素
    □     额外的用于向上抽样的右和左象素
如先前所述，该向上抽样滤波器可以是向上抽样多相滤波器，且表2A给出了这些向上抽样多相滤波器的特性。
表2A
  3∶1向上抽样   2∶1向上抽样
    多相滤波器数     3     2
    抽头数     3     5
  水平的向下抽样的象素的最大数     9     13
以下的表2B和2C示出了用于例示的3∶1和2∶1向上抽样多相滤波器的多相滤波系数。
表2B：3∶1向上抽样滤波器
    相位0     相位1     相位2
双精度  -0.16382317355910.79005893595120.3737642376078  0.02210806910700.95578386178580.0221080691070  0.37376423760780.7900589359512-0.1638231735591
固定点(9位)  -0.1640625(-42)0.7890625(202)0.3750000(96)  0.0234375(6)0.95703125(244)0.0234375(6)  0.3750000(96)0.7890625(202)-0.1640625(-42)
表2C：2∶1向上抽样滤波器
    相位0     相位1
    双精度     0.01103968392600.02838864029200.92114335156360.0283886402920     -0.14333638871130.64333638871130.6433363887113-0.1433363887113
    0.0110396839260     0.0000000000000
    固定点(9位)     0.01718750(3)0.02734375(7)0.92187500(236)0.02734375(7)0.01718750(3)     -0.14453125(-37)0.64453125(165)0.64453125(165)-0.14453125(-37)0.00000000(0)
在一固定点表示中，表2B和2C的括号中的数是9位的2的补数表示，带有左边的对应的双精度数。根据向下抽样的基准图象帧中的运动预测块的子象素位置，多相内插滤波器的一对应相位被使用。而且，在一例示实施例中，需要在左和右上的更多象素以在该向下抽样的图象帧中内插17个水平象素。例如，在3∶1抽取的情况下，有用于各输入宏块的最大6个水平地向下抽样的象素。然而，当进行向上抽样时，需要9个水平象素以生成对应的运动预测块值，因为一向上抽取滤波器要求该滤波器的边界外侧的更多的左和右象素以进行工作。由于该例示的实施例采用半象素运动估算，需要17个象素以得到可以是第一16个整数象素或最接近的两象素值的平均值的16个半象素。一半象素运动发生器处理其。表3示出了子象素位置和多相滤波器元素，与另外需要的用于向上抽样处理的多个左象素之间的映射。
表3
子象素位置   多相   额外的左象素的数   坐标变化
 3∶1向上抽样     012     120     110     x-＞x-1x-＞x-1
 2∶1向上抽样     0     0     2     x-＞x-2
    1     1     2     x-＞x-2
图3B概述了对一输入宏块的各行执行的向向上抽样处理。首先，在步骤310，接收用于被处理的输入图象帧的块的运动矢量。在步骤312，该运动矢量被变换以对应于存储器中的向下抽样的基准帧。在步骤314，该被定标的运动矢量被使用以检索帧存储器中存储的预测块的坐标。在步骤316，用于该块的子象素点被确定且然后在步骤318检索用于向上抽取的初始多相滤波器值。然后在步骤320从存储器检索用于该存储的向下抽取的基准帧的预测块的识别的象素。
在滤波步骤324最初通过之前，在步骤322寄存器被初始化，对于该例示性实施例要求用初始3或5个象素值装载这些寄存器。然后，在滤波步骤324之后，在步骤326该处理确定是否所有的象素已被处理。在该例示性实施例中17个象素被处理。如果所有的象素未被处理，在步骤328更新该相位，且核查该相位是否为0值。在本发明的一实施例中，如果该相位是零，这些寄存器被更新用于下一组多相滤波系数。更新寄存器步骤332然后简单地更新这些输入象素。在最左象素在该块边界外侧的特殊情况下，一先前象素值可以被重复。
C.采用DCT系数的加权的DCT域滤波
该下变换系统的示例性实施例包括替换空间域中的低通滤波器的，在频域中处理DCT系数的DCT滤波器216。以DCT域滤波替代空间域滤波用于DCT编码的图象有几个优点，例如由MPEG或JPEG标准所规划。最显著地，DCT域滤波器在计算上更加有效且比施加于空间象素的空间域滤波器要求更少的硬件。例如，具有N个抽头的一空间滤波器可使用多达对个空间象素值的N次乘法和加法。这相当于DCT域滤波器中的仅一次乘法。
最简单的DCT域滤波器是高频DCT系数的一截短，然而，高频DCT系数的截短不导致一平滑的滤波且具有例如在解码的图象中的边缘附近“形成环绕”的缺陷。本发明的示例性实施例的DCT域低通滤波器是从空间域中的一块反射镜滤波器导出的。用于该块反射镜滤波器的滤波系数值是例如在空间域中被最优化的，且这些值然后被转换成DCT域滤波器的系数。
尽管该示例性实施例示出了仅在水平方向上的DCT域滤波，DCT域滤波可在水平或垂直任一方向上或通过组合水平和垂直滤波而在两方向上被进行。
D.DCT域滤波器系数的推导
从两约束中推导本发明的一示例性滤波器：首先，该滤波器不使用来自同一图象的其他块或来自先前图象的信息，对该图象的各块在逐块的基础上处理图象数据；且其次，该滤波器减少当其处理边界象素值时出现的块边界的视见度。
根据第一个约束，在一MPEG图象序列的基于DCT的压缩中，例如，N×NDCT系数的块实现N×N空间象素值的块。因此，本发明的一示例性实施例实现仅处理当前接收的图象的块的一DCT域滤波器。
根据第二个约束，如果该滤波被简单地施加于空间象素值的一块，有在块边界外的不充足数的空间象素值引起的在块边界上滤波的过渡以填充滤波的剩余。也就是说，一块的边界不能被适当地滤波，因为该N抽头滤波器具有各自用于依据N是偶数或奇数而定的仅N/2或(N/2)-1个抽头。其余的输入象素在该块的边界外。有几种提供象素值的方法：(1)重复在一边界外的预定的恒定象素值；(2)重复相同的象素值作为边界象素值；及(3)反射该块的象素值以形成相邻于该被处理块的先前及后继块的象素值。没有有关该先前或后继块的内容的信息，该反射方法被认为是一较佳的方法。因此，本发明的一实施例采用该反射方法用于滤波器且被称为“块反射镜滤波器“。
以下描述执行对块的8个输入空间象素值进行低通滤波的一水平块反射镜滤波器。如果该输入块的大小为8×8块矩阵的象素值，则可通过将该块反射镜滤波器施加于8个象素值的各行而完成一水平滤波。显然，对于本领域的熟练技术人员，可通过施加该块矩阵的列方向的滤波系数而执行该滤波处理，或可通过滤波这些行且然后滤波该块矩阵的列来实现多维滤波。
图4示出了采用由抽头值h0至h14代表的一15抽头空间滤波的一示例性反射镜滤波器的用于8个输入象素的输入象素值x0至x7(群X0)之间的对应。这些输入象素在群X0的左侧上被反射，示出为群X1，并在群X0的右侧上被反射，示出为群X2。该滤波器的输出象素值是这些滤波器抽头值与对应的象素值的15次相乘的和。图4示出了用于第一和第二输出象素值的乘法对。
以下示出了空间域中的块反射镜滤波器等同于DCT域滤波器。该反射镜滤波与具有2N(N＝8)个点的一圆周卷积相关。
如公式(4)所示地定义矢量x’。
   x’(n)＝x(n)+x(2N-1-n)；    0＜＝n＜＝2N-1    (4)
    在N＝8的情况下，
   x’＝(x0，x1，x2，x3，x4，x5，x6，x7，x7，x6，x5，x4，x3，x2，x1，x0)
    重排滤波器抽头值h0至h14，并由h’表示重排的值
   h’＝(h7，h8，h9，h10，h11，h12，h13，h14，O，h0，h1，h2，h3，h4，h5，h6)
因此反射镜滤波的输出y(n)是由公式(5)给出的x’(n)和h’(n)的圆周卷积。
        y(n)＝x’(n)h’(n)    (5)其等同于公式(6) y ( n ) = Σ k = 0 2 N - 1 x ′ [ n - k ] · h ′ ( n ) - - - ( 6 ) 其中x’[n-k]是x’(n)的圆模且
          x’[n]＝x’(n)  n＞＝0
          x’[n]＝x’(n+2N)    n＜0.
已知公式(5)中所示的空间域中的圆周卷积对应于离散傅里叶变换(DFT)域中的标量乘法。定义Y(k)作为y(n)的DFT，则公式(5)变为DFT域中的公式(7)。
       Y(k)＝X’(k)·H’(k)    (7)
其中X’(k)和H’(k)分别是x’(n)和h’(n)的DFT。
公式(4)至(7)对于带有少于2N个抽头的滤波器是有效的。而且，该滤波器被限于是带有奇数个抽头的一对称滤波器，这些约束H’(k)是一实数。因此，X’(k)，x’(n)的DFT，可在DFT频域中被用一实数H’(k)进行加权来替代在空间域中的2N次乘法和2N次加法运算以执行该滤波操作。X’(k)的值与初始N-点x(n)的DCT系数非常紧密地相关，因为一N-点DCT是通过作为由x(n)及其反射，x(2N-1-n)组成的联合序列的x’(n)D的2N-点DFT而获得的。
以下描述空间滤波器的DFT系数，H’(k)的推导，通过假定一对称滤波器具有一奇数个抽头，2N-1，其是h(n)＝h(2N-2-n)，并等同地h’(n)＝h’(2N-2-n)且h’(N)＝0。如公式(8)中定义H’(k)。 H ′ ( k ) = Σ n = 0 2 N - 1 h ′ ( n ) · W 2 N kn = h ′ ( 0 ) + 2 Σ n = 1 N - 1 h ′ ( n ) · cos πkn N - - - ( 8 )
其中W2N kn＝exp{-2πkn/(2N)}；及H’(k)＝H’(2N-k)。
已知x’(n)的2N一点DFT，X’(k)可由其DCT系数表示，如在公式(9)中 X ′ ( k ) = Σ n = 0 2 N - 1 x ′ ( n ) · W 2 N kn = W 2 N - k / 2 · Σ n = 1 N - 1 2 x ( n ) · cos πk ( 2 n + 1 ) 2 N - - - ( 9 )
而x(n)的DCT系数，C(k)，在公式(10)中被给出。 C ( k ) = Σ n = 1 N - 1 2 x ( n ) · cos πk ( 2 n + 1 ) 2 N = W 2 N k / 2 · X ′ ( k ) 0 ≤ k ≤ N - 1 - - - ( 10 )
且在另外一处C(k)＝0。
X’(k)的值，x’(n)的DFT系数，可由C(k)表达，x’(n)的DCT系数由公式(11)中的矩阵表示 X ′ ( k ) = W 2 N - k / 2 · C ( k ) for k ≤ N - 1 0 for k = N - W 2 N - k / 2 · C ( 2 N - k ) for N + 1 ≤ k ≤ 2 N - 1 - - - ( 11 )
初始空间象素值，x(n)，也可通过公式(12)中所示的IDCT(反离散余弦变换处理)被获得。 x ( n ) = Σ k = 0 N - 1 α ( k ) · C ( k ) · cos πk ( n + 1 / 2 ) N - - - ( 12 )
其中对于k＝0，α(k)＝1/2否则＝1。
对于0＜＝n＜＝N-1的y(n)的值，通过公式(13)中给出的X’(k)H’(k)的IDCT被获得： y ( n ) = 1 2 N · { Σ k = 0 2 N - 1 X ′ ( k ) · H ′ ( k ) · W 2 N - kn } = 1 2 N { Σ k = 0 N - 1 C ( k ) · H ′ ( k ) · W 2 N - k ( n + 1 / 2 ) + Σ k = N + 1 2 N - 1 - C ( 2 N - k ) · H ′ ( 2 N - k ) · W 2 N - k ( n + 1 / 2 ) } = 1 N Σ k = 0 N - 1 α ( k ) · { C ( k ) · H ′ ( k ) } · cos πk ( n + 1 / 2 ) N - - - ( 13 )
公式(13)的值y(n)是C(k)H’(k)的IDCT的空间值。因此，该空间滤波可由用H’(k)对代表该图象块的输入频域系数进行DCT加权且然后执行这些被加权值的IDCT以在空间域中重建被滤波的象素值而被替换。
E.块反射镜滤波器的示例性实施例
本发明的该示例性块反射镜滤波器的一实施例通过以下步骤被推导出：(1)选择带有小于2N个抽头的奇数个抽头的一维低通对称滤波器；(2)这些滤波器系数通过装填若干零而被增大至2N个值；(3)这些滤波器系数被重排以使通过一左圆周移位使初始中间系数进到第零位置；(4)重排的滤波器系数的DFT系数被确定；(5)这些DCT滤波器系数被乘以该输入块的实数个DFT系数；及(6)通过乘以IDCT系数执行滤波的DCT系数的反离散余弦变换(IDCT)以提供准备用于抽取的一低通滤波的象素。
低通滤波器的截止频率通过抽取比被确定。对于一示例性实施例，对于3∶1抽取，该截止频率是π/3，而对于2∶1抽取，该截止频率是π/2，其中π是该抽样频率的一半。
MPEG和JPEG解码器中的一DCT域滤波器允许存储需求被减少，因为在现有技术的解码器中已存在有块的反量化和IDCT处理，其仅要求附加的DCT系数与DCT域滤波器系数的标量乘法。因此，在一具体的执行中实际上不要求一分离的DCT域滤波器块乘法；本发明的另一实施例简单地将DCT域滤波器系数与IDCT处理系数组合。
对于本发明的示例性的下变换系统，DCT系数的水平滤波和抽取被考虑；且以下是两示例性的实现：
1、1920H乘1080V隔行至640H乘1080V隔行变换(水平3∶1抽取)。
2、1280H乘720V逐行至640H乘720V逐行变换(水平2∶1抽取)。
表4示出了DCT块反射镜滤波器(加权)系数；在表4中括号中的数是10位2的补数表示。表4的“*”是指用于10位2的补数表示的一无约束值(out of bound value)，因为该值大于1；然而，如本技术领域的熟练技术人员所知的，块的列系数与由“*”指示的值的相乘可容易地通过将该系数值加至乘以该滤波器值的分数值(余数)的该系数而被执行。
    3∶1抽取     2∶1抽取
H[0] 1.000000000000000(511) 1.000000000000000(511)
H[1] 0.986934590759779(505) 1.0169628157945179(*)
H[2] 0.790833583171840(405) 1.000000000000000(511)
H[3] 0.334720213357461(171) 0.82247656390475166(421)
H[4] -0.0323463361027473(-17) 0.46728234862006007(239)
H[5] -0.0377450036954524(-19) 0.10534261847436199(54)
H[6] -0.0726889747390758(37) -0.052131780559049545(-27)
H[7] 0.00954287167337307(5) -0.003489737967467715(-2)
这些水平DCT滤波器系数加权被编码的视频图象的8×8DCT系数的块中的各列。例如，列零的DCT系数通过H[0]被加权，且第一列的DCT系数通过H[1]被加权等。
上述讨论说明了使用一维DCT执行水平滤波。如数字信号处理技术中所知的，这样的处理可被扩展至两维系统。对于一两维系统，输入序列现被表示为多个值的一矩阵，示出该序列在列序列中是周期的，带有周期M，且在行序列中是周期的，带有周期N，N和M是整数。可如在输入序列的这些列上执行一维DCT地执行一维DCT，且然后在DCT处理的输入序列的这些行上执行第二一维DCT。而且，如现有技术中已知的，可如一单个处理地执行一两维IDCT。
F.向下抽样
通过向下抽样处理器232实现向下抽样以减少下变换的图象中的象素数。图5A示出了3∶1抽取的4∶2∶0色度型的输入和抽取的输出象素。图5B示出了2∶1抽取的4∶2∶0色度型的输入和抽取的输出象素。表5给出了用于图5A和图5B的亮度和色度象素的图例标识。图5A和5B的下变换之前和之后的象素位置分别是隔行的(3∶1抽取)和逐行(2∶1抽取)情况。
表5
    符号     象素
    +     抽取之前的亮度
    ×     抽取之前的色度
● 抽取之后的亮度
    △     抽取之后的色度
对于可以是从1920乘1080象素大小到640乘1080象素大小的变换的隔行图象的向下抽样，在水平轴上每隔三个象素被抽取。对于3∶1抽取，在下变换处理后有三个不同的宏块类型。在图5A中，初始宏块(MB)由MB0、MB1、MB2表示。MB0中被向下抽样的亮度象素在初始宏块中的第一象素开始，但在MB1和MB2中，被向下抽样的象素在第三和第二象素开始。而且在各宏块中的被向下抽样的象素的数目不是相同的。在MB0中，有水平地6个向下抽样的象素，而在MB1和MB2中有5个象素。这三个MB类型被重复，因此模3算术将被应用。表6概述了向下抽样象素数和各输入宏块MB0、MB1、MB2的偏移。
表6
    MB0     MB1     MB2
向下抽样亮度象素的数     6     5     5
向下抽样色度象素的数     3     3     2
第一向下抽样的亮度象素的偏移     0     2     1
第一向下抽样的色度象素的偏移     0     1     2
对于可以是从1280乘720象素大小到640乘720象素大小的变换的逐行格式图象的向下抽样，水平地每隔两个抽样子抽样亮度信号。换言之，在水平轴上每隔两个象素被抽取。对于色度信号，被向下抽样的象素正是初始象素之下的一半个象素。初始宏块中的象素和被抽取的象素被示出在图5B中。
G.使用一预抽取滤波器的健全下变换
由DCT滤波器216执行的低通滤波减少了一输出图象中的混叠失真。在本发明的一示例性实施例中，该滤波器操作是在块内的基础上执行。当DCT滤波器216在一块内的基础进行滤波时，不考虑对应于与被进行滤波的该块相邻的块的系数值而执行该滤波。这样可导致由在块边界的非平滑滤波引起的下变换人工因素。当初始图象由具有精细细节的一运动景象组成时和当有一慢速摄全景和变焦时，这些下变换人工因素在一输出图象中是可见的。
如在节II.D.中所述，一块反射镜滤波器可被使用以提供用于在一块的边界之外的象素值的象素值。在该DCT块的中间的象素处，一块反射镜滤波器与一FIR滤波器是相同的，但在一块边界是不同的，因为假定左和右象素在被反射的一块之外且然后滤波这些输入象素以得到一低通输出。该在一块边界的非均匀性可能块到块及帧到帧地影响该下变换的图象。如果该图象具有带有精细细节的慢速摄全景或变焦，它是特别明显的。
预抽取滤波器240可被使用以减少由DCT滤波器216进行块内滤波所引起的块边界人工因素。在一示例性实施例中，预抽取滤波器240在一块间基础上滤波象素并具有一频率响应，该频率响应的特点在于在3∶1抽取情况具有一π/3的截止频率而在2∶1抽取情况具有一π/2的截止频率，其中π是抽样频率的一半。
在图2所示的下变换系统中，有一剩余DCT信号路径并有一运动预测信号路径。预抽取滤波器240导致一运动预测的信号被低通滤波两次。首先当它被向上抽样处理器226进行向上抽样时，它被低通滤波，且在加法器230后通过预抽取滤波器240被再进行低通。
一图象被低通滤波两次可导致当一图象从一内部编码的帧进到下一内部编码的帧时，图象分辨率的不期望的下降。当该编码方案中的内部编码的帧之间的向前预测的帧(P-帧)的数目增多时，该降低的图象分辨率将更大。
例如，图象分辨率的降低可通过如公式(14)中所示的在向上抽样滤波器226和预抽取滤波器240之间分配期望的滤波特性而被减小：
     h(n)＝h_up(n)*h_dec(n)    (14)
其中*表示一卷积。在公式(14)中，h(n)代表具有期望的滤波特性的一滤波器的特性并是由h_up(n)代表的向上抽样滤波器226和由h_dec(n)代表的预抽取滤波器240特性的一卷积。
当该编码结构由内部编码的帧之间的许多预测的帧组成时，在下变换的图象中的一慢速运动或慢速变焦图象的再现可导致具有运动人工因素的预测的帧。这些运动人工因素可导致预测帧在真实运动之前或之后。当显示下一内部编码的帧时，具有运动人工因素的下变换的预测图象与精确地再现的内部编码的图象之间差别可导致观看者能看出的非平滑或不平稳的运动。
在一示例性实施例中，由以上公式(14)中的h(n)代表的滤波是一从拉格朗日内插导出的拉格朗日滤波。拉格朗日内插是本技术领域的熟练技术人员所周知的且可通过Atkinson，An Introduction toNumerical Analysis，107-10(1978)而被告知，其结合在此作为参考。本发明人已发现使用拉格朗日滤波器与使用一等波纹滤波器相比减少了运动人工因素。
关于剩余DCT信号路径，没有图2中所示的DCT域滤波器216，该剩余信号仅通过预抽取滤波器240被低通滤波。相比于向上抽样滤波器226和预抽取滤波器240的组合，预抽取滤波器240仅部分地滤波信号，且剩余DCT分量可能未被低通滤波到足以充分减少混叠失真。当一DCT域滤波器216被与一预抽取滤波器240组合使用时，DCT域滤波器216提供附加的低通滤波以进一步减少混叠失真。
在一示例性实施例中，DCT域滤波器216被设计得等同于向上抽样处理器226中的空间域滤波器。这样导致剩余信号分量和运动预测的信号分量两者的几乎等同的滤波。由于DCT域滤波器216在块内基础上进行滤波，该等同性是有限的。
以下描述具有一DCT域滤波器216和一预抽取滤波器240两者的一水平3∶1下变换系统的一示例性实施例。该实施例的讲授可由本技术领域的熟练技术人员被应用于其他域及其他定标比。
该例中的向上抽样处理器226可通过对各输入象素值填充两零且然后使用带有π/3的截止频率的一内插滤波器对这些象素进行低通滤波，其中π等于抽样频率的一半。如本技术领域的熟练技术人员所知的，本发明的讲授也可被应用于具有一向上抽样处理器226的一下变换系统，该向上抽样处理器226是使用一直接在向下抽样的象素上工作的一多相滤波器而被实现的且相位数依据于待被内插的子象素位置。
在本发明的示例性实施例中，一下变换系统具有一DCT域滤波器126和一预抽取滤波器240。所期望的滤波特性h(n)被示出在以下的公式(15)中：h(n)＝(-13，-16，0，95，190，256，190，95，0，-16，-13)/256    (15)
具有公式(15)中示出的特性h(n)的一滤波器的频率响应(dB vs.频率，其中π是抽样频率的一半)由图6中的曲线610示出。该滤波器特性h(n)可被表示为两滤波器的特性的卷积，如以下公式(16)所示：h(n)＝h_up(n)*h_dec(n)＝(1，1，1)*(-13，-3，16，82，92，82，16，-3，-13)/256    (16)
其中*表示一卷积。
向上抽样滤波器226或预抽取滤波器240可具有(1，1，1)滤波特性。当向上抽样滤波器226由特性(1，1，1)表示，其等同于重复一向下抽样的象素两次时，实现起来是简单的。这导致了具有滤波特性h_dec(n)的预抽取滤波器240，如公式(17)中所示：h_dec(n)＝(-13，-3，16，82，92，82，16，-3，-13)/256.    (17)
由公式(17)中的h_dec(n)所表征的预抽取滤波器240的频率响应(dB vs.频率)和由(1，1，1)所表征的向上抽样滤波器226的频率响应分别由图6中的曲线620和630示出。
在一示例性实施例中，DCT域滤波器216具有等同于向上抽样处理器226的一滤波特性。一等同空间域滤波器可由公式(18)中的h_sp(n)表示：
h_sp(n)＝(1，1，1)/3.    (18)
如上相对于公式(8)-(13)所述及由Kim等人所著的“DCT DomainFilter for ATV Down Conversion(用于ATV下变换的DCT域滤波器)”，IEEE Transactions on Consumer Electronics，Vol.43(4)1074-8(NOv.1997)所讲授的，其结合在此作为参考，由公式(18)中h_sp(n)表示的空间域滤波器可通过带有具有公式(19)中所示的DCT域滤波器系数H_DCT的奇数个抽头的一对称滤波器而在DCT域中被实现：H_DCT＝(1，0.9493，0.8047，0.5885，0.3333，0.0782，-0.1381，-0.2826).    (19)
以下描述具有一DCT域滤波器216和一预抽取滤波器240两者的一水平2∶1下变换系统的示例性实施例。该实施例的讲授也可由本技术领域的熟练技术人员应用于其他域及其他定标比。
以下例中的向上抽样处理器226可通过对每个输入象素值填充一个零且然后使用一带有带有π/2的截止频率的一内插滤波器对这些象素进行低通滤波，其中π等于抽样频率的一半。如本技术领域的熟练技术人员所知的，本发明的讲授也可被应用于具有一向上抽样处理器226的一下变换系统，该向上抽样处理器226是使用一直接在向下抽样的象素上工作的一多相滤波器而被实现的且相位数依据于待被内插的子象素位置。
在本发明的示例性实施例中，一下变换系统具有一DCT域滤波器126和一预抽取滤波器240。所期望的滤波特性h(n)被示出在以下的公式(20)中：h(n)＝(-1/16，0，9/16，1，9/16，0，-1/16).    (20)
具有特性h(n)的一滤波器的频率响应(dB vs.频率)由图7中的曲线710示出。该滤波器特性h(n)可被表示为两滤波器的特性的卷积，如以下公式(21)所示：h(n)＝h_up(n)*h_dec(n)＝(1/2，1，1/2)*(-1/8，1/4，3/4，1/4，-1/8)    (21)
其中*表示一卷积。
在该示例性实施例中，向上抽样滤波器226和预抽取滤波器240各自由h_up(n)和h_dec(n)所表征，如公式(22)和(23)中所示：h_up(n)＝(1/2，1，1/2)                    (22)h_dec(n)＝(-1/8，1/4，3/4，1/4，-1/8).    (23)
由公式(23)中的h_dec(n)所表征的预抽取滤波器240的频率响应(dB vs.频率)和由公式(22)中的h_up(n)所表征的向上抽样滤波器226的频率响应分别由图7中的曲线720和730示出。
在一示例性实施例中，DCT域滤波器216具有等同于向上抽样处理器226的一滤波特性。一等同空间域滤波器可由公式(24)定义的h_sp(n)表示：
h_sp(n)＝(1/2，1，1/2)/2＝(1/4，1/2，1/4).    (24)
如上相对于公式(8)-(13)所述及由Kim等人所著的“DCT DomainFilter for ATV Down Conversion(用于ATV下变换的DCT域滤波器)”，IEEE Transactions on Consumer Electronics，Vol.43(4)1074-8(NOv.1997)所讲授的，其结合在此作为参考，由h_sp(n)表示的空间域滤波器可通过带有具有公式(25)中所示的DCT域滤波器系数H_DCT的奇数个抽头的一对称滤波器而在DCT域中被实现：H_DCT＝(1，0.9619，0.8536，0.6913，0.5000，0.3087，0.1464，0.0381).  (25)
尽管在此已示出和描述了本发明的示例性实施例，可理解提供这些实施例仅是举例。不脱离本发明的精神，本领域的熟练技术人员可作出多种变化、改变和替换。因此，期望后附的权利要求覆盖落入本发明的范围内的所有这样的变化。

Claims (28)

1、一种用于从代表一视频图象的一编码的视频信号形成一低分辨率视频信号的设备，该编码的视频信号是一频域变换的高分辨率视频信号，该设备包括：
接收装置，用于接收该编码的视频信号作为多个高分辨率频域视频系数值的块，其中该多个块包括一宏块；
下变换滤波装置，用于对各块内的高分辨率频域视频系数值中被选择的视频系数值进行加权以生成对应的滤波的频域视频系数的块；
反变换装置，用于将滤波的频域视频系数的各块变换成第一滤波的象素值的一块；
预抽取滤波装置，用于对跨越块边界的第一滤波的象素值的多个块的各个中的第一滤波的象素值进行滤波以提供对应的第二滤波的象素值的块；及
抽取装置，用于删除各块内的第二滤波的象素值中被选择的象素值以提供低分辨率视频信号象素值的块。
2、根据权利要求1的一种用于形成低分辨率视频信号的设备，其中编码的视频信号代表一剩余视频图象且该抽取装置提供对应于该视频图象的一基准帧的低分辨率视频信号象素值的一块且该反变换装置提供对应于该视频图象的一当前帧的剩余视频图象的第一滤波的象素值的一块，该设备还包括：
存储装置，用于存储由该抽取装置提供的对应于该基准帧的低分辨率视频信号象素值的该块；
向上抽样滤波装置，用于将对应于该基准帧的低分辨率视频信号象素值的该块转换成对应于该基准帧的低分辨率视频信号象素值的一向上抽样的块；及
求和装置，用于将对应于该基准帧的低分辨率视频信号象素值的该向上抽样的块加至对应于该当前帧的剩余视频图象的第一滤波的象素值的该块以提供对应于该视频图象的该当前帧的象素值的一求和的块；
其中该预抽取滤波装置对象素值的该求和的块进行滤波以提供对应于该视频图象的该当前帧的第二滤波的象素值的一块且该抽取装置删除对应于该视频图象的该当前帧的第二滤波的象素值的该块中选择的一些并提供对应于该视频图象的该当前帧的低分辨率视频信号象素值的一块。
3、根据权利要求2的一种用于形成低分辨率视频信号的设备，还包括运动补偿装置，用于将对应于该基准帧的低分辨率视频信号象素值的该向上抽样的块转换成对应于该基准帧的低分辨率视频信号象素值的一运动补偿的向上抽样的块且该求和装置将对应于该基准帧的低分辨率视频信号象素值的该运动补偿的向上抽样的块加至对应于当前帧的剩余视频图象的第一滤波的象素值的该块以提供对应于该视频图象的当前帧的象素值的一求和的块。
4、根据权利要求2的一种用于形成低分辨率视频信号的设备，其中该下变换滤波装置和该预抽取装置组合以减少低分辨率视频信号中的混叠失真。
5、根据权利要求2的一种用于形成低分辨率视频信号的设备，其中该下变换滤波装置是一块反射镜滤波器。
6、根据权利要求5的一种用于形成低分辨率视频信号的设备，其中该下变换滤波装置对多个高分辨率频域视频系数值执行块内处理且该预抽取滤波装置对对应于该视频图象的当前帧的象素值的该求和的块执行块间处理。
7、根据权利要求2的一种用于形成低分辨率视频信号的设备，其中该向上抽样滤波装置包括一向上抽样滤波器，该预抽取滤波装置包括一预抽取滤波器，且该向上抽样滤波器和该预抽取滤波器的卷积实现了一拉格朗日滤波器。
8、根据权利要求2的一种用于形成低分辨率视频信号的设备，其中该向上抽样滤波装置包括频域中的一向上抽样滤波器且该下变换滤波装置包括一等同于该向上抽样滤波器的频域中的下变换滤波器。
9、根据权利要求2的一种用于形成低分辨率视频信号的设备，其中该向上抽样滤波装置包括一向上抽样滤波器，该预抽取滤波装置包括一预抽取滤波器，且该向上抽样滤波器和该预抽取滤波器的卷积实现了具有系数h(n)的一FIR滤波器
     h(n)＝(13，-16，0，95，190，256，190，95，0，-16，-13)/256.
10、根据权利要求9的一种用于形成低分辨率视频信号的设备，其中该预抽取滤波器是一具有以下系数的FIR滤波器
     h_dec(n)＝(-13，-3，16，82，92，82，16，-3，-13)/256，
该向上抽样滤波器是一具有以下系数的FIR滤波器
     h_up(n)＝(1，1，1).
11、根据权利要求10的一种用于形成低分辨率视频信号的设备，其中该下变换滤波装置包括一具有以下系数的频域中的下变换滤波器：H_DCT＝(1，0.9493，0.8047，0.5885，0.3333，0.0782，-0.1381，-0.2826).
12、根据权利要求2的一种用于形成低分辨率视频信号的设备，其中该向上抽样滤波装置包括一向上抽样滤波器，该预抽取滤波装置包括一预抽取滤波器，且该向上抽样滤波器和该预抽取滤波器的卷积实现了具有系数h(n)的一FIR滤波器
      h(n)＝(-1/16，0，9/16，1，9/16，0，-1/16).
13、根据权利要求12的一种用于形成低分辨率视频信号的设备，其中该预抽取滤波器是一具有以下系数的FIR滤波器
      h_dec(n)＝(-1/8，1/4，3/4，1/4，-1/8)，
该向上抽样滤波器是一具有以下系数的FIR滤波器
      h_up(n)＝(1/2，1，1/2)
14、根据权利要求13的一种用于形成低分辨率视频信号的设备，其中该下变换滤波装置包括一具有以下系数的频域中的下变换滤波器：H_DCT＝(1，0.9619，0.8536，0.6913，0.5000，0.3087，0.1464，0.0381).
15、一种用于从代表一视频图象的一编码的视频信号形成一低分辨率视频信号的方法，该编码的视频信号是一频域变换的高分辨率视频信号，该方法包括有以下步骤：
(a)接收该编码的视频信号作为多个高分辨率频域视频系数值的块，其中该多个块包括一宏块；
(b)对各块内的高分辨率频域视频系数值中被选择的视频系数值进行加权以生成对应的滤波的频域视频系数的块；
(c)将滤波的频域视频系数的各块变换成第一滤波的象素值的一块；
(d)对跨越块边界的第一滤波的象素值的多个块的各个中的第一滤波的象素值进行滤波以提供对应的第二滤波的象素值的块；及
(e)删除各块内的第二滤波的象素值中被选择的象素值以提供低分辨率视频信号象素值的块。
16、根据权利要求15的一种用于形成低分辨率视频信号的方法，其中编码的视频信号代表一剩余视频图象且在步骤(e)中提供对应于该视频图象的一基准帧的低分辨率视频信号象素值的一块且在步骤(c)提供对应于该视频图象的一当前帧的剩余视频图象的第一滤波的象素值的一块，该方法还包括以下步骤：
(f)存储在步骤(c)中提供的对应于该基准帧的低分辨率视频信号象素值的该块；
(g)进行滤波以将对应于该基准帧的低分辨率视频信号象素值的该块转换成对应于该基准帧的低分辨率视频信号象素值的一向上抽样的块；及
(h)将对应于该基准帧的低分辨率视频信号象素值的该向上抽样的块加至对应于该当前帧的剩余视频图象的第一滤波的象素值的该块以提供对应于该视频图象的该当前帧的象素值的一求和的块；
其中在步骤(d)中对象素值的该求和的块进行滤波以提供对应于该视频图象的该当前帧的第二滤波的象素值的一块且在步骤(e)中删除对应于该视频图象的该当前帧的第二滤波的象素值的该块中选择的一些并提供对应于该视频图象的该当前帧的低分辨率视频信号象素值的一块。
17、根据权利要求16的一种用于形成低分辨率视频信号的方法，还包括步骤：将对应于该基准帧的低分辨率视频信号象素值的该向上抽样的块转换成对应于该基准帧的低分辨率视频信号象素值的一运动补偿的向上抽样的块且在步骤(h)将对应于该基准帧的低分辨率视频信号象素值的该运动补偿的向上抽样的块加至对应于当前帧的剩余视频图象的第一滤波的象素值的该块以提供对应于该视频图象的当前帧的象素值的一求和的块。
18、根据权利要求16的一种用于形成低分辨率视频信号的方法，其中步骤(b)中的加权和步骤(d)中的滤波组合以减少低分辨率视频信号中的混叠失真。
19、根据权利要求16的一种用于形成低分辨率视频信号的方法，其中步骤(b)等同于块反射镜滤波。
20、根据权利要求19的一种用于形成低分辨率视频信号的方法，其中在步骤(b)中对多个高分辨率频域视频系数值执行块内处理且在步骤(d)中对对应于该视频图象的当前帧的象素值的该求和的块执行块间处理。
21、根据权利要求16的一种用于形成低分辨率视频信号的方法，其中在步骤(g)中使用一向上抽样滤波器对对应于该基准帧的低分辨率视频信号象素值的该块进行变换且在步骤(d)中使用一预抽取滤波器对第一滤波的象素值进行滤波且该向上抽样滤波器和该预抽取滤波器的卷积实现了一拉格朗日滤波器。
22、根据权利要求16的一种用于形成低分辨率视频信号的方法，其中在步骤(g)中对应于该基准帧的低分辨率视频信号象素值的该块通过频域中的向上抽样滤波而被转换且在步骤(b)中等同于空间域中的向上抽样滤波器的在频域中的下变换滤波被使用以生成滤波的频域视频系数的对应的块。
23、根据权利要求16的一种用于形成低分辨率视频信号的方法，其中步骤(g)中的滤波通过一向上抽样滤波器执行，步骤(d)中的滤波通过一预抽取滤波器执行，且该向上抽样滤波器和该预抽取滤波器的卷积实现了具有系数h(n)的一FIR滤波器
     h(n)＝(13，-16，0，95，190，256，190，95，0，-16，-13)/256.
24、根据权利要求23的一种用于形成低分辨率视频信号的方法，其中该预抽取滤波器是一具有以下系数的FIR滤波器
   h_dec(n)＝(-13，-3，16，82，92，82，16，-3，-13)/256，
该向上抽样滤波器是一具有以下系数的FIR滤波器
            h_up(n)＝(1，1，1)
25、根据权利要求24的一种用于形成低分辨率视频信号的方法，其中在步骤(b)中使用一具有以下系数的频域中的下变换滤波器生成滤波的频域视频系数的这些对应的块：
   H_DCT＝(1，0.9493，0.8047，0.5885，0.3333，0.0782，-0.1381，-0.2826).
26、根据权利要求16的一种用于形成低分辨率视频信号的方法，其中在步骤(g)中的滤波通过一向上抽样滤波器执行，步骤(d)中的滤波通过一预抽取滤波器执行，且该向上抽样滤波器和该预抽取滤波器的卷积实现了具有系数h(n)的一FIR滤波器
   h(n)＝(-1/16，0，9/16，1，9/16，0，-1/16).
27、根据权利要求26的一种用于形成低分辨率视频信号的方法，其中该预抽取滤波器是一具有以下系数的FIR滤波器
   h_dec(n)＝(-1/8，1/4，3/4，1/4，-1/8)，
该向上抽样滤波器是一具有以下系数的FIR滤波器
       h_up(n)＝(1/2，1，1/2).
28、根据权利要求13的一种用于形成低分辨率视频信号的方法，其中在步骤(b)中使用一具有以下系数的频域中的下变换滤波器生成滤波的频域视频系数的这些对应的块：
   H_DCT＝(1，0.9619，0.8536，0.6913，0.5000，0.3087，0.1464，0.0381).
CN99121711A 1998-10-09 1999-10-08 将编码高分辨率视频信号转换为解码低分辨率视频信号的系统及方法 Expired - Fee Related CN1122413C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/169790 1998-10-09
US09/169,790 US6249549B1 (en) 1998-10-09 1998-10-09 Down conversion system using a pre-decimation filter
US09/169,790 1998-10-09

Publications (2)

Publication Number Publication Date
CN1255017A true CN1255017A (zh) 2000-05-31
CN1122413C CN1122413C (zh) 2003-09-24

Family

ID=22617188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN99121711A Expired - Fee Related CN1122413C (zh) 1998-10-09 1999-10-08 将编码高分辨率视频信号转换为解码低分辨率视频信号的系统及方法

Country Status (6)

Country Link
US (1) US6249549B1 (zh)
EP (1) EP0993196A3 (zh)
JP (1) JP2000125296A (zh)
KR (1) KR100667604B1 (zh)
CN (1) CN1122413C (zh)
CA (1) CA2281391A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740070A (zh) * 2011-04-04 2012-10-17 Nxp股份有限公司 两种模式之间可切换的视频解码
CN110213792A (zh) * 2018-02-28 2019-09-06 上海朗帛通信技术有限公司 一种用于无线通信的通信节点中的方法和装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618443B1 (en) * 1997-03-12 2003-09-09 Matsushita Electric Industrial Co., Ltd. Upsampling filter for a down conversion system
GB2335104B (en) * 1998-03-06 2002-01-30 British Broadcasting Corp Cascading of up conversion and down conversion
DE19856445A1 (de) 1998-12-08 2000-06-15 Elenac Gmbh Verfahren zur Erhöhung der Brandfestigkeit von Polyethylen enthaltenden Hohlkörpern
US6470051B1 (en) * 1999-01-25 2002-10-22 International Business Machines Corporation MPEG video decoder with integrated scaling and display functions
US6552749B1 (en) * 1999-01-29 2003-04-22 Intel Corporation Method and apparatus for video motion compensation, reduction and color formatting
US6510178B1 (en) * 1999-12-15 2003-01-21 Zenith Electronics Corporation Compensating for drift in the down conversion of high definition sequences to lower resolution sequences
US6711301B1 (en) 2000-01-31 2004-03-23 Intel Corporation Block-oriented pixel filter
GB0026846D0 (en) * 2000-11-03 2000-12-20 Clayton John C Motion compensation of images
US6567027B2 (en) * 2001-02-08 2003-05-20 Sigmatel, Inc. Method and apparatus for analog to digital conversion utilizing a moving sum
US6522275B2 (en) * 2001-02-08 2003-02-18 Sigmatel, Inc. Method and apparatus for sample rate conversion for use in an analog to digital converter
US6898241B2 (en) * 2001-05-11 2005-05-24 Mitsubishi Electric Research Labs, Inc. Video transcoder with up-sampling
FR2830157A1 (fr) * 2001-09-25 2003-03-28 Koninkl Philips Electronics Nv Procede de conversion de donnees video codees
US7136417B2 (en) 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
JP4078906B2 (ja) * 2002-07-19 2008-04-23 ソニー株式会社 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
US7589788B1 (en) * 2003-02-28 2009-09-15 Intel Corporation Method and apparatus for video motion compensation, reduction and color formatting
KR100497398B1 (ko) * 2003-07-16 2005-06-23 삼성전자주식회사 영상 잡음 제거방법 및 장치
US7660487B2 (en) 2003-12-10 2010-02-09 Sony Corporation Image processing method and apparatus with image resolution conversion related to relative movement detection
US8199825B2 (en) * 2004-12-14 2012-06-12 Hewlett-Packard Development Company, L.P. Reducing the resolution of media data
JP4793339B2 (ja) * 2007-07-09 2011-10-12 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP2009077082A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 解像度変換装置、解像度変換方法及びプレビュー表示装置
US20100215094A1 (en) * 2007-10-08 2010-08-26 Nxp B.V. Video decoding
GB2460069A (en) * 2008-05-15 2009-11-18 Snell & Wilcox Ltd Sampling conversion between formats in digital image processing
US8326050B2 (en) * 2008-12-02 2012-12-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for subpixel-based down-sampling
EP2315445A1 (en) * 2009-10-09 2011-04-27 Vidast Oy Video compression
KR101690253B1 (ko) * 2010-05-06 2016-12-27 삼성전자주식회사 영상 처리 장치 및 그 방법
US9602819B2 (en) * 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
JP2014531807A (ja) 2011-09-09 2014-11-27 パナモーフ, インコーポレイテッドPanamorph, Inc. 画像処理システム及び方法
JP2013186427A (ja) * 2012-03-09 2013-09-19 Ricoh Co Ltd 映像処理装置
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
US9870375B2 (en) * 2013-12-20 2018-01-16 Nvidia Corporation Image analysis of display content for dynamic adjustment of a continuous scan display
US9830871B2 (en) 2014-01-03 2017-11-28 Nvidia Corporation DC balancing techniques for a variable refresh rate display
US11350015B2 (en) 2014-01-06 2022-05-31 Panamorph, Inc. Image processing system and method
US9711099B2 (en) 2014-02-26 2017-07-18 Nvidia Corporation Techniques for avoiding and remedying DC bias buildup on a flat panel variable refresh rate display
US9940898B2 (en) 2016-02-25 2018-04-10 Nvidia Corporation Variable refresh rate video capture and playback

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4754492A (en) * 1985-06-03 1988-06-28 Picturetel Corporation Method and system for adapting a digitized signal processing system for block processing with minimal blocking artifacts
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5737019A (en) * 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
WO1998041029A1 (en) * 1997-03-12 1998-09-17 Matsushita Electric Industrial Co., Ltd. Upsampling filter and half-pixel generator for an hdtv downconversion system
US6061400A (en) * 1997-11-20 2000-05-09 Hitachi America Ltd. Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740070A (zh) * 2011-04-04 2012-10-17 Nxp股份有限公司 两种模式之间可切换的视频解码
CN110213792A (zh) * 2018-02-28 2019-09-06 上海朗帛通信技术有限公司 一种用于无线通信的通信节点中的方法和装置
CN110213792B (zh) * 2018-02-28 2022-08-19 上海朗帛通信技术有限公司 一种用于无线通信的通信节点中的方法和装置

Also Published As

Publication number Publication date
JP2000125296A (ja) 2000-04-28
KR20000034978A (ko) 2000-06-26
KR100667604B1 (ko) 2007-01-15
CA2281391A1 (en) 2000-04-09
EP0993196A3 (en) 2001-08-22
CN1122413C (zh) 2003-09-24
EP0993196A2 (en) 2000-04-12
US6249549B1 (en) 2001-06-19

Similar Documents

Publication Publication Date Title
CN1122413C (zh) 将编码高分辨率视频信号转换为解码低分辨率视频信号的系统及方法
CN1135840C (zh) 用于一下变换系统的向上抽样滤波器及方法
CN1173576C (zh) 用于离散余弦变换编码图像向下变换的频域滤波
CN1170438C (zh) 数字视频信号下变换系统的运动补偿处理器及上升抽样方法
CN1162008C (zh) 用于2∶1抽样的有效下变频系统
CN1236619C (zh) 用于进行视频图像解码的方法和装置
JP6242438B2 (ja) ビデオ符号化方法、ビデオ復号方法、ビデオエンコーダ、及びビデオデコーダ
JP5654091B2 (ja) ビデオコード化における動き補償のための高度内挿技術
US9451255B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
JP5302010B2 (ja) 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算方法
US6289132B1 (en) Apparatus and method for optimized compression of interlaced motion images
JP4361987B2 (ja) フィールドモード符号化を含む画像フレームのサイズ変更のための方法及び装置
CN1173577C (zh) 补偿idct失配的dct域下转换系统
JP2000341695A (ja) 符号化高精細度ビデオ信号から拡張デコード低減解像度ビデオ信号を得るための装置および方法
JP5529161B2 (ja) ビデオストリームをブラウジングする方法及び装置
US20020044692A1 (en) Apparatus and method for optimized compression of interlaced motion images
KR101690253B1 (ko) 영상 처리 장치 및 그 방법
JP2002314998A (ja) 同時的フォーマット縮小方法、及びエンコード・ビデオ信号のデコード方法
JP2013042385A (ja) 画像符号化装置及び画像復号装置
CN111903132B (zh) 图像处理装置和方法
CN1246019A (zh) 用于从编码高分辨率视频信号中产生解码低分辨率视频信号的系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee