CN1615645A - 编码动态滤波器 - Google Patents

编码动态滤波器 Download PDF

Info

Publication number
CN1615645A
CN1615645A CNA038022095A CN03802209A CN1615645A CN 1615645 A CN1615645 A CN 1615645A CN A038022095 A CNA038022095 A CN A038022095A CN 03802209 A CN03802209 A CN 03802209A CN 1615645 A CN1615645 A CN 1615645A
Authority
CN
China
Prior art keywords
video
filter
difference
frame
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA038022095A
Other languages
English (en)
Other versions
CN100553321C (zh
Inventor
J·濑内马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1615645A publication Critical patent/CN1615645A/zh
Application granted granted Critical
Publication of CN100553321C publication Critical patent/CN100553321C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种视频编码器系统，用于编码包括一系列视频帧的视频序列，每一视频帧包括像素值阵列，其中定义内插滤波器，以便在解码处理中重构像素值。该系统相对于预定义基本滤波器差分地编码内插滤波器的系数，以提供一组差值。因为基本滤波器系数对于编码器和解码器是公知的，并且可以在统计上合理地接近在视频序列内使用的实际滤波器，因此解码器可以根据该组差值重构像素值。

Description

编码动态滤波器
本申请基于于2002年1月14日提交的美国临时专利申请60/348,811，并要求其优先权。
技术领域
本发明涉及视频编码中的运动补偿。更具体地说，本发明涉及一种用于编码在运动补偿视频编码器和解码器中用于重构图像像素的内插滤波器的系数的方法。本发明还涉及实现本发明方法的相应视频编码器、视频解码器和视频传输系统。
背景技术
当今存在许多种视频编码标准。这些标准包括国际电信联盟电信标准化部门(ITU-T)建议H.263和国际标准化组织(ISO)的运动图像专家组(MPEG)标准MPEG-1、MPEG-2和MPEG-4。这些视频编码标准基于运动补偿预测和预测误差编码的使用。通过分析并编码在视频序列内连续帧之间的运动，并使用运动信息重构图像块，执行运动补偿预测。使用运动内插滤波器建立图像块的重构，所述滤波器能够生成所需要的用于像素和子像素位置的图像(像素)值。在下面的段落中更详细地描述使用内插滤波器的运动补偿预测和图像重构的基本原理。
类似于记录在胶片上的普通运动图像的数字视频序列包括一系列的静止图像，通常称作“帧”。通过在相对快的速率上通常是每秒15至30帧，逐帧地显示来建立运动的错觉。因为相对快的帧速率，连续帧的图像内容趋于非常类似，并因而连续帧包含大量的冗余信息。
数字视频序列的每一帧包含图像像素阵列。在通常使用的称作QuarterCommon Interchange Format(四分之一普通交换格式)(QCIF)的数字视频格式中，一帧包括176×144个像素的阵列，并因而每帧包含25344个像素。该帧的每个像素利用一定数量的比特来表示，这些比特承载关于对应于该像素的图像区域的亮度和/或色彩内容(色度)的信息。通常，使用所谓的YUV彩色模型来表示图像的亮度和色度内容。亮度或Y分量代表图像的强度(明亮度)，而图像彩色内容利用标记为U和V的两个色度分量来表示。
基于图像内容的量度/色度表示的彩色模型与基于包含主要颜色(即红、绿和蓝，RGB)的表示的彩色模型相比提供了某些优点。因为人类视觉系统对强度变化比对色彩变化更为敏感，YUV彩色模型通过将比亮度分量(Y)更低的空间分辨率用于色度分量(U，V)来利用了这个属性。这样，可以以图像质量的微小降低为代价来降低编码图像内色彩信息需要的信息量。
通常通过空间二次抽样获取色度分量的较低空间分辨率。通常，使用代表亮度信息的一块16×16值编码一块16×16图像像素，而两个色度分量分别用一块8×8值表示，所述值表示等效于16×16阵列的亮度值的图像区域。因而，在水平和垂直方向上以因子2在空间上二次抽样色度分量。所获得的一块16×16亮度块和两个8×8色度块的组合(assembly)通常称作YUV宏块或简称为宏块。
QCIF图像包括11×9个宏块。如果用8比特分辨率(即通过0至255范围内的值)表示亮度块和色度块，则每宏块需要的比特总数是(16×16×8)+2×(8×8×8)＝3072比特。因而，使用每分量8比特数分辨率以QCIF格式表示视频帧需要的比特数是99×3072＝304128比特。因此，发送、记录或显示以每秒30帧的速率包括一系列这样的QCIF格式帧的视频序列需要的数据量超过9Mbps(每秒百万比特)。在视频记录、传输和显示中使用这个数据速率是不实际的，因为需要非常大的存储容量、传输信道容量和硬件性能。因此，已经开发了诸如上述的视频编码标准，以便在保持可接受的图像质量的同时降低表示和发送视频数据需要的信息量。
先前所述的视频编码标准中的每个标准分别为具有不同特性的视频记录或传输系统内的应用而定制。例如，ISO MPEG-1标准被特别设计用于其中可用数据带宽高达大约1.5M比特/秒的情况。MPEG-2视频编码标准主要可应用于具有可用数据带宽高达大约10M比特/秒的数字存储介质和视频广播与通信。ITU-T推荐标准H.263预定用于可用带宽通常非常低的系统中。它尤其适合于用于将在诸如ISDN(综合业务数字网)或常规PSTN(公用业务电话网)等的固定线路网络上实时发送视频数据的情况中，其中可用数据传输带宽通常在64k比特/秒的量级上。在移动视频电话中，其中传输至少部分地发生在无线电通信链路上，可用带宽可以低到20k比特/秒。
尽管当前存在的各种视频编码标准为不同情况中的使用而定制，但是它们用于降低将要发送的信息量的机制具有许多共同特性。具体而言，它们全部如此工作以降低在将要发送的视频序列内的冗余和感觉上无关的信息量。在视频序列内存在基本上三种冗余度：空间、时间和频谱冗余度。空间冗余度是用于描述在一系列的各个帧内相邻像素之间的相关性的项。时间冗余度表示在一系列的帧内出现的目标可能在随后帧内出现的事实。频谱冗余度是指在同一图像的不同色彩分量之间的相关性。
通过简单地降低在给定图像序列内各种形式的冗余度，通常不能实现足够有效的压缩。因而，最新的编码器也降低了那些主观上最不重要的视频序列部分的质量。此外，利用高效的无损耗编码自身也降低了压缩视频比特流的冗余度。通常，这使用熵编码来实现。
运动补偿预测是一种形式的时间冗余降低，其中通过跟踪帧之间图像的目标或区域的运动，根据序列内的其它帧来“预测”视频序列内一些(通常很多)帧的内容。使用运动补偿预测压缩的帧通常称作INTER-编码帧或P-帧，而将不使用运动补偿预测压缩的帧称作INTRA-编码帧或I-帧。预测(运动补偿，INTER-编码)图像很少精确地足以以足够的质量表示图像内容，并因此空间补偿预测误差(PE)帧也与每个INTER帧相关。许多视频压缩方案也使用双向预测帧，这通常被称为B-图像或B-帧。将B-图像插入在参考或所谓的“锚(anchor)”图像对(I或P帧)之间，并根据锚图像之一或两者进行预测。
在附图的图3中图示了在典型的压缩视频序列内出现的不同类型的帧。如从图中可以看出的，该序列开始于INTRA或I帧30。在图3中，箭头33表示“前向”预测处理，通过该处理形成P-帧34。用于形成B-帧36的双向预测处理分别用箭头31a和31b来表示。
在图1和图2中图示使用运动补偿预测的通用视频编码系统的示意图。图1图示使用运动补偿预测的编码器10，图2图示相应的解码器20。图1所示的编码器10包括运动场估算块11、运动场编码块12、运动压缩预测块13、预测误差编码块14、预测误差解码块15、多路复用块16、帧存储器17和加法器19。解码器20包括运动补偿预测块21、预测误差解码块22、多路分用块23和帧存储器24。
使用运动补偿预测的视频编码器的操作原理是最小化预测误差帧En(x，y)内的信息量，所述预测误差帧En(x，y)是正在被编码的当前帧In(x，y)和预测帧Pn(x，y)之间的差值。因而，将预测误差帧定义为如下：
En(x，y)＝In(x，y)-Pn(x，y)    (1)
使用参考帧Rn(x，y)的像素值建立预测帧Pn(x，y)，所述参考帧Rn(x，y)通常是先前编码并发送的一个帧，例如恰在当前帧之前的帧，并可以从编码器10的帧存储器17中获得。更具体地说，通过查找参考帧Rn(x，y)内的“预测像素”来构建预测帧Pn(x，y)，所述“预测像素”基本上对应于当前帧内的像素。导出描述当前帧内的像素和其在参考帧内相应的预测像素之间的关系(例如相对位置、旋转、定标等等)的运动信息，并通过根据运动信息移动预测像素来构建预测帧。这样，使用参考帧内的像素值，将预测帧构建为当前帧的近似表示。因此，上面提到的预测误差帧表示由预测帧提供的当前帧的近似表示和当前帧本身之间的差值。使用运动补偿预测的视频编码器所提供的基本优点是因为这样的事实，即通过形成其预测需要的运动信息以及在预测误差帧内的相关预测误差信息，可以获得当前帧的相对简洁的描述。
由于帧内的大量像素，将每个像素的单独运动信息发送给解码器通常是低效的。相反，在大多数视频编码方案中，将当前帧划分成较大的图像分段Sk，并将与这些分段相关的运动信息发送给解码器。例如，通常为一帧的每个宏块提供运动信息，并且随后将相同的运动信息用于该宏块内的所有像素。在一些视频编码标准中，例如在当前正在开发的ITU-T推荐标准H.26L中，能够将宏块划分成更小的块，向每个更小的块提供它自己的运动信息。
运动信息通常采用运动矢量[Δx(x，y)，Δy(x，y)]的形式。数值Δx(x，y)和Δy(x，y)对代表在当前帧In(x，y)内的像素(x，y)相对于参考帧Rn(x，y)内像素的水平和垂直位移。在运动场估算块11内计算运动矢量[Δx(x，y)，Δy(x，y)]，并将当前帧的运动矢量组[Δx(·)，Δy(·)]称作运动矢量场。
典型地，通过其左上角的(x，y)坐标来指定当前视频帧内宏块的位置。因而，在运动信息与一帧的每个宏块相关的视频编码方案中，每个运动矢量描述表示当前帧In(x，y)内宏块的左上角的像素相对于参考帧Rn(x，y)内预测像素的基本上对应块的左上角内一个像素的水平和垂直位移Δx(x，y)和Δy(x，y)(如图4b所示)。
运动估算是需要大量计算的工作。给定参考帧Rn(x，y)和例如包括在当前帧内N×N像素的正方形宏块(如图4b所示)，运动估算的目的是查找根据某一标准匹配当前图片内宏块特性的参考帧内的N×N像素块。这个标准例如可以是当前帧内宏块像素和与之比较的参考帧内像素块之间的绝对差值之和(SAD)。通常将这个处理称作“块匹配”。应当指出，通常，将要匹配的块的几何结构和参考帧内的几何结构不必相同，因为实际情况下的目标可能经历比例变化以及旋转和翘曲。然而，在当前的国际视频编码标准中，例如上面提到的，仅使用平移运动模型(参见下文)，并因此固定的矩形几何结构就足够了。
理想上，为了实现找到匹配的最佳机会，应当搜索整个参考帧。然而，这是不实际的，因为这在视频编码器上施加了过高的计算负担。相反，搜索区域通常限于围绕当前帧内宏块的原始位置的一个区域[-p，p]，如图4c所示。
为了进一步降低将要从编码器10发送给解码器20的运动信息量，通过使用运动模型表示，在编码器10的运动场编码块12内编码运动矢量场。在这一处理中，使用某些预先确定的函数来重新表示图像分段的运动矢量，或者换句话说，使用模型表示运动矢量场。几乎所有当前使用的运动矢量场模型是加法运动模型，符合下述通用公式：
Δx ( x , y ) = Σ i = 0 N - 1 a i f i ( x , y ) - - - - ( 2 )
Δy ( x , y ) = Σ i = 0 M - 1 b i g i ( x , y ) - - - - ( 3 )
其中ai和bi是运动系数。将这些运动系数发送给解码器20(图1和图2中的信息流2)。函数fi和gi是运动场基本函数。它们对于编码器和解码器是公知的。使用这些系数和基本函数可以构建近似的运动矢量场 ( Δ ~ x ( x , y ) , Δ ~ y ( x , y ) ) . 因为基本函数是编码器10和解码器20所知的(即存储在其中)，仅需要将运动系数发送给编码器，从而降低表示帧的运动信息所需要的信息量。
最简单的运动模型是平移运动模型，它仅需要两个系数来描述每个分段的运动矢量。通过下式给出运动矢量的值：
Δx(x，y)＝a0
Δy(x，y)＝b0                   (4)
这是在ITU-T推荐标准H.263和ISO标准MPEG-1、MPEG-2、MPEG-4中用于描述16×16和8×8像素块的运动的模型。使用平移运动模型的系统通常在全像素分辨率或者全像素分辨率的某一整数分数上例如在二分之一或四分之一像素分辨率上执行运动估算。
在编码器10的运动补偿预测块13内构建预测帧Pn(x，y)，并且通过下式给出：
P n ( x , y ) = R n [ x + Δ ~ x ( x , y ) , y + Δ ~ y ( x , y ) ] - - - - - - - - ( 5 )
在预测误差编码块14内，通常通过将其表示为某些二维函数的有限级数(变换)来压缩预测误差帧En(x，y)。例如，可以使用二维离散余弦变换(DCT)。在将变换系数发送给解码器(图1和图2中的信息流1)之前量化和熵(例如哈夫曼)编码这些变换系数。因为量化引入误差，该操作通常在预测误差帧En(x，y)内生成某种劣化(信息损失)。为了补偿此劣化，编码器10还包括预测误差解码块15，其中使用变换系数构建解码的预测误差帧
Figure A0380220900112
由加法器19将这个本地解码的预测误差帧添加给预测帧Pn(x，y)，并将所获得的解码的当前帧存储在帧存储器17内，以便进一步用作下一个参考帧Rn+1(x，y)。
在多路复用器16内组合承载运动矢量相关信息的信息流2与有关预测误差的信息，并将通常至少包含这两种类型信息的信息流3发送给解码器20。
现在将描述相应视频解码器20的操作。
解码器20的帧存储器24存储先前重构的参考帧Rn(x，y)。使用所接收的运动系数信息和先前重构的参考帧Rn(x，y)的像素值，根据等式5在解码器20的运动补偿预测块21内构建预测帧Pn(x，y)。在预测误差解码块22内使用发送的预测误差帧En(x，y)的变换系数来构建解码的预测误差帧 随后，通过相加预测帧Pn(x，y)与解码的预测误差帧
Figure A0380220900115
来重构解码的当前帧
Figure A0380220900116
的像素：
I n ~ ( x , y ) = P n ( x , y ) + E n ~ ( x , y ) = R n [ x + Δ ~ x ( x , y ) + Δ ~ y ( x , y ) ] + E n ~ ( x , y ) - - - - - - ( 6 )
将这个解码的当前帧作为下一个参考帧Rn+1(x，y)存储在帧存储器24内。
在上面的数字视频的运动补偿编码和解码的描述中，描述当前帧内的宏块相对于参考帧Rn(x，y)的运动的运动矢量[Δx(x，y)，Δy(x，y)]可以指向参考帧内的任一像素。这意味着可以仅在由帧内的图像像素确定的分辨率(所谓全像素分辨率)上表示数字视频序列的帧之间的运动。然而，实际的运动具有任意的精确度，并因而上面描述的系统仅提供了数字视频序列的连续帧之间运动的近似模型化。典型地，具有全像素分辨率的视频帧之间运动的模型化对于允许有效地最小化与每个宏块或帧相关的预测误差(PE)信息是不够精确的。因此，为了能够更精确地模型化实际运动和有助于降低必需从编码器发送给解码器的PE信息量，许多视频编码标准允许运动矢量指向“之间(in between)”图像像素。换句话说，运动矢量可以具有“子像素”分辨率。允许运动矢量将子像素分辨率增加到必须执行的编码和解码操作的复杂性，所以限制运动矢量可以具有的空间分辨率依然是有利的。因而，诸如先前所述的视频编码标准通常仅允许运动矢量具有全、半或四分之一像素分辨率。
具有子像素分辨率的运动估算可以实施为两阶段处理，如在图5中以示例性方式图示的，用于其中运动矢量可以具有全或半像素分辨率的通用视频编码方案。在第一步骤中，使用适当的运动估算方案例如上面描述的块匹配处理来确定具有全像素分辨率的运动矢量。所获得的具有全像素分辨率的运动矢量在图5中图示。
在第二阶段中，进一步精化在第一阶段内确定的运动矢量以获得所希望的半像素分辨率。在图5所示的例子中，这通过形成八个新的16×16像素的搜索块来进行，在图5中利用X标记每块的左上角的位置。将这些位置表示为[Δx+m/2，Δy+n/2]，其中m和n可以采用值-1、0和+1，但是不能同时为零。因为仅有原始图像像素的像素值是已知的，所以使用某种形式的内插方案为八个新搜索块的每个搜索块估算位于半像素位置上的子像素的值(例如，亮度和/或色度值)。
如果已经以半像素分辨率内插子像素的值，则比较八个搜索块中的每个块与寻找其运动矢量的宏块。当执行块匹配处理以确定具有全像素分辨率的运动矢量时，根据诸如SAD的某一标准比较宏块与八个搜索块中的每一块。作为比较结果，通常将获得最小SAD值。根据视频序列内运动的属性，这个最小值可以对应于由原始运动矢量(具有全像素分辨率)指定的位置，或者它可以对应于具有半像素分辨率的位置。因而，有可能确定运动矢量是否应当指向全像素或半像素位置，或者如果子像素分辨率合适的话，确定正确的子像素分辨运动矢量。
实际上，通过从周围的像素值内插子像素的值来执行参考帧内子像素值的估算。通常，可以将位于非整数位置(x，y)＝(n+Δx，m+Δy)的子像素值F(x，y)的内插格式化二维操作，在数学上表示为：
F ( x , y ) = Σ k = - K K = 1 Σ l = - L L = 1 Σ f ( k + K , l + L ) F ( n + k , m + l ) - - - - - - - ( 7 )
其中f(k，l)是滤波系数，而n和m分别通过将x和y截取到整数值来获得。典型地，滤波系数取决于x和y值，并且内插滤波器通常是所谓的“可分离的滤波器”，在这种情况下可以将子像素值F(x，y)计算如下：
F ( x , y ) = Σ k = - K K = 1 f ( k + K ) Σ l = - L L = 1 f ( l + K ) F ( n + k , m + l ) - - - - - ( 8 )
在编码器中计算运动矢量。一旦将相应的运动系数发送给解码器，直接的方法是使用与在编码器中使用的方法相同的内插方法来内插所需要的子像素。这样，可以根据参考帧和所发送的运动矢量重构帧存储器24内在参考帧之后的帧。
常规上，在视频编码器和解码器内使用的内插滤波器使用固定的滤波器系数值，并将相同的滤波器(即具有相同滤波器系数值的相同类型滤波器)用于所编码的视频序列的所有帧。可以将同一滤波器进一步用于所有的视频序列，而与它们的特性和如何获取(捕获)它们无关。Wedi(“用于运动补偿混合视频编码的自适应内插滤波器”，图像编码研讨会(PCS 2001)，韩国汉城，2001年4月)推荐使用具有自适应滤波器系数值的内插滤波器来补偿视频编码处理中的某些缺陷。具体而言，Wedi描述图像获取处理中的混叠、所允许的运动矢量的有限分辨率和平移运动模型的有限有效性如何引入附加预测误差。视频图像中的混叠是由于图像获取处理中使用非理想的低通滤波器(和结果不满足Nyquist抽样理论)引起的。混叠干扰视频序列内的运动补偿预测并引起附加的预测误差分量。允许的运动矢量(例如，全像素，二分之一像素或四分之一像素)的有限精确度和平移运动模型只表示连续视频帧之间的水平与垂直平移运动的能力也引起附加的预测误差贡献。Wedi还推荐了通过修改(adapt)内插滤波器的滤波器系数值以补偿由混叠、有限运动矢量精度和平移运动模型的有限有效性引入的附加预测误差而能够实现编码效率的改进。
更普通地，应当理解因为视频序列内运动变化的性质和特性，最佳内插滤波器作为时间和图像位置的函数而变化。Wedi介绍了一个例子，其中将具有动态自适应滤波器系数值的内插滤波器集成到H.26L视频编译码器中，更具体地说，由H.26L的测试模型(TML)4.TML-4定义的编译码器使用四分之一像素运动矢量分辨率和带有六个对称滤波器系数的维纳型(Wiener-type)内插滤波器(6-抽头滤波器)的版本。Wedi介绍的例子推荐逐帧地修改内插滤波器的滤波器系数，差分地编码滤波器系数，并将它们作为主视频数据的辅助(side)信息发送给解码器。基于这种方法的建议包括在H.26L视频编译码器的测试模型8内使用带有动态自适应滤波器系数值的内插滤波器。这在ITU-电信标准化部门的标题为“用于H.26L的自适应内插滤波器”，研究组16，问题6，视频编码专家组(VCEG)，文件VCEG-N28，2001年9月和“用于H.26L的自适应内插滤波器的更多结果”，研究组16，问题6，视频编码专家组(VCEG)，文献VCEG-O16rl，2001年11月中进行了介绍。
动态自适应内插滤波器的使用提出了与编码视频数据流的编码效率相关的重要问题，并且还对编码视频数据的错误复原能力具有影响。能够以一种直接的方式理解编码效率的问题。在使用具有固定滤波器系数值的内插滤波器的视频编码系统中，不需要包括任何与编码视频数据比特流内的滤波器系数值相关的任何信息。滤波器系数值可以简单地记录在视频编码器和视频解码器内。换句话说，在根据使用固定内插滤波器的特定视频编码标准实现的视频编码系统内，根据标准规范将系数值预先编程到编码器和解码器。然而，如果允许动态的自适应滤波器系数，则变得必需发送与这些系数值相关的信息。因为定期地更新滤波器系数(例如在逐帧的基础上)，这必然添加到从视频编码器发送给解码器的信息量，并对编码效率产生有害的影响。在低比特率视频编码应用中，需要发送的信息量的任何增加通常都是不希望的。
因而，为了最佳模型化和补偿运动，需要动态内插滤波器的有效表示方法。
关于错误复原能力，应当理解将与动态可变内插滤波器的系数相关的信息从编码器发送给解码器的方式可能影响视频数据对传输误差的敏感性。更具体地说，在使用动态自适应内插滤波器的视频编码系统内，在解码器上视频序列帧的正确重构依靠于滤波器系数值的正确接收和解码。如果与系数值相关的信息在它从编码器到解码器的发送期间经受错误，很可能出现重构的视频数据的恶化。在现有技术中存在三种编码滤波器系数的方式。第一种是分别地熵编码滤波器系数值。第二种是相对于已解码滤波器的滤波器系数差分地编码滤波器系数值(如在Wedi内推荐的)，第三种是定义一组滤波器并编码选定滤波器的索引。
如上面所介绍的，可用于编码内插滤波器系数的现有技术解决方案在不同的使用情况下全都具有与之相关的问题。第一种方法，其中单独地编码内插滤波器系数，提供了较差的编码性能，因为它并不使用任何先验信息(即与先前编码的内插滤波器系数值相关的信息)。因此，这种方法需要添加给编码视频比特流的过多的信息以描述内插滤波器系数值。如在Wedi所推荐的系数的差分编码是有效的，但是不能在存在可能的传输错误的环境下使用，因为滤波器系数取决于先前滤波器系数的正确解码。如先前描述的，如果编码的视频比特流在从编码器到解码器的传输期间经受错误，则可能出现在解码器上重构视频数据的破坏。第三种使用预定义滤波器组的现有技术解决方案仅提供有限的选择，并因而降低了编码性能。换句话说，这种选择不能实现使用带有动态自适应滤波器系数的内插滤波器的全部优点，如在Wedi中阐述的。
因而，应当认识到需要一种有效的并且并不导致编码视频比特流的错误复原能力恶化的编码自适应内插滤波器的系数值的方法。
发明内容
本发明组合差分编码的好的编码效率与允许在所有环境下使用的错误复原能力特性。因此，特别适合于在易于出现错误的环境内使用的视频编码系统内实现，例如编码的视频比特流将在容易遭受干扰的无线电通信链路上传输。
因而，根据本发明的一个方面，提供一种编码数字视频序列内的图像以提供编码视频数据的方法，其中数字视频序列包括一系列的视频帧，每帧包含多个像素值，以及其中将具有利用多个系数值代表的多个系数的内插滤波器用于根据编码视频数据重构所述数字视频序列的帧内的像素值，该方法的特征在于：
相对于预定义的基本滤波器(base filter)差分地编码内插滤波器的系数值，以形成一组差值；和
修改编码视频数据内的所述一组差值，以便像素值的重构基于所述一组差值。
有利地，编码的视频数据包括表示所述一组差值的编码值，并且在从视频编码器发送给视频解码器之前熵编码所述一组差值。
有利地，预定义基本滤波器具有多个系数，这些系数具有的值统计地类似于内插滤波器的系数值。
有利地，选择内插滤波器的系数用于选定图像分段内像素值的内插。
有利地，预定义基本滤波器具有固定的系数值。
有利地，预定义基本滤波器具有适合于视频序列统计的多个系数。
最佳地，内插滤波器是对称的，以便仅编码一半的滤波器系数。
有利地，以从第一系数值到最后一个系数值的某一顺序编码内插滤波器的系数值，并且该某一顺序不同于所述系数的空间顺序。
有利地，内插滤波器的系数值之和是固定的。
有利地，预定义基本滤波器具有多个系数值，并且将恒定值添加到预定义基本滤波器的系数值，以降低内插滤波器的系数值和预定义基本滤波器的系数值之间差值的幅度。
根据本发明的第二方面，提供一种视频编码器，包括：
用于编码包括一系列视频帧的数字视频序列内的图像以提供表示视频序列的编码视频数据的装置，视频序列的每一帧包括多个像素值；和
用于定义用于在解码处理中重构所述数字视频序列的帧内像素值的内插滤波器的装置，其中内插滤波器具有利用多个系数值表示的多个系数。该视频编码器的特征在于：
响应于内插滤波器而用于计算所述内插滤波器和预定义基本滤波器的系数值之间的差值以提供一组差值的装置；和
用于修改编码视频数据内的所述一组差值的装置，以便解码处理内像素值的重构基于所述一组差值。
有利地，该编码器包括用于在修改编码视频数据内的所述一组差值之前熵编码所述一组差值的装置。
根据本发明的第三方面，提供一种解码表示包括一系列视频帧的数字视频序列的视频数据的方法，视频序列的每一帧包括多个像素值，其中将具有利用多个系数值表示的多个系数的内插滤波器用于重构所述数字视频序列的帧内的像素值。该方法的特征在于：
从视频数据中检索一组差值，所述一组差值表示内插滤波器和预定义基本滤波器的系数值之间的差值；
根据所述一组差值和预定义基本滤波器构建另一滤波器；和
根据另一滤波器重构像素值。
有利地，预定义基本滤波器具有利用多个系数值代表的多个系数，和通过求和所述一组差值与预定义基本滤波器的系数值来执行另一滤波器的构建。
有利地，通过熵解码从视频数据中检索所述一组差值。
根据本发明的第四方面，提供一种视频解码器，包括用于接收比特流内的视频数据的装置，所接收的视频数据表示包括一系列视频帧的数字视频序列，视频序列的每一帧包括多个像素值。该视频解码器的特征在于：
用于从比特流中检索一组差值的装置；
用于根据预定义基本滤波器和所述一组差值构建内插滤波器的装置；和
用于根据内插滤波器和所接收的视频数据重构视频序列的帧内的像素值的装置。
有利地，视频解码器还具有用于求和所述一组差值与预定义基本滤波器的其它系数值以构建内插滤波器的装置，和用于从比特流中熵解码所述一组差值的装置。
根据本发明的第五方面，提供一种视频编码系统，包括：
编码器，用于编码具有一系列视频帧的数字视频序列内的图像，以提供表示视频序列的比特流内的编码视频数据，视频序列的每帧包括多个像素值，该编码器包括用于定义用于在解码处理中重构所述数字视频序列的帧内像素值的内插滤波器的装置，其中内插滤波器具有利用多个系数值表示的多个滤波器系数；和
解码器，用于接收比特流内的编码视频数据，以便在解码处理中重构视频序列的帧内的像素值。该视频编码系统的特征在于：
该编码器还包括：
用于计算所述内插滤波器和预定义基本滤波器之间的差值以提供一组差值的装置；和
用于修改比特流内的所述一组差值的装置；和
该解码包括：
用于从比特流中检索所述一组差值的装置；和
用于根据预定义基本滤波器和所检索的一组差值构建另一滤波器的装置，以便解码处理中像素值的重构基于另一滤波器。
参考下述描述并结合附图，本发明的这些和其它特征将变得显而易见。然而，应当理解仅仅为了说明的目的而非作为本发明限制的定义设计了这些附图。
附图说明
图1是根据现有技术的通用视频编码器的方框图；
图2是根据现有技术的通用视频解码器的方框图；
图3是图示在视频编码内使用的帧类型的示意图；
图4a是图示当前帧内宏块的示意图；
图4b是图示用于块匹配的参考帧的示意图；
图4c是图示围绕当前帧内宏块的原始位置的搜索区域的示意图；
图5是图示根据现有技术的运动估算到子像素分辨率的处理的示意图；
图6a是图示最佳内插滤波器的示意图；
图6b是图示分解成基本滤波器和差值系数的最佳内插的示意图；
图6c是图示将被编码和被发送给解码器的差值系数的示意图；
图7是图示能够执行本发明的包括视频编码和解码设备的终端设备的方框图；
图8a是图示根据本发明优选实施例的视频编码器的方框图；
图8b是图示根据本发明另一实施例的视频编码器的方框图；
图8c是图示根据本发明又一实施例的视频编码器的方框图；
图9a是图示根据本发明优选实施例的视频解码器的方框图；
图9b是图示根据本发明另一实施例的视频解码器的方框图；
图9c是图示根据本发明又一实施例的视频解码器的方框图。
具体实施方式
根据本发明的编码器相对于预定义基本滤波器系数差分地编码滤波器系数。图6a至图6c图示了根据本发明的方法。在图6a中的条形(bar)图表示内插滤波器系数值，每个条形对应于滤波器系数之一。条形的高度表示相应的系数值，延伸到水平轴之上的条形表示正系数值，延伸到水平轴之下的条形表示负系数值。参见图6a和图6b，条形图110表示编码器检测为最适合于选定图像分段的运动内插的滤波器，而条形图140表示基本滤波器。在图6a图示的例子中，滤波器是具有6个滤波器系数的6抽头对称滤波器。并不发送这样的滤波器系数本身，仅编码和发送选定滤波器110和基本滤波器140之间的差值130。发送的系数120在图6c中图示。
使用本发明，因为可以使用熵编码器有效地编码小幅度差值，所以获得编码增益。当这样的差值包括在由视频编码器生成的编码视频比特流内，并将视频比特流从编码器发送给相应的解码器时，通过从编码比特流检索差值，并将它们添加到在解码器内存储的预定义基本滤波器的系数值，可以在解码器上重构内插滤波器的系数。
应当指出，基本滤波器还适合于视频序列和所接收的滤波器系数的统计，以进一步改善编码效率。还有可能为整个编译码器预定义基本滤波器。换句话说，同一预定义基本滤波器用于将要编码的所有视频序列，而与它们的特性或者获取它们的方式无关。可选择地，基本滤波器适合于视频数据，即不同的基本滤波器用于不同的视频序列，或者在根据某些预定义规则编码特定视频序列期间可以修改基本滤波器。
如果滤波器是对称的，如图6a至6c所示，仅需要编码一半的滤波器系数。通过拷贝可以获得其它的。在图6c图示的例子中，通过实现第四、第五和第六滤波器系数分别等同于第三、第二和第一滤波器系数，可以进一步地降低在编码视频比特流内表示自适应内插滤波器的系数值需要的信息量。因而，在这种情况下，通过三个值实际上可以编码内插滤波器的六个系数，第一个值表示第一内插滤波器系数和预定义基本滤波器的第一系数之间的差值，第二个值表示第二内插滤波器系数和预定义基本滤波器的第二系数之间的差值，而第三个值表示第三内插滤波器系数与预定义基本滤波器的第三系数之间的差值。因此，仅需要在从编码器发送给解码器的编码视频比特流内包括这三个差值，因为通过适当地拷贝前三个重构滤波器系数值，解码器可以获得其余的三个内插滤波器系数。如果基本滤波器和内插滤波器具有奇数个而非偶数个系数，但是也是对称的，则也可以采用类似的方法。在这种情况下，应当理解，将要编码的差值个数是(n/2)+1，其中n是基本滤波器/内插滤波器内的系数的数量。
根据本发明的方法还可以与其它的系数编码方法组合。例如，可以定义并用它们的索引编码一组最频繁使用的滤波器。可以使用允许对可用滤波器最大变化的所描述的方法来编码使用最不频繁使用的滤波器，并从而克服上面描述的用于编码系数值的第三种现有技术方法的缺点。
滤波器系数的编码顺序并不一定遵循空间顺序。例如，表示内插滤波器系数值的差值不一定以与滤波器内出现的系数相同的顺序包括在编码视频比特流内。在这种情况下，必需定义描述差值在比特流内出现的顺序的预定义规则，并且对于编码器和解码器来说这是公知的。
基本滤波器可以适应于同一滤波器的所接收滤波器系数。例如，如果第一发送滤波器系数大于基本滤波器系数，则可以降低第二基本滤波器系数。如果知道这些滤波器系数之和，则尤其是真实的。
典型地，滤波器系数之和是固定。在这种情况下，不需要编码最后一个滤波器系数，而可以通过从总和中减去前面的系数之和来计算出最后一个滤波器系数。如果滤波器系数之和不是固定的，则可以将单独发送的一个或多个常数添加给基本滤波器系数或滤波器输出，以降低系数差值的幅度。
图7图示包括可以被修改以便根据本发明操作的视频编码和解码装置的终端设备。更精确地说，图7图示根据ITU-T推荐标准H.324实现的多媒体终端60。可以将该终端视为多媒体收发信机设备。它包括捕获、编码和多路复用多媒体数据流以便通过通信网络传输的单元以及接收、多路分用、解码和显示所接收的多媒体内容的单元。ITU-T推荐标准H.324定义了终端的全部操作，并参考了控制其各个组成部件操作的其它推荐标准。这种类型的多媒体终端可以在诸如可视电话的实时应用和诸如例如从互联网内的多媒体内容服务器检索或流传输视频剪辑的非实时应用中使用。
在本发明的上下文下，应当认识到，图7所示的H.324终端仅是适合于本发明方法应用的多种可选多媒体终端实现方式之一。还应当指出，在终端装置的位置和实施方式上还存在多种选择。如图7所示，多媒体终端可以定位在连接到诸如模拟PSTN(公用电话交换网)的固定线路电话网的通信设备内。在这种情况下，多媒体终端安装有符合ITU-T推荐标准V.8、V.34和可选的V.8bis的调制解调器71。可选择地，多媒体终端可以连接到外部调制解调器。调制解调器能够将多媒体终端生成的多路复用数字数据和控制数据变换为适合于在PSTN上传输的模拟形式。它还允许多媒体终端以模拟形式从PSTN接收数据和控制信号，并将它们转换成可以由终端以合适的方式多路分用和处理的数字数据流。
还可以以这样的方式实现H.324多媒体终端，以使之可以直接连接到数字固定线路网络，例如ISDN(综合业务数字网)。在这种情况下，使用ISDN用户网络接口替换调制解调器71。在图7中，用可选方框72表示这个ISDN用户网络接口。
H.324多媒体终端还可以适合于在移动通信应用中使用。如果与无线通信链路一起使用，则可以用如在图7中用可选方框73表示的任意适当的无线接口替换调制解调器71。例如，H.324/M多媒体终端可以包括能够连接到当前的第二代GSM移动电话网络或者推荐的第三代UMTS(通用移动电话系统)的无线电收发信机。
应当指出，在设计用于双向通信即用于视频数据的发送和接收的多媒体终端内，提供根据本发明实现的视频编码器和视频解码器是有利的。这样的编码器和解码器对通常实施为单个组合功能单元，称作“编译码器”。
现在将参考图7更详细地描述典型的H.324多媒体终端。多媒体终端60包括多个称作“终端设备”的单元。这个终端设备包括分别用参考数字61、62和63一般表示的视频、音频和远程信息处理设备。视频设备61可以包括例如用于捕获视频图像的视频摄像机、用于显示所接收的视频内容的监视器和可选择的视频处理设备。音频设备62通常包括例如用于捕获话音消息的麦克风和用于再生所接收的音频内容的扬声器。音频设备还可以包括附加的音频处理单元。远程信息处理设备63可以包括数据终端、键盘、电子白板或者静止图像收发信机，例如传真机单元。
视频设备61耦合到视频编译码器65。视频编译码器65包括都是根据本发明实现的视频编码器和相应的视频解码器。在下文中将描述这样的编码器和解码器。视频编译码器65负责以合适的形式编码捕获的视频数据以便在通信链路上传输，并解码从通信网络接收到的压缩视频内容。在图7所示的例子中，假设以这样的方式实现视频编译码器以包括动态自适应内插滤波器的使用。还假设视频编译码器的编码器部分适合于根据如先前所述的本发明方法的实施例编码和发送内插滤波器系数值给相应的解码器。类似地，视频编译码器的解码器部分适合于接收并解码根据本发明方法的同一实施例编码的滤波器系数值。
终端的音频设备耦合到音频编译码器，在图7中用参考数字66表示。类似于视频编译码器，音频编译码器包括编码器/解码器对。它将终端的音频设备捕获的音频数据转换成适合于在通信链路上传输的形式并将从网络接收到的编码音频数据转换回到适合于例如在终端的扬声器上再生的形式。将音频编译码器的输出传送给延迟块67。这补偿由视频编码处理引入的延迟，并从而保证音频和视频内容的同步。
多媒体终端的系统控制块64使用合适的控制协议(信令块68)控制端到网络信令，以建立在发送和接收终端之间操作的共同模式。信令块68交换与发送和接收终端的编码和解码能力相关的信息，并可以用于实现视频编码器的各种编码模式。系统控制块64还控制数据加密的使用。将与在数据传输中将要使用的加密类型相关的信息从加密块69传送到多路复用器/多路分用器(MUX/DMUX单元)70。
在从多媒体终端的数据传输期间，MUX/DMUX单元70组合编码和同步的视频和音频流与从远程信息处理设备63输入的数据和可能的控制数据，以形成单个比特流。使用由加密块69提供的与将要应用于比降流的数据加密类型(如果有的话)相关的信息来选择加密模式。因此，当接收多路复用的和可能加密的多媒体比特流时，MUX/DMUX单元70负责解密该比特流，将它划分成组成的多媒体分量，并将这些分量发送给合适的用于解码和再生的编译码器和/或终端设备。
图8a是根据本发明的优选实施例实现的视频编码器700的示意方框图。图8a所示的视频编码器的结构在许多方面类似于图1所示的现有技术的视频编码器的结构，但对执行与子像素值内插和编码视频比特流的形成相关的操作的那些编码器部分进行了适当修改。视频编码器700的大多数单元以类似于先前描述的现有技术的视频编码器10(参见图1)的对应单元的方式起作用和操作。为了简明省略这些单元的描述。具体而言，视频编码器700包括运动场估算块711、运动场编码块712、运动补偿预测块713、预测误差编码块714、预测误差解码块715、多路复用块716、帧存储器717和加法器719。如图8a所示，运动场估算块711还包括微分系数计算块710，它用于计算选定滤波器和基本滤波器709之间的差值。
现在将详细描述视频编码器700的操作。与现有技术的视频编码器相同，根据本发明这一实施例的视频编码器700相对于参考帧Rn(x，y)使用运动补偿预测，以生成表示以INTER格式编码的视频帧的比特流。它执行到子像素分辨率的运动补偿预测，并且还使用具有动态可变滤波器系数值的内插滤波器，以形成在运动补偿处理期间需要的子像素值。
作为用于每块的两阶段处理，视频编码器700逐块地执行运动补偿预测，并执行到子像素分辨率的运动补偿。在第一阶段中，通过块匹配，即搜索在参考帧Rn(x，y)内最佳匹配将要编码的当前图像块的像素值的一块，确定具有全像素分辨率的运动矢量。由运动场估算块711结合帧存储器717执行块匹配操作，从所述帧存储器检索参考帧Rn(x，y)的像素值。在运动补偿预测的第二阶段，将在第一阶段内确定的运动矢量重新精化到所希望的子像素分辨率。为此，运动场估算块711通过内插在先前识别为最佳匹配当前编码的图像块的区域(参见图5)内的参考帧Rn(x，y)的像素值来形成具有子像素分辨率的新的搜索块。作为这一处理的一部分，运动场估算块711确定用于内插子像素值的最佳内插滤波器。有利地，结合每个图像块的编码修改内插滤波器的系数值。在可选实施例中，可以不频繁地修改内插滤波器的系数，例如每帧一次，或者在将要编码的新视频序列的起始部分上。
在内插必需的子像素值和形成新搜索块之后，运动场估算块711执行进一步的搜索，以确定任一新搜索块是否代表与原先在全像素分辨率上标识为最佳匹配块相比更佳的与当前图像块的匹配。这样，运动场估算块711确定代表当前正在编码的图像块的运动矢量应当指向全像素位置还是子像素位置。
运动场估算块711将所识别出的运动矢量输出给运动场编码块712，它使用运动模型来近似运动矢量，如先前描述的。随后，运动补偿预测块713使用近似的运动矢量和预测误差信息形成当前图像块的预测。随后在预测误差编码块714中编码该预测。随后，将用于当前图像块的编码预测误差信息从预测误差编码块714转发给多路复用器块716。多路复用器块716还从运动场编码块712接收有关近似运动矢量的信息(以运动系数的形式)，并从运动场估算块711接收在当前图像块的运动补偿预测期间使用的最佳内插滤波器的相关信息。根据本发明的这一实施例，运动场估算块711根据由微分系数计算块710计算出的计算结果发送一组差值705，其表示用于当前块的最佳内插滤波器的滤波器系数与在编码器700内存储的预定义基本滤波器709的系数之间的差。多路复用器块716随后通过组合运动信息(运动系数)、预测误差数据、滤波器系数差值和可能的控制信息来形成代表图像当前块的编码比特流703。在包括在比特流内之前可以使用熵编码器来编码不同种类信息的每种信息，并随后发送给相应的解码器。
在本发明的可选实施例中，运动场估算块711发送表示最佳内插滤波器的滤波器系数的一组值704给位于运动场估算块711和多路复用器块716之间的微分系数计算块710，如图8b所示。根据基本滤波器709，微分系数计算块710计算差值705，并将它们发送给多路复用器块716。
在另一种可选实施例中，微分系数计算块710驻留在多路复用器块716内。在这种情况下，可以由运动场估算块711将最佳内插滤波器的滤波器系数704直接发送给多路复用器块716，如图8c所示。
图9a是根据本发明优选实施例实施的并对应于图8a所示的编码器700的视频解码器800的方框图。解码器800包括运动补偿预测块721、预测误差解码块722、多路分用块723和帧存储器824。解码器800内的大多数单元以类似于现有技术20中的相应单元(参见图2)起作用和操作。然而，如图9a所示，本发明的解码器800包括滤波器重构重构块810，它根据差值130(图6b和图6c)和预定义基本滤波器809重构最佳内插滤波器110(参见图6a)。预定义基本滤波器809最好等同于基本滤波器709(图8a-8c)。
现在将详细地描述视频解码器800的操作。多路分用器823接收编码比特流803，将该比特流分割成其组成部分(运动系数、预测误差数据、滤波器系数差值和可能的控制信息)，并执行各种数据类型的任何必要的熵解码。多路分用器823将从所接收的比特流803中检索出的预测误差信息转发给预测误差解码块822。它还将所接收的运动信息转发给运动补偿预测块821。在本发明的这一实施例中，多路分用器823通过信号802将所接收的(和熵解码的)差值转发给运动补偿预测块821，以允许滤波器重构块810通过将所接收的差值添加到在解码器内存储的预定义基本滤波器809的系数来重构最佳内插滤波器110(参见图6a)。运动补偿预测块821随后使用由重构的系数值定义的最佳内插滤波器来构建用于当前被解码的图像块的预测。更具体地说，运动补偿预测块821通过检索在帧存储器824内存储的参考帧Rn(x，y)的像素值并在需要时根据所接收的运动信息内插它们以形成任何需要的子像素值，形成当前图像块的预测。随后组合当前图像块的预测与相应的预测误差数据，以形成所关注的图像块的重构。
可选择地，滤波器重构块810驻留在运动补偿预测块821之外，如图9b所示。根据从多路分用器823接收到的信号802内包含的差值，滤波器重构块810重构最佳内插滤波器，并将重构滤波器系数805发送给运动补偿预测块821。在另一种可选实施例中，滤波器重构块810位于多路分用器块823内。多路分用器块823将重构的最佳内插滤波器的系数转发给运动补偿预测块821。
根据本发明的编码器相对于预定义基本滤波器系数差分地编码滤波器系数，以允许解码器根据这些差值重构最佳内插滤波器。基本滤波器系数应当是编码器和解码器所知的，并应当在统计上合理地靠近在视频序列内使用的实际滤波器，以产生好的编码性能。换句话说，根据本发明的方法，定义具有一组特定系数值的基本滤波器，并随后编码基本滤波器系数和实际使用的内插滤波器系数之间的差值，并包括在视频比特流内。这样，相对于分开编码每个自适应滤波器系数的方法，降低了表示编码视频比特流内自适应内插滤波器系数需要的信息量。如果基本滤波器的系数非常类似于实际使用的内插滤波器的系数，则将要编码的差值很小。因而，如果预定义基本滤波器在统计上类似于实际使用的内插滤波器，这是有利的，因为在这种情况下，降低了差值，并实现了编码效率的进一步改善。
与在Wedi内推荐的差分编码方法不同，根据本发明的方法保持相对好的误差复原能力。在从编码器向解码器传输编码视频比特流期间出现错误的情况下，仅仅是基本滤波器和实际使用的内插滤波器之间的差值受此错误的影响。
应当指出，可以将根据本发明的多媒体终端、视频编码器、解码器和视频编译码器的功能单元实施为软件或专用硬件或两者之组合。根据本发明的视频编码和解码方法尤其适合于以计算机程序的形式实现，所述计算机程序包括用于执行本发明的功能步骤的机器可读指令。因此，根据本发明的编码器、解码器和视频编译码器可以实施为在存储介质上存储的并在诸如个人台式计算机的计算机内执行的软件代码，以便给该计算机提供视频编码和/或解码功能。
尽管以具体实施例为上下文进行了描述，但是对于本领域的技术人员来说，显然可以对这些教导进行多种修改和各种改变。因而，虽然已经针对其一个或多个优选实施例图示和描述了本发明，但是本领域的技术人员将理解在不脱离上面阐述的本发明的范围和精神的情况下可以在其中进行某些修改或改变。

Claims (21)

1.编码数字视频序列内的图像以提供编码视频数据的一种方法，其中数字视频序列包括一系列视频帧，每一帧具有多个像素值，以及其中将具有利用多个系数值表示的多个系数的内插滤波器用于根据编码视频数据重构所述数字视频序列的帧内的像素值，所述方法的特征在于：
相对于预定义的基本滤波器差分地编码内插滤波器的系数值，以形成一组差值；和
修改编码视频数据内的所述一组差值，以便像素值的重构基于所述一组差值。
2.根据权利要求1的方法，其中将编码视频数据从视频编码器发送到视频解码器，所述方法的特征在于：
编码视频数据包括表示所述一组差值的编码值，并且在从视频编码器发送给视频解码器之前熵编码所述一组差值。
3.根据权利要求1的方法，其特征在于，预定义基本滤波器具有多个其它系数，这些其他系数具有的值统计地类似于内插滤波器的系数值。
4.根据权利要求1的方法，其特征在于，选择内插滤波器的系数用于选定图像分段内像素值的内插。
5.根据权利要求1的方法，其特征在于，预定义基本滤波器具有固定系数值。
6.根据权利要求1的方法，其特征在于，预定义基本滤波器具有适合于视频序列统计的多个系数。
7.根据权利要求1的方法，其特征在于，内插滤波器是对称的，以致于仅编码一半的滤波器系数。
8.根据权利要求1的方法，其特征在于，以从第一系数值到最后一个系数值的某一顺序编码内插滤波器的系数值。
9.根据权利要求8的方法，其特征在于，编码系数值的某一顺序不同于所述系数的空间顺序。
10.根据权利要求8的方法，其特征在于，内插滤波器的系数值之和是固定的。
11.根据权利要求1的方法，其中预定义基本滤波器具有多个其它系数值，所述方法的特征在于，将恒定值添加到预定义基本滤波器的其它系数值，以降低内插滤波器的系数值和预定义基本滤波器的其它系数值之间差值的幅度。
12.一种视频编码器，包括：
用于编码具有一系列视频帧的数字视频序列内的图像以提供表示视频序列的编码视频数据的装置，视频序列的每一帧包括多个像素值；和
用于定义用于在解码处理中重构所述数字视频序列的帧内像素值的内插滤波器的装置，其中内插滤波器具有利用多个系数值表示的多个系数，所述视频编码器的特征在于：
响应于内插滤波器而用于计算所述内插滤波器和预定义基本滤波器的系数值之间的差值以提供一组差值的装置；和
用于修改编码视频数据内的所述一组差值的装置，以便在解码处理内像素值的重构基于所述一组差值。
13.根据权利要求12的视频编码器，其特征还在于，
用于在修改编码视频数据内的所述一组差值之前熵编码所述一组差值的装置。
14.根据权利要求13的视频编码器，其特征在于，内插滤波器是对称的，并且熵编码装置被安排为仅编码所述一组差值的一半。
15.解码表示包括一系列视频帧的数字视频序列的视频数据的一种方法，视频序列的每一帧包括多个像素值，其中将具有利用多个系数值表示的多个系数的内插滤波器用于重构所述数字视频序列的帧内的像素值，所述方法的特征在于：
从视频数据中检索一组差值，所述一组差值表示内插滤波器和预定义基本滤波器的系数值之间的差值；
根据所述一组差值和预定义基本滤波器构建另一滤波器；和
根据另一滤波器重构像素值。
16.根据权利要求15的方法，其中预定义基本滤波器具有利用多个系数值代表的多个其它系数，所述方法的特征还在于：
求和所述一组差值与预定义基本滤波器的其他系数值，以构建另一滤波器。
17.根据权利要求16的方法，其特征在于，通过熵解码从视频数据中检索所述一组差值。
18.一种视频解码器，包括：
用于接收比特流内的视频数据的装置，所接收的视频数据表示包括一系列视频帧的数字视频序列，视频序列的每一帧包括多个像素值，所述视频解码器的特征在于：
用于从比特流中检索一组差值的装置；
用于根据预定义基本滤波器和所述一组差值构建内插滤波器的装置；和
用于根据内插滤波器和所接收的视频数据重构视频序列的帧内的像素值的装置。
19.根据权利要求18的视频解码器，其中预定义基本滤波器具有利用其它系数值表示的多个其它系数，所述视频解码器的特征还在于：
用于求和所述一组差值与预定义基本滤波器的其它系数值以构建内插滤波器的装置。
20.根据权利要求18的视频解码器，其特征还在于：
用于根据比特流熵解码所述一组差值的装置。
21.一种视频编码系统，包括：
编码器，用于编码具有一系列视频帧的数字视频序列内的图像以提供表示视频序列的比特流内的编码视频数据，视频序列的每一帧包括多个像素值，该编码器具有用于定义用于在解码处理中重构所述数字视频序列的帧内像素值的内插滤波器的装置，其中内插滤波器具有利用多个系数值表示的多个滤波器系数；和
解码器，用于接收比特流内的编码视频数据，以便在解码处理中重构视频序列的帧内的像素值，所述视频编码系统的特征在于：
该编码器还包括：
用于计算内插滤波器和预定义基本滤波器之间的差值以提供一组差值的装置；和
用于修改比特流内的所述一组差值的装置；和
该解码包括：
用于从比特流中检索所述一组差值的装置；和
用于根据预定义基本滤波器和所检索的一组差值构建另一滤波器的装置，以致于解码处理中像素值的重构基于另一滤波器。
CNB038022095A 2002-01-14 2003-01-14 编码动态滤波器 Expired - Lifetime CN100553321C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US34881102P 2002-01-14 2002-01-14
US60/348,811 2002-01-14

Publications (2)

Publication Number Publication Date
CN1615645A true CN1615645A (zh) 2005-05-11
CN100553321C CN100553321C (zh) 2009-10-21

Family

ID=23369646

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038022095A Expired - Lifetime CN100553321C (zh) 2002-01-14 2003-01-14 编码动态滤波器

Country Status (12)

Country Link
US (1) US7379501B2 (zh)
EP (1) EP1466477B1 (zh)
JP (1) JP4494789B2 (zh)
KR (1) KR100945546B1 (zh)
CN (1) CN100553321C (zh)
AU (1) AU2003201069C1 (zh)
BR (2) BR0304545A (zh)
HU (1) HU228615B1 (zh)
MX (1) MXPA04006814A (zh)
RU (1) RU2302707C2 (zh)
SG (1) SG149694A1 (zh)
WO (1) WO2003058945A2 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854549A (zh) * 2010-05-28 2010-10-06 浙江大学 基于空域预测的视频和图像编解码方法和装置
CN102084655A (zh) * 2008-07-07 2011-06-01 高通股份有限公司 通过过滤器选择进行的视频编码
CN101543081B (zh) * 2006-11-30 2012-02-22 株式会社Ntt都科摩 动态图像编码装置、动态图像编码方法、动态图像解码装置、动态图像解码方法
CN102577390A (zh) * 2009-08-28 2012-07-11 索尼公司 图像处理设备和方法
CN101939993B (zh) * 2008-01-08 2013-01-02 艾利森电话股份有限公司 对滤波器系数进行编码
CN102017630B (zh) * 2008-04-10 2013-01-23 高通股份有限公司 用于视频译码中的子像素位置的内插滤波的对称性
CN103392338A (zh) * 2011-01-03 2013-11-13 联发科技股份有限公司 基于滤波单元的回路滤波方法
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
CN105917652A (zh) * 2014-02-13 2016-08-31 英特尔公司 用于针对媒体编码进行分数像素内插滤波的方法和装置
CN103905825B (zh) * 2012-12-27 2018-02-13 中国电信股份有限公司 视频图像的运动补偿方法和装置
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
CN109982081A (zh) * 2012-09-28 2019-07-05 Vid拓展公司 用于多层视频编码的自适应上采样
CN112004081A (zh) * 2020-06-15 2020-11-27 广东科学技术职业学院 一种视频编码方法

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731708B1 (ko) * 2000-05-09 2007-06-25 소니 가부시끼 가이샤 데이터 처리 장치와 데이터 처리 방법, 및 기록 매체
JP4102973B2 (ja) * 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
JP2004061446A (ja) * 2002-07-31 2004-02-26 Fujitsu Ten Ltd パターンマッチング処理方法及び画像処理装置
US20040091047A1 (en) 2002-11-11 2004-05-13 Sony Corporation Method and apparatus for nonlinear multiple motion model and moving boundary extraction
JP4462823B2 (ja) * 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) * 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
US7817869B2 (en) * 2004-05-07 2010-10-19 Sony Corporation Variable support robust transform for multiple description coding
US8503530B2 (en) * 2004-05-27 2013-08-06 Zhourong Miao Temporal classified filtering for video compression
JP2008503960A (ja) * 2004-06-23 2008-02-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ピクセル補間
JP4736456B2 (ja) * 2005-02-15 2011-07-27 株式会社日立製作所 走査線補間装置、映像表示装置、映像信号処理装置
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
WO2007011851A2 (en) * 2005-07-15 2007-01-25 Texas Instruments Incorporated Filtered and warped motion compensation
FR2889778A1 (fr) * 2005-08-12 2007-02-16 Thomson Licensing Sas Procede de codage et de decodage d'images video avec echelonnabilite spatiale
KR100754841B1 (ko) * 2005-10-28 2007-09-04 경희대학교 산학협력단 비트율 왜곡 비용에 기초하여 선택된 보간 필터를 이용하여공간 계층간 예측을 수행하는 스케일러블 ｈ.264부호화/복호화 방법
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8189934B2 (en) 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
US8724702B1 (en) * 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
EP1840875A1 (en) * 2006-03-31 2007-10-03 Sony Deutschland Gmbh Signal coding and decoding with pre- and post-processing
US8208553B2 (en) * 2006-05-04 2012-06-26 Altera Corporation Methods and apparatus for quarter-pel refinement in a SIMD array processor
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
TWI367457B (en) 2006-07-03 2012-07-01 Nippon Telegraph & Telephone Image processing method and apparatus, image processing program, and storage medium for storing the program
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
US9307122B2 (en) * 2006-09-27 2016-04-05 Core Wireless Licensing S.A.R.L. Method, apparatus, and computer program product for providing motion estimation for video encoding
BRPI0719239A2 (pt) * 2006-10-10 2014-10-07 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo, aparelhos para os mesmos, programas para os mesmos, e meios de armazenamento para gravação dos programas
WO2008048489A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
KR101354659B1 (ko) * 2006-11-08 2014-01-28 삼성전자주식회사 멀티 코덱을 지원하는 움직임 보상 방법 및 장치
WO2008084378A2 (en) 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
US8942505B2 (en) * 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US9118927B2 (en) 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
AU2008306503A1 (en) * 2007-10-05 2009-04-09 Nokia Corporation Video coding with pixel-aligned directional adaptive interpolation filters
US8090031B2 (en) * 2007-10-05 2012-01-03 Hong Kong Applied Science and Technology Research Institute Company Limited Method for motion compensation
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US8638852B2 (en) * 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
EP2252063A4 (en) * 2008-03-07 2012-09-12 Toshiba Kk DEVICE FOR DYNAMIC IMAGE CODING / DECODING
KR101591825B1 (ko) 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
US9077971B2 (en) * 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
RU2010145524A (ru) * 2008-04-10 2012-05-20 Квэлкомм Инкорпорейтед (US) Симметрия для интерполяционной фильтрации субпиксельных позиций при кодировании видео
US8804831B2 (en) 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US8971412B2 (en) 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8059909B2 (en) * 2008-04-29 2011-11-15 Sony Corporation Adaptive generation of irregular spatial sub-sampling for images
US8055087B2 (en) * 2008-04-29 2011-11-08 Sony Corporation Sample level variation for spatial sub-sampled images
US8059908B2 (en) * 2008-04-29 2011-11-15 Sony Corporation Adaptive area of influence filter for irregular spatial sub-sampled images
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
AU2008360010B2 (en) * 2008-07-30 2014-02-13 Micro Motion, Inc. Optimizing processor operation in a processing system including one or more digital filters
EP2154893A1 (en) * 2008-08-13 2010-02-17 Thomson Licensing Method for modifying a reference block of a reference image, method for encoding or decoding a block of an image by help of a reference block and device therefor and storage medium or signal carrying a block encoded by help of a modified reference block
US8548041B2 (en) 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
JPWO2010038858A1 (ja) * 2008-10-03 2012-03-01 ソニー株式会社 画像処理装置および方法
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
WO2011003326A1 (en) * 2009-07-06 2011-01-13 Mediatek Singapore Pte. Ltd. Single pass adaptive interpolation filter
KR101701342B1 (ko) 2009-08-14 2017-02-01 삼성전자주식회사 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101710883B1 (ko) * 2009-11-04 2017-02-28 삼성전자주식회사 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
EP2515541A4 (en) * 2009-12-18 2015-08-26 Sharp Kk BILDFILTER, CODING DEVICE, DECODING DEVICE AND DATA STRUCTURE
JP5439162B2 (ja) * 2009-12-25 2014-03-12 株式会社Ｋｄｄｉ研究所 動画像符号化装置および動画像復号装置
WO2011083666A1 (ja) * 2010-01-08 2011-07-14 シャープ株式会社 符号化装置、復号装置、および、データ構造
CN102714727B (zh) * 2010-01-14 2016-09-28 杜比实验室特许公司 缓冲的自适应滤波器
US9219921B2 (en) * 2010-04-12 2015-12-22 Qualcomm Incorporated Mixed tap filters
US9154807B2 (en) * 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
KR101686945B1 (ko) * 2010-07-09 2016-12-15 삼성전자주식회사 영상 보간 방법 및 장치
SG189184A1 (en) 2010-10-01 2013-05-31 Samsung Electronics Co Ltd Image intra prediction method and apparatus
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
JP5571542B2 (ja) * 2010-12-22 2014-08-13 日本電信電話株式会社 映像符号化方法、及び映像復号方法
US8964852B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
JP5670226B2 (ja) * 2011-03-04 2015-02-18 Kddi株式会社 動画像符号化装置、動画像符号化方法、およびプログラム
JP5552092B2 (ja) * 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5649523B2 (ja) * 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP4152749B1 (en) 2011-07-15 2024-04-10 GE Video Compression, LLC Sample array coding for low-delay
TWI595776B (zh) * 2012-06-27 2017-08-11 Sony Corp Image processing device and method
JP5972687B2 (ja) * 2012-07-02 2016-08-17 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US10356426B2 (en) * 2013-06-27 2019-07-16 Google Llc Advanced motion estimation
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
EP3125429A1 (en) * 2015-07-28 2017-02-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Partitioned block frequency domain adaptive filter device comprising adaptation modules and correction modules
CN105739935B (zh) * 2016-01-22 2019-06-04 厦门美图移动科技有限公司 一种多终端联合显示方法、装置及系统
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
US11750784B2 (en) * 2019-05-31 2023-09-05 Medicapture, Inc. Automatic video file repair method and system
US11356707B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorporated Signaling filters for video processing

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3853554T2 (de) * 1987-06-09 1995-08-24 Sony Corp Bewegungsvektorabschätzung in Fernsehbildern.
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
JP2991833B2 (ja) 1991-10-11 1999-12-20 松下電器産業株式会社 インターレス走査ディジタルビデオ信号の符号化装置及びその方法
GB2301971B (en) * 1995-06-06 1999-10-06 Sony Uk Ltd Video compression
US6122017A (en) * 1998-01-22 2000-09-19 Hewlett-Packard Company Method for providing motion-compensated multi-field enhancement of still images from video
US6937772B2 (en) * 2000-12-20 2005-08-30 Eastman Kodak Company Multiresolution based method for removing noise from digital images
DE10120395A1 (de) * 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543081B (zh) * 2006-11-30 2012-02-22 株式会社Ntt都科摩 动态图像编码装置、动态图像编码方法、动态图像解码装置、动态图像解码方法
CN101939993B (zh) * 2008-01-08 2013-01-02 艾利森电话股份有限公司 对滤波器系数进行编码
CN101971632B (zh) * 2008-01-08 2013-10-16 艾利森电话股份有限公司 自适应滤波
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US11683519B2 (en) 2008-04-10 2023-06-20 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
CN102017630B (zh) * 2008-04-10 2013-01-23 高通股份有限公司 用于视频译码中的子像素位置的内插滤波的对称性
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US10440388B2 (en) 2008-04-10 2019-10-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
CN102084655A (zh) * 2008-07-07 2011-06-01 高通股份有限公司 通过过滤器选择进行的视频编码
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
CN102084655B (zh) * 2008-07-07 2015-02-11 高通股份有限公司 通过过滤器选择进行的视频编码
CN102577390A (zh) * 2009-08-28 2012-07-11 索尼公司 图像处理设备和方法
CN101854549A (zh) * 2010-05-28 2010-10-06 浙江大学 基于空域预测的视频和图像编解码方法和装置
CN101854549B (zh) * 2010-05-28 2012-05-02 浙江大学 基于空域预测的视频和图像编解码方法和装置
US9877019B2 (en) 2011-01-03 2018-01-23 Hfi Innovation Inc. Method of filter-unit based in-loop filtering
US10567751B2 (en) 2011-01-03 2020-02-18 Hfi Innovation Inc. Method of filter-unit based in-loop filtering
CN103392338A (zh) * 2011-01-03 2013-11-13 联发科技股份有限公司 基于滤波单元的回路滤波方法
CN109982081A (zh) * 2012-09-28 2019-07-05 Vid拓展公司 用于多层视频编码的自适应上采样
CN109982081B (zh) * 2012-09-28 2022-03-11 Vid拓展公司 用于多层视频编码的自适应上采样
CN103905825B (zh) * 2012-12-27 2018-02-13 中国电信股份有限公司 视频图像的运动补偿方法和装置
US10432974B2 (en) 2014-02-13 2019-10-01 Intel Corporation Methods and apparatus to perform fractional-pixel interpolation filtering for media coding
CN105917652A (zh) * 2014-02-13 2016-08-31 英特尔公司 用于针对媒体编码进行分数像素内插滤波的方法和装置
CN112004081A (zh) * 2020-06-15 2020-11-27 广东科学技术职业学院 一种视频编码方法

Also Published As

Publication number Publication date
EP1466477B1 (en) 2013-02-27
EP1466477A2 (en) 2004-10-13
AU2003201069A1 (en) 2003-07-24
EP1466477A4 (en) 2006-10-25
HU228615B1 (en) 2013-04-29
KR20040075348A (ko) 2004-08-27
US7379501B2 (en) 2008-05-27
US20030169931A1 (en) 2003-09-11
HUP0500030A2 (hu) 2005-07-28
CN100553321C (zh) 2009-10-21
JP2005514872A (ja) 2005-05-19
AU2003201069B2 (en) 2008-02-28
JP4494789B2 (ja) 2010-06-30
KR100945546B1 (ko) 2010-03-08
WO2003058945A2 (en) 2003-07-17
BRPI0304545B1 (pt) 2018-07-03
WO2003058945A3 (en) 2003-12-31
MXPA04006814A (es) 2004-12-06
AU2003201069C1 (en) 2008-11-06
RU2004124831A (ru) 2006-01-27
SG149694A1 (en) 2009-02-27
BR0304545A (pt) 2004-11-03
RU2302707C2 (ru) 2007-07-10

Similar Documents

Publication Publication Date Title
CN1615645A (zh) 编码动态滤波器
CN1214647C (zh) 图像编码方法和图像编码器
CN1331353C (zh) 用于子像素值内插的方法
CN1207916C (zh) 用于压缩运动矢量场的装置和方法
EP2319241B1 (en) Skip modes for inter-layer residual video coding and decoding
TWI330498B (en) Method for scalably encoding and decoding video signal
KR100950743B1 (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
CN1658673A (zh) 视频压缩编解码方法
WO2010001918A1 (ja) 画像処理装置および方法、並びにプログラム
US8755434B2 (en) Method and apparatus for scalably encoding and decoding video signal
WO2010001916A1 (ja) 画像処理装置および方法
US20110032991A1 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
CN1643912A (zh) 用于在视频序列中对运动进行编码的方法
CN1457606A (zh) 视频信息编码与解码的方法,运动补偿视频编码器与相应的解码器
CN1910933A (zh) 图像信息编码装置和图像信息编码方法
JP2010016454A (ja) 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
CN1926875A (zh) 运动补偿方法
TW201028009A (en) Quantization parameter selections for encoding of chroma and luma video blocks
KR20120027145A (ko) 화상 처리 장치 및 방법
KR20120058521A (ko) 화상 처리 장치 및 방법
CN102318346A (zh) 图像处理设备和方法
JP5560009B2 (ja) 動画像符号化装置
WO2002067590A1 (en) Video encoding of still images
US20230112642A1 (en) Adaptive multiple transform set selection
AU2007237319B2 (en) Method for sub-pixel value interpolation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160112

Address after: Espoo, Finland

Patentee after: NOKIA TECHNOLOGIES OY

Address before: Espoo, Finland

Patentee before: NOKIA Corp.

CX01 Expiry of patent term

Granted publication date: 20091021

CX01 Expiry of patent term