CN101682787A - 空间增强的变换编码 - Google Patents

空间增强的变换编码 Download PDF

Info

Publication number
CN101682787A
CN101682787A CN200880017526A CN200880017526A CN101682787A CN 101682787 A CN101682787 A CN 101682787A CN 200880017526 A CN200880017526 A CN 200880017526A CN 200880017526 A CN200880017526 A CN 200880017526A CN 101682787 A CN101682787 A CN 101682787A
Authority
CN
China
Prior art keywords
decoding
conversion
space
coefficient
error signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880017526A
Other languages
English (en)
Inventor
J·莱内玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39767013&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101682787(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101682787A publication Critical patent/CN101682787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一种用于改进各种视频压缩算法的预测误差编码性能的系统和方法。各种实施方式将变换编码的能量紧缩特征与空间编码的局部化特性进行组合。在各种实施方式中，从变换去除像素“异常值”的影响并且将其单独编码为空间编码的像素预测，由此改进变换的编码增益。

Description

空间增强的变换编码
技术领域
本发明涉及数字视频材料的编码和解码。更具体地，本发明涉及在频域和空间域二者中的预测误差编码。
背景技术
本部分旨在提供在权利要求书中记载的本发明的背景技术或上下文。这里的描述可以包括可被推行的概念，但不必是先前已经设想或推行的概念。因此，除非在这里指出，否则在该部分所描述的不是本申请中说明书和权利要求书的现有技术并且也不会由于包括在该部分而被承认是现有技术。
视频编解码器包括编码器和解码器，其中编码器将输入的视频变换成适于存储和/或传输的压缩表示，而解码器可以将压缩的视频表示解压缩回成可观看的形式。通常，编码器丢弃原始视频序列中的某些信息，以便以更为紧凑的形式(即，以较低的比特率)来表示视频。
通常混合视频编解码器(例如，ITU-T H.263和H.264)在两个阶段中编码视频信息。在第一个阶段中，预测特定画面区域或“块”中的像素值。这些像素值例如可以通过运动补偿机制来预测，该运动补偿机制包括在先前编码的视频帧之一中找到并且指示与正在被编码的块紧密对应的区域。另外，像素值可以通过空间机制来预测，该空间机制包括使用围绕着以指定的方式被编码的块的像素值。第二阶段包括对预测误差进行编码，即，预测的像素块和原始的像素块之间的差值。这通常通过使用指定的变换(例如，离散余弦变换(DCT)或其变形)来对像素值中的差值进行变换，对系数进行量化以及对量化的系数进行熵编码来完成。通过改变量化处理的逼真度，编码器可以控制像素表示的精确度(即，画面质量)和得到的编码视频表示的大小(即，文件大小或传输比特率)之间的平衡。
通过应用类似于由编码器使用以便形成预测的像素块表示的预测机制(使用由编码器创建并且以压缩表示存储的运动或空间信息)以及预测误差解码(预测误差编码的反向操作，恢复空间像素域中的量化的预测误差信号)，解码器重构输出视频。在应用预测和预测误差解码处理后，解码器对预测和预测误差信号(即，像素值)进行总计以形成输出视频帧。解码器(和编码器)也可以应用额外的过滤处理，以便在传送输出视频以用于显示和/或将其作为视频序列中即将到来的帧的预测参考进行存储前，改进输出视频的质量。
在典型的视频编解码器中，以与每个运动补偿图像块关联的运动矢量来指示运动信息。这些运动矢量的每个表示将编码的(在编码器侧中)或将解码的(在解码器侧中)的画面中的图像块和先前编码或解码的画面之一中的预测源块的移位。为了有效地表示运动矢量，运动矢量通常针对块特定预测的运动矢量来有区别地编码。在典型的视频编解码器中，以预定的方式来创建预测的运动矢量，例如通过计算相邻块的编码或解码的运动矢量的中值。
典型的视频编码器使用拉格朗日价值函数来找到最佳的编码模式，例如期望的宏块模式以及相关的运动矢量。这种类型的价值函数使用权重因子λ将由于有损编码方法所造成的准确或估计的图像失真以及表示图像区域中的像素值所需的准确或估计的信息量联系在一起：
C＝D+λR    (1)
在等式(1)中，C是有待于最小化的拉格朗日价值，D是在考虑了模式和运动矢量的图像失真(例如，均方差)，并且R是表示所需数据以便在解码器中重构图像块所需的比特数目(包括表示候选运动矢量的数据量)。
视频或图像压缩系统中的预测误差信号的变换编码通常包括基于DCT的线性变换、变换的DCT系数的量化以及量化系数的基于上下文的熵编码。然而，变换仅在某些统计下可以有效地缩紧预测误差信号的能量，并且当将被变换的预测误差变得不太相关时，编码性能恶化。这造成次优的性能，尤其在应用高级运动补偿和空间预测处理以便获得针对将被编码的图像块的好的质量预测(因此，最小化以及解相关预测的误差信号)的现代视频和图像编码系统中。
为了解决上面的一些问题，已经开发了多种混合视频编码方案。这些混合系统通常包括两种冗余精简技术的混合-预测和变换。预测可以采用画面间预测的形式，其用于去除信号的时间冗余。画面内预测也可以用于H.264/高级视频编码(AVC)标准，其中通过使用画面帧内的相邻区域之间的相似性来去除空间冗余。作为这些画面间和画面内预测技术的结果，通过从原始画面帧去除预测的画面帧而形成残差/误差信号。接着通常使用8x8DCT变换来对该预测误差信号进行块变换以便减小信号中的空间冗余。
发明内容
本发明的各种实施方式提供一种系统和方法，用于将预测误差信号表示为选择的变换的不同基础函数和量化的空间样本的加权和。选择的变换的基础函数可以包括基础向量的正交集合，或基础函数可以不包括正交集合。根据各种实施方式，使用变换基础函数和空间样本(即，像素值)二者来构建针对单个图像块的预测误差信号，由此合并先前所讨论的变换和空间编码方法的期望特征。这允许使用那些选择的变换基础函数：该变换基础函数给出了具有最小量变换系数(表示与基础函数良好相关的预测误差信号的分量)图像块的良好整体表示。另外，本发明的各种实施方式允许相同图像块中不与所应用变换的基础函数具有良好相关的预测误差信号的那些分量(例如，某些类型的传感器噪声、高频纹理和边界信息)的有效空间表示。
根据本发明的各种实施方式，一种用于编码针对数据块的预测误差信号的系统和方法，包括：计算表示预测的数据块的样本值和原始输入块的值之间的差值的差值信号。对差值信号执行变换编码和空间编码二者，由此创建差值信号的第一和第二分量的第一和第二表示。第一和第二表示接着被组合以提供预测误差信号。
本发明的各种实施方式还提供用于解码针对数据块的预测误差信号的系统和方法，包括：接收编码的预测误差信号，该编码的预测误差信号包括多个变换系数和多个空间样本。多个变换的系数被解码成解码的变换信息，并且多个空间样本被解码成解码的空间信息。解码的变换信息、解码的空间信息以及数据块的重构预测接着被相加，由此形成数据块的解码表示。
本发明的各种实施方式的实现用于改进现代视频和图像编解码器的压缩效率。尽管可能需要增加一定量的编码计算复杂度，但可以应用快速的算法以降低编码复杂度，从而接近传统的基于变换的编码的复杂度水平。当实施本发明的各种实施方式时，对解码器的复杂度的任何影响是可以忽略的。
从下面结合附图所做出的详细描述，本发明的这此和其他优点和特征，连同其操作的组织和方式将变得明显，其中在整个下面描述的若干附图中，类似的元件将具有类似的编号。
附图说明
图1示出可以用于对图像数据进行编码的阿达马变换的基础函数的例子；
图2(a)是将被编码或解码并且表示原始图像和预测图像之间的预测误差信号的四个标量值的例子；图2(b)示出来自图1的四个加权基础函数被求和成预测误差信号；以及图2(c)示出了如何通过仅将第一基础函数与由箭头表示的单个空间样本进行求和来重构预测误差信号；
图3是根据本发明的一个实施方式构建的视频编码器的框图；
图4是示出可以用于本发明的一个实施方式中的一个编码器算法的流程图；
图5是示出可以用于本发明的各种实施方式中的一个解码器算法的流程图；
图6是根据本发明的一个实施方式构建的视频解码器的框图；
图7是其中本发明的各种实施方式可以被实现的系统的概略图；
图8是可以结合本发明的各种实施方式的实现使用的电子设备的透视图；以及
图9是可以包括在图8的电子设备中的电路的示意图。
具体实施方式
本发明的各种实施方式提供一种系统和方法，用于将预测误差信号表示为选择的变换的不同基础函数和量化的空间样本的加权和。根据各种实施方式，使用变换基础函数和空间样本(即，像素值)来构建针对单个图像块的预测误差信号，由此合并先前讨论的变换和空间编码方法的期望特征。这允许使用那些选择的变换基础函数：该变换基础函数给出了具有最小量变换系数(表示与基础函数良好相关的预测误差信号的分量)图像块的良好整体表示。另外，本发明的各种实施方式允许相同图像块中不与所应用的变换的基础函数具有良好相关的预测误差信号的那些分量(例如，某些类型的传感器噪声、高频纹理和边界信息)的有效空间表示。
图1和图2示出本发明的各种实施方式如何操作在一维中的简化例子。图1示出可以用于编码图像数据的一维线性变换(即，阿达马变换)的基础函数的例子。这四个基础函数的加权和可以用于表示任意四个样本。图2(a)是将被编码或解码并且表示原始图像和预测图像之间的预测误差信号的四个标量值的例子。在图2(b)中，来自图1的四个加权基础函数被求和成预测误差信号(1.5乘以第一基础函数，0.5乘以第二基础函数，-0.5乘以第三基础函数并且-0.5乘以第四基础函数)。在图2(c)中演示出了如何通过仅将第一基础函数与由箭头表示的单个空间样本进行求和来重构相同的预测误差信号。在这个例子中，可以预计压缩效率的改进，因为信号由单个变换系数和单个空间样本来表示，而非由加权四个阿达马基础函数的四个变换系数来表示(如图2(b)中所示)。
图3是根据本发明的一个实施方式所构建的视频编码器的框图。更具体地，图3示出将被编码的图像300如何经历像素预测302、预测误差编码303和预测误差解码304。对于像素预测302，图像300经历了画面间预测306和画面内预测308，在模式选择310后，得到图像块312的预测表示。初始重构图像314也被用于画面内预测308。一旦所有的图像块被处理，那么在316处，初始重构图像314经历过滤以创建最终的重构图像340，其被发送到参考帧存储器318并且也用于未来帧的画面间预测306。
图像块312的预测表示，以及将被编码300的图像将被一起用于定义预测误差信号320，该预测误差信号用于预测误差编码303。在预测误差编码303中，预测误差信号320经历特征选择322和空间量化324，以及变换326和量化328(二者都在特征选择322之后)。描述图像块312的预测误差和预测表示的数据(例如，运动矢量、模式信息和量化的DCT+空间样本)被传递到熵编码330。预测误差解码304基本上与预测误差编码303反向，并且预测误差解码包括反向空间量化332、反向变换334和反向量化336。预测误差解码304的结果是重构的预测误差信号338，其结合图像块312的预测表示使用以创建初始重构图像314。
图4是示出可以在本发明的一个实施方式中使用的一个编码器算法的流程图。然而，如下所讨论的，可以根据本发明的多个原理来使用各种不同的算法。在图4中的400处，计算预测块的样本值和原始输入块之间的差值。应该注意到这里所使用的“值”和“异常值”旨在表示这些差值。在410处，找到异常值。在这种情形下，幅度依赖于编码的表示的预期精确度；如果目标在于高比特率的好质量表示，则更小的幅度表示获得异常值资格，并且如果目标在于较低的比特率，较低的质量表示，则仅高幅度表示获得异常值资格。在420处，修改的预测误差信号被变换编码(涉及变换、量化和熵编码)，并且异常值由那些值的内插表示来替代，例如通过对相邻预测误差值求平均。在430处，修改的预测误差信号被变换解码回空间域。在440处，空间编码(涉及量化和熵编码而没有变换)应用于原始异常值和变换解码的异常值之间的差值。在450处，通过将变换编码的数据和空间编码的数据合并(join)，形成预测误差信号的最终编码表示。在可选的实施方式中，在变换编码前，空间编码将发生。
当考虑在图2(a)-图2(c)中绘出的一维例子时，在图4中总结绘出的算法将如下处理相关数据。如先前所讨论的，图2(a)表示将被编码的差值信号[1131]。在这种情形下，[3]是异常值。因此，通过以第二和第四样本的平均值来替换[3]以修改预测误差信号，得到信号[1111]。原始异常样本([3])和变换编码的异常值([1])之间的差值接着被进行空间编码，得到空间编码的信号[0020]。变换编码和空间编码的信号的熵编码表示接着被写入到比特流中。此后，解码器通过将反向变换数据[1111]和反向空间编码的数据[0020]进行相加(连同图像块的预测样本)来恢复编码的信号。
当考虑上面的例子时，重要的是注意，选择阿达马基础向量来用于变换仅仅旨在是示例性的。事实上，这里所描述的各种方法和技术可以应用于使用基础函数的任何变换，并且基础函数并不必需是正交的。
根据本发明的各种实施方式的视频或图像编解码器可以以各种方式来实现。在编码器的情形下，编码器可以使用不同的策略来找到期望的变换系数和空间样本。例如，编码器可以首先对信号进行变换编码并且对残差应用空间编码。编码器也可以首先对信号应用空间编码，接着`对残差进行变换编码。另外，一些或所有的变换系数可以被设置成零以便改进编码性能。一些或所有的空间样本也可以被设置成零以便改进编码性能。编码器也可以迭代地修改变换系数和/或空间样本以便改进编码性能直到实现期望的性能或定义的最大迭代数。
就量化和去量化而言，变换系数和空间样本的量化和去量化可以绑定在一起(例如，针对变换系数和空间样本二者的量化步长可以从单个参数导出)。可替换地，不同的量化和去量化可以应用于变换系数和空间样本。
对于空间样本的编码和解码，此类的编码和解码可以依赖于变换系数并且反之亦然。可替换地，空间样本、变换系数或二者的编码和解码可以依赖于预测信号、相同图像中或其他图像中的其他变换系数和空间样本。
除了上文以外，可以指示对于特定的图像区域或图像没有变换系数或空间样本。也可以指示仅空间编码或仅变换编码用于特定的图像区域或图像。空间样本的数目可以编码和解码为一个单元，例如表示纹理的某些模式。前置处理和/或后置处理机制可以应用于预测信号、预测误差信号重构信号或其任意组合。替代地或除了预测误差信号以外，方法可以用于编码和解码其他信息。编解码器可以限制变换系数或空间样本的使用(例如，仅允许低频变换系数出现在信号的编码表示中)。
图5示出根据本发明的各种实施方式的解码处理。在图5中的500处，视频解码器接收编码的预测误差信号，其包括变换的系数和空间样本。在510处，解码变换的系数和空间样本二者。在520处，解码的变换信息、解码的空间信息和图像块的重构预测被相加在一起以形成图像块的解码表示。
图6是根据本发明的一个实施方式构建的视频解码器的框图。如图6中所示，熵编码600后，接着是预测误差解码602和像素预测604。在预测误差编码602中，除了反向变换606和反向量化608，使用这里所讨论的反向空间量化610，最终得到重构的预测误差信号612。对于像素预测604，在614处发生画面内预测或画面间预测以创建图像块的预测表示616。图像块的预测表示616结合重构的预测误差信号612使用以创建初始重构图像618，其接着可以用于预测614。一旦已经处理了所有的图像块，则初始重构的图像618被传递以用于过滤620。过滤的图像也可以存储在参考帧存储器624中，使得其也适用于预测614。
图7示出其中可以使用本发明的各种实施方式的系统10，包括可以通过一个或多个网络通信的多个通信设备。系统10可以包括有线网络或无线网络的任意组合，这些网络包括但不限于移动电话网络、无线局域网(LAN)、蓝牙个域网、以太网LAN、令牌环LAN、广域网、因特网等。系统10可以包括有线和无线通信设备。
例如，图7中示出的系统10包括移动电话网络11和因特网28。到因特网28的连接可以包括但不限于远程无线连接、近程无线连接以及各种有线连接，包括但不限于电话线、电缆、电力线等。
系统10的示例性通信设备可以包括但不限于电子设备50、组合个人数字助理(PDA)和移动电话14、PDA16、集成的消息收发设备(IMD)18、台式计算机20、笔记本计算机22等。通信设备可以是固定的或移动的，如当由正在移动的个人携带时。通信设备也可以位于运输的模式中，包括但不限于汽车、卡车、出租车、公共汽车、火车、轮船、飞机、自行车、摩托车等。一些或所有的通信设备可以发送和接收呼叫和消息，并且通过到基站24的无线连接25与服务提供商进行通信。基站24可以连接到网络服务器26，该网络服务器26允许移动电话网络11和因特网28之间的通信。系统10可以包括另外的通信设备和不同类型的通信设备。
通信设备可以使用各种传输技术来通信，包括但不限于码分多址(CDMA)、全球移动通信系统(GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/因特网协议(TCP/IP)、短消息收发服务(SMS)、多媒体消息收发服务(MMS)、电子邮件、即时消息收发服务(IMS)、蓝牙、IEEE 802.11等。涉及实现本发明的各种实施方式的通信设备可以使用各种介质来进行通信，介质包括但不限于无线电、红外线、激光、线缆连接等。
图8和图9示出了可实施本发明的一个具有代表性的电子设备50。但是应当理解的是，本发明并不旨在局限于一种特定类型的设备。图8和图9的电子设备50包括壳体30、液晶显示屏形式的显示器32、小键盘34、麦克风36、耳机38、电池40、红外线端口42、天线44、根据本发明的一种实施方式的UICC形式的智能卡46、读卡器48、无线电接口电路52、编解码器电路54、控制器56和存储器58。各个电路和元件都是本领域公知的类型，例如在诺基亚移动电话的范围内。
这里所描述的本发明的各种实施方式是以方法步骤或处理的一般上下文方式描述的，这种方法步骤或处理在一个实施方式中可以由以计算机可读介质体现的计算机程序产品来实施，该计算机可读介质包含由联网环境中的计算机执行的例如程序代码的计算机可执行指令。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、相关联的数据结构以及程序模块表示用于执行这里所公开的方法步骤的程序代码的示例。这种可执行指令或相关联的数据结构的特定顺序列表示用于实施这些步骤或处理中所描述的功能的相应动作的示例。
本发明的各种实施方式的软件和web实现可以通过具有基于规则的逻辑以及其他用以完成各种数据库搜索步骤或处理、相关步骤或处理、比较步骤或处理以及决策步骤或处理的逻辑的标准编程技术来完成。应当指出的是，此处以及下面的权利要求书中使用的词语“组件”和“模块”意在包含使用一行或多行软件代码的实施和/或硬件实施和/或用于接收手动输入的装备。
本发明实施方式的上述说明是为了说明和描述的目的。上述描述并不意在穷举或是将本发明的实施方式限于所公开的精确形式，并且修改和变化可以参照上述教导做出，或者可以从本发明的各种实施方式的实践中获得。选择和描述实施方式是为了解释本发明的各种实施方式的原理和属性及其实践应用，以便使本领域技术人员能够在各种实施方式中利用本发明并且可以具有各种修改以适应于特定的预期应用。

Claims (39)

1.一种用于编码针对数据块的预测误差信号的方法，包括：
计算表示预测的数据块的样本值和原始输入块的值之间的差值的差值信号；
对所述差值信号执行变换编码，由此创建所述差值信号的第一分量的第一表示；
对所述差值信号执行空间编码，由此创建所述差值信号的第一分量的第二表示；以及
合并所述第一和第二表示。
2.根据权利要求1所述的方法，进一步包括，在执行变换编码和空间编码前，以非异常值替换所述差值信号中的异常值以创建修改的预测误差信号。
3.根据权利要求2所述的方法，其中变换编码应用于所述修改的预测错误信号并且空间编码应用于其残差。
4.根据权利要求2所述的方法，其中空间编码应用于所述修改的预测误差信号并且变换编码应用于其残差。
5.根据权利要求1所述的方法，其中，对于变换编码，至少一个变换系数被设置成零。
6.根据权利要求1所述的方法，其中，对于空间编码，至少一个空间样本被设置成零。
7.根据权利要求2所述的方法，其中用于替换所述异常值的所述非异常值包括相邻预测误差值的平均值。
8.根据权利要求1所述的方法，进一步包括如果合适，则提供在数据块中不存在变换系数的指示。
9.根据权利要求1所述的方法，进一步包括如果合适，则提供在数据块中不存在空间样本的指示。
10.根据权利要求1所述的方法，其中对于所述变换编码，形成变换系数，所述变换系数包括离散变换基础向量的加权系数。
11.根据权利要求10所述的方法，其中所述离散变换包括离散正交变换。
12.一种体现为计算机可读介质的计算机程序产品，包括计算机代码，该计算机代码配置成执行实现权利要求1的处理。
13.一种设备，包括：
处理器；
存储器单元，通信地连接到控制器并且包括：
用于对差值信号执行变换编码，由此创建所述差值信号的第一分量的第一表示的计算机代码；
用于对所述差值信号执行空间编码，由此创建所述差值信号的第一分量的第二表示的计算机代码；以及
用于合并所述第一表示和第二表示的计算机代码。
14.根据权利要求13所述的设备，其中所述存储器单元进一步包括用于在执行变换编码和空间编码前，以非异常值替换差值信号中的异常值以创建修改的预测误差信号的计算机代码。
15.根据权利要求14所述的设备，其中变换编码应用于所述修改的预测错误信号并且空间编码应用于其残差。
16.根据权利要求14所述的设备，其中空间编码应用于所述修改的预测误差信号并且变换编码应用于其残差。
17.根据权利要求13所述的设备，其中，对于变换编码，至少一个变换系数被设置成零。
18.根据权利要求13所述的设备，其中，对于空间编码，至少一个空间样本被设置成零。
19.根据权利要求13所述的设备，其中用于替换所述异常值的所述非异常值包括相邻预测误差值的平均值。
20.根据权利要求13所述的设备，进一步包括如果合适，则提供在数据块中不存在变换系数的指示。
21.根据权利要求13所述的设备，进一步包括如果合适，则提供在数据块中不存在空间样本的指示。
22.一种解码针对数据块的预测误差信号的方法，包括：
接收编码的预测误差信号，所述编码的预测误差信号包括多个变换系数和多个空间样本；
将所述多个变换的系数解码成解码的变换信息；
将所述多个空间样本解码成解码的空间信息；以及
将解码的变换信息、解码的空间信息以及数据块的重构预测相加，以此形成所述数据块的解码表示。
23.根据权利要求22所述的方法，其中如果合适，则提供在所述数据块中不存在变换系数的指示。
24.根据权利要求22所述的方法，其中如果合适，则提供在所述数据块中不存在空间样本的指示。
25.根据权利要求22所述的方法，其中解码所述多个变换的系数和空间样本包括每个的去量化，并且其中变换的系数和空间样本的去量化彼此相关。
26.根据权利要求22所述的方法，其中解码所述多个变换的系数和空间样本包括每个的去量化，并且其中变换的系数和空间样本的去量化彼此不同。
27.根据权利要求22所述的方法，其中所述空间样本的解码依赖于变换的系数的解码。
28.根据权利要求22所述的方法，其中所述变换的系数的解码依赖于所述空间样本的解码。
29.根据权利要求22所述的方法，其中多个空间样本中的至少一些被解码为单个单元。
30.一种体现为计算机可读介质的计算机程序产品，包括计算机代码，该计算机代码配置成执行实现权利要求19的处理。
31.一种设备，包括：
处理器；
存储器单元，通信地连接到处理器并且包括：
用于处理接收的编码的预测误差信号的计算机代码，所述编码的预测误差信号包括多个变换的系数和多个空间样本；
用于将所述多个变换的系数解码成解码的变换信息的计算机代码；
用于将所述多个空间样本解码成解码的空间信息的计算机代码；以及
用于将解码的变换信息、解码的空间信息以及数据块的重构预测相加，以此形成所述数据块的解码表示的计算机代码。
32.根据权利要求31所述的设备，其中如果合适，则提供在所述数据块中不存在变换系数的指示。
33.根据权利要求31所述的设备，其中如果合适，则提供在所述数据块中不存在空间样本的指示。
34.根据权利要求31所述的设备，其中解码所述多个变换的系数和空间样本包括对每个进行去量化，并且其中变换的系数和空间样本的去量化彼此相关。
35.根据权利要求31所述的设备，其中解码所述多个变换的系数和空间样本包括对每个进行去量化，并且其中变换的系数和空间样本的去量化彼此不同。
36.根据权利要求31所述的设备，其中所述空间样本的解码依赖于变换的系数的解码。
37.根据权利要求31所述的设备，其中所述变换的系数的解码依赖于所述空间样本的解码。
38.根据权利要求31所述的设备，其中多个空间样本中的至少一些被解码为单个单元。
39.一种用于编码针对数据块的预测误差信号的方法，包括：
计算表示预测的数据块的样本值和原始输入块的值之间的差值的差值信号；
以非异常值来替换所述误差信号中的异常值，以创建修改的预测误差信号；
对修改的预测误差信号执行变换编码和空间编码之一，创建变换编码的数据和空间编码的数据之一；
执行反向的变换编码和空间编码之一；
对来自反向变换解码或反向空间解码的残差应用所述变换编码和空间编码的另一个，创建变换编码的数据和空间编码的数据的另一个；以及
合并所述变换编码的数据和空间编码的数据。
CN200880017526A 2007-04-12 2008-04-09 空间增强的变换编码 Pending CN101682787A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US91148007P 2007-04-12 2007-04-12
US60/911,480 2007-04-12
PCT/IB2008/051351 WO2008126019A2 (en) 2007-04-12 2008-04-09 Spatially enhanced transform coding

Publications (1)

Publication Number Publication Date
CN101682787A true CN101682787A (zh) 2010-03-24

Family

ID=39767013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880017526A Pending CN101682787A (zh) 2007-04-12 2008-04-09 空间增强的变换编码

Country Status (10)

Country Link
US (1) US8077991B2 (zh)
EP (1) EP2156675A2 (zh)
JP (1) JP5094960B2 (zh)
KR (1) KR101182634B1 (zh)
CN (1) CN101682787A (zh)
CA (1) CA2684110A1 (zh)
MX (1) MX2009010921A (zh)
RU (1) RU2427099C2 (zh)
TW (1) TW200901775A (zh)
WO (1) WO2008126019A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931817A (zh) * 2010-04-12 2010-12-29 中山大学 一种变换基自适应的变换编码方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
WO2010149799A1 (es) * 2009-06-22 2010-12-29 Universidad De Barcelona Método para la calibración totalmente adaptativa de un codificador de errores de predicción
US9106916B1 (en) 2010-10-29 2015-08-11 Qualcomm Technologies, Inc. Saturation insensitive H.264 weighted prediction coefficients estimation
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
CN103339937B (zh) * 2011-12-21 2017-07-25 太阳专利托管公司 图像编码方法、图像编码装置、图像解码方法、图像解码装置以及图像编解码装置
US9106888B2 (en) * 2013-09-25 2015-08-11 Apple Inc. Reducing quantization artifacts using neighbor-based weighted dithering
WO2017039501A1 (en) 2015-09-01 2017-03-09 Telefonaktiebolaget Lm Ericsson (Publ) Spatial improvement of transform blocks

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4125861A (en) * 1977-08-18 1978-11-14 Bell Telephone Laboratories, Incorporated Video signal encoding
JPH07118808B2 (ja) * 1985-03-20 1995-12-18 日本電気株式会社 動画像信号の符号化・復号化装置
JPH0832040B2 (ja) * 1985-09-26 1996-03-27 日本電気株式会社 動画像信号の符号化装置
JP3590996B2 (ja) * 1993-09-30 2004-11-17 ソニー株式会社 ディジタル画像信号の階層符号化および復号装置
WO1999007154A1 (en) * 1997-07-28 1999-02-11 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for compression of video images and image residuals
KR100249223B1 (ko) * 1997-09-12 2000-03-15 구자홍 엠팩(mpeg)-4의움직임벡터코딩방법
GB2366679A (en) * 2000-09-05 2002-03-13 Sony Uk Ltd Processing data having multiple components
US7620108B2 (en) * 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931817A (zh) * 2010-04-12 2010-12-29 中山大学 一种变换基自适应的变换编码方法

Also Published As

Publication number Publication date
US20080260270A1 (en) 2008-10-23
KR20090127953A (ko) 2009-12-14
KR101182634B1 (ko) 2012-09-14
RU2009141606A (ru) 2011-05-20
RU2427099C2 (ru) 2011-08-20
MX2009010921A (es) 2009-11-19
WO2008126019A2 (en) 2008-10-23
TW200901775A (en) 2009-01-01
WO2008126019A3 (en) 2008-12-04
EP2156675A2 (en) 2010-02-24
JP2010524380A (ja) 2010-07-15
US8077991B2 (en) 2011-12-13
CA2684110A1 (en) 2008-10-23
JP5094960B2 (ja) 2012-12-12

Similar Documents

Publication Publication Date Title
CN101682787A (zh) 空间增强的变换编码
CN104054350B (zh) 用于视频编码的方法和装置
CN105072448B (zh) 对图像进行解码的方法
US20080240242A1 (en) Method and system for motion vector predictions
CN104704827B (zh) 用于下一代视频的内容自适应变换译码
CN102870411B (zh) 用于视频处理的装置、方法和计算机程序
CN103999468A (zh) 用于视频编码的方法和装置
CN108141588A (zh) 图像编码系统中的帧间预测方法和装置
CN102783151A (zh) 用于视频编码的装置、方法和计算机程序
CN101502118A (zh) 用于可伸缩视频编码的转换滤波器上采样机制
EP2591605B1 (en) Method and apparatus for determining mapping between a syntax element and a code word for variable length coding
CN102318342A (zh) 系数数目减少的多变换块联合编码
CN104885471A (zh) 用于下一代视频的编码/未编码的数据的内容自适应熵编码
CN106464888A (zh) 用于视频编码和解码的方法和技术设备
CN106899847A (zh) 编码设备、解码设备、编码方法和解码方法
CN106471805A (zh) 用于使用调色板编码进行视频编码和解码的方法和技术设备
CN104255032A (zh) 层间预测方法和使用其的编码设备和解码设备
WO2008148272A1 (en) Method and apparatus for sub-pixel motion-compensated video coding
CN106464914A (zh) 用于视频编码和解码的方法和技术设备
KR20160056901A (ko) 비디오 코딩 방법, 장치 및 컴퓨터 프로그램
CN104170385B (zh) 用于编码的方法和装置
CN101878648A (zh) 具有高编码效率的自适应图像滤波器的定点实现
CN108432252A (zh) 视频编码中的运动矢量选择及预测系统和方法
CN104717501A (zh) 层间像素样本预测
JP2005245012A (ja) 動画像復号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100324