CN101243459A - 宽范围系数的自适应编码和解码 - Google Patents

宽范围系数的自适应编码和解码 Download PDF

Info

Publication number
CN101243459A
CN101243459A CNA2006800293059A CN200680029305A CN101243459A CN 101243459 A CN101243459 A CN 101243459A CN A2006800293059 A CNA2006800293059 A CN A2006800293059A CN 200680029305 A CN200680029305 A CN 200680029305A CN 101243459 A CN101243459 A CN 101243459A
Authority
CN
China
Prior art keywords
coefficient
conversion coefficient
coding
address portion
normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800293059A
Other languages
English (en)
Other versions
CN101243459B (zh
Inventor
S·斯里尼瓦杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101243459A publication Critical patent/CN101243459A/zh
Application granted granted Critical
Publication of CN101243459B publication Critical patent/CN101243459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种基于块变换的数字媒体编解码器以两部分来更高效地编码宽动态范围变换系数:归一化系数和槽地址。归一化系数涉及将宽动态范围的系数值分组成槽,而槽地址是该系数值在槽内的索引。在仔细选择了槽大小之后,归一化系数具有更类似于窄范围变换系数的概率分布,这更适用于可变长度熵编码。该编解码器使用可变长度熵编码在压缩比特流的“核心”中编码归一化系数,并使用固定长度编码将槽地址编码为可被省略的单独的可任选层。该编解码器还基于一后向自适应过程来自适应地改变分组的槽大小以朝向更适用于高效可变长度熵编码的概率分布调整归一化系数。

Description

宽范围系数的自适应编码和解码
版权授权
本专利文献的公开内容的一部分包含受到版权保护的材料。版权所有者不反对任何人如其出现在(美国)专利商标局专利文件或记录中那样对该专利文献或专利公开的复制,但是无论如何保留所有版权。
背景
基于块变换的编码
变换编码是在许多音频、图像和视频压缩系统中使用的一种压缩技术。未压缩数字图像和视频通常被表示或捕捉为以二维(2D)网格排列的图像或视频帧中各位置处的图元或色彩的样本。这被称为图像或视频的空间域表示。例如,用于图像的典型格式由被排列为网格的24位彩色图元流构成。每一样本是表示诸如RGB或YIQ等色彩空间内该网格中的一个像素位置处的色彩分量的数字。各种图像和视频系统可使用各种不同的色彩、空间和时间分辨率的采样。类似地,数字音频通常被表示为时间采样的音频信号流。例如,典型的音频格式由在有规律的时间间隔处所取的16位音频信号幅度样本流构成。
未压缩数字音频、图像和视频信号可消耗大量的存储和传输能力。变换编码通过将信号的空间域表示变换成频域(或其它类似的变换域)表示,然后降低该变换域表示的某些一般较不可感知的频率分量的分辨率,减小了数字音频、图像和视频的大小。这一般与降低空间域中的图像或视频或时域中的音频的色彩或空间分辨率相比,产生了较不可感知的数字信号劣化。
更具体而言,图1所示的典型的基于块变换的编解码器100将未压缩的数字图像的像素划分成固定大小的二维块(X1,…Xn),每一块可能与其它块重叠。对每一块应用进行空间-频率分析的线性变换120-121,这将块内彼此隔开的样本转换成一般表示块间隔上相应的频带内的数字信号的强度的一组频率(或变换)系数。作为比较,变换系数可被选择性地量化130(即,诸如通过丢弃系数值的最低有效位或将较高分辨率数字集中的值映射到较低分辨率来降低分辨率),并且还被熵或可变长度编码130成压缩的数据流。在解码时,变换系数进行反变换170-171以便几乎重构原始的色彩/空间采样图像/视频信号(重构块
Figure S2006800293059D00021
,…)。
块变换120-121可被定义为对大小为N的向量x的数学运算。最通常的是,该运算是线性乘法,从而产生变换域输出y=Mx,M是变换矩阵。当输入数据是任意长时,它被分段成大小为N的向量,并且向每一段应用块变换。出于数据压缩的目的,选择可逆块变换。换言之,矩阵M是可逆的。在多个维度中(例如,对于图像和视频),块变换通常被实现为可分操作。沿数据的每一维(即,行和列)可分地应用矩阵乘法。
对于压缩,变换系数(向量y的分量)可被选择性地量化(即,诸如通过丢弃系数值的最低有效位或将较高分辨率数字集中的值映射到较低分辨率来降低分辨率),并还可被熵或可变长度编码为压缩的数据流。
在解码器150中解码时,如图1所示,在解码器150侧应用这些操作的反过程(反量化/熵解码160和反块变换170-171)。在重构数据时,将逆矩阵M-1(反变换170-171)作为乘数应用于变换域数据。当应用于变换域数据时,反变换几乎重构原始时域或空间域数字媒体。
在许多基于块变换达到编码应用中,变换理想地是可逆的以取决于量化因子同时支持有损和无损压缩两者。如果例如没有量化(一般被表示为量化因子1),则利用可逆变换的编解码器可在解码时精确地再现输入数据。然而,这些应用中的可逆性的要求约束了对用于设计编解码器的变换的选择。
诸如MPEG和Windows Media等许多图像和视频压缩系统利用基于离散余弦变换(DCT)的变换。已知DCT具有得到近乎最优的数据压缩的良好能量压缩特性。在这些压缩系统中,在压缩系统的编码器和解码器两者中的重构环路中采用了反DCT(IDCT)来重构各个图像块。
宽范围变换系数的熵编码
宽动态范围输入数据导致在编码图像的过程中生成甚至更宽动态范围的变换系数。例如,由N×N DCT运算生成的变换系数具有比原始数据的动态范围大N倍的动态范围。采用较小或单位量化因子(用于实现低损或无损压缩),经量化的变换系数的范围也很大。在统计上,这些系数具有如图2和3所示的拉普拉斯分布。图2示出了对于宽动态范围系数的拉普拉斯分布。图3示出了对于典型的窄动态范围系数的拉普拉斯分布。
对于小动态范围的输入数据(通常为8位)以及相对较大的量化因子(quantizer)(诸如大于等于4的数值)来调整常规的变换编码。因此,图3代表了在这一常规的变换编码中的变换系数的分布。此外,用于这种常规变换编码的熵编码可以是行程水平(run-level)编码的一种变体,其中将一系列的零与一非零码元一起编码。这可以是表示零(以高概率出现)的行程以及捕捉码元间相关的有效手段。
另一方面,常规的变换编码较不适用于压缩诸如图2所示的宽动态范围分布。尽管码元为零的概率要比任何其它值高得多(即,分布峰值为零),但是系数精确地为零的概率对于宽动态范围分布是微乎其微的。因此,零不会经常出现,并且基于连续的非零系数之间的零的个数的行程长度熵编码技术对于宽动态范围输入数据是非常低效的。
宽动态范围分布与窄范围分布相比还具有增加的码元字母表。由于这一增加的码元字母表,用于编码码元的熵表必须很大。否则,许多码元将最终被遗漏而未被编码,这是低效的。更大的表需要更多存储器,并且还会导致更高的复杂度。
因此,常规的变换编码缺少通用性—对于具有窄动态范围分布的输入数据能起很好的作用,但对宽动态范围分布却不如此。
概述
此处描述的数字媒体编码和解码技术以及该技术在数字媒体编解码器中的实现达到了对宽动态范围变换系数的更高效压缩。例如,此处所示的一种示例性的基于块变换的数字媒体编解码器以两部分来表示宽动态范围变换系数:归一化系数和槽(bin)地址。归一化系数涉及将宽动态范围的系数值分组成槽,而槽地址是系数值在槽内的索引。对槽大小进行仔细选择之后,变换系数的归一化系数部分具有更类似于窄范围变换系数的概率分布,这更适用于可变长度熵编码。
该示例性编解码器使用可变长度熵编码在压缩比特流的“核心”中编码归一化系数,并使用固定长度编码将槽地址编码为可被省略的单独的可任选层。即使省略了槽地址层,该编解码器也可解码比特流并重构对输入数字媒体数据的逼近。将变换系数分组成槽具有与将变换系数量化成较窄的动态范围的类似效果。
该编解码器还基于一后向自适应过程来自适应地改变分组的槽大小,以朝向更适用于高效的可变长度熵编码的概率分布来调整归一化系数。在该示例性编解码器中,该自适应基于先前块中的非零归一化系数的计数。以此方式,该自适应仅依赖于核心比特流中的信息,这不会违背包含槽地址的层可被选择性地省略的约束。
提供本概述以用简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
附图简述
图1是现有技术中常规的基于块变换的编解码器的框图。
图2是示出具有宽动态范围的变换系数的分布的直方图。
图3是示出窄范围系数的分布的直方图。
图4是包含宽范围系数的自适应编码的代表性编码器的流程图。
图5是包含自适应地编码的宽范围系数的解码的代表性解码器的流程图。
图6是示出诸如图4的编码器等宽范围系数的自适应编码中变换系数的分组和分层的流程图。
图7是示出图4的编码器所执行的对槽中选择的变换系数分组进行变换系数编码的过程的流程图。
图8是示出图5的解码器所执行的对经由图7的过程编码的变换系数进行重构的过程的流程图。
图9是示出用于自适应地改变图6的分组以产生对系数的熵编码的更优化分布的自适应过程的流程图。
图10和11是图9的自适应过程的伪代码清单。
图12是用于实现图6的宽范围系数的自适应编码的合适的计算环境的框图。
详细描述
以下描述涉及针对宽范围变换系数的更高效熵编码进行自适应地调整的编码和解码技术。以下描述在数字媒体压缩系统或编解码器的上下文中描述了该技术的一个示例实现。该数字媒体系统以压缩形式对数字媒体数据进行编码以便传输或存储,并解码该数据以供回放或其它处理。出于说明的目的,包含这一宽范围系数的自适应编码的该示例性压缩系统是图像或视频压缩系统。或者,该技术也可被结合到用于其它2D数据的压缩系统或编解码器中。宽范围系数自适应编码技术不要求数字媒体压缩系统以特定的编码格式来编码压缩的数字媒体数据。
1.编码器/解码器
图4和5是在代表性2维(2D)数据编码器400和解码器500中采用的过程的一般化图示。该图呈现了结合了实现宽范围系数自适应编码的2D数据编码器和解码器的压缩系统的一般化或简化的图示。在使用宽范围系数自适应编码的替换压缩系统中,可使用比本代表性编码器和解码器中所示的更多或更少的过程来进行2D数据压缩。例如,某些编码器/解码器还可包括色彩转换、色彩格式、可缩放编码、无损编码、宏块模式等等。取决于量化,压缩系统(编码器和解码器)可提供2D数据的无损和/或有损压缩,量化可基于从无损到有损变化的量化参数。
2D数据编码器400产生压缩比特流420,它是作为输入提供给编码器的2D数据410的更紧凑表示(对于典型输入)。例如,2D数据输入可以是图像、视频序列的一帧、或具有两个维度的其它数据。2D数据编码器将输入数据块化(tile)430成宏块,在本代表性编码器中,宏块的大小为16×16像素。2D数据编码器还将每一宏块块化为4×4的块。对块之间的每一边缘应用“前向重叠”算子440,之后使用块变换450来变换每一4×4的块。该块变换450可以是由Srinivasan在2004年12月17日提交的题为“Reversible Transform For Lossy And Lossless 2-DData Compression”(用于有损和无损2D数据压缩的可逆变换)的美国专利申请第11/015,707号中所描述的可逆的、无缩放的2D变换。重叠算子440可以是由Tu等人在2004年12月17日提交的题为“Reversible Overlap Operator for EfficientLossless Data Compression”(用于高效无损数据压缩的可逆重叠算子)的美国专利申请第11/015,148号;以及Tu等人在2005年1月14日提交的题为“Reversible2-Dimensional Pre-/Post-Filter for Lapped Biorthogonal Transform”(用于重叠双正交变换的可逆2维预/后滤波器)的美国专利申请第11/035,991号中描述的可逆重叠算子。或者,可使用离散余弦变换或其它块变换和重叠算子。在变换之后,令每一4×4的变换块的DC系数460经受一类似的处理链(块化、前向重叠、之后是4×4的块变换)。所得的DC变换系数和AC变换系数被量化470、熵编码480和分组化490。
解码器执行反过程。在解码器侧,从其各自的分组中提取510变换系数位,从中系数本身被解码520和解量化530。DC系数540通过应用反变换来重新生成,并且DC系数的平面使用跨DC块边缘应用的合适的平滑算子来“反重叠”。随后,通过向DC系数应用4×4的反变换550来重新生成整个数据,并从比特流中解码AC系数542。最后,对所得图像平面中的块边缘进行反重叠滤波560。这产生经重构的2D数据输出。
在一个示例性实现中,编码器400(图4)将输入图像压缩成压缩比特流420(例如,文件),而解码器500(图5)基于是采用无损还是有损编码来重构原始输入或其近似。编码过程涉及应用以下所讨论的前向重叠变换(LT),这是用同样在以下更全面描述的可逆2维预/后滤波来实现的。解码过程涉及应用使用可逆2维预/后滤波的反重叠变换(ILT)。
所示的LT和ILT在确切的意义上是彼此的反过程,并且因此可被统称为可逆重叠变换。作为一种可逆变换,LT/ILT对可用于无损图像压缩。
由所示的编码器400/解码器500压缩的输入数据410可以是各种色彩格式(例如,RGB/YUV 4:4:4或YUV 4:2:0彩色图像格式)的图像。通常,输入图像总是具有亮度(Y)分量。如果它是RGB/YUV 4:4:4或YUV 4:2:0图像,则该图像还具有色度分量,诸如U分量和V分量。图像的这些单独的色彩平面或分量可具有不同的空间分辨率。在例如YUV 4:2:0色彩格式的输入图像的情况下,U和V分量具有Y分量一半的宽度和高度。
如上所述,编码器400将输入图像或图片块化成宏块。在一个示例性实现中,编码器400将输入图像块化成Y通道中的16×16的宏块(取决于色彩格式,可以是U和V通道中的16×16或8×8区域)。每一宏块色彩平面被块化成4×4的区域或块。因此,宏块按以下对于本示例性编码器实现的方式由各种色彩格式组成:
1.对于灰度图像,每一宏块包含16个4×4的亮度(Y)块。
2.对于YUV 4:2:0格式彩色图像,每一宏块包含16个4×4的Y块,并且4个各自为4×4的色度(U和V)块。
3.对于RGB或YUV 4:4:4彩色图像,每一宏块对Y、U和V通道中的每一个包含16个块。
2.宽范围系数的自适应编码
在宽动态范围数据的情况下,尤其是解相关的变换数据(诸如图4的编码器中的系数460、462),大量的较低顺序位是不可预测且是“有噪声的”。换言之,在较低顺序位中没有太多可用于高效熵编码的相关。位具有较高的熵,大约对每一编码的位有1位的熵。
2.1分组
此外,图3所示的宽范围变换系数的拉普拉斯概率分布函数由下式给出:
λ 2 e - λ | x |
(为方便起见,对应于变换系数的随机变量作为连续值来对待)。对于宽动态范围数据,λ较小,并且绝对均值1/λ较大。这一分布的斜率被界定在±(λ2)内,这是非常小的。这意味着对于较小的位移ξ,变换系数等于x的概率非常接近等于x+ξ的概率。在离散域中,这转换成断言“变换系数具有相邻值j和(j+1)的概率几乎相同。”
现在参考图6,宽范围系数自适应编码将字母表的连续码元分组610成N个码元的“槽”(bin)。每一槽的码元数可以是任何数目N。然而,为实用性起见,数目N理想地是2的幂(即,N=2k),使得一个槽内的系数的索引或地址可被高效地编码为一固定长度码。例如,码元可被分组成对,使得一码元可被标识为该对的索引以及该对内码元的索引。
该分组具有这样的好处:采用对N的适当选择,对宽范围系数的槽索引的概率分布更精确地类似例如图3所示的窄范围数据的概率分布。分组在数学上类似于量化操作。这意味着槽索引可使用对具有窄范围概率分布的数据能起最好作用的可变长度熵编码技术来高效地编码。
基于将系数分组成槽,编码器然后可使用其槽的索引(此处也称为归一化系数620)及其在槽内的地址(此处也称为槽地址625)来对变换系数615进行编码。归一化系数是使用可变长度熵编码来编码的,而槽地址是借助固定长度码来编码的。
对N(或等效地,用于槽地址的固定长度编码的位数k)的选择确定了分组的粒度。一般而言,变换系数的范围越宽,应选择越大的k值。当仔细选择k时,归一化系数Y有很高的概率为零,这匹配用于Y的熵编码方案。
如下所述,值k可在编码器和解码器中自适应地变化(以后向自适应方式)。更具体地,编码器和解码器中的k的值仅基于先前编码/解码的数据来变化。
在图7所示的这一编码的一个特定示例中,编码器如下对变换系数X进行编码。对于初始动作710,编码器计算用于变换系数的归一化系数Y。在此示例实现中,对于槽大小的特定选择N=2k,归一化系数Y被定义为Y=sign(X)*floor(abs(X)/N)。编码器使用熵码单独地或与其它码元联合地对码元Y进行编码(动作720)。接着,在动作730处,编码器确定变换系数X的槽地址(Z)。在此示例实现中,槽地址是abs(X)除以槽大小N的整数除法的余数,即Z=abs(X)%N。编码器在动作740处将该值编码为k位的固定长度码。此外,在非零变换系数的情况下,编码器也对符号进行编码。更具体地,如动作750-760中所指示的,编码器在归一化系数为非零时对归一化系数(Y)的符号进行编码。此外,在归一化系数为零且变换系数非零的情况下,编码器对变换系数(X)的符号进行编码。由于归一化系数是使用可变长度熵码来编码的,因此此处它也被称为可变长度部分,并且槽地址(Z)也被称为固定长度部分。在其它替换实现中,用于变换系数的归一化系数、槽地址和符号的数学定义可以不同。
继续此示例,图8示出了解码器500(图5)执行的重构通过过程700(图7)编码的变换系数的示例过程800。在动作810处,解码器单独地或结合如在块编码过程中定义的其它码元从压缩比特流420(图5)中解码归一化系数(Y)。解码器还在动作820处从压缩比特流中读取用于槽地址和符号(当被编码时)的k位码字。在动作830到870处,解码器然后如下重构变换系数:
1.当Y>0(动作830),则将变换系数重构为X=Y*N+Z(动作(831))。
2.当Y<0(动作840),则将变换系数重构为X=Y*N-Z(动作841)。
3.当Y=0且Z=0(动作850),则将变换系数重构为X=0(动作851)。
4.当Y=0且Z≠0,则解码器从压缩比特流中进一步读取编码的符号(S)(动作860)。如果符号为正(S=0)(动作870),则将变换系数重构为X=Z(动作871)。否则,如果符号为负(S=1),则将变换系数重构为X=-Z(动作872)。
2.2分层
再次参考图6,编码器和解码器理想地提取出固定长度编码的槽地址625和符号到压缩比特流420(图4)中的单独编码的层(此处称为“灵活位(Flexbits)”层645)中。归一化系数620在核心比特流640的一层中编码。这允许编码器和/或解码器具有按需降低编码的这一灵活位部分的等级或完全丢弃这一部分以满足比特率或其它约束的选择。即使编码器完全丢弃该灵活位层,压缩比特流仍解码,然而是以降级的质量来解码的。解码器仍可单独从归一化系数部分来重构该信号。这实际上类似于在编码器中应用更大程度的量化470(图4)。将槽地址和符号编码为单独的灵活位层还具有这样的潜在好处:在某些编码器/解码器实现中,可向该层中的数据应用进一步的可变长度熵编码(例如,算术编码、Lempel-Aiv、Burrows-Wheeler等)以得到进一步改善的压缩。
对于分层,包含灵活位部分的压缩比特流的各部分用单独的层报头或比特流中的其它指示来表示,使得解码器可从核心比特流640中标识并分离(即,解析)出灵活位层645(当未被省略时)。
分层对后向自适应分组(下节中描述)的设计提出了进一步的挑战。由于灵活位层可以在给定比特流中存在或缺乏,因此后向自适应分组模型不能可靠地指示灵活位层中的任何信息。确定固定长度码位数k(对应于槽大小N=2k)所需的所有信息应驻留在因果的核心比特流中。
2.3自适应
编码器和解码器还提供了一后向自适应过程,以在编码和解码期间自适应地调整固定长度码位数k以及相应的上述分组的槽大小N的选择。在一个实现中,该自适应过程可基于将变换系数建模为拉普拉斯分布,使得k的值从拉普拉斯参数λ中导出。然而,这一复杂模型要求解码器在对将来的块建模分布之前执行图6中的分组610的反过程(从核心比特流640中的归一化系数以及灵活位层645中的槽地址/符号重构变换系数)。这一要求将违反解码器应允许从压缩比特流420中丢弃灵活位层的分层约束。
在图9所示的示例实现中,自适应过程900改为基于当约四分之一的系数为非零时获得变换系数的更优化的行程长度编码的观察结果。由此,可用于针对其中大约四分之三的归一化系数为零的“最佳点(sweet spot)”情形来调整分组的自适应参数将提供良好的熵编码性能。因此,块中的非零归一化系数的个数将用作该示例实现中的自适应参数。该自适应参数具有仅依赖于包含在核心比特流中的信息的优点,这满足了变换系数仍可在省略灵活位层的情况下解码的分层约束。该过程在当编码/解码当前块时应用的自适应模型基于来自先前的块的信息的意义上是后向自适应的。
在其自适应过程中,示例编码器/解码器在后向自适应的基础上执行自适应。即,自适应的当前迭代基于先前在编码或解码过程,诸如在前一块或宏块中看到的信息。在示例编码器和解码器中,对给定变换频带,自适应更新对于每一宏块发生一次,这旨在最小化等待时间和交叉依赖性。替换编解码器实现可用不同的间隔,诸如在每一变换块之后执行自适应。
在示例编码器和解码器中,自适应过程900更新值k。如果非零归一化系数的个数太大,则增加k使得该数字在将来的块中趋向于丢弃。如果非零归一化系数的个数太小,则减小k,期望将来的块然后将因槽大小n较小而产生更多非零归一化系数。该示例自适应过程将值k约束在一组数字{0,1,…16}内,但是替换实现可对k使用其它值范围。在每次自适应更新时,编码器和解码器或者对k递增,或者对k递减,或者使k保持不变。示例编码器和解码器将k递增或递减1,但是替换实现可使用其它步长。
示例编码器和解码器中的自适应过程900还使用内部模型参数或状态变量(M)来控制具有滞后效果的对分组参数k的更新。该模型参数提供了更新分组参数k之前的滞后,以避免导致分组参数的迅速波动。示例自适应过程中的模型参数具有从-8到8的16个整数步长。
现在参考图9,示例自适应过程900如下进行。本示例自适应过程在图10和11中的伪代码清单中进一步详述。如动作910、990处所指示的,示例编码器和解码器中的自适应过程对在压缩比特流中表示的每一变换频带,包括亮度频带和色度频带、AC和DC系数单独执行。替换编解码器可在变换频带的数目上不同,并且还可向变换频带单独或联合地应用自适应。
在动作920处,该自适应过程然后对前一编码/解码的宏块内的变换频带的非零归一化系数的个数进行计数。在动作930处,将该原始计数归一化以反映常规大小区域中非零系数的整数化个数。该自适应过程然后计算计数与期望模型(即,四分之一的系数为非零的“最佳点”)的偏差(动作940)。例如,图4中所示的示例编码器中的AC系数宏块具有240个系数。因此,期望模型是240个系数中的70个为非零。该偏差被进一步缩放、阈值化并用于更新内部模型参数。
在接下来的动作960、965、970、975处,该自适应过程然后根据内部模型参数的任何变换来对值k进行自适应。如果模型参数小于一负阈值,则递减k值(在其允许的界限内)。该自适应应当产生更多非零系数。另一方面,如果模型参数超过一正阈值,则递增值k(在其允许的界限内)。这一自适应应当产生更少的非零系数。否则,保持值k不变。
再一次,如动作910、980处所指示的,对数据的每一通道和每一子带单独重复该自适应过程,诸如对色度和亮度通道单独重复。
示例自适应过程900在图10和11所示的伪代码清单中进一步详述。
3.计算环境
上述编码器400(图4)和解码器500(图5)以及用于宽范围系数的自适应编码/解码的技术可以在其中执行数字媒体信号处理的各种设备中的任一种上执行,这些设备包括计算机;图像和视频记录、传输和接收设备;便携式视频播放器;视频会议;以及其它示例。数字媒体编码技术可以用硬件电路以及诸如在图12所示的计算机或其它计算环境中执行的数字媒体处理软件来实现。
图12示出了其中可实现所描述的实施例的合适的计算环境(1200)的一般化的示例。计算环境(12500)并不对本发明使用范围或功能提出任何局限,因为本发明可在不同的通用或专用计算环境中实现。
参考图12,计算环境(1200)包括至少一个处理单元(1210)和存储器(1220)。在图12中,这一最基本的配置(1230)被包括在虚线内。处理单元(1210)执行计算机可执行指令,并且可以是真实或虚拟处理器。在多处理系统中,多个处理单元执行计算机可执行指令以提高处理能力。存储器(1220)可以是易失性存储器(例如,寄存器、高速缓存、RAM)、非易失性存储器(例如,ROM、EEPROM、闪存等)或两者的某种组合。存储器(1220)储存实现所描述的编码器和/或解码器以及宽范围系数编码/解码技术的软件(1280)。
计算环境可具有附加特征。例如,计算环境(1200)包括存储(1240)、一个或多个输入设备(1250)、一个或多个输出设备(1260)以及一个或多个通信连接(1270)。诸如总线、控制器或网络等互连机制(未示出)将计算环境(1200)的各组件互连。通常,操作系统软件(未示出)为在计算环境(1200)中执行的其它软件提供了操作环境,并协调计算环境(1200)的各组件的活动。
存储(1240)可以是可移动或不可移动的,并包括磁盘、磁带或磁带盒、CD-ROM、CD-RW、DVD或可用于储存信息并可在计算环境(1200)内访问的任何其它介质。存储(1240)储存用于实现所描述的编码器/解码器和宽范围变换系数编码/解码技术的软件(1280)的指令。
输入设备(1250)可以是诸如键盘、鼠标、笔或跟踪球等触摸输入设备、语音输入设备、扫描设备或向计算环境(1200)提供输入的另一设备。对于音频,输入设备(1250)可以是声卡或接受模拟或数字形式的音频输入的类似设备、或将音频样本提供给计算环境的CD-ROM读取器。输出设备(1260)可以是显示器、打印机、CD刻录机或提供来自计算环境(1200)的输出的另一设备。
通信连接(1270)允许通过通信介质与另一计算实体的通信。通信介质在已调制数据信号中传达诸如计算机可执行指令、压缩的音频或视频信息、或其它数据等信息。已调制数据信号是其一个或多个特性以对信号中的信息编码的方式来设定或更改的信号。作为示例而非局限,通信介质包括用电、光、RF、红外、声学或其它载体实现的有线或无线技术。
此处的数字媒体处理技术可在计算机可读介质的一般上下文中描述。计算机可读介质可以是可在计算环境内访问的任何可用介质。作为示例而非局限,对于计算环境(1200),计算机可读介质包括存储器(1220)、存储(1240)、通信介质和以上任一种的组合。
此处的数字媒体处理技术可在诸如程序模块中所包括的、在目标真实或虚拟处理器上的计算环境中执行的计算机可执行指令的一般上下文中描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、类、组件、数据结构等。程序模块的功能可如各种实施例中所需地被组合或在程序模块之间拆分。用于程序模块的计算机可执行指令可在本地或分布式计算环境中执行。
出于表示的目的,详细描述使用了如“确定”、“生成”、“调整”和“应用”等术语来描述计算环境中的计算机操作。这些术语是对由计算机执行的操作的高级抽象,并且不应与人类执行的动作混淆。对应于这些术语的实际计算机操作可取决于实现而变化。
鉴于此处描述的主题的许多可能的变型,要求保护落入所附权利要求书及其等效技术范围内的所有这些实施例作为本发明。

Claims (20)

1.一种编码数字媒体数据的方法,所述方法包括:
向所述数字媒体数据的块应用一变换(450)以产生用于各个块的一组变换系数(460、462);
对于多个变换系数值到多个系数组的分组,确定一个块的所述变换系数的归一化部分(620)和地址部分(625),其中所述归一化部分指示包含所述各个变换系数的值的组,而所述地址部分指示所述各个变换系数的值在所述组中的地址;
使用可变长度熵编码在压缩比特流中编码(720)一变换系数的所述归一化部分;以及
使用固定长度编码在所述压缩比特流中编码(740)一变换系数的所述地址部分。
2.如权利要求1所述的方法,其特征在于,还包括:
选择用于一个块的所述分组,使得所述多个系数组包含个数为2的幂的系数值。
3.如权利要求2所述的方法,其特征在于,所述确定变换系数的归一化部分和地址部分包括:
根据第一关系Y=sign(X)*floor(abs(X)/N)来确定变换系数(X)的归一化部分(Y),其中N是每一组中的系数值的个数;以及
根据第二关系Z=abs(X)%N来确定所述变换系数的地址部分(Z)。
4.如权利要求3所述的方法,其特征在于,还包括:
在所述归一化部分为0且所述地址部分非零的情况下,在所述压缩比特流中编码所述变换系数的符号,否则略过在所述压缩比特流中对所述符号的编码。
5.至少一种承载根据如权利要求4所述的方法编码的压缩比特流的计算机可读记录介质。
6.一种解码根据如权利要求3所述的方法编码的数字媒体数据的方法,所述解码方法还包括:
从所述压缩比特流中解码一变换系数的所述归一化部分和地址部分;以及
在所述归一化部分小于零的情况下,根据第三关系X=Y*N+Z来重构所述变换系数;
在所述归一化部分大于零的情况下,根据第四关系X=Y*N-Z来重构所述变换系数;以及
在所述归一化部分和所述地址部分都为零的情况下,同样将所述变换系数重构为为零;以及
在所述归一化部分为零且所述地址部分非零的情况下,从所述压缩比特流中读取所述符号,并根据所述地址部分和符号来重构所述变换系数。
7.如权利要求1所述的方法,其特征在于,还包括:
根据一多层比特流句法结构来编码所述压缩比特流,所述句法结构包括核心部分和可任选层,其中所述核心部分包含足以仅基于所述压缩比特流的核心部分、在不参考所述可任选层的情况下解码和重构所述数字媒体数据的表示的信息;
在所述压缩比特流的核心部分中编码所述变换系数的归一化部分;以及
在所述压缩比特流的可任选层中编码所述变换系数的地址部分。
8.至少一种承载根据如权利要求7所述的方法编码的压缩比特流的计算机可读记录介质。
9.如权利要求7所述的方法,其特征在于,还包括:
执行对所述变换系数的固定长度编码的地址部分的进一步熵编码。
10.如权利要求7所述的方法,其特征在于,还包括:
基于至少一个先前块的变换系数值的观察到的概率分布特性来自适应地改变应用于当前块的分组。
11.如权利要求10所述的方法,其特征在于,所述自适应地改变分组仅基于包含在所述压缩比特流的核心部分中的信息。
12.如权利要求1所述的方法,其特征在于,还包括:
基于观察到的至少一个先前块的变换系数值的概率分布特性来自适应地改变应用于当前块的分组。
13.如权利要求12所述的方法,其特征在于,所述自适应地改变分组包括:
对所述至少一个先前块中的非零变换系数的出现进行计数;以及
基于所述至少一个先前块中具有非零归一化部分的变换系数的计数来调整应用于所述当前块的分组中的系数组的大小,以便更有可能产生更适用于更高效地使用可变长度编码来压缩所述变换系数的归一化部分的当前块中的变换系数的归一化部分的概率分布。
14.如权利要求13所述的方法,其特征在于,所述自适应地改变分组包括:
在检测到所述变换系数的非零归一化部分的计数低于一阈值的趋势之后,减小所述系数组的大小,使得所述当前块中的变换系数的归一化部分的概率分布更可能包含更多的非零归一化部分;以及
在检测到所述变换系数的非零归一化部分的计数大于一阈值的趋势之后,增大所述系数组的大小,使得所述当前块中的变换系数的归一化部分的概率分布更可能包含更少的非零归一化部分。
15.一种数字媒体编码器(400)和/或解码器(500),包括:
用于储存要编码和/或解码的数字媒体数据(410、420)的数据存储缓冲器;
处理器(1210),它被编程为:
基于观察到的先前的变换系数的概率分布的特性(920),对所述数字媒体数据的当前块,自适应地改变(900、1000)变换系数值到多个系数组的分组;
确定当前块的变换系数(615)的归一化部分(620)和地址部分(625),其中所述归一化部分指示包含相应变换系数的值的系数组,而所述地址部分在所述系数组内区分所述变换系数的值;
使用可变长度编码来编码(720)/解码(810)所述归一化部分;以及
使用固定长度编码来编码(740)/解码(820)所述地址部分。
16.如权利要求15所述的数字媒体编码器和/或解码器,其特征在于,所述处理器还被编程为:
根据具有核心部分和可任选层的多层比特流句法结构在压缩比特流的核心部分中编码/解码所述变换系数的归一化部分,其中所述核心部分包含足以在不参考所述可任选层中的信息的情况下解码并至少近似地重构所述数字媒体数据的信息;以及
在所述可任选层中编码/解码所述变换系数的地址部分。
17.如权利要求15所述的数字媒体编码器和/或解码器,其特征在于,所述系数值的分组是按照其大小为等于2的幂的系数个数的系数组来进行的,并且其中,所述处理器被编程为确定所述归一化部分和所述地址部分包括所述处理器按照2的幂来量化所述变换系数以确定所述归一化部分,并取所述变换系数除以2的幂的整数除法的余数作为所述地址部分。
18.如权利要求15所述的数字媒体编码器和/或解码器,其特征在于,所述处理器还被编程为仅当所述归一化部分为零且所述地址部分非零时编码/解码所述变换系数的符号。
19.至少一种其上承载用于执行一种处理数字媒体数据的方法的计算机可执行数字媒体处理程序的计算机可读记录介质,所述方法包括:
基于观察到的先前的变换系数的概率分布的特性(920、930),对所述数字媒体数据的当前块,自适应地改变(900、1000)变换系数值到多个系数组的分组;
确定当前块的变换系数的归一化部分(620)和地址部分(6250),其中所述归一化部分指示包含相应变换系数的值的系数组,而所述地址部分在所述系数组内区分所述变换系数的值;
使用可变长度编码来编码(720)或解码(810)所述归一化部分;以及
使用固定长度编码来编码(740)或解码(820)所述地址部分。
20.如权利要求19所述的至少一种计算机可读记录介质,其特征在于,所述方法还包括:
根据具有核心部分和可任选层的多层比特流句法结构,在压缩比特流的核心部分中编码或解码所述变换系数的归一化部分,其中所述核心部分包含足以在不参考所述可任选层中的信息的情况下解码并至少近似地重构所述数字媒体数据的信息;以及
在所述可任选层中编码或解码所述变换系数的地址部分。
CN2006800293059A 2005-08-12 2006-08-03 宽范围系数的自适应编码和解码 Active CN101243459B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/203,010 2005-08-12
US11/203,010 US7565018B2 (en) 2005-08-12 2005-08-12 Adaptive coding and decoding of wide-range coefficients
PCT/US2006/030566 WO2007021616A2 (en) 2005-08-12 2006-08-03 Adaptive coding and decoding of wide-range coefficients

Publications (2)

Publication Number Publication Date
CN101243459A true CN101243459A (zh) 2008-08-13
CN101243459B CN101243459B (zh) 2010-12-29

Family

ID=37742601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800293059A Active CN101243459B (zh) 2005-08-12 2006-08-03 宽范围系数的自适应编码和解码

Country Status (16)

Country Link
US (1) US7565018B2 (zh)
EP (1) EP1913522A4 (zh)
KR (1) KR101247011B1 (zh)
CN (1) CN101243459B (zh)
AU (1) AU2006280181B2 (zh)
BR (1) BRPI0614768A2 (zh)
CA (1) CA2618564C (zh)
IL (1) IL188963A (zh)
MX (1) MX2008002069A (zh)
MY (1) MY140299A (zh)
NO (1) NO20080492L (zh)
NZ (1) NZ565842A (zh)
RU (1) RU2433479C2 (zh)
TW (1) TWI428837B (zh)
WO (1) WO2007021616A2 (zh)
ZA (1) ZA200801436B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843562A (zh) * 2012-08-21 2012-12-26 西北农林科技大学 一种分组容错熵编码的方法
CN103404035A (zh) * 2011-01-14 2013-11-20 弗兰霍菲尔运输应用研究公司 熵编码及解码方案
CN107409229A (zh) * 2014-10-06 2017-11-28 微软技术许可有限责任公司 指示编码区域的结束的语法结构
CN109036441A (zh) * 2014-03-24 2018-12-18 杜比国际公司 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN113822371A (zh) * 2021-09-30 2021-12-21 支付宝(杭州)信息技术有限公司 训练分组模型,以及对时序数据进行分组的方法和装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
US8184710B2 (en) * 2007-02-21 2012-05-22 Microsoft Corporation Adaptive truncation of transform coefficient data in a transform-based digital media codec
US20080219326A1 (en) * 2007-03-09 2008-09-11 John Santhoff Wireless multimedia link
KR101375662B1 (ko) * 2007-08-06 2014-03-18 삼성전자주식회사 이미지 데이터 압축 방법 및 장치
US8509555B2 (en) * 2008-03-12 2013-08-13 The Boeing Company Error-resilient entropy coding for partial embedding and fine grain scalability
TWI370690B (en) * 2008-03-21 2012-08-11 Novatek Microelectronics Corp Method and apparatus for generating coded block pattern for highpass coeffecients
TWI349487B (en) * 2008-03-25 2011-09-21 Novatek Microelectronics Corp Entropy encoding circuit and encoding method thereof
TWI376959B (en) * 2008-05-02 2012-11-11 Novatek Microelectronics Corp Entropy decoding circuit, entropy decoding method, and entropy decoding method using a pipeline manner
EP2211335A1 (en) * 2009-01-21 2010-07-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for obtaining a parameter describing a variation of a signal characteristic of a signal
US8842940B1 (en) * 2009-10-02 2014-09-23 Rockwell Collins, Inc. Multiprocessor discrete wavelet transform
WO2011126272A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation
KR101160272B1 (ko) * 2010-06-25 2012-06-27 김정태 비디오에 대한 인덱스의 생성 및 재생 방법, 및 프로그램을 기록한 컴퓨터 판독가능 매체
KR20120052882A (ko) * 2010-11-15 2012-05-24 한국전자통신연구원 병렬 엔트로피 부호화/복호화 방법 및 장치
US9378560B2 (en) 2011-06-17 2016-06-28 Advanced Micro Devices, Inc. Real time on-chip texture decompression using shader processors
GB2492394B (en) * 2011-06-30 2014-11-05 Canon Kk Method of entropy encoding and decoding an image, and corresponding devices
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
EP3168809B1 (en) * 2012-08-08 2023-08-30 Dolby Laboratories Licensing Corporation Image processing for hdr images
TW201445454A (zh) * 2013-05-22 2014-12-01 Asustek Comp Inc 提升人臉辨識率的影像處理系統及影像處理方法
WO2015134198A1 (en) * 2014-02-21 2015-09-11 Silicon Image, Inc. Adaptive processing of video streams with reduced color resolution
USRE48920E1 (en) * 2014-02-21 2022-02-01 Lattice Semiconductor Corporation Adaptive processing of video streams with reduced color resolution
US10771783B2 (en) * 2018-06-11 2020-09-08 Google Llc Transforms for large video and image blocks
CN110688092B (zh) * 2019-09-04 2021-08-17 湖南遥昇通信技术有限公司 一种随机数生成方法、装置、设备及存储介质
US11373276B2 (en) * 2020-01-09 2022-06-28 Tencent America LLC Techniques and apparatus for alphabet-partition coding of transform coefficients for point cloud compression

Family Cites Families (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4420771A (en) 1981-02-09 1983-12-13 Bell Telephone Laboratories, Incorporated Technique for encoding multi-level signals
JPH0821863B2 (ja) * 1985-04-13 1996-03-04 キヤノン株式会社 データ処理方法
US4749983A (en) * 1986-04-29 1988-06-07 International Business Machines Corporation Compression of multilevel signals
EP0260748B1 (de) 1986-09-13 1994-07-13 Philips Patentverwaltung GmbH Verfahren und Schaltungsanordung zur Bitratenreduktion
US4730348A (en) 1986-09-19 1988-03-08 Adaptive Computer Technologies Adaptive data compression system
US4698672A (en) 1986-10-27 1987-10-06 Compression Labs, Inc. Coding system for reducing redundancy
US4968135A (en) 1987-08-17 1990-11-06 Digital Equipment Corporation System for producing pixel image data from CCITT encoded pixel data
US4792981A (en) 1987-09-21 1988-12-20 Am International, Inc. Manipulation of run-length encoded images
US4813056A (en) 1987-12-08 1989-03-14 General Electric Company Modified statistical coding of digital signals
EP0339589A3 (en) 1988-04-28 1992-01-02 Sharp Kabushiki Kaisha Orthogonal transform coding system for image data
US5043919A (en) 1988-12-19 1991-08-27 International Business Machines Corporation Method of and system for updating a display unit
DE3943879B4 (de) 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
FR2646978B1 (fr) 1989-05-11 1991-08-23 France Etat Procede et installation a codage de signaux sonores
US5179442A (en) 1989-06-02 1993-01-12 North American Philips Corporation Method and apparatus for digitally processing a high definition television augmentation signal
US5128758A (en) 1989-06-02 1992-07-07 North American Philips Corporation Method and apparatus for digitally processing a high definition television augmentation signal
US5270832A (en) 1990-03-14 1993-12-14 C-Cube Microsystems System for compression and decompression of video data using discrete cosine transform and coding techniques
US5146324A (en) 1990-07-31 1992-09-08 Ampex Corporation Data compression using a feedforward quantization estimator
JPH04199981A (ja) 1990-11-29 1992-07-21 Nec Corp 即時処理型1次元符号器
US5266941A (en) 1991-02-15 1993-11-30 Silicon Graphics, Inc. Apparatus and method for controlling storage of display information in a computer system
JP2670201B2 (ja) * 1991-08-30 1997-10-29 富士写真フイルム株式会社 画像データ圧縮符号化装置および方法
JP2586260B2 (ja) 1991-10-22 1997-02-26 三菱電機株式会社 適応的ブロッキング画像符号化装置
US5227878A (en) 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
EP0547696B1 (fr) 1991-12-18 1999-04-21 Laboratoires D'electronique Philips S.A.S. Système de transmission et/ou stockage de signaux correspondant à des images texturées
US5227788A (en) 1992-03-02 1993-07-13 At&T Bell Laboratories Method and apparatus for two-component signal compression
CA2090052C (en) 1992-03-02 1998-11-24 Anibal Joao De Sousa Ferreira Method and apparatus for the perceptual coding of audio signals
EP0559348A3 (en) 1992-03-02 1993-11-03 AT&T Corp. Rate control loop processor for perceptual encoder/decoder
US5714950A (en) 1992-07-23 1998-02-03 Samsung Electronics Co., Ltd. System for variable-length-coding and variable-length-decoding digitaldata
KR950010913B1 (ko) 1992-07-23 1995-09-25 삼성전자주식회사 가변장부호화 및 복호화시스템
JP3348310B2 (ja) 1992-09-28 2002-11-20 ソニー株式会社 動画像符号化方法および動画像符号化装置
AU668762B2 (en) 1992-10-07 1996-05-16 Nec Personal Computers, Ltd Synchronous compression and reconstruction system
US5982437A (en) 1992-10-26 1999-11-09 Sony Corporation Coding method and system, and decoding method and system
JP2959916B2 (ja) 1992-10-28 1999-10-06 松下電器産業株式会社 デジタル・ビデオ・コーダ用のバーサタイルなエスケープ・ラン・レベル・コーダ
KR0166722B1 (ko) 1992-11-30 1999-03-20 윤종용 부호화 및 복호화방법 및 그 장치
US5467134A (en) 1992-12-22 1995-11-14 Microsoft Corporation Method and system for compressing video data
US5535305A (en) 1992-12-31 1996-07-09 Apple Computer, Inc. Sub-partitioned vector quantization of probability density functions
US5400075A (en) 1993-01-13 1995-03-21 Thomson Consumer Electronics, Inc. Adaptive variable length encoder/decoder
US5544286A (en) 1993-01-29 1996-08-06 Microsoft Corporation Digital video data compression technique
TW224553B (en) 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
US5376968A (en) 1993-03-11 1994-12-27 General Instrument Corporation Adaptive compression of digital video data using different modes such as PCM and DPCM
US5408234A (en) 1993-04-30 1995-04-18 Apple Computer, Inc. Multi-codebook coding process
ATE211326T1 (de) 1993-05-31 2002-01-15 Sony Corp Verfahren und vorrichtung zum kodieren oder dekodieren von signalen und aufzeichnungsmedium
US5664057A (en) 1993-07-07 1997-09-02 Picturetel Corporation Fixed bit rate speech encoder/decoder
KR0155784B1 (ko) 1993-12-16 1998-12-15 김광호 영상데이타의 적응형 가변장 부호화/복호화방법
US5504591A (en) 1994-04-25 1996-04-02 Microsoft Corporation System and method for compressing graphic images
US5457495A (en) 1994-05-25 1995-10-10 At&T Ipm Corp. Adaptive video coder with dynamic bit allocation
US6195465B1 (en) 1994-09-21 2001-02-27 Ricoh Company, Ltd. Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US5568167A (en) 1994-09-23 1996-10-22 C-Cube Microsystems, Inc. System for providing antialiased video overlays
JP3474005B2 (ja) 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
US5802213A (en) 1994-10-18 1998-09-01 Intel Corporation Encoding video signals using local quantization levels
ATE214524T1 (de) 1994-11-04 2002-03-15 Koninkl Philips Electronics Nv Kodierung und dekodierung eines breitbandigen digitalen informationssignals
JP3371590B2 (ja) 1994-12-28 2003-01-27 ソニー株式会社 高能率符号化方法及び高能率復号化方法
US5574449A (en) 1995-02-24 1996-11-12 Intel Corporation Signal processing with hybrid variable-length and entropy encodidng
US5991451A (en) 1995-03-23 1999-11-23 Intel Corporation Variable-length encoding using code swapping
US5884269A (en) 1995-04-17 1999-03-16 Merging Technologies Lossless compression/decompression of digital audio data
US5864711A (en) 1995-07-05 1999-01-26 Microsoft Corporation System for determining more accurate translation between first and second translator, and providing translated data to second computer if first translator is more accurate
US5825830A (en) 1995-08-17 1998-10-20 Kopf; David A. Method and apparatus for the compression of audio, video or other data
US5825929A (en) 1995-10-05 1998-10-20 Microsoft Corporation Transformation block optimization method
US5819215A (en) 1995-10-13 1998-10-06 Dobson; Kurt Method and apparatus for wavelet based data compression having adaptive bit rate control for compression of digital audio or other sensory data
US5889891A (en) 1995-11-21 1999-03-30 Regents Of The University Of California Universal codebook vector quantization with constrained storage
JP3283413B2 (ja) * 1995-11-30 2002-05-20 株式会社日立製作所 符号化復号方法、符号化装置および復号装置
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JPH09162748A (ja) 1995-12-01 1997-06-20 Fujitsu Ltd データ符号化方法、データ復号方法、データ圧縮装置、データ復元装置、及びデータ圧縮・復元システム
US5831559A (en) 1996-01-24 1998-11-03 Intel Corporation Encoding/decoding video signals using multiple run-val mapping tables
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5682152A (en) 1996-03-19 1997-10-28 Johnson-Grace Company Data compression using adaptive bit allocation and hybrid lossless entropy encoding
US5812971A (en) 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
US6215910B1 (en) 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US5850482A (en) 1996-04-17 1998-12-15 Mcdonnell Douglas Corporation Error resilient method and apparatus for entropy coding
KR100371130B1 (ko) 1996-05-28 2003-02-07 마쯔시다덴기산교 가부시키가이샤 화상예측 복호화 장치 및 그 방법과 화상예측 부호화 장치및 그 방법
DE19628293C1 (de) 1996-07-12 1997-12-11 Fraunhofer Ges Forschung Codieren und Decodieren von Audiosignalen unter Verwendung von Intensity-Stereo und Prädiktion
DE19628292B4 (de) * 1996-07-12 2007-08-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Codieren und Decodieren von Stereoaudiospektralwerten
JP3318825B2 (ja) * 1996-08-20 2002-08-26 ソニー株式会社 デジタル信号符号化処理方法、デジタル信号符号化処理装置、デジタル信号記録方法、デジタル信号記録装置、記録媒体、デジタル信号伝送方法及びデジタル信号伝送装置
US5828426A (en) 1996-08-20 1998-10-27 Samsung Electronics Co., Ltd. Apparatus for decoding variable length coded data of both MPEG-1 and MPEG-2 standards
US6233017B1 (en) 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
US5748789A (en) 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
KR100402541B1 (ko) 1996-11-06 2003-10-22 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법, 화상 복호화 방법 및 화상 복호화 장치
WO1998021830A2 (en) * 1996-11-11 1998-05-22 Philips Electronics N.V. Data compression/expansion using a rice encoder/decoder
JP3484310B2 (ja) 1997-01-17 2004-01-06 松下電器産業株式会社 可変長符号器
NL1005084C2 (nl) 1997-01-24 1998-07-27 Oce Tech Bv Werkwijze voor het uitvoeren van een beeldbewerkingsoperatie op looplengte gecodeerde bitmaps.
US6038536A (en) 1997-01-31 2000-03-14 Texas Instruments Incorporated Data compression using bit change statistics
US6272175B1 (en) 1997-02-13 2001-08-07 Conexant Systems, Inc. Video signal coding systems and processes using adaptive quantization
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US5974184A (en) 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
FI114248B (fi) * 1997-03-14 2004-09-15 Nokia Corp Menetelmä ja laite audiokoodaukseen ja audiodekoodaukseen
US6728775B1 (en) 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
US6259810B1 (en) 1997-04-15 2001-07-10 Microsoft Corporation Method and system of decoding compressed image data
US5883633A (en) 1997-04-15 1999-03-16 Microsoft Corporation Method and system of variable run length image encoding using sub-palette
US6580834B2 (en) * 1997-05-30 2003-06-17 Competitive Technologies Of Pa, Inc. Method and apparatus for encoding and decoding signals
EP0996926B1 (en) * 1997-07-11 2010-02-03 Sharp Kabushiki Kaisha Apparatus and method for multiscale zerotree entropy encoding
DE19730129C2 (de) * 1997-07-14 2002-03-07 Fraunhofer Ges Forschung Verfahren zum Signalisieren einer Rauschsubstitution beim Codieren eines Audiosignals
US6421738B1 (en) * 1997-07-15 2002-07-16 Microsoft Corporation Method and system for capturing and encoding full-screen video graphics
JPH11161782A (ja) * 1997-11-27 1999-06-18 Seiko Epson Corp カラー画像の符号化方法およびその符号化装置ならびにカラー画像の復号化方法およびその復号化装置
US6111914A (en) 1997-12-01 2000-08-29 Conexant Systems, Inc. Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
US5946043A (en) 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
US6226407B1 (en) 1998-03-18 2001-05-01 Microsoft Corporation Method and apparatus for analyzing computer screens
US6054943A (en) 1998-03-25 2000-04-25 Lawrence; John Clifton Multilevel digital information compression based on lawrence algorithm
US6408029B1 (en) 1998-04-02 2002-06-18 Intel Corporation Method and apparatus for simplifying real-time data encoding
KR20010071519A (ko) * 1998-06-19 2001-07-28 벤자민 에프 커틀러 제1 해상도를 가지는 인코딩된 이미지를 제2 해상도를가지는 이미지로 직접 디코딩하는 방법 및 장치
JP3413720B2 (ja) * 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
US6253165B1 (en) 1998-06-30 2001-06-26 Microsoft Corporation System and method for modeling probability distribution functions of transform coefficients of encoded signal
DE19840835C2 (de) * 1998-09-07 2003-01-09 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Entropiecodieren von Informationswörtern und Vorrichtung und Verfahren zum Decodieren von Entropie-codierten Informationswörtern
US6420980B1 (en) * 1998-10-06 2002-07-16 Matsushita Electric Industrial Co., Ltd. Lossless compression encoding method and device, and lossless compression decoding method and device
US6377930B1 (en) 1998-12-14 2002-04-23 Microsoft Corporation Variable to variable length entropy encoding
US6404931B1 (en) 1998-12-14 2002-06-11 Microsoft Corporation Code book construction for variable to variable length entropy encoding
US6223162B1 (en) 1998-12-14 2001-04-24 Microsoft Corporation Multi-level run length coding for frequency-domain audio coding
US6300888B1 (en) 1998-12-14 2001-10-09 Microsoft Corporation Entrophy code mode switching for frequency-domain audio coding
US6100825A (en) 1998-12-31 2000-08-08 Microsoft Corporation Cluster-based data compression system and method
US6678419B1 (en) * 1999-03-26 2004-01-13 Microsoft Corporation Reordering wavelet coefficients for improved encoding
JP3762579B2 (ja) * 1999-08-05 2006-04-05 株式会社リコー デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
US6573915B1 (en) * 1999-12-08 2003-06-03 International Business Machines Corporation Efficient capture of computer screens
EP1294197A4 (en) * 2000-05-23 2004-11-24 Matsushita Electric Ind Co Ltd METHOD AND DEVICE FOR CODING WITH VARIABLE LENGTH
US6501397B1 (en) * 2000-05-25 2002-12-31 Koninklijke Philips Electronics N.V. Bit-plane dependent signal compression
US6542863B1 (en) * 2000-06-14 2003-04-01 Intervideo, Inc. Fast codebook search method for MPEG audio encoding
US6683980B1 (en) 2000-07-28 2004-01-27 Microsoft Corporation System and method for compressing data
US6925249B1 (en) * 2000-07-28 2005-08-02 Microsoft Corporation System and method for storing compressed data onto a storage medium
US6961685B2 (en) * 2000-09-19 2005-11-01 Sy Bon K Probability model selection using information-theoretic optimization criterion
US6650784B2 (en) * 2001-07-02 2003-11-18 Qualcomm, Incorporated Lossless intraframe encoding using Golomb-Rice
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7016547B1 (en) * 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
DE10236694A1 (de) * 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
US7424434B2 (en) * 2002-09-04 2008-09-09 Microsoft Corporation Unified lossy and lossless audio compression
US7328150B2 (en) * 2002-09-04 2008-02-05 Microsoft Corporation Innovations in pure lossless audio compression
US7433824B2 (en) * 2002-09-04 2008-10-07 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
US6795584B2 (en) * 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
AU2003290536A1 (en) * 2002-10-23 2004-05-13 Divxnetworks, Inc. Method and system for supercompression of compressed digital video
US7324927B2 (en) * 2003-07-03 2008-01-29 Robert Bosch Gmbh Fast feature selection method and system for maximum entropy modeling
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10404272B2 (en) 2011-01-14 2019-09-03 Ge Video Compression, Llc Entropy encoding and decoding scheme
US20190013822A1 (en) 2011-01-14 2019-01-10 Ge Video Compression, Llc Entropy encoding and decoding scheme
US10826524B2 (en) 2011-01-14 2020-11-03 Ge Video Compression, Llc Entropy encoding and decoding scheme
CN103404035B (zh) * 2011-01-14 2017-05-10 Ge视频压缩有限责任公司 熵编码及解码方案
CN107196662A (zh) * 2011-01-14 2017-09-22 Ge视频压缩有限责任公司 熵编码设备和方法、熵解码设备和方法、及存储介质
US10419017B2 (en) 2011-01-14 2019-09-17 Ge Video Compression, Llc Entropy encoding and decoding scheme
US11405050B2 (en) 2011-01-14 2022-08-02 Ge Video Compression, Llc Entropy encoding and decoding scheme
US10855309B2 (en) 2011-01-14 2020-12-01 Ge Video Compression, Llc Entropy encoding and decoding scheme
CN107196662B (zh) * 2011-01-14 2021-07-30 Ge视频压缩有限责任公司 熵编码设备和方法、熵解码设备和方法、及存储介质
CN103404035A (zh) * 2011-01-14 2013-11-20 弗兰霍菲尔运输应用研究公司 熵编码及解码方案
US10644719B2 (en) 2011-01-14 2020-05-05 Ge Video Compression, Llc Entropy encoding and decoding scheme
US10581454B2 (en) 2011-01-14 2020-03-03 Ge Video Compression, Llc Entropy encoding and decoding scheme
CN102843562B (zh) * 2012-08-21 2016-03-02 西北农林科技大学 一种分组容错熵编码的方法
CN102843562A (zh) * 2012-08-21 2012-12-26 西北农林科技大学 一种分组容错熵编码的方法
CN109036441B (zh) * 2014-03-24 2023-06-06 杜比国际公司 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN109036441A (zh) * 2014-03-24 2018-12-18 杜比国际公司 对高阶高保真立体声信号应用动态范围压缩的方法和设备
US10701401B2 (en) 2014-10-06 2020-06-30 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
CN107409229A (zh) * 2014-10-06 2017-11-28 微软技术许可有限责任公司 指示编码区域的结束的语法结构
CN113822371A (zh) * 2021-09-30 2021-12-21 支付宝(杭州)信息技术有限公司 训练分组模型,以及对时序数据进行分组的方法和装置

Also Published As

Publication number Publication date
WO2007021616A3 (en) 2007-11-29
KR101247011B1 (ko) 2013-03-25
IL188963A0 (en) 2008-08-07
IL188963A (en) 2011-06-30
KR20080044835A (ko) 2008-05-21
ZA200801436B (en) 2010-10-27
CN101243459B (zh) 2010-12-29
US20070036443A1 (en) 2007-02-15
CA2618564C (en) 2014-04-08
NZ565842A (en) 2010-11-26
WO2007021616A2 (en) 2007-02-22
US7565018B2 (en) 2009-07-21
RU2008105028A (ru) 2009-08-20
MY140299A (en) 2009-12-31
MX2008002069A (es) 2008-04-16
AU2006280181A1 (en) 2007-02-22
CA2618564A1 (en) 2007-02-22
AU2006280181B2 (en) 2011-03-31
EP1913522A4 (en) 2011-07-06
NO20080492L (no) 2008-05-09
RU2433479C2 (ru) 2011-11-10
TW200719248A (en) 2007-05-16
BRPI0614768A2 (pt) 2011-04-12
TWI428837B (zh) 2014-03-01
EP1913522A2 (en) 2008-04-23

Similar Documents

Publication Publication Date Title
CN101243459B (zh) 宽范围系数的自适应编码和解码
CN101243611B (zh) 变换块的高效编码和解码
CN101438591B (zh) 灵活量化
CN101243685B (zh) 数字媒体数据的编码方法、处理方法及处理装置
CN101617540B (zh) 用色度位置信息编码和解码数字图像数据的方法
CN102065294B (zh) 基于simd重叠变换的数字媒体解码
CN101617539B (zh) 基于变换的数字媒体编解码器中的计算复杂度和精度控制
US9077960B2 (en) Non-zero coefficient block pattern coding
US6885320B2 (en) Apparatus and method for selecting length of variable length coding bit stream using neural network
CN1628466A (zh) 视频数据流的上下文灵敏的编码和解码
Lam Parental finite state vector quantizer and vector wavelet transform-linear predictive coding
JP2003230140A (ja) 画像圧縮装置と画像圧縮方法、並びにその画像伸張装置と画像伸張方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150505

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150505

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.