CN100534182C - 考虑与运动矢量的分量相关的部分来编码视频图像的方法 - Google Patents
考虑与运动矢量的分量相关的部分来编码视频图像的方法 Download PDFInfo
- Publication number
- CN100534182C CN100534182C CNB2004800057343A CN200480005734A CN100534182C CN 100534182 C CN100534182 C CN 100534182C CN B2004800057343 A CNB2004800057343 A CN B2004800057343A CN 200480005734 A CN200480005734 A CN 200480005734A CN 100534182 C CN100534182 C CN 100534182C
- Authority
- CN
- China
- Prior art keywords
- coding
- time
- estimation
- image
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
- H03M7/4006—Conversion to or from arithmetic code
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Abstract
一种对图像序列中的图像进行编码的方法,执行以下步骤:估计与当前图像(11)相对应的当前时间和与参考图像(12)相对应的参考时间之间的运动,以便提供运动矢量(13),考虑基于运动估计的时间上下文(14、17、20),对与当前图像有关的高空间频率的信号进行熵编码(10、25、28),用于计算时间上下文的参数之一是与运动矢量的分量有关的奇偶性(21)。本发明的应用涉及具有时间预测的视频压缩。
Description
技术领域
本发明涉及一种对图像序列中的视频图像进行编码的方法,包括对图像的空间分析步骤,并依赖于图像间时间预测的使用。更具体地,这是一种基于图像的时间上下文的熵编码,所述图像利用了与运动信息有关的特性。
背景技术
在被称为混合标准的编码标准中,如MPEG-1、MPEG-2、MPEG-4、h264等,与大多数2D+t子带编码方案(如MC-EZBC(运动补偿嵌入零块上下文)等)中一样,编码序列的第一步在于:在利用图像内的空间冗余之前,利用连续图像之间的时间冗余。
图1示出了根据现有技术的视频编码器方案。
将视频信号传输到时间分析电路1。运动估计电路2与此第一电路相连,以便估计编码器所接收到的两幅图像之间的运动。将运动信息传输到电路1和编码电路6,例如以运动矢量场的形式。将电路1的输出传输到空间分析电路3,空间分析电路3从纹理中提取出图像频率系数。随后,熵编码电路4对这些系数进行量化和编码。将编码后的信息和运动信息传输到分组产生电路或分组器5,分组器5以视频分组的形式发送视频数据,形成视频数据流。
在子带编码方案的情况下,在混合方案或MCTF(运动补偿时间滤波)的情况下,时间分析电路1执行运动补偿时间预测。具有时间预测的编码算法在于施加运动补偿,以便产生稍后用在编码处理中的预测图像。这些算法基于相同的原理。从被称作参考图像的一幅或多幅在先的已编码图像开始,预测要编码的图像。这是具有预测(P)图像和双向或双预测(B)图像的视频MPEG标准中的情况。预测在于利用这些参考图像和与当前图像相关联的运动矢量进行运动补偿。随后进行编码的是预测的残余部分,换句话说,当前图像与时间预测图像之间的差别。通常按照像素块来描述运动,并按照像素块来实现运动补偿。
例如,空间分析电路3执行小波分解或离散余弦变换。电路4的熵编码可以是VLC(可变长度编码)型的编码或算术类型的编码。
分组化电路(packetization circuit)的功能是将分别来自熵编码电路和运动场编码电路的纹理和运动信息按照其空间和时间频率及其重要性(例如,其在比特平面编码方案中的权重)分割为相关子集合。因此,所获得的二进制流可以独立地在分辨率、帧频率和保真度方面进行缩放。
估计运动场对应于源的分辨率。因此,必须在全分辨率图像上执行通过滤波或预测来进行的编码器的运动补偿步骤及解码器中的逆步骤,以便保持一致。
目前,在视频数据传输中通常采用空间可缩放性,以多种分辨率等级传输和重构图像的可能性,例如SD(标准清晰度)、CIF或QCIF格式的图像。进行空间-时间分析的传统编码方案(如前述利用小波分解或离散余弦变换的编码方案)适合于这种可缩放性,换句话说,适合于图像的多种分辨率,因此优化了数据压缩。遵循上述体系结构的视频编码器对于纹理而言可以是空间可缩放的,但对于运动则不是。而且,运动信息是不可忽略的。例如,当对低速率15Hz CIF序列进行编码时,其表示整个二进制流的大约30%。因此,通常的体系结构遇到了过于清晰的运动信息,其实质上影响了低分辨率时的压缩性能。
存在用于保留纹理和运动的可缩放性的解决方案。最简单的手段是以允许解码的最低空间分辨率估计运动。因此,初始进行空间分解。于是,保持对存在于连续空间高频之间的时间冗余的利用。为此,已经提出了几种解决方案,其重新引入了传统的时间去相关工具:预测或运动补偿滤波。现在,由于产生了已知为空间变换的‘移位变异’的现象的相位问题,这些传统的技术在变换域中不如像素域中那样有效。事实上,离散小波变换(DWT)和离散余弦变换(DCT)都会使与相同像素图案对应的连续图像系数根据运动的方向和幅度、空间滤波器的方向和长度而在符号和绝对值上迥然不同。空间变换所固有的移位变异需要新的运动估计解决方案,由于其使得时间高频不适合于通过预测或滤波进行编码。
发明内容
本发明的目的是克服上述缺陷。本发明的一个主题是一种对图像序列中的图像进行编码的方法,包括以下步骤:对当前图像进行空间分析,以便产生低空间频率的信号和高空间频率的信号,并执行对与当前图像相对应的当前时间和与参考图像相对应的参考时间之间的运动的估计,以便提供运动矢量,其特征在于其通过考虑基于运动估计的时间上下文,对与当前图像有关的高空间频率的信号中的至少一个进行熵编码,用于计算时间上下文的参数之一是与运动矢量的分量有关的奇偶性(parity)。
根据一个特定的实施例,用于计算时间上下文的参数之一是与运动矢量的分量有关的分数部分。
根据一个特定的实施例,对于高空间频率的信号,所考虑的分量是高通空间滤波器方向上的分量。
根据一个特定的实施例,熵编码是算术比特平面(bit plane)编码,以及时间上下文对应于时间参考图像中相同等级的比特平面。
根据一个特定的实施例,算术编码是N元编码,以及时间上下文对应于时间参考图像中相同等级的N比特平面。
本发明的另一主题是一种对根据上述编码方法进行了编码的、图像序列中的图像进行解码的方法,其特征在于其通过考虑基于运动估计的时间上下文,执行与高空间频率信号中的至少一个有关熵解码,用于计算时间上下文的参数之一是与运动矢量的分量有关的奇偶性。
根据一个特定的实施例,所述解码方法的特征在于用于计算时间上下文的参数是与运动矢量的分量有关的分数部分。
本发明的另一主题是一种实现了前述编码方法的视频编码器,包括:空间分析电路,接收视频信号,并产生与最低分辨率相对应的最低空间频率的信号以及针对一个或多个较高分辨率的高空间频率的信号;运动估计电路,用于计算运动矢量,所述视频编码器的特征在于包括:电路,考虑基于运动估计的时间上下文,对高空间频率的信号中的至少一个进行熵编码,用于计算时间上下文的参数之一是与运动矢量的分量有关的奇偶性。
本发明的另一主题是一种针对根据上述编码方法进行了编码的、图像序列中的图像的视频解码器,其特征在于包括:熵解码电路,实现了根据运动估计计算时间上下文的算法,用于计算时间上下文的参数之一是与运动矢量的分量有关的奇偶性。
所述方法允许更好地利用连续图像的空间变换的时间冗余,尤其是较高频率,而同时保持了运动和纹理的空间可缩放性。由于运动的多分辨率描述,改进了针对空间可缩放性的每个分辨率的、比率质量方面的压缩性能。
由于未经滤波或预测地使用时间冗余,也改进了解码视频的视觉和客观质量,因为滤波和预测是人工噪声的来源,例如按块进行运动估计时的分块效应。
附图说明
通过以下作为非限制性示例并参照附图而给出的描述,本发明的其他特定特征和优点将变得更加显而易见,其中:
图1示出了根据现有技术的编码方案;
图2示出了根据本发明的编码电路的简化方框图;
图3示出了当前图像的像素(x,y)的时间邻域;
图4示出了像素(x,y)的时间和空间邻域;
图5示出了像素(x,y)的两个时间邻域;
图6示出了像素(m,n)的空间和时间邻域;
图7示出了运动矢量的分量的奇偶性和分数部分;
图8示出了根据本发明的编码电路的方框图。
具体实施方式
图2示出了实现了根据本发明的编码方法的编码电路。这种情况下,选择小波分解,但并非限制性的。
将视频源传输到2D空间分析电路,以参考数字7表示,是小波分解电路。其执行空间分解,以便提供多种空间分辨率的子带系数。产生了最低分辨率系数的第一输出与时间分析电路8相连。与较高分辨率的子带系数相对应的其他输出与采用了运动补偿空间-时间上下文的算术编码电路或MC-STAC(运动补偿空间-时间算术编码)电路的输入相连。时间分析电路8与基于上下文的算术编码或CAE电路9相连。MC-STAC电路的输出对应于多种分辨率。
从视频图像开始,2D空间小波分解电路产生小波系数图像或子图像,每一个对应于给定的空间频带,直到达到解码所能接受的最低分辨率为止。在空间域内,将图像分解为基带或低频带(LL)和高频带(LH、HL、HH)。
时间分析电路8只处理与基带相对应的图像。因此,将来自时间分析电路7的最低空间分辨率信号(LL)传输到时间分析电路8。此电路执行运动估计,然后执行运动补偿时间滤波,也称作MCTF。时间分析在于根据输入频率的接收图像,产生中间图像,以便获得时间可缩放性。例如,这种分析器电路是MC-提升型的,稍后将进行解释。例如,时间滤波在于从根据运动补偿在先图像预测出的图像中减去当前图像。
除了与基带相对应的图像以外的其他图像由运动补偿空间-时间上下文算术编码或MCSTAC电路10进行处理。事实上,最高达原始分辨率的连续分辨率的重构所需的这些子带并不适合于传统滤波或时间预测技术,因而立即对其进行算术编码。为了使用残余的时间冗余,其链接连续的空间高频,此自适应上下文算术编码步骤涉及对运动信息的使用,如此后所解释的那样。
小波系数到空间高频的分配如下:以轮廓分隔零或低幅度系数的大面积连通区域,所述大面积连通区域对应于图像的均匀区域,所述轮廓通常为连续曲线,所述系数的幅度沿着所述轮廓快速地变化,其符号也是如此。
因此,在现有方案中广泛使用的空间上下文数据允许对系数的幅度和符号进行编码,以便大概地进行再现,因此降低了子带的熵,并提高了压缩比。例如,在G.Langdon和J.Rissanen发表于IEEETransactions on Communications,第29卷,第6号,第858~867页,1981年6月的题为“Compression of black-white images witharithmetic coding”的文章中,描述了基于空间上下文的上下文算术编码的运算算法。因为代替了整个信号的全局性的、概率表的估计和使用依赖于上下文,换句话说,根据邻域的可能配置的分类,局部适配,所以此算术算法是与上下文有关的。此类编码很好地适用于对空间DCT或DWT的高频系数进行编码,因为其利用了残余局部空间相关。通常,通过组合紧邻邻域的可能值,确定多种上下文。算术编码是自适应的,因为在编码处理期间,从初始值开始,通过学习过程,执行对统计数据的估计。
根据已知方法,上下文时间维度的实现不是非常有效的处理。除了比严格空间上下文具有更高的信息丰度,由于上述移位变异现象,运动矢量所指向的系数数据可能会误导统计数据学习阶段。根据空间变异的动态,像素图案及其变换的空间滤波器、小波或DCT系数的位移和长度在原理上将具有不同的幅度和不同的符号。如果按照偶数个总像素进行移位,则变换将是“同相”的;如果按照奇数个总像素进行移位,则变换将是“反相”的等。无论估计运动的子像素精度如何,都将遵循这种推论。正是提出将这种区别信息按照创新的方式附加到空间-时间上下文中,以便使连续高频的统计数据的评估最好地向其条件分频会聚。
所提出的方法在于利用上下文熵编码,其中所述上下文包括时间上下文。
熵编码和算术编码允许将低于一比特的平均代码长度用于高可能值。熵编码的关键点是确定描述了要编码的信号的统计数据的特征的概率表。
首先,将简要地回顾自适应概率表的构成,例如,考虑空间上下文。将考虑比特平面编码的情况。在这种情况下,编码中所考虑的数值和上下文是二进制值:0或1。
考虑围绕当前像素且刚刚处理过的像素的数值,例如,考虑三个最接近的邻近像素。因此,可得到23=8个不同的上下文的列表。每个上下文与概率表相关联。这些概率表是自适应的,换句话说在编码的过程中,根据已处理的系数的值进行更新。编码算法通过按照预定的次序遍历图像的系数进行操作。在处理的每一级,上下文以到当前时刻出现的次数以及这些出现中所遇到数值1(或0)的次数为特征。因此,在与给定元素的比特平面有关的当前比特的编码期间,如果此元素的上下文是Cj,递增与Cj有关的出现次数,而且如果该比特的数值是1,则递增遇到数值1的次数。按照如下方式计算在上下文Cj中获得‘零’或‘壹’的概率:获得零的概率(p0)等于给定上下文遇到零的次数除以此上下文出现的总数。因此,已知上下文Cj中当前比特x的概率px,对上下文Cj中的这个比特进行编码。
这里,提出了通过利用信号的多种统计数据和作为空间-时间上下文的函数的概率表,进行熵编码。
在先图像以Iprec来表示,要编码的当前图像以Icur来表示。这些图像不必是亮度图像;其可以是小波系数图像、运动场图像等。
在图3中,分别以参考数字12和11来表示这些图像,其代表当前图像的像素(x,y)的时间邻域。在此当前图像的每个像素(x,y)处,作为其时间邻域的函数,对要处理的数据值进行编码。此时间邻域对应于来自前一图像的数据值,位移像素(pdx,pdy)的邻域局部以参考数字14表示,换句话说,图3中以参考数字13表示的像素(x,y)的运动矢量所指向的局部。
时间上下文,以C(pdx,pdy)表示,是时间邻域的数据的函数。为了简化标注,在以下的描述中,将C(pdx,pdy)表示为C。根据时间上下文中所考虑的系数数k,可以得到2k个上下文的列表。对于每个上下文,按照与时间上下文的情况下所描述的相同方式,按照自适应的方式定义概率表。
当然可以针对不同的比特平面,使用不同的运动场,例如,针对第一比特平面,采用粗糙的运动描述,而对于第二比特平面,采用更为精细的版本等。
时间上下文的使用可以与空间上下文的使用进行组合。如果形成空间上下文的系数的数表示为j,以及k是形成时间上下文的系数数,则可得到2j+k个上下文的列表。
图4示出了利用与坐标为(x,y)的像素(x,y)相关联的运动矢量13所定义的时间邻域14,且与此像素(x,y)周围的空间邻域15进行组合。
根据相同的原理,可以设想使用多于一个时间上下文,按照与使用多幅参考图像的预测类似的方式,如用在具有双向图像的MPEG标准中那样。图5示出了当前图像周围的在先图像和在后图像。前向运动矢量(与MPEG标准中一样)13允许定义与在先图像Iprec相关的时间邻域14,而后向运动矢量16允许定义与在后图像Ifuture相关的时间邻域17。
本发明最重要的方面之一是为了定义空间-时间上下文而采用的参数类型。上述‘移位变异’现象倾向于使上下文算术编解码器‘失去方向’。为了使概率表的自适应不受到这种现象的影响,将作为‘移位变异’的决定因素的参数包括在上下文数据值中。
因此,要考虑的参数是以下参数的全部或一部分:
-给定数量系数的空间邻域;
-所考虑的空间子带的另一已编码时间样本的系数的运动补偿时间邻域;
-位移在所考虑的空间子带的高通滤波方向上的至少一个分量的奇偶性;
-位移在所考虑的空间子带的高通滤波方向上的至少一个分量的分数部分。
位移整数部分的奇偶性允许其时间和空间邻域同相和反相的情况,位移的分数部分允许得出与位移所产生的‘相位-移位’有关的信息。最后,对于这些参数,有利的是只考虑高通滤波方向上的分量,因为其是区分分量。其是水平细节子带(LH)的垂直分量和垂直细节子带(HL)的水平分量。对角线细节子带(HH)是具有两个滤波方向(分为朝向+45°和-45°)的特殊情况。对于此频带,可以同时考虑两个分量,其增加了上下文的数量,或者为了限制此数量,可以使用两个分量的参数的函数。因此,可以考虑如位移的幅度,或者更简单地,两个分量的和,或者只保留具有最高幅度的分量。对于位移幅度,奇偶性与两个相邻像素之间的对角线距离有关。
图6示出了在限制每个上下文的邻近系数的个数和1/4像素的合理运动精度的情况下的空间-时间邻域的示例。以灰色示出的、位于当前图像的行m和列n的当前系数(m,n)的空间邻域18对应于三个先前处理过的邻近系数Lcur、Ucur和Dcur。时间邻域20对应于由指向参考图像的运动矢量19指定的四个系数Xref、Bref、Rref和Dref。系数Xref位于行m+k和列n+1。
图7示出了与位移矢量的分量有关的参数。正交坐标系统21上的轴刻度对应于两个像素之间的距离的四分之一。奇偶性与运动矢量的分量有关。在运动矢量末端周围的过采样网格允许确定对应的分数部分,Fractdx=d1以及Fractdy=dk,在图6所示示例的水平方向上为分数四分之二,以及垂直方向上为分数四分之一。
dx=1+d1是矢量的水平分量,dy=k+dk是矢量的垂直分量。
水平和垂直分量的奇偶性分别为Parx=1 mod 2和Pary=k mod2。根据是否存在奇偶性或非奇偶性,系数同相或反相。
在比特平面内,对小波系数进行编码。对于每个比特平面,确定系数L、U和D的重要性以及系数X、B、R和D的重要性。这通过测量系数值是否大于与要处理的平面有关的比特的权重相对应的数值来实现。还记录分数和奇偶性信息。因此,通常可以由以下的二进制数据流来索引上下文:
L<sub>cur</sub> | U<sub>cur</sub> | D<sub>cur</sub> | Frac<sub>dx</sub> | Frac<sub>dy</sub> | Par<sub>x</sub> | Par<sub>y</sub> | X<sub>ref</sub> | B<sub>ref</sub> | R<sub>ref</sub> | D<sub>ref</sub> |
将每个分数部分编码为2比特(像素的0到3/4)。
在多于一个矢量与系数或像素相关联的情况下,例如,当采用几个参考图像时,当然可以考虑几个矢量的奇偶性和分数参数。
按照传统方式,对传输到时间分析电路8的输入的低频频带进行此电路的运动估计。
可以根据多种方案来执行ME-MCSTAC电路10所实现的运动估计方法(ME),例如:
-在连续的低频频带上的运动估计;
-直接在高频频带上的运动估计。
第一种情况的实现最为简单。在空间分解的每个步骤中,在将低频再次分为四个子频带之前,在低频上估计运动场。由于源可以与像素域相关,可以通过最小化预测误差,按照传统方式执行此估计。
于是,运动在分辨率上连贯,因为其具有要以MC-STAC编码的三个高频频带的维度,并事实上包含所需分辨率的位移信息。
因此,使用以如CIF分辨率估计的运动,以MC-STAC对水平、垂直和对角线细节三个频带进行编码,用于从CIF变为SD分辨率。按照类似的方式,以QCIF分辨率估计的运动,除了用作对针对QCIF分辨率的序列的传统MCTF的支持以外,允许以MC-STAC对用于从QCIF变为CIF分辨率的水平、垂直和对角线细节三个频带进行编码。如下所示,图9描述了采用这种解决方案的编码器。
可能还需要更加专用于MC-STAC应用的运动场。于是,需要估计要进行编码的每个高频频带上的运动;这是第二种情况。由于高频包含比低频少的信息,认为高频上所估计出的场不比低频上所估计出的场重要是合理的。然而,因为上述移位-变异现象,用于估计的判据不再由简单DFD最小化构成。所选择的判据是隐含与MCSTAC相关联的条件熵的最小化。这种判据对应于矢量的回溯选择,并且在资源和复杂性上,可能代价非常大。但是,这当然是最优判据。另一判据是绝对值的差的最小化。这是允许克服移位-变异的一阶妨碍的非常简单的判据。
也可以在比特平面中实现运动估计。
在一个示例中,时间分析电路8依赖于被称为运动补偿提升或MC-Lift的已知技术,以便获得具有所需时间分辨率的图像。MC-Lift在于针对一组图像,构建多种时间分辨率级别。对于每个时间分辨率,除了第一个,通过从较低时间分辨率的图像开始的时间预测来构造图像。
图8按照更为详细的方式描述了实现根据本发明的方法的设备。
编码器的视频输入与在其输出产生低频带LL和高频带LH、HL和HH的2D小波变换(2dWT)电路22相连。低频带LL与2D小波变换电路23和运动估计ME电路24相连。高频带LH、HL和HH与MC-STAC电路25相连。第二2D小波变换电路23在一个输出产生低频带LLLL,而在另一输出产生高频带LLLH、LLHL和LLHH。低频带LLLL与MCTF电路26和运动估计ME电路27相连。高频带与第二MC-STAC电路28相连。
将来自ME电路24的运动信息传输到MC-STAC电路25,以及将来自ME电路27的运动信息传输到MC-STAC电路28。
MC-STAC电路25和28的输出产生SD和CIF分辨率的纹理。ME电路24和27的输出分别与用于编码运动场的电路29和30相连,将SD运动信息提供给电路29,将QCIF和CIF运动信息提供给电路30。MCTF电路26的输出与基于上下文的算术编码CAE电路31相连,算术编码CAE电路31执行熵编码,从而在其输出产生QCIF分辨率的已编码纹理。
因此,电路22和电路23对视频输入信号进行金字塔小波分解。在低频频带上执行上述运动估计。运动补偿空间-时间上下文算术编码MC-STAC电路利用在给定空间分辨率的低频频带上计算出的运动估计,对与此低频带相对应的分辨率的高频带进行编码。
由进行运动补偿时间滤波的MCTF电路26按照传统的方式处理基带LLLL。
实现了本发明的解码方法和电路对应于前述编码方法和电路。
因此,解码方法依赖于根据所述编码方法进行编码的数据流的信息,计算上下文。针对编码中所选择的多种参数,在当前系数的处理期间已经解码的这些信息允许计算和连续更新上下文的列表,以便计算此系数。
熵解码电路实现了根据前述方法计算概率表和上下文的算法。
所描述的编码是比特平面编码,因此是二进制编码。也可以设想采用N元编码(N-ary coding),换句话说,执行N个比特平面的同时编码。因此,除了二进制值(比特平面的二进制值)以外,所采用的上下文考虑包括N个比特的N元数值。由此得到的不同上下文的列表更长,增加了计算的次数,但改进了编码效率。
本说明书涉及‘完全可缩放’方案,换句话说,可同时在空间、时间和保真度上进行缩放的方案,允许任何解码器利用编码流。其他类型的方案,如不具有时间可缩放性,仍然在本发明的范围内。
只描述了在空间高频上利用时间上下文的熵编码,因为空间低频适用于从预测图像开始的时间滤波。当然可以设想在信号的全部空间频率上应用这种熵编码,而不会偏离本发明的范围。
类似地,可以在基带或源图像上进行运动估计。
在分量的整数部分上计算奇偶性。也可以在最接近的整数值上计算奇偶性。
所描述的熵编码是算术编码。根据本发明的方法也可以应用于利用信号的统计属性的其他类型的熵编码,如VLC型的编码。
本发明的应用涉及具有时间预测的视频压缩。
Claims (15)
1、一种对图像序列中的图像进行编码的方法,包括以下步骤(7、22、23):对当前图像进行空间分析,以便产生低空间频率的信号和高空间频率的信号,并执行对与当前图像(11)相对应的当前时间和与参考图像(12)相对应的参考时间之间的运动的估计,以便提供运动矢量(13),
其特征在于所述方法还包括以下步骤:
对与当前图像有关的高空间频率的信号中的至少一个进行熵编码(10、25、28),这种熵编码考虑到基于运动估计的时间上下文(14、17、20),用于定义时间上下文的参数之一是与至少运动矢量的分量有关的奇偶性(21)。
2、根据权利要求1所述的方法,其特征在于,所述用于定义时间上下文的参数之一是与运动矢量的分量有关的分数部分(21)。
3、根据权利要求1所述的方法,其特征在于,对于高空间频率的信号,所考虑的分量是高通空间滤波器方向上的分量。
4、根据权利要求1所述的方法,其特征在于,将时间上下文(14、17、20)与空间上下文(15、18)进行组合。
5、根据权利要求1所述的方法,其特征在于,时间上下文(14、17、20)是基于利用多于一个参考图像(14、17)的多于一个运动估计(13、16)。
6、根据权利要求1所述的方法,其特征在于,所述熵编码是一种算术编码。
7、根据权利要求6所述的方法,其特征在于,算术编码是通过比特平面的编码,以及时间上下文对应于时间参考图像中相同等级的比特平面。
8、根据权利要求6所述的方法,其特征在于,算术编码是N元编码,以及时间上下文对应于时间参考图像中相同等级的N比特平面。
9、根据权利要求1所述的方法,其特征在于,利用通过谱分析产生的信号之一进行运动估计(24、27)。
10、根据权利要求7所述的方法,其特征在于,通过比特平面进行运动估计(24、27),以及针对一个比特平面的时间上下文基于所述比特平面上的运动估计。
11、根据权利要求1所述的方法,其特征在于,空间分析是小波变换。
12、一种对根据权利要求1所述的编码方法进行了编码的、图像序列中的图像进行解码的方法,其特征在于所述方法包括以下步骤:执行与高空间频率信号中的至少一个有关的熵解码,所述熵编码考虑到基于运动估计的时间上下文(14、17、20),用于定义时间上下文的参数之一是与至少运动矢量的分量有关的奇偶性(21)。
13、根据权利要求12所述的解码方法,其特征在于,用于定义时间上下文的参数之一是与运动矢量的分量有关的分数部分(21)。
14、一种实现了根据权利要求1所述的编码方法的视频编码器,包括:空间分析电路(7、22、23),接收视频信号,并产生与最低分辨率相对应的最低空间频率的信号以及针对一个或多个较高分辨率的高空间频率的信号;运动估计电路,用于计算运动矢量,其特征在于所述视频编码器还包括:电路,对高空间频率的信号中的至少一个进行熵编码,所述熵编码考虑到基于运动估计的时间上下文(14、17、20),用于定义时间上下文的参数之一是与至少运动矢量的分量有关的奇偶性(21)。
15、一种针对根据权利要求1所述的编码方法进行了编码的、图像序列中的图像的视频解码器,其特征在于包括:熵解码电路,实现了根据运动估计来计算时间上下文的算法,用于定义时间上下文的参数之一是与至少运动矢量的分量有关的奇偶性(21)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR03/02840 | 2003-03-06 | ||
FR0302840A FR2852179A1 (fr) | 2003-03-06 | 2003-03-06 | Procede de codage d'une image video |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1757238A CN1757238A (zh) | 2006-04-05 |
CN100534182C true CN100534182C (zh) | 2009-08-26 |
Family
ID=32865329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004800057343A Expired - Fee Related CN100534182C (zh) | 2003-03-06 | 2004-02-26 | 考虑与运动矢量的分量相关的部分来编码视频图像的方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US9628819B2 (zh) |
EP (1) | EP1600003B1 (zh) |
JP (1) | JP4438797B2 (zh) |
KR (1) | KR101010420B1 (zh) |
CN (1) | CN100534182C (zh) |
FR (1) | FR2852179A1 (zh) |
MX (1) | MXPA05009483A (zh) |
WO (1) | WO2004082293A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1754385B (zh) * | 2003-02-21 | 2010-07-21 | 日本电气株式会社 | 图像数据分发装置、方法及图像数据接收方法 |
US20050201468A1 (en) * | 2004-03-11 | 2005-09-15 | National Chiao Tung University | Method and apparatus for interframe wavelet video coding |
WO2006098586A1 (en) * | 2005-03-18 | 2006-09-21 | Samsung Electronics Co., Ltd. | Video encoding/decoding method and apparatus using motion prediction between temporal levels |
WO2006104357A1 (en) * | 2005-04-01 | 2006-10-05 | Samsung Electronics Co., Ltd. | Method for compressing/decompressing motion vectors of unsynchronized picture and apparatus using the same |
KR100763179B1 (ko) | 2005-04-01 | 2007-10-04 | 삼성전자주식회사 | 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치 |
JP2007028393A (ja) * | 2005-07-20 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 双方向予測符号化ピクチャの直接モードブロックの動きベクトルを求める方法 |
JP4826546B2 (ja) | 2007-06-18 | 2011-11-30 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
FR2954035B1 (fr) * | 2009-12-11 | 2012-01-20 | Thales Sa | Procede d'estimation de la qualite video a une resolution quelconque |
KR102014332B1 (ko) | 2011-10-21 | 2019-08-26 | 노키아 테크놀로지스 오와이 | 비디오 코딩 방법 및 장치 |
US9571833B2 (en) * | 2011-11-04 | 2017-02-14 | Nokia Technologies Oy | Method for coding and an apparatus |
US10554977B2 (en) * | 2017-02-10 | 2020-02-04 | Intel Corporation | Method and system of high throughput arithmetic entropy coding for video coding |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0671368B2 (ja) | 1988-07-19 | 1994-09-14 | 株式会社クボタ | 田植機の泥圧検出装置 |
JP2631746B2 (ja) | 1989-06-16 | 1997-07-16 | 新東工業株式会社 | 集塵袋詰め装置 |
US5748786A (en) | 1994-09-21 | 1998-05-05 | Ricoh Company, Ltd. | Apparatus for compression using reversible embedded wavelets |
US6195465B1 (en) | 1994-09-21 | 2001-02-27 | Ricoh Company, Ltd. | Method and apparatus for compression using reversible wavelet transforms and an embedded codestream |
US6049362A (en) * | 1996-02-14 | 2000-04-11 | International Business Machines Corporation | Dual prime motion estimation system and method |
EP0797348A3 (en) | 1996-03-22 | 1999-01-20 | Hewlett-Packard Company | A one dimensional context model for entropy encoding digital halftone images with arithmetic coding |
US6188795B1 (en) | 1996-06-13 | 2001-02-13 | Dublin City University | Data compression |
US5748116A (en) | 1996-11-27 | 1998-05-05 | Teralogic, Incorporated | System and method for nested split coding of sparse data sets |
US5959560A (en) | 1997-02-07 | 1999-09-28 | Said; Amir | Data compression via alphabet partitioning and group partitioning |
US7003168B1 (en) | 1997-03-11 | 2006-02-21 | Vianet Technologies, Inc. | Image compression and decompression based on an integer wavelet transform using a lifting scheme and a correction method |
JP3464767B2 (ja) | 1998-12-29 | 2003-11-10 | ソニー株式会社 | ウェーブレット復号装置及び方法 |
US20020141499A1 (en) | 1999-02-04 | 2002-10-03 | Goertzen Kenbe D. | Scalable programmable motion image system |
JP2000295618A (ja) | 1999-03-08 | 2000-10-20 | Texas Instr Inc <Ti> | 埋込み型ゼロトリーパターン及びビットプレーンを使用する画像符号化方法 |
JP2003504987A (ja) | 1999-07-20 | 2003-02-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオシーケンスを圧縮する符号化方法 |
JP4545980B2 (ja) | 2000-05-11 | 2010-09-15 | キヤノン株式会社 | 符号化装置及び符号化方法並びに記憶媒体 |
AU2002228884A1 (en) | 2000-11-03 | 2002-05-15 | Compression Science | Video data compression system |
JP2002223446A (ja) | 2001-01-26 | 2002-08-09 | Ricoh Co Ltd | 画像圧縮装置および画像撮像装置 |
AU2002254184A1 (en) | 2001-03-13 | 2002-09-24 | Loronix Information Systems, Inc. | Method and apparatus for temporal wavelet compression |
US6832005B2 (en) | 2001-03-23 | 2004-12-14 | Microsoft Corporation | Adaptive encoding and decoding of bi-level images |
KR100783396B1 (ko) * | 2001-04-19 | 2007-12-10 | 엘지전자 주식회사 | 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법 |
CN1305311C (zh) | 2001-06-29 | 2007-03-14 | 株式会社Ntt都科摩 | 图像编码装置、图像解码装置、图像编码方法、及图像解码方法 |
US6944225B2 (en) * | 2001-07-24 | 2005-09-13 | Sharp Laboratories Of America, Inc. | Resolution-scalable video compression |
KR20040077777A (ko) | 2002-01-22 | 2004-09-06 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 드리프트-없는 비디오 엔코딩 및 디코딩 방법, 및 대응장치들 |
US7321625B2 (en) * | 2002-12-13 | 2008-01-22 | Ntt Docomo, Inc. | Wavelet based multiresolution video representation with spatially scalable motion vectors |
FR2886787A1 (fr) * | 2005-06-06 | 2006-12-08 | Thomson Licensing Sa | Procede et dispositif de codage et de decodage d'une sequence d'images |
-
2003
- 2003-03-06 FR FR0302840A patent/FR2852179A1/fr active Pending
-
2004
- 2004-02-26 EP EP04714825.9A patent/EP1600003B1/fr not_active Expired - Lifetime
- 2004-02-26 US US10/546,715 patent/US9628819B2/en active Active
- 2004-02-26 JP JP2006505842A patent/JP4438797B2/ja not_active Expired - Fee Related
- 2004-02-26 MX MXPA05009483A patent/MXPA05009483A/es active IP Right Grant
- 2004-02-26 CN CNB2004800057343A patent/CN100534182C/zh not_active Expired - Fee Related
- 2004-02-26 WO PCT/FR2004/050084 patent/WO2004082293A1/fr active Application Filing
- 2004-02-26 KR KR1020057016486A patent/KR101010420B1/ko not_active IP Right Cessation
Non-Patent Citations (6)
Title |
---|
A Two-Layered Wavelet-Based Algorithm for EfficientLossless and Lossy Image Compression. Detlev Marpe ET AL.IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,,Vol.10 No.7. 2000 |
A Two-Layered Wavelet-Based Algorithm for EfficientLossless and Lossy Image Compression. Detlev Marpe ET AL.IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,,Vol.10 No.7. 2000 * |
Compression of Black-White Images with Arithmetic Coding. GLEN G. LANGDON ET AL.IEEE. 1981 |
Compression of Black-White Images with Arithmetic Coding. GLEN G. LANGDON ET AL.IEEE. 1981 * |
Motion Estimation and Compensation Based onAlmost Shift-Invariant Wavelet Transform for Image SequenceCoding. Mohammed A. ET AL.CCC. 1998 |
VIDEO COMPRESSION USING CONTEXT-BASEDADAPTIVE ARITHMETIC CODING. Detlev Marpe ET AL.IEEE. 2001 |
Also Published As
Publication number | Publication date |
---|---|
EP1600003B1 (fr) | 2017-12-06 |
JP2006523396A (ja) | 2006-10-12 |
EP1600003A1 (fr) | 2005-11-30 |
FR2852179A1 (fr) | 2004-09-10 |
KR101010420B1 (ko) | 2011-01-21 |
JP4438797B2 (ja) | 2010-03-24 |
MXPA05009483A (es) | 2006-05-25 |
US9628819B2 (en) | 2017-04-18 |
CN1757238A (zh) | 2006-04-05 |
KR20050106490A (ko) | 2005-11-09 |
WO2004082293A1 (fr) | 2004-09-23 |
US20070189389A1 (en) | 2007-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7321625B2 (en) | Wavelet based multiresolution video representation with spatially scalable motion vectors | |
Bottreau et al. | A fully scalable 3D subband video codec | |
WO2001006794A1 (en) | Encoding method for the compression of a video sequence | |
CN1926876B (zh) | 空间和时间可扩展编码的图像序列的编码和解码方法 | |
WO2004036919A1 (en) | Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering | |
WO2000072602A1 (en) | Multi-dimensional data compression | |
US6553071B1 (en) | Motion compensation coding apparatus using wavelet transformation and method thereof | |
Xing et al. | Arbitrarily shaped video-object coding by wavelet | |
CN100534182C (zh) | 考虑与运动矢量的分量相关的部分来编码视频图像的方法 | |
CN1878304B (zh) | 编码和解码图像序列的方法和设备 | |
Senapati et al. | Listless block-tree set partitioning algorithm for very low bit rate embedded image compression | |
Ye et al. | Fully scalable 3D overcomplete wavelet video coding using adaptive motion-compensated temporal filtering | |
KR19990013991A (ko) | 화상 압축 | |
Fowler et al. | An overview on wavelets in source coding, communications, and networks | |
Taquet et al. | Near-lossless and scalable compression for medical imaging using a new adaptive hierarchical oriented prediction | |
US6956973B1 (en) | Image compression | |
KR101421231B1 (ko) | 웨이블릿 변환을 이용한 영상 압축 장치 | |
CN1568011A (zh) | 一种基于运动联合图像专家组的图像帧间增强方法 | |
JPH05276499A (ja) | 符号化装置及び符号化方法 | |
Thanapirom et al. | A zerotree stereo video encoder | |
Boisson et al. | Motion-compensated spatio-temporal context-based arithmetic coding for full scalable video compression | |
Mei et al. | A wavelet interlaced video coding framework | |
Rüfenacht et al. | Scalable Image and Video Compression | |
Hui et al. | Coding directional angles using context-based adaptive arithmetic code | |
JPH10164574A (ja) | ビデオ圧縮 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090826 Termination date: 20180226 |