CN1381146A - 利用小波变换的视频编码方法 - Google Patents

利用小波变换的视频编码方法 Download PDF

Info

Publication number
CN1381146A
CN1381146A CN01801568A CN01801568A CN1381146A CN 1381146 A CN1381146 A CN 1381146A CN 01801568 A CN01801568 A CN 01801568A CN 01801568 A CN01801568 A CN 01801568A CN 1381146 A CN1381146 A CN 1381146A
Authority
CN
China
Prior art keywords
mould
band
pixel
sub
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01801568A
Other languages
English (en)
Other versions
CN1213611C (zh
Inventor
B·菲尔茨
B·佩斯奎特－波佩斯库
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1381146A publication Critical patent/CN1381146A/zh
Application granted granted Critical
Publication of CN1213611C publication Critical patent/CN1213611C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]

Abstract

本发明涉及用于压缩视频序列的编码方法,该视频序列划分成通过小波变换分解的帧。所述方法基于称为“用分级树分割集合”(SPIHT)的分级子频带编码过程,从视频序列的原始象素集合导出用二进制编码的小波变换系数。这些系数成树形组织,通过振幅测试排序成为对应于各重要性等级的分集,该振幅测试促成三个有序表的划分:非重要集合表(LIS)、非重要象素表(LIP)、重要象素表(LSP)。本发明提出特殊的LIS初始化顺序。而且,描述小波分解的分级金字塔关系的定向树从最低分辨率开发至最高分辨率,同时保持相邻象素在一起,并兼顾图象细节的取向。

Description

利用小波变换的视频编码方法
本发明涉及用于压缩分成帧或帧组的视频序列的编码方法，该帧或帧组通过小波变换分解，该小波变换导出对应于所述变换分解等级的给定的连续分辨率等级数，所述编码方法根据称为“用分级树分割集合”(SPIHT)的分级子频带编码处理、并且从视频序列的原始像素集合导出用二进制格式编码的小波变换系数；所述系数成树形组织并且按次序排列成对应于各重要性等级的分集；所述分集通过振幅测试来定义，该振幅测试促成“重要性”信息划分成三个有序表：非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)；进行所述测试以便随着分划处理将所述原始像素集合分解成所述分集，直至所述二进制表示中每个重要系数都被编码。
可认为传统视频压缩方案包括四大模块：运动估计和补偿、系数变换(例如，离散余弦变换或小波分解)、系数量化和编码、以及平均信息编码。当一视频编码器可升级时，这意味着它须能从低比特率到高比特率编码图像，以随比特率增加提高视频信号质量。小波分解的变换方法自然提供图像的分级显示，显然比传统的离散余弦变换(DCT)更适合于可升级的方案。
小波分解允许原始输入信号由子频带信号集合描述。每个子频带实际上代表给定分辨率等级的、一定频率范围内的原始信号。通常采用一套一维滤波器组将图像分解成互不关联的子频带，该滤波器组先滤波当前图像行，再滤波滤波后的图像列。该操作的例子描述见S.S.Goh著的“图像的小波分解置换”，Signal Processing，卷44，No.1，1995年6月，27页至38页。实际采用两个滤波器------低通和高通滤波器来分离图像的低频和高频。首先对图像行进行该操作，再用因数2进行二次抽样操作，接着对二次抽样后的图像列进行该操作，再用因数2对取得的图像进行下降抽样。这样就取得4个比原图像小4倍的图像：一个低频子图像(或“平滑图像”)，它包括相关的原始图像的初始内容的主要部分，因此显示了所述图像的近似性；三个高频子图像，它们仅包括所述原始图像的水平、垂直及对角细节。该分解处理过程一直持续到显然不再有有用信息从上一平滑图像中导出。
有一种采用二维(2D)小波分解的计算上更为简单的图像压缩技术，描述见A.Said和W.A.Pearlman著的“基于分级树分割集合(SPIHT)的新型、快速而有效的图像编解码器”，IEEE Transactions on Circuitsand Systems for Video Technology，卷6，No.3，1996年6月，第243页至250页。如所述文件中解释的，原始图像可用一组像素值p(x，y)定义(其中x和y是像素坐标)，并通过分级子频带变换编码，表示为以下公式(1)：
c(x，y)＝Ω(p(x，y))    (1)
其中，Ω表示变换，而每个元素c(x，y)称为“像素坐标(x，y)的转换系数”。
主要目的是选最重要的信息先发送，这样就可使这些变换系数按照它们的振幅排序(具备大振幅的系数包含较多信息内容，应优先发送，或至少将它们的最高有效位先发送)。如果该排序信息以显式的方式发送给解码器，那么发送相对小部分的像素坐标，便可恢复较好质量的图像。如果该排序信息未能以显式的方式发送，那么可设想该编码算法的执行路径由关于其分支点的比较结果定义，并且采用
同样分类算法的解码器如果收到该振幅比较结果便能复制该编码器的这一执行路径。然后可从该执行路径中恢复该排序信息。
所述排序算法中重要一点是不必对所有系数排序，只需排如2n≤|cx，y|＜2n+1(n按每个通道递减)的系数。给定n，如果|cx，y|≥2n(n称为重要性等级)，那么某系数便是重要系数；否则就不重要。该排序算法将像素集合分成分隔子集Tm并执行振幅测试(2)： max ( x , y ) ∈ T m { | c x , y | } ≥ 2 n ? - - - ( 2 )
如果解码器收到信息“否”(所有相关子集不重要)，就知子集Tm的系数不重要。如果答案是“是”(所述子集是重要的)，那么编码器和解码器所分享的预定规则用于将Tm分成新子集Tm，∈，重要性测试继续用于这些新子集。该集合分割处理一直持续到对所有单坐标重要子集都进行了振幅测试，以便标示每一个重要系数，并允许对其进行二进制编码。
为减少发送的振幅比较(即、关于信息位)的次数，可定义集合分割规则，它采用子频带金字塔所定义的期待的分级排序。目的是要创建新的分割使认为不重要的分集包含大量元素，而使认为重要的分集只包含一个元素。为弄清楚振幅比较与信息位之间的关系，可采用以下公式：
来表示坐标子集T的重要性。
另外，曾观察到子频带间存在空间自相似性。若沿同样空间方向在金字塔上向下移，可期望系数有更好的振幅排序。例如，如果期望低活动率区在金字塔最高等级上标示出，那么它们会以较低级别复制在相同空间位置，但具备更高分辨率。称为空间定向树的树结构自然定义小波分解的分级子频带金字塔的空间关系。图1显示出在由递归的4-子频带分割构成的金字塔中如何定义空间定向树。树的每个节点或者没有子节点(叶)或者有4子节点(其常形成2×2相邻像素组)，它们由此与有相同空间指向的像素相对应。图1中，箭头从母节点指向其子节点。金字塔最高级别的像素是树的根部，并且按2×2相邻像素进行分组。然而，它们的子节点分支规则是不同的，并且每一组中，它们中间的一个(图1中以墨点表示)没有后代。
以下坐标集合用以表示该编码方法，(x，y)表示系数位置：
O(x，y)：节点(x，y)的所有子节点的坐标集合；
D(x，y)：节点(x，y)的所有后代节点的坐标集合；
H：所有空间定向树根(金字塔最高级别节点)的坐标集合；
L(x，y)＝D(x，y)-O(x，y)。
正如所观察到的，测试子集重要性等级所遵循的顺序是重要的，实际操作时“重要性”信息存储在三个有序表中，称为非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)。所有这些表中，每个条目都由坐标(x，y)标识，在LIP和LSP中该坐标表示各个像素，在LIS中或者表示集合D(x，y)或者表示集合L(x，y)(称表示D(x，y)的LIS条目为A类，表示L(x，y)的为B类，以示区别)。SPIHT算法实际上是以操纵LIS、LIP和LSP三个表为基础的。
对于平均信息编码模块来说，算术编码技术比Huffmann编码对视频压缩更有效，因为：取得的码长非常接近于最佳长度，该方法尤其适用于自适应模块(高速评估源统计数字)，并且可分为两个独立的模块(建模模块和编码模块)。下面主要介绍建模模块，包括某些源串操作(source-string)事件及其上下文的确定，和估计相关统计数字的方法。
上下文用来捕捉相关的整个源串操作集合的冗余。在原始视频序列中，像素值实际上取决于其周围的像素值。小波分解后，所有子频带仍保持同样的“地理”互依性。如果系数发送的顺序保持着这种互依性，那么就有可能利用有界记忆树源的通用编码框架中的“地理”信息，例子描述见M.J.Weinberger等的《通用有限记忆源》，IEEE Transactions on Information Theory，卷41，No.3，1995年5月，643页至652页。有限记忆树源有这样的特点，即下一符号概率取决于最近符号的实际值。有限记忆树源的二进制顺序通用源编码处理经常采用上下文树，在给定考虑的上下文的情况下它包括每个串(上下文)中0和1出现的次数。在给定d个先前的比特的情况下，该树允许估计符号概率：
^P(Xn|xn-1···xn-d)，其中，xn是所检查的比特值，xn-1···xn-d表示上下文，即先前的比特序列。当条件事件因上下文稀度问题或模型成本而增多时，评估任务会比较艰巨。
解决这一问题，一个办法是上下文树加权，详见F.M.J.Willems等的《上下文树加权方法：基本特性》，IEEE Transactions on InformationTheory，卷41，No.3，1995年5月，653页至664页。该法的主旨是采用所检查的比特的最有效上下文估计来加权概率。实际上，有时采用更短的上下文来对某比特位编码(如果上下文中后面的比特位对当前比特位没有影响，可以不予考虑)会更有效。该技术缩短了最终码长。因此在算术编码中，有效模型和上下文的确定是关键一步。
2D SPIHT算法主要是拿与不同分辨率的同一图像区对应的像素集与先前称为“重要性等级”的值作比较，它的基础是一重要概念：利用原始图像中固有的自相似性预测小波分解范围的重要信息的缺席。这意味着如果小波分解最低等级的系数不重要，那么同区域其他等级的系数也极可能不重要。不幸的是，利用子频带之间冗余的SPIHT算法“破坏”了每个子频带内相邻像素间的互依性。
因此，本发明第一目的是改进SPIHT算法的扫描顺序，以重建每个子频带内像素间的相邻关系。
为此目的，本发明涉及用于压缩包含连续帧的视频序列的编码方法，每个帧通过二维(2D)小波变换分解，该小波变换导出对应于所述变换的分解等级的给定的连续分辨率等级数；所述编码方法基于称为“用分级树分割集合”(SPIHT)的分级子频带编码处理，从视频序列的原始像素集合导出用二进制格式编码的小波变换系数；所述系数组织成空间定向树，该树起植于最低频率，或空间近似性、子频带，结束于高频子频带的某子集；所述树中的系数被进一步排序成为对应于各重要性等级的分集，并通过振幅测试来定义；该振幅测试促成把“重要性”信息划分为三个有序表：非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)；所述测试根据分解过程将所述原始像素集合分解成所述分集，该分解过程持续至对所述二进制表示中每个重要系数进行了编码；所述方法的特征还在于包括以下步骤：
(A)初始化步骤，所有坐标为(x，y)的像素分别从0变化到_x，从0变化到_y，用所述空间相似子频带的系数(坐标为x＝0(模2)和y＝0(模2)的除外)将所述LIS表初始化，初始化顺序如下所述：
(a)  把所有x＝1(模2)和y＝0(模2)的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(b)  把所有x＝1(模2)和y＝1(模2)的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(c)  把所有x＝0(模2)和y＝1(模2)的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(B)开发步骤，从最低分辨率到最高分辨率开发定义小波分解的分级子频带金字塔空间关系的空间定向树，同时保持相邻像素在一起，并兼顾图像细节的定向；多亏子系数的锯齿扫描顺序，所述子系数得以开发；对于水平和对角的细节子频带，图7显示出4子系数组及该组沿水平方向导向下一组的路径，图8显示出4子系数组及该组沿竖直方向导向下一组的路径，图9和图10分别显示最差分辨率和较好分辨率的情况。
本发明的又一目的是用三维(3D)SPIHT算法贯彻同样的原理。
为此目的，本发明涉及用于压缩包含连续帧组的视频序列的编码方法，每个帧组通过三维(3D)小波变换分解，该小波变换导出对应于所述变换分解等级的给定的连续分辨率等级数；所述编码方法基于称为“用分级树分割集合”(SPIHT)的分级子频带编码处理，从视频序列的原始像素集合导出用二进制编码的小波变换系数；所述系数组织成时空定向树，该树起植于最低频率，或时空近似性、子频带，结束于高频子频带的某子集；所述树中的系数被进一步排序成为对应于各重要性等级的分集，并由振幅测试来定义；该振幅测试促成把“重要性”信息划分为三个有序表：非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)；所述测试根据分解过程将所述原始像素集合分解成所述分集，该分解过程持续至对所述二进制表示中每个重要系数进行了编码；所述方法的特征还在于包括以下步骤：
(A)初始化步骤，3D小波变换导致的时空相似子频带包括时间相似子频带中两帧的空间相似子频带，以z＝0和z＝1标记，同时，所有坐标为(x，y，z)的像素的x和y分别从0变化到_x，从0变化到_y，用所述时空相似子频带的系数(坐标为z＝0(模2)、x＝0(模2)和y＝0(模2)的除外)将所述LIS表初始化，初始化顺序如下所述：
(a)    把所有x＝0(模2)、y＝0(模2)和z＝1的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(b)    把所有x＝1(模2)、y＝0(模2)和z＝0的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(c)    把所有x＝1(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(d)    把所有x＝0(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(B)开发步骤，从最低分辨率到最高分辨率开发定义小波分解的分级子频带金字塔时空关系的时空定向树，同时保持相邻像素在一起，并兼顾图像细节的定向；多亏子系数的锯齿扫描顺序，所述子系数得以开发；对于水平和对角的细节子频带，图7显示出4子系数组及该组沿水平方向导向下一组的路径，图8显示出4子系数组及该组沿竖直方向导向下一组的路径，图9和图10分别显示最差分辨率和较好分辨率的情况。
LIS初始化在该算法中扮演重要角色。该表的特殊组织、子系数的特殊扫描及原始算法的细小改动都可深层探测所述树，同时保持相邻像素在一起，并兼顾图像细节的定向。
下面参照附图更详细地描述本发明，附图中：
图1显示2D情况下空间定向树的母-子互依性的实例；
图2显示在水平细节子频带中具有子系数的根子频带系数的建议的扫描顺序；
图3显示在对角细节子频带中具有子系数的根子频带系数的建议的扫描顺序；
图4显示在竖直细节子频带中具有子系数的根子频带系数的建议的扫描顺序；
图5显示对细节子频带有组织的定向扫描；
图6显示时空定向树(3D SPIHT)的母-子互依性的实例；
图7显示具有4子系数的组的建议的扫描顺序及从一个组水平导向另一组的路径(子频带细节在水平或对角方向)；
图8显示具有4子系数的组的建议的扫描顺序及从一个组竖直导向另一组的路径(子频带细节在竖直方向)；
图9显示最低分辨率子频带系数的扫描顺序；
图10显示对具有水平取向细节的子频带两种分辨率等级的扫描顺序(在像素附近，特别注意从一像素组导向另一像素组的路径)。
可以看得出，将算术编码有效插入SPIHT算法的主要挑战在于保持上下文中的相邻。LIS的初始组织和读取子集的特殊顺序允许部分重建系数的地理扫描，这在仅限于亮度分量的2D SPIHT算法中首先解释，之后又在作为扩展的包含色度分量的3D SPIHT算法中解释。
2D SPIHT算法扫描所有采用母-子互依性的空间子频带的像素，以原先储存在LIP表的根子频带系数(一部分储存在LIS中)作为起点。通过对空间子树的根的不同排序，可以一个接一个地重建较高水平子频带的连贯检查顺序，甚至兼顾细节的空间取向(当考虑用最佳方向扫描时可以更好开发细节的取向)。
因此，建议采用以下扫描方法用相近子频带(坐标为(x，y)的像素，x从0变化到_x，y从0变化到_y)的系数将LIS初始化：
(a)    通过水平扫描子频带，将所有x＝1(模2)和y＝0(模2)的像素(x，y)列入所述表中(第一例对应于图2)；
(b)    通过水平扫描子频带，将所有x＝1(模2)和y＝1(模2)的像素(x，y)列入所述表中(第二例对应于图3)；
(c)    通过竖直扫描子频带，把所有x＝0(模2)和y＝1(模2)的像素(x，y)列入所述表中，该例对应于图4的第三种情况(x＝0(模2)和y＝0(模2)的像素(x，y)未插入LIS)。多亏LIS如此组织，2D算法以规定的细节检查顺序扫描子频带：先读取包含水平细节的子频带，再读取包含对角细节(顺序对其不是很重要)的子频带，最后读取包含竖直细节的子频带，从最低分辨率到最高分辨率，如图5所示(R＝根；D＝细节)。
依据本发明的技术措施可扩展至三维的情况。3D SPIHT算法的描述见例如“采用三维的分级树分割集合(SPIHT)的嵌入式小波视频编码器”，B.J.Kim和W.A.Pearlman所著，Proceedings of DCC’97，1997年3月25-27，Snowbird，Utah，USA，251页到260页，它与之前二维的情况差别不大。对帧组(GOF)进行3D小波分解操作。按照所述时间方向实现运动补偿和时间滤波。3D时空集合代替空间集合(2D)，也可定义系数树具备同样的时空取向并依赖母-子关系连结。3D情况下的这些连结见图6。树根由最低分辨率的相近子频带的像素组成(“根子频带”)。3D SPIHT算法中，除叶子外的所有子频带中，每个像素有8个子像素，相应地，每个像素有一个母像素。该规则的一个例外是：树根中，8个像素有一个没有子像素。
2D的情况下，时空定向树自然定义分级小波分解的时空关系，采用了以下系数集合：
O(x，y，z chroma)：节点(x，y，z chroma)的所有子节点的系数集合；
D(x，y，z chroma)：节点(x，y，z chroma)的所有后代节点的系数集合；
H(x，y，z chroma)：所有时空定向树根(最高金字塔级别的节点)的系数集合；
L(x，y，z chroma)＝D(x，y，z chroma)-O(x，y，z chroma)；
其中，(x，y，z)表示系数位置，“chroma”表示Y、U或V。有三个有序表：LIS(非重要集合表)、LIP(非重要像素表)、LSP(重要像素表)。所有这些有序表用坐标(x，y，z chroma)标示每个条目，它在LIP和LSP中表示个体像素，而在LIS中表示D(x，y，z chroma)或L(x，y，z chroma)集合。将表示D(x，y，z，chroma)的LIS条目称为A类，表示L(x，y，z，chroma)的LIS条目称为B类，以示区别。同先前2D的情况一样，3D SPIHT算法也以操纵LIS、LIP和LSP三个表为基础。
根据本发明对该方法的3D扩展没有对时间轴进行任何特别的初始化。时间近似子频带的两个帧用z＝0和z＝1标记，现建议以下初始化顺序：
(a)将所有x＝0(模2)、y＝0(模2)和z＝1的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(b)将所有x＝1(模2)、y＝0(模2)和z＝0的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(c)将所有x＝1(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(d)将所有x＝0(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接着是色度分量U和V。
(d)是竖直扫描，而其他是水平扫描。
本方法的第二主要方面是子系数的不同的校验顺序。大致原则是沿每个子频带的细节取向扫描。这使得大量使用1S和2S的几率增大，算术编码器能容易地压缩这些1S和2S。每种分辨率等级扫描两个4子系数集合(或图中GOC指定的子集合)，图7显示出水平和对角的细节子频带的情况，图8显示出竖直的细节子频带的情况。图9描述像素电平的扫描顺序，举例说明最低分辨率等级的扫描。像素的扫描以4个组来进行，图6描述一个组指向另一个组的路径(该路径方向亦沿每个子频带的细节取向(见1、2、3点))。较好分辨率的扫描顺序参照“地理”近似性，即可以尽可能的不从一行跳至另一行。取而代之的是，可以采用图10给出的扫描顺序。4像素的组的扫描同以前一样。图10描述一个组指向另一个组的路径，图6描述组等级的情况(4、5、6点)。
需要注意的是，根据所描述的编码方法，可提出任何不超越本发明范畴的修正或改进。例如，很显然可以用有线电路实现本编码方法，也可以通过一套储存在电子、磁或光学计算机可读介质或其它类型存储器中的指令来实现，所述指令应至少取代所述电路的一部分，而且在合适的计算机、数据处理器、中央处理单元、专用集成电路或任何其他类型处理器的控制下可以实施，以便执行被代替电路所实现的相同的功能。本发明也可采用这样一种计算机可读介质，该介质包括含有计算机可执行指令的软件模块，用以执行所述方法的步骤或部分步骤。
根据以上提及的文件“新型、快速而有效的图像编解码器......”中描述的编码方法和相关软件，以3D的情况为例，根据本发明所修改的算法如下所示：
1.初始化：
输出n＝「log2(max(x，y，z，chroma){|Cx，y，zchroma|})」，设置LSP为空表，以预定的顺序，把坐标(x，y，z，chroma)εH加到LIP，并且把那些有后代的也加到LIS，作为A类条目。
2.排序扫描：
2.1    对于LIP中的每个(x，y，z，chroma)条目进行：
2.1.1  输出比特＝Sn(x，y，z，chroma)；
2.1.2  如果(bit＝1)，那么：
将(x，y，z，chroma)移到LSP，并输出比特＝sign(x，y，z，chroma)；
2.2    对于LIS中的每个(x，y，z，chroma)条目进行：
2.2.1  如果该条目属A类，那么：
输出比特＝Sn(D(x，y，z，chroma))；
如果(bit＝1)，那么：
a)对于每个(x’，y’，z’，chroma)εO(x，y，z，chroma)进行：
输出比特＝Sn(x’，y’，z’，chroma)；
如果(bit＝1)，那么：
将(x’，y’，z’，chroma)移到LSP末尾，并输出比特＝sign(x’，y’，z’，chroma)；或者
将(x’，y’，z’，chroma)移到LIP末尾
b)如果L(x，y，z，chroma)≠0，将(x，y，z，chroma)作为B类移到LIS末尾，重复步骤2.2.2，或者将条目(x，y，z，chroma)从LIS中清除；
如果该条目是B类条目，那么：
输出比特＝Sn(L(x，y，z，chroma))；
如果(bit＝1)，那么：
a)   将每个(x’，y’，z’，chroma)εO(x，y，z，chroma)作为A类条目添加到LIS列尾；
b)   从LIS中清除(x，y，z，chroma)。
3.提纯
对于LSP的每个条目(x，y，z，chroma)，除去那些最近的排序扫描所包含的条目(即有相同n的条目)外，输出C(x，y，z，chroma)的第n个最重要比特；
4.更新量化步骤：n减去1，回到步骤2。

Claims (6)

1.一种用于压缩包含连续帧的视频序列的编码方法，每个帧通过二维(2D)小波变换分解，所述小波变换导出对应于所述变换的分解等级的给定的连续分辨率等级数；所述编码方法基于称为“用分级树分割集合”(SPIHT)的分级子频带编码操作，从视频序列的原始像素集合导出用二进制编码的小波变换系数；所述系数组织成空间定向树，所述树起植于最低频率，或空间近似性、子频带，结束于高频子频带的某子集；所述树中的系数被进一步排序成为对应于各重要性等级的分集，并通过振幅测试来定义；所述振幅测试促成把“重要性”信息划分为三个有序表：非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)；所述测试根据分解过程将所述原始像素集合分解成所述分集，所述分解过程持续至对所述二进制表示中每个重要系数进行了编码；所述方法的特征在于包括以下步骤：
(A)初始化步骤，所有坐标为(x，y)的像素分别从0变化到_x，从0变化到_y，用所述空间相似子频带的系数(坐标为x＝0(模2)和y＝0(模2)的除外)将所述LIS表初始化，初始化顺序如下所述：
(a)    把所有x＝1(模2)和y＝0(模2)的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(b)    把所有x＝1(模2)和y＝1(模2)的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(c)    把所有x＝0(模2)和y＝1(模2)的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(B)开发步骤，从最低分辨率到最高分辨率开发定义小波分解的分级子频带金字塔空间关系的空间定向树，同时保持相邻像素在一起，并兼顾图像细节的定向；多亏子系数的锯齿扫描顺序，所述子系数得以开发；对于水平和对角的细节子频带，图7显示出4子系数组及所述组沿水平方向导向下一组的路径，图8显示出4子系数组及所述组沿竖直方向导向下一组的路径，图9和图10分别显示最差分辨率和较好分辨率的情况。
2.一种用于压缩包含连续帧组的视频序列的编码方法，每个帧组通过三维(3D)小波变换分解，所述小波变换导出对应于所述变换分解等级的给定的连续分辨率等级数；所述编码方法基于称为“用分级树分割集合”(SPIHT)的分级子频带编码操作，从视频序列的原始像素集合导出用二进制编码的小波变换系数；所述系数组织成时空定向树，所述树起植于最低频率，或时空近似性、子频带，结束于高频子频带的某子集；所述树中的系数被进一步排序成为对应于各重要性等级的分集，并由振幅测试来定义；所述振幅测试促成把“重要性”信息划分为三个有序表：非重要集合表(LIS)、非重要像素表(LIP)、重要像素表(LSP)；所述测试根据分解过程将所述原始像素集合分解成所述分集，所述分解过程持续至对所述二进制表示中每个重要系数进行了编码；所述方法的特征在于包括以下步骤：
(A)  初始化步骤，3D小波变换导致的时空相似子频带包括时间相似子频带中两帧的空间相似子频带，以z＝0和z＝1标记，同时，所有坐标为(x，y，z)的像素的x和y分别从0变化到_x，从0变化到_y，用所述时空相似子频带的系数(坐标为z＝0(模2)、x＝0(模2)和y＝0(模2)的除外)将所述LIS表初始化，初始化顺序如下所述：
(a)  把所有x＝0(模2)、y＝0(模2)和z＝1的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(b)  把所有x＝1(模2)、y＝0(模2)和z＝0的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(c)  把所有x＝1(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(d)  把所有x＝0(模2)、y＝1(模2)和z＝0的像素列入所述表中，先是亮度分量Y接着是色度分量U和V；
(B)  开发步骤，从最低分辨率到最高分辨率开发定义小波分解的分级子频带金字塔时空关系的时空定向树，同时保持相邻像素在一起，并兼顾图像细节的定向；多亏子系数的锯齿扫描顺序，所述子系数得以开发；对于水平和对角的细节子频带，图7显示出4子系数组及所述组沿水平方向导向下一组的路径，图8显示出4子系数组及所述组沿竖直方向导向下一集合的路径，图9和图10分别显示最差分辨率和较好分辨率的情况。
3.一种为对包含连续帧的视频序列进行编码而设置的计算机可执行程序步骤，所述程序步骤存储在计算机可读介质中并且是为实施根据权利要求1的编码方法而设置的。
4.一种包含一个或一个以上为实施根据权利要求1的编码方法而设置的软件程序的计算机可读介质。
5.一种为对包含连续帧的视频序列进行编码而设置的计算机可执行程序步骤，所述程序步骤存储在计算机可读介质中并且是为实施根据权利要求2的编码方法而设置的。
6.一种包含一个或一个以上为实施根据权利要求2的编码方法而设置的软件程序的计算机可读介质。
CNB018015689A 2000-04-04 2001-03-26 利用小波变换的视频编码方法 Expired - Fee Related CN1213611C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00400932 2000-04-04
EP00400932.0 2000-04-04

Publications (2)

Publication Number Publication Date
CN1381146A true CN1381146A (zh) 2002-11-20
CN1213611C CN1213611C (zh) 2005-08-03

Family

ID=8173633

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018015689A Expired - Fee Related CN1213611C (zh) 2000-04-04 2001-03-26 利用小波变换的视频编码方法

Country Status (6)

Country Link
US (1) US6735342B2 (zh)
EP (1) EP1279290A1 (zh)
JP (1) JP2003530036A (zh)
KR (1) KR20020026175A (zh)
CN (1) CN1213611C (zh)
WO (1) WO2001076255A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110958B (zh) * 2006-07-19 2010-06-23 索尼株式会社 信息处理装置和方法
CN101980466A (zh) * 2010-11-11 2011-02-23 北京航空航天大学 一种联合spiht压缩与不等差错保护编码的码流传输方法
CN101986385A (zh) * 2010-11-15 2011-03-16 深圳市洲明科技股份有限公司 Led显示屏图像压缩、解压缩方法
CN102074023A (zh) * 2010-12-31 2011-05-25 天津工业大学 一种图像的纯二维5/3小波分解和重构方法
CN102656884A (zh) * 2009-12-16 2012-09-05 国际商业机器公司 使用像素流执行视频编码
CN108366261A (zh) * 2011-11-07 2018-08-03 佳能株式会社 图像编码设备

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533102A (ja) 2000-05-03 2003-11-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオシーケンスの圧縮のための符号化方法
JP2005531966A (ja) * 2002-06-28 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 映像復号化方法および装置
JP3504256B1 (ja) * 2002-12-10 2004-03-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
US20040257987A1 (en) * 2003-06-22 2004-12-23 Nadeemul Haq Robust interactive communication without FEC or re-transmission
US7583849B2 (en) * 2005-07-25 2009-09-01 Microsoft Corporation Lossless image compression with tree coding of magnitude levels
JP4424522B2 (ja) * 2006-07-13 2010-03-03 日本電気株式会社 符号化及び復号化装置ならびに符号化方法及び復号方法
US7496453B2 (en) * 2006-11-07 2009-02-24 The Hong Kong Polytechnic University Classification of herbal medicines using wavelet transform
AU2008247347A1 (en) 2007-05-03 2008-11-13 Google Inc. Monetization of digital content contributions
US8094872B1 (en) * 2007-05-09 2012-01-10 Google Inc. Three-dimensional wavelet based video fingerprinting
US8611422B1 (en) 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US8285068B2 (en) 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
CN101404772B (zh) * 2008-11-19 2010-09-22 中国科学院光电技术研究所 基于小波变换的vlsi图像压缩编码器
US8615044B2 (en) * 2009-06-05 2013-12-24 Cisco Technology, Inc. Adaptive thresholding of 3D transform coefficients for video denoising
US8358380B2 (en) * 2009-06-05 2013-01-22 Cisco Technology, Inc. Efficient spatial and temporal transform-based video preprocessing
US8571117B2 (en) * 2009-06-05 2013-10-29 Cisco Technology, Inc. Out of loop frame matching in 3D-based video denoising
US8520731B2 (en) * 2009-06-05 2013-08-27 Cisco Technology, Inc. Motion estimation for noisy frames based on block matching of filtered blocks
US8619881B2 (en) * 2009-06-05 2013-12-31 Cisco Technology, Inc. Estimation of temporal depth of 3D overlapped transforms in video denoising
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
BRPI1014232A2 (pt) * 2009-06-09 2016-04-12 Sony Corp aparelho para gerar múltiplas árvores de codificação de candidato para uso durante codificação, sistema para codificação e de codificação adaptável de imagens ou vídeos, e, método para gerar múltiplas árvores de codificação de candidato
JP6029979B2 (ja) * 2009-08-20 2016-11-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ツリー構造を再使用してバイナリ・セットを符号化および復号する方法および装置
US8180880B2 (en) * 2009-11-25 2012-05-15 At&T Intellectual Property I, L.P. Active intelligent content
US9628674B2 (en) 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US9635308B2 (en) 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
US8472725B2 (en) 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
MY177645A (en) * 2010-09-30 2020-09-23 Samsung Electronics Co Ltd Video encoding method for encoding hierarchical-structure symbols and a device thereof, and video decoding method for decoding hierarchical-structure symbols and a device thereof
JP2012209673A (ja) * 2011-03-29 2012-10-25 Sony Corp 情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラム
CN105847827B (zh) 2012-01-20 2019-03-08 索尼公司 有效度图编码的复杂度降低
CN103281534B (zh) * 2013-05-15 2016-08-10 西北工业大学 一种高光谱图像压缩加密方法
US10630985B2 (en) 2016-05-27 2020-04-21 Samsung Electronics Co., Ltd. Method for scanning coding blocks inside a video frame by video codecs
US9832351B1 (en) 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms
CN107257473B (zh) * 2017-07-18 2020-01-10 西安电子科技大学 一种高效的图像压缩算法
CN114449248B (zh) * 2022-01-07 2024-02-06 北京工业大学 基于球面小波变换的球面图像压缩方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5276525A (en) * 1991-03-22 1994-01-04 Bell Communications Research, Inc. Two-dimensional block scanning for subband image and video coding
US5563960A (en) * 1993-01-22 1996-10-08 David Sarnoff Research Center, Inc. Apparatus and method for emphasizing a selected region in the compressed representation of an image
EP0817494A3 (en) * 1996-06-28 1998-07-22 Oki Electric Industry Co., Ltd. Image coding method and apparatus
EP0914746B1 (en) * 1997-04-02 2003-06-04 Koninklijke Philips Electronics N.V. Image handling system and method
JP3213582B2 (ja) * 1997-05-29 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
JPH11191153A (ja) * 1997-12-26 1999-07-13 Ricoh Co Ltd ウェーブレット変換係数の符号化方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110958B (zh) * 2006-07-19 2010-06-23 索尼株式会社 信息处理装置和方法
CN102656884A (zh) * 2009-12-16 2012-09-05 国际商业机器公司 使用像素流执行视频编码
CN101980466A (zh) * 2010-11-11 2011-02-23 北京航空航天大学 一种联合spiht压缩与不等差错保护编码的码流传输方法
CN101980466B (zh) * 2010-11-11 2012-12-12 北京航空航天大学 一种联合spiht压缩与不等差错保护编码的码流传输方法
CN101986385A (zh) * 2010-11-15 2011-03-16 深圳市洲明科技股份有限公司 Led显示屏图像压缩、解压缩方法
CN102074023A (zh) * 2010-12-31 2011-05-25 天津工业大学 一种图像的纯二维5/3小波分解和重构方法
CN108366261A (zh) * 2011-11-07 2018-08-03 佳能株式会社 图像编码设备
US10645401B2 (en) 2011-11-07 2020-05-05 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US10652554B2 (en) 2011-11-07 2020-05-12 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US10750192B2 (en) 2011-11-07 2020-08-18 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
CN108366261B (zh) * 2011-11-07 2020-12-25 佳能株式会社 图像编码设备

Also Published As

Publication number Publication date
US6735342B2 (en) 2004-05-11
CN1213611C (zh) 2005-08-03
US20010046326A1 (en) 2001-11-29
WO2001076255A1 (en) 2001-10-11
KR20020026175A (ko) 2002-04-06
JP2003530036A (ja) 2003-10-07
EP1279290A1 (en) 2003-01-29

Similar Documents

Publication Publication Date Title
CN1213611C (zh) 利用小波变换的视频编码方法
CN1161708C (zh) 对基于子波编码方法产生的子波树进行编码的装置与方法
JP3970521B2 (ja) 画像圧縮における埋込みクワッドツリーウェーブレット
JP4204165B2 (ja) 画像圧縮装置
US6347157B2 (en) System and method for encoding a video sequence using spatial and temporal transforms
US6483946B1 (en) Apparatus and method for encoding zerotrees generated by a wavelet-based coding technique
CN1301493C (zh) 对三维对象数据进行编码和解码的方法及装置
CN1182331A (zh) 通过直接离散余弦变换映射改变分辨率的设备和方法
CN100348045C (zh) 析像度变换方法及装置
JP4768728B2 (ja) 値のブロックをエンコードする方法および装置
CN1135848C (zh) 图像传输中的方法与装置
CN1197381C (zh) 使用小波分解的视频编码方法
CN1381142A (zh) 用于视频序列压缩的编码方法
CN1211146A (zh) 图象压缩
Cappellari et al. Resolution scalable image coding with reversible cellular automata
CN1914926A (zh) 运动图像编码方法和设备以及运动图像解码方法和设备
CN101044764A (zh) 视频图像的分级编码方法
CN1294522C (zh) 用于多标度零树熵编码的设备和方法
JP4726040B2 (ja) 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体
CN1926860A (zh) 用于降低量化噪声传播效应的最佳空域－时域变换
CN101056406A (zh) 基于混合小波编码的医学超声图像压缩方法
CN1577398A (zh) 根据每块的能量编码静止图像的离散小波变换器件与方法
Bernabé et al. A lossy 3D wavelet transform for high-quality compression of medical video
CN1947346A (zh) 正交归一时空变换的基于提升的实现方式
CN1316161A (zh) 基于区域的规模可变的图像编码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee