CN102396224A - 利用具有方向性的广义层次树中的集合分区的图像和视频适应性编码的设计树 - Google Patents

利用具有方向性的广义层次树中的集合分区的图像和视频适应性编码的设计树 Download PDF

Info

Publication number
CN102396224A
CN102396224A CN201080016612XA CN201080016612A CN102396224A CN 102396224 A CN102396224 A CN 102396224A CN 201080016612X A CN201080016612X A CN 201080016612XA CN 201080016612 A CN201080016612 A CN 201080016612A CN 102396224 A CN102396224 A CN 102396224A
Authority
CN
China
Prior art keywords
coefficient
tree
coding
response
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201080016612XA
Other languages
English (en)
Inventor
刘伟
穆罕默德·格哈拉维-阿尔克汉萨利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102396224A publication Critical patent/CN102396224A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

利用广义层次树内的集合分区(SPRIGHT)的适应性熵编码和解码以及利用方向性来设计树的方法。在去相关和量化之后，基于图像块内的几何关系从多个候选中选择树结构用于对系数编码，以便改善系数的零集群。用于SPRIGHT编码的树是响应于找到每个系数的频率位置并且缩放频率位置、然后使用将系数样式分区成方形和L形并且L形被迭代地分区成方形的倍频带分区来创建的。树包括包含与每个非树叶节点相关联的系数的树叶节点。可以增加零集群的系数的数目，从而减少被编码到经编码的图像输出中的节点的数目。

Description

利用具有方向性的广义层次树中的集合分区的图像和视频适应性编码的设计树
相关申请的交叉引用
本申请要求2009年6月9日提交的美国临时专利申请No.61/185,570的优先权，这里通过引用将该申请全部并入。
关于联邦赞助研究或开发的声明
不适用
通过引用并入以光盘提交的材料
不适用
关于受著作权保护的材料的公告
本专利文献中的一部分材料根据美国和其他国家的著作权法受著作权保护。著作权所有人不反对任何人对专利文献或专利公开进行复制再现，因为其出现在了美国专利商标局的公众可得文件或记录中，但是除此之外保留一切著作权权利。著作权所有人并不据此放弃其使本专利文献保持秘密的任何权利，包括但不限于其根据37C.F.R.§1.14的权利。
技术领域
本发明总地涉及图像和视频编码，更具体而言涉及用于利用具有方向性(directionality)的广义层次树(generalized hierarchical tree)中的集合分区(set partitioning)的适应性熵编码(adaptive entropy coding)装置和方法中的树适应性修改(tree adaptation)。
背景技术
熵编码是图像和视频压缩的重要组成部分，其通常响应于以下步骤：(1)变换(和/或预测)，(2)量化，以及(3)熵编码。
以下是针对常见的JPEG熵编码方法描述的，JPEG代表联合图片专家组并且是一套计算机图像文件压缩技术的ISO/IEC标准。JPEG文件是通过从某一范围的压缩质量或者更具体而言从若干个压缩算法之一中进行选择来创建的。在通过JPEG压缩来转换图像时，所得到的图像的目标大小或质量被指定到近似或小于原始图像的质量水平。由于最高质量的图像导致最大的文件，所以在图像质量和文件大小之间作出折衷。根据该标准的JPEG方案包括二十九(29)个不同的编码过程，虽然JPEG实现者可能不会使用它们全部。
当按JPEG执行熵编码时，每个8×8块被利用离散余弦变换(DCT)来变换，并且DCT系数被量化、Z字形扫描并被游程长度编码。将会认识到，游程长度编码通过创建相同像素的线状群组而不是分别存储每个像素的值，而提供了一种以更低率对图像数据编码的方式。离散余弦变换(DCT)提供了一种将任何波形表达为余弦的加权和的机制，并且其是许多形式的信号处理尤其是视频压缩的中心。
图1A示出了4×4块中的Z字形扫描的示例，系数位置在图1B中示出。根据此Z字形样式执行熵编码存在若干个缺陷。具体地有：(1)缺乏率(rate)控制机制，同时(2)Z字形扫描破坏了DCT系数的2-D相依性。
应当理解，量化中使用的参数部分决定率控制，从而通常必须尝试不同的量化参数来获得期望的文件大小。
关于2-D相依性的丧失，将看到例如图1B中的系数位置2和6如4×4块中所示在频谱中是接近的，然而响应于图1A所示的Z字形扫描顺序它们不是相邻的而实际上是彼此远离的。
在可缩放图像编码中广泛利用了基于比特平面的熵编码。在此过程中，变换系数被转换成二进制形式，并且被从最高有效比特平面(MSB)到最低有效比特平面(LSB)地编码。在此过程期间，较低比特平面的编码和解码是基于对较高比特平面的知识的。比特流编码过程可停止在任何地方、比特平面的任何深度处，其目标是满足给定的比特率预算，同时提供合理良好的重建质量。在编码过程中的任何点停止的能力是可能的，因为每个系数的最重要部分(MSB)已经被编码了。此比特流编码机制被称为嵌入式编码并且提供了良好的率控制。
因此，需要一种具有低复杂度和高效率的用于执行率可控的编码和解码的方法和装置。在本发明内满足了这些和其他需要，本发明克服了先前开发的基于熵的图像/视频编码技术的不足。
发明内容
本发明提供了树适应性修改，用于利用广义层次树内的集合分区(SPRIGHT)的对图像的适应性编码方法中。为了描述简单起见，这里用缩写SPRIGHT来称呼广义层次树中的集合分区。SPRIGHT编码方法可用于嵌入式编码，因为其同样有类似的特征，同时其能够提供改善的编码效率。本发明针对不同的方向性样式对不同类型的树进行适应性修改，其中要使用的特定树被从多个树中选择。
为了改善诸如图像和视频之类的2D可视信号的编码效率，本发明实现了响应于局部几何特征(例如方向性)来对设计树进行适应性修改。本发明生成针对在适应性熵编码方法中使用而适应性修改的多个设计树，该方法从多个候选中选择一设计树来对每个块编码。在这里被称为“SPRIGHT编码”的该编码过程可利用比如DCT或DWT那样的变换，或者诸如方向性变换之类的更先进变换。
SPRIGHT编码遵循如下的一般步骤：将图像或视频帧划分成块，利用变换对每个块去相关，量化变换系数，从一组多个树中选择一个树并且利用该所选树对块编码。编码效率得到了大幅改善，因为树不是固定的，而是响应于在系数的块内存在的2D关系来选择的。
本发明可以以多种方式来实现，包括但不限于以下描述。
本发明的一个实施例是一种用于生成供编码期间使用的多个候选编码树的装置，包括：(a)被配置用于接收和处理图像和/或视频帧的计算机；以及(b)可在该计算机上执行的程序，用于(b)(i)利用倍频带分区(octave-band partitioning)来生成非方向性编码树，(b)(ii)响应于在水平或垂直方向上缩放频率分量来生成水平和垂直编码树，以及(b)(iii)进行倍频带分区以创建针对水平和垂直方向进行了适应性修改的多个候选编码树。
本发明的至少一种实现方式还包括可在计算机上执行的、用于响应于使用方向性变换生成多个候选编码树内的对角编码树的程序。在至少一种实现方式中，多个候选编码树被配置用于响应于从多个候选编码树中选择的树结构的预定遍历来控制块编码。在至少一种实现方式中，多个候选编码树内的每个候选编码树被配置有指定布置的树叶节点和非树叶节点；并且其中一个或多个树叶节点被配置用于包含与每个非树叶节点相关联的系数。在至少一种实现方式中，多个候选编码树内的每个候选编码树被配置成使得每个非树叶节点的状态由表明其后裔树叶节点是包含全零系数还是不包含全零系数的比特来表示。在至少一种实现方式中，多个候选编码树被配置用于保持在编码器内，该编码器从多个候选编码树中选择要使用的编码树。在至少一种实现方式中，倍频带分区是通过将块内的系数分区成方形和L形来执行的，其中L形被迭代地分区成方形。在至少一种实现方式中，当每个方形仅包含一个系数时，倍频带分区完成。
在本发明的至少一种实现方式中，多个候选编码树被配置用于在变换被执行之后对块中的系数编码。在至少一种实现方式中，变换包括非方向性或方向性变换。在至少一种实现方式中，图像和/或视频帧的编码响应于用于进行以下操作的程序利用来自多个候选编码树中的编码树：将视频帧的图像分区成块；并且在编码器内对块执行方向性变换，之后从多个候选编码树中选择用来执行编码的期望树结构；其中编码的树是在编码期间响应于为每个系数找到频率位置并且基于每个系数的频率位置执行倍频带分区来生成的。在至少一种实现方式中，程序被配置用于将块的系数分类成包括非方向性、水平和垂直在内的至少三个类别，其中编码器从这至少三个类别中选择一个模式用于对块编码。在至少一种实现方式中，程序被配置用于将块的系数分类成包括两个不同对角方向在内的类别，其中编码器从五个中选择一个模式用于对块编码。在至少一种实现方式中，程序被配置用于将块的系数分类成包括两个不同对角方向在内的类别，其中编码器从五个可能模式中选择一个模式用于对块编码；并且其中对角方向的分类是响应于方向性变换操作执行的。在至少一种实现方式中，程序被配置用于在分区之前向块应用缩放矩阵；其中按缩放矩阵的缩放是响应于块的几何关系执行的；并且其中缩放包括垂直或水平缩放。
在本发明的至少一种实现方式中，编码包括嵌入式编码，在嵌入式编码中编码是基于比特平面的。在至少一种实现方式中，编码包括嵌入式编码，在嵌入式编码中编码是基于比特平面的；并且其中在编码期间生成的树被配置成使得以下情况发生的概率较高：所选择的树中的非树叶节点的所有后裔都包含充分小的系数以在较高比特平面中被量化成零。在至少一种实现方式中，程序被配置用于在图像/视频编码器内利用设计树进行适应性熵编码的程序，包括：将图像或视频帧划分成块；利用变换将每个块去相关以创建系数块；量化变换系数；响应于对图像的每个系数块内的几何关系的确定从多个候选树中选择期望的树结构作为所选树结构；以及利用响应于所选树结构的零系数的集群和对倍频带分区的使用来对每个系数块编码；其中一部分零系数响应于使所选树结构的非树叶节点表示相应的树叶节点仅包含零系数并且不将后裔树叶节点编码到由装置生成的经编码的输出比特流中，而被从经编码的输出中消除。
本发明的一个实施例是一种用于图像或视频的适应性编码和解码的系统，包括：(a)编码器，该编码器具有被配置用于图像和/或视频编码的处理元件和存储器；(b)可在编码器的处理元件上执行的程序，用于执行以下步骤：(b)(i)将图像或视频帧划分成块，利用变换将每个块去相关以生成变换系数块，(b)(ii)对于每个变换系数块量化变换系数，(b)(iii)响应于对图像和/或视频的系数块内的几何关系的确定从至少包括水平和垂直方向的一组多个候选树中选择树结构作为所选树结构，以及(b)(iv)利用响应于所选树结构的零系数的集群对块编码；其中一部分零系数响应于使所选树结构的非树叶节点表示相应的树叶节点仅包含零系数并且不将这些后裔树叶节点编码到被引导至解码器的输出比特流中，而被从经编码的输出中消除；(c)解码器，该解码器具有被配置用于来自编码器的比特流的图像和/或视频解码的处理元件和存储器；(d)可在解码器的处理元件上执行的程序，用于响应于执行以下步骤而输出图像或视频信号：(d)(i)确定编码器在对块编码时使用的所选树结构，(d)(ii)将所选树结构的树叶解码成输出的系数，(d)(iii)响应于对没有非零分支的非树叶节点解码而在输出内输出零系数，(d)(iv)对输出执行解量化，对输出执行逆变换，并且响应于对输出的接收而重建图像信号。
本发明的一个实施例是一种用于生成供编码器内在图像和/或视频编码期间使用的多个候选编码树的方法，包括：(a)利用倍频带分区来生成非方向性编码树；(b)响应于(b)(i)在至少水平和垂直方向上缩放频率分量以及(b)(ii)进行倍频带分区以创建针对至少水平和垂直方向进行了适应性修改的多个候选编码树，来(b)生成水平和垂直编码树。
本发明提供了多种有益方面，这些方面可被单独实现或者以任何期望的组合实现，而不会脱离本教导。
本发明的一个方面提供了多个候选编码树的生成，这多个候选编码树被针对图像/视频编码过程进行了适应性修改，该过程响应于正被编码的每个图像/视频块的方向性特性来选择多个候选之一。
本发明的另一个方面是针对编码和解码过程对编码树进行适应性修改，该过程响应于所选树结构中的零系数的集群而提供了高编码效率。
本发明的另一个方面是对用于编码和解码过程中的编码树的适应性修改，该过程不依赖于固定的树结构来对每个块编码/解码。
本发明的另一个方面是在响应图像/视频块方向性对多个编码树进行适应性修改时对方向性变换的使用。
本发明的另一个方面是在基于方向性来设定适应性编码树的过程期间对倍频带分区的使用。
本发明的另一个方面是在倍频带分区之前基于块像素之间的几何关系使用缩放矩阵来(垂直地和/或水平地)对块系数进行缩放。
本发明的另一个方面是一种编码和解码方法，其可被利用在嵌入式和非嵌入式图像/视频编码系统内。
在说明书的以下部分中将揭露本发明的其他方面，其中详细描述是为了在不对其施以限制的情况下完整公开本发明的优选实施例。
附图说明
通过参考以下仅用于例示的附图，将更全面地理解本发明：
图1A和1B是4×4系数块阵列，其中在图1A中示出了Z字形扫描顺序，并且在图1B中示出了系数位置。
图2A至2C是图2A中的四个系数(A-D)的变换块的2×2系数数据图，以及图2B和2C中的根据本发明一个方面可为块选择的树层次。
图3A至3C是如图2A至2C所示的2×2系数块的系数数据图和根据本发明一个方面为块选择的树层次操作。
图4A至4C是与图3A略有不同的系数块的系数数据图，及其相关联的根据本发明一个方面为块选择的树层次操作。
图5A至5E是描绘倍频带分区和相关联的设计树的4×4系数块，其中示出了分区成方形、L形和子分区(例如分区成一半大小的方形)的四个级别的块分区。
图6是示出假想谱形状的示图，其中描绘了对称谱幅度。
图7是示出具有水平偏置的块的谱的示图。
图8是示出根据本发明一个方面针对水平和垂直谱的L形的块分区图。
图9是示出根据本发明一个方面响应于缩放矩阵的应用的水平分区的块分区图。
图10是示出根据本发明一个方面在缩放后水平块的谱的示图。
图11是示出根据本发明一个方面使用DCT树来将块分类成水平和垂直样式的块分区图。
图12A至12D是示出根据本发明一个方面的方向性DCT的块分区图，在该方向性DCT中对角样式被旋转成水平样式并被修剪。
图13是根据本发明一个方面进行定位和缩放以为方向性DCT定位频率位置的系数位置图。
图14是示出根据本发明一个方面在缩放之前的方向性DCT系数的位置的示图。
图15是示出根据本发明一个方面被映射到频率域的第一示例的DCT系数的示图。
图16是示出根据本发明一个方面在垂直缩放之后映射在频率域中的第一示例的DCT系数的示图。
图17是示出根据本发明一个方面将系数分区成L形的第一示例的块分区图。
图18是示出为在图17中映射的DCT系数生成的树结构的系数树数据图示例。
图19是示出根据本发明一个方面被迭代分区的树结构的系数树数据图。
图20是示出根据本发明一个方面连接树叶的系数树数据图。
图21是示出根据本发明一个方面丢弃不必要节点的系数树数据图。
图22是示出根据本发明一个方面所利用的9模式DCT中使用的八个方向的示图。
图23是编码器-解码器系统的框图，其中示出了被配置用于根据本发明实施例执行适应性熵编码和解码的计算机处理器和存储器。
图24是根据本发明一个方面用于生成供具有方向性的广义层次树中的集合分区中使用的设计树的方法的流程图。
具体实施方式
更具体地参考附图，出于例示目的，本发明实现在图2A至图24大体示出的装置中。将会明白，装置在配置和部件细节方面可以变化，并且方法在具体步骤和顺序方面可以变化，而不脱离这里公开的基本思想。
1.介绍。
基于方向性的编码树的适应性修改被教导用于在我们的于2010年4月13日提交的序列号为12/758,981的美国专利申请中描述的适应性熵编码和解码装置和方法，这里通过引用将该申请完全并入，其将广义层次树内的集合分区(SPRIGHT)利用于图像和视频的编码和解码。本发明详述了生成这些被方向性地适应性修改的编码树的方法，这些编码树能够被基于SPRIGHT的视频编码装置或方法所选择。基于SPRIGHT的编码在对图像块编码时从根据本发明生成的多个候选的编码树中选择。
SPRIGHT方法是在图像或视频帧被划分成块时执行的，其中每个块被利用变换来去相关，其变换系数被量化，并随后响应于在块内找到的几何关系从多个候选中选择编码树，或者更具体而言响应于块中的系数之间的二维(2D)关系来执行选择。然后响应于所选择的树结构来对块编码。从而可以显著改善编码效率，因为编码树在块的范围上不是固定的，而是响应于在每个系数块内存在的2D关系而为该块选择的。
应当明白，被编码的图像或视频帧可按若干种不同的方式被划分成块，而不脱离本发明的教导。例如，块可被配置成任何任意形状或大小，它们不需要是方形或规则形状的。每个块可包含单个或多个颜色分量。不那么优选地，一个块可包括整个图像。
然后根据以下编码步骤来处理图像或视频帧的每个块。利用变换，例如离散余弦变换(DCT)或其他提供去相关的变换(例如离散小波变换(DWT))，来将块内的值去相关。应当明白，根据本发明的一种实现方式，在同一图像内可利用不同类型的变换。如果利用了不同类型的变换，则应当向解码器传达用于块的变换的类型，其方式例如是通过响应于为每个块编码的一个或多个比特的状态而通知解码器。无论是如何执行变换的，都优选将变换的索引传达给解码器以帮助其对块解码。在变换之前，将会明白可执行块间预测或预滤波，但这不是必需的。
然后量化块内的变换系数。应当明白，量化步骤将会把低于期望的量化阈值的所有系数量化为零。
然后为每个块从多个候选树结构(编码模式)中选择编码树结构。树结构选择优选是响应于每个块内的系数之间的几何关系(例如二维的)从一组多个编码树中作出的，然后利用所选择的树结构来对每个块编码。这多个编码树优选是根据本发明的方法来预定义的。应当明白，用于图像块的编码的树结构不是对于所有给定块固定的，而是基于被编码的特定块的几何特征来选择的，从而编码效率可得到显著改善。在本发明的优选方面中，树结构是响应于在对几何特征分类时的方向性来选择的。关于所选择的树的信息被通知给解码器(例如用索引)，以使得解码器可以确定当块原来被编码时选择了哪个树结构，从而可对所编码的图像内的基于树的数据适当地解码。
应当明白，在所使用的变换和所选择的树结构之间通常存在关系。因此，在许多实现方式中，编码器将发送一个索引来表示(变换，树)对，这允许了(变换，树)被联合优化。
本发明实现了生成用于SPRIGHT编码中的多个候选编码树。
2.SPRIGHT中的树结构。
图2A至2C示出了经变换的2×2块和多个编码树结构，其是以示例而非限制方式示出的。应当认识到，本发明可被应用到任何大小的块，而不脱离本发明的教导。
图2A为简单起见描绘了小的2×2变换块10，其具有系数A至D。通常，块大小在4×4、8×8、16×16、32×32等等的范围内，虽然块可被配置成任何期望的形状和大小。
在本发明中，每个树被认为是用于帮助编码和解码的数据结构并且大体上表示编码模式。每个编码树被定义有从非树叶节点(非末端节点)连接的树叶节点(末端节点)。每个树叶节点表示来自块的一个系数，而每个非树叶节点表示一组系数，更具体而言是其所有后裔的集合。被称为根的非树叶节点包括给定块的所有系数的集合。
图2B和图2C例示了图2A中所示的变换块的两种可能的树结构。在图2B的树12中，示出了单个非树叶节点16，其也是树的根，从其直接聚组了四个系数A-D 18a-18d。在图2C的树14中，示出了非树叶节点20，其也是根20，从其关联了作为24a的树叶节点A和另一非树叶节点22，非树叶节点22关联了作为24b、24c、24d的三个树叶节点B、C和D。从而，在图2B中，所有系数都同时被聚组在一起，而在图2C中，系数B至D在最低级别上被聚组在一起。
3.利用编码树的SPRIGHT编码。
以下示例考虑了使用SPRIGHT编码的非嵌入式版本的编码。优选执行编码树的广度优先遍历(breadth first traversal，BFT)，并且响应于节点的类型和系数值来控制输出。如果当前节点是树叶，则输出系数的值。应当明白，系数值优选是非二进制的，并且能够例如利用算术编码来编码。非树叶节点包含一个或多个树叶节点，并且例如被标记为1，如果至少一个后裔节点具有非零系数，或者被标记为0，如果相应的系数集合全都是零，从而所有的后裔节点都被跳过。“跳过”后裔节点指的是这些节点不被显式编码到所编码的输出比特流中，从而节省了用于这些零系数的编码空间。将会认识到，虽然为了说明简单，值1和0被用于非树叶节点值，但任何期望的值都可被利用来表明对于非树叶节点是否存在非零后裔。
图3A至3C和图4A至4D示出了具有相似的几何条件的2×2块的编码。作为示例而非限制，非树叶节点中的后裔情况被以二进制表示，其中“1”表明至少一个分支具有非零系数，而“0”表明没有分支具有非零系数。在此示例性实现方式中，非树叶节点后裔情况从而要求对于每个非树叶节点编码单个比特，并从而不会显著地增加比特预算。
图3A描绘了具有四个系数5、0、0、0的块30。图3B描绘了为块50选择第一编码32，其具有单个非树叶节点36和单个级别39中的四个树叶节点38a至38d。图3B中的编码的输出生成五个值1、5、0、0、0的序列。将此编码与图3C中所示的利用特定的两级树结构的编码相对比。在图3C的树34中，根节点40具有例如包含值5的系数的单个树叶节点44a，以及非树叶节点42，该非树叶节点42将包括三个树叶节点44b、44c和44d的零节点集群在群组46中。由于这些树叶节点全都是零，所以它们可被跳过，从而相应的根42被用0编码。响应于此编码，此编码序列的输出是1、5、0；这当然短于图3B中使用的编码。小的2×2块大小是作为示例示出的，应当明白更大的比特大小可提供更高水平的编码效率提高。此外，应当明白，虽然为了例示起见将系数描绘为一位的整数，但实际的系数需要大得多的表示比特空间。
然而，如果块中的系数之间的关系略有不同，例如图4A的块中所描绘的那样，其中系数之一的位置被移动了，则关于树结构的编码效率被显著更改了。图4A描绘了具有四个系数0、0、5、0的块50。图4A描绘了响应于第一个所选编码树结构52的编码，该编码树结构52具有单个非树叶节点56和单个级别60中的四个树叶节点58a至58d。此编码的输出生成五个值1、0、0、5、0的序列。在图4C中，选择了不同的编码树结构54，该编码树结构54具有根62，其具有第一级别70上的树叶66a(0系数)和非树叶64，和具有树叶66b(0)、66c(5)和66d(0)的第二级别68。响应于树叶66c中的系数的非零值，不能在不引入误差的情况下跳过系数的群组，并且非树叶64被用表明其树叶必须被包括在编码中的1来编码。使用此树的编码生成六个输出1、0、1、0、5、0，并且比图4B所表示的低效。
从以上论述可以清楚，选择不适合块内的几何关系的编码树结构导致低效的块编码。因此，将会看出，根据本发明的SPRIGHT编码致力于提供以确保任何给定块的高效编码为目标为该块从多个候选编码树中适当选择编码树结构，以及创建其各种树。本发明实现了树的适应性修改，以提供多个候选编码树，其中在SPRIGHT编码期间响应于被编码的块的特性从这多个候选编码树中选择编码树。
4.利用树的SPRIGHT解码。
在根据SPRIGHT对图像块解码时，解码器必须例如响应于接收到关于哪个树结构被用于对每个块编码的信息来从多个候选树结构中选择适当的树结构。在SPRIGHT解码的一个方面中，解码器接收在编码期间使用的树结构的索引。一旦从多个候选编码树中选择了适当的树，在解码中就使用与编码过程相容的技术，例如利用树的广度优先遍历(BFT)，来遍历该树。如果当前节点是树的树叶，则从比特流中解码出符号，并且将所解码的符号的值赋予相应的系数。相反，如果当前节点不是树叶，则从比特流中读取一个比特并根据其进行操作；如果该比特是1，则处理继续，但如果是0，则当前节点的所有后裔节点的值被设定成是0并且它们被从树中丢弃。
5.零集群。
从以上论述中可以看出，SPRIGHT编码方法的编码增益主要是响应于零集群得到的，其中从变换编码产生的零被集群到由相应的非树叶节点中的单个零表示的群组中。相反，如果零只能与非零分区，则不会获得比特节省。
已充分认识到，变换编码通常产生大量的零，并且这些零可能是彼此的邻居。这些系数可能以若干种不同的方式成为邻居，包括关于：(1)空间位置，从而它们可以是同一DWT子带中的相邻系数；或者(2)谱位置，从而它们可以是相邻的DCT系数。
SPRIGHT编码通过基于每个块内的系数的几何关系为该块选择特定的树结构来利用此特点。
以下章节例示了编码谱系数位置的示例，例如利用倍频带分区来基于方向性对编码树进行适应性修改以用于SPRIGHT，以及类似的编码方法，这些方法为每个被编码的块从多个候选编码树中进行选择。
6.多个树类型内的基于倍频带分区的树。
响应于在SPRIGHT内选择最适合于特定几何样式的树，大大改善了那些特定块的编码效率。本发明对编码树进行适应性修改以提供多个编码树，从这多个编码树中可响应于正被编码的图像块的方向性特性按照SPRIGHT来选择树。作为示例，响应于块几何条件，非方向性编码树被适应性修改来用于方向性图像块，包括水平、垂直和其他样式，例如对角样式。对于每个块样式利用不同的编码树。
倍频带分区的各方面被描述并被适应性修改以便构造一组多个树以用于不同的方向性样式，当根据SPRIGHT执行图像编码时可选择这多个树。
图5A至5E示出了对基于倍频带分区的树进行适应性修改以便生成多个编码树的示例性实施例，从这多个编码树中可响应于正被编码的比特的几何条件在SPRIGHT下选择编码树。
在倍频带分区中，根(即整个块)被分区成一个小的方形和一个大的L形区域。在现有的实现方式中，小方形的大小是2×2，而本发明的本实施例中利用的优选大小是1×1方形(只有DC)。本发明对倍频带分区进行适应性修改以用于生成多个编码树来用在具有方向性分量的图像块的SPRIGHT编码中。
图5A描绘了被分区成小的方形和大的L形的DCT后的根(整个块)。
图5B示出了L形被迭代地分区成三个方形和另一较小的L形。
图5C示出了每次L被分区时，其后代方形的大小加倍，如图中所示。
图5D示出了将每个非树叶方形迭代地分区成四个一半大小的方形。
图5E描绘了与图5A-5D中描述的倍频带分区方法相关联的设计树。将注意到，非树叶节点关于其类型被标记为“根”、“L”(L形)或“S”(方形)。
SPRIGHT提供了一种一般的基于树的熵编码方法，其被配置来使用任何期望的树结构，并且可从例如根据被适应性修改的倍频带分区技术生成的多个候选编码树结构中选择树结构，如果其适合于正被编码的块的类型的话(例如也就是说如果其对于像DCT这样的特定变换被证明高效的话)。与之不同，用于原来的倍频带分区实现方式的编码树结构背离本发明，是固定的并且利用相同的(固定的)编码树结构执行所有块的熵编码。
在本发明的这个方面中，倍频带分区技术被广义化以生成在编码期间可响应于系数块的方向性从中选择的多个编码树。响应于此广义化，SPRIGHT可在多个预设计的候选之中选择最佳的树以改善编码效率。
如前所述，SPRIGHT通过系数的“零集群”来节省比特。在SPRIGHT方法下希望树被组织成最大化如下非树叶节点的数目：这种非树叶节点的所有后裔树叶都包含零系数，从而不需要被编码。如果对于按所选编码树结构编码的给定块不会得到显著的零集群，则SPRIGHT方法将会不那么高效。然而，通过适当地选择适合正被编码的块的几何条件的树，通常会出现很高程度的集群，从而允许SPRIGHT提供提高的编码效率。
应当明白，当考虑嵌入式SPRIGHT方法时，编码是基于比特平面的，从而标准有些不同。具体而言，希望嵌入式SPRIGHT树中的非树叶节点的所有后裔都只包含小系数。将会认识到，这些系数充分地小以至于在较高的比特平面中将被量化成零。
使用包括经修改的倍频带分区树在内的倍频带分区树来生成供SPRIGHT编码下使用的多个候选在以下条件下提供了许多益处。倍频带分区很适合于变换系数在远离原点(DC)时较小的情况。因此，如果在某个比特平面，L形变成非零(或者其包含至少一个非零系数)，则很有可能该(一个或多个)非零系数不在更小的L形中。如果上述成立，则零仍可用于表示更小L形中的所有0。虽然该假定经常成立，但可存在许多例外，尤其是关于方向性几何样式，其中本发明还被配置为响应于不同的方向性样式选择不同的树。
7.基于3模式DCT的设计树。
在根据本发明的一个方面使用3模式DCT(离散余弦变换)时，图像块被分类成三个类别：非方向性的、水平的和垂直的。应当明白，虽然作为示例论述了DCT变换，但在不脱离本发明的教导的情况下可利用其他形式的变换和方向性变换。对于这些类别中的每一个，设计编码树，其中对于非方向性情况使用原始倍频带分区树，而对于水平和垂直情况设计编码树，如稍后章节中所述。
在对图像块编码的过程中，首先对该块应用2D-DCT。然后确定哪个是用来执行编码的最适当树(例如用于最小化编码后大小)，然后执行编码，之后生成供解码器使用的信息，例如把所编码的比特以及树索引通知给解码器。
8.原始倍频带分区的低效。
将会明白，在执行2D-DCT后，每个系数对应于一2D频率，并且其位置可在频率域中被标记。
图6描绘了对称的幅度谱，其是倍频带分区技术的基本假设。
图7描绘了水平块的示例谱，其中示出了倍频带分区假设如何对于方向性样式不成立。将会注意到，谱在垂直方向上“更白”(即均一的功率谱密度)，而系数幅度关于ωy减小得更慢。
图8描绘了根据倍频带分区技术的块分区，其中可以看出一些大系数(最左边的带斑点的那个，就在中心下方)可“泄漏”到L形，从而要求进一步的分区和效率的损失。
应当明白，这些分区问题可对任何具有特定几何倾斜的块发生，包括水平的或垂直的倾斜(对于垂直情况，类似地，顶部紧靠中心右侧的实心圆点可为大系数)。
9.倍频带分区之前的频率缩放。
为了克服上述的导致低效编码的块分区问题，本发明的实施例执行倍频带分区的变体，其中在应用倍频带分区之前缩放频率。
令ω＝[ωx，ωy]T为2D空间频率。缩放操作被执行为ω＝Sω，其中S＝diag(sx，sy)是缩放矩阵。缩放因子sx和sy被选择为使得在缩放之后，更容易利用倍频带分区对谱进行分区。此缩放适应性修改了倍频带分区技术，以生成具有很好地适合于SPRIGHT的方向性质的编码树，其中SPRIGHT基于正被编码的图像块的方向性特性从多个编码树中选择一个编码树。
图9示出了水平方向上的缩放的示例性实施例，其中到原点的垂直距离被“压缩”或“缩放”。缩放之前的树在图的左侧示出。缩放矩阵在图的中央示出，当应用该缩放矩阵时得到图的右侧所示的经缩放的树。在所示出的情况中，缩放因子对于3模式DCT被选择为0.5(即，sx＝1，sy＝0.5)。在缩放和分区之后，如图的右侧所示，带斑点的圆点向上朝着根移动了，于是与实心圆点相比在与根的距离方面处于更高的级别。
在图中将会看到，在频率缩放之后，编码树构造可以按与倍频带分区算法类似的方式执行。具体地，构造开始于小的方形和大的L形，并且L被分区成三个方形和一个更小的L形。方形被分区成四个一半大小的方形。将会注意到，一些方形可完全没有系数(例如带阴影的方形)，并且可被从树中删除。
图10描绘了缩放后的块谱，可以看出其具有更顺应倍频带分区的形状。
10.基于5模式DCT的设计树。
在5模式DCT中，向3模式DCT树构造添加了两个对角模式。具体地，添加了对角+45°和对角-45°。应当注意，2D-DCT不区分±45°样式。在DCT域中从±45°样式产生相似的谱。克服此问题的一种可能是在单个模式中对待这两个样式。然而，2D-DCT不是对±45°的图像块去相关的良好选择。本发明通过使用能够处理±45°样式的方向性DCT和新树来克服此问题。
作为示例而非限制，以上所论述的样式被如下来处理。
Figure BPA00001446738000171
在本发明的一个实施例中，编码器从五个中选择一个模式，对块编码，并且将所编码的比特流和模式索引都通知给解码器。应当明白，所编码的比特流是利用SPRIGHT解码来解码的。
11.5模式DCT中基于水平/垂直树的设计树。
与3模式DCT中相同的方案被利用来为水平和垂直样式生成树。然而，在5模式DCT中，有更多的模式供选择并且被分类成水平或垂直样式的块经历更倾斜的谱。
响应于此，本发明的至少一个实施例在水平和/或垂直编码样式中将压缩调整到超过1/2，例如调整到1/4的缩放因子。
图11示出了具有4×4块的水平情况的分区的示例。将会明白，在5模式DCT中，图11中被描绘为带斑点的系数比被描绘为实心的系数更高两个级别。
12.基于方向性DCT的设计树。
图12A至图12D示出了利用具有若干级的一种形式的方向性DCT。描绘了旋转，其中对角样式图12A被转换成如图12B中所见的水平样式。然后执行修剪，得到图12C。然后沿着水平和垂直线执行DCT，得到图12D。
应当明白，在对方向性DCT系数应用倍频带分区时，必须为每个系数找到频率位置。
13.方向性DCT系数的定位和缩放。
在本发明的一个方面中，采取试探方案来定位方向性DCT系数的频率位置。对于水平频率(ωx)，在旋转和修剪之后对列的总数计数，例如称之为N。然后，对于第n列中的系数(n＝0，...，N-1)，ωx＝n*π/N。对于垂直频率(ωy)，在当前列中对系数的总数计数，例如称之为M。然后，对于列中的第m个系数(m＝0，...，M-1)，ωy＝m*π/M。
类似地，对ωy进行缩放来针对倾斜谱进行补偿。根据本发明的优选方面，块被旋转成水平样式，使得其是被缩放的ωy。当使用5模式DCT时，缩放因子优选被选择为1/4(与水平和垂直样式相同)。
图13描绘了经缩放和旋转的系数样式，其中沿着底部在ωx＝{0、π/4、2π/4和3π/4}示出了ωx的级别，其中ωy被示为经缩放后在第一级别(最左侧)为ωy＝{0，π/7，...，6π/7}，并且在第二级别(左侧起第二个)为ωy＝{0，π/5，...，4π/5}。
图14示出了缩放前的方向性DCT系数的位置。
14.构造用于SPRIGHT编码的树。
在方向性DCT中，系数的位置不再在网格中。然而，根据本发明，倍频带分区技术被适应性修改来针对适当处理具有任意定位的系数提供更大的一般性。
根(整个块)被分区成一个小的方形和一个大的L形部分。方形涵盖低通频率带，例如由以下给出：
|ωx|＜π/2K，并且|ωy|＜π/2K。
其中K被选择为使得小方形只包含DC(或DWT的LL子带)，而大L形区域包含所有AC系数。
在对根进行分区后(K-1)，向L形部分应用倍频带分区，以产生三个方形和一个小L形。每个具有大于π/2K的带宽的方形被分区成四个更小的方形。应当明白，在使用“分区”一词时，也在原始频率带和分区之间强制施加了父-子关系。
在先前章节中，编码树被描述为具有2K×2K树叶，其中每一个是一小方形，并且其也表示包含该频率带中的所有系数的集合。这些系数然后被连接到该集合。应当认识到，一些集合将是空的，其中相应的节点可被删除。如果某一集合只具有一个孩子，则其被删除并且该孩子被连接到其父亲。该操作是迭代性的，直到每个非树叶节点具有至少两个孩子节点为止。
图15至图21示出了利用用于对系数编码的步骤示出的本发明的示例性实施例。在图15中，系数被映射到频率域，并且在图16中在频率域中被缩放。倍频带分区在图17中示出，其中根(即整个块)被分区成一个小的方形和一个大的L形区域。编码树在图18中被构建，并且在图19中被迭代性地分区。将会注意到，图19中的在上方的“气泡”内描绘的前两个级别具有最小的大小，其中不需要再分区，而被描绘为较低的两个“气泡”的较低级别描绘了应当被迭代地分区到最小大小的方形。在图20中，该设计树还描绘了将树叶(系数)连接到树的上两层。根据图21，不必要的节点随后被从经分区的块和设计树中丢弃，如具有垂直条纹(条带)的块中所见。
15.基于9模式DCT的设计树。
图22示出了根据本发明使用9模式DCT，其提供了一个非方向性模式和八个方向性模式。在9模式DCT下，提出了以下组合。
非方向性    通常的2D-DCT+原始倍频带分区树
水平        通常的2D-DCT+水平树
垂直        通常的2D-DCT+垂直树
其他方向    方向性DCT+新树
在SPRIGHT编码期间，编码器从根据本发明生成的九个模式中选择一个模式，对块编码，并且将所编码的比特流和模式索引两者通知给解码器。方向性DCT系数的分区和编码树构造与在5模式DCT中定义的类似。每个系数的频率像3模式DCT或5模式DCT中那样被缩放，而缩放因子在9模式DCT被改变到1/8。
16.模式选择。
对于给定的块，可能有多个提供高效编码的模式。本发明优选地允许了选择当在SPRIGHT下选择给定块时如何作出判决。
(1)编码前。
此情况中的模式判决是在编码之前作出的，例如基于在块中检测到的特征(例如几何方面)。将会明白，编码前与编码后相比需要的计算开销小得多，但通常将不会提供那么显著的编码效率增益。作为示例而非限制，编码前可基于检测不同方向上的平均梯度。
(2)编码后。
模式判决是作为编码后判决作出的，其中编码器利用所有可能的模式对图像块编码。计算重建的块相对于原始块的失真，并且挑选给出最小的率-失真成本的模式。编码后确保了以所测试的可能模式中最高效的模式执行编码。
17.SPRIGHT装置和方法。
传统的编码方案对于熵编码使用单个算法，从而不基于被编码的块的几何条件来选择熵编码的形式及其相关联的树结构。将会看到，传统的方案通过依赖于固定的熵编码方法、从而利用单个固定树对当前块编码，来执行编码。固定树编码方法不受益于非常具体的编码形式，并且它们将必须被应用到所有块。然而，SPRIGHT编码提供了可响应于块的特性来选择的许多熵编码模式。本发明提供了一种方法和装置，用于基于块方向性来填充SPRIGHT的多个编码树候选。
图23示出了被配置用于从多个编码树中选择编码树的基于SPRIGHT的编码器136和用于对树结构解码的解码器142的实施例150。编码器136被示为包括计算机处理器(CPU)152和存储器154。应当明白，这些处理组件可单独实现，或实现为多处理器，和/或结合任何期望水平的加速硬件实现，而不脱离本发明的教导。可在处理器152上执行的程序执行图像源158的编码156，执行预测160，变换162，量化164，树选择166以及编码168，以输出经编码的图像数据(或信号)170。树选择更具体而言是响应于块中的系数之间的二维几何关系执行的，之后块被利用所选择的树来编码。对所选择的树结构的利用可提供相对于如下实现方式大幅提高的编码效率：在这种实现方式中，树结构是在用于执行编码的编码技术内固有(固定)的。
解码器142被示为类似地用处理器元件172和存储器174实现，并且其也可包括任何期望的处理组件和与数字加速硬件的组合，而不脱离本发明的教导。响应于程序的执行，解码过程176被执行，其中信号170被接收并被解码块178解码，解码块178在解码之前作出树结构选择180。解码块178的输出随后被逆变换182并且根据块184图像被重建以产生最终的经解码的图像输出186。
在编码期间的树选择和解码期间使用的树选择之间示出了树选择链接188以表示如下实施例：其中，关于所选择的树结构的信息被传达给解码器142，以确保其以数据被编码的方式对数据解码。通常，关于所选择的树结构的信息将被结合到正被发送到解码器的经编码的信号流的预定比特中。还应当明白，对给定块的树结构的传达可以作为比特从编码器传达到解码器，或者可替换地，来自编码器的数据可以按把树选择告知给解码器的方式来组织，或者解码器可以以其他方式确定用于解码的与编码相容的树结构。
在所描述的示例性实施例中，解码器始终知道用于对给定块编码的树结构。例如，树结构或者被预嵌入到解码器的可执行文件中，或者在会话开始时由编码器告知。
当解码时，解码器首先区分当前节点是否是树叶，然后在其不是树叶时从比特流中读取比特，或者对于树叶则从流中读取符号。符号可包括一个或多个比特，这取决于其是如何被编码的，例如利用exp-Golomb码。
图24示出了用于生成供具有方向性的广义层次树中的集合分区中使用的设计树的方法的实施例。在190利用倍频带分区来生成非方向性编码树。响应于在执行倍频带分区之前的方向性缩放，在192生成水平编码树，并且在194生成垂直编码树。可选地，响应于在倍频带分区之前执行的旋转和缩放，在196还生成用于额外方向的编码树。
因此，将会明白，本发明涵盖了用于构造供SPRIGHT编码中使用的树的各种技术。这些方案将图像块分类成不同的方向性样式，利用通常的2D变换或方向性变换，来将块去相关，并且相应地构建树。树是基于倍频带分区算法的，倍频带分区算法在本方法中已响应于方向性被广义化。示出了为不同方向中的每一个找到所得到的(方向性)变换系数的位置(2D频率)的方式。在许多情况下，变换系数的频率在编码之前被缩放以塑造谱的形状以便提供更高效的编码。缩放因子优选由方向总数决定。
本发明还广义化了倍频带分区算法以应对具有任意的频率定位的变换系数。所提出的算法的优点在于其可更好地捕捉谱的特性，并且所得到的树能够利用SPRIGHT更高效地集群零。
从以上论述将会明白，本发明可用各种方式来实现，包括以下的：
1.一种用于生成供编码期间使用的多个候选编码树的装置，包括：被配置用于接收和处理图像和/或视频帧的计算机；以及可在所述计算机上执行的程序，用于利用倍频带分区来生成非方向性编码树；响应于在水平或垂直方向上缩放频率分量以及进行倍频带分区以创建针对水平和垂直方向进行了适应性修改的多个候选编码树，来生成水平和垂直编码树。
2.实施例1的装置，还包括可在所述计算机上执行的、用于响应于使用方向性变换生成所述多个候选编码树内的对角编码树的程序。
3.实施例1的装置，其中所述多个候选编码树被配置用于响应于从所述多个候选编码树中选择的树结构的预定遍历来控制块编码。
4.实施例1的装置，其中所述多个候选编码树内的每个候选编码树被配置有指定布置的树叶节点和非树叶节点；并且其中一个或多个树叶节点被配置用于包含与每个非树叶节点相关联的系数。
5.实施例1的装置，其中所述多个候选编码树内的每个候选编码树被配置成使得每个非树叶节点的状态由表明其后裔树叶节点是包含全零系数还是不包含全零系数的比特来表示。
6.实施例1的装置，其中所述多个候选编码树被配置用于保持在编码器内，该编码器从所述多个候选编码树中选择要使用的编码树。
7.实施例1的装置，其中所述倍频带分区是通过将所述块内的系数分区成方形和L形来执行的，其中所述L形被迭代地分区成方形。
8.实施例1的装置，其中当每个方形仅包含一个系数时，所述倍频带分区完成。
9.实施例1的装置，其中所述多个候选编码树被配置用于在变换被执行之后对块中的系数编码。
10.实施例9的装置，其中所述变换包括非方向性或方向性变换。
11.实施例1的装置，还包括被配置用于响应于用于进行以下操作的程序利用来自所述多个候选编码树中的编码树对图像和/或视频帧编码的程序：将视频帧的图像分区成块；并且在编码器内对块执行方向性变换，之后从所述多个候选编码树中选择用来执行编码的期望树结构；其中编码的树是在编码期间响应于为每个系数找到频率位置并且基于每个系数的频率位置执行倍频带分区来生成的。
12.实施例11的装置，还包括被配置用于将块的系数分类成包括非方向性、水平和垂直在内的至少三个类别的程序，其中编码器从所述至少三个类别中选择一个模式用于对块编码。
13.实施例11的装置，还包括被配置用于将块的系数分类成包括两个不同对角方向在内的类别的程序，其中编码器从五个中选择一个模式用于对块编码。
14.实施例11的装置，还包括被配置用于将块的系数分类成包括两个不同对角方向在内的类别的程序，其中编码器从五个可能模式中选择一个模式用于对块编码；并且其中对角方向的所述分类是响应于方向性变换操作执行的。
15.实施例11的装置，还包括被配置用于在分区之前向块应用缩放矩阵的程序；其中按所述缩放矩阵的缩放是响应于块的几何关系执行的；并且其中所述缩放包括垂直或水平缩放。
16.实施例11的装置，其中所述编码包括嵌入式编码，在嵌入式编码中编码是基于比特平面的。
17.实施例1的装置，其中所述编码包括嵌入式编码，在嵌入式编码中编码是基于比特平面的；并且其中在编码期间生成的树被配置成使得以下情况发生的概率较高：所选择的树中的非树叶节点的所有后裔都包含充分小的系数以在较高比特平面中被量化成零。
18.实施例1的装置，还包括被配置用于在图像/视频编码器内利用设计树进行适应性熵编码的程序，包括：将图像或视频帧划分成块；利用变换将每个块去相关以创建系数块；量化变换系数；响应于对图像的每个系数块内的几何关系的确定从所述多个候选树中选择期望的树结构作为所选树结构；以及利用响应于所选树结构的零系数的集群和对倍频带分区的使用来对每个系数块编码；其中一部分零系数响应于使所述所选树结构的非树叶节点表示相应的树叶节点仅包含零系数并且不将后裔树叶节点编码到由所述装置生成的经编码的输出比特流中，而被从经编码的输出中消除。
19.一种用于图像或视频的适应性编码和解码的系统，包括：编码器，该编码器具有被配置用于图像和/或视频编码的处理元件和存储器；可在所述编码器的处理元件上执行的程序，用于执行以下步骤：将图像或视频帧划分成块，利用变换将每个块去相关以生成变换系数块，对于每个变换系数块量化变换系数，响应于对图像和/或视频的系数块内的几何关系的确定从至少包括水平和垂直方向的一组多个候选树中选择树结构作为所选树结构，以及利用响应于所选树结构的零系数的集群对块编码；其中一部分零系数响应于使所选树结构的非树叶节点表示相应的树叶节点仅包含零系数并且不将这些后裔树叶节点编码到被引导至解码器的输出比特流中，而被从经编码的输出中消除；解码器，该解码器具有被配置用于来自所述编码器的比特流的图像和/或视频解码的处理元件和存储器；可在所述解码器的处理元件上执行的程序，用于响应于执行以下步骤而输出图像或视频信号：确定所述编码器在对块编码时使用的所选树结构，将所选树结构的树叶解码成输出的系数，响应于对没有非零分支的非树叶节点解码而在输出内输出零系数，对输出执行解量化，对输出执行逆变换，并且响应于对输出的接收而重建图像信号。
20.一种用于生成供编码器内在图像和/或视频编码期间使用的多个候选编码树的方法，包括：利用倍频带分区来生成非方向性编码树；响应于在至少水平和垂直方向上缩放频率分量，以及进行倍频带分区以创建针对至少水平和垂直方向进行了适应性修改的多个候选编码树，来生成水平和垂直编码树。
虽然以上描述包含许多细节，但这些细节不应当被解释限制本发明的范围，而只是提供了对本发明的一些当前优选的实施例的例示。因此，将会明白，本发明的范围完全涵盖对于本领域的技术人员来说显而易见的其他实施例，并且本发明的范围因此仅由所附权利要求来限制，在权利要求中以单数形式提及一个要素并不意欲指“一个且仅一个”(除非明确声明)，而是指“一个或多个”。本领域的普通技术人员已知的上述优选实施例的要素的所有结构和功能等同物通过引用被明确结合在此，并且意欲被当前的权利要求所涵盖。另外，一个设备或方法并不需要解决本发明所要解决的所有问题才能被当前的权利要求所涵盖。另外，本公开中的要素、组件或方法步骤不欲被奉献给公众，不论该要素、组件或方法步骤是否在权利要求中有明确记载。这里的权利要求要素不应根据35U.S.C.112第六款的规定来解释，除非该要素是利用短语“用于...的装置”来明确记载的。

Claims (20)

1.一种用于生成供编码期间使用的多个候选编码树的装置，包括：
被配置用于接收和处理图像和/或视频帧的计算机；以及
可在所述计算机上执行的程序，用于
利用倍频带分区来生成非方向性编码树；
响应于下述操作来生成水平和垂直编码树：
在水平或垂直方向上缩放频率分量，以及
进行倍频带分区以创建针对水平和垂直方向进行了适应性修改的多个候选编码树。
2.如权利要求1中所述的装置，还包括可在所述计算机上执行的、用于响应于使用方向性变换生成所述多个候选编码树内的对角编码树的程序。
3.如权利要求1中所述的装置，其中所述多个候选编码树被配置用于响应于从所述多个候选编码树中选择的树结构的预定遍历来控制块编码。
4.如权利要求1中所述的装置：
其中所述多个候选编码树内的每个候选编码树被配置有指定布置的树叶节点和非树叶节点；并且
其中一个或多个树叶节点被配置用于包含与每个非树叶节点相关联的系数。
5.如权利要求1中所述的装置，其中所述多个候选编码树内的每个候选编码树被配置成使得每个非树叶节点的状态由表明其后裔树叶节点是包含全零系数还是不包含全零系数的比特来表示。
6.如权利要求1中所述的装置，其中所述多个候选编码树被配置用于保持在编码器内，该编码器从所述多个候选编码树中选择要使用的编码树。
7.如权利要求1中所述的装置，其中所述倍频带分区是通过将所述块内的系数分区成方形和L形来执行的，其中所述L形被迭代地分区成方形。
8.如权利要求1中所述的装置，其中当每个方形仅包含一个系数时，所述倍频带分区完成。
9.如权利要求1中所述的装置，其中所述多个候选编码树被配置用于在变换被执行之后对块中的系数编码。
10.如权利要求9中所述的装置，其中所述变换包括非方向性或方向性变换。
11.如权利要求1中所述的装置，还包括被配置用于响应于用于进行以下操作的程序利用来自所述多个候选编码树中的编码树对图像和/或视频帧编码的程序：
将视频帧的图像分区成块；并且
在编码器内对块执行方向性变换，之后从所述多个候选编码树中选择用来执行编码的期望树结构；
其中编码的树是在编码期间响应于为每个系数找到频率位置并且基于每个系数的频率位置执行倍频带分区来生成的。
12.如权利要求11中所述的装置，还包括被配置用于将块的系数分类成包括非方向性、水平和垂直在内的至少三个类别的程序，其中编码器从所述至少三个类别中选择一个模式用于对块编码。
13.如权利要求11中所述的装置，还包括被配置用于将块的系数分类成包括两个不同对角方向在内的类别的程序，其中编码器从五个中选择一个模式用于对块编码。
14.如权利要求11中所述的装置，还包括被配置用于进行以下操作的程序：
将块的系数分类成包括两个不同对角方向在内的类别，其中编码器从五个可能模式中选择一个模式用于对块编码；并且
其中对角方向的所述分类是响应于方向性变换操作执行的。
15.如权利要求11中所述的装置，还包括被配置用于进行以下操作的程序：
在分区之前向块应用缩放矩阵；
其中按所述缩放矩阵的缩放是响应于块的几何关系执行的；并且
其中所述缩放包括垂直或水平缩放。
16.如权利要求11中所述的装置，其中所述编码包括嵌入式编码，在嵌入式编码中编码是基于比特平面的。
17.如权利要求1中所述的装置：
其中所述编码包括嵌入式编码，在嵌入式编码中编码是基于比特平面的；并且
其中在编码期间生成的树被配置成使得以下情况发生的概率较高：所选择的树中的非树叶节点的所有后裔都包含充分小的系数以在较高比特平面中被量化成零。
18.如权利要求1中所述的装置，还包括被配置用于在图像/视频编码器内利用设计树进行适应性熵编码的程序，包括：
将图像或视频帧划分成块；
利用变换将每个块去相关以创建系数块；
量化变换系数；
响应于对图像的每个系数块内的几何关系的确定从所述多个候选树中选择期望的树结构作为所选树结构；以及
利用响应于所选树结构的零系数的集群和对倍频带分区的使用来对每个系数块编码；
其中一部分零系数响应于使所述所选树结构的非树叶节点表示相应的树叶节点仅包含零系数并且不将后裔树叶节点编码到由所述装置生成的经编码的输出比特流中，而被从经编码的输出中消除。
19.一种用于图像或视频的适应性编码和解码的系统，包括：
编码器，该编码器具有被配置用于图像和/或视频编码的处理元件和存储器；
可在所述编码器的处理元件上执行的程序，用于执行以下步骤：
将图像或视频帧划分成块，
利用变换将每个块去相关以生成变换系数块，
对于每个变换系数块量化变换系数，
响应于对图像和/或视频的系数块内的几何关系的确定从至少包括水平和垂直方向的一组多个候选树中选择树结构作为所选树结构，并且
利用响应于所选树结构的零系数的集群对块编码；
其中一部分零系数响应于使所选树结构的非树叶节点表示相应的树叶节点仅包含零系数并且不将这些后裔树叶节点编码到被引导至解码器的输出比特流中，而被从经编码的输出中消除；
解码器，该解码器具有被配置用于来自所述编码器的比特流的图像和/或视频解码的处理元件和存储器；
可在所述解码器的处理元件上执行的程序，用于响应于执行以下步骤而输出图像或视频信号：
确定所述编码器在对块编码时使用的所选树结构，
将所选树结构的树叶解码成输出的系数，
响应于对没有非零分支的非树叶节点解码而在输出内输出零系数，
对输出执行解量化，
对输出执行逆变换，并且
响应于对输出的接收而重建图像信号。
20.一种用于生成供编码器内在图像和/或视频编码期间使用的多个候选编码树的方法，包括：
利用倍频带分区来生成非方向性编码树；
响应于以下操作来生成水平和垂直编码树：
在至少水平和垂直方向上缩放频率分量，以及
进行倍频带分区以创建针对至少水平和垂直方向进行了适应性修改的多个候选编码树。
CN201080016612XA 2009-06-09 2010-06-08 利用具有方向性的广义层次树中的集合分区的图像和视频适应性编码的设计树 Pending CN102396224A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US18557009P 2009-06-09 2009-06-09
US61/185,570 2009-06-09
PCT/US2010/037837 WO2010144497A2 (en) 2009-06-09 2010-06-08 Design trees for adaptive coding of images and videos using set partitioning in generalized hierarchical trees having directionality

Publications (1)

Publication Number Publication Date
CN102396224A true CN102396224A (zh) 2012-03-28

Family

ID=43300807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080016612XA Pending CN102396224A (zh) 2009-06-09 2010-06-08 利用具有方向性的广义层次树中的集合分区的图像和视频适应性编码的设计树

Country Status (6)

Country Link
US (1) US8620098B2 (zh)
KR (1) KR101357403B1 (zh)
CN (1) CN102396224A (zh)
BR (1) BRPI1014232A2 (zh)
RU (1) RU2502215C2 (zh)
WO (1) WO2010144497A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076346A (zh) * 2017-12-21 2018-05-25 北京奇艺世纪科技有限公司 一种图像编解码方法及装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2930861B1 (fr) * 2008-05-05 2012-10-19 Groupe Des Ecoles De Telecommunications Get Ecole Nationale Superieure Des Telecommunications Enst Procede de decodage d'un signal mettant en oeuvre une construction progressive d'un arbre de decodage, produit programme d'ordinateur et signal correspondants
JP5001964B2 (ja) * 2009-02-18 2012-08-15 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
RU2502215C2 (ru) * 2009-06-09 2013-12-20 Сони Корпорейшн Деревья построения для адаптивного кодирования изображений и видеоизображений с использованием установленного разделения в обобщенных иерархических деревьях, обладающих направленностью
JP5624218B2 (ja) * 2010-09-30 2014-11-12 サムスン エレクトロニクスカンパニー リミテッド 階層的構造のシンボルを符号化するビデオ符号化方法及びその装置、階層的構造のシンボルを復号化するビデオ復号化方法及びその装置
US8977065B2 (en) * 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
EP2946552B1 (en) * 2013-01-16 2018-03-21 BlackBerry Limited Context determination for entropy coding of run-length encoded transform coefficients
US9973780B2 (en) * 2013-10-31 2018-05-15 Microsoft Technology Licensing, Llc Scaled video for pseudo-analog transmission in spatial domain
CN104284188B (zh) * 2014-10-11 2018-03-13 华为技术有限公司 预测块的划分方法、编码设备和解码设备
EP3035179A1 (en) * 2014-12-19 2016-06-22 Thomson Licensing Data processing apparatus and method for rendering a tree structure
US9311342B1 (en) * 2015-02-09 2016-04-12 Sony Corporation Tree based image storage system
US9430718B1 (en) 2015-02-09 2016-08-30 Sony Corporation Efficient local feature descriptor filtering
US10587900B2 (en) * 2016-02-15 2020-03-10 Futurewei Technologies, Inc. Systems, methods, and devices for image coding
RU2616176C1 (ru) * 2016-03-28 2017-04-12 Федеральное государственное бюджетное образовательное учреждение высшего образования "Тульский государственный университет" (ТулГУ) Способ кодирования-декодирования цифровых видеоизображений
GB2577521B (en) 2018-09-27 2022-05-18 Displaylink Uk Ltd A method of controlling encoding of display data
US11240501B2 (en) * 2020-01-08 2022-02-01 Tencent America LLC L-type partitioning tree
US11432018B2 (en) * 2020-05-11 2022-08-30 Tencent America LLC Semi-decoupled partitioning for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1342300A (zh) * 1999-12-03 2002-03-27 三星电子株式会社 用频域中的伽柏滤波器的纹理描述方法和基于纹理的图像检索方法
US6671413B1 (en) * 2000-01-24 2003-12-30 William A. Pearlman Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor
CN1640142A (zh) * 2001-05-29 2005-07-13 英特尔公司 对小波变换系数进行编码的方法和设备
US20060133680A1 (en) * 2004-12-22 2006-06-22 Frank Bossen Method and apparatus for coding positions of coefficients

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5315670A (en) * 1991-11-12 1994-05-24 General Electric Company Digital data compression system including zerotree coefficient coding
JP3278297B2 (ja) * 1994-07-20 2002-04-30 富士通株式会社 データ圧縮方法及びデータ復元方法並びにデータ圧縮装置及びデータ復元装置
US5796356A (en) * 1995-03-14 1998-08-18 Fujitsu Limited Data compressing apparatus, data restoring apparatus and data compressing/restoring system
SE512291C2 (sv) 1997-09-23 2000-02-28 Ericsson Telefon Ab L M Inbäddad DCT-baserad stillbildskodningsalgoritm
JPH11191153A (ja) * 1997-12-26 1999-07-13 Ricoh Co Ltd ウェーブレット変換係数の符号化方法
EP0940994B1 (en) * 1998-03-06 2014-04-16 Canon Kabushiki Kaisha Image processing apparatus and method and storage medium storing steps realizing such method
US6801665B1 (en) 1998-09-15 2004-10-05 University Of Maryland Method and apparatus for compressing and decompressing images
JP2000295618A (ja) * 1999-03-08 2000-10-20 Texas Instr Inc <Ti> 埋込み型ゼロトリーパターン及びビットプレーンを使用する画像符号化方法
US7065253B2 (en) * 1999-09-03 2006-06-20 Intel Corporation Wavelet zerotree coding of ordered bits
CN1213611C (zh) * 2000-04-04 2005-08-03 皇家菲利浦电子有限公司 利用小波变换的视频编码方法
KR100366638B1 (ko) * 2001-02-07 2003-01-09 삼성전자 주식회사 웨이블릿 변환을 기본으로하여 트리-구조의 벡터 양자화기법을 이용한 영상 부호화 장치 및 부호화 방법
US8406546B2 (en) * 2009-06-09 2013-03-26 Sony Corporation Adaptive entropy coding for images and videos using set partitioning in generalized hierarchical trees
RU2502215C2 (ru) * 2009-06-09 2013-12-20 Сони Корпорейшн Деревья построения для адаптивного кодирования изображений и видеоизображений с использованием установленного разделения в обобщенных иерархических деревьях, обладающих направленностью
US8743957B2 (en) * 2010-04-12 2014-06-03 Sony Corporation Context adaptive directional intra prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1342300A (zh) * 1999-12-03 2002-03-27 三星电子株式会社 用频域中的伽柏滤波器的纹理描述方法和基于纹理的图像检索方法
US6671413B1 (en) * 2000-01-24 2003-12-30 William A. Pearlman Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor
CN1640142A (zh) * 2001-05-29 2005-07-13 英特尔公司 对小波变换系数进行编码的方法和设备
US20060133680A1 (en) * 2004-12-22 2006-06-22 Frank Bossen Method and apparatus for coding positions of coefficients

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076346A (zh) * 2017-12-21 2018-05-25 北京奇艺世纪科技有限公司 一种图像编解码方法及装置
CN108076346B (zh) * 2017-12-21 2020-05-22 北京奇艺世纪科技有限公司 一种图像编解码方法及装置

Also Published As

Publication number Publication date
BRPI1014232A2 (pt) 2016-04-12
US20100310186A1 (en) 2010-12-09
US8620098B2 (en) 2013-12-31
RU2011141590A (ru) 2013-04-20
WO2010144497A2 (en) 2010-12-16
KR101357403B1 (ko) 2014-02-05
RU2502215C2 (ru) 2013-12-20
WO2010144497A3 (en) 2011-04-21
KR20120011848A (ko) 2012-02-08

Similar Documents

Publication Publication Date Title
CN102396224A (zh) 利用具有方向性的广义层次树中的集合分区的图像和视频适应性编码的设计树
US8929673B2 (en) Method and apparatus for encoding and decoding image by using rotational transform
KR101344973B1 (ko) 화상 또는 비디오 인코더 내에서의 적응적 엔트로피 인코딩 장치 및 방법
US9584821B2 (en) Method and apparatus for encoding and decoding image by using large transform unit
KR101426272B1 (ko) 영상 부호화장치 및 영상 복호화장치
CN102939755A (zh) 显著性图和变换系数块的编码
US20110135212A1 (en) Method and apparatus for encoding and decoding image by using rotational transform
CN100568742C (zh) 对图像内的对象按段数据进行编码及译码方法
JP2001524297A (ja) マルチスケールゼロツリーエントロピー符号化装置および方法
US8139880B2 (en) Lifting-based directional lapped transforms
Kuo et al. An efficient spatial prediction-based image compression scheme
Hung et al. New irregular sampling coding method for transmitting images progressively
Ates et al. Hierarchical quantization indexing for wavelet and wavelet packet image coding
Perlmutter et al. A low complexity multiresolution approach to image compression using pruned nested tree-structured vector quantization
Zhu A new subsampling-based predictive vector quantization for image coding
Caso Hybrid fractal/wavelet methods for image compression
JP2004040372A (ja) 画像符号化装置及び画像符号化方法
Lam Parental finite state vector quantizer and vector wavelet transform-linear predictive coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120328