CN109120930A - 图像解码装置、图像解码方法以及图像编码装置 - Google Patents

图像解码装置、图像解码方法以及图像编码装置 Download PDF

Info

Publication number
CN109120930A
CN109120930A CN201810874147.1A CN201810874147A CN109120930A CN 109120930 A CN109120930 A CN 109120930A CN 201810874147 A CN201810874147 A CN 201810874147A CN 109120930 A CN109120930 A CN 109120930A
Authority
CN
China
Prior art keywords
context
coefficient
frequency
unmarked
partial region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810874147.1A
Other languages
English (en)
Other versions
CN109120930B (zh
Inventor
猪饲知宏
八杉将伸
山本智幸
筑波健史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN109120930A publication Critical patent/CN109120930A/zh
Application granted granted Critical
Publication of CN109120930B publication Critical patent/CN109120930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

在维持高的编码效率的同时削减处理量。算术解码装置具备语法解码机构,其将表示变换系数的至少第1语法以及第2语法的每个语法,通过利用了上下文的算术解码或者不利用上下文的算术解码来进行解码,所述语法解码机构至少包含下述情况:不对所述第1语法进行解码,通过所述不利用上下文的算术解码来对所述第2语法进行解码的情况;和通过所述利用了上下文的算术解码来对所述第1语法进行解码,通过不利用上下文的算术解码来对所述第2语法进行解码的情况。

Description

图像解码装置、图像解码方法以及图像编码装置
本申请是2012年10月31日向中国国家知识产权局提出的题为“算 术解码装置、图像解码装置、算术编码装置、图像编码装置以及算术解码 方法”的申请No.201280053701.0的分案申请。
技术领域
本发明涉及对经算术编码后的编码数据进行解码的算术解码装置以 及具备这样的算术解码装置的图像解码装置。另外,本发明涉及生成经算 术编码后的编码数据的算术编码装置以及具备这样的算术编码装置的图 像编码装置。另外,本发明涉及对经算术编码后的编码数据进行解码的算 术解码方法。
背景技术
为了高效地对运动图像进行传输或记录,使用了通过对运动图像进行 编码来生成编码数据的运动图像编码装置(图像编码装置)以及通过对该 编码数据进行解码来生成解码图像的运动图像解码装置(图像解码装置)。
作为具体的运动图像编码方式,可列举例如作为H.264/MPEG- 4.AVC、VCEG(VideoCoding Expert Group:视频编码专家组)中的共同 开发用编解码器的KTA软件中采用的方式、TMuC(Test Model under Consideration)软件中采用的方式、作为其后继编解码器的HEVC (High-Efficiency Video Coding)中提出的方式(非专利文献1)等。
在这样的运动图像编码方式中,对于构成运动图像的图像(图片), 利用通过对图像进行分割而得到的切片、通过对切片进行分割而得到的编 码单位(有时也称为编码单元(Coding Unit))、通过对编码单位进行分割 而得到的块及分区所构成的阶层结构来管理,通常按块进行编码/解码。
另外,在这样的编码方式中,通常,基于对输入图像进行编码以及解 码而得到的局部解码图像来生成预测图像,将该预测图像与输入图像之间 的差分图像(有时也称为“残差图像”或“预测残差”)按块实施DCT (Discrete Cosine Transform)变换等频率变换,对由此得到的变换系数进 行编码。
作为变换系数的具体的编码的方式,公知有上下文自适应可变长编码 (CAVLC:Context-based Adaptive Variable Length Coding)以及上下文自 适应二进制算术编码(CABAC:Context-based Adaptive Binary Arithmetic Coding)。
在CALVC中,通过对各变换系数进行依次扫描而设为一维的向量之 后,对表示各变换系数的值的语法以及表示连续的0的长度(也称为游程) 的语法等进行编码。
在CABAC中,针对表示变换系数的各种语法实施二值化处理,对通 过该二值化处理而得到的二值数据进行算术编码。在此,作为上述各种语 法,可列举表示变换系数是否为0的标记、即表示非0变换系数的有无的 标记significant_coeff_flag(也称为变换系数有无标记)以及表示在处理 顺序中位于最后的非0变换系数的位置的语法last_significant_coeff_x以 及last_significant_coeff_y等。
另外,在CABAC中,在对1个符号(二值数据的1比特,也称为 Bin)进行编码时,参考分配给处理对象的频率分量的上下文索引,进行 与由该上下文索引指定的上下文变量所包含的概率状态索引所指示的发 生概率相应的算术编码。另外,由概率状态索引指定的发生概率在每对1 个符号进行编码时被更新。
在非专利文献1中记载了:(1)将针对16×16像素、32×32像素等比 较大的块的频率区域分割成多个部分区域,(2)针对低频侧的部分区域所 包含的频率分量,分配根据频率区域内的该频率分量的位置而确定的上下 文索引(也称为位置上下文),(3)针对高频侧的部分区域所包含的频率 分量,分配根据该频率分量的周边的频率分量中的非0变换系数的数目而 确定的上下文索引(也称为周边参考上下文)。根据该技术,能够降低低 频侧的处理量,同时在高频侧能够确保所参考的上下文的总数较小。
另外,在非专利文献2中已知下述技术:在变换系数的编码中,通过 采用利用算术编码但不利用上下文的称为旁路的编码(即为算术编码且不 利用上下文的编码),从而不需要上下文的校正,能够提高吞吐量(throughput)。在该技术中,不利用在现有CABAC中使用的二进制化, 而利用在CAVLC中使用的二进制化。
在先技术文献
非专利文献
非专利文献1:「WD4:Working Draft 4of High-Efficiency Video Coding(JCTVC-F803_d2)」,Joint Collaborative Team on Video Coding (JCT-VC)of ITU-TSG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino,IT,14-22July,2011(2011年10月8日公开)
非专利文献2:J.Lainema,K.Ugur and A.Hallapuro「Single entropy coder forHEVC with a high throughput binarization mode」,JCTVC-G569, Geneva,Novemver2011(2011年11月公开)
发明所要解决的课题
然而,在非专利文献1所述的技术中,由于在分量数目多的高频侧利 用周边参考上下文,因此用于对表示非0变换系数的有无的标记 significant_coeff_flag进行解码的上下文计算的计算量增大,产生了导致 解码处理的延迟的问题。
另外,在非专利文献2所述的技术中,由于利用在CAVLC中使用的 二进制化,因此需要游程模式和层次(level)模式这两个模式,存在处理 变得复杂的课题。另外,由于完全不利用上下文,因此存在编码效率降低 的程度大的课题。
发明内容
本发明鉴于上述问题而实现,其目的在于实现一种算术解码装置以及 算术编码装置,使得能够在实现高的编码效率的同时,与现有的构成相比 能够降低处理量。
用于解决课题的手段
为了解决上述课题,本发明的一个方式所涉及的算术解码装置的特征 在于,针对将对象图像按每个单位区域进行频率变换而得到的变换系数的 编码数据进行算术解码,所述算术解码装置具备:语法解码机构,其将表 示所述变换系数的至少第1语法以及第2语法的每个语法,通过利用了上 下文的算术解码或者不利用上下文的算术解码来进行解码,所述语法解码 机构至少包含下述情况:不对所述第1语法进行解码,通过所述不利用上 下文的算术解码来对所述第2语法进行解码的情况;和通过所述利用了上 下文的算术解码来对所述第1语法进行解码,通过不利用上下文的算术解 码来对所述第2语法进行解码的情况。
为了解决上述课题,本发明的一个方式所涉及的算术编码装置的特征 在于,生成将对象图像按每个单位区域进行频率变换而得到的变换系数的 编码数据,所述算术编码装置具备:语法编码机构,其将表示所述变换系 数的至少第1语法以及第2语法的每个语法,通过利用了上下文的算术编 码或者不利用上下文的算术编码来进行算术编码,所述语法编码机构至少 包含下述情况:不对所述第1语法进行编码,通过所述不利用上下文的算术编码来对所述第2语法进行编码的情况;和通过所述利用了上下文的算 术编码来对所述第1语法进行编码,通过不利用上下文的算术编码来对所 述第2语法进行编码的情况。
为了解决上述课题,本发明的一个方式所涉及的算术解码方法的特征 在于,针对将对象图像按每个单位区域进行频率变换而得到的变换系数的 编码数据进行算术解码,所述算术解码方法至少包括:将表示所述变换系 数的至少第1语法以及第2语法的每个语法,通过利用了上下文的算术解 码或者不利用上下文的算术解码来进行解码的步骤,所述进行解码的步骤 至少包含下述情况:不对所述第1语法进行解码,通过所述不利用上下文的算术解码来对所述第2语法进行解码的情况;和通过所述利用了上下文 的算术解码来对所述第1语法进行解码,通过不利用上下文的算术解码来 对所述第2语法进行解码的情况。
发明效果
根据本发明的一个方式,能够在实现高的编码效率的同时削减处理 量。
附图说明
图1是表示本发明的实施方式所涉及的运动图像解码装置所具备的 量化残差信息解码部的构成的框图。
图2是表示由本发明的实施方式所涉及的运动图像编码装置生成并 由运动图像解码装置解码的编码数据的数据结构的图,(a)~(d)分别 是表示图片层、切片层、树块层以及CU层的图。
图3是表示PU分割类型的图案的图。(a)~(h)分别表示了PU 分割类型为2N×N、2N×nU、2N×nD、2N×N、2N×nU以及2N×nD的情 况下的分区形状。
图4是表示将正方形的节点四叉树分割为正方形或非正方形的分割 方式的图。(a)表示了正方形的分割,(b)表示了横长的长方形的分割, (c)表示了纵长的长方形的分割,(d)表示了横长的节点的横长的分割, (e)表示了横长的节点的正方形的分割,(f)表示了纵长的节点的纵长 的分割,以及(g)表示了纵长的节点的正方形的分割。
图5是表示实施方式所涉及的编码数据的量化残差信息所包含的各 语法的图。
图6是用于说明实施方式所涉及的量化残差信息解码部的动作的图, (a)表示了顺向扫描时的处理顺序,(b)表示了逆向扫描时的处理顺序, (c)例示了处理频率区域中的非0的变换系数,(d)例示了对象频率区 域中的语法significant_coeff_flag的值,(e)例示了将对象频率区域中的 语法coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag以及 coeff_abs_level_minus3解码而得到的值,(f)例示了对象频率区域中的语 法coeff_sign_flag的值,(g)表示了8×8的频率分量所构成的频率区域中 的分组的例子。
图7是表示实施方式所涉及的运动图像解码装置的构成的框图。
图8是表示实施方式所涉及的运动图像解码装置所具备的可变长码 解码部的构成的框图。
图9是表示被实施方式所涉及的频率分类部分割成4个部分区域后的 频率区域的图。
图10是用于表示实施方式所涉及的周边参考上下文导出部的动作的 图,(a)表示了处理顺序为逆向扫描顺序时的对象频率分量x、和在对象 频率分量x的位置周边设定的参考区域所包含的参考频率分量c1~c5, (b)表示了处理顺序为顺向扫描顺序时的对象频率分量x、和在对象频 率分量x的位置周边设定的参考区域所包含的参考频率分量c1~c5,(c) 表示了参考区域从对象频率区域伸出的情况。
图11(a)是表示被实施方式所涉及的频率分类部分割成3个部分区 域后的频率区域的图,图11(b)是表示被实施方式所涉及的频率分类部 分割成2个部分区域后的频率区域的图。
图12是表示实施方式所涉及的系数有无标记解码部的第2构成例的 框图。
图13是用于说明实施方式所涉及的系数有无标记解码部的第2构成 例的图,(a)表示了扫描列Lx和扫描列Lx+1,(b)表示了在扫描列Lx 和扫描列Lx+1之中分别对last_cntx以及last_cnty进行计数的部分。
图14是表示实施方式所涉及的系数有无标记解码部的第3构成例的 框图。
图15是表示实施方式所涉及的系数有无标记解码部的第3构成例中 的周边参考上下文导出部所参考的参考区域的图,(a)~(b)例示了参 考数为4的参考区域,(c)~(f)例示了参考数为3的参考区域,(g)~ (h)例示了参考数为2的参考区域,(i)表示了参考数为3的参考区域 的另一例。
图16是用于说明实施方式所涉及的系数有无标记解码部的第3构成 例的图,表示了在构成对象频率区域的部分区域R0~R3之中部分区域 R2和R3中共享一部分上下文的情况。
图17是表示实施方式所涉及的系数有无标记解码部的第4构成例的 框图。
图18是用于说明实施方式所涉及的系数有无标记解码部的第4构成 例的图,表示了在构成对象频率区域的R0~R4之中部分区域R2和R3 中共享一部分上下文的情况。
图19是表示实施方式所涉及的系数有无标记解码部的第5构成例的 框图。
图20是用于说明实施方式所涉及的系数有无标记解码部的第5构成 例的图,表示了扫描列Lx、扫描列Lx+1、扫描列Lx+2。
图21是用于说明实施方式所涉及的系数有无标记解码部的第5构成 例的图,(a)~(c)例示了参考数为2的参考区域。
图22是表示实施方式所涉及的系数有无标记解码部的第6构成例的 框图。
图23是用于说明实施方式所涉及的量化残差信息解码部的另一构成 例的图,表示了对频率区域进行分割而得到的低频侧的部分区域R0’和高 频侧的部分区域R1’。
图24是用于说明实施方式所涉及的量化残差信息解码部的另一构成 例的图,(a)表示了层次的各值和与其对应的限制设定,(b)表示了层次 的各值和与其相应的阈值的设定。
图25是用于说明实施方式所涉及的量化残差信息解码部的另一构成 例的图,(a)表示了比较例所涉及的系数有无标记解码部所导出的上下文 索引的各值,(b)表示了该构成例所涉及的系数有无标记解码部所导出的 上下文索引ctxIdx的各值,(c)表示了该构成例所涉及的系数有无标记解 码部所导出的ctxIdxH的例子,(d)表示了该构成例所涉及的系数有无标 记解码部所导出的ctxIdxV的例子。
图26是表示实施方式所涉及的运动图像编码装置的构成的框图。
图27是表示实施方式所涉及的运动图像编码装置所具备的可变长码 编码部的构成的框图。
图28是表示实施方式所涉及的可变长码编码部所具备的量化残差信 息编码部的构成的框图。
图29是表示了搭载有上述运动图像编码装置的发送装置以及搭载有 上述运动图像解码装置的接收装置的构成的图。(a)表示了搭载有运动图 像编码装置的发送装置,(b)表示了搭载有运动图像解码装置的接收装置。
图30是表示了搭载有上述运动图像编码装置的记录装置以及搭载有 上述运动图像解码装置的再现装置的构成的图。(a)表示了搭载有运动图 像编码装置的记录装置,(b)表示了搭载有运动图像解码装置的再现装置。
图31是表示实施方式所涉及的系数有无标记解码部的第7构成例的 框图。
图32是用于说明实施方式所涉及的系数有无标记解码部的第7~第9 构成例的图,表示了以子块为单位的扫描。
图33是表示实施方式所涉及的系数有无标记解码部的第7~第9构 成例中的动作流程的一例的流程图。
图34是表示实施方式所涉及的系数有无标记解码部的第7~第9构 成例中的动作流程的另一例的流程图。
图35是表示通过实施方式所涉及的系数有无标记解码部的第7构成 例所具备的频率分类部所执行的分类处理,分割成部分区域R0、R1以及 R2后的频率区域的一例的图。
图36是用于说明实施方式所涉及的系数有无标记解码部的第7~第9 构成例的图,表示了在对象频率分量x的位置周边设定的参考区域所包含 的参考频率分量c1~c5。
图37是表示实施方式所涉及的系数有无标记解码部的第8构成例的 框图。
图38是表示通过实施方式所涉及的系数有无标记解码部的第8构成 例所具备的频率分类部所执行的分类处理,分割成部分区域R0、R1、R2 以及R3后的频率区域的一例的图。
图39是表示通过实施方式所涉及的系数有无标记解码部的第8构成 例所具备的频率分类部所执行的分类处理,分割成部分区域R0、R1、R2 以及R3后的频率区域的另一例的图。
图40是表示实施方式所涉及的系数有无标记解码部的第9构成例的 框图。
图41是表示通过实施方式所涉及的系数有无标记解码部的第9构成 例所具备的频率分类部所执行的分类处理,分割成部分区域R0、R1、R2、 R3以及R4后的频率区域的一例的图。
图42是表示通过实施方式所涉及的系数有无标记解码部的第9构成 例所具备的频率分类部所执行的分类处理,分割成部分区域R0、R1、R2、 R3以及R4后的频率区域的另一例的图。
图43是表示实施方式所涉及的系数有无标记编码部的第7~第9构 成例所执行的动作流程的流程图。
图44是表示实施方式所涉及的系数有无标记编码部的第7构成例的 框图。
图45是表示实施方式所涉及的系数有无标记编码部的第8构成例的 框图。
图46是表示实施方式所涉及的系数有无标记编码部的第9构成例的 框图。
图47是用于说明实施方式所涉及的子块系数有无标记的图,(a)表 示了针对16×16变换块所包含的合计256个频率分量的量化残差系数的 各值的一例,(b)表示了对将16×16变换块分割成4×4子块后的各子块 进行识别的子块编号的一例,(c)表示了在量化残差系数如(a)所示时 各子块的子块系数有无标记的一例。
图48是用于说明实施方式所涉及的系数有无标记解码部所具备的频 率分类部所执行的分类处理的图,(a)表示了对与亮度值相关的变换系数 进行解码时适合应用的部分区域分割,(b)表示了对与色差相关的变换系 数进行解码时适合应用的部分区域分割。
图49是用于说明基于实施方式所涉及的系数有无标记解码部的第3 构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(a) 所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出 处理的伪码。
图50是用于说明基于实施方式所涉及的系数有无标记解码部的上下 文索引导出处理的图,是表示导出对图48(b)所示的部分区域R0~R3 各自包含的频率区域分配的上下文索引的导出处理的伪码。
图51是用于说明实施方式所涉及的系数有无标记解码部的第3构成 例的另一构成例的图,表示了在对象频率分量x的位置周边设定的参考区 域所包含的参考频率分量c1、c2、c5。
图52是用于说明基于实施方式所涉及的系数有无标记解码部的第8 构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(a) 所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出 处理的伪码。
图53是用于说明基于实施方式所涉及的系数有无标记解码部的第8 构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(b) 所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出 处理的伪码。
图54是用于说明基于实施方式所涉及的系数有无标记解码部的第8 构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(a) 所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出 处理的伪码。
图55是用于说明基于实施方式所涉及的系数有无标记解码部的第8 构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(b) 所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出 处理的伪码。
图56是用于说明基于实施方式所涉及的系数有无标记解码部的第8 构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(a)~(b)所示的部分区域R0~R3各自包含的频率区域分配的上下文 索引的导出处理的伪码。
图57是用于说明基于实施方式所涉及的系数有无标记解码部的第8 构成例的考虑了上下文更新延迟去除的构成例的上下文索引导出处理的 图。
图58是用于说明基于实施方式所涉及的系数有无标记解码部的第8 构成例的考虑了上下文更新延迟去除的构成例的上下文索引导出处理的 图。
图59是用于说明基于实施方式所涉及的系数有无标记解码部的第8 构成例的考虑了上下文更新延迟去除的构成例的上下文索引导出处理的 图,是表示导出对图48(a)~(b)所示的部分区域R0~R3各自包含 的频率区域分配的上下文索引的导出处理的伪码。
图60是用于说明基于实施方式所涉及的系数有无标记解码部的第8 构成例的考虑了上下文更新延迟去除的构成例的上下文索引导出处理的 图,是表示导出对图48(a)~(b)所示的部分区域R0~R3各自包含 的频率区域分配的上下文索引的导出处理的伪码。
图61是表示本发明的实施方式所涉及的运动图像解码装置3所具备 的量化残差信息解码部的构成的框图。
图62是表示对现有技术的编码数据的量化残差信息所包含的语法进 行表示的语法表的前半部分的图。
图63是表示对现有技术的编码数据的量化残差信息所包含的语法进 行表示的语法表的后半部分的图。
图64是表示对实施方式所涉及的编码数据的量化残差信息所包含的 语法进行表示的语法表的前半部分的图。
图65是表示对实施方式所涉及的编码数据的量化残差信息所包含的 语法进行表示的语法表的后半部分的通常构成的图。
图66是表示对实施方式所涉及的编码数据的量化残差信息所包含的 语法进行表示的语法表的后半部分的第1简化构成的图。
图67是表示对实施方式所涉及的编码数据的量化残差信息所包含的 语法进行表示的语法表的后半部分的第2简化构成的图。
图68是表示对实施方式所涉及的编码数据的量化残差信息所包含的 语法进行表示的语法表的后半部分的第3简化构成的图。
图69是表示对实施方式所涉及的编码数据的量化残差信息所包含的 语法进行表示的语法表的后半部分的第4简化构成的图。
图70是表示对实施方式所涉及的编码数据的量化残差信息所包含的 语法进行表示的语法表的后半部分的第5简化构成的图。
图71是表示对实施方式所涉及的编码数据的量化残差信息所包含的 语法coeff_abs_minus进行表示的语法的构成的图。
图72是表示实施方式所涉及的简化处理标记cabac_lowcomp_flag的 导出处理的流程图。
图73是表示实施方式所涉及的简化处理标记cabac_lowcomp_flag的 导出处理的详细处理的流程图。
图74是表示本发明的实施方式所涉及的运动图像编码装置3所具备 的量化残差信息编码部的构成的框图。
图75是表示实施方式所涉及的系数有无标记编码部Y224的构成的 框图。
具体实施方式
基于附图对本发明所涉及的解码装置以及编码装置的一实施方式进 行如下说明。其中,本实施方式所涉及的解码装置用于根据编码数据对运 动图像进行解码。因此,以下,将此称为“运动图像解码装置”。另外, 本实施方式所涉及的编码装置通过对运动图像进行编码来生成编码数据。 因此,以下,将此称为“运动图像编码装置”。
但本发明的应用范围并不限定于此。即,从以下的说明可以明确,本 发明的特征在不以多个帧为前提的情况下也成立。即,无论是以运动图像 为对象还是以静止图像为对象,可应用于所有解码装置以及所有编码装 置。
(编码数据#1的构成)
利用图2,对由运动图像编码装置2生成并由运动图像解码装置1解 码的编码数据#1的构成例进行说明。编码数据#1例示性地包括序列以 及构成序列的多个图片。
在序列层中,规定了为了对处理对象的序列进行解码而运动图像解码 装置1所参考的数据的集合。序列层中包括序列参数组SPS、图片参数组 PPS、图片PICT。
编码数据#1中的图片层以下的阶层的结构在图2中示出。图2的 (a)~(d)分别是表示对图片PICT进行规定的图片层、对切片S进行 规定的切片层、对树块(Tree block)TBLK进行规定的树块层、对树块 TBLK所包含的编码单位(Coding Unit;CU)进行规定的CU层的图。
(图片层)
在图片层中,规定了为了对处理对象的图片PICT(以下也称为对象 图片)进行解码而运动图像解码装置1所参考的数据的集合。图片PICT 如图2的(a)所示,包含图片首部PH以及切片S1~SNS(NS是图片PICT 中包含的切片的总数)。
此外,以下,在不需要区分切片S1~SNS的各切片的情况下,有时会 省略标号的下标来记述。另外,对于以下说明的编码数据#1所包含的数 据且标注了下标的其他数据也是同样的。
图片首部PH中包含为了决定对象图片的解码方法而运动图像解码 装置1所参考的编码参数群。例如,表示运动图像编码装置2在编码时使 用的可变长编码的模式的编码模式信息(entropy_coding_mode_flag)是 图片首部PH所包含的编码参数的一例。
在entropy_coding_mode_flag为0时,该图片PICT通过CAVLC (Context-basedAdaptive Variable Length Coding)被编码。另外,在 entropy_coding_mode_flag为1时,该图片PICT通过CABAC (Context-based Adaptive Binary Arithmetic Coding)被编码。
(切片层)
在切片层中,规定了为了对处理对象的切片S(也称为对象切片)进 行解码而运动图像解码装置1所参考的数据的集合。切片S如图2的(b) 所示,包含切片首部SH以及树块TBLK1~TBLKNC(NC是切片S所包 含的树块的总数)。
切片首部SH中包含为了决定对象切片的解码方法而运动图像解码 装置1所参考的编码参数群。对切片类型进行指定的切片类型指定信息 (slice_type)是切片首部SH所包含的编码参数的一例。
作为可由切片类型指定信息指定的切片类型,可列举(1)编码时仅 使用帧内预测的I切片、(2)编码时使用单预测或者帧内预测的P切片、 (3)编码时使用单预测、双预测或者帧内预测的B切片等。
另外,切片首部SH中包含由运动图像解码装置1所具备的环路滤波 器参考的滤波器参数FP。滤波器参数FP包含滤波器系数群。滤波器系数 群中包含:(1)对滤波器的抽头数进行指定的抽头数指定信息,(2)滤波 器系数a0~aNT-1(NT是滤波器系数群所包含的滤波器系数的总数),以及 (3)偏移o。
(树块层)
在树块层中,规定了为了对处理对象的树块TBLK(以下也称为对象 树块)进行解码而运动图像解码装置1所参考的数据的集合。
树块TBLK包含树块首部TBLKH和编码单位信息CU1~CUNL(NL 是树块TBLK所包含的编码单位信息的总数)。在此,首先,对树块TBLK 与编码单位信息CU的关系进行如下说明。
树块TBLK被分割成用于确定进行帧内预测或帧间预测以及变换的 各处理用的块尺寸的单元。
树块TBLK的上述单元通过递归的四叉树分割而被分割。将通过该 递归的四叉树分割而得到的树结构以下称为编码树(coding tree)。
以下,将作为编码树的末端的节点的叶(leaf)所对应的单元作为编 码节点(coding node)来参考。另外,由于编码节点为编码处理的基本单 位,因此以下将编码节点也称为编码单位(CU)。
即,编码单位信息CU1~CUNL是将树块TBLK递归地进行四叉树分 割而得到的各编码节点(编码单位)所对应的信息。
另外,编码树的根(root)与树块TBLK建立对应。换言之,树块 TBLK与递归地包含多个编码节点的四叉树分割的树结构的最上级节点 建立对应。
此外,各编码节点的尺寸是该编码节点直接所属的编码节点(即,该 编码节点的上1级阶层的节点的单元)的尺寸的纵横的各一半。
另外,各编码节点可取的尺寸依赖于编码数据#1的序列参数组SPS 所包含的编码节点的尺寸指定信息以及最大阶层深度(maximum hierarchical depth)。例如,在树块TBLK的尺寸为64×64像素且最大阶层 深度为3的情况下,该树块TBLK以下的阶层中的编码节点可取4种尺 寸即64×64像素、32×32像素、16×16像素以及8×8像素中的任一种。
(树块首部)
树块首部TBLKH中包含为了决定对象树块的解码方法而运动图像 解码装置1所参考的编码参数。具体而言,如图2的(c)所示,包含: 指定对象树块分割成各CU的分割图案的树块分割信息SP_TBLK以及 指定量化步长的大小的量化参数差分Δqp(qp_delta)。
树块分割信息SP_TBLK是表示用于对树块进行分割的编码树的信 息,具体而言,是指定对象树块所包含的各CU的形状、尺寸以及指定在 对象树块内的位置的信息。
此外,树块分割信息SP_TBLK也可以没有显式地包含CU的形状、 尺寸。例如树块分割信息SP_TBLK可以是表示是否将对象树块整体或 树块的部分区域进行四分割的标记(split_coding_unit_flag)的集合。该情况 下,通过兼用树块的形状、尺寸而确定各CU的形状、尺寸。
另外,量化参数差分Δqp是对象树块中的量化参数qp与在该对象树 块的近前被编码的树块中的量化参数qp’的差分qp-qp’。
(CU层)
在CU层中,规定了为了对处理对象的CU(以下也称为对象CU) 进行解码而运动图像解码装置1所参考的数据的集合。
在此,在进行编码单位信息CU所包含的数据的具体内容的说明之 前,对CU所包含的数据的树结构进行说明。编码节点成为预测树 (prediction tree;PT)以及变换树(transform tree;TT)的根的节点。关 于预测树以及变换树进行如下说明。
在预测树中,编码节点被分割为1个或多个预测块,各预测块的位置 和尺寸被规定。以其他表现来说,则预测块是构成编码节点的1个或多个 不重叠的区域。另外,预测树包含通过上述的分割而得到的1个或多个预 测块。
预测处理按每个该预测块来进行。以下,将作为预测的单位的预测块 也称为预测单位(prediction unit;PU)。
预测树中的分割的种类大致有帧内预测的情况和帧间预测的情况这 两种。
在帧内预测的情况下,分割方法有2N×2N(与编码节点同一尺寸) 和N×N。
另外,在帧间预测的情况下,分割方法有2N×2N(与编码节点同一 尺寸)、2N×N、N×2N以及N×N等。
另外,在变换树中,编码节点被分割成1个或多个变换块,各变换块 的位置和尺寸被规定。以其他表现来说,则变换块是构成编码节点的1 个或多个不重叠的区域。另外,变换树包含通过上述的分割而得到的1 个或多个变换块。
变换处理按每个该变换块来进行。以下,将作为变换的单位的变换块 也称为变换单位(transform unit;TU)。
(编码单位信息的数据结构)
下面,参考图2的(d)来说明编码单位信息CU所包含的数据的具 体的内容。如图2的(d)所示,编码单位信息CU具体而言包含:跳过 模式标记SKIP、CU预测类型信息Pred_type、PT信息PTI以及TT信息 TTI。
[跳过标记]
跳过标记SKIP是表示对于对象CU是否应用了跳过模式的标记,在 跳过标记SKIP的值为1的情况下,即,在对象CU中应用了跳过模式的 情况下,该编码单位信息CU中的PT信息PTI被省略。此外,跳过标记 SKIP在I切片中被省略。
[CU预测类型信息]
CU预测类型信息Pred_type包含CU预测方式信息PredMode以及 PU分割类型信息PartMode。有时也将CU预测类型信息仅称为预测类型 信息。
CU预测方式信息PredMode用于指定使用帧内预测(帧内CU)以及 帧间预测(帧间CU)中的哪一个来作为针对对象CU所包含的各PU的 预测图像生成方法。此外,以下,将对象CU中的跳过、帧内预测以及帧 间预测的类别称为CU预测模式。
PU分割类型信息PartMode用于指定对象编码单位(CU)向各PU 的分割的图案即PU分割类型。以下,将这样按照PU分割类型将对象编 码单位(CU)向各PU进行分割的动作称为PU分割。
PU分割类型信息PartMode例示性地可以是表示PU分割图案的种类 的索引,也可以是被指定了对象预测树所包含的各PU的形状尺寸以及在 对象预测树内的位置。
此外,可选择的PU分割类型根据CU预测方式和CU尺寸而不同。 另外,进一步来说,可选择的PU分割类型在帧间预测以及帧内预测各自 的情况下不同。另外,关于PU分割类型的详细情形在后面描述。
另外,在不是I切片的情况下,PU分割类型信息PartMode的值以及 PU分割类型信息PartMode的值可以由指定树块的分割(partition)、预测 方式以及CU的分割(split)的方法的组合的索引 (cu_split_pred_part_mode)来确定。
[PT信息]
PT信息PTI是与对象CU所包含的PT相关的信息。换言之,PT信 息PTI是与PT所包含的1个或多个PU分别相关的信息的集合。如上所 述,预测图像的生成以PU为单位来进行,因此PT信息PTI在由运动图 像解码装置1生成预测图像时被参考。PT信息PTI如图2的(d)所示, 包含含有各PU中的预测信息等在内的PU信息PUI1~PUINP(NP是对象 PT所包含的PU的总数)。
预测信息PUI根据预测类型信息Pred_mode指定了哪一个预测方法 而包含帧内预测参数PP_Intra或帧间预测参数PP_Inter。以下,将应用 了帧内预测的PU也称为帧内PU,将应用了帧间预测的PU也称为帧间 PU。
帧间预测参数PP_Inter包含运动图像解码装置1在通过帧间预测来 生成帧间预测图像时所参考的编码参数。
作为帧间预测参数PP_Inter,例如可列举合并标记(merge_flag)、 合并索引(merge_idx)、估计运动向量索引(mvp_idx)、参考图像索引 (ref_idx)、帧间预测标记(inter_pred_flag)以及运动向量残差(mvd)。
帧内预测参数PP_Intra包含运动图像解码装置1在通过帧内预测来 生成帧内预测图像时所参考的编码参数。
作为帧内预测参数PP_Intra,例如可列举估计预测模式标记、估计 预测模式索引以及残余预测模式索引。
此外,帧内预测参数中也可含有表示是否利用PCM模式的PCM模 式标记。在PCM模式标记被编码的情况下,当PCM模式标记表示了利 用PCM模式时,省略预测处理(帧内)、变换处理以及熵编码的各处理。
[TT信息]
TT信息TTI是与CU所包含的TT相关的信息。换言之,TT信息TTI 是与TT所包含的1个或多个TU分别相关的信息的集合,在通过运动图 像解码装置1对残差数据进行解码时被参考。此外,以下,有时也将TU 称为块。
TT信息TTI如图2的(d)所示,包含对对象CU分割成各变换块的 分割图案进行指定的TT分割信息SP_TU、以及TU信息TUI1~TUINT (NT是对象CU所包含的块的总数)。
TT分割信息SP_TU具体而言是用于决定对象CU所包含的各TU 的形状、尺寸以及在对象CU内的位置的信息。例如,TT分割信息SP_ TU能够由表示是否进行成为对象的节点的分割的信息 (split_transform_flag)、和表示该分割的深度的信息(trafoDepth)来实现。
另外,例如在CU的尺寸为64×64的情况下,通过分割而得到的各 TU可取从32×32像素至4×4像素的尺寸。
TU信息TUI1~TUINT是与TT所包含的1个或多个TU分别相关的 个别的信息。例如,TU信息TUI包含量化预测残差(也称为量化残差)。
各量化预测残差是运动图像编码装置2对作为处理对象的块的对象 块实施以下的处理1~3而生成的编码数据。
处理1:对从编码对象图像中减去预测图像后的预测残差进行频率变 换(例如DCT变换(Discrete Cosine Transform));
处理2:对通过处理1得到的变换系数进行量化;
处理3:对通过处理2量化后的变换系数进行可变长编码;
其中,上述量化参数qp表示运动图像编码装置2对变换系数进行量 化时使用的量化步长QP的大小(QP=2qp/6)。
(PU分割类型)
在将对象CU的尺寸设为2N×2N像素时,PU分割类型有下面的合计 8种图案。即,2N×2N像素、2N×N像素、N×2N像素和N×N像素这4 个对称的分割(symmetric splittings)、以及2N×nU像素、2N×nD像素、 nL×2N像素和nR×2N像素这4个非对称的分割(asymmetricsplittings)。 其中,N=2m(m是1以上的任意的整数)。以下,将分割对称CU而得 到的区域也称为分区。
图3的(a)~(h)中针对各个分割类型而具体图示了CU中的PU 分割的边界的位置。
图3的(a)表示了不进行CU的分割的2N×2N的PU分割类型。另 外,图3的(b)、(c)以及(d)分别表示了PU分割类型分别为2N×N、 2N×nU以及2N×nD的情况下的分区的形状。另外,图3的(e)、(f)以 及(g)分别表示了PU分割类型为N×2N、nL×2N以及nR×2N的情况下的分区的形状。另外,图3的(h)表示了PU分割类型为N×N的情况下 的分区的形状。
对于图3的(a)以及(h)的PU分割类型,基于该分区的形状而也 称为正方形分割。另外,图3的(b)~(g)的PU分割类型也称为非正 方形分割。
另外,在图3的(a)~(h)中,对各区域标注的编号表示了区域的 识别编号,按该识别编号顺序来对区域进行处理。即,该识别编号表示了 区域的扫描顺序。
[帧间预测的情况下的分割类型]
在帧间PU中,定义了上述8种分割类型当中N×N(图3的(h)) 以外的7种。此外,上述4个非对称的分割有时也被称为AMP(Asymmetric Motion Partition)。
另外,N的具体的值根据该PU所属的CU的尺寸来规定,nU、nD、 nL以及nR的具体的值根据N的值来确定。例如,128×128像素的帧间 CU能够分割成128×128像素、128×64像素、64×128像素、64×64像素、 128×32像素、128×96像素、32×128像素以及96×128像素的帧间PU。
[帧内预测的情况下的分割类型]
在帧内PU中,定义了下面的2种分割图案。即,不对对象CU进行 分割、即对象CU自身被作为1个PU来处理的分割图案2N×2N;将对象 CU对称地分割为4个PU的图案N×N。
因此,在帧内PU中,以图3所示的例子来说,则可取(a)以及(h) 的分割图案。
例如,128×128像素的帧内CU能够分割成128×128像素以及64×64 像素的帧内PU。
(TU分割类型)
下面,利用图4来说明TU分割类型。TU分割的图案通过CU的尺 寸、分割的深度(trafoDepth)以及对象PU的PU分割类型来确定。
另外,TU分割的图案中包含正方形的四叉树分割和非正方形的四叉 树分割。
图4的(a)~(c)表示了将正方形的节点四叉树分割为正方形或非 正方形的分割方式。更具体而言,图4的(a)表示了将正方形的节点四 叉树分割为正方形的分割方式。另外,该图的(b)表示了将正方形的节 点四叉树分割为横长的长方形的分割方式。并且,该图的(c)表示了将 正方形的节点四叉树分割为纵长的长方形的分割方式。
另外,图4的(d)~(g)表示了将非正方形的节点四叉树分割为正 方形或非正方形的分割方式。更具体而言,图4的(d)表示了将横长的 长方形的节点四叉树分割为横长的长方形的分割方式。另外,该图的(e) 表示了将横长的长方形的节点四叉树分割为正方形的分割方式。另外,该 图的(f)表示了将纵长的长方形的节点四叉树分割为纵长的长方形的分 割方式。并且,该图的(g)表示了将纵长的长方形的节点四叉树分割为 正方形的分割方式。
(量化残差信息QD的构成)
图5是表示量化残差信息QD(图5中表记为residual_coding_cabac()) 所包含的各语法的表。
如图5所示,量化残差信息QD包含语法last_significant_coeff_x、 last_significant_coeff_y、significant_coeff_flag、 coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag、coeff_abs_level_minus3。
量化残差信息QD所包含的各语法通过上下文自适应二进制算术编 码(CABAC:(Context-based Adaptive Binary ArithmeticCoding))而被编 码。
以下,参考图5~图6并以块尺寸为8×8像素的情况为例来说明各语 法的解码过程。图6(a)~(g)的横轴表示了水平方向频率xC(0≤xC ≤7),纵轴表示了垂直方向频率yC(0≤yC≤7)。在以下的说明中,将 频率区域所包含的各部分区域中由水平方向频率xC以及垂直方向频率 yC指定的部分区域也称为频率分量(xC,yC)。另外,将针对频率分量 (xC,yC)的变换系数也表记为Coeff(xC,yC)。变换系数Coeff(0, 0)表示了DC分量,此外的变换系数表示了DC分量以外的分量。在本 说明书中,有时也将(xC,yC)表记为(u,v)或(uiPosX,uiPosY) 等。
图6(a)~(b)是表示8×8的频率分量所构成的频率区域FR中的 扫描顺序的例子的图。
在图6(a)所示的例子中,从低频侧(图6(a)中为左上)向高频 侧(图6(a)中为右下)依次进行扫描。另外,在图6(a)所示的例子 中,沿着频率区域FR内所示的箭头来进行扫描。有时也将图6(a)所示 的扫描顺序称为顺向扫描。
另一方面,在图6(b)所示的例子中,从高频侧(图6(b)中为右 下)向低频侧(图6(b)中为左上)依次进行扫描。另外,在图6(b) 所示的例子中,沿着频率区域FR内所示的箭头来进行扫描。有时也将图 6(b)所示的扫描顺序称为逆向扫描。
图6(c)是例示8×8的频率分量所构成的频率区域中不是0的变换 系数(非0变化系数)的图。
语法last_significant_coeff_x以及last_significant_coeff_y是表示沿着 顺向扫描方向的最后的非0变换系数的位置的语法。在图6(c)所示的 例子的情况下,last_significant_coeff_x=6,last_significant_coeff_y=0。
语法significant_coeff_flag是针对以非0变换系数为起点而沿着逆向 扫描方向的各频率分量来表示非0变换系数的有无的语法。图6(d)表 示了解码对象的变换系数为图6(c)所示的情况下的语法 significant_coeff_flag的值。如图6(d)所示,语法significant_coeff_flag 是针对各xC、yC而变换系数为0则取0、变换系数不是0则取1的标记。 此外,也将语法significant_coeff_flag称为变换系数有无标记。
语法coeff_abs_level_greater1_flag是表示变换系数的绝对值是否超过 1的标记,针对语法singnificant_coeff_flag的值为1的频率分量而被编码。 在变换系数的绝对值超过1时,coeff_abs_level_greater1_flag的值为1, 否则coeff_abs_level_greater1_flag的值为0。
语法coeff_abs_level_greater2_flag是表示变换系数的绝对值是否超过 2的标记,在coeff_abs_level_greater1_flag的值为1时被编码。在变换系 数的绝对值超过2时,coeff_abs_level_greater2_flag的值为1,否则 coeff_abs_level_greater2_flag的值为0。
语法coeff_abs_level_minus3是用于在变换系数的绝对值为3以上的 情况下指定该变换系数的绝对值的语法,在coeff_abs_level_greater2_flag 的值为1时被编码。语法coeff_abs_level_minus3的值是从变换系数的绝 对值中去掉3后的值。例如,coeff_abs_level_minus3=1表示了变换系数 的绝对值为4。
图6(e)表示了通过对语法coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag以及coeff_abs_level_minus3进行解码而得到 的各变换系数的绝对值。
语法coeff_sign_flag是表示变换系数的正负号(是正还是负)的标记, 针对语法significant_coeff_flag的值为1的频率分量而被编码。
图6(f)是表示解码对象的变换系数为图6(c)所示的情况下的语 法coeff_sign_flag的图。如图6(f)所示,语法coeff_sign_flag是在变换 系数为正的情况下取1、在变换系数为负的情况下取0的标记。
运动图像解码装置1所具备的可变长码解码部11通过对语法 last_significant_coeff_x、last_significant_coeff_y、significant_coeff_flag、 coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag、coeff_abs_level_minus3进行解码,能够生成针对各频率 分量的变换系数Coeff(xC,yC)。
此外,有时也将特定的区域(例如TU)内的非0变换系数的集合称 为significancemap。
另外,关于语法coeff_abs_level_greater1_flag、 coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_minus3的 解码,在将频率区域中的各频率分量分成1个或多个组后按每个组来进行。 图6(g)表示了8×8的频率分量所构成的频率区域中的分组的例子。关 于各种语法的解码处理的详细情形在后面描述,接下来对运动图像解码装 置1的构成进行说明。
(运动图像解码装置1)
以下,参照图1、图7~图25来说明本实施方式所涉及的运动图像解 码装置1。运动图像解码装置1是安装了H.264/MPEG-4AVC标准中采 用的技术、作为VCEG(Video CodingExpert Group)中的共同开发用编 解码器的KTA软件中采用的技术、TMuC(Test Modelunder Consideration) 软件中采用的技术以及作为其后继编解码器的HEVC(High-Efficiency Video Coding)中提出的技术的解码装置。
图7是表示运动图像解码装置1的构成的框图。如图7所示,运动图 像解码装置1具备:可变长码解码部11、预测图像生成部12、逆量化和 逆变换部13、加法器14、帧存储器15以及环路滤波器16。另外,如图7 所示,预测图像生成部12具备:运动向量复原部12a、帧间预测图像生 成部12b、帧内预测图像生成部12c以及预测方式决定部12d。运动图像 解码装置1是通过对编码数据#1进行解码来生成运动图像#2的装置。
(可变长码解码部11)
图8是表示可变长码解码部11的要部构成的框图。如图8所示,可 变长码解码部11具备:量化残差信息解码部111、预测参数解码部112、 预测类型信息解码部113以及滤波器参数解码部114。
可变长码解码部11利用预测参数解码部112将与各分区相关的预测 参数PP从编码数据#1中解码并提供给预测图像生成部12。具体而言, 预测参数解码部112关于帧间预测分区,将包括参考图像索引、估计运动 向量索引以及运动向量残差在内的帧间预测参数PP_Inter从编码数据# 1中进行解码,并将这些参数提供给运动向量复原部12a。另一方面,关 于帧内预测分区,将包含估计预测模式标记、估计预测模式索引以及残余 预测模式索引在内的帧内预测参数PP_Intra从编码数据#1中进行解码, 并将这些参数提供给帧内预测图像生成部12c。
另外,可变长码解码部11利用预测类型信息解码部113,将针对各 分区的预测类型信息Pred_type从编码数据#1中解码,并将其提供给预 测方式决定部12d。进而,可变长码解码部11利用量化残差信息解码部 111,将与块相关的量化残差信息QD以及与包含该块在内的TU相关的 量化参数差分Δqp从编码数据#1中解码,并将这些结果提供给逆量化和逆变换部13。另外,可变长码解码部11利用滤波器参数解码部114,从 编码数据#1中对滤波器参数FP进行解码,并将此提供给环路滤波器16。 此外,关于量化残差信息解码部111的具体的构成在后面描述,所以在此 省略说明。
(预测图像生成部12)
预测图像生成部12基于针对各分区的预测类型信息Pred_type,识 别各分区是应该进行帧间预测的帧间预测分区还是应该进行帧内预测的 帧内预测分区。并且,在前者的情况下,生成帧间预测图像Pred_Inter, 并将所生成的帧间预测图像Pred_Inter作为预测图像Pred而提供给加法 器14,在后者的情况下,生成帧内预测图像Pred_Intra,并将所生成的 帧内预测图像Pred_Intra提供给加法器14。此外,预测图像生成部12 在对处理对象PU应用了跳过模式的情况下,省略属于该PU的其他参数 的解码。
(运动向量复原部12a)
运动向量复原部12a将与各帧间预测分区相关的运动向量mv,根据 与该分区相关的运动向量残差和与其他分区相关的复原完毕的运动向量 mv’来进行复原。具体而言,(1)按照由估计运动向量索引指定的估计方 法,根据复原完毕的运动向量mv’来导出估计运动向量,(2)通过将导出 的估计运动向量与运动向量残差相加来获得运动向量mv。此外,与其他 分区相关的复原完毕的运动向量mv’可从帧存储器15中读出。运动向量 复原部12a将复原出的运动向量mv与对应的参考图像索引RI一起提供 给帧间预测图像生成部12b。
(帧间预测图像生成部12b)
帧间预测图像生成部12b通过画面间预测来生成与各帧间预测分区 相关的运动补偿图像mc。具体而言,利用从运动向量复原部12a提供的 运动向量mv,并根据同样从运动向量复原部12a提供的参考图像索引RI 所指定的自适应滤波完毕解码图像P_ALF’来生成运动补偿图像mc。在 此,自适应滤波完毕解码图像P_ALF’是通过对已经完成了帧整体的解码的解码完毕的解码图像实施基于环路滤波器16的滤波器处理而得到图 像,帧间预测图像生成部12b可将构成自适应滤波完毕解码图像P_ALF’ 的各像素的像素值从帧存储器15中读出。由帧间预测图像生成部12b生 成的运动补偿图像mc被作为帧间预测图像Pred_Inter而提供给预测方式 决定部12d。
(帧内预测图像生成部12c)
帧内预测图像生成部12c生成与各帧内预测分区相关的预测图像 Pred_Intra。具体而言,首先,基于从可变长码解码部11提供的帧内预 测参数PP_Intra来确定预测模式,并将所确定的预测模式针对对象分区 例如以光栅扫描顺序进行分配。
在此,基于帧内预测参数PP_Intra的预测模式的确定可按如下方式 进行。(1)对估计预测模式标记进行解码,在该估计预测模式标记表示了 针对作为处理对象的对象分区的预测模式、与分配给该对象分区的周边的 分区的预测模式相同的情况下,对于对象分区分配对该对象分区的周边的 分区所分配的预测模式。(2)另一方面,在估计预测模式标记表示了针对 作为处理对象的对象分区的预测模式、与分配给该对象分区的周边的分区的预测模式不同的情况下,对残余预测模式索引进行解码,将该残余预测 模式索引所表示的预测模式分配给对象分区。
帧内预测图像生成部12c按照对对象分区分配的预测模式所表示的 预测方法,通过画面内预测来根据(局部)解码图像P生成预测图像Pred _Intra。由帧内预测图像生成部12c生成的帧内预测图像Pred_Intra被 提供给预测方式决定部12d。此外,帧内预测图像生成部12c也可采用通 过画面内预测来根据自适应滤波完毕解码图像P_ALF生成预测图像Pred_Intra的构成。
(预测方式决定部12d)
预测方式决定部12d基于针对各分区所属的PU的预测类型信息Pred _type,来决定各分区是应该进行帧间预测的帧间预测分区还是应该进行 帧内预测的帧内预测分区。并且,在前者的情况下,将由帧间预测图像生 成部12b生成的帧间预测图像Pred_Inter作为预测图像Pred而提供给加 法器14,在后者的情况下,将由帧内预测图像生成部12c生成的帧内预 测图像Pred_Intra作为预测图像Pred而提供给加法器14。
(逆量化和逆变换部13)
逆量化和逆变换部13,(1)对根据编码数据#1的量化残差信息QD 解码出的变换系数Coeff进行逆量化,(2)针对通过逆量化而得到的变换 系数Coeff_IQ实施逆DCT(Discrete Cosine Transform)变换等逆频率变 换,(3)将通过逆频率变换而得到的预测残差D提供给加法器14。此外, 在对根据量化残差信息QD解码出的变换系数Coeff进行逆量化时,逆量 化和逆变换部13根据从可变长码解码部11提供的量化参数差分Δqp来 导出量化步长QP。量化参数qp可通过在前一个进行了逆量化以及逆频 率变换的TU所相关的量化参数qp’上加上量化参数差分Δqp而导出,量 化步长QP可根据量化步长qp而根据例如QP=2pq/6来导出。另外,基于 逆量化和逆变换部13的预测残差D的生成以TU或者将TU分割后的块 为单位来进行。
此外,关于由逆量化和逆变换部13进行的逆DCT变换,例如在对象 块的尺寸为8×8像素的情况下,若设该对象块中的像素的位置为(i,j) (0≤i≤7,0≤j≤7)、将位置(i,j)处的预测残差D的值表示为D(i, j)、将频率分量(u32,v)(0≤u≤7,0≤v≤7)中的逆量化后的变换系 数表示为Coeff_IQ(u,v),则例如由以下的数学式(1)赋予。
[数学式1]
在此,(u,v)是与上述的(xC,yC)对应的变量。C(u)以及C (v)按以下方式赋予。
·C(u)=1 (u≠0)
·C(v)=1 (v≠0)
(加法器14)
加法器14通过将从预测图像生成部12提供的预测图像Pred与从逆 量化和逆变换部13提供的预测残差D相加来生成解码图像P。生成的解 码图像P被保存在帧存储器15中。
(环路滤波器16)
环路滤波器16具有下述功能:(1)作为进行解码图像P中的块边界 或分区边界的周边的图像的平滑化(去块处理)的去块滤波器 (DF:Deblocking Filter)的功能;(2)作为针对去块滤波器所作用的图像 而利用滤波器参数FP来进行自适应滤波处理的自适应滤波器 (ALF:Adaptive Loop Filter)的功能。
(量化残差信息解码部111)
量化残差信息解码部111是根据编码数据#1所包含的量化残差信息 QD来解码针对各频率分量(uiPosX,uiPosY)的量化后的变换系数Coeff (uiPosX,uiPosY)的构成。在此,uiPosX以及uiPosY是表示频率区域 中的各频率分量的位置的索引,分别是与上述的水平方向频率u以及垂直 方向频率v对应的索引。另外,量化残差信息QD所包含的各种的语法通 过上下文自适应二进制算术编码(CABAC:(Context-based AdaptiveBinaryArithmetic Coding))而被编码。此外,以下,有时也将量化后的变 换系数Coeff仅称为变换系数Coeff。
图1是表示量化残差信息解码部111的构成的框图。如图1所示,量 化残差信息解码部111具备变换系数解码部120以及算术码解码部130。
(算术码解码部130)
算术码解码部130是用于对量化残差信息QD所包含的各比特参考上 下文来进行解码的构成,如图1所示,具备上下文记录更新部131以及比 特解码部132。
(上下文记录更新部131)
上下文记录更新部131是用于对由各上下文索引ctxIdx管理的上下 文变量CV进行记录以及更新的构成。在此,上下文变量CV包含:(1) 发生概率高的大概率符号MPS(mostprobable symbol);(2)对该大概率 符号MPS的发生概率进行指定的概率状态索引pStateIdx。
上下文记录更新部131通过参考从变换系数解码部120所具备的各部 分提供的上下文索引ctxIdx、以及由比特解码部132解码出的Bin的值, 来更新上下文变量CV,并且对更新后的上下文变量CV进行记录直至下 一次被更新为止。此外,大概率符号MPS是0或1。另外,大概率符号 MPS和概率状态索引pStateIdx在比特解码部132每对Bin进行一个解码 时被更新。
另外,上下文索引ctxIdx可以是直接指定针对各频率分量的上下文 的索引,也可以是从对处理对象的每个TU设定的上下文索引的偏移起的 增量值(以下同样)。
此外,在CABAC的解码中,除了上述处理之外,还能够利用被称为 旁路(Bypass)的解码处理。在旁路的情况下,不利用上下文变量CV, 假定概率0.5来进行解码。该情况下,不需要上下文变量CV所具备的状 态的更新,能够削减伴随上下文的校正的延迟。此外,关于是否使用旁路, 使得在ctxIdx为负的情况下作为旁路进行动作,在ctxIdx为非负的情况下根据ctxIdx来选择CV作为非旁路进行动作即可。此外,将由旁路进行 了解码处理后的码也称为不利用上下文的CABAC的算术码。此外,旁路 有时也被称为EP编码(等概率,EqualProbability编码)。
(比特解码部132)
比特解码部132参考上下文记录更新部131中记录的上下文变量 CV,对量化残差信息QD所包含的各比特(也称为Bin)进行解码。另 外,将进行解码而得到的Bin的值提供给变换系数解码部120所具备的各 部分。另外,进行解码而得到的Bin的值也被提供给上下文记录更新部 131,为了对上下文变量CV进行更新而参考。
此外,通常比特解码部根据上下文变量CV的状态并以1比特为单位 来进行解码处理,但在旁路的情况下,能够对多个比特同时进行解码。在 1周期内能够对多个比特进行解码的旁路能够较大程度地提高吞吐量。
(变换系数解码部120)
如图1所示,变换系数解码部120具备:末尾位置解码部121、扫描 顺序表保存部122、系数解码控制部123、系数有无标记解码部、系数值 解码部125、解码系数存储部126。
(末尾位置解码部121)
末尾位置解码部121对由比特解码部132提供的解码比特(Bin)进 行解释,对语法last_significant_coeff_x以及last_significant_coeff_y进行 解码。解码出的语法last_significant_coeff_x以及last_significant_coeff_y 被提供给系数解码控制部123。另外,语法last_significant_coeff_x以及 last_significant_coeff_y的解码中使用的上下文索引ctxIdx被提供给上下 文记录更新部131。
(扫描顺序表保存部122)
扫描顺序表保存部122保存有:以处理对象的TU的尺寸、表示扫描 方向的类别的扫描索引以及沿着扫描顺序而赋予的频率分量识别索引为 自变量,赋予处理对象的频率分量在频率区域中的位置的表。
作为这样的扫描顺序表的一例,可列举图5所示的ScanOrder。在图 5所示的ScanOrder中,log2TrafoSize-2表示了处理对象的TU的尺寸, scanIdx表示了扫描索引,n表示了沿着扫描顺序而赋予的频率分量识别 索引。另外,在图5中,xC以及yC表示了处理对象的频率分量在频率 区域中的位置。
(系数解码控制部123)
系数解码控制部123是用于对量化残差信息解码部111所具备的各部 分中的解码处理的顺序进行控制的构成。系数解码控制部123参考从末尾 位置解码部121提供的语法last_significant_coeff_x以及 last_significant_coeff_y,确定沿着顺向扫描的最后的非0变换系数的位置, 并且按照以所确定的最后的非0变换系数的位置为起点的扫描顺序、即由 扫描顺序表保存部122中保存的扫描顺序表所赋予的扫描顺序的逆向扫 描顺序,将各频率分量的位置(uniPosX,uniPosY)提供给系数有无标记 解码部。
另外,系数解码控制部123将作为表示处理对象的TU的尺寸、即对 象频率区域的尺寸的参数的sz提供给变换系数解码部120所具备的各部 (省略图示)。在此,sz具体而言是表示处理对象TU的一边的像素数、 即对象频率区域的一边的频率分量的数目的参数。
此外,系数解码控制部123也可采用:按照由扫描顺序表保存部122 中保存的扫描顺序表赋予的扫描顺序的顺向扫描顺序,将各频率分量的位 置(uniPosX,uniPosY)提供给系数有无标记解码部的构成。
(系数值解码部125)
系数值解码部125对从比特解码部132提供的各Bin进行解释,对语 法coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag以及coeff_abs_level_minus3进行解码,并且基于对这些语 法进行解码的结果,导出处理对象的频率分量中的变换系数(更具体而言 是非0变换系数)的值。另外,各种语法的解码中使用的上下文索引ctxIdx 被提供给上下文记录更新部131。导出的变换系数的值被保存至解码系数存储部126。
(解码系数存储部126)
解码系数存储部126是用于预先存储由系数值解码部125解码出的变 换系数的各值的构成。另外,解码系数存储部126中存储了由系数有无标 记解码部解码出的语法significant_coeff_flag的各值。由解码系数存储部 126存储的变换系数的各值被提供给逆量化和逆变换部13。
(系数有无标记解码部)
本实施方式所涉及的系数有无标记解码部是下述构成:将频率区域根 据频率的大小而分类为1个或多个部分区域,根据按每个部分区域而确定 的导出方法来导出上下文索引ctxIdx,并且利用导出的上下文索引ctxIdx 对表示非0变换系数的有无的语法significant_coeff_flag进行解码。
<系数有无标记解码部的第1构成例>
图1中表示了作为本实施方式所涉及的系数有无标记解码部的第1 构成例的系数有无标记解码部124。
如图1所示,本构成例所涉及的系数有无标记解码部124具备:频率 分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124c、 高频位置上下文导出部124d。
(频率分类部124a)
频率分类部124a是下述构成:根据频率区域中的解码对象的频率分 量的位置而将该频率分量分类到多个部分区域的某一个,并且将由低频位 置上下文导出部124b、周边参考上下文导出部124c以及高频位置上下文 导出部124d的某一个导出的上下文索引ctxIdx分配给该解码对象的频率 分量。
本构成例所涉及的频率分类部124a参考频率区域所包含的各频率分 量在该频率区域中的位置(uiPosX,uiPosY),将该频率分量分类为多个 部分区域R0~R3。在此,设uiPosX=0、1、……、sz-1,uiPosY=0、 1、……、sz-1(sz如上所述表示了处理对象TU的一边的像素数、即对 象频率区域的一边的频率分量的数目,例如是sz=16,32等)。
频率分类部124a更具体而言进行以下的分类处理。
·将满足uiPosX+uiPosY<2的频率分量分类到部分区域R0。
·将满足2≤uiPosX+uiPosY<TH1的频率分量分类到部分区域R1。
·将满足TH1≤uiPosX+uiPosY<TH2的频率分量分类到部分区域 R2。
·将满足TH2≤uiPosX+uiPosY的频率分量分类到部分区域R3。
在此,TH1以及TH2表示了满足TH1<TH2的阈值。作为具体的值, 例如,与频率区域的尺寸(处理对象TU的尺寸)无关地设TH1=5、TH2 =14即可。另外,在频率区域的尺寸为16×16的情况下,可以设TH1=5、 TH2=14,在频率区域的尺寸为32×32的情况下,可以设TH1=5、TH2 =30。这样,也可采用根据频率区域的尺寸而利用不同阈值的构成。
图9表示了通过基于本构成例所涉及的频率分类部124a的分类处理 而分割成部分区域R0、R1、R2以及R3后的频率区域的一例。
另外,频率分类部124a针对属于部分区域R0的频率分量,分配由 低频位置上下文导出部124b导出的上下文索引,针对属于部分区域R1 以及R2的频率分量,分配由周边参考上下文导出部124c导出的上下文 索引,针对属于部分区域R3的频率分量,分配由高频位置上下文导出部 124d导出的上下文索引。
此外,关于将TH2的值设为sz-2以下,在周边参考上下文导出部 124c中如后所述能够省略对象频率分量的周边的频率分量是否能参考的 判定,因而优选。换言之,优选地,关于在周边参考上下文的导出中使用 的所有参考像素收敛于处理对象TU的内部这样的频率分量,利用周边参 考上下文,而关于此外的频率分量利用位置上下文。
此外,适合将TH2的值设为sz-2的情况是:周边的频率分量也使 用与对象的位置分离了2个的位置的分量的情况。如限定参考计数的算出 方法的说明中后述的那样,在周边的频率分量使用与对象的位置分离了1 个的位置的分量的情况下,将TH2的值设为sz-1即可。
此外,根据发明者的实验,在实施方式1中说明的位置上下文的情况 下,为了获得高的编码效率,优选将TH2的值设为sz以上。
另外,根据发明者的实验,在利用了实施方式3中说明的限定参考计 数的周边参考上下文的情况下,能够将TH2的值设为sz-2以下,是优 选的。此外,在设为sz-2的情况下,除了以sz-2来求取TH2的方法之 外,也可如sz×7>>3那样利用乘积累加来求取TH2。
此外,阈值的值也可采用通过参考按每个sz而规定的表进行求取的 构成。例如,尺寸的对数log2(sz)的值在频率区域的尺寸为16×16的情况 下为4,在频率区域的尺寸为32×32的情况下为5,可通过在尺寸的对数 的值中参考以下的表tableTH2[ ]来算出常数TH2。
tableTH2[]={0,0,0,0,14,30}
TH2=table[log2(sz)]
在根据sz尺寸以计算来求取阈值的情况下能够削减表。例如,希望 采用如TH2=sz-2那样以尺寸与给定的常数的差或者和进行计算的方 法、如TH2=sz×7/8、TH2=sz×7>>3那样通过尺寸与常数的积以及相 除、移位来求取的方法。
另外,在上述的说明中,设为频率分类部124a作为对象频率分量的 位置而参考(uiPosX,uiPosY),但本实施方式并不限定于此。例如,也 可采用:作为对象频率分量的位置,参考沿着顺向扫描顺序或逆向扫描顺 序而赋予的频率分量识别索引(例如图5中的“n”),将对象频率分量分 类到多个部分区域的某一个的构成。
另外,频率分类部124a算出用于决定为了由算术码解码部130对语 法significant_coeff_flag进行解码而使用的上下文的上下文索引ctxIdx。 上下文索引ctxIdx按每个频率区域的尺寸以及解码对象的频率分量而算 出。解码出的语法significant_coeff_flag被保存在解码系数存储部126中, 被系数值解码部125参考。另外,解码时使用的上下文索引ctxIdx被提 供给上下文记录更新部131。
(低频位置上下文导出部124b)
低频位置上下文导出部124b是下述构成:在解码对象的频率分量包 含于低频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx 基于频率区域中的该频率分量的位置来导出的构成。在本说明书中,将基 于对象频率分量的位置已导出的或要导出的上下文也表现为“位置上下 文”。由于位置上下文与已经解码出的系数有无标记的值无关地决定某变 换系数的位置的系数有无标记的上下文,因此具有能够与系数有无标记的上下文导出并行地进行系数有无标记的解码的效果。
本构成例所涉及的低频位置上下文导出部124b针对属于部分区域 R0的频率分量,利用以下的式子导出上下文索引ctxIdx,并且将导出的 上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+2×uiPosX+uiPosY
其中,NX是表示上下文索引的开始点的常数。在频率区域的尺寸为 4×4以及8×8中使用的上下文数目分别为N4个、N8个的情况下,频率 区域的尺寸为16×16以及32×32的开始点成为NX=N4+N8。
此外,位置上下文导出部的上下文索引可以是固定值。即,针对利用 位置上下文分配的部分区域所包含的所有频率分量的位置可以分配一个 上下文。例如,可进行以下的分配方式。
ctxIdx=NX
其中,固定值(开始点NX)可根据颜色分量、频率区域的尺寸来选 择。
在以下说明的其他构成中,也包括利用固定值导出上下文索引的上下 文导出部在内而称为位置上下文导出部。实际上,在根据变换系数的位置 而进行了部分区域的分类的基础上,在某一部分区域中对上下文索引分配 固定值的方法,是根据位置分配了上下文,在此意义上称为位置上下文。
(周边参考上下文导出部124c)
周边参考上下文导出部124c是下述构成:将针对解码对象的频率分 量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而解码完 毕的非0变换系数的数目来导出。在本说明书中,参考针对对象频率分量 的周边的频率分量而解码完毕的非0变换系数来导出的或要导出的上下 文也表现为“周边参考上下文”。
本构成例所涉及的周边参考上下文导出部124c针对属于部分区域R1 的频率分量,利用以下的式子来导出上下文索引ctxIdx,并且将导出的上 下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+3+min(4,cnt)
在此,通过将计数值cnt限位(clip)于固定值(在此为4)的处理来 进行了多对一变换处理。
这里,部分区域R1的上下文索引的开始点为NX+3是基于以下的 理由。由于从部分区域R1的开始点起的偏移2×uiPosX+uiPosY的值 域为0、1、2,所以NX、NX+1、NX+2在部分区域R1中被使用,因 而按照使R1与R0的上下文不重叠的方式确定了R1的开始点。以后,只 要没有特别声明,则部分区域RN+1的开始点就设定为部分区域RN的 开始点与部分区域RN的偏移的阈值的最大值+1。由此,能够使2个部 分区域中上下文不重叠。
另外,本构成例所涉及的边参考上下文导出部124c针对属于部分区 域R2的频率分量,利用以下的式子来导出上下文索引ctxIdx,并且将导 出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+8+min(4,cnt)
在此,min(A,B)是取A以及B当中最小者的值的函数。即,若 A<B,则min(A,B)=A。另外,cnt表示了针对对象频率分量的周边 的频率分量而解码出的非0变换系数的数目(计数值)。图10(a)表示 了处理顺序为逆向扫描顺序时的对象频率分量x、和在对象频率分量x的 位置周边设定的参考区域RR所包含的频率分量即参考频率分量c1~c5。 如图10(a)所示,若将针对各个参考频率分量解码出的变换系数的值表 示为c1~c5,则针对对象频率分量x的cnt例如可通过以下的式子来导出。
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5! =0)
在此,设各项在()内的自变量为真时取1、在()内的自变量为假 时取0。
图10(b)表示了处理顺序为顺向扫描顺序时的对象频率分量x、和 在对象频率分量x的位置周边设定的参考区域RR所包含的频率分量即参 考频率分量c1~c5。算出cnt的式子与上述相同。如图10(b)所示,顺 向扫描时的参考频率分量的位置通过将逆向扫描时的参考频率分量的各 自的位置相对于对象频率分量x在X轴方向以及Y轴方向上反转而求出。
另外,如图10(c)所示,在某些参考频率分量伸出到频率区域的外 部的情况下,即,在参考区域的一部分伸出到对象频率区域的外侧的情况 下,将该伸出到外部的频率分量判定为不能参考,将针对该频率分量的变 换系数的值作为0来处理。即,在图10(c)所示的例子的情况下,作为 c2=0来处理。
(高频位置上下文导出部124d)
高频位置上下文导出部124d是下述构成:在解码对象的频率分量包 含于高频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx 基于频率区域中的该频率分量的位置来导出。
本构成例所涉及的高频位置上下文导出部124d针对属于部分区域R3的频率分量,利用以下的式子来导出上下文索引ctxIdx,并将导出的 上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+13+min(maxR3,(uiPosX+uiPosY-TH2)>>shift)
在此,记号“>>”表示了向右移位。另外,作为shift以及maxR3, 例如,使用shift=4、maxR3=3即可,但本实施方式并不限定于此。
另外,本构成例所涉及的低频位置上下文导出部124b、周边参考上 下文导出部124c以及高频位置上下文导出部124d,可以是在对象频率区 域的尺寸为16×16以及32×32的任一个的情况下都利用公共的式子来导 出上下文索引ctxIdx的构成,也可以根据对象频率区域的尺寸是16×16 还是32×32而利用不同的式子导出上下文索引ctxIdx的构成。作为这样 的构成的一例,可举出下述构成,即,高频位置上下文导出部124d,
在对象频率区域的尺寸为16×16的情况下:
利用ctxIdx=NX+13+min(maxR3,(uiPosX+uiPosY-TH2)>> shift),
在对象频率区域的尺寸为32×32的情况下:
利用ctxIdx=NX+13+maxR3+1+min(maxR3,(uiPosX+uiPosY -TH2)>>shift)。
另外,作为另一例可举出下述构成,即,高频位置上下文导出部124d,
在对象频率区域的尺寸为16×16的情况下:
利用ctxIdx=NX+13+min(3,(uiPosX+uiPosY-14)>>4),
在对象频率区域的尺寸为32×32的情况下:
利用ctxIdx=NX+13+min(3,(uiPosX+uiPosY-30)>>4)。
进而,作为另一例可举出下述构成,即,高频位置上下文导出部124d,
在对象频率区域的尺寸为16×16的情况下:
利用ctxIdx=NX+13+min(3,(uiPosX+uiPosY-TH2)>>3),
在对象频率区域的尺寸为32×32的情况下:
利用ctxIdx=NX+13+min(3,(uiPosX+uiPosY-TH2)>>4)。
进而,作为另一例可举出下述构成,即,高频位置上下文导出部124d,
在对象频率区域的尺寸为16×16的情况下:
利用ctxIdx=NX+13+min(R3maz,(uiPosX+uiPosY-TH2)>>3),
在对象频率区域的尺寸为32×32的情况下:
利用ctxIdx=NX+13+R3max+1+min(R3max,(uiPosX+uiPosY -TH2)>>4)。
另外,低频位置上下文导出部124b以及高频位置上下文导出部124d, 可采用利用按每个频率区域的尺寸而不同的式子来导出上下文索引 ctxIdx的构成,周边参考上下文导出部124c也可采用针对不同的尺寸的 频率区域而利用公共的式子来导出上下文索引ctxIdx的构成。
此外,通过基于本构成例所涉及的频率分类部124a的分类处理而分 割的频率区域的例子并不限于图9所示那样,例如也可如图11(a)以及 (b)那样对频率区域进行分割。
此外,位置上下文导出部的上下文索引可以是固定值。即,可针对利 用位置上下文分配的部分区域的所有频率上的位置而分配一个上下文。例 如,将以下的分配方式也称为位置上下文导出部。
ctxIdx=NX
其中,固定值(开始点NX)也可根据颜色分量、频率区域的尺寸来 选择。
在图11(a)所示的例子中,频率区域被分类为部分区域R0、R1以 及R3。针对属于部分区域R0、R1以及R3的频率分量,如上述那样,分 别通过低频位置上下文导出部124b、周边参考上下文导出部124c以及高 频位置上下文导出部124d来算出上下文索引ctxIdx。
另外,在图11(b)所示的例子中,频率区域被分类为部分区域R1 以及R3。针对属于部分区域R1以及R3的频率分量,如上述那样,分别 通过周边参考上下文导出部124c以及高频位置上下文导出部124d来算出 上下文索引ctxIdx。
如上所述,根据本构成例所涉及的系数有无标记解码部,将对属于对 象频率区域的上述多个部分区域当中高频侧的部分区域的各变换系数有 无标记分配的上下文索引,基于对象频率区域中的该变换系数有无标记的 位置来导出,因此能够实现高的编码效率,并且与现有的构成相比,能够 削减用于高频侧的上下文索引的导出处理的处理量。
<系数有无标记解码部的第2构成例>
关于本实施方式所涉及的系数有无标记解码部的第2构成例,参考图 12、13来进行说明。图12是表示本构成例所涉及的系数有无标记解码部 124-1的构成的框图。另外,图13是用于说明非0变换系数计数部124f 对非0变换系数的数目进行计数的扫描列的图。
如图12所示,本构成例所涉及的系数有无标记解码部124-1具备频 率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部 124c、前扫描列上下文导出部124e,进而,在前扫描列上下文导出部124e 中具备非0变换系数计数部124f。此外,对于与上述第1构成例所示的 部件具有相同功能的部件标注相同标号,并省略其说明。
在本构成例中,与上述第1构成例不同的是,针对属于部分区域R3 的频率分量的上下文索引ctxIdx的导出方法。
因此,在本构成例中,针对属于部分区域R0的频率分量,也与上述 第1构成例同样利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+2×uiPosX+uiPosY
另外,针对属于部分区域R1的频率分量,利用以下的式子来导出上 下文索引ctxIdx。
ctxIdx=NX+3+min(4,cnt)
另外,针对属于部分区域R2的频率分量,利用以下的式子来导出上 下文索引ctxIdx。
ctxIdx=NX+8+min(4,cnt)
另一方面,针对属于部分区域R3的频率分量,前扫描列上下文导出 部124e通过以下的方法来导出上下文索引ctxIdx。
(前扫描列上下文导出部124e)
前扫描列上下文导出部124e是下述构成:在解码对象的频率分量包 含于高频侧的部分区域的情况下,将针对该频率分量的上下文索引 ctxIdx,基于按扫描顺序为前一个的扫描列中所包含的非0变换系数的数 目来导出。
另外,前扫描列上下文导出部124e所包含的非0变换系数计数部124f 是对前一个扫描列中出现的非0变换系数的数目进行计数的构成。
本构成例所涉及的前扫描列上下文导出部124e针对属于部分区域R3 的频率分量,利用以下的式子来导出上下文索引ctxIdx,并将导出的上下 文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+13+min(maxR3,last_cnt×linetb1[uiPosX+uiPosY] >>shift)
在此,last_cnt表示了前一个扫描列中出现的非0变换系数的数目。 另外,由于根据扫描列而存在的非0变换系数的数目不同,linetb1是用于 对非0变换系数的数目进行标准化的系数表,通过以下的式子来生成。
linetbl(x)=2shift1/(x+1)(x<sz)
linetbl(x)=2shift1/(2×sz-x-1)(x≥sz)
另外,shift=shift1+2,例如,shift1=3(以下同样)。
另外,本构成例所涉及的非0变换系数计数部124f,在扫描顺序为 逆向扫描且对对象频率分量所属的扫描列Lx(图13(a))进行处理的情 况下,对前面的扫描列Lx+1中发生的非0变换系数的数目last_cnt进行 计数。此外,在顺向扫描的情况下,对Lx-1的行中发生的非0变换系 数的数目进行计数。
另外,前扫描列上下文导出部124e也可以是不利用前一个扫描列中 出现的非0变换系数的数目,而利用在前一个扫描列以前出现的非0变换 系数的数目的构成。例如可以是下述构成:在当前扫描列的非0变换系数 的数目curr_cnt上,加上对前一个扫描列中使用的last_cnt′乘以权重后的 值last_cnt′>>1,来求出last_cnt。作为具体的式子,为
last_cnt=(last_cnt′>>1)+curr_cnt。
另外,前扫描列上下文导出部124e也可以是根据频率分量的位置而 通过不同方法来导出上下文索引ctxIdx的构成。
例如,在频率分量的位置满足uiPosX>uiPosY的情况下,通过下述 的式子来导出上下文索引ctxIdx。
CtxIdx=13+min(maxR3,last_cntx×linetbl[uiPosX+uiPosY]>> shift)
另一方面,在频率分量的位置满足uiPosX≤uiPosY的情况下,通过 下述的式子来导出上下文索引ctxIdx。
CtxIdx=NX+13+maxR3+1+min(maxR3,last_cnty×linetbl[uiPosX +uiPosY]>>shift)
在此,last_cntx是满足uiPosX>uiPosY且在前一个扫描列中出现的 非0变换系数的数目,last_cnty是满足uiPosX≤uiPosY且在前一个扫描 列中出现的非0变换系数的数目。即,在前一个扫描列当中,比中央靠右 上方向的扫描列成为last_cntx的计数的对象,比中央靠左下方向的扫描 列成为last_cnty的计数的对象(图13(b))。
另外,shift=shift1+1。
进而,前扫描列上下文导出部124e可以是通过以下的式子来导出上 下文索引ctxIdx的构成。
CtxIdx=13+min(maxR3,last_cnt>>shifttbl[uiPosX+uiPosY+1])
在此,shifttbl[k]=Int(log2(numLineCoeff[k]/maxR3)), numLineCoeff[k]是k的位置的扫描列中的非0变换系数的数目。另外, Int表示了将自变量的小数点以下舍去。
如上所述,根据本构成例所涉及的系数有无标记解码部,将对上述多 个部分区域当中高频侧的部分区域中沿着当前扫描列的各变换系数有无 标记分配的上下文索引,基于沿着前扫描列的非0变换系数的数目来导 出。在此,关于沿着前扫描列的非0变换系数的数目,只要预先进行一次 计数,则在导出对沿着当前扫描列的各变换系数有无标记分配的上下文索 引时就可以公共使用。因此,与需要针对位置不同的变换系数有无标记个 别地导出上下文索引的现有的构成相比,能够削减用于高频侧的上下文索 引的导出处理的处理量,并且能够实现高的编码效率。
<系数有无标记解码部的第3构成例>
关于本实施方式所涉及的系数有无标记解码部的第3构成例,参照图 14、15来进行说明。图14是表示本构成例所涉及的系数有无标记解码部 124-2的构成的框图。另外,图15(a)~(i)是表示周边参考上下文 导出部124g导出上下文时所参考的频率分量的图。此外,如在图10(a) 和图10(b)的关系中已经示出的那样,在图15(a)~(i)的情况下, 对应的顺向扫描时的参考频率分量的位置也通过将逆向扫描时的参考频 率分量的各自的位置相对于对象频率分量x在X轴方向以及Y轴方向上 反转而求出。因此,本发明在进行顺向扫描的情况下也能应用 significant_coeff_flag。
如图14所示,本构成例所涉及的系数有无标记解码部124-2具备: 频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部 124g。此外,对于与上述第1构成例所示的部件具有相同功能的部件标注 相同标号,并省略其说明。
在本构成例中,与上述第1构成例不同的是,针对属于部分区域R3 的频率分量的上下文索引ctxIdx的导出方法。
因此,在本构成例中,针对属于部分区域R0的频率分量,也与上述 第1构成例同样利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+2×uiPosX+uiPosY
另外,针对属于部分区域R1的频率分量,利用以下的式子来导出上 下文索引ctxIdx。
ctxIdx=NX+3+min(4,cnt)
另外,针对属于部分区域R2的频率分量,利用以下的式子来导出上 下文索引ctxIdx。
ctxIdx=NX+8+min(4,cnt)
另一方面,针对属于部分区域R3的频率分量,周边参考上下文导出 部124g通过以下的方法来导出上下文索引ctxIdx。
(周边参考上下文导出部124g)
周边参考上下文导出部124g是下述构成:将针对解码对象的频率分 量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而解码完 毕的非0变换系数的数目来导出。
周边参考上下文导出部124g利用与在低频率的区域R1、R2中使用 的cnt相比参考数少的cnt2(限定参考计数),针对属于部分区域R3的频 率分量通过以下的式子来导出上下文索引ctxIdx。此外,限定参考计数是 指与在其他部分区域中使用的计数相比参考区域被限定得较小。相对于 此,将5点参考等通常的计数cnt的计算称为通常参考计数。
CtxIdx=NX+8+cnt2
另外,cnt2通过以下的式子来算出。
cnt2=(c1!=0)+(c3!=0)+(c4!=0)
在此,c1、c3、c4是针对图15的(i)所示的对象频率分量x的周边 的频率分量解码出的变换系数。
此外,限定参考计数cnt2的参考位置不限于上述情况,也可使用与5 点相比参考数少的其他参考位置。例如,参考数为2的情况下的一例为
cnt2=(c1!=0)+(c3!=0)。
进而,在对象频率区域的尺寸为16×16的情况下,周边参考上下文 导出部124g利用CtxIdx=NX+8+cnt2来导出上下文索引ctxIdx,在对 象频率区域的尺寸为32×32的情况下,利用CtxIdx=NX+8+cnt2来导 出上下文索引ctxIdx。
这样,优选利用位于高频侧的区域的参考数比位于低频侧的区域的参 考数少的计数值,与按每个区域来确定计数值的开始点相加,来求取上下 文索引。
在上述的例子中,部分区域R3的上下文的开始点是NX+8,与部分 区域R2的上下文的开始点相等。这意味着在计数值cnt与cnt2为相同值 的情况下部分区域R2和部分区域R3中为相同的上下文索引CtxIdx。换 言之,部分区域R2和部分区域R3共享相同的上下文。这样,在位于不 同的频率区域的区域间共享相同的上下文的情况下,先扫描的区域(若significant_coeff_flag的编码顺序为逆向扫描则为R3)中得到的上下文能 够在接下来扫描的区域(若significant_coeff_flag的编码顺的编码顺序为 逆向扫描则为R2)中被利用,因此能够实现高的编码效率。另外,在分 割成部分区域的情况下也不会使上下文数增加,因此能够降低伴随上下文 的存储器。
图16表示了在构成对象频率区域的部分区域R0~R3当中的部分区 域R2和R3中共享一部分上下文的情况。更具体而言,表示了在部分区 域R2中使用的通常参考计数和在部分区域R3中使用的限定参考计数中 共享由相同上下文索引(在此为NX+8~NX+11)表示的上下文。
在发明者的实验中确认了:在计数值小的区域(部分区域R2)和计 数值大的区域(部分区域R3)中使用同一开始点,在2个区域中共享上 下文的情况与不共享上下文的情况相比能够实现高的编码效率。此外,也 可实现在这2个区域中不共享上下文的方法。该情况下,在部分区域R3 中,设为
CtxIdx=NX+13+cnt2。
如上所述,本构成例所涉及的周边参考上下文导出部124g,通过将 按每个部分区域确定的给定的开始点(例如上述NX)与按每个上述部分 区域确定的变量(例如上述cnt2)相加来导出上下文索引,针对上述变量 的导出方法不同的多个部分区域,将开始点设定为相同值,由此在上下文 索引的导出方法不同的该多个部分区域中使用公共的上下文。
(系数有无标记解码部的第3构成例的另一构成例)
以下,针对基于系数有无标记解码部124-2的其他处理例,参考图 48~图50来进行说明。
图48(a)~(b)是表示本处理例中由频率分类部124a分割后的 部分区域的图,图48(a)是对与亮度值相关的变换系数进行解码时适合 应用的情况,图48(b)是对与色差相关的变换系数进行解码时适合应用 的情况。在图48(a)~(b)中,关于阈值TH、阈值TH2,通过以下的 式子并根据对象频率区域的宽度和高度的最大值来确定
TH=Max(width,height)>>2
TH2=3×Max(width,height)>>4。
在此,width表示了以频率分量为单位来表现的对象频率区域的宽度, height表示了以频率分量为单位来表现的对象频率区域的高度。例如,被 称为16×4变换的对象频率区域的宽度为16分量(与16像素对应),当 高度为4分量(与4像素对应)时,width=16、height=4。
频率分类部124a如图49所示,根据对象变换系数的频率分量上的位 置(xC,yC),如以下的式子那样,利用X坐标与Y坐标之和与阈值TH 的比较,对部分区域R1和部分区域R2进行分类。
xC+yC<TH(或者xC+yC>=TH)
另外,频率分类部124a如图49所示,根据将对象变换系数的频率分 量上的位置(xC,yC)用某子块尺寸(在此为4)除得的值(子块坐标), 如以下的式子那样,利用子块坐标下的X坐标与Y坐标之和与阈值TH2 的比较,参考数彼此不同的部分区域R2和部分区域R3进行分类。
(xC>>2)+(yC>>2)<TH2
在此,优选对2个部分区域进行区别的阈值TH2满足TH2×子块尺寸 (=4)小于对象频率区域的尺寸sz(=Max(width,height))。该情况 下,能够省略对象频率分量的周边的频率分量是否能参考的判定。例如, 3×Max(width,height)>>4是Max(width,height)×3/4,因此满足 该上述关系。
另外,在处理量削减和编码效率削减的平衡上,优选TH2的值为Max (width,height)>>2(>>2是在子块尺寸为4的情况下除以子块的 处理)以下。
即,当将上述对象频率区域的尺寸表示为sz时,在处理量削减和编 码效率削减的平衡上,在判定中利用X坐标以及Y坐标之和的情况下, 优选上述阈值TH以及TH2为sz以下的值,在判定中利用子块的X坐标 以及Y坐标之和的情况下,优选上述阈值TH以及TH2具有sz/子块以 下的大小。上述TH、TH2满足该关系。
进而,当将上述对象频率区域的尺寸表示为sz时,为了省略周边的 频率分量是否能参考的判定,在判定中利用X坐标以及Y坐标之和的情 况下,优选上述阈值TH以及TH2为小于sz的值,在判定中利用子块的 X坐标以及Y坐标之和的情况下,优选上述阈值TH以及TH2具有小于 sz/子块的大小。上述TH、TH2满足该关系。
另外,阈值也可根据对象频率区域的大小来确定。例如,如以下的式 子那样,可使用将对象频率区域的宽度和高度的最大值进行向右移位后的 值、以及在向右移位后加上或减去给定的值后的值。
TH2=3×Max(width,height)>>4
TH2=(3×Max(width,height)>>4)+4
图49是表示导出对图48(a)所示的部分区域R0~R3各自包含的 频率区域分配的与亮度相关的上下文索引cxtIdx的导出处理的伪码。在 图49中,区域R0的上下文导出由位置上下文导出部124b进行,区域 R1~区域R3的上下文导出由周边参考上下文导出部124g进行。
周边参考上下文导出部124g例如针对属于部分区域R1的频率分量, 利用以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给 频率分类部124a。
sigCtx=sigCtxOffsetR1+Min(2,ctxCnt);
这样,上下文索引sigCtx根据开始点sigCtxOffsetR1与偏移值ctxCnt 之和而被求出。在此,本构成的偏移值ctxCnt是根据计数值而得到的值, 在此,根据按照使计数值为约1/2的方式进行向右移位而得到的值
ctxCnt=(cnt+1)>>1···(eq.A4)
来确定。
此外,进行多对一变换的处理不限于向右移位,也可以如以下那样是 将计数值限位在固定值(在此为3)的处理。
ctxCnt=min(3,cnt)
该情况下,可如下算出上下文索引。
sigCtx=sigCtxOffsetR1+ctxCnt;
其中,在算出非0变换系数的计数值cnt时,可根据对象变换系数的 频率分量上的位置(xC,yC)来变更所参考的变换系数。例如,在图49 所示的伪码中,根据位置来切换参考c1、c2、c3、c4、c5这5个点还是 参考c1、c2、c4、c5这4个点。
if(((xC&3)||(yC&3))&&(((xC+1)&3)||((yC+2)&3))))
{
cnt=(c1!=0)+(c2!=0)+(c4!=0)+(c5!=0);
}else{
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5!=0);
}
另外,周边参考上下文导出部124g例如针对属于部分区域R2的频 率分量,利用与部分区域R1不同的开始点(在此为sigCtxOffsetR2)并 利用以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给 频率分类部124a。
sigCtx=sigCtxOffsetR2+Min(2,ctxCnt);
其中,偏移值ctxCnt的计算方法与部分区域R1相同。另外,上述处 理中加入了限位为2以下的处理,但这也可以说是多对一变换处理。
另外,周边参考上下文导出部124g例如针对属于作为高频分量的部 分区域R3的频率分量,利用以下的式子来导出上下文索引sigCtx,并将 该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR2+Min(2,ctxCnt);
部分区域R3的开始点与部分区域R2同样利用sigCtxOffsetR2。由此, 如已经说明过的那样,通过上下文共享,能够同时实现高的编码效率和少 的上下文数目。
在此,偏移数ctxCnt的计算中利用以下的式子。
cnt=(c1!=0)+(c5!=0);
ctxCnt=cnt;
这样,在高频分量的部分区域R3中,通过比低频率分量的部分区域 R1、R2少的参考数来算出计数值cnt,因此处理量被削减。
在上述式子中,计数值cnt的计算利用图51(a)所示的c1、c5这2 点来算出。该情况下,不参考按照处理顺序而位于近前方(在处理顺序为 逆向扫描顺序的情况下为作为对象的变换系数的位置的下侧)的坐标(例 如图10(a)所示的c3)的变换系数,因此能够并行进行上下文导出处理 和解码处理。
另外,要进一步提高并行度时,希望采用不仅不参考按照处理顺序而 位于近前方的坐标的变换系数,进一步还不参考位于近前方的近前方的坐 标(例如图10(a)所示的c1)的变换系数的方法。该情况下,如以下的 式子那样,可利用图51(b)所示的c2、c5这2点来算出计数值。
cnt=(c2!=0)+(c5!=0);
在此,在参考数不同的部分区域R2以及部分区域R3中,在参考数 多的部分区域(R2)中,通过向右移位等来执行对计数值进行多对一变 换的处理(也称为汇集处理),求出偏移值ctxCnt来算出上下文索引,但 在参考数少的部分区域(R3)中,不进行使计数值减少的处理而直接算 出上下文索引。在部分区域R3中,与部分区域R2相比能够删除计数值 的汇集处理,因此处理量被削减。此外,也可使2个部分区域的处理上的 设计统一优先,在2个部分区域中同样地进行汇集处理(在部分区域R3 中进行向右移位等)。此外,计数值的多对一变换处理也可设为对计数值 的值域进行压缩的处理。
在为色差的情况下,针对图48(b)的部分区域R0、部分区域R1、 部分区域R3,也进行与为亮度的情况同样的处理。首先,频率分类部124a 如图50所示,通过将对象变换系数的频率分量上的位置(xC,yC)除以 子块尺寸(在此为4)而得到的子块坐标的X坐标与Y坐标之和、与根 据频率区域的宽度和高度之和计算的阈值TH2的比较,对参考数彼此不 同的部分区域R1和部分区域R3进行分类。进而,如图50所示,在部分 区域R0中,在位置上下文导出部124b中根据位置上下文来进行上下文 导出,在部分区域R1、R3中,在周边参考上下文导出部124g中,进行 基于周边参考上下文的上下文导出。在部分区域R1和部分区域R3中, 在利用不同的参考数的同时共享上下文。另外,在参考数多的部分区域 R1中进行计数值的汇集处理,在参考数少的部分区域R2中不进行计数 值的汇集处理,按该方式来导出上下文索引。
在上述的例子中,高频区域中利用少的计数值,因此与利用低频区域 中的多的计数值的情况相比能够削减处理量。另外,在利用少的计数值的 部分区域中,不需要在上下文索引的导出中对计数值进行向右移位或者限 位等的多对一变换处理。因此,处理量被进一步削减。
根据上述构成,在导出方法不同的多个部分区域中,通过使按每个部 分区域确定的开始点相等,不会使上下文数增加,而且能够在实现了高的 编码效率的情况下削减处理量。
此外,周边参考上下文导出部124g如以下所示那样,可根据偏重对 所参考的变换系数的以下情形进行切换。
更具体而言,本构成例所涉及的周边参考上下文导出部124g可采用: 针对属于部分区域R3的频率分量,利用以下的式子来导出上下文索引 ctxIdx,并将导出的上下文索引ctxIdx提供给频率分类部124a的构成。
ctxIdx=NX+13+min(3,pref_y_flag?cnty:cntx)
在此,pref_y_flag是考虑变换系数的偏重而导出的垂直优先标记 pref_y_flag,根据该垂直优先标记来决定参考cnty和cntx的哪一个。此 外,垂直优先标记能够通过以下的3个方法来判定。
·基于对象位置的判定
在uiPosY>uiPosX时设为true。即,
设为pref_y_flag=uiPosY>uiPosX?true:false。
·基于按扫描顺序而非0变换系数的末尾的位置的判定
在last_significant_coeff_x<last_significant_coeff_y时设为true。即,
设为pref_y_flag=last_significant_coeff_x< last_significant_coeff_y?true:false。
·基于前一个扫描列的判定
在last_cntx<last_cnty时设为true。即,
设为pref_y_flag=last_cntx<last_cnty?true:false。
此外,垂直优先标记的判定并不限于上述3个方法。
另外,在利用垂直优先标记的情况下,也能在通常参考计数和限定参 考计数中共享相同的上下文。该情况下,如下面那样,可通过将部分区域 R3的上下文的开始点设为与部分区域R2的开始点相同的NX+8来实现。
ctxIdx=NX+8+min(3,pref_y_flag?cnty:cntx)
另外,cnty以及cntx表示了针对在对象频率分量的周边的频率分量 当中成为参考对象的频率分量解码出的非0变换系数的数目。为了导出 cnty以及cntx而参考的频率分量的数目为2~4,比上述的cnt的参考数5 少。此外,以下,也将cnty以及cntx称为优先参考计数。
下面,关于cnty以及cntx的算出方法,参考图15来进行说明。在图 15中,表示了处理顺序为顺向扫描顺序时的对象频率分量x、和针对该周 边的参考频率分量而解码出的变换系数(c1~c5)。
首先,在图15的(a)、(b)中表示参考数为4的情况。在参考数为 4的情况下,参考图15的(a)所示的c1、c3、c4、c5、图15的(b)所 示的c1、c2、c3、c4,根据下述的式来算出cnty以及cntx。
cnty=(c1!=0)+(c3!=0)+(c4!=0)+(c5!=0)
cntx=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)
在此,设各项在()内的自变量为真时取1、在()内的自变量为假 时取0。以下同样。
另外,在参考数为3的情况下,参考图15的(c)所示的c1、c3、 c5、图15的(d)所示的c1、c2、c3,根据以下的式子来算出cnty以及 cntx。
cnty=(c1!=0)+(c3!=0)+(c5!=0)
cntx=(c1!=0)+(c2!=0)+(c3!=0)
此外,在参考数为3的情况下,也可参考图15的(e)所示的c3、 c4、c5、图15的(f)所示的c1、c2、c4,根据以下的式子来算出cnty 以及cntx。
cnty=(c3!=0)+(c4!=0)+(c5!=0)
cntx=(c1!=0)+(c2!=0)+(c4!=0)
另外,在参考数为2的情况下,也可参考图15的(g)所示的c3、 c5、图15的(h)所示的c1、c2,根据以下的式子来算出cnty以及cntx。
cnty=(c3!=0)+(c5!=0)
cntx=(c1!=0)+(c2!=0)
如上所述,根据本构成例所涉及的系数有无标记解码部,将对各变换 系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有 无标记的位置周边所设定的参考区域所包含的解码完毕的非0变换系数 的数目来导出,在上述多个部分区域当中,高频侧的部分区域中设定的上 述参考区域比低频侧的部分区域中设定的上述参考区域小,因此与低频侧 的部分区域中设定的参考区域和高频侧的部分区域中设定的参考区域具 有相同大小的现有的构成相比,能够削减用于高频侧的上下文索引的导出 处理的处理量,并且能够实现高的编码效率。
<系数有无标记解码部的第4构成例>
关于本实施方式所涉及的系数有无标记解码部的第4构成例,参考图 17来进行说明。本构成例是将第1构成例与第3构成例合并后的构成。 此外,对于与上述第1~第3构成例中示出的部件具有相同功能的部件标 注相同标号,并省略其说明。
图17是表示本构成例所涉及的系数有无标记解码部的构成的框图。 如图17所示,本构成例所涉及的系数有无标记解码部124’具备:频率分 类部124a′、低频位置上下文导出部124b、周边参考上下文导出部124g 以及高频位置上下文导出部124d。
在本构成例中,与上述第3构成例不同的是,新设了部分区域R4, 将针对属于R4的频率分量的上下文索引ctxIdx的导出方法设为第1构成 例所示的位置上下文。
因此,在本构成例中,针对属于部分区域R0的频率分量,也与上述 第1构成例同样,低频位置上下文导出部124b利用以下的式子来导出上 下文索引ctxIdx。
ctxIdx=NX+2×uiPosX+uiPosY
另外,针对属于部分区域R1的频率分量,周边参考上下文导出部 124g利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+3+min(4,cnt)
另外,针对属于部分区域R2的频率分量,周边参考上下文导出部 124g利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+8+min(4,cnt)
另外,周边参考上下文导出部124g针对属于部分区域R3的频率分 量,利用与在低频率的区域R1、R2中使用的cnt相比参考数少的cnt2(限 定参考计数),根据以下的式子来导出上下文索引ctxIdx。此外,在本例 中,也将cnt2称为限定参考计数。
CtxIdx=NX+8+cnt2
本构成例所涉及的高频位置上下文导出部124d针对属于部分区域 R4的频率分量,利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+13
在上述的例子中,部分区域R4的上下文数为1个,因此在判定为是 部分区域R4的情况下,不需要进一步导出上下文索引ctxIdx的处理。在 发明者的实验中确认了:在将上下文数设为1个的情况下,通过适当设定 阈值TH4,也能够在实现高的编码效率的情况下削减处理量。
在上述的例子中,部分区域R4的上下文数为1个,在高频位置上下 文导出部124d中,利用固定值来导出了上下文索引。
图18表示了在构成对象频率区域的部分区域R0~R4之中部分区域 R2和R3中共享一部分上下文的情况。更具体而言表示了:在部分区域 R2中使用的通常参考计数和在部分区域R3中使用的限定参考计数中, 共享由相同的上下文索引(在此为NX+8~NX+11)表示的上下文。在 图18中,部分区域R4中使用的上下文数设为了1,但也可采用如以下那 样将上下文数设为2个的构成。例如可采用:根据频率区域的尺寸来对2 个进行区分的构成
ctxIdx=(sz==16)?NX+13:NX+14、
根据X坐标与Y坐标的比较来对2个进行区分的构成
ctxIdx=(uiPosY>uiPosX)?NX+13:NX+14等。
此外,也可与第1构成例同样,一般以下面的形式导出上下文。
ctxIdx=NX+13+min(maxR3,(uiPosX+uiPosY-TH2)>>shift)
另外,如图18所示,本实施方式中使用的频率分类部124a′分类为5 个部分区域R0~R4。更具体而言,进行以下的分类处理。
·将满足uiPosX+uiPosY<2的频率分量分类到部分区域R0。
·将满足2≤uiPosX+uiPosY<TH1的频率分量分类到部分区域R1。
·将满足TH1≤uiPosX+uiPosY<TH2的频率分量分类到部分区域 R2。
·将满足TH2≤uiPosX+uiPosY<TH3的频率分量分类到部分区域 R3。
·将满足TH3≤uiPosX+uiPosY的频率分量分类到部分区域R4。
另外,上述的TH1例如设为5。另外,TH2和TH3可根据以下的式 子并基于sz来确定。
TH2=sz×7>>3
TH3=sz+6
在该频率区域的尺寸为16×16的情况下,TH2=14,TH3=22,在为 32×32的情况下,TH2=28,TH3=38。
另外,为了减轻低QP下的性能下降,也可按如下方式来设定阈值 TH2以及TH3。
TH2=sz
TH3=sz+8
即,可以在频率区域的尺寸为16×16的情况下,设TH2=16、TH3 =24,在频率区域的尺寸为32×32的情况下,设定TH2=32、TH3=40。
此外,阈值的算出的一般式为
TH2=sz×a2/b2+c2
TH3=sz×a3/b3+c3。
在此,a2、b2、c2、a3、b3、c3是给定的常数。利用b2以及b3的 除法也通过移位运算来处理。一般,增大阈值则编码效率提高,但处理量 被削减的高频侧的部分空间R3、部分空间R4的面积减小,因此处理量 削减的效果减少。
此外,在阈值的计算中使用的常数基于尺寸sz的情况下,通过参考 表来进行计算,能够省略因尺寸引起的分歧。另外,在常数不依赖于尺寸 的情况下,可省略参考表的处理。在常数不依赖于尺寸的情况下,按以下 方式求出即可。
TH2=sz×a/b+c
TH3=sz×a/b+c
阈值可由比率a/b或者加法c来控制。在以a/b来控制阈值的情况 下,高频侧的部分空间的面积与低频侧的部分空间的面积比不依赖于尺寸 sz,但在由加法c来控制的情况下依赖于尺寸。在发明者的实验中,32×32 的情况与16×16相比,部分区域R4的面积比可增大,因此在TH3的算 出中适合使用加法c。这样的例除了已经说明过的式子以外还可适当采用 以下的式子。
TH2=sz×7>>3
TH3=sz+12
此外,根据发明者的实验,为了获得大的处理量降低,TH2设为sz -2以下为好,为了实现高的编码效率,TH3设为sz以上为好。例如, 除了以上的式子以外,以下的式子也是适当的。另外,在设TH2=sz-1 的情况下,在部分区域R1中也能省略对象频率分量的周边的频率分量是 否能参考的判定。因此,虽然处理量降低效果会略微下降,但可以保守地 设为TH2=sz-1。
TH2=sz×7>>3
TH3=sz×11>>3
如上所述,根据本构成例所涉及的系数有无标记解码部,在比给定的 阈值TH2更高频侧的部分区域中对各变换系数有无标记分配的上下文索 引可取的值的范围,小于在低频侧的部分区域中设定的上述参考区域中可 取的值的范围,因此能够削减用于高频侧的上下文索引的导出处理的处理 量。进而,在比另一阈值TH3更高频侧的部分区域中,由于基于位置来 导出上下文索引,因此能够进一步削减处理量。
另外,在以上的构成的一形态中,在计数值的导出方法不同的2个部 分区域中,通过使按每个部分区域确定的开始点相等,不会使上下文数增 加,而且能够在实现了高的编码效率的情况下削减处理量。
另外,在以上的构成的一形态中,将基于位置导出的情况下的上下文 数设为了1个或2个这样少的值。由此,将上下文数的增加抑制为最小限 度,进而对上下文进行区别的处理量少,能够在实现了高的编码效率的情 况下削减处理量。
如上所述,在本构成例所涉及的系数有无标记解码部中,频率分类部 124a′将对象频率区域根据处理对象的变换系数有无标记的位置而分类为 至少3个部分区域,周边参考上下文导出部124g在第1部分区域(部分 区域R1或R2)中,参考N1个解码完毕的非0变换系数(N1是自然数), 在第2部分区域(部分区域R3)中,参考N2个解码完毕的非0变换系 数(N2是满足N2<N1的自然数),由此导出上下文索引,在第3部分区 域(部分区域R4)中,高频位置上下文导出部124d根据变换系数有无标 记的位置来导出上下文索引。
根据上述构成,通过将为了参考上下文索引而参考的解码完毕的非0 变换系数的数被更小地设定的部分区域、与基于对象频率区域中的该变换 系数有无标记的位置来导出上下文索引的部分区域进行组合,能够实现高 的编码效率,并且与现有的构成相比能够削减用于高频侧的上下文索引的 导出处理的处理量。
<系数有无标记解码部的第5构成例>
关于本实施方式所涉及的系数有无标记解码部的第5构成例,参考图 19~图21来进行说明。图19是表示本构成例所涉及的系数有无标记解码 部124-3的构成的框图。另外,图20是用于说明对非0变换系数的数目 进行计数的扫描列的图。另外,图21(a)~(c)是用于说明在到处上 下文时参考的对象的图。
如图19所示,本构成例所涉及的系数有无标记解码部124-3具备频 率分类部124a、低频位置上下文导出部124b、高频区域上下文导出部 124h,进而,高频区域上下文导出部124h中具备周边参考上下文导出部 124i以及前扫描列上下文导出部124e。另外,在前扫描列上下文导出部 124e中具备非0变换系数计数部124f。此外,对于与上述第1~第3构成例中示出的部件具有相同功能的部件标注相同标号,并省略其说明。
在本构成例中,与上述第1构成例不同的是,针对属于部分区域R3 的频率分量的上下文索引ctxIdx的导出方法。
因此,在本构成例中,针对属于部分区域R0的频率分量,也与上述 第1构成例同样利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+2×uiPosX+uiPosY
另外,针对属于部分区域R1的频率分量,利用以下的式子来导出上 下文索引ctxIdx。
ctxIdx=NX+3+min(4,cnt)
另外,针对属于部分区域R2的频率分量,利用以下的式子来导出上 下文索引ctxIdx。
ctxIdx=NX+8+min(4,cnt)
另一方面,针对属于部分区域R3的频率分量,高频区域上下文导出 部124h通过以下的方法来导出上下文索引ctxIdx。
(高频区域上下文导出部124h)
高频区域上下文导出部124h是下述构成:将针对解码对象的频率分 量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而解码完 毕的非0变换系数的数目、以及前一个扫描列所包含的非0变换系数的数 目来导出。
高频区域上下文导出部124h所具备的周边参考计数部124i,参考与 对象频率分量相邻的解码完毕的变换系数,利用以下的式子来导出cnt2’。 此外,也将cnt2’称为限定参考计数。
cnt2’=(c1!=0)+(c3!=0)
在此,c1、c3是针对如图21的(a)所示的对象频率分量x的周边 的频率分量而解码出的变换系数。
高频区域上下文导出部124h所具备的前扫描列非0变换系数计数部124j利用以下的式子来导出cnt3。
cnt3=(last_cnt>THc)?1:0
在此,作为阈值THc,例如利用THc=1即可,但这并不用于限定本 实施方式,作为THc,可使用依赖于uiPosX、uiPosY的阈值。更具体而 言,可使用与沿着对象频率分量所属的扫描列的频率分量的数目具有正相 关的阈值。
另外,last_cnt如上所述表示了前一个扫描列中出现的非0变换系数 的数目。
另外,前扫描列非0变换系数计数部124j可采用利用以下的式子来 导出cnt3的构成。
cnt3=(last_cnt2>THc)?1:0
在此,last_cnt2表示了在往前数第2个扫描列中出现的非0变换系 数的数目。
图20表示了在扫描顺序为逆向扫描顺序时处理对象的扫描列Lx、前 一个扫描列Lx+1以及往前数第2个扫描列Lx+2的例子。
前扫描列非0变换系数计数部124j在与当前扫描列相关的处理结束 后进行与下一扫描列相关的处理时,例如,按以下方式来更新last_cnt、 last_cnt2。
last_cnt2=last_cnt
last_cnt=curr_cnt
在此,curr_cnt如上所述表示了当前扫描列的非0变换系数的数目。
本构成例所涉及的周边参考上下文导出部124h参考由周边参考计数 部124i导出的cnt2’、以及由前扫描列非0变换系数计数部124j导出的 cnt3,针对属于部分区域R3的频率分量而利用以下的式子来导出上下文 索引ctxIdx,并将导出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+13+min(3,cnt2’+cnt3)
如上所述,根据本构成例所涉及的系数有无标记解码部,将对上述多 个部分区域当中高频侧的部分区域中的沿着当前扫描列的各变换系数有 无标记分配的上下文索引,基于沿着前扫描列的非0变换系数的数、和在 对象频率区域中的该变换系数有无标记的位置周边所设定的参考区域所 包含的解码完毕的非0变换系数的数来导出,在上述多个部分区域当中高 频侧的部分区域中设定的上述参考区域比低频侧的部分区域中设定的上 述参考区域小,因此与现有的构成相比,能够更有效地削减用于高频侧的 上下文索引的导出处理的处理量,并且能够实现高的编码效率。
此外,周边参考计数部124i可以是利用以下的式子来导出cnt2’的构 成。
cnt2’=pref_y_flag?cnty’:cntx’
在此,优先参考计数cnty’例如可采用下述构成:利用针对图21(b) 所示的参考频率分量而解码完毕的变换系数c3、c5,根据
cnty’=(c3!=0)+(c5!=0)
来导出,也可采用下述构成:利用针对图21(c)所示的参考频率分 量而解码完毕的变换系数c1、c2,根据
cntx’=(c1!=0)+(c2!=0)
来导出。
<系数有无标记解码部的第6构成例>
关于本实施方式所涉及的系数有无标记解码部的第6构成例,参考图 22来进行说明。图22是表示本构成例所涉及的系数有无标记解码部124 -4的构成的框图。
如图22所示,本构成例所涉及的系数有无标记解码部124-4具备: 频率分类部124a、低频位置上下文导出部124b以及周边参考上下文导出 部124k。此外,对于与上述第1~第4构成例所示的部件具有相同功能的 部件标注相同标号,并省略其说明。
在本构成例中,与上述第1构成例不同的是,针对属于部分区域R1~ R3的频率分量的上下文索引ctxIdx的导出方法。
因此,在本构成例中,针对属于部分区域R0的频率分量,也与上述 第1构成例同样利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+2×uiPosX+uiPosY
另一方面,针对属于部分区域R1的频率分量,周边参考上下文导出 部124k通过以下的方法来导出上下文索引ctxIdx。
ctxIdx=NX+3+min(4,pref_y_flag?cnty:cntx)
另外,针对属于部分区域R2的频率分量,周边参考上下文导出部 124k通过以下的方法来导出上下文索引ctxIdx。
ctxIdx=NX+8+min(4,pref_y_flag?cnty:cntx)
另外,针对属于部分区域R3的频率分量,周边参考上下文导出部 124k通过以下的方法来导出上下文索引ctxIdx。
ctxIdx=NX+13+min(4,pref_y_flag?cnty:cntx)
在此,关于pref_y_flag、cnty、cntx已在上述描述中进行了说明,所 以在此省略说明。
如上所述,根据本构成例所涉及的系数有无标记解码部,将对各变换 系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有 无标记的位置周边所设定的参考区域所包含的解码完毕的非0变换系数 的数目来导出,由于上述参考区域所包含的解码完毕的变换系数的数目为 4以下,因此参考比现有的构成少的数目的解码完毕的变换系数即可。因 此,根据上述构成,与现有的构成相比,能够削减用于高频侧的上下文索 引的导出处理的处理量,并且能够实现高的编码效率。
(变换系数解码部120的另一构成例1)
以上,关于本实施方式所涉及的变换系数解码部120,主要以系数有 无标记解码部的构成例为中心进行了说明,但本实施方式所涉及的变换系 数解码部120的构成并不限于上述的例子。
例如,可采用:在编码数据#1的序列参数组SPS中包含对高频分量 的编码进行限制的标记(限制标记)high_coeff_restriction_flag的构成。 在这样的构成的情况下,可采用下述构成:变换系数解码部120对该标记 high_coeff_restriction_flag进行解码,在high_coeff_restriction_flag=0的 情况下,对针对处理对象的频率区域所包含的所有频率分量的变换系数进 行解码,在high_coeff_restriction_flag=1的情况下,仅对针对满足下述条 件uiPosX+uiPosY<TH2的频率分量的变换系数进行解码,按该方式进 行限制。
另外,可以采用仅在处理对象的TU为特定的尺寸(例如,32×32或 16×16)的情况下应用上述的限制的构成。
图23是表示在处理对象的频率区域中由满足uiPosX+uiPosY<TH2 的频率分量构成的区域R0’和此外的区域R1’的图。在图23中,针对区域 R0’所包含的频率分量,变换系数被解码,针对区域R1’所包含的频率分 量,变换系数未被解码,一律设定为既定值(例如0)。
另外,可采用上述阈值TH2例如作为固定值而使用TH2=14的构成, 也可采用将表示阈值TH2的值的语法包含在编码数据#1中的构成。
作为表示阈值TH2的值的语法,例如使用表示(TH2-14)/2的值 的语法sps_coeff_restriction_value_minus14_div2即可。
另外,也可采用根据层次来决定是否应用上述的限制的构成。在此, 层次是指对语法中使用的值的范围进行限制的限制。层次被分为从0至给 定的值为止的限制,使小的值的层次成为较严格的限制。层次特别是为了 限制解码的复杂度而使用,图像的宽度、高度、帧率等包含于限制对象的 语法中。另外,简档(profile)在所使用的工具的限制中被使用。在语法 根据工具而不同的情况下,语法会根据简档而变化。层次按每个简档而被 确定。此外,简档以及层次例如设为以序列参数组进行编码,但并不限定 于此。
例如,如图24(a)所示,可采用在层次为0~2的情况下设为有限 制、在层次为3以上的情况下设为没有限制的构成。
进而,也可设为根据层次而适应性地变更阈值的构成。例如,如图 24(b)所示,可采用下述构成:在层次为0或1的情况下,以上述限制 而应用设为了TH2=14的阈值,在层次为2的情况下,以上述限制而应 用设为了TH2=22的阈值,在层次为3的情况下,以上述限制而应用设 为了TH2=30的阈值,在层次为4的情况下,不应用限制。
此外,在对语法中使用的值的范围进行限制的情况下,作为判定进行 限制的范围的判定式,除了进行频率区域的位置的X坐标与Y坐标之和 与阈值的比较的以下的式子之外,
uiPosX+uiPosY<TH2
也可利用将频率区域的位置除以子块的大小(在此为4)而得到的子 块位置,如以下的式子那样进行子块坐标的X坐标与Y坐标之和与阈值 的比较。
(uiPosX>>2)+(uiPosY>>2)<(TH2>>2)
即,在将上述对象频率区域的尺寸表示为sz时,从处理量削减和编 码效率削减的平衡上,优选上述阈值TH以及TH2在判定中利用X坐标 以及Y坐标之和的情况下为sz以下的值,在利用子块的X坐标以及Y 坐标之和的情况下具有sz/子块以下的大小。上述TH、TH2满足该关系。
进而,在将上述对象频率区域的尺寸表示为sz时,为了省略周边的 频率分量是否能参考的判定,优选上述阈值TH以及TH2在判定中利用 X坐标以及Y坐标之和的情况下为小于sz的值,在利用子块的X坐标以 及Y坐标之和的情况下具有小于sz/子块的大小。上述TH、TH2满足该 关系。
另外,阈值可以根据对象频率区域的大小来确定。例如,如以下的式 子那样,可利用将对象频率区域的宽度和高度的最大值向右移位后的值、 以及在向右移位后加上或减去给定的值后的值。
TH2=3×Max(width,height)>>4
TH2=(3×Max(width,height)>>4)+4
根据如上述那样构成的编码数据#1,包含了表示是否对与各单位区 域对应的各对象频率区域中的高频侧的变换系数进行解码的限制标记,变 换系数解码部120在上述限制标记表示了不对高频侧的变换系数进行解 码的情况下,能够省略该高频侧的变换系数的解码处理,因此用于对变换 系数进行解码的处理量被削减。
(变换系数解码部120的另一构成例2)
另外,在对象TU的尺寸为8×8像素等比较小的尺寸的情况下,变换 系数解码部120所具备的系数有无标记解码部可采用:利用以下的式子来 导出上下文索引ctxIdx,并分配给各频率分量的构成。
ctxIdx=N8+4×tbl[uiPosY]+tbl[uiPosX]
在此,tb1={0,1,1,2,2,3,3,3}。
在此,N8是频率区域的尺寸为8×8的情况下的上下文索引的开始点。
本构成例所涉及的系数有无标记解码部对从比特解码部132提供的 Bin进行解释,利用对解码对象的频率分量分配的上下文索引ctxIdx,对 针对该解码对象的频率分量的语法significant_coeff_flag进行解码。解码 出的语法significant_coeff_flag保存在解码系数存储部126中,被系数值 解码部125参考。另外,解码时使用的上下文索引ctxIdx被提供给上下 文记录更新部131。
图25(a)表示了比较例所涉及的系数有无标记解码部所导出的上下 文索引ctxIdx的各值,图25(b)表示了本构成例所涉及的系数有无标记 解码部所导出的上下文索引ctxIdx的各值。
在此,比较例所涉及的系数有无标记解码部用于根据下式导出上下文 索引ctxIdx,
ctxIdx=N8+4×tbl[uiPosY]+tbl[uiPosX]
tb1={0,0,1,1,2,2,3,3}。
如图25(b)所示,本构成例所涉及的系数有无标记解码部与比较例 所涉及的系数有无标记解码部相比,对低频率分量更细致地赋予上下文索 引ctxIdx。
另外,图25(b)所示,在本构成例所涉及的系数有无标记解码部中, 与高频分量侧相比,将低频率分量侧分割为更小的区域,并对各区域赋予 彼此不同的上下文索引ctxIdx。
本构成例所涉及的系数有无标记解码部通过采用上述的构成,能够高 效地对低频率分量侧的significant_coeff_flag进行解码,因此编码效率提 高。
此外,基于本构成例所涉及的系数有无标记解码部的上下文索引 ctxIdx的导出处理不限于上述的例子,例如可采用:按照对PosX=0附近 的频率分量进行细致分割的方式,利用以下的式子来算出ctxIdxH,将该 各值设定为上下文索引ctxIdx的构成。
ctxIdxH=N8+4×(uiPosY>>1)+tb1[uiPosX]
tbl={0,1,1,2,2,3,3,3}
图25(c)表示了本构成例所涉及的系数有无标记解码部所导出的 ctxIdxH的例子。
通过采用这样的构成,能够高效地解码针对PosX=0附近的频率分 量的significant_coeff_flag,因此编码效率提高。
另外,也可采用:按照对PosY=0附近的频率分量进行细致分割的 方式,利用以下的式子来算出ctxIdxV,将该各值设定为上下文索引ctxIdx 的构成。
ctxIdxV=N8+4×tbl[uiPosY]+(uiPosX>>1)
tbl={0,1,1,2,2,3,3,3}
图25(d)表示了本构成例所涉及的系数有无标记解码部所导出的 ctxIdxV的例子。
通过采用这样的构成,能够高效地解码针对PosY=0附近的频率分 量的significant_coeff_flag,因此编码效率提高。
另外,本构成例所涉及的系数有无标记解码部可采用:参考上述的垂 直优先标记pref_y_flag的值,根据该值来切换是利用ctxIdxV还是利用 ctxIdxH的构成。更具体而言,可采用根据下式来导出上下文索引ctxIdx 的构成,
ctxIdx=pref_y_flag?ctxIdxV:ctxIdxH。
通过采用这样的构成,能够根据变换系数的偏重而使用更适当的上下 文索引ctxIdx,因此编码效率提高。
如上所述,本构成例所涉及的系数有无标记解码部将与处理对象的单 位区域对应的对象频率区域分割为多个部分区域,对各部分区域进行分配 彼此不同的上下文索引的上下文索引分配,对于表示属于各部分区域的各 变换系数是否为0的语法即各变换系数有无标记,基于由分配给该变换系 数有无标记所属的部分区域的上下文索引而指定的概率状态来进行算术 解码,上述多个部分区域当中低频侧的部分区域比高频侧的部分区域小, 因此能够对低频侧的区域细致地分配上下文索引。因此,根据上述构成, 能够高效地解码低频侧的语法,所以编码效率提高。
(以子块为单位的系数有无标记的解码处理例)
本实施方式所涉及的系数有无标记解码部也可采用下述构成:不是将 频率区域的整体作为1个块(变换块)来对系数有无标记进行解码,而是 将表示频率区域的整体的1个块例如分割为4×4的子块,以子块为单位 来对系数有无标记进行解码。
图32是表示子块扫描的图。在此,子块扫描是指以子块为单位的扫 描。系数有无标记解码部如图32所示,例如,将与频率区域整体对应的 1个块分割成在uiPosX方向为4个且在uiPosY方向为4个的合计16个 子块,并以子块为处理单位来对系数有无标记进行解码。
在利用子块来对系数有无标记进行解码的情况下,如图32(a)所示, 系数有无标记解码部以子块为单位,对表示子块内是否存在至少1个非0 变换系数的标记(子块系数有无标记significant_coeffgroup_flag)按子块 逆向扫描顺序(图32的块内所示的箭头方向)进行解码。进而,在子块 系数有无标记significant_coeffgroup_flag非0的情况下,如图32(b)所 示,系数有无标记解码部针对处理对象的子块内部的各变换系数,按子块 内部的逆向扫描顺序(图32的子块内所示的箭头方向)对有无标记进行 解码。
此外,图32(a)所示的子块扫描的扫描顺序以及图32(b)所示的 子块内扫描的扫描顺序只是一例,也可采用其他扫描顺序。例如可采用Z 字形扫描、水平优先扫描、垂直优先扫描。
以下,以子块为单位来说明对子块非零系数有无标记、非零系数有无 标记进行解码/编码时的例子。
首先,利用图47,说明将变换块的尺寸设为16×16、将子块的尺寸 设为4×4时的子块系数有无标记的例子。
图47(a)是针对16×16变换块所包含的合计256个频率分量的量化 残差系数的各值的一例。另外,图47(b)是表示对将16×16变换块分割 为4×4子块的情况下的各子块进行识别的子块编号的一例的图。图47(c) 表示了在量化残差系数如图47(a)所示时各子块的子块系数有无标记的 一例。
在图47(a)中,标号W1表示末尾系数的位置。另外,在图47(a) 中,用淡色表示的零系数是在顺向扫描顺序中末尾系数W1之后的零系 数。另外,在图47(a)中,在用标号SBK_A~ABK_D表示的子块(图 47(b)中标注了子块编号3,7,12,13的子块)中,量化残差系数的值均为 零。
在这样的状况下,如以往那样,在按从DC系数起至末尾系数为止的 系数的每一个,由系数有无标记来表示非零系数的有无的情况下,需要计 218个系数有无标记。
另一方面,在以子块为单位来表现非零系数的有无的情况下,图47 (a)的每个子块的表示是否有非零系数的子块系数有无标记表现为图47 (c)所示那样。即,在子块(图47(b)中的子块编号3,7,12,13,15)中, 非零系数的个数为0,因此子块系数有无标记significant_coeffgroup_flag 被设定为“0”,不附加各子块内的系数有无标记。
另外,子块(图47(b)中的子块编号0,1,2,4,5,6,8,9,10,11)中非零 系数的个数为1以上,因此子块系数有无标记significant_coeffgroup_flag 被设定为“1”,各子块内的系数有无标记被附加。
即,在以子块为单位来表现非零系数的有无的情况下,关于系数有无 标记的个数,子块(图47(b)中的子块编号3,7,12,13)内的计64个系 数有无标记被削减,成为计154个。需要追加16个子块系数有无标记, 但标记数合计也只有170个,至少与以往相比削减了48个标记。这样, 通过以子块为单位来表示变换系数的有无,由此成为编码/解码的对象的系数有无标记被大幅度削减。即,系数有无标记的编码/解码所需的上下 文导出处理被削减,因此能够提高编码/解码的吞吐量。
下面,以下说明以子块为单位来对系数有无标记进行解码时的实施 例。
<系数有无标记解码部的第7构成例>
图31是表示作为本实施方式所涉及的系数有无标记解码部的第7构 成例的系数有无标记解码部124-A的框图。另外,图33是表示系数有 无标记解码部124-A中的解码处理的流程的流程图。
如图31所示,本构成例所涉及的系数有无标记解码部124-A具备: 子块系数有无标记解码部X1、频率分类部124a、低频位置上下文导出部 124b、周边参考上下文导出部124c。
(子块系数有无标记解码部X1)
子块系数有无标记解码部X1对从比特解码部132提供的Bin进行解 释,对表示构成频率区域的各子块中是否存在至少1个非0的变换系数的 子块系数有无标记(significant_coeffgroup_flag)进行解码(图33的步骤 SY1)。
此外,子块的扫描顺序可以如图32(a)所示,从有末尾系数的子块 朝向有DC系数的子块进行解码,也可以是其相反顺序。另外,也可采用: 根据已经解码出的子块的子块系数有无标记,在不从编码数据中对数据进 行解码的情况下确定子块系数有无标记的方法。即,若相邻的2个子块的 子块系数有无标记为1,则对于子块系数有无标记,在不从编码数据中对 数据进行解码的情况下将子块系数有无标记确定为1,此外的情况下,可 采用从编码数据中对子块系数有无标记进行解码的构成。
然后,系数有无标记解码部124-A按位于变换块内的每个子块,对 位于子块内的系数有无标记进行解码(图33的步骤SY2~步骤SY4)。 即,在子块系数有无标记解码部X1中,在子块系数有无标记为1的情况 下(在图33的步骤SY2中为是的情况下),利用频率分类部124a、低频 位置上下文导出部124b、周边参考上下文导出部124c来对子块内的系数 有无标记进行解码。另外,在子块系数有无标记为0的情况下(图33的 步骤SY2中为否的情况下),使子块内的系数有无标记的解码跳过,转移 至下一子块的处理。
此外,如图34所示,在子块的循环之中,可对对象子块(xCG,yCG) 的子块系数有无标记进行解码。在此,在图34中的步骤SY5中,子块系 数有无标记解码部X1解码针对由(xCG,yCG)指定的子块的子块系数 有无标记significant_coeffgroup_flag。
此外,在图33、图34的子块的循环中,sbkIdx表示子块的顺向扫描 中的对象子块的扫描顺序编号,LastSbkIdx表示子块的顺向扫描中的有末 尾系数的子块的扫描顺序编号。在将sz×sz的变换块分割成4×4子块的情 况下,sbkIdx以及LastSbkIdx的取值为0~(sz>>2)×(sz>>2)-1。
(系数有无标记解码部124-A所具备的频率分类部124a)
系数有无标记解码部124-A所具备的频率分类部124a,根据频率区 域中的解码对象的频率分量的位置,将该频率分量分类到多个部分区域的 某一个,并且将由低频位置上下文导出部124b以及周边参考上下文导出 部124c的某一个导出的上下文索引ctxIdx分配给该解码对象的频率分量 (图33的步骤SY3)。
系数有无标记解码部124-A所具备的频率分类部124a利用频率区 域所包含的各频率分量在该频率区域中的位置(uiPosX,uiPosY),将该 频率分量分类到多个部分区域R0~R2。在此,设uiPosX=0、1、……、sz-1,uiPosY=0、1、……、sz-1(sz如上所述表示了处理对象TU的 一边的像素数、即对象频率区域的一边的频率分量的数目,例如是sz= 16,32等)。
在此,将sz×sz块的频率区域分割为4×4子块,设该频率分量(uiPosX, uiPosY)所属的子块的位置为(xCGyCG)。此外,该频率分量所属的子 块位置(xCG,yCG)由下述式子(eq.A1)~(eq.A2)导出。
xCG=uiPosX>>2···(eq.A1)
yCG=uiPosY>>2···(eq.A2)
在此,设xCG=0、1、……、(sz-1)>>2,yCG=0、1、……、 (sz-1)>>2。
系数有无标记解码部124-A所具备的频率分类部124a,更具体而言 进行以下的分类处理。
(1)将满足xCG+yCG<THA且uiPosX+uiPosY<THZ的频率分 量分类到部分区域R0。
(2)将满足xCG+yCG<THA且THZ≤uiPosX+uiPosY的频率分 量分类到部分区域R1。
(3)将满足THA≤xCG+yCG的频率分量分类到部分区域R2。
上述分类处理所对应的伪码如下。
在此,作为阈值THZ而使用2。THA表示了满足THA≥THZ/4的 阈值。作为具体的值,例如,与频率区域的尺寸(处理对象TU的尺寸) 无关地设为THA=1即可。另外,也可利用频率区域的尺寸log2TrafoSize, 设为THA=1<<(log2TrafoSize-2)。即,在频率区域的尺寸为16×16的情 况下,可设为THA=1,在频率区域的尺寸为32×32的情况下,可设为 THA=2。这样,可采用根据频率区域的尺寸而设为不同的阈值的构成。 另外,也可将阈值THZ设为1。
图35表示了通过基于系数有无标记解码部124-A所具备的频率分 类部124a的分类处理,分割成部分区域R0、R1以及R2后的频率区域的 一例。
系数有无标记解码部124-A所具备的频率分类部124a针对属于部 分区域R0的频率分量,分配由低频位置上下文导出部124b导出的上下 文索引,针对属于部分区域R1以及R2的频率分量,分配由周边参考上 下文导出部124c导出的上下文索引。此外,作为子块的尺寸,以4×4为 例进行了说明,但并不限定于此,也可以是(sz>>n)×(sz>>n)的子块。其中, 设n满足n=1,...,log2TrafoSize>>1。
另外,系数有无标记解码部124-A所具备的频率分类部124a算出 上下文索引ctxIdx,用于决定在算术码解码部130中为了对语法 significant_coeff_flag进行解码而使用的上下文。上下文索引ctxIdx按每 个频率区域的尺寸以及解码对象的频率分量而被算出(图33的步骤 SY4)。解码出的语法significant_coeff_flag保存在解码系数存储部126中, 被系数值解码部125参考。另外,解码时使用的上下文索引ctxIdx被提 供给上下文记录更新部131。
以下,具体说明与各部分区域R0~R2对应的上下文导出。
(系数有无标记解码部124-A所具备的低频位置上下文导出部 124b)
系数有无标记解码部124-A所具备的低频位置上下文导出部124b, 在解码对象的频率分量包含于低频侧的部分区域的情况下,将针对该频率 分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
系数有无标记解码部124-A所具备的低频位置上下文导出部124b, 针对属于部分区域R0的频率分量,利用以下的式子(eq.A3)来导出上下文 索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+2×uiPosX+uiPosY···(eq.A3)
此外,NX是表示上下文索引的开始点的常数。在频率区域的尺寸为 4×4以及8×8中使用的上下文数分别为N4个、N8个的情况下,频率区 域的尺寸为16×16以及32×32的开始点成为NX=N4+N8。
(系数有无标记解码部124-A所具备的周边参考上下文导出部 124c)
系数有无标记解码部124-A所具备的周边参考上下文导出部124c, 将针对解码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的 周边的频率分量而解码完毕的非0变换系数的数cnt来导出。
系数有无标记解码部124-A所具备的周边参考上下文导出部124c, 针对属于部分区域R1的频率分量,利用以下的式子(eq.A4)来导出上 下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+3+min(2,temp)···(eq.A4)
在此,temp由
temp=(cnt+1)>>1
确定。
另外,系数有无标记解码部124-A所具备的周边参考上下文导出部 124c针对属于部分区域R2的频率分量,利用以下的式子(eq.A5)来导出上 下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+6+min(2,temp)···(eq.A5)
在此,temp与上述情况同样由下式来确定,
temp=(cnt+1)>>1。
此外,在式子(eq.A4)~(eq.A5)中,通过使非0变换系数的计数值cnt 向右移1位而能够削减上下文数。
另外,周边参考上下文导出部124c在部分区域R1中,利用图10(a) 或图10(b)所示的参考频率分量c1~c5,根据以下的式子(eq.A6)来 导出非0变换系数的计数值cnt。
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5! =0)···(eq.A6)
在此,设(eq.A6)中的各项在()内的比较为真时取1、在()内的比 较为假时取0。
另外,也可取代式子(eq.6),利用图36(a)所示的参考频率分量(c1、 c2、c4、c5),通过不参考作为对象的变换系数的位置的、按照处理顺序 而位于近前方(在处理顺序为逆向扫描顺序的情况下为作为对象的变换系 数的位置的下侧)的坐标(c3)的变换系数的数学式(eq.A7),来算出非 0变换系数的数cnt。这样的处理能够在不参考近前方的系数有无标记的 值的情况下进行某位置的系数有无标记的解码中使用的上下文导出,因此 能够并行地执行上下文导出处理和解码处理。
cnt=(c1!=0)+(c2!=0)+(c4!=0)+(c5!=0)··· (eq.A7)
另外,也可采用:根据作为对象的变换系数在子块内的位置,利用数 学式(eq.A6)和数学式(eq.A7)的任一个来导出变换系数的构成。即, 可采用:根据作为对象的变换系数在子块内的位置,来变更变换系数的导 出中使用的参考分量的构成。
更具体而言可以是:在作为对象的变换系数位于子块内的左上的情 况、和作为对象的变换系数位于子块内的右下的情况中的任一情况下,按 照不依赖于子块内的作为对象的变换系数的处理顺序上近前方的位置(在 此为下侧)的变换系数的值的方式,利用数学式(eq.A7)的参考频率分 量,在此外的情况下利用数学式(eq.A6)的参考频率分量。
如上所述,根据本构成例所涉及的系数有无标记解码部124-A,在 频率分类部124a中,通过基于子块坐标来进行频率分量的分类,从而在 子块坐标(xCG,yCG)满足xCG+yCG>0的情况下,能够省略进行子 块内的频率分类的分支处理。关于已经说明过的分类,例如,
·将满足uiPosX+uiPosY<2的频率分量分类到部分区域R0。
·将满足2≤uiPosX+uiPosY<TH1的频率分量分类到部分区域R1。
·将满足TH1≤uiPosX+uiPosY<TH2的频率分量分类到部分区域 R2。
·将满足TH2≤uiPosX+uiPosY的频率分量分类到部分区域R3。
在进行如上述的分类的情况下,需要在子块内部进行上述分类的分支 处理。然而,在本构成例中,能够将分类处理中参考的坐标置换为子块坐 标(xCG,yCG),而不是块整体中的坐标(uiPosX,uiPosY),因此不需 要参考(uiPosX,uiPosY)的上述分支。由此,能够削减子块内的上下文 索引导出中的延迟,从而能够提高上下文导出的吞吐量。
另外,在以上的构成中,对按子块的子块系数有无标记和子块内的系 数有无标记进行组合来解码非0系数的有无。在该构成中,能够简化在子 块内的系数有无标记的解码中使用的上下文导出。即,能够如图36(a) 所示那样将参考数减少至4个。
此外,在上述的例子中,将频率分量分类为3个部分区域,但也可以 是分类到2个部分区域的方法。该情况下,
(1)将满足uiPosX+uiPosY<THZ的频率分量分类到部分区域R0。
(2)将满足THZ≤uiPosX+uiPosY的频率分量分类到部分区域R1。
可以是下述构成:部分区域R0的系数有无标记的解码中使用的下文 导出如上所述,部分区域R1的系数有无标记的解码中使用的下文导出利 用下式,
ctxIdx=NX+3+min(2,temp)···(eq.A4)
temp=(cnt+1)>>1
进而,cnt参考4点,例如使用数学式(eq.A7)。在该构成中,能够 简化子块内的系数有无标记的解码中使用的下文导出。
另外,也可根据下面的条件而分类到R0、R1。
(1)将满足xCG+yCG==0且uiPosX+uiPosY<THZ的频率分量分 类到部分区域R0。
(2)将满足xCG+yCG>0或者THZ≤uiPosX+uiPosY的频率分量 分类到部分区域R1。
与上述分类处理对应的伪码如下所示。
根据上述分类处理,能够消除用于对子块位置(xCG,yCG)为(0, 0)以外的部分中的子块内的频率分量进行分类的分支处理。
如上所述,系数有无标记解码部124-A所具备的频率分类部124a, 在高频侧参考对象频率区域中的该对象子块的位置来将频率区域分割为 部分区域。
另外,周边参考上下文导出部124c,导出属于通过这样的分割而得 到的部分区域的系数有无标记的解码中使用的上下文。
因此,系数有无标记解码部124-A也可表现为:当对象子块在对象 频率区域中属于高频侧的部分区域时,将对属于该对象子块的各变换系数 有无标记分配的上下文索引,基于对象频率区域中的该对象子块的位置来 导出。
以下表示:在系数有无标记解码部的第7构成例中,当变换块尺寸为 16×16、32×32时将频率区域分割为部分区域R0、R1,在R0中根据低频 位置上下文来导出上下文索引ctxIdx,在R1中根据基于图36(a)所示 的4个参考频率分量(c1、c2、c4、c5)的周边参考上下文来导出上下文 索引ctxIdx的情况下的伪码。其中,伪码中的sigCtx与ctxIdx含义相同。
以下表示:在系数有无标记解码部的第7构成例中,当变换块尺寸为 16×16、32×32时将频率区域分割为部分区域R0、R1、R2,在R0中根据 低频位置上下文来导出上下文索引ctxIdx,在R1中利用图10(a)所示 的5个参考频率分量(c1、c2、c3、c4、c5)、在R2中利用图36(a)所 示的4个参考频率分量(c1、c2、c4、c5),并根据周边参考上下文来导 出上下文索引ctxIdx时的伪码。其中,伪码中的sigCtx与ctxIdx含义相 同。
<系数有无标记解码部的第8构成例>
图37是表示作为本实施方式所涉及的系数有无标记解码部的第8构 成例的系数有无标记解码部124-B的框图。本构成例所涉及的系数有无 标记解码部124-B中的解码处理的流程参考图33所示的流程图来进行 说明。
如图37所示,本构成例所涉及的系数有无标记解码部124-B具备: 子块系数有无标记解码部X1、频率分类部124a、低频位置上下文导出部 124b、周边参考上下文导出部124c、高频位置上下文导出部124d。
(系数有无标记解码部124-B所具备的子块系数有无标记解码部 X1)
系数有无标记解码部124-B所具备的子块系数有无标记解码部X1 对从比特解码部132提供的Bin进行解释,对表示构成频率区域的各子块 中是否存在至少1个非0的变换系数的子块系数有无标记 (significant_coeffgroup_flag)进行解码(图33的步骤SY1)。
然后,按位于变换块内的每个子块,对位于子块内的变换系数有无标 记进行解码(图33的步骤SY2~步骤SY4)。即,在子块系数有无标记 解码部X1中,在子块系数有无标记为1的情况下(图33的步骤SY2中 为是的情况下),利用频率分类部124a、低频位置上下文导出部124b、周 边参考上下文导出部124c、高频位置上下文导出部124d来对子块内的系 数有无标记进行解码。另外,在子块系数有无标记为0的情况下(图33 的步骤SY2中为否的情况下),使子块内的系数有无标记的解码跳过,转 移到下一子块的处理。
(系数有无标记解码部124-B所具备的频率分类部124a)
系数有无标记解码部124-B所具备的频率分类部124a,根据频率区 域中的解码对象的频率分量的位置,将该频率分量分类到多个部分区域的 某一个,并且将由低频位置上下文导出部124b、周边参考上下文导出部 124c以及高频位置上下文导出部124d的某一个导出的上下文索引ctxIdx 分配给该解码对象的频率分量(图33的步骤SY3)。
系数有无标记解码部124-B所具备的频率分类部124a参考频率区 域所包含的各频率分量在该频率区域中的位置(uiPosX,uiPosY),将该 频率分量分类到多个部分区域R0~R3。在此,设uiPosX=0、1、……、 sz-1,uiPosY=0、1、……、sz-1(sz如上所述表示了处理对象TU的 一边的像素数、即对象频率区域的一边的频率分量的数目,例如是sz= 16,32等)。
在此,设将sz×sz块的频率区域分割为4×4子块,设该频率分量 (uiPosX,uiPosY)所属的子块的位置为(xCG,yCG)。此外,该频率分 量所属的子块位置(xCG,yCG)由下述式子(eq.B1)~(eq.B2)导出。
xCG=uiPosX>>2···(eq.B1)
yCG=uiPosY>>2···(eq.B2)
在此,设xCG=0、1、……、(sz-1)>>2,yCG=0、1、……、 (sz-1)>>2。
系数有无标记解码部124-B所具备的频率分类部124a更具体而言 进行以下的分类处理。
(1)将满足xCG+vCG<THB且uiPosX+uiPosY<THZ的频率分 量分类到部分区域R0。
(2)将满足xCG+vCG<THB且THZ≤uiPosX+uiPosY<TH1的频 率分量分类到部分区域R1。
(3)将满足xCG+yCG<THB且TH1≤uiPosX+uiPosY的频率分量 分类到部分区域R2。
(4)将满足THB≤xCG+yCG的频率分量分类到部分区域R3。
与上述分类处理对应的伪码如下所示。
在此,对阈值THZ使用2。另外,作为TH1以及THB的具体的值, 例如,利用频率区域的尺寸(处理对象TU的尺寸)log2TrafoSize,设为
TH1=5,
THB=1<<(log2TrafoSize-2)
即可。另外,在频率区域的尺寸为16×16的情况下,可设为TH1=5、 THB=4,在频率区域的尺寸为32×32的情况下,可设为TH1=5、THB =8。
另外,阈值TH1以及THB也可利用频率区域的尺寸log2TrafoSize 而设定为
TH1=5,
THB=1<<(log2TrafoSize-4)。
即,在频率区域的尺寸为16×16的情况下,设为TH1=5、THB=1, 在频率区域的尺寸为32×32的情况下,设定为TH1=5、THB=2。另外, 也可设定为其他值。
另外,也可将阈值TH1以及THB设定为
TH1=5,
THB=1<<(log2TrafoSize-3)。
即,在频率区域的尺寸为16×16的情况下,设为TH1=5、THB=2, 在频率区域的尺寸为32×32的情况下,设定为TH1=5、THB=4。这样, 可采用根据频率区域的尺寸而使用不同的阈值的构成。
根据如以上那样构成的频率分类部124a,能够将用于根据变换系数 的位置来切换上下文导出方法的分支处理,设为利用了子块坐标(xCG, yCG)的分支处理。与进行参考(uiPosX,uiPosY)的分支处理的情况相 比,能够省略在子块内部进行的参考(uiPosX,uiPosY)的分支处理,能 够提高上下文导出的吞吐量。
图38表示了通过基于系数有无标记解码部124-B所具备的频率分 类部124a的分类处理而分割为部分区域R0、R1、R2以及R3后的频率 区域的一例。
系数有无标记解码部124-B所具备的频率分类部124a针对属于部 分区域R0的频率分量,分配由低频位置上下文导出部124b导出的上下 文索引,针对属于部分区域R1以及R2的频率分量,分配由周边参考上 下文导出部124c导出的上下文索引,针对属于部分区域R3的频率分量, 分配由高频位置上下文导出部124d导出的上下文索引。
另外,在上述的说明中,设为频率分类部124a参考了(uiPosX, uiPosY)以及对象频率分量所属的子块的位置(xCG,yCG)来作为对象 频率分量的位置,但本实施方式并不限定于此。例如,可采用下述构成: 作为对象频率分量的位置,参考沿着顺向扫描顺序或逆向扫描顺序而赋予 的频率分量识别索引(例如图5中的“n”),将对象频率分量分类到多个 部分区域的某一个。
另外,系数有无标记解码部124-B所具备的频率分类部124a算出 上下文索引ctxIdx,用于决定在算术码解码部130中为了对语法 significant_coeff_flag进行解码而使用的上下文。上下文索引ctxIdx按每 个频率区域的尺寸以及解码对象的频率分量而被算出(图33的步骤 SY4)。解码出的语法significant_coeff_flag保存在解码系数存储部126中, 被系数值解码部125参考。另外,解码时使用的上下文索引ctxIdx被提 供给上下文记录更新部131。
以下,具体说明与各部分区域R0~R3对应的上下文导出。
(系数有无标记解码部124-B所具备的低频位置上下文导出部 124b)
系数有无标记解码部124-B所具备的低频位置上下文导出部124b 在解码对象的频率分量包含于低频侧的部分区域的情况下,将针对该频率 分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
系数有无标记解码部124-B所具备的低频位置上下文导出部124b 针对属于部分区域R0的频率分量,利用以下的式子(eq.B3)来导出上下文 索引ctxIdx,并将导出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+2×uiPosX+uiPosY···(eq.B3)
其中,NX是表示上下文索引的开始点的常数。在频率区域的尺寸为 4×4以及8×8中使用的上下文数分别为N4个、N8个的情况下,频率区 域的尺寸为16×16以及32×32的开始点成为NX=N4+N8。
(系数有无标记解码部124-B所具备的周边参考上下文导出部 124c)
系数有无标记解码部124-B所具备的周边参考上下文导出部124c, 将针对解码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的 周边的频率分量而解码完毕的非0变换系数的数cnt来导出。
系数有无标记解码部124-B所具备的周边参考上下文导出部124c 针对属于部分区域R1的频率分量,利用以下的式子(eq.B4)来导出上下文 索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+3+min(4,cnt)···(eq.B4)
其中,在部分区域R1中,利用图10(a)或图10(b)所示的(C1, C2,C3,C4,C5),并根据以下的式子(eq.B5)来导出非0变换系数的计 数值cnt。
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5! =0)···(eq.B5)
另外,系数有无标记解码部124-B所具备的周边参考上下文导出部 124c针对属于部分区域R2的频率分量,利用以下的式子(eq.B6)来导出上 下文索引ctxIdx,并将导出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+8+min(4,cnt)···(eq.B6)
其中,在部分区域R2中,利用图36(a)所示的参考频率分量(c1、 c2、c4、c5),通过不参考作为对象的变换系数的位置的、按照处理顺序 而位于近前方(在处理顺序为逆向扫描顺序的情况下为作为对象的变换系 数的位置的下侧)的坐标(c3)的变换系数的以下的式子(eq.B7),来导出 关于非零变换系数的计数值cnt。这样的处理能够在不参考近前方的系数 有无标记的值的情况下进行某位置的系数有无标记的解码中使用的上下 文导出,因此能够并行地执行上下文导出处理和解码处理。
cnt=(c1!=0)+(c2!=0)+(c4!=0)+(c5!=0)··· (eq.B7)
在此,设式(eq.B7)的各项在()内的比较为真时取1、在()内的比 较为假时取0。
另外,关于部分区域R1,也可取代式子(eq.B6)而根据式子(eq.B7)来 酸楚非零系数的个数cnt。
另外,关于部分区域R2,也可取代式子(eq.B7),利用图15(c)、(d)、(e)、(f)或图36(b)、图36(c)所示的3个参考系数来算出非零系数 的个数cnt。
(系数有无标记解码部124-B所具备的高频位置上下文导出部 124d)
系数有无标记解码部124-B所具备的高频位置上下文导出部124d, 在解码对象的频率分量包含于高频侧的部分区域的情况下,将针对该频率 分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置和该频率 分量所属的子块的位置来导出。
系数有无标记解码部124-B所具备的高频位置上下文导出部124d 针对属于部分区域R3的频率分量,利用以下的式子(eq.B8)来导出上下文 索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+13+min(maxR3,(xCG+yCGTHB)>>shift)··· (eq.B8)
在此,记号“>>”表示了向右移位。另外,作为shift以及maxR3, 例如,在对象频率区域的尺寸为16×16的情况下,利用shift=0、maxR3 =3,在对象频率区域的尺寸为32×32的情况下,利用shift=1、maxR3 =3即可,但本实施方式并不限定于此。
此外,通过基于系数有无标记解码部124-B所具备的频率分类部 124a的分类处理而分割的频率区域的例子,并不限于图38所示的情形, 例如,也可如图39所示那样对频率区域进行分割。即,系数有无标记解 码部124-B所具备的频率分类部124a可采用如下那样将频率区域分类 为部分区域R0、R1、R2以及R3的构成。
(1)将满足xCG+yCG<THA且uiPosX+uiPosY<THZ的频率分 量分类到部分区域R0。
(2)将满足xCG+yCG<THA且uiPosX+uiPosY≥THZ的频率分 量分类到部分区域R1。
(3)将满足THA≤xCG+yCG<THB的频率分量分类到部分区域 R2。
(4)将满足THB≤xCG+yCG的频率分量分类到部分区域R3。
与上述的分类处理对应的伪码如下。
在此,对阈值THZ中使用2。另外,作为THA以及THB的具体的 值,例如,利用频率区域的尺寸(处理对象TU的尺寸)log2TrafoSize, 设为
THA=1<<(log2TrafoSize-4),
THB=1<<(log2TrafoSize-2)
即可。另外,在频率区域的尺寸为16×16的情况下,可设为THA=1、 THB=4,在频率区域的尺寸为32×32的情况下,可设为THA=2、THB =8。另外,阈值THB可利用频率区域的尺寸log2TrafoSize而设定为
THB=1<<(log2TrafoSize-3)。
即,在频率区域的尺寸为16×16的情况下,设THB=2,在频率区域 的尺寸为32×32的情况下,设定为THB=4。这样,可采用根据频率区域 的尺寸而利用不同的阈值的构成。
在图39所示的例子中,频率区域被分类为部分区域R0、R1、R2以 及R3。针对属于部分区域R0、R1、R2以及R3的频率分量,如上述那 样分别由低频位置上下文导出部124b、周边参考上下文导出部124c以及 高频位置上下文导出部124d来算出上下文索引ctxIdx。
根据如以上那样构成的频率分类部124a,能够将用于根据变换系数 的位置来切换上下文导出方法的分支处理,设为利用了子块坐标(xCG, yCG)的分支处理。与进行参考(uiPosX,uiPosY)的分支处理的情况相 比,能够省略在子块内部进行的参考(uiPosX,uiPosY)的分支处理,能 够提高上下文导出的吞吐量。
进而,根据如以上那样构成的系数有无标记解码部以及子块系数有无 标记解码部,在位置上下文的算出中,由于不根据已经解码出的系数有无 标记的值来决定某变换系数的位置的系数有无标记的上下文,因此具有能 够并行进行系数有无标记的上下文导出和系数有无标记的解码的效果。
以下,在系数有无标记解码部的第8构成例中,当变换块尺寸为 16×16、32×32时,将频率区域分割为部分区域R0,R1、R2、R3,在R0 中根据低频位置上下文来导出上下文索引ctxIdx,在R1~R2中根据基于 图36(a)所示的4个参考频率分量(c1、c2、c4、c5)的周边参考上下 文来导出上下文索引ctxIdx,在R3中根据高频位置上下文来导出上下文 索引ctxIdx的情况下的伪码。其中,伪码中的sigCtx与ctxIdx含义相同。
<系数有无标记解码部的第8构成例的另一构成例>
以下,关于基于系数有无标记解码部124-B的另一处理例,参考图48、图52~图53来进行说明。
图48(a)~(b)是表示在本处理例中由频率分类部124a分割后的 部分区域的图,图48(a)是对与亮度值相关的变换系数进行解码时适合 应用的部分区域分割,图48(b)是对与色差相关的变换系数进行解码时 适合应用的部分区域分割。图48(a)~(b)中的阈值TH、阈值TH2 的设定方法如已经说明的那样。
频率分类部124a利用阈值TH,如图52所示,根据对象变换系数的 频率分量上的位置(xC,yC)而对部分区域R1和部分区域R2进行分类。
xC+yC<TH
频率分类部124a利用阈值TH2,如图52所示,根据将对象变换系 数的频率分量上的位置(xC,yC)除以某子块尺寸(在此为4)而得到 的值,对参考数彼此不同的部分区域R2和部分区域R3进行分类。
(xC>>2)+(yC>>2)<TH2
在此,优选对2个部分区域进行区别的阈值TH2如已经说明过的那 样,满足TH2×子块尺寸(=4)小于对象频率区域的尺寸Max(width, height)。
图52是表示导出对图48(a)所示的部分区域R0~R3各自所包含 的频率区域分配的且与亮度相关的上下文索引cxtIdx的导出处理的伪码。 在图52中,区域R0的上下文导出由位置上下文导出部124b来进行,区 域R1~区域R2的上下文导出由周边参考上下文导出部124c来进行,区 域R3的上下文导出由高频位置上下文导出部124d来进行。
周边参考上下文导出部124c例如针对属于图48(a)、(b)所示的部 分区域R1的频率分量,利用以下的式子来导出上下文索引sigCtx,并将 该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR1+Min(2,ctxCnt);
在此,ctxcCnt是根据计数值而得到的值。在此,可通过对计数值进 行多对一变换的处理(汇集处理)来汇集而得到。即,如以下的式子那样 是按照使得成为约1/2的方式进行向右移位而得到的值,根据ctxCnt= (cnt+1)>>1来确定。另外,不限于向右移位,也可如以下那样通过 将计数值限位在固定值(在此为3)的处理来进行多对一变换。
ctxCnt=min(3,cnt)
其中,非0变换系数的计数值cnt如下面的伪码那样,根据对象变换 系数的频率分量上的位置(xC,yC),通过参考c1、c2、c3、c4、c5这5 个已经解码完毕的变换系数、或者参考c1、c2、c4、c5这4个已经解码 完毕的变换系数来算出。
另外,周边参考上下文导出部124c例如针对属于图48(a)所示的 部分区域R2的频率分量,利用以下的式子来导出上下文索引sigCtx,并 将该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR2+Min(2,ctxCnt);
其中,非0变换系数的计数值cnt的计算方法与部分区域R1同样。
高频位置上下文导出部124d例如针对属于图48所示的部分区域R3 的频率分量,利用以下的式子来导出上下文索引sigCtx,并将该导出结果 sigCtx提供给频率分类部124a。即,利用固定值来导出上下文索引。
sigCtx=sigCtxOffsetR3;
在作为高频分量的部分区域R3中,与低频率分量的部分区域R1、 R2不同,根据位置上下文来导出上下文,因此处理量被削减。
在色差的情况下,针对图48(b)的部分区域R0、部分区域R1、部 分区域R3,也进行与亮度的情况同样的处理。首先,频率分类部124a 如图53所示,根据将对象变换系数的频率分量上的位置(xC,yC)除以 某子块尺寸(在此为4)后的值,对参考数彼此不同的部分区域R1和部 分区域R3进行分类。进而,如图53所示,在部分区域R0中,在位置上 下文导出部124b中根据位置上下文进行上下文导出,在部分区域R1中, 在周边参考上下文导出部124c中进行基于周边参考上下文的上下文导 出。在部分区域R3中,根据位置上下文来进行上下文导出,由此削减处 理量。
此外,上述的构成也可按以下方式表现。
分割机构(频率分类部124a)将对象频率区域至少分割为低频侧和 高频侧这2个部分区域,上述上下文索引导出机构在属于低频侧的部分区 域的至少1个中,通过参考解码完毕的非0变换系数来导出上下文索引, 在属于高频侧的部分区域中,将基于频率区域上的位置的值或固定的给定 值作为上下文索引来导出。
(周围参考上下文和位置上下文的上下文共享)
此外,在高频位置上下文导出部124d中,还可利用在周围参考上下 文导出部124c中使用的上下文。即,在使用周围参考上下文的部分区域 和使用位置上下文的高频区域的部分区域能够共享上下文。关于这样的构 成,利用图54~图56来对具体例进行说明。
图54也与图52同样,是表示导出与亮度相关的上下文索引cxtIdx 的导出处理的伪码。与图52的不同之处仅在于高频位置上下文导出部 124d的处理。在图52所示的处理中,根据以下的式子来导出上下文索引 sigCtx。
sigCtx=sigCtxOffsetR2;
即,在周边参考上下文导出部124c中设偏移值ctxCnt=0而求出的 部分区域R2中使用的上下文,也可作为高频位置上下文导出部124d所 导出的部分区域R3的上下文来使用。此外,为了统一2个处理,在部分 区域R3中可利用以下的式子来导出上下文索引。
ctxCnt=0;
sigCtx=sigCtxOffsetR2+Min(2,ctxCnt);
该情况下,在部分区域R2中,根据计数值cnt来求取偏移值ctxCnt, 在部分区域R3中,将偏移值ctxCnt固定为0而求出。
对于色差也能与上述同样地进行上下文共享。具体而言,图55是表 示进行上下文共享的情况下的与色差相关的上下文索引cxtIdx导出处理 的伪码。与不共享上下文的图53的不同之处仅在于高频位置上下文导出 部124d的处理。
这样,在利用周围参考上下文的部分区域和利用位置上下文的高频区 域的部分区域中能够共享上下文。这也可表现为:由上下文索引导出机构 (高频位置上下文导出部124d、周围参考上下文导出部124c)导出的、 属于高频侧的部分区域中使用的上下文索引的值,在属于低频侧的部分区 域中使用的上下文索引的范围内。
此外,也可以采用:在色差的情况下利用进行高频的位置上下文和周 围参考上下文的共享的构成(图55),在亮度的情况下不进行高频的位置 上下文与周围参考上下文的共享的构成(图52)。具体而言,如图56所 示,在亮度的情况下,根据以下的式子来求取部分区域R3的上下文索引。
sigCtx=sigCtxOffsetR3+ctxCnt;
其中,ctxCnt=0。
在色差的情况下,根据以下的式子来求取部分区域R3的上下文索引。
sigCtx=sigCtxOffsetR1+ctxCnt;
其中,ctxCnt=0。
由此,在亮度的情况下,使用部分区域R3专用的上下文,在色差的 情况下,使用部分区域R3以外的部分区域,在此为利用周围参考上下文 的部分区域1的上下文。
如以上的构成那样,通过在2个不同的导出方法(位置上下文和周边 参考上下文)中进行相同的上下文的共享,能够降低伴随上下文的存储器。
另外,在上述上下文共享中,除了对偏移值ctxCnt=0的周边参考上 下文和位置上下文进行共享的方法之外,也可如以下的式子那样对偏移值 ctxCnt为0以外的上下文和位置上下文进行共享。
ctxCnt=1
sigCtx=sigCtxOffsetR1+ctxCnt;
上述的构成也可表现为:由上下文索引导出机构(高频位置上下文导 出部124d、周围参考上下文导出部124c)导出的、与亮度相关且属于高 频侧的部分区域中使用的上下文索引的值,是属于低频侧的部分区域中使 用的上下文索引的范围以外的值,由上述上下文索引导出机构导出的、与 色差相关且属于高频侧的部分区域中使用的上下文索引的值,在属于低频 侧的部分区域中使用的上下文索引的范围内。
<系数有无标记解码部的第8构成例的考虑了上下文更新延迟去除 的构成例>
以下,关于考虑了系数有无标记解码部124-B的上下文更新延迟去 除的处理例,参考图48、图52~图53来进行说明。
在利用位置上下文的情况下,如之前说明的那样,能够在不参考近前 方的系数有无标记的值的情况下进行某位置的系数有无标记的解码中使 用的上下文导出,因此能够并行地执行上下文导出处理和解码处理。
然而,在解码处理中利用同一上下文的情况下,根据近前方的上下文 的解码结果是0还是1而需要上下文所具有的状态的校正,会发生与该校 正相应的量的延迟。以下表示:在位置上下文中,通过分配与近前方的上 下文不同的上下文而具有削减了伴随上下文的状态校正的延迟的效果的 系数有无标记解码部的构成例。
图57是表示子块内的上下文索引的导出方法的图。图57(a)是表 示子块的扫描顺序和子块内的上下文索引的偏移值ctxCnt的关系的图。 如图所示,在各扫描顺序中,偏移值ctxCnt如0,1,0,1这样交替地使 用不同的值。通过使用这样的偏移值,能够分配与近前方的上下文不同的 上下文。图57(b)表示上述处理中使用的表的例子。图57(b)所示的 表,是通过将子块内的相对位置作为光栅扫描中的地址来输入而能够获得 偏移值ctxCnt的表。
在图57(c)中表示使用例。在该使用例中,根据频率分量的位置(xC, yC)并通过(xC&3)+(yC&3<<2)的运算而得到了光栅扫描上的地址 后,通过参考图57(b)所示的表来获得偏移值ctxCnt。此外,偏移值ctxCnt 的算出可不利用表而利用子块内的计数值cntInSubBlock来以通常的运算 进行算出。图57(d)是该运算的例子。计数值cntInSubBlock按子块的 扫描顺序而设为0,1,2,3,···,15的值。该情况下,能够通过计数 值cntInSubBlock与2的余数(&1)来算出偏移值ctxCnt。此外,计数 cntInSubBlock的值也可按逆向扫描顺序而取0,1,2,3,···,15的 值。
图58是与图57的例子相比能够进一步增加并行度的构成。图58(a) 是表示子块的扫描顺序和子块内的上下文索引的偏移值ctxCnt的关系的 图。如图所示,在各扫描顺序中,偏移值ctxCnt使用如0,1,2,0,1,2,···这样在N个单位(N=3)中不同的值。通过使用这样的偏移值, 能够以N个连续的上下文来分配不同的上下文。由于不仅在近前方而且 在近前方的近前方(或者其以上)的解码中确保了独立性,因此能够进一 步增加并行性。图58(b)表示了上述处理中使用的表的例子,图58(c) 表示了使用例,图58(d)表示了基于运算的算出方法例。这些例子均与 图57为同样的处理,因此省略说明。此外,表示了N=3的情况,但对 于N=4以上的N也能进行同样的处理。
图59是表示实现上述上下文的分配方法的伪码的图。具体而言,表 示导出对图48(a)所示的部分区域R0~R3各自所包含的频率区域分配 的且与亮度以及与色差相关的上下文索引cxtIdx的导出处理。在图59中, 区域R0的上下文导出由位置上下文导出部124b来进行,区域R1~区域 R2的上下文导出由周边参考上下文导出部124c来进行,区域R3的上下文导出由高频位置上下文导出部124d来进行。
周边参考上下文导出部124c例如针对属于图48(a),(b)所示的部 分区域R1的频率分量,利用以下的式子来导出上下文索引sigCtx,并将 该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR1+Min(2,ctxCnt);
在此,ctxcCnt通过进行多对一变换的处理(汇集处理)而获得,在 此通过如以下的式子那样按照使计数值成为约1/2的方式进行向右移位 的处理而获得。
ctxCnt=(cnt+1)>>1
此外,进行多对一变换的处理也可以是如以下那样将计数值限位成固 定值(在此为3)的处理。
ctxCnt=min(3,cnt)
此外,非0变换系数的计数值cnt如下面的伪码那样,根据对象变换 系数的频率分量上的位置(xC,yC),通过参考c1、c2、c3、c4、c5这5 个已经解码完毕的变换系数或者参考c1、c2、c4、c5这4个已经解码完 毕的变换系数来算出。
另外,周边参考上下文导出部124c例如针对属于图48(a)所示的 部分区域R2的频率分量,利用以下的式子来导出上下文索引sigCtx,并 将该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR2+Min(2,ctxCnt);
此外,非0变换系数的计数值cnt的计算方法与部分区域R1同样。
高频位置上下文导出部124d例如针对属于图48所示的部分区域R3 的频率分量,利用以下的式子来算出偏移值。
ctxCnt=tbl[(xC&3)+(yC&3)<<2]
根据该偏移值与部分区域R3用的上下文索引的开始点 sigCtxOffsetR3之和,通过以下的式子来导出上下文索引sigCtx,并将该 导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR3+ctxCnt
在作为高频分量的部分区域R3中,由于根据位置上下文来导出上下 文,因此能够削减处理量,可获得上下文导出处理、解码处理、以及伴随 上下文所保持的状态的校正的延迟去除所带来的吞吐量提高效果。
此外,在本构成中,表示了针对高频分量的部分区域R3的构成,但 伴随上下文所保持的状态的校正的延迟去除所带来的吞吐量提高效果,在 块以及子块内连续的频率位置中算出不同的偏移值ctxIdx,根据该偏移值 ctxIdx与某开始点之和来算出上下文索引sigCtx的其他构成中也能利用。
此外,在考虑上下文更新延迟去除的情况下,在高频位置上下文导出 部124d中,也能利用在周围参考上下文导出部124c中使用的上下文。即, 能够采用在利用周围参考上下文的部分区域和利用位置上下文的高频区 域的部分区域中共享上下文的构成。关于这样的构成,利用图60来对具 体例进行说明。
在图59和图60的处理中,在导出了仅高频位置上下文导出部124d 的处理不同的偏移值ctxCnt之后,在亮度的情况下利用以下的式子来导 出上下文索引sigCtx。
sigCtx=sigCtxOffsetR2+ctxCnt
在色差的情况下,利用以下的式子来导出上下文索引sigCtx。
sigCtx=sigCtxOffsetR1+ctxCnt
根据上述处理,通过上下文共享而降低了上下文用的存储器,并且由 于根据位置上下文来导出上下文而能够削减处理量,能够获得由上下文导 出处理、解码处理、和伴随上下文所保持的状态的校正的延迟去除所带来 的吞吐量提高效果。
<系数有无标记解码部的第9构成例>
关于本实施方式所涉及的系数有无标记解码部的第9构成例,参考图 40来进行说明。本构成例在第4构成例所涉及的频率分类部124a中,变 更了将频率区域分类到部分区域R0~R5时的条件。此外,对于与上述第 7~第8构成例所示的部件具有相同功能的部件标注相同标号,并省略其 说明。
图40是表示本构成例所涉及的系数有无标记解码部124-C的构成 的框图。如图40所示,本构成例所涉及的系数有无标记解码部124-C 具备:子块系数有无标记解码部X1、频率分类部124a、低频位置上下文 导出部124b、周边参考上下文导出部124c以及高频位置上下文导出部 124d。另外,系数有无标记解码部124-C中的解码处理的流程利用图33 来说明。
(系数有无标记解码部124-C所具备的子块系数有无标记解码部 X1)
系数有无标记解码部124-C所具备的子块系数有无标记解码部X1 对从比特解码部132提供的Bin进行解释,对表示构成频率区域的各子块 中是否存在至少1个非0的变换系数的子块系数有无标记 (siginificant_coeffgroup_flag)进行解码(图33的步骤SY1)。
然后,按位于变换块内的每个子块,对位于子块内的变换系数有无标 记进行解码(图33的步骤SY2~步骤SY4)。即,在子块系数有无标记 解码部X1中,在子块系数有无标记为1的情况下(图33的步骤SY2中 为是的情况下),利用频率分类部124a、低频位置上下文导出部124b、周 边参考上下文导出部124c以及高频位置上下文导出部124d来对子块内的 系数有无标记进行解码。另外,在子块系数有无标记为0的情况下(图 33的步骤SY2中为否的情况下),使子块内的系数有无标记的解码跳过, 转移到下一子块的处理。
(系数有无标记解码部124-C所具备的频率分类部124a)
系数有无标记解码部124-C所具备的频率分类部124a根据频率区 域中的解码对象的频率分量的位置,将该频率分量分类到多个部分区域的 某一个,并且将由低频位置上下文导出部124b、周边参考上下文导出部 124c以及高频位置上下文导出部124d的某一个导出的上下文索引ctxIdx 分配给该解码对象的频率分量(图33的步骤SY3)。
系数有无标记解码部124-C所具备的频率分类部124a参考频率区 域所包含的各频率分量在该频率区域中的位置(uiPosX,uiPosY),将该 频率分量分类为5个部分区域R0~R4。在此,设uiPosX=0、1、……、 sz-1,uiPosY=0、1、……、sz-1(sz如上所述表示了处理对象TU的 一边的像素数、即对象频率区域的一边的频率分量的数目,例如是sz= 16,32等)。
在此,设将sz×sz块的频率区域分割为4×4子块,将该频率分量 (uiPosX,uiPosY)所属的子块的位置设为(xCG,yCG)。此外,该频率 分量所属的子块位置(xCG,yCG)根据下述式子(eq.C1)~(eq.C2)来导出。
xCG=uiPosX>>2···(eq.C1)
yCG=uiPosY>>2···(eq.C2)
在此,设xCG=0、1、……、(sz-1)>>2,yCG=0、1、……、 (sz-1)>>2。
系数有无标记解码部124-C所具备的频率分类部124a更具体而言 进行以下的分类处理。
(1)将满足xCG+yCG<THC且uiPosX+uiPosY<THZ的频率分 量分类到部分区域R0
(2)将满足xCG+yCG<THC且THZ≤uiPosX+uiPosY<TH1的频 率分量分类到部分区域R1。
(3)将满足xCG+yCG<THC且TH1≤uiPosX+uiPosY的频率分量 分类到部分区域R2。
(4)将满足THC≤xCG+yCG<THD的频率分量分类到部分区域 R3。
(5)将满足THD≤xCG+yCG的频率分量分类到部分区域R4。
与上述分类处理对应的伪码如下所示。
在此,阈值THZ使用2。另外,阈值TH1=5。另外,作为阈值THC 以及THD的具体的值,例如,利用频率区域的尺寸log2TrafoSize进行如 下设定即可。
THC=1<<(log2TrafoSize-2),
THD=1<<(log2TrafoSize-2)+2
即,在频率区域的尺寸为16×16的情况下,设THC=4、THD=6, 在频率区域的尺寸为32×32的情况下,设定为THC=8、THD=10。这样, 可采用根据频率区域的尺寸而利用不同的阈值的构成。
图41表示了通过基于系数有无标记解码部124-C所具备的频率分 类部124a的分类处理而分割为部分区域R0、R1、R2、R3以及R4后的 频率区域的一例。
系数有无标记解码部124-C所具备的频率分类部124a针对属于部 分区域R0的频率分量,分配由低频位置上下文导出部124b导出的上下 文索引,针对属于部分区域R1、R2以及R3的频率分量,分配由周边参 考上下文导出部124c导出的上下文索引,针对属于部分区域R3的频率 分量,分配由高频位置上下文导出部124d导出的上下文索引。
另外,系数有无标记解码部124-C所具备的频率分类部124a算出 上下文索引ctxIdx,用于决定在算术码解码部130中为了对语法 significant_coeff_flag进行解码而使用的上下文。上下文索引ctxIdx按每 个频率区域的尺寸以及解码对象的频率分量而被算出(图33的步骤 SY4)。解码出的语法significant_coeff_flag保存在解码系数存储部126中, 被系数值解码部125参考。另外,解码时使用的上下文索引ctxIdx被提 供给上下文记录更新部131。
以下,关于与各部分区域R0~R4对应的上下文导出进行具体说明。
(系数有无标记解码部124-C所具备的低频位置上下文导出部 124b)
系数有无标记解码部124-C所具备的低频位置上下文导出部124b, 在解码对象的频率分量包含于低频侧的部分区域的情况下,将针对该频率 分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
系数有无标记解码部124-C所具备的低频位置上下文导出部124b, 针对属于部分区域R0的频率分量,利用以下的式子(eq.C3)来导出上下文 索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+2×uiPosX+uiPosY···(eq.C3)
此外,NX是表示上下文索引的开始点的常数。在频率区域的尺寸为 4×4以及8×8中使用的上下文数分别为N4个、N8个的情况下,频率区 域的尺寸为16×16以及32×32的开始点成为NX=N4+N8。
(系数有无标记解码部124-C所具备的周边参考上下文导出部 124c)
系数有无标记解码部124-C所具备的周边参考上下文导出部124c, 将针对解码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的 周边的频率分量而解码完毕的非0变换系数的数cnt来导出。
系数有无标记解码部124-C所具备的周边参考上下文导出部124c, 针对属于部分区域R1的频率分量而利用式(eq.C4)来导出上下文索引 ctxIdx,属于部分区域R2的频率分量而利用式(eq.C5)来导出上下文索 引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+3+min(2,temp)···(eq.C4)
temp=(cnt+1)>>1
ctxIdx=NX+6+min(2,temp)···(eq.C5)
temp=(cnt+1)>>1
此外,在部分区域R1以及R2中,利用图10(a)或图10(b)所示 的(C1,C2,C3,C4,C5),并根据以下的式子(eq.C6)来导出非0变换 系数的计数值cnt。
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5! =0)···(eq.C6)
或者,也可利用图36(a)所示的参考频率分量(c1、c2、c4、c5), 通过不参考作为对象的变换系数的位置的、按照处理顺序而位于近前方 (在处理顺序为逆向扫描顺序的情况下为作为对象的变换系数的位置的 下侧)的坐标(c3)的变换系数的以下的式子(eq.C7)来导出。这样的处理 能够在不参考近前方的系数有无标记的值的情况下进行某位置的系数有 无标记的解码中使用的上下文导出,因此能够并行地执行上下文导出处理 和解码处理。
cnt=(c1!=0)+(c2!=0)+(c4!=0)+(c5!=0)··· (eq.C7)
另外,本构成例所涉及的边参考上下文导出部124c针对属于部分区 域R3的频率分量,利用以下的式子(eq.C8)来导出上下文索引ctxIdx,并 将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+9+min(2,temp)···(eq.C8)
temp=(cnt+1)>>1
另外,在部分区域R3中,非零变换系数的计数值cnt利用图15(i) 所示的3个参考频率分量(c1、c3、c4)并根据以下的式子(eq.C9)来导出。
cnt=(c1!=0)+(c3!=0)+(c4!=0)···(eq.C9)
在此,设各项在()内的比较为真时取1、在()内的比较为假时取 0。
另外,参考频率分量不限于图15(i)所示的c1、c3、c4,也可使用 图15(c)、(d)、(e)、(f)中分别示出的3个参考频率分量。
此外,作为部分区域R3的上下文索引ctxIdx的导出,不限于式子 (eq.C8),也可如式子(eq.C10)那样。
ctxIdx=NX+9+min(2,cnt)···(eq.C10)
(系数有无标记解码部124-C所具备的高频位置上下文导出部 124d)
系数有无标记解码部124-C所具备的高频位置上下文导出部124d, 在解码对象的频率分量包含于高频侧的部分区域的情况下,将针对该频率 分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
系数有无标记解码部124-C所具备的高频位置上下文导出部124d 针对属于部分区域R4的频率分量,利用以下的式子(eq.C11)来导出上 下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+11+min(maxR3,(xCG+yCG-THD)>>shift)··· (eq.C11)
在此,作为shift以及maxR3,例如,在对象频率区域的尺寸为16×16 的情况下,利用shift=0、maxR3=3,在对象频率区域的尺寸为32×32 的情况下,利用shift=1、maxR3=3即可,但本实施方式并不限定于此。
此外,通过基于系数有无标记解码部124-C所具备的频率分类部 124a的分类处理而分割的频率区域的例子不限于图41所示的情况,例如, 可以如图42所示那样对频率区域进行分割。即,频率分类部124a可采用 如下那样将频率区域分类为部分区域R0、R1、R2、R3以及R4的构成。
(1)将满足xCG+yCG<THE且uiPosX+uiPosY<THZ的频率分 量分类到部分区域R0。
(2)将满足xCG+yCG<THE且THZ≤uiPosX+uiPosY的频率分 量分类到部分区域R1。
(3)将满足THE≤xCG+yCG<THF的频率分量分类到部分区域 R2。
(4)将满足THF≤xCG+yCG<THG的频率分量分类到部分区域 R3。
(5)将满足THG≤xCG+yCG的频率分量分类到部分区域R4。
与上述分类处理对应的伪码如下所示。
在此,阈值THZ使用2。另外,作为阈值THE、THF以及THG的 具体的值,例如,利用频率区域的尺寸(处理对象TU的尺寸) log2TrafoSize,设定为
THE=1
THF=1<<(log2TrafoSize-2)
THG=1<<(log2TrafoSize-2)+2
即可。即,可以在频率区域的尺寸为16×16的情况下,设THE=1、 THF=2、THG=4,在频率区域的尺寸为32×32的情况下,设THE=1、 THF=4、THG=10。这样,可采用根据频率区域的尺寸而利用不同的阈 值的构成。
如上所述,根据本构成例所涉及的系数有无标记解码部,在比给定的 阈值THF更高频侧的部分区域(例如图41的部分区域R3)中,在对各 变换系数有无标记分配的上下文索引导出中所参考的解码完毕的非0变 换系数的数目,小于在低频侧的部分区域(例如图41的部分区域R2)中 所参考的解码完毕的非0变换系数的数目,因此能够削减用于高频侧的上 下文索引的导出处理的处理量。进而,在比另一阈值THG更高频侧的部 分区域(例如图41的部分区域R4)中,由于不依据周围参考而基于位置 来导出上下文索引,因此能够进一步削减处理量。另外,位置参考由于在 上下文的导出中不使用已经解码出的系数有无标记的值,因此也能提高并 行性。
此外,在上述的构成中,频率分类部124a进行了分类为5个部分区 域,但也可以是分类到3个部分区域的构成。例如,可以是:
(1)将满足uiPosX+uiPosY<THZ且xCG+yCG<THG的频率分 量分类到部分区域R0。
(2)将满足THZ≤uiPosX+uiPosY且xCG+yCG<THG的频率分 量分类到部分区域R1。
(3)将满足THG≤xCG+yCG的频率分量分类到部分区域R4。
与上述分类处理对应的伪码如下所示。
如上所述,在本构成例所涉及的系数有无标记解码部124-C中,频 率分类部124a根据处理对象的变换系数有无标记的位置、和该变换系数 有无标记所属的子块的位置,将对象频率区域至少分类为3个部分区域,
周边参考上下文导出部124c
在第1部分区域(部分区域R1或R2)中,参考了N1个(N1为自 然数)解码完毕的非0变换系数,
在第2部分区域(部分区域R3)中,参考了N2个(N2为满足N2 <N1的自然数)解码完毕的非0变换系数来导出上下文索引,
在第3部分区域(部分区域R4)中,高频位置上下文导出部124d 根据变换系数有无标记所属的子块的位置来导出上下文索引。
根据上述构成,通过将为了导出上下文索引而参考的解码完毕的非0 变换系数的数设定得更小的部分区域、以及基于对象频率区域中的该变换 系数有无标记的位置和该变换系数有无标记所属的子块的位置来导出上 下文索引的部分区域进行组合,能够实现高的编码效率,而且与现有的构 成相比能够削减用于高频侧的上下文索引的导出处理的处理量。
(运动图像编码装置2)
关于本实施方式所涉及的运动图像编码装置2的构成,参照图26~ 图28来进行说明。运动图像编码装置2是安装了H.264/MPEG-4AVC 标准中采用的技术、作为VCEG(VideoCoding Expert Group)中的共同 开发用编解码器的KTA软件中采用的技术、TMuC(TestModel under Consideration)软件中采用的技术以及作为其后继编解码器的HEVC (High-Efficiency Video Coding)中提出的技术的编码装置。以下,对于 和已经说明过的部分相同的部分标注相同标号,并省略其说明。
图26是表示运动图像编码装置2的构成的框图。如图26所示,运动 图像编码装置2具备:预测图像生成部21、变换和量化部22、逆量化和 逆变换部23、加法器24、帧存储器25、环路滤波器26、可变长码编码部 27以及减法器28。另外,如图26所示,预测图像生成部21具备帧内预 测图像生成部21a、运动向量检测部21b、帧间预测图像生成部21c、预 测方式控制部21d以及运动向量冗余性删除部21e。运动图像编码装置2 是通过对运动图像#10(编码对象图像)进行编码来生成编码数据#1的 装置。
(预测图像生成部21)
预测图像生成部21将处理对象LCU递归地分割为1个或多个下级 CU,进一步将各叶(leaf)CU分割为1个或多个分区,按每个分区来生 成利用了画面间预测的帧间预测图像Pred_Inter或利用了画面内预测的 帧内预测图像Pred_Intra。生成的帧间预测图像Pred_Inter以及帧内预 测图像Pred_Intra被作为预测图像Pred而提供给加法器24以及减法器28。
此外,预测图像生成部21针对应用了跳过模式的PU,省略属于该 PU的其他参数的编码。另外,按照使编码效率最佳化的方式来决定:(1) 对象LCU中的向下级CU以及分区的分割的方式,(2)是否应用跳过模 式,以及(3)各分区中生成帧间预测图像Pred_Inter以及帧内预测图像 Pred_Intra中的哪一个。
(帧内预测图像生成部21a)
帧内预测图像生成部21a通过画面内预测来生成与各分区相关的预 测图像Pred_Intra。具体而言,(1)针对各分区来选择在帧内预测中使用 的预测模式,(2)利用所选择的预测模式,根据解码图像P来生成预测 图像Pred_Intra。帧内预测图像生成部21a将所生成的帧内预测图像Pred _Intra提供给预测方式控制部21d。
另外,帧内预测图像生成部21a采用下述构成:根据对对象分区的周 边的分区分配的预测模式来决定针对对象分区的估计预测模式,将表示该 估计预测模式与针对对象分区而实际选择的预测模式是否相同的估计预 测模式标记,作为帧内预测参数PP_Intra的一部分而经由预测方式控制 部21d提供给可变长码编码部27,可变长码编码部27将该标记包含在编 码数据#1中。
另外,帧内预测图像生成部21a采用下述构成:在针对对象分区的估 计预测模式与针对对象分区而实际选择的预测模式不同的情况下,将表示 针对对象分区的预测模式的残余预测模式索引,作为帧内预测参数PP_ Intra的一部分而经由预测方式控制部21d提供给可变长码编码部27,可 变长码编码部27将该残余预测模式索引包含在编码数据#1中。
(运动向量检测部21b)
运动向量检测部21b检测与各分区相关的运动向量mv。具体而言, (1)选择作为参考图像而利用的自适应滤波完毕解码图像P_ALF’,(2) 在选择出的自适应滤波完毕解码图像P_ALF’中,通过对对象分区搜索 进行最佳近似的区域来检测与对象分区相关的运动向量mv。在此,自适 应滤波完毕解码图像P_ALF’,是针对已经完成了帧整体的解码的解码 完毕的解码图像实施基于环路滤波器26的自适应滤波处理而得到的图 像,运动向量检测部21b能够将构成自适应滤波完毕解码图像P_ALF’ 的各像素的像素值从帧存储器25中读出。运动向量检测部21b将检测到 的运动向量mv,与指定被用作参考图像的自适应滤波完毕解码图像P_ ALF’的参考图像索引RI一起提供给帧间预测图像生成部21c以及运动向 量冗余性删除部21e。
(帧间预测图像生成部21c)
帧间预测图像生成部21c通过画面间预测来生成与各帧间预测分区 相关的运动补偿图像mc。具体而言,利用从运动向量检测部21b提供的 运动向量mv,根据由从运动向量检测部21b提供的参考图像索引RI指 定的自适应滤波完毕解码图像P_ALF’来生成运动补偿图像mc。与运动 向量检测部21b同样,帧间预测图像生成部21c能够将构成自适应滤波完毕解码图像P_ALF’的各像素的像素值从帧存储器25中读出。帧间预测 图像生成部21c将生成的运动补偿图像mc(帧间预测图像Pred_Inter), 与从运动向量检测部21b提供的参考图像索引RI一起提供给预测方式控 制部21d。
(预测方式控制部21d)
预测方式控制部21d将帧内预测图像Pred_Intra以及帧间预测图像 Pred_Inter与编码对象图像进行比较,选择进行帧内预测还是进行帧间预 测。在选择了帧内预测的情况下,预测方式控制部21d将帧内预测图像 Pred_Intra作为预测图像Pred而提供给加法器24以及减法器28,并且 将从帧内预测图像生成部21a提供的帧内预测参数PP_Intra提供给可变 长码编码部27。另一方面,在选择了帧间预测的情况下,预测方式控制 部21d将帧间预测图像Pred_Inter作为预测图像Pred而提供给加法器24 以及减法器28,并且将参考图像索引RI、以及从后述的运动向量冗余性 删除部21e提供的估计运动向量索引PMVI以及运动向量残差MVD作为 帧间预测参数PP_Inter而提供给可变长码编码部27。另外,预测方式控 制部21d将表示选择了帧内预测图像Pred_Intra以及帧间预测图像Pred _Inter中的哪一个预测图像的预测类型信息Pred_type提供给可变长码 编码部27。
(运动向量冗余性删除部21e)
运动向量冗余性删除部21e删除通过运动向量检测部21b检测出的运 动向量mv中的冗余性。具体而言,(1)选择在运动向量mv的估计中使 用的估计方法,(2)按照所选择的估计方法来导出估计运动向量pmv,(3) 通过从运动向量mv中减去估计运动向量pmv来生成运动向量残差 MVD。运动向量冗余性删除部21e将所生成的运动向量残差MVD与表 示选择出的估计方法的估计运动向量索引PMVI一起提供给预测方式控 制部21d。
(变换和量化部22)
变换和量化部22,(1)针对从编码对象图像中减去预测图像Pred后 的预测残差D,按每个块(变换单位)来施加DCT变换(DiscreteCosine Transform)等频率变换,(2)对通过频率变换而得到的变换系数Coeff _IQ进行量化,(3)将通过量化而得到的变换系数Coeff提供给可变长 码编码部27以及逆量化和逆变换部23。此外,变换和量化部22,(1)按 每个TU来选择在量化时使用的量化步长QP,(2)将表示选择出的量化 步长QP的大小的量化参数差分Δqp提供给可变长码编码部28,(3)将 选择出的量化步长QP提供给逆量化和逆变换部23。在此,量化参数差 分Δqp是指,从要进行频率变换以及量化的TU所相关的量化参数qp(例 如QP=2pq/6)的值中减去在近前方已进行了频率变换以及量化的TU所 相关的量化参数qp’的值而得到的差分值。
此外,关于由变换和量化部22进行的DCT变换,例如在对象块的尺 寸为8×8像素的情况下,若将针对水平方向的频率u以及垂直方向的频 率v的量化前的变换系数表示为Coeff_IQ(u,v)(0≤u≤7,0≤v≤7), 则例如由以下的数学式(2)赋予。
[数学式2]
在此,D(i,j)(0≤i≤7,0≤j≤7)表示了对象块中的位置(i,j) 处的预测残差D。另外,C(u)以及C(v)按以下方式赋予。
·C(u)=1 (u≠0)
·C(v)=1 (v≠0)
(逆量化和逆变换部23)
逆量化和逆变换部23,(1)对量化后的变换系数Coeff进行逆量化, (2)对通过逆量化而得到的变换系数Coeff_IQ实施逆DCT(Discrete Cosine Transform)变换等逆频率变换,(3)将通过逆频率变换而得到的 预测残差D提供给加法器24。在对量化后的变换系数Coeff进行逆量化 时,利用从变换和量化部22提供的量化步长QP。此外,从逆量化和逆 变换部23输出的预测残差D,是在输入到变换和量化部22的预测残差D 上加上了量化误差后的结果,但在此为了简化而采用公共的呼称。逆量化 和逆变换部23的更具体的动作与运动图像解码装置1所具备的逆量化和 逆变换部13大致相同。
(加法器24)
加法器24将由预测方式控制部21d选择出的预测图像Pred与由逆量 化和逆变换部23生成的预测残差D相加,由此生成(局部)解码图像P。 由加法器24生成的(局部)解码图像P被提供给环路滤波器26,并保存 在帧存储器25中,被用作帧内预测中的参考图像。
(可变长码编码部27)
可变长码编码部27,对(1)从变换和量化部22提供的量化后的变 换系数Coeff以及Δqp、(2)从预测方式控制部21d提供的量化参数PP (帧间预测参数PP_Inter以及帧内预测参数PP_Intra)、(3)预测类型 信息Pred_type以及(4)从环路滤波器26提供的滤波器参数FP进行可 变长编码,由此来生成编码数据#1。
图27是表示可变长码编码部27的构成的框图。如图27所示,可变 长码编码部27具备:对量化后的变换系数Coeff进行编码的量化残差信 息编码部271、对预测参数PP进行编码的预测参数编码部272、对预测 类型信息Pred_type进行编码的预测类型信息编码部273以及对滤波器 参数FP进行编码的滤波器参数编码部274。关于量化残差信息编码部271 的具体的构成在后面描述,所以在此省略说明。
(减法器28)
减法器28通过将由预测方式控制部21d选择的预测图像Pred从编码 对象图像中减去来生成预测残差D。由减法器28生成的预测残差D被变 换和量化部22进行频率变换以及量化。
(环路滤波器26)
环路滤波器26具有下述功能:(1)作为进行解码图像P中的块边界 或分区边界的周边的图像的平滑化(去块处理)的去块滤波器 (DF:Deblocking Filter)的功能;(2)作为针对去块滤波器所作用的图像 而利用滤波器参数FP来进行自适应滤波处理的自适应滤波器 (ALF:Adaptive Loop Filter)的功能。
(量化残差信息编码部271)
量化残差信息编码部271通过对量化后的变换系数Coeff(uiPosX, uiPosY)进行上下文自适应二进制算术编码(CABAC:(Context-based Adaptive Binary ArithmeticCoding))来生成量化残差信息QD。生成的量 化残差信息QD所包含的语法如图5所示。
此外,uiPosX以及uiPosY如上所述是表示频率区域中的各频率分量 的位置的索引,分别是上述的水平方向频率u以及垂直方向频率v所对应 的索引。此外,以下,有时也将量化后的变换系数Coeff仅称为变换系数 Coeff。
(量化残差信息编码部271)
图28是表示量化残差信息编码部271的构成的框图。如图28所示, 量化残差信息编码部271具备变换系数编码部220以及算术码编码部 230。
(算术码编码部230)
算术码编码部230是通过参考上下文来对从变换系数编码部220提供 的各Bin进行编码从而来生成量化残差信息QD的构成,如图1所示,具 备上下文记录更新部231以及比特编码部232。
(上下文记录更新部231)
上下文记录更新部231是是用于对由各上下文索引ctxIdx管理的上 下文变量CV进行记录以及更新的构成。在此,上下文变量CV包含:(1) 发生概率高的大概率符号MPS(most probable symbol);(2)对该大概率 符号MPS的发生概率进行指定的概率状态索引pStateIdx。
上下文记录更新部231通过参考从变换系数编码部220所具备的各部 分提供的上下文索引ctxIdx、以及由比特编码部232编码后的Bin的值, 来更新上下文变量CV,并且对更新后的上下文变量CV进行记录直至下 一次被更新为止。此外,大概率符号MPS是0或1。另外,大概率符号 MPS和概率状态索引pStateIdx在比特解码部132每对Bin进行一个解码 时被更新。
另外,上下文索引ctxIdx可以是直接指定针对各频率分量的上下文 的索引,也可以是从对处理对象的每个TU设定的上下文索引的偏移起的 增量值(以下同样)。
(比特编码部232)
比特编码部232参考上下文记录更新部231中记录的上下文变量 CV,对从变换系数编码部220所具备的各部分提供的各Bin进行编码来 生成量化残差信息QD。另外,进行编码而得到的Bin的值也被提供给上 下文记录更新部231,为了对上下文变量CV进行更新而参考。
(变换系数编码部220)
如图28所示,变换系数编码部220具备:末尾位置编码部221、扫 描顺序表保存部222、系数编码控制部223、系数有无标记编码部、系数 值编码部225、编码系数存储部226以及语法导出部227。
(语法导出部227)
语法导出部227参考变换系数Coeff(uiPosX,uiPosY)的各值,导 出用于确定对象频率区域中的这些变换系数的语法 last_significant_coeff_x、last_significant_coeff_y、significant_coeff_flag、 coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag以及coeff_abs_level_minus3的各值。导出的各语法被提供 给编码系数存储部226。另外,导出的语法中的last_significant_coeff_x、last_significant_coeff_y还被提供给系数编码控制部223以及末尾位置编 码部221。另外,导出的语法中的significant_coeff_flag还被提供给系数 有无标记编码部224。此外,关于各语法所表示的内容以在上面描述,所 以在此省略说明。
(末尾位置编码部221)
末尾位置编码部221对从语法导出部227提供的语法 last_significant_coeff_x、last_significant_coeff_y进行编码。另外,将对这 些语法进行编码而得到的各Bin提供给比特编码部232。另外,语法 last_significant_coeff_x以及last_significant_coeff_y的编码中使用的上下 文索引ctxIdx被提供给上下文记录更新部231。
(扫描顺序表保存部222)
扫描顺序表保存部222保存了:以处理对象的TU的尺寸、表示扫描 方向的类别的扫描索引以及沿着扫描顺序而赋予的频率分量识别索引为 自变量,赋予处理对象的频率分量在频率区域中的位置的表。作为这样的 扫描顺序表的一例,可列举图5所示的ScanOrder。
(系数编码控制部223)
系数编码控制部223是用于对量化残差信息编码部271所具备的各部 分中的编码处理的顺序进行控制的构成。系数编码控制部223参考从语法 导出部227提供的语法last_significant_coeff_x以及 last_significant_coeff_y,确定沿着顺向扫描的最后的非0变换系数的位置, 并且按照以所确定的最后的非0变换系数的位置为起点的扫描顺序、且由 扫描顺序表保存部222中保存的扫描顺序表所赋予的扫描顺序的逆向扫 描顺序,将各频率分量的位置(uiPosX,uiPosY)提供给系数有无标记编 码部。
此外,系数编码控制部223也可采用下述构成:确定沿着顺向扫描的 最后的非0变换系数的位置,按照以最初的分量(DC分量)为起点并以 所确定的最后的非0变换系数的位置为终点的扫描顺序、且由扫描顺序表 保存部222中保存的扫描顺序表赋予的扫描顺序的顺向扫描顺序,将各频 率分量的位置(uiPosX,uiPosY)提供给系数有无标记编码部。
(系数值编码部225)
系数值编码部225对从语法导出部227提供的语法 coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag以及coeff_abs_level_minus3进行编码。另外,将对这些语 法进行编码而得到的各Bin提供给比特编码部232。另外,这些语法的编 码中使用的上下文索引ctxIdx被提供给上下文记录更新部231。
(编码系数存储部226)
编码系数存储部226是用于预先存储由语法导出部227导出的语法的 各值的构成。特别是,编码系数存储部226中存储了由语法导出部227 导出的语法significant_coeff_flag的各值。
(系数有无标记编码部)
本实施方式所涉及的系数有无标记编码部是下述构成:将频率区域根 据频率的大小而分类为1个或多个部分区域,根据按每个部分区域而确定 的导出方法来导出上下文索引ctxIdx,并且利用导出的上下文索引ctxIdx 对表示非0变换系数的有无的语法significant_coeff_flag进行编码。
<系数有无标记编码部的第1构成例>
图28中表示了作为本实施方式所涉及的系数有无标记编码部的第1 构成例的系数有无标记编码部224。
如图28所示,本构成例所涉及的系数有无标记编码部224具备:频 率分类部224a、低频位置上下文导出部224b、周边参考上下文导出部 224c、高频位置上下文导出部224d。
(频率分类部224a)
频率分类部224a是下述构成:根据频率区域中的编码对象的频率分 量的位置,将该频率分量分类到多个部分区域的某一个,并且将由低频位 置上下文导出部224b、周边参考上下文导出部224c以及高频位置上下文 导出部224d的某一个导出的上下文索引ctxIdx分配给该编码对象的频率 分量。
频率分类部224a算出上下文索引ctxIdx,用于决定在算术码编码部 230中为了对语法significant_coeff_flag进行编码而使用的上下文。上下 文索引ctxIdx按每个频率区域的尺寸以及解码对象的频率分量而被算出。
本构成例所涉及的频率分类部224a所执行的其他具体的处理与运动 图像解码装置1所具备的频率分类部124a同样,所以在此省略说明。
(低频位置上下文导出部224b)
低频位置上下文导出部224b是用于在编码对象的频率分量包含于低 频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于 频率区域中的该频率分量的位置来导出的构成。
本构成例所涉及的低频位置上下文导出部224b所执行的具体处理与 运动图像解码装置1所具备的低频位置上下文导出部124b同样,所以在 此省略说明。
(周边参考上下文导出部224c)
周边参考上下文导出部224c是下述构成:将针对编码对象的频率分 量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而编码完 毕的非0变换系数的数目来导出。
本构成例所涉及的周边参考上下文导出部224c所执行的具体处理与 运动图像解码装置1所具备的周边参考上下文导出部224c同样,所以在 此省略说明。
(高频位置上下文导出部224d)
高频位置上下文导出部224d是下述构成:在编码对象的频率分量包 含于高频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx 基于频率区域中的该频率分量的位置来导出。
本构成例所涉及的高频位置上下文导出部224d所执行的具体处理与 运动图像解码装置1所具备的高频位置上下文导出部124d同样,所以在 此省略说明。
<系数有无标记编码部的第2构成例>
本实施方式所涉及的系数有无标记编码部可采用与运动图像解码装 置1所具备的系数有无标记解码部124-1对应的构成。
具体而言,本构成例所涉及的系数有无标记编码部可采用:具备与频 率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部 124c、前扫描列上下文导出部124e以及非0变换系数计数部124f同样的 各部分的构成。
关于这些部分,在运动图像解码装置1所具备的系数有无标记解码部 124-1的说明中已进行了描述,所以在此省略说明。
<系数有无标记编码部的第3构成例>
本实施方式所涉及的系数有无标记编码部可采用与运动图像解码装 置1所具备的系数有无标记解码部124-2对应的构成。
具体而言,本构成例所涉及的系数有无标记编码部可采用:具备与频 率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124g 同样的各部分的构成。
关于这些部分,在运动图像解码装置1所具备的系数有无标记解码部 124-2的说明中已进行了描述,所以在此省略说明。
另外,系数有无标记解码部124-2的构成也可采用系数有无标记编 码部的第3构成例的其他构成例所示的构成。
<系数有无标记编码部的第4构成例>
本实施方式所涉及的系数有无标记编码部可采用与运动图像解码装 置1所具备的系数有无标记解码部124’对应的构成。
具体而言,本构成例所涉及的系数有无标记编码部可采用:具备与频 率分类部124a′、低频位置上下文导出部124b、周边参考上下文导出部 124g以及高频位置上下文导出部124d同样的各部分的构成。
关于这些部分,在运动图像解码装置1所具备的系数有无标记解码部124’的说明中已进行了描述,所以在此省略说明。
<系数有无标记编码部的第5构成例>
本实施方式所涉及的系数有无标记编码部可采用与运动图像解码装 置1所具备的系数有无标记解码部124-3对应的构成。
具体而言,本构成例所涉及的系数有无标记编码部可采用:具备与频 率分类部124a、低频位置上下文导出部124b、高频区域上下文导出部 124h、周边参考上下文导出部124i、前扫描列上下文导出部124e、非0 变换系数计数部124f同样的各部分的构成。
关于这些部分,在运动图像解码装置1所具备的系数有无标记解码部 124-3的说明中已进行了描述,所以在此省略说明。
<系数有无标记编码部的第6构成例>
本实施方式所涉及的系数有无标记编码部可采用与运动图像解码装 置1所具备的系数有无标记解码部124-4对应的构成。
具体而言,本构成例所涉及的系数有无标记编码部可采用:具备与频 率分类部124a、低频位置上下文导出部124b以及周边参考上下文导出部 124k同样的各部分的构成。
关于这些部分,在运动图像解码装置1所具备的系数有无标记解码部 124-4的说明中已进行了描述,所以在此省略说明。
以下,对运动图像解码装置1所具备的系数有无标记解码部的第7~ 第9构成所对应的系数有无标记编码部的第7~第9构成进行说明。系数 有无标记编码部的第7~第9构成不是将频率区域的整体作为1个变换块 来对系数有无标记进行编码,而是将变换块例如分割为4×4的子块,以 子块为单位来对系数有无标记进行编码。图32表示了基于第7~第9构 成所涉及的系数有无标记编码部的子块扫描。在利用子块来对系数有无标 记进行编码的情况下,以子块为单位,对表示在子块内存在至少1个非0 变换系数的标记(子块系数有无标记)按照子块逆向扫描顺序进行编码。 进而,在子块系数有无标记非0的情况下,针对子块内部的各变换系数, 对系数有无标记按照子块内部的逆向扫描顺序进行编码。
<系数有无标记编码部的第7构成>
图44是表示与系数有无标记解码部124-A对应的系数有无标记编 码部224-A的构成的框图。另外,图43是表示本构成例所涉及的系数 有无标记编码部224-A的动作流程的流程图。
如图44所示,本构成例所涉及的系数有无标记编码部224-A具备: 子块系数有无标记编码部X2、频率分类部224a、低频位置上下文导出部 224b以及周边参考上下文导出部224c。
(子块系数有无标记编码部X2)
子块系数有无标记编码部X2对由语法导出部227提供的表示构成对 象变换块的频率区域的各子块中是否存在至少1个非0的变换系数的子块 系数有无标记(significant_coeffgroup_flag)进行编码(图43的步骤SY1’)。 另外,将对子块系数有无标记进行编码而得到的各Bin提供给比特编码部 232。
然后,子块系数有无标记编码部X2按位于变换块内的每个子块,在 子块内对系数有无标记进行编码(图43的步骤SY2’~步骤SY4’)。即, 在子块系数有无标记编码部X2中,在子块系数有无标记为1的情况下(图 43的步骤SY2’中为是的情况下),利用频率分类部224a、低频位置上下 文导出部224b、周边参考上下文导出部224c来对子块内的系数有无标记 进行编码。另外,在子块系数有无标记为0的情况下(图43的步骤SY2’ 中为否的情况下),使子块内的系数有无标记的编码跳过,转移到下一子 块的处理。
此外,在图43的子块的循环中,sbkIdx表示子块的顺向扫描中的对 象子块的扫描顺序编号,LastSbkIdx表示子块的顺向扫描中的有末尾系数 的子块的扫描顺序编号。在将sz×sz的变换块分割为4×4子块的情况下, sbkIdx以及LastSbkIdx的取值为0~(sz>>2)×(sz>>2)-1。
(系数有无标记编码部224-A所具备的频率分类部224a)
系数有无标记编码部224-A所具备的频率分类部224a根据频率区 域中的编码对象的频率分量的位置,将该频率分量分类到多个部分区域的 某一个,并且将由低频位置上下文导出部224b以及周边参考上下文导出 部224c的某一个导出的上下文索引ctxIdx分配给该编码对象的频率分量 (图43的步骤SY3’)。
系数有无标记编码部224-A所具备的频率分类部224a算出上下文 索引ctxIdx,用于决定在算术编码部230中为了对语法 significant_coeff_flag进行编码而使用的上下文。上下文索引ctxIdx按每 个频率区域的尺寸以及编码对象的频率分量而被算出(图43的步骤 SY4’)。
系数有无标记编码部224-A所具备的频率分类部224a所执行的其 他具体处理与系数有无标记解码部124-A中的频率分类部124a同样, 所以在此省略说明。
以下,说明与各部分区域R0~R2对应的上下文导出。
(系数有无标记编码部224-A所具备的低频位置上下文导出部 224b)
系数有无标记编码部224-A所具备的低频位置上下文导出部224b, 在编码对象的频率分量包含于低频侧的部分区域的情况下,将针对该频率 分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
本构成例所涉及的低频位置上下文导出部224b针对属于部分区域 R0的频率分量,通过与系数有无标记解码部124-A中的低频位置上下 文导出部124b同样的处理来导出上下文索引ctxIdx,并将该导出结果 ctxIdx提供给频率分类部224a。
(系数有无标记编码部224-A所具备的周边参考上下文导出部 224c)
系数有无标记编码部224-A所具备的周边参考上下文导出部224c, 将针对编码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的 周边的频率分量而编码完毕的非0变换系数的数目来导出。
本实施方式所涉及的周边参考上下文导出部224c针对属于部分区域 R1以及R2的频率分量,通过与系数有无标记解码部124-A中的周边参 考上下文导出部124c同样的处理来导出上下文索引ctxIdx,并将该导出 结果ctxIdx提供给频率分类部224a。
<系数有无标记编码部的第8构成>
图45是表示系数有无标记解码部124-B所对应的系数有无标记编 码部224-B的构成的框图。另外,系数有无标记编码部224-B的动作 流程利用图43所示的流程图来说明。
如图45所示,本构成例所涉及的系数有无标记编码部224-B具备: 子块系数有无标记编码部X2、频率分类部224a、低频位置上下文导出部 224b、周边参考上下文导出部224c以及高频位置上下文导出部224d。
(系数有无标记编码部224-B所具备的子块系数有无标记编码部 X2)
系数有无标记编码部224-B所具备的子块系数有无标记编码部X2, 对由语法导出部227提供的表示构成对象变换块的频率区域的各子块中 是否存在至少1个非0的变换系数的子块系数有无标记 (significant_coeffgroup_flag)进行编码(图43的步骤SY1’)。另外,对 子块系数有无标记进行编码而得到的各Bin提供给比特编码部232。
然后,按位于变换块内的每个子块,在子块内对系数有无标记进行编 码(图43的步骤SY2’~步骤SY4’)。即,在子块系数有无标记编码部 X2中,在子块系数有无标记为1的情况下(图43的步骤SY2’中为是的 情况下),利用频率分类部224a、低频位置上下文导出部224b、周边参考 上下文导出部224c、高频位置上下文导出部224d来对子块内的系数有无标记进行编码。另外,在子块系数有无标记为0的情况下(图43的步骤 SY2’中为否的情况下),使子块内的系数有无标记的编码跳过,转移到下 一子块的处理。
(系数有无标记编码部224-B所具备的频率分类部224a)
系数有无标记编码部224-B所具备的频率分类部224a根据频率区 域中的编码对象的频率分量的位置,将该频率分量分类到多个部分区域的 某一个,并且将由低频位置上下文导出部224b、周边参考上下文导出部 224c以及高频位置上下文导出部224d的某一个导出的上下文索引ctxIdx 分配给该编码对象的频率分量(图43的步骤SY3’)。
系数有无标记编码部224-B所具备的频率分类部224a算出上下文 索引ctxIdx,用于决定在算术编码部230中为了对语法 significant_coeff_flag进行编码而使用的上下文。上下文索引ctxIdx按每 个频率区域的尺寸以及编码对象的频率分量而被算出(图43的步骤 SY4’)。
系数有无标记编码部224-B所具备的频率分类部224a所执行的其 他具体处理与系数有无标记解码部124-B中的频率分类部124a同样, 所以在此省略说明。
以下,说明各部分区域R0~R3所对应的上下文导出。
(系数有无标记编码部224-B所具备的低频位置上下文导出部 224b)
系数有无标记编码部224-B所具备的低频位置上下文导出部224b 针对属于部分区域R0的频率分量,通过与系数有无标记解码部124-B 中低频位置上下文导出部124b同样的处理来导出上下文索引ctxIdx,并 将该导出结果ctxIdx提供给频率分类部224a。
(系数有无标记编码部224-B所具备的周边参考上下文导出部 224c)
系数有无标记编码部224-B所具备的周边参考上下文导出部224c 针对属于部分区域R1以及R2的频率分量,通过与系数有无标记解码部 124-B中的周边参考上下文导出部124c同样的处理来导出上下文索引 ctxIdx,并将该导出结果ctxIdx提供给频率分类部224a。
(系数有无标记编码部224-B所具备的高频位置上下文导出部 224d)
系数有无标记编码部224-B所具备的高频位置上下文导出部224d 在编码对象的频率分量包含于高频侧的部分区域的情况下,将针对该频率 的上下文索引ctxIdx,基于频率区域中的该频率分量的位置和该频率分量 所属的子块的位置来导出。
系数有无标记编码部224-B所具备的高频位置上下文导出部224d 针对属于部分区域R3的频率分量,通过与系数有无标记解码部124-C 中的高频位置上下文导出部124d同样的处理来导出上下文索引ctxIdx, 并将该导出结果ctxIdx提供给频率分类部224a。
根据如以上那样构成的频率分类部224a,能够将用于根据变换系数 的位置来切换上下文导出方法的分支处理设为利用了子块坐标(xCG, yCG)的分支处理。与进行参考(uiPosX,uiPosY)的分支处理的情况相 比,能够省略在子块内部进行的参考(uiPosX,uiPosY)的分支处理,从 而能够提高上下文导出的吞吐量。
进而,通过具备如以上那样构成的系数有无标记编码部以及子块系数 有无标记编码部,位置上下文不依赖于已经编码后的系数有无标记的值来 决定某变换系数的位置的系数有无标记的上下文,因此具有能够并行地进 行系数有无标记的上下文导出和系数有无标记的编码的效果。
<系数有无标记编码部的第9构成>
图46是表示系数有无标记解码部124-C所对应的系数有无标记编 码部224-C的构成的框图。另外,系数有无标记编码部224-C的动作 流程利用图43所示的流程图来说明。
如图46所示,本构成例所涉及的系数有无标记编码部224-C具备: 子块系数有无标记编码部X2、频率分类部224a、低频位置上下文导出部 224b、周边参考上下文导出部224c以及高频位置上下文导出部224d。
(系数有无标记编码部224-C所具备的子块系数有无标记编码部 X2)
系数有无标记编码部224-C所具备的子块系数有无标记编码部X2 与系数有无标记编码部224-B的系数有无标记编码部X2同样,所以省 略说明。
(频率分类部224a)
系数有无标记编码部224-C所具备的频率分类部224a根据频率区 域中的编码对象的频率分量的位置,将该频率分量分类到多个部分区域的 某一个,并且将由低频位置上下文导出部224b、周边参考上下文导出部 224c以及高频位置上下文导出部224d的某一个导出的上下文索引ctxIdx 分配给该编码对象的频率分量(图43的步骤SY3’)。
系数有无标记编码部224-C所具备的频率分类部224a算出上下文 索引ctxIdx,用于决定在算术编码部230中为了对语法 significant_coeff_flag进行编码而使用的上下文。上下文索引ctxIdx按每 个频率区域的尺寸以及编码对象的频率分量而被算出(图43的步骤 SY4’)。
系数有无标记编码部224-C所具备的频率分类部224a所执行的其 他具体处理与系数有无标记解码部124-C中的频率分类部124a同样, 所以在此省略说明。
以下,说明各部分区域R0~R4所对应的上下文导出。
(系数有无标记编码部224-C所具备的低频位置上下文导出部 224b)
系数有无标记编码部224-C所具备的低频位置上下文导出部224b 针对属于部分区域R0的频率分量,通过与系数有无标记解码部124-C 中的低频位置上下文导出部124b同样的处理来导出上下文索引ctxIdx, 并将该导出结果ctxIdx提供给频率分类部224a。
(系数有无标记编码部224-C所具备的周边参考上下文导出部 224c)
系数有无标记编码部224-C所具备的周边参考上下文导出部224c 针对属于部分区域R1、R2以及R3的频率分量,通过与系数有无标记解 码部124-C中的周边参考上下文导出部124c同样的处理来导出上下文 索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部224a。
(系数有无标记编码部224-C所具备的高频位置上下文导出部 224d)
系数有无标记编码部224-C所具备的高频位置上下文导出部224d 针对属于部分区域R4的频率分量,通过与系数有无标记解码部124-C 中的高频位置上下文导出部124d同样的处理来导出上下文索引ctxIdx, 并将该导出结果ctxIdx提供给频率分类部224a。
如上所述,根据本构成例所涉及的系数有无标记编码部224-C,在 比给定的阈值THF更高频侧的部分区域(例如图41的部分区域R3)中, 在对各变换系数有无标记分配的上下文索引导出中所参考的编码完毕的 非0变换系数的数目,小于在低频侧的部分区域(例如图41的部分区域 R2)中所参考的编码完毕的非0变换系数的数目,因此能够削减用于高频侧的上下文索引的导出处理的处理量。进而,在比另一阈值THG更高 频侧的部分区域(例如图41的部分区域R4)中,由于不依赖于周围参考 地基于位置来导出上下文索引,因此能够进一步削减处理量。另外,由于 位置参考不使用在上下文的导出中已经编码的系数有无标记的值,因此还 能够提高并行性。
如上所述,在本构成例所涉及的系数有无标记编码部224-C中,频 率分类部224a根据处理对象的变换系数有无标记的位置和该变换系数有 无标记所属的子块的位置,将对象频率区域至少分类为3个部分区域,
周边参考上下文导出部224c,
在第1部分区域(部分区域R1或R2)中,参考N1个(N1为自然 数)解码完毕的非0变换系数,
在第2部分区域(部分区域R3)中,通过参考N2个(N2为满足 N2<N1的自然数)解码完毕的非0变换系数来导出上下文索引,
在第3部分区域(部分区域R4)中,高频位置上下文导出部224d 根据变换系数有无标记所属的子块的位置来导出上下文索引。
根据上述构成,通过将为了导出上下文索引而参考的编码完毕的非0 变换系数的数设定得更小的部分区域、以及基于对象频率区域中的该变换 系数有无标记的位置和该变换系数有无标记所属的子块的位置来导出上 下文索引的部分区域进行组合,能够实现高的编码效率,而且与现有的构 成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
(变换系数编码部220的另一构成例1)
以上,关于本实施方式所涉及的变换系数编码部220,主要以系数有 无标记编码部的构成例为中心进行了说明,但本实施方式所涉及的变换系 数编码部220的构成并不限于上述的例子。
例如,变换系数编码部220可采用限制为仅对针对满足下述条件
uiPosX+uiPosY<TH2
的频率分量的变换系数进行编码,也可采用将表示是否应用了该限制 的标记high_coeff_restriction_flag包含在编码数据#1的序列参数组SPS 中的构成。
另外,也可构成为仅在处理对象的TU为特定的尺寸(例如32×32、 16×16)的情况下应用上述的限制。
关于具体的限制的例子以及与其关联的处理,与(变换系数解码部 120的另一构成例1)中描述的同样,所以在此省略说明。
(变换系数编码部220的另一构成例2)
另外,在对象TU的尺寸为8×8像素的情况下,变换系数编码部220 所具备的系数有无标记编码部可采用:利用以下的式子来导出上下文索引ctxIdx,并分配给各频率分量的构成。
ctxIdx=N8+4×tbl[uiPosY]+tbl[uiPosX]
在此,tbl={0,1,1,2,2,3,3,3}。
此外,N8是频率区域的尺寸为8×8的情况下的上下文索引的开始点。
本构成例所涉及的系数有无标记编码部所执行的处理与(变换系数解 码部120的另一构成例2)中描述的同样,所以在此省略说明。
(运动图像解码装置3)
以下,关于作为本实施方式所涉及的运动图像解码装置的另一例的运 动图像解码装置3,参考图61~图73来进行说明。以下,对于与已经说 明过的部分相同的部分标注相同标号,并省略其说明。
运动图像解码装置3在图7的运动图像解码装置1中取代量化残差信 息解码部111而具备量化残差信息解码部Y111。
图61是表示运动图像解码装置3的量化残差信息解码部Y111的构 成的框图。如图61所示,量化残差信息解码部Y111具备变换系数解码 部Y120以及算术码解码部130。
如图61所示,变换系数解码部Y120具备:末尾系数位置解码部121、 扫描顺序表保存部122、系数解码控制部123、系数有无标记解码部Y124、 系数值解码部Y125、解码系数存储部126以及子块系数有无标记解码部 Y127。
(扫描顺序表保存部122)
扫描顺序表保存部122保存有:以处理对象的TU(块)的尺寸、表 示扫描方向的类别的扫描索引以及沿着扫描顺序而赋予的频率分量识别 索引为自变量,赋予处理对象的频率分量的频率区域中的位置的表。
另外,扫描顺序表保存部122还保存有用于指定子块的扫描顺序的子 块扫描顺序表。
(系数解码控制部123)
系数解码控制部123是用于对量化残差信息解码部Y111所具备的各 部分中的解码处理的顺序进行控制的构成。
(块尺寸为给定的尺寸以下的情况)
在块尺寸为给定的尺寸以下的情况下,系数解码控制部123参考从末 尾系数位置解码部121提供的语法last_significant_coeff_x以及 last_significant_coeff_y,确定沿着顺向扫描的最后的非0变换系数的位置, 并且按照以所确定的最后的非0变换系数的位置为起点的扫描顺、且由扫 描顺序表保存部122中保存的扫描顺序表赋予的扫描顺序的逆向扫描顺 序,将各频率分量的位置(xC,yC)提供给系数有无标记解码部Y124 以及解码系数存储部126。
另外,系数解码控制部123将作为表示处理对象的TU的尺寸、即对 象频率区域的尺寸的参数的sz提供给变换系数解码部120所具备的各部 分(省略图示)。在此,sz具体而言是表示处理对象TU的一边的像素数、 即对象频率区域的一边的频率分量的数目的参数。
此外,系数解码控制部123也可采用:按照由扫描顺序表保存部122 中保存的扫描顺序表赋予的扫描顺序的顺向扫描顺序,将各频率分量的位 置(xC,yC)提供给系数有无标记解码部的构成。
(块尺寸比给定的尺寸大的情况)
在块尺寸比给定的尺寸大的情况下,系数解码控制部123参考从末尾 系数位置解码部121提供的语法last_significant_coeff_x以及 last_significant_coeff_y,确定沿着顺向扫描的最后的非0变换系数的位置, 并按照以包含所确定的最后的非0变换系数的子块的位置为起点的扫描 顺序、且由扫描顺序表保存部122中保存的子块扫描顺序表赋予的扫描顺 序的逆向扫描顺序,将各子块的位置(xCG,yCG)提供给子块系数有无 标记解码部Y127。
另外,系数解码控制部123关于成为处理对象的子块,按照由扫描顺 序表保存部122中保存的扫描顺序表赋予的扫描顺序的逆向扫描顺序,将 该成为处理对象的子块所包含的各频率分量的位置(xC,yC)提供给系 数有无标记解码部Y124以及解码系数存储部126。在此,作为成为处理 对象的子块所包含的各频率分量的扫描顺序,具体而言,使用斜向扫描 (Up-right diagonal scan)即可。
(子块系数有无标记解码部Y127)
子块系数有无标记解码部Y127对从比特解码部132提供的各Bin进 行解释,对由各子块位置(xCG,yCG)指定的语法significant_coeffgroup_flag[xCG][yCG]进行解码。另外,子块系数有无标 记解码部Y127算出上下文索引ctxIdx,用于决定在算术码解码部130中 为了对语法significant_coeffgroup_flag[xCG][yCG]的Bin进行解码而使用 的上下文。算出的上下文索引ctxIdx被提供给上下文记录更新部131。在 此,语法significant_coeffgroup_flag[xCG][yCG],是在由子块位置(xCG, yCG)指定的子块中含有至少1个非0变换系数的情况下取1,在1个非 0变换系数都不包含的情况下取0的语法。解码出的语法significant_coeffgroup_flag[xCG][yCG]的值保存在解码系数存储部126中。
(系数有无标记解码部Y124)
本实施方式所涉及的系数有无标记解码部Y124对由各系数位置(xC, yC)指定的语法significant_coeff_flag[xC][yC]进行解码。解码出的语法 significant_coeff_flag[xC][yC]的值保存在解码系数存储部126中。另外, 量系数有无标记解码部Y124算出上下文索引ctxIdx,用于决定在算术码 解码部130中为了对语法significant_coeff_flag[xC][yC]的Bin进行解码而 使用的上下文。算出的上下文索引ctxIdx被提供给上下文记录更新部131。
(系数值解码部Y125)
系数值解码部Y125对从比特解码部132提供的各Bin进行解释,导 出处理对象的频率分量中的变换系数(更具体而言是非0变换系数)的值。 另外,各种语法的解码中使用的上下文索引ctxIdx被提供给上下文记录 更新部131。导出的变换系数的值保存在解码系数存储部126中。
(解码系数存储部126)
解码系数存储部126是用于预先存储由系数值解码部Y125解码出的 变换系数的各值的构成。另外,在解码系数存储部126中,存储由量系数 有无标记解码部Y124解码出的语法significant_coeff_flag的各值。由解 码系数存储部126存储的变换系数的各值被提供给逆量化和逆变换部13。
(现有技术的量化残差信息QD的构成)
图62、图63表示现有技术的量化残差信息QD的构成。图62以及 图63表示了现有技术的量化残差信息QD(在图62中表记为 residual_coding_cabac())所包含的各语法。
图62是表示对量化残差信息QD所包含的语法进行表示的语法表的 前半部分的图。图63是表示对量化残差信息QD所包含的语法进行表示 的语法表的后半部分的图。
如图62以及图63所示,量化残差信息QD包含语法 last_significant_coeff_x、last_significant_coeff_y、 significant_coeffgroup_flag、significant_coeff_flag、coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag、coeff_abs_level_minus3。
量化残差信息QD所包含的各语法通过上下文自适应二进制算术编 码(CABAC:(Context-based Adaptive Binary ArithmeticCoding))而被编 码。图62、图63的Descriptor栏的ae(e)意味着语法被以CABAC编码。
图63的Descriptor栏的bypass意味着该语法被以旁路编码。根据 H.264/MPEG-4.AVC的标准书,是否被以旁路编码,通过表示上下文 索引ctxIdx的分配的表为na来表示,但在此为了易于理解而记在语法表 上。在现有技术中,coeff_sign_flag、coeff_abs_level_minus3被以旁路编 码。另外,由于被以旁路编码的这2个语法连续,因此在该部分的解码处 理中可获得高的吞吐量。
(本实施方式的第1构成的量化残差信息QD)
图64~图66表示了本实施方式的第1构成的量化残差信息QD所包 含的各语法。
图64是表示对量化残差信息QD所包含的语法进行表示的语法表的 前半部分的图。在本构成中,根据表示是否进行CABAC处理的简化的标 记cabac_lowcomp_flag的值来切换编码数据的构成。在 cabac_lowcomp_flag=0的情况下,即不进行简化处理的情况下,使用图 65所示的residual_coding_cabac2_normal(),反之在cabac_lowcomp_flag =1的情况下,即进行简化处理的情况下,使用图66所示的 residual_coding_cabac2_comp()。图65、图66是表示对量化残差信息QD 所包含的语法进行表示的语法表的后半部分的图。
如图64~图66所示,量化残差信息QD包含语法 last_significant_coeff_x、last_significant_coeff_y、 significant_coeffgroup_flag、significant_coeff_flag、coeff_abs_level_greaterl_flag、coeff_sign_flag。另外,significant_coeff_flag、coeff_abs_level_greater1_flag、coeff_sign_flag被旁路编码。
不进行图64的前半部分以及图65所示的简化处理的情况下的语法构 成与图4、图5所示的现有技术的语法相同。
在进行图66的简化处理的情况下的语法中,表示变换系数的值的语 法significant_coeff_flag从非旁路变更为旁路。另外,表示变换系数的绝 对值的语法从significant_coeff_flag、coeff_abs_level_greaterl_flag、 coeff_abs_level_greater2_flag、coeff_abs_level_minus3这4个削减至 significant_coeff_flag、coeff_abs_level_minus1这2个。在以多个语法来表 现某个值的表现时,在解码处理中,基本上需要对于表现所需的语法的数 目的周期数。因此,若将表现所需的语法削减2个,则能够提高2周期以 上吞吐量。另外,significant_coeff_flag和coeff_abs_level_minus1均被以 旁路编码,能够进一步提高吞吐量。
在以上的构成中,表示了算术解码装置的如下构成的一例:针对按每 个单位区域对对象图像进行频率变换而按每个频率分量获得的各变换系 数,对通过对表示该变换系数的各种语法进行算术编码而获得的编码数据 进行解码,通过选择性地使用对M1个(M1为自然数)语法进行解码来 解码各变换系数的值的通常模式、以及对M2个(M2为满足M2<M1的 自然数)语法进行解码来解码各变换系数的值的简化模式,从而对各变换 系数的值进行解码。另外,后述的图68~图70的构成的简化构成也具备 这样的构成。
在以上的构成中,还表示了算术解码装置的具有下述特征的构成的一 例:针对按每个单位区域对对象图像进行频率变换而按每个频率分量获得 的各变换系数,对通过对表示该变换系数的各种语法进行算术编码而获得 的编码数据进行解码,上述语法解码机构在通常模式下针对上述M1个语 法而利用上下文进行解码,在简化模式下针对上述M2个语法而利用上下 文进行解码。另外,后述的图68~图70的构成的简化构成也具备这样的构成。
此外,如本数据结构所示,希望significant_coeffgroup_flag以非旁路 进行编码,即利用上下文进行编码。在子块的尺寸为4×4的情况下,significant_coeffgroup_flag相对于16个频率位置而仅存在1个,因此即使 利用上下文,吞吐量也不会下降。
另外,将进行上述简化处理的模式也称为简化模式,将不进行上述简 化处理的模式也称为通常模式。
(本实施方式的变换系数简化处理的判定)
对本编码数据进行解码的系数有无标记解码部Y124以及系数值解码 部Y125,能够根据简化标记cabac_lowcomp_flag的值来对通常处理和简 化处理进行切换。根据SPS、PPS、切片首部等所包含的上级层次简化标 记xps_cabac_lowcomp_flag的值、末尾位置来导出cabac_lowcomp_flag。 以下,说明简化标记cabac_lowcomp_flag的导出方法。
图72是表示简化标记cabac_lowcomp_flag导出处理的流程图。系数 解码控制部123在对各频率区域中的变换系数进行解码时,进行图72的 处理来导出cabac_lowcomp_flag。
首先,系数解码控制部123在各频率区域的每次解码中将简化标记 cabac_lowcomp_flag初始化为0(SX101)。
然后,系数解码控制部123判定上级层次简化标记 xps_cabac_lowcomp_flag是表示有效的1还是表示无效的0,在为有效的 情况下转移至SX103,此外的情况下结束判定处理(SX102)。
另外,系数解码控制部123判定last_significant_coeff_pos_x、 last_significant_coeff_pos_y所表示的末尾位置是否大于给定的值(SX103)。 在末尾位置大于给定的值的情况下,将简化标记cabac_lowcomp_flag设 定为表示有效的1(SX104)。
通过该处理,在末尾位置大于给定的位置的情况这样的产生较多变换 系数的情况下,能够利用具有高速吞吐量的简化处理,在此外的情况下能 够进行编码效率高的通常处理。由于能将简化处理仅限定在需要的情况下 进行,因此能够在确保吞吐量的同时实现高的编码效率。
图73是表示图72的S103所示的末尾位置是否大于给定的值的判定 的具体例的图,表示了(a)所示的处理和(b)所示的处理这2个处理。 在图73(a)的处理中,系数解码控制部123对last_significant_coeff_pos_x、 last_significant_coeff_pos_y之和与频率区域的宽度及高度的最大值的常 数倍(在此为a倍,向右移位2比特后的值)进行大小比较(SX103A)。 系数解码控制部123根据该判定,在末尾位置之和大的情况下,使简化标 记有效,在相反的情况下使简化标记无效即可。此外,例如,作为上述a 可使用3、4、5等值。例如在a为4的情况下,当末尾位置按扫描顺序的 顺序超过了约半数的位置时进行简化的动作。
图73(b)的处理在频率区域的宽度width和高度height为相同的情 况和为不同的情况下进行不同的判定。不同的情况例如对应于16×4变换、 16×4变换、32×8变换、8×32变换等。如图73(b)的流程图所示,系数 解码控制部123进行频率区域的宽度width和高度height是否相同的判定 (SX103B),在相同的情况下,对规定比较的阈值的a设定a1(SX103C), 在不同的情况下对a设定a2(在此为a2≤a1)(SX103D)。然后,对 last_significant_coeff_pos_x、last_significant_coeff_pos_y之和与频率区域 的宽度及高度的最大值的常数倍(在此为a倍,向右移位2比特后的值) 进行大小比较(SX103A)。这样,作为在判定中使用的阈值,在频率区域 的宽度width和高度height不同的情况下,与频率区域的宽度width和高 度height相同的情况相比使用相对小的值,由此能够基于末尾位置在扫描 顺序的顺序中整体上处于何种程度的比例的位置来进行判定。作为a1以 及a2,例如适合按照满足a2=a1/2的方式进行选择,适合为a1=4、a2 =2等。
(本实施方式所涉及的不进行简化的情况下的系数有无标记解码部 Y124以及系数值解码部Y125的处理)
以下,参考图65来说明不进行对本编码数据进行解码的系数值解码 部Y125的简化的情况下的处理。首先,系数值解码部Y125通过以子块 为单位的外部循环(LP_Y70)和对子块内的变换系数进行解码的内部循 环(LP_Y71~LP_Y75)的2重循环处理,来对变换系数进行解码。
系数有无标记解码部Y124对第1内部循环(LP_Y71)进行处理来 进行significant_coeff_flag的解码。具体而言,在使用子块系数有无标记 significant_coeffgroup_flag的情况下,即,在频率区域的宽度和高度的最 大值为16以上的情况下,参考significant_coeffgroup_flag,在 significant_coeffgroup_flag非0且为末尾位置以外的情况下,利用上下文 来对significant_coeff_flag进行解码(SYN_Y71)。其中,是否为末尾位 置的判定利用以下的式子。
(xC!=last_significant_coeff_x)||(yC!=last_significant_coeff_y))
反之,在不使用子块系数有无标记significant_coeffgroup_flag的情况 下,针对为末尾位置以外的情况使用上下文来对significant_coeff_flag进 行解码(SYN_Y72)。
系数值解码部Y125对第2至第5内部循环进行处理。
在第2内部循环(LP_Y72)中,针对significant_coeff_flag为0以 外的频率上的位置,利用上下文来进行coeff_abs_level_greater1_flag的解 码(SYN_Y73)。
在第3内部循环(LP_Y73)中,针对coeff_abs_level_greater1_flag 为0以外的频率上的位置,利用上下文来进行 coeff_abs_level_greater2_flag的解码(SYN_Y74)。
在第4内部循环(LP_Y74)中,针对significant_coeff_flag为0以 外的频率上的位置,通过旁路来进行coeff_sign_flag的解码(SYN_Y75)。
在第5内部循环(LP_Y75)中,针对coeff_abs_level_greater2_flag 为0以外的频率上的位置,通过旁路来进行coeff_abs_level_minus3的解 码(SYN_Y76)。进而,针对significant_coeff_flag为0以外的频率上的 位置,通过下面的式子来对变换系数的值进行解码。
(coeff_abs_level_minus3[n]+3)*(1?2*coeff_sign_flag[n])
通过以上的处理,变换系数的值被解码。
(本实施方式的第1简化构成的系数有无标记解码部Y124以及系数 值解码部Y125的处理)
下面,参考图66,说明进行对本编码数据进行解码的系数有无标记 解码部Y124以及系数值解码部Y125的简化的情况下的处理。
系数有无标记解码部Y124对第1内部循环(LP_Y81)进行处理, 来进行significant_coeff_flag的解码。具体而言,在利用子块系数有无标 记significant_coeffgroup_flag的情况下,即,在频率区域的宽度和高度的 最大值为16以上的情况下,参考significant_coeffgroup_flag,针对 significant_coeffgroup_flag非0且为末尾位置以外的情况,通过旁路来对significant_coeff_flag进行解码(SYN_Y81)。反之,在不利用子块系数 有无标记significant_coeffgroup_flag的情况下,针对为末尾位置以外的情况,通过旁路来对singniricant_coeff_flag进行解码(SYN_Y82)。
系数值解码部Y125对第2至第3内部循环进行处理。
在第2内部循环(LP_Y82)中,针对significant_coeff_flag为0以 外的频率上的位置,通过旁路来进行coeff_sign_flag的解码(SYN_Y83)。
在第3内部循环(LP_Y83)中,针对significant_coeff_flag为0以 外的频率上的位置,通过旁路来进行coeff_abs_level_minus1的解码(SYN _Y84)。进而,针对significant_coeff_flag为0以外的频率上的位置,通 过下面的式子来对变换系数的值进行解码。
(coeff_abs_level_minus1[n]+1)*(1?2*coeff_sign_flag[n])
在此,coeff_abs_level_minus1的二进制化利用哥伦布码、哈夫曼码 等即可。
若对无简化的处理和有简化的处理进行比较,则内部循环的次数从5 次减少至3次。由此,与进行多次的内部循环的情况相比,循环所需的处 理减少,因此吞吐量提高。
以上,根据第1构成的对编码数据以及本编码数据进行解码的量化残 差信息解码部,在进行简化的情况下,将表示变换系数的绝对值的语法以 1个语法coeff_abs_level_minus1来表现,将表示非0变换系数的有无的 标记significant_coeff_flag、正负号标记coeff_sign_flag、绝对值-1的值 coeff_abs_level_minus1全部通过旁路来进行编码/解码,由此能够进行 高吞吐量的处理。另外,在表示非0变换系数的有无的标记中,通过将significant_coeffgroup_flag设为非旁路,将significant_coeff_flag设为旁路, 由此能够在维持高的编码效率的情况下进行高的吞吐量的处理。
另外,相对于在利用CAVLC的二进制化的非专利文献2中使用游程 模式和层次模式这2个模式而言,在本实施方式的构成中能够以1个二进 制化来实现简化处理,因此具有处理的构成变得简单的效果。特别是,在 吞吐量成为课题的高比特率的区域中,变换系数为0的比例相对下降,因 此具有能够以层次模式实现与游程模式同样的编码效率的优点。在本构成 中,不利用对连续的0系数的数目进行编码的游程模式,仅利用对相当于 层次模式的值进行直接编码的模式,因此能够在确保编码效率的同时降低 装置构成的复杂度。在第1构成以外的以下构成中也能应用。
(本实施方式的第2简化构成的量化残差信息QD)
在本实施方式的第2简化构成中,取代图66而利用图67的语法构成。 图67表示了本实施方式的第2简化构成的量化残差信息QD所包含的各 语法。
在图66中significant_coeff_flag被旁路编码,但在本构成中使用上下 文。根据变换系数的位置,变换系数的值为0的概率非常大,因此在将表 示是否为非0系数的significant_coeff_flag全部设为旁路的图66的构成 中,有时编码效率的下降程度大。在本构成中仅对最重要的 significant_coeff_flag利用上下文,由此具有可获得比图66的构成高的编 码效率的效果。
(本实施方式的第2简化构成的系数有无标记解码部Y124以及系数 值解码部Y125的处理)
在本实施方式的第2简化构成中,由系数有无标记解码部Y124处理 的第1内部循环的处理不同。以下,说明图67所示的第1内部循环处理。
系数有无标记解码部Y124对第1内部循环(LP_Y91)进行处理, 来进行significant_coeff_flag的解码。具体而言,在利用子块系数有无标 记significant_coeffgroup_flag的情况下,即,在频率区域的宽度和高度的 最大值为16以上的情况下,参考significant_coeffgroup_flag,针对 significant_coffgroup_flag非0且为末尾位置以外的情况,利用上下文来 对significant_coeff_flag进行解码(SYN_Y91)。反之,在不利用子块系 数有无标记significant_coeffgroup_flag的情况下,针对为末尾位置以外的情况,利用上下文来对significant_coeff_flag进行解码(SYN_Y92)。
以上,根据第2构成的对编码数据以及本编码数据进行解码的量化残 差信息解码部,将表示变换系数的绝对值的语法以1个语法 coeff_abs_level_minus1来表现,对表示非0变换系数的有无的标记 significant_coeff_flag使用上下文,将正负号标记coeff_sign_flag、绝对值 -1的值coeff_abs_level_minus1通过旁路来进行编码/解码,由此能够进行高吞吐量的处理。另外,通过将作为表示非0变换系数的有无的标记 的significant_coeffgroup_flag和significant_coeff_flag设为非旁路,由此能 够在维持高的编码效率的情况下进行高的吞吐量的处理。
(本实施方式的第3简化构成的量化残差信息QD)
在本实施方式的第3简化构成中,取代图67而使用图68的语法构成。 图68表示了本实施方式的第3简化构成的量化残差信息QD所包含的各 语法。
(本实施方式的第3简化构成的系数有无标记解码部Y124以及系数 值解码部Y125的处理)
系数值解码部Y125的基本动作与第2构成相同,但在第2构成中, 在子块内的处理中,将正负号标记coeff_sign_flag、绝对值-1的值 coeff_abs_level_minus1在不同的内部循环中进行处理,而在第3构成中, 如以下所示那样将2个语法在一个内部循环中进行处理。
在第1内部循环(LP_Y101)中,进行significant_coeff_flag的解码。 具体而言,在利用子块系数有无标记significant_coeffgroup_flag的情况下, 即,在频率区域的宽度和高度的最大值为16以上的情况下,参考 significant_coeffgroup_flag,针对significant_coeffgroup_flag非0且为末尾 位置以外的情况,对significant_coeff_flag进行解码(SYN_Y101)。反 之,在不利用子块系数有无标记significant_coeffgroup_flag的情况下,针 对为末尾位置以外的情况,对significant_coeff_flag进行解码(SYN_Y102)。
在第2内部循环(LP_Y102)中,针对significant_coeff_flag为0以 外的频率上的位置,通过旁路来对coeff_sign_flag进行解码(SYN_Y103)。 进而,通过旁路来进行coeff_abs_level_minus1的解码(SYN_Y104)。进 而,针对significant_coeff_flag为0以外的频率上的位置,通过下面的式 子来对变换系数的值进行解码。
(coeff_abs_level_minus1[n]+1)*(1?2*coeff_sign_flag[n])
在此,coeff_abs_level_minus1的二进制化利用哥伦布码、哈夫曼码 等即可。
以上,根据第3构成的编码数据的处理,与第1处理、第2处理相比, 内部循环的次数从3次减少至2次。由此,与进行多次内部循环的情况相 比,循环所需的处理以及判定significant_coeff_flag是否为0以外的处理 减少,因此吞吐量提高。即,按照将作为旁路的语法的正负号标记 coeff_sign_flag、绝对值-1的值coeff_abs_level_minus1在一个循环中处 理的方式交织地进行编码,由此能够提高吞吐量。即,通过将在旁路中处 理的2个语法coeff_sign_flag、coeff_abs_level_minus1在1个循环内连续 配置,由此能够提高吞吐量。
(适应性地进行简化的系数有无标记解码部Y124的处理)
以下,说明更适应性地进行简化的系数值解码部Y124的处理。在图 72、图73中说明的简化标记cabac_lowcomp_flag的导出方法中,在对各 频率区域中的变换系数进行解码的最初的时间点参考末尾位置来设定了 是否进行简化,但在以下的处理中,在对各频率区域中的变换系数进行解 码的最初的时间点利用上下文来进行解码处理,将构成频率区域的频率分 量根据解码结果而从中途从利用了上下文的解码切换到基于旁路的解码。
更具体而言,系数有无标记解码部Y124在significant_coeff_flag中 导出表示是否利用上下文的标记significant_coeff_flag_mode,该标记的值 在significant_coeff_flag_mode为0的情况下,利用上下文来对 significant_coeff_flag进行解码,在significant_coeff_flag_mode为1的情 况下不利用上下文而通过旁路处理来对significant_coeff_flag进行解码。
以下,说明图67的构成以及图68的构成所对应的解码动作。
在图67的构成的情况下如下。系数有无标记解码部Y124对第1内 部循环(LP_Y91)进行处理来进行significant_coeff_flag的解码。具体 而言,在利用子块系数有无标记significant_coeffgroup_flag的情况下,即, 在频率区域的宽度和高度的最大值为16以上的情况下,参考 significant_coeffgroup_flag,针对significant_coeffgroup_flag非0且为末尾 位置以外的情况,对significant_coeff_flag进行解码(SYN_Y91)。反之, 在不利用子块系数有无标记significant_coeffgroup_flag的情况下,针对为 末尾位置以外的情况,对significant_coeff_flag进行解码(SYN_Y92)。 在图68的构成的情况下,成为将上述说明中的LP_Y91、SYN_Y91、 SYN_Y92替换为LP_Y101、SYN_Y101、SYN_Y102的动作。在适应性的简化的处理中,在SYN_Y91、SYN_Y92、SYN_Y101、SYN _Y102中,在significant_coeff_flag_mode为0的情况下利用上下文来对 significant_coeff_flag进行解码,在significant_coeff_flag_mode为1的情 况下通过旁路来对significant_coeff_flag进行解码。
以下,说明以下2个导出表示是否对非0系数的解码进行简化的标记significant_coeff_flag_mode的导出方法。
以下说明表示是否对非0系数的解码进行简化的标记 significant_coeff_flag_mode的导出方法的例子。在最初的子块的处理中将 significant_coeff_flag_mode设定为0。在最初的子块以外的处理中,使用 前一子块中设定的值。在对1个子块的significant_coeff_flag进行解码的 时间点,对子块内发生的非0系数的数目进行计数。在某子块内,所述计 数(significantcoeff_flage的数目)为给定的常数N个以上的情况下,将significant_coeff_flag_mode设定为1,对下一子块进行处理。在此外的情 况下,将前一子块的significant_coeff_flag_mode的值直接用作下一子块 的significant_coeff_flag_mode。
(本实施方式的第4、第5简化构成的量化残差信息QD)
在本实施方式的第4、第5简化构成中,分别使用图69、图70的语 法构成。在图69、图70中,表示了本实施方式的第4、第5简化构成的 量化残差信息QD所包含的各语法。
在第1~第3简化构成中,表示编码数据的值的语法 significant_coeff_flag、绝对值-1的值coeff_abs_level_minus1为2个,但 在第4、第5构成中特征在于,在末尾位置以外设为绝对值coeff_abs_level 的一个语法。此外,在第4、第5简化构成中,不进行significant_coeff_flag 的处理。因此,在第4、第5构成中,系数有无标记解码部Y124仅在通 常处理中使用,在简化处理时不使用系数有无标记解码部Y124。
(本实施方式的第4简化构成的系数值解码部Y125的处理)
系数值解码部Y125进行第1内部循环、第2内部循环的处理。
系数值解码部Y125在第1内部循环(LP_Y111)中,进行 coeff_abs_level_minus1以及coeff_abs_level的解码。具体而言,在对象变 换系数的位置为末尾位置的情况下,通过旁路处理来对 coeff_abs_level_minus1进行解码,通过coeff_abs_level=coeff_abs_level_minus1+1来导出coeff_abs_level(SYN_Y111)。此外进 行以下的处理。在利用子块系数有无标记significant_coeffgroup_flag的情 况下,即,在频率区域的宽度和高度的最大值为16以上的情况下,参考 significant_coeffgroup_flag,针对significant_coeffgroup_flag非0的情况, 通过旁路处理来对coeff_abs_level进行解码(SYN_Y112)。反之,在不 利用子块系数有无标记significant_coeffgroup_flag的情况下,通过旁路处理来对coeff_abs_level进行解码(SYN_Y113)。
系数值解码部Y125在第2内部循环(LP_Y112)中,针对 coeff_abs_level为0以外的频率上的位置,通过旁路来对coeff_sign_flag 进行解码(SYN_Y114)。进而,针对coeff_abs_level为0以外的频率上 的位置,通过下面的式子来对变换系数的值进行解码。
(coeff_abs_level[n])*(1?2*coeff_sign_flag[n])
以上,根据第4构成的对编码数据以及本编码数据进行解码的量化残 差信息解码部,将作为变换系数的绝对值的coeff_abs_level以及作为变换 系数的绝对值-1的coeff_abs_level_minus1以旁路进行编码,由此提高 解码处理的吞吐量。在表示非0变换系数的有无的标记中,将 significant_coeffgroup_flag设为非旁路,将significant_coeff_flag设为旁路, 由此能够在维持高的编码效率的情况下进行高的吞吐量的处理。
(本实施方式的第5简化构成的系数值解码部Y125的处理)
系数值解码部Y125进行第1内部循环、第2内部循环的处理。
系数值解码部Y125在第1内部循环(LP_Y121)中,进行 coeff_abs_level的解码。在第4简化构成中,通过旁路处理对 coeff_abs_level以及coeff_abs_level_minus1进行了解码,但在第5简化构 成中,针对coeff_abs_level的起始比特,利用上下文来进行解码,针对 coeff_abs_level的起始比特之后的比特,通过旁路来进行解码。此外, coeff_abs_level_minus1可以全部通过旁路来进行解码,也可仅对起始比 特利用上下文。
图71是用于说明仅将coeff_abs_level的起始比特设为旁路的值的二 进制构成的图。如图71所示,系数值解码部Y125在对变换系数的值进 行二进制化后的起始比特中利用上下文。在此,更具体而言是coeff_abs_level的起始比特相当于significant_coeff_flag,因此上下文索引 的导出方法可使用已经说明过的各种方法。
此外,coeff_abs_level的起始比特无需始终利用上下文来进行解码。 更具体而言,在系数值解码部Y125中,通过已经说明的处理来导出 significant_coeff_flag_mode,可以按照在significant_coeff_flag_mode的值 为0的情况下利用上下文来进行解码、在值为1的情况下以旁路来进行解 码的方式进行切换。
以上,根据第5构成的对编码数据以及本编码数据进行解码的量化残 差信息解码部,对作为变换系数的绝对值的coeff_abs_level的起始比特利 用上下文,由此能够同时实现高的吞吐量和高的编码效率。
(运动图像编码装置4)
以下,关于作为本实施方式所涉及的另一运动图像编码装置的运动图 像编码装置4,参考图74来进行说明。以下,对于与已经说明过的部分 相同的部分标注相同标号,并省略其说明。
运动图像编码装置4在运动图像编码装置1中取代量化残差信息编码 部271而使用量化残差信息编码部Y271。
(量化残差信息编码部Y271)
图74是表示量化残差信息编码部Y271的构成的框图。如图74所示, 量化残差信息编码部Y271具备变换系数编码部Y220以及算术码编码部 230。
(变换系数编码部Y220)
如图74所示,变换系数编码部Y220具备:末尾位置编码部221、扫 描顺序表保存部222、系数编码控制部223、系数有无标记编码部Y224、 系数值编码部Y225、编码系数存储部226、子块系数有无标记Y227以及 语法导出部Y228。
(语法导出部Y228)
语法导出部Y228参考变换系数Coeff(xC,yC)的各值,来导出用 于确定对象频率区域中的这些变换系数的语法last_significant_coeff_x、 last_significant_coeff_y、significant_coeff_flag、 coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、coeff_sign_flag以及coeff_abs_level_minus3的各值。导出的各语法被提供 给编码系数存储部226。另外,导出的语法中的last_significant_coeff_x、 last_significant_coeff_y还被提供给系数编码控制部223以及末尾位置编 码部221。另外,导出的语法中的significant_coeff_flag还被提供给系数 有无标记编码部Y224。此外,关于各语法所示的内容如上所述,所以在 此省略说明。
(扫描顺序表保存部222)
扫描顺序表保存部222保存有:以处理对象的TU(块)的尺寸、表 示扫描方向的类别的扫描索引以及沿着扫描顺序而赋予的频率分量识别 索引为自变量,赋予处理对象的频率分量在频率区域中的位置的表。作为 这样的扫描顺序表的一例,可列举图4以及图5所示的ScanOrder。
另外,扫描顺序表保存部222中保存有用于对子块的扫描顺序进行指 定的子块扫描顺序表。在此,子块扫描顺序表由与处理对象的TU(块) 的尺寸和帧内预测模式的预测模式索引建立了关联的扫描索引scanIndex 来指定。
(系数编码控制部223)
系数编码控制部223是用于对量化残差信息编码部Y271所具备的各 部中的编码处理的顺序进行控制的构成。
(块尺寸为给定的尺寸以下的情况)
在块尺寸为给定的尺寸以下(例如4×4分量,8×8分量等)的情况下, 系数编码控制部223参考从语法导出部228提供的语法 last_significant_coeff_x以及last_significant_coeff_y,确定沿着顺向扫描的 最后的非0变换系数的位置,并且,按照以所确定的最后的非0变换系数 的位置为起点的扫描顺序、即由扫描顺序表保存部222中保存的扫描顺序 表赋予的扫描顺序的逆向扫描顺序,将各频率分量的位置(xC,yC)提 供给系数有无标记编码部。
另外,系数编码控制部223将作为表示处理对象的TU的尺寸、即对 象频率区域的尺寸的参数的sz提供给变换系数编码部Y220所具备的各 部分(省略图示)。在此,sz具体而言是表示处理对象TU的一边的像素 数、即对象频率区域的一边的频率分量的数目的参数。
此外,系数编码控制部223也可采用:按照由扫描顺序表保存部222 中保存的扫描顺序表赋予的扫描顺序的顺向扫描顺序,将各频率分量的位 置(xC,yC)提供给系数有无标记编码部Y224的构成。
(块尺寸比给定的尺寸大的情况)
在块尺寸比给定的尺寸大的情况下,系数编码控制部223参考从语法 导出部Y228提供的语法last_significant_coeff_x以及 last_significant_coeff_y,确定沿着顺向扫描的最后的非0变换系数的位置, 并且,按照以包含所确定的最后的非0变换系数的子块的位置为起点的扫 描顺序、即由扫描顺序表保存部222中保存的子块扫描顺序表所赋予的扫 描顺序的逆向扫描顺序,将各子块的位置(xCG,yCG)提供给子块系数 有无标记编码部Y227。
另外,系数编码控制部223关于成为处理对象的子块,按照由扫描顺 序表保存部222中保存的扫描顺序表赋予的扫描顺序的逆向扫描顺序,将 该成为处理对象的子块所包含的各频率分量的位置(xC,yC)提供给系 数有无标记编码部Y224。在此,作为成为处理对象的子块所包含的各频 率分量的扫描顺序,具体而言,使用斜向扫描(Up-right diagonalscan) 即可。
这样,系数编码控制部223是按每个帧内预测模式对扫描顺序进行切 换的构成。一般,帧内预测模式和变换系数的偏重彼此具有相关,因此通 过根据根据帧内预测模式来切换扫描顺序,能够进行与子块系数有无标记 的偏重相适合的子块扫描。由此,能够削减成为编码以及解码对象的子块 系数有无标记的码量,编码效率提高。
(系数值编码部Y225)
在系数值编码部Y225中,进行通常处理时和进行简化处理时处理不 同。在进行通常处理的情况下,生成表示从语法导出部Y228提供的语法 coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、 coeff_sign_flag以及coeff_abs_level_minus3的Bin。如在运动图像解码装 置3中说明的那样,在进行简化处理的情况下,在第1~第3简化构成中, 生成表示coeff_sign_flag以及coeff_abs_level_minus1的Bin。在第4~第 5简化构成中,生成表示coeff_sign_flag以及coeff_abs_level_minus1、coeff abs level的Bin。
另外,将所生成的各Bin提供给比特编码部232。另外,将指定为了 对这些语法的Bin进行编码而参考的上下文的上下文索引ctxIdx提供给上 下文记录更新部231。此外,在进行简化处理的情况下,省略上下文索引 的导出。
(系数有无标记编码部Y224)
本实施方式所涉及的系数有无标记编码部Y224对由各位置(xC,yC) 指定的语法significant_coeff_flag[xC][yC]进行编码。更具体而言,生成表 示由各位置(xC,yC)指定的语法significant_coeff_flag[xC][yC]的Bin。 生成的各Bin被提供给比特编码部232。另外,系数有无标记编码部224 算出上下文索引ctxIdx,用于决定在算术码编码部230中为了对语法 significant_coeff_flag[xC][yC]的Bin进行编码而使用的上下文。算出的上 下文索引ctxIdx被提供给上下文记录更新部231。
但是,如在运动图像解码装置3中说明的那样,在第1简化构成~第 3简化构成中,在通常处理中导出significant_coeff_flag的上下文索引, 而在简化处理中使用旁路的情况下不进行上下文索引的导出。
图75是表示系数有无标记编码部Y224的构成的框图。如图75所示, 系数有无标记编码部Y224具备:频率分类部224a、位置上下文导出部 224b、周边参考上下文导出部224c、系数有无标记存储部224d以及系数 有无标记设定部224e。
频率分类部224a、周边参考上下文导出部224c、系数有无标记存储 部224d所执行的具体处理与运动图像解码装置3所具备的机构同样,所 以在此省略说明。
(系数有无标记设定部224e)
系数有无标记设定部224e生成表示从语法导出部Y228提供的语法 significant_coeff_flag[xC][yC]的Bin。生成的Bin被提供给比特编码部232。 另外,系数有无标记设定部224e参考对象子块所包含的 significant_coeff_flag[xC][yC]的值,在对象子块所包含的所有 significant_coeff_flag[xC][yC]为0的情况下,即,在该对象子块中不包含 非0变换系数的情况下,将与该对象子块相关的significant_coeffgroup_flag[xCG][yCG]的值设定为0,在此外的情况下, 将与该对象子块相关的significant_coeffgroup_flag[xCG][yCG]的值设定为 1。这样赋予了值的significant_coeffgroup_flag[xCG][yCG]被提供给子块 系数有无标记编码部Y227。
根据以上的构成,在进行简化处理的情况下,能够省略上下文导出处 理以及上下文的更新处理,因此能够提高吞吐量。另外,相对于在利用 CAVLC的二进制化的非专利文献2中使用游程模式和层次模式这2个模 式而言,在本实施方式的构成中能够以1个二进制化来实现简化处理,因 此具有处理的构成变得简单的效果。特别是,在吞吐量成为课题的高比特 率的区域中,变换系数为0的比例相对下降,因此具有能够以层次模式实 现与游程模式同样的编码效率的优点。在本构成中,不利用对连续的0 系数的数目进行编码的游程模式,仅利用对相当于层次模式的值进行直接 编码的模式,因此能够在确保编码效率的同时降低装置构成的复杂度。
(附记事项1)
上述的运动图像编码装置2以及运动图像解码装置1能够搭载于进行 运动图像的发送、接收、记录、再现的各种装置中加以利用。此外,运动 图像可以是由照相机等拍摄的自然运动图像,也可以是由计算机等生成的 人工运动图像(包含CG以及GUI)。
首先,参考图29来说明能够将上述的运动图像编码装置2以及运动 图像解码装置1用于运动图像的发送以及接收的情况。
图29的(a)是表示了搭载有运动图像编码装置2的发送装置PROD A的构成的框图。如图29的(a)所示,发送装置PROD_A具备:通 过对运动图像进行编码来获得编码数据的编码部PROD_A1;通过以编 码部PROD_A1所获得的编码数据对载波进行调制来获得调制信号的调 制部PROD_A2;以及对调制部PROD_A2所获得的调制信号进行发送 的发送部PROD_A3。上述的运动图像编码装置2被用作该编码部PROD _A1。
在发送装置PROD_A中,作为输入到编码部PROD_A1的运动图 像的提供源,还可具备:拍摄运动图像的照相机PROD_A4;记录有运 动图像的记录介质PROD_A5;用于从外部输入运动图像的输入端子PROD_A6以及对图像进行生成或加工的图像处理部A7。在图29的(a)中,例示了发送装置PROD_A具备这些部件的全部的构成,但也可省略 一部分部件。
此外,记录介质PROD_A5可以是记录有未编码的运动图像的介质, 也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行了 编码的运动图像。在后者的情况下,在记录介质PROD_A5与编码部 PROD_A1之间,设有将从记录介质PROD_A5读出的编码数据按照记 录用的编码方式进行解码的解码部(未图示)即可。
图29的(b)是表示了搭载有运动图像解码装置1的接收装置PROD _B的构成的框图。如图29的(b)所示,接收装置PROD_B具备:接 收调制信号的接收部PROD_B1;通过对接收部PROD_B1所接收到的 调制信号进行解调而获得编码数据的解调部PROD_B2;以及通过对解 调部PROD_B2所得到的编码数据进行解码来获得运动图像的解码部 PROD_B3。上述的运动图像解码装置1被用作该解码部PROD_B3。
在接收装置PROD_B中,作为解码部PROD_B3所输出的运动图 像的提供目的地,还可具备:对运动图像进行显示的显示器PROD_B4; 用于对运动图像进行记录的记录介质PROD_B5以及用于将运动图像输 出到外部的输出端子PROD_B6。在图29的(b)中,例示了接收装置 PROD_B具备这些部件的全部的构成,但也可省略一部分部件。
此外,记录介质PROD_B5可以是用于记录未编码的运动图像的介 质,也可以记录以与传输用的编码方式不同的记录用的编码方式进行了编 码后的结果的介质。在后者的情况下,在解码部PROD_B3与记录介质 PROD_B5之间,设置将从解码部PROD_B3取得的运动图像按记录用 的编码方式进行编码的编码部(未图示)即可。
此外,对调制信号进行传输的传输介质既可以是无线的也可以是有线 的。另外,对调制信号进行传输的传输方式可以是广播(在此指没有预先 确定发送目的地的发送方式),也可以是通信(在此指预先确定了发送目 的地的发送方式)。即,调制信号的传输可通过无线广播、有线广播、无 线通信以及有线通信的任一种来实现。
例如,地面数字广播的广播站(广播设备等)/接收站(电视接收机 等)是以无线广播来收发调制信号的发送装置PROD_A/接收装置 PROD_B的一例。另外,有线电视广播的广播站(广播设备等)/接收 站(电视接收机等)是以有线广播来收发调制信号的发送装置PROD_A /接收装置PROD_B的一例。
另外,利用了网络的VOD(Video On Demand)服务、运动图像共享 服务等的服务器(工作站等)/客户机(电视接收机,个人计算机,智能 手机等),是以通信来收发调制信号的发送装置PROD_A/接收装置 PROD_B的一例(通常,在LAN中作为传输介质而使用无线或者有线 的任一种,在WAN中作为传输介质而使用有线)。在此,个人计算机包 含桌上型PC、膝上型PC以及平板型PC。另外,智能手机也包括多功能 移动电话终端。
此外,运动图像共享服务的客户机除了将从服务器下载的编码数据解 码后显示在显示器上的功能之外,还具有对由照相机拍摄的运动图像进行 编码后上传到服务器的功能。即,运动图像共享服务的客户机作为发送装 置PROD_A以及接收装置PROD_B的双方而发挥功能。
下面,参考图30来说明能够将上述运动图像编码装置2以及运动图 像解码装置1在运动图像的记录以及再现中加以利用的情况。
图30的(a)是表示了搭载有上述运动图像编码装置2的记录装置 PROD_C的构成的框图。如图30的(a)所示,记录装置PROD_C具 备:通过对运动图像进行编码来获得编码数据的编码部PROD_C1;和 将编码部PROD_C1所获得的编码数据写入到记录介质PROD_M的写 入部PROD_C2。上述运动图像编码装置2被用作该编码部PROD_C1。
此外,记录介质PROD_M可以是:(1)如HDD(Hard Disk Drive)、 SSD(Solid StateDrive)等那样内置于记录装置PROD_C的类型的介质, (2)SD存储器卡、USB(UniversalSerial Bus)快速存储器等那样与记录 装置PROD_C连接的类型的介质,(3)如DVD(Digital Versatile Disc)、 BD(Blu-ray Disc:注册商标)等那样装入内置于记录装置PROD_C的驱 动装置(未图示)中的介质。
另外,记录装置PROD_C作为向编码部PROD_C1输入的运动图 像的提供源,还可具备:拍摄运动图像的照相机PROD_C3;用于从外 部输入运动图像的输入端子PROD_C4;用于接收运动图像的接收部 PROD_C5以及对图像进行生成或加工的图像处理部C6。在图30的(a) 中,例示了记录装置PROD_C具备这些部件的全部的构成,但也可省略 一部分部件。
此外,接收部PROD_C5可以接收未编码的运动图像,也可接收以 与记录用的编码方式不同的传输用的编码方式进行了编码的编码数据。在 后者的情况下,在接收部PROD_C5与编码部PROD_C1之间,设置对 以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图 示)即可。
作为这样的记录装置PROD_C,例如可列举DVD记录器、BD记录 器、HDD(Hard DiskDrive)记录器等(该情况下,输入端子PROD_C4 或者接收部PROD_C5成为运动图像的主要提供源)。另外,可携式摄像 机(该情况下,照相机PROD_C3成为运动图像的主要的提供源)、个人 计算机(该情况下,接收部PROD_C5或者图像处理部C6成为运动图像 的主要提供源)、智能手机(该情况下,照相机PROD_C3或者接收部 PROD_C5成为运动图像的主要的提供源)等,也是这样的记录装置 PROD_C的一例。
图30的(b)是表示了搭载有上述运动图像解码装置1的再现装置 PROD_D的构成的框图。如图30的(b)所示,再现装置PROD_D具 备:将写入到记录介质PROD_M中的编码数据读出的读出部PROD_ D1;以及通过对读出部PROD_D1所读出的编码数据进行解码来获得运 动图像的解码部PROD_D2。上述运动图像解码装置1被用作该解码部 PROD_D2。
此外,记录介质PROD_M可以是:(1)如HDD、SSD等那样内置 于再现装置PROD_D的类型的介质,(2)SD存储器卡、USB快速存储 器等那样与再现装置PROD_D连接的类型的介质,(3)如DVD、BD等 那样装入内置于再现装置PROD_D的驱动装置(未图示)的介质。
另外,再现装置PROD_D作为解码部PROD_D2所输出的运动图 像的提供目的地,还可具备:对运动图像进行显示的显示器PROD_D3; 用于将运动图像输出到外部的输出端子PROD_D4以及对运动图像进行 发送的发送部PROD_D5。在图30的(b)中,例示了再现装置PROD _D具备这些部件的全部的构成,但也可省略一部分部件。
此外,发送部PROD_D5可以发送未编码的运动图像,也可发送以 与记录用的编码方式不同的传输用的编码方式进行了编码的编码数据。在 后者的情况下,在解码部PROD_D2与发送部PROD_D5之间设置对运 动图像以传输用的编码方式进行编码的编码部(未图示)即可。
作为这样的再现装置PROD_D,例如可列举DVD播放器、BD播放 器、HDD播放器等(该情况下,电视接收机等连接的输出端子PROD_ D4成为运动图像的主要的提供目的地)。另外,电视接收机(该情况下, 显示器PROD_D3成为运动图像的主要的提供目的地),数字标牌(也称 为电子广告牌、电子布告栏等,显示器PROD_D3或者发送部PROD_ D5成为运动图像的主要的提供目的地),桌上型PC(该情况下,输出端 子PROD_D4或者发送部PROD_D5成为运动图像的主要的提供目的 地),膝上型或者平板型PC(该情况下,显示器PROD_D3或者发送部PROD_D5成为运动图像的主要的提供目的地),智能手机(该情况下, 显示器PROD_D3或者发送部PROD_D5成为运动图像的主要的提供目 的地)等,也是这样的再现装置PROD_D的一例。
(附记事项2)
上述运动图像解码装置1以及运动图像编码装置2的各模块可通过集 成电路(IC芯片)上形成的逻辑电路来以硬件方式实现,也可利用CPU (Central Processing Unit)来以软件方式实现。
在后者的情况下,上述各装置具备:执行用于实现各功能的程序的命 令的CPU;保存上述程序的ROM(Read Only Memory);将上述程序展 开的RAM(Random Access Memory);保存上述程序以及各种数据的存 储器等的存储装置(记录介质)等。并且,本发明的目的也可通过下述方 式来实现:将以计算机可读取的方式记录有作为用于实现上述功能的软件的上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源 程序)的记录介质,提供给上述各装置,该计算机(或CPU、MPU)将 记录介质中记录的程序代码读出并加以执行。
作为上述记录介质,例如可使用:磁带、盒式磁带等带类,包括软盘(注册商标)/硬盘等磁盘、CD-ROM/MO/MD/DVD/CD-R等 光盘的盘类,IC卡(包括存储器卡)/光卡等的卡类,掩模ROM/EPROM /EEPROM/快速ROM等半导体存储器类,或者PLD(Programmable logicdevice)、FPGA(Field Programmable Gate Array)等逻辑电路类等。
另外,也可将上述各装置构成为能够与通信网络连接,经由通信网络 来提供上述程序代码。该通信网络只要能够传输程序代码即可,并不特别 限定。例如,可利用因特网、内联网、外联网、LAN、ISDN、VAN、CATV 通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动体通 信网、卫星通信网等。另外,构成该通信网络的传输介质也是只要能够传 输程序代码即可,并不限定于特定的构成或种类。例如,可使用IEEE1394、 USB、电力线传输、有线TV线路、电话线、ADSL(Asymmetric Digital Subscriber Line)线路等的有线介质,也可使用如IrDA、遥控器的红外线、 Bluetooth(注册商标)、IEEE802.11无线、HDR(HighData Rate)、NFC (Near Field Communication)、DLNA(Digital Living NetworkAlliance)、 移动电话网、卫星线路地面波数字网等的无线介质。
<本说明书中记载的发明(A)>
本说明书中至少记载了以下的发明。
A1.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据 是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对 表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多 个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索 引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0 的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由 对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解 码,
上述上下文索引导出机构,将对属于上述多个部分区域当中高频侧的 部分区域的各变换系数有无标记分配的上下文索引,基于对象频率区域中 的该变换系数有无标记的位置来导出。
A2.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据 是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对 表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多 个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索 引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0 的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由 对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解 码,
上述上下文索引导出机构,将对各变换系数有无标记分配的上下文索 引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考 区域所包含的解码完毕的非0变换系数的数目来导出,
上述多个部分区域中的高频侧的部分区域中设定的上述参考区域小 于低频侧的部分区域中设定的上述参考区域。
A3.
在A2.所述的算术解码装置中,其特征在于,
上述上下文索引导出机构通过将按每个上述部分区域确定的给定的 开始点与按每个上述部分区域确定的变量相加来导出上下文索引,通过针 对上述变量的导出方法不同的多个部分区域将开始点设定为相同值,在上 下文索引的导出方法不同的该多个部分区域中使用公共的上下文。
A4.
在A1.至A3.的任一项所述的算术解码装置中,其特征在于,
上述分割机构将上述对象频率区域根据处理对象的变换系数有无标 记的位置而至少分类为3个部分区域,上述上下文索引导出机构在第1 部分区域中,参考N1个(N1为自然数)解码完毕的非0变换系数,在 第2部分区域中,参考N2个(N2为满足N2<N1的自然数)解码完毕 的非0变换系数,由此导出上下文索引,在第3部分区域中,根据变换系 数有无标记的位置来导出上下文索引。
A5.
在A2.所述的算术解码装置中,其特征在于,
上述上下文索引导出机构将对上述多个部分区域当中高频侧的部分 区域中的沿着当前扫描列的各变换系数有无标记分配的上下文索引,还基 于沿着前扫描列的非0变换系数的数目来导出。
A6.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据 是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对 表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多 个部分区域;
上下文索引导出机构,其将对各变换系数有无标记分配的上下文索引 沿着各扫描列来依次导出,各变换系数有无标记是表示属于各部分区域的 各变换系数是否为0的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由 对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解 码,
上述上下文索引导出机构,将对上述多个部分区域当中高频侧的部分 区域中的沿着当前扫描列的各变换系数有无标记分配的上下文索引,基于 沿着前扫描列的非0变换系数的数目来导出。
A7.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据 是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对 表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多 个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索 引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0 的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由 对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解 码,
上述上下文索引导出机构,将对各变换系数有无标记分配的上下文索 引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考 区域所包含的解码完毕的非0变换系数的数目来导出,
上述参考区域所包含的解码完毕的变换系数的数目为4以下。
A8.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据 是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对 表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多 个部分区域;
上下文索引分配机构,其对各部分区域分配彼此不同的上下文索引; 和
语法解码机构,其将作为表示属于各部分区域的各变换系数是否为0 的语法的各变换系数有无标记,基于由对该变换系数有无标记所属的部分 区域分配的上下文索引指定的概率状态来进行算术解码,
上述多个部分区域中的低频侧的部分区域比高频侧的部分区域小。
A9.
在A1.所述的算术解码装置中,其特征在于,
上述分割机构根据表示变换系数有无标记的X坐标与Y坐标之和的 SUM,将上述对象频率区域分割为多个部分区域,上述分割机构根据上 述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值TH2的大 小关系,将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧 的部分区域,第1阈值TH2为sz以上。
A10.
在A2.所述的算术解码装置中,其特征在于,
上述分割机构根据表示变换系数有无标记的X坐标与Y坐标之和的 SUM,将上述对象频率区域分割为多个部分区域,上述分割机构根据上 述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值TH2的大 小关系,将上述对象频率区域至少分割为上述低频侧的部分区域和上述高 频侧的部分区域,第1阈值TH2为sz-2以下。
A11.
在A4.所述的算术解码装置中,其特征在于,
上述分割机构根据表示变换系数有无标记的X坐标与Y坐标之和的 SUM,将上述对象频率区域分割为多个部分区域,上述分割机构根据上 述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值TH2的大 小关系,将上述对象频率区域分割为上述第1部分区域和上述第2部分区 域,根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第2阈值 TH3的大小关系,将上述对象频率区域分割为上述第2部分区域和上述 第3部分区域,上述第1阈值TH2为sz-2以下,上述第2阈值TH3为 sz以上。
A12.
一种图像解码装置,其特征在于,具备:
A1.至A11.的任一项所述的算术解码装置;
逆频率变换机构,其通过对由上述算术解码装置解码出的变换系数进 行逆频率变换来生成残差图像;和
解码图像生成机构,其通过将由上述逆频率变换机构生成的残差图像 与根据已生成的解码图像来预测出的预测图像相加而生成解码图像。
A13.
一种算术编码装置,其特征在于,针对将对象图像按每个单位区域进 行频率变换而得到的各变换系数,通过对表示该变换系数的各种语法进行 算术编码来生成编码数据,
上述算术编码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多 个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索 引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0 的语法;和
语法编码机构,其将属于各部分区域的各变换系数有无标记,基于由 对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术编 码,
上述上下文索引导出机构,将对属于上述多个部分区域当中高频侧的 部分区域的各变换系数有无标记分配的上下文索引,基于对象频率区域中 的该变换系数有无标记的位置来导出。
A14.
一种图像编码装置,其特征在于,具备:
变换系数生成机构,其通过将编码对象图像与预测图像的残差图像按 每个单位区域进行频率变换来生成变换系数;和
A13.所述的算术编码装置,
上述算术编码装置通过对表示由上述变换系数生成机构生成的变换 系数的各种语法进行算术编码来生成编码数据。
A15.
一种编码数据的数据结构,其特征在于,该编码数据是针对将对象图 像按每个单位区域进行频率变换而得到的各变换系数,通过对表示该变换 系数的各种语法进行算术编码而得到的,
上述编码数据的数据结构包含:表示是否对与各单位区域对应的各对 象频率区域中的高频侧的变换系数进行解码的限制标记,
在上述限制标记表示了不对高频侧的变换系数进行解码的情况下,用 于对上述编码数据进行解码的算术解码装置不对该高频侧的变换系数进 行解码。
<本说明书中记载的发明(B)>
另外,本说明书中至少记载了以下的发明。
B1.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据 是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量 得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到 的,
上述算术解码装置具备:
子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割 为给定尺寸的子块;
子块系数有无标记解码机构,其针对由上述子块分割机构分割后的各 子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标 记进行解码;
分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来 将对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索 引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0 的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由 对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解 码,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中 至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧 的部分区域的情况下,上述上下文索引导出机构基于对象频率区域中的该 对象子块的位置来导出对属于该对象子块的各变换系数有无标记分配的 上下文索引,在针对对象子块而解码出的子块系数有无标记表示了该对象 子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处 理。
B2.
在B1.所述的算术解码装置中,其特征在于,
上述分割机构根据变换系数有无标记所属的子块的X坐标以及Y坐 标之和、与基于上述对象频率区域的尺寸而确定的阈值THA的大小关系, 将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧的部分 区域,
在设沿着上述对象频率区域的各边的频率分量的数目为sz时,上述 阈值THA具有sz/16以上的值。
B3.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据 是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量 得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得 到的,
上述算术解码装置具备:
子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割 为给定尺寸的子块;
子块系数有无标记解码机构,其针对由上述子块分割机构分割后的各 子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标 记进行解码;
分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来 将对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索 引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0 的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由 对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解 码,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中 至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧 以及低频侧的某一个部分区域的情况下,上述上下文索引导出机构将对属 于该对象子块的各变换系数有无标记分配的上下文索引,根据基于对象频 率区域中的该变换系数有无标记所属的子块的位置而选择出的高频侧用 的参考区域以及低频侧用的参考区域的某一个参考区域、且在对象频率区 域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完 毕的非0变换系数的数目来导出,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中 不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每 一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
B4.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据 是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量 得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得 到的,
上述算术解码装置具备:
子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割 为给定尺寸的子块;
子块系数有无标记解码机构,其针对由上述子块分割机构分割后的各 子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标 记进行解码;
分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来 讲对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索 引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0 的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由 对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解 码,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中 至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧 的部分区域的情况下,上述上下文索引导出机构将对属于该对象子块的各 变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系 数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系 数、且去除按处理顺序而在该变换系数有无标记的近前方被解码出的非0变换系数的非0变换系数的数目来导出,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中 不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每 一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
B5.
在B3.或B4.所述的算术解码装置中,其特征在于,
上述分割机构将上述对象频率区域至少分割为3个部分区域,上述上 下文索引导出机构在第1部分区域中参考N1个(N1为自然数)解码完 毕的非0变换系数,在第2部分区域中参考N2个(N2为满足N2<N1 的自然数)解码完毕的非0变换系数,由此来导出上下文索引,在第3 部分区域中,根据变换系数有无标记的位置来导出上下文索引。
B6.
在B3.所述的算术解码装置中,其特征在于,
上述分割机构根据变换系数有无标记所属的子块的X坐标以及Y坐 标之和、与基于上述对象频率区域的尺寸而确定的阈值THB的大小关系, 将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧的部分 区域,
在设沿着上述对象频率区域的各边的频率分量的数目为sz时,上述 阈值THB具有sz/4以下的值。
B7.
在B5.所述的算术解码装置中,其特征在于,
上述分割机构根据变换系数有无标记所属的子块的X坐标以及Y坐 标之和、与基于上述对象频率区域的尺寸而确定的阈值THB的大小关系, 将上述对象频率区域分割为上述第1部分区域和上述第2部分区域,并且 根据变换系数有无标记所属的子块的X坐标以及Y坐标之和、与根据上 述对象频率区域的尺寸而确定的阈值THC的大小关系,将上述对象频率 区域分割为上述第2部分区域和上述第3部分区域,
在设沿着上述对象频率区域的各边的频率分量的数目为sz时,上述 阈值THB具有sz/4以下的值,上述阈值THC具有(sz/4)+2以上的 值。
B8.
一种图像解码装置,其特征在于,具备:
B1.至B7.的任一项所述的算术解码装置;
逆频率变换机构,其通过对由上述算术解码装置解码出的变换系数进 行逆频率变换来生成残差图像;和
解码图像生成机构,其通过将由上述逆频率变换机构生成的残差图像 与根据已生成的解码图像来预测出的预测图像相加而生成解码图像。
B9.
一种算术编码装置,其特征在于,针对通过将对象图像按每个单位区 域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换 系数的各种语法进行算术编码来生成编码数据,
上述算术编码装置具备:
子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割 为给定尺寸的子块;
子块系数有无标记编码机构,其针对由上述子块分割机构分割后的各 子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标 记进行编码;
分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来 讲对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索 引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0 的语法;和
语法编码机构,其将属于各部分区域的各变换系数有无标记,基于由 对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术编 码,
在针对对象子块而编码的子块系数有无标记表示了该对象子块中至 少包含1个非0变换系数、且该对象子块在对象频率区域中属于高频侧的 部分区域的情况下,上述上下文索引导出机构基于对象频率区域中的该对 象子块的位置来导出对属于该对象子块的各变换系数有无标记分配的上 下文索引,在针对对象子块而编码的子块系数有无标记表示了该对象子块 中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行编码处理。
B10.
一种图像编码装置,其特征在于,具备:
变换系数生成机构,其通过将编码对象图像与预测图像的残差图像按 每个单位区域进行频率变换来生成变换系数;和
B9.所述的算术编码装置,
上述算术编码装置通过对表示由上述变换系数生成机构生成的变换 系数的各种语法进行算术编码来生成编码数据。
B11.
一种编码数据的数据结构,其特征在于,该编码数据是针对通过将对 象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系 数,通过对表示该变换系数的各种语法进行算术编码而得到的,
上述编码数据的数据结构包含:针对对与上述单位区域对应的频率区 域进行分割而得到的给定尺寸的各子块,表示该子块中是否至少含有1 个非0变换系数的子块系数有无标记,
用于对上述编码数据进行解码的解码装置,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中 至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧 的部分区域的情况下,将对属于该对象子块的各变换系数有无标记分配的 上下文索引,基于对象频率区域中的该对象子块的位置来导出,并且将属 于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配 的上下文索引指定的概率状态来进行算术解码,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中 不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每 一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
<本说明书中记载的发明(C)>
另外,本说明书中至少记载了以下的发明。
C1.
本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进 行解码,该编码数据是针对通过将对象图像按每个单位区域进行频率变换 而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法 进行算术编码而得到的,上述算术解码装置具备:子块分割机构,其将与 处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;子块系 数有无标记解码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行解 码;分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来 将对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各 变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各 部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部 分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下 文索引指定的概率状态来进行算术解码,在针对对象子块而解码出的子块 系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象 子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引 导出机构基于对象频率区域中的该对象子块的位置来导出对属于该对象 子块的各变换系数有无标记分配的上下文索引,在针对对象子块而解码出 的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将 针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为 表示该变换系数为0来进行解码处理。
根据如上述那样构成的算术解码装置,在对象子块在对象频率区域中 属于高频侧的部分区域的情况下,上述上下文索引导出机构将对属于该对 象子块的各变换系数有无标记分配的上下文索引,基于对象频率区域中的 该对象子块的位置来导出,因此能够实现高的编码效率,并且与现有的构 成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
另外,根据上述构成,在针对对象子块而解码出的子块系数有无标记 表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块 的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0 来进行解码处理,因此与不利用子块系数有无标记的构成相比,削减了用 于对变换系数进行解码的处理量。
C2.
优选上述分割机构将上述对象频率区域至少分割为低频侧和高频侧 这2个部分区域,上述上下文索引导出机构,在属于低频侧的部分区域的 至少1个中,通过参考解码完毕的非0变换系数来导出上下文索引,在属 于高频侧的部分区域中,将基于频率区域上的位置的值、或固定的给定的 值作为上下文索引来导出。
根据上述构成,在属于低频侧的部分区域的至少1个中,通过参考解 码完毕的非0变换系数来导出上下文索引,在属于高频侧的部分区域中, 将基于频率区域上的位置的值、或固定的给定的值作为上下文索引来导 出,因此能够确保高的编码效率,并且能够削减处理量。
C3.
另外,优选在上述算术解码装置中,由上述上下文索引导出机构导出 的属于高频侧的部分区域中使用的上下文索引的值,在属于低频侧的部分 区域中使用的上下文索引的范围内。
根据上述构成,属于高频侧的部分区域中使用的上下文索引的值在属 于低频侧的部分区域中使用的上下文索引的范围内,因此削减了用于导出 上下文索引的处理量。
C4.
另外,优选在上述算术解码装置中,由上述上下文索引导出机构导出 的与亮度相关且属于高频侧的部分区域中使用的上下文索引的值,是在属 于低频侧的部分区域中使用的上下文索引的范围以外的值,由上述上下文 索引导出机构导出的与色差相关且属于高频侧的部分区域中使用的上下 文索引的值,在属于低频侧的部分区域中使用的上下文索引的范围内。
根据上述构成,由于与色差相关且属于高频侧的部分区域中使用的上 下文索引的值,在属于低频侧的部分区域中使用的上下文索引的范围内, 因此削减了用于导出与色差相关的上下文索引的处理量。
C5.
另外,优选上述分割机构将上述对象频率区域至少分割为低频侧和高 频侧这2个部分区域,上述上下文索引导出机构在属于低频侧的部分区域 的至少1个中,通过参考N1(N1为自然数)个以上的解码完毕的非0 变换系数来导出上下文索引,在属于高频侧的部分区域中,通过参考N2 个(N2为满足N2<N1的自然数)解码完毕的非0变换系数来导出上下文索引。
根据上述构成,在属于高频侧的部分区域中参考的解码完毕的非0 变换系数的数目小于在属于低频侧的部分区域的至少1个中参考的解码 完毕的非0变换系数的数目,因此能够削减用于高频侧的上下文索引的导 出处理的处理量。
C6.
另外,优选上述上下文索引导出机构在属于低频侧的部分区域中,通 过对解码完毕的非0变换系数的数目进行多对一变换来导出上下文索引, 在属于高频侧的部分区域中,将非0变换系数的数目作为上下文索引来导 出。
根据上述构成,在属于高频侧的部分区域中,在不执行对非0变换系 数的数目进行多对一变换的处理的情况下导出上下文索引,因此处理量被 削减。
C7.
另外,优选上述分割机构根据变换系数有无标记的X坐标以及Y坐 标之和或变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基 于以上述对象频率区域的宽度以及高度的最大值获得的尺寸而确定的阈 值THA的大小关系,将上述对象频率区域至少分割为低频侧的部分区域 和上述高频侧的部分区域,在将上述对象频率区域的尺寸表示为sz时, 在为X坐标以及Y坐标之和的情况下,上述阈值THA为sz以下的值, 在为子块的X坐标以及Y坐标之和的情况下,上述阈值THA为sz/子 块的大小以下的值。
根据上述构成,根据变换系数有无标记的X坐标以及Y坐标之和或 变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基于以上述 对象频率区域的宽度以及高度的最大值得到的尺寸而确定的阈值THA的 大小关系,将上述对象频率区域至少分割为低频侧的部分区域和上述高频 侧的部分区域,在将上述对象频率区域的尺寸表示为sz时,在为X坐标 以及Y坐标之和的情况下,上述阈值THA为sz以下的值,在为子块的X 坐标以及Y坐标之和的情况下,上述阈值THA为sz/子块的大小以下的 值,因此能够确保高的编码效率,并且能够削减处理量。
另外,优选在上述算术解码装置中,上述分割机构根据变换系数有无 标记所属的子块的X坐标以及Y坐标之和、与基于上述对象频率区域的 尺寸而确定的阈值THA的大小关系,将上述对象频率区域至少分割为低 频侧的部分区域和上述高频侧的部分区域,在设沿着上述对象频率区域的 各边的频率分量的数目为sz时,上述阈值THA具有sz/16以上的值。
根据上述构成,能够为了实现高编码效率以及处理量削减而适当地分 割对象频率区域。
C8.
本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进 行解码,该编码数据是针对通过将对象图像按每个单位区域进行频率变换 而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法 进行算术编码而得到的,上述算术解码装置具备:子块分割机构,其将与 处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;子块系 数有无标记解码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行解 码;分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来 将对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各 变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各 部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部 分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下 文索引指定的概率状态来进行算术解码,在针对对象子块而解码出的子块 系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象 子块在对象频率区域中属于高频侧以及低频侧的某一个部分区域的情况 下,上述上下文索引导出机构将对属于该对象子块的各变换系数有无标记 分配的上下文索引,基于对象频率区域中的该变换系数有无标记所属的子 块的位置而选择出的高频侧用的参考区域以及低频侧用的参考区域的某 一个参考区域、且在对象频率区域中的该变换系数有无标记的位置周边设 定的参考区域所包含的解码完毕的非0变换系数的数目来导出,在针对对 象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换 系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系 数有无标记设为表示该变换系数为0来进行解码处理。
根据如上述那样构成的算术解码装置,当对象子块在对象频率区域中 属于高频侧以及低频侧的某一个部分区域的情况下,上述上下文索引导出 机构将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于 在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所 包含的解码完毕的非0变换系数的数目来导出,因此能够实现高的编码效 率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处 理的处理量。
另外,根据上述构成,在针对对象子块而解码出的子块系数有无标记 表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块 的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0 来进行解码处理,因此与不利用子块系数有无标记的构成相比,削减了用 于对变换系数进行解码的处理量。
C9.
本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进 行解码,该编码数据是针对通过将对象图像按每个单位区域进行频率变换 而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法 进行算术编码而得到的,上述算术解码装置具备:子块分割机构,其将与 处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;子块系 数有无标记解码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行解 码;分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来 讲对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各 变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各 部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部 分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下 文索引指定的概率状态来进行算术解码,在针对对象子块而解码出的子块 系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象 子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引 导出机构将对属于该对象子块的各变换系数有无标记分配的上下文索引, 基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区 域所包含的解码完毕的非0变换系数、且去除按处理顺序而在该变换系数 有无标记的近前方被解码出的非0变换系数的非0变换系数的数目来导 出,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不 含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一 个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
根据如上述那样构成的算术解码装置,在对象子块在对象频率区域中 属于高频侧的部分区域的情况下,上述上下文索引导出机构将对属于该对 象子块的各变换系数有无标记分配的上下文索引,基于在对象频率区域中 的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的 非0变换系数、且去除按处理顺序而在该变换系数有无标记的近前方被解 码出的非0变换系数的非0变换系数的数目来导出,因此能够实现高的编 码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导 出处理的处理量。
另外,根据上述构成,在针对对象子块而解码出的子块系数有无标记 表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块 的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0 来进行解码处理,因此与不利用子块系数有无标记的构成相比,削减了用 于对变换系数进行解码的处理量。
C10.
另外,优选在上述算术解码装置中,上述分割机构将上述对象频率区 域至少分割为3个部分区域,上述上下文索引导出机构在第1部分区域中 参考N1个(N1为自然数)解码完毕的非0变换系数,在第2部分区域 中参考N2个(N2为满足N2<N1的自然数)解码完毕的非0变换系数, 由此来导出上下文索引,在第3部分区域中,根据变换系数有无标记的位 置来导出上下文索引。
根据上述构成,通过将为了参考上下文索引而参考的解码完毕的非0 变换系数的数被更小地设定的部分区域、与基于对象频率区域中的该变换 系数有无标记的位置来导出上下文索引的部分区域进行组合,能够实现高 的编码效率,并且与现有的构成相比,特别是能够削减用于高频侧的上下 文索引的导出处理的处理量。
C11.
另外,优选在上述算术解码装置中,上述分割机构根据变换系数有无 标记所属的子块的X坐标以及Y坐标之和、与基于上述对象频率区域的 尺寸而确定的阈值THB的大小关系,将上述对象频率区域至少分割为低 频侧的部分区域和上述高频侧的部分区域,在设沿着上述对象频率区域的 各边的频率分量的数目为sz时,上述阈值THB具有sz/4以下的值。
根据上述构成,能够为了实现高编码效率以及处理量削减而适当地分 割对象频率区域。
C12.
另外,优选在上述算术解码装置中,上述分割机构根据变换系数有无 标记所属的子块的X坐标以及Y坐标之和、与基于上述对象频率区域的 尺寸而确定的阈值THB的大小关系,将上述对象频率区域分割为上述第 1部分区域和上述第2部分区域,并且根据变换系数有无标记所属的子块 的X坐标以及Y坐标之和、与基于上述对象频率区域的尺寸而确定的阈 值THC的大小关系,将上述对象频率区域分割为上述第2部分区域和上 述第3部分区域,在设沿着上述对象频率区域的各边的频率分量的数目为 sz时,上述阈值THB具有sz/4以下的值,上述阈值THC具有(sz/4) +2以上的值。
根据上述构成,能够为了实现高编码效率以及处理量削减而适当地分 割对象频率区域。
C13.
本发明的一方式所涉及的图像解码装置的特征在于,具备:上述算术 解码装置;逆频率变换机构,其通过对由上述算术解码装置解码出的变换 系数进行逆频率变换来生成残差图像;和解码图像生成机构,其通过将由 上述逆频率变换机构生成的残差图像与根据已生成的解码图像来预测出 的预测图像相加而生成解码图像。
根据上述图像解码装置,能够在削减用于语法导出的处理量的同时, 以高的编码效率来对编码数据进行解码。
C14.
本发明的一方式所涉及的算术编码装置,其特征在于,针对通过将对 象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系 数,通过对表示该变换系数的各种语法进行算术编码来生成编码数据,上 述算术编码装置具备:子块分割机构,其将与处理对象的单位区域对应的 对象频率区域分割为给定尺寸的子块;子块系数有无标记编码机构,其针 对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行编码;分割机构,其以各频率分 量以及各子块的至少任一个作为分割单位来将对象频率区域分割为多个 部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配的上 下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否 为0的语法,和语法编码机构,其将属于各部分区域的各变换系数有无标 记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进 行算术编码,在针对对象子块而编码的子块系数有无标记表示了该对象子 块中至少包含1个非0变换系数、且该对象子块在对象频率区域中属于高 频侧的部分区域的情况下,上述上下文索引导出机构基于对象频率区域中 的该对象子块的位置来导出对属于该对象子块的各变换系数有无标记分 配的上下文索引,在针对对象子块而编码的子块系数有无标记表示了该对 象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换 系数的每一个的变换系数有无标记设为表示该变换系数为0来进行编码 处理。
根据如上述那样构成的算术编码装置,在对象子块在对象频率区域中 属于高频侧的部分区域的情况下,上述上下文索引导出机构将对属于该对 象子块的各变换系数有无标记分配的上下文索引,基于对象频率区域中的 该对象子块的位置来导出,因此能够实现高的编码效率,并且与现有的构 成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
另外,根据上述构成,在针对对象子块而解码出的子块系数有无标记 表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块 的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0 来进行编码处理,因此与不利用子块系数有无标记的构成相比,削减了用 于对变换系数进行编码的处理量。
C15.
本发明的一方式所涉及的图像编码装置的特征在于,具备:变换系数 生成机构,其通过将编码对象图像与预测图像的残差图像按每个单位区域 进行频率变换来生成变换系数;和上述算术编码装置,上述算术编码装置 通过对表示由上述变换系数生成机构生成的变换系数的各种语法进行算 术编码来生成编码数据。
根据上述图像编码装置,能够在削减用于语法导出的处理量的同时, 生成高的编码效率的编码数据。
C16.
另外,本发明的一方式所涉及的编码数据的数据结构,其特征在于, 该编码数据是针对通过将对象图像按每个单位区域进行频率变换而按每 个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算 术编码而得到的,上述编码数据的数据结构包含:针对对与上述单位区域 对应的频率区域进行分割而得到的给定尺寸的各子块,表示该子块中是否 至少含有1个非0变换系数的子块系数有无标记,用于对上述编码数据进 行解码的解码装置,在针对对象子块而解码出的子块系数有无标记表示了 该对象子块中至少含有1个非0变换系数、且该对象子块在对象频率区域 中属于高频侧的部分区域的情况下,将对属于该对象子块的各变换系数有 无标记分配的上下文索引,基于对象频率区域中的该对象子块的位置来导 出,并且将属于各部分区域的各变换系数有无标记,基于由对该变换系数 有无标记分配的上下文索引指定的概率状态来进行算术解码,在针对对象 子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系 数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数 有无标记设为表示该变换系数为0来进行解码处理。
如上述那样构成的编码数据包含:针对对与上述单位区域对应的频率 区域进行分割而得到的给定尺寸的各子块,表示该子块中是否至少含有1 个非0变换系数的子块系数有无标记,用于对上述编码数据进行解码的解 码装置,在针对对象子块而解码出的子块系数有无标记表示了该对象子块 中至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频 侧的部分区域的情况下,将对属于该对象子块的各变换系数有无标记分配 的上下文索引,基于对象频率区域中的该对象子块的位置来导出,并且将 属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分 配的上下文索引指定的概率状态来进行算术解码,在针对对象子块而解码 出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下, 将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设 为表示该变换系数为0来进行解码处理,因此能够在维持高的编码效率的同时削减解码用的处理量。
C17.
另外,本发明的一方式所涉及的算术解码装置,其特征在于,对编码 数据进行解码,该编码数据是针对通过将对象图像按每个单位区域进行频 率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各 种语法进行算术编码而得到的,上述算术解码装置通过选择性地使用对 M1个(M1为自然数)语法进行解码来解码各变换系数的值的通常模式、 和对M2个(M2为满足M2<M1的自然数)语法进行解码来解码各变换 系数的值的简化模式,来对各变换系数的值进行解码。
根据上述的算术解码装置,由于在简化模式下使用比通常模式少的语 法,因此能够提高解码处理的吞吐量。
C18.
优选上述算术解码装置具备:语法解码机构,其通过基于由对各语法 分配的上下文指定的概率状态的算术解码以及不利用上下文而基于固定 的概率状态的算术解码中的任一算术解码来对各语法进行解码,上述语法 解码机构在通常模式下针对上述M1个语法而利用上下文进行解码,在简 化模式下针对上述M2个语法而利用上下文来进行解码。
根据上述的算术解码装置,由于在简化模式下针对比通常模式少的语 法来使用上下文,因此能够省略上下文导出以及上下文的更新所需的处 理,所以能够提高解码处理的吞吐量。
C19.
另外,上述算术解码装置具备:子块分割机构,其将与处理对象的单 位区域对应的对象频率区域分割为给定尺寸的子块;子块系数有无标记解 码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是 否至少含有1个非0变换系数的子块系数有无标记进行解码,在通常模式 下,对上述子块系数有无标记、和表示变换系数是否为0的变换系数有无 标记利用上下文来进行解码,在简化模式下,对上述子块系数有无标记利 用上下文来进行解码,对上述变换系数有无标记在不利用上下文的情况下 进行解码。
根据上述的算术解码装置,关于发生频度低的语法但对于抑制为低码 量而言重要的子块系数有无标记significant_coeffgroup_flag,无论是通常 模式还是简化模式都使用上下文,因此能够在确保高的编码效率的同时提 高吞吐量。
C20.
另外,优选上述算术解码装置在通常模式下,对表示变换系数是否为 0的变换系数有无标记significant_coeff_flag、表示变换系数的绝对值是否 大于1的语法coeff_abs_greaterl_flag、表示变换系数的绝对值是否大于2 的语法coeff_abs_greater2_flag,表示从变换系数的绝对值中减去3后的值 的语法coeff_abs_minus3、以及表示变换系数的正负号的语法coeff_sign 进行解码,在简化模式下,对上述变换系数有无标记significant_coeff_flag、 表示从变换系数的绝对值中减去1后的值的语法coeff_abs_minus1、以及 表示变换系数的正负号的语法coeff_sign进行解码。
根据上述的算术解码装置,由于在简化模式下使用比通常模式少的语 法,因此能够提高解码处理的吞吐量。
C21.
另外,优选上述算术解码装置在通常模式下,对上述变换系数有无标 记significant_coeff_flag、表示变换系数的绝对值是否大于1的上述语法 coeff_abs_greater1_flag以及表示变换系数的绝对值是否大于2的上述语 法coeff_abs_greater2_flag利用上下文来进行解码,在简化模式中,对上 述变换系数有无标记significant_coeff_flag、表示从变换系数的绝对值中 减去1后的值的上述语法coeff_abs_minus1以及表示变换系数的正负号的 上述语法coeff_sign,在不利用上下文的情况下进行解码。
根据上述的算术解码装置,由于在简化模式下不利用上下文地对构成 变换系数的值的语法进行解码,因此能够提高解码处理的吞吐量。
C22.
另外,优选上述算术解码装置在通常模式下,对上述变换系数有无标 记significant_coeff_flag、表示变换系数的绝对值是否大于1的上述语法 coeff_abs_greater1_flag以及表示变换系数的绝对值是否大于2的上述语 法coeff_abs_greater2_flag,利用上下文来进行解码,在简化模式下,对表 示从变换系数的绝对值中减去1后的值的上述语法coeff_abs_minus1以及 表示变换系数的正负号的上述语法coeff_sign,在不利用上下文的情况下 进行解码。
根据上述的算术解码装置,由于在简化模式下不利用上下文地对构成 变换系数的值的语法的大部分进行解码,因此能够提高解码处理的吞吐 量。
C23.
另外,优选上述算术解码装置在简化模式下,对表示从变换系数的绝 对值中减去1后的值的上述语法coeff_abs_minus1和表示变换系数的正负 号的上述语法coeff_sign连续地进行解码。
根据上述的算术解码装置,由于在简化模式下不利用上下文地进行解 码的语法连续配置,因此能够提高解码处理的吞吐量。
C24.
另外,优选上述算术解码装置在通常模式下,对表示变换系数是否为 0的变换系数有无标记significant_coeff_flag、表示变换系数的绝对值是否 大于1的语法coeff_abs_greaterl_flag、表示变换系数的绝对值是否大于2 的语法coeff_abs_greater2_flag、表示从变换系数的绝对值中减去3后的值 的语法coeff_abs_minus3以及表示变换系数的正负号的语法coeff_sign进 行解码,在简化模式下,对表示从变换系数的绝对值中减去1后的值的语 法coeff_abs_minus1、变换系数的绝对值coeff_abs以及表示变换系数的正 负号的语法coeff_sign进行解码。
根据上述的算术解码装置,由于在简化模式下使用比通常模式少的语 法,因此能够提高解码处理的吞吐量。
C25.
另外,优选上述算术解码装置在通常模式下,对上述变换系数有无标 记significant_coeff_flag、表示变换系数的绝对值是否大于1的上述语法 coeff_abs_greater1_flag以及表示变换系数的绝对值是否大于2的上述语 法coeff_abs_greater2_flag,利用上下文来进行解码,在简化模式下,对表 示从变换系数的绝对值中减去1后的值的上述语法coeff_abs_minus1、以 及表示变换系数的正负号的语法coeff_sign,在不利用上下文的情况下进 行解码。
根据上述的算术解码装置,由于在简化模式下不利用上下文地对构成 变换系数的值的语法的大部分进行解码,因此能够提高解码处理的吞吐 量。
C26.
另外,优选上述算术解码装置根据变换系数的末尾位置的X坐标以 及Y坐标之和与给定的阈值的大小比较,在所述末尾位置的X坐标以及 Y坐标之和大的情况下选择上述简化模式,在此外的情况下选择上述通常 模式。
根据上述的算术解码装置,由于仅判定需要以高吞吐量进行处理的情 况而使用简化模式,因此能够在确保高的编码效率的同时提高解码处理的 吞吐量。
C27.
另外,优选上述算术解码装置在所述末尾位置的X坐标以及Y坐标 之和这一方多的情况下,与此外的情况相比,减少利用上下文来进行解码 的语法的数目。
根据上述的算术解码装置,为了能够适当地判定需要以高吞吐量进行 处理的情况而使用简化模式,因此能够在确保高的编码效率的同时提高解 码处理的吞吐量。
C28.
另外,优选上述算术解码装置在频率区域的宽度和高度相同的情况与 频率区域的宽度和高度不同的情况下,作为上述阈值而使用不同的值。
根据上述的算术解码装置,为了在频率区域的宽度和高度不同的情况 下也能适当地判定需要以高吞吐量进行处理的情况而使用简化模式,因此 能够在确保高的编码效率的同时提高解码处理的吞吐量。
C29.
另外,优选上述算术解码装置具备:分割机构,其以各频率分量以及 各子块的至少任一个作为分割单位来将对象频率区域分割为多个部分区 域;上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索 引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0 的语法,在某子块中,在变换系数有无标记的数目为给定的数目以上的情 况下,在该某子块的接下来要处理的子块中不利用上下文地对变换系数有 无标记进行解码。
根据上述的算术解码装置,由于仅判定需要以高吞吐量进行处理的情 况而使用简化模式,因此能够在确保高的编码效率的同时提高解码处理的 吞吐量。
C30.
另外,本发明的一方式所涉及的算术编码装置,其特征在于,针对通 过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各 变换系数,通过对表示该变换系数的各种语法进行算术编码来生成编码数 据,上述算术编码装置具备:通过选择性地使用M1个(M1为自然数) 语法来地各变换系数的值进行编码的通常模式、和利用M2个(M2为满 足M2<M1的自然数)语法来对各变换系数的值进行编码的简化模式, 来对各变换系数的值进行编码。
根据上述的算术编码装置,由于简化模式下使用比通常模式少的语 法,因此能够提高编码以及解码处理的吞吐量。
C31.
本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进 行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得 到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的, 上述算术解码装置具备:分割机构,其将与处理对象的单位区域对应的对 象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各变换 系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分 区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部分区 域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索 引指定的概率状态来进行算术解码,上述上下文索引导出机构,将对属于 上述多个部分区域当中高频侧的部分区域的各变换系数有无标记分配的 上下文索引,基于对象频率区域中的该变换系数有无标记的位置来导出。
根据如上述那样构成的算术解码装置,将对属于对象频率区域中的上 述多个部分区域当中高频侧的部分区域的各变换系数有无标记分配的上 下文索引,基于对象频率区域中的该变换系数有无标记的位置来导出,因 此能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧 的上下文索引的导出处理的处理量。
C32.
另外,本发明的一方式所涉及的算术解码装置,其特征在于,对编码 数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变 换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得 到的,上述算术解码装置具备:分割机构,其将与处理对象的单位区域对 应的对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对 各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各 部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上 下文索引指定的概率状态来进行算术解码,上述上下文索引导出机构,将 对各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变 换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变 换系数的数目来导出,上述多个部分区域中的高频侧的部分区域中设定的 上述参考区域小于低频侧的部分区域中设定的上述参考区域。
根据如上述那样构成的算术解码装置,将对各变换系数有无标记分配 的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边 设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,在上述 多个部分区域当中高频侧的部分区域中设定的上述参考区域比低频侧的 部分区域中设定的上述参考区域小,因此与低频侧的部分区域中设定的参 考区域和高频侧的部分区域中设定的参考区域具有相同大小的现有的构 成相比,能够削减用于高频侧的上下文索引的导出处理的处理量,并且能 够实现高的编码效率。
C33.
另外,优选上述上下文索引导出机构通过将按每个上述部分区域而确 定的给定的开始点与按每个上述部分区域而确定的变量相加来导出上下 文索引,通过针对上述变量的导出方法不同的多个部分区域将开始点设定 为相同值,在上下文索引的导出方法不同的该多个部分区域中使用公共的 上下文。
根据如上述那样构成的算术解码装置,在导出方法不同的多个部分区 域中,通过使按每个部分区域确定的开始点相等,不会使上下文数增加, 而且能够在实现了高的编码效率的情况下削减处理量。
C34.
另外,优选上述分割机构将上述对象频率区域根据处理对象的变换系 数有无标记的位置而至少分类为3个部分区域,上述上下文索引导出机构 在第1部分区域中,参考N1个(N1为自然数)解码完毕的非0变换系 数,在第2部分区域中,参考N2个(N2为满足N2<N1的自然数)解 码完毕的非0变换系数,由此导出上下文索引,在第3部分区域中,根据 变换系数有无标记的位置来导出上下文索引。
根据如上述那样构成的算术解码装置,通过将为了参考上下文索引而 参考的解码完毕的非0变换系数的数被更小地设定的部分区域、与基于对 象频率区域中的该变换系数有无标记的位置来导出上下文索引的部分区 域进行组合,因此能够实现高的编码效率,并且与现有的构成相比,能够 削减用于高频侧的上下文索引的导出处理的处理量。
C35.
另外,在上述算术解码装置中,优选上述上下文索引导出机构将对上 述多个部分区域当中高频侧的部分区域中的沿着当前扫描列的各变换系 数有无标记分配的上下文索引,还基于沿着前扫描列的非0变换系数的数 目来导出。
根据上述构成,上述上下文索引导出机构,将对上述多个部分区域当 中高频侧的部分区域中的沿着当前扫描列的各变换系数有无标记分配的 上下文索引,基于沿着前扫描列的非0变换系数的数目、和在对象频率区 域中的该变换系数有无标记的位置周边所设定的参考区域所包含的解码 完毕的非0变换系数的数目来导出,在上述多个部分区域当中高频侧的部 分区域中设定的上述参考区域比低频侧的部分区域中设定的上述参考区 域小,因此与现有的构成相比,能够更有效地削减用于高频侧的上下文索 引的导出处理的处理量,并且能够实现高的编码效率。
C36.
另外,本发明的一方式所涉及的算术解码装置,其特征在于,对编码 数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变 换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得 到的,上述算术解码装置具备:分割机构,其将与处理对象的单位区域对 应的对象频率区域分割为多个部分区域;上下文索引导出机构,其将对各 变换系数有无标记分配的上下文索引沿着各扫描列来依次导出,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法 解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换 系数有无标记分配的上下文索引指定的概率状态来进行算术解码,上述上 下文索引导出机构,将对上述多个部分区域当中高频侧的部分区域中的沿 着当前扫描列的各变换系数有无标记分配的上下文索引,基于沿着前扫描 列的非0变换系数的数目来导出。
根据如上述那样构成的算术解码装置,将对上述多个部分区域当中高 频侧的部分区域中的沿着当前扫描列的各变换系数有无标记分配的上下 文索引,基于沿着前扫描列的非0变换系数的数目来导出。在此,关于沿 着前扫描列的非0变换系数的数目,只要预先进行一次计数,则在导出对 沿着当前扫描列的各变换系数有无标记分配的上下文索引时就可以公共 使用。因此,与需要针对位置不同的变换系数有无标记个别地导出上下文索引的现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的 处理量,并且能够实现高的编码效率。
C37.
另外,本发明的一方式所涉及的算术解码装置,其特征在于,对编码 数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变 换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得 到的,上述算术解码装置具备:分割机构,其将与处理对象的单位区域对 应的对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对 各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各 部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上 下文索引指定的概率状态来进行算术解码,上述上下文索引导出机构,将 对各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变 换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变 换系数的数目来导出,上述参考区域所包含的解码完毕的变换系数的数目 为4以下。
根据如上述那样构成的算术解码装置,将对各变换系数有无标记分配 的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边 设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,上述参 考区域所包含的解码完毕的变换系数的数目为4以下,因此参考比现有的 构成少的数目的解码完毕的变换系数即可。因此,根据上述构成,与现有 的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量,并且能够实现高的编码效率。
C38.
另外,本发明的一方式所涉及的算术解码装置,其特征在于,对编码 数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变 换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得 到的,上述算术解码装置具备:分割机构,其将与处理对象的单位区域对 应的对象频率区域分割为多个部分区域;上下文索引分配机构,其对各部 分区域分配彼此不同的上下文索引;和语法解码机构,其将作为表示属于各部分区域的各变换系数是否为0的语法的各变换系数有无标记,基于由 对该变换系数有无标记所属的部分区域分配的上下文索引指定的概率状 态来进行算术解码,上述多个部分区域中的低频侧的部分区域比高频侧的 部分区域小。
根据如上述那样构成的算术解码装置,上述多个部分区域中的低频侧 的部分区域比高频侧的部分区域小,因此能够对低频侧的区域细致地分配 上下文索引。因此,根据上述构成,能够高效地解码低频侧的语法,所以 编码效率提高。
C39.
另外,优选上述分割机构根据表示变换系数有无标记的X坐标与Y 坐标之和的SUM,将上述对象频率区域分割为多个部分区域,上述分割 机构根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值 TH2的大小关系,将上述对象频率区域至少分割为低频侧的部分区域和 上述高频侧的部分区域,第1阈值TH2为sz以上。
根据如上述那样构成的算术解码装置,在将对对象频率区域中的变换 系数有无标记分配的上下文索引基于该变换系数有无标记的该对象频率 区域中的位置来导出的情况下,也能够实现高的编码效率,并且与现有的 构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
C40.
另外,优选上述分割机构根据表示变换系数有无标记的X坐标与Y 坐标之和的SUM,将上述对象频率区域分割为多个部分区域,上述分割 机构根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值 TH2的大小关系,将上述对象频率区域至少分割为上述低频侧的部分区 域和上述高频侧的部分区域,第1阈值TH2为sz-2以下。
根据如上述那样构成的算术解码装置,在使用为了参考上下文索引而 参考的解码完毕的非0变换系数的数目被更小地设定的部分区域的情况 下,也能够实现高的编码效率,并且与现有的构成相比,能够削减用于高 频侧的上下文索引的导出处理的处理量。
C41.
另外,优选上述分割机构根据表示变换系数有无标记的X坐标与Y 坐标之和的SUM,将上述对象频率区域分割为多个部分区域,上述分割 机构根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值 TH2的大小关系,将上述对象频率区域分割为上述第1部分区域和上述 第2部分区域,根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第2阈值TH3的大小关系,将上述对象频率区域分割为上述第2部分 区域和上述第3部分区域,上述第1阈值TH2为sz-2以下,上述第2 阈值TH3为sz以上。
根据如上述那样构成的算术解码装置,在将为了参考上下文索引而参 考的解码完毕的非0变换系数的数被更小地设定的部分区域、与基于对象 频率区域中的该变换系数有无标记的位置来导出上下文索引的部分区域 进行组合的情况下,也能够实现高的编码效率,并且与现有的构成相比, 能够削减用于高频侧的上下文索引的导出处理的处理量。
C42.
另外,本发明的一方式所涉及的图像解码装置,其特征在于,具备: 上述算术解码装置;逆频率变换机构,其通过对由上述算术解码装置解码 出的变换系数进行逆频率变换来生成残差图像;解码图像生成机构,其通 过将由上述逆频率变换机构生成的残差图像与根据已生成的解码图像来 预测出的预测图像相加而生成解码图像。
根据上述图像解码装置,能够在削减用于语法导出的处理量的同时, 以高的编码效率来对编码数据进行解码。
C43.
另外,本发明的一方式所涉及的算术编码装置,其特征在于,针对将 对象图像按每个单位区域进行频率变换而得到的各变换系数,通过对表示 该变换系数的各种语法进行算术编码来生成编码数据,上述算术编码装置 具备:分割机构,其将与处理对象的单位区域对应的对象频率区域分割为 多个部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配 的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数 是否为0的语法;和语法编码机构,其将属于各部分区域的各变换系数有 无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态 来进行算术编码,上述上下文索引导出机构,将对属于上述多个部分区域 当中高频侧的部分区域的各变换系数有无标记分配的上下文索引,基于对 象频率区域中的该变换系数有无标记的位置来导出。
根据如上述那样构成的算术编码装置,将对属于上述多个部分区域当 中高频侧的部分区域的各变换系数有无标记分配的上下文索引,基于对象 频率区域中的该变换系数有无标记的位置来导出,因此与现有的构成相 比,削减了高频侧的上下文索引的导出处理用的处理量。
C44.
另外,本发明的一方式所涉及的图像编码装置的特征在于,具备:变 换系数生成机构,其通过将编码对象图像与预测图像的残差图像按每个单 位区域进行频率变换来生成变换系数;和上述算术编码装置,上述算术编 码装置通过对表示由上述变换系数生成机构生成的变换系数的各种语法 进行算术编码来生成编码数据。
根据上述图像解码装置,能够在削减用于语法导出的处理量的同时, 以高的编码效率来生成编码数据。
C45.
另外,本发明的一方式所涉及的编码数据的数据结构,其特征在于, 该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各 变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,上 述编码数据的数据结构包含:表示是否对与各单位区域对应的各对象频率 区域中的高频侧的变换系数进行解码的限制标记,用于对上述编码数据进 行解码的算术解码装置在上述限制标记表示了不对高频侧的变换系数进行解码的情况下,不对该高频侧的变换系数进行解码。
根据如上述那样构成的编码数据,包含表示是否对与各单位区域对应 的各对象频率区域中的高频侧的变换系数进行解码的限制标记,用于对上 述编码数据进行解码的算术解码装置在上述限制标记表示了不对高频侧 的变换系数进行解码的情况下,能够省略该高频侧的变换系数的解码处 理,因此削减了用于对变换系数进行解码的处理量。
本发明并不限定于上述各实施方式,能够在权利要求所示的范围内进 行各种变更,对不同实施方式中分别公开的技术手段适当组合而得到的实 施方式也包含于本发明的技术范围内。
工业实用性
本发明能适合应用在对经算术编码后的编码数据进行解码的算术解 码装置以及生成经算术编码后的编码数据的算术编码装置中。
标号说明
1 运动图像解码装置(图像解码装置)
11 可变长码解码部
111 量化残差信息解码部(算术解码装置)
120 变换系数解码部
124 系数有无标记解码部
124a 频率分类部(分割机构,上下文索引导出机构)
124b 低频位置上下文导出部(上下文索引导出机构)
124c、124g 周边参考上下文导出部(上下文索引导出机构)
124d 高频位置上下文导出部(上下文索引导出机构)
X1 子块系数有无标记解码部(子块系数有无标记解码机构)
130 算术码解码部
131 上下文记录更新部
132 比特解码部(语法解码机构)
2 运动图像编码装置(图像编码装置)
27 可变长码编码部
271 量化残差信息编码部(算术编码装置)
220 变换系数编码部
224 系数有无标记编码部
224a 频率分类部(分割机构,语法编码机构)
224b 低频位置上下文导出部
224c 周边参考上下文导出部
224d 高频位置上下文导出部(上下文索引导出机构)
X2 子块系数有无标记编码部(子块系数有无标记编码机构) 230 算术码编码部
231 上下文记录更新部
232 比特编码部(语法编码机构)

Claims (3)

1.一种图像解码装置,其特征在于,对变换系数的编码数据进行解码,
所述图像解码装置具备:语法解码机构,所述语法解码机构至少包含下述情况:不对表示变换系数的绝对值是否大于给定的值的第1语法进行解码,而利用旁路解码处理对表示从变换系数的绝对值中减去给定的值而得到的值的第2语法进行解码的情况;和利用上下文对该第1语法进行解码而利用该旁路解码处理对该第2语法进行解码的情况,
与所述第2语法相关的所述给定的值是3以下的值。
2.一种图像解码方法,其特征在于,对变换系数的编码数据进行解码,
所述图像解码方法至少包含下述步骤:不对表示变换系数的绝对值是否大于给定的值的第1语法进行解码,而利用旁路解码处理对表示从变换系数的绝对值中减去给定的值而得到的值的第2语法进行解码的步骤;和利用上下文对所述第1语法进行解码而利用所述旁路解码处理对所述第2语法进行解码的步骤,
与所述第2语法相关的所述给定的值是3以下的值。
3.一种图像编码装置,其特征在于,生成变换系数的编码数据,
所述图像编码装置具备:语法编码机构,所述语法编码机构至少包含下述情况:不对表示变换系数的绝对值是否大于给定的值的第1语法进行编码,而利用旁路编码处理对表示从变换系数的绝对值中减去给定的值而得到的值的第2语法进行编码的情况;和利用上下文对该第1语法进行编码而利用该旁路编码处理对该第2语法进行编码的情况,
与所述第2语法相关的所述给定的值是3以下的值。
CN201810874147.1A 2011-11-04 2012-10-31 图像解码装置、图像编码装置及其方法 Active CN109120930B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2011242840 2011-11-04
JP2011-242840 2011-11-04
JP2011-264156 2011-12-01
JP2011264156 2011-12-01
JP2012-009447 2012-01-19
JP2012009447 2012-01-19
CN201280053701.0A CN103907349B (zh) 2011-11-04 2012-10-31 算术解码装置、图像解码装置、算术编码装置以及算术解码方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280053701.0A Division CN103907349B (zh) 2011-11-04 2012-10-31 算术解码装置、图像解码装置、算术编码装置以及算术解码方法

Publications (2)

Publication Number Publication Date
CN109120930A true CN109120930A (zh) 2019-01-01
CN109120930B CN109120930B (zh) 2021-03-26

Family

ID=48192047

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810874147.1A Active CN109120930B (zh) 2011-11-04 2012-10-31 图像解码装置、图像编码装置及其方法
CN201280053701.0A Active CN103907349B (zh) 2011-11-04 2012-10-31 算术解码装置、图像解码装置、算术编码装置以及算术解码方法
CN201810874148.6A Active CN109120927B (zh) 2011-11-04 2012-10-31 图像解码装置、图像解码方法以及图像编码装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201280053701.0A Active CN103907349B (zh) 2011-11-04 2012-10-31 算术解码装置、图像解码装置、算术编码装置以及算术解码方法
CN201810874148.6A Active CN109120927B (zh) 2011-11-04 2012-10-31 图像解码装置、图像解码方法以及图像编码装置

Country Status (8)

Country Link
US (6) US9525876B2 (zh)
EP (1) EP2775713B1 (zh)
JP (2) JPWO2013065702A1 (zh)
CN (3) CN109120930B (zh)
IN (1) IN2014CN03598A (zh)
MX (2) MX338671B (zh)
MY (1) MY167316A (zh)
WO (1) WO2013065702A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091529B2 (en) * 2010-07-09 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
SG192171A1 (en) 2011-12-21 2013-08-30 Panasonic Corp Image coding method, image decoding method, image coding apparatus and image decoding apparatus
US9743116B2 (en) 2012-01-19 2017-08-22 Huawei Technologies Co., Ltd. High throughput coding for CABAC in HEVC
US10616581B2 (en) 2012-01-19 2020-04-07 Huawei Technologies Co., Ltd. Modified coding for a transform skipped block for CABAC in HEVC
US9860527B2 (en) * 2012-01-19 2018-01-02 Huawei Technologies Co., Ltd. High throughput residual coding for a transform skipped block for CABAC in HEVC
US20130188736A1 (en) 2012-01-19 2013-07-25 Sharp Laboratories Of America, Inc. High throughput significance map processing for cabac in hevc
CN103460701B (zh) 2012-01-20 2017-06-09 索尼公司 有效度图编码的复杂度降低
JP6014823B2 (ja) * 2012-07-02 2016-10-26 サムスン エレクトロニクス カンパニー リミテッド ビデオのエントロピー符号化方法及びその装置、並びにビデオのエントロピー復号化方法及びその装置
US9619229B2 (en) 2012-12-27 2017-04-11 Intel Corporation Collapsing of multiple nested loops, methods and instructions
WO2015145504A1 (ja) * 2014-03-25 2015-10-01 株式会社ソシオネクスト 画像復号装置、画像復号方法、及び集積回路
EP2958328A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
US9781424B2 (en) 2015-01-19 2017-10-03 Google Inc. Efficient context handling in arithmetic coding
EP3295206B1 (en) * 2015-05-12 2020-07-29 HERE Global B.V. Compressing and decompressing data about radio signals
EP3099072A1 (en) * 2015-05-28 2016-11-30 Parabola Research Limited Method, system and device for image and video coding
KR20180040515A (ko) * 2015-09-10 2018-04-20 삼성전자주식회사 부호화 장치, 복호화 장치, 그 부호화 및 복호화 방법
WO2017041271A1 (en) * 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
ES2844525B1 (es) * 2015-09-11 2022-07-05 Kt Corp Metodo para decodificar un video
US10440399B2 (en) * 2015-11-13 2019-10-08 Qualcomm Incorporated Coding sign information of video data
US20170311003A1 (en) * 2016-04-20 2017-10-26 Mediatek Inc. Method and apparatus for performing entropy encoding with sign data removal and associated method and apparatus for performing entropy decoding with sign data recovery
US10887626B2 (en) * 2016-05-13 2021-01-05 Sharp Kabushiki Kaisha Image decoding device and image encoding device
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
KR20180089290A (ko) * 2017-01-31 2018-08-08 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
US10484695B2 (en) 2017-10-23 2019-11-19 Google Llc Refined entropy coding for level maps
WO2019117634A1 (ko) * 2017-12-15 2019-06-20 엘지전자 주식회사 2차 변환에 기반한 영상 코딩 방법 및 그 장치
FI3514968T3 (fi) 2018-01-18 2023-05-25 Blackberry Ltd Menetelmiä ja laitteita pistepilvien entropiakoodausta varten
EP3937132A1 (en) * 2018-04-09 2022-01-12 BlackBerry Limited Methods and devices for binary entropy coding of point clouds
EP3562156A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for adaptive context modeling in video encoding and decoding
US10645381B2 (en) 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video
CN115243041B (zh) * 2018-05-03 2024-06-04 Lg电子株式会社 图像编码和解码方法及解码装置、存储介质和发送方法
EP3818703A1 (en) * 2018-07-02 2021-05-12 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Entropy coding of transform coefficients suitable for dependent scalar quantization
AU2019298855B2 (en) * 2018-07-02 2022-10-20 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding
KR102661759B1 (ko) * 2018-09-24 2024-04-30 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 종속 스칼라 양자화를 사용하거나 이와 조합하는 데에 적합한 변환 계수의 효율적인 코딩
US11343539B2 (en) * 2018-10-08 2022-05-24 Hfi Innovation Inc. Method and apparatus of last significant coefficient coding in image and video coding
US10728557B2 (en) * 2018-10-24 2020-07-28 Sony Corporation Embedded codec circuitry for sub-block based entropy coding of quantized-transformed residual levels
US11463712B2 (en) 2018-11-21 2022-10-04 Interdigital Vc Holdings, Inc. Residual coding with reduced usage of local neighborhood
KR102388807B1 (ko) * 2018-12-17 2022-04-20 엘지전자 주식회사 고주파 제로잉을 기반으로 변환 계수 스캔 순서를 결정하는 방법 및 장치
KR20210105996A (ko) * 2019-02-19 2021-08-27 엘지전자 주식회사 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
US10939107B2 (en) 2019-03-01 2021-03-02 Sony Corporation Embedded codec circuitry for sub-block based allocation of refinement bits
TWI753377B (zh) * 2019-03-12 2022-01-21 弗勞恩霍夫爾協會 用於影像及視訊寫碼之選擇性成分間變換(ict)技術
EP4013055A4 (en) * 2019-09-06 2022-09-07 Sony Group Corporation IMAGE PROCESSING DEVICE AND METHOD
KR20220152212A (ko) 2020-03-11 2022-11-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양자화 파라미터를 위한 높은 레벨의 비트스트림 신택스
EP4154537A4 (en) 2020-05-31 2024-02-07 Beijing Bytedance Network Tech Co Ltd PALETTE MODE WITH LOCAL DOUBLE TREE MODE TYPE DEFINITION
JP2024058010A (ja) * 2022-10-13 2024-04-25 Kddi株式会社 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547854A (zh) * 2001-11-16 2004-11-17 株式会社Ntt都科摩 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
US20050123207A1 (en) * 2003-12-04 2005-06-09 Detlev Marpe Video frame or picture encoding and decoding
CN1650636A (zh) * 2002-04-26 2005-08-03 索尼株式会社 编码设备和编码方法、解码设备和解码方法、记录介质以及程序
US20080246637A1 (en) * 2007-04-03 2008-10-09 National Tsing Hua University Cabac Decoding Method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1553782A3 (en) * 2002-05-28 2005-07-27 Sharp Kabushiki Kaisha Methods and systems for image intra-prediction mode estimation, communication, and organization
JP2005130099A (ja) * 2003-10-22 2005-05-19 Matsushita Electric Ind Co Ltd 算術復号装置、算術符号化装置、算術符号化・復号装置、携帯端末装置、動画像撮影装置、及び、動画像記録・再生装置
JP2006140758A (ja) * 2004-11-12 2006-06-01 Toshiba Corp 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
WO2007081116A1 (en) * 2006-01-07 2007-07-19 Electronics And Telecommunications Research Institute Method and apparatus for video data encoding and decoding
EP2942935A1 (en) * 2006-07-13 2015-11-11 NEC Corporation Wavelet-based image encoding and decoding device and encoding method and decoding method
CN113556556A (zh) * 2010-04-13 2021-10-26 Ge视频压缩有限责任公司 显著性图和变换系数块的编码
EP2559166B1 (en) * 2010-04-13 2017-11-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Probability interval partioning encoder and decoder
US8976861B2 (en) * 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
CN103404035B (zh) * 2011-01-14 2017-05-10 Ge视频压缩有限责任公司 熵编码及解码方案
LT3343781T (lt) * 2011-06-16 2022-03-10 Ge Video Compression, Llc Konteksto inicijavimas entropinio kodavimo metu
EP2732628A2 (en) * 2011-07-15 2014-05-21 Motorola Mobility LLC Context modeling techniques for transform coefficient level coding
WO2013050612A1 (en) * 2011-10-06 2013-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entropy coding buffer arrangement
US9191670B2 (en) * 2012-01-17 2015-11-17 Qualcomm Incorporated Throughput improvement for CABAC coefficient level coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547854A (zh) * 2001-11-16 2004-11-17 株式会社Ntt都科摩 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
CN1650636A (zh) * 2002-04-26 2005-08-03 索尼株式会社 编码设备和编码方法、解码设备和解码方法、记录介质以及程序
US20050123207A1 (en) * 2003-12-04 2005-06-09 Detlev Marpe Video frame or picture encoding and decoding
US20080246637A1 (en) * 2007-04-03 2008-10-09 National Tsing Hua University Cabac Decoding Method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS 等: "WD4: Working Draft 4 of High-Efficiency Video Coding", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *
INTERNATIONAL TELECOMMUNICATION UNION: "Advanced video coding for generic audiovisual services", 《TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(ITU-T) H.264》 *

Also Published As

Publication number Publication date
US20210084335A1 (en) 2021-03-18
IN2014CN03598A (zh) 2015-07-31
WO2013065702A1 (ja) 2013-05-10
JP2017123685A (ja) 2017-07-13
EP2775713B1 (en) 2021-06-16
US10547870B2 (en) 2020-01-28
US11310530B2 (en) 2022-04-19
CN109120930B (zh) 2021-03-26
US9525876B2 (en) 2016-12-20
CN103907349A (zh) 2014-07-02
JPWO2013065702A1 (ja) 2015-04-02
MX2014005246A (es) 2014-08-22
US10158887B2 (en) 2018-12-18
US20180160144A1 (en) 2018-06-07
US20190052905A1 (en) 2019-02-14
CN109120927B (zh) 2021-05-18
US20200154140A1 (en) 2020-05-14
JP6560702B2 (ja) 2019-08-14
MY167316A (en) 2018-08-16
EP2775713A4 (en) 2015-05-06
CN109120927A (zh) 2019-01-01
US20140307801A1 (en) 2014-10-16
MX338671B (es) 2016-04-27
CN103907349B (zh) 2018-08-28
EP2775713A1 (en) 2014-09-10
US10897632B2 (en) 2021-01-19
US20170041635A1 (en) 2017-02-09
MX346677B (es) 2017-03-29

Similar Documents

Publication Publication Date Title
CN103907349B (zh) 算术解码装置、图像解码装置、算术编码装置以及算术解码方法
CN104350753B (zh) 算术解码装置、图像解码装置、算术编码装置以及图像编码装置
CN104255035B (zh) 视讯译码中的量化参数(qp)译码
CN104509113B (zh) 视频压缩中的变换跳过模式
CN104380737B (zh) 算术解码装置
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
CN103828364B (zh) 图像解码装置、图像解码方法及图像编码装置
CN104054343B (zh) 图像解码装置、图像编码装置
CN103718554B (zh) 用于视频译码的变换系数的译码
CN106851318B (zh) 偏移解码装置、偏移编码装置、图像滤波装置
CN103858430B (zh) 图像解码装置、图像解码方法及图像编码装置
CN103329529B (zh) 用于高效视频译码(hevc)中的经译码单元的信令量化参数改变
CN104067624B (zh) 编码和解码变换单位的残差系数的有效性映射的方法、设备和系统
CN101990099B (zh) 图像处理设备和方法
CN103299629B (zh) 图像处理设备和方法
CN102714716B (zh) 图像处理设备和方法
CN109716771A (zh) 用于视频译码的线性模型色度帧内预测
CN107710765A (zh) 分组用于视频译码的调色盘旁通槽
CN107566848A (zh) 编解码的方法及装置
CN108900839A (zh) 图像解码装置、图像解码方法以及图像编码装置
CN105191307A (zh) 在视频译码过程中用于系数级别译码的莱斯参数更新
CN107810636A (zh) 使用混合递归滤波器的视频帧内预测
CN104813661A (zh) 在视频译码中跨越受约束块内边界进行环路滤波
CN106797474A (zh) 基于调色板的视频译码中的调色板游程隐藏
CN105165010A (zh) 基于位深度的样本自适应偏移缩放

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant