CN103907349A - 算术解码装置、图像解码装置、算术编码装置、图像编码装置以及算术解码方法 - Google Patents

算术解码装置、图像解码装置、算术编码装置、图像编码装置以及算术解码方法 Download PDF

Info

Publication number
CN103907349A
CN103907349A CN201280053701.0A CN201280053701A CN103907349A CN 103907349 A CN103907349 A CN 103907349A CN 201280053701 A CN201280053701 A CN 201280053701A CN 103907349 A CN103907349 A CN 103907349A
Authority
CN
China
Prior art keywords
context
grammer
coefficient
subregion
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280053701.0A
Other languages
English (en)
Other versions
CN103907349B (zh
Inventor
猪饲知宏
八杉将伸
山本智幸
筑波健史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN201810874147.1A priority Critical patent/CN109120930B/zh
Priority to CN201810874148.6A priority patent/CN109120927B/zh
Publication of CN103907349A publication Critical patent/CN103907349A/zh
Application granted granted Critical
Publication of CN103907349B publication Critical patent/CN103907349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Abstract

在维持高的编码效率的同时削减处理量。算术解码装置具备语法解码机构,其将表示变换系数的至少第1语法以及第2语法的每个语法,通过利用了上下文的算术解码或者不利用上下文的算术解码来进行解码,所述语法解码机构至少包含下述情况:不对所述第1语法进行解码,通过所述不利用上下文的算术解码来对所述第2语法进行解码的情况;和通过所述利用了上下文的算术解码来对所述第1语法进行解码,通过不利用上下文的算术解码来对所述第2语法进行解码的情况。

Description

算术解码装置、图像解码装置、算术编码装置、图像编码装置以及算术解码方法
技术领域
本发明涉及对经算术编码后的编码数据进行解码的算术解码装置以及具备这样的算术解码装置的图像解码装置。另外,本发明涉及生成经算术编码后的编码数据的算术编码装置以及具备这样的算术编码装置的图像编码装置。另外,本发明涉及对经算术编码后的编码数据进行解码的算术解码方法。
背景技术
为了高效地对运动图像进行传输或记录,使用了通过对运动图像进行编码来生成编码数据的运动图像编码装置(图像编码装置)以及通过对该编码数据进行解码来生成解码图像的运动图像解码装置(图像解码装置)。
作为具体的运动图像编码方式,可列举例如作为H.264/MPEG-4.AVC、VCEG(Video Coding Expert Group:视频编码专家组)中的共同开发用编解码器的KTA软件中采用的方式、TMuC(Test Model underConsideration)软件中采用的方式、作为其后继编解码器的HEVC(High-Efficiency Video Coding)中提出的方式(非专利文献1)等。
在这样的运动图像编码方式中,对于构成运动图像的图像(图片),利用通过对图像进行分割而得到的切片、通过对切片进行分割而得到的编码单位(有时也称为编码单元(Coding Unit))、通过对编码单位进行分割而得到的块及分区所构成的阶层结构来管理,通常按块进行编码/解码。
另外,在这样的编码方式中,通常,基于对输入图像进行编码以及解码而得到的局部解码图像来生成预测图像,将该预测图像与输入图像之间的差分图像(有时也称为“残差图像”或“预测残差”)按块实施DCT(Discrete Cosine Transform)变换等频率变换,对由此得到的变换系数进行编码。
作为变换系数的具体的编码的方式,公知有上下文自适应可变长编码(CAVLC:Context-based Adaptive Variable Length Coding)以及上下文自适应二进制算术编码(CABAC:Context-based Adaptive Binary ArithmeticCoding)。
在CALVC中,通过对各变换系数进行依次扫描而设为一维的向量之后,对表示各变换系数的值的语法以及表示连续的0的长度(也称为游程)的语法等进行编码。
在CABAC中,针对表示变换系数的各种语法实施二值化处理,对通过该二值化处理而得到的二值数据进行算术编码。在此,作为上述各种语法,可列举表示变换系数是否为0的标记、即表示非0变换系数的有无的标记significant_coeff_flag(也称为变换系数有无标记)以及表示在处理顺序中位于最后的非0变换系数的位置的语法last_significant_coeff_x以及last_significant_coeff_y等。
另外,在CABAC中,在对1个符号(二值数据的1比特,也称为Bin)进行编码时,参考分配给处理对象的频率分量的上下文索引,进行与由该上下文索引指定的上下文变量所包含的概率状态索引所指示的发生概率相应的算术编码。另外,由概率状态索引指定的发生概率在每对1个符号进行编码时被更新。
在非专利文献1中记载了:(1)将针对16×16像素、32×32像素等比较大的块的频率区域分割成多个部分区域,(2)针对低频侧的部分区域所包含的频率分量,分配根据频率区域内的该频率分量的位置而确定的上下文索引(也称为位置上下文),(3)针对高频侧的部分区域所包含的频率分量,分配根据该频率分量的周边的频率分量中的非0变换系数的数目而确定的上下文索引(也称为周边参考上下文)。根据该技术,能够降低低频侧的处理量,同时在高频侧能够确保所参考的上下文的总数较小。
另外,在非专利文献2中已知下述技术:在变换系数的编码中,通过采用利用算术编码但不利用上下文的称为旁路的编码(即为算术编码且不利用上下文的编码),从而不需要上下文的校正,能够提高吞吐量(throughput)。在该技术中,不利用在现有CABAC中使用的二进制化,而利用在CAVLC中使用的二进制化。
在先技术文献
非专利文献
非专利文献1:「WD4:Working Draft4of High-Efficiency VideoCoding(JCTVC-F803_d2)」,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTCl/SC29/WG116th Meeting:Torino,IT,14-22July,2011(2011年10月8日公开)
非专利文献2:J.Lainema,K.Ugur andA.Hallapuro「Single entropycoder for HEVC with a high throughput binarization mode」,JCTVC-G569,Geneva,Novemver2011(2011年11月公开)
发明所要解决的课题
然而,在非专利文献1所述的技术中,由于在分量数目多的高频侧利用周边参考上下文,因此用于对表示非0变换系数的有无的标记significant_coeff_flag进行解码的上下文计算的计算量增大,产生了导致解码处理的延迟的问题。
另外,在非专利文献2所述的技术中,由于利用在CAVLC中使用的二进制化,因此需要游程模式和层次(level)模式这两个模式,存在处理变得复杂的课题。另外,由于完全不利用上下文,因此存在编码效率降低的程度大的课题。
发明内容
本发明鉴于上述问题而实现,其目的在于实现一种算术解码装置以及算术编码装置,使得能够在实现高的编码效率的同时,与现有的构成相比能够降低处理量。
用于解决课题的手段
为了解决上述课题,本发明的一个方式所涉及的算术解码装置的特征在于,针对将对象图像按每个单位区域进行频率变换而得到的变换系数的编码数据进行算术解码,所述算术解码装置具备:语法解码机构,其将表示所述变换系数的至少第1语法以及第2语法的每个语法,通过利用了上下文的算术解码或者不利用上下文的算术解码来进行解码,所述语法解码机构至少包含下述情况:不对所述第1语法进行解码,通过所述不利用上下文的算术解码来对所述第2语法进行解码的情况;和通过所述利用了上下文的算术解码来对所述第1语法进行解码,通过不利用上下文的算术解码来对所述第2语法进行解码的情况。
为了解决上述课题,本发明的一个方式所涉及的算术编码装置的特征在于,生成将对象图像按每个单位区域进行频率变换而得到的变换系数的编码数据,所述算术编码装置具备:语法编码机构,其将表示所述变换系数的至少第1语法以及第2语法的每个语法,通过利用了上下文的算术编码或者不利用上下文的算术编码来进行算术编码,所述语法编码机构至少包含下述情况:不对所述第1语法进行编码,通过所述不利用上下文的算术编码来对所述第2语法进行编码的情况;和通过所述利用了上下文的算术编码来对所述第1语法进行编码,通过不利用上下文的算术编码来对所述第2语法进行编码的情况。
为了解决上述课题,本发明的一个方式所涉及的算术解码方法的特征在于,针对将对象图像按每个单位区域进行频率变换而得到的变换系数的编码数据进行算术解码,所述算术解码方法至少包括:将表示所述变换系数的至少第1语法以及第2语法的每个语法,通过利用了上下文的算术解码或者不利用上下文的算术解码来进行解码的步骤,所述进行解码的步骤至少包含下述情况:不对所述第1语法进行解码,通过所述不利用上下文的算术解码来对所述第2语法进行解码的情况;和通过所述利用了上下文的算术解码来对所述第1语法进行解码,通过不利用上下文的算术解码来对所述第2语法进行解码的情况。
发明效果
根据本发明的一个方式,能够在实现高的编码效率的同时削减处理量。
附图说明
图1是表示本发明的实施方式所涉及的运动图像解码装置所具备的量化残差信息解码部的构成的框图。
图2是表示由本发明的实施方式所涉及的运动图像编码装置生成并由运动图像解码装置解码的编码数据的数据结构的图,(a)~(d)分别是表示图片层、切片层、树块层以及CU层的图。
图3是表示PU分割类型的图案的图。(a)~(h)分别表示了PU分割类型为2N×N、2N×nU、2N×nD、2N×N、2N×nU以及2N×nD的情况下的分区形状。
图4是表示将正方形的节点四叉树分割为正方形或非正方形的分割方式的图。(a)表示了正方形的分割,(b)表示了横长的长方形的分割,(c)表示了纵长的长方形的分割,(d)表示了横长的节点的横长的分割,(e)表示了横长的节点的正方形的分割,(f)表示了纵长的节点的纵长的分割,以及(g)表示了纵长的节点的正方形的分割。
图5是表示实施方式所涉及的编码数据的量化残差信息所包含的各语法的图。
图6是用于说明实施方式所涉及的量化残差信息解码部的动作的图,(a)表示了顺向扫描时的处理顺序,(b)表示了逆向扫描时的处理顺序,(c)例示了处理频率区域中的非0的变换系数,(d)例示了对象频率区域中的语法significant_coff_flag的值,(e)例示了将对象频率区域中的语法coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag以及coeff_abs_level_minus3解码而得到的值,(f)例示了对象频率区域中的语法coeff_signflag的值。
图7是表示实施方式所涉及的运动图像解码装置的构成的框图。
图8是表示实施方式所涉及的运动图像解码装置所具备的可变长码解码部的构成的框图。
图9是表示被实施方式所涉及的频率分类部分割成4个部分区域后的频率区域的图。
图10是用于表示实施方式所涉及的周边参考上下文导出部的动作的图,(a)表示了处理顺序为逆向扫描顺序时的对象频率分量x、和在对象频率分量x的位置周边设定的参考区域所包含的参考频率分量c1~c5,(b)表示了处理顺序为顺向扫描顺序时的对象频率分量x、和在对象频率分量x的位置周边设定的参考区域所包含的参考频率分量c1~c5,(c)表示了参考区域从对象频率区域伸出的情况。
图11(a)是表示被实施方式所涉及的频率分类部分割成3个部分区域后的频率区域的图,图11(b)是表示被实施方式所涉及的频率分类部分割成2个部分区域后的频率区域的图。
图12是表示实施方式所涉及的系数有无标记解码部的第2构成例的框图。
图13是用于说明实施方式所涉及的系数有无标记解码部的第2构成例的图,(a)表示了扫描列Lx和扫描列Lx+1,(b)表示了在扫描列Lx和扫描列Lx+1之中分别对last_cntx以及last_cnty进行计数的部分。
图14是表示实施方式所涉及的系数有无标记解码部的第3构成例的框图。
图15是表示实施方式所涉及的系数有无标记解码部的第3构成例中的周边参考上下文导出部所参考的参考区域的图,(a)~(b)例示了参考数为4的参考区域,(c)~(f)例示了参考数为3的参考区域,(g)~(h)例示了参考数为2的参考区域,(i)表示了参考数为3的参考区域的另一例。
图16是用于说明实施方式所涉及的系数有无标记解码部的第3构成例的图,表示了在构成对象频率区域的部分区域R0~R3之中部分区域R2和R3中共享一部分上下文的情况。
图17是表示实施方式所涉及的系数有无标记解码部的第4构成例的框图。
图18是用于说明实施方式所涉及的系数有无标记解码部的第4构成例的图,表示了在构成对象频率区域的R0~R4之中部分区域R2和R3中共享一部分上下文的情况。
图19是表示实施方式所涉及的系数有无标记解码部的第5构成例的框图。
图20是用于说明实施方式所涉及的系数有无标记解码部的第5构成例的图,表示了扫描列Lx、扫描列Lx+1、扫描列Lx+2。
图21是用于说明实施方式所涉及的系数有无标记解码部的第5构成例的图,(a)~(c)例示了参考数为2的参考区域。
图22是表示实施方式所涉及的系数有无标记解码部的第6构成例的框图。
图23是用于说明实施方式所涉及的量化残差信息解码部的另一构成例的图,表示了对频率区域进行分割而得到的低频侧的部分区域R0’和高频侧的部分区域R1’。
图24是用于说明实施方式所涉及的量化残差信息解码部的另一构成例的图,(a)表示了层次的各值和与其对应的限制设定,(b)表示了层次的各值和与其相应的阈值的设定。
图25是用于说明实施方式所涉及的量化残差信息解码部的另一构成例的图,(a)表示了比较例所涉及的系数有无标记解码部所导出的上下文索引的各值,(b)表示了该构成例所涉及的系数有无标记解码部所导出的上下文索引ctxIdx的各值,(c)表示了该构成例所涉及的系数有无标记解码部所导出的ctxIdxH的例子,(d)表示了该构成例所涉及的系数有无标记解码部所导出的ctxIdxV的例子。
图26是表示实施方式所涉及的运动图像编码装置的构成的框图。
图27是表示实施方式所涉及的运动图像编码装置所具备的可变长码编码部的构成的框图。
图28是表示实施方式所涉及的可变长码编码部所具备的量化残差信息编码部的构成的框图。
图29是表示了搭载有上述运动图像编码装置的发送装置以及搭载有上述运动图像解码装置的接收装置的构成的图。(a)表示了搭载有运动图像编码装置的发送装置,(b)表示了搭载有运动图像解码装置的接收装置。
图30是表示了搭载有上述运动图像编码装置的记录装置以及搭载有上述运动图像解码装置的再现装置的构成的图。(a)表示了搭载有运动图像编码装置的记录装置,(b)表示了搭载有运动图像解码装置的再现装置。
图31是表示实施方式所涉及的系数有无标记解码部的第7构成例的框图。
图32是用于说明实施方式所涉及的系数有无标记解码部的第7~第9构成例的图,表示了以子块为单位的扫描。
图33是表示实施方式所涉及的系数有无标记解码部的第7~第9构成例中的动作流程的一例的流程图。
图34是表示实施方式所涉及的系数有无标记解码部的第7~第9构成例中的动作流程的另一例的流程图。
图35是表示通过实施方式所涉及的系数有无标记解码部的第7构成例所具备的频率分类部所执行的分类处理,分割成部分区域R0、R1以及R2后的频率区域的一例的图。
图36是用于说明实施方式所涉及的系数有无标记解码部的第7~第9构成例的图,表示了在对象频率分量x的位置周边设定的参考区域所包含的参考频率分量c1~c5。
图37是表示实施方式所涉及的系数有无标记解码部的第8构成例的框图。
图38是表示通过实施方式所涉及的系数有无标记解码部的第8构成例所具备的频率分类部所执行的分类处理,分割成部分区域R0、R1、R2以及R3后的频率区域的一例的图。
图39是表示通过实施方式所涉及的系数有无标记解码部的第8构成例所具备的频率分类部所执行的分类处理,分割成部分区域R0、R1、R2以及R3后的频率区域的另一例的图。
图40是表示实施方式所涉及的系数有无标记解码部的第9构成例的框图。
图41是表示通过实施方式所涉及的系数有无标记解码部的第9构成例所具备的频率分类部所执行的分类处理,分割成部分区域R0、R1、R2、R3以及R4后的频率区域的一例的图。
图42是表示通过实施方式所涉及的系数有无标记解码部的第9构成例所具备的频率分类部所执行的分类处理,分割成部分区域R0、R1、R2、R3以及R4后的频率区域的另一例的图。
图43是表示实施方式所涉及的系数有无标记编码部的第7~第9构成例所执行的动作流程的流程图。
图44是表示实施方式所涉及的系数有无标记编码部的第7构成例的框图。
图45是表示实施方式所涉及的系数有无标记编码部的第8构成例的框图。
图46是表示实施方式所涉及的系数有无标记编码部的第9构成例的框图。
图47是用于说明实施方式所涉及的子块系数有无标记的图,(a)表示了针对16×16变换块所包含的合计256个频率分量的量化残差系数的各值的一例,(b)表示了对将16×16变换块分割成4×4子块后的各子块进行识别的子块编号的一例,(c)表示了在量化残差系数如(a)所示时各子块的子块系数有无标记的一例。
图48是用于说明实施方式所涉及的系数有无标记解码部所具备的频率分类部所执行的分类处理的图,(a)表示了对与亮度值相关的变换系数进行解码时适合应用的部分区域分割,(b)表示了对与色差相关的变换系数进行解码时适合应用的部分区域分割。
图49是用于说明基于实施方式所涉及的系数有无标记解码部的第3构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(a)所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出处理的伪码。
图50是用于说明基于实施方式所涉及的系数有无标记解码部的上下文索引导出处理的图,是表示导出对图48(b)所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出处理的伪码。
图51是用于说明实施方式所涉及的系数有无标记解码部的第3构成例的另一构成例的图,表示了在对象频率分量x的位置周边设定的参考区域所包含的参考频率分量c1、c2、c5。
图52是用于说明基于实施方式所涉及的系数有无标记解码部的第8构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(a)所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出处理的伪码。
图53是用于说明基于实施方式所涉及的系数有无标记解码部的第8构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(b)所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出处理的伪码。
图54是用于说明基于实施方式所涉及的系数有无标记解码部的第8构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(a)所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出处理的伪码。
图55是用于说明基于实施方式所涉及的系数有无标记解码部的第8构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(b)所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出处理的伪码。
图56是用于说明基于实施方式所涉及的系数有无标记解码部的第8构成例的另一构成例的上下文索引导出处理的图,是表示导出对图48(a)~(b)所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出处理的伪码。
图57是用于说明基于实施方式所涉及的系数有无标记解码部的第8构成例的考虑了上下文更新延迟去除的构成例的上下文索引导出处理的图。
图58是用于说明基于实施方式所涉及的系数有无标记解码部的第8构成例的考虑了上下文更新延迟去除的构成例的上下文索引导出处理的图。
图59是用于说明基于实施方式所涉及的系数有无标记解码部的第8构成例的考虑了上下文更新延迟去除的构成例的上下文索引导出处理的图,是表示导出对图48(a)~(b)所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出处理的伪码。
图60是用于说明基于实施方式所涉及的系数有无标记解码部的第8构成例的考虑了上下文更新延迟去除的构成例的上下文索引导出处理的图,是表示导出对图48(a)~(b)所示的部分区域R0~R3各自包含的频率区域分配的上下文索引的导出处理的伪码。
图61是表示本发明的实施方式所涉及的运动图像解码装置3所具备的量化残差信息解码部的构成的框图。
图62是表示对现有技术的编码数据的量化残差信息所包含的语法进行表示的语法表的前半部分的图。
图63是表示对现有技术的编码数据的量化残差信息所包含的语法进行表示的语法表的后半部分的图。
图64是表示对实施方式所涉及的编码数据的量化残差信息所包含的语法进行表示的语法表的前半部分的图。
图65是表示对实施方式所涉及的编码数据的量化残差信息所包含的语法进行表示的语法表的后半部分的通常构成的图。
图66是表示对实施方式所涉及的编码数据的量化残差信息所包含的语法进行表示的语法表的后半部分的第1简化构成的图。
图67是表示对实施方式所涉及的编码数据的量化残差信息所包含的语法进行表示的语法表的后半部分的第2简化构成的图。
图68是表示对实施方式所涉及的编码数据的量化残差信息所包含的语法进行表示的语法表的后半部分的第3简化构成的图。
图69是表示对实施方式所涉及的编码数据的量化残差信息所包含的语法进行表示的语法表的后半部分的第4简化构成的图。
图70是表示对实施方式所涉及的编码数据的量化残差信息所包含的语法进行表示的语法表的后半部分的第5简化构成的图。
图71是表示对实施方式所涉及的编码数据的量化残差信息所包含的语法coeff_abs_minus进行表示的语法的构成的图。
图72是表示实施方式所涉及的简化处理标记cabac_lowcomp_flag的导出处理的流程图。
图73是表示实施方式所涉及的简化处理标记cabac_lowcomp_flag的导出处理的详细处理的流程图。
图74是表示本发明的实施方式所涉及的运动图像编码装置3所具备的量化残差信息编码部的构成的框图。
图75是表示实施方式所涉及的系数有无标记编码部Y224的构成的框图。
具体实施方式
基于附图对本发明所涉及的解码装置以及编码装置的一实施方式进行如下说明。其中,本实施方式所涉及的解码装置用于根据编码数据对运动图像进行解码。因此,以下,将此称为“运动图像解码装置”。另外,本实施方式所涉及的编码装置通过对运动图像进行编码来生成编码数据。因此,以下,将此称为“运动图像编码装置”。
但本发明的应用范围并不限定于此。即,从以下的说明可以明确,本发明的特征在不以多个帧为前提的情况下也成立。即,无论是以运动图像为对象还是以静止图像为对象,可应用于所有解码装置以及所有编码装置。
(编码数据#1的构成)
利用图2,对由运动图像编码装置2生成并由运动图像解码装置1解码的编码数据#1的构成例进行说明。编码数据#1例示性地包括序列以及构成序列的多个图片。
在序列层中,规定了为了对处理对象的序列进行解码而运动图像解码装置1所参考的数据的集合。序列层中包括序列参数组SPS、图片参数组PPS、图片PICT。
编码数据#1中的图片层以下的阶层的结构在图2中示出。图2的(a)~(d)分别是表示对图片PICT进行规定的图片层、对切片S进行规定的切片层、对树块(Tree block)TBLK进行规定的树块层、对树块TBLK所包含的编码单位(Coding Unit;CU)进行规定的CU层的图。
(图片层)
在图片层中,规定了为了对处理对象的图片PICT(以下也称为对象图片)进行解码而运动图像解码装置1所参考的数据的集合。图片PICT如图2的(a)所示,包含图片首部PH以及切片S1~SNS(NS是图片PICT中包含的切片的总数)。
此外,以下,在不需要区分切片S1~SNS的各切片的情况下,有时会省略标号的下标来记述。另外,对于以下说明的编码数据#1所包含的数据且标注了下标的其他数据也是同样的。
图片首部PH中包含为了决定对象图片的解码方法而运动图像解码装置1所参考的编码参数群。例如,表示运动图像编码装置2在编码时使用的可变长编码的模式的编码模式信息(entropy_coding_mode_flag)是图片首部PH所包含的编码参数的一例。
在entropy_coding_mode_flag为0时,该图片PICT通过CAVLC(Context-based Adaptive Variable Length Coding)被编码。另外,在entropy_coding_mode_flag为1时,该图片PICT通过CABAC(Context-based Adaptive Binary Arithmetic Coding)被编码。
(切片层)
在切片层中,规定了为了对处理对象的切片S(也称为对象切片)进行解码而运动图像解码装置1所参考的数据的集合。切片S如图2的(b)所示,包含切片首部SH以及树块TBLK1~TBLKNc(NC是切片S所包含的树块的总数)。
切片首部SH中包含为了决定对象切片的解码方法而运动图像解码装置1所参考的编码参数群。对切片类型进行指定的切片类型指定信息(slice_type)是切片首部SH所包含的编码参数的一例。
作为可由切片类型指定信息指定的切片类型,可列举(1)编码时仅使用帧内预测的I切片、(2)编码时使用单预测或者帧内预测的P切片、(3)编码时使用单预测、双预测或者帧内预测的B切片等。
另外,切片首部SH中包含由运动图像解码装置1所具备的环路滤波器参考的滤波器参数FP。滤波器参数FP包含滤波器系数群。滤波器系数群中包含:(1)对滤波器的抽头数进行指定的抽头数指定信息,(2)滤波器系数a0~aNT-1(NT是滤波器系数群所包含的滤波器系数的总数),以及(3)偏移o。
(树块层)
在树块层中,规定了为了对处理对象的树块TBLK(以下也称为对象树块)进行解码而运动图像解码装置1所参考的数据的集合。
树块TBLK包含树块首部TBLKH和编码单位信息CU1~CUNL(NL是树块TBLK所包含的编码单位信息的总数)。在此,首先,对树块TBLK与编码单位信息CU的关系进行如下说明。
树块TBLK被分割成用于确定进行帧内预测或帧间预测以及变换的各处理用的块尺寸的单元。
树块TBLK的上述单元通过递归的四叉树分割而被分割。将通过该递归的四叉树分割而得到的树结构以下称为编码树(coding tree)。
以下,将作为编码树的末端的节点的叶(leaf)所对应的单元作为编码节点(coding node)来参考。另外,由于编码节点为编码处理的基本单位,因此以下将编码节点也称为编码单位(CU)。
即,编码单位信息CU1~CUNL是将树块TBLK递归地进行四叉树分割而得到的各编码节点(编码单位)所对应的信息。
另外,编码树的根(root)与树块TBLK建立对应。换言之,树块TBLK与递归地包含多个编码节点的四叉树分割的树结构的最上级节点建立对应。
此外,各编码节点的尺寸是该编码节点直接所属的编码节点(即,该编码节点的上1级阶层的节点的单元)的尺寸的纵横的各一半。
另外,各编码节点可取的尺寸依赖于编码数据#1的序列参数组SPS所包含的编码节点的尺寸指定信息以及最大阶层深度(maximumhierarchical depth)。例如,在树块TBLK的尺寸为64×64像素且最大阶层深度为3的情况下,该树块TBLK以下的阶层中的编码节点可取4种尺寸即64×64像素、32×32像素、16×16像素以及8×8像素中的任一种。
(树块首部)
树块首部TBLKH中包含为了决定对象树块的解码方法而运动图像解码装置1所参考的编码参数。具体而言,如图2的(c)所示,包含:指定对象树块分割成各CU的分割图案的树块分割信息SP_TBLK以及指定量化步长的大小的量化参数差分Δqp(qp_delta)。
树块分割信息SP_TBLK是表示用于对树块进行分割的编码树的信息,具体而言,是指定对象树块所包含的各CU的形状、尺寸以及指定在对象树块内的位置的信息。
此外,树块分割信息SP_TBLK也可以没有显式地包含CU的形状、尺寸。例如树块分割信息SP_TBLK可以是表示是否将对象树块整体或树块的部分区域进行四分割的标记(split_coding_unit_flag)的集合。该情况下,通过兼用树块的形状、尺寸而确定各CU的形状、尺寸。
另外,量化参数差分Δqp是对象树块中的量化参数qp与在该对象树块的近前被编码的树块中的量化参数qp’的差分qp-qp’。
(CU层)
在CU层中,规定了为了对处理对象的CU(以下也称为对象CU)进行解码而运动图像解码装置1所参考的数据的集合。
在此,在进行编码单位信息CU所包含的数据的具体内容的说明之前,对CU所包含的数据的树结构进行说明。编码节点成为预测树(prediction tree;PT)以及变换树(transform tree;TT)的根的节点。关于预测树以及变换树进行如下说明。
在预测树中,编码节点被分割为1个或多个预测块,各预测块的位置和尺寸被规定。以其他表现来说,则预测块是构成编码节点的1个或多个不重叠的区域。另外,预测树包含通过上述的分割而得到的1个或多个预测块。
预测处理按每个该预测块来进行。以下,将作为预测的单位的预测块也称为预测单位(prediction unit;PU)。
预测树中的分割的种类大致有帧内预测的情况和帧间预测的情况这两种。
在帧内预测的情况下,分割方法有2N×2N(与编码节点同一尺寸)和N×N。
另外,在帧间预测的情况下,分割方法有2N×2N(与编码节点同一尺寸)、2N×N、N×2N以及N×N等。
另外,在变换树中,编码节点被分割成1个或多个变换块,各变换块的位置和尺寸被规定。以其他表现来说,则变换块是构成编码节点的1个或多个不重叠的区域。另外,变换树包含通过上述的分割而得到的1个或多个变换块。
变换处理按每个该变换块来进行。以下,将作为变换的单位的变换块也称为变换单位(transform unit;TU)。
(编码单位信息的数据结构)
下面,参考图2的(d)来说明编码单位信息CU所包含的数据的具体的内容。如图2的(d)所示,编码单位信息CU具体而言包含:跳过模式标记SKIP、CU预测类型信息Pred_type、PT信息PTI以及TT信息TTI。
[跳过标记]
跳过标记SKIP是表示对于对象CU是否应用了跳过模式的标记,在跳过标记SKIP的值为1的情况下,即,在对象CU中应用了跳过模式的情况下,该编码单位信息CU中的PT信息PTI被省略。此外,跳过标记SKIP在I切片中被省略。
[CU预测类型信息]
CU预测类型信息Pred_type包含CU预测方式信息PredMode以及PU分割类型信息PartMode。有时也将CU预测类型信息仅称为预测类型信息。
CU预测方式信息PredMode用于指定使用帧内预测(帧内CU)以及帧间预测(帧间CU)中的哪一个来作为针对对象CU所包含的各PU的预测图像生成方法。此外,以下,将对象CU中的跳过、帧内预测以及帧间预测的类别称为CU预测模式。
PU分割类型信息PartMode用于指定对象编码单位(CU)向各PU的分割的图案即PU分割类型。以下,将这样按照PU分割类型将对象编码单位(CU)向各PU进行分割的动作称为PU分割。
PU分割类型信息PartMode例示性地可以是表示PU分割图案的种类的索引,也可以是被指定了对象预测树所包含的各PU的形状尺寸以及在对象预测树内的位置。
此外,可选择的PU分割类型根据CU预测方式和CU尺寸而不同。另外,进一步来说,可选择的PU分割类型在帧间预测以及帧内预测各自的情况下不同。另外,关于PU分割类型的详细情形在后面描述。
另外,在不是I切片的情况下,PU分割类型信息PartMode的值以及PU分割类型信息PartMode的值可以由指定树块的分割(partition)、预测方式以及CU的分割(split)的方法的组合的索引(cu_split_pred_part_mode)来确定。
[PT信息]
PT信息PTI是与对象CU所包含的PT相关的信息。换言之,PT信息PTI是与PT所包含的1个或多个PU分别相关的信息的集合。如上所述,预测图像的生成以PU为单位来进行,因此PT信息PTI在由运动图像解码装置1生成预测图像时被参考。PT信息PTI如图2的(d)所示,包含含有各PU中的预测信息等在内的PU信息PUI1~PUINP(NP是对象PT所包含的PU的总数)。
预测信息PUI根据预测类型信息Pred_mode指定了哪一个预测方法而包含帧内预测参数PP_Intra或帧间预测参数PP_Inter。以下,将应用了帧内预测的PU也称为帧内PU,将应用了帧间预测的PU也称为帧间PU。
帧间预测参数PP_Inter包含运动图像解码装置1在通过帧间预测来生成帧间预测图像时所参考的编码参数。
作为帧间预测参数PP_Inter,例如可列举合并标记(merge_flag)、合并索引(merge_idx)、估计运动向量索引(mvp_idx)、参考图像索引(ref_idx)、帧间预测标记(inter_pred_flag)以及运动向量残差(mvd)。
帧内预测参数PP_Intra包含运动图像解码装置1在通过帧内预测来生成帧内预测图像时所参考的编码参数。
作为帧内预测参数PP_Intra,例如可列举估计预测模式标记、估计预测模式索引以及残余预测模式索引。
此外,帧内预测参数中也可含有表示是否利用PCM模式的PCM模式标记。在PCM模式标记被编码的情况下,当PCM模式标记表示了利用PCM模式时,省略预测处理(帧内)、变换处理以及熵编码的各处理。
[TT信息]
TT信息TTI是与CU所包含的TT相关的信息。换言之,TT信息TTI是与TT所包含的1个或多个TU分别相关的信息的集合,在通过运动图像解码装置1对残差数据进行解码时被参考。此外,以下,有时也将TU称为块。
TT信息TTI如图2的(d)所示,包含对对象CU分割成各变换块的分割图案进行指定的TT分割信息SP_TU、以及TU信息TUI1~TUINT(NT是对象CU所包含的块的总数)。
TT分割信息SP_TU具体而言是用于决定对象CU所包含的各TU的形状、尺寸以及在对象CU内的位置的信息。例如,TT分割信息SP_TU能够由表示是否进行成为对象的节点的分割的信息(split_transform_flag)、和表示该分割的深度的信息(traflDepth)来实现。
另外,例如在CU的尺寸为64×64的情况下,通过分割而得到的各TU可取从32×32像素至4×4像素的尺寸。
TU信息TUI1~TuINT是与TT所包含的1个或多个TU分别相关的个别的信息。例如,TU信息TUI包含量化预测残差(也称为量化残差)。
各量化预测残差是运动图像编码装置2对作为处理对象的块的对象块实施以下的处理1~3而生成的编码数据。
处理1:对从编码对象图像中减去预测图像后的预测残差进行频率变换(例如DCT变换(Discrete Cosine Transform));
处理2:对通过处理1得到的变换系数进行量化;
处理3:对通过处理2量化后的变换系数进行可变长编码;
其中,上述量化参数qp表示运动图像编码装置2对变换系数进行量化时使用的量化步长QP的大小(QP=2qp/6)。
(PU分割类型)
在将对象CU的尺寸设为2N×2N像素时,PU分割类型有下面的合计8种图案。即,2N×2N像素、2N×N像素、N×2N像素和N×N像素这4个对称的分割(symmetric splittings)、以及2N×nU像素、2N×nD像素、nL×2N像素和nR×2N像素这4个非对称的分割(asymmetric splittings)。其中,N=2m(m是1以上的任意的整数)。以下,将分割对称CU而得到的区域也称为分区。
图3的(a)~(h)中针对各个分割类型而具体图示了CU中的PU分割的边界的位置。
图3的(a)表示了不进行CU的分割的2N×2N的PU分割类型。另外,图3的(b)、(c)以及(d)分别表示了PU分割类型分别为2N×N、2N×nU以及2N×nD的情况下的分区的形状。另外,图3的(e)、(f)以及(g)分别表示了PU分割类型为N×2N、nL×2N以及nR×2N的情况下的分区的形状。另外,图3的(h)表示了PU分割类型为N×N的情况下的分区的形状。
对于图3的(a)以及(h)的PU分割类型,基于该分区的形状而也称为正方形分割。另外,图3的(b)~(g)的PU分割类型也称为非正方形分割。
另外,在图3的(a)~(h)中,对各区域标注的编号表示了区域的识别编号,按该识别编号顺序来对区域进行处理。即,该识别编号表示了区域的扫描顺序。
[帧间预测的情况下的分割类型]
在帧间PU中,定义了上述8种分割类型当中N×N(图3的(h))以外的7种。此外,上述4个非对称的分割有时也被称为AMP(AsymmetricMotion Partition)。
另外,N的具体的值根据该PU所属的CU的尺寸来规定,nU、nD、nL以及nR的具体的值根据N的值来确定。例如,128×128像素的帧间CU能够分割成128×128像素、128×64像素、64×128像素、64×64像素、128×32像素、128×96像素、32×128像素以及96×128像素的帧间PU。
[帧内预测的情况下的分割类型]
在帧内PU中,定义了下面的2种分割图案。即,不对对象CU进行分割、即对象CU自身被作为1个PU来处理的分割图案2N×2N;将对象CU对称地分割为4个PU的图案N×N。
因此,在帧内PU中,以图3所示的例子来说,则可取(a)以及(h)的分割图案。
例如,128×128像素的帧内CU能够分割成128×128像素以及64×64像素的帧内PU。
(TU分割类型)
下面,利用图4来说明TU分割类型。TU分割的图案通过CU的尺寸、分割的深度(trafoDepth)以及对象PU的PU分割类型来确定。
另外,TU分割的图案中包含正方形的四叉树分割和非正方形的四叉树分割。
图4的(a)~(c)表示了将正方形的节点四叉树分割为正方形或非正方形的分割方式。更具体而言,图4的(a)表示了将正方形的节点四叉树分割为正方形的分割方式。另外,该图的(b)表示了将正方形的节点四叉树分割为横长的长方形的分割方式。并且,该图的(c)表示了将正方形的节点四叉树分割为纵长的长方形的分割方式。
另外,图4的(d)~(g)表示了将非正方形的节点四叉树分割为正方形或非正方形的分割方式。更具体而言,图4的(d)表示了将横长的长方形的节点四叉树分割为横长的长方形的分割方式。另外,该图的(e)表示了将横长的长方形的节点四叉树分割为正方形的分割方式。另外,该图的(f)表示了将纵长的长方形的节点四叉树分割为纵长的长方形的分割方式。并且,该图的(g)表示了将纵长的长方形的节点四叉树分割为正方形的分割方式。
(量化残差信息QD的构成)
图5是表示量化残差信息QD(图5中表记为residual_coding_cabac())所包含的各语法的表。
如图5所示,量化残差信息QD包含语法last_significant_coeff_x、last_significant_coeff_y、significant_ckeff_flag、coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_minus3。
量化残差信息QD所包含的各语法通过上下文自适应二进制算术编码(CABAC:(Context-based Adaptive Binary ArithmeticCoding))而被编码。
以下,参考图5~图6并以块尺寸为8×8像素的情况为例来说明各语法的解码过程。图6(a)~(g)的横轴表示了水平方向频率xC(0<xC≤7),纵轴表示了垂直方向频率vC(0≤vC≤7)。在以下的说明中,将频率区域所包含的各部分区域中由水平方向频率xC以及垂直方向频率yC指定的部分区域也称为频率分量(xC,yC)。另外,将针对频率分量(xC,yC)的变换系数也表记为Coeff(xC,yC)。变换系数Coeff(0,0)表示了DC分量,此外的变换系数表示了DC分量以外的分量。在本说明书中,有时也将(xC,yC)表记为(u,v)或(uiPosX,uiPosY)等。
图6(a)~(b)是表示8×8的频率分量所构成的频率区域FR中的扫描顺序的例子的图。
在图6(a)所示的例子中,从低频侧(图6(a)中为左上)向高频侧(图6(a)中为右下)依次进行扫描。另外,在图6(a)所示的例子中,沿着频率区域FR内所示的箭头来进行扫描。有时也将图6(a)所示的扫描顺序称为顺向扫描。
另一方面,在图6(b)所示的例子中,从高频侧(图6(b)中为右下)向低频侧(图6(b)中为左上)依次进行扫描。另外,在图6(b)所示的例子中,沿着频率区域FR内所示的箭头来进行扫描。有时也将图6(b)所示的扫描顺序称为逆向扫描。
图6(c)是例示8×8的频率分量所构成的频率区域中不是0的变换系数(非0变化系数)的图。
语法last_significant_coeff_x以及last_significant_coeff_y是表示沿着顺向扫描方向的最后的非0变换系数的位置的语法。在图6(c)所示的例子的情况下,last_significant_coeff_x=6,last_significant_coeff_y=0。
语法significant_coeff_flag是针对以非0变换系数为起点而沿着逆向扫描方向的各频率分量来表示非0变换系数的有无的语法。图6(d)表示了解码对象的变换系数为图6(c)所示的情况下的语法significant_coeff_flag的值。如图6(d)所示,语法significant_coeff_flag是针对各xC、yC而变换系数为0则取0、变换系数不是0则取1的标记。此外,也将语法significant_coeff_flag称为变换系数有无标记。
语法coefl_abs_level_greaterl_flag是表示变换系数的绝对值是否超过1的标记,针对语法significant_coefl_flag的值为1的频率分量而被编码。在变换系数的绝对值超过1时,coeff_abs_level_greaterl_flag的值为1,否则coeff_abs_level_greaterl_flag的值为0。
语法coeff_abs_level_greater2_flag是表示变换系数的绝对值是否超过2的标记,在coeff_abs_level_greaterl_flag的值为1时被编码。在变换系数的绝对值超过2时,coeff_abs_level_greater2_flag的值为1,否则coeff_abs_level_greater2_flag的值为0。
语法coeff_abs_level_minus3是用于在变换系数的绝对值为3以上的情况下指定该变换系数的绝对值的语法,在coeff_abs_level_greater2_flag的值为1时被编码。语法coeff_abs_level_minus3的值是从变换系数的绝对值中去掉3后的值。例如,coeff_abs_level_minus3=1表示了变换系数的绝刑‘值为4。
图6(e)表示了通过对语法coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag以及coeff_abs_level_minus3进行解码而得到的各变换系数的绝对值。
语法coeff_sign_flag是表示变换系数的正负号(是正还是负)的标记,针对语法significant_coeff_flag的值为1的频率分量而被编码。
图6(f)是表示解码对象的变换系数为图6(c)所示的情况下的语法coeff_sign_flag的图。如图6(f)所示,语法coeff_sign_flag是在变换系数为正的情况下取1、在变换系数为负的情况下取0的标记。
运动图像解码装置1所具备的可变长码解码部11通过对语法last_significant_coeff_x、last_significant_coeff_y、significant_coeff_flag、coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_minus3进行解码,能够生成针对各频率分量的变换系数Coeff(xC,yC)。
此外,有时也将特定的区域(例如TU)内的非0变换系数的集合称为significancemap。
另外,关于语法coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_minus3的解码,在将频率区域中的各频率分量分成1个或多个组后按每个组来进行。图6(g)表示了8×8的频率分量所构成的频率区域中的分组的例子。关于各种语法的解码处理的详细情形在后面描述,接下来对运动图像解码装置1的构成进行说明。
(运动图像解码装置1)
以下,参照图1、图7~图25来说明本实施方式所涉及的运动图像解码装置1。运动图像解码装置1是安装了H.264/MPEG-4AVC标准中采用的技术、作为VCEG(Video Coding Expert Group)中的共同开发用编解码器的KTA软件中采用的技术、TMuC(Test Model under Consideration)软件中采用的技术以及作为其后继编解码器的HEVC(High-EfficiencyVideo Coding)中提出的技术的解码装置。
图7是表示运动图像解码装置1的构成的框图。如图7所示,运动图像解码装置1具备:可变长码解码部11、预测图像生成部12、逆量化和逆变换部13、加法器14、帧存储器15以及环路滤波器16。另外,如图7所示,预测图像生成部12具备:运动向量复原部12a、帧间预测图像生成部12b、帧内预测图像生成部12c以及预测方式决定部12d。运动图像解码装置1是通过对编码数据#1进行解码来生成运动图像#2的装置。
(可变长码解码部11)
图8是表示可变长码解码部11的要部构成的框图。如图8所示,可变长码解码部11具备:量化残差信息解码部111、预测参数解码部112、预测类型信息解码部113以及滤波器参数解码部114。
可变长码解码部11利用预测参数解码部112将与各分区相关的预测参数PP从编码数据#1中解码并提供给预测图像生成部12。具体而言,预测参数解码部112关于帧间预测分区,将包括参考图像索引、估计运动向量索引以及运动向量残差在内的帧间预测参数PP_Inter从编码数据#1中进行解码,并将这些参数提供给运动向量复原部12a。另一方面,关于帧内预测分区,将包含估计预测模式标记、估计预测模式索引以及残余预测模式索引在内的帧内预测参数PP_Intra从编码数据#1中进行解码,并将这些参数提供给帧内预测图像生成部12c。
另外,可变长码解码部11利用预测类型信息解码部113,将针对各分区的预测类型信息Pred_type从编码数据#1中解码,并将其提供给预测方式决定部12d。进而,可变长码解码部11利用量化残差信息解码部111,将与块相关的量化残差信息QD以及与包含该块在内的TU相关的量化参数差分Δqp从编码数据#1中解码,并将这些结果提供给逆量化和逆变换部13。另外,可变长码解码部11利用滤波器参数解码部114,从编码数据#1中对滤波器参数FP进行解码,并将此提供给环路滤波器16。此外,关于量化残差信息解码部111的具体的构成在后面描述,所以在此省略说明。
(预测图像生成部12)
预测图像生成部12基于针对各分区的预测类型信息Pred_type,识别各分区是应该进行帧间预测的帧间预测分区还是应该进行帧内预测的帧内预测分区。并且,在前者的情况下,生成帧间预测图像Pred_Inter,并将所生成的帧间预测图像Pred_Inter作为预测图像Pred而提供给加法器14,在后者的情况下,生成帧内预测图像Pred_Intra,并将所生成的帧内预测图像Pred_Intra提供给加法器14。此外,预测图像生成部12在对处理对象PU应用了跳过模式的情况下,省略属于该PU的其他参数的解码。
(运动向量复原部12a)
运动向量复原部12a将与各帧间预测分区相关的运动向量mv,根据与该分区相关的运动向量残差和与其他分区相关的复原完毕的运动向量mv'来进行复原。具体而言,(1)按照由估计运动向量索引指定的估计方法,根据复原完毕的运动向量mv'来导出估计运动向量,(2)通过将导出的估计运动向量与运动向量残差相加来获得运动向量mv。此外,与其他分区相关的复原完毕的运动向量mv'可从帧存储器15中读出。运动向量复原部12a将复原出的运动向量mv与对应的参考图像索引RI一起提供给帧间预测图像生成部12b。
(帧间预测图像生成部12b)
帧间预测图像生成部12b通过画面间预测来生成与各帧间预测分区相关的运动补偿图像mc。具体而言,利用从运动向量复原部12a提供的运动向量mv,并根据同样从运动向量复原部12a提供的参考图像索引RI所指定的自适应滤波完毕解码图像P_ALF’来生成运动补偿图像mc。在此,自适应滤波完毕解码图像P_ALF’是通过对已经完成了帧整体的解码的解码完毕的解码图像实施基于环路滤波器16的滤波器处理而得到图像,帧间预测图像生成部12b可将构成自适应滤波完毕解码图像P_ALF’的各像素的像素值从帧存储器15中读出。由帧间预测图像生成部12b生成的运动补偿图像mc被作为帧间预测图像Pred_Inter而提供给预测方式决定部12d。
(帧内预测图像生成部12c)
帧内预测图像生成部12c生成与各帧内预测分区相关的预测图像Pred_Intra。具体而言,首先,基于从可变长码解码部11提供的帧内预测参数PP_Intra来确定预测模式,并将所确定的预测模式针对对象分区例如以光栅扫描顺序进行分配。
在此,基于帧内预测参数PP_Intra的预测模式的确定可按如下方式进行。(1)对估计预测模式标记进行解码,在该估计预测模式标记表示了针对作为处理对象的对象分区的预测模式、与分配给该对象分区的周边的分区的预测模式相同的情况下,对于对象分区分配对该对象分区的周边的分区所分配的预测模式。(2)另一方面,在估计预测模式标记表示了针对作为处理对象的对象分区的预测模式、与分配给该对象分区的周边的分区的预测模式不同的情况下,对残余预测模式索引进行解码,将该残余预测模式索引所表示的预测模式分配给对象分区。
帧内预测图像生成部12c按照对对象分区分配的预测模式所表示的预测方法,通过画面内预测来根据(局部)解码图像P生成预测图像Pred_Intra。由帧内预测图像生成部12c生成的帧内预测图像Pred_Intra被提供给预测方式决定部12d。此外,帧内预测图像生成部12c也可采用通过画面内预测来根据自适应滤波完毕解码图像P ALF生成预测图像Pred_Intra的构成。
(预测方式决定部12d)
预测方式决定部12d基于针对各分区所属的PU的预测类型信息Pred_type,来决定各分区是应该进行帧间预测的帧间预测分区还是应该进行帧内预测的帧内预测分区。并且,在前者的情况下,将由帧间预测图像生成部12b生成的帧间预测图像Pred_Inter作为预测图像Pred而提供给加法器14,在后者的情况下,将由帧内预测图像生成部12c生成的帧内预测图像Pred_Intra作为预测图像Pred而提供给加法器14。
(逆量化和逆变换部13)
逆量化和逆变换部13,(1)对根据编码数据#1的量化残差信息QD解码出的变换系数Coeff进行逆量化,(2)针对通过逆量化而得到的变换系数Coeff_IQ实施逆DCT(Discrete Cosine Transform)变换等逆频率变换,(3)将通过逆频率变换而得到的预测残差D提供给加法器14。此外,在对根据量化残差信息QD解码出的变换系数Coeff进行逆量化时,逆量化和逆变换部13根据从可变长码解码部11提供的量化参数差分Δqp来导出量化步长QP。量化参数qp可通过在前一个进行了逆量化以及逆频率变换的TU所相关的量化参数qp'上加上量化参数差分Δqp而导出,量化步长QP可根据量化步长qp而根据例如QP=2pq/6来导出。另外,基于逆量化和逆变换部13的预测残差D的生成以TU或者将TU分割后的块为单位来进行。
此外,关于由逆量化和逆变换部13进行的逆DCT变换,例如在对象块的尺寸为8×8像素的情况下,若设该对象块中的像素的位置为(i,j)(0≤i≤7,0≤j≤7)、将位置(i,j)处的预测残差D的值表示为D(i,j)、将频率分量(u32,v)(0≤u≤7,0≤v≤7)中的逆量化后的变换系数表示为Coeff_IQ(u,v),则例如由以下的数学式(1)赋予。
[数学式1]
D ( i , j ) = 1 4 &Sigma; u = 0 7 &Sigma; v = 0 7 C ( u ) C ( v ) Coeff _ IQ ( u , v ) cos { ( 2 i + 1 ) u&pi; 16 } cos { ( 2 j + 1 ) v&pi; 16 } . . . ( 1 )
在此,(u,v)是与上述的(xC,yC)对应的变量。C(u)以及C(v)按以下方式赋予。
&CenterDot; C ( u ) = 1 / 2 ( u = 0 )
·C(u)=1   (u≠0)
&CenterDot; C ( v ) = 1 / 2 ( v = 0 )
·C(v)=1   (v≠0)
(加法器14)
加法器14通过将从预测图像生成部12提供的预测图像Pred与从逆量化和逆变换部13提供的预测残差D相加来生成解码图像P。生成的解码图像P被保存在帧存储器15中。
(环路滤波器16)
环路滤波器16具有下述功能:(1)作为进行解码图像P中的块边界或分区边界的周边的图像的平滑化(去块处理)的去块滤波器(DF:Deblocking Filter)的功能;(2)作为针对去块滤波器所作用的图像而利用滤波器参数FP来进行自适应滤波处理的自适应滤波器(ALF:Adaptive Loop Filter)的功能。
(量化残差信息解码部111)
量化残差信息解码部111是根据编码数据#1所包含的量化残差信息QD来解码针对各频率分量(uiPosX,uiPosY)的量化后的变换系数Coeff(uiPosX,uiPosY)的构成。在此,uiPosX以及uiPosY是表示频率区域中的各频率分量的位置的索引,分别是与上述的水平方向频率u以及垂直方向频率v对应的索引。另外,量化残差信息QD所包含的各种的语法通过上下文自适应二进制算术编码(CABAC:(Context-based AdaptiveBinaryArithmetic Coding))而被编码。此外,以下,有时也将量化后的变换系数Coeff仅称为变换系数Coeff。
图1是表示量化残差信息解码部111的构成的框图。如图1所示,量化残差信息解码部111具备变换系数解码部120以及算术码解码部130。
(算术码解码部130)
算术码解码部130是用于对量化残差信息QD所包含的各比特参考上下文来进行解码的构成,如图1所示,具备上下文记录更新部131以及比特解码部132。
(上下文记录更新部131)
上下文记录更新部131是用于对由各上下文索引ctxIdx管理的上下文变量CV进行记录以及更新的构成。在此,上下文变量CV包含:(1)发生概率高的大概率符号MPS(most probable symbol);(2)对该大概率符号MPS的发生概率进行指定的概率状态索引pStateIdx。
上下文记录更新部131通过参考从变换系数解码部120所具备的各部分提供的上下文索引ctxIdx、以及由比特解码部132解码出的Bin的值,来更新上下文变量CV,并且对更新后的上下文变量CV进行记录直至下一次被更新为止。此外,大概率符号MPS是0或1。另外,大概率符号MPS和概率状态索引pStateIdx在比特解码部132每对Bin进行一个解码时被更新。
另外,上下文索引ctxIdx可以是直接指定针对各频率分量的上下文的索引,也可以是从对处理对象的每个TU设定的上下文索引的偏移起的增量值(以下同样)。
此外,在CABAC的解码中,除了上述处理之外,还能够利用被称为旁路(Bypass)的解码处理。在旁路的情况下,不利用上下文变量CV,假定概率0.5来进行解码。该情况下,不需要上下文变量CV所具备的状态的更新,能够削减伴随上下文的校正的延迟。此外,关于是否使用旁路,使得在ctxIdx为负的情况下作为旁路进行动作,在ctxIdx为非负的情况下根据ctxIdx来选择CV作为非旁路进行动作即可。此外,将由旁路进行了解码处理后的码也称为不利用上下文的CABAC的算术码。此外,旁路有时也被称为EP编码(等概率,Equal Probability编码)。
(比特解码部132)
比特解码部132参考上下文记录更新部131中记录的上下文变量CV,对量化残差信息QD所包含的各比特(也称为Bin)进行解码。另外,将进行解码而得到的Bin的值提供给变换系数解码部120所具备的各部分。另外,进行解码而得到的Bin的值也被提供给上下文记录更新部131,为了对上下文变量CV进行更新而参考。
此外,通常比特解码部根据上下文变量CV的状态并以1比特为单位来进行解码处理,但在旁路的情况下,能够对多个比特同时进行解码。在1周期内能够对多个比特进行解码的旁路能够较大程度地提高吞吐量。
(变换系数解码部120)
如图1所示,变换系数解码部120具备:末尾位置解码部121、扫描顺序表保存部122、系数解码控制部123、系数有无标记解码部、系数值解码部125、解码系数存储部126。
(末尾位置解码部121)
末尾位置解码部121对由比特解码部132提供的解码比特(Bin)进行解释,对语法last_significant_coeff_x以及last_significant_coeff_y进行解码。解码出的语法1asLsignificant_coeff_x以及1asLsignificant_coeff_y被提供给系数解码控制部123。另外,语法last_significant_coeff_x以及last_significant_coeff_y的解码中使用的上下文索引ctxIdx被提供给上下文记录更新部131。
(扫描顺序表保存部122)
扫描顺序表保存部122保存有:以处理对象的TU的尺寸、表示扫描方向的类别的扫描索引以及沿着扫描顺序而赋予的频率分量识别索引为白变量,赋予处理对象的频率分量在频率区域中的位置的表。
作为这样的扫描顺序表的一例,可列举图5所示的ScanOrder。在图5所示的ScanOrder中,log2TrafoSize-2表示了处理对象的TU的尺寸,scanIdx表示了扫描索引,n表示了沿着扫描顺序而赋予的频率分量识别索引。另外,在图5中,xC以及yC表示了处理对象的频率分量在频率区域中的位置。
(系数解码控制部123)
系数解码控制部123是用于对量化残差信息解码部111所具备的各部分中的解码处理的顺序进行控制的构成。系数解码控制部123参考从末尾位置解码部121提供的语法last_significant_coeff_x以及last_significant_coeff_v,确定沿着顺向扫描的最后的非0变换系数的位置,并且按照以所确定的最后的非0变换系数的位置为起点的扫描顺序、即由扫描顺序表保存部122中保存的扫描顺序表所赋予的扫描顺序的逆向扫描顺序,将各频率分量的位置(uniPosX,uniPosY)提供给系数有无标记解码部。
另外,系数解码控制部123将作为表示处理对象的TU的尺寸、即对象频率区域的尺寸的参数的sz提供给变换系数解码部120所具备的各部(省略图示)。在此,sz具体而言是表示处理对象TU的一边的像素数、即对象频率区域的一边的频率分量的数目的参数。
此外,系数解码控制部123也可采用:按照由扫描顺序表保存部122中保存的扫描顺序表赋予的扫描顺序的顺向扫描顺序,将各频率分量的位置(uniPosX,uniPosY)提供给系数有无标记解码部的构成。
(系数值解码部125)
系数值解码部125对从比特解码部132提供的各Bin进行解释,对语法coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、coeff_sign_flag以及coeff_abs_level_minus3进行解码,并且基于对这些语法进行解码的结果,导出处理对象的频率分量中的变换系数(更具体而言是非0变换系数)的值。另外,各种语法的解码中使用的上下文索引ctxIdx被提供给上下文记录更新部131。导出的变换系数的值被保存至解码系数存储部126。
(解码系数存储部126)
解码系数存储部126是用于预先存储由系数值解码部125解码出的变换系数的各值的构成。另外,解码系数存储部126中存储了由系数有无标记解码部解码出的语法significant_coeff_flag的各值。由解码系数存储部126存储的变换系数的各值被提供给逆量化和逆变换部13。
(系数有无标记解码部)
本实施方式所涉及的系数有无标记解码部是下述构成:将频率区域根据频率的大小而分类为1个或多个部分区域,根据按每个部分区域而确定的导出方法来导出上下文索引ctxIdx,并且利用导出的上下文索引ctxIdx对表示非0变换系数的有无的语法significant_coeff_flag进行解码。
<系数有无标记解码部的第1构成例>
图1中表示了作为本实施方式所涉及的系数有无标记解码部的第1构成例的系数有无标记解码部124。
如图1所示,本构成例所涉及的系数有无标记解码部124具备:频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124c、高频位置上下文导出部124d。
(频率分类部124a)
频率分类部124a是下述构成:根据频率区域中的解码对象的频率分量的位置而将该频率分量分类到多个部分区域的某一个,并且将由低频位置上下文导出部124b、周边参考上下文导出部124c以及高频位置上下文导出部124d的某一个导出的上下文索引ctxIdx分配给该解码对象的频率分量。
本构成例所涉及的频率分类部124a参考频率区域所包含的各频率分量在该频率区域中的位置(uiPosX,uiPosY),将该频率分量分类为多个部分区域R0~R3。在此,设uiPosX=0、1、……、sz-1,uiPosY=0、1、……、sz-1(sz如上所述表示了处理对象TU的一边的像素数、即对象频率区域的一边的频率分量的数目,例如是sz=16,32等)。
频率分类部124a更具体而言进行以下的分类处理。
·将满足uiPosX+uiPosY<2的频率分量分类到部分区域R0。
·将满足2≤uiPosX+uiPosY<TH1的频率分量分类到部分区域R1。
·将满足TH1≤uiPosX+uiPosY<TH2的频率分量分类到部分区域R2。
·将满足TH2≤uiPosX+uiPosY的频率分量分类到部分区域R3。
在此,TH1以及TH2表示了满足TH1<TH2的阈值。作为具体的值,例如,与频率区域的尺寸(处理对象TU的尺寸)无关地设TH1=5、TH2=14即可。另外,在频率区域的尺寸为16×16的情况下,可以设TH1=5、TH2=14,在频率区域的尺寸为32×32的情况下,可以设TH1=5、TH2=30。这样,也可采用根据频率区域的尺寸而利用不同阈值的构成。
图9表示了通过基于本构成例所涉及的频率分类部124a的分类处理而分割成部分区域R0、R1、R2以及R3后的频率区域的一例。
另外,频率分类部124a针对属于部分区域R0的频率分量,分配由低频位置上下文导出部124b导出的上下文索引,针对属于部分区域R1以及R2的频率分量,分配由周边参考上下文导出部124c导出的上下文索引,针对属于部分区域R3的频率分量,分配由高频位置上下文导出部124d导出的上下文索引。
此外,关于将TH2的值设为sz-2以下,在周边参考上下文导出部124c中如后所述能够省略对象频率分量的周边的频率分量是否能参考的判定,因而优选。换言之,优选地,关于在周边参考上下文的导出中使用的所有参考像素收敛于处理对象TU的内部这样的频率分量,利用周边参考上下文,而关于此外的频率分量利用位置上下文。
此外,适合将TH2的值设为sz-2的情况是:周边的频率分量也使用与对象的位置分离了2个的位置的分量的情况。如限定参考计数的算出方法的说明中后述的那样,在周边的频率分量使用与对象的位置分离了1个的位置的分量的情况下,将TH2的值设为sz-1即可。
此外,根据发明者的实验,在实施方式1中说明的位置上下文的情况下,为了获得高的编码效率,优选将TH2的值设为sz以上。
另外,根据发明者的实验,在利用了实施方式3中说明的限定参考计数的周边参考上下文的情况下,能够将TH2的值设为sz-2以下,是优选的。此外,在设为sz-2的情况下,除了以sz-2来求取TH2的方法之外,也可如sz×7>>3那样利用乘积累加来求取TH2。
此外,阈值的值也可采用通过参考按每个sz而规定的表进行求取的构成。例如,尺寸的对数log2(sz)的值在频率区域的尺寸为16×16的情况下为4,在频率区域的尺寸为32×32的情况下为5,可通过在尺寸的对数的值中参考以下的表tableTH2[]来算出常数TH2。
tableTH2[]={0,0,0,0,14,30}
TH2=table[log2(sz)]
在根据sz尺寸以计算来求取阈值的情况下能够削减表。例如,希望采用如TH2=sz-2那样以尺寸与给定的常数的差或者和进行计算的方法、如TH2=sz×7/8、TH2=sz×7>>3那样通过尺寸与常数的积以及相除、移位来求取的方法。
另外,在上述的说明中,设为频率分类部124a作为对象频率分量的位置而参考(uiPosX,uiPosY),但本实施方式并不限定于此。例如,也可采用:作为对象频率分量的位置,参考沿着顺向扫描顺序或逆向扫描顺序而赋予的频率分量识别索引(例如图5中的“n”),将对象频率分量分类到多个部分区域的某一个的构成。
另外,频率分类部124a算出用于决定为了由算术码解码部130对语法significant_coeff_flag进行解码而使用的上下文的上下文索引ctxIdx。上下文索引ctxIdx按每个频率区域的尺寸以及解码对象的频率分量而算出。解码出的语法significant_coeff_flag被保存在解码系数存储部126中,被系数值解码部125参考。另外,解码时使用的上下文索引ctxIdx被提供给上下文记录更新部131。
(低频位置上下文导出部124b)
低频位置上下文导出部124b是下述构成:在解码对象的频率分量包含于低频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出的构成。在本说明书中,将基于对象频率分量的位置已导出的或要导出的上下文也表现为“位置上下文”。由于位置上下文与已经解码出的系数有无标记的值无关地决定某变换系数的位置的系数有无标记的上下文,因此具有能够与系数有无标记的上下文导出并行地进行系数有无标记的解码的效果。
本构成例所涉及的低频位置上下文导出部124b针对属于部分区域R0的频率分量,利用以下的式子导出上下文索引ctxIdx,并且将导出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+2×uiPosX+uiPosY
其中,NX是表示上下文索引的开始点的常数。在频率区域的尺寸为4×4以及8×8中使用的上下文数目分别为N4个、N8个的情况下,频率区域的尺寸为16×16以及32×32的开始点成为NX=N4+N8。
此外,位置上下文导出部的上下文索引可以是固定值。即,针对利用位置上下文分配的部分区域所包含的所有频率分量的位置可以分配一个上下文。例如,可进行以下的分配方式。
ctxIdx=NX
其中,固定值(开始点NX)可根据颜色分量、频率区域的尺寸来选择。
在以下说明的其他构成中,也包括利用固定值导出上下文索引的上下文导出部在内而称为位置上下文导出部。实际上,在根据变换系数的位置而进行了部分区域的分类的基础上,在某一部分区域中对上下文索引分配固定值的方法,是根据位置分配了上下文,在此意义上称为位置上下文。
(周边参考上下文导出部124c)
周边参考上下文导出部124c是下述构成:将针对解码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而解码完毕的非0变换系数的数目来导出。在本说明书中,参考针对对象频率分量的周边的频率分量而解码完毕的非0变换系数来导出的或要导出的上下文也表现为“周边参考上下文”。
本构成例所涉及的周边参考上下文导出部124c针对属于部分区域R1的频率分量,利用以下的式子来导出上下文索引ctxIdx,并且将导出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+3+min(4,cnt)
在此,通过将计数值cnt限位(clip)于固定值(在此为4)的处理来进行了多对一变换处理。
这里,部分区域R1的上下文索引的开始点为NX+3是基于以下的理由。由于从部分区域R1的开始点起的偏移2×uiPosX+uiPosY的值域为0、1、2,所以NX、NX+1、NX+2在部分区域R1中被使用,因而按照使R1与R0的上下文不重叠的方式确定了R1的开始点。以后,只要没有特别声明,则部分区域RN+1的开始点就设定为部分区域RN的开始点与部分区域RN的偏移的阈值的最大值+1。由此,能够使2个部分区域中上下文不重叠。
另外,本构成例所涉及的边参考上下文导出部124c针对属于部分区域R2的频率分量,利用以下的式子来导出上下文索引ctxIdx,并且将导出的上下文系引ctxIdx提供给频率分类部124a。
ctxIdx=NX+8+min(4,cnt)
在此,min(A,B)是取A以及B当中最小者的值的函数。即,若A<B,则min(A,B)=A。另外,cnt表示了针对对象频率分量的周边的频率分量而解码出的非0变换系数的数目(计数值)。图10(a)表示了处理顺序为逆向扫描顺序时的对象频率分量x、和在对象频率分量x的位置周边设定的参考区域RR所包含的频率分量即参考频率分量c1~c5。如图10(a)所示,若将针对各个参考频率分量解码出的变换系数的值表示为c1~c5,则针对对象频率分量x的cnt例如可通过以下的式子来导出。
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5!=0)
在此,设各项在()内的自变量为真时取1、在()内的自变量为假时取0。
图10(b)表示了处理顺序为顺向扫描顺序时的对象频率分量x、和在对象频率分量x的位置周边设定的参考区域RR所包含的频率分量即参考频率分量c1~c5。算出cnt的式子与上述相同。如图10(b)所示,顺向扫描时的参考频率分量的位置通过将逆向扫描时的参考频率分量的各自的位置相对于对象频率分量x在x轴方向以及Y轴方向上反转而求出。
另外,如图10(c)所示,在某些参考频率分量伸出到频率区域的外部的情况下,即,在参考区域的一部分伸出到对象频率区域的外侧的情况下,将该伸出到外部的频率分量判定为不能参考,将针对该频率分量的变换系数的值作为0来处理。即,在图10(c)所示的例子的情况下,作为c2=0来处理。
(高频位置上下文导出部124d)
高频位置上下文导出部124d是下述构成:在解码对象的频率分量包含于高频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
本构成例所涉及的高频位置上下文导出部124d针对属于部分区域R3的频率分量,利用以下的式子来导出上下文索引ctxIdx,并将导出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+13+min(maxR3,(uiPosX+uiPosY-TH2)>>shift)
在此,记号“>>”表示了向右移位。另外,作为shift以及maxR3,例如,使用shift=4、maxR3=3即可,但本实施方式并不限定于此。
另外,本构成例所涉及的低频位置上下文导出部124b、周边参考上下文导出部124c以及高频位置上下文导出部124d,可以是在对象频率区域的尺寸为16×16以及32×32的任一个的情况下都利用公共的式子来导出上下文索引ctxIdx的构成,也可以根据对象频率区域的尺寸是16×16还是32×32而利用不同的式子导出上下文索引ctxIdx的构成。作为这样的构成的一例,可举出下述构成,即,高频位置上下文导出部124d,
在对象频率区域的尺寸为16×16的情况下:
利用ctxIdx=NX+13+min(maxR3,(uiPosX+uiPosY-TH2)>>shift),
在对象频率区域的尺寸为32×32的情况下:
利用ctxIdx=NX+13+maxR3+1+min(maxR3,(uiPosX+uiPosY-TH2)>>shift)。
另外,作为另一例可举出下述构成,即,高频位置上下文导出部124d,
在对象频率区域的尺寸为16×16的情况下:
利用ctxIdx=NX+13+min(3,(uiPosX+uiPosY-14)>>4),
在对象频率区域的尺寸为32×32的情况下:
利用ctxIdx=NX+13+min(3,(uiPosX+uiPosY-30)>>4)。
进而,作为另一例可举出下述构成,即,高频位置上下文导出部124d,
在对象频率区域的尺寸为16×16的情况下:
利用ctxIdx=NX+13+min(3,(uiPosX+uiPosY-TH2)>>3),
在对象频率区域的尺寸为32×32的情况下:
利用ctxIdx=NX+13+min(3,(uiPosX+uiPosY-TH2)>>4)。
进而,作为另一例可举出下述构成,即,高频位置上下文导出部124d,
在对象频率区域的尺寸为16×16的情况下:
利用ctxIdx=NX+13+min(R3maz,(uiPosX+uiPosY-TH2)>>3),
在对象频率区域的尺寸为32×32的情况下:
利用ctxIdx=NX+13+R3max+1+min(R3max,(uiPosX+uiPosY-TH2)>>4)。
另外,低频位置上下文导出部124b以及高频位置上下文导出部124d,可采用利用按每个频率区域的尺寸而不同的式子来导出上下文索引ctxIdx的构成,周边参考上下文导出部124c也可采用针对不同的尺寸的频率区域而利用公共的式子来导出上下文索引ctxIdx的构成。
此外,通过基于本构成例所涉及的频率分类部124a的分类处理而分割的频率区域的例子并不限于图9所示那样,例如也可如图11(a)以及(b)那样对频率区域进行分割。
此外,位置上下文导出部的上下文索引可以是固定值。即,可针对利用位置上下文分配的部分区域的所有频率上的位置而分配一个上下文。例如,将以下的分配方式也称为位置上下文导出部。
ctxIdx=NX
其中,固定值(开始点NX)也可根据颜色分量、频率区域的尺寸来选择。
在图11(a)所示的例子中,频率区域被分类为部分区域R0、R1以及R3。针对属于部分区域R0、R1以及R3的频率分量,如上述那样,分别通过低频位置上下文导出部124b、周边参考上下文导出部124c以及高频位置上下文导出部124d来算出上下文索引ctxIdx。
另外,在图11(b)所示的例子中,频率区域被分类为部分区域R1以及R3。针对属于部分区域R1以及R3的频率分量,如上述那样,分别通过周边参考上下文导出部124c以及高频位置上下文导出部124d来算出上下文索引ctxIdx。
如上所述,根据本构成例所涉及的系数有无标记解码部,将对属于对象频率区域的上述多个部分区域当中高频侧的部分区域的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该变换系数有无标记的位置来导出,因此能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
<系数有无标记解码部的第2构成例>
关于本实施方式所涉及的系数有无标记解码部的第2构成例,参考图12、13来进行说明。图12是表示本构成例所涉及的系数有无标记解码部124-1的构成的框图。另外,图13是用于说明非0变换系数计数部124f对非0变换系数的数目进行计数的扫描列的图。
如图12所示,本构成例所涉及的系数有无标记解码部124-1具备频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124c、前扫描列上下文导出部124e,进而,在前扫描列上下文导出部124e中具备非0变换系数计数部124f。此外,对于与上述第1构成例所示的部件具有相同功能的部件标注相同标号,并省略其说明。
在本构成例中,与上述第1构成例不同的是,针对属于部分区域R3的频率分量的上下文索引ctxIdx的导出方法。
因此,在本构成例中,针对属于部分区域R0的频率分量,也与上述第1构成例同样利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+2×uiPosX+uiPosY
另外,针对属于部分区域R1的频率分量,利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+3+min(4,cnt)
另外,针对属于部分区域R2的频率分量,利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+8+min(4,cnt)
另一方面,针对属于部分区域R3的频率分量,前扫描列上下文导出部124e通过以下的方法来导出上下文索引ctxIdx。
(前扫描列上下文导出部124e)
前扫描列上下文导出部124e是下述构成:在解码对象的频率分量包含于高频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx,基于按扫描顺序为前一个的扫描列中所包含的非0变换系数的数目来导出。
另外,前扫描列上下文导出部124e所包含的非0变换系数计数部124f是对前一个扫描列中出现的非0变换系数的数目进行计数的构成。
本构成例所涉及的前扫描列上下文导出部124e针对属于部分区域R3的频率分量,利用以下的式子来导出上下文索引ctxIdx,并将导出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+13+min(maxR3,last cnt×linetbl[uiPosX+uiPosY]>>shift)
在此,last_cnt表示了前一个扫描列中出现的非0变换系数的数目。另外,由于根据扫描列而存在的非0变换系数的数目不同,linetbl是用于对非0变换系数的数目进行标准化的系数表,通过以下的式子来生成。
linetbl(x)=2shiftl/(x+1)(x<sz)
linetbl(x)=2shiftl/(2×sz-x-1)(x≥sz)
另外,shift=shiftl+2,例如,shiftl=3(以下同样)。
另外,本构成例所涉及的非0变换系数计数部124f,在扫描顺序为逆向扫描且对对象频率分量所属的扫描列Lx(图13(a))进行处理的情况下,对前面的扫描列Lx+1中发生的非0变换系数的数目last_cnt进行计数。此外,在顺向扫描的情况下,对Lx-1的行中发生的非0变换系数的数目进行计数。
另外,前扫描列上下文导出部124e也可以是不利用前一个扫描列中出现的非0变换系数的数目,而利用在前一个扫描列以前出现的非0变换系数的数目的构成。例如可以是下述构成:在当前扫描列的非0变换系数的数目curr_cnt上,加上对前一个扫描列中使用的last_cnt′乘以权重后的值last_cnt′>>1,来求出last_cnt。作为具体的式子,为
last_cnt=(last_cnt′>>1)+curr_cnt。
另外,前扫描列上下文导出部124e也可以是根据频率分量的位置而通过不同方法来导出上下文索引ctxIdx的构成。
例如,在频率分量的位置满足uiPosX>uiPosY的情况下,通过下述的式子来导出上下文索引ctxIdx。
CtxIdx=13+min(maxR3,last_cntx×linetbl[uiPosX+uiPosY]>>shift)
另一方面,在频率分量的位置满足uiPosX<uiPosY的情况下,通过下述的式子来导出上下文索引ctxIdx。
CtxIdx=NX+13+maxR3+1+min(maxR3,last_cnty×linetbl[uiPosX+uiPosY]>>shift)
在此,last_cntx是满足uiPosX>uiPosY且在前一个扫描列中出现的非0变换系数的数目,last_cnty是满足uiPosX<uiPosY且在前一个扫描列中出现的非0变换系数的数目。即,在前一个扫描列当中,比中央靠右上方向的扫描列成为last_cntx的计数的对象,比中央靠左下方向的扫描列成为last_cnty的计数的对象(图13(b))。
另外,shift=shiftl+1。
进而,前扫描列上下文导出部124e可以是通过以下的式子来导出上下文索引ctxIdx的构成。
CtxIdx=13+min(maxR3,last_cnt>>shifttbl[uiPosX+uiPosY+1])
在此,shifttbl[k]=Int(log2(numLineCoeff[k]/maxR3)),numLineCoeff[k]是k的位置的扫描列中的非0变换系数的数目。另外,Int表示了将自变量的小数点以下舍去。
如上所述,根据本构成例所涉及的系数有无标记解码部,将对上述多个部分区域当中高频侧的部分区域中沿着当前扫描列的各变换系数有无标记分配的上下文索引,基于沿着前扫描列的非0变换系数的数目来导出。在此,关于沿着前扫描列的非0变换系数的数目,只要预先进行一次计数,则在导出对沿着当前扫描列的各变换系数有无标记分配的上下文索引时就可以公共使用。因此,与需要针对位置不同的变换系数有无标记个别地导出上下文索引的现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量,并且能够实现高的编码效率。
<系数有无标记解码部的第3构成例>
关于本实施方式所涉及的系数有无标记解码部的第3构成例,参照图14、15来进行说明。图14是表示本构成例所涉及的系数有无标记解码部124-2的构成的框图。另外,图15(a)~(i)是表示周边参考上下文导出部124g导出上下文时所参考的频率分量的图。此外,如在图10(a)和图10(b)的关系中已经示出的那样,在图15(a)~(i)的情况下,对应的顺向扫描时的参考频率分量的位置也通过将逆向扫描时的参考频率分量的各自的位置相对于对象频率分量x在X轴方向以及Y轴方向上反转而求出。因此,本发明在进行顺向扫描的情况下也能应用significant_coeff_flag。
如图14所示,本构成例所涉及的系数有无标记解码部124-2具备:频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124g。此外,对于与上述第1构成例所示的部件具有相同功能的部件标注相同标号,并省略其说明。
在本构成例中,与上述第1构成例不同的是,针对属于部分区域R3的频率分量的上下文索引ctxIdx的导出方法。
因此,在本构成例中,针对属于部分区域R0的频率分量,也与上述第1构成例同样利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+2×uiPosX+uiPosY
另外,针对属于部分区域R1的频率分量,利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+3+min(4,cnt)
另外,针对属于部分区域R2的频率分量,利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+8+min(4,cnt)
另一方面,针对属于部分区域R3的频率分量,周边参考上下文导出部124g通过以下的方法来导出上下文索引ctxIdx。
(周边参考上下文导出部124g)
周边参考上下文导出部124g是下述构成:将针对解码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而解码完毕的非0变换系数的数目来导出。
周边参考上下文导出部124g利用与在低频率的区域R1、R2中使用的cnt相比参考数少的cnt2(限定参考计数),针对属于部分区域R3的频率分量通过以下的式子来导出上下文索引ctxIdx。此外,限定参考计数是指与在其他部分区域中使用的计数相比参考区域被限定得较小。相对于此,将5点参考等通常的计数cnt的计算称为通常参考计数。
CtxIdx=NX+8+cnt2
另外,cnt2通过以下的式子来算出。
cnt2=(c1!=0)+(c3!=0)+(c4!=0)
在此,c1、c3、c4是针对图15的(i)所示的对象频率分量x的周边的频率分量解码出的变换系数。
此外,限定参考计数cnt2的参考位置不限于上述情况,也可使用与5点相比参考数少的其他参考位置。例如,参考数为2的情况下的一例为
cnt2=(c1!=0)+(c3!=0)。
进而,在对象频率区域的尺寸为16×16的情况下,周边参考上下文导出部124g利用CtxIdx=NX+8+cnt2来导出上下文索引ctxIdx,在对象频率区域的尺寸为32×32的情况下,利用CtxIdx=NX+8+cnt2来导出上下文索引ctxIdx。
这样,优选利用位于高频侧的区域的参考数比位于低频侧的区域的参考数少的计数值,与按每个区域来确定计数值的开始点相加,来求取上下文索引。
在上述的例子中,部分区域R3的上下文的开始点是NX+8,与部分区域R2的上下文的开始点相等。这意味着在计数值cnt与cnt2为相同值的情况下部分区域R2和部分区域R3中为相同的上下文索引CtxIdx。换言之,部分区域R2和部分区域R3共享相同的上下文。这样,在位于不同的频率区域的区域间共享相同的上下文的情况下,先扫描的区域(若significant_coeff_flag的编码顺序为逆向扫描则为R3)中得到的上下文能够在接下来扫描的区域(若significant coeff flag的编码顺的编码顺序为逆向扫描则为R2)中被利用,因此能够实现高的编码的效率。另外,在分割成部分区域的情况下也不会使上下文数增加,因此能够降低伴随上下文的存储器。
图16表示了在构成对象频率区域的部分区域R0~R3当中的部分区域R2和R3中共享一部分上下文的情况。更具体而言,表示了在部分区域R2中使用的通常参考计数和在部分区域R3中使用的限定参考计数中共享由相同上下文索引(在此为NX+8~NX+11)表示的上下文。
在发明者的实验中确认了:在计数值小的区域(部分区域R2)和计数值大的区域(部分区域R3)中使用同一开始点,在2个区域中共享上下文的情况与不共享上下文的情况相比能够实现高的编码效率。此外,也可实现在这2个区域中不共享上下文的方法。该情况下,在部分区域R3中,设为
CtxIdx=NX+13+cnt2。
如上所述,本构成例所涉及的周边参考上下文导出部124g,通过将按每个部分区域确定的给定的开始点(例如上述NX)与按每个上述部分区域确定的变量(例如上述cnt2)相加来导出上下文索引,针对上述变量的导出方法不同的多个部分区域,将开始点设定为相同值,由此在上下文索引的导出方法不同的该多个部分区域中使用公共的上下文。
(系数有无标记解码部的第3构成例的另一构成例)
以下,针对基于系数有无标记解码部124-2的其他处理例,参考图48~图50来进行说明。
图48(a)~(b)是表示本处理例中由频率分类部124a分割后的部分区域的图,图48(a)是对与亮度值相关的变换系数进行解码时适合应用的情况,图48(b)是对与色差相关的变换系数进行解码时适合应用的情况。在图48(a)~(b)中,关于阈值TH、阈值TH2,通过以下的式子并根据对象频率区域的宽度和高度的最大值来确定
TH=Max(width,height)>>2
TH2=3×Max(width,height)>>4。
在此,width表示了以频率分量为单位来表现的对象频率区域的宽度,height表示了以频率分量为单位来表现的对象频率区域的高度。例如,被称为16×4变换的对象频率区域的宽度为16分量(与16像素对应),当高度为4分量(与4像素对应)时,width=16、height=4。
频率分类部124a如图49所示,根据对象变换系数的频率分量上的位置(xC,yC),如以下的式子那样,利用X坐标与Y坐标之和与阈值TH的比较,对部分区域R1和部分区域R2进行分类。
xC+yC<TH(或者xC+yC>=TH)
另外,频率分类部124a如图49所示,根据将对象变换系数的频率分量上的位置(xC,yC)用某子块尺寸(在此为4)除得的值(子块坐标),如以下的式子那样,利用子块坐标下的X坐标与Y坐标之和与阈值TH2的比较,参考数彼此不同的部分区域R2和部分区域R3进行分类。
(xC>>2)+(yC>>2)<TH2
在此,优选对2个部分区域进行区别的阈值TH2满足TH2×子块尺寸(=4)小于对象频率区域的尺寸sz(=Max(width,height))。该情况下,能够省略对象频率分量的周边的频率分量是否能参考的判定。例如,3×Max(width,height)>>4是Max(width,height)×3/4,因此满足该上述关系。
另外,在处理量削减和编码效率削减的平衡上,优选TH2的值为Max(width,height)>>2(>>2是在子块尺寸为4的情况下除以子块的处理)以下。
即,当将上述对象频率区域的尺寸表示为sz时,在处理量削减和编码效率削减的平衡上,在判定中利用X坐标以及Y坐标之和的情况下,优选上述阈值TH以及TH2为sz以下的值,在判定中利用子块的X坐标以及Y坐标之和的情况下,优选上述阈值TH以及TH2具有sz/子块以下的大小。上述TH、TH2满足该关系。
进而,当将上述对象频率区域的尺寸表示为sz时,为了省略周边的频率分量是否能参考的判定,在判定中利用X坐标以及Y坐标之和的情况下,优选上述阈值TH以及TH2为小于sz的值,在判定中利用子块的X坐标以及Y坐标之和的情况下,优选上述阈值TH以及TH2具有小于sz/子块的大小。上述TH、TH2满足该关系。
另外,阈值也可根据对象频率区域的大小来确定。例如,如以下的式子那样,可使用将对象频率区域的宽度和高度的最大值进行向右移位后的值、以及在向右移位后加上或减去给定的值后的值。
TH2=3×Max(width,height)>>4
TH2=(3×Max(width,height)>>4)+4
图49是表示导出对图48(a)所示的部分区域R0~R3各自包含的频率区域分配的与亮度相关的上下文索引cxtIdx的导出处理的伪码。在图49中,区域R0的上下文导出由位置上下文导出部124b进行,区域R1~区域R3的上下文导出由周边参考上下文导出部124g进行。
周边参考上下文导出部124g例如针对属于部分区域R1的频率分量,利用以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR1+Min(2,ctxCnt);
这样,上下文索引sigCtx根据开始点sigCtxOffsetR1与偏移值ctxCnt之和而被求出。在此,本构成的偏移值ctxCnt是根据计数值而得到的值,在此,根据按照使计数值为约1/2的方式进行向右移位而得到的值
ctxCnt=(cnt+1)>>1···(eq.A4)
来确定。
此外,进行多对一变换的处理不限于向右移位,也可以如以下那样是将计数值限位在固定值(在此为3)的处理。
ctxCnt=min(3,cnt)
该情况下,可如下算出上下文索引。
sigCtx=sigCtxOffsetR1+ctxCnt;
其中,在算出非0变换系数的计数值cnt时,可根据对象变换系数的频率分量上的位置(xC,yC)来变更所参考的变换系数。例如,在图49所示的伪码中,根据位置来切换参考c1、c2、c3、c4、c5这5个点还是参考c1、c2、c4、c5这4个点。
if(((xC&3)||(yC&3))&&(((xC+1)&3)||((yC+2)&3))))
{
cnt=(c1!=0)+(c2!=0)+(c4!=0)+(c5!=0);
}else{
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5!=0);
}
另外,周边参考上下文导出部124g例如针对属于部分区域R2的频率分量,利用与部分区域R1不同的开始点(在此为sigCtxOffsetR2)并利用以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR2+Min(2,ctxCnt);
其中,偏移值ctxCnt的计算方法与部分区域R1相同。另外,上述处理中加入了限位为2以下的处理,但这也可以说是多对一变换处理。
另外,周边参考上下文导出部124g例如针对属于作为高频分量的部分区域R3的频率分量,利用以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR2+Min(2,ctxCnt);
部分区域R3的开始点与部分区域R2同样利用sigCtxOffsetR2。由此,如已经说明过的那样,通过上下文共享,能够同时实现高的编码效率和少的上下文数目。
在此,偏移数ctxCnt的计算中利用以下的式子。
cnt=(c1!=0)+(c5!=0);
ctxCnt==cnt;
这样,在高频分量的部分区域R3中,通过比低频率分量的部分区域R1、R2少的参考数来算出计数值cnt,因此处理量被削减。
在上述式子中,计数值cnt的计算利用图51(a)所示的c1、c5这2点来算出。该情况下,不参考按照处理顺序而位于近前方(在处理顺序为逆向扫描顺序的情况下为作为对象的变换系数的位置的下侧)的坐标(例如图10(a)所示的c3)的变换系数,因此能够并行进行上下文导出处理和解码处理。
另外,要进一步提高并行度时,希望采用不仅不参考按照处理顺序而位于近前方的坐标的变换系数,进一步还不参考位于近前方的近前方的坐标(例如图10(a)所示的c1)的变换系数的方法。该情况下,如以下的式子那样,可利用图51(b)所示的c2、c5这2点来算出计数值。
cnt=(c2!=0)+(c5!=0);
在此,在参考数不同的部分区域R2以及部分区域R3中,在参考数多的部分区域(R2)中,通过向右移位等来执行对计数值进行多对一变换的处理(也称为汇集处理),求出偏移值ctxCnt来算出上下文索引,但在参考数少的部分区域(R3)中,不进行使计数值减少的处理而直接算出上下文索引。在部分区域R3中,与部分区域R2相比能够删除计数值的汇集处理,因此处理量被削减。此外,也可使2个部分区域的处理上的设计统一优先,在2个部分区域中同样地进行汇集处理(在部分区域R3中进行向右移位等)。此外,计数值的多对一变换处理也可设为对计数值的值域进行压缩的处理。
在为色差的情况下,针对图48(b)的部分区域R0、部分区域R1、部分区域R3,也进行与为亮度的情况同样的处理。首先,频率分类部124a如图50所示,通过将对象变换系数的频率分量上的位置(xC,yC)除以子块尺寸(在此为4)而得到的子块坐标的X坐标与Y坐标之和、与根据频率区域的宽度和高度之和计算的阈值TH2的比较,对参考数彼此不同的部分区域R1和部分区域R3进行分类。进而,如图50所示,在部分区域R0中,在位置上下文导出部124b中根据位置上下文来进行上下文导出,在部分区域R1、R3中,在周边参考上下文导出部124g中,进行基于周边参考上下文的上下文导出。在部分区域R1和部分区域R3中,在利用不同的参考数的同时共享上下文。另外,在参考数多的部分区域R1中进行计数值的汇集处理,在参考数少的部分区域R2中不进行计数值的汇集处理,按该方式来导出上下文索引。
在上述的例子中,高频区域中利用少的计数值,因此与利用低频区域中的多的计数值的情况相比能够削减处理量。另外,在利用少的计数值的部分区域中,不需要在上下文索引的导出中对计数值进行向右移位或者限位等的多对一变换处理。因此,处理量被进一步削减。
根据上述构成,在导出方法不同的多个部分区域中,通过使按每个部分区域确定的开始点相等,不会使上下文数增加,而且能够在实现了高的编码效率的情况下削减处理量。
此外,周边参考上下文导出部124g如以下所示那样,可根据偏重对所参考的变换系数的以下情形进行切换。
更具体而言,本构成例所涉及的周边参考上下文导出部124g可采用:针对属于部分区域R3的频率分量,利用以下的式子来导出上下文索引ctxIdx,并将导出的上下文索引ctxIdx提供给频率分类部124a的构成。
ctxIdx=NX+13+min(3,pref_y_flag?cnty:cntx)
在此,pref_y_flag是考虑变换系数的偏重而导出的垂直优先标记pref_y_flag,根据该垂直优先标记来决定参考cnty和cntx的哪一个。此外,垂直优先标记能够通过以下的3个方法来判定。
·基于对象位置的判定
在uiPosY>uiPosX时设为true。即,
设为pref_v_flag=uiPosY>uiPosX?true:false。
·基于按扫描顺序而非0变换系数的末尾的位置的判定
在last_significant_coeff_x<last_significant_coeff_y时设为true。即,
设为pref_y_flag=last_significant_coeff_x<last_significant_coeff_y?true:false。
·基于前一个扫描列的判定
在last_cntx<last_cnty时设为true。即,
设为pref_y_flag=last_cntx<last_cnty?true:false。
此外,垂直优先标记的判定并不限于上述3个方法。
另外,在利用垂直优先标记的情况下,也能在通常参考计数和限定参考计数中共享相同的上下文。该情况下,如下面那样,可通过将部分区域R3的上下文的开始点设为与部分区域R2的开始点相同的NX+8来实现。
ctxIdx=NX+8+min(3,pref_y_flag?cnty:cntx)
另外,cnty以及cntx表示了针对在对象频率分量的周边的频率分量当中成为参考对象的频率分量解码出的非0变换系数的数目。为了导出cnty以及cntx而参考的频率分量的数目为2~4,比上述的cnt的参考数5少。此外,以下,也将cnty以及cntx称为优先参考计数。
下面,关于cnty以及cntx的算出方法,参考图15来进行说明。在图15中,表示了处理顺序为顺向扫描顺序时的对象频率分量x、和针对该周边的参考频率分量而解码出的变换系数(c1~c5)。
首先,在图15的(a)、(b)中表示参考数为4的情况。在参考数为4的情况下,参考图15的(a)所示的c1、c3、c4、c5、图15的(b)所示的c1、c2、c3、c4,根据下述的式来算出cnty以及cntx。
cnty=(c1!=0)+(c3!=0)+(c4!=0)+(c5!=0)
cntx=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)
在此,设各项在()内的自变量为真时取1、在()内的自变量为假时取0。以下同样。
另外,在参考数为3的情况下,参考图15的(c)所示的c1、c3、c5、图15的(d)所示的c1、c2、c3,根据以下的式子来算出cnty以及cntx。
cnty=(c1!=0)+(c3!=0)+(c5!=0)
cntx=(c1!=0)+(c2!=0)+(c3!=0)
此外,在参考数为3的情况下,也可参考图15的(e)所示的c3、c4、c5、图15的(f)所示的c1、c2、c4,根据以下的式子来算出cnty以及cntx。
cnty=(c3!=0)+(c4!=0)+(c5!=0)
cntx=(c1!=0)+(c2!=0)+(c4!=0)
另外,在参考数为2的情况下,也可参考图15的(g)所示的c3、c5、图15的(h)所示的c1、c2,根据以下的式子来算出cnty以及cntx。
cnty=(c3!=0)+(c5!=0)
cntx=(c1!=0)+(c2!=0)
如上所述,根据本构成例所涉及的系数有无标记解码部,将对各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边所设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,在上述多个部分区域当中,高频侧的部分区域中设定的上述参考区域比低频侧的部分区域中设定的上述参考区域小,因此与低频侧的部分区域中设定的参考区域和高频侧的部分区域中设定的参考区域具有相同大小的现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量,并且能够实现高的编码效率。
<系数有无标记解码部的第4构成例>
关于本实施方式所涉及的系数有无标记解码部的第4构成例,参考图17来进行说明。本构成例是将第1构成例与第3构成例合并后的构成。此外,对于与上述第1~第3构成例中示出的部件具有相同功能的部件标注相同标号,并省略其说明。
图17是表示本构成例所涉及的系数有无标记解码部的构成的框图。如图17所示,本构成例所涉及的系数有无标记解码部124’具备:频率分类部124a′、低频位置上下文导出部124b、周边参考上下文导出部124g以及高频位置上下文导出部124d。
在本构成例中,与上述第3构成例不同的是,新设了部分区域R4,将针对属于R4的频率分量的上下文索引ctxIdx的导出方法设为第1构成例所示的位置上下文。
因此,在本构成例中,针对属于部分区域R0的频率分量,也与上述第1构成例同样,低频位置上下文导出部124b利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+2×uiPosX+uiPosY
另外,针对属于部分区域R1的频率分量,周边参考上下文导出部124g利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+3+min(4,cnt)
另外,针对属于部分区域R2的频率分量,周边参考上下文导出部124g利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+8+min(4,cnt)
另外,周边参考上下文导出部124g针对属于部分区域R3的频率分量,利用与在低频率的区域R1、R2中使用的cnt相比参考数少的cnt2(限定参考计数),根据以下的式子来导出上下文索引ctxIdx。此外,在本例中,也将cnt2称为限定参考计数。
CtxIdx=NX+8+cnt2
本构成例所涉及的高频位置上下文导出部124d针对属于部分区域R4的频率分量,利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+13
在上述的例子中,部分区域R4的上下文数为1个,因此在判定为是部分区域R4的情况下,不需要进一步导出上下文索引ctxIdx的处理。在发明者的实验中确认了:在将上下文数设为1个的情况下,通过适当设定阈值TH4,也能够在实现高的编码效率的情况下削减处理量。
在上述的例子中,部分区域R4的上下文数为1个,在高频位置上下文导出部124d中,利用固定值来导出了上下文索引。
图18表示了在构成对象频率区域的部分区域R0~R4之中部分区域R2和R3中共享一部分上下文的情况。更具体而言表示了:在部分区域R2中使用的通常参考计数和在部分区域R3中使用的限定参考计数中,共享由相同的上下文索引(在此为NX+8~NX+11)表示的上下文。在图18中,部分区域R4中使用的上下文数设为了1,但也可采用如以下那样将上下文数设为2个的构成。例如可采用:根据频率区域的尺寸来对2个进行区分的构成
ctxIdx=(sz==16)?NX+13:NX+14、
根据X坐标与Y坐标的比较来对2个进行区分的构成
ctxIdx=(uiPosY>uiPosX)?NX+13:NX+14等。
此外,也可与第1构成例同样,一般以下面的形式导出上下文。
ctxIdx=NX+13+min(maxR3,(uiPosX+uiPosY-TH2)>>shift)
另外,如图18所示,本实施方式中使用的频率分类部124a′分类为5个部分区域R0~R4。更具体而言,进行以下的分类处理。
·将满足uiPosX+uiPosY<2的频率分量分类到部分区域R0。
·将满足2≤uiPosX+uiPosY<TH1的频率分量分类到部分区域R1。
·将满足TH1≤uiPosX+uiPosY<TH2的频率分量分类到部分区域R2。
·将满足TH2≤uiPosX+uiPosY<TH3的频率分量分类到部分区域R3。
·将满足TH3≤uiPosX+uiPosy的频率分量分类到部分区域R4。
另外,上述的TH1例如设为5。另外,TH2和TH3可根据以下的式子并基于sz来确定。
TH2=sz×7>>3
TH3=sz+6
在该频率区域的尺寸为16×16的情况下,TH2=14,TH3=22,在为32×32的情况下,TH2=28,TH3=38。
另外,为了减轻低QP下的性能下降,也可按如下方式来设定阈值TH2以及TH3。
TH2=sz
TH3=sz+8
即,可以在频率区域的尺寸为16×16的情况下,设TH2=16、TH3=24,在频率区域的尺寸为32×32的情况下,设定TH2=32、TH3=40。
此外,阈值的算出的一般式为
TH2=sz×a2/b2+c2
TH3=sz×a3/b3+c3。
在此,a2、b2、c2、a3、b3、c3是给定的常数。利用b2以及b3的除法也通过移位运算来处理。一般,增大阈值则编码效率提高,但处理量被削减的高频侧的部分空间R3、部分空间R4的面积减小,因此处理量削减的效果减少。
此外,在阈值的计算中使用的常数基于尺寸sz的情况下,通过参考表来进行计算,能够省略因尺寸引起的分歧。另外,在常数不依赖于尺寸的情况下,可省略参考表的处理。在常数不依赖于尺寸的情况下,按以下方式求出即可。
TH2=sz×a/b+c
TH3=sz×a/b+c
阈值可由比率a/b或者加法c来控制。在以a/b来控制阈值的情况下,高频侧的部分空间的面积与低频侧的部分空间的面积比不依赖于尺寸sz,但在由加法c来控制的情况下依赖于尺寸。在发明者的实验中,32×32的情况与16×16相比,部分区域R4的面积比可增大,因此在TH3的算出中适合使用加法c。这样的例除了已经说明过的式子以外还可适当采用以下的式子。
TH2=sz×7>>3
TH3=sz+12
此外,根据发明者的实验,为了获得大的处理量降低,TH2设为sz-2以下为好,为了实现高的编码效率,TH3设为sz以上为好。例如,除了以上的式子以外,以下的式子也是适当的。另外,在设TH2=sz-1的情况下,在部分区域R1中也能省略对象频率分量的周边的频率分量是否能参考的判定。因此,虽然处理量降低效果会略微下降,但可以保守地设为TH2=sz-1。
TH2=sz×7>>3
TH3=sz×11>>3
如上所述,根据本构成例所涉及的系数有无标记解码部,在比给定的阈值TH2更高频侧的部分区域中对各变换系数有无标记分配的上下文索引可取的值的范围,小于在低频侧的部分区域中设定的上述参考区域中可取的值的范围,因此能够削减用于高频侧的上下文索引的导出处理的处理量。进而,在比另一阈值TH3更高频侧的部分区域中,由于基于位置来导出上下文索引,因此能够进一步削减处理量。
另外,在以上的构成的一形态中,在计数值的导出方法不同的2个部分区域中,通过使按每个部分区域确定的开始点相等,不会使上下文数增加,而且能够在实现了高的编码效率的情况下削减处理量。
另外,在以上的构成的一形态中,将基于位置导出的情况下的上下文数设为了1个或2个这样少的值。由此,将上下文数的增加抑制为最小限度,进而对上下文进行区别的处理量少,能够在实现了高的编码效率的情况下削减处理量。
如上所述,在本构成例所涉及的系数有无标记解码部中,频率分类部124a′将对象频率区域根据处理对象的变换系数有无标记的位置而分类为至少3个部分区域,周边参考上下文导出部124g在第1部分区域(部分区域R1或R2)中,参考N1个解码完毕的非0变换系数(N1是自然数),在第2部分区域(部分区域R3)中,参考N2个解码完毕的非0变换系数(N2是满足N2<N1的自然数),由此导出上下文索引,在第3部分区域(部分区域R4)中,高频位置上下文导出部124d根据变换系数有无标记的位置来导出上下文索引。
根据上述构成,通过将为了参考上下文索引而参考的解码完毕的非0变换系数的数被更小地设定的部分区域、与基于对象频率区域中的该变换系数有无标记的位置来导出上下文索引的部分区域进行组合,能够实现高的编码效率,并且与现有的构成相比能够削减用于高频侧的上下文索引的导出处理的处理量。
<系数有无标记解码部的第5构成例>
关于本实施方式所涉及的系数有无标记解码部的第5构成例,参考图19~图21来进行说明。图19是表示本构成例所涉及的系数有无标记解码部124-3的构成的框图。另外,图20是用于说明对非0变换系数的数目进行计数的扫描列的图。另外,图21(a)~(c)是用于说明在到处上下文时参考的对象的图。
如图19所示,本构成例所涉及的系数有无标记解码部124-3具备频率分类部124a、低频位置上下文导出部124b、高频区域上下文导出部124h,进而,高频区域上下文导出部124h中具备周边参考上下文导出部124i以及前扫描列上下文导出部124e。另外,在前扫描列上下文导出部124e中具备非0变换系数计数部124f。此外,对于与上述第1~第3构成例中示出的部件具有相同功能的部件标注相同标号,并省略其说明。
在本构成例中,与上述第1构成例不同的是,针对属于部分区域R3的频率分量的上下文索引ctxIdx的导出方法。
因此,在本构成例中,针对属于部分区域R0的频率分量,也与上述第1构成例同样利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+2×uiPosX+uiPosY
另外,针对属于部分区域R1的频率分量,利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+3+min(4,cnt)
另外,针对属于部分区域R2的频率分量,利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+8+min(4,cnt)
另一方面,针对属于部分区域R3的频率分量,高频区域上下文导出部124h通过以下的方法来导出上下文索引ctxIdx。
(高频区域上下文导出部124h)
高频区域上下文导出部124h是下述构成:将针对解码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而解码完毕的非0变换系数的数目、以及前一个扫描列所包含的非0变换系数的数目来导出。
高频区域上下文导出部124h所具备的周边参考计数部124i,参考与对象频率分量相邻的解码完毕的变换系数,利用以下的式子来导出cnt2’。此外,也将cnt2’称为限定参考计数。
cnt2’=(c1!=0)+(c3!=0)
在此,c1、c3是针对如图21的(a)所示的对象频率分量x的周边的频率分量而解码出的变换系数。
高频区域上下文导出部124h所具备的前扫描列非0变换系数计数部124j利用以下的式子来导出cnt3。
cnt3=(last_cnt>THc)?1∶0
在此,作为阈值THc,例如利用THc=1即可,但这并不用于限定本实施方式,作为THc,可使用依赖于uiPosX、uiPosY的阈值。更具体而言,可使用与沿着对象频率分量所属的扫描列的频率分量的数目具有正相关的阈值。
另外,last_cnt如上所述表示了前一个扫描列中出现的非0变换系数的数目。
另外,前扫描列非0变换系数计数部124j可采用利用以下的式子来导出cnt3的构成。
cnt3=(last_cnt2>THc)?1∶0
在此,last_cnt2表示了在往前数第2个扫描列中出现的非0变换系数的数目。
图20表示了在扫描顺序为逆向扫描顺序时处理对象的扫描列Lx、前一个扫描列Lx+1以及往前数第2个扫描列Lx+2的例子。
前扫描列非0变换系数计数部124j在与当前扫描列相关的处理结束后进行与下一扫描列相关的处理时,例如,按以下方式来更新last_cnt、last_cnt2。
last_cnt2=last_cnt
last_cnt=curr_cnt
在此,curr_cnt如上所述表示了当前扫描列的非0变换系数的数目。
本构成例所涉及的周边参考上下文导出部124h参考由周边参考计数部124i导出的cnt2’、以及由前扫描列非0变换系数计数部124j导出的cnt3,针对属于部分区域R3的频率分量而利用以下的式子来导出上下文索引ctxIdx,并将导出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+13+min(3,cnt2’+cnt3)
如上所述,根据本构成例所涉及的系数有无标记解码部,将对上述多个部分区域当中高频侧的部分区域中的沿着当前扫描列的各变换系数有无标记分配的上下文索引,基于沿着前扫描列的非0变换系数的数、和在对象频率区域中的该变换系数有无标记的位置周边所设定的参考区域所包含的解码完毕的非0变换系数的数来导出,在上述多个部分区域当中高频侧的部分区域中设定的上述参考区域比低频侧的部分区域中设定的上述参考区域小,因此与现有的构成相比,能够更有效地削减用于高频侧的上下文索引的导出处理的处理量,并且能够实现高的编码效率。
此外,周边参考计数部124i可以是利用以下的式子来导出cnt2’的构成。
cnt2’=pref_y_flag?cnty’:cntx’
在此,优先参考计数cnty'例如可采用下述构成:利用针对图21(b)所示的参考频率分量而解码完毕的变换系数c3、c5,根据
cnty’=(c3!=0)+(c5!=0)
来导出,也可采用下述构成:利用针对图21(c)所示的参考频率分量而解码完毕的变换系数c1、c2,根据
cntx’=(c1!=0)+(c2!=0)
来导出。
<系数有无标记解码部的第6构成例>
关于本实施方式所涉及的系数有无标记解码部的第6构成例,参考图22来进行说明。图22是表示本构成例所涉及的系数有无标记解码部124-4的构成的框图。
如图22所示,本构成例所涉及的系数有无标记解码部124-4具备:频率分类部124a、低频位置上下文导出部124b以及周边参考上下文导出部124k。此外,对于与上述第1~第4构成例所示的部件具有相同功能的部件标注相同标号,并省略其说明。
在本构成例中,与上述第1构成例不同的是,针对属于部分区域R1~R3的频率分量的上下文索引ctxIdx的导出方法。
因此,在本构成例中,针对属于部分区域R0的频率分量,也与上述第1构成例同样利用以下的式子来导出上下文索引ctxIdx。
ctxIdx=NX+2×uiPosX+uiPosY
另一方面,针对属于部分区域R1的频率分量,周边参考上下文导出部124k通过以下的方法来导出上下文索引ctxIdx。
ctxIdx=NX+3+min(4,pref_y_flag?cnty:cntx)
另外,针对属于部分区域R2的频率分量,周边参考上下文导出部124k通过以下的方法来导出上下文索引ctxIdx。
ctxIdx=NX+8+min(4,pref_y_flag?cnty:cntx)
另外,针对属于部分区域R3的频率分量,周边参考上下文导出部124k通过以下的方法来导出上下文索引ctxIdx。
ctxIdx=NX+13+min(4,pref_y_flag?cnty:cntx)
在此,关于pref_y_flag、cnty、cntx已在上述描述中进行了说明,所以在此省略说明。
如上所述,根据本构成例所涉及的系数有无标记解码部,将对各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边所设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,由于上述参考区域所包含的解码完毕的变换系数的数目为4以下,因此参考比现有的构成少的数目的解码完毕的变换系数即可。因此,根据上述构成,与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量,并且能够实现高的编码效率。
(变换系数解码部120的另一构成例1)
以上,关于本实施方式所涉及的变换系数解码部120,主要以系数有无标记解码部的构成例为中心进行了说明,但本实施方式所涉及的变换系数解码部120的构成并不限于上述的例子。
例如,可采用:在编码数据#1的序列参数组SPS中包含对高频分量的编码进行限制的标记(限制标记)high_coeff_restriction_flag的构成。在这样的构成的情况下,可采用下述构成:变换系数解码部120对该标记high_coeff_restriction_flag进行解码,在high_coeff_restriction_flag=0的情况下,对针对处理对象的频率区域所包含的所有频率分量的变换系数进行解码,在high_coeff_restriction_flag=1的情况下,仅对针对满足下述条件uiPosX+uiPosY<TH2的频率分量的变换系数进行解码,按该方式进行限制。
另外,可以采用仅在处理对象的TU为特定的尺寸(例如,32×32或16×16)的情况下应用上述的限制的构成。
图23是表示在处理对象的频率区域中由满足uiPosX+uiPosY<TH2的频率分量构成的区域R0’和此外的区域R1’的图。在图23中,针对区域R0’所包含的频率分量,变换系数被解码,针对区域R1’所包含的频率分量,变换系数未被解码,一律设定为既定值(例如0)。
另外,可采用上述阈值TH2例如作为固定值而使用TH2=14的构成,也可采用将表示阈值TH2的值的语法包含在编码数据#1中的构成。
作为表示阈值TH2的值的语法,例如使用表示(TH2-14)/2的值的语法sps_coeff_restriction_value_minus14_div2即可。
另外,也可采用根据层次来决定是否应用上述的限制的构成。在此,层次是指对语法中使用的值的范围进行限制的限制。层次被分为从0至给定的值为止的限制,使小的值的层次成为较严格的限制。层次特别是为了限制解码的复杂度而使用,图像的宽度、高度、帧率等包含于限制对象的语法中。另外,简档(profile)在所使用的工具的限制中被使用。在语法根据工具而不同的情况下,语法会根据简档而变化。层次按每个简档而被确定。此外,简档以及层次例如设为以序列参数组进行编码,但并不限定于此。
例如,如图24(a)所示,可采用在层次为0~2的情况下设为有限制、在层次为3以上的情况下设为没有限制的构成。
进而,也可设为根据层次而适应性地变更阈值的构成。例如,如图24(b)所示,可采用下述构成:在层次为0或1的情况下,以上述限制而应用设为了TH2=14的阈值,在层次为2的情况下,以上述限制而应用设为了TH2=22的阈值,在层次为3的情况下,以上述限制而应用设为了TH2=30的阈值,在层次为4的情况下,不应用限制。
此外,在对语法中使用的值的范围进行限制的情况下,作为判定进行限制的范围的判定式,除了进行频率区域的位置的X坐标与Y坐标之和与阈值的比较的以下的式子之外,
uiPosX+uiPosY<TH2
也可利用将频率区域的位置除以子块的大小(在此为4)而得到的子块位置,如以下的式子那样进行子块坐标的X坐标与Y坐标之和与阈值的比较。
(uiPosX>>2)+(uiPosY>>2)<(TH2>>2)
即,在将上述对象频率区域的尺寸表示为sz时,从处理量削减和编码效率削减的平衡上,优选上述阈值TH以及TH2在判定中利用X坐标以及Y坐标之和的情况下为sz以下的值,在利用子块的X坐标以及Y坐标之和的情况下具有sz/子块以下的大小。上述TH、TH2满足该关系。
进而,在将上述对象频率区域的尺寸表示为sz时,为了省略周边的频率分量是否能参考的判定,优选上述阈值TH以及TH2在判定中利用X坐标以及Y坐标之和的情况下为小于sz的值,在利用子块的X坐标以及Y坐标之和的情况下具有小于sz/子块的大小。上述TH、TH2满足该关系。
另外,阈值可以根据对象频率区域的大小来确定。例如,如以下的式子那样,可利用将对象频率区域的宽度和高度的最大值向右移位后的值、以及在向右移位后加上或减去给定的值后的值。
TH2=3×Max(width,height)>>4
TH2=(3×Max(width,height)>>4)+4
根据如上述那样构成的编码数据#1,包含了表示是否对与各单位区域对应的各对象频率区域中的高频侧的变换系数进行解码的限制标记,变换系数解码部120在上述限制标记表示了不对高频侧的变换系数进行解码的情况下,能够省略该高频侧的变换系数的解码处理,因此用于对变换系数进行解码的处理量被削减。
(变换系数解码部120的另一构成例2)
另外,在对象TU的尺寸为8×8像素等比较小的尺寸的情况下,变换系数解码部120所具备的系数有无标记解码部可采用:利用以下的式子来导出上下文索引ctxIdx,并分配给各频率分量的构成。
ctxIdx=N8+4×tb1[uiPosY]+tb1[uiPosX]
在此,tb1={0,1,1,2,2,3,3,3}。
在此,N8是频率区域的尺寸为8×8的情况下的上下文索引的开始点。
本构成例所涉及的系数有无标记解码部对从比特解码部132提供的Bin进行解释,利用对解码对象的频率分量分配的上下文索引ctxIdx,对针对该解码对象的频率分量的语法significant_coeff_flag进行解码。解码出的语法significant_coeff_flag保存在解码系数存储部126中,被系数值解码部125参考。另外,解码时使用的上下文索引ctxIdx被提供给上下文记录更新部131。
图25(a)表示了比较例所涉及的系数有无标记解码部所导出的上下文索引ctxIdx的各值,图25(b)表示了本构成例所涉及的系数有无标记解码部所导出的上下文索引ctxIdx的各值。
在此,比较例所涉及的系数有无标记解码部用于根据下式导出上下文索引ctxIdx,
ctxIdx=N8+4×tb1[uiPosY]+tb1[uiPosX]
tb1={0,0,1,1,2,2,3,3}。
如图25(b)所示,本构成例所涉及的系数有无标记解码部与比较例所涉及的系数有无标记解码部相比,对低频率分量更细致地赋予上下文索引ctxIdx。
另外,图25(b)所示,在本构成例所涉及的系数有无标记解码部中,与高频分量侧相比,将低频率分量侧分割为更小的区域,并对各区域赋予彼此不同的上下文索引ctxIdx。
本构成例所涉及的系数有无标记解码部通过采用上述的构成,能够高效地对低频率分量侧的significant_coeff_flag进行解码,因此编码效率提高。
此外,基于本构成例所涉及的系数有无标记解码部的上下文索引ctxIdx的导出处理不限于上述的例子,例如可采用:按照对PosX=0附近的频率分量进行细致分割的方式,利用以下的式子来算出ctxIdxH,将该各值设定为上下文索引ctxIdx的构成。
ctxIdxH=N8+4×(uiPosY>>1)+tb1[uiPosX]
tb1={0,1,1,2,2,3,3,3}
图25(c)表示了本构成例所涉及的系数有无标记解码部所导出的ctxIdxH的例子。
通过采用这样的构成,能够高效地解码针对PosX=0附近的频率分量的significant_coeff_flag,因此编码效率提高。
另外,也可采用:按照对Posy=0附近的频率分量进行细致分割的方式,利用以下的式子来算出ctxIdxV,将该各值设定为上下文索引ctxIdx的构成。
ctxIdxV=N8+4×tb1[uiPosY]+(uiPosX>>1)
tb1={0,1,1,2,2,3,3,3}
图25(d)表示了本构成例所涉及的系数有无标记解码部所导出的ctxIdxV的例子。
通过采用这样的构成,能够高效地解码针对Posy=0附近的频率分量的significant_coeff_flag,因此编码效率提高。
另外,本构成例所涉及的系数有无标记解码部可采用:参考上述的垂直优先标记pref_y_flag的值,根据该值来切换是利用ctxIdxV还是利用ctxIdH的构成。更具体而言,可采用根据下式来导出上下文索引ctxIdx的构成,
ctxIdx=pref_y_flag?ctxIdxV:ctxIdxH。
通过采用这样的构成,能够根据变换系数的偏重而使用更适当的上下文索引ctxIdx,因此编码效率提高。
如上所述,本构成例所涉及的系数有无标记解码部将与处理对象的单位区域对应的对象频率区域分割为多个部分区域,对各部分区域进行分配彼此不同的上下文索引的上下文索引分配,对于表示属于各部分区域的各变换系数是否为0的语法即各变换系数有无标记,基于由分配给该变换系数有无标记所属的部分区域的上下文索引而指定的概率状态来进行算术解码,上述多个部分区域当中低频侧的部分区域比高频侧的部分区域小,因此能够对低频侧的区域细致地分配上下文索引。因此,根据上述构成,能够高效地解码低频侧的语法,所以编码效率提高。
(以子块为单位的系数有无标记的解码处理例)
本实施方式所涉及的系数有无标记解码部也可采用下述构成:不是将频率区域的整体作为1个块(变换块)来对系数有无标记进行解码,而是将表示频率区域的整体的1个块例如分割为4×4的子块,以子块为单位来对系数有无标记进行解码。
图32是表示子块扫描的图。在此,子块扫描是指以子块为单位的扫描。系数有无标记解码部如图32所示,例如,将与频率区域整体对应的1个块分割成在uiPosX方向为4个且在uiPosY方向为4个的合计16个子块,并以子块为处理单位来对系数有无标记进行解码。
在利用子块来对系数有无标记进行解码的情况下,如图32(a)所示,系数有无标记解码部以子块为单位,对表示子块内是否存在至少1个非0变换系数的标记(子块系数有无标记significant_coeffgroup_fiag)按子块逆向扫描顺序(图32的块内所示的箭头方向)进行解码。进而,在子块系数有无标记significant_coeffgroup_fiag非0的情况下,如图32(b)所示,系数有无标记解码部针对处理对象的子块内部的各变换系数,按子块内部的逆向扫描顺序(图32的子块内所示的箭头方向)对有无标记进行解码。
此外,图32(a)所示的子块扫描的扫描顺序以及图32(b)所示的子块内扫描的扫描顺序只是一例,也可采用其他扫描顺序。例如可采用z字形扫描、水平优先扫描、垂直优先扫描。
以下,以子块为单位来说明对子块非零系数有无标记、非零系数有无标记进行解码/编码时的例子。
首先,利用图47,说明将变换块的尺寸设为16×16、将子块的尺寸设为4×4时的子块系数有无标记的例子。
图47(a)是针对16×16变换块所包含的合计256个频率分量的量化残差系数的各值的一例。另外,图47(b)是表示对将16×16变换块分割为4×4子块的情况下的各子块进行识别的子块编号的一例的图。图47(c)表示了在量化残差系数如图47(a)所示时各子块的子块系数有无标记的一例。
在图47(a)中,标号W1表示末尾系数的位置。另外,在图47(a)中,用淡色表示的零系数是在顺向扫描顺序中末尾系数W1之后的零系数。另外,在图47(a)中,在用标号SBK_A~ABK_D表示的子块(图47(b)中标注了子块编号3,7,12,13的子块)中,量化残差系数的值均为零。
在这样的状况下,如以往那样,在按从DC系数起至末尾系数为止的的系数的每一个,由系数有无标记来表示非零系数的有无的情况下,需要计218个系数有无标记。
另一方面,在以子块为单位来表现非零系数的有无的情况下,图47(a)的每个子块的表示是否有非零系数的子块系数有无标记表现为图47(c)所示那样。即,在子块(图47(b)中的子块编号3,7,12,13,15)中,非零系数的个数为0,因此子块系数有无标记significant_coeffgroup_flag被设定为“0”,不附加各子块内的系数有无标记。
另外,子块(图47(b)中的子块编号0,1,2,4,5,6,8,9,10,11)中非零系数的个数为1以上,因此子块系数有无标记significant_coeffgroup_flag被设定为“1”,各子块内的系数有无标记被附加。
即,在以子块为单位来表现非零系数的有无的情况下,关于系数有无标记的个数,子块(图47(b)中的子块编号3,7,12,13)内的计64个系数有无标记被削减,成为计154个。需要追加16个子块系数有无标记,但标记数合计也只有170个,至少与以往相比削减了48个标记。这样,通过以子块为单位来表示变换系数的有无,由此成为编码/解码的对象的系数有无标记被大幅度削减。即,系数有无标记的编码/解码所需的上下文导出处理被削减,因此能够提高编码/解码的吞吐量。
下面,以下说明以子块为单位来对系数有无标记进行解码时的实施例。
<系数有无标记解码部的第7构成例>
图31是表示作为本实施方式所涉及的系数有无标记解码部的第7构成例的系数有无标记解码部124-A的框图。另外,图33是表示系数有无标记解码部124-A中的解码处理的流程的流程图。
如图31所示,本构成例所涉及的系数有无标记解码部124-A具备:子块系数有无标记解码部X1、频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124c。
(子块系数有无标记解码部X1)
子块系数有无标记解码部X1对从比特解码部132提供的Bin进行解释,对表示构成频率区域的各子块中是否存在至少1个非0的变换系数的子块系数有无标记(significant_coeffgroup_fiag)进行解码(图33的步骤SY1)。
此外,子块的扫描顺序可以如图32(a)所示,从有末尾系数的子块朝向有DC系数的子块进行解码,也可以是其相反顺序。另外,也可采用:根据已经解码出的子块的子块系数有无标记,在不从编码数据中对数据进行解码的情况下确定子块系数有无标记的方法。即,若相邻的2个子块的子块系数有无标记为1,则对于子块系数有无标记,在不从编码数据中对数据进行解码的情况下将子块系数有无标记确定为1,此外的情况下,可采用从编码数据中对子块系数有无标记进行解码的构成。
然后,系数有无标记解码部124-A按位于变换块内的每个子块,对位于子块内的系数有无标记进行解码(图33的步骤SY2~步骤SY4)。即,在子块系数有无标记解码部X1中,在子块系数有无标记为1的情况下(在图33的步骤SY2中为是的情况下),利用频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124c来对子块内的系数有无标记进行解码。另外,在子块系数有无标记为0的情况下(图33的步骤SY2中为否的情况下),使子块内的系数有无标记的解码跳过,转移至下一子块的处理。
此外,如图34所示,在子块的循环之中,可对对象子块(xCG,yCG)的子块系数有无标记进行解码。在此,在图34中的步骤SY5中,子块系数有无标记解码部X1解码针对由(xCG,yCG)指定的子块的子块系数有无标记significant_coeffgroup_flag。
此外,在图33、图34的子块的循环中,sbkIdx表示子块的顺向扫描中的对象子块的扫描顺序编号,LastSbkIdx表示子块的顺向扫描中的有末尾系数的子块的扫描顺序编号。在将sz×sz的变换块分割成4×4子块的情况下,sbkIdx以及LastSbkIdx的取值为0~(sz>>2)×(sz>>2)-1。
(系数有无标记解码部124-A所具备的频率分类部124a)
系数有无标记解码部124-A所具备的频率分类部124a,根据频率区域中的解码对象的频率分量的位置,将该频率分量分类到多个部分区域的某一个,并且将由低频位置上下文导出部124b以及周边参考上下文导出部124c的某一个导出的上下文索引ctxIdx分配给该解码对象的频率分量(图33的步骤SY3)。
系数有无标记解码部124-A所具备的频率分类部124a利用频率区域所包含的各频率分量在该频率区域中的位置(uiPosX,uiPosY),将该频率分量分类到多个部分区域R0~R2。在此,设uiPosX=0、1、……、sz-1,uiPosY=0、1、……、sz-1(sz如上所述表示了处理对象TU的一边的像素数、即对象频率区域的一边的频率分量的数目,例如是sz=16,32等)。
在此,将sz×sz块的频率区域分割为4×4子块,设该频率分量(uiPosX,uiPosY)所属的子块的位置为(xCGyCG)。此外,该频率分量所属的子块位置(xCG,yCG)由下述式子(eq.A1)~(eq.A2)导出。
xCG=uiPosX>>2···(eq.A1)
yCG=uiPosY>>2···(eq.A2)
在此,设xCG=0、1、……、(sz-1)>>2,yCG=0、1、……、(sz-1)>>2。
系数有无标记解码部124-A所具备的频率分类部124a,更具体而言进行以下的分类处理。
(1)将满足xCG+yCG<THA且uiPosX+uiPosY<THZ的频率分量分类到部分区域R0。
(2)将满足xCG+yCG<THA且THZ≤uiPosX+uiPosY的频率分量分类到部分区域R1。
(3)将满足THA≤xCG+yCG的频率分量分类到部分区域R2。
上述分类处理所对应的伪码如下。
Figure BDA0000499129510000641
在此,作为阈值THZ而使用2。THA表示了满足THA≥THZ/4的阈值。作为具体的值,例如,与频率区域的尺寸(处理对象TU的尺寸)无关地设为THA=1即可。另外,也可利用频率区域的尺寸log2TrafoSize,设为THA=1<<(log2TrafoSize-2)。即,在频率区域的尺寸为16×16的情况下,可设为THA=1,在频率区域的尺寸为32×32的情况下,可设为THA=2。这样,可采用根据频率区域的尺寸而设为不同的阈值的构成。另外,也可将阈值THZ设为1。
图35表示了通过基于系数有无标记解码部124-A所具备的频率分类部124a的分类处理,分割成部分区域R0、R1以及R2后的频率区域的一例。
系数有无标记解码部124-A所具备的频率分类部124a针对属于部分区域R0的频率分量,分配由低频位置上下文导出部124b导出的上下文索引,针对属于部分区域R1以及R2的频率分量,分配由周边参考上下文导出部124c导出的上下文索引。此外,作为子块的尺寸,以4×4为例进行了说明,但并不限定于此,也可以是(sz>>n)×(sz>>n)的子块。其中,设n满足n=1,…,log2TrafoSize>>1。
另外,系数有无标记解码部124-A所具备的频率分类部124a算出上下文索引ctxIdx,用于决定在算术码解码部130中为了对语法significant_coeff_flag进行解码而使用的上下文。上下文索引ctxIdx按每个频率区域的尺寸以及解码对象的频率分量而被算出(图33的步骤SY4)。解码出的语法significant_coeff_flag保存在解码系数存储部126中,被系数值解码部125参考。另外,解码时使用的上下文索引ctxIdx被提供给上下文记录更新部131。
以下,具体说明与各部分区域R0~R2对应的上下文导出。
(系数有无标记解码部124-A所具备的低频位置上下文导出部124b)
系数有无标记解码部124-A所具备的低频位置上下文导出部124b,在解码对象的频率分量包含于低频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
系数有无标记解码部124-A所具备的低频位置上下文导出部124b,针对属于部分区域R0的频率分量,利用以下的式子(eq.A3)来导出上下文
ctxIdx=NX+2×uiPosX+uiPosY···(eq.A3)
此外,NX是表示上下文索引的开始点的常数。在频率区域的尺寸为4×4以及8×8中使用的上下文数分别为N4个、N8个的情况下,频率区域的尺寸为16×16以及32×32的开始点成为NX=N4+N8。
(系数有无标记解码部124-A所具备的周边参考上下文导出部124c)
系数有无标记解码部124-A所具备的周边参考上下文导出部124c,将针对解码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而解码完毕的非0变换系数的数cnt来导出。
系数有无标记解码部124-A所具备的周边参考上下文导出部124c,针对属于部分区域R1的频率分量,利用以下的式子(eq.A4)来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+3+min(2,temp)···(eq.A4)
在此,temp由
temp=(cnt+1)>>1
确定。
另外,系数有无标记解码部124-A所具备的周边参考上下文导出部124c针对属于部分区域R2的频率分量,利用以下的式子(eq.A5)来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+6+min(2,temp)···(eq.A5)
在此,temp与上述情况同样由下式来确定,
temp=(cnt+1)>>1。
此外,在式子(eq.A4)~(eq.A5)中,通过使非0变换系数的计数值cnt向右移1位而能够削减上下文数。
另外,周边参考上下文导出部124c在部分区域R1中,利用图10(a)或图10(b)所示的参考频率分量c1~c5,根据以下的式子(eq.A6)来导出非0变换系数的计数值cnt。
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5!=0)···(eq.A6)
在此,设(eq.A6)中的各项在()内的比较为真时取1、在()内的比较为假时取0。
另外,也可取代式子(eq.6),利用图36(a)所示的参考频率分量(c1、c2、c4、c5),通过不参考作为对象的变换系数的位置的、按照处理顺序而位于近前方(在处理顺序为逆向扫描顺序的情况下为作为对象的变换系数的位置的下侧)的坐标(c3)的变换系数的数学式(eq.A7),来算出非0变换系数的数cnt。这样的处理能够在不参考近前方的系数有无标记的值的情况下进行某位置的系数有无标记的解码中使用的上下文导出,因此能够并行地执行上下文导出处理和解码处理。
cnt=(c1!=0)+(c2!=0)+(c4!=0)+(c5!=0)···(eq.A7)
另外,也可采用:根据作为对象的变换系数在子块内的位置,利用数学式(eq.A6)和数学式(eq.A7)的任一个来导出变换系数的构成。即,可采用:根据作为对象的变换系数在子块内的位置,来变更变换系数的导出中使用的参考分量的构成。
更具体而言可以是:在作为对象的变换系数位于子块内的左上的情况、和作为对象的变换系数位于子块内的右下的情况中的任一情况下,按照不依赖于子块内的作为对象的变换系数的处理顺序上近前方的位置(在此为下侧)的变换系数的值的方式,利用数学式(eq.A7)的参考频率分量,在此外的情况下利用数学式(eq.A6)的参考频率分量。
如上所述,根据本构成例所涉及的系数有无标记解码部124-A,在频率分类部124a中,通过基于子块坐标来进行频率分量的分类,从而在子块坐标(xCG,yCG)满足xCG+yCG>0的情况下,能够省略进行子块内的频率分类的分支处理。关于已经说明过的分类,例如,
·将满足uiPosX+uiPosY<2的频率分量分类到部分区域R0。
·将满足2≤uiPosX+uiPosY<TH1的频率分量分类到部分区域R1。
·将满足TH1≤uiPosX+uiPosY<TH2的频率分量分类到部分区域R2。
·将满足TH2≤uiPosX+uiPosY的频率分量分类到部分区域R3。
在进行如上述的分类的情况下,需要在子块内部进行上述分类的分支处理。然而,在本构成例中,能够将分类处理中参考的坐标置换为子块坐标(xCG,yCG),而不是块整体中的坐标(uiPosX,uiPosY),因此不需要参考(uiPosX,uiPosY)的上述分支。由此,能够削减子块内的上下文索引导出中的延迟,从而能够提高上下文导出的吞吐量。
另外,在以上的构成中,对按子块的子块系数有无标记和子块内的系数有无标记进行组合来解码非0系数的有无。在该构成中,能够简化在子块内的系数有无标记的解码中使用的上下文导出。即,能够如图36(a)所示那样将参考数减少至4个。
此外,在上述的例子中,将频率分量分类为3个部分区域,但也可以是分类到2个部分区域的方法。该情况下,
(1)将满足uiPosX+uiPosY<THZ的频率分量分类到部分区域R0。
(2)将满足THZ≤uiPosX+uiPosY的频率分量分类到部分区域R1。
可以是下述构成:部分区域R0的系数有无标记的解码中使用的下文导出如上所述,部分区域R1的系数有无标记的解码中使用的下文导出利用下式,
ctxIdx=NX+3+min(2,temp)···(eq.A4)
temp=(cnt+1)>>1
进而,cnt参考4点,例如使用数学式(eq.A7)。在该构成中,能够简化子块内的系数有无标记的解码中使用的下文导出。
另外,也可根据下面的条件而分类到R0、R1。
(1)将满足xCG+yCG==0且uiPosX+uiPosY<THZ的频率分量分类到部分区域R0。
(2)将满足xCG+yCG>0或者THZ<uiPosX+uiPosY的频率分量分类到部分区域R1。
与上述分类处理对应的伪码如下所示。
Figure BDA0000499129510000681
Figure BDA0000499129510000691
根据上述分类处理,能够消除用于对子块位置(xCG,yCG)为(0,0)以外的部分中的子块内的频率分量进行分类的分支处理。
如上所述,系数有无标记解码部124-A所具备的频率分类部124a,在高频侧参考对象频率区域中的该对象子块的位置来将频率区域分割为部分区域。
另外,周边参考上下文导出部124c,导出属于通过这样的分割而得到的部分区域的系数有无标记的解码中使用的上下文。
因此,系数有无标记解码部124-A也可表现为:当对象子块在对象频率区域中属于高频侧的部分区域时,将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该对象子块的位置来导出。
以下表示:在系数有无标记解码部的第7构成例中,当变换块尺寸为16×16、32×32时将频率区域分割为部分区域R0、R1,在R0中根据低频位置上下文来导出上下文索引ctxIdx,在R1中根据基于图36(a)所示的4个参考频率分量(c1、c2、c4、c5)的周边参考上下文来导出上下文索引ctxIdx的情况下的伪码。其中,伪码中的sigCtx与ctxIdx含义相同。
Figure BDA0000499129510000692
Figure BDA0000499129510000701
Figure BDA0000499129510000711
以下表示:在系数有无标记解码部的第7构成例中,当变换块尺寸为16×16、32×32时将频率区域分割为部分区域R0、R1、R2,在R0中根据低频位置上下文来导出上下文索引ctxIdx,在R1中利用图10(a)所示的5个参考频率分量(c1、c2、c3、c4、c5)、在R2中利用图36(a)所示的4个参考频率分量(c1、c2、c4、c5),并根据周边参考上下文来导出上下文索引ctxIdx时的伪码。其中,伪码中的sigCtx与ctxIdx含义相同。
Figure BDA0000499129510000712
Figure BDA0000499129510000721
<系数有无标记解码部的第8构成例>
图37是表示作为本实施方式所涉及的系数有无标记解码部的第8构成例的系数有无标记解码部124-B的框图。本构成例所涉及的系数有无标记解码部124-B中的解码处理的流程参考图33所示的流程图来进行说明。
如图37所示,本构成例所涉及的系数有无标记解码部124-B具备:子块系数有无标记解码部X1、频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124c、高频位置上下文导出部124d。
(系数有无标记解码部124-B所具备的子块系数有无标记解码部X1)
系数有无标记解码部124-B所具备的子块系数有无标记解码部X1对从比特解码部132提供的Bin进行解释,对表示构成频率区域的各子块中是否存在至少1个非0的变换系数的子块系数有无标记(significant_coeffgroup_fiag)进行解码(图33的步骤SY1)。
然后,按位于变换块内的每个子块,对位于子块内的变换系数有无标记进行解码(图33的步骤SY2~步骤SY4)。即,在子块系数有无标记解码部X1中,在子块系数有无标记为1的情况下(图33的步骤SY2中为是的情况下),利用频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124c、高频位置上下文导出部124d来对子块内的系数有无标记进行解码。另外,在子块系数有无标记为0的情况下(图33的步骤SY2中为否的情况下),使子块内的系数有无标记的解码跳过,转移到下一子块的处理。
(系数有无标记解码部124-B所具备的频率分类部124a)
系数有无标记解码部124-B所具备的频率分类部124a,根据频率区域中的解码对象的频率分量的位置,将该频率分量分类到多个部分区域的某一个,并且将由低频位置上下文导出部124b、周边参考上下文导出部124c以及高频位置上下文导出部124d的某一个导出的上下文索引ctxIdx分配给该解码对象的频率分量(图33的步骤SY3)。
系数有无标记解码部124-B所具备的频率分类部124a参考频率区域所包含的各频率分量在该频率区域中的位置(uiPosX,uiPosY),将该频率分量分类到多个部分区域R0~R3。在此,设uiPosX=0、1、……、sz-1,uiPosY=0、1、……、sz-1(sz如上所述表示了处理对象TU的一边的像素数、即对象频率区域的一边的频率分量的数目,例如是sz=16,32等)。
在此,设将sz×sz块的频率区域分割为4×4子块,设该频率分量(uiPosX,uiPosY)所属的子块的位置为(xCGyCG)。此外,该频率分量所属的子块位置(xCG,yCG)由下述式子(eq.B1)~(eq.B2)导出。
xCG=uiPosX>>2···(eq.B1)
yCG=uiPosY>>2···(eq.B2)
在此,设xCG=0、1、……、(sz-1)>>2,yCG=0、1、……、(sz-1)>>2。
系数有无标记解码部124-B所具备的频率分类部124a更具体而言进行以下的分类处理。
(1)将满足xCG+yCG<THB且uiPosX+uiPosY<THZ的频率分量分类到部分区域R0。
(2)将满足xCG+yCG<THB且THZ≤uiPosX+uiPosY<TH1的频率分量分类到部分区域R1。
(3)将满足xCG+yCG<THB且TH1≤uiPosX+uiPosY的频率分量分类到部分区域R2。
(4)将满足THB≤xCG+yCG的频率分量分类到部分区域R3。
与上述分类处理对应的伪码如下所示。
在此,对阈值THZ使用2。另外,作为TH1以及THB的具体的值,例如,利用频率区域的尺寸(处理对象TU的尺寸)log2TrafoSize,设为
TH1=5,
THB=1<<(log2TrafoSize-2)
即可。另外,在频率区域的尺寸为16×16的情况下,可设为TH1=5、THB=4,在频率区域的尺寸为32×32的情况下,可设为TH1=5、THB=8。
另外,阈值TH1以及THB也可利用频率区域的尺寸log2TrafoSize而设定为
TH1=5,
THB=1<<(log2TrafoSize-4)。
即,在频率区域的尺寸为16×16的情况下,设为TH1=5、THB=1,在频率区域的尺寸为32×32的情况下,设定为TH1=5、THB=2。另外,也可设定为其他值。
另外,也可将阈值TH1以及THB设定为
TH1=5,
THB=1<<(log2TrafoSize-3)。
即,在频率区域的尺寸为16×16的情况下,设为TH1=5、THB=2,在频率区域的尺寸为32×32的情况下,设定为TH1=5、THB=4。这样,可采用根据频率区域的尺寸而使用不同的阈值的构成。
根据如以上那样构成的频率分类部124a,能够将用于根据变换系数的位置来切换上下文导出方法的分支处理,设为利用了子块坐标(xCG,yCG)的分支处理。与进行参考(uiPosX,uiPosY)的分支处理的情况相比,能够省略在子块内部进行的参考(uiPosX,uiPosY)的分支处理,能够提高上下文导出的吞吐量。
图38表示了通过基于系数有无标记解码部124-B所具备的频率分类部124a的分类处理而分割为部分区域R0、R1、R2以及R3后的频率区域的一例。
系数有无标记解码部124-B所具备的频率分类部124a针对属于部分区域R0的频率分量,分配由低频位置上下文导出部124b导出的上下文索引,针对属于部分区域R1以及R2的频率分量,分配由周边参考上下文导出部124c导出的上下文索引,针对属于部分区域R3的频率分量,分配由高频位置上下文导出部124d导出的上下文索引。
另外,在上述的说明中,设为频率分类部124a参考了(uiPosX,uiPosY)以及对象频率分量所属的子块的位置(xCG,yCG)来作为对象频率分量的位置,但本实施方式并不限定于此。例如,可采用下述构成:作为对象频率分量的位置,参考沿着顺向扫描顺序或逆向扫描顺序而赋予的频率分量识别索引(例如图5中的“n”),将对象频率分量分类到多个部分区域的某一个。
另外,系数有无标记解码部124-B所具备的频率分类部124a算出上下文索引ctxIdx,用于决定在算术码解码部130中为了对语法significant_coeff_flag进行解码而使用的上下文。上下文索引ctxIdx按每个频率区域的尺寸以及解码对象的频率分量而被算出(图33的步骤SY4)。解码出的语法significant_coeff_flag保存在解码系数存储部126中,被系数值解码部125参考。另外,解码时使用的上下文索引ctxIdx被提供给上下文记录更新部131。
以下,具体说明与各部分区域R0~R3对应的上下文导出。
(系数有无标记解码部124-B所具备的低频位置上下文导出部124b)
系数有无标记解码部124-B所具备的低频位置上下文导出部124b在解码对象的频率分量包含于低频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
系数有无标记解码部124-B所具备的低频位置上下文导出部124b针对属于部分区域R0的频率分量,利用以下的式子(eq.B3)来导出上下文索引ctxIdx,并将导出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+2×uiPosX+uiPosY···(eq.B3)
其中,NX是表示上下文索引的开始点的常数。在频率区域的尺寸为4×4以及8×8中使用的上下文数分别为N4个、N8个的情况下,频率区域的尺寸为16×16以及32×32的开始点成为NX=N4+N8。
(系数有无标记解码部124-B所具备的周边参考上下文导出部124c)
系数有无标记解码部124-B所具备的周边参考上下文导出部124c,将针对解码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而解码完毕的非0变换系数的数cnt来导出。
系数有无标记解码部124-B所具备的周边参考上下文导出部124c针对属于部分区域R1的频率分量,利用以下的式子(eq.B4)来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+3+min(4,cnt)···(eq.B4)
其中,在部分区域R1中,利用图10(a)或图10(b)所示的(C1,C2,C3,C4,C5),并根据以下的式子(eq.B5)来导出非0变换系数的计数值cnt。
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5!=0)···(eq.B5)
另外,系数有无标记解码部124-B所具备的周边参考上下文导出部124c针对属于部分区域R2的频率分量,利用以下的式子(eq.B6)来导出上下文索引ctxIdx,并将导出的上下文索引ctxIdx提供给频率分类部124a。
ctxIdx=NX+8+min(4,cnt)···(eq.B6)
其中,在部分区域R2中,利用图36(a)所示的参考频率分量(c1、c2、c4、c5),通过不参考作为对象的变换系数的位置的、按照处理顺序而位于近前方(在处理顺序为逆向扫描顺序的情况下为作为对象的变换系数的位置的下侧)的坐标(c3)的变换系数的以下的式子(eq.B7),来导出关于非零变换系数的计数值cnt。这样的处理能够在不参考近前方的系数有无标记的值的情况下进行某位置的系数有无标记的解码中使用的上下文导出,因此能够并行地执行上下文导出处理和解码处理。
cnt=(c1!=0)+(c2!=0)+(c4!=0)+(c5!=0)···(eq.B7)
在此,设式(eq.B7)的各项在()内的比较为真时取1、在()内的比较为假时取0。
另外,关于部分区域R1,也可取代式子(eq.B6)而根据式子(eq.B7)来酸楚非零系数的个数cnt。
另外,关于部分区域R2,也可取代式子(eq.B7),利用图15(c)、(d)、(e)、(f)或图36(b)、图36(c)所示的3个参考系数来算出非零系数的个数cnt。
(系数有无标记解码部124-B所具备的高频位置上下文导出部124d)
系数有无标记解码部124-B所具备的高频位置上下文导出部124d,在解码对象的频率分量包含于高频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置和该频率分量所属的子块的位置来导出。
系数有无标记解码部124-B所具备的高频位置上下文导出部124d针对属于部分区域R3的频率分量,利用以下的式子(eq.B8)来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+13+min(maxR3,(xCG+yCGTHB)>>shift)···(eq.B8)
在此,记号“>>”表示了向右移位。另外,作为shift以及maxR3,例如,在对象频率区域的尺寸为16×16的情况下,利用shift=0、maxR3=3,在对象频率区域的尺寸为32×32的情况下,利用shift=1、maxR3=3即可,但本实施方式并不限定于此。
此外,通过基于系数有无标记解码部124-B所具备的频率分类部124a的分类处理而分割的频率区域的例子,并不限于图38所示的情形,例如,也可如图39所示那样对频率区域进行分割。即,系数有无标记解码部124-B所具备的频率分类部124a可采用如下那样将频率区域分类为部分区域R0、R1、R2以及R3的构成。
(1)将满足xCG+yCG<THA且uiPosX+uiPosY<THZ的频率分量分类到部分区域R0。
(2)将满足xCG+yCG<THA且uiPosX+uiPosY≥THZ的频率分量分类到部分区域R1。
(3)将满足THA<xCG+yCG<THB的频率分量分类到部分区域R2。
(4)将满足THB≤xCG+yCG的频率分量分类到部分区域R3。
与上述的分类处理对应的伪码如下。
Figure BDA0000499129510000791
Figure BDA0000499129510000801
在此,对阈值THZ中使用2。另外,作为THA以及THB的具体的值,例如,利用频率区域的尺寸(处理对象TU的尺寸)log2TrafoSize,设为
THA=1<<(log2TrafoSize-4),
THB=1<<(log2TrafoSize-2)
即可。另外,在频率区域的尺寸为16×16的情况下,可设为THA=1、THB=4,在频率区域的尺寸为32×32的情况下,可设为THA=2、THB=8。另外,阈值THB可利用频率区域的尺寸log2TrafoSize而设定为
THB=1<<(log2TrafoSize-3)。
即,在频率区域的尺寸为16×16的情况下,设THB=2,在频率区域的尺寸为32×32的情况下,设定为THB=4。这样,可采用根据频率区域的尺寸而利用不同的阈值的构成。
在图39所示的例子中,频率区域被分类为部分区域R0、R1、R2以及R3。针对属于部分区域R0、R1、R2以及R3的频率分量,如上述那样分别由低频位置上下文导出部124b、周边参考上下文导出部124c以及高频位置上下文导出部124d来算出上下文索引ctxIdx。
根据如以上那样构成的频率分类部124a,能够将用于根据变换系数的位置来切换上下文导出方法的分支处理,设为利用了子块坐标(xCG,yCG)的分支处理。与进行参考(uiPosX,uiPosY)的分支处理的情况相比,能够省略在子块内部进行的参考(uiPosX,uiPosY)的分支处理,能够提高上下文导出的吞吐量。
进而,根据如以上那样构成的系数有无标记解码部以及子块系数有无标记解码部,在位置上下文的算出中,由于不根据已经解码出的系数有无标记的值来决定某变换系数的位置的系数有无标记的上下文,因此具有能够并行进行系数有无标记的上下文导出和系数有无标记的解码的效果。
以下,在系数有无标记解码部的第8构成例中,当变换块尺寸为16×16、32×32时,将频率区域分割为部分区域R0,R1、R2、R3,在R0中根据低频位置上下文来导出上下文索引ctxIdx,在R1~R2中根据基于图36(a)所示的4个参考频率分量(c1、c2、c4、c5)的周边参考上下文来导出上下文索引ctxIdx,在R3中根据高频位置上下文来导出上下文索引ctxIdx的情况下的伪码。其中,伪码中的sigCtx与ctxIdx含义相同。
Figure BDA0000499129510000811
Figure BDA0000499129510000821
<系数有无标记解码部的第8构成例的另一构成例>
以下,关于基于系数有无标记解码部124-B的另一处理例,参考图48、图52~图53来进行说明。
图48(a)~(b)是表示在本处理例中由频率分类部124a分割后的部分区域的图,图48(a)是对与亮度值相关的变换系数进行解码时适合应用的部分区域分割,图48(b)是对与色差相关的变换系数进行解码时适合应用的部分区域分割。图48(a)~(b)中的阈值TH、阈值TH2的设定方法如已经说明的那样。
频率分类部124a利用阈值TH,如图52所示,根据对象变换系数的频率分量上的位置(xC,yC)而对部分区域R1和部分区域R2进行分类。
xC+yC<TH
频率分类部124a利用阈值TH2,如图52所示,根据将对象变换系数的频率分量上的位置(xC,yC)除以某子块尺寸(在此为4)而得到的值,对参考数彼此不同的部分区域R2和部分区域R3进行分类。
(xC>>2)+(yC>>2)<TH2
在此,优选对2个部分区域进行区别的阈值TH2如已经说明过的那样,满足TH2×子块尺寸(=4)小于对象频率区域的尺寸Max(width,height)。
图52是表示导出对图48(a)所示的部分区域R0~R3各自所包含的频率区域分配的且与亮度相关的上下文索引cxtIdx的导出处理的伪码。在图52中,区域R0的上下文导出由位置上下文导出部124b来进行,区域R1~区域R2的上下文导出由周边参考上下文导出部124c来进行,区域R3的上下文导出由高频位置上下文导出部124d来进行。
周边参考上下文导出部124c例如针对属于图48(a)、(b)所示的部分区域R1的频率分量,利用以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR1+Min(2,ctxCnt);
在此,ctxcCnt是根据计数值而得到的值。在此,可通过对计数值进行多对一变换的处理(汇集处理)来汇集而得到。即,如以下的式子那样是按照使得成为约1/2的方式进行向右移位而得到的值,根据ctxCnt=(cnt+1)>>1来确定。另外,不限于向右移位,也可如以下那样通过将计数值限位在固定值(在此为3)的处理来进行多对一变换。
ctxCnt=min(3,cnt)
其中,非0变换系数的计数值cnt如下面的伪码那样,根据对象变换系数的频率分量上的位置(xC,yC),通过参考c1、c2、c3、c4、c5这5个已经解码完毕的变换系数、或者参考c1、c2、c4、c5这4个已经解码完毕的变换系数来算出。
if(((xC&3)||(yC&3))&&(((xC+1)&3)||((yC+2)&3))))
{
cnt=(c1!=0)+(c2!=0)+(c4!=0)+(c5!=0);
}else{
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5!=0);
}
另外,周边参考上下文导出部124c例如针对属于图48(a)所示的部分区域R2的频率分量,利用以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR2+Min(2,ctxCnt);
其中,非0变换系数的计数值cnt的计算方法与部分区域R1同样。
高频位置上下文导出部124d例如针对属于图48所示的部分区域R3的频率分量,利用以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给频率分类部124a。即,利用固定值来导出上下文索引。
sigCtx=sigCtxOffsetR3;
在作为高频分量的部分区域R3中,与低频率分量的部分区域R1、R2不同,根据位置上下文来导出上下文,因此处理量被削减。
在色差的情况下,针对图48(b)的部分区域R0、部分区域R1、部分区域R3,也进行与亮度的情况同样的处理。首先,频率分类部124a如图53所示,根据将对象变换系数的频率分量上的位置(xC,yC)除以某子块尺寸(在此为4)后的值,对参考数彼此不同的部分区域R1和部分区域R3进行分类。进而,如图53所示,在部分区域R0中,在位置上下文导出部124b中根据位置上下文进行上下文导出,在部分区域R1中,在周边参考上下文导出部124c中进行基于周边参考上下文的上下文导出。在部分区域R3中,根据位置上下文来进行上下文导出,由此削减处理量。
此外,上述的构成也可按以下方式表现。
分割机构(频率分类部124a)将对象频率区域至少分割为低频侧和高频侧这2个部分区域,上述上下文索引导出机构在属于低频侧的部分区域的至少1个中,通过参考解码完毕的非0变换系数来导出上下文索引,在属于高频侧的部分区域中,将基于频率区域上的位置的值或固定的给定值作为上下文索引来导出。
(周围参考上下文和位置上下文的上下文共享)
此外,在高频位置上下文导出部124d中,还可利用在周围参考上下文导出部124c中使用的上下文。即,在使用周围参考上下文的部分区域和使用位置上下文的高频区域的部分区域能够共享上下文。关于这样的构成,利用图54~图56来对具体例进行说明。
图54也与图52同样,是表示导出与亮度相关的上下文索引cxtIdx的导出处理的伪码。与图52的不同之处仅在于高频位置上下文导出部124d的处理。在图52所示的处理中,根据以下的式子来导出上下文索引sigCtx。
sigCtx=sigCtxOffsetR2;
即,在周边参考上下文导出部124c中设偏移值ctxCnt=0而求出的部分区域R2中使用的上下文,也可作为高频位置上下文导出部124d所导出的部分区域R3的上下文来使用。此外,为了统一2个处理,在部分区域R3中可利用以下的式子来导出上下文索引。
ctxCnt=0;
sigCtx=sigCtxOffsetR2+Min(2,ctxCnt);
该情况下,在部分区域R2中,根据计数值cnt来求取偏移值ctxCnt,在部分区域R3中,将偏移值ctxCnt固定为0而求出。
对于色差也能与上述同样地进行上下文共享。具体而言,图55是表示进行上下文共享的情况下的与色差相关的上下文索引cxtIdx导出处理的伪码。与不共享上下文的图53的不同之处仅在于高频位置上下文导出部124d的处理。
这样,在利用周围参考上下文的部分区域和利用位置上下文的高频区域的部分区域中能够共享上下文。这也可表现为:由上下文索引导出机构(高频位置上下文导出部124d、周围参考上下文导出部124c)导出的、属于高频侧的部分区域中使用的上下文索引的值,在属于低频侧的部分区域中使用的上下文索引的范围内。
此外,也可以采用:在色差的情况下利用进行高频的位置上下文和周围参考上下文的共享的构成(图55),在亮度的情况下不进行高频的位置上下文与周围参考上下文的共享的构成(图52)。具体而言,如图56所示,在亮度的情况下,根据以下的式子来求取部分区域R3的上下文索引。
sigCtx=sigCtxOffsetR3+ctxCnt;
其中,ctxCnt=0。
在色差的情况下,根据以下的式子来求取部分区域R3的上下文索引。
sigCtx=sigCtxOffsetR1+ctxCnt;
其中,ctxCnt=0。
由此,在亮度的情况下,使用部分区域R3专用的上下文,在色差的情况下,使用部分区域R3以外的部分区域,在此为利用周围参考上下文的部分区域1的上下文。
如以上的构成那样,通过在2个不同的导出方法(位置上下文和周边参考上下文)中进行相同的上下文的共享,能够降低伴随上下文的存储器。
另外,在上述上下文共享中,除了对偏移值ctxCnt=0的周边参考上下文和位置上下文进行共享的方法之外,也可如以下的式子那样对偏移值ctxCnt为0以外的上下文和位置上下文进行共享。
ctxCnt=1
sigCtx=sigCtxOffsetR1+ctxCnt;
上述的构成也可表现为:由上下文索引导出机构(高频位置上下文导出部124d、周围参考上下文导出部124c)导出的、与亮度相关且属于高频侧的部分区域中使用的上下文索引的值,是属于低频侧的部分区域中使用的上下文索引的范围以外的值,由上述上下文索引导出机构导出的、与色差相关且属于高频侧的部分区域中使用的上下文索引的值,在属于低频侧的部分区域中使用的上下文索引的范围内。
<系数有无标记解码部的第8构成例的考虑了上下文更新延迟去除的构成例>
以下,关于考虑了系数有无标记解码部124-B的上下文更新延迟去除的处理例,参考图48、图52~图53来进行说明。
在利用位置上下文的情况下,如之前说明的那样,能够在不参考近前方的系数有无标记的值的情况下进行某位置的系数有无标记的解码中使用的上下文导出,因此能够并行地执行上下文导出处理和解码处理。
然而,在解码处理中利用同一上下文的情况下,根据近前方的上下文的解码结果是0还是1而需要上下文所具有的状态的校正,会发生与该校正相应的量的延迟。以下表示:在位置上下文中,通过分配与近前方的上下文不同的上下文而具有削减了伴随上下文的状态校正的延迟的效果的系数有无标记解码部的构成例。
图57是表示子块内的上下文索引的导出方法的图。图57(a)是表示子块的扫描顺序和子块内的上下文索引的偏移值ctxCnt的关系的图。如图所示,在各扫描顺序中,偏移值ctxCnt如0,1,0,1这样交替地使用不同的值。通过使用这样的偏移值,能够分配与近前方的上下文不同的上下文。图57(b)表示上述处理中使用的表的例子。图57(b)所示的表,是通过将子块内的相对位置作为光栅扫描中的地址来输入而能够获得偏移值ctxCnt的表。
在图57(c)中表示使用例。在该使用例中,根据频率分量的位置(xC,yC)并通过(xC&3)+(yC&3<<2)的运算而得到了光栅扫描上的地址后,通过参考图57(b)所示的表来获得偏移值ctxCnt。此外,偏移值ctxCnt的算出可不利用表而利用子块内的计数值cntInSubBlock来以通常的运算进行算出。图57(d)是该运算的例子。计数值cntInSubBlock按子块的扫描顺序而设为0,1,2,3,···,15的值。该情况下,能够通过计数值cntInSubBlock与2的余数(&1)来算出偏移值ctxCnt。此外,计数cntInSubBlock的值也可按逆向扫描顺序而取0,1,2,3,···,15的值。
图58是与图57的例子相比能够进一步增加并行度的构成。图58(a)是表示子块的扫描顺序和子块内的上下文索引的偏移值ctxCnt的关系的图。如图所示,在各扫描顺序中,偏移值ctxCnt使用如0,1,2,0,1,2,···这样在N个单位(N=3)中不同的值。通过使用这样的偏移值,能够以N个连续的上下文来分配不同的上下文。由于不仅在近前方而且在近前方的近前方(或者其以上)的解码中确保了独立性,因此能够进一步增加并行性。图58(b)表示了上述处理中使用的表的例子,图58(c)表示了使用例,图58(d)表示了基于运算的算出方法例。这些例子均与图57为同样的处理,因此省略说明。此外,表示了N=3的情况,但对于N=4以上的N也能进行同样的处理。
图59是表示实现上述上下文的分配方法的伪码的图。具体而言,表示导出对图48(a)所示的部分区域R0~R3各自所包含的频率区域分配的且与亮度以及与色差相关的上下文索引cxtIdx的导出处理。在图59中,区域R0的上下文导出由位置上下文导出部124b来进行,区域R1~区域R2的上下文导出由周边参考上下文导出部124c来进行,区域R3的上下文导出由高频位置上下文导出部124d来进行。
周边参考上下文导出部124c例如针对属于图48(a),(b)所示的部分区域R1的频率分量,利用以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR1+Min(2,ctxCnt);
在此,ctxcCnt通过进行多对一变换的处理(汇集处理)而获得,在此通过如以下的式子那样按照使计数值成为约1/2的方式进行向右移位的处理而获得。
ctxCnt=(cnt+1)>>1
此外,进行多对一变换的处理也可以是如以下那样将计数值限位成固定值(在此为3)的处理。
ctxCnt=min(3,cnt)
此外,非0变换系数的计数值cnt如下面的伪码那样,根据对象变换系数的频率分量上的位置(xC,yC),通过参考c1、c2、c3、c4、c5这5个已经解码完毕的变换系数或者参考c1、c2、c4、c5这4个已经解码完毕的变换系数来算出。
if(((xC&3)||(yC&3))&&(((xC+1)&3)||((yC+2)&3))))
{
cnt=(c1!=0)+(c2!=0)+(c4!=0)+(c5!=0);
}else{
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5!=0);
}
另外,周边参考上下文导出部124c例如针对属于图48(a)所示的部分区域R2的频率分量,利用以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR2+Min(2,ctxCnt);
此外,非0变换系数的计数值cnt的计算方法与部分区域R1同样。
高频位置上下文导出部124d例如针对属于图48所示的部分区域R3的频率分量,利用以下的式子来算出偏移值。
ctxCnt=tb1[(xC&3)+(yC&3)<<2]
根据该偏移值与部分区域R3用的上下文索引的开始点sigCtxOffsetR3之和,通过以下的式子来导出上下文索引sigCtx,并将该导出结果sigCtx提供给频率分类部124a。
sigCtx=sigCtxOffsetR3+ctxCnt
在作为高频分量的部分区域R3中,由于根据位置上下文来导出上下文,因此能够削减处理量,可获得上下文导出处理、解码处理、以及伴随上下文所保持的状态的校正的延迟去除所带来的吞吐量提高效果。
此外,在本构成中,表示了针对高频分量的部分区域R3的构成,但伴随上下文所保持的状态的校正的延迟去除所带来的吞吐量提高效果,在块以及子块内连续的频率位置中算出不同的偏移值ctxIdx,根据该偏移值ctxIdx与某开始点之和来算出上下文索引sigCtx的其他构成中也能利用。
此外,在考虑上下文更新延迟去除的情况下,在高频位置上下文导出部124d中,也能利用在周围参考上下文导出部124c中使用的上下文。即,能够采用在利用周围参考上下文的部分区域和利用位置上下文的高频区域的部分区域中共享上下文的构成。关于这样的构成,利用图60来对具体例进行说明。
在图59和图60的处理中,在导出了仅高频位置上下文导出部124d的处理不同的偏移值ctxCnt之后,在亮度的情况下利用以下的式子来导出上下文索引sigCtx。
sigCtx=sigCtxOffsetR2+ctxCnt
在色差的情况下,利用以下的式子来导出上下文索引sigCtx。
sigCtx=sigCtxOffsetR1+ctxCnt
根据上述处理,通过上下文共享而降低了上下文用的存储器,并且由于根据位置上下文来导出上下文而能够削减处理量,能够获得由上下文导出处理、解码处理、和伴随上下文所保持的状态的校正的延迟去除所带来的吞吐量提高效果。
<系数有无标记解码部的第9构成例>
关于本实施方式所涉及的系数有无标记解码部的第9构成例,参考图40来进行说明。本构成例在第4构成例所涉及的频率分类部124a中,变更了将频率区域分类到部分区域R0~R5时的条件。此外,对于与上述第7~第8构成例所示的部件具有相同功能的部件标注相同标号,并省略其说明。
图40是表示本构成例所涉及的系数有无标记解码部124-C的构成的框图。如图40所示,本构成例所涉及的系数有无标记解码部124-C具备:子块系数有无标记解码部X1、频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124c以及高频位置上下文导出部124d。另外,系数有无标记解码部124-C中的解码处理的流程利用图33来说明。
(系数有无标记解码部124-C所具备的子块系数有无标记解码部X1)
系数有无标记解码部124-C所具备的子块系数有无标记解码部X1对从比特解码部132提供的Bin进行解释,对表示构成频率区域的各子块中是否存在至少1个非0的变换系数的子块系数有无标记(siginificant_coeffgroup_fiag)进行解码(图33的步骤SY1)。
然后,按位于变换块内的每个子块,对位于子块内的变换系数有无标记进行解码(图33的步骤SY2~步骤SY4)。即,在子块系数有无标记解码部X1中,在子块系数有无标记为1的情况下(图33的步骤SY2中为是的情况下),利用频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124c以及高频位置上下文导出部124d来对子块内的系数有无标记进行解码。另外,在子块系数有无标记为0的情况下(图33的步骤SY2中为否的情况下),使子块内的系数有无标记的解码跳过,转移到下一子块的处理。
(系数有无标记解码部124-C所具备的频率分类部124a)
系数有无标记解码部124-C所具备的频率分类部124a根据频率区域中的解码对象的频率分量的位置,将该频率分量分类到多个部分区域的某一个,并且将由低频位置上下文导出部124b、周边参考上下文导出部124c以及高频位置上下文导出部124d的某一个导出的上下文索引ctxIdx分配给该解码对象的频率分量(图33的步骤SY3)。
系数有无标记解码部124-C所具备的频率分类部124a参考频率区域所包含的各频率分量在该频率区域中的位置(uiPosX,uiPosY),将该频率分量分类为5个部分区域R0~R4。在此,设uiPosX=0、1、……、sz-1,uiPosY=0、1、……、sz-1(sz如上所述表示了处理对象TU的一边的像素数、即对象频率区域的一边的频率分量的数目,例如是sz=16,32等)。
在此,设将sz×sz块的频率区域分割为4×4子块,将该频率分量(uiPosX,uiPosY)所属的子块的位置设为(xCGyCG)。此外,该频率分量所属的子块位置(xCG,yCG)根据下述式子(eq.C1)~(eq.C2)来导出。
xCG=uiPosX>>2···(eq.C1)
yCG=uiPosY>>2···(eq.C2)
在此,设xCG=0、1、……、(sz-1)>>2,yCG=0、1、……、(sz-1)>>2。
系数有无标记解码部124-C所具备的频率分类部124a更具体而言进行以下的分类处理。
(1)将满足xCG+yCG<THC且uiPosX+uiPosY<THZ的频率分量分类到部分区域R0
(2)将满足xCG+yCG<THC且THZ<uiPosX+uiPosY<TH1的频率分量分类到部分区域R1。
(3)将满足xCG+yCG<THC且TH1≤uiPosX+uiPosY的频率分量分类到部分区域R2。
(4)将满足THC≤xCG+yCG<THD的频率分量分类到部分区域R3。
(5)将满足THD≤xCG+yCG的频率分量分类到部分区域R4。
与上述分类处理对应的伪码如下所示。
Figure BDA0000499129510000921
在此,阈值THZ使用2。另外,阈值TH1=5。另外,作为阈值THC以及THD的具体的值,例如,利用频率区域的尺寸log2TrafoSize进行如下设定即可。
THC=1<<(log2TrafoSize-2),
THD=1<<(log2TrafoSize-2)+2
即,在频率区域的尺寸为16×16的情况下,设THC=4、THD=6,在频率区域的尺寸为32×32的情况下,设定为THC=8、THD=10。这样,可采用根据频率区域的尺寸而利用不同的阈值的构成。
图41表示了通过基于系数有无标记解码部124-C所具备的频率分类部124a的分类处理而分割为部分区域R0、R1、R2、R3以及R4后的频率区域的一例。
系数有无标记解码部124-C所具备的频率分类部124a针对属于部分区域R0的频率分量,分配由低频位置上下文导出部124b导出的上下文索引,针对属于部分区域R1、R2以及R3的频率分量,分配由周边参考上下文导出部124c导出的上下文索引,针对属于部分区域R3的频率分量,分配由高频位置上下文导出部124d导出的上下文索引。
另外,系数有无标记解码部124-C所具备的频率分类部124a算出上下文索引ctxIdx,用于决定在算术码解码部130中为了对语法significant_coeff_flag进行解码而使用的上下文。上下文索引ctxIdx按每个频率区域的尺寸以及解码对象的频率分量而被算出(图33的步骤SY4)。解码出的语法significant_coeff_flag保存在解码系数存储部126中,被系数值解码部125参考。另外,解码时使用的上下文索引ctxIdx被提供给上下文记录更新部131。
以下,关于与各部分区域R0~R4对应的上下文导出进行具体说明。
(系数有无标记解码部124-C所具备的低频位置上下文导出部124b)
系数有无标记解码部124-C所具备的低频位置上下文导出部124b,在解码对象的频率分量包含于低频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
系数有无标记解码部124-C所具备的低频位置上下文导出部124b,针对属于部分区域R0的频率分量,利用以下的式子(eq.C3)来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+2×uiPosX+uiPosY···(eq.C3)
此外,NX是表示上下文索引的开始点的常数。在频率区域的尺寸为4×4以及8×8中使用的上下文数分别为N4个、N8个的情况下,频率区域的尺寸为16×16以及32×32的开始点成为NX=N4+N8。
(系数有无标记解码部124-C所具备的周边参考上下文导出部124c)
系数有无标记解码部124-C所具备的周边参考上下文导出部124c,将针对解码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而解码完毕的非0变换系数的数cnt来导出。
系数有无标记解码部124-C所具备的周边参考上下文导出部124c,针对属于部分区域R1的频率分量而利用式(eq.C4)来导出上下文索引ctxIdx,属于部分区域R2的频率分量而利用式(eq.C5)来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+3+min(2,temp)···(eq.C4)
temp=(cnt+1)>>1
ctxIdx=NX+6+min(2,temp)···(eq.C5)
temp=(cnt+1)>>1
此外,在部分区域R1以及R2中,利用图10(a)或图10(b)所示的(C1,C2,C3,C4,C5),并根据以下的式子(eq.C6)来导出非0变换系数的计数值cnt。
cnt=(c1!=0)+(c2!=0)+(c3!=0)+(c4!=0)+(c5!=0)···(eq.C6)
或者,也可利用图36(a)所示的参考频率分量(c1、c2、c4、c5),通过不参考作为对象的变换系数的位置的、按照处理顺序而位于近前方(在处理顺序为逆向扫描顺序的情况下为作为对象的变换系数的位置的下侧)的坐标(c3)的变换系数的以下的式子(eq.C7)来导出。这样的处理能够在不参考近前方的系数有无标记的值的情况下进行某位置的系数有无标记的解码中使用的上下文导出,因此能够并行地执行上下文导出处理和解码处理。
cnt=(c1!=0)+(c2!=0)+(c4!=0)+(c5!=0)···(eq.C7)
另外,本构成例所涉及的边参考上下文导出部124c针对属于部分区域R3的频率分量,利用以下的式子(eq.C8)来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+9+min(2,temp)···(eq.C8)
temp=(cnt+1)>>1
另外,在部分区域R3中,非零变换系数的计数值cnt利用图15(i)所示的3个参考频率分量(c1、c3、c4)并根据以下的式子(eq.C9)来导出。
cnt=(c1!=0)+(c3!=0)+(c4!=0)···(eq.C9)
在此,设各项在()内的比较为真时取1、在()内的比较为假时取0。
另外,参考频率分量不限于图15(i)所示的c1、c3、c4,也可使用图15(c)、(d)、(e)、(f)中分别示出的3个参考频率分量。
此外,作为部分区域R3的上下文索引ctxIdx的导出,不限于式子(eq.C8),也可如式子(eq.C10)那样。
ctxIdx=NX+9+min(2,cnt)···(eq.C10)
(系数有无标记解码部124-C所具备的高频位置上下文导出部124d)
系数有无标记解码部124-C所具备的高频位置上下文导出部124d,在解码对象的频率分量包含于高频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
系数有无标记解码部124-C所具备的高频位置上下文导出部124d针对属于部分区域R4的频率分量,利用以下的式子(eq.C11)来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部124a。
ctxIdx=NX+11+min(maxR3,(xCG+yCG-THD)>>shift)···(eq.C11)
在此,作为shift以及maxR3,例如,在对象频率区域的尺寸为16×16的情况下,利用shift=0、maxR3=3,在对象频率区域的尺寸为32×32的情况下,利用shift=1、maxR3=3即可,但本实施方式并不限定于此。
此外,通过基于系数有无标记解码部124-C所具备的频率分类部124a的分类处理而分割的频率区域的例子不限于图41所示的情况,例如,可以如图42所示那样对频率区域进行分割。即,频率分类部124a可采用如下那样将频率区域分类为部分区域R0、R1、R2、R3以及R4的构成。
(1)将满足xCG+yCG<THE且uiPosX+uiPosY<THZ的频率分量分类到部分区域R0。
(2)将满足xCG+yCG<THE且THZ<uiPosX+uiPosY的频率分量分类到部分区域R1。
(3)将满足THE≤xCG+yCG<THF的频率分量分类到部分区域R2。
(4)将满足THF≤xCG+yCG<THG的频率分量分类到部分区域R3。
(5)将满足THG≤xCG+yCG的频率分量分类到部分区域R4。
与上述分类处理对应的伪码如下所示。
Figure BDA0000499129510000961
在此,阈值THZ使用2。另外,作为阈值THE、THF以及THG的具体的值,例如,利用频率区域的尺寸(处理对象TU的尺寸)log2TrafoSize,设定为
THE=1
THF=1<<(log2TrafoSize-2)
THG=1<<(1og2TrafoSize-2)+2
即可。即,可以在频率区域的尺寸为16×16的情况下,设THE=1、THF=2、THG=4,在频率区域的尺寸为32×32的情况下,设THE=1、THF=4、THG=10。这样,可采用根据频率区域的尺寸而利用不同的阈值的构成。
如上所述,根据本构成例所涉及的系数有无标记解码部,在比给定的阈值THF更高频侧的部分区域(例如图41的部分区域R3)中,在对各变换系数有无标记分配的上下文索引导出中所参考的解码完毕的非0变换系数的数目,小于在低频侧的部分区域(例如图41的部分区域R2)中所参考的解码完毕的非0变换系数的数目,因此能够削减用于高频侧的上下文索引的导出处理的处理量。进而,在比另一阈值THG更高频侧的部分区域(例如图41的部分区域R4)中,由于不依据周围参考而基于位置来导出上下文索引,因此能够进一步削减处理量。另外,位置参考由于在上下文的导出中不使用已经解码出的系数有无标记的值,因此也能提高并行性。
此外,在上述的构成中,频率分类部124a进行了分类为5个部分区域,但也可以是分类到3个部分区域的构成。例如,可以是:
(1)将满足uiPosX+uiPosY<THZ且xCG+vCG<THG的频率分量分类到部分区域R0。
(2)将满足THZ<uiPosX+uiPosY且xCG+vCG<THG的频率分量分类到部分区域R1。
(3)将满足THG<xCG+yCG的频率分量分类到部分区域R4。
与上述分类处理对应的伪码如下所示。
Figure BDA0000499129510000971
Figure BDA0000499129510000981
如上所述,在本构成例所涉及的系数有无标记解码部124-C中,频率分类部124a根据处理对象的变换系数有无标记的位置、和该变换系数有无标记所属的子块的位置,将对象频率区域至少分类为3个部分区域,
周边参考上下文导出部124c
在第1部分区域(部分区域R1或R2)中,参考了N1个(N1为自然数)解码完毕的非0变换系数,
在第2部分区域(部分区域R3)中,参考了N2个(N2为满足N2<N1的自然数)解码完毕的非0变换系数来导出上下文索引,
在第3部分区域(部分区域R4)中,高频位置上下文导出部124d根据变换系数有无标记所属的子块的位置来导出上下文索引。
根据上述构成,通过将为了导出上下文索引而参考的解码完毕的非0变换系数的数设定得更小的部分区域、以及基于对象频率区域中的该变换系数有无标记的位置和该变换系数有无标记所属的子块的位置来导出上下文索引的部分区域进行组合,能够实现高的编码效率,而且与现有的构成相比能够削减用于高频侧的上下文索引的导出处理的处理量。
(运动图像编码装置2)
关于本实施方式所涉及的运动图像编码装置2的构成,参照图26~图28来进行说明。运动图像编码装置2是安装了H.264/MPEG-4AVC标准中采用的技术、作为VCEG(Video Coding Expert Group)中的共同开发用编解码器的KTA软件中采用的技术、TMuC(Test Model underConsideration)软件中采用的技术以及作为其后继编解码器的HEVC(High-Efficiency Video Coding)中提出的技术的编码装置。以下,对于和已经说明过的部分相同的部分标注相同标号,并省略其说明。
图26是表示运动图像编码装置2的构成的框图。如图26所示,运动图像编码装置2具备:预测图像生成部21、变换和量化部22、逆量化和逆变换部23、加法器24、帧存储器25、环路滤波器26、可变长码编码部27以及减法器28。另外,如图26所示,预测图像生成部21具备帧内预测图像生成部21a、运动向量检测部21b、帧间预测图像生成部21c、预测方式控制部21d以及运动向量冗余性删除部21e。运动图像编码装置2是通过对运动图像#10(编码对象图像)进行编码来生成编码数据#1的装置。
(预测图像生成部21)
预测图像生成部21将处理对象LCU递归地分割为1个或多个下级CU,进一步将各叶(leaf)CU分割为1个或多个分区,按每个分区来生成利用了画面间预测的帧间预测图像Pred_Inter或利用了画面内预测的帧内预测图像Pred_Intra。生成的帧间预测图像Pred_Inter以及帧内预测图像Pred_Intra被作为预测图像Pred而提供给加法器24以及减法器28。
此外,预测图像生成部21针对应用了跳过模式的PU,省略属于该PU的其他参数的编码。另外,按照使编码效率最佳化的方式来决定:(1)对象LCU中的向下级CU以及分区的分割的方式,(2)是否应用跳过模式,以及(3)各分区中生成帧间预测图像Pred_Inter以及帧内预测图像Pred_Intra中的哪一个。
(帧内预测图像生成部21a)
帧内预测图像生成部21a通过画面内预测来生成与各分区相关的预测图像Pred_Intra。具体而言,(1)针对各分区来选择在帧内预测中使用的预测模式,(2)利用所选择的预测模式,根据解码图像P来生成预测图像Pred_Intra。帧内预测图像生成部21a将所生成的帧内预测图像Pred_Intra提供给预测方式控制部21d。
另外,帧内预测图像生成部21a采用下述构成:根据对对象分区的周边的分区分配的预测模式来决定针对对象分区的估计预测模式,将表示该估计预测模式与针对对象分区而实际选择的预测模式是否相同的估计预测模式标记,作为帧内预测参数PP_Intra的一部分而经由预测方式控制部21d提供给可变长码编码部27,可变长码编码部27将该标记包含在编码数据#1中。
另外,帧内预测图像生成部21a采用下述构成:在针对对象分区的估计预测模式与针对对象分区而实际选择的预测模式不同的情况下,将表示针对对象分区的预测模式的残余预测模式索引,作为帧内预测参数PP_Intra的一部分而经由预测方式控制部21d提供给可变长码编码部27,可变长码编码部27将该残余预测模式索引包含在编码数据#1中。
(运动向量检测部21b)
运动向量检测部21b检测与各分区相关的运动向量mv。具体而言,(1)选择作为参考图像而利用的自适应滤波完毕解码图像P_ALF’,(2)在选择出的自适应滤波完毕解码图像P_ALF’中,通过对对象分区搜索进行最佳近似的区域来检测与对象分区相关的运动向量mv。在此,自适应滤波完毕解码图像P_ALF’,是针对已经完成了帧整体的解码的解码完毕的解码图像实施基于环路滤波器26的自适应滤波处理而得到的图像,运动向量检测部21b能够将构成自适应滤波完毕解码图像P_ALF’的各像素的像素值从帧存储器25中读出。运动向量检测部21b将检测到的运动向量mv,与指定被用作参考图像的自适应滤波完毕解码图像P_ALF’的参考图像索引RI一起提供给帧间预测图像生成部21c以及运动向量冗余性删除部21e。
(帧间预测图像生成部21c)
帧间预测图像生成部21c通过画面间预测来生成与各帧间预测分区相关的运动补偿图像mc。具体而言,利用从运动向量检测部21b提供的运动向量mv,根据由从运动向量检测部21b提供的参考图像索引RI指定的自适应滤波完毕解码图像P_ALF’来生成运动补偿图像mc。与运动向量检测部21b同样,帧间预测图像生成部21c能够将构成自适应滤波完毕解码图像P_ALF’的各像素的像素值从帧存储器25中读出。帧间预测图像生成部21c将生成的运动补偿图像mc(帧间预测图像Pred_Inter),与从运动向量检测部21b提供的参考图像索引RI一起提供给预测方式控制部21d。
(预测方式控制部21d)
预测方式控制部21d将帧内预测图像Pred_Intra以及帧间预测图像Pred_Inter与编码对象图像进行比较,选择进行帧内预测还是进行帧间预测。在选择了帧内预测的情况下,预测方式控制部21d将帧内预测图像Pred_Intra作为预测图像Pred而提供给加法器24以及减法器28,并且将从帧内预测图像生成部21a提供的帧内预测参数PP_Intra提供给可变长码编码部27。另一方面,在选择了帧间预测的情况下,预测方式控制部21d将帧间预测图像Pred_Inter作为预测图像Pred而提供给加法器24以及减法器28,并且将参考图像索引RI、以及从后述的运动向量冗余性删除部21e提供的估计运动向量索引PMVI以及运动向量残差MVD作为帧间预测参数PP_Inter而提供给可变长码编码部27。另外,预测方式控制部21d将表示选择了帧内预测图像Pred_Intra以及帧间预测图像Pred_Inter中的哪一个预测图像的预测类型信息Pred_type提供给可变长码编码部27。
(运动向量冗余性删除部21e)
运动向量冗余性删除部21e删除通过运动向量检测部21b检测出的运动向量mv中的冗余性。具体而言,(1)选择在运动向量mv的估计中使用的估计方法,(2)按照所选择的估计方法来导出估计运动向量pmv,(3)通过从运动向量mv中减去估计运动向量pmv来生成运动向量残差MVD。运动向量冗余性删除部21e将所生成的运动向量残差MVD与表示选择出的估计方法的估计运动向量索引PMVI一起提供给预测方式控制部21d。
(变换和量化部22)
变换和量化部22,(1)针对从编码对象图像中减去预测图像Pred后的预测残差D,按每个块(变换单位)来施加DCT变换(DiscreteCosineTransform)等频率变换,(2)对通过频率变换而得到的变换系数Coeff_IQ进行量化,(3)将通过量化而得到的变换系数Coeff提供给可变长码编码部27以及逆量化和逆变换部23。此外,变换和量化部22,(1)按每个TU来选择在量化时使用的量化步长QP,(2)将表示选择出的量化步长QP的大小的量化参数差分Δqp提供给可变长码编码部28,(3)将选择出的量化步长QP提供给逆量化和逆变换部23。在此,量化参数差分Δqp是指,从要进行频率变换以及量化的TU所相关的量化参数qp(例如QP=2pq/6)的值中减去在近前方已进行了频率变换以及量化的TU所相关的量化参数qp’的值而得到的差分值。
此外,关于由变换和量化部22进行的DCT变换,例如在对象块的尺寸为8×8像素的情况下,若将针对水平方向的频率u以及垂直方向的频率v的量化前的变换系数表示为Coeff_IQ(u,v)(0≤u≤7,0≤v≤7),则例如由以下的数学式(2)赋予。
[数学式2]
Coeff _ IQ ( u , v ) = 1 4 C ( u ) C ( v ) &Sigma; i = 0 7 &Sigma; j = 0 7 D ( i , j ) cos { ( 2 i + 1 ) u&pi; 16 } cos { ( 2 j + 1 ) v&pi; 16 } . . . ( 2 )
在此,D(i,j)(0≤i≤7,0≤j≤7)表示了对象块中的位置(i,j)处的预测残差D。另外,C(u)以及C(v)按以下方式赋予。
&CenterDot; C ( u ) = 1 / 2 ( u = 0 )
·C(u)=1(u≠0)
&CenterDot; C ( v ) = 1 / 2 ( v = 0 )
·C(v)=1(v≠0)
(逆量化和逆变换部23)
逆量化和逆变换部23,(1)对量化后的变换系数Coeff进行逆量化,(2)对通过逆量化而得到的变换系数Coeff_IQ实施逆DCT(DiscreteCosine Transform)变换等逆频率变换,(3)将通过逆频率变换而得到的预测残差D提供给加法器24。在对量化后的变换系数Coeff进行逆量化时,利用从变换和量化部22提供的量化步长QP。此外,从逆量化和逆变换部23输出的预测残差D,是在输入到变换和量化部22的预测残差D上加上了量化误差后的结果,但在此为了简化而采用公共的呼称。逆量化和逆变换部23的更具体的动作与运动图像解码装置1所具备的逆量化和逆变换部13大致相同。
(加法器24)
加法器24将由预测方式控制部21d选择出的预测图像Pred与由逆量化和逆变换部23生成的预测残差D相加,由此生成(局部)解码图像P。由加法器24生成的(局部)解码图像P被提供给环路滤波器26,并保存在帧存储器25中,被用作帧内预测中的参考图像。
(可变长码编码部27)
可变长码编码部27,对(1)从变换和量化部22提供的量化后的变换系数Coeff以及Δqp、(2)从预测方式控制部21d提供的量化参数PP(帧间预测参数PP_Inter以及帧内预测参数PP_Intra)、(3)预测类型信息Pred_type以及(4)从环路滤波器26提供的滤波器参数FP进行可变长编码,由此来生成编码数据#1。
图27是表示可变长码编码部27的构成的框图。如图27所示,可变长码编码部27具备:对量化后的变换系数Coeff进行编码的量化残差信息编码部271、对预测参数PP进行编码的预测参数编码部272、对预测类型信息Pred_type进行编码的预测类型信息编码部273以及对滤波器参数FP进行编码的滤波器参数编码部274。关于量化残差信息编码部271的具体的构成在后面描述,所以在此省略说明。
(减法器28)
减法器28通过将由预测方式控制部21d选择的预测图像Pred从编码对象图像中减去来生成预测残差D。由减法器28生成的预测残差D被变换和量化部22进行频率变换以及量化。
(环路滤波器26)
环路滤波器26具有下述功能:(1)作为进行解码图像P中的块边界或分区边界的周边的图像的平滑化(去块处理)的去块滤波器(DF:Deblocking Filter)的功能;(2)作为针对去块滤波器所作用的图像而利用滤波器参数FP来进行自适应滤波处理的自适应滤波器(ALF:Adaptive Loop Filter)的功能。
(量化残差信息编码部271)
量化残差信息编码部271通过对量化后的变换系数Coeff(uiPosX,uiPosY)进行上下文自适应二进制算术编码(CABAC:(Context-basedAdaptive Binary Arithmetic Coding))来生成量化残差信息QD。生成的量化残差信息QD所包含的语法如图5所示。
此外,uiPosX以及uiPosY如上所述是表示频率区域中的各频率分量的位置的索引,分别是上述的水平方向频率u以及垂直方向频率v所对应的索引。此外,以下,有时也将量化后的变换系数Coeff仅称为变换系数Coeff。
(量化残差信息编码部271)
图28是表示量化残差信息编码部271的构成的框图。如图28所示,量化残差信息编码部271具备变换系数编码部220以及算术码编码部230。
(算术码编码部230)
算术码编码部230是通过参考上下文来对从变换系数编码部220提供的各Bin进行编码从而来生成量化残差信息QD的构成,如图1所示,具备上下文记录更新部231以及比特编码部232。
(上下文记录更新部231)
上下文记录更新部231是是用于对由各上下文索引ctxIdx管理的上下文变量CV进行记录以及更新的构成。在此,上下文变量CV包含:(1)发生概率高的大概率符号MPS(most probable symbol);(2)对该大概率符号MPS的发生概率进行指定的概率状态索引pStateIdx。
上下文记录更新部231通过参考从变换系数编码部220所具备的各部分提供的上下文索引ctxIdx、以及由比特编码部232编码后的Bin的值,来更新上下文变量CV,并且对更新后的上下文变量CV进行记录直至下一次被更新为止。此外,大概率符号MPS是0或1。另外,大概率符号MPS和概率状态索引pStateIdx在比特解码部132每对Bin进行一个解码时被更新。
另外,上下文索引ctxIdx可以是直接指定针对各频率分量的上下文的索引,也可以是从对处理对象的每个TU设定的上下文索引的偏移起的增量值(以下同样)。
(比特编码部232)
比特编码部232参考上下文记录更新部231中记录的上下文变量CV,对从变换系数编码部220所具备的各部分提供的各Bin进行编码来生成量化残差信息QD。另外,进行编码而得到的Bin的值也被提供给上下文记录更新部231,为了对上下文变量CV进行更新而参考。
(变换系数编码部220)
如图28所示,变换系数编码部220具备:末尾位置编码部221、扫描顺序表保存部222、系数编码控制部223、系数有无标记编码部、系数值编码部225、编码系数存储部226以及语法导出部227。
(语法导出部227)
语法导出部227参考变换系数Coeff(uiPosX,uiPosY)的各值,导出用于确定对象频率区域中的这些变换系数的语法last_significant_coeff_x、last_significant_coeff_y、significant_coeff_flag、coefl_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、coeff_sign_flag以及coeff_abs_level_minus3的各值。导出的各语法被提供给编码系数存储部226。另外,导出的语法中的last_significant_coeff_x、last_significant_coeff_y还被提供给系数编码控制部223以及末尾位置编码部221。另外,导出的语法中的significant_coeff_flag还被提供给系数有无标记编码部224。此外,关于各语法所表示的内容以在上面描述,所以在此省略说明。
(末尾位置编码部221)
末尾位置编码部221对从语法导出部227提供的语法last_significant_coeff_x、last_significant_coeff_y进行编码。另外,将对这些语法进行编码而得到的各Bin提供给比特编码部232。另外,语法last_significant_coeff_x以及last_significant_coeff_y的编码中使用的上下文索引ctxldx被提供给上下文记录更新部23 1。
(扫描顺序表保存部222)
扫描顺序表保存部222保存了:以处理对象的TU的尺寸、表示扫描方向的类别的扫描索引以及沿着扫描顺序而赋予的频率分量识别索引为白变量,赋予处理对象的频率分量在频率区域中的位置的表。作为这样的扫描顺序表的一例,可列举图5所示的ScanOrder。
(系数编码控制部223)
系数编码控制部223是用于对量化残差信息编码部271所具备的各部分中的编码处理的顺序进行控制的构成。系数编码控制部223参考从语法导出部227提供的语法last_significant_coeff_x以及last_significant_coeff_y,确定沿着顺向扫描的最后的非0变换系数的位置,并且按照以所确定的最后的非0变换系数的位置为起点的扫描顺序、且由扫描顺序表保存部222中保存的扫描顺序表所赋予的扫描顺序的逆向扫描顺序,将各频率分量的位置(uiPosX,uiPosY)提供给系数有无标记编码部。
此外,系数编码控制部223也可采用下述构成:确定沿着顺向扫描的最后的非0变换系数的位置,按照以最初的分量(DC分量)为起点并以所确定的最后的非0变换系数的位置为终点的扫描顺序、且由扫描顺序表保存部222中保存的扫描顺序表赋予的扫描顺序的顺向扫描顺序,将各频率分量的位置(uiPosX,uiPosY)提供给系数有无标记编码部。
(系数值编码部225)
系数值编码部225对从语法导出部227提供的语法coeff_abs_level_greaterl_flag、coefl_abs_level_greater2_flag、coeff_sign_flag以及coeff_abs_level_minus3进行编码。另外,将对这些语法进行编码而得到的各Bin提供给比特编码部232。另外,这些语法的编码中使用的上下文索引ctxldx被提供给上下文记录更新部231。
(编码系数存储部226)
编码系数存储部226是用于预先存储由语法导出部227导出的语法的各值的构成。特别是,编码系数存储部226中存储了由语法导出部227导出的语法significant_coefl_flag的各值。
(系数有无标记编码部)
本实施方式所涉及的系数有无标记编码部是下述构成:将频率区域根据频率的大小而分类为1个或多个部分区域,根据按每个部分区域而确定的导出方法来导出上下文索引ctxldx,并且利用导出的上下文索引ctxldx对表示非0变换系数的有无的语法significant_coeff_flag进行编码。
<系数有无标记编码部的第1构成例>
图28中表示了作为本实施方式所涉及的系数有无标记编码部的第1构成例的系数有无标记编码部224。
如图28所示,本构成例所涉及的系数有无标记编码部224具备:频率分类部224a、低频位置上下文导出部224b、周边参考上下文导出部224c、高频位置上下文导出部224d。
(频率分类部224a)
频率分类部224a是下述构成:根据频率区域中的编码对象的频率分量的位置,将该频率分量分类到多个部分区域的某一个,并且将由低频位置上下文导出部224b、周边参考上下文导出部224c以及高频位置上下文导出部224d的某一个导出的上下文索引ctxIdx分配给该编码对象的频率分量。
频率分类部224a算出上下文索引ctxIdx,用于决定在算术码编码部230中为了对语法significant_coeff_flag进行编码而使用的上下文。上下文索引ctxIdx按每个频率区域的尺寸以及解码对象的频率分量而被算出。
本构成例所涉及的频率分类部224a所执行的其他具体的处理与运动图像解码装置1所具备的频率分类部124a同样,所以在此省略说明。
(低频位置上下文导出部224b)
低频位置上下文导出部224b是用于在编码对象的频率分量包含于低频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出的构成。
本构成例所涉及的低频位置上下文导出部224b所执行的具体处理与运动图像解码装置1所具备的低频位置上下文导出部124b同样,所以在此省略说明。
(周边参考上下文导出部224c)
周边参考上下文导出部224c是下述构成:将针对编码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而编码完毕的非0变换系数的数目来导出。
本构成例所涉及的周边参考上下文导出部224c所执行的具体处理与运动图像解码装置1所具备的周边参考上下文导出部224c同样,所以在此省略说明。
(高频位置上下文导出部224d)
高频位置上下文导出部224d是下述构成:在编码对象的频率分量包含于高频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
本构成例所涉及的高频位置上下文导出部224d所执行的具体处理与运动图像解码装置1所具备的高频位置上下文导出部124d同样,所以在此省略说明。
<系数有无标记编码部的第2构成例>
本实施方式所涉及的系数有无标记编码部可采用与运动图像解码装置1所具备的系数有无标记解码部124-1对应的构成。
具体而言,本构成例所涉及的系数有无标记编码部可采用:具备与频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124c、前扫描列上下文导出部124e以及非0变换系数计数部124f同样的各部分的构成。
关于这些部分,在运动图像解码装置1所具备的系数有无标记解码部124-1的说明中已进行了描述,所以在此省略说明。
<系数有无标记编码部的第3构成例>
本实施方式所涉及的系数有无标记编码部可采用与运动图像解码装置1所具备的系数有无标记解码部124-2对应的构成。
具体而言,本构成例所涉及的系数有无标记编码部可采用:具备与频率分类部124a、低频位置上下文导出部124b、周边参考上下文导出部124g同样的各部分的构成。
关于这些部分,在运动图像解码装置1所具备的系数有无标记解码部124-2的说明中已进行了描述,所以在此省略说明。
另外,系数有无标记解码部124-2的构成也可采用系数有无标记编码部的第3构成例的其他构成例所示的构成。
<系数有无标记编码部的第4构成例>
本实施方式所涉及的系数有无标记编码部可采用与运动图像解码装置1所具备的系数有无标记解码部124’对应的构成。
具体而言,本构成例所涉及的系数有无标记编码部可采用:具备与频率分类部124a′、低频位置上下文导出部124b、周边参考上下文导出部124g以及高频位置上下文导出部124d同样的各部分的构成。
关于这些部分,在运动图像解码装置1所具备的系数有无标记解码部124’的说明中已进行了描述,所以在此省略说明。
<系数有无标记编码部的第5构成例>
本实施方式所涉及的系数有无标记编码部可采用与运动图像解码装置1所具备的系数有无标记解码部124-3对应的构成。
具体而言,本构成例所涉及的系数有无标记编码部可采用:具备与频率分类部124a、低频位置上下文导出部124b、高频区域上下文导出部124h、周边参考上下文导出部124i、前扫描列上下文导出部124e、非0变换系数计数部124f同样的各部分的构成。
关于这些部分,在运动图像解码装置1所具备的系数有无标记解码部124-3的说明中已进行了描述,所以在此省略说明。
<系数有无标记编码部的第6构成例>
本实施方式所涉及的系数有无标记编码部可采用与运动图像解码装置1所具备的系数有无标记解码部124-4对应的构成。
具体而言,本构成例所涉及的系数有无标记编码部可采用:具备与频率分类部124a、低频位置上下文导出部124b以及周边参考上下文导出部124k同样的各部分的构成。
关于这些部分,在运动图像解码装置1所具备的系数有无标记解码部124-4的说明中已进行了描述,所以在此省略说明。
以下,对运动图像解码装置1所具备的系数有无标记解码部的第7~第9构成所对应的系数有无标记编码部的第7~第9构成进行说明。系数有无标记编码部的第7~第9构成不是将频率区域的整体作为1个变换块来对系数有无标记进行编码,而是将变换块例如分割为4×4的子块,以子块为单位来对系数有无标记进行编码。图32表示了基于第7~第9构成所涉及的系数有无标记编码部的子块扫描。在利用子块来对系数有无标记进行编码的情况下,以子块为单位,对表示在子块内存在至少1个非0变换系数的标记(子块系数有无标记)按照子块逆向扫描顺序进行编码。进而,在子块系数有无标记非0的情况下,针对子块内部的各变换系数,对系数有无标记按照子块内部的逆向扫描顺序进行编码。
<系数有无标记编码部的第7构成>
图44是表示与系数有无标记解码部124-A对应的系数有无标记编码部224-A的构成的框图。另外,图43是表示本构成例所涉及的系数有无标记编码部224-A的动作流程的流程图。
如图44所示,本构成例所涉及的系数有无标记编码部224-A具备:子块系数有无标记编码部X2、频率分类部224a、低频位置上下文导出部224b以及周边参考上下文导出部224c。
(子块系数有无标记编码部X2)
子块系数有无标记编码部X2对由语法导出部227提供的表示构成对象变换块的频率区域的各子块中是否存在至少1个非0的变换系数的子块系数有无标记(significant_coeffgroup_fiag)进行编码(图43的步骤SY1’)。另外,将对子块系数有无标记进行编码而得到的各Bin提供给比特编码部232。
然后,子块系数有无标记编码部X2按位于变换块内的每个子块,在子块内对系数有无标记进行编码(图43的步骤SY2’~步骤SY4’)。即,在子块系数有无标记编码部X2中,在子块系数有无标记为1的情况下(图43的步骤SY2’中为是的情况下),利用频率分类部224a、低频位置上下文导出部224b、周边参考上下文导出部224c来对子块内的系数有无标记进行编码。另外,在子块系数有无标记为0的情况下(图43的步骤SY2’中为否的情况下),使子块内的系数有无标记的编码跳过,转移到下一子块的处理。
此外,在图43的子块的循环中,sbkIdx表示子块的顺向扫描中的对象子块的扫描顺序编号,LastSbkIdx表示子块的顺向扫描中的有末尾系数的子块的扫描顺序编号。在将sz×sz的变换块分割为4×4子块的情况下,sbkIdx以及LastSbkIdx的取值为0~(sz>>2)×(sz>>2)-1。
(系数有无标记编码部224-A所具备的频率分类部224a)
系数有无标记编码部224-A所具备的频率分类部224a根据频率区域中的编码对象的频率分量的位置,将该频率分量分类到多个部分区域的某一个,并且将由低频位置上下文导出部224b以及周边参考上下文导出部224c的某一个导出的上下文索引ctxIdx分配给该编码对象的频率分量(图43的步骤SY3’)。
系数有无标记编码部224-A所具备的频率分类部224a算出上下文索引ctxIdx,用于决定在算术编码部230中为了对语法significant_coeff_flag进行编码而使用的上下文。上下文索引ctxIdx按每个频率区域的尺寸以及编码对象的频率分量而被算出(图43的步骤SY4’)。
系数有无标记编码部224-A所具备的频率分类部224a所执行的其他具体处理与系数有无标记解码部124-A中的频率分类部124a同样,所以在此省略说明。
以下,说明与各部分区域R0~R2对应的上下文导出。
(系数有无标记编码部224-A所具备的低频位置上下文导出部224b)
系数有无标记编码部224-A所具备的低频位置上下文导出部224b,在编码对象的频率分量包含于低频侧的部分区域的情况下,将针对该频率分量的上下文索引ctxIdx基于频率区域中的该频率分量的位置来导出。
本构成例所涉及的低频位置上下文导出部224b针对属于部分区域R0的频率分量,通过与系数有无标记解码部124-A中的低频位置上下文导出部124b同样的处理来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部224a。
(系数有无标记编码部224-A所具备的周边参考上下文导出部224c)
系数有无标记编码部224-A所具备的周边参考上下文导出部224c,将针对编码对象的频率分量的上下文索引ctxIdx,基于针对该频率分量的周边的频率分量而编码完毕的非0变换系数的数目来导出。
本实施方式所涉及的周边参考上下文导出部224c针对属于部分区域R1以及R2的频率分量,通过与系数有无标记解码部124-A中的周边参考上下文导出部124c同样的处理来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部224a。
<系数有无标记编码部的第8构成>
图45是表示系数有无标记解码部124-B所对应的系数有无标记编码部224-B的构成的框图。另外,系数有无标记编码部224-B的动作流程利用图43所示的流程图来说明。
如图45所示,本构成例所涉及的系数有无标记编码部224-B具备:子块系数有无标记编码部X2、频率分类部224a、低频位置上下文导出部224b、周边参考上下文导出部224c以及高频位置上下文导出部224d。
(系数有无标记编码部224-B所具备的子块系数有无标记编码部X2)
系数有无标记编码部224-B所具备的子块系数有无标记编码部X2,对由语法导出部227提供的表示构成对象变换块的频率区域的各子块中是否存在至少1个非0的变换系数的子块系数有无标记(significant_coeffgroup_fiag)进行编码(图43的步骤SY1’)。另外,对子块系数有无标记进行编码而得到的各Bin提供给比特编码部232。
然后,按位于变换块内的每个子块,在子块内对系数有无标记进行编码(图43的步骤SY2’~步骤SY4’)。即,在子块系数有无标记编码部X2中,在子块系数有无标记为1的情况下(图43的步骤SY2’中为是的情况下),利用频率分类部224a、低频位置上下文导出部224b、周边参考上下文导出部224c、高频位置上下文导出部224d来对子块内的系数有无标记进行编码。另外,在子块系数有无标记为0的情况下(图43的步骤SY2’中为否的情况下),使子块内的系数有无标记的编码跳过,转移到下一子块的处理。
(系数有无标记编码部224-B所具备的频率分类部224a)
系数有无标记编码部224-B所具备的频率分类部224a根据频率区域中的编码对象的频率分量的位置,将该频率分量分类到多个部分区域的某一个,并且将由低频位置上下文导出部224b、周边参考上下文导出部224c以及高频位置上下文导出部224d的某一个导出的上下文索引ctxIdx分配给该编码对象的频率分量(图43的步骤SY3’)。
系数有无标记编码部224-B所具备的频率分类部224a算出上下文索引ctxIdx,用于决定在算术编码部230中为了对语法significant_coeff_flag进行编码而使用的上下文。上下文索引ctxIdx按每个频率区域的尺寸以及编码对象的频率分量而被算出(图43的步骤SY4’)。
系数有无标记编码部224-B所具备的频率分类部224a所执行的其他具体处理与系数有无标记解码部124-B中的频率分类部124a同样,所以在此省略说明。
以下,说明各部分区域R0~R3所对应的上下文导出。
(系数有无标记编码部224-B所具备的低频位置上下文导出部224b)
系数有无标记编码部224-B所具备的低频位置上下文导出部224b针对属于部分区域R0的频率分量,通过与系数有无标记解码部124-B中低频位置上下文导出部124b同样的处理来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部224a。
(系数有无标记编码部224-B所具备的周边参考上下文导出部224c)
系数有无标记编码部224-B所具备的周边参考上下文导出部224c针对属于部分区域R1以及R2的频率分量,通过与系数有无标记解码部124-B中的周边参考上下文导出部124c同样的处理来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部224a。
(系数有无标记编码部224-B所具备的高频位置上下文导出部224d)
系数有无标记编码部224-B所具备的高频位置上下文导出部224d在编码对象的频率分量包含于高频侧的部分区域的情况下,将针对该频率的上下文索引ctxIdx,基于频率区域中的该频率分量的位置和该频率分量所属的子块的位置来导出。
系数有无标记编码部224-B所具备的高频位置上下文导出部224d针对属于部分区域R3的频率分量,通过与系数有无标记解码部124-C中的高频位置上下文导出部124d同样的处理来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部224a。
根据如以上那样构成的频率分类部224a,能够将用于根据变换系数的位置来切换上下文导出方法的分支处理设为利用了子块坐标(xCG,yCG)的分支处理。与进行参考(uiPosX,uiPosY)的分支处理的情况相比,能够省略在子块内部进行的参考(uiPosX,uiPosY)的分支处理,从而能够提高上下文导出的吞吐量。
进而,通过具备如以上那样构成的系数有无标记编码部以及子块系数有无标记编码部,位置上下文不依赖于已经编码后的系数有无标记的值来决定某变换系数的位置的系数有无标记的上下文,因此具有能够并行地进行系数有无标记的上下文导出和系数有无标记的编码的效果。
<系数有无标记编码部的第9构成>
图46是表示系数有无标记解码部124-C所对应的系数有无标记编码部224-C的构成的框图。另外,系数有无标记编码部224-C的动作流程利用图43所示的流程图来说明。
如图46所示,本构成例所涉及的系数有无标记编码部224-C具备:子块系数有无标记编码部X2、频率分类部224a、低频位置上下文导出部224b、周边参考上下文导出部224c以及高频位置上下文导出部224d。
(系数有无标记编码部224-C所具备的子块系数有无标记编码部X2)
系数有无标记编码部224-C所具备的子块系数有无标记编码部X2与系数有无标记编码部224-B的系数有无标记编码部X2同样,所以省略说明。
(频率分类部224a)
系数有无标记编码部224-C所具备的频率分类部224a根据频率区域中的编码对象的频率分量的位置,将该频率分量分类到多个部分区域的某一个,并且将由低频位置上下文导出部224b、周边参考上下文导出部224c以及高频位置上下文导出部224d的某一个导出的上下文索引ctxIdx分配给该编码对象的频率分量(图43的步骤SY3’)。
系数有无标记编码部224-C所具备的频率分类部224a算出上下文索引ctxIdx,用于决定在算术编码部230中为了对语法significant_coeff_flag进行编码而使用的上下文。上下文索引ctxIdx按每个频率区域的尺寸以及编码对象的频率分量被量而被算出(图43的步骤SY4’)。
系数有无标记编码部224-C所具备的频率分类部224a所执行的其他具体处理与系数有无标记解码部124-C中的频率分类部124a同样,所以在此省略说明。
以下,说明各部分区域R0~R4所对应的上下文导出。
(系数有无标记编码部224-C所具备的低频位置上下文导出部224b)
系数有无标记编码部224-C所具备的低频位置上下文导出部224b针对属于部分区域R0的频率分量,通过与系数有无标记解码部124-C中的低频位置上下文导出部124b同样的处理来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部224a。
(系数有无标记编码部224-C所具备的周边参考上下文导出部224c)
系数有无标记编码部224-C所具备的周边参考上下文导出部224c针对属于部分区域R1、R2以及R3的频率分量,通过与系数有无标记解码部124-C中的周边参考上下文导出部124c同样的处理来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部224a。
(系数有无标记编码部224-C所具备的高频位置上下文导出部224d)
系数有无标记编码部224-C所具备的高频位置上下文导出部224d针对属于部分区域R4的频率分量,通过与系数有无标记解码部124-C中的高频位置上下文导出部124d同样的处理来导出上下文索引ctxIdx,并将该导出结果ctxIdx提供给频率分类部224a。
如上所述,根据本构成例所涉及的系数有无标记编码部224-C,在比给定的阈值THF更高频侧的部分区域(例如图41的部分区域R3)中,在对各变换系数有无标记分配的上下文索引导出中所参考的编码完毕的非0变换系数的数目,小于在低频侧的部分区域(例如图41的部分区域R2)中所参考的编码完毕的非0变换系数的数目,因此能够削减用于高频侧的上下文索引的导出处理的处理量。进而,在比另一阈值THG更高频侧的部分区域(例如图41的部分区域R4)中,由于不依赖于周围参考地基于位置来导出上下文索引,因此能够进一步削减处理量。另外,由于位置参考不使用在上下文的导出中已经编码的系数有无标记的值,因此还能够提高并行性。
如上所述,在本构成例所涉及的系数有无标记编码部224-C中,频率分类部224a根据处理对象的变换系数有无标记的位置和该变换系数有无标记所属的子块的位置,将对象频率区域至少分类为3个部分区域,
周边参考上下文导出部224c,
在第1部分区域(部分区域R1或R2)中,参考N1个(N1为自然数)解码完毕的非0变换系数,
在第2部分区域(部分区域R3)中,通过参考N2个(N2为满足N2<N1的自然数)解码完毕的非0变换系数来导出上下文索引,
在第3部分区域(部分区域R4)中,高频位置上下文导出部224d根据变换系数有无标记所属的子块的位置来导出上下文索引。
根据上述构成,通过将为了导出上下文索引而参考的编码完毕的非0变换系数的数设定得更小的部分区域、以及基于对象频率区域中的该变换系数有无标记的位置和该变换系数有无标记所属的子块的位置来导出上下文索引的部分区域进行组合,能够实现高的编码效率,而且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
(变换系数编码部220的另一构成例1)
以上,关于本实施方式所涉及的变换系数编码部220,主要以系数有无标记编码部的构成例为中心进行了说明,但本实施方式所涉及的变换系数编码部220的构成并不限于上述的例子。
例如,变换系数编码部220可采用限制为仅对针对满足下述条件
uiPosX+I-uiPosY<TH2
的频率分量的变换系数进行编码,也可采用将表示是否应用了该限制的标记high_coeff_restriction_flag包含在编码数据#1的序列参数组SPS中的构成。
另外,也可构成为仅在处理对象的TU为特定的尺寸(例如32×32、16×16)的情况下应用上述的限制。
关于具体的限制的例子以及与其关联的处理,与(变换系数解码部120的另一构成例1)中描述的同样,所以在此省略说明。
(变换系数编码部220的另一构成例2)
另外,在对象TU的尺寸为8×8像素的情况下,变换系数编码部220所具备的系数有无标记编码部可采用:利用以下的式子来导出上下文索引ctxIdx,并分配给各频率分量的构成。
ctxIdx=N8+4×tb1[uiPosY]+tb1[uiPosX]
在此,tb1={0,1,1,2,2,3,3,3}。
此外,N8是频率区域的尺寸为8×8的情况下的上下文索引的开始点。
本构成例所涉及的系数有无标记编码部所执行的处理与(变换系数解码部120的另一构成例2)中描述的同样,所以在此省略说明。
(运动图像解码装置3)
以下,关于作为本实施方式所涉及的运动图像解码装置的另一例的运动图像解码装置3,参考图61~图73来进行说明。以下,对于与已经说明过的部分相同的部分标注相同标号,并省略其说明。
运动图像解码装置3在图7的运动图像解码装置1中取代量化残差信息解码部111而具备量化残差信息解码部Y111。
图61是表示运动图像解码装置3的量化残差信息解码部Y111的构成的框图。如图61所示,量化残差信息解码部Y111具备变换系数解码部Y120以及算术码解码部130。
如图61所示,变换系数解码部Y120具备:末尾系数位置解码部121、扫描顺序表保存部122、系数解码控制部123、系数有无标记解码部Y124、系数值解码部Y125、解码系数存储部126以及子块系数有无标记解码部Y127。
(扫描顺序表保存部122)
扫描顺序表保存部122保存有:以处理对象的TU(块)的尺寸、表示扫描方向的类别的扫描索引以及沿着扫描顺序而赋予的频率分量识别索引为自变量,赋予处理对象的频率分量的频率区域中的位置的表。
另外,扫描顺序表保存部122还保存有用于指定子块的扫描顺序的子块扫描顺序表。
(系数解码控制部123)
系数解码控制部123是用于对量化残差信息解码部Y111所具备的各部分中的解码处理的顺序进行控制的构成。
(块尺寸为给定的尺寸以下的情况)
在块尺寸为给定的尺寸以下的情况下,系数解码控制部123参考从末尾系数位置解码部121提供的语法last_significant_coeff_x以及last_significant_coeff_v,确定沿着顺向扫描的最后的非0变换系数的位置,并且按照以所确定的最后的非0变换系数的位置为起点的扫描顺、且由扫描顺序表保存部122中保存的扫描顺序表赋予的扫描顺序的逆向扫描顺序,将各频率分量的位置(xC,yC)提供给系数有无标记解码部Y124以及解码系数存储部126。
另外,系数解码控制部123将作为表示处理对象的TU的尺寸、即对象频率区域的尺寸的参数的sz提供给变换系数解码部120所具备的各部分(省略图示)。在此,sz具体而言是表示处理对象TU的一边的像素数、即对象频率区域的一边的频率分量的数目的参数。
此外,系数解码控制部123也可采用:按照由扫描顺序表保存部122中保存的扫描顺序表赋予的扫描顺序的顺向扫描顺序,将各频率分量的位置(xC,yC)提供给系数有无标记解码部的构成。
(块尺寸比给定的尺寸大的情况)
在块尺寸比给定的尺寸大的情况下,系数解码控制部123参考从末尾系数位置解码部121提供的语法last_significant_coeff _以及last_significant_coeff_v,确定沿着顺向扫描的最后的非0变换系数的位置,并按照以包含所确定的最后的非0变换系数的子块的位置为起点的扫描顺序、且由扫描顺序表保存部122中保存的子块扫描顺序表赋予的扫描顺序的逆向扫描顺序,将各子块的位置(xCG,yCG)提供给子块系数有无标记解码部Y127。
另外,系数解码控制部123关于成为处理对象的子块,按照由扫描顺序表保存部122中保存的扫描顺序表赋予的扫描顺序的逆向扫描顺序,将该成为处理对象的子块所包含的各频率分量的位置(xC,yC)提供给系数有无标记解码部Y124以及解码系数存储部126。在此,作为成为处理对象的子块所包含的各频率分量的扫描顺序,具体而言,使用斜向扫描(Up-right diagonal scan)即可。
(子块系数有无标记解码部Y127)
子块系数有无标记解码部Y127对从比特解码部132提供的各Bin进行解释,对由各子块位置(xCG,yCG)指定的语法significant_coeffgroup_fiag[xCG][yCG]进行解码。另外,子块系数有无标记解码部Y127算出上下文索引ctxIdx,用于决定在算术码解码部130中为了对语法significant_coeffgroup_flag[xCG][yCG]的Bin进行解码而使用的上下文。算出的上下文索引ctxIdx被提供给上下文记录更新部131。在此,语法significant_coeffgroup_fiag[xCG][yCG],是在由子块位置(xCG,yCG)指定的子块中含有至少1个非0变换系数的情况下取1,在1个非0变换系数都不包含的情况下取0的语法。解码出的语法significant_coeffgroup_flag[xCG][yCG]的值保存在解码系数存储部126中。
(系数有无标记解码部Y124)
本实施方式所涉及的系数有无标记解码部Y124对由各系数位置(xC,yC)指定的语法significant_coeff_flag[xC][yC]进行解码。解码出的语法significant_coeff_flag[xC][yC]的值保存在解码系数存储部126中。另外,量系数有无标记解码部Y124算出上下文索引ctxIdx,用于决定在算术码解码部130中为了对语法significant_coeff_flag[xC][yC]的Bin进行解码而使用的上下文。算出的上下文索引ctxIdx被提供给上下文记录更新部131。
(系数值解码部Y125)
系数值解码部Y125对从比特解码部132提供的各Bin进行解释,导出处理对象的频率分量中的变换系数(更具体而言是非0变换系数)的值。另外,各种语法的解码中使用的上下文索引ctxIdx被提供给上下文记录更新部131。导出的变换系数的值保存在解码系数存储部126中。
(解码系数存储部126)
解码系数存储部126是用于预先存储由系数值解码部Y125解码出的变换系数的各值的构成。另外,在解码系数存储部126中,存储由量系数有无标记解码部Y124解码出的语法significant_coeff_flag的各值。由解码系数存储部126存储的变换系数的各值被提供给逆量化和逆变换部13。
(现有技术的量化残差信息QD的构成)
图62、图63表示现有技术的量化残差信息QD的构成。图62以及图63表示了现有技术的量化残差信息QD(在图62中表记为residual_coding_cabac())所包含的各语法。
图62是表示对量化残差信息QD所包含的语法进行表示的语法表的前半部分的图。图63是表示对量化残差信息QD所包含的语法进行表示的语法表的后半部分的图。
如图62以及图63所示,量化残差信息QD包含语法last_significant_coeff_x、last_significant_coeff_y、significant_coeffgroup_flag、significant_coeff_flag、coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_minus3。
量化残差信息QD所包含的各语法通过上下文自适应二进制算术编码(CABAC:(Context-based Adaptive Binary ArithmeticCoding))而被编码。图62、图63的Descriptor栏的ae(e)意味着语法被以CABAC编码。
图63的Descriptor栏的bypass意味着该语法被以旁路编码。根据H.264/MPEG-4.AVC的标准书,是否被以旁路编码,通过表示上下文索引ctxIdx的分配的表为na来表示,但在此为了易于理解而记在语法表上。在现有技术中,coeff_sign_flag、coeff_abs_level_minus3被以旁路编码。另外,由于被以旁路编码的这2个语法连续,因此在该部分的解码处理中可获得高的吞吐量。
(本实施方式的第1构成的量化残差信息QD)
图64~图66表示了本实施方式的第1构成的量化残差信息QD所包含的各语法。
图64是表示对量化残差信息QD所包含的语法进行表示的语法表的前半部分的图。在本构成中,根据表示是否进行CABAC处理的简化的标记cabac_lowcomp_flag的值来切换编码数据的构成。在cabac_lowcomp_flag=0的情况下,即不进行简化处理的情况下,使用图65所示的residual_coding_cabac2_normal(),反之在cabac_lowcomp_flag=1的情况下,即进行简化处理的情况下,使用图66所示的residual_coding_cabac2_comp()。图65、图66是表示对量化残差信息QD所包含的语法进行表示的语法表的后半部分的图。
如图64~图66所示,量化残差信息QD包含语法last_significant_coeff_x、last_significant_coeff_y、significant_coeffgroup_flag、significant_coeff_flag、coeff_abs_level_greaterl_flag、coeff_sign_flag。另外,significant_coeff_flag、coeff_abs_level_greaterl_flag、coeff_sign_flag被旁路编码。
不进行图64的前半部分以及图65所示的简化处理的情况下的语法构成与图4、图5所示的现有技术的语法相同。
在进行图66的简化处理的情况下的语法中,表示变换系数的值的语法significant_coeff_flag从非旁路变更为旁路。另外,表示变换系数的绝对值的语法从significant_coeff_flag、coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、coeff_absJevel_minus3这4个削减至significant_coeff_flag、coeff_abs_level_minusl这2个。在以多个语法来表现某个值的表现时,在解码处理中,基本上需要对于表现所需的语法的数目的周期数。因此,若将表现所需的语法削减2个,则能够提高2周期以上吞吐量。另外,significant_coeff_flag和coeff_abs_level_minusl均被以旁路编码,能够进一步提高吞吐量。
在以上的构成中,表示了算术解码装置的如下构成的一例:针对按每个单位区域对对象图像进行频率变换而按每个频率分量获得的各变换系数,对通过对表示该变换系数的各种语法进行算术编码而获得的编码数据进行解码,通过选择性地使用对M1个(M1为自然数)语法进行解码来解码各变换系数的值的通常模式、以及对M2个(M2为满足M2<M1的自然数)语法进行解码来解码各变换系数的值的简化模式,从而对各变换系数的值进行解码。另外,后述的图68~图70的构成的简化构成也具备这样的构成。
在以上的构成中,还表示了算术解码装置的具有下述特征的构成的一例:针对按每个单位区域对对象图像进行频率变换而按每个频率分量获得的各变换系数,对通过对表示该变换系数的各种语法进行算术编码而获得的编码数据进行解码,上述语法解码机构在通常模式下针对上述M1个语法而利用上下文进行解码,在简化模式下针对上述M2个语法而利用上下文进行解码。另外,后述的图68~图70的构成的简化构成也具备这样的构成。
此外,如本数据结构所示,希望significant_coeffgroup_flag以非旁路进行编码,即利用上下文进行编码。在子块的尺寸为4×4的情况下,significant_coeffgroup_flag相对于16个频率位置而仅存在1个,因此即使利用上下文,吞吐量也不会下降。
另外,将进行上述简化处理的模式也称为简化模式,将不进行上述简化处理的模式也称为通常模式。
(本实施方式的变换系数简化处理的判定)
对本编码数据进行解码的系数有无标记解码部Y124以及系数值解码部Y125,能够根据简化标记cabac_lowcomp_flag的值来对通常处理和简化处理进行切换。根据SPS、PPS、切片首部等所包含的上级层次简化标记xps_cabac_lowcomp_flag的值、末尾位置来导出cabac_lowcomp_flag。以下,说明简化标记cabac_lowcomp_flag的导出方法。
图72是表示简化标记cabac_lowcomp_flag导出处理的流程图。系数解码控制部123在对各频率区域中的变换系数进行解码时,进行图72的处理来导出cabac_lowcomp_flag。
首先,系数解码控制部123在各频率区域的每次解码中将简化标记cabac_lowcomp_flag初始化为0(SXl01)。
然后,系数解码控制部123判定上级层次简化标记xps_cabac_lowcomp_flag是表示有效的1还是表示无效的0,在为有效的情况下转移至SXl03,此外的情况下结束判定处理(SXl02)。
另外,系数解码控制部123判定lasLsignificant_coeff_pos_x、last_significant_coeff_pos_y所表示的末尾位置是否大于给定的值(SXl03)。在末尾位置大于给定的值的情况下,将简化标记cabac_lowcomp_flag设定为表示有效的1(SXl04)。
通过该处理,在末尾位置大于给定的位置的情况这样的产生较多变换系数的情况下,能够利用具有高速吞吐量的简化处理,在此外的情况下能够进行编码效率高的通常处理。由于能将简化处理仅限定在需要的情况下进行,因此能够在确保吞吐量的同时实现高的编码效率。
图73是表示图72的S103所示的末尾位置是否大于给定的值的判定的具体例的图,表示了(a)所示的处理和(b)所示的处理这2个处理。在图73(a)的处理中,系数解码控制部123对last_significant_coeff_pos_x、last_significant_coeff_pos_y之和与频率区域的宽度及高度的最大值的常数倍(在此为a倍,向右移位2比特后的值)进行大小比较(SXl03A)。系数解码控制部123根据该判定,在末尾位置之和大的情况下,使简化标记有效,在相反的情况下使简化标记无效即可。此外,例如,作为上述a可使用3、4、5等值。例如在a为4的情况下,当末尾位置按扫描顺序的顺序超过了约半数的位置时进行简化的动作。
图73(b)的处理在频率区域的宽度width和高度height为相同的情况和为不同的情况下进行不同的判定。不同的情况例如对应于16×4变换、16×4变换、32×8变换、8×32变换等。如图73(b)的流程图所示,系数解码控制部123进行频率区域的宽度width和高度height是否相同的判定(SXl03B),在相同的情况下,对规定比较的阈值的a设定a1(SXl03C),在不同的情况下对a设定a2(在此为a2≤a1)(SXl03D)。然后,对last_significant_coeff_pos_x、last_significant_coeff_pos_v之和与频率区域的宽度及高度的最大值的常数倍(在此为a倍,向右移位2比特后的值)进行大小比较(SXl03A)。这样,作为在判定中使用的阈值,在频率区域的宽度width和高度height不同的情况下,与频率区域的宽度width和高度height相同的情况相比使用相对小的值,由此能够基于末尾位置在扫描顺序的顺序中整体上处于何种程度的比例的位置来进行判定。作为a1以及a2,例如适合按照满足a2=a1/2的方式进行选择,适合为a1=4、a2=2等。
(本实施方式所涉及的不进行简化的情况下的系数有无标记解码部Y124以及系数值解码部Y125的处理)
以下,参考图65来说明不进行对本编码数据进行解码的系数值解码部Y125的简化的情况下的处理。首先,系数值解码部Y125通过以子块为单位的外部循环(LP_Y70)和对子块内的变换系数进行解码的内部循环(LP_Y71~LP_Y75)的2重循环处理,来对变换系数进行解码。
系数有无标记解码部Y124对第1内部循环(LP_Y71)进行处理来进行significant_coeff_flag的解码。具体而言,在使用子块系数有无标记significant_coeffgroup_fiag的情况下,即,在频率区域的宽度和高度的最大值为16以上的情况下,参考significant_coeffgroup_fiag,在significant_coeffgroup_fiag非0且为末尾位置以外的情况下,利用上下文来对significant_coeff_flag进行解码(SYN_Y71)。其中,是否为末尾位置的判定利用以下的式子。
(xC!=last_significant_coeff_x)||(yC!=last_significant_coeff_y))
反之,在不使用子块系数有无标记significant_coeffgroup_flag的情况下,针对为末尾位置以外的情况使用上下文来对significant_coeff_flag进行解码(SYN_Y72)。
系数值解码部Y125对第2至第5内部循环进行处理。
在第2内部循环(LP_Y72)中,针对significant_coeff_flag为0以外的频率上的位置,利用上下文来进行coeff_abs_level_greaterl_flag的解码(SYN_Y73)。
在第3内部循环(LP_Y73)中,针对coeff_abs_level_greaterl_flag为0以外的频率上的位置,利用上下文来进行coeff_abs_level_greater2_flag的解码(SYN_Y74)。
在第4内部循环(LP_Y74)中,针对significant_coeff_flag为0以外的频率上的位置,通过旁路来进行coeff_sign_flag的解码(SYN_Y75)。
在第5内部循环(LP_Y75)中,针对coefl_abs_level_greater2_flag为0以外的频率上的位置,通过旁路来进行coeff_abs_level_minus3的解码(SYN_Y76)。进而,针对significant_coeff_flag为0以外的频率上的位置,通过下面的式子来对变换系数的值进行解码。
(coeff_abs_level_minus3[n]+3)*(1?2*coefl_sign_flag[n])
通过以上的处理,变换系数的值被解码。
(本实施方式的第1简化构成的系数有无标记解码部Y124以及系数值解码部Y125的处理)
下面,参考图66,说明进行对本编码数据进行解码的系数有无标记解码部Y124以及系数值解码部Y125的简化的情况下的处理。
系数有无标记解码部Y124对第1内部循环(LP_Y81)进行处理,来进行significant_coeff_flag的解码。具体而言,在利用子块系数有无标记significant_coeffgroup_flag的情况下,即,在频率区域的宽度和高度的最大值为16以上的情况下,参考significant_coeffgroup_flag,针对significant_coeffgroup_flag非0且为末尾位置以外的情况,通过旁路来对significant_coeff_flag进行解码(SYN_Y81)。反之,在不利用子块系数有无标记significant_coeffgroup_flag的情况下,针对为末尾位置以外的情况,通过旁路来对significant_coeff_flag进行解码(SYN—Y82)。
系数值解码部Y125对第2至第3内部循环进行处理。
在第2内部循环(LP_Y82)中,针对significant_coeff_flag为0以外的频率上的位置,通过旁路来进行coeff_sign_flag的解码(SYN_Y83)。
在第3内部循环(LP_Y83)中,针对significant_coeff_flag为0以外的频率上的位置,通过旁路来进行coeff_abs_level_minusl的解码(SYN_Y84)。进而,针对significant_coeff_flag为0以外的频率上的位置,通过下面的式子来对变换系数的值进行解码。
(coeff_abs_level_minusl[n]+1)*(1?2*coeff_sign_flag[n])
在此,coeff_abs_level_minusl的二进制化利用哥伦布码、哈夫曼码等即可。
若对无简化的处理和有简化的处理进行比较,则内部循环的次数从5次减少至3次。由此,与进行多次的内部循环的情况相比,循环所需的处理减少,因此吞吐量提高。
以上,根据第1构成的对编码数据以及本编码数据进行解码的量化残差信息解码部,在进行简化的情况下,将表示变换系数的绝对值的语法以1个语法coeff_abs_level_minusl来表现,将表示非0变换系数的有无的标记significant_coeff_flag、正负号标记coefl_sign_flag、绝对值一1的值coeff_abs_level_minusl全部通过旁路来进行编码/解码,由此能够进行高吞吐量的处理。另外,在表示非0变换系数的有无的标记中,通过将significant_coeffgroup_flag设为非旁路,将significant_coeff_flag设为旁路,由此能够在_c维oe持ffg高rou的p编fl码ag效率的情况下进行sig高nifi的ca吞nt吐.c量oe的ff处fla理g。
另外,相对于在利用CAVLC的二进制化的非专利文献2中使用游程模式和层次模式这2个模式而言,在本实施方式的构成中能够以1个二进制化来实现简化处理,因此具有处理的构成变得简单的效果。特别是,在吞吐量成为课题的高比特率的区域中,变换系数为0的比例相对下降,因此具有能够以层次模式实现与游程模式同样的编码效率的优点。在本构成中,不利用对连续的0系数的数目进行编码的游程模式,仅利用对相当于层次模式的值进行直接编码的模式,因此能够在确保编码效率的同时降低装置构成的复杂度。在第1构成以外的以下构成中也能应用。
(本实施方式的第2简化构成的量化残差信息QD)
在本实施方式的第2简化构成中,取代图66而利用图67的语法构成。图67表示了本实施方式的第2简化构成的量化残差信息QD所包含的各语法。
在图66中significant_coeff_flag被旁路编码,但在本构成中使用上下文。根据变换系数的位置,变换系数的值为0的概率非常大,因此在将表示是否为非0系数的significant_coeff_flag全部设为旁路的图66的构成中,有时编码效率的下降程度大。在本构成中仅对最重要的significant_coeff_flag利用上下文,由此具有可获得比图66的构成高的编码效率的效果。
(本实施方式的第2简化构成的系数有无标记解码部Y124以及系数值解码部Y125的处理)
在本实施方式的第2简化构成中,由系数有无标记解码部Y124处理的第1内部循环的处理不同。以下,说明图67所示的第1内部循环处理。
系数有无标记解码部Y124对第1内部循环(LP_Y91)进行处理,来进行significant_coeff_flag的解码。具体而言,在利用子块系数有无标记significant_coeffgroup_flag的情况下,即,在频率区域的宽度和高度的最大值为16以上的情况下,参考significant coeffgroup_flag,针对significant_coeffgroup_flag非0且为末尾位置以外的情况,利用上下文来对significant_coeff_flag进行解码(SYN_Y91)。反之,在不利用子块系数有无标记significant_coeffgroup_flag的情况下,针对为末尾位置以外的情况,利用上下文来对significant_coeff_flag进行解码(SYN_Y92)。
以上,根据第2构成的对编码数据以及本编码数据进行解码的量化残差信息解码部,将表示变换系数的绝对值的语法以1个语法coeff_abs_level_minusl来表现,对表示非0变换系数的有无的标记significant_coeff_flag使用上下文,将正负号标记coeff_sign_flag、绝对值-1的值coeff_abs_level_minusl通过旁路来进行编码/解码,由此能够进行高吞吐量的处理。另外,通过将作为表示非0变换系数的有无的标记的significant_coeffgroup_flag和significant_coeff_flag设为非旁路,由此能够在维持高的编码效率的情况下进行高的吞吐量的处理。
(本实施方式的第3简化构成的量化残差信息QD)
在本实施方式的第3简化构成中,取代图67而使用图68的语法构成。图68表示了本实施方式的第3简化构成的量化残差信息QD所包含的各语法。
(本实施方式的第3简化构成的系数有无标记解码部Y124以及系数值解码部Y125的处理)
系数值解码部Y125的基本动作与第2构成相同,但在第2构成中,在子块内的处理中,将正负号标记coeff_sign_flag、绝对值-1的值coeff_abs_level_minusl在不同的内部循环中进行处理,而在第3构成中,如以下所示那样将2个语法在一个内部循环中进行处理。
在第1内部循环(LP_Y101)中,进行significant_coeff_flag的解码。具体而言,在利用子块系数有无标记significant_coeffgroup_flag的情况下,即,在频率区域的宽度和高度的最大值为16以上的情况下,参考significant_coeffgroup_flag,针对significant_coeffgroup_flag非0且为末尾位置以外的情况,对significant_coeff_flag进行解码(SYN_Y101)。反之,在不利用子块系数有无标记significant_coeffgroup_flag的情况下,针对为末尾位置以外的情况,对significant_coeff_flag进行解码(SYN_Y102)。
在第2内部循环(LP_Y102)中,针对significant_coeff_flag为0以外的频率上的位置,通过旁路来对coeff_sign_flag进行解码(SYN_Y103)。进而,通过旁路来进行coeff_abs_level_minusl的解码(SYN_Y104)。进而,针对significant_coeff_flag为0以外的频率上的位置,通过下面的式子来对变换系数的值进行解码。
(coeff_abs_level_minusl[n]+1)*(1?2*coeff_sign_flag[n])
在此,coeff_abs_level_minusl的二进制化利用哥伦布码、哈夫曼码等即可。
以上,根据第3构成的编码数据的处理,与第1处理、第2处理相比,内部循环的次数从3次减少至2次。由此,与进行多次内部循环的情况相比,循环所需的处理以及判定significant_coeff_flag是否为0以外的处理减少,因此吞吐量提高。即,按照将作为旁路的语法的正负号标记coeff_sign_flag、绝对值一1的值coeff_abs_level_minusl在一个循环中处理的方式交织地进行编码,由此能够提高吞吐量。即,通过将在旁路中处理的2个语法coeff_sign_flag、coeff_abs_level_minusl在1个循环内连续配置,由此能够提高吞吐量。
(适应性地进行简化的系数有无标记解码部Y124的处理)
以下,说明更适应性地进行简化的系数值解码部Y124的处理。在图72、图73中说明的简化标记cabac_lowcomp_flag的导出方法中,在对各频率区域中的变换系数进行解码的最初的时间点参考末尾位置来设定了是否进行简化,但在以下的处理中,在对各频率区域中的变换系数进行解码的最初的时间点利用上下文来进行解码处理,将构成频率区域的频率分量根据解码结果而从中途从利用了上下文的解码切换到基于旁路的解码。
更具体而言,系数有无标记解码部Y124在significant_coeff_flag中导出表示是否利用上下文的标记significant_coeff_flag_mode,该标记的值在significant_coeff_flag_mode为0的情况下,利用上下文来对significant_coeff_flag进行解码,在significant_coeff_flag_mode为1的情况下不利用上下文而通过旁路处理来对significant_coeff_flag进行解码。
以下,说明图67的构成以及图68的构成所对应的解码动作。
在图67的构成的情况下如下。系数有无标记解码部Y124对第1内部循环(LP_Y91)进行处理来进行significant_coeff_flag的解码。具体而言,在利用子块系数有无标记significant_coeffgroup_flag的情况下,即,在频率区域的宽度和高度的最大值为16以上的情况下,参考significant_coeffgroup_flag,针对significant_coeffgroup_flag非0且为末尾位置以外的情况,对significant_coeff_flag进行解码(SYN_Y91)。反之,在不利用子块系数有无标记significant_coeffgroup_flag的情况下,针对为末尾位置以外的情况,对significant_coeff_flag进行解码(SYN_Y92)。在图68的构成的情况下,成为将上述说明中的LP_Y91、SYN_Y91、SYN_Y92替换为LP_Y101、SYN_Y101、SYN_Y102的动作。在适应性的简化的处理中,在SYN_Y91、SYN_Y92、SYN_Y101、SYN—Y102中,在significant_coeff_flag_mode为0的情况下利用上下文来对significant_coeff_flag进行解码,在significant_coeff_flag_mode为1的情况下通过旁路来对significant_coeff_flag进行解码。
以下,说明以下2个导出表示是否对非0系数的解码进行简化的标记significant_coeff_flag_mode的导出方法。
以下说明表示是否对非0系数的解码进行简化的标记significant_coeff_flag_mode的导出方法的例子。在最初的子块的处理中将significant_coeff_flag_mode设定为0。在最初的子块以外的处理中,使用前一子块中设定的值。在对1个子块的significant_coeff_flag进行解码的时间点,对子块内发生的非0系数的数目进行计数。在某子块内,所述计数(significant_coeff_flage的数目)为给定的常数N个以上的情况下,将significant_coeff_flag_mode设定为1,对下一子块进行处理。在此外的情况下,将前一子块的significant_coeff_flag_mode的值直接用作下一子块的significant_coeff_flag_mode。
(本实施方式的第4、第5简化构成的量化残差信息QD)
在本实施方式的第4、第5简化构成中,分别使用图69、图70的语法构成。在图69、图70中,表示了本实施方式的第4、第5简化构成的量化残差信息QD所包含的各语法。
在第1~第3简化构成中,表示编码数据的值的语法significant_coeff_flag、绝对值一1的值coeff_abs_level_minusl为2个,但在第4、第5构成中特征在于,在末尾位置以外设为绝对值coeff_abs_level的一个语法。此外,在第4、第5简化构成中,不进行significant_coeff_flag的处理。因此,在第4、第5构成中,系数有无标记解码部Y124仅在通常处理中使用,在简化处理时不使用系数有无标记解码部Y124。
(本实施方式的第4简化构成的系数值解码部Y125的处理)
系数值解码部Y125进行第1内部循环、第2内部循环的处理。
系数值解码部Y125在第1内部循环(LP_Y111)中,进行coeff_abs_level_minusl以及coeff_abs_level的解码。具体而言,在对象变换系数的位置为末尾位置的情况下,通过旁路处理来对coeff_abs_level_minusl进行解码,通过coeff_abs_level=coeff_abs_level_minusl+1来导出coeff_abs_level(SYN_Y111)。此外进行以下的处理。在利用子块系数有无标记significant_coeffgroup_flag的情况下,即,在频率区域的宽度和高度的最大值为16以上的情况下,参考significant_coeffgroup_flag,针对significant_coeffgroup_flag非0的情况,通过旁路处理来对coeff_abs_level进行解码(SYN_Y112)。反之,在不利用子块系数有无标记significant_coeffgroup_flag的情况下,通过旁路处理来对coeff_abs_level进行解码(SYN_Y113)。
系数值解码部Y125在第2内部循环(LP_Y112)中,针对coeff_abs_level为0以外的频率上的位置,通过旁路来对coeff_sign_flag进行解码(SYN_Y114)。进而,针对coeff_abs_level为0以外的频率上的位置,通过下面的式子来对变换系数的值进行解码。
(coeff_abs_level[n])*(1?2*coeff_sign_flag[n])
以上,根据第4构成的对编码数据以及本编码数据进行解码的量化残差信息解码部,将作为变换系数的绝对值的coeff_abs_level以及作为变换系数的绝对值-1的coeff_abs_level_minusl以旁路进行编码,由此提高解码处理的吞吐量。在表示非0变换系数的有无的标记中,将significant_coeffgroup_flag设为非旁路,将significant_coeff_flag设为旁路,由此能够在维持高的编码效率的情况下进行高的吞吐量的处理。
(本实施方式的第5简化构成的系数值解码部Y125的处理)
系数值解码部Y125进行第1内部循环、第2内部循环的处理。
系数值解码部Y125在第1内部循环(LP_Y121)中,进行coeff_abs_level的解码。在第4简化构成中,通过旁路处理对coeff_abs_level以及coeff_abs_level_minusl进行了解码,但在第5简化构成中,针对coeff_abs_level的起始比特,利用上下文来进行解码,针对coeff_abs_level的起始比特之后的比特,通过旁路来进行解码。此外,coeff_abs_level_minusl可以全部通过旁路来进行解码,也可仅对起始比特利用上下文。
图71是用于说明仅将coeff_abs_level的起始比特设为旁路的值的二进制构成的图。如图71所示,系数值解码部Y125在对变换系数的值进行二进制化后的起始比特中利用上下文。在此,更具体而言是coeff_abs_level的起始比特相当于significan_ coeff_flag,因此上下文索引的导出方法可使用已经说明过的各种方法。
此外,coeff_abs_level的起始比特无需始终利用上下文来进行解码。更具体而言,在系数值解码部Y125中,通过已经说明的处理来导出significant_coeff_flag_mode,可以按照在significant_coeff_flag_mode的值为0的情况下利用上下文来进行解码、在值为1的情况下以旁路来进行解码的方式进行切换。
以上,根据第5构成的对编码数据以及本编码数据进行解码的量化残差信息解码部,对作为变换系数的绝对值的coeff_abs_level的起始比特利用上下文,由此能够同时实现高的吞吐量和高的编码效率。
(运动图像编码装置4)
以下,关于作为本实施方式所涉及的另一运动图像编码装置的运动图像编码装置4,参考图74来进行说明。以下,对于与已经说明过的部分相同的部分标注相同标号,并省略其说明。
运动图像编码装置4在运动图像编码装置1中取代量化残差信息编码部271而使用量化残差信息编码部Y271。
(量化残差信息编码部Y271)
图74是表示量化残差信息编码部Y271的构成的框图。如图74所示,量化残差信息编码部Y271具备变换系数编码部Y220以及算术码编码部230。
(变换系数编码部Y220)
如图74所示,变换系数编码部Y220具备:末尾位置编码部221、扫描顺序表保存部222、系数编码控制部223、系数有无标记编码部Y224、系数值编码部Y225、编码系数存储部226、子块系数有无标记Y227以及语法导出部Y228。
(语法导出部Y228)
语法导出部Y228参考变换系数Coeff(xC,yC)的各值,来导出用于确定对象频率区域中的这些变换系数的语法last_significant_coeff_x、last_significant_coeff_y、significant_coeff_flag、coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、coeff_sign_flag以及coeff_abs_level_minus3的各值。导出的各语法被提供给编码系数存储部226。另外,导出的语法中的lasLsignificant_coeff_x、last_significant_coeff_v还被提供给系数编码控制部223以及末尾位置编码部221。另外,导出的语法中的significant_coeff_flag还被提供给系数有无标记编码部Y224。此外,关于各语法所示的内容如上所述,所以在此省略说明。
(扫描顺序表保存部222)
扫描顺序表保存部222保存有:以处理对象的TU(块)的尺寸、表示扫描方向的类别的扫描索引以及沿着扫描顺序而赋予的频率分量识别索引为自变量,赋予处理对象的频率分量在频率区域中的位置的表。作为这样的扫描顺序表的一例,可列举图4以及图5所示的ScanOrder。
另外,扫描顺序表保存部222中保存有用于对子块的扫描顺序进行指定的子块扫描顺序表。在此,子块扫描顺序表由与处理对象的TU(块)的尺寸和帧内预测模式的预测模式索引建立了关联的扫描索引scanlndex来指定。
(系数编码控制部223)
系数编码控制部223是用于对量化残差信息编码部Y271所具备的各部中的编码处理的顺序进行控制的构成。
(块尺寸为给定的尺寸以下的情况)
在块尺寸为给定的尺寸以下(例如4×4分量,8×8分量等)的情况下,系数编码控制部223参考从语法导出部228提供的语法last_significant_coeff_x以及last_significant_coeff_v,确定沿着顺向扫描的最后的非0变换系数的位置,并且,按照以所确定的最后的非0变换系数的位置为起点的扫描顺序、即由扫描顺序表保存部222中保存的扫描顺序表赋予的扫描顺序的逆向扫描顺序,将各频率分量的位置(xC,yC)提供给系数有无标记编码部。
另外,系数编码控制部223将作为表示处理对象的TU的尺寸、即对象频率区域的尺寸的参数的sz提供给变换系数编码部Y220所具备的各部分(省略图示)。在此,sz具体而言是表示处理对象TU的一边的像素数、即对象频率区域的一边的频率分量的数目的参数。
此外,系数编码控制部223也可采用:按照由扫描顺序表保存部222中保存的扫描顺序表赋予的扫描顺序的顺向扫描顺序,将各频率分量的位置(xC,yC)提供给系数有无标记编码部Y224的构成。
(块尺寸比给定的尺寸大的情况)
在块尺寸比给定的尺寸大的情况下,系数编码控制部223参考从语法导出部Y228提供的语法last_significant_coeff_x以及last_significant_coeff_v,确定沿着顺向扫描的最后的非0变换系数的位置,并且,按照以包含所确定的最后的非0变换系数的子块的位置为起点的扫描顺序、即由扫描顺序表保存部222中保存的子块扫描顺序表所赋予的扫描顺序的逆向扫描顺序,将各子块的位置(xCG,yCG)提供给子块系数有无标记编码部Y227。
另外,系数编码控制部223关于成为处理对象的子块,按照由扫描顺序表保存部222中保存的扫描顺序表赋予的扫描顺序的逆向扫描顺序,将该成为处理对象的子块所包含的各频率分量的位置(xC,yC)提供给系数有无标记编码部Y224。在此,作为成为处理对象的子块所包含的各频率分量的扫描顺序,具体而言,使用斜向扫描(Up-right diagonal scan)即可。
这样,系数编码控制部223是按每个帧内预测模式对扫描顺序进行切换的构成。一般,帧内预测模式和变换系数的偏重彼此具有相关,因此通过根据根据帧内预测模式来切换扫描顺序,能够进行与子块系数有无标记的偏重相适合的子块扫描。由此,能够削减成为编码以及解码对象的子块系数有无标记的码量,编码效率提高。
(系数值编码部Y225)
在系数值编码部Y225中,进行通常处理时和进行简化处理时处理不同。在进行通常处理的情况下,生成表示从语法导出部Y228提供的语法coeff_abs_level_greaterl_flag、coeff_abs_level_greater2_flag、coeff_sign_flag以及coeff_abs_level_minus3的Bin。如在运动图像解码装置3中说明的那样,在进行简化处理的情况下,在第1~第3简化构成中,生成表示coeff_sign_flag以及coeff_abs_level_minusl的Bin。在第4~第5简化构成中,生成表示coeff_sign_flag以及coeff_abs_level_minusl、coeff_abs_level的Bin。
另外,将所生成的各Bin提供给比特编码部232。另外,将指定为了对这些语法的Bin进行编码而参考的上下文的上下文索引ctxIdx提供给上下文记录更新部231。此外,在进行简化处理的情况下,省略上下文索引的导出。
(系数有无标记编码部Y224)
本实施方式所涉及的系数有无标记编码部Y224对由各位置(xC,yC)指定的语法significant_coeff_flag[xC][yC]进行编码。更具体而言,生成表示由各位置(xC,yC)指定的语法significant_coeff_flag[xC][yC]的Bin。生成的各Bin被提供给比特编码部232。另外,系数有无标记编码部224算出上下文索引ctxIdx,用于决定在算术码编码部230中为了对语法significant_coeff_flag[xC][yC]的Bin进行编码而使用的上下文。算出的上下文索引ctxIdx被提供给上下文记录更新部231。
但是,如在运动图像解码装置3中说明的那样,在第1简化构成~第3简化构成中,在通常处理中导出significant_coeff_flag的上下文索引,而在简化处理中使用旁路的情况下不进行上下文索引的导出。
图75是表示系数有无标记编码部Y224的构成的框图。如图75所示,系数有无标记编码部Y224具备:频率分类部224a、位置上下文导出部224b、周边参考上下文导出部224c、系数有无标记存储部224d以及系数有无标记设定部224e。
频率分类部224a、周边参考上下文导出部224c、系数有无标记存储部224d所执行的具体处理与运动图像解码装置3所具备的机构同样,所以在此省略说明。
(系数有无标记设定部224e)
系数有无标记设定部224e生成表示从语法导出部Y228提供的语法significant_coeff_flag[xC][yC]的Bin。生成的Bin被提供给比特编码部232。另外,系数有无标记设定部224e参考对象子块所包含的significant_coeff_flag[xC][yC]的值,在对象子块所包含的所有significant_coeff_flag[xC][yC]为0的情况下,即,在该对象子块中不包含非0变换系数的情况下,将与该对象子块相关的significant_coeffgroup_fiag[xCG][yCG]的值设定为0,在此外的情况下,将与该对象子块相关的significant_coeffgroup_fiag[xCG][yCG]的值设定为1。这样赋予了值的significant_coeffgroup_fiag[xCG][yCG]被提供给子块系数有无标记编码部Y227。
根据以上的构成,在进行简化处理的情况下,能够省略上下文导出处理以及上下文的更新处理,因此能够提高吞吐量。另外,相对于在利用CAVLC的二进制化的非专利文献2中使用游程模式和层次模式这2个模式而言,在本实施方式的构成中能够以1个二进制化来实现简化处理,因此具有处理的构成变得简单的效果。特别是,在吞吐量成为课题的高比特率的区域中,变换系数为0的比例相对下降,因此具有能够以层次模式实现与游程模式同样的编码效率的优点。在本构成中,不利用对连续的0系数的数目进行编码的游程模式,仅利用对相当于层次模式的值进行直接编码的模式,因此能够在确保编码效率的同时降低装置构成的复杂度。
(附记事项1)
上述的运动图像编码装置2以及运动图像解码装置1能够搭载于进行运动图像的发送、接收、记录、再现的各种装置中加以利用。此外,运动图像可以是由照相机等拍摄的自然运动图像,也可以是由计算机等生成的人工运动图像(包含CG以及GUI)。
首先,参考图29来说明能够将上述的运动图像编码装置2以及运动图像解码装置1用于运动图像的发送以及接收的情况。
图29的(a)是表示了搭载有运动图像编码装置2的发送装置PROD_A的构成的框图。如图29的(a)所示,发送装置PROD_A具备:通过对运动图像进行编码来获得编码数据的编码部PROD A1;通过以编码部PROD_A1所获得的编码数据对载波进行调制来获得调制信号的调制部PROD_A2;以及对调制部PROD_A2所获得的调制信号进行发送的发送部PROD_A3。上述的运动图像编码装置2被用作该编码部PROD_A1。
在发送装置PROD_A中,作为输入到编码部PROD_A1的运动图像的提供源,还可具备:拍摄运动图像的照相机PROD_A4;记录有运动图像的记录介质PROD_A5;用于从外部输入运动图像的输入端子PROD_A6以及对图像进行生成或加工的图像处理部A7。在图29的(a)中,例示了发送装置PROD_A具备这些部件的全部的构成,但也可省略一部分部件。
此外,记录介质PROD_A5可以是记录有未编码的运动图像的介质,也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行了编码的运动图像。在后者的情况下,在记录介质PROD_A5与编码部PROD_A1之间,设有将从记录介质PROD_A5读出的编码数据按照记录用的编码方式进行解码的解码部(未图示)即可。
图29的(b)是表示了搭载有运动图像解码装置1的接收装置PROD_B的构成的框图。如图29的(b)所示,接收装置PROD_B具备:接收调制信号的接收部PROD_B1;通过对接收部PROD_B1所接收到的调制信号进行解调而获得编码数据的解调部PROD_B2;以及通过对解调部PROD_B2所得到的编码数据进行解码来获得运动图像的解码部PROD_B3。上述的运动图像解码装置1被用作该解码部PROD_B3。
在接收装置PROD_B中,作为解码部PROD_B3所输出的运动图像的提供目的地,还可具备:对运动图像进行显示的显示器PROD_B4;用于对运动图像进行记录的记录介质PROD_B5以及用于将运动图像输出到外部的输出端子PROD_B6。在图29的(b)中,例示了接收装置PROD_B具备这些部件的全部的构成,但也可省略一部分部件。
此外,记录介质PROD_B5可以是用于记录未编码的运动图像的介质,也可以记录以与传输用的编码方式不同的记录用的编码方式进行了编码后的结果的介质。在后者的情况下,在解码部PROD_B3与记录介质PROD_B5之间,设置将从解码部PROD_B3取得的运动图像按记录用的编码方式进行编码的编码部(未图示)即可。
此外,对调制信号进行传输的传输介质既可以是无线的也可以是有线的。另外,对调制信号进行传输的传输方式可以是广播(在此指没有预先确定发送目的地的发送方式),也可以是通信(在此指预先确定了发送目的地的发送方式)。即,调制信号的传输可通过无线广播、有线广播、无线通信以及有线通信的任一种来实现。
例如,地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是以无线广播来收发调制信号的发送装置PROD_A/接收装置PROD_B的一例。另外,有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是以有线广播来收发调制信号的发送装置PROD_A/接收装置PROD_B的一例。
另外,利用了网络的VOD(Video On Demand)服务、运动图像共享服务等的服务器(工作站等)/客户机(电视接收机,个人计算机,智能手机等),是以通信来收发调制信号的发送装置PROD_A/接收装置PROD_B的一例(通常,在LAN中作为传输介质而使用无线或者有线的任一种,在WAN中作为传输介质而使用有线)。在此,个人计算机包含桌上型PC、膝上型PC以及平板型PC。另外,智能手机也包括多功能移动电话终端。
此外,运动图像共享服务的客户机除了将从服务器下载的编码数据解码后显示在显示器上的功能之外,还具有对由照相机拍摄的运动图像进行编码后上传到服务器的功能。即,运动图像共享服务的客户机作为发送装置PROD_A以及接收装置PROD_B的双方而发挥功能。
下面,参考图30来说明能够将上述运动图像编码装置2以及运动图像解码装置1在运动图像的记录以及再现中加以利用的情况。
图30的(a)是表示了搭载有上述运动图像编码装置2的记录装置PROD_C的构成的框图。如图30的(a)所示,记录装置PROD_C具备:通过对运动图像进行编码来获得编码数据的编码部PROD_C1;和将编码部PROD_C1所获得的编码数据写入到记录介质PROD_M的写入部PROD_C2。上述运动图像编码装置2被用作该编码部PROD_C1。
此外,记录介质PROD_M可以是:(1)如HDD(Hard Disk Drive)、SSD(Solid State Drive)等那样内置于记录装置PROD_C的类型的介质,(2)SD存储器卡、USB(UniversalSerial Bus)快速存储器等那样与记录装置PROD_C连接的类型的介质,(3)如DVD(Digital Versatile Disc)、BD(Blu-ray Disc:注册商标)等那样装入内置于记录装置PROD_C的驱动装置(未图示)中的介质。
另外,记录装置PROD_C作为向编码部PROD_C1输入的运动图像的提供源,还可具备:拍摄运动图像的照相机PROD_C3;用于从外部输入运动图像的输入端子PROD_C4;用于接收运动图像的接收部PROD_C5以及对图像进行生成或加工的图像处理部C6。在图30的(a)中,例示了记录装置PROD_C具备这些部件的全部的构成,但也可省略一部分部件。
此外,接收部PROD_C5可以接收未编码的运动图像,也可接收以与记录用的编码方式不同的传输用的编码方式进行了编码的编码数据。在后者的情况下,在接收部PROD_C5与编码部PROD_C1之间,设置对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)即可。
作为这样的记录装置PROD_C,例如可列举DVD记录器、BD记录器、HDD(Hard Disk Drive)记录器等(该情况下,输入端子PROD_C4或者接收部PROD_C5成为运动图像的主要提供源)。另外,可携式摄像机(该情况下,照相机PROD_C3成为运动图像的主要的提供源)、个人计算机(该情况下,接收部PROD_C5或者图像处理部C6成为运动图像的主要提供源)、智能手机(该情况下,照相机PROD_C3或者接收部PROD_C5成为运动图像的主要的提供源)等,也是这样的记录装置PROD_C的一例。
图30的(b)是表示了搭载有上述运动图像解码装置1的再现装置PROD_D的构成的框图。如图30的(b)所示,再现装置PROD_D具备:将写入到记录介质PROD_M中的编码数据读出的读出部PRODD1;以及通过对读出部PROD_D1所读出的编码数据进行解码来获得运动图像的解码部PROD_D2。上述运动图像解码装置1被用作该解码部PROD_D2。
此外,记录介质PROD_M可以是:(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的介质,(2)SD存储器卡、USB快速存储器等那样与再现装置PROD_D连接的类型的介质,(3)如DVD、BD等那样装入内置于再现装置PROD_D的驱动装置(未图示)的介质。
另外,再现装置PROD_D作为解码部PROD_D2所输出的运动图像的提供目的地,还可具备:对运动图像进行显示的显示器PROD_D3;用于将运动图像输出到外部的输出端子PROD_D4以及对运动图像进行发送的发送部PROD_D5。在图30的(b)中,例示了再现装置PROD_D具备这些部件的全部的构成,但也可省略一部分部件。
此外,发送部PROD_D5可以发送未编码的运动图像,也可发送以与记录用的编码方式不同的传输用的编码方式进行了编码的编码数据。在后者的情况下,在解码部PROD_D2与发送部PROD_D5之间设置对运动图像以传输用的编码方式进行编码的编码部(未图示)即可。
作为这样的再现装置PROD_D,例如可列举DVD播放器、BD播放器、HDD播放器等(该情况下,电视接收机等连接的输出端子PROD_D4成为运动图像的主要的提供目的地)。另外,电视接收机(该情况下,显示器PROD_D3成为运动图像的主要的提供目的地),数字标牌(也称为电子广告牌、电子布告栏等,显示器PROD_D3或者发送部PROD_D5成为运动图像的主要的提供目的地),桌上型PC(该情况下,输出端子PROD_D4或者发送部PROD_D5成为运动图像的主要的提供目的地),膝上型或者平板型PC(该情况下,显示器PROD_D3或者发送部PROD_D5成为运动图像的主要的提供目的地),智能手机(该情况下,显示器PROD_D3或者发送部PROD_D5成为运动图像的主要的提供目的地)等,也是这样的再现装置PROD_D的一例。
(附记事项2)
上述运动图像解码装置1以及运动图像编码装置2的各模块可通过集成电路(IC芯片)上形成的逻辑电路来以硬件方式实现,也可利用CPU(Central Processing Unit)来以软件方式实现。
在后者的情况下,上述各装置具备:执行用于实现各功能的程序的命令的CPU;保存上述程序的ROM(Read Only Memory);将上述程序展开的RAM(Random Access Memory);保存上述程序以及各种数据的存储器等的存储装置(记录介质)等。并且,本发明的目的也可通过下述方式来实现:将以计算机可读取的方式记录有作为用于实现上述功能的软件的上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质,提供给上述各装置,该计算机(或CPU、MPU)将记录介质中记录的程序代码读出并加以执行。
作为上述记录介质,例如可使用:磁带、盒式磁带等带类,包括软盘(注册商标)/硬盘等磁盘、CD_ROM/MO/MD/DVD/CD-R等光盘的盘类,IC卡(包括存储器卡)/光卡等的卡类,掩模ROM/EPROM/EEPROM/快速ROM等半导体存储器类,或者PLD(Programmablelogic device)、FPGA(Field Programmable Gate Array)等逻辑电路类等。
另外,也可将上述各装置构成为能够与通信网络连接,经由通信网络来提供上述程序代码。该通信网络只要能够传输程序代码即可,并不特别限定。例如,可利用因特网、内联网、外联网、LAN、ISDN、VAN、CATV通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动体通信网、卫星通信网等。另外,构成该通信网络的传输介质也是只要能够传输程序代码即可,并不限定于特定的构成或种类。例如,可使用IEEEl394、USB、电力线传输、有线TV线路、电话线、ADSL(Asymmetric DigitalSubscriber Line)线路等的有线介质,也可使用如IrDA、遥控器的红外线、Bluetooth(注册商标)、IEEE802.11无线、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、移动电话网、卫星线路地面波数字网等的无线介质。
<本说明书中记载的发明(A)>
本说明书中至少记载了以下的发明。
A1.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,
上述上下文索引导出机构,将对属于上述多个部分区域当中高频侧的部分区域的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该变换系数有无标记的位置来导出。
A2.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,
上述上下文索引导出机构,将对各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,
上述多个部分区域中的高频侧的部分区域中设定的上述参考区域小于低频侧的部分区域中设定的上述参考区域。
A3.
在A2.所述的算术解码装置中,其特征在于,
上述上下文索引导出机构通过将按每个上述部分区域确定的给定的开始点与按每个上述部分区域确定的变量相加来导出上下文索引,通过针对上述变量的导出方法不同的多个部分区域将开始点设定为相同值,在上下文索引的导出方法不同的该多个部分区域中使用公共的上下文。
A4.
在A1.至A3.的任一项所述的算术解码装置中,其特征在于,
上述分割机构将上述对象频率区域根据处理对象的变换系数有无标记的位置而至少分类为3个部分区域,上述上下文索引导出机构在第1部分区域中,参考N1个(N1为自然数)解码完毕的非0变换系数,在第2部分区域中,参考N2个(N2为满足N2<N1的自然数)解码完毕的非0变换系数,由此导出上下文索引,在第3部分区域中,根据变换系数有无标记的位置来导出上下文索引。
A5.
在A2.所述的算术解码装置中,其特征在于,
上述上下文索引导出机构将对上述多个部分区域当中高频侧的部分区域中的沿着当前扫描列的各变换系数有无标记分配的上下文索引,还基于沿着前扫描列的非0变换系数的数目来导出。
A6.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;
上下文索引导出机构,其将对各变换系数有无标记分配的上下文索引沿着各扫描列来依次导出,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,
上述上下文索引导出机构,将对上述多个部分区域当中高频侧的部分区域中的沿着当前扫描列的各变换系数有无标记分配的上下文索引,基于沿着前扫描列的非0变换系数的数目来导出。
A7.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,
上述上下文索引导出机构,将对各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,
上述参考区域所包含的解码完毕的变换系数的数目为4以下。
A8.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;
上下文索引分配机构,其对各部分区域分配彼此不同的上下文索引;和
语法解码机构,其将作为表示属于各部分区域的各变换系数是否为0的语法的各变换系数有无标记,基于由对该变换系数有无标记所属的部分区域分配的上下文索引指定的概率状态来进行算术解码,
上述多个部分区域中的低频侧的部分区域比高频侧的部分区域小。
A9.
在A1.所述的算术解码装置中,其特征在于,
上述分割机构根据表示变换系数有无标记的X坐标与Y坐标之和的SUM,将上述对象频率区域分割为多个部分区域,上述分割机构根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值TH2的大小关系,将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧的部分区域,第1阈值TH2为sz以上。
A10.
在A2.所述的算术解码装置中,其特征在于,
上述分割机构根据表示变换系数有无标记的X坐标与Y坐标之和的SUM,将上述对象频率区域分割为多个部分区域,上述分割机构根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值TH2的大小关系,将上述对象频率区域至少分割为上述低频侧的部分区域和上述高频侧的部分区域,第1阈值TH2为sz-2以下。
A11.
在A4.所述的算术解码装置中,其特征在于,
上述分割机构根据表示变换系数有无标记的X坐标与Y坐标之和的SUM,将上述对象频率区域分割为多个部分区域,上述分割机构根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值TH2的大小关系,将上述对象频率区域分割为上述第1部分区域和上述第2部分区域,根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第2阈值TH3的大小关系,将上述对象频率区域分割为上述第2部分区域和上述第3部分区域,上述第1阈值TH2为sz-2以下,上述第2阈值TH3为sz以上。
A12.
一种图像解码装置,其特征在于,具备:
A1.至A11.的任一项所述的算术解码装置;
逆频率变换机构,其通过对由上述算术解码装置解码出的变换系数进行逆频率变换来生成残差图像;和
解码图像生成机构,其通过将由上述逆频率变换机构生成的残差图像与根据已生成的解码图像来预测出的预测图像相加而生成解码图像。
A13.
一种算术编码装置,其特征在于,针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码来生成编码数据,
上述算术编码装置具备:
分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和
语法编码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术编码,
上述上下文索引导出机构,将对属于上述多个部分区域当中高频侧的部分区域的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该变换系数有无标记的位置来导出。
A14.
一种图像编码装置,其特征在于,具备:
变换系数生成机构,其通过将编码对象图像与预测图像的残差图像按每个单位区域进行频率变换来生成变换系数;和
A13.所述的算术编码装置,
上述算术编码装置通过对表示由上述变换系数生成机构生成的变换系数的各种语法进行算术编码来生成编码数据。
A15.
一种编码数据的数据结构,其特征在于,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,
上述编码数据的数据结构包含:表示是否对与各单位区域对应的各对象频率区域中的高频侧的变换系数进行解码的限制标记,
在上述限制标记表示了不对高频侧的变换系数进行解码的情况下,用于对上述编码数据进行解码的算术解码装置不对该高频侧的变换系数进行解码。
<本说明书中记载的发明(B)>
另外,本说明书中至少记载了以下的发明。
B1.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;
子块系数有无标记解码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行解码;
分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来将对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引导出机构基于对象频率区域中的该对象子块的位置来导出对属于该对象子块的各变换系数有无标记分配的上下文索引,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
B2.
在B1.所述的算术解码装置中,其特征在于,
上述分割机构根据变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基于上述对象频率区域的尺寸而确定的阈值THA的大小关系,将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧的部分区域,
在设沿着上述对象频率区域的各边的频率分量的数目为sz时,上述阈值THA具有sz/16以上的值。
B3.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;
子块系数有无标记解码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行解码;
分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来将对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧以及低频侧的某一个部分区域的情况下,上述上下文索引导出机构将对属于该对象子块的各变换系数有无标记分配的上下文索引,根据基于对象频率区域中的该变换系数有无标记所属的子块的位置而选择出的高频侧用的参考区域以及低频侧用的参考区域的某一个参考区域、且在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
B4.
一种算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,
上述算术解码装置具备:
子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;
子块系数有无标记解码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行解码;
分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来讲对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和
语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引导出机构将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数、且去除按处理顺序而在该变换系数有无标记的近前方被解码出的非0变换系数的非0变换系数的数目来导出,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
B5.
在B3.或B4.所述的算术解码装置中,其特征在于,
上述分割机构将上述对象频率区域至少分割为3个部分区域,上述上下文索引导出机构在第1部分区域中参考N1个(N1为自然数)解码完毕的非0变换系数,在第2部分区域中参考N2个(N2为满足N2<N1的自然数)解码完毕的非0变换系数,由此来导出上下文索引,在第3部分区域中,根据变换系数有无标记的位置来导出上下文索引。
B6.
在B3.所述的算术解码装置中,其特征在于,
上述分割机构根据变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基于上述对象频率区域的尺寸而确定的阈值THB的大小关系,将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧的部分区域,
在设沿着上述对象频率区域的各边的频率分量的数目为sz时,上述阈值THB具有sz/4以下的值。
B7.
在B5.所述的算术解码装置中,其特征在于,
上述分割机构根据变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基于上述对象频率区域的尺寸而确定的阈值THB的大小关系,将上述对象频率区域分割为上述第1部分区域和上述第2部分区域,并且根据变换系数有无标记所属的子块的X坐标以及Y坐标之和、与根据上述对象频率区域的尺寸而确定的阈值THC的大小关系,将上述对象频率区域分割为上述第2部分区域和上述第3部分区域,
在设沿着上述对象频率区域的各边的频率分量的数目为sz时,上述阈值THB具有sz/4以下的值,上述阈值THC具有(sz/4)+2以上的值。
B8.
一种图像解码装置,其特征在于,具备:
B1.至B7.的任一项所述的算术解码装置;
逆频率变换机构,其通过对由上述算术解码装置解码出的变换系数进行逆频率变换来生成残差图像;和
解码图像生成机构,其通过将由上述逆频率变换机构生成的残差图像与根据已生成的解码图像来预测出的预测图像相加而生成解码图像。
B9.
一种算术编码装置,其特征在于,针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码来生成编码数据,
上述算术编码装置具备:
子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;
子块系数有无标记编码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行编码;
分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来讲对象频率区域分割为多个部分区域;
上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和
语法编码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术编码,
在针对对象子块而编码的子块系数有无标记表示了该对象子块中至少包含1个非0变换系数、且该对象子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引导出机构基于对象频率区域中的该对象子块的位置来导出对属于该对象子块的各变换系数有无标记分配的上下文索引,在针对对象子块而编码的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行编码处理。
B10.
一种图像编码装置,其特征在于,具备:
变换系数生成机构,其通过将编码对象图像与预测图像的残差图像按每个单位区域进行频率变换来生成变换系数;和
B9.所述的算术编码装置,
上述算术编码装置通过对表示由上述变换系数生成机构生成的变换系数的各种语法进行算术编码来生成编码数据。
B11.
一种编码数据的数据结构,其特征在于,该编码数据是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,
上述编码数据的数据结构包含:针对对与上述单位区域对应的频率区域进行分割而得到的给定尺寸的各子块,表示该子块中是否至少含有1个非0变换系数的子块系数有无标记,
用于对上述编码数据进行解码的解码装置,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧的部分区域的情况下,将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该对象子块的位置来导出,并且将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,
在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
<本说明书中记载的发明(C)>
另外,本说明书中至少记载了以下的发明。
C1.
本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,上述算术解码装置具备:子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;子块系数有无标记解码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行解码;分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来将对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引导出机构基于对象频率区域中的该对象子块的位置来导出对属于该对象子块的各变换系数有无标记分配的上下文索引,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
根据如上述那样构成的算术解码装置,在对象子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引导出机构将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该对象子块的位置来导出,因此能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
另外,根据上述构成,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理,因此与不利用子块系数有无标记的构成相比,削减了用于对变换系数进行解码的处理量。
C2.
优选上述分割机构将上述对象频率区域至少分割为低频侧和高频侧这2个部分区域,上述上下文索引导出机构,在属于低频侧的部分区域的至少1个中,通过参考解码完毕的非0变换系数来导出上下文索引,在属于高频侧的部分区域中,将基于频率区域上的位置的值、或固定的给定的值作为上下文索引来导出。
根据上述构成,在属于低频侧的部分区域的至少1个中,通过参考解码完毕的非0变换系数来导出上下文索引,在属于高频侧的部分区域中,将基于频率区域上的位置的值、或固定的给定的值作为上下文索引来导出,因此能够确保高的编码效率,并且能够削减处理量。
C3.
另外,优选在上述算术解码装置中,由上述上下文索引导出机构导出的属于高频侧的部分区域中使用的上下文索引的值,在属于低频侧的部分区域中使用的上下文索引的范围内。
根据上述构成,属于高频侧的部分区域中使用的上下文索引的值在属于低频侧的部分区域中使用的上下文索引的范围内,因此削减了用于导出上下文索引的处理量。
C4.
另外,优选在上述算术解码装置中,由上述上下文索引导出机构导出的与亮度相关且属于高频侧的部分区域中使用的上下文索引的值,是在属于低频侧的部分区域中使用的上下文索引的范围以外的值,由上述上下文索引导出机构导出的与色差相关且属于高频侧的部分区域中使用的上下文索引的值,在属于低频侧的部分区域中使用的上下文索引的范围内。
根据上述构成,由于与色差相关且属于高频侧的部分区域中使用的上下文索引的值,在属于低频侧的部分区域中使用的上下文索引的范围内,因此削减了用于导出与色差相关的上下文索引的处理量。
C5.
另外,优选上述分割机构将上述对象频率区域至少分割为低频侧和高频侧这2个部分区域,上述上下文索引导出机构在属于低频侧的部分区域的至少1个中,通过参考N1(N1为自然数)个以上的解码完毕的非0变换系数来导出上下文索引,在属于高频侧的部分区域中,通过参考N2个(N2为满足N2<N1的自然数)解码完毕的非0变换系数来导出上下文索引。
根据上述构成,在属于高频侧的部分区域中参考的解码完毕的非0变换系数的数目小于在属于低频侧的部分区域的至少1个中参考的解码完毕的非0变换系数的数目,因此能够削减用于高频侧的上下文索引的导出处理的处理量。
C6.
另外,优选上述上下文索引导出机构在属于低频侧的部分区域中,通过对解码完毕的非0变换系数的数目进行多对一变换来导出上下文索引,在属于高频侧的部分区域中,将非0变换系数的数目作为上下文索引来导出。
根据上述构成,在属于高频侧的部分区域中,在不执行对非0变换系数的数目进行多对一变换的处理的情况下导出上下文索引,因此处理量被削减。
C7.
另外,优选上述分割机构根据变换系数有无标记的X坐标以及Y坐标之和或变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基于以上述对象频率区域的宽度以及高度的最大值获得的尺寸而确定的阈值THA的大小关系,将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧的部分区域,在将上述对象频率区域的尺寸表示为sz时,在为X坐标以及Y坐标之和的情况下,上述阈值THA为sz以下的值,在为子块的X坐标以及Y坐标之和的情况下,上述阈值THA为sz/子块的大小以下的值。
根据上述构成,根据变换系数有无标记的X坐标以及Y坐标之和或变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基于以上述对象频率区域的宽度以及高度的最大值得到的尺寸而确定的阈值THA的大小关系,将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧的部分区域,在将上述对象频率区域的尺寸表示为sz时,在为X坐标以及Y坐标之和的情况下,上述阈值THA为sz以下的值,在为子块的X坐标以及Y坐标之和的情况下,上述阈值THA为sz/子块的大小以下的值,因此能够确保高的编码效率,并且能够削减处理量。
另外,优选在上述算术解码装置中,上述分割机构根据变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基于上述对象频率区域的尺寸而确定的阈值THA的大小关系,将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧的部分区域,在设沿着上述对象频率区域的各边的频率分量的数目为sz时,上述阈值THA具有sz/16以上的值。
根据上述构成,能够为了实现高编码效率以及处理量削减而适当地分割对象频率区域。
C8.
本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,上述算术解码装置具备:子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;子块系数有无标记解码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行解码;分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来将对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧以及低频侧的某一个部分区域的情况下,上述上下文索引导出机构将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该变换系数有无标记所属的子块的位置而选择出的高频侧用的参考区域以及低频侧用的参考区域的某一个参考区域、且在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
根据如上述那样构成的算术解码装置,当对象子块在对象频率区域中属于高频侧以及低频侧的某一个部分区域的情况下,上述上下文索引导出机构将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,因此能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
另外,根据上述构成,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理,因此与不利用子块系数有无标记的构成相比,削减了用于对变换系数进行解码的处理量。
C9.
本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,上述算术解码装置具备:子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;子块系数有无标记解码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行解码;分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来讲对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引导出机构将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数、且去除按处理顺序而在该变换系数有无标记的近前方被解码出的非0变换系数的非0变换系数的数目来导出,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
根据如上述那样构成的算术解码装置,在对象子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引导出机构将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数、且去除按处理顺序而在该变换系数有无标记的近前方被解码出的非0变换系数的非0变换系数的数目来导出,因此能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
另外,根据上述构成,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理,因此与不利用子块系数有无标记的构成相比,削减了用于对变换系数进行解码的处理量。
C10.
另外,优选在上述算术解码装置中,上述分割机构将上述对象频率区域至少分割为3个部分区域,上述上下文索引导出机构在第1部分区域中参考N1个(N1为自然数)解码完毕的非0变换系数,在第2部分区域中参考N2个(N2为满足N2<N1的自然数)解码完毕的非0变换系数,由此来导出上下文索引,在第3部分区域中,根据变换系数有无标记的位置来导出上下文索引。
根据上述构成,通过将为了参考上下文索引而参考的解码完毕的非0变换系数的数被更小地设定的部分区域、与基于对象频率区域中的该变换系数有无标记的位置来导出上下文索引的部分区域进行组合,能够实现高的编码效率,并且与现有的构成相比,特别是能够削减用于高频侧的上下文索引的导出处理的处理量。
C11.
另外,优选在上述算术解码装置中,上述分割机构根据变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基于上述对象频率区域的尺寸而确定的阈值THB的大小关系,将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧的部分区域,在设沿着上述对象频率区域的各边的频率分量的数目为sz时,上述阈值THB具有sz/4以下的值。
根据上述构成,能够为了实现高编码效率以及处理量削减而适当地分割对象频率区域。
C12.
另外,优选在上述算术解码装置中,上述分割机构根据变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基于上述对象频率区域的尺寸而确定的阈值THB的大小关系,将上述对象频率区域分割为上述第1部分区域和上述第2部分区域,并且根据变换系数有无标记所属的子块的X坐标以及Y坐标之和、与基于上述对象频率区域的尺寸而确定的阈值THC的大小关系,将上述对象频率区域分割为上述第2部分区域和上述第3部分区域,在设沿着上述对象频率区域的各边的频率分量的数目为sz时,上述阈值THB具有sz/4以下的值,上述阈值THC具有(sz/4)+2以上的值。
根据上述构成,能够为了实现高编码效率以及处理量削减而适当地分割对象频率区域。
C13.
本发明的一方式所涉及的图像解码装置的特征在于,具备:上述算术解码装置;逆频率变换机构,其通过对由上述算术解码装置解码出的变换系数进行逆频率变换来生成残差图像;和解码图像生成机构,其通过将由上述逆频率变换机构生成的残差图像与根据已生成的解码图像来预测出的预测图像相加而生成解码图像。
根据上述图像解码装置,能够在削减用于语法导出的处理量的同时,以高的编码效率来对编码数据进行解码。
C14.
本发明的一方式所涉及的算术编码装置,其特征在于,针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码来生成编码数据,上述算术编码装置具备:子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;子块系数有无标记编码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行编码;分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来将对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法,和语法编码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术编码,在针对对象子块而编码的子块系数有无标记表示了该对象子块中至少包含1个非0变换系数、且该对象子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引导出机构基于对象频率区域中的该对象子块的位置来导出对属于该对象子块的各变换系数有无标记分配的上下文索引,在针对对象子块而编码的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行编码处理。
根据如上述那样构成的算术编码装置,在对象子块在对象频率区域中属于高频侧的部分区域的情况下,上述上下文索引导出机构将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该对象子块的位置来导出,因此能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
另外,根据上述构成,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行编码处理,因此与不利用子块系数有无标记的构成相比,削减了用于对变换系数进行编码的处理量。
C15.
本发明的一方式所涉及的图像编码装置的特征在于,具备:变换系数生成机构,其通过将编码对象图像与预测图像的残差图像按每个单位区域进行频率变换来生成变换系数;和上述算术编码装置,上述算术编码装置通过对表示由上述变换系数生成机构生成的变换系数的各种语法进行算术编码来生成编码数据。
根据上述图像编码装置,能够在削减用于语法导出的处理量的同时,生成高的编码效率的编码数据。
C16.
另外,本发明的一方式所涉及的编码数据的数据结构,其特征在于,该编码数据是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,上述编码数据的数据结构包含:针对对与上述单位区域对应的频率区域进行分割而得到的给定尺寸的各子块,表示该子块中是否至少含有1个非0变换系数的子块系数有无标记,用于对上述编码数据进行解码的解码装置,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧的部分区域的情况下,将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该对象子块的位置来导出,并且将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理。
如上述那样构成的编码数据包含:针对对与上述单位区域对应的频率区域进行分割而得到的给定尺寸的各子块,表示该子块中是否至少含有1个非0变换系数的子块系数有无标记,用于对上述编码数据进行解码的解码装置,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中至少含有1个非0变换系数、且该对象子块在对象频率区域中属于高频侧的部分区域的情况下,将对属于该对象子块的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该对象子块的位置来导出,并且将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,在针对对象子块而解码出的子块系数有无标记表示了该对象子块中不含非0变换系数的情况下,将针对属于该对象子块的所有变换系数的每一个的变换系数有无标记设为表示该变换系数为0来进行解码处理,因此能够在维持高的编码效率的同时削减解码用的处理量。
C17.
另外,本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,上述算术解码装置通过选择性地使用对M1个(M1为自然数)语法进行解码来解码各变换系数的值的通常模式、和对M2个(M2为满足M2<M1的自然数)语法进行解码来解码各变换系数的值的简化模式,来对各变换系数的值进行解码。
根据上述的算术解码装置,由于在简化模式下使用比通常模式少的语法,因此能够提高解码处理的吞吐量。
C18.
优选上述算术解码装置具备:语法解码机构,其通过基于由对各语法分配的上下文指定的概率状态的算术解码以及不利用上下文而基于固定的概率状态的算术解码中的任一算术解码来对各语法进行解码,上述语法解码机构在通常模式下针对上述M1个语法而利用上下文进行解码,在简化模式下针对上述M2个语法而利用上下文来进行解码。
根据上述的算术解码装置,由于在简化模式下针对比通常模式少的语法来使用上下文,因此能够省略上下文导出以及上下文的更新所需的处理,所以能够提高解码处理的吞吐量。
C19.
另外,上述算术解码装置具备:子块分割机构,其将与处理对象的单位区域对应的对象频率区域分割为给定尺寸的子块;子块系数有无标记解码机构,其针对由上述子块分割机构分割后的各子块,对表示该子块中是否至少含有1个非0变换系数的子块系数有无标记进行解码,在通常模式下,对上述子块系数有无标记、和表示变换系数是否为0的变换系数有无标记利用上下文来进行解码,在简化模式下,对上述子块系数有无标记利用上下文来进行解码,对上述变换系数有无标记在不利用上下文的情况下进行解码。
根据上述的算术解码装置,关于发生频度低的语法但对于抑制为低码量而言重要的子块系数有无标记significant_coeffgroup_flag,无论是通常模式还是简化模式都使用上下文,因此能够在确保高的编码效率的同时提高吞吐量。
C20.
另外,优选上述算术解码装置在通常模式下,对表示变换系数是否为0的变换系数有无标记significant_coeff_flag、表示变换系数的绝对值是否大于1的语法coeff_abs_greaterl_flag、表示变换系数的绝对值是否大于2的语法coefl_abs_greater2_flag,表示从变换系数的绝对值中减去3后的值的语法coeff_abs_minus3、以及表示变换系数的正负号的语法coefl_sign进行解码,在简化模式下,对上述变换系数有无标记significant_coefl_flag、表示从变换系数的绝对值中减去1后的值的语法coeff_abs_minusl、以及表示变换系数的正负号的语法coeff_sign进行解码。
根据上述的算术解码装置,由于在简化模式下使用比通常模式少的语法,因此能够提高解码处理的吞吐量。
C21.
另外,优选上述算术解码装置在通常模式下,对上述变换系数有无标记significant_coeff_flag、表示变换系数的绝对值是否大于1的上述语法coeff_abs_greaterl_flag以及表示变换系数的绝对值是否大于2的上述语法coeff_abs_greater2_flag利用上下文来进行解码,在简化模式中,对上述变换系数有无标记significant_coeff_flag、表示从变换系数的绝对值中减去1后的值的上述语法coeff_abs_minusl以及表示变换系数的正负号的上述语法coeff_sign,在不利用上下文的情况下进行解码。
根据上述的算术解码装置,由于在简化模式下不利用上下文地对构成变换系数的值的语法进行解码,因此能够提高解码处理的吞吐量。
C22.
另外,优选上述算术解码装置在通常模式下,对上述变换系数有无标记significant_coeff_flag、表示变换系数的绝对值是否大于1的上述语法coeff_abs_greaterl_flag以及表示变换系数的绝对值是否大于2的上述语法coeff_abs_greater2_flag,利用上下文来进行解码,在简化模式下,对表示从变换系数的绝对值中减去1后的值的上述语法coeff_abs_minusl以及表示变换系数的正负号的上述语法coeff_sign,在不利用上下文的情况下进行解码。
根据上述的算术解码装置,由于在简化模式下不利用上下文地对构成变换系数的值的语法的大部分进行解码,因此能够提高解码处理的吞吐量。
C23.
另外,优选上述算术解码装置在简化模式下,对表示从变换系数的绝对值中减去1后的值的上述语法coeff_abs_minusl和表示变换系数的正负号的上述语法coefl_sign连续地进行解码。
根据上述的算术解码装置,由于在简化模式下不利用上下文地进行解码的语法连续配置,因此能够提高解码处理的吞吐量。
C24.
另外,优选上述算术解码装置在通常模式下,对表示变换系数是否为0的变换系数有无标记significant_coeff_flag、表示变换系数的绝对值是否大于1的语法coeff_abs_greaterl_flag、表示变换系数的绝对值是否大于2的语法coeff_abs_greater2_flag、表示从变换系数的绝对值中减去3后的值的语法coeff_abs_minus3以及表示变换系数的正负号的语法coeff_sign进行解码,在简化模式下,对表示从变换系数的绝对值中减去1后的值的语法coeff_abs_minusl、变换系数的绝对值coeff_abs以及表示变换系数的正负号的语法coeff_sign进行解码。
根据上述的算术解码装置,由于在简化模式下使用比通常模式少的语法,因此能够提高解码处理的吞吐量。
C25.
另外,优选上述算术解码装置在通常模式下,对上述变换系数有无标记significant_coeff_flag、表示变换系数的绝对值是否大于1的上述语法coeff_abs_greaterl_flag以及表示变换系数的绝对值是否大于2的上述语法coeff_abs_greater2_flag,利用上下文来进行解码,在简化模式下,对表示从变换系数的绝对值中减去1后的值的上述语法coeff_abs_minusl、以及表示变换系数的正负号的语法coeff_sign,在不利用上下文的情况下进行解码。
根据上述的算术解码装置,由于在简化模式下不利用上下文地对构成变换系数的值的语法的大部分进行解码,因此能够提高解码处理的吞吐量。
C26.
另外,优选上述算术解码装置根据变换系数的末尾位置的X坐标以及Y坐标之和与给定的阈值的大小比较,在所述末尾位置的X坐标以及Y坐标之和大的情况下选择上述简化模式,在此外的情况下选择上述通常模式。
根据上述的算术解码装置,由于仅判定需要以高吞吐量进行处理的情况而使用简化模式,因此能够在确保高的编码效率的同时提高解码处理的吞吐量。
C27.
另外,优选上述算术解码装置在所述末尾位置的X坐标以及Y坐标之和这一方多的情况下,与此外的情况相比,减少利用上下文来进行解码的语法的数目。
根据上述的算术解码装置,为了能够适当地判定需要以高吞吐量进行处理的情况而使用简化模式,因此能够在确保高的编码效率的同时提高解码处理的吞吐量。
C28.
另外,优选上述算术解码装置在频率区域的宽度和高度相同的情况与频率区域的宽度和高度不同的情况下,作为上述阈值而使用不同的值。
根据上述的算术解码装置,为了在频率区域的宽度和高度不同的情况下也能适当地判定需要以高吞吐量进行处理的情况而使用简化模式,因此能够在确保高的编码效率的同时提高解码处理的吞吐量。
C29.
另外,优选上述算术解码装置具备:分割机构,其以各频率分量以及各子块的至少任一个作为分割单位来将对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法,在某子块中,在变换系数有无标记的数目为给定的数目以上的情况下,在该某子块的接下来要处理的子块中不利用上下文地对变换系数有无标记进行解码。
根据上述的算术解码装置,由于仅判定需要以高吞吐量进行处理的情况而使用简化模式,因此能够在确保高的编码效率的同时提高解码处理的吞吐量。
C30.
另外,本发明的一方式所涉及的算术编码装置,其特征在于,针对通过将对象图像按每个单位区域进行频率变换而按每个频率分量得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码来生成编码数据,上述算术编码装置具备:通过选择性地使用M1个(M1为自然数)语法来地各变换系数的值进行编码的通常模式、和利用M2个(M2为满足M2<M1的自然数)语法来对各变换系数的值进行编码的简化模式,来对各变换系数的值进行编码。
根据上述的算术编码装置,由于简化模式下使用比通常模式少的语法,因此能够提高编码以及解码处理的吞吐量。
C31.
本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,上述算术解码装置具备:分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,上述上下文索引导出机构,将对属于上述多个部分区域当中高频侧的部分区域的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该变换系数有无标记的位置来导出。
根据如上述那样构成的算术解码装置,将对属于对象频率区域中的上述多个部分区域当中高频侧的部分区域的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该变换系数有无标记的位置来导出,因此能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
C32.
另外,本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,上述算术解码装置具备:分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,上述上下文索引导出机构,将对各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,上述多个部分区域中的高频侧的部分区域中设定的上述参考区域小于低频侧的部分区域中设定的上述参考区域。
根据如上述那样构成的算术解码装置,将对各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,在上述多个部分区域当中高频侧的部分区域中设定的上述参考区域比低频侧的部分区域中设定的上述参考区域小,因此与低频侧的部分区域中设定的参考区域和高频侧的部分区域中设定的参考区域具有相同大小的现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量,并且能够实现高的编码效率。
C33.
另外,优选上述上下文索引导出机构通过将按每个上述部分区域而确定的给定的开始点与按每个上述部分区域而确定的变量相加来导出上下文索引,通过针对上述变量的导出方法不同的多个部分区域将开始点设定为相同值,在上下文索引的导出方法不同的该多个部分区域中使用公共的上下文。
根据如上述那样构成的算术解码装置,在导出方法不同的多个部分区域中,通过使按每个部分区域确定的开始点相等,不会使上下文数增加,而且能够在实现了高的编码效率的情况下削减处理量。
C34.
另外,优选上述分割机构将上述对象频率区域根据处理对象的变换系数有无标记的位置而至少分类为3个部分区域,上述上下文索引导出机构在第1部分区域中,参考N1个(N1为自然数)解码完毕的非0变换系数,在第2部分区域中,参考N2个(N2为满足N2<N1的自然数)解码完毕的非0变换系数,由此导出上下文索引,在第3部分区域中,根据变换系数有无标记的位置来导出上下文索引。
根据如上述那样构成的算术解码装置,通过将为了参考上下文索引而参考的解码完毕的非0变换系数的数被更小地设定的部分区域、与基于对象频率区域中的该变换系数有无标记的位置来导出上下文索引的部分区域进行组合,因此能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
C35.
另外,在上述算术解码装置中,优选上述上下文索引导出机构将对上述多个部分区域当中高频侧的部分区域中的沿着当前扫描列的各变换系数有无标记分配的上下文索引,还基于沿着前扫描列的非0变换系数的数目来导出。
根据上述构成,上述上下文索引导出机构,将对上述多个部分区域当中高频侧的部分区域中的沿着当前扫描列的各变换系数有无标记分配的上下文索引,基于沿着前扫描列的非0变换系数的数目、和在对象频率区域中的该变换系数有无标记的位置周边所设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,在上述多个部分区域当中高频侧的部分区域中设定的上述参考区域比低频侧的部分区域中设定的上述参考区域小,因此与现有的构成相比,能够更有效地削减用于高频侧的上下文索引的导出处理的处理量,并且能够实现高的编码效率。
C36.
另外,本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,上述算术解码装置具备:分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;上下文索引导出机构,其将对各变换系数有无标记分配的上下文索引沿着各扫描列来依次导出,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,上述上下文索引导出机构,将对上述多个部分区域当中高频侧的部分区域中的沿着当前扫描列的各变换系数有无标记分配的上下文索引,基于沿着前扫描列的非0变换系数的数目来导出。
根据如上述那样构成的算术解码装置,将对上述多个部分区域当中高频侧的部分区域中的沿着当前扫描列的各变换系数有无标记分配的上下文索引,基于沿着前扫描列的非0变换系数的数目来导出。在此,关于沿着前扫描列的非0变换系数的数目,只要预先进行一次计数,则在导出对沿着当前扫描列的各变换系数有无标记分配的上下文索引时就可以公共使用。因此,与需要针对位置不同的变换系数有无标记个别地导出上下文索引的现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量,并且能够实现高的编码效率。
C37.
另外,本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,上述算术解码装置具备:分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法解码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术解码,上述上下文索引导出机构,将对各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,上述参考区域所包含的解码完毕的变换系数的数目为4以下。
根据如上述那样构成的算术解码装置,将对各变换系数有无标记分配的上下文索引,基于在对象频率区域中的该变换系数有无标记的位置周边设定的参考区域所包含的解码完毕的非0变换系数的数目来导出,上述参考区域所包含的解码完毕的变换系数的数目为4以下,因此参考比现有的构成少的数目的解码完毕的变换系数即可。因此,根据上述构成,与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量,并且能够实现高的编码效率。
C38.
另外,本发明的一方式所涉及的算术解码装置,其特征在于,对编码数据进行解码,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,对表示该变换系数的各种语法进行算术编码而得到的,上述算术解码装置具备:分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;上下文索引分配机构,其对各部分区域分配彼此不同的上下文索引;和语法解码机构,其将作为表示属于各部分区域的各变换系数是否为0的语法的各变换系数有无标记,基于由对该变换系数有无标记所属的部分区域分配的上下文索引指定的概率状态来进行算术解码,上述多个部分区域中的低频侧的部分区域比高频侧的部分区域小。
根据如上述那样构成的算术解码装置,上述多个部分区域中的低频侧的部分区域比高频侧的部分区域小,因此能够对低频侧的区域细致地分配上下文索引。因此,根据上述构成,能够高效地解码低频侧的语法,所以编码效率提高。
C39.
另外,优选上述分割机构根据表示变换系数有无标记的X坐标与Y坐标之和的SUM,将上述对象频率区域分割为多个部分区域,上述分割机构根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值TH2的大小关系,将上述对象频率区域至少分割为低频侧的部分区域和上述高频侧的部分区域,第1阈值TH2为sz以上。
根据如上述那样构成的算术解码装置,在将对对象频率区域中的变换系数有无标记分配的上下文索引基于该变换系数有无标记的该对象频率区域中的位置来导出的情况下,也能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
C40.
另外,优选上述分割机构根据表示变换系数有无标记的X坐标与Y坐标之和的SUM,将上述对象频率区域分割为多个部分区域,上述分割机构根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值TH2的大小关系,将上述对象频率区域至少分割为上述低频侧的部分区域和上述高频侧的部分区域,第1阈值TH2为sz-2以下。
根据如上述那样构成的算术解码装置,在使用为了参考上下文索引而参考的解码完毕的非0变换系数的数目被更小地设定的部分区域的情况下,也能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
C41.
另外,优选上述分割机构根据表示变换系数有无标记的X坐标与Y坐标之和的SUM,将上述对象频率区域分割为多个部分区域,上述分割机构根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第1阈值TH2的大小关系,将上述对象频率区域分割为上述第1部分区域和上述第2部分区域,根据上述SUM与基于上述对象频率区域的尺寸sz而确定的第2阈值TH3的大小关系,将上述对象频率区域分割为上述第2部分区域和上述第3部分区域,上述第1阈值TH2为sz-2以下,上述第2阈值TH3为sz以上。
根据如上述那样构成的算术解码装置,在将为了参考上下文索引而参考的解码完毕的非0变换系数的数被更小地设定的部分区域、与基于对象频率区域中的该变换系数有无标记的位置来导出上下文索引的部分区域进行组合的情况下,也能够实现高的编码效率,并且与现有的构成相比,能够削减用于高频侧的上下文索引的导出处理的处理量。
C42.
另外,本发明的一方式所涉及的图像解码装置,其特征在于,具备:上述算术解码装置;逆频率变换机构,其通过对由上述算术解码装置解码出的变换系数进行逆频率变换来生成残差图像;解码图像生成机构,其通过将由上述逆频率变换机构生成的残差图像与根据已生成的解码图像来预测出的预测图像相加而生成解码图像。
根据上述图像解码装置,能够在削减用于语法导出的处理量的同时,以高的编码效率来对编码数据进行解码。
C43.
另外,本发明的一方式所涉及的算术编码装置,其特征在于,针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码来生成编码数据,上述算术编码装置具备:分割机构,其将与处理对象的单位区域对应的对象频率区域分割为多个部分区域;上下文索引导出机构,其导出对各变换系数有无标记分配的上下文索引,各变换系数有无标记是表示属于各部分区域的各变换系数是否为0的语法;和语法编码机构,其将属于各部分区域的各变换系数有无标记,基于由对该变换系数有无标记分配的上下文索引指定的概率状态来进行算术编码,上述上下文索引导出机构,将对属于上述多个部分区域当中高频侧的部分区域的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该变换系数有无标记的位置来导出。
根据如上述那样构成的算术编码装置,将对属于上述多个部分区域当中高频侧的部分区域的各变换系数有无标记分配的上下文索引,基于对象频率区域中的该变换系数有无标记的位置来导出,因此与现有的构成相比,削减了高频侧的上下文索引的导出处理用的处理量。
C44.
另外,本发明的一方式所涉及的图像编码装置的特征在于,具备:变换系数生成机构,其通过将编码对象图像与预测图像的残差图像按每个单位区域进行频率变换来生成变换系数;和上述算术编码装置,上述算术编码装置通过对表示由上述变换系数生成机构生成的变换系数的各种语法进行算术编码来生成编码数据。
根据上述图像解码装置,能够在削减用于语法导出的处理量的同时,以高的编码效率来生成编码数据。
C45.
另外,本发明的一方式所涉及的编码数据的数据结构,其特征在于,该编码数据是针对将对象图像按每个单位区域进行频率变换而得到的各变换系数,通过对表示该变换系数的各种语法进行算术编码而得到的,上述编码数据的数据结构包含:表示是否对与各单位区域对应的各对象频率区域中的高频侧的变换系数进行解码的限制标记,用于对上述编码数据进行解码的算术解码装置在上述限制标记表示了不对高频侧的变换系数进行解码的情况下,不对该高频侧的变换系数进行解码。
根据如上述那样构成的编码数据,包含表示是否对与各单位区域对应的各对象频率区域中的高频侧的变换系数进行解码的限制标记,用于对上述编码数据进行解码的算术解码装置在上述限制标记表示了不对高频侧的变换系数进行解码的情况下,能够省略该高频侧的变换系数的解码处理,因此削减了用于对变换系数进行解码的处理量。
本发明并不限定于上述各实施方式,能够在权利要求所示的范围内进行各种变更,对不同实施方式中分别公开的技术手段适当组合而得到的实施方式也包含于本发明的技术范围内。
工业实用性
本发明能适合应用在对经算术编码后的编码数据进行解码的算术解码装置以及生成经算术编码后的编码数据的算术编码装置中。
标号说明
1         运动图像解码装置(图像解码装置)
11        可变长码解码部
111       量化残差信息解码部(算术解码装置)
120          变换系数解码部
124          系数有无标记解码部
124a         频率分类部(分割机构,上下文索引导出机构)
124b         低频位置上下文导出部(上下文索引导出机构)
124c、124g   周边参考上下文导出部(上下文索引导出机构)
124d         高频位置上下文导出部(上下文索引导出机构)
X1           子块系数有无标记解码部(子块系数有无标记解码机构)
130          算术码解码部
131          上下文记录更新部
132          比特解码部(语法解码机构)
2            运动图像编码装置(图像编码装置)
27           可变长码编码部
271          量化残差信息编码部(算术编码装置)
220          变换系数编码部
224          系数有无标记编码部
224a         频率分类部(分割机构,语法编码机构)
224b         低频位置上下文导出部
224c         周边参考上下文导出部
224d         高频位置上下文导出部(上下文索引导出机构)
X2           子块系数有无标记编码部(子块系数有无标记编码机构)
230          算术码编码部
231          上下文记录更新部
232          比特编码部(语法编码机构)

Claims (8)

1.一种算术解码装置,其特征在于,针对将对象图像按每个单位区域进行频率变换而得到的变换系数的编码数据进行算术解码,
所述算术解码装置具备:语法解码机构,其将表示所述变换系数的至少第1语法以及第2语法的每个语法,通过利用了上下文的算术解码或者不利用上下文的算术解码来进行解码,
所述语法解码机构至少包含下述情况:不对所述第1语法进行解码,通过所述不利用上下文的算术解码来对所述第2语法进行解码的情况;和通过所述利用了上下文的算术解码来对所述第1语法进行解码,通过不利用上下文的算术解码来对所述第2语法进行解码的情况。
2.根据权利要求1所述的算术解码装置,其特征在于,
所述第1语法是关于所述变换系数的绝对值是否大于给定的值的语法,所述第2语法是关于从所述变换系数的绝对值中减去给定的值而得到的值的语法。
3.根据权利要求1或2所述的算术解码装置,其特征在于,
所述第1语法包含关于所述变换系数的绝对值是否大于0的语法,在该语法的值为1的情况下,
所述语法解码机构通过所述利用了上下文的算术解码来对所述第1语法进行解码,通过不利用上下文的算术解码来对所述第2语法进行解码。
4.根据权利要求3所述的算术解码装置,其特征在于,
所述第1语法至少包含关于所述变换系数的绝对值是否大于1的语法以及关于所述变换系数的绝对值是否大于2的语法。
5.一种图像解码装置,其特征在于,具备:
权利要求1至3中任一项所述的算术解码装置;
逆频率变换机构,其利用由所述算术解码装置解码出的语法来对变换系数进行逆频率变换,由此生成残差图像;和
解码图像生成机构,其将由所述逆频率变换机构生成的残差图像与根据已生成的解码图像而预测出的预测图像进行相加,由此生成解码图像。
6.一种算术编码装置,其特征在于,生成将对象图像按每个单位区域进行频率变换而得到的变换系数的编码数据,
所述算术编码装置具备:语法编码机构,其将表示所述变换系数的至少第1语法以及第2语法的每个语法,通过利用了上下文的算术编码或者不利用上下文的算术编码来进行算术编码,
所述语法编码机构至少包含下述情况:不对所述第1语法进行编码,通过所述不利用上下文的算术编码来对所述第2语法进行编码的情况;和通过所述利用了上下文的算术编码来对所述第1语法进行编码,通过不利用上下文的算术编码来对所述第2语法进行编码的情况。
7.一种图像编码装置,其特征在于,具备:
权利要求5所述的算术编码装置;和
变换系数生成机构,其将编码对象图像与预测图像的残差图像按每个单位区域进行频率变换来生成变换系数的编码数据。
8.一种算术解码方法,其特征在于,针对将对象图像按每个单位区域进行频率变换而得到的变换系数的编码数据进行算术解码,
所述算术解码方法至少包括:将表示所述变换系数的至少第1语法以及第2语法的每个语法,通过利用了上下文的算术解码或者不利用上下文的算术解码来进行解码的步骤,
所述进行解码的步骤至少包含下述情况:不对所述第1语法进行解码,通过所述不利用上下文的算术解码来对所述第2语法进行解码的情况;和通过所述利用了上下文的算术解码来对所述第1语法进行解码,通过不利用上下文的算术解码来对所述第2语法进行解码的情况。
CN201280053701.0A 2011-11-04 2012-10-31 算术解码装置、图像解码装置、算术编码装置以及算术解码方法 Active CN103907349B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810874147.1A CN109120930B (zh) 2011-11-04 2012-10-31 图像解码装置、图像编码装置及其方法
CN201810874148.6A CN109120927B (zh) 2011-11-04 2012-10-31 图像解码装置、图像解码方法以及图像编码装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2011242840 2011-11-04
JP2011-242840 2011-11-04
JP2011264156 2011-12-01
JP2011-264156 2011-12-01
JP2012009447 2012-01-19
JP2012-009447 2012-01-19
PCT/JP2012/078086 WO2013065702A1 (ja) 2011-11-04 2012-10-31 算術復号装置、画像復号装置、算術符号化装置、画像符号化装置、および、算術復号方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201810874148.6A Division CN109120927B (zh) 2011-11-04 2012-10-31 图像解码装置、图像解码方法以及图像编码装置
CN201810874147.1A Division CN109120930B (zh) 2011-11-04 2012-10-31 图像解码装置、图像编码装置及其方法

Publications (2)

Publication Number Publication Date
CN103907349A true CN103907349A (zh) 2014-07-02
CN103907349B CN103907349B (zh) 2018-08-28

Family

ID=48192047

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201280053701.0A Active CN103907349B (zh) 2011-11-04 2012-10-31 算术解码装置、图像解码装置、算术编码装置以及算术解码方法
CN201810874147.1A Active CN109120930B (zh) 2011-11-04 2012-10-31 图像解码装置、图像编码装置及其方法
CN201810874148.6A Active CN109120927B (zh) 2011-11-04 2012-10-31 图像解码装置、图像解码方法以及图像编码装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201810874147.1A Active CN109120930B (zh) 2011-11-04 2012-10-31 图像解码装置、图像编码装置及其方法
CN201810874148.6A Active CN109120927B (zh) 2011-11-04 2012-10-31 图像解码装置、图像解码方法以及图像编码装置

Country Status (8)

Country Link
US (6) US9525876B2 (zh)
EP (1) EP2775713B1 (zh)
JP (2) JPWO2013065702A1 (zh)
CN (3) CN103907349B (zh)
IN (1) IN2014CN03598A (zh)
MX (2) MX338671B (zh)
MY (1) MY167316A (zh)
WO (1) WO2013065702A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235445A (zh) * 2017-01-31 2019-09-13 世宗大学校产学协力团 影像编码/解码方法及装置
CN113170137A (zh) * 2018-11-21 2021-07-23 交互数字Vc控股公司 降低本地邻域的使用的残差译码
WO2021180165A1 (en) * 2020-03-11 2021-09-16 Beijing Bytedance Network Technology Co., Ltd. High level bitstream syntax for quantization parameters
CN115442608A (zh) * 2018-12-17 2022-12-06 Lg电子株式会社 图像编码/解码方法及发送数据的方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091529B2 (en) * 2010-07-09 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
ES2864591T3 (es) * 2011-12-21 2021-10-14 Sun Patent Trust Selección de contexto para codificación por entropía de coeficientes de transformada
US10616581B2 (en) 2012-01-19 2020-04-07 Huawei Technologies Co., Ltd. Modified coding for a transform skipped block for CABAC in HEVC
US20130188736A1 (en) 2012-01-19 2013-07-25 Sharp Laboratories Of America, Inc. High throughput significance map processing for cabac in hevc
US9743116B2 (en) 2012-01-19 2017-08-22 Huawei Technologies Co., Ltd. High throughput coding for CABAC in HEVC
US9860527B2 (en) * 2012-01-19 2018-01-02 Huawei Technologies Co., Ltd. High throughput residual coding for a transform skipped block for CABAC in HEVC
KR20160034424A (ko) * 2012-01-20 2016-03-29 소니 주식회사 유효성 맵 코딩의 복잡성 감소
DK3361734T3 (da) * 2012-07-02 2020-01-02 Samsung Electronics Co Ltd Entropikodning af en video og entropiafkodning af en video
US9619229B2 (en) 2012-12-27 2017-04-11 Intel Corporation Collapsing of multiple nested loops, methods and instructions
WO2015145504A1 (ja) * 2014-03-25 2015-10-01 株式会社ソシオネクスト 画像復号装置、画像復号方法、及び集積回路
EP2958328A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
US9781424B2 (en) 2015-01-19 2017-10-03 Google Inc. Efficient context handling in arithmetic coding
US10520579B2 (en) * 2015-05-12 2019-12-31 HERE Global, B.V. Compressing and decompressing data about radio signals
EP3099072A1 (en) * 2015-05-28 2016-11-30 Parabola Research Limited Method, system and device for image and video coding
WO2017041271A1 (en) * 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
WO2017043763A1 (ko) * 2015-09-10 2017-03-16 삼성전자 주식회사 부호화 장치, 복호화 장치, 그 부호화 및 복호화 방법
KR20170031643A (ko) * 2015-09-11 2017-03-21 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10440399B2 (en) * 2015-11-13 2019-10-08 Qualcomm Incorporated Coding sign information of video data
US20170311003A1 (en) * 2016-04-20 2017-10-26 Mediatek Inc. Method and apparatus for performing entropy encoding with sign data removal and associated method and apparatus for performing entropy decoding with sign data recovery
CN113411580B (zh) * 2016-05-13 2024-01-30 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US10484695B2 (en) 2017-10-23 2019-11-19 Google Llc Refined entropy coding for level maps
WO2019117634A1 (ko) * 2017-12-15 2019-06-20 엘지전자 주식회사 2차 변환에 기반한 영상 코딩 방법 및 그 장치
EP3514968B1 (en) 2018-01-18 2023-03-08 BlackBerry Limited Methods and devices for entropy coding point clouds
EP3937132A1 (en) 2018-04-09 2022-01-12 BlackBerry Limited Methods and devices for binary entropy coding of point clouds
EP3562156A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for adaptive context modeling in video encoding and decoding
US10645381B2 (en) 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video
CN111316641B (zh) * 2018-05-03 2022-08-09 Lg电子株式会社 根据块尺寸使用变换来解码图像的方法和设备
KR102598746B1 (ko) * 2018-07-02 2023-11-07 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 필터링을 위한 장치 및 방법
CN112655209B (zh) * 2018-07-02 2024-03-29 弗劳恩霍夫应用研究促进协会 对块的变换系数进行解码或编码的装置和方法
MX2021003343A (es) * 2018-09-24 2021-07-02 Fraunhofer Ges Forschung Codificación eficiente de coeficientes de transformacion usando o adecuada para una combinación con cuantización escalar dependiente.
EP3857894A4 (en) * 2018-10-08 2022-09-07 HFI Innovation Inc. METHOD AND APPARATUS FOR CODING THE LAST SIGNIFICANT COEFFICIENT IN IMAGE AND VIDEO CODING
US10728557B2 (en) * 2018-10-24 2020-07-28 Sony Corporation Embedded codec circuitry for sub-block based entropy coding of quantized-transformed residual levels
JP7282904B2 (ja) * 2019-02-19 2023-05-29 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおいてレジデュアル情報を使用する映像デコーディング方法及びその装置
US10939107B2 (en) 2019-03-01 2021-03-02 Sony Corporation Embedded codec circuitry for sub-block based allocation of refinement bits
JP7390395B2 (ja) * 2019-03-12 2023-12-01 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 画像及びビデオコード化のための選択的成分間変換(ict)
WO2021045187A1 (ja) * 2019-09-06 2021-03-11 ソニー株式会社 画像処理装置および方法
JP2024058010A (ja) * 2022-10-13 2024-04-25 Kddi株式会社 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547854A (zh) * 2001-11-16 2004-11-17 株式会社Ntt都科摩 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
CN1610265A (zh) * 2003-10-22 2005-04-27 松下电器产业株式会社 算术解码/编码装置、携带终端、活动图像摄影及记录/重放装置
US20050123207A1 (en) * 2003-12-04 2005-06-09 Detlev Marpe Video frame or picture encoding and decoding
CN1650636A (zh) * 2002-04-26 2005-08-03 索尼株式会社 编码设备和编码方法、解码设备和解码方法、记录介质以及程序
US20080246637A1 (en) * 2007-04-03 2008-10-09 National Tsing Hua University Cabac Decoding Method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003101117A1 (en) * 2002-05-28 2003-12-04 Sharp Kabushiki Kaisha Methods and systems for image intra-prediction mode estimation, communication, and organization
JP2006140758A (ja) * 2004-11-12 2006-06-01 Toshiba Corp 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
WO2007081116A1 (en) * 2006-01-07 2007-07-19 Electronics And Telecommunications Research Institute Method and apparatus for video data encoding and decoding
US8463061B2 (en) * 2006-07-13 2013-06-11 Nec Corporation Encoding and decoding two-dimensional signal using a wavelet transform
PL2559166T3 (pl) * 2010-04-13 2018-04-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Koder i dekoder dzielący interwał prawdopodobieństwa
PT3244612T (pt) * 2010-04-13 2018-11-14 Ge Video Compression Llc Codificação de mapas de significância e blocos de coeficientes de transformada
US8976861B2 (en) * 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
CN107317586B (zh) * 2011-01-14 2020-11-06 Ge视频压缩有限责任公司 熵编码设备和方法、熵解码设备和方法、及存储介质
CA2839560C (en) * 2011-06-16 2016-10-04 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Entropy coding of motion vector differences
US20130016789A1 (en) * 2011-07-15 2013-01-17 General Instrument Corporation Context modeling techniques for transform coefficient level coding
WO2013050612A1 (en) * 2011-10-06 2013-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entropy coding buffer arrangement
US9191670B2 (en) * 2012-01-17 2015-11-17 Qualcomm Incorporated Throughput improvement for CABAC coefficient level coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547854A (zh) * 2001-11-16 2004-11-17 株式会社Ntt都科摩 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
CN1650636A (zh) * 2002-04-26 2005-08-03 索尼株式会社 编码设备和编码方法、解码设备和解码方法、记录介质以及程序
CN1610265A (zh) * 2003-10-22 2005-04-27 松下电器产业株式会社 算术解码/编码装置、携带终端、活动图像摄影及记录/重放装置
US20050123207A1 (en) * 2003-12-04 2005-06-09 Detlev Marpe Video frame or picture encoding and decoding
US20080246637A1 (en) * 2007-04-03 2008-10-09 National Tsing Hua University Cabac Decoding Method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235445A (zh) * 2017-01-31 2019-09-13 世宗大学校产学协力团 影像编码/解码方法及装置
US11425426B2 (en) 2017-01-31 2022-08-23 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image
US11882315B2 (en) 2017-01-31 2024-01-23 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image
CN113170137A (zh) * 2018-11-21 2021-07-23 交互数字Vc控股公司 降低本地邻域的使用的残差译码
CN115442608A (zh) * 2018-12-17 2022-12-06 Lg电子株式会社 图像编码/解码方法及发送数据的方法
WO2021180165A1 (en) * 2020-03-11 2021-09-16 Beijing Bytedance Network Technology Co., Ltd. High level bitstream syntax for quantization parameters
US11856235B2 (en) 2020-03-11 2023-12-26 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering
US11930219B2 (en) 2020-03-11 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Adaptation parameter set signaling based on color format
US11968403B2 (en) 2020-03-11 2024-04-23 Beijing Bytedance Netwrok Technology Co., Ltd. Transform skip based residual coding

Also Published As

Publication number Publication date
CN109120927A (zh) 2019-01-01
US10547870B2 (en) 2020-01-28
MX346677B (es) 2017-03-29
CN109120930A (zh) 2019-01-01
EP2775713B1 (en) 2021-06-16
CN103907349B (zh) 2018-08-28
IN2014CN03598A (zh) 2015-07-31
US20200154140A1 (en) 2020-05-14
US11310530B2 (en) 2022-04-19
JPWO2013065702A1 (ja) 2015-04-02
MY167316A (en) 2018-08-16
CN109120930B (zh) 2021-03-26
EP2775713A1 (en) 2014-09-10
WO2013065702A1 (ja) 2013-05-10
US20210084335A1 (en) 2021-03-18
US9525876B2 (en) 2016-12-20
MX338671B (es) 2016-04-27
JP2017123685A (ja) 2017-07-13
US10897632B2 (en) 2021-01-19
US20140307801A1 (en) 2014-10-16
CN109120927B (zh) 2021-05-18
US20180160144A1 (en) 2018-06-07
US10158887B2 (en) 2018-12-18
EP2775713A4 (en) 2015-05-06
JP6560702B2 (ja) 2019-08-14
MX2014005246A (es) 2014-08-22
US20170041635A1 (en) 2017-02-09
US20190052905A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN103907349A (zh) 算术解码装置、图像解码装置、算术编码装置、图像编码装置以及算术解码方法
CN104054343B (zh) 图像解码装置、图像编码装置
EP2858353B1 (en) Arithmetic decoding device, image decoding device, arithmetic encoding device, and image encoding device
CN109076222B (zh) 图像处理装置和方法
CN103636210B (zh) 偏移解码装置、偏移编码装置、图像滤波器装置
CN104509113B (zh) 视频压缩中的变换跳过模式
EP2800368B1 (en) Arithmetic decoding device, arithmetic decoding method, and arithmetic coding device
CN104380737B (zh) 算术解码装置
CN102484714B (zh) 图像处理装置和方法
CN107637081A (zh) 图像解码装置以及图像编码装置
EP3367688A1 (en) Predictive image generation device, image decoding device, and image encoding device
CN103858430A (zh) 图像解码装置、图像解码方法及图像编码装置
CN101990099A (zh) 图像处理设备和方法
CN109804632A (zh) 图像处理装置和图像处理方法
CN105284112A (zh) 用于确定量化参数的值的方法和装置
CN102939759A (zh) 图像处理设备和方法
EP3691266A1 (en) Image decoding device and image encoding device
CN104270641A (zh) 变换系数的处理方法和装置
CN113273212A (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1196483

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant