CN106851295A - 编码方法及编码装置 - Google Patents
编码方法及编码装置 Download PDFInfo
- Publication number
- CN106851295A CN106851295A CN201710181459.XA CN201710181459A CN106851295A CN 106851295 A CN106851295 A CN 106851295A CN 201710181459 A CN201710181459 A CN 201710181459A CN 106851295 A CN106851295 A CN 106851295A
- Authority
- CN
- China
- Prior art keywords
- context
- control parameter
- flag
- coding
- species
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种编码方法,包括上下文决定步骤。在所述信号种类是第1种类的情况下,利用与所述对象块的左侧邻接的左块和与所述对象块的上侧邻接的上块的已编码的控制参数,决定所述上下文,在所述信号种类是与所述第1种类不同的第2种类的情况下,不利用所述上块和所述左块的已编码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,决定所述上下文,在所述信号种类是与所述第1种类和所述第2种类不同的第3种类的情况下,不利用所述上块和所述左块的已编码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,与所述对象块的编码所使用的编码模式无关地决定所述上下文。
Description
技术领域
本发明涉及编码方法及编码装置,特别涉及使用算术编码或算术解码的编码方法及编码装置。
背景技术
自然图像的图像信号具有统计上的波动,该波动呈变动性的特性。在利用统计上的波动的变动性的熵编码方式之一中,有Context-Based Adaptive Binary ArithmeticCoding(CABAC,基于上下文的自适应二进制算术编码)(参照非专利文献1)。该CABAC方式在ITU-T/ISOIEC standard for video coding,H.264/AVC方式中被采用。
以下,说明在CABAC方式中使用的用语的意义。
(1)"Context-Based Adaptive"(基于上下文的自适应),是使编码及解码方法自适应于统计性波动的变动。即,"Context-Based Adaptive"也可以说是在将某个码元编码或解码的情况下,匹配于周围的条件的发生事件作为该码元的发生概率而预测适当的概率。例如,在编码中,在决定某个码元S的各值的发生概率p(x)的情况下,使用以实际发生的事件或事件的列F(z)为条件的带条件的发生概率。
(2)"Binary"(二进制)是指将码元用二进制排列表现。关于用多值表示的码元,一次变形为称作bin string的二值排列。并且对于各个排列要素,一边切换使用预测概率(条件概率),一边将发生了两个值的事件的哪个进行比特序列化。由此,能够用比信号种类的单位更详细的单位(二进制数要素单位)对值的概率进行管理(初始化及更新)(参照非专利文献1的图2等)。
(3)所谓"arithmetic"(算术),是指上述的比特序列生成处理不是通过表的对应、而是通过计算输出。在使用H.263、MPEG-4及H.264中的可变长代码表的编码方式中,即使是具有发生概率比0.5(50%)高的发生概率的码元,也需要使码元能够取的各个值对应于1个二进制数列(比特序列)。由此,关于概率最高的值,也最短必须使1个比特与1个码元建立对应。相对于此,算术编码能够将事件的较高的概率下的发生用整数值1比特以下表现。例如,有第1个二进制数的值为“0”的发生概率超过0.9(90%)那样的信号种类,在作为事件而第1个二进制数的值连续N次是“0”的情况下,不再需要对各个值“0”将1比特的数据输出N次。
现有技术文献
非专利文献
非专利文献1:Detlev Marpe,et.al.,"Context-Based Adaptive BinaryArithmetic Coding in the H.264/AVC Video Compression Standard",IEEETransaction on circuits and systems for video technology,Vol.13,No.7,July2003.
非专利文献2:Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and ISO/IEC JTC1/SC29/WG11 5th Meeting:Geneva,CH,16-23March,2011JCTVC-E603,ver.7”WD3:Working Draft 3of High-Efficiency Video Coding”http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E603-v7.zip
非专利文献3:Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and ISO/IEC JTC1/SC29/WG11 4th Meeting:Daegu,KR,20-28January,2011,"Common test conditions and software reference configurations",JCTVC-E700
非专利文献4:Gisle Bjontegaard,“Improvements of the BD-PSNR model,"ITU-T SG16Q.6Document,VCEG-AI11,Berlin,July 2008
发明概要
发明要解决的问题
但是,在这样的图像编码方法及图像解码方法中,希望存储器使用量(使用的存储器容量)的减少。
发明内容
所以,本发明的目的是提供一种能够削减存储器使用量的图像编码方法或图像解码方法。
用于解决问题的手段
为了达成上述目的,本发明的一个方式的编码方法,对控制图像的编码的控制参数进行编码,包括:上下文决定步骤,在多个上下文中决定对所述图像中包含的对象块使用的上下文;以及算术编码步骤,使用所决定的所述上下文,对所述对象块的控制参数进行算术编码,从而生成与所述对象块对应的比特序列,在所述上下文决定步骤中,判定所述对象块的控制参数所被分类的信号种类,在所述信号种类是第1种类的情况下,利用与所述对象块的左侧邻接的左块和与所述对象块的上侧邻接的上块的已编码的控制参数,决定所述上下文,在所述信号种类是与所述第1种类不同的第2种类的情况下,不利用所述上块和所述左块的已编码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,决定所述上下文,在所述信号种类是与所述第1种类和所述第2种类不同的第3种类的情况下,不利用所述上块和所述左块的已编码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,与所述对象块的编码所使用的编码模式无关地决定所述上下文,表示所述对象块是否被分割为多个块的分割标志、表示是否将所述对象块跳过的跳过标志被分类到所述第1种类,表示所述对象块是否包含亮度系数数据及色差系数数据的残差标志被分类到所述第2种类,表示所述对象块是否包含非零亮度系数的亮度系数标志、表示所述对象块是否包含非零色差系数的色差系数标志被分类到所述第3种类,用于所述亮度系数标志的上下文的数量与用于所述色差系数标志的上下文的数量不同。
发明效果
本发明能够提供能削减存储器使用量的图像编码方法或图像解码方法。
附图说明
图1是有关本发明的实施方式1的图像编码装置的功能框图。
图2是有关本发明的实施方式1的可变长编码部的功能框图。
图3是关于有关本发明的实施方式1的控制参数的上下文模型的表。
图4是表示有关本发明的实施方式1的算术编码方法的流程图。
图5是有关本发明的实施方式2的图像解码装置的功能框图。
图6是有关本发明的实施方式2的可变长解码部的功能框图。
图7是表示有关本发明的实施方式2的算术解码方法的流程图。
图8是表示有关本发明的实施方式2的算术解码方法的变形例的流程图。
图9A是用于说明本发明实施方式2的映射信息和上下文索引之间的对应的图。
图9B是表示有关本发明的实施方式2的HEVC的分割块(树构造)的图。
图10是用来说明有关本发明的实施方式2的多层级块构造的图。
图11是表示有关本发明的实施方式3的split_coding_unit_flag的算术解码方法的表。
图12A是表示有关本发明的实施方式3的关于split_coding_unit_flag的验证结果的表。
图12B是表示有关本发明的实施方式3的关于split_coding_unit_flag的验证结果的表。
图13是表示有关本发明的实施方式3的skip_flag的算术解码方法的表。
图14A是表示有关本发明的实施方式3的关于skip_flag的验证结果的表。
图14B是表示有关本发明的实施方式3的关于skip_flag的验证结果的表。
图15是表示有关本发明的实施方式3的merge_flag的算术解码方法的表。
图16A是表示有关本发明的实施方式3的关于merge_flag的验证结果的表。
图16B是表示有关本发明的实施方式3的关于merge_flag的验证结果的表。
图17是表示有关本发明的实施方式3的ref_idx的算术解码方法的表。
图18A是表示有关本发明的实施方式3的关于ref_idx的验证结果的表。
图18B是表示有关本发明的实施方式3的关于ref_idx的验证结果的表。
图18C是表示有关本发明的实施方式3的关于ref_idx的上下文模型的表。
图18D是表示有关本发明的实施方式3的关于ref_idx的上下文模型的表。
图19是表示有关本发明的实施方式3的inter_pred_flag的算术解码方法的表。
图20A是表示有关本发明的实施方式3的关于inter_pred_flag的验证结果的表。
图20B是表示有关本发明的实施方式3的关于inter_pred_flag的验证结果的表。
图21是表示有关本发明的实施方式3的mvd的算术解码方法的表。
图22A是表示有关本发明的实施方式3的关于mvd的验证结果的表。
图22B是表示有关本发明的实施方式3的关于mvd的验证结果的表。
图22C是表示有关本发明的实施方式3的关于mvd的上下文模型的表。
图22D是表示有关本发明的实施方式3的关于mvd的上下文模型的表。
图23A是表示有关本发明的实施方式3的no_residual_data_flag的算术解码方法的表。
图23B是表示有关本发明的实施方式3的no_residual_data_flag的语法的表。
图24A是表示有关本发明的实施方式3的关于no_residual_data_flag的验证结果的表。
图24B是表示有关本发明的实施方式3的关于no_residual_data_flag的验证结果的表。
图25A是表示有关本发明的实施方式3的intra_chroma_pred_mode的算术解码方法的表。
图25B是表示有关本发明的实施方式3的、与intra_chroma_pred_mode对应的IntraPredModeC的决定方法的表。
图26A是表示有关本发明的实施方式3的关于intra_chroma_pred_mode的验证结果的表。
图26B是表示有关本发明的实施方式3的关于intra_chroma_pred_mode的验证结果的表。
图27是表示有关本发明的实施方式3的cbf_luma(cr,cb)的算术解码方法的表。
图28A是表示有关本发明的实施方式3的关于cbf_luma(cr,cb)的验证结果的表。
图28B是表示有关本发明的实施方式3的关于cbf_luma(cr,cb)的验证结果的表。
图29A是表示有关本发明的实施方式3的验证结果的柱状图。
图29B是表示有关本发明的实施方式3的验证结果的柱状图。
图30A是表示有关本发明的实施方式3的验证结果的柱状图。
图30B是表示有关本发明的实施方式3的验证结果的柱状图。
图31A是表示有关本发明的实施方式3的验证结果的柱状图。
图31B是表示有关本发明的实施方式3的验证结果的柱状图。
图32A是表示有关本发明的实施方式3的验证结果的柱状图。
图32B是表示有关本发明的实施方式3的验证结果的柱状图。
图33A是表示有关本发明的实施方式3的参数集的一例的表。
图33B是表示有关本发明的实施方式3的验证结果的表。
图34A是表示有关本发明的实施方式3的参数集的一例的表。
图34B是表示有关本发明的实施方式3的验证结果的表。
图35是表示本发明的实施方式3的算术编码方法的流程图。
图36是表示本发明的实施方式3的算术解码方法的流程图。
图37是用来说明有关本发明的实施方式的、利用邻接两个块的对应的控制参数的值的上下文模型的图。
图38是用来说明有关本发明的实施方式的、利用上块时的存储器使用量的增加的图。
图39是实现内容分发服务的内容供给系统的整体结构图。
图40是数字广播用系统的整体结构图。
图41是表示电视机的结构例的模块图。
图42是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
图43是表示作为光盘的记录介质的构造例的图。
图44A是表示便携电话的一例的图。
图44B是表示便携电话的结构例的模块图。
图45是表示复用数据的结构的图。
图46是示意地表示各流在复用数据中怎样被复用的图。
图47是更详细地表示在PES包序列中视频流怎样被保存的图。
图48是表示复用数据的TS包和源包的构造的图。
图49是表示PMT的数据结构的图。
图50是表示复用数据信息的内部结构的图。
图51是表示流属性信息的内部结构的图。
图52是表示识别影像数据的步骤的图。
图53是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
图54是表示切换驱动频率的结构的图。
图55是表示识别影像数据、切换驱动频率的步骤的图。
图56是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
图57A是表示将信号处理部的模块共用的结构的一例的图。
图57B是表示将信号处理部的模块共用的结构的另一例的图。
具体实施方式
(作为本发明的基础的认识)
本发明者发现,会发生以下的问题。
这里,在作为下一代编码方式的High-Efficiency Video Coding(HEVC)中,关于各种控制参数的编码及解码中的上下文模型的研究也正在进展(非专利文献2)。所谓控制参数,是指包含在编码比特流中、在编码处理或解码处理中使用的参数(标志等),具体而言,是syntax element。
所谓上下文模型,是表示(1)对怎样的单位(多值、二进制数值、或二进制数排列(bin string)的各个要素)的信号、(2)考虑怎样的条件(Condition)的信息。这里,所谓怎样的条件,是应用怎样的条件的要素数的条件、或者作为条件考虑的控制参数的信号种类最好是什么。将该条件越详细地区分,即,越是增加条件数τ(the number of conditions),与1个条件对应的次数越减少。结果,通过每个条件的学习次数减少,概率的预测的精度下降(例如,参照非专利文献1的"dilution effect")。
此外,越是减少条件数,越是不考虑上下文(周围的条件),越不追随于(adaptive)统计性变动。
在上下文的模型设计中决定模型的设计方针后,需要通过进行图像内容的统计性波动的验证、或控制图像的编码及解码的控制参数的统计性波动的验证等的为图像而特殊化的验证来考虑其妥当性。
在H.264中,将在码元的编码中使用限定的数量的事前事件作为规则的规范,并将上下文模型类型化为4个基本的类型(basic design types)。
第1及第2类型关于控制参数的编码及解码。
第1类型的上下文模型使用以两个为上限(up to two)的邻接的已编码的值(参照非专利文献1)。邻接的两个已编码的值的定义依存于控制参数的各个信号种类,但通常使用在左及上邻接的块中包含的对应的控制参数的值。
第2上下文模型的类型是作为发生概率而基于二进制数树决定上下文的类型。具体而言,应用到控制参数mb_type及sub_mb_type中。
第3及第4类型关于图像数据等的残差值(residual data)的编码及解码。在第3类型中,根据频率系数(或量化系数)的扫描的顺序,仅利用过去编码或解码的值。在第4类型中,根据解码并累积的值(水平(level)值)决定上下文。
上述第1类型等的、H.264的概率转移(probability transition)模型的设计方针及安装方法被较长地验证了效果,研究正在进展,以使得也应用到目前研究中的HEVC中(参照非专利文献2)。例如正在研究将第1类型(使用相邻语法元素(using neighbouringsyntax elements)的上下文模型)用在控制参数alf_cu_flag、split_coding_unit_flag、skip_flag、merge_flag、intra_chroma_pred_mode、inter_pred_flag、ref_idx_lc、ref_idx_l0、ref_idx_l1、mvd_l0、mvd_l1、mvd_lc、no_residual_data_flag、cbf_luma、cbf_cb及cbf_cr中(参照非专利文献2的9.3.3.1.1节)。
但是,关于利用该第1类型“利用邻接两块的上下文模型”的编码,本发明者发现,关于其存储器使用量存在以下的问题。
图37是用来说明利用邻接两块的对应的控制参数的值的上下文模型的图。此外,图37表示H.264中的利用邻接块的上下文模型。
图中的块C包括作为当前(Current)的编码或解码对象的控制参数SE的值。在将该SE的值编码的情况下,利用在已经编码的上块A及左块B中包含的同种控制参数SE的值。具体而言,使用以上块A的控制参数SE的值和左块B的控制参数SE的值为条件的条件概率p(x|(condition A(上块的值)且condition B(左块的值)))预测块C的控制参数SE(或控制参数SE的bin string的第1个二进制数)的值x是“1”还是“0”的概率p(x)。
图38是用来说明利用上块的情况下的存储器使用量的增加的图。
图中的(xP,yP)表示包含块C的Prediction Unit(PU:运动预测单位)的左上像素位置。这里,块C是包括当前的编码对象的控制参数(例如skip_flag)的块。此外,图中的(xP,yA)表示作为condition A(上块的控制参数skip_flag的值)使用的、块B中包含的像素位置。图中(xL,yP)表示作为condition B(左块的控制参数skip_flag的值)使用的、块A中包含的像素位置。
在此情况下,为了将块C的控制参数skip_flag的值编码或解码,编码或解码装置需要保持与上块B中包含的(xP,yA)的位置对应的PU的skip_flag的值(或条件的判断结果)、和与左块A中包含的(xL,yP)的位置对应的PU的skip_flag的值(或条件的判断结果)。这里,如果设该图片的横宽是4096像素,则为了1个控制参数skip_flag的编码,需要保持上块行(图38所示的Line L)中包含的全部的判断值。即,为了1个控制参数,需要4096像素÷块尺寸的存储器容量。
这里,编码对象的块C的块尺寸是可变的,例如是64×64、16×16或4×4等。此外,在包含(xP,yA)的上方的行(Line L)中包含的块的编码或解码时,在之后编码或解码的块C的块尺寸不能预测。这是因为,编码或解码装置在上方的行(包含块A的行)的编码或解码的时点,不知道其之下的行(包含块C的行)的各块的尺寸。因而,编码或解码装置设想作为下方的行的块尺寸而使用应用该控制参数的块尺寸中的最小的块尺寸的情况,必须按照每个该最小的块尺寸保持控制参数的值(或判断值)。在多数信号种类中,该最小的块尺寸为4×4。此外,在特別的信号种类中,该最小的块尺寸为8×8或16×16。例如,最小的块尺寸为4×4的情况下,必须保持的控制参数的值(或判定值)为4096像素÷4=1024bits。另外,图38的黑圈的位置表示实际在下方的行(包含块C的行)的编码或解码中尽管不需要该条件值但必须保持的条件。
进而,图38所示的邻接两块(左块A和上块B)表示H.264时点的邻接块的概念,没有导入新的层级块分割的观点。如后述那样,对适应于计划用HEVC导入的递归4分块分割树构造(quad tree partitioning)的控制参数,根据递归的执行顺序、层级深度或块的位置,有由图38表示的参照的条件值没有意义的情况。
这样,本发明者发现,通过在控制参数的算术编码或解码中利用上块的条件值,存储器使用量增加。进而,本发明者发现,在HEVC中,该存储器使用量进一步增加。
对此,本发明的一个方式的图像解码方法,使用算术解码,其特征在于,包括:上下文控制步骤,在多个上下文中决定对处理对象块使用的上下文;算术解码步骤,将通过对控制参数进行算术编码而得到的与所述处理对象块对应的比特序列,使用所决定的所述上下文进行算术解码,由此将二值排列复原;以及多值化步骤,通过将所述二值排列多值化,将所述控制参数复原;在所述上下文控制步骤中,判断所述处理对象块的控制参数的信号种类;在所述信号种类是第1种类的情况下,使用利用与所述处理对象块邻接的左块及上块的已解码的控制参数的第1条件,决定所述上下文;在所述信号种类是与所述第1种类不同的第2种类的情况下,使用不利用所述上块的已解码的控制参数的第2条件,决定所述上下文;在所述信号种类是与所述第1种类及所述第2种类不同的第3种类的情况下,使用不利用所述上块的已解码的控制参数且利用所述处理对象块的控制参数所属的数据单位的层级的深度的第3条件,决定所述上下文;所述第1种类是"split_coding_unit_flag"或"skip_flag";所述第2种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_cr"中的1个以上;所述第3种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_cr"中的所述第2种类以外的信号种类。
据此,该图像解码方法能够削减存储器使用量。具体而言,该图像解码方法由于对第2种类的控制参数不使用上块的控制参数,所以不需要保持上块的第2种类的控制参数。由此,该图像解码方法与划一地作为“利用基于邻接块的控制参数的值的上下文模型”而利用左块和上块的情况相比能够削减存储器使用量。进而,该图像解码方法能够不损害图像的BD-rate值评价等而适当地削减第2种类的控制参数的存储器使用量。
此外,该图像解码方法能够进行在现有技术的H.264中没有考虑的、适合于新的HEVC特有的数据构造的层级树构造的上下文的利用或存储器参照。
进而,该图像解码方法对于第3种类的控制参数,利用处理对象块的控制参数所属的数据单位的层级的深度来决定上下文,由此能够削减存储器使用量而选择适当的上下文。
此外,也可以是,所述第3种类是"inter_pred_flag"。
此外,也可以是,所述第3种类是"cbf_cb"及"cbf_cr"。
此外,也可以是,所述第3种类是"cbf_luma"。
此外,也可以是,所述第1种类是"split_coding_unit_flag"及"skip_flag",所述第2种类是"merge_flag"、"ref_idx_l0"及"ref_idx_l1"、"mvd_l0"及"mvd_l1"、"intra_chroma_pred_mode",所述第3种类是"inter_pred_flag"、"cbf_luma"、"cbf_cb"及"cbf_cr"。
此外,也可以是,所述第2条件及所述第3条件是不利用所述上块的已解码的控制参数也不利用所述左块的已解码的控制参数的条件。
据此,该图像解码方法通过除了上块以外也不使用左块的控制参数,能够进一步削减存储器使用量。
此外,也可以是,在所述上下文控制步骤中,在所述信号种类是所述第2种类的情况下,作为所述第2条件,将预先设定的上下文决定为在所述对象块的算术解码中使用的上下文。
据此,该图像解码方法能够降低处理量。
此外,也可以是,在所述上下文控制步骤中,还基于所述处理对象块的位置,判断在解码时是否能够利用所述上块的控制参数;在不能利用所述上块的控制参数的情况下,使用所述第2条件或所述第3条件决定所述上下文。
据此,该图像解码方法能够降低处理量。
此外,也可以是,在所述上下文控制步骤中,在所述处理对象块属于切片边界的情况下,判断为在解码时不能利用所述上块的控制参数。
此外,也可以是,在所述上下文控制步骤中,根据所述处理对象块的控制参数所属的数据单位的层级的深度判断在解码时是否能够利用所述上块的控制参数。
此外,也可以是,所述第2种类或所述第3种类是具有预先设定的数据构造的控制参数。
此外,也可以是,在所述上下文控制步骤中,还基于第1单位的控制参数的值,对比所述第1单位小的第2单位的控制参数,切换是使用所述第1条件决定所述上下文、使用所述第2条件决定上下文、还是使用所述第3条件决定所述上下文。
此外,也可以是,所述"split_coding_unit_flag"表示所述处理对象块是否被分割为多个块;所述"skip_flag"表示是否将所述处理对象块跳过;所述"merge_flag"表示对所述处理对象块是否使用合并模式;所述"ref_idx_l0"表示所述处理对象块用的列表0的参照图片索引;所述"ref_idx_l1"表示所述处理对象块用的列表1的参照图片索引;所述"inter_pred_flag"表示对所述处理对象块使用uni-prediction及bi-prediction的哪个;所述"mvd_l0"表示对所述处理对象块使用的列表0的运动矢量成分与其预测值的差分;所述"mvd_l1"表示对所述处理对象块使用的列表1的运动矢量成分与其预测值的差分;所述"intra_chroma_pred_mode"表示所述处理对象块的色差样本用的帧内预测模式;所述"cbf_luma"表示所述处理对象块的亮度变换块是否包括级别不是0的一个以上的变换系数;所述"cbf_cb"表示所述处理对象块的Cb变换块是否包括级别不是0的一个以上的变换系数;所述"cbf_cr"表示所述处理对象块的Cr变换块是否包括级别不是0的一个以上的变换系数。
此外,也可以是,所述图像解码方法根据编码信号中包含的表示第1标准或第2标准的识别符,对依据所述第1标准的解码处理和依据所述第2标准的解码处理进行切换;在所述ID表示第1标准的情况下,作为依据所述第1标准的解码处理,进行所述上下文控制步骤、所述算术解码步骤和所述多值化步骤。
此外,本发明的一个方式的图像编码方法,使用算术编码,其特征在于,包括:二值化步骤,通过将处理对象块的控制参数二值化,生成二值排列;上下文控制步骤,在多个上下文中,决定对所述处理对象块使用的上下文;以及算术编码步骤,通过使用所决定的所述上下文对所述二值排列进行算术编码,生成比特序列;在所述上下文控制步骤中,判断所述处理对象块的控制参数的信号种类;在所述信号种类是第1种类的情况下,使用利用与所述处理对象块邻接的左块及上块的控制参数的第1条件,决定所述上下文;在所述信号种类是与所述第1种类不同的第2种类的情况下,使用不利用所述上块的控制参数的第2条件,决定所述上下文;在所述信号种类是与所述第1种类及所述第2种类不同的第3种类的情况下,使用不利用所述上块的控制参数且利用所述处理对象块的控制参数所属的数据单位的层级的深度的第3条件,决定所述上下文;所述第1种类是"split_coding_unit_flag"或"skip_flag";所述第2种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_cr"中的1个以上;所述第3种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_cr"中的所述第2种类以外的信号种类。
据此,该图像编码方法能够削减存储器使用量。具体而言,该图像编码方法由于对第2种类的控制参数不使用上块的控制参数,所以不需要保持上块的第2种类的控制参数。由此,该图像编码方法与划一地作为“利用基于邻接块的控制参数的值的上下文模型”而利用左块和上块的情况相比能够削减存储器使用量。进而,该图像编码方法能够不损害图像的BD-rate值评价等而适当地削减第2种类的控制参数的存储器使用量。
此外,该图像编码方法能够进行在现有技术的H.264中没有考虑的、适合于新的HEVC特有的数据构造的层级树构造的上下文的利用或存储器参照。
进而,该图像解码方法对于第3种类的控制参数,利用处理对象块的控制参数所属的数据单位的层级的深度来决定上下文,由此能够削减存储器使用量而选择适当的上下文。
此外,本发明的一个方式的图像解码装置,使用算术解码,其特征在于,包括:上下文控制部,在多个上下文中决定在处理对象块的算术解码中使用的上下文;算术解码部,将通过对控制参数进行算术编码而得到的与所述处理对象块对应的比特序列,使用所决定的所述上下文进行算术解码,由此将二值排列复原;以及多值化部,通过将所述二值排列多值化,将所述控制参数复原;所述上下文控制部,判断所述处理对象块的控制参数的信号种类;在所述信号种类是第1种类的情况下,使用利用与所述处理对象块邻接的左块及上块的已解码的控制参数的第1条件,决定所述上下文;在所述信号种类是与所述第1种类不同的第2种类的情况下,使用不利用所述上块的已解码的控制参数的第2条件,决定所述上下文;在所述信号种类是与所述第1种类及所述第2种类不同的第3种类的情况下,使用不利用所述上块的已解码的控制参数且利用所述处理对象块的控制参数所属的数据单位的层级的深度的第3条件,决定所述上下文;所述第1种类是"split_coding_unit_flag"或"skip_flag";所述第2种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_cr"中的1个以上;所述第3种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_cr"中的所述第2种类以外的信号种类。
据此,该图像解码装置能够削减存储器使用量。
此外,本发明的一个方式的图像编码装置,使用算术编码,其特征在于,包括:二值化部,通过将处理对象块的控制参数二值化,生成二值排列;上下文控制部,在多个上下文中,决定对所述处理对象块使用的上下文;以及算术编码部,通过使用所决定的所述上下文对所述二值排列进行算术编码,生成比特序列;所述上下文控制部,判断所述处理对象块的控制参数的信号种类;在所述信号种类是第1种类的情况下,使用利用与所述处理对象块邻接的左块及上块的控制参数的第1条件,决定所述上下文;在所述信号种类是与所述第1种类不同的第2种类的情况下,使用不利用所述上块的控制参数的第2条件,决定所述上下文;在所述信号种类是与所述第1种类及所述第2种类不同的第3种类的情况下,使用不利用所述上块的控制参数且利用所述处理对象块的控制参数所属的数据单位的层级的深度的第3条件,决定所述上下文;所述第1种类是"split_coding_unit_flag"或"skip_flag";所述第2种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_cr"中的1个以上;所述第3种类是"merge_flag"、"ref_idx_l0"或"ref_idx_l1"、"inter_pred_flag"、"mvd_l0"或"mvd_l1"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"或"cbf_cr"中的所述第2种类以外的信号种类。
据此,该图像编码装置能够削减存储器使用量。
此外,本发明的一个方式的图像编解码装置包括所述图像解码装置和所述图像编码装置。
另外,这些总括性或具体的形态也可以通过系统、方法、集成电路、计算机程序或记录介质实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
以下,参照附图对有关本发明的一形态的图像解码装置及图像编码装置具体地说明。
另外,以下说明的实施方式都是表示本发明的一具体例的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,不是限定本发明的意思。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明
(实施方式1)
以下,对有关本发明的实施方式1的图像编码装置进行说明。有关本发明的实施方式1的图像编码装置在算术编码中根据控制参数的信号种类,切换(1)利用上块决定上下文、还是(2)不利用上块决定上下文。由此,能够在抑制画质的劣化的同时削减存储器使用量。
首先,说明有关本发明的实施方式1的图像编码装置的结构。
图1是有关本实施方式的图像编码装置100的框图。
图1所示的图像编码装置100是使用算术编码的图像编码装置,通过将输入图像信号121编码而生成比特流124。该图像编码装置100包括控制部101、差分部102、变换及量化部103、可变长编码部104、逆量化及逆变换部105、加法部106、画面内预测部107、画面间预测部108和开关109。
控制部101基于编码对象的输入图像信号121计算控制参数130。例如,控制参数130包括表示编码对象的输入图像信号121的图片类型的信息、编码对象块的运动预测单位(Prediction Unit PU)的尺寸及运动预测单位的控制信息等。这里,控制参数130(Controldata)其自身为编码对象。由此,控制部101将该控制参数130向可变长编码部104输出。
差分部102计算作为块单位的输入图像信号121与预测图像信号129的差值(残差值)的残差信号122。
变换及量化部103将残差信号122变换为频率系数值,通过将得到的频率系数值量化,生成量化变换系数123(residual data)。
逆量化及逆变换部105将量化变换系数123逆量化为频率系数值,通过将得到的频率系数值逆变换,生成复原的残差信号125。
加法部106通过将残差信号125与预测图像信号129相加,输出复原图像信号126。
画面内预测部107通过使用复原图像信号126进行画面内预测处理而生成预测图像信号127。画面间预测部108通过使用复原图像信号126进行画面间预测处理而生成预测图像信号128。
开关109选择预测图像信号127及预测图像信号128的一方,将所选择的信号作为预测图像信号129输出。
可变长编码部104通过将输入的各块的量化变换系数123及控制参数130使用上述的CABAC编码而生成比特流124。
接着,说明可变长编码部104的结构。
图2是可变长编码部104的功能框图。可变长编码部104包括二值化部141、上下文控制部142和二值算术编码部143。以下,对控制参数130的可变长编码处理进行说明。另外,关于量化变换系数123的可变长编码处理省略说明,例如可以使用已知的技术实现。
二值化部141通过将控制参数130二值化,生成二值排列151。具体而言,二值化部141是执行非专利文献1中的II.1)binarizaion处理的处理部。该二值化部141将控制参数130通过按照每个信号种类事前设定的二值化处理方法变换为称作bin string的二值排列151。另外,关于信号种类与二值化处理方法的对应在后面叙述。此外,二值化部141在输入的控制参数130是flag等的1个二进制数值的情况下,将该控制参数130原样作为二值排列151输出。
上下文控制部142在多个上下文(概率状态表)中,决定在包含于处理对象的块中的控制参数130的算术编码中使用的上下文。此外,上下文控制部142将指定所决定的上下文的上下文索引152向二值算术编码部143输出。
具体而言,上下文控制部142是执行非专利文献1中的2)context modeling处理的处理部。对于该上下文控制部142,依次输入在二值算术编码部143输出的二值排列151中包含的多个要素。上下文控制部142根据控制参数130的信号种类和该二进制数的二值排列151中的要素位置,在多个上下文中选择在该二进制数中使用的上下文,将表示所选择的上下文的索引即上下文索引152向二值算术编码部143输出。
此外,上下文控制部142作为上下文的状态而保持着将控制参数130的二值排列的各个要素进一步详细区分化为条件概率的条件的数量(所谓的上下文索引数)的概率状态表,将该概率状态表初始化及更新。
此外,上下文控制部142作为按照每个信号种类(在二值排列的要素数是2以上的情况下,是控制参数130的二值排列的每个要素号码。以下相同)更加详细区分而保持每个发生条件τ(每个上下文)的状态(probability state index:概率状态索引)。该状态是“0”或“1”的二值中的概率较低一方的发生概率P(内分比率:典型地是6比特的值)、与概率较高一方是哪个的值(1比特)的合计7比特值。此外,所谓保持状态,是初始化及更新。例如,所谓更新处理,与H264同样,是64个有限的状态间的转变,是将现在处于哪个概率状态probability state(即哪个概率)的indexing变更。
具体而言,上下文控制部142在二值中的概率较高的most probable侧的事件X发生的情况下,使作为most probable侧的概率的比例稍稍增加。例如,上下文控制部142通过使与64个表对应的概率索引(probability state index)的值增减1,能够使作为mostprobable侧的概率的比例稍稍增加。另一方面,在(与预测的概率相反)而概率较低的事件not X发生的情况下,上下文控制部142使保持的most probable的概率的比例变大,基于规定的缩放系数α(例如≒0.95)减少(参照非专利文献1,图6)。本实施方式的上下文控制部142与H.264同样,基于建立了对应的表索引变更值使状态转变并保持,以便对应于考虑到该α的变更。
二值算术编码部143通过使用由上下文控制部142决定的上下文将二值排列151算术编码,生成比特流124(比特序列)。
具体而言,二值算术编码部143是执行非专利文献1的3)binary arithmeticcoding处理的处理部。该二值算术编码部143通过使用由上下文索引152指定的上下文将二值排列151算术编码,从而生成比特流124。这里,所谓算术编码,是指将关于各种信号种类的控制参数130发生的事件作为概率的累计处置,将进行怎样的事件一边缩窄范围一边与1个数线(number line)上的规定范围建立对应。
首先,二值算术编码部143将1个数线根据从上下文控制部142给出的、二进制数能够取的两个值的发生概率内分为两个半区间。在实际发生的二进制数的值(例如“0”)是较高的概率(超过0.5的概率(例如0.75))侧的值的情况下,二值算术编码部143不变更而维持数线中的范围的下值限值low,将与对此次的概率0.75乘以1次缩放系数0.95的结果相对应的值设定为新的幅度Range。另一方面,在实际发生的二进制数的值是预测的较低的概率侧的值的情况下,二值算术编码部143使范围的下限值low移动较高的概率的量,使幅度Range根据较低的概率而变更。这样,通过概率幅度Range的相乘结果的累计而保持区间,但在概率较低的值连续发生的情况下,幅度Range的长度成为在运算中能够确保的精度以下。在此情况下,二值算术编码部143为了维持精度而进行将幅度Range扩大的处理(renorm)并且将用来表示当前时点的范围的比特序列输出。相反,在概率较高(0.95等)的值连续发生的情况下,即使乘以该概率值,在幅度Range的长度变得比规定的长度短之前也能够进行多次的运算(在基于表的安装的情况下是状态转变)。因而,在此情况下,在将比特输出之前能够累计的码元数较多。
图3是将利用基于邻接块的控制参数130的值的上下文模型的控制参数130整理的表。
从左起,说明列的意义。
(c2)信号种类(syntax element)表示控制参数130的信号种类的具体名称。另外,各信号种类的意义后述。
(c3)二值化方式(binarization scheme)表示在由紧挨着的左方的列指定的控制参数130(SE)中应用的二值化方式。另外,二值化处理由上述二值化部141执行。此外,所谓栏中“固定长”,是指二值化部141将紧挨着的左方的控制参数130的值用固定长(FixedLength)的二值排列(bin string)输出。在HEVC中信号种类名用"flag"结束的信号种类的控制参数130是取“0”或“1”的某个值的1个二进制数值。因而,二值化部141输出的二值排列151的要素只是第1个要素(binIdx=0),第2个以后的要素(binIdx>=1的要素不输出。即,二值化部141将控制参数130的值原样作为二值排列151输出。
此外,栏中“可变长”,表示二值化部141将控制参数130的值,使用以成为以该值的发生频度顺序由短到长的二进制数长的方式建立了对应的可变长的二进制数列(binstring或二值排列,要素数≧1)来进行二值排列化并输出。例如,二值化部141将(Truncated)Unary型或Unary型与其他指数的Golomb方式等的多个方式的组合等的、对应于信号种类的方式输出(参照非专利文献1,A.Binarization)。另外,在可变长的情况下,也有二值排列151的排列要素是1个的情况,但也有为两个以上的情况。此外,在后述的图像解码装置的多值化部中,通过进行该二值化方式的逆变换,将输入的二值排列复原为多值或标志值。
(c4)第1个要素(binIdx=0)上下文索引表示上下文控制部142对在通过由c3的栏指定的二值化方式生成的二进制数排列中包含的第1个要素应用的上下文索引(增值)的选择分支。在栏中记载有“0,1,2”的情况下,意味着上下文控制部142从3个概率状态表(上下文)中选择应用一个概率状态表。例如,对于信号种类"skip_flag",关于该1个信号种类准备3个用条件细分化的上下文索引,即意味着准备3个上下文进行算术编码。
同样,在c4栏中记载有“0,1,2,3”的情况下,意味着在将由c2栏指定的信号种类的控制参数130的值应用到在通过c3栏的二值化方式二值排列化的二值排列151中包含的第1要素(binIdx=0)中的上下文是0、1、2或3的4个择一。另外,关于栏中的条件式在后面叙述。
(c5)左块条件L(condL)表示上下文控制部142用来在栏c4中选择0、1、2的值的某个值的左块的条件(condition)。该条件对应于编码对象(或解码对象)的控制参数,取根据左块的控制参数的值决定的true或false的值。
例如,在控制参数(SE)是skip_flag的情况下,如果skip_flag[xL][yL]的值是true(例如“1”)则输出true,如果是false(例如“0”)则输出false。
(c6)上块条件A(condA)表示上下文控制部142用来在由栏c4指定的排列要素的编码及解码中选择0、1、2的值的某个值的上块的条件(condition)。该条件取与编码对象(或解码对象)的控制参数对应的、根据上块的控制参数的值决定的true或false的值。例如,在控制参数(SE)是skip_flag的情况下,如果skip_flag[xA][yA]的值是true(例如“1”)则输出true,如果是false(例如“0”)则输出false。
另外,虽然没有图示,但将对(c7)“binIdx>=1应用的上下文增量值”与2比特以上的信号种类建立了对应。该(c7)表示上下文控制部142对二值排列的第2要素以后的二进制数(具有binIdx>=1的索引值的二进制数排列要素的二进制数值)应用的上下文模型。
有关本实施方式的图像编码方法对于上述左块条件L及上块条件A,根据控制参数130的信号种类切换以下的动作(利用不同的模式动作)。
(模式1)使用两个邻接块(左块条件L的判断值和上块条件A的判断值)。
(模式2)使用1个邻接块(仅左块条件L的判断值)。
(模式3)使用0个邻接块(左块条件L和上块条件A都不使用)。
图4是表示图2所示的可变长编码部104执行的有关本实施方式的图像编码方法的流程图。
首先,二值化部141将控制参数130的值以与该控制参数130的信号种类对应的方式二值排列化(S101)。
接着,上下文控制部142取得在该控制参数130的算术编码中使用的上下文的基本值(S102)。例如,上下文控制部142根据图片类型(I,P,B)决定该基本值。
接着,上下文控制部142根据控制参数130的信号种类,使用上述模式1~模式3的某个来决定上下文值(S103)。这里,所谓决定上下文值,与决定上下文的相对于基本值的调整值(递增值CtxIdxInc)是等价的。
首先,上下文控制部142判别控制参数130的信号种类(S103)。在控制参数130的信号种类是与模式1对应的第1种类的情况下(S104中第1种类),上下文控制部142使用根据邻接的两个块(块A和块B)的各自的控制参数的值导出的判断值决定上下文值(S105)。换言之,上下文控制部142使用利用左块及上块的两个邻接块的控制参数的条件来决定上下文。在此情况下,上下文控制部142利用图3所示的(c5)CondL的判断结果和(c6)condA的判断结果的两者的值。因而,对于第1种类的控制参数保持图片的横一列的数据。
另一方面,在控制参数130的信号种类是与模式2对应的第2种类的情况下(S104中第2种类),上下文控制部142决定使用1个邻接块(在编码顺序上最近的邻接块)的控制参数的值决定上下文值(S106)。换言之,上下文控制部142使用不利用上块的控制参数的条件决定上下文。
另一方面,在控制参数130的信号种类是与模式3对应的第3种类的情况下(S104中第3种类),上下文控制部142对上块及左块的控制参数都不利用,固定地决定上下文值(S107)。
接着,上下文控制部142通过对在步骤S102中决定的上下文的基本值加上在步骤S103中决定的增量值,导出上下文索引值(S108)。
最后,二值算术编码部143通过将第1要素的二进制数值使用由在步骤S108中决定的上下文索引值指定的上下文值,进行算术编码,生成比特序列(比特流124)(S109)。
接着,在步骤S102~S109的处理的执行对二值排列中包含的全部的要素没有完成的情况下(S110中否),可变长编码部104对二值排列中包含的下个要素执行步骤S102~S109的处理。另一方面,在对二值排列中包含的全部的要素完成了步骤S102~S109的处理的执行的情况下(S110中“是”),可变长编码部104结束对于处理对象块的控制参数的编码处理。
如以上这样,有关本实施方式的图像编码装置100在算术编码中,对第1种类的控制参数利用上块决定上下文,对第2种类及第3种类的控制参数不利用上块而决定上下文。
通过该结构,该图像编码装置100与划一地作为“利用基于邻接块的控制参数的值的上下文模型”而利用左块和上块的情况相比能够削减存储器使用量。由此,该图像编码装置100能够在抑制画质的劣化的同时削减存储器使用量。
(实施方式2)
在本实施方式中,对将由上述图像编码装置100生成的比特流124解码的图像解码装置进行说明。
图5是有关本实施方式的图像解码装置200的框图。该图像解码装置200是使用算术解码的图像解码装置,通过将比特流124解码而生成图像信号229。这里,比特流124例如是由上述图像编码装置100生成的比特流124。
图像解码装置200包括控制部201、可变长解码部202、逆量化部204、逆变换部205、加法部206、画面内预测部207和画面间预测部208。
图像解码装置200按照规定的处理单位的每个代码序列进行解码处理。这里,处理单位例如是切片(slice)单位或块单位。
可变长解码部202通过对比特流124进行算术解码,生成控制参数230(controldata syntax element)和量化变换系数223(Residual data syntax element值)。将所生成的控制参数230向控制部201输出。
控制部201根据控制参数230控制图像解码装置200中包含的处理部。
逆量化部204通过将量化变换系数223逆量化,生成正交变换系数224。
逆变换部205通过将正交变换系数224逆变换,将残差信号225复原。加法部206通过将残差信号225与预测图像信号(图像信号229)相加,生成解码图像信号226。
画面内预测部207通过使用解码图像信号226进行画面内预测处理而生成预测图像信号227。画面间预测部208通过使用解码图像信号226进行画面间预测处理而生成预测图像信号228。
开关209选择预测图像信号227及预测图像信号228的一方,将所选择的信号作为图像信号229(预测图像信号)输出。
接着,说明可变长解码部202的结构。
图6是表示可变长解码部202的结构的功能框图。可变长解码部202包括二值算术解码部243、上下文控制部242和多值化部241。以下,对控制参数230的可变长解码处理进行说明。另外,关于量化变换系数223的可变长解码处理省略说明,例如可以使用已知的技术实现。
上下文控制部242在多个上下文中,决定在处理对象的块的控制参数230的算术解码中使用的上下文。此外,上下文控制部242将指定所决定的上下文的上下文索引252向二值算术解码部243输出。
具体而言,上下文控制部242使用与图2所示的上下文控制部142相同的上下文模型作为所保持的概率转移模型。在二值算术编码部143使用64个概率状态的情况下,二值算术解码部243也具有64个概率状态。这是因为,需要将编码的数线上的范围在编码侧及解码侧的两侧同样地解释。由此,在解码装置侧也使用与编码侧从上述模式1~3的3个模式中选择的模式相同的模式。
二值算术解码部243通过使用由上下文控制部242决定的上下文将比特序列(比特流124)算术解码,将二值排列251复原。具体而言,二值算术解码部243使用由从上下文控制部242给出的上下文索引指定的上下文(概率状态表),将输入的比特序列复原为二值排列251。
多值化部241将二值排列251根据需要进行多值化从而复原为控制参数230。这样,图像编码装置100具备的上下文控制部142和图像解码装置200具备的上下文控制部242在某个信号种类的控制参数的算术编码及算术解码时在两者中利用相同的上下文模型。
图7是表示可变长解码部202执行的有关本实施方式的图像解码方法的流程图。
首先,可变长解码部202取得比特流124(S201)。
接着,上下文控制部242根据比特流124的数据构造决定解码对象的控制参数的信号种类(S202)。
接着,上下文控制部242决定在解码对象的控制参数的算术解码中使用的上下文的基本值(S203)。例如,上下文控制部242根据图片类型(I,P,B)决定该基本值。
接着,上下文控制部242根据控制参数的信号种类,使用上述模式1~模式3的某个决定上下文值(S204)。这里,所谓决定上下文值,与决定上下文的相对于基本值的调整值(递增值CtxIdxInc)等价。例如,上下文控制部242根据控制参数的信号种类,按照静态地事前决定的表进行使用模式1~模式3的哪个的判断。
上下文控制部242根据控制参数的信号种类,切换在为了通过算术解码得到二值排列251中包含的第1要素的二进制数的值而使用的上下文的决定中搜索使用的邻接块。
首先,上下文控制部242判断控制参数230的信号种类(S205)。在信号种类是与模式1对应的第1种类的情况下(S205中第1种类),上下文控制部242使用邻接的两个块的各自的控制参数决定上下文值(S206)。换言之,上下文控制部242使用利用左块及上块的两个邻接块的已解码的控制参数的条件来决定上下文。
另一方面,在信号种类是与模式2对应的第2种类的情况下(S205中第2种类),上下文控制部242使用1个邻接块(在编码顺序上最近的邻接块)的控制参数的值决定上下文值(S207)。换言之,上下文控制部242使用不利用上块的已解码的控制参数的条件来决定上下文。
另一方面,在信号种类是与模式3对应的第3种类的情况下(S205中第3种类),上下文控制部242固定地决定上下文值(S208)。换言之,上下文控制部242使用对上块及左块的已解码的控制参数都不利用的条件来决定上下文。
接着,上下文控制部242通过将在步骤S203中决定的上下文索引的基本值与在步骤S204中决定的增量值相加,决定上下文索引值(S209)。
接着,二值算术解码部243使用由从上下文控制部242给出的上下文索引值表示的上下文值,通过解码得到二值排列的要素的1个(S210)。
接着,在步骤S203~S210的处理的执行对于二值排列中包含的全部的要素没有完成的情况下(S211中“否”),可变长解码部202对二值排列中包含的下个要素执行步骤S203~S210的处理。
另一方面,在对二值排列中包含的全部的要素完成了步骤S203~S210的处理的执行的情况下(S211中“是”),多值化部241通过将通过重复1次以上上述步骤S203~S210的处理而得到的二值排列251的1个以上的要素多值化,生成控制参数230(S212)。
根据以上,有关本实施方式的图像解码装置200在算术解码中,对第1种类的控制参数利用上块决定上下文,对于第2种类及第3种类的控制参数不利用上块而决定上下文。
通过该结构,该图像解码装置200与划一地作为“利用基于邻接块的控制参数的值的上下文模型”而利用左块和上块的情况相比能够削减存储器使用。由此,该图像解码装置200能够在抑制画质的劣化的同时削减存储器使用量。
另外,多值化部241在二值排列251是flag等、要素数是1个情况下,即在1binary的情况下,也可以将该二值排列251原样输出。
此外,除了上述说明以外,控制部101或201也可以经由未图示的信号线进行控制各处理部的处理、或参照存储器的值的处理等。
此外,在上述说明中,上下文控制部142或242根据控制参数的信号种类切换模式1~模式3的3个模式,但也可以根据信号种类切换模式1~模式3中的两个模式。换言之,上下文控制部142或242也可以根据控制参数的信号种类对利用/不利用上块条件进行切换。
此外,上下文控制部142或242也可以将这样的选择的上下文模型的切换方法(也包括变更上下文模型增量值的情况,以下相同)根据规定的图像信息变更。例如,上下文控制部142或242也可以根据对存储器保持量及各上下文的学习次数有影响的图像的横宽的尺寸或采样格式等进一步切换该切换方针本身。
此外,在上述说明中,为了说明的简略化,上下文控制部142或242对利用/不利用上块条件进行切换,但上下文控制部142或242也可以将上块原本不能利用的情况与其组合而应用。例如,上下文控制部142或242也可以根据处理对象的切片是否是熵切片(entropy_slice_flag是1还是0)来切换该切换方针本身。同样,在原本不能保证上邻接块的可利用性的情况下,上下文控制部142或242也可以不利用上块而变更切换方针。
例如,如图8所示,上下文控制部142或242也可以根据规定的单位的参数的值(S301),将上下文模型的决定方针通过第1决定规范(S302)和第2决定规范(S303)切换。这里,所谓根据规定的单位的参数的值,如上述那样,是根据切片是否是entropy slice等。此外,所谓第1决定规范,是进行图7所示的处理的规范。所谓第2决定规范,是不包含图7所示的步骤S204的决定规范,例如是现有技术的决定规范。这与将上下文索引的增量值通过局部的规定的单位的参数和比该单位大的单位的参数的值决定是等价的。
即,上下文控制部142或242也可以基于第1单位的控制参数的值,将在比第1单位小的单位中应用的决定规范切换为其他决定规范。
图9A是用于说明上述映射信息和上下文索引之间的对应(assignment)的图。图9A中表示信号mvd_l0,l1,lc的例子。另外,对于其他信号种类也是同样的。
图9A所示的指配901B是非专利文献1中使用的上下文索引的指配。14个偏移值0~13分配给P图片。并且,14个偏移值14~27被分配给B图片。另外,mvd_l0[][][0]和mvd_l0[][][1]分别是运动矢量的差分中的各成分值(水平方向以及垂直方向)。当前研究中的HEVC中,作为用于计算二值排列的第1个要素(binIdx=0)的二进制的上下文条件值(通过condA和condL而被细化的条件),分配有3个偏移值0~2、3个偏移值7~9、3个偏移值14~16、以及3个偏移值21~23。并且,信号种类和上下文索引之间的关系与各个图像系列无关而被设定为是固定的。
图9A所示的上下文索引的指配902B~904B是本实施方式的上下文索引值的指配。
指配902B表示使用模式2(不利用上块)时的上下文索引的分配(allocation)。这种情况下,作为条件值不需要分配3个偏移值0~2等,偏移值0和1这两个足以。这是因为不利用condA。因此,不需要针对图9A所示的阴影线的部分进行上下文索引的分配。因此,即使与指配901B同样地对一个binIdx>0分配各4个的上下文索引,合计的上下文索引是0~23这24个即足以。因此能够削减至少4个上下文。
指配903B表示使用模式3(不利用上块及左块这双方)时的上下文索引的分配。这种情况下,作为条件值不需要分配0~2等3个,只分配0这一个即足以。这是因为不利用condA也不利用condL。因此,不需要对图9A所示的阴影线的部分进行上下文索引的指配。因此,合计的上下文索引是0~19这20个即足以。因此能够削减至少8个上下文。
指配904B是作为比前述的信号种类的块的单位大的单位而图像系列不包含B图片地构成的情况、或者在仅使用前方参照的情况下利用的指配的例子。在此,仅使用前方参照的情况指的是,图像系列仅包含I图片和P图片的情况、或者图像系列中包含的B图片仅使用前方参照的情况。该情况下,作为上下文索引本来就不需要利用B图片用的上下文索引。这是因为,在仅使用前方参照的情况下,不需要将上下文分为P图片用的上下文和B图片用的上下文。
因此,作为上下文索引(相对值),如图9A所示,0~9的10个就足够。因此,至少削减了18个上下文。即,削减了初始化对象及更新对象的上下文的数量。
另外,在此,以mvd为例进行了说明,多数使用B图片用的上下文和P图片用的上下文的其他信号种类的上下文的指配也是同样的。
并且,图8中说明的切换标准也可以是指,针对图像系列的全部或者一部分(predetermined unit),对应于其参数的种类,切换所使用的指配901B~904B。
这样,根据本实施方式,能够根据多个标准来切换上下文索引,而现有技术中是根据静态的1个标准(利用上块和左块的标准)来分配上下文索引。因此,不仅能够削减存储器使用量,还能够根据规定的单位的性质,仅切换所需的上下文的分配方针。
此外,上下文控制部142或242也可以根据图像系列的特征来变更所使用的决定规范。例如,上下文控制部142或242也可以根据I图片的间隔(IntraPeriod的设定值)来变更所使用的决定规范。
另外,这里上下文控制部142或242根据上述条件切换决定规范,但也可以切换是否利用上块。
此外,上下文控制部142或242也可以基于在位置上上块的控制参数是否能够在编码或解码时利用,来决定是否利用上块的控制参数。即,上下文控制部142或242也可以基于处理对象的块位置,判断在解码时是否能够利用上块的控制参数,在不能利用上块的控制参数的情况下,使用模式2或模式3决定上下文。进而,上下文控制部142或242也可以基于TU、CU或PU块分割的树构造决定是否能够利用该上块的参照值。即,上下文控制部142或242也可以根据处理对象的控制参数所属的数据单位的层级的深度判断在解码时是否能够利用上块的控制参数。
图9B是表示HEVC标准中的图片(picture)、切片和块的关系的图。1个图片被分割为1个以上的切片。在图9B所示的例子中,图片被分割为两个切片(SLICE1及SLICE2)。1个切片由多个块301(例如treeblocks)构成。这里,块301在将切片分割为规定的尺寸的情况下,作为某种控制单位是最大的单位,是将该单位作为层级分割的root(根)的情况下的该root的尺寸。
在图9B所示的例子中,SLICE2由从块301A(startTb)开始、包括经由被涂阴影的块301到右下角的块的多个块的1个序列构成。另外,图中被涂阴影的块是作为当前的处理对象的1个块(Treeblock)。
各个块301由N×M像素构成。此外,1个块301在内部被递归地分割(典型地是4分割)。即,1个Treeblock在概念上构成1个4叉树(QuadTree)。在图9B所示的块301B中,4分割后的右上的块遍及2层级被递归地4分割。即,块301B从左上的0号到右下的9号,包括以规定的观点分割的10个逻辑单元。
这里,所谓观点,是指关于编码单位(CU)的tree、或关于residual_data的Tree等,以某个root为基点相互深度可能不同的多个树。这里,各种控制参数的值属于某个叶节点。
这里,实际在上块中包含的某个信号种类的控制参数的值“是否能够利用(available)”,依存于该控制参数属于的树的种类。由此,上下文控制部142或242也可以按照控制参数所属的树的种类来变更决定规范。这与变更为语法单位是等价的。例如,上下文控制部142或242也可以对关于自适应滤波器的alf_param等的数据构造的数据使用不利用上块的模式2或模式3,对于其他语法使用现有技术那样的上下文模型方针(模式1)。即,上述第2种类或第3种类也可以是具有预先设定的数据构造的控制参数。此外,这意味着根据邻接的定义的树的种类而变化。
实际是否能够利用该控制参数的值、或者在存储器使用量的削减中是否发生效果,根据块的层级关系上的位置而不同。即,上下文控制部142或242也可以根据块的层级及层级内的位置切换是否利用上块。
例如,假设图9B所示的块301B的各号码0~9是解码顺序。在此情况下,在将号码4的块编码或解码的情况下,能够利用号码1的块及号码2的块的控制参数。
进而,从存储器使用量的削减的观点,上下文控制部142或242也可以如果是不为Depth0的块、并且是自己的位置为纵向分割的第二个以上的要素则选择利用上块的模式1。这里,所谓depth(深度),表示从root起的层级数。即,在将某个块规定为block[xn],[y0][depth]的情况下,也可以根据处理对象的块是否是block[xn][(y0)+1][depth])成立的块来变更决定规范。即,对图9B所示的号码4~9的块利用上块。这是因为,如果该树的编码或解码是图示的号码顺序(从0开始、以9结束的顺序),则在号码4~9的块中显然能够利用上块中包含的控制参数。进而,在这些块中,还有数据的保持为暂时就可以的优点。此外,这也可以说是除了x、y坐标以外还根据包括层级的三维的位置决定上下文值。另外,也可以根据x、y坐标及层级中的至少一个位置来决定上下文值。
此外,也能够将上层级的块的条件值作为下层级的块的条件值来利用(沿用)。同样,也能够将下层级的块的条件值作为上层级的块的条件值来利用(沿用)。
将该情况进一步扩展,如图38中说明,以最小单位(例如4×4)为基准,也可以不保持用于下一行的值,而使用以下的方法。该方法例如以32×32或64×64等比最小单位大的单位保持条件值或用于导出条件值的值。该方法在下一行中,从上一行的2个块的值使用该2个块与处理对象的块的位置关系通过内插或内分等计算与位于处理对象的块之上的块相对的值。例如,该方法对于上一行以比最小单位(例如4×4)大的单位保持样本值,根据下一行的块(例如4×4~64×64等)的位置,通过内分导出上一行的样本值。由此,虽然增加了计算量,但是能够减少存储器使用量。这样,该方法与设想最坏的情况来以最小单位保持样本值的情况相比,能够减少针对上一行的存储器使用量。例如以32×32的单位保持样本值的情况下,与使用最小单位(4×4)的情况相比,存储器使用量为8分之1。
此外,例如split_coding_unit_flag是表示是否将块4分割的标志。关于该标志(split_condig_unit_flag),可以对左块保持条件值condL,对上块不使用条件值(condA),而根据当前块的层级深度来决定上下文。此外,根据信号种类而支配因素不是上及左而是层级的情况下,上下文控制部142或242也可以将“层级”单独作为上下文的决定条件来使用。即,上下文控制部142或242对于其他信号种类,也可以不参照上块及左块而使用层级来决定上下文。
进而,上下文控制部142或242也可以考虑处理对象的块与其他切片的位置关系来变更这些规范。以下,说明图9B所示的3个涂阴影的块301A、301B及301C的例子。
这里,块301A是开始块,左块及上块都包含在其他切片中。块301B的上块包含在别的切片中。块301C的上块及左块都包含在与包含自身的块的切片相同的切片中。上下文控制部142或242也可以根据这样的条件来切换规范。即,上下文控制部142或242(1)也可以根据上块是否包含在其他切片中来切换规范,(2)也可以根据左块是否包含在其他切片中来切换规范,(3)也可以根据它们双方来切换规范。换言之,上下文控制部142或242也可以在处理对象的块属于切片边界的情况下,判断为在解码时不能利用上块的控制参数。由此,例如在上方的切片1的解码处理没有结束的情况下,能够实现考虑到在切片2的内部中是否自己能得到信息的解码处理。
以下,对层级化的处理单位(多层级块构造)进行说明。图10是用来说明层级化的处理单位(多层级块构造)的说明图。
上述图像编码装置100将运动图像按照每个处理单位编码,图像解码装置200将编码流按照每个处理单位解码。以将该处理单位分割为多个较小的处理单位、将该较小的处理单位再分割为多个更小的处理单位的方式,进行层级化。另外,处理单位越小,该处理单位所处的层级越深,处于低层,表示该层级的值较大。相反,处理单位越大,该处理单位所处的层级越浅,处于高层,表示该层级的值较小。
在处理单位中,有编码单位(CU)、预测单位(PU)和变换单位(TU)。CU是最大由128×128像素构成的块,是相当于现有技术的宏块的单位。PU是画面间预测的基本单位。TU是正交变换的基本单位,该TU的尺寸是与PU相同、或比PU小一个级别的尺寸。CU例如被分割为4个子CU,其中的1个子CU包括与该子CU相同的尺寸的PU及TU(在此情况下,PU和TU处于相互重叠的状态)。例如,该PU被进一步分割为4个子PU,TU也被进一步分割为4个子TU。另外,在处理单位被分割为多个较小的处理单位的情况下,将该较小的处理单位称作子处理单位。例如,在处理单位是CU的情况下,子处理单位是子CU,在处理单位是PU的情况下,子处理单位是子PU,在处理单位是TU的情况下,子处理单位是子TU。
具体而言,是以下这样的。
图片被分割为切片。切片是最大编码单位的序列。最大编码单位的位置由最大编码单位地址lcuAddr表示。
包括最大编码单位的各个编码单位被分割为4个编码单位。结果,构成编码单位的大小的四叉树分割。编码单位的位置由以最大编码单位的左上端的样本(像素或系数)为起点的编码单位索引cuIdx表示。
在许可编码单位的分割的情况下,将该编码单位作为预测单位处置。与编码单位同样,预测单位的位置由以最大编码单位的左上端的样本为起点的预测单位索引puIdx表示。
预测单位也可以包括多个分区(预测单位分区或子PU)。预测单位分区由以预测单位的左上端的样本为起点的预测单位分区索引puPartIdx表示。
预测单位也可以包括多个变换单位。与编码单位同样,变换单位也可以被分割为4个较小的尺寸的变换单位(子变换单位)。这许可残差信号的四叉树分割。变换单位的位置由以预测单位的左上端的样本为起点的变换单位索引tuIdx表示。
这里,各处理单位的定义是以下这样的。
CTB(coding tree block,编码树块):用来确定正方形区域的四叉树分割的基本单位。CTB具有正方形的多种多样的尺寸。
LCTB(largest coding tree block,最大编码树块):在切片中许可的最大的尺寸的CTB。切片由不重复的多个LCTB构成。
SCTB(smallest coding tree block,最小编码树块):在切片中许可的最小的尺寸的CTB。不许可将SCTB分割为更小的CTB。
PU(prediction unit,预测单位):用来确定预测处理的基本单位。PU的尺寸与不被许可分割的CU的尺寸相同。在CU中,许可将CU分割为4个正方形区域,相对于此,在PU中,能够将PU分割为任意的形状的多个分区。
TU(transform unit,变换单位):用来确定变换及量化的基本单位。
CU(coding unit,编码单位):与CTB相同。
LCU(largest coding unit,最大编码单位):与最大CTB相同。
SCU(smallest coding unit,最小编码单位):与最小CTB相同。
此外,量化参数包括德尔塔量化缩放参数(delta QP或QP delta)、量化偏移参数、索引(Qmatrix select idc)及量化死区偏移参数中的至少1个。另外,索引是用来从多个量化缩放矩阵中选择1个的。
德尔塔量化缩放参数(delta QP或QP delta)是应在变换系数中应用的量化缩放参数、与由序列头或切片头指定的量化缩放参数(或在z扫描顺序上紧接着的之前的量化缩放参数)的差。
量化偏移参数也称作量化偏移,是进行量化时的信号的取整方式的调整值(偏移值)。因而,图像编码装置100在进行量化时,将其量化偏移编码,图像解码装置200将该编码后的量化偏移解码。并且,图像解码装置200在将变换系数逆量化时,进行使用该量化偏移的修正。
索引(Qmatrix select idc)也称作自适应量化矩阵,是表示从多个量化缩放矩阵中使用哪个量化缩放矩阵的索引。此外,Qmatrix select idc在仅有1个量化缩放矩阵的情况下表示是否使用该量化缩放矩阵。另外,自适应用量化矩阵能够以块单位(处理单位)控制。
量化死区偏移参数也称作自适应死区,是用来将死区按照每个块自适应地变更的控制信息。死区是频率系数通过量化成为0的幅度(在量化后为+1或-1的之前的幅度)。
另外,在上述说明中,作为模式3而叙述了使用预先设定的固定值作为上下文值的例子,但只要是对上块及左块的控制参数都不利用的条件就可以,作为模式3也可以使用不包含上块及左块的控制参数的条件的条件。例如,作为模式3,上下文控制部142或242也可以根据控制参数所属的数据单位的层级的深度决定上下文。
(实施方式3)
在本实施方式中,对作为上述第1种类及第2种类(或第3种类)应利用怎样的信号种类进行说明。
具体而言,本发明者对在图3(非专利文献2,9.3.3.1.1.1节)所示的信号种类中的以下的各个信号种类进行了验证。对各个信号种类进行验证是因为,参数遍及多个分支,根据关于1个信号种类的验证结果(模式1~模式3的哪个更好)难以进行其他信号种类的各模式是否满足妥当性。
验证依据在JCTVC-E700,"Common test conditions and software referenceconfigurations"(参照非专利文献3)中记载的结构(设定参数,及软件版本HM3.0)。此外,是测试图像的长度全部被限制为49帧的结果。
有关本实施方式的图像编码方法及图像解码方法是关于CABAC的。由此,作为Entropy Coding(熵编码)模式,使用作为SymbolMode的值是1(#0:LCEC,1:CABAC)的设定值的组的以下的4个测试模式进行了验证。
4.1 Intra,high-efficiency setting
4.3 Random access,high-efficiency setting
4.5 Low delay,high-efficiency setting
4.7 Low delay,high-efficiency setting(P slices only)
此外,评价使用在HEVC中的安装评价中作为统一的评价尺度利用的称作"BD-RATE"值的评价值。Y BD-rate、U BD-rate及V BD-rate是关于颜色空间Y、U、V的BD-rate,是评价尺度值。这里,所谓BD-rate,是将记载在VCEG-AI11(非专利文献4)中的两组代码量和PSNR的结果积分、通过其面积的比来表示编码效率的评价值。此外,在BD-rate表示负值的情况下表示编码效率变好。比较的基准是安装模式1的参照程序的输出结果,此次的结果表示模式2及模式3的各自相对于模式1的值。
以下,说明各信号种类的验证结果。
(第1验证)"split_coding_unit_flag"
(第2验证)"skip_flag"
(第3验证)"merge_flag"
(第4验证)"ref_idx_l0(l1,lc)"
(第5验证)"inter_pred_flag"
(第6验证)"mvd_l0(l1,lc)"
(第7验证)"no_residual_data_flag"
(第8验证)"intra_chroma_pred_mode"
(第9验证)"cbf_luma、cbf_cr、cbf_cb"
(第1验证)"split_coding_unit_flag"
图11是用来对split_coding_unit_flag的算术解码方法进行说明的表。
在验证中,仅验证对象的信号种类将上下文模型从模式1变更为模式2或模式3,关于其他信号种类、以及由非专利文献3指定的验证用参数不进行变更而进行验证。此外,在图11的栏中的值中,所谓“固定”,是在上下文值(或增量值)的导出中不使用记载有“固定”的列的条件(不使用左块条件或上块条件)。即,在仅左块条件及右块条件的一方的条件是“固定”的情况下,仅使用另一方的条件。此外,在左块条件及右块条件的两者为“固定”的情况下,作为上下文值(或增量值)而使用预先设定的值(例如“0”)。
信号种类"split_coding_unit_flag"的意义在以下定义。
split_coding_unit_flag[x0][y0]表示对象的CU是否被分割为水平及垂直的尺寸为一半的多个CU。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的CU的左上角的亮度样本的坐标。即,split_coding_unit_flag表示对象的CU是否被4分割。具体而言,在split_coding_unit_flag的值为“1”的情况下,对象的CU被分割,在该值为“0”的情况下,对象的CU没有被分割。
该split_coding_unit_flag作为syntax而数据构造化为Coding tree syntax。图像解码装置依据该数据构造的语法解释比特序列。
图12A及图12B是表示关于split_coding_unit_flag的验证结果的表。
图12A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图12B表示使用(模式3)0个邻接块的(上块条件L和左都没有使用)的情况下的验证结果。
此外,图12A及图12B所示的验证结果表示上述4个测试模式的BD-Rate值的增减。
此外,评价值是表示与使用左块及上块的两者的模式1的情况下的评价值的相对的值的评价尺度。具体而言,如果评价值是正值,则其结果比模式1的情况下的评价值(BD-rate)差。此外,如果评价值是负值,则其结果相比模式1的情况下的评价值被改善。
根据该结果可知,关于split_coding_unit_flag,作为上下文模型的模式,模式1较好。换言之,模式2及模式3的评价值比模式1差。
因而,上下文控制部142及242在控制参数的信号种类是"split_coding_unit_flag"的情况下,从BD-rate的观点,利用作为现有技术那样的上下文模型的模式的模式1决定上下文值。
(第2验证)“skip_flag”
图13是用来对skip_flag的算术解码方法进行说明的表。另外,验证方法与上述第1验证是同样的。
信号种类"skip_flag"的意义在以下定义。
在将P或B切片解码的情况下,在skip_flag[x0][y0]的值是“1”的情况下,意味着在该skip_flag[x0][y0]后,除了预测运动矢量索引以外,不存在当前的CU用的语法要素。此外,在skip_flag[x0][y0]的值为“1”的情况下,意味着当前的CU不能被跳过。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的CU的左上角的亮度样本的坐标。即,skip_flag表示是否将对象的CU跳过(是否作为被跳过的块处置)。
作为syntax,该skip_flag被数据构造化到Coding unit syntax。即,skip_flag被按照每个CU设定。在图像解码装置中,依据该数据构造的语法解释比特序列。
图14A及图14B是表示关于skip_flag的验证结果的表。
图14A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图14B表示使用(模式3)0个邻接块(上块条件L和左都不使用)的情况下的验证结果。
另外,图14A及图14B所示的验证结果与第1验证同样,表示上述4个测试模式的BD-Rate值的增减。此外,评价值的意义与第1验证是同样的。
根据该结果可知,关于"skip_flag",作为上下文模型的模式,模式1较好。换言之,模式2及模式3的评价值比模式1差。
因而,上下文控制部142及242在控制参数的信号种类是"skip_flag"的情况下,从BD-rate的观点,利用作为现有技术那样的上下文模型的模式的模式1决定上下文值。
(第3验证)"merge_flag
图15是用来对merge_flag的算术解码方法进行说明的表。另外,验证方法与上述第1验证及第2验证相同。
信号种类"merge_flag"的意义在以下定义。
merge_flag[x0][y0]表示当前的CU用的帧间预测参数是否是由临近的经帧间预测出的块导出。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的预测块的左上角的亮度样本的坐标。不存在merge_flag[x0][y0]的情况(InferredMergeFlag的值是“1”的情况)下,merge_flag[x0][y0]被推论为“1”。即,merge_flag[x0][y0]表示是否使用合并模式。这里,合并模式是指从编码对象块的邻接块复制运动矢量及参照图片索引,并进行编码对象块的编码的模式。
作为syntax,该merge_flag被数据构造化到"Prediction Unit"。即,merge_flag按照每个PU而被设定。在图像解码装置中,依据该数据构造的语法解释比特序列。
图16A及图16B是表示关于merge_flag的验证结果的表。
图16A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的研究结果。图16B表示使用(模式3)0个邻接块(上块条件L和左都不使用)的情况下的验证结果。
另外,图16A及图16B所示的验证结果与第1验证同样,表示上述4个测试模式的BD-Rate值的增减。此外,评价值的意义与第1验证是同样的。
根据该结果,结果与上述第1验证的split_coding_unit_flag及第2验证的skip_flag不同,关于该merge_flag,作为上下文模型的模式而在模式1与模式2或模式3之间不发生BD-rate的较大的差。
因而,上下文控制部142及242在混合存在多个信号种类的控制参数的环境中,特别在信号种类是merge_flag的情况下,决定作为邻接块而不利用上块的上下文值。即,上下文控制部142及242在控制参数的信号种类是merge_flag的情况下,使用模式2或模式3决定上下文值。换言之,上述第1种类包括"split_coding_unit_flag"或"skip_flag",上述第2种类或第3种类包括"merge_flag"。由此,有关本实施方式的图像编码装置及图像解码装置能够在抑制BD-rate值的下降的同时削减存储器使用量。
另外,在将对于merge_flag的模式2与模式3比较的情况下,在它们的BD-rate中不发生较大的差。由此,对于merge_flag更优选的是使用模式3。由此,能够实现进一步的存储器使用量的削减及处理量的削减。
这里,将merge_flag和skip_flag比较,存在如下差异:在跳过时不发送运动矢量的残差数据,但是在合并模式时发送运动矢量的残差数据。由此,假设对merge_flag使用的上下文不是最适合时,通过使用该残差数据的处理,也能够在某种程度上弥补由于不能使用最适合的上下文而引起的画质的下降。这样,可以认为能够抑制画质的下降。
(第4验证)"ref_idx_l0(l1,lc)"
图17是用来对ref_idx的算术解码方法进行说明的表。另外,验证方法与上述的第1验证及第2验证相同。
信号种类"ref_idx"的意义在以下定义。
ref_idx_l0[x0][y0]表示当前的PU用的列表0的参照图片索引。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的预测块的左上角的亮度样本的坐标。
另外,ref_idx_l0[x0][y0]具有与将refref_idx_l0中的l0及列表0分别置换为l1及列表1时相同的意义。即,ref_idx_l1表示当前的PU用的列表1的参照图片索引。
ref_idx_l1的有无能够根据图片种类等来决定。
另外,ref_idx_lc[x0][y0]具有与将refref_idx_l0中的l0及列表0分别置换为lc及合成列表时相同的意义。该ref_idx_lc是在HAVC中追加的控制参数。并且,合成列表是将列表0及列表1合成(合并)后的列表。通常,ref_idx_l0及ref_idx_l1、和ref_idx_lc中只有一方包含在比特流中。此外,既存在ref_idx_l0及ref_idx_l1仅一方包含在比特流中的情况,也存在双方包含在比特流中的情况。
作为syntax,该ref_idx_l0(l1,lc)被数据构造化到"Prediction Unit"。在图像解码化装置中,依据该数据构造的语法来解释比特序列。
图18A及图18B是表示关于ref_idx的验证结果的表。
图18A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图18B表示使用(模式3)0个邻接块(上块条件L和左都不被使用)的情况下的验证结果。
另外,图18A及图18B所示的验证结果与第1验证同样,表示上述4个测试模式的BD-Rate值的增减。此外,评价值的意义与第1验证是同样的。
根据该结果,结果与上述第1验证的split_coding_unit_flag及第2验证的skip_flag不同,关于该ref_idx,作为上下文模型的模式而在模式1与模式2或模式3之间不发生BD-rate的较大的差。
因而,上下文控制部142及242在混合存在多个信号种类的控制参数的环境中,特别在信号种类是ref_idx_l0(l1,lc)的情况下,不利用上块作为邻接块来决定上下文值。即,上下文控制部142及242在控制参数的信号种类是ref_idx_l0(l1,lc)的情况下,使用模式2或模式3决定上下文值。换言之,上述第1种类包括"split_coding_unit_flag"或"skip_flag",上述第2种类或第3种类包括"ref_idx_l0(l1,lc)"。由此,有关本实施方式的图像编码装置及图像解码装置能够在抑制BD-rate值的下降的同时削减存储器使用量。
另外,上述第2种类或第3种类只要包括ref_idx_l0、ref_idx_l1及ref_idx_lc中至少一个即可。例如,上述第2种类或第3种类可以包括ref_idx_l0及ref_idx_l1,而不包括ref_idx_lc。
另外,在比较了针对ref_idx的模式2与模式3的情况下,它们的BD-rate中不发生较大的差。由此,对于ref_idx_l0(l1,lc)更优选的是使用模式3。由此,能够实现进一步的存储器使用量的削减及处理量的削减。
这里,在不是跳过模式及合并模式的通常的帧间(inter)预测模式的情况下使用ref_idx。在跳过模式及合并模式中,作为处理对象块的运动矢量是利用与上块及左块相同的运动矢量,但在除此以外的通常的帧间预测模式中,作为处理对象块的运动矢量是利用与上块及左块不同的运动矢量。由此,如果对ref_idx如模式1那样利用上及左块,则可以认为编码效率下降。即,通过对ref_idx使用模式2或模式3,能够使编码效率提高。
这里,上下文控制部142及242在判定关于ref_idx_lc[xP][yP]的条件A(或者条件L)时,也可以使用从关于当前块的ref_idx_l0[xP][yP]的上述condL的结果和condA的结果导出的值,而不使用邻接块A或者B的ref_idx_lc[xL][yP]或者ref_idx_lc[xP][yA]。换言之,上下文控制部142及242也可以导出条件的结果值作为当前块的l0、l1的值的从属值。
编码装置或者记录装置通过在进行流记录时或者编码时将ref_idx_l0及ref_idx_l1合成,生成ref_idx_lc。即,这些装置在内部的判定中全部使用ref_idx_l0及ref_idx_l1。因此,在当前块中,在(1)条件condA或者L为{(ref_idx_l0为available)、而且(ref_idx_l0>0为真成立)}、而且(2)条件condA或者L为{(ref_idx_l1为available)、而且(ref_idx_l1>0为真成立)}的情况下,条件condA或者L为{(ref_idx_lc为available)、而且(ref_idx_lc>0为真成立)}也成立。
因此,也可以是如下所述。图18C是表示非专利文献2公开的ref_idx的条件A及条件L的表。图18D是表示有关本实施方式的ref_idx的条件A及条件L的表。
如图18D所示,上下文控制部142及242也可以从同一块的ref_idx_l0及ref_idx_l1的条件值中至少一方导出ref_idx_lc的条件值condL及condA。即,上下文控制部142及242也可以使ref_idx_lc的条件值condL及condA线性从属于同一块的ref_idx_l0及ref_idx_l1的条件值。
这样,不需要关于ref_idx_lc的存储器参照。即,能够在不参照上块的ref_idx_lc的值的情况下导出ref_idx_lc的条件值。
(第5验证)"inter_pred_flag"
图19是用来对inter_pred_flag的算术解码方法进行说明的表。
信号种类"inter_pred_flag"的意义在以下定义。
inter_pred_flag[x0][y0]按照表7 11,表示对当前的PU使用uni-prediction及bi-prediction的哪个。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的预测块的左上角的亮度样本的坐标。这里,uni-prediction是使用lc(合成列表)的预测,bi-prediction是使用列表0及列表1的预测。此外,合成列表是将列表0及列表1合成(合并)后的列表。此外,inter_pred_flag仅在对象切片为B切片的情况下使用。
作为syntax,该inter_pred_flag被数据构造化到"Prediction Unit"。在图像解码化装置中,依据该数据构造的语法解释比特序列。
图20A及图20B是表示关于inter_pred_flag的验证结果的表。
图20A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图20B表示使用(模式3)0个邻接块(上块条件L和左都不被使用)的情况下的验证结果。
另外,图20A及图20B所示的验证结果与第1验证同样,表示上述4个测试模式的BD-Rate值的增减。此外,评价值的意义与第1验证是同样的。
根据该结果,结果与上述第1验证的split_coding_unit_flag及第2验证的skip_flag不同,关于该inter_pred_flag,作为上下文模型的模式而在模式1与模式2或模式3之间不发生BD-rate的较大的差。
因而,上下文控制部142及242在混合存在多个信号种类的控制参数的环境中,特别在信号种类是inter_pred_flag的情况下,不利用上块作为邻接块来决定上下文值。即,上下文控制部142及242在控制参数的信号种类是inter_pred_flag的情况下,使用模式2或模式3决定上下文值。换言之,上述第1种类包括"split_coding_unit_flag"或"skip_flag",上述第2种类或第3种类包括"inter_pred_flag"。由此,有关本实施方式的图像编码装置及图像解码装置能够在抑制BD-rate值的下降的同时削减存储器使用量。
另外,在比较了针对inter_pred_flag的模式2与模式3的情况下,它们的BD-rate中不发生较大的差。由此,对于inter_pred_flag更优选的是使用模式3。由此,能够实现进一步的存储器使用量的削减及处理量的削减。
这里,在不是跳过模式及合并模式的通常的帧间(inter)预测模式的情况下使用inter_pred_flag。在跳过模式及合并模式中,作为处理对象块的运动矢量而利用与上块及左块相同的运动矢量,但在除此以外的通常的帧间预测模式中,作为处理对象块的运动矢量而利用与上块及左块不同的运动矢量。由此,如果对inter_pred_flag如模式1那样利用上及左块,则可以认为编码效率下降。即,通过对inter_pred_flag使用模式2或模式3,能够使编码效率提高。
进而,如上述那样,对于inter_pred_flag,通过根据处理对象块的层级决定上下文值,能够进一步提高编码效率。
(第6验证)"mvd_l0(l1,lc)"
图21是用来对mvd_l0(l1,lc)的算术解码方法进行说明的表。
信号种类mvd_l0(l1,lc)的意义在以下定义。
mvd_l0[x0][y0][compIdx]表示所使用的列表0的矢量成分与其预测值的差分。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的预测块的左上角的亮度样本的坐标。对水平方向的运动矢量成分的差分分配compIdx=0。并且,对垂直方向的运动矢量成分分配compIdx=1。在两个成分都不存在的情况下,值被视为[0]。即,mvd_l0是使用第1成分(水平成分compIdx=0)和第2成分(垂直成分compIdx=1)表述某个PU位置(xP,yP)的运动矢量与预测矢量的差分的。
mvd_l1[x0][y0][compIdx]具有与将mvd_l0中的l0及列表0分别置换为l1及列表1时相同的意义。该mvd_l1的有无能够根据图片种类等来决定。
另外,mvd_lc[x0][y0][compIdx]具有与将mvd_l0中的l0及列表0分别置换为lc及合成列表时相同的意义。即,mvd_lc是通过将mvd_l0和mvd_l1合成而生成的。
下面,在简称为mvd时,该mvd至少包括mvd_l0,并根据图像的条件包括mvd_l1和mvd_lc中至少一方。
作为syntax,该mvd被数据构造化到"Prediction Unit"。在图像解码化装置中,依据该数据构造的语法解释比特序列。
图22A及图22B是表示关于mvd的验证结果的表。
图22A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图22B表示使用(模式3)0个邻接块(上块条件L和左都不被使用)的情况下的验证结果。
另外,图22A及图22B所示的验证结果与第1验证同样,表示上述4个测试模式的BD-Rate值的增减。此外,评价值的意义与第1验证是同样的。
根据该结果,结果与上述第1验证的split_coding_unit_flag及第2验证的skip_flag不同,关于该mvd,作为上下文模型的模式而在模式1与模式2或模式3之间不发生BD-rate的较大的差。
因而,上下文控制部142及242在混合存在多个信号种类的控制参数的环境中,特别在信号种类是mvd_l0(l1,lc)的情况下,不利用上块作为邻接块来决定上下文值。即,上下文控制部142及242在控制参数的信号种类是mvd_l0(l1,lc)的情况下,使用模式2或模式3决定上下文值。换言之,上述第1种类包括"split_coding_unit_flag"或"skip_flag",上述第2种类或第3种类包括"mvd_l0"、"mvd_l1"或者"mvd_lc"。由此,有关本实施方式的图像编码装置及图像解码装置能够在抑制BD-rate值的下降的同时削减存储器使用量。
另外,上述第2种类或第3种类只要包括mvd_l0、mvd_l1及mvd_lc中至少一个即可。例如,上述第2种类或第3种类可以包括mvd_l0及mvd_l1,而不包括mvd_lc。
另外,在比较了针对mvd的模式2与模式3的情况下,它们的BD-rate中不发生较大的差。由此,对于mvd_l0(l1,l0)更优选的是使用模式3。由此,能够实现进一步的存储器使用量的削减及处理量的削减。
这里,在跳过时不发送运动矢量的残差数据(mvd),但是在合并模式时发送运动矢量的残差数据(mvd)。由此,假设在合并模式时使用的上下文不是最适合的,但通过使用该mvd的处理,也能够在某种程度上弥补由于不能使用最适合的上下文而引起的画质的下降。基于这种原因,可以认为在对于mvd不利用周边的块的情况下抑制画质的下降。
按照前述的规定的条件,在利用上块或者左块的条件值(condA或者condL)的情况下,也能够适用以下的变形。
第一个变形例是利用mvd_l0和mvd_l1和mvd_lc的从属关系的方法。
具体地讲,也可以是,上下文控制部142及242使用mvd_l0和mvd_l1和mvd_lc这3个信号种类中2个信号种类的条件值(condL或者condA),导出具有从属于它们的条件值的另一个信号种类的条件值。
例如,在相对于mvd_l0和mvd_l1这两个信号种类的条件值(l0的condA的值或者l1的condA的值),mvd_lc的condA的值是从属关系的情况下,上下文控制部142及242不需要参照关于mvd_lc的condA的值。
图22C是表示非专利文献2公开的mvd的条件A及条件L的表。图22D是表示有关本实施方式的mvd的条件A及条件L的表。
如图22D所示,上下文控制部142及242也可以从同一块的mvd_l0及mvd_l1的条件值中至少一方导出mvd_lc的条件值condL及condA。
另外,上下文控制部142及242也可以将它们的关系适用于水平方向(compIdx=0)或者垂直方向(compIdx=1)中一方或者双方。
另外,上下文控制部142及242也可以利用compIdx=0与1之间的从属关系。即,上下文控制部142及242也可以使水平方向mvd_l0[][][0]及垂直方向mvd_l0[][][1]这两个条件值中一方条件值的结果从属于另一方。即,上下文控制部142及242也可以从另一方mvd的条件值导出水平方向及垂直方向中一方mvd的条件值condL及condA。这里,在非专利文献2中,对于水平方向的mvd(mvd_l0[][][0]、mvd_l1[][][0]、mvd_lc[][][0])及垂直方向的mvd(mvd_l0[][][1]、mvd_l1[][][1]、mvd_lc[][][1])分别设定上下文索引(索引增量值+基准值)。通过使用上述的从属关系,能够削减这种浪费。即,能够削减上下文索引的数量。
这里,在非专利文献2的记载中,仅对于mvd的第1比特使用了上块及左块的条件值。即,上下文控制部142及242也可以对于mvd的第1比特使用上述模式2或者模式3。换言之,上下文控制部142及242也可以对于表示运动矢量与预测矢量的差分是否为0以上的abs_mvd_greater0_flag[compIdx]使用上述模式2或者模式3。
(第7验证)"no_residual_data_flag"
图23A是用来对"no_residual_data_flag"的算术解码方法进行说明的表。
信号种类"no_residual_data_flag"的意义在以下定义。
在no_residual_data_flag为"1"的情况下,不存在当前的CU用的残差数据。在no_residual_data_flag为"0"的情况下,存在当前的CU用的残差数据。在no_residual_data_flag不存在的情况下,其值被视为"0"。
作为syntax,该no_residual_data_flag被数据构造化到上述的树的种类之中的Transform Tree中。图23B是表示Transform Tree syntax的表。在图像解码化装置中,依据该数据构造的语法解释比特序列。
图24A及图24B是表示关于"no_residual_data_flag"的验证结果的表。
图24A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图24B表示使用(模式3)0个邻接块(上块条件L和左都不被使用)的情况下的验证结果。
另外,图24A及图24B所示的验证结果与第1验证同样,表示上述4个测试模式的BD-Rate值的增减。此外,评价值的意义与第1验证是同样的。
根据该结果,结果与上述第1验证的split_coding_unit_flag及第2验证的skip_flag不同,关于该no_residual_data_flag,作为上下文模型的模式而在模式1与模式2或模式3之间不发生BD-rate的较大的差。
因而,上下文控制部142及242在混合存在多个信号种类的控制参数的环境中,特别在信号种类是no_residual_data_flag的情况下,不利用上块作为邻接块来决定上下文值。即,上下文控制部142及242在控制参数的信号种类是no_residual_data_flag的情况下,使用模式2或模式3决定上下文值。换言之,上述第1种类包括"split_coding_unit_flag"或"skip_flag",上述第2种类或第3种类包括"no_residual_data_flag"。由此,有关本实施方式的图像编码装置及图像解码装置能够在抑制BD-rate值的下降的同时削减存储器使用量。
另外,在比较了针对no_residual_data_flag的模式2与模式3的情况下,它们的BD-rate中不发生较大的差。因此,对于no_residual_data_flag更优选的是使用模式3。由此,能够实现进一步的存储器使用量的削减及处理量的削减。
这里,no_residual_data_flag表示有无亮度及色差的系数(残差)。并且,该残差在帧内预测时增大、在帧间预测时减小。因此,在周围的块的模式与对象块的模式不同的情况下(特性不同的情况下),编码效率下降。例如,在对象块被实施帧内预测、周围的块被实施帧间预测的情况下,对象块的残差减小,周围的块的残差增大。因此,如果使用周围的上下文,则编码效率下降。因而,上下文控制部142及242能够通过利用对象块的上下文来提高编码效率,而不依赖于周围的块。
(第8验证)"intra_chroma_pred_mode"
图25A是用来对intra_chroma_pred_mode的算术解码方法进行说明的表。
作为syntax,该intra_chroma_pred_mode被数据构造化到“Prediction Unit”。在图像解码化装置中,依据该数据构造的语法解释比特序列。
信号种类"intra_chroma_pred_mode"的意义在以下定义。
intra_chroma_pred_mode[x0][y0]表示色差样本用的帧内预测模式。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的预测块的左上角的luma样本的坐标。
将该intra_chroma_pred_mode的值(0以上4以下的值)和当前块的IntraPredMode[xP][yB]组合起来,决定关于色差的面内预测模式值即"chroma intra prediction mode"(IntraPredModeC)。这里,将当前块的坐标设为[xB][yB]。该[xB][yB]表示与[xP][yP]相同的位置。并且,IntraPredMode是关于亮度的预测模式值。
图25B是表示在非专利文献2中记载的intra_chroma_pred_mode和与IntraPredMode对应的IntraPredModeC的导出方法的表。
另外,图25A所示的IntraPredMode(大写字母开头的变量)不是直接被编码成为编码列的值,而是在解码器内部被实施解码处理后的值的排列(array)。在对象块的IntraPredMode[xP][yP]的导出处理时,如果能够利用邻接块的IntraPredMode[xP][yA]等就加以利用。
图26A及图26B是表示关于"intra_chroma_pred_mode"的验证结果的表。
图26A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图26B表示使用(模式3)0个邻接块(上块条件L和左都不被使用)的情况下的验证结果。
另外,图26A及图26B所示的验证结果与第1验证同样,表示上述4个测试模式的BD-Rate值的增减。此外,评价值的意义与第1验证是同样的。
根据该结果,结果与上述第1验证的split_coding_unit_flag及第2验证的skip_flag不同,关于该intra_chroma_pred_mode,作为上下文模型的模式而在模式1与模式2或模式3之间不发生BD-rate的较大的差。
因而,上下文控制部142及242在混合存在多个信号种类的控制参数的环境中,特别在信号种类是intra_chroma_pred_mode的情况下,不利用上块作为邻接块来决定上下文值。即,上下文控制部142及242在控制参数的信号种类是intra_chroma_pred_mode的情况下,使用模式2或模式3决定上下文值。换言之,上述第1种类包括"split_coding_unit_flag"或"skip_flag",上述第2种类或第3种类包括"intra_chroma_pred_mode"。由此,有关本实施方式的图像编码装置及图像解码装置能够在抑制BD-rate值的下降的同时削减存储器使用量。
另外,在比较了针对intra_chroma_pred_mode的模式2与模式3的情况下,它们的BD-rate中不发生较大的差。因此,对于intra_chroma_pred_mode更优选的是使用模式3。由此,能够实现进一步的存储器使用量的削减及处理量的削减。
这里,intra_chroma_pred_mode全部是4比特的信息,开头的1比特表示对于色差是否使用与亮度的帧内预测相同的模式。这里,上下文控制部142及242对于该开头的1比特使用模式2或者模式3。具体地讲,在对于色差使用与亮度相同的模式的情况下,intra_chroma_pred_mode为"0"。在对于色差使用与亮度不同的模式的情况下,intra_chroma_pred_mode为"1",剩余的3比特表示对于色差使用的模式。
这里,帧内预测利用上块及左块与对象块的相关。即,由于在帧内预测中已经利用相关信息,因而对于色差利用与亮度相同的模式比较高效。换言之,对于色差也能够利用与亮度不同的模式,以便使模式具有多样性,但是对于色差利用与亮度不同的模式、并利用周围的上下文的情况比较稀少。即,利用与亮度相同的模式的、intra_chroma_pred_mode被设定为"0"的情况居多。因此,使用周围的上下文的优点较少,通过使用对象块的上下文,能够在维持编码效率的同时削减处理量。
另外,在对上块进行解码时判定可否能够利用"avaibale"是极其困难的。参照图38对在解码进程中导出并被排列化的IntraPredMode的排列进行说明。
包括对象块的行的上1行的行(LineL)的IntraPredMode被表示为IntraPredMode[水平方向第n个][上1行(LineL)]。并且,包括对象块的当前的行的IntraPredMode被表示为IntraPredMode[水平方向第k个][当前行]。这里,作为当前的算术解码对象的信号是intra_chroma_pred_mode[水平方向第j个][当前行]。
首先,不存在上述的上1行的行与当前的行的水平方向第n个及第k个相对应的保障。这是因为如在图38的说明中叙述的那样,PU块的尺寸因每个块而变化。因此,在想要对它们进行管理时设计某种的对应表、或者如在图38中说明的那样以最小单位取得所有的IntraPredMode,除此之外没有其它方法。
另外,与解码对象的intra_chroma_pred_mode不同,上面的行的IntraPredMode不是通过算术解码部的分析而能够取得的信号种类,而是通过另一种解码进程而导出的值(H.264等的、大写字母开头的变量)。因此,算术解码部独立地取得该值的利用可能性自身就会产生较大的负荷。
因此,在intra_chroma_pred_mode利用邻接块的上下文模型中,从存储器使用量方面讲,不利用上块的条件值(特别是关于IntraPredMode[对应水平位置][上1行]的条件判定值)CondA是有用的。
(第9验证)"cbf_luma、cbf_cr、cbf_cb"
图27是用来对cbf_luma、cbf_cr及cbf_cb的算术解码方法进行说明的表。
信号种类"cbf_luma"的意义在以下定义。
在"cbf_luma[x0][y0][trafoDepth]"为"1"的情况下,亮度变换块包括级别(level)不是0的1个以上的变换系数。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的预测块的左上角的luma样本的坐标。trafoDepth表示变换编码用的块中的CU的当前的分割级别。在trafoDepth为"0"的情况下,块对应于CU。
即,亮度变换块的位置被定义为包括垂直和水平的要素、以及以CU的层级为基准的相对层级深度(trafoDepth)在内的三维排列的值。
另外,信号种类"cbf_cb"的意义用来对于色差(Cb)规定有关亮度的cbf_luma。该信号种类"cbf_cb"的意义在以下定义。
在cbf_cb[x0][y0][trafoDepth]"为"1"的情况下,Cb变换块包括级别不是0的1个以上的变换系数。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的预测块的左上角的luma样本的坐标。trafoDepth表示变换编码用的块中的CU的当前的分割级别。在trafoDepth为"0"的情况下,块对应于CU。在cbf_cb[x0][y0][trafoDepth]不存在、而且PredMode与MODE_INTRA不同的情况下,cbf_cb[x0][y0][trafoDepth]的值被视为"0"。
即,Cb变换块的位置被定义为包括垂直和水平的要素、以及以CU的层级为基准的相对层级深度(trafoDepth)在内的三维排列的值。
另外,信号种类"cbf_cr"的意义用来对于色差(Cr)规定有关亮度的cbf_luma。该信号种类"cbf_cr"的意义在以下定义。
在cbf_cr[x0][y0][trafoDepth]"为"1"的情况下,Cb变换块包括级别不是0的1个以上的变换系数。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的预测块的左上角的luma样本的坐标。trafoDepth表示变换编码用的块中的CU的当前的分割级别。在trafoDepth为"0"的情况下,块对应于CU。在cbf_cr[x0][y0][trafoDepth]不存在、而且PredMode与MODE_INTRA不同的情况下,cbf_cr[x0][y0][trafoDepth]的值被视为"0"。
即,Cb变换块的位置被定义为包括垂直和水平的要素、以及以CU的层级为基准的相对层级深度(trafoDepth)在内的三维排列的值。
图28A及图28B是表示关于cbf_luma、cbf_cb及cbf_cr的验证结果的表。
图28A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图28B表示使用(模式3)0个邻接块(上块条件L和左都不被使用)的情况下的验证结果。
另外,图28A及图28B所示的验证结果与第1验证同样,表示上述4个测试模式的BD-Rate值的增减。此外,评价值的意义与第1验证是同样的。
根据该结果,结果与上述第1验证的split_coding_unit_flag及第2验证的skip_flag不同,关于该cbf_luma、cbf_cb及cbf_cr,作为上下文模型的模式而在模式1与模式2或模式3之间不发生BD-rate的较大的差。
因而,上下文控制部142及242在混合存在多个信号种类的控制参数的环境中,特别在信号种类是cbf_luma、cbf_cb及cbf_cr的情况下,不利用上块作为邻接块来决定上下文值。即,上下文控制部142及242在控制参数的信号种类是cbf_luma、cbf_cb及cbf_cr的情况下,使用模式2或模式3决定上下文值。换言之,上述第1种类包括"split_coding_unit_flag"或"skip_flag",上述第2种类或第3种类包括"cbf_luma"、"cbf_cb"或"cbf_cr"。由此,有关本实施方式的图像编码装置及图像解码装置能够在抑制BD-rate值的下降的同时削减存储器使用量。
另外,在比较了针对cbf_luma、cbf_cb及cbf_cr的模式2与模式3的情况下,它们的BD-rate中不发生较大的差。因此,对于cbf_luma、cbf_cb及cbf_cr更优选的是使用模式3。由此,能够实现进一步的存储器使用量的削减及处理量的削减。
另外,cbf_luma、cbf_cb及cbf_cr是具有层级的三维排列的值。因此,如在实施方式2的图9B中叙述的那样,“邻接”参照值的按照解码顺序(包括递归执行顺序,以下同)的顺序距离(远近)根据层级深度而不同。因此,关于是否能够利用控制参数的值或者存储器使用量的削减是否产生效果,根据块的层级关系上的位置而不同。
因此,上下文控制部142及242也可以根据层级深度变更条件值的决定标准。例如,上下文控制部142及242也可以利用(沿用)层级靠上的块的条件值作为层级靠下的块的条件值。
并且,上下文控制部142及242也可以在此基础上或者单独地考虑与其它切片的位置关系来变更它们的标准。
另外,通过上述验证可以认为以下的具体变形。关于是否发生上述的"dilutioneffect",依赖于适用其条件的学习次数。通常对于4:2:0格式等Y、U、V中代表亮度的Y,其样本数量比其它两轴(U、V)多。因此,用于进行区分的一个边界是(a)luma与(b)cv及cr的组的边界。
例如,也可以对(a)cbf_luma适用模式3,同时对(b)cbf_cb及cbf_cr适用其它的模式2或模式1。即,也可以是,在信号种类是cbf_luma的情况下和信号种类是cbf_cb或cbf_cr的情况下,上下文控制部142及242使用不同的条件决定上下文。此外,上下文控制部142及242也可以对(a)cbf__luma适用模式1,对(b)cbf_cb及cbf_cr适用其他模式2或模式3。
此外,上下文控制部142及242也可以对(b)cbf_cb及cbf_cr根据层级的深度来决定上下文。
这样,与(a)cbf__luma相比,减少与(b)cbf_cb及cbf_cr有关的条件数(上下文的条件数),从而能够使样本数较少的(b)cbf_cb及cbf_cr的各条件(条件数M(M<N)、固定)的学习次数接近样本数较多的(a)cbf_luma的各条件(条件数N、N为0~3的4个)的学习次数。
另外,上下文控制部142及242也可以对(a)cbf_luma根据层级的深度来决定上下文。
这里,上下文控制部142及242只要学习次数足够,更优选在求出精度时增加(上下文)条件。另外,上下文控制部142及242如果学习次数少,则优选减少上下文条件。因此,上下文控制部142及242也可以根据析像度切换这些条件。并且,上下文控制部142及242也可以根据格式(4:2:0)等切换这些条件。
另外,cbf_luma、cbf_cr及cbf_cb根据层级的深度表示有无亮度或色差的系数。即,cbf_luma、cbf_cr及cbf_cb对应于表示有无残差数据的no_residual_data_flag的下位。在此,对于CU≧PU≧TU的关系中针对CU的尺寸而能够选择的最大的TU,使用no_residual_data_flag。具体地讲,在TU的最上面的层级中使用no_residual_data_flag。另一方面,在比no_residual_data_flag靠下位的层级中使用cbf_luma、cbf_cr及cbf_cb。如果存在no_residual_data_flag,则表示自此以后的块没有残差数据。并且,层级越深,具有残差数据的可能性越大。因此,上下文控制部142及242能够通过对cbf_luma、cbf_cr及cbf_cb利用层级的信息来提高编码效率。换言之,上下文控制部142及242也可以根据处理对象块的控制参数(cbf_luma、cbf_cr及cbf_cb)所属的数据单位的层级的深度决定上下文。另一方面,no_residual_data_flag是依据于预测模式的标志,因而作为上下文值优选使用不依赖于层级的固定值。
下面,将上述的所有信号种类的验证结果进行总结表示。
图29A及图29B是表示4.1Intra,high-efficiency setting的结果(所有信号种类)的柱状图。
图30A及图30B是表示4.3Random access,high-efficiency setting的结果(所有信号种类)的柱状图。
图31A及图31B是表示4.5Low delay,high-efficiency setting的结果(所有信号种类)的柱状图。
图32A及图32B是表示4.7Low delay,high-efficiency setting(仅P slices)的柱状图。
图33A是表示对各控制参数分配上述模式1~模式3中任意一个模式的参数集的表。在图33A所示的例子中,对"split_coding_unit_flag"及"skip_flag"分配模式1(上块及左块都被使用),对"merge_flag"、"ref_idx"、"inter_pred_flag"、"mvd_l0"、"mvd_l1"及"mvd_lc"、"no_residual_data_flag"、"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"及"cbf_cr"分配模式3(上块及左块都不被使用)。
图33B是表示使用图33A所示的参数集时的验证结果的表。如图33B所示,通过使用图33A所示的参数集,能够在抑制编码效率的下降的同时削减存储器使用量。
图34A是表示另一个参数集的一例的表。在图34A所示的例子中,对"split_coding_unit_flag"及"skip_flag"分配模式1(上块及左块都被使用),对"intra_chroma_pred_mode"、"cbf_luma"、"cbf_cb"及"cbf_cr"分配模式2(仅使用左块),对"merge_flag"、"ref_idx"、"inter_pred_flag"、"mvd_l0"、"mvd_l1"及"mvd_lc"、"no_residual_data_flag"分配模式3(上块及左块都不被使用)。
图34B是表示使用图34A所示的参数集时的验证结果的表。如图34B所示,通过使用图34A所示的参数集,能够在抑制编码效率的下降的同时削减存储器使用量。
此外,如上述那样,上下文控制部142或242也可以使用层级来决定上下文。
图35是表示这种情况的可变长度编码部104所执行的图像编码方法的流程图。图35所示的处理对图4所示的处理追加了步骤S111及S112。
信号种类是与模式4对应的第4种类的情况下(S104中为第4种类),上下文控制部142作为模式4使用1个邻接块(左块)的控制参数的值和处理对象块的层级来决定上下文值(S111)。换言之,上下文控制部142不利用上块的控制参数,并且根据左块的控制参数和处理对象的控制参数所属的数据单位的层级的深度来决定上下文。
此外,信号种类是与模式5对应的第5种类的情况下(S104中为第5种类),上下文控制部142作为模式5使用处理对象块的层级来决定上下文值(S112)。换言之,上下文控制部142既不利用上块也不利用左块的控制参数,并且根据处理对象的控制参数所属的数据单位的层级的深度来决定上下文。
另外,在可变长度解码部202中也执行同样的处理。图36是表示可变长度解码部202执行的图像解码方法的流程图。图36所示的处理对图7所示的处理追加了步骤S213及S214。
信号种类是与模式4对应的第4种类的情况下(S205中为第4种类),上下文控制部242作为模式4使用1个邻接块(左块)的控制参数的值和处理对象块的层级来决定上下文值(S213)。换言之,上下文控制部242不利用上块的控制参数,并且根据左块的控制参数和处理对象的控制参数所属的数据单位的层级的深度来决定上下文。
此外,信号种类是与模式5对应的第5种类的情况下(S205中为第5种类),上下文控制部242作为模式5使用处理对象块的层级来决定上下文值(S214)。换言之,上下文控制部242既不利用上块也不利用左块的控制参数,并且根据处理对象的控制参数所属的数据单位的层级的深度来决定上下文。
另外,也可以将上述的各实施方式的说明中的模式2置换为模式4,也可以将模式3置换为模式5。
以上,对有关本发明的实施方式的图像编码装置及图像解码装置进行了说明,但本发明并不限定于该实施方式。
例如,也可以将有关上述实施方式1~3的图像编码装置、图像解码装置及它们的变形例的功能中的至少一部分组合。
此外,在上述中使用的数字及逻辑值全部是为了具体地说明本发明而例示的,本发明并不受例示的数字限制。
此外,框图中的功能块的分割是一例,也可以将多个功能块作为一个功能块实现,或将一个功能块分割为多个,或将一部分的功能转移到其他功能块中。此外,也可以是单一的硬件或软件将具有类似的功能的多个功能块的功能并行或分时处理。
此外,上述图像编码装置的图像编码方法及图像解码装置的图像解码方法中的执行各步骤的顺序是为了具体地说明本发明而例示的,也可以是上述以外的顺序。此外,上述步骤的一部分也可以与其他步骤同时(并行)执行。
(追加验证)
对于各信号种类和上下文的决定方法的组合示出验证结果。在以下示出的组合中,确认到了BD-rate大为减少,能够削减存储器使用量。
<组合1>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合2>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合3>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合4>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合5>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合6>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合7>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合8>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合9>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合10>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合11>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合12>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合13>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合14>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合15>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合16>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合17>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合18>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合19>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合20>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合21>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合22>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式1(参照上和左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合23>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合24>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式3(既不参照上也不参照左)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合25>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合26>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合27>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合28>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式1(参照上和左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合29>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合30>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合31>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合32>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式2(参照左)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合33>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合34>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式3(既不参照上也不参照左)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
<组合35>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式3(既不参照上也不参照左)
<组合36>
skip_flag模式1(参照上和左)
split_coding_unit_flag模式4(参照左和层级)
merge_flag模式3(既不参照上也不参照左)
intra_chroma_pred_mode模式3(既不参照上也不参照左)
inter_pred_flag模式5(既不参照上也不参照左,参照层级)
ref_idx模式3(既不参照上也不参照左)
mvd模式3(既不参照上也不参照左)
cbf_luma(intra)模式5(既不参照上也不参照左,参照层级)
cbf_chroma(intra)模式5(既不参照上也不参照左,参照层级)
(实施方式4)
通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中,能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等,只要是能够记录程序的介质就可以。
进而,这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于,具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编解码装置。关于系统的其他结构,可以根据情况而适当变更。
图39是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小,在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107~ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是,内容供给系统ex100并不限定于图39那样的结构,也可以将某些要素组合连接。此外,也可以不经由作为固定无线站的基站ex107~ex110将各设备直接连接在电话网ex104上。此外,也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是能够进行数字摄像机等的运动图像摄影的设备,照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外,便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等,是哪种都可以。
在内容供给系统ex100中,通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上,能够进行现场转播等。在现场转播中,对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即,作为本发明的一个方式的图像编码装置发挥作用),向流媒体服务器ex103发送。另一方面,流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端,有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中,将接收到的数据解码处理而再现(即,作为本发明的一个方式的图像解码装置发挥作用)。
另外,摄影的数据的编码处理既可以由照相机ex113进行,也可以由进行数据的发送处理的流媒体服务器ex103进行,也可以相互分担进行。同样,分发的数据的解码处理既可以由客户端进行,也可以由流媒体服务器ex103进行,也可以相互分担进行。此外,并不限于照相机ex113,也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以,也可以相互分担进行。
此外,这些编解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片,也可以是由多个芯片构成的结构。另外,也可以将运动图像编解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD-ROM、软盘、硬盘等)中、使用该软件进行编解码处理。进而,在便携电话ex114是带有照相机的情况下,也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外,也可以是,流媒体服务器ex103是多个服务器或多个计算机,是将数据分散处理、记录、及分发的。
如以上这样,在内容供给系统ex100中,客户端能够接收编码的数据而再现。这样,在内容供给系统ex100中,客户端能够将用户发送的信息实时地接收、解码、再现,即使是没有特别的权利或设备的用户也能够实现个人广播。
另外,并不限定于内容供给系统ex100的例子,如图40所示,在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言,在广播站ex201中,将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即,通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波,能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波,通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即,作为本发明的一个方式的图像解码装置发挥作用)。
此外,也可以是,在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下,可以将再现的影像信号显示在监视器ex219上,通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外,也可以是,在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置,将其用电视机的监视器ex219显示。此时,也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
图41是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外,电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即,作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而,电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而,电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外,还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外,记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先,对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于具有CPU等的控制部ex310的控制,将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而,电视机ex300将分离的声音数据用声音信号处理部ex304解码,将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时,可以暂时将这些信号储存到缓冲器ex318、ex319等中,以使声音信号和影像信号同步再现。此外,电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着,对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于控制部ex310的控制,由声音信号处理部ex304将声音信号编码,由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用,向外部输出。在复用时,可以暂时将这些信号储存到缓冲器ex320、ex321等中,以使声音信号和影像信号同步再现。另外,缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个,也可以是共用一个以上的缓冲器的结构。进而,在图示以外,也可以是,在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外,电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外,也可以具备受理麦克风或照相机的AV输入的结构,对从它们中取得的数据进行编码处理。另外,这里,将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明,但也可以是,不能进行这些处理,而是仅能够进行上述接收、解码处理、外部输出的结构。
此外,在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下,上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以,也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例,将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图42中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息,检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器,根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大,将记录在记录介质ex215中的信号成分分离并解调,再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道,进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成,通过执行读出写入的程序来执行它们的处理。
以上,假设光头ex401照射激光斑而进行了说明,但也可以是使用近场光进行高密度的记录的结构。
在图43中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上,以螺旋状形成有导引槽(沟),在信息轨道ex230中,预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息,通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息,能够确定记录块。此外,记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233,配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上,举1层的DVD、BD等的光盘为例进行了说明,但并不限定于这些,也可以是多层构造、在表面以外也能够记录的光盘。此外,也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外,在数字广播用系统ex200中,也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外,车载导航仪ex211的结构可以考虑例如在图41所示的结构中添加GPS接收部的结构,在计算机ex111及便携电话ex114等中也可以考虑同样的结构。
图44A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
进而,使用图44B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360,将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态,则通过从电池组对各部供给电力,便携电话ex114起动为能够动作的状态。
便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制,在语音通话模式时,将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号,将其用调制/解调部ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外,便携电话ex114在语音通话模式时,将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理,用调制/解调部ex352进行波谱逆扩散处理,通过声音信号处理部ex354变换为模拟声音数据后,将其经由声音输出部ex357输出。
进而,在数据通信模式时发送电子邮件的情况下,将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后,经由天线ex350向基站ex110发送。在接收电子邮件的情况下,对接收到的数据执行上述处理的大致逆处理,并输出到显示部ex350。
在数据通信模式时,在发送影像、静止图像、或者影像和声音的情况下,影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即,作为本发明的一个方式的图像编码装置发挥作用),将编码后的影像数据送出至复用/分离部ex353。另外,声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码,将编码后的声音数据送出至复用/分离部ex353。
复用/分离部ex353通过规定的方式,对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用,将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后,经由天线ex350发送。
在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下,或者接收到附加了影像或者声音的电子邮件的情况下,为了对经由天线ex350接收到的复用数据进行解码,复用/分离部ex353通过将复用数据分离,分为影像数据的比特流和声音数据的比特流,经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给,并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码,由此对影像信号进行解码(即,作为本发明的一个方式的图像解码装置发挥作用),经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外,声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
此外,上述便携电话ex114等的终端与电视机ex300同样,除了具有编码器、解码器两者的收发型终端以外,还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外,在数字广播用系统ex200中,设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明,但除声音数据之外复用了与影像关联的字符数据等的数据也可以,不是复用数据而是影像数据本身也可以。
这样,将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以,通过这样,能够得到在上述各实施方式中说明的效果。
此外,本发明并不限定于这样的上述实施方式,能够不脱离本发明的范围而进行各种变形或修正。
(实施方式5)
也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG-2、MPEG4-AVC、VC-1等不同的标准的运动图像编码方法或装置根据需要而适当切换,来生成影像数据。
这里,在生成分别依据不同的标准的多个影像数据的情况下,在解码时,需要选择对应于各个标准的解码方法。但是,由于不能识别要解码的影像数据依据哪个标准,所以产生不能选择适当的解码方法的问题。
为了解决该问题,在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下,说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG-2传输流形式的数字流。
图45是表示复用数据的结构的图。如图45所示,复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像,音频流(IG)表示电影的主声音部分和与该主声音混合的副声音,演示图形流表示电影的字幕。这里,所谓主影像,表示显示在画面上的通常的影像,所谓副影像,是在主影像中用较小的画面显示的影像。此外,交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的运动图像编码方法或装置编码。音频流由杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如,对在电影的影像中使用的视频流分配0x1011,对音频流分配0x1100到0x111F,对演示图形分配0x1200到0x121F,对交互图形流分配0x1400到0x141F,对在电影的副影像中使用的视频流分配0x1B00到0x1B1F,对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图46是示意地表示复用数据怎样被复用的图。首先,将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239,并变换为TS包ex237及ex240。同样,将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245,再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图47更详细地表示在PES包序列中怎样保存视频流。图47的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图47的箭头yy1、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头,在PES头中,保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图48表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包,上述PES包被分割并保存到TS有效载荷中。在BD-ROM的情况下,对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中,源包如图48下段所示排列,从复用数据的开头起递增的号码被称作SPN(源包号)。
此外,在复用数据所包含的TS包中,除了影像、声音、字幕等的各流以外,还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么,PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息,还具有关于复用数据的各种描述符。在描述符中,有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步,拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图49是详细地说明PMT的数据构造的图。在PMT的开头,配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面,配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后,配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下,将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图50所示,是复用数据的管理信息,与复用数据一对一地对应,由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图50所示,由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS,再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图51所示,按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中,使用上述复用数据中的、包含在PMT中的流类型。此外,在记录介质中记录有复用数据的情况下,使用包含在复用数据信息中的视频流属性信息。具体而言,在上述各实施方式示出的运动图像编码方法或装置中,设置如下步骤或单元,该步骤或单元对包含在PMT中的流类型、或视频流属性信息,设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构,能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
此外,在图52中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中,从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着,在步骤exS101中,判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且,在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下,在步骤exS102中,通过在上述各实施方式中示出的运动图像解码方法进行解码。此外,在流类型、或视频流属性信息表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的复用数据的情况下,在步骤exS103中,通过依据以往的标准的运动图像解码方法进行解码。
这样,通过在流类型、或视频流属性信息中设定新的固有值,在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而,在被输入了依据不同的标准的复用数据的情况下,也能够选择适当的解码方法或装置,所以能够不发生错误地进行解码。此外,将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
(实施方式6)
在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例,在图53中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509,各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力,起动为能够动作的状态。
例如在进行编码处理的情况下,LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制,通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制,将储存的数据根据处理量及处理速度适当地分为多次等,向信号处理部ex507发送,在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里,影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中,还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理,从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外,在复用时,可以暂时将数据储存到缓冲器ex508中以使其同步。
另外,在上述中,设存储器ex511为LSIex500的外部的结构进行了说明,但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个,也可以具备多个缓冲器。此外,LSIex500既可以形成1个芯片,也可以形成多个芯片。
此外,在上述中,假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU,能够进一步提高处理速度。此外,作为其他例,也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下,控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外,这里设为LSI,但根据集成度的差异,也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。
此外,集成电路化的方法并不限定于LSI,也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
进而,如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术,则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式7)
在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下,考虑到与将依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况相比处理量会增加。因此,在LSIex500中,需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是,如果将驱动频率设得高,则发生消耗电力变高的问题。
为了解决该问题,电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图54表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下,将驱动频率设定得高。并且,对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面,在影像数据是依据以往的标准的影像数据的情况下,与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比,将驱动频率设定得低。并且,对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲,驱动频率切换部ex803由图53的CPUex502和驱动频率控制部ex512构成。此外,执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图53的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且,基于来自CPUex502的信号,驱动频率控制部ex512设定驱动频率。此外,基于来自CPUex502的信号,信号处理部ex507进行影像数据的解码。这里,可以考虑在影像数据的识别中使用例如在实施方式5中记载的识别信息。关于识别信息,并不限定于在实施方式5中记载的信息,只要是能够识别影像数据依据哪个标准的信息就可以。例如,在基于识别影像数据利用于电视机还是利用于盘等的外部信号,来能够识别影像数据依据哪个标准的情况下,也可以基于这样的外部信号进行识别。此外,CPUex502的驱动频率的选择例如可以考虑如图56所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中,CPUex502通过参照该查找表,能够选择驱动频率。
图55表示实施本实施方式的方法的步骤。首先,在步骤exS200中,在信号处理部ex507中,从复用数据中取得识别信息。接着,在步骤exS201中,在CPUex502中,基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下,在步骤exS202中,CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且,在驱动频率控制部ex512中设定为高的驱动频率。另一方面,在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,在步骤exS203中,CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且,在驱动频率控制部ex512中,设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而,通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压,由此能够进一步提高节电效果。例如,在将驱动频率设定得低的情况下,随之,可以考虑与将驱动频率设定得高的情况相比,将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外,驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以,并不限定于上述的设定方法。例如,可以考虑在将依据MPEG4-AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下,与上述的情况相反地进行驱动频率的设定。
进而,驱动频率的设定方法并不限定于使驱动频率低的结构。例如,也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下,将对LSIex500或包括LSIex500的装置施加的电压设定得高,在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外,作为另一例,也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下,不使CPUex502的驱动停止,在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,由于在处理中有富余,所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下,也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下,可以考虑与表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况相比,将停止时间设定得短。
这样,根据影像数据所依据的标准来切换驱动频率,由此能够实现节电化。此外,在使用电池来驱动LSIex500或包括LSIex500的装置的情况下,能够随着节电而延长电池的寿命。
(实施方式8)
在电视机、便携电话等上述的设备、系统中,有时被输入依据不同的标准的多个影像数据。这样,为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码,LSIex500的信号处理部ex507需要对应于多个标准。但是,如果单独使用对应于各个标准的信号处理部ex507,则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题,采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的解码处理部一部分共用的结构。图57A的ex900表示该结构例。例如,在上述各实施方式中示出的运动图像解码方法和依据MPEG4-AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容,共用对应于MPEG4-AVC标准的解码处理部ex902,关于不对应于MPEG4-AVC标准的本发明的一个方式所特有的其他的处理内容,使用专用的解码处理部ex901。特别是,本发明在运动补偿方面具有特征,因此可以考虑例如对于运动补偿使用专用的解码处理部ex901,对于除此之外的熵解码、逆量化中的某一个或者全部的处理,共用解码处理部。关于解码处理部的共用,也可以是如下结构:关于共通的处理内容,共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部,关于MPEG4-AVC标准所特有的处理内容,使用专用的解码处理部。
此外,用图57B的ex1000表示将处理一部分共用的另一例。在该例中,采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里,专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的,可以是能够执行其他的通用处理的结构。此外,也能够由LSIex500安装本实施方式的结构。
这样,对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容,共用解码处理部,由此能够减小LSI的电路规模并且降低成本。
产业上的可利用性
本发明能够应用在图像编码方法、图像解码方法、图像编码装置及图像解码装置中,特别能够在进行算术编码及算术解码的图像编码方法、图像解码方法、图像编码装置及图像解码装置中利用。
标号说明
100 图像编码装置
101 控制部
102 差分部
103 变换及量化部
104 可变长编码部
105 逆量化及逆变换部
106、206 加法部
107、207 面内预测部
108、208 面间预测部
109、209 开关
121 输入图像信号
122、125、225 残差信号
123、223 量化变换系数
124 比特流
126 复原图像信号
127、128、129、227、228 预测图像信号
130、230 控制参数
141 二值化部
142、242 上下文控制部
143 二值算术编码部
151、251 二值排列
152、252 上下文索引
200 图像解码装置
201 控制部
202 可变长解码部
204 逆量化部
205 逆变换部
224 正交变换系数
226 解码图像信号
229 图像信号
241 多值化部
243 二值算术解码部
Claims (3)
1.一种编码方法,对控制图像的编码的控制参数进行编码,
包括:
上下文决定步骤,在多个上下文中决定对所述图像中包含的对象块使用的上下文;以及
算术编码步骤,使用所决定的所述上下文,对所述对象块的控制参数进行算术编码,从而生成与所述对象块对应的比特序列,
在所述上下文决定步骤中,
判定所述对象块的控制参数所被分类的信号种类,
在所述信号种类是第1种类的情况下,利用与所述对象块的左侧邻接的左块和与所述对象块的上侧邻接的上块的已编码的控制参数,决定所述上下文,
在所述信号种类是与所述第1种类不同的第2种类的情况下,不利用所述上块和所述左块的已编码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,决定所述上下文,
在所述信号种类是与所述第1种类和所述第2种类不同的第3种类的情况下,不利用所述上块和所述左块的已编码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,与所述对象块的编码所使用的编码模式无关地决定所述上下文,
表示所述对象块是否被分割为多个块的分割标志、表示是否将所述对象块跳过的跳过标志被分类到所述第1种类,
表示所述对象块是否包含亮度系数数据及色差系数数据的残差标志被分类到所述第2种类,
表示所述对象块是否包含非零亮度系数的亮度系数标志、表示所述对象块是否包含非零色差系数的色差系数标志被分类到所述第3种类,
用于所述亮度系数标志的上下文的数量与用于所述色差系数标志的上下文的数量不同。
2.一种编码装置,对控制图像的编码的控制参数进行编码,
具备:
上下文决定部,在多个上下文中决定对所述图像中包含的对象块使用的上下文;以及
算术编码部,使用所决定的所述上下文,对所述对象块的控制参数进行算术编码,从而生成与所述对象块对应的比特序列,
所述上下文决定部,
判定所述对象块的控制参数所被分类的信号种类,
在所述信号种类是第1种类的情况下,利用与所述对象块的左侧邻接的左块和与所述对象块的上侧邻接的上块的已编码的控制参数,决定所述上下文,
在所述信号种类是与所述第1种类不同的第2种类的情况下,不利用所述上块和所述左块的已编码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,决定所述上下文,
在所述信号种类是与所述第1种类和所述第2种类不同的第3种类的情况下,不利用所述上块和所述左块的已编码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,与所述对象块的编码所使用的编码模式无关地决定所述上下文,
表示所述对象块是否被分割为多个块的分割标志、表示是否将所述对象块跳过的跳过标志被分类到所述第1种类,
表示所述对象块是否包含亮度系数数据及色差系数数据的残差标志被分类到所述第2种类,
表示所述对象块是否包含非零亮度系数的亮度系数标志、表示所述对象块是否包含非零色差系数的色差系数标志被分类到所述第3种类,
用于所述亮度系数标志的上下文的数量与用于所述色差系数标志的上下文的数量不同。
3.一种编码装置,对控制图像的编码的控制参数进行编码,
具备处理电路和能够与所述处理电路连接的存储装置,
所述处理电路使用所述存储装置执行如下的步骤:
上下文决定步骤,在多个上下文中决定对所述图像中包含的对象块使用的上下文;以及
算术编码步骤,使用所决定的所述上下文,对所述对象块的控制参数进行算术编码,从而生成与所述对象块对应的比特序列,
在所述上下文决定步骤中,
判定所述对象块的控制参数所被分类的信号种类,
在所述信号种类是第1种类的情况下,利用与所述对象块的左侧邻接的左块和与所述对象块的上侧邻接的上块的已编码的控制参数,决定所述上下文,
在所述信号种类是与所述第1种类不同的第2种类的情况下,不利用所述上块和所述左块的已编码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,决定所述上下文,
在所述信号种类是与所述第1种类和所述第2种类不同的第3种类的情况下,不利用所述上块和所述左块的已编码的控制参数,而是使用所述控制参数所属的数据单位的层级深度,与所述对象块的编码所使用的编码模式无关地决定所述上下文,
表示所述对象块是否被分割为多个块的分割标志、表示是否将所述对象块跳过的跳过标志被分类到所述第1种类,
表示所述对象块是否包含亮度系数数据及色差系数数据的残差标志被分类到所述第2种类,
表示所述对象块是否包含非零亮度系数的亮度系数标志、表示所述对象块是否包含非零色差系数的色差系数标志被分类到所述第3种类,
用于所述亮度系数标志的上下文的数量与用于所述色差系数标志的上下文的数量不同。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161506430P | 2011-07-11 | 2011-07-11 | |
US61/506,430 | 2011-07-11 | ||
CN201280028018.1A CN103765885B (zh) | 2011-07-11 | 2012-07-06 | 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280028018.1A Division CN103765885B (zh) | 2011-07-11 | 2012-07-06 | 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106851295A true CN106851295A (zh) | 2017-06-13 |
CN106851295B CN106851295B (zh) | 2019-10-18 |
Family
ID=47505742
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710181459.XA Active CN106851295B (zh) | 2011-07-11 | 2012-07-06 | 编码方法及编码装置 |
CN201710181456.6A Active CN107087185B (zh) | 2011-07-11 | 2012-07-06 | 编码方法及编码装置、解码方法及解码装置 |
CN201280028018.1A Active CN103765885B (zh) | 2011-07-11 | 2012-07-06 | 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710181456.6A Active CN107087185B (zh) | 2011-07-11 | 2012-07-06 | 编码方法及编码装置、解码方法及解码装置 |
CN201280028018.1A Active CN103765885B (zh) | 2011-07-11 | 2012-07-06 | 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置 |
Country Status (15)
Country | Link |
---|---|
US (7) | US9462282B2 (zh) |
EP (1) | EP2733941B1 (zh) |
JP (3) | JPWO2013008438A1 (zh) |
KR (3) | KR20140034209A (zh) |
CN (3) | CN106851295B (zh) |
AR (1) | AR087117A1 (zh) |
AU (1) | AU2012281918C1 (zh) |
BR (1) | BR112013031540B1 (zh) |
CA (1) | CA2838575C (zh) |
ES (1) | ES2784552T3 (zh) |
HU (1) | HUE049138T2 (zh) |
MX (1) | MX2013013941A (zh) |
RU (2) | RU2604680C2 (zh) |
TW (1) | TWI587687B (zh) |
WO (1) | WO2013008438A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111339193A (zh) * | 2020-02-21 | 2020-06-26 | 腾讯云计算(北京)有限责任公司 | 类别的编码方法及装置 |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012091519A1 (ko) | 2010-12-31 | 2012-07-05 | 한국전자통신연구원 | 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 |
SI3703368T1 (sl) * | 2011-03-06 | 2023-01-31 | Lg Electronics Inc. | Postopek intra napovedi za bloke kromatičnosti |
EP4228264B1 (en) | 2011-06-23 | 2024-07-31 | Sun Patent Trust | Image decoding device, image encoding device |
USRE47366E1 (en) | 2011-06-23 | 2019-04-23 | Sun Patent Trust | Image decoding method and apparatus based on a signal type of the control parameter of the current block |
KR102067683B1 (ko) | 2011-06-24 | 2020-01-17 | 선 페이턴트 트러스트 | 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 |
CN106878722B (zh) | 2011-06-24 | 2019-11-12 | 太阳专利托管公司 | 解码方法、解码装置、编码方法、编码装置 |
RU2608244C2 (ru) | 2011-06-27 | 2017-01-17 | Сан Пэтент Траст | Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений |
CN103563377B (zh) | 2011-06-28 | 2017-05-10 | 太阳专利托管公司 | 解码方法及解码装置 |
MX2013010892A (es) | 2011-06-29 | 2013-12-06 | Panasonic Corp | Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes. |
KR101955374B1 (ko) * | 2011-06-30 | 2019-05-31 | 에스케이 텔레콤주식회사 | 고속 코딩 단위(Coding Unit) 모드 결정을 통한 부호화/복호화 방법 및 장치 |
AU2012277219A1 (en) | 2011-06-30 | 2013-09-19 | Sun Patent Trust | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device |
MY167090A (en) | 2011-06-30 | 2018-08-10 | Sun Patent Trust | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
RU2604680C2 (ru) | 2011-07-11 | 2016-12-10 | Сан Пэтент Траст | Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений |
US9948938B2 (en) * | 2011-07-21 | 2018-04-17 | Texas Instruments Incorporated | Methods and systems for chroma residual data prediction |
US9237358B2 (en) * | 2011-11-08 | 2016-01-12 | Qualcomm Incorporated | Context reduction for context adaptive binary arithmetic coding |
US9426466B2 (en) | 2012-06-22 | 2016-08-23 | Qualcomm Incorporated | Transform skip mode |
US9307264B2 (en) * | 2012-06-22 | 2016-04-05 | Sharp Kabushiki Kaisha | Arithmetic decoding device, arithmetic coding device, image decoding apparatus, and image coding apparatus |
KR101909863B1 (ko) * | 2013-07-08 | 2018-10-18 | 미디어텍 싱가폴 피티이. 엘티디. | 3d 비디오 코딩에서 단순화된 cabac 코딩의 방법 |
WO2015051011A1 (en) * | 2013-10-02 | 2015-04-09 | Arris Enterprises, Inc. | Modified hevc transform tree syntax |
US9842424B2 (en) * | 2014-02-10 | 2017-12-12 | Pixar | Volume rendering using adaptive buckets |
WO2015188297A1 (zh) * | 2014-06-08 | 2015-12-17 | 北京大学深圳研究生院 | 加权跳过模式的视频图像块压缩算术编解码方法及装置 |
EP3099072A1 (en) * | 2015-05-28 | 2016-11-30 | Parabola Research Limited | Method, system and device for image and video coding |
US10257394B2 (en) | 2016-02-12 | 2019-04-09 | Contrast, Inc. | Combined HDR/LDR video streaming |
US10554901B2 (en) | 2016-08-09 | 2020-02-04 | Contrast Inc. | Real-time HDR video for vehicle control |
KR20180039323A (ko) * | 2016-10-10 | 2018-04-18 | 디지털인사이트 주식회사 | 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치 |
WO2018123313A1 (ja) * | 2016-12-26 | 2018-07-05 | 日本電気株式会社 | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム |
WO2018128222A1 (ko) * | 2017-01-03 | 2018-07-12 | 엘지전자 주식회사 | 영상 코딩 시스템에서 영상 디코딩 방법 및 장치 |
US10523966B2 (en) * | 2017-03-31 | 2019-12-31 | Mediatek Inc. | Coding transform blocks |
US10531085B2 (en) * | 2017-05-09 | 2020-01-07 | Futurewei Technologies, Inc. | Coding chroma samples in video compression |
KR20240010541A (ko) * | 2017-07-04 | 2024-01-23 | 삼성전자주식회사 | 다중 코어 변환에 의한 비디오 복호화 방법 및 장치, 다중 코어 변환에 의한 비디오 부호화 방법 및 장치 |
US10951888B2 (en) | 2018-06-04 | 2021-03-16 | Contrast, Inc. | Compressed high dynamic range video |
CA3109667A1 (en) * | 2018-08-14 | 2020-02-20 | Contrast, Inc. | Image processing noise reduction |
CN112740689B (zh) | 2018-09-18 | 2024-04-12 | 华为技术有限公司 | 视频编码器、视频解码器及对应方法 |
US11115652B2 (en) | 2018-12-07 | 2021-09-07 | Tencent America LLC | Method and apparatus for further improved context design for prediction mode and coded block flag (CBF) |
PH12019000380A1 (en) * | 2018-12-17 | 2020-09-28 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
KR102625145B1 (ko) * | 2018-12-17 | 2024-01-16 | 삼성전자주식회사 | 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치 |
WO2020180153A1 (ko) * | 2019-03-06 | 2020-09-10 | 엘지전자 주식회사 | 인터 예측을 위한 비디오 신호의 처리 방법 및 장치 |
US12003757B2 (en) | 2019-03-10 | 2024-06-04 | Lg Electronics Inc. | Video signal processing method and device for processing motion vector difference information for inter prediction in video signal |
KR20240027865A (ko) * | 2019-03-11 | 2024-03-04 | 닛폰 호소 교카이 | 화상 부호화 장치, 화상 복호 장치 및 프로그램 |
CN113966611B (zh) * | 2019-06-09 | 2023-12-15 | 北京字节跳动网络技术有限公司 | 视频编解码中的重要系数信令 |
US11934554B2 (en) | 2021-05-17 | 2024-03-19 | Bank Of America Corporation | Information security by preventing unauthorized data access |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1531347A (zh) * | 2003-03-10 | 2004-09-22 | 三菱电机株式会社 | 图象信号编码装置及图象信号编码方法 |
WO2004086758A1 (ja) * | 2003-03-24 | 2004-10-07 | Sony Corporation | データ符号化装置およびデータ符号化方法、データ出力装置およびデータ出力方法、信号処理システム、信号処理装置および信号処理方法、並びにデータ復号化装置およびデータ復号化方法 |
Family Cites Families (137)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS53142227A (en) | 1977-05-18 | 1978-12-11 | Toshiba Shiyashin Youhin Kk | Light control type electrooflashing device |
JPS60125210A (ja) | 1983-12-08 | 1985-07-04 | Agency Of Ind Science & Technol | ポリイミド膜の製膜改善方法 |
JPS6225405A (ja) | 1985-07-26 | 1987-02-03 | 株式会社日立製作所 | 抵抗器の温度検出機構 |
JPS6225405U (zh) | 1985-07-30 | 1987-02-16 | ||
JPS638448A (ja) | 1986-06-27 | 1988-01-14 | Nippon Synthetic Chem Ind Co Ltd:The | 樹脂組成物 |
JPS638448U (zh) | 1986-07-03 | 1988-01-20 | ||
TW330976B (en) | 1995-12-18 | 1998-05-01 | Lg Electronics Inc | Constant temperature dehumidifying device for air regulator and control method thereof |
EP1404133A4 (en) | 2001-06-29 | 2010-04-21 | Ntt Docomo Inc | IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD |
US7457358B2 (en) | 2001-09-26 | 2008-11-25 | Interact Devices, Inc. | Polymorphic codec system and method |
US7457359B2 (en) | 2001-09-26 | 2008-11-25 | Mabey Danny L | Systems, devices and methods for securely distributing highly-compressed multimedia content |
ES2665693T3 (es) | 2001-11-06 | 2018-04-26 | Panasonic Intellectual Property Corporation Of America | Método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento |
CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
JP2004088722A (ja) | 2002-03-04 | 2004-03-18 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号化方法 |
US20040146109A1 (en) | 2002-04-19 | 2004-07-29 | Satoshi Kondo | Method for calculation motion vector |
KR100931746B1 (ko) | 2002-04-19 | 2009-12-14 | 파나소닉 주식회사 | 움직임 벡터 계산방법 |
JP3807342B2 (ja) | 2002-04-25 | 2006-08-09 | 三菱電機株式会社 | デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法 |
JP2003319391A (ja) | 2002-04-26 | 2003-11-07 | Sony Corp | 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム |
ES2277174T3 (es) | 2002-05-02 | 2007-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Codificacion aritmetica de coeficientes de transformacion. |
CN1666532A (zh) | 2002-07-02 | 2005-09-07 | 松下电器产业株式会社 | 图像编码方法和图像解码方法 |
KR100976017B1 (ko) | 2002-08-08 | 2010-08-17 | 파나소닉 주식회사 | 동화상의 부호화 방법 및 복호화 방법 |
US6795584B2 (en) | 2002-10-03 | 2004-09-21 | Nokia Corporation | Context-based adaptive variable length coding for adaptive block transforms |
US8094715B2 (en) | 2003-03-10 | 2012-01-10 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding device and video signal encoding method |
US7630440B2 (en) | 2003-05-28 | 2009-12-08 | Broadcom Corporation | Context adaptive binary arithmetic code decoding engine |
US7426308B2 (en) | 2003-07-18 | 2008-09-16 | Microsoft Corporation | Intraframe and interframe interlace coding and decoding |
US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7379608B2 (en) * | 2003-12-04 | 2008-05-27 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Arithmetic coding for transforming video and picture data units |
TWI330976B (en) | 2003-12-05 | 2010-09-21 | Trident Microsystems Far East | Method and apparatus for encoding/decoding dynamic graphic content |
JP2005184042A (ja) | 2003-12-15 | 2005-07-07 | Sony Corp | 画像復号装置及び画像復号方法並びに画像復号プログラム |
EP1551185A1 (en) | 2004-01-05 | 2005-07-06 | Thomson Licensing S.A. | Encoding method, decoding method, and encoding apparatus for a digital picture sequence |
US20090102973A1 (en) | 2004-01-09 | 2009-04-23 | Harris Scott C | Video split device |
KR100608050B1 (ko) | 2004-01-14 | 2006-08-02 | 삼성전자주식회사 | 사용자의 요구에 의해 활성화되는 인터랙티브 그래픽스트림을 저장한 저장 매체, 재생 장치 및 그 재생 방법 |
US8175444B2 (en) | 2004-01-14 | 2012-05-08 | Samsung Electronics Co., Ltd. | Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command |
US7599435B2 (en) | 2004-01-30 | 2009-10-06 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Video frame encoding and decoding |
PL1709801T3 (pl) | 2004-01-30 | 2013-02-28 | Panasonic Ip Corp America | Sposób dekodowania video z wykorzystaniem adaptacyjnych macierzy kwantyzacji |
US7469070B2 (en) | 2004-02-09 | 2008-12-23 | Lsi Corporation | Method for selection of contexts for arithmetic coding of reference picture and motion vector residual bitstream syntax elements |
JP4273996B2 (ja) | 2004-02-23 | 2009-06-03 | ソニー株式会社 | 画像符号化装置及び方法、並びに画像復号装置及び方法 |
EP1743338B1 (en) | 2004-04-28 | 2009-09-16 | Panasonic Corporation | Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus |
US20070160147A1 (en) | 2004-06-25 | 2007-07-12 | Satoshi Kondo | Image encoding method and image decoding method |
AU2004321469B2 (en) | 2004-07-14 | 2009-08-20 | Agency For Science, Technology And Research | Context-based encoding and decoding of signals |
KR20060016243A (ko) | 2004-08-17 | 2006-02-22 | 엘지전자 주식회사 | 감시용 디지털 비디오 레코더에서의 멀티 채널 영상표시장치 및 방법 |
JP4375305B2 (ja) | 2004-10-26 | 2009-12-02 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
US20060120461A1 (en) | 2004-12-06 | 2006-06-08 | Roy Knight | Two processor architecture supporting decoupling of outer loop and inner loop in video decoder |
WO2006075901A1 (en) | 2005-01-14 | 2006-07-20 | Sungkyunkwan University | Methods of and apparatuses for adaptive entropy encoding and adaptive entropy decoding for scalable video encoding |
CN101133650B (zh) | 2005-04-01 | 2010-05-19 | 松下电器产业株式会社 | 图像解码装置以及图像解码方法 |
RU2371881C1 (ru) | 2005-07-08 | 2009-10-27 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ моделирования информации кодирования видеосигнала для компрессии/декомпрессии информации |
US8320453B2 (en) | 2005-07-08 | 2012-11-27 | Lg Electronics Inc. | Method for modeling coding information of a video signal to compress/decompress the information |
JP2009510807A (ja) | 2005-07-08 | 2009-03-12 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号のコーディング情報を圧縮/展開するためにコーディング情報モデリング方法 |
US20080137744A1 (en) | 2005-07-22 | 2008-06-12 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
US8488889B2 (en) | 2005-07-22 | 2013-07-16 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
WO2007010690A1 (ja) | 2005-07-22 | 2007-01-25 | Mitsubishi Electric Corporation | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20080130989A1 (en) | 2005-07-22 | 2008-06-05 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
US20080123947A1 (en) | 2005-07-22 | 2008-05-29 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein |
US20080130988A1 (en) | 2005-07-22 | 2008-06-05 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
US20090123066A1 (en) | 2005-07-22 | 2009-05-14 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein, |
US20080123977A1 (en) | 2005-07-22 | 2008-05-29 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
US8509551B2 (en) | 2005-07-22 | 2013-08-13 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program |
US20080165849A1 (en) | 2005-07-22 | 2008-07-10 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
US20090034857A1 (en) | 2005-07-22 | 2009-02-05 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
US20080130990A1 (en) | 2005-07-22 | 2008-06-05 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
CN100584025C (zh) | 2005-08-04 | 2010-01-20 | 华为技术有限公司 | 一种基于内容自适应的算术解码系统及装置 |
US7894523B2 (en) | 2005-09-05 | 2011-02-22 | Lg Electronics Inc. | Method for modeling coding information of a video signal for compressing/decompressing coding information |
US7595743B1 (en) | 2005-10-26 | 2009-09-29 | Lsi Corporation | System and method for reducing storage requirements for content adaptive binary arithmetic coding |
JP5089878B2 (ja) | 2005-10-28 | 2012-12-05 | パナソニック株式会社 | 画像符号化装置 |
US9479794B2 (en) | 2005-11-10 | 2016-10-25 | Freescale Semiconductor, Inc. | Resource efficient video processing via prediction error computational adjustments |
CN100440979C (zh) * | 2005-12-15 | 2008-12-03 | 清华大学 | 基于上下文的自适应二维变长解码方法和装置 |
GB0600141D0 (en) | 2006-01-05 | 2006-02-15 | British Broadcasting Corp | Scalable coding of video signals |
KR101215615B1 (ko) | 2006-01-10 | 2012-12-26 | 삼성전자주식회사 | 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치 |
US7983343B2 (en) | 2006-01-12 | 2011-07-19 | Lsi Corporation | Context adaptive binary arithmetic decoding for high definition video |
WO2007079781A1 (en) * | 2006-01-13 | 2007-07-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Picture coding using adaptive colour space transformation |
US20070200949A1 (en) | 2006-02-21 | 2007-08-30 | Qualcomm Incorporated | Rapid tuning in multimedia applications |
KR100750165B1 (ko) | 2006-02-22 | 2007-08-17 | 삼성전자주식회사 | 압축률 향상을 위해 개선된 컨텍스트 모델 선택을 사용하는cabac 부호화 방법 및 장치, 그리고 cabac복호화 방법 및 장치 |
JP2007300517A (ja) * | 2006-05-02 | 2007-11-15 | Sony Corp | 動画像処理方法、動画像処理方法のプログラム、動画像処理方法のプログラムを記録した記録媒体及び動画像処理装置 |
US7656326B2 (en) | 2006-06-08 | 2010-02-02 | Via Technologies, Inc. | Decoding of context adaptive binary arithmetic codes in computational core of programmable graphics processing unit |
US7262722B1 (en) | 2006-06-26 | 2007-08-28 | Intel Corporation | Hardware-based CABAC decoder with parallel binary arithmetic decoding |
JP4787100B2 (ja) | 2006-07-27 | 2011-10-05 | パナソニック株式会社 | 画像符号化装置 |
US9883202B2 (en) | 2006-10-06 | 2018-01-30 | Nxp Usa, Inc. | Scaling video processing complexity based on power savings factor |
WO2008072592A1 (ja) | 2006-12-14 | 2008-06-19 | Nec Corporation | 映像符号化方法、映像符号化装置および映像符号化プログラム |
KR20140101872A (ko) | 2007-01-11 | 2014-08-20 | 톰슨 라이센싱 | Mpeg-4 avc 하이 레벨 코딩에 있어서 cavlc 4:4:4 인트라 프로파일, high 4:4:4 인트라 프로파일, 및 high 4:4:4 예측 프로파일에 대하여 coded_block_flag 신택스 엘리먼트 및 coded_block_pattern 신택스 엘리먼트의 신택스를 사용하는 방법 및 장치 |
US8204129B2 (en) | 2007-03-27 | 2012-06-19 | Freescale Semiconductor, Inc. | Simplified deblock filtering for reduced memory access and computational complexity |
WO2008127597A2 (en) | 2007-04-12 | 2008-10-23 | Thomson Licensing | Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding |
JP2008289125A (ja) | 2007-04-20 | 2008-11-27 | Panasonic Corp | 算術復号化装置及びその方法 |
CN100531386C (zh) | 2007-06-15 | 2009-08-19 | 上海富瀚微电子有限公司 | 一种上下文自适应二进制算术编码器及其方法 |
RU2339181C1 (ru) | 2007-06-25 | 2008-11-20 | Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | Способ передачи дополнительной информации при фрактальном кодировании изображений |
US8422803B2 (en) | 2007-06-28 | 2013-04-16 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
EP2191652B1 (en) | 2007-09-02 | 2017-02-08 | Lg Electronics Inc. | A method and an apparatus for processing a video signal |
TWI339074B (en) | 2007-09-05 | 2011-03-11 | Via Tech Inc | Operating method and device of coded block flag parameter |
US7777654B2 (en) | 2007-10-16 | 2010-08-17 | Industrial Technology Research Institute | System and method for context-based adaptive binary arithematic encoding and decoding |
CN101478672B (zh) | 2008-01-04 | 2012-12-19 | 华为技术有限公司 | 视频编码、解码方法及装置和视频处理系统 |
US8542748B2 (en) * | 2008-03-28 | 2013-09-24 | Sharp Laboratories Of America, Inc. | Methods and systems for parallel video encoding and decoding |
JP4962400B2 (ja) * | 2008-04-30 | 2012-06-27 | ソニー株式会社 | 算術復号装置 |
US7592937B1 (en) | 2008-06-02 | 2009-09-22 | Mediatek Inc. | CABAC decoding unit and method |
KR20090129926A (ko) | 2008-06-13 | 2009-12-17 | 삼성전자주식회사 | 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치 |
FR2932911A1 (fr) | 2008-06-24 | 2009-12-25 | France Telecom | Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images. |
CN102090065A (zh) | 2008-07-10 | 2011-06-08 | 三菱电机株式会社 | 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 |
US8594366B2 (en) | 2008-08-19 | 2013-11-26 | Thomson Licensing | Context-based adaptive binary arithmetic coding (CABAC) video stream compliance |
US8634457B2 (en) * | 2008-09-26 | 2014-01-21 | Qualcomm Incorporated | Determining availability of video data units |
US7932843B2 (en) | 2008-10-17 | 2011-04-26 | Texas Instruments Incorporated | Parallel CABAC decoding for video decompression |
EP2182732A1 (en) | 2008-10-28 | 2010-05-05 | Panasonic Corporation | Switching between scans in image coding |
WO2010125606A1 (en) | 2009-04-29 | 2010-11-04 | Aspa-Japan Co., Ltd. | Method for image data compression and compression system of image data |
KR20120129944A (ko) | 2010-02-10 | 2012-11-28 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 장치 |
US9237355B2 (en) | 2010-02-19 | 2016-01-12 | Qualcomm Incorporated | Adaptive motion resolution for video coding |
WO2011125211A1 (ja) | 2010-04-08 | 2011-10-13 | 株式会社 東芝 | 画像符号化方法及び画像復号化方法 |
CN102215396A (zh) | 2010-04-09 | 2011-10-12 | 华为技术有限公司 | 一种视频编解码方法和系统 |
US8942282B2 (en) * | 2010-04-12 | 2015-01-27 | Qualcomm Incorporated | Variable length coding of coded block pattern (CBP) in video compression |
US20110249754A1 (en) * | 2010-04-12 | 2011-10-13 | Qualcomm Incorporated | Variable length coding of coded block pattern (cbp) in video compression |
KR102481529B1 (ko) | 2010-04-13 | 2022-12-23 | 지이 비디오 컴프레션, 엘엘씨 | 평면 간 예측 |
HUE057597T2 (hu) | 2010-04-13 | 2022-05-28 | Ge Video Compression Llc | Videó kódolás képek többes fa struktúrájú alosztásainak használatával |
KR102415787B1 (ko) | 2010-05-04 | 2022-06-30 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 장치 |
US20110310976A1 (en) | 2010-06-17 | 2011-12-22 | Qualcomm Incorporated | Joint Coding of Partition Information in Video Coding |
RS57809B1 (sr) | 2010-07-09 | 2018-12-31 | Samsung Electronics Co Ltd | Metod za dekodiranje video zapisa korišćenjem objedinjavanja blokova |
KR20120016980A (ko) | 2010-08-17 | 2012-02-27 | 한국전자통신연구원 | 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR101719448B1 (ko) | 2010-09-27 | 2017-03-23 | 엘지전자 주식회사 | 블록 분할 방법 및 복호화 장치 |
US8885704B2 (en) | 2010-10-01 | 2014-11-11 | Qualcomm Incorporated | Coding prediction modes in video coding |
CN107360427B (zh) | 2010-10-08 | 2020-09-01 | Ge视频压缩有限责任公司 | 编码器和编码方法与解码器和解码方法 |
PL3962088T3 (pl) | 2010-11-04 | 2023-11-27 | Ge Video Compression, Llc | Kodowanie obrazu wspomagające scalanie bloków i tryb przeskoku |
US9008181B2 (en) | 2011-01-24 | 2015-04-14 | Qualcomm Incorporated | Single reference picture list utilization for interprediction video coding |
US9866861B2 (en) | 2011-02-09 | 2018-01-09 | Lg Electronics Inc. | Method for encoding and decoding image and device using same |
US20120224639A1 (en) | 2011-03-03 | 2012-09-06 | General Instrument Corporation | Method for interpolating half pixels and quarter pixels |
US9788019B2 (en) | 2011-03-09 | 2017-10-10 | Hfi Innovation Inc. | Method and apparatus of transform unit partition with reduced complexity |
EP3937497B1 (en) | 2011-03-21 | 2023-02-22 | LG Electronics, Inc. | Motion vector predictor selection |
EP2716046A4 (en) | 2011-05-27 | 2014-09-03 | Mediatek Inc | METHOD AND APPARATUS FOR CIRCUIT BREAKER REDUCTION FOR VIDEO PROCESSING |
US8995523B2 (en) | 2011-06-03 | 2015-03-31 | Qualcomm Incorporated | Memory efficient context modeling |
CN103621081B (zh) | 2011-06-10 | 2016-12-21 | 寰发股份有限公司 | 可伸缩视频编码方法及装置 |
EP4228264B1 (en) | 2011-06-23 | 2024-07-31 | Sun Patent Trust | Image decoding device, image encoding device |
KR102067683B1 (ko) | 2011-06-24 | 2020-01-17 | 선 페이턴트 트러스트 | 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 |
CN106878722B (zh) | 2011-06-24 | 2019-11-12 | 太阳专利托管公司 | 解码方法、解码装置、编码方法、编码装置 |
RU2608244C2 (ru) | 2011-06-27 | 2017-01-17 | Сан Пэтент Траст | Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений |
CN103563377B (zh) | 2011-06-28 | 2017-05-10 | 太阳专利托管公司 | 解码方法及解码装置 |
MX2013010892A (es) | 2011-06-29 | 2013-12-06 | Panasonic Corp | Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes. |
AU2012277219A1 (en) | 2011-06-30 | 2013-09-19 | Sun Patent Trust | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device |
US20130003858A1 (en) | 2011-06-30 | 2013-01-03 | Vivienne Sze | Simplified Context Selection For Entropy Coding of Transform Coefficient Syntax Elements |
MY167090A (en) | 2011-06-30 | 2018-08-10 | Sun Patent Trust | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
MX2014000162A (es) | 2011-07-01 | 2014-02-19 | Samsung Electronics Co Ltd | Metodo y aparato para codificacion de entropia usando unidad de datos jerargicos, y metodo y aparato para decodificacion. |
RU2604680C2 (ru) | 2011-07-11 | 2016-12-10 | Сан Пэтент Траст | Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений |
US8804816B2 (en) | 2011-08-30 | 2014-08-12 | Microsoft Corporation | Video encoding enhancements |
US20130188741A1 (en) | 2012-01-21 | 2013-07-25 | General Instrument Corporation | Devices and methods for sample adaptive offset coding and/or selection of band offset parameters |
ES2746824T3 (es) | 2012-06-11 | 2020-03-09 | Samsung Electronics Co Ltd | Codificación y decodificación de video compartiendo parámetros SAO según un componente de color |
-
2012
- 2012-07-06 RU RU2013154106/08A patent/RU2604680C2/ru active
- 2012-07-06 BR BR112013031540-7A patent/BR112013031540B1/pt active IP Right Grant
- 2012-07-06 HU HUE12811252A patent/HUE049138T2/hu unknown
- 2012-07-06 JP JP2013523819A patent/JPWO2013008438A1/ja active Pending
- 2012-07-06 CA CA2838575A patent/CA2838575C/en active Active
- 2012-07-06 KR KR1020137032467A patent/KR20140034209A/ko active Application Filing
- 2012-07-06 CN CN201710181459.XA patent/CN106851295B/zh active Active
- 2012-07-06 WO PCT/JP2012/004407 patent/WO2013008438A1/ja active Application Filing
- 2012-07-06 ES ES12811252T patent/ES2784552T3/es active Active
- 2012-07-06 CN CN201710181456.6A patent/CN107087185B/zh active Active
- 2012-07-06 KR KR1020207024349A patent/KR102271116B1/ko active IP Right Grant
- 2012-07-06 MX MX2013013941A patent/MX2013013941A/es active IP Right Grant
- 2012-07-06 EP EP12811252.1A patent/EP2733941B1/en active Active
- 2012-07-06 KR KR1020217019620A patent/KR102404121B1/ko active IP Right Grant
- 2012-07-06 RU RU2016144371A patent/RU2714371C2/ru active
- 2012-07-06 CN CN201280028018.1A patent/CN103765885B/zh active Active
- 2012-07-06 AU AU2012281918A patent/AU2012281918C1/en active Active
- 2012-07-09 US US13/544,061 patent/US9462282B2/en active Active
- 2012-07-10 TW TW101124753A patent/TWI587687B/zh active
- 2012-07-10 AR ARP120102497A patent/AR087117A1/es active IP Right Grant
-
2016
- 2016-08-23 US US15/244,336 patent/US9854257B2/en active Active
- 2016-12-07 JP JP2016237521A patent/JP2017073816A/ja active Pending
-
2017
- 2017-10-30 US US15/797,155 patent/US10154270B2/en active Active
-
2018
- 2018-07-11 JP JP2018131711A patent/JP6660602B2/ja active Active
- 2018-10-26 US US16/171,961 patent/US10575003B2/en active Active
-
2020
- 2020-01-16 US US16/744,396 patent/US11343518B2/en active Active
-
2022
- 2022-04-21 US US17/725,771 patent/US11770544B2/en active Active
-
2023
- 2023-08-14 US US18/233,376 patent/US20230388523A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1531347A (zh) * | 2003-03-10 | 2004-09-22 | 三菱电机株式会社 | 图象信号编码装置及图象信号编码方法 |
WO2004086758A1 (ja) * | 2003-03-24 | 2004-10-07 | Sony Corporation | データ符号化装置およびデータ符号化方法、データ出力装置およびデータ出力方法、信号処理システム、信号処理装置および信号処理方法、並びにデータ復号化装置およびデータ復号化方法 |
Non-Patent Citations (2)
Title |
---|
DETLEV MARPE: "Context-based adaptive binary arithmetic coding in the H.264/AVC video compression standard", 《 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
WEI-JUNG CHIEN: "Memory and Parsing Friendly CABAC Context", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111339193A (zh) * | 2020-02-21 | 2020-06-26 | 腾讯云计算(北京)有限责任公司 | 类别的编码方法及装置 |
CN111339193B (zh) * | 2020-02-21 | 2023-06-27 | 腾讯云计算(北京)有限责任公司 | 类别的编码方法及装置 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103765885B (zh) | 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置 | |
CN103583048B (zh) | 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置 | |
CN103563375B (zh) | 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置 | |
CN103535036B (zh) | 解码方法和解码装置 | |
CN103563377B (zh) | 解码方法及解码装置 | |
CN103609113B (zh) | 图像解码方法及图像解码装置 | |
CN103004208B (zh) | 图像编码方法和装置、图像解码方法和装置 | |
CN103609110B (zh) | 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置 | |
EP2665264B1 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device | |
CN103202020B (zh) | 动态图像解码方法以及动态图像解码装置 | |
TWI587686B (zh) | Decoding method, encoding method, decoding apparatus, coding apparatus, and encoding and decoding apparatus (2) | |
CN103621088A (zh) | 图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |