CN109451320B - 图像编码方法、图像解码方法、图像编码装置以及图像解码装置 - Google Patents

图像编码方法、图像解码方法、图像编码装置以及图像解码装置 Download PDF

Info

Publication number
CN109451320B
CN109451320B CN201811220121.1A CN201811220121A CN109451320B CN 109451320 B CN109451320 B CN 109451320B CN 201811220121 A CN201811220121 A CN 201811220121A CN 109451320 B CN109451320 B CN 109451320B
Authority
CN
China
Prior art keywords
image
frame rate
picture
pictures
maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811220121.1A
Other languages
English (en)
Other versions
CN109451320A (zh
Inventor
寺田健吾
西孝启
笹井寿郎
吉川哲史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Sun Patent Trust Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust Inc filed Critical Sun Patent Trust Inc
Priority to CN201811220121.1A priority Critical patent/CN109451320B/zh
Publication of CN109451320A publication Critical patent/CN109451320A/zh
Application granted granted Critical
Publication of CN109451320B publication Critical patent/CN109451320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain

Abstract

图像编码方法是将运动图像进行层级编码的图像编码方法，其特征在于，包括以下步骤：层级数设定步骤，针对上述运动图像，设定与上述运动图像的帧速率对应的最大层级数以下的层级数；以及编码步骤，以具有所设定的上述层级数的层级的层级构造，将上述运动图像中包含的多个图像进行层级编码，从而生成比特流；上述运动图像的显示顺序与上述运动图像的编码顺序不同。

Description

图像编码方法、图像解码方法、图像编码装置以及图像解码 装置
本申请是申请日为2014年6月4日、申请号为201480002966.7、发明名称为“图像编码方法、图像解码方法、图像编码装置以及图像解码装置”的中国专利申请的分案申请。
技术领域
本发明涉及将图像编码的图像编码方法、或者将图像解码的图像解码方法。
背景技术
作为有关将图像(包括运动图像)编码的图像编码方法以及将图像解码的图像解码方法的技术，有在非专利文献1中记载的技术。此外，作为有关编码及解码的运用规定，有在非专利文献2中记载的规定。
现有技术文献
非专利文献
非专利文献1：Joint Collaborative Team on Video Coding(JCT－VC)of ITU－T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting：Geneva，CH，14－23Jan.2013JCTVC－L1003＿v34.doc，High Efficiency Video Coding(HEVC)textspecification draft 10(for FDIS&Last Call)http：//phenix.it－sudparis.eu/jct/doc＿end＿user/documents/12＿Geneva/wg11/JCTVC－L1003－v34.zip
非专利文献2：一般社団法人電波産業会標準規格ARIB STD－B32 2.8版2－STD－B32v2＿8.pdf，デジタル放送における映像符号化、音声符号化及び多重化方式http：//www.arib.or.jp/english/html/overview/doc/2－STD－B32v2＿8.pdf
发明内容
发明要解决的课题
但是，在现有技术的图像编码方法或图像解码方法中，有非效率性的处理被使用的情况。
因此，本发明的目的在于，提供将图像有效率地编码的图像编码方法、或者将图像有效率地解码的图像解码方法。
用于解决课题的手段
为了达成上述目的，本发明的一个方式的图像编码方法，将运动图像进行层级编码，其特征在于，包括以下步骤：层级数设定步骤，针对上述运动图像，设定与上述运动图像的帧速率对应的最大层级数以下的层级数；以及编码步骤，以具有所设定的上述层级数的层级的层级构造，将上述运动图像中包含的多个图像进行层级编码，从而生成比特流；上述运动图像的显示顺序与上述运动图像的编码顺序不同。
此外，本发明的一个方式的图像解码方法，对比特流进行解码，该比特流是通过以具有层级数的层级的层级构造、将运动图像中包含的多个图像进行层级编码而得到的，其特征在于，包括以下步骤：图像解码步骤，从上述比特流将上述多个图像解码；信息解码步骤，从上述比特流将表示上述层级数的第1信息解码；以及重新排列步骤，利用上述第1信息所表示的上述层级数，将被解码后的上述多个图像重新排列并输出；上述层级数为与上述运动图像的上述比特流的帧速率对应的最大层级数以下；上述运动图像的显示顺序与上述运动图像的解码顺序不同。
另外，这些全局性或具体性的方式可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等记录介质来实现，也可以由系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
发明效果
本发明能够提供能够将图像有效率地编码的图像编码方法或能够将图像有效率地解码的图像解码方法。
附图说明
图1是表示编码构造的一例的图。
图2是表示显示延迟图片数的图。
图3是实施方式1的图像编码装置的模块图。
图4是实施方式1的图像编码处理的流程图。
图5是实施方式1的限制值设定部的模块图。
图6是实施方式1的限制值设定处理的流程图。
图7是实施方式1的编码部的模块图。
图8是实施方式1的编码处理的流程图。
图9A是表示实施方式1的送出延迟图片数的图。
图9B是表示实施方式1的送出延迟图片数的图。
图9C是表示实施方式1的送出延迟图片数的图。
图9D是表示实施方式1的送出延迟图片数的图。
图10是表示实施方式1的编码构造限制值的一例的图。
图11A是表示实施方式1的编码构造的图。
图11B是表示实施方式1的编码构造的图。
图11C是表示实施方式1的编码构造的图。
图11D是表示实施方式1的编码构造的图。
图12A是表示实施方式1的显示延迟图片数的图。
图12B是表示实施方式1的显示延迟图片数的图。
图12C是表示实施方式1的显示延迟图片数的图。
图12D是表示实施方式1的显示延迟图片数的图。
图13是实施方式2的图像解码装置的模块图。
图14是实施方式2的图像解码处理的流程图。
图15是实施方式1的图像编码方法的流程图。
图16是实施方式2的图像解码方法的流程图。
图17是实现内容分发服务的内容供给系统的整体结构图。
图18是数字广播用系统的整体结构图。
图19是表示电视机的结构例的模块图。
图20是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
图21是表示作为光盘的记录介质的构造例的图。
图22A是表示便携电话的一例的图。
图22B是表示便携电话的结构例的模块图。
图23是表示复用数据的结构的图。
图24是示意地表示各流在复用数据中怎样被复用的图。
图25是更详细地表示在PES包序列中视频流怎样被保存的图。
图26是表示复用数据的TS包和源包的构造的图。
图27是表示PMT的数据结构的图。
图28是表示复用数据信息的内部结构的图。
图29是表示流属性信息的内部结构的图。
图30是表示识别影像数据的步骤的图。
图31是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
图32是表示切换驱动频率的结构的图。
图33是表示识别影像数据、切换驱动频率的步骤的图。
图34是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
图35A是表示将信号处理部的模块共用的结构的一例的图。
图35B是表示将信号处理部的模块共用的结构的另一例的图。
具体实施方式
(成为本发明的基础的见解)
本发明人发现，关于在“背景技术”栏中记载的、将图像编码的图像编码装置或者将图像解码的图像解码装置，会产生以下的问题。
近年来，数字影像设备的技术进步显著，从数字摄像机或电视调谐器输出的影像信号(按时间序列依次排列的多个图片)被压缩编码、得到的编码信号被记录到DVD或硬盘等存储介质中的机会增大。
作为图像编码规格，有H.264/AVC(MPEG－4 AVC)。此外，作为下一代的标准规格，正在研究HEVC(High Efficiency Video Coding，高效视频编码)规格(非专利文献1)。此外，还对将图像编码规格怎样进行运用的规定进行研究(非专利文献2)。
根据当前的运用规定(非专利文献2)，如图1所示那样，编码构造被限制到3层级，由此如图2所示那样，最大的显示延迟图片数被限制为2张。图1所示的TemporalId是编码构造的层级的识别符。TemporalId越大则表示是越深的层级。
1个四角的块表示图片，块内的Ix表示I图片(画面内预测图片)，Px表示P图片(前方参照预测图片)，Bx表示B图片(双向参照预测图片)。Ix/Px/Bx的x表示显示次序，表示对图片进行显示的顺序。
图片间的箭头表示参照关系。例如，图片B1将图片I0、图片B2以及图片P4用作参照图像而生成预测图像。此外，将具有比自身的TemporalId大的TemporalId的图片用作参照图像是被禁止的。由此，图片解码顺序如图2所示那样是TemporalId从小到大的顺序，是图片I0、图片P4、图片B2、图片B1、图片B3的顺序。
此外，通过规定层级，能够使编码序列具有时间可分级性(scalability)。
例如，在希望从60fps(frame per second)的编码序列取得30fps的影像的情况下，图像解码装置仅将图1的TemporalId0以及TemporalId1的图片解码。由此，图像解码装置能够得到30fps的图像。并且，解码图像需要依次以没有空闲的方式输出，所以图像解码装置在图片B2的解码后从图片I0起依次输出图片。因此，显示延迟图片数成为2张。若将其换算为时间，则原始的帧速率为30fps的情况下的显示延迟时间为2/30秒，帧速率为60fps的情况下的显示延迟时间为2/60秒。
通过利用时间可分级性高的构造，在频带混杂的情况下、或者处理能力低的图像解码装置进行解码处理的情况下，图像解码装置能够仅将TemporalId小的层级的图片解码，对得到的图像进行显示。这样，通用性提高。但是，若允许深的层级构造，则具有显示延迟增大的课题。
但是，即使如上述那样预先规定显示延迟图片数，显示延迟时间也根据帧速率而不同。在比标准的帧速率(例如30fps)低的帧速率(例如24fps)的情况下，显示延迟时间为2/24秒，与30fps的2/30秒相比延迟时间变长。
本发明的一个方式的图像编码方法，是将图像进行层级编码的图像编码方法，包括以下步骤：层级数决定步骤，决定层级数，以使得上述层级编码中的上述层级数成为根据帧速率决定的最大层级数以下；以及编码步骤，以决定的上述层级数，将上述图像进行层级编码，从而生成比特流。
由此，该图像编码方法能够抑制显示延迟时间的增加，并且使层级数增加。因此，该图像编码方法能够将图像有效率地编码。
例如，上述帧速率为60fps以下的情况下，上述最大层级数可以为4以下。
例如，上述帧速率为120fps的情况下，上述最大层级数可以为5。
例如，上述图像编码方法可以还包括图片类型决定步骤，该图片类型决定步骤中，决定图像的图片类型，以使得在图像解码装置中，从将上述图像解码开始到将其输出为止的图片的数量即显示延迟图片数成为根据上述帧速率决定的最大图片数以下；在上述编码步骤中，以所决定的图片类型将上述图像编码。
例如，上述图片类型决定步骤中，可以决定上述图像的上述图片类型，以使得连续的B图片的数量即B图片连续数成为根据上述帧速率决定的最大连续数以下。
例如，可以是，上述最大图片数、从向图像编码装置输入上述图像开始到上述比特流被输出为止的时间即编码器送出延迟、以及上述帧速率满足以下的关系，
最大图片数＝int(log2(编码器送出延迟[s]×帧速率[fps]))，
上述最大连续数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大连续数＝int(编码器送出延迟[s]×帧速率[fps]－1)，
上述最大层级数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大层级数＝int(log2(编码器送出延迟[s]×帧速率[fps]))+1。
例如，可以是，各层级的最大图片数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大图片数[i]＝int(log2(编码器送出延迟[s]×帧速率[fps]/2(n-i)))，
各层级的最大连续数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大连续数[i]＝int(编码器送出延迟[s]×帧速率[fps]/2(n-i)－1)，
i是上述最大层级数以下的整数，表示层级，n表示(上述最大层级数－1)。
此外，本发明的一个方式的图像解码方法，对将图像进行层级编码而得到的比特流进行解码，包括以下步骤：图像解码步骤，从上述比特流将上述图像解码；信息解码步骤，从上述比特流将表示上述层级编码中的层级数的第1信息解码；以及重新排列步骤，利用上述第1信息所表示的上述层级数，将被解码后的上述图像重新排列并输出；上述层级数为根据上述比特流的帧速率而预先决定的最大层级数以下。
由此，该图像解码方法能够将通过有效率地被编码而得到的比特流进行解码。
例如，在上述帧速率为60fps以下的情况下，上述最大层级数可以为4以下。
例如，在上述帧速率为120fps的情况下，上述最大层级数可以为5。
例如，上述信息解码步骤中，可以还将第2信息从上述比特流进行解码，该第2信息表示在图像解码装置中从将图像解码开始到将其输出为止的图片的数量即显示延迟图片数；上述重新排列步骤中，利用上述第1信息所表示的上述层级数和上述第2信息所表示的上述显示延迟图片数，将被解码后的上述图像重新排列并输出。
例如，上述信息解码步骤中，可以还将第3信息从上述比特流进行解码，该第3信息表示连续的B图片的数量即B图片连续数；上述重新排列步骤中，利用上述第1信息所表示的上述层级数、上述第2信息所表示的上述显示延迟图片数、以及上述第3信息所表示的B图片连续数，将被解码后的上述图像重新排列并输出。
例如，可以是，上述最大图片数、从向图像编码装置输入上述图像开始到上述比特流被输出为止的时间即编码器送出延迟、以及上述帧速率满足以下的关系，
最大图片数＝int(log2(编码器送出延迟[s]×帧速率[fps]))，
上述最大连续数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大连续数＝int(编码器送出延迟[s]×帧速率[fps]－1)，
上述最大层级数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大层级数＝int(log2(编码器送出延迟[s]×帧速率[fps]))+1。
例如，可以是，各层级的最大图片数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大图片数[i]＝int(log2(编码器送出延迟[s]×帧速率[fps]/2(n-i)))，
各层级的最大连续数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大连续数[i]＝int(编码器送出延迟[s]×帧速率[fps]/2(n-i)－1)，
i是上述最大层级数以下的整数，表示层级，n表示(上述最大层级数－1)。
此外，本发明的一个方式的图像编码装置，是将图像编码的图像编码装置，具备处理电路和能够从上述处理电路来访问的存储装置，上述处理电路利用上述存储装置，执行上述图像编码方法。
由此，该图像编码装置能够抑制显示延迟时间的增加，并且使层级数增加。因而，该图像编码装置能够将图像有效率地编码。
此外，本发明的一个方式的图像解码装置，是对通过将图像编码而得到的比特流进行解码的图像解码装置，具备处理电路和能够从上述处理电路来访问的存储装置，上述处理电路利用上述存储装置，执行上述图像解码方法。
由此，该图像解码装置能够将通过有效率地被编码而得到的比特流进行解码。
另外，这些全局性或具体性的方式可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等记录介质来实现，也可以由系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
以下，对于实施方式，参照附图具体说明。另外，以下说明的实施方式均表示本发明的一个具体例。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并不意欲限定本发明。此外，以下的实施方式中的构成要素中，对于表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素来说明。
(实施方式1)
本实施方式的图像编码装置，在帧速率高的情况下，使层级数增多。由此，能够抑制显示延迟时间的增加，并且增加层级数。
＜整体结构＞
图3是表示本实施方式的图像编码装置100的结构的模块图。
图3所示的图像编码装置100通过将输入图像153编码而生成编码序列155(比特流)。该图像编码装置100具备限制值设定部101和编码部102。
＜动作(整体)＞
接着，参照图4，对编码处理整体的流程进行说明。图4是本实施方式的图像编码方法的流程图。
首先，限制值设定部101设定与层级编码的编码构造有关的编码构造限制值154(S101)。具体而言，限制值设定部101利用帧速率151和送出延迟时间限制值152设定编码构造限制值154。
接着，编码部102将编码构造限制值154编码，并且利用编码构造限制值154将输入图像153编码，从而生成编码序列155(S102)。
＜限制值设定部101的结构＞
图5是表示限制值设定部101的内部结构的一例的模块图。
如图5所示，限制值设定部101具备层级数设定部111、层级数参数设定部112、显示延迟图片数设定部113、B图片连续数设定部114、以及连续数参数设定部115。
＜动作(编码构造限制值设定)＞
接着，参照图6，对限制值设定处理(图4的S101)的一例进行说明。
图6是本实施方式的限制值设定处理的流程图。
首先，层级数设定部111利用从图像编码装置100的外部输入的帧速率151以及送出延迟时间限制值152，设定编码构造的层级数161。例如，层级数161通过下述(式1)被算出(S111)。
层级数＝int(log2(送出延迟时间限制值[s]×帧速率[fps]))+1
···(式1)
上述(式1)中，int(x)表示返回舍去了x的小数部的整数的函数，log2(x)表示返回x的以2为底的对数的函数。送出延迟时间限制值152表示从输入图像153被输入到图像编码装置100开始到该输入图像153的编码序列155被输出为止的最大时间。
接着，层级数参数设定部112利用层级数161，通过下述(式2)，设定层级数参数163即sps＿max＿sub＿layers＿minus1(S112)。
sps＿max＿sub＿layers＿minus1＝层级数－1···(式2)
接着，限制值设定部101对TId设定0(S113)。TId是用于识别层级的变量，为了在以后的每个层级的处理中对处理对象的层级进行识别而被使用。
接着，显示延迟图片数设定部113利用帧速率151、送出延迟时间限制值152、以及层级数参数163，设定TemporalId为TId的层级的显示延迟图片数164(S114)。显示延迟图片数164是图片解码时从图片的解码开始起到图片的显示开始为止的图片数。显示延迟图片数164通过下述(式3)被算出。
TemporalId为TId的层级的显示延迟图片数＝int(log2(送出延迟时间限制值[s]×帧速率[fps]÷2(n-TId)))···(式3)
上述(式3)中，n表示最大的TemporalId，是在步骤S112中算出的sps＿max＿sub＿layers＿minus1的值。显示延迟图片数设定部113将算出的、TemporalId为TId的层级的显示延迟图片数对sps＿max＿num＿reorder＿pics[TId]设定。
接着，B图片连续数设定部114利用帧速率151、送出延迟时间限制值152、以及层级数参数163，设定TemporalId为TId的层级的B图片连续数162(S115)。B图片连续数162是连续的B图片的张数，通过下述(式4)被算出。
TemporalId为TId的层级的B图片连续数＝int(送出延迟时间限制值[s]×帧速率[fps]÷2(n-TId)－1)···(式4)
接着，连续数参数设定部115利用TemporalId为TId的层级的、B图片连续数162以及显示延迟图片数164(sps＿max＿num＿reorder＿pics[TId])，设定TemporalId为TId的层级的连续数参数165(S116)。TemporalId为TId的层级的连续数参数165通过下述(式5)被设定。
TemporalId为TId的层级的连续数参数＝TemporalId为TId的层级的B图片连续数－sps＿max＿num＿reorder＿pics[TId]+1···(式5)
算出的连续数参数165被设定于sps＿max＿latency＿increase＿plus1[TId]。
接着，限制值设定部101通过对TId加1而转移处理对象的层级(S117)。步骤S114～S117被重复，直到TId成为层级数161、即所有层级的处理完成(S118)。
另外，这里，限制值设定部101在设定了层级数161后，设定了各层级的显示延迟图片数164和B图片连续数162，但设定顺序不限于此。
＜编码部102的结构＞
图7是表示编码部102的内部结构的模块图。如图7所示，编码部102具备图像重新排列部121、编码块分割部122、减法部123、变换量化部124、可变长编码部125、逆变换量化部126、加法部127、帧存储器128、帧内预测部129、帧间预测部130、以及选择部131。
＜动作(编码)＞
接着，参照图8，对本实施方式的编码处理(图4的S102)进行说明。
图8是本实施方式的编码处理的流程图。
首先，可变长编码部125将由限制值设定部101设定的sps＿max＿sub＿layers＿minus1、sps＿max＿num＿reorder＿pics[]、sps＿max＿latency＿increase＿plus1[]进行可变长编码(S121)。sps＿max＿num＿reorder＿pics[]、sps＿max＿latency＿increase＿plus1[]按每个层级而存在，可变长编码部125将它们全部编码。
接着，图像重新排列部121按照sps＿max＿sub＿layers＿minus1、sps＿max＿num＿reorder＿pics[]、sps＿max＿latency＿increase＿plus1[]对输入图像153进行重新排列，并且决定输入图像153的图片类型(S122)。
图像重新排列部121将该重新排列利用sps＿max＿num＿reorder＿pics[sps＿max＿sub＿layers＿minus1]和SpsMaxLatencyPictures进行。SpsMaxLatencyPictures通过下述(式6)被算出。
SpsMaxLatencyPictures＝sps＿max＿num＿reorder＿pics[sps＿max＿sub＿layers＿minus1]+sps＿max＿latency＿increase＿plus1[sps＿max＿sub＿layers＿minus1]－1···(式6)
图9A～图9D是表示该重新排列的图。由于进行图9A～图9D所示那样的重新排列，所以编码部102如果不是在输入图像153被输入了多张后则无法开始输入图像153的编码。即，从第1张输入图像153被输入开始到开始编码序列155的输出为止发生延迟。该延迟是送出延迟时间，上述的送出延迟时间限制值152是该送出延迟时间的限制值。
此外，图9A～图9D表示与编码构造限制值154对应的送出延迟图片数。图9A表示sps＿max＿num＿reorder＿pics[sps＿max＿sub＿layers＿minus1]是1、SpsMaxLatencyPictures是2的情况下的送出延迟图片数。图9B表示sps＿max＿num＿reorder＿pics[sps＿max＿sub＿layers＿minus1]是2、SpsMaxLatencyPictures是3的情况下的送出延迟图片数。图9C表示sps＿max＿num＿reorder＿pics[sps＿max＿sub＿layers＿minus1]是3、SpsMaxLatencyPictures是7的情况下的送出延迟图片数。图9B表示sps＿max＿num＿reorder＿pics[sps＿max＿sub＿layers＿minus1]是4、SpsMaxLatencyPictures是7的情况下的送出延迟图片数。
例如，图9A的情况下，图像0、图像1、图像2、图像3依次被输入到图像编码装置100，图像编码装置100将这些图像按图像0、图像3、图像1、图像2的顺序进行编码。图像编码装置100由于需要将编码序列无间隙地送出，所以在图像3被输入之前不开始编码序列的送出。因此，从图像0被输入后到开始编码序列的送出，发生3图片量的送出延迟。此外，图像重新排列部121决定各图像的图片类型，将表示各图像将哪个图像用作参照图片的信息向帧间预测部130输出。这里，图片类型是指I图片、P图片以及B图片。
接着，编码块分割部122将输入图像153分割为编码块171(S123)。
接着，帧内预测部129生成帧内预测的预测块，算出该预测块的成本(cost)(S124)。帧间预测部130生成帧间预测的预测块，算出该预测块的成本(S125)。选择部131利用算出的成本等，决定使用的预测模式以及预测块177(S126)。
接着，减法部123通过算出预测块177与编码块171的差分而生成差分块172(S127)。接着，变换量化部124通过对差分块172进行频率变换及量化而生成变换系数173(S128)。接着，逆变换量化部126通过对变换系数173进行逆量化及逆频率变换而将差分块174复原(S129)。接着，加法部127通过将预测块177和差分块174相加而生成解码块175(S130)。该解码块175被保存于帧存储器128，在帧内预测部129及帧间预测部130的预测处理中被使用。
接着，可变长编码部125将表示所使用的预测模式等的预测信息178进行编码(S131)，将变换系数173进行编码(S132)。
并且，处理向下一编码块转移(S133)，编码部102重复步骤S124～S133，直到图片内的全部编码块的处理完成(S134)。
并且，编码部102重复步骤S122～S134，直到全部图片的处理完成(S135)。
＜效果＞
以上，本实施方式的图像编码装置100通过帧速率151以及送出延迟时间限制值152决定编码构造。由此，图像编码装置100在帧速率151高的情况下，能够不将解码器的显示延迟时间以及编码器的送出延迟时间进行延长而使层级较深，所以能够提高时间可分级性。此外，由于B图片的张数增加，所以能够提高压缩性能。
此外，在各种各样的帧速率的情况下也能够使得不超过指定的解码器的显示延迟时间以及编码器的送出延迟时间。
对此更具体地说明。图10是表示通过帧速率151以及送出延迟时间限制值152被算出的、层级数161、显示延迟图片数164以及B图片连续数162的图。此外，图10中，表示将送出延迟时间限制值设为4/30秒的情况的例子。
此外，图11A～图11D是表示基于图10的条件的编码构造的图。图11A表示帧速率为24fps的情况的构造。图11B表示帧速率为30fps的情况的构造。图11C表示帧速率为60fps的情况的构造。图11D表示帧速率为120fps的情况的构造。
此外，对于编码序列的送出延迟图片数，帧速率为24fps、30fps、60fps以及120fps的情况分别示于图9A～图9D。此外，图12A～图12D是表示帧速率为24fps、30fps、60fps以及120fps的情况的显示延迟图片数的图。
如图10所示，在全部的帧速率中，送出延迟时间不超过作为限制值的4/30秒。此外，根据当前的运用规定(非专利文献2)，如图11B那样编码构造被限制到3层级。即，如图12B那样显示延迟图片数被限制到2，如图9B所示那样编码序列的送出延迟图片数被限制到4。此外，30fps的情况下，显示延迟时间为2/30秒，送出延迟时间为4/30秒。本实施方式中，在将送出延迟时间限制值设定为4/30秒的情况下，即使与帧速率相对应地使层级数增减，送出延迟时间也不超过4/30秒，显示延迟时间也不超过2/30秒。
此外，本实施方式中，图像编码装置100不仅利用显示延迟时间、而且还利用送出延迟时间的限制值来决定编码构造。通过这样用送出延迟时间来限制编码构造，能够不超过当前的运用规定(非专利文献2)的显示延迟时间即2/30秒、以及送出延迟时间即4/30秒这双方而决定编码构造。更具体而言，在不超过当前的运用规定(非专利文献2)的显示延迟时间即2/30秒而决定了显示延迟图片数的情况下，在120fps显示延迟图片数是8(8/120秒)，许可到9层级的编码构造。但是，在利用9层级的编码构造的情况下，送出延迟图片数为256(256/120秒)，大大超过当前的运用规定(非专利文献2)的送出延迟时间4/30秒。另一方面，着眼于送出延迟时间，不超过4/30秒的送出延迟时间而决定了送出延迟图片数的情况下，在120fps送出延迟图片数被限制为16(16/120秒)，编码构造被限制到5层级。该情况下，显示延迟时间不超过2/30秒。这样，通过限制送出延迟时间，能够适当地限制送出延迟时间以及显示延迟时间这双方。
此外，图像编码装置100在各层级对编码构造的限制值进行设定。由此，在仅将TemporalId小的层级的图片解码的图像解码装置中，也能够使得显示延迟时间不超过被指定了的时间。
另外，在上述说明中，图像编码装置100通过算式将层级数等编码构造限制值算出，但也可以将图10所示的表预先保存于存储器，参照该表，设定与帧速率151和送出延迟时间限制值152相对应的编码构造限制值。此外，图像编码装置100也可以利用表及算式双方。例如，图像编码装置100可以在帧速率为24fps以下的情况下利用表来设定编码构造限制值，在帧速率超过24fps的情况下利用算式来设定编码构造限制值。
此外，上述说明中，图像编码装置100利用从外部输入的送出延迟时间限制值152以及帧速率151，但不一定如此。例如，作为送出延迟时间限制值152以及帧速率151的至少一方，图像编码装置100也可以使用预先确定的固定值。此外，图像编码装置100也可以根据缓存存储器等的内部的状态来决定送出延迟时间限制值152以及帧速率151的至少一方。
此外，图11A～图11D所示的编码构造是一例，不限于此。例如，表示参照图像的箭头不限于此，各图片只要不将具有比自身的TemporalId大的TemporalId的图片作为参照图像使用即可，例如，图11B所示的图像B1也可以将图像P4作为参照图像来使用。
此外，上述的编码构造的限制值(层级数、B图片连续数以及显示延迟图片数)始终是最大值，根据情况也可以使用比限制值小的值。例如，图10中在帧速率为30fps的情况下，示出了层级数为3、B图片连续数为3[2]、显示延迟图片数为2[2]的如图11B那样的编码构造，但层级数只要在3以下就可以，B图片连续数以及显示延迟图片数只要是与3以下的层级数对应的值就可以。例如可以是，层级数为2，B图片连续数为2[1]，显示延迟图片数为2[2]。该情况下，例如，图11A所示的编码构造被使用。该情况下，图8所示的步骤S121的编码构造编码中，表示所使用的编码构造的信息被编码。
此外，上述说明中，对sps＿max＿num＿reorder＿pics设定显示延迟图片数，但sps＿max＿num＿reorder＿pics也可以是表示顺序被变更的图片的数量的变量。例如，图9C所示的例子中，输入图像8、输入图像4以及输入图像2以成为比输入顺序(显示顺序)的位置靠前的方式被重新排列并被编码。该情况下，顺序被变更的图片数为3，该值3可以被设定于sps＿max＿num＿reorder＿pics。
此外，上述说明中，连续数参数被设定于sps＿max＿latency＿increase＿plus1，将sps＿max＿num＿reorder＿pics+sps＿max＿latency＿increase＿plus1－1的值(SpsMaxLatencyPictures)作为B图片连续数来处理，但SpsMaxLatencyPictures也可以表示在图片解码完成后在从该图片被保存在缓存中到能够显示之间被解码的图片的数量即图片解码次数的最大值。例如，图12B的图像P4的情况下，图像P4的解码完成后，在图像B2、图像B1以及图像B3这3张图像被解码后，图像P4成为能够显示的状态。此外，图像B2、图像B3以及图像P4依次被显示。该最大的图片解码次数即3可以被设定于SpsMaxLatencyPictures。
此外，本实施方式中对各层级设定sps＿max＿num＿reorder＿pics、以及sps＿max＿latency＿increase＿plus1，它们被编码，但不限于此。例如可以是，在不使用时间可分级性的系统的情况下，仅最深的层级(TemporalId最大的层级)的sps＿max＿num＿reorder＿pics、以及sps＿max＿latency＿increase＿plus1的值被设定，它们被编码。
此外，上述说明中，帧速率为24fps、30fps、60fps以及120fps这4个种类，但也可以使用这以外的帧速率。此外，帧速率也可以是29.97fps等包含小数的数值。
进而，本实施方式中的处理也可以用软件实现。并且，可以将该软件通过下载等进行分发。此外，该也可以将该软件记录到CD－ROM等记录介质中来传播。另外，这也适用于本说明书中的其他实施方式。
(实施方式2)
本实施方式中，对与实施方式1说明的图像编码装置对应的图像解码装置进行说明。
＜整体结构＞
图13是表示本实施方式的图像解码装置200的结构的模块图。
图13所示的图像解码装置200通过将编码序列251解码而生成输出图像263。编码序列251是例如由实施方式1的图像编码装置100生成的编码序列155。该图像解码装置200具备可变长解码部201、逆变换量化部202、加法部203、帧存储器204、帧内预测块生成部205、帧间预测块生成部206、限制值解码部208、图像重新排列部209、以及编码构造确认部210。
＜动作(整体)＞
接着，参照图14，对本实施方式的图像解码处理进行说明。
首先，可变长解码部201从编码序列251将编码构造限制值257解码。该编码构造限制值257包含sps＿max＿sub＿layers＿minus1、sps＿max＿num＿reorder＿pics、以及sps＿max＿latency＿increase＿plus1。另外，这些信息的含义与实施方式1同样。接着，限制值解码部208通过对sps＿max＿sub＿layers＿minus1加1而取得层级数，通过sps＿max＿num＿reorder＿pics+sps＿max＿latency＿increase＿plus1－1的算式取得B图片连续数，通过sps＿max＿num＿reorder＿pics取得显示延迟图片数(S201)。此外，限制值解码部208根据与从外部输入的HighestTId252的值对应的TemporalId的层级的sps＿max＿num＿reorder＿pics、以及sps＿max＿latency＿increase＿plus1，取得编码构造262(层级数、显示延迟图片数以及B图片连续数)，将取得的编码构造262向图像重新排列部209以及编码构造确认部210输出。这里，HighestTId252表示被解码的最大层级的TemporalId。
接着，编码构造确认部210确认编码构造262的各值是否依照了运用规定(S202)。具体而言，编码构造确认部210利用从外部输入的送出延迟时间限制值253、和通过将编码序列251进行可变长解码而得到的帧速率256，通过下述(式7)～(式9)算出各限制值，判定编码构造是否是算出的限制值以下。
层级数＝int(log2(送出延迟时间限制值[s]×帧速率[fps]))+1
···(式7)
显示延迟图片数[TId]＝int(log2(送出延迟时间限制值[s]×帧速率[fps]÷2(n -TId)))···(式8)
B图片连续数[TId]＝int(送出延迟时间限制值[s]×帧速率[fps]÷2(n-TId)－1)···(式9)
编码构造确认部210在编码构造比限制值大的情况下(S203，是)，将这一情况进行报错显示(S204)，结束解码处理。
接着，可变长解码部201从编码序列251将表示预测模式的预测信息255解码(S205)。预测模式是帧内预测的情况下(S206，是)，帧内预测块生成部205通过帧内预测生成预测块261(S207)。另一方面，预测模式是帧间预测的情况下(S206，否)，帧间预测块生成部206通过帧间预测生成预测块261(S208)。
接着，可变长解码部201从编码序列251将变换系数254解码(S209)。接着，逆变换量化部202通过对变换系数254进行逆量化及逆频率变换而将差分块258复原(S210)。接着，加法部203通过将差分块258和预测块261相加而生成解码块259(S211)。该解码块259被保存于帧存储器204，在帧内预测块生成部205及帧间预测块生成部206的预测块生成处理中被使用。
并且，图像解码装置200将处理转移到下个编码块(S212)，重复步骤S205～S212，直到图片内的全部编码块的处理完成(S213)。
另外，步骤S205～S212的处理仅对具有从外部输入的HighestTId252以下的TemporalId的图片实施。
接着，图像重新排列部209按照从外部输入的HighestTId252的层级的编码构造262将解码图片重新排列，将重新排列后的解码图片作为输出图像263输出(S214)。
并且，图像解码装置200重复步骤S205～S214，直到全部图片的处理完成(S215)。
＜效果＞
以上，本实施方式的图像解码装置200能够对通过有效率的编码而生成的编码序列进行解码。此外，图像解码装置200能够检查编码构造是否依据了运用规定，在未依据的情况下将解码处理停止，进行报错显示。
另外，在上述说明中，图像解码装置200按照从外部输入的HighestTId252，使得仅将HighestTId252以下的层级的图片解码，但不限于此。图像解码装置200也可以始终将全部层级的图片解码。此外，图像解码装置200也可以利用作为HighestTId252而预先确定的固定值，始终仅将由HighestTId252表示的预先确定的层级以下的图片解码。
此外，上述说明中，图像解码装置200检查编码构造262是否依据了运用规定，但该功能不是必须的，也可以不确认编码构造262。
此外，上述说明中，图像解码装置200利用从外部输入的送出延迟时间限制值253，但作为送出延迟时间限制值253，也可以使用预先确定的固定值。
其他与实施方式1相同故省略。
另外，对于各流程的顺序，与编码侧同样而不限于上述。
以上，如在实施方式1及实施方式2中说明的那样，实施方式1的图像编码装置100是通过将输入图像153进行层级编码而生成编码序列155(比特流)的图像编码装置，进行图15所示的处理。
首先，图像编码装置100决定层级数161，以使得层级编码中的层级数161成为根据帧速率而预先决定的最大层级数以下(S301)。这里，最大层级数是图10所示的层级数，例如，帧速率为24fps的情况下是2，帧速率为30fps的情况下是3，帧速率为60fps的情况下是4，帧速率为120fps的情况下是5。换言之，帧速率为60fps以上的情况下，最大层级数是4以上。此外，帧速率为60fps以下的情况下，最大层级数是4以下。此外，帧速率大于30fps的情况下，最大层级数大于3。
另外，图像编码装置100还决定输入图像153的图片类型，以使得显示延迟图片数164成为根据帧速率而预先决定的最大图片数以下。这里，显示延迟图片数164是指，在图像解码装置将由图像编码装置100生成的编码序列155进行解码时，从该图像解码装置开始图像的解码起到进行输出(显示)为止的图片的数量。此外，图片类型是指I图片、P图片或B图片。这里，最大图片数是图10所示的显示延迟图片数，例如，帧速率为24fps的情况下是1，帧速率为30fps的情况下是2，帧速率为60fps的情况下是3，帧速率为120fps的情况下是4。换言之，帧速率为60fps以上的情况下，最大图片数是3以上。此外，帧速率为60fps以下的情况下，最大图片数是3以下。此外，帧速率大于30fps的情况下，最大图片数大于2。
此外，图像编码装置100还决定输入图像153的图片类型，以使得连续的B图片的数量即B图片连续数162成为根据帧速率而预先决定的最大连续数以下。这里，最大连续数是图10所示的显示延迟图片数，例如，帧速率为24fps的情况下是2，帧速率为30fps的情况下是3，帧速率为60fps的情况下是7，帧速率为120fps的情况下是15。换言之，帧速率为60fps以上的情况下，最大连续数是7以上。此外，帧速率为60fps以下的情况下，最大连续数是7以下。此外，帧速率大于30fps的情况下，最大连续数大于3。
此外，图像编码装置100如图10所示，可以根据帧速率而决定最大层级数、最大图片数以及B图片连续数。即，可以是，帧速率越高，图像编码装置100将最大层级数、最大图片数以及B图片连续数越多地设定。
此外，如上述那样，层级数161、显示延迟图片数164以及B图片连续数162利用帧速率151以及送出延迟时间限制值152，通过上述(式1)、(式3)以及(式4)被算出。即，最大图片数、从输入图像153被输入到图像编码装置100开始到编码序列155被输出为止的时间即编码器送出延迟(送出延迟时间)、以及帧速率满足以下的关系。
最大图片数＝int(log2(编码器送出延迟[s]×帧速率[fps]))
此外，最大连续数、编码器送出延迟、以及帧速率满足以下的关系。
最大连续数＝int(编码器送出延迟[s]×帧速率[fps]－1)
最大层级数、编码器送出延迟、以及帧速率满足以下的关系。
最大层级数＝int(log2(编码器送出延迟[s]×帧速率[fps]))+1
此外，各层级的最大图片数[i]、编码器送出延迟、以及帧速率满足以下的关系。
最大图片数[i]＝int(log2(编码器送出延迟[s]×帧速率[fps]/2(n-i)))
各层级的最大连续数[i]、编码器送出延迟、以及帧速率满足以下的关系。
最大连续数[i]＝int(编码器送出延迟[s]×帧速率[fps]/2(n-i)－1)
这里，i是最大层级数以下的整数，表示层级。n表示(最大层级数－1)。
接着，图像编码装置100以所决定的层级数161以及图片类型，将输入图像153进行层级编码从而生成编码序列155(S302)。此外，图像编码装置100将表示所决定的层级数161、显示延迟图片数164以及B图片连续数162的第1信息(sps＿max＿sub＿layers＿minus1)、第2信息(sps＿max＿num＿reorder＿pics)以及第3信息(sps＿max＿latency＿increase＿plus1)编码。
此外，实施方式2的图像解码装置200是通过对将图像进行层级编码而得到的编码序列251(比特流)进行解码而生成输出图像263的图像解码装置，进行图16所示的处理。
首先，图像解码装置200从编码序列251将图像解码(S401)。
接着，图像解码装置200从编码序列251，将表示层级编码中的层级数的第1信息(sps＿max＿sub＿layers＿minus1)解码(S402)。例如，该层级数是根据编码序列251的帧速率而预先决定的最大层级数以下。
进而，图像解码装置200将表示显示延迟图片数的第2信息(sps＿max＿num＿reorder＿pics)从编码序列251解码。此外，图像解码装置200进一步将表示B图片连续数的第3信息(sps＿max＿latency＿increase＿plus1)从编码序列251解码。
接着，图像解码装置200利用第1信息所表示的层级数、第2信息所表示的显示延迟图片数、以及第3信息所表示的B图片连续数，将被解码后的图像重新排列并输出(S403)。
另外，层级数的最大值即最大层级数、显示延迟图片数的最大值即最大图片数以及B图片连续数的最大值即最大连续数的具体例以及限制与图像编码装置100的情况是同样的。此外，最大层级数、最大图片数及最大连续数与帧速率及编码器送出延迟之间的关系也与图像编码装置100的情况是同样的。
以上，对实施方式的图像解码装置以及图像编码装置进行了说明，但本发明不限于该实施方式。
此外，上述实施方式的图像解码装置或图像编码装置中包含的各处理部典型地被实现为作为集成电路的LSI。它们可以单独地被1芯片化，也可以以包含一部分或全部的方式被1芯片化。
此外，集成电路化不限于LSI，也可以用专用电路或通用处理器实现。也可以利用在LSI制造后可编程的FPGA(Field Programmable Gate Array，现场可编程门阵列)、或者可重构LSI内部的电路单元的连接及设定的可重构处理器。
在上述各实施方式中，各构成要素可以由专用的硬件构成，或者也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部将在硬盘或半导体存储器等记录介质中记录的软件程序读出并执行来实现。
换言之，图像解码装置以及图像编码装置具备处理电路(processing circuitry)以及与该处理电路电连接的(能够从该处理电路访问的)存储装置(storage)。处理电路包含专用的硬件以及程序执行部的至少一方。此外，存储装置在处理电路包含程序执行部的情况下，存储由该程序执行部执行的软件程序。处理电路利用存储装置，执行上述实施方式的图像解码方法或图像编码方法。
进而，本发明也可以是上述软件程序，也可以是记录有上述程序的非暂时性的计算机可读取的记录介质。此外，当然，上述程序能够经由因特网等传送介质而流通。
此外，在上述中使用的数字全部是为了具体说明本发明而例示的，本发明不受限于例示的数字。
此外，模块图中的功能块的分割是一例，可以将多个功能块作为一个功能块实现，或者将一个功能块分割为多个，或者将一部分功能转移到其他功能块中。此外，也可以是，单一的硬件或软件将具有类似功能的多个功能块的功能并行处理或分时处理。
此外，上述的图像解码方法或图像编码方法中包含的步骤被执行的顺序是为了具体说明本发明而用于例示的，也可以是上述以外的顺序。此外，上述步骤的一部分可以与其他步骤同时(并行)执行。
此外，上述实施方式中说明的处理可以通过利用单一的装置(系统)进行集中处理而实现，也可以通过利用多个装置进行分散处理而实现。此外，执行上述程序的计算机可以是单个，也可以是多个。即，可以进行集中处理，也可以进行分散处理。
此外，本发明在进行接收的终端的功能为多样的、面向较多终端用户的广播等的情况下特别有效果。例如，上述的数据构造的信号被广播。4k2k电视机那样的终端能够解开全层级的数据。另一方面，智能手机能够实现2层级的解开等。此外，发送装置根据频带的混杂状况能够不将全层级而仅将上位的层级传送。由此，实现灵活的广播及通信。
以上，对本发明的一个或多个方式的图像解码装置以及图像编码装置，基于实施方式进行了说明，但本发明不限于该实施方式。只要不脱离本发明的主旨，将本领域技术人员想到的各种变形对本实施方式进行实施而得到的方式、或将不同的实施方式中的构成要素进行组合而构筑的方式也包含在本发明的一个或多个方式的范围内。
(实施方式3)
通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
图17是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex106～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是，内容供给系统ex100并不限定于图17那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex106～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(注册商标)(Global System for Mobile Communications)方式、CDMA(Code DivisionMultiple Access)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(Personal Handyphone System)等，是哪种都可以。
在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。
此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
另外，并不限定于内容供给系统ex100的例子，如图18所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
图19是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图20中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
在图21中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图19所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。
图22A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
进而，使用图22B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。
便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex358。
在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像以及/或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。
此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
(实施方式4)
也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。
这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。
图23是表示复用数据的结构的图。如图23所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图24是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图25更详细地表示在PES包序列中怎样保存视频流。图25的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图25的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图26表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图26下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。
此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据中包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图27是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图28所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图28所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图29所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
此外，在图30中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，还能够将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
(实施方式5)
在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图31中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的复用数据向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。
此外，在上述中，假设控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex501的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。
此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。这样的可编程逻辑器件典型地通过将软件或构成硬件的程序下载或从存储器等读取，能够执行上述各实施方式所示的运动图像编码方法或运动图像解码方法。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式6)
在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据解码的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图32表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲，驱动频率切换部ex803由图31的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图31的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑基于如图34所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
图33表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。
这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
(实施方式7)
在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图35A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在层级编码方面具有特征，因此可以考虑例如对于逆量化使用专用的解码处理部ex901，对于除此之外的熵解码、逆量化、解块滤波器、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。
此外，用图35B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。
这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
产业上的利用可能性
本发明能够适用于图像解码方法以及装置、或者图像编码方法以及装置。此外，本发明能够利用于具备图像解码装置的电视机、数字录像机，车用导航、便携电话、数字相机、以及数字摄像机等高分辨率的信息显示设备或摄像设备。
附图标记说明
100 图像编码装置
101 限制值设定部
102 编码部
111 层级数设定部
112 层级数参数设定部
113 显示延迟图片数设定部
114 B图片连续数设定部
115 连续数参数设定部
121，209 图像重新排列部
122 编码块分割部
123 减法部
124 变换量化部
125 可变长编码部
126，202 逆变换量化部
127，203 加法部
128，204 帧存储器
129 帧内预测部
130 帧间预测部
131 选择部
151，256 帧速率
152，253 送出延迟时间限制值
153 输入图像
154，257 编码构造限制值
155，251 编码序列
161 层级数
162 B图片连续数
163 层级数参数
164 显示延迟图片数
165 连续数参数
171 编码块
172，174，258 差分块
173，254 变换系数
175，259 解码块
177，261 预测块
178，255 预测信息
200 图像解码装置
201 可变长解码部
205 帧内预测块生成部
206 帧间预测块生成部
208 限制值解码部
210 编码构造确认部
252 HighestTId
262 编码构造
263 输出图像

Claims (15)

1.一种图像编码方法，将运动图像进行层级编码，其特征在于，
包括以下步骤：
层级数设定步骤，针对上述运动图像，设定与上述运动图像的帧速率对应的最大层级数；以及
编码步骤，以具有所设定的上述最大层级数的层级的层级构造，将上述运动图像中包含的多个图像进行层级编码，从而生成比特流；
上述运动图像的显示顺序与上述运动图像的编码顺序不同；
上述多个图像包含B图片即双向参照预测图片。
2.如权利要求1记载的图像编码方法，
在上述帧速率为60fps以下的情况下，上述最大层级数为4以下。
3.如权利要求1记载的图像编码方法，
在上述帧速率为120fps的情况下，上述最大层级数为5。
4.如权利要求1～3中任一项记载的图像编码方法，
上述图像编码方法还包括图片类型决定步骤，该图片类型决定步骤中，从I图片即画面内预测图片、P图片即前方参照预测图片以及B图片即双向参照预测图片中，决定上述图像的图片类型，以使得在图像解码装置中在将上述图像解码后到进行输出之前的图片的数量即显示延迟图片数成为根据上述帧速率决定的最大图片数以下；
在上述编码步骤中，以所决定的图片类型将上述图像编码；
在上述图片类型决定步骤中，从I图片、P图片以及B图片中决定上述图像的上述图片类型，以使得连续的双向参照预测图片的数量即B图片连续数成为根据上述帧速率决定的最大连续数以下。
5.如权利要求4记载的图像编码方法，
上述最大图片数、从上述图像被输入到图像编码装置开始到上述比特流被输出为止的时间即编码器送出延迟、以及上述帧速率满足以下的关系，
最大图片数＝int(log2(编码器送出延迟[s]×帧速率[fps]))
上述最大连续数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大连续数＝int(编码器送出延迟[s]×帧速率[fps]－1)
上述最大层级数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大层级数＝int(log2(编码器送出延迟[s]×帧速率[fps]))+1。
6.如权利要求5记载的图像编码方法，
各层级的最大图片数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大图片数[i]＝int(log2(编码器送出延迟[s]×帧速率[fps]/2(n-i)))
各层级的最大连续数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大连续数[i]＝int(编码器送出延迟[s]×帧速率[fps]/2(n-i)－1)
i是上述最大层级数以下的整数，表示层级，
n表示上述最大层级数－1。
7.一种图像解码方法，对比特流进行解码，该比特流是通过以具有最大层级数的层级的层级构造、将运动图像中包含的多个图像进行层级编码而得到的，其特征在于，
包括以下步骤：
图像解码步骤，从上述比特流将上述多个图像解码；
信息解码步骤，从上述比特流将表示上述最大层级数的第1信息解码；以及
重新排列步骤，利用上述第1信息所表示的上述最大层级数，将被解码后的上述多个图像重新排列并输出；
上述最大层级数与上述运动图像的上述比特流的帧速率对应；
上述运动图像的显示顺序与上述运动图像的解码顺序不同；
上述多个图像包含B图片即双向参照预测图片。
8.如权利要求7记载的图像解码方法，
在上述帧速率为60fps以下的情况下，上述最大层级数为4以下。
9.如权利要求7记载的图像解码方法，
在上述帧速率为120fps的情况下，上述最大层级数为5。
10.如权利要求7～9中任一项记载的图像解码方法，
上述信息解码步骤中，还将第2信息从上述比特流进行解码，该第2信息表示在图像解码装置中在将图像解码后到进行输出之前的图片的数量即显示延迟图片数；
上述重新排列步骤中，利用上述第1信息所表示的上述最大层级数和上述第2信息所表示的上述显示延迟图片数，将被解码后的上述图像重新排列并输出。
11.如权利要求10记载的图像解码方法，
上述信息解码步骤中，还将第3信息从上述比特流进行解码，该第3信息表示连续的双向参照预测图片的数量即B图片连续数；
上述重新排列步骤中，利用上述第1信息所表示的上述最大层级数、上述第2信息所表示的上述显示延迟图片数、以及上述第3信息所表示的双向参照预测图片连续数，将被解码后的上述图像重新排列并输出。
12.如权利要求11记载的图像解码方法，
根据上述帧速率而决定的最大图片数、从上述图像被输入到图像编码装置开始到上述比特流被输出为止的时间即编码器送出延迟、以及上述帧速率满足以下的关系，
最大图片数＝int(log2(编码器送出延迟[s]×帧速率[fps]))根据上述帧速率而决定的最大连续数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大连续数＝int(编码器送出延迟[s]×帧速率[fps]－1)
上述最大层级数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大层级数＝int(log2(编码器送出延迟[s]×帧速率[fps]))+1。
13.如权利要求12记载的图像解码方法，
各层级的最大图片数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大图片数[i]＝int(log2(编码器送出延迟[s]×帧速率[fps]/2(n-i)))
各层级的最大连续数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
最大连续数[i]＝int(编码器送出延迟[s]×帧速率[fps]/2(n-i)－1)
i是上述最大层级数以下的整数，表示层级，
n表示上述最大层级数－1。
14.一种图像编码装置，将图像编码，
具备：
处理电路；以及
存储装置，能够从上述处理电路来访问；
上述处理电路利用上述存储装置，执行权利要求1记载的图像编码方法。
15.一种图像解码装置，对将图像编码而得到的比特流进行解码，
具备：
处理电路；以及
存储装置，能够从上述处理电路来访问；
上述处理电路利用上述存储装置，执行权利要求7记载的图像解码方法。
CN201811220121.1A 2013-06-05 2014-06-04 图像编码方法、图像解码方法、图像编码装置以及图像解码装置 Active CN109451320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811220121.1A CN109451320B (zh) 2013-06-05 2014-06-04 图像编码方法、图像解码方法、图像编码装置以及图像解码装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361831209P 2013-06-05 2013-06-05
US61/831,209 2013-06-05
CN201480002966.7A CN104769946B (zh) 2013-06-05 2014-06-04 图像编码方法、图像解码方法、图像编码装置以及图像解码装置
PCT/JP2014/002974 WO2014196198A1 (ja) 2013-06-05 2014-06-04 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
CN201811220121.1A CN109451320B (zh) 2013-06-05 2014-06-04 图像编码方法、图像解码方法、图像编码装置以及图像解码装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480002966.7A Division CN104769946B (zh) 2013-06-05 2014-06-04 图像编码方法、图像解码方法、图像编码装置以及图像解码装置

Publications (2)

Publication Number Publication Date
CN109451320A CN109451320A (zh) 2019-03-08
CN109451320B true CN109451320B (zh) 2023-06-02

Family

ID=52007855

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201811220121.1A Active CN109451320B (zh) 2013-06-05 2014-06-04 图像编码方法、图像解码方法、图像编码装置以及图像解码装置
CN201811220326.XA Active CN109451321B (zh) 2013-06-05 2014-06-04 图像编码方法、图像解码方法、图像编码装置以及图像解码装置
CN201480002966.7A Active CN104769946B (zh) 2013-06-05 2014-06-04 图像编码方法、图像解码方法、图像编码装置以及图像解码装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201811220326.XA Active CN109451321B (zh) 2013-06-05 2014-06-04 图像编码方法、图像解码方法、图像编码装置以及图像解码装置
CN201480002966.7A Active CN104769946B (zh) 2013-06-05 2014-06-04 图像编码方法、图像解码方法、图像编码装置以及图像解码装置

Country Status (5)

Country Link
US (5) US10244240B2 (zh)
EP (1) EP3007444A4 (zh)
JP (7) JP5680807B1 (zh)
CN (3) CN109451320B (zh)
WO (1) WO2014196198A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451320B (zh) 2013-06-05 2023-06-02 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置以及图像解码装置
CN105549935B (zh) * 2015-12-18 2018-11-23 小米科技有限责任公司 显示照片的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096541A (ja) * 2005-09-27 2007-04-12 Sanyo Electric Co Ltd 符号化方法
WO2012023281A1 (ja) * 2010-08-17 2012-02-23 パナソニック株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び、動画像符号化装置
WO2013014884A1 (ja) * 2011-07-22 2013-01-31 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、および動画像復号化装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0336571Y2 (zh) 1985-07-25 1991-08-02
JP2000324486A (ja) * 1999-05-07 2000-11-24 Sharp Corp 動画像符号化装置
KR101349837B1 (ko) 2006-09-07 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
JP2011216986A (ja) * 2010-03-31 2011-10-27 Yamaha Corp 映像送信システム、送信装置及び中継装置
US9124757B2 (en) * 2010-10-04 2015-09-01 Blue Jeans Networks, Inc. Systems and methods for error resilient scheme for low latency H.264 video coding
US10034009B2 (en) * 2011-01-14 2018-07-24 Vidyo, Inc. High layer syntax for temporal scalability
TWI533677B (zh) * 2011-06-30 2016-05-11 微軟技術授權有限責任公司 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US10237565B2 (en) * 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
CN109451320B (zh) * 2013-06-05 2023-06-02 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置以及图像解码装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096541A (ja) * 2005-09-27 2007-04-12 Sanyo Electric Co Ltd 符号化方法
WO2012023281A1 (ja) * 2010-08-17 2012-02-23 パナソニック株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び、動画像符号化装置
WO2013014884A1 (ja) * 2011-07-22 2013-01-31 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、および動画像復号化装置

Also Published As

Publication number Publication date
JP2022123054A (ja) 2022-08-23
US20210099714A1 (en) 2021-04-01
US10939121B2 (en) 2021-03-02
EP3007444A1 (en) 2016-04-13
JP2015092742A (ja) 2015-05-14
JP2023101014A (ja) 2023-07-19
EP3007444A4 (en) 2016-11-09
CN104769946A (zh) 2015-07-08
US20150245034A1 (en) 2015-08-27
WO2014196198A1 (ja) 2014-12-11
CN109451321A (zh) 2019-03-08
JP6636571B2 (ja) 2020-01-29
US20200236364A1 (en) 2020-07-23
CN109451320A (zh) 2019-03-08
JP7092923B2 (ja) 2022-06-28
US20190174134A1 (en) 2019-06-06
JP6899888B2 (ja) 2021-07-07
US10244240B2 (en) 2019-03-26
JP2021141619A (ja) 2021-09-16
CN104769946B (zh) 2018-11-16
JPWO2014196198A1 (ja) 2017-02-23
US10652547B2 (en) 2020-05-12
US20230283781A1 (en) 2023-09-07
JP6352820B2 (ja) 2018-07-04
JP5680807B1 (ja) 2015-03-04
JP2018157594A (ja) 2018-10-04
CN109451321B (zh) 2023-06-02
US11546606B2 (en) 2023-01-03
JP2020058062A (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
CA2805663C (en) Image coding method, image decoding method, image coding apparatus, image decoding appatarus, and image coding and decoding apparatus
CN107257492B (zh) 图像编码方法以及图像编码装置
CA2876567C (en) Image coding and decoding of slice boundaries wherein loop filtering of top and left slice boundaries is controlled by a boundary control flag
EP2749027B1 (en) Methods and apparatuses for encoding and decoding video using updated buffer description
EP2744202A1 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, and image encoding/decoding apparatus
KR102071574B1 (ko) 화상 부호화 방법, 화상 부호화 장치, 화상 복호화 방법, 화상 복호화 장치, 및 화상 부호화 복호화 장치
EP2871838B1 (en) Image encoding method, image encoding device
EP2843945A1 (en) Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
WO2012117744A1 (en) Method of encoding an image into a coded image, method of decoding a coded image, and apparatuses thereof
CN105308972B (zh) 图像编码方法及装置、记录介质、图像解码方法及装置
JP2023101014A (ja) 送信方法及び送信装置
KR20130140098A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 화상 부호화 복호 장치
WO2013105207A1 (en) Video encoding method, video encoding apparatus, video decoding method and video decoding apparatus
JP2019118140A (ja) 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP6399433B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP2019092202A (ja) 画像符号化方法及び画像復号装置
WO2012095930A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant