CN117981322A - 图像处理装置和方法 - Google Patents
图像处理装置和方法 Download PDFInfo
- Publication number
- CN117981322A CN117981322A CN202280063598.1A CN202280063598A CN117981322A CN 117981322 A CN117981322 A CN 117981322A CN 202280063598 A CN202280063598 A CN 202280063598A CN 117981322 A CN117981322 A CN 117981322A
- Authority
- CN
- China
- Prior art keywords
- unit
- configuration
- pictures
- intra
- case
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 234
- 238000000034 method Methods 0.000 title abstract description 351
- 238000003672 processing method Methods 0.000 claims abstract description 17
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 claims 2
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 claims 2
- 230000008569 process Effects 0.000 description 187
- 238000013139 quantization Methods 0.000 description 66
- 238000005516 engineering process Methods 0.000 description 56
- 238000004364 calculation method Methods 0.000 description 29
- 230000015654 memory Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 22
- 230000009466 transformation Effects 0.000 description 21
- 101100510671 Rattus norvegicus Lnpep gene Proteins 0.000 description 19
- 230000008707 rearrangement Effects 0.000 description 19
- 238000009825 accumulation Methods 0.000 description 15
- 238000001914 filtration Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 6
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开内容涉及图像处理装置和方法,利用该图像处理装置和方法,比特流的规范可以被配置成更可靠地对应于配置。在满足规定条件的情况下,将所有图片的图片类型设置为I图片来对要编码的视频图像进行编码。此外,对要解码的视频图像的比特流进行解码,并且在满足规定条件的情况下,证实比特流的视频图像中的所有图片的图片类型是否是I图片。本公开内容可以应用于例如图像处理装置或图像处理方法。
Description
技术领域
本公开内容涉及图像处理装置和方法,更具体地,涉及能够使比特流的规范更可靠地对应于配置的图像处理装置和方法。
背景技术
传统上,已经有通用视频编码(VVC)等作为运动图像的编码方法(例如,参见非专利文献1至非专利文献3)。此外,在该VVC中,已经添加了以下配置作为VVC版本2的扩展配置(例如,参见非专利文献4)。
主12配置,主12 4:4:4配置,主16 4:4:4配置
主12帧内配置,主12 4:4:4帧内配置,主16 4:4:4帧内配置
主12静态图片配置,主12 4:4:4静态图片配置,主16 4:4:4静态图片配置
在这些配置中,主12帧内配置、主12 4:4:4帧内配置和主16 4:4:4帧内配置是被设计成仅用I图片对所有图片进行编码作为视频产生的应用的配置。此外,主12静态图片配置、主12 4:4:4静态图片配置和主16 4:4:4静态图片配置是使用I图片来对静态图像进行编码的配置。
引用列表
非专利文献
非专利文献1:Benjamin Bross,Jianle Chen,Shan Liu,“Versatile VideoCoding(草案10)”,JVET-T2001-v2,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29的联合视频专家组(JVET),版本1-日期2020-10-27
非专利文献2:Jianle Chen,Yan Ye,Seung Hwan Kim,“Algorithm descriptionfor Versatile Video Coding and Test Model 13(VTM 13)”,JVET-V2002-v1,ITU-T SG16WP 3和ISO/IEC JTC 1/SC 29的联合视频专家组(JVET),版本1-日期2021-07-15
非专利文献3:Frank Bossen,Benjamin Bross,Tomohiro Ikai,DmytroRusanovskyy,Ye-Kui Wang,“VVC operation range extensions(草案3)”,JVET-V2005-v1,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29的联合视频专家组(JVET),2021-05-08
非专利文献4:Tomohiro Ikai,Takeshi Chujoh,Tomoko Aono,SachinDeshpande,“Suggested initial profile text for VVC operation range extension”,JVET-W0136-v5,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29的联合视频专家组(JVET),2021-07-16
发明内容
本发明要解决的问题
然而,在帧内配置(主12帧内配置、主12 4:4:4帧内配置和主16 4:4:4帧内配置)的定义中,对切片类型没有约束。因此,即使在应用这些帧内配置的情况下,编码器也能够将每个图片的切片编码为P切片或B切片。因此,存在比特流的规范与配置不对应的可能性。
鉴于这种情况做出了本公开内容,并且本公开内容的目的是使比特流的规范能够更可靠地对应于配置。
问题的解决方案
根据本技术的一个方面的图像处理装置是一种包括图片编码单元的图像处理装置,该图片编码单元被配置成在满足预定条件的情况下,将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码。
根据本技术的一个方面的图像处理方法是一种包括在满足预定条件的情况下,将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码的图像处理方法。
根据本技术的另一方面的图像处理装置是如下一种图像处理装置,其包括:图片解码单元,其被配置成对作为解码目标的运动图像的比特流进行解码;以及检查单元,其被配置成在满足预定条件的情况下,检查在比特流中运动图像的所有图片的图片类型是否是I图片。
根据本技术的另一方面的图像处理方法是如下一种图像处理方法,其包括:对作为解码目标的运动图像的比特流进行解码;以及在满足预定条件的情况下,检查在比特流中运动图像的所有图片的图片类型是否是I图片。
根据本技术的又一方面的图像处理装置是如下一种图像处理装置,其包括:参数集编码单元,其被配置成在用于运动图像编码的配置是帧内配置的情况下,将控制标志设置为真并且对包括控制标志的参数集进行编码,控制标志用于控制是否将运动图像的所有切片的切片类型限制为I切片;以及图片编码单元,其被配置成在控制标志为真的情况下,将所有切片设置为I切片来对运动图像进行编码。
根据本技术的又一方面的图像处理方法是如下一种图像处理方法,其包括:在用于运动图像编码的配置是帧内配置的情况下,将控制标志设置为真并且对包括该控制标志的参数集进行编码,该控制标志用于控制是否将运动图像的所有切片的切片类型限制为I切片;以及在控制标志为真的情况下,将所有切片设置为I切片来对运动图像进行编码。
根据本技术的又一方面的图像处理装置是如下一种图像处理装置,其包括:控制标志解码单元,其被配置成对运动图像的比特流进行解码,并且生成用于控制是否将运动图像的所有切片的切片类型限制为I切片的控制标志;以及控制标志检查单元,其被配置成在比特流的配置是帧内配置的情况下检查控制标志是否为真。
根据本技术的又一方面的图像处理方法是如下一种图像处理方法,其包括:对运动图像的比特流进行解码,并且生成用于控制是否将运动图像的所有切片的切片类型限制为I切片的控制标志;以及在比特流的配置是帧内配置的情况下,检查控制标志是否为真。
在根据本技术的一个方面的图像处理装置和方法中,在满足预定条件的情况下,将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码。
在根据本技术的另一方面的图像处理装置和方法中,对作为解码目标的运动图像的比特流进行解码,并且在满足预定条件的情况下,检查在比特流中运动图像的所有图片的图片类型是否是I图片。
在根据本技术的又一方面的图像处理装置和方法中,在用于运动图像编码的配置是帧内配置的情况下,将控制标志设置为真,并且对包括控制标志的参数集进行编码,其中控制标志用于控制是否将运动图像的所有切片的切片类型限制为I切片,以及在控制标志为真的情况下,将所有切片设置为I切片并且对运动图像进行编码。
在根据本技术的又一方面的图像处理装置和方法中,对运动图像的比特流进行解码,生成用于控制是否将运动图像的所有切片的切片类型限制为I切片的控制标志,以及在比特流的配置是帧内配置的情况下,检查控制标志是否为真。
附图说明
图1是示出比特流约束的示例的视图。
图2是示出比特流约束的示例的视图。
图3是示出语法的示例的视图。
图4是示出标准的修改示例的视图。
图5是示出编码装置的主要配置示例的框图。
图6是示出NAL单元编码处理的流程的示例的流程图。
图7是示出解码装置的主要配置示例的框图。
图8是示出NAL单元解码处理的流程的示例的流程图。
图9是示出编码装置的主要配置示例的框图。
图10是用于解释编码处理的流程的示例的流程图。
图11是示出NAL单元编码处理的流程的示例的流程图。
图12是示出解码装置的主要配置示例的框图。
图13是用于解释解码处理的流程的示例的流程图。
图14是示出NAL单元解码处理的流程的示例的流程图。
图15是示出比特流约束的示例的视图。
图16是示出比特流约束的示例的视图。
图17是示出语法和语义的示例的视图。
图18是示出标准的修改示例的视图。
图19是示出编码装置的主要配置示例的框图。
图20是用于解释编码处理的流程的示例的流程图。
图21是示出参数集编码处理的流程的示例的流程图。
图22是示出图片编码处理的流程的示例的流程图。
图23是示出解码装置的主要配置示例的框图。
图24是用于解释解码处理的流程的示例的流程图。
图25是示出参数集解码处理的流程的示例的流程图。
图26是示出图片解码处理的流程的示例的流程图。
图27是示出图像编码装置的主要配置示例的框图。
图28是示出图像编码处理的流程的示例的流程图。
图29是示出图像解码装置的主要配置示例的框图。
图30是示出图像解码处理的流程的示例的流程图。
图31是示出计算机的主要配置示例的框图。
具体实施方式
在下文中,将描述用于执行本公开内容的模式(在下文中称为实施方式)。注意,将按以下顺序给出描述。
1.支持技术内容和技术术语的文献等
2.配置
3.对图片类型的约束
4.对切片类型的约束
5.实施方式(图像编码装置/图像解码装置)
6.补充说明
<1.支持技术内容和技术术语的文献等>
本技术中公开的范围不仅包括实施方式中描述的内容,而且还包括在提交时已知的以下非专利文献等中描述的内容、以下非专利文献中引用的其他文献的内容等。
非专利文献1:(上面描述的)
非专利文献2:(上面描述的)
非专利文献3:(上面描述的)
非专利文献4:(上面描述的)
非专利文献5:建议ITU-T H.264(04/2017)“Advanced video coding forgeneric audiovisual services”,2017年4月
非专利文献6:建议ITU-T H.265(08/2021)“High efficiency video coding”,2021年8月
非专利文献7:Frank Bossen,Benjamin Bross,Tomohiro Ikai,DmytroRusanovskyy,Gary Sullivan,Ye-Kui Wang,“VVC operation range extensions(草案4)”,JVET-W2005-v1,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29的联合视频专家组(JVET),2021-08-24
也就是说,上面提到的非专利文献中公开的内容也用作用于确定支持要求的基础。例如,即使在上述非专利文献中描述的四叉树块结构和四叉树加二叉树(QTBT)块结构没有在实施方式中直接描述的情况下,它们也在本技术的公开内容的范围内,并且被认为满足权利要求的支持要求。此外,例如,即使在实施方式中没有直接描述的情况下,诸如解析、语法和语义的技术术语也在本技术的公开内容的范围内,并且被认为满足权利要求的支持要求。
此外,在本说明书中,在描述中用作图像(图片)的处理的单元或部分区域的“块”(不是指示处理单元的块)指示图片中的任何部分区域,除非另外特别提到,并且其大小、形状、特征等不受限制。例如,“块”的示例包括任何部分区域(处理的单元),例如上面提到的非专利文献中公开的变换块(TB)、变换单元(TU)、预测块(PB)、预测单元(PU)、最小编码单元(SCU)、编码单元(CU)、最大编码单元(LCU)、编码树块(CTB)、编码树单元(CTU)、子块、宏块、片或切片。
此外,当指定这种块的大小时,不仅可以直接指定块大小,而且还可以间接指定块大小。例如,可以使用用于标识大小的标识信息来指定块大小。此外,例如,块大小可以通过与参考块(例如,LCU、SCU等)的大小的比率或其差来指定。例如,在发送用于将块大小指定为语法元素等的信息的情况下,如上所述间接指定大小的信息可以用作该信息。通过这样做,可以减少信息的信息量,并且在某些情况下可以改善编码效率。此外,块大小的规范还包括块大小的范围的规范(例如,可允许的块大小的范围的规范等)。
<2.配置>
<帧内配置>
常规上,例如,如在非专利文献1至3中所公开的,已经有通用视频编码(VVC)等作为运动图像的编码方法。在诸如VVC的运动图像编码的通用标准中,定义了表示为每个预期用途定义的一组功能的配置。非专利文献4提出添加以下配置作为VVC版本2的扩展配置。
主12配置,主12 4:4:4配置,主16 4:4:4配置
主12帧内配置,主12 4:4:4帧内配置,主16 4:4:4帧内配置
主12静态图片配置,主12 4:4:4静态图片配置,主16 4:4:4静态图片配置
在本说明书中,主12帧内配置、主12 4:4:4帧内配置和主16 4:4:4帧内配置也被称为帧内配置。此外,主12静态图片配置、主12 4:4:4静态图片配置和主16 4:4:4静态图片配置也被称为静态图片配置。
在上述添加的配置中,帧内配置(主12帧内配置、主12 4:4:4帧内配置和主16 4:4:4帧内配置)是被设计成仅用I图片对所有图片进行编码作为视频产生的应用的配置。此外,静态图片配置(主12静态图片配置、主12 4:4:4静态图片配置和主16 4:4:4静态图片配置)是使用I图片来对静态图像进行编码的配置。I图片(也称为帧内图片)是作为预测处理仅对其应用了用于参考屏幕(区域)内部生成预测图像的帧内预测的图片。
也就是说,在应用这些配置的情况下,期望将运动图像的每个图片(每个切片)编码为I图片(I切片)。切片是在图片中形成的数据单元。类似于I图片,I切片是作为预测处理仅对其应用了帧内预测的切片。
然而,在帧内配置的定义中,对切片类型没有约束。因此,即使在应用这些帧内配置的情况下,编码器也能够将每个图片编码为P图片或B图片,或者将每个图片的切片编码为P切片或B切片。P图片(P切片)和B图片(B切片)是作为预测处理可以对其应用用于参考另一帧生成预测图像的帧间预测的图片(切片)。因此,存在比特流的规范与配置不对应的可能性。
<3.对图片类型的约束>
<方法1>
因此,如在图1中的表格的最上面一行中所示,在满足预定条件的情况下,所有图片的图片类型被限制为I图片(方法1)。例如,通过提供这种约束(也称为“对帧内配置的比特流约束”),该约束可以应用于上述帧内配置。因此,可以使比特流的规范更可靠地对应于配置。
<方法1-1>
例如,在应用方法1的情况下,如在从图1中的表格的顶部起第二行中所示,作为解码目标图片的所有视频编码层(VCL)NAL单元的网络抽象层(NAL)单元类型可以被限制为“指示IRAP的值”(方法1-1)。帧内随机访问图片(IRAP)是用于随机访问的图片,并且仅包括I切片。以这种方式,通过控制NAL单元类型,可以更容易地将图片类型限制为I图片。
<方法1-2>
例如,在应用方法1的情况下,如在从图1中的表格的顶部起第三行中所示,在帧内配置的情况下,所有图片的图片类型可以被限制为I图片(方法1-2)。通过提供这种约束,在应用帧内配置的情况下,运动图像的每个图片(每个切片)可以被更可靠地编码为I图片(I切片)。因此,可以使比特流的规范更可靠地对应于配置。
<比特流约束>
例如,在诸如VVC的运动图像的通用编码标准(编码/解码方法)中,如在图2中所示的比特流约束可以被提供为与帧内配置相关的比特流约束。例如,在VVC的情况下,如在图3中所示的语法中一样,NAL单元类型(nal_unit_type)被设置在NAL单元报头中。在图2的比特流约束中,在帧内配置(主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置)的情况下,该NAL单元类型被限制在IDR_W_RADL到CRA_NUT的范围内。
例如,在VVC的情况下,参数nal_unit_type指示NAL单元类型的标识号。然后,分别地,nal_unit_type==7指示IDR_W_RADL,nal_unit_type==8指示IDR_N_LP,nal_unit_type==9指示CRA_NUT,nal_unit_type==10指示GDR_NUT,以及nal_unit_type==11指示RSV_IRAP_11(保留)。作为IRAP,存在瞬时解码器刷新(IDR)图片、干净随机访问(CRA)图片、逐渐解码刷新(GDR)图片等。也就是说,nal_unit_type的这些值是“指示IRAP的值”。
通过将这种比特流约束添加至运动图像的通用编码标准,在应用帧内配置的情况下,运动图像的每个图片(每个切片)可以被编码为I图片(I切片)。例如,在VVC的情况下,如在图4中所示,图2的比特流约束可以简单地添加至非专利文献7的“A3.5格式范围扩展配置”。
<编码装置>
图5是示出编码装置的配置示例的框图,该编码装置是应用本技术的图像处理装置的一种模式。图5中所示的编码装置100是对作为编码目标的运动图像进行编码并生成比特流的装置。
例如,编码装置100得出运动图像的预测残差及其预测图像,对预测残差执行系数变换(例如,正交变换),并且对其变换系数进行量化和编码。当然,这种编码方法只是示例。由编码装置100对运动图像进行编码的方法不限于该示例。例如,可以跳过(省略)上述处理中的一些,例如系数变换和量化。
编码装置100通过应用上述方法1、方法1-1或方法1-2或其组合来对运动图像进行编码。
注意,在图5中,示出了处理单元、数据流等的主要部分,并且图5中示出的这些不一定是全部。也就是说,编码装置100可以包括未在图5中示出为块的处理单元。此外,编码装置100可以具有未在图5中示出为箭头等的过程或数据流。
如图5中所示,编码装置100包括NAL单元编码单元101。NAL单元编码单元101执行与要存储在比特流中的NAL单元的编码相关的处理。NAL单元编码单元101获取任何参数,通过使用该参数形成作为编码目标的运动图像的NAL单元,并且对NAL单元进行编码。也就是说,NAL单元编码单元101也可以被称为对运动图像的图片进行编码的图片编码单元。NAL单元编码单元101通过应用上述方法1、方法1-1或方法1-2或其组合对NAL单元进行编码。
如图5中所示,NAL单元编码单元101包括NAL单元报头设置单元111、NAL单元报头编码单元112和原始字节序列有效载荷编码单元113。
NAL单元报头设置单元111通过使用供应至NAL单元编码单元101的参数来设置NAL单元的报头(NAL单元报头),并且将该报头供应至NAL单元报头编码单元112。
NAL单元报头编码单元112根据语法表的定义对从NAL单元报头设置单元111供应的NAL单元报头进行编码。
原始字节序列有效载荷编码单元113根据语法表的定义对原始字节序列有效载荷进行编码。
具有这种配置的NAL单元编码单元101(NAL单元报头设置单元111)通过应用上述方法1、方法1-1或方法1-2或其组合来执行处理。也就是说,NAL单元编码单元101根据与上述帧内配置相关的比特流约束对运动图像进行编码。例如,在满足预定条件的情况下,NAL单元编码单元101将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码。例如,NAL单元编码单元101可以根据图2中所示的比特流约束对运动图像进行编码。
此时,NAL单元编码单元101(NAL单元报头设置单元111)可以通过将所有VCL NAL单元的NAL单元类型设置为“指示IRAP的值”来将所有图片的图片类型设置为I图片。也就是说,在满足预定条件的情况下,NAL单元编码单元101可以将所有VCL NAL单元的NAL单元类型设置为“指示IRAP的值”并且对运动图像进行编码。例如,在VVC的情况下,NAL单元编码单元101(NAL单元报头设置单元111)可以将nal_unit_type设置为从7到11的任何值。
此外,NAL单元编码单元101(NAL单元报头设置单元111)可以将其中用于运动图像编码的配置是帧内配置的状态设置为“预定条件”。也就是说,在用于运动图像编码的配置是帧内配置的情况下,NAL单元编码单元101可以将所有图片的图片类型设置为I图片来对运动图像进行编码。换言之,在配置是帧内配置的情况下,NAL单元编码单元101(NAL单元报头设置单元111)可以将所有VCL NAL单元的NAL单元类型设置为“指示IRAP的值”。
此时,NAL单元编码单元101(NAL单元报头设置单元111)可以将其中配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的状态视为是帧内配置。也就是说,在配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,NAL单元编码单元101(NAL单元报头设置单元111)可以将所有图片的图片类型设置为I图片。
注意,NAL单元编码单元101(NAL单元报头设置单元111)可以通过使用用于标识配置的配置标识符(general_profile_idc)来确定它是哪个配置。“general_profile_idc==10”指示配置是主12帧内配置。“general_profile_idc==42”指示配置是主12 4:4:4帧内配置。“general_profile_idc==44”指示配置是主16 4:4:4帧内配置。也就是说,在配置标识符的值是10、42或44的情况下,NAL单元编码单元101(NAL单元报头设置单元111)可以将所有图片的图片类型设置为I图片。注意,在该示例中,对应于主12帧内配置、主12 4:4:4帧内配置和主16 4:4:4帧内配置的配置标识符的值分别是10、42和44,但是不限于此,并且可以是可行范围内的任何值。
此外,NAL单元编码单元101(NAL单元报头设置单元111)可以类似于帧内配置来处理静态图片配置。也就是说,同样在配置是静态图片配置的情况下,类似于帧内配置的情况,NAL单元编码单元101(NAL单元报头设置单元111)可以将所有图片的图片类型设置为I图片。
此时,NAL单元编码单元101(NAL单元报头设置单元111)可以将其中配置是主12静态图片配置、主12 4:4:4静态图片配置或主16 4:4:4静态图片配置的状态视为是静态图片配置。也就是说,在配置是主12静态图片配置、主12 4:4:4静态图片配置或主16 4:4:4静态图片配置的情况下,NAL单元编码单元101(NAL单元报头设置单元111)可以将所有图片的图片类型设置为I图片。
“general_profile_idc==66”指示配置是主12静态图片配置。“general_profile_idc==98”指示配置是主12 4:4:4静态图片配置。“general_profile_idc==100”指示配置是主16 4:4:4静态图片配置。也就是说,在配置标识符的值是66、98或100的情况下,NAL单元编码单元101(NAL单元报头设置单元111)可以将所有图片的图片类型设置为I图片。注意,在该示例中,对应于主12静态图片配置、主12 4:4:4静态图片配置和主164:4:4静态图片配置的配置标识符的值分别是66、98和100,但是不限于此,并且可以是可行范围内的任何值。
利用这种配置,编码装置100可以根据比特流约束——例如“在满足预定条件的情况下,将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码”——对运动图像进行编码。例如,编码装置100可以根据图2中所示的比特流约束对运动图像进行编码。也就是说,编码装置100可以使比特流的规范更可靠地对应于配置。
<编码处理的流程>
接下来,将参照图6中的流程图描述由编码装置100执行的编码处理的流程的示例。
当开始编码处理时,在步骤S101中,编码装置100的NAL单元报头设置单元111基于外部指定的配置设置NAL单元类型。此时,NAL单元报头设置单元111可以通过应用上述方法1、方法1-1或方法1-2或其组合来设置NAL单元类型。
例如,在满足预定条件的情况下,NAL单元报头设置单元111可以将所有图片的图片类型设置为I图片。此外,在满足条件的情况下,NAL单元报头设置单元111可以将所有VCLNAL单元的NAL单元类型设置为“指示IRAP的值”。此外,在用于运动图像编码的配置是帧内配置的情况下,NAL单元报头设置单元111可以将所有图片的图片类型设置为I图片。此时,NAL单元报头设置单元111可以将其中配置是“主12帧内配置、主12 4:4:4帧内配置或主164:4:4帧内配置”的状态设置为是“帧内配置”。此外,配置标识符(general_profile_idc)可以用于确定配置是否是帧内配置。此外,同样在静态图片配置的情况下,NAL单元类型可以类似于帧内配置的情况受到限制。
在步骤S102中,NAL单元报头编码单元112根据语法表的定义对已经在步骤S101中设置的NAL单元报头进行编码。
在步骤S103中,原始字节序列有效载荷编码单元113根据语法表的定义对原始字节序列有效载荷进行编码。也就是说,原始字节序列有效载荷编码单元113将原始字节序列有效载荷编码为已经在步骤S101中设置的NAL单元类型的NAL单元。也就是说,原始字节序列有效载荷编码单元113应用上述方法1、方法1-1或方法1-2或其组合,并且对原始字节序列有效载荷进行编码,以便满足上述与帧内配置相关的比特流约束(根据比特流约束)。
当步骤S103中的处理结束时,编码处理结束。
通过以这种方式执行各个处理,编码装置100可以根据例如图2中所示的比特流约束来对运动图像进行编码。也就是说,编码装置100可以使比特流的规范更可靠地对应于配置。
<解码装置>
图7是示出作为应用本技术的图像处理装置的一个方面的解码装置的配置示例的框图。图7中所示的解码装置200是对比特流进行解码以生成(恢复)作为编码目标的运动图像的装置。
例如,解码装置200对比特流进行解码以生成(恢复)量化系数,对量化系数进行逆量化以得出变换系数,对变换系数执行逆系数变换(例如,逆正交变换)以得出预测残差,从解码图像生成预测图像,并且将预测图像与预测残差相加以生成(恢复)图像数据。当然,这种解码方法只是示例。由解码装置200对比特流进行解码的方法不限于该示例。例如,可以跳过(省略)诸如逆量化和逆系数变换的上述处理中的一些。
解码装置200对应于由编码装置100应用的编码方法。也就是说,解码装置200通过应用对应于编码方法的解码方法来执行解码处理。换言之,解码装置200可以对由应用本技术的图像处理装置(例如,编码装置100)生成的比特流进行解码。因此,解码装置200通过应用上述方法1、方法1-1或方法1-2或其组合来对比特流进行解码。更具体地,解码装置200检查作为解码目标的比特流是否满足与上述帧内配置相关的比特流约束(在检查的同时对比特流进行解码)。
注意,在图7中,示出了处理单元、数据流等的主要部分,并且图7中示出的这些不一定是全部。也就是说,解码装置200可以包括未在图26中示出为块的处理器。此外,解码装置200可以具有未在图7中示出为箭头等的处理或数据流。
如图7中所示,解码装置200包括NAL单元解码单元201。NAL单元解码单元201执行与存储在比特流中的NAL单元的解码相关的处理。NAL单元解码单元201获取供应至解码装置200的比特流并对该比特流进行解码,生成(恢复)NAL单元,并且输出与NAL单元相关的参数。也就是说,NAL单元解码单元201也可以被称为图片解码单元,该图片解码单元对比特流进行解码以生成(恢复)其运动图像的图片。NAL单元解码单元201应用上述方法1、方法1-1或方法1-2或其组合来对比特流进行解码,以生成(恢复)NAL单元。
如图7中所示,NAL单元解码单元201包括NAL单元报头解码单元211、比特流约束检查单元212和原始字节序列有效载荷解码单元213。
NAL单元报头解码单元211对供应至NAL单元编码单元101的比特流进行解码,生成(恢复)NAL单元报头,并且将NAL单元报头供应至比特流约束检查单元212。
通过使用包括在生成的NAL单元报头中的参数,比特流约束检查单元212检查作为解码目标的比特流是否满足比特流约束。此时,比特流约束检查单元212通过应用上述方法1、方法1-1或方法1-2或其组合来执行检查。也就是说,比特流约束检查单元212检查作为解码目标的比特流是否满足与上述帧内配置相关的比特流约束(在检查的同时对比特流进行解码)。
例如,在满足预定条件的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中运动图像的所有图片的图片类型是否是I图片。例如,比特流约束检查单元212可以检查作为解码目标的比特流是否满足图2中所示的比特流约束。
此外,在满足条件的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中所有VCLNAL单元的NAL单元类型是否是“指示IRAP的值”。例如,在VVC的情况下,比特流约束检查单元212可以检查nal_unit_type是否被设置为NAL单元报头中的值7至11中的任何一个。
此外,在用于运动图像编码的配置是帧内配置的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。换言之,在配置是帧内配置的情况下,比特流约束检查单元212可以检查所有VCLNAL单元的NAL单元类型是否被设置为NAL单元报头中的“指示IRAP的值”。
此时,比特流约束检查单元212可以将其中配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的状态视为是帧内配置。也就是说,在配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。
注意,比特流约束检查单元212可以通过使用用于标识配置的配置标识符(general_profile_idc)来确定它是哪个配置。也就是说,在配置标识符的值是10、42或44的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。
此外,比特流约束检查单元212可以类似于帧内配置来处理静态图片配置。也就是说,同样在配置是静态图片配置的情况下,类似于帧内配置的情况,比特流约束检查单元212可以检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。
此时,比特流约束检查单元212可以将其中配置是主12静态图片配置、主12 4:4:4静态图片配置或主16 4:4:4静态图片配置的状态视为是静态图片配置。也就是说,在配置是主12静态图片配置、主12 4:4:4静态图片配置或主16 4:4:4静态图片配置的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。此时,在配置标识符的值是66、98或100的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。
比特流约束检查单元212可以输出如上所述的检查结果。例如,在比特流约束检查单元212确定比特流不满足与上述方法1、方法1-1或方法1-2或其组合相对应的比特流约束的情况下,比特流约束检查单元212可以向用户等通知指示比特流约束不被满足的警告消息。例如,比特流约束检查单元212可以在屏幕上将警告消息显示为字符或图像,或者可以从扬声器等将警告消息输出为声音。此外,比特流约束检查单元212可以将警告消息作为数据等提供至另一装置、另一处理单元(另一应用)等。
此外,比特流约束检查单元212可以基于检查结果控制比特流的解码。例如,在比特流约束检查单元212确定比特流不满足与上述方法1、方法1-1或方法1-2或其组合相对应的比特流约束的情况下,比特流约束检查单元212可以结束对比特流的解码处理。此外,在比特流约束检查单元212确定比特流不满足与上述方法1、方法1-1或方法1-2或其组合相对应的比特流约束的情况下,比特流约束检查单元212可以暂时停止对比特流的解码处理,直到用户等允许为止。
此外,比特流约束检查单元212可以执行警告消息的输出和解码处理的控制两者。
原始字节序列有效载荷解码单元213基于包括在生成的NAL单元报头中的参数对比特流进行解码,并且得出原始字节序列有效载荷。因此,原始字节序列有效载荷解码单元213也可以被称为图片解码单元,图片解码单元对作为解码目标的运动图像的比特流进行解码。
利用这种配置,解码装置200可以检查作为解码目标的比特流是否满足比特流约束,例如“在满足预定条件的情况下,将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码”。例如,解码装置200可以检查作为解码目标的比特流是否满足图2中所示的比特流约束。也就是说,解码装置200可以使要解码的比特流的规范更可靠地对应于配置。
<解码处理的流程>
接下来,将参照图8中的流程图描述由解码装置200执行的解码处理的流程的示例。
当开始解码处理时,在步骤S201中,解码装置200的NAL单元报头解码单元211根据语法表的定义对NAL单元报头的编码数据进行解码。
在步骤S202中,比特流约束检查单元212确定比特流是否满足与帧内配置相关的比特流约束。此时,比特流约束检查单元212可以通过应用上述方法1、方法1-1或方法1-2或其组合来执行检查。
例如,在满足预定条件的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中运动图像的所有图片的图片类型是否是I图片。此外,在满足条件的情况下,比特流约束检查单元212可以检查在比特流中所有VCLNAL单元的NAL单元类型是否是“指示IRAP的值”。例如,如下所述,可以执行关于nal_unit_type是否是7至11中的任一个的检查。
ret=(nal_unit_type>=7&&nal_unit_type<=11)?1:0
在这种情况下,在参数ret为真(ret=1)的情况下,确定比特流满足关于帧内配置的比特流约束。
此外,在比特流的配置是帧内配置的情况下,比特流约束检查单元212可以检查在比特流中所有图片的图片类型是否是I图片。此时,比特流约束检查单元212可以将其中配置是“主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置”的状态设置为是“帧内配置”。此外,配置标识符(general_profile_idc)可以用于确定配置是否是帧内配置。此外,同样在静态图片配置的情况下,类似于帧内配置的情况,可以执行关于在作为解码目标的比特流中所有图片的图片类型是否是I图片的检查。
在步骤S202中确定不满足与帧内配置相关的比特流约束的情况下(例如,在参数ret为假(ret=0)的情况下),处理继续进行到步骤S203。
在步骤S203中,比特流约束检查单元212通知指示不满足与帧内配置相关的比特流约束的警告消息。
当步骤S203的处理结束时,处理继续进行到步骤S204。此外,在步骤S202中确定作为解码目标的比特流满足与帧内配置相关的比特流约束的情况下,处理继续进行到步骤S204。
在步骤S204中,原始字节序列有效载荷解码单元213根据语法表的定义对原始字节序列有效载荷进行解码。
当步骤S204的处理结束时,解码处理结束。
通过以这种方式执行各个处理,解码装置200可以检查作为解码目标的比特流是否满足比特流约束,例如“在满足预定条件的情况下,将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码”。例如,解码装置200可以检查作为解码目标的比特流是否满足图2中所示的比特流约束。也就是说,解码装置200可以使要解码的比特流的规范更可靠地对应于配置。
<修改>
注意,在应用方法1的情况下,在控制标志为真的情况下,所有图片的图片类型可以限制为I图片(方法1-3),如图1中的表格的底行中所示。通过提供这种约束,在控制标志为真的情况下,运动图像的每个图片(每个切片)可以被更可靠地编码为I图片(I切片)。也就是说,通过将控制标志设置为真,例如,即使在除了帧内配置之外的情况下,也可以更可靠地将运动图像的每个图片(每个切片)编码为I图片(I切片)。因此,可以使比特流的规范更可靠地对应于配置。
<编码装置>
图9是示出在这种情况下(当应用方法1-3时)编码装置100的主要配置示例的框图。注意,在图9中,示出了处理单元、数据流等的主要部分,并且图9中示出的这些不一定是全部。也就是说,编码装置100可以包括未在图9中示出为块的处理单元。此外,编码装置100可以具有未在图9中示出为箭头等的过程或数据流。
如图9中所示,除了图5的配置之外,这种情况下的编码装置100还包括参数集编码单元301。参数集编码单元301获取包括诸如配置、级别和层的参数的参数集并对该参数集进行编码,并输出编码数据(将编码数据存储到比特流中)。
此时,参数集编码单元301可以通过应用上述方法1-3来执行处理。例如,参数集编码单元301可以设置用于控制是否将运动图像的所有图片的图片类型限制为I图片的控制标志(irap_only_constraint_flag),对设置的控制标志进行编码,并且将控制标志存储到比特流中。例如,参数集编码单元301包括控制标志设置单元311和控制标志编码单元312。
控制标志设置单元311设置控制标志(irap_only_constraint_flag)。控制标志(irap_only_constraint_flag)是用于控制是否将运动图像的所有图片的图片类型限制为I图片的标志信息。在控制标志为真(例如,irap_only_constraint_flag==1)的情况下,运动图像的所有图片的图片类型被限制为I图片。此外,在控制标志为假(例如,irap_only_constraint_flag==0)的情况下,不进行图片类型的限制。
控制标志设置单元311基于例如来自用户等的指令来设置控制标志。然后,控制标志设置单元311将设置的控制标志供应至控制标志编码单元312。此外,控制标志设置单元311将设置的控制标志供应至NAL单元报头设置单元111。
控制标志编码单元312对控制标志进行编码并输出编码数据(将编码数据存储到比特流中)。
NAL单元编码单元101(NAL单元报头设置单元111)应用上述方法1-3,并基于该控制标志执行处理。例如,在控制标志为真的情况下,NAL单元编码单元101可以将所有图片的图片类型设置为I图片来对运动图像进行编码。此时,NAL单元编码单元101(NAL单元报头设置单元111)可以通过将所有VCLNAL单元的NAL单元类型设置为“指示IRAP的值”来将所有图片的图片类型设置为I图片。例如,在VVC的情况下,NAL单元编码单元101(NAL单元报头设置单元111)可以将nal_unit_type设置为从7至11的任何值。
NAL单元报头编码单元112和原始字节序列有效载荷编码单元113执行与图5的情况类似的处理。
利用这种配置,在用于控制是否将运动图像的所有图片的图片类型限制为I图片的控制标志(irap_only_constraint_flag)为真的情况下,编码装置100可以将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码。也就是说,编码装置100可以使比特流的规范更可靠地对应于配置。
<编码处理的流程>
接下来,将参照图10中的流程图描述由编码装置100执行的编码处理的流程的示例。
在这种情况下,当开始编码处理时,在步骤S301中,编码装置100的控制标志设置单元311例如基于用户等的指令设置用于控制是否将运动图像的所有图片的图片类型限制为I图片的控制标志(irap_only_constraint_flag)。
在步骤S302中,控制标志编码单元312对已经在步骤S301中设置的控制标志(irap_only_constraint_flag)进行编码,并将控制标志存储到比特流中。
在步骤S303中,NAL单元编码单元101应用上述方法1-3,并基于已经在步骤S301中设置的控制标志(irap_only_constraint_flag)执行NAL单元编码处理,以对NAL单元进行编码。也就是说,在控制标志为真的情况下,NAL单元编码单元101将所有图片的图片类型设置为I图片来对运动图像进行编码。
当步骤S303的处理结束时,编码处理结束。
<NAL单元编码处理的流程>
接下来,将参照图11的流程图描述在图10的步骤S303中执行的NAL单元编码处理的流程的示例。
当开始NAL单元编码处理时,在步骤S321中,NAL单元报头设置单元111基于控制标志(irap_only_constraint_flag)设置NAL单元类型。例如,在控制标志为真的情况下,NAL单元报头设置单元111将所有图片的图片类型设置为I图片。例如,在这种情况下,NAL单元报头设置单元111可以将所有VCLNAL单元的NAL单元类型设置为“指示IRAP的值”。例如,在VVC的情况下,NAL单元报头设置单元111可以将nal_unit_type设置为从7至11的任何值。
在步骤S322中,NAL单元报头编码单元112根据语法表的定义,对已经在步骤S301中设置的NAL单元报头进行编码。
在步骤S323中,原始字节序列有效载荷编码单元113根据语法表的定义对原始字节序列有效载荷进行编码。也就是说,原始字节序列有效载荷编码单元113对作为已经在步骤S321中设置的NAL单元类型的NAL单元的原始字节序列有效载荷进行编码。也就是说,原始字节序列有效载荷编码单元113通过应用上述方法1-3来对原始字节序列有效载荷进行编码。
当步骤S323的处理结束时,NAL单元编码处理结束,并且处理返回到图10。
通过以这种方式执行各个处理,在用于控制是否将运动图像的所有图片的图片类型限制为I图片的控制标志(irap_only_constraint_flag)为真的情况下,编码装置100可以将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码。也就是说,编码装置100可以使比特流的规范更可靠地对应于配置。
<解码装置>
图12是示出在这种情况(应用方法1-3的情况)下解码装置的主要配置示例的框图。注意,在图12中,示出了处理单元、数据流等的主要部分,并且图12中示出的这些不一定是全部。也就是说,解码装置200可以包括未在图12中示出为块的处理器。此外,解码装置200可以具有未在图12中示出为箭头等的过程或数据流。
如图12中所示,除了图7的配置之外,这种情况下的解码装置200还包括参数集解码单元401。参数集解码单元401获取包括存储在比特流中的诸如配置、级别和层的参数的参数集的编码数据,并且对编码数据进行解码以生成(恢复)参数集(例如,诸如配置、级别和层的参数)。
参数集解码单元401包括控制标志解码单元411。控制标志解码单元411应用上述方法1-3,并对比特流进行解码以生成(恢复)用于控制是否将运动图像的所有图片的图片类型限制为I图片的控制标志(irap_only_constraint_flag)。控制标志解码单元411将生成的控制标志供应至比特流约束检查单元212。
比特流约束检查单元212通过应用上述方法1-3来执行处理。例如,在用于控制是否将运动图像的所有图片的图片类型限制为I图片的控制标志为真(例如,irap_only_constraint_flag==1)的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。例如,在从控制标志解码单元411供应的控制标志为真(例如,irap_only_constraint_flag==1)的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。
例如,比特流约束检查单元212可以检查在作为解码目标的比特流中所有VCLNAL单元的NAL单元类型是否是“指示IRAP的值”。例如,在VVC的情况下,比特流约束检查单元212可以检查nal_unit_type是否被设置为NAL单元报头中的值7至11中的任何一个。
比特流约束检查单元212可以输出如上所述的检查结果。例如,在确定比特流不满足对应于上述方法1-3的比特流约束的情况下,比特流约束检查单元212可以向用户等通知指示比特流约束不被满足的警告消息。例如,比特流约束检查单元212可以在屏幕上将警告消息显示为字符或图像,或者可以从扬声器等将警告消息输出为声音。此外,比特流约束检查单元212可以将警告消息作为数据等提供至另一装置、另一处理单元(另一应用)等。
此外,比特流约束检查单元212可以基于检查结果控制比特流的解码。例如,在比特流约束检查单元212确定比特流不满足对应于上述方法1-3的比特流约束的情况下,比特流约束检查单元212可以结束对比特流的解码处理。此外,在比特流约束检查单元212确定比特流不满足对应于上述方法1-3的比特流约束的情况下,比特流约束检查单元212可以暂时停止对比特流的解码处理,直到用户等允许为止。
此外,比特流约束检查单元212可以执行警告消息的输出和解码处理的控制两者。
NAL单元报头解码单元211和原始字节序列有效载荷解码单元213执行与图7的情况类似的处理。
利用这样的配置,在用于控制是否将运动图像的所有图片的图片类型限制为I图片的控制标志(irap_only_constraint_flag)为真的情况下,解码装置200可以检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。也就是说,解码装置200可以使要解码的比特流的规范更可靠地对应于配置。
<解码处理的流程>
接下来,将参照图13中的流程图描述由解码装置200执行的解码处理的流程的示例。
在这种情况下,当开始解码处理时,在步骤S401中,解码装置200的控制标志解码单元411对比特流(包括在其中的控制标志的编码数据)进行解码,以生成(恢复)用于控制是否将运动图像的所有图片的图片类型限制为I图片的控制标志(irap_only_constraint_flag)。
在步骤S402中,NAL单元解码单元201通过应用上述方法1-3来执行NAL单元编码处理,并且基于在步骤S401中生成(恢复)的控制标志(irap_only_constraint_flag)来对NAL单元的编码数据进行解码。也就是说,在控制标志为真的情况下,NAL单元编码单元101检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。
当步骤S402中的处理结束时,解码处理结束。
<NAL单元解码处理的流程>
接下来,将参照图14的流程图描述在图13的步骤S402中执行的NAL单元解码处理的流程的示例。
当开始NAL单元解码处理时,在步骤S421中,NAL单元报头解码单元211根据语法表的定义对NAL单元报头的编码数据进行解码。
在步骤S422中,比特流约束检查单元212确定作为解码目标的比特流是否满足与帧内配置相关的比特流约束。此时,比特流约束检查单元212可以通过应用上述方法1-3来执行检查。
例如,在图13的步骤S401中解码的控制标志(irap_only_constraint_flag)为真的情况下,比特流约束检查单元212可以检查在作为解码目标的比特流中运动图像的所有图片的图片类型是否是I图片。例如,比特流约束检查单元212可以检查在比特流中所有VCLNAL单元的NAL单元类型是否是“指示IRAP的值”。例如,在VVC的情况下,比特流约束检查单元212可以检查nal_unit_type是否是7至11中的任一个。
在步骤S422中确定不满足与帧内配置相关的比特流约束的情况下(例如,在参数ret为假(ret=0)的情况下),处理继续进行到步骤S423。
在步骤S423中,比特流约束检查单元212通知指示不满足与帧内配置相关的比特流约束的警告消息。
当步骤S423的处理结束时,处理继续进行到步骤S424。此外,在步骤S422中确定作为解码目标的比特流满足与帧内配置相关的比特流约束的情况下,处理继续进行到步骤S424。
在步骤S424中,原始字节序列有效载荷解码单元213根据语法表的定义对原始字节序列有效载荷进行解码。
当步骤S424的处理结束时,处理返回到图13。
通过以这种方式执行各个处理,在用于控制是否将运动图像的所有图片的图片类型限制为I图片的控制标志(irap_only_constraint_flag)为真的情况下,解码装置200可以检查在作为解码目标的比特流中所有图片的图片类型是否是I图片。也就是说,解码装置200可以使要解码的比特流的规范更可靠地对应于配置。
注意,编码装置100和解码装置200可以结合另一方法(上述方法1、方法1-1或方法1-2,或其组合等)应用上述方法1-3。
<4.对切片类型的约束>
<方法2>
此外,如图15中的表格的顶行处所示,在帧内配置的情况下,仅帧内约束标志可以被限制为真(方法2)。仅帧内约束标志(gci_intra_only_constraint_flag)是指示运动图像的所有切片的切片类型是否是I切片的标志信息。此外,该仅帧内约束标志也可以被称为用于控制是否将运动图像的所有切片的切片类型限制为I切片的控制标志。例如,经过通过使用仅帧内约束标志来提供这种约束(也称为“对仅帧内约束标志的比特流约束”),该约束可以应用于上述帧内配置。也就是说,可以通过仅帧内约束标志来控制是否将运动图像的所有切片的切片类型限制为I切片。因此,可以使比特流的规范更可靠地对应于配置。
<方法2-1>
例如,在应用方法2的情况下,如从图15中的表格顶部起第二行中所示,在配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置中的任一个的情况下,仅帧内约束标志可以被限制为真(方法2-1)。
<方法2-1-1>
例如,在应用方法2-1的情况下,如从图15中的表格顶部起第三行中所示,在配置标识符的值是10、42或44的情况下,仅帧内约束标志可以被限制为真(方法2-1-1)。
<方法2-2>
例如,在应用方法2的情况下,如图15的表格的底行中所示,在静态图片配置的情况下,仅帧内约束标志也可以被限制为真(方法2-2)。
<比特流约束>
例如,在诸如VVC的运动图像的通用编码标准(编码/解码方法)中,如图16中所示的比特流约束可以被提供作为与帧内配置相关的比特流约束。例如,在VVC的情况下,仅帧内约束标志(gci_intra_only_constraint_flag)被设置,如在图17中所示的语法中一样。
该仅帧内约束标志(gci_intra_only_constraint_flag)是指示作为解码目标的比特流中包括的运动图像的所有切片的切片类型是否是解码侧上的I切片的标志信息。例如,在仅帧内约束标志为真(例如,gci_intra_only_constraint_flag==1)的情况下,它指示作为解码目标的比特流中包括的运动图像的所有切片的切片类型是I切片。此外,在仅帧内约束标志为假(例如,gci_intra_only_constraint_flag==0)的情况下,它指示作为解码目标的比特流中包括的运动图像的所有切片的切片类型不一定是I切片。
此外,仅帧内约束标志(gci_intra_only_constraint_flag)是控制是否将运动图像的所有切片的切片类型限制为编码侧上的I切片的控制标志。例如,在仅帧内约束标志为真(例如,gci_intra_only_constraint_flag==1)的情况下,运动图像的所有切片的切片类型被设置为I切片,并且运动图像被编码。此外,在仅帧内约束标志为假(例如,gci_intra_only_constraint_flag==0)的情况下,运动图像在没有应用于切片类型的这种限制的情况下被编码。
在图16的比特流约束中,在帧内配置(主12帧内配置、主12 4:4:4帧内配置或主164:4:4帧内配置)的情况下,该仅帧内约束标志(gci_intra_only_constraint_flag)被限制为真。
通过将这种比特流约束添加至运动图像的通用编码标准,在应用帧内配置的情况下,该仅帧内约束标志(gci_intra_only_constraint_flag)可以被设置为真。也就是说,在应用帧内配置的情况下,作为编码目标的运动图像的所有切片的切片类型可以被限制为I切片。例如,在VVC的情况下,如图18中所示,图2的比特流约束可以简单地添加至非专利文献7的“A3.5格式范围扩展配置”。
注意,如图18中所示,在应用帧内配置的情况下,对于作为编码目标的运动图像的所有切片,作为指示切片类型的参数的sh_slice_type的值可以被限制为“2”。
<编码装置>
图19是示出编码装置的配置示例的框图,该编码装置是应用本技术的图像处理装置的一种模式。图19中所示的编码装置500是对作为编码目标的运动图像进行编码并生成比特流的装置。
例如,编码装置500得出运动图像的预测残差及其预测图像,对预测残差执行系数变换(例如,正交变换),并且对其变换系数进行量化和编码。当然,这种编码方法只是示例。由编码装置500对运动图像进行编码的方法不限于该示例。例如,可以跳过(省略)上述处理中的一些,例如系数变换和量化。
编码装置500通过应用上述方法2、方法2-1、方法2-1-1或方法2-2或其组合来对运动图像进行编码。
注意,在图19中,示出了处理单元、数据流等的主要部分,并且图19中示出的这些不一定是全部。也就是说,编码装置500可以包括未在图19中示出为块的处理单元。此外,编码装置500可以具有未在图19中示出为箭头等的过程或数据流。
如图19中所示,编码装置500包括参数集编码单元501和图片编码单元502。参数集编码单元501获取包括诸如配置、级别和层的参数的参数集并对该参数集进行编码,并输出编码数据(将编码数据存储到比特流中)。图片编码单元502获取与作为编码目标的运动图像相关的任何参数,并通过使用该参数针对每个切片对运动图像进行编码。
此时,参数集编码单元501和图片编码单元502可以通过应用上述方法2、方法2-1、方法2-1-1或方法2-2或其组合来执行处理。例如,在用于运动图像编码的配置是帧内配置的情况下,参数集编码单元501可以将仅帧内约束标志(gci_intra_only_constraint_flag)设置为真,并对包括仅帧内约束标志的参数集进行编码,该仅帧内约束标志用于控制是否将运动图像的所有切片的切片类型限制为I切片。此外,在仅帧内约束标志为真的情况下,图片编码单元502可以将作为编码目标的运动图像的所有切片设置为I切片来对运动图像进行编码。
此时,在仅帧内约束标志为真的情况下,图片编码单元502可以将作为指示切片类型的参数的sh_slice_type的值设置为“2”。
此外,在配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,参数集编码单元501可以将仅帧内约束标志设置为真。
此外,在用于标识配置的配置标识符(general_profile_idc)的值是10、42或44的情况下,参数集编码单元501可以将仅帧内约束标志设置为真。
此外,同样在配置是静态图片配置的情况下(例如,在配置标识符(general_profile_idc)的值是66、98或100的情况下),参数集编码单元501可以将仅帧内约束标志设置为真。
如图19中所示,参数集编码单元501包括仅帧内约束标志设置单元511和仅帧内约束标志编码单元512。此外,图片编码单元502包括切片报头设置单元521、切片报头编码单元522和切片编码单元523。
仅帧内约束标志设置单元511执行与仅帧内约束标志的设置相关的处理。例如,仅帧内约束标志设置单元511可以基于用户等指定的配置来设置仅帧内约束标志。例如,在指定帧内配置的情况下,仅帧内约束标志设置单元511可以将仅帧内约束标志设置为真(gci_intra_only_constraint_flag==1)。此外,在指定了除帧内配置之外的配置的情况下,仅帧内约束标志设置单元511可以将仅帧内约束标志设置为假(gci_intra_only_constraint_flag==0)。
此时,仅帧内约束标志设置单元511可以将其中配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的状态视为是帧内配置。也就是说,在指定的配置是主12帧内配置、主12 4:4:4帧内配置或主164:4:4帧内配置的情况下,仅帧内约束标志设置单元511可以将仅帧内约束标志设置为真。
此外,仅帧内约束标志设置单元511可以通过使用用于标识配置的配置标识符(general_profile_idc)来确定指定的配置是什么。也就是说,在配置标识符的值是10、42或44的情况下,仅帧内约束标志设置单元511可以将仅帧内约束标志设置为真。
此外,仅帧内约束标志设置单元511可以类似于帧内配置来处理静态图片配置。也就是说,同样在配置是静态图片配置的情况下,类似于帧内配置的情况,仅帧内约束标志设置单元511可以将仅帧内约束标志设置为真。
此时,仅帧内约束标志设置单元511可以将其中配置是主12静态图片配置、主124:4:4静态图片配置或主16 4:4:4静态图片配置的状态视为是静态图片配置。也就是说,在指定的配置是主12静态图片配置、主124:4:4静态图片配置或主16 4:4:4静态图片配置的情况下,仅帧内约束标志设置单元511可以将仅帧内约束标志设置为真。
此外,在静态图片配置的情况下,仅帧内约束标志设置单元511可以通过使用用于标识配置的配置标识符(general_profile_idc)来确定指定的配置是什么。也就是说,在配置标识符的值是66、98或100的情况下,仅帧内约束标志设置单元511可以将仅帧内约束标志设置为真。
仅帧内约束标志设置单元511可以将设置的仅帧内约束标志供应至仅帧内约束标志编码单元512和切片报头设置单元521。
仅帧内约束标志编码单元512可以对从仅帧内约束标志设置单元511供应的仅帧内约束标志进行编码,并且将编码数据存储到比特流中。
切片报头设置单元521执行与切片报头设置相关的处理。例如,切片报头设置单元521可以获取从仅帧内约束标志设置单元511供应的仅帧内约束标志。此外,切片报头设置单元521可以基于仅帧内约束标志来设置切片类型。例如,在仅帧内约束标志为真(gci_intra_only_constraint_flag==1)的情况下,切片报头设置单元521可以将所有切片设置为I切片。此时,例如,切片报头设置单元521可以将作为指示切片类型的参数的sh_slice_type的值设置为“2”。
注意,在仅帧内约束标志为假(gci_intra_only_constraint_flag==0)的情况下,切片报头设置单元521选择并设置适当的切片类型。例如,切片报头设置单元521可以将sh_slice_type的值设置为从0至2的适当值。
此外,切片报头设置单元521可以基于指定的配置类型而不是仅帧内约束标志来设置切片类型。例如,在指定帧内配置的情况下,切片报头设置单元521可以将所有切片设置为I切片。例如,在指定主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,切片报头设置单元521可以将所有切片设置为I切片。此外,在指定的配置标识符的值是10、42或44的情况下,切片报头设置单元521可以将所有图片的图片类型设置为I图片。此外,同样在指定静态图片配置的情况下,切片报头设置单元521可以将所有图片的图片类型设置为I图片。
切片报头设置单元521可以将已经以这种方式设置的切片报头供应至切片报头编码单元522。
切片报头编码单元522根据语法表的定义对从切片报头设置单元521供应的切片报头进行编码。切片编码单元523根据语法表的定义对切片进行编码。
利用这种配置,编码装置500可以根据比特流约束——例如“在帧内配置的情况下,将仅帧内约束标志限制为真”——对运动图像进行编码。例如,编码装置500可以根据图16中所示的比特流约束对运动图像进行编码。也就是说,编码装置500可以使比特流的规范更可靠地对应于配置。
<编码处理的流程>
接下来,将参照图20中的流程图描述由该编码装置500执行的编码处理的流程的示例。
当开始编码处理时,在步骤S501中,编码装置500的参数集编码单元501执行参数集编码处理,以对已经设置的参数进行编码。此时,在用于运动图像编码的配置是帧内配置的情况下,参数集编码单元501将仅帧内约束标志设置为真,并且对包括仅帧内约束标志的参数集进行编码。
在步骤S502中,图片编码单元502执行图片编码处理以对图片进行编码。此时,在仅帧内约束标志为真的情况下,图片编码单元502将所有切片设置为I切片来对作为编码目标的运动图像进行编码。
当步骤S502的处理结束时,编码处理结束。
<参数集编码处理的流程>
接下来,将参照图21的流程图描述在图20的步骤S501中执行的参数集编码处理的流程的示例。
当开始参数集编码处理时,在步骤S521中,仅帧内约束标志设置单元511基于指定的配置设置仅帧内约束标志(gci_intra_only_constraint_flag)。如上所述,例如,在指定帧内配置的情况下,仅帧内约束标志设置单元511可以将仅帧内约束标志设置为真。此时,仅帧内约束标志设置单元511可以将其中配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的状态视为是帧内配置。此外,仅帧内约束标志设置单元511可以通过使用用于标识配置的配置标识符(general_profile_idc)来确定指定的配置是什么。此外,仅帧内约束标志设置单元511可以类似于帧内配置来处理静态图片配置。
在步骤S522中,仅帧内约束标志编码单元512根据语法表的定义对已经在步骤S521中设置的仅帧内约束标志进行编码。
当步骤S522的处理结束时,参数集编码处理结束,并且处理返回到图20。
<图片编码处理的流程>
接下来,将参照图22中的流程图描述在图20中的步骤S502中执行的图片编码处理的流程的示例。
当开始图片编码处理时,在步骤S541中,切片报头设置单元521设置处理目标切片的切片类型。
此时,在切片报头设置单元521中,切片报头设置单元521可以基于仅帧内约束标志来设置切片类型。例如,在仅帧内约束标志为真(gci_intra_only_constraint_flag==1)的情况下,切片报头设置单元521可以将所有切片设置为I切片。此时,例如,切片报头设置单元521可以将作为指示切片类型的参数的sh_slice_type的值设置为“2”。
此外,切片报头设置单元521可以基于指定的配置类型而不是仅帧内约束标志来设置切片类型。例如,在指定帧内配置的情况下,切片报头设置单元521可以将所有切片设置为I切片。例如,在指定主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,切片报头设置单元521可以将所有切片设置为I切片。此外,在指定的配置标识符的值是10、42或44的情况下,切片报头设置单元521可以将所有图片的图片类型设置为I图片。此外,同样在指定静态图片配置的情况下,切片报头设置单元521可以将所有图片的图片类型设置为I图片。
切片报头设置单元521针对处理目标切片设置包括以这种方式设置的切片类型的切片报头。
在步骤S542中,切片报头编码单元522根据语法表的定义,对已经在步骤S541中设置的处理目标切片的切片报头进行编码。
在步骤S543中,切片编码单元523根据语法表的定义对处理目标切片进行编码。
在步骤S544中,图片编码单元502确定是否已经对处理目标帧的所有切片进行编码。在确定存在未处理的切片的情况下,从未处理的切片中选择新的处理目标切片,并且处理返回到步骤S541。也就是说,对处理目标帧的每个切片执行步骤S541至S544的各个处理。
然后,在步骤S544中确定已经对处理目标帧的所有切片进行编码的情况下,图片编码处理结束,并且处理返回到图20。
通过以这种方式执行各个处理,编码装置500可以根据比特流约束——例如“在帧内配置的情况下将仅帧内约束标志限制为真”——对运动图像进行编码。例如,编码装置500可以根据图16中所示的比特流约束对运动图像进行编码。也就是说,编码装置500可以使比特流的规范更可靠地对应于配置。
<解码装置>
图23是示出解码装置的配置示例的框图,该解码装置是应用本技术的图像处理装置的一个方面。图23中所示的解码装置600是对比特流进行解码以生成(恢复)作为编码目标的运动图像的装置。
例如,解码装置600对比特流进行解码以生成(恢复)量化系数,对量化系数进行逆量化以得出变换系数,对变换系数执行逆系数变换(例如,逆正交变换)以得出预测残差,从解码图像生成预测图像,并将预测图像与预测残差相加以生成(恢复)图像数据。当然,这种解码方法只是示例。由解码装置600对比特流进行解码的方法不限于该示例。例如,可以跳过(省略)诸如逆量化和逆系数变换的上述处理中的一些。
解码装置600通过应用上述方法2、方法2-1、方法2-1-1或方法2-2或其组合来对比特流进行解码。
注意,在图23中,示出了处理单元、数据流等的主要部分,并且图23中示出的这些不一定是全部。也就是说,解码装置600可以包括未在图23中示出为块的处理器。此外,解码装置600可以具有未在图23中示出为箭头等的过程或数据流。
如图23中所示,解码装置600包括参数集解码单元601和图片解码单元602。参数集解码单元601获取包括存储在比特流中的诸如配置、级别和层的参数的参数集的编码数据,并对编码数据进行解码以生成(恢复)参数集(例如,诸如配置、级别和层的参数)。图片解码单元602获取比特流,对比特流进行解码,生成(恢复)作为编码目标的运动图像,并输出与运动图像相关的参数。
参数集解码单元601包括仅帧内约束标志解码单元611和比特流约束检查单元612。此外,图片解码单元602包括切片报头解码单元621、比特流约束检查单元622和切片解码单元623。
仅帧内约束标志解码单元611应用上述方法2、方法2-1、方法2-1-1或方法2-2或其组合,并对比特流进行解码以生成(恢复)仅帧内约束标志(gci_intra_only_constraint_flag)。仅帧内约束标志是用于控制是否将运动图像的所有切片的切片类型限制为I切片的控制标志。因此,仅帧内约束标志解码单元611也可以被称为控制标志解码单元。注意,仅帧内约束标志也可以被称为指示存储在比特流中的运动图像的所有切片的切片类型是否是I切片的标志信息。仅帧内约束标志解码单元611将生成的仅帧内约束标志供应至比特流约束检查单元612和比特流约束检查单元622。
比特流约束检查单元612应用上述方法2、方法2-1、方法2-1-1或方法2-2或其组合,并检查比特流是否满足与仅帧内约束标志相关的比特流约束。因此,比特流约束检查单元612也可以被称为检查控制标志的控制标志检查单元。例如,在比特流的配置是帧内配置的情况下,比特流约束检查单元612可以检查仅帧内约束标志是否为真(例如,gci_intra_only_constraint_flag==1)。
例如,在比特流的配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,比特流约束检查单元612可以检查仅帧内约束标志是否为真。
此外,在用于标识配置的配置标识符(general_profile_idc)的值是10、42或44的情况下,比特流约束检查单元612可以检查仅帧内约束标志是否为真。
此外,同样在比特流的配置是静态图片配置的情况下,比特流约束检查单元612可以检查仅帧内约束标志是否为真。
比特流约束检查单元612可以输出如上所述的检查结果。例如,在比特流约束检查单元612确定比特流不满足与仅帧内约束标志相关的比特流约束的情况下(即使在帧内配置的情况下,也存在其值为假的仅帧内约束标志),比特流约束检查单元612可以向用户等通知指示不满足比特流约束的警告消息。例如,比特流约束检查单元612可以在屏幕上将警告消息显示为字符或图像,或者可以从扬声器等将警告消息输出为声音。此外,比特流约束检查单元612可以将警告消息作为数据等提供至另一装置、另一处理单元(另一应用)等。
此外,比特流约束检查单元612可以基于检查结果控制仅帧内约束标志的解码。例如,在确定比特流不满足与上述仅帧内约束标志相关的比特流约束的情况下,比特流约束检查单元612可以结束对仅帧内约束标志的解码处理。此外,在比特流约束检查单元612确定比特流不满足与仅帧内约束标志相关的比特流约束的情况下,比特流约束检查单元612可以暂时停止对仅帧内约束标志的解码处理,直到用户等允许为止。
此外,比特流约束检查单元612可以执行警告消息的输出和解码处理的控制两者。
切片报头解码单元621根据语法表的定义对比特流进行解码,以生成(恢复)处理目标切片的切片报头。切片报头解码单元621将生成的处理目标切片的切片报头供应至比特流约束检查单元622。
比特流约束检查单元622执行与比特流约束的检查相关的处理。例如,比特流约束检查单元622可以获取从仅帧内约束标志解码单元611供应的仅帧内约束标志。此外,比特流约束检查单元622可以获取从切片报头解码单元621供应的切片报头。比特流约束检查单元622可以应用上述方法2、方法2-1、方法2-1-1或方法2-2或其组合,并且在满足预定条件的情况下,检查在比特流中运动图像的所有切片的切片类型是否是I切片。例如,比特流约束检查单元622可以检查作为指示切片类型的参数的sh_slice_type的值是否对于所有切片都是“2”。
此外,在仅帧内约束标志为真的情况下,比特流约束检查单元622可以检查在比特流中运动图像的所有切片的切片类型是否是I切片。例如,在从仅帧内约束标志解码单元611供应的仅帧内约束标志为真的情况下,比特流约束检查单元622可以检查在比特流中运动图像的所有切片的切片类型是否是I切片。
此外,比特流约束检查单元622可以基于比特流的配置类型而不是仅帧内约束标志来检查所有切片的切片类型是否是I切片。例如,在比特流的配置是帧内配置的情况下,比特流约束检查单元622可以检查在比特流中运动图像的所有切片的切片类型是否是I切片。例如,在比特流的配置类型是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,比特流约束检查单元622可以检查所有切片的切片类型是否是I切片。此外,在存储在比特流中的配置标识符的值是10、42或44的情况下,比特流约束检查单元622可以检查所有切片的切片类型是否是I切片。此外,同样在比特流的配置是静态图片配置的情况下,比特流约束检查单元622可以检查所有切片的切片类型是否是I切片。
比特流约束检查单元622可以输出如上所述的检查结果。例如,在确定比特流不满足与上述仅帧内约束标志相关的比特流约束的情况下(即使在帧内配置的情况下,也存在不是I切片的切片),比特流约束检查单元622可以向用户等通知指示不满足比特流约束的警告消息。例如,比特流约束检查单元622可以在屏幕上将警告消息显示为字符或图像,或者可以从扬声器等将警告消息输出为声音。此外,比特流约束检查单元622可以将警告消息作为数据等提供至另一装置、另一处理单元(另一应用)等。
此外,比特流约束检查单元622可以基于检查结果控制仅帧内约束标志的解码。例如,在确定比特流不满足与上述仅帧内约束标志相关的比特流约束的情况下,比特流约束检查单元622可以结束对比特流的解码处理。此外,在比特流约束检查单元622确定比特流不满足与仅帧内约束标志相关的比特流约束的情况下,比特流约束检查单元622可以暂时停止对比特流的解码处理,直到用户等允许为止。
此外,比特流约束检查单元622可以执行警告消息的输出和解码处理的控制两者。
切片解码单元623对比特流进行解码,以生成(恢复)包括在比特流中的作为解码目标的运动图像。例如,切片解码单元623根据语法表的定义对处理目标切片进行解码。
利用这种配置,例如,在比特流的配置是帧内配置的情况下,解码装置600可以检查是否所有的仅帧内约束标志都为真。也就是说,解码装置600可以使要解码的比特流的规范更可靠地对应于配置。
<解码处理的流程>
接下来,将参照图24中的流程图描述由该解码装置600执行的解码处理的流程的示例。
在这种情况下,当开始解码处理时,在步骤S601中,参数集解码单元601执行参数解码处理,以对包括在比特流中的参数集的编码数据进行解码,并生成(恢复)参数集。
在步骤S602中,图片解码单元602执行图片解码处理,以对包括在比特流中的图片的编码数据进行解码,并生成(恢复)图片。
当步骤S602中的处理结束时,解码处理结束。
<参数集解码处理的流程>
接下来,将参照图25的流程图描述在图24的步骤S601中执行的参数集解码处理的流程的示例。
当开始参数集编码处理时,在步骤S621中,仅帧内约束标志解码单元611根据语法表的定义对比特流进行解码,以生成(恢复)仅帧内约束标志。
在步骤S622中,比特流约束检查单元612应用上述方法2、方法2-1、方法2-1-1或方法2-2或其组合,并确定比特流是否满足与仅帧内约束标志相关的比特流约束。例如,在比特流的配置是帧内配置的情况下,比特流约束检查单元612可以检查仅帧内约束标志是否为真(例如,gci_intra_only_constraint_flag==1)。在确定仅帧内约束标志为假的情况下,处理继续进行到步骤S623。
在步骤S623中,比特流约束检查单元612通知指示不满足与仅帧内约束标志相关的比特流约束的警告消息。
当步骤S623中的处理结束时,参数集解码处理结束,并且处理返回到图24。此外,在步骤S622中确定仅帧内约束标志为真的情况下,参数集解码处理结束,并且处理返回到图24。
<图片解码处理的流程>
接下来,将参照图26中的流程图描述在图24中的步骤S602中执行的图片解码处理的流程的示例。
当开始图片编码处理时,在步骤S641中,切片报头解码单元621根据语法表的定义对比特流进行解码,以生成(恢复)处理目标切片的切片报头。
在步骤S642中,比特流约束检查单元622应用上述方法2、方法2-1、方法2-1-1或方法2-2或其组合,并确定比特流是否满足与仅帧内约束标志相关的比特流约束。例如,在满足预定条件的情况下,比特流约束检查单元622可以确定在比特流中运动图像的所有切片的切片类型是否是I切片。在确定不满足比特流约束的情况下,处理继续进行到步骤S643。
在步骤S643中,比特流约束检查单元612通知指示不满足与仅帧内约束标志相关的比特流约束的警告消息。例如,比特流约束检查单元622通知警告消息,该警告消息指示满足预定条件,但是在比特流中运动图像的所有切片的切片类型不一定是I切片。
当步骤S643的处理结束时,处理继续进行到步骤S644。此外,在步骤S642中确定比特流满足与仅帧内约束标志相关的比特流约束的情况下,处理继续进行到步骤S644。
在步骤S644中,切片解码单元623根据语法表的定义对比特流进行解码,以生成(恢复)处理目标切片。
在步骤S645中,图片解码单元602确定是否已经对处理目标帧的所有切片进行解码。在确定存在未处理的切片的情况下,从未处理的切片中选择新的处理目标切片,并且处理返回到步骤S641。也就是说,对处理目标帧的每个切片执行步骤S641至S645的各个处理。
然后,在步骤S644中确定已经对处理目标帧的所有切片进行解码的情况下,图片解码处理结束,并且处理返回到图24。
通过以这种方式执行各个处理,例如,在比特流的配置是帧内配置的情况下,解码装置600可以检查所有的仅帧内约束标志是否为真。也就是说,解码装置600可以使要解码的比特流的规范更可靠地对应于配置。
<5.实施方式(图像编码装置/图像解码装置)>
<图像编码装置>
上述本技术可以应用于任何配置。例如,本技术可以应用于图像编码装置。图27是示出作为应用本技术的图像处理装置的一方面的图像编码装置的配置的示例的框图。图27中示出的图像编码装置700是对运动图像的图像数据进行编码的装置。例如,图像编码装置700可以通过在上面提到的非专利文献中的任何一个中公开的编码方案对运动图像的图像数据进行编码。
注意,在图27中,示出了主要处理单元(块)、数据流等,并且图27中示出的这些不一定是全部。也就是说,图像编码装置700可以包括未在图27中示出为块的处理单元。此外,图像编码装置700可以具有未在图27中示出为箭头等的处理或数据流。
如图27所示,图像编码装置700包括控制单元701、重排缓冲器711、计算单元712、正交变换单元713、量化单元714、编码单元715、累积缓冲器716、逆量化单元717、逆正交变换单元718、计算单元719、环路内滤波器单元720、帧存储器721、预测单元722和速率控制单元723。
<控制单元>
控制单元701基于外部块大小或预先指定的处理单元的块大小将由重排缓冲器711保存的运动图像数据划分成用作处理单元的块(CU、PU、变换块等)。此外,控制单元701基于例如率失真优化(RDO)来确定要提供给每个块的编码参数(报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)。
稍后将描述这些编码参数的详情。当确定如上所述的编码参数时,控制单元701将编码参数供应至每个块。具体地,详情如下。
将报头信息Hinfo供应给块中的每个块。将预测模式信息Pinfo供应给编码单元715和预测单元722。将变换信息Tinfo供应给编码单元715、正交变换单元713、量化单元714、逆量化单元717和逆正交变换单元718。将滤波器信息Finfo供应给环路内滤波器单元720。
<重排缓冲器>
将运动图像数据的每一个字段(输入图像)按照其再现的顺序(显示的顺序)输入至图像编码装置700。重排缓冲器711按照输入图像中的每一个的再现顺序(显示的顺序)获取并保存(存储)输入图像中的每一个。重排缓冲器711基于由控制单元701进行的控制按照编码的顺序(解码的顺序)对输入图像进行重排,或者将输入图像划分成处理单元的块。重排缓冲器711将经处理的输入图像中的每一个供应给计算单元712。此外,重排缓冲器711还将输入图像(原始图像)中的每一个供应给预测单元722和环路内滤波器单元720。
<计算单元>
计算单元712使用与用作处理单元的块对应的图像I以及从预测单元722供应的预测图像P作为输入,如以下表达式中所表示的,从图像I中减去预测图像P以得出预测残差D,并且将预测残差D供应至正交变换单元713。
D=I-P
<正交变换单元>
正交变换单元713使用从计算单元712供应的预测残差D以及从控制单元701供应的变换信息Tinfo作为输入,并且基于变换信息Tinfo对预测残差D执行正交变换以得出变换系数Coeff。例如,正交变换单元713对预测残差D执行初级变换以生成初级变换系数,并且基于ST标识符对初级变换系数执行次级变换以生成次级变换系数。正交变换单元713将获得的次级变换系数作为变换系数Coeff供应给量化单元714。注意,正交变换单元713不限于正交变换,并且可以执行任意系数变换。也就是说,可以通过对预测残差D执行任意系数变换来得出变换系数Coeff。因此,正交变换单元713也可以被称为系数变换单元。
<量化单元>
量化单元714使用从正交变换单元713供应的变换系数Coeff以及从控制单元701供应的变换信息Tinfo作为输入,并且基于变换信息Tinfo来缩放(量化)变换系数Coeff。注意,量化速率由速率控制单元723控制。量化单元714将量化系数qcoeff供应给编码单元715和逆量化单元717,该量化系数qcoeff是以这种方式量化的变换系数的水平值。
<编码单元>
编码单元715使用从量化单元714供应的量化系数qcoeff、从控制单元701供应的各种编码参数(报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)、从环路内滤波器单元720供应的关于滤波器的信息(例如滤波器系数)以及从预测单元722供应的关于最佳预测模式的信息作为输入。编码单元715对量化系数qcoeff执行可变长度编码(例如,算术编码),以生成比特串(编码数据)。
此外,编码单元715将从环路内滤波器单元720供应的关于滤波器的信息包括到滤波器信息Finfo中,并且将从预测单元722供应的关于最佳预测模式的信息包括到预测模式信息Pinfo中。然后,编码单元715对上述各种编码参数(报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)进行编码以生成比特串。
此外,编码单元715对如上所述生成的各种类型的信息的比特串(编码数据)进行多路复用,以生成编码数据的比特流。编码单元715将比特流供应给累积缓冲器716。
<累积缓冲器>
累积缓冲器716暂时地保存在编码单元715中获得的编码数据的比特流。累积缓冲器716在预定的定时处将所保存的编码数据的比特流输出至图像编码装置700的外部。例如,比特流经由任意记录介质、任意传输介质、任意信息处理装置等被发送至解码侧。也就是说,累积缓冲器716也用作发送编码数据(比特流)的传输单元。
<逆量化单元>
逆量化单元717执行与逆量化有关的处理。例如,逆量化单元717使用从量化单元714供应的量化系数qcoeff以及从控制单元701供应的变换信息Tinfo作为输入,并且基于变换信息Tinfo对量化系数qcoeff的值进行缩放(逆量化)。注意,该逆量化是在量化单元714中执行的量化的逆处理。逆量化单元717将通过这样的逆量化而获得的变换系数Coeff_IQ供应给逆正交变换单元718。
<逆正交变换单元>
逆正交变换单元718执行与逆正交变换有关的处理。例如,逆正交变换单元718使用从逆量化单元717供应的变换系数Coeff_IQ和从控制单元701供应的变换信息Tinfo作为输入,并且基于变换信息Tinfo对变换系数Coeff_IQ执行逆正交变换以得出预测残差D'。该逆正交变换是由正交变换单元713执行的正交变换的逆处理。逆正交变换单元718将通过这样的逆正交变换获得的预测残差D'供应给计算单元719。
换言之,逆正交变换单元718执行由正交变换单元713执行的过程的逆过程。也就是说,与正交变换单元713的情况类似地,逆正交变换单元718不限于逆正交变换,并且可以执行任意的逆系数变换。该逆系数变换是由正交变换单元713执行的系数变换的逆处理。也就是说,可以通过对变换系数Coeff_IQ执行任意的逆系数变换来得出预测残差D'。因此,逆正交变换单元718也可以被称为逆系数变换单元。
<计算单元>
计算单元719使用从逆正交变换单元718供应的预测残差D'以及从预测单元722供应的预测图像P作为输入。计算单元719将预测残差D'和与预测残差D'对应的预测图像P相加,并且得出局部解码图像Rlocal。计算单元719将得出的局部解码图像Rlocal供应给环路内滤波器单元720和帧存储器721。
<环路内滤波器单元>
环路内滤波器单元720执行与环路内滤波处理有关的处理。例如,环路内滤波器单元720使用从计算单元719供应的局部解码图像Rlocal、从控制单元701供应的滤波器信息Finfo、以及从重排缓冲器711供应的输入图像(原始图像)作为输入。注意,输入至环路内滤波器单元720的信息是任何信息,并且可以输入除了这些信息之外的信息。例如,可以根据需要将信息例如预测模式、运动信息、编码量目标值、量化参数QP、图片类型、块(CU、CTU等)等输入至环路内滤波器单元720。
环路内滤波器单元720基于滤波器信息Finfo适当地对局部解码图像Rlocal执行滤波处理。环路内滤波器单元720还根据需要使用输入图像(原始图像)或用于滤波处理的其他输入信息。
例如,环路内滤波器单元720按双边滤波器、去块滤波器(DBF)、样本自适应偏移(SAO)和自适应环路滤波器(ALF)的顺序应用这四个环路内滤波器。注意,可以以任何顺序应用任何滤波器,并且可以适当地进行选择。
当然,由环路内滤波器单元720执行的滤波处理是任意的并且不限于上述示例。例如,环路内滤波器单元720可以应用维纳滤波器等。
环路内滤波器单元720将经受滤波处理的局部解码图像Rlocal供应至帧存储器721。注意,例如,在将诸如滤波器系数的关于滤波器的信息发送至解码侧的情况下,环路内滤波器单元720将关于滤波器的信息供应给编码单元715。
<帧存储器>
帧存储器721执行关于与图像有关的数据的存储的处理。例如,帧存储器721使用从计算单元719供应的局部解码图像Rlocal或者从环路内滤波器单元720供应的经受滤波处理的局部解码图像Rlocal作为输入,并且保存(存储)它们。此外,帧存储器721使用局部解码图像Rlocal在每个图片单元中重构解码图像R以保存解码图像R(将解码图像R存储在帧存储器721中的缓冲器中)。帧存储器721响应于来自预测单元722的请求将解码图像R(或其部分)供应给预测单元722。
<预测单元>
预测单元722执行与预测图像的生成有关的处理。例如,预测单元722使用从控制单元701供应的预测模式信息Pinfo、从重排缓冲器711供应的输入图像(原始图像)以及从帧存储器721读取的解码图像(或其一部分)作为输入。预测单元722使用预测模式信息Pinfo和输入图像(原始图像)来执行诸如帧间预测或帧内预测的预测处理、参照解码图像R作为参考图像来执行预测、基于预测结果执行运动补偿处理并且生成预测图像P。预测单元722将所生成的预测图像P供应给计算单元712和计算单元719。此外,预测单元722根据需要将关于通过上述处理而选择的预测模式(即,最佳预测模式)的信息供应给编码单元715。
<速率控制单元>
速率控制单元723执行与速率控制有关的处理。例如,速率控制单元723基于累积在累积缓冲器716中的编码数据的编码量来控制量化单元714的量化操作的速率,使得不会发生上溢或下溢。
注意,这些处理单元(控制单元701、重排缓冲器711到速率控制单元723)具有任意配置。例如,处理单元中的每一个可以包括实现上述处理的逻辑电路。此外,处理单元中的每一个可以包括例如CPU、ROM、RAM等,并且通过使用CPU、ROM、RAM等来执行程序以实现上述处理。不用说,各个处理单元可以具有这两种配置,并且上述处理的一部分可以通过逻辑电路来实现,并且上述处理的另一部分可以通过执行程序来实现。处理单元的配置可以相互独立,并且例如,在处理单元中,一些处理单元可以通过逻辑电路实现上述处理的一部分,一些其他处理单元可以通过执行程序来实现上述处理,并且还有一些其他处理单元可以通过逻辑电路和执行程序两者来实现上述处理。
在具有上述配置的图像编码装置700中,可以将上述本技术应用于编码单元715。例如,编码单元715可以应用方法1、方法1-1、方法1-2、方法1-3、方法2、方法2-1、方法2-1-1、方法2-2或其组合。也就是说,编码单元715可以具有编码装置100(图5或图9)或编码装置500(图19)的配置。
通过这样做,图像编码装置700可以获得与在应用<3.对图片类型的约束>和<4.对切片类型的约束>中描述的每种方法的情况下通过每个编码装置获得的效果类似的效果。例如,图像编码装置700可以使比特流的规范更可靠地对应于配置。
<图像编码处理的流程>
接下来,将参照图28中的流程图描述由具有上述配置的图像编码装置700执行的图像编码处理的流程的示例。
当图像编码处理开始时,在步骤S701处,重排缓冲器711由控制单元701控制以将输入运动图像数据的帧的顺序从显示的顺序重排为编码的顺序。
在步骤S702中,控制单元701对由重排缓冲器711保存的输入图像设置处理单元(执行块分割)。
在步骤S703处,控制单元701确定(设置)由重排缓冲器711保存的输入图像的编码参数。
在步骤S704中,预测单元722以最佳预测模式执行预测处理并且生成预测图像等。例如,在该预测处理中,预测单元722以最佳帧内预测模式执行帧内预测以生成预测图像等,以最佳帧间预测模式执行帧间预测以生成预测图像等,并且基于成本函数值等根据预测图像选择最佳预测模式。
在步骤S705处,计算单元712执行输入图像与通过步骤S704处的预测处理选择的最佳模式的预测图像之间的差异的操作。也就是说,计算单元712生成输入图像与预测图像之间的预测残差D。以这种方式获得的预测残差D具有与原始图像数据相比减少的数据量。因此,与按原样对图像进行编码的情况相比,可以压缩数据量。
在步骤S706中,正交变换单元713对通过步骤S705中的处理生成的预测残差D执行正交变换处理,以得出变换系数Coeff。
在步骤S707中,量化单元714通过使用由控制单元701计算的量化参数等来对通过步骤S706中的处理获得的变换系数Coeff进行量化,并且得出量化系数qcoeff。
在步骤S708中,逆量化单元717利用与步骤S707中的量化特性对应的特性,对通过步骤S707中的处理生成的量化系数qcoeff进行逆量化,以得出变换系数Coeff_IQ。
在步骤S709处,逆正交变换单元718通过与步骤S706处的正交变换处理对应的方法,对通过步骤S708处的处理获得的变换系数Coeff_IQ执行逆正交变换,并且得出预测残差D'。
在步骤S710处,计算单元719将通过步骤S704处的预测处理获得的预测图像与通过步骤S709处的处理得出的预测残差D'相加,从而生成局部解码的解码图像。
在步骤S711中,环路内滤波器单元720对通过步骤S710中的处理得出的局部解码图像执行环路内滤波处理。
在步骤S712处,帧存储器721存储通过步骤S710处的处理得出的局部解码的解码图像以及在步骤S711处经受滤波处理的局部解码的解码图像。
在步骤S713中,编码单元715执行编码处理,以对通过步骤S707中的处理获得的量化系数qcoeff、各种编码参数等进行编码,并且生成编码数据的比特流。
在步骤S714中,累积缓冲器716累积在步骤S713中获得的比特流,并且将比特流输出至图像编码装置700的外部。例如,该比特流经由传输路径或记录介质被发送至解码侧。此外,速率控制单元723根据需要执行速率控制。
当步骤S714的处理结束时,图像编码处理结束。
上述本技术可以应用于这种图像编码处理的步骤S713中执行的编码处理。例如,在该处理中,可以应用方法1、方法1-1、方法1-2、方法1-3、方法2、方法2-1、方法2-1-1、方法2-2或其组合。
例如,可以在上述编码处理(步骤S713)中执行图6中的NAL单元编码处理、图10中的编码处理或图20中的编码处理。
通过这样做,图像编码装置700可以获得与在应用<3.对图片类型的约束>和<4.对切片类型的约束>中描述的每种方法的情况下通过每个编码装置获得的效果类似的效果。例如,图像编码装置700可以使比特流的规范更可靠地对应于配置。
<图像解码装置>
上述本技术可以应用于任何配置。例如,本技术可以应用于图像解码装置。图29是示出作为应用本技术的图像处理装置的一方面的图像解码装置的配置的示例的框图。图29所示的图像解码装置800是通过对运动图像的编码数据(比特流)进行解码来生成运动图像数据的装置。例如,图像解码装置800可以通过在上述非专利文献的任何一个中描述的解码方法来对编码数据进行解码。
注意,在图29中,示出了主要处理单元(块)、数据流等,并且图29中示出的这些不一定是全部。也就是说,图像解码装置800可以包括在图29中未示出为块的处理单元。此外,图像解码装置800可以具有在图29中未示出为箭头等的过程或数据流。
如图29中所示,图像解码装置800包括累积缓冲器811、解码单元812、逆量化单元813、逆正交变换单元814、计算单元815、环路内滤波器单元816、重排缓冲器817、帧存储器818和预测单元819。注意,预测单元819包括帧内预测单元、帧间预测单元等(未示出)。
<累积缓冲器>
累积缓冲器811获取并保存(存储)输入至图像解码装置800的比特流。累积缓冲器811在预定定时处或者在满足预定条件的情况下将累积的比特流供应给解码单元812。
<解码单元>
解码单元812执行与图像解码有关的处理。例如,解码单元812使用从累积缓冲器811供应的比特流作为输入,根据语法表的定义对来自比特串的每个语法元素的语法值执行可变长度解码,并且得出参数。
语法元素和从语法元素的语法值得出的参数包括例如报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等。也就是说,解码单元812从比特流中解析(分析和获取)这些信息。将在下面描述这些信息。
<报头信息Hinfo>
报头信息Hinfo例如包括诸如视频参数集(VPS)/序列参数集(SPS)/图片参数集(PPS)/切片报头(SH)的报头信息。报头信息Hinfo例如包括定义以下各项的信息:图像大小(宽度PicWidth、高度PicHeight)、比特深度(亮度bitDepthY、色差bitDepthC)、色度阵列类型ChromaArrayType、CU大小的最大值MaxCUSize/最小值MinCUSize、四叉树分割(也称为四叉-树分割)的最大深度MaxQTDepth/最小深度MinQTDepth、二叉树分割(二叉-树分割)的最大深度MaxBTDepth/最小深度MinBTDepth、变换跳过块的最大值MaxTSSize(也称为最大变换跳过块大小)、每个编码工具的开/关标志(也称为使能标志)等。
例如,作为报头信息Hinfo中包括的编码工具的开关标志,存在与下面的变换和量化处理有关的开关标志。注意,编码工具的开关标志也可以被解释为指示与编码工具有关的语法是否存在于编码数据中的标志。此外,在开关标志的值为1(真)的情况下,指示可以使用编码工具,以及在开关标志的值为0(假)的情况下,指示不能使用编码工具。注意,可以颠倒对标志值的解释。
分量间预测使能标志(ccp_enabled_flag):是指示是否可以使用分量间预测(跨分量预测(CCP),也称为CC预测)的标志信息。例如,在标志信息为“1”(真)的情况下,指示可以使用标志信息,以及在标志信息为“0”(假)的情况下,指示不能使用标志信息。
注意,CCP也称为跨分量线性预测(CCLM或CCLMP)。
<预测模式信息Pinfo>
预测模式信息Pinfo例如包括诸如处理目标PB(预测块)的大小信息PBSize(预测块大小)、帧内预测模式信息IPinfo和运动预测信息MVinfo的信息。
帧内预测模式信息IPinfo包括例如prev_intra_luma_pred_flag、mpm_idx、rem_intra_pred_mode、从其语法得出的亮度帧内预测模式IntraPredModeY等。
此外,帧内预测模式信息IPinfo例如包括跨分量预测标志(ccp_flag(cclmp_flag))、多类线性预测模式标志(mclm_flag)、色度样本位置类型标识符(chroma_sample_loc_type_idx)、色度MPM标识符(chroma_mpm_idx)、从这些语法得出的亮度帧内预测模式(IntraPredModeC)等。
分量间预测标志(ccp_flag(cclmp_flag))是指示是否应用分量间线性预测的标志信息。例如,当ccp_flag==1时,指示应用分量间预测,以及当ccp_flag==0时,指示不应用分量间预测。
多类线性预测模式标志(mclm_flag)是关于线性预测的模式的信息(线性预测模式信息)。更具体地,多类线性预测模式标志(mclm_flag)是指示是否设置多类线性预测模式的标志信息。例如,在“0”的情况下,指示一类模式(单类模式)(例如,CCLMP),以及在“1”的情况下,指示二类模式(多类模式)(例如,MCLMP)。
色度样本位置类型标识符(chroma_sample_loc_type_idx)是标识色度分量的像素位置的类型(也称为色度样本位置类型)的标识符。例如,在作为关于颜色格式的信息的色度阵列类型(ChromaArrayType)指示420格式的情况下,色度样本位置类型标识符按照以下表达式被分配。
chroma_sample_loc_type_idx==0:类型2
chroma_sample_loc_type_idx==1:类型3
chroma_sample_loc_type_idx==2:类型0
chroma_sample_loc_type_idx==3:类型1
注意,该色度样本位置类型标识符(chroma_sample_loc_type_idx)作为关于色度分量的像素位置的信息(chroma_sample_loc_info())被发送(存储在关于色度分量的像素位置的信息(chroma_sample_loc_info())中)。
色度MPM标识符(chroma_mpm_idx)是指示色度帧内预测模式候选列表(intraPredModeCandListC)中的哪个预测模式候选被指定为色度帧内预测模式的标识符。
运动预测信息MVinfo例如包括诸如merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X={0,1}、mvd等的信息。
不用说,要包括在预测模式信息Pinfo中的信息是任意的,并且可以包括除了这些信息之外的信息。
<变换信息Tinfo>
变换信息Tinfo例如包括以下信息。当然,包括在变换信息Tinfo中的信息是任意的,并且可以包括除了这些信息之外的信息。
作为处理目标的变换块的横向宽度大小(TBWSize)和竖向宽度大小(TBHSize)
变换跳过标志(transform_skip_flag(也被称为ts_flag))
扫描标识符(scanIdx)
量化参数(qp)
量化矩阵(scaling_matrix(例如,JCTVC-W1005,7.3.4缩放列表数据语法))
注意,log2TBWSize和log2TBHSize而不是TBWSize和TBHSize可以包括在变换信息Tinfo中。log2TBWSize是TBWSize的以2为底的对数值。log2TBHSize是TBHSize的以2为底的对数值。此外,在图像解码装置800中,变换跳过标志是指示是否跳过逆系数变换(逆初级变换和逆次级变换)的标志。
<滤波器信息Finfo>
滤波器信息Finfo例如包括与下面描述的每个滤波过程有关的控制信息。
关于去块滤波器(DBF)的控制信息
关于像素自适应偏移(SAO)的控制信息
关于自适应环路滤波器(ALF)的控制信息
关于其他线性和非线性滤波器的控制信息
更具体地,例如,包括用于规定应用每个滤波器的图片和图片中的区域的信息、以CU为单位的滤波器开/关控制信息、关于切片和图块的边界的滤波器开/关控制信息等。当然,包括在滤波器信息Finfo中的信息是任意的,并且可以包括除了这些信息之外的信息。
描述返回至解码单元812的描述。解码单元812参考与通过对比特流进行解码获得的量化系数qcoeff有关的语法来得出量化系数qcoeff。解码单元812将量化系数qcoeff供应给逆量化单元813。
此外,解码单元812将诸如解析的报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等的编码参数供应给每个块。例如,解码单元812将报头信息Hinfo供应给逆量化单元813、逆正交变换单元814、预测单元819和环路内滤波器单元816。此外,解码单元812将预测模式信息Pinfo供应给逆量化单元813和预测单元819。此外,解码单元812将变换信息Tinfo供应给逆量化单元813和逆正交变换单元814。此外,解码单元812将滤波器信息Finfo供应给环路内滤波器单元816。
当然,上述示例是一个示例,并且本技术不限于该示例。例如,每个编码参数可以被供应给任意的处理单元。此外,可以将其他信息供应给任意的处理单元。
<逆量化单元>
逆量化单元813至少具有用于执行与逆量化有关的处理所需的配置。例如,逆量化单元813使用从解码单元812供应的量化系数qcoeff和变换信息Tinfo作为输入,基于变换信息Tinfo对量化系数qcoeff的值进行缩放(逆量化),并且得出逆量化之后的变换系数Coeff_IQ。逆量化单元813将得到的变换系数Coeff_IQ供应给逆正交变换单元814。
注意,作为由图像编码装置700的量化单元714进行的量化的逆处理来执行该逆量化。此外,该逆量化是与图像编码装置700的逆量化单元717的逆量化类似的处理。也就是说,图像编码装置700的逆量化单元717执行与逆量化单元813类似的处理(逆量化)。
<逆正交变换单元>
逆正交变换单元814执行与逆正交变换有关的处理。例如,逆正交变换单元814使用从逆量化单元813供应的变换系数Coeff_IQ和从解码单元812供应的变换信息Tinfo作为输入,并且基于变换信息Tinfo对变换系数Coeff_IQ执行逆正交变换处理以得出预测残差D'。例如,逆正交变换单元814基于ST标识符对变换系数Coeff_IQ执行逆次级变换以生成初级变换系数,并且对初级变换系数执行初级变换以生成预测残差D'。逆正交变换单元814将得出的预测残差D'供应给计算单元815。
注意,作为由图像编码装置700的正交变换单元713进行的正交变换的逆处理而执行该逆正交变换。此外,该逆正交变换是类似于图像编码装置700的逆正交变换单元718的逆正交变换的处理。也就是说,图像编码装置700的逆正交变换单元718执行与逆正交变换单元814类似的处理(逆正交变换)。
因此,与图像编码装置700的逆正交变换单元718类似地,逆正交变换单元814可以执行任何逆系数变换,而不限于逆正交变换。该逆系数变换是由图像编码装置700的正交变换单元713执行的系数变换的逆处理。也就是说,可以通过对变换系数Coeff_IQ执行任意的逆系数变换来得出预测残差D'。因此,逆正交变换单元814也可以被称为逆系数变换单元。
<计算单元>
计算单元815执行与关于图像的信息的相加有关的处理。例如,计算单元815使用从逆正交变换单元814供应的预测残差D'以及从预测单元819供应的预测图像P作为输入。计算单元815将预测残差D'和与预测残差D'对应的预测图像P(预测信号)相加,以得出局部解码图像Rlocal,如下式所表达的。计算单元815将得出的局部解码图像Rlocal供应给环路内滤波器单元816和帧存储器818。
Rlocal=D'+P
<环路内滤波器单元>
环路内滤波器单元816执行与环路内滤波处理有关的处理。例如,环路内滤波器单元816使用从计算单元815供应的局部解码图像Rlocal以及从解码单元812供应的滤波器信息Finfo作为输入。注意,输入至环路内滤波器单元816的信息是任何信息,并且可以输入除了这些信息之外的信息。
环路内滤波器单元816基于滤波器信息Finfo适当地对局部解码图像Rlocal执行滤波处理。
例如,环路内滤波器单元816按双边滤波器、去块滤波器(DBF)、样本自适应偏移(SAO)和自适应环路滤波器(ALF)的顺序应用这四个环路内滤波器。注意,可以以任何顺序应用任何滤波器,并且可以适当地进行选择。
环路内滤波器单元816执行与由编码侧(例如,图像编码装置700的环路内滤波器单元720)执行的滤波处理对应的滤波处理。当然,由环路内滤波器单元816执行的滤波处理是任意的并且不限于上述示例。例如,环路内滤波器单元816可以应用维纳滤波器等。
环路内滤波器单元816将经滤波的局部解码图像Rlocal供应给重排缓冲器817和帧存储器818。
<重排缓冲器>
重排缓冲器817接收从环路内滤波器单元816供应的局部解码图像Rlocal作为输入,并且保存(存储)局部解码图像Rlocal。重排缓冲器817使用局部解码图像Rlocal针对每个图像单元重构并且保存解码图像R(将解码图像R存储在缓冲器中)。重排缓冲器817将获得的解码图像R从解码顺序重排成再现顺序。重排缓冲器817将经重排的解码图像R组作为运动图像数据输出至图像解码装置800的外部。
<帧存储器>
帧存储器818执行关于与图像有关的数据的存储的处理。例如,帧存储器818使用从计算单元815供应的局部解码图像Rlocal作为输入,针对每个图片单元重构解码图像R,并且将解码图像R存储在帧存储器818中的缓冲器中。
此外,帧存储器818使用从环路内滤波器单元816供应的经历环路内滤波处理的局部解码图像Rlocal作为输入,针对每个图片单元重构解码图像R,并且将解码图像R存储在帧存储器818中的缓冲器中。帧存储器818将所存储的解码图像R(或其一部分)适当地供应给预测单元819作为参考图像。
注意,帧存储器818可以存储与解码图像的生成有关的报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等。
<预测单元>
预测单元819执行与预测图像的生成有关的处理。例如,预测单元819使用从解码单元812供应的预测模式信息Pinfo作为输入,通过由预测模式信息Pinfo指定的预测方法执行预测,并且得出预测图像P。在得出时,预测单元819使用由预测模式信息Pinfo指定的、存储在帧存储器818中的滤波之前或滤波之后的解码图像R(或其一部分)作为参考图像。预测单元819将得出的预测图像P供应给计算单元815。
注意,这些处理单元(累积缓冲器811到预测单元819)具有任意配置。例如,处理单元中的每一个可以包括实现上述处理的逻辑电路。此外,处理单元中的每一个可以包括例如CPU、ROM、RAM等,并通过使用CPU、ROM、RAM等来执行程序以实现上述处理。不用说,各个处理单元可以具有这两种配置,并且上述处理的一部分可以通过逻辑电路来实现,并且上述处理的另一部分可以通过执行程序来实现。处理单元的配置可以相互独立,并且例如,在处理单元中,一些处理单元可以通过逻辑电路实现上述处理的一部分,一些其他处理单元可以通过执行程序来实现上述处理,并且还有一些其他处理单元可以通过逻辑电路和执行程序两者来实现上述处理。
在具有上述配置的图像解码装置800中,可以将上述本技术应用于解码单元812。例如,解码单元812可以应用方法1、方法1-1、方法1-2、方法1-3、方法2、方法2-1、方法2-1-1、方法2-2或其组合。也就是说,解码单元812可以具有解码装置200(图7或图12)或解码装置600(图23)的配置。
通过这样做,图像解码装置800可以获得与在应用<3.对图片类型的约束>和<4.对切片类型的约束>中描述的每种方法的情况下通过每个解码装置获得的效果类似的效果。例如,图像解码装置800可以使比特流的规范更可靠地对应于配置。
<图像解码处理的流程>
接下来,将参照图30的流程图描述由具有以上配置的图像解码装置800执行的图像解码处理的流程的示例。
当开始图像解码处理时,在步骤S801中,累积缓冲器811获取并保存(累积)从图像解码装置800的外部供应的编码数据(比特流)。
在步骤S802中,解码单元812执行解码处理,以对编码数据(比特流)进行解码以获得量化系数qcoeff。此外,解码单元812通过该解码从编码数据(比特流)解析(分析并获取)各种编码参数。
在步骤S803中,逆量化单元813对通过步骤S802中的处理获得的量化系数qcoeff执行作为在编码侧执行的量化的逆处理的逆量化以获得变换系数Coeff_IQ。
在步骤S804中,逆正交变换单元814对在步骤S803中获得的变换系数Coeff_IQ执行作为在编码侧上执行的正交变换处理的逆处理的逆正交变换处理,以获得预测残差D'。
在步骤S805中,预测单元819基于在步骤S802中解析的信息,通过由编码侧指定的预测方法执行预测处理,并且通过参考存储在帧存储器818等中的参考图像来生成预测图像P。
在步骤S806中,计算单元815将在步骤S804中获得的预测残差D'与在步骤S805中获得的预测图像P相加,以得出局部解码图像Rlocal。
在步骤S807中,环路内滤波器单元816对通过步骤S806的处理获得的局部解码图像Rlocal执行环路内滤波处理。
在步骤S808中,重排缓冲器817使用通过步骤S807中的处理获得的经滤波的局部解码图像Rlocal来得出解码图像R,并且将解码图像R的组的顺序从解码顺序重排成再现顺序。将按再生成顺序重排的解码图像R的组作为运动图像输出至图像解码装置800的外部。
此外,在步骤S809中,帧存储器818存储通过步骤S806中的处理获得的局部解码图像Rlocal和通过步骤S807中的处理获得的滤波处理之后的局部解码图像Rlocal中的至少之一。
当步骤S809的处理结束时,图像解码处理结束。
上述本技术可以应用于这种图像解码处理的步骤S802中执行的解码处理。例如,在该处理中,可以应用方法1、方法1-1、方法1-2、方法1-3、方法2、方法2-1、方法2-1-1、方法2-2或其组合。
例如,可以在上述解码处理(步骤S802)中执行图8中的NAL单元解码处理、图13中的解码处理或图24中的解码处理。
通过这样做,图像解码装置800可以获得与在应用<3.对图片类型的约束>和<4.对切片类型的约束>中描述的每种方法的情况下通过每个解码装置获得的效果类似的效果。例如,图像解码装置800可以使比特流的规范更可靠地对应于配置。
<6.补充说明>
<计算机>
上述一系列处理可以由硬件或软件执行。当通过软件执行一系列处理时,包括在软件中的程序被安装在计算机上。此处,计算机包括例如合并在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。
图31是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在图31中示出的计算机900中,中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904相互连接。
此外,输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。
输入单元911包括例如键盘、鼠标、麦克风、触摸板、输入终端等。输出单元912例如包括显示器、扬声器、输出端子等。存储单元913包括例如硬盘、RAM盘和非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质921。
在如上所述配置的计算机中,例如,CPU 901经由输入/输出接口910和总线904将存储在存储单元913中的程序加载至RAM 903中并且执行该程序,由此执行上述一系列处理。此外,RAM 903还适当地存储CPU 901执行各种类型的处理所必需的数据等。
可以通过记录在例如作为封装介质等的可移除介质921上来应用由计算机执行的程序。在该情况下,通过将可移除介质921附接至驱动器915,可以经由输入/输出接口910将程序安装在存储单元913中。
此外,程序也可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供。在这种情况下,程序可以被通信单元914接收,并且安装在存储单元913中。
另外,可以将该程序预先安装在ROM 902或存储单元913中。
<本技术的应用目标>
可以将本技术应用于任何图像编码系统或解码系统。也就是说,只要不与上述本技术矛盾,与图像编码和解码有关的各种处理的规范例如变换(逆变换)、量化(逆量化)、编码(解码)和预测是任意的,并且不限于上述示例。此外,可以省略这些处理中的一些处理,除非与上述本技术存在矛盾。
此外,可以将本技术应用于对包括多个视点(视图)的图像的多视图图像进行编码的多视图图像编码系统。此外,可以将本技术应用于对包括多个视点(视图)的图像的多视图图像的编码数据进行解码的多视图图像解码系统。在该情况下,可以将本技术应用于每个视点(视图)的编码和解码。
此外,可以将本技术应用于分级图像编码(可缩放编码)系统,该系统对分层的(分级的)分级图像进行编码,以具有针对预定参数的可缩放功能。此外,可以将本技术应用于分级图像解码(可缩放解码)系统,分级图像解码(可缩放解码)系统对分层(分级)的分级图像的编码数据进行解码,以具有针对预定参数的可缩放性功能。在该情况下,可以将本技术应用于每个级别(层)的编码和解码。
此外,本技术可以应用于任何配置。例如,本技术可以应用于各种电子装置,例如卫星广播中、诸如有线TV的有线广播、因特网上的分发和通过蜂窝通信到终端的分发的发送器和接收器(例如,电视接收器和移动电话)、或者在诸如光盘、磁盘和闪速存储器的介质上记录图像或从存储介质再现图像的装置(例如,硬盘记录器和摄像装置)。
此外,例如,本技术还可以被实现为装置的部分配置,诸如作为系统大规模集成(LSI)等的处理器(例如,视频处理器)、使用多个处理器等的模块(例如,视频模块)、使用多个模块等的单元(例如,视频单元)、或者通过另外向单元添加其他功能而获得的集合(例如,视频集合)。
此外,例如,还可以将本技术应用于包括多个装置的网络系统。例如,本技术可以被实现为经由网络通过多个装置协作共享和协作处理的云计算。例如,本技术可以在云服务中实现,该云服务向诸如计算机、视听(AV)装置、便携式信息处理终端或物联网(IoT)装置的任何终端提供与图像(运动图像)有关的服务。
注意,在本说明书中,系统意指多个部件(装置、模块(部分)等)的集合,并且所有部件是否都在同一壳体中无关紧要。因此,存储在不同壳体中并经由网络连接的多个装置和其中多个模块存储在一个壳体中的一个装置二者均是系统。
<本技术可适用的领域和应用>
例如,应用本技术的系统、装置、处理单元等可以在诸如交通、医疗护理、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、天气和自然监控的任意领域中使用。此外,其应用也是任意的。
例如,本技术可以应用于用于提供供欣赏的内容等的系统和装置。此外,例如,本技术还可以应用于用于交通例如交通状况管理和自动驾驶控制的系统和装置。此外,例如,本技术也可以应用于用于安全性的系统和装置。此外,例如,本技术可以应用于用于机器等的自动控制的系统和装置。此外,例如,本技术还可以应用于提供以供农业和畜牧业使用的系统和装置。此外,本技术还可以应用于例如监测自然例如火山、森林和海洋、野生动物等的状态的系统和装置。此外,例如,本技术也可以应用于用于体育运动的系统和装置。
<其他方面>
注意,在本说明书中,“标志”是用于标识多个状态的信息,并且不仅包括用于标识真(1)和假(0)的两个状态的信息,还包括能够标识三个或更多个状态的信息。因此,可以由“标志”采用的值可以是例如二元1/0或三元或更多。也就是说,形成该“标志”的比特的数目是任意数,并且可以是一比特或多比特。此外,假设标识信息(包括标志)不仅包括其在比特流中的标识信息,而且包括标识信息相对于比特流中的某个参考信息的差异信息,因此,在本说明书中,“标志”和“标识信息”不仅包括其信息,而且包括相对于参考信息的差异信息。
此外,可以以任何形式发送或记录关于编码数据(比特流)的各种类型的信息(例如,元数据),只要这与编码数据相关联即可。在本文中,术语“相关联”旨在例如在处理一个数据时,使其他数据可用(可链接)。也就是说,彼此相关联的数据可以被收集为一个数据或者可以成为单独的数据。例如,与编码数据(图像)相关联的信息可以在与编码数据(图像)的传输路径不同的传输路径上发送。此外,例如,与编码数据(图像)相关联的信息可以记录在与编码数据(图像)的记录介质不同的记录介质(或相同记录介质的另一记录区域)中。注意,该“相关联”可以不是整个数据,而是数据的一部分。例如,图像和与图像相对应的信息可以以任何单位——诸如多个帧、一帧或帧内的一部分——彼此相关联。
注意,在本说明书中,例如,诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“引入”和“插入”的术语意指将多个对象组合成一个,例如,将编码数据和元数据组合成一个数据,并且意指上述“关联”的一种方法。
此外,本技术的实施方式不限于上述实施方式,并且可以在不背离本技术的范围的情况下进行各种修改。
例如,被描述为一个装置(或处理单元)的配置可以被划分并配置为多个装置(或处理单元)。相反,以上被描述为多个装置(或处理单元)的配置可以被共同配置为一个装置(或处理单元)。此外,可以将除了上述配置之外的配置添加到每个装置(或各个处理单元)的配置。此外,在整个系统的配置和操作基本上相同的情况下,某个装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。
此外,例如,上述程序可以在任意装置中执行。在这种情况下,该装置仅需要具有必要的功能(功能块等)并获得必要的信息。
此外,例如,一个流程图中的每个步骤可以由一个装置执行,或者可以通过由多个装置共享来执行。此外,当在一个步骤中包括多个处理时,多个处理可以由一个装置执行,或者可以由多个装置共享和执行。换言之,包括在一个步骤中的多个处理可以作为多个步骤来执行。相反,被描述为多个步骤的处理可以作为一个步骤被共同执行。
此外,由计算机执行的程序可以具有以下特征。例如,描述程序的步骤的处理可以按照本说明书中描述的顺序按时间序列执行。此外,描述程序的步骤的处理可以并行执行。此外,描述程序的步骤的处理可以在必要的时刻,例如当程序被调用时单独执行。也就是说,只要没有矛盾,各个步骤的处理可以以不同于上述顺序的顺序执行。此外,描述该程序的步骤的处理可以与另一程序的处理并行执行。此外,描述该程序的步骤的处理可以与另一程序的处理结合执行。
此外,例如,只要没有矛盾,与本技术有关的多个技术可以作为单个实体独立实现。不言而喻,任何多个本技术都可以组合实现。例如,在实施方式中的任一个中描述的本技术的部分或全部可以与在其他实施方式中描述的本技术的部分或全部结合实现。此外,上述本技术中的任一个的部分或全部可以与上面未描述的另一种技术一起使用来实现。
注意,本技术也可以具有以下配置。
(1)一种图像处理装置,包括:
图片编码单元,其被配置成在满足预定条件的情况下,将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码。
(2)根据(1)所述的图像处理装置,其中,
在满足所述预定条件的情况下,所述图片编码单元将所有VCL NAL单元的NAL单元类型设置为“指示IRAP的值”,并且对所述运动图像进行编码。
(3)根据(1)或(2)所述的图像处理装置,其中,
在用于所述运动图像的编码的配置是帧内配置的情况下,所述图片编码单元将所有图片的图片类型设置为I图片来对所述运动图像进行编码。
(4)根据(3)所述的图像处理装置,其中,
在所述配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,所述图片编码单元将所有图片的图片类型设置为I图片来对所述运动图像进行编码。
(5)根据(4)所述的图像处理装置,其中,
在用于标识所述配置的配置标识符的值是10、42或44的情况下,所述图片编码单元将所有图片的图片类型设置为I图片来对所述运动图像进行编码。
(6)根据(3)至(5)中任一项所述的图像处理装置,其中,
同样在所述配置是静态图片配置的情况下,所述图片编码单元将所有图片的图片类型设置为I图片来对所述运动图像进行编码。
(7)根据(1)至(6)中任一项所述的图像处理装置,其中,
在控制标志为真的情况下,所述图片编码单元将所有图片的图片类型设置为I图片来对所述运动图像进行编码,所述控制标志用于控制是否将所述运动图像的所有图片的图片类型限制为I图片。
(8)根据(7)所述的图像处理装置,还包括:
参数集编码单元,其被配置成设置所述控制标志,对所设置的控制标志进行编码,并且将所述控制标志存储到所述运动图像的比特流中。
(9)一种图像处理方法,包括:
在满足预定条件的情况下,将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码。
(11)一种图像处理装置,包括:
图片解码单元,其被配置成对作为解码目标的运动图像的比特流进行解码;以及
检查单元,其被配置成在满足预定条件的情况下,检查在所述比特流中所述运动图像的所有图片的图片类型是否是I图片。
(12)根据(11)所述的图像处理装置,其中,
在满足所述预定条件的情况下,所述检查单元检查在所述比特流中所有VCLNAL单元的NAL单元类型是否是“指示IRAP的值”。
(13)根据(11)或(12)所述的图像处理装置,其中,
在所述比特流的配置是帧内配置的情况下,所述检查单元检查在所述比特流中所有图片的图片类型是否是I图片。
(14)根据(13)所述的图像处理装置,其中,
在所述配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,所述检查单元检查在所述比特流中所有图片的图片类型是否是I图片。
(15)根据(14)所述的图像处理装置,其中,
在用于标识所述配置的配置标识符的值是10、42或44的情况下,所述检查单元检查在所述比特流中所有图片的图片类型是否是I图片。
(16)根据(13)至(15)中任一项所述的图像处理装置,其中,
同样在所述配置是静态图片配置的情况下,所述检查单元检查在所述比特流中所有图片的图片类型是否是I图片。
(17)根据(11)至(16)中任一项所述的图像处理装置,其中,
在控制标志为真的情况下,所述检查单元检查在所述比特流中所有图片的图片类型是否是I图片,所述控制标志用于控制是否将所述运动图像的所有图片的图片类型限制为I图片。
(18)根据(17)所述的图像处理装置,还包括:
控制标志解码单元,其被配置成对所述比特流进行解码以生成所述控制标志,其中,
在由所述控制标志解码单元解码的所述控制标志为真的情况下,所述检查单元检查在所述比特流中所有图片的图片类型是否是I图片。
(19)一种图像处理方法,包括:
对作为解码目标的运动图像的比特流进行解码;以及
在满足预定条件的情况下,检查在所述比特流中所述运动图像的所有图片的图片类型是否是I图片。
(21)一种图像处理装置,包括:
参数集编码单元,其被配置成在用于运动图像的编码的配置是帧内配置的情况下,将控制标志设置为真并且对包括所述控制标志的参数集进行编码,所述控制标志用于控制是否将所述运动图像的所有切片的切片类型限制为I切片;以及
图片编码单元,其被配置成在所述控制标志为真的情况下,将所有切片设置为I切片来对所述运动图像进行编码。
(22)根据(21)所述的图像处理装置,其中,
在所述控制标志为真的情况下,所述图片编码单元将sh_slice_type的值设置为“2”,所述sh_slice_type是指示切片类型的参数。
(23)根据(21)或(22)所述的图像处理装置,其中,
在所述配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,所述参数集编码单元将所述控制标志设置为真。
(24)根据(23)所述的图像处理装置,其中,
在用于标识所述配置的配置标识符的值是10、42或44的情况下,所述参数集编码单元将所述控制标志设置为真。
(25)根据(21)至(24)中任一项所述的图像处理装置,其中,
同样在所述配置是静态图片配置的情况下,所述参数集编码单元将所述控制标志设置为真。
(26)一种图像处理方法,包括:
在用于运动图像的编码的配置是帧内配置的情况下,将控制标志设置为真并且对包括所述控制标志的参数集进行编码,所述控制标志用于控制是否将所述运动图像的所有切片的切片类型限制为I切片;以及
在所述控制标志为真的情况下,将所有切片设置为I切片来对所述运动图像进行编码。
(31)一种图像处理装置,包括:
控制标志解码单元,其被配置成对运动图像的比特流进行解码,并且生成用于控制是否将所述运动图像的所有切片的切片类型限制为I切片的控制标志;以及
控制标志检查单元,其被配置成在所述比特流的配置是帧内配置的情况下检查所述控制标志是否为真。
(32)根据(31)所述的图像处理装置,其中,
在所述配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,所述控制标志检查单元检查所述控制标志是否为真。
(33)根据(32)所述的图像处理装置,其中,
在用于标识所述配置的配置标识符的值是10、42或44的情况下,所述控制标志检查单元检查所述控制标志是否为真。
(34)根据(31)至(33)中任一项所述的图像处理装置,其中,
同样在所述配置是静态图片配置的情况下,所述控制标志检查单元检查所述控制标志是否为真。
(35)根据(31)至(34)中任一项所述的图像处理装置,还包括:
图片解码单元,其被配置成对所述比特流进行解码以生成所述运动图像;以及
图片检查单元,其被配置成在满足预定条件的情况下,检查在所述比特流中所述运动图像的所有切片的切片类型是否是I切片。
(36)根据(35)所述的图像处理装置,其中,
在所述控制标志为真的情况下,所述图片检查单元检查在所述比特流中所有切片的切片类型是否是I切片。
(37)根据(35)或(36)所述的图像处理装置,其中,
在所述配置是帧内配置的情况下,所述图片检查单元检查在所述比特流中所有切片的切片类型是否是I切片。
(38)一种图像处理方法,包括:
对运动图像的比特流进行解码,并且生成用于控制是否将所述运动图像的所有切片的切片类型限制为I切片的控制标志;以及
在所述比特流的配置是帧内配置的情况下,检查所述控制标志是否为真。
附图标记
100 编码装置
101 NAL单元编码单元
111 NAL单元报头设置单元
112 NAL单元报头设置单元
113 原始字节序列有效载荷编码单元
200 解码装置
201 NAL单元解码单元
211 NAL单元报头解码单元
212 比特流约束检查单元
213 原始字节序列有效载荷解码单元
301 参数集编码单元
311 控制标志设置单元
312 控制标志编码单元
401 参数集解码单元
411 控制标志解码单元
500 编码装置
501 参数集编码单元
502 图片编码单元
511 仅帧内约束标志设置单元
512 仅帧内约束标志编码单元
521 切片报头设置单元
522 切片报头编码单元
523 切片编码单元
600 解码装置
601 参数集解码单元
602 图片解码单元
611 仅帧内约束标志解码单元
612 比特流约束检查单元
621 切片报头解码单元
622 比特流约束检查单元
623 切片解码单元
700 图像编码装置
715 编码单元
800 图像解码装置
812 解码单元
900 计算机
Claims (20)
1.一种图像处理装置,包括:
图片编码单元,其被配置成在满足预定条件的情况下,将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码。
2.根据权利要求1所述的图像处理装置,其中,
在满足所述预定条件的情况下,所述图片编码单元将所有VCL NAL单元的NAL单元类型设置为“指示IRAP的值”,并且对所述运动图像进行编码。
3.根据权利要求1所述的图像处理装置,其中,
在所述运动图像的编码的配置是帧内配置的情况下,所述图片编码单元将所述所有图片的图片类型设置为I图片来对所述运动图像进行编码。
4.根据权利要求3所述的图像处理装置,其中,
在所述配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,所述图片编码单元将所述所有图片的图片类型设置为I图片来对所述运动图像进行编码。
5.根据权利要求4所述的图像处理装置,其中,
在用于标识所述配置的配置标识符的值是10、42或44的情况下,所述图片编码单元将所述所有图片的图片类型设置为I图片来对所述运动图像进行编码。
6.根据权利要求3所述的图像处理装置,其中,
同样在所述配置是静态图片配置的情况下,所述图片编码单元将所述所有图片的图片类型设置为I图片来对所述运动图像进行编码。
7.根据权利要求1所述的图像处理装置,其中,
在控制标志为真的情况下,所述图片编码单元将所述所有图片的图片类型设置为I图片来对所述运动图像进行编码,其中,所述控制标志用于控制是否将所述运动图像的所有图片的图片类型限制为I图片。
8.一种图像处理方法,包括:
在满足预定条件的情况下,将所有图片的图片类型设置为I图片来对作为编码目标的运动图像进行编码。
9.一种图像处理装置,包括:
图片解码单元,其被配置成对作为解码目标的运动图像的比特流进行解码;以及
检查单元,其被配置成在满足预定条件的情况下,检查在所述比特流中所述运动图像的所有图片的图片类型是否是I图片。
10.根据权利要求9所述的图像处理装置,其中,
在满足所述预定条件的情况下,所述检查单元检查在所述比特流中所有VCLNAL单元的NAL单元类型是否是“指示IRAP的值”。
11.根据权利要求9所述的图像处理装置,其中,
在所述比特流的配置是帧内配置的情况下,所述检查单元检查在所述比特流中所述所有图片的图片类型是否是I图片。
12.根据权利要求11所述的图像处理装置,其中,
在所述配置是主12帧内配置、主12 4:4:4帧内配置或主16 4:4:4帧内配置的情况下,所述检查单元检查在所述比特流中所述所有图片的图片类型是否是I图片。
13.根据权利要求12所述的图像处理装置,其中,
在用于标识所述配置的配置标识符的值是10、42或44的情况下,所述检查单元检查在所述比特流中所述所有图片的图片类型是否是I图片。
14.根据权利要求11所述的图像处理装置,其中,
同样在所述配置是静态图片配置的情况下,所述检查单元检查在所述比特流中所述所有图片的图片类型是否是I图片。
15.根据权利要求9所述的图像处理装置,其中,
在控制标志为真的情况下,所述检查单元检查在所述比特流中所述所有图片的图片类型是否是I图片,其中,所述控制标志用于控制是否将所述运动图像的所有图片的图片类型限制为I图片。
16.一种图像处理方法,包括:
对作为解码目标的运动图像的比特流进行解码;以及
在满足预定条件的情况下,检查在所述比特流中所述运动图像的所有图片的图片类型是否是I图片。
17.一种图像处理装置,包括:
参数集编码单元,其被配置成在运动图像的编码的配置是帧内配置的情况下,将控制标志设置为真并且对包括所述控制标志的参数集进行编码,所述控制标志用于控制是否将所述运动图像的所有切片的切片类型限制为I切片;以及
图片编码单元,其被配置成在所述控制标志为真的情况下,将所述所有切片设置为I切片来对所述运动图像进行编码。
18.一种图像处理方法,包括:
在运动图像的编码的配置是帧内配置的情况下,将控制标志设置为真并且对包括所述控制标志的参数集进行编码,所述控制标志用于控制是否将所述运动图像的所有切片的切片类型限制为I切片;以及
在所述控制标志为真的情况下,将所述所有切片设置为I切片来对所述运动图像进行编码。
19.一种图像处理装置,包括:
控制标志解码单元,其被配置成对运动图像的比特流进行解码,并且生成用于控制是否将所述运动图像的所有切片的切片类型限制为I切片的控制标志;以及
控制标志检查单元,其被配置成在所述比特流的配置是帧内配置的情况下,检查所述控制标志是否为真。
20.一种图像处理方法,包括:
对运动图像的比特流进行解码,并且生成用于控制是否将所述运动图像的所有切片的切片类型限制为I切片的控制标志;以及
在所述比特流的配置是帧内配置的情况下,检查所述控制标志是否为真。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163249082P | 2021-09-28 | 2021-09-28 | |
US63/249,082 | 2021-09-28 | ||
PCT/JP2022/034320 WO2023053957A1 (ja) | 2021-09-28 | 2022-09-14 | 画像処理装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117981322A true CN117981322A (zh) | 2024-05-03 |
Family
ID=85782451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280063598.1A Pending CN117981322A (zh) | 2021-09-28 | 2022-09-14 | 图像处理装置和方法 |
Country Status (8)
Country | Link |
---|---|
EP (1) | EP4412215A1 (zh) |
JP (1) | JPWO2023053957A1 (zh) |
KR (1) | KR20240087683A (zh) |
CN (1) | CN117981322A (zh) |
AU (1) | AU2022356617A1 (zh) |
CA (1) | CA3228003A1 (zh) |
MX (1) | MX2024003673A (zh) |
WO (1) | WO2023053957A1 (zh) |
-
2022
- 2022-09-14 CA CA3228003A patent/CA3228003A1/en active Pending
- 2022-09-14 JP JP2023551289A patent/JPWO2023053957A1/ja active Pending
- 2022-09-14 CN CN202280063598.1A patent/CN117981322A/zh active Pending
- 2022-09-14 MX MX2024003673A patent/MX2024003673A/es unknown
- 2022-09-14 EP EP22875828.0A patent/EP4412215A1/en active Pending
- 2022-09-14 KR KR1020247008257A patent/KR20240087683A/ko unknown
- 2022-09-14 WO PCT/JP2022/034320 patent/WO2023053957A1/ja active Application Filing
- 2022-09-14 AU AU2022356617A patent/AU2022356617A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2023053957A1 (zh) | 2023-04-06 |
AU2022356617A1 (en) | 2024-02-22 |
EP4412215A1 (en) | 2024-08-07 |
MX2024003673A (es) | 2024-04-16 |
KR20240087683A (ko) | 2024-06-19 |
CA3228003A1 (en) | 2023-04-06 |
WO2023053957A1 (ja) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7517350B2 (ja) | 画像処理装置および方法 | |
US20220256151A1 (en) | Image processing device and method | |
JP2024105675A (ja) | 画像処理装置および方法 | |
US20210006836A1 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
JP7235031B2 (ja) | 画像処理装置および方法 | |
WO2022255395A1 (ja) | 画像処理装置および方法 | |
US20210037248A1 (en) | Image encoding device, image encoding method, image decoding device, and image decoding method | |
WO2022044845A1 (ja) | 画像処理装置および方法 | |
WO2023053957A1 (ja) | 画像処理装置および方法 | |
US20240357129A1 (en) | Image processing apparatus and method | |
JP7517348B2 (ja) | 画像処理装置および方法 | |
US20240163437A1 (en) | Image processing device and method | |
WO2023048012A1 (ja) | 画像処理装置および方法 | |
JP7484923B2 (ja) | 画像処理装置および方法 | |
US20230045106A1 (en) | Image processing apparatus and method | |
US20220021899A1 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
KR20240024808A (ko) | 화상 처리 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40105548 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |