CN113301338A - 图像解码装置及图像编码装置 - Google Patents

图像解码装置及图像编码装置 Download PDF

Info

Publication number
CN113301338A
CN113301338A CN202110190427.2A CN202110190427A CN113301338A CN 113301338 A CN113301338 A CN 113301338A CN 202110190427 A CN202110190427 A CN 202110190427A CN 113301338 A CN113301338 A CN 113301338A
Authority
CN
China
Prior art keywords
transform
skip
flag
encoding
prediction error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110190427.2A
Other languages
English (en)
Inventor
桥本知典
佐佐木瑛一
猪饲知宏
青野友子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN113301338A publication Critical patent/CN113301338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像解码装置及图像编码装置，其能解除转换跳过与符号数据隐藏、依赖量化的组合，发挥降低硬件、软件的安装成本的效果。一种图像解码装置，该图像解码装置具备：报头解码部，该报头解码部从编码数据解码表示是否能利用依赖量化的标志和禁止转换跳过预测误差量化的标志；以及TU解码部，该TU解码部以对TU块内的转换系数的解码起始位置即LAST位置进行编码的RRC模式或不对上述LAST位置进行编码的TSRC模式对转换系数进行解码，上述TU解码部在以TSRC模式对转换跳过的转换系数进行解码的情况下，在RRC模式下进行依赖量化，在以RRC模式对转换跳过的转换系数进行解码的情况下，在RRC模式下不进行依赖量化。

Description

图像解码装置及图像编码装置
技术领域
本发明的实施方式涉及一种图像解码装置及图像编码装置。
背景技术
为了高效地传输或记录图像，使用通过对图像进行编码而生成编码数据的图像编码装置及通过对该编码数据进行解码而生成解码图像的图像解码装置。
作为具体的图像编码方式，例如可列举出H.264/AVC(Advanced Video Coding：高级视频编码)、HEVC(High-Efficiency Video Coding：高效视频编码)方式等。
在这样的图像编码方式中，构成运动图像的图像(图片)通过分级结构来管理，按每个CU进行编码/解码，所述分级结构包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU：Coding Tree Unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(Coding Unit：CU))以及通过分割编码单位而得到的转换单元(TU：Transform Unit)。
此外，在这样图像编码方式中，通常基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测误差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。
此外，作为近年来的图像编码和解码技术，可列举出非专利文献1。非专利文献1中公开了“符号数据隐藏(Sign Data Hiding，SDH)”，是一种为了提高编码效率，对于将与预测误差有关的量化转换系数逆量化而计算出的转换系数，对一部分转换系数的正或负的符号进行估计而不进行编码的技术。此外，公开了切换具有不同位阶的两个量化器进行量化、逆量化的“依赖量化(Dependent Quantization，DQ)”。
另一方面，在医疗、美术品等中使用影像的用途中，有时需要完全不存在或基本上不存在编码所致的劣化的解码图像。为了实现这样的无损或近无损，公开了一种编码(解码)中不使用转换(逆转换)、量化(逆量化)的技术。这些技术之一被称为“转换跳过(Transform Skip，TS)”。转换跳过也视为转换之一(Identical Transform：恒等转换)，将是否为转换跳过作为转换的类型进行编码。
此外，也已知有在转换跳过中进行与通常的预测误差的编码(Regular ResidualCoding，RRC)不同的编码的“转换跳过预测误差编码，(Transform Skip Residual Coding，TSRC)”。
现有技术文献
非专利文献
非专利文献1：“Versatile Video Coding(Draft 8)”，JVET-Q2001，Joint VideoExploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，7-17January 2020
发明内容
发明要解决的问题
在非专利文献1的技术中，作为转换跳过、符号数据隐藏、依赖量化、转换跳过预测误差量化(TSRC)、通常的预测误差的编码(RRC)的组合，在转换跳过预测误差量化(TSRC)中不进行符号数据隐藏、依赖量化。由此，排除转换跳过、符号数据隐藏、依赖量化。然而，在通常的预测误差的编码(RRC)中，存在转换跳过与符号数据隐藏、依赖量化的组合，因此依然存在图像解码装置及图像编码装置复杂的问题。特别是，存在实现效果小的组合的硬件、软件的安装与成本增加不相称的问题。
技术方案
为了解决上述问题，本发明的一个方案的图像解码装置的特征在于，具备：报头解码部，从编码数据解码表示是否能利用依赖量化的标志ph_dep_quant_enabled_flag和禁止转换跳过预测误差量化的标志slice_ts_residual_coding_disabled_flag；以及TU解码部，以对TU块(block)内的转换系数的解码起始位置即LAST位置进行编码的RRC模式或不对上述LAST位置进行编码的TSRC模式对转换系数进行解码，上述TU解码部在以TSRC模式对转换跳过的转换系数进行解码的情况下(slice_ts_residual_coding_disabled_flag＝0)，在RRC模式下进行依赖量化，在以RRC模式对转换跳过的转换系数进行解码的情况下(slice_ts_residual_coding_disabled_flag＝1)，在RRC模式下不进行依赖量化。
上述图像解码装置的特征在于，具备：报头解码部，从编码数据解码表示是否能利用依赖量化的标志ph_dep_quant_enabled_flag和禁止转换跳过预测误差量化的标志slice_ts_residual_coding_disabled_flag；以及TU解码部，对转换系数进行解码；上述TU解码部在ph_dep_quant_enabled_flag为1，且slice_ts_residual_coding_disabled_flag为0的情况下进行依赖量化，对转换系数进行解码，在除此以外的情况下，在ph_dep_quant_enabled_flag为0或slice_ts_residual_coding_disabled_flag为1的情况下不进行依赖量化，而对转换系数进行解码。
上述图像解码装置的特征在于，具备：报头解码部，从编码数据解码表示是否能利用依赖量化的标志ph_dep_quant_enabled_flag、表示是否能利用符号数据隐藏的标志pic_sign_data_hiding_enabled_flag以及禁止转换跳过预测误差量化的标志slice_ts_residual_coding_disabled_flag；以及TU解码部，对转换系数进行解码，上述TU解码部在ph_dep_quant_enabled_flag为1，或pic_sign_data_hiding_enabled_flag为0，或slice_ts_residual_coding_disabled_flag为1时，不进行符号数据隐藏。
通过采用这种构成，能解除转换跳过与符号数据隐藏、依赖量化的组合，发挥降低硬件、软件的安装成本的效果。
有益效果
根据以上的构成，能谋求上述任一问题的解决。
附图说明
图1是表示本实施方式的图像传输系统的构成的概略图。
图2是表示搭载有本实施方式的运动图像编码装置的发送装置和搭载有运动图像解码装置的接收装置的构成的图。PROD_A表示搭载有运动图像编码装置的发送装置，PROD_B表示搭载有运动图像解码装置的接收装置。
图3是表示搭载有本实施方式的运动图像编码装置的记录装置和搭载有运动图像解码装置的再现装置的构成的图。PROD_C表示搭载有运动图像编码装置的记录装置，PROD_D表示搭载有运动图像解码装置的再现装置。
图4是表示编码流的数据的分级结构的图。
图5是表示CTU的分割例的图。
图6是表示运动图像解码装置的构成的概略图。
图7是对运动图像解码装置的概略动作进行说明的流程图。
图8是表示TU解码部的构成的概略图。
图9是表示与量化转换系数有关的语法要素的图。
图10是表示与量化转换系数有关的语法要素的图。
图11a是与RRC有关的语法表。
图11b是与RRC有关的语法表。
图11c是与RRC有关的语法表。
图12a是与TSRC有关的语法表。
图12b是与TSRC有关的语法表。
图13是与本实施方式的切片报头有关的语法表。
图14a是与本实施方式的RRC有关的语法表。
图14b是与本实施方式的RRC有关的语法表。
图14c是与本实施方式的RRC有关的语法表。
图15是与本实施方式的TU有关的语法表。
图16a是与本实施方式的RRC有关的语法表。
图16b是与本实施方式的RRC有关的语法表。
图16c是与本实施方式的RRC有关的语法表。
图17是表示运动图像编码装置的构成的框图。
具体实施方式
[实施方式1]
以下，参照附图对本发明的实施方式进行说明。
图1是表示本实施方式的图像传输系统1的构成的概略图。
图像传输系统1是传输对编码对象图像进行编码而得到的编码流，对所传输的编码流进行解码并显示图像的系统。图像传输系统1构成为包括：运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及图像显示装置(图像显示装置)41。
运动图像编码装置11被输入图像T。
网络21将运动图像编码装置11所生成的编码流Te传输至运动图像解码装置31。网络21是互联网(Internet)、广域网(WAN：Wide Area Network)、小型网络(LAN：Local AreaNetwork，局域网)或它们的组合。网络21并不一定限于双向的通信网，也可以是数字地面广播、卫星广播等传输广播波的单向的通信网。此外，网络21也可以由DVD(DigitalVersatile Disc：数字通用光盘，注册商标)、BD(Blue-ray Disc：蓝光光盘，注册商标)等记录有编码流Te的存储介质代替。
运动图像解码装置31对网络21所传输的编码流Te分别进行解码，生成解码后的一个或多个解码图像Td。
图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像Td中的全部或一部分。图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence：电致发光)显示器等显示设备。作为显示器的形式，可列举出固定式、移动式、HMD等。此外，在运动图像解码装置31具有高处理能力的情况下显示画质高的图像，在仅具有较低处理能力的情况下显示无需高处理能力、高显示能力的图像。
<运算符>
以下记述本说明书中所使用的运算符。
>>为右位移，<<为左位移，&为逐位AND，|为逐位OR，|＝为OR代入运算符，||表示逻辑和。
x？y:z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。
Clip3(a，b，c)是将c限幅于a以上b以下的值的函数，是在c<a的情况下返回a、在c>b的情况下返回b、在其他情况下返回c的函数(其中，a<＝b)。
abs(a)是返回a的绝对值的函数。
Int(a)是返回a的整数值的函数。
floor(a)是返回a以下的最小整数的函数。
ceil(a)是返回a以上的最大整数的函数。
a/d表示a除以d的除法运算(舍去小数点以下)。
<编码流Te的结构>
在详细说明本实施方式的运动图像编码装置11和运动图像解码装置31之前，对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流Te的数据结构进行说明。
图4是表示编码流Te中的数据的分级结构的图。编码流Te例示性地包括序列和构成序列的多张图片。在图4中，示出分别表示既定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元的图。
(编码视频序列)
在编码视频序列中，规定有供运动图像解码装置31为了对处理对象的序列SEQ进行解码而参照的数据的集合。序列SEQ如图4的编码视频序列所示，包括视频参数集(VideoParameter Set)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(PictureParameter Set)、图片报头(picture header)、图片PICT以及补充增强信息SEI(Supplemental Enhancement Information)。
视频参数集VPS规定有在由多层构成的图像中多个图像通用的编码参数的集合以及图像中所包括的多层和与各层关联的编码参数的集合。
在序列参数集SPS中，规定有供运动图像解码装置31为了解码对象序列而参照的编码参数的集合。例如，规定有图片的宽度、高度。需要说明的是，SPS可以存在多个。在该情况下，从PPS中选择多个SPS中的任一个。
在图片参数集PPS中，规定有供运动图像解码装置31为了解码对象序列内的各图片而参照的编码参数的集合。例如，包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)、指示加权预测的应用的标志(weighted_pred_flag)以及缩放列表(量化矩阵)。需要说明的是，PPS可以存在多个。在该情况下，从对象序列内的各图片中选择多个PPS中的任一个。
在图片报头中，定义有一张编码图片中所包括的所有切片通用的编码参数。例如包括与POC(Picture Order Count：图片顺序计数)、分割有关的编码参数。
(编码图片)
在编码图片中，规定有供运动图像解码装置31为了对处理对象的图片PICT进行解码而参照的数据的集合。图片PICT如图4的编码图片所示，包括切片0～切片NS-1(NS为图片PICT中所包括的切片的总数)。
需要说明的是，以下，在无需对各切片0～切片NS-1进行区分的情况下，有时会省略代码下标来记述。此外，对于以下说明的编码流Te中所包括的数据且为标注有下标的其他数据也是同样的。
(编码切片)
在编码切片中，规定有供运动图像解码装置31为了对处理对象的切片S进行解码而参照的数据的集合。切片如图4的编码切片所示，包括切片报头和切片数据。
切片报头中包括供运动图像解码装置31为了确定对象切片的解码方法而参照的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片报头中所包括的编码参数的一个示例。
作为能由切片类型指定信息指定的切片类型，可列举出：(1)编码时仅使用帧内预测的I切片、(2)编码时使用单向预测或帧内预测的P切片以及(3)编码时使用单向预测、双向预测或帧内预测的B切片等。需要说明的是，帧间预测并不限定于单向预测、双向预测，也可以使用更多参照图片来生成预测图像。以下，称为P切片、B切片的情况是指包括能使用帧间预测的块的切片。
需要说明的是，切片报头也可以包括对图片参数集PPS的参照(pic_parameter_set_id)。
(编码切片数据)
在编码切片数据中，规定有供运动图像解码装置31为了对处理对象的切片数据进行解码而参照的数据的集合。切片数据如图4的编码切片报头所示，包括CTU。CTU是构成切片的固定大小(例如64×64)的块，有时也称为最大编码单位(LCU：Largest Coding Unit)。
(编码树单元)
在图4的编码树单元中，规定有供运动图像解码装置31为了对处理对象的CTU进行解码而参照的数据的集合。CTU通过递归的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(Binary Tree)分割)或三叉树分割(TT(Ternary Tree)分割)而分割成作为编码处理的基本单位的编码单元CU。将BT分割和TT分割统称为多叉树分割(MT(Multi Tree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树以及三叉树的中间节点为编码节点，CTU本身也被规定为最上层的编码节点。
CT(Coding Tree：编码树)包括表示是否进行QT分割的分割标志作为CT信息。图5中表示分割的示例。
CU为编码节点的终端节点，不进行进一步的分割。CU为编码处理的基本单位。
(编码单元)
如图4的编码单元所示，规定有供运动图像解码装置31为了对处理对象的编码单元进行解码而参照的数据的集合。具体而言，CU由CU报头CUH、预测参数、转换参数、量化转换系数等构成。在CU报头中规定有预测模式等。
预测处理存在以CU为单位进行的情况和以将CU进一步分割而成的子CU为单位进行的情况。在CU的大小与子CU的大小相等的情况下，CU中的子CU为一个。在CU的大小大于子CU的大小时，CU被分割成子CU。例如在CU为8×8，子CU为4×4的情况下，CU被分割成包括水平二分割、垂直二分割的四个子CU。
预测的种类(预测模式CuPredMode)至少具备帧内预测(MODE_INTRA)和帧间预测(MODE_INTER)两种。而且，也可以具备帧内块复制预测(MODE_IBC)。帧内预测、帧内块复制预测为同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间、图像层间)进行的预测处理。
转换/量化处理以CU为单位来进行，量化转换系数也可以以4×4等的子块为单位来进行熵编码。
预测图像由附加于块的预测参数推导出。预测参数中有帧内预测和帧间预测的预测参数。
(运动图像解码装置的构成)
对本实施方式的运动图像解码装置31(图6)的构成进行说明。
运动图像解码装置31构成为包括：熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆转换部311以及加法部312。需要说明的是，也有配合后述的运动图像编码装置11，而在运动图像解码装置31中不包括环路滤波器305的构成。
参数解码部302还具备：报头解码部3020、CT信息解码部3021以及CU解码部3022(预测模式解码部)，CU解码部3022具备TU解码部3024。也可以将这些统称为解码模块。报头解码部3020从编码数据解码VPS、SPS、PPS等参数集信息、切片报头(切片信息)。CT信息解码部3021从编码数据解码CT。CU解码部3022从编码数据解码CU。TU解码部3024从编码数据解码QP更新信息(量化校正值)和量化转换系数(residual_coding)。
TU解码部3024在TU中包括预测误差的情况下，从编码数据解码QP更新信息和量化转换系数。量化转换系数的推导也可以具备多种模式(例如RRC模式和TSRC模式)。具体而言，可以通过使用转换的通常的预测误差的推导(RRC：Regular Residual Coding)和不使用转换的转换跳过模式下的预测误差的推导(TSRC：Transform Skip Residual Coding)来实施不同处理。QP更新信息是与量化参数QP的预测值即量化参数预测值qPpred的差分值。
此外，在下文对使用CTU、CU作为处理的单位的示例进行记述，但并不限于此例，也可以子CU为单位进行处理。或者，也可以将CTU、CU改称为块，将子CU改称为子块，而设为以块或子块为单位的处理。
熵解码部301对从外部输入的编码流Te进行熵解码，对各个码(语法要素)进行解析。熵编码中存在如下方式：使用根据语法要素种类、周围状况而自适应地选择的上下文(概率模型)对语法要素进行可变长度编码的方式；以及使用预先规定的表或计算式对语法要素进行可变长度编码的方式。作为前者的示例，可列举出CABAC(Context AdaptiveBinary Arithmetic Coding：上下文自适应二进制算术编码)。解析过的码中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。
熵解码部301将分离出的码输出至参数解码部302。所谓分离出的码，例如是预测模式CuPredMode。对哪一码进行解码的控制基于参数解码部302的指示来进行。
(基本流程)
图7是对运动图像解码装置31的概略动作进行说明的流程图。
(S1100：参数集信息解码)报头解码部3020从编码数据解码VPS、SPS、PPS、SEI、PH等参数集信息。
(S1200：切片信息解码)报头解码部3020从编码数据解码切片报头(切片信息)。
以下，运动图像解码装置31通过对于对象图片中所包括的各CTU重复S1300至S5000的处理来推导出各CTU的解码图像。
(S1300：CTU信息解码)CT信息解码部3021从编码数据解码CTU。
(S1400：CT信息解码)CT信息解码部3021从编码数据解码CT。
(S1500：CU解码)CU解码部3022实施S1510、S1520，从编码数据解码CU。此外，CU解码部3022从编码数据以CU为单位解码量化参数的差分CuQpDeltaVal，推导出量化参数。
(S1510：CU信息解码)CU解码部3022从编码数据解码CU信息、预测信息、TU分割标志split_transform_flag、CU残差标志cbf_cb、cbf_cr、cbf_luma等。
(S1520：TU信息解码)TU解码部3024在TU中包括预测误差的情况下，从编码数据解码QP更新信息和量化转换系数。
(S2000：预测图像生成)预测图像生成部308对于对象CU中所包括的各块，基于预测信息生成预测图像。
(S3000：逆量化/逆转换)逆量化/逆转换部311对于对象CU中所包括的各TU执行逆量化/逆转换处理。
(S4000：解码图像生成)加法部312通过将由预测图像生成部308供给的预测图像与由逆量化/逆转换部311供给的预测误差相加来生成对象CU的解码图像。
(S5000：环路滤波器)环路滤波器305对解码图像实施去块滤波、SAO(SampleAdaptive Filter：样本自适应滤波)、ALF(Adaptive Loop Filter：自适应环路滤波)等环路滤波来生成解码图像。
(量化转换系数的推导、残差编码)
在无损编码、原画的像素间关联小时，有时不实施转换时编码效率高。将不实施转换的技术称为转换跳过(Transform Skip)。
转换跳过也称为Identical Transform，仅进行与量化参数相应的转换系数的缩放。使用语法要素transform_skip_flag来通知是否为转换跳过。transform_skip_flag也可以按Y、Cb、Cr的各颜色分量(cIdx)进行通知。
关于使用转换的通常的预测误差的推导(RRC：Regular Residual Coding)和转换跳过模式下的预测误差的推导(TSRC：Transform Skip Residual Coding)，预测误差的编码方法和解码方法均不同。
图8是TU解码部3024的框图，包括RRC部30241和TSRC部30242。RRC部30241是推导出使用转换的通常的预测误差的处理部，TSRC部30242是推导出转换跳过模式下的预测误差的处理部。
图9的(a)的sps_transform_skip_enabled_flag是表示在各TU中是否通知transform_skip_flag的标志。sps_transform_skip_enabled_flag＝1表示在各TU中通知transform_skip_flag。sps_transform_skip_enabled_flag＝0表示在各TU中不通知transform_skip_flag。在未通知sps_transform_skip_enabled_flag的情况下，估计为0。
图9的(a)的min_qp_prime_ts_minus4是用于推导出转换跳过模式下的最小量化参数QpPrimeTsMin的参数。QpPrimeTsMin由4+min_qp_prime_ts_minus4推导出。
图10的(b)的transform_skip_flag[x0][y0][cIdx]是表示在颜色分量cIdx相对于图片的左上坐标的位置(x0，y0)的块中是否应用转换。在transform_skip_flag＝1(转换跳过模式)的情况下，不在该块中应用转换。在transform_skip_flag＝0的情况下，是否在该块中应用转换依赖于其他参数。
图11和图12是表示RRC和TSRC下的转换系数(预测误差)的编码方法的语法。
(RRC部、RRC模式)
在不进行转换跳过的通常的预测误差编码方法(图11)中，RRC部30241对表示LAST位置的语法要素(未图标)进行解码，推导出LAST位置(LastSignificantCoeffX，LastSignificantCoeffY)。LAST位置是从低频分量向高频分量的方向扫描TU的转换系数的情况下的末尾的非零系数的位置。在从高频分量依次对转换系数进行编码、解码的情况下，LAST位置表示最初解码的量化转换系数的位置。接着，RRC部30241参照LAST位置对coded_sub_block_flag进行解码。coded_sub_block_flag是表示子块中是否包括非零系数的标志。子块是将TU以4×4单位分割而成的区域。若coded_sub_block_flag＝1(子块中包括非零系数)，则RRC部30241对sig_coeff_flag进行解码。sig_coeff_flag是表示系数值是否非零的标志。若sig_coeff_flag＝1(系数值非零)，则RRC部30241对abs_level_gtx_flag、par_level_flag、abs_remainder、dec_abs_level进行解码。这些是表示系数的绝对值的语法要素。RRC部30241根据这些语法要素推导出系数的绝对值。此外，RRC部30241参照signHidden(在下文叙述)、系数的绝对值和位置来判断是否已通知coeff_sign_flag，若已通知，则对coeff_sign_flag进行解码。coeff_sign_flag[n]是表示扫描位置n的量化转换系数值的符号的标志。RRC部30241根据系数的绝对值和coeff_sign_flag推导出系数值。
如上所述，RRC部30241的特征在于在TU的子块中对LAST位置进行解码。
在不实施转换的情况下(转换跳过模式)的预测误差编码方法(图12)中，TSRC部30242对各子块的coded_sub_block_flag进行解码。若coded_sub_block_flag＝1(子块中包括非零系数)，则TSRC部30242对子块内的位置(xC，xC)的转换系数的sig_coeff_flag[xC][yC]进行解码。若sig_coeff_flag＝1(系数值非零)，则TSRC部30242对coeff_sign_flag、abs_level_gtx_flag、par_level_flag、abs_remainder进行解码。这些是表示系数的绝对值的语法要素。TSRC部30242根据这些语法要素推导出系数的绝对值。
如上所述，TSRC部30242的特征在于在TU的子块中不对LAST位置进行解码。
(量化转换系数的推导、Sign Data Hiding)
关于非零的量化转换系数的正负，除根据按每一系数通知的标志进行推导以外，也可以参照其他参数来估计系数值的正负(符号数据隐藏)。图9的(a)的sps_sign_data_hiding_enabled_flag是表示在参照某SPS的图片中是否能进行系数的码位的估计的标志。sps_sign_data_hiding_enabled_flag＝0表示无法进行码位的估计。sps_sign_data_hiding_enabled_flag＝1表示能进行码位的估计。在未通知sps_sign_data_hiding_enabled_flag的情况下，估计为0。
图9的(b)的pic_sign_data_hiding_enabled_flag是表示在现有图片中是否能进行量化转换系数的码位的估计的标志。pic_sign_data_hiding_enabled_flag＝0表示无法进行码位的估计。pic_sign_data_hiding_enabled_flag＝1表示能进行码位的估计。在未通知pic_sign_data_hiding_enabled_flag的情况下，估计为0。
图11的coeff_sign_flag[n]是表示扫描位置n的量化转换系数值的符号的标志。在coeff_sign_flag[n]＝0的情况下，系数值为正值。在并非如此的情况下(coeff_sign_flag[n]＝1)，系数值为负值。在未通知coeff_sign_flag[n]的情况下，估计为0。
在RRC部30241中，推导出表示是否通过估计推导出特定的转换系数的符号的标志signHidden。例如下述算式所示，RRC部30241参照pic_sign_data_hiding_enabled_flag、ph_dep_quant_enabled_flag(在后文叙述)、非零系数的分布推导出signHidden。非零系数的分布，例如可以是指firstSigScanPosSb与lastSigScanPosSb的差分值。若该差分值大于特定值，则RRC部30241可将SignHidden设置为1，若并非如此，则可将SignHidden设置为0。特定值例如可以是3。
Figure BDA0002943914120000141
在此，lastSigScanPosSb是子块内位于末尾的高频侧的转换系数的位置(最初解码的转换系数的位置)，firstSigScanPosSb是子块内位于最初的低频侧的转换系数的位置。
如图11所示，在系数值非零(AbsLevel[xC][yC]>0)，且满足以下任一条件时，通知coeff_sign_flag，RRC部30241对coeff_sign_flag进行解码，推导出系数的符号。
·signHidden为0。
·系数不在子块内最后被解码的位置(n！＝firstSigScanPosSb)。
若并非如此(系数值为零，或signHidden非零且系数位置位于子块内最后被解码的位置时)，则不通知coeff_sign_flag。然后，RRC部30241根据sumAbsLevel为奇数还是偶数来确定该系数的符号(SYN1102)。sumAbsLevel是子块内已解码的转换系数的绝对值的和。具体而言，在(sumAbsLevel％2)＝＝1为真的情况下，将系数的符号估计为负。
(量化转换系数的推导、依赖量化)
作为量化方法，具备标量量化和依赖量化这两种方法。逆量化/逆转换部311将转换系数逆量化。在依赖量化的情况下，也可以进一步在RRC部30241中也进行逆量化处理的一部分。
逆量化/逆转换部311如以下所述地根据量化参数qP和rectNonTsFlag、量化矩阵m[][]的值，推导出线性缩放值ls[x][y]。逆量化/逆转换部311在依赖量化有效且转换跳过无效的情况下和除此以外的情况下切换ls[][]的推导方法。
Figure BDA0002943914120000151
首先，在标量量化有效时，根据量化转换系数和量化参数唯一地推导出转换系数。例如，在图11或图12中利用以下算式推导出转换系数值d。TransCoeffLevel[x0][y0][cIdx][xC][yC]＝AbsLevel[xC][yC]*(1-2*coeff_sign_flag[n])d[x0][y0][cIdx][xC][yC]＝TransCoeffLevel[x0][y0][cidx][xC][yC]*1s[xC][yC]+((1<<bdShift)>>1))>>bdShift
在此，AbsLevel为量化转换系数值，ls、bdShift为根据量化参数qP推导出的参数。
另一方面，依赖量化具备具有不同位阶的两个量化器。使用量化转换系数的中间值(AbsLevelPass1、AbsLevel)的奇偶性来切换四种状态QState。然后，根据QState进行量化/逆量化。需要说明的是，另行进行使用量化参数的量化/逆量化即缩放。
QState＝QStateTransTanle[QState][AbsLevelPassl[xC][yC]&1]
TransCoeffLevel[x0][[y0][cIdx][xC][yC]＝(2*AbsLevel[xC][yC]-(QState>1？1∶0))*(1-2*coeff_sign_flag[n])
d[x0][y0][cIdx][xC[yC]＝(TransCoeffLeve1[x0][y0][cIdx][xC[yC]*1s[xC][yC]+((1<<bdShift)>>1))>>bdShift
在此，QState为状态，QStateTransTable[][]为状态转变中使用的表格，例如QStateTransTable[][]＝{{0，2}，{2，0}，{1，3}，{3，1}}。
QState也可以不使用QStateTransTable[][]而通以下算式推导出。QState＝(32040>>((QState<<2)+((AbsLevelPassl[xC][yC]&1)<<1)))&3
根据QState的值，即使AbsLevel相同，也推导出不同的TransCoeffLevel(或d)。QState参照前一个已解码的量化转换系数值而推导出，因此与通常的标量(逆)量化相比，能进行利用系数间的关联的编码效率良好的(逆)量化。
图9的(b)的sps_dep_quant_enabled_flag是表示在参照某SPS的图片中是否能进行依赖量化(dependent quantization)的标志。sps_dep_quant_enabled_flag＝0表示无法进行依赖转换。sps_dep_quant_enabled_flag＝1表示能进行依赖量化。
图9的(b)的ph_dep_quant_enabled_flag是表示在现有图片中是否能进行依赖量化的标志。ph_dep_quant_enabled_flag＝0表示无法进行依赖转换。ph_dep_quant_enabled_flag＝1表示能进行依赖量化。在未通知ph_dep_quant_enabled_flag的情况下，估计为0。
在通常的预测误差编码方法(RRC)中，以适于非零转换系数集中于低频分量的一部分区域的情况的方式对称为LAST位置的非零转换系数的解码起始位置进行编码，从LAST位置扫描低频分量侧而对量化转换系数进行解码。此外，为了使用符号数据隐藏、依赖量化，RRC部30241推导出这些处理所需的转换系数的绝对值和、依赖量化的状态(QState)等参数。另一方面，在使用转换跳过模式的预测误差编码(TSRC)中，非零转换系数不会集中于一部分区域，因此不对LAST位置进行编码，而扫描块整体来对量化转换系数进行解码。此外，不使用符号数据隐藏、依赖量化，从而TSRC部30242不推导这些处理所需的上述参数。
再者，即使在转换跳过模式的情况下，也有时使用通常的预测误差的编码方法时编码效率良好。因此，也可以在转换跳过模式的情况下利用通常的预测误差。例如，也可以通知图10的(a)所示的slice_ts_residual_coding_disabled_flag。
slice_ts_residual_coding_disabled_flag是表示在现有切片中是否对应用转换跳过的块(转换跳过块)的预测误差的解码使用TSRC模式即residual_ts_coding()。slice_ts_residual_coding_disabled_flag＝1表示对转换跳过块的预测误差的解析使用RRC模式即residual_coding()。slice_ts_residual_coding_disabled_flag＝0表示对转换跳过块的预测误差的解析使用residual_ts_coding()。在未通知slice_ts_residual_coding_disabled_flag的情况下，估计为0。
如图10的(b)所示，在！transform_skip_flag[x0][y0][0]||slice_ts_residual_coding_disabled_flag的情况下，可以通过RRC部30241进行处理。在除此以外的情况下，可以通过TSRC部30242进行处理。就是说，除transform_skip_flag为0的情况以外，也可以在slice_ts_residual_coding_disabled_flag不为0的情况下通过RRC通知转换系数(预测误差)。
通过参照slice_ts_residual_coding_disabled_flag，即使在转换跳过模式的情况下，也可以使用通常的预测误差的编码方法(RRC模式)。
(实施方式2)
如图13所示，slice_ts_residual_coding_disabled_flag可以设为参照sps_transform_skip_enabled_flag，在sps_transform_skip_enabled_flag＝1时，通知slice_ts_residual_coding_disabled_flag。slice_ts_residual_coding_disabled_flag是表示在现有切片中是否对应用转换跳过的块的预测误差的解码使用TSRC模式的标志。因此，在SPS中已通知不使用转换跳过模式的情况下，不使用TSRC模式，且无需通知slice_ts_residual_coding_disabled_flag。由此，能减轻码量，发挥使编码效率提高的效果。
(实施方式3)
能通过使转换跳过与依赖量化，且使符号数据隐藏与依赖量化排他地动作来降低硬件、软件的安装成本。
如图14所示，RRC部30241可以参照slice_ts_residual_coding_disabled_flag来切换依赖量化的四种状态QState(SYN1401、SYN1402、SYN1404、SYN1405)。具体而言，在ph_dep_quant_enabled_flag为1，且slice_ts_residual_coding_disabled_flag为0的情况下，更新QState(SYN1401、SYN1402)。反之，在ph_dep_quant_enabled_flag为0，或slice_ts_residual_coding_disabled_flag为1的情况下，不进行QState的更新。由此，转换跳过的量化转换系数也能在RRC模式下解码。因此，即使在转换跳过有效的情况下，若slice_ts_residual_coding_disabled_flag＝1，则RRC部30241也不进行依赖量化。通过上述条件，可以使转换跳过与依赖量化排他地动作。
或者，在不使用QStateTransTable[][]地更新QState的情况下，可以使用变量stateVal。
stateVal＝(ph_dCp_quant_enabled_flag&&!slice_ts_residual_coding_disabled_flag)？32040∶0
QState＝(stateVal>>((QState<<2)+((AbsLevelPassl[xC][yC]&1)<<1)))&3
在stateVal为0时，QState始终为0，意味着不进行依赖量化，因此可以使转换跳过与依赖量化排他地动作。
此外，如图14所示，可以对确定是否应用符号数据隐藏的signHidden的值的推导使用slice_ts_residual_coding_disabled_flag(SYN1403)。具体而言，在ph_dep_quant_enabled_flag为1，或pic_sign_data_hiding_enabled_flag为0，或slice_ts_residual_coding_disabled_flag为1的情况下，将signHidden设置为0。
Figure BDA0002943914120000181
通过如此，在ph_dep_quant_enabled_flag为0，且pic_sign_data_hiding_enabled_flag为1，且slice_ts_residual_coding_disabled_flag为0时，根据非零系数的分布进行符号数据隐藏。非零系数的分布，例如是指firstSigScanPosSb与lastSigScanPosSb的差分值。因此，可以使转换跳过与符号数据隐藏排他地动作。
此外，RRC部30241可以使用transform_skip_flag来代替使用slice_ts_residual_coding_disabled_flag，而使转换跳过与符号数据隐藏、依赖量化排他地动作。
如图15所示，首先，TU解码部3024对RRC部30241通知transform_skip_flag(SYN1501、SYN1502、SYN1503)。接着，如图16所示，RRC部30241在ph_dep_quant_enabled_flag为1，且transform_skip_flag为0的情况下，更新QState。在并非如此，而ph_dep_quant_enabled_flag为0，或slice_ts_residual_coding_disabled_flag为1的情况下，不更新QState。如此，RRC部30241在转换跳过有效的情况下不进行依赖量化(SYN1601、SYN1602、SYN1604、SYN1605)。
此外，可以对signHidden的值的推导使用transform_skip_flag。具体而言，RRC部30241在ph_dep_quant_enabled_flag为1，或pic_sign_data_hiding_enabled_flag为0，或transform_skip_flag为1的情况下，将signHidden设置为0(SYN1603)。
Figure BDA0002943914120000182
通过采取这样的构成，能解除转换跳过与符号数据隐藏、依赖量化的组合，发挥降低硬件、软件的安装成本的效果。
逆量化/逆转换部311将从熵解码部301输入的量化转换系数缩放(逆量化)而求出转换系数d[][]。该量化转换系数是在编码处理中对预测误差进行DCT(Discrete CosineTransform：离散余弦转换)、DST(Discrete Sine Transform：离散正弦转换)等转换并进行量化而得到的系数。逆量化/逆转换部311在transform_skip_flag为0的情况下，对缩放完成的转换系数d[][]进行逆DCT、逆DST等逆频率转换，计算出预测误差res[][]。逆量化/逆转换部311在transform_skip_flag为1的情况下，设为res[x][y]＝d[x][y]。逆量化/逆转换部311将预测误差输出至加法部312。
需要说明的是，逆转换和转换为成对的处理，因此可以将转换与逆转换相互替换地予以解释。或者，在将逆转换称为转换的情况下，可以将转换称为正转换。例如，在将逆非分离转换称为非分离转换时，非分离转换可以称为正非分离转换。此外，将分离转换简称为转换。
加法部312将从预测图像生成部308输入的块的预测图像和从逆量化/逆转换部311输入的预测误差按每一像素相加，生成块的解码图像。加法部312将块的解码图像存储于参照图片存储器306，并输出至环路滤波器305。
(运动图像编码装置的构成)
接着，对本实施方式的运动图像编码装置11的构成进行说明。图17是表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括：预测图像生成部101、减法部102、转换/量化部103、逆量化/逆转换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111、熵编码部104。
预测图像生成部101按分割图像T的各图像而得的每一区域即每一CU生成预测图像。预测图像生成部101进行与已说明的预测图像生成部308相同的动作，省略其说明。
减法部102从图像T的像素值中减去从预测图像生成部101输入的块的预测图像的像素值而生成预测误差。减法部102将预测误差输出至转换/量化部103。
转换/量化部103针对从减法部102输入的预测误差，通过频率转换计算出转换系数，通过量化推导出量化转换系数。转换/量化部103将量化转换系数输出至熵编码部104和逆量化/逆转换部105。
逆量化/逆转换部105与运动图像解码装置31中的逆量化/逆转换部311(图10)相同，省略其说明。计算出的预测误差被输出至加法部106。
熵编码部104被从转换/量化部103输入量化转换系数，被从参数编码部111输入编码参数。编码参数例如是表示预测模式的predMode。predMode可以是表示帧内预测的MODE_INTRA、表示帧间预测的MODE_INTER中的任一个，也可以是MODE_INTRA、MODE_INTER、表示复制画面内的块设为预测图像的帧内块复制预测的MODE_IBC。
熵编码部104对分割信息、预测参数、量化转换系数等进行熵编码而生成并输出编码流Te。
参数编码部111具备：未图示的报头编码部1110、CT信息编码部1111、CU编码部1112(预测模式编码部)以及帧间预测参数编码部112和帧内预测参数编码部113。CU编码部1112还具备TU编码部1114。
以下，对各模块的概略动作进行说明。参数编码部111进行报头信息、分割信息、预测信息、量化转换系数等参数的编码处理。
CT信息编码部1111根据编码数据对QT、MT(BT、TT)分割信息等进行编码。
CU编码部1112对CU信息、预测信息、TU分割标志、CU残差标志等进行编码。
TU编码部1114在TU中包括预测误差的情况下对QP更新信息和量化转换系数进行编码。
CT信息编码部1111、CU编码部1112将帧间预测参数、帧内预测参数、量化转换系数等语法要素供给至熵编码部104。
加法部106将从预测图像生成部101输入的块的预测图像的像素值与从逆量化/逆转换部105输入的预测误差按每一像素相加，生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。
环路滤波器107对加法部106所生成的解码图像实施去块滤波器、SAO、ALF。需要说明的是，环路滤波器107也可以不一定包括上述三种滤波器，例如可以是仅有去块滤波器的构成。
SAO是以样本为单位加上与分类结果相应的偏移量的滤波器，ALF是使用传输的滤波器系数与参照图像(或参照图像与对象像素的差异)的乘积和的滤波器。
预测参数存储器108将编码参数确定部110所生成的预测参数按每一对象图片和每一CU存储于预定位置。
参照图片存储器109将环路滤波器107所生成的解码图像按每一对象图片和每一CU存储于预定位置。
编码参数确定部110在编码参数的多个集合中选择一个集合。编码参数是指上述QT、BT或TT分割信息、预测参数或与这些关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数生成预测图像。
编码参数确定部110对多个集合的每一个计算出表示信息量的大小和编码误差的RD成本值。编码参数确定部110选择计算出的成本值为最小的编码参数集。由此，熵编码部104将所选出的编码参数集作为编码流Te输出。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。
需要说明的是，可以通过计算机实现上述实施方式的运动图像编码装置11、运动图像解码装置31中的一部分，例如，熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及参数编码部111。在该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一个的计算机系统，采用包括OS、外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读记录介质”也包括：像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线路那样，在短时间内、动态地保存程序的记录介质；以及像作为在该情况下的服务器、客户端的计算机系统内部的易失性存储器那样，将程序保存固定时间的记录介质。此外，上述程序可以是用于实现前述功能的一部分的程序，也可以是能通过与已记录于计算机系统的程序进行组合来实现前述功能的程序。
此外，也可以通过将上述实施方式的运动图像编码装置11、运动图像解码装置31中的一部分或全部作为LSI(Large Scale Integration：大规模集成电路)等集成电路来实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现了代替LSI的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。
以上，参照附图对本发明的一实施方式进行了详细说明，但具体构成并不限定于上述实施方式，能在不脱离本发明主旨的范围内进行各种设计变更等。
[应用例]
上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是，运动图像可以是通过摄像机等拍摄到的自然运动图像，也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。
首先，参照图2，对能将上述运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。
图2中示出表示搭载有运动图像编码装置11的发送装置PROD_A的构成的框图。如图2所示，发送装置PROD_A具备：编码部PROD_A1，通过对运动图像进行编码而得到编码数据；调制部PROD_A2，通过利用编码部PROD_A1所得到的编码数据对载波进行调制而得到调制信号；以及发送部PROD_A3，发送调制部PROD_A2所得到的调制信号。上述运动图像编码装置11被用作该编码部PROD_A1。
发送装置PROD_A也可以进一步具备作为输入至编码部PROD_A1的运动图像的供给源的拍摄运动图像的摄像机PROD_A4、记录有运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6及生成或加工图像的图像处理部A7。图2中例示出发送装置PROD_A具备全部这些的构成，但也可以省略一部分。
需要说明的是，记录介质PROD_A5可以是记录有未编码的运动图像的介质，也可以是记录有以与传输用编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下，使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。
此外，图2中示出表示搭载有运动图像解码装置31的接收装置PROD_B的构成的框图。如图2所示，接收装置PROD_B具备：接收部PROD_B1，接收调制信号；解调部PROD_B2，通过对接收部PROD_B1所接收到的调制信号进行解调而得到编码数据；以及解码部PROD_B3，通过对解调部PROD_B2所得到的编码数据进行解码而得到运动图像。上述运动图像解码装置31被用作该解码部PROD_B3。
接收装置PROD_B也可以进一步具备作为解码部PROD_B3所输出的运动图像的供给目的地的显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。图2中例示出接收装置PROD_B具备全部这些的构成，但也可以省略一部分。
需要说明的是，记录介质PROD_B5可以是用于记录未编码的运动图像的介质，也可以是以与传输用编码方式不同的记录用的编码方式进行编码后的介质。在后者的情况下，使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。
需要说明的是，传输调制信号的传输介质可以是无线的，也可以是有线的。此外，传输调制信号的传输方案可以是广播(在此是指未预先确定发送目的地的发送方案)，也可以是通信(在此是指预先确定发送目的地的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信中的任一个来实现。
例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。
此外，使用互联网的VOD(Video On Demand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常，在LAN中使用无线或有线中的任一个作为传输介质，在WAN中使用有线作为传输介质)。在此，个人计算机中包括台式PC、膝上型PC以及平板型PC。此外，智能手机中也包括多功能便携电话终端。
需要说明的是，运动图像共享服务的客户端除了具有对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端作为发送装置PROD_A和接收装置PROD_B这两方发挥功能。
接着，参照图3对能将上述运动图像编码装置11和运动图像解码装置31用于运动图像的记录和再现的情况进行说明。
图3中示出表示搭载有上述运动图像编码装置11的记录装置PROD_C的构成的框图。如图3所示，记录装置PROD_C具备通过对运动图像进行编码而得到编码数据的编码部PROD_C1和将编码部PROD_C1所得到的编码数据写入至记录介质PROD_M的写入部PROD_C2。上述运动图像编码装置11被用作该编码部PROD_C1。
需要说明的是，记录介质PROD_M可以是(1)如HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)等那样内置于记录装置PROD_C的类型的记录介质，也可以是(2)如SD存储卡、USB(Universal Serial Bus：通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质，还可以是(3)如DVD(Digital Versatile Disc：数字通用光盘、注册商标)、BD(Blu-ray Disc：蓝光光盘、注册商标)等那样装填至内置于记录装置PROD_C的驱动器装置(未图示)的记录介质。
此外，记录装置PROD_C也可以进一步具备作为输入至编码部PROD_C1的运动图像的供给源的拍摄运动图像的相机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。图3中例示出记录装置PROD_C具备全部这些的构成，也可以省略一部分。
需要说明的是，接收部PROD_C5可以接收未编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式进行编码后的编码数据。在后者的情况下，使对以传输用编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。
作为这种记录装置PROD_C，例如可列举出：DVD刻录机、BD刻录机、HDD(Hard DiskDrive)刻录机等(在该情况下，输入端子PROD_C4或接收部PROD_C5为运动图像的主要供给源)。此外，便携式摄像机(在该情况下，摄像机PROD_C3为运动图像的主要供给源)、个人计算机(在该情况下，接收部PROD_C5或图像处理部C6为运动图像的主要供给源)、智能手机(在该情况下，摄像机PROD_C3或接收部PROD_C5为运动图像的主要供给源)等也是这种记录装置PROD_C的一个示例。
此外，图3中示出表示搭载有上述运动图像解码装置31的再现装置PROD_D的构成的框图。如图3所示，再现装置PROD_D具备读出已写入记录介质PROD_M的编码数据的读出部PROD_D1和通过对读出部PROD_D1所读出的编码数据进行解码而得到运动图像的解码部PROD_D2。上述运动图像解码装置31被用作该解码部PROD_D2。
需要说明的是，记录介质PROD_M可以是(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质，也可以是(2)如SD存储卡、USB闪存那样连接于再现装置PROD_D的类型的记录介质，还可以是(3)如DVD、BD等那样装填至内置于再现装置PROD_D的驱动器装置(未图示)的记录介质。
此外，再现装置PROD_D也可以进一步具备作为解码部PROD_D2所输出的运动图像的供给目的地的显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。图3中例示出再现装置PROD_D具备全部这些的构成，也可以省略一部分。
需要说明的是，发送部PROD_D5可以发送未编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式进行编码后的编码数据。在后者的情况下，使以传输用的编码方式对运动图像进行编码的编码部(未图标)介于解码部PROD_D2与发送部PROD_D5之间为好。
作为这种再现装置PROD_D，例如可列举出：DVD播放器、BD播放器、HDD播放器等(在该情况下，连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外，电视接收机(在该情况下，显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子广告牌、电子公告板等，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下，输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。(硬件方式实现以及软件方式实现)
此外，上述运动图像解码装置31和运动图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现，也可以利用CPU(Central ProcessingUnit：中央处理器)而以软件方式实现。
在后者的情况下，上述各装置具备：执行实现各功能的程序的命令的CPU、储存有上述程序的ROM(Read Only Memory：只读存储器)、将上述程序展开的RAM(Random AccessMemory：随机存取存储器)以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。而且，本发明的实施方式的目的也可以通过以下方式达成：将由计算机可读取地记录有实现上述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置，由该计算机(或CPU、MPU)读出并执行记录介质中记录的程序代码。
作为上述记录介质，例如能使用：磁带、盒式磁带卡带等磁带类；包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory：光盘只读存储器)/MO盘(Magneto-Optical disc：磁光盘)/MD(Mini Disc，迷你磁光盘)/DVD(Digital VersatileDisc：注册商标)/CD-R(CD Recordable：可记录光盘)/蓝光光盘(Blu-ray Disc：注册商标)等光盘的盘类；IC卡(包括存储卡)/光卡等卡类；掩膜ROM/EPROM(Erasable ProgrammableRead-Only Memory：可擦可编程只读存储器)/EEPROM(Electrically Erasable andProgrammable Read-Only Memory：电子可擦可编程只读存储器、注册商标)/闪存ROM等半导体存储器类；或PLD(Programmable logic device：可编程逻辑器件)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等逻辑电路类等。
此外，也可以将上述各装置构成为能与通信网络连接，经由通信网络供给上述程序代码。该通信网络只要能传输程序代码即可，并无特别限定。例如可以使用互联网、内联网、外联网、LAN(Local Area Network：局域网)、ISDN(Integrated Services DigitalNetwork：综合业务数字网)、VAN(Value-Added Network：增值网络)、CATV(CommunityAntenna television/Cable Television：共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也只要是能传输程序代码的介质即可，并不限定于特定的构成或种类。例如，无论在IEEE(Institute of Electrical and Electronic Engineers：电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(Asymmetric DigitalSubscriber Line：非对称数字用户线路)线路等有线中，还是在如IrDA(Infrared DataAssociation：红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate：高数据速率)、NFC(Near Field Communication：近场通讯)、DLNA(Digital Living Network Alliance：数字生活网络联盟，注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。此外，本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的方式也能实现。
本发明的实施方式并不限定于上述实施方式，能在权利要求所示的范围内进行各种变更。即，将在权利要求所示的范围内经过适当变更的技术方案加以组合而获得的实施方式也包括在本发明的技术范围内。
工业上的可利用性
本发明的实施方式能优选地应用于对图像数据经编码而得到的编码数据进行解码的运动图像解码装置，以及生成图像数据经编码而得到的编码数据的运动图像编码装置。此外，能优选地应用于由运动图像编码装置生成并被运动图像解码装置参照的编码数据的数据结构。
主要元件符号说明
31 运动图像解码装置
301 熵解码部
302 参数解码部
3020 报头解码部
308 预测图像生成部
311 逆量化/逆转换部
312 加法部
11 运动图像编码装置
101 预测图像生成部
102 减法部
103 转换/量化部
104 熵编码部
105 逆量化/逆转换部
107 环路滤波器
110 编码参数确定部
111 参数编码部
1110 报头编码部
1111 CT信息编码部
1112 CU编码部(预测模式编码部)
1114 TU编码部
311 逆量化/逆转换部
3111 逆量化部
3112 逆转换部

Claims (8)

1.一种用于对残差编码信息进行解码的解码部，其特征在于，所述解码部包括：
报头解码部，所述报头解码部被配置为解码
(i)在序列参数集中指定是否存在转换跳过语法要素的转换跳过依赖量化的标志，
(ii)在所述转换跳过依赖量化的标志的值等于一的情况下，指定是否使用转换跳过预测误差编码的禁止转换跳过预测误差量化的标志，以及
(iii)在所述转换跳过依赖量化的标志的值等于一的情况下，指定是否将变换应用于相关联的块的所述转换跳过语法要素；以及
TU解码部，所述TU解码部经配置对由通常的预测误差的编码所编码的转换系数数据进行解码，所述通常的预测误差的编码被用于生成指定变换块中的扫描次序中的最后有效系数的位置的语法要素，或对转换跳过预测误差编码进行解码，所述转换跳过预测误差编码为未变换的编码，
其中：
所述TU解码部经配置以在所述转换跳过语法要素的值等于零或所述禁止转换跳过预测误差量化的标志的值等于一的情况下使用所述通常的预测误差的编码，以及
否则，所述TU解码部经配置以使用所述转换跳过预测误差编码。
2.根据权利要求1所述的解码部，其特征在于，在所述禁止转换跳过预测误差量化的标志不存在的情况下，推断所述禁止转换跳过预测误差量化的标志的值等于零。
3.一种用于对残差编码信息进行编码的编码部，其特征在于，所述编码部包括：
报头编码部，所述报头编码部被配置为编码
(i)在序列参数集中指定是否存在转换跳过语法要素的转换跳过依赖量化的标志，
(ii)在所述转换跳过依赖量化的标志的值等于一的情况下，指定是否使用转换跳过预测误差编码的禁止转换跳过预测误差量化的标志，以及
(iii)在所述转换跳过依赖量化的标志的值等于一的情况下，指定是否将变换应用于相关联的块的所述转换跳过语法要素；以及
TU编码部，所述TU解码部经配置对由通常的预测误差的编码所编码的转换系数数据进行编码，所述通常的预测误差的编码被用于生成指定变换块中的扫描次序中的最后有效系数的位置的语法要素，或对转换跳过预测误差编码进行编码，所述转换跳过预测误差编码为未变换的编码，
其中：
所述TU编码部经配置以在所述转换跳过语法要素的值等于零或所述禁止转换跳过预测误差量化的标志的值等于一的情况下使用所述通常的预测误差的编码，以及
否则，所述TU编码部经配置以使用所述转换跳过预测误差编码。
4.根据权利要求3所述的编码部，其特征在于，在所述禁止转换跳过预测误差量化的标志不存在的情况下，推断该禁止转换跳过预测误差量化的标志的值等于零。
5.一种用于对残差编码信息进行解码的方法，其特征在于，所述方法包括：
在序列参数集中对指定转换跳过语法要素是否存在的转换跳过依赖量化的标志进行解码，
在所述转换跳过依赖量化的标志的值等于一的情况下，对指定是否使用转换跳过预测误差编码的禁止转换跳过预测误差量化的标志进行解码，以及
在所述转换跳过依赖量化的标志的值等于一的情况下，对指定是否将变换应用于相关联的块的所述转换跳过语法要素进行解码；以及
对由通常的预测误差的编码所编码的转换系数数据进行解码，所述通常的预测误差的编码被用于生成指定变换块中的扫描次序中的最后有效系数的位置的语法要素，或对转换跳过预测误差编码进行解码，所述转换跳过预测误差编码为未变换的编码，
其中：
在所述转换跳过语法要素的值等于零或所述禁止转换跳过预测误差量化的标志的值等于一的情况下使用所述通常的预测误差的编码，以及
否则，使用所述转换跳过预测误差编码。
6.根据权利要求5所述的方法，其特征在于，在所述禁止转换跳过预测误差量化的标志不存在的情况下，推断所述禁止转换跳过预测误差量化的标志的值等于零。
7.一种用于对残差编码信息进行编码的方法，其特征在于，所述方法包括：
在序列参数集中对指定转换跳过语法要素是否存在的转换跳过依赖量化的标志进行编码，
在所述转换跳过依赖量化的标志的值等于一的情况下，对指定是否使用转换跳过预测误差编码的禁止转换跳过预测误差量化的标志进行编码，以及
在所述转换跳过依赖量化的标志的值等于一的情况下，对指定是否将变换应用于相关联的块的所述转换跳过语法要素进行编码；以及
对由通常的预测误差的编码所编码的转换系数数据进行编码，所述通常的预测误差的编码被用于生成指定变换块中的扫描次序中的最后有效系数的位置的语法要素，或对转换跳过预测误差编码进行编码，所述转换跳过预测误差编码为未变换的编码，
其中：
在所述转换跳过语法要素的值等于零或所述禁止转换跳过预测误差量化的标志的值等于一的情况下使用所述通常的预测误差的编码，以及
否则，使用所述转换跳过预测误差编码。
8.根据权利要求7所述的方法，其特征在于，在所述禁止转换跳过预测误差量化的标志不存在的情况下，推断所述禁止转换跳过预测误差量化的标志的值等于零。
CN202110190427.2A 2020-02-21 2021-02-18 图像解码装置及图像编码装置 Pending CN113301338A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-028529 2020-02-21
JP2020028529A JP7469904B2 (ja) 2020-02-21 2020-02-21 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法

Publications (1)

Publication Number Publication Date
CN113301338A true CN113301338A (zh) 2021-08-24

Family

ID=74666608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110190427.2A Pending CN113301338A (zh) 2020-02-21 2021-02-18 图像解码装置及图像编码装置

Country Status (5)

Country Link
US (4) US11336917B2 (zh)
EP (1) EP3869808A1 (zh)
JP (1) JP7469904B2 (zh)
CN (1) CN113301338A (zh)
TW (1) TW202133613A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116456108A (zh) * 2020-02-05 2023-07-18 Lg电子株式会社 图像解码方法、图像编码方法以及发送方法
KR20220146565A (ko) * 2020-02-25 2022-11-01 엘지전자 주식회사 영상 코딩 시스템에서 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
KR20220131331A (ko) * 2020-02-27 2022-09-27 엘지전자 주식회사 사인 데이터 하이딩 관련 영상 디코딩 방법 및 그 장치
AU2020201753B2 (en) * 2020-03-10 2022-09-08 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
US20210297685A1 (en) * 2020-03-20 2021-09-23 Qualcomm Incorporated Coefficient coding of transform skip blocks in video coding
US11638036B2 (en) * 2020-04-03 2023-04-25 Qualcomm Incorporated High-level constraints for transform skip blocks in video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130294524A1 (en) * 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
KR101709775B1 (ko) * 2013-07-23 2017-02-23 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
CA2935301C (en) * 2014-01-02 2019-10-01 Hfi Innovation Inc. Method and apparatus for intra prediction coding with boundary filtering control
US11223852B2 (en) * 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
KR20200092315A (ko) * 2017-11-24 2020-08-03 소니 주식회사 화상 처리 장치 및 방법
WO2019205998A1 (en) * 2018-04-24 2019-10-31 Mediatek Inc. Methods and apparatus of alternative transform skip mode for image and video coding

Also Published As

Publication number Publication date
TW202133613A (zh) 2021-09-01
JP2021136460A (ja) 2021-09-13
JP7469904B2 (ja) 2024-04-17
EP3869808A1 (en) 2021-08-25
US20220224942A1 (en) 2022-07-14
US20230254509A1 (en) 2023-08-10
US20210266598A1 (en) 2021-08-26
US11949914B2 (en) 2024-04-02
US11671626B2 (en) 2023-06-06
US11336917B2 (en) 2022-05-17
US20240171777A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
US11949914B2 (en) Image decoding apparatus and image coding apparatus
US11770559B2 (en) Image decoding apparatus and image coding apparatus for scaling transform coefficient
CN111698519B (zh) 图像解码装置以及图像编码装置
CN113196776B (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
WO2020241858A1 (ja) 画像復号装置
CN113273212A (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN112532976A (zh) 运动图像解码装置以及运动图像编码装置
JPWO2020241858A5 (zh)
CN113632475A (zh) 图像解码装置
WO2021246284A1 (ja) 動画像復号装置及び動画像符号化装置
JP2021150703A (ja) 画像復号装置及び画像符号化装置
JP2021158546A (ja) 画像復号装置及び画像符号化装置
JP2021034887A (ja) 画像復号装置及び画像符号化装置
CN113170169B (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
WO2022131243A1 (ja) 画像復号装置及び画像符号化装置
JP2022045909A (ja) 画像復号装置及び画像符号化装置
JP2021013110A (ja) 画像復号装置および画像符号化装置
JP2021061470A (ja) 画像復号装置及び画像符号化装置
JP2022178335A (ja) 画像復号装置及び画像符号化装置
JP2021016058A (ja) 画像復号装置及び画像符号化装置
JP2021048556A (ja) 画像復号装置及び画像符号化装置
JP2020195013A (ja) 画像復号装置および画像符号化装置
JP2020205483A (ja) 画像復号装置および画像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination