CN113892265A - 图像解码装置 - Google Patents

图像解码装置 Download PDF

Info

Publication number
CN113892265A
CN113892265A CN202080039017.1A CN202080039017A CN113892265A CN 113892265 A CN113892265 A CN 113892265A CN 202080039017 A CN202080039017 A CN 202080039017A CN 113892265 A CN113892265 A CN 113892265A
Authority
CN
China
Prior art keywords
transform
unit
conversion
mts
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080039017.1A
Other languages
English (en)
Inventor
猪饲知宏
桥本知典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN113892265A publication Critical patent/CN113892265A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的课题在于隐式MTS的性能在与二次变换组合的情况下成为损耗。本发明提供一种能更适当地应用由MTS实现的变换和二次变换的图像解码装置。图像解码装置包括：第二变换部，在二次变换为有效的情况下，对变换系数应用使用了变换矩阵的变换来对变换系数进行修正；第一变换部，对变换系数应用由垂直变换和水平变换构成的分离型变换；以及隐式变换设定部，在二次变换为有效，不利用帧内子分割模式，且不利用子块变换的情况下，将隐式变换设为关闭，在隐式变换为启用的情况下，根据对象TU的宽度导出水平变换类型，根据对象TU的高度导出垂直变换类型，第一变换部进行与垂直变换类型相应的变换和与水平变换类型相应的变换。

Description

图像解码装置
技术领域
本发明的实施方式涉及图像解码装置以及图像编码装置。
背景技术
为了高效地传输或记录图像，使用通过对图像进行编码而生成编码数据的图像编码装置以及通过对该编码数据进行解码而生成解码图像的图像解码装置。
作为具体的图像编码方式，例如可以列举出H.264/AVC、HEVC(High-EfficiencyVideoCoding：高效运动图像编码)等。
在这样的图像编码方式中，构成图像的图像(图片)通过分级结构来管理，并按每个CU进行编码/解码，所述分级结构包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU：Coding Tree Unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(Coding Unit：CU))以及通过分割编码单位而得到的变换单元(TU：Transform Unit)。
此外，在这样的图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测误差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可以列举出画面间预测(帧间预测)以及画面内预测(帧内预测)。
此外，作为近年来的图像编码和解码技术，可以列举出非专利文献1、非专利文献2。在非专利文献1中，公开了一种被称为多变换选择(Multiple Transform Selection：MTS)的技术，该技术根据编码数据中的显式的语法或者隐式的块尺寸来对变换矩阵进行切换。在非专利文献2中，公开了一种图像编码装置，该图像编码装置按每个变换单元，通过RST(Reduced Secondary Transform：简化的二次变换)变换即二次变换对预测误差的变换后的各系数进行变换来导出变换系数。此外，在非专利文献2中，公开了一种图像解码装置，该图像解码装置按每个变换单元，通过二次变换对变换系数进行逆变换。
现有技术文献
非专利文献
非专利文献1：“Versatile Video Coding(Draft 5)”，JVET-N1001-v6，JointVideo Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG11，2019-05-23
非专利文献2：“CE12：Mapping functions(test CE12-1 and CE12-2)”，JVET-M0427-v2，Joint Video Experts Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting：Marrakech，MA，9-18 Jan.2019
发明内容
发明要解决的问题
在如非专利文献1那样的二次变换和与二次变换相关的技术中，存在如下问题：组合了二次变换和由MTS实现的变换的情况的性能不够。特别是，存在如下问题：隐式MTS的性能在与二次变换组合的情况下成为损耗。
本发明的目的在于提供一种能更适当地应用由MTS实现的变换和二次变换的图像解码装置及其关联技术。
技术方案
本发明的一个方案的运动图像解码装置是一种按每个变换单元对变换系数进行变换的图像解码装置，其特征在于，包括：第二变换部，在二次变换为有效的情况下，对所述变换系数应用使用了变换矩阵的变换，对所述变换系数进行修正；第一变换部，对所述变换系数应用由垂直变换和水平变换构成的分离型变换；以及隐式变换设定部，在所述二次变换为有效，不利用帧内子分割模式且不利用子块变换的情况下，将隐式变换设为关闭，在所述隐式变换为启用的情况下，根据对象TU的宽度导出水平变换类型，根据对象TU的高度导出垂直变换类型，所述第一变换部进行与所述垂直变换类型相应的变换和与所述水平变换类型相应的变换。
附图说明
图1是表示本实施方式的图像传输系统的构成的概略图。
图2是表示搭载有本实施方式的运动图像编码装置的发送装置和搭载有运动图像解码装置的接收装置的构成的图。PROD_A表示搭载有运动图像编码装置的发送装置，PROD_B表示搭载有运动图像解码装置的接收装置。
图3是表示搭载有本实施方式的运动图像编码装置的记录装置和搭载有运动图像解码装置的再现装置的构成的图。PROD_C表示搭载有运动图像编码装置的记录装置，PROD_D表示搭载有运动图像解码装置的再现装置。
图4是表示编码流的数据的分级结构的图。
图5是表示CTU的分割例的图。
图6是表示帧内预测模式的种类(模式编号)的概略图。
图7是表示运动图像解码装置的构成的概略图。
图8是对运动图像解码装置的概略动作进行说明的流程图。
图9是表示帧内预测参数解码部的构成的概略图。
图10是表示用于帧内预测的参照区域的图。
图11是表示帧内预测图像生成部的构成的图。
图12是表示逆量化/逆变换部的构成例的功能框图。
图13是对二次变换的变换范围进行说明的图。
图14是对使用帧内子分割模式(帧内子分割预测)的情况下的隐式MTS的动作进行说明的图。
图15是对使用子块变换的情况下的隐式MTS的动作进行说明的图。
图16是表示运动图像编码装置的构成的框图。
图17是表示帧内预测参数编码部的构成的概略图。
图18是对核变换部1521进行说明的框图。
图19是对二次变换和核变换进行说明的框图。
图20是对实施方式的MTS设定部15211的动作进行说明的流程图。
图21是对实施方式的MTS设定部15211的动作进行说明的流程图。
图22是对实施方式的MTS设定部15211的动作进行说明的流程图。
图23是表示TU解码部与逆变换部的关系的框图。
图24是表示二次变换的处理的流程图。
具体实施方式
〔实施方式1〕
以下，参照附图对本发明的实施方式进行说明。
图1是表示本实施方式的图像传输系统1的构成的概略图。
图像传输系统1是传输对编码对象图像进行编码而得到的编码流，对所传输的编码流进行解码并显示图像的系统。图像传输系统1构成为包括：运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及图像显示装置(图像显示装置)41。
运动图像编码装置11被输入图像T。
网络21将运动图像编码装置11生成的编码流Te传输至运动图像解码装置31。网络21是互联网(Internet)、广域网(WAN：Wide Area Network)、小型网络(LAN：Local AreaNetwork)或它们的组合。网络21不一定限定于双向的通信网，也可以是传输地上数字广播、卫星广播等广播波的单向的通信网。此外，网络21也可以用DVD(Digital Versatile Disc：数字通用光盘，注册商标)、BD(Blue-ray Disc：蓝光光盘，注册商标)等记录有编码流Te的存储介质代替。
运动图像解码装置31对网络21所传输的编码流Te分别进行解码，生成解码后的一个或多个解码图像Td。
图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像Td的全部或一部分。图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence：电致发光)显示器等显示设备。作为显示器的形式，可以列举出固定式、移动式、HMD等。此外，在运动图像解码装置31具有高处理能力的情况下，显示画质高的图像，在仅具有低处理能力的情况下，显示不需要高处理能力、高显示能力的图像。
<运算符>
以下对在本说明书中使用的运算符进行描述。
＞＞为向右位移，＜＜为向左位移，&为逐位AND，|为逐位OR，|＝为OR代入运算符，||表示逻辑和。
x？y：z是在x为真(0以外)的情况下取y，在x为假(0)的情况下取z的三项运算符。
Clip3(a，b，c)是将c截取到a以上b以下的值的函数，是在c＜a的情况下返回a、在c＞b的情况下返回b、在其他情况下返回c的函数(其中a＜＝b)。
abs(a)是返回a的绝对值的函数。
Int(a)是返回a的整数值的函数。
floor(a)是返回a以下的最大整数的函数。
ceil(a)是返回a以上的最小整数的函数。
a/d表示a除以d(舍去小数点以下)。
<编码流Te的构造>
在对本实施方式的运动图像编码装置11和运动图像解码装置31进行详细说明之前，对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流Te的数据结构进行说明。
图4表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列和构成序列的多个图片。图4中分别示出了表示既定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中包括的编码树单元、编码树单元中包括的编码单元的图。
(编码视频序列)
在编码视频序列中，规定有供运动图像解码装置31参照以便对处理对象的序列SEQ进行解码的数据的集合。如图4的编码视频序列所示，序列SEQ包括：视频参数集(VideoParameter Set)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(PictureParameter Set)、图片PICT以及补充增强信息SEI(Supplemental EnhancementInformation)。
视频参数集VPS在由多个层构成的图像中规定有多个图像共用的编码参数的集合以及图像中包括的多个层和与各层关联的编码参数的集合。
在序列参数集SPS中，规定有供运动图像解码装置31参照以便对对象序列进行解码的编码参数的集合。例如，规定有图片的宽度、高度。需要说明的是，SPS可以存在多个。在该情况下，从PPS中选择多个SPS中的任一个。
在图片参数集PPS中，规定有供运动图像解码装置31参照以便对对象序列内的各图片进行解码的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)、指示加权预测的应用的标志(weighted_pred_flag)以及缩放列表(量化矩阵)。需要说明的是，PPS可以存在多个。在该情况下，从对象序列内的各图片中选择多个PPS中的任一个。
(编码图片)
在编码图片中，规定有供运动图像解码装置31参照以便对处理对象的图片PICT进行解码的数据的集合。如图4的编码图片所示，图片PICT包括切片0～切片NS-1(NS为图片PICT中包括的切片的总数)。
需要说明的是，以下，在无需对各切片0～切片NS-1进行区别的情况下，有时会省略代码的下标来进行记述。此外，对于以下说明的编码流Te中包括的数据、即标注有下标的其他数据而言也是同样的。
(编码切片)
在编码切片中，规定有供运动图像解码装置31参照以便对处理对象的切片S进行解码的数据的集合。如图4的编码切片所示，切片包括切片报头和切片数据。
切片报头中包括供运动图像解码装置31参照以便确定对象切片的解码方法的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片报头中包括的编码参数的一个示例。
作为可由切片类型指定信息指定的切片类型，可以列举出：(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测或帧内预测的P切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的B切片等。需要说明的是，帧间预测不限于单向预测、双向预测，也可以使用更多的参照图片来生成预测图像。以下，称为P、B切片的情况是指包括能使用帧间预测的块的切片。
需要说明的是，切片报头中也可以包括对图片参数集PPS的参照(pic_parameter_set_id)。
(编码切片数据)
在编码切片数据中，规定有供运动图像解码装置31参照以便对处理对象的切片数据进行解码的数据的集合。如图4的编码切片报头所示，切片数据包括CTU。CTU是构成切片的固定尺寸(例如64×64)的块，也称为最大编码单位(LCU：Largest Coding Unit)。
(编码树单元)
在图4的编码树单元中，规定有供运动图像解码装置31参照以便对处理对象的CTU进行解码的数据的集合。CTU通过递归的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(Binary Tree)分割)或三叉树分割(TT(Ternary Tree)分割)分割成作为编码处理的基本单位的编码单元CU。将BT分割和TT分割统称为多叉树分割(MT(Multi Tree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树以及三叉树的中间节点为编码节点，CTU本身也被规定为最上层的编码节点。
CT包括以下信息作为CT信息：表示是否进行QT分割的QT分割标志(cu_split_flag)、表示有无MT分割的MT分割标志(split_mt_flag)、表示MT分割的分割方向的MT分割方向(split_mt_dir)、表示MT分割的分割类型的MT分割类型(split_mt_type)。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type按每个编码节点进行传输。
在cu_split_flag为1的情况下，编码节点分割成4个编码节点(图5的QT)。
在cu_split_flag为0时，split_mt_flag为0的情况下，不分割编码节点，而保持1个CU作为节点(图5的无分割)。CU为编码节点的末端节点，且不进行进一步分割。CU为编码处理的基本单位。
在split_mt_flag为1的情况下如下所示地对编码节点进行MT分割。在split_mt_type为0时，split_mt_dir为1的情况下，将编码节点水平分割成2个编码节点(图5的BT(水平分割))，在split_mt_dir为0的情况下将编码节点垂直分割成2个编码节点(图5的BT(垂直分割))。此外，在split_mt_type为1时，split_mt_dir为1的情况下，将编码节点水平分割成3个编码节点(图5的TT(水平分割))，在split_mt_dir为0的情况下将编码节点垂直分割成3个编码节点(图5的TT(垂直分割))。将它们在图5的CT信息中示出。
此外，在CTU的尺寸为64×64像素的情况下，CU的尺寸可以取64×64像素、64×32像素、32×64像素、32×32像素、64×16像素、16×64像素、32×16像素、16×32像素、16×16像素、64×8像素、8×64像素、32×8像素、8×32像素、16×8像素、8×16像素、8×8像素、64×4像素、4×64像素、32×4像素、4×32像素、16×4像素、4×16像素、8×4像素、4×8像素以及4×4像素中的任一种。
(编码单元)
如图4的编码单元所示，规定有供运动图像解码装置31参照以便对处理对象的编码单元进行解码的数据的集合。具体而言，CU由CU报头CUH、预测参数、变换参数、量化变换系数等构成。在CU报头中规定有预测模式等。
预测处理存在以CU为单位进行的情况和以进一步分割CU而得到的子CU为单位进行的情况。在CU与子CU的尺寸相等的情况下，CU中的子CU为1个。在CU的尺寸大于子CU的尺寸的情况下，CU被分割成子CU。例如，在CU为8×8、子CU为4×4的情况下，CU被分割成由水平分割的两部分和垂直分割的两部分构成的4个子CU。
预测的种类(预测模式)存在帧内预测和帧间预测两种。帧内预测是同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。
变换/量化部处理以CU为单位来进行，但量化变换系数也可以以4×4等子块为单位来进行熵编码。
(预测参数)
预测图像由附加于块的预测参数导出。预测参数中存在帧内预测和帧间预测的预测参数。
以下，对帧内预测的预测参数进行说明。帧内预测参数由亮度预测模式IntraPredModeY和色差预测模式IntraPredModeC构成。图6是表示帧内预测模式的种类(模式编号)的概略图。如图6所示，帧内预测模式例如存在67种(0～66)。例如是平面预测(0)、DC预测(1)、Angular(角度)预测(2～66)。而且，可以在色差中追加LM模式(67～72)。
在用于导出帧内预测参数的语法要素中例如有intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_remainder等。
(MPM)
intra_luma_mpm_flag是表示对象块的IntraPredModeY与MPM(Most ProbableMode：最可能模式)是否一致的标志。MPM是MPM候选列表mpmCandList[]中包括的预测模式。MPM候选列表是储存有根据邻接块的帧内预测模式和规定的帧内预测模式估计应用于对象块的概率高的候选的列表。在intra_luma_mpm_flag为1的情况下，使用MPM候选列表和索引intra_luma_mpm_idx导出对象块的IntraPredModeY。
IntraPredModeY＝mpmCandList [intra_luma_mpm_idx]
(REM)
在intra_luma_mpm_flag为0的情况下，从在全部帧内预测模式中除去MPM候选列表中包括的帧内预测模式后剩余的模式RemIntraPredMode中选择帧内预测模式。作为RemIntraPredMode，可选择的帧内预测模式被称为“非MPM”或“REM”。使用intra_luma_mpm_remainder导出RemIntraPredMode。
(运动图像解码装置的构成)
对本实施方式的运动图像解码装置31(图7)的构成进行说明。
运动图像解码装置31构成为包括：熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆变换部311以及加法部312。需要说明的是，根据后文所述的运动图像编码装置11，也存在运动图像解码装置31中不包括环路滤波器305的构成。
参数解码部302还具备报头解码部3020、CT信息解码部3021以及CU解码部3022(预测模式解码部)，CU解码部3022具备TU解码部3024。也可以将它们统称为解码模块。报头解码部3020从编码数据解码VPS、SPS、PPS等参数集信息、切片报头(切片信息)。CT信息解码部3021从编码数据解码CT。CU解码部3022从编码数据解码CU。TU解码部3024在TU中包括预测误差的情况下，从编码数据解码QP更新信息(量化校正值)和量化预测误差(residual_coding)。
图23是表示TU解码部3024与逆变换部3112的关系的框图。TU解码部3024的stIdx解码部131从编码数据中解码表示有无二次变换的利用以及变换基底的值stIdx，并输出至二次变换部31121。TU解码部3024的mts_idx解码部132从编码数据中解码表示MTS的变换矩阵的值mts_idx，并输出至核变换部31123。具体而言，TU解码部3024在CU的宽度和高度为4以上，且预测模式为帧内模式，且CU内的变换系数的个数numSigCoeff大于规定的个数THSt(例如，在SINGLE_TREE中为2，除此以外为1)的情况下对stIdx进行解码。需要说明的是，在stIdx为0的情况下，不应用二次变换，在stIdx为1的情况下，表示二次变换矩阵的集合(对)中一方的变换，在stIdx为2的情况下，表示上述对中另一方的变换。此外，二次变换矩阵secTransMatrix不仅可以根据stIdx的值来选择，还可以根据帧内预测模式和变换的尺寸来选择。
此外，参数解码部302构成为包括未图示的帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。
此外，在下文中对将CTU、CU用作处理单位的示例进行了记载，但不限于此，也可以以子CU为单位进行处理。或者，也可以设为将CTU、CU替换为块，将子CU替换为子块，以块或者子块为单位进行的处理。
熵解码部301对从外部输入的编码流Te进行熵解码，分离各个代码(语法要素)并进行解码。熵编码中存在如下方式：使用根据语法要素的种类、周围的状况而适当选择出的上下文(概率模型)对语法要素进行可变长度编码的方式；以及使用预定的表或计算式对语法要素进行可变长度编码的方式。前者CABAC(Context Adaptive Binary ArithmeticCoding：上下文自适应二进制算术编码)将按每个编码或解码后的图片(切片)进行更新的概率模型储存于存储器。然后，作为P图片或B图片的上下文的初始状态，根据储存于存储器的概率模型，设定使用了相同的切片类型、相同的切片级别的量化参数的图片的概率模型。将该初始状态用于编码、解码处理。分离后的代码中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。
熵解码部301将分离后的代码输出至参数解码部302。分离后的代码例如是指预测模式predMode。基于参数解码部302的指示来进行对哪一个代码进行解码的控制。
(基本流程)
图8是对运动图像解码装置31的概略动作进行说明的流程图。
(S1100：参数集信息解码)报头解码部3020从编码数据解码VPS、SPS、PPS等参数集信息。
(S1200：切片信息解码)报头解码部3020从编码数据解码切片报头(切片信息)。
以下，运动图像解码装置31通过针对对象图片中包括的各CTU重复进行S1300至S5000的处理来导出各CTU的解码图像。
(S1300：CTU信息解码)CT信息解码部3021从编码数据解码CTU。
(S1400：CT信息解码)CT信息解码部3021从编码数据解码CT。
(S1500：CU解码)CU解码部3022实施S1510、S1520，从编码数据解码CU。
(S1510：CU信息解码)CU解码部3022从编码数据解码CU信息、预测信息、TU分割标志split_transform_flag、CU残差标志cbf_cb、cbf_cr、cbf_luma等。
(S1520：TU信息解码)TU解码部3024在TU中包括预测误差的情况下，从编码数据解码QP更新信息(量化校正值)和量化预测误差(residual_coding)。需要说明的是，QP更新信息是与作为量化参数QP的预测值的量化参数预测值qPpred的差分值。
(S2000：预测图像生成)预测图像生成部308针对对象CU中包括的各块，基于预测信息生成预测图像。
(S3000：逆量化/逆变换)逆量化/逆变换部311针对对象CU中包括的各TU，执行逆量化/逆变换处理。
(S4000：解码图像生成)加法部312通过将由预测图像生成部308提供的预测图像与由逆量化/逆变换部311提供的预测误差相加来生成对象CU的解码图像。
(S5000：环路滤波)环路滤波器305对解码图像施加去块滤波、SAO、ALF等环路滤波，生成解码图像。
此外，参数解码部302构成为包括未图示的帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括未图示的帧间预测图像生成部309和帧内预测图像生成部310。
(帧内预测参数解码部304的构成)
帧内预测参数解码部304基于从熵解码部301输入的代码，参照存储于预测参数存储器307的预测参数来对帧内预测参数进行解码，例如对帧内预测模式IntraPredMode进行解码。帧内预测参数解码部304将解码后的帧内预测参数输出至预测图像生成部308，再存储于预测参数存储器307。帧内预测参数解码部304也可以导出在亮度和色差上不同的帧内预测模式。
图9是表示参数解码部302的帧内预测参数解码部304的构成的概略图。如图9所示，帧内预测参数解码部304构成为包括：参数解码控制部3041、亮度帧内预测参数解码部3042以及色差帧内预测参数解码部3043。
参数解码控制部3041对熵解码部301指示语法要素的解码，从熵解码部301接收语法要素。在其中的intra_luma_mpm_flag为1的情况下，参数解码控制部3041向亮度帧内预测参数解码部3042内的MPM参数解码部30422输出intra luma_mpm_idx。此外，在intra_luma_mpm_flag为0的情况下，参数解码控制部3041向亮度帧内预测参数解码部3042的非MPM参数解码部30423输出intra_luma_mpm_remainder。此外，参数解码控制部3041向色差帧内预测参数解码部3043输出色差的帧内预测参数的语法要素。
亮度帧内预测参数解码部3042构成为包括：MPM候选列表导出部30421、MPM参数解码部30422以及非MPM参数解码部30423(解码部、导出部)。
MPM参数解码部30422参照由MPM候选列表导出部30421导出的mpmCandList[]和intra_luma_mpm_idx，来导出IntraPredModeY，输出至帧内预测图像生成部310。
非MPM参数解码部30423从mpmCandList[]和intra_luma_mpm_remainder导出RemIntraPredMode，将IntraPredModeY输出至帧内预测图像生成部310。
色差帧内预测参数解码部3043根据色差的帧内预测参数的语法要素导出IntraPredModeC，输出至帧内预测图像生成部310。
亮度帧内预测参数解码部3042还可以对指示是否进行通过将CU分割为更小的子块来进行帧内预测的帧内子分割的标志intra_subpartitions_mode_flag进行解码。在intra_subpartitions_mode_flag为0以外的情况下，进一步对intra_subpartitions_split_flag进行解码。通过以下公式，导出帧内子分割模式。
IntraSubPartSplitType＝(intra_subpartitions_mode_flag＝＝0)？0：1+intra_subpartitions_split_flag在IntraSubPartSplitType为0(ISP_NO_SPLIT)的情况下，不再分割CU而进行帧内预测。在IntraSubPartSplitType为1(ISP_HOR_SPLIT：水平分割)的情况下，在垂直方向上将CU从两个分割为四个子块，以子块为单位进行帧内预测和变换系数解码、逆量化/逆变换。在IntraSubPartSplitType为2(ISP_VER_SPLIT：垂直分割)的情况下，在水平方向上将CU从两个分割为四个子块，以子块为单位进行帧内预测和变换系数解码、逆量化/逆变换。子块的分割个数NumIntraSubPart通过以下公式导出。
NumIntraSubPart＝(cbWidth＝＝4&&cbHeight＝＝8)||(cbWidth＝＝8&&cbHeight＝＝4)？2：4
子块的宽度nW和高度nH、水平方向、垂直方向的分割个数numPartsX以及numPartY通过以下导出。
nW＝(IntraSubPartSplitType＝＝ISP_VER_SPLIT？)nTbW/NumIntraSubPart：nTbW
nH＝(IntraSubPartSplitType＝＝ISP_HOR_SPLIT？)nTbH/NumIntraSubPart：nTbH
numPartsX＝(IntraSubPartSplitType＝＝ISP_VER__SPLIT？)NumIntraSubPart：1
numPartsY＝(IntraSubPartSplitType＝＝ISP_HOR_SPLIT？)NumIntraSubPart：1
在此，nTbW、nTbH为CU(或者TU)的宽度和高度。
环路滤波器305是设于编码环路内的滤波器，是去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的CU的解码图像实施去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。
参照图片存储器306将加法部312所生成的CU的解码图像按每个对象图片和对象CU存储于预定的位置。
预测参数存储器307将预测参数按每个解码对象的CTU或CU存储于预定的位置。具体而言，预测参数存储器307存储由参数解码部302解码后的参数和由熵解码部301分离后的predMode等。
预测图像生成部308被输入predMode、预测参数等。此外，预测图像生成部308从参照图片存储器306中读出参照图片。预测图像生成部308在predMode所表示的预测模式下，使用预测参数和读出的参照图片(参照图片块)来生成块或子块的预测图像。在此，参照图片块是指参照图片上的像素的集合(通常为矩形，因此称为块)，是为了生成预测图像而参照的区域。
(帧内预测图像生成部310)
在predMode表示帧内预测模式的情况下，帧内预测图像生成部310使用从帧内预测参数解码部304输入的帧内预测参数和从参照图片存储器306中读出的参照像素来进行帧内预测。
具体而言，帧内预测图像生成部310从参照图片存储器306中读出对象图片上的距离对象块预定的范围的邻接块。预定的范围是在对象块的左、左上、上、右上的邻接块，根据帧内预测模式参照的区域不同。
帧内预测图像生成部310参照读出的解码像素值和IntraPredMode所表示的预测模式来生成对象块的预测图像。帧内预测图像生成部310将生成的块的预测图像输出至加法部312。
以下，对基于帧内预测模式的预测图像的生成进行说明。在Planar预测、DC预测、Angular预测中，将与预测对象块邻接(接近)的已解码的周边区域设定为参照区域R。然后，通过在特定的方向上外插将参照区域R上的像素来生成预测图像。例如，参照区域R可以设定为包括预测对象块的左和上(或者进一步左上、右上、左下)的L字型的区域(例如由图10的参照区域的例1的斜线的圆形标记的像素表示的区域)。
(预测图像生成部的详细内容)
接着，使用图11对帧内预测图像生成部310的构成的详细内容进行说明。帧内预测图像生成部310具备：预测对象块设定部3101、未滤波参照图像设定部3102(第一参照图像设定部)、已滤波参照图像设定部3103(第二参照图像设定部)、帧内预测部3104以及预测图像校正部3105(预测图像校正部、滤波器切换部、加权系数变更部)。
帧内预测部3104基于应用参照区域R上的各参照像素(未滤波参照图像)、参照像素滤波器(第一滤波器)生成的已滤波参照图像、帧内预测模式生成预测对象块的临时预测图像(校正前预测图像)，并输出至预测图像校正部3105。预测图像校正部3105根据帧内预测模式来修正临时预测图像，生成预测图像(已校正的预测图像)并输出。
以下，对帧内预测图像生成部310所具备的各部进行说明。
(预测对象块设定部3101)
预测对象块设定部3101将对象CU设定为预测对象块，输出与预测对象块有关的信息(预测对象块信息)。预测对象块信息中至少包括预测对象块的尺寸、位置、表示亮度或色差的索引。
(未滤波参照图像设定部3102)
未滤波参照图像设定部3102基于预测对象块的尺寸和位置将预测对象块的邻接周边区域设定为参照区域R。接着，对参照区域R内的各像素值(未滤波参照图像、边界像素)设置在参照图片存储器306上对应的位置的各解码像素值。图10的参照区域的例1中示出的与预测对象块上边邻接的解码像素的行r[x][-1]和与预测对象块左边邻接的解码像素的列r[-1][v]为未滤波参照图像。
(已滤波参照图像设定部3103)
已滤波参照图像设定部3103根据帧内预测模式对未滤波参照图像应用参照像素滤波器(第一滤波器)，导出参照区域R上的各位置(x，y)的已滤波参照图像s[x][y]。具体而言，对位置(x，y)和其周边的未滤波参照图像应用低通滤波器，导出已滤波参照图像(图10的参照区域的例2)。需要说明的是，不一定对全部帧内预测模式应用低通滤波器，也可以对一部分帧内预测模式应用低通滤波器。需要说明的是，将在已滤波参照图像设定部3103中对参照区域R上的未滤波参照图像应用的滤波器称为“参照像素滤波器(第一滤波器)”，与之相对，将在后述的预测图像校正部3105中对临时预测图像进行校正的滤波器称为“边界滤波器(第二滤波器)”。
(帧内预测部3104的构成)
帧内预测部3104基于帧内预测模式、未滤波参照图像以及已滤波参照像素值生成预测对象块的临时预测图像(临时预测像素值、校正前预测图像)，输出至预测图像校正部3105。帧内预测部3104的内部具备：Planar(平面)预测部31041、DC预测部31042、Angular(角度)预测部31043以及LM预测部31044。帧内预测部3104根据帧内预测模式来选择特定的预测部，输入未滤波参照图像、已滤波参照图像。帧内预测模式与对应的预测部的关系如下所示。
·Planar预测 ···Planar预测部31041
·DC预测 ···DC预测部31042
·Angular预测 ···Angular预测部31043
·LM预测 ···LM预测部31044
(Planar预测)
Planar预测部31041根据预测对象像素位置与参照像素位置的距离，对多个已滤波参照图像进行线性相加生成临时预测图像，输出至预测图像校正部3105。
(DC预测)
DC预测部31042导出相当于已滤波参照图像s[x][y]的平均值的DC预测值，输出将DC预测值作为像素值的临时预测图像q[x][y]。
(Angular预测)
Angular预测部31043使用帧内预测模式所指示的预测方向(参照方向)的已滤波参照图像s[x][y]生成临时预测图像q[x][y]，输出至预测图像校正部3105。
(LM预测)
LM预测部31044基于亮度的像素值来预测色差的像素值。具体而言，是基于解码后的亮度图像，使用线性模型来生成色差图像(Cb、Cr)的预测图像的方式。作为LM预测之一的CCLM(Cross-Component Linear Model prediction)预测是对一个块，使用用于根据亮度预测色差的线性模型的预测方式。
(预测图像校正部3105的构成)
预测图像校正部3105根据帧内预测模式对从帧内预测部3104输出的临时预测图像进行修正。具体而言，预测图像校正部3105针对临时预测图像的各像素，根据参照区域R与对象预测像素的距离，对未滤波参照图像和临时预测图像进行加权相加(加权平均)，由此导出对临时预测图像进行修正后的预测图像(已校正预测图像)Pred。需要说明的是，在部分帧内预测模式下，不通过预测图像校正部3105对临时预测图像进行校正，也可以直接将帧内预测部3104的输出作为预测图像。
(逆量化/逆变换部311)
逆量化/逆变换部311将从熵解码部301输入的量化变换系数qd[][]逆量化来求出变换系数d[][]。该量化变换系数qd[][]是在编码处理中对预测误差进行DCT(Discrete Cosine Transform，离散余弦变换)、DST(Discrete Sine Transform，离散正弦变换)等频率变换并量化而得到的系数。逆量化/逆变换部311对求出的变换系数进行逆DCT、逆DST等逆频率变换，计算预测误差。逆量化/逆变换部311将预测误差输出至加法部312。
以下，参照图12，对逆量化/逆变换部311的构成例进行说明。图12是表示逆量化/逆变换部311的构成例的功能框图。如图12所示，量化/逆变换部311具备逆量化部3111和变换部3112。逆量化部3111对在TU解码部3024中解码得到的量化变换系数qd[][]进行逆量化，导出变换系数d[][]。逆量化部3111将导出的变换系数d[][]输出至变换部3112。
变换部3112按每个变换单元TU来对接收到的变换系数d[][]进行逆变换，复原预测误差r[][]。变换部3112将复原后的预测误差r[][]输出至加法部312。
需要说明的是，在本说明书中，将图像编码装置中的差分图像变换成变换系数的处理称为正变换，将从图像解码装置中的变换系数变换成差分图像的处理称为变换，但也可以分别称为变换、逆变换。需要说明的是，正变换(变换)与变换(逆变换)在作为变换基底的变换矩阵的值以外的处理上没有差别。因此，在以后的说明中，关于变换部3112的中的变换处理，可以使用“逆变换”这一术语而不使用“变换”。
变换部3112具备二次变换部(第二变换部)31121和核变换部(第一变换部)31123。
TU解码部3024可以对通过将CU进一步分割为多个子块来仅对多个子块中的一个子块进行变换系数的解码、逆量化、逆变换的子块变换标志cu_sbt_flag进行解码。在cu_sbt_flag为1的情况下，还可以对指示是否分割为四个子块的标志cu_sbt_quad_flag进行解码。在cu_sbt_quad_flag为0的情况下，子块的个数为2。在cu_sbt_quad_flag为1的情况下，子块的个数为4。此外，对指示是水平分割还是垂直分割的cu_sbt_horizontal_flag进行解码。此外，对指示哪一个子块中包括变换系数的cu_sbt_pos_flag进行解码。
(缩放部31112)
缩放部31112对TU解码部解码后的变换系数使用系数单位的加权来进行缩放。
缩放部31112在变换跳过有效的情况(transform_skip＝＝1)下通过以下公式进行缩放。
r[x][y]＝d[x][y]＜＜tsShift
在此，tsShift＝5+((log2(nTbW)+log2(nTbH))/2)。
在除了上述以外的情况下，通过以下公式导出量化矩阵m[x][y]和缩放因子ls[x][y]。
ls[x][y]＝(m[x][y]*levelScale[(qP+1)％6])＜＜(qP/6)
或者可以通过以下公式导出。
ls[x][y]＝(m[x][y]*levelScale[qP％6])＜＜(qP/6)
在此，levelScale[]＝{40，45，51，57，64，72}。
需要说明的是，量化矩阵m[x][y]的值可以从编码数据解码，可以使用m[x][y]＝16作为均匀量化。
缩放部31112根据缩放因子ls[][]与解码后的变换系数TransCoeffLevel之积导出dnc[][]，并将其逆量化。
dnc[x][y]＝(TransCoeffLevel[xTbY][yTbY][cIdx][x][y]*ls[x][y]*rectNorm+bdOffset)＞＞bdShift
最后，缩放部31112对逆量化后的变换系数进行截取并导出d[x][y]。
d[x][y]＝Clip3(CoeffMin，CoeffMax，dnc[x][y])
d[x][y]被传输至核变换部31123或二次变换部31121。二次变换部(第二变换部)31121在逆量化后、核变换前对变换系数d[][]应用二次变换。
(二次变换和核变换)
二次变换部31121对从逆量化部3111接收到的变换系数d[][]的一部分或全部应用使用了变换矩阵的变换，由此复原修正变换系数(由第二变换部进行的变换后的变换系数)d[][]。二次变换部31121按每个变换单元TU对指定的单位的变换系数d[][]应用二次变换。二次变换仅在帧内CU中应用，变换基底参照帧内预测模式IntraPredMode来确定。在后文对变换基底的选择加以叙述。二次变换部31121将复原后的修正变换系数d[][]输出至核变换部31123。
核变换部31123获取变换系数d[][]或由二次变换部31121复原的修正变换系数d[][]，进行变换并导出预测误差r[][]。核变换部31123将预测误差r[][]输出至加法部312。
(二次变换)
在运动图像编码装置11中，对差分图像的核变换(DCT2和DST7等)后的变换系数进一步应用变换(正二次变换)，去除变换系数中残留的相关性，将能量集中在一部分变换系数。在图19中示出运动图像编码装置11的变换/量化部103中包括的正变换部1032和逆变换/逆量化部105中包括的逆变换部152。在运动图像解码装置3中，相反地，对解码后的TU的一部或全部区域的变换系数应用二次变换，对二次变换后的变换系数应用核变换(DCT2和DST7等)。
在二次变换中，根据TU的尺寸和帧内预测模式来进行以下的处理。以下，依次对二次变换的处理进行说明。图13是对二次变换进行说明的图。在图13中，对于8×8的TU而言，示出了以下处理：通过S2的处理，将4×4的区域的变换系数d[][]储存于nonZeroSize的一维数组u[]中，通过S3的处理，从一维数组u[]变换为一维数组v[]，最后，通过S4的处理，再次储存于d[][]。
图24是表示二次变换的处理的流程图。
(S1：变换尺寸和输入输出尺寸的设定)
二次变换部31121根据TU的尺寸(宽度nTbW、高度nTbH)，导出二次变换的尺寸(4×4或8×8)、输出的变换系数的个数(nStOutSize)、所应用的变换系数(输入的变换系数)的个数nonZeroSize以及应用二次变换的子块的个数(numStX、numStY)。用nStSize＝4，8来表示4×4、8×8的二次变换的尺寸。此外，也可以将4×4、8×8的二次变换的尺寸分别称为RST4×4、RST8×8。
二次变换部31121在TU为规定的尺寸以上的情况下，通过RST8×8的二次变换，输出48个变换系数。在除此以外的情况下，通过RST4×4的二次变换，输出16个变换系数。在TU为4×4的情况下，使用RST4×4从8个变换系数导出16个变换系数，在TU为8×8的情况下，使用RST8×8从8个变换系数导出48个变换系数。在除此以外的情况下，根据TU的尺寸从16个变换系数输出16或48个变换系数。
在nTbW和nTbH双方都为8以上的情况下，log2StSize＝3，nStOutSize＝48
在除了上述以外的情况下，log2StSize＝2，nStOutSize＝16
nStSize＝1＜＜log2StSize
在nTbW和nTbH双方都为4的情况或为8×8的情况下，nonZeroSize＝8
在除了上述以外的情况下，nonZeroSize＝16
numStX＝(nTbH＝＝4&&nTbW＞8)？2：1
numStY＝(nTbW＝＝4&&nTbH＞8)？2：1
(S2：重排成一维信号)
二次变换部31121将TU的一部分变换系数d[][]再次重排成一维数组u[]来进行处理。具体而言，在二次变换中，根据对象TU的二维变换系数d[][]，参照x＝0..nonZeroSize-1的变换系数来导出u[]。xC、yC为TU上的位置，根据表示扫描顺序的排列DiagScanOrder和子块中的变换系数的位置x来导出。
Figure BDA0003374230150000211
(S3：变换处理的应用)
二次变换部31121对长度为nonZeroSize的u[](向量F′)进行使用第一种变换基底(矩阵)T的变换，导出长度为nStOutSize的一维数组v′[](向量V′)来作为输出。
该变换在矩阵运算中可以通过以下公式表示。
V′＝T×F′
在此，将变换尺寸为4×4的情况(RST4×4)的变换基底称为第一种变换基底T1。将变换尺寸为8×8的情况(RST8×8)的变换基底称为第二种变换基底T2。T1为16×16(16行16列)矩阵，即变换导出16×1(16行1列)向量V′，即长度为16的一维数组v′[]来作为16×16矩阵T与16×1(16行1列)向量F′之积。T2为48×16(48行16列)矩阵，即变换导出48×1(48行1列、长度48)向量V′，即长度为48的一维数组v′[]来作为48×16矩阵T与16×1向量F′之积。
具体而言，二次变换部31121根据二次变换尺寸nStSize(nTrS)导出从帧内预测模式IntraPredMode导出的二次变换的集合编号(stTrSetId)、表示从编码数据解码的二次变换的变换基底的stIdx以及相应的变换矩阵secTranMatrix[][](变换基底T1或T2)。而且，二次变换部31121如以下公式所示进行变换矩阵与一维数组u[]的积和运算。
v′[i]＝Clip3(CoeffMin，CoeffMax，∑secTransMatrix[j][i]*u[j])
在此，∑为j＝0..nonZeroSize-1为止的和。此外，i针对0..nStSize-1进行处理。CoeffMin、CoeffMax表示变换系数的值的范围。
(S4：变换处理后的一维信号的二维配置)
二次变换部31121将变换后的一维数组的系数v′[]再次配置在TU内的指定的位置。
在处理S4中，二次变换部31121将通过上述的处理S3得到的长度为nStOutSize的系数v′[]配置在变换系数的排列d[][]的左上侧的区域。
二次变换部31121针对x＝0..nStSize-1、y＝0..nStSize-1进行以下的处理。具体而言，二次变换部31121在IntraPredMode＜＝34 or INTRA_LT_CCLM，INTRA_T_CCLM，orINTRA_L_CCLM的情况下，应用以下公式。
d[(xSbIdx＜＜log2StSize)+x][(ySbIdx＜＜log2StSize)+y]＝(y＜4)？v[x+(y＜＜log2StSize)]：((x＜4)？v[32+x+((y-4)＜＜2)]：
d[(xSbIdx＜＜log2StSize)+x][(ySbIdx＜＜log2StSize)+y])
在除此以外的情况下，二次变换部31121应用以下公式。
d[(xSbIdx＜＜log2StSize)+x][(ySbIdx＜＜log2StSize)+y]＝(y＜4)？v[y+(x＜＜log2StSize)]：((x＜4)？v[32+(y-4)+(x＜＜2)]：d[(xSbIdx＜＜log2StSize)+x][(ySbIdx＜＜log2StSize)+y])
(核变换部31123)
<核变换>
将能自适应地切换变换的方法并且通过显式的标志、索引以及预测模式等进行切换的变换称为变换(第一变换、核变换)。在核变换中使用的变换(核变换)是由垂直变换和水平变换构成的分离型变换。此外，也可以将在水平方向和垂直方向上分离二维信号的变换定义为第一变换。此外，在图像解码装置中，也可以将在第二变换(二次变换)后应用的变换定义为第一变换。核变换的变换基底(变换矩阵)为DCT2、DST7、DCT8。在核变换中，对垂直变换和水平变换分别独立地切换变换基底。需要说明的是，可选择的变换并不限于上述，也可以使用其他变换(变换基底)。需要说明的是，会将DCT2、DST7、DCT8、DST1以及DCT5分别表示为DCT-II、DST-VII、DCT-VIII、DST-I以及DCT-V。此外，作为显示地跳过核变换的模式，也可以存在变换跳过。
在核变换中存在显式MTS和隐式MTS。在为显式MTS的情况下，从编码数据解码mts_idx，切换变换矩阵。在为隐式MTS的情况下，根据帧内预测模式、块尺寸导出mts_idx。
需要说明的是，在本实施例中，记载了以CU单位或TU单位对mts_idx进行解码的示例，但解码(切换)的单位并不限于此。
mts_idx是用于选择核变换的变换基底的切换索引。mts_idx具有0，1，2，3，4中任一值，导出水平方向的变换类型trTypeHor和垂直方向的变换类型trTypeVer。
使用图18，对在上述说明的核变换进行具体说明。图18的核变换部1521是图12的核变换部31123、图19的核变换部1521的一个示例。图18的核变换部1521由下述构成：MTS设定部15211，根据多个变换基底设定所使用的变换的类别；系数变换处理部15212，使用导出后的变换，根据(修正)变换系数d[][]计算预测残差r[][]；以及矩阵变换处理部15213，进行实际的变换。在未实施二次变换的情况下，修正变换系数等于变换系数。在实施了二次变换的情况下，修正变换系数取与变换系数不同的值。MTS设定部15211由确定所使用的变换的索引mts_ids的导出方法的MTS设定部152111和隐式地导出mts_idx的隐式MTS设定部152112构成。
MTS设定部152111选择是进行显式MTS，还是进行隐式MTS，还是不进行MTS。
MTS设定部152111在显式MTS为有效的情况(sps_explicit_mts_flag为1的情况)下，使用显式MTS，在以后的处理中使用从编码数据解码的mts_idx。显式MTS是否有效的标志explicitMtsEnabled可以通过帧内模式和帧间模式单独设定。在该情况下，也可以是在预测模式PredMode为帧间模式(除了MODE_INTRA以外)且sps_explicit_mts_inter_enabled_flag为1的情况下，或者在PredMode为帧内模式(MODE_INTRA)且sps_explicit_mts_intra_enabled_flag为1的情况下，判定为显式MTS有效，从编码数据解码mts_idx。而且，也可以是在TU的宽度和高度这两方为32以下(nTbW＜＝32&&nTbH＜＝32)的情况下进行限定，解码mts_idx。(implicitMTS标志设定)
MTS设定部152111在MTS标志为有效(sps_mts_enabled_flag＝＝1)且显式MTS标志不表示有效的情况(explicitMtsEnabled＝＝0)下，将隐式MTS标志(implicitMtsEnabled)设为1。更具体而言，MTS设定部152111在满足以下的条件中的任一个的情况下，设为implicitMtsEnabled＝1，在除此以外的情况下设为implicitMtsEnabled＝0。
·帧内子分割为启用的情况(IntraSubPartSplitType！＝ISP_NO_SPLIT)
·CU子变换启用且TU小于规定的尺寸的情况(cu_sbt_flag＝＝1且Max(nTbW，nTbH)＜32)
·显式MTS为关闭的情况(sps_explicit_mts_intra_enabled_flag与sps_explicit_mts_ihter_enabled_flag双方都为0)且PredMode为MODE_1NTRA的情况
MTS设定部152111在除了上述以外的情况下设定为mts_idx＝0。
(显式MTS)
TU解码部3024在显式MTS表示有效的情况(sps_explicit_mts_flag为1的情况)下从编码数据解码mts_idx。
(显式MTS限制)
TU解码部3024可以根据二次变换是否有效，来限制由变换部选择的变换矩阵的范围(类别)。例如，TU解码部3024在显式MTS有效且二次变换有效的情况(stIdx！＝0)的情况下，解码最大值cMaxSt1的mts_idx。除此以外，在二次变换并非有效的情况(stIdx＝＝0)的情况下，解码最大值cMaxSt0的mts_idx。在此设为cMaxSt0＞cMaxSt1。
(限制例1)
TU解码部3024在显式MTS有效且二次变换有效(stIdx！＝0)的情况下，设定mts_idx＝0(trTypeHor＝trTypeVer＝0＝DCT2)。此时，mts_idx的最大值cMax＝0。在除此以外的情况下，解码mts_idx＝0，1，2，3，4中的任一个。此时，mts_idx的最大值cMax＝4。如后文所述，mts_idx＝1，2，3，4分别作为trTypeHor、trTypeVer可以是DST7与DCT8的组合、DCT8与DST7的组合或者DCT8与DCT8的组合。需要说明的是，也可以代替DST7，进行DST1、进行DCT4或进行将DCT2与前后处理组合的变换。
(限制例2)
TU解码部3024在显式MTS有效且二次变换有效(stIdx！＝0)的情况下，解码mts_idx。mtx_idx为0(trTypeHor＝trTypeVer＝0＝DCT2)或1(trTypeHor＝trTypeVer＝1＝DST7)。此时，mts_idx的最大值cMax＝1。在除此以外的情况下，作为mts_idx解码0，1，2，3，4中的任一个。此时，mts_idx的最大值cMax＝4。需要说明的是，如后文所述，mts_idx＝2，3，4分别作为trTypeHor、trTypeVer，可以是DST7与DCT8的组合或者DCT8与DST7的组合、DCT8与DCT8的组合。
(限制例3)
TU解码部3024在显式MTS有效且二次变换启用的情况(stIdx！＝0)的情况下，作为mts_idx解码0，1，2中的任一个。此时，mts_idx的最大值cMax＝2。在除此以外的情况下，作为mts_idx解码0，1，2，3，4中的任一个。此时，mts_idx的最大值cMax＝4。
根据上述构成，在二次变换的情况下，能限定MTS的有效范围，因此实现了简化编码的效果。例如，在限制例2中，在为二次变换和效果重叠的DCT8的情况下不进行二次变换，因此实现了由mts_idx产生的开销减少，编码效率提高的效果。
<显式MTS的总结>
一种图像解码装置，具备按每个TU来对变换系数进行变换的变换部，变换部包括：第二变换部，在二次变换为有效的情况下，对输入的变换系数应用使用了变换矩阵的变换；以及第一变换部，针对变换系数，从两个以上的变换矩阵中选择由mtx_idx表示的一个变换矩阵来应用变换，解码mts_idx的TU解码部在二次变换为有效的情况(stIdx！＝0)下，解码第一范围的值作为mts_idx，在二次变换并非有效的情况(stIdx＝＝0)下，解码第二范围的值，第二范围包括第一范围。此外，TU解码部解码mts_idx。在此，mts_idx具有如下构成：在二次变换为有效的(stIdx！＝0)情况下，最大值为cMaxSt1，在二次变换并非有效的(stIdx＝＝0)情况下，最大值为cMaxSt0，cMaxSt1＜cMaxSt0。
(隐式MTS)
隐式MTS设定部152112在为隐式MTS的情况下进行以下的处理。
(SM001)隐式MTS设定部152112在利用帧内子分割模式的情况(IntraSubPartSplitType！＝ISP_NO_SPLIT)下，如图14所示，根据帧内预测模式IntraPredMode和TU尺寸设定0(DCT2)或1(DST7)中的任一个来作为变换类型tyTypeHor、tyTypeVer。
(SM002)隐式MTS设定部152112在除了上述以外且子块变换为启用(cu_sbt_flag＝＝1)的情况下，如图15所示，根据cu_sbt_horizontal_flag和cu_sbt_pos_flag设定1(DST7)或2(DCT8)中的任一个来作为tyTypeHor、tyTypeVer。
(SM003)隐式MTS设定部152112在除了上述以外的情况(默认隐式MTS)下，根据TU尺寸(宽度nTbW、高度nTbH)设定0(DCT2)或1(DST7)中的任一个来作为tyTypeHor、tyTypeVer。具体而言，如图21所示，在作为水平变换类型trTypeHor，宽度nTbW在规定的范围的情况(S1301)下，设定为1(DCT1)(S1302)，在除此以外的情况下设定为0(DCT2)(S1303)。同样地，在作为垂直变换类型trTypeVer，高度nTbH在规定的范围的情况(S1304)下，设为1(DCT1)(S1305)，在除此以外的情况下设为0(DCT2)(S1306)。
trTypeHor＝(nTbW＞＝4&&nTbW＜＝16&&nTbW＜＝nTbH)？1：0
trTypeVer＝(nTbH＞＝4&&nTbH＜＝16&&nTbH＜＝nTbW)？1：0
需要说明的是，规定的范围并不限于上述。例如也可以如下。
trTypeHor＝(nTbW＞＝4&&nTbW＜＝8&&nTbW＜＝nTbH)？1：0
trTypeVer＝(nTbH＞＝4&&nTbH＜＝8&&nTbH＜＝nTbW)？1：0
上述的默认隐式MTS是最普通的隐式MTS的模式。
(隐式MTS的实施方式1)
MTS设定部15211在二次变换为启用(stIdx！＝0)的情况下，不进行隐式MTS，而将implicitMtsEnabled设为0。具体而言，如图20所示，在上述的(implicitMTS标志设定)中，MTS设定部152111在满足以下的条件中的任一个且二次变换并非启用(stIdx！＝0以外)的情况(S1500)下，设为implicitMtsEnabled＝1(S1504)，在除此以外的情况下设为implicitMtsEnabled＝0(S1505)。
·(S1501)帧内子分割为启用的情况(IntraSubPartSplitType！＝ISP_NO_SPLIT)
·(S1502)CU子变换为启用且TU小于规定的尺寸的情况(cu_sbt_flag＝＝1且Max(nTbW，nTbH)＜32)
·(S1503)显式MTS为关闭(sps_explicit_mts_intra_enabled_flag与sps_explicit_mts_ihter_enabled_flag双方都为0)且PredMode为MODE_INTRA
需要说明的是，由用图20的虚线所示的框表示的S1501～S1503的判定也可以不同。例如，可以是不进行帧内子分割的判定的情况、不进行子块变换的情况，此外也可以追加其他的预测、变换的判定。
根据上述构成，即使在MTS为有效的情况下，在利用二次变换的情况(stIdx！＝0)下，也不利用隐式MTS。由此，在使用二次变换的情况下，通过使用DCT2作为，实现了提高编码效率的效果。
(隐式MTS的实施方式2)
MTS设定部152112在MTS标志为有效(sps_mts_enabled_flag＝＝1)且显式MTS标志不表示有效的情况(explicitMtsEnabled＝＝0)下，可以导出trTypHor＝trTypeVer＝0。例如，可以在上述的SM001之前进行SM000。
图21是对隐式MTS设定部152112的动作进行说明的图。
(SM000)隐式MTS设定部152112在stIdx！＝0的情况下，导出trTypeHor＝trTypeVer＝0。
需要说明的是，如图21的SM003所示，隐式MTS设定部152112可以通过在stIdx＝＝0的情况下已经进行了说明的默认隐式MTS的导出(SM003)，导出变换类型。此外，也可以通过SM001、SM002导出变换类型。
根据上述构成，在隐式MTS为有效且二次变换为有效的情况下，使用DCT2作为MTS，实现提高编码效率的效果。
(隐式MTS的实施方式3)
也可以是，隐式MTS设定部152112在二次变换为启用(stIdx！＝0)且既不利用由帧内子分割模式得到的MTS(SM001，IntraSubPartSplitType！＝ISP_NO_SPLIT)也不利用由子块变换得到的MTS(SM002，cu_sbt_flag＝＝1)的情况下，不利用隐式MTS(例如将implicitMtsEnabled设为0)。
此外，在二次变换为启用(stIdx！＝0)且既不利用由帧内子分割模式得到的MTS(SM001，IntraSubPartSplitType！＝ISP_NO_SPLIT)也不利用由子块变换得到的MTS(SM002，cu_sbt_flag＝＝1)的情况下，导出trTypeHor＝trTypeVer＝0。例如，如图22所示，也可以进行SM003′来代替上述的SM003。
(SM003′)隐式MTS设定部152112在除了上述以外的情况(默认隐式MTS)下，根据二次变换和TU尺寸(宽度nTbW、高度nTbH)设定0(DCT2)或1(DST7)中的任一个来作为tyTypeHor、tyTypeVer。例如，隐式MTS设定部152112在作为水平变换类型trTypeHor，stIdx＝＝0且宽度nTbW在规定的范围的情况(S1301′)下选择1(DCT1)(S1302)，在除此以外的情况下设定0(DCT2)(S1303)。同样地，在作为垂直变换类型trTypeVer，stIdx＝＝0且高度nTbH在规定的范围的情况(S1304′)下设定1(DCT1)(S1305)，在除此以外的情况下设定0(DCT2)(S1306)。
trTypeHor＝(stIdx＝＝0&&nTbW＞＝4&&nTbW＜＝16&&nTbW＜＝nTbH)？1：0
trTypeVer＝(stIdx＝＝0&&nTbH＞＝4&&nTbH＜＝16&&nTbH＜＝nTbW)？1：0
根据上述构成，在隐式MTS为有效且二次变换为有效的情况下，使用DCT2作为默认MTS，由此实现提高编码效率的效果。
MTS设定部15211通过下述公式导出所使用的变换集合的索引trType，并输出至系数变换处理部15212。系数变换处理部15212将输入的trType输出至变换矩阵导出部152131。MTS设定部152111通过下述公式导出表示使用的MTS的值。
在mts_idx＝＝0的情况下，trTypeHor＝0trTypeVer＝0
在mts_idx＝＝1的情况下，trTypeHor＝1trTypeVer＝1
在mts_idx＝＝2的情况下，trTypeHor＝2trTypeVer＝1
在mts_idx＝＝3的情况下，trTypeHor＝1trTypeVer＝2
在mts_idx＝＝4的情况下，trTypeHor＝2trTypeVer＝2
需要说明的是，与tyType(trTypeHor or trTypeVer)为0，1，2的情况对应的变换基底可以是DCT2、DST7、DCT8。
系数变换处理部15212由对修正变换系数d[][]实施垂直变换的垂直变换部152121和实施水平变换的水平变换部152123构成。
垂直变换部152121(系数变换处理部15212)进行以下的处理。
e[x][y]＝∑(transMatrix[y][j]×d[x][j])(j＝0..nTbS-1)
在此，transMatrix[][](＝transMatrixV[][])是由使用trTypeVer而导出的nTbS×nTbS的矩阵表示的变换基底。nTbS是TU的高度nTbH。在trType＝＝0的DCT2的4×4变换(nTbS＝4)的情况下，例如使用transMatrix＝{{29，55，74，84}{74，74，0，-74}{84，-29，-74，55}{55，-84，74，-29}}。符号∑是指，对j＝0..nTbS-1为止的下标j加上矩阵transMatrix[y][j]与变换系数d[x][j]之积的处理。就是说，e[x][y]通过对根据由作为d[x][y]的各列(column)的d[x][j](j＝0..nTbS-1)组成的向量x[j](j＝0..nTbS-1)与矩阵的要素transMatrix[y][j]之积得到的列进行排列而得到。
中间截取部152122通过对中间值e[][]进行截取来导出中间值g[][]，并传送至水平变换部152123。
g[x][y]＝Clip3(coeffMin，coeffMax，(e[x][y]+64)＞＞7)
上式的64、7是根据变换基底的比特深度确定的数值，在上式中将变换基底假定为7bit。此外，coeffMin、coeffMax是截取的最小值和最大值。
水平变换部152123(系数变换处理部15212)进行以下的处理。transMatrix[][](＝transMatrixH[][])是由使用trTypeHor而导出的nTbS×nTbS的矩阵表示的变换基底。nTbS是TU的宽度nTbW。水平变换部152123通过水平方向一维变换，将中间值g[x][y]变换为预测残差r[x][y]。
r[x][y]＝∑transMatrix[x][j]×g[j][y](j＝0..nTbS-1)
上述符号∑是指，对j＝0..nTbS-1为止的下标j加上矩阵transMatrix[x][j]与g[j][y]之积的处理。就是说，r[x][y]通过对根据作为g[x][y]的各行(row)的g[j][y](j＝0..nTbS-1)与矩阵transMatrix之积得到的行进行排列而得到。
预测残差r[][]从水平变换部152123传送至加法器312。
垂直变换部152121和水平变换部152123通过矩阵变换处理部15213进行变换。矩阵变换处理部15213由变换矩阵导出部152131和变换处理部152132构成。
变换矩阵导出部152131根据TU的长度(nTbW、nTbH)和核变换的索引tyType(trTypeHor、trTypeVer)导出变换矩阵transMatrix[][]。
矩阵变换处理部15213将使用导出后的变换矩阵transMatrix[][]输入的一维数组xx[j]变换为一维数组yy[i]，进行垂直变换和水平变换。在垂直变换中，将x列的变换系数d[x][j]作为一维变换系数xx[j]输入来进行变换。在水平变换中，将y行的中间系数g[j][y]作为xx[j]输入来进行变换。
yy[i]＝∑(transMatrix[i][j]×xx[j])(j＝0..nTbS-1)
<二次变换>
TU解码部3024在解码二次变换stIdx的情况下，可以根据mts_idx的值是否有效，来限制要解码的stIdx的值的范围。
(限制例1)
TU解码部3024在mts_idx为0的情况下，设定为要解码的stIdx的最大值cMax＝1，解码stIdx＝0～2。在除此以外的情况下，就是说，在mts_idx＝1，2，3，4的情况下，不从编码数据解码stIdx，而导出stIdx＝0。
(限制例2)
TU解码部3024在mts_idx为0...1的情况下，设定为要解码的stIdx的最大值cMax＝1，解码stIdx＝0～2。在除此以外的情况就是说，在mts_idx＝2，3，4的情况下，不从编码数据解码stIdx，而导出stIdx＝0。
(限制例3)
TU解码部3024在mts_idx为0，1，2的情况下，设定为要解码的stIdx的最大值cMax＝1，解码stIdx＝0～2。在除此以外的情况就是说，在mts_idx＝3，4的情况下，不从编码数据解码stIdx，而导出stIdx＝0。
根据上述构成，仅在通过MTS进行规定的范围的变换的情况下解码表示二次变换的类别的变量stIdx，所以能限定二次变换的有效范围，因此实现了简化编码的效果。此外，例如在限制例2中，在为二次变换和效果重叠的DCT8的情况下不进行二次变换，因此实现了由stIdx产生的开销减少，编码效率提高提高的效果。
加法部312按每个像素将从预测图像生成部308输入的块的预测图像与从逆量化/逆变换部311输入的预测误差相加，生成块的解码图像。加法部312将块的解码图像存储于参照图片存储器306，并向环路滤波器305输出。
(运动图像编码装置的构成)
接着，对本实施方式的运动图像编码装置11的构成进行说明。图16是表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括：预测图像生成部101、减法部102、变换/量化部103、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111以及熵编码部104。
预测图像生成部101按将每个图像T的各图片分割而成的区域即CU生成预测图像。预测图像生成部101进行与已说明的预测图像生成部308相同的动作，在此省略其说明。
减法部102从图像T的像素值中减去从预测图像生成部101输入的块的预测图像的像素值，生成预测误差。减法部102将预测误差输出至变换/量化部103。
变换/量化部103对从减法部102输入的预测误差，通过频率变换计算出变换系数，并通过量化导出量化变换系数。变换/量化部103将量化变换系数输出至熵编码部104和逆量化/逆变换部105。
如图19所示，变换/量化部103具备正核变换10321(第一变换部)和正二次变换部10322(第二变换部)。
在运动图像编码装置11中应用的正二次变换中，除了按处理S1、S4、S3、S2顺序相反地应用在运动图像解码装置31中应用的二次变换的处理S1-S4以外，进行大致相同的处理。
在处理S1中，除了二次变换的输入和输出分别为长度nStOutSize和nonZeroSize以外，正二次变换部10322进行与二次变换部31121同样的处理。
在处理S4中，正二次变换部10322从TU内的指定的位置的变换系数d[][]导出nStOutSize(或nStSize*nStSize)的一维数组v[]。
在处理S3中，正二次变换部10322从nStOutSize的一维数组v[](向量V)和变换矩阵T[][]中，通过以下的变换，得到nonZeroSize的一维数组u[](向量F)。
F＝trans(T)×V
在此，trans(T)为T的转置矩阵。二次变换部也可以通过以下的公式导出一维数组u[](向量F)。
F＝Tinv×V
在此，Tinv为T的逆矩阵。T由第一种变换基底T1和第二种变换基底T2构成。需要说明的是，也可以是，二次变换部针对T使用正交矩阵，由此将T的trans(T)设为Tinv。
需要说明的是，在实际的处理中，T为整数值的矩阵，因此并非T×Tinv＝I(单位矩阵)，而是单位矩阵的常数倍(T×Tinv＝K2×I，K2为常数)。在该情况下，也可以是，二次变换部使用逆矩阵的常数倍的矩阵作为Tinv，而关于转置矩阵则直接使用逆矩阵。
在处理S2中，正二次变换部10322将nonZeroSize的一维数组u[]重排为二维排列，导出变换系数d[][]。
Figure BDA0003374230150000331
逆量化/逆变换部105与运动图像解码装置31中的逆量化/逆变换部311(图15)相同，省略说明。计算出的预测误差输入至加法部106。
熵编码部104中，从变换/量化部103输入量化变换系数，从参数编码部111输入编码参数。编码参数例如为predMode。
熵编码部104对分割信息、预测参数、量化变换系数等进行熵编码生成编码流Te并输出。
参数编码部111具备：未图示的标头编码部1110、CT信息编码部1111、CU编码部1112(预测模式编码部)以及帧间预测参数编码部112和帧内预测参数编码部113。CU编码部1112还具备TU编码部1114。
以下，对各模块的概略动作进行说明。参数编码部111进行报头信息、分割信息、预测信息、量化变换系数等参数的编码处理。
CT信息编码部1111根据编码数据对QT、MT(BT、TT)分割信息等进行编码。
CU编码部1112对CU信息、预测信息、TU分割标志、CU残差标志等进行编码。
TU编码部1114在TU中包括预测误差的情况下，对QP更新信息(量化校正值)和量化预测误差(residual_coding)进行编码。
CT信息编码部1111、CU编码部1112将帧间预测参数、帧内预测参数(intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_remainder)、量化变换系数等语法要素提供至熵编码部104。
(帧内预测参数编码部113的构成)
帧内预测参数编码部113根据从编码参数确定部110输入的IntraPredMode，导出用于编码的形式(例如intra_luma_mpm_idx、intra_luma_mpm_remainder等)。帧内预测参数编码部113包括与由帧内预测参数解码部304导出帧内预测参数的构成部分相同的构成。
图17是表示参数编码部111的帧内预测参数编码部113的构成的概略图。帧内预测参数编码部113构成为包括：参数编码控制部1131、亮度帧内预测参数导出部1132以及色差帧内预测参数导出部1133。
从编码参数决定部110向参数编码控制部1131输入IntraPredModeY和IntraPredModeC。参数编码控制部1131参照MPM候选列表导出部30421的mpmCandList[]，来确定intra_luma_mpm_flag。然后，将intra_luma_mpm_flag和IntraPredModeY输出至亮度帧内预测参数导出部1132。此外，将IntraPredModeC输出至色差帧内预测参数导出部1133。
亮度帧内预测参数导出部1132构成为包括：MPM候选列表导出部30421(候选列表导出部)、MPM参数导出部11322(参数导出部)以及非MPM参数导出部11323(编码部、导出部)。
MPM候选列表导出部30421参照储存于预测参数存储器108的邻接块的帧内预测模式来导出mpmCandList[]。MPM参数导出部11322在intra_luma_mpm_flag为1的情况下，从IntraPredModeY和mpmCandList[]导出intra_luma_mpm_idx，并输出至熵编码部104。非MPM参数导出部11323在intra_luma_mpm_flag为0的情况下，从IntraPredModeY和mpmCandList[]导出RemIntraPredMode，并将intra_luma_mpm_remainder输出至熵编码部104。
色差帧内预测参数导出部1133从IntraPredModeY和IntraPredModeC导出intra_chroma_pred_mode并输出。
加法部106将从预测图像生成部101输入的块预测图像的像素值和从逆量化/逆变换部105输入的预测误差按每个像素相加来生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。
环路滤波器107对加法部106所生成的解码图像，实施去块滤波、SAO、ALF。需要说明的是，环路滤波器107不一定包括上述三种滤波器，例如也可以是仅包括去块滤波器的构成。
预测参数存储器108将编码参数确定部110所生成的预测参数按每个对象图片和CU存储于预定的位置。
参照图片存储器109将环路滤波器107所生成的解码图像按每个对象图片和CU每存储于预定的位置。
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述的QT、BT或TT分割信息、预测参数或与它们关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。
编码参数确定部110对多个集合的每一个集合计算出表示信息量的尺寸和编码误差的RD成本值。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此，熵编码部104将所选出的编码参数的集合作为编码流Te输出。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。
需要说明的是，可以通过计算机实现上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分，例如，熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及参数编码部111。在该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一个的计算机系统，采用包括OS、外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读取的记录介质”可以包括：像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的介质；像作为此情况下的服务器、客户端的计算机系统内部的易失性存储器那样在固定时间内保存程序的介质。此外，所述程序可以是用于实现上文所述的功能的一部分的程序，而且也可以是通过与已经记录于计算机系统中的程序的组合能够实现上文所述的功能的程序。
此外，也可以将上述的实施方式中的运动图像编码装置11、运动图像解码装置31的一部分或全部作为LSI(Large Scale Integration：大规模集成电路)等集成电路来实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。
以上，参照附图对该发明的一实施方式详细地进行了说明，但具体构成并不限于上述实施方式，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。
〔应用例〕
上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是，运动图像可以是通过摄像机等拍摄到的自然运动图像，也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。
首先，参照图2对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。
图2中示出了表示搭载有运动图像编码装置11的发送装置PROD_A的构成的框图。如图2所示，发送装置PROD_A具备：通过对运动图像进行编码而得到编码数据的编码部PROD_A1、通过利用编码部PROD_A1所得到的编码数据对载波进行调制而得到调制信号的调制部PROD_A2以及发送调制部PROD_A2所得到的调制信号的发送部PROD_A3。上述的运动图像编码装置11被用作该编码部PROD_A1。
作为输入至编码部PROD_A1的运动图像的供给源，发送装置PROD_A也可以进一步具备：拍摄运动图像的摄像机PROD_A4、记录运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及生成或加工图像的图像处理部A7。在图2中举例示出了发送装置PROD_A具备全部这些的构成，但也可以省略一部分。
需要说明的是，记录介质PROD_A5可以是记录有未被编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下，使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。
此外，在图2中示出了表示搭载有运动图像解码装置31的接收装置PROD_B的构成的框图。如图2所示，接收装置PROD_B具备：接收调制信号的接收部PROD_B1、通过对接收部PROD_B1所接收到的调制信号进行解调而得到编码数据的解调部PROD_B2以及通过对解调部PROD_B2所得到的编码数据进行解码而得到运动图像的解码部PROD_B3。上述的运动图像解码装置31被用作该解码部PROD_B3。
接收装置PROD_B作为解码部PROD_B3所输出的运动图像的供给目的地，也可以进一步具备显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。在图2中举例示出了接收装置PROD_B具备全部这些的构成，但也可以省略一部分。
需要说明的是，记录介质PROD_B5可以是用于记录未被编码的运动图像的介质，也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下，使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。
需要说明的是，传输调制信号的传输介质可以是无线的，也可以是有线的。此外，传输调制信号的传输方案可以是广播(在此，指发送目的地未预先确定的发送方案)，也可以是通信(在此，指发送目的地已预先确定的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信中的任一个来实现。
例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。
此外，使用互联网的VOD(Video On Demand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常，在LAN中使用无线或有线的任一种作为传输介质，在WAN中使用有线作为传输介质)。在此，个人计算机包括台式PC、膝上型PC以及平板型PC。此外，智能手机中也包括多功能便携电话终端。
需要说明的是，运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端发挥发送装置PROD_A和接收装置PROD_B这两方的功能。
接着，参照图3，对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的记录和再现的情况进行说明。
图3中示出了表示搭载有上述的运动图像编码装置11的记录装置PROD_C的构成的框图。如图3所示，记录装置PROD_C具备：通过对运动图像进行编码而得到编码数据的编码部PROD_C1和将编码部PROD_C1所得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述的运动图像编码装置11被用作该编码部PROD_C1。
需要说明的是，记录介质PROD_M可以是(1)如HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)等那样内置于记录装置PROD_C的类型的记录介质，也可以是(2)如SD存储卡、USB(Universal Serial Bus：通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质，还可以是(3)如DVD(Digital Versatile Disc：数字通用光盘、注册商标)、BD(Blu-ray Disc：蓝光光盘、注册商标)等那样装填至内置于记录装置PROD_C的驱动装置(未图示)的记录介质。
此外，作为输入至编码部PROD_C1的运动图像的供给源，记录装置PROD_C也可以进一步具备：拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。在图3中举例示出了记录装置PROD_C具备全部这些的构成，但也可以省略一部分。
需要说明的是，接收部PROD_C5可以接收未被编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。
作为这种记录装置PROD_C，例如可举出：DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下，输入端子PROD_C4或接收部PROD_C5为运动图像的主要的供给源)。此外，便携式摄像机(在该情况下，摄像机PROD_C3为运动图像的主要的供给源)、个人计算机(在该情况下，接收部PROD_C5或图像处理部C6为运动图像的主要的供给源)、智能手机(在该情况下，摄像机PROD_C3或接收部PROD_C5为运动图像的主要的供给源)等也是这种记录装置PROD_C的一个示例。
此外，在图3中示出了表示搭载有上述的运动图像解码装置31的再现装置PROD_D的构成的框图。如图3所示，再现装置PROD_D具备：读出已写入记录介质PROD_M的编码数据的读出部PROD_D1和通过对读出部PROD_D1所读出的编码数据进行解码而得到运动图像的解码部PROD_D2。上述的运动图像解码装置31被用作该解码部PROD_D2。
需要说明的是，记录介质PROD_M可以是(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质，也可以是(2)如SD存储卡、USB闪存等那样连接于再现装置PROD_D的类型的记录介质，也可以是(3)如DVD、BD等那样装填至内置于再现装置PROD_D的驱动装置(未图示)的记录介质。
此外，作为解码部PROD_D2所输出的运动图像的供给目的地，再现装置PROD_D也可以进一步具备：显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。在图3中举例示出了再现装置PROD_D具备全部这些的构成，但也可以省略一部分。
需要说明的是，发送部PROD_D5可以发送未被编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。
作为这种再现装置PROD_D，例如可以列举出DVD播放器、BD播放器、HDD播放器等(在该情况下，连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外，电视接收机(在该情况下，显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下，输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。
(硬件实现和软件实现)
此外，上述的运动图像解码装置31以及运动图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现，也可以利用CPU(CentralProcessing Unit：中央处理器)而以软件方式地实现。
在后者的情况下，上述各装置具备：执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory：只读存储器)、展开上述程序的RAM(Random AccessMemory：随机存取存储器)以及储存上述程序以及各种数据的存储器等存储装置(记录介质)等。然后，本发明的实施方案的目的在于通过以下方式也能达到：将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置，该计算机(或CPU、MPU)读出记录于记录介质的程序代码并执行。
作为上述记录介质，例如能使用：磁带、盒式磁带等带类；包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory：光盘只读存储器)/MO盘(Magneto-Optical disc：磁光盘)/MD(Mini Disc：迷你磁光盘)/DVD(Digital Versatile Disc：数字通用光盘，注册商标)/CD-R(CD Recordable：可记录光盘)/蓝光光盘(Blu-ray Disc：注册商标)等光盘的盘类；IC卡(包括存储卡)/光卡等卡类；掩膜ROM/EPROM(ErasableProgrammable Read-Only Memory：可擦可编程只读存储器)/EEPROM(ElectricallyErasableandProgrammableRead-OnlyMemory：电可擦可编程只读存储器)/闪存ROM等半导体存储器类；或者PLD(Programmable logic device：可编程逻辑器件)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等逻辑电路类等。
此外，也可以将上述各装置构成为能与通信网络连接，并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可，不被特别限定。例如，可利用互联网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network：局域网)、ISDN(IntegratedServices Digital Network：综合业务数字网)、VAN(Value-Added Network：增值网络)、CATV(Community Antenna television/Cable Television：共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也是为能传输程序代码的介质即可，不限定于特定的构成或种类。例如，无论在IEEE(Institute of Electrical and Electronic Engineers：电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line：非对称数字用户线路)线路等有线中，还是在如IrDA(InfraredData Association：红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate：高数据速率)、NFC(Near Field Communication：近场通讯)、DLNA(Digital Living Network Alliance：数字生活网络联盟，注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是，本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。
本发明的实施方式并不限定于上述的实施方式，能在权利要求所示的范围内进行各种变更。即，将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方式也包括在本发明的技术范围内。
产业上的可利用性
本发明的实施方式能优选地应用于对将图像数据编码而得到的编码数据进行解码的运动图像解码装置，以及生成将图像数据编码而得到的编码数据的运动图像编码装置。此外，能优选地应用于由运动图像编码装置生成并被运动图像解码装置参照的编码数据的数据结构。
(关联申请的相互参照)
本申请对2019年5月30日提出申请的日本专利申请：日本特愿2019-101179主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。
附图标记说明
31 运动图像解码装置
301 熵解码部
302 参数解码部
3020 报头解码部
303 帧间预测参数解码部
304 帧内预测参数解码部
308 预测图像生成部
309 帧间预测图像生成部
310 帧内预测图像生成部
311 逆量化/逆变换部
312 加法部
11 运动图像编码装置
101 预测图像生成部
102 减法部
103 变换/量化部
104 熵编码部
105 逆量化/逆变换部
107 环路滤波器
110 编码参数确定部
111 参数编码部
112 帧间预测参数编码部
113 帧内预测参数编码部
1110 报头编码部
1111 CT信息编码部
1112 CU编码部(预测模式编码部)
1114 TU编码部
3111 逆量化部
3112 逆变换部
31121 二次变换部
31112 缩放部
31123 核变换部
10322 正二次变换部
10323 正核变换部

Claims (6)

1.一种图像解码装置，按每个变换单元对变换系数进行变换，其特征在于，
所述图像解码装置包括：
第二变换部，所述第二变换部在二次变换为有效的情况下，对所述变换系数应用使用了变换矩阵的变换，对所述变换系数进行修正；
第一变换部，所述第一变换部对所述变换系数应用由垂直变换和水平变换构成的分离型变换；和
隐式变换设定部，所述隐式变换设定部在所述二次变换为有效，不利用帧内子分割模式，且不利用子块变换的情况下，将隐式变换设为关闭，在所述隐式变换为启用的情况下，根据对象TU的宽度导出水平变换类型，根据对象TU的高度导出垂直变换类型，
所述第一变换部进行与所述垂直变换类型相应的变换和与所述水平变换类型相应的变换。
2.根据权利要求1所述的图像解码装置，其特征在于，
所述第一变换部在所述二次变换并非有效的情况下，根据所述变换单元的尺寸导出表示变换矩阵的值。
3.根据权利要求2所述的图像解码装置，其特征在于，
所述第一变换部从两个以上的变换矩阵中选择由值mts_idx表示的变换矩阵来应用变换，在所述二次变换为有效的情况下，导出固定的值作为mts_idx，在除此以外的情况下，导出与变换单元的尺寸相应的值。
4.根据权利要求3所述的图像解码装置，其特征在于，
所述第一变换部在所述二次变换为有效的情况下，将表示是否进行隐式MTS的标志implicitMtsEnabled导出为0，在implicitMtsEnabled为0的情况下，对所述mts_idx导出固定的值。
5.根据权利要求3所述的图像解码装置，其特征在于，
所述第一变换部在所述二次变换为有效的情况下，设定规定的值作为表示所述第一变换的变换矩阵的标志。
6.根据权利要求3所述的图像解码装置，其特征在于，
所述第一变换部在所述变换单元的宽度在规定的值的范围且所述二次变换并非有效的情况下，将表示水平方向的变换矩阵的变量trTypeHor设为1，在除此以外的情况下，将trTypeHor设为0，在所述变换单元的高度在规定的值的范围且所述二次变换并非有效的情况下，将表示垂直方向的变换矩阵的变量trTypeVer设为1，在除此以外的情况下将trTypeVer设为0。
CN202080039017.1A 2019-05-30 2020-05-29 图像解码装置 Pending CN113892265A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019101179 2019-05-30
JP2019-101179 2019-05-30
PCT/JP2020/021432 WO2020241858A1 (ja) 2019-05-30 2020-05-29 画像復号装置

Publications (1)

Publication Number Publication Date
CN113892265A true CN113892265A (zh) 2022-01-04

Family

ID=73552590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080039017.1A Pending CN113892265A (zh) 2019-05-30 2020-05-29 图像解码装置

Country Status (5)

Country Link
US (1) US20220232255A1 (zh)
EP (1) EP3979642A4 (zh)
JP (1) JP7461347B2 (zh)
CN (1) CN113892265A (zh)
WO (1) WO2020241858A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112601084A (zh) * 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置
US11252410B2 (en) * 2019-06-11 2022-02-15 Tencent America LLC Method and apparatus for video coding
WO2023100970A1 (ja) * 2021-12-03 2023-06-08 シャープ株式会社 動画像復号装置および動画像符号化装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308622A (ja) * 1992-04-28 1993-11-19 Mitsubishi Electric Corp 画像符号化・復号化装置
US6266370B1 (en) * 1996-09-03 2001-07-24 Nippon Telegraph And Telephone Corporation Brightness-variation compensation method and coding/decoding apparatus for moving pictures
KR100281099B1 (ko) * 1997-07-30 2001-04-02 구자홍 동영상의부호화에따른블록화현상제거방법
US7239755B1 (en) * 1997-07-30 2007-07-03 Lg Electronics Inc. Method of reducing a blocking artifact when coding moving picture
US6295320B1 (en) * 1997-12-31 2001-09-25 Lg Electronics Inc. Inverse discrete cosine transforming system for digital television receiver
US6263021B1 (en) * 1998-09-18 2001-07-17 Sarnoff Corporation Treating non-zero quantized transform coefficients as zeros during video compression processing
AUPQ668500A0 (en) * 2000-04-04 2000-05-04 Canon Kabushiki Kaisha Accessing items of information
KR100561398B1 (ko) * 2003-06-10 2006-03-16 삼성전자주식회사 동화상 내 구획별로 휘도 변화를 검출하고 보상하는 장치 및 방법
KR100565308B1 (ko) * 2003-11-24 2006-03-30 엘지전자 주식회사 에스엔알 스케일러빌리티를 위한 동영상 부호화 및 복호화 장치
US20050281332A1 (en) * 2004-06-22 2005-12-22 Wai-Ming Lai Transform coefficient decoding
CN101057293B (zh) * 2004-11-08 2010-05-26 皇家飞利浦电子股份有限公司 从记录载体进行比特检测的方法和数据检测设备
US7720299B2 (en) * 2005-05-10 2010-05-18 The Aerospace Corporation Compressed data multiple description transmission and resolution conversion system
JP4856954B2 (ja) * 2005-06-08 2012-01-18 パナソニック株式会社 画像符号化装置
JP2009524101A (ja) * 2006-01-18 2009-06-25 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
US20080071846A1 (en) * 2006-09-14 2008-03-20 Texas Instruments Incorporated Processor Architecture for Programmable Digital Filters in a Multi-Standard Integrated Circuit
JP4806464B2 (ja) * 2007-03-29 2011-11-02 富士通株式会社 画像圧縮装置、画像圧縮方法、画像復元装置、及びプログラム
WO2008147125A1 (en) * 2007-05-29 2008-12-04 Lg Electronics Inc. A method and an apparatus for processing a video signal
KR101712915B1 (ko) * 2007-10-16 2017-03-07 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US20110116539A1 (en) * 2009-11-13 2011-05-19 Freescale Semiconductor, Inc. Method and apparatus for video decoding with reduced complexity inverse transform
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
WO2012070866A2 (ko) * 2010-11-24 2012-05-31 엘지전자 주식회사 스피치 시그널 부호화 방법 및 복호화 방법
JP5552092B2 (ja) * 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US9496886B2 (en) * 2011-06-16 2016-11-15 Spatial Digital Systems, Inc. System for processing data streams
AU2013206815A1 (en) * 2013-07-11 2015-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
CN107211146A (zh) * 2014-11-21 2017-09-26 Vid拓展公司 一维变换模式和系数扫描顺序
US10520916B1 (en) * 2015-06-01 2019-12-31 Richard A Gros & Associates, Inc. Control systems
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US9721582B1 (en) * 2016-02-03 2017-08-01 Google Inc. Globally optimized least-squares post-filtering for speech enhancement
US9998746B2 (en) * 2016-02-10 2018-06-12 Amazon Technologies, Inc. Video decoder memory optimization
CN113411580B (zh) * 2016-05-13 2024-01-30 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
WO2018119609A1 (zh) * 2016-12-26 2018-07-05 华为技术有限公司 一种基于模板匹配的编解码方法及装置
US10812797B2 (en) * 2018-02-05 2020-10-20 Tencent America LLC Method, apparatus and medium for decoding or encoding using a low-complexity transform
KR102030384B1 (ko) * 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
US20220232255A1 (en) 2022-07-21
WO2020241858A1 (ja) 2020-12-03
EP3979642A4 (en) 2023-04-05
JPWO2020241858A1 (zh) 2020-12-03
JP7461347B2 (ja) 2024-04-03
EP3979642A1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
JP7402016B2 (ja) 画像復号装置及び画像符号化装置
CN113196776B (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN113301338A (zh) 图像解码装置及图像编码装置
CN114375576A (zh) 用于视频编解码的缩放矩阵和信令通知
US11818363B2 (en) Video decoding apparatus and video coding apparatus
CN113892265A (zh) 图像解码装置
CN113273212A (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
JPWO2020241858A5 (zh)
CN113632475A (zh) 图像解码装置
JP2021034887A (ja) 画像復号装置及び画像符号化装置
JP2021150703A (ja) 画像復号装置及び画像符号化装置
JP2020202417A (ja) 画像復号装置及び画像符号化装置
JP7397586B2 (ja) 画像復号装置及び画像符号化装置
JP7425568B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
CN113170169B (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
JP7444570B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
WO2024009962A1 (ja) Ｃｃｌｍ予測部、動画像復号装置、および動画像符号化装置
WO2020045275A1 (ja) 画像復号装置および画像符号化装置
JP2021061470A (ja) 画像復号装置及び画像符号化装置
JP2020195012A (ja) 画像復号装置及び画像符号化装置
JP2021016058A (ja) 画像復号装置及び画像符号化装置
JP2021048556A (ja) 画像復号装置及び画像符号化装置
JP2020205483A (ja) 画像復号装置および画像符号化装置
JP2021013110A (ja) 画像復号装置および画像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination