CN112532976A - 运动图像解码装置以及运动图像编码装置 - Google Patents

运动图像解码装置以及运动图像编码装置 Download PDF

Info

Publication number
CN112532976A
CN112532976A CN202010979485.9A CN202010979485A CN112532976A CN 112532976 A CN112532976 A CN 112532976A CN 202010979485 A CN202010979485 A CN 202010979485A CN 112532976 A CN112532976 A CN 112532976A
Authority
CN
China
Prior art keywords
prediction
image
unit
size
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010979485.9A
Other languages
English (en)
Inventor
八杉将伸
佐佐木瑛一
猪饲知宏
青野友子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019169444A external-priority patent/JP7425568B2/ja
Priority claimed from JP2019171549A external-priority patent/JP7444570B2/ja
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN112532976A publication Critical patent/CN112532976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明在通过矩阵与参照图像之积生成中间预测图像，并对该中间预测图像进行插值而生成预测图像的预测部中，中间预测图像的导出处理是复杂的。本发明的运动图像解码装置的特征在于，具备：矩阵参照像素导出部，导出对邻接于对象块的上侧和左侧的图像进行下采样而得到的图像作为参照图像；权重矩阵导出部，根据帧内预测模式和对象块大小导出权重系数的矩阵；矩阵预测图像导出部，由上述参照图像的元素与上述权重系数的矩阵的元素之积导出预测图像；以及矩阵预测图像插值部，导出上述预测图像或对上述预测图像进行插值而得到的图像作为预测图像，上述权重矩阵导出部导出对象块大小的宽度以下且高度以下大小的矩阵。

Description

运动图像解码装置以及运动图像编码装置
技术领域
本发明的实施方式涉及一种运动图像解码装置以及运动图像编码装置。
背景技术
为了高效地传输或记录运动图像，使用通过对运动图像进行编码而生成编码数据的运动图像编码装置和通过对该编码数据进行解码而生成解码图像的运动图像解码装置。
作为具体的运动图像编码方式，例如可列举出在H.264/AVC、HEVC(High-Efficiency Video Coding：高效视频编码)中提出的方式等。
在这种运动图像编码方式中，构成运动图像的图像(图片：Picture)通过包括切片、编码树单元(CTU：Coding Tree Unit)、编码单位(有时也称为编码单元(Coding Unit：CU))以及变换单元(TU：Transform Unit)的分级结构进行管理，并按每个CU进行编码/解码，上述切片通过对图像进行分割而得到，上述编码树单元通过对切片进行分割而得到，上述编码单位通过对编码树单元进行分割而得到，上述变换单元通过对编码单位进行分割而得到。
此外，在这种运动图像编码方式中，通常基于通过对输入图像进行编码/解码而得到的局部解码图像来生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测误差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。
此外，作为近年来的运动图像编码以及解码技术可列举非专利文献1。在非专利文献2中，公开有通过从邻接图像导出的参照图像与权重矩阵的积和运算导出预测图像的矩阵帧内预测技术(Matrix-based Intra Prediction,MIP)。
现有技术文献
非专利文献
非专利文献1：“Versatile Video Coding(Draft 6)”,JVET-O2001-vE,JointVideo Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11
非专利文献2：“CE3：Affine linear weighted intra prediction(CE3-4.1,CE3-4.2)”,JVET-N0217-v1,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 andISO/IEC JTC 1/SC 29/WG 11
发明内容
发明要解决的问题
在非专利文献1、非专利文献2这种矩阵帧内预测中，根据多种块大小和帧内预测模式而保存不同的权重矩阵，因此存在保存权重矩阵的存储器大小较大这一问题。此外，存在用于生成预测图像的处理量巨大这一问题。
本发明的目的在于，在降低权重矩阵的存储器大小的同时进行优选的帧内预测以及削减处理量。
技术方案
为了解决上述问题，本发明的一个方案的运动图像解码装置的特征在于，具备：矩阵参照像素导出部，导出对邻接于对象块的上侧和左侧的图像进行下采样而得到的图像作为参照图像；权重矩阵导出部，根据帧内预测模式和对象块大小导出权重系数的矩阵；矩阵预测图像导出部，由上述参照图像的元素与上述权重系数的矩阵的元素之积导出预测图像；以及矩阵预测图像插值部，导出上述预测图像或对上述预测图像进行插值而得到的图像作为预测图像，上述权重矩阵导出部导出对象块大小的宽度以下且高度以下大小的矩阵。
上述运动图像解码装置的特征在于，上述权重矩阵导出部在对象块的一边为4的情况下导出4×4大小的矩阵。
上述运动图像解码装置的特征在于，上述权重矩阵导出部在对象块大小为4×16和16×4的情况下导出4×4大小的矩阵。
上述运动图像解码装置的特征在于，上述权重矩阵导出部导出大小为4×4的sizeId＝0、1的矩阵和大小为8×8的sizeId＝2的矩阵中的任一方，在对象块的一边为4的情况下导出sizeId＝1或2的矩阵。
此外，上述权重矩阵导出部也可以在对象块大小的宽度与高度之积为64以下的情况下导出4×4大小的矩阵。
上述运动图像解码装置的特征在于，上述矩阵预测图像导出部导出宽度与高度相等的正方形的中间预测图像predMip[][]。
一种运动图像编码装置，其特征在于，具备：矩阵参照像素导出部，导出对邻接于对象块的上侧和左侧的图像进行下采样而得到的图像作为参照图像；权重矩阵导出部，根据帧内预测模式和对象块大小导出权重系数的矩阵；矩阵预测图像导出部，由上述参照图像的元素与上述权重系数的矩阵的元素之积导出预测图像；以及矩阵预测图像插值部，导出上述预测图像或对上述预测图像进行插值而得到的图像作为预测图像，上述权重矩阵导出部导出对象块大小的宽度以下且高度以下大小的矩阵。
上述运动图像编码装置的特征在于，上述权重矩阵导出部在对象块的一边为4的情况下导出4×4大小的矩阵。
上述运动图像编码装置的特征在于，上述权重矩阵导出部在对象块大小为4×16和16×4的情况下导出4×4大小的矩阵。
上述运动图像编码装置的特征在于，上述权重矩阵导出部导出大小为4×4的sizeId＝0、1的矩阵和大小为8×8的sizeId＝2的矩阵中的任一方，在对象块的一边为4的情况下导出sizeId＝1或2的矩阵。
此外，上述权重矩阵导出部也可以在对象块大小的宽度与高度之积为64以下的情况下导出4×4大小的矩阵。
上述运动图像编码装置的特征在于，上述矩阵预测图像导出部导出宽度与高度相等的正方形的中间预测图像predMip[][]。
有益效果
根据本发明的一个方案，能在降低权重矩阵的存储器大小或削减处理量的同时进行优选的帧内预测。
附图说明
图1是表示本实施方式的图像传输系统的构成的概略图。
图2是表示搭载有本实施方式的运动图像编码装置的发送装置和搭载有运动图像解码装置的接收装置的构成的图。PROD_A表示搭载有运动图像编码装置的发送装置，PROD_B表示搭载有运动图像解码装置的接收装置。
图3是表示搭载有本实施方式的运动图像编码装置的记录装置和搭载有运动图像解码装置的再现装置的构成的图。PROD_C表示搭载有运动图像编码装置的记录装置，PROD_D表示搭载有运动图像解码装置的再现装置。
图4是表示编码流的数据的分级结构的图。
图5是表示CTU的分割例的图。
图6是表示帧内预测模式的种类(模式编号)的概略图。
图7是表示运动图像解码装置的构成的概略图。
图8是表示帧内预测参数解码部的构成的概略图。
图9是表示帧内预测中使用的参照区域的图。
图10是表示帧内预测图像生成部的构成的图。
图11是表示MIP处理的一个示例的图。
图12是表示MIP处理的一个示例的图。
图13是表示运动图像编码装置的构成的框图。
图14是表示帧内预测参数编码部的构成的概略图。
图15是表示MIP部的详情的图。
图16是表示本实施方式的MIP处理的图。
图17是表示通过MIP导出包括非正方形的predMip的情况下的预测图像生成的参数的图。
图18是表示本发明的一实施方式(MIP实施例1)的sizeId的导出方法的图。
图19是表示通过MIP导出正方形的predMip的情况下的预测图像生成的参数的图。
图20是表示本发明的一实施方式(MIP实施例2)的sizeId的导出方法的图。
图21是表示本发明的一实施方式(MIP实施例3)的sizeId的导出方法的图。
图22是表示本发明的一实施方式(MIP实施例4)的sizeId的导出方法的图。
具体实施方式
(第一实施方式)
以下，参照附图对本发明的实施方式进行说明。
图1是表示本实施方式的图像传输系统1的构成的概略图。
图像传输系统1是传输对编码对象图像进行编码而成的编码流并对所传输的编码流进行解码而显示图像的系统。图像传输系统1构成为包括：运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及运动图像显示装置(图像显示装置)41。
向运动图像编码装置11输入图像T。
网络21将运动图像编码装置11所生成的编码流Te传输至运动图像解码装置31。网络21为互联网(Internet)、广域网(WAN：Wide Area Network)、局域网(LAN：Local AreaNetwork)或这些的组合。网络21未必限定于双向通信网，也可以是传输地面数字广播、卫星广播等广播波的单向通信网。此外，网络21也可以由DVD(Digital Versatile Disc(数字通用光盘)：注册商标)、BD(Blue-ray Disc(蓝光光盘)：注册商标)等记录有编码流Te的存储介质代替。
运动图像解码装置31对网络21所传输的各编码流Te进行解码，生成解码后的一个或多个解码图像Td。
运动图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像Td中的全部或一部分。运动图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence：电致发光)显示器等显示设备。作为显示器的方案，可列举出固定型、移动型、HMD(Helmet Mounted Display：头盔显示器)等。此外，在运动图像解码装置31具有高处理能力的情况下显示画质高的图像，在仅具有较低的处理能力的情况下显示无需高处理能力、显示能力的图像。
<运算符>
以下记述在本说明书中使用的运算符。
>>为右位移，<<为左位移，&为逐位AND，|为逐位OR，|＝为OR代入运算符，||表示逻辑或。
x？y：z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。
Clip3(a,b,c)是将c限幅于a以上b以下的值的函数，是在c<a的情况下返回a、在c>b的情况下返回b、在其他情况下返回c的函数(其中，a<＝b)。
Clip1Y(c)是在Clip3(a,b,c)中设定为a＝0、b＝(1<<BitDepthY)-1的运算符。BitDepthY是亮度的位深度。
abs(a)是返回a的绝对值的函数。
Int(a)是返回a的整数值的函数。
floor(a)是返回a以下的最大整数的函数。
ceil(a)是返回a以上的最小整数的函数。
a/d表示a除以d(舍去小数点以下)。
min(a,b)表示返回a与b中较小的值的函数。
<编码流Te的结构>
在详细说明本实施方式的运动图像编码装置11和运动图像解码装置31之前，对由运动图像编码装置11生成并由运动图像解码装置31解码的编码流Te的数据结构进行说明。
图4是表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列和构成序列的多张图片。图4中表示分别表示规定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元的图。
(编码视频序列)
在编码视频序列中，规定有运动图像解码装置31所参照的数据的集合以用于对处理对象的序列SEQ进行解码。如图4的编码视频序列所示，序列SEQ包括：视频参数集(VideoParameter Set)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(PictureParameter Set)、图片PICT以及补充增强信息SEI(Supplemental EnhancementInformation)。
视频参数集VPS在由多层构成的运动图像中，规定有对多个运动图像通用的编码参数的集合和运动图像中所包括的多层和与各层关联的编码参数的集合。
在序列参数集SPS中，规定有运动图像解码装置31所参照的编码参数的集合以用于将对象序列解码。例如，规定了图片的宽度、高度。需要说明的是，SPS可以存在多个。在该情况下，从PPS中选择多个SPS中的任一个。
在图片参数集PPS中，规定有运动图像解码装置31所参照的编码参数的集合以用于将对象序列内的各图像解码。例如包括图片的解码中所使用的量化宽度的基准值(pic_init_qp_minus26)和指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是，PPS可以存在多个。在该情况下，从对象序列内的各图片中选择多个PPS中的任一个。
(编码图片)
在编码图片中，规定有运动图像解码装置31所参照的数据的集合以用于对处理对象的图片PICT进行解码。如图4的编码图片所示，图片PICT包括切片0～切片NS-1(NS为图片PICT中所包括的切片的总数)。
需要说明的是，以下，在无需区别各切片0～切片NS-1的的情况下，有时会省略编码下标来记述。此外，对于以下说明的编码流Te中所包括的且附有下标的其他数据也是同样的。
(编码切片)
在编码切片中，规定有运动图像解码装置31所参照的数据的集合以用于对处理对象的切片S进行解码。切片如图4的编码切片所示，包括切片报头和切片数据。
切片报头中包括运动图像解码装置31所参照的编码参数组以用于确定对象切片的解码方法。指定切片类型的切片类型指定信息(slice_type)是切片报头中所包括的编码参数的一个示例。
作为能够由切片类型指定信息指定的切片类型，可列举出：(1)在编码时仅使用帧内预测的I切片、(2)在编码时使用单向预测或帧内预测的P切片以及(3)在编码时使用单向预测、双向预测或帧内预测的B切片等。需要说明的是，帧间预测并不限定于单向预测、双向预测，也可以使用更多参照图片生成预测图像。以下，在称为P、B切片的情况下，是指包括能使用帧间预测的块的切片。
需要说明的是，切片报头也可以包括对图片参数集PPS的参照(pic_parameter_set_id)。
(切片编码数据)
在编码切片数据中，规定有运动图像解码装置31所参照的数据的集合以用于对处理对象的切片数据进行解码。如图4的编码切片报头所示，切片数据包括CTU。CTU为构成切片的固定大小(例如64×64)的块，有时也称为最大编码单位(LCU：Largest Coding Unit)。
(编码树单元)
在图4的编码树单元中，规定有运动图像解码装置31所参照的数据的集合以用于对处理对象的CTU进行解码。CTU通过递归的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(Binary Tree)分割)或三叉树分割(TT(Ternary Tree)分割)，分割为编码处理的基本单位即编码单元CU。将BT分割与TT分割并称为多叉树分割(MT(Multi Tree)分割)。将通过递归的四叉树分割得到的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树以及三叉树的中间节点为编码节点，CTU自身也被规定为最高位的编码节点。
CT包括表示是否进行QT分割的QT分割标志(cu_split_flag)、表示MT分割的有无的MT分割标志(split_mt_flag)、表示MT分割的分割方向的MT分割方向(split_mt_dir)以及表示MT分割的分割类型的MT分割类型(split_mt_type)作为CT信息。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type按每个编码节点进行传输。
在cu_split_flag为1的情况下，编码节点被分割为四个编码节点(图5的QT)。
当cu_split_flag为0时，在split_mt_flag为0的情况下，编码节点具有一个CU作为节点而不被分割(图5的未分割)。CU为编码节点的末端节点，不进行进一步分割。CU为编码处理的基本单位。
在split_mt_flag为1的情况下，编码节点以如下方式进行MT分割。当split_mt_type为0时，在split_mt_dir为1的情况下，编码节点被水平分割为两个编码节点(图5的BT(水平分割))，在split_mt_dir为0的情况下，编码节点被垂直分割为两个编码节点(图5的BT(垂直分割))。此外，当split_mt_type为1时，在split_mt_dir为1的情况下，编码节点被水平分割为三个编码节点(图5的TT(水平分割))，在split_mt_dir为0的情况下，编码节点被垂直分割为三个编码节点(图5的TT(垂直分割))。将该内容在图5的CT信息中示出。
此外，在CTU的大小为64×64像素的情况下，CU的大小可以取64×64像素、64×32像素、32×64像素、32×32像素、64×16像素、16×64像素、32×16像素、16×32像素、16×16像素、64×8像素、8×64像素、32×8像素、8×32像素、16×8像素、8×16像素、8×8像素、64×4像素、4×64像素、32×4像素、4×32像素、16×4像素、4×16像素、8×4像素、4×8像素以及4×4像素中的任一方。
(编码单元)
如图4的编码单元所示，规定有运动图像解码装置31所参照的数据的集合以用于对处理对象的编码单元进行解码。具体而言，CU由CU报头CUH、预测参数、变换参数、量化变换系数等构成。在CU报头中规定有预测模式等。
预测处理存在以CU为单位进行的情况和以进一步分割CU而成的子CU为单位进行的情况。在CU与子CU的大小相等的情况下，CU中的子CU为一个。在CU的大小大于子CU的大小的情况下，CU被分割为子CU。例如在CU为8×8，子CU为4×4的情况下，CU被分割为四个子块，包括水平分割的两部分和垂直分割的两部分。
预测种类(预测模式)有帧内预测和帧间预测两种。帧内预测为同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。
变换/量化处理以CU为单位进行，但量化变换系数也可以以4×4等子块为单位进行熵编码。
(预测参数)
预测图像由附带于块的预测参数导出。预测参数中有帧内预测和帧间预测的预测参数。
以下，对帧内预测的预测参数进行说明。帧内预测参数由亮度预测模式IntraPredModeY、色差预测模式IntraPredModeC构成。图6是表示帧内预测模式的种类(模式编号)的概略图。如图6所示，帧内预测模式例如存在67种(0～66)。例如为平面预测(0)、DC预测(1)、Angular预测(2～66)。进而，可以在色差中追加LM模式(67～72)。
用于导出帧内预测参数的语法元素中，例如有intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_remainder等。
(MPM)
intra_luma_mpm_flag是表示对象块IntraPredModeY与MPM(Most ProbableMode)是否一致的标志。MPM是MPM候选列表mpmCandList[]中所包括的预测模式。MPM候选列表是储存有根据邻接块的帧内预测模式和规定的帧内预测模式而推测为应用于对象块的概率高的候选的列表。在intra_luma_mpm_flag为1的情况下，使用MPM候选列表和索引intra_luma_mpm_idx导出对象块的IntraPredModeY。
IntraPredModeY＝mpmCandList[intra_luma_mpm_idx]
(REM)
在intra_luma_mpm_flag为0的情况下，从由所有帧内预测模式中除去MPM候选列表中所包括的帧内预测模式后剩余的模式RemIntraPredMode选择帧内预测模式。能够选择为RemIntraPredMode的帧内预测模式称为“非MPM”或“REM”。使用intra_luma_mpm_remainder导出RemIntraPredMode。
(运动图像编码装置的构成)
对本实施方式的运动图像解码装置31(图7)的构成进行说明。
运动图像解码装置31构成为包括：熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆变换部311以及加法部312。需要说明的是，也存在根据后文所述的运动图像编码装置11，在运动图像解码装置31中不包括环路滤波器305的构成。
此外，参数解码部302构成为包括未图示的帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。
此外，以下记述使用CTU、CU作为处理单位的示例，但并不限定于该示例，也可以子CU为单位进行处理。或者，也可以将CTU、CU替换为块，将子CU替换为子块，进行以块或子块为单位的处理。
熵解码部301对从外部输入的编码流Te进行熵解码，将各个编码(语法元素)分离来进行解码。熵编码中存在如下方式：使用根据语法元素种类或周围状况而自适应地选出的上下文(概率模型)来对语法元素进行可变长度编码的方式；以及使用预先规定的表或计算式对语法元素进行可变长度编码的方式。在前者的CABAC(Context Adaptive BinaryArithmetic Coding：上下文自适应二进制算术编码)中，将按编码或解码后的每个图片(切片)来更新的概率模型储存于存储器。然后，从存储器中储存的概率模型之中，设定使用相同切片类型、相同切片等级的量化参数的图片的概率模型作为P图片或B图片的上下文的初始状态。将该初始状态用于编码、解码处理。分离后的编码中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。
熵解码部301将分离后的编码输出至参数解码部302。基于参数解码部302的指示来控制对哪一编码进行解码。
(帧内预测参数编码部304的构成)
帧内预测参数解码部304基于从熵解码部301输入的编码，参照存储于预测参数存储器307的预测参数对帧内预测参数例如帧内预测模式IntraPredMode进行解码。帧内预测参数解码部304将解码后的帧内预测参数输出至预测图像生成部308，并存储于预测参数存储器307。帧内预测参数解码部304也可以导出亮度和色差不同的帧内预测模式。
图8是表示参数解码部302的帧内预测参数解码部304的构成的概略图。如图8所示，帧内预测参数解码部304构成为包括：参数解码控制部3041、亮度帧内预测参数解码部3042以及色差帧内预测参数解码部3043。
参数解码控制部3041指示熵解码部301进行语法元素的解码，并从熵解码部301接受语法元素。在其中的intra_luma_mpm_flag为1的情况下，参数解码控制部3041向亮度帧内预测参数解码部3042内的MPM参数解码部30422输出intra_luma_mpm_idx。此外，在intra_luma_mpm_flag为0的情况下，参数解码控制部3041向亮度帧内预测参数解码部3042的非MPM参数解码部30423输出intra_luma_mpm_remainder。此外，参数解码控制部3041向色差帧内预测参数解码部3043输出色差帧内预测参数的语法元素。
亮度帧内预测参数解码部3042构成为包括：MPM候选列表导出部30421、MPM参数解码部30422以及非MPM参数解码部30423(解码部、导出部)。
MPM参数解码部30422参照由MPM候选列表导出部30421导出的mpmCandList[]和intra_luma_mpm_idx，导出IntraPredModeY，并输出至帧内预测图像生成部310。
非MPM参数解码部30423由mpmCandList[]和intra_luma_mpm_remainder导出RemIntraPredMode，并将IntraPredModeY输出至帧内预测图像生成部310。
色差帧内预测参数解码部3043由色差帧内预测参数的语法元素导出IntraPredModeC，并输出至帧内预测图像生成部310。
环路滤波器305为设于编码环路内且去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的CU的解码图像实施去块滤波、采样自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。
参照图片存储器306将加法部312所生成的CU的解码图像存储于按每张对象图片和每个对象CU预先规定的位置。
预测参数存储器307将预测参数存储于按解码对象的每个CTU或每个CU预先规定的位置。具体而言，预测参数存储器307存储参数解码部302解码后的参数和熵解码部301分离出的预测模式predMode等。
向预测图像生成部308输入预测模式predMode、预测参数等。此外，预测图像生成部308从参照图片存储器306读出参照图片。预测图像生成部308以预测模式predMode所指示的预测模式，使用预测参数和所读出的参照图片(参照图片块)来生成块或子块的预测图像。在此，参照图片块是指参照图片上的像素的集合(由于通常为矩形，因此称为块)，是为了生成预测图像而参照的区域。
(帧内预测图像生成部310)
在预测模式predMode指示帧内预测模式的情况下，帧内预测图像生成部310使用从帧内预测参数解码部304输入的帧内预测参数和从参照图片存储器306读出的参照像素进行帧内预测。
具体而言，帧内预测图像生成部310从参照图片存储器306读出对象图片上的位于距离对象块预先规定的范围的邻接块。预先规定的范围是指对象块的左、左上、上、右上的邻接块，参照的区域根据帧内预测模式而不同。
帧内预测图像生成部310参照所读出的解码像素值和IntraPredMode所指示的预测模式，生成对象块的预测图像。帧内预测图像生成部310将所生成的块预测图像输出至加法部312。
以下，对基于帧内预测模式的预测图像的生成进行说明。在Planar预测、DC预测、Angular预测中，将与预测对象块邻接(接近)的解码完成的周边区域设定为参照区域R。然后，通过在特定方向外插参照区域R上的像素来生成预测图像。例如，参照区域R也可以设定为包括预测对象块的左和上(或进一步包括左上、右上、左下)的L字型区域(例如图9的参照区域的示例1的斜线圆形标记的像素所示的区域)。
(预测图像生成部的详情)
接着，使用图10对帧内预测图像生成部310的构成的详情进行说明。帧内预测图像生成部310具备：参照采样滤波器部3103(第二参照图像设定部)、预测部3104以及预测图像校正部3105(预测图像校正部、滤波器切换部、权重系数变更部)。
预测部3104基于参照区域R上的各参照像素(参照图像)、应用参照像素滤波器(第一滤波器)而生成的滤波完成参照图像、帧内预测模式，生成预测对象块的临时预测图像(校正前预测图像)，并输出至预测图像校正部3105。预测图像校正部3105根据帧内预测模式对临时预测图像进行校正，生成预测图像(校正完成预测图像)并输出。
以下，对帧内预测图像生成部310所具备的各部进行说明。
(参照采样滤波器部3103)
参照采样滤波器部3103参照参照图像来导出参照区域R上的各位置(x,y)的参照采样s[x][y]。此外，参照采样滤波器部3103根据帧内预测模式对参照采样s[x][y]应用参照像素滤波器(第一滤波器)，对参照区域R上的各位置(x,y)的参照采样s[x][y]进行更新(导出滤波完成参照图像s[x][y])。具体而言，对位置(x,y)与其周边的参照图像应用低通滤波器，导出滤波完成参照图像(图9的参照区域的示例2)。需要说明的是，并非必须对所有帧内预测模式应用低通滤波器，也可以对一部分帧内预测模式应用低通滤波器。需要说明的是，将在参照采样滤波器部3103中应用于参照区域R上的参照图像的滤波器称为“参照像素滤波器(第一滤波器)”，与之相对，将后文所述的在预测图像校正部3105中对临时预测图像进行校正的滤波器称为“位置依赖滤波器(第二滤波器)”。
(帧内预测部3104的构成)
帧内预测部3104基于帧内预测模式、参照图像、滤波完成参照像素值生成预测对象块的临时预测图像(临时预测像素值、校正前预测图像)，并输出至预测图像校正部3105。预测部3104在内部具备：Planar预测部31041、DC预测部31042、Angular预测部31043、LM预测部31044以及MIP部31045。预测部3104根据帧内预测模式来选择特定预测部，并输入参照图像、滤波完成参照图像。帧内预测模式与对应的预测部的关系如下所述。
·Planar预测···Planar预测部31041
·DC预测···DC预测部31042
·Angular预测···Angular预测部31043
·LM预测···LM预测部31044
·矩阵帧内预测···MIP部31045
(Planar预测)
Planar预测部31041根据预测对象像素位置与参照像素位置的距离，对参照采样s[x][y]进行线性相加来生成临时预测图像，并输出至预测图像校正部3105。
(DC预测)
DC预测部31042导出相当于参照采样s[x][y]的平均值的DC预测值，并输出将DC预测值作为像素值的临时预测图像q[x][y]。
(Angular预测)
Angular预测部31043使用帧内预测模式所指示的预测方向(参照方向)的参照采样s[x][y]生成临时预测图像q[x][y]，并输出至预测图像校正部3105。
(LM预测)
LM预测部31044基于亮度像素值来预测色差像素值。具体而言，是基于解码后的亮度图像，使用线性模型生成色差图像(Cb,Cr)的预测图像的方式。作为LM预测之一，存在CCLM(Cross-Component Linear Model prediction：跨组件线性模型预测)预测。CCLM预测是对一个块使用用于根据亮度预测色差的线性模型的预测方式。
(MIP实施例1)
以下，使用图11～图22对通过MIP部31045执行的MIP处理(Matrix-based intraprediction：矩阵帧内预测处理)的一个示例进行说明。MIP是通过从邻接图像导出的参照图像与权重矩阵的积和运算导出预测图像的技术。图中，对象块的宽度为nTbW、高度为nTbH。
(1)边界参照像素导出
MIP部利用下式导出与对象块大小有关的变量sizeId(图18)。
sizeId＝(nTbW<＝4&&nTbH<＝4)？0：(nTbW<＝8&&nTbH<＝8)？1：2(MIP-1)
如图18所示，在对象块大小(nTbWxnTbH)为4×4、8×8、16×16的情况下，sizeId分别为0、1、2。在为4×16、16×4的情况下，sizeId＝2。
接着，MIP部31045使用sizeId，导出使用MIP模式的个数numModes、下采样后的参照区域redT[]、redL[]的大小boundarySize、中间预测图像predMip[][]的宽度和高度predW、predH、权重矩阵mWeight[predC*predC][inSize]在预测过程中所得到的预测图像的一边的大小predC。
numModes＝(sizeId＝＝0)？35：(sizeId＝＝1)？19：11(MIP-2)
boundarySize＝(sizeId＝＝0)？2：4
predW＝(sizeId<＝1)？4：Min(nTbW,8)
predH＝(sizeId<＝1)？4：Min(nTbH,8)
predC＝(sizeId<＝1)？4：8
在图17中示出sizeId与这些变量的值的关系。
权重矩阵为正方形(predC*predC)，在sizeId＝0、sizeId＝1的情况下为4×4，在sizeId＝2的情况下为8×8。在权重矩阵的大小与中间预测图像的输出大小predW*predH不同的情况下(特别是predC>predWpredC>predH)，如后文所述间隔剔除权重矩阵来参照。例如，在本实施方式中，在输出大小为4×16、16×4的情况下，选择sizeId＝2所指示的大小(predC)为8的权重矩阵，因此分别产生predW＝4(<predC＝8)、predH＝4(<predC＝8)的情况。由于中间预测图像的大小(predW*predH)需要为对象块大小nTbW*nTbH以下，因此，在对象块大小较小的情况下，当选择更大的权重矩阵(predC*predC)时，需要使权重矩阵符合中间预测图像大小的处理。
此外，MIP部31045使用IntraPredMode导出转换处理用标志isTransposed。IntraPredMode例如是图6所示的帧内预测模式0～66。
isTransposed＝(IntraPredMode>(numModes/2))？1：0
此外，导出利用权重矩阵mWeight[predC*predC][inSize]进行的预测中使用的参照像素数inSize、转换后的中间预测图像predMip[][]的宽度和高度mipW、mipH。
inSize＝2*boundarySize-((sizeId＝＝2)？1：0)
mipW＝isTransposed？predH：predW
mipH＝isTransposed？predW：predH
MIP部31045的矩阵参照像素导出部，将与对象块上方邻接的块的像素值predSamples[x][-1](x＝0..nTbW-1)设置于第一参照区域refT[x](x＝0..nTbW-1)。此外，将与对象块左方邻接的块的像素值predSamples[-1][y](y＝0..nTbH-1)设置于第一参照区域refL[y](y＝0..nTbH-1)。接着，MIP部31045对第一参照区域refT[x]、refL[y]进行下采样导出第二参照区域redT[x](x＝0..boundarySize-1)、redL[y](y＝0..boundarySize-1)。在下采样中对refT[]、refL[]进行同样的处理，因此以下称为refS[i](i＝0..nTbX-1)、redS[i](i＝0..boundarySize-1)。
矩阵参照像素导出部对refT[]或代入refL[]的refS[]实施以下处理，导出redS[]。在将refT代入refS的情况下，nTbS＝nTbW，在将refL代入refS的情况下，nTbS＝nTbH。
Figure BDA0002687046340000171
在此，Σ为i＝0～i＝bDwn-1的总和。
接着，矩阵参照像素导出部将第二参照区域redL[]、redT[]结合并导出p[i](i＝0..2*boundarySize-1)。
Figure BDA0002687046340000172
Figure BDA0002687046340000181
bitDepthY为亮度的位深度，例如可以是10bit。
需要说明的是，在无法参照上述参照像素的情况下，与现有的帧内预测同样地使用能够利用的参照像素值。在无法参照所有参照像素的情况下，使用1<<(bitDepthY-1)作为像素值。isTransposed表示预测方向是否接近垂直预测，因此当根据isTransposed切换在p[]的前半部分储存redL还是储存redT时，能将mWeight[][]的图案减半。
(2)预测像素导出(矩阵运算)
MIP部31045在图11的STEP2预测像素导出(矩阵运算)中，通过针对p[]的矩阵运算导出predW*predH大小的中间预测图像predMip[][]。
MIP部31045的权重矩阵导出部参照sizeId和modeId从矩阵集中选择权重矩阵mWeight[predC*predC][inSize]。
首先，权重矩阵导出部使用IntraPredMode导出modeId。modeId为在MIP中使用的帧内预测模式。
modeId＝IntraPredMode-((isTransposed＝＝1)？(numModes/2)：0)
权重矩阵导出部在sizeId＝0的情况下，从储存权重矩阵的数组WeightS0[18][16][4]中参照modeId选择mWeight[16][4]。在sizeId＝1的情况下，从储存权重矩阵的数组WeightS1[10][16][8]中参照modeId选择mWeight[16][8]。在sizeId＝2的情况下，从储存权重矩阵的数组WeightS2[6][64][7]中参照modeId选择mWeight[64][7]。这些由下式表示。
Figure BDA0002687046340000193
接着，权重矩阵导出部参照sizeId和modeId，导出在(MIP-7)中使用的移位值sW和偏移系数fO。ShiftS0[18]、ShiftS1[10]、ShiftS2[6]为储存移位值的数组，OffsetS0[18]、OffsetS1[10]、OffsetS2[6]为储存偏移系数的数组。
Figure BDA0002687046340000191
MIP部31045的矩阵预测图像导出部对p[]进行(MIP-7)的积和运算，由此导出mipW*mipH的大小的predMip[][]。在此按predMip[][]所对应的每个位置来参照权重矩阵mWeight[][]的元素，导出中间预测图像。需要说明的是，在本实施例中，在sizeId＝2时，有时权重矩阵的大小predC大于predMip的大小mipW或mipH。因此，使用变量incW和incH间隔剔除权重矩阵来参照。
Figure BDA0002687046340000192
Figure BDA0002687046340000201
Σ为i＝0～i＝inSize-1的总和。
在isTransposed＝1时，向积和运算的输入p[]替换上方参照像素和左方参照像素的位置并储存，在将积和运算的输出predMip[][]输出至(3)之前进行转换。
Figure BDA0002687046340000202
(3)预测像素导出(线性插值)
在nTbW＝predW且nTbH＝predH的情况下，MIP部31045的矩阵预测图像插值部将predMip[][]复制至predsamples[][]。
for(x＝0；x<nTbW；x++)
for(y＝0；y<nTbH；y++)
predSamples[x][y]＝predMip[x][y]
在除此以外(nTbW>predW或nTbH>predH)的情况下，矩阵预测图像插值部在图11的STEP3(步骤3)预测像素导出(线性插值)的3-1中，将predMip[][]储存于nTbW*nTbH大小的预测图像predSamples[][]。在predW、predH与nTbW、nTbH不同的情况下，在3-2中对预测像素值进行插值。
(3-1)矩阵预测图像插值部将predMip[][]储存于predSamples[][]。就是说，在图12的插值前图像中，将predMip[][]储存于右上左下方向的阴影像素位置。
Figure BDA0002687046340000213
(3-2)在nTbH>nTbW的情况下，按水平方向、垂直方向的顺序使用邻接块的像素值对在(3-1)中未储存的像素进行补值，生成预测图像。
实施水平方向的插值，使用predSamples[xHor][yHor]和predSamples[xHor+upHor][yHor](图12中的水平插值后图像的阴影像素)导出“○”所指示的位置的像素值。
Figure BDA0002687046340000211
在水平方向的插值后，使用predSamples[xVer][yVer]和predSamples[xVer][yVer+upVer](图12中的垂直插值后图像的阴影像素)导出“○”所指示的位置的像素值。
Figure BDA0002687046340000212
Figure BDA0002687046340000221
在nTbH<＝nTbW的情况下，按垂直方向、水平方向的顺序使用邻接块的像素值进行插值，生成预测图像。垂直和水平插值处理与nTbH>nTbW的情况下相同。
(MIP实施例2)
在本实施例中，对与MIP实施例1相比不降低编码效率而又简化处理的示例进行说明。以下，以变更点为中心进行说明，因此未记述的部分为与MIP实施例1相同的处理。
图16表示参照对象块的宽度nTbW和高度bTbH以下大小的正方形的矩阵mWeight，导出相同大小的正方形的中间预测图像predMip的MIP部31045的构成。
在本实施例中，在sizeId＝2时设定为predW＝predH＝predC。随之变更sizeId的定义。以下，将predW、predH、predC记载为predSize。
(1)边界参照像素导出
MIP部利用下式导出与对象块大小有关的变量sizeId(图20)。
sizeId＝(nTbW<＝4&&nTbH<＝4)？0：((nTbW<＝4||nTbH<＝4)||(nTbW＝＝8&&nTbH＝＝8))？1：2(MIP-21)
例如，在对象块大小为4xN、Nx4(N>4)、8x8的情况下，sizeId为1。若为相同分类，则式(MIP-21)也可以使用其他表述。例如，如下所示。
sizeId＝(nTbW<＝4&&nTbH<＝4)？0：((nTbW<＝8&&nTbH<＝8)||nTbW<＝4||nTbH<＝4)？1：2(MIP-21)
作为其他示例，
也可以是sizeId＝(nTbW<＝4&&nTbH<＝4)？0：((nTbW＝＝8&&nTbH＝＝8)||nTbW<＝4||nTbH<＝4)？1：2(MIP-21)。此外，在输入块的最小大小为4×4的情况下，也可以将nTbW<＝4和nTbH<＝4分别替换为nTbW＝＝4和nTbH＝＝4。
进而，在限制应用MIP的块大小的情况下，MIP部也可以通过其他导出方法导出sizeId。例如，如图20所示，在仅对输入块大小的纵横比为4倍以下(Abs(Log2(nTbW)-Log2(nTbH))<＝2)的块应用MIP的情况下，也可以代替(MIP-21)如下所述地导出sizeId。
sizeId＝(nTbW<＝4&&nTbH<＝4)？0：(nTbW*nTbH<＝64)？1：2(MIP-21a)
或者也可以使用对数表述如下所述地导出。
sizeId＝(nTbW<＝4&&nTbH<＝4)？0：(Log2(nTbW)+Log2(nTbH)<＝6)？1：2(MIP-21b)
在限制应用MIP的块大小的情况下，使用(MIP-21a)、(MIP-21b)导出sizeId，因此有处理变简单的效果。
如图20所示，在本实施方式中，在4×16、16×4的情况下，选择sizeId＝1所指示的大小(predC)为4的矩阵，因此不会发生predW、predH小于矩阵大小predC(＝predSize)的情况。本实施方式的MIP部31045选择nTbW和bTbH以下大小的矩阵(predC＝predSize)，就是说满足以下式的矩阵。
predSize＝predC<＝min(nTbW,nTbH)
在本实施方式中，sizeId＝0、1的情况下的矩阵大小为4×4，sizeId＝2的情况下的矩阵大小为8×8，因此，MIP部31045选择“在nTbW和bTbH中的一方为4的情况下，sizeId＝0或sizeId＝1的矩阵”。这样的选择限制在后文所述的图21、图22中也相同。
就是说，MIP部31045所具备的权重矩阵导出部导出对象块大小的宽度以下且高度以下大小的矩阵。此外，权重矩阵导出部在对象块的一边为4的情况下导出4×4的大小的矩阵。此外，权重矩阵导出部在对象块的大小为4×16和16×4的情况下导出4×4的大小的矩阵。此外，权重矩阵导出部导出大小为4×4的sizeId＝0、1所指示的矩阵和大小为8×8的sizeId＝2所指示的矩阵中的任一方，在对象块的一边为4的情况下导出sizeId＝1或2的矩阵。
接着，MIP部31045使用sizeId导出MIP模式的个数numModes、下采样后的参照区域redT[]、redL[]的大小boundarySize、权重矩阵mWeight以及中间预测图像predMip[][]的宽度和高度predSize。
numModes＝(sizeId＝＝0)？35：(sizeId＝＝1)？19：11(MIP-22)
boundarySize＝(sizeId＝＝0)？2：4
predSize＝(sizeId<＝1)？4：8
在图19中示出sizeId与这些变量的值的关系。
isTransposed、inSize的导出与MIP实施例1相同。
第一参照区域refT[]、refL[]、第二参照区域redT[]、redL[]、predMip的导出所需的p[]、pTemp[]的导出也与MIP实施例1相同。
(2)预测像素导出(矩阵运算)
MIP部31045在图11的STEP2预测像素导出(矩阵运算)中，通过针对p[]的矩阵运算导出predSize*predSize大小的predMip[][]。
MIP部31045的权重矩阵导出部参照sizeId和modeId从矩阵的集合中选择权重矩阵mWeight[predSize*predSize][inSize]。
modeId、mWeight[][]的选择方法、移位值sW、偏移系数fO的导出方法与MIP实施例1相同。
MIP部31045的矩阵预测图像导出部通过对p[]进行(MIP-23)的积和运算，导出predSize*predSize大小的predMip[][]。在此，在本实施例的sizeId的分类中，mipW和mipH始终为predSize(predC)以上。因此，实施例1的incW和incH始终为1，省略计算过程。
Figure BDA0002687046340000241
Σ为i＝0～i＝inSize-1的总和。
Figure BDA0002687046340000242
Figure BDA0002687046340000251
(3)预测像素导出(线性插值)
在nTbW＝predSize且nTbH＝predSize的情况下，MIP部31045的矩阵预测图像插值部将predMip[][]复制至predsamples[][]。
for(x＝0；x<nTbW；x++)
for(y＝0；y<nTbH；y++)
predSamples[x][y]＝predMip[x][y]
在除此以外(nTbW>predSize或nTbH>predSize)的情况下，矩阵预测图像插值部在图11的STEP3预测像素导出(线性插值)中，将predSize*predSize的predMip[][]放大至nTbW*nTbH大小的预测图像predSamples[][]。在3-1中复制对应位置的像素，在3-2中通过插值导出不对应的位置的像素。
(3-1)矩阵预测图像插值部将predMip[][]储存于predSamples[][]的对应位置。就是说，在图12的插值前图像中，将predMip[][]储存于3-1的predSamples[][]的阴影像素位置。
Figure BDA0002687046340000252
(3-2)在nTbH>nTbW的情况下，在水平方向、垂直方向使用邻接块的像素值对在(3-1)中未储存的像素进行插值，生成预测图像。以下按水平方向、垂直方向的顺序进行插值，但也可以按垂直方向、水平方向的顺序进行插值。
实施水平方向的插值，使用predSamples[xHor][yHor]和predSamples[xHor+upHor][yHor](图12的水平插值后图像的阴影像素)导出“○”所指示的位置的像素值。
Figure BDA0002687046340000261
在水平方向的插值后，使用predSamples[xVer][yVer]和predSamples[xVer][yVer+upVer](图12的垂直插值后图像的阴影像素)导出“○”所指示的位置的像素值。
Figure BDA0002687046340000262
在nTbH<＝nTbW的情况下，按垂直方向、水平方向的顺序使用邻接块的像素值进行插值，生成预测图像。垂直和水平插值处理与nTbH>nTbW的情况下相同。
MIP实施例2的MIP部31045的特征在于，导出正方形(predW＝predH＝predSize)的中间预测图像predMip[][]。简化导出处理以使预测图像的地址计算变得容易。
MIP实施例2的MIP部31045通过选择对象块的宽度nTbW和高度nTbH以下的predSize，使利用sizeId选择的矩阵大小predC(＝predSize)与predW、predH相等，因此predMip导出中的矩阵元素的参照变得容易。
在MIP实施例2中，限制分类为sizeId＝2的预测图像的宽度和高度，由此能与MIP实施示例1相比大幅削减运算量。通过模拟确认出几乎不存在由这些变更所致的编码效率的降低。
(MIP实施例3)
在本实施例中，对与MIP实施例1相比不降低编码效率而又简化处理的其他示例进行说明。以下，以变更点为中心进行说明，未记述的部分为与MIP实施例2相同的处理。
本实施例中，在sizeId＝2时设定为predW＝predH＝predC。随之，变更sizeId的定义。以下，将predW、predH、predC记载为predSize。
(1)边界参照像素导出
MIP部利用下式导出与对象块大小有关的变量sizeId(图21上方的图)。
sizeId＝(nTbW<＝4&&nTbH<＝4)？0：(nTbW<＝4||nTbH<＝4)？1：2(MIP-28)
或者也可以用其他条件确定sizeId(图21下方的图)。
sizeId＝(nTbW<＝4&&nTbH<＝4)？0：(nTbW<＝8||nTbH<＝8)？1：2(MIP-29)
(2)预测像素导出(矩阵运算)
与MIP实施示例2相同。
(3)预测像素导出(线性插值)
与MIP实施例2相同。
如上所述，在MIP实施例3中，与MIP实施例2相比进一步简化sizeId的判定，由此，能与MIP实施例2相比进一步削减运算量。
需要说明的是，MIP实施例3也与MIP实施例2相同，导出正方形(predW＝predH＝predSize)的中间预测图像predMip[][]，选择对象块的宽度nTbW和高度nTbH以下的predSize，限制分类为sizeId＝2的预测图像的宽度和高度，因此发挥与MIP实施例2相同的效果。
(MIP实施例4)
在本实施例中，对与MIP实施例1相比削减权重矩阵的储存所需的存储器的其他示例进行说明。以下，以变更点为中心进行说明，未记述的部分为与MIP实施例2相同的处理。
在本实施例中，在sizeId＝2时设定为predW＝predH＝predC。随之，变更sizeId的定义。以下，将predW、predH、predC记载为predSize。
(1)边界参照像素导出
MIP部利用下式导出与对象块大小有关的变量sizeId。
sizeId＝(nTbW<＝4||nTbH<＝4)？0：1(MIP-30)
作为sizeId的值，在上述示例中设为0、1，但若如图22上方的图所示地设为：sizeId＝(nTbW<＝4||nTbH<＝4)？0：2(MIP-34)或者若如图22下方的图所示地设为：sizeId＝(nTbW<＝4||nTbH<＝4)？1：2(MIP-34)，则能将sizeId表示为0、2或1、2的组合。需要说明的是，也可以设为(nTbW<＝8||nTbH<＝8)来代替条件式(nTbW<＝4||nTbH<＝4)。
在式MIP-30的示例中，sizeId的值为0、1两种。因此，可以将MIP实施例2中的sizeId＝2的情况下的处理全部省略。例如，从第二参照区域redL[]、redT[]导出p[i](i＝0..2*boundarySize-1)仅为下式。
Figure BDA0002687046340000281
(2)预测像素导出(矩阵运算)
也可以设为与MIP实施例2相同，但由于不使用sizeId＝2，因此参照sizeId和modeId从矩阵集中选择权重矩阵mWeight[predSize*predSize][inSize]的处理省略sizeId＝2的情况，用下式表示。
Figure BDA0002687046340000282
Figure BDA0002687046340000292
同样，参照sizeId和modeId导出移位值sW和偏移系数fO的处理用下式表示。
Figure BDA0002687046340000291
(3)预测像素导出(线性插值)
与MIP实施例2相同。
如上所述，在MIP实施例3中，与MIP实施例2相比减少sizeId的种类，因此能与MIP实施例2相比削减权重矩阵的储存所需的存储器。
需要说明的是，MIP实施例3也可以与MIP实施例2相同，导出正方形(predW＝predH＝predSize)的中间预测图像predMip[][]，选择对象块大小nTbWxnTbH以下的矩阵(predSize)，限制分类为sizeId＝2的预测图像的宽度和高度，由此发挥与MIP实施例2相同的效果。
(预测图像校正部3105的构成)
预测图像校正部3105根据帧内预测模式，对从预测部3104输出的临时预测图像进行校正。具体而言，预测图像校正部3105根据参照区域R和对象预测像素的位置，针对临时预测图像的各像素导出依赖于位置的权重系数。然后，通过对参照采样s[][]和临时预测图像进行加权相加(加权平均)，导出对临时预测图像进行了校正的预测图像(校正完成预测图像)Pred[][]。需要说明的是，在一部分帧内预测模式中，也可以不利用预测图像校正部3105对临时预测图像进行校正而将预测部3104的输出直接作为预测图像。
逆量化/逆变换部311将从熵解码部301输入的量化变换系数逆量化求出变换系数。该量化变换系数是在编码处理中对预测误差进行DCT(Discrete Cosine Transform，离散余弦变换)、DST(Discrete Sine Transform，离散正弦变换)等频率变换并量化而得到的系数。逆量化/逆变换部311对求出的变换系数进行逆DCT、逆DST等逆频率变换，计算预测误差。逆量化/逆变换部311将预测误差输出至加法部312。
加法部312将从预测图像生成部308输入的块预测图像和从逆量化/逆变换部311输入的预测误差按每个像素相加，生成块解码图像。加法部312将块解码图像存储于参照图片存储器306，并输出至环路滤波器305。
(运动图像编码装置的构成)
接着，对本实施方式示例的运动图像编码装置11的构成进行说明。图13是表示本实施方式示例的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括：预测图像生成部101、减法部102、变换/量化部103、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图像存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111以及熵编码部104。
预测图像生成部101按分割图像T的各图片而得到的每个区域即每个CU生成预测图像。预测图像生成部101与已说明的预测图像生成部308相同地动作，在此省略其说明。
减法部102从图像T的像素值中减去从预测图像生成部101输入的块预测图像的像素值生成预测误差。减法部102将预测误差输出至变换/量化部103。
变换/量化部103对从减法部102输入的预测误差，通过频率变换计算变换系数，并通过量化导出量化变换系数。变换/量化部103将量化变换系数输出至熵编码部104和逆量化/逆变换部105。
逆量化/逆变换部105与运动图像解码装置31的逆量化/逆变换部311(图7)相同，在此省略其说明。计算出的预测误差被输出至加法部106。
从变换/量化部103向熵编码部104输入量化变换系数，并从参数编码部111向熵编码部104输入编码参数。熵编码部104对分割信息、预测参数、量化变换系数等进行熵编码生成编码流Te并输出。
参数编码部111具备：未图示的报头编码部1110、CT信息编码部1111、CU编码部1112(预测模式编码部)、帧间预测参数编码部112以及帧内预测参数编码部113。CU编码部1112还具备TU编码部1114。
(帧内预测参数编码部113的构成)
帧内预测参数编码部113根据从编码参数确定部110输入的IntraPredMode，导出用于编码的形式(例如intra_luma_mpm_idx、intra_luma_mpm_remmainder等)。帧内预测参数编码部113包括与帧内预测参数解码部304导出帧内预测参数的构成一部分相同的构成。
图14是表示参数编码部111的帧内预测参数编码部113的构成的概略图。帧内预测参数编码部113构成为包括：参数编码控制部1131、亮度帧内预测参数导出部1132以及色差帧内预测参数导出部1133。
从编码参数确定部110向参数编码控制部1131输入IntraPredModeY和IntraPredModeC。参数编码控制部1131参照MPM候选列表导出部30421的mpmCandList[]确定intra_luma_mpm_flag。然后，将intra_luma_mpm_flag和IntraPredModeY输出至亮度帧内预测参数导出部1132。此外，将IntraPredModeC输出至色差帧内预测参数导出部1133。
亮度帧内预测参数导出部1132构成为包括：MPM候选列表导出部30421(候选列表导出部)、MPM参数导出部11322以及非MPM参数导出部11323(编码部、导出部)。
MPM候选列表导出部30421参照预测参数存储器108中储存的邻接块的帧内预测模式导出mpmCandList[]。MPM参数导出部11322在intra_luma_mpm_flag为1的情况下，由IntraPredModeY和mpmCandList[]导出intra_luma_mpm_idx，并输出至熵编码部104。非MPM参数导出部11323在intra_luma_mpm_flag为0的情况下，由IntraPredModeY和mpmCandList[]导出RemIntraPredMode，并将intra_luma_mpm_remainder输出至熵编码部104。
色差帧内预测参数导出部1133由IntraPredModeY和IntraPredModeC导出intra_chroma_pred_mode并输出。
加法部106将从预测图像生成部101输入的块预测图像的像素值和从逆量化/逆变换部105输入的预测误差按每个像素相加，生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。
环路滤波器107对加法部106所生成的解码图像实施去块滤波、SAO、ALF。需要说明的是，环路滤波器107未必包括上述三种滤波器，例如也可以是仅有去块滤波器的构成。
预测参数存储器108将编码参数确定部110所生成的预测参数存储于按每个对象图片和按每个CU预先规定的位置。
参照图片存储器109将环路滤波器107所生成的解码图像存储于按每个对象图片和每个CU预先规定的位置。
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述QT、BT或TT分割信息、预测参数或与这些关联而生成的作为编码对象的参数。预测图像生成部101使用这些编码参数生成预测图像。
编码参数确定部110针对多个集合分别算出表示信息量的大小和编码误差的RD成本值。编码参数确定部110选择计算出的成本值最小的编码参数集。由此，熵编码部104将所选出的编码参数集作为编码流Te输出。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。
需要说明的是，也可以通过计算机实现上述实施方式的运动图像编码装置11、运动图像解码装置31中的一部分，例如熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及参数编码部111。在该情况下，可以通过将用于实现上述控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质中的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一方的计算机系统，采用包括OS和外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读记录介质”也可以包括：像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质；以及像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样在固定时间保存程序的记录介质。此外，上述程序可以是用于实现前述功能的一部分的程序，还可以是能够通过与已记录在计算机系统的程序进行组合来实现前述功能的程序。
此外，也可以将上述实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分或全部作为LSI(Large Scale Integration：大规模集成电路)等集成电路而实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下，也可以使用该技术的集成电路。
以上，参照附图对本发明的一实施方式进行了详细说明，但具体构成并不限定于上述实施方式，能够在不脱离本发明主旨的范围内进行各种设计变更等。
〔应用例〕
上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置来利用。需要说明的是，运动图像可以是通过摄像机等拍摄到的自然运动图像，也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。
首先，参照图2对能将上述运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。
在图2中示出表示搭载有运动图像编码装置11的发送装置PROD_A的构成的块图。如图2所示，发送装置PROD_A具备：编码部PROD_A1，通过对运动图像进行编码来获得编码数据；调制部PROD_A2，通过在编码部PROD_A1所获得的编码数据调制载波来获得调制信号；以及发送部PROD_A3，发送调制部PROD_A2所获得的调制信号。上述运动图像编码装置11被用作该编码部PROD_A1。
发送装置PROD_A也可以进一步具备作为输入至编码部PROD_A1的运动图像的供给源的拍摄运动图像的摄像机PROD_A4、记录有运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及生成或加工图像的图像处理部A7。图中示例出发送装置PROD_A具备全部这些的构成，但也可以省略一部分。
需要说明的是，记录介质PROD_A5可以是记录有未编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像。在后者的情况下，使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。
此外，在图2中示出表示搭载有运动图像解码装置31的接收装置PROD_B的构成的框图。如图2所示，接收装置PROD_B具备：接收部PROD_B1，接收调制信号；解调部PROD_B2，通过对接收部PROD_B1接收到的调制信号进行解调来获得编码数据；以及解码部PROD_B3，通过对解调部PROD_B2所获得的编码数据进行解码来获得运动图像。上述运动图像解码装置31被用作该解码部PROD_B3。
接收装置PROD_B也可以具备作为解码部PROD_B3所输出的运动图像的供给目的地的显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。在图2中，例示出接收装置PROD_B具备全部这些的构成，但也可以省略一部分。
需要说明的是，记录介质PROD_B5可以是用于记录未编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像。在后者的情况下，使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。
需要说明的是，传输调制信号的传输介质可以是无线的，也可以是有线的。此外，传输调制信号的传输方案可以是广播(在此是指发送目的地未预先确定的发送方案)，也可以是通信(在此是指发送目的地预先确定的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信中的任一个来实现。
例如，地面数字广播的广播站(广播设备等)/接收站(电视接收器等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收器等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。
此外，使用互联网的VOD(Video On Demand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收器、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常，在LAN中使用无线或有线中的任一方作为传输介质，在WAN中使用有线作为传输介质)。在此，个人计算机包括台式PC、膝上型PC以及平板型PC。此外，智能手机也包括多功能便携电话终端。
需要说明的是，运动图像共享服务的客户端除了具有对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端作为发送装置PROD_A和接收装置PROD_B这两者发挥功能。
接着，参照图3对能将上述运动图像编码装置11和运动图像解码装置31用于运动图像的记录和再现的情况进行说明。
在图3中示出表示搭载有上述运动图像编码装置11的记录装置PROD_C的构成的块图。如图3所示，记录装置PROD_C具备：编码部PROD_C1，通过对运动图像进行编码来获得编码数据；以及写入部PROD_C2，将编码部PROD_C1所获得的编码数据写入记录介质PROD_M。上述运动图像编码装置11被用作该编码部PROD_C1。
需要说明的是，记录介质PROD_M可以是(1)如HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)等那样内置于记录装置PROD_C的类型的记录介质，也可以是(2)如SD存储卡或USB(Universal Serial Bus：通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质者，还可以是(3)如DVD(Digital Versatile Disc：注册商标)或BD(Blu-ray Disc：注册商标)等那样装填至内置于记录装置PROD_C的驱动器装置(未图标)的记录介质。
此外，记录装置PROD_C也可以进一步具备作为输入至编码部PROD_C1的运动图像的供给源的拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。在图3中，例示出记录装置PROD_C具备全部这些的构成，但也可以省略一部分。
需要说明的是，接收部PROD_C5可以接收未编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。
作为这种记录装置PROD_C，例如可列举出：DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下，输入端子PROD_C4或接收部PROD_C5为运动图像的主要供给源)。此外，便携式摄像机(在该情况下，摄像机PROD_C3为运动图像的主要供给源)、个人计算机(在该情况下，接收部PROD_C5或图像处理部C6为运动图像的主要供给源)、智能手机(在该情况下，摄像机PROD_C3或接收部PROD_C5为运动图像的主要供给源)等也是这种记录装置PROD_C的一个示例。
此外，在图3中示出表示搭载有上述运动图像解码装置31的再现装置PROD_D的构成的框图。如图3所示，再现装置PROD_D具备：读出部PROD_D1，将写入记录介质PROD_M的编码数据读出；以及解码部PROD_D2，通过对读出部PROD_D1所读出的编码数据进行解码来获得运动图像。上述运动图像解码装置31被用作该解码部PROD_D2。
需要说明的是，记录介质PROD_M可以是(1)如HDD或SSD等这样内置于再现装置PROD_D的类型的记录介质，也可以是(2)如SD存储卡或USB闪存等这样连接于再现装置PROD_D的类型的记录介质，还可以是(3)如DVD或BD等这样装填至内置于再现装置PROD_D的驱动器装置(未图示)的记录介质。
此外，再现装置PROD_D也可以进一步具备作为解码部PROD_D2所输出的运动图像的供给目的地的显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。在图3中，例示出再现装置PROD_D具备全部这些的构成，但也可以省略一部分。
需要说明的是，发送部PROD_D5可以发送未编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。
作为这种再现装置PROD_D，例如可列举出DVD播放器、BD播放器、HDD播放器等(在该情况下，连接有电视接收器等的输出端子PROD_D4为运动图像的主要供给目的地)。此外，电视接收器(在该情况下，显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下，输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。(以硬件方式实现和以软件方式实现)
此外，上述运动图像解码装置31和运动图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现，也可以利用CPU(Central ProcessingUnit：中央处理器)以软件方式实现。
在后者的情况下，上述各装置具备：执行实现各功能的程序的命令的CPU、储存有上述程序的ROM(Read Only Memory：只读存储器)、展开上述程序的RAM(RandomAccessMemory：随机接入存储器)以及储存上述程序和各种数据的存储器等的存储装置(记录介质)等。而且，本发明的实施方式的目的也可以通过以下方式达成：将以计算机可读取的方式记录有实现上述功能的软件即上述各装置的控制程式的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置，由该计算机(或CPU、MPU)读出并执行记录于记录介质中的程序代码。
作为上述记录介质，例如可以使用：磁带、盒式磁带等磁带类；包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory：光盘只读存储器)/MO盘(Magneto-Optical disc：磁光盘)/MD(Mini Disc：迷你磁光盘)/DVD(Digital VersatileDisc：注册商标)/CD-R(CD Recordable：光盘刻录片)/蓝光光盘(Blu-ray Disc：注册商标)等光盘的盘类；IC卡(包括存储卡)/光卡等卡类；掩模ROM/EPROM(Erasable ProgrammableRead-Only Memory：可擦可编程只读存储器)/EEPROM(Electrically Erasable andProgrammable Read-Only Memory(电可擦可编程只读存储器)：注册商标)/闪存ROM等半导体存储器类；或者PLD(Programmable logic device：可编程逻辑器件)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等逻辑电路类等。
此外，也可以将上述各装置构成为能够与通信网连接，并经由通信网供给上述程序代码。该通信网只要能够传输程序代码即可，不特别进行限定。例如可利用：互联网、内部网、外部网、LAN(Local Area Network)、ISDN(Integrated Services Digital Network：综合业务数字网)、VAN(Value-Added Network：增值网络)、CATV(Community Antennatelevision/Cable Television：共用天线电视/有线电视)通信网、虚拟专用网(VirtualPrivate Network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网的传输介质，只要是能够传输程序代码的介质即可，并不限定于特定的构成或种类。例如，可以用于IEEE(Institute of Electrical and Electronic Engineers：电气和电子工程师协会)1394、USB、电力线输送、电缆TV线路、电话线、ADSL(Asymmetric Digital SubscriberLine：非对称数字用户线路)线路等有线，也可以用于如IrDA(Infrared DataAssociation：红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate：高数据速率)、NFC(Near Field Communication：近场通讯)、DLNA(Digital Living Network Alliance(数字生活网络联盟)：注册商标)、便携电话网、卫星线路、地面数字广播网等无线。需要说明的是，本发明的实施方式也可以利用通过电子传输使上述程序代码具体化的嵌入载波的计算机数据信号的形式实现。
本发明的实施方式并不限定于上述实施方式，能够在权利要求所示的范围进行各种变更。即，将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方式也包括在本发明的技术范围内。
工业上的可利用性
本发明的实施方式能优选地应用于对图像数据编码后的编码数据进行解码的运动图像解码装置以及生成图像数据编码后的编码数据的运动图像编码装置。此外，能优选地应用于通过运动图像编码装置生成并被运动图像解码装置参照的编码数据的数据构造。
符号说明
31：图像解码装置
301：熵解码部
302：参数解码部
3020：报头解码部
303：帧间预测参数解码部
304：帧内预测参数解码部
308：预测图像生成部
309：帧间预测图像生成部
310：帧内预测图像生成部
311：逆量化/逆变换部
312：加法部
11：图像编码装置
101：预测图像生成部
102：减法部
103：变换/量化部
104：熵编码部
105：逆量化/逆变换部
107：环路滤波器
110：编码参数确定部
111：参数编码部
112：帧间预测参数编码部
113：帧内预测参数编码部
1110：报头编码部
1111：CT信息编码部
1112：CU编码部(预测模式编码部)
1114：TU编码部

Claims (7)

1.一种用于对编码图像进行解码的运动图像解码装置，所述运动图像解码装置包括：
矩阵参照像素导出部，通过使用当前块的上相邻采样和左相邻采样来导出参照采样，其中，通过执行下采样处理来导出所述上相邻采样和左相邻采样中的每一个；
权重矩阵导出部，基于帧内预测模式和大小索引来导出使用预测大小定义的权重矩阵；
矩阵预测图像导出部，通过使用所述参照采样中的采样值和所述权重矩阵中的元素的积和运算来导出使用所述预测大小定义的预测图像；以及
矩阵预测图像插值部，通过使用所述预测图像来导出预测的图像，
其中：
所述大小索引根据对象块宽度的值和对象块高度的值被导出，
使用所述大小索引来导出所述预测大小，并且
在所述对象块宽度的值和所述对象块高度的值均等于4的第一条件为真的情况下，将所述大小索引设定为0且所述预测大小等于4。
2.根据权利要求1所述的运动图像解码装置，其特征在于，
在所述第一条件为假的情况下，以及在第二条件(i)所述对象块宽度的值或所述对象块高度的值等于4，或(ii)所述对象块宽度的值和所述对象块高度的值均等于8为真的情况下，将所述大小索引设定为1且所述预测大小等于4。
3.根据权利要求2所述的运动图像解码装置，其特征在于，
在所述第一条件为假并且所述第二条件为假的情况下，将所述大小索引设定为2且所述预测大小等于8。
4.根据权利要求1所述的运动图像解码装置，其特征在于，
所述预测图像被定义为正方形的矩阵。
5.一种用于对图像数据进行编码的运动图像编码装置，所述运动图像编码装置包括：
矩阵参照像素导出部，通过使用当前块的上相邻采样和左相邻采样来导出参照采样，其中，通过执行下采样处理来导出所述上相邻采样和左相邻采样中的每一个；
权重矩阵导出部，基于帧内预测模式和大小索引来导出使用预测大小定义的权重矩阵；
矩阵预测图像导出部，通过使用所述参照采样中的采样值和所述权重矩阵中的元素的积和运算来导出使用所述预测大小定义的预测图像；以及
矩阵预测图像插值部，通过使用所述预测图像来导出预测的图像，
其中：
所述大小索引根据对象块宽度的值和对象块高度的值被导出，
使用所述大小索引来导出所述预测大小，并且
在所述对象块宽度的值和所述对象块高度的值均等于4的第一条件为真的情况下，将所述大小索引设定为0且所述预测大小等于4。
6.一种用于对编码图像进行解码的运动图像解码方法，所述运动图像解码方法包括：
通过使用当前块的上相邻采样和左相邻采样来导出参照采样，其中，通过执行下采样处理来导出所述上相邻采样和左相邻采样中的每一个；
基于帧内预测模式和大小索引来导出使用预测大小定义的权重矩阵；
通过使用所述参照采样中的采样值和所述权重矩阵中的元素的积和运算来导出使用所述预测大小定义的预测图像；以及
通过使用所述预测图像来导出预测的图像，
其中：
所述大小索引根据对象块宽度的值和对象块高度的值被导出，
使用所述大小索引来导出所述预测大小，并且
在所述对象块宽度的值和所述对象块高度的值均等于4的第一条件为真的情况下，将所述大小索引设定为0且所述预测大小等于4。
7.一种用于对图像数据进行编码的运动图像编码方法，所述运动图像编码方法包括：
通过使用当前块的上相邻采样和左相邻采样来导出参照采样，其中，通过执行下采样处理来导出所述上相邻采样和左相邻采样中的每一个；
基于帧内预测模式和大小索引来导出使用预测大小定义的权重矩阵；
通过使用所述参照采样中的采样值和所述权重矩阵中的元素的积和运算来导出使用所述预测大小定义的预测图像；以及
通过使用所述预测图像来导出预测的图像，
其中：
所述大小索引根据对象块宽度的值和对象块高度的值被导出，
使用所述大小索引来导出所述预测大小，并且
在所述对象块宽度的值和所述对象块高度的值均等于4的第一条件为真的情况下，将所述大小索引设定为0且所述预测大小等于4。
CN202010979485.9A 2019-09-18 2020-09-17 运动图像解码装置以及运动图像编码装置 Pending CN112532976A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-169444 2019-09-18
JP2019169444A JP7425568B2 (ja) 2019-09-18 2019-09-18 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
JP2019-171549 2019-09-20
JP2019171549A JP7444570B2 (ja) 2019-09-20 2019-09-20 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法

Publications (1)

Publication Number Publication Date
CN112532976A true CN112532976A (zh) 2021-03-19

Family

ID=72560490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010979485.9A Pending CN112532976A (zh) 2019-09-18 2020-09-17 运动图像解码装置以及运动图像编码装置

Country Status (4)

Country Link
US (4) US11184622B2 (zh)
EP (1) EP3796656A1 (zh)
CN (1) CN112532976A (zh)
TW (1) TW202114417A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193253A1 (zh) * 2022-04-08 2023-10-12 Oppo广东移动通信有限公司 解码方法、编码方法、解码器以及编码器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11363284B2 (en) * 2019-05-09 2022-06-14 Qualcomm Incorporated Upsampling in affine linear weighted intra prediction
JP7461353B2 (ja) 2019-09-24 2024-04-03 オッポ広東移動通信有限公司 画像符号化／復号化方法、エンコーダ、デコーダ及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193253A1 (zh) * 2022-04-08 2023-10-12 Oppo广东移动通信有限公司 解码方法、编码方法、解码器以及编码器

Also Published As

Publication number Publication date
US20230164327A1 (en) 2023-05-25
TW202114417A (zh) 2021-04-01
US20240007650A1 (en) 2024-01-04
US11589056B2 (en) 2023-02-21
US20220014762A1 (en) 2022-01-13
EP3796656A1 (en) 2021-03-24
US11184622B2 (en) 2021-11-23
US11818363B2 (en) 2023-11-14
US20210084308A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
JP7402016B2 (ja) 画像復号装置及び画像符号化装置
CN111698519B (zh) 图像解码装置以及图像编码装置
US11589056B2 (en) Video decoding apparatus and video coding apparatus
JP7139144B2 (ja) 画像フィルタ装置
WO2018216688A1 (ja) 動画像符号化装置及び動画像復号装置、フィルタ装置
TW202133613A (zh) 圖像解碼裝置及圖像編碼裝置
CN113545051A (zh) 使用块大小限制的视频数据块的重构
CN113196776A (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
JP7461347B2 (ja) 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法
JPWO2020241858A5 (zh)
CN113632475A (zh) 图像解码装置
WO2020067440A1 (ja) 動画像符号化装置および動画像復号装置
CN112616059A (zh) 运动图像变换装置以及方法、编码数据生成装置
JP2021150703A (ja) 画像復号装置及び画像符号化装置
JP7425568B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
JP7444570B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
JP2020068462A (ja) 画像ビット階調拡張フィルタ装置及び画像符号化装置、画像復号装置
CN113170169B (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
JP2023046435A (ja) 動画像復号装置および動画像符号化装置
JP2020155869A (ja) 画像スケーリング変換、逆変換装置及び方法
JP2021010050A (ja) 動画像符号化装置、動画像復号装置、およびフィルタ装置
JP2021061470A (ja) 画像復号装置及び画像符号化装置
JP2021027458A (ja) 動画像符号化装置、動画像復号装置、予測画像生成方法
JP2020195042A (ja) 動画像復号装置
JP2020005199A (ja) 画素サンプリングインターリーブ画像符号化／復号装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination