CN108141609A - 预测图像生成装置、图像解码装置以及图像编码装置 - Google Patents

预测图像生成装置、图像解码装置以及图像编码装置 Download PDF

Info

Publication number
CN108141609A
CN108141609A CN201680061041.9A CN201680061041A CN108141609A CN 108141609 A CN108141609 A CN 108141609A CN 201680061041 A CN201680061041 A CN 201680061041A CN 108141609 A CN108141609 A CN 108141609A
Authority
CN
China
Prior art keywords
value
prognostic chart
chart picture
prediction
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680061041.9A
Other languages
English (en)
Inventor
猪饲知宏
筑波健史
山本智幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN108141609A publication Critical patent/CN108141609A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种预测图像生成装置、图像解码装置以及图像编码装置。在参照未过滤参照像素值与距参照区域的距离相应地导出预测图像的各像素的情况下，利用易于执行横跨多个像素的并行处理的方法生成预测图像。相对于预测模块内的对象像素中的已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，从而将构成预测图像的预测像素值导出，将根据预测模式所示的预测方向而确定的参照强度系数与伴随着相对于对象像素的参照距离的增加而单调减少的距离加权之积导出以作为相对于未过滤参照像素值的加权系数。

Description

预测图像生成装置、图像解码装置以及图像编码装置
技术领域
本发明涉及一种主要以图像编码、图像修复为目的，使用周边区域的图像生成图像的部分区域的预测图像的预测图像生成装置、利用预测图像对编码数据进行解码的图像解码装置以及利用预测图像对图像进行编码从而生成编码数据的图像编码装置。
背景技术
为了对运动图像进行高效地传输或记录，而使用对运动图像进行编码从而生成编码数据的运动图像编码装置以及对该编码数据进行解码从而生成解码图像的运动图像解码装置。
作为具体的运动图像编码方式，例如，HEVC(High-Efficiency Video Coding)所采用的方式(非专利文献1)。
在HEVC中，基于对输入图像进行编码以及解码而获得的局部解码图像生成预测图像，对从输入图像(原图像)减去该预测图像而获得的预测残差(也可称作“差分图像”或“残差图像”)进行编码，由此，与对输入图像直接进行编码的情况相比较，能够利用更少的代码量的编码数据来表示输入图像。作为预测图像的生成方法，存在有画面间预测(帧间预测)以及画面内预测(帧内预测)。在HEVC的画面内预测中，将接近对象区域的区域设定为参照区域，基于参照区域上的已解码像素(参照像素)的值生成预测图像。在参照像素直接被用作未过滤参照像素的情况下，有时将对相邻参照像素间应用低通滤波器而获得的值用作已过滤参照像素。
此外，作为其他的画面内预测的方式，公开了基于参照区域上的未过滤参照像素值对使用了已过滤参照像素的画面内预测中所获得的预测像素值进行补正的方式(非专利文献2)。在所述的加权中，基于补正对象像素的预测对象区域(预测模块)内位置，并基于使已定的参照像素强度系数右位移而获得的距离加权对预测像素值进行补正。能够利用该补正提高预测模块边界附近的预测图像的精度，因此，能够削减编码数据的代码量。
参照图14和图15对非专利文献2的方式的详情进行说明。图14为表示画面内预测中的预测模块上的预测像素与相对于预测模块而设定的参照区域上的参照像素的位置关系的图。图14(a)分别表示预测模块内的位置(x、y)处的预测像素值p[x、y]，位置(x、y)的上方的像素且在预测模块上边相邻的参照区域上的位置(x、-1)处的未过滤参照像素值r[x、-1]、位置(x、y)的左方的像素且在预测模块左边相邻的参照区域上的位置(-1、y)处的未过滤参照像素的像素值r[-1、y](未过滤参照像素值r[-1、y])、在预测模块的左上相邻的参照区域上的位置(-1、-1)处的未过滤参照像素r[-1、-1]的位置。同样地，图14(b)为表示位置(x、y)处的已过滤参照像素值的预测像素值q[x、y](已过滤预测像素值q[x、y])、位置(x、-1)处的已过滤参照像素值s[x、-1]、位置(-1、y)处的已过滤参照像素值s[-1、y]以及位置(-1、-1)处的已过滤参照像素值s[-1、-1]。
图15(a)表示预测像素值p[x、y]的导出式。预测像素值p[x、y]为通过对已过滤预测像素值q[x、y]和未过滤参照像素值r[x、-1]、r[-1、y]、r[-1、-1]进行加权加法运算而被导出。加权系数使用基于位置(x、y)使已定的参照强度系数(c1v、c2v、c1h，c2h)进行了右位移的值。例如，相对于未过滤参照像素值r[x、-1]的加权系数为c1v>>floor(y/d)。在此，floor()表示取整函数，d表示与预测模块尺寸对应的已定的参数，“y/d”表示y除以d(小数点以下舍弃)。相对于未过滤参照像素值的加权系数能够表示为利用与参照距离对应的加权(距离加权)来调节对应的参照强度系数而得到的值。此外，b[x、y]为相对于已过滤预测像素值q[x、y]的加权系数，并利用图15(b)所示的式被导出。b[x、y]被设定为，加权系数的总和与加权加法运算时的分母(图15(a)的式中相当于“>>7”，也就是说相当于128)一致。根据图15(a)的式，x、y的值越大未过滤参照像素的加权系数的值越小。换言之，具有预测模块内的位置越靠近参照区域，未过滤参照像素的加权系数越大这样的性质。
现有技术文献
非专利文件
[非专利文献1]ITU-TRec.H.265(V2)、2014年10月29日公开)
[非专利文献2]"Position dependent prediction combination"、ITU-T STUDYGROUP 16COM16-C1046-E、(2015年9月公开)
发明内容
本发明所要解决的技术问题
然而，在非专利文献2中存在有如下课题，即，在加权系数的计算中，需要使参照强度系数与参照距离(预测对象像素与参照区域的距离)对应的右位移处理，因此，利用硬件或软件的并行处理功能(例如矢量运算命令)对多个像素的预测像素值进行并行处理并导出较为困难。更具体而言存在有如下课题，即，在利用并行处理而生成相对于预测模块内的多个像素的预测图像的情况下，在各像素位置处参照距离不同，因此有时不存在能够利用的并行处理功能的情况。
解决问题的手段
为了解决所述课题，本发明的一方式所涉及的预测图像生成装置的特征在于，具备：已过滤参照像素设定部，其将相对于预测模块而设定的参照区域上的已过滤参照像素值导出；帧内预测部，其根据与预测模式对应的预测方式参照所述已过滤参照像素值将所述预测模块的已过滤预测像素值导出；以及预测图像补正部，其基于所述参照区域上的未过滤参照像素值和所述预测模式来实施预测图像补正处理，从而根据所述已过滤预测像素值生成预测图像，所述预测图像补正部相对于所述预测模块内的对象像素中的所述已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，由此导出构成所述预测图像的预测像素值，相对于所述未过滤参照像素值的所述加权系数为，根据所述预测模式所示的预测方向而确定的参照强度系数与伴随着相对于所述对象像素的参照距离的增加而单调减少的距离加权之积。
为了解决所述课题，本发明的一方式所涉及的图像解码装置利用与预测模式相关联的帧内预测方式以预测模块为单位而生成预测图像，由此根据编码数据将图像复原，其特征在于，具备：已过滤参照像素设定部，其将相对于预测模块而设定的参照区域上的已过滤参照像素值导出；帧内预测部，其根据与预测模式对应的预测方式参照所述已过滤参照像素值将所述预测模块的已过滤预测像素值导出；以及预测图像补正部，其基于所述参照区域上的未过滤参照像素值和所述预测模式实施预测图像补正处理，从而根据所述已过滤预测像素值生成预测图像，所述预测图像补正部相对于所述预测模块内的对象像素中的所述已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，由此导出构成所述预测图像的预测像素值，相对于所述未过滤参照像素值的所述加权系数为，根据所述预测模式所示的预测方向而确定的参照强度系数与伴随着相对于所述对象像素的参照距离的增加而单调减少的距离加权之积。
为了解决所述课题，本发明的一方式所涉及的图像编码装置利用与预测模式相关联的帧内预测方式以预测模块为单位而生成预测图像，由此根据运动图像生成编码数据，其特征在于，具备：已过滤参照像素设定部，其将相对于预测模块而设定的参照区域上的已过滤参照像素值导出；帧内预测部，其根据与预测模式对应的预测方式参照所述已过滤参照像素值将所述预测模块的已过滤预测像素值导出；以及预测图像补正部，其基于所述参照区域上的未过滤参照像素值和所述预测模式实施预测图像补正处理，从而根据所述已过滤预测像素值生成预测图像，所述预测图像补正部相对于所述预测模块内的对象像素中的所述已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，由此导出构成所述预测图像的预测像素值，相对于所述未过滤参照像素值的所述加权系数为，根据所述预测模式所示的预测方向而确定的参照强度系数与伴随着相对于所述对象像素的参照距离的增加而单调减少的距离加权之积。
发明效果
本发明的一方式的预测图像生成装置具备：已过滤参照像素设定部，其将参照区域上的已过滤参照像素值导出；帧内预测部，其参照所述已过滤参照像素值将已过滤预测像素值导出；以及预测图像补正部，其利用参照了所述参照区域上的未过滤参照像素值的预测图像补正处理对所述已过滤预测像素值进行补正而生成预测图像，所述预测图像补正部相对于对象像素中的所述已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，由此将预测像素值导出，将根据预测方向而确定的参照强度系数和伴随着参照距离的增加而单调减少的距离加权之积导出以作为相对于所述未过滤参照像素值的所述加权系数。因此，在参照加权系数对已过滤预测像素值与未过滤参照像素值进行加权加法运算而生成预测图像的情况下，能够起到不用使用参照距离依赖参数的右位移且能够利用更易于并行安装的参照距离依赖参数(距离加权)之积导出加权系数这样的效果。
此外，本发明的一方式的图像解码装置(运动图像解码装置)以及图像编码装置(运动图像编码装置)具备相当于所述预测图像生成装置的预测图像生成部，在使用参照加权系数对已过滤预测像素值和未过滤参照像素值进行加权加法运算而生成的预测图像来实施编码或解码的情况下，能够起到不用使用参照距离依赖参数的右位移且利用更易于并行安装的参照距离依赖参数(距离加权)之积导出加权系数这样的效果。
附图说明
图1为表示本发明的一实施方式所涉及的预测图像补正部145的动作的流程图。
图2为表示所述运动图像解码装置的概要的构成的功能框图。
图3为表示利用本发明的一实施方式所涉及的运动图像编码装置生成编码数据的数据并利用所述运动图像解码装置来解码的编码数据的数据构成的图，(a)～(d)分别为表示图片层、片段层、CTU层以及CU层的图。
图4为表示在属于方向预测的33种类的预测模式中，与预测模式的标识符相对应的预测方向的图。
图5为表示本发明的一实施方式所涉及的预测图像生成部的概要的构成的功能框图。
图6为EQ1：用于对预测图像补正部145中的、预测模块内位置(x、y)处的预测像素值p[x、y]的导出进行说明的图。(a)表示预测像素值p[x、y]的导出式的一个示例，(b)表示加权系数b[x、y]的导出式的一个示例，(c)表示距离加权k[·]的导出式的一个示例。
图7为表示所述预测图像生成部中的CU单位的预测图像生成处理的概要的流程图。
图8为EQ2：参照距离为规定的值以上的情况下被设为0的距离加权k[·]的导出式的一个示例。
图9为表示TBL_EQ2：第一标准化调节项smax不同的情况下的参照距离与加权系数k[·]的关系的图。(a)、(b)、(c)分别示出表示模块尺寸的变量d的值为1、2、3的情况下的参照距离与加权系数k[·]的关系。
图10为EQx：用于对预测模块内位置(x、y)中的预测像素值p[x、y]的导出的另一示例进行说明的图。(a)表示预测像素值p[x、y]的导出式的一个示例，(b)表示加权系数b[x、y]的导出式的一个示例，(c)表示距离位移值s[·]的导出式的一个示例。
图11为表示EQ3a：利用左位移运算将距离加权k[x]导出的计算式的一个示例的图。(a)(b)表示d＝2的情况下所使用的距离加权k[x]的导出式，(c)(d)为d＝1的情况下所使用的距离加权k[x]的导出式。
图12为表示EQ3b：利用左位移运算将距离加权k[x]导出的计算式的变形例的一个示例的图。
图13为表示TBL_EQ3：用于将距离加权k[·]导出的距离加权参照表的一个示例的图。(a)至(d)保持图12(a)至(d)的距离加权的计算式的结果。
图14为表示现有技术中画面内预测中的预测模块上的预测像素与相对于预测模块而设定的参照区域上的参照像素的位置关系的图。(a)表示未过滤参照像素值的情况，(b)表示已过滤参照像素值的情况。
图15(a)表示现有技术所涉及的预测像素值p[x、y]的导出式，(b)表示现有技术所涉及的加权系数b[x、y]的导出式。
图16为表示本发明的一实施方式所涉及的运动图像编码装置的结构的功能框图。
图17为表示搭载了所述运动图像编码装置的发送装置以及搭载了所述运动图像解码装置的接收装置的结构的图。(a)表示搭载了运动图像编码装置的发送装置，(b)表示搭载了运动图像解码装置的接收装置。
图18为表示搭载了所述运动图像编码装置的记录装置以及搭载了所述运动图像解码装置的再生装置的结构的图。(a)表示搭载了运动图像编码装置的记录装置，(b)表示搭载了运动图像解码装置的再生装置。
具体实施方式
参照图1～图18对本发明的一实施方式进行说明。首先，参照图2，对运动图像解码装置(图像解码装置)1以及运动图像编码装置(图像编码装置)2的概要进行说明。图2为表示运动图像解码装置1的概要的构成的功能框图。
图2所示的运动图像解码装置1以及运动图像编码装置2安装有H.264/MPEG-4AVC规格所采用的技术、HEVC(High-Efficiency Video Coding)规格所采用的技术以及其改良技术。
在运动图像编码装置2中，在特定的运动图像编码方式中，对从编码器传输至解码器的运动图像所限定的语法(syntax)的值进行熵编码而生成编码数据#1。
在运动图像解码装置1中输入有运动图像编码装置2对运动图像进行了编码的编码数据#1。在运动图像解码装置1中，对输入的编码数据#1进行解码而将运动图像#2输出至外部。在对运动图像解码装置1的详情进行说明之前，以下对编码数据#1的结构进行说明。
〔编码数据的结构〕
使用图3，对由运动图像编码装置2生成编码数据#1并由运动图像解码装置1进行解码的编码数据#1的结构例进行说明。编码数据#1例示性地包含相当于序列以及构成序列的多个图片的部分编码数据。
编码数据#1中的图片层以下的分层构造如图3所示。图3的(a)～(d)分别为表示对图片PICT进行限定的图片层、对片段S进行限定的片段层、对树模块(Tree block)TBLK进行限定的树模块层、对树模块TBLK所包含的编码单位(Coding Unit；CU)进行限定的CU层的图。
(图片层)
在图片层中，为了对处理对象的图片PICT(以下，也称作对象图片)进行解码而限定了供运动图像解码装置1参照的数据的集合。如图3(a)所示，图片PICT包含图片头PH以及片段S1～SNS(NS为图片PICT所包含的片段的总数)。
需要说明的是，以下，在无需分别对片段S1～SNS进行区别的情况下，有时省略符号的下标进行叙述。此外，在以下说明的编码数据#1所包含的数据中，对于标注下标的其它的数据也是同样的。
图片头PH中含有为了对对象图片的解码方法进行确定而供运动图像解码装置1参照的编码参数组。例如，预测残差的量化步骤的图片内中的基准值(pic_init_qp_minus26)为图片头PH所包含的编码参数的一个示例。
需要说明的是，图片头PH也称作图片参数集(PPS：Picture Parameter Set)。
(片段层)
在片段层中，为了对处理对象的片段S(也称作对象片段)进行解码而限定了供运动图像解码装置1参照的数据的集合。如图3(b)所示，片段S包含片段头SH以及树模块TBLK1～TBLKNC(NC为片段S所包含的树模块的总数)。
片段头SH中包含为了对对象片段的解码方法进行确定而供运动图像解码装置1参照的编码参数组。对片段类型进行指定的片段类型指定信息(slice_type)为片段头SH所包含的编码参数的一个示例。
作为能够通过片段类型指定信息来指定的片段类型，可列举出(1)在仅使用编码之际帧内预测的I片段；(2)在编码之际使用单向预测或帧内预测的P片段；(3)在编码之际使用单向预测、双向预测或帧内预测的B片段等。
(树模块层)
在树模块层中，为了对处理对象的树模块TBLK(以下，也称作对象树模块)进行解码而限定了供运动图像解码装置1参照的数据的集合。
树模块TBLK包含树模块头TBLKH和编码单位信息CU1～CUNL(NL为树模块TBLK所包含的编码单位信息的总数)。在此，首先，以树模块TBLK与编码单位信息CU的关系进行说明，如以下所述。
树模块TBLK被分割为帧内预测或帧间预测以及用于对用于转换的各处理的模块尺寸进行特定的单元。向各单元的分割通过树模块TBLK的递归的4叉树分割来表示。以下将通过该递归的4叉树分割而获得的树构造称作编码树(coding tree)。
以下，将与作为编码树的末端的节点的叶子(leaf)相对应的单元作为编码节点(coding node)进行参照。此外，编码节点为编码处理的基本的单位，因此，以下，将编码节点也称作编码单位(CU)。
也就是说，编码单位信息(以下，称作CU信息)CU1～CUNL为，与将树模块TBLK递归地进行4叉树分割而获得的各编码节点(编码单位)相对应的信息。
此外，编码树的根(root)与树模块TBLK相关联。换言之，树模块TBLK与递归地包含多个编码节点的4叉树分割的树构造的最上位节点相关联。
需要说明的是，各编码节点的尺寸也是该编码节点直接所属的编码节点(即，该编码节点的1分层上位的节点的单元)的尺寸的纵横的一半。
此外，各编码节点的可取的尺寸依赖于树模块的尺寸和编码数据#1的序列参数集SPS所包含的编码节点的尺寸指定信息。树模块为编码节点的根，所以，编码节点的最大尺寸为树模块的尺寸。树模块的最大尺寸与编码节点(CU)的最大尺寸一致，所以，有时作为树模块的呼称而使用LCU(Largest CU)、CTU(Coding Tree Unit)。在通常的设定中，使用最大编码节点尺寸为64×64像素，最小编码节点尺寸为8×8像素的编码节点的尺寸指定信息。在该情况下，编码节点和编码单位CU的尺寸为64×64像素、32×32像素、16×16像素或8×8像素中的任意一者。
(树模块头)
在树模块头TBLKH中包含为了对对象树模块的解码方法进行确定而供运动图像解码装置1参照的编码参数。具体而言，如图3的(c)所示，包含对对象树模块的向各CU的分割图案进行指定的树模块分割信息SP_TBLK以及对量化步骤的大小进行指定的量化参数差分Δqp(qp_delta)。
树模块分割信息SP_TBLK表示用于对树模块进行分割的编码树的信息，具体而言为，对象树模块所包含的各CU的形状、尺寸以及对对象树模块内的位置进行指定的信息。
需要说明的是，树模块分割信息SP_TBLK也可以具体地包含CU的形状、尺寸。例如树模块分割信息SP_TBLK也可以是表示是否对对象树模块整体或树模块的部分区域进行四分割的标志的集合。在该情况下，并用树模块的形状、尺寸，由此能够对各CU的形状、尺寸进行特定。
(CU层)
在CU层中，为了对处理对象的CU(以下，也称作对象CU)进行解码而限定了供运动图像解码装置1参照的数据的集合。
在此，在对CU信息CU所包含的数据的具体的内容的进行说明之前，对CU所包含的数据的树构造进行说明。编码节点为预测树(prediction tree；PT)以及转换树(transformtree；TT)的根的节点。对预测树以及转换树进行说明，如以下所述。
在预测树中，编码节点被分割为一个或多个预测模块，各预测模块的位置和尺寸受到限定。如果用其他的表示来说，则预测模块为构成编码节点的一个或多个不重复的区域。此外，预测树包含通过上述的分割而获得的一个或多个预测模块。
预测处理按照该预测模块来实施。以下，将作为预测的单位的预测模块称作预测单位(prediction unit；PU)。
预测树中的分割的种类大致来说有帧内预测(画面内预测)的情况和帧间预测(画面间预测)的情况这两种情况。
在帧内预测的情况下，分割方法为2N×2N(与编码节点相同尺寸)、N×N。
此外，在帧间预测的情况下，分割方法为2N×2N(与编码节点相同尺寸)、2N×N、N×2N以及N×N等。
此外，在转换树中，编码节点被分割为一个或多个转换模块，各转换模块的位置和尺寸被限定。如果用其他的表示来说，则转换模块为构成编码节点的一个或多个不重复的区域。此外，转换树包含通过上述的分割而获得的一个或多个转换模块。
转换处理按照该转换模块来实施。以下，将作为转换的单位的转换模块称作转换单位(transform unit；TU)。
(CU信息的数据构造)
接下来，参照图3(d)对CU信息CU所包含的数据的具体的内容进行说明。如图3(d)所示，CU信息CU具体而言包含跳过标志SKIP、PT信息PTI以及TT信息TTI。
跳过标志SKIP为，表示是否CU中应用了跳过模式的标志。在跳过标志SKIP的值表示对象CU中应用了跳过模式的情况下，省略该CU信息CU中的PT信息PTI以及TT信息TTI。需要说明的是，跳过标志SKIP在I片段中省略。
PT信息PTI为，与CU所包含的PT相关的信息。换言之，PT信息PTI为分别与PT所包含的预测模块相关的信息的集合，并在利用运动图像解码装置1生成预测图像之际被参照。如图3(d)所示，PT信息PTI包含预测类型信息PType以及预测信息PInfo。
预测类型信息PType为，对于对象PU的预测图像生成方法，对是使用帧内预测或者还是帧间预测进行指定的信息。
预测信息PInfo根据对预测类型信息PType为哪一个预测方法进行指定，而由帧内预测信息或帧间预测信息构成。以下，将应用了帧内预测的预测模块称作帧内预测模块，将应用了帧间预测的预测模块称作帧间预测模块。
此外，预测信息PInfo包含预测模块的形状、尺寸以及对位置进行指定的信息。如上所述预测图像的生成以预测模块为单位来实施。预测信息PInfo的详情将在下文中叙述。
TT信息TTI为与CU所包含的TT相关的信息。换言之，TT信息TTI为分别与TT所包含的一个或多个TU相关的信息的集合，并在利用运动图像解码装置1对残差数据进行解码之际被参照。需要说明的是，以下，有时将TU称作转换模块。
如图3的(d)所示，TT信息TTI包含对对象CU的向各转换模块的分割图案进行指定的TT分割信息SP_TU以及TU信息TUI1～TUINT(NT为对象CU所包含的转换模块的总数)。
TT分割信息SP_TU具体而言为，对象CU所包含的各TU的形状、尺寸以及用于对对象CU内的位置进行确定的信息。例如，TT分割信息SP_TU能够由表示是否实施作为对象的节点的分割的信息(split_transform_unit_flag)和表示该分割的深度的信息(trafo Depth)来实现。
此外，例如，在CU的尺寸为64×64的情况下，通过分割而获得的各TU可取从32×32像素到4×4像素的尺寸。
TU信息TUI1～TUINT为分别与TT所包含的一个或多个TU相关的单独的信息。例如，TU信息TUI包含量化预测残差。
各量化预测残差为，运动图像编码装置2对作为处理对象的模块的对象模块实施以下的处理1～3而生成的编码数据。
处理1：对从编码对象图像减去预测图像而获得的预测残差进行DCT转换(Discrete Cosine Transform)；
处理2：对通过处理1而获得的转换系数进行量化；
处理3：对通过处理2而被量化的转换系数进行可变长编码；
(预测信息PInfo)
如上所述，预测信息PInfo存在有帧间预测信息以及帧内预测信息这两种。
帧间预测信息中包含在利用帧间预测生成帧间预测图像之际供运动图像解码装置1参照的编码参数。更具体而言，帧间预测信息中包含对对象CU的向各帧间预测模块的分割图案进行指定的帧间预测模块分割信息以及针对各帧间预测模块的帧间预测参数。
帧间预测参数中包含参照图像索引、估计运动矢量索引以及运动矢量残差。
另一方面，帧内预测信息中含有在利用帧内预测生成帧内预测图像之际供运动图像解码装置1参照的编码参数。更具体而言，帧内预测信息中含有对对象CU的向各帧内预测模块的分割图案进行指定的帧内预测模块分割信息以及对于各帧内预测模块的帧内预测参数。帧内预测参数为对各帧内预测模块中的帧内预测的预测图像生成进行控制的参数且用于使帧内预测模式复原的参数。
用于使帧内预测模式复原的参数中包含用于对与作为MPM(Most Probable Mode，以下相同)相关的标志的mpm_flag、MPM进行选择的索引即mpm_idx以及用于对MPM以外的预测模式进行指定的索引即rem_idx。在此，MPM为，对象分区中被选择的可能性较高的估计预测模式。
此外，以下，在仅标记为“预测模式”的情况下，是指相对于亮度而应用的帧内预测模式。对于应用于色差的帧内预测模式，标记为“色差预测模式”，来与亮度预测模式进行区别。
〔运动图像解码装置〕
以下，参照图1～图13对本实施方式所涉及的运动图像解码装置1的结构进行说明。
(运动图像解码装置的概要)
对于运动图像解码装置1，每个预测模块生成预测图像，使所生成的预测图像与由编码数据#1解码后的预测残差相加，由此生成解码图像#2，将所生成的解码图像#2输出至外部。
在此，预测图像的生成参照对编码数据#1进行解码而获得的预测参数来实施。预测参数是，为了生成预测图像而被参照的参数。
此外，以下，分别将作为解码处理的对象的图片(帧)、片段、树模块、CU、模块以及预测模块称作对象图片、对象片段、对象树模块、对象CU、对象模块以及对象预测模块。
需要说明的是，树模块的尺寸例如为64×64像素，CU的尺寸例如为64×64像素、32×32像素、16×16像素、8×8像素，预测模块的尺寸例如为64×64像素、32×32像素、16×16像素、8×8像素、4×4像素等。然而，上述的尺寸只是例示，树模块、CU以及预测模块的尺寸也可以是以上所示的尺寸以外的尺寸。
(运动图像解码装置的结构)
再次参照图2对运动图像解码装置1的概要的构成进行说明。如图2所示，运动图像解码装置1具备：可变长解码部11、逆量化/逆转换部13、预测图像生成部14、加法器15以及帧存储器16。
[可变长解码部]
可变长解码部11对从运动图像解码装置1输入的编码数据#1所包含的各种的参数进行解码。在以下的说明中，可变长解码部11适当地实施利用CABAC以及CAVLC等熵编码方式而被编码的参数的解码。
首先，可变长解码部11对1帧量的编码数据#1进行反多路复用，由此，分离为图3所示的分层构造所包含的各种信息。例如，可变长解码部11参照各种头所包含的信息，将编码数据#1依次分离为片段、树模块。
然后，可变长解码部11参照树模块头TBLKH所包含的树模块分割信息SP_TBLK，将对象树模块分割为CU。此外，可变长解码部11对与针对对象CU而获得的转换树相关的TT信息TTI以及与针对对象CU而获得的预测树相关的PT信息PTI进行解码。
需要说明的是，如上所述，TT信息TTI中包含与转换树所包含的TU相对应的TU信息TUI。此外，如上所述，PT信息PTI中包含与对象预测树所包含的预测模块相对应的PU信息PUI。
可变长解码部11将针对对象CU而获得的TT信息TTI供给至逆量化/逆转换部13。此外，可变长解码部11将针对对象CU而获得的PT信息PTI供给至预测图像生成部14。
[逆量化/逆转换部]
逆量化/逆转换部13基于TT信息TTI对对象CU所包含的各模块执行逆量化/逆转换处理。具体而言，逆量化/逆转换部13针对各对象TU，对与对象TU相对应的TU信息TUI所包含的量化预测残差进行逆量化以及逆正交转换，从而对每个像素的预测残差D进行复原。需要说明的是，在此，正交转换是指，从像素区域向频率区域的正交转换。因而，逆正交转换为从频率区域向像素区域的转换。此外，作为逆正交转换的示例，可列举出逆DCT转换(InverseDiscrete Cosine Transform)以及逆DST转换(Inverse Discrete Sine Transform)等。逆量化/逆转换部13将复原后的预测残差D供给至加法器15。
[预测图像生成部]
预测图像生成部14基于PT信息PTI针对对象CU所包含的各预测模块生成预测图像。具体而言，预测图像生成部14根据与对象预测模块相对应的PU信息PUI所包含的预测参数针对各对象预测模块实施帧内预测或帧间预测，从而生成预测图像Pred。此时，基于预测参数的内容对作为帧存储器16所蓄积的已解码图像的局部解码图像P’进行参照。预测图像生成部14将生成的预测图像Pred供给至加法器15。需要说明的是，对于预测图像生成部14的结构，将在下文中更详细地进行说明。
[加法器]
加法器15使由预测图像生成部14供给的预测图像Pred与由逆量化/逆转换部13供给的预测残差D相加，从而生成针对对象CU的解码图像P。
[帧存储器]
帧存储器16中依次记录有解码后的解码图像P。帧存储器16中记录有在对对象树模块进行解码的时刻，与在该对象树模块之前被解码的所有的树模块(例如，按光栅扫描顺序先行的所有的树模块)相对应的解码图像。
此外，帧存储器16中记录有在对对象CU进行解码的时刻，与在该对象CU之前被解码的所有的CU相对应的解码图像。
需要说明的是，在运动图像解码装置1中，在相对于图像内的所有的树模块结束树模块单位的解码图像生成处理的时刻，与输入至运动图像解码装置1的1帧量的编码数据#1相对应的解码图像#2被输出至外部。
(预测模式的定义)
如上所述，预测图像生成部14基于PT信息PTI生成预测图像并对其进行输出。在对象CU为帧内CU的情况下，输入至预测图像生成部14的PU信息PTI包含预测模式(Intra PredMode)。以下，参照图4对预测模式的定义进行说明。
(概要)
运动图像解码装置1所利用的帧内预测模式被分类为Planar预测(Intra_Planar)、垂直预测(Intra_Vertical)、水平预测(Intra_Horizontal)、DC预测(Intra_DC)、Angular预测(Intra_Angular)。将水平预测、垂直预测、Angular预测统称为方向预测。方向预测为，将与对象预测模块相邻的周边区域设定为参照区域，概括而言将参照区域上的像素外插于特定的方向，由此生成预测图像的预测方式。
接着，使用图4对方向预测所包含的各预测模式的标识符进行说明。图4中对于属于方向预测的33种类的预测模式，图示了与预测模式的标识符对应的预测方向。图4中的箭头的方向表示预测方向，但是，更准确而言表示从预测对象像素向对预测对象像素进行参照的参照区域上的像素的矢量的朝向。根据该意思，将预测方向称作参照方向。对于各预测模式的标识符，表示主方向为水平方向(HOR)或是垂直方向(VER)的符号与由相对于主方向的位移的组合构成的标识符相关联。例如，水平预测中分配有HOR，垂直预测中分配有VER，参照右上45度方向的周边像素的预测模式中分配有VER+8，参照左上45度方向的周边像素的预测模式中分配有VER-8，参照左下45度方向的周边像素的预测模式中分配有HOR+8的符号。对于方向预测定义了VER-8～VER+8的17个的主方向为垂直方向的预测模式和HOR-7～HOR+8的16个的主方向为水平预测的预测模式。
(预测图像生成部的详情)
接着，使用图5对预测图像生成部14的结构的详情进行说明。图5为表示预测图像生成部14的结构例的功能框图。需要说明的是，本构成例图示了预测图像生成部14的功能中的、帧内CU的预测图像生成所涉及的功能模块。
如图5所示，预测图像生成部14具备预测模块设定部141、未过滤参照像素设定部142、已过滤参照像素设定部143，帧内预测部144以及预测图像补正部145。
预测模块设定部141按限定的设定顺序将对象CU所包含的预测模块设定为对象预测模块，对与对象预测模块相关的信息(对象预测模块信息)进行输出。对象预测模块信息中至少包含表示对象预测模块尺寸、对象预测模块位置、对象预测模块的亮度或色差层的索引。
未过滤参照像素设定部142基于输入的对象预测模块信息所示的对象预测模块尺寸和对象预测模块位置，将与对象预测模块相邻的周边区域设定为参照区域。接下来，将相对于参照区域内的各像素在帧存储器上与画面内的对应的位置所记录的解码图像的像素值(解码像素值)设定为未过滤参照像素值。预测模块内位置(x、y)的未过滤参照像素值r(x、y)利用以图片的左上像素为基准来表示的对象图片的解码像素值u(px、py)，通过下式来设定。
r(x、y)＝u(xB+x、yB+y)x＝-1、y＝-1..(nS*2-1)以及x＝0..(nS*2-1)、y＝-1
在此，(xB、yB)表示对象预测模块左上像素的图片内的位置，nS表示对象预测模块的尺寸，且表示对象预测模块的宽度或高度中的较大的值。上式中，如参照图14(a)所说明那样，将与对象预测模块上边相邻的解码像素的行以及与对象预测模块左边相邻的解码像素的列所包含的解码像素值复制为对应的未过滤参照像素值。需要说明的是，在不存在与特定的参照像素位置相对应的解码像素值或无法参照的情况下，也可以利用已定的值(例如像素位深度为bit Depth的情况下1<<(bit Depth-1))，也可以利用存在于对应的解码像素值的附近的能够参照的解码像素值。
已过滤参照像素设定部143根据输入的预测模式，针对输入的未过滤参照像素值应用过滤器，对参照区域上的各位置(x、y)处的已过滤参照像素值s[x、y]进行导出并输出。具体而言，对位置(x、y)和其周边的未过滤参照像素值应用低通滤波器，并导出已过滤参照像素。需要说明的是，未必需要在所有的情况下都应用低通滤波器，只要至少相对于一部分的方向预测模式应用低通滤波器来导出已过滤参照像素即可。例如，如HEVC的帧内预测那样，也可以在预测模式为DC预测的情况下、预测模块尺寸为4×4像素的情况下，将未过滤参照像素值直接作为已过滤参照像素值。此外，也可以利用从编码数据解码的标志来切换该低通滤波器应用的有无。
帧内预测部144基于输入的预测模式和已过滤参照像素值生成对象预测模块的预测图像并作为已过滤预测图像进行输出。帧内预测部144在内部具备DC预测部144D、Planar预测部144P、水平预测部144H、垂直预测部144V以及Angular预测部144A。帧内预测部144根据输入的预测模式选择特定的预测部，并对已过滤参照像素值进行输入。与预测模式对应的预想部的关系如以下所示。
·DC预测…DC预测部144D
·Planar预测…Planar预测部144P
·水平预测…水平预测部144H
·垂直预测…垂直预测部144V
·Angular预测…Angular预测部144A
DC预测部144D对相当于输入的已过滤参照像素值的平均值的DC预测值进行导出，并输出将导出的DC预测值作为像素值的预测图像。
Planar预测部144P对应于与预测对象像素的距离而对多个已过滤参照像素值进行线性加法运算，由此利用导出的值生成预测图像并对其进行输出。例如，预测图像的像素值q[x、y]能够使用已过滤参照像素值s[x、y]和对象预测模块的尺寸nS通过以下的式来导出。
q[x、y]＝(
(nS-1-x)*s[-1、y]+(x+1)*s[nS、-1]+
(nS-1-y)*s[x、-1]+(y+1)*s[-1、nS]+nS)>>(k+1)
在此，x、y＝0..nS-1，且定义为k＝log2(nS)。
水平预测部144H将与对象预测模块的左边相邻的参照区域上的已过滤参照像素值外插于水平方向，由此生成预测图像并对其进行输出。
垂直预测部144V将与对象预测模块的上边相邻的参照区域上的已过滤参照像素值外插于铅垂方向(垂直方向)，由此生成预测图像并对其进行输出。
Angular预测部144A使用预测模式所示的预测方向(参照方向)的已过滤参照像素生成预测图像并对其进行输出。在Angular预测中，对应于主方向标志bRefVer的值而将与预测模块的上或左相邻的参照区域设定为主参照区域，将主参照区域上的已过滤参照像素值设定为主参照像素值。预测图像的生成以预测模块内的行或列的单位参照主参照像素值来执行。在主方向标志bRefVer的值为1(主方向为垂直方向)的情况下，将预测图像的生成单位设定为行并将对象预测模块的上方的参照区域设定为主参照区域。主参照像素值refMain[x]使用已过滤参照像素值s[x、y]通过下式来设定。
refMain[x]＝s[-1+x、-1]、withx＝0..2*nS
refMain[x]＝s[-1、-1+((x*invAngle+128)>>8)]、withx＝-nS..-1
需要说明的是，在此invAngle相当于对预测方向的位移intraPredAngle的倒数进行了测量的值。通过上式设定了在x为0以上的范围内，refMain[x]的值为与对象预测模块上边相邻的参照区域上的已过滤参照像素值。此外，在x小于0的范围内，作为refMain[x]的值被设定在与对象预测模块左边相邻的参照区域上的已过滤参照像素值基于预测方向而被导出的位置。预测图像q[x、y]通过下式来计算。
q[x、y]＝((32-iFact)*refMain[x+iIdx+1]+iFact*refMain[x+iIdx+2]+16)>>5在此，iIdx和iFact表示基于根据预测对象行、主参照区域的垂直方向的距离(y+1)、预测方向而确定的梯度intraPredAngle计算的预测对象像素的生成所使用的主参照像素的位置。iIdx相当于像素单位中的整数精度的位置，iFact相当于像素单位中的小数精度的位置，并通过以下的式来导出。
iIdx＝((y+1)*intraPredAngle)>>5
iFact＝((y+1)*intraPredAngle)&31
在此，‘&’为表示逻辑积的位运算的运算符，“A&31”的结果是指，使整数A除以32后的余数。
在主方向标志bRefVer的值为0(主方向为水平方向)的情况下，将预测图像的生成单位设定为列并将对象PU的左侧的参照区域设定为主参照区域。主参照像素值refMain[x]使用主参照区域上的已过滤参照像素值s[x、y]通过下式来设定。
refMain[x]＝s[-1、-1+x]、withx＝0..nS
refMain[x]＝s[-1+((x*invAngle+128)>>8)、-1]、withx＝-nS..-1
预测图像q[x、y]通过下式来计算。
q[x、y]＝((32-iFact)*refMain[y+iIdx+1]+iFact*refMain[y+iIdx+2]+16)>>5在此，iIdx和iFact表示基于预测对象列、主参照区域的水平方向的距离(x+1)、梯度intraPredAngle计算的预测像素的生成所使用的主参照像素的位置。iIdx相当于像素单位中的整数精度的位置，iFact相当于像素单位中的少数精度的位置，并通过以下的式来导出。
iIdx＝((x+1)*intraPredAngle)>>5
iFact＝((x+1)*intraPredAngle)&31
需要说明的是，帧内预测部144的结构并不限于所述内容。例如，水平预测部144H所生成的预测图像和垂直预测部144V所生成的预测图像也能够在Angular预测部144A中被导出，因此，能够是不具备水平预测部144H、垂直预测部144V，而具备Angular预测部144A的构成。
(预测图像补正部的详细)
预测图像补正部145对应于输入的预测模式，将构成已过滤预测图像的各像素作为对象，对应于参照区域与对象像素的距离对未过滤参照像素值和已过滤预测像素值进行加权加法运算，由此对已过滤预测图像进行修正而作为预测图像(补正预测图像)进行输出。
在预测图像补正部145中，参照图6对导出预测模块内位置(x、y)处的预测像素值p[x、y]的处理进行说明。图6(a)表示预测像素值p[x、y]的导出式。对于预测像素值p[x、y]，对已过滤预测像素值q[x、y]和未过滤参照像素值r[x、-1]、r[-1、y]、r[-1、-1]进行加权加法运算而被导出。在此，smax为相当于用整数表示距离加权k的调节项的已定的正的整数值，并称作第一标准化调节项。例如使用smax＝6。Rshift为用于使参照强度系数标准化的已定的正的整数值，并称作第二标准化调节项。例如使用rshift＝7。Rshift和smax的值的组合并不限定于所述的值，也可以是图6(a)所示的式表示加权加法运算，将满足用整数表示距离加权k的状况的其他的值用作已定值。
对于相对于未过滤参照像素值的加权系数，使按预测方向预先设定的参照强度系数(c1v、c2v、c1h、c2h)与依赖于与参照区域的距离(x或y)的距离加权k(k[x]或k[y])相乘并导出。更具体而言，作为未过滤参照像素值r[x、-1](上方未过滤参照像素值)的加权系数(第一加权系数w1v)，使用参照强度系数c1v与距离加权k[y](垂直方向距离加权)之积。此外，作为未过滤参照像素值r[-1、y](左方未过滤参照像素值)的加权系数(第二加权系数w1h)，使用参照强度系数c1h与距离加权k[x](水平方向距离加权)之积。此外，作为未过滤参照像素值r[-1、-1](左上未过滤参照像素值)的加权系数(第三加权系数w2v)，使用参照强度系数c2v与距离加权k[y](垂直方向距离加权)之积。此外，作为左上未过滤参照像素值的加权系数(第四加权系数w2h)，使用参照强度系数c2h与距离加权k[x](水平方向距离加权)之积。
图6(b)表示相对于已过滤预测像素值q[x、y]的加权系数b[x、y]的导出式。加权系数b[x、y]的值以加权系数和参照强度系数之积的总和与“1<<(smax+rshift)”一致的方式被导出。该值以基于图6(a)中的(smax+rshift)的右位移运算而使加权系数与参照强度系数之积标准化的意图来设定。
图6(c)为，在表示距离加权k[x]的导出式的距离加权k[x]中设定有使从smax减去对应于对象像素和参照区域的水平距离x而单调增加的值“floor(x/d)”得到的差分值左位移1而获得的值。在此，floor()表示取整函数，d表示与预测模块尺寸对应的已定的参数，“x/d”表示x除以d(小数点以下舍弃)。在距离加权k[y]中，对于所述的距离加权k[x]的定义，也能够利用通过垂直距离y置换水平距离x的定义。距离加权k[x]以及k[y]的值为，x或y的值越大其越小的值。
根据参照所述的图6进行说明的预测像素值的导出方法，成为作为对象像素与参照区域的距离的参照距离(x、y)越大距离加权(k[x]、k[y])的值越小的值。因而，成为已定的参照强度系数与距离加权相乘而获得的未过滤参照像素的加权系数的值也较小的值。因此，预测模块内的位置越靠近参照区域，越增大未过滤参照像素值的加权来对已过滤预测像素值进行补正，由此能够导出预测像素值。通常，相比已过滤预测像素值越靠近参照区域未过滤参照像素值适于作为对象像素的像素值的估计值的可能性越高。故此，与将已过滤预测像素值直接作为预测像素值的情况相比较，通过图6的式导出的预测像素值成为预测精度较高的预测像素值。除此以外，根据图6的式，能够通过参照强度系数与距离加权相乘而导出相对于未过滤参照像素值的加权系数。因此，提前按距离对距离加权的值进行计算并保持在表中，由此，不用使用右位移运算、除法运算而能够导出加权系数。
需要说明的是，参照距离被定义为对象像素与参照区域的距离，作为参照距离的示例列举了对象像素的预测模块内位置x和对象像素的预测模块内位置y，但是，作为参照距离，也可以利用表示对象图像和参照区域的距离的其它的变量。例如，也可以将参照距离定义为距预测像素最近的参照区域上的像素之间的距离。此外，也可以将参照距离定义为预测像素与该预测模块的左上相邻的参照区域上的像素的距离。此外，在参照距离通过两个像素间的距离来限定的情况下，该距离也可以是广义的距离。广义的距离d(a、b)相对于任意的3点a、b、c∈X，满足非负性(正定值性)：d(a、b)≥0，(a、b)＝0，对称性：d(a、b)＝d(b、a)，三角不等式：d(a、b)+d(b、c)≥d(a、c)，的各性质。需要说明的是，在以下的记载中，将参照距离标记为参照距离x，但是，x并不限定于水平方向的距离，也能够应用于任意的参照距离。例如，在对距离加权k[x]的计算式进行例示的情况下，其也能够应用于将垂直方向的参照距离y用作参数进行计算的距离加权k[y]。
<预测图像补正部145的流程>
以下，参照图1对预测图像补正部145的动作进行说明。图1为表示预测图像补正部145的动作的流程图。
(S21)预测图像补正部145对按预测方向预先设定的参照强度系数(c1v、c2v、c1h、c2h)进行设定。
(S22)预测图像补正部145根据对象像素(x、y)与参照区域的距离(x或y)，而分别导出x方向的距离加权k[x]以及y方向的距离加权k[y]。
(S23)预测图像补正部145使步骤S21中导出的各参照强度系数与S22中导出的各距离加权相乘，而导出以下的加权系数。
第一加权系数w1v＝c1v*k[y]
第二加权系数w1h＝c1h*k[x]
第三加权系数w2v＝c2v*k[y]
第四加权系数w2h＝c2h*k[x]
(S24)预测图像补正部145对与步骤S23中导出的各加权系数(w1v、w1h、w2v、w2h)对应的未过滤参照像素值(r[x、-1]、r[-1、y]、r[-1、-1]、r[-1、-1])之积进行计算。
未过滤参照像素值r[x、-1]与第一加权系数w1v之积m1＝w1v*r[x、-1]
未过滤参照像素值r[-1、y]与第二加权系数w1h之积m2＝w1h*r[-1、y]
未过滤参照像素值r[-1、-1]与第三加权系数w2v之积m3＝w2v*r[-1、-1]
未过滤参照像素值r[-1、-1]与第四加权系数w2h之积m4＝w2h*r[-1、-1]
(S25)预测图像补正部145以相对于对象像素(x、y)，第一加权系数w1v、第二加权系数w1h、第三加权系数w2v、第四加权系数w2h与加权系数b[x、y]的总和成为“1<<(smax+rshift)”的方式，通过下述式对加权系数b[x、y]进行导出。
b[x、y]＝(1<<(smax+rshift))-w1v-w1h+w2v+w2h
(S26)预测图像补正部145对与对象像素(x、y)相对应的已过滤预测像素值q[x、y]与加权系数b(x、y)之积m5进行计算。
m5＝b[x、y]*q[x、y]
(S27)预测图像补正部145通过下述式导出步骤S24中导出的积m1、m2、m3、m4以及步骤S26中导出的积m5以及舍入调节项(1<<(smax+rshift-1))的总和sum。
sum＝m1+m2-m3-m4+m5+(1<<(smax+rshift-1))
(S28)预测图像补正部145如以下所示使步骤S27中导出的加法值sum在第一标准化调节项与第二标准化调节项之和(smax+rshift)中进行右位移运算，由此，导出对象像素(x、y)的预测像素值p[x、y]。
p[x、y]＝sum>>(smax+rshift)
需要说明的是，舍入调节项表示为第一标准化调节项smax和第二标准化调节项rshift，优选(1<<(smax+rshift-1))，但是并不于限定此。例如，也可以将舍入调节项设为0，也可以是其他的规定的常数。
以上，预测图像补正部145针对预测模块内的全部像素重复步骤S21～S28所示的处理，由此，生成预测模块内的预测图像p[x、y]。需要说明的是，预测图像补正部145的动作并不限定于所述步骤，而在能够实施的范围内进行变更。
(预测图像生成处理的流通)
接着，使用图7的流程图对预测图像生成部14中的CU单位的预测图像生成处理的概要进行说明。当开始CU单位的预测图像生成处理时，首先，预测单位设定部141根据已定的顺序将CU内所包含的预测模块中的一者设定为对象预测模块，将对象预测模块信息输出至未过滤参照像素设定部142(S11)。接着，未过滤参照像素设定部142使用从外部的帧存储器读出的解码像素值对对象预测模块的参照像素进行设定并将未过滤参照像素值输出至已过滤参照像素设定部143和预测图像补正部145(S12)。接下来，已过滤参照像素设定部143从S12中输入的未过滤参照像素值导出已过滤参照像素值并输出至帧内预测部144(S13)。接着，帧内预测部144根据输入的预测模式和S13中输入的已过滤参照像素生成对象预测模块的预测图像并作为已过滤预测图像进行输出(S14)。接着，预测图像补正部145基于预测模式和S12中输入的未过滤参照像素值对S14中输入的已过滤预测图像进行补正而生成预测图像并对其进行输出。接着，对CU内的所有的预测模块(PU)的处理是否结束进行判断，在未结束的情况下返回至S11对以下的预测模块进行设定，在结束的情况下结束处理(S16)。
(运动图像解码装置的效果)
所述说明的本实施方式中的运动图像解码装置具备将预测图像补正部145作为构成要素的预测图像生成部14，预测图像生成部14以已过滤预测图像的各像素为对象，利用基于加权系数的加权加法运算根据未过滤参照像素值和已过滤预测像素值生成预测图像(补正预测图像)。所述加权系数为，根据预测模式所示的预测方向而确定的参照强度系数和伴随着对象像素与参照区域的距离的增加而单调减少的距离加权之积。因而，成为参照距离(例如x、y)越大距离加权(例如k[x]、k[y])的值越小的值，因而，参照距离越小越增大未过滤参照像素值的加权来生成预测图像，由此，能够生成预测精度较高的预测像素值。除此以外，加权系数为参照强度系数与距离加权之积，因此，提前按距离对距离加权的值进行计算并保持在表中，不用使用右位移运算、除法而能够导出加权系数。
〔变形例1：当距离变大时将距离加权设为0的构成〕
在所述实施方式中的预测图像补正部145中，参照图6(a)对作为参照强度系数与距离加权之积而导出加权系数的情况进行说明。作为距离加权的值，如图6(c)所示，利用对应于对象像素与参照区域的距离x(参照距离x)的增加而减少的距离加权k[x]，但是，也可以构成在参照距离x为规定的值以上的情况下将距离加权k[x]设为0的预测图像补正部145。这样的构成中的距离加权k[x]的计算式的示例如图8所示。根据图8的距离加权k[x]的计算式，在参照距离x小于规定的阈值TH的情况下，利用与图6(c)相同的计算式根据参照距离x对距离加权k[x]进行设定。除此以外，在参照距离x为规定的阈值TH以上的情况下，无论参照距离x距离如何均将加权k[x]的值设定为0。作为阈值TH的值，能够使用已定的值，例如在第一标准化调节项smax的值为6，第二标准化调节项rshift的值为7的情况下，能够将阈值TH的值设定为7来执行预测图像补正处理。
需要说明的是，阈值TH也可以依赖于第一标准化调节项smax来变更。更具体而言，也可以设定为伴随着第一标准化调节项smax的增加阈值TH也增加。参照图9对这样的阈值TH的设定例进行说明。图9为表示第一标准化调节项smax不同时的参照距离x与加权系数k[x]的关系的表。在此，假定第二标准化调节项rshift的值为7。图9(a)、图9(b)、图9(c)分别示出表示模块尺寸的变量d的值为1、2、3的时的参照距离x与加权系数k[x]的关系。变量d为伴随着预测模块尺寸的增加而增加的变量，例如，相对于预测模块尺寸4x4分配d＝1，相对于预测模块尺寸8x8以及16x16分配d＝2，相对于大于32x32的预测模块尺寸分配d＝3。根据该意思，将变量d称作预测模块尺寸辨别信息d。在图9(a)中，对应于第一标准化调节项smax的大小而设定不同的阈值TH。图9(a)所示的第一标准化调节项smax与阈值TH的关系如以下所述。
·smax＝6的情况下，TH＝7
·smax＝5的情况下，TH＝6
·smax＝4的情况下，TH＝5
·smax＝3的情况下，TH＝4
所述的关系能够通过TH＝1+smax这样的关系式来表示。同样地，在图9(b)所示的表中smax与TH的关系能够通过TH＝2*(1+smax)这样的关系式来表示。同样地，在图9(c)所示的表中smax与TH的关系能够通过TH＝3*(1+smax)这样的关系式来表示。即，阈值TH能够基于预测模块尺寸辨别信息d以及第一标准化调节项smax，通过TH＝d*(1+smax)的关系式来表示。第一标准化调节项smax为表示加权系数k[x]的表示精度的数，在加权系数k[x]的表示精度较高的情况下，所述的关系还能够表示为对更大的阈值TH进行设定。因而，在加权系数k[x]的表示精度较小的情况下，加权系数k[x]的值相对较小，因此，对更小的阈值TH进行设定，由此，在预测图像补正处理中能够省略更多的乘法运算。
此外，如图6(c)中所说明那样，在从smax减去与x对应的数的运算(例如smax-floor(x/d))而导出距离加权k[x]的情况下，当x变大时，smax-floor(x/d)为负。在某处理系统中能够执行负的左位移运算(结果为，与右位移运算等效)处理，但是，在其它的处理系统中无法执行负的左位移运算，只能够执行0以上的数的左位移。如本实施方式那样，在大于阈值TH的情况下，将加权系数k[x]设为0，在除此以外的情况下，使用对应于距离x而单调减少那样的k[x]的导出方法，由此，能够避开负的左位移运算。
如以上说明那样，能够构成在参照距离x为规定的值以上的情况下将距离加权k[x]设为0的预测图像补正部145。在该情况下，相对于预测模块中的部分区域(参照距离x为阈值TH以上的区域)省略预测图像补正处理中的乘法运算。
例如，在预测图像补正处理的计算的一部分存在有sum值的计算，能够通过sum＝m1+m2-m3-m4+m5+(1<<(smax+rshift-1))的形式来表示。在超过阈值TH的x中，k[x]＝0，所以，w1h、w2h为0，因而m2、m4也为0。因此，能够使sum＝m1-m3+m5+(1<<(smax+rshift-1))的计算简化。同样地，b[x、y]＝(1<<(smax+rshift))-w1v-w1h+w2v+w2h的处理能够被简化为b[x、y]＝(1<<(smax+rshift))-w1v+w2v。
同样地，在超过阈值TH的y中，k[y]＝0，所以，w1v、w2v成为0，因而m1、m3也成为0。因此，所述sum值的计算能够简化为sum＝m2-m4+m5+(1<<(smax+rshift-1))。同样地，b[x、y]＝(1<<(smax+rshift))-w1v-w1h+w2v+w2h的处理能够被简化为b[x、y]＝(1<<(smax+rshift))-w1h+w2h。
除了能够单纯地削减乘法运算次数的效果以外，还具有能够实现在所述部分区域整体通过削减了乘法运算的并行处理一并进行处理这样的效果。
需要说明的是，如所述那样，将阈值TH设为变量d，对应于第一标准化调节项smax的大小而设定不同的阈值TH，从而能够最大限度地削减加权系数k[x]导出以及预测图像补正处理，但是，作为更简化的构成，作为阈值TH也能够使用固定的值TH。特别是，在大多的软件中以4或者8的倍数进行并行处理，因此，使用TH＝8、12、16等固定值，由此，在简单的构成中，能够导出适于并行运算的加权系数k[x]。
此外，作为阈值TH，也能够设定根据预测模块尺寸而确定的规定的值。例如，也可以将预测模块尺寸的宽度的一半的值设定为阈值TH的值。在该情况下，相对于预测模块尺寸为16×16的阈值TH的值为8。此外也可以在预测模块尺寸为8×8以下的情况下，将阈值TH设为4，在除此以外的预测模块尺寸的情况下，将阈值TH设为8。换言之，对在位于预测模块的右下区域的像素中加权系数为0的阈值TH进行设定。在并行执行预测模块中的预测图像生成处理的情况下，执行以2的倍数分割预测模块而获得的区域单位的情况较多，因此，对将右下区域整体的加权系数设为0的阈值TH进行设定，由此，能够相对于该区域内的所有的像素以相同的处理执行预测图像补正处理。
〔变形例2：利用表导出距离加权的构成〕
在所述实施方式中的预测图像补正部145中，对根据图6(c)所示的计算式导出距离加权k[x]的值的情况进行说明，但是，也能够基于存储器、硬盘等记录区域上所保存的参照距离x、第一标准化调节项smax以及预测模块尺寸辨别信息d与距离加权k[x]的关系对距离加权k[x]进行确定来执行预测图像补正处理。例如，将图9所示的表(距离加权导出表)保持在记录区域，预测图像补正部145基于第一标准化调节项smax、预测模块尺寸辨别信息d参照距离x来参照距离加权导出表ktable[](图9中表也仅表示为k[])的特定的条目ktable[x]，由此能够确定距离加权k[x]。换言之，能够将参照距离x、第一标准化调节项smax以及预测模块尺寸辨别信息d作为索引来参照记录区域上的距离加权导出表，由此能够确定距离加权k[x]。使用图9所示的距离加权导出表时的距离加权k[x]的导出处理通过按顺序执行以下的S301～S303来实现。
(S301)根据预测模块尺寸辨别信息d的值选择对应的表。具体而言，在d＝1的情况下选择图9(a)的表，在d＝2的情况下选择图9(b)的表，在d＝3的情况下选择图9(c)的表。需要说明的是，在无论预测模块尺寸如何参照距离x与距离加权k[x]的关系均相同的情况下，能够省略该过程。
(S302)根据第一标准化调节项smax的值选择表内的对应的行。例如，在smax＝6的情况下，在S301中所选择的表中表示“k[x](smax＝6)”的行。需要说明的是，在smax的值为已定值的情况下，该过程可以省略。
(S303)从S302中选择的行中选择与参照距离x相对应的k[x]，并设定为距离加权k[x]的值。
例如在预测模块尺寸为4×4(预测模块尺寸辨别信息d的值为1)，第一标准化调节项的值为6，参照距离x为2的情况下，在S301的过程中选择图9(a)的表，在S302的过程中选择“k[x](smax＝6)”的行，将S303的过程中“x＝2”的列所记载的值“16”设定为加权系数k[x]。
需要说明的是，在省略S301和S302的情况下，实施如下处理，即将参照距离x作为索引并参照记录区域上的距离加权导出表，由此对距离加权k[x]进行确定。
作为距离加权导出表的示例列举图9的表为例进行了说明，但是，也能够将其它的表用作距离加权导出表。在该情况下，需要距离加权导出表至少满足以下的性质1。
(性质1)k[x]为参照距离x的广义单调增加函数。换言之，在参照距离x1与参照距离x2满足x1<x2的关系时，k[x2]>＝k[x1]的关系成立。
在距离加权导出表满足性质1的情况下，能够相对于参照距离更大的位置的像素设定更小的距离加权来执行预测图像补正处理。
此外，优选距离加权导出表除了所述性质1以外，还满足以下的性质2。
(性质2)k[x]为用2的幂运算来表示的值。
参照具有所述的性质2的距离加权导出表而导出的距离加权k[x]的值为2的幂运算。另一方面，如图6(a)所示，在预测图像补正处理中，包含使参照强度系数(例如c1v)与距离加权k[x]相乘，由此将加权系数导出的处理。因而，在具有性质2的情况下，距离加权k[x]的乘法运算为为2的幂运算的乘法运算，因此，能够通过左位移运算来执行乘法运算，能够以少于乘法运算的处理成本导出加权系数。此外，在k[x]为2的幂运算的情况下，在乘法运算比较容易的软件中通过k[x]之积来实现，在位移运算比较容易的硬件中能够通过表示k[x]＝1<<s[x]的关系的加权位移值s[x]的位移运算来执行预测图像补正处理。
以上，如作为变形例2所记载那样，能够实现基于记录区域上所保存的参照距离x与距离加权k[x]的关系对距离加权k[x]进行确定来执行预测图像补正处理的构成。在该情况下，与通过图6(c)所示的计算式来导出距离加权k[x]的情况相比较，能够以更少的运算次数导出距离加权。
〔变形例3：距离左位移值的构成〕
在所述实施方式中的预测图像补正部145中，如图6(a)所示使用参照强度系数与距离加权之积(例如，c1v*k[y])导出加权系数。然而，对于加权系数的导出也可以使用与积相同的其它的方法，例如，能够构成将以距离位移值为位移宽度的左位移应用于参照强度系数，由此将加权系数导出的预测图像补正部145。以下，参照图10对该示例进行说明。
图10(a)表示预测模块内位置(x、y)的预测像素值p[x、y]的导出式。在导出式中，例如，相对于未过滤参照像素值r[x、-1]的加权系数被设定为c1v<<s[y]。也就是说，通过根据参照距离y而确定的距离位移值s[y]使参照强度系数c1v进行左位移，由此导出加权系数。
图10(b)表示相对于已过滤预测像素值q[x、y]的加权系数b[x、y]的其他的导出式。
图10(c)表示距离位移值s[x]的导出式。距离位移值s[x]s[x](k[x]＝1<<s[x])中设定有从smax减去对应于参照距离x(对象像素与参照区域的水平距离x)而单调增加的值“floor(x/d)”而得到的差分值。在此，floor()表示取整函数，d表示与预测模块尺寸对应的已定的参数，“x/d”表示y除以d(小数点以下舍弃)。对于距离位移值s[y]，在所述的距离加权s[x]的定义中，也能够利用通过垂直距离y置换水平距离x的定义。距离位移值s[x]以及s[y]的值为，参照距离(x或y)越大其越小的值。
根据参照所述的图10进行说明的预测像素值的导出方法，成为对象像素与参照区域的距离(x、y)越大距离位移值(s[x]，s[y])的值越小的值。距离位移值越大导出的加权系数也越大，因此，如已经说明那样，预测模块内的位置越靠近参照区域，越增大未过滤参照像素值的加权来对已过滤预测像素值进行补正，由此能够将预测像素值导出。
以下，再参照图1对预测图像补正部145的变形例3的动作进行说明。在预测图像补正部145的变形例3中，通过将(S23)置换为以下的(S23′)的处理来导出加权系数。其他的处理如已经说明那样，因此省略说明。
(S23′)预测图像补正部145(变形例3)对步骤S21中导出的各参照强度系数实施S22中导出的各距离位移值的左位移，导出以下的加权系数。
第一加权系数w1v＝c1v<<s[y]
第二加权系数w1h＝c1h<<s[x]
第三加权系数w2v＝c2v<<s[y]
第四加权系数w2h＝c2h<<s[x]
以上，在预测图像补正部145的变形例3中，通过距离位移值s[x]使距离加权k[x]进行左位移并将其导出。不仅左位移值自身是高速的，左位移运算在作为乘法运算而能够置换为等效的计算这样的意思方面来说也是优异。
〔变形例4：提高距离加权的精度的构成〕
在所述实施方式中的预测图像补正部145中，参照图6(c)，对距离加权k[x]的左位移运算的计算方法进行了说明。在此，如图6(c)的式那样，在通过距离加权k[x]通过以“k＝P<<Q”的形式来表示的左位移运算被导出的情况下，距离加权k[x]能够表示为相对于被位移项P应用左位移宽度Q的左位移来导出。
在至此所述的结构中，在图6(c)中，被位移项P为“1”，左位移宽度Q为“smax-floor(x/d)”。在该情况下，距离加权k[x]的可取的值限制于2的幂运算。
然而，也能够通过距离加权k[x]不限制于2的幂运算的方法来求得距离加权k[x]。参照图11对这样的距离加权k[x]的导出式进行说明。
图11(a)至(d)分别表示通过左位移运算对距离加权k[x]进行导出的计算式的一个示例。图11(a)(b)为d＝2的时所使用的距离加权k[x]的导出式，图11(c)(d)为d＝3的时所使用的距离加权k[x]的导出式。在d＝2的情况下，作为距离加权k[x]的导出式使用2的剩余项MOD2(x)，在d＝3的情况下，作为距离加权k[x]的导出式使用3的剩余项MOD3(x)。图11(a)中，将被位移项P设为“4-MOD2(x)”，将左位移宽度Q设为“smax-floor(x/2)+2”。在此，“MOD2(x)”为使x除以除数2得到的剩余，“floor(x/2)”为使x除以除数2得到的商。能够使用已定的除数a(图11(a)中a＝2)、已定的常数b(图11(a)中b＝2)如下所示表示图11(a)。即，图11(a)中，将被位移项P设为“从2的b次幂减去参照距离x的除数a的剩余(MOD2(x))而得到的值”，将左位移宽度Q设为“从第一标准化调节项(smax)减去参照距离x的除数a的商(floor(x/2))再加上常数b而得到的值”。
图11(b)中，将被位移项P设为“16-5*MOD2(x)”，将左位移宽度Q设为“smax-floor(x/2)+4”。能够使用已定的除数a(图11(b)中a＝2)、已定的常数b(图11(b)中b＝4)、已定的常数c(图11(b)中c＝5)以如下方式表示图11(b)。即，图11(b)中，将被位移项P设为“从2的b次幂减去参照距离x的除数a的剩余(MOD2(x))与常数c之积而得到的值”，将左位移宽度Q设为“从第一标准化调节项(smax)减去参照距离x的除数a的商(floor(x/2))再加上常数b而得到的值”。
图11(c)中，将被位移项P设为“8-MOD3(x)”，将左位移宽度Q设为“smax-MOD3(x)+3”。在此，“MOD3(x)”为x除以除数3之后的剩余，“floor(x/3)”为x除以除数3的商。能够使用已定的除数a(图11(c)中a＝3)、已定的常数b(图11(b)中b＝3)以如下方式表示图11(c)。即，图11(c)中，将被位移项P设为“从2的b次幂减去参照距离x的除数a的剩余(MOD3(x))而得到的值”，将左位移宽度Q设为“从第一标准化调节项(smax)减去参照距离x的除数a的商(floor(x/3))再加上常数b而得到的值”。
图11(d)中，将被位移项P设为“16-3*MOD3(x)”，将左位移宽度Q设为“smax-MOD3(x)+4”。能够使用已定的除数a(图11(d)中a＝3)、已定的常数b(图11(b)中b＝4)、已定的常数c(图11(b)中c＝3)以如下方式表示图11(d)。即，图11(d)中，将被位移项P设为“从2的b次幂减去参照距离x的除数a的剩余(MOD3(x))与常数c之积而得到的值”，将左位移宽度Q设为“从第一标准化调节项(smax)减去参照距离x的除数a的商(floor(x/3))再加上常数b而得到的值”。
对所述图11(a)和图11(c)的式进行总结能够以如下方式来表示。对限定的除数a、已定的常数b进行设定，将被位移项P设定为“从2的b次幂减去参照距离x的除数a的剩余而得到的值”，将左位移宽度Q设定为“从第一标准化调节项减去参照距离x的除数a的商再加上常数b而得到的值”，对被位移项P应用左位移宽度Q的左位移运算，由此导出距离加权。
对所述图11(b)和图11(d)的式进行总结能够以如下方式来表示。对限定的除数a、已定的常数b、已定的常数c进行设定，将被位移项P设定为“从2的b次幂减去参照距离x的除数a的剩余与常数c之积而得到的值”，将左位移宽度Q设定为“从第一标准化调节项减去参照距离x的除数a的商再加上常数b而得到的值”，对被位移项P应用左位移宽度Q的左位移运算，由此导出距离加权。根据如以上所述图11所示的距离加权k[x]的计算方法，能够基于使参照距离x除以已定的除数而得到的剩余来设定被位移项P的值。因此，能够将被位移项P设定为1以外的值。因而，能够将2的幂运算以外的值作为距离加权k[x]的值而导出，因此距离加权的设定自由度得到提高，因而，能够设定能够利用预测图像补正处理导出预测残差更少那样的预测图像的距离加权。
例如，在受到2的幂运算以外的值限制的情况下，如图9所示，在d为1以外的情况下，会产生即使距离x发生变化距离加权也不会发生变化的情况。例如在d＝2、smax＝8的情况下，距离加权k[x]为8、8、4、4、2、2、1、1且随着x变大而两次发生一次变化，例如在d＝3、smax＝8的情况下，距离加权k[x]为8、8、8、4、4、4、2、2、2、1、1、1且三次发生一次变化。这是因为，在导出距离加权k[x]之际的floor(x/d)为d>0，会产生不连续地变化(只有长度d在x变大时仅变化1)的情况。在该情况下，不仅无法适应当距离变大时使边界的未过滤像素的加权减少这样的处理，有时由于变化不连续因此残留有伴随着预测方式的人工的图案(例如行)，也成为使主观画质下降的原因。根据图11所示的距离加权k[x]的计算方法，能够利用剩余的项而使变化连续，参照(图13)。这是因为，MOD2(x)为，伴随着x变大呈0、1、0、1、0、1、0、1变化的项，由此4-MOD2(x)呈4、3、4、3、4、3、4、3变化。从4向3为减少3/4＝0.7。在d＝2的情况下，当匹配作为位移值的smax-floor(x/d)两次发生一次变化(每两次一次为1/2)的情况时，以1、3/4、1/2、3/4*1/2、1/4、…的方式加权相对地发生变化。
也将参照所述图11进行说明的距离加权k[x]的计算式与作为变形例1而参照图8进行说明的距离加权k[x]的计算式组合起来。这样的组合的距离加权k[x]的计算式如图12所示。图12所示的距离加权k[x]的各计算式为，在参照距离x为规定的值以上的情况下成为0，对参照图11进行说明的对应的距离加权k[x]的计算式进行修正。图12(a)对应于图11(a)，图12(b)对应于图11(b)，图12(c)对应于图11(c)，图12(d)对应于图11(d)。
此外，在距离加权k[x]的导出中，也可以参照存储区域内的距离加权参照表来导出距离加权k[x]，以替代每次基于图12的计算式进行计算。距离加权参照表的示例如图13所示。图13的(a)至(d)所示的表为，保持图12的(a)至(d)的距离加权的计算式的结果的表。
需要说明的是，图11(a)和图11(c)特别适于硬件处理。例如4-MOD2(x)在硬件中不用使用安装规模变大的积而能够实施处理，8-MOD3(x)也是同样的。
〔变形例5：对应于模块尺寸而省略补正处理的构成〕
预测图像补正部145也可以是如下构成，即，在预测模块尺寸满足特定的条件的情况下，执行所述预测图像补正处理，在除此以外的情况下直接将输入的已过滤预测图像作为预测图像进行输出。具体而言，存在有在预测模块尺寸为规定的尺寸以下的情况下省略预测图像补正处理，在除此以外的情况下执行预测图像补正处理的构成。例如在预测模块尺寸为4×4、8×8、16×16、32×32的情况下，在4×4和8×8的预测模块中省略预测图像补正处理，在16×16和32×32的预测模块中执行预测图像补正处理。通常在使用较小的预测模块的情况下每单位面积的处理量成为较大的处理的瓶颈。因而，在比较小的预测模块中省略预测图像补正处理，由此，不会增加作为瓶颈的处理，能够利用预测图像补正处理的预测图像精度的提高效果来削减编码数据的代码量。
〔运动图像编码装置〕
参照图16对本实施方式所涉及的运动图像编码装置2进行说明。运动图像编码装置2具备具有与所述的预测图像生成部14相同功能的预测图像生成部24，其中，对输入图像#10进行编码而生成能够被所述运动图像解码装置1解码的编码数据#1并将其输出。使用图16对运动图像编码装置2的结构例进行说明。图16为表示运动图像编码装置2的结构的功能框图。如图16所示，运动图像编码装置2具备编码设定部21、逆量化/逆转换部22、加法器23、预测图像生成部24、帧存储器25、减法器26、转换/量化部27以及编码数据生成部29。
编码设定部21基于输入图像#10生成与编码相关的图像数据以及各种的设定信息。具体而言，编码设定部21生成以下的图像数据以及设定信息。首先，编码设定部21将输入图像#10依次分割为片段单位、树模块单位、CU单位来生成针对对象CU的CU图像#100。
此外，编码设定部21基于分割处理的结果生成头信息H’。头信息H’包含：(1)属于对象片段的树模块的尺寸、形状以及对象片段内的位置的信息；以及(2)属于各树模块的CU的尺寸、形状以及对象树模块内的位置的CU信息CU’。
而且，编码设定部21参照CU图像#100以及CU信息CU’生成PT设定信息PTI’。PT设定信息PTI’中包含与(1)对象CU能够向各PU(预测模块)的分割图案、以及(2)能够向各预测模块分配的预测模式的所有的组合相关的信息。
编码设定部21将CU图像#100供给至减法器26。此外，编码设定部21将头信息H’供给至编码数据生成部29。此外，编码设定部21将PT设定信息PTI’供给至预测图像生成部24。
逆量化/逆转换部22对由转换/量化部27供给的每个模块的量化预测残差进行逆量化以及逆正交转换，从而对每个模块的预测残差进行复原。对于逆正交转换，如已经对图2所示的逆量化/逆转换部13进行了说明那样，因此，在此省略其说明。
此外，逆量化/逆转换部22根据由TT分割信息(后述)指定的分割图案对每个模块的预测残差进行合并，生成针对对象CU的预测残差D。逆量化/逆转换部22将生成的针对对象CU的预测残差D供给至加法器24。
预测图像生成部24参照帧存储器25所记录的局部解码图像P’以及PT设定信息PTI’，生成针对对象CU的预测图像Pred。预测图像生成部24将由预测图像生成处理获得的预测参数设定为PT设定信息PTI’，将设定后的PT设定信息PTI’传输至编码数据生成部29。需要说明的是，预测图像生成部24的预测图像生成处理与运动图像解码装置1所具备的预测图像生成部14相同，省略说明。预测图像生成部24在内部包含图5所示的预测图像生成部14的各构成要素，能够输入PT信息PTI’和局部解码图像P’而生成预测图像并对其进行输出。
加法器23使由预测图像生成部24供给的预测图像Pred与由逆量化/逆转换部22供给的预测残差D相加，从而生成针对对象CU的解码图像P。
帧存储器25中依次记录有解码后的解码图像P。帧存储器25中记录有在对对象树模块进行解码的时刻，与在该对象树模块之前被解码的所有的树模块(例如，按光栅扫描先行的所有的树模块)相对应的解码图像。
减法器26从CU图像#100减去预测图像Pred，从而生成针对对象CU的预测残差D。减法器26将生成的预测残差D供给至转换/量化部27。
转换/量化部27相对于预测残差D实施正交转换以及量化，由此生成量化预测残差。需要说明的是，在此，正交转换是指，从像素区域向频率区域的转换。此外，作为逆正交转换的示例，可列举出DCT转换(Discrete Cosine Transform)以及DST转换(DiscreteSine Transform)等。
具体而言，转换/量化部27参照CU图像#100以及CU信息CU’，对向对象CU的一个或多个模块的分割图案进行确定。此外，根据所确定的分割图案，将预测残差D分割为针对各模块的预测残差。
此外，转换/量化部27在对针对各模块的预测残差进行正交转换从而生成频率区域内的预测残差之后，对该频率区域内的预测残差进行量化从而生成每个模块的量化预测残差。
此外，转换/量化部27生成包含与生成的每个模块的量化预测残差、对对象CU的分割图案进行指定的TT分割信息、能够向对象CU的各模块的所有分割图案相关的信息的TT设定信息TTI’。转换/量化部27将生成的TT设定信息TTI’供给至逆量化/逆转换部22以及编码数据生成部29。
编码数据生成部29对头信息H’、TT设定信息TTI’以及PT设定信息PTI’进行编码，对编码后的头信息H、TT设定信息TTI以及PT设定信息PTI进行多路复用而生成编码数据#1并对其进行输出。
(运动图像编码装置的效果)
所述说明的本实施方式中的运动图像编码装置具备包含预测图像补正部145为构成要素的预测图像生成部24，预测图像生成部24以已过滤预测图像的各像素为对象，利用基于加权系数的加权加法运算根据未过滤参照像素值和已过滤预测像素值生成预测图像(补正预测图像)。所述加权系数为，根据预测模式所示的预测方向而确定的参照强度系数和伴随着对象像素与参照区域的距离的增加而单调减少的距离加权之积。因而，成为参照距离(例如x、y)越大距离加权(例如k[x]、k[y])的值越小的值，因而，参照距离越小越增大未过滤参照像素值的加权来生成预测图像，由此能够生成预测精度的较高的预测像素值。除此以外，加权系数为参照强度系数与距离加权之积，因此，提前按距离对距离加权的值进行计算并保持在表中，由此，不用使用右位移运算、除法运算而能够导出加权系数。
〔预测图像生成装置〕
所述运动图像解码装置1和运动图像编码装置2在内部具备图5所示的预测图像生成部14，由此能够以更少的计算量导出预测精度的较高的预测图像来实现运动图像的编码以及解码处理。另一方面，还能够将预测图像生成部14应用于其他的用途。例如，预测图像生成部14还能够组装于对运动图像、静止图像的缺陷进行修补的图像缺陷修复装置来使用。在该情况下，预测模块相当于缺陷修补的对象区域，向预测图像生成部14的输入成为相当于图像缺陷的修复图案的预测模式以及预测模块周边的输入图像或者已修复的图像。输出成为预测模块中的已修复的图像。
能够以与预测图像生成部14相同的结构实现预测图像生成装置，预测图像生成装置能够用作运动图像解码装置、运动图像编码装置、图像缺陷修复装置的结构要素。
〔应用例〕
上述的运动图像编码装置2以及运动图像解码装置1能够搭载于实施运动图像的发送、接收、记录、再生的各种装置来使用。需要说明的是，运动图像既可以是由照相机等拍摄到的自然运动图像，也可以是由计算机等生成的人工运动图像(包含CG以及GUI)。
首先，参照图17对能够将上述的运动图像编码装置2以及运动图像解码装置1用于运动图像的发送以及接收的情况进行说明。
图17的(a)为表示搭载了运动图像编码装置2的发送装置PROD_A的结构的框图。如图17的(a)所示，发送装置PROD_A具备：编码部PROD_A1，其对运动图像进行编码从而获得编码数据；调制部PROD_A2，其利用编码部PROD_A1所获得的编码数据对载波进行调制从而获得调制信号；以及发送部PROD_A3，其对调制部PROD_A2所获得的调制信号进行发送。上述的运动图像编码装置2用作该编码部PROD_A1。
发送装置PROD_A也可以还具备：照相机PROD_A4，其作为向编码部PROD_A1进行输入的运动图像的供给源而对运动图像进行拍摄；记录介质PROD_A5，其记录有运动图像；输入端子PROD_A6，其用于从外部输入运动图像；以及图像处理部A7，其生成图像或对图像进行加工。虽在图17的(a)中，例示了发送装置PROD_A具备上述所有部件的构成，但是，也可以省略一部分。
需要说明的是，记录介质PROD_A5既可以记录有未被编码的运动图像，也可以记录有以不同于传输用的编码方式的记录用的编码方式编码的运动图像。在后者的情况下，在记录介质PROD_A5与编码部PROD_A1之间夹装根据记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)为好。
图17的(b)为表示搭载了运动图像解码装置1的接收装置PROD_B的结构的框图。如图17的(b)所示，接收装置PROD_B具备接收部PROD_B1，其接收调制信号；解调部PROD_B2，其对接收部PROD_B1接收到的调制信号进行解调从而获得编码数据；以及解码部PROD_B3，其对解调部PROD_B2获得的编码数据进行解码从而获得运动图像。上述的运动图像解码装置1用作该解码部PROD_B3。
接收装置PROD_B还可以具备显示面板PROD_B4，其作为解码部PROD_B3输出的运动图像的供给目的地而对运动图像进行显示；记录介质PROD_B5，其用于对运动图像进行记录；以及输出端子PROD_B6，其用于将运动图像输出至外部。虽在图17的(b)中，例示了接收装置PROD_B具备上述所有部件的构成，但是，也可以省略一部分。
需要说明的是，记录介质PROD_B5既可以用于记录未被编码的运动图像，也可以记录以不同于传输用的编码方式的记录用的编码方式编码的运动图像。在后者的情况下，在解码部PROD_B3与记录介质PROD_B5之间夹装根据记录用的编码方式对从解码部PROD_B3取得的运动图像进行编码的编码部(未图示)为好。
需要说明的是，对调制信号进行传输的传输介质既可以是无线，也可以是有线。此外，对调制信号进行传输的传输方式既可以是广播(在此是指，发送目的地未被预先特定的发送方式)，也可以是通信(在此是指发送目的地被预先特定的发送方式)。即，调制信号的传输也可以通过无线广播、有线广播、无线通信以及有线通信中的任意一者来实现。
例如，地面数字广播的广播局(广播设备等)/接收局(电视接收器等)为，通过无线广播对调制信号进行发送/接收的发送装置PROD_A/接收装置PROD_B的一个示例。此外，电缆电视广播的广播局(广播设备等)/接收局(电视接收器等)为，通过有线广播对调制信号进行发送/接收的发送装置PROD_A/接收装置PROD_B的一个示例。
此外，使用了帧间网络的VOD(Video On Demand)服务、运动图像共有服务等服务器(工作站等)/客户(电视接收器、私人计算机、智能电话等)为以通信的方式对调制信号进行发送/接收的发送装置PROD_A/接收装置PROD_B的一个示例(通常，LAN中作为传输介质使用无线或有线中的任意一者，WAN中作为传输介质使用有线)。在此，私人计算机包含台式PC、膝上型PC以及平板式PC。此外，智能电话也包含多功能便携式电话终端。
需要说明的是，运动图像共有服务的客户除了对从服务器下载的编码数据进行解码而显示于显示面板的功能以外，还具有对照相机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共有服务的客户作为发送装置PROD_A以及接收装置PROD_B这双方发挥功能。
接着，参照图18对能够将上述的运动图像编码装置2以及运动图像解码装置1用于运动图像的记录以及再生的情况进行说明。
图18的(a)为表示搭载了上述的运动图像编码装置2的记录装置PROD_C的结构的框图。如图18的(a)所示，记录装置PROD_C具备：编码部PROD_C1，其对运动图像进行编码从而获得编码数据；以及写入部PROD_C2，其将编码部PROD_C1获得的编码数据写入记录介质PROD_M。上述的运动图像编码装置2用作该编码部PROD_C1。
需要说明的是，记录介质PROD_M(1)也可以像HDD(Hard Disk Drive)、SSD(SolidState Drive)等那样是内置于记录装置PROD_C的类型；(2)也可以是像SD存储器卡、USB(Universal Serial Bus)闪存等那样是连接于记录装置PROD_C的类型；(3)也可以像DVD(Digital Versatile Disc)、BD(Blu-ray Disc：注册商标)等那样装填于内置于记录装置PROD_C的驱动器装置(未图示)。
此外，记录装置PROD_C也可以具备照相机PROD_C3，其作为向编码部PROD_C1进行输入的运动图像的供给源而对运动图像进行拍摄；输入端子PROD_C4，其用于将运动图像输入至外部；接收部PROD_C5，其用于对运动图像进行接收；以及图像处理部C6，其生成图像或对图像进行加工。虽在图18的(a)中，例示了记录装置PROD_C具备上述所有部件的构成，但是，也可以省略一部分。
需要说明的是，接收部PROD_C5既可以接收未被编码的运动图像，也可以接收以不同于记录用的编码方式的传输用的编码方式被编码的编码数据。在后者的情况下，在接收部PROD_C5与编码部PROD_C1之间夹装对以传输用的编码方式编码的编码数据进行解码的传输用解码部(未图示)为好。
作为这样的记录装置PROD_C，例如可列举出DVD记录器、BD记录器、HD(Hard Disk)记录器等(在该情况下，输入端子PROD_C4或接收部PROD_C5成为运动图像的主要的供给源)。此外，便携式摄像机(在该情况下，照相机PROD_C3成为运动图像的主要的供给源)、私人计算机(在该情况下，接收部PROD_C5成为运动图像的主要的供给源)、智能电话(在该情况下，照相机PROD_C3或接收部PROD_C5或图像处理部C6成为运动图像的主要的供给源)等也是这样的记录装置PROD_C的一个示例。
图18的(b)为表示搭载了上述的运动图像解码装置1的再生装置PROD_D的结构的模块。如图18的(b)所示，再生装置PROD_D具备读出部PROD_D1，其读出写入在记录介质PROD_M中的编码数据；以及解码部PROD_D2，其对读出部PROD_D1读出的编码数据进行解码从而获得运动图像。上述的运动图像解码装置1用作该解码部PROD_D2。
需要说明的是，记录介质PROD_M(1)也可以像HDD、SSD等那样是内置于再生装置PROD_D的类型；(2)也可以像SD存储器卡、USB闪存等那样是连接于再生装置PROD_D的类型；(3)也可以像DVD、BD等那样装填于内置于再生装置PROD_D的驱动器装置(未图示)。
此外，再生装置PROD_D也可以还具备显示面板PROD_D3，其作为解码部PROD_D2输出的运动图像的供给目的地而对运动图像进行显示；输出端子PROD_D4，其用于将运动图像输出至外部；以及发送部PROD_D5，其对运动图像进行发送。虽在图18的(b)中，例示了再生装置PROD_D具备上述所有部件的构成，但是，也可以省略一部分。
需要说明的是，发送部PROD_D5既可以发送未被编码的运动图像，也可以发送以不同于记录用的编码方式的传输用的编码方式被编码的编码数据。在后者的情况下，在解码部PROD_D2与发送部PROD_D5之间夹装以传输用的编码方式对运动图像进行编码的编码部(未图示)为好。
作为这样的再生装置PROD_D，例如可列举出DVD播放器、BD播放器、HDD播放器等(在该情况下，电视接收器等所连接的输出端子PROD_D4成为运动图像的主要的供给目的地)。此外，电视接收器(在该情况下，显示面板PROD_D3成为运动图像的主要的供给目的地)、数字标牌(也称作电子看板、电子布告板等，显示面板PROD_D3或发送部PROD_D5成为运动图像的主要的供给目的地)、台式PC(在该情况下，输出端子PROD_D4或发送部PROD_D5成为运动图像的主要的供给目的地)、膝上型或平板式PC(在该情况下，显示面板PROD_D3或发送部PROD_D5成为运动图像的主要的供给目的地)、智能电话(在该情况下，显示面板PROD_D3或发送部PROD_D5成为运动图像的主要的供给目的地)等也是这样的再生装置PROD_D的一个示例。
(硬件的实现以及软件的实现)
此外，上述的运动图像解码装置1以及运动图像编码装置2的各模块即可以通过形成在集成电路(IC芯片)上的逻辑电路即硬件来实现，也可以使用CPU(Central ProcessingUnit)即软件来实现。
在后者的情况下，所述各装置具备如下等存储装置(记录介质)等，即CPU，其执行实现各功能的程序的命令；ROM(Read Only Memory)，其存储有所述程序；RAM(RandomAccess Memory)，其将所述程序展开；以及存储器，其对所述程序以及各种数据进行存储。然后，本发明的目的在于，将以计算机能够读取的方式记录有作为实现上述的功能的软件的所述各装置的控制程序的程序码(执行形式程序、中间码程序、源程序)的记录介质供给至所述各装置，该计算机(或CPU、MPU)读出并执行记录介质所记录的程序码也能够来实现。
作为所述记录介质，例如能够使用磁带、盒带等磁带类、包含Floppy(注册商标)磁盘/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory)/MO磁盘(Magneto-Opticaldisc)/MD(Mini Disc)/DVD(Digital Versatile Disc)/CD-R(CD Recordable)/蓝光盘(Blu-ray Disc：注册商标)等光盘的磁盘类、IC卡(包含存储器卡)/光卡等卡类、掩膜ROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(注册商标)(Electrically Erasa bleand Programmable Read-Only Memory)/闪存ROM等半导体存储器类、或者PLD(Programmable logic device)、FPGA(Field Programmable Gate Array)等逻辑电路类等。
此外，也可以将所述各装置构成为能够与通信网络连接，并经由通信网络供给所述程序码。该通信网络只要能够传输程序码即可，并不特别限定。例如能够利用帧间网络、帧内网络、外部网络、LAN(Local Area Network)、ISDN(Integrated Services DigitalNetwork)、VAN(Value-Added Network)、CATV(Community Antennatelevision/CableTelevision)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动体通信网、卫星通信网等。此外，构成该通信网络的传输介质也是只要能够传输程序码的介质即可，并不限定于特定的结构或种类。例如无论是IEEE(Instituteof ElectricalandElectronic Engineers)1394、USB、电力线输送、电缆TV线路、电话线、ADSL(AsymmetricDigital SubscriberLine)线路等有线、还是IrDA(Infrared Data Association)、远程控制器那样的红外线、Bluetooth(注册商标)、IEEE802.11无线、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(注册商标)(Digital Living Network Alliance)、便携式电话网、卫星线路、地面波数字网等无线均能够利用。需要说明的是，本发明还能够以所述程序码通过电子传输来实现的、埋入于载波的计算机数据信号的方式来实现。
本发明能够适于应用于对图像数据被编码的编码数据进行解码的图像解码装置以及生成图像数据被编码的编码数据的图像编码装置。此外，能够适于应用于由图像编码装置生成并由图像解码装置参照的编码数据的数据构造。
〔总结〕
为了解决所述课题，本发明的一方式所涉及的预测图像生成装置的特征在于，具备：已过滤参照像素设定部，其将相对于预测模块而设定的参照区域上的已过滤参照像素值导出；帧内预测部，其根据与预测模式对应的预测方式参照所述已过滤参照像素值将所述预测模块的已过滤预测像素值导出；以及预测图像补正部，其基于所述参照区域上的未过滤参照像素值和所述预测模式来实施预测图像补正处理，从而根据所述已过滤预测像素值生成预测图像，所述预测图像补正部相对于所述预测模块内的对象像素中的所述已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，由此导出构成所述预测图像的预测像素值，相对于所述未过滤参照像素值的所述加权系数为，根据所述预测模式所示的预测方向而确定的参照强度系数与伴随着相对于所述对象像素的参照距离的增加而单调减少的距离加权之积。
此外，所述预测图像生成装置的特征在于，所述预测图像补正部相对于所述未过滤参照像素值与加权系数之积、所述已过滤预测像素值与加权系数之积、舍入调节项之和应用右位移运算并将预测像素值导出，所述右位移运算的宽度为，第一标准化调节项与第二标准化调节项之和，所述距离加权为相当于2的N次幂的值，在所述N的值中设定有从所述第一标准化调节项减去伴随着所述对象像素和参照区域的距离的增加而单调增加的整数而获得的值。
此外，所述预测图像生成装置的特征在于，所述一个以上的未过滤参照像素值包含左方未过滤参照像素值以及上方未过滤参照像素值，相对于所述左方未过滤参照像素值的所述距离加权为，将对象像素与参照区域之间的水平方向的距离作为参照距离，伴随着参照距离的增加单调减少的值，相对于所述上方未过滤参照像素值的所述距离加权为，将对象像素与参照区域之间的垂直方向的距离作为参照距离，伴随着参照距离的增加而单调减少的值。
此外，所述预测图像生成装置的特征在于，所述一个以上的未过滤参照像素值至少包含两个左上未过滤参照像素值，相对于一方的所述左上未过滤参照像素值的所述距离加权为，将对象像素与参照区域之间的水平方向的距离作为参照距离，伴随着参照距离的增加而单调减少的值，相对于另一方的所述左上未过滤参照像素值的所述距离加权为，将对象像素与参照区域之间的垂直方向的距离作为参照距离，伴随着参照距离的增加而单调减少的值。
此外，所述预测图像生成装置的特征在于，在所述参照距离为规定的阈值以上的情况下，作为所述距离加权而导出0的值。
此外，所述预测图像生成装置的特征在于，所述规定的阈值为预测模块的宽度或高度的一半。
此外，所述预测图像生成装置的特征在于，将参照距离至少作为索引中的一者，参照存储区域上的距离加权导出表将所述距离加权导出。
此外，所述预测图像生成装置的特征在于，所述距离加权通过相对于被位移项应用左位移宽度的左位移运算。
此外，所述预测图像生成装置的特征在于，使用已定的除数a、已定的常数b将所述被位移项设定为从2的b次幂减去所述参照距离的除数a的剩余而得到的值，将所述左位移宽度设定为从所述第一标准化调节项减去所述参照距离的除数a的商再加上常数b而得到的值。
此外，所述预测图像生成装置的特征在于，所述距离加权通过相对于被位移项应用左位移宽度的左位移运算而被导出，使用已定的除数a、已定的常数b以及已定的常数c将所述被位移项设定为从2的b次幂减去所述参照距离的除数a的剩余与常数c之积而得到的值，将所述左位移宽度设定为从所述第一标准化调节项减去所述参照距离的除数a的商再加上常数b而得到的值。
此外，所述预测图像生成装置的特征在于，所述预测图像补正部在预测模块尺寸满足特定的条件的情况下执行所述预测图像补正处理而生成预测图像，在除此以外的情况下将被输入的已过滤预测图像直接作为预测图像。
为了解决所述课题，本发明的一方式所涉及的图像解码装置，其利用与预测模式相关联的帧内预测方式以预测模块为单位而生成预测图像，由此根据编码数据将图像复原，其特征在于，具备：已过滤参照像素设定部，其将相对于预测模块而设定的参照区域上的已过滤参照像素值导出；帧内预测部，其根据与预测模式对应的预测方式参照所述已过滤参照像素值将所述预测模块的已过滤预测像素值导出；以及预测图像补正部，其基于所述参照区域上的未过滤参照像素值和所述预测模式实施预测图像补正处理，从而根据所述已过滤预测像素值生成预测图像，所述预测图像补正部相对于所述预测模块内的对象像素中的所述已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，由此导出构成所述预测图像的预测像素值，相对于所述未过滤参照像素值的所述加权系数为，根据所述预测模式所示的预测方向而确定的参照强度系数与伴随着相对于所述对象像素的参照距离的增加而单调减少的距离加权之积。
为了解决所述课题，本发明的一方式所涉及的图像编码装置，其利用与预测模式相关联的帧内预测方式以预测模块为单位而生成预测图像，由此根据运动图像生成编码数据，其特征在于，具备：已过滤参照像素设定部，其将相对于预测模块而设定的参照区域上的已过滤参照像素值导出；帧内预测部，其根据与预测模式对应的预测方式参照所述已过滤参照像素值将所述预测模块的已过滤预测像素值导出；以及预测图像补正部，其基于所述参照区域上的未过滤参照像素值和所述预测模式实施预测图像补正处理，从而根据所述已过滤预测像素值生成预测图像，所述预测图像补正部相对于所述预测模块内的对象像素中的所述已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，由此导出构成所述预测图像的预测像素值，相对于所述未过滤参照像素值的所述加权系数为，根据所述预测模式所示的预测方向而确定的参照强度系数与伴随着相对于所述对象像素的参照距离的增加而单调减少的距离加权之积。
(关联申请的相互参照)
本申请相对于2015年10月21日提出申请的日本特愿2015-207191要求优先权的利益，通过参照该申请而将其全部内容包含在本说明书中。
符号说明
1：运动图像解码装置(图像解码装置)
14、24：预测图像生成部
141：预测模块设定部
142：未过滤参照像素设定部
143：已过滤参照像素设定部
144：帧内预测部
144D：DC预测部
144P：Planar预测部
144H：水平预测部
144V：垂直预测部
144A：Angular预测部
145：预测图像补正部
16、25：帧存储器
2：运动图像编码装置(图像编码装置)

Claims (12)

1.一种预测图像生成装置，其特征在于，具备：
已过滤参照像素设定部，其导出相对于预测模块而设定的参照区域上的已过滤参照像素值；
帧内预测部，其根据与预测模式对应的预测方式参照所述已过滤参照像素值而将所述预测模块的已过滤预测像素值导出；以及
预测图像补正部，其基于所述参照区域上的未过滤参照像素值和所述预测模式来实施预测图像补正处理，从而根据所述已过滤预测像素值生成预测图像，
所述预测图像补正部相对于所述预测模块内的对象像素中的所述已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，由此导出构成所述预测图像的预测像素值，
相对于所述未过滤参照像素值的所述加权系数为，根据所述预测模式所示的预测方向而确定的参照强度系数与伴随着相对于所述对象像素的参照距离的增加而单调减少的距离加权之积。
2.根据权利要求1所述的预测图像生成装置，其特征在于，
所述预测图像补正部相对于所述未过滤参照像素值与加权系数之积、所述已过滤预测像素值与加权系数之积、舍入调节项之和应用右位移运算并将预测像素值导出，
所述右位移运算的宽度为，第一标准化调节项与第二标准化调节项之和，
所述距离加权为相当于2的N次幂的值，在所述N的值中设定有从所述第一标准化调节项减去伴随着所述对象像素和参照区域的距离的增加而单调增加的整数而获得的值。
3.根据权利要求2所述的预测图像生成装置，其特征在于，
所述一个以上的未过滤参照像素值包含左方未过滤参照像素值以及上方未过滤参照像素值，
相对于所述左方未过滤参照像素值的所述距离加权为，将对象像素与参照区域之间的水平方向的距离作为参照距离，伴随着参照距离的增加单调减少的值，
相对于所述上方未过滤参照像素值的所述距离加权为，将对象像素与参照区域之间的垂直方向的距离作为参照距离，伴随着参照距离的增加而单调减少的值。
4.根据权利要求2或3所述的预测图像生成装置，其特征在于，
所述一个以上的未过滤参照像素值至少包含两个左上未过滤参照像素值，
相对于一方的所述左上未过滤参照像素值的所述距离加权为，将对象像素与参照区域之间的水平方向的距离作为参照距离，伴随着参照距离的增加而单调减少的值，
相对于另一方的所述左上未过滤参照像素值的所述距离加权为，将对象像素与参照区域之间的垂直方向的距离作为参照距离，伴随着参照距离的增加而单调减少的值。
5.根据权利要求1至4中任一项所述的预测图像生成装置，其特征在于，
在所述参照距离为规定的阈值以上的情况下，作为所述距离加权而导出0的值。
6.根据权利要求5所述的预测图像生成装置，其特征在于，
所述规定的阈值为预测模块的宽度或高度的一半。
7.根据权利要求1至6中任一项所述的预测图像生成装置，其特征在于，
将参照距离至少作为索引中的一者，参照存储区域上的距离加权导出表将所述距离加权导出。
8.根据权利要求2至4中任一项所述的预测图像生成装置，其特征在于，
所述距离加权通过相对于被位移项应用左位移宽度的左位移运算而被导出，
使用已定的除数a、已定的常数b将所述被位移项设定为从2的b次幂减去所述参照距离的除数a的剩余而得到的值，将所述左位移宽度设定为从所述第一标准化调节项减去所述参照距离的除数a的商再加上常数b而得到的值。
9.根据权利要求2至4中任一项所述的预测图像生成装置，其特征在于，
所述距离加权通过相对于被位移项应用左位移宽度的左位移运算而被导出，
使用已定的除数a、已定的常数b以及已定的常数c将所述被位移项设定为从2的b次幂减去所述参照距离的除数a的剩余与常数c之积而得到的值，将所述左位移宽度设定为从所述第一标准化调节项减去所述参照距离的除数a的商再加上常数b而得到的值。
10.根据权利要求1至9中任一项所述的预测图像生成装置，其特征在于，
所述预测图像补正部在预测模块尺寸满足特定的条件的情况下执行所述预测图像补正处理而生成预测图像，在除此以外的情况下将被输入的已过滤预测图像直接作为预测图像。
11.一种运动图像解码装置，其利用与预测模式相关联的帧内预测方式以预测模块为单位而生成预测图像，由此根据编码数据将图像复原，其特征在于，具备：
已过滤参照像素设定部，其将相对于预测模块而设定的参照区域上的已过滤参照像素值导出；
帧内预测部，其根据与预测模式对应的预测方式参照所述已过滤参照像素值将所述预测模块的已过滤预测像素值导出；以及
预测图像补正部，其基于所述参照区域上的未过滤参照像素值和所述预测模式实施预测图像补正处理，从而根据所述已过滤预测像素值生成预测图像，
所述预测图像补正部相对于所述预测模块内的对象像素中的所述已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，由此导出构成所述预测图像的预测像素值，
相对于所述未过滤参照像素值的所述加权系数为，根据所述预测模式所示的预测方向而确定的参照强度系数与伴随着相对于所述对象像素的参照距离的增加而单调减少的距离加权之积。
12.一种运动图像编码装置，其利用与预测模式相关联的帧内预测方式以预测模块为单位而生成预测图像，由此根据运动图像生成编码数据，其特征在于，具备：
已过滤参照像素设定部，其将相对于预测模块而设定的参照区域上的已过滤参照像素值导出；
帧内预测部，其根据与预测模式对应的预测方式参照所述已过滤参照像素值将所述预测模块的已过滤预测像素值导出；以及
预测图像补正部，其基于所述参照区域上的未过滤参照像素值和所述预测模式实施预测图像补正处理，从而根据所述已过滤预测像素值生成预测图像，
所述预测图像补正部相对于所述预测模块内的对象像素中的所述已过滤预测像素值和至少一个以上的未过滤参照像素值应用使用了加权系数的加权加法运算，由此导出构成所述预测图像的预测像素值，
相对于所述未过滤参照像素值的所述加权系数为，根据所述预测模式所示的预测方向而确定的参照强度系数与伴随着相对于所述对象像素的参照距离的增加而单调减少的距离加权之积。
CN201680061041.9A 2015-10-21 2016-08-24 预测图像生成装置、图像解码装置以及图像编码装置 Pending CN108141609A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015207191 2015-10-21
JP2015-207191 2015-10-21
PCT/JP2016/074695 WO2017068856A1 (ja) 2015-10-21 2016-08-24 予測画像生成装置、画像復号装置および画像符号化装置

Publications (1)

Publication Number Publication Date
CN108141609A true CN108141609A (zh) 2018-06-08

Family

ID=58557270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680061041.9A Pending CN108141609A (zh) 2015-10-21 2016-08-24 预测图像生成装置、图像解码装置以及图像编码装置

Country Status (5)

Country Link
US (1) US20180288408A1 (zh)
EP (1) EP3367688A4 (zh)
JP (1) JPWO2017068856A1 (zh)
CN (1) CN108141609A (zh)
WO (1) WO2017068856A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140220A1 (zh) * 2019-01-02 2020-07-09 Oppo广东移动通信有限公司 帧内预测方法及装置、视频编码设备、存储介质
CN112001854A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 一种编码图像的修复方法及相关系统和装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
EP3393126A4 (en) * 2016-02-16 2019-04-17 Samsung Electronics Co., Ltd. INTRA PREDICTION METHOD FOR REDUCING INTRA PREDICTION ERRORS AND DEVICE THEREFOR
JP6956471B2 (ja) * 2016-05-13 2021-11-02 日本放送協会 符号化装置、復号装置及びプログラム
US10645395B2 (en) * 2016-05-25 2020-05-05 Arris Enterprises Llc Weighted angular prediction coding for intra coding
WO2018056701A1 (ko) 2016-09-20 2018-03-29 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10542275B2 (en) * 2016-12-28 2020-01-21 Arris Enterprises Llc Video bitstream coding
US10728548B2 (en) * 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
KR20200012957A (ko) * 2017-06-30 2020-02-05 후아웨이 테크놀러지 컴퍼니 리미티드 인터-프레임 예측 방법 및 디바이스
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10965941B2 (en) 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
KR20200028856A (ko) * 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2021043138A1 (en) * 2019-09-02 2021-03-11 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of filter modification on general intra prediction process
US11706439B2 (en) * 2020-03-26 2023-07-18 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158106A1 (en) * 2008-12-24 2010-06-24 Sony Corporation Simd-processor-friendly mpeg-2 inter-quantizer
US20100158107A1 (en) * 2008-12-24 2010-06-24 Sony Corporation Simd-processor-friendly mpeg-2 intra-quantizer
CN102265618A (zh) * 2008-12-25 2011-11-30 夏普株式会社 图像解码设备和图像编码设备
CN106385583A (zh) * 2009-07-01 2017-02-08 索尼公司 图像处理装置和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
JP5841670B2 (ja) * 2012-09-28 2016-01-13 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158106A1 (en) * 2008-12-24 2010-06-24 Sony Corporation Simd-processor-friendly mpeg-2 inter-quantizer
US20100158107A1 (en) * 2008-12-24 2010-06-24 Sony Corporation Simd-processor-friendly mpeg-2 intra-quantizer
CN102265618A (zh) * 2008-12-25 2011-11-30 夏普株式会社 图像解码设备和图像编码设备
CN106385583A (zh) * 2009-07-01 2017-02-08 索尼公司 图像处理装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAID A 等: "position dependent intra prediction combincation;C-1046", 《ITU-T DRAFT; STUDY PERIOD 2013-2016, INTERNATIONAL TELECOMMUNICATION UNION, GENEVA;CH》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140220A1 (zh) * 2019-01-02 2020-07-09 Oppo广东移动通信有限公司 帧内预测方法及装置、视频编码设备、存储介质
US11457223B2 (en) 2019-01-02 2022-09-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for intra prediction, encoder and decoder
US11831882B2 (en) 2019-01-02 2023-11-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for intra prediction, encoder and decoder
US11831817B2 (en) 2019-01-02 2023-11-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for intra prediction, encoder and decoder
US11882293B2 (en) 2019-01-02 2024-01-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods for intra prediction, encoder and decoder
CN112001854A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 一种编码图像的修复方法及相关系统和装置

Also Published As

Publication number Publication date
EP3367688A1 (en) 2018-08-29
US20180288408A1 (en) 2018-10-04
EP3367688A4 (en) 2018-10-24
JPWO2017068856A1 (ja) 2018-08-09
WO2017068856A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
CN108141609A (zh) 预测图像生成装置、图像解码装置以及图像编码装置
CN104054343B (zh) 图像解码装置、图像编码装置
CN103959777B (zh) 视频译码中的与自适应环路滤波器合并的样本自适应偏移
CN108271024B (zh) 图像编码、解码方法及装置
CN103636210B (zh) 偏移解码装置、偏移编码装置、图像滤波器装置
EP2858353B1 (en) Arithmetic decoding device, image decoding device, arithmetic encoding device, and image encoding device
CN103716626B (zh) 图像处理设备和方法
CN104113764B (zh) 图像处理装置和图像处理方法
CN103329536B (zh) 图像解码装置、图像编码装置及其方法
WO2017134992A1 (ja) 予測画像生成装置、動画像復号装置および動画像符号化装置
CN111373751A (zh) 图像滤波装置、图像解码装置以及图像编码装置
CN103907349A (zh) 算术解码装置、图像解码装置、算术编码装置、图像编码装置以及算术解码方法
CN102396227A (zh) 图像处理设备和方法
KR20110114524A (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
CN105580367A (zh) 数据编码和解码
CN112804529A (zh) 用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序
CN107683606A (zh) 图像处理装置和图像处理方法
CN102742274A (zh) 图像处理设备和方法
JP2013141094A (ja) 画像復号装置、画像符号化装置、画像フィルタ装置、および符号化データのデータ構造
JP5627507B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
CN104769945B (zh) 编码和解码图像的方法、编码和解码装置、计算机可读数据介质
CN104506860A (zh) 视频编码的参考图像选择方法及系统
JP2022065225A (ja) Ｌｉｃ部、画像復号装置および画像符号化装置
CN107409216A (zh) 图像编码和解码方法、编码和解码设备以及相应的计算机程序
CN107343391A (zh) 通过向量量化对图像进行编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180608

WD01 Invention patent application deemed withdrawn after publication