CN108702504A - 编码装置、解码装置以及程序 - Google Patents

编码装置、解码装置以及程序 Download PDF

Info

Publication number
CN108702504A
CN108702504A CN201780011801.XA CN201780011801A CN108702504A CN 108702504 A CN108702504 A CN 108702504A CN 201780011801 A CN201780011801 A CN 201780011801A CN 108702504 A CN108702504 A CN 108702504A
Authority
CN
China
Prior art keywords
intra prediction
case
residual signals
chart picture
prognostic chart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780011801.XA
Other languages
English (en)
Inventor
岩村俊辅
市谷敦郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to CN202010961281.2A priority Critical patent/CN112055204B/zh
Publication of CN108702504A publication Critical patent/CN108702504A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在帧内预测中，即使在使用下侧或者右侧的参照像素的情况下，也降低熵的增加。本发明的编码装置1具备：帧内预测部14a，构成为使用帧内预测模式而生成预测图像；残差信号生成部14b，构成为根据预测图像与原图像之差而生成残差信号；和正交变换部14c，构成为在帧内预测部14a使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况下，使水平方向以及垂直方向的至少一个方向的基底反转后，对残差信号实施正交变换处理。

Description

编码装置、解码装置以及程序
技术领域
本发明涉及编码装置、解码装置以及程序。
背景技术
H.265/HEVC(High Efficiency Video Coding，高效视频编码)所代表的动态图像(视频)编码方式构成为，一边切换利用了帧间的时间相关的帧间预测以及利用了帧内的空间相关的帧内预测这2种类的预测，一边进行预测而生成了残差信号之后，进行正交变换处理、环路滤波处理、熵编码处理并将所得到的流(stream)进行输出。
HEVC中的帧内预测构成为，准备了Planer预测、DC预测、方向预测的合计35种类的模式，按照由编码器决定的模式，使用相邻的已解码参照像素而进行帧内预测。
在此，帧内预测构成为，在帧内位于最左上方的编码对象块(以下，称为“CU：Coding Unit，编码单元”)等、不存在相邻的已解码参照像素的CU中，通过填充规定的值(若是10比特的动态图像则为“512”)的处理，制作在生成预测图像时使用的参照像素。
此外，以往的HEVC构成为，编码处理从左上起按光栅扫描的顺序来进行，因此存在参照像素未解码完毕的情况。在这样的情况下，使用对最接近的已解码参照像素进行了0次外插后的值而生成预测图像。
尤其，在以往的HEVC的帧内预测中，通过基于图10(a)所示的光栅扫描顺序的编码处理，根据TU的分割形状即使在帧的端部以外的位置上，位于CU的左下、右上的参照像素未解码完毕的情况也较多(参照图10(b))，在这样的情况下，如果进行从存在未解码完毕的参照像素的方向起的方向预测，则存在预测精度下降导致编码效率降低的问题。
为了解决该问题，已知如下技术，即：在帧内预测中，作为对于存在于CU内的多个变换块(以下，称为“TU：Transform Unit，变换单元”)的编码处理顺序，除了光栅扫描顺序(例如，Z型)外，对U型、X型等编码顺序给予自由度，从而实现预测精度的提高(参照非专利文献1)。
另外，在图10(a)以及图10(b)的例中，构成为在从左下朝向右上的方向(图10(a)以及图10(b)中的虚线箭头所示的方向的反方向)上进行方向预测，使用左下的参照像素，预测虚线箭头上的像素。另外，在本说明书的图中，与HEVC标准文件中的记载同样地，表示帧内预测模式的方向(预测方向)的箭头设为从帧内预测的对象像素朝向参照像素(以下同样)。
在平坦的视频之中极其局部的区域中存在纹理(texture)的情况、或在画面整体运动的全域运动中较小的物体向其他的方向进行移动的情况等的图案中，在通过帧内预测、帧间预测生成的预测图像较多的区域中预测精度高，残差信号的能量集中在预测未命中的一部分的区域。
如此，当残差信号的能量在应用正交变换处理之前的阶段已经集中的情况下，通过应用正交变换处理，有可能会导致熵增加。
因此，在以往的HEVC中，准备了对残差信号不应用正交变换处理的“变换跳过(TransformSkip)模式”。
在以往的HEVC中，如图11所示，帧内预测是利用了在空间上相邻的上侧或者左侧的已解码参照像素的预测，且存在如下倾向：与已解码参照像素近的位置的预测图像的精度变高，距离已解码参照像素远的位置的预测图像的精度变低。
即，在帧内预测所生成的残差信号中存在如下倾向：与已解码参照像素近的位置的能量变低，距离已解码参照像素远的位置的能量变高。
在对残差信号应用了正交变换处理的情况下，通过正交变换处理得到的变换系数存在如下倾向：与低频分量对应的左上的区域的能量变大。
在熵编码处理中也利用了该倾向，但是，在变换跳过(TransformSkip)模式下，距离已解码参照像素越远的位置，残差信号的能量变得越大，因此，在利用了左侧、上侧的参照像素的帧内预测的情况下，存在如下倾向：残差信号的越右下方的区域，能量变得越大。
所以，有如下问题：在变换跳过(TransformSkip)模式下，若应用了与对残差信号应用正交变换处理的情况同样的熵编码处理，则导致编码效率下降。
因此，为了解决该问题，在HEVC中应用变换跳过(TransformSkip)模式时，通过将残差信号在垂直方向以及水平方向上反转，使残差信号的能量分布接近在应用正交变换处理的情况下所生成的变换系数的能量分布，提高其后的熵编码处理中的效率。
现有技术文献
非专利文献
非专利文献1：望月等、“平均値座標に基づいた適用イントラ予測方式”、信息处理学会研究报告、vol、2012-AVM-77、No.12
发明内容
发明所要解决的问题
在以往的HEVC中，如图11所示，帧内预测是利用了在空间上相邻的上侧或者左侧的已解码参照像素的预测，利用与已解码参照像素近的位置的预测图像的精度变高、且距离已解码参照像素远的位置的预测图像的精度变低的倾向，从已解码参照像素所位于的左侧以及上侧方向起在水平以及垂直方向上应用离散正弦变换(以下称为“DST”)或者离散余弦变换(以下称为“DCT”)等正交变换，减少了残差信号的熵。
尤其，DST的脉冲响应的形状如图12所示形成为一端关闭而另一端扩宽的非对称的形状，因此，如图13所示，通过与所生成的残差信号的信号强度匹配地应用DST，从而有效地进行熵的减少。
如上所述，在非专利文献1所记载的技术中，通过对变换块的编码顺序赋予自由度，从而实现了预测精度的提高。在变更了编码顺序时，存在位于编码对象块的下侧、右侧的块成为已编码完毕的情形，在帧内预测中，能够使用下侧或者右侧的参照像素。
在该情形下，在残差信号中成为如下倾向：距离参照像素的位置近的下侧、右侧的信号强度变小，距离参照像素的位置远的上侧、左侧的信号强度变高，因此，存在如下问题：若如通常那样应用正交变换，则会存在导致熵增大的情况，这成为使编码效率下降的原因。
此外，在该情形下，在残差信号中存在如下倾向：距离参照像素的位置近的下侧、右侧的信号强度变小，距离参照像素的位置远的上侧、左侧的信号强度变高。
可是，在以往的HEVC中的变换跳过(TransformSkip)模式下，残差信号与参照像素的位置无关地在垂直方向以及水平方向上反转，因此，在进行了利用右侧、下侧的已解码参照像素的帧内预测的情况下，残差信号的能量不集中于左上的区域，存在编码效率下降的问题。
因此，本发明为了解决上述的课题而完成，其目的在于，提供一种编码装置、解码装置以及程序，在帧内预测中，即使在使用下侧或者右侧的参照像素的情况下，也能够降低熵的增大。
此外，本发明的目的在于，提供一种编码装置、解码装置以及程序，即使在帧内预测中使用下侧以及右侧的至少一侧的参照像素的情况、并且对残差信号没有应用正交变换处理(或者，正交逆变换处理)的情况下，也能够抑制编码效率的下降。
解决问题的手段
本发明的第1特征的宗旨在于，一种编码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行编码，所述编码装置具备：帧内预测部，构成为使用帧内预测模式而生成预测图像的；残差信号生成部，构成为根据所述预测图像与原图像之差而生成残差信号；和正交变换部，在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况下，在使水平方向以及垂直方向的至少一个方向的基底反转后，对所述残差信号实施正交变换处理。
本发明的第2特征的宗旨在于，一种解码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行解码，所述解码装置具备：帧内预测部，构成为使用帧内预测模式而生成预测图像；和逆变换部，构成为在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况下，在使水平方向以及垂直方向的至少一个方向的基底反转后对变换系数实施正交逆变换处理，从而生成残差信号。
本发明的第3特征的宗旨在于，一种编码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行编码，所述编码装置具备：帧内预测部，构成为使用帧内预测模式而生成预测图像的；残差信号生成部，构成为根据所述预测图像与原图像之差而生成残差信号；和正交变换部，构成为在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况下，在将所述残差信号在水平方向以及垂直方向的至少一个方向上反转后，实施正交变换处理。
本发明的第4特征的宗旨在于，一种解码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行解码，所述解码装置具备：帧内预测部，构成为使用帧内预测模式而生成预测图像；和逆变换部，构成为在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况下，将对变换系数实施正交逆变换处理而得到的信号在水平方向以及垂直方向的至少一个方向上反转，从而生成残差信号。
本发明的第5特征的宗旨在于，一种编码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行编码，所述编码装置具备：帧内预测部，构成为使用帧内预测模式而生成预测图像的；和残差信号生成部，构成为根据所述预测图像与原图像之差而生成残差信号，在未应用正交变换处理的情况下，所述残差信号生成部构成为基于在所述帧内预测部生成预测图像时使用的参照像素的位置，将所述残差信号在水平方向以及垂直方向的至少一个方向上反转。
本发明的第6特征的宗旨在于，一种解码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行解码，所述解码装置具备：帧内预测部，构成为使用帧内预测模式而生成预测图像；和逆变换部，构成为在未应用正交逆变换处理的情况下，基于在所述帧内预测部生成预测图像时使用的参照像素的位置，将通过熵解码处理以及反量化处理而得到的信号在水平方向以及垂直方向的至少一个方向上反转，从而生成残差信号。
本发明的第7特征的宗旨在于，一种使计算机作为上述的第1、第3或者第5特征所记载的编码装置来发挥作用的程序。
本发明的第8特征的宗旨在于，一种使计算机作为上述的第2、第4或者第6的特征所记载的解码装置来发挥作用的程序。
发明效果
根据本发明，能够提供编码装置、解码装置以及程序，在帧内预测中，即使是使用下侧或者右侧的参照像素的情况下，也能够降低熵的增大。
此外，根据本发明，能够提供编码装置、解码装置以及程序，即使是在帧内预测中使用下侧以及右侧的至少一侧的参照像素的情况下、并且对残差信号没有实施正交变换处理的情况下，也能够抑制编码效率的下降。
附图说明
图1是第1实施方式所涉及的编码装置1的功能框图。
图2是表示在第1实施方式中进行TU分割的情况的帧内预测的一例的图。
图3是表示第1实施方式所涉及的编码装置1的动作的流程图。
图4是第1实施方式所涉及的解码装置3的功能框图。
图5是表示第1实施方式所涉及的解码装置3的动作的流程图。
图6是表示第2实施方式所涉及的编码装置1的动作的流程图。
图7是表示第2实施方式所涉及的解码装置3的动作的流程图。
图8是表示第3实施方式所涉及的编码装置1的动作的流程图。
图9是表示第3实施方式所涉及的解码装置3的动作的流程图。
图10是用于说明以往的HEVC的图。
图11是用于说明以往的HEVC的图。
图12是用于说明以往的HEVC的图。
图13是用于说明以往的HEVC的图。
具体实施方式
(第1实施方式)
以下，参照图1～图5，针对本发明的第1实施方式所涉及的编码装置1以及解码装置3进行说明。在此，本实施方式所涉及的编码装置1以及解码装置3构成为支持HEVC等动态图像编码方式中的帧内预测。另外，本实施方式所涉及的编码装置1以及解码装置3构成为能够支持任意的动态图像编码方式，只要该动态图像编码方式是进行帧内预测的动态图像编码方式即可。
本实施方式所涉及的编码装置1构成为将构成动态图像的帧单位的原图像分割为CU并进行编码。此外，本实施方式所涉及的编码装置1也可以构成为能够将CU分割为多个TU。以下，在本实施方式中，列举将CU分割为多个TU的情形为例而进行说明，但是，本发明也能够应用于不将CU分割为多个TU的情形。
另外，在本实施方式中构成为，在帧内位于最左上方的CU等、不存在相邻的已解码参照像素的编码对象CU中，通过填充规定的值(例如若是10比特的动态图像，则为“512”等)的处理，制作出在生成预测图像时所使用的参照像素，因此设为，针对与编码对象CU的左侧、上侧相邻的像素能够全部作为参照像素。
如图1所示，本实施方式所涉及的编码装置1具备：帧内预测模式决定部11、TU分割决定部12、编码顺序控制部13、依次局部解码图像生成部14、存储器15、以及熵编码部16。
帧内预测模式决定部11构成为决定应用于CU的最佳的帧内预测模式。
TU分割决定部12构成为决定是否将CU分割为多个TU。另外，在本实施方式中，作为将CU分割为多个TU的方法，列举4分割的情形为例而进行了说明，但是，针对将CU分割为多个TU时的分割数、分割形状，并不限制于该情形。
编码顺序控制部13构成为基于帧内预测模式(例如，帧内预测模式的方向)而决定CU内的TU的编码顺序。
具体地，编码顺序控制部13也可以构成为，在通过TU分割决定部12决定了将CU分割为多个TU的情况下，如图2(a)～图2(d)所示，在通过帧内预测模式决定部11决定的帧内预测模式的方向是从左下朝向右上的方向的情况(即，从左下朝向右上进行方向预测的情况)下，作为CU内的TU的编码顺序，不采用以往的光栅扫描顺序(图8(a)所示的Z型)，而是从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序之中采用预先规定的编码顺序。
此外，编码顺序控制部13也可以构成为在通过TU分割决定部12决定了将CU分割为多个TU的情况、且通过帧内预测模式决定部11决定的帧内预测模式的方向是从右上朝向左下的方向的情况(即，从右上朝向左下进行方向预测的情况)下，不采用以往的光栅扫描顺序(图8(a)所示的Z型)，而是从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序之中采用预先规定的编码顺序。
依次局部解码图像生成部14构成为基于通过编码顺序控制部13决定的编码顺序以及CU至TU的分割方法，生成局部解码图像(每个TU的解码图像)。
具体地，依次局部解码图像生成部14构成为在通过TU分割决定部12决定了将CU分割为多个TU的情况下，按照通过编码顺序控制部13决定的编码顺序，依次生成局部解码图像。
如图1所示，依次局部解码图像生成部14具备：帧内预测部14a、残差信号生成部14b、正交变换和量化部14c、反量化和正交逆变换部14d、以及局部解码图像生成部14e。
帧内预测部14a构成为使用通过帧内预测模式决定部11决定的帧内预测模式而生成预测图像。即，帧内预测部14a构成为决定在生成预测图像时所使用的参照像素的位置。
具体地，帧内预测部14a也可以构成为，在通过TU分割决定部12决定了将CU分割为多个TU的情况、且如图2(a)～图2(d)所示，帧内预测模式的方向(预测方向)是从左下朝向右上的方向的情况下，从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序之中，按照预先规定的编码顺序而生成预测图像。
在此，帧内预测部14a也可以构成为，如图2(c)以及图2(d)所示，针对相邻的下侧的参照像素已被解码的TU#A1(CU#A内的左上的TU)以及TU#A2(CU#A内的右上的TU)，使用与左侧以及下侧相邻的已解码参照像素而生成预测图像。
此外，在本实施方式所涉及的编码装置1中，帧内预测部14a也可以构成为，在通过TU分割决定部12决定了将CU分割为多个TU的情况、且帧内预测模式的方向(预测方向)是从右上朝向左下的方向的情况下，从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序之中，按照预先规定的编码顺序而生成预测图像。
在此，帧内预测部14a也可以构成为，针对相邻的右侧的参照像素已被解码的TU#A1(CU#A内的左上的TU)以及TU#A3(CU#A内的左下的TU)，使用与上侧以及右侧相邻的已解码参照像素而生成预测图像。
或者，帧内预测部14a也可以构成为，在TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序被使用的情况下，针对与其上侧相邻的参照像素已被解码的TU(被分割后的TU组之中位于最顶部的TU，在图2的例中是TU#A1以及TU#A2)，进行线性插值等预先规定的预测，该线性插值不使用在CU#A内共通的帧内预测方向，而使用了与该TU的左侧、上侧、下侧相邻的已解码参照像素。
即，帧内预测部14a也可以构成为使用与下侧、左侧以及上侧这样的3个方向相邻的已解码参照像素，生成预测图像。
或者，帧内预测部14a也可以构成为使用与右侧、左侧以及上侧这样的3个方向相邻的已解码参照像素，生成预测图像。
残差信号生成部14b构成为根据通过帧内预测部14a生成的预测图像与原图像之差，生成残差信号。
正交变换和量化部14c构成为对通过残差信号生成部14b生成的残差信号实施正交变换处理以及量化处理，生成量化后的变换系数。
在此，正交变换和量化部14c构成为基于通过帧内预测部14a决定的在生成预测图像时使用的参照像素的位置，判定是否使在正交变换处理中使用的基底反转。
例如，在帧内预测部14a使用位于右侧以及下侧的至少一侧的参照像素(即，与右侧以及下侧的至少一侧相邻的参照像素)生成了预测图像的情况下，正交变换和量化部14c构成为对通过残差信号生成部14b生成的残差信号，在使垂直方向以及水平方向的至少一侧的基底反转后，实施正交变换处理。
另一方面，在帧内预测部14a没有使用位于右侧以及下侧的任一侧的参照像素来生成预测图像的情况下，正交变换和量化部14c构成为对通过残差信号生成部14b生成的残差信号，在不使基底反转的情况下实施正交变换处理。
例如，在帧内预测部14a使用位于左侧以及下侧的参照像素而生成了预测图像的情况下，正交变换和量化部14c也可以构成为在使垂直方向的基底反转后，实施正交变换处理。
并且，在帧内预测部14a使用位于右侧以及上侧的参照像素而生成了预测图像的情况下，正交变换和量化部14c也可以构成为在使水平方向的基底反转后，实施正交变换处理。
进一步，在帧内预测部14a使用位于右侧以及下侧的参照像素而生成了预测图像的情况下，正交变换和量化部14c也可以构成为在使垂直方向以及水平方向的基底反转后，实施正交变换处理。
另外，在帧内预测部14a使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况、且所应用的正交变换处理是非对称的正交变换处理(例如，DST等)的情况下，正交变换和量化部14c也可以构成为对通过残差信号生成部14b生成的残差信号，使在正交变换处理中使用的垂直方向以及水平方向的至少一个方向的基底反转。
即，即使是在帧内预测部14a使用位于右侧以及下侧的至少一个方向的参照像素而生成了预测图像的情况下，在所应用的正交变换处理是对称的正交变换处理(例如，DCT等)的情况下，正交变换和量化部14c也可以构成为对通过残差信号生成部14b生成的残差信号，不使在正交变换处理中使用的基底反转。
此外，在帧内预测部14a使用与下侧、左侧以及上侧这样的3个方向相邻的参照像素而生成了预测图像的情况下，正交变换和量化部14c也可以构成为对通过残差信号生成部14b生成的残差信号，不使在正交变换处理中使用的基底反转。
根据该结构，在残差信号中，在与参照像素近的上侧以及下侧的任一侧中信号强度都变低的可能性高，因此，通过不进行上述的反转处理，能够降低编码装置1的处理量。
此外，在帧内预测部14a使用与右侧、左侧以及上侧这样的3个方向相邻的参照像素而生成了预测图像的情况下，正交变换和量化部14c也可以构成为对通过残差信号生成部14b生成的残差信号，不使在正交变换处理中使用的基底反转。
根据该结构，在残差信号中，在与参照像素近的右侧以及左侧的任一侧中信号强度都变低的可能性高，因此，通过不进行上述的反转处理，能够降低编码装置1的处理量。
反量化和正交逆变换部14d构成为对通过正交变换和量化部14c生成的被量化后的变换系数，再次实施反量化处理以及正交逆变换处理，生成残差信号。
在此，在正交变换和量化部14c将在正交变换处理中使用的基底反转的情况下，反量化和正交逆变换部14d构成为在使基底反转后实施正交逆变换处理。
局部解码图像生成部14e构成为对通过反量化和正交逆变换部14d生成的残差信号加上通过帧内预测部14a生成的预测图像，从而生成局部解码图像。
存储器15构成为将通过依次局部解码图像生成部14生成的局部解码图像，以能够作为参照图像而利用的方式进行保存。
熵编码部16构成为对包含通过帧内预测模式决定部11决定的帧内预测模式等在内的标记信息、量化后的变换系数，实施熵编码处理而进行流输出。
图3表示用于针对本实施方式所涉及的编码装置1的动作的一例进行说明的流程图。
如图3所示，在步骤S101中，编码装置1决定应用于CU的最佳的帧内预测模式。
在步骤S102中，编码装置1决定是否将CU分割为多个TU。在步骤S102中，在决定为将CU分割为多个TU的情况下，本动作前进至步骤S103。另一方面，在步骤S102中，在决定为不将CU分割为多个TU的情况下，本动作前进至步骤S108。
在步骤S103中，在决定为帧内预测模式的方向是从左下朝向右上的方向或者从右上朝向左下的方向的情况下，本动作前进至步骤S105。另一方面，在步骤S103中，在决定为帧内预测模式的方向为除从左下朝向右上的方向以及从右上朝向左下的方向之外的情况下，本动作前进至步骤S104。
在步骤S104中，编码装置1采用以往的HEVC中所使用的光栅扫描顺序(图8(a)所示的Z型)作为上述的编码顺序。
在步骤S108中，编码装置1对编码对象的TU使用与该TU的左侧以及上侧相邻的已解码参照像素来进行预先规定的预测。
在决定为帧内预测模式的方向是从左下朝向右上的方向的情况(步骤S105)下，在步骤S106中，编码装置1从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序之中采用预先规定的编码顺序作为上述的编码顺序。
另一方面，在决定为帧内预测模式的方向不是从左下朝向右上的方向的情况(步骤S105)下，在步骤S111中，编码装置1从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序之中采用预先规定的编码顺序作为上述的编码顺序。
在步骤S107中，编码装置1判定与编码对象的TU的上侧相邻的参照像素是否为已解码。在步骤S107中，在已解码的情况下，本动作前进至步骤S109，在未解码完毕的情况下，本动作前进至步骤S110。
在步骤S109中，编码装置1对编码对象的TU使用与该TU的左侧以及上侧以及下侧相邻的已解码参照像素，进行预先规定的预测。
在步骤S110中，编码装置1对编码对象的TU使用与该TU的左侧以及下侧相邻的已解码参照像素，进行预先规定的预测。
在步骤S112中，编码装置1判定与编码对象的TU的左侧相邻的参照像素是否为已解码。在步骤S112中，在已解码的情况下，本动作前进至步骤S113，在未解码完毕的情况下，本动作前进至步骤S114。
在步骤S113中，编码装置1对编码对象的TU使用与该TU的左侧以及上侧以及右侧相邻的已解码参照像素，进行预先规定的预测。
在步骤S114中，编码装置1对编码对象的TU使用与该TU的右侧以及上侧相邻的已解码参照像素，进行预先规定的预测。
在步骤S115中，编码装置1对残差信号在使基底反转后实施正交变换处理，并进行其后的处理。
在步骤S116中，编码装置1对残差信号在不使基底反转的情况下实施正交变换处理，并进行其后的处理。
根据本实施方式所涉及的编码装置1，在使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况下，构成为对残差信号在使基底反转后实施正交变换处理，因此能够使熵的增大降低。
此外，本实施方式所涉及的解码装置3构成为将构成动态图像的帧单位的原图像分割为CU并进行解码。此外，本实施方式所涉及的解码装置3构成为，与本实施方式所涉及的编码装置1同样地，能够将CU分割为多个TU。
如图4所示，本实施方式所涉及的解码装置3具备：熵解码部31、解码顺序控制部32、依次局部解码图像生成部33、以及存储器34。
熵解码部31构成为从由编码装置1输出的流中对变换系数、标记信息等进行解码。在此，变换系数是作为通过编码装置1将帧单位的原图像分割为CU并编码后的信号，而得到的量化后的变换系数。此外，标记信息包含预测模式等附带的信息。
解码顺序控制部32构成为基于帧内预测模式而决定CU内的TU的解码顺序。
具体地，解码顺序控制部32构成为根据通过熵解码部31输出的、表示是否进行了TU分割(CU是否已被分割为多个TU)的标记以及预测模式的方向，决定CU内的TU的解码顺序。
例如，解码顺序控制部32也可以构成为，与编码顺序控制部13同样地，在CU已被分割为多个TU的情况、且帧内预测模式的方向是从左下朝向右上的方向的情况下，从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序之中按照预先规定的解码顺序，进行解码处理。
此外，解码顺序控制部32也可以构成为，与编码顺序控制部13同样地，在CU已被分割为多个TU的情况、且帧内预测模式的方向是从右上朝向左下的方向的情况下，从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序之中按照预先规定的解码顺序，进行解码处理。
依次局部解码图像生成部33构成为基于通过解码顺序控制部32决定的解码顺序以及CU至TU的分割方法，生成局部解码图像(每个TU的解码图像)。
具体地，依次局部解码图像生成部33构成为在CU已被分割为多个TU的情况下，按照通过解码顺序控制部32决定的解码顺序，对通过熵解码部31输出的被量化后的变换系数，依次进行帧内预测、反量化处理、正交逆变换处理，从而生成局部解码图像。
如图4所示，依次局部解码图像生成部33具备：帧内预测部33a、反量化和逆变换部33b、以及解码图像生成部33c。
帧内预测部33a也可以构成为按照通过解码顺序控制部32决定的解码顺序，使用通过熵解码部31输出的帧内预测模式，生成预测图像。
具体地，帧内预测部33a也可以构成为在CU已被分割为多个TU的情况、且帧内预测模式的方向是从左下朝向右上的方向的情况下，从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序之中按照预先规定的解码顺序，生成预测图像。
在此，帧内预测部33a也可以构成为，如图2(c)以及图2(d)所示，针对相邻的下侧的参照像素已被解码的TU#A1(CU#A内的左上的TU)以及TU#A2(CU#A内的右上的TU)，使用与其左侧以及下侧相邻的已解码参照像素而生成预测图像。
此外，在本实施方式所涉及的解码装置3中，帧内预测部33a也可以构成为，在CU已被分割为多个TU的情况、且帧内预测模式的方向(预测方向)是从右上朝向左下的方向的情况下，从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序之中按照预先规定的解码顺序，生成预测图像。
在此，帧内预测部33a也可以构成为，针对相邻的右侧的参照像素已被解码的TU#A1(CU#A内的左上的TU)以及TU#A3(CU#A内的左下的TU)，使用与其上侧以及右侧相邻的已解码参照像素而生成预测图像。
或者，帧内预测部33a也可以构成为，在TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序被使用的情况下，针对与其上侧相邻的参照像素已解码的TU(被分割后的TU组之中位于最顶部的TU、在图2的例中是TU#A1以及TU#A2)，进行线性插值等预先规定的预测，该线性插值不使用在CU#A内共通的帧内预测方向，而使用了与该TU的左侧、上侧、下侧相邻的已解码参照像素。
反量化和逆变换部33b构成为对通过熵解码部31输出的被量化后的变换系数实施反量化处理以及逆变换处理(例如，正交逆变换处理)，从而生成残差信号。
例如，在帧内预测部33a使用位于右侧以及下侧的至少一侧的参照像素(即，与右侧以及下侧的至少一侧相邻的参照像素)而生成了预测图像的情况下，反量化和逆变换部33b构成为在使垂直方向以及水平方向的至少一个方向的基底反转后，对上述的变换系数实施正交逆变换处理，从而生成残差信号。
另一方面，在帧内预测部33a没有使用位于右侧以及下侧的任一侧的参照像素来生成预测图像的情况下，反量化和逆变换部33b构成为在不使基底反转的情况下对上述的变换系数实施正交逆变换处理，从而生成残差信号。
例如，在帧内预测部33a使用位于左侧以及下侧的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，在使垂直方向的基底反转后，对上述的变换系数实施正交逆变换处理，从而生成残差信号。
并且，在帧内预测部33a使用位于右侧以及上侧的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，在使水平方向的基底反转后，对上述的变换系数实施正交逆变换处理，从而生成残差信号。
进一步，在帧内预测部33a使用位于右侧以及下侧的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，在使垂直方向以及水平方向的基底反转后，对上述的变换系数实施正交逆变换处理，从而生成残差信号。
另外，在帧内预测部33a使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况、且所应用的正交变换处理是非对称的正交变换处理(例如，DST等)的情况下，反量化和逆变换部33b也可以构成为，在使基底反转后，对上述的变换系数实施正交逆变换处理，从而生成残差信号。
即，即使是在帧内预测部33a使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况下，在所应用的正交变换处理是对称的正交变换处理(例如，DCT等)的情况下，反量化和逆变换部33b也可以构成为在不使基底反转的情况下对上述的变换系数实施正交逆变换处理，从而生成残差信号。
此外，在帧内预测部33a使用与下侧、左侧以及上侧这样的3个方向相邻的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，针对上述的变换系数，不使在正交逆变换处理中使用的基底反转。
此外，在帧内预测部33a使用与右侧、左侧以及上侧这样的3个方向相邻的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，针对上述的变换系数，不使在正交逆变换处理中使用的基底反转。
解码图像生成部33c构成为将通过帧内预测部33a生成的预测图像与通过反量化和逆变换部33b生成的残差信号相加，从而生成局部解码图像。
存储器34构成为将通过依次局部解码图像生成部33生成的局部解码图像，以能够作为用于帧内预测以及帧间预测的参照图像而利用的方式进行保存。
图5表示用于针对通过本实施方式所涉及的解码装置3决定上述的解码顺序的动作的一例进行说明的流程图。
如图5所示，在步骤S201中，解码装置3从由编码装置1输出的流中，取得帧内预测模式。
在步骤S202中，解码装置3基于从编码装置1输出的流中包含的标记信息，判定CU是否已被分割为多个TU。在步骤S202中，在判定为CU已被分割为多个TU的情况下，本动作前进至步骤S203。另一方面，在步骤S202中，在判定为CU没有被分割为多个TU的情况下，本动作前进至步骤S205。
在步骤S205中，解码装置3对解码对象的TU，使用与该TU的左侧以及上侧相邻的已解码参照像素而进行预先规定的预测。
在步骤S203中，解码装置3判定帧内预测模式的方向是否是从左下朝向右上的方向或者从右上朝向左下的方向。在步骤S203中，在判定为帧内预测模式的方向是从左下朝向右上的方向或者从右上朝向左下的方向的情况下，本动作前进至步骤S206。另一方面，在步骤S203中，在判定为帧内预测模式的方向为除从左下朝向右上的方向以及从右上朝向左下的方向之外的情况下，本动作前进至步骤S204。
在步骤S204中，解码装置3采用HEVC中所使用的以往的光栅扫描顺序(图8(a)所示的Z型)作为上述的解码顺序。
在决定为帧内预测模式的方向是从左下朝向右上的方向的情况(步骤S206)下，在步骤S207中，解码装置3从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序之中采用预先规定的解码顺序作为上述的解码顺序。
另一方面，在决定为帧内预测模式的方向不是从左下朝向右上的方向的情况(步骤S206)下，在步骤S211中，解码装置3从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序之中采用预先规定的解码顺序作为上述的解码顺序。
在步骤S208中，解码装置3判定与解码对象的TU的上侧相邻的参照像素是否为已解码。在步骤S208中，在已解码的情况下，本动作前进至步骤S209，在未解码完毕的情况下，本动作前进至步骤S210。
在步骤S209中，解码装置3对解码对象的TU，使用与该TU的左侧以及上侧以及下侧相邻的已解码参照像素而进行预先规定的预测。
在步骤S210中，解码装置3对解码对象的TU，使用与该TU的左侧以及下侧相邻的已解码参照像素而进行预先规定的预测。
在步骤S212中，解码装置3判定与解码对象的TU的左侧相邻的参照像素是否为已解码。在步骤S212中，在已解码的情况下，本动作前进至步骤S213，在未解码完毕的情况下，本动作前进至步骤S214。
在步骤S213中，解码装置3对解码对象的TU，使用与该TU的左侧以及上侧以及右侧相邻的已解码参照像素而进行预先规定的预测。
在步骤S214中，解码装置3对解码对象的TU，使用与该TU的右侧以及上侧相邻的已解码参照像素而进行预先规定的预测。
在步骤S215中，解码装置3在使垂直方向以及水平方向的至少一个方向的基底反转后，对上述的变换系数实施正交逆变换处理，从而生成残差信号，并进行其后的处理。
在步骤S216中，解码装置3在不使基底反转的情况下对上述的变换系数实施正交逆变换处理，从而生成残差信号，并进行其后的处理。
根据本实施方式所涉及的解码装置3，在使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况下，构成为对变换系数在使基底反转后实施正交逆变换处理，因此能够降低熵的增大。
(第2实施方式)
以下，参照图6以及图7，针对本发明的第2实施方式所涉及的编码装置1以及解码装置3，着眼于与上述的第1实施方式所涉及的编码装置1以及解码装置3的差异而进行说明。
在本实施方式所涉及的编码装置1中，在帧内预测部14a使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况下，正交变换和量化部14c构成为在将通过残差信号生成部14b生成的残差信号在水平方向以及垂直方向的至少一个方向上反转后，实施正交变换处理。
例如，在帧内预测部14a使用位于左侧以及下侧的参照像素而生成了预测图像的情况下，正交变换和量化部14c也可以构成为，在将通过残差信号生成部14b生成的残差信号在垂直方向上反转后实施正交变换处理。
并且，在帧内预测部14a使用位于右侧以及上侧的参照像素而生成了预测图像的情况下，正交变换和量化部14c也可以构成为，在将通过残差信号生成部14b生成的残差信号在水平方向上反转后实施正交变换处理。
进一步，在帧内预测部14a使用位于右侧以及下侧的参照像素而生成了预测图像的情况下，正交变换和量化部14c也可以构成为在将通过残差信号生成部14b生成的残差信号在垂直方向以及水平方向上反转后实施正交变换处理。
另外，在帧内预测部14a使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况、且所应用的正交变换处理是非对称的正交变换处理(例如，DST等)的情况下，正交变换和量化部14c也可以构成为，在将通过残差信号生成部14b生成的残差信号在水平方向以及垂直方向的至少一个方向上反转后实施正交变换处理。
即，即使是在帧内预测部14a使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况下，在所应用的正交变换处理是对称的正交变换处理(例如，DCT等)的情况下，正交变换和量化部14c也可以构成为，在不使通过残差信号生成部14b生成的残差信号反转的情况下实施正交变换处理。
此外，在帧内预测部14a使用与下侧、左侧以及上侧这样的3个方向相邻的参照像素而生成了预测图像的情况下，正交变换和量化部14c也可以构成为，在不使通过残差信号生成部14b生成的残差信号反转的情况下实施正交变换处理。
此外，在帧内预测部14a使用与右侧、左侧以及上侧这样的3个方向相邻的参照像素而生成了预测图像的情况下，正交变换和量化部14c也可以构成为，在不使残差信号生成部14b生成的残差信号反转的情况下实施正交变换处理。
图6表示用于针对本实施方式所涉及的编码装置1的动作的一例进行说明的流程图。
如图6所示，步骤S301～S314的动作与图3所示的步骤S101～S114的动作是相同的。
在步骤315中，编码装置1在不使上述的残差信号反转的情况下实施正交变换处理，并进行其后的处理。
在步骤316中，编码装置1在将上述的残差信号在水平方向以及垂直方向的至少一个方向上反转后实施正交变换处理，并进行其后的处理。
根据本实施方式所涉及的编码装置1，在使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况下，构成为在将残差信号在水平方向以及垂直方向的至少一个方向上反转后实施正交变换处理，因此能够降低熵的增大。
在本实施方式所涉及的解码装置3中，在帧内预测部33a使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况下，反量化和逆变换部33b构成为，将对上述的变换系数实施正交逆变换处理而得到的信号在水平方向以及垂直方向的至少一个方向上反转。
例如，在帧内预测部33a使用位于左侧以及下侧的参照像素而生车了预测图像的情况下，反量化和逆变换部33b也可以构成为，将对上述的变换系数实施正交逆变换处理而得到的信号在垂直方向上反转。
并且，在帧内预测部33a使用位于右侧以及上侧的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，将对上述的变换系数实施正交逆变换处理而得到的信号在水平方向上反转。
进一步，在帧内预测部33a使用位于右侧以及下侧的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，将对上述的变换系数实施正交逆变换处理而得到的信号在垂直方向以及水平方向上反转。
另外，在帧内预测部33a使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况、且所应用的正交变换处理是非对称的正交变换处理(例如，DST等)的情况下，反量化和逆变换部33b也可以构成为，将对上述的变换系数实施正交逆变换处理而得到的信号反转。
即，即使是在帧内预测部33a使用位于右侧以及下侧的至少一侧的参照像素而生成了预测图像的情况下，在所应用的正交变换处理是对称的正交变换处理(例如，DCT等)的情况下，反量化和逆变换部33b也可以构成为，不使对上述的变换系数实施正交逆变换处理而得到的信号反转。
此外，在帧内预测部33a使用与下侧、左侧以及上侧这样的3个方向相邻的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，不使对上述的变换系数实施正交逆变换处理而得到的信号反转。
此外，在帧内预测部33a使用与右侧、左侧以及上侧这样的3个方向相邻的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，不使对上述的变换系数实施正交逆变换处理而得到的信号反转。
图7表示用于针对本实施方式所涉及的解码装置3的动作的一例进行说明的流程图。
如图7所示，步骤S401～S414的动作与图5所示的步骤S201～S214的动作是相同的。
在步骤415中，解码装置3不使对上述的变换系数实施正交逆变换处理而得到的信号反转，而进行其后的处理。
在步骤416中，解码装置3在将对上述的变换系数实施正交逆变换处理而得到的信号在水平方向以及垂直方向的至少一个方向上反转后，进行其后的处理。
(第3实施方式)
以下，参照图1、图2、图4、图8以及图9，针对本发明的第1实施方式所涉及的编码装置1以及解码装置3进行说明。在此，本实施方式所涉及的编码装置1以及解码装置3构成为支持HEVC等动态图像编码方式中的帧内预测。另外，本实施方式所涉及的编码装置1以及解码装置3构成为能够支持任意的动态图像编码方式，只要该动态图像编码方式是进行帧内预测的动态图像编码方式即可。
本实施方式所涉及的编码装置1构成为将构成动态图像的帧单位的原图像分割为CU并进行编码。此外，本实施方式所涉及的编码装置1也可以构成为能够将CU分割为多个TU。以下，在本实施方式中，列举将CU分割为多个TU的情形为例而进行说明，但是，本发明也能够应用于不将CU分割为多个TU的情形。
另外，在本实施方式中构成为，在帧内位于最左上方的CU等、不存在相邻的已解码参照像素的编码对象的CU中，通过填充规定的值(如果是10比特的动态图像，则为“512”)的处理，制作出在生成预测图像时使用的参照像素，因此设为，针对与编码对象的CU的左侧相邻的像素能够全部作为参照像素。
如图1所示，本实施方式所涉及的编码装置1具备：帧内预测模式决定部11、TU分割决定部12、编码顺序控制部13、依次局部解码图像生成部14、存储器15、以及熵编码部16。
帧内预测模式决定部11构成为决定应用于CU的最佳的帧内预测模式。
TU分割决定部12构成为决定是否将CU分割为多个TU。另外，在本实施方式中，作为将CU分割为多个TU的方法，列举4分割的情形为例进行了说明，但是，针对将CU分割为多个TU时的分割数量、分割形状，并不限制于该情形。
编码顺序控制部13构成为基于帧内预测模式(例如，帧内预测模式的方向)而决定CU内的TU的编码顺序。
具体地，编码顺序控制部13也可以构成为，在通过TU分割决定部12决定了将CU分割为多个TU的情况下，如图2(a)～图2(d)所示，在通过帧内预测模式决定部11决定的帧内预测模式的方向是从左下朝向右上的方向的情况(即，从左下朝向右上进行方向预测的情况)下，不采用以往的光栅扫描顺序(图10(a)所示的Z型)，而是从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序之中采用预先规定的编码顺序作为CU内的TU的编码顺序，。
此外，编码顺序控制部13也可以构成为，在通过TU分割决定部12决定了将CU分割为多个TU的情况、且通过帧内预测模式决定部11决定的帧内预测模式的方向是从右上朝向左下的方向的情况(即，从右上朝向左下进行方向预测的情况)下，不采用以往的光栅扫描顺序(图10(a)所示的Z型)，而是从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序之中采用预先规定的编码顺序。
依次局部解码图像生成部14构成为基于通过编码顺序控制部13决定的编码顺序以及CU至TU的分割方法而生成局部解码图像(每个TU的解码图像)。
具体地，依次局部解码图像生成部14构成为在通过TU分割决定部12决定了将CU分割为多个TU的情况下，按照通过编码顺序控制部13决定的编码顺序，依次生成局部解码图像。
如图1所示，依次局部解码图像生成部14具备：帧内预测部14a、残差信号生成部14b、正交变换和量化部14c、反量化和正交逆变换部14d、以及局部解码图像生成部14e。
帧内预测部14a构成为使用通过帧内预测模式决定部11决定的帧内预测模式而生成预测图像。即，帧内预测部14d构成为决定在生成预测图像时使用的参照像素的位置。
具体地，帧内预测部14a也可以构成为，在通过TU分割决定部12决定了将CU分割为多个TU的情况下，如图2(a)～图2(d)所示，在帧内预测模式的方向(预测方向)是从左下朝向右上的方向的情况下，从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序之中按照预先规定的编码顺序，生成预测图像。
在此，帧内预测部14a也可以构成为，如图2(c)以及图2(d)所示，针对相邻的下侧的参照像素已被解码的TU#A1(CU#A内的左上的TU)以及TU#A2(CU#A内的右上的TU)，使用与左侧以及下侧相邻的已解码参照像素而生成预测图像。
此外，在本实施方式所涉及的编码装置1中，帧内预测部14a也可以构成为，在通过TU分割决定部12决定了将CU分割为多个TU的情况、且帧内预测模式的方向(预测方向)是从右上朝向左下的方向的情况下，从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序之中按照预先规定的编码顺序，生成预测图像。
在此，帧内预测部14a也可以构成为，针对相邻的右侧的参照像素已被解码的TU#A1(CU#A内的左上的TU)以及TU#A3(CU#A内的左下的TU)，使用与上侧以及右侧相邻的已解码参照像素而生成预测图像。
或者，帧内预测部14a也可以构成为，在TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序被使用的情况下，针对与其上侧相邻的参照像素已被解码的TU(被分割后的TU组之中位于最顶部的TU，在图2的例中是TU#A1以及TU#A2)，进行线性插值等预先规定的预测，该线性插值不使用在CU#A内共通的帧内预测方向，而使用与该TU的左侧、上侧、下侧相邻的已解码参照像素。
残差信号生成部14b构成为根据通过帧内预测部14a生成的预测图像与原图像之差，生成残差信号。
在此，残差信号生成部14b也可以构成为，在应用了“变换跳过(TransformSkip)模式”情况(没有应用正交变换的情况)下，基于在通过帧内预测部14a决定的生成预测图像时使用的参照像素的位置，将所生成的残差信号在水平方向以及垂直方向的至少一个方向上反转。
例如，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部14a使用位于左侧以及下侧的参照像素而生成了预测图像的情况下，残差信号生成部14b也可以构成为，将所生成的残差信号在水平方向上反转，将残差信号的能量集中于左上方的区域。
此外，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部14a使用位于右侧以及上侧的参照像素而生成了预测图像的情况下，残差信号生成部14b也可以构成为，将所生成的残差信号在垂直方向上反转，将残差信号的能量集中于左上方的区域。
此外，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部14a使用位于左侧以及上侧的参照像素而生成了预测图像的情况下，与在以往的HEVC中应用“变换跳过(TransformSkip)模式”的情况同样地，残差信号生成部14b也可以构成为，将所生成的残差信号在垂直方向以及水平方向上反转，将残差信号的能量集中于左上方的区域。
并且，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部14a使用位于左侧以及上侧以及下侧的参照像素而生成了预测图像的情况下，残差信号生成部14b也可以构成为将所生成的残差信号在水平方向上反转，将残差信号的能量集中于左方的区域。
进一步，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部14a使用位于左侧以及上侧以及右侧的参照像素而生成了预测图像的情况下，残差信号生成部14b也可以构成为将所生成的残差信号在垂直方向上反转，将残差信号的能量集中于上方的区域。
另外，针对该残差信号的反转处理，也可以不通过残差信号生成部14b来实现，而通过正交变换和量化部14c、熵编码部16等的其他的功能来实现。例如，也可以设为如下结构：不进行残差信号的反转，而是在熵编码部16中对系数的扫描顺序进行变更，从而得到与进行残差信号的反转同样的效果。
另一方面，也可以构成为在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部14a没有使用位于左侧以及上侧的任一侧的参照像素来生成预测图像的情况下，不使所生成的残差信号反转。
正交变换和量化部14c构成为，对通过残差信号生成部14b生成的残差信号实施正交变换处理以及量化处理，生成量化后的变换系数。
在此，正交变换和量化部14c构成为，在应用了“变换跳过(TransformSkip)模式”的情况下，对通过残差信号生成部14b生成的残差信号不进行正交变换处理，而仅实施量化处理。
或者，也可以构成为，在应用了“变换跳过(TransformSkip)模式”的情况下，不进行正交变换处理以及量化处理这双方，而将通过残差信号生成部14b生成的残差信号按照原样进行输出。
反量化和正交逆变换部14d也可以构成为，对通过正交变换和量化部14c生成的量化后的变换系数，再次实施反量化处理以及正交逆变换处理而生成残差信号。
在此，反量化和正交逆变换部14d也可以构成为，在应用了“变换跳过(TransformSkip)模式”的情况下，对通过正交变换和量化部14c生成的量化后的残差信号，不进行正交逆变换处理，而仅实施反量化处理，从而生成残差信号。
或者，也可以构成为，在应用了“变换跳过(TransformSkip)模式”的情况下，不进行正交变换处理以及量化处理这双方，而将通过正交变换和量化部14c生成的残差信号按照原样进行输出。
局部解码图像生成部14e构成为，对通过反量化和正交逆变换部14d生成的残差信号加上通过帧内预测部14a生成的预测图像，从而生成局部解码图像。
存储器15构成为将通过依次局部解码图像生成部14生成的局部解码图像，以能够作为参照图像而利用的方式进行保存。
熵编码部16构成为对包含通过帧内预测模式决定部11决定的帧内预测模式等在内的标记信息、量化后的变换系数，实施熵编码处理并进行流输出。
图8表示用于针对在应用了“变换跳过(TransformSkip)模式”的情况下的本实施方式所涉及的编码装置1的动作的一例进行说明的流程图。
如图8所示，在步骤S501中，编码装置1决定应用于CU的最佳的帧内预测模式。
在步骤S502中，编码装置1决定是否将CU分割为多个TU。在步骤S502中，在决定为将CU分割为多个TU的情况下，本动作前进至步骤S503。另一方面，在步骤S502中，在决定为不将CU分割为多个TU的情况下，本动作前进至步骤S508。
在步骤S503中，在决定为帧内预测模式的方向是从左下朝向右上的方向或者从右上朝向左下的方向的情况下，本动作前进至步骤S505。另一方面，在步骤S503中，在决定为帧内预测模式的方向为除从左下朝向右上的方向以及从右上朝向左下的方向之外的情况下，本动作前进至步骤S504。
在步骤S504中，编码装置1采用在以往的HEVC中所使用的光栅扫描顺序(图10(a)所示的Z型)作为上述的编码顺序。
在步骤S508中，编码装置1对编码对象的TU使用与该TU的左侧以及上侧相邻的已解码参照像素，进行预先规定的预测。
在决定为帧内预测模式的方向是从左下朝向右上的方向的情况(步骤S505)下，在步骤S506中，编码装置1从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的编码顺序之中采用预先规定的编码顺序作为上述的编码顺序。
另一方面，在决定为帧内预测模式的方向不是从左下朝向右上的方向的情况(步骤S505)下，在步骤S511中，编码装置1从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的编码顺序之中采用预先规定的编码顺序作为上述的编码顺序。
在步骤S507中，编码装置1判定与编码对象的TU的上侧相邻的参照像素是否为已解码。在步骤S507中，在已解码的情况下，本动作前进至步骤S509，在未解码完毕的情况下，本动作前进至步骤S510。
在步骤S509中，编码装置1对编码对象的TU使用与该TU的左侧以及上侧以及下侧相邻的已解码参照像素，进行预先规定的预测。
在步骤S510中，编码装置1对编码对象的TU使用与该TU的左侧以及下侧相邻的已解码参照像素，进行预先规定的预测。
在步骤S512中，编码装置1判定与编码对象的TU的左侧相邻的参照像素是否为已解码。在步骤S512中，在已解码的情况下，本动作前进至步骤S513，在未解码完毕的情况下，本动作前进至步骤S514。
在步骤S513中，编码装置1对编码对象的TU使用与该TU的左侧以及上侧以及右侧相邻的已解码参照像素，进行预先规定的预测。
在步骤S514中，编码装置1对编码对象的TU使用与该TU的右侧以及上侧相邻的已解码参照像素，进行预先规定的预测。
在步骤S515中，编码装置1在将使用预测图像以及原图像而生成的残差信号在垂直方向上反转后，进行其后的处理。
在步骤S516中，编码装置1在将使用预测图像以及原图像而生成的残差信号在水平方向上反转后，进行其后的处理。
在步骤S517中，编码装置1在将使用预测图像以及原图像而生成的残差信号在垂直方向以及水平方向上反转后，进行其后的处理。
根据本实施方式所涉及的编码装置1，即使是在帧内预测中使用下侧以及右侧的至少一侧的参照像素的情况、且应用了变换跳过(TransformSkip)模式的情况(对残差信号没有应用正交变换处理的情况)下，也能够抑制编码效率的下降。
此外，本实施方式所涉及的解码装置3构成为将构成动态图像的帧单位的原图像分割为CU并进行解码。此外，本实施方式所涉及的解码装置3构成为，与本实施方式所涉及的编码装置1同样地，能够将CU分割为多个TU。
如图4所示，本实施方式所涉及的解码装置3具备：熵解码部31、解码顺序控制部32、依次局部解码图像生成部33、以及存储器34。
熵解码部31构成为，通过对从编码装置1输出的流实施熵解码处理，从由编码装置1输出的流中解码变换系数、标记信息等。在此，变换系数是作为通过编码装置1将帧单位的原图像分割为CU并编码后的信号，而得到的被量化后的变换系数。
此外，标记信息包含表示是否选择了预测模式、“变换跳过(TransformSkip)模式”的信息等附带的信息。
解码顺序控制部32构成为基于帧内预测模式而决定CU内的TU的解码顺序。
具体地，解码顺序控制部32构成为，根据通过熵解码部31输出的、表示是否进行了TU分割(CU是否已被分割为多个TU)的标记以及帧内预测模式的方向，决定CU内的TU的解码顺序。
例如，解码顺序控制部32也可以构成为，与编码顺序控制部13同样地，在CU已被分割为多个TU的情况、且帧内预测模式的方向是从左下朝向右上的方向的情况下，从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序之中按照预先规定的解码顺序，进行解码处理。
此外，解码顺序控制部32也可以构成为，与编码顺序控制部13同样地，在CU已被分割为多个TU的情况、且帧内预测模式的方向是从右上朝向左下的方向的情况下，从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序之中按照预先规定的解码顺序，进行解码处理。
依次局部解码图像生成部33构成为基于通过解码顺序控制部32决定的解码顺序以及CU至TU的分割方法，生成局部解码图像(每个TU的解码图像)。
具体地，依次局部解码图像生成部33构成为，在CU已被分割为多个TU的情况下，按照通过解码顺序控制部32决定的解码顺序，对通过熵解码部31输出的量化后的变换系数，依次进行帧内预测、反量化处理、正交逆变换处理，从而生成局部解码图像。
如图4所示，依次局部解码图像生成部33具备：帧内预测部33a、反量化和逆变换部33b、以及解码图像生成部33c。
帧内预测部33a也可以构成为，按照通过解码顺序控制部32决定的解码顺序，使用通过熵解码部31输出的帧内预测模式，生成预测图像。
具体地，帧内预测部33a也可以构成为，在CU已被分割为多个TU的情况、且帧内预测模式的方向是从左下朝向右上的方向的情况下，从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序之中按照预先规定的解码顺序，生成预测图像。
在此，帧内预测部33a也可以构成为，如图2(c)以及图2(d)所示，针对相邻的下侧的参照像素已被解码的TU#A1(CU#A内的左上的TU)以及TU#A2(CU#A内的右上的TU)，使用与其左侧以及下侧相邻的已解码参照像素而生成预测图像。
此外，在本实施方式所涉及的解码装置3中，帧内预测部33a也可以构成为，在CU已被分割为多个TU的情况、且帧内预测模式的方向(预测方向)是从右上朝向左下的方向的情况下，从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序之中按照预先规定的解码顺序，生成预测图像。
在此，帧内预测部33a也可以构成为，针对相邻的右侧的参照像素已被解码的TU#A1(CU#A内的左上的TU)以及TU#A3(CU#A内的左下的TU)，使用与其上侧以及右侧相邻的已解码参照像素而生成预测图像。
或者，帧内预测部33a也可以构成为，在TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序被使用的情况下，针对与其上侧相邻的参照像素已解码的TU(被分割后的TU组之中位于最顶部的TU，在图2的例中是TU#A1以及TU#A2)，进行线性插值等预先规定的预测，该线性插值不使用在CU#A内共通的帧内预测方向，而使用与该TU的左侧、上侧、下侧相邻的已解码参照像素。
反量化和逆变换部33b构成为对通过熵解码部31输出的量化后的变换系数实施反量化处理以及逆变换处理(例如，正交逆变换处理)，从而生成残差信号。
在此，反量化和逆变换部33b构成为，在应用了“变换跳过(TransformSkip)模式”的情况(没有应用正交逆变换处理的情况)下，对通过熵解码处理得到的信号，不进行逆变换处理，而仅实施反量化处理。
或者，也可以构成为，在应用了“变换跳过(TransformSkip)模式”的情况下，不进行正交逆变换处理以及反量化处理这双方，而将通过熵解码处理得到的信号按照原样进行输出。
此外，在应用了“变换跳过(TransformSkip)模式”的情况下，反量化和逆变换部33b也可以构成为，基于帧内预测部33a生成预测图像时使用的参照像素的位置，将通过熵解码处理以及反量化处理而得到的信号在水平方向以及垂直方向的至少一个方向上反转，从而生成残差信号。
例如，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部33a使用位于左侧以及下侧的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，将通过熵解码处理以及反量化处理而得到的信号在水平方向上反转，从而生成残差信号。
此外，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部33a使用位于右侧以及上侧的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，将通过熵解码处理以及反量化处理而得到的信号在垂直方向上反转，从而生成残差信号。
此外，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部33a使用位于左侧以及上侧的参照像素而生成了预测图像的情况下，与在以往的HEVC中应用“变换跳过(TransformSkip)模式”的情况同样地，反量化和逆变换部33b也可以构成为，将通过熵解码处理以及反量化处理而得到的信号在垂直方向以及水平方向上反转，从而生成残差信号。
此外，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部33a使用位于左侧以及上侧以及下侧的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，将通过熵解码处理以及反量化处理而得到的信号在水平方向上反转，从而生成残差信号。
进一步，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部33a使用位于左侧以及上侧以及右侧的参照像素而生成了预测图像的情况下，反量化和逆变换部33b也可以构成为，将通过熵解码处理以及反量化处理而得到的信号在垂直方向上反转，从而生成残差信号。
另一方面，在应用了“变换跳过(TransformSkip)模式”的情况、且帧内预测部33a没有使用位于左侧以及上侧的任一侧的参照像素来生成预测图像的情况下，反量化和逆变换部33b也可以构成为，不使通过熵解码处理以及反量化处理而得到的信号反转。
解码图像生成部33c构成为将通过帧内预测部33a生成的预测图像与通过反量化和逆变换部33b生成的残差信号相加，从而生成局部解码图像。
存储器34构成为将通过依次局部解码图像生成部33生成的局部解码图像，以能够作为用于帧内预测以及帧间预测的参照图像而利用的方式进行保存。
图9表示用于针对在应用了“变换跳过(TransformSkip)模式”的情况下通过本实施方式所涉及的解码装置3而决定上述的解码顺序的动作的一例进行说明的流程图。
如图9所示，在步骤S601中，解码装置3从由编码装置1输出的流中取得帧内预测模式。
在步骤S602中，解码装置3基于从编码装置1输出的流中包含的标记信息，判定CU是否已被分割为多个TU。在步骤S602中，在判定为CU已被分割为多个TU的情况下，本动作前进至步骤S603。另一方面，在步骤S602中，在判定为CU没有被分割为多个TU的情况下，本动作前进至步骤S605。
在步骤S605中，解码装置3对解码对象的TU使用与该TU的左侧以及上侧相邻的已解码参照像素，而进行预先规定的预测。
在步骤S603中，解码装置3判定帧内预测模式的方向是否是从左下朝向右上的方向或者从右上朝向左下的方向。在步骤S603中，在判定为帧内预测模式的方向是从左下朝向右上的方向或者从右上朝向左下的方向的情况下，本动作前进至步骤S606。另一方面，在步骤S603中，在判定为帧内预测模式的方向为除从左下朝向右上的方向以及从右上朝向左下的方向之外的情况下，本动作前进至步骤S604。
在步骤S604中，解码装置3采用在HEVC中所使用的以往的光栅扫描顺序(图10(a)所示的Z型)作为上述的解码顺序。
在决定为帧内预测模式的方向是从左下朝向右上的方向的情况(步骤S606)下，在步骤S607中，解码装置3从TU#A3(CU#A内的左下的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序、或者、TU#A3(CU#A内的左下的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A2(CU#A内的右上的TU)这样的解码顺序之中采用预先规定的解码顺序作为上述的解码顺序。
另一方面，在决定为帧内预测模式的方向不是从左下朝向右上的方向的情况(步骤S606)下，在步骤S611中，解码装置3从TU#A2(CU#A内的右上的TU)→TU#A4(CU#A内的右下的TU)→TU#A1(CU#A内的左上的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序、或者、TU#A2(CU#A内的右上的TU)→TU#A1(CU#A内的左上的TU)→TU#A4(CU#A内的右下的TU)→TU#A3(CU#A内的左下的TU)这样的解码顺序之中采用预先规定的解码顺序作为上述的解码顺序。
在步骤S608中，解码装置3判定与解码对象的TU的上侧相邻的参照像素是否为已解码。在步骤S608中，在已解码的情况下，本动作前进至步骤S609，在未解码完毕的情况下，本动作前进至步骤S610。
在步骤S609中，解码装置3对解码对象的TU使用与该TU的左侧以及上侧以及下侧相邻的已解码参照像素，而进行预先规定的预测。
在步骤S610中，解码装置3对解码对象的TU使用与该TU的左侧以及下侧相邻的已解码参照像素，而进行预先规定的预测。
在步骤S612中，解码装置3判定与解码对象的TU的左侧相邻的参照像素是否为已解码。在步骤S612中，在已解码的情况下，本动作前进至步骤S613，在未解码完毕的情况下，本动作前进至步骤S614。
在步骤S613中，解码装置3对解码对象的TU使用与该TU的左侧以及上侧以及右侧相邻的已解码参照像素，而进行预先规定的预测。
在步骤S614中，解码装置3对解码对象的TU使用与该TU的右侧以及上侧相邻的已解码参照像素，而进行预先规定的预测。
在步骤S615中，解码装置3使通过熵解码处理以及反量化处理而得到的信号在垂直方向上反转，进行其后的处理。
在步骤S616中，解码装置3使通过熵解码处理以及反量化处理得到的信号在水平方向上反转，进行其后的处理。
在步骤S617中，解码装置3在使通过熵解码处理以及反量化处理而得到的信号在垂直方向以及水平方向上反转后，进行其后的处理。
根据本实施方式所涉及的解码装置3，即使是在帧内预测中使用下侧以及右侧的至少一侧的参照像素的情况、且应用了变换跳过(TransformSkip)模式的情况(对通过熵解码处理以及反量化处理而得到的信号没有应用正交逆变换处理的情况)下，也能够抑制编码效率的下降。
(其他的实施方式)
如上所述，针对本发明，通过上述的实施方式进行了说明，但是，构成该实施方式中的公开的一部分的论述以及附图不应该理解为用于限定本发明。本领域技术人员从该公开中能够明白各种各样的代替实施方式、实施例以及运用技术。
此外，虽然在上述的实施方式中未特别提及，但是，也可以提供一种程序，使计算机执行通过上述的编码装置1以及解码装置3进行的各处理。此外，该程序也可以记录在计算机可读取介质中。只要使用计算机可读取介质，就能够将该程序安装到计算机中。在此，记录该程序的计算机可读取介质也可以是非暂时性的记录介质。非暂时性的记录介质并没有特别地限定，也可以是，例如CD-ROM、DVD-ROM等记录介质。
或者，也可以提供一种由存储器以及处理器构成的芯片，该存储器存储用于实现上述的编码装置1以及解码装置3内的至少一部分的功能的程序，该处理器执行存储于存储器中的程序。
标号说明
1…编码装置
11…帧内预测模式决定部
12…TU分割决定部
13…编码顺序控制部
14…依次局部解码图像生成部
14a…帧内预测部
14b…残差信号生成部
14c…正交变换和量化部
14d…反量化和正交逆变换部
14e…局部解码图像生成部
15…存储器
16…熵编码部
3…解码装置
31…熵解码部
32…解码顺序控制部
33…依次局部解码图像生成部
33a…帧内预测部
33b…反量化和逆变换部
33c…解码图像生成部
34…存储器

Claims (12)

1.一种编码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行编码，其特征在于，所述编码装置具备：
帧内预测部，构成为使用帧内预测模式而生成预测图像；
残差信号生成部，构成为根据所述预测图像和原图像之差而生成残差信号；以及
正交变换部，构成为在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况下，在使水平方向以及垂直方向的至少一个方向的基底反转后对所述残差信号实施正交变换处理。
2.根据权利要求1所述的编码装置，其特征在于，
所述正交变换部构成为，在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况、且所应用的正交变换处理是非对称的正交变换处理的情况下，在使水平方向以及垂直方向的至少一个方向的基底反转后对所述残差信号实施正交变换处理。
3.一种解码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行解码，其特征在于，所述解码装置具备：
帧内预测部，构成为使用帧内预测模式而生成预测图像；以及
逆变换部，构成为在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况下，在使水平方向以及垂直方向的至少一个方向的基底反转后对变换系数实施正交逆变换处理，从而生成残差信号。
4.根据权利要求3所述的解码装置，其特征在于，
所述逆变换部构成为，在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况、且所应用的正交变换处理是非对称的正交变换处理的情况下，在使水平方向以及垂直方向的至少一个方向的基底反转后对变换系数实施正交逆变换处理，从而生成残差信号。
5.一种编码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行编码，其特征在于，所述编码装置具备：
帧内预测部，构成为使用帧内预测模式而生成预测图像；
残差信号生成部，构成为根据所述预测图像与原图像之差而生成残差信号；以及
正交变换部，构成为在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况下，在将所述残差信号在水平方向以及垂直方向的至少一个方向上反转后对反转后的残差信号实施正交变换处理。
6.根据权利要求5所述的编码装置，其特征在于，
所述正交变换部构成为，在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况、且所应用的正交变换处理是非对称的正交变换处理的情况下，在将所述残差信号在水平方向以及垂直方向的至少一个方向上反转后对反转后的残差信号实施正交变换处理。
7.一种解码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行解码，其特征在于，所述解码装置具备：
帧内预测部，构成为使用帧内预测模式而生成预测图像；以及
逆变换部，构成为在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况下，通过将对变换系数实施正交逆变换处理而得到的信号在水平方向以及垂直方向的至少一个方向上反转，从而生成残差信号。
8.根据权利要求7所述的解码装置，其特征在于，
所述逆变换部构成为，在所述帧内预测部使用位于右侧以及下侧的至少一侧的参照像素而生成了所述预测图像的情况、且所应用的正交变换处理是非对称的正交变换处理的情况下，通过将对变换系数实施正交逆变换处理而得到的信号在水平方向以及垂直方向的至少一个方向上反转，从而生成残差信号。
9.一种编码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行编码，其特征在于，所述编码装置具备：
帧内预测部，构成为使用帧内预测模式而生成预测图像；以及
残差信号生成部，构成为根据所述预测图像与原图像之差而生成残差信号，
所述残差信号生成部构成为，在未应用正交变换处理的情况下，基于所述帧内预测部生成所述预测图像时使用的参照像素的位置，将所述残差信号在水平方向以及垂直方向的至少一个方向上反转。
10.一种解码装置，构成为将构成动态图像的帧单位的原图像分割为编码对象块并进行解码，其特征在于，所述解码装置具备：
帧内预测部，构成为使用帧内预测模式而生成预测图像；以及
逆变换部，构成为在未应用正交逆变换处理的情况下，基于所述帧内预测部生成所述预测图像时使用的参照像素的位置，将通过熵解码处理以及反量化处理而得到的信号在水平方向以及垂直方向的至少一个方向上反转，从而生成残差信号。
11.一种用于使计算机作为权利要求1、2、5、6或者9所述的编码装置来发挥作用的程序。
12.一种用于使计算机作为权利要求3、4、7、8或者10所述的解码装置来发挥作用的程序。
CN201780011801.XA 2016-02-17 2017-02-17 编码装置、解码装置以及程序 Pending CN108702504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010961281.2A CN112055204B (zh) 2016-02-17 2017-02-17 编码装置、解码装置以及程序

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016-028438 2016-02-17
JP2016028438 2016-02-17
JP2016-028437 2016-02-17
JP2016028437 2016-02-17
PCT/JP2017/005997 WO2017142085A1 (ja) 2016-02-17 2017-02-17 符号化装置、復号装置及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010961281.2A Division CN112055204B (zh) 2016-02-17 2017-02-17 编码装置、解码装置以及程序

Publications (1)

Publication Number Publication Date
CN108702504A true CN108702504A (zh) 2018-10-23

Family

ID=59625249

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010961281.2A Active CN112055204B (zh) 2016-02-17 2017-02-17 编码装置、解码装置以及程序
CN201780011801.XA Pending CN108702504A (zh) 2016-02-17 2017-02-17 编码装置、解码装置以及程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010961281.2A Active CN112055204B (zh) 2016-02-17 2017-02-17 编码装置、解码装置以及程序

Country Status (4)

Country Link
US (2) US11153572B2 (zh)
EP (1) EP3419291A4 (zh)
CN (2) CN112055204B (zh)
WO (1) WO2017142085A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356448B1 (ko) 2008-10-01 2014-02-06 한국전자통신연구원 예측 모드를 이용한 복호화 장치
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
CN112585975B (zh) 2018-08-20 2024-08-09 日本放送协会 编码装置、解码装置以及程序
MX2021013034A (es) 2019-04-25 2021-12-10 Beijing Dajia Internet Information Tech Co Ltd Metodos y aparatos para el refinamiento de prediccion con flujo optico.
CN117544774A (zh) * 2022-08-01 2024-02-09 深圳市中兴微电子技术有限公司 帧内预测方法、装置、计算机设备及可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100586187C (zh) * 2005-08-20 2010-01-27 三星电子株式会社 用于图像内部预测编码/解码的方法和设备
WO2012096194A1 (ja) * 2011-01-14 2012-07-19 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号化方法、画像復号化装置および画像符号化復号化装置
CN105165012A (zh) * 2013-04-23 2015-12-16 高通股份有限公司 视频译码中的预测残余块的再定位

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4577778B2 (ja) * 2005-09-28 2010-11-10 株式会社Ｋｄｄｉ研究所 動画像の符号化および復号化方法
WO2011083573A1 (ja) * 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
US9344722B2 (en) * 2011-11-18 2016-05-17 Futurewei Technologies, Inc. Scanning of prediction residuals in high efficiency video coding
JP2014045434A (ja) * 2012-08-28 2014-03-13 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及びそれらのプログラム
US10194158B2 (en) * 2012-09-04 2019-01-29 Qualcomm Incorporated Transform basis adjustment in scalable video coding
US9813709B2 (en) * 2012-09-28 2017-11-07 Nippon Telegraph And Telephone Corporation Intra-prediction encoding method, intra-prediction decoding method, intra-prediction encoding apparatus, intra-prediction decoding apparatus, program therefor and recording medium having program recorded thereon

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100586187C (zh) * 2005-08-20 2010-01-27 三星电子株式会社 用于图像内部预测编码/解码的方法和设备
WO2012096194A1 (ja) * 2011-01-14 2012-07-19 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号化方法、画像復号化装置および画像符号化復号化装置
CN105165012A (zh) * 2013-04-23 2015-12-16 高通股份有限公司 视频译码中的预测残余块的再定位

Also Published As

Publication number Publication date
EP3419291A1 (en) 2018-12-26
US11153572B2 (en) 2021-10-19
US20220030250A1 (en) 2022-01-27
EP3419291A4 (en) 2020-01-29
CN112055204B (zh) 2024-05-28
WO2017142085A1 (ja) 2017-08-24
CN112055204A (zh) 2020-12-08
US11750822B2 (en) 2023-09-05
US20180376147A1 (en) 2018-12-27

Similar Documents

Publication Publication Date Title
CN108702504A (zh) 编码装置、解码装置以及程序
TWI739386B (zh) 具有適應性參數集之適應性迴路濾波器
TWI650009B (zh) 解碼器側圖框內模式導出的方法和裝置
JP6336513B2 (ja) 映像符号化方法及びその装置、映像復号化方法及びその装置
JP2022003790A (ja) 複数の隣接する量子化パラメータから量子化パラメータ予測子を決定する方法及び装置
CN113574880B (zh) 关于子块变换模式的分割
CN107360427B (zh) 编码器和编码方法与解码器和解码方法
JP6789256B2 (ja) 画像符号化装置、動画像符号化方法、動画像復号装置及び動画像復号方法
KR101960825B1 (ko) 인코딩 및 디코딩 방법과 장치
CN1306649A (zh) 把具有第一分辨率的编码图像直接解码为具有第二分辨率的解码图像
TW201340717A (zh) 在變換單元內之多符號位元隱藏
US10602155B2 (en) Intra prediction method and apparatus
TWI722465B (zh) 子塊的邊界增強
CN101009839A (zh) 基于正交变换和向量量化的视频编码/解码的方法和设备
JP7246449B2 (ja) 符号化装置、復号装置及びプログラム
CN114009015A (zh) 转换省略块的传讯编码技术
KR20230111255A (ko) 인트라 프레임 예측 방법, 장치 및 디코더와 인코더
CN106063268B (zh) 转码方法、转码设备以及信息存储介质
JP2022186939A (ja) 符号化装置、復号装置及びプログラム
JPWO2020137643A1 (ja) 画像処理装置および方法
TW200838319A (en) Scalable encoding method and apparatus, scalable decoding method and apparatus, programs and storage media therefor
EP4066492A1 (en) Coding concepts for a transformed representation of a sample block
JP5469931B2 (ja) 動画像復号化方法、動画像符号化方法
TW202406334A (zh) 電子設備和視訊編解碼的方法
KR20210099142A (ko) 비트스트림 디코딩

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181023