JP2022023859A

JP2022023859A - 符号化装置、復号装置及びプログラム

Info

Publication number: JP2022023859A
Application number: JP2021167016A
Authority: JP
Inventors: 俊輔岩村; Shunsuke Iwamura; 敦郎市ヶ谷; Atsuro Ichigaya
Original assignee: Nippon Hoso Kyokai NHK
Current assignee: Japan Broadcasting Corp
Priority date: 2016-02-17
Filing date: 2021-10-11
Publication date: 2022-02-08
Anticipated expiration: 2037-02-16
Also published as: JP2018121318A; JP7202769B2; JP2023072035A; JP7246449B2

Abstract

【課題】変換係数に逆変換処理を行い、信号を所定方向に並べ替える処理を行う復号装置及びコンピュータプログラムを提供する。【解決手段】復号装置は、イントラ予測部と逆変換部とを具備する。逆変換部は、イントラ予測モードの方向が、左下から右上に向かう方向であるかの判定及び右上から左下に向かう方向であるかの判定を含むモード判定処理と、対象ブロックの上側に隣接する復号済み画素ライン及び左側に隣接する復号済み画素ラインのうちの少なくとも１つの復号済み画素ラインに含まれる画素のみを、イントラ予測部がイントラ予測処理で参照するか否かを判定する画素位置判定処理と、モード判定処理及び画素位置判定処理の両方の判定結果に基づいて、変換係数に逆変換処理を行うことで得られる信号を所定方向に並べ替える処理を行うか否か及び当該信号を並べ替える態様を決定する決定処理と、を実行する。【選択図】図５

Description

本発明は、符号化装置、復号装置及びプログラムに関する。

Ｈ.２６５/ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）に代表される動画像（映像）符号化方式では、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の２種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロピー符号化処理を行い得られたストリームを出力するように構成されている。

ＨＥＶＣにおけるイントラ予測では、Ｐｌａｎｅｒ予測やＤＣ予測や方向予測の計３５種類のモードが用意されており、エンコーダで決定されたモードに従って、隣接する復号済み参照画素を用いてイントラ予測を行うように構成されている。

ここで、イントラ予測では、フレーム内で最も左上に位置する符号化対象ブロック（以下、「ＣＵ：ＣｏｄｉｎｇＵｎｉｔ」と呼ぶ）等、隣接する復号済み参照画素が存在しないＣＵでは、規定した値（１０ビットの動画像であれば「５１２」）を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されている。

また、従来のＨＥＶＣでは、符号化処理が、左上からラスタースキャン順に行われるために、参照画素が復号済みでない場合がある。このような場合には、最も近い復号済み参照画素を０次外挿した値を用いて予測画像を生成するように構成されている。

とりわけ、従来のＨＥＶＣにおけるイントラ予測では、図８（ａ）に示すラスタースキャン順による符号化処理により、ＴＵの分割形状によりフレームの端以外でも、ＣＵの左下や右上に位置する参照画素が復号済みでない場合が多く（図８（ｂ）参照）、このような場合に、復号済みでない参照画素が存在する方向からの方向予測を行うと予測精度が低下し、符号化効率が低減してしまうという問題点があった。

かかる問題点を解決するために、イントラ予測において、ＣＵ内に存在する複数の変換ブロック（以下、「ＴＵ：ＴｒａｎｓｆｏｒｍＵｎｉｔ」と呼ぶ）に対する符号化処理順として、ラスタースキャン順（例えば、Ｚ型）の他、Ｕ型やＸ型等の符号化順に自由度を持たせることによって予測精度の向上を図る技術が知られている（非特許文献１参照）。

なお、図８（ａ）及び図８（ｂ）の例では、左下から右上に向かう方向（図８（ａ）及び図８（ｂ）における破線矢印が示す方向の逆方向）において方向予測を行うように構成されており、左下の参照画素を用いて、破線矢印上の画素を予測する。なお、本明細書の図において、イントラ予測モードの方向（予測方向）を示す矢印は、ＨＥＶＣ規格書における記載と同様に、イントラ予測の対象の画素から参照画素に向かうものとする（以下同様）。

望月等、「平均値座標に基づいた適用イントラ予測方式」、情報処理学会研究報告、ｖｏｌ、２０１２-ＡＶＭ-７７、Ｎｏ.１２

従来のＨＥＶＣでは、図９に示すように、イントラ予測が空間的に隣接する上側又は左側の復号済み参照画素を利用した予測であり、復号済み参照画素に近い位置の予測画像の精度が高く、復号済み参照画素から遠い位置の予測画像の精度が低くなる傾向にあることを利用し、復号済み参照画素の位置する左側及び上側方向から水平及び垂直方向に離散サイン変換（以下、「ＤＳＴ」と呼ぶ）或いは離散コサイン変換（以下、「ＤＣＴ」と呼ぶ）等の直交変換を適用し、残差信号のエントロピーを減少させている。

特に、ＤＳＴのインパルス応答の形状は、図１０に示すように、一端が閉じており他端が広がるような非対称な形状をしているため、図１１に示すように、生成された残差信号の信号強度に合わせてＤＳＴを適用することで、エントロピーの減少を効果的に行うことができる。

上述のように、非特許文献１に記載されている技術では、イントラ予測において、下側又は右側の参照画素を用いるケースがある。

かかるケースでは、残差信号において、参照画素の位置に近い下側や右側の信号強度が小さくなり、参照画素の位置から遠い上側や左側の信号強度が高くなる傾向となるため、通常通りに直交変換を適用すると、エントロピーが増大してしまう場合があり、これが符号化効率を低下させる原因となってしまうという問題点があった。

そこで、本発明は、上述した課題を解決するためになされたものであり、イントラ予測において、下側又は右側の参照画素を用いる場合であっても、エントロピーの増大を低減させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。

本発明の第１の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記予測画像と原画像との差分により残差信号を生成するように構成されている残差信号生成部と、前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、前記残差信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で直交変換処理を施すように構成されている直交変換部とを具備することを要旨とする。

本発明の第２の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されている逆変換部とを具備することを要旨とする。

本発明の第３の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記予測画像と原画像との差分により残差信号を生成するように構成されている残差信号生成部と、前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、前記残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施すように構成されている直交変換部とを具備することを要旨とする。

本発明の第４の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、変換係数に逆直交変換処理を施すことで得られる信号を水平方向及び垂直方向の少なくとも一方に反転することによって残差信号を生成するように構成されている逆変換部とを具備することを要旨とする。

本発明の第５の特徴は、コンピュータを、上述の第１又は第３の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第６の特徴は、コンピュータを、上述の第２又は第４の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。

本発明によれば、イントラ予測において、下側又は右側の参照画素を用いる場合であっても、エントロピーの増大を低減させることができる符号化装置、復号装置及びプログラムを提供することができる。

図１は、第１の実施形態に係る符号化装置１の機能ブロック図である。図２は、第１の実施形態においてＴＵ分割が行われる場合のイントラ予測の一例を示す図である。図３は、第１の実施形態に係る符号化装置１の動作を示すフローチャートである。図４は、第１の実施形態に係る復号装置３の機能ブロック図である。図５は、第１の実施形態に係る復号装置３の動作を示すフローチャートである。図６は、第２の実施形態に係る符号化装置１の動作を示すフローチャートである。図７は、第２の実施形態に係る復号装置３の動作を示すフローチャートである。図８は、従来のＨＥＶＣについて説明するための図である。図９は、従来のＨＥＶＣについて説明するための図である。図１０は、従来のＨＥＶＣについて説明するための図である。図１１は、従来のＨＥＶＣについて説明するための図である。

（第１の実施形態）
以下、図１～図５を参照して、本発明の第１の実施形態に係る符号化装置１及び復号装置３について説明する。ここで、本実施形態に係る符号化装置１及び復号装置３は、ＨＥＶＣ等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお、本実施形態に係る符号化装置１及び復号装置３は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。

本実施形態に係る符号化装置１は、動画像を構成するフレーム単位の原画像をＣＵに分割して符号化するように構成されている。また、本実施形態に係る符号化装置１は、ＣＵを複数のＴＵに分割することができるように構成されていてもよい。以下、本実施形態では、ＣＵを複数のＴＵに分割するケースを例に挙げて説明するが、本発明は、ＣＵを複数のＴＵに分割しないケースにも適用可能である。

なお、本実施形態では、フレーム内で最も左上に位置するＣＵ等、隣接する復号済み参照画素が存在しない符号化対象のＣＵでは、規定した値（１０ビットの動画像であれば「５１２」）を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されているため、符号化対象のＣＵの左側に隣接する画素について全て参照画素とすることができるものとする。

図１に示すように、本実施形態に係る符号化装置１は、イントラ予測モード決定部１１と、ＴＵ分割決定部１２と、符号化順制御部１３と、逐次局部復号画像生成部１４と、メモリ１５と、エントロピー符号化部１６とを具備している。

イントラ予測モード決定部１１は、ＣＵに適用する最適なイントラ予測モードを決定するように構成されている。

ＴＵ分割決定部１２は、ＣＵを複数のＴＵに分割するか否かについて決定するように構成されている。なお、本実施形態では、ＣＵを複数のＴＵに分割する方法として、４分割のケースを例に挙げて説明しているが、ＣＵを複数のＴＵに分割する際の分割数や分割形状については、かかるケースに制限されるものではない。

符号化順制御部１３は、イントラ予測モード（例えば、イントラ予測モードの方向）に基づいてＣＵ内のＴＵの符号化順を決定するように構成されている。

具体的には、符号化順制御部１３は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合に、図２（ａ）～図２（ｄ）に示すように、イントラ予測モード決定部１１によって決定されたイントラ予測モードの方向が左下から右上に向かう方向である場合（すなわち、左下から右上に向かって方向予測が行われる場合）に、ＣＵ内のＴＵの符号化順として、従来のラスタースキャン順（図８（ａ）に示すようなＺ型）でなく、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。

また、符号化順制御部１３は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合で、且つ、イントラ予測モード決定部１１によって決定されたイントラ予測モードの方向が右上から左下に向かう方向である場合（すなわち、右上から左下に向かって方向予測が行われる場合）に、従来のラスタースキャン順（図８（ａ）に示すようなＺ型）でなく、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。

逐次局部復号画像生成部１４は、符号化順制御部１３によって決定された符号化順及びＣＵのＴＵへの分割方法に基づいて局部復号画像（ＴＵごとの復号画像）を生成するように構成されている。

具体的には、逐次局部復号画像生成部１４は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合に、符号化順制御部１３により決定された符号化順に従って、逐次、局部復号画像を生成するように構成されている。

図１に示すように、逐次局部復号画像生成部１４は、イントラ予測部１４ａと、残差信号生成部１４ｂと、直交変換・量子化部１４ｃと、逆量子化部・逆直交変換部１４ｄと、局部復号画像生成部１４ｅとを具備している。

イントラ予測部１４ａは、イントラ予測モード決定部１１により決定されたイントラ予測モードを用いて予測画像を生成するように構成されている。すなわち、イントラ予測部１４ａは、予測画像を生成する際に用いる参照画素の位置を決定するように構成されている。

具体的には、イントラ予測部１４ａは、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合で、図２（ａ）～図２（ｄ）に示すように、イントラ予測モードの方向（予測方向）が左下から右上に向かう方向である場合、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。

ここで、イントラ予測部１４ａは、図２（ｃ）及び図２（ｄ）に示すように、隣接する下側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）については、左側及び下側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。

また、本実施形態に係る符号化装置１では、イントラ予測部１４ａは、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合で、且つ、イントラ予測モードの方向（予測方向）が右上から左下に向かう方向である場合、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。

ここで、イントラ予測部１４ａは、隣接する右側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）については、上側及び右側に隣接する復号済み参照画素を用いて、予測画像を生成するように構成されていてもよい。

或いは、イントラ予測部１４ａは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順が用いられる場合には、上側に隣接する参照画素が復号済みであるＴＵ（分割されたＴＵ群のうち最上段に位置するＴＵ、図２の例では、ＴＵ＃Ａ１及びＴＵ＃Ａ２）については、ＣＵ＃Ａ内で共通のイントラ予測方向でなく、かかるＴＵの左側や上側や下側に隣接する復号済み参照画素を用いた線形補間等の予め規定した予測を行うように構成されていてもよい。

すなわち、イントラ予測部１４ａは、下側、左側及び上側といった３方向に隣接する復号済み参照画素を用いて、予測画像を生成するように構成されていてもよい。

或いは、イントラ予測部１４ａは、右側、左側及び上側といった３方向に隣接する復号済み参照画素を用いて、予測画像を生成するように構成されていてもよい。

残差信号生成部１４ｂは、イントラ予測部１４ａによって生成された予測画像と原画像との差分により残差信号を生成するように構成されている。

直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成されている。

ここで、直交変換・量子化部１４ｃは、イントラ予測部１４ａによって決定された予測画像を生成する際に用いる参照画素の位置に基づいて、直交変換処理に用いる基底を反転させるか否かについて判定するように構成されている。

例えば、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素
（すなわち、右側及び下側の少なくとも一方に隣接する参照画素）を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、垂直方向及び水平方向の少なくとも一方の基底を反転させた上で直交変換処理を施すように構成されている。

一方、イントラ予測部１４ａが、右側及び下側のいずれに位置する参照画素を用いても予測画像を生成していない場合には、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、基底を反転させることなく直交変換処理を施すように構成されている。

例えば、イントラ予測部１４ａが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、垂直方向の基底を反転した上で直交変換処理を施すように構成されていてもよい。

また、イントラ予測部１４ａが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、水平方向の基底を反転した上で直交変換処理を施すように構成されていてもよい。

さらに、イントラ予測部１４ａが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、垂直方向及び水平方向の基底を反転した上で直交変換処理を施すように構成されていてもよい。

なお、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理（例えば、ＤＳＴ等）である場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、直交変換処理に用いる垂直方向及び水平方向の少なくとも一方の基底を反転させるように構成されていてもよい。

すなわち、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理（例えば、ＤＣＴ等）である場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、直交変換処理に用いる基底を反転させないように構成されていてもよい。

また、イントラ予測部１４ａが、下側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、直交変換処理に用いる基底を反転させないように構成されていてもよい。

かかる構成によれば、残差信号において、参照画素に近い上側及び下側のどちらにおいても信号強度が低くなっている可能性が高いため、上述の反転処理を行わないことで、符号化装置１の処理量を低減することができる。

また、イントラ予測部１４ａが、右側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、直交変換処理に用いる基底を反転させないように構成されていてもよい。

かかる構成によれば、残差信号において、参照画素に近い右側及び左側のどちらにおいても信号強度が低くなっている可能性が高いため、上述の反転処理を行わないことで、符号化装置１の処理量を低減することができる。

逆量子化部・逆直交変換部１４ｄは、直交変換・量子化部１４ｃによって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施し、残差信号を生成するように構成されている。

ここで、直交変換・量子化部１４ｃが、直交変換処理で用いる基底を反転している場合には、逆量子化部・逆直交変換部１４ｄは、基底を反転した上で逆直交変換処理を施すように構成されている。

局部復号画像生成部１４ｅは、逆量子化部・逆直交変換部１４ｄによって生成された残差信号に対してイントラ予測部１４ａによって生成された予測画像を加えることで局部復号画像を生成するように構成されている。

メモリ１５は、逐次局部復号画像生成部１４によって生成された局部復号画像を参照画像として利用可能に保持するように構成されている。

エントロピー符号化部１６は、イントラ予測モード決定部１１によって決定されたイントラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力するように構成されている。

図３に、本実施形態に係る符号化装置１の動作の一例について説明するためのフローチャートについて示す。

図３に示すように、ステップＳ１０１において、符号化装置１は、ＣＵに適用する最適なイントラ予測モードを決定する。

ステップＳ１０２において、符号化装置１は、ＣＵを複数のＴＵに分割するか否かについて決定する。ステップＳ１０２において、ＣＵを複数のＴＵに分割すると決定された場合には、本動作は、ステップＳ１０３に進む。一方、ステップＳ１０２において、ＣＵを複数のＴＵに分割しないと決定された場合には、本動作は、ステップＳ１０８に進む。

ステップＳ１０３において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であると決定された場合には、本動作は、ステップＳ１０５に進む。一方、ステップＳ１０３において、イントラ予測モードの方向が左下から右上に向かう方向及び右上から左下に向かう方向以外であると決定された場合には、本動作は、ステップＳ１０４に進む。

ステップＳ１０４において、符号化装置１は、上述の符号化順として、従来のＨＥＶＣで用いられているラスタースキャン順（図８（ａ）に示すようなＺ型）を採用する。

ステップＳ１０８において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。

イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合（ステップＳ１０５）には、ステップＳ１０６において、符号化装置１は、上述の符号化順として、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順のうち、予め規定した符号化順を採用する。

一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合（ステップＳ１０５）には、ステップＳ１１１において、符号化装置１は、上述の符号化順として、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順のうち、予め規定した符号化順を採用する。

ステップＳ１０７において、符号化装置１は、符号化対象のＴＵの上側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ１０７において、復号済みである場合、本動作は、ステップＳ１０９に進み、復号済みでない場合、本動作は、ステップＳ１１０に進む。

ステップＳ１０９において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。

ステップＳ１１０において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。

ステップＳ１１２において、符号化装置１は、符号化対象のＴＵの左側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ１１２において、復号済みである場合、本動作は、ステップＳ１１３に進み、復号済みでない場合、本動作は、ステップＳ１１４に進む。

ステップＳ１１３において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。

ステップＳ１１４において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの右側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。

ステップＳ１１５において、符号化装置１は、残差信号に対して、基底を反転させた上で直交変換処理を施し、その後の処理を行う。

ステップＳ１１６において、符号化装置１は、残差信号に対して、基底を反転させることなく直交変換処理を施し、その後の処理を行う。

本実施形態に係る符号化装置１によれば、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合には、残差信号に対して、基底を反転させた上で直交変換処理を施すように構成されているため、エントロピーの増大を低減させることができる。

また、本実施形態に係る復号装置３は、動画像を構成するフレーム単位の原画像をＣＵに分割して復号するように構成されている。また、本実施形態に係る復号装置３は、本実施形態に係る符号化装置１と同様に、ＣＵを複数のＴＵに分割することができるように構成されている。

図４に示すように、本実施形態に係る復号装置３は、エントロピー復号部３１と、復号順制御部３２と、逐次局部復号画像生成部３３と、メモリ３４とを具備している。

エントロピー復号部３１は、符号化装置１から出力されたストリームから、変換係数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置１によって、フレーム単位の原画像をＣＵに分割して符号化された信号として得られた量子化された変換係数である。また、フラグ情報は、予測モード等の付随する情報を含む。

復号順制御部３２は、イントラ予測モードに基づいてＣＵ内のＴＵの復号順を決定するように構成されている。

具体的には、復号順制御部３２は、エントロピー復号部３１によって出力されたＴＵ分割が行われた否か（ＣＵが複数のＴＵに分割されているか否か）について示すフラグ及びイントラ予測モードの方向に応じて、ＣＵ内のＴＵの復号順を決定するように構成されている。

例えば、復号順制御部３２は、符号化順制御部１３と同様に、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。

また、復号順制御部３２は、符号化順制御部１３と同様に、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が右上から左下に向かう方向である場合、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）というという復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。

逐次局部復号画像生成部３３は、復号順制御部３２によって決定された復号順及びＣＵのＴＵへの分割方法に基づいて局部復号画像（ＴＵごとの復号画像）を生成するように構成されている。

具体的には、逐次局部復号画像生成部３３は、ＣＵが複数のＴＵに分割されている場合に、復号順制御部３２によって決定された復号順に従って、エントロピー復号部３１によって出力された量子化された変換係数に対して、逐次、イントラ予測や逆量子化処理や逆直交変換処理を行うことによって、局部復号画像を生成するように構成されている。

図４に示すように、逐次局部復号画像生成部３３は、イントラ予測部３３ａと、逆量子化・逆変換部３３ｂと、復号画像生成部３３ｃとを具備している。

イントラ予測部３３ａは、復号順制御部３２によって決定した復号順に従って、エントロピー復号部３１によって出力されたイントラ予測モードを用いて、予測画像を生成するように構成されていてもよい。

具体的には、イントラ予測部３３ａは、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順のうち、予め規定した復号順で、予測画像を生成するように構成されていてもよい。

ここで、イントラ予測部３３ａは、図２（ｃ）及び図２（ｄ）に示すように、隣接する下側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）については、左側及び下側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。

また、本実施形態に係る復号装置３では、イントラ予測部３３ａは、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向（予測方向）が右上から左下に向かう方向である場合、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順のうち、予め規定した復号順で、予測画像を生成するように構成されていてもよい。

ここで、イントラ予測部３３ａは、隣接する右側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）については、上側及び右側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。

或いは、イントラ予測部３３ａは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順が用いられる場合には、上側に隣接する参照画素が復号済みであるＴＵ（分割されたＴＵ群のうち最上段に位置するＴＵ、図２の例では、ＴＵ＃Ａ１及びＴＵ＃Ａ２）については、ＣＵ＃Ａ内で共通のイントラ予測方向でなく、かかるＴＵの左側や上側や下側に隣接する復号済み参照画素を用いた線形補間等の予め規定した予測を行うように構成されていてもよい。

逆量子化・逆変換部３３ｂは、エントロピー復号部３１によって出力された量子化された変換係数に対して逆量子化処理及び逆変換処理（例えば、逆直交変換処理）を施すことによって、残差信号を生成するように構成されている。

例えば、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素
（すなわち、右側及び下側の少なくとも一方に隣接する参照画素）を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、垂直方向及び水平方向の少なくとも一方の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されている。

一方、イントラ予測部３３ａが、右側及び下側のいずれに位置する参照画素を用いても予測画像を生成していない場合には、逆量子化・逆変換部３３ｂは、基底を反転させることなく、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されている。

例えば、イントラ予測部３３ａが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、垂直方向の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。

また、イントラ予測部３３ａが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、水平方向の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。

さらに、イントラ予測部３３ａが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、垂直方向及び水平方向の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。

なお、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理（例えば、ＤＳＴ等）である場合に、逆量子化・逆変換部３３ｂは、基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。

すなわち、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理（例えば、ＤＣＴ等）である場合に、逆量子化・逆変換部３３ｂは、基底を反転させることなく、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。

また、イントラ予測部３３ａが、下側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部３３ｂは、上述の変換係数に対して、逆直交変換処理に用いる基底を反転させないように構成されていてもよい。

また、イントラ予測部３３ａが、右側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部３３ｂは、上述の変換係数に対して、逆直交変換処理に用いる基底を反転させないように構成されていてもよい。

復号画像生成部３３ｃは、イントラ予測部３３ａによって生成された予測画像と逆量子化・逆変換部３３ｂによって生成された残差信号とを加えることで局部復号画像を生成するように構成されている。

メモリ３４は、逐次局部復号画像生成部３３によって生成された局部復号画像を、イントラ予測及びインター予測のための参照画像として利用可能に保持するように構成されている。

図５に、本実施形態に係る復号装置３によって、上述の復号順を決定する動作の一例について説明するためのフローチャートについて示す。

図５に示すように、ステップＳ２０１において、復号装置３は、符号化装置１から出力されたストリームから、イントラ予測モードを取得する。

ステップＳ２０２において、復号装置３は、符号化装置１から出力されたストリームに含まれているフラグ情報に基づいて、ＣＵが複数のＴＵに分割されているか否かについて判定する。ステップＳ２０２において、ＣＵが複数のＴＵに分割されていると判定された場合には、本動作は、ステップＳ２０３に進む。一方、ステップＳ２０２において、ＣＵが複数のＴＵに分割されていないと判定された場合には、本動作は、ステップＳ２０５に進む。

ステップＳ２０５において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。

ステップＳ２０３において、復号装置３は、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であるか否かについて判定する。ステップＳ２０３において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であると判定された場合には、本動作は、ステップＳ２０６に進む。

一方、ステップＳ２０３において、イントラ予測モードの方向が左下から右上に向かう方向及び右上から左下に向かう方向以外であると判定された場合には、本動作は、ステップＳ２０４に進む。

ステップＳ２０４において、復号装置３は、上述の復号順として、ＨＥＶＣで用いられている従来のラスタースキャン順（図８（ａ）に示すようなＺ型）を採用する。

イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合（ステップＳ２０６）には、ステップＳ２０７において、復号装置３は、上述の復号順として、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順のうち、予め規定した復号順を採用する。

一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合（ステップＳ２０６）には、ステップＳ２１１において、復号装置３は、上述の復号順として、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順のうち、予め規定した復号順を採用する。

ステップＳ２０８において、復号装置３は、復号対象のＴＵの上側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ２０８において、復号済みである場合、本動作は、ステップＳ２０９に進み、復号済みでない場合、本動作は、ステップＳ２１０に進む。

ステップＳ２０９において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。

ステップＳ２１０において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。

ステップＳ２１２において、復号装置３は、復号対象のＴＵの左側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ２１２において、復号済みである場合、本動作は、ステップＳ２１３に進み、復号済みでない場合、本動作は、ステップＳ２１４に進む。

ステップＳ２１３において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。

ステップＳ２１４において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの右側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。

ステップＳ２１５において、復号装置３は、垂直方向及び水平方向の少なくとも一方の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成し、その後の処理を行う。

ステップＳ２１６において、復号装置３は、基底を反転させることなく、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成し、その後の処理を行う。

本実施形態に係る復号装置３によれば、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合には、変換係数に対して、基底を反転させた上で逆直交変換処理を施すように構成されているため、エントロピーの増大を低減させることができる。

（第２の実施形態）
以下、図６及び図７を参照して、本発明の第２の実施形態に係る符号化装置１及び復号装置３について、上述の第１の実施形態に係る符号化装置１及び復号装置３との相違点に着目して説明する。

本実施形態に係る符号化装置１では、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施すように構成されている。

例えば、イントラ予測部１４ａが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を垂直方向に反転した上で直交変換処理を施すように構成されていてもよい。

また、イントラ予測部１４ａが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を水平方向に反転した上で直交変換処理を施すように構成されていてもよい。

さらに、イントラ予測部１４ａが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を垂直方向及び水平方向に反転した上で直交変換処理を施すように構成されていてもよい。

なお、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理（例えば、ＤＳＴ等）である場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転させた上で直交変換処理を施すように構成されていてもよい。

すなわち、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理（例えば、ＤＣＴ等）である場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を反転させることなく直交変換処理を施すように構成されていてもよい。

また、イントラ予測部１４ａが、下側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を反転させることなく直交変換処理を施すように構成されていてもよい。

また、イントラ予測部１４ａが、右側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を反転させることなく直交変換処理を施すように構成されていてもよい。

図６に、本実施形態に係る符号化装置１の動作の一例について説明するためのフローチャートについて示す。

図６に示すように、ステップＳ３０１～Ｓ３１４の動作は、図３に示すステップＳ１０１～Ｓ１１４の動作と同一である。

ステップ３１５において、符号化装置１は、上述の残差信号を反転させることなく直交変換処理を施し、その後の処理を行う。

ステップ３１６において、符号化装置１は、上述の残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施し、その後の処理を行う。

本実施形態に係る符号化装置１によれば、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合には、残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施すように構成されているため、エントロピーの増大を低減させることができる。

本実施形態に係る復号装置３では、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されている。

例えば、イントラ予測部３３ａが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を垂直方向に反転するように構成されていてもよい。

また、イントラ予測部３３ａが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を水平方向に反転するように構成されていてもよい。

さらに、イントラ予測部３３ａが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を垂直方向及び水平方向に反転するように構成されていてもよい。

なお、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理（例えば、ＤＳＴ等）である場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転するように構成されていてもよい。

すなわち、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理（例えば、ＤＣＴ等）である場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させないように構成されていてもよい。

また、イントラ予測部３３ａが、下側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させないように構成されていてもよい。

また、イントラ予測部３３ａが、右側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させないように構成されていてもよい。

図７に、本実施形態に係る復号装置３の動作の一例について説明するためのフローチャートについて示す。

図７に示すように、ステップＳ４０１～Ｓ４１４の動作は、図５に示すステップＳ２０１～Ｓ２１４の動作と同一である。

ステップ４１５において、復号装置３は、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させずに、その後の処理を行う。

ステップ４１６において、復号装置３は、上述の変換係数に逆直交変換処理を施すことで得られる信号を水平方向及び垂直方向の少なくとも一方に反転した上で、その後の処理を行う。

（その他の実施形態）
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

また、上述の実施形態では特に触れていないが、上述の符号化装置１及び復号装置３によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の記録媒体であってもよい。

或いは、上述の符号化装置１及び復号装置３内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

１…符号化装置
１１…イントラ予測モード決定部
１２…ＴＵ分割決定部
１３…符号化順制御部
１４…逐次局部復号画像生成部
１４ａ…イントラ予測部
１４ｂ…残差信号生成部
１４ｃ…直交変換・量子化部
１４ｄ…逆量子化部・逆直交変換部
１４ｅ…局部復号画像生成部
１５…メモリ
１６…エントロピー符号化部
３…復号装置
３１…エントロピー復号部
３２…復号順制御部
３３…逐次局部復号画像生成部
３３ａ…イントラ予測部
３３ｂ…逆量子化・逆変換部
３３ｃ…復号画像生成部
３４…メモリ

Claims

動画像を構成するフレーム単位の原画像を分割して得た対象ブロックを復号するように構成されている復号装置であって、
イントラ予測モードを用いて、前記対象ブロックに対応する予測画像を生成するイントラ予測部と、
前記対象ブロックに対応する変換係数に関する逆変換処理を行う逆変換部と、を具備し、
前記逆変換部は、
前記イントラ予測部が前記対象ブロックに適用する前記イントラ予測モードの方向が、左下から右上に向かう方向であるかの判定、及び右上から左下に向かう方向であるかの判定を含むモード判定処理と、
前記対象ブロックの上側に隣接する復号済み画素ライン及び左側に隣接する復号済み画素ラインのうちの少なくとも１つの復号済み画素ラインに含まれる画素のみを前記イントラ予測部がイントラ予測処理で参照するか否かを判定する画素位置判定処理と、
前記モード判定処理及び前記画素位置判定処理の両方の判定結果に基づいて、前記変換係数に前記逆変換処理を行うことで得られる信号を所定方向に並べ替える処理を行うか否か、及び当該信号を並べ替える態様を決定する決定処理と、を実行することを特徴とする復号装置。
コンピュータを、請求項１に記載の復号装置として機能させるためのプログラム。