(第1の実施形態)
以下、図1~図5を参照して、本発明の第1の実施形態に係る符号化装置1及び復号装置3について説明する。ここで、本実施形態に係る符号化装置1及び復号装置3は、HEVC等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお、本実施形態に係る符号化装置1及び復号装置3は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像をCUに分割して符号化するように構成されている。また、本実施形態に係る符号化装置1は、CUを複数のTUに分割することができるように構成されていてもよい。以下、本実施形態では、CUを複数のTUに分割するケースを例に挙げて説明するが、本発明は、CUを複数のTUに分割しないケースにも適用可能である。
なお、本実施形態では、フレーム内で最も左上に位置するCU等、隣接する復号済み参照画素が存在しない符号化対象のCUでは、規定した値(10ビットの動画像であれば「512」)を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されているため、符号化対象のCUの左側に隣接する画素について全て参照画素とすることができるものとする。
図1に示すように、本実施形態に係る符号化装置1は、イントラ予測モード決定部11と、TU分割決定部12と、符号化順制御部13と、逐次局部復号画像生成部14と、メモリ15と、エントロピー符号化部16とを具備している。
イントラ予測モード決定部11は、CUに適用する最適なイントラ予測モードを決定するように構成されている。
TU分割決定部12は、CUを複数のTUに分割するか否かについて決定するように構成されている。なお、本実施形態では、CUを複数のTUに分割する方法として、4分割のケースを例に挙げて説明しているが、CUを複数のTUに分割する際の分割数や分割形状については、かかるケースに制限されるものではない。
符号化順制御部13は、イントラ予測モード(例えば、イントラ予測モードの方向)に基づいてCU内のTUの符号化順を決定するように構成されている。
具体的には、符号化順制御部13は、TU分割決定部12によってCUを複数のTUに分割することが決定された場合に、図2(a)~図2(d)に示すように、イントラ予測モード決定部11によって決定されたイントラ予測モードの方向が左下から右上に向かう方向である場合(すなわち、左下から右上に向かって方向予測が行われる場合)に、CU内のTUの符号化順として、従来のラスタースキャン順(図8(a)に示すようなZ型)でなく、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という符号化順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。
また、符号化順制御部13は、TU分割決定部12によってCUを複数のTUに分割することが決定された場合で、且つ、イントラ予測モード決定部11によって決定されたイントラ予測モードの方向が右上から左下に向かう方向である場合(すなわち、右上から左下に向かって方向予測が行われる場合)に、従来のラスタースキャン順(図8(a)に示すようなZ型)でなく、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)という符号化順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下のTU)という符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。
逐次局部復号画像生成部14は、符号化順制御部13によって決定された符号化順及びCUのTUへの分割方法に基づいて局部復号画像(TUごとの復号画像)を生成するように構成されている。
具体的には、逐次局部復号画像生成部14は、TU分割決定部12によってCUを複数のTUに分割することが決定された場合に、符号化順制御部13により決定された符号化順に従って、逐次、局部復号画像を生成するように構成されている。
図1に示すように、逐次局部復号画像生成部14は、イントラ予測部14aと、残差信号生成部14bと、直交変換・量子化部14cと、逆量子化部・逆直交変換部14dと、局部復号画像生成部14eとを具備している。
イントラ予測部14aは、イントラ予測モード決定部11により決定されたイントラ予測モードを用いて予測画像を生成するように構成されている。すなわち、イントラ予測部14aは、予測画像を生成する際に用いる参照画素の位置を決定するように構成されている。
具体的には、イントラ予測部14aは、TU分割決定部12によってCUを複数のTUに分割することが決定された場合で、図2(a)~図2(d)に示すように、イントラ予測モードの方向(予測方向)が左下から右上に向かう方向である場合、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という符号化順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という符号化順のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。
ここで、イントラ予測部14aは、図2(c)及び図2(d)に示すように、隣接する下側の参照画素が復号されているTU#A1(CU#A内の左上のTU)及びTU#A2(CU#A内の右上のTU)については、左側及び下側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。
また、本実施形態に係る符号化装置1では、イントラ予測部14aは、TU分割決定部12によってCUを複数のTUに分割することが決定された場合で、且つ、イントラ予測モードの方向(予測方向)が右上から左下に向かう方向である場合、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)という符号化順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下のTU)という符号化順のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。
ここで、イントラ予測部14aは、隣接する右側の参照画素が復号されているTU#A1(CU#A内の左上のTU)及びTU#A3(CU#A内の左下のTU)については、上側及び右側に隣接する復号済み参照画素を用いて、予測画像を生成するように構成されていてもよい。
或いは、イントラ予測部14aは、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という符号化順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という符号化順が用いられる場合には、上側に隣接する参照画素が復号済みであるTU(分割されたTU群のうち最上段に位置するTU、図2の例では、TU#A1及びTU#A2)については、CU#A内で共通のイントラ予測方向でなく、かかるTUの左側や上側や下側に隣接する復号済み参照画素を用いた線形補間等の予め規定した予測を行うように構成されていてもよい。
すなわち、イントラ予測部14aは、下側、左側及び上側といった3方向に隣接する復号済み参照画素を用いて、予測画像を生成するように構成されていてもよい。
或いは、イントラ予測部14aは、右側、左側及び上側といった3方向に隣接する復号済み参照画素を用いて、予測画像を生成するように構成されていてもよい。
残差信号生成部14bは、イントラ予測部14aによって生成された予測画像と原画像との差分により残差信号を生成するように構成されている。
直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成されている。
ここで、直交変換・量子化部14cは、イントラ予測部14aによって決定された予測画像を生成する際に用いる参照画素の位置に基づいて、直交変換処理に用いる基底を反転させるか否かについて判定するように構成されている。
例えば、イントラ予測部14aが、右側及び下側の少なくとも一方に位置する参照画素
(すなわち、右側及び下側の少なくとも一方に隣接する参照画素)を用いて予測画像を生成した場合に、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対して、垂直方向及び水平方向の少なくとも一方の基底を反転させた上で直交変換処理を施すように構成されている。
一方、イントラ予測部14aが、右側及び下側のいずれに位置する参照画素を用いても予測画像を生成していない場合には、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対して、基底を反転させることなく直交変換処理を施すように構成されている。
例えば、イントラ予測部14aが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部14cは、垂直方向の基底を反転した上で直交変換処理を施すように構成されていてもよい。
また、イントラ予測部14aが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部14cは、水平方向の基底を反転した上で直交変換処理を施すように構成されていてもよい。
さらに、イントラ予測部14aが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部14cは、垂直方向及び水平方向の基底を反転した上で直交変換処理を施すように構成されていてもよい。
なお、イントラ予測部14aが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理(例えば、DST等)である場合に、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対して、直交変換処理に用いる垂直方向及び水平方向の少なくとも一方の基底を反転させるように構成されていてもよい。
すなわち、イントラ予測部14aが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理(例えば、DCT等)である場合に、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対して、直交変換処理に用いる基底を反転させないように構成されていてもよい。
また、イントラ予測部14aが、下側、左側及び上側といった3方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対して、直交変換処理に用いる基底を反転させないように構成されていてもよい。
かかる構成によれば、残差信号において、参照画素に近い上側及び下側のどちらにおいても信号強度が低くなっている可能性が高いため、上述の反転処理を行わないことで、符号化装置1の処理量を低減することができる。
また、イントラ予測部14aが、右側、左側及び上側といった3方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対して、直交変換処理に用いる基底を反転させないように構成されていてもよい。
かかる構成によれば、残差信号において、参照画素に近い右側及び左側のどちらにおいても信号強度が低くなっている可能性が高いため、上述の反転処理を行わないことで、符号化装置1の処理量を低減することができる。
逆量子化部・逆直交変換部14dは、直交変換・量子化部14cによって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施し、残差信号を生成するように構成されている。
ここで、直交変換・量子化部14cが、直交変換処理で用いる基底を反転している場合には、逆量子化部・逆直交変換部14dは、基底を反転した上で逆直交変換処理を施すように構成されている。
局部復号画像生成部14eは、逆量子化部・逆直交変換部14dによって生成された残差信号に対してイントラ予測部14aによって生成された予測画像を加えることで局部復号画像を生成するように構成されている。
メモリ15は、逐次局部復号画像生成部14によって生成された局部復号画像を参照画像として利用可能に保持するように構成されている。
エントロピー符号化部16は、イントラ予測モード決定部11によって決定されたイントラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
図3に、本実施形態に係る符号化装置1の動作の一例について説明するためのフローチャートについて示す。
図3に示すように、ステップS101において、符号化装置1は、CUに適用する最適なイントラ予測モードを決定する。
ステップS102において、符号化装置1は、CUを複数のTUに分割するか否かについて決定する。ステップS102において、CUを複数のTUに分割すると決定された場合には、本動作は、ステップS103に進む。一方、ステップS102において、CUを複数のTUに分割しないと決定された場合には、本動作は、ステップS108に進む。
ステップS103において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であると決定された場合には、本動作は、ステップS105に進む。一方、ステップS103において、イントラ予測モードの方向が左下から右上に向かう方向及び右上から左下に向かう方向以外であると決定された場合には、本動作は、ステップS104に進む。
ステップS104において、符号化装置1は、上述の符号化順として、従来のHEVCで用いられているラスタースキャン順(図8(a)に示すようなZ型)を採用する。
ステップS108において、符号化装置1は、符号化対象のTUに対して、かかるTUの左側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合(ステップS105)には、ステップS106において、符号化装置1は、上述の符号化順として、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という符号化順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という符号化順のうち、予め規定した符号化順を採用する。
一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合(ステップS105)には、ステップS111において、符号化装置1は、上述の符号化順として、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)という符号化順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下のTU)という符号化順のうち、予め規定した符号化順を採用する。
ステップS107において、符号化装置1は、符号化対象のTUの上側に隣接する参照画素が復号済みであるか否かについて判定する。ステップS107において、復号済みである場合、本動作は、ステップS109に進み、復号済みでない場合、本動作は、ステップS110に進む。
ステップS109において、符号化装置1は、符号化対象のTUに対して、かかるTUの左側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS110において、符号化装置1は、符号化対象のTUに対して、かかるTUの左側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS112において、符号化装置1は、符号化対象のTUの左側に隣接する参照画素が復号済みであるか否かについて判定する。ステップS112において、復号済みである場合、本動作は、ステップS113に進み、復号済みでない場合、本動作は、ステップS114に進む。
ステップS113において、符号化装置1は、符号化対象のTUに対して、かかるTUの左側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS114において、符号化装置1は、符号化対象のTUに対して、かかるTUの右側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS115において、符号化装置1は、残差信号に対して、基底を反転させた上で直交変換処理を施し、その後の処理を行う。
ステップS116において、符号化装置1は、残差信号に対して、基底を反転させることなく直交変換処理を施し、その後の処理を行う。
本実施形態に係る符号化装置1によれば、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合には、残差信号に対して、基底を反転させた上で直交変換処理を施すように構成されているため、エントロピーの増大を低減させることができる。
また、本実施形態に係る復号装置3は、動画像を構成するフレーム単位の原画像をCUに分割して復号するように構成されている。また、本実施形態に係る復号装置3は、本実施形態に係る符号化装置1と同様に、CUを複数のTUに分割することができるように構成されている。
図4に示すように、本実施形態に係る復号装置3は、エントロピー復号部31と、復号順制御部32と、逐次局部復号画像生成部33と、メモリ34とを具備している。
エントロピー復号部31は、符号化装置1から出力されたストリームから、変換係数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置1によって、フレーム単位の原画像をCUに分割して符号化された信号として得られた量子化された変換係数である。また、フラグ情報は、予測モード等の付随する情報を含む。
復号順制御部32は、イントラ予測モードに基づいてCU内のTUの復号順を決定するように構成されている。
具体的には、復号順制御部32は、エントロピー復号部31によって出力されたTU分割が行われた否か(CUが複数のTUに分割されているか否か)について示すフラグ及びイントラ予測モードの方向に応じて、CU内のTUの復号順を決定するように構成されている。
例えば、復号順制御部32は、符号化順制御部13と同様に、CUが複数のTUに分割されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という復号順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。
また、復号順制御部32は、符号化順制御部13と同様に、CUが複数のTUに分割されている場合で、且つ、イントラ予測モードの方向が右上から左下に向かう方向である場合、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)という復号順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下のTU)というという復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。
逐次局部復号画像生成部33は、復号順制御部32によって決定された復号順及びCUのTUへの分割方法に基づいて局部復号画像(TUごとの復号画像)を生成するように構成されている。
具体的には、逐次局部復号画像生成部33は、CUが複数のTUに分割されている場合に、復号順制御部32によって決定された復号順に従って、エントロピー復号部31によって出力された量子化された変換係数に対して、逐次、イントラ予測や逆量子化処理や逆直交変換処理を行うことによって、局部復号画像を生成するように構成されている。
図4に示すように、逐次局部復号画像生成部33は、イントラ予測部33aと、逆量子化・逆変換部33bと、復号画像生成部33cとを具備している。
イントラ予測部33aは、復号順制御部32によって決定した復号順に従って、エントロピー復号部31によって出力されたイントラ予測モードを用いて、予測画像を生成するように構成されていてもよい。
具体的には、イントラ予測部33aは、CUが複数のTUに分割されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という復号順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という復号順のうち、予め規定した復号順で、予測画像を生成するように構成されていてもよい。
ここで、イントラ予測部33aは、図2(c)及び図2(d)に示すように、隣接する下側の参照画素が復号されているTU#A1(CU#A内の左上のTU)及びTU#A2(CU#A内の右上のTU)については、左側及び下側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。
また、本実施形態に係る復号装置3では、イントラ予測部33aは、CUが複数のTUに分割されている場合で、且つ、イントラ予測モードの方向(予測方向)が右上から左下に向かう方向である場合、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)という復号順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下のTU)という復号順のうち、予め規定した復号順で、予測画像を生成するように構成されていてもよい。
ここで、イントラ予測部33aは、隣接する右側の参照画素が復号されているTU#A1(CU#A内の左上のTU)及びTU#A3(CU#A内の左下のTU)については、上側及び右側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。
或いは、イントラ予測部33aは、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という復号順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という復号順が用いられる場合には、上側に隣接する参照画素が復号済みであるTU(分割されたTU群のうち最上段に位置するTU、図2の例では、TU#A1及びTU#A2)については、CU#A内で共通のイントラ予測方向でなく、かかるTUの左側や上側や下側に隣接する復号済み参照画素を用いた線形補間等の予め規定した予測を行うように構成されていてもよい。
逆量子化・逆変換部33bは、エントロピー復号部31によって出力された量子化された変換係数に対して逆量子化処理及び逆変換処理(例えば、逆直交変換処理)を施すことによって、残差信号を生成するように構成されている。
例えば、イントラ予測部33aが、右側及び下側の少なくとも一方に位置する参照画素
(すなわち、右側及び下側の少なくとも一方に隣接する参照画素)を用いて予測画像を生成した場合に、逆量子化・逆変換部33bは、垂直方向及び水平方向の少なくとも一方の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されている。
一方、イントラ予測部33aが、右側及び下側のいずれに位置する参照画素を用いても予測画像を生成していない場合には、逆量子化・逆変換部33bは、基底を反転させることなく、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されている。
例えば、イントラ予測部33aが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部33bは、垂直方向の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。
また、イントラ予測部33aが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部33bは、水平方向の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。
さらに、イントラ予測部33aが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部33bは、垂直方向及び水平方向の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。
なお、イントラ予測部33aが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理(例えば、DST等)である場合に、逆量子化・逆変換部33bは、基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。
すなわち、イントラ予測部33aが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理(例えば、DCT等)である場合に、逆量子化・逆変換部33bは、基底を反転させることなく、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。
また、イントラ予測部33aが、下側、左側及び上側といった3方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部33bは、上述の変換係数に対して、逆直交変換処理に用いる基底を反転させないように構成されていてもよい。
また、イントラ予測部33aが、右側、左側及び上側といった3方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部33bは、上述の変換係数に対して、逆直交変換処理に用いる基底を反転させないように構成されていてもよい。
復号画像生成部33cは、イントラ予測部33aによって生成された予測画像と逆量子化・逆変換部33bによって生成された残差信号とを加えることで局部復号画像を生成するように構成されている。
メモリ34は、逐次局部復号画像生成部33によって生成された局部復号画像を、イントラ予測及びインター予測のための参照画像として利用可能に保持するように構成されている。
図5に、本実施形態に係る復号装置3によって、上述の復号順を決定する動作の一例について説明するためのフローチャートについて示す。
図5に示すように、ステップS201において、復号装置3は、符号化装置1から出力されたストリームから、イントラ予測モードを取得する。
ステップS202において、復号装置3は、符号化装置1から出力されたストリームに含まれているフラグ情報に基づいて、CUが複数のTUに分割されているか否かについて判定する。ステップS202において、CUが複数のTUに分割されていると判定された場合には、本動作は、ステップS203に進む。一方、ステップS202において、CUが複数のTUに分割されていないと判定された場合には、本動作は、ステップS205に進む。
ステップS205において、復号装置3は、復号対象のTUに対して、かかるTUの左側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS203において、復号装置3は、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であるか否かについて判定する。ステップS203において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であると判定された場合には、本動作は、ステップS206に進む。
一方、ステップS203において、イントラ予測モードの方向が左下から右上に向かう方向及び右上から左下に向かう方向以外であると判定された場合には、本動作は、ステップS204に進む。
ステップS204において、復号装置3は、上述の復号順として、HEVCで用いられている従来のラスタースキャン順(図8(a)に示すようなZ型)を採用する。
イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合(ステップS206)には、ステップS207において、復号装置3は、上述の復号順として、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という復号順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という復号順のうち、予め規定した復号順を採用する。
一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合(ステップS206)には、ステップS211において、復号装置3は、上述の復号順として、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)という復号順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下のTU)という復号順のうち、予め規定した復号順を採用する。
ステップS208において、復号装置3は、復号対象のTUの上側に隣接する参照画素が復号済みであるか否かについて判定する。ステップS208において、復号済みである場合、本動作は、ステップS209に進み、復号済みでない場合、本動作は、ステップS210に進む。
ステップS209において、復号装置3は、復号対象のTUに対して、かかるTUの左側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS210において、復号装置3は、復号対象のTUに対して、かかるTUの左側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS212において、復号装置3は、復号対象のTUの左側に隣接する参照画素が復号済みであるか否かについて判定する。ステップS212において、復号済みである場合、本動作は、ステップS213に進み、復号済みでない場合、本動作は、ステップS214に進む。
ステップS213において、復号装置3は、復号対象のTUに対して、かかるTUの左側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS214において、復号装置3は、復号対象のTUに対して、かかるTUの右側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS215において、復号装置3は、垂直方向及び水平方向の少なくとも一方の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成し、その後の処理を行う。
ステップS216において、復号装置3は、基底を反転させることなく、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成し、その後の処理を行う。
本実施形態に係る復号装置3によれば、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合には、変換係数に対して、基底を反転させた上で逆直交変換処理を施すように構成されているため、エントロピーの増大を低減させることができる。
(第2の実施形態)
以下、図6及び図7を参照して、本発明の第2の実施形態に係る符号化装置1及び復号装置3について、上述の第1の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
本実施形態に係る符号化装置1では、イントラ予測部14aが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施すように構成されている。
例えば、イントラ予測部14aが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号を垂直方向に反転した上で直交変換処理を施すように構成されていてもよい。
また、イントラ予測部14aが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号を水平方向に反転した上で直交変換処理を施すように構成されていてもよい。
さらに、イントラ予測部14aが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号を垂直方向及び水平方向に反転した上で直交変換処理を施すように構成されていてもよい。
なお、イントラ予測部14aが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理(例えば、DST等)である場合に、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転させた上で直交変換処理を施すように構成されていてもよい。
すなわち、イントラ予測部14aが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理(例えば、DCT等)である場合に、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号を反転させることなく直交変換処理を施すように構成されていてもよい。
また、イントラ予測部14aが、下側、左側及び上側といった3方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号を反転させることなく直交変換処理を施すように構成されていてもよい。
また、イントラ予測部14aが、右側、左側及び上側といった3方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号を反転させることなく直交変換処理を施すように構成されていてもよい。
図6に、本実施形態に係る符号化装置1の動作の一例について説明するためのフローチャートについて示す。
図6に示すように、ステップS301~S314の動作は、図3に示すステップS101~S114の動作と同一である。
ステップ315において、符号化装置1は、上述の残差信号を反転させることなく直交変換処理を施し、その後の処理を行う。
ステップ316において、符号化装置1は、上述の残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施し、その後の処理を行う。
本実施形態に係る符号化装置1によれば、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合には、残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施すように構成されているため、エントロピーの増大を低減させることができる。
本実施形態に係る復号装置3では、イントラ予測部33aが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部33bは、上述の変換係数に逆直交変換処理を施すことで得られる信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されている。
例えば、イントラ予測部33aが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部33bは、上述の変換係数に逆直交変換処理を施すことで得られる信号を垂直方向に反転するように構成されていてもよい。
また、イントラ予測部33aが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部33bは、上述の変換係数に逆直交変換処理を施すことで得られる信号を水平方向に反転するように構成されていてもよい。
さらに、イントラ予測部33aが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部33bは、上述の変換係数に逆直交変換処理を施すことで得られる信号を垂直方向及び水平方向に反転するように構成されていてもよい。
なお、イントラ予測部33aが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理(例えば、DST等)である場合に、逆量子化・逆変換部33bは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転するように構成されていてもよい。
すなわち、イントラ予測部33aが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理(例えば、DCT等)である場合に、逆量子化・逆変換部33bは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させないように構成されていてもよい。
また、イントラ予測部33aが、下側、左側及び上側といった3方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部33bは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させないように構成されていてもよい。
また、イントラ予測部33aが、右側、左側及び上側といった3方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部33bは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させないように構成されていてもよい。
図7に、本実施形態に係る復号装置3の動作の一例について説明するためのフローチャートについて示す。
図7に示すように、ステップS401~S414の動作は、図5に示すステップS201~S214の動作と同一である。
ステップ415において、復号装置3は、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させずに、その後の処理を行う。
ステップ416において、復号装置3は、上述の変換係数に逆直交変換処理を施すことで得られる信号を水平方向及び垂直方向の少なくとも一方に反転した上で、その後の処理を行う。
(その他の実施形態)
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
また、上述の実施形態では特に触れていないが、上述の符号化装置1及び復号装置3によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
或いは、上述の符号化装置1及び復号装置3内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。