JP2018064194A - 符号化装置、復号装置及びプログラム - Google Patents

Abstract

【課題】直交変換処理の種類の適用の有無を示すフラグの伝送若しくは適用された直交変換処理の種類を示すフラグの伝送にかかる情報量を低減し、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供する。【解決手段】符号化対象ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ；符号化ユニット）の動きベクトルと、符号化対象ＣＵの同階層ＣＵの動きベクトルと、同階層ＣＵにおける直交変換処理の適用の有無とに基づいて、符号化対象ＣＵにおいて直交変換処理を適用するか否かについて決定するように構成されている直交変換決定部１２と、符号化対象ＣＵにおいて直交変換処理を適用するか否かについて示す情報を符号化することなく、符号化対象ＣＵの残差信号及び動きベクトルを符号化するように構成されているエントロピー符号化部１５とを具備する。【選択図】図１

Description

本発明は、符号化装置、復号装置及びプログラムに関する。

Ｈ.２６５/ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に代表される動画像（映像）符号化方式では、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の２種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロピー符号化処理を行い得られたストリームを出力するように構成されている。

ＨＥＶＣのインター予測では、動きベクトルを用いて予測画像を生成するよう構成されている。また、復号装置（デコーダ）に対して動きベクトルを伝送するため、適応動きベクトル予測モード及びマージモードの２種類のベクトル予測手法が用意されている。

ＨＥＶＣでは、動画像を構成するフレーム単位の原画像の符号化処理を行う最も大きい単位のブロックである符号化ツリーユニット（ＣＴＵ：:Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）に分割し、左上からラスター順に符号化処理を行っていく。ＣＴＵは、さらに符号化ユニット（ＣＵ:Ｃｏｄｉｎｇ Ｕｎｉｔ）というブロックに階層的に四分木分割を行うことが可能であり、符号化装置（エンコーダ）の決定に従って分割される。

符号化装置は、例えば、符号化対象ブロックの絵柄に応じて、平坦な領域では大きいブロック単位で符号化処理を行い、複雑なテクスチャを持つ領域では小さいブロック単位で符号化処理を行うように決定する。このように、符号化装置において可変なブロックサイズで符号化処理を行うことで、ブロックごとに必要なフラグ情報や直交変換係数の伝送等に必要な情報量を低減することが可能である。

しかしながら、平坦な領域の中のごく一部にテクスチャ領域が存在する場合に絵柄に適応的にブロック分割を行う場合には、四分木分割を繰り返し行う必要があるが、かかるブロック分割を行うことでブロック分割を行う必要のない平坦な領域についてもブロック分割を行うこととなり、フラグ情報の伝送に必要な情報量が増加し、符号化効率が低減してしまう問題点があった。

例えば、図７（ａ）に示すように、ブロックの内部に一部テクスチャＸが存在する場合でも、四分木分割を階層的に繰り返すため、ブロック内部右側の平坦な領域Ａについても四分木分割を行う必要があり、情報量が増大する。

かかる問題点を解決するため、非特許文献１では、ＨＥＶＣで規定されているＣＵの階層的な四分木分割に加えて水平若しくは垂直に階層的に行う二分木分割を適用可能とし、より絵柄に適応した分割を可能としている。

例えば、図７（ｂ）に示すように、二分木分割を適用することで、四分木分割に比べ平坦な領域Ａにおけるブロックサイズが大きくなり、フラグ情報や直交変換係数等の伝送に必要な情報量の低減を可能としている。

ところで、インター予測では、符号化装置によって決定された動きベクトルに従ってインター予測行い予測画像を生成し、適用した動きベクトルの情報を復号装置側に伝送することで、復号装置側で同様の予測画像を生成し復号を行う。

ＨＥＶＣでは、マージモードが適用されている場合、動きベクトルの伝送に必要な情報量を低減するため、周辺の複数のＣＵに適用した動きベクトルを動きベクトル候補として予測ベクトルリストを生成し、リスト内の動きベクトルを用いて符号化対象ＣＵの動きベクトルの予測を行うように構成されている。

ＨＥＶＣにおけるマージモードでは、符号化対象ＣＵの動きベクトルが予測ベクトルリスト内の動きベクトルと同一であった場合には、残差ベクトルを送ることなく、予測ベクトルリストのインデックスのみを伝送することでより伝送する情報量を低減させるように構成されている。

ＨＥＶＣにおける予測ベクトルリストは、図８に示すように、空間予測ベクトル候補Ａ０/Ａ１/Ｂ０/Ｂ１/Ｂ２及び時間予測ベクトル候補Ｈの中から予め規定された順に５つの予測ベクトルを格納する。

図８に示すように、空間予測ベクトル候補Ａ０/Ａ１/Ｂ０/Ｂ１/Ｂ２は、符号化対象ＣＵの上側や左側に位置するＣＵの動きベクトルであり、時間予測ベクトル候補Ｈは、符号化対象ＣＵの同一座標付近の異なるフレームのブロックの動きベクトルである。

マージモードにおいては、予測ベクトルリスト内に符号化対象ＣＵに適用する動きベクトルが含まれているか否かを示すフラグ、及び、かかる動きベクトルが含まれている場合には予測ベクトルリストの何番目の予測ベクトルであるかについて示すインデックス情報を伝送する。

また、ＨＥＶＣでは、符号化対象ブロックにおける残差信号に対して直交変換処理を適用して量子化処理を行うモードの他、符号化対象ブロックにおける残差信号に対して直交変換処理を行わずに量子化処理を行うＴｒａｎｓｆｏｒｍ ｓｋｉｐモードが用意されている。

Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードは、急峻なエッジがあるような残差信号のように、直交変換処理を適用すると、かえって残差信号のエントロピーが増加してしまう場合に有効である。ＨＥＶＣにおいては、予め規定した条件に基づいて、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用可能な符号化対象ブロックにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用するか否かについて示すフラグを伝送する。

また、非特許文献２では、残差信号に対して適用する直交変換処理を複数種類用意しておき、適用する直交変換処理の種類を示すフラグをＣＵ単位で伝送することが規定されている。

Ｊ.Ａｎ、Ｙ-Ｗ Ｃｈｅｎ、Ｋ.Ｚｈａｎｇ、Ｈ.Ｈｕａｎｇ、Ｙ-Ｗ Ｈｕａｎｇ、Ｓ.Ｌｅｉ、「Ｂｌｏｃｋ ｐａｒｔｉｔｉｏｎｉｎｇ ｓｔｒｕｃｔｕｒｅ ｆｏｒ ｎｅｘｔ ｇｅｎｅｒａｔｉｏｎ ｖｉｄｅｏ ｃｏｄｉｎｇ」、ＭＰＥＧ ｄｏｃ．ｍ３７５２４及びＩＴＵ-Ｔ ＳＧ１６ Ｄｏｃ. ＣＯＭ１６-Ｃ９６６、２０１５年１０月 ＪＶＥＴ-Ｃ１００１ Ａｌｇｏｒｉｔｈｍ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ３ （ＪＥＭ３）

非特許文献２では、非特許文献１のように、二分木分割を適用可能とする場合にも、符号化対象ＣＵの分割形状や隣接するＣＵがＴｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用したか否かに依らず、かかる符号化対象ＣＵがＴｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用するか否かについて示すフラグが伝送される。

また、非特許文献２では、二分木分割を適用可能とする場合にも、符号化対象ＣＵの分割形状や符号化対象ＣＵに隣接するＣＵに適用した直交変換処理の種類等に依らず、適用する直交変換処理の種類を示すフラグが伝送される。

例えば、符号化対象ＣＵの領域全体が一様に動いている場合においては、図９（ａ）に示すように、ブロック分割（二分木分割）を行わない場合には、符号化対象ＣＵの動きベクトル及び直交変換係数の情報を伝送するだけでよいのに対して、図９（ｂ）に示すように、垂直方向に二分木分割を行う場合には、分割された各ＣＵの動きベクトル及び直交変換係数の情報を伝送する必要がある。

図９（ｂ）のようなＣＵの分割形状が選択され、且つ、動きベクトルが左右のＣＵで同一である場合には、２つのＣＵの両方において同一の種類の直交変換処理を適用する或いは２つのＣＵの両方において直交変換処理を適用しない（Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用する）場合、図９（ａ）のようにブロック分割を行わないＣＵの分割形状である方が伝送する情報量が低くなることから、２つのＣＵの両方において同一の種類の直交変換処理を適用する或いはＴｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用する可能性は低い。

言いかえると、このような二分木分割形状が選択される場合には、ある直交変換の種類が一方のＣＵにおいて適用された場合には、かかる直交変換処理と異なる種類の直交変換処理が、他方のＣＵにおいて適用される可能性が高い。

また、一方のＣＵにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐモードが適用された場合には、他方のＣＵにおいてはＴｒａｎｓｆｏｒｍ ｓｋｉｐモードが適用されない(適用可能な直交変換処理のうちのいずれかが適用される)可能性が高い。

しかしながら、非特許文献２では、上述のような二分木分割において動きベクトルが等しい場合にも、符号化対象ＣＵにＴｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用するか否かについてフラグ（Ｔｒａｎｓｆｏｒｍ ｓｋｉｐフラグ）や適用する直交変換処理の種類を示すフラグを伝送しているため、符号化効率が低下する問題がある。

非特許文献２においては、まず、符号化対象ＣＵに対して、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐフラグを伝送し、Ｔｒａｎｓｏｆｏｒｍ ｓｋｉｐが適用される場合には、適用した直交変換処理の種類を示すフラグは伝送されない。一方、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードが適用されない場合には、適用した直交変換処理の種類を示すフラグを伝送する。

以下説明の簡略化のため、図９（ｂ）のように二分木分割を行ったことにより生成された同一の幅及び高さを有している２つのブロック（最後に分割される前に同一のブロック内に存在した２つのブロック）を同階層ブロックであると呼ぶこととする。

図１０において、ＣＵ１及びＣＵ２を同階層ＣＵと呼び、ＣＵ４及びＣＵ５を同階層ＣＵと呼び、ＣＵ６及びＣＵ７を同階層ＣＵと呼ぶ。しかしながら、ＣＵ３においては、下側に隣接するＣＵがさらに二分木分割されておりブロックサイズが異なるため、ＣＵ３及びＣＵ４或いはＣＵ３及びＣＵ５を同階層ＣＵとは呼ばない。また、ＣＵ２及びＣＵ８或いはＣＵ５及びＣＵ７のように、幅や高さが同一であったとしても、最後に分割する前に同一のＣＵ内に存在しなかったＣＵ同士についても同階層ＣＵとは呼ばない。

そこで、本発明は、上述した課題を解決するためになされたものであり、符号化対象ブロック（符号化対象ＣＵ）の動きベクトル及び同階層ブロック（同階層ＣＵ）の動きベクトルが同一であった場合には、かかる同階層ブロックにおける直交変換処理を適用の有無若しくは適用された直交変換処理の種類に応じて符号化対象ブロックにおける直交変換処理の適用の有無若しくは適用された直交変換処理の種類を暗黙的に決定することで、直交変換処理の種類の適用の有無を示すフラグの伝送若しくは適用された直交変換処理の種類を示すフラグの伝送にかかる情報量を低減し、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。

また、本発明は、符号化対象ブロックの動きベクトル及び同階層ブロックの動きベクトルが同一であった場合には、かかる同階層ブロックに適用されている直交変換処理の種類に応じて符号化対象ブロックに適用する直交変換処理の種類を決定することで、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。

本発明の第１の特徴は、動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成されている符号化装置であって、符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおける直交変換処理の適用の有無とに基づいて、前記符号化対象ブロックにおいて直交変換処理を適用するか否かについて決定するように構成されている決定部と、前記符号化対象ブロックにおいて直交変換処理を適用するか否かについて示す情報を符号化することなく、前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されている符号化部とを具備することを要旨とする。

本発明の第２の特徴は、動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成されている符号化装置であって、符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおいて適用されている直交変換処理の種類とに基づいて、前記符号化対象ブロックにおいて適用しない直交変換処理の種類について決定するように構成されている決定部と、前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されている符号化部とを具備することを要旨とする。

本発明の第３の特徴は、動画像を構成するフレーム単位の原画像をブロックに分割して復号するように構成されている復号装置であって、符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおける直交変換処理の適用の有無とに基づいて、前記符号化対象ブロックにおいて直交変換処理が適用されているか否かについて決定するように構成されている決定部を具備することを要旨とする。

本発明の第４の特徴は、動画像を構成するフレーム単位の原画像をブロックに分割して復号するように構成されている復号装置であって、符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおいて適用されている直交変換処理の種類とに基づいて、前記符号化対象ブロックにおいて適用されていない直交変換処理の種類を決定するように構成されている決定部を具備することを要旨とする。

本発明の第５の特徴は、コンピュータを、上述の第１或いは第２の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第６の特徴は、コンピュータを、上述の第３或いは第４の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。

本発明によれば、符号化対象ブロック（符号化対象ＣＵ）の動きベクトル及び同階層ブロック（同階層ＣＵ）の動きベクトルが同一であった場合には、かかる同階層ブロックにおける直交変換処理を適用の有無に応じて符号化対象ブロックにおける直交変換処理の適用の有無を暗黙的に決定することで、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することができる。

また、本発明によれば、符号化対象ブロックの動きベクトル及び同階層ブロックの動きベクトルが同一であった場合には、かかる同階層ブロックに適用されている直交変換処理の種類に応じて符号化対象ブロックに適用する直交変換処理の種類を決定することで、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することができる。

図１は、第１の実施形態に係る符号化装置１の機能ブロックの一例を示す図である。 図２は、第１の実施形態に係る符号化装置１におけるブロック分割部１１による符号化対象ＣＵの分割形状を示すフラグの生成方法の一例を示す図である。 図３は、第１の実施形態に係る符号化装置１の直交変換決定部１２による決定方法の一例を示す図である。 図４は、第１の実施形態に係る符号化装置１の動作の一例を示すフローチャートである。 図５は、第１の実施形態に係る復号装置３の機能ブロックの一例を示す図である。 図６は、第１の実施形態に係る復号装置３の動作の一例を示すフローチャートである。 図７は、従来技術について説明するための図である。 図８は、従来技術について説明するための図である。 図９は、従来技術について説明するための図である。 図１０は、従来技術について説明するための図である。

（第１の実施形態）
以下、図１〜図６を参照して、本発明の第１の実施形態に係る符号化装置１及び復号装置３について説明する。

ここで、本実施形態に係る符号化装置１及び復号装置３は、ＨＥＶＣ等の動画像符号化方式におけるインター予測に対応するように構成されている。なお、本実施形態に係る符号化装置１及び復号装置３は、インター予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。また、本実施形態に係る符号化装置１及び復号装置３では、ＨＥＶＣにおけるＴｒａｎｓｆｏｒｍ ｓｋｉｐモードが適用可能なケースを例に挙げて説明する。

なお、本明細書、特許請求の範囲、図面及び要約書では、特段の断りがない場合には、「動きベクトル」という表現は、［ｘ,ｙ］というようなベクトルを示す値の他、参照先のフレームを示す参照インデックス等のベクトルを示す値に付随する情報を含むものとする。

本実施形態に係る符号化装置１は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている。以下、本実施形態では、動画像を構成するフレーム単位の原画像を符号化対象ＣＵに二分木分割して符号化するケースを例に挙げて説明するが、動画像を構成するフレーム単位の原画像を符号化対象ＣＵに四分木分割して符号化するケースにも適用可能である。

図１に示すように、本実施形態に係る符号化装置１は、ブロック分割部１１と、直交変換決定部１２と、インター予測部１３と、直交変換・量子化部１４と、エントロピー符号化部１５と、逆量子化・逆変換部１６と、メモリ１７とを具備している。

ブロック分割部１１は、符号化対象ＣＵごとに、四分木分割や二分木分割を行い、符号化対象ＣＵの分割形状を示すフラグを、予測ベクトルリスト生成部１２やインター予測部１３及やエントロピー符号化部１５に出力するように構成されている。

ブロック分割部１１は、かかる分割の一例として、四分木分割の適用可能ブロックサイズや最大階層数、及び、二分木分割の適用可能ブロックサイズや最大階層数を予め規定してもよい。

また、ブロック分割部１１は、符号化装置１における処理軽減のため、最初に四分木分割を行い、その後、任意の階層から二分木分割を行うように構成されていてもよい。

図２（ａ）〜図２（ｃ）に、最初に四分木分割を行った後、二分木分割を行うケースの分割形状を示すフラグの生成方法の一例について示す。具体的には、図２（ｂ）に示す四分木分割を行った後、図２（ｃ）に示す二分木分割を行うことで、図２（ａ）に示す分割形状を実現することができる。

例えば、図２（ｂ）に示すように、四分木分割を行うか否かについて示すフラグにおいて、「０」は、該当するＣＵに対して四分木分割を行わないことを示し、「１」は、該当するＣＵに対して四分木分割を行うことを示す。

また、図２（ｃ）に示すように、四分木分割を行わないＣＵについては、さらに二分木分割を行うか否かについて示すフラグを生成する。かかるフラグにおいて、「０」は、該当するＣＵに対して二分木分割を行わないことを示し、「１」は、該当するＣＵに対して水平方向に二分木分割を行うことを示し、「２」は、該当するＣＵに対して垂直方向に二分木分割を行うことを示す。

なお、かかるフラグは、ＣＴＵ単位で纏めて伝送されるように構成されていてもよいし、ＣＵごとに直交変換係数と共に伝送されるように構成されていてもよい。

直交変換決定部（決定部）１２は、符号化対象ＣＵの動きベクトルと、符号化対象ＣＵの同階層ＣＵの動きベクトルと、かかる同階層ＣＵにおける直交変換処理の適用の有無とに基づいて、符号化対象ＣＵにおいて直交変換処理を適用するか否か（Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用するか否か）について決定するように構成されている。

直交変換決定部１２は、符号化対象ＣＵの同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、かかる同階層ＣＵにおいて直交変換処理が適用されていない場合（すなわち、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードが適用されている場合）には、符号化対象ＣＵにおいて直交変換処理を適用する（すなわち、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードが適用しない）と決定するように構成されていてもよい。

すなわち、直交変換決定部１２は、ブロック分割部１１により分割された符号化対象ＣＵの分割形状及び動きベクトルと、メモリ１７に保存されている同階層ＣＵの分割形状及び動きベクトルと、同階層ＣＵにおける直交変換処理の適用の有無（すなわち、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードが適用されているか否かについて示す情報であるＴｒａｎｓｆｏｒｍ ｓｋｉｐフラグ）とに応じて、符号化対象ＣＵにおけるＴｒａｎｓｆｏｒｍ ｓｋｉｐモードの適用を暗黙的に禁止する（すなわち、直交変換処理を適用する）ことを示すＴｒａｎｓｆｏｒｍ ｓｋｉｐ符号化フラグを出力するように構成されている。

ＨＥＶＣでは、直交変換決定部１２は、符号化対象ＣＵの左側及び上側に位置する隣接ＣＵや時間的に隣接するＣＵの動きベクトルに基づいて、５つの予測ベクトルが格納される予測ベクトルリストを生成するよう構成されている（具体的には、Ｈ.２６５規格書を参考）。すなわち、マージモードは、隣接ＣＵの動きベクトルの再利用を可能としている。

ここで、図２（ｃ）において四角Ａ〜Ｃで囲まれている二分木分割が行われたＣＵブロックのうち、同一の分割階層で共にフラグが「０」であるＣＵは、同階層ＣＵ（同階層ブロック）である。なお、図２（ｃ）においてフラグｆ１/ｆ２が付されているＣＵは、図２（ａ）におけるＣＵ１/ＣＵ２に対応し、図２（ｃ）においてフラグｆ３/ｆ４が付されているＣＵは、図２（ａ）におけるＣＵ３/ＣＵ４に対応し、図２（ｃ）においてフラグｆ５/ｆ６が付されているＣＵは、図２（ａ）におけるＣＵ５/ＣＵ６に対応する。

上述のように一様な特徴をもつ領域においては可能な限り大きいブロックサイズで符号化処理を行うことで、フラグの発生情報量が低減する。また、図２（ａ）〜図２（ｃ）に示すように、分割階層が増えれば増えるほど分割形状を示すフラグの発生情報量は増大する。

すなわち、二分木分割を行うことにより生成される２つのＣＵが共にそれ以上分割されない場合で、且つ、これらの２つのＣＵの動きベクトルが等しい場合には、これらの２つのＣＵの一方において直交変換処理を適用するが、他方において直交変換処理を適用しない可能性が高い。

したがって、直交変換決定部１２は、符号化対象ＣＵが二分木分割されたブロックであり、上側や左側に隣接するＣＵが同階層ＣＵである場合であって、かかる同階層ＣＵに適用した動きベクトルが符号化対象ＣＵの動きベクトルと等しい場合には、かかる同階層ＣＵにおいて直交変換処理を適用する場合には、符号化対象ＣＵにはＴｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用し、また、かかる同階層ＣＵにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用する場合には、符号化対象ＣＵには直交変換処理を適用すると決定するように構成されている。

インター予測部１３は、復号済みのフレームをメモリ１７より取得し、符号化装置１によって決定された動きベクトルが示す領域を取得することで予測画像を生成するように構成されている。

直交変換・量子化部１４は、インター予測部１３により生成された予測画像と原画像との差分に対して、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐフラグに応じて、直交変換処理及び量子化処理を施し（或いは、直交変換処理を施すことなく量子化処理を施し）、量子化された直交変換係数を得るように構成されている。

エントロピー符号化部（符号化部）１５は、量子化された直交変換係数（残差信号）及び符号化対象ＣＵの動きベクトル等に対してエントロピー符号化処理を施すように構成されている。

また、エントロピー符号化部１５は、符号化対象ＣＵの量子化された直交変換係数及び動きベクトルと、直交変換決定部１２によって出力されるＴｒａｎｓｆｏｒｍ ｓｋｉｐ符号化フラグに応じて、符号化対象ＣＵにおけるＴｒａｎｓｆｏｒｍ ｓｋｉｐフラグを符号化するように構成されている。

例えば、図３（ａ）及び図３（ｂ）において、ＣＵ＃Ｔを符号化対象ＣＵとした場合、左側に隣接するＣＵ＃Ａは、ＣＵ＃Ｔの同階層ＣＵである。

図３（ａ）に示すように、ＣＵ＃Ａの動きベクトルと符号化対象ＣＵ＃Ｔの動きベクトルとが等しい場合で、且つ、ＣＵ＃ＡにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐモードが適用されている場合には、直交変換決定部１２は、符号化対象ＣＵ＃Ｔにおいて、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードの適用を暗黙的に禁止し、直交変換処理を適用すると決定するように構成されている。

また、図３（ｂ）に示すように、ＣＵ＃Ａの動きベクトルと符号化対象ＣＵ＃Ｔの動きベクトルとが等しい場合で、且つ、ＣＵ＃Ａにおいて直交変換処理が適用されている場合には、直交変換決定部１２は、符号化対象ＣＵ＃Ｔにおいて、直交変換処理の適用を暗黙的に禁止し、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用すると決定するように構成されている。

上述のように、符号化対象ＣＵ（ＣＵ＃Ｔ）と同一の動きベクトルを有する同階層ＣＵ（ＣＵ＃Ａ）においてＴｒａｎｓｆｏｒｍ ｓｋｉｐモードが適用されている場合には、符号化対象ＣＵ（ＣＵ＃Ｔ）において、暗黙的にＴｒａｎｓｆｏｒｍ ｓｋｉｐモードの適用が禁止され、直交変換処理が適用されるため、エントロピー符号化部１５は、符号化対象ＣＵ（ＣＵ＃Ｔ）におけるＴｒａｎｓｆｏｒｍ ｓｋｉｐフラグを符号化（伝送）する必要はない。

同様に、符号化対象ＣＵ（ＣＵ＃Ｔ）と同一の動きベクトルを有する同階層ＣＵ（ＣＵ＃Ａ）において直交変換処理が適用されている場合にも、符号化対象ＣＵ（ＣＵ＃Ｔ）において、暗黙的に直交変換処理の適用が禁止され、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードが適用されるため、符号化対象ＣＵ（ＣＵ＃Ｔ）におけるＴｒａｎｓｆｏｒｍ ｓｋｉｐフラグを符号化（伝送）する必要はない。

すなわち、これらの場合には、エントロピー符号化部１５は、符号化対象ＣＵにおいて直交変換処理を適用するか否かについて示す情報（Ｔｒａｎｓｆｏｒｍ ｓｋｉｐフラグ）を符号化することなく、量子化された直交変換係数（残差信号）及び符号化対象ＣＵの動きベクトルに対してエントロピー符号化処理を施すように構成されている。

逆量子化部・逆直交変換部１６は、直交変換・量子化部１４によって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施して残差信号を生成するように構成されている。

メモリ１７は、符号化対象ＣＵの復号画像を参照画像として利用可能に保持するように構成されている。ここで、かかる復号画像は、逆量子化部・逆直交変換部１６によって生成された残差信号に対してインター予測部１３によって生成された予測画像を加えることで生成されるように構成されている。

また、メモリ１７は、符号化対象ＣＵに隣接する隣接ＣＵの分割形状及び動きベクトルを保持するように構成されている。

図４に、本実施形態に係る符号化装置１の動作の一例について説明するためのフローチャートについて示す。

図４に示すように、ステップＳ１０１において、符号化装置１は、符号化対象ＣＵごとに、四分木分割や二分木分割を行い、符号化対象ブロックの分割形状を示すフラグを生成する。

ステップＳ１０２において、符号化装置１は、符号化対象ＣＵの分割形状及び動きベクトルと、符号化対象ＣＵの同階層ＣＵの動きベクトルと、かかる同階層ＣＵにおける直交変換処理の適用の有無とに基づいて、符号化対象ＣＵにおいて直交変換処理を適用するか否か（Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用するか否か）について決定する。

ステップＳ１０３において、符号化装置１は、符号化対象ＣＵの予測画像を生成し、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐフラグに応じて、符号化対象ＣＵの量子化された直交変換係数を生成し、エントロピー符号化処理を行う。

また、本実施形態に係る復号装置３は、動画像を構成するフレーム単位の原画像をＣＵに分割して復号するように構成されている。

図５に示すように、本実施形態に係る復号装置３は、エントロピー復号部３１と、直交変換決定部３２と、インター予測部３３と、逆量子化・逆変換部３４と、復号画像生成部３５と、メモリ３６とを具備している。

エントロピー復号部３１は、符号化装置１から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化装置１から出力されたストリームから、量子化された直交変換係数及び符号化対象ＣＵの動きベクトル等を復号するように構成されている。

なお、符号化対象ＣＵの同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合には、かかるストリーム内に、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐフラグは符号化されていない。

直交変換決定部３２は、符号化装置１の直交変換決定部１２と同様に、符号化対象ＣＵの動きベクトルと、符号化対象ＣＵの同階層ＣＵの動きベクトルと、かかる同階層ＣＵにおける直交変換処理の適用の有無とに基づいて、符号化対象ＣＵにおいて直交変換処理を適用するか否か（Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用するか否か）について決定する、すなわち、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐを決定するように構成されている。

インター予測部３３は、エントロピー復号部３１によって出力された符号化対象ＣＵの動きベクトル及びメモリ３７に保持されている参照画像に基づいて予測画像を生成するように構成されている。

逆量子化・逆変換部３４は、エントロピー復号部３１によって出力された量子化された変換係数に対して、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐフラグに応じて、逆直交変換処理及び逆量子化処理を施し（或いは、逆直交変換処理を施すことなく逆量子化処理を施し）、符号化対象ＣＵの残差信号を得るように構成されている。

復号画像生成部３５は、インター予測部３３によって生成された予測画像と逆量子化・逆変換部３４によって生成された残差信号とを加えることで復号画像を生成するように構成されている。

メモリ３７は、復号画像生成部３５によって生成された復号画像を、インター予測のための参照画像として利用可能に保持するように構成されている。

図６に、本実施形態に係る復号装置３の動作の一例について説明するためのフローチャートについて示す。

図６に示すように、ステップＳ２０１において、復号装置３は、符号化装置１から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化装置１から出力されたストリームから、量子化された直交変換係数及び符号化対象ＣＵの動きベクトル等を復号し、符号化対象ＣＵの動きベクトルと、符号化対象ＣＵの同階層ＣＵの動きベクトルと、かかる同階層ＣＵにおける直交変換処理の適用の有無とに基づいて、符号化対象ＣＵにおいて直交変換処理を適用するか否か（Ｔｒａｎｓｆｏｒｍ ｓｋｉｐモードを適用するか否か）について決定する。

ステップＳ２０２において、復号装置３は、符号化対象ＣＵの動きベクトル及び保持されている参照画像に基づいて予測画像を生成し、量子化された変換係数に対して、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐフラグに応じて、逆量子化処理及び逆変換処理（例えば、逆直交変換処理）を施すこと（或いは、逆直交変換処理を施すことなく逆量子化処理を施すこと）によって、残差信号を生成し、予測画像と残差信号とを加えることで復号画像を生成する。

本実施形態に係る符号化装置１及び復号装置３によれば、符号化対象ＣＵの動きベクトル及び同階層ＣＵの動きベクトルが同一であった場合には、かかる同階層ＣＵにおける直交変換処理を適用の有無に応じて符号化対象ＣＵにおける直交変換処理の適用の有無を暗黙的に決定することで、符号化効率を向上させることができる。

本実施形態に係る符号化装置１及び復号装置３によれば、符号化対象ＣＵにおいて適用する直交変換処理の種類を決定する際に、符号化対象ＣＵ及び同階層ＣＵにおいて適用する動きベクトルが同一である場合には、かかる同階層ＣＵにおいて適用されている直交変換処理を選択禁止とすることで、処理の高速化を図ることができる。

（第２の実施形態）
以下、本発明の第２の実施形態について、上述の第１の実施形態との相違点に着目して説明する。なお、本実施形態では、符号化対象ＣＵに対して適用可能な直交変換処理が複数存在しているものとする。以下、説明の便宜のため、符号化対象ＣＵに対して適用可能な直交変換処理として、第１の直交変換処理及び第２の直交変換処理が存在しているケースを例に挙げて説明する。

上述の第１の実施形態に係る符号化装置１では、直交変換決定部１２は、同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、同階層ＣＵにおいて直交変換処理が適用されていない場合には、暗黙的に符号化対象ＣＵにおいて直交変換処理を適用すると決定するように構成されており、また、同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、同階層ＣＵにおいて直交変換処理が適用されている場合には、暗黙的に符号化対象ＣＵにおいて直交変換処理を適用しないと決定するように構成されている。

同様に、上述の第１の実施形態に係る復号装置３では、直交変換決定部３２は、同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、同階層ＣＵにおいて直交変換処理が適用されていない場合には、暗黙的に符号化対象ＣＵにおいて直交変換処理が適用されていると決定するように構成されており、また、同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、同階層ＣＵにおいて直交変換処理が適用されている場合には、暗黙的に符号化対象ＣＵにおいて直交変換処理が適用されていないと決定するように構成されている。

これに対して、本実施形態に係る符号化装置１では、直交変換決定部１２は、符号化対象ＣＵの動きベクトルと、同階層ＣＵの動きベクトルと、同階層ＣＵにおいて適用されている直交変換処理の種類とに基づいて、符号化対象ＣＵにおいて適用しない直交変換処理の種類（適用を暗黙的に禁止する直交変換処理の種類）について決定するように構成されている。

そして、エントロピー符号化部１５は、符号化対象ＣＵの残差信号及び動きベクトルと共に、符号化対象ＣＵにおいて適用する直交変換処理の種類を示す情報を符号化するように構成されている。

具体的には、同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、同階層ＣＵにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐが適用されている場合、直交変換決定部１２は、符号化対象ＣＵにおいて、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐの適用を禁止し（符号化対象ＣＵにおいて適用しない直交変換処理の種類としてＴｒａｎｓｆｏｒｍ ｓｋｉｐを選択し）、第１の直交変換処理或いは第２の直交変換処理を適用すると決定するように構成されている。

また、同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、同階層ＣＵにおいて第１の直交変換処理が適用されている場合、直交変換決定部１２は、符号化対象ＣＵにおいて、第１の直交変換処理の適用を禁止し（符号化対象ＣＵにおいて適用しない直交変換処理の種類として第１の直交変換処理を選択し）、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐ或いは第２の直交変換処理を適用すると決定するように構成されている。

さらに、同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、同階層ＣＵにおいて第２の直交変換処理が適用されている場合、直交変換決定部１２は、符号化対象ＣＵにおいて、第２の直交変換処理の適用を禁止し（符号化対象ＣＵにおいて適用しない直交変換処理の種類として第２の直交変換処理を選択し）、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐ或いは第１の直交変換処理を適用すると決定するように構成されている。

すなわち、同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、同階層ＣＵにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐが適用されている場合には、直交変換決定部１２は、符号化対象ＣＵにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐの適用を暗黙的に禁止するように構成されている。

かかる場合、エントロピー符号化部１５は、Ｔｒａｎｓｆｏｒｍ ｓｋｉｐフラグについて符号化せず、符号化対象ＣＵにおいて適用する直交変換処理の種類を示すフラグを符号化するように構成されている。

同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、同階層ＣＵにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐが適用されていない場合には、エントロピー符号化部１５は、符号化対象ＣＵにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐフラグについて符号化するように構成されている。

かかる場合、エントロピー符号化部１５は、符号化対象ＣＵにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐを適用する場合には、適用する直交変換処理の種類を示すフラグについて符号化しないように構成されている一方、符号化対象ＣＵにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐを適用しない場合には、(同階層ＣＵに適用した種類の直交変換処理を除く)適用可能な直交変換処理のリストに基づいて符号化対象ＣＵに適用する直交変換の種類を示すフラグを符号化するように構成されている。

例えば、本実施形態の例のように、２種類の直交変換処理が用意されているケースの場合、同階層ＣＵの動きベクトル及び符号化対象ＣＵの動きベクトルが同一である場合で、且つ、同階層ＣＵにおいて第１の直交変換処理が適用されている場合、且つ、符号化対象ＣＵにおいてＴｒａｎｓｆｏｒｍ ｓｋｉｐを適用しない場合には、符号化対象ＣＵに適用する直交変換処理は一意に第２の直交変換処理と決定することができるため、エントロピー符号化部１５は、符号化対象ＣＵに適用する直交変換処理の種類を示すフラグについて符号化しないように構成されている。

同様に、本実施形態に係る復号装置３では、直交変換決定部３２は、同階層ＣＵの動きベクトルと、同階層ＣＵにおいて適用されている直交変換処理の種類とに基づいて、符号化対象ＣＵにおいて適用されていない直交変換処理の種類を決定するように構成されている。

本実施形態に係る符号化装置１及び復号装置３によれば、符号化対象ＣＵの動きベクトル及び同階層ＣＵの動きベクトルが同一であった場合には、かかる同階層ＣＵに適用されている直交変換処理の種類に応じて符号化対象ＣＵに適用する直交変換処理の種類を決定することで、符号化効率を向上させることができる。

（その他の実施形態）
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

また、上述の実施形態では特に触れていないが、上述の符号化装置１及び復号装置３によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の記録媒体であってもよい。

或いは、上述の符号化装置１及び復号装置３内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

１…符号化装置
１１…ブロック分割部
１２…直交変換決定部
１３…インター予測部
１４…直交変換・量子化部
１５…エントロピー符号化部
１６…逆量子化・逆変換部
１７…メモリ
３…復号装置
３１…エントロピー復号部
３２…直交変換決定部
３３…インター予測部
３４…逆量子化・逆変換部
３５…復号画像生成部
３６…メモリ

Claims (8)

1. 動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成されている符号化装置であって、
   符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおける直交変換処理の適用の有無とに基づいて、前記符号化対象ブロックにおいて直交変換処理を適用するか否かについて決定するように構成されている決定部と、
   前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されている符号化部とを具備していることを特徴とする符号化装置。
2. 前記決定部は、前記同階層ブロックの動きベクトル及び前記符号化対象ブロックの動きベクトルが同一である場合で、且つ、前記同階層ブロックにおいて直交変換処理が適用されていない場合には、前記符号化対象ブロックにおいて直交変換処理を適用すると決定し、前記同階層ブロックにおいて直交変換処理が適用されている場合には、前記符号化対象ブロックにおいて直交変換処理を適用しないと決定するように構成されており、
   前記符号化部は、前記符号化対象ブロックにおいて直交変換処理を適用するか否かについて示す情報を符号化することなく、前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されていることを特徴とする請求項１に記載の符号化装置。
3. 動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成されている符号化装置であって、
   符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおいて適用されている直交変換処理の種類とに基づいて、前記符号化対象ブロックにおいて適用しない直交変換処理の種類について決定するように構成されている決定部と、
   前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されている符号化部とを具備することを特徴とする符号化装置。
4. 動画像を構成するフレーム単位の原画像をブロックに分割して復号するように構成されている復号装置であって、
   符号化対象ブロック動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおける直交変換処理の適用の有無とに基づいて、前記符号化対象ブロックにおいて直交変換処理が適用されているか否かについて決定するように構成されている決定部を具備することを特徴とする復号装置。
5. 前記決定部は、前記同階層ブロックの動きベクトル及び前記符号化対象ブロックの動きベクトルが同一である場合で、且つ、前記同階層ブロックにおいて直交変換処理が適用されていない場合には、前記符号化対象ブロックにおいて直交変換処理が適用されていると決定し、前記同階層ブロックにおいて直交変換処理が適用されている場合には、前記符号化対象ブロックにおいて直交変換処理が適用されていないと決定するように構成されていることを特徴とする請求項４に記載の復号装置。
6. 動画像を構成するフレーム単位の原画像をブロックに分割して復号するように構成されている復号装置であって、
   符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおいて適用されている直交変換処理の種類とに基づいて、前記符号化対象ブロックにおいて適用されていない直交変換処理の種類を決定するように構成されている決定部を具備することを特徴とする復号装置。
7. コンピュータを、請求項１〜３のいずれか一項に記載の符号化装置として機能させるためのプログラム。
8. コンピュータを、請求項４〜６のいずれか一項に記載の復号装置として機能させるためのプログラム。

Images