JP2014204208A - 予測モード決定方法、動画像符号化装置、及び予測モード決定プログラム - Google Patents

Abstract

【課題】ピクチャ内の符号化対象ブロックをスキップモードにより符号化するか否かを符号化効率が悪化しないように決定し、符号化における演算量を低減する。【解決手段】ブロック単位で予測モードを決定してピクチャを符号化する符号化装置１において、スキップ判定部１１は、ピクチャの符号化対象ブロックと、当該符号化対象ブロックに隣接し、かつ、スキップモードで符号化されている参照候補ブロックとの特徴量の差異を計算し、計算された特徴量の差異が当該特徴量について定められた条件を満たすか否かを判定する。そして、定められた条件を満たすと判定した場合に、参照候補ブロックを参照ブロックとし、参照ブロックにおけるスキップモードのコストから求められる閾値と、符号化対象ブロックをスキップモードとした場合のコストとを比較して、符号化対象ブロックの予測モードをスキップモードとするか否かを判定する。【選択図】図１

Description

本発明は、予測モード決定方法、動画像符号化装置、及び予測モード決定プログラムに関する。

Ｈ．２６４やＨＥＶＣ（High Efficiency Video Coding）のような映像符号化標準では、ブロック単位で動画像のピクチャの符号化を行う。Ｈ．２６４ではマクロブロック（縦１６画素、横１６画素のブロック）を単位とし、マクロブロックをサブブロックに分割して符号化できる。また、Ｈ．２６４ではマクロブロックの予測モードとして、スキップモードを利用できる。Ｈ．２６４のスキップモードでは、動きベクトルを周辺の符号化済ブロックの動きベクトルから算出するため、動きベクトルを符号化する必要がない。また、当該動きベクトルで動き補償したときの予測残差ブロックも符号化しない。

一方で、ＨＥＶＣではＬＣＵ（Largest Coding Unit）を単位として符号化を行う。ＬＣＵは最大で縦６４画素、横６４画素（６４ｘ６４画素）のブロックであり、これをサブブロックに分割して符号化できる。Ｈ．２６４との違いは、サブブロックのサイズのバリエーションが多いことであり、このサブブロックはＣＵ（Coding Unit）と呼ばれる（ＣＵはＬＣＵそのものも含む）。図９にＣＵサイズのバリエーションを示す。同図の（ａ）から（ｄ）に示すように、６４ｘ６４画素のＬＣＵから再帰的に、３２ｘ３２画素、１６ｘ１６画素、８ｘ８画素の４つのＣＵに分割していくことが可能であり、ＬＣＵを最上位ノードとし、階層を４つ有する４分木で表現できることもわかる。また、符号化においては、階層数が４以内の任意の４分木構造によるＣＵ分割を利用することができる。この一例を図１０に示す。同図に示すように、１階層目のＣＵはＬＣＵであり、ＣＵ１〜ＣＵ４の４つのＣＵに分割される。２階層目のＣＵ２はさらにＣＵ２１〜ＣＵ２４に分割され、２階層目のＣＵ４はさらにＣＵ４１〜ＣＵ４４に分割される。そしてさらに、３階層目のＣＵ４２は４階層目となるＣＵ４２１〜４２４に分割され、３階層目のＣＵ４３は４階層目となるＣＵ４３１〜４３４に分割される。ＨＥＶＣではＣＵの符号化においてイントラ予測を利用するか、またはインター予測を利用するかを自由に切り替えることができる。なお、ＣＵをさらにＰＵ（Prediction Unit）と呼ばれるサブブロックに分割することも可能である。

ＨＥＶＣではＣＵをインター予測で符号化する場合に、スキップモードで符号化するか、他の予測モードで符号化するかを自由に切り替えられる。つまり、一つのピクチャの中で、様々なサイズのブロックにスキップモードを適用できる。また、ＨＥＶＣのスキップモードでは、動きベクトルそのものを符号化しない点でＨ．２６４と同じであるが、動きベクトルと参照画像インデックスの対の候補を含むリスト（以下、「merge candidate list」と記載する。）を生成する。そして、merge candidate listの中からどれを利用するかを選択することができ、そのインデックスを符号化する点で異なる。当該リストに含まれる動きベクトルおよび参照画像インデックスは、隣接する符号化済ブロックや別の符号化済ピクチャで利用された動きベクトルから生成される。

このように、ＨＥＶＣでは一つのピクチャ内で様々なサイズのブロック（ＣＵ）において、スキップモードで符号化できるものの、以下の従来技術の説明では簡略化のため、スキップモードは固定のブロックサイズを単位として利用できるものとする。

スキップモードでは、予測ベクトルを利用して符号化するため、動き探索を行わない。従い、符号化対象ブロックにおける動き探索を行う前に、当該ブロックをスキップモードで符号化するか否かを判定（以下、「スキップ判定」と記載する。）できれば、スキップモードで符号化することになったブロックでの動き探索を省略することが可能となり、符号化における演算量を削減できる。

一般的に、ピクチャ内における各ブロックで選択される予測モードには空間的な相関があり、これを利用してスキップ判定をすることが考えられる。そのような方式として、例えば、非特許文献１に記載の従来技術（以下、「従来技術Ａ」と記載する。）がある。
従来技術Ａでは、スキップモードとして符号化済のブロックにおける、スキップモードのコストの平均値に係数を乗算した値を閾値として用い、符号化対象ブロックにおいてスキップモードのコストが当該閾値を下回る場合は、スキップモードと判定する。この方法の適用例を図１１に示す。同図に示すように、符号化対象ブロックに対して上に隣接する符号化済ブロック（ブロックＣ）および左に隣接する符号化済ブロック（ブロックＤ）においてスキップモードが利用される場合に、ブロックＣとブロックＤのそれぞれのスキップモードコストの平均に係数を乗じた値を閾値とすることができる。以下では、このような閾値を「スキップ判定閾値」と呼ぶ。
従来技術Ａでは、参照する符号化済ブロック自体が従来技術Ａによってスキップと判定されたものである場合、信頼性が低いコストに基づいてスキップ判定閾値が決まることとなり、誤判定が生じて符号化効率が低下する恐れがある。

そこで、信頼性が高いコストに基づいてスキップ判定閾値を決定するために、スキップ判定が適用されなかった符号化済ブロックのみを参照することは容易に類推でき、これを従来技術Ｂとする。従来技術Ｂでは、図１１に示すように、ブロックＣおよびブロックＤがスキップモードで符号化されていた場合に、ブロックＣおよびブロックＤがスキップ判定によってスキップモードで符号化することに決定されていたかを判定する。そして、ブロックＣとブロックＤの両方もしくはいずれかがスキップ判定によってスキップモードと決定されていた場合は、符号化対象ブロックについてのスキップ判定を行わない（それ以外の場合はスキップ判定を行う）。これにより、スキップ判定において信頼性の高い閾値を設定できる。なお、以下では、スキップモードとして符号化されているものの、動き探索の前に行われるスキップ判定ではスキップモードと判定されていないブロックを「最適スキップブロック」と呼ぶ。

Jongho Kim, Seyoon Jeong, Sukhee Cho, and Jin Soo Choi， "Adaptive Coding Unit Early Termination Algorithm for HEVC", 2012 IEEE International Conference on Consumer Electronics(ICCE), p.261-262

従来技術Ｂではスキップ判定が適用できるブロックが少なく、演算量の削減効果が限定される問題がある。図１２に従来技術Ｂにおいてスキップ判定が適用可能なブロックの一例を示す。同図に示す縦４ブロック、横４ブロックの１６ブロックで構成される領域は、ピクチャ内で最適予測モードがスキップモードとなるような領域であり、本領域において、スキップ判定が適用可能なブロックにおいてはスキップ判定を実施し、演算量を削減できる。従来技術Ｂでスキップ判定が適用可能なブロックは、同図に示す網掛けのブロックとなり、１６ブロック中スキップ判定を行えるのは４ブロックのみとなる。

一方で、従来技術Ｂにおいて、符号化対象ブロックの左側のブロックが最適スキップブロックであれば、当該最適スキップブロックのコストを利用して符号化対象ブロックにおいてスキップ判定を行えるように、制限を緩めた場合を考える。これを、従来技術Ｂ-１とする。従来技術Ｂ-１の場合、図１３に示す網掛けのブロックにおいてスキップ判定が適用可能であり、１６ブロック中で半分のブロックにおいてスキップ判定が適用できる。

しかし、従来技術Ｂ−１の場合、スキップモードが最適ではないようなブロックにおいてもスキップモードと判定してしまい、符号化効率を損ねる恐れがある。その一例を示す概念図を図１４に示す。同図では、左端のブロック列と、それより右の領域で被写体が異なる。そして、左側の被写体（被写体α）についてはスキップモードで符号化することが、最適であるものの、右側の被写体（被写体β）についてはスキップモードで符号化することが最適ではなく、符号化効率の意味では他の予測モードを利用したほうが良いものとする。このような場合、従来技術Ｂ−１では、左から２つ目のブロック列において、誤ってスキップモードと判定してしまうことがある。

上記事情に鑑み、本発明は、ピクチャ内の符号化対象ブロックをスキップモードにより符号化するか否かを符号化効率が悪化しないように決定し、符号化における演算量を低減することができる予測モード決定方法、動画像符号化装置、及び予測モード決定プログラムを提供することを目的としている。

本発明の一態様は、ブロック単位で予測モードを決定して動画像の画像データを符号化する動画像符号化装置が実行する予測モード決定方法であって、１つ以上の特徴量について、前記画像データにおける符号化対象ブロックと、当該符号化対象ブロックに隣接し、かつ、スキップモードで符号化されている参照候補ブロックとの前記特徴量の差異を計算するブロック特徴比較ステップと、前記ブロック特徴比較ステップにおいて計算された前記特徴量の差異が、当該特徴量について定められた条件を満たすか否かを判定するスキップ判定実行有無決定ステップと、前記スキップ判定実行有無決定ステップにおいて前記特徴量の差異が当該特徴量について定められた前記条件を満たすと判定された場合に前記参照候補ブロックを参照ブロックとし、前記参照ブロックにおけるスキップモードのコストから求められる閾値と、前記符号化対象ブロックをスキップモードとした場合のコストとを比較して前記符号化対象ブロックの予測モードをスキップモードとするか否かを判定するスキップ判定ステップと、を有することを特徴とする予測モード決定方法である。

また本発明の一態様は、上述する予測モード決定方法であって、前記ブロック特徴比較ステップにおいては、前記特徴量の差異の計算に、前記参照候補ブロックと前記符号化対象ブロックとの動きベクトルの一致度合いの計算を含み、前記スキップ判定実行有無決定ステップにおいては、前記参照候補ブロックと前記符号化対象ブロックとの動きベクトルの一致度合いが所定以内である場合に、動きベクトルについて定められた前記条件を満たすと判定する、ことを特徴とする。

また本発明の一態様は、上述する予測モード決定方法であって、前記ブロック特徴比較ステップにおいては、前記特徴量の差異の計算に、前記参照候補ブロックと前記符号化対象ブロックとの複雑さ指標値の大小の計算を含み、前記スキップ判定実行有無決定ステップにおいては、前記符号化対象ブロックの複雑さが前記参照候補ブロックの複雑さを上回る場合に、複雑さ指標値について定められた前記条件を満たすと判定する、ことを特徴とする。

また本発明の一態様は、上述する予測モード決定方法であって、前記符号化対象ブロックに隣接し、かつ、スキップモードで符号化されている参照候補ブロックが複数存在する場合、前記ブロック特徴比較ステップにおいては、前記符号化対象ブロックと複数の前記参照候補ブロックそれぞれとの前記特徴量の差異を計算し、前記スキップ判定実行有無決定ステップにおいては、複数の前記参照候補ブロックのうち、前記ブロック特徴比較ステップにおいて計算された前記特徴量の差異が当該特徴量について定められた条件を満たす参照候補ブロックを参照ブロックとする、ことを特徴とする。

また本発明の一態様は、上述する予測モード決定方法であって、前記ブロック特徴比較ステップにおいては、当該符号化対象ブロックに隣接し、かつ、スキップモードで符号化されているブロックのうち、所定のサイズより大きなブロックを参照候補ブロックとする、ことを特徴とする。

また本発明の一態様は、ブロック単位で予測モードを決定して動画像の画像データを符号化する動画像符号化装置であって、１つ以上の特徴量について、前記画像データにおける符号化対象ブロックと、当該符号化対象ブロックに隣接し、かつ、スキップモードで符号化されている参照候補ブロックとの前記特徴量の差異を計算し、計算された前記特徴量の差異が、当該特徴量について定められた条件を満たすか否かを判定するブロック特徴比較部と、前記ブロック特徴比較部において前記特徴量の差異が当該特徴量について定められた前記条件を満たすと判定された場合に前記参照候補ブロックを参照ブロックとし、前記参照ブロックにおけるスキップモードのコストから求められる閾値と、前記符号化対象ブロックをスキップモードとした場合のコストとを比較して前記符号化対象ブロックの予測モードをスキップモードとするか否かを判定するコスト比較部と、を備えることを特徴とする動画像符号化装置である。

また本発明の一態様は、動画像符号化装置として用いられるコンピュータに、上述する予測モード決定方法の各ステップを実行させるための予測モード決定プログラムである。

本発明により、ピクチャ内の符号化対象ブロックをスキップモードにより符号化するか否かを符号化効率が悪化しないように決定し、符号化における演算量を低減することができる。

本発明の第１の実施形態による符号化装置の機能構成を示すブロック図である。 同実施形態による処理対象ＣＵに対する予測モード及び最適分割判定の処理フローを示す図である。 同実施形態による下位ＣＵにおける最適分割を統合した処理対象ＣＵ分割の例を示す図である。 同実施形態によるスキップ判定部の詳細な機能構成を示すブロック図である。 同実施形態によるスキップ判定の処理フローを示す図である。 第２の実施形態によるスキップ判定の処理フローを示す図である。 第３の実施形態による処理対象ＣＵに対する予測モード及び最適分割判定の処理フローを示す図である。 同実施形態による左もしくは上に処理対象ＣＵと異なるサイズの最適スキップＣＵが存在する状況の例を示す図である。 従来技術によるＣＵサイズのバリエーションを示す図である。 従来技術によるＬＣＵのＣＵ分割例を示す図である。 従来技術によるスキップ判定において参照されるブロックを示す図である。 従来技術によるスキップ判定が適用可能なブロックを示す図である。 他の従来技術によるスキップ判定が適用可能なブロックを示す図である。 他の従来技術による被写体境界におけるスキップ判定の例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
本発明の一実施形態による予測モード決定方法では、動画像の画像データであるピクチャをブロック単位で符号化する動画像符号化方式において符号化対象ブロックの予測モードを決定する際に、符号化対象ブロックのスキップ判定に先立って、最適スキップブロックと符号化対象ブロックとの特徴の比較を行う。そして、スキップ判定を行っても符号化効率の悪化が生じないと推定される場合に限り、当該最適スキップブロックを参照ブロックとして用い、スキップ判定を行う。なお、最適スキップブロックとは、スキップモードとして符号化されているものの、スキップ判定ではスキップモードと判定されていないブロックである。

最適スキップブロックと符号化対象ブロックとの特徴の比較は、複数の評価方法により行うことが考えられ、本実施形態では、全ての評価方法で所定の条件が満たされた場合に限り、最適スキップブロックを参照候補ブロックから参照ブロックとし、スキップ判定を行う。評価方法の一例としては、最適スキップブロック（参照ブロック）の動きベクトルと符号化対象ブロックの動きベクトルとの比較がある。これらの動きベクトルの距離が所定の閾値より小さい場合、これらの２つのブロックは同じ被写体に属すと推定できるため、スキップ判定を行っても符号化効率の悪化はないと推定できる。

また、評価方法の別の例としては、最適スキップブロック（参照ブロック）の複雑さ指標値と符号化対象ブロックの複雑さ指標値とを比較し、符号化対象ブロックの複雑さが上回る場合にスキップ判定をするというものが考えられる。複雑さ指標値は、それぞれのブロックの原画像に関するアクティビティを利用できる。一般的に、複雑なブロックほど予測において予測残差エネルギーが大きくなる傾向がある。そのため、符号化対象ブロックの複雑さが最適スキップブロックを上回るにも関わらず、符号化対象ブロックをスキップモードで符号化した場合のコストがスキップ判定閾値を下回るということは、符号化対象ブロックをスキップモードで符号化しても符号化効率の悪化はないと考えられる。

以下では、ＨＥＶＣ（High Efficiency Video Coding）に準拠したビットストリームを出力する符号化装置（動画像符号化装置）に本発明を適用した場合の実施形態を示す。ＣＵ（Coding Unit）サイズとしては、ＬＣＵ（Largest Coding Unit）を６４ｘ６４画素をとし、最小ＣＵサイズを８ｘ８画素とした４階層のＣＵサイズのバリエーションを利用できるものとする。なお、実施形態の説明を簡単にするため、ＣＵをより小さいブロックに分割したＰＵ（Prediction Unit）は利用しないものとする。

［第１の実施形態］
図１は、本実施形態による符号化装置１の構成を示す機能ブロック図である。同図に示すように、符号化装置１は、スキップ判定部１１、ブロック分割決定部１２、インター予測部１３、イントラ予測部１４、切替部１５、変換部１６、量子化部１７、エントロピー符号化部１８、逆量子化部１９、逆変換部２０、ループフィルタ部２１、及び参照画像メモリ２２を備えて構成される。符号化装置１には、動画像の符号化対象ピクチャにおける、符号化対象ＬＣＵが入力される。一方で、当該ＬＣＵに対応した符号化ストリームが符号化装置１の出力となる。これが符号化対象ピクチャ内の各ＬＣＵについてラスタスキャン順に繰り返し実行されることで、符号化対象ピクチャが符号化される。

ＨＥＶＣにおいては、ＬＣＵをＣＵに分割し、各ＣＵにおいてイントラ予測もしくはインター予測を行って、その差分を符号化する。そこで、ブロック分割決定部１２は、符号化装置１に入力された符号化対象ＬＣＵのＣＵ分割を行い、さらに各々のＣＵがイントラ予測とインター予測のいずれを用いるかを判定する。インター予測部１３は、ブロック分割決定部１２の指示に従い、インター予測によりＣＵの予測画像を生成する。イントラ予測部１４は、ブロック分割決定部１２の指示に従い、イントラ予測によってＣＵの予測画像を生成する。切替部１５は、ブロック分割決定部１２の決定に従って、インター予測部１３により生成されたＣＵの予測画像と、イントラ予測部１４により生成されたＣＵの予測画像との出力を切り替え、符号化対象ＬＣＵの予測画像を出力する。符号化装置１に入力された符号化対象ＬＣＵの画像と、切替部１５から出力された符号化対象ＬＣＵのイントラ予測またはインター予測の予測画像との差分画像が計算されると、差分画像が変換部１６に入力される。

変換部１６は、入力された差分画像を変換係数に変換し、量子化部１７は、変換部１６により変換された変換係数を量子化する。エントロピー符号化部１８は、量子化部１７において得られた量子化値をエントロピー符号化し、符号化ストリームとして符号化装置１から出力する。一方で、逆量子化部１９は、量子化部１７において得られた変換係数の量子化値を逆量子化する。逆変換部２０は、逆量子化部１９において逆量子化された結果を逆変換する。ループフィルタ部２１は、逆変換部２０において逆変換により得られた画像と、切替部１５から出力された符号化対象ＬＣＵのイントラ予測またはインター予測の予測画像との和にループフィルタを適用する。参照画像メモリ２２は、ループフィルタ部２１によりループフィルタが適用された画像を格納する。なお、このように作成された画像は、ＨＥＶＣに準拠した復号器で得られる復号画像と同等であり、参照画像メモリ２２内の画像は、インター予測部１３における後の符号化対象ＬＣＵのインター予測の参照画像として利用される。また、逆変換部２０により逆変換された画像と、切替部１５から出力されたイントラ予測またはインター予測のＬＣＵの予測画像との和は、イントラ予測部１４における後の符号化対象ＬＣＵのイントラ予測の参照画像として利用される。

スキップ判定部１１は、符号化対象ブロックにおける動き探索を行う前に、当該ブロックをスキップモードで符号化するか否かを判定するスキップ判定を行う。なお、本実施形態では、スキップ判定はＬＣＵでのみ実施し、スキップ判定によって当該ＬＣＵがスキップモードで符号化されると判定された場合、より小さいＣＵに関する処理（各ＣＵサイズにおけるイントラ／インター予測、ＣＵ分割の比較による最適ＣＵ分割の決定）は行わないものとし、これにより大幅な演算量削減を実現する。このフローを図２に示す。

図２は、処理対象ＣＵに対する予測モード及び最適分割判定の処理フローを示す図である。本実施形態では、スキップ判定によりＬＣＵがスキップモードとして符号化すると判定されなかった場合、ブロック分割決定部１２は、当該ＬＣＵを再帰的に４分割した全てのＣＵについてＲＤコストを求めて最適なＣＵ分割を決定する。ＲＤコストは以下の式（１）で与えられる。

ＲＤコスト＝Ｄ＋λＲ …（１）

ここで、ＤとＲはそれぞれ、処理対象ＣＵについてある予測モード（スキップモード、イントラ予測等）を適用したときの符号化歪と発生符号量である。符号化歪は、処理対象ＣＵの各画素に関する原画像と復号画像の二乗誤差の総和とする。λは、ラグランジュの未定乗数である。同図に示す処理フローは、処理対象のＣＵにおけるフローを示したものであり、ブロック分割決定部１２は、処理対象ＣＵを４つに分割したＣＵ（下位ＣＵ）を処理対象として、さらに本フローを再帰的に呼び出す形になっている。すなわち、ＬＣＵについて本フローを実行することで、全てのＣＵサイズに処理が行われ、最適なＣＵ分割が決定される。本フローを用いて、スキップ判定部１１、ブロック分割決定部１２、インター予測部１３、イントラ予測部１４の動作を説明する。

まず、ステップＳ１０１において、スキップ判定部１１は、処理対象ＣＵがＬＣＵであるか否かを判定する。スキップ判定部１１は、処理対象ＣＵがＬＣＵであると判定した場合（ステップＳ１０１：ＹＥＳ）、ステップＳ１０２の処理に移り、その処理対象ＣＵ、つまり、符号化対象ＬＣＵの上もしくは左に隣接するＬＣＵが最適スキップブロックであるか否かをチェックする。最適スキップブロックは、後述するステップＳ１０３におけるスキップ判定を行わずにスキップモードで符号化すると判定されていたブロック、すなわち、ステップＳ１０５以降のフローにより、他の予測モードとの比較の結果、スキップモードとなったブロックである。符号化対象ＬＣＵの上に隣接するＬＣＵ及び左に隣接するＬＣＵとも最適スキップブロックではないとスキップ判定部１１が判定した場合（ステップＳ１０２：ＮＯ）、符号化装置１は後述するステップＳ１０５以降の処理を行う。符号化対象ＬＣＵに隣接する上もしくは左のＬＣＵが最適スキップブロックであるとスキップ判定部１１が判定した場合（ステップＳ１０２：ＹＥＳ）、符号化装置１はステップＳ１０３のスキップ判定の処理を行う。

ステップＳ１０３のスキップ判定の処理に移った場合、インター予測部１３は、処理対象ＬＣＵをスキップモードで符号化し、処理対象ＬＣＵをスキップモードで符号化した場合のＲＤコストを算出する。この際、インター予測部１３は、スキップモードによる符号化において生成されたmerge candidate listに含まれる各々の参照画像インデックスと動きベクトルの対を利用した場合についてＲＤコストを算出し、ＲＤコストが最小になる参照画像インデックスと動きベクトルをスキップモードの符号化において利用するものと決定する。インター予測部１３は、このように決定したスキップモードで利用する動きベクトル、及び参照画像インデックスと、対応するＲＤコストとをスキップ判定部１１に出力する。スキップ判定部１１は、これらのインター予測部１３からの入力に基づいてスキップ判定を行う。このスキップ判定部１１の動作の詳細は、後述する。

ステップＳ１０４において、符号化装置１は、スキップ判定部１１によるスキップ判定の結果による分岐を行う。符号化装置１は、符号化対象ＬＣＵをスキップモードで符号化すると判定されなかった場合は（ステップＳ１０４：ＮＯ）、ステップＳ１０５の処理に移り、スキップモードで符号化すると判定された場合は（ステップＳ１０４：ＹＥＳ）、ステップＳ１１３の処理に移る。
ステップＳ１１３に処理が移った場合、ブロック分割決定部１２は、符号化対象ＬＣＵの「最適分割」は、ＬＣＵをＣＵとすることであると決定し（つまり、分割しない）、本ＣＵに関する処理を完了する。ブロック分割決定部１２は、符号化対象ＬＣＵをスキップモードで符号化した予測画像を出力するようインター予測部１３に指示し、切替部１５をインター予測部１３側に切替える。

次にステップＳ１０５以降の処理の説明をする。ステップＳ１０５以降の処理は、スキップ判定が行われない場合、もしくはスキップ判定ではスキップモードで符号化すると判定されなかった場合の処理であり、本実施形態のスコープ外のため、様々な手法が考えられ、以下では一例を説明する。ステップＳ１０５において、インター予測部１３は、ブロック分割決定部１２の指示により、インター予測の各予測モードで処理対象ＣＵの予測画像を生成し、各予測モードのＲＤコストを算出する。ここで、インター予測の各予測モードとは、スキップモード、動きベクトルと予測残差を符号化する通常インターモードとする。通常インターモードについては動き探索も行う。ステップＳ１０６において、イントラ予測部１４は、ブロック分割決定部１２の指示により、イントラ予測で処理対象ＣＵの予測画像を生成し、イントラ予測のＲＤコストを算出する。ステップＳ１０７において、ステップＳ１０５およびステップＳ１０６で求められた全ての予測モードのＲＤコストがブロック分割決定部１２に入力され、これらのＲＤコストが比較される。ブロック分割決定部１２は、ＲＤコストが最小になる予測モードを処理対象ＣＵの最適予測モードと決定する。

ステップＳ１０８において、ブロック分割決定部１２は、処理対象ＣＵが最小ＣＵサイズ（８ｘ８画素）であるか否かを判定する。もし、最小ＣＵサイズであればそれ以上の分割はできない。そのため、ブロック分割決定部１２は、処理対象ＣＵが最小ＣＵサイズであると判定した場合（ステップＳ１０８：ＹＥＳ）、ステップＳ１１３の処理を行い、処理対象ＣＵをそれ以上小さいＣＵに分割しないことを「最適分割」として設定するとともに、そのＲＤコストを保存し、本ＣＵに関する処理を完了する。
処理対象ＣＵが最小ＣＵサイズでないと判定した場合（ステップＳ１０８：ＮＯ）、ステップＳ１０９の処理において、ブロック分割決定部１２は、処理対象ＣＵを４つに分割したＣＵ（下位ＣＵ）を処理対象として本フロー（図２のフロー全体）を呼び出す。このとき、４つの下位ＣＵは左上、右上、左下、右下の順に呼び出される。なお、これはシーケンシャルに行われ、左上の下位ＣＵのフローが完了した後に右上の下位ＣＵのフローが呼び出される（あるＣＵを符号化するために必要な左／上／左上のＣＵの処理を完了させるためである）。そして、４つの下位ＣＵにおける本フローが完了した後、ブロック分割決定部１２は、ステップＳ１１０の処理に移る。

ステップＳ１１０において、ブロック分割決定部１２は、ステップＳ１０７で求められた処理対象ＣＵの最適予測モードのＲＤコストと、４つの下位ＣＵのフローにおいて求められた最適分割に対応するＲＤコストの総和を比較する。なお、下位ＣＵの最適分割に対応するＲＤコストは、当該下位ＣＵを処理対象として再帰的に実行された当該フローにおけるステップＳ１１２もしくはステップＳ１１３の処理で保存されているものであることに注意する。ステップＳ１１１において、ブロック分割決定部１２は、比較結果により分岐を行う。処理対象ＣＵの最適予測モードのＲＤコストのほうが小さかった場合（ステップＳ１１１：ＹＥＳ）、ブロック分割決定部１２はステップＳ１１３の処理に移り、処理対象ＣＵをそれ以上小さいＣＵに分割しないことを最適分割として設定し、処理対象ＣＵの最適予測モードのＲＤコストを最適分割に対応するＲＤコストとして保存する。それ以外の場合（ステップＳ１１１：ＮＯ）、ブロック分割決定部１２はステップＳ１１２の処理に移り、４つの下位ＣＵにおける最適分割を統合した分割（後述する図３に例を示す）を、処理対象ＣＵにおける最適分割とするとともに、対応するＲＤコスト（４つの下位ＣＵにおける最適分割のＲＤコストの総和）を保存する。
ブロック分割決定部１２は、最適分割のＣＵ毎に、最適予測モードの予測画像の出力をインター予測部１３、イントラ予測部１４に指示するともに、切替部１５を最適予測モードに基づいて切替える。

図３は、４つの下位ＣＵにおける最適分割を統合した処理対象ＣＵ分割の例を示す図である。同図に示す例では、処理対象ＣＵを構成する下位ＣＵ１、下位ＣＵ４については、さらに小さいＣＵへの分割が最適分割であり、下位ＣＵ２、下位ＣＵ３については当該下位ＣＵが最適分割であると判断されている。処理対象ＣＵの最適分割は、これらの下位ＣＵ１〜ＣＵ４の最適分割を統合したものとなる。

次に、図１に示す符号化装置１におけるスキップ判定部１１の構成の詳細、及び図２に示す処理フローにおけるステップＳ１０３のスキップ判定処理の詳細について説明する。
図４は、スキップ判定部１１の詳細な機能構成を示すブロック図である。同図に示すようにスキップ判定部１１は、ブロック特徴比較部１１１、及びコスト比較部１１２を備えて構成される。ブロック特徴比較部１１１は、符号化対象ＬＣＵ（入力画像）の特徴量と、符号化対象ＬＣＵに隣接する上または左の最適スキップブロックの特徴量を比較して、符号化対象ＬＣＵについてスキップ判定を行うか否かを判定する。コスト比較部１１２は、ブロック特徴比較部１１１がスキップ判定を行うと判定した場合、符号化対象ＬＣＵをスキップモードで符号化した場合のＲＤコストと閾値とを比較し、スキップモードで符号化するか否かのスキップ判定を行う。

図５は、図２に示す処理フローにおけるステップＳ１０３のスキップ判定処理の詳細な処理フローを示す図である。同図に示すスキップ判定の処理フローに従って、図４に示すスキップ判定部１１のブロック特徴比較部１１１、及びコスト比較部１１２の処理を説明する。なお、このスキップ判定処理を行う場合には、符号化対象ＬＣＵに隣接する上または左のＬＣＵが最適スキップブロック（以下、「最適スキップＬＣＵ」と記載する。）となっている。

ステップＳ２０１において、ブロック特徴比較部１１１は、符号化対象ＬＣＵの特徴量と最適スキップＬＣＵの特徴量を計算する。そして、ステップＳ２０２において、ブロック特徴比較部１１１は、符号化対象ＬＣＵの特徴量と最適スキップＬＣＵの特徴量を比較して、符号化対象ＬＣＵについてスキップ判定を行うか否かを判定する。なお、符号化対象ＬＣＵの上および左の両ＬＣＵとも最適スキップＬＣＵであった場合、ここでは左の最適スキップＬＣＵの特徴量と比較する。上および左の両ＬＣＵとも最適スキップＬＣＵであった場合の処理のバリエーションについては後述する第２の実施形態において説明する。本実施形態では、アクティビティを用いた比較、動きベクトルを用いた比較といった２つの特徴量による比較を行い、それぞれにおいて所定の条件（スキップ判定実行サブ条件）を満たした場合に、「スキップ判定実行条件」を満たしたと判断してステップＳ２０４以降のスキップ判定処理を行う。なお、本実施形態においては２つの特徴量を比較しているが、比較する特徴量は１つでもよく、あるいは２つ以上の任意の数の特徴量の比較を行っても良い。本実施形態では、以下に示す２つの特徴による（比較１）、及び（比較２）を行う。

（比較１）アクティビティを用いた比較（スキップ判定実行サブ条件１を満たすか否かの判定）：
アクティビティは対象ブロックのテクスチャの複雑さを示す指標である。具体的には、対象ブロックを複数のサブブロックに分割し、各サブブロックに関する原画像の画素値の分散を求める。そして、対象ブロックにおけるサブブロックの分散の平均／最小値、最大値のいずれかをアクティビティとする。対象ブロックそのものをサブブロックと考えた場合（すなわち対象ブロックは１つのサブブロックで構成される場合）、対象ブロックの分散そのものがアクティビティになる。本実施形態においては、例えば、ＬＣＵを４つのサブブロックに均等分割したときの、それぞれのサブブロックの分散の平均値をアクティビティとできる。そこで、ステップＳ２０１において、ブロック特徴比較部１１１は、入力された符号化対象ＬＣＵおよび参照画像メモリ２２に記憶されている最適スキップＬＣＵの原画像を利用し、上記のような方法で符号化対象ＬＣＵのアクティビティＡＣＴ＿ｅｎｃおよび最適スキップＬＣＵのアクティビティＡＣＴ＿ｒｅｆを求める。ブロック特徴比較部１１１は、以下の式（２）に示す条件を満たした場合、スキップ判定実行サブ条件１を満たすと判定する。

ＡＣＴ＿ｅｎｃ＞ＡＣＴ＿ｒｅｆ …（２）

（比較２）動きベクトルを用いた比較（スキップ判定実行サブ条件２を満たすか否かの判定）：
スキップ判定実行サブ条件２では、符号化対象ＬＣＵの動きベクトルと最適スキップＬＣＵの動きベクトルを比較する。ただし、それぞれの動きベクトルが参照する参照画像が同一であるか否か（参照画像インデックスが同一であるか否か）もチェックする。このチェックもブロック特徴比較部１１１において行われ、インター予測部１３から入力される動きベクトルと参照画像インデックスを利用する。利用する動きベクトルおよび参照画像インデックスとしては、それぞれのＬＣＵにおいて、スキップモードでの符号化に用いる動きベクトルおよび参照画像インデックスを利用することが考えられる。あるいは、最適スキップＬＣＵについては、スキップモード以外の予測モードにおける動きベクトルおよび参照画像インデックスを利用することも考えられる。すなわち、ＬＣＵにおける動きを表すものであれば、どのように求めた動きベクトル、参照画像インデックスでも良い。ここで、符号化対象ＬＣＵの動きベクトル、参照画像インデックスをそれぞれ、ＭＶ＿ｅｎｃ、ＲＥＦＩＤＸ＿ｅｎｃとし、参照画像メモリ２２に記憶されている最適スキップＬＣＵの動きベクトル、参照画像インデックスをそれぞれ、ＭＶ＿ｒｅｆ、ＲＥＦＩＤＸ＿ｒｅｆとする。これらはそれぞれ、ｘ成分とｙ成分を要素とする２次元ベクトルである。動きベクトルの比較としては、ＭＶ＿ｅｎｃとＭＶ＿ｒｅｆが同一ベクトルであるか否かの比較や、ＭＶ＿ｅｎｃとＭＶ＿ｒｅｆの間のユークリッド距離による判定などによる動きベクトルの一致度合いの判定が考えられる。本実施形態ではユークリッド距離を利用し、以下の２つの条件１及び条件２が満たされた場合、ブロック特徴比較部１１１は、スキップ判定実行サブ条件２を満たすと判断する。

（条件１）：ＲＥＦＩＤＸ＿ｅｎｃとＲＥＦＩＤＸ＿ｒｅｆは等しい。
（条件２）：ＭＶ＿ｅｎｃとＭＶ＿ｒｅｆの間のユークリッド距離は所定の閾値以下である。

ステップＳ２０２において、ブロック特徴比較部１１１は、スキップ判定実行条件を満たすか否かの判定により条件分岐する。上記のスキップ判定実行サブ条件１、２のいずれかまたは両方が満たされない場合（ステップＳ２０２：ＮＯ）、ブロック特徴比較部１１１は、スキップ判定実行条件が満たされないため、ステップＳ２０３の処理に移り、スキップ判定を行わないことを示すスキップ判定有無情報をコスト比較部１１２に通知する。コスト比較部１１２は、スキップ判定有無情報がスキップ判定を行わないことを示しているため、符号化対象ＬＣＵをスキップモードで符号化すると判定しないことをスキップ判定情報としてブロック分割決定部１２に通知し、当該フローを完了する。一方で、スキップ判定実行サブ条件１、２の両方が満たされた場合（ステップＳ２０２：ＹＥＳ）、ブロック特徴比較部１１１は、スキップ判定実行条件が満たされたと判断し、スキップ判定を行うことを示すスキップ判定有無情報をコスト比較部１１２に通知する。コスト比較部１１２は、スキップ判定有無情報がスキップ判定を行うことを示している場合、ステップＳ２０４の処理に移り、スキップ判定を行う。

ステップＳ２０４において、まず、コスト比較部１１２は、スキップ判定閾値を設定する。スキップ判定閾値は前述のように特徴量の比較を行った、符号化対象ＬＣＵに隣接する上もしくは左のＬＣＵをスキップモードで符号化した際のＲＤコストに係数を乗じたものとする。つまり、当該ＲＤコストをＲＤ＿ｒｅｆとし、係数をｓｃａｌｅとすると、スキップ判定閾値は、以下の式（３）となる。

スキップ判定閾値＝ＲＤ＿ｒｅｆ×ｓｃａｌｅ …（３）

ステップＳ２０４において、コスト比較部１１２は、符号化対象ＬＣＵをスキップモードで符号化した場合のＲＤコストとスキップ判定閾値とを比較する。ステップＳ２０５において、コスト比較部１１２は、ＲＤコストがスキップ判定閾値を下回ると判断した場合には（ステップＳ２０５：ＹＥＳ）、ステップＳ２０６の処理に移る。ステップＳ２０６において、コスト比較部１１２は、符号化対象ＬＣＵをスキップモードで符号化すると判定し、判定結果をスキップ判定情報としてブロック分割決定部１２に通知して当該フローを完了する。一方、コスト比較部１１２は、ＲＤコストがスキップ判定閾値以上であると判断した場合には（ステップＳ２０５：ＮＯ）、ステップＳ２０３の処理に移る。ステップＳ２０３において、コスト比較部１１２は、符号化対象ＬＣＵをスキップモードで符号化すると判定しないことをスキップ判定情報としてブロック分割決定部１２に通知し、当該フローを完了する。

［第２の実施形態］
上述した第１の実施形態では、図２のフローのステップＳ１０２において、符号化対象ＬＣＵに隣接する上、左の両方のＬＣＵが最適スキップＬＣＵであったときに、ステップＳ１０３においては無条件に左のＬＣＵを参照してスキップ判定を行っていた。本実施形態では、隣接する上、及び左の両方のＬＣＵが最適スキップＬＣＵであったときの別の実施形態を示す。また、本実施形態は、参照するブロックが隣接する上、左のブロックだけでなく、隣接する左上のブロックを含むなど、複数ブロックを参照する場合に容易に応用できる。以下、第１の実施形態との差分を中心に説明する。

図６は、本実施形態によるスキップ判定の処理フロー示す。本実施形態では、図５に示す第１の実施形態によるスキップ判定の処理フローが示す処理に代えて、同図に示す処理フローが示す処理を行う。同図に示すフローを用いて、本実施形態について説明する。
ステップＳ３０１において、ブロック特徴比較部１１１は、符号化対象ＬＣＵの特徴量と隣接する上、及び左の最適スキップＬＣＵの特徴量とを比較して、符号化対象ＬＣＵについてスキップ判定を行うか否かを判定する。本実施形態で用いる特徴量とスキップ判定実行サブ条件は、第１の実施形態と同様とする。すなわち、ブロック特徴比較部１１１は、符号化対象ＬＣＵと隣接する左の最適スキップＬＣＵについて、アクティビティの差異を評価して対応するスキップ判定実行サブ条件を満たすか否かを判定するとともに、動きベクトルおよび参照画像インデックスの差異を評価して対応するスキップ判定実行サブ条件を満たすか否かを判定する。さらに、ブロック特徴比較部１１１は、同様の判定を、符号化対象ＬＣＵと隣接する上の最適スキップＬＣＵについても同様に行う。そして、ステップＳ３０２において、ブロック特徴比較部１１１は、上と左のそれぞれの最適スキップＬＣＵについてスキップ判定実行条件を満たすか否かを判定する。

スキップ判定実行条件を満たす最適ＬＣＵブロックが存在しない場合（ステップＳ３０２：ＮＯ）、ブロック特徴比較部１１１は、ステップＳ３０３の処理に移る。ステップＳ３０３において、ブロック特徴比較部１１１は、スキップ判定を行わないことを示すスキップ判定有無情報をコスト比較部１１２に通知する。コスト比較部１１２は、スキップ判定有無情報がスキップ判定を行わないことを示しているため、符号化対象ＬＣＵをスキップモードで符号化すると判定しないことをスキップ判定情報としてブロック分割決定部１２に通知し、当該フローを完了する。

一方で、上の最適スキップＬＣＵと左の最適スキップＬＣＵのいずれかまたは両方がスキップ判定実行条件を満たす場合（ステップＳ３０２：ＹＥＳ）、ブロック特徴比較部１１１は、スキップ判定を行うことを示すスキップ判定有無情報と、スキップ判定実行条件を満たす最適スキップＬＣＵをコスト比較部１１２に通知する。コスト比較部１１２は、スキップ判定有無情報がスキップ判定を行うことを示している場合、ステップＳ３０４の処理に移る。

ステップＳ３０４において、コスト比較部１１２は、スキップ判定実行条件を満たす最適スキップＬＣＵが１つであるか否かを判定する。ブロック特徴比較部１１１が、スキップ判定実行条件を満たす最適スキップＬＣＵは１つであると判定した場合（ステップＳ３０４：ＹＥＳ）、ステップＳ３０５の処理に移る。ステップＳ３０５において、コスト比較部１１２は、スキップ判定実行条件を満たす最適スキップＬＣＵを参照ＬＣＵとして、スキップ判定閾値を算出する。この処理は第１の実施形態と同様であるため、説明は省略する。スキップ判定閾値の算出後、コスト比較部１１２はステップＳ３０７の処理に移る。

一方で、ブロック特徴比較部１１１が、スキップ判定実行条件を満たす最適スキップＬＣＵが複数ある（本実施形態の場合、上および左の両方の最適スキップＬＣＵ）と判定した場合（ステップＳ３０４：ＮＯ）、ステップＳ３０６の処理に移る。ステップＳ３０６において、コスト比較部１１２は、最適スキップＬＣＵのスキップモードＲＤコストに基づく統計量からスキップ判定閾値を算出する。具体的な統計量としては、スキップ判定実行条件を満たす最適スキップＬＣＵのスキップモードのＲＤコストの平均値、中央値、最小値などが考えられる。例えば、最小値ＲＤ＿ｍｉｎを利用する場合、スキップ判定閾値は以下の式（４）で与えられる。

スキップ判定閾値＝ＲＤ＿ｍｉｎ×ｓｃａｌｅ …（４）

スキップ判定閾値の算出後、コスト比較部１１２はステップＳ３０７の処理に移る。ステップＳ３０７以降の処理は、図５のステップＳ２０４においてスキップ判定閾値を設定した以降の処理と同様である。
すなわち、ステップＳ３０７において、コスト比較部１１２は、符号化対象ＬＣＵをスキップモードで符号化した場合のＲＤコストと、ステップＳ３０５またはステップＳ３０６において算出したスキップ判定閾値を比較する。ステップＳ３０８において、ＲＤコストが下回ると判定した場合、コスト比較部１１２は、ステップＳ３０９の処理に移る。コスト比較部１１２は、符号化対象ＬＣＵをスキップモードで符号化すると判定し、判定結果をスキップ判定情報としてブロック分割決定部１２に通知する。一方、ステップＳ３０８において、ＲＤコストがスキップ判定閾値以上であると判断した場合、コスト比較部１１２は、ステップＳ３０３の処理に移る。コスト比較部１１２は、符号化対象ＬＣＵをスキップモードで符号化すると判定しないことをスキップ判定情報としてブロック分割決定部１２に通知する。

［第３の実施形態］
ＨＥＶＣにおいては、各ＣＵサイズにおいてスキップモードで符号化することができる。第１及び第２の実施形態ではＬＣＵについてのみスキップ判定を行っていた。また、これらの実施形態では、参照する最適スキップブロックをＬＣＵのみとした。本実施形態では、各ＣＵサイズにおいてスキップ判定を行うとともに、参照する最適スキップブロックのサイズも様々なサイズを許容する。以下、第１及び第２の実施形態との差分を中心に説明する。

第１及び第２の実施形態における処理対象ＣＵに対する予測モード及び最適分割判定の処理フローは、図２の通りであるが、本実施形態においては、各ＣＵサイズについてスキップ判定を実行する場合があるため、若干フローが異なる。
図７は、本実施形態による処理対象ＣＵに対する予測モード及び最適分割判定の処理フローを示す図である。同図に示す処理フローが図２に示す第１の実施形態の処理フローと異なる点は、処理対象ＣＵのサイズに関わらず、図７に示すステップＳ４０１において、処理対象ＣＵに隣接する左もしくは上に最適スキップブロックが存在するか否かを判定している点である。ここで、最適スキップブロックはＣＵであり（以下、「最適スキップＣＵ」と記載する。）、ＣＵサイズは任意である。

図８は、左もしくは上に処理対象ＣＵと異なるサイズの最適スキップＣＵが存在する状況の１例を示す。同図に示す例では、１６ｘ１６画素の処理対象ＣＵの左に隣接し、当該処理対象ＣＵよりも下位階層の８ｘ８画素のＣＵが最適スキップＣＵである。

図７のステップＳ４０１において、隣接する左もしくは上に最適スキップＣＵが存在すると判定された場合は（ステップＳ４０１：ＹＥＳ）、後述するステップＳ４０２の処理に移り、スキップ判定が行われる。一方で、隣接する左もしくは上に最適スキップＣＵが存在しないと判定された場合は（ステップＳ４０１：ＮＯ）、ステップＳ４０４以降の処理に移る。ステップＳ４０４以降のフローは、図２に示すステップＳ１０５以降のフローと同じであるため、説明を省略する。

ステップＳ４０２のスキップ判定において、スキップ判定部１１は、ＬＣＵをＣＵと読み替え、以下の点を除いて、図６に示す第２の実施形態のスキップ判定の処理フローを実行する。
ステップＳ３０１において、ブロック特徴比較部１１１は、符号化対象ＣＵと最適スキップＣＵの特徴量の比較を行うが、それぞれのＣＵサイズが異なり、かつ、特徴量の値の大きさがＣＵサイズに依存して変わるようなものを利用する場合、特徴量について正規化等（サイズに依存しない値へのスケーリング）を行ってから比較する。また、ステップＳ３０５およびステップＳ３０６においても、ＲＤコストの正規化が必要である。ＲＤコストの場合、符号化歪Ｄのみの正規化が必要である。従い、コスト比較部１１２は、あるＣＵの正規化されたＲＤコストＲＤ＿ｓを算出するにあたり、当該ＣＵの画素数ｐｎｕｍ＿ＣＵを利用して、符号化歪Ｄを以下の式（５）のようにスケーリングし、正規化した符号化歪Ｄ＿ｓを算出する。

Ｄ＿ｓ＝Ｄ／ｐｎｕｍ＿ＣＵ …（５）

そして正規化されたＲＤコストＲＤ＿ｓは、次式（６）で与えられる。

ＲＤ＿ｓ＝Ｒ＋Ｄ＿ｓ …（６）

図７のステップＳ４０２におけるスキップ判定後のステップＳ４０３以降の処理は、図２に示すステップＳ１０４以降の処理と同様である。つまり、符号化装置１は、符号化対象ＣＵをスキップモードで符号化すると判定されなかった場合は（ステップＳ４０３：ＮＯ）、ステップＳ４０４の処理に移り、スキップモードで符号化すると判定された場合は（ステップＳ４０３：ＹＥＳ）、ステップＳ４１２の処理に移る。ステップＳ４１２の処理は、図２に示すステップＳ１１３の処理と同様である。

なお、図７のステップＳ４０１においては、存在を判定する対象の最適スキップブロックを任意のサイズとしているものの、ＣＵサイズが所定サイズより大きい最適スキップＣＵが処理対象ＣＵに隣接する左もしくは上に存在するか否かを判定しても良い。例えば、この所定サイズを８ｘ８画素とした場合、図８に示した例では、８ｘ８画素よりも大きい最適スキップＣＵが処理対象ＣＵに隣接する左もしくは上に存在しないため、ＮＯと判定し、ステップＳ４０４の処理に移る。このようなサイズ制限を設ける理由は次の通りである。すなわち、小さいＣＵで符号化されている領域は、インター予測およびイントラ予測のいずれにおいても精度の高い予測が出来なかった可能性が高い。このような場合、スキップモードを含めた、あらゆる予測モードにおけるＲＤコストが著しく大きい。このようにＲＤコストが著しく大きいような最適スキップＣＵを参照しないようにするため、小さいサイズのＣＵを参照しないようにすることが有効である。

［その他のバリエーション］
以上説明した実施形態ではＲＤコストを利用してスキップ判定を行ったが、符号化歪ＤをＲＤコストに置き換えてスキップ判定を行っても、同様の効果を得ることができる。より一般的には、ＲＤコストや符号化歪のように、符号化効率を評価するためのコストであれば、同様の効果を得ることができる。
また、上述した実施形態では、図２のステップＳ１０２において、符号化対象ＬＣＵの上もしくは左に隣接するＬＣＵが最適スキップブロックであるか否かをチェックしているが、符号化対象ＬＣＵの上もしくは左に隣接するＬＣＵが、スキップモードで符号化されたブロックであるか否かを判定してもよい。つまり、符号化対象ＬＣＵの上もしくは左に隣接するＬＣＵが、ステップＳ１０３におけるスキップ判定でスキップモードと判定されていたブロック、または、ステップＳ１０５以降のフローにより、他の予測モードとの比較の結果、スキップモードと判定されていたブロックのいずれかであるか否かを判定する。同様に、図７のステップＳ４０１において、処理対象ＣＵに隣接する左もしくは上にスキップモードで符号化されたブロックが存在するか否かを判定するようにしてもよい。最適スキップブロックであるか否かを判定したほうがスキップ判定の信頼性はより高くなるものの、スキップ判定によりスキップモードと判定されたブロックも含めてスキップモードで符号化されたブロックであるか否かを判定する場合でも、従来技術と比較してスキップ判定の信頼性は向上する。

［効果］
本実施形態によれば、従来技術Ｂと異なり、スキップ判定に先立ち、参照ブロックと符号化対象ブロックの特徴の比較を行う。これにより、動き探索省略を可能とするスキップモードにより符号化するか否かのスキップ判定を行っても符号化効率の悪化が生じないと推定される場合に限り、符号化対象ブロックに対するスキップ判定を行う。このため、参照ブロックを一つとして演算量を削減しても、従来技術Ｂと比較して符号化効率の悪化を小さくすることができる。

上述した実施形態における符号化装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

ブロック単位で動画像のピクチャの符号化を行うエンコーダに利用可能である。

１…符号化装置， １１…スキップ判定部， １２…ブロック分割決定部， １３…インター予測部， １４…イントラ予測部， １５…切替部， １６…変換部， １７…量子化部， １８…エントロピー符号化部， １９…逆量子化部， ２０…逆変換部， ２１…ループフィルタ部， ２２…参照画像メモリ， １１１…ブロック特徴比較部， １１２…コスト比較部

Claims (7)

1. ブロック単位で予測モードを決定して動画像の画像データを符号化する動画像符号化装置が実行する予測モード決定方法であって、
   １つ以上の特徴量について、前記画像データにおける符号化対象ブロックと、当該符号化対象ブロックに隣接し、かつ、スキップモードで符号化されている参照候補ブロックとの前記特徴量の差異を計算するブロック特徴比較ステップと、
   前記ブロック特徴比較ステップにおいて計算された前記特徴量の差異が、当該特徴量について定められた条件を満たすか否かを判定するスキップ判定実行有無決定ステップと、
   前記スキップ判定実行有無決定ステップにおいて前記特徴量の差異が当該特徴量について定められた前記条件を満たすと判定された場合に前記参照候補ブロックを参照ブロックとし、前記参照ブロックにおけるスキップモードのコストから求められる閾値と、前記符号化対象ブロックをスキップモードとした場合のコストとを比較して前記符号化対象ブロックの予測モードをスキップモードとするか否かを判定するスキップ判定ステップと、
   を有することを特徴とする予測モード決定方法。
2. 前記ブロック特徴比較ステップにおいては、前記特徴量の差異の計算に、前記参照候補ブロックと前記符号化対象ブロックとの動きベクトルの一致度合いの計算を含み、
   前記スキップ判定実行有無決定ステップにおいては、前記参照候補ブロックと前記符号化対象ブロックとの動きベクトルの一致度合いが所定以内である場合に、動きベクトルについて定められた前記条件を満たすと判定する、
   ことを特徴とする請求項１に記載の予測モード決定方法。
3. 前記ブロック特徴比較ステップにおいては、前記特徴量の差異の計算に、前記参照候補ブロックと前記符号化対象ブロックとの複雑さ指標値の大小の計算を含み、
   前記スキップ判定実行有無決定ステップにおいては、前記符号化対象ブロックの複雑さが前記参照候補ブロックの複雑さを上回る場合に、複雑さ指標値について定められた前記条件を満たすと判定する、
   ことを特徴とする請求項１に記載の予測モード決定方法。
4. 前記符号化対象ブロックに隣接し、かつ、スキップモードで符号化されている参照候補ブロックが複数存在する場合、
   前記ブロック特徴比較ステップにおいては、前記符号化対象ブロックと複数の前記参照候補ブロックそれぞれとの前記特徴量の差異を計算し、
   前記スキップ判定実行有無決定ステップにおいては、複数の前記参照候補ブロックのうち、前記ブロック特徴比較ステップにおいて計算された前記特徴量の差異が当該特徴量について定められた条件を満たす参照候補ブロックを参照ブロックとする、
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の予測モード決定方法。
5. 前記ブロック特徴比較ステップにおいては、当該符号化対象ブロックに隣接し、かつ、スキップモードで符号化されているブロックのうち、所定のサイズより大きなブロックを参照候補ブロックとする、
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の予測モード決定方法。
6. ブロック単位で予測モードを決定して動画像の画像データを符号化する動画像符号化装置であって、
   １つ以上の特徴量について、前記画像データにおける符号化対象ブロックと、当該符号化対象ブロックに隣接し、かつ、スキップモードで符号化されている参照候補ブロックとの前記特徴量の差異を計算し、計算された前記特徴量の差異が、当該特徴量について定められた条件を満たすか否かを判定するブロック特徴比較部と、
   前記ブロック特徴比較部において前記特徴量の差異が当該特徴量について定められた前記条件を満たすと判定された場合に前記参照候補ブロックを参照ブロックとし、前記参照ブロックにおけるスキップモードのコストから求められる閾値と、前記符号化対象ブロックをスキップモードとした場合のコストとを比較して前記符号化対象ブロックの予測モードをスキップモードとするか否かを判定するコスト比較部と、
   を備えることを特徴とする動画像符号化装置。
7. 動画像符号化装置として用いられるコンピュータに、
   請求項１から請求項５のいずれか１項に記載の予測モード決定方法の各ステップを実行させるための予測モード決定プログラム。

Images