JP2015026922A - 動画像符号化装置および動画像符号化方法 - Google Patents

Abstract

【課題】 動画像符号化処理における動きベクトル検出の演算処理量を低減する。【解決手段】 符号化対象である符号化画像と対比画像からそれぞれ特徴点とその特徴点の特徴量を抽出する特徴量抽出部１４０と、特徴点の特徴量に基づいて、符号化画像から抽出した特徴点と対比画像から抽出した特徴点とを対応付けて対応点ペアとし、対応点ペアとした特徴点のそれぞれの画像内における座標から得られる対応点差分ベクトルの距離が予め定められた類似ベクトル閾値以下である対応点ペアを求め、符号化画像を対応点差分ベクトルの距離が類似ベクトル閾値以下の対応点ペアの特徴点を含むブロックに分割して、その分割したブロックの動きベクトルを検出する動きベクトル検出部１５０と、検出した動きベクトルと参照画像に基づいて予測画像を生成する予測画像生成部１６０とを備えるようにしたものである。【選択図】 図１

Description

この発明は、動画像の符号化技術に関わるものである。

AVC/H.264、HEVC/H.265等の動画像符号化方式では、画像（フレーム）をブロックに分割してブロック単位に内容を他の画像とマッチングし、内容の違いの少ないブロックを検出してブロック毎の動きベクトルを求め、フレーム間の動きを補償する符号化方法が用いられている。
上述のような違いの少ないブロックを探索してブロック毎の動きベクトルを求めるブロックマッチング法の探索アルゴリズムとして、例えば全探索やUnsymmetric-Cross-Multi-Hexagon-Grid-Search(UMHEX)、あるいは非特許文献１に記載されているようなUMHEXのアルゴリズムを変更した方法等が提案されている。これらのブロックマッチング法では、参照するフレームのブロックをずらしながらそのブロックが符号化するフレームのブロックに適合するか否かを判定していく処理が行われる。

渡邉良亮、阿部公輝"H.264/AVCにおける高速高精度動き検出法" 電子情報通信学会技術研究報告 Vol.109 No.322、pp.65-70

従来の動画像符号化装置においては、動画像符号化方式において定められた複数のブロックサイズについて、上述のブロックマッチング法によって最適な動きベクトルとなるブロックを探索する処理を行うため、動きベクトルの検出に費やす演算処理量が大きく、動画像符号化処理における動きベクトル検出の処理時間が大きいという問題があった。
本発明は、上記のような課題を解決するためになされたもので、動画像符号化処理における動きベクトル検出の演算処理量を低減することを目的とする。

この発明の動画像符号化装置は、符号化対象である符号化画像と対比画像からそれぞれ特徴点とその特徴点の特徴量を抽出する特徴量抽出部と、特徴点の特徴量に基づいて、符号化画像から抽出した特徴点と対比画像から抽出した特徴点とを対応付けて対応点ペアとし、対応点ペアとした特徴点のそれぞれの画像内における座標から得られる対応点差分ベクトルの距離が予め定められた類似ベクトル閾値以下である対応点ペアを求め、符号化画像を対応点差分ベクトルの距離が類似ベクトル閾値以下の対応点ペアの特徴点を含むブロックに分割して、その分割したブロックの動きベクトルを検出する動きベクトル検出部と、検出した動きベクトルと参照画像に基づいて予測画像を生成する予測画像生成部と、を備えるようにしたものである。

この発明の動画像符号化方法は、特徴量抽出部が符号化対象の符号化画像と対比画像からそれぞれ特徴点とその特徴点の特徴量を抽出するステップと、動きベクトル検出部が特徴点の特徴量に基づいて、符号化画像から抽出した特徴点と対比画像から抽出した特徴点とを対応付けて対応点ペアとし、対応点ペアとした特徴点のそれぞれの画像内における座標から得られる対応点差分ベクトルの距離が予め定められた類似ベクトル閾値以下である対応点ペアを求め、符号化画像を対応点差分ベクトルの距離が類似ベクトル閾値以下の対応点ペアの特徴点を含むブロックに分割して、その分割したブロックの動きベクトルを検出するステップと、予測画像生成部が動きベクトルと参照画像に基づいて予測画像を生成するステップと、を備えるようにしたものである。

本発明によれば、動きベクトル検出処理に要する演算処理量を低減することができる。

この発明の実施の形態１の動画像符号化装置の構成図である。 この発明の実施の形態１の動画像符号化装置の画像符号化処理のフローチャートである。 この発明の実施の形態１の動画像符号化装置における特徴点抽出の一例を示す説明図である。 この発明の実施の形態１の動画像符号化装置における動きベクトル検出処理のフローチャートである 符号化画像および対比画像の特徴点の対応付けの一例を示す説明図である。 対応点差分ベクトルの一例を示す説明図である。 ブロックマッチングの対象とする符号化画像および参照画像の領域の例を示す図である。 代表点の選択の一例を示す説明図である。 小ブロックの集合の一例を示す説明図である。 小ブロックの集合に分けた分割領域の一例である。 分割領域のブロック分割の一例である。 この発明の実施の形態２の動画像符号化装置の構成図である。

以下、図を参照して本発明の実施の形態を説明する。なお、以下で参照する図面においては、同一もしくは相当する部分に同一の符号を付している。

実施の形態１．
図１は、この発明の実施の形態１に係る動画像符号化装置の構成図である。図１において、圧縮部１１０は、入力される符号化対象の動画像の各画像（以降符号化画像と称す）から後述の予測画像生成部１６０が生成する予測画像を減算して差分画像（予測残差）を生成し、この差分画像を圧縮して圧縮画像を生成する。伸長部１２０は、圧縮部１１０が生成した圧縮画像を伸長し、予測画像を加算して復号画像を生成する。復号画像蓄積部（フレームメモリ）１３０は伸長部１２０が生成した復号画像を蓄積し、蓄積した復号画像を参照画像および対比画像として出力する。

特徴量抽出部１４０は、符号化画像と対比画像（この実施の形態では後述の参照画像と同じ画像）からそれぞれ特徴点と特徴点の特徴量を抽出し、特徴点の各画像における座標（画像内座標）と特徴量を出力する。動きベクトル検出部１５０は、特徴量抽出部１４０が抽出した特徴量に基づいて符号化画像と対比画像の特徴点のペア（この特徴点のペアを対応点ペアと称する）を決定し、そして対応点ペアとした特徴点の各画像内座標の差分である対応点差分ベクトルを用いて符号化画像をブロックに分割して、このブロック毎に動きベクトルを検出する。
予測画像生成部１６０は、動きベクトル検出部１５０が検出した動きベクトルに基づいて復号画像蓄積部１３０が出力した参照画像に動き補償を行った予測画像を生成する。エントロピー符号化部１７０は、圧縮部１１０が出力した圧縮画像をエントロピー符号化してビットストリームを生成する。

圧縮部１１０は、図１に示すように例えば減算部１１１、変換部１１２により構成される。減算部１１１は、符号化画像から予測画像生成部１６０が出力した予測画像を減算して差分画像（予測残差）を生成する。変換部１１２は、減算部１１１が生成した差分画像を直交変換して直交変換係数を求め、直交変換係数を量子化して、圧縮画像を生成する。
伸長部１２０は、図１に示すように例えば逆変換部１２１と加算部１２２により構成される。逆変換部１２１は、圧縮部１１０が出力した圧縮画像を逆量子化して、直交変換係数を求め、直交変換係数を逆直交変換して差分画像を生成する。加算部１２２は、逆変換部が出力した差分画像に予測画像を加算して復号画像を生成する。

なお、予測画像生成部１６０は、上記のフレーム間の動き補償（インター予測）をした予測画像を生成するとともに、復号画像蓄積部１３０が蓄積した復号画像からイントラ予測による予測画像を生成して、インター予測をした予測画像とイントラ予測をした予測画像からそれぞれ符号化コストを算出し、符号化コストが小さい方を出力する予測画像にするように構成することも可能である。ここで算出する符号化コストは厳密な値でない期待値レベルの値であってもよい。

また、圧縮部１１０の変換部１１２と伸長部１２０の逆変換部１２１において、対応する順変換と逆変換の処理を省略して構成することも可能である。直交変換と逆直交変換を行わない構成や、量子化と逆量子化を行わない構成を採用してもよい。さらに、変換部１１２と逆変換部１２１を省略して、減算部１１１のみの圧縮部１１０および加算部１２２のみの伸長部１２０とした構成を採用してもよい。なお、動画像符号化装置が生成したビットストリームを復号する動画像復号装置は、動画像符号化装置の伸長部１２０に相当する伸長部を有する構成を採用する必要がある。

上述の圧縮部１１０、伸長部１２０、復号画像蓄積部１３０、特徴量抽出部１４０、予測画像生成部１６０、エントロピー符号化部１７０はAVC/H.264、HEVC/H.265等の画像符号化方式を適用した従来の動画像符号化装置と同様に、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアで実現したり、ＤＳＰ（Digital Signal Processor）もしくは汎用のプロセッサ等を用いたハードウェアとＤＳＰもしくはプロセッサにおいて実行されるソフトウェアで実現したり、汎用のコンピュータ上で動作するソフトウェアで実現したり、あるいはこれらの実現方法を組み合わせて実現したりすることが可能である。
同様に、特徴量抽出部１４０、動きベクトル検出部１５０もハードウェアやソフトウェアあるいはその組み合わせにより実現することが可能である。

次に、この実施の形態の動画像符号化装置の動作を説明する。図２は、この実施の形態の動画像符号化装置の画像符号化処理のフローチャートである。
まず、特徴量抽出部１４０が入力された符号化画像および対比画像のそれぞれから特徴点の抽出を行う（ST11）。この実施の形態では、対比画像として復号画像蓄積部から予測画像生成部に入力される参照画像と同じ画像を使用する。ST11の処理では、特徴量抽出部１４０は、符号化画像と対比画像のそれぞれについて、画像の特徴量から特徴点を抽出して、特徴点の画像内における座標とその特徴量を出力する。特徴点の抽出方法としては、例えば、画像のエッジ強度の情報を使用する方法（参考文献：特開2007-134755号公報）やSIFT法（参考文献：D.G.Lowe，“Object recognition from local scale invariant features“，Proc. Of IEEE International Conference on Computer Vision (ICCV），pp.1150-1157，1999）を用いれば良い。例えばエッジ強度を使用する場合、ある画素における濃度の変化量をその画素に隣接する画素の濃度の差分から求め、変化量の大きい画素を特徴点とし、変化量を特徴量にすることができる。

なお、SIFT法では特徴量の一つであるＤｏＧ値（Difference of Gaussian）が閾値以下である特徴点を除外して絞り込むことが行われるが、この時点で特徴点の絞り込みを行わずにすべての特徴点を検出するようにしてもよい。特徴点の絞り込みを行わずに多くの特徴点を抽出しておくことにより、画像上の局所的に特徴点の少ない部位あるいは存在しない部位を減らすことができる。なお、ＤｏＧ値を特徴点の座標とともに保存しておき、後述の代表点を選択する処理で使用するようにしてもよい。

図３は特徴点抽出の一例を示す説明図である。図３（ａ）は入力された画像を示し、図３（ｂ）は図に黒丸で示す特徴点が抽出されたことを示している。なお、符号化画像と対比画像が連続する画像であったとしても、画像上の対象物の大きさ、色、形状、位置、向きなどの変化、また撮像装置（例えばカメラ）の撮像パラメータなどの変化によって、抽出される特徴点の数が異なることがありうる。

次に、動きベクトル検出部１５０が符号化画像をブロックに分割して、分割した各ブロックの動きベクトルの検出を行う（ST12）。ST12の動きベクトル検出処理の詳細については後述する。動きベクトル検出部１５０は検出した動きベクトルを予測画像生成部１６０に出力する。
次に、予測画像生成部１６０が動き補償予測処理を行う（ST13）。ST13の処理では、ST12の処理で検出した各ブロックの動きベクトルをもとに動き補償予測を行い、予測信号を生成する。ここで予測信号とは、動き補償予測の対象ブロックが参照画像からどのように動いたかを予測したベクトル情報である。例えば、AVC/H.264の動き補償予測では通常予測対象のブロックの周囲（左、上、右上）のブロックの動きベクトルの水平成分と垂直性分のそれぞれの中央値を用いて予測信号が生成される。そして、ST13の動き補償予測処理で生成した予測信号に基づいて参照画像から予測画像を生成する（ST14）。

なお、符号化する動画像の最初の画像が符号化画像であるときには、復号画像蓄積部１３０から出力される参照画像（対比画像と同じ）が存在せず、フレーム間の相関を利用した動き補償予測によるインター予測（フレーム間予測）を適用することができない。この実施の形態においてはこのような場合、ST11からST13の処理を行わずに、符号化画像についてイントラ予測（フレーム内予測）を行って予測画像を生成するものとする。
また別の方法として、イントラ予測を行わずに、符号化する動画像の１枚目の画像が符号化画像であるときの対比画像として所定の画像（例えば全零信号の画像など）を適用するようにして、インター予測を行うようにすることも可能である。

なお予測画像生成部１６０を、インター予測による予測画像とイントラ予測による予測画像のうち、符号化コストが小さい予測画像を出力する予測画像とするように構成する場合は、図１に示すST11〜ST13の処理およびそのインター予測に基づくST14の予測画像生成処理と、ST15およびそのイントラ予測に基づくST14の予測画像生成処理を順次もしくは並列に行い、その後でそれぞれの予測画像の符号化コストを算出していずれかを選択するようにすればよい。あるいは、それぞれの予測画像生成処理に続けて符号化コストを算出するなど同等の結果が得られる限り他の順序で処理を行っても良い。

ST14で予測画像生成部１６０が予測画像を生成した次に、圧縮部１１０が符号化画像から予測画像を減算して差分画像を生成する（ST16）。そして次に、差分画像に対して直交変換および量子化を行って、圧縮画像を生成する（ST17）。
ST17の次に、伸長部１２０が圧縮画像に対して逆量子化および逆直交変換を行って差分画像を復元する（ST18）。そして、復元した差分画像に予測画像を加算して復号画像を生成する（ST19）。
次に復号画像蓄積部１３０が、ST19で生成した復号画像を蓄積する（ST20）。ここで蓄積した復号画像は、符号化処理中の符号化画像の次の符号化画像の符号化時に参照画像および対比画像として使用する。

また、ST17で生成した圧縮画像をエントロピー符号化部１７０がエントロピー符号化してビットストリームを出力する（ST21）。ここでは、ST17の後、ST18〜ST20とST21を並列に処理するフローとしているが、いずれか一方を先に行い、もう一方をその後に行うようにしてもよい。
上述のST11〜ST21を符号化する動画像の各画像を符号化画像として繰り返し実行する。

次に、上述のST12の動きベクトル検出処理を詳細に説明する。図４は動きベクトル検出部１５０が行うST12の動きベクトル検出処理を詳細に示すフローチャートである。
動きベクトル検出部１５０は、まず、符号化画像と対比画像の特徴点の画像内座標と特徴量に基づいて対応点ペアを検出する（ST31）。ST31の処理では、動きベクトル検出部１５０は符号化画像の特徴点と対比画像の特徴点の特徴量の距離（例えば上述のエッジ強度を特徴量とする場合であれば濃度の変化量の差分）が最小となる特徴点を対応点ペアとして対応付ける。

図５は符号化画像および対比画像の特徴点の対応付けの一例を示す説明図である。図３と同様に黒丸で特徴点を示しており、直線で結ばれた特徴点が対応付けた対応点ペアを表している。そして、動きベクトル検出部１５０は対応点ペアとした特徴点のそれぞれの画像における画像内座標の差分を対応点差分ベクトルとして算出する。
図６は対応点差分ベクトルの例である。図６（ａ）は対応点ペアの例を示しており、図６（ｂ）はこの場合の対応点差分ベクトルを示す。図６（ｂ）は、対応点差分ベクトルを分かりやすく示すために、図６（ａ）の符号化画像と対比画像を重ねて表しており、図６（ｂ）において矢印が対応点差分ベクトルを示している。

なお対応点ペアの検出では、特徴量の距離が所定の閾値より小さいものを対応付けの候補として仮検出し、一方の画像の１つの特徴点が他方の画像の複数の特徴点に対応しないように周囲の対応状況も考慮して、仮検出した候補の中から対応点ペアを決定する二段階の処理で対応付けを行うようにしてもよい。複数の段階に分けて対応点ペアの候補を絞り込むことで、例えば特徴点がある部分に集中する場合などで対応点差分ベクトルが周囲の他の代表点ペアと極端に異なる対応点ペアが生じることを防ぎ、特徴量の距離が最小ではなくても画像の内容として適切な対応点ペアを検出して、対応点差分ベクトルの信頼性の向上を図ることができる。

ST31の次に動きベクトル検出部１５０は、符号化画像を格子状の所定のサイズの領域（分割領域と称す）に分割する（ST32）。ここで所定のサイズは、AVC/H.264やHEVC/H.265などそれぞれの方式で規定されたブロックサイズ（例えばAVC/H.264では最大16x16、HEVC/H.265では最大64x64で複数のブロックサイズが定義される）から選択して使用する。ここでは64x64を例とする。

次に、ST32で分割した分割領域を領域内に含まれる対応点ペアをもつ特徴点の個数が所定の閾値（特徴点閾値）以下であるか否かでグループ分けをする（ST33）。ここで用いる閾値は、符号化する動画像に応じて決定する。特徴点閾値の決定方法の一例として、各分割領域の特徴点の個数の平均と標準偏差を求め、平均から標準偏差の３倍を減じた値を閾値とする方法が考えられる。

次に、ST33で閾値以下と分類した符号化画像の分割領域についてブロックマッチングによる動きベクトル検出を行う（ST34）。ここでブロックマッチングとは例えばブロック毎の画素値の差の絶対値和を比較する処理である。全探索やUMHEX等の探索アルゴリズムを用いるブロックマッチング法を実施して動きベクトル検出を行う。なお、この発明はST34で実施するブロックマッチング法を特定のブロックマッチング法に限定するものではない。ST34では、対比画像をST32で行った符号化画像の分割と同様の領域に分割して、特徴点の個数が符号化画像の場合と同様に閾値以下である対比画像の分割領域を求め、この対比画像の分割領域に対応する参照画像の領域に限定してブロックマッチングを行う。

図７はST34のブロックマッチングにおいて対象とする符号化画像および参照画像の領域の例を示す図である。図７（ａ）において破線はST32で分割した符号化画像の分割領域を示している。図７（ｂ）においても同様に対比画像の分割領域を示している。また、図７（ａ）、（ｂ）で黒丸は対応点ペアのある特徴点を表している。図７（ａ）に示す領域２００は符号化画像における対応点ペアのある特徴点の個数が閾値以下の分割領域の集合である。図７（ｂ）に示す領域２１０は対比画像における対応点ペアを持つ特徴点の個数が閾値以下の分割領域の集合である。図７（ｃ）に示す領域２２０は対比画像の分割２１０に対応する参照画像の領域である。図７（ａ）に示す符号化画像の領域２００と図７（ｃ）に示す参照画像の領域２２０についてブロックマッチングを行う。

次に、ST33において対応点ペアのある特徴点の個数が閾値以上と判定した領域の動きベクトルを求める。まず、動きベクトル未決定の分割領域から処理対象の分割領域を選択する（ST35）。そして、ST35で選択した分割領域について代表点選択を行う（ST36）。ST36の処理では、処理対象の分割領域を数ピクセル×数ピクセル（例えば1x1や4x4、ここでは4x4とする）の小ブロックに分割し、各小ブロックにおいて小ブロックの中心との距離が最小である特徴点を代表点とする。図８に代表点の選択の一例を示す。図８において×は小ブロックの中心を、白抜きの丸は代表点として選択した特徴点を、黒丸はその他の特徴点を示している。

なお、代表点を選択する他の方法として、小ブロック内の各特徴点の対応点差分ベクトルの平均をとり、この平均のベクトルとの差分の絶対値（以降ではベクトルの差分の絶対値をベクトルの距離とも称す）が最も小さい対応点差分ベクトルを持つ特徴点を代表点として選択してもよい。また、SIFTによる特徴量抽出を使用する場合には、特徴量の値が最大の特徴点を代表点として選択しても良い。

次に、ST36の処理で選択した各代表点について、その周囲に存在する代表点との対応点差分ベクトルの距離が所定の閾値以下であるか否かを判定する。閾値以下である代表点が存在しない場合にはST38のブロックマッチングによる動きベクトル検出の処理に遷移し、存在する場合にはST39の代表点グループ化処理に遷移する（ST37）。ここで用いる閾値は符号化する画像に依存して決定する閾値である。ここでは一例として、判定対象の代表点の対応点差分ベクトルの絶対値の１０分の１を閾値とする。

ST38では、処理対象の分割領域について参照画像とのブロックマッチングによりこの分割領域について動きベクトルを決定する。なお、ブロックマッチングはST34と同様に全探索やUMHEXなどのアルゴリズムに従って行えばよい。

ST39の代表点グループ化処理では、類似の対応点差分ベクトルを有する代表点ごとにグループ化して、これらの代表点を含む小ブロックの集合を作成する。ここで類似の対応点差分ベクトルを有するとは対応点差分ベクトルの距離が所定の閾値（類似ベクトル閾値）よりも短いことである。この類似ベクトル閾値は、例えば比較対象の２つのベクトルの絶対値の平均の１００分の１の値にするなどして、符号化画像の小ブロックの集合とこれに対応して作られる対比画像の小ブロックの集合が同じ形状となるように、対応点差分ベクトルがほぼ一致する代表点がグループ化されるようにする。なお、この小ブロックの集合は飛び地を作らないように作成する。

図９に小ブロックの集合の例を示す。図９では、破線で区切った四角が小ブロックを表し、黒四角、黒三角がそれぞれ類似の対応点差分ベクトルを有する代表点で、それぞれ代表点のグループを構成する。白抜きの丸は黒四角、黒三角で表した代表点とは異なる対応点差分ベクトルを有する代表点である。そして、実線で囲んだ領域がそれぞれのグループに対応する小ブロックの集合を表す。また、図１０に小ブロックの集合３０１〜３１２に分けた分割領域の一例を示す。小ブロックの集合３０１〜３１２内の白抜きの丸は各小ブロックの代表点であり、同じ小ブロックの集合３０１〜３１２に含まれる代表点は、対応点差分ベクトルの距離が閾値よりも短い代表点である。

次に分割領域をブロックに分割する（ST40）。ST40のブロック分割では、ST39で作成した小ブロックの集合を矩形かつ大きさが元の小ブロックの集合の大きさからできるだけ小さくならないように区分けしてブロックを決定し、分割領域をブロックに分割する。ただし、このときAVC/H.264やHEVC/H.265などそれぞれの方式で定められた動きベクトル検出のブロックサイズの制限を条件に入れるものとする。図１１に分割領域をブロック分割した一例を示す。図１１は図１０に示した例についてブロック分割を行ったものであり、破線が小ブロックの集合３０１〜３１２を矩形化するために行った分割を示している。

次に、ST40でブロック分割した各ブロックの動きベクトルを検出する（ST41）。ST40のブロック分割は、ST39で作成した対応点差分ベクトルがほぼ一致する代表点に基づく小ブロックの集合について行っており、したがって対比画像についても符号化画像と同様の小ブロックの集合を作成して、符号化画像と同様のブロック分割をすることができる。ST41の動きベクトル検出処理では、この符号化画像と対比画像の対応するブロックについてそれぞれのブロックの画像内座標（例えば、ブロックの対応する１つの頂点の画像内座標）の差分から１つの動きベクトルを算出する。
なお、別のブロック分割の方法として、小ブロックの集合を矩形に区切る全てのパターンについて動きベクトルを計算し、最も符号化効率が良いパターンを選択してブロック分割を行うことも可能である。

ST38もしくはST39〜ST41を実施してST35で動きベクトル検出の対象とした分割領域についての動きベクトル検出を完了すると、全ての分割領域について動きベクトル検出を完了したか判定する（ST42）。動きベクトルを未検出の分割領域がある場合にはST35に分岐し、無い場合には処理を終了する。

なおこの実施の形態では、ST39〜ST41の処理をST36で選択した代表点に基づいて行ったが、代表点以外の特徴点も含めて類似の対応点差分ベクトルを持つ特徴点を含むようにブロック分割しても良い。あるいは、ST36を省略して対応点ペアを持つ特徴点を対象にST37以降の処理を行っても良い。
また、この実施の形態では、対応点ペアを有する特徴点の数が閾値以下の分割領域を先に処理して、閾値以上の分割領域を後から処理するようにしたが、反対の順番やあるいは並列で行うようにしてもよい。

以上のように、この実施の形態の動画像符号化装置によれば、符号化画像と対比画像の対応する特徴点のペア（対応点ペア）の差分ベクトル（対応点差分ベクトル）に基づいて符号化画像を分割するブロックを決定し、そのブロックの画像内の座標から動きベクトルを算出するので、全探索やUMHEX等の探索アルゴリズムによって差分の少ないブロックを探索する処理を複数のブロックサイズについて行うことにより動きベクトルを求める従来の動きベクトル検出を行う動画像符号化装置に比べて動きベクトル検出処理の演算処理量を削減することができ、動きベクトル検出に要する時間を短縮することができる。

また、符号化画像を小ブロックに分割して、類似の対応点差分ベクトルを有する特徴点を含む小ブロックの集合に基づいて分割するブロックを決定するようにしているので、例えば対応点ペアの座標を直接用いてブロックを決定するのに比べて簡易な処理でブロックを決定することができる。
また、小ブロック内の特徴点から代表点を選択することにより、ブロック分割処理で使用する特徴点の個数を削減してブロック分割処理の処理量を削減することができる。

また、この実施の形態の動画像符号化装置によれば、符号化画像内で対応点ペアを持つ特徴点が少ない領域について、対比画像内で同様に対応点ペアを持つ特徴点が少ない領域を求め、この対比画像の領域に対応する参照画像の領域に絞ってブロックマッチングを行うようにしたので、画像全体のブロックマッチングを行う必要がなく、処理量や処理時間を削減できる効果がある。

実施の形態２．
この発明の実施の形態１の動画像符号化装置では蓄積した復号画像を対比画像として使用し特徴量を抽出したが、実施の形態２の動画像符号化装置では入力された符号化画像を蓄積して対比画像として使用し特徴量を抽出する。以下、実施の形態１の動画像符号化装置との差分を中心にこの実施の形態の動画像符号化装置について説明する。図１２は、この発明の実施の形態２に係る動画像符号化装置の構成図である。

図において、圧縮部１１０、伸長部１２０、復号画像蓄積部（フレームメモリ）１３０、特徴量抽出部１４０、動きベクトル検出部１５０、予測画像生成部１６０、エントロピー符号化部１７０は実施の形態１の動画像符号化装置と同様である。なお、実施の形態１の復号画像蓄積部１３０は参照画像と同じ画像を対比画像として特徴量抽出部１４０に入力していたが、この実施の形態では復号画像蓄積部１３０は対比画像を出力しない。符号化画像蓄積部（第２のフレームメモリ）１８０は、入力された符号化画像を蓄積し、現在の符号化画像より以前の符号化画像を特徴量抽出部１４０に対比画像として出力する。
なお、符号化画像蓄積部１８０もＡＳＩＣ等のハードウェアで実現したり、ＤＳＰもしくは汎用のプロセッサを用いた専用のハードウェアとＤＳＰもしくはプロセッサにおいて実行されるソフトウェアで実現したり、汎用のコンピュータ上で動作するソフトウェアで実現したりすることができる。

この発明の実施の形態２に係る動画像符号化装置の動作は、符号化画像蓄積部（第２のフレームメモリ）１８０が入力される符号化画像を蓄積し、特徴量抽出部１４０は符号化画像蓄積部１８０が出力する対比画像を使用する点を除いて、実施の形態１と同様であるので詳細な説明は省略する。この実施の形態では、符号化画像蓄積部（第２のフレームメモリ）１８０は現在の符号化画像の１つ前の符号化画像を蓄積して、現在の符号化画像の符号化処理を実施する際に、蓄積している符号化画像を対比画像として特徴量抽出部１４０に出力するものとする。

以上のように、この実施の形態の動画像符号化装置によれば、実施の形態１の動画像符号化装置と同様に、符号化画像と対比画像の対応する特徴点のペア（対応点ペア）とその差分ベクトル（対応点差分ベクトル）に基づいて符号化画像を分割するブロックを決定し、そのブロックの画像内の座標に基づいて動きベクトルを算出するので、全探索やUMHEX等の探索アルゴリズムによって差分の少ないブロックを探索する処理を複数のブロックサイズについて行うことにより動きベクトルを求める従来の動きベクトル検出を行う動画像符号化装置に比べて動きベクトル検出処理の演算処理量を削減することができ、動きベクトル検出に要する時間を短縮することができる。

また、この実施の形態の動画像符号化装置によれば、実施の形態１の動画像符号化装置と同様に、符号化画像内で対応点ペアを持つ特徴点が少ない領域について、対比画像内で同様に対応点ペアを持つ特徴点が少ない領域を求め、この対比画像の領域に対応する参照画像の領域に絞ってブロックマッチングを行うようにしたので、画像全体のブロックマッチングを行う必要がなく、処理量や処理時間を削減することができる効果を奏する。

また、この実施の形態の動画像符号化装置によれば、対比画像として処理対象の符号化画像より以前に蓄積した符号化画像をそのまま使用するので、特徴量の抽出が圧縮部の処理による量子化等の画質劣化の影響を受けることがなく、より処理対象の符号化画像に近い特徴量を抽出することができる。

また、この実施の形態の動画像符号化装置によれば、対比画像として処理対象の符号化画像より以前に蓄積した符号化画像を使用するので、特徴点抽出処理とエントロピー符号化処理をより並列処理しやすくなるという効果がある。

なお、上述のように図１に示した実施の形態１の動画像符号化装置はハードウェアで実現、ソフトウェアで実現ＡＳＩＣ等のハードウェアで実現したり、ＤＳＰもしくは汎用のプロセッサを用いた専用のハードウェアとＤＳＰもしくはプロセッサにおいて実行されるソフトウェアで実現したり、汎用のコンピュータ上で動作するソフトウェアで実現したり、あるいはこれらの実現方法を組み合わせて実現したりすることが可能である。図１２に示した実施の形態２の動画像符号化装置も同様である。

１１０ 圧縮部、１１１ 減算部、１１２ 変換部、１２０ 伸長部、１２１ 逆変換部、１２２ 加算部、１３０ 復号画像蓄積部（フレームメモリ）、１４０ 特徴量抽出部、１５０ 動きベクトル検出部、１６０ 予測画像生成部、１７０ エントロピー符号化部、１８０ 符号化画像蓄積部（第２のフレームメモリ）、３０１〜３１２ 小ブロックの集合

Claims (7)

1. 符号化対象である符号化画像と対比画像からそれぞれ特徴点とその特徴点の特徴量を抽出する特徴量抽出部と、
   前記特徴点の前記特徴量に基づいて、前記符号化画像から抽出した前記特徴点と前記対比画像から抽出した前記特徴点とを対応付けて対応点ペアとし、前記対応点ペアとした前記特徴点のそれぞれの画像内における座標から得られる対応点差分ベクトルの距離が予め定められた類似ベクトル閾値以下である前記対応点ペアを求め、前記符号化画像を対応点差分ベクトルの距離が前記類似ベクトル閾値以下の前記対応点ペアの前記特徴点を含むブロックに分割して、その分割したブロックの動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトルと参照画像に基づいて予測画像を生成する予測画像生成部と、
   を備えたことを特徴とする動画像符号化装置。
2. 前記動きベクトル検出部は、前記符号化画像を複数の小ブロックに分割し、これらの小ブロックを前記対応点差分ベクトルに基づき複数の集合にまとめることにより、前記符号化画像を前記ブロックに分割することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記動きベクトル検出部は、それぞれの前記小ブロックにおいて小ブロック内に含まれる前記対応点ペアを有する前記特徴点のなかから代表点を選択し、前記符号化画像を前記対応点差分ベクトルの距離が前記類似ベクトル閾値以下である前記代表点を含む前記ブロックに分割することを特徴とする請求項２に記載の動画像符号化装置。
4. 前記動きベクトル検出部は、前記対応点ペアとした前記特徴点の個数が予め定められた特徴点閾値よりも少ない前記符号化画像の領域について、前記対比画像の前記特徴点の個数が前記特徴点閾値よりも少ない領域に対応する前記参照画像の領域とのブロックマッチングによって前記動きベクトルを検出することを特徴とする請求項１から請求項３のいずれか一項に記載の動画像符号化装置。
5. 前記符号化画像と前記予測画像との差分画像に基づいて生成された復号画像を蓄積するフレームメモリを備え、
   前記対比画像と前記参照画像は前記フレームメモリから出力される同一の前記復号画像であることを特徴とする請求項１から請求項４のいずれか一項に記載の動画像符号化装置。
6. 前記符号化画像と前記予測画像との差分画像に基づいて生成された復号画像を蓄積して、前記参照画像として出力するフレームメモリと、
   符号化処理を実施済みの前記符号化画像を蓄積して前記対比画像として出力する第２のフレームメモリと、
   を備えたことを特徴とする請求項１から請求項４のいずれか一項に記載の動画像符号化装置。
7. 特徴量抽出部が、符号化対象の符号化画像と対比画像からそれぞれ特徴点とその特徴点の特徴量を抽出するステップと、
   動きベクトル検出部が、前記特徴点の前記特徴量に基づいて、前記符号化画像から抽出した前記特徴点と前記対比画像から抽出した前記特徴点とを対応付けて対応点ペアとし、前記対応点ペアとした前記特徴点のそれぞれの画像内における座標から得られる対応点差分ベクトルの距離が予め定められた類似ベクトル閾値以下である前記対応点ペアを求め、前記符号化画像を対応点差分ベクトルの距離が前記類似ベクトル閾値以下の前記対応点ペアの前記特徴点を含むブロックに分割して、その分割したブロックの動きベクトルを検出するステップと、
   予測画像生成部が、前記動きベクトルと参照画像に基づいて予測画像を生成するステップと、
   を備えたことを特徴とする動画像符号化方法。

Images