JP2006262198A - 動画圧縮符号化装置 - Google Patents

Abstract

【課題】 本発明の課題は、連続した画像の類似性を利用した動画像圧縮技術のハードウェア実装において、効率よく類似度の高い箇所をみつけることを目的とする。
【解決手段】 本発明の課題は、連続した画像の類似性を用いて動画像圧縮を行う動画像圧縮符号化装置において、参照画像内の探索範囲から対象画像内の処理対象となっている対象矩形との間で最大類似度を示す位置を探索し、該対象画像に対するその位置での動きベクトルと最大類似度とを示す探索結果を取得する最大類似度探索手段と、前記最大類似度探索手段によって決定された最新の前記対象画像に対する前記探索結果を対象画像探索結果とし、該対象画像以前に取得した前記探索結果を過去画像探索結果として参照することによって、所定方向への動き度合いを決定し、その動き度合いに応じてシフトさせた探索範囲を前記最大類似度探索手段へ通知する探索範囲決定手段とを有することにより達成される。
【選択図】 図３

Description

本発明は、連続した画像の類似性を利用した動画像圧縮技術のハードウェア実装において、効率よく類似度の高い箇所をみつけることを可能とする動画圧縮装置に関する。

従来より、動画圧縮技術では、対象の画像を細かい矩形に分割して、その小さい矩形ごとに、参照画像から類似度の高い位置（動きベクトル）を探し、その動きベクトルと差分に変換することで高い圧縮効率を実現している。このような動画像圧縮技術では、効率よく類似度の高い箇所を見つけることが重要である。

通常は、時間的に近い画像では大きく動くことはないので、現在の対象の矩形と近い位置の参照画像に限定して探索すれば殆ど十分である。しかし、稀に大きく動く場合もあり、そのように大きく動いた場合に類似度の高い箇所をみつけられるか否かが、画像圧縮の性能を大きく左右することとなる。

従来技術では、予め広い範囲を探索する技術や、最初は狭い範囲で探索して必要に応じて探索範囲を追加して広げていく技術などが提案されている（例えば、特許文献１）。
特開２００３−１４３６０９号公報

しかしながら、予め広い範囲を探索する従来技術や、必要に応じて探索範囲を追加して広げていく従来技術などは、ハードウェアにて実装しようとすると、計算回数や記憶領域が多く必要になり、専用の特殊な回路を追加する必要があった。

よって、本発明の目的は、連続した画像の類似性を利用した動画像圧縮技術のハードウェア実装において、効率よく類似度の高い箇所をみつける動画圧縮符号化装置を提供することである。

上記課題を解決するため、本発明は、連続した画像の類似性を用いて動画像圧縮を行う動画像圧縮符号化装置において、参照画像内の探索範囲から対象画像内の処理対象となっている対象矩形との間で最大類似度を示す位置を探索し、該対象画像に対するその位置での動きベクトルと最大類似度とを示す探索結果を取得する最大類似度探索手段と、前記最大類似度探索手段によって決定された最新の前記対象画像に対する前記探索結果を対象画像探索結果とし、該対象画像以前に取得した前記探索結果を過去画像探索結果として参照することによって、所定方向への動き度合いを決定し、その動き度合いに応じてシフトさせた探索範囲を前記最大類似度探索手段へ通知する探索範囲決定手段とを有するように構成される。

このような動画圧縮符号化装置では、探索範囲を動きの度合いに応じて動的に適切な位置へと移動させることができるため、連続した画像の類似性を利用した動画像圧縮技術のハードウェア実装において、効率よく類似度の高い箇所をみつけることができる。

本願発明は、連続した画像の類似性を利用した動画像圧縮技術のハードウェア実装において、効率よく類似度の高い箇所をみつけることを可能とする。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は、動画像圧縮符号化装置の構成を示すブロック図である。図１において、動画像圧縮符号化装置（エンコーダ）１００は、フレームメモリ１１と、動きベクトル探索部１２と、直交変換部１３と、量子化部１４と、可変長符号化部１５と、逆量子化部１６と、逆直交変換部１７と、動き補償部１８とを有する。

フレームメモリ１１は、再生された復号画像をフレーム単位で記憶する。

動きベクトル探索部１２は、映像信号の１フレームをディジタル化した画像データを対象画像として入力して、処理単位に分割された１６×１６画素のマクロブロック（以下、ＭＢと言う）の矩形に対して、フレームメモリ１１に記憶されている前フレームの復号画像（以下、参照画像と言う）との動き差分値が最小となるような動きベクトルを検出し、その動き差分値を直交変換部１３に出力する。

ここで、動きベクトルとは、対象画像と参照画像との水平方向および垂直方向における位置の変位を示す２次元ベクトルであり、また、動き差分値とは、対象画像のブロックの各画素データから、動きベクトル分だけ変位した参照画像の８×８ブロックの相対する画素データを差し引いたものである。一般的に、動き差分値が最小とは、各画素の差分絶対値の総和が最小であることを意味する。

直交変換部１２は、動き差分値を示す８×８画素のブロック画素データに対して、離散コサイン変換（Discrete Cosine Translation）と呼ばれる周波数変換を施すものであり、この離散コサイン変換された結果は８×８、つまり、６４個のＤＣＴ係数データとなる。

量子化部１４は、入力される各ＤＣＴ係数データを量子化スケールと呼ばれる値で除算することにより、ＤＣＴ係数の精度を粗くし、量子化ＤＣＴ係数を生成する。生成された量子化ＤＣＴ係数は、可変長符号化部１５及び逆量子化部１６へと入力される。

可変長符号化部１５は、入力される量子化ＤＣＴ係数をランレングス符号化し、各０ラン列（『０』が連続する列）に可変長符号を割り当てて、符号化ストリームを出力する。

逆量子化部１６は、量子化部１４から出力される量子化ＤＣＴ係数に量子化スケール値を乗じて、誤差を含んだＤＣＴ係数を復元する。

逆直交変換部１７は、ＤＣＴ係数に逆離散コサイン変換（Inverse Discrete Cosine
Translation）を施して、８×８画素の動き差分画素データを復元する。

動き補償部１８は、動きベクトルに基づいて、復号画像メモリ１１２から前フレームの８×８画素データを読み出し、入力される動き差分画素データを足し込み、現フレームの復号画像を再生し、そして、フレームメモリ１１に記憶する。

このような構成において、動画像圧縮符号化装置１００では、映像信号の１フレームをディジタル化した画像データを格納可能であって、フレームメモリ１１としても使用される外部メモリを備え、動きベクトル探索部１２と、直交変換部１３及び逆直交変換部１７と、量子化部１４及び逆量子化部１６と、可変長符号化部１５と、動き補償部１８とが夫々の機能を実現する回路として構成され、各回路と外部メモリとはバスを介して互いに接続されている。フレームメモリ１１は、外部メモリとは別に備えるようにしても良い。

以下、このような構成において、動きベクトル探索部１２にて実行される探索範囲決定方法について説明する。動きベクトルの演算量を抑制するのみならず、適切な動きベクトルを取得することができるような探索範囲を決定する方法について説明する。

図２は、本発明に係る動きベクトル探索部によって決定される探索範囲を説明するための図である。図２において、時間ｔ（ｋ−１）における参照画像３ａと、時間ｔ（ｋ）における参照画像３ｂ（この参照画像は、対象画像４に対する過去画像となる）と、時間ｔ（ｋ+１）における対象画像４とが示される。

探索範囲１ａは、過去画面３ｂのＭＢ２ｂに対する範囲である。この探索範囲１内のＭＢ毎に対象画像４のＭＢ２の画素値が比較され、探索範囲１内で動き差分値が最小となるような動きベクトルが検出される。

例えば、動きベクトルの検出結果によって、探索範囲１ａ内のＭＢ２ａは、過去画面３ｂのＭＢ２ｂの画素値と最も類似するマクロブロックの場合、探索範囲１ａは、その動きベクトルの水平方向の位置の変位に基づいて、左右への移動が決定され探索範囲１ｂが決定される。この場合、動きベクトルが右方向への変位を示していれば、探索範囲１ａがマイクロブロックの列単位で右へ移動し探索範囲１ｂとして決定される。

この探索範囲１ｂは、対象画像４のＭＢ２ｃの動きベクトル及び類似度を決定するための範囲となる。この場合、過去画像３ｂは、対象画像４の参照画像３ｂとして参照される。

また、同時に、検出された動きベクトルに基づいて決定される探索範囲１ａの左右への動きの度合いに応じて、次の探索範囲１ｂを形成するために追加すべき左右いずれかのＭＢをフレームメモリ１１から読み込む。

本発明では、対象画像４のＭＢ２ｃに対して、探索範囲１ｂは一定の大きさを保ち、左右へ移動するのみである。このような仕組みとすることによって、例えば、右へ動いた場合、動きの度合いに応じて１列、２列、３列、・・・のようにＭＢの読み込みを指定すればよい。従って、読み込むべきＭＢの範囲を簡潔に指定することができるようになる。また、次に左へ戻る場合、既に読み込んだ左側の列のＭＢを使用すればよく、動きベクトルの探索の処理を効果的に行うことができる。

図３は、動きベクトル探索部の構成を示す図である。図３において、動きベクトル１２は、最大類似度探索部１２２と、探索範囲決定部１２３と、対象画像探索結果統計部１２４ａと、対象画像周辺探索結果統計部１２５ａと、過去画像探索結果統計部１２４ｂと、過去画像周辺探索結果統計部１２５ｂと、探索結果記憶部１２６と、参照画像用内部記憶部１２７と、対象画像用内部記憶部１２８とを有する。

最大類似度探索部１２２は、探索範囲決定部１２３から通知される探索範囲に基づいて、対象画像用内部記憶部１２８に格納される対象画像のＭＢに対して、参照画像用内部記憶部１２７に格納される探索範囲に含まれるＭＢから最大類似度となる動きベクトルを探す。最大類似度探索部１２２は、探索結果として、その動きベクトルと、最大類似度とを探索結果記憶部１２６へ記憶すると共に、動き差分値を直交変換部１３へ通知する。

類似度とは、各画素の差分絶対値の総和（差分絶対値和（ＳＡＤ））の逆数、又は、差分を周波数変換した結果の和（ＳＡＴ）の逆数等によって示される。最大類似度とは、類似度が最大となる動きベクトルの類似度を示す。

探索範囲決定部１２３は、対象画像に関する動きベクトルと、過去画像に関する動きベクトルに対して所定処理を行い、その結果を用いて次ぎの探索範囲を決定する。また、探索範囲決定部１２３は、この結果に基づいて、左右への動き度合いに応じてＭＢを読み込む列数を決定し、フレームメモリ１１に対して、読み込むべき列数を読み込み範囲として指定する。

対象画像探索結果統計部１２４ａは、探索結果記憶部１２６に格納されている対象画像検索結果から対象画像の一画面に係る探索結果を取得して、その探索結果に統計処理を行って動きベクトルを算出し、探索範囲決定部１２３へ通知する。

対象画像周辺探索結果統計部１２５ａは、探索結果記憶部１２６に格納されている対象画像検索結果から対象画像のＭＢの周辺ＭＢに係る探索結果を取得して、その探索結果に統計処理を行って動きベクトルを算出し、探索範囲決定部１２３へ通知する。

過去画像探索結果統計部１２４ｂは、探索結果記憶部１２６に格納されている過去画像探索結果から過去画像の一画面に係る探索結果を取得して、その探索結果に統計処理を行って動きベクトルを算出し、探索範囲決定部１２３へ通知する。

過去画像周辺探索結果統計部１２５ｂは、探索結果記憶部１２６に格納されている過去画像探索結果から過去画像のＭＢの周辺ＭＢに係る探索結果を取得して、その探索結果に統計処理を行って動きベクトルを算出し、探索範囲決定部１２３へ通知する。

探索結果記憶部１２６は、最大類似と探索部１２２から通知される探索結果を順次蓄積する。対象画像の探索結果を蓄積し、次の対象画像の探索結果が通知されると、新たに対象画像探索結果として蓄積される。説明の便宜上、それ以前に蓄積された対象画像探索結果は、過去画像探索結果として使用される。探索結果記憶部１２６は、少なくとも、１つの対象画像探索結果と１つの過去画像探索結果とを格納するのに必要な領域を有する。この領域は、画像データに比べてサイズが小さいので、動きベクトル探索部１２が有する内部記憶部１２７又は１２８の領域の一部を割り当てても良いし、フレームメモリ１１の領域の一部を割り当てても良い。

参照画像用内部記憶部１２７は、フレームメモリ１１から送信される探索範囲決定部１２３によって指定された範囲の画像データをマクロブロックの列単位で格納する。参照画像用１２７は、所定の大きさの探索範囲より更にマクロブロックを数列分格納可能な領域を有する。

対象画像用内部記憶部１２８は、映像信号の１フレームをディジタル化した対象画像を格納する。

図３中、点線で囲まれる部分Ａが探索範囲決定処理に関する部分である。

先ず、探索範囲決定処理においける探索範囲決定部１２３での処理について図４で説明する。図４は、探索範囲決定部での処理を説明するためのフローチャート図である。図４において、探索範囲決定部１２３は、対象ＭＢの位置を決定し、対象画像周辺探索結果統計部及び過去画像周辺探索結果統計部へと通知する（ステップＳ１１）。

探索範囲決定部１２３は、対象画像周辺探索結果統計部１２５ａ及び過去画像周辺探索結果統計部１２５ｂから通知される対象ＭＢと一致しそうな動きベクトルを、対象画像周辺ベクトル及び過去画像周辺ベクトルとして夫々受信する（ステップＳ１２）。

また、探索範囲決定部１２３は、対象画像探索結果統計部１２４ａ及び過去画像探索結果統計部１２４ｂから通知される一画面の動きベクトルの平均値を、対象画像平均ベクトル及び過去画像平均ベクトルとして受信する（ステップＳ１３）。

そして、探索範囲決定部１２３は、対象画像周辺ベクトルと、過去画像周辺ベクトルと、対象画像平均ベクトルと、過去画像平均ベクトルとに対して、重要な動きベクトル落とさないように重み付けを行い、探索範囲を決定する（ステップＳ１４）。

探索範囲決定部１２３は、決定した探索範囲と、直前の対象ＭＢの探索範囲との差分を求める（ステップＳ１５）。直前の対象ＭＢとは、例えば、図２を参照すると、ＭＢ２ｃの左隣のＭＢとなる。

差分が所定値の範囲以内ならば、通常通り所定読み込み範囲をフレームメモリ１１に指定する（ステップＳ１６−２）。差分が左へ移動を示す値である場合、フレームメモリ１１への読み込み範囲の指定を行うことなく、ステップＳ１７へと進む。差分が右へ移動を示す値である場合、右への動きの度合いに応じてＭＢ列の列数を決定し、読み込み範囲としてフレームメモリ１１に指定する（ステップＳ１６−４）。

そして、探索範囲決定部１２３は、決定した探索範囲を最大類似度探索部に通知して（ステップＳ１６）、この処理を終了する。

図５は、対象画像周辺探索結果統計部による処理を説明するためのフローチャート図である。図５において、探索範囲決定部１２３から対象ＭＢの位置を受信すると（ステップＳ２０）、対象画像周辺探索結果統計部１２５ａは、探索範囲決定部１２３から通知された対象ＭＢの位置の周辺で既に探索が終了している周辺ＭＢの探索結果を探索結果記憶部１２６の対象画像探索結果から取得する（ステップＳ２１）。

対象画像周辺探索結果統計部１２５ａは、各周辺ＭＢについて対象ＭＢとの距離に応じた類似度に対する重み付け処理を行い（ステップＳ２２）、重み付けされた類似度のうち、閾値以上の類似度の周辺ＭＢの動きベクトルを探索範囲決定部１２３へ通知する（ステップＳ２３）。閾値以上の類似度がない場合、例えば、ゼロが探索範囲決定部１２３へ通知される。閾値以上の類似度が１つ又は複数ある場合、その類似度の周辺ＭＢの動きベクトルを１つ又は複数が探索範囲決定部１２３へ通知される。

図６は、過去画像周辺探索結果統計部による処理を説明するためのフローチャート図である。図６において、探索範囲決定部１２３から対象ＭＢの位置を受信すると（ステップＳ３０）、過去画像周辺探索結果統計部１２５ａは、探索範囲決定部から通知された対象ＭＢの位置の周辺の過去画像における周辺ＭＢの探索結果を探索結果記憶部の過去画像探索結果から取得する（ステップＳ３１）。

過去画像周辺探索結果統計部１２５ａは、対象画像とその参照画像までの時間差と、過去画像とその参照画像までの時間差とに基づいて、移動距離を予測して、過去画像の周辺ＭＢが対象ＭＢへ移動してきたか否かを判断する（ステップＳ３２）。ここで、例えば、画像内の全ての物体が等速に動いていると仮定して、過去画像における各周辺ＭＢについて、その動きベクトルから対象ＭＢの位置に移動してきたか否かを判断する。

図２を参照すると、過去画像とその参照画像までの時間差は、時間ｔ（ｋ）と時間ｔ（ｋ−１）の時間差で示され、対象画像とその参照画像までの時間差は、時間ｔ（ｋ＋１）と時間ｔ（ｋ）の時間差で示される。この２つの時間差が等しい場合、過去画像３ｂに対する参照画像３ａでの周辺ＭＢの動きベクトルを２倍した動きベクトルによって示される対象画像４でのＭＢの位置が対象ＭＢの位置であるか否かが判断される。

次に、過去画像周辺探索結果統計部１２５ａは、対象ＭＢへ移動してきたと判断される周辺ＭＢについて、対象ＭＢへの動きベクトルを求める（ステップＳ３３）。ここでの動きベクトルは、予測される動きベクトルとなる。

そして、過去画像周辺探索結果統計部１２５ａは、対象ＭＢへ移動してきたと判断される周辺ＭＢのうち、閾値以上の類似度の周辺ＭＢの動きベクトルを探索範囲決定部１２３へ通知し（ステップＳ３４）、この処理を終了する。

図７は、対象画像探索結果統計部での処理を説明するためのフローチャート図である。図７において、対象画像探索結果統計部１２４ａは、探索結果記憶部１２６の対象画像探索結果について、類似度に基づく重み付けをして統計した動きベクトルを１つ取得する（ステップＳ４０）。例えば、類似度に基づく重み付けをした後、一画面中の動きベクトルの平均値を取得する。そして、対象画像探索結果統計部１２４ａは、ステップＳ４０で取得した動きベクトルを、一画面における対象画像平均ベクトルとして探索範囲決定部１２３へ通知して（ステップＳ４１）、この処理を終了する。

図８は、過去画像探索結果統計部での処理を説明するためのフローチャート図である。図８において、過去画像探索結果統計部１２４ｂは、探索結果記憶部１２６の過去画像探索結果について、類似度に基づく重み付けをして統計した動きベクトルを１つ取得する（ステップＳ５０）。例えば、類似度に基づく重み付けをした後、一画面中の動きベクトルの平均値を取得する。そして、過去画像探索結果統計部１２４ｂは、ステップＳ５０で取得した動きベクトルを、一画面における過去画像平均ベクトルとして探索範囲決定部１２３へ通知して（ステップＳ５１）、この処理を終了する。

次に、本発明に係る探索範囲決定部１２３によって指定されたＭＢ列の数に応じてフレームメモリ１１から参照画像用内部記憶部１２７へ読み込まれる様子について図９及び図１０で説明する。図９及び図１０において、探索範囲は、５×５マクロブロックとして説明し、１ＭＢ列とは、探索範囲における１列分（つまり、縦に５マイクロブロック）を意味する。また、参照画像用内部記憶部１２７は、探索範囲を充分に格納可能とし、例えば、８ＭＢ列（４０マクロブロック分）を格納できるもととする。

図９は、マクロブロックを１列読み込む場合を説明するための図である。図９中、参照画像用内部記憶部１２７内には、既に、Ｒ００からＲ０４、Ｒ１０からＲ１４、Ｒ２０からＲ２４、Ｒ３０からＲ３４、Ｒ４０からＲ４４、Ｒ５０からＲ５４、Ｒ６０からＲ６４の７ＭＢ列が読み込まれているとする。また、この読み込みの状態において、対象ＭＢの位置２に対応する探索範囲は実践で囲まれるＲ２０からＲ２４、Ｒ３０からＲ３４、Ｒ４０からＲ４４、Ｒ５０からＲ５４、Ｒ６０からＲ６４の５ＭＢ列である。

図９において、探索範囲決定部１２３は、例えば、右への動きの度合いに応じて、探索範囲を次の１ＭＢ列分をシフトすると判断した場合、フレームメモリ１１へ次の１ＭＢ列を読み込み範囲として指定する（１）。

フレームメモリ１１は、探索範囲決定部１２３からの範囲指定に従って、次の１ＭＢ列（つまりＲ７０からＲ７４までを１ＭＢ列として）参照画像用内部記憶部１２７へ送信する（２）。画像参照用内部記憶部１２７は、１ＭＢ列をフレームメモリ１１から受信すると、Ｒ６０からＲ６４の１ＭＢ列の次に格納する。

そして、探索範囲決定部１２３は、１ＭＢ列分右へシフトさせた点線で囲まれるＲ３０からＲ３４、Ｒ４０からＲ４４、Ｒ５０からＲ５４、Ｒ６０からＲ６４、Ｒ７０からＲ７４の５ＭＢ列を最大類似度検索部１２２へ探索範囲として通知する（３）。例えば、探索範囲決定部１２３は、最初のＭＢ列の先頭位置を最大類似度検索部１２２へ通知する。

図９では、探索範囲を左へ１ＭＢ列シフトさせる場合には、探索範囲決定部１２３は、フレームメモリ１１に対して読み込み範囲を指定しない。実践で囲まれる探索範囲を単に、左に１ＭＢ列シフトするのみで、既に読み込んでいるＲ１０からＲ１４の１ＭＢ列を再利用する。

また、このような最小の１ＭＢ列を固定で読み込むのみにすることによって、処理を簡潔にすることも可能である。

次に、探索範囲決定部１２３が数列分のＭＢ列を指定した場合について説明する。図１０は、マクロブロックを数列読み込む場合を説明するための図である。図１０中、参照画像用内部記憶部１２７内には、既に、Ｒ００からＲ０４、Ｒ１０からＲ１４、Ｒ２０からＲ２４、Ｒ３０からＲ３４、Ｒ４０からＲ４４、Ｒ５０からＲ５４、Ｒ６０からＲ６４の７ＭＢ列が読み込まれているとする。また、この読み込みの状態において、対象ＭＢの位置２に対応する探索範囲は実践で囲まれるＲ２０からＲ２４、Ｒ３０からＲ３４、Ｒ４０からＲ４４、Ｒ５０からＲ５４、Ｒ６０からＲ６４の５ＭＢ列である。

図１０において、探索範囲決定部１２３は、例えば、右への動きの度合いに応じて、探索範囲を次の２ＭＢ列分をシフトすると判断した場合、フレームメモリ１１へ次の２ＭＢ列を読み込み範囲として指定する（１）。

フレームメモリ１１は、探索範囲決定部１２３からの範囲指定に従って、次の２ＭＢ列（つまりＲ７０からＲ７４と、Ｒ８０からＲ８４までを２ＭＢ列として）参照画像用内部記憶部１２７へ送信する（２）。画像参照用内部記憶部１２７は、２ＭＢ列をフレームメモリ１１から受信すると、先ず、最初の１ＭＢ列をＲ６０からＲ６４のＭＢ列の次に格納し、探索範囲として使用されないＲ００からＲ０４のＭＢ列にＲ８０からＲ８４のＭＢ列を上書きする。

そして、探索範囲決定部１２３は、２ＭＢ列分右へシフトさせた点線で囲まれるＲ４０からＲ４４、Ｒ５０からＲ５４、Ｒ６０からＲ６４、Ｒ７０からＲ７４、Ｒ８０からＲ８４の５ＭＢ列を最大類似度検索部１２２へ探索範囲として通知する（３）。例えば、探索範囲決定部１２３は、最初のＭＢ列の先頭位置を最大類似度検索部１２２へ通知する。

図１０では、探索範囲を左へ２ＭＢ列シフトさせる場合には、探索範囲決定部１２３は、フレームメモリ１１に対して読み込み範囲を指定しない。実践で囲まれる探索範囲を単に、左に２ＭＢ列シフトするのみで、既に読み込んでいるＲ００からＲ０４とＲ１０からＲ１４との２ＭＢ列を再利用する。

上記実施例において、本発明は、探索範囲のサイズを固定にすることができるため、探索範囲のマクロブロックの管理が簡潔化される。

また、過去画像から予測される動きベクトルを更に用いることによって、より重要な動きベクトルの判断の精度を向上させることができる。

更に、左右への動きの度合いで次に探索範囲を決定する仕組みにより、探索範囲内として使用されるマクロブロックの読み込み処理を簡素化することができる。また、戻るような動きの場合、既に読み込んだマクロブロックを再利用することができるため、記憶領域を有効に利用することができる。

また、探索範囲のマクロブロックの管理が簡潔化されることによって、単純な回路で実現することができる。

上記実施例では、平行方向（左右の動き）で探索範囲を決定する場合を説明したが、本発明を垂直方向（上下の動き）で探索範囲を決定する場合に適応しても良い。

動きの度合いに応じて、固定サイズの探索範囲を平行方向或いは垂直方向へ移動させる簡単な制御であるため、動きの度合いに応じて探索範囲のサイズを大きく又は小さく可変とする制御に比べて、探索範囲内のマクロブロックを格納するため記憶領域が小さい領域で実現でき、また、可変となる探索範囲のサイズによる複雑な書き換え制御を行なう回路を不要とすることができる。

本発明は、ＭＰＥＧ２、ＭＰＥＧ４、及びＨ．２６４などに適応可能である。

以上の説明に関し、更に以下の項を開示する。
（付記１）
連続した画像の類似性を用いて動画像圧縮を行う動画像圧縮符号化装置において、
参照画像内の探索範囲から対象画像内の処理対象となっている対象矩形との間で最大類似度を示す位置を探索し、該対象画像に対するその位置での動きベクトルと最大類似度とを示す探索結果を取得する最大類似度探索手段と、
前記最大類似度探索手段によって決定された最新の前記対象画像に対する前記探索結果を対象画像探索結果とし、該対象画像以前に取得した前記探索結果を過去画像探索結果として参照することによって、所定方向への動き度合いを決定し、その動き度合いに応じてシフトさせた探索範囲を前記最大類似度探索手段へ通知する探索範囲決定手段とを有することを特徴とする動画圧縮符号化装置。
（付記２）
前記探索範囲決定手段は、
前記決定した探索範囲と、直前の対象矩形の探索範囲との差分を求めて、差分が前記決定した探索範囲が該直前の対象矩形の探索範囲より前記所定方向への移動を示す場合、前記動き度合いに応じてシフトさせる該探索範囲の矩形の列数を決定する列数決定手段と、
前記列数決定手段によって決定された列数を前記探索範囲を記憶しておく内部記憶領域へ読み込む範囲として、前記参照画像を格納している格納領域へ指定する読み込み範囲指定手段とを有することを特徴とする付記１記載の画像圧縮符号化装置。
（付記３）
前記探索範囲決定手段は、前記決定した探索範囲と、直前の対象矩形の探索範囲との差分が前記決定した探索範囲が該直前の対象矩形の探索範囲より前記所定方向と逆方向への移動を示す場合、前記読み込み範囲指定手段を無効とし、前記シフトさせた探索範囲を前記最大類似度探索手段へ通知することを特徴とする付記２記載の画像圧縮符号化装置。
（付記４）
前記最大類似度探索手段による前記探索結果を順次累積する探索結果記憶手段と、
該対象画像より以前に処理された過去画像において、前記対象画像の対象矩形の位置の周辺に相当する過去周辺矩形の探索結果を前記探索結果記憶手段から取得し、該探索結果を用いて該対象矩形へと移動したと予測される過去周辺矩形を決定し、該過去周辺矩形について予測される動きベクトルを過去画像周辺ベクトルとして前記探索範囲決定手段へ通知する過去画像周辺探索結果統計手段を有することを特徴とする付記１乃至３のいずれか一項記載の動画圧縮符号化装置。
（付記５）
前記過去画像周辺探索結果統計手段は、前記対象画像とその参照画像までの時間差と、過去画像とその参照画像までの時間差とに基づいて、移動距離を予測して前記過去周辺矩形が前記対象矩形へと移動してきたか否かを判断する移動判断手段を有することを特徴とする付記４記載の動画像圧縮符号化装置
（付記６）
前記過去画像周辺探索結果統計手段は、更に、前記移動判断手段によって前記対象矩形へ移動してきたと判断される前記過去周辺矩形のうち、閾値以上の類似度を示す過去周辺矩形の動きベクトルを前記過去画像周辺ベクトルとして決定する過去画像周辺ベクトル決定手段を有することを特徴とする付記５記載の動画圧縮符号化装置。
（付記７）
前記対象矩形の周辺に位置し、かつ既に探索が終了している前記対象画像における対象周辺矩形の探索結果を前記探索結果記憶手段から取得し、該探索結果を用いて該対象矩形と該対象周辺矩形との距離に応じた類似度に対する重み付け処理を行い、閾値以上の類似度を示す対象周辺矩形の動きベクトルを対象画像周辺ベクトルとして前記探索範囲決定手段へ通知する対象画像周辺探索結果総計手段を有することを特徴とする付記４乃至６のいずれか一項記載の動画圧縮符号化装置。
（付記８）
前記探索結果記憶手段に格納されている前記過去画像の探索結果を用いて、類似度に基づく重み付けをして統計することによって取得した該過去画像の一画面における平均的な動きベクトルを過去画像平均ベクトルとして探索範囲決定手段へ通知する付記４乃至７のいずれか一項記載の動画圧縮符号化装置。
（付記９）
前記探索結果記憶手段に格納されている前記対象画像の探索結果を用いて、類似度に基づく重み付けをして統計することによって取得した該対象画像の一画面における平均的な動きベクトルを対象画像平均ベクトルとして探索範囲決定手段へ通知する付記１乃至５のいずれか一項記載の動画圧縮符号化装置。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

動画像圧縮符号化装置の構成を示すブロック図である。 本発明に係る動きベクトル探索部によって決定される探索範囲を説明するための図である。 動きベクトル探索部の構成を示す図である。 探索範囲決定部での処理を説明するためのフローチャート図である。 対象画像周辺探索結果統計部による処理を説明するためのフローチャート図である。 過去画像周辺探索結果統計部による処理を説明するためのフローチャート図である。 対象画像探索結果統計部での処理を説明するためのフローチャート図である。 過去画像探索結果統計部での処理を説明するためのフローチャート図である。 マクロブロックを１列読み込む場合を説明するための図である。 マクロブロックを数列読み込む場合を説明するための図である。

符号の説明

１ａ、１ｂ 探索範囲
２ａ、２ｂ、２ｃ マクロブロック（ＭＢ）
３ａ 参照画像
３ｂ 参照画像（過去画像）
４ 対象画像
１１ フレームメモリ
１２ 動きベクトル探索部
１３ 直交変換部
１４ 量子化部
１５ 可変長符号化部
１６ 逆量子化部
１７ 逆直交変換部
１８ 動き補償部
１２２ 最大類似度探索部
１２３ 探索範囲決定部
１２４ａ 対象画像探索結果統計部
１２４ｂ 過去画像探索結果統計部
１２５ａ 対象画像周辺探索結果統計部
１２５ｂ 過去画像周辺探索結果統計部
１２６ 探索結果記憶部
１２７ 参照画像用内部記憶部
１２８ 対象画像用内部記憶部

Claims (5)

1. 連続した画像の類似性を用いて動画像圧縮を行う動画像圧縮符号化装置において、
   参照画像内の探索範囲から対象画像内の処理対象となっている対象矩形との間で最大類似度を示す位置を探索し、該対象画像に対するその位置での動きベクトルと最大類似度とを示す探索結果を取得する最大類似度探索手段と、
   前記最大類似度探索手段によって決定された最新の前記対象画像に対する前記探索結果を対象画像探索結果とし、該対象画像以前に取得した前記探索結果を過去画像探索結果として参照することによって、所定方向への動き度合いを決定し、その動き度合いに応じてシフトさせた探索範囲を前記最大類似度探索手段へ通知する探索範囲決定手段とを有することを特徴とする動画圧縮符号化装置。
2. 前記探索範囲決定手段は、
   前記決定した探索範囲と、直前の対象矩形の探索範囲との差分を求めて、差分が前記決定した探索範囲が該直前の対象矩形の探索範囲より前記所定方向への移動を示す場合、前記動き度合いに応じてシフトさせる該探索範囲の矩形の列数を決定する列数決定手段と、
   前記列数決定手段によって決定された列数を前記探索範囲を記憶しておく内部記憶領域へ読み込む範囲として、前記参照画像を格納している格納領域へ指定する読み込み範囲指定手段とを有することを特徴とする請求項１記載の画像圧縮符号化装置。
3. 前記最大類似度探索手段による前記探索結果を順次累積する探索結果記憶手段と、
   該対象画像より以前に処理された過去画像において、前記対象画像の対象矩形の位置の周辺に相当する過去周辺矩形の探索結果を前記探索結果記憶手段から取得し、該探索結果を用いて該対象矩形へと移動したと予測される過去周辺矩形を決定し、該過去周辺矩形について予測される動きベクトルを過去画像周辺ベクトルとして前記探索範囲決定手段へ通知する過去画像周辺探索結果統計手段を有することを特徴とする請求項１乃至３のいずれか一項記載の動画圧縮符号化装置。
4. 前記対象矩形の周辺に位置し、かつ既に探索が終了している前記対象画像における対象周辺矩形の探索結果を前記探索結果記憶手段から取得し、該探索結果を用いて該対象矩形と該対象周辺矩形との距離に応じた類似度に対する重み付け処理を行い、閾値以上の類似度を示す対象周辺矩形の動きベクトルを対象画像周辺ベクトルとして前記探索範囲決定手段へ通知する対象画像周辺探索結果総計手段を有することを特徴とする請求項３記載の動画圧縮符号化装置。
5. 前記探索結果記憶手段に格納されている前記過去画像の探索結果を用いて、類似度に基づく重み付けをして統計することによって取得した該過去画像の一画面における平均的な動きベクトルを過去画像平均ベクトルとして探索範囲決定手段へ通知する請求項２又は４記載の動画圧縮符号化装置。
   

Images