JP2007281630A - 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置 - Google Patents

Abstract

【課題】外部フレームメモリから内部参照用ローカルメモリへの画素データ転送量を削減した動き検出装置において、メモリ容量の削減と、画素転送を制御する回路の規模削減もしくは処理ステップの削減する動き検出装置を提供する。
【解決手段】参照メモリ管理手段FMCtrと内部参照用メモリIRMにおいて、更新すべき領域の高さをＬ画素（Ｌは２の累乗）とし、アドレス計算がしやすい大きさの論理アドレス区画をピクチャ空間に割り当て、ＦＩＦＯ管理を行う、もしくは、補助メモリを追加し、補助メモリ以外が従来の画面幅の矩形領域でＦＩＦＯ管理を行うようにすることによってアドレス計算を簡略化し、内部参照メモリと参照メモリ管理手段における実装回路の削減を実現する。
【選択図】図１

Description

本発明は、ピクチャを構成するブロックの動き検出を行う動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置に関する。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbits/sの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ‐Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ‐１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ‐１は、動画像信号を１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ‐１規格では対象とする品質を伝送速度が主として約１．５Mbpsで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ‐２では、動画像信号を２〜１５MbpsでＴＶ放送品質を実現する。さらに現状では、ＭＰＥＧ‐１、ＭＰＥＧ‐２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、ＭＰＥＧ‐１、ＭＰＥＧ‐２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ‐４が規格化された。ＭＰＥＧ‐４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。

更に、２００３年に、ＩＳＯ／ＩＥＣとＩＴＵ‐Ｔが共同でより高圧縮率の画像符号化方式として、ＭＰＥＧ‐４ＡＶＣおよびＨ．２６４ が標準化されている。現在、ＨＤ（High Definition）画像などに適したHigh Profile対応の改正規格案を策定中である。Ｈ．２６４規格のアプリケーションとしては、ＭＰＥＧ‐２やＭＰＥＧ‐４と同様にディジタル放送、ＤＶＤ（Digital Versatile Disk）プレーヤ／レコーダ、ハードディスクプレーヤ／レコーダ、カムコーダ、テレビ電話などに広がることが予想されている。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚の参照画像のみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚の参照画像を参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化の基本単位であるマクロブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。

Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。

図 21は従来の画面間予測符号化装置の説明するためのブロック図である。
この画面間予測符号化装置は、動き検出器MEと、マルチフレームメモリFrmMemと、減算器Sub1と、減算器Sub2と、動き補償器MCと、符号化器Encと、加算器Add1と、動きベクトルメモリMVMemと、動きベクトル予測器MVPredとを有している。

動き検出器MEは、マルチフレームメモリFrmMemから出力される動き検出参照画素MEpelを画面信号Vinと比較し、動きベクトルMVと参照フレーム番号RefNoを出力する。参照フレーム番号RefNoは、複数の参照画像の中から選択された、対象画像の符号化で参照する参照画像を特定する識別信号である。動きベクトルMVは、動きベクトルメモリMVMemに一時的に記憶されたのち近傍動きベクトルPrevMVとして出力され、動きベクトル予測器MVPredにて予測動きベクトルPredMVを予測するために参照される近傍動きベクトルPrevMVとして使用される。減算器Sub2は動きベクトルMVから予測動きベクトルPredMVを減算し、その差を動きベクトル予測差分DifMVとして出力する。

一方、マルチフレームメモリFrmMemは参照フレーム番号RefNoおよび動きベクトルMVで示される画素を動き補償参照画素MCpe11として出力し、動き補償器MCは小数画素精度の参照画素を生成して参照画面画素MCpe12を出力する。減算器Sub1は画面信号Vinから参照画面画素MCpe12を減算し、画面予測誤差DifPelを出力する。

符号化器Encは、画面予測誤差DifPelと動きベクトル予測差分DifMVと参照フレーム番号RefNoを可変長符号化し、符号化信号Strを出力する。なお、符号化時に画面予測誤差の復号化結果である復号画面予測誤差RecDifPelも同時に出力する。復号画面予測誤差RecDifPelは画面予測誤差DifPelに符号化誤差が重畳されたものであり、画面間予測復号化装置で符号化信号Strを復号化して得られる画面間予測誤差と一致する。

加算器Add1は参照画面画素MCpe12に復号画面予測誤差RecDifPelを加算し、復号画面RecPelとしてマルチフレームメモリFrmMemに記憶される。但し、マルチフレームメモリFrmMemの容量を有効に利用するため、マルチフレームメモリFrmMemに記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリFrmMemに記憶する必要が無い画面の復号画面RecPelはマルチフレームメモリFrmMemに記憶されない。

図 22は従来の画面間予測復号化装置の説明するためのブロック図である。同図において、図 21と同一符号はと同一のものを示し、その説明を省略する。

図 22に示す従来の画面間予測復号化装置は、図 21に示す従来の画面間予測符号化装置で符号化した符号化信号Strを復号化して復号画面信号Voutを出力するものであり、マルチフレームメモリFrmMemと、動き補償器MCと、加算器Add1と、加算器Add2と、動きベクトルメモリMVMemと、動きベクトル予測器MVPredと、復号化器Decとを有している。

復号化器Decは符号化信号Strを復号化し、復号画面予測誤差RecDifPel、動きベクトル予測差分DifMV、参照フレーム番号RefNoを出力する。加算器Add2は動きベクトル予測器MVPredから出力される予測動きベクトルPredMVと動きベクトル予測差分DifMVを加算し、動きベクトルMVを復号する。

マルチフレームメモリFrmMemは参照フレーム番号RefNoおよび動きベクトルMVで示される画素を動き補償参照画素MCpel1として出力し、動き補償器MCは小数画素精度の参照画素を生成して参照画面画素MCpel2を出力する。加算器Add1は参照画面画素MCpel2に復号画面予測誤差RecDifPelを加算し、復号画面RecPelとしてマルチフレームメモリFrmMemに記憶される。但し、マルチフレームメモリFrmMemの容量を有効に利用するため、マルチフレームメモリFrmMemに記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリFrmMemに記憶する必要が無い画面の復号画面RecPelはマルチフレームメモリFrmMemに記憶されない。以上のようにして、復号画面信号Vout、すなわち復号画面RecPelを符号化信号Strから正しく復号化することができる。

ところで、図 21で示した画面間予測符号化装置を実装するための構成は、一例として例えば特許文献１などに示されている。この特許文献１において示されているように、画面間予測符号化装置をＬＳＩなどで実装する場合には、図 21に示しているマルチフレームメモリFrmMemは、ＬＳＩ外に接続する外部フレームメモリと動き検出器MEでブロックマッチング探索時に直接アクセスするＬＳＩ内部のローカルメモリとに分割して実装される。

図 23は、マルチフレームメモリFrmMemの具体例を示す画面間予測符号化装置とフレームメモリの接続構成を説明するための概略図である。同図において、図 21と同一符号はと同一のものを示し、その説明を省略する。マルチフレームメモリFrmMemは、外部フレームメモリEFMと、ＬＳＩ内部の参照用ローカルメモリRLMとからなる。外部フレームメモリEFMは、画面間予測符号化装置を含むＬＳＩ外に接続される外部フレームメモリである。参照用ローカルメモリRLMは、ＬＳＩ内部のメモリであり、動き検出器MEによってブロックマッチング探索時に直接アクセスされる。ＬＳＩEncLSIは画面間予測符号化装置を含むＬＳＩであり、参照用ローカルメモリRLM以外は省略している。

図 23において動き検出を行う場合、まず外部フレームメモリEFMから探索対象となる画像領域が外部接続バスFmBusを介して参照用ローカルメモリRLMに転送される。次に参照用ローカルメモリRLMから内部バスLmBusを介してデータが読み出され、動き検出器MEによって動き検出が行われる。このような構成をとることによって、ＬＳＩの内部メモリ容量を削減している。

図 24は、１画面あたりで転送する参照画素の状態を示す模式図である。同図上段は外部フレームメモリEMF中の１画面分の参照画像を示す。同図下段は参照用ローカルメモリRLMに記憶される探索対象となる画像領域と、および次の探索対象のために転送される画像領域とを示す。同図において、１ＭＢ（マクロブロック）単位（＝１６画素×１６画素）で動き検出処理を行う場合、１ＭＢ行分の動き検出を行うためには、（探索範囲の縦の長さ）×（１画面の横幅）分の画素数のメモリ転送が必要となることを表している。１画面分の動き検出を行う時には、さらに１画面の縦のＭＢ数をかけた分の画素数のメモリ転送量が必要であることを示している。つまり、ＭＰＥＧ‐２などのＳＤサイズ画像（７２０画素×４８０画素、４５ＭＢ×３０ＭＢ）で、縦横１ＭＢ分ずつ移動した画素範囲を探索範囲とした場合、
（１６＋１６×２）×７２０×３０＝１，０３６，８００
の画素が１画面あたりの動き検出で転送されることになる。

ここで、Ｈ．２６４のＳＤサイズ画像を想定した参照用ローカルメモリの管理状態を考えると、小数画素精度の動き補償には６タップのフィルタを用いるため、従来のＭＰＥＧ‐２などより周辺画素が多く必要となる（例えば、非特許文献１参照。）。つまり、ＭＰＥＧ‐２などでは小数精度画素位置を囲む４つの整数画素から小数精度画素を作っていたが、６タップフィルタの場合３６の整数画素から小数精度画素を作るため、同じ領域で探索を行う場合、ＭＰＥＧ‐２と比べ上２行、下２行、左２列、右２列の画素が必要となる。従って、Ｈ．２６４などのＳＤサイズ画像で、縦横１ＭＢ分ずつ移動した画素範囲を探索範囲とした場合、
（１６＋１６×２＋４）×７２０×３０＝１，１２３，２００
の画素が１画面あたりの動き検出で転送されることになる。

また、ＨＤサイズ（１９２０画素×１０８８画素、１２０ＭＢ×６８ＭＢ）の画像を扱う場合、特にＨ．２６４による符号化を行う場合には、前述の１画面あたりの画素転送量が大幅に増加してしまい、図 23に示す外部バスFmBusの転送能力を超えてしまう可能性がある。

例えば、ＭＰＥＧ‐２のＨＤサイズ画像を想定した参照用ローカルメモリの管理状態を想定する。この場合、ＨＤサイズの画像はＳＤサイズの画像に対して約６倍の画素数を持つため、簡単のため上下、左右それぞれ２．５倍の参照領域を探索するものとすれば、縦横の探索範囲は縦横４０画素分ずつ移動した画素範囲となり、同様に、
（１６＋４０×２）×１，９２０×６８＝１２，５３３，７６０
の画素が１画面あたりの動き検出で転送されることになる。

さらに、Ｈ．２６４のＨＤサイズ画像を想定した参照用ローカルメモリの管理状態を想定した場合、同様に、
（１６＋４０×２＋４）×１，９２０×６８＝１３，０５６，０００
の画素が１画面あたりの動き検出で転送されることになる。

このように、特にＨ．２６４のＨＤサイズの画像を扱う場合には、ＭＰＥＧ‐２のＳＤサイズとは桁違いに多い転送量となる。そのため、面積コストを犠牲にして画像転送量を削減する手法が考えられる。 図 25は、参照画素の転送量を削減する場合のメモリ更新状態を示す模式図である。

符号化対象のストリームに含まれる１ピクチャPicがフレーム構造をとる場合、ＳＤ画像サイズではピクチャの幅picWidthと高さpicHeightはそれぞれ４５ＭＢ（＝７２０画素）と３０ＭＢ（＝４８０画素）となり、ＨＤ画像サイズではそれぞれ１２０ＭＢ（＝１，９２０画素）と６８ＭＢ（＝１，０８８画素）となる。以降、ピクチャの幅picWidthと高さpicHeightはそれぞれＭ（ＭＢ）とＮ（ＭＢ）であるものとする。

動き検出器MEにおいて原画像のｎ行目のＭＢについて動き検出が行われている場合、参照用ローカルメモリRLMには、原画像のｎ行目のＭＢで参照されるピクチャの幅picWidth×参照高さ分の画素データが格納されている。すなわち、ＳＤ画像サイズでは、原画像のｎ行目に対応する行のＭＢに、上下１ＭＢ分ずつ加えた参照高さ分の画素データが格納されている。また、ＨＤ画像サイズでは、原画像のｎ行目に対応する行のＭＢに、上下４０画素分ずつ加えた参照高さ分の画素データが格納されている。なお、原画像におけるｍ列目のｎ行目の符号化対象ＭＢのための参照画像における探索中心meCntは、原画像の対象ＭＢと同じ位置となっているかもしれないが、異なる位置にずらした所を探索中心meCntとなっているかもしれない。

このように、実探索領域よりも広い領域を予備記憶領域として残すことによって、画像転送量をおおよそ（１ＭＢ単位高さ）／（探索範囲の縦の高さ）にまで削減することが出来る。

また、図 26は、実装メモリ容量を削減する場合の格納画素の管理状態を示す模式図である。参照領域RefAreaは、動き検出器MEにおいて参照する領域、予備記憶領域SubAreaは、動き検出処理中の符号化対象ブロックとの参照には用いないが現在処理中以降の動き検出で参照に用いる領域、次回取得領域NxtAreaは、次の符号化対象ブロックとの参照に用いる領域、また、次回開放領域RelAreaは、次の符号化対象ブロック以降の参照には不要になる領域であり、物理的なメモリ領域として次回取得領域NxtAreaが上書きされる。面積コストの増加を抑制するためには、同図で示しているように、参照用ローカルメモリRLMに配置する領域において、予備記憶領域SubAreaを削減することで実現可能となる。

しかしながら、図 26に示したように、参照用ローカルメモリRLMにおいて矩形領域を組み合わせた領域に対して、メモリアドレスをＦＩＦＯ的に扱うと、アドレス管理が非常に困難になる。図 27は、ＦＩＦＯ管理を用いた時の参照メモリの論理境界における物理アドレス配置図である。簡単のため、同図では横320画素×縦240画素のＱＶＧＡサイズのピクチャを示しており、動き検出範囲の垂直水平方向がそれぞれ±１６画素であり、１ワードあたり８画素格納されているとした場合、ラスターアドレスで左上からアドレスマッピングを行った時に、０アドレスを跨ぐ付近のアドレス状態を示している。

図 27(a)において、点線で囲んだ領域HLAは、参照用ローカルメモリRLMにおいてアドレス０から最終アドレスまで一度に格納できる領域を示しており、同図ではピクチャの先頭からアドレス０を割り振った時の領域となっている。例の場合では、横に40ワード（320画素）で、縦に32ワード（２４０画素）並んだ領域（右下がり斜線と横線を付けた部分）と、横が探索領域の一部である6ワード（４８画素）と更新領域の2ワード（16画素）で、縦に16ワード（縦に16画素）が並んだ領域（点をつけている部分）の合計1408ワードが含まれていることを想定している。また、図 27(b)は、先頭の1MB（マクロブロック）分を構成する物理アドレス番地を示している。図 27(b)では、1MBの横が16画素の2ワードで構成されており、画面横のサイズが320画素（=40ワード）となっているので、縦方向は40刻みのアドレス番地が割り振られている状態を表している。

図 27(c)は、点線で囲んだ領域HLAの領域を超える境界周辺の画素空間の物理アドレスを示したものである。領域HLAを画素転送によって全て埋めてしまった後にさらに次に転送されるMBを格納する場合、参照用ローカルメモリRLMをFIFOとして扱い、次回開放領域RelAreaであるピクチャ左上隅と同じ物理アドレスを割り振ることになる。つまり、一度に参照用ローカルメモリRLMに格納しきれない右上がり斜線部で示した領域HLAを超える部分は、動き検出使用済みとして消去しても問題ない画面左上のMBの画素を格納していた物理アドレス（図 27(b)の物理アドレス）に上書きをすることになる。

従って、図 27(c)の丸印付近の画素転送を行う場合、領域HLAを跨ぐ部分でアドレスに不整合が生じ、一般的なラスターアドレスでのデータアクセスが不可能となる。また、この０アドレスを跨ぐ水平位置に関しても、垂直位置に依存するため一意には決まらず、アドレス計算がさらに困難となる。

以上に説明したように、参照用ローカルメモリRLMにおいて矩形領域の組合せで構成した領域に対して物理アドレスをFIFO管理する必要がある場合、中途半端な画素空間位置でアドレスが使いまわされることになるので、扱いが非常に難しくなり、乗算だけでなく多くの除算や剰余計算が必要となる。従って、複雑なアドレス計算を必要とする結果として、ハード実装の場合では回路面積が大きくなったり、処理周波数辺りの動作タイミングが厳しくなったりし、一方、ソフト実装の場合では、莫大な処理サイクル数がかかるようになったりするという課題が存在する。
特許第２９６３２６９号公報 ISO/IEC 14496-10, International Standard: "Information technology - Coding of audio-visual objects - Part 10 : Advanced video coding"(2004-10-01)

そこで、本発明は上記の事情に鑑みてなされたものであり、外部のフレームメモリから内部参照用ローカルメモリへのデータ転送の回数を削減した動き検出装置において、メモリ容量の削減と、実装回路規模もしくは処理ステップの削減を両立した動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置を提供することを目的とする。

上記目的を達成するため、本発明に係る動き検出装置は、ピクチャを構成するブロック毎に動きを検出する動き検出装置であって、参照ピクチャを記憶する記憶手段と、前記参照ピクチャのうち前記記憶手段から転送された転送領域を構成する画素データを記憶する参照メモリ手段と、前記参照メモリ手段に記憶されている、転送領域に含まれる探索領域の画素データを用いて動き検出の対象となる対象ブロックの動きを検出する動き検出手段と、次の対象ブロック用に、前記転送領域の一部を更新するメモリ管理手段とを備え、前記転送領域は、第１から第３の矩形領域からなり、前記第１の矩形領域は、前記探索領域を含み、前記第２の矩形領域の幅は前記参照ピクチャの左端の画素から第１の矩形領域の左端の左に隣接する画素までの幅であり、前記第２の矩形領域の高さは第１の矩形領域の高さよりもＬ画素小さく、前記第２の矩形領域の下端は第１の矩形領域の下端と同じ水平位置であり、前記第３の矩形領域の幅は前記参照ピクチャの右端の画素から第１の矩形領域の右端の右に隣接する画素までの幅であり、前記第３の矩形領域の高さは第１の矩形領域の高さよりもＬ画素小さく、前記第３の矩形領域の上端は第１の矩形領域の上端と同じ水平位置であり、前記Ｌは２の累乗で表され、前記メモリ管理手段は、前記参照メモリ手段内の記憶領域であって、前記第１の領域内の左上に位置する高さＬ画素幅Ｋ画素分の画素データを記憶する記憶領域に、第１の領域の右に隣接しかつ第３領域の下に隣接する高さＬ画素幅Ｋ画素からなる更新領域の画素データを前記記憶手段から転送する。

これによって、マルチフレームメモリから局所参照メモリへの参照画素データ転送量を削減し、局所参照メモリの実装量も削減しつつ、参照メモリ管理手段で行う演算を簡略化が可能となり、回路実装量も削減することができる。

ここで、前記メモリ管理手段は、参照ピクチャを縦にＭ列に等分割し、高さＬ画素毎に横に分割し、転送領域の横分割による横の分割数をＮ行とし、参照メモリ手段を、「Ｍ×（Ｎ−１）＋１」以上「Ｍ×Ｎ−１」以下の個数のメモリバンクに分割し、分割後のメモリバンクを巡回的に先入れ先出し式に管理するようにしてもよい。これによって、参照メモリ管理手段で行う物理メモリマップへのアドレス変換において、複雑な除算、剰余、乗算などの演算を削減できるようになり、さらに参照メモリ管理手段で行う演算を簡略化が可能となり、回路実装量も削減することができる。

また、前記メモリ管理手段は、参照ピクチャを含みかつ水平方向に２の累乗個のアドレスを持つ仮想空間を、２の累乗で表されるＭ列に縦に等分割し、高さＬ画素毎に横に分割し、転送領域の横分割による横の分割数をＮ行とし、参照メモリ手段を、「Ｍ×（Ｎ−１）＋１」以上「Ｍ×Ｎ−１」以下の個数のメモリバンクに分割し、分割後のメモリバンクを巡回的に先入れ先出し式に管理するようにしてもよい。これによって、参照メモリ管理手段で行う物理メモリマップへのアドレス変換において、ビットシフトやビットマスクやビット連結などで実装できるため、さらに参照メモリ管理手段で行う演算を簡略化が可能となり、回路実装量も削減することができる。

また、前記第１の矩形領域は、その下端からＬ画素の高さまでの部分である第４矩形領域とそれ以外の第５矩形領域からなり、前記参照メモリ手段は、第１メモリ部と補助メモリ部とを有し、前記第１メモリ部は、前記第５の矩形領域と前記第２の矩形領域と前記第３の矩形領域を先入れ先出し式に格納し、前記補助メモリ部は、前記第４の矩形領域を先入れ先出し式に格納し、前記参照メモリ管理部は、次の対象ブロック用に、補助メモリ部から前記第４の矩形領域左端の縦Ｌ画素横Ｋ画素分の画素データを第１メモリ部に転送し、さらに、前記記憶手段から前記更新領域の画素データを先入れ先出し式に前記補助メモリ部に転送するようにしてもよい。これによって、前記第４の矩形領域以外は、（参照ピクチャ幅）×（探索領域の高さ−更新領域の高さ）のメモリ容量で管理ができるため、参照メモリ管理手段で行う演算を簡略化が可能となり、回路実装量を削減することができる。

また、前記補助メモリ部は、さらに、前記第４の矩形領域の下に接し同じ横幅の第６の矩形領域を格納し、前記メモリ管理手段は、次の対象ブロック用に、前記補助メモリ部から前記第４の矩形領域左端の縦Ｌ画素横Ｋ画素分の画素データを第１メモリ部に転送し、さらに、前記第４の矩形領域と前記第６の矩形領域とを一括して先入れ先出し式に前記補助メモリ部を管理し、前記更新領域を下に拡張した拡張更新領域を、前記記憶手段から前記補助メモリ部に転送し、前記動き検出手段は前記第４の矩形領域と前記第５の矩形領域と前記第６の矩形領域を用いて動き検出の探索を行うようにしてもよい。これによって、フレームメモリの転送量は増加するが、最低限のメモリ追加で動き検出の探索範囲の高さを拡張することが可能となる。

また、前記第１の矩形領域は、その上端からＬ画素の高さまでの部分である第７の矩形領域とそれ以外の第８の矩形領域からなり、前記参照メモリ手段は、第１メモリ部と補助メモリ部とを有し、前記第１メモリ部は、前記第８の矩形領域と前記第２の矩形領域と前記第３の矩形領域を先入れ先出し式に格納し、前記補助メモリ部は、前記第７の矩形領域を先入れ先出し式に格納し、前記参照メモリ管理部は、次の対象ブロック用に、前記第１メモリ部から前記第７の矩形領域右端の縦Ｌ画素横Ｋ画素分の画素データを前記補助メモリ部に転送し、さらに、前記記憶手段から前記更新領域の画素データを先入れ先出し式に第１メモリ部に転送するようにしてもよい。これによって、前記第７の矩形領域以外は、（参照ピクチャ幅）×（探索領域の高さ−更新領域の高さ）のメモリ容量で管理ができるため、参照メモリ管理手段で行う演算を簡略化が可能となり、回路実装量を削減することができる。

また、前記補助メモリ部は、さらに、前記第７の矩形領域の上に接し同じ横幅の第９の矩形領域を格納し、前記メモリ管理手段は、次の対象ブロック用に、第１メモリ部から前記第７の矩形領域右端の縦Ｌ画素横Ｋ画素分の画素データを前記補助メモリ部に転送し、さらに、前記第７の矩形領域と前記第９の矩形領域とを一括して先入れ先出し式に前記補助メモリ部を管理し、前記更新領域を、前記記憶手段から前記第１メモリ部に転送する。

前記動き検出手段は前記第７の矩形領域と前記第８の矩形領域と前記第９の矩形領域を用いて動き検出の探索を行うようにしてもよい。これによって、フレームメモリの転送量は増加するが、最低限のメモリ追加で動き検出の探索範囲の高さを拡張することが可能となる。

なお、本発明は、このような動き検出装置として実現することができるだけでなく、このような動き検出装置が備える特徴的な手段をステップとする動き検出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る動き検出装置によれば、外部のフレームメモリから内部参照用ローカルメモリへのデータ転送の回数を削減できると同時に、メモリ容量の削減と、ハードウェア実装回路規模もしくはソフトウェア実装の処理ステップの削減を両立することができる。

以下、本発明の各実施の形態について、それぞれ図 1から図 20を参照しながら説明する。

（実施の形態１）
図 1は、本発明の実施の形態１に係る動き検出装置が用いられる画面間予測符号化装置の構成を示すブロック図である。なお、図 21に示す従来の画面間予測符号化装置の説明するためのブロック図と同様の部分については同じ符号を付し、その説明を省略する。

本実施の形態の画面間予測符号化装置と図 21に示す従来の画面間予測符号化装置との相違点は、マルチフレームメモリFrmMemの代わりに外部マルチフレームメモリEFMと内部参照用メモリIRMとを備える点と、参照メモリ制御部FMCtrを追加している点とである。内部参照用メモリIRMは、画面間予測符号化装置内の外部マルチフレームメモリEFM以外の構成要素を含むＬＳＩの内部に設けられる。外部マルチフレームメモリEFMは、例えば上記ＬＳＩに外付けのＳＤＲＡＭなどの大容量メモリである。参照メモリ制御部FMCtrは、外部マルチフレームメモリEFMから内部参照用メモリIRMへのデータ転送を制御する。

動作の流れは、図 21に示す従来の画面間予測符号化装置の動作とほぼ同じであり、加算器Add1からの加算結果である復号画面RecPelは外部マルチフレームメモリEFMに記憶される。次に、外部マルチフレームメモリEFMから動き補償予測で用いる領域を、参照用ローカルメモリRLMに出力する。また、参照メモリ管理手段FMCtrは、外部マルチフレームメモリEFMと内部参照メモリIRM間のデータ転送を制御する。

図 2は画面間予測符号化装置とフレームメモリの接続構成を示す概略図である。同図において、図 1や図 23と同一符号は同一のものを示し、その説明を省略する。内部参照メモリIRMは、外部マルチフレームメモリEFMからの画素転送を一次記憶するキャッシュメモリOCMと、動き検出器MEで実際に画素探索を行う参照用ローカルメモリRLMとに階層的に構成している。これは、ＬＳＩ外部からの画素転送量を削減するための一次バッファとしてキャッシュメモリOCMを用い、よりアクセス頻度が高く実際に探索を行うためのメモリとして参照用ローカルメモリRLMを用いているためである。

以下、参照メモリ管理手段FMCtrによって制御する内部参照メモリIRMの動作に関して説明を続ける。

図 3はキャッシュメモリと参照用ローカルメモリの記憶領域を示す模式図である。同図に置いて、参照領域AreaRLMは参照用ローカルメモリRLMに格納される領域を表しており、探索領域とその右に隣接する更新用領域とを含む。キャッシュ領域AreaOcmは参照領域AreaRLMを含んでおり、キャッシュメモリOCMに格納される領域を表している。

図 4はキャッシュメモリ上に記憶する矩形領域構成を示す模式図である。キャッシュ領域AreaOcmの領域形状をさらに詳細に説明している。矩形領域１ARect1は参照領域AreaRLMを含んだ矩形領域である。矩形領域２ARec2は矩形領域１ARect1の左側に位置する矩形領域であり、矩形領域２ARec2の幅は参照ピクチャの左端の画素から矩形領域１ARect1の左端の左に隣接する画素までの幅であり、矩形領域２ARec2の高さは矩形領域１ARect1の高さよりもＬ画素小さく、矩形領域２ARec2の下端は矩形領域１ARect1の下端と同じ水平位置である。また、矩形領域３ARec3は矩形領域１ARect1の右側に位置する矩形領域であり、矩形領域３ARec3の幅は前記参照ピクチャの右端の画素から矩形領域１ARect1の右端の右に隣接する画素までの幅であり、矩形領域３ARec3の高さは矩形領域１ARect1の高さよりもＬ画素小さく、矩形領域３ARec3の上端は矩形領域１ARect1の上端と同じ水平位置である。また、次回取得領域ARenewは次のブロックの探索のために追加するメモリ領域であり、次回開放領域AEraseは矩形領域１ARect1内の左上に位置する高さ領域であり、キャッシュメモリOCMにおいて次回開放領域AEraseと次回取得領域ARenewとは物理的に同じメモリ領域であり、ＦＩＦＯの先頭（次回取得領域ARenew）と末尾（次回開放領域AErase）に相当し、上書きされる領域である。ここで、参照ピクチャRefPicの横をＷ画素、縦をＨ画素とし、動き検出を行う領域の横幅がＪ画素以下、縦幅がＩ画素以下とし、次回取得領域ARenewと次回開放領域AEraseの大きさを横Ｋ画素、縦Ｌ画素とする時、矩形領域１ARect1の対頂角の座標は（Ｘ，Ｙ）と（Ｘ＋Ｉ−１，Ｙ＋Ｊ−１）、矩形領域２ARect2の対頂角の座標は（０、Ｙ＋Ｌ）と（Ｘ−１，Ｙ＋Ｊ−１）、矩形領域３ARect3の対頂角の座標は（Ｘ＋Ｉ、Ｙ）と（Ｗ−１，Ｙ＋Ｊ−Ｌ−１）となる。

図 5は次の動き検出を行う時の矩形領域構成を示す模式図である。同図において図 4と同じ記号のものは同じ内容を表すものとして、説明を省略する。ただし、次回取得領域ARenewと次回開放領域AEraseは、一つ前のブロックに対する動き探索状態の位置となっている。動き探索のブロックが一つ進み、図 4の状態から図 5なった時、矩形領域１ARect1の対頂角の座標は（Ｘ＋Ｋ，Ｙ）と（Ｘ＋Ｉ＋Ｋ−１，Ｙ＋Ｊ−１）、矩形領域２ARect2の対頂角の座標は（０、Ｙ＋Ｌ）と（Ｘ＋Ｋ−１，Ｙ＋Ｊ−１）、矩形領域３ARect3の対頂角の座標は（Ｘ＋Ｋ＋Ｉ、Ｙ）と（Ｗ−１，Ｙ＋Ｊ−Ｌ−１）となる。

基本的な領域操作は、図 4と図 5で示すように行うが、以下、物理アドレスの計算方法を示す。本発明における実施の形態１では、次回取得領域ARenewの縦の長さと次回開放領域AEraseの縦の長さは、２の累乗の長さに限定することによって、論理空間アドレスから物理アドレスへの変換を容易に行うことを可能とする。例えば、符号化ブロックの縦の高さが１２画素であったとしても、Ｌを１６（＝２＾４、＾は累乗を表す。）画素として更新を行う。また、１ワードの画素構成数も２の累乗であることが望ましい。

図 6は本発明の実施の形態１に係る動き検出装置におけるアドレス変換の中間情報の位置を示す模式図である。同図では簡単のため、図 27と同様に横320画素×縦240画素のＱＶＧＡサイズのピクチャを示しており、１ワードが８画素で構成されている。また、太線で囲んだ領域HLAは、動き検出の縦が±１６画素で横が±１６画素（±２ワード）で、更新領域が（横１６画素（＝２ワード））×（縦４８画素）の場合に、物理アドレスが０から１，４０７がマッピングされる一区域を示しており、太線を越えた論理空間位置にメモリ書き込みが発生する場合は、物理的には前のデータを上書きすることによってＦＩＦＯとしてキャッシュメモリOCMを使用することになる。言い換えれば、複数の領域HLAのそれぞれの先頭画素は、巡回的にＦＩＦＯとして管理されるキャッシュメモリOCMの固定の特定番地（例えば、物理アドレス０番地）に必ず格納されることになる。

同図において、小領域SAは（１ワード）×（Ｌ画素）の小領域を表しており、本実施の形態１ではＬを２の累乗とすることによって、アドレス計算を容易にしている。Ａ０及びＡ１は小領域SAが左上の原点からラスター順でいくつかを表している。Ｂ０及びＢ１は太線で囲んだ領域HLAにおいていくつ目の小領域SAかを表しており、Ｃ０及びＣ１は小領域SAがいくつ目の太線で囲んだ領域HLAに存在するかを示している。また、Ｄ０及びＥ０は、対象ピクチャの最初の領域HLAにおいて、小領域SAと同じ物理メモリアドレス位置となる位置の小領域SA単位の水平位置と垂直位置を示している。

図 7は本発明の実施の形態１に係る動き検出装置におけるアドレス変換を行うためのフローチャートである。図 7(a)は、従来と同様になるようにラスターアドレスで物理アドレスを計算するフローであり、図 7(b)は、小領域SA内で連続アドレスとなるように計算するフローである。以下、これらのアドレス変換のフローを説明する。

図 7(a)において、S700はアドレス変換処理の開始を示している。変換したい空間座標を(x0, y0)とした時、まず、Ａ０と小領域SA内での相対座標(delta_x0, delta_y0)を求める（ステップS701）。ここで、図 6ではＬを１６画素としており、１ワードも８画素にしているため、Ａ０や相対座標(delta_x0, delta_y0)を求める時に除算や剰余を求める時に、ビットシフトとビットマスクで対応可能となる。以下、「>>」はビットシフトを表し、「&」はビットアンドを表し、「%」は剰余演算を表し、「/」は整数除算を表している。

A0 = (y0>>4)*40+(x0>>3); （数式１）
delta_ x0 = x0&0x7; （数式２）
delta_ y0 = y0&0xF; （数式３）

次に、Ａ０を太線で囲んだ領域HLAの構成ワード数の８８を用いて除算と剰余を計算し、Ｂ０とＣ０を求める（ステップS702）。

B0 = A0%88; （数式４）
C0 = A0/88; （数式５）

次に、参照ピクチャRefPicの横幅ワード数の４０を用いて除算と剰余を計算し、Ｄ０とＥ１を求める（ステップS703）。

D0＝B0%40; （数式６）
E1＝B0/40; （数式７）

最後にＢ０が80より小さいかどうかを判断し（ステップS704）、等しければ（数式８）を用い（ステップS705）、もし等しくなければ（数式９）を用いて（ステップS706）物理アドレスadr0に変換する。

adr0 = D0 + (E0*40)<<4 + delta_y0*40; （数式８）
adr0 = D0 + (E0*40)<<4 + delta_y0*8; （数式９）

ここで、小領域SAの高さＬを２の累乗としているため、（数式８）や（数式９）でも乗算ではなく、ビットシフト（4ビット左シフト）で対応可能となっている。

さらに、図 7(b)のように小領域SA内で連続となるようにアドレスを振ることによって、計算をより簡略化することが可能となる。S710はアドレス変換処理の開始を示している。変換したい空間座標を(x1, y1)とした時、まず、Ａ１と小領域SA内での相対座標(delta_x1, delta_y1)を求める（ステップS711）。ここで、図 7(a)と同様に、１ワードを８画素にしているため、Ａ１や相対座標(delta_x1, delta_y1)を求める時に除算や剰余を求める時に、ビットシフトとビットマスクで対応可能となる。

A1 = (y1>>4)*40+(x1>>3); （数式１０）
delta_ x1 = x1&0x7; （数式１１）
delta_ y1 = y1&0xF; （数式１２）

次に、Ａ１を太線で囲んだ領域HLAの構成ワード数の８８を用いて除算と剰余を計算し、Ｂ１とＣ１を求める（ステップS712）。

B1 = A1%88; （数式１３）
C1 = A1/88; （数式１４）

最後に（数式１５）を用いて（ステップS713）物理アドレスadr1に変換する。

adr1 = B1<<4 + delta_y1; （数式１５）

ここでも同様に、小領域SAの高さＬを２の累乗としているため、（数式１５）でも乗算ではなく、ビットシフト（4ビット左シフト）で対応可能となっている。

（実施の形態２）
以下、実施の形態２にける、参照メモリ管理手段FMCtrによって制御する内部参照メモリIRMの動作を説明する。

図 8は本発明の実施の形態２に係る動き検出装置で用いる参照ピクチャ画素を格納する管理領域を示す模式図である。本発明の実施の形態２では、キャッシュメモリOCM上の論理空間において、横方向はピクチャ幅を２の累乗個に分割し、縦の高さを次回取得領域ARenewの高さＬとした区画に分割し、前記区画をＦＩＦＯとして巡回管理する。同図では区画１から区画９が巡回的に論理空間に現れている状態を表している。物理マップmemmap2は、区画１から区画９が配置されている状態を表していて、区画９の領域において密点で示した領域が疎点で示す領域に上書きされている。

さらに、図 9と図 10を用いて、詳細なアドレス計算の方法を説明する。図 9は本発明の実施の形態２に係る動き検出装置におけるアドレス変換の中間情報の位置を示す模式図である。同図では簡単のため、図 27と同様に横320画素×縦240画素のＱＶＧＡサイズのピクチャを示しており、１ワードが８画素で構成されている。ここでは、管理区画の幅はピクチャ幅を２の累乗である４で割った値の１０で管理されるものとする。この時、ピクチャ幅を２の累乗で割り切れない場合は、一番右の区画は無効画素が入っているものとして扱う。つまり、ピクチャ幅が３８ワードとなっていたとしても、４０ワードあるものとして管理する。

同図において、図 6と同じ記号のものは同じ内容を表すものとして説明を省略する。また、小領域SAが（１ワード）×（Ｌ画素）＝（８画素）×（１６画素）の小領域とした時に、Ａ２は小領域SAが左上の原点からラスター順でいくつ目かを表している。Ｂ２は参照ピクチャRefPicの左上からラスター順に数えていくつ目の区画かを表しており、Ｃ２は太線で囲んだ領域HLA内でいくつ目の区画かを表している。

図 10は本発明の実施の形態２に係る動き検出装置におけるアドレス変換を行うためのフローチャートである。以下、フローチャートを用いて実施の形態２のアドレス変換のフローを説明する。

S1000はアドレス変換処理の開始を示している。変換したい空間座標を(x2, y2)とした時、まず、Ａ２と小領域SA内での相対座標(delta_x2, delta_y2)を求める（ステップS1001）。

A2 = (y2>>4)*40+(x2>>3); （数式１５）
delta_x2 = x2&0x7; （数式１６）
delta_y2 = y2&0xF; （数式１７）

次に、Ｂ２とＣ２を求める（ステップS1002）。

B2 = (y2>>4)<<2 + ((x2>>3)/10); （数式１８）
C2 = B2%9; （数式１９）

最後に、物理アドレスadr2を求める（ステップS1003）。

adr2 = (C2*160) + (delta_y2*10+((x2>>3)%10)); （数式２０）
以上で説明したように、本実施の形態では、参照メモリ管理部FMCtrは、参照ピクチャの幅を縦にＭ個に等分割し、縦Ｌ画素毎に横に分割し、転送領域の横分割による縦方向の分割数をＮとし、キャッシュメモリOCMを、「Ｍ×（Ｎ−１）＋１」以上「Ｍ×Ｎ−１」以下の個数のメモリバンクに分割し、分割後のメモリバンクを巡回的に先入れ先出し式に管理する。上記例ではＭ＝４、Ｎ＝３、メモリバンク数が９である場合について説明した。

実施の形態１では、（数式４）〜（数式７）、（数式１３）〜（数式１４）で除算や剰余計算、（数式８）〜（数式９）で乗算や条件判断が必要と、多くの演算が必要であったが、実施の形態２の（数式１８）〜（数式２０）では、区画幅（１０ワード）での除算と剰余と、区画管理数（９区画）の剰余と、２回の掛け算で実現可能となる。また、除算・剰余計算における除数も実施の形態１での除数である８８と比べて、小さい数で収まるため、回路実装コストも抑える事が可能となる。

（実施の形態３）
以下、実施の形態３にける、参照メモリ管理手段FMCtrによって制御する内部参照メモリIRMの動作を説明する。

図 11は本発明の実施の形態３に係る動き検出装置で用いる参照ピクチャ画素を格納する管理領域を示す模式図である。本発明の実施の形態３では、キャッシュメモリOCM上において、水平方向が２の累乗の幅となる仮想論理空間において、横方向は適当な２の累乗の幅、また、縦の高さを次回取得領域ARenewの高さＬとした区画に分割し、前記区画をＦＩＦＯとして巡回管理する。ここで、区画が２の累乗幅なので参照ピクチャRefPic右端は、管理区画上に無効な領域が発生することも有り得る。同図では区画１から区画９が巡回的に論理空間に現れている状態を表している。物理マップmemmap3は、区画１から区画９が配置されている状態を表していて、区画９の領域において密点で示した領域が疎点で示す領域に上書きされており、区画２及び区画６ではもともと画面右端を越えているため実画素が存在しない無効な領域となっていることを示している。

さらに、図 12と図 13を用いて、詳細なアドレス計算の方法を説明する。図 12は本発明の実施の形態３に係る動き検出装置におけるアドレス変換の中間情報の位置を示す模式図である。同図では簡単のため、図 27と同様に横320画素×縦240画素のＱＶＧＡサイズのピクチャを示しており、１ワードが８画素で構成されている。ここでは、管理区画の幅は２の累乗である１６ワードで管理されていて、仮想空間としては、６４ワード（＝２＾６）の横幅があるが、画素が実配置されるのはその内の前３区画（４８＝１６×３）となっていることを示している。

同図において、図 6と同じ記号のものは同じ内容を表すものとして説明を省略する。また、小領域SAが（１ワード）×（Ｌ画素）＝（８画素）×（１６画素）の小領域とした時に、Ａ３は小領域SAが左上の原点からラスター順でいくつかを表している。Ｂ３は参照ピクチャRefPicの左上からラスター順に数えていくつ目の区画かを表しており、Ｃ３は太線で囲んだ領域HLA内でいくつ目の区画かを表している。

図 13は本発明の実施の形態３に係る動き検出装置におけるアドレス変換を行うためのフローチャートである。以下、フローチャートを用いて実施の形態３のアドレス変換のフローを説明する。

S1300はアドレス変換処理の開始を示している。変換したい空間座標を(x3, y3)とした時、まず、Ａ３と小領域SA内での相対座標(delta_x3, delta_y3)を求める（ステップS1301）。

A3 = (y3>>4)<<6+(x3>>3); （数式２１）
delta_x3 = x3&0x7; （数式２２）
delta_y3 = y3&0xF; （数式２３）

次に、Ｂ３とＣ３を求める（ステップS1302）。

B3 = (y3>>4)<<2 + ((x2>>3)>>4); （数式２４）
C3 = B3%7; （数式２５）

最後に、物理アドレスadr3を求める（ステップS1303）。

adr3 = ((C3<<4)<<4) + ((delta_y3<<4)+((x3>>3)&0xF)); （数式２６）

以上で説明したように、本実施の形態における参照メモリ管理部FMCtrは、参照ピクチャを含みかつ水平方向に２の累乗個のアドレスを持つ仮想空間を、２の累乗で表されるＭ個に縦に等分割し、縦Ｌ画素毎に横に分割し、転送領域の横分割による縦方向の分割数をＮとし、キャッシュメモリOCMを、「Ｍ×（Ｎ−１）＋１」以上「Ｍ×Ｎ−１」以下の個数のメモリバンクに分割し、分割後のメモリバンクを巡回的に先入れ先出し式に管理する。上記例ではＭ＝４、Ｎ＝３、メモリバンク数が９である場合について説明した。

実施の形態２の（数式１４）〜（数式２０）では、区画幅（１０ワード）での除算と剰余と、区画管理数（９区画）の剰余と、２回の掛け算が必要であったが、実施の形態３の（数式２４）〜（数式２６）では、（数式２５）以外の除算・剰余・乗算などの演算がビットシフトとビットマスクで実装でき、ハードウェア実装する場合、（数式２６）などの加算に関してはビット連結のみで実装できるようになり、回路実装コストを抑える事が可能となる。また同様に、ソフトウェア実装する場合はステップ数の大幅な削減が可能となる。

（実施の形態４）
以下、実施の形態４にける、参照メモリ管理手段FMCtrによって制御する内部参照メモリIRMの動作を説明する。動き検出器MEで探索する画素領域が参照ピクチャRefPicの端の場合は、キャッシュメモリOCMの領域管理を変更する必要がある。

図 14は、探索領域が画面端の場合の矩形領域構成を示す模式図である。同図において、矩形領域１左ARect1Lは図 4の矩形領域１ARect1が参照ピクチャRefPicの左右端に分割された時の画面左の矩形領域であり、矩形領域１右ARect1Rは同じく分割された画面右の矩形領域であり、矩形領域０ARect0は、矩形領域１左ARect1Lに対しては図 4の矩形領域３ARect3に相当し、矩形領域１右ARect1Rに対しては図 4の矩形領域２ARect2に相当するものであり、すぐには用いない予備記憶領域である。

図 4及び図 5で示した矩形領域の更新を行う場合、矩形領域１ARect1が画面右端に到達すると、次回取得領域はさらに一つ下で左端の領域から同様に更新していくようになる。従って、符号化を進めていくと、図 4及び図 5の状態から図 14(a)の状態になり、この時点では探索領域ASrchRの中を動き検出するが、さらに探索中心が参照画面の右端を越すと図 14(b)の状態になり、探索領域ASrchLの中を動き検出するようにする。

（実施の形態５）
以下、図 15と図 16を用いて，実施の形態５の説明を行う。

図 15は本発明の実施の形態５に係る画面間予測符号化装置とフレームメモリの接続構成を示すブロック図である。同図において図 2に示した符号と同じものは同じ内容を意味するものとして説明を省略する。図 2で示した構成図との違いは、内部参照メモリIRMの中でさらに補助メモリASMを追加し、外部接続バスFmBusを補助メモリASMに接続し、さらに補助メモリASMからキャッシュメモリOCMに転送する内部バスを設け、キャッシュメモリOCMからの内部バスCmBusと補助メモリASMからの内部バスAmBusを画素選択部MemSelで選択した画像を参照用ローカルメモリRLMに転送する構成にしている所である。

図 16は本発明の実施の形態５に係る動き検出装置で用いる参照ピクチャ画素を格納する管理領域を示す模式図である。同図において図 4と同じ記号のものは同じ内容を表すものとして説明を省略する。図 16(a)において、矩形領域１ARect1は、下側の矩形領域４ARect4と上側の矩形領域５ARect5の上下２つの領域に分割し、矩形領域５Arect5の垂直の高さは矩形領域矩形領域３ARect3と同じ高さとする。また、矩形領域６ARect6は図 4から追加される領域である。また、図 16(b)は各矩形領域がそれぞれどのメモリに格納されるのかを表しており、キャッシュメモリOCMには、矩形領域２ARect2、矩形領域５ARect5、及び矩形領域３ARect3を格納し、補助メモリASMには、矩形領域４ARect4、及び矩形領域６ARect6を格納する。

この時、画素の流れは以下のようになる。まず、外部フレームメモリEFMからは補助メモリASMに格納され、補助メモリASMでは画素情報はＦＩＦＯで扱う。ＦＩＦＯ管理により、補助メモリASMから古いデータは破棄されるが、破棄される画素データのうち矩形領域４ARect4に含まれる分に関してはキャッシュメモリOCMへの入力となって、キャッシュメモリOCM上で同様にＦＩＦＯ管理されることになる。最終的に、キャッシュメモリOCMと補助メモリASMから画素選択部MemSelを介して参照用ローカルメモリRLMに選択的に転送格納し、動き検出器MEによって動き検出を行うために参照画素を用いる。

以上の構成をとることによって、キャッシュメモリOCMの物理アドレス管理は、（ピクチャ幅W）×（探索領域の高さＪ−次回取得領域の高さＬ）分のメモリをＦＩＦＯで管理できるようになるため、物理的にアドレスが巡回する個所がずれることがなくなり、容易に実装することが可能となる。一方、補助メモリASMの物理アドレス管理に関しては、実施の形態２及び実施の形態３で示した区画と同様にピクチャ幅を２の累乗で分割した幅や、２の累乗の幅で管理すると実装が容易である。また、矩形領域６ARect6の部分を追加しているため、外部フレームメモリEFMからの画素転送量は増加するが、実装メモリ量をあまり増加させることなく垂直方向の動き探索範囲を拡張することが可能となる。別の応用例としては、Ｈ．２６４規格のＭＢＡＦＦ(Macroblock-Adaptive Frame-Field Coding)は上下２つのＭＢペアで符号化を行うツールであるが、このＭＢＡＦＦなどに対応させる場合に、矩形領域６ARect6として１ＭＢの高さ分を追加することで簡単に対応させることも可能である。

（実施の形態６）
以下、図 17から図 19を用いて，実施の形態６の説明を行う。

図 17は本発明の実施の形態６に係る画面間予測符号化装置とフレームメモリの接続構成を示すブロック図である。同図において図 2に示した符号と同じものは同じ内容を意味するものとして説明を省略する。図 2で示した構成図との違いは、内部参照メモリIRMの中でさらに補助メモリASMを追加し、外部接続バスFmBusをキャッシュメモリOCMと補助メモリASMの両方に接続し、さらにキャッシュメモリOCMから補助メモリASMに転送する内部バスを設け、キャッシュメモリOCMからの内部バスCmBusと補助メモリASMからの内部バスAmBusを画素選択部MemSelで選択した画像を参照用ローカルメモリRLMに転送する構成にしている所である。

図 18は本発明の実施の形態６に係る動き検出装置で用いる参照ピクチャ画素を格納する管理領域を示す模式図である。同図において図 4と同じ記号のものは同じ内容を表すものとして説明を省略する。図 18(a)において、矩形領域１ARect1は、上側の矩形領域７ARect7と下側の矩形領域８ARect8の上下２つの領域に分割し、矩形領域８Arect8の垂直の高さは矩形領域矩形領域２ARect2と同じ高さとする。また、矩形領域９ARect9は図 4から追加される領域である。また、図 18(b)は各矩形領域がそれぞれどのメモリに格納されるのかを表しており、キャッシュメモリOCMには、矩形領域２ARect2、矩形領域８ARect8、及び矩形領域３ARect3を格納し、補助メモリASMには、矩形領域７ARect7、及び矩形領域９ARect9を格納する。

この時、画素の流れは以下のようになる。まず、外部フレームメモリEFMからはキャッシュメモリOCMに格納され、キャッシュメモリOCMでは画素情報をＦＩＦＯで扱う。ＦＩＦＯ管理により、キャッシュメモリOCMの矩形領域３ARect3から古いデータは破棄されるが、補助メモリASMへの入力となって、補助メモリASM上で同様にＦＩＦＯ管理されることになる。この時、同時に補助メモリASMの矩形領域９ARect9の部分に関しては、外部フレームメモリEFMから拡張探索要の画素データを転送することも可能である。最終的に、キャッシュメモリOCMと補助メモリASMから画素選択部MemSelを介して参照用ローカルメモリRLMに選択的に転送格納し、動き検出器MEによって動き検出を行うために参照画素を用いる。

以上の構成をとることによって、キャッシュメモリOCMの物理アドレス管理は、（ピクチャ幅W）×（探索領域の高さＪ−次回取得領域の高さＬ）分のメモリをＦＩＦＯで管理できるようになるため、物理的にアドレスが巡回する個所がずれることがなくなり、容易に実装することが可能となる。一方、補助メモリASMの物理アドレス管理に関しては、実施の形態２及び実施の形態３で示した区画と同様にピクチャ幅を２の累乗で分割した幅や、２の累乗の幅で管理すると実装が容易である。また、矩形領域９ARect9の部分を追加しているため、外部フレームメモリEFMからの画素転送量は増加するが、実装メモリ量をあまり増加させることなく垂直方向の動き探索範囲を拡張することが可能となる。別の応用例としては実施の形態５と同様に、Ｈ．２６４規格のＭＢＡＦＦに対応させる時に縦の探索範囲を拡張するために矩形領域９ARect9を追加することも可能である。

さらに、メモリ容量を削減する場合は以下のような構成にする。図 19は本発明の実施の形態６に係る動き検出装置で用いる参照ピクチャ画素を格納する管理領域を示す模式図の変形である。同図において、図 18と同じ記号のものについては同じ内容のものを表すため説明を省略する。図 18との違いは、補助メモリASMにおいて、動き探索範囲拡張用の矩形領域９ARect9を無くし、矩形領域７ARect7の横幅を削減し、参照用ローカルメモリRLMに転送するまでの小規模のバッファとして使用するようにしているところである。内部参照メモリIRMを、動き検出器MEが直接使用する参照用ローカルメモリRLMと、予備記憶領域として用いるキャッシュメモリOCMと、補助メモリASMとの構成にする場合、物理アドレス管理が容易になる上に、メモリ容量を最小限に抑える事が可能となる。

（実施の形態７）
さらにここで、上記実施の形態で示した画面間予測符号化装置の応用例について説明する。図 20は、Ｈ．２６４レコーダを実現するＡＶ処理部の構成を示すブロック図である。

ＡＶ処理部exAVLSIは、DVDレコーダやハードディスクレコーダなど用いられ、ディジタル圧縮された音声及び画像を再生する処理部であり、図 20に示すようにストリーム入出力部exStrIF、メモリ入出力部exMemIF、ＡＶ制御部exAVCtr、画像符号化復号化部exVCodec、音声符号化復号化部exACodec、画像処理部exVProc、画像入出力部exVideoIF、音声処理部exAProc、音声入出力部exAudioIF、およびバスexBusを備えている。

ストリーム入出力部exStrIFは、バスexBusに接続され、音声と画像のストリームデータexStrを入出力する。画像符号化復号化部exVCodecは、バスexBusに接続され、画像の符号化及び復号化を行う。音声符号化復号化部exACodecは、バスexBusに接続され、音声の符号化及び復号化を行う。メモリ入出力部exMemIFは、メモリexMemのデータ信号の入出力インターフェースであり、バスexBusに接続されている。ここで、メモリexMemは、ストリームデータや符号化データや復号化データなどのデータを格納し、図 1に示している外部マルチフレームメモリの領域を含むものである。

画像処理部exVProcは、バスexBusに接続され、画像信号に対してプレ処理及びポスト処理を行う。画像入出力部exVideoIFは、画像処理部exVProcで処理したもしくは画像処理部exVProcで処理をせずに通過だけさせた画像データ信号を外部に画像信号exVSigとして出力する、または、外部からの画像信号exVSigを取り込む。

音声処理部exAProcは、バスexBusに接続され、音声信号に対してプレ処理及びポスト処理を行う。音声入出力部exAudioIFは、音声処理部exAProcで処理したもしくは音声処理部exAProcで処理をせずに通過だけさせた音声データ信号を外部に音声信号exASigとして出力する、または、外部からの音声信号exASigを取り込む。

また、ＡＶ制御部exAVCtrはＡＶ処理部exAVLSIの全体制御を行う。バスexBusはストリームデータや音声・画像の復号データなどのデータを転送する。

ここでは、図 20を用いて符号化動作のみを説明する。最初に、画像信号exVSigが画像入出力部exVideoIFに入力され、音声信号exASigが音声入出力部exAudioIFに入力される。次に、画像入出力部exVideoIFに入力された画像信号exVSigを用いて、画像処理部exVProcにおいてフィルタ処理や符号化のための特徴量抽出などを行い、メモリ入出力部exMemIFを介してメモリexMemに原画像として格納する。次に、再びメモリ入出力部exMemIFを介してメモリexMemから画像符号化復号化部exVCodecには原画像データと参照画像データの転送を行い、逆に画像符号化復号化部exVCodecからメモリexMemには画像符号化復号化部exVCodecで符号化した画像ストリームデータと局所復元データの転送を行う。

ここで、画像符号化復号化部exVCodecは図 1のほぼ全体に相当し、画像ストリームは同図の符号化信号Strに相当し、さらにメモリexMemは同図の外部マルチフレームメモリEFMの領域が含まれる。

一方、音声入出力部exAudioIFに入力された音声信号exASigを用いて、音声処理部exAProcにおいてフィルタ処理や符号化のための特徴量抽出などを行い、メモリ入出力部exMemIFを介してメモリexMemに原音声データとして格納する。次に、再びメモリ入出力部exMemIFを介してメモリexMemから原音声データを取り出して符号化し、再度音声ストリームデータとしてメモリexMemに格納する。

最後に、画像ストリームと音声ストリーム及びその他のストリーム情報を一つのストリームデータとして処理し、ストリーム入出力部exStrIFを介してストリームデータexStrを出力し、光ディスクやハードディスクなどの蓄積メディアに書き込む処理を行う。

また、ブロック図（図 1や図 20など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）が、図１の外部マルチフレームメモリEFMや図 20のメモリexMemは、大量のデータを保持する必要があるため、一般的にはＬＳＩに外付けする大容量のＤＲＡＭなどで実装するが、技術の向上により１パッケージ化や１チップ化されることも有り得る。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー を利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明の動き検出装置は、内部参照メモリの実装増加コストを抑え、動き検出に用いる参照画素の転送量を大幅に削減しつつ、さらに参照メモリ管理手段における回路実装量を削減することができるため、例えばH.264規格を用いた大きい画像サイズを扱うDVDレコーダやハードディスクレコーダやカムコーダ等を実現するために有効である。

本発明の実施の形態１に係る動き検出装置が用いられる画面間予測符号化装置の構成を示すブロック図である。 画面間予測符号化装置とフレームメモリの接続構成を示す概略図である。 キャッシュメモリと参照用ローカルメモリの記憶領域を示す模式図である。 キャッシュメモリ上に記憶する矩形領域構成を示す模式図である。 次の動き検出を行う時の矩形領域構成を示す模式図である。 本発明の実施の形態１に係る動き検出装置におけるアドレス変換の中間情報の位置を示す模式図である。 本発明の実施の形態１に係る動き検出装置におけるアドレス変換を行うためのフローチャートである。 本発明の実施の形態２に係る動き検出装置で用いる参照ピクチャ画素を格納する管理領域を示す模式図である。 本発明の実施の形態２に係る動き検出装置におけるアドレス変換の中間情報の位置を示す模式図である。 本発明の実施の形態２に係る動き検出装置におけるアドレス変換を行うためのフローチャートである。 本発明の実施の形態３に係る動き検出装置で用いる参照ピクチャ画素を格納する管理領域を示す模式図である。 本発明の実施の形態３に係る動き検出装置におけるアドレス変換の中間情報の位置を示す模式図である。 本発明の実施の形態３に係る動き検出装置におけるアドレス変換を行うためのフローチャートである。 探索領域が画面端の場合の矩形領域構成を示す模式図である。 本発明の実施の形態５に係る画面間予測符号化装置とフレームメモリの接続構成を示すブロック図である。 本発明の実施の形態５に係る動き検出装置で用いる参照ピクチャ画素を格納する管理領域を示す模式図である。 本発明の実施の形態６に係る画面間予測符号化装置とフレームメモリの接続構成を示すブロック図である。 本発明の実施の形態６に係る動き検出装置で用いる参照ピクチャ画素を格納する管理領域を示す模式図である。 本発明の実施の形態６に係る動き検出装置で用いる参照ピクチャ画素を格納する管理領域を示す模式図の変形である。 Ｈ．２６４レコーダを実現するＡＶ処理部の構成を示すブロック図である。 従来の画面間予測符号化装置の説明するためのブロック図である。 従来の画面間予測復号化装置の説明するためのブロック図である。 画面間予測符号化装置とフレームメモリの接続構成を説明するための概略図である。 １画面あたりで転送する参照画素の状態を示す模式図である。 参照画素の転送量を削減する場合のメモリ更新状態を示す模式図である。 実装メモリ容量を削減する場合の格納画素の管理状態を示す模式図である。 ＦＩＦＯ管理を用いた時の参照メモリの論理境界における物理アドレス配置図である。

符号の説明

FMCtr 参照メモリ管理手段
EFM 外部マルチフレームメモリ
IRM 内部参照用メモリ
ME 動き検出器
Sub1 減算器
Sub2 減算器
MC 動き補償器
Enc 符号化器
Add1 加算器
MVMem 動きベクトルメモリ
MVPred 動きベクトル予測部

Claims (16)

1. ピクチャを構成するブロック毎に動きを検出する動き検出装置であって、
   参照ピクチャを記憶する記憶手段と、
   前記参照ピクチャのうち前記記憶手段から転送された転送領域を構成する画素データを記憶する参照メモリ手段と、
   前記参照メモリ手段に記憶されている、転送領域に含まれる探索領域の画素データを用いて動き検出の対象となる対象ブロックの動きを検出する動き検出手段と、
   次の対象ブロック用に、前記転送領域の一部を更新するメモリ管理手段とを備え、
   前記転送領域は、第１から第３の矩形領域からなり、
   前記第１の矩形領域は、前記探索領域を含み、
   前記第２の矩形領域の幅は前記参照ピクチャの左端の画素から第１の矩形領域の左端の左に隣接する画素までの幅であり、前記第２の矩形領域の高さは第１の矩形領域の高さよりもＬ画素小さく、前記第２の矩形領域の下端は第１の矩形領域の下端と同じ水平位置であり、
   前記第３の矩形領域の幅は前記参照ピクチャの右端の画素から第１の矩形領域の右端の右に隣接する画素までの幅であり、前記第３の矩形領域の高さは第１の矩形領域の高さよりもＬ画素小さく、前記第３の矩形領域の上端は第１の矩形領域の上端と同じ水平位置であり、
   前記Ｌは２の累乗で表され、
   前記メモリ管理手段は、前記参照メモリ手段内の記憶領域であって、前記第１の領域内の左上に位置する高さＬ画素幅Ｋ画素分の画素データを記憶する記憶領域に、第１の領域の右に隣接しかつ第３領域の下に隣接する高さＬ画素幅Ｋ画素からなる更新領域の画素データを前記記憶手段から転送する
   ことを特徴とする動き検出装置。
2. 前記記憶手段に記憶された前記参照ピクチャの左上画素の座標は（０，０）であり、前記参照ピクチャは横Ｗ画素縦Ｈ画素のサイズを有し、
   対象ブロックに対する前記第１の矩形領域の左上の座標は（Ｘ，Ｙ）であり、前記第１の矩形領域は横Ｉ画素縦Ｊ画素のサイズを有し、
   対象ブロックに対する前記第２の矩形領域の左上座標は（０，Ｙ＋Ｌ）であり、その右下座標は（Ｘ−１，Ｙ＋Ｊ−１）であり、
   対象ブロックに対する前記第３の矩形領域の左上座標は（Ｘ＋Ｉ，Ｙ）であり、その右下座標は（Ｗ−１，Ｙ＋Ｊ−Ｌ−１）である
   ことを特徴とする請求項１記載の動き検出装置。
3. 前記メモリ管理手段は、
   次の対象ブロック用に、前記第１の領域内の左上座標（Ｘ，Ｙ）、右下座標（Ｘ＋Ｋ,Ｙ＋Ｌ）を対頂角とする高さＬ画素幅Ｋ画素分の画素データを記憶する記憶領域であって前記参照メモリ手段内の記憶領域に、前記更新領域の画素データを前記記憶手段から転送することによって、
   次の対象ブロックに対する第１の矩形領域の左上座標を（Ｘ＋Ｋ，Ｙ）に、その右下座標を（Ｘ＋Ｉ＋Ｋ−１，Ｙ＋Ｊ−１）に更新し、
   次の対象ブロックに対する前記第２の矩形領域の左上座標を（０，Ｙ＋Ｌ）に、その右下座標を（Ｘ＋Ｋ−１，Ｙ＋Ｊ−１）に更新し、
   次の対象ブロックに対する前記第３の矩形領域の左上座標を（Ｘ＋Ｋ＋Ｉ，Ｙ）に、右下座標を（Ｗ−１，Ｙ＋Ｊ−Ｌ−１）に更新する
   ことを特徴とする請求項２記載の動き検出装置。
4. 前記参照メモリ手段は、
   前記第１から第３の矩形領域を構成する画素データを記憶する第１メモリ部と、
   前記第１メモリ部から転送された前記第１の矩形領域中の前記探索領域を構成する画素データを記憶する第２メモリ部とを備え、
   前記メモリ管理手段は、第１メモリ部から第２メモリ部へ前記探索領域を構成する画素データを転送し、
   前記動き検出手段は、前記第２メモリ部から画素データを取得し、対象ブロックの動きを検出する
   ことを特徴とする請求項１または３記載の動き検出装置。
5. 前記メモリ管理手段は、
   前記対象ブロックの移動が進むに連れて、前記第１の矩形領域の右端が前記参照ピクチャの右端に達した後第１の矩形領域を第１の右矩形領域と第１の左矩形領域とに分割し、
   第１の右矩形領域は参照ピクチャの右端を含み、
   第１の左矩形領域は参照ピクチャの左端を含み第１の右矩形領域よりもＬ画素下に位置し、
   前記第１の矩形領域が分割されたとき、第２および第３の矩形領域を１つの矩形領域に統合し、
   統合された矩形領域は第１の右矩形領域と第１の左矩形領域とによって横方向に挟まれ、統合された矩形領域の下端は第１の右矩形領域の下端と同じ水平位置であり、統合された矩形領域の上端は第１の左矩形領域の上端と同じ水平位置あり、
   前記メモリ管理手段は、前記探索領域を分割することなく、第１の右矩形領域および第１の左矩形領域の何れか一方の中に前記探索領域を設定する
   ことを特徴とする請求項１、３または４記載の動き検出装置。
6. 前記メモリ管理手段は、前記参照ピクチャの（Ｘ，Ｙ）座標で表される論理アドレスをラスター方向に割り当てられた物理アドレスに変換し、
   前記記憶手段から前記参照メモリ手段への転送において、前記参照メモリ手段を先出し式に管理する
   ことを特徴とする請求項１、３、４または５記載の動き検出装置。
7. 前記メモリ管理手段は、
   参照ピクチャを縦にＭ列に等分割し、高さＬ画素毎に横に分割し、転送領域の横分割による横の分割数をＮ行とし、
   参照メモリ手段を、「Ｍ×（Ｎ−１）＋１」以上「Ｍ×Ｎ−１」以下の個数のメモリバンクに分割し、分割後のメモリバンクを巡回的に先入れ先出し式に管理する
   ことを特徴とする請求項６記載の動き検出装置。
8. 前記メモリ管理手段は、
   参照ピクチャを含みかつ水平方向に２の累乗個のアドレスを持つ仮想空間を、２の累乗で表されるＭ列に縦に等分割し、高さＬ画素毎に横に分割し、転送領域の横分割による横の分割数をＮ行とし、
   参照メモリ手段を、「Ｍ×（Ｎ−１）＋１」以上「Ｍ×Ｎ−１」以下の個数のメモリバンクに分割し、分割後のメモリバンクを巡回的に先入れ先出し式に管理する
   を特徴とする請求項６記載の動き検出装置。
9. 前記第１の矩形領域は、その下端からＬ画素の高さまでの部分である第４矩形領域とそれ以外の第５矩形領域からなり、
   前記参照メモリ手段は、第１メモリ部と補助メモリ部とを有し、
   前記第１メモリ部は、前記第５の矩形領域と前記第２の矩形領域と前記第３の矩形領域を先入れ先出し式に格納し、
   前記補助メモリ部は、前記第４の矩形領域を先入れ先出し式に格納し、
   前記参照メモリ管理部は、次の対象ブロック用に、
   補助メモリ部から前記第４の矩形領域左端の縦Ｌ画素横Ｋ画素分の画素データを第１メモリ部に転送し、さらに、前記記憶手段から前記更新領域の画素データを先入れ先出し式に前記補助メモリ部に転送する
   ことを特徴とする請求項１または３記載の動き検出装置。
10. 前記補助メモリ部は、さらに、前記第４の矩形領域の下に接し同じ横幅の第６の矩形領域を格納し、
    前記メモリ管理手段は、次の対象ブロック用に、
    前記補助メモリ部から前記第４の矩形領域左端の縦Ｌ画素横Ｋ画素分の画素データを第１メモリ部に転送し、さらに、前記第４の矩形領域と前記第６の矩形領域とを一括して先入れ先出し式に前記補助メモリ部を管理し、前記更新領域を下に拡張した拡張更新領域を、前記記憶手段から前記補助メモリ部に転送し、
    前記動き検出手段は前記第４の矩形領域と前記第５の矩形領域と前記第６の矩形領域を用いて動き検出の探索を行う
    ことを特徴とする請求項９記載の動き検出装置。
11. 前記第１の矩形領域は、その上端からＬ画素の高さまでの部分である第７の矩形領域とそれ以外の第８の矩形領域からなり、
    前記参照メモリ手段は、第１メモリ部と補助メモリ部とを有し、
    前記第１メモリ部は、前記第８の矩形領域と前記第２の矩形領域と前記第３の矩形領域を先入れ先出し式に格納し、
    前記補助メモリ部は、前記第７の矩形領域を先入れ先出し式に格納し、
    前記参照メモリ管理部は、次の対象ブロック用に、
    前記第１メモリ部から前記第７の矩形領域右端の縦Ｌ画素横Ｋ画素分の画素データを前記補助メモリ部に転送し、さらに、前記記憶手段から前記更新領域の画素データを先入れ先出し式に第１メモリ部に転送する
    ことを特徴とする請求項１または３記載の動き検出装置。
12. 前記補助メモリ部は、さらに、前記第７の矩形領域の上に接し同じ横幅の第９の矩形領域を格納し、
    前記メモリ管理手段は、次の対象ブロック用に、第１メモリ部から前記第７の矩形領域右端の縦Ｌ画素横Ｋ画素分の画素データを前記補助メモリ部に転送し、さらに、前記第７の矩形領域と前記第９の矩形領域とを一括して先入れ先出し式に前記補助メモリ部を管理し、前記更新領域を、前記記憶手段から前記第１メモリ部に転送し、
    前記動き検出手段は前記第７の矩形領域と前記第８の矩形領域と前記第９の矩形領域を用いて動き検出の探索を行う
    ことを特徴とする請求項１１記載の動き検出装置。
13. 前記参照メモリ手段は、さらに、補助メモリ部および第１メモリ部に格納された第７の矩形領域および第８の矩形領域のうち、探索領域の画素データと探索領域の右に接する横幅Ｋ画素分の更新用付加領域の画素データとが転送される第２の参照メモリを備え、
    前記動き検出手段は、前記第２の参照メモリから取得する参照画素データを用いて対象ブロックの動きを検出し、
    前記参照メモリ管理部は、更新用付加領域の画素データを末尾として、先入れ先出し式に補助メモリ部を管理する
    ことを特徴とする請求項１１記載の動き検出装置。
14. ピクチャを構成するブロック毎に動きを検出する動き検出方法であって、
    参照ピクチャを記憶する記憶部から、前記参照ピクチャに含まれる転送領域を構成する画素データを参照メモリに転送する転送ステップと、
    前記参照メモリに記憶されている転送領域に含まれる探索領域の画素データを用いて動き検出の対象となる対象ブロックの動きを検出する検出ステップと、
    次の対象ブロック用に、前記参照メモリの前記転送領域の一部を更新する更新ステップを有し、
    前記転送領域は、第１から第３の矩形領域からなり、
    前記第１の矩形領域は、前記探索領域を含み、
    前記第２の矩形領域の幅は前記参照ピクチャの左端の画素から第１の矩形領域の左端の左に隣接する画素までの幅であり、前記第２の矩形領域の高さは第１の矩形領域の高さよりもＬ画素小さく、前記第２の矩形領域の下端は第１の矩形領域の下端と同じ位置であり、
    前記第３の矩形領域の幅は前記参照ピクチャの右端の画素から第１の矩形領域の右端の右に隣接する画素までの幅であり、前記第３の矩形領域の高さは第１の矩形領域の高さよりもＬ画素小さく、前記第３の矩形領域の上端は第１の矩形領域の上端と同じ水平位置であり、
    前記Ｌは２の累乗で表され、
    前記更新ステップにおいて、前記参照メモリ内の記憶領域であって、前記第１の領域内の左上に位置する高さＬ画素幅Ｋ画素分の画素データを記憶する記憶領域に、第１の領域の右に隣接しかつ第３領域の下に隣接する高さＬ画素幅Ｋ画素からなる更新領域の画素データを前記記憶部から転送する
    ことを特徴とする動き検出方法。
15. ピクチャを構成するブロック毎に動きを検出する集積回路であって、
    参照ピクチャを記憶する外部の記憶部から転送された転送領域を構成する画素データを記憶する参照メモリ手段と、
    前記参照メモリ手段に記憶されている転送領域に含まれる探索領域の画素データを用いて動き検出の対象となる対象ブロックの動きを検出する動き検出手段と、
    次の対象ブロック用に、前記転送領域の一部を更新するメモリ管理手段とを備え、
    前記転送領域は、第１から第３の矩形領域からなり、
    前記第１の矩形領域は、前記探索領域を含み、
    前記第２の矩形領域の幅は前記参照ピクチャの左端の画素から第１の矩形領域の左端の左に隣接する画素までの幅であり、前記第２の矩形領域の高さは第１の矩形領域の高さよりもＬ画素小さく、前記第２の矩形領域の下端は第１の矩形領域の下端と同じ位置であり、
    前記第３の矩形領域の幅は前記参照ピクチャの右端の画素から第１の矩形領域の右端の右に隣接する画素までの幅であり、前記第３の矩形領域の高さは第１の矩形領域の高さよりもＬ画素小さく、前記第３の矩形領域の上端は第１の矩形領域の上端と同じ水平位置であり、
    前記Ｌは２の累乗で表され、
    前記メモリ管理手段は、前記参照メモリ手段内の記憶領域であって、前記第１の領域内の左上に位置する高さＬ画素幅Ｋ画素分の画素データを記憶する記憶領域に、第１の領域の右に隣接しかつ第３領域の下に隣接する高さＬ画素幅Ｋ画素からなる更新領域の画素データを前記記憶部から転送する
    ことを特徴とする画像符号化装置。
16. ピクチャを構成するブロック毎に動きを検出し、動きに基づいて画像を符号化する画像符号化装置であって、
    参照ピクチャを記憶する記憶手段と、
    前記参照ピクチャのうち前記記憶手段から転送された転送領域を構成する画素データを記憶する参照メモリ手段と、
    前記参照メモリ手段に記憶されている転送領域に含まれる探索領域の画素データを用いて動き検出の対象となる対象ブロックの動きを検出する動き検出手段と、
    次の対象ブロック用に、前記転送領域の一部を更新するメモリ管理手段とを備え、
    前記転送領域は、第１から第３の矩形領域からなり、
    前記第１の矩形領域は、前記探索領域を含み、
    前記第２の矩形領域の幅は前記参照ピクチャの左端の画素から第１の矩形領域の左端の左に隣接する画素までの幅であり、前記第２の矩形領域の高さは第１の矩形領域の高さよりもＬ画素小さく、前記第２の矩形領域の下端は、第１の矩形領域の下端と同じ位置であり、
    前記第３の矩形領域の幅は前記参照ピクチャの右端の画素から第１の矩形領域の右端の右に隣接する画素までの幅であり、前記第３の矩形領域の高さは第１の矩形領域の高さよりもＬ画素小さく、前記第３の矩形領域の上端は第１の矩形領域の上端と同じ水平位置であり、
    前記Ｌは２の累乗で表され、
    前記メモリ管理手段は、前記参照メモリ手段内の記憶領域であって、前記第１の領域内の左上に位置する高さＬ画素幅Ｋ画素分の画素データを記憶する記憶領域に、第１の領域の右に隣接しかつ第３領域の下に隣接する高さＬ画素幅Ｋ画素からなる更新領域の画素データを前記記憶手段から転送する
    ことを特徴とする画像符号化装置。

Images