JP2008141288A - 動きベクトル検出装置および動きベクトル検出方法 - Google Patents

Abstract

【課題】動きベクトル検出の際に、画質劣化を回避して、プリフェッチメモリの利用効率を高くすること。
【解決手段】フレームメモリ１に格納された動画像のフレームデータから、原画フレームの処理単位方形データごとに相関を求める対象となる参照画フレームをＬＳＩ内部のＳＲＡＭにて構成される大容量のプリフェッチメモリ２に一旦格納し、当該プリフェッチメモリ２から参照画フレームの処理単位方形データを転送して、原画フレームの処理単位方形データごとに動きベクトルを検出する動きベクトル検出装置１０であって、インタレース画像のフィールドピクチャで符号化する場合において、Ｐピクチャでは、フィールド単位で参照面の切り替えを行い、Ｂピクチャでは、フレーム単位で参照面の切り替えを行うとともに、異なる予測方向の動きベクトルの検出において、同一参照画面に対する処理は、原画フレームを切り替えて同時に行う。
【選択図】 図１

Description

この発明は、動きベクトル検出装置および動きベクトル検出方法に関する。

従来より、ディジタルテレビ、ＤＶＤやインターネット上の動画配信やディジタルカメラの動画像蓄積などでは、動画像情報の圧縮符号化方式として、ＩＳＯ／ＩＥＣによって標準化されたＭＰＥＧ（ＭＰＥＧ−１／ＭＰＥＧ−２／ＭＰＥＧ−４）やＩＴＵ−Ｔによって標準化されたＨ．２６１、Ｈ．２６２、Ｈ．２６４が多く適用されている。

これらの符号化方式では、「時間的に連続であるフレーム間は相関性が高い」という動画像の特性を利用した情報量の圧縮を行っており、その相関関係を求めるために、符号化フレームの処理単位（ＭＢ：マクロブロック）ごとに、符号化フレームと時間的に前後関係にある参照フレームとの間で、動きベクトルの検出を行っている。

動きベクトルの検出には、符号化フレームのＭＢ単位で参照フレームのブロックマッチング演算を行い、その相関の度合いを示す評価値を算出するが、一般的に、ＭＢの処理単位ごとに、原画データおよび参照画データの同一画素データが繰り返し必要になるため、演算用の画像データは、フレームメモリからＬＳＩ内部の原画用メモリおよび参照画メモリに転送された後に演算用に読み出される。

しかし、参照画データは、ＭＢ単位のフレームメモリからの転送領域が広く、フレーム単位に見た場合、ＭＢ処理の遷移において領域が重なり、繰り返しフレームメモリから読み込まれるデータ量も少なくない。この参照画データのオーバーヘッドが、フレームメモリのバンド幅と消費電力を増大させるので、バンド幅を抑制して低消費電力化を実現する試みが行なわれている（例えば、特許文献１を参照）。

特開平７−２３１４４５号公報

ところで、上記したようなバンド幅抑制を実現するには、外部メモリとブロックマッチング演算用ＳＲＡＭの間にプリフェッチメモリを設け、頻繁に読み出される可能性が高いデータは、プリフェッチメモリ内に蓄積し、そこから内部のブロックマッチング演算用ＳＲＡＭに転送させることにより、外部メモリとの転送量を削減してバンド幅を抑制する方法が考えられる。

しかし、上記の方法を用いても、動きベクトル検出の際には、一つの原画データを処理する場合だけでなく、複数の原画データを処理する場合でも、同一の参照画データにアクセスことが多いので、プリフェッチメモリの利用効率が悪いという問題点があった。

また、一方で、プリフェッチメモリの利用効率を優先して、動きベクトル検出の際の参照フレーム面の制約を高くすると、処理を行う原画と相関の高い参照面を選択できなくなる事態が発生し、それにより符号化効率を落とし、画質劣化に繋がるという問題点があった。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画質劣化を回避して、プリフェッチメモリの利用効率を高くすることが可能になる、動きベクトル検出装置および動きベクトル検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に係る発明は、フレームメモリに格納された動画像のフレームデータから、原画フレームの処理単位方形データごとに相関を求める対象となる参照画フレームをＬＳＩ内部のＳＲＡＭにて構成される大容量のプリフェッチメモリに一旦格納し、当該プリフェッチメモリから前記参照画フレームの前記処理単位方形データを転送して、前記原画フレームの前記処理単位方形データごとに動きベクトルを検出する動きベクトル検出装置であって、インタレース画像のフィールドピクチャで符号化する場合において、Ｐピクチャでは、フィールド単位で参照面の切り替えを行い、Ｂピクチャでは、フレーム単位で参照面の切り替えを行うとともに、異なる予測方向の前記動きベクトルの検出において、同一参照画面に対する処理は、原画フレームを切り替えて同時に行う切り替え手段を備えたことを特徴とする。

また、請求項２に係る発明は、上記の発明において、複数の前記動きベクトル検出装置が前記動きベクトルの検出を行う動きベクトル検出方法であって、垂直方向に連続した前記処理単位方形データを、複数の前記動きベクトル検出装置が並列で処理するように制御する動きベクトル検出装置制御工程と、前記動きベクトル検出装置制御工程によって処理される共通の前記動きベクトルの探索領域をプリフェッチするプリフェッチ領域更新工程と、を含んだことを特徴とする。

請求項１の発明によれば、インタレース画像のフィールドピクチャで符号化する場合において、Ｐピクチャでは、フィールド単位で参照面の切り替えを行い、Ｂピクチャでは、フレーム単位で参照面の切り替えを行うとともに、異なる予測方向の前記動きベクトルの検出において、同一参照画面に対する処理は、原画フレームを切り替えて同時に行うので、Ｐピクチャにおいては、符号化効率が高くなり、Ｂピクチャにおいては、プリフェッチメモリのヒット率が高くなるので、画質劣化を回避して、プリフェッチメモリの利用効率を高くすることが可能になる。

また、請求項２の発明によれば、垂直方向に連続した処理単位方形データを、複数の動きベクトル検出装置が並列で処理するように制御し、複数の動きベクトル検出装置よって処理される共通の動きベクトルの探索領域をプリフェッチするので、プリフェッチメモリの利用効率をさらに高くすることが可能になる。

以下に添付図面を参照して、この発明に係る動きベクトル検出装置および動きベクトル検出方法の実施例を詳細に説明する。なお、以下では、実施例１に係る動きベクトル検出装置の構成および実施例１の効果を順に説明し、次に実施例１と同様に、実施例２に係る動きベクトル検出装置について説明し、最後に、本発明を使用しない場合と使用する場合との比較例について説明する。

［実施例１における動きベクトル検出装置の構成］
まず最初に、図１〜６を用いて、実施例１における動きベクトル検出装置の構成を具体的に説明する。図１は、実施例１におけるプリフェッチメモリを用いた動きベクトル検出装置の構成を示すブロック図であり、図２は、実施例１における動きベクトル探索範囲領域とプリフェッチ領域とを説明するための図であり、図３は、実施例１におけるデータの更新処理を説明するためのシーケンス図であり、図４は、参照画像の切り替えを説明するための図であり、図５は、Ｐ−Ｐｉｃｔｕｒｅにおける参照画像の切り替え処理を説明するためのシーケンス図であり、図６は、Ｂ−Ｐｉｃｔｕｒｅにおける参照画像の切り替え処理を説明するためのシーケンス図である。

実施例１における動きベクトル検出装置１０（図１参照）は、図２の（Ａ）に示すあるＭＢ処理では、外部（ＣＰＵ等）から指定された座標を中心とした探索領域（図２の（Ａ）の「現ＭＢ探索範囲」参照）の参照画像データをプリフェッチメモリ２から図１の参照画領域記憶部５に対応する参照画像用メモリに転送し、ブロックマッチング演算を行う。この時、プリフェッチメモリ２内には、指定される探索中心の指定可能範囲を加味した最大探索範囲のデータが蓄積されているものとする。なお、ＭＢごとの探索中心点は、周辺ＭＢや前処理動きベクトル探索などの統計情報によりＣＰＵ等により決定され、外部より与えられる。

そして、動きベクトル検出装置１０は、最大探索範囲のエッジ部分の破棄領域について、破棄判定を行い、破棄可能状態であるか、もしくはＭＢのブロックマッチング処理終了により、プリフェッチメモリ制御部３に対してプリフェッチの更新許可通知を出力する。これを受けて、プリフェッチメモリ制御部３は、次ＭＢ処理の最大探索範囲に必要な部分のデータをフレームメモリ２から読み出し、読み出し完了後に更新完了通知を動きベクトル検出装置１０に出力し、動きベクトル検出装置１０は、次ＭＢの参照画データの更新を行う（図２の（Ａ）の「次ＭＢ探索範囲」参照）。この場合、プリフェッチメモリが無い場合は、各ＭＢ処理の参照画領域の重なりあった部分が、フレームメモリから二重に読み出されることになるが、プリフェッチメモリに対しての更新であれば、原画ＭＢの移動による最大探索領域の追加更新分だけで済む（図２の「次プリフェッチＲｅａｄ領域」参照）。

また、プリフェッチメモリの容量が大きい場合、または処理画像データの水平方向サイズが小さい場合は、図２の（Ｂ）に示すような、プリフェッチの更新を行うことにより、更にフレームメモリからの読み込み量を抑えることができる。

図３は、上述したプリフェッチメモリ制御部３と動きベクトル検出装置１０との間で行われるデータ更新指示/更新完了のシーケンスを示している。

以上は、１フィールド/1フレーム内のプリフェッチデータの更新となるが、複数フィールド/フレーム間の処理期間で見た場合、ある参照フレームは、複数のフレームの参照画データとなる (例えば、図４の（Ａ）におけるＰ_n+3を参照) 。この、フレーム間の参照画データの重複を少なくすることができれば、フレームメモリ１とプリフェッチメモリ２との間の転送データ量を更に減らすことができる。

そこで、フィールドピクチャの処理であっても、フレーム単位に処理を行い、共通の参照フレームを1回の読み出しでブロックマッチング演算を行う。具体的には、ＭＢ処理単位に原画データも両フィールド分の読み込みを行い、「原画Ｔｏｐ」から「原画Ｂｏｔｔｏｍ」への処理で共通の参照画フレームの探索を行うようにする。

しかし、その場合、参照画像がフレーム単位に固定されてしまい、フィールドピクチャ処理の特性であるフィールド単位の参照画像の切り替えができなくなり、通常のフィールドピクチャと比べて符号化効率を落とすことになる。そこで、符号化効率とメモリバンド幅抑制の両立を行うため、Ｐピクチャ（以下、Ｐ−Ｐｉｃｔｕｒｅ）処理においては、符号化効率優先でフィールド単位のブロックマッチングを行うものとして、参照画像の切り替えもフィールド単位で行えるようにし、Ｂピクチャ（以下、Ｂ−Ｐｉｃｔｕｒｅ）処理においては、上記のフレーム単位の処理を行うように処理単位の切り替えを行う (図４の（Ａ）および図４の（Ｂ）を参照) 。

また、Ｂ−Ｐｉｃｔｕｒｅ処理においては、参照画面の共有化のために予測方向の異なるブロックマッチングでは、参照画像を共通にして原画データを切り替えてのブロックマッチング処理を行う。例えば、図４の（Ｂ）に示すように、予測方向の異なるブロックマッチング（Ｌ０：前方向予測、Ｌ１：後方向予測）において、Ｐ_n+3は、原画Ｂ_n+1および原画Ｂ_n+4の両方に共通した参照画像である。

図５は、上記の切り替えを適用した場合のＰ−Ｐｉｃｔｕｒｅの処理シーケンスを示している。図５に示すように、Ｐ−Ｐｉｃｔｕｒｅは、一つのＭＢ処理内で参照画像Ｆｉｅｌｄの切り替えのみ行っており、フィールド単位の起動で一つのＦｉｅｌｄの処理を完了させる。すなわち、Ｐ−Ｐｉｃｔｕｒｅでは、Ｆｉｅｌｄ単位に参照面の切り替えが可能である。

図６は、上記の切り替えを適用した場合のＢ−Ｐｉｃｔｕｒｅの処理シーケンスを示している。図６に示すように、Ｂ−Ｐｉｃｔｕｒｅでは、一つのＭＢ処理で原画データが『「Ｌ０-Ｔｏｐ」、「Ｌ０-Ｂｏｔｔｏｍ」、「Ｌ１-Ｔｏｐ」、「Ｌ１-Ｂｏｔｔｏｍ」』の順に切り替えられ、それぞれの原画に対して参照画データの切り替えを行う。この処理をフレームの起動信号により1フレーム分行う。すなわち、Ｂ−Ｐｉｃｔｕｒｅでは、 フレーム単位に参照面の切り替えを行い、各フレームのＴｏｐ ＦｉｅｌｄとＢｏｔｔｏｍ Ｆｉｅｌｄは同じ領域を参照面とする。そして、Ｂ−ＰｉｃｔｕｒｅにおけるＬ０／Ｌ１探索は原画データを切り替え、共通した参照画像の探索を同じ処理時間内に行う。

［実施例１の効果］
上記したように、実施例１によれば、インタレース画像のフィールドピクチャで符号化する場合において、Ｐピクチャでは、フィールド単位で参照面の切り替えを行い、Ｂピクチャでは、フレーム単位で参照面の切り替えを行うとともに、異なる予測方向の前記動きベクトルの検出において、同一参照画面に対する処理は、原画フレームを切り替えて同時に行うので、Ｐピクチャにおいては、符号化効率が高くなり、Ｂピクチャにおいては、プリフェッチメモリ２のヒット率が高くなるので、画質劣化を回避して、プリフェッチメモリ２の利用効率を高くすることが可能になる。

上述した実施例１では、一つの動きベクトル検出装置を用いる場合について説明したが、実施例２では、複数の動きベクトル検出装置を用いる場合について説明する。

［実施例２における動きベクトル検出装置の構成］
まず最初に、図７〜９を用いて、実施例２における動きベクトル検出装置の構成を説明する。図７は、実施例２におけるプリフェッチメモリを用いた動きベクトル検出装置の構成を示すブロック図であり、図８は、実施例２における動きベクトル探索範囲領域とプリフェッチ領域とを説明するための図であり、図９は、実施例２におけるデータの更新処理を説明するためのシーケンス図である。

図７に示すように、実施例１における動きベクトル検出装置１０と同様の構成からなる、第一動きベクトル検出装置１１と第二動きベクトル検出装置１２とがプリフェッチメモリ２を共有して参照画アクセスを行う場合において、図８の（Ａ）に示すように、垂直方向のＭＢアドレスが連続になるように処理を割り当てる。これにより、プリフェッチメモリ２の更新領域は、「動きベクトル検出装置」が一個の場合よりも1ＭＢ分増加するのみとなる。図８の（Ｂ）は、図２の（Ｂ）と同様に、プリフェッチメモリ２の容量が大きい場合、または処理画像データの水平方向サイズが小さい場合のデータの更新を示している。

上記の処理の場合は、複数の「動きベクトル検出装置」間で同期をとってプリフェッチメモリ２の更新を行う必要があるので、プリフェッチメモリ制御部３が調停処理を行う（図９のシーケンス図を参照）。

［実施例２の効果］
上記したように、実施例２によれば、プリフェッチメモリ制御部３は、垂直方向に連続したＭＢを、複数の動きベクトル検出装置である第一動きベクトル検出装置１１と第二動きベクトル検出装置１２とが並列で処理するように制御し、第一動きベクトル検出装置１１と第二動きベクトル検出装置１２とよって処理される共通の動きベクトルの探索領域をプリフェッチするので、プリフェッチメモリの利用効率をさらに高くすることが可能になる。

［比較例］
本発明による動きベクトル検出装置の有効性を、上記したプリフェッチメモリ制御の有無で比較することにより検証した。その結果を、図１０に示す。図１０は、本発明によるバンド幅抑制効果を説明するための図である。

図１０の（Ａ）および（Ｂ）では、「横軸：時間」、「縦軸：単位時間のデータ転送量(byte)」を表しており、図１０の（Ａ）は、プリフェッチＯＦＦ時の場合、図１０の（Ｂ）は、プリフェッチＯＮ時の場合を示している。

図１０に示すように、プリフェッチＯＮ時（図１０の（Ｂ）参照）は、プリフェッチＯＦＦ時（図１０の（Ａ）参照）に比べて４５％程度の帯域削減効果があることが実証された。

（付記１）フレームメモリに格納された動画像のフレームデータから、原画フレームの処理単位方形データごとに相関を求める対象となる参照画フレームをＬＳＩ内部のＳＲＡＭにて構成される大容量のプリフェッチメモリに一旦格納し、当該プリフェッチメモリから前記参照画フレームの前記処理単位方形データを転送して、前記原画フレームの前記処理単位方形データごとに動きベクトルを検出する動きベクトル検出装置であって、
インタレース画像のフィールドピクチャで符号化する場合において、Ｐピクチャでは、フィールド単位で参照面の切り替えを行い、Ｂピクチャでは、フレーム単位で参照面の切り替えを行うとともに、異なる予測方向の前記動きベクトルの検出において、同一参照画面に対する処理は、原画フレームを切り替えて同時に行う切り替え手段を備えたことを特徴とする動きベクトル検出装置。

（付記２）複数の前記動きベクトル検出装置が前記動きベクトルの検出を行う動きベクトル検出方法であって、
垂直方向に連続した前記処理単位方形データを、複数の前記動きベクトル検出装置が並列で処理するように制御する動きベクトル検出装置制御工程と、
前記動きベクトル検出装置制御工程によって処理される共通の前記動きベクトルの探索領域をプリフェッチするプリフェッチ領域更新工程と、
を含んだことを特徴とする動きベクトル検出方法。

以上のように、本発明に係る動きベクトル検出装置および動きベクトル検出方法は、プリフェッチメモリを用いて動きベクトルを検出する際に有用であり、特に、画質劣化を回避して、プリフェッチメモリの利用効率を高くすることに適する。

実施例１におけるプリフェッチメモリを用いた動きベクトル検出装置の構成を示すブロック図である。 実施例１における動きベクトル探索範囲領域とプリフェッチ領域とを説明するための図である。 実施例１におけるデータの更新処理を説明するためのシーケンス図である。 参照画像の切り替えを説明するための図である。 Ｐ−Ｐｉｃｔｕｒｅにおける参照画像の切り替え処理を説明するためのシーケンス図である。 Ｂ−Ｐｉｃｔｕｒｅにおける参照画像の切り替え処理を説明するためのシーケンス図である。 実施例２におけるプリフェッチメモリを用いた動きベクトル検出装置の構成を示すブロック図である。 実施例２における動きベクトル探索範囲領域とプリフェッチ領域とを説明するための図である。 実施例２におけるデータの更新処理を説明するためのシーケンス図である。 本発明によるバンド幅抑制効果を説明するための図である。

符号の説明

１ フレームメモリ
２ プリフェッチメモリ
３ プリフェッチメモリ制御部
４ 原画ＭＢ記憶部
５ 参照画領域記憶部
６ 画像相関評価値演算部
７ 評価値最小値検出部
８ ベクトル情報制御部
９ 参照画読み出し制御部
１０ 動きベクトル検出装置

Claims (2)

1. フレームメモリに格納された動画像のフレームデータから、原画フレームの処理単位方形データごとに相関を求める対象となる参照画フレームをＬＳＩ内部のＳＲＡＭにて構成される大容量のプリフェッチメモリに一旦格納し、当該プリフェッチメモリから前記参照画フレームの前記処理単位方形データを転送して、前記原画フレームの前記処理単位方形データごとに動きベクトルを検出する動きベクトル検出装置であって、
   インタレース画像のフィールドピクチャで符号化する場合において、Ｐピクチャでは、フィールド単位で参照面の切り替えを行い、Ｂピクチャでは、フレーム単位で参照面の切り替えを行うとともに、異なる予測方向の前記動きベクトルの検出において、同一参照画面に対する処理は、原画フレームを切り替えて同時に行う切り替え手段を備えたことを特徴とする動きベクトル検出装置。
2. 複数の前記動きベクトル検出装置が前記動きベクトルの検出を行う動きベクトル検出方法であって、
   垂直方向に連続した前記処理単位方形データを、複数の前記動きベクトル検出装置が並列で処理するように制御する動きベクトル検出装置制御工程と、
   前記動きベクトル検出装置制御工程によって処理される共通の前記動きベクトルの探索領域をプリフェッチするプリフェッチ領域更新工程と、
   を含んだことを特徴とする動きベクトル検出方法。

Images