JP2007133823A - 動きベクトル検出装置 - Google Patents

Abstract

【課題】従来のものよりも高い精度で動きベクトルを検出することができる動きベクトル検出装置を提供すること。
【解決手段】動きベクトル検出装置１０は、色信号Ｇの動きベクトルを検出する第１動きベクトル検出部１３と、色信号Ｇの動きベクトルのベクトル値を色信号Ｒ、Ｇ、Ｂの動きベクトルのベクトル値に適用する第１ＲＧＢ適用部１５と、Ｒ、Ｇ、Ｂ各色の色信号から輝度信号Ｙを生成する輝度信号生成部１６と、輝度信号Ｙの動きベクトルを検出する第２動きベクトル検出部１９と、色信号Ｇの動きベクトルのベクトル値と輝度信号Ｙの動きベクトルのベクトル値との相関を計算する相関計算部２０と、輝度信号Ｙの動きベクトルのベクトル値を色信号Ｒ、Ｇ、Ｂの動きベクトルのベクトル値に適用する第２ＲＧＢ適用部２２とを備える。
【選択図】図１

Description

本発明は、例えばベイヤー型配列のカラー画素で構成された動画像において動きベクトルを検出する動きベクトル検出装置に関する。

従来、カラーの動画像を得るカラー撮像素子としては、入射光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に分解する分光プリズムと、この分光プリズムの後段に配置された３枚の光電変換素子とで構成された正方格子型の３板式カラー撮像素子が知られている。

正方格子型の３板式カラー画素素子は、例えば順次走査方式により駆動され、撮像されたカラー動画像のＲ、Ｇ、Ｂ各色は同じ空間位置でサンプリングされて、図７に示すようなフレーム信号を出力する。以下、図７に示された画素配列を正方格子型カラー画素配列という。

正方格子型カラー画素配列での動画像における動きベクトルを検出する方法には、一般に次のようなものがある。第１の方法は、色信号Ｒ、Ｇ、Ｂで動きベクトルを検出する方法であり、第２の方法は、色信号Ｒ、Ｇ、Ｂに線形変換を施して輝度信号Ｙ及び色信号Ｐｂ、Ｐｒを生成して動きベクトルを検出する方法である。第２の方法で用いられる輝度信号Ｙ及び色信号Ｐｂ、Ｐｒは、第１の方法で用いられる色信号Ｒ、Ｇ、Ｂに線形変換を施したものなので、第２の方法のサンプリング構造は基本的に第１の方法と同じである。したがって、第１の方法による動きベクトルの検出について以下説明する。

色信号Ｒ、Ｇ、Ｂで動きベクトルを検出する場合、色信号Ｒ、Ｇ、Ｂの水平及び垂直方向のサンプリング周波数とサンプリング位置とが同じであるため、動きベクトルの検出精度は、Ｒ、Ｇ、Ｂ各色で同じである。一般的に、動きベクトルの検出は、フレーム番号ｎとｎ＋１との間の画像においてブロックマッチング法によるＲ、Ｇ、Ｂ各色の画像に対して行われる。具体的には、所定画素数と所定ライン数で構成されたブロックをｘ、ｙ方向にずらしながらマッチング値Ｍを算出し、マッチング値Ｍが最も大きいｘ、ｙの値を求めることにより、検出対象である動きベクトルのｘ、ｙ方向のベクトル値が得られる。

以上のように、正方格子型カラー画素配列での動画像における動きベクトルを検出することができるが、従来の正方格子型の３板式カラー画素素子は、分光プリズム及び３枚の光電変換素子とで構成されているので、大きくて重くなるという課題があり、カラー撮像素子の小型軽量化を実現するためには、分光プリズムを必要としない、受光部が１枚で構成される単板式が望まれている。

カラー撮像素子の小型軽量化を実現する手法として、光電変換素子の受光面に色画素としてＲ、Ｇ、Ｂ各色の色フィルタをベイヤー型に配列したもの（以下「ベイヤー型カラー画素配列」という。）が知られており、このカラー撮像素子は、単板でカラー画像が得られるので小型軽量化が可能である（例えば、非特許文献１参照。）。

ベイヤー型カラー画素配列は、前述の正方格子型カラー画素配列とは異なり、図８に示すように、色信号Ｇは市松模様状のサンプリング構造、色信号Ｒ、Ｂは正方格子型サンプリング構造となっている。したがって、色信号Ｇの最高水平空間周波数及び最高垂直空間周波数をそれぞれμ_ｍａｘ及びν_ｍａｘとすると、色信号Ｒ、Ｂの最高水平空間周波数及び最高垂直空間周波数は、それぞれ、μ_ｍａｘ・１／２及びν_ｍａｘ・１／２となる。なお、色信号Ｇのサンプリング構造は、サイコロの５の目型の配列構造なので、５の目型サンプリング構造とも呼ばれる。

木内 雄二著「イメージセンサの基礎と応用」日刊工業新聞社、１９９１年発行、Ｐ１４５

しかしながら、ベイヤー型カラー画素配列の動画像における動きベクトルの検出には、以下のような課題がある。

第１の課題は、正方格子型カラー画素配列での動画像によるものよりも動きベクトルの検出精度が低下する場合があるというものである。

ベイヤー型カラー画素配列の動画像において、前述のように色信号Ｒ及びＢは、色信号Ｇよりも水平及び垂直のサンプリング周波数が低いので、フレーム番号ｎとｎ＋１との間のブロックマッチング法による動きベクトルの検出では、色信号Ｒ及びＢによる動きベクトル検出結果は、色信号Ｇによる動きベクトル検出結果よりも検出精度が低くなる可能性がある。したがって、ベイヤー型カラー画素配列の動画像における動きベクトルの検出精度は、正方格子型カラー画素配列での動画像によるものよりも低下する場合がある。

第２の課題は、ベイヤー型サンプリング構造に伴う折り返し歪みの影響を受ける場合があるというものである。この課題について、３次元周波数スペクトル構造を示す図９及び図１０を用いて説明する。図９及び図１０において、μ、ν及びｆは、それぞれ、水平空間周波数、垂直空間周波数及び時間周波数を示し、説明を簡略化するため第１象限のみの周波数スペクトルを表示して負の周波数スペクトルは省略している。

前述のように、ベイヤー型カラー画素配列の動画像において、色信号Ｇは、色信号Ｒ及びＢに比べて最高水平空間周波数及び最高垂直空間周波数が共に２倍なので、図９に示すような市松模様状のサンプリング構造に起因したスペクトル形状となる。一方、色信号Ｒ及びＢは、同図に示すような正方格子型サンプリング構造によるスペクトル形状となる。

次に、ベイヤー型カラー画素配列の動画像において、フレーム間で画像が、ｕ＝１［画素］及びｖ＝１［ライン］の動きを行った場合について考える。この場合の周波数スペクトルの存在する面を図１０に示す。ここで、ｕ及びｖは、ベイヤー型カラー画素配列の動画像において、それぞれ、ｘ軸方向（水平方向）及びｙ軸方向（垂直方向）の動き量を表している。以下の記載において、ｘ軸方向にｐ画素、ｙ軸方向にｑラインのフレーム間の動きを（ｕ＝ｐ、ｖ＝ｑ）と表す。また、以下に述べるベイヤー型カラー画素配列の動画像は、ｘ軸方向に７６８０画素と、ｙ軸方向に４３２０ラインとで構成され、時間周波数ｆを６０（Ｈｚ）として説明する。

動きベクトル値ｘ、ｙを求めるには、図１０に示すようにμ−ｆ面でのθｘ、ν−ｆ面でのθｙを求めればよい。ここで動画像は、前述のようにｘ軸方向に７６８０画素と、ｙ軸方向に４３２０ラインとで構成されているとしているので、図１０において、μ_ｍａｘは４３２０／２（ｃｐｈ）、ν_ｍａｘは７６８０／２（ｃｐｗ）である。また、ｆ_ｍａｘは６０／２（Ｈｚ）である。なお、（ｃｐｈ）及び（ｃｐｗ）は、それぞれ、（ｃｙｃｌｅ ｐｅｒ ｈｅｉｇｈｔ）及び（ｃｙｃｌｅ ｐｅｒ ｗｉｄｔｈ）を表している。

ところで、例えば図１０において、色信号Ｇのスペクトルのみが存在する平面に該当する空間周波数を有する画像、すなわち、ｘ軸方向に（４３２０／２）／２（ｃｐｈ）以上、又はｙ軸方向に（７６８０／２）／２（ｃｐｗ）以上の空間周波数を有する画像をカメラで撮像した場合、フレーム間において（ｕ＝１、ｖ＝１）のような微小な動きがあれば、同図から理解できるように色信号Ｇでは正確な動きベクトルを検出できる。一方、色信号Ｒ及びＢの場合、例えば黒点３０で示された位置にある空間周波数を有する画像は、色信号Ｒ及びＢが本来取り得るスペクトル空間にはないので、折り返し歪みが発生して本来の空間周波数が検出されず、動きベクトルの検出精度は低いものとなる。

本発明は、従来の課題を解決するためになされたものであり、従来のものよりも高い精度で動きベクトルを検出することができる動きベクトル検出装置を提供することを目的とする。

本発明の動きベクトル検出装置は、予め定められた複数の色信号のいずれかによって第１の動きベクトルを検出する第１動きベクトル検出手段と、前記複数の色信号から輝度信号を生成する輝度信号生成手段と、前記輝度信号によって第２の動きベクトルを検出する第２動きベクトル検出手段と、前記第１の動きベクトルのベクトル値と前記第２の動きベクトルのベクトル値との相関値を計算する相関値計算手段と、前記相関値に基づいて前記複数の色信号毎の動きベクトルを決定する動きベクトル決定手段とを備えた構成を有している。

この構成により、本発明の動きベクトル検出装置は、動きベクトル決定手段が、第１の動きベクトルのベクトル値と前記第２の動きベクトルのベクトル値との相関値に基づいて複数の色信号毎の動きベクトルを決定するので、動画像の動きが微小な場合でも、複数の色信号毎に動きベクトルを検出する従来のものよりも高い精度で動きベクトルを検出することができる。

また、本発明の動きベクトル検出装置は、前記第１の動きベクトルを検出する色信号は、市松模様状にサンプリングされた色信号である構成を有している。

この構成により、本発明の動きベクトル検出装置は、第１動きベクトル検出手段が、市松模様状にサンプリングされた色信号から第１の動きベクトルを検出するので、ベイヤー型カラー画素配列の動画像における動きベクトルを検出することができる。

さらに、本発明の動きベクトル検出装置は、前記複数の色信号は、光の３原色の色信号を含む構成を有している。

この構成により、本発明の動きベクトル検出装置は、動きベクトル決定手段が、光の３原色の色信号のいずれかによって検出された第１の動きベクトルのベクトル値と、光の３原色の色信号から生成された輝度信号によって検出された第２の動きベクトルのベクトル値との相関値に基づいて、複数の色信号毎の動きベクトルを決定するので、動画像の動きが微小な場合でも、複数の色信号毎に動きベクトルを検出する従来のものよりも高い精度で動きベクトルを検出することができる。

さらに、本発明の動きベクトル検出装置は、前記複数の色信号は、光の３原色の補色信号を含む構成を有している。

この構成により、本発明の動きベクトル検出装置は、動きベクトル決定手段が、光の３原色の補色信号のいずれかによって検出された第１の動きベクトルのベクトル値と、光の３原色の補色信号から生成された輝度信号によって検出された第２の動きベクトルのベクトル値との相関値に基づいて、複数の色信号毎の動きベクトルを決定するので、動画像の動きが微小な場合でも、複数の色信号毎に動きベクトルを検出する従来のものよりも高い精度で動きベクトルを検出することができる。

さらに、本発明の動きベクトル検出装置は、前記第１の動きベクトルを検出する色信号は、緑色信号である構成を有している。

この構成により、本発明の動きベクトル検出装置は、第１動きベクトル検出手段が、市松模様状にサンプリングされた緑色信号から第１の動きベクトルを検出するので、ベイヤー型カラー画素配列の動画像における動きベクトルを検出することができる。

本発明は、従来のものよりも高い精度で動きベクトルを検出することができるという効果を有する動きベクトル検出装置を提供することができるものである。

以下、本発明の実施の形態について図面を用いて説明する。

まず、本実施の形態に係る動きベクトル検出装置の構成について説明する。なお、本実施の形態に係る動きベクトル検出装置が、市松模様状に色信号Ｇが配列されたベイヤー型カラー画素配列（図８参照）の動画像において動きベクトルを検出する例を挙げて説明する。

図１に示すように、本実施の形態に係る動きベクトル検出装置１０は、色信号Ｇを記憶する第１フレームメモリ１１と、第１フレームメモリ１１よりも１フレーム前の色信号Ｇを記憶する第２フレームメモリ１２と、色信号Ｇの動きベクトルを検出する第１動きベクトル検出部１３と、色信号Ｇの動きベクトルのベクトル値に基づいて出力を切り替えるスイッチ１４と、色信号Ｇの動きベクトルのベクトル値を色信号Ｒ、Ｇ、Ｂの動きベクトルのベクトル値に適用する第１ＲＧＢ適用部１５とを備えている。

また、動きベクトル検出装置１０は、Ｒ、Ｇ、Ｂ各色の色信号から輝度信号Ｙを生成する輝度信号生成部１６と、輝度信号Ｙを記憶する第３フレームメモリ１７と、第３フレームメモリ１７よりも１フレーム前の輝度信号Ｙを記憶する第４フレームメモリ１８と、輝度信号Ｙの動きベクトルを検出する第２動きベクトル検出部１９と、色信号Ｇの動きベクトルのベクトル値と輝度信号Ｙの動きベクトルのベクトル値との相関を計算する相関計算部２０と、相関計算部２０の計算結果に基づいて出力を切り替えるスイッチ２１と、輝度信号Ｙの動きベクトルのベクトル値を色信号Ｒ、Ｇ、Ｂの動きベクトルのベクトル値に適用する第２ＲＧＢ適用部２２と、予め特定された特定処理を実行する特定処理部２３と、装置が出力する信号を選択するスイッチ２４と、クロック信号を出力するクロック信号出力部２５とを備えている。

第１フレームメモリ１１は、ベイヤー型カラー画素配列の動画像を構成する色信号のうち色信号Ｇを１フレーム分入力して記憶するようになっている。第２フレームメモリ１２は、クロック信号出力部２５から出力されるクロック信号によって１フレーム分シフトされた色信号Ｇを記憶するようになっている。したがって、第２フレームメモリ１２は、第１フレームメモリ１１に記憶されたフレームよりも１フレーム前の色信号Ｇを記憶することとなる。

第１動きベクトル検出部１３は、第１フレームメモリ１１に記憶された色信号Ｇと、第２フレームメモリ１２に記憶された色信号Ｇとを比較し、例えばブロックマッチング法によって色信号Ｇの動きベクトルを検出するようになっている。この色信号Ｇの動きベクトルは、動きベクトルの方向及び大きさを含む動きベクトルのベクトル値（以下単に「動きベクトル値」という。）を有する。第１動きベクトル検出部１３は、色信号Ｇの動きベクトルを検出することによって、色信号Ｇの動きベクトル値を取得し、色信号Ｇの動きベクトル値を示す信号をスイッチ１４及び第１ＲＧＢ適用部１５に出力するようになっている。なお、第１動きベクトル検出部１３は、本発明の第１動きベクトル検出手段を構成している。

スイッチ１４は、第１動きベクトル検出部１３が取得した色信号Ｇの動きベクトル値に基づいて出力を切り替えるようになっている。具体的には、スイッチ１４は、｜ｕ｜≧２又は｜ｖ｜≧２の場合、第１動きベクトル検出部１３からの信号を相関計算部２０に出力するよう動作する。一方、スイッチ１４は、｜ｕ｜＜２かつ｜ｖ｜＜２の場合、すなわち動画像の動きが微小な場合、第１動きベクトル検出部１３からの信号をスイッチ切り替え信号（以下「ＳＷ切替信号」と表記する。）としてスイッチ２４に出力するよう動作する。なお、スイッチ１４の動作は、第１動きベクトル検出部１３によって制御されるようになっている。

第１ＲＧＢ適用部１５は、第１動きベクトル検出部１３が取得した色信号Ｇの動きベクトル値を色信号Ｒ、Ｇ、Ｂの動きベクトル値に適用するようになっている。

輝度信号生成部１６は、ベイヤー型カラー画素配列の動画像を構成するＲ、Ｇ、Ｂ各色の色信号から輝度信号Ｙを生成するようになっている。なお、輝度信号生成部１６は、本発明の輝度信号生成手段を構成している。

第３フレームメモリ１７は、輝度信号Ｙを１フレーム分入力して記憶するようになっている。第４フレームメモリ１８は、クロック信号出力部２５から出力されるクロック信号によって１フレーム分シフトされた輝度信号Ｙを記憶するようになっている。したがって、第４フレームメモリ１８は、第３フレームメモリ１７に記憶されたフレームよりも１フレーム前の輝度信号Ｙを記憶することとなる。

第２動きベクトル検出部１９は、第３フレームメモリ１７に記憶された輝度信号Ｙと、第４フレームメモリ１８に記憶された輝度信号Ｙとを比較し、例えばブロックマッチング法によって輝度信号Ｙの動きベクトルを検出するようになっている。この輝度信号Ｙの動きベクトルは、動きベクトルの方向及び大きさを含む動きベクトル値を有する。第２動きベクトル検出部１９は、輝度信号Ｙの動きベクトルを検出することによって、輝度信号Ｙの動きベクトル値を取得し、輝度信号Ｙの動きベクトル値を示す信号を相関計算部２０及び第２ＲＧＢ適用部２２に出力するようになっている。なお、第２動きベクトル検出部１９は、本発明の第２動きベクトル検出手段を構成している。

相関計算部２０は、第１動きベクトル検出部１３及び第２動きベクトル検出部１９から、それぞれ、色信号Ｇ及び輝度信号Ｙの動きベクトル値を入力し、色信号Ｇの動きベクトル値と輝度信号Ｙの動きベクトル値との相関を計算するようになっている。なお、相関計算部２０は、本発明の相関値計算手段を構成している。

スイッチ２１は、相関計算部２０が計算した相関値に基づいて出力を切り替えるようになっている。具体的には、スイッチ２１は、相関計算部２０が計算した相関値が予め定められた閾値以上のとき、相関値を示す信号をＳＷ切替信号としてスイッチ２４に出力するよう動作する。一方、スイッチ２１は、相関計算部２０が計算した相関値が予め定められた閾値未満のとき、相関値を示す信号を特定処理部２３に出力するよう動作する。なお、スイッチ２１の動作は、相関計算部２０によって制御されるようになっている。

第２ＲＧＢ適用部２２は、第２動きベクトル検出部１９が検出した輝度信号Ｙの動きベクトル値を色信号Ｒ、Ｇ、Ｂの動きベクトル値に適用することにより、色信号Ｒ、Ｇ、Ｂの動きベクトル値を決定するようになっている。なお、第２ＲＧＢ適用部２２は、本発明の動きベクトル決定手段を構成している。

特定処理部２３は、相関計算部２０が計算した相関値が閾値未満のとき、予め特定された特定処理を実行するようになっている。ここで特定処理とは、例えば、輝度信号Ｙによって検出した動きベクトル値は誤っていると判断し、検出され輝度信号Ｙによる動きベクトル値を採用しない処理や、Ｒ、Ｇ、Ｂ各色で個別に動きベクトル値を取得し、この動きベクトル値に所定の重み付けを行って、得られた動きベクトルを採用する処理等をいう。

スイッチ２４は、スイッチ１４、スイッチ２１及び特定処理部２３から出力されるＳＷ切替信号に基づいて、装置が出力する出力信号を選択するようになっている。例えば、スイッチ１４がＳＷ切替信号を出力した場合、スイッチ２４は、第１ＲＧＢ適用部１５の出力信号を選択する。また、スイッチ２１がＳＷ切替信号を出力した場合、スイッチ２４は、第２ＲＧＢ適用部２２の出力信号を選択する。また、特定処理部２３がＳＷ切替信号を出力した場合、スイッチ２４は、特定処理部２３の出力信号を選択する。

クロック信号出力部２５は、所定の時間間隔のクロック信号を生成し、第１フレームメモリ１１、第２フレームメモリ１２、第３フレームメモリ１７及び第４フレームメモリ１８にそれぞれ出力するようになっている。

次に、本実施の形態の動きベクトル検出装置１０の動作について、図１及び図２を用いて説明する。

まず、輝度信号生成部１６によって、色信号Ｒ、Ｇ、Ｂが入力され、第１フレームメモリ１１によって、色信号Ｇが入力される（ステップＳ１１）。第１フレームメモリ１１に入力された色信号Ｇは、クロック信号出力部２５によって、フレーム毎に第２フレームメモリ１２にシフトされる。

次いで、輝度信号生成部１６によって、輝度信号Ｙが生成される（ステップＳ１２）。具体的には、輝度信号生成部１６は、図３に示すように、ベイヤー型カラー画素配列の動画像の色信号Ｒ、Ｇ、Ｂから輝度信号Ｙを次式に基づいて生成する。

ここで、係数ｒ、ｇ及びｂは、色覚特性による係数であり、例えばｒ＝０．２１２、ｇ＝０．７０１、ｂ＝０．０８７の値が用いられる。

輝度信号生成部１６によって生成された輝度信号Ｙは、第３フレームメモリ１７に出力される。第３フレームメモリ１７に入力された輝度信号Ｙは、クロック信号出力部２５によって、フレーム毎に第４フレームメモリ１８にシフトされる。

さらに、第１動きベクトル検出部１３によって、色信号Ｇの動きベクトル値が検出される（ステップＳ１３）。ここで、本実施の形態において処理する動画像は、市松模様状に色信号Ｇが配列されたベイヤー型カラー画素配列となっているので、図４に示すように、第１動きベクトル検出部１３によって色信号Ｇがサンプリングされ、色信号Ｇの動きベクトル値が検出される。

具体的には、第１動きベクトル検出部１３は、第１フレームメモリ１１に記憶された色信号Ｇと、第２フレームメモリ１２に記憶された色信号Ｇとを比較し、例えばブロックマッチング法によって色信号Ｇの動きベクトル値を検出する。

次いで、第１動きベクトル検出部１３によって、検出した色信号Ｇの動きベクトル値が、｜ｕ｜＜２かつ｜ｖ｜＜２か否かが判断される（ステップＳ１４）。

ステップＳ１４において、色信号Ｇの動きベクトル値が、｜ｕ｜＜２かつ｜ｖ｜＜２と判断された場合、すなわち動画像の動きが微小な場合は、第１動きベクトル検出部１３によって、色信号Ｇの動きベクトル値を示す信号がスイッチ１４及び第１ＲＧＢ適用部１５に出力され、第１ＲＧＢ適用部１５によって、色信号Ｇの動きベクトル値がＲ、Ｇ、Ｂ各色に適用される（ステップＳ１５）。ここで得られたＲ、Ｇ、Ｂ各色の動きベクトル値の信号は、スイッチ２４を介して出力信号となる。

具体的には、第１動きベクトル検出部１３は、スイッチ１４がＳＷ切替信号をスイッチ２４に出力するようスイッチ１４を制御し、スイッチ２４は、第１ＲＧＢ適用部１５の出力信号を選択する。

一方、ステップＳ１４において、色信号Ｇの動きベクトル値が、｜ｕ｜＜２かつ｜ｖ｜＜２と判断されなかった場合、すなわち、｜ｕ｜≧２又は｜ｖ｜≧２と判断された場合は、第２動きベクトル検出部１９によって、輝度信号Ｙの動きベクトル値が検出される（ステップＳ１６）。

具体的には、第２動きベクトル検出部１９は、第３フレームメモリ１７に記憶された輝度信号Ｙと、第４フレームメモリ１８に記憶された輝度信号Ｙとを比較し、例えばブロックマッチング法によって輝度信号Ｙの動きベクトル値を検出する。検出された輝度信号Ｙの動きベクトル値を示す信号は、相関計算部２０及び第２ＲＧＢ適用部２２に出力される。

ここで、輝度信号Ｙの動きベクトルと、色信号Ｇの動きベクトルとの違いについて説明する。前提条件として、輝度信号Ｙは、Ｒ、Ｇ、Ｂ各色成分を同程度含むと仮定している。色信号Ｇの動きベクトル値が、｜ｕ｜＜２かつ｜ｖ｜＜２であれば、色信号Ｇは色信号Ｒ及びＢよりも水平及び垂直方向のサンプリング周波数が高いため、色信号Ｇの動きベクトルの検出精度は色信号Ｒ及びＢによるものよりも高い。一方、輝度信号Ｙは、Ｒ、Ｇ、Ｂ各色の色信号を線形変換することで生成しているので、輝度信号Ｙの動きベクトルの検出精度は｜ｕ｜＜２かつ｜ｖ｜＜２のような動きに対して色信号Ｇよりも低くなる。

そこで、本実施の形態では、ステップＳ１４において、色信号Ｇの動きベクトル値が、｜ｕ｜＜２かつ｜ｖ｜＜２であれば、輝度信号Ｙによる動きベクトル検出結果の精度は低精度となるため、ステップＳ１５において色信号Ｇの動きベクトル値を色信号Ｒ、Ｇ、Ｂの動きベクトル値として採用している。一方、ステップＳ１４において、色信号Ｇの動きベクトル値が、｜ｕ｜≧２又は｜ｖ｜≧２であれば、輝度信号Ｙによる動きベクトル値に基づいて処理している。

引き続き、相関計算部２０によって、第２動きベクトル検出部１９からの輝度信号Ｙの動きベクトル値と、第１動きベクトル検出部１３からの色信号Ｇの動きベクトル値との相関値が計算される（ステップＳ１７）。

具体的には、相関計算部２０は、例えば輝度信号Ｙの動きベクトル値と、色信号Ｇの動きベクトル値との内積を計算することで、両者の相関値の計算を実行する。なお、ステップＳ１７の処理は、輝度信号Ｙで検出する動きベクトル値と、色信号Ｇで検出する動きベクトル値とが必ずしも一致するとは限らないことが推測されるため、設けられたものである。

相関計算部２０による相関値の計算は、図５に示すように、輝度信号Ｙは色信号Ｇに対してサンプリング位置が水平及び垂直方向に共に半画素（半位相分）ずれていることを考慮して実行される。すなわち、例えばブロックマッチング法を用いて動きベクトル値を検出する場合は、輝度信号Ｙと色信号Ｇとでは、ブロック位置や探索範囲位置が半画素ずれており、輝度信号Ｙで検出する領域と、色信号Ｇで検出する領域とに差が生じる。

したがって、ステップＳ１７の処理は、輝度信号Ｙの動きベクトル値と、色信号Ｇの動きベクトル値との相関を計算する際に、輝度信号Ｙのサンプリング位置と、色信号Ｇのサンプリング位置とが半画素ずれていることを考慮し、例えばサンプリング位置の補正を行うことにより実行される。

続いて、相関計算部２０によって、ステップＳ１７において計算された輝度信号Ｙ及び色信号Ｇの動きベクトル値の相関値を用いて所定の閾値Ｔｈと比較されることにより（ステップＳ１８）、検出された輝度信号Ｙ及び色信号Ｇの動きベクトル値の確からしさが判定される。ここで閾値Ｔｈは、動きベクトルの方向及び大きさの相関を判定するために設定されたものである。

ステップＳ１８において、輝度信号Ｙ及び色信号Ｇの動きベクトル値の相関値が閾値Ｔｈ以上の場合は、図６（ａ）に示すように、輝度信号Ｙの動きベクトルと、色信号Ｇの動きベクトルとが一致することを示している。この場合、輝度信号ＹはＲ、Ｇ、Ｂ各色の色信号を用いて生成されているため、色信号Ｒ及びＢの動きベクトルも色信号Ｇと同じ動きベクトル値である可能性が高いので、第２ＲＧＢ適用部２２によって、輝度信号Ｙで検出された動きベクトル値が色信号Ｒ、Ｇ、Ｂの動きベクトル値に適用される（ステップＳ１９）。ここで得られたＲ、Ｇ、Ｂ各色の動きベクトル値の信号は、スイッチ２４を介して出力信号となる。

一方、ステップＳ１８において、輝度信号Ｙ及び色信号Ｇの動きベクトル値の相関値が閾値Ｔｈ未満の場合は、図６（ｂ）に示すように、輝度信号Ｙの動きベクトルと、色信号Ｇの動きベクトルとは一致しないことを示している。この場合、輝度信号ＹはＲ、Ｇ、Ｂ各色の色信号を用いて生成されているため、次の２つの原因が想定できる。

第１の原因としては、輝度信号Ｙ及び色信号Ｇの動きベクトル検出結果が何らかの可能性で誤っている場合が挙げられる。例えば、ブロックマッチング法におけるブロックマッチング処理の動きベクトル検出エラーがある。

第２の原因としては、対象の動画像が持つＲ、Ｇ、Ｂ各色成分の比率が互いに異なっている場合が挙げられる。例えば、青単色の画像が動いた場合である。

そこで、輝度信号Ｙ及び色信号Ｇの動きベクトル値の相関値が閾値Ｔｈ未満の場合は、以下の（ａ）〜（ｄ）に示す特定処理を行う（ステップＳ２０）。特定処理で得られた信号は、スイッチ２４を介して出力信号となる。

（ａ）輝度信号Ｙによる動きベクトルは誤っていると判断し、輝度信号Ｙで検出した動きベクトルを採用しない。例えば、対象の画像は動かなかったとみなすか、隣接するブロックにおいて検出された動きベクトルを流用する処理を行い、その旨を示す信号を出力する。

（ｂ）Ｒ、Ｇ、Ｂ各色で個別に動きベクトルを検出し、次式に示すような重み付けを行い、動きベクトルＭｖとして採用する処理を行って、動きベクトルＭｖを示す信号を出力する。

式（２）において、Ｒｆ［ ］は参照フレーム、Ｃｒ［ ］は基準フレームを意味し、［ ］内のＲ、Ｇ、Ｂはそれぞれフレームにおける赤、緑、青色成分画像を意味する。また、ｍ及びｎは、ブロックマッチング法におけるブロックの大きさ（ｘ方向ｍ画素×ｙ方向ｎ画素）、ｉ及びｊはブロック移動量（ｘ方向ｉ、ｙ方向ｊ）を示す変数である。なお、係数ｒ、ｇ及びｂは、式（１）で示した色覚特性による係数であり、例えばｒ＝０．２１２、ｇ＝０．７０１、ｂ＝０．０８７の値が用いられる。

（ｃ）Ｒ、Ｇ、Ｂ各色の空間周波数成分を各々解析し、例えばパワースペクトルを検出してＲ、Ｇ、Ｂ各色のパワースペクトルの相関値から色信号Ｒ、Ｇ、Ｂの動き検出結果に重み付けを加える処理を行う。

（ｄ）各色信号の動きベクトルを個別に検出し、色信号毎に動きベクトルを採用する処理を行う。

以上のように、本実施の形態の動きベクトル検出装置１０によれば、相関計算部２０は、色信号Ｇの動きベクトル値と輝度信号Ｙの動きベクトル値との相関を計算し、第２ＲＧＢ適用部２２は、色信号Ｇのベクトル値と輝度信号Ｙのベクトル値との相関値に基づいて複数の色信号毎の動きベクトルを適用する構成としたので、動画像の動きが微小な場合でも、複数の色信号毎に動きベクトルを検出する従来のものよりも高い精度で動きベクトルを検出することができる。

なお、前述の実施の形態において、動きベクトル検出装置１０が、光の３原色で構成されたベイヤー型カラー画素配列の動画像における動きベクトルを検出する例を挙げて説明したが、本発明はこれに限定されるものではなく、光の３原色の補色信号を含む構成、例えば緑色信号、黄色信号及びシアン色信号によるベイヤー型カラー画素配列の動画像における動きベクトルを検出する構成としても同様の効果が得られる。

また、前述の実施の形態において、動きベクトル検出装置１０が、ベイヤー型カラー画素配列の色信号Ｇと輝度信号Ｙとに基づいて動きベクトルを検出する例を挙げて説明したが、本発明はこれに限定されるものではなく、例えば色信号Ｒが市松模様状に配列され、色信号Ｇ及びＢが正方格子型に配列されている場合、色信号Ｒと輝度信号Ｙとに基づいて動きベクトルを検出する構成としても同様の効果が得られる。

また、前述の実施の形態において、動画像がベイヤー型カラー画素配列で構成されたものを例に挙げて説明したが、本発明はこれに限定されるものではなく、ベイヤー型以外のカラー画素配列で構成された動画像であってもよい。

以上のように、本発明に係る動きベクトル検出装置は、従来のものよりも高い精度で動きベクトルを検出することができるという効果を有し、ベイヤー型配列のカラー画素で構成された動画像において動きベクトルを検出する動きベクトル検出装置等として有用である。

本実施の形態に係る動きベクトル検出装置のブロック図 本実施の形態に係る動きベクトル検出装置の各ステップのフローチャート 本実施の形態に係る動きベクトル検出装置の輝度信号生成部が、ベイヤー型カラー画素配列の動画像の色信号Ｒ、Ｇ、Ｂから生成する輝度信号Ｙを示す図 本実施の形態に係る動きベクトル検出装置の第１動きベクトル検出部１３が、ベイヤー型カラー画素配列の動画像の色信号Ｇをサンプリングする位置を示す図 本実施の形態に係る動きベクトル検出装置において、輝度信号Ｙは色信号Ｇに対してサンプリング位置が水平及び垂直方向に共に半画素ずれていることを示す図 （ａ）本発明の第１の実施の形態に係る動きベクトル検出装置において、検出された輝度信号Ｙ及び色信号Ｇの動きベクトル値が一致していることを示す図 （ｂ）本発明の第１の実施の形態に係る動きベクトル検出装置において、検出された輝度信号Ｙ及び色信号Ｇの動きベクトル値が一致していないことを示す図 従来の正方格子型の３板式カラー画素素子において、撮像されたＲＧＢカラー動画像のＲ、Ｇ、Ｂ各色が同じ空間位置でサンプリングされることを示す図 従来のベイヤー型カラー画素配列において、色信号Ｇは市松模様状のサンプリング構造、色信号Ｒ及びＢは正方格子型サンプリング構造となっていることを示す図 従来のベイヤー型カラー画素配列における３次元周波数スペクトル構造を示す図 従来のベイヤー型カラー画素配列において、フレーム間で画像が、ｕ＝１［画素］及びｖ＝１［ライン］の動きを行った場合の周波数スペクトルの存在する面を示す図

符号の説明

１０ 動きベクトル検出装置
１１ 第１フレームメモリ
１２ 第２フレームメモリ
１３ 第１動きベクトル検出部（第１動きベクトル検出手段）
１４、２１、２４ スイッチ
１５ 第１ＲＧＢ適用部
１６ 輝度信号生成部（輝度信号生成手段）
１７ 第３フレームメモリ
１８ 第４フレームメモリ
１９ 第２動きベクトル検出部（第２動きベクトル検出手段）
２０ 相関計算部（相関値計算手段）
２２ 第２ＲＧＢ適用部（動きベクトル決定手段）
２３ 特定処理部
２５ クロック信号出力部

Claims (5)

1. 予め定められた複数の色信号のいずれかによって第１の動きベクトルを検出する第１動きベクトル検出手段と、前記複数の色信号から輝度信号を生成する輝度信号生成手段と、前記輝度信号によって第２の動きベクトルを検出する第２動きベクトル検出手段と、前記第１の動きベクトルのベクトル値と前記第２の動きベクトルのベクトル値との相関値を計算する相関値計算手段と、前記相関値に基づいて前記複数の色信号毎の動きベクトルを決定する動きベクトル決定手段とを備えたことを特徴とする動きベクトル検出装置。
2. 前記第１の動きベクトルを検出する色信号は、市松模様状にサンプリングされた色信号であることを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記複数の色信号は、光の３原色の色信号を含むことを特徴とする請求項１又は請求項２に記載の動きベクトル検出装置。
4. 前記複数の色信号は、光の３原色の補色信号を含むことを特徴とする請求項１から請求項３までのいずれか１項に記載の動きベクトル検出装置。
5. 前記第１の動きベクトルを検出する色信号は、緑色信号であることを特徴とする請求項１から請求項４までのいずれか１項に記載の動きベクトル検出装置。

Images