JP2003009179A - 動きベクトル及び視差ベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 装置を複雑化することなく、精度よく消費電
力を抑えることができるようにした動きベクトル又は視
差ベクトル検出装置を提供する。 【解決手段】 入力映像信号の基準画像のデータを格納
する基準画像格納メモリ１と、参照画像のデータを格納
する参照画像格納メモリ２と、各画像格納メモリを制御
するメモリコントローラ３と、各画像格納メモリから読
み出された基準ブロックデータと参照ブロックデータと
を用いて相関演算を行って動きベクトルを検出するブロ
ックマッチング演算器４と、通常モードと低消費電力モ
ードとを設定し、各モードに応じたパラメータを出力す
る動作モード設定器６と、通常モード時の測定結果と低
消費電力モード時の測定結果の差分が閾値以内か否かを
判定するモード結果比較器５とを備え、前記差分が閾値
以内の場合には、モード決定用フレームより後に入力さ
れるフレームに対して低消費電力モードを設定するよう
に構成する。

Description

【発明の詳細な説明】

【０００１】この発明は、ブロックマッチング法を用い
て、動画像における動きベクトル又はステレオ画像にお
ける左右画像の視差ベクトルを検出する装置に関するも
のである。

【発明の属する技術分野】

【０００２】

【従来の技術】動画像圧縮やビデオカメラの手振れ補正
のための動きベクトルの検出には、ブロックマッチング
法が一般的によく採用されている。また、ステレオ画像
における左右画像の視差ベクトルの検出に関しても、同
様の手法が用いられている。以下、動きベクトル検出に
代表して説明を行うが、視差ベクトル検出に関しても同
じことがいえる。

【０００３】一般的に、ブロックマッチング法による動
きベクトル検出は、演算量が多く、消費電力も大きくな
りやすい。ブロックマッチング法を用いた動きベクトル
検出において、演算量を削減して消費電力を低減させる
ためには、探索範囲を狭くする方法、間引きする方法、
ブロックサイズを小さくする方法等が考えられている。

【０００４】しかし、単純に演算量を削減させただけで
は、一般的に検出精度も下がるという問題点がある。次
に、この問題点について説明する。例えば、単純に探索
範囲を狭くして演算量を削減しようとした場合は、真の
動きベクトルが探索範囲外に存在するときに、誤った動
きベクトルを検出してしまう。また間引きする場合は、
原画像の細部の特徴が残らない可能性がある。同様にブ
ロックサイズを小さくする場合も、ノイズ等の影響をう
けやすくなってしまう恐れがある。

【０００５】このような問題点を解決するためには、入
力映像の特性に応じて処理を変えればよい。例えば、探
索範囲に関しては、動きが大きい映像の場合は探索範囲
を広く、動きが小さい映像の場合は探索範囲を狭くすれ
ばよい。また、間引きに関しても、周波数成分の高い映
像の場合は間引きを小さく、周波数成分の低い映像の場
合は間引きを大きくすればよい。また、ブロックサイズ
の場合も、ノイズの多い映像の場合はブロックサイズを
大きく、ノイズの少ない映像の場合はブロックサイズを
小さくすればよい。

【０００６】具体的な先行技術としては、例えば探索範
囲に関する先行技術としては、特開２０００−７８５８
０号公報「動きベクトル検出装置および方法、並びに提
供媒体」においては、探索範囲内で最小となったときの
相関演算値の大きさに応じて探索範囲の大きさを決定す
る手法について開示がなされている。

【０００７】また、間引きに関する先行技術としては、
特開平１１−１３６６８２号公報「動きベクトル検出装
置および動きベクトル検出方法、並びに画像符号化装
置」においては、符号化対象ブロックの周波数成分等に
応じて、間引きの設定を制御する手法について開示がな
されている。

【０００８】また、ブロックサイズに関する先行技術と
しては、特開平５−１３０５８８号公報「画像の動きベ
クトル検出装置」においては、輪郭部の割合が多いほど
ブロックサイズを大きくする手法について開示がなされ
ている。

【０００９】様々な映像信号が入力されるような装置の
場合、低消費電力のための手法は、映像信号の特性や装
置の用途に応じて適切な手法の組み合わせを選択するこ
とが望ましい。上述した先行技術を組み合わせて用いれ
ば、例えば、動きの少ない映像の場合は探索範囲を狭
く、周波数成分の低い映像の場合は間引き量を大きくす
ることができ、それぞれの技術を単独で用いる場合より
も、消費電力削減効果の向上が期待できる。

【００１０】

【発明が解決しようとする課題】しかしながら、前記特
開２０００−７８５８０号公報開示の手法を用いるため
には、最小相関演算値の大きさを調べる必要があり、ま
た特開平１１−１３６６８２号公報開示の手法を用いる
ためには周波数成分を調べる必要があり、また特開平５
−１３０５８８号公報開示の手法を用いるためには輪郭
部の割合を調べる必要があるというように、個々の消費
電力削減手段によって映像の特性を調べる手法は異な
る。すなわち、複数の消費電力削減手段を組み合わせて
用いれば高い消費電力削減効果が期待できるものの、上
述した先行技術を組み合わせて用いる場合は、個々の消
費電力削減手段によって映像の特性を調べる手法が異な
るために、装置は複雑になってしまうという問題点があ
る。

【００１１】本発明は、上記事情に鑑みてなされたもの
で、装置を複雑化することなく、精度よく消費電力を抑
えることができるようにした動きベクトル又は視差ベク
トル検出装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】上記問題点を解決するた
め、請求項１に係る発明は、入力映像信号の動きベクト
ル又は視差ベクトルの検出装置において、入力映像信号
のうち基準画像のデータを格納する基準画像格納メモリ
と、前記入力映像信号のうち参照画像のデータを格納す
る参照画像格納メモリと、前記基準画像格納メモリと前
記参照画像格納メモリとを制御するメモリコントローラ
と、前記基準画像格納メモリから読み出される基準ブロ
ックデータと前記参照画像格納メモリから読み出される
参照ブロックデータとを用いて相関演算を行い、動きベ
クトル又は視差ベクトルを検出するブロックマッチング
演算器と、通常モードと低消費電力モードとを設定し、
前記各モードに応じたパラメータを出力する動作モード
設定器と、通常モード時の測定結果と低消費電力モード
時の測定結果とを比較するモード結果比較器とを有し、
前記動作モード設定器は、前記モード結果比較器による
通常モード時の測定結果と低消費電力モード時の測定結
果の比較結果に基づいて、動作モードを設定するように
構成されていることを特徴とするものである。

【００１３】この発明に関する実施の形態は、第１，第
２，第３，第４，第５の実施の形態が対応する。このよ
うに構成した動きベクトル又は視差ベクトルの検出装置
においては、モード結果比較器が通常モード時の測定結
果と低消費電力モード時の測定結果とを比較し、動作モ
ード設定器は、通常モード時の測定結果と低消費電力モ
ード時の測定結果との比較結果に基づいて動作モードを
設定し、通常モード時の測定結果と低消費電力モード時
の測定結果を比較した後に動作モードを決定するように
なっているため、検出精度を低下させずに且つ装置を複
雑化することなく、消費電力削減効果を得ることができ
る。

【００１４】請求項２に係る発明は、請求項１に係る動
きベクトル又は視差ベクトルの検出装置において、前記
モード結果比較器は、モード決定用フレームにおける通
常モード時の動きベクトル又は視差ベクトルの統計値と
低消費電力モード時の動きベクトル又は視差ベクトルの
統計値との差分が閾値以内であるか否かを判定し、前記
動作モード設定器は、前記モード結果比較器による前記
差分が閾値以内であった場合は、前記モード決定用フレ
ームより後に入力されるフレームに対して、低消費電力
モードを設定するように構成されていることを特徴とす
るものである。

【００１５】この発明に関する実施の形態は、第１，第
５の実施の形態が対応する。このように構成した動きベ
クトル又は視差ベクトルの検出装置においては、モード
結果比較器は、モード決定用フレームにおける通常モー
ド時の動きベクトル又は視差ベクトルの統計値と低消費
電力モード時の動きベクトル又は視差ベクトルの統計値
との差分が閾値以内であるか否かを判定し、動作モード
設定器は、前記差分が閾値以内であった場合は、モード
決定用フレームより後に入力されるフレームに対して、
低消費電力モードを設定し、通常モード時の測定結果と
低消費電力モード時の測定結果を比較した後に動作モー
ドを決定するようになっているため、検出精度を低下さ
せずに且つ装置を複雑化することなく、消費電力削減効
果を得ることができる。特に、フレーム間の相関が高い
映像に関して有効である。

【００１６】請求項３に係る発明は、請求項２に係る動
きベクトル又は視差ベクトルの検出装置において、入力
映像信号のシーン変化を検出するシーン変化検出器を有
し、前記モード決定用フレームは、前記シーン変化検出
器でシーン変化が検出された場合に指定されることを特
徴とするものである。

【００１７】この発明に関する実施の形態は、第２，第
５の実施の形態が対応する。このように構成した動きベ
クトル又は視差ベクトルの検出装置においては、更にシ
ーン変化検出器を備え、シーン変化を検出し、モード決
定用フレームは、検出されたシーン変化に対応して指定
されるようにしているので、シーン変化が多い映像に関
して検出精度を向上させることができる。

【００１８】請求項４に係る発明は、請求項１に係る動
きベクトル又は視差ベクトルの検出装置において、前記
モード結果比較器は、モード決定用基準ブロックの通常
モード時の動きベクトル又は視差ベクトルの統計値と低
消費電力モード時の動きベクトル又は視差ベクトルの統
計値との差分が閾値以内であるか否かを判定し、前記動
作モード設定器は、前記モード結果比較器による前記差
分が閾値以内であった場合は、前記モード決定用基準ブ
ロックが存在する基準画像内の全ての基準ブロックに対
して、低消費電力モードを設定することを特徴とするも
のである。

【００１９】この発明に関する実施の形態は、第３，第
５の実施の形態が対応する。このように構成した動きベ
クトル又は視差ベクトルの検出装置においては、モード
結果比較器は、モード決定用基準ブロックの通常モード
時の動きベクトル又は視差ベクトルの統計値と低消費電
力モード時の動きベクトル又は視差ベクトルの統計値と
の差分が閾値以内であるか否かを判定し、動作モード設
定器は、前記差分が閾値以内であった場合は、モード決
定用基準ブロックが存在する基準画像内の全ての基準ブ
ロックに対して、低消費電力モードを設定し、通常モー
ド時の測定結果と低消費電力モード時の測定結果を比較
した後に動作モードを決定するようになっているため、
特にフレーム間の相関が低い場合に、検出精度を低下さ
せずに消費電力削減効果を得ることができる。

【００２０】請求項５に係る発明は、請求項１に係る動
きベクトル又は視差ベクトルの検出装置において、前記
モード結果比較器は、モード決定用基準ブロックの通常
モード時の動きベクトル又は視差ベクトルの統計値と低
消費電力モード時の動きベクトル又は視差ベクトルの統
計値との差分が閾値以内であるか否かを判定し、前記動
作モード設定器は、前記モード結果比較器による前記差
分が閾値以内であった場合は、前記モード決定用基準ブ
ロックの周辺の基準ブロックに対して、低消費電力モー
ドを設定することを特徴とするものである。

【００２１】この発明に関する実施の形態は、第４，第
５の実施の形態が対応する。このように構成した動きベ
クトル又は視差ベクトルの検出装置においては、モード
結果比較器は、モード決定用基準ブロックの通常モード
時の動きベクトル又は視差ベクトルの統計値と低消費電
力モード時の動きベクトル又は視差ベクトルの統計値と
の差分が閾値以内であるかを判定し、動作モード設定器
は、前記差分が閾値以内であった場合は、モード決定用
基準ブロックの周辺の基準ブロックに対して、低消費電
力モードを設定し、通常モード時の測定結果と低消費電
力モード時の測定結果を比較した後に動作モードを決定
するようにしているので、特に１枚の画像中に特性の異
なる物体が混在する場合に、検出精度を低下させずに消
費電力削減効果を得ることができる。

【００２２】請求項６に係る発明は、請求項１に係る動
きベクトル又は視差ベクトルの検出装置において、前記
動作モード設定器は、前記通常モードを設定した後、消
費電力削減効果の大きい順に複数の低消費電力モードを
順次設定することを特徴とするものである。

【００２３】この発明に関する実施の形態は、第５の実
施の形態が対応する。このように構成した動きベクトル
又は視差ベクトルの検出装置においては、低消費電力モ
ードを複数存在させているため、消費電力を細かく制御
することができ、また複数の低消費電力モードのうち、
消費電力削減効果の大きいものから優先的に選択させる
ことにより、可能な限り高い消費電力削減効果を得るこ
とができる。

【００２４】

【発明の実施の形態】本発明の実施の形態について説明
する前に、従来の動きベクトル検出装置について説明を
行う。まず、図17を用いて従来の動きベクトル検出装置
の構成について説明する。図17において、101 は入力さ
れる映像信号のうち基準画像データを格納する基準画像
格納メモリ、102 は入力される映像信号のうち参照画像
データを格納する参照画像格納メモリ、103 は前記基準
画像格納メモリ101 と前記参照画像格納メモリ102 とを
制御するメモリコントローラ、104 は前記基準画像格納
メモリ101 から基準ブロック単位で出力される基準ブロ
ックデータと、前記参照画像格納メモリ102 から参照ブ
ロック単位で出力される参照ブロックデータとを用いて
差分絶対値和演算もしくは差分二乗和演算を行い、前記
基準ブロックの位置から、演算結果が最小となるときの
前記参照ブロックの位置までを、動きベクトルとして出
力するブロックマッチング演算器を示している。

【００２５】次に、このように構成されている従来の動
きベクトル検出装置の動作について説明する。入力映像
信号のうち基準画像データは基準画像格納メモリ101
に、参照画像データは参照画像格納メモリ102 にそれぞ
れ格納される。ブロックマッチング演算器104 は、基準
画像格納メモリ101 からブロック単位で読み出される基
準ブロックデータと、参照画像格納メモリ102 からブロ
ック単位で読み出される参照ブロックデータとを用い
て、参照画像内の探索範囲内で参照ブロックをサーチし
ながら相関演算を行う。このとき、基準ブロックと最も
相関が高いと判定された参照ブロックの位置と基準ブロ
ックの位置との差分が、動きベクトルとして出力される
ようになっている。

【００２６】（第１の実施の形態）次に、本発明の第１
の実施の形態について説明する。図１は、第１の実施の
形態の全体構成を示すブロック構成図である。図１にお
いて、１は入力される映像信号のうち基準画像のデータ
を格納する基準画像格納メモリ、２は入力される映像信
号のうち参照画像のデータを格納する参照画像格納メモ
リ、３は前記基準画像格納メモリ１と前記参照画像格納
メモリ２とを制御するメモリコントローラ、４は前記基
準画像格納メモリ１から基準ブロック単位で出力される
基準ブロックデータと、前記参照画像格納メモリ２から
参照ブロック単位で出力される参照ブロックデータとを
用いて、差分絶対値和演算もしくは差分二乗和演算を行
い、前記基準ブロックの位置から、演算結果が最小とな
るときの前記参照ブロックの位置までを、動きベクトル
として出力するブロックマッチング演算器、５はブロッ
クマッチング演算器４から出力される、複数のモードに
おける動きベクトルを比較するモード結果比較器、６は
モード結果比較器５から出力される比較結果に基づい
て、パラメータを設定する動作モード設定器を示してい
る。

【００２７】次に、図２を用いて本実施の形態における
通常モードと低消費電力モードに関して説明する。図２
において、フレーム１からフレーム10は、それぞれブロ
ックマッチング演算を行う２枚の画像の組を示し、例え
ば立体映像における視差測定では、右画像１と左画像１
の組をフレーム１，右画像２と左画像２の組をフレーム
２とする。また、フレーム１とフレーム８は、モード決
定用フレームであり、例えば図２の例では７フレームお
きに周期的に発生するものとする。

【００２８】次に、図１及び図２を用いて、本実施の形
態における動作について説明する。まず、モード決定用
フレームであるフレーム１において、動作モード設定器
６は通常モードを設定し、通常モードに応じたパラメー
タを出力する。メモリコントローラ３は、動作モード設
定器６にて設定された通常モード時のパラメータを受け
取り、通常モード時のパラメータに従った制御方法で、
基準画像格納メモリ１と参照画像格納メモリ２を制御す
る。ブロックマッチング演算器４は、基準画像格納メモ
リ１から読み出された基準ブロックデータと、参照画像
格納メモリ２から読み出された参照ブロックデータとを
用いて、参照画像内の探索範囲内で参照ブロックをサー
チしながら相関演算を行う。このとき、基準ブロックの
位置と、基準ブロックと最も相関が高いと判定された参
照ブロックの位置との差分が、動きベクトルとして出力
される。なお、ブロックマッチング演算器４は、動作モ
ード設定器６にて設定された通常モード時のパラメータ
を受け取り、パラメータ従った検出方法で動きベクトル
を検出する。

【００２９】通常モードにて設定された基準ブロック数
の動きベクトルが検出された後、動作モード設定器６
は、低消費電力モードを設定する。このとき、低消費電
力モードにおける動きベクトルの検出も、通常モードの
場合と同様にして行われる。なお、低消費電力モード時
に動作モード設定器６で設定されるパラメータは、通常
モード時に設定されるパラメータよりも消費電力が少な
くなるように設定される。

【００３０】モード結果比較器５は、通常モードで検出
された動きベクトルの統計値と低消費電力モードで検出
された動きベクトルの統計値との差分が、閾値以内であ
るか否かを判定する。ここで、統計値とは、例えば平均
値、最大値、最小値、最頻値等を指す。また、前記複数
の統計値を併用してもよい。また、動きベクトルの分布
に関するヒストグラムを作成し、それぞれの範囲に関す
る頻度であってもよい。

【００３１】また、通常モード時の全ての動きベクトル
と低消費電力時の全ての動きベクトルとを用いて、各々
一致するか判定し、フレーム全体における一致率が閾値
以内であるかを判定してもよい。

【００３２】次に、動作モード設定器６は、モード結果
比較器５にて判定された結果を受け取り、フレーム２か
らフレーム７までの動作モードを設定する。ここで、例
えばフレーム１における通常モードの統計値と低消費電
力モードの統計値との差分が閾値以内だった場合は、図
２に示すようにフレーム２からフレーム７までは、低消
費電力モードを設定する。

【００３３】同様に、次のモード決定用フレームである
フレーム８に関しても、動作モード設定器６が通常モー
ドと低消費電力モードとを設定し、モード結果比較器５
が通常モード時の統計値と低消費電力モード時の統計値
とを比較する。ここで、例えばフレーム８における通常
モードの統計値と低消費電力モードの統計値との差分
が、閾値を超えていた場合は、図２に示すようにフレー
ム９からフレーム14までは、通常モードが設定される。

【００３４】以上説明した手法によれば、通常モード時
の測定結果と低消費電力モード時の測定結果とを比較し
た後に、動作モードを決定するため、検出精度を低下さ
せずに消費電力削減効果を得ることができる。

【００３５】なお、動作モード設定器６にて動作モード
に応じて設定されるパラメータは、例えば、探索範囲、
相関演算時におけるビット長、基準ブロック数、ブロッ
クサイズ、間引き等に対応するものが考えられる。以下
にこれらのパラメータが設定されたときの動作について
説明する。

【００３６】図３は、第１の実施の形態における、探索
範囲に関して示す説明図である。図３において、10はブ
ロックサイズがＭ画素×Ｎ画素の基準ブロック、11は基
準ブロック位置を中心に水平方向に±Ａ画素、垂直方向
に±Ｂ画素の範囲を持つ探索範囲、12は基準ブロック10
の左上位置、13は探索範囲11内の探索開始位置、14は探
索範囲11内の探索終了位置を示す。ここで、基準ブロッ
クの左上位置12の座標を（Ｘ0 ，Ｙ0 ）、探索開始位置
13の座標を（Ｘ1 ，Ｙ1 ）、探索終了位置14の座標を
（Ｘ2 ，Ｙ2 ）とすれば、式１（Ｘ1 ＝Ｘ0 −Ａ，Ｙ1
＝Ｙ0 −Ｂ，Ｘ2＝Ｘ0 ＋Ｍ＋Ａ−１，Ｙ2 ＝Ｙ0 ＋Ｎ
＋Ｂ−１）によって、探索開始位置13と探索終了位置14
を求めることができる。

【００３７】次に、動作モード設定器６にて探索範囲と
ブロックサイズに関するパラメータが与えられたとき
の、メモリコントローラ３の動作に関して説明を行う。
メモリコントローラ３は、探索範囲とブロックサイズに
関するパラメータが与えられると、上記式１の演算式に
より探索開始位置13と探索終了位置14を演算する。メモ
リコントローラ３は、参照画像格納メモリ２を制御し
て、探索開始位置13から探索終了位置14までの参照画像
データを読み出す。

【００３８】以上の方法により、メモリコントローラ３
は、動作モード設定器６から設定されたパラメータに応
じて、探索範囲を任意に設定することができる。例え
ば、低消費電力モード時に、通常モード時よりも狭い探
索範囲を設定すれば、短時間で演算を終了することがで
きる。演算終了後、回路を停止等することにより、通常
モードよりも消費電力を削減することができる。

【００３９】図４は、基準ブロックの間隔に関して示す
説明図である。図４において、基準ブロック10は、水平
方向にＤＸ，垂直方向にＤＹの間隔で配置されている。
隣合った３つの基準ブロックの左上位置を示す20，21及
び22の座標を、それぞれ（ＸＡ，ＹＡ），（ＸＢ，Ｙ
Ｂ），（ＸＣ，ＹＣ）とすれば、式２（ＸＢ＝ＸＡ＋Ｄ
Ｘ，ＹＢ＝ＹＡ，ＸＣ＝ＸＡ，ＹＣ＝ＹＡ＋ＤＹ）が成
り立つ。つまり、水平方向のブロック間隔ＤＸ及び垂直
方向のブロック間隔ＤＹが与えられていれば、隣の基準
ブロックの座標を求めることができる。

【００４０】次に、動作モード設定器６にて基準ブロッ
ク数と水平方向及び垂直方向のブロック間隔に関するパ
ラメータが与えられたときの、メモリコントローラ３の
動作に関して説明を行う。メモリコントローラ３は、ブ
ロック間隔に関するパラメータが与えられると、上記式
２の演算式により個々の基準ブロックの座標を演算し、
基準ブロックに対する基準画像データと参照画像データ
とを読み出す。その後、設定された基準ブロック数のデ
ータを読み出し終えたら、動作を終了する。

【００４１】以上の方法により、メモリコントローラ３
は、動作モード設定器６から設定されたパラメータに応
じて、基準ブロック数とその配置方法を任意に設定する
ことができ、例えば、図５の（Ａ），（Ｂ）に示すよう
に、低消費電力モード時は、通常モード時と比較して基
準ブロック数が少なくなるように配置することが可能で
ある。このように、低消費電力モード時に、通常モード
時よりも基準ブロック数を少なく設定すれば、短時間で
演算を終了することができ、通常モードよりも消費電力
を削減することができる。

【００４２】図６は、第１の実施の形態において、ブロ
ックサイズが４画素×４画素時のブロックマッチング演
算器４の回路構成を示す図である。説明を簡単にするた
めに、４画素×４画素にて説明するが、８画素×８画
素、16画素×16画素やその他のブロックサイズの場合も
同様な構成である。基準画像メモリ１から読み出された
基準ブロックデータと参照画像メモリ２から読み出され
た参照ブロックデータは、直並列変換器30で直並列変換
され、差分絶対値演算器群31に入力される。差分絶対値
演算器群31は、基準ブロックデータと参照ブロックデー
タとの差分絶対値演算を行う。なお、差分絶対値演算器
群31における個々の差分絶対値演算器の括弧内の数字
は、図７に示す基準ブロック内の画素位置及び参照ブロ
ック内の画素位置に対応し、例えば差分絶対値演算器
(1.1) は、基準ブロックデータのうち画素位置(1.1) の
データと、参照ブロックデータのうち画素位置(1.1) の
データとの差分絶対値演算を行う。

【００４３】差分絶対値演算器群31から出力された差分
絶対値演算結果は、加算器群32で加算される。加算器群
32から出力される加算結果、すなわち基準ブロックと参
照ブロックとの間の差分絶対値和は、最小値検出器33に
入力され、最小値検出器33は、探索範囲内で差分絶対値
和が最小となるときの値を検出し、動きベクトルを出力
する。以上の方法により、ブロックマッチング演算器４
は、４画素×４画素の差分絶対値和演算を行い、動きベ
クトルを検出することができる。

【００４４】次に、動作モード設定器６にて、例えばブ
ロックサイズが３画素×３画素と設定されたときのブロ
ックマッチング演算器４の動作に関して、図６を用いて
説明する。動作モード設定器６にてブロックサイズが３
画素×３画素と設定されると、差分絶対値演算器群31
は、差分絶対値演算器(1.4) 及び(2.4) 及び(3.4) 及び
(4.1) 及び(4.2) 及び(4.3) 及び(4.4) を停止させる。
また、直並列変換器30及び加算器群32も、差分絶対値演
算器(1.4) ，(2.4) ，(3.4) ，(4.1) ，(4.2) ，(4.3)
及び(4.4) に対応する部分を、停止させることができ
る。以上により、ブロックマッチング演算器４は、設定
されたブロックサイズに応じて回路の一部を停止させる
ことができる。例えば、低消費電力モード時に、通常モ
ード時よりも小さいブロックサイズを設定することによ
り、消費電力削減効果が得られる。

【００４５】また、動作モード設定器６にて、例えば図
８において、間引きによって計算されない画素をハッチ
ングを付した画素で示すように、垂直方向の間引きが設
定された場合も同様に、直並列変換器30及び差分絶対値
演算器群31及び加算器群32は、差分絶対値演算器(2.1)
及び(2.2) 及び(2.3) 及び(2.4) 及び(4.1) 及び(4.2)
及び(4.3) 及び(4.4) に該当する部分をを停止させるこ
とができる。また、垂直方向の間引きだけでなく、水平
方向の間引き、又は垂直方向と水平方向の間引きの併用
が設定された場合も同様である。例えば、低消費電力モ
ード時に、通常モード時よりも大きい間引き量を設定す
ることにより、消費電力削減効果が得られる。

【００４６】また、動作モード設定器６にて、相関演算
時におけるビット長が短く設定された場合は、直並列変
換器30及び差分絶対値演算器群31及び加算器群32及び最
小値検出器33の下位数ビットの動作を停止させることが
できる。例えば、低消費電力モード時に、通常モード時
よりも短いビット長を設定することにより、消費電力削
減効果が得られる。

【００４７】本実施の形態によると、通常モード時の測
定結果と低消費電力モード時の測定結果を比較した後
に、動作モードを決定するため、検出精度を低下させず
に消費電力削減効果を得ることができる。また、通常モ
ードと低消費電力モードとで探索範囲、相関演算時にお
けるビット長、基準ブロック数、ブロックサイズ、間引
き等のパラメータ設定を変えることができ、且つ複数の
パラメータを併用することにより、高い消費電力削減効
果を得ることができる。

【００４８】また、従来の手法では、例えば探索範囲の
設定と間引きの設定等、個々の消費電力削減手段によっ
て映像の特性を調べる手法が異なっていたが、本発明で
は、前記探索範囲や間引き等の複数のパラメータを併用
しても、通常モード時の結果と低消費電力モード時の結
果とを比べる手法は一定であるので、装置を複雑化する
ことなく、様々な消費電力削減手段を併用することがで
きる。

【００４９】（第２の実施の形態）次に、本発明の第２
の実施の形態について説明する。図９は、本実施の形態
の全体構成を示すブロック構成図であり、符号１〜６で
示す構成要素は、図１で示した第１の実施の形態と同様
であるので、その説明を省略する。この実施の形態の特
徴は、ブロックマッチング演算器４から出力される動き
ベクトルを用いて、シーン変化を検出するシーン変化検
出器７を備えている点である。

【００５０】このシーン変化検出器７においては、ブロ
ックマッチング演算器４から出力された現フレームにお
ける動きベクトルの統計値と、前フレームにおける動き
ベクトルの統計値とを比較する。比較した結果、現フレ
ームの統計値と前フレームの統計値とで大きな変化が見
られた場合は、シーン変化と判断する。シーン変化検出
器７でシーン変化と判断された場合、動作モード設定器
６は現在のフレームをモード決定用フレームとする。

【００５１】第１の実施の形態においては、複数のフレ
ームおきに周期的に動作モードが決定されていたが、本
実施の形態では、シーン変化に対応して動作モードが決
定される。したがって、本実施の形態では、低消費電力
モードで動作中にシーン変化が起こった場合は、再度動
作モードが決定されるため、信頼性の高い動きベクトル
検出を行うことができる。このように、本実施の形態に
おいても、第１の実施の形態と同様に消費電力削減効果
を得ることができ、特にシーン変化が発生する映像に有
効である。

【００５２】（第３の実施の形態）次に、本発明の第３
の実施の形態について説明する。本実施の形態における
装置全体の構成は、第１の実施の形態と同様であるの
で、その図示説明は省略する。図10は、基準画像におけ
るモード決定用基準ブロックの配置例に関して示す説明
図である。本実施の形態においては、動作モード設定器
６は、モード決定用基準ブロックに対して通常モードと
低消費電力モードとを設定する。図10に示す配置例で
は、モード決定用基準ブロック35は基準画像36中に複数
個存在し、モード結果比較器５は、モード決定用基準ブ
ロックの通常モード時の動きベクトルの統計値と、低消
費電力モード時の動きベクトルの統計値との差分が閾値
以内であるかを判定する。動作モード設定器６は、通常
モード時の動きベクトルの統計値と低消費電力モード時
の動きベクトルの統計値との差分が、閾値以内であった
場合には、基準画像36内の全ての基準ブロック37に対し
て低消費電力モードを設定する。

【００５３】第１の実施の形態では、数フレームに１回
動作モードを決定していたが、本実施の形態では毎フレ
ームで動作モードを決定する。本実施の形態において
も、第１の実施の形態と同様に消費電力削減効果を得る
ことができ、特にフレーム間の相関が低い場合に有効で
ある。

【００５４】（第４の実施の形態）次に、本発明の第４
の実施の形態について説明する。本実施の形態における
装置全体の構成は、第１の実施の形態と同様であるの
で、その図示説明は省略する。図11は、本実施の形態の
モード決定用基準ブロックと、同一モードで動作する基
準ブロックの集合に関して示す説明図である。基準画像
40は、太線で示す複数の基準ブロックの集合42に分割さ
れ、該基準ブロックの集合42内にモード決定用基準ブロ
ック43は一つ配置される。なお、基準ブロックの集合42
は、図示例では５×５の基準ブロック41で示している。

【００５５】本実施の形態において、動作モード設定器
６は、モード決定用基準ブロック43に対して、通常モー
ドと低消費電力モードとを設定する。モード結果比較器
５は、モード決定用基準ブロック43の通常モード時の動
きベクトルと、低消費電力モード時の動きベクトルとの
差分が、閾値以内であるかを判定する。動作モード設定
器６は、通常モード時の動きベクトルと低消費電力モー
ド時の動きベクトルとの差分が閾値以内であった場合に
は、モード決定用基準ブロック43の周辺の基準ブロック
41に対して、低消費電力モードを設定する。

【００５６】第３の実施の形態では、基準画像内の全て
の基準ブロックに対して同じ動作モードを設定していた
が、本実施の形態では、基準画像内を分割した領域毎に
異なる動作モードを設定することが可能である。本実施
の形態においても、第１の実施の形態と同様に消費電力
削減効果を得ることができ、特に１枚の画像中に特性の
異なる物体が混在している場合に有効である。

【００５７】（第５の実施の形態）次に、本発明の第５
の実施の形態について説明する。本実施の形態における
装置全体の構成は、第１の実施の形態と同様であるの
で、その図示説明は省略する。図12は、本実施の形態に
おける動作モードの設定の一例について示す図である。
本実施の形態において、動作モードには１つの通常モー
ドと３つの低消費電力モードがあり、３つの低消費電力
モードには、低消費電力モード１及び２及び３がある。
なお、３つの低消費電力モードは、低消費電力モード１
→低消費電力モード２→低消費電力モード３の順に設定
されることが予め決められているものとする。また、図
12の図示例では、３つの低消費電力モードのうち、低消
費電力モード１が最も消費電力削減効果が大きく、低消
費電力モード３が最も消費電力削減効果が小さくなるよ
うに、探索範囲及びブロックサイズ及び間引きが設定さ
れている。

【００５８】図13は、モード決定用フレームにおける動
作モード決定フローを示す図である。次に、図13のフロ
ーチャートを用いて、本実施の形態における動作につい
て説明を行う。動作モード設定器６は、モード決定用フ
レームに対して、通常モードにて動きベクトル検出を行
った後（ステップＳ１）、低消費電力モード１で動きベ
クトル検出を行う（ステップＳ２）。その後、通常モー
ド時の動きベクトルの統計値と低消費電力モード１時の
動きベクトルの統計値との差分が閾値以内であるか否か
の判定を行い（ステップＳ３）、閾値以内であった場合
は、動作モード設定器６は、その後のフレームに対して
低消費電力モード１を設定する（ステップＳ４）。前記
差分の判定ステップＳ３において差分が閾値を超えてい
た場合は、低消費電力モード２で動きベクトル検出を行
い（ステップＳ５）、通常モード時と低消費電力モード
２時の結果の差分を演算する。そして、前記差分が閾値
以内であるか否かの判定を行い（ステップＳ６）、前記
差分が閾値以内であれば、その後のフレームに対して低
消費電力モード２を設定する（ステップＳ７）。前記差
分の判定ステップＳ５において差分が閾値を超えていた
場合は、低消費電力モード３で動きベクトル検出を行い
（ステップＳ８）、通常モード時と低消費電力モード３
時の結果の差分を演算する。そして、前記差分が閾値以
内であるか否かの判定を行い（ステップＳ９）、前記差
分が閾値以内であれば、その後のフレームに対して低消
費電力モード３を設定し（ステップＳ10）、前記差分の
判定ステップＳ９において差分が閾値を超えていた場合
は、その後のフレームに対して通常モードを設定する
（ステップＳ11）。

【００５９】図14及び図15は、それぞれ上記手法を用い
た場合における動作モードの決定態様を時間軸上で示し
た図である。通常モードと低消費電力モード１の結果が
異なる場合、図14に示した例の場合は、同一のフレーム
で再度低消費電力モード２の測定を行い、図15に示した
例の場合は、次のフレームで通常モードと低消費電力モ
ード２の測定及び比較を行う。本実施の形態は、図14及
び図15に示す手法の両方に適用可能であり、図14に示し
た例の場合には、全体として通常モードでの動作回数が
少なくなるという利点があり、図15に示した例の場合に
は、１フレーム内での最大演算時間が短くなるという利
点がある。

【００６０】上記手法によれば、低消費電力モードが複
数ある場合、消費電力削減効果の大きいものから優先的
に選択されるという利点がある。また、第１から第４の
実施の形態においては、低消費電力モードの数に関して
は特に考慮していないが、本実施の形態のように複数の
低消費電力モードを設定しておくと、消費電力を細かく
制御することができるという利点も得られる。

【００６１】また、動作モードの設定は、例えば図16に
示す態様で行うこともできる。この場合、動きの少ない
画像の場合は低消費電力モード１が、動きは大きいが周
波数成分の低い映像の場合は低消費電力モード２が選択
されることが期待できる。

【００６２】また、本実施の形態においては、第１及び
第２の実施の形態のように、モード決定用フレームに対
して結果を比較する場合に関して説明を行ったが、第３
及び第４の実施の形態のように、モード決定用基準ブロ
ックに対して結果を比較する場合に関しても、同様に適
用可能である。

【００６３】また、上記第１から第５の実施の形態にお
いては、動きベクトルを検出する場合に関して説明を行
ったが、これらの実施の形態は、ステレオ画像における
左右画像の視差ベクトルを検出する場合に関しても、同
様に適用可能である。

【００６４】

【発明の効果】以上実施の形態に基づいて説明したよう
に、請求項１及び請求項２に係る発明によれば、通常モ
ード時の測定結果と低消費電力モード時の測定結果を比
較した後に動作モードを決定するように構成しているの
で、検出精度を低下させず且つ装置を複雑化することな
く、消費電力削減効果を得ることができる。特に請求項
２に係る発明は、フレーム間の相関が高い映像に関して
有効である。また請求項３に係る発明によれば、モード
決定用フレームを検出されたシーン変化に対応して指定
するように構成されているので、シーン変化が多い映像
に関して検出精度を向上させることができる。また請求
項４に係る発明によれば、通常モード時と低消費電力モ
ード時の測定結果の差分が閾値以内の場合には、モード
決定用基準ブロックが存在する基準画像内の全ての基準
ブロックに対して低消費電力モードを設定するように構
成しているので、特にフレーム間の相関が低い場合に、
検出精度を低下させずに消費電力削減効果を得ることが
できる。また請求項５に係る発明によれば、通常モード
時と低消費電力モード時の測定結果の差分が閾値以内の
場合には、モード決定用基準ブロックの周辺の基準ブロ
ックに対して、低消費電力モードを設定するように構成
しているので、特に１枚の画像中に特性の異なる物体が
混在する場合に、検出精度を低下させずに消費電力削減
効果が得られる。また請求項６に係る発明によれば、複
数の低消費電力モードを設けているので、消費電力を細
かく制御することができ、また複数の低消費電力モード
のうち、消費電力削減効果の大きいものから優先的に選
択させることにより、可能な限り高い消費電力削減効果
を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック構成
図である。

【図２】図１に示した第１の実施の形態における通常モ
ードと低消費電力モードの切替え態様を示す説明図であ
る。

【図３】第１の実施の形態における参照画像内の探索範
囲を示す説明図である。

【図４】第１の実施の形態における基準ブロック間隔に
関する説明図である。

【図５】第１の実施の形態において動作モード設定器か
ら設定されたパラメータに応じた基準ブロックの配置態
様を示す図である。

【図６】第１の実施の形態におけるブロックマッチング
演算器の構成例を示す図である。

【図７】基準ブロック又は参照ブロック内の画素位置を
示す図である。

【図８】間引き設定された基準ブロック又は参照ブロッ
ク内の画素位置を示す図である。

【図９】本発明の第２の実施の形態を示すブロック構成
図である。

【図10】第３の実施の形態において、基準画像における
モード決定用基準ブロックの配置例を示す図である。

【図11】第４の実施の形態において、基準画像における
モード決定用基準ブロックと、同一モードで動作する基
準ブロックの集合の配置態様を示す図である。

【図12】第５の実施の形態において、動作モードの設定
例を示す図である。

【図13】第５の実施の形態において、モード決定用フレ
ームにおける動作モード決定動作を説明するためのフロ
ーチャートである。

【図14】第５の実施の形態において、動作モード決定態
様の一例を時間軸上で示す図である。

【図15】第５の実施の形態において、動作モード決定態
様の他の例を時間軸上で示す図である。

【図16】第５の実施の形態において、動作モードの他の
設定例を示す図である。

【図17】従来の動きベクトル検出装置の構成例を示すブ
ロック図である。

【符号の説明】

１ 基準画像格納メモリ ２ 参照画像格納メモリ ３ メモリコントローラ ４ ブロックマッチング演算器 ５ モード結果比較器 ６ 動作モード設定器 ７ シーン変化検出器 10 基準ブロック 11 参照画像探索範囲 12 基準ブロック左上位置 13 探索開始位置 14 探索終了位置 20，21，22 基準ブロック左上位置 30 直並列変換器 31 差分絶対値演算器群 32 加算器群 33 最小値検出器 35 モード決定用基準ブロック 36 基準画像 37 基準ブロック 40 基準画像 41 基準ブロック 42 基準ブロックの集合 43 モード決定用基準ブロック

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK06 KK19 NN01 NN28 NN43 PP04 PP13 TA00 TB08 TC12 TC14 TD02 TD03 TD06 TD11 UA38 5C061 AA20 AB04 AB12 5L096 GA00 HA04 HA08

Claims (6)

【特許請求の範囲】
1. 【請求項１】 入力映像信号の動きベクトル又は視差ベ
   クトルの検出装置において、入力映像信号のうち基準画
   像のデータを格納する基準画像格納メモリと、前記入力
   映像信号のうち参照画像のデータを格納する参照画像格
   納メモリと、前記基準画像格納メモリと前記参照画像格
   納メモリとを制御するメモリコントローラと、前記基準
   画像格納メモリから読み出される基準ブロックデータと
   前記参照画像格納メモリから読み出される参照ブロック
   データとを用いて相関演算を行い、動きベクトル又は視
   差ベクトルを検出するブロックマッチング演算器と、通
   常モードと低消費電力モードとを設定し、前記各モード
   に応じたパラメータを出力する動作モード設定器と、通
   常モード時の測定結果と低消費電力モード時の測定結果
   とを比較するモード結果比較器とを有し、前記動作モー
   ド設定器は、前記モード結果比較器による通常モード時
   の測定結果と低消費電力モード時の測定結果の比較結果
   に基づいて、低消費電力モード又は通常モードを設定す
   るように構成されていることを特徴とする動きベクトル
   又は視差ベクトル検出装置。
2. 【請求項２】 前記モード結果比較器は、モード決定用
   フレームにおける通常モード時の動きベクトル又は視差
   ベクトルの統計値と低消費電力モード時の動きベクトル
   又は視差ベクトルの統計値との差分が閾値以内であるか
   否かを判定し、前記動作モード設定器は、前記モード結
   果比較器による前記差分が閾値以内であった場合は、前
   記モード決定用フレームより後に入力されるフレームに
   対して、低消費電力モードを設定するように構成されて
   いることを特徴とする請求項１に係る動きベクトル又は
   視差ベクトル検出装置。
3. 【請求項３】 入力映像信号のシーン変化を検出するシ
   ーン変化検出器を有し、前記モード決定用フレームは、
   前記シーン変化検出器でシーン変化が検出された場合に
   指定されることを特徴とする請求項２に係る動きベクト
   ル又は視差ベクトル検出装置。
4. 【請求項４】 前記モード結果比較器は、モード決定用
   基準ブロックの通常モード時の動きベクトル又は視差ベ
   クトルの統計値と低消費電力モード時の動きベクトル又
   は視差ベクトルの統計値との差分が閾値以内であるか否
   かを判定し、前記動作モード設定器は、前記モード結果
   比較器による前記差分が閾値以内であった場合は、前記
   モード決定用基準ブロックが存在する基準画像内の全て
   の基準ブロックに対して、低消費電力モードを設定する
   ことを特徴とする請求項１に係る動きベクトル又は視差
   ベクトル検出装置。
5. 【請求項５】 前記モード結果比較器は、モード決定用
   基準ブロックの通常モード時の動きベクトル又は視差ベ
   クトルの統計値と低消費電力モード時の動きベクトル又
   は視差ベクトルの統計値との差分が閾値以内であるか否
   かを判定し、前記動作モード設定器は、前記モード結果
   比較器による前記差分が閾値以内であった場合は、前記
   モード決定用基準ブロックの周辺の基準ブロックに対し
   て、低消費電力モードを設定することを特徴とする請求
   項１に係る動きベクトル又は視差ベクトル検出装置。
6. 【請求項６】 前記動作モード設定器は、前記通常モー
   ドを設定した後、消費電力削減効果の大きい順に複数の
   低消費電力モードを順次設定することを特徴とする請求
   項１に係る動きベクトル又は視差ベクトル検出装置。