JP2005260481A

JP2005260481A - 動きベクトル検出装置及びその検出方法並びにカメラ

Info

Publication number: JP2005260481A
Application number: JP2004067578A
Authority: JP
Inventors: Seiichiro Sakata; 誠一郎坂田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-03-10
Filing date: 2004-03-10
Publication date: 2005-09-22

Abstract

【課題】検出精度を高めると共に、検出時間を短縮して操作性を改善した動きベクトル検出装置及びその検出方法並びにカメラを提供することである。
【解決手段】所定時点で撮像した評価フレーム１３ａと、該所定時点よりも所定時間前に撮像した参照フレーム１３ｂを撮像データ取得部１１で取得し、評価フレーム１３ａの所定領域を評価領域設定部１６で評価領域として設定し、参照フレーム１３ｂにて参照領域設定部１７で評価領域に対応した参照領域を設定する。評価領域と参照領域の間の相互相関はフレーム間相関演算部１９で求め、上記評価領域の自己相関はフレーム内相関演算部１８で求められる。そして、フレーム間相関演算部１９からの演算結果に従って動きベクトル検出部２１で動きベクトルを求め、フレーム内相関演算部１８の演算結果に従って、動きベクトル検出部２１の検出結果の信頼性を信頼性判定部２０により判定する。
【選択図】図１

Description

本発明は、手振れ補正を行うために画像マッチングにより動きベクトルを検出する、動きベクトル検出装置及びその検出方法並びにカメラに関するものである。

従来より、画像の符号化装置や画像振れ補正装置に必要な動きベクトル検出法として、相関演算に基づく相関法やブロックマッチング方法が知られている。そして、入力される映像信号に対してフレーム間で画像の相関マッチングをとって手振れ量を検出し、この検出された手振れ量を打ち消すようにして映像を出力することにより、手振れのない画像を得る技術が知られている（例えば、特許文献１参照）。

すなわち、カラー成分を含んだ映像信号から輝度成分を抜き取り、前フレームとの間でブロックマッチング法に従って差分演算を行い、その結果からブロック単位の動きベクトルを検出する。そして、該ブロック単位の動きベクトルから全体の動きベクトルを決定し、この動きベクトルに応じて画像の動きを相殺するようにメモリの読み出し位置を制御して、手振れを補正した画像信号を得るものである。
特許第３３０８６１７号公報

ところで、一般にブラインドや棚、芝等の繰り返しパターンが存在する画像の場合、単純なマッチングを行うと、誤った動きベクトルを得る可能性が高い。また、ローコントラストの画像に於いても、誤った動きベクトルを得る可能性が高いものであった。

そのため、上記特許文献１では、差分演算を行うにあたり、演算された相関値の最小値、最大値、最大値と最小値との差、更には相関値の平均値と最小値との差と最大値と最小値との差の比（判別値）を、それぞれ所定値（閾値）と比較して、動きベクトルの検出を行っていた。

しかしながら、こうした判別値と所定値との比較は、入力される画像全てに対して行われるため、動きベクトルを検出するのに手間のかかるものであった。加えて、検出する際の閾値を幾つも設定しなければならないので、その作業も煩わしいものであった。

したがって本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、検出精度を高めると共に、検出時間を短縮して操作性を改善した動きベクトル検出装置及びその検出方法並びにカメラを提供することである。

すなわち、請求項１に記載の発明は、所定時点で撮像された評価フレーム、及び上記所定時点よりも所定時間前に撮像された参照フレームを取得するための撮像データ取得部と、上記撮像データ取得部から得られた評価フレームの所定領域を評価領域として設定するための評価領域設定手段と、上記撮像データ取得部から得られた上記参照フレームに於いて、上記評価領域に対応した参照領域を設定するための参照領域設定手段と、上記評価領域と上記参照領域の間の相互相関を求めるためのフレーム間相関演算手段と、上記評価領域の自己の相関を求めるためのフレーム内相関演算手段と、上記フレーム間相関演算手段からの演算結果に従い動きベクトルを求めるための動きベクトル検出手段と、上記フレーム内相関演算手段からの演算結果に従い、上記動きベクトル検出手段の検出結果の信頼性を判定するための信頼性判定手段と、を具備することを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明に於いて、上記フレーム間相関演算手段は、上記評価領域と上記参照領域の相対的な位置関係をシフトしながら各々の位置関係に於いて、上記評価領域と上記参照領域の間の相関係数を算出し、上記動きベクトル検出手段は、上記フレーム間相関演算手段からの相関係数に従い、最も相関度の高い位置関係から動きベクトルを検出することを特徴とする。

請求項３に記載の発明は、請求項２に記載の発明に於いて、上記相関係数は、上記評価領域と上記参照領域の対応する各画素データの差分の絶対値を領域内で積分演算を行った結果であり、この相関係数が相対的に小さい場合には相対的に相関度が高いとする相関係数であることを特徴とする。

請求項４に記載の発明は、請求項１に記載の発明に於いて、上記フレーム内相関演算手段は、上記評価領域に対して同一の評価領域を仮想的な参照領域として、両者の相対的な位置関係をシフトしながら、各々の位置関係に於いて、上記評価領域と上記仮想的な参照領域の間の相関係数を算出し、上記信頼性判定手段は、上記フレーム内相関演算手段からの相関係数に従い、所定レベルより高い相関度が得られた場合には、上記動きベクトル検出手段の結果について信頼性無しと判定することを特徴とする。

請求項５に記載の発明は、請求項４に記載の発明に於いて、上記相関係数は、上記評価領域と上記仮想的な参照領域の対応する各画素データの差分の絶対値を領域内で積分演算した結果であり、この積分値が相対的に小さい場合には相対的に相関度が高いとする相関係数であることを特徴とする。

請求項６に記載の発明は、所定時点で撮像された評価フレーム、及び上記所定時点よりも所定時間前に撮像された参照フレームを取得するための撮像データ取得部と、上記撮像データ取得部から得られた評価フレームに於いて、複数の評価領域を設定するための評価領域設定手段と、上記複数の評価領域の中から１つの評価領域を選択するための評価領域選択手段と、上記撮像データ取得部から得られた上記参照フレームに於いて、上記評価領域選択手段により選択された評価領域に対応した参照領域を設定するための参照領域設定手段と、上記評価領域選択手段により選択された評価領域と、上記参照領域の間の相互相関を求めるためのフレーム間相関演算手段と、上記評価領域選択手段により選択された評価領域の自己相関を求めるためのフレーム内相関演算手段と、上記フレーム間相関演算手段からの演算結果に従い、動きベクトルを求めるための動きベクトル検出手段と、上記フレーム内相関演算手段からの演算結果に従い、動きベクトル検出手段の検出結果の信頼性を判定するための信頼性判定手段と、を具備することを特徴とする。

請求項７に記載の発明は、所定時点で撮像された評価フレーム、及び上記所定時点よりも所定時間前に撮像された参照フレームを取得するための撮像部と、上記撮像部から得られた評価フレームの所定の代表点の周囲に所定領域の評価領域を設定するための評価領域設定手段と、上記撮像データ取得部から得られた上記参照フレームに於いて、上記評価フレームの代表点に対応した上記参照フレームの代表点の周囲に所定領域の参照領域を設定するための参照領域設定手段と、上記評価領域と上記参照領域の間の相互相関を求めるためのフレーム間相関演算手段と、上記評価領域の自己の相関を求めるためのフレーム内相関演算手段と、上記フレーム間相関演算手段からの演算結果に従い、動きベクトルを求めるための動きベクトル検出手段と、上記フレーム内相関演算手段からの演算結果に従い、動きベクトル演算手段の演算結果の信頼性を判定するための信頼性判定手段と、上記信頼性判定手段からの出力信号と、上記動きベクトル検出手段からの出力信号を入力して、上記信頼性判定手段の出力が信頼性有りである場合に、上記動きベクトル検出手段からの出力信号に応じて、手振れ防止を行うための手振れ防止制御手段と、を具備することを特徴とする。

請求項８に記載の発明は、所定時点で撮像された評価フレームを取得するステップと、上記所定時点よりも所定時間前に撮像された参照フレームを取得するステップと、上記評価フレームの所定領域を評価領域として設定するためのステップと、上記参照フレームに於いて、上記評価領域に対応した参照領域を設定するためのステップと、上記評価領域と上記参照領域の間の相互相関を求めるためのフレーム間相関演算ステップと、上記評価領域の自己の相関を求めるためのフレーム内相関演算ステップと、上記フレーム間相関演算ステップで求められた演算結果に従い、動きベクトルを求めるための動きベクトル演算ステップと、上記フレーム内相関演算ステップで求められた演算結果に従い、動きベクトル演算ステップでの演算結果の信頼性を判定するための信頼性判定ステップと、を具備することを特徴とする。

請求項９に記載の発明は、請求項８に記載の発明に於いて、上記フレーム間相関演算ステップは、上記評価領域と上記参照領域の相対的な位置関係をシフトしながら、各々の位置関係に於いて、上記評価領域と上記参照領域の間の相関係数を算出するステップであり、上記動きベクトル検出ステップは、上記フレーム間相関演算ステップでの演算結果により、最も相関度の高い位置関係から動きベクトルを検出するステップであることを特徴とする。

請求項１０に記載の発明は、請求項９に記載の発明に於いて、上記相関係数は、上記評価領域と上記参照領域の対応する各画素データの差分の絶対値を領域内で積分演算を行った結果であり、この相関係数が相対的に小さい場合には相対的に相関度が高いとする相関係数であることを特徴とする。

請求項１１に記載の発明は、請求項８に記載の発明に於いて、上記フレーム内相関演算ステップは、上記評価領域に対して同一の評価領域を仮想的な参照領域して、両者の相対的な位置関係をシフトしながら、各々の位置関係に於いて、上記評価領域と上記仮想的な参照領域の間の相関係数を算出するステップであり、上記信頼性判定ステップは、上記フレーム内相関演算ステップでの演算結果により、所定レベルより高い相関度が得られた場合には、上記動きベクトル検出ステップの結果について信頼性無しと判定することを特徴とする。

請求項１２に記載の発明は、請求項１１に記載の発明に於いて、上記相関係数は、上記評価領域と上記仮想的な参照領域の対応する各画素データの差分の絶対値を領域内で積分演算を行った結果であり、この積分値が相対的に小さい場合には相対的に相関度が高いとする相関係数であることを特徴とする。

本発明によれば、検出精度を高めると共に、検出時間を短縮して操作性を改善した動きベクトル検出装置及びその検出方法並びにカメラを提供することが可能となる。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態を示すもので、動きベクトル検出装置が適用されたカメラの概略構成を示すブロック図である。

図１に於いて、この動きベクトル検出装置が適用されたカメラは、撮像データ取得部１１と、Ｙ／Ｃ分離部１２と、評価フレーム１３ａ及び参照フレーム１３ｂを有するフレームメモリ１３と、評価領域設定部１６と、参照領域設定部１７と、フレーム内相関演算部１８と、フレーム間相関演算部１９と、信頼性判定部２０と、動きベクトル検出部２１と、動きベクトル決定部２４と、メモリ読み出し制御部２５と、画像記録媒体２６とを有して構成される。

上記撮像データ取得部１１は、所定時点で撮像された評価フレーム１３ａと、上記所定時点よりも所定時間前に撮像された参照フレーム１３ｂを取得するために、入力される画像に対する撮像データを取得するための手段である。この撮像データ取得部１１から出力されたデータに対して、Ｙ／Ｃ分離部１２にて輝度成分が抽出される。

上記評価領域設定部１６は、撮像データ取得部１１から得られた評価フレーム１３ａの所定領域を評価領域として設定するための評価領域設定手段である。同様に、上記参照領域設定部１７は、上記撮像データ取得部から得られた参照フレーム１３ｂに於いて、上記評価領域に対応した参照領域を設定するための参照領域設定手段である。

フレーム内相関演算手段としてのフレーム内相関演算部１８では、上記評価領域設定部１６で設定された評価領域の自己の相関を求めるための演算がなされる。上記フレーム内相関演算部１８では、上記評価領域に対して同一の評価領域を仮想的な参照領域として、両者の相対的な位置関係がシフトされながら、各々の位置関係に於いて、上記評価領域と上記仮想的な参照領域の間の相関係数が算出される。

一方、フレーム間相関演算手段としてのフレーム間相関演算部１９では、上記評価領域設定部１６で設定された評価領域と、上記参照領域設定部１７で設定された参照領域との相対的な位置関係がシフトされながら、各々の位置関係に於いて、上記評価領域と上記参照領域の間の相関係数が算出される。

ここで、相関係数は、上記評価領域と上記参照領域の対応する各画素データの差分の絶対値を領域内で積分演算を行った結果である。この相関係数が相対的に小さい場合には、相対的に相関度が高いとする相関係数となる。

このフレーム間相関演算部１９からの演算結果に従って、動きベクトル検出手段である動きベクトル検出部２１にて、最も相関度の高い位置関係から評価領域（ブロック）単位の動きベクトルが求められる。このとき、信頼性判定手段である信頼性判定部２０にて、上記フレーム内相関演算部１８からの演算結果に従って、上記動きベクトル検出部２１の検出結果の信頼性が判定される。この信頼性判定部２０では、上記フレーム内相関演算部１８からの相関係数に従って、所定レベルより高い相関度が得られた場合には、上記動きベクトル検出部２１の結果について信頼性無しと判定される。尚、この信頼性の判定の詳細については、後述する。

上記動きベクトル決定部２４では、上記ブロック単位の動きベクトルから全体の動きベクトルが決定される。そして、手振れ防止制御手段としてのメモリ読み出し制御部２５に於いて、上記信頼性判定部２０で信頼性有りと判定された場合に、上記動きベクトル決定部２４で決定された動きベクトルに応じて、画像の動きが相殺されるようにフレームメモリ１３の読み出し位置が制御される。これにより、手振れが補正された画像が出力され、画像記録媒体２６に書き込まれる。

次に、図２のフローチャートを参照して、動きベクトルの検出動作について説明する。

本ルーチンが開始されると、先ず、ステップＳ１にて、フレーム間相関係数Ｃ＿Ｉ及びフレーム内相関係数Ｃ＿Ｓがリセットされる。この場合、それぞれ“２５５”、“０”がセットされる。ここで、上記フレーム間相関係数Ｃ＿Ｉは、８ビットのデータで、０〜２５５の間を取ることができるデータである。そして、この場合、０〜２５５の中で初期段階では、上述したように“２５５”がセットされる。

次いで、ステップＳ２にて代表点近傍のブロック数に初期値である“１”がセットされる。更に、ステップＳ３にて、フレーム間相関値演算が行われる。ここで、この相関値がＶＡＬ＿Ｉとされる。そして、ステップＳ４に於いて、この得られた相関値ＶＡＬ＿Ｉが現在のフレーム間相関係数（既存の最小値）Ｃ＿Ｉと比較される。その結果、上記相関値ＶＡＬ＿Ｉの方が小さければ、ステップＳ５へ移行して、ＶＡＬ＿Ｉの値が最小値として置き換えられる。一方、上記ステップＳ４にて相関値ＶＡＬ＿Ｉの方が大きければ、ステップＳ５をスキップしてステップＳ６へ移行する。

ステップＳ６では、フレーム内相関値演算が行われる。ここで、この相関値がＶＡＬ＿Ｓとされる。そして、ステップＳ７に於いて、この得られた相関値ＶＡＬ＿Ｓが現在のフレーム内相関係数（既存の最小値）Ｃ＿Ｓと比較される。その結果、上記相関値ＶＡＬ＿Ｓの方が小さければ、ステップＳ８へ移行して最小値がＶＡＬ＿Ｓで置き換えられる。一方、上記ステップＳ７にて相関値ＶＡＬ＿Ｓの方が大きければ、ステップＳ８をスキップしてステップＳ９へ移行する。

そして、ステップＳ９に於いて、代表点近傍の評価ブロック数に到達したか否かが判定される。この場合、評価ブロック数が９とされているので、この数に至らない場合は、ステップＳ１０に移行してインクリメントされる。その後、上記ステップＳ２へ移行して上述したステップＳ２〜Ｓ９の処理動作が繰り返される。

尚、上記評価ブロック数とは、そのブロックに対するずらし方の数であり、この場合９通りであることを表している。また、本実施形態ではｉ＝９としているがこの数に限られるものではない。

上記ステップＳ９にて、上記代表点近傍の評価ブロック数（この場合９）に到達したならば、ステップＳ１１へ移行して、フレーム内相関係数Ｃ＿Ｓと所定の閾値Ａとが比較される。ここで、上記フレーム内相関係数Ｃ＿Ｓが閾値Ａよりも大きいならば、ステップＳ１２へ移行して、最小値Ｍｉｎ（Ｃ＿Ｓ）に置き換えられたフレーム間相関値の位置が動きベクトルであるとして処理が行われる。これにより、続くステップＳ１３にて、上記Ｌより動きベクトルが決定されて動きベクトルを求める演算がなされる。

一方、上記ステップＳ１１に於いて、上記フレーム内相関係数Ｃ＿Ｓが閾値Ａよりも小さいならば、ステップＳ１４へ移行して動きベクトルが無効である旨の処理が行われる。

このように、第１の実施形態によれば、判別値との比較を減らしたので、動きベクトルの検出に要する手間を削減することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

図３は、本発明の第２の実施形態を示すもので、動きベクトル検出装置が適用されたカメラの概略構成を示すブロック図である。

この第２の実施形態に於いては、図１に示される第１の実施形態のカメラの構成に、評価領域選択手段としての評価領域選択部２８が追加された構成となっている。その他の構成は、図１に示される第１の実施形態のカメラと同様の構成であるので、ここでは説明を省略する。

次に、この第２の実施形態に於ける動きベクトル検出装置が適用されたカメラの動作について説明する。

撮像データ取得部１１により、所定時点で撮像された評価フレーム、及び上記所定時点よりも所定時間前に撮像された参照フレームが取得される。そして、この撮像データ取得部１１から出力されたデータに対して、Ｙ／Ｃ分離部１２にて輝度成分が抽出される。

上記撮像データ取得部１１から得られた評価フレーム１３ａに於いて、評価領域設定部１６にて複数の評価領域が設定される。そして、上記複数の評価領域の中から、評価領域選択部２８によって１つの評価領域が選択される。また、上記撮像データ取得部１１から得られた参照フレーム１３ｂに於いて、上記評価領域選択部２８により選択された評価領域に対応した参照領域が参照領域設定部１７で設定される。

上記評価領域選択部２８により選択された評価領域と、上記参照領域の間の相互相関が、フレーム間相関演算部１９によって算出される。同様に、上記評価領域選択部２８により選択された評価領域の自己相関が、フレーム内相関演算部１８によって算出される。

そして、動きベクトル検出部２１により、上記フレーム間相関演算部１９からの演算結果に従って動きベクトルが求められ、上記フレーム内相関演算部２０からの演算結果に従って、信頼性判定部２０に於いて、動きベクトル検出部２１の検出結果の信頼性が判定される。

上記信頼性判定部２０にて信頼性があると判定された場合は、動きベクトル検出部２１の検出結果が動きベクトル決定部２４に出力される。そして、メモリ読み出し制御部２５に於いて、動きベクトル決定部２４で決定された動きベクトルに応じて、画像の動きが相殺されるようにフレームメモリ１３の読み出し位置が制御される。これにより、手振れが補正された画像が出力され、画像記録媒体２６に書き込まれる。

尚、上述した実施形態のように、複数の評価領域が９つに分割される場合は、図４に示されるように、分割された９つの評価領域にて、下記（１）式で表される信頼性のベクトル値について信頼性の有無が判定される。

そして、例えば図４に示されるように信頼性の有無が判定結果Ｒｉとして表されると、信頼性有りの場合Ｒｉ＝１、信頼性無しの場合Ｒｉ＝０とする。すると、この場合、評価領域１、２、４、５、８、９について信頼性有り、評価領域３、６、７について信頼性無しとされる。これにより、下記（２）式によって動きベクトル決定値が算出される。

この（２）式は、信頼性有りの評価領域のみ、上記（１）式で表される動きベクトルを平均化しているものである。

また、変形例として、複数の評価領域のうち、例えば図４に示される９つの評価領域のうち、中央の評価領域５と、この評価領域５を除く周辺の評価領域とで、重み付けを変えて中央の評価領域５の重み付けを重くするようにしても良い。

尚、ここでは複数の評価領域を９つとして説明したが、これに限られるものでないことは勿論である。

このように、第２の実施形態によれば、評価領域選択部によって複数の評価領域の中から１つの評価領域を選択することができるので、ユーザが必要な画像について動きベクトルを検出することができる。

以上、この発明の実施形態について説明したが、この発明の主旨を逸脱しない範囲で変形可能であることは勿論である。

本発明の第１の実施形態を示すもので、動きベクトル検出装置が適用されたカメラの概略構成を示すブロック図である。本発明の第１の実施形態に係るカメラの動きベクトルの検出動作について説明するフローチャートである。本発明の第２の実施形態を示すもので、動きベクトル検出装置が適用されたカメラの概略構成を示すブロック図である。評価領域が９つの場合の評価領域とその信頼性判定結果を示した図である。

符号の説明

１１…撮像データ取得部、１２…Ｙ／Ｃ分離部、１３…フレームメモリ、１３ａ…評価フレーム、１３ｂ…参照フレーム、１６…評価領域設定部、１７…参照領域設定部、１８…フレーム内相関演算部、１９…フレーム間相関演算部、２０…信頼性判定部、２１…動きベクトル検出部、２４…動きベクトル決定部、２５…メモリ読み出し制御部、２６…画像記録媒体、２８…評価領域選択部。

Claims

所定時点で撮像された評価フレーム、及び上記所定時点よりも所定時間前に撮像された参照フレームを取得するための撮像データ取得部と、
上記撮像データ取得部から得られた評価フレームの所定領域を評価領域として設定するための評価領域設定手段と、
上記撮像データ取得部から得られた上記参照フレームに於いて、上記評価領域に対応した参照領域を設定するための参照領域設定手段と、
上記評価領域と上記参照領域の間の相互相関を求めるためのフレーム間相関演算手段と、
上記評価領域の自己の相関を求めるためのフレーム内相関演算手段と、
上記フレーム間相関演算手段からの演算結果に従い動きベクトルを求めるための動きベクトル検出手段と、
上記フレーム内相関演算手段からの演算結果に従い、上記動きベクトル検出手段の検出結果の信頼性を判定するための信頼性判定手段と、
を具備することを特徴とする動きベクトル検出装置。
上記フレーム間相関演算手段は、上記評価領域と上記参照領域の相対的な位置関係をシフトしながら各々の位置関係に於いて、上記評価領域と上記参照領域の間の相関係数を算出し、上記動きベクトル検出手段は、上記フレーム間相関演算手段からの相関係数に従い、最も相関度の高い位置関係から動きベクトルを検出することを特徴とする請求項１に記載の動きベクトル検出装置。
上記相関係数は、上記評価領域と上記参照領域の対応する各画素データの差分の絶対値を領域内で積分演算を行った結果であり、この相関係数が相対的に小さい場合には相対的に相関度が高いとする相関係数であることを特徴とする請求項２に記載の動きベクトル検出装置。
上記フレーム内相関演算手段は、上記評価領域に対して同一の評価領域を仮想的な参照領域として、両者の相対的な位置関係をシフトしながら、各々の位置関係に於いて、上記評価領域と上記仮想的な参照領域の間の相関係数を算出し、上記信頼性判定手段は、上記フレーム内相関演算手段からの相関係数に従い、所定レベルより高い相関度が得られた場合には、上記動きベクトル検出手段の結果について信頼性無しと判定することを特徴とする請求項１に記載の動きベクトル検出装置。
上記相関係数は、上記評価領域と上記仮想的な参照領域の対応する各画素データの差分の絶対値を領域内で積分演算した結果であり、この積分値が相対的に小さい場合には相対的に相関度が高いとする相関係数であることを特徴とする請求項４に記載の動きベクトル検出装置。
所定時点で撮像された評価フレーム、及び上記所定時点よりも所定時間前に撮像された参照フレームを取得するための撮像データ取得部と、
上記撮像データ取得部から得られた評価フレームに於いて、複数の評価領域を設定するための評価領域設定手段と、
上記複数の評価領域の中から１つの評価領域を選択するための評価領域選択手段と、
上記撮像データ取得部から得られた上記参照フレームに於いて、上記評価領域選択手段により選択された評価領域に対応した参照領域を設定するための参照領域設定手段と、
上記評価領域選択手段により選択された評価領域と、上記参照領域の間の相互相関を求めるためのフレーム間相関演算手段と、
上記評価領域選択手段により選択された評価領域の自己相関を求めるためのフレーム内相関演算手段と、
上記フレーム間相関演算手段からの演算結果に従い、動きベクトルを求めるための動きベクトル検出手段と、
上記フレーム内相関演算手段からの演算結果に従い、動きベクトル検出手段の検出結果の信頼性を判定するための信頼性判定手段と、
を具備することを特徴とする動きベクトル検出装置。
所定時点で撮像された評価フレーム、及び上記所定時点よりも所定時間前に撮像された参照フレームを取得するための撮像部と、
上記撮像部から得られた評価フレームの所定の代表点の周囲に所定領域の評価領域を設定するための評価領域設定手段と、
上記撮像データ取得部から得られた上記参照フレームに於いて、上記評価フレームの代表点に対応した上記参照フレームの代表点の周囲に所定領域の参照領域を設定するための参照領域設定手段と、
上記評価領域と上記参照領域の間の相互相関を求めるためのフレーム間相関演算手段と、
上記評価領域の自己の相関を求めるためのフレーム内相関演算手段と、
上記フレーム間相関演算手段からの演算結果に従い、動きベクトルを求めるための動きベクトル検出手段と、
上記フレーム内相関演算手段からの演算結果に従い、動きベクトル演算手段の演算結果の信頼性を判定するための信頼性判定手段と、
上記信頼性判定手段からの出力信号と、上記動きベクトル検出手段からの出力信号を入力して、上記信頼性判定手段の出力が信頼性有りである場合に、上記動きベクトル検出手段からの出力信号に応じて、手振れ防止を行うための手振れ防止制御手段と、
を具備することを特徴とするカメラ。
所定時点で撮像された評価フレームを取得するステップと、
上記所定時点よりも所定時間前に撮像された参照フレームを取得するステップと、
上記評価フレームの所定領域を評価領域として設定するためのステップと、
上記参照フレームに於いて、上記評価領域に対応した参照領域を設定するためのステップと、
上記評価領域と上記参照領域の間の相互相関を求めるためのフレーム間相関演算ステップと、
上記評価領域の自己の相関を求めるためのフレーム内相関演算ステップと、
上記フレーム間相関演算ステップで求められた演算結果に従い、動きベクトルを求めるための動きベクトル演算ステップと、
上記フレーム内相関演算ステップで求められた演算結果に従い、動きベクトル演算ステップでの演算結果の信頼性を判定するための信頼性判定ステップと、
を具備することを特徴とする動きベクトル検出方法。
上記フレーム間相関演算ステップは、上記評価領域と上記参照領域の相対的な位置関係をシフトしながら、各々の位置関係に於いて、上記評価領域と上記参照領域の間の相関係数を算出するステップであり、上記動きベクトル検出ステップは、上記フレーム間相関演算ステップでの演算結果により、最も相関度の高い位置関係から動きベクトルを検出するステップであることを特徴とする請求項８に記載の動きベクトル検出方法。
上記相関係数は、上記評価領域と上記参照領域の対応する各画素データの差分の絶対値を領域内で積分演算を行った結果であり、この相関係数が相対的に小さい場合には相対的に相関度が高いとする相関係数であることを特徴とする請求項９に記載の動きベクトル検出方法。
上記フレーム内相関演算ステップは、上記評価領域に対して同一の評価領域を仮想的な参照領域して、両者の相対的な位置関係をシフトしながら、各々の位置関係に於いて、上記評価領域と上記仮想的な参照領域の間の相関係数を算出するステップであり、上記信頼性判定ステップは、上記フレーム内相関演算ステップでの演算結果により、所定レベルより高い相関度が得られた場合には、上記動きベクトル検出ステップの結果について信頼性無しと判定することを特徴とする請求項８に記載の動きベクトル検出方法。
上記相関係数は、上記評価領域と上記仮想的な参照領域の対応する各画素データの差分の絶対値を領域内で積分演算を行った結果であり、この積分値が相対的に小さい場合には相対的に相関度が高いとする相関係数であることを特徴とする請求項１１に記載の動きベクトル検出装置方法。