JP2021044652A - 動きベクトル検出装置及び動きベクトル検出方法 - Google Patents

Abstract

【課題】 フレーム画像間のボケ度合いの変化に応じた動きベクトル検出を行うことができるようにする。【解決手段】 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出手段と、前記検出手段が動きベクトル検出に用いる画像間のボケ度合いの変化に応じて、前記検出手段が動きベクトル検出に用いる画像のサンプリングレートを制御する制御手段と、を有する。【選択図】 図２

Description

本発明は、動きベクトル検出に関する。

デジタルカメラ等の撮像装置による撮影時に、カメラ本体部を保持するユーザの手ぶれ等で被写体像にぶれ（像ぶれ）が生じる場合がある。この像ぶれを補正するためには、補正対象である像ぶれ量を検出する必要がある。像ぶれ量を検出する方法の１つである画像を用いた方法は従来から種々提案されているが、その代表的なものとしてテンプレートマッチングによる動きベクトル検出がある。テンプレートマッチングでは、まず異なるタイミングで撮影された２枚のフレーム画像の一方を基準画像、もう一方を参照画像とする。そして、基準画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の輝度値の分布との相関を求める。その結果、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、基準画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。

このとき、フレーム画像間で画像のボケ度合いが異なると、基準画像と参照画像との間の相関が低くなり、動きベクトルを検出することが困難になってしまう。そこで、特許文献１では、基準画像または参照画像に対して、平滑化または尖鋭化の画像処理を行うことで、画像間のボケ度合いの差異を小さくして動きベクトルを検出している。

特開２０１８−００６８７２号公報

しかしながら、特許文献１に記載された技術では、画像処理前のボケ度合いの差異が大きく画像処理を行ってもボケ度合いの差異を十分に小さくすることができず動きベクトルの検出が困難な場合が考えられる。

そこで、本発明は、フレーム画像間のボケ度合いの変化に応じた動きベクトル検出を行うことができる動きベクトル検出装置を提供することを目的とする。

上記の課題を解決するために、本発明に係る動きベクトル検出装置は、撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出手段と、前記検出手段が動きベクトル検出に用いる画像間のボケ度合いの変化に応じて、前記検出手段が動きベクトル検出に用いる画像のサンプリングレートを制御する制御手段と、を有することを特徴とする。

本発明によれば、フレーム画像間のボケ度合いの変化に応じた動きベクトル検出を行うことができる。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 第１の実施形態に係る画像処理装置の動きベクトル検出動作を示す図である。 モノクロ画像における輪郭部分での階調変化を示す図である。 ボケ度合いとサンプリングレートとの関係を説明する図である。 サンプリングレート制御を説明する図である。 動きベクトル検出方法の一例であるテンプレートマッチングの概要図である。 相関値マップを説明する図である。 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。 第２の実施形態に係る画像処理装置の動きベクトル検出動作を示す図である。 相関値マップの表現方法を説明する図である。 動きベクトルの信頼度を表わす相関値指標を説明する図である。 動きベクトルの信頼度と相関値指標の関係を説明する図である。 動きベクトルの信頼度とサンプリングレートの関係を説明する図である。

以下、本発明の実施例について図面を参照しながら説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る動きベクトル検出装置である画像処理装置の構成を示す図である。

フォーカスレンズや像ぶれ補正レンズなどを有する光学系１０１により形成された被写体像は、ＣＭＯＳやＣＣＤなどの撮像素子を有する撮像手段１０２にて第１の画像（第１の画像信号）に変換される。変換された第１の画像は、現像処理手段１０３にてホワイトバランス処理や色（輝度・色差信号）変換、γ補正などの現像処理が実施される。現像処理手段１０３は、撮像手段１０２の撮像レートに従って各種処理を行う。

ボケ検出手段１０４は、現像処理手段１０３で現像された第１の画像に基づいて、ボケ度合いを検出する。

サンプリングレート制御手段１０５は、現像処理手段１０３により得られる第１の画像から、ボケ検出手段１０４の出力に基づくサンプリングレートに従って信号を抽出することで第２の画像（第２の画像信号）を生成する。そして、第２の画像を後述の動きベクトル検出手段１０８に供給する。ここで、第１の画像から信号を抽出するサンプリングレートは、撮像レート以下の範囲で制御される。

画像メモリ１０６は、サンプリングレート制御手段１０５により得られる第２の画像を１フレーム分又は複数のフレーム分、一時的に記憶保持する。

動きベクトル検出手段１０７は、サンプリングレート制御手段１０５からの入力画像および画像メモリ１０６からの入力画像に基づいて動きベクトルを検出する。動きベクトル検出手段１０７は、サンプリングレート制御手段１０５により制御されるサンプリングレートに従って処理を行う。

なお、本実施形態では、現像処理手段１０３、ボケ検出手段１０４、サンプリングレート制御手段１０５、動きベクトル検出手段１０７は、少なくとも１つのＣＰＵなどの処理回路により実行されるものとする。

次に、本実施形態の画像処理装置による動きベクトル検出動作について図２を用いて説明する。図２は、本実施形態の画像処理装置による動きベクトル検出動作を示す図であって、第１の画像の現像処理が終了すると開始される。

ステップＳ２０１にて、ボケ検出手段１０４は、現像処理手段１０３により現像された第１の画像に基づいてボケ度合いを検出する。画像のボケ度合いを検出する方法としては、例えば、画像の空間周波数成分を解析する方法を利用すればよい。具体的には、画像を８×８画素程度の画素ブロックに分割し、画素ブロックごとにＤＣＴ変換（離散コサイン変換）を施して、各空間周波数成分の量を示す係数（ＤＣＴ係数）を算出する。そして、算出されたＤＣＴ係数に基づいて画素ブロックごとに画像のボケ度合いを検出する。

ここで、ＤＣＴ係数と画像のボケ度合いとの相関について図３を用いて説明する。図３はモノクロ画像における輪郭部分での階調変化を示す図であり、横軸が画素位置、縦軸が輝度値を表している。図３（ａ）のように明暗の変化が急峻な場合（ボケ度合いが小さい場合）には、画像に高域空間周波数成分が多く含まれる。そのため、ＤＣＴ変換後の各周波数成分に対応するＤＣＴ係数は、高い空間周波数まで０でない値を有する。

一方、図３（ｂ）のように明暗の変化がなだらかな場合（ボケ度合いが大きい場合）は、図３（ａ）の場合と比べて画像から高域空間周波数成分が少なくなる。このようなボケた画像をＤＣＴ変換した場合には、図３（ａ）の場合に比較して低い空間周波数成分から係数が０となる。

したがって、ＤＣＴ変換後の各周波数成分に対する係数の分布から画像のボケ度合い（画像における高域空間周波数成分の多さ）を判断することができる。ボケ度合いの値は、例えば所定の空間周波数成分以上のＤＣＴ係数値の和で定義される。なお、ボケ度合いが大きくなるほど、画像に含まれる高域空間周波数成分の量は少なくなる。

なお、画像のボケ度合いを検出する方法はその他の公知の方法を用いてもよい。

ステップＳ２０２にて、サンプリングレート制御手段１０５は、ステップＳ２０１で検出されたボケ度合いに基づいて、現像処理手段１０３より得られる第１の画像から信号を抽出するサンプリングレートを制御する。抽出された信号は、第２の画像として出力される。

ボケ度合いに基づくサンプリングレートの決定方法について、図４を用いて説明する。図４は、ボケ度合いとサンプリングレートとの関係を説明する図であって、図４（ａ）は、横軸にフレーム画像間のボケ度合いの変化量、縦軸に動きベクトル検出に用いる画像のサンプリングレートを示す図である。ボケ度合いの変化量は、直前のフレーム画像に対するボケ度合いと、現在のフレーム画像に対するボケ度合いとで差分を取ったものを表している。動きベクトル検出はフレーム画像間でボケ度合いが異なるほど困難になる。そのため、フレーム画像間でボケ度合いが大きく変化する場合には、動きベクトル検出に用いる画像の時間的な差異を小さくするため動きベクトル検出に用いる画像のサンプリングレートを高くすることが好ましい。

図４（ｂ）は、横軸にフォーカス位置、縦軸にボケ度合いを示したボケ曲線を示す図である。画像のボケ度合いはフォーカス位置Ｘ０で最小となり、Ｘ０から離れるにつれて大きくなる。ボケ曲線はＸ０近傍で緩やかに（小さく）変化し、±Ｘ１近傍で急峻に（大きく）変化し、±Ｘ２近傍で再び緩やかに（小さく）変化する変化特性がある。

そのため、図４（ｃ）に示したフォーカス位置とサンプリングレートの関係のように、ボケ度合いの変化が緩やかなＸ０近傍やＸ２近傍ではサンプリングレートを低く、ボケ度合いの変化が急峻なＸ１近傍ではサンプリングレートを高くすることが好ましい。なお、図４（ｃ）に示すように、サンプリングレートをフォーカス位置Ｘ０で最小、フォーカス位置Ｘ１近傍で最大とし、最大と最小の間でフォーカス位置に応じて線形に変化させているが、フォーカス位置に応じて段階的に変化させてもよい。また、フォーカス位置Ｘ０の近傍のサンプリングレートも最小にしてもよい。

以上のように、フレーム画像間のボケ度合いの変化を求める方法は、２つの画像のボケ度合いを比較して直接求める方法でもよいし、動きベクトル検出に用いる一方の画像を撮像する際の光学系のフォーカス位置に基づいて間接的に求める方法でもよい。なお、２つの画像のボケ度合いを比較して直接求める方法の場合、連続した撮像を開始してから最初にステップＳ２０２へ進んだ際は、フレーム画像間のボケ度合いの変化は求められない。そのため、ステップＳ２０２を省略するか予め決定されたサンプリングレートを設定すればよい。

次に、サンプリングレートの制御方法について図５を用いて説明する。図５は、サンプリングレート制御を説明する図であり、サンプリングレート制御手段１０５は、図５に示すように、撮像レートおよび撮像時のシャッタスピード情報（Ｔｖ値）に基づいて、入力の画像を加工することで、サンプリングレートの制御を行う。

以下では、撮像レートが１２０ｆｐｓ、出力画像のサンプリングレートが３０ｆｐｓの場合の例を考える。撮像レートが出力画像のサンプリングレートの４倍であるので、入力画像の４フレーム［０Ａ］、［０Ｂ］、［０Ｃ］、［０Ｄ］を用いて、出力画像の１フレーム［０］を生成することになる。なお、シャッタスピードの上限は出力画像のサンプリングレートによって決まり、今回の例の場合は１／３０秒が上限になる。

図５（ａ）は、シャッタスピードが１／１８０秒で、撮像間隔の１／１２０秒よりも短い場合の入力データを示している。この場合、図５（ｂ）のように、特に入力画像を加工する必要はなく、［０］＝［０Ｄ］として出力画像を生成できる。

図５（ｃ）は、シャッタスピードが１／６０秒で、撮像間隔の１／１２０秒よりも長い場合の入力データを示している。撮像間隔が１／１２０秒であるので、入力データの１フレームの蓄積期間の上限は１／１２０秒となり、シャッタスピード１／６０秒に届かない。この場合、図５（ｄ）のように、入力画像を撮像間隔とシャッタスピードとの比に応じて合成することで、出力画像を生成する。今回は撮像間隔に対してシャッタスピードが２倍であるので、入力画像［０Ｃ］と［０Ｄ］の２枚を合成し、［０］＝［０Ｃ］＋［０Ｄ］として出力画像を生成できる。

図５（ｅ）は、シャッタスピードが１／４５秒で、図５（ｃ）と同様に、撮像間隔の１／１２０秒よりも長い場合の入力データを示している。この場合も、図５（ｅ）のように、入力画像を撮像間隔とシャッタスピードとの比に応じて合成することで、出力画像を生成する。今回は撮像間隔に対してシャッタスピードが８／３倍であるので、入力画像［０Ｃ］と［０Ｄ］の２枚に加え、［０Ｂ］に２／３を乗じたデータを合成し、［０］＝（２／３）×［０Ｂ］＋［０Ｃ］＋［０Ｄ］として出力画像を生成できる。

以上のようにして、サンプリングレート制御手段１０５は、現像処理手段１０３から出力される画像のサンプリングレートを制御し、動きベクトル検出手段１０７に供給する。なお、上記のサンプリングレートの制御方法は一例であって、複数フレームの入力画像を用いて１つの出力画像を生成するのではなく、複数フレームの入力画像から１つの出力画像を選択するようにしてもよい。

ステップＳ２０３にて、動きベクトル検出手段１０７は、サンプリングレート制御手段１０５から出力される第２の画像を用いて、例えばテンプレートマッチングにより動きベクトルを検出する。

図６はテンプレートマッチングの概要を示す図であり、図６（ａ）は２つのベクトル検出画像の一方である基準画像を示し、図６（ｂ）は他方である参照画像を示している。ここでは、基準画像として画像メモリ１０６に保持されているフレーム画像、参照画像としてサンプリングレート制御手段１０５から入力される画像を用いることで、過去のフレーム画像から現在のフレーム画像への動きベクトルを算出する。なお、基準画像と参照画像は逆に入れ替えてもよく、その場合は現在のフレーム画像から過去のフレーム画像への動きベクトルを算出することを意味する。

動きベクトル検出手段１０７は、基準画像にテンプレート領域６０１、参照画像にサーチ領域６０２を配置し、テンプレート領域６０１とサーチ領域６０２との相関値を算出する。ここで、テンプレート領域６０１の配置は任意であり、画面内に定められた複数の固定的な座標を中心に配置してもよいし、公知の手法により検出される特徴点の座標を中心に配置してもよい。サーチ領域６０２はテンプレート領域６０１を上下左右均等に包含するように所定の大きさで配置するのが好ましい。

本実施形態では、相関値の算出方法として、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：以下、ＳＡＤと略す）を使用する。ＳＡＤの計算式を式（１）に示す。

式（１）において、ｆ（ｉ，ｊ）はテンプレート領域６０１内の座標（ｉ，ｊ）での輝度値を示している。また、ｇ（ｉ，ｊ）はサーチ領域６０２内において相関値の算出対象となる領域（以下、相関値算出領域という）６０３内の各座標での輝度値を示す。ＳＡＤでは、両領域６０２，６０３内の輝度値ｆ（ｉ，ｊ），ｇ（ｉ，ｊ）の差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得る。相関値Ｓ＿ＳＡＤの値が小さいほど、テンプレート領域６０１と相関値算出領域６０３のテクスチャの類似度が高いことを表す。

なお、相関値の算出にＳＡＤ以外の方法を用いてもよく、例えば差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）を用いてもよい。

動きベクトル検出手段１０７は、サーチ領域６０２の全域にて相関値算出領域６０３を移動させて相関値を算出する。これにより、サーチ領域６０２に対して図７に示すような相関値マップを作成する。図７は、相関値マップを説明する図であり、図７（ａ）はサーチ領域６０２の座標系で算出した相関値マップを示しており、Ｘ軸とＹ軸は相関値マップ座標、Ｚ軸は各座標での相関値の大きさを表している。また、図７（ｂ）は、図７（ａ）の等高線を示したものである。

図７（ａ）および図７（ｂ）において、相関値が最も小さいのは極小値７０１であり、サーチ領域６０２内で極小値７０１が算出された領域にはテンプレート領域６０１と非常に類似したテクスチャが存在していると判定できる。７０２は二番目の極小値、７０３は三番目の極小値を表わしており、これらは７０１に次いで類似したテクスチャが存在していることを意味する。

このように、動きベクトル検出手段１０７は、テンプレート領域６０１とサーチ領域６０２との間で相関値を算出し、その値が最も小さくなる相関値算出領域６０３の位置を判定する。これにより、基準画像上のテンプレート領域６０１の参照画像上での移動先を特定することができる。そして、基準画像上でのテンプレート領域の位置を基準とした参照画像上での移動先への方向および移動量を方向および大きさとした動きベクトルを検出することができる。なお、参照画像と基準画像がそろっていない際にはステップＳ２０３を省略する。

以上のように、本実施形態では、フレーム画像間のボケ度合いの差異（変化）に応じて、動きベクトル検出に用いる画像のサンプリングレートを動的に制御することで、ボケ度合いの変化が大きいシーンにおいても安定的に動きベクトルを検出することができる。

（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。図８は、第２の実施形態に係る動きベクトル検出装置である画像処理装置の構成を示す図である。図８において、図１に示した構成要素と共通するものについては図１と同符号を付し、第１の実施形態と異なる処理を行う部分についてのみ説明する。

本実施形態の画像処理装置は、図１に示した構成に加えて、信頼度算出手段８０１を有する。信頼度算出手段８０１は、動きベクトル検出手段１０７から入力される動きベクトルに対して信頼度を算出する。なお、現像処理手段１０３、ボケ検出手段１０４、サンプリングレート制御手段１０５ａ、動きベクトル検出手段１０７、信頼度算出手段８０１は、少なくとも１つのＣＰＵなどの処理回路により実行されるものとする。

本実施形態が第１の実施形態と異なるのは、サンプリングレート制御手段１０５ａに対して、信頼度算出手段８０１から得られる動きベクトルの信頼度をフィードバックする点である。検出された動きベクトルの信頼度を考慮することで、より適切にサンプリングレートを制御し、第１の実施形態よりも動きベクトル検出の安定性を向上させることができる。

次に、本実施形態の画像処理装置による動きベクトル検出動作について図９を用いて説明する。図９は、本実施形態の画像処理装置による動きベクトル検出動作を示す図であって、第１の画像の現像処理が終了すると開始される。また、図９において図２に示したステップと共通するものについては、図２と同符号を付し説明を省略する。

ステップＳ９０１では、サンプリングレート制御手段１０５ａは、ステップＳ２０１で得られたボケ度合いと、後述するステップＳ９０２で得られる動きベクトルの信頼度に基づいて、第１の画像から信号を抽出するサンプリングレートを制御する。抽出された信号は、第２の画像として出力される。

なお、連続した撮像を開始してから最初にステップＳ９０１へ進んだ際にはステップＳ９０２はまだ実行されていないため、ステップＳ２０２と同様に進めればよい。

ステップＳ９０２では、信頼度算出手段８０１は、ステップＳ２０３で得られた動きベクトルの信頼度を算出する。

動きベクトルの信頼度の算出には二次元の相関値マップを用いる。図１０は、相関値マップの表現方法を説明する図であって、図７（ｂ）の２次元相関値マップにおいて、相関値を７０４のようにラスター順に並べ１次元で表わしたものを示している。図１０の縦軸は相関値、横軸は相関値マップのＸ座標とＹ座標により一意に定まる画素アドレスである。以降、動きベクトルの信頼度を算出するため、この図１０の表現を用いることにする。なお、１００１は図７の極小値に対応する位置である。

図１１は、動きベクトルの信頼度を表わす相関値指標を説明する図であり、図１１の横軸は画素アドレス、縦軸は相関値である。図１１（ａ）では、指標として相関値の最小値と最大値の差分Ｄａを用いる。Ｄａは相関値マップのレンジを表わしており、Ｄａが小さい場合、テクスチャのコントラストが低いと考えられ、信頼度が低いことを示す。図１１（ｂ）では、指標として相関値の最小値と最大値の差分Ａと、最小値と平均値の差分Ｂとの比率Ｄｂ（＝Ｂ／Ａ）を用いる。Ｄｂは相関値ピークの急峻性を表わしており、Ｄｂが小さい場合、テンプレート領域とサーチ領域の類似度が低いと考えられ、信頼度が低いことを示す。

図１１（ｃ）では、指標として相関値の極小値と二番目の極小値の差分Ｄｃを用いる。ここで１１０１、１１０２、１１０３は、それぞれ図７の相関値７０１、７０２、７０３と対応している。よって、図１１（ｃ）は、図７（ｂ）の等高線において、相関値の最小と類似した極小値が存在しないかを確認することを意味している。

Ｄｃは相関値マップの周期性を表わし、Ｄｃが小さい場合、テクスチャが繰り返しパターンやエッジなどであることが考えられ、信頼度が低いことを示す。なお、ここでは極小値と二番目の極小値を選択したが、相関値マップの周期性を判定できればよいため、その他の極小値を選択してもよい。

図１１（ｄ）では、指標として相関値の最小値Ｄｄを用いる。Ｄｄが大きい場合、テンプレート領域とサーチ領域の類似度が低いと考えられ、信頼度が低いことを表わす。Ｄｄと信頼度は反比例の関係にあるため、Ｄｄの逆数（１／Ｄｄ）を指標とする。

上記で説明した相関値の指標はそのまま信頼度として用いることができるが、例えば図１２のように相関値指標と信頼度の対応付けを行ってもよい。図１２は、動きベクトルの信頼度と相関値指標の関係を説明する図であり、図１２の横軸は相関値指標（上述のＤａ，Ｄｂ，Ｄｃ，１／Ｄｄのいずれか）、縦軸は信頼度である。この例では、二つの閾値Ｔ１，Ｔ２を設けており、Ｔ１以下なら信頼度を０、Ｔ２以上なら信頼度を１としている。閾値は相関値指標ごとに変更してもよい。また、閾値Ｔ１とＴ２の間の区間は、相関値指標と信頼度とを非線形に対応付けてもよいし段階的に対応付けてもよい。以降の説明では、各相関値指標から得られる信頼度をＲａ，Ｒｂ，Ｒｃ，Ｒｄと表現する。ここで、Ｒａ＝ｆ（Ｄａ），Ｒｂ＝ｆ（Ｄｂ），Ｒｃ＝ｆ（Ｄｃ），Ｒｄ＝ｆ（Ｄｄ）の関係にある。

最終的な動きベクトルの信頼度Ｒは、これらＲａ，Ｒｂ，Ｒｃ，Ｒｄを組み合わせて算出すれば良い。ここでは、重み付け加算と論理演算による組み合わせ方法を説明する。

重み付け加算による組み合わせでは、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの重みをそれぞれＷａ，Ｗｂ，Ｗｃ，Ｗｄとすれば、信頼度Ｒは式（２）のように計算される。

例えば重みをＷａ＝０．４，Ｗｂ＝０．３，Ｗｃ＝０．２，Ｗｄ＝０．１とする。全ての信頼度が十分に高く、Ｒａ＝Ｒｂ＝Ｒｃ＝Ｒｄ＝１の場合には、式（２）よりＲ＝１．０となる。またＲａ＝０．６，Ｒｂ＝０．５，Ｒｃ＝０．７，Ｒｄ＝０．７のような場合には、式（２）よりＲ＝０．６となる。

論理演算による組み合わせでは、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに対する閾値をそれぞれＴａ，Ｔｂ，Ｔｃ，Ｔｄとすれば、信頼度Ｒは例えば論理積を用いて式（３）のように計算する。

Ｒａ≧Ｔａ、Ｒｂ≧Ｔｂ，Ｒｃ≧Ｔｃ，Ｒｄ≧Ｔｄが全て成立する場合にＲ＝１（高信頼）、それ以外の場合にＲ＝０（低信頼）となる。

また論理和を用いて式（４）のように計算してもよい。

Ｒａ＜Ｔａ、Ｒｂ＜Ｔｂ，Ｒｃ＜Ｔｃ，Ｒｄ＜Ｔｄの全てが成立しない場合にＲ＝１（高信頼）、それ以外の場合にＲ＝０（低信頼）となる。

なお、画像のボケ度合いが大きくなると、正しい動きベクトルが検出できていたとしても、相関値マップのレンジを表すＲａは小さくなる傾向にある。そのため、画像のボケ度合いが大きくなるほど、Ｒａに対する閾値Ｔａを小さくすることが好ましい。

ステップＳ９０２の後、ステップＳ２０１に移行しその後再びステップＳ９０１が実行される。

２回目以降のステップＳ９０１では、サンプリングレート制御手段１０５ａは、ステップＳ２０１で得たボケ度合い及びステップＳ９０２で得た動きベクトルの信頼度に基づいて、現像処理手段１０３から出力される画像のサンプリングレートを制御する。

動きベクトルの信頼度を、サンプリングレート制御に反映する方法の一例について、図１３を用いて説明する。図１３は、動きベクトルの信頼度とサンプリングレートの関係を説明する図であり、横軸に信頼度が所定の閾値以上の動きベクトルの数、縦軸に動きベクトル検出に用いる画像のサンプリングレートの増加量を示している。

信頼度の高い動きベクトルの数が少ない場合、フレーム画像間のボケ度合いの変化量に対して、現状のサンプリングレートでは不足していると判断し、サンプリングレートを増加させる。なお、現状のサンプリングレートが上限（＝撮像レート）に達している場合は、増加させずに現状を維持するものとする。

信頼度の高い動きベクトルの数が多い場合、フレーム画像間のボケ度合いの変化量に対して、現状のサンプリングレートで十分と判断し、現状のサンプリングレートを維持する。なお、維持するのではなく、サンプリングレートを減少させるようにしてもよい。その場合、現状のサンプリングレートが下限に達している場合は、減少させずに現状を維持するものとする。

以上のように、本実施形態では、フレーム画像間のボケ度合いの差異（変化）に加え、動きベクトルの信頼度に基づいて、動きベクトル検出に用いる画像のサンプリングレートを制御するようにした。そのため、本実施形態では第１の実施形態よりもさらに安定的に動きベクトルを検出できる。

なお、上記の２つの実施形態では、動きベクトル検出装置として光学系や撮像手段を有する画像処理装置を説明したが、光学系や撮像手段を有する撮像装置とは別の機器を動きベクトル検出装置としてもよい。例えば、撮像装置で撮像された画像を通信などにより取得して現像処理や動きベクトル検出を実行する動きベクトル検出装置であってもよい。

また、動きベクトル検出に用いる画像のサンプリングレートを頻繁に変更すると、動きベクトル検出が不安定になってしまうおそれがある。そのため、サンプリングレートの変更後に所定数以上の画像をサンプリングするまでは、次のサンプリングレートに変更しないようにしてもよい。

１０１ 光学系
１０２ 撮像手段
１０３ 現像処理手段
１０４ ボケ検出手段
１０５ サンプリングレート制御手段
１０６ 画像メモリ
１０７ 動きベクトル検出手段
８０１ 信頼度判定手段

Claims (10)

1. 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出手段と、
   前記検出手段が動きベクトル検出に用いる画像間のボケ度合いの変化に応じて、前記検出手段が動きベクトル検出に用いる画像のサンプリングレートを制御する制御手段と、
   を有することを特徴とする動きベクトル検出装置。
2. 前記検出手段が動きベクトル検出に用いる画像のボケ度合いを検出するボケ検出手段を有し、
   前記ボケ検出手段は、前記検出手段が動きベクトル検出に用いる画像の空間周波数の分布に基づいて当該画像のボケ度合いを検出することを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記制御手段は、前記画像間のボケ度合いの変化が大きいほど、前記サンプリングレートを高くすることを特徴とする請求項１または２に記載の動きベクトル検出装置。
4. 前記制御手段は、前記検出手段が動きベクトル検出に用いる画像を撮像する際の光学系のフォーカス位置に応じたボケ度合いの変化特性に基づいて、前記サンプリングレートを制御することを特徴とする請求項１に記載の動きベクトル検出装置。
5. 前記制御手段は、前記検出手段が動きベクトル検出に用いる画像を撮像する際の光学系のフォーカス位置に対応したボケ度合いの変化が急峻であるほど、前記サンプリングレートを高くすることを特徴とする請求項４に記載の動きベクトル検出装置。
6. 前記検出手段により検出された動きベクトルの信頼度を算出する算出手段をさらに有し、
   前記制御手段は、前記検出手段が動きベクトル検出に用いる画像間のボケ度合いの変化及び前記算出手段より算出された信頼度に応じて、前記サンプリングレートを制御することを特徴とする請求項１に記載の動きベクトル検出装置。
7. 前記制御手段は、前記信頼度が所定の閾値以上の動きベクトルの数が少ないほど、前記サンプリングレートを高くすることを特徴とする請求項６に記載の動きベクトル検出装置。
8. 前記制御手段は、前記検出手段が動きベクトル検出に用いる画像のボケ度合いに応じて、前記閾値を変更することを特徴とする請求項７に記載の動きベクトル検出装置。
9. 前記制御手段は、前記検出手段が動きベクトル検出に用いる画像のボケ度合いが大きいほど、前記閾値を低くすることを特徴とする請求項８に記載の動きベクトル検出装置。
10. 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出ステップと、
    前記検出ステップで動きベクトル検出に用いる画像間のボケ度合いの変化に応じて、前記検出ステップで動きベクトル検出に用いる画像のサンプリングレートを制御する制御ステップと、
    を有することを特徴とする動きベクトル検出方法。

Images