JP2011233963A - 撮像装置および追尾被写体検出方法 - Google Patents

Abstract

【課題】移動している被写体を追尾対象として適切に設定して追尾動作を開始することができる撮像装置および追尾被写体検出方法を提供する。
【解決手段】画像信号処理部８によりフレーム画像を複数の分割ブロックに分割し、各分割ブロックの輝度情報、色情報、コントラスト情報、動きベクトル量を算出する。グルーピング手段２２は、各分割ブロックの輝度情報および色情報に基づき、分割ブロックを同一被写体の画像領域にグルーピングする。移動量算出手段２３は、各分割ブロックの動きベクトル量、動き検出センサ１０の検出値および焦点距離算出手段２１により算出される焦点距離に基づき、グルーピングされた画像領域に含まれる被写体の移動量を算出する。追尾被写体選択手段２５は、移動量が閾値θを超える被写体のうちでコントラスト値が最も高い画像領域の被写体を、追尾対象の被写体として選択する。
【選択図】図１

Description

本発明は、被写体追尾機能を有する撮像装置および追尾被写体検出方法に関する。

ビデオカメラやデジタルカメラに代表される撮像装置において、被写体追尾機能を有する撮像装置が普及している。被写体追尾機能は、追尾対象の被写体の移動に合わせて撮像装置の撮像範囲内におけるフォーカスエリアなどを移動させ、動きのある被写体に追従してフォーカス調整や露光条件の演算などを行えるようにする機能である。

この種の被写体追尾機能を有する撮像装置において、追尾対象の被写体を選定する方法としては、モニタ画像として表示されている画像の中からユーザ操作により選択された被写体を追尾対象として設定する方法や、画像に対する顔検出処理によって検出された人物の顔を追尾対象として設定する方法、ＡＦ（オートフォーカス）動作により検出された被写体を追尾対象として設定する方法などが知られている。

例えば、特許文献１には、ユーザ操作により選択された被写体を追尾対象として設定する撮像装置が記載されている。具体的には、特許文献１に記載されている撮像装置では、モニタに動画として表示するビュー画像に矩形の枠を重畳表示し、このビュー画像の枠表示の中に被写体を収めた状態でユーザが決定釦を押下すると、この枠表示内の被写体を追尾対象の被写体として設定し、被写体追尾動作を開始するようにしている。

しかしながら、上記の従来の方法では、ユーザの操作や顔検出処理、ＡＦ動作などによって追尾対象の被写体を選定するようにしているため、被写体選定時に追尾対象の被写体が静止した状態でないと、この被写体を追尾対象として設定することが難しいという問題があった。すなわち、撮像装置の起動時に移動している被写体は追尾対象として選定することが難しく、移動中の被写体を追尾対象とした追尾動作を開始させることができないという問題があった。

本発明は、上記に鑑みてなされたものであって、移動している被写体を追尾対象として適切に設定して追尾動作を開始することができる撮像装置および追尾被写体検出方法を提供することを目的としている。

上述した課題を解決し、目的を達成するために、本発明は、被写体追尾機能を有する撮像装置において、前記被写体を含む画像を連続して撮影して動画を構成するフレーム画像を取得する撮像手段と、前記撮像手段により取得されたフレーム画像を複数のブロックに分割し、分割した複数のブロックごとの輝度情報、色情報、コントラスト情報、前フレームからの動きベクトル量を算出する画像信号処理手段と、撮像装置自体の動きを検出する動き検出手段と、ズーミング動作に応じた撮像装置の焦点距離を算出する焦点距離算出手段と、前記画像信号処理手段により算出された輝度情報および色情報に基づいて、前記複数のブロックを同一被写体の画像領域と推定される画像領域ごとにグルーピングするグルーピング手段と、前記画像信号処理手段により算出された動きベクトル量と、前記動き検出手段により検出された撮像装置自体の動きと、前記焦点距離算出手段により算出された撮像装置の焦点距離とに基づいて、前記グルーピング手段によりグルーピングされた各画像領域に含まれる被写体の移動量を算出する移動量算出手段と、前記画像信号処理手段により算出されたコントラスト情報に基づいて、前記グルーピング手段によりグルーピングされた各画像領域のコントラスト値を算出するコントラスト値算出手段と、前記移動量算出手段により算出された移動量が所定の基準値を超える被写体のうち、前記コントラスト値算出手段により算出されたコントラスト値が最も高い画像領域に含まれる被写体を、追尾対象の被写体として選択する追尾被写体選択手段と、を備えることを特徴とする。

また、本発明は、被写体追尾機能を有する撮像装置において実行される追尾被写体検出方法であって、前記被写体を含む画像を連続して撮影して動画を構成するフレーム画像を取得するステップと、取得したフレーム画像を複数のブロックに分割し、分割した複数のブロックごとの輝度情報、色情報、コントラスト情報、前フレームからの動きベクトル量を算出するステップと、撮像装置自体の動きを検出するステップと、ズーミング動作に応じた撮像装置の焦点距離を検出するステップと、前記複数のブロックごとの輝度情報および色情報に基づいて、前記複数のブロックを同一被写体の画像領域と推定される画像領域ごとにグルーピングするステップと、前記複数のブロックごとの動きベクトル量と、撮像装置自体の動きと、撮像装置の焦点距離とに基づいて、前記グルーピングした各画像領域に含まれる被写体の移動量を算出するステップと、前記複数のブロックごとのコントラスト情報に基づいて、前記グルーピングした各画像領域のコントラスト値を算出するステップと、移動量が所定の基準値を超える被写体のうち、コントラスト値が最も高い画像領域に含まれる被写体を、追尾対象の被写体として選択するステップと、を有することを特徴とする。

本発明によれば、動画を構成するフレーム画像から移動している被写体を的確に検出して追尾対象として選択するので、移動している被写体を追尾対象として設定して追尾動作を開始することができるという効果を奏する。

図１は、実施形態のデジタルカメラの全体構成を示すブロック図である。 図２は、フレーム画像を複数の分割ブロックに分割した様子を示す図である。 図３は、分割ブロックごとの動きベクトル量を算出する様子を示す図である。 図４は、分割ブロックを輝度情報に基づいてグルーピングする様子を示す図である。 図５は、輝度情報に基づいてグルーピングされたグループを色情報に基づいてさらにグルーピングする様子を示す図である。 図６は、グルーピングされた各画像領域の動きベクトルを算出する様子を示す図である。 図７は、グルーピングされた各画像領域に含まれる被写体の移動量を算出する様子を示す図である。 図８は、追尾対象の被写体の探索範囲を設定する様子を示す図である。 図９は、被写体の移動速度が速い場合にシャッタ速度を小さくすることで被写体のぶれを低減させる様子を示す図である。

以下に添付図面を参照して、この発明に係る撮像装置および追尾被写体検出方法の最良な実施の形態を詳細に説明する。なお、以下ではデジタルカメラに本発明を適用した例について説明するが、本発明は、被写体追尾機能を有するあらゆるタイプの撮像装置に対して広く適用することができる。

図１は、本実施形態に係るデジタルカメラの全体構成を示すブロック図である。本実施形態に係るデジタルカメラは、図１に示すように、ズームレンズ１およびフォーカスレンズ２を含む撮像光学系と、撮像素子３、増幅器４およびＡ／Ｄ変換器５を含む撮像部と、撮像素子駆動部（ＴＧ）６と、フォーカス／ズーム駆動部７と、画像信号処理部８と、画像記録／再生処理部９と、動き検出センサ１０と、帯域通過フィルタ（ＢＰＦ）１１と、ズーム釦１２を含む操作部材と、制御演算部（ＣＰＵ）１３とを備えている。

撮像光学系のズームレンズ１およびフォーカスレンズ２は、フォーカス／ズーム駆動部７の駆動によって光軸方向に移動可能に構成されている。これらズームレンズ１およびフォーカスレンズ２は、入射した光を撮像素子３の受光面上に光学像として結像させる。このとき、ズームレンズ１およびフォーカスレンズ２が適切な位置に移動することで、デジタルカメラの焦点距離および焦点位置が調整される。

撮像素子３は、光電変換機能によって受光面に結像した光学像を電気信号に変換して出力するイメージセンサであり、ＣＭＯＳセンサやＣＣＤセンサなどが用いられる。撮像素子３は、制御演算部（ＣＰＵ）１３の制御に従って撮像素子駆動部（ＴＧ）６から出力される駆動タイミング信号に応じて駆動される。撮像素子３から出力される電気信号は、相関二重サンプリングなどの処理を経て増幅器４によりゲイン調整された後、Ａ／Ｄ変換器５によってデジタルデータに変換される。そして、デジタルカメラのシャッタ釦が押下されていない撮影待機時には、動画を構成するフレーム画像の画像データがＡ／Ｄ変換器５から出力され、画像信号処理部８に入力される。また、デジタルカメラのシャッタ釦が押下された撮影時には、静止画の画像データがＡ／Ｄ変換器５から出力され、画像信号処理部８に入力される。

画像信号処理部８は、撮影待機時にＡ／Ｄ変換器５から入力されるフレーム画像を複数のブロックに分割して、分割した複数のブロックごとに輝度情報、色情報、コントラスト情報、前フレームからの動きベクトル量の４種類のパラメータを算出して、算出したパラメータを画像情報として制御演算部（ＣＰＵ）１３に出力する。なお、この画像信号処理部８による処理の詳細は後述する。

画像記録／再生処理部９は、制御演算部（ＣＰＵ）１３による制御に従って、撮影時にＡ／Ｄ変換器５から画像信号処理部８に入力された静止画の画像データをメモリカードなどの記録媒体に記録したり、記録媒体に記録されている静止画の画像データを再生してデジタルカメラのモニタ画面に静止画を表示するなどの処理を行う。また、画像記録／再生処理部９は、撮影待機時においては、Ａ／Ｄ変換器５から画像信号処理部８に入力されたフレーム画像の画像データに基づいて、デジタルカメラのモニタ画面にモニタ用の動画を表示する処理を行う。

動き検出センサ１０は、デジタルカメラの筐体またはその内部に固定して設けられ、デジタルカメラの水平方向、垂直方向の２次元の動きを検出する。動き検出センサ１０の検出値は、帯域通過フィルタ（ＢＰＦ）１１を介して制御演算部（ＣＰＵ）１３に入力される。

ズーム釦１２は、デジタルカメラのズーミング動作を行う際にユーザが操作する操作部材である。このズーム釦１２の操作に応じて制御演算部（ＣＰＵ）１３がフォーカス／ズーム駆動部７を動作させ、ズームレンズ１を光軸方向に移動させることで、デジタルカメラの焦点距離が調整される。また、制御演算部（ＣＰＵ）１３は、このズーム釦１２の操作量から、デジタルカメラのズーミング動作に応じた焦点距離をリアルタイムに算出することができる。

制御演算部（ＣＰＵ）１３は、例えば図示しないＲＯＭなどに格納された制御プログラムや制御データに基づいて、デジタルカメラ全体の動作を統括的に制御するものである。具体的には、制御演算部（ＣＰＵ）１３は、各種の操作部材を用いたユーザの動作指示等に応じて、指示に応じた画像を適切に撮影、表示、記録できるように、撮像素子駆動部（ＴＧ）６やフォーカス／ズーム駆動部７、増幅器４、画像記録／再生処理部９などを制御する。

また、特に本実施形態にかかるデジタルカメラでは、制御演算部（ＣＰＵ）１３が、図１に示すように、焦点距離算出手段２１、グルーピング手段２２、移動量算出手段２３、コントラスト値算出手段２４、追尾被写体選択手段２５、被写体追尾手段２６、被写体位置推定手段２７、シャッタ速度制御手段２８の各機能構成を備えている。そして、これらの各機能構成によって実現される処理により、画像信号処理部８により算出された４種類のパラメータと、動き検出センサ１０の検出値と、ズーム釦１２の操作信号とを用いて、撮影待機時にＡ／Ｄ変換器５から出力されるフレーム画像から追尾対象となる被写体を選択し、被写体追尾動作を実行するようになっている。

以下、本実施形態に係るデジタルカメラによる被写体追尾機能について、さらに詳しく説明する。なお、この被写体追尾機能は、例えば、ユーザが操作部材を用いてデジタルカメラが備える複数の撮影モードの中から被写体追尾モードを選択することによって実行される。

デジタルカメラの撮影モードとして被写体追尾モードが選択されると、画像信号処理部８が、図２に示すように、撮影待機時にＡ／Ｄ変換器５から出力されるフレーム画像を、水平Ａ分割、垂直Ｂ分割して複数の分割ブロックに区分けする。そして、各分割ブロックについて、以下の４種類のパラメータを求める。
（１）輝度情報
入力されたフレーム画像の画像データより輝度信号（Ｙ）を生成し、分割ブロックごとの輝度情報を算出する。
分割ブロックごとの輝度情報：Ｙ（１，１）〜Ｙ（Ａ，Ｂ）
（２）色情報
入力されたフレーム画像の画像データより色相信号（Ｒ／Ｇ／Ｂ）を生成し、分割ブロックごとの色情報を算出する。
分割ブロックごとのＲｅｄ成分情報：Ｒ（１，１）〜Ｒ（Ａ，Ｂ）
分割ブロックごとのＧｒｅｅｎ成分情報：Ｇ（１，１）〜Ｇ（Ａ，Ｂ）
分割ブロックごとのＢｌｕｅ成分情報：Ｂ（１，１）〜Ｂ（Ａ，Ｂ）
（３）コントラスト情報
入力されたフレーム画像の画像データより生成した輝度信号（Ｙ）に対してフィルタ処理を行い、分割ブロックごとのフィルタ出力値（Ｃ）を、分割ブロックごとのコントラスト情報として利用する。なお、フィルタ出力値が大きいほど、画像のコントラストが高いと判断する。
分割ブロックごとのコントラスト情報：Ｃ（１，１）〜Ｃ（Ａ，Ｂ）
（４）動きベクトル量
入力されたフレーム画像の画像データについて、図３に示すように、連続する２フレーム間の動きベクトルを求め、分割ブロックごとに水平方向、垂直方向のそれぞれの動きベクトル量を算出する。ここで算出される動きベクトル量は、画像中の被写体の移動量に、手振れやパンニングなどでデジタルカメラ自体が動くことにより発生する移動量が混合したものとなる。図３（ｂ）における矢印が分割ブロックごとの実際の動きベクトルとなる。なお、フレーム間の動きベクトルを算出する方法は周知の技術であるため、ここでは説明を省略する。
分割ブロックごとの水平方向の動きベクトル量：Ｈ（１，１）〜Ｈ（Ａ，Ｂ）
分割ブロックごとの垂直方向の動きベクトル量：Ｖ（１，１）〜Ｖ（Ａ，Ｂ）

画像信号処理部８により算出された上記（１）〜（４）のパラメータは、制御演算部（ＣＰＵ）１３に画像情報として送られる。制御演算部（ＣＰＵ）１３では、まず、グルーピング手段２２によって、（１）輝度情報および（２）色情報に関して画像内の分布状態の解析を行い、複数の分割ブロックを、同一被写体（若しくは背景）の画像領域と推定される画像領域ごとにグルーピングする。

グルーピング手段２２は、まず、画像信号処理部８により算出された（１）輝度情報を用いて隣接ブロックの輝度レベルの類似性の判定を行い、輝度レベルが類似していると判定される分割ブロック同士を結合する。具体的には、図４（ａ）に示すように、水平方向と垂直方向のそれぞれについて、同じ位置に並ぶ分割ブロックの輝度情報を積算する。そして、輝度積算値の差分が所定の閾値以下の分割ブロック同士を同じグループとして結合する。例えば、垂直方向にＳ番目（Ｓ行目）の分割ブロックの輝度情報積算値をＹ_Ｓ、垂直方向にＳ＋１番目（Ｓ＋１行目）の分割ブロックの輝度情報積算値をＹ_Ｓ＋１、類似性の判定閾値をαとしたときに、｜Ｙ_Ｓ−Ｙ_Ｓ＋１｜≦αであれば、Ｓ行目の分割ブロックとＳ＋１行目の分割ブロックとを結合する。同様に、水平方向にＴ番目（Ｔ列目）の分割ブロックの輝度情報積算値をＹ_Ｔ、水平方向にＴ＋１番目（Ｔ＋１列目）の分割ブロックの輝度情報積算値をＹ_Ｔ＋１、類似性の判定閾値をβとしたときに、｜Ｙ_Ｔ−Ｙ_Ｔ＋１｜≦βであれば、Ｔ列目の分割ブロックとＴ＋１列目の分割ブロックとを結合する。これにより、図４（ｂ）に示すように、フレーム画像を構成する分割ブロックが輝度情報の類似性によりグルーピングされる。

次に、グルーピング手段２２は、画像信号処理部８により算出された（２）色情報を用いて、輝度情報の類似性によりグルーピングされた各グループについて、さらに色情報の類似性によるグルーピングを実施する。具体的には、まず輝度情報の類似性によりグルーピングされた各グループについて、グループを構成する各分割エリアの色情報を積算してグループの色情報とする。次に、図５（ａ）に示すように、各グループの色情報をＢ／Ｇ−Ｒ／Ｇ座標上にマッピングし、隣接する２つのグループの色情報を示す２点間の距離を求める。そして、隣接する２つのグループの色情報を示す２点間の距離が所定の閾値γ以下の場合に、これら隣接する２つのグループを結合する。これにより、図５（ｂ）に示すように、輝度情報の類似性によりグルーピングされたグループが色情報の類似性によりさらにグルーピングされる。

詳述すると、例えば、輝度情報の類似性によりグルーピングされたグループ１とグループ２が隣接している場合、グループ１を構成する各分割ブロックの色情報をＲ、Ｇ、Ｂの成分ごとに積算し、その結果をグループ１の色情報Ｒ１，Ｇ１，Ｂ１とする。同様に、グループ２を構成する各分割ブロックの色情報をＲ、Ｇ、Ｂの成分ごとに積算し、その結果をグループ２の色情報Ｒ２，Ｇ２，Ｂ２とする。次に、グループ１の色情報とグループ２の色情報のＢ／Ｇ−Ｒ／Ｇ座標上における位置座標を以下のように求める。
グループ１の座標：（Ｂ１／Ｇ１、Ｒ１／Ｇ１）
グループ２の座標：（Ｂ２／Ｇ２、Ｒ２／Ｇ２）
そして、これらグループ１とグループ２の色情報を示す２点間の距離Ｃｋ_１−２を以下のように求める。

そして、Ｃｋ_１−２≦γであれば、グループ１とグループ２は、ほぼ同じ色相であると判断して、これら隣接する２つのグループを１つのグループに結合する。
同様にして、輝度情報によりグルーピングされた各グループについて、色情報による隣接グループの結合を実施する。

次に、移動量算出手段２３によって、画像信号処理部８により算出された（４）動きベクトル量と、動き検出センサ１０の検出値と、焦点距離算出手段２１によって算出されるデジタルカメラの焦点距離とに基づいて、グルーピング手段２２により輝度情報および色情報によりグルーピングされた各画像領域に含まれる被写体の動きを算出する処理を行う。なお、焦点距離算出手段２１は、ユーザによるズーム釦１２の操作量に応じたデジタルカメラの焦点距離をリアルタイムで算出している。

移動量算出手段２３は、まず、画像信号処理部８により算出された（４）動きベクトル量を用いて、図６に示すように、グルーピング手段２２によりグルーピングされた画像領域ごとに、画像領域を構成する分割ブロックの動きベクトル量の平均値を求める。そして、求めた動きベクトル量の平均値を画像領域の動きベクトルとする。図６における矢印がグルーピング手段２２によりグルーピングされた各画像領域の動きベクトルとなる。例えば、グルーピング手段２２によりグルーピングされた画像領域Ｎを構成する分割ブロックの水平方向の動きベクトル量がＨ０、Ｈ１、・・・、Ｈｍ、画像領域Ｎを構成する分割ブロックの垂直方向の動きベクトル量がＶ０、Ｖ１、・・・、Ｖｍ、画像領域Ｎを構成する分割ブロックの数がＢｋ_Ｎであるとすると、画像領域Ｎの水平方向の動きベクトル値ＭＨ_Ｎ及び垂直方向の動きベクトル値ＭＶ_Ｎは、以下のように求められる。

以上のように算出した各画像領域の動きベクトルには、各画像領域に含まれる被写体の移動量にデジタルカメラ自体の動きが混合されている。そこで、移動量算出手段２３は、図７に示すように、算出した各画像領域の動きベクトルからデジタルカメラ自体の動き量を減算することにより、各画像領域に含まれる被写体の移動量を算出する。

具体的には、画像領域Ｎにおける被写体移動量Ｖ_Ｎを算出する場合、動き検出センサ１０により検出されたデジタルカメラの水平方向の動き量をＧＨ、垂直方向の動き量をＧＶとし、焦点距離算出手段２１により算出された現在のデジタルカメラの焦点距離をＺ_Ｎとすると、デジタルカメラの水平方向の動きによるフレーム画像上の移動量はＧＨ×Ｚ_Ｎとなる。また、デジタルカメラの垂直方向の動きによるフレーム画像上の移動量はＧＶ×Ｚ_Ｎとなる。したがって、画像領域Ｎにおける被写体の水平方向における移動量ＩＨ_Ｎおよび垂直方向における移動量ＩＶ_Ｎは、以下のように求められる。
ＩＨ_Ｎ＝ＭＨ_Ｎ−（ＧＨ×Ｚ_Ｎ）
ＩＶ_Ｎ＝ＭＶ_Ｎ−（ＧＶ×Ｚ_Ｎ）
また、画像領域Ｎにおける被写体移動量Ｖ_Ｎは、以下のように求められる。

以上の演算により、グルーピング手段２２によりグルーピングされた各画像領域に含まれる被写体の移動量が算出される。

一方、コントラスト値算出手段２４では、画像信号処理部８により算出された（３）コントラスト情報を用いて、グルーピング手段２２によりグルーピングされた各画像領域のコントラスト値を算出する処理が行われる。具体的には、コントラスト値算出手段２４は、画像信号処理部８により算出された（３）コントラスト情報を用いて、グルーピング手段２２によりグルーピングされた画像領域ごとに、画像領域を構成する分割ブロックのコントラスト情報の平均値を求める。そして、求めたコントラスト情報の平均値を画像領域のコントラスト値とする。例えば、グルーピング手段２２によりグルーピングされた画像領域Ｎを構成する分割ブロックのコントラスト情報がＣ０、Ｃ１、・・・、Ｃｍ、画像領域Ｎを構成する分割ブロックの数がＢｋ_Ｎであるとすると、画像領域Ｎのコントラスト値ＭＣ_Ｎは、以下のように求められる。

次に、追尾被写体選択手段２５によって、移動量算出手段２３により算出された各画像領域に含まれる被写体の移動量と、コントラスト値算出手段２４により算出された各画像領域のコントラスト値とに基づいて、追尾対象の被写体を選択する処理を行う。具体的には、追尾被写体選択手段２５は、まず、移動量算出手段２３により算出された移動量が所定の閾値θを超える被写体を、追尾対象の候補として抽出する。例えば、画像領域Ｎにおける被写体移動量をＶ_Ｎとした場合、Ｖ_Ｎ＞θであれば、画像領域Ｎに含まれる被写体を追尾対象の候補とする。図７の例では、画像領域Ｎ１，Ｎ２，Ｎ３の被写体がそれぞれ追尾対象の候補として抽出される。

次に、追尾被写体選択手段２５は、追尾対象の候補として選択した被写体の画像領域のうち、コントラスト値算出手段２４により算出されたコントラスト値が最大となる画像領域の被写体を、実施に追尾すべき追尾対象の被写体として選択する。図７の例では、画像領域Ｎ１のコントラスト値をＭＣ_Ｎ１、画像領域Ｎ２のコントラスト値をＭＣ_Ｎ２、画像領域Ｎ３のコントラスト値をＭＣ_Ｎ３としたときに、ＭＣ_Ｎ２＜ＭＣ_Ｎ３＜ＭＣ_Ｎ１であれば、画像領域Ｎ１に含まれる移動物体である自動車が、追尾対象の被写体として選択される。

以上の一連の処理によって、動画を構成するフレーム画像から追尾対象の被写体が選択される。追尾対象の被写体が選択されると、被写体追尾手段２６により被写体追尾動作が開始される。具体的には、被写体追尾手段２６は、例えば、追尾対象として選択された被写体の画像としての特徴量を算出し、被写体情報として保持しておく。そして、その後のフレーム画像において探索範囲を設定し、設定した探索範囲の中から、被写体情報に基づいて追尾対象の被写体と同一物体と推定できる被写体を探索する。フレーム画像における追尾対象の被写体の位置には、フォーカスエリアが設定され、追尾対象の被写体に焦点を合わせるＡＦ制御が行われる。また、追尾対象の被写体の画像の明るさに合わせて露光条件を演算するＡＥ制御が行われる。

以上のように、本実施形態に係るデジタルカメラでは、動画を構成するフレーム画像の分割ブロックごとの輝度情報、色情報、コントラスト情報および動きベクトルと、手ぶれやパンニングなどによるデジタルカメラ自体の動きと、ズーミング動作に応じたデジタルカメラの焦点距離の情報とを用い、フレーム画像中の移動している被写体を的確に検出して追尾対象の被写体として選択するようにしている。したがって、ユーザ操作に依存することなく移動中の物体を追尾対象の被写体として設定し、被写体追尾動作を実施することができる。

ところで、被写体追尾動作を行う場合、通常、フレーム画像から検出した被写体の位置を中心として次のフレーム画像における被写体の探索範囲を設定するようにしている。しかしながら、本実施形態に係るデジタルカメラのように移動している被写体を追尾対象とする場合には、その被写体の移動量が大きいと、次のフレーム画像における被写体位置が探索範囲から外れて探索精度が低下するといった問題や、探索精度を高めるために探索範囲を広げると、被写体追尾動作に要する処理負荷が過大になるといった問題が懸念される。そこで、本実施形態に係るデジタルカメラでは、制御演算部（ＣＰＵ）１３に、移動量算出手段２３により算出された被写体移動量に基づいて次のフレーム画像における追尾対象の被写体の位置を推定する機能として、被写体位置推定手段２７を設けている。そして、被写体追尾手段２６が、被写体位置推定手段２７により推定された位置を中心として探索範囲を設定し、設定した探索範囲から追尾対象の被写体を探索する処理を行うようにしている。

移動量算出手段２３は、被写体追尾手段２６による被写体追尾動作が開始された後も継続して、追尾対象の被写体の移動量をフレームごとに算出する。この移動量算出手段２３により算出された過去のフレームでの被写体の移動量はメモリに随時保存される。被写体位置推定手段２７は、例えば、現フレームから遡って過去Ｐフレーム分の被写体移動量をメモリから読み出して、その平均値を算出して次のフレーム画像における被写体移動量推定値とする。そして、被写体位置推定手段２７は、図８に示すように、現フレーム画像における被写体位置から被写体移動量推定値分だけ移動した位置を、次のフレーム画像における被写体位置として推定する。例えば、現フレームから遡って過去Ｐフレーム分の被写体移動量をＶ_Ｎ０、Ｖ_Ｎ１、・・・、Ｖ_ＮＰとすると、次のフレーム画像における被写体移動量Ｖ_{Ｎ＿ＡＶＧ}は、以下のように求められる。

そして、現フレーム画像における被写体位置をＰ_Ｎ０とすると、次のフレーム画像における被写体位置Ｐ_ＮＦは、以下のように求められる。
Ｐ_ＮＦ＝Ｐ_Ｎ０＋Ｖ_{Ｎ＿ＡＶＧ}

被写体追尾手段２６は、図８に示すように、被写体位置推定手段２７によって推定された被写体位置を中心として、次のフレーム画像における被写体の探索範囲を設定する。これにより、被写体追尾手段２６による被写体の探索精度が向上し、移動速度の速い被写体であっても適切に追尾することが可能となる。また、探索範囲の正確性が向上するため、探索範囲を狭い範囲に絞り込むことができ、被写体追尾動作に要する処理負荷を低減させて、処理の高速化を図ることができる。

また、本実施形態に係るデジタルカメラのように移動している被写体を追尾対象とする場合、被写体の移動速度が速いと、上述したＡＥ制御により算出されるシャッタ速度で静止画を撮影したときに、図９（ａ）に示すように、被写体の像がぶれた静止画が撮影されてしまうことがある。そこで、本実施形態に係るデジタルカメラでは、制御演算部（ＣＰＵ）１３に、移動量算出手段２３により算出された被写体移動量に基づいて静止画撮影時におけるシャッタ速度を制御する機能として、シャッタ速度制御手段２８を設けている。

シャッタ速度制御手段２８は、移動量算出手段２３により算出された被写体移動量に基づいて、上述した被写体位置推定手段２７と同様の演算を行うことにより、次のフレーム画像における被写体移動量を推定する。あるいは、シャッタ速度制御手段２８は、被写体位置推定手段２７で算出された次のフレーム画像における被写体移動量推定値を取得するようにしてもよい。そして、シャッタ速度制御手段２８は、ユーザによりデジタルカメラのシャッタ釦が押下されて撮像素子３により静止画の撮影が行われる際に、推定した被写体移動量に応じて、静止画撮影時におけるシャッタ速度を制御する。具体的には、シャッタ速度制御手段２８は、被写体移動量が大きいほどシャッタ速度が短くなるように、静止画撮影時のシャッタ速度を制御する。これにより、被写体の移動速度が速い場合であっても、図９（ｂ）に示すように、被写体のぶれを低減した静止画を撮影することが可能となる。なお、シャッタ速度制御手段２８によりシャッタ速度を短くする場合には、シャッタ速度を短くする分に合わせて、ＡＥ制御により算出された絞り値を小さく（絞りの開度を大きく）する、あるいは増幅器４における信号増幅のゲイン（ＩＳＯ感度）を大きくすることが望ましい。これにより、適正な露出を維持した状態で静止画を撮影することが可能となる。

以上、本発明をデジタルカメラに適用した具体的な実施形態を説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。例えば、上述した実施形態では、制御演算部（ＣＰＵ）１３のグルーピング手段２２が、フレーム画像を構成する各分割ブロックの輝度情報に基づいてグルーピングを行った後、色情報に基づくグルーピングを行うようにしているが、色情報に基づくグルーピングを行った後に輝度情報に基づくグルーピングを行う、あるいは、輝度情報の類似度と色情報の類似度とを総合的に判断してグルーピングを行うようにしてもよい。

３ 撮像素子
４ 増幅器
５ Ａ／Ｄ変換器
８ 画像信号処理部
１０ 動き検出センサ
１３ 制御演算部（ＣＰＵ）
２１ 焦点距離算出手段
２２ グルーピング手段
２３ 移動量算出手段
２４ コントラスト値算出手段
２５ 追尾被写体選択手段
２６ 被写体追尾手段
２７ 被写体位置推定手段
２８ シャッタ速度制御手段

特開２００９−１７７５０３号公報

Claims (4)

1. 被写体追尾機能を有する撮像装置において、
   前記被写体を含む画像を連続して撮影して動画を構成するフレーム画像を取得する撮像手段と、
   前記撮像手段により取得されたフレーム画像を複数のブロックに分割し、分割した複数のブロックごとの輝度情報、色情報、コントラスト情報、前フレームからの動きベクトル量を算出する画像信号処理手段と、
   撮像装置自体の動きを検出する動き検出手段と、
   ズーミング動作に応じた撮像装置の焦点距離を算出する焦点距離算出手段と、
   前記画像信号処理手段により算出された輝度情報および色情報に基づいて、前記複数のブロックを同一被写体の画像領域と推定される画像領域ごとにグルーピングするグルーピング手段と、
   前記画像信号処理手段により算出された動きベクトル量と、前記動き検出手段により検出された撮像装置自体の動きと、前記焦点距離算出手段により算出された撮像装置の焦点距離とに基づいて、前記グルーピング手段によりグルーピングされた各画像領域に含まれる被写体の移動量を算出する移動量算出手段と、
   前記画像信号処理手段により算出されたコントラスト情報に基づいて、前記グルーピング手段によりグルーピングされた各画像領域のコントラスト値を算出するコントラスト値算出手段と、
   前記移動量算出手段により算出された移動量が所定の基準値を超える被写体のうち、前記コントラスト値算出手段により算出されたコントラスト値が最も高い画像領域に含まれる被写体を、追尾対象の被写体として選択する追尾被写体選択手段と、を備えることを特徴とする撮像装置。
2. 前記移動量算出手段により算出された移動量に基づいて、次のフレーム画像における追尾対象の被写体の位置を推定する被写体位置推定手段と、
   前記位置推定手段により推定された位置を中心として探索範囲を設定し、設定した探索範囲から追尾対象の被写体を探索する被写体追尾手段と、をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記移動量算出手段により算出された追尾対象の被写体の移動量に基づいて、静止画撮影時におけるシャッタ速度を制御するシャッタ速度制御手段をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
4. 被写体追尾機能を有する撮像装置において実行される追尾被写体検出方法であって、
   前記被写体を含む画像を連続して撮影して動画を構成するフレーム画像を取得するステップと、
   取得したフレーム画像を複数のブロックに分割し、分割した複数のブロックごとの輝度情報、色情報、コントラスト情報、前フレームからの動きベクトル量を算出するステップと、
   撮像装置自体の動きを検出するステップと、
   ズーミング動作に応じた撮像装置の焦点距離を算出するステップと、
   前記複数のブロックごとの輝度情報および色情報に基づいて、前記複数のブロックを同一被写体の画像領域と推定される画像領域ごとにグルーピングするステップと、
   前記複数のブロックごとの動きベクトル量と、撮像装置自体の動きと、撮像装置の焦点距離とに基づいて、前記グルーピングした各画像領域に含まれる被写体の移動量を算出するステップと、
   前記複数のブロックごとのコントラスト情報に基づいて、前記グルーピングした各画像領域のコントラスト値を算出するステップと、
   移動量が所定の基準値を超える被写体のうち、コントラスト値が最も高い画像領域に含まれる被写体を、追尾対象の被写体として選択するステップと、を有することを特徴とする追尾被写体検出方法。

Images