JP2008054295A - 撮影装置および方法並びにプログラム - Google Patents

Abstract

【課題】デジタルカメラ等の撮影装置において、とくに顔等の所定対象物を含む場合に、画像から所定対象物を効率よく検出する。
【解決手段】顔検出部８０が、撮影された画像から顔等の所定対象物を検出する。内部メモリ６８には所定対象物の過去の検出結果と最新の検出結果とからなる検出履歴が保存されている。判定部８２が、検出履歴を参照して、最新で取得された画像において所定対象物を検出扱いとするとするか否かを判定する。
【選択図】図３

Description

本発明は、撮影により画像を取得するデジタルカメラ等の撮影装置および撮影方法並びに撮影方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラによる撮影において、撮影により取得した画像から例えば顔等の対象物を検出し、その対象物の検出結果に応じて画像に施す画像処理の条件を変更したり、撮影時における撮影条件を変更したりすることが行われている。

ここで、画像から所定対象物を検出するための種々の手法が提案されている。例えば、監視カメラ等の撮影装置から得られる映像情報から得られた着目画像について、着目画像の特徴量を記憶し、記憶された特徴量とその時間的な変化量等、時間方向の比較評価処理を行って移動物体の移動ベクトルを取得し、取得した移動ベクトルとともに過去の着目画像の特徴、特徴量の変化、およびそれぞれの特徴の信頼性評価結果を用いて、使用する特徴が判別結果に与える影響の度合いを変えながら、それぞれの時点での着目画像の判別を行う手法が提案されている（特許文献１参照）。

また、入力されたフレーム画像の時系列データから、動き検出部によって動きのある領域を抽出し、肌色検出部によって肌色領域を抽出し、領域統合部において、動きのある領域でかつ肌色領域となる領域を対象領域として抽出し、特定の対象の画像が含まれている時系列画像データを処理することによって対象の形状および動作を認識する動作認識システムも提案されている（特許文献２参照）。
特開平９−３２２１５３号公報 特開２００１−１６６０６号公報

上記特許文献１，２に記載された手法においては、検出する対象の過去の特徴を使用して対象物を検出しているが、さらに効率よく対象物を検出することが望まれている。

本発明は上記事情に鑑みなされたものであり、画像から顔等の所定の対象物を効率よく検出することを目的とする。

本発明による撮影装置は、撮影により画像を取得する撮影手段と、
前記撮影手段により撮影された画像から所定対象物を検出する対象物検出手段と、
前記所定対象物の過去の検出結果と最新の検出結果とからなる検出履歴を保存する保存手段と、
前記検出履歴を参照して、最新で取得された画像において前記所定対象物を検出扱いとするか否かを判定する判定手段とを備えたことを特徴とするものである。

なお、本発明による撮影装置においては、前記判定手段を、前記所定対象物が、過去も含めたＭ回分の前記検出結果においてＮ回（Ｍ≧Ｎ）以上検出されている場合、前記所定対象物を前記検出扱いと判定としてもよい。

この場合、前記判定手段を、過去も含めたＭ回分の前記検出結果においてＮ回（Ｍ≧Ｎ）以上検出されていない場合であっても、前記最新の検出結果が所定の条件を満たした場合に、前記所定対象物を前記検出扱いと判定する手段としてもよい。

また、この場合、前記判定手段を、前記所定対象物が、過去も含めたＭ回分の前記検出結果においてＮ回（Ｍ≧Ｎ）以上検出されている場合、前記最新の検出結果で未検出の状態であっても、一定の条件を満たした場合は、前記所定対象物を前記検出扱いと判定する手段としてもよい。

また、本発明による撮影装置においては、前記新たな画像における前記検出扱いとされた前記所定対象物が選択された場合において、さらに新たな画像において前記選択された所定対象物に対応する所定対象物が検出された場合、該所定対象物の選択状態を保持する選択保持手段をさらに備えるようにしてもよい。

また、本発明による撮影装置においては、前記判定手段を、前記検出履歴に含まれる前記検出扱いとされた、互いに対応する複数の所定対象物の位置および大きさのうち少なくとも一方を平滑化し、平滑化した情報を出力する手段としてもよい。

本発明による撮影方法は、撮影により画像を取得し、
前記撮影手段により撮影された画像から所定対象物を検出し、
前記所定対象物の過去の検出結果と最新の検出結果とからなる検出履歴を保存し、
前記検出履歴を参照して、最新で取得された画像において前記所定対象物を検出扱いとするか否かを判定することを特徴とするものである。

なお、本発明による撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、撮影により取得された新たな画像から新たな所定対象物が検出され、所定対象物の過去の検出結果と最新の検出結果とからなる検出履歴が参照されて、最新で取得された画像において所定対象物を検出扱いとするか否かが判定される。このため、過去の検出結果を利用して画像から効率よく所定対象物を検出することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の撮影装置の実施形態であるデジタルカメラ１の背面を中心とする斜視図である。図１に示すように、このデジタルカメラ１の背面には、撮影者による操作のためのインターフェースとして、動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下矢印レバー１３、左右矢印ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６を有している他、ファインダ１７、液晶モニタ１８を有している。また、上面には、レリーズボタン１９を有している。図２は本実施形態によるデジタルカメラ１の前面を中心とする斜視図である。図２に示すように、デジタルカメラ１の前面には、レンズ２０、レンズカバー２１、電源スイッチ２２、ファインダ窓２３、フラッシュ２４、セルフタイマーランプ２５を有している。

動作モードスイッチ１１は、静止画撮影モード、動画撮影モードおよび再生モードの各動作モードを切り替えるためのスライドスイッチである。

メニュー／ＯＫボタン１２は、押下することによって、撮影モードの種類、フラッシュ発光モード、記録画素数や感度等の設定を行うための各種メニューを液晶モニタ１８に表示させたり、液晶モニタ１８に表示されたメニューに基づく選択・設定を確定させたりするためのボタンである。なお、メニュー／ＯＫボタン１２により、撮影モードを露出やホワイトバランスをすべて自動で設定するためのフルオートモード、およびマニュアルで設定するためのマニュアルモードに設定可能である。なお、マニュアルモードとしては、プログラムオートモード、絞り優先モード、シャッタ優先モードおよびマニュアル露出モードを設定可能である。また、メニュー／ＯＫボタン１２により、風景、花、夕焼けおよび人物等のシーンの種類に応じた撮影を行うモードをマニュアルモードとして設定することも可能である。

ズーム／上下矢印レバー１３は、上下方向にレバーを倒すことによって、撮影時は望遠／広角の調整を行い、各種設定時は液晶モニタ１８に表示されるメニュー画面中のカーソルを上下に移動させるためのレバーである。

左右矢印ボタン１４は、各種設定時に液晶モニタ１８に表示されるメニュー画面中のカーソルを左右に移動させるためのボタンである。

Ｂａｃｋ（戻る）ボタン１５は、押下することによって各種設定操作を中止し、１つ前の画面に戻るためのボタンである。

表示切替ボタン１６は、押下することによって、液晶モニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。

各ボタン、レバーの操作によって設定された内容は、液晶モニタ１８中の表示や、ファインダ内のランプ、スライドレバーの位置等によって確認することができるようになっている。

液晶モニタ１８は、撮影の際に被写体確認用のスルー画像を表示することにより、電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。

図３は本発明の撮影装置の実施形態であるデジタルカメラの構成を示す概略ブロック図である。図３に示すデジタルカメラ１は、撮影により取得した画像データを、Ｅｘｉｆ形式の画像ファイルに変換して、本体に着脱可能な外部記録メディア７０へ記録するものである。

このデジタルカメラの操作系としては、前述の動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下矢印レバー１３、左右矢印ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６、レリーズボタン１９、電源スイッチ２２と、これらのスイッチ類の操作内容をＣＰＵ７５に伝えるためのインターフェース部分である操作系制御部７４とを有している。

光学系としては、フォーカスレンズ２０ａおよびズームレンズ２０ｂを有している。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部５１およびズームレンズ駆動部５２によって光軸方向に移動可能である。フォーカスレンズ駆動部５１はＡＦ処理部６２から出力されるフォーカス駆動量データに基づいて、ズームレンズ駆動部５２はズーム／上下矢印レバー１３の操作量データに基づいて、各々のレンズの移動を制御する。

また、絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ／ＡＷＢ処理部６３から出力される絞り値データに基づいて絞り径の調整を行う。

シャッタ５６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部５７によって駆動される。シャッタ駆動部５７は、レリーズボタン１９の押下により発生する信号と、ＡＥ／ＡＷＢ処理部６３から出力されるシャッタスピードデータとに応じて、シャッタ５６の開閉の制御を行う。

光学系の後方には、撮像素子であるＣＣＤ５８を有している。ＣＣＤ５８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露出時間は、ＣＣＤ制御部５９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ５８はＣＣＤ制御部５９により、あらかじめ定められた大きさのアナログ撮像信号が得られるように、ゲインが調整されている。

ＣＣＤ５８から取り込まれたアナログ撮影信号は、アナログ信号処理部６０に入力される。アナログ信号処理部６０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ７２は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部５７、ＣＣＤ制御部５９、アナログ信号処理部６０に供給することにより、レリーズボタン１９の操作、シャッタ５６の開閉、ＣＣＤ５８の電荷の取込み、およびアナログ信号処理部６０の処理の同期を取っている。

フラッシュ制御部７３は、撮影時にフラッシュ２４を発光させる。具体的には、フラッシュ発光モードがフラッシュオンとされている場合、およびフラッシュ発光モードがオートモードである場合において後述するプレ画像が所定の明るさにない場合にフラッシュ２４をオンとして、撮影時にフラッシュ２４を発光させる。一方、フラッシュ発光モードがフラッシュオフとされている場合、撮影時にフラッシュ２４の発光を禁止する。

画像入力コントローラ６１は、アナログ信号処理部６０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ６６に書き込む。

フレームメモリ６６は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部７１は、フレームメモリ６６に格納された画像データをスルー画像として液晶モニタ１８に表示させたり、再生モード時に外部記録メディア７０に保存されている画像データを液晶モニタ１８に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、所定時間間隔でＣＣＤ５８により撮影される。

ＡＦ処理部６２およびＡＥ／ＡＷＢ処理部６３は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタン１９が半押しされることによって発生する半押し信号を検出したＣＰＵ７５がＣＣＤ５８にプレ撮影を実行させた結果、フレームメモリ６６に格納された画像データにより表される画像である。

ＡＦ処理部６２は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、ピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。

ＡＥ／ＡＷＢ処理部６３は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて絞り値およびシャッタスピード等を決定し、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、露出およびホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１の撮影者がマニュアル操作により設定可能である。また、露出およびホワイトバランスが自動で設定された場合にも、撮影者がメニュー／ＯＫボタン１２等の操作系から指示を行うことにより、露出およびホワイトバランスをマニュアル調整することが可能である。

画像処理部６４は、本画像の画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタン１９が全押しされることによって実行される本撮影においてＣＣＤ５８から取り込まれ、アナログ信号処理部６０、画像入力コントローラ６１経由でフレームメモリ６６に格納された画像データによる画像である。本画像の画素数の上限は、ＣＣＤ５８の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像およびプレ画像の画像数は、本画像よりも少なく、例えば、本画像の１／１６程度の画素数で取り込まれる。

圧縮／伸長処理部６５は、画像処理部６４によって補正・変換処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮／伸長処理部６５は、再生モードの場合には、外部記録メディア７０から圧縮された画像ファイルを読み出し、伸張処理を行う。伸長後の画像データは液晶モニタ１８に出力される。

メディア制御部６７は、外部記録メディア７０にアクセスして画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ６８は、デジタルカメラ１において設定される各種定数、およびＣＰＵ７５が実行するプログラム等を格納する。

顔検出部８０は、所定時間間隔で連続して取得されるスルー画像のそれぞれから人物の顔を検出する。具体的には、顔に含まれる顔の特徴を有する領域（例えば肌色を有する、目を有する、顔の形状を有する等）を顔領域として検出するが、これに限定されるものではない。なお、顔検出部８０は、顔の中心位置、大きさ、平面上の傾き、および向き（正面、右向き、左向き）も検出して出力する。

また、顔検出部８０は、顔に含まれる顔の特徴を有する領域（例えば肌色を有する、目を有する、顔の形状を有する等）を顔領域として検出する。

例えば、特開２００６−２０２２７６号（以下、参考文献１という）の手法を用いることができる。参考文献１の手法は、顔の追跡は、動きベクトル、特徴点検出等の公知の手法や学習データに対してリサンプリングの際に重みを逐次的に更新していき，できた機械を最後に学習機械に対する重みをつけて足し合わせて統合学習機械をつくる手法であるＡｄａｂｏｏｓｔに基づいたマシンラーニング手法を利用するものであることが考えられる。例えば、平均フレームモデルを実際の顔画像に嵌め込み、平均フレームモデル上の各ランドマークの位置を、顔から検出された相対応するランドマークの位置に合致するように移動することによって平均フレームモデルを変形させて顔のフレームモデルを構築するのに際し、マシンラーニング手法により、所定のランドマークであることが分かっている複数のサンプル画像上の点における輝度プロファイルと、該ランドマークではないことが分かっている複数のサンプル画像上の点における輝度プロファイルとに対して学習を行って得た識別器および各識別器に対する識別条件を用いて、顔画像から当該ランドマークを示す点の位置を検出する手法である。また、特開２００４−３３４８３６号（以下、参考文献２という）の手法を用いることも可能である。参考文献２の手法は、画像データから一定の大きさの画像データを切り出し、各切出画像データと特徴部分画像データの照合データとを比較して前記処理対象画像中に前記特徴部分画像が存在するか否かを検出する画像データの特徴部分抽出方法を使用する手法である。なお、特開２００７−１１９７０号（以下、参考文献３という）の手法のように人物の顔領域以外に、動物の顔等を特定被写体として検出してもよい。

ここで、顔検出部８０は、顔の向き、顔の傾きについてはあらかじめ定められた所定の値を出力する。図４は顔の向きの出力値を示す表、図５は顔の傾きの出力値を示す表である。図４に示すように顔検出部８０は、正面を向いた顔（正面顔）の場合には０、右横を向いた顔（右横顔）の場合には１、左横を向いた顔（左横顔）の場合には−１をそれぞれ出力する。

また、図５に示すように顔検出部８０は、垂直方向を基準として０度〜３３０度まで３０度刻みで、それぞれ０，１，２，３，４，５，６，−５，−４，−３，−２，−１の値を出力する。

また、顔検出部８０は検出した顔領域を囲む矩形の一辺の長さを顔の大きさとして出力する。また、顔の中心の２次元座標値を中心位置として出力する。

判定部８２は、所定時間間隔で連続して撮影されるスルー画像のうち最新のスルー画像から検出された新たな顔を検出扱いとするか否かを判定するとともに、検出履歴の更新を行う。具体的には、検出扱いとされた顔の検出履歴を参照して、新たな顔を検出扱いとするか否かを判定し、検出履歴を更新する。なお、検出履歴は過去の検出結果と最新の検出結果とからなり、内部メモリ６８に記憶されている。

追従処理部８４は、後述するようにＡＦターゲットとされた顔を追従する処理を行う。

ＣＰＵ７５は、動作モードスイッチ１１等の操作系やＡＦ処理部６２等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。

データバス７６は、画像入力コントローラ６１、各種処理部６２〜６５、フレームメモリ６６、メディア制御部６７、内部メモリ６８、表示制御部７１、顔検出部８０、判定部８２、追従処理部８４およびＣＰＵ７５に接続されており、デジタル画像データ等のやり取りを行う。

次いで、以上の構成のデジタルカメラ１において行われる処理について説明する。まず、本実施形態においては、過去および最新のＭ回分の顔の検出結果を検出履歴として内部メモリ６８に記憶している。図６は検出履歴のデータ構造を示す図である。検出履歴は過去および最新のＭ回分の検出結果を保持する。各回の検出結果は、その回において検出された顔の数と、固有情報およびリンク情報からなる各顔の情報とを保持する。なお、検出された顔には０から番号が付与される。

固有情報としては、顔検出部８０が検出した顔の中心位置、大きさ、傾き、向きおよび検出結果のスコアを含む。ここで、スコアとは検出した顔の顔らしさを表す値であり、大きいほど検出した顔がより顔らしいことを表すものである。

リンク情報としては、過去方向へのリンクおよび未来方向へのリンクを含む。過去方向へのリンクは、対応する顔を含む検出結果がいくつ前のものであるかを表す履歴差、およびその過去の検出結果における対応する顔の番号を含む。未来方向へのリンクは、対応する顔を含む検出履歴がいくつ先のものであるかを表す履歴差、およびその未来の検出結果における対応する顔の番号を含む。

なお、検出履歴は、デジタルカメラ１の電源がオンとされたとき、顔検出機能がオンとされたとき、本撮影が終了したとき、およびデジタルカメラ１のモードを変更したときに初期化される。

図７は本実施形態において行われる処理を示すフローチャートである。なお、この処理は、撮影モード時においてスルー画像が取得され、取得されたスルー画像から顔が検出される毎に行われる処理である。新たなスルー画像が取得され、取得されたスルー画像から顔が検出されることにより判定部８２が処理を開始し、検出履歴の初期化の条件を満たすか否かを判定し（ステップＳＴ１）、ステップＳＴ１が肯定されると検出履歴を初期化する（ステップＳＴ２）。ステップＳＴ１が否定された場合およびステップＳＴ２に続いて、内部メモリ６８に記憶された検出履歴を読み出す（ステップＳＴ３）。

図８は読み出された検出履歴を模式的に示す図である。なお、図８においては検出結果をhistoryと標記し、簡単のためにhistory[0]〜history[4]の過去の５つの検出結果を含むものとしている。また、historyの数値は小さいものほど新しい検出結果であることを表す。また、各historyに記載された番号は検出された顔の番号である。図８（ａ）に示すように、最新の検出結果であるhistory[0]においては０〜２の３つの顔が検出されている。history[1]においては０〜３の４つの顔が検出されている。history[2]においては０〜１の２つの顔が検出されている。history[3]においては０〜２の３つの顔が検出されている。history[4]においては０〜１の２つの顔が検出されている。

そして、図８（ａ）においては、history[0],[1],[2]における番号０，１，０の顔がリンクし、history[0],[1],[3]における番号１，０，２の顔がリンクし、history[0]〜history[4]における番号２，３，１，１，１の顔がリンクし、history[3],[4]における番号０，０の顔がリンクすることを、リンクする顔を現す数字をそれぞれ異なる線分で結ぶことにより表している。

続いて判定部８２は、新たなスルー画像の検出結果（最新検出結果）を検出履歴に追加するために、検出履歴における過去の検出結果をスライドする（ステップＳＴ４）。この検出結果のスライドは、Ｍ個保存されている過去の検出結果のうち、最も古い検出結果を削除し、最新検出結果を検出履歴に追加可能とする処理である。具体的には、図８（ｂ）に示すように、history[4]を削除し、history[0]〜history[3]を新たなhistory[1]〜history[4]とし、history[0]に新たな検出結果を追加可能とする。

続いて、検出履歴に最新検出結果を追加する（ステップＳＴ５）。なお、図８（ｂ）において最新検出結果は番号０〜４の４つの顔が検出されているものとする。次いで、最新検出結果と過去の検出結果とをリンクさせて検出履歴を更新する（ステップＳＴ６）。以下、検出履歴の更新について説明する。図９，１０は検出履歴の更新処理のフローチャートである。

判定部８２は、まず最新検出結果に含まれる顔の番号ｊを初期値である０に設定し（ステップＳＴ１１）、ｊが最新検出結果に含まれる顔の数以下であるか否かを判定する（ステップＳＴ１２）。ステップＳＴ１２が否定されるとリターンする。ステップＳＴ１２が肯定されると、検出履歴に含まれる最新検出結果以外の最も新しい検出結果を、リンクを判定するための対象とすべくｋ＝１に設定し（ステップＳＴ１３）、ｋが検出結果の最大数Ｍ以下であるか否かを判定する（ステップＳＴ１４）。ステップＳＴ１４が否定されると、リンク判定の対象を次の番号の顔に設定し（ｊ＝ｊ＋１：ステップＳＴ１５）、ステップＳＴ１２に戻る。

ステップＳＴ１４が肯定されると、後述するように顔の中心間距離を判断するためのしきい値Ｔｈ１を初期値に設定する（ステップＳＴ１６）。なお、初期値は、顔同士が隣接するか否かを判定するための値を有し、後述するように算出した顔の中心間距離ｄ１に応じて値が小さくなるように更新されるものである。

そして、現在の対象となっている検出結果［ｋ］においてリンク判定の対象の顔の番号ｉを初期値である０に設定し（ステップＳＴ１７）、番号ｉが検出結果［ｋ］に含まれる検出扱いと判定された顔数（検出顔数）以下であるか否かを判定する（ステップＳＴ１８）。ステップＳＴ１８が否定されると、リンク判定の対象とする検出結果［ｋ］を次に古い検出結果に設定し（ｋ＝ｋ＋１：ステップＳＴ１９）、ステップＳＴ１４に戻る。

ステップＳＴ１８が肯定されると、検出結果［ｋ］の顔［ｉ］は、未来方向へのリンク先がないか否かを判定する（ステップＳＴ２０）。ここで、図８（ｂ）において、history[1]におけるすべての顔は未来方向にリンク先はない。また、history[2]における顔０，１，３は未来方向へのリンク先があるが、顔２は未来方向へのリンク先はない。ステップＳＴ２０が肯定されると、最新検出結果の顔［ｊ］と検出結果［ｋ］の顔［ｊ］とをリンク判定の対象に設定する（ステップＳＴ２１）。

次いで、顔［ｊ］と顔［ｉ］の向きの差が所定のしきい値Ｔｈ２以下であるか否かを判定する（ステップＳＴ２２）。ここで、しきい値Ｔｈ２を０とすれば同じ向きの顔のみを同一と判定し、しきい値Ｔｈ２を１とすれば９０度の違いまでは同一の判定し、しきい値Ｔｈ２を２とすればどの向きの顔でも同一と判断することとなる。

ステップＳＴ２２が肯定されると、顔［ｊ］と顔［ｉ］の傾きの差が所定のしきい値Ｔｈ３以下であるか否かを判定する（ステップＳＴ２３）。なお、しきい値Ｔｈ３としては向きの差が３０度までの顔については同一と判定できる値を使用することが好ましい。

ステップＳＴ２３が肯定されると顔［ｊ］と顔［ｉ］の大きさの差が所定のしきい値Ｔｈ４以下であるか否かを判定する（ステップＳＴ２４）。

ステップＳＴ２４が肯定されると、顔［ｊ］と顔［ｉ］の中心間距離ｄ１がしきい値Ｔｈ１以下であるか否かを判定する（ステップＳＴ２５）。なお、中心間距離に代えて、中心間距離の二乗を用いてもよい。

ステップＳＴ２５が肯定されると、しきい値Ｔｈ１の値を中心間距離ｄ１に更新し（ステップＳＴ２６）、さらに、中心間距離ｄ１が所定のしきい値Ｔｈ５以下であるか否かを判定する（ステップＳＴ２７）。

ステップＳＴ２７が肯定されると、顔［ｊ］の過去方向のリンク先を検出結果［ｋ］の顔［ｉ］に設定し、顔［ｉ］の未来方向へのリンク先を最新検出結果の顔［ｊ］に設定する。すなわち、顔［ｊ］の過去方向へのリンク情報を履歴差ｋ、対応顔番号ｉに設定し、顔［ｉ］の未来方向へのリンク情報を履歴差ｋ、対応顔番号ｊに設定する（ステップＳＴ２８）。そして、検出結果［ｋ］におけるリンク判定の対象を次の顔に設定し（ｉ＝ｉ＋１：ステップＳＴ２９）、ステップＳＴ１８に戻る。

なお、ステップＳＴ２０，ＳＴ２２，ＳＴ２３，ＳＴ２４，ＳＴ２５，ＳＴ２７が否定されると、履歴［ｋ］におけるリンク判定の対象を次の顔に設定し（ｉ＝ｉ＋１：ステップＳＴ２９）、ステップＳＴ１８に戻る。

これにより、例えば図８（ｃ）に示すように最新検出結果であるhistory[0]の顔０，２がhistory[1]の顔１，０と、history[0]の顔１がhistory[2]の顔２とリンクされる。

図７に戻り、ステップＳＴ６に続いて検出扱いとする顔を判定する（ステップＳＴ７）。以下、検出扱いとする顔の判定について説明する。まず、判定部８２は検出履歴に含まれるＭ回の検出結果のうち、Ｎ回の検出結果において検出されている顔を検出扱いと判定する（第１の条件）。また、第１の条件を満たした場合には、最新検出結果において検出されていなくても、Ｎ回の検出結果において検出されている顔を検出扱いと判定する（第２の条件）。また、第１の条件を満たさなくても、最新検出結果において検出されている顔のうち、スコアが所定のしきい値Ｔｈ１０以上のものを検出扱いと判定する（第３の条件）。

また最新検出結果において検出されていなくても検出扱いと判定するか否かについては切り替えができるようにし、最新検出結果において検出されていなくても検出扱いと判定する場合において、顔の中心が画像の周辺部にある場合には検出扱いとはしないと判定するようにしてもよい。

また、最新検出結果において検出されていなくても検出扱いと判定する場合において、
最新検出結果前に、顔の中心が画像の周辺部にあったとしても、被写体の動きベクトルから画像の中心部へ移動する確率が高い場合が挙げられる。その際、例えば図１５Ａ、１５Ｂ、１５Ｃに示すように、検出枠を制御してもよい。点線で示される人物は、検出結果を得た顔の中で最新の被写体像であり、実線で示される人物は、検出結果を得る前に現在存在するであろう被写体像を示す。

図１５Ａは、履歴から検出結果を得た顔の中で最新の顔の検出位置をそのまま使用して枠を表示することで、枠が置き去りになる。しかし、現在存在するであろう被写体像の顔を検出することで、枠は図１５Ａの矢印のように追従して表示される。

また、図１５Ｂは、現在存在するであろう被写体像を、動きベクトルから推定する。そして、推定された顔の検出位置から、枠を表示する。動きベクトルによる推定方法は、最新の検出結果時に検出された顔の中心位置の推移により推定してもよい。また、最新検出結果時の基準となる特定フレーム画像全体との比較から導き出す動きベクトルの推移により算出するものであってもよい。

更に図１５Ｃは、検出された履歴から検出結果を得た顔の中で最新の顔の検出位置及び動きベクトルから推定された顔の位置に基づき、枠を大きく表示する。そうすることで、最新検出時の被写体を検出できないでも、検出されたかのようにユーザに視認する点で効果がある。

上述の実施形態は、検出枠を表示するに限らず、検出された顔の位置情報として外部記
録メディア８０またはフレームメモリ６６等に記録することができる。

また、記録された顔の位置情報を利用して、例えば、ＡＦ処理部６２におけるＡＥ／ＡＷＢ処理部６３におけるＡＥ処理やＡＷＢ処理に利用することも可能である。

ここで、図８において５回中３回検出された場合に検出扱いとすると判定する場合、図８（ｄ）に示すように最新検出結果であるhistory[0]の顔０，２が検出扱いと判定され、history[1]の顔２が検出扱いと判定される。なお、図８（ｄ）においては、検出扱いと判定された顔の番号に○を付与して表している。

なお、検出扱いとする顔の数が多すぎると、後述するように検出扱いと判定された顔に検出枠を付与して表示する際に、スルー画像が見にくいものとなる。このため、本実施形態においては、検出扱いと判定する顔の数に制限を設け、検出扱いとする顔の数が制限値を超える場合、検出扱いとする顔の数を制限値以内に収める処理を行う。以下、検出扱いとする顔の数が制限値を超える場合の処理について説明する。図１１は検出扱いとする顔の数が制限値を超える場合の処理を示すフローチャートである。

判定部８２は、検出扱いとする顔の数が制限値を超えるか否かを判定し（ステップＳＴ３１）、ステップＳＴ３１が否定されると処理を終了する。ステップＳＴ３１が肯定されると、検出扱いと判定された顔を履歴が新しい順にソートする（ステップＳＴ３２）。次いで、履歴が同一の顔について大きさを優先するようにデジタルカメラ１が設定されているか否かを判定し（ステップＳＴ３３）、ステップＳＴ３３が肯定されると、履歴が同一の顔を大きさ順にソートする（ステップＳＴ３４）。次いで、履歴が同一、かつ大きさが同一の顔をスルー画像の中央に近い順にソートする（ステップＳＴ３５）。

一方、ステップＳＴ３３が否定されると、履歴が同一の顔を中央に近い順にソートする（ステップＳＴ３６）。次いで、履歴が同一、かつ中央からの距離が同一の顔を大きさ順にソートする（ステップＳＴ３７）。

ステップＳＴ３５，ステップＳＴ３７に続いて、履歴が同一、大きさが同一、かつ中央からの距離が同一である顔をスコア順にソートする（ステップＳＴ３８）。そして、ソート結果における上位から制限値までの顔を最終的に検出扱いとする顔に決定し（ステップＳＴ３９）、処理を終了する。

図７に戻り、ステップＳＴ７に続いて、ＡＦターゲット顔追従処理を行い（ステップＳＴ８）、リターンする。以下、ＡＦターゲット顔追従処理について説明する。ＡＦターゲット顔追従処理は、追従処理部８４が行う処理であり、レリーズボタン１９を半押ししてＡＦのターゲットとする顔を設定した後に、撮影者がデジタルカメラ１の画角を少しずらしてもＡＦターゲットとなる顔が変動しないようにする処理である。これにより顔が複数あった場合であってもＡＦターゲットとなる顔が変化せず、同じ顔にピントを合わせることが可能となるという効果ももたらす。

図１２はＡＦターゲット顔追従処理のフローチャートである。なお、ＡＦターゲット顔追従処理は、所定時間間隔にて繰り返し行われる。この所定時間間隔は、スルー画像の取得と同一であってもよく、異なるものであってもよい。

まず、追従処理部８４は、デジタルカメラ１が上述した検出履歴を初期化する条件を満たすか否かを判定し（ステップＳＴ４１）、ステップＳＴ４１が肯定されると、check_resultを０に設定する（ステップＳＴ４２）。このcheck_resultは、ＡＦターゲット顔追従処理を行った回数を表すものである。

ステップＳＴ４１が否定された場合およびステップＳＴ４２に続いて、デジタルカメラ１がＡＦターゲット顔追従処理を行わない設定となっているか否かを判定し（ステップＳＴ４３）、ステップＳＴ４３が肯定される、すなわちＡＦターゲット顔追従処理を行わない設定となっている場合にはcheck_result＝０に設定し（ステップＳＴ４４）、ＡＦターゲットとして選択している顔情報をクリアし（ＡＦ選択顔情報クリア：ステップＳＴ４５）、さらにＡＦ優先顔選択処理を行い（ステップＳＴ４６）、選択された顔を今回のＡＦターゲット追従処理におけるＡＦターゲットの顔とし（ステップＳＴ４７）、ステップＳＴ５５に進んでcheck_resultをインクリメントしてリターンする。

ここで、ＡＦターゲットとして選択された顔は、検出履歴にその情報が追加されるため、検出履歴を参照すればＡＦターゲットの顔がいずれの顔であるかが分かるようになっている。また、ＡＦ優先顔選択処理は、検出扱いとなった複数ある顔に対してＡＦを合わせる顔の優先順位をつける処理である。

一方、ステップＳＴ４３が否定されると、check_resultがあらかじめ定められた回数Ｔｈ１２未満であるか否かを判定し（ステップＳＴ４８）、ステップＳＴ４８が否定されると、ＡＦターゲット追従処理をやり直すべくステップＳＴ４４に進む。ステップＳＴ４８が肯定されると、検出履歴を参照して前回のＡＦターゲット顔追従処理におけるＡＦターゲット情報を取得する（ステップＳＴ４９）。ＡＦターゲット情報は、検出履歴におけるＡＦターゲットとなった顔が含まれる検出結果およびその顔の情報である。次いで、取得したＡＦターゲット情報に基づいて、前回のＡＦターゲット追従処理においてＡＦターゲットとなった顔について未来方向にリンクする顔が存在するか否かを判定する（ステップＳＴ５０）。

ここで、図８（ｃ）に示すようにhistory[1]における顔１がＡＦターゲットである場合、未来方向の検出結果history[0]に対応する顔０が存在することとなる。この場合、ステップＳＴ５０は肯定される。一方、history[1]における顔２がＡＦターゲットである場合、未来方向の検出結果history[0]には対応する顔は存在しない。この場合、ステップＳＴ５０は否定される。

ステップＳＴ５０が否定されると、前回のＡＦターゲット追従処理においてＡＦターゲットとなった顔が今回のＡＦターゲット追従処理においても検出扱いと判定されているか否かを判定し（ステップＳＴ５１）、ステップＳＴ５１が否定されると、ＡＦターゲット追従処理をやり直すべくステップＳＴ４４に進む。ステップＳＴ５１が肯定されると、前回のＡＦターゲット追従処理においてＡＦターゲットとなった顔を今回のＡＦターゲット追従処理におけるＡＦターゲットの顔とし（ステップＳＴ５２）、ステップＳＴ５５に進んでcheck_resultをインクリメントしてリターンする。

一方、ステップＳＴ５０が肯定されると、検出履歴を参照して、前回のＡＦターゲット追従処理においてＡＦターゲットとなった顔の未来方向にリンクする顔が検出扱いとなっているか否かを判定する（ステップＳＴ５３）。ステップＳＴ５３が否定されると、ＡＦターゲット追従処理をやり直すべくステップＳＴ４４に進む。ステップＳＴ５３が肯定されると、前回のＡＦターゲット追従処理においてＡＦターゲットとなった顔の未来方向にリンクする顔を今回のＡＦターゲット追従処理におけるＡＦターゲットの顔とし（ステップＳＴ５４）、ステップＳＴ５５に進んでcheck_resultをインクリメントしてリターンする。

ここで、図８（ｃ）に示すようにhistory[1]における顔１がＡＦターゲットである場合、未来方向の検出結果history[0]に対応する顔０が存在し、この顔０は検出扱いとなっている。したがって、history[0]における顔０が今回のＡＦターゲット追従処理におけるＡＦターゲットの顔とされる。

これにより、ＡＦターゲットとされた顔を追従することができる。

なお、上記実施形態においては、スルー画像の液晶モニタ１８への表示中に、ＡＦターゲットとされた顔を検出枠で囲み、ＡＦターゲット追従処理によりその顔を追従する際に、その顔を囲んだ検出枠も追従させて表示することが好ましい。例えば、図１３（ａ）〜（ｃ）に示すように、画角内においてＡＦターゲットとされた顔Ｆ１が撮影時のポジション決めのために左から右に移動する場合、顔Ｆ１を囲む検出枠Ａ１を顔Ｆ１の移動に併せて追従させることが好ましい。

また、ＡＦターゲットとされた顔のみではなく、図１４に示すように検出扱いと判定されたすべての顔Ｆ１〜Ｆ４を検出枠Ａ１〜Ａ４により囲むようにしてもよい。この場合、検出履歴が更新されると、検出枠の大きさおよび位置も更新されることとなる。

なお、このようにＡＦターゲットあるいは検出扱いと判定された顔を検出枠により囲んで表示する場合、人物が移動したり、画角が変化することにより、顔の大きさや位置が変化することから、検出履歴が更新されると検出枠の大きさや位置も変化する。しかしながら、検出履歴の更新に併せて顔の大きさや位置の変化に併せて検出枠の大きさや位置を変化させて表示したのでは、かえってスルー画像が見にくいものとなってしまう。

このような場合、検出履歴を参照して、顔の大きさおよび位置を平滑化し、平滑化した顔の大きさおよび位置に応じて検出枠を表示することが好ましい。

この平滑化の処理は、検出履歴とＡＦターゲットの顔または顔検出扱いと判定された顔の情報を利用して、検出枠の大きさおよび位置を決定する処理である。具体的には、ＡＦターゲットの顔または検出扱いと判定された顔について、過去方向のリンク先を所定回数前までの検出結果までさかのぼってチェックし、各回の検出結果における対応する顔の固有情報（向き、傾き、大きさおよび中心位置）を抽出する。そして、対応する顔から固有情報の差がそれぞれ所定範囲内にあるものをさらに抽出する。この段階において、抽出された顔が所定数以上ある場合には、大きさが最大の顔および最小の顔を除去し、残りの顔を用いて平滑化を行う。なお、抽出された顔が所定数未満である場合にはすべての顔を用いて平滑化を行う。

このように、平滑化された顔の大きさおよび位置を用いて検出枠を表示することにより、検出履歴が更新される毎に検出枠の大きさおよび位置が大きく変動してスルー画像が見にくくなってしまうことを防止することができる。

なお、上記実施形態においては、顔の大きさおよび位置の双方を平滑化しているが、顔の大きさおよび位置のいずれか一方のみを平滑化してもよい。

また、本撮影により取得した本画像の画像データとともに平滑化された顔の大きさおよび位置の情報を外部記録メディア７０に保存しておき、再生モード時において画像を再生する際に、平滑化された顔の大きさおよび位置の情報を用いて、再生された画像に検出枠を表示してもよい。

また、上記実施形態においては、所定の対象物を顔としているが、これに限定されるものではなく、顔以外の他の被写体でもよいものである。

以上、本発明の実施形態に係るデジタルカメラについて説明したが、コンピュータを、上記の顔検出部８０、判定部８２および追従処理部８４に対応する手段として機能させ、図７，９〜１２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の撮影装置の実施形態であるデジタルカメラの背面を中心とする斜視図 本発明の撮影装置の実施形態であるデジタルカメラの前面を中心とする斜視図 本発明の撮影装置の実施形態であるデジタルカメラの構成を示す概略ブロック図 顔の向きの出力値を示す表 顔の傾きの出力値を示す表 検出履歴のデータ構造を示す図 本実施形態において行われる処理を示すフローチャート 検出履歴を模式的に示す図 検出履歴の更新処理のフローチャート（その１） 検出履歴の更新処理のフローチャート（その２） 検出扱いとする顔の数が制限値を超える場合の処理を示すフローチャート ＡＦターゲット顔追従処理のフローチャート ＡＦターゲット追従処理時のスルー画像を示す図 検出扱いと判定された顔に検出枠を付与したスルー画像を示す図 検出履歴および動きベクトルを利用した検出枠を液晶モニタに表示した状態を示す図（その１） 検出履歴および動きベクトルを利用した検出枠を液晶モニタに表示した状態を示す図（その２） 検出履歴および動きベクトルを利用した検出枠を液晶モニタに表示した状態を示す図（その３）

符号の説明

１ デジタルカメラ
１８ 液晶モニタ
２４ フラッシュ
６２ ＡＦ処理部
６３ ＡＥ／ＡＷＢ処理部
６４ 画像処理部
７１ 表示制御部
７３ フラッシュ制御部
７５ ＣＰＵ
８０ 顔検出部
８２ 判定部
８４ 追従処理部

Claims (8)

1. 撮影により画像を取得する撮影手段と、
   前記撮影手段により撮影された画像から所定対象物を検出する対象物検出手段と、
   前記所定対象物の過去の検出結果と最新の検出結果とからなる検出履歴を保存する保存手段と、
   前記検出履歴を参照して、最新で取得された画像において前記所定対象物を検出扱いとするか否かを判定する判定手段とを備えたことを特徴とする撮影装置。
2. 前記判定手段は、前記所定対象物が、過去も含めたＭ回分の前記検出結果においてＮ回（Ｍ≧Ｎ）以上検出されている場合、前記所定対象物を前記検出扱いと判定する手段であることを特徴とする請求項１記載の撮影装置。
3. 前記判定手段は、過去も含めたＭ回分の前記検出結果においてＮ回（Ｍ≧Ｎ）以上検出されていない場合であっても、前記最新の検出結果が所定の条件を満たした場合に、前記所定対象物を前記検出扱いと判定する手段であることを特徴とする請求項２記載の撮影装置。
4. 前記判定手段は、前記所定対象物が、過去も含めたＭ回分の前記検出結果においてＮ回（Ｍ≧Ｎ）以上検出されている場合、前記最新の検出結果で未検出の状態であっても、一定の条件を満たした場合は、前記所定対象物を前記検出扱いと判定する手段であることを特徴とする請求項２記載の撮影装置。
5. 前記検出扱いとされた前記所定対象物が選択された場合において、さらに新たな画像において前記選択された所定対象物に対応する所定対象物が検出された場合、該所定対象物の選択状態を保持する選択保持手段をさらに備えたことを特徴とする請求項１から４のいずれか１項記載の撮影装置。
6. 前記判定手段は、前記検出履歴に含まれる前記検出扱いとされた、互いに対応する複数の所定対象物の位置および大きさのうち少なくとも一方を平滑化し、平滑化した情報を出力する手段であることを特徴とする請求項１から５のいずれか１項記載の撮影装置。
7. 撮影により画像を取得し、
   前記撮影手段により撮影された画像から所定対象物を検出し、
   前記所定対象物の過去の検出結果と最新の検出結果とからなる検出履歴を保存し、
   前記検出履歴を参照して、最新で取得された画像において前記所定対象物を検出扱いとするか否かを判定することを特徴とする撮影方法。
8. 撮影により画像を取得する手順と、
   前記撮影手段により撮影された画像から所定対象物を検出する手順と、
   前記所定対象物の過去の検出結果と最新の検出結果とからなる検出履歴を保存する手順と、
   前記検出履歴を参照して、最新で取得された画像において前記所定対象物を検出扱いとするか否かを判定する手順とを有することを特徴とする撮影方法をコンピュータに実行させるためのプログラム。

Images