JP2009081530A - 撮像装置、及び撮影方法 - Google Patents

Abstract

【課題】主要被写体以外の重要な被写体を確実に撮影できる撮影装置、及び撮影方法を得る。
【解決手段】撮像部６０が撮像したデジタル画像データから、オブジェクト検出部６２が重要な被写体であるオブジェクトを検出し、オブジェクトの領域をオブジェクト領域認識部７０が認識する。半押し状態直後にオブジェクト領域認識部７０が認識したオブジェクト領域情報と、撮像部６０が繰り返し撮像する最新のオブジェクト領域とを比較し、オブジェクトの領域が予め定められた許容レベルを超えると、フレームアウト判定部７２がフレームアウトしたと判定し、警告を出力する。同様に、人物の顔を検出し、検出した顔の領域が予め定められた許容レベルと超えると、フレームアウトしたと判定する。
【選択図】図３

Description

本発明は、被写体の位置の検出を行う撮影装置、及び撮影方法に関する。

デジタルカメラ等の撮影装置で撮影する際に、撮影者はファインダを覗きながら或いは液晶ディスプレイの表示（すなわち、スルー画像）を確認しながら、画角を決定して撮影している。より詳細に言えば、撮影者は、被写体である人物や建物等のオブジェクトの位置をデジタルカメラ等の撮影装置の撮影方向を移動させることで変更したり、ズームアウトやズームインしたりすることにより画角を決定している。

ここで、画角を決定する際に、特許文献１には、液晶ディスプレイに表示されるスルー画を解析することにより主要被写体と、主要被写体以外の余計な被写体とを検出し、余計な被写体が検出されたときは、この余計な被写体がフレームから外れるように画角を調整する技術が開示されている。

また、関連する技術として特許文献２〜特許文献５がある。
特開２００５−９４４０６公報 特開２００１−３０５６４５公報 特開２００２−１０２４０公報 特開２００５−９９９５３公報 特開２００７−９５０３０公報

しかしながら、特許文献１〜特許文献５では、主要被写体はフレームから外れることなく撮影することができるが、主要被写体以外の被写体は余計な被写体と判定されるため、主要被写体以外の重要な被写体も余計な被写体と判定されてしまう。このため、主要被写体とその他の重要な被写体とを撮影したい場合に対応できず、主要被写体以外の重要な被写体を確実に撮影できない。

本発明は上記事実を考慮し、主要被写体以外の重要な被写体を確実に撮影できる撮影装置、及び撮影方法を得ることを目的としている。

請求項１記載の発明は、被写体を撮像するときの画角設定時の画像データを取得する撮像手段と、前記撮像手段が取得した前記画角設定用の画像データから予め設定された領域に存在する被写体をオブジェクト領域として認識するオブジェクト領域認識手段と、前記撮像手段が取得した前記画角設定用の画像データから特定の人物の顔を検出する顔検出手段と、前記顔検出手段が検出した前記特定の人物の顔領域を算出する顔領域算出手段と、前記オブジェクト領域認識手段が認識した最新の前記オブジェクト領域の全画角に対する相関情報、並びに、前記顔領域算出手段が算出した最新の前記顔領域の全画角に対する相関情報の少なくとも何れか一方が、予め定められた許容レベルを超えた場合に報知する報知手段と、を有している。

請求項１記載の発明によれば、画像データを取得して撮像する画角設定時に、撮影したい重要な被写体を所定の領域に指定することで、指定したオブジェクトと人物の顔とを確実に撮影することができる。

請求項２記載の発明は、前記オブジェクト領域認識手段が認識した前記オブジェクト領域における当該認識時の全画角に対する相関情報を記憶するオブジェクト領域相関情報記憶手段と、前記顔検出手段が検出した前記特定の人物の顔領域における当該検出時の全画角に対する相関情報を記憶する顔領域相関情報記憶手段と、を更に有し、前記報知手段は、前記オブジェクト領域認識手段が認識した最新の前記オブジェクト領域の全画角に対する相関情報と前記オブジェクト領域相関情報記憶手段に記憶されている前記オブジェクト領域の全画角に対する相関情報との第１の比較結果、並びに、前記顔領域算出手段が算出した最新の前記顔領域の全画角に対する相関情報と前記顔領域記憶手段に記憶されている前記顔領域の全画角に対する相関情報との第２の比較結果の少なくとも何れか一方が、予め定められた許容レベルを超えた場合に報知することを特徴としている。

請求項２記載の発明によれば、許容レベルの比較を、認識時のオブジェクト領域、検出時の顔領域にすることができる。

請求項３記載の発明は、前記第１の比較結果が、前記オブジェクト領域の変移量であり、前記第２の比較結果が前記顔領域の変移量であることを特徴としている。

請求項３記載の発明によれば、第１の比較結果を前記オブジェクト領域の変移量とすることができ、前記第２の比較結果を顔領域の変移量とすることができる。

請求項４記載の発明は、前記撮像手段が取得した前記画像データから前記オブジェクトの特徴量を算出して前記特徴量を記憶するオブジェクト特徴量記憶手段を更に有し、前記オブジェクト認識手段は、前記撮像手段が取得した前記画像データを前記オブジェクト特徴量記憶手段に記憶されている前記特徴量を参照することにより前記オブジェクト領域を認識することを特徴としている。

請求項４記載の発明によれば、オブジェクトの特徴量を基にオブジェクトを検出することで、正確にオブジェクトを検出することができる。

請求項５記載の発明は、前記撮像手段の画角設定時間を計測する計測手段を更に有し、前記計測手段により計測した連続した画角設定時間が所定以下で終了する毎に、前記オブジェクト領域認識手段により前記オブジェクト領域を認識し、前記オブジェクト領域相関情報記憶手段により認識時の全画角に対する相関情報を累積して記憶することを特徴としている。

請求項５記載の発明によれば、画角設定時間が所定以下で終了する毎に、オブジェクト領域を認識することで、撮影したい被写体を複数指定することができる。

請求項６記載の発明は、前記顔検出手段が前記人物の顔を検出した場合、検出した前記人物の顔に対して合焦制御することを特徴としている。

請求項６記載の発明によれば、主要被写体である人物の顔に焦点が合った撮影をすることができる。

請求項７記載の発明は、被写体を撮像するときの画角設定時の画像データを取得する撮像手段と、前記撮像手段が取得した前記画角設定用の画像データから予め設定された領域に存在する被写体をオブジェクト領域として認識するオブジェクト領域認識手段と、前記撮像手段が取得した前記画角設定用の画像データから特定の人物の顔を検出する顔検出手段と、前記顔検出手段が検出した前記特定の人物の顔領域における当該検出時の全画角に対する相関情報を記憶する顔領域相関情報記憶手段と、前記顔検出手段が検出した最新の前記顔領域の全画角に対する相関情報と、前記顔領域相関情報記憶手段に記憶されている前記顔領域の全画角に対する相関情報と、の倍率変動を含めた第３の比較結果から前記オブジェクト領域の全画角に対する相関情報を更新するオブジェクト領域相関情報更新手段と、前記比較結果、並びに、前記オブジェクト領域相関情報更新手段による更新結果、の少なくとも何れか一方が、予め定められたそれぞれの許容レベルを超えた場合に報知する報知手段と、を有している。

請求項７記載の発明によれば、検出した顔の位置の変化に応じてオブジェクトの位置を更新することができるため、オブジェクトの検出が一度でよく処理速度、消費電力面で優れている。

請求項８記載の発明は、前記第３の比較結果が前記顔領域の変移量であり、前記更新結果が前記オブジェクト領域の前記顔領域を基準とした相対位置であることを特徴としている。

請求項８記載の発明によれば、第３の比較結果を前記顔領域の変移量とすることができ、前記更新結果を前記オブジェクト領域の前記顔領域を基準とした相対位置とすることができる。

請求項９記載の発明は、前記撮像手段により撮像された前記画像データを記録する際に、前記オブジェクト領域認識手段により認識された前記オブジェクトの前記オブジェクト領域情報を付帯情報として記録することを特徴としている。

請求項９記載の発明によれば、付帯情報として、被写体領域情報を記録することで、撮影した画像の再生時、編集時にそれらの情報を利用することができる。

請求項１０記載の発明は、前記撮像手段により撮像された前記画像データを記録する際に、前記計測手段による計測により画角設定時間が所定以下である場合ごとに、前記オブジェクト領域認識手段により認識される前記オブジェクト領域の認識順序情報を付帯情報として記録することを特徴としている。

請求項１０記載の発明によれば、付帯情報として、被写体領域情報と指定した順序を記録することで、撮影した画像の再生時、編集時にそれらの情報を利用することができる。

請求項１１記載の発明は、前記撮像手段により撮像された画角設定時の前記画像データを表示する表示手段を更に有し、前記オブジェクト領域認識手段により認識された前記オブジェクト領域を、視覚を通じてオブジェクト領域の位置を前記表示手段に重畳して表示することを特徴としている。

請求項１１記載の発明によれば、表示手段に表示されている画像データに、指定した被写体を視覚的に把握できるように表示することにより、指定した被写体を確認することができる。

請求項１２記載の発明は、前記表示手段はタッチパネルを更に有し、前記表示手段に表示された前記オブジェクトを、前記タッチパネルを操作することにより選択することを特徴としている。

請求項１２記載の発明によれば、表示手段に表示されている被写体を、タッチパネルを操作して指定することができ、操作が容易となる。

請求項１３記載の発明は、被写体を撮像するときの画角設定時の画像データを取得する撮像ステップと、前記撮像ステップで取得した前記画角設定用の画像データから予め設定された領域に存在する被写体をオブジェクト領域として認識するオブジェクト領域認識ステップと、前記撮像ステップで取得した前記画角設定用の画像データから特定の人物の顔を検出する顔検出ステップと、前記顔検出ステップで検出した前記特定の人物の顔領域を算出する顔領域算出ステップと、前記オブジェクト領域認識ステップで認識した最新の前記オブジェクト領域の全画角に対する相関情報、並びに、前記顔領域算出ステップで算出した最新の前記顔領域の全画角に対する相関情報の少なくとも何れか一方が、予め定められた許容レベルを超えた場合に報知する報知ステップと、を実行している。

請求項１３記載の発明によれば、画像データを取得して撮像する画角設定時に、撮影したい重要な被写体を所定の領域に指定することで、指定した被写体を確実に撮影することができる。

請求項１４記載の発明は、被写体を撮像するときの画角設定時の画像データを取得する撮像ステップと、前記撮像ステップで取得した前記画角設定用の画像データから予め設定された領域に存在する被写体をオブジェクト領域として認識するオブジェクト領域認識ステップと、前記撮像ステップで取得した前記画角設定用の画像データから特定の人物の顔を検出する顔検出ステップと、前記顔検出ステップで検出した前記特定の人物の顔領域における当該検出時の全画角に対する相関情報を記憶する顔領域相関情報記憶ステップと、前記顔検出ステップで検出した最新の前記顔領域の全画角に対する相関情報と、前記顔領域相関情報記憶ステップで記憶されている前記顔領域の全画角に対する相関情報と、の倍率変動を含めた比較結果から前記オブジェクト領域の全画角に対する相関情報を更新するオブジェクト領域相関情報更新ステップと、前記比較結果、並びに、前記オブジェクト領域相関情報更新ステップによる更新結果、の少なくとも何れか一方が、予め定められた許容レベルを超えた場合に許容範囲外であることを報知する報知ステップと、を実行している。

請求項１４記載の発明によれば、被写体の領域を算出すると、検出した顔の位置の変化に応じて被写体の位置を検出することができるため、被写体の検出が一度でよく処理速度、消費電力面で優れている。

以上説明した如く本発明では、主要被写体以外の重要な被写体を確実に撮影できる撮影装置、及び撮影方法を得ることができる。

（第１の実施の形態）
図１には、第１の実施の形態に係るデジタルカメラ１０の外観上の構成を示している。

図１（Ａ）に示すように、デジタルカメラ１０の正面には、被写体像を結像させるためのレンズ１２と、撮影する被写体の構図を決定するために用いられるファインダ１４と、が備えられている。また、図１（Ｂ）に示すように、デジタルカメラ１０の上面には、撮影を実行する際に撮影者によって押圧操作されるレリーズボタン（所謂シャッター）１６Ａと、電源スイッチ１６Ｂと、が備えられている。

なお、第１の実施の形態に係るレリーズボタン１６Ａは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。

そして、第１の実施の形態に係るデジタルカメラ１０では、レリーズボタン１６Ａを半押し状態にすることによりＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ、自動露出）機能が働いて露出状態（シャッタースピード、絞り状態）が設定された後、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行われる。

一方、図１（Ｃ）に示すように、デジタルカメラ１０の背面には、前述のファインダ１４の接眼部と、撮影によって得られたデジタル画像データにより示される被写体像や各種メニュー画面、メッセージ等を表示するための液晶ディスプレイ（以下、「ＬＣＤ」という。）１８と、撮影を行うモードである撮影モード及び撮影によって得られたデジタル画像データにより示される被写体像をＬＣＤ１８に表示（再生）するモードである再生モードの何れかのモードに設定するためにスライド操作されるモード切替スイッチ１６Ｃと、ＬＣＤ１８の表示領域における上・下・左・右の４方向の移動方向を示す４つの矢印キーを含んで構成された十字カーソルボタン１６Ｄと、が備えられている。

また、デジタルカメラ１０の背面には、ＬＣＤ１８にメインメニュー画面を表示する際に押圧操作されるメニューキー１６Ｅと、メニュー画面で指定された処理を実行する際に押圧操作される実行キー１６Ｆと、各種操作を中止（キャンセル）する際に押圧操作されるキャンセルキー１６Ｇと、が備えられている。

次に、図２には、第１の実施の形態に係るデジタルカメラ１０の電気系の構成を示している。

図２に示すように、デジタルカメラ１０は、前述のレンズ１２を含んで構成された光学ユニット２０と、レンズ１２の光軸後方に配設されたＣＣＤ２２と、相関二重サンプリング回路（以下、「ＣＤＳ」という。）２４と、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２６と、を含んで構成されており、ＣＣＤ２２の出力端子はＣＤＳ２４の入力端子に、ＣＤＳ２４の出力端子はＡＤＣ１８の入力端子に、各々接続されている。

ここで、ＣＤＳ２４による相関二重サンプリング処理は、固体撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、固体撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理である。

一方、デジタルカメラ１０は、所定容量のラインバッファを内蔵すると共に入力されたデジタル画像データを後述するＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）４４の所定領域に直接記憶させる制御を行う画像入力コントローラ２８と、デジタル画像データに対して各種画像処理を施す画像信号処理回路３０と、所定の圧縮形式でデジタル画像データに圧縮処理を施す一方、圧縮されたデジタル画像データに伸張処理を施す圧縮・伸張処理回路３２と、デジタル画像データにより示される画像やメニュー画面等をＬＣＤ１８に表示させるための信号を生成してＬＣＤ１８に供給するビデオコントローラ３４と、を含んで構成されている。なお、画像入力コントローラ２８の入力端子はＡＤＣ２６の出力端子に接続されている。

また、デジタルカメラ１０は、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）３６と、ＡＦ機能を働かせるために必要とされる物理量を検出するＡＦ検出回路３８と、ＡＥ機能及びＡＷＢ（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能を働かせるために必要とされる物理量を検出するＡＥ・ＡＷＢ検出回路４０と、ＣＰＵ３６による各種処理の実行時のワークエリア等として用いられるＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４２と、主として撮影により得られたデジタル画像データを記憶するＶＲＡＭ４４と、撮像することで得られるデジタル画像データから人物の顔の有無を検出する顔検出回路５２と、を含んで構成されている。

顔検出回路５２は、例えば、予め人物の肌色に対応する輝度信号及び色信号（クロマ信号）の範囲を決定しておき、ＣＣＤ２２による撮像によって得られた被写体象を示すデジタル画像データの各画素の輝度信号及び色信号がその範囲内にあるか否かを判定し、肌色を有する１まとまりの領域を肌色領域として抽出する。色相や彩度の２次元ヒストグラムからクラスターを求め、クラスターの内部構造、形状、接続する外部構造から顔領域を判定する方法などを利用しても良い。

更に、デジタルカメラ１０は、記録メディア４６Ａをデジタルカメラ１０でアクセス可能とするためのメディアコントローラ４６と、を含んで構成されている。

以上の画像入力コントローラ２８、画像信号処理回路３０、圧縮・伸張処理回路３２、ビデオコントローラ３４、ＣＰＵ３６、ＡＦ検出回路３８、ＡＥ・ＡＷＢ検出回路４０、ＳＤＲＡＭ４２、ＶＲＡＭ４４及びメディアコントローラ４６、顔検出回路５２は、各々バス（ＢＵＳ）を介して相互に接続されている。

一方、デジタルカメラ１０には、主としてＣＣＤ２２を駆動させるためのタイミング信号を生成してＣＣＤ２２に供給するタイミングジェネレータ４８が設けられている。当該タイミングジェネレータ４８の入力端子はＣＰＵ３６に、出力端子はＣＣＤ２２に各々接続されており、ＣＣＤ２２の駆動は、ＣＰＵ３６によりタイミングジェネレータ４８を介して制御される。

更に、ＣＰＵ３６はモータドライブ５０の入力端子に接続され、モータドライブ５０の出力端子は光学ユニット２０に備えられた焦点調整モータ、ズームモータ及び絞り駆動モータに接続されている。

第１の実施に係る光学ユニット２０に含まれるレンズ１２は複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ及び絞り駆動モータは含まれるものであり、焦点調整モータ、ズームモータ及び絞り駆動モータは各々ＣＰＵ３６の制御下でモータドライブ５０から供給された駆動信号によって駆動される。

ＣＰＵ３６は、光学ズーム倍率を変更する際にはズームモータを駆動制御して光学ユニット２０に含まれるレンズ１２の焦点距離を変化させる。

また、ＣＰＵ３６は、ＣＣＤ２２による撮像によって得られた画像のコントラストが最大となるように上記焦点調整モータを駆動制御することによって合焦制御を行う。すなわち、第１の実施の形態に係るデジタルカメラ１０では、合焦制御として、読み取られた画像のコントラストが最大となるようにレンズの位置を設定する、所謂ＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式を採用している。

更に、前述のレリーズボタン１６Ａ、電源スイッチ１６Ｂ、モード切替スイッチ１６Ｃ、十字カーソルボタン１６Ｄ、メニューキー１６Ｅ、実行キー１６Ｆ及びキャンセルキー１６Ｇを含む操作部１６はＣＰＵ３６に接続されており、ＣＰＵ３６は、これら操作部１６の各々に対する操作状態を常時把握できる。

また、デジタルカメラ１０には、スピーカー５４が設けられており、このスピーカー５４が音声コントローラ５６を介してＣＰＵ３６に接続している。音声コントローラ５６は、ＣＰＵ３６の制御により音を選択し、スピーカー５４から音が出力される。

なお、光学ユニット２０、ＣＣＤ２２、ＣＤＳ２４、ＡＤＣ２６、画像入力コントローラ２８、タイミングジェネレータ４８、モータドライブ５０を撮像部６０とする。

第１の実施の形態に係るデジタルカメラ１０には、人物の顔を主要被写体とし、撮影者が指定した重要な被写体を、画角を調整する際に、ＣＣＤ２２が撮像するフレームから外れないようにナビゲートするための撮影ナビゲートモードが予め用意されている。

図３は、第１の実施の形態に係る撮影ナビゲートが選択されたときの動作を示す機能ブロック図である。

撮像部６０は、オブジェクト検出部６２と、顔検出部６４と、に接続されている。撮像部６０は、撮影者が画角を設定するためにレリーズボタン１６Ａを半押し状態にした際のデジタル画像データを、オブジェクト検出部６２と顔検出部６４とへ送出する。

オブジェクト検出部６２は、オブジェクト特徴量算出部６６と、オブジェクト特徴量記憶部６８と、オブジェクト領域認識部７０と、に接続されている。オブジェクト検出部６２は、撮像部６０から送出されたデジタル画像データから、オブジェクトを検出する。このとき、レリーズボタン１６Ａを半押し状態直後のデジタル画像データの場合は、フレームの中心点を含む中央付近の被写体であるオブジェクトを検出する。レリーズボタン１６Ａを半押し状態にすることによりＡＦ機能が働いて合焦制御されるが、オブジェクトは、この合焦制御時に検出されるフレームの中心点を含む中央付近のコントラスト情報を用いて検出する。レリーズボタン１６Ａを半押し状態直後以外のデジタル画像データの場合は、後述するオブジェクト特徴量記憶部６８に記憶されているオブジェクトの特徴量を参照することで、特徴量に合うオブジェクトを検出する。オブジェクト検出部６２は、オブジェクト情報をオブジェクト領域認識部７０へ送出し、半押し状態直後のデジタル画像データから検出したオブジェクト情報をオブジェクト特徴量算出部６６とへ送出する。

オブジェクト特徴量算出部６６は、オブジェクト特徴量記憶部６８に接続されている。オブジェクト特徴量算出部６６は、オブジェクト検出部６２から送出されるオブジェクト情報から得られるコントラスト情報に基づいてオブジェクトの特徴量を算出する。オブジェクト特徴量算出部６６は、算出した特徴量をオブジェクト特徴量記憶部６８へ送出する。

オブジェクト特徴量記憶部６８は、オブジェクト特徴量算出部６６から送出されるオブジェクトの特徴量を記録する。

オブジェクト領域認識部７０は、オブジェクト領域記憶部７１とフレームアウト判定部７２とに接続されている。オブジェクト領域認識部７０は、オブジェクト検出部６２から送出されるオブジェクト情報に基づいてオブジェクト領域を認識する。オブジェクト領域認識部７０は、認識したオブジェクト領域をフレームアウト判定部７２へ送出し、半押し状態直後のオブジェクト情報により認識したオブジェクト領域をオブジェクト領域記憶部７１へ送出する。

オブジェクト領域記録部７１は、フレームアウト判定部７２に接続されている。オブジェクト領域記憶部７１は、オブジェクト領域認識部７０が認識した全画角に対するオブジェクト領域情報を記憶する。

顔検出部６４は、顔領域認識部７４に接続されている。顔検出部６４は、顔検出回路５２（図２参照）において人物の顔が検出されると、検出された顔情報を顔領域認識部７４へ送出する。

顔領域認識部７４は、顔領域記憶部７５とフレームアウト判定部７２とに接続されている。顔領域認識部７４は、顔検出部６４から送出される顔情報に基づいて顔領域を認識する。顔領域認識部７４は、認識した顔領域情報をフレームアウト判定部７２へ送出し、半押し状態直後の顔情報から認識した顔領域情報を顔領域記憶部７５へ送出する。

顔領域記憶部７５は、フレームアウト判定部７２に接続されている。顔領域記憶部７５は、顔認識部７４が認識した全画角に対する顔領域情報を記憶する。

フレームアウト判定部７２は、音信号出力制御部７６に接続されている。フレームアウト判定部７２は、オブジェクト領域認識部７０から送出されるオブジェクト領域情報から得られる最新のオブジェクト領域情報と、オブジェクト領域記憶部７１から送出される半押し状態直後のオブジェクト領域情報とを比較し、比較した結果、最新のオブジェクト領域情報が予め定められた許容レベルを超えると、フレームアウトしたと判定する。また、同様に、顔領域認識部７４から送出される最新の顔領域情報と、顔領記憶出部７５から送出される半押し状態直後の顔領域情報とを比較し、比較した結果、最新の顔領域情報が予め定めされた許容レベルを超えると、フレームアウトしたと判定する。フレームアウト判定部７２は、フレームアウトしたと判定すると、撮影者に報知するために、音信号出力制御部７６へ制御情報を送出する。

音信号出力制御部７６は、フレームアウト判定部７２から送出される制御情報に基づいて、音声コントローラ５６（図２参照）を制御し、スピーカー５４から音を出力する。

このように、撮像部６０が撮像したデジタル画像データから、オブジェクト検出部６２が撮影したい重要な被写体であるオブジェクトを検出し、オブジェクトの領域をオブジェクト領域認識部７０が認識する。半押し状態直後にオブジェクト領域認識部７０が認識したオブジェクト領域情報は、オブジェクト領域記憶部７１に記録される。撮像部６０が撮像を繰り返し、オブジェクト領域認識部７０がオブジェクト領域を認識する。フレームアウト判定部７２は、オブジェクト領域認識部７０が認識した最新のオブジェクト領域と、オブジェクト領域記憶部７１に記憶されている半押し状態直後のオブジェクト領域とを比較し、比較した結果、最新のオブジェクトの領域が予め定められた許容レベルを超えると、フレームアウト判定部７２はオブジェクトがフレームアウトしたと判定し、音信号出力制御部７６が、音を出力する。同様に、撮像部６０が撮像したデジタル画像データから、人物の顔を検出し、フレームアウトを判定する。

以下に第１の実施の形態の作用を説明する。

図４は、撮影者が指定した被写体をフレームから外れないようにナビゲートする撮影ナビゲートモードが選択された場合の撮影の処理の流れを示したフローチャートである。

ステップ１００では、撮像部６０が被写体をスルー画像で撮像し、ＬＣＤ１８へスルー画像を表示してステップ１０２へ移行する。

ステップ１０２では、レリーズボタン１６Ａが半押し状態であるか否かが判定される。半押し状態ではないと否定判定された場合は、ステップ１０２へ移行し、レリーズボタン１６Ａが半押し状態となるまで繰り返す。半押し状態であると肯定判定された場合は、ステップ１０４へ移行する。

ステップ１０４では、図５（Ａ）に示すように、レリーズボタン１６Ａが半押し状態となったフレームの中心点を含むフレーム中央付近にある、被写体であるオブジェクトに対してＡＦ機能が働いて合焦制御され、ステップ１０６へ移行する。

ステップ１０６では、オブジェクト検出部６２が、ステップ１０４の合焦制御時に検出されるフレームの中心点を含む中央付近のコントラスト情報に基づいて、被写体であるオブジェクトを検出する。オブジェクト領域認識部７０が、オブジェクト領域を認識し、図５（Ｂ）に示すように、オブジェクトを含む矩形の枠８０をＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能によりＬＣＤ１８上に重畳して表示する。オブジェクトを検出すると、ステップ１０８へ移行する。

ステップ１０８では、ステップ１０６でオブジェクト特徴量算出部６６によって算出されたオブジェクトの特徴量を、オブジェクト特徴量記憶部６８に記憶し、ステップ１１０へ移行する。

ステップ１１０では、ステップ１０２で半押し状態となったデジタル画像データに対し、顔検出部６４が人物の顔を検出し、ステップ１１２へ移行する。

ステップ１１２では、ステップ１１０での顔検出部６４による顔検出により、人物の顔の有無が判定される。顔がないと否定判定された場合はステップ１１６へ移行し、顔があると肯定判定された場合はステップ１１４へ移行する。

ステップ１１４では、ステップ１１０で検出した人物の顔に対してＡＦ機能が働いて合焦制御され、図５（Ｂ）に示すように、人物の顔を囲む矩形の枠８２をＯＳＤ機能によりＬＣＤ１８上に重畳して表示し、ステップ１１６へ移行する。

ステップ１１６では、レリーズボタン１６Ａの押下を止め、半押し状態がキャンセルされたか否かが判定される。半押し状態がキャンセルされた肯定判定の場合はステップ１１８へ移行する。

ステップ１１８では、ステップ１０８で記憶したオブジェクトの特徴量をクリアし、ステップ１０２へ移行する。

ステップ１１６で、半押し状態がキャンセルされず、維持されている否定判定の場合は、ステップ１２０へ移行する。

ステップ１２０では、レリーズボタン１６Ａが全押し状態であるか否かが判定される。全押し状態ではない否定判定の場合は、ステップ１２２へ移行する。

ステップ１２２では、オブジェクト検出部６２が、撮像部６０から送出されるデジタル画像データを、オブジェクト特徴量記憶部６８に記録されているオブジェクト特徴量を参照して、オブジェクト特徴量に合うオブジェクトを検出し、オブジェクト領域認識部７０がオブジェクトのオブジェクト領域を認識する。オブジェクト領域を認識すると、ステップ１２４へ移行する。

ステップ１２４では、顔検出部６４が、撮像部６０から送出されるデジタル画像データに基づいて顔を検出し、顔領域認識部７４が顔領域を認識する。顔領域を認識すると、ステップ１２６へ移行する。

ステップ１２６では、フレームアウト判別部７２が、ステップ１２２で算出したオブジェクト領域と、ステップ１２４で算出した顔領域との少なくとも一方の領域が所定以下となり、フレームアウトしたか否かが判定される。フレームアウトしていない否定判定の場合は、ステップ１１６へ移行する。図５（Ｃ）に示すようにフレームアウトした肯定判定の場合は、ステップ１２８へ移行する。

ステップ１２８では、フレームアウト判定部７２から送出される制御情報に基づいて音信号出力制御部７６が音声コントローラ５６を制御する。音信号出力制御部７６の制御により音声コントローラ５６が音を選択し、スピーカー５４から音が出力され、撮影者に被写体であるオブジェクトと、人物の顔との少なくとも一方がフレームアウトしたことを報知する。報知処理後、ステップ１１６へ移行する。

ステップ１２０で、レリーズボタン１６Ａが全押し状態であると肯定判定された場合は、ステップ１３０へ移行する。

ステップ１３０では、ＬＣＤ１８上に表示されているスルー画像を記録するための撮影処理が行われ、ステップ１３２へ移行する。

ステップ１３２では、撮影を終了するか否かが判定され、撮影を終了しない否定判定の場合は、ステップ１１８へ移行し、ステップ１０８で記憶したオブジェクト特徴量をクリアし、ステップ１０２へ移行して撮影ナビゲートモードでの撮影を継続する。撮影を終了する肯定判定の場合は、このルーチンは終了する。

第１の実施の形態では、主要被写体である人物と同じ画角で撮影したい被写体であるオブジェクトを、レリーズボタン１６Ａを半押し状態とすることで指定する。オブジェクトを指定することで、半押し状態でデジタルカメラ１０の上下左右の移動や、ズームアウト、ズームインにより、人物やオブジェクトの領域が移動し、フレームアウトした場合に報知する。報知されることで、再度、画角を調整し、確実にオブジェクトを含めて撮影することができる。また、オブジェクトの検出は、レリーズボタン１６Ａを半押し状態とした直後のフレームの中心点を含む中央付近にあるオブジェクトとするため、オブジェクトを検出する検出範囲が狭くてよいため、計算量を少なくすることができる。

（第２の実施の形態）
以下に本発明の第２の実施の形態について説明する。なお、この第２の実施の形態において、前記第１の実施の形態と同一構成部分について、同一の符号を付してその構成の説明を省略する。

第２の実施の形態の特徴は、第１の実施の形態で、半押し状態としたときに、中心点を含む中央付近の被写体であるオブジェクトを重要な被写体としたことに対し、所定時間内でのレリーズボタン１６Ａの操作により、複数のオブジェクトを重要な被写体とすることである。

図６は、第２の実施の形態に係る撮影ナビゲートが選択されたときの動作を示す機能ブロック図である。

計測部８４は、撮像部６０とオブジェクト検出部６３とに接続されている。計測部８４は、レリーズボタン１６Ａを半押し状態にした時間を計測する。計測部８４は、所定時間内に半押し状態がキャンセルされた場合は、オブジェクト検出部６２に、撮像部６０から送出されたデジタル画像データからオブジェクトを検出するように、検出指示情報を送出する。

また、オブジェクト検出部６３は、所定時間内に半押し状態がキャンセルされる毎に、キャンセルされた直後に撮像部６０から送出されるデジタル画像データから、フレームの中心点を含む中央付近の被写体であるオブジェクトを検出し、オブジェクト特徴量算出部６７へ検出したオブジェクト情報を送出する。オブジェクト特徴量算出部６７は、所定時間内に半押し状態がキャンセルされる毎にオブジェクト検出部６３から送出されたオブジェクト情報から、オブジェクトの特徴量を算出し、オブジェクト特徴量記憶部６９へ記憶する。さらに、オブジェクト検出部６３は、所定時間内に半押し状態がキャンセルされない場合は、オブジェクト特徴量記憶部６９に記憶されているオブジェクトの特徴量を参照することで、オブジェクトの特徴量に合うオブジェクトを検出する。

オブジェクト領域記憶部７３は、所定時間内に半押し状態がキャンセルされる毎に、キャンセルされた直後にオブジェクト領域認識部７０がオブジェクトの領域を認識し、送出されるオブジェクト領域を記憶する。

このように、計測部８４が撮像部６０の撮影時間を計測することで、所定時間内にキャンセルされた場合、オブジェクト検出部６２がオブジェクトを検出することで、複数の重要な被写体であるオブジェクトを検出することができ、フレームアウト判定部７２でフレームアウトを判定することができる。

図７は、第２の実施の形態での撮影ナビゲートモードが選択された場合の撮影の処理の流れを示したフローチャートである。

ステップ２００では、撮像部６０が被写体をスルー画像で撮像し、ＬＣＤ１８へスルー画像を表示してステップ２０２へ移行する。

ステップ２０２では、レリーズボタン１６Ａが半押し状態であるか否かが判定される。半押し状態であると肯定判定された場合は、ステップ２０４へ移行する。

ステップ２０４では、計測部８４が、レリーズボタン１６Ａが半押し状態である時間を計測し、所定時間内にレリーズボタン１６Ａの押下を止め、半押し状態がキャンセルされたか否かが判定される。半押し状態がキャンセルされたと肯定判定の場合は、ステップ２０６へ移行する。

ステップ２０６では、図５（Ａ）に示すように、表示しているスルー画像のフレーム中央付近にある、被写体であるオブジェクトに対してＡＦ機能が働いて合焦制御され、ステップ２０８へ移行する。

ステップ２０８では、オブジェクト検出部６３が、ステップ２０６の合焦制御時に検出されるフレームの中心点を含む中央付近のコントラスト情報に基づいて、被写体であるオブジェクトを検出し、オブジェクト領域認識部７０が、オブジェクト領域を認識する。オブジェクト領域を認識すると、図５（Ｂ）に示すように、オブジェクトを含む矩形の枠８０をＯＳＤ機能によりＬＣＤ１８上に重畳して表示する。オブジェクトを検出すると、ステップ２１０へ移行する。

ステップ２１０では、ステップ２０８でオブジェクト検出部６３によって検出されたオブジェクト情報から、オブジェクト特徴量算出部６７がオブジェクトの特徴量を算出し、オブジェクト特徴量記憶部６９に累積して記憶する。このとき、検出したオブジェクトに対し、オブジェクトを含む矩形の枠８０をＯＳＤ機能によりＬＣＤ１８上に重畳して表示し、ステップ２０２へ移行する。

ステップ２０２で、半押し状態ではないと否定判定された場合は、ステップ２１２へ移行する。

ステップ２１２では、撮像部６０がスルー画像で撮像したデジタル画像データに対し、顔検出部６４が人物の顔の顔を検出し、顔領域認識部７４が顔領域を認識してステップ２１４へ移行する。

ステップ２１４では、ステップ２０４からステップ２１０までの処理の結果、オブジェクト特徴量記憶部６９に記憶されているオブジェクトの有無が判定される。オブジェクトの有無を判定した結果、オブジェクトがないと否定判定された場合はステップ２１８へ移行し、オブジェクトがあると肯定判定された場合はステップ２１６へ移行する。

ステップ２１６では、オブジェクト検出部６３が、オブジェクト特徴量記憶部６９に記憶されているオブジェクトの特徴量を参照することで、撮像部６０から送出されるデジタル画像データに含まれるオブジェクトを検出する。オブジェクト領域認識部７０が、検出したオブジェクト情報からオブジェクト領域を認識し、ステップ２１８へ移行する。

ステップ２１８では、フレームアウト判別部７２が、ステップ２１２で認識した顔領域と、ステップ２１６で認識したオブジェクト領域との少なくとも一方の領域が予め定められた許容レベルを超えてフレームアウトしたか否かが判定される。フレームアウトしていない否定判定の場合は、ステップ２０２へ移行する。フレームアウトした肯定判定の場合は、ステップ２２０へ移行する。

ステップ２２０では、フレームアウト判定部７２から送出される制御情報に基づいて音声コントローラ５６が音を選択し、スピーカーか５４から音が出力され、撮影者に重要な被写体であるオブジェクトと、人物の顔との少なくとも一方がフレームアウトしたことを報知する。報知処理後、ステップ２０２へ移行する。

ステップ２０４で、所定時間内に半押し状態がキャンセルされない否定判定の場合は、ステップ２２２へ移行する。

ステップ２２２では、撮像部６０から送出されるデジタル画像データに対し、顔検出部６４が人物の顔を検出し、ステップ２２４へ移行する。

ステップ２２４では、ステップ２２２での顔検出部６４による顔検出により、人物の顔の有無が判定される。顔がないと否定判定された場合はステップ２２８へ移行し、顔があると肯定判定された場合はステップ２２６へ移行する。

ステップ２２６では、ステップ２２２で検出した人物の顔に対してＡＦ機能が働いて合焦制御され、図５（Ｂ）に示すように、人物の顔を囲む矩形の枠８２をＯＳＤ機能によりＬＣＤ１８上に重畳して表示し、ステップ２２８へ移行する。

ステップ２２８では、レリーズボタン１６Ａの押下を止め、半押し状態がキャンセルされたか否かが判定される。半押し状態がキャンセルされた肯定判定の場合はステップ２２９へ移行し、半押し状態がキャンセルされない肯定判定の場合はステップ２３０へ移行する。

ステップ２２９では、ステップ２１０で累積してオブジェクト特徴量記憶部６９に記憶されたオブジェクト特徴量をクリアする。また、オブジェクト特徴量記憶部６９に記憶されたオブジェクトの、オブジェクトを含む矩形の枠８０をＬＣＤ１８上から消去してステップ２０２へ移行する。

ステップ２２８で、半押し状態がキャンセルされない肯定判定の場合はステップ２３０へ移行する。

ステップ２３０では、レリーズボタン１６Ａが全押し状態であるか否かが判定される。全押し状態ではない否定判定の場合はステップ２２８へ移行し、全押し状態である肯定判定の場合はステップ２３２へ移行する。

ステップ２３２では、ＬＣＤ１８上に表示されているスルー画像を記録するための撮影処理が行われ、ステップ２３４へ移行する。

ステップ２３４では、撮影を終了するか否かが判定され、撮影を終了しない否定判定の場合は、ステップ２２９へ移行し、ステップ２１０で記憶したオブジェクト特徴量を消去してステップ２０２へ移行し、撮影ナビゲートモードでの撮影を継続する。撮影を終了する肯定判定の場合は、このルーチンは終了する。

第２の実施の形態では、所定時間内にレリーズボタン１６Ａの押下を止めることで半押し状態をキャンセルして、主要被写体である人物以外の重要な被写体であるオブジェクトを複数指定することができる。所定時間内でキャンセルして、オブジェクトを複数指定した場合、指定したオブジェクトには、オブジェクトを含む矩形の枠８０が表示され、オブジェクトを指定しているのか、所定時間内に半押し状態はキャンセルせずに、その後キャンセルしてオブジェクトの指定がクリアされたかのか、ＬＣＤ１８上の表示で判定できる。また、指定できるオブジェクトの個数は、設定可能な構成にすることもでき、設定された個数よりも多くのオブジェクトが指定された場合は、一番先に指定したオブジェクトから消去される等の処理の流れにすることもできる。このように、半押し状態の時間に応じて、オブジェクトの登録と、ＡＦ機能による合焦制御を切り替えることが可能となり操作性がよい。

（第３の実施の形態）
以下に本発明の第３の実施の形態について説明する。なお、この第３の実施の形態において、前記第１の実施の形態、前記第２の実施の形態と同一構成部分について、同一の符号を付してその構成の説明を省略する。

第３の実施の形態の特徴は、重要な被写体であるオブジェクトの領域がフレームアウトしているか否かの判定を、半押し状態直後の顔検出部６４が検出する主要被写体である人物の顔の位置と、それ以後に検出される顔の位置との変化から得られる変移量から、オブジェクトの位置を把握し、フレームアウトしたか否かを判定していることである。

図８は、第３の実施の形態に係る撮影ナビゲートが選択されたときの動作を示す機能ブロック図である。

オブジェクト検出部８６は、オブジェクト領域認識部８８に接続されている。オブジェクト検出部８６は、レリーズボタン１６Ａが半押し状態となった直後に撮像部６０が撮像し、送出されたデジタル画像データから、オブジェクトを検出する。このとき、実施の形態の１のオブジェクト検出部６２と同様に、フレームの中心点を含む中央付近の被写体であるオブジェクトを検出する。オブジェクトの検出は、レリーズボタン１６Ａを半押し状態にすることによりＡＦ機能が働いて合焦制御され、この合焦制御時に検出されるフレームの中心点を含む中央付近のコントラスト情報を用いて検出する。オブジェクト検出部８６は、検出したオブジェクト情報をオブジェクト領域認識部８８へ送出する。

オブジェクト領域認識部８８は、オブジェクト検出部８６から送出されるオブジェクト情報に基づいてオブジェクト領域を認識する。このとき、ＯＳＤ機能によりＬＣＤ１８上にオブジェクトを含む矩形の枠８０（図１０（Ｂ）参照）を表示したときの、中心座標を算出する。オブジェクト領域認識部８８は、オブジェクト領域情報と、中心座標情報とをオブジェクト領域記憶部９０へ送出する。

オブジェクト領域記憶部９０は、オブジェクト位置算出部９６とフレームアウト判定部９８とに接続されている。オブジェクト領域記憶部９０は、オブジェクト領域認識部８８から送出されるオブジェクト領域情報と、中心座標情報とを記憶する。

顔領域認識部９２は、顔領域記憶部９４と、オブジェクト位置算出部９６と、フレームアウト判定部９８と、に接続されている。顔領域認識部９２は、顔検出部６４から送出される顔情報に基づいて顔領域を認識する。このとき、ＯＳＤ機能によりＬＣＤ１８上に顔を含む矩形の枠８２（図１０（Ｂ）参照）を表示したときの、中心座標を算出する。また、顔を含む矩形の枠８２の一辺の長さＦａｃｅＬ＿ｎと、その一辺の頂点の座標ＦＰ＿ｎ（ｘｎ，ｙｎ）を算出する（ｎは半押し状態直後以降の顔認識回数）。顔領域認識部９２は、顔領域の中心座標、矩形の枠８２の一辺の長さＦａｃｅＬ＿ｎと頂点座標ＦＰ＿ｎ（ｘｎ，ｙｎ）と、をオブジェクト位置算出部９６へ送出し、レリーズボタン１６Ａを半押し状態とした直後の顔領域情報、顔領域の中心座標、矩形の枠の一辺の長さＦａｃｅＬ＿０と頂点座標ＦＰ＿０（ｘ０，ｙ０）と、を顔領域記憶部９４へ送出する。また、顔領域認識部９２は、顔領域情報をフレームアウト判定部９８へ送出する。

顔領域記憶部９４は、オブジェクト位置算出部９６に接続されている。顔領域記憶部９４は、顔領域認識部９２から送出される顔領域情報、顔領域の中心座標、矩形の枠８２の一辺の長さＦａｃｅＬ＿０と頂点座標ＦＰ＿０（ｘ０，ｙ０）と、を記憶する。

オブジェクト位置算出部９６は、フレームアウト判定部９８に接続されている。オブジェクト位置算出部９６は、顔領域認識部９２から送出される矩形の枠８２の一辺の長さＦａｃｅＬ＿ｎと頂点座標ＦＰ＿ｎ（ｘｎ，ｙｎ）と、を、顔領域記憶部９４に記憶されている半押し状態直後の矩形の枠８２の一辺の長さＦａｃｅＬ＿０と頂点座標ＦＰ＿０（ｘ０，ｙ０）と、を参照することにより、顔の移動距離と、ズームイン、ズームアウトによる拡大・縮小の倍率とを算出する。また、オブジェクト位置算出部９６は、オブジェクト領域記憶部９０に記憶されているオブジェクトの中心座標と、顔領域記憶部９４に記憶されている顔の中心座標と、から半押し状態直後のオブジェクトと顔との距離Ｌ＿０（図１０（Ｂ）参照）を算出する。半押し状態直後のオブジェクトと顔との距離を基に、顔の移動距離と、拡大・縮小の倍率とから最新のオブジェクトの位置を算出する。オブジェクト位置算出部９６は、算出したオブジェクトの位置と、顔領域認識部９２から送出された顔領域情報とをフレームアウト判定部９８に送出する。

フレームアウト判定部９８は、オブジェクト領域記憶部９０に記憶されているオブジェクト領域情報と、オブジェクト位置算出部９６から送出されるオブジェクトの位置情報とから、現在のオブジェクトの領域を算出し、オブジェクト領域情報が予め定められた許容レベルと超えると、フレームアウトしたと判定する。また、顔領域認識部９２から送出される顔領域情報と、顔領域記憶部９４に記憶されている顔領域情報とを比較し、顔領域情報が予め定められた許容レベルを超えると、フレームアウトしたと判定する。フレームアウト判定部９８は、フレームアウトしたと判定すると、報知するために、制御情報を音信号出力制御部７６へ送出する。

このように、顔の移動距離と拡大・縮小の倍率とから現在のオブジェクトの位置を算出し、オブジェクトがフレームアウトしているか否かを判定している。

図９は、実施の形態３での撮影ナビゲートモードが選択された場合の撮影の処理の流れを示したフローチャートである。

ステップ３００では、撮像部６０が被写体をスルー画像で撮像し、ＬＣＤ１８へスルー画像を表示してステップ３０２へ移行する。

ステップ３０２では、レリーズボタン１６Ａが半押し状態であるか否かが判定される。半押し状態ではないと否定判定された場合は、ステップ３０２へ移行し、レリーズボタン１６Ａが半押し状態となるまで繰り返す。半押し状態であると肯定判定された場合は、ステップ３０４へ移行する。

ステップ３０４では、図１０（Ａ）に示すように、レリーズボタン１６Ａが半押し状態となったフレームの中心点を含むフレーム中央付近にある、被写体であるオブジェクトに対してＡＦ機能が働いて合焦制御され、ステップ３０６へ移行する。

ステップ３０６では、オブジェクト検出部８６が、ステップ３０４の合焦制御時に検出されるフレームの中心点を含む中央付近のコントラスト情報に基づいて、被写体であるオブジェクトを検出する。オブジェクト領域認識部８８が、オブジェクト領域を認識し、図１０（Ｂ）に示すように、オブジェクトを含む矩形の枠８０をＯＳＤ機能によりＬＣＤ１８上に重畳して表示する。オブジェクトを検出すると、ステップ３０８へ移行する。

ステップ３０８では、ステップ３０６で検出したオブジェクト情報に基づいてオブジェクト領域認識部８８が、オブジェクト領域を認識し、オブジェクトを含む矩形の枠８０を表示したときの中心座標を算出する。オブジェクト領域認識部８８が認識したオブジェクト領域情報と、オブジェクト領域の中心座標情報とをオブジェクト領域記憶部９０に記憶し、ステップ３１０へ移行する。

ステップ３１０では、顔検出部６４が人物の顔を検出する。このとき、顔領域認識部９２が、顔検出部６４が検出した顔情報を基に、顔領域を認識し、ＯＳＤ機能によりＬＣＤ１８上に顔を含む矩形８２の枠を表示したときの、中心座標、一辺の長さＦａｃｅＬ＿０とその頂点座標ＦＰ＿０（ｘ０，ｙ０）とを算出する。顔を検出し、顔領域の中心座標を算出して、ステップ３１２へ移行する。

ステップ３１２では、ステップ３０８で算出したオブジェクトの中心座標と、ステップ３１０で算出した顔領域の中心座標と、から、顔とオブジェクトとの距離Ｌ＿０を算出し、ステップ３１４へ移行する。

ステップ３１４では、レリーズボタン１６Ａの押下を止め、半押し状態がキャンセルされたか否かが判定される。半押し状態がキャンセルされた肯定判定の場合はステップ３１６へ移行する。

ステップ３１６では、ステップ３０８で記憶したオブジェクト領域情報と、オブジェクト領域の中心座標情報とをクリアし、ステップ３０２へ移行する。

ステップ３１４で、半押し状態がキャンセルされず、半押し状態が維持されている否定判定の場合は、ステップ３１８へ移行する。

ステップ３１８では、レリーズボタン１６Ａが全押し状態であるか否かが判定される。全押し状態ではない否定判定の場合は、ステップ３２０へ移行する。

ステップ３２０では、ステップ３１８で、スルー画像で撮像されたデジタル画像データから、顔検出部６４が人物の顔を検出する。このとき、顔領域認識部９２が、顔検出部６４が検出した顔情報を基に、顔領域を認識し、ＯＳＤ機能によりＬＣＤ１８上に顔を含む矩形の枠８２を表示したときの、中心座標、一辺の長さＦａｃｅＬ＿ｎとその頂点座標ＦＰ＿ｎ（ｘｎ，ｙｎ）とを算出し、ステップ３２２へ移行する。

ステップ３２２では、ステップ３１０で算出した矩形の枠８２の一辺の長さＦａｃｅＬ＿０とその頂点座標ＦＰ＿０（ｘ０，ｙ０）と、ステップ３２０で算出した矩形の枠８２の一辺の長さＦａｃｅＬ＿ｎとその頂点座標ＦＰ＿ｎ（ｘｎ，ｙｎ）と、から、顔の移動距離と、倍率とを算出する。算出した移動距離と、倍率とから、ステップ３０８に記憶されたオブジェクト領域の中心座標を基に、現在のオブジェクト領域を算出し、ステップ３２４へ移行する。

ステップ３２４では、オブジェクト判定部が、ステップ３２０で検出した顔領域と、ステップ３２２で算出したオブジェクト領域と、の少なくとも一方の領域が予め定められた許容レベルを超えてフレームアウトしたか否かが判定される。フレームアウトしていない否定判定の場合は、ステップ３１４へ移行する。図１０（Ｃ）に示すようにフレームアウトした肯定判定の場合は、ステップ３２６へ移行する。

ステップ３２６では、フレームアウト判定部７２から送出される制御情報に基づいて音信号出力制御部７６が音声コントローラ５６を制御する。音信号出力制御部７６の制御により音声コントローラ５６が音を選択し、スピーカー５４から音が出力され、撮影者に被写体であるオブジェクトと、人物の顔との少なくとも一方がフレームアウトしたことを報知する。報知処理後、ステップ３１４へ移行する。

ステップ３１８で、レリーズボタン１６Ａが全押し状態であると肯定判定された場合は、ステップ３２８へ移行する。

ステップ３２８では、ＬＣＤ１８上に表示されているスルー画像を記録するための撮影処理が行われ、ステップ３３０へ移行する。

ステップ３３０では、撮影を終了するか否かが判定され、撮影を終了しない否定判定の場合は、ステップ３１６へ移行し、ステップ３０８で記憶したオブジェクト領域情報と、オブジェクト領域の中心座標情報とをクリアしてステップ３０２へ移行し、撮影ナビゲートモードでの撮影を継続する。撮影を終了する肯定判定の場合は、このルーチンは終了する。

第３の実施の形態では、オブジェクトの認識処理が一度でよく、処理速度、消費電力の面で優れている。また、オブジェクトの位置情報を用いてオブジェクト領域を算出し、フレームアウトしているか否かの判定をするために、合焦制御はオブジェクトに対して行われ、オブジェクトに合焦された撮影を行うことができる。

なお、第１の実施の形態から第３の実施の形態で、オブジェクトの検出には、コントラスト情報を用いたがこれに限ったものではなく、フレームの中心点を含む中央付近の色情報を基準にして画素を検索し、オブジェクトを検出するなど、オブジェクトが検出できればよい。

また、重要な被写体としたオブジェクトのオブジェクト領域情報を、付帯情報としてＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）規格のタグ領域等に記憶することで、撮影されて記憶された画像データの再生時、編集時に再利用可能となる。更に、第２の実施の形態で、複数のオブジェクトを重要な被写体としてオブジェクトを検出した場合も、付帯情報としてオブジェクトを指定した順序等を記憶することで、同様に、撮影され、記憶された画像データの再生時、編集時に再利用可能となる。

更に、ＬＣＤ１８はタッチパネルを有し、半押し状態でＬＣＤ１８上に表示されているオブジェクトを、タッチパネルをクリックして操作することで、オブジェクトを指定するようにしてもよい。

第１の実施の形態に係り、（Ａ）はデジタルカメラの正面、（Ｂ）はデジタルカメラの上面、（Ｃ）はデジタルカメラの背面、を示す概観図である。 第１の実施の形態に係るデジタルカメラの電気系の要部構成を示すブロック図である。 第１の実施の形態に係る機能ブロック図である。 第１の実施の形態に係る撮影ナビゲートモードが選択された場合の撮影の処理の流れを示すフローチャートである。 第１の実施の形態に係るＬＣＤに表示されるオブジェクトと顔との認識を示した一例である。 第２の実施の形態に係る機能ブロック図である。 第２の実施の形態に係る撮影ナビゲートモードが選択された場合の撮影の処理の流れを示すフローチャートである。 第３の実施の形態に係る機能ブロック図である。 第３の実施の形態に係る撮影ナビゲートモードが選択された場合の撮影の処理の流れを示すフローチャートである。 第３の実施の形態に係るＬＣＤに表示されるオブジェクトと顔との認識を示した一例である。

符号の説明

１０ デジタルカメラ
１８ ＬＣＤ（表示手段）
６０ 撮像部（撮像手段）
７０ オブジェクト領域認識部（オブジェクト領域認識手段）
７１ オブジェクト領域記憶部（オブジェクト領域相関情報記憶手段）
６４ 顔検出部（顔検出手段）
７２ フレームアウト判定部（報知手段）
７４ 顔領域認識部（顔領域算出手段）
７５ 顔領域記憶部（顔領域相関情報記憶手段）
７６ 音信号出力制御部（報知手段）
８４ 計測部（計測手段）
８８ オブジェクト領域認識部（オブジェクト領域認識手段）
９４ 顔領域記憶部（顔領域相関情報記憶手段）
８６ オブジェクト位置算出部（オブジェクト領域相関情報更新手段）
９８ フレームアウト判定部（報知手段）

Claims (14)

1. 被写体を撮像するときの画角設定時の画像データを取得する撮像手段と、
   前記撮像手段が取得した前記画角設定用の画像データから予め設定された領域に存在する被写体をオブジェクト領域として認識するオブジェクト領域認識手段と、
   前記撮像手段が取得した前記画角設定用の画像データから特定の人物の顔を検出する顔検出手段と、
   前記顔検出手段が検出した前記特定の人物の顔領域を算出する顔領域算出手段と、
   前記オブジェクト領域認識手段が認識した最新の前記オブジェクト領域の全画角に対する相関情報、並びに、前記顔領域算出手段が算出した最新の前記顔領域の全画角に対する相関情報の少なくとも何れか一方が、予め定められた許容レベルを超えた場合に報知する報知手段と、
   を有する撮影装置。
2. 前記オブジェクト領域認識手段が認識した前記オブジェクト領域における当該認識時の全画角に対する相関情報を記憶するオブジェクト領域相関情報記憶手段と、前記顔検出手段が検出した前記特定の人物の顔領域における当該検出時の全画角に対する相関情報を記憶する顔領域相関情報記憶手段と、を更に有し、前記報知手段は、前記オブジェクト領域認識手段が認識した最新の前記オブジェクト領域の全画角に対する相関情報と前記オブジェクト領域相関情報記憶手段に記憶されている前記オブジェクト領域の全画角に対する相関情報との第１の比較結果、並びに、前記顔領域算出手段が算出した最新の前記顔領域の全画角に対する相関情報と前記顔領域記憶手段に記憶されている前記顔領域の全画角に対する相関情報との第２の比較結果の少なくとも何れか一方が、予め定められた許容レベルを超えた場合に報知することを特徴とする請求項１記載の撮影装置。
3. 前記第１の比較結果が、前記オブジェクト領域の変移量であり、前記第２の比較結果が前記顔領域の変移量であることを特徴とする請求項２記載の撮影装置。
4. 前記撮像手段が取得した前記画像データから前記オブジェクトの特徴量を算出して前記特徴量を記憶するオブジェクト特徴量記憶手段を更に有し、前記オブジェクト認識手段は、前記撮像手段が取得した前記画像データを前記オブジェクト特徴量記憶手段に記憶されている前記特徴量を参照することにより前記オブジェクト領域を認識することを特徴とする請求項１〜請求項３の何れか１項記載の撮影装置。
5. 前記撮像手段の画角設定時間を計測する計測手段を更に有し、前記計測手段により計測した連続した画角設定時間が所定以下で終了する毎に、前記オブジェクト領域認識手段により前記オブジェクト領域を認識し、前記オブジェクト領域相関情報記憶手段により認識時の全画角に対する相関情報を累積して記憶することを特徴とする請求項１〜請求項４の何れか１項記載の撮影装置。
6. 前記顔検出手段が前記人物の顔を検出した場合、検出した前記人物の顔に対して合焦制御することを特徴とする請求項１〜請求項５の何れか１項記載の撮影装置。
7. 被写体を撮像するときの画角設定時の画像データを取得する撮像手段と、
   前記撮像手段が取得した前記画角設定用の画像データから予め設定された領域に存在する被写体をオブジェクト領域として認識するオブジェクト領域認識手段と、
   前記撮像手段が取得した前記画角設定用の画像データから特定の人物の顔を検出する顔検出手段と、
   前記顔検出手段が検出した前記特定の人物の顔領域における当該検出時の全画角に対する相関情報を記憶する顔領域相関情報記憶手段と、
   前記顔検出手段が検出した最新の前記顔領域の全画角に対する相関情報と、前記顔領域相関情報記憶手段に記憶されている前記顔領域の全画角に対する相関情報と、の倍率変動を含めた第３の比較結果から前記オブジェクト領域の全画角に対する相関情報を更新するオブジェクト領域相関情報更新手段と、
   前記第３の比較結果、並びに、前記オブジェクト領域相関情報更新手段による更新結果、の少なくとも何れか一方が、予め定められたそれぞれの許容レベルを超えた場合に報知する報知手段と、
   を有する撮影装置。
8. 前記第３の比較結果が前記顔領域の変移量であり、前記更新結果が前記オブジェクト領域の前記顔領域を基準とした相対位置であることを特徴とする請求項７記載の撮影装置。
9. 前記撮像手段により撮像された前記画像データを記録する際に、前記オブジェクト領域認識手段により認識された前記オブジェクトの前記オブジェクト領域情報を付帯情報として記録することを特徴とする請求項１〜請求項８の何れか１項記載の撮影装置。
10. 前記撮像手段により撮像された前記画像データを記録する際に、前記計測手段による計測により画角設定時間が所定以下である場合ごとに、前記オブジェクト領域認識手段により認識される前記オブジェクト領域の認識順序情報を付帯情報として記録することを特徴とする請求項１〜請求項９の何れか１項記載の撮影装置。
11. 前記撮像手段により撮像された画角設定時の前記画像データを表示する表示手段を更に有し、前記オブジェクト領域認識手段により認識された前記オブジェクト領域を、視覚を通じてオブジェクト領域の位置を前記表示手段に重畳して表示することを特徴とする請求項１〜請求項１０の何れか１項記載の撮影装置。
12. 前記表示手段はタッチパネルを更に有し、前記表示手段に表示された前記オブジェクトを、前記タッチパネルを操作することにより選択することを特徴とする請求項１〜請求項１１の何れか１項記載の撮影装置。
13. 被写体を撮像するときの画角設定時の画像データを取得する撮像ステップと、
    前記撮像ステップで取得した前記画角設定用の画像データから予め設定された領域に存在する被写体をオブジェクト領域として認識するオブジェクト領域認識ステップと、
    前記撮像ステップで取得した前記画角設定用の画像データから特定の人物の顔を検出する顔検出ステップと、
    前記顔検出ステップで検出した前記特定の人物の顔領域を算出する顔領域算出ステップと、
    前記オブジェクト領域認識ステップで認識した最新の前記オブジェクト領域の全画角に対する相関情報、並びに、前記顔領域算出ステップで算出した最新の前記顔領域の全画角に対する相関情報の少なくとも何れか一方が、予め定められた許容レベルを超えた場合に報知する報知ステップと、
    を実行する撮影方法。
14. 被写体を撮像するときの画角設定時の画像データを取得する撮像ステップと、
    前記撮像ステップで取得した前記画角設定用の画像データから予め設定された領域に存在する被写体をオブジェクト領域として認識するオブジェクト領域認識ステップと、
    前記撮像ステップで取得した前記画角設定用の画像データから特定の人物の顔を検出する顔検出ステップと、
    前記顔検出ステップで検出した前記特定の人物の顔領域における当該検出時の全画角に対する相関情報を記憶する顔領域相関情報記憶ステップと、
    前記顔検出ステップで検出した最新の前記顔領域の全画角に対する相関情報と、前記顔領域相関情報記憶ステップで記憶されている前記顔領域の全画角に対する相関情報と、の倍率変動を含めた比較結果から前記オブジェクト領域の全画角に対する相関情報を更新するオブジェクト領域相関情報更新ステップと、
    前記比較結果、並びに、前記オブジェクト領域相関情報更新ステップによる更新結果、の少なくとも何れか一方が、予め定められた許容レベルを超えた場合に許容範囲外であることを報知する報知ステップと、
    を実行する撮影方法。

Images