JP2010177894A - 撮像装置、画像管理装置及び画像管理方法、並びにコンピューター・プログラム - Google Patents

Abstract

【課題】連続撮影を通じて得られた複数の画像の中から、ユーザーが所望する代表画像を自動的に選択する。
【解決手段】連続撮影して得られた複数の画像を、顔情報や撮影時の環境情報に基づいてそれぞれスコア化し、最もスコアの高い画像を連続撮影画像における代表画像として選択する。ここで、スコア化に用いるパラメーターには、顔検出部２１０から出力される検出顔の笑顔度、目瞑り度、顔の傾き度が挙げられる。人物などの被写体を連続撮影して得られた複数の画像の中から、被写体の写真写りの良し悪しに応じて、代表画像を自動的に選択することができる。
【選択図】 図３

Description

本発明は、連続撮影機能を備えた撮像装置、連続撮影して得られた複数の画像を管理する画像管理装置及び画像管理方法、並びにコンピューター・プログラムに係り、特に、連続撮影を通じて得られた複数の画像からユーザーが所望する代表画像を選択する撮像装置、画像管理装置及び画像管理方法、並びにコンピューター・プログラムに関する。

さらに詳しくは、本発明は、連続撮影を通じて得られた複数の画像から代表画像を自動的に選択する撮像装置、画像管理装置及び画像管理方法、並びにコンピューター・プログラムに係り、特に、人物などの被写体を連続撮影して得られた複数の画像の中から被写体の写真写りの良し悪しに応じて代表画像を自動的に選択する撮像装置、画像管理装置及び画像管理方法、並びにコンピューター・プログラムに関する。

最近、フィルムや感光板を使って撮影する銀塩カメラに代わって、光電変換及び蓄積を行なう画素配列の受光部をフォトダイオードにより構成した固体撮像素子で画像をキャプチャーしディジタル符号処理して保存する、いわゆるディジタルカメラが広範に普及している。固体撮像素子として、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｒｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化物半導体）を挙げることができる。例えばＣＭＯＳセンサーは、ＣＣＤセンサーに比べて消費電力が小さいことや、単一の低電圧で駆動され、周辺回路と一体化が容易であるといった利点がある。

銀塩カメラもディジタルカメラも基本的なカメラ・ワークはほとんど同じである。撮影画像のディジタル化とも相俟って、カメラ・ワークに関して自動露出制御や自動合焦制御、手触れ補正といった自動化若しくは撮影支援技術が進んでおり、このため、カメラ操作に未熟なユーザーであっても、撮影に失敗する可能性は極めて低くなってきている。

また、ユーザーが所望の撮影画像を取得するための方法の１つとして、同じ被写体を複数回にわたって撮影する連続撮影が挙げられる。例えば人物などの動く物体を被写体とする場合には、ユーザーにとってシャッター・ボタンを押すタイミングをとる操作が難しいことから、連続撮影はとりわけ有効である。しかしながら、連続撮影して得られた複数の画像の中から、どれが適切なものかを取捨選択しなければならないという問題がある。連続撮影した画像には、写りが良好なものとそうでないものが混在しており、適切に取捨選択しなければ、写りが良好な撮影画像が埋没し、検索作業が厄介となる。また、写りが良好でない撮影画像は基本的に不要な画像であり、削除せずに放置しておくとメディアの浪費になる。以下では、複数の画像の中から良好なものとして選択された画像のことを「代表画像」と呼ぶことにする。

例えば、動画ファイルのような連続画像の中から時間経過順に複数の画面を抽出し、複数の画面の縮小画像を一画面内に配列させたインデックス画を作成し、インデックス画を読み出し可能な信号形態で記録装置に記録する画像管理方法について提案がなされている（例えば、特許文献１を参照のこと）。この画像管理方法によれば、ユーザーはインデックス画上で連続画像の中から代表画像をマニュアル操作によって選択することができる。しかしながら、ユーザーがすべての連続画像に対して代表画像を選択していく作業はわずらわしく、時間がかかってしまう。また、この画像管理方法は、連続写真を扱うことを意図したものではない。

また、画像データが有するメタデータや画像データに含まれる人物の属性情報に応じて画像データをグループに分類し、グループ毎に代表画像を抽出する機能を備えた画像出力装置について提案がなされている（例えば、特許文献２を参照のこと）。この画像処理装置では、グループから代表画像を抽出する条件をユーザーが選択できるように構成されている。しかしながら、代表画像の選択肢として、集合写真／ポートレート、解像度レベル、フォーカス・レベル、試し撮りの排除、撮影時間間隔、撮影場所指定などが挙げられているが、これらの抽出条件はいずれも、撮影画像中の被写体の写真写りの良し悪しとは相違する。また、メタデータや人物の属性情報に応じて分類された画像データのグループは連続写真とは限らず、この画像出力装置は必ずしも連続写真を扱うことを意図したものではない。

また、連写によって撮影された複数コマの画像データからそれぞれ高周波成分を抽出して積算して得られるＡＦ評価値に基づいて、複数コマの中から代表コマを選定するディジタルカメラについて提案がなされている（例えば、特許文献３を参照のこと）。しかしながら、このディジタルカメラは、複数コマの中から画像が鮮明なものを自動的に選定して記録装置に保存することができるものの、撮影画像中の被写体の写真写りの良し悪しに応じて代表コマを選定する訳ではない。

特開２００１−２１１４２１号公報 特開２００８−１４６１９１号公報 特開２００４−３２０４８７号公報

本発明の目的は、連続撮影を通じて得られた複数の画像の中から、ユーザーが所望する代表画像を自動的に選択することができる、優れた撮像装置、画像管理装置及び画像管理方法、並びにコンピューター・プログラムを提供することにある。

本発明のさらなる目的は、人物などの被写体を連続撮影して得られた複数の画像の中から被写体の写真写りの良し悪しに応じて代表画像を自動的に選択することができる、優れた撮像装置、画像管理装置及び画像管理方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
撮影手段と、
前記撮影手段によって連続撮影した各撮影画像に含まれる被写体の顔を検出するとともに、各検出顔の属性情報を抽出する顔検出手段と、
前記顔検出手段によって抽出した検出顔の属性情報に基づいて、連続撮影した各撮影画像のスコアを決定するスコア決定手段と、
前記スコア決定手段が決定したスコアに基づいて、連続撮影した複数の撮影画像の中から代表画像を選択する代表画像選択手段と、
を具備することを特徴とする撮像装置である。

また、本願の請求項２に記載の発明は、請求項１に係る撮像装置において、前記顔検出手段が、検出顔の属性情報として、検出顔の笑顔度、目瞑り度、顔の傾き度合いのうち少なくとも１つを含む複数の属性情報を抽出するとともに、前記スコア決定手段は、前記複数の属性情報の各評価値の合計を検出顔のスコアとして決定するように構成されている。

また、本願の請求項３に記載の発明は、請求項２に係る撮像装置において、前記顔検出手段が１つの被写体の顔のみを検出した撮影画像については、前記スコア決定手段が、当該検出顔について決定したスコアを当該撮影画像のスコアに決定するように構成されている。

また、本願の請求項４に係る発明は、請求項２に係る撮像装置において、前記顔検出手段が複数の被写体の顔を検出した画像については、前記スコア決定手段が、各検出顔を重み付けし、各検出顔について決定したスコアの重み付け平均値を当該撮影画像のスコアに決定するように構成されている。

また、本願の請求項５に記載の発明は、請求項１に係る撮像装置が、前記撮影手段によって撮影する際の環境情報を取得する撮影環境情報取得手段をさらに備え、前記顔検出手段が被写体の顔を検出しない撮影画像については、前記スコア決定手段は、前記撮影環境情報取得手段が取得した環境情報の評価値に基づいて当該撮影画像のスコアを決定するように構成されている。

また、本願の請求項６に記載の発明は、請求項５に係る撮像装置において、前記撮影環境情報取得手段が、前記撮影手段において撮影する際の露出度、前記撮影手段が撮影した画像の鮮鋭度、又は、前記撮影手段において撮影する際の手振れ度のうち少なくとも１つを撮影環境情報として取得するように構成されている。

また、本願の請求項７に記載の発明は、請求項１に係る撮像装置が表示手段をさらに備え、前記撮影手段によって前記連続撮影を行なった際に、連続撮影した各撮影画像のサムネイルの一覧からなるインデックス画面を前記表示手段で表示するように構成されている。

また、本願の請求項８に記載の発明は、請求項７に係る撮像装置が連続撮影した撮影画像のうち前記スコア決定手段が決定したスコアが所定値以下となるものを削除候補画像として決定する削除候補画像決定手段をさらに備え、前記インデックス画面上で前記削除候補画像に該当するサムネイルを強調表示して、ユーザーに対して削除操作を促すように構成されている。

また、本願の請求項９に記載の発明は、
連続撮影された複数の撮影画像を入力する画像入力手段と、
前記入力した各撮影画像に含まれる被写体の顔を検出するとともに、各検出顔の属性情報を抽出する顔検出手段と、
前記顔検出手段によって抽出した検出顔の属性情報に基づいて、連続撮影した各撮影画像のスコアを決定するスコア決定手段と、
前記スコア決定手段が決定したスコアに基づいて、連続撮影した複数の撮影画像の中から代表画像を選択する代表画像選択手段と、
を具備することを特徴とする画像管理装置である。

また、本願の請求項１０に記載の発明は、
連続撮影された複数の撮影画像を入力する画像入力ステップと、
前記入力した各撮影画像に含まれる被写体の顔を検出するとともに、各検出顔の属性情報を抽出する顔検出ステップと、
前記顔検出ステップにおいて抽出した検出顔の属性情報に基づいて、連続撮影した各撮影画像のスコアを決定するスコア決定ステップと、
前記スコア決定ステップにおいて決定したスコアに基づいて、連続撮影した複数の撮影画像の中から代表画像を選択する代表画像選択ステップと、
を有することを特徴とする画像管理方法である。

また、本願の請求項１１に記載の発明は、複数の撮影画像を管理するための処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
連続撮影された複数の撮影画像を入力する画像入力手段、
前記入力した各撮影画像に含まれる被写体の顔を検出するとともに、各検出顔の属性情報を抽出する顔検出手段、
前記顔検出手段によって抽出した検出顔の属性情報に基づいて、連続撮影した各撮影画像のスコアを決定するスコア決定手段、
前記スコア決定手段が決定したスコアに基づいて、連続撮影した複数の撮影画像の中から代表画像を選択する代表画像選択手段、として機能させるためのコンピューター・プログラムである。

本願の請求項１１に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１１に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項９に係る画像管理装置と同様の作用効果を得ることができる。

本発明によれば、連続撮影を通じて得られた複数の画像の中から、ユーザーが所望する代表画像を自動的に選択することができる、優れた撮像装置、画像管理装置及び画像管理方法、並びにコンピューター・プログラムを提供することができる。

また、本発明によれば、人物などの被写体を連続撮影して得られた複数の画像の中から被写体の写真写りの良し悪しに応じて代表画像を自動的に選択することができる、優れた撮像装置、画像管理装置及び画像管理方法、並びにコンピューター・プログラムを提供することができる。

本願の請求項１、９乃至１１に記載の発明によれば、連続撮影された各撮影画像を検出顔の属性情報を基にスコア化することによって、自動的に画像を評価することができる。また、複数の撮影画像の中から最適な画像を代表画像として自動的に選択することにより、ユーザーが代表画像を選ばなくて済み、代表画像選択の手間が省ける。

また、本願の請求項２乃至４に記載の発明によれば、笑顔度、目瞑り度、傾き度合いといったパラメーターを属性情報に用いることにより、人物の表情を評価し、被写体の写真写りの良し悪しに応じて代表画像を自動的に選択することができる。また、よい表情の人物が映った画像を代表画像として出力することで、よい人物写真の検索性が向上する。あるいは、よくない表情の人物が映った画像を判別することで、削除すべき写真の検索性が向上する。また、本願の請求項５、６によれば、連続撮影した各撮影画像に顔が含まれない場合であっても、撮影する際の露出度や手振れ度、撮影画像の鮮鋭度といった撮影環境に基づいて各撮影画像をスコア化して、代表画像を自動的に選択することができる。また、本願の請求項６、７に記載の発明によれば、よくない表情の人物が映った画像を判別するとともに、連続撮影した撮影画像のインデックス画像を介して、削除すべき写真の検索性が向上する。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本発明の一実施形態に係る撮像装置１００のハードウェア構成を示した図である。 図２は、メイン制御部２００のうち、主に撮影記録制御に関する機能的構成例を示した図である。 図３は、代表画像選択処理の概略的な手順を示したフローチャートである。 図４は、連続撮影された各撮影画像をスコア化するための処理手順を示したフローチャートである。 図５Ａは、連続撮影を行なう際の画面遷移を示した図であり、具体的には、モニタリング状態におけるスルー画像の表示例を示した図である。 図５Ｂは、連続撮影を行なう際の画面遷移を示した図であり、具体的には、ＡＦ（自動合焦処理）がロック状態において、スルー画像内の検出顔を枠で囲った様子を示した図である。 図５Ｃは、連続撮影を行なう際の画面遷移を示した図であり、具体的には、連続撮影起動時の画面構成例を示した図である。 図５Ｄは、連続撮影を行なう際の画面遷移を示した図であり、具体的には、連続撮影が終了し又は中断した際の記録中若しくは現像中の表示画面を示した図である。 図５Ｅは、連続撮影を行なう際の画面遷移を示した図であり、具体的には、連続撮影した各画像のサムネイルの一覧からなるインデックス画面の構成例を示した図である。 図５Ｆは、連続撮影を行なう際の画面遷移を示した図であり、具体的には、インデックス画面上で、スコアが一定以下となった撮影画像の削除をユーザーに促す画面の構成例を示した図である。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明の一実施形態に係る撮像装置１００のハードウェア構成を模式的に示している。図示の撮像装置１００は、レンズ１１１と、アイリス機構部１１２と、シャッター機構部１１３と、撮像素子１１４と、レンズ制御部１１５と、ＴＧ（タイミング・ジェネレーター：タイミング信号発生回路）１１６と、アナログ信号処理部１２１と、Ａ／Ｄ変換部１２２と、ディジタル信号処理部１２３と、メイン制御部２００と、操作受付部１３０と、シャッター・レリーズ・ボタン１３１と、表示部１４０と、記録部１５０と、外部Ｉ／Ｆ（インターフェース）１６０と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１７１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１７２と、ブレ検出部１８０と、充電／発光制御部１９１と、発光部１９２を備えている。撮像装置１００は、例えば、被写体を撮像して画像データを生成し、この画像データについて画像解析により各特徴量を抽出し、この抽出された各特徴量を用いて各種画像処理を施すことが可能なディジタルスチルカメラとして構成される。

レンズ１１１は、ズーム・レンズやフォーカス・レンズなど、被写体からの光を集光する複数のレンズで構成され、入射された被写体からの光がこれらのレンズを介して撮像素子１１４に供給する。レンズ１１１は、ズーム制御機構部やフォーカス制御機構部、ブレ制御機構部（いずれも図示しない）により駆動されるものとする。例えば、メイン制御部２００からの制御信号に基づいてズーム制御機構部やフォーカス制御機構部が駆動制御されると、ズーム制御又はフォーカス制御がそれぞれ行なわれる。また、メイン制御部２００が、ブレ検出部１８０により検出された撮像装置１００のブレ情報と現在の補正光学系の位置情報に基づいて、補正光学系が移動すべき位置を決定すると、この決定に基づいてブレ制御機構部が駆動制御され、手振れなどのブレ補正制御が行なわれる。

アイリス（ｉｒｉｓ）機構部１１２は、メイン制御部２００からの制御信号に基づいて、レンズ１１１を介して入射する光を透過させる開口の大きさを制御する。シャッター機構部１１３は、メイン制御部２００からの制御信号に基づいて、レンズ１１１を介して入射する光を透過させる時間、すなわち露光時間を制御する。このシャッター機構部１１３の制御信号は、シャッター・レリーズ・ボタン１３１の押下操作に応じて発生する制御信号である。このように、アイリス機構部１１２及びシャッター機構部１１３によって露光光量が制御される。

撮像素子１１４は、撮像面に色フィルターが設けられているカラー撮像素子であり、ＴＧ１１６から供給される駆動パルスに従って動作する。レンズ１１１を介して入射された被写体からの光に応じた被写体像は、この撮像素子１１４の撮像面に結像する。そして、撮像素子１１４は、撮像面に結像された被写体像に応じたアナログの画像信号を生成して、アナログ信号処理部１２１に供給する。撮像素子１１４として、例えば、ＣＣＤセンサーやＣＭＯＳセンサーなどを用いることができる。

レンズ制御部１１５は、メイン制御部２００からの制御信号に基づいて、ズーム制御機構部、フォーカス制御機構部、並びに、ブレ制御機構部を制御する。

ＴＧ１１６は、メイン制御部２００からの制御信号に基づいて、撮像素子１１４が１画面毎の画像信号の蓄積及び読み出しに必要とする各種の駆動パルスを発生して、撮像素子１１４に供給する。言い換えれば、ＴＧ１１６が生成する各種の駆動パルスは、画像信号の撮像処理や出力処理のタイミング信号として用いられる。

アナログ信号処理部１２１は、撮像素子１１４から供給された画像信号について、サンプリング処理（Ｓ／Ｈ）や自動利得制御による増幅処理（ＡＧＣ）などのアナログ処理を施す。そして、Ａ／Ｄ変換部１２２は、アナログ信号処理部１２１から供給されたアナログの画像信号を、所定のサンプリングレートでサンプリングすることによって、ディジタルの画像信号に変換する。

ディジタル信号処理部１２３は、Ａ／Ｄ変換部１２２から供給されたディジタルの画像信号から、フレーミング、静止画像撮像、自動合焦制御、測光などに必要となる各種信号を生成し、これらの各種信号をメイン制御部２００に出力する。

例えば、フレーミング時には、ディジタル信号処理部１２３が入力画像信号から表示画像信号を生成すると、この表示画像信号はメイン制御部２００を介して表示部１４０に供給される。また、静止画像撮像時には、ディジタル信号処理部１２３が入力画像信号から１枚の静止画像信号を生成すると、この静止画像信号は、圧縮などの符号化処理が施された後に、メイン制御部２００を介して記録部１５０に供給される。また、自動合焦制御時には、ディジタル信号処理部１２３は、入力画像信号から、画面内の所定領域の高周波数成分を検出して、高周波数成分すなわち鮮鋭度のレベルを示すコントラスト信号を生成する。また、測光時には、ディジタル信号処理部１２３は、入力画像信号から、画面内の所定領域の光量成分を検出し、この光量成分の光量レベルを示すＡＥ信号を生成して、メイン制御部２００に供給する。

メイン制御部２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、プログラムＲＯＭ、ワークエリア用ＲＡＭ、並びに、各種Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）ポート又はインターフェースを備えるワンチップ・マイクロコンピューターで構成され（いずれも図示しない）、撮像装置１００内の各部を統括的に制御する。

操作受付部１３０は、ユーザーによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた信号をメイン制御部２００に出力する。操作受付部１３０は、例えば、撮像装置１００本体に装備されたシャッター・レリーズ・ボタンやズーム・ボタンなどの操作部材（いずれも図示しない）で構成される。ここで、シャッター・レリーズ・ボタンは、例えば、撮像画像を記録する際にユーザーにより操作されるモーメンタリー型の押圧スイッチである。メイン制御部２００は、ユーザーにより全く押されていない状態（オフ状態）と、ユーザーにより半分程度まで押された状態（半押し状態）と、ユーザーにより深く押された状態（深押し状態）という、シャッター・レリーズ・ボタンに対する３つの押圧状態を判別する。また、ズーム・ボタンは、撮像時におけるズームの倍率を調整する際に操作されるボタンである。

表示部１４０は、ディジタル信号処理部１２３から供給された画像データに対応する画像を表示する表示部であり、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などで構成される。例えば、撮像素子１１４により生成された画像信号に対応する撮像画像（すなわち、スルー画像）は表示部１４０に表示される。また、表示部１４０は、タッチパネルを兼ねるとともに各種の選択ボタンなどを表示する。ユーザーはタッチパネル上の選択ボタンの領域を指先などで触ることによって操作入力を行なうことが可能である。

記録部１５０は、ディジタル信号処理部１２３から供給された画像データを記録する記録デバイスである。記録部１５０には、例えば、ディスク・メモリ・カードなどの半導体メモリや、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのリムーバブル記録媒体を用いることができる。また、記録部１５０は、撮像装置１００に内蔵又は着脱可能のいずれとしても構成することができる。

外部インターフェース（Ｉ／Ｆ）１６０は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどの外部機器を接続する入出力端子を備えるインターフェースである。

ＥＥＰＲＯＭ１７１は、メイン制御部２００の制御に基づいて、無電源状態でも保持しておく必要があるデータなどを記憶するメモリである。この種のデータとして、例えば、撮像装置１００において設定されている各種情報が挙げられる。

ＲＡＭ１７２は、メイン制御部２００が各種の処理を行なう上で必要なプログラムやデータを一時的に記憶するメモリである。

ブレ検出部１８０は、ジャイロ・センサーや加速度センサーで構成され、撮像装置１００に加わった加速度、動き、傾きなどを検出し、検出値に対応する電圧値をメイン制御部２００に出力する。ブレ検出部１８０は、例えば、撮像装置１００本体のピッチ（Ｐｉｔｃｈ）方向及びヨー（Ｙａｗ）方向の２方向に関する角速度に対応する電圧値を取得する。そして、メイン制御部２００は、ブレ検出部１８０から出力された電圧値についてブレ補正演算部を行ない、その電圧値に対応する数値に換算することにより、撮影者の手振れなどに起因する撮像装置１００本体のブレに関する情報（ブレ情報）を取得する。

発光部１９２は、例えばキセノン・ランプなどの放電装置により構成され、レンズ１１１から前方に向かう方向（レンズ１１１の光軸方向）に光を照射するように、撮像装置１００の筐体の前面部や上部に取り付けられている発光装置であり、撮像対象となる被写体に対して、強い閃光を一瞬だけ照射する。

発光部１９２は、充電／発光制御部１９１を介してメイン制御部２００に接続され、発光部１９２の発光タイミングがメイン制御部２００により制御される。充電／発光制御部１９１は、メイン制御部２００からの制御信号に基づいて、発光部１９２の充電及び発光を制御する。

ここで、メイン制御部２００は、本発光の前に所定の発光量で発光部１９２にプリ発光させ、このプリ発光に対する測光データに基づいて、発光部１９２の発光量を決定する。すなわち、メイン制御部２００は、プリ発光に対する測光データとして、撮像素子１１４から出力されたアナログの画像信号に対応する画面全体の輝度値を検出し、この検出された輝度値と、適正露光が得られる目標輝度値とを比較することにより、発光部１９２の発光量を決定する。このため、撮像装置１００に調光センサーを必要としない。

図２には、メイン制御部２００のうち、主に撮影記録制御に関する機能的構成例を示している。メイン制御部２００は、顔検出部２１０と、静止判断部２２０と、主要被写体検出部２３０と、ＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）値抽出部２４０と、シーン決定部２５０と、露出条件仮定部２６０と、露出判定部２７０と、プログラム線図保持部２８１と、撮像制御部２８０と、表示制御部２９０と、代表画像選択部３００を備えている。各機能モジュール２１０〜３００は、具体的には、メイン制御部がＥＥＰＲＯＭ１７１に記録されているプログラムを実行するという形態で実現することができるが、勿論、マイクロプロセッサー内部又は外部の専用ハードウェア（処理エンジン）として実装することも可能である。ここで、顔検出部２１０、静止判断部２２０、主要被写体検出部２３０及びシーン決定部２５０は、それぞれ独立して制御されるものとする。

顔検出部２１０は、ディジタル信号処理部１２３から出力された画像信号に対応する撮像画像に含まれる人物の顔を検出し、検出顔に関する情報を露出判定部２７０に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法、撮像画像に含まれる肌色の部分や人間の顔の特徴量などに基づいた顔検出方法を用いることができる。また、顔に関する情報は、例えば、撮像画像から顔が検出されたか否かを示す情報（顔の有無）、被写体の位置や頭部の大きさ（顔領域）、頭部のヨー（Ｙａｗ）方向の傾き度合い、さらには笑顔度や目瞑り度といった顔特徴量である。なお、顔検出技術の詳細については、例えば、本出願人に既に譲渡されている特開２００７−２４９８５２号公報若しくは特開２００８−３０５３４２号公報を参照されたい。

静止判断部２２０は、ブレ検出部１８０から出力された電圧値について、手振れ補正演算処理を行ない、その電圧値に対応する数値（すなわち、撮像装置１００のブレ量）を算出する。そして、この算出されたブレ量と静止時のブレ量の偏差量を算出し、この偏差量と時間に基づいて静止の有無を判断し、判断結果（撮像装置１００の静止の有無）を露出判定部２７０に出力する。

主要被写体検出部２３０は、ディジタル信号処理部１２３から出力された画像信号に対応する撮像画像に含まれる主要被写体を検出し、主要被写体に関する情報を露出判定部２７０に出力する。主要被写体の検出方法として、例えば、発光部１９２をプリ発光させた際における撮像画像の輝度値と所定値とを比較することにより、撮像画像に主要被写体が含まれるか否かを検出する検出方法を用いることができる。なお、主要被写体検出動作は、一定以上の暗いシーンと判定されている状態で、シャッター・レリーズ・ボタンが半押し状態となった場合や、夜景シーンや逆光シーンが判定され、顔が検出されない場合などに行なわれる。また、主要被写体に関する情報は、例えば、撮像画像から主要被写体が検出されたか否かを示す情報（主要被写体の有無）である。

ＥＶ値抽出部２４０は、ディジタル信号処理部１２３から出力されたＡＥ信号に基づいて、撮像画像に含まれる被写体の明るさを示すＥＶ値を検出するものであり、検出したＥＶ値を、シーン決定部２５０、露出条件仮定部２６０、及び撮像制御部２８０に出力する。

シーン決定部２５０は、ディジタル信号処理部１２３から出力された画像信号と、ＥＶ値抽出部２４０から出力されたＥＶ値に基づいて、ディジタル信号処理部１２３から出力された画像信号に対応する撮像画像に含まれる被写体のシーンを決定し、決定したシーンを露出判定部２７０に出力する。ここで、撮像画像に含まれる被写体のシーンは、被写体として夜の屋外が含まれる夜景シーン、被写体として建物の屋内が含まれる屋内シーン、被写体として太陽を背にした対象物が含まれる逆光シーンなどの各シーンである。

露出条件仮定部２６０は、ＥＶ値抽出部２４０から出力されたＥＶ値と所定の閾値の差分値を算出し、この差分値に基づいて露出条件を仮定する。例えば、ＥＶ値抽出部２４０から出力されたＥＶ値が所定の閾値よりも小さい場合には、露出が不足していると考えられるので、露出条件として、シャッター速度を遅くしたり、絞り量を小さくしたり、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御）処理のゲインを大きくしたりする。一方、ＥＶ値抽出部２４０から出力されたＥＶ値が所定の閾値以上である場合には、露出が過多であると考えられることから、露出条件として、シャッター速度を速くしたり、絞り量を大きくしたり、ＡＧＣ処理のゲインを小さくしたりする。本発明の実施の形態では、露出条件仮定部２６０により仮定された露出条件のうちで、絞り量を基準絞り量Ｉｅとし、シャッター速度を基準シャッター速度Ｔｅとし、ゲインを基準ゲインＧｅとする。

露出判定部２７０は、シーン決定部２５０から出力された撮像画像に含まれる被写体のシーンと、顔検出部２１０から出力された顔の有無と、静止判断部２２０から出力された撮像装置１００の静止の有無と、主要被写体検出部２３０から出力された主要被写体の有無に基づいて、露出条件仮定部２６０により露出条件として仮定された基準絞り量Ｉｅ、基準シャッター速度Ｔｅ、及び基準ゲインＧｅが適正か否かを判定する。そして、判定された結果に基づいてプログラム線図を選択し、この選択されたプログラム線図を示す情報と、判定の対象となった各情報を撮像制御部２８０に出力する。

プログラム線図保持部２８１は、設定可能な撮影モードのそれぞれに対応する複数のプログラム線図を保持するものであり、保持されているプログラム線図を撮像制御部２８０に供給する。図示の例では、メイン制御部２００のプログラム線図保持部２８１に各プログラム線図を保持するが、各プログラム線図をＥＥＰＲＯＭ１７１に保持しておき、撮像制御部２８０に供給するようにしてもよい。

撮像制御部２８０は、ユーザーにより指定された撮影モードに対応するプログラム線図を露出判定部２７０で選択されたプログラム線図に変更するとともに、ＥＶ値抽出部２４０から出力されたＥＶ値に基づいて露出条件を決定する。そして、決定された露出条件に基づいて、アイリス機構部１１２及びシャッター機構部１１３を制御するための制御信号をアイリス機構部１１２及びシャッター機構部１１３に出力する。また、各撮像条件に応じた撮像モード設定や低照度補正などの制御を行なう。さらに、撮像制御部２８０は、シャッター・レリーズ・ボタンの深押し状態において、撮像画像に含まれる被写体のシーンが夜景シーンや逆光シーンなどの特定シーンであると判定された場合には、少なくとも２つの異なる撮像記録パラメーターを用いて撮像画像を記録させる制御を行なう。なお、シャッター・レリーズ・ボタンが半押し状態の場合には、少なくとも２つの異なる撮像記録パラメーターが確定する。また、２つの異なる撮像記録パラメーターとして、例えば、ユーザーにより指定された撮像記録パラメーターと、判定されたシーンに応じた撮像記録パラメーターとすることができる。

表示制御部２９０は、撮像制御部２８０により決定された少なくとも２つの異なる撮像記録パラメーターに対応する撮像モード認識アイコンを表示部１４０に表示させる。また、表示制御部２９０は、主要被写体やその他の撮影情報で分類された複数の画像や、後述する連続撮影された複数の画像などからなるグループ画像のサムネイルを一覧表示したインデックス画面を、表示部１４０に表示させることができる。

本実施形態では、撮像装置１００は、同じ被写体を複数回にわたって撮影する連続撮影機能を備えている。例えば人物など動く物体を被写体とする場合には、シャッター・レリーズ・ボタンを押すタイミングをとることが難しいことから、連続撮影はとりわけ有効である。具体的には、シャッター・レリーズ・ボタンが半押し状態となったときに、自動合焦制御機能、自動露光制御機能、主要被写体検出機能が起動し、深押し状態で通常撮影が起動し、さらに深押し状態を所定時間以上継続すると深押しを解除するまで連続撮影が実行される。

ここで、連続撮影して得られた複数の画像の中から、どれが適切なものかを取捨選択しなければならないという問題がある。そこで、本実施形態では、代表画像選択部３００が、連続撮影して得られた複数の画像を、顔情報に基づいてそれぞれスコア化し、最もスコアの高い画像を連続撮影画像における代表画像として自動的に選択するように構成されている。スコア化に用いるパラメーターには、検出顔の属性情報を用いることができる。具体的には、代表画像選択部３００は、顔検出部２１０から出力される検出顔の笑顔度、目瞑り度、顔の傾き度を基に、各撮影画像をスコア化する。

但し、連続撮影された画像に顔画像が存在しない場合には、代表画像選択部３００は、顔情報の代わりに撮影時の環境情報に基づいて各画像をスコア化し、最もスコアの高い画像を代表画像として自動的に選択する。撮影時の環境情報として、露出度、鮮鋭度、手ブレ度を挙げることができ、代表画像選択部３００は、これらを撮影環境情報に基づいて各撮影画像をスコア化する。ディジタル信号処理部１２３から出力される、画面内の所定領域から検出される光量成分の光量レベルを示すＡＥ信号、高周波成分のレベルを示すコントラスト信号をそれぞれ露出度、鮮鋭度として用いることができ、また、ブレ検出部１８０から出力される、撮像装置１００に加わった加速度、動き、傾きの検出値に対応する電圧値を手ブレ度として用いることができる。代表画像選択部３００は、これらの撮影環境情報を入力して、連続撮影された各撮影画像をスコア化する。

連続撮影した画像内に顔画像が存在する場合並びに存在しない場合のいずれにせよ、本実施形態に係る撮像装置１００は、連続撮影して得られた複数の画像の中から、被写体の写真写りの良し悪しに応じて、代表画像を自動的に選択することができる訳である。

代表画像選択部３００は、連続撮影した複数の画像から代表画像を選択すると、画像管理データベースに登録する。また、表示制御部２９０は、画像管理データベースを参照し、連続撮影された複数の画像からなるグループ画像のサムネイルを一覧表示したインデックス画面を、表示部１４０に表示させる。但し、画面表示の詳細については後述に譲る。

図３には、撮像装置１００上で実行される、代表画像選択処理の概略的な手順をフローチャートの形式で示している。

まず、ユーザーによる操作受付部１３０に対する操作に従って、メイン制御部２００は、連続撮影の処理を実行する（ステップＳ１）。

そして、現像処理では、メイン制御部２００は、撮像素子１１４からＡ／Ｄ変換部１２２を通じて画像データを取り込み、自然な色になるよう、ディジタル信号処理部１２３にて信号処理を行なう（ステップＳ２）。現像処理が終わると、記録部１５０にて、連続撮影された複数の画像をメディアに一旦記録する。

次いで、メイン制御部２００内の代表画像選択部３００は、顔検出部２１０で検出された各検出顔の属性情報（但し、撮影画像中に人物が存在する場合）、又は、撮影時の環境情報に基づいて（但し、撮影画像中に人物が存在しない場合）、連続撮影された各々の撮影画像を評価し、評価結果をスコア化する（ステップＳ３）。評価に用いる検出顔の属性情報は、笑顔度、目瞑り度、顔の傾き度などであり、例えば特開２００７−２４９８５２号公報若しくは特開２００８−３０５３４２号公報（前述）に記載されている方法に従ってこれらの顔属性情報を取得することができる。

次いで、メイン制御部２００内の代表画像選択部３００は、スコア化された各画像のうち、スコアが最も高い画像を、連続撮影した一連の画像の代表画像として選択する（ステップＳ４）。

そして、メイン制御部２００内の代表画像選択部３００は、代表画像に選んだ画像を、画像管理データベースに代表画像として記録し（ステップＳ５）、記録部１５０を用いて、メディアに保存されている画像管理データベースを更新する（ステップＳ６）。

図４には、図３に示したフローチャート中のステップＳ３で実行される、連続撮影された各撮影画像をスコア化するための処理手順をフローチャートの形式で示している。

まず、顔検出部２１０が、入力された画像から顔検出を行ない（ステップＳ１１）、顔が検出されたかどうかを判定する（ステップＳ１２）。

ここで、画像から顔が検出されなかった場合には（ステップＳ１２のＮｏ）、メイン制御部２００内の代表画像選択部３００は、ＥＶ値抽出部２４０で抽出されるＥＶ値、ディジタル信号処理部１２３で生成されるコントラスト信号、ブレ検出部１８０で検出されるブレ情報を、露出度、鮮鋭度、並びに、手振れ度として入力し、これらの撮影環境情報を基に撮影画像を評価し、その評価結果をスコア化して（ステップＳ１３）、当該画像のスコアに決定して出力する（ステップＳ１７）。

一方、画像から顔が検出された場合には（ステップＳ１２のＹｅｓ）、メイン制御部２００は、顔検出部２１０で検出される検出顔の、笑顔度、目瞑り度、顔の傾き度といった各顔属性情報に基づいて検出顔を評価し、その評価結果をスコア化する（ステップＳ１４）。

次いで、処理対象となっている画像に含まれる顔が１つ又は複数のいずれであるかをチェックする（ステップＳ１５）。

ここで、画像中で検出された顔が１つのみである場合には（ステップＳ１５のＮｏ）、当該検出顔について算出されたスコアを当該画像のスコアとして決定する（ステップＳ１７）。

また、画像中で複数の顔が検出された場合には（ステップＳ１５のＹｅｓ）、検出顔毎に重みを決定し、各検出顔について算出されたスコアの重み付け平均を計算して（ステップＳ１６）、当該画像のスコアとして決定する（ステップＳ１７）。

複数の検出顔が存在する場合の検出顔の重み付け方法として、例えば、スルー画像上でユーザーが選択した検出顔や、顔部分のエッジの境界が最も際立っている（鮮鋭度の高い）顔に、より大きな重みを与える方法などが挙げられる。

図５には、連続撮影を行なう際の表示部の画面遷移を示している。

モニタリング状態において、撮像素子１１４により生成された画像信号に対応するスルー画像が、例えば図５Ａに示す通りであったとする。そして、シャッター・レリーズ・ボタンが半押し状態となったときに、自動合焦制御機能、自動露光制御機能、主要被写体検出機能が起動する。そして、ＡＦ（自動合焦処理）がロック状態になると、スルー画像内で検出された各検出顔に対し、図５Ｂに示すように、検出した顔領域を表す枠が表示される。

さらに、シャッター・レリーズ・ボタンの深押し状態が所定時間以上継続した場合、シャッター・レリーズ・ボタンが解除されるまでの間、連続撮影が起動する。ここでは、１０枚の連続撮影が行なわれたとする。

図５Ｃには、連続撮影の実行中における表示部１４０の画面構成例を示すが、図５Ｂに示したスルー画像は一旦消滅する。ここで、所定枚数の連続撮影が終了し、又は、連続撮影の途中でユーザーがシャッター・レリーズ・ボタンを離して連続撮影した画像の記録が中断すると、図５Ｄに示すように、現像が完了した時点までの撮影画像のサムネイルが時系列的に表示される。

連続撮影された各画像について、現像処理、及びスコアの算出処理（図４を参照のこと）が順次実施される。そして、最もスコアの高い画像を連続撮影画像における代表画像として自動的に選択する。代表画像に選ばれた画像は、画像管理データベースに代表画像として記録される（前述）。

また、撮影した枚数分の信号処理が終了すると、図５Ｅに示すように、連続撮影されたすべての画像がサムネイル化され、これらサムネイルの一覧からなるインデックス画像すなわちオート・レビュー画面が表示される。

連続撮影時のインデックス画像を表示した画面上では、ユーザーは不要な画像のサムネイルを直接選択して、削除を指示することができる。但し、インデックス画面に対するユーザーの操作が一定期間ないと、インデックス画面表示の状態が解除され、図５Ａに示したようなスルー画像表示状態に移行する。

あるいは、連続撮影画像のインデックス画面上では、図５Ｆに示すように、スコアが一定以下となった（言い換えれば、被写体の写真写りのよくない）撮影画像を枠で囲って強調表示して（図示の例では、該当するサムネイル画像を点線で囲って表示している）、ユーザーに削除を促すようにしてもよい。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、ディジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、スチル画像の撮影機能を備えたディジタルビデオカメラ、ディジタルカメラ機能を搭載した携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ノートブック・コンピューター、あるいはディジタルカメラを外部接続するコンピューターなどの各種情報機器に対しても、同様に本発明を適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１００…撮像装置
１１１…レンズ
１１２…アイリス機構部
１１３…シャッター機構部
１１４…撮像素子
１１５…レンズ制御部
１１６…タイミング・ジェネレーター
１２１…アナログ信号処理部
１２２…Ａ／Ｄ変換部
１２３…ディジタル信号処理部
１３０…操作受付部
１４０…表示部
１５０…記録部
１６０…外部インターフェース
１７１…ＥＥＰＲＯＭ
１７２…ＲＡＭ
１８０…ブレ検出部
１９１…充電／発光制御部
１９２…発光部
２００…メイン制御部
２１０…顔検出部
２２０…静止判断部
２３０…主要被写体検出部
２４０…ＥＶ値抽出部
２５０…シーン決定部
２６０…露出条件仮定部
２７０…露出判定部
２８０…撮像制御部
２８１…プログラム線図保持部
２９０…表示制御部
３００…代表画像選択部

Claims (11)

1. 撮影手段と、
   前記撮影手段によって連続撮影した各撮影画像に含まれる被写体の顔を検出するとともに、各検出顔の属性情報を抽出する顔検出手段と、
   前記顔検出手段によって抽出した検出顔の属性情報に基づいて、連続撮影した各撮影画像のスコアを決定するスコア決定手段と、
   前記スコア決定手段が決定したスコアに基づいて、連続撮影した複数の撮影画像の中から代表画像を選択する代表画像選択手段と、
   を具備することを特徴とする撮像装置。
2. 前記顔検出手段は、検出顔の属性情報として、検出顔の笑顔度、目瞑り度、顔の傾き度合いのうち少なくとも１つを含む複数の属性情報を抽出し、
   前記スコア決定手段は、前記複数の属性情報の各評価値の合計を検出顔のスコアとして決定する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記顔検出手段が１つの被写体の顔のみを検出した撮影画像については、前記スコア決定手段は、当該検出顔について決定したスコアを当該撮影画像のスコアに決定する、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記顔検出手段が複数の被写体の顔を検出した画像については、前記スコア決定手段は、各検出顔を重み付けし、各検出顔について決定したスコアの重み付け平均値を当該撮影画像のスコアに決定する、
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記撮影手段によって撮影する際の環境情報を取得する撮影環境情報取得手段をさらに備え、
   前記顔検出手段が被写体の顔を検出しない撮影画像については、前記スコア決定手段は、前記撮影環境情報取得手段が取得した環境情報の評価値に基づいて当該撮影画像のスコアを決定する、
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記撮影環境情報取得手段は、前記撮影手段において撮影する際の露出度、前記撮影手段が撮影した画像の鮮鋭度、又は、前記撮影手段において撮影する際の手振れ度のうち少なくとも１つを撮影環境情報として取得する、
   ことを特徴とする請求項５に記載の撮像装置。
7. 表示手段をさらに備え、
   前記撮影手段によって前記連続撮影を行なった際に、連続撮影した各撮影画像のサムネイルの一覧からなるインデックス画面を前記表示手段で表示する、
   ことを特徴とする請求項１に記載の撮像装置。
8. 連続撮影した撮影画像のうち前記スコア決定手段が決定したスコアが所定値以下となるものを削除候補画像として決定する削除候補画像決定手段をさらに備え、
   前記インデックス画面上で前記削除候補画像に該当するサムネイルを強調表示する、
   ことを特徴とする請求項７に記載の撮像装置。
9. 連続撮影された複数の撮影画像を入力する画像入力手段と、
   前記入力した各撮影画像に含まれる被写体の顔を検出するとともに、各検出顔の属性情報を抽出する顔検出手段と、
   前記顔検出手段によって抽出した検出顔の属性情報に基づいて、連続撮影した各撮影画像のスコアを決定するスコア決定手段と、
   前記スコア決定手段が決定したスコアに基づいて、連続撮影した複数の撮影画像の中から代表画像を選択する代表画像選択手段と、
   を具備することを特徴とする画像管理装置。
10. 連続撮影された複数の撮影画像を入力する画像入力ステップと、
    前記入力した各撮影画像に含まれる被写体の顔を検出するとともに、各検出顔の属性情報を抽出する顔検出ステップと、
    前記顔検出ステップにおいて抽出した検出顔の属性情報に基づいて、連続撮影した各撮影画像のスコアを決定するスコア決定ステップと、
    前記スコア決定ステップにおいて決定したスコアに基づいて、連続撮影した複数の撮影画像の中から代表画像を選択する代表画像選択ステップと、
    を有することを特徴とする画像管理方法。
11. 複数の撮影画像を管理するための処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
    連続撮影された複数の撮影画像を入力する画像入力手段、
    前記入力した各撮影画像に含まれる被写体の顔を検出するとともに、各検出顔の属性情報を抽出する顔検出手段、
    前記顔検出手段によって抽出した検出顔の属性情報に基づいて、連続撮影した各撮影画像のスコアを決定するスコア決定手段、
    前記スコア決定手段が決定したスコアに基づいて、連続撮影した複数の撮影画像の中から代表画像を選択する代表画像選択手段、
    として機能させるためのコンピューター・プログラム。
    

Images