JP2009089077A - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】連続的に撮影された画像の中から記録に残したい顔が撮影された画像（ベストショット画像）のみを記録することができるとともに、ベストショット画像を効率的に抽出可能にする。
【解決手段】連続的に撮影されたフレーム画像を取り込み、一時保持する（ステップＳ１２）。取り込んだフレーム画像から顔の特徴点を抽出し（ステップＳ１４）、前後のフレーム画像の顔（顔部品）の特徴点の距離の総和（表情変化量）を算出する（ステップＳ１６）。そして、表情変化量が大きな対象フレームの画像を含む前後ｍフレームの画像を最良画像候補として抽出し（ステップＳ２０）、この最良画像候補の中からベストショット画像を選択し、このベストショット画像を記録媒体に記録するようにしている（ステップＳ２２）。
【選択図】 図３

Description

本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに係り、特にベストショット画像を記録する技術に関する。

従来、顔画像を含む人物の画像を連続的に入力し、この画像から人物の顔の状態、例えば人物の瞳の状態などを判定し、ユーザの希望する最適な顔画像を含む画像を自動的に選択する顔画像処理方法が提案されている（特許文献１）。これにより、例えば一定時間、カメラを被写体に向けることで目のつぶっていない最適な顔画像を含んだ画像を得ることができるようにしている。

また、顔を含む画像を入力画像とし、入力画像の顔における所定部位群（目、口、鼻）の夫々について特徴点を求め、所定部位群の夫々について特徴量（例えば、目の端点（特徴点）と口の端点（特徴点）との距離）を求めるとともに、各表情の顔毎に所定部位群の夫々について特徴量を求め、これらの特徴量の変化量に基づいてそれぞれ得点を計算し、この入力画像から算出した得点の分布と、各表情毎に計算した所定部位群の夫々に対する得点の分布とを比較し、その比較結果に基づいて入力画像の顔が、どの表情の顔かを判別する画像処理装置が提案されている（引用文献２）。

また、引用文献２に記載の撮像装置は、ユーザが所望の表情（例えば、笑顔）の画像を撮影したい場合には、顔を含む時系列の画像を撮影し、各画像から算出した得点の分布と、笑顔から計算した所定部位群の夫々に対する得点の分布とを比較し、これらの得点の分布の近い画像のみを記録することで、所望の表情の画像のみを記録することができるようにしている。
特開２０００−２５９８３３号公報 特開２００５−５６３８８号公報

しかしながら、特許文献１に記載の発明は、連続的に入力する画像毎に、ユーザの希望する最適な顔画像（例えば、目つぶり等のない顔画像）か否かを判定するため、画像処理の負荷が大きいという問題がある。

また、引用文献２に記載の発明も、時系列に連続した各画像毎に顔の表情を判別するため、画像処理の負荷が大きいという問題がある。

更に、引用文献１、２に記載の発明は、最適な顔画像、あるいは所望の表情の顔画像を連続して入力すると、これらの画像（例えば、同じ表情の顔を有する同一の画像）が全て記録することになり、記録媒体の記憶容量を無駄に消費するという問題がある。

本発明はこのような事情に鑑みてなされたもので、連続的に撮影された画像の中から記録に残したい顔が撮影された画像（ベストショット画像）のみを記録することができるとともに、ベストショット画像を効率的に抽出することができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

前記目的を達成するために請求項１に係る画像処理装置は、連続的に撮影された画像を順次取得する画像取得手段と、前記取得した画像から顔を検出する顔検出手段と、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出手段と、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する抽出手段と、前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する記録手段と、を備えたことを特徴としている。

即ち、連続的に撮影された画像の中から顔の表情変化が大きな対象フレームの画像を抽出し、その抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録するようにしている。

尚、顔の表情変化の大きな画像ほど好ましい画像（記録に残したい顔が撮影された画像（ベストショット画像））である可能性が高い。また、２つの画像間の顔の表情の変化量を算出する画像処理は、顔の表情自体を解析する画像処理に比べて画像処理の負荷が小さい。更に、同一の表情の顔が連続して撮影されている場合に、これらの顔が撮影された画像を連続して記録することがなく、記録媒体の記憶容量を無駄に消費することがない。

請求項２に係る画像処理装置は、連続的に撮影された画像を順次取得する画像取得手段と、前記取得した画像から顔を検出する顔検出手段と、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、該対象フレームの画像から検出された顔と、基準テンプレートの顔との表情の変化を表す表情変化量を算出する表情変化量算出手段と、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する抽出手段と、前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する記録手段と、を備えたことを特徴としている。

請求項１に係る発明は、連続的に撮影された今回の対象フレームの画像と前回の対象フレームの画像との間の顔の表情変化量を算出しているのに対し、請求項２に係る発明は、連続的に撮影された対象フレームの画像と基準テンプレートと間の顔の表情変化量を算出している点で相違する。

請求項３に示すように請求項２に記載の画像処理装置において、前記基準テンプレートは、１又は複数人の平常顔の顔部品に対応する複数の特徴点の座標位置に基づいて作成されたものであることを特徴としている。

尚、平常顔としては、連続的に撮影された画像の前後のフレームの画像間の顔の表情変化量が規定値以下である連続するフレーム画像中の顔を使用することができる。

請求項４に示すように請求項３に記載の画像処理装置において、前記基準テンプレートは、人物の属性に応じて予め複数作成されてメモリに記憶され、前記画像取得手段が取得する画像中の人物の属性に対応する基準テンプレートが前記メモリから読み出されて使用されることを特徴としている。人物の属性としては、例えば、性別、年齢、子供／大人、人種等が考えられる。

請求項５に示すように請求項１から４のいずれかに記載の画像処理装置において、前記顔検出手段によって複数の顔が検出された場合に、該複数の顔の輝度、位置、大きさ、及び顔の確からしさのうちの１つ以上の条件から代表顔を選択する代表顔選択手段を更に備え、前記選択された代表顔を、前記対象フレームの画像から検出された顔とすることを特徴としている。即ち、複数の人物が撮影されている場合には、注目人物を１人選択する。これにより、注目人物に対するベストショット画像を記録することができ、また、記録すべき画像の選択処理が簡易になる。

請求項６に示すように請求項１から５のいずれかに記載の画像処理装置において、前記表情変化量算出手段は、各顔部品に対応する複数の特徴点を抽出する特徴点抽出手段と、前記抽出した特徴点の座標位置を正規化する正規化手段と、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変動量として算出する算出手段と、を有することを特徴としている。これにより、表情変化量を簡単な演算で算出することができる。

請求項７に示すように請求項１から６のいずれかに記載の画像処理装置において、前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出する最良画像候補抽出手段と、前記抽出された最良画像候補の画像群から最良画像を選択する最良画像選択手段と、を更に備え、前記記録手段は、前記選択された最良画像を前記記録媒体に記録することを特徴としている。

請求項８に示すように請求項７に記載の画像処理装置において、前記最良画像選択手段は、前記最良画像候補の顔と所定の表情を表す表情テンプレートとを比較し、その比較結果に基づいて各最良画像候補に対してスコアを付ける第１の評価手段と、前記最良画像候補の顔の向きを検出し、その検出した顔の向きに基づいて各最良画像候補に対してスコアを付ける第２の評価手段と、前記最良画像候補の人物の視線方向を検出し、その検出した視線方向に基づいて各最良画像候補に対してスコアを付ける第３の評価手段のうちの少なくとも１つの評価手段と、前記少なくとも１つの評価手段によって評価されたスコアに基づいて前記最良画像候補の中から最良画像を選択する選択手段と、を有することを特徴としている。

前記第１の評価手段は、例えば、最良画像候補の顔部品の特徴点と所定の表情を表す表情テンプレートとの一致度が高い程、高いスコアを付ける。尚、一致度は、各特徴点間の距離の平均距離や総和等を算出することで求めることができる。また、表情テンプレートとしては、笑顔テンプレートを含む複数の表情テンプレートを使用することができる。

また、前記第２の評価手段は、最良画像候補の顔の向きがより正面を向いている程、高いスコアを付け、前記第３の評価手段は、被撮影者の視線方向が撮像装置の方を向いている程、高いスコアを付ける。そして、前記選択手段は、前記第１、第２、第３の評価手段によって付けられた３つのスコアのうちの少なくとも１つのスコア（２以上のスコアの合計点を含む）に基づいて前記最良画像候補の中から最良画像を選択する。

請求項９に示すように請求項８に記載の画像処理装置において、前記選択手段は、前記スコアが最も高い画像を最良画像として選択し、又は前記スコアが所定の規定値以上の最良画像候補の中で前記表情変化量算出手段によって算出された表情変化量が最大の画像を最良画像として選択することを特徴としている。

請求項１０に係る撮像装置は、被写体を連続的に撮像可能な撮像手段と、請求項１から９のいずれかに記載の画像処理装置と、を備え、前記画像取得手段は、前記撮像手段によって連続的に撮影された画像を順次取得することを特徴としている。

これにより、被写体を連続的に撮影しながら、顔の表情変化の大きな画像をベストショット画像候補として記録媒体に記録できるようにしている。

請求項１１に示すように請求項１０に記載の撮像装置において、撮影指示手段と、前記撮影指示手段による１回の撮影指示により前記記録媒体に記録される画像の記録枚数を設定する記録枚数設定手段と、を更に備え、前記撮影指示手段により撮影が指示されると、前記設定された記録枚数に達するまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴としている。

例えば、シャッターボタン等の撮影指示手段から１回の撮影指示入力があると、顔の表情変化の大きな画像が、予め設定された記録枚数に達するまで順次記録される。

請求項１２に示すように請求項１１に記載の撮像装置において、撮影終了指示手段を更に備え、前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記設定された記録枚数に達する前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴としている。

１回の撮影指示入力により記録される記録枚数が予め設定されていても、例えば、所望の表情の顔（ベストショット画像）が撮影された場合には、ユーザは、撮影終了指示手段を操作して撮影動作等を終了させることができる。

請求項１３に示すように請求項１０に記載の撮像装置において、撮影指示手段を更に備え、前記撮影指示手段により撮影が指示されると、前記記録媒体の残容量がなくなるまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴としている。

請求項１４に示すように請求項１３に記載の撮像装置において、撮影終了指示手段を更に備え、前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記記録媒体の残容量がなくなる前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴としている。

尚、請求項１２又は１４に記載の撮像装置において、前記撮影終了指示手段は、前記撮影指示手段と同一の操作手段（シャッターボタン）を共用してもよく、例えば、シャッターボタンが１回押下されると、撮影が指示され、撮影中に再度押下されると、撮影終了が指示されるようにすることができる。

請求項１５に示すように請求項１０から１４のいずれかに記載の撮像装置において、音声発生手段を更に備え、前記記録媒体に画像が記録される毎に前記音声発生手段から記録タイミングを知らせる音を発生することを特徴としている。これにより、ユーザは、記録タイミングを確認することができ、どのような表情の顔画像が記録されたかを知ることができる。

請求項１６に示すように請求項１０から１５のいずれかに記載の撮像装置において、前記撮像手段によって連続的に撮影された画像を表示する画像表示手段と、前記記録媒体に記録された最新の１乃至複数の画像を、前記画像表示手段の全表示画面の面積よりも小さい面積の縮小画像として前記画像表示手段に表示させる表示制御手段と、を更に備えたこと特徴としている。これにより、ユーザは、記録された画像を確認することができ、表情や構図のバリエーションを考慮したカメラワークを実現することができる。

請求項１７に示すように請求項１０から１６のいずれかに記載の撮像装置において、前記記録媒体に記録可能な最大記録予定枚数と、前記記録媒体に画像が記録される毎に更新される現在の記録枚数とを表示する表示手段を更に備えたことを特徴としている。これにより、ユーザは、記録媒体に記録することができる残りの記録可能枚数を考慮した撮影が可能になる。

請求項１８に示すように請求項１０から１７のいずれかに記載の撮像装置において、前記記録媒体に画像が記録される毎に更新される現在の記録枚数を表示するとともに、少なくとも現在の記録枚数が前記記録媒体に記録可能な最大記録予定枚数に近づくと、前記現在の記録枚数の表示形態を変化させる表示手段を更に備えたことを特徴としている。これにより、ユーザは、記録媒体に記録することができる残りの記録可能枚数を考慮した撮影が可能になる。尚、現在の記録枚数の表示色を変化させたり、現在の記録枚数を点滅表示させることにより、現在の記録枚数の表示形態を変化させることができる。

請求項１９に係る画像処理方法は、連続的に撮影された画像を順次取得するステップと、前記取得した画像から顔を検出するステップと、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出するステップと、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出するステップと、前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録するステップと、を含むことを特徴としている。

請求項２０に係る画像処理方法は、連続的に撮影された画像を順次取得するステップと、前記取得した画像から顔を検出するステップと、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、該対象フレームの画像から検出された顔と、基準テンプレートの顔との表情の変化を表す表情変化量を算出するステップと、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出するステップと、前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録するステップと、を含むことを特徴としている。

請求項２１に示すように請求項１９又は２０に記載の画像処理方法において、前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出するステップと、前記抽出された最良画像候補の画像群から最良画像を選択するステップと、を更に含み、前記選択された最良画像を前記記録媒体に記録することを特徴としている。

請求項２２に係る画像処理プログラムは、連続的に撮影された画像を順次取得する機能と、前記取得した画像から顔を検出する機能と、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する機能と、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する機能と、前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する機能と、をコンピュータに実現させることを特徴としている。

請求項２３に係る画像処理プログラムは、連続的に撮影された画像を順次取得する機能と、前記取得した画像から顔を検出する機能と、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、該対象フレームの画像から検出された顔と、基準テンプレートの顔との表情の変化を表す表情変化量を算出する機能と、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する機能と、前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する機能と、をコンピュータに実現させることを特徴としている。

請求項２４に示すように請求項２２又は２３に記載の画像処理プログラムにおいて、前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出する機能と、前記抽出された最良画像候補の画像群から最良画像を選択する機能と、を更にコンピュータに実現させ、前記選択された最良画像を前記記録媒体に記録することを特徴としている。

本発明によれば、連続的に撮影された画像の中から顔の表情変化が大きな対象フレームの画像を抽出し、その抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録するようにしたため、連続的に撮影された画像の中から記録に残したい顔が撮影された画像（ベストショット画像）のみを記録することができるとともに、ベストショット画像を効率的に抽出することができる。

以下、添付図面に従って本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムの好ましい実施の形態について説明する。
［撮像装置の構成］
図１は本発明に係る撮像装置（デジタルカメラ）１０の実施の形態を示すブロック図である。

このデジタルカメラ１０は、静止画や動画の記録及び再生する機能を備えており、操作部１２は、電源ボタン、シャッターボタン、モードレバー、ズームキー、再生ボタン、上下左右キーからなるマルチファンクションの十字キー、メニュー／ＯＫボタン、表示／戻るボタン等を含んでいる。

モードレバーは、回転させることにより、オート撮影モード、マニュアル撮影モード、人物撮影モード、風景撮影モード及び夜景撮影モード等の選択が可能なシーンポジション、動画撮影モード、及び本発明に係るベストショット撮影モードのうちのいずれかを設定できるようになっている。また、シャッターボタンは、半押し時にＯＮして自動露出調整（ＡＥ）又は自動焦点調整（ＡＦ）等の撮影準備を行わせるスイッチＳ１と、全押し時にＯＮして本画像の取り込みを行わせるスイッチＳ２とを有している。

表示部（液晶モニタ）１４は、動画（スルー画）を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像（プレビュー画像）やカメラに装填されたメモリカード等の記録媒体１６から読み出した画像等を表示することができる。また、表示部１４は、カメラの動作モードやホワイトバランス、画像のピクセル数、感度等をマニュアル設定する際の各種のメニュー画面をメニュー／ＯＫボタンの操作に応じて表示させ、十字キー及びメニュー／ＯＫボタンの操作に応じてマニュアル設定項目の設定が可能なグラフィカル・ユーザ・インターフェース（ＧＵＩ）用の画面を表示する。

前記操作部１２から操作信号が入力する中央処理装置（ＣＰＵ）１８は、デジタルカメラ１０内の各部を統括制御するもので、カメラ制御プログラムにしたがった処理を実行する。ＣＰＵ１８は、制御バス２０及びデータバス２２に接続されている。

制御バス２０及びデータバス２２には、ＣＰＵ１８の他にＳＤＲＡＭ（シンクロナス・ダイナミックＲＡＭ）２４、表情判断部２６、特徴点追跡部２８、顔検出部３０、ＥＥＰＲＯＭ３２、デジタル信号処理部３４、圧縮伸長部３６、音声制御部３８、表示制御部４０、及び外部メディア制御部４１が接続されている。また、Ａ／Ｄ変換回路５４は、データバス２２に接続されている。

ＣＰＵ１８は、ＳＤＲＡＭ２４、ＥＥＰＲＯＭ３２との間で必要なデータの授受を行う。ＥＥＰＲＯＭ３２には、カメラ制御プログラム、固体撮像素子の欠陥情報等のカメラ制御に関する各種のパラメータ、本発明に係る画像処理プログラム、基準テンプレート、表情テンプレート等が記憶されている。

ＣＰＵ１８は、ＥＥＰＲＯＭ３２に格納されたカメラ制御プログラムをＳＤＲＡＭ２４に展開し、ＳＤＲＡＭ２４をワークメモリとして使用しながら各種処理を実行する。

このデジタルカメラ１０において、操作部１２の電源ボタンがＯＮ操作されると、ＣＰＵ１８はこれを検出し、カメラ内電源をＯＮにし、撮影モードで撮影スタンバイ状態にする。この撮影スタンバイ状態では、ＣＰＵ１８は、通常、表示部１４に動画（スルー画）を表示させる。

ユーザ（撮影者）は、表示部１４に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

通常の静止画撮影モードが設定され、撮影スタンバイ状態時にシャッターボタンが半押しされると、ＣＰＵ１８はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光時には、固体撮像素子（ＣＣＤ）５０を介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値（測光値）は、本撮影時における絞り４４の絞り値、及びシャッター速度の決定に使用される。尚、本撮影時には、ＣＰＵ１８は、前記測光値に基づいて決定した絞り値に基づいて絞り駆動部５８を介して絞り４４を駆動するとともに、前記測光値に基づいて決定したシャッター速度になるように撮像素子駆動部６０を介してＣＣＤ５０での電荷蓄積時間（いわゆる電子シャッター）を制御する。

また、ＣＰＵ１８は、ＡＦ制御時にはフォースレンズを至近から無限遠に対応するレンズ位置に順次移動させるとともに、各レンズ位置毎にＣＣＤ５０を介して取り込まれるＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値を取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズを移動させるコントラストＡＦを行う。尚、動画撮影モードの場合には、評価値が常にピークを維持するようにフォースレンズの位置を制御する、いわゆる山登り制御によるコンティニアスＡＦを行う。

被写体光は、フォーカスレンズ、ズームレンズ等を含む撮影レンズ４２、絞り４４、赤外線カットフィルタ４６、及び光学ローパスフィルタ４８を介してＣＣＤ５０の受光面に入射する。

ＣＣＤ５０は、所定のカラーフィルタ配列（例えば、ハニカム配列、ベイヤ配列）のＲ、Ｇ、Ｂのカラーフィルタが設けられたカラーＣＣＤで構成されており、ＣＣＤ５０の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、撮像素子駆動部６０から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）としてＣＣＤ５０から順次出力される。

アナログ信号処理部５２は、ＣＤＳ回路及びアナログアンプを含み、ＣＤＳ回路は、ＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、アナログアンプは、ＣＰＵ１８から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力される画像信号を増幅する。Ａ／Ｄ変換回路５４は、アナログ信号処理部５２から出力されたアナログの画像信号をデジタルの画像信号に変換し、この変換された画像信号（Ｒ、Ｇ、ＢのＲＡＷデータ）は、データバス２２を介してＳＤＲＡＭ２４に転送され、ここに一旦蓄えられる。

顔検出部３０は、スルー画や動画から人物の顔を検出し、その顔の位置や大きさの情報をＣＰＵ１８に出力する。即ち、顔検出部３０は、画像照合回路及び顔画像テンプレート（顔辞書）を含み、画像照合回路は、スルー画等の画面内で、対象領域の位置を移動させながら、対象領域の画像と顔辞書とを照合し、両者の相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。また、顔検出部３０は、顔部品辞書と照合することで、顔部品（目、鼻、口、眉等）を検出する。

ＣＰＵ１８は、顔検出部３０から顔領域の位置及び大きさを示す情報を取得すると、その取得した人物の顔領域を囲む顔検出枠をスルー画に合成して、表示部１４に表示させることができるようになっている。

また、このようにして検出された顔領域の位置及び大きさは、人物の顔に合焦させるためのＡＦエリアや、人物の顔の明るさが適正になるようにＡＥエリアとして利用される。

表情判断部２６及び特徴点追跡部２８は、本発明に係るベストショット撮影モードでの撮影時に動作する。ここで、ベストショット撮影モードとは、動画、又は連写と同様に連続的にフレーム画像を撮影し、ベストショット画像と思われるフレーム画像を抽出し、これを記録媒体１６に記録するモードである。

特徴点追跡部２８は、連続的に撮影された各フレーム画像中の顔画像の特徴点を検出するもので、顔検出部３０によって検出された各顔部品から特徴点を検出する。

図２に示すように、この実施の形態では、両眉の４点、両目の８点、鼻の頂点の１点、口の４点の合計１７点の特徴点Ｐ_ｉ(ｘ_ｉ,ｙ_ｉ）(ｉ＝１〜１７）を検出する。また、特徴点追跡部２８は、順次撮影される各フレーム画像に対して、上記特徴点Ｐ_ｉ(ｘ_ｉ,ｙ_ｉ）を追跡する。

表情判断部２６は、比較対象の前後のフレームの画像から検出された顔の表情の変化を表す表情変化量を算出するとともに、最良画像を選択するための表情判断を行う。

表情変化量は、表情変化に依存しにくい特徴点（両目の外縁及び鼻の頂点）を使用し、前フレームとの特徴点の位置合わせを行う。若しくはＫＬＴ法（Kanade-Lucas-Tomasi の特徴点追跡アルゴリズム）などの対応点検出手法によりフレーム間の特徴点を追跡し、位置合わせを行う。そして、次式に示すように、各特徴点間の差分（距離）の総和を表情変化量として算出する。

［数１］
表情変化量＝Σ（√（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^２）
尚、上記［数１］式に示すように表情変化量は、各特徴点間の距離の総和によって求めているが、各特徴点間の距離の自乗の総和に基づいて求めるようにしてもよい。

表情判断部２６は、上記のようにして求めた表情変化量が所定の閾値以上の場合、対象フレームの前後ｍフレームの画像を最良画像候補として取得し、この画像群から例えば、笑顔らしさを算出し、笑顔さしさが最も大きいフレーム画像を最良画像（ベストショット画像）として抽出する。尚、ベストショット画像の選択等の詳細については後述する。

デジタル信号処理部３４は、ホワイトバランス調整回路、ガンマ補正回路、同時化回路、輝度・色差信号生成回路、輪郭補正回路、挿入用画像の画像変換回路、及び合成処理回路等を含む画像処理手段として機能し、ＣＰＵ１８からのコマンドに従ってＳＤＲＡＭ２４を活用しながら所定の信号処理を行う。即ち、ＳＤＲＡＭ２４から読み出されたＲ、Ｇ、Ｂの画像信号は、ホワイトバランス調整回路によりＲ、Ｇ、Ｂの画像信号ごとにデジタルゲインをかけることでホワイトバランス調整が行われ、ガンマ補正回路によりガンマ特性に応じた階調変換処理が行われ、同時化回路により単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する同時化処理が行われる。同時化されたＲ、Ｇ、Ｂの画像信号は、更に輝度・色差データ生成回路により輝度信号Ｙと色差信号Ｃｒ、Ｃｂ（ＹＣ信号）に変換され、Ｙ信号は、輪郭補正回路により輪郭強調処理される。デジタル信号処理部３４で処理されたＹＣ信号は再びＳＤＲＡＭ２４に蓄えられる。

デジタル信号処理部３４によって処理され、ＳＤＲＡＭ２４に蓄えられたＹＣ信号は、圧縮伸長部３６によって圧縮され、所定のフォーマット（例えば、ＪＰＥＧ（Joint Photographic Experts Group））形式の画像ファイルとして、外部メディア制御部４１を介して記録媒体１６に記録される。記録媒体１６としては、デジタルカメラ１０に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体を用いることができる。

一方、操作部１２の再生ボタンを操作して再生モードが選択されると、記録媒体１６に記録されている最終コマの画像ファイルが外部メディア制御部４１を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸長部３６を介して非圧縮のＹＣ信号に伸長される。

伸長されたＹＣ信号は、ＳＤＲＡＭ２４（又は図示しないＶＲＡＭ）に保持され、表示制御部４０によって表示用の信号形式に変換されて表示部１４に出力される。これにより、表示部１４には記録媒体１６に記録されている最終コマの画像が表示される。

その後、順コマ送りスイッチ（十字キーの右キー）が押されると、順方向にコマ送りされ、逆コマ送りスイッチ（十字キーの左キー）が押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが記録媒体１６から読み出され、上記と同様にして画像が表示部１４に再生される。

音声制御部３８は、カメラの各種の動作音や動画再生時の音声の他に、ベストショット画像が記録される毎に記録タイミングを知らせる音（シャッター音などの刺激音）をスピーカ３９から発生させる。

＜第１実施形態＞
次に、１回の撮影指示により予め設定された記録枚数ｎ枚のベストショット画像を撮影・記録する第１実施形態について説明する。

図３は本発明に係る第１実施形態の全体の処理の流れを示すフローチャートである。

まず、撮影モードとしてベストショット撮影モードを選択し、シャッターボタンを押下すると、撮影が開始される（ステップＳ１０）。尚、１回の撮影指示により記録される記録枚数ｎは、デフォルトで決定された枚数でもよいし、ユーザの枚数指定によって適宜設定した枚数（１枚を含む）でもよい。また、このベストショット撮影モードでの撮影は、動画又は連写と同様に連続的にフレーム画像を撮影する。

撮影したフレーム画像をＳＤＲＡＭ２４に一時的に保存する（ステップＳ１２）。続いて、特徴点追跡部２８により一時的に保存された対象フレームの画像から人物の顔の特徴点を抽出する（ステップＳ１４）。この対象フレームは、連続的に撮影された毎フレームでもよいし、数フレームおきのフレームでもよい。尚、対象フレームを数フレームおきにした方が、表情の変化が分かりやすく、また、処理負荷を小さくすることができる。

人物の顔の特徴点として、図２で説明したように顔部品の各部の位置に対応した１７点の特徴点Ｐ_ｉ(ｘ_ｉ,ｙ_ｉ）が抽出される。

次に、表情判断部２６は、今回の対象フレームの画像から抽出された顔の特徴点Ｐ_ｉ(ｘ_ｉ,ｙ_ｉ）と、ＳＤＲＡＭ２４に保存されている前回の対象フレームの画像から抽出された顔の特徴点Ｐ_ｉ−１(ｘ_ｉ−１,ｙ_ｉ−１）とを、前述した［数１］式に代入することにより表情変化量を算出する（ステップＳ１６）。

この算出した表情変化量が所定の閾値以上か否かを判別し（ステップＳ１８）、表情変化量が閾値未満の場合には、ステップＳ１２に戻り、表情変化量が閾値以上の場合には、人物の顔の表情が大きく変化したと見なし、ステップＳ２０に遷移させる。

ステップＳ２０では、表情変化量が閾値以上と判定された今回の対象フレームを含む前後ｍフレームの画像群を、最良画像候補として抽出する。

次に、ステップＳ２０で抽出した２ｍ＋１枚のフレーム画像（最良画像候補）から１枚の最良画像（ベストショット画像）を選択する（ステップＳ２２）。

ここで、ベストショット画像の選択方法としては、以下の方法が考えられる。

（１）最良画像候補の顔と所定の表情（例えば、笑顔）を表す笑顔テンプレートとを比較し、その比較結果に基づいて各最良画像候補に対して笑顔らしさのスコアを付ける。

［笑顔らしさのスコア算出］
まず、評価対象の対象フレームの顔の特徴点と笑顔テンプレートの正規化処理を行う。図４に示すように、鼻の頂点を基準点とし、１７個の特徴点からなる笑顔テンプレート及び対象フレームの顔の特徴点のそれぞれにおいて、各特徴点の基準点間距離を算出する（Ｄ１_ｉ，Ｄ２_ｉ）。各特徴点において、基準点間距離の比率（Ｄ１_ｉ／Ｄ２_ｉ）を算出し、全特徴点における比率の平均を算出する。この平均比率を用いて対象フレームの顔の特徴点を拡縮処理することにより、対象フレームの顔の特徴点座標の正規化処理を行う（スケールを笑顔テンプレートに合わせる）（図４（Ａ），（Ｂ）参照）。

続いて、正規化後の対象フレームの特徴点と、笑顔テンプレートの特徴点との各特徴点間距離の差分平均を笑顔さしさのスコアとして算出する（図４（Ｂ），（Ｃ）参照）。尚、差分平均が小さい程、笑顔さしさのスコアは高くなる。

このようにして各最良画像候補に付けられた笑顔らしさのスコアの最も高い最良画像候補をベストショット画像として選択する。

（２）最良画像候補の顔と笑顔テンプレートとを比較し、その比較結果に基づいて各最良画像候補に対して笑顔らしさのスコアを付ける。そして、笑顔らしさのスコアが所定の規定値以上の最良画像候補の中で、表情変化量が最大の画像をベストショット画像として選択する。

図３に戻って、ステップＳ２２によりベストショット画像が選択されると、そのベストショット画像は、記録媒体１６に記録される。

続いて、ベストショット画像の記録枚数をカウントし（ステップＳ２４）、カウント数がｎ枚に達したか否かを判別する（ステップＳ２６）。カウント数がｎ枚に達していない場合には、ステップＳ１２に戻り、カウント数がｎ枚に達した場合には、ベストショット画像の撮影を終了する。

尚、ＳＤＲＡＭ２４は、少なくとも表情変化量の算出を行っている今回の対象フレームの前後ｍフレームの画像を一時的に保持する必要がある。

また、ステップＳ１６での表情変化量の算出時に、前後のフレームの特徴点Ｐ_ｉ(ｘ_ｉ,ｙ_ｉ）と、特徴点Ｐ_ｉ−１(ｘ_ｉ−１,ｙ_ｉ−１）とを上記と同様にして正規化することが好ましく、これによれば、顔の大きさ等に依存しない顔の表情変化量を算出することができる。

更に、笑顔らしさのスコアは、上記の例に限らず、平常顔との特徴量の差分により算出しても良い。

特徴量は、特徴点の位置や特徴点間距離、若しくは皺の有り/無しなどにより表現される。

図５は平常顔の特徴点と笑顔１、２の特徴点とを示している。

・笑顔１
図５（Ｂ）に示すように笑顔１は、図５（Ａ）に示す平常顔に比べて唇の両端が引き上げられており、さらに鼻唇の皺が表れていることで平常顔に対して笑顔らしい顔となっている。例えば「唇の両端が引き上げられる」と、「鼻唇の皺が現れる又は深まる」とをそれぞれ１点とすると、笑顔１の笑顔らしさのスコアは２点となる。

・笑顔２
図５（Ｃ）に示す笑顔２は、図５（Ａ）に示す平常顔に比べて笑顔１からさらに口が開いたことにより口の高さが大きくなっており、さらに頬が持ち上がることで目の高さが低くなっている。「口が開かれる」と、「目が細くなる」とをそれぞれ１点とすると、笑顔２の笑顔らしさは４点となる。

各特徴量は、一律同じ重みではなく特徴量ごとに重要度を表す重み付けをすることで、さらにスコアリングの信頼度が高まる。

＜第１実施形態の変形例＞
上記第１実施形態では、予め設定された記録枚数ｎだけベストショット画像が記録するまで撮影・記録が繰り返されるが、これに限らず、撮影が指示されると、記録媒体１６の残容量がなくなるまで撮影・記録を繰り返すようにしてもよい。

また、撮影終了指示手段を設けることにより、ユーザは任意のタイミングで撮影動作等を終了させることができる。

例えば、所望の表情の顔（ベストショット画像）が撮影された場合には、ユーザは、撮影終了指示手段を操作することにより、ベストショット画像の記録枚数が設定枚数ｎに達する前に、あるいは記録媒体１６の残容量がなくなる前に、撮影動作等を終了させることができる。尚、撮影終了指示手段は、撮影指示手段と同一の操作手段（シャッターボタン）を共用してもよく、例えば、シャッターボタンが１回押下されると、撮影が指示され、撮影中に再度押下されると、撮影終了が指示されるようにすることができる。

また、上記第１実施形態では、規定値以上の表情変化量が検出された対象フレームの前後ｍフレームの画像を最良画像候補として抽出するようにしたが、これに限らず、対象フレームと、その対象フレームの前のｍフレーム、又は後のｍフレームのいずれか一方を最良画像候補としてもよい。

更に、第１実施形態では、最良画像候補の中からベストショット画像を選択する際に、各最良画像候補の笑顔らしさのスコアを算出するようにしたが、笑顔らしさのスコアを求めずに、最良画像候補の中で表情変化量が最大の画像をベストショット画像として選択してもよい。

＜第２実施形態＞
図６は本発明に係る第２実施形態の全体の処理の流れを示すフローチャートである。尚、図３に示した第１実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図３に示した第１実施形態では、前後の対象フレームの顔の表情変化量を算出するようにしたが、図６に示す第２実施形態では、連続的に撮影される対象フレームの顔と、平常顔テンプレート（基準テンプレート）の顔との表情変化量を算出する点で相違する。

１回の撮影指示により予め設定された記録枚数ｎ枚のベストショット画像の撮影・記録が開始されると（ステップＳ１０）、平常顔テンプレートを作成する（ステップＳ３０）。

図７は平常顔テンプレートを作成する処理手順を示すフローチャートである。尚、図３に示した第１実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

この平常顔テンプレートの作成のフローチャートでは、顔の表情変化量が少ない所定の枚数ｋのフレーム画像を抽出し、この抽出したフレーム画像の顔部品の特徴点の平均値から平常顔テンプレートを作成する。

図７に示すように、平常顔テンプレートの作成処理が開始されると、前後のフレーム画像から抽出された顔の特徴点に基づいて算出された表情変化量が、所定の閾値以下か否かを判別し（ステップＳ３２）、表情変化量が閾値を越えている場合には、所定の枚数ｋをカウントするカウンタのカウント数をリセットするとともに、ＳＤＲＡＭ２４に一時保持しているフレーム画像をクリア（ステップＳ３４）し、ステップＳ１２に戻る。尚、所定の枚数ｋは、例えば、同じ表情が連続していて平常顔と認定できる所定の時間をフレーム周期で除算することによって求めることができる。

ステップＳ３２において、表情変化量が所定の閾値以下と判別されると、カウンタのカウント数を１だけインクリメントし（ステップＳ３６）、現在のカウント数が所定の枚数ｋ以上か否かを判別する（ステップＳ３８）。現在のカウント数が所定の枚数ｋ未満の場合には、ステップＳ１２に戻り、現在のカウント数が所定の枚数ｋ以上になると、ステップＳ３９に遷移する。

ステップＳ３９では、ＳＤＲＡＭ２４に保存されている所定の枚数ｋのフレーム画像中の顔部品の特徴点の平均値を算出し、この平均の特徴点の位置座標を平常顔テンプレートとする。

図６に戻って、上記のようにして平常顔テンプレートの作成が終了すると、実際のベストショット画像の撮影・記録が開始される。

第１実施形態（図２）のステップＳ１６は、前後の対象フレームの顔の表情変化量を算出するようにしたが、第２実施形態のステップＳ１６’では、入力する対象フレームから抽出された顔の特徴点Ｐ_ｉ(ｘ_ｉ,ｙ_ｉ）と、平常顔テンプレートの特徴点とから表情変化量を算出する。尚、ステップＳ１６’での表情変化量の算出に際しては、両者の特徴点を正規化しておくことが好ましい。

これにより、平常顔を基準にした顔の表情の変化量を算出することができ、この表情変化量が大きい対象フレームに基づいて抽出された２ｍ＋１枚のフレーム画像（最良画像候補）から１枚の最良画像（ベストショット画像）が選択され、記録媒体１６に記録される。尚、ベストショット画像の選択等は、第１実施形態と同様に行われる。

＜第２実施形態の変形例＞
上記第２実施形態では、実際のベストショット画像の撮影・記録が開始される前に、平常顔テンプレートを作成するようにしたが、平常顔テンプレートを事前に作成し、ＥＥＰＲＯＭ３２に登録しておいてもよい。平常顔テンプレートを事前に作成する場合には、無表情顔のデータベースを使って同様に平常顔テンプレートを作成してもよい。

また、撮影する人物毎に平常顔テンプレートを登録し、ベストショット画像の撮影前に撮影する人物に対応する平常顔テンプレートを読み出すようにしてもよい。

更に、複数人の平常顔から平均的な平常顔テンプレートを作成し、これをＥＥＰＲＯＭ３２に登録するようにしてもよい。

更にまた、人物の属性に応じて平常顔テンプレートを作成し、これをＥＥＰＲＯＭ３２に登録するようにしてもよい。人物の属性としては、例えば、性別、年齢、子供／大人、人種等が考えられる。

尚、平常顔テンプレートは、デジタルカメラ１０で作成する場合に限らず、出荷前に予めＥＥＰＲＯＭ３２に登録してもよいし、外部からの入力により登録できるようにしてもよい。

＜第３実施形態＞
図８は本発明に係る第３実施形態の全体の処理の流れを示すフローチャートである。尚、図３に示した第１実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図８に示す第３実施形態では、第１実施形態に比べてステップＳ４０の処理が追加され、かつステップＳ２２’のベストショット画像の選択方法が異なっている。

ステップＳ４０では、各最良画像候補の顔の向きを判定する。

［顔向きのスコア算出］
図９に示すように、右目の内側の端点をａ、左目の内側の端点をｂとする。鼻の頂点を通り線分ａｂと直交する直線と、線分ａｂとの交点をｃとする。

距離ａｃと距離ｂｃとの比較によりスコアリングを行う。

距離の差分や比に基づいてスコアを算出するが、距離ａｃと距離ｂｃの値が近いほど正面顔に近いと判断し、スコアを大きくする。片方の目しか抽出できなかった場合は、横顔と判断し、スコアを０とする。

また、正面顔を０°、横顔を９０°として１０°刻みで０°〜９０°までの辞書を利用し、それぞれのフレームでどの角度の辞書と一致度が高いかを判定し、それぞれ一致度の高い角度に応じてスコアリングを行う。

図８に戻って、ステップＳ２２’は、ステップＳ２０で抽出した２ｍ＋１枚のフレーム画像（最良画像候補）から１枚の最良画像（ベストショット画像）を選択する。図３に示した第１実施形態では、笑顔らしさのスコア、又は笑顔らしさのスコアと表情変化量に基づいてベストショット画像を選択するようにしたが、ステップＳ２２’は、笑顔らしさのスコアと顔向きのスコアとを加算したスコアを各最良画像候補のスコアとし、このスコアが最大の最良画像候補をベストショット画像として選択する。

また、前記加算したスコアが所定の規定値以上の最良画像候補の中で、表情変化量が最大の画像をベストショット画像として選択するようにしてもよい。

そして、ステップＳ２２’では、上記のようにして選択したベストショット画像を記録媒体１６に記録する。

＜第３実施形態の変形例＞
上記第３実施形態では、顔向きのスコアをベストショット画像の選択に使用したが、この顔向きのスコアの代わりに、又は顔向きのスコアとともに、被撮影者の視線方向を判定し、視線方向がカメラに向いている程、高いスコアになるようにスコアリングを行い、そのスコアをベストショット画像の選択に使用するようにしてもよい。

視線方向の判定は、目領域中の瞳の位置を検出し、例えば、顔の向きが正面、かつ瞳の位置が目領域の中心に位置している場合には、視線方向がカメラに向いていると判定する。このように、顔の向きと、目領域中の瞳の位置とに基づいて被撮影者の視線方向を判定することができる。

尚、笑顔らしさのスコア、顔向きのスコア、視線方向のスコア、及び表情変化量のうちの１つ又は２以上を適宜組み合わせて、最良画像候補の中でベストショット画像を選択するようにしてもよい。

また、笑顔テンプレートの他に、他の表情の表情テンプレートも準備しておき、最良画像候補に最も近い表情テンプレートを使用して、各最良画像候補について、その表情らしさのスコアを付けるようにしてもよい。

＜第４実施形態＞
図１０は本発明に係る第４実施形態の全体の処理の流れを示すフローチャートである。尚、図３に示した第１実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１０に示す第４実施形態では、第１実施形態に比べてステップＳ５０の処理が追加され、かつステップＳ２２”のベストショット画像の選択方法が異なっている。

ステップＳ５０では、フレーム画像中に複数の顔が検出された場合に、代表顔を選択する。代表顔は、顔検出部３０で検出された複数の顔の顔領域の中で最も大きいものとする。また、顔の輝度、位置、大きさ、顔の確からしさの内１つ以上の条件から、各条件において重要度を決定する点数をそれぞれの顔領域に設定し、トータルの点数が最も高い顔を代表顔としてもよい。

ステップＳ１４〜Ｓ１８は、ステップＳ５０で選択した代表顔に対する処理のみを行う。

ステップＳ２２”は、ステップＳ２０で抽出した２ｍ＋１枚のフレーム画像（最良画像候補）から１枚の最良画像（ベストショット画像）を、以下のようにして選択する。

（１）笑顔らしさがある閾値以上の顔が最も多いフレームをピックアップし、それが複数フレームあった場合は、それらのフレームの中で代表顔の笑顔らしさが最も大きいフレームをベストショット画像として抽出する。

（２）笑顔らしさがある閾値以上の顔が最も多いフレームをピックアップし、それが複数フレームあった場合は、それらのフレームの中で代表顔の表情変動量が最も大きいフレームをベストショットとして抽出する。

上記（１）、（２）の場合には、代表顔以外の顔についても、笑顔らしさのスコアを算出する必要がある。

（３）代表顔の笑顔らしさが最も大きいフレームをベストショット画像として抽出する。

（４）代表顔の笑顔らしさがある閾値以上のフレームをピックアップし、それらのフレームの中で代表顔の表情変動量が最も大きいフレームをベストショット画像として抽出する。

上記（３）、（４）の場合には、代表顔以外の顔については、笑顔らしさのスコアを算出する必要がなく、第１実施形態のステップＳ２２と同様の処理になる。

尚、第３実施形態、第３実施形態の変形例で説明したように、顔向きのスコア、視線方向のスコアを考慮してベストショット画像を選択してもよい。

＜第５実施形態＞
次に、ベストショット撮影モードでの撮影時のユーザインターフェースについて説明する。

このベストショット撮影モードでのベストショット画像の記録タイミングは、カメラ側が決定するため、これを表示や音によってユーザに知らせる。

図１１はベストショット撮影モードでの撮影時に表示部１４に表示される表示画面の第１の例を示している。この表示部１４には、スルー画が表示されるとともに、ベストショット（ＢＳ）の最大記録枚数（１００）と、現在の記録枚数（８）とが表示されるようになっている。

これにより、ユーザは、ベストショット画像の記録可能な残り枚数を把握することができるとともに、現在の記録枚数がカウントアップされることで、ベストショット画像の記録タイミングも把握することができる。

図１２はベストショット撮影モードでの撮影時に表示部１４に表示される表示画面の第２の例を示している。

図１２（Ａ）及び（Ｂ）に示す表示部１４の表示画面には、それぞれスルー画とともに、現在の記録枚数が表示されているが、現在の記録枚数に応じてその表示色が変化している。

即ち、ベストショット（ＢＳ）の最大記録枚数と現在の記録枚数との割合が小さければ緑色、半分程度であれば黄色、最大記録枚数に近い場合は赤色といった具合に徐々に現在の記録枚数の表示色を変化させる。

図１２に示す例では、ベストショット（ＢＳ）の最大記録枚数（１００）を前提としているため、現在の記録枚数が８枚の場合には、「８」は緑色で表示され（図１２（Ａ））、現在の記録枚数が９８枚の場合には、「９８」は赤色で表示される（図１２（Ｂ））。

尚、最大記録枚数と現在の記録枚数との割合に応じて現在の記録枚数の表示色を変化させる場合に限らず、最大記録枚数に近づいたときのみ表示色を変化させるようにしてもよい。また、表示色を変化させる場合に限らず、例えば、記録枚数を点滅表示させもよく、要は現在の記録枚数の表示形態を変化させることにより、最大記録枚数に近づいたことが把握できれば、如何なる表示形態でもよい。

図１３はベストショット撮影モードでの撮影時に表示部１４に表示される表示画面の第３の例を示している。

図１３（Ａ）に示す表示部１４の表示画面には、スルー画とともに、記録媒体１６に記録されている最新のベストショット画像の縮小画像が小ウインドウに表示されている。

図１３（Ｂ）に示す表示部１４の表示画面には、スルー画とともに、記録媒体１６に記録されている最新の５ショット分のベストショット画像の縮小画像が小ウインドウに表示されている。新たにベストショット画像が記録されると、表示部１４の表示画面に表示されているベストショット画像の縮小画像は更新される。

尚、表示部１４の表示画面中に表示するベストショット画像の縮小画像の表示枚数は、この実施の形態に限定されない。

更に、ベストショット画像が記録される度に、音声制御部３８からスピーカ３９を介して記録タイミングを知らせる音（シャッター音などの刺激音）を発生させる。

また、ベストショット画像の記録枚数、記録画像の表示、及び記録時の音刺激は、複合的に実施してもよく、これによりユーザへの支援効果をより高めることができる。

＜変形例＞
この実施の形態では、デジタルカメラ１０を例に説明したが、監視カメラ、カメラ付き携帯電話等にも本発明は適用できる。また、パソコン等にも本発明に係る画像処理プログラムをインストールすることにより、本発明に係る画像処理装置としての機能をもたせることができる。例えば、ビデオ撮影された動画、ＴＶ画像等の連続的に撮影された画像を入力画像とし、この入力画像からベストショット画像を抽出し、静止画として記録することができる。

また、本発明は、上記の各実施形態をそれぞれ適宜組み合わせて適用してもよい。

更に、本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいことは言うまでもない。

図１は本発明に係る撮像装置（デジタルカメラ）の実施の形態を示すブロック図である。 図２は顔部品の位置に関連づけられた顔の特徴点の一例を示す図である。 図３は本発明に係る第１実施形態の全体の処理の流れを示すフローチャートである。 図４は対象フレームの顔の特徴点と笑顔テンプレートの正規化を説明するために用いた図である。 図５は平常顔の特徴点と笑顔１、２の特徴点とを示す図である。 図６は本発明に係る第２実施形態の全体の処理の流れを示すフローチャートである。 図７は平常顔テンプレートを作成する処理手順を示すフローチャートである。 図８は本発明に係る第３実施形態の全体の処理の流れを示すフローチャートである。 図９は顔向きの検出方法を説明するために用いた図である。 図１０は本発明に係る第４実施形態の全体の処理の流れを示すフローチャートである。 図１１はベストショット撮影モードでの撮影時に表示部に表示される表示画面の第１の例を示す図である。 図１２はベストショット撮影モードでの撮影時に表示部に表示される表示画面の第２の例を示す図である。 図１３はベストショット撮影モードでの撮影時に表示部に表示される表示画面の第３の例を示す図である。

符号の説明

１０…撮像装置（デジタルカメラ）、１２…操作部、１４…表示部、１６…記録媒体、１８…中央処理装置（ＣＰＵ）、２４…ＳＤＲＡＭ、２６…表情判断部、２８…特徴量追跡部、３０…顔検出部、３２…ＥＥＰＲＯＭ、３４…デジタル信号処理部、３８…音声制御部、３９…スピーカ、４０…表示制御部、１４…表示部、４２…撮影レンズ、５０…ＣＣＤ、５２…アナログ信号処理部、５４…Ａ／Ｄ変換回路

Claims (24)

1. 連続的に撮影された画像を順次取得する画像取得手段と、
   前記取得した画像から顔を検出する顔検出手段と、
   前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出手段と、
   前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する抽出手段と、
   前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する記録手段と、
   を備えたことを特徴とする画像処理装置。
2. 連続的に撮影された画像を順次取得する画像取得手段と、
   前記取得した画像から顔を検出する顔検出手段と、
   前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、該対象フレームの画像から検出された顔と、基準テンプレートの顔との表情の変化を表す表情変化量を算出する表情変化量算出手段と、
   前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する抽出手段と、
   前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する記録手段と、
   を備えたことを特徴とする画像処理装置。
3. 前記基準テンプレートは、１又は複数人の平常顔の顔部品に対応する複数の特徴点の座標位置に基づいて作成されたものであることを特徴とする請求項２に記載の画像処理装置。
4. 前記基準テンプレートは、人物の属性に応じて予め複数作成されてメモリに記憶され、前記画像取得手段が取得する画像中の人物の属性に対応する基準テンプレートが前記メモリから読み出されて使用されることを特徴とする請求項３に記載の画像処理装置。
5. 前記顔検出手段によって複数の顔が検出された場合に、該複数の顔の輝度、位置、大きさ、及び顔の確からしさのうちの１つ以上の条件から代表顔を選択する代表顔選択手段を更に備え、前記選択された代表顔を、前記対象フレームの画像から検出された顔とすることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記表情変化量算出手段は、各顔部品に対応する複数の特徴点を抽出する特徴点抽出手段と、前記抽出した特徴点の座標位置を正規化する正規化手段と、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変動量を算出する算出手段と、を有することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出する最良画像候補抽出手段と、
   前記抽出された最良画像候補の画像群から最良画像を選択する最良画像選択手段と、
   を更に備え、
   前記記録手段は、前記選択された最良画像を前記記録媒体に記録することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記最良画像選択手段は、前記最良画像候補の顔と所定の表情を表す表情テンプレートとを比較し、その比較結果に基づいて各最良画像候補に対してスコアを付ける第１の評価手段と、前記最良画像候補の顔の向きを検出し、その検出した顔の向きに基づいて各最良画像候補に対してスコアを付ける第２の評価手段と、前記最良画像候補の人物の視線方向を検出し、その検出した視線方向に基づいて各最良画像候補に対してスコアを付ける第３の評価手段のうちの少なくとも１つの評価手段と、前記少なくとも１つの評価手段によって評価されたスコアに基づいて前記最良画像候補の中から最良画像を選択する選択手段と、を有することを特徴とする請求項７に記載の画像処理装置。
9. 前記選択手段は、前記スコアが最も高い画像を最良画像として選択し、又は前記スコアが所定の規定値以上の最良画像候補の中で前記表情変化量算出手段によって算出された表情変化量が最大の画像を最良画像として選択することを特徴とする請求項８に記載の画像処理装置。
10. 被写体を連続的に撮像可能な撮像手段と、
    請求項１から９のいずれかに記載の画像処理装置と、を備え、
    前記画像取得手段は、前記撮像手段によって連続的に撮影された画像を順次取得することを特徴とする撮像装置。
11. 撮影指示手段と、
    前記撮影指示手段による１回の撮影指示により前記記録媒体に記録される画像の記録枚数を設定する記録枚数設定手段と、を更に備え、
    前記撮影指示手段により撮影が指示されると、前記設定された記録枚数に達するまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴とする請求項１０に記載の撮像装置。
12. 撮影終了指示手段を更に備え、
    前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記設定された記録枚数に達する前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴とする請求項１１に記載の撮像装置。
13. 撮影指示手段を更に備え、
    前記撮影指示手段により撮影が指示されると、前記記録媒体の残容量がなくなるまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴とする請求項１０に記載の撮像装置。
14. 撮影終了指示手段を更に備え、
    前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記記録媒体の残容量がなくなる前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴とする請求項１３に記載の撮像装置。
15. 音声発生手段を更に備え、
    前記記録媒体に画像が記録される毎に前記音声発生手段から記録タイミングを知らせる音を発生することを特徴とする請求項１０から１４のいずれかに記載の撮像装置。
16. 前記撮像手段によって連続的に撮影された画像を表示する画像表示手段と、
    前記記録媒体に記録された最新の１乃至複数の画像を、前記画像表示手段の全表示画面の面積よりも小さい面積の縮小画像として前記画像表示手段に表示させる表示制御手段と、を更に備えたこと特徴とする請求項１０から１５のいずれかに記載の撮像装置。
17. 前記記録媒体に記録可能な最大記録予定枚数と、前記記録媒体に画像が記録される毎に更新される現在の記録枚数とを表示する表示手段を更に備えたことを特徴とする請求項１０から１６のいずれかに記載の撮像装置。
18. 前記記録媒体に画像が記録される毎に更新される現在の記録枚数を表示するとともに、少なくとも現在の記録枚数が前記記録媒体に記録可能な最大記録予定枚数に近づくと、前記現在の記録枚数の表示形態を変化させる表示手段を更に備えたことを特徴とする請求項１０から１７のいずれかに記載の撮像装置。
19. 連続的に撮影された画像を順次取得するステップと、
    前記取得した画像から顔を検出するステップと、
    前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出するステップと、
    前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出するステップと、
    前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録するステップと、
    を含むことを特徴とする画像処理方法。
20. 連続的に撮影された画像を順次取得するステップと、
    前記取得した画像から顔を検出するステップと、
    前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、該対象フレームの画像から検出された顔と、基準テンプレートの顔との表情の変化を表す表情変化量を算出するステップと、
    前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出するステップと、
    前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録するステップと、
    を含むことを特徴とする画像処理方法。
21. 前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出するステップと、
    前記抽出された最良画像候補の画像群から最良画像を選択するステップと、
    を更に含み、
    前記選択された最良画像を前記記録媒体に記録することを特徴とする請求項１９又は２０に記載の画像処理方法。
22. 連続的に撮影された画像を順次取得する機能と、
    前記取得した画像から顔を検出する機能と、
    前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する機能と、
    前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する機能と、
    前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する機能と、
    をコンピュータに実現させることを特徴とする画像処理プログラム。
23. 連続的に撮影された画像を順次取得する機能と、
    前記取得した画像から顔を検出する機能と、
    前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、該対象フレームの画像から検出された顔と、基準テンプレートの顔との表情の変化を表す表情変化量を算出する機能と、
    前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する機能と、
    前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する機能と、
    をコンピュータに実現させることを特徴とする画像処理プログラム。
24. 前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出する機能と、
    前記抽出された最良画像候補の画像群から最良画像を選択する機能と、
    を更にコンピュータに実現させ、前記選択された最良画像を前記記録媒体に記録することを特徴とする請求項２２又は２３に記載の画像処理プログラム。

Images