JP2015043603A - 画像処理装置及びその制御方法、撮像装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】連続して撮像することにより得られた画像の中から、より撮像者の意図に沿った画像を選択可能な撮像装置を提供する。
【解決手段】連続して撮像された複数の画像データのそれぞれに対して、画像データに含まれる被写体に基づいて評価値を算出し、複数の画像データの中からいずれかの画像データを選択する工程と選択された画像データを記憶手段に記憶する工程を有し、いずれかの画像データを選択する工程において、複数の画像データから、他の画像データよりも評価値が高い画像データを選択するものであって、複数の画像データのうち、先の撮像で得られた画像の評価値よりも、後の撮像で得られた画像の評価値のほうが高くても、それら評価値の差が所定値以下である場合には、先の撮像で得られた画像を選択する。
【選択図】図２

Description

本発明は、画像処理装置及びその制御方法、撮像装置及びその制御方法、並びにプログラムに関し、特に連続して撮像することで複数の画像を得ることができる画像処理装置及びその制御方法、撮像装置及びその制御方法、並びにプログラムに関する。

従来、連続的に撮像された画像の中から自動的に記録に残したい表情の顔が撮像された画像が得られるような画像処理技術が望まれていた。

例えば、画像から顔画像を検出し、検出した顔画像から表情毎に応じた表情評価値を算出し、その表情評価値に対応して設けられた閾値との関係から表情を判断する（例えば、特許文献１参照）。また、連続して複数の画像を得る撮像手段があり、それらの画像における主要被写体の状態、画像の構図、人物顔の状態のうち少なくとも、一つを所定条件として順位づけを行う、という方法が提案されている（例えば、特許文献２参照）。

特開２００９−２５３８４８号公報 特開２００９−２７２７４０号公報

しかしながら、特許文献１に記載の発明は、閾値により判断するので、表情の判定が、２段階しかないという問題がある。

また、特許文献２に記載の発明は、主被写体の状態などは考慮されているが、撮像者の意思を反映する情報である撮像開始タイミングが考慮されていないという問題がある。具体的には、連続して撮像した複数の画像のそれぞれに対して評価を行い、最も評価の高い画像を選択した場合であっても、それが撮像者の意図に沿ったものとは限らないということである。例えば、撮像者が撮像を開始するためのレリーズボタンを押した直後に得られた画像よりも、それよりも数枚あとに得られた画像のほうが、評価が高い場合であっても、その差がわずかであるような場合がある。このような場合には、その差は撮像者にとってたいした問題ではなく、撮像者の意思でレリーズボタンが操作されたタイミングに近い画像のほうが、撮像者の意図に沿った画像である可能性が高いと考えられる。

このように従来の技術では、連続的に撮像された画像の中から選択される画像が必ずしも撮像者が意図に沿った画像とは言い難いという問題点があった。

本発明の目的は、連続して撮像することにより得られた画像の中から、より撮像者の意図に沿った画像を選択可能な画像処理装置及びその制御方法、撮像装置及びその制御方法、並びにプログラムを提供することを目的とする。

上記目的を達成するために、請求項１記載の画像処理装置は、連続して撮像された複数の画像データのそれぞれに対して、画像データに含まれる被写体に基づいて評価値を算出する算出手段と、前記複数の画像データの中からいずれかの画像データを選択する選択手段と、前記選択手段により選択された画像データを記憶する記憶手段を有し、前記選択手段は、前記複数の画像データから、他の画像データよりも評価値が高い画像データを選択するものであって、前記複数の画像データのうち、先の撮像で得られた画像の評価値よりも、後の撮像で得られた画像の評価値のほうが高くても、それら評価値の差が所定値以下である場合には、前記先の撮像で得られた画像を選択することを特徴とする。

本発明によれば、連続して撮像することにより得られた画像の中から、より撮像者の意図に沿った画像を選択することができる。

本発明の実施の形態に係る撮像装置の構成を示すブロック図である。 図１におけるシステム制御部により実行される画像データ記録処理を示すフローチャートである。 図２のステップＳ２０２で実行される顔評価値算出処理の手順を示すフローチャートである。 図３のステップＳ３０２で実行される笑顔評価処理の手順を示すフローチャートである。 図４の処理で付与された笑顔評価値を説明するのに用いられる図であり、（Ａ）は笑顔レベルを示し、（Ｂ）は笑顔評価値を示す。 図３のステップＳ３０３で実行される目開き評価処理の手順を示すフローチャートである。 図６のステップＳ５０７で実行される目開き変化検出処理の手順を示すフローチャートである。 図６の処理で付与された目開き評価値を説明するのに用いられる図であり、（Ａ）は右目における目開きレベルを示し、（Ｂ）は左目における目開きレベル、（Ｃ）は目開き評価値を示す。 図２の処理で算出される顔評価値を説明するのに用いられる図である。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。

図１において、本実施の形態に係る撮像装置としてデジタルカメラ１００は、システム制御部１０８、撮像レンズ１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、及びフォーマット変換部１０５を含む。さらにデジタルカメラ１００は、ＤＲＡＭ１０６、画像記録部１０７、及び顔検出モジュール１１４を含む。さらにデジタルカメラ１００は、笑顔検出モジュール１１５、目領域検出モジュール１１６、目開き検出モジュール１１７、操作部１０９、撮像モードＳＷ１１０、メインＳＷ１１１、及びＳＷ１１２，１１３を含む。

システム制御部１０８はデジタルカメラ１００全体を制御し、例えば撮像シーケンスなどの処理を制御する。撮像レンズ１０１は、ズーム機構、フォーカスレンズ機構、及び絞りシャッター機構を含む。撮像素子１０２は被写体からの反射光を電気信号に変換する受光手段及び光電変換手段である。Ａ／Ｄ変換部１０３は撮像素子１０２の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含む。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された信号から輝度に関する特定周波数帯域の信号成分を抽出し、被写体のピント状態を検出する。フォーマット変換部１０５は、画像処理部１０４から出力された信号をデジタル画像データ（以下、単に「画像」という）に変換する。ＤＲＡＭ１０６は、フォーマット変換部１０５から出力された画像が記録される高速な内蔵メモリ（例えばランダムアクセスメモリ）である。このＤＲＡＭ１０６は、一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリとして使用される。画像記録部１０７はメモリーカードなどの記録媒体とそのインタフェースとを含む。

操作部１０９はデジタルカメラ１００をユーザが操作するためのものである。この操作部１０９は、例えば、デジタルカメラ１００の撮像機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮像レンズのズーム動作を指示するズームレバー、撮像モードと再生モードの動作モード切換えスイッチ、などを含む。

撮像モードＳＷ１１０は、顔検出を実行するか否かを切り替える等の設定を行うためのスイッチである。メインＳＷ１１１はデジタルカメラ１００に電源を投入するためのスイッチである。ＳＷ１１２は、ＡＦ（Auto Focus）やＡＥ（Auto Exposure）等の撮像スタンバイ動作を行うためのスイッチである。ＳＷ１１３はＳＷ１１２の操作後、撮像を行うための撮像スイッチである。これらのＳＷ１１２及びＳＷ１１３は、通常は１つのボタンであり、そのボタンを半押しするとＳＷ１１２がオン、さらに全押しするとＳＷ１１３がオンとなる。

顔検出モジュール１１４は画像処理部１０４で処理された画像信号を用いて顔検出を行い、検出した一つ又は複数の顔情報（例えば位置・大きさ・信頼度）をシステム制御部１０８に送信する。この顔検出モジュール１１４は、画像処理部１０４から出力された画像に対して公知の顔検出処理を施し、撮像素子１０２の撮像画像内に含まれる人物の顔領域を検出する。なお、公知の顔検出処理としては、例えば、画像の各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等も開示されている。

笑顔検出モジュール１１５は、顔検出モジュール１１４が検出した顔について、顔の笑顔レベルを算出する。具体的には、顔を構成する目、鼻および口等の顔構成部品の輪郭、並びに目頭、目尻、小鼻、口角および唇の位置等の顔構成部品の位置等、笑顔度の算出に必要な特徴量を取得する。特徴量を取得する手法としては、各顔構成部品のテンプレートを用いたテンプレートマッチングによる手法、及び顔構成部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔構成部品毎の判別器を用いる手法等がある。笑顔検出モジュール１１５は、上記特徴量に基づいて、顔が笑顔である度合を示す笑顔レベルを算出する。

目領域検出モジュール１１６は、顔検出モジュール１１４が検出した顔領域から目の存在する目領域を検出する。

目開き検出モジュール１１７は、目領域検出モジュール１１６が検出した目領域内のヒストグラムから、黒目に相当する輝度の領域の面積を検出する。そして、目開き検出モジュール１１７は、黒目に相当する輝度の領域の面積が目領域の大きさに応じて、どの程度目が開いているかの度合いを示す目開きレベルを算出する。

なお、顔検出、笑顔レベル算出、目開きレベル算出の手法については、上記手法に限定されるものではなく、公知の種々の手法を用いることができる。

以上説明した構成において、本実施形態では、撮像者がＳＷ１１３を操作すると、システム制御部１０８は、連続して撮像を開始する。そしてシステム制御部１０８は、得られた画像をＤＲＡＭ１０６に記録し、その中で後述する評価値が最も高いものを１つ選択して不揮発性のメモリである画像記録部１０７に記録する。なお、最も評価値の高い画像データが複数存在する場合には、それら画像データのうち、最もＳＷ１１３の操作タイミングに時間的に近いときに撮像されることで得られた画像、すなわち、一番最初に得られた画像が選択される。なお、以下の説明では連続して撮像することを「連写」と表現することがある。

図２は、図１におけるシステム制御部１０８により実行される画像データ記録処理を示すフローチャートである。

この画像データ記録処理は、ＳＷ１１３がオンとなることで被写体を連続して撮像することにより、被写体を示す複数の画像を得て、得られた複数の画像から選択された画像を画像記録部１０７に記録する処理である。

図２において、撮像素子１０２から電荷信号を読み出し、Ａ／Ｄ変換部１０３、画像処理部１０４、フォーマット変換部１０５を介して、ＤＲＡＭ１０６の所定領域への撮像で得られた画像を書き込む撮像処理を行う（ステップＳ２０１）。後述する図３の顔評価算出処理を実行して、その撮像で得られた画像を評価する（ステップＳ２０２）。次いで画像記録部１０７に記録する予定の画像（以下、「記録予定画像データ」という）を更新するか否か、すなわちこの画像を選択するか否か判別する（ステップＳ２０３）（選択部）。ステップＳ２０３で記録予定画像データを更新しないとき（ステップＳ２０３でＮＯ）、ステップＳ２０４をスキップしてステップＳ２０５に進む。一方、ステップＳ２０３で記録予定画像データを更新するとき（ステップＳ２０３でＹＥＳ）、記録予定画像データを、ステップＳ２０２で評価対象となった画像に更新する（ステップＳ２０４）。次いで予め定められている連続撮像枚数を撮像し終えたか否か判別する（ステップＳ２０５）。連続撮像枚数を撮像し終えたとき（ステップＳ２０５でＹＥＳ）、ＤＲＡＭ１０６に記憶されている記録予定画像データを画像記録部１０７により記録し（ステップＳ２０６）（記録部）、本処理を終了する。

一方、ステップＳ２０３の判別の結果、記録予定画像データを更新しないとき（ステップＳ２０３でＮＯ）、ステップＳ２０５に処理が進む。また、ステップＳ２０５の判別の結果、連続撮像枚数を撮像し終えていないとき（ステップＳ２０５でＮＯ）、ステップＳ２０１以降の処理を繰り返す。

上記ステップＳ２０３における記録予定画像データの更新判別について説明する。更新する条件の１つは判別対象となる画像データが「連写の１枚目である」という条件Ａである。もう１つの条件は「評価対象となった全ての顔にてマイナスの評価値が付与されず、かつ、評価対象となったいずれかの顔にて、顔の評価値がプラスであり、かつ、顔の評価値がいずれの評価値よりも大きい値となっている」という条件Ｂである。条件Ａ、Ｂのいずれか一方を満たす場合に記録予定画像データは更新される。顔の評価値を以下の説明では、「顔評価値」ということがある。

顔評価値が同一である場合は、「いずれの評価値よりも大きい値」ではないので画像が更新されずに、同一の評価値であっても撮像開始タイミングに近い画像が選択されることとなる。

図２の処理によれば、評価値の最も大きい画像が複数存在する場合には、最も先に撮像することにより得られた画像が選択される（ステップＳ２０３でＹＥＳ）。この結果、撮像開始タイミングに近い画像が選択される事となる結果、より撮像者の意図に沿った画像が選択可能となる。

また、マイナスの評価値とは、評価対象となった顔（以下、「評価対象顔」という）の笑顔度が所定量以上低くなった場合、さらに、目の開き具合が所定量以上低くなった場合に付与されるものである。評価対象顔が笑顔から普通顔へ変化した場合や、目開き状態から目瞑り状態に変化している場合にはマイナスの評価値が付与される。

プラスの評価値とは、基本的には評価対象顔の笑顔度が所定量以上高くなった場合、また、目の開き具合が所定量以上高くなった場合につくものである。評価対象顔が普通顔から笑顔へ変化している場合や、目瞑り状態から目開き状態へ変化している場合にはプラスの評価値が付与される。

上記評価対象顔とは、画像から検出された顔のうち、笑顔、目開きレベルを算出し、評価値算出を行う顔である。この評価対象顔は、「画像の所定範囲内に存在する」、「所定以上のサイズである」、また「撮像開始時にピントを合わせた顔である」などから判別される。すなわち、撮像者が被写体として意図したと思われる１人または複数の人物を評価対象顔としている。また、連写の２枚目以降の画像からは、前回の撮像で評価対象顔となった顔と同一な顔を優先的に評価対象顔として採用する。

同一な顔であるかの判別は、顔認識技術を用いても良いし、前回の撮像における評価対象顔と、ほぼ同一サイズ、同一位置にある場合は前回の撮像時における顔と同一な顔と判別しても良い。

図３は、図２のステップＳ２０２で実行される顔評価値算出処理の手順を示すフローチャートである。

図３において、画像から顔を検出し、検出した顔から上述した評価対象顔の選出方法により評価対象顔の選出を行う（ステップＳ３０１）（選出部）。後述する図４の笑顔評価処理を実行して、いずれかの評価対象顔に対して笑顔評価を行う（ステップＳ３０２）。後述する図６の目開き評価処理を実行して、笑顔評価を行った顔と同じ評価対象顔に対して目開き評価を行う（ステップＳ３０３）。そして評価対象顔の顔評価値を算出する（ステップＳ３０４）。本実施の形態では、顔評価値の算出は、評価対象顔それぞれに付与された、笑顔評価値、目開き評価値を全て足した値とする。

次いで、画像内の全ての評価対象顔の評価が完了したか否かを判別する（ステップＳ３０５）。画像内の全ての評価対象顔の評価が完了していないとき（ステップＳ３０５でＮＯ）、ステップＳ３０２以降の処理を画像内の別の評価対象顔に対して繰り返す。その一方、画像内の全ての評価対象顔の評価が完了したとき（ステップＳ３０５でＹＥＳ）、複数の画像の各々でステップＳ３０１により選出された顔に基づき、画像評価値（評価値）を算出して（ステップＳ３０６）（算出部）、本処理を終了する。評価値の算出は、複数の画像の中から１つの画像を選択するために用いられる複数の画像の中から１つの画像を選択するために用いられる。

本実施の形態では、画像評価値の算出は、画像内の複数の評価対象顔それぞれに付与された、顔評価値を全て足した値とする。もちろん、評価対象顔が１つしかなければ、その評価対象顔の顔評価値がそのまま画像評価値となる。人数の多さも評価の対象としたいのであれば、複数の評価対象顔の顔評価値をそのまま足して画像評価値を求めればよく、人数の多さを評価したくないのであれば、複数の評価対象顔の顔評価値の平均値を画像評価値として求めればよい。

図４は、図３のステップＳ３０２で実行される笑顔評価処理の手順を示すフローチャートである。

図４において、評価対象顔に対して、笑顔検出モジュール１１５にて、笑顔の度合いを示す笑顔レベルを取得する（ステップＳ４０１）。現在の画像が連続して撮像することで得られた画像のうちの１枚目の画像であるか否かを判別する（ステップＳ４０２）。判別の結果、現在の画像が１枚目の画像であるときは（ステップＳ４０２でＹＥＳ）、後述する基本評価値を付与して（ステップＳ４０３）、本処理を終了。その一方、１枚目の画像でないときは（ステップＳ４０２でＮＯ）、今回の評価対象顔が、以前の評価対象顔と同一か否か、すなわち前回までの撮像における評価対象顔と同一顔であるか否かを判別する（ステップＳ４０４）。同一顔ではないとき（ステップＳ４０４でＮＯ）、評価値を付与せず（ステップＳ４１０）に、本処理を終了する。ステップＳ４０４で同一顔であるか否かを判別する理由は、笑顔判断所定値には、個人差があるため、その値を適応するためには、同一人物の必要があるためである。

一方、ステップＳ４０４の判別の結果、同一顔であるとき（ステップＳ４０４でＹＥＳ）、今回撮像における笑顔レベルと以前の撮像における笑顔レベルとの差分を算出する（ステップＳ４０５）。比較対象となる画像について、本実施の形態では、前回撮像された画像における笑顔レベルと比較し、表情の変化を検出する。このとき、所定時間以前に撮像された画像における笑顔レベルと比較しても良いし、記録予定画像となっている撮像画像における笑顔レベルと比較しても良い。このように、各々の画像における同一の顔毎に笑顔の度合いを示す笑顔レベルが取得される。

次いで、差分と、笑顔の変化を評価するための笑顔判断所定値（第１の所定値）との比率を算出する（ステップＳ４０６）。その比率が１よりも小さく、かつ−１よりも大きいか否か（すなわち比率の絶対値が１未満か否か）判別する（ステップＳ４０７）。比率の絶対値が１未満のとき（ステップＳ４０７でＹＥＳ）、前回の画像において、その評価対象顔が初めて笑顔に変化したか（すなわち、算出した比率が正の値になったか）否かを判別する。評価対象顔が初めて笑顔に変化していないとき（ステップＳ４０８でＮＯ）、評価値を付与せず（ステップＳ４１０）に、本処理を終了する。

一方、ステップＳ４０７の判別の結果、比率の絶対値が１未満ではないとき、比率が１以上であるか否かを判別する（ステップＳ４１１）。比率が１以上ではない（すなわち、比率が−１以下）とき（ステップＳ４１１でＮＯ）、マイナスの評価値を付与して（ステップＳ４１２）、本処理を終了する。このステップＳ４１２で付与されるマイナスの評価値は、上記ステップＳ４０６で求めた比率に応じて付与するようにしてもよい。この場合、普通顔への変化が大きければ大きいほど、マイナス方向に大きな評価値を付与することができる。

一方、ステップＳ４０８の判別の結果、評価対象顔が初めて笑顔に変化したとき（ステップＳ４０８でＹＥＳ）、プラスの評価値を付与して（ステップＳ４０９）、本処理を終了する。上記ステップＳ４０８を経てこのステップＳ４０９で付与されるプラスの評価値は、一律の値とする。

また、ステップＳ４１１の判別の結果、比率が１以上のとき、プラスの評価値を付与して（ステップＳ４０９）、本処理を終了する。上記ステップＳ４１１経てこのステップＳ４０９で付与されるプラスの評価値は、上記ステップＳ４０６で求めた比率に応じて付与するようにしてもよい。この場合、笑顔変化が大きければ大きいほど、プラス方向に大きな評価値を付与することができる。

図４の処理において、前回の画像について、その評価対象顔がはじめて笑顔に変化したと判別された場合（ステップＳ４０７でＹＥＳ、かつステップＳ４０８でＹＥＳ）、その変化の度合いが小さくとも、一度だけプラスの評価値を付与する。笑顔だと判別される状態へ表情が変化したばかりの画像では、十分な笑顔まで到達していない可能性が高い。そこで、笑顔判断所定値以上、笑顔レベルが変化していなくても、一度だけはプラスの評価値を付与することで（ステップＳ４０９）、変化した次の画像が選択されやすくなる。

図５は図４の処理で付与された笑顔評価値を説明するのに用いられる図であり、（Ａ）は笑顔レベルを示し、（Ｂ）は笑顔評価値を示す。

図５（Ａ）のグラフは、縦軸が笑顔レベルを示し、横軸が連写枚数を示す。また、このグラフにおいて、白丸６０１が１枚目の画像における笑顔レベルである。差分６０２が１枚目の笑顔レベルと２枚目の笑顔レベルの差分である。線分６０３は笑顔判断所定値と差分とを比較するためのものであり、笑顔判断所定値は、最寄の２つの黒丸に挟まれた１つの区間である。これら白丸６０１、差分６０２、線分６０３は、１枚目以外であっても同様の意味で用いられている。

特に、図５では、線分６０３に示されるように１枚目と２枚目の差分は笑顔判断所定値の２倍であり、この場合の比率は、「＋２」となる。

また、２枚目と３枚目、及び３枚目と４枚目の差分は、笑顔判断所定値を下回っており、４枚目と５枚目の差分は、笑顔判断所定値を若干上回っている。

一方、図５（Ｂ）のグラフは、縦軸が笑顔評価値を示し、横軸が連写枚数を示す棒グラフである。

図５（Ｂ）において、１枚目は、前回の画像が無い為、笑顔レベル差分が算出出来ないので、上述した基本評価値、例えば、「１０」を付与する。次に、図５（Ａ）に示される１枚目と２枚目の笑顔レベルを比較すると、その差分は、プラスの値となり、かつ笑顔判断所定値より大きくなっている。

上述したように、差分と、笑顔判断所定値との比率は、「＋２」となっているので、「＋２０」の評価値を付与し、合計で「３０」となる。次に、２枚目と３枚目の笑顔レベルを比較すると、その差分は、笑顔判断所定値より小さくなっているので、笑顔変化はしてないと判別する。しかし、前述したように前回の画像で始めて笑顔変化が発生したと判定され、かつ表情の変化が発生していない場合は、一度だけ一律の評価値を付与する。ここでは、「＋１０」を付与し、合計で「４０」となる。

つぎに、３枚目と４枚目の笑顔レベルを比較すると、その差分は、笑顔判断所定値より小さくなっているので、笑顔変化はしてないと判別され、評価値は付与されず、合計は「４０」のままとなる。次に、４枚目と５枚目の笑顔レベルを比較すると、その差分は、マイナスの値となり、かつ笑顔判断所定値より大きくなっている。差分と、笑顔判断所定値との比率は、１倍以上、２倍未満なので、評価値が「−１０」とされ、合計で「３０」となる。

図６は、図３のステップＳ３０３で実行される目開き評価処理の手順を示すフローチャートである。

図６において、評価対象顔に対して、目開き検出モジュール１１７にて、両目における目の開き度合いを示す目開きレベルを取得する（ステップＳ５０１）。現在の評価画像が連写の１枚目の画像であるか否かを判別する（ステップＳ５０２）。現在の評価画像が連写の１枚目の画像であるときは（ステップＳ５０２でＹＥＳ）、基本評価値を付与し（ステップＳ５０３）、本処理を終了する。その一方、現在の評価画像が連写の１枚目の画像でないときは（ステップＳ５０２でＮＯ）、今回の評価対象顔が、前回までの撮像における評価対象顔と同一顔であるか否かを判別する（ステップＳ５０４）。同一顔であるか否かを判別する理由は、目の開き度合いの変化を評価するための目開き変化判断所定値（第２の所定値）には、個人差がある。従って、その値を適応するのは、同一人物の必要がある為である。このように、各々の画像における同一の顔毎に目の開き度合いを示す目開きレベルが取得される。

この目開き変化判断所定値は、予め決められた値として持っていても良いし、撮像開始までに取得された評価対象顔の各目における目開きレベルの推移を計測し、その計測値から算出しても良い。また、目開き判断所定値は、左右の目で変えても良い。

ステップＳ５０４の判別の結果、前回までの撮像における評価対象顔と同一顔であるときは（ステップＳ５０４でＹＥＳ）、その顔が笑顔変化したか否か判別する（ステップＳ５０５）。

一方、ステップＳ５０４の判別の結果、前回までの撮像における評価対象顔と同一顔でないとき（ステップＳ５０４でＹＥＳ）、評価値を付与せずに（ステップＳ５０６）、本処理を終了する。ステップＳ５０５での判別の結果、その顔が笑顔変化したときは（ステップＳ５０５でＹＥＳ）、評価値を付与せずに（ステップＳ５０６）、本処理を終了する。笑顔変化したときに評価値が付与されない理由は、笑顔変化した顔は、目瞑りになっている可能性が高いためである。

ステップＳ５０５の判別の結果、顔が笑顔変化していないときは（ステップＳ５０５でＮＯ）、後述する図７の目開き変化検出処理を実行する（ステップＳ５０７）。目開き変化検出処理は、各目における今回の撮像での目開きレベルと以前の撮像における目開きレベルとの差分を算出することで目の開きの変化を検出する処理である。このステップＳ５０７において比較対象となる以前の撮像について、本実施の形態では、前回の撮像画像における目開きレベルと比較し、表情の変化を検出する。このとき、所定時間以前の撮像画像における目開きレベルと比較しても良いし、記録予定画像となっている撮像画像における目開きレベルと比較しても良い。

次いで、両目とも目開きが変化したか否かを判別する（ステップＳ５０８）。両目とも目開きが変化しているときは（ステップＳ５０８でＹＥＳ）、両目とも同一方向に変化しているか否か判別する（ステップＳ５１２）。同一方向へ変化しているときは（ステップＳ５１２でＹＥＳ）、両目ともに目開き方向へ変化しているか否か判別する（ステップＳ５１４）。両目ともに目開き方向へ変化しているときは（ステップＳ５１４でＹＥＳ）、プラスの評価値を付与し（ステップＳ５１５）、本処理を終了する。ここで付与されるプラスの評価値は、差分と目開き変化判断所定値との比率が大きい方の目の比率に応じた値となる。

ステップＳ５０８での判別の結果、両目とも変化していないときは（ステップＳ５０８でＮＯ）、片目のみ変化したか否か判別する（ステップＳ５０９）。片目のみ変化していない、すなわち両目とも変化していないときは（ステップＳ５０９でＮＯ）、評価値を付与せずに（ステップＳ５０６）、本処理を終了する。

ステップＳ５０９での判別の結果、片目のみ変化しているとき（ステップＳ５０９でＹＥＳ）、目開き方向へ変化したか否か判別する（ステップＳ５１０）。目開き方向へ変化したとき（ステップＳ５１０でＹＥＳ）、プラスの評価値を付与し（ステップＳ５１１）、本処理を終了する。

ステップＳ５１０の判別の結果、目開き方向へ変化しなかったとき（ステップＳ５１０でＮＯ）、マイナスの評価値を付与し（ステップＳ５１３）、本処理を終了する。ステップＳ５１２の判別の結果、同一方向へ変化しなかったとき（ステップＳ５１２でＮＯ）、マイナスの評価値を付与し（ステップＳ５１３）、本処理を終了する。ステップＳ５１４の判別の結果、目開き方向に変化しなかったとき（ステップＳ５１４でＮＯ）、マイナスの評価値を付与し（ステップＳ５１３）、本処理を終了する。

上記ステップＳ５１３で付与されるマイナスの評価値は、差分と目開き変化判断所定値との比率が大きい方の目の比率に応じた値となる。

また、ステップＳ５２０で同一方向に変化していないと判別されたときにマイナスの評価値を付与する理由は、顔が片目が目開き方向へ変化し、片目が目瞑り方向へ変化しているような顔となっているため、バランスの悪い表情となりやすいためである。

図７は、図６のステップＳ５０７で実行される目開き変化検出処理の手順を示すフローチャートである。

図７に示されるフローチャートでは、右目、左目の順に処理が行われる。

図７において、各目における今回の撮像における目開きレベルと以前の撮像における目開きレベルとの差分を算出する（ステップＳ７０１）。各目における差分と、目開き変化判断所定値との比率を算出し（ステップＳ７０２）、右目における比率が、−１よりも大きく、１よりも小さいか否か（すなわち比率の絶対値が１未満か否か）を判別する（ステップＳ７０３）。右目における比率が、比率の絶対値が１未満のとき（ステップＳ７０３でＹＥＳ）、右目は変化していないので、右目に変化がないことをＤＲＡＭ１０６に記憶し（ステップＳ７０４）、ステップＳ７０５に進む。

ステップＳ７０３の判別の結果、右目における比率が、比率の絶対値が１未満ではないとき（ステップＳ７０３でＮＯ）、右目における比率が１以上であるか否かを判別する（ステップＳ７０７）。右目における比率が１以上であるとき（ステップＳ７０７でＹＥＳ）、右目が目を開く方向に変化しているので、右目が目開き方向へ変化したことをＤＲＡＭ１０６に記憶し（ステップＳ７０８）、ステップＳ７０５に進む。

ステップＳ７０７の判別の結果、右目における比率が１未満、すなわち比率が−１以下であるとき（ステップＳ７０７でＮＯ）、右目が目瞑り方向に変化していることを示している。従って、右目が目瞑り方向へ変化したことをＤＲＡＭ１０６に記憶し（ステップＳ７０９）、ステップＳ７０５に進む。

次いで、左目における比率が、−１よりも大きく、１よりも小さいか否か（すなわち比率の絶対値が１未満か否か）を判別する（ステップＳ７０５）。左目における比率が、比率の絶対値が１未満のとき（ステップＳ７０５でＹＥＳ）、左目は変化していないことを示している。従って、左目に変化がないことをＤＲＡＭ１０６に記憶し（ステップＳ７０６）、本処理を終了する。

ステップＳ７０５の判別の結果、左目における比率が、比率の絶対値が１未満ではないとき（ステップＳ７０５でＮＯ）、左目における比率が１以上であるか否かを判別する（ステップＳ７１０）。左目における比率が１以上であるとき（ステップＳ７１０でＹＥＳ）、左目が目を開く方向に変化しているので、左目が目開き方向へ変化したことをＤＲＡＭ１０６に記憶し（ステップＳ７１１）、本処理を終了する。

ステップＳ７１０の判別の結果、左目における比率が１未満、すなわち比率が−１以下であるとき（ステップＳ７１０でＮＯ）、左目が目瞑り方向に変化していることを示している。従って、左目が目瞑り方向へ変化したことをＤＲＡＭ１０６に記憶し（ステップＳ７１２）、本処理を終了する。

図８は、図６の処理で付与された目開き評価値を説明するのに用いられる図であり、（Ａ）は右目における目開きレベルを示し、（Ｂ）は左目における目開きレベル、（Ｃ）は目開き評価値を示す。

図８（Ａ）、図８（Ｂ）のグラフは、縦軸が右目又は左目の目開きレベルを示し、横軸が連写枚数を示す。また、このグラフにおいて、白丸７０１，７０４が、右目又は左目での１枚目の画像における目開きレベルである。差分７０２，７０５が右目又は左目での１枚目の笑顔レベルと２枚目の笑顔レベルの差分である。線分７０３，７０６は右目又は左目での目開き判断所定値と差分とを比較するためのものであり、目開き判断所定値は、最寄の２つの黒丸に挟まれた１つの区間である。これら白丸７０１，７０４、線分７０３，７０６は、１枚目以外であっても同様の意味で用いられている。

図８（Ａ）において、１枚目から２枚目への差分７０２の目開きレベルは、マイナスの値となり目開き判断所定値の１倍以上、２倍未満であるので、目瞑り方向へ変化したと判別する。ただし、２枚目が笑顔だと判別されている場合は、目瞑り方向へ変化したとの判別を行わない。図８（Ａ）では、２枚目で笑顔が発生したとして目開き評価値の説明を行う。

次に、２枚目と３枚目の目開きレベルを比較すると、その差分は、プラスの値となり、目開き判断所定値の１倍以上、２倍未満であるので、目開き方向へ変化したと判別する。さらに、３枚目と４枚目の目開きレベルを比較すると、その差分は、マイナスの値となり目開き判断所定値の１倍以上、２倍未満であるので、目瞑り方向へ変化したと判別する。

また、４枚目と５枚目の目開きレベルを比較するとその差分は、プラスの値となり目開き判断所定値の１倍以上、２倍未満であるので、目開き方向へ変化したと判別する。

図８（Ｂ）において、１枚目から２枚目へ差分７０５の目開きレベルは、プラスの値となり目開き判断所定値の１倍以上、２倍未満であるので、目瞑り方向へ変化したと判別する。ただし、２枚目が笑顔だと判別されている場合は、目瞑り方向へ変化したとの判別を行わない。図８（Ｂ）では、２枚目で笑顔が発生したとして評価値の説明を行う。

次に、２枚目と３枚目の目開きレベルを比較すると、その差分は、目開き判断所定値よりも小さい値となり、変化なしと判別する。さらに、３枚目と４枚目の目開きレベルを比較すると、その差分は、目開き判断所定値よりも小さい値となり、変化なしと判別する。また、４枚目と５枚目の目開きレベルを比較するとその差分は、目開き判断所定値よりも小さい値となり、変化なしと判別する。

図８（Ｃ）のグラフは、縦軸が見開き評価値、横軸が連写枚数を示している。目開き評価値は、両目の変化状態を基に算出される。

１枚目は、前回の画像が無い為、笑顔レベル差分が算出出来ないので、所定評価値、例えば「１０」を付与する。次に、２枚目の画像は、右目が目瞑り、左目も目瞑りとされているので、同一方向への変化として、目瞑りだと判別する。しかし２枚目で笑顔だと判別されている場合は、目開きレベルでの評価値付与を行わないので、評価値は、「１０」のままとなる。次に、３枚目の画像では、右目が目開き、左目も目開きとされているので、同一方向への変化として、目開きだと判別する。左右の目、どちらの比率も、１倍以上、２倍未満なので、「＋１０」され、評価値は「２０」となる。次に４枚目は、右目が目瞑り、左目が変化なしとされているので、目瞑り方向へ変化したと判別する。右目の比率は、１倍以上、２倍未満なので、「−１０」され、評価値は「１０」となる。次に、５枚目の画像では、右目が目開き、左目が変化なしとされているので、目開き方向へ変化したと判別する。右目の比率は、１倍以上、２倍未満なので、「＋１０」され、評価値は、「２０」となる。

図９は、図２の処理で算出される顔評価値を説明するのに用いられる図である。

図９に示されるグラフは、縦軸が顔評価値を示し、横軸が連写枚数を示す。顔評価値は、笑顔評価値と目開き評価値との和としている。

そこでまず笑顔評価値は、１枚目が「１０」、２枚目及び５枚目が「３０」、３枚目及び４枚目が「４０」である。一方、目開き評価値は、３枚目と５枚目が「２０」、それら以外は「１０」である。

従って、図５に示される笑顔評価値、及び図８に示される目開き評価値の場合、顔評価値は、１枚目が「２０」、２枚目が「４０」、３枚目が「６０」、４枚目が「５０」、５枚目が「５０」となる。

評価対象顔が１つだけの場合は、この顔評価値が画像評価値となる。そして、本実施の形態にて、記録される画像は、「全ての評価対象顔にてマイナスの評価値が付与されていない。かつ、どれかの評価対象顔にて、プラスの評価値が付与されている。かつ、顔評価値が最大の値となっている」という条件から、３枚目が選択される。

なお、上述したように、この条件を満たす画像が複数ある場合には、撮像者のＳＷ１１３の操作タイミングを考慮して、この複数の中から最も先に撮像された画像が選択される。

このように、評価対象顔の笑顔レベルや目開きレベルの変化の程度が閾値よりも小さいと判別した場合は、それらに起因する評価値を前回の評価値を同じ値とする。これによって、表情の変化が小さい場合にはその表情のレベルよりも撮像者のＳＷ１１３の操作タイミングを優先して画像データを選択できるようにしている。これで、表情の評価値と撮像者のＳＷ１１３の操作タイミングの両方を考慮した画像を選択することが可能となり、連続撮像で得られた画像データの中から、撮像者の意図により沿った画像データを記憶することが可能となる。

本実施の形態では、顔に関する度合いは、笑顔、目開きのレベルとしたが、顔の位置、サイズによる画像の構図、ピントの合い具合なども、同様に評価値を付与し、画像選択に用いる事が出来る事とする。

本実施の形態によれば、評価値の最も大きい画像が複数存在する場合には、最も先に撮像することにより得られた画像が選択される（ステップＳ２０３でＹＥＳ）。これにより撮像開始タイミングに近い画像が選択される事となる結果、より撮像者の意図に沿った画像が選択可能となる。

なお、上述した実施の形態において、システム制御部１０８の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラ１００に適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は複数の画像を同時に表示するように制御可能な表示制御装置であれば適用可能である。具体的には、パーソナルコンピュータやＰＤＡが挙げられる。また、携帯電話端末や携帯型の画像ビューワ、プリンタ装置に設けられた印刷画像選択および確認のためのディスプレイ、デジタルフォトフレームなども挙げられる。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ デジタルカメラ
１０７ 画像記録部
１０８ システム制御部
１１４ 顔検出モジュール
１１５ 笑顔検出モジュール
１１７ 目開き検出モジュール

Claims (14)

1. 連続して撮像された複数の画像データのそれぞれに対して、画像データに含まれる被写体に基づいて評価値を算出する算出手段と、
   前記複数の画像データの中からいずれかの画像データを選択する選択手段と、
   前記選択手段により選択された画像データを記憶する記憶手段を有し、
   前記選択手段は、前記複数の画像データから、他の画像データよりも評価値が高い画像データを選択するものであって、前記複数の画像データのうち、先の撮像で得られた画像の評価値よりも、後の撮像で得られた画像の評価値のほうが高くても、それら評価値の差が所定値以下である場合には、前記先の撮像で得られた画像を選択することを特徴とする画像処理装置。
2. 前記選択手段は、前記先の撮像で得られた画像データの評価値よりも、前記後の撮像で得られた画像データの評価値のほうが高く、かつ、それら評価値の差が所定値よりも大きければ、前記後の撮像で得られた画像データを選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記それぞれの画像データから、前記評価値を算出する対象となる被写体を選択する選択手段を有し、
   前記算出手段は、前記画像データに対して、前記選択手段で選択された被写体に基づいて前記評価値を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記算出手段は、前記それぞれの画像データに含まれる人物の笑顔に対する笑顔評価値を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記算出手段は、前記それぞれの画像データに含まれる人物の目に対する目開き評価値を算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. ユーザの指示に応じて連続して撮像を行う撮像手段と、
   前記撮像手段による連続した撮像で得られた複数の画像データのそれぞれに対して、画像データに含まれる被写体に基づいて評価値を算出する算出手段と、
   前記複数の画像データの中からいずれかの画像データを選択する選択手段と、
   前記選択手段により選択された画像データを記憶する記憶手段を有し、
   前記選択手段は、前記複数の画像データから、他の画像データよりも評価値が高い画像データを選択するものであって、前記複数の画像データのうち、第１の画像データの評価値よりも第２の画像データの評価値のほうが高くても、それら評価値の差が所定値以下であり、かつ、前記第２の画像データが得られた撮像のタイミングよりも前記第１の画像データが得られた撮像のタイミングのほうが前記ユーザの指示のタイミングに近いならば、前記第１の画像データを選択することを特徴とする撮像装置。
7. 前記選択手段は、前記第１の画像データの評価値よりも、前記第２の画像データの評価値のほうが高く、かつ、それら評価値の差が所定値よりも大きければ、前記第２の画像データを選択することを特徴とする請求項６に記載の撮像装置。
8. 前記それぞれの画像データから、前記評価値を算出する対象となる被写体を選択する選択手段を有し、
   前記算出手段は、前記画像データに対して、前記選択手段で選択された被写体に基づいて前記評価値を算出することを特徴とする請求項６または７に記載の撮像装置。
9. 前記算出手段は、前記それぞれの画像データに含まれる人物の笑顔に対する笑顔評価値を算出することを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
10. 前記算出手段は、前記それぞれの画像データに含まれる人物の目に対する目開き評価値を算出することを特徴とする請求項６乃至９のいずれか１項に記載の撮像装置。
11. 連続して撮像された複数の画像データのそれぞれに対して、画像データに含まれる被写体に基づいて評価値を算出する工程と、
    前記複数の画像データの中からいずれかの画像データを選択する工程と、
    選択された画像データを記憶手段に記憶する工程を有し、
    前記いずれかの画像データを選択する工程において、前記複数の画像データから、他の画像データよりも評価値が高い画像データを選択するものであって、前記複数の画像データのうち、先の撮像で得られた画像の評価値よりも、後の撮像で得られた画像の評価値のほうが高くても、それら評価値の差が所定値以下である場合には、前記先の撮像で得られた画像を選択することを特徴とする画像処理装置の制御方法。
12. 撮像手段がユーザの指示に応じて連続して撮像を行って複数の画像データを得る工程と、
    前記複数の画像データのそれぞれに対して、画像データに含まれる被写体に基づいて評価値を算出する工程と、
    前記複数の画像データの中からいずれかの画像データを選択する工程と、
    選択された画像データを記憶手段に記憶する工程を有し、
    前記いずれかの画像データを選択する工程において、前記複数の画像データから、他の画像データよりも評価値が高い画像データを選択するものであって、前記複数の画像データのうち、第１の画像データの評価値よりも第２の画像データの評価値のほうが高くても、それら評価値の差が所定値以下であり、かつ、前記第２の画像データが得られた撮像のタイミングよりも前記第１の画像データが得られた撮像のタイミングのほうが前記ユーザの指示のタイミングに近いならば、前記第１の画像データを選択することを特徴とする撮像装置の制御方法。
13. 画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、前記制御方法は、
    連続した撮像で得られた複数の画像データのそれぞれに対して、画像データに含まれる被写体に基づいて評価値を算出する工程と、
    前記複数の画像データの中からいずれかの画像データを選択する工程と、
    選択された画像データを記憶手段に記憶する工程を有し、
    前記いずれかの画像データを選択する工程において、前記複数の画像データから、他の画像データよりも評価値が高い画像データを選択するものであって、前記複数の画像データのうち、先の撮像で得られた画像の評価値よりも、後の撮像で得られた画像の評価値のほうが高くても、それら評価値の差が所定値以下である場合には、前記先の撮像で得られた画像を選択することを特徴とするプログラム。
14. 撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、前記制御方法は、
    撮像手段がユーザの指示に応じて連続して撮像を行って得た複数の画像データのそれぞれに対して、画像データに含まれる被写体に基づいて評価値を算出する工程と、
    前記複数の画像データの中からいずれかの画像データを選択する工程と、
    選択された画像データを記憶手段に記憶する工程を有し、
    前記いずれかの画像データを選択する工程において、前記複数の画像データから、他の画像データよりも評価値が高い画像データを選択するものであって、前記複数の画像データのうち、第１の画像データの評価値よりも第２の画像データの評価値のほうが高くても、それら評価値の差が所定値以下であり、かつ、前記第２の画像データが得られた撮像のタイミングよりも前記第１の画像データが得られた撮像のタイミングのほうが前記ユーザの指示のタイミングに近いならば、前記第１の画像データを選択することを特徴とするプログラム。