JP2010198110A - 画像処理装置及び電子スチルカメラ - Google Patents

Abstract

【課題】 所望の笑顔画像を容易に取得することができる画像処理装置及び電子スチルカメラを提供することを目的とする。
【解決手段】 第１画像から顔を検出する顔検出部と、笑顔を含み、前記第１画像とは異なる第２画像より得られた該笑顔の程度を示す笑顔評価値を基準評価値として、前記第１画像から検出された顔を前記基準評価値に基づいて補正する補正部とを備える画像処理装置。
【選択図】 図１

Description

本発明は、画像処理を行う画像処理装置、及びそれを備えた電子スチルカメラに関する。

従来から、被写体の笑顔を検出して自動的に撮像するカメラが知られている。例えば、特許文献１のカメラは、撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、画像信号から検出された顔の表情が笑顔であると判断した場合に、画像信号を記録媒体に自動的に記録する。

しかしながら、被写体の好ましい笑顔画像を取得することは難しい。例えば、被写体が笑顔を作ることが苦手である場合や、笑顔を作っても検出条件を満足しない場合は、撮像が実行されず、笑顔画像を取得することができない。一方、笑顔画像を取得することができた場合でも、確認すると意外にも所望の笑顔画像が取得されていない場合がある。

そこで、本発明は、所望の笑顔画像を容易に取得することができる画像処理装置及び電子スチルカメラを提供することを目的とする。

本発明の画像処理装置は、第１画像から顔を検出する顔検出部と、笑顔を含み、前記第１画像とは異なる第２画像より得られた該笑顔の程度を示す笑顔評価値を基準評価値として、前記第１画像から検出された顔を前記基準評価値に基づいて補正する補正部とを備える。

なお、前記第１画像から検出された顔における笑顔の程度を示す笑顔評価値を算出する評価値算出部をさらに備え、前記補正部は、前記評価値算出部により算出された前記笑顔評価値が前記基準評価値に近づくように、前記第１画像から検出された顔を補正しても良い。

また、前記第１画像から検出された顔における笑顔の程度を示す笑顔評価値を算出する評価値算出部をさらに備え、前記補正部は、前記評価値算出部により算出された前記笑顔評価値と前記基準評価値とが同一となるように、前記第１画像から検出された顔を補正しても良い。

また、前記第２画像の笑顔の特徴量を示す特徴量情報を記憶する情報記憶部と、前記第１画像から検出された顔から抽出された特徴量と、前記情報記憶部に記憶された前記特徴量情報とが略一致するか否かを判定する顔識別部とをさらに備え、前記補正部は、前記顔識別部により前記第１画像から検出された顔の特徴量と前記特徴量情報とが略一致すると判定された場合に、前記第１画像から検出された顔を補正しても良い。

また、前記第１画像から得られた前記笑顔評価値、前記補正部により補正された前記第１画像から得られた前記笑顔評価値、或いは前記基準評価値の少なくともいずれか一つを、数値表示、又はレベル表示する評価値表示部をさらに備えても良い。

また、複数の画像を記憶可能な画像記憶部と、前記画像記憶部に記憶された画像から前記第２画像として用いる画像を選択する画像選択部とをさらに備えても良い。

また、前記画像記憶部に記憶された画像から、笑顔が含まれる画像を抽出する画像抽出部をさらに備え、前記画像選択部は、前記画像抽出部により抽出された画像から前記第２画像として用いる画像を選択しても良い。

また、前記評価値算出部は、前記画像抽出部により抽出された画像における笑顔評価値を求め、前記画像選択部は、前記画像抽出部により抽出された画像のうち、前記評価値算出部により算出された笑顔評価値が最も高い画像を前記第２画像として選択しても良い。

また、前記画像記憶部に記憶された画像から、笑顔が含まれる画像を抽出する画像抽出部と、前記画像抽出部により抽出された画像を一覧表示する画像表示部とをさらに備え、前記画像選択部は、前記画像表示部に表示された画像から前記第２画像として用いる画像を選択しても良い。

本発明の電子スチルカメラは、本発明の画像処理装置と、前記第１画像を取得する画像取得部とを備える。

本発明の画像処理装置、及び電子スチルカメラによれば、所望の笑顔画像を容易に取得することができる。

本発明の第１実施形態における電子スチルカメラ１の構成を示すブロック図である。 ベストスマイル画像の撮像時における表示部１１の例を示す図である。 電子スチルカメラ１における笑顔モードによる撮像時の制御部７の動作を示すフローチャートである。 第２実施形態の電子スチルカメラ１における再生時の制御部７の動作を示すフローチャートである。 第２実施形態の電子スチルカメラ１における再生時の表示部１１の例を示す図である。

（第１実施形態）
以下、図面を用いて本発明の第１実施形態について説明する。なお、本実施形態では、本発明の画像処理装置の一例として、電子スチルカメラを用いて説明する。図１は、本発明の第１実施形態における電子スチルカメラ１の構成を示すブロック図である。図１に示すように、電子スチルカメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、バッファメモリ５、画像処理部６、制御部７、表示部１１、メモリ１２、操作部１３、記録Ｉ／Ｆ部１６、記録媒体１７、バス１８を備える。

撮像レンズ２は、撮像素子３の撮像面に被写体像を結像する。なお、撮像レンズ２の他に、ズームレンズやフォーカスレンズなどの複数のレンズからなる撮像光学系であっても良い。撮像素子３は、撮像レンズ２を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮影モードにおいて、撮像素子３は、所定間隔毎に間引き読み出しを行い、スルー画像を取得する。その後、撮像素子３は、レリーズ釦１４が全押しされると本画像を取得する。また、撮像素子３は、後述する表情識別部９により、スルー画像から笑顔を識別した場合に、自動的に本画像を取得する。以下、笑顔を識別した場合に、自動的に本画像を取得するモードを「笑顔モード」として説明する。

撮像素子３から出力される画像信号は、Ａ／Ｄ変換部４に入力される。Ａ／Ｄ変換部４は、撮像素子３から出力されるアナログの画像信号をＡ／Ｄ変換し、デジタルの画像信号に変換する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ５に記録される。バッファメモリ５は、画像処理部６による画像処理の前工程や後工程で画像データを一時的に記録する。

画像処理部６は、バッファメモリ５に記憶された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理などが挙げられる。また、画像処理部６は、記録媒体１７に画像ファイルを記録する前にＪＰＥＧ（Joint Photographic Experts Group）形式などで圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。さらに、画像処理部６は、後述する顔検出部８により検出された顔を補正する。例えば、画像処理部６は、画素の位置座標を用いて、座標変換及び補間演算を行い、眉、目、口の形状を変える。

制御部７は、所定のシーケンスプログラムにしたがって、電子スチルカメラ１の統括的な制御を行うとともに、撮像時に必要となる各種演算（ＡＦ、ＡＥなど）を実行する。また、制御部７は、顔検出部８、表情識別部９、顔識別部１０などの機能を有している。顔検出部８は、スルー画像、本画像、記録媒体１７に記録された画像から特徴点を抽出して顔、顔の大きさ等を検出する。例えば、顔検出部８は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔を抽出する。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。

表情識別部９は、顔検出部８により検出された顔の表情を識別する。例えば、表情識別部９は、特開平８−２４９４５３号公報、特開平１０−２５５０４３号公報に示されるように、表情カテゴリとして、怒り、嫌悪、恐れ、悲しみ、笑顔、驚きの合計６種類の基本表情を考え、無表情から各基本表情への時系列画像の処理を行い、表情を識別する。

顔識別部１０は、人物の顔の特徴量を示す特徴量情報である顔認識データを生成する。例えば、顔識別部１０は、画像中の人物を事前登録しておく「人物登録モード」が設定されている場合に、以下の手順により顔認識データを生成する。まず、制御部７は、撮像素子３を制御して、スルー画像を取得する。次に、制御部７は、表示部１１に表示されたガイドの目及び口と、登録したい被写体の目及び口とを合わせて、撮像素子３により、登録したい被写体の画像を取得する。顔検出部８は、この画像から顔の特徴点を抽出する。そして、顔識別部１０は、顔検出部８により検出された特徴点の位置、各特徴点の相対距離などから顔認識データを生成する。生成された顔認識データは、メモリ１２に記憶される。

また、顔識別部１０は、「顔認識撮影モード」において、顔検出部８により検出された顔を有する被写体、すなわち撮像時の被写体が、事前登録された被写体に一致するか否かを判定する。例えば、顔識別部１０は、顔検出部８により検出された特徴点の位置、各特徴点の相対距離などを演算する。次に、顔識別部１０は、上記の演算結果と、メモリ１２に記憶された顔認識データとを比較して、事前登録された被写体の顔と、撮像時の被写体の顔との相似度を求める。そして、顔識別部１０は、上記の相似度が閾値を上回る場合に、撮像時の被写体が事前登録された被写体に一致すると判定する。

また、制御部７は、メモリ１２に予め記憶されている笑顔評価基準テーブルに基づいて、笑顔の程度を示す笑顔評価値を算出する。例えば、制御部７は、特開２００４−４６５９１号公報に示されるように、笑顔評価基準テーブルを参照して、顔の各構成要素、例えば、眉、目、口の形状に関する評価値を算出する。そして、制御部７は、各評価値を合算して、笑顔評価値を算出する。なお、笑顔評価基準テーブルは、顔の構成要素を表すデータ（例えば、眉、目、口）を格納する要素領域と、対応する各構成要素の評価値、及び各構成要素が平坦な状態を基準とする角度を格納する評価値領域とにより構成される。例えば、眉については、眉尻が下がるほど評価値が高くなる。目については、目尻が下がるほど評価値が高くなる。口については、口角が上がるほど評価値が高くなる。また、笑顔評価値は、１００点を満点とし、満面の笑みに近いほど高得点となる。

表示部１１は、制御部７の制御により各種の画像を表示する。表示部１１に表示される各種の画像は、スルー画像、本画像、記録媒体１７に記録された画像、メニュー画像などを含む。操作部１３は、レリーズ釦１４、十字キー１５などを有する。レリーズ釦１４は、撮像時にユーザにより操作される。十字キー１５は、上記のメニュー画像等で操作される。なお、レリーズ釦１４及び十字キー１５の状態は制御部７により検知され、検知された釦の状態に基づいたシーケンスが実行される。記録Ｉ／Ｆ部１６は、記録媒体１７を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部１６と記録媒体１７とが接続されることにより、記録媒体１７に対してデータの書き込み／読み出しを実行する。バス１８は、バッファメモリ５、画像処理部６、制御部７、表示部１１、メモリ１２、記録Ｉ／Ｆ部１６を相互に接続することにより、データや信号の出入力を実行する。なお、Ａ／Ｄ変換部４の出力はバス１８を介して画像処理部６に接続される。

ところで、従来から、被写体の笑顔を検出すると、自動的に笑顔画像を取得する電子スチルカメラが知られている。しかし、例えば、被写体が笑顔を作ることが苦手である場合や、笑顔を作っても検出条件を満足しない場合は、撮像が実行されず、笑顔画像を取得することができない。一方、笑顔画像を取得することができた場合でも、確認すると意外にも所望の笑顔画像が取得されていない場合がある。また、同じ被写体でも、その被写体が満面の笑みである笑顔画像が好みのユーザもいれば、その被写体が微笑んでいる笑顔画像が好みのユーザもいるなど、笑顔の好みは、人により様々である。

そこで、本実施形態の電子スチルカメラ１は、所望の笑顔画像（以下、ベストスマイル画像と称する）及びベストスマイル画像の笑顔評価値をメモリ１２に予め記憶しておく。そして、電子スチルカメラ１は、本画像の笑顔評価値が、ベストスマイル画像の笑顔評価値に近づくように、本画像における顔を補正する。これにより、例えば、笑顔が気に入らない画像であっても、所望の笑顔画像に近づけることができる。

また異なる被写体では、好ましい笑顔画像の笑顔評価値も当然異なる。そのため、より質の高い笑顔画像を得ようとする場合は、事前登録されたベストスマイル画像の被写体と、撮像時の被写体とが同一人物であることが望ましい。

次に、「人物登録モード」におけるベストスマイル画像の取得について説明する。まず、制御部７は、撮像素子３を制御して、スルー画像を取得する。このとき、制御部７は、「笑って下さい！」等のメッセージを表示部１１に表示しても良い。また、電子スチルカメラ１に不図示のスピーカを備え、「笑ってね！」等の音声を出力しても良い。そして、制御部７は、レリーズ釦１４が全押しされると、ベストスマイル画像を取得する。以下、この「人物登録モード」で予め取得されたベストスマイル画像については、符号２１を付して説明する。制御部７は、ベストスマイル画像２１の笑顔評価値Ｔを算出する。また、制御部７は、図２に示すように、ベストスマイル画像２１と笑顔評価値Ｔ（符号２２）を表示部１１に表示する。なお、制御部７は、笑顔評価値Ｔの数値を表示する代わりに、笑顔評価値Ｔのレベル表示を行っても良い。これにより、ユーザは、視覚的に笑顔の程度を確認することができる。その後、制御部７は、ユーザから十字キー１５を介して、ベストスマイル画像２１を登録しても良いか否かの選択を受け付ける。ベストスマイル画像２１を登録する場合には、制御部７は、ベストスマイル画像２１及び笑顔評価値Ｔをメモリ１２に記憶する。

図３は、電子スチルカメラ１における笑顔モードによる撮像時の制御部７の動作を示すフローチャートである。なお、以下、便宜上、１人の人物を撮像するシーンを前提として説明する。また、第１実施形態では、上記のベストスマイル画像２１及び笑顔評価値Ｔがメモリ１２に予め記憶され、ベストスマイル画像２１の被写体と、撮像時の被写体とが同一人物である例を示す。

ステップＳ１０１で、制御部７は、笑顔モードを開始する。例えば、制御部７は、撮像素子３を制御して、スルー画像の取得を開始する。

ステップＳ１０２で、顔検出部８は、スルー画像から顔を検出する。

ステップＳ１０３で、表情識別部９は、ステップＳ１０２で検出された顔が笑顔か否かを判定する。笑顔である場合（ステップＳ１０３の判定がＹＥＳとなる場合）には、ステップＳ１０４に進む。一方、笑顔でない場合（ステップＳ１０３の判定がＮＯとなる場合）には、ステップＳ１０２に戻る。

ステップＳ１０４で、制御部７は、撮像素子３を制御して、本画像ＰＩを取得する。

ステップＳ１０５で、顔検出部８は、本画像ＰＩから顔を検出する。そして、制御部７は、眉、目、口の各端点に基づいて、眉、目、口の各領域を構成する画素の位置情報を算出し、算出した画素の位置情報をバッファメモリ５に記憶する。

ステップＳ１０６で、制御部７は、ステップＳ１０５で本画像ＰＩから検出された顔の笑顔評価値Ｕを算出する。なお、制御部７は、本画像ＰＩ及び笑顔評価値Ｕを表示部１１に表示しても良い。また、制御部７は、笑顔評価値Ｕの数値を表示する代わりに、笑顔評価値Ｕのレベル表示を行っても良い。

ステップＳ１０７で、制御部７は、笑顔評価値Ｔをメモリ１２から読み出す。

ステップＳ１０８で、制御部７は、画像処理部６を制御して、ステップＳ１０７で読み出した笑顔評価値Ｔに基づいて、本画像ＰＩを補正する。以下、補正後の本画像ＰＩを本画像ＰＩ’とし、本画像ＰＩ’の笑顔評価値を笑顔評価値Ｕ’とする。ここで、画像処理部６は、笑顔評価値Ｕ’と笑顔評価値Ｔとの差の絶対値が、笑顔評価値Ｕと笑顔評価値Ｔとの差の絶対値よりも小さくなるように、本画像ＰＩを補正する。これにより、本画像ＰＩ’は、本画像ＰＩよりもユーザの好みに近い笑顔画像となると共に、過度の補正のため、本画像ＰＩ’における被写体の笑顔が不自然になることを防ぐことができる。

例えば、笑顔評価値Ｔを８５点とする。また、笑顔評価値Ｕを４０点とする。この場合、画像処理部６は、４０点＜笑顔評価値Ｕ’≦１００点となるように、本画像ＰＩを補正する。このとき、笑顔評価値Ｕ’が笑顔評価値Ｔ、つまり８５点と同等になるように補正することが最も望ましいが、少なくとも８５点に近づきさえすれば、改善効果が期待できる。

次に、制御部７は、ステップＳ１０５でバッファメモリ５に記憶した本画像ＰＩの眉、目、口の各領域を構成する画素の位置情報を読み出す。また、制御部７は、笑顔評価基準テーブルから、補正後の眉、目、口の評価値にそれぞれ対応する角度情報を読み出す。そして、画像処理部６は、読み出した前記位置情報及び角度情報に基づき、座標変換及び補間演算を行い、本画像ＰＩの眉、目、口の形状を変更して、本画像ＰＩ’を作成する。この時、眉又は目については、評価値が高いほど、眉尻又は目尻が下がり、口については、評価値が高いほど、口角が上がる。

なお、笑顔評価基準テーブルに角度情報だけでなく、各構成要素の形状を記録した基準画像を格納しておいても良い。例えば、眉、目については、眉尻又は目尻が下がっている基準画像ほど高い評価値を対応付ける。また、口については、口角が上がっている基準画像ほど高い評価値を対応付ける。そして、画像処理部６は、笑顔評価値Ｕ’に対応する眉、目、口の基準画像に基づいて、本画像ＰＩの眉、目、口の形状を変更し、本画像ＰＩ’を作成しても良い。

ステップＳ１０９で、制御部７は、本画像ＰＩ’及び笑顔評価値Ｕ’を表示部１１に表示する。これにより、ユーザは、本画像ＰＩ’の出来映えを確認することができる。

ステップＳ１１０で、制御部７は、ユーザから十字キー１５を介して、本画像ＰＩ’を記録するか否かの選択を受け付ける。記録する場合（ステップＳ１１０の判定がＹＥＳとなる場合）には、ステップＳ１１１に進む。一方、記録しない場合（ステップＳ１１０の判定がＮＯとなる場合）には、ステップＳ１０８に戻り、所望の笑顔となる本画像ＰＩ’が得られるまで補正を繰り返す。

ステップＳ１１１で、制御部７は、本画像ＰＩ’を画像ファイルとして記録媒体１７に記録し、一連の処理を終了する。なお、制御部７は、本画像ＰＩ’とともに、笑顔評価値Ｕ’をタグなどの情報として画像ファイル内に記録することが好ましい。また、制御部７は、本画像ＰＩ’及び笑顔評価値Ｕ’とともに、本画像ＰＩ及び笑顔評価値Ｕを記録しても良い。

なお、第１実施形態では、ベストスマイル画像２１の被写体と、撮像時の被写体とが同一人物である例を示したが、同一人物でなくても良い。ベストスマイル画像２１の被写体と、撮像時の被写体とが同一人物でない場合は、同一人物である場合に比べて、笑顔の質の面では及ばないものの、改善効果は期待できる。また、被写体を変更して撮像する度にベストスマイル画像の登録を行う必要がないため、ユーザにとって撮像が簡単になる。

また、ベストスマイル画像２１の被写体と、撮像時の被写体とが同一人物であるか否かによって、補正するか否かを決定しても良い。この場合、ステップＳ１０５の後で、顔識別部１０は、本画像ＰＩの被写体と、ベストスマイル画像２１の被写体とが一致するか否かを判定する。そして、一致しないと判定された場合には、ステップＳ１０６以降の処理を行わない構成にしても良い。

また、第１実施形態では、ステップＳ１０４で取得した本画像ＰＩに対して、ステップＳ１０８で補正する例を示したが、これに限らない。例えば、ステップＳ１０４で所望の笑顔となる本画像ＰＩが得られない場合のみ、補正する構成にしても良い。この場合、制御部７は、ステップＳ１０４の後で、所望の笑顔となる本画像ＰＩが得られたか否かを判定する。そして、所望の笑顔となる本画像ＰＩが得られた場合には、ステップＳ１０５からステップＳ１１０までの処理を行うことなく、ステップＳ１１１で本画像ＰＩを記録する。一方、所望の笑顔となる本画像ＰＩが得られなかった場合には、ステップＳ１０５からステップＳ１１１までの処理を行えば良い。これにより、所望の笑顔画像がより容易に得られるようになる。

また、ステップＳ１０３で笑顔が検出されず、ステップＳ１０４で本画像ＰＩが取得されない場合がある。そこで、ステップＳ１０１で笑顔モードを開始してから、所定の時間が経過すると、ステップＳ１０３における笑顔検出レベルを自動的に下げる構成にしても良い。これにより、ユーザが電子スチルカメラ１を構えているにもかかわらず、撮像できないという状態を回避しやすくなる。なお、笑顔検出レベルを下げると、笑顔評価値が低い本画像ＰＩが取得される可能性が高くなるが、その後、画像処理部６により補正されるので、最終的な本画像ＰＩ’の出来映えに関しては問題ない。

また、事前登録するベストスマイル画像数は、１つでも複数でも良い。事前登録するベストスマイル画像数が少ないほど、メモリ１２に占める容量を節約することができる。また、ベストスマイル画像数が多いほど、様々なバリエーションの笑顔画像を作成することができる。

ここで、メモリ１２に、ベストスマイル画像として複数の画像が記憶されている場合に、制御部７が補正の基準とするベストスマイル画像を選択する手順について説明する。例えば、制御部７は、自動的に複数の画像からいずれか一枚を選択するか、或いはユーザの指示に基づいて複数の画像からいずれか一枚を選択する。自動的に選択する場合、制御部７は、笑顔評価値が最も高い画像をベストスマイル画像として選択する。笑顔評価値が最も高い画像は、一般的に、好ましい笑顔画像である可能性が高いからである。

次に、ユーザの指示に基づいて選択する場合、制御部７は、複数の画像のサムネイル画像一覧を表示部１１に表示する。そして、制御部７は、ユーザから十字キー１５を介して、いずれかのサムネイル画像の選択を受け付け、選択されたサムネイル画像に対応する画像をベストスマイル画像とする。これにより、ユーザの主観的な基準、いわゆる好みでベストスマイル画像を選択することができる。

また、第１実施形態では、「人物登録モード」において、ベストスマイル画像を取得する例を示したが、これに限らない。例えば、記録媒体１７に記録された画像からベストスマイル画像を選択しても良い。記録媒体１７に複数の画像が記録されている場合には、上述したように、制御部７は、自動的に記録媒体１７に記録された画像から一枚を選択するか、或いはユーザの指示に基づいて複数の画像から一枚を選択すれば良い。

以上説明したように、第１実施形態の電子スチルカメラ１は、ベストスマイル画像の笑顔評価値に基づいて、本画像における顔を補正する。したがって、第１実施形態の電子スチルカメラ１によれば、所望の笑顔画像を得ることができる。

また、第１実施形態の電子スチルカメラ１は、被写体の笑顔を識別して自動的に本画像を取得するため、シャッターチャンスを逃すおそれをなくすことができる。

（第２実施形態）
以下、本発明の第２実施形態について説明する。第１実施形態では、撮像時に本画像における顔を補正する例を示した。第２実施形態では、再生時に記録媒体１７に記録された本画像における顔を補正する例を示す。また、第１実施形態では、予め人物登録モードにおいて、ベストスマイル画像を取得する例を示した。第２実施形態では、記録媒体１７に記録された画像からベストスマイル画像を選択する例を示す。ここで、以下の実施形態における電子スチルカメラ１の構成は、図１に示す第１実施形態の電子スチルカメラ１と共通するので重複説明は省略する。

図４は、第２実施形態の電子スチルカメラ１における再生時の制御部７の動作を示すフローチャートである。なお、便宜上、１人の人物を撮像した画像を前提として説明する。

ステップＳ２０１で、制御部７は、再生モードを開始する。例えば、制御部７は、表示部１１にレタッチ機能に関する複数の項目及び「ベストスマイルレタッチ」の項目が表示されたメニュー画像４１を表示する（図５（１）参照）。ここで、「ベストスマイルレタッチ」は、記録された本画像がベストスマイル画像に近づくように補正する機能を示す項目である。

ステップＳ２０２で、制御部７は、ユーザから十字キー１５を介して、「ベストスマイルレタッチ」の項目の選択を受け付ける。なお、制御部７は、「ベストスマイルレタッチ」の項目が選択された場合に「ベストスマイル画像に基づいて、笑顔に加工します。ちょっと硬い表情などの人物も、楽しい笑顔の写真になります。」等の説明を表示部１１に表示しても良い。

ステップＳ２０３で、制御部７は、記録媒体１７の画像ファイル内に記録されたタグなどの情報から笑顔評価値を読み出し、笑顔評価値が閾値以上である画像を笑顔画像として読み出す。そして、制御部７は、図５（２）に示すように、読み出した画像に対応するサムネイル画像の一覧を表示部１１のサムネイル画像表示領域４２に表示する。また、制御部７は、「ベストスマイル画像を選択して下さい。」等のメッセージを表示部１１に表示する。なお、笑顔評価値が記録媒体１７に記録されていない場合には、顔検出部８は、記録媒体１７に記録された画像から顔を検出する。そして、表情識別部９は、顔検出部８が検出した顔から表情を識別し、笑顔画像を読み出す。

ステップＳ２０４で、制御部７は、ユーザから十字キー１５を介して、ステップＳ２０３で表示したサムネイル画像の一覧からいずれかの画像の選択を受け付ける。そして、制御部７は、選択されたサムネイル画像に対応する画像をベストスマイル画像とする。これにより、ユーザの主観的な基準、いわゆる好みでベストスマイル画像を選択することができる。

ステップＳ２０５で、制御部７は、ステップＳ２０３と同様の処理を行い、笑顔画像に対応するサムネイル画像の一覧を表示部１１のサムネイル画像表示領域４２に表示する（図５（３）参照）。また、制御部７は、「補正したい画像を選択して下さい。」等のメッセージを表示部１１に表示する。

ステップＳ２０６で、制御部７は、ユーザから十字キー１５を介して、ステップＳ２０５で表示したサムネイル画像の一覧からいずれかの画像の選択を受け付ける。そして、制御部７は、選択されたサムネイル画像に対応する画像を補正対象画像とする。

ステップＳ２０７〜Ｓ２１０は、図３のステップＳ１０８〜Ｓ１１１にそれぞれ対応するため、重複説明を省略する。図５（４）は、ステップＳ２０９における表示部１１の表示例を示す図である。

なお、第２実施形態では、ステップＳ２０４で、ユーザから十字キー１５を介して、ベストスマイル画像の選択を受け付ける例を示したが、これに限らない。例えば、制御部７は、自動的に記録媒体１７に記録された複数の画像からいずれかを選択しても良い。例えば、制御部７は、記録媒体１７の画像ファイル内に記録されたタグなどの情報から笑顔評価値を読み出し、笑顔評価値が最も高い画像をベストスマイル画像とする。笑顔評価値が最も高い画像は、一般的に、好ましい笑顔画像である可能性が高いからである。この場合、ユーザがベストスマイル画像を選択する操作を省略することができる。

また、ステップＳ２０３では、笑顔評価値が閾値以上である笑顔画像のサムネイル画像の一覧を表示部１１に表示したが、これに限らない。例えば、制御部７は、まず、ユーザから十字キー１５を介して、笑顔評価値の数値や、大笑い、微笑み等のキーワードの入力を受け付ける。そして、制御部７は、入力された数値や、キーワードに応じて、記録媒体１７に記録された画像を抽出し、抽出した画像のサムネイル画像の一覧を表示部１１に表示する。もしくは、制御部７は、笑顔評価値に応じて予め記録媒体１７に記録された画像を分類し、分類した画像のサムネイル画像の一覧を表示部１１に表示する。その後、制御部７は、再びユーザから十字キー１５を介して、いずれかのサムネイル画像の選択を受け付ける構成にしても良い。これにより、ユーザは、容易にベストスマイル画像を選択することができる。

以上説明したように、第２実施形態の電子スチルカメラ１は、ベストスマイル画像の笑顔評価値に基づいて、記録媒体１７に記録した本画像における顔を補正する。したがって、第２実施形態の電子スチルカメラ１によれば、第１実施形態と同様に、所望の笑顔画像を得ることができる。
（実施形態の補足）
第１実施形態及び第２実施形態では、電子スチルカメラの例を示したが、これに限らない。例えば、コンピュータに搭載されるプログラムに、第１実施形態及び第２実施形態における笑顔評価値を算出する手順及び眉、目、口の形状を補正する手順に示す機能を備えることも可能である。この場合、予め画像処理プログラムを記録媒体に格納しておき、コンピュータに接続した後に、この画像処理プログラムを実行させるか、または、インストールさせることが可能である。

第１実施形態及び第２実施形態では、笑顔評価値を算出するために眉、目、口の形状に関する評価値を算出する例を示したが、これに限らず、笑顔と相関性を有する構成要素であれば、いかなる構成要素も使用できる。

第１実施形態におけるベストスマイル画像の登録時において、図２では、笑顔評価値Ｔ（符号２２）を表示部１１に表示する例を示したが、これに限らない。例えば、眉、目、口の評価値を個々に表示しても良い。

第１実施形態のステップＳ１０８では、笑顔評価値Ｕ’と笑顔評価値Ｔとの差の絶対値が、笑顔評価値Ｕと笑顔評価値Ｔとの差の絶対値よりも小さくなるように、本画像ＰＩを補正する例を示したが、これに限らない。例えば、本画像ＰＩ’の各評価値と、ベストスマイル画像２１の各評価値との差の絶対値が、本画像ＰＩの各評価値と、ベストスマイル画像２１の各評価値との差の絶対値よりも、それぞれ小さくなるように個別に補正する。これにより、より精度の高い補正が可能になる。

例えば、ベストスマイル画像２１の各評価値を、眉：３０点、目：２０点、口：３５点とする。また、本画像ＰＩの各評価値を、眉：１５点、目：１５点、口：１０点とする場合、本画像ＰＩ’の各評価値が、それぞれ下記の不等式を満たすように補正する。

１５点＜補正後の眉の評価値＜４５点
１５点＜補正後の目の評価値＜２５点
１０点＜補正後の口の評価値＜６０点
このときも、本画像ＰＩ’の各評価値が、ベストスマイル画像２１の各評価値とそれぞれ同等になるように補正することが最も好ましいが、少なくともベストスマイル画像２１の各評価値にそれぞれ近づきさえすれば、改善効果が期待できる。また、第２実施形態のステップＳ２０７においても同様にしても良い。

第１実施形態のステップＳ１０８では、笑顔評価値Ｕが笑顔評価値Ｔより低い例を示したが、これに限らず、笑顔評価値Ｕが笑顔評価値Ｔより高い場合にも適用できる。これにより、本画像における被写体が笑い過ぎている場合に、所望の笑顔に補正することができる。また、第２実施形態のステップＳ２０７においても同様に適用できる。

第１実施形態のステップＳ１０８では、ベストスマイル画像の笑顔評価値に近づけるために、眉、目、口を補正する例を示したが、これに限らない。例えば、眉、目、口の少なくともいずれか一つの形状だけ補正しても良い。また、第２実施形態のステップＳ２０７においても同様に適用できる。

第１実施形態のステップＳ１０８では、本画像ＰＩの眉、目、口の角度情報に基づいて、それぞれの形状を補正する例を示したが、これに限らない。例えば、本画像ＰＩの眉、目、口の位置情報に基づいて、それぞれの形状を補正しても良い。以下、目尻及び目頭の座標を用いる場合を例に挙げて説明する。例えば、目頭に対する目尻の座標を基準座標として予めメモリ１２に記録しておく。なお、目頭と目尻とを結んだときに、目尻が下がっている直線であれば、笑顔であると言える。また、目頭と目尻とを結ぶ直線の傾きが大きいほど、目尻が下がるため、笑顔評価値は高くなる。ステップＳ１０８において、制御部７は、本画像ＰＩにおける被写体の目頭及び目尻の２点の座標を求める。例えば、笑顔評価値を上げたい場合、画像処理部６は、基準座標に基づいて、目尻が下がるように、目尻の座標転換を行う。なお、眉、口に関しても同様に適用できる。また、第２実施形態のステップＳ２０７においても同様に適用できる。

第１実施形態のステップＳ１０８では、本画像ＰＩの各構成要素の形状を変更することにより本画像ＰＩ’を作成する例を示したが、各構成要素を置き換えても良い。例えば、予めメモリ１２に、形状の異なる各構成要素の基準画像と評価値とを対応付けたテーブルを記憶しておく。そして、画像処理部６は、本画像ＰＩの各構成要素の評価値よりも、ベストスマイル画像の各構成要素の評価値に近い評価値に対応する各構成要素の基準画像を用いて、本画像ＰＩの各構成要素を置換する。さらに、予めメモリ１２に、ベストスマイル画像から抽出された各構成要素と、各構成要素の評価値とを対応付けたテーブルを記憶しておいても良い。そして、画像処理部６は、本画像ＰＩにおける各構成要素と、テーブルに記憶された各構成要素とを置換しても良い。また、第２実施形態のステップＳ２０７においても同様に適用できる。

第１実施形態のステップＳ１０８で画像補正を行う例を示したが、必ずしもステップＳ１０８で画像補正を行う必要はない。例えば、ステップＳ１０８以降の処理を行わなくても良い。

第２実施形態では、ベストスマイル画像に近づくように補正する例を示したが、必ずしもベストスマイル画像である必要はない。例えば、怒り顔の画像や泣き顔の画像などでも良い。

第２実施形態のステップＳ２０５では、笑顔画像に対応するサムネイル画像の一覧を表示する例を示したが、これに限らない。例えば、笑顔評価値に拘わらず、人物の顔が含まれる画像に対応するサムネイル画像の一覧を表示しても良いし、笑顔評価値が閾値より小さい画像、すなわち笑顔でない画像に対応するサムネイル画像の一覧を表示しても良い。

第１実施形態及び第２実施形態では、１人の人物を撮像するシーンを説明したが、複数の人物が含まれるシーンを撮像する場合であっても、事前登録された被写体ごとのベストスマイル画像の笑顔評価値に基づいて、それぞれの被写体に対して補正を行うことができる。

第１実施形態及び第２実施形態の笑顔モードにおいて、事前登録された被写体ごとに、本画像を取得する基準となる笑顔評価値を設定できる構成にしても良い。これにより、普段あまり笑わない人は、少し笑っただけでも笑顔と識別して自動的に本画像を取得するように設定することができる。

第１実施形態及び第２実施形態の電子スチルカメラ１において、集合写真のように複数の人物が含まれるシーンを撮像する場合に、事前登録された被写体の笑顔を優先して本画像を取得できる「登録人物優先」の機能を備えていても良い。

１…電子スチルカメラ、３…撮像素子、６…画像処理部、７…制御部、１１…表示部、１２…メモリ、１３…操作部

特開２００８−０４２３１９号公報

Claims (10)

1. 第１画像から顔を検出する顔検出部と、
   笑顔を含み、前記第１画像とは異なる第２画像より得られた該笑顔の程度を示す笑顔評価値を基準評価値として、前記第１画像から検出された顔を前記基準評価値に基づいて補正する補正部と
   を備えることを特徴とする画像処理装置。
2. 請求項1に記載の画像処理装置において、
   前記第１画像から検出された顔における笑顔の程度を示す笑顔評価値を算出する評価値算出部をさらに備え、
   前記補正部は、前記評価値算出部により算出された前記笑顔評価値が前記基準評価値に近づくように、前記第１画像から検出された顔を補正することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記第１画像から検出された顔における笑顔の程度を示す笑顔評価値を算出する評価値算出部をさらに備え、
   前記補正部は、前記評価値算出部により算出された前記笑顔評価値と前記基準評価値とが同一となるように、前記第１画像から検出された顔を補正することを特徴とする画像処理装置。
4. 請求項１から請求項３のいずれか1項に記載の画像処理装置において、
   前記第２画像の笑顔の特徴量を示す特徴量情報を記憶する情報記憶部と、
   前記第１画像から検出された顔から抽出された特徴量と、前記情報記憶部に記憶された前記特徴量情報とが略一致するか否かを判定する顔識別部とをさらに備え、
   前記補正部は、前記顔識別部により前記第１画像から検出された顔の特徴量と前記特徴量情報とが略一致すると判定された場合に、前記第１画像から検出された顔を補正することを特徴とする画像処理装置。
5. 請求項１から請求項４のいずれか１項に記載の画像処理装置において、
   前記第１画像から得られた前記笑顔評価値、前記補正部により補正された前記第１画像から得られた前記笑顔評価値、或いは前記基準評価値の少なくともいずれか一つを、数値表示、又はレベル表示する評価値表示部をさらに備えることを特徴とする画像処理装置。
6. 請求項１から請求項５のいずれか１項に記載の画像処理装置において、
   複数の画像を記憶可能な画像記憶部と、
   前記画像記憶部に記憶された画像から前記第２画像として用いる画像を選択する画像選択部とをさらに備えることを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記画像記憶部に記憶された画像から、笑顔が含まれる画像を抽出する画像抽出部をさらに備え、
   前記画像選択部は、前記画像抽出部により抽出された画像から前記第２画像として用いる画像を選択する
   ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記評価値算出部は、前記画像抽出部により抽出された画像における笑顔評価値を求め、
   前記画像選択部は、前記画像抽出部により抽出された画像のうち、前記評価値算出部により算出された笑顔評価値が最も高い画像を前記第２画像として選択することを特徴とする画像処理装置。
9. 請求項６に記載の画像処理装置において、
   前記画像記憶部に記憶された画像から、笑顔が含まれる画像を抽出する画像抽出部と、
   前記画像抽出部により抽出された画像を一覧表示する画像表示部とをさらに備え、
   前記画像選択部は、前記画像表示部に表示された画像から前記第２画像として用いる画像を選択することを特徴とする画像処理装置。
10. 請求項１から請求項９のいずれか１項に記載の画像処理装置と、
    前記第１画像を取得する画像取得部とを備えることを特徴とする電子スチルカメラ。
    

Images