JP2008311819A - 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】被写体となる人物間での個人差などに拘わらず、適当な笑顔の検出レベルを以って笑顔検出を行ない、撮影タイミングを自動的に決定する。
【解決手段】デジタルスチルカメラ１は、被写体の笑顔がカメラ側でどのように評価されているのかを撮影者や被写体に通知するとともに、撮影条件となる笑顔検出レベルをユーザ側のマニュアル操作を通じて設定できるように構成されている。撮影者又は被写体は、カメラ側で捉えられている被写体の現在の笑顔の状況を確認し、笑顔の検出レベルが適切でないと推測されるときには、状況に応じて検出レベルを適切に修正する。
【選択図】 図６

Description

本発明は、人物などの被写体を含んだ画像の撮影を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに係り、特に、画像に含まれる被写体から特定のパターンを認識したことに応じてカメラ・ワークの自動化処理を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、画像に含まれる被写体から笑顔を認識したことを利用して撮影するタイミングを自動的に決定する画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに係り、特に、被写体となる人物間での個人差や、性別、年齢、人種、民族の相違に拘わらず、適当な笑顔の検出レベルで笑顔検出を行ない、撮影タイミングを自動的に決定する画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに関する。

カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。

銀塩カメラもデジタルカメラも基本的なカメラ・ワークはほとんど同じであるが、撮影画像のデジタル化とも相俟って、カメラ・ワークに関して自動化技術が進んでおり、このため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。

例えば、オート・フォーカス機能（ＡＦ）、自動露光（ＡＥ）、手振れ補正などである。デジタルカメラの場合、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）により撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。

オート・フォーカスや画質補正などの機能は、画像フレーム内に存在する１以上の被写体のうちいずれに合わせて処理を行なうべきである。古くは、ユーザが重要な被写体をマニュアル操作で設定することが行なわれていた。最近では、撮像画像から顔を検出して、その顔に対して自動的にフォーカスを合わせる、あるいは、その顔に合わせて自動的に画質を補正する、といった顔検出を利用した撮像技術が導入されている。

ここで、撮像した画像信号から顔を検出する手法として、例えば、平均的な顔画像をテンプレートとして利用し、入力画像信号とマッチングする手法が当業界において広く知られている（例えば、特許文献１を参照のこと）。また、撮像された顔が傾いていると、顔を正しく検出し難いため、顔の角度を検出して、その検出値に応じて顔の画像を回転させた後、マッチング処理などを行なうなどの手法も知られている。顔の角度を検出する方法としては、顔の中心線を検出し、その中心線らしさを示す度合いを顔の左右対称性に基づいて算出して、その度合いの高い中心線の角度を顔の角度として出力する手法などが挙げられる（例えば、特許文献２を参照のこと）。

また、最近では、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオート・シャッタに関する研究開発が進められている。

例えば、撮影する主要被写体に含まれる注目部位において、主要被写体が所定の撮影条件を満たすかどうかを判断し、撮影条件を満たしたときに撮影タイミング信号を出力するカメラについて提案がなされている（例えば、特許文献３〜５を参照のこと）。ここで言う注目部位とは、例えば、人物を撮影するときの当該人物の目や口の形や色、鳥を撮影するときの当該鳥の羽根などである。

具体的な撮影タイミングの判断基準として、人物が見栄えよく写る条件である、「瞬きをしていない」、「視線がカメラ方向を向いている」、「微笑んでいる」などを適切な撮影タイミングの判断基準とすることが考えられる。また、人物を被写体として撮影した写真を良好にするために写真を修正する技術が従来から知られているが、人が瞬きしている瞬間の写真を瞬きしていない写真に修正することや、笑っていない人の写真を笑っているように修正することは難しいということも、笑顔を撮影条件とする理由の１つである。

例えば、被写体の目の中の白色部分の面積や、口の横方向の長さ、口の中の白色部分の面積などの画像情報に基づいて、「微笑んでいる」という撮影条件を判定することができる。しかしながら、人が笑顔になったときの目の中の白色部分の面積や、口の横方向の長さ、口の中の白色部分の面積などの度合いは、個人差があり、さらには性別や年齢、人種、民族などに応じて区々であり、画一的な閾値判定により笑顔検出を行なうと弊害がある。

極端な例では、ある人物にとっては微笑んでいなくても笑顔が検出され易く、この場合不必要な撮影が頻発し、無駄な画像が蓄積されてしまう。あるいは逆に、ある人物にとっては精一杯笑っているにも拘らず、撮影がほとんど行なわれなくなってしまう。後者の場合、キャプションが行なわれるまでの間、被写体となる人物は笑顔をさらに装う必要があると判断し、目を見開き、口をあけて歯を出し横に広げるという仕草をひたすら続けなければならず、苦痛な作業となる。

また、撮影したタイミングを撮影者や被写体に通知するカメラは当業界で広く知られており、キャプションが行なわれたことを示すアラーム音の発生やＬＥＤの点灯があったことに応じて、被写体となる人物は笑顔をやめることができる。しかしながら、撮影されている笑顔の度合い（すなわち、被写体の笑顔がカメラ側でどのように評価されているのか）を被写体が知る術はないので、上記のようなキャプションの通知がないときには、被写体は、撮影されないのは笑顔が十分でないからなのか、あるいは照明などその他の撮影条件に問題があるのか分からず、ただひたすら笑みを作り撮影タイミングの到来を待つしかない。

特開２００３−２７１９３３号公報（段落００５１〜００５３、図６） 特開平９−１７１５６０号公報（段落００３２〜００４４、図４） 特開２０００−３４７２７８号公報 特開２００４−２９４４９８号公報 特開２００６−２３７８０３号公報

本発明の目的は、画像に含まれる被写体から特定のパターンを認識したことに応じてカメラ・ワークの自動化処理を好適に行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、画像に含まれる被写体から笑顔を認識したことを利用して、適切な撮影タイミングを自動的に決定することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、被写体となる人物間での個人差や、性別、年齢、人種、民族の相違に拘わらず、適当な笑顔の検出レベルを以って笑顔検出を行ない、撮影タイミングを自動的に決定することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、被写体を結像した画像を入力する画像入力手段と、
該入力画像を信号処理する画像信号処理手段と、
撮影画像を所定の記録メディアに記録する画像記録手段と、
前記画像信号処理手段による信号処理後の入力画像に含まれる被写体の笑顔度レベルを検出する笑顔度レベル検出手段と、
前記笑顔度レベル検出手段により検出された笑顔度レベルに基づいて被写体が笑っているか否かを判定するための笑顔検出レベルを設定する笑顔検出レベル設定手段と、
前記笑顔度レベル検出手段により検出された笑顔度レベルが笑顔検出レベルに到達したことに応じて撮影処理を制御する撮影制御手段と、
を具備することを特徴とする画像撮影装置である。

現在、デジタルカメラなどの画像撮影装置が広範に普及しており、各種カメラ・ワークの自動化技術についても並行して進められている。このうち、自動撮影に関しては、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオート・シャッタ機能について研究開発がなされている。具体的な撮影タイミングの判断基準として、人物が見栄えよく写る条件である、「瞬きをしていない」、「視線がカメラ方向を向いている」、「微笑んでいる」などを適切な撮影タイミングの判断基準とすることが考えられる。

また、カメラが撮影処理を実施する際に、アラーム音の発生やランプの点灯若しくは点滅といったカメラからの外部出力によって撮影するタイミングを被写体に通知する機能は広く採用されている。

しかしながら、現在映されている被写体の笑顔の度合い（すなわち、被写体の笑顔がカメラ側でどのように評価されているのか）を撮影者や被写体が知る手段は用意されていない。このような場合、被写体間の個人差などに依拠して、笑顔が検出されないためになかなか撮影されない、あるいは逆にあまり笑ってもいないのに笑顔検出されて不必要な画像がたくさん撮影される、といった事態に陥ることが懸念される。

これに対し、本発明に係る画像撮影装置は、笑顔度レベル検出手段は入力画像に含まれる被写体の笑顔度レベルを検出し、撮影制御手段は検出された笑顔度レベルが所定の笑顔検出レベルに到達したことに応じて撮影処理を制御するが、笑顔度レベルに基づいて被写体が笑っているか否かを判定するための笑顔検出レベルを設定する笑顔検出レベル設定手段をさらに備えている。したがって、被写体となる人物間での個人差や、性別、年齢、人種、民族の相違に拘わらず、適当な笑顔の検出レベルに調整することができる。また、撮影条件となる笑顔検出レベルをユーザ側で操作できるように構成することもできる。

本発明に係る画像撮影装置は、撮影画像中の被写体から検出される笑顔パターンが所定の撮影条件を満たしたことに応じてキャプションを行なうだけでなく、前記笑顔度レベル検出手段により検出した笑顔度レベルに関する情報をユーザに通知する通知手段をさらに備えていてもよい。

撮影者又は被写体は、この通知手段を介して、被写体の現在の笑顔の状況を知ることができる。そして、前記笑顔検出レベル設定手段は、画像撮影装置が一般的に備える操作手段を介したユーザからの指示入力に応じて、笑顔検出レベルを変更する。したがって、被写体はあまり笑っていないのに自動撮影が起動する、あるいは被写体は充分笑みを作っているにも拘らず自動撮影がなかなか起動しないといった具合に、個人差などに依拠して笑顔の検出レベルが充分でないと推測されるときには、撮影者又は被写体は、状況に応じて笑顔検出レベルを適切に修正することができる。

よって、本発明に係る画像撮影装置では、被写体の画角を決め、あとは笑顔が検出されれば撮影されるという待機状態になったにも拘らず、笑顔が検出されないために撮影されないという状況を回避することができる。また逆に、あまり笑ってもいないのに笑顔検出されて不必要な画像がたくさん撮影されるという状況も回避できる。

ここで、通知手段は、笑顔度レベルに関する情報を、スルー画像上にＯＳＤ表示するようにしてもよい。また、笑顔検出レベル設定手段により設定された笑顔検出レベルを併せてＯＳＤ表示するようにしてもよい。

例えば、当業界では周知のスライダ型メータの形式により、笑顔度レベル並びに笑顔検出レベルをＯＳＤ表示することができる。このスライダ型メータは、その長手方向に沿って数値レベルを有し、図中左右の各端がレベルの０％と１００％に相当する。例えば、同メータ上で、現在検出中の笑顔度レベルに相当する範囲を太く（若しくは強調して）表示する。また、笑顔検出レベルは同メータに沿って移動可能なスライド・バーとして表示され、ユーザがスライド・バーを移動する操作を行なうことによって、笑顔検出レベルを変更することができる。

また、本発明に係る画像撮影装置において、撮影者又は被写体からの指示に従って笑顔検出レベルを変更するのではなく、自動調整するようにしてもよい。例えば、入力画像中の被写体の検出顔から笑顔が検出される頻度などに応じて笑顔検出レベルの自動調整を行なうことも可能である。

具体的には、前記笑顔検出レベル設定手段は、被写体の検出顔から笑顔が検出されなくなった経過時間に応じて、笑顔検出レベルを所定の諸口から徐々に低下させていく。但し、笑顔検出レベルが所定の下限に到達した時点で保持するようにする。そして、被写体の検出顔から笑顔が検出された時点での笑顔検出レベルを保持する。また、入力画像から被写体の顔が検出されなくなったときには、笑顔検出レベルを所定の初期値に戻すようにして、新たに被写体の顔画検出されたときには、同様の処理を繰り返し行なう。

なお、画像撮影装置は、前記画像信号処理手段による信号処理後の入力画像の解像度を変換する解像度変換手段と、前記解像度変換手段により撮影モードに応じて解像度変換された画像を画像圧縮する画像圧縮手段を備えており、前記画像記録手段は、該画像圧縮した画像情報を前記記録メディアに記録する。解像度変換手段は、前記表示手段に表示するための（すなわちスルーがぞうようの）サイズに解像度変換し、あるいは撮影モードに応じた画像サイズに解像度変換する。また、笑顔検出手段は、撮影用ではなく、スルー画像用に解像度変換された画像に基づいて被写体の笑顔パターンを検出するようにしてもよい。

また、本発明の第２の側面は、被写体を結像した入力画像を撮影するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
該入力画像を信号処理する画像信号処理手順と、
前記画像信号処理手順を実行して信号処理した後の入力画像に含まれる被写体の笑顔度レベルを検出する笑顔度レベル検出手順と、
前記笑顔度レベル検出手順を実行することによって検出された笑顔度レベルに基づいて被写体が笑っているか否かを判定するための笑顔検出レベルを設定する笑顔検出レベル設定手順と、
前記笑顔度レベル検出手順を実行することによって検出された笑顔度レベルが笑顔検出レベルに到達したことに応じて、入力画像を所定の記録メディアに記録する画像記録手順と、
を実行させることを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像撮影装置と同様の作用効果を得ることができる。

本発明によれば、画像に含まれる被写体から特定のパターンを認識したことに応じてカメラ・ワークの自動化処理を好適に行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、画像に含まれる被写体から笑顔を認識したことを利用して、適切な撮影タイミングを自動的に決定することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、被写体となる人物間での個人差や、性別、年齢、人種、民族の相違に拘わらず、適当な笑顔の検出レベルを以って笑顔検出を行ない、撮影タイミングを自動的に決定することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。

本発明に係る画像撮影装置によれば、撮影者又は被写体は、被写体の現在の笑顔の状況を知ることができる。このとき、被写体はあまり笑っていないのに自動撮影が起動する、あるいは被写体は充分笑みを作っているにも拘らず自動撮影がなかなか起動しないといった具合に、個人差などに依拠して笑顔の検出レベルが充分でないと推測されるときには、状況に応じて検出レベルを適切に修正することができる。

よって、本発明に係る画像撮影装置では、被写体の画角を決め、あとは笑顔が検出されれば撮影されるという待機状態になったにも拘らず、笑顔が検出されないために撮影されないという状況を回避することができる。また逆に、あまり笑ってもいないのに笑顔検出されて不必要な画像がたくさん撮影されるという状況も回避できる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示している。図示のデジタルスチルカメラ１は、撮像素子１１と、前処理部１２と、カメラ・デジタル信号処理部（ＤＳＰ）１６で構成され、光学系１０を介して入力される画像をデジタル処理して記録するようになっている。

光学系１０は、被写体からの光を撮像素子１１に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像素子１１に入射させるシャッタ機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構（いずれも図示しない）を含んでいる。ドライバ１０ａは、後述するＣＰＵ２９からの制御信号に基づいて、光学系１０内の各機構の駆動を制御する。

撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換効果を持つ各画素が２次元に配列され、被写体からの入射光を電気信号に変換する。受光側には例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。なお、撮像素子１１から出力されるアナログ画像信号は、ＲＧＢ各色の原色信号であるが、補色系の色信号であってもよい。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部１２は、ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３と、タイミング・ジェネレータ１４と、Ｖドライバ１５を備え、例えば１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップとして構成される。

ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３では、画素信号中の撮像素子２１１から受ける信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、サンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかけて、ＡＤ変換を施してデジタル画像信号を出力する。

タイミング・ジェネレータ１４は、撮像素子１１を駆動するためのタイミング・パルス信号を生成する。そして、Ｖドライバ１５は、このタイミング・パルス信号に従って、撮像素子１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。

カメラＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）部１６は、カメラ信号処理部１７と、解像度変換部１８と、画像コーデック処理部１９と、メモリ制御部２０と、表示制御部２１と、メディア制御部２２を備え、例えば１つのＩＣチップとして構成されている。

カメラ信号処理部１７は、ＡＦＥ部１２から送られてくる画像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御などの前処理を施した後、ＡＷＢによりホワイトバランス・ゲインを掛けるとともに、シャープネス・再度コントラスト調整などの画質補正処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する（画質調整には、フラッシュ調光や赤目軽減などの処理を含めることができる）。また、カメラ信号処理部１７は、ＲＧＢ画像信号に対してγ補正を施し、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。また、カメラ信号処理部１７では、ＡＦＥ部１３の出力画像信号を基に、輝度情報を検波し、所定範囲毎のヒストグラムを算出するヒストグラム検波、並びに所定範囲毎に色情報を検波する色検波が行なわれる。ヒストグラム検波並びに色検波の結果は、後述する制御部２７に出力される。

解像度変換部（Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｔｅｒ）１８は、画像のサイズの変更を行なう。画像コーデック処理部１９は、ＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換し、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化圧縮処理を行なう。

メモリ制御部２０は、撮影した画像情報などのデータを、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）などからなるメモリ装置２４に対して書き込みや読み出しを行なうためのアクセス動作を制御する。

モニタ・ディスプレイ２５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やその他のタイプの薄型表示パネルなどで構成される。表示制御部２１は、モニタ・ディスプレイ２５の駆動を制御し、カメラ信号処理部１７から出力された画像データ（スルー画像）や、メモリ装置２４に保持されている画像データを、モニタ・ディスプレイ２５に表示するための信号に変換して、モニタ・ディスプレイ２５に出力する。

また、後述する制御部２７からの要求に応じて、メニュー画面や各種設定画面や、各種警告情報などを合成して、ＯＳＤ（Ｏｎ ＳＣｒｅｅｎ Ｄｉｓｐｌａｙ）としてモニタ・ディスプレイ２５上に表示出力する。本実施形態では、モニタ・ディスプレイ２５上にＯＳＤ表示される設定画面の１つとして、笑顔パターンの検出結果に基づく笑顔度の表示と、撮影条件となる笑顔検出レベルの設定を行なうための設定画面が含まれるが、これらの詳細については後述に譲る。

メディア制御部２２は、メモリスティック（登録商標）などの着脱可能な記録メディア２６を装填するためのスロットを備え、記録メディア２６へのデータの書き込みや読み出しを行なう。メディア制御部２２は、例えば、メモリ装置２４に保持されている撮影画像ファイルを記録メディア２６に記録する。

また、カメラＤＳＰ部１６は、バス・インターフェース・ユニット（ＢＩＵ）２３を介して制御部２７に接続されている。制御部２７は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部２８と、ユーザ操作に応じて当該装置全体の動作を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９と、ＣＰＵ２９にとっての主記憶メモリであるＲＡＭ３０と、プログラム・コードや装置情報などを不揮発的に保持するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）３１などで構成される。

ＣＰＵ２９は、解像度変換部１８により解像度変換した後の画像を用いて被写体の笑顔検出処理を行なう。また、ＣＰＵ２９は、モニタ・ディスプレイ２５上にＯＳＤ表示するためのＧＵＩ処理を行なう。本実施形態では、このＧＵＩ処理には、モニタ・ディスプレイ２５上で被写体の笑顔度レベルの表示と、現在設定されている笑顔検出レベルの表示及びそのレベル切り替えを行なう設定画面の作成が含まれる。

ＵＩ部２８は、ユーザが指示入力を行なうための操作機能や、スピーカやＬＥＤランプなどの出力機能を備えている。操作機能として、例えば、シャッタ・レリーズ・ボタンやフラッシュ発光のオン／オフなどの各種設定を行なうためのキーやダイヤルなどを備え、これらへのユーザ操作に応じた制御信号がＣＰＵ２９に入力される。本実施形態では、ＵＩ部２８は、操作機能として、図示のように上下左右キー、及びこれら４つのキーに囲まれた中央（決定キー）の５通りの入力が可能な操作キー（あるいは十字キー）を備えているものとする。

また、ＵＩ部２８は、出力機能を用いて、アラームなどの音声出力や、ＬＥＤの点灯又は点滅によって、カメラ・ワークなどに関する情報をユーザにフィードバックすることができる。

フラッシュ発光部３２は、制御部２７からのフラッシュ制御情報に従って、フラッシュを発光する。

このデジタルスチルカメラ１では、撮像素子１１によって受光されて光電変換された信号が、順次ＡＦＥ部１２に供給され、ＣＤＳ処理やＡＦＥ処理が施された後、デジタル信号に変換される。カメラ信号処理部１７は、ＡＦＥ部１２から供給されたデジタル画像信号を画質補正し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換して出力する。

カメラ信号処理部１７から出力された画像データは、表示制御部２１によって表示用の画像信号に変換され、モニタ・ディスプレイ２５上でスルー画像が表示される。

図２には、カメラ画像をモニタ・ディスプレイ２５上に表示する際のデータフローを模式的に示している。

被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれ、パネルに表示するための画像の解像度変換がさらに行なわれ、その結果作成された画像がモニタ・ディスプレイ２５上に表示される。このような画像出力処理の制御は、制御部２７内のＣＰＵ２９が所定のプログラム・コードを実行するという形態で実現される。実際には、制御の分担が細かく分かれているが、本発明の要旨に直接関連しないので、ここでは詳細な説明を省略する。

また、ＵＩ部２８を介したユーザ操作などで制御部２７に画像の記録が指示されると、カメラ信号処理部１７からの画像データは画像コーデック処理部１９に供給され、所定の圧縮符号化処理が施されて、メモリ制御部２０を通じてメモリ装置２４に保存され、あるいはメディア制御部２２を通じて記録メディア２６に保存される。静止画像の記録の際には、カメラ信号処理部１７からは１フレーム分の画像データが画像コーデック処理部１９に供給される。ちなみに、動画像の記録の際には、処理された画像データが画像コーデック処理部１９に連続的に供給される。

図３には、デジタルスチルカメラ１が画像撮影処理する際のデータフローを模式的に示している。また、図４には、デジタルスチルカメラ１が画像撮影する際の処理手順をフローチャートの形式で示している。

上記で図２を参照しながら説明したと同様に、被写体をモニタ・ディスプレイ２５上に表示させている状態で、ＵＩ部２８中のシャッターキーをユーザが押下すると（ステップＳ１）、ＵＩ部２８はキー検出して、キー情報の信号をＣＰＵ２９に送る。これに応答して、ＣＰＵ２９は、ドライバ１０ａに制御信号を出力し、撮影処理を実行する（ステップＳ２）。その際、適宜ＡＦ及びＡＥの処理が併せて行なわれる。

ドライバ１０ａを通じて撮影処理の指示が行なわれると、上記と同様に、被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれ、撮影モードに応じた画像サイズとなるように解像度変換がさらに行なわれる（ステップＳ３）。その後、画像コーデック処理部１９によって画像にＪＰＥＧ圧縮処理が施された後（ステップＳ４）、メディア制御部２２を通じて記録メディア２６に記録される（ステップＳ５）。

本実施形態に係るデジタルスチルカメラ１は、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオート・シャッタ機能を適用することができる。笑顔認識は、ＣＰＵ２９において所定の画像認識処理プログラムを実行するか、又は、制御部２７内に画像認識処理用のエンジン（図示しない）を搭載することによって実現可能である。笑顔認識技術自体は周知のものでよいので、ここでは詳細な説明を省略する。

また、デジタルスチルカメラ１は、カメラが撮影処理を実施する際に、ＵＩ部２８の出力機能を用いて、アラーム音の発生やランプの点灯若しくは点滅といったＵＩ部２８からの外部出力によって撮影するタイミングを被写体に通知するようになっている。

ここで、同じ程度に人が笑ったとしても、笑顔認識技術を用いて画像内の被写体から求まる笑顔度レベルには、被写体間で個人差や性別、年齢、人種、民族などに応じて差異がある。このため、画像処理より得られた被写体の笑顔度レベルと画一的な笑顔検出レベルとの比較結果に基づいて笑顔であるか否かを判定し、さらにその検出結果に応じて自動撮影を行なう場合には、笑顔が検出されないためになかなか撮影されない、あるいは逆にあまり笑ってもいないのに笑顔検出されて不必要な画像がたくさん撮影される、といった事態に陥ることが懸念される。

そこで、本実施形態に係るデジタルスチルカメラ１は、現在映されている被写体の笑顔の度合い（すなわち、被写体の笑顔がカメラ側でどのように評価されているのか）を撮影者や被写体に通知するとともに、撮影条件となる笑顔検出レベルをユーザ側のマニュアル操作を通じて設定できるように構成されている。

したがって、撮影者又は被写体は、カメラ側で捉えられている被写体の現在の笑顔の状況を知ることができる。そして、被写体はあまり笑っていないのに自動撮影が起動する、あるいは被写体は充分笑みを作っているにも拘らず自動撮影がなかなか起動しないといった具合に、個人差などに依拠して笑顔の検出レベルが適切でないと推測されるときには、撮影者又は被写体は、状況に応じて検出レベルを適切に修正するようにすれば、被写体間の個人差などを吸収することができる。

図５には、デジタルスチルカメラ１が笑顔検出に基づいて自動撮影を行なうための処理手順をフローチャートの形式で示している。

まず、図２と同様のデータフローに従って、光学系１０より入力されるカメラ画像をモニタ・ディスプレイ２５上に表示させる（ステップＳ１１）。

このとき、表示される画像は、制御部２７内にも供給され、所定の画像認識処理プログラムを実行するＣＰＵ２９（若しくは、図示しない画像認識エンジン）において、被写体の笑顔度レベルが検出される（ステップＳ１２）。

ここで、ＵＩ部２８中のシャッターキーをユーザが押下すると、カメラ撮影処理が起動する（ステップＳ１３）。具体的には、ＣＰＵ２９がドライバ１０ａを通じて撮影処理の指示を行ない、被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれる。

ここで、笑顔検出に基づいて自動撮影機能がオンされているときには、シャッターキーの押下操作により即座にシャッタが切られるのではなく、被写体の笑顔度レベルがあらかじめ設定された笑顔検出レベルに達したときに、カメラ撮影処理が起動する。また、本実施形態では、現在モニタ・ディスプレイ２５上に映されている被写体の笑顔度レベルを撮影者や被写体に通知する手段と、撮影条件となる笑顔検出レベルをマニュアル操作によって設定する手段を備えているが、これらの詳細については後述に譲る。

このようにして、シャッターキーの押下操作又は笑顔検出結果に応じてカメラ撮影処理が実施された後、解像度変換部１８によって撮影モードに応じた画像サイズに変換され（ステップＳ１４）、さらに、画像コーデック処理部１９によって画像にＪＰＥＧ圧縮処理が施された後（ステップＳ１５）、メディア制御部２２を通じて記録メディア２６に記録される（ステップＳ１６）。

また、撮影用に画像サイズに変換された撮影画像をＪＰＥＧ圧縮処理したタイミングで、ＣＰＵ２９は、例えばＵＩ部２８内のＬＥＤを数秒間だけ点灯させるといった、ユーザへのフィードバックを出力する指示を行なう（ステップＳ１７）。これによって、被写体は、自分が笑ったことで撮影が無事に行なわれたことを知ることができる。

また、ステップＳ１７では、ステップＳ１４で撮影画像用にサイズが解像度変換された画像ではなく、モニタ・ディスプレイ２５に表示するために（すなわち、するー画像用に）解像度変換された画像を用いてステッフＳ１２で行なった笑顔検出結果を用いるので、撮影処理に伴って遅延なくＬＥＤ点灯処理を実施することができる。

以下では、モニタ・ディスプレイ２５上に映されている被写体の笑顔度レベルを撮影者や被写体に通知する手段と、撮影条件となる笑顔検出レベルをマニュアル操作によって設定する手段の具体例について説明する。なお、被写体の顔検出並びに検出顔の笑顔検出処理のために、制御部２７内に画像認識用のエンジンを装備することも考えられるが、以下では便宜上、これらの処理をＣＰＵ２９内で実施するものとする。

ＣＰＵ２９は、解像度変換部１８により解像度変換した後の画像が供給されると、この画像に映されている被写体を特定してその笑顔度レベルを算出し、さらに笑顔度の情報をＧＵＩ表示するためのＯＳＤを作成すると、これを表示制御部２１を介してモニタ・ディスプレイ２５上に表示する。

図６には、モニタ・ディスプレイ２５上で被写体の笑顔度レベルの表示と、現在設定されている笑顔検出レベルの表示及びそのレベル切り替えを行なう設定画面の構成例を示している。図示の画面左下に笑顔度レベルの情報がスライダ型メータの形式で表示されている。このスライダ型メータは、その長手方向に沿って数値レベルを有し、図中左右の各端がレベルの０％と１００％に相当する。同図において、太く表示されている部分（Ａ）が現在検出中の笑顔度レベルを表している。また、縦長のスライド・バー（Ｂ）は、スライダ型メータ上をその長手方向に沿って移動可能であり、その表示位置が設定中の笑顔検出レベルを表している。そして、時々刻々と入力される画面から被写体の笑顔度レベルが検出され、この笑顔検出レベルを超えたとき（同図において、笑顔表示バーのうち太い部分（Ａ）の右端が笑顔レベルのスライド・バー（Ｂ）を振り切ったとき）、被写体の検出顔から笑顔が検出されたこと、すなわち撮影条件を満たしたことを意味する。

なお、スライダ型メータの構成方法自体は当業界において周知であり、例えば音量調整などの表示・コントロールに広く適用されている。

ユーザは、ＵＩ部２８の操作を通じて笑顔検出レベルのスライド・バー（Ｂ）をスライダ型メータ上で左又は右に移動させることによって、笑顔検出レベルを変更することができる。よって、被写体はあまり笑っていないのに自動撮影が起動する、あるいは被写体は充分笑みを作っているにも拘らず自動撮影がなかなか起動しないといった具合に、個人差などに依拠して笑顔の検出レベルが充分でないと推測されるときには、ユーザ操作を介して状況に応じて笑顔検出レベルを適切に修正することができる。

上述したようなスライダ型メータなどを通じて笑顔検出レベルを変更するためのＵＩ部２８へのユーザ操作方法は特に限定されない。例えば、ＵＩ部２８が操作機能として一般に装備する上下左右キー及び中央の決定キーを用いた５通りの入力操作（前述）を用いてこの変更操作を行なうことができる。図７にはそのときの画面遷移例を図解している。但し、同図中の各画面において、押下された操作キーを斜線で示している。

まず、デジタルスチルカメラ１の状態が笑顔検出モードにあるとする。このときに決定キーを押すことで、笑顔検出レベルを変更するモードに入る。

この笑顔検出レベル変更モードに入ると、右キーの押下で検出レベルを上げる操作を行なうことができる。ユーザが右キーを押下する度に、笑顔検出レベルのスライド・バーが右に移動して笑顔検出レベルが上がる。

逆に、左キーを押下することで笑顔検出レベルを下げる操作を行なうことができる。ユーザが左キーを押下する度に、笑顔検出レベルのスライド・バーが左に移動して笑顔検出レベルが下がる。

このような笑顔検出レベルの設定が終了すると、中央の決定キーを押すことによって、最初の笑顔検出モードに復帰することができる。

また、笑顔検出レベルの変更を上述したようなＯＳＤ画面を介したユーザ操作によって行なうのではなく、入力画像中の被写体の検出顔から笑顔が検出される頻度などに応じて笑顔検出レベルの自動調整を行なうことも可能である。

図８には、笑顔検出レベルの自動調整を行なう様子を示している。図示のチャートは横軸を時間とし、縦軸を笑顔検出レベルとしている。

入力画像から被写体の顔検出は行なわれているが、笑顔検出が行なわれない状態がＮ秒だけ続いたら笑顔度を下げる処理を行なう。この処理は周期的に実施されていて、周期毎に決まった定数だけ減算を行なう。

但し、常に検出顔から笑顔を検出するという事態を回避するために、笑顔検出レベルには下限を設けている。上述のように笑顔検出レベルの減算を繰り返し行なった結果、下限値に達した時点で、減算処理は止める。また、減算中に笑顔が検出されたら、減算を止めて、その時点の笑顔レベルを保持する。

また、入力画像から被写体の顔画検出されなくなると、笑顔検出レベルを元（デフォルト値）に戻す。

このようにして、入力画像から被写体の笑顔が検出される状況に応じて、笑顔検出レベルを自動調整することができる。

図９には、図８に示したような笑顔検出レベルの自動調整を実現するための処理手順をフロー形式で示している。但し、同フローはＰＡＤ（Ｐｒｏｂｌｅｍ Ａｎａｌｙｓｉｓ Ｄｉａｇｒａｍ）と呼ばれる、ＪＩＳフローチャートとは異なるプログラム用チャート記法でアルゴリズムの構造を示している。アルゴリズムは本質的に、連接、反復、選択の３つの基本単位の合成として表現することができ、ＰＡＤはこの３種類を基本単位とした記述方式を採っている。

まず、入力画像から被写体の顔検出若しくは笑顔検出する期間を計時するタイマを０に設定し（Ｐ１）、笑顔検出レベルをデフォルト値に初期化してから（Ｐ２）、Ｌ１以下のループ処理を行なう。

ループＬ１では、撮影モード中は以下の処理を繰り返し実行する。

まず入力画像から顔検出を行なう（Ｃ１１）。そして、顔検出されたときには（Ｃ１１のＹｅｓ）、検出中の顔で笑顔検出済みであるか否かを場合分けする（Ｃ２１）。

検出顔で笑顔検出済みであるときには（Ｃ２１のＹｅｓ）、現在の笑顔検出レベルを保持する（Ｐ３１）。

これに対し、検出顔について未だ笑顔が検出されていないときには（Ｃ２１のＮｏ）、Ｐ４１においてタイマをカウントアップし、同タイマがＮ秒を超えたときには（Ｃ３１のＮｏ）、このとき保持されている笑顔レベルが下限に到達しているか否かを場合分けする（Ｃ４１）。

ここで、笑顔レベルが既に下限に到達しているときには（Ｃ４１のＹｅｓ）、現在の笑顔検出レベルを保持するが（Ｐ５１）、まだ下限に到達していないときには、笑顔検出レベルを減算する（ステップＳ５２）。

他方、入力画像から顔画検出されなかったときには（Ｃ１１のＮｏ）、タイマを０にリセットするとともに（Ｐ２１）、笑顔検出レベルを再初期化する（Ｐ２２）。

このように、本実施形態に係るデジタルスチルカメラ１では、被写体の画角を決め、あとは笑顔が検出されれば撮影されるという待機状態になったにも拘らず、笑顔が検出されないために撮影されないという状況を回避することができる。また逆に、あまり笑ってもいないのに笑顔検出されて不必要な画像がたくさん撮影されるという状況も回避できる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、あるいはその他のカメラ機能を備えたさまざまな情報機器に対して本発明を同様に適用することができる。

被写体の笑顔検出は、まず入力画像から被写体の顔を検出し、笑顔検出の対象となる検出顔を特定してから笑顔検出を行なう。本発明の要旨は特定の顔検出処理に限定されるものではない。例えば、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」（第１０回画像センシングシンポジウム（ＳＳＩＩ ２００４））に記載されている顔検出処理方法を適用することができる。また、笑顔検出処理にも同じ処理アルゴリズムを適用することができるが、この場合は参照する画像の辞書が相違する。

また、本明細書では、笑顔検出に基づいて撮影処理を起動する場合についてのみ説明したが、勿論、笑顔検出結果に基づいて撮影以外の処理を行なうことも考えられる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示した図である。 図２は、カメラ画像をモニタ・ディスプレイ２５上にスルー表示する際のデータフローを模式的に示した図である。 図３は、デジタルスチルカメラ１が画像撮影処理する際のデータフローを模式的に示した図である。 図４は、デジタルスチルカメラ１が画像撮影する際の処理手順を示したフローチャートである。 図５は、デジタルスチルカメラ１が笑顔検出に基づいて自動撮影を行なうとともに撮影するタイミングを被写体に通知するための処理手順を示したフローチャートである。 図６は、モニタ・ディスプレイ２５上で被写体の笑顔度レベルの表示と、現在設定されている笑顔検出レベルの表示及びそのレベル切り替えを行なう設定画面の構成例を示した図である。 図７は、上下左右及び決定の５通りの入力が可能な操作キーを用いて笑顔検出レベルを変更する際の画面遷移例を示した図である。 図８は、笑顔検出レベルの自動調整を行なう様子を示した図である。 図９は、笑顔検出レベルの自動調整を実現するための処理手順を示したＰＡＤである。

符号の説明

１…デジタルスチルカメラ
１０…光学系
１０ａ…ドライバ
１１…撮像素子
１２…ＡＦＥ部
１３…ＣＤＳ／ＡＧＣ／ＡＤＣブロック
１４…タイミング・ジェネレータ
１５…Ｖドライバ
１６…カメラＤＳＰ部
１７…カメラ信号処理部
１８…解像度変換部
１９…画像コーデック処理部
２０…メモリ制御部
２１…表示制御部
２２…メディア制御部
２３…バス・インターフェース・ユニット
２４…メモリ装置
２５…モニタ・ディスプレイ
２６…記録メディア
２７…制御部
２８…ＵＩ部
２９…ＣＰＵ
３０…ＲＡＭ
３１…ＥＥＰＲＯＭ
３２…フラッシュ発光部

Claims (25)

1. 被写体を結像した画像を入力する画像入力手段と、
   該入力画像を信号処理する画像信号処理手段と、
   撮影画像を所定の記録メディアに記録する画像記録手段と、
   前記画像信号処理手段による信号処理後の入力画像に含まれる被写体の笑顔度レベルを検出する笑顔度レベル検出手段と、
   前記笑顔度レベル検出手段により検出された笑顔度レベルに基づいて被写体が笑っているか否かを判定するための笑顔検出レベルを設定する笑顔検出レベル設定手段と、
   前記笑顔度レベル検出手段により検出された笑顔度レベルが笑顔検出レベルに到達したことに応じて撮影処理を制御する撮影制御手段と、
   を具備することを特徴とする画像撮影装置。
2. 前記笑顔度レベル検出手段により検出した笑顔度レベルに関する情報をユーザに通知する通知手段をさらに備える、
   ことを特徴とする請求項１に記載の画像撮影装置。
3. 前記画像信号処理手段による信号処理後の入力画像を表示する表示手段をさらに備え、
   前記通知手段は、前記笑顔度レベル検出手段により検出した笑顔度レベルに関する情報を、前記表示手段が表示するスルー画像上にＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示する、
   ことを特徴とする請求項２に記載の画像撮影装置。
4. 前記通知手段は、前記笑顔度レベル検出手段により検出した笑顔度レベルに併せて、笑顔検出レベル設定手段により設定された笑顔検出レベルをＯＳＤ表示する、
   ことを特徴とする請求項３に記載の画像撮影装置。
5. 前記通知手段は、両端がレベルの０％と１００％を表すスライダ型メータを用いて前記笑顔度レベル検出手段により検出した笑顔度レベルを表示するとともに、同メータ上において前記笑顔検出レベル設定手段により設定された笑顔検出レベルの位置をスライド・バーで表示する、
   ことを特徴とする請求項４に記載の画像撮影装置。
6. ユーザからの入力を受容する操作手段をさらに備え、
   前記笑顔検出レベル設定手段は、前記操作手段を介したユーザからの指示入力に応じて笑顔検出レベルを変更する、
   ことを特徴とする請求項１に記載の画像撮影装置。
7. ユーザからの入力を受容する操作手段をさらに備え、
   前記笑顔検出レベル設定手段は、前記操作手段を介したユーザからの指示入力に応じて笑顔検出レベルを変更し、
   前記通知手段は、前記笑顔検出レベル設定手段により変更された笑顔検出レベルに応じて、前記スライダ型メータ上における前記スライド・バーの表示位置を更新する、
   ことを特徴とする請求項５に記載の画像撮影装置。
8. 前記笑顔検出レベル設定手段は、入力画像中の被写体の検出顔から笑顔が検出される状況に応じて笑顔検出レベルの自動調整を行なう、
   ことを特徴とする請求項１に記載の画像撮影装置。
9. 前記笑顔検出レベル設定手段は、被写体の検出顔から笑顔が検出されなくなった経過時間に応じて、笑顔検出レベルを低下させる、
   ことを特徴とする請求項８に記載の画像撮影装置。
10. 前記笑顔検出レベル設定手段は、笑顔検出レベルが所定の下限に到達した時点で保持する、
    ことを特徴とする請求項９に記載の画像撮影装置。
11. 前記笑顔検出レベル設定手段は、被写体の検出顔から笑顔が検出された時点での笑顔検出レベルを保持する、
    ことを特徴とする請求項９に記載の画像撮影装置。
12. 前記笑顔検出レベル設定手段は、入力画像から被写体の顔が検出されなくなったときに、笑顔検出レベルを所定の初期値に戻す、
    ことを特徴とする請求項９に記載の画像撮影装置。
13. 前記画像信号処理手段による信号処理後の入力画像を表示する表示手段と、
    前記画像信号処理手段による信号処理後の入力画像を、前記表示手段に表示するためのサイズに解像度変換し、あるいは撮影モードに応じた画像サイズに解像度変換する解像度変換手段と、
    前記解像度変換手段により撮影モードに応じて解像度変換された画像を画像圧縮する画像圧縮手段を備え、
    前記画像記録手段は、該画像圧縮した画像情報を前記記録メディアに記録する、
    ことを特徴とする請求項１に記載の画像撮影装置。
14. 前記笑顔検出手段は、前記表示手段に表示するために解像度変換された画像に基づいて被写体の笑顔パターンを検出する、
    ことを特徴とする請求項１３に記載の画像撮影装置。
15. 被写体を結像した入力画像を撮影処理する画像撮影方法であって、
    該入力画像を信号処理する画像信号処理ステップと、
    前記画像信号処理ステップによる信号処理後の入力画像に含まれる被写体の笑顔度レベルを検出する笑顔度レベル検出ステップと、
    前記笑顔度レベル検出ステップにおいて検出された笑顔度レベルに基づいて被写体が笑っているか否かを判定するための笑顔検出レベルを設定する笑顔検出レベル設定ステップと、
    前記笑顔度レベル検出ステップにおいて検出された笑顔度レベルが笑顔検出レベルに到達したことに応じて、入力画像を所定の記録メディアに記録する画像記録ステップと、
    を具備することを特徴とする画像撮影方法。
16. 前記笑顔度レベル検出手段において検出した笑顔度レベルに関する情報をユーザに通知する通知ステップをさらに備える、
    ことを特徴とする請求項１５に記載の画像撮影方法。
17. 前記通知ステップでは、前記画像信号処理ステップによる信号処理後のスルー画像を表示する所定の表示手段を用いて、前記笑顔度レベル検出ステップにおいて検出した笑顔度レベルに関する情報をＯＳＤ表示する、
    ことを特徴とする請求項１６に記載の画像撮影方法。
18. 前記通知ステップでは、前記笑顔度レベル検出ステップにおいて検出した笑顔度レベルに併せて、笑顔検出レベル設定ステップにおいて設定された笑顔検出レベルをＯＳＤ表示する、
    ことを特徴とする請求項１７に記載の画像撮影方法。
19. 前記通知ステップでは、両端がレベルの０％と１００％を表すスライダ型メータを用いて前記笑顔度レベル検出ステップにおいて検出した笑顔度レベルを表示するとともに、同メータ上において前記笑顔検出レベル設定ステップにおいて設定された笑顔検出レベルの位置をスライド・バーで表示する、
    ことを特徴とする請求項１８に記載の画像撮影方法。
20. 前記笑顔検出レベル設定ステップでは、所定の操作手段を介したユーザからの指示入力に応じて笑顔検出レベルを変更する、
    ことを特徴とする請求項１５に記載の画像撮影方法。
21. 前記通知ステップでは、所定の操作手段を介したユーザからの指示入力に応じて前記スライダ型メータ上における前記スライド・バーの表示位置を更新し、
    前記笑顔検出レベル設定ステップでは、スライダ型メータ上における前記スライド・バーの表示位置に応じて笑顔検出レベルを変更する、
    ことを特徴とする請求項１９に記載の画像撮影方法。
22. 前記笑顔検出レベル設定ステップでは、入力画像中の被写体の検出顔から笑顔が検出される状況に応じて笑顔検出レベルの自動調整を行なう、
    ことを特徴とする請求項１５に記載の画像撮影方法。
23. 前記笑顔検出レベル設定ステップでは、被写体の検出顔から笑顔が検出されなくなった経過時間に応じて、所定の下限に達しない範囲で笑顔検出レベルを低下させ、被写体の検出顔から笑顔が検出された時点での笑顔検出レベルを保持する、
    ことを特徴とする請求項２２に記載の画像撮影方法。
24. 前記笑顔検出レベル設定ステップでは、入力画像から被写体の顔が検出されなくなったときに、笑顔検出レベルを所定の初期値に戻す、
    ことを特徴とする請求項２２に記載の画像撮影方法。
25. 被写体を結像した入力画像を撮影するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
    該入力画像を信号処理する画像信号処理手順と、
    前記画像信号処理手順を実行して信号処理した後の入力画像に含まれる被写体の笑顔度レベルを検出する笑顔度レベル検出手順と、
    前記笑顔度レベル検出手順を実行することによって検出された笑顔度レベルに基づいて被写体が笑っているか否かを判定するための笑顔検出レベルを設定する笑顔検出レベル設定手順と、
    前記笑顔度レベル検出手順を実行することによって検出された笑顔度レベルが笑顔検出レベルに到達したことに応じて、入力画像を所定の記録メディアに記録する画像記録手順と、
    を実行させることを特徴とするコンピュータ・プログラム。