JP2010273280A - 撮像装置 - Google Patents

Abstract

【課題】 本発明の目的は、撮影シーンやカメラの撮影モードにマッチした被写体の表情（笑顔を含む）又は被写体の動作（ジェスチャー）を、手間無く、簡単に、撮影することができる撮像装置を提供することである。
【解決手段】 本発明の撮像装置（１１〜２８）は、撮影モード及び／又は撮影シーンに応じてトリガー情報を設定する設定手段（２０）と、設定手段により設定されたトリガー情報に基づき、スルー画像からレリーズの契機となる被写体の表情又は動作（ジェスチャー）を検出する検出手段（２０）と、検出手段により被写体の表情又は動作が検出されたときに、自動的に本撮影を実行する制御手段（２０）とを備える。
【選択図】 図１

Description

本発明は、静止画や動画の撮影が可能なデジタルカメラなどの撮像装置に関する。

近年、笑顔を検出して自動的にレリーズ動作を行うデジタルカメラが普及している。また、特許文献１，２などで開示されるように、泣き顔など、笑顔以外の表情を認識するための技術も各種提案されている。これらの従来技術を利用すれば、人の顔の表情に応じて自動的に写真を撮影することができる。

特開２００１−５１３３８号公報 特開２００４−４６５９１号公報

しかしながら、従来技術では、撮影シーンやカメラの撮影モードにマッチした（ぴったり合った）被写体の表情を撮影するには、撮影シーンやカメラの撮影モードに応じて、撮影者などのユーザーが、デジタルカメラで、モード設定などの操作をいちいち行う必要があり煩わしかった。

本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、撮影シーンやカメラの撮影モードにマッチした被写体の表情（笑顔を含む）又は被写体の動作（ジェスチャー）を、手間無く、簡単に、撮影することができる撮像装置を提供することである。

第１の発明の撮像装置は、撮影モード及び／又は撮影シーンに応じてトリガー情報を設定する設定手段と、設定手段により設定されたトリガー情報に基づき、スルー画像からレリーズの契機となる被写体の表情又は動作（ジェスチャー）を検出する検出手段と、検出手段により被写体の表情又は動作が検出されたときに、自動的に本撮影を実行する制御手段とを備える。

第２の発明は、第１の発明において、設定手段は、撮影モードとしてスポーツモードが選択された場合には、被写体の表情のうち、「真面目顔」、「悔し顔」、「歯を食いしばった顔」、「苦しそうな顔」、「必死の形相顔」の何れか１つの表情を示す情報をトリガー情報として設定する。

第３の発明は、第１の発明において、設定手段は、撮影モードとして発光禁止モードが選択された場合には、被写体のジェスチャー（「あくび」、「くしゃみ」、「伸び」など）を示す情報をトリガー情報として設定する。

第４の発明は、第１の発明において、設定手段は、撮影モードとしてこどもスナップモード又は夜景ポートレートモードが選択された場合には、被写体の表情のうち、「真面目顔」、「泣き顔」の何れか１つの表情を示す情報をトリガー情報として設定する。

第５の発明は、第１の発明において、設定手段は、撮影モードとしてポートレートモードが選択された場合には、被写体の表情のうち、「カメラ目線顔」の表情を示す情報をトリガー情報として設定する。

第６の発明は、第１の発明において、撮影シーンは、マイクにより検出された音声に基づいて判別され、設定手段は、撮影シーンの判別において、「泣き声」が認識された場合には、被写体の表情のうち、「泣き顔」の表情を示す情報を、また「笑い声」が認識された場合には、被写体の表情のうち、「笑顔」の表情を示す情報を、また「歓声」が認識された場合には、被写体の表情のうち、「必死の形相顔」、「歯を食いしばった顔」、「苦しそうな顔」の何れか１つの表情を示す情報を、また「落胆する声」が認識された場合には、被写体の表情のうち、「悔し顔」の表情を示す情報を、トリガー情報として設定する。

第７の発明は、第１の発明において、設定手段は、音声認識結果から判別した撮影シーンと、画像解析結果から判別した撮影シーンと、ユーザーにより選択された撮影モードとのうち、少なくとも何れか２つの情報に基づいて、トリガー情報を設定する。

第８の発明は、第１ないし第７の発明の何れか一の発明の撮像装置が行う撮影動作を、ユーザーが、笑顔レリーズモードとは別の「フェイス・アドバンスド・モード」として選択実行可能である。

本発明を利用すれば、撮影シーンやカメラの撮影モードにマッチした被写体の表情（笑顔を含む）又は被写体の動作（ジェスチャー）を、手間無く、簡単に、撮影することができる。

本発明の実施形態のデジタルカメラの構成を示すブロック図である。 フェイス・アドバンスド・モード設定用のＧＵＩ画面の例である。 フェイス・アドバンスド・モードの撮影動作を示す流れ図である。 被写体の表情のイメージを示す図である。 被写体の表情の種類毎に撮影枚数の情報を表示する例を示す図である。 各表情の検出の有効／無効等を設定する方法の例を示す図である。

以下、本発明の実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。

図１は、本実施形態のデジタルカメラの構成を示すブロック図である。

デジタルカメラは、撮像レンズ１１およびレンズ駆動部１２と、撮像素子１３と、アナログ信号処理部１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、表示制御部１８と、表示部１９と、制御部２０と、圧縮／復号部２１と、記録インターフェース（記録Ｉ／Ｆ）２２と、記録媒体２３と、操作部２４と、マイク２５と、Ａ／Ｄ変換器２６と、音声信号処理回路２７と、バス２８とを有している。ここで、バッファメモリ１６、画像処理部１７、表示制御部１８、制御部２０、圧縮／復号部２１、記録Ｉ／Ｆ２２、音声信号処理回路２７は、バス２８を介して接続されている。また、レンズ駆動部１２、アナログ信号処理部１４、ＴＧ１５、操作部２４は、それぞれ制御部２０に接続されている。

撮像レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１１を１枚のレンズとして図示している。

レンズ駆動部１２は、制御部２０の指示に応じてレンズ駆動信号を発生し、撮像レンズ１１を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ１１を通過した光束による被写体像を撮像素子１３の受光面に形成する。

撮像素子１３は、動画像や連写画像の撮影が可能な撮像素子であり、例えば、ＣＣＤ型撮像素子、あるいはＣＭＯＳ型撮像素子などによって構成される。なお、撮像素子１３は、勿論、１フレーム毎の静止画像の撮影も可能である。

撮像素子１３は、撮像レンズ１１の像空間側に配置され、その受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１３の出力はアナログ信号処理部１４に接続されている。

アナログ信号処理部１４は、制御部２０の指示に応じて、撮像素子１３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などのアナログ信号処理を施すと共に、その処理後の画像信号を出力する。なお、アナログ信号処理部１４の出力はバッファメモリ１６に接続されている。

また、アナログ信号処理部１４は、制御部２０の指示に基づいてゲイン調整の調整量を設定し、それによってＩＳＯ感度に相当する撮影感度の調整を行う。

ＴＧ１５は、制御部２０の指示に基づき撮像素子１３およびアナログ信号処理部１４に対してタイミングパルスを供給する。撮像素子１３およびアナログ信号処理部１４の駆動タイミングはそのタイミングパルスによって制御される。

バッファメモリ１６は、アナログ信号処理部１４から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ１６は、制御部２０により記録媒体２３から読み出された画像データや、制御部２０による処理の過程で作成された画像データを一時的に記憶する。

画像処理部１７は、制御部２０の指示に応じて、バッファメモリ１６の画像データに対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、解像度変換（画素数変換）などの画像処理を施す。なお、解像度変換（画素数変換）は、表示部１９に画像データを表示させる場合などに必要な処理である。画像処理部１７は、ＡＳＩＣなどとして構成される。

表示制御部１８は、制御部２０の指示に応じて、画像処理後の画像データに所定の信号処理（例えば、ＮＴＳＣ方式の複合映像信号に変換するための信号処理）を施して表示部１９へ出力する。この出力により、画像データが表示部１９に表示される。なお、本実施形態による表示部１９は、デジタルカメラ筐体の背面に設けられたＬＣＤモニタであるが、表示部１９として、接眼部を介して観察される電子ファインダを構成しても良い。

圧縮／復号部２１は、制御部２０の指示に応じて、バッファメモリ１６の画像データに圧縮処理又は復号処理を施す。なお、圧縮処理及び復号処理は、静止画撮影時にはＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われ、動画撮影時にはＭＰＥＧ（Moving Picture Experts Group）形式などによって行われる。

また、圧縮／復号部２１は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。

記録Ｉ／Ｆ２２には、記録媒体２３を接続するためのコネクタが形成されている。記録Ｉ／Ｆ２２は、そのコネクタに接続された記録媒体２３にアクセスして、各種データの書き込みや読み出しを行う。制御部２０は、撮影時には、この記録Ｉ／Ｆ２２を介して、バッファメモリ１６の圧縮処理後の画像データを記録媒体２３へ記録する。但し、デジタルカメラが非圧縮記録モードに設定された場合には、制御部２０は、バッファメモリ１６の画像処理後の画像データを、圧縮処理を施さずに非圧縮のまま記録媒体２３へ記録する。また、制御部２０は、画像再生時には、記録Ｉ／Ｆ２２を介して、その記録された画像データを記録媒体２３から読み出してバッファメモリ１６へ記録する。なお、記録媒体２３は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。

マイク２５は、動画撮影時などに、デジタルカメラの周囲の音（音声など）を検出して、その検出信号（音声信号）をＡ／Ｄ変換器２６へ出力する。Ａ／Ｄ変換器２６は、入力の音声信号をデジタル信号（音声データ）に変換して、音声信号処理回路２７へ出力する。音声信号処理回路２７は、制御部２０の指示に応じて、入力の音声データを所定の形式に変換した後にバッファメモリ１６へ記録する。

操作部２４は、レリーズボタン、モード設定ボタン、メニューボタン、画像再生ボタン等の各種の操作部材を含み、ユーザーによる各部材の操作内容に応じた操作信号を制御部２０に送る。

制御部２０は、ユーザーによる操作部材の操作等に応じてデジタルカメラの各部を統括制御する。

制御部２０は、例えば、モード設定ボタン等の操作により「笑顔レリーズモード」に設定され、デジタルカメラのレンズが被写体に対して向けられると、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動してスルー画像の撮影を開始する。このとき、撮像素子１３はドラフトモード（間引き読み出しモード）で駆動され、スルー画像の画像データがアナログ信号処理部１４を介してバッファメモリ１６へ順次記録される。制御部２０は、そのスルー画像の画像データを基に、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。また、制御部２０は、不図示の測光部を駆動して、バッファメモリ１６のスルー画像の画像データを基に撮影シーンの評価値を算出させると、その評価値に基づきアナログ信号処理部１４などの設定内容を調整する。また、制御部２０は、画像処理部１７を駆動してバッファメモリ１６のスルー画像の画像データに画像処理を施した後、表示制御部１８を駆動して画像処理後のスルー画像の画像データを表示部１９に順次表示させる（ライブビュー表示）。

制御部２０は、上記動作中に、スルー画像の画像データから被写体の笑顔を検出すると、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。また、制御部２０は、不図示の測光部が算出した評価値に基づき撮影条件（絞り値、シャッター速度、ストロボ発光の有無など）を決定する。そして、制御部２０は、決定した撮影条件の下でレンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動して本撮影を実施する。このとき、撮像素子１３はフレームモード（全画素読み出しモード）で駆動され、撮影された静止画像（本撮影画像）の画像データがアナログ信号処理部１４を介してバッファメモリ１６へ記録される。この後、制御部２０は、画像処理部１７を駆動して、バッファメモリ１６に記録された本撮影画像の画像データに対し画像処理を施す。また、制御部２０は、表示制御部１８を駆動して、画像処理後の本撮影画像を表示部１９に表示させる。そして、制御部２０は、圧縮／復号部２１を駆動して、画像処理後の本撮影画像の画像データに対し圧縮処理を施すと共に、圧縮処理後の本撮影画像の画像データを記録Ｉ／Ｆ２２を介して記録媒体２３へ記録する。但し、デジタルカメラが非圧縮記録モードに設定された場合には、制御部２０は、圧縮／復号部２１を駆動することなく、画像処理後の本撮影画像の画像データを非圧縮のまま記録Ｉ／Ｆ２２を介して記録媒体２３へ記録する。

ところで、本実施形態のデジタルカメラは、上記の「笑顔レリーズモード」の機能を拡充させた「フェイス・アドバンスド・モード」を更に備えている。「フェイス・アドバンスド・モード」は、撮影シーンやデジタルカメラの撮影モードにマッチした被写体の表情（笑顔を含む）又は動作（ジェスチャー）を検出したときに、自動的に本撮影を行うモードであり、「笑顔レリーズモード」とは別のモードとして選択することが可能である。

「フェイス・アドバンスド・モード」で撮影を行うには、ユーザーは、例えば、モード設定ボタン等の操作により図２に示すＧＵＩ画面をＬＣＤモニタ等に表示させ、その画面から所望の撮影モードを選択してデジタルカメラを「フェイス・アドバンスド・モード」に設定する。そして、その設定後に、デジタルカメラのレンズを被写体に向けることで、「フェイス・アドバンスド・モード」による撮影を開始することができる。

以下、デジタルカメラが行う「フェイス・アドバンスド・モード」の撮影動作について、図３のフローチャートを参照して説明する。

ステップ１０１（Ｓ１０１）：制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動してスルー画像の撮影を開始する。このとき、撮像素子１３はドラフトモード（間引き読み出しモード）で駆動される。

ステップ１０２：制御部２０は、ユーザーにより選択された撮影モードに応じて処理を分岐する。制御部２０は、例えばスポーツモードが選択された場合にはステップ１０３へ移行する。また、制御部２０は、例えば発光禁止モードが選択された場合にはステップ１０４へ移行する。また、制御部２０は、例えばこどもスナップモードが選択された場合にはステップ１０５へ移行する。また、制御部２０は、例えば夜景ポートレートモードが選択された場合にはステップ１０６へ移行する。また、制御部２０は、例えばポートレートモードが選択された場合にはステップ１０７へ移行する。また、制御部２０は、例えばバースデーモードが選択された場合にはステップ１０８へ移行する。

ステップ１０３：（スポーツモードが選択された場合の処理）
制御部２０は、被写体の表情のうち、「真面目顔」、「悔し顔」、「歯を食いしばった顔」、「苦しそうな顔」、「必死の形相顔」の何れか１つの表情を示す情報をトリガー情報として設定する。なお、被写体の表情の幾つかについて、そのイメージを図４に示す。本実施形態では、この図４に示すような顔の表情（目、眉、口などの顔の各パーツの形状や位置）を予めテンプレート情報として持っており、そのテンプレート情報に基づいて、類似した顔の表情をスルー画像の中から検出すると、それを撮影のトリガーとするものである。これにより、デジタルカメラでは、動きの早い被写体の撮影に最適なスポーツモードにおいて、それらの何れか１つの表情を検出したときに自動的に本撮影を行うようにする。そして、制御部２０は、ステップ１０９へ移行する。

ステップ１０４：（発光禁止モードが選択された場合の処理）
制御部２０は、被写体の動作（ジェスチャー）を示す情報をトリガー情報として設定する。なお、ジェスチャーは、例えば、被写体が赤ちゃんであれば、「あくび」、「くしゃみ」、「伸び」などの動作である。これにより、デジタルカメラでは、眠っている赤ちゃんを起こさずに撮りたいときや、美術館などのフラッシュの発光が禁止されている場所での撮影に適した発光禁止モードにおいて、被写体の動作（ジェスチャー）を検出したときに自動的に本撮影を行うようにする。そして、制御部２０は、ステップ１０９へ移行する。

ステップ１０５：（こどもスナップモードが選択された場合の処理）
制御部２０は、被写体の表情のうち、「真面目顔」、「泣き顔」、「怒り顔」の何れか１つの表情を示す情報をトリガー情報として設定する。これにより、デジタルカメラでは、子供のきれいな肌の色を健康的に再現し、服装や背景も鮮やかに表現するこどもスナップモードにおいて、それらの何れか１つの表情を検出したときに自動的に本撮影を行うようにする。そして、制御部２０は、ステップ１０９へ移行する。

ステップ１０６：（夜景ポートレートモードが選択された場合の処理）
制御部２０は、被写体の表情のうち、「真面目顔」、「泣き顔」の何れかの表情を示す情報をトリガー情報として設定する。これにより、デジタルカメラでは、夕焼けや夜景を背景にした人物撮影に適しており、イルミネーションや、黄昏時の空のグラデーションなどを、人物、背景と共に鮮明に表現できる夜景ポートレートモードにおいて、それらの何れかの表情を検出したときに自動的に本撮影を行うようにする。そして、制御部２０は、ステップ１０９へ移行する。

ステップ１０７：（ポートレートモードが選択された場合の処理）
制御部２０は、被写体の表情のうち、目線がカメラに向いている「カメラ目線顔」の表情を示す情報をトリガー情報として設定する。これにより、デジタルカメラでは、人物撮影に適したポートレートモードにおいて、「カメラ目線顔」の表情を検出したときに自動的に本撮影を行うようにする。そして、制御部２０は、ステップ１０９へ移行する。

ステップ１０８：（バースデーモードが選択された場合の処理）
制御部２０は、被写体の表情のうち、例えば、ろうそくの火を消すためにケーキに向かって「口を尖らせている顔」の表情を示す情報をトリガー情報として設定する。これにより、デジタルカメラでは、バースデーモードにおいて、「口を尖らせている顔」の表情を検出したときに自動的に本撮影を行うようにする。そして、制御部２０は、ステップ１０９へ移行する。

ステップ１０９：制御部２０は、バッファメモリ１６に記録されたスルー画像（１フレーム分）から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。なお、その検出は、例えば、特開２００１−１６５７３号公報に記載される特徴点抽出処理などの従来技術を利用して行える。また、特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。

ところで、デジタルカメラが顔登録モードに設定された場合には、制御部２０は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから、登録人物の顔認識データを生成して、それを特定の人物（被写体）を認識するためのデータとして登録する。そして、制御部２０は、「フェイス・アドバンスド・モード」の撮影動作において、撮影画面内の人物（被写体）の顔が特定の人物であるか否かを判断する際に、その登録された顔認識データを使用する。具体的には、先ず、制御部２０は、検出された顔の特徴点に基づいて、撮影される人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に、制御部２０は、上記の演算結果と登録された顔認識データとを比較して、撮影される人物の顔と登録された特定の人物の顔との相似度を求める。そして、制御部２０は、上記の相似度が予め定められた閾値を超える場合に、撮影される人物が特定の人物であると判断して認識する。

制御部２０は、上記で検出した被写体の顔領域のデータと、上記で抽出した特徴点と、そして上記で設定されたトリガー情報とに基づきバッファメモリ１６のスルー画像（１フレーム分）からレリーズの契機となる被写体の表情又は動作（ジェスチャー）を検出する。

なお、被写体の表情（例えば、上述した真面目顔、泣き顔、困り顔、怒り顔、悔し顔、歯を食いしばった顔、苦しそうな顔、必死の形相顔、口を尖らせている顔、カメラ目線顔など）の検出は、例えば、特開２００１−５１３３８号公報などで開示される従来の手法を利用して行える。また、表情の検出においては、ウインク（目瞑り）を検出するようにしてもよい。ウインクの検出は、例えば、特開２００１−３３８３０３号公報などで開示される従来の手法を利用して行える。

また、被写体のジェスチャー（例えば、被写体が赤ちゃんであれば、あくび、くしゃみ、伸びなどの動作・ポーズ）の検出は、例えば、特開２００４−２９４４９８号公報などで開示される従来の手法を利用して行える。なお、あくびの場合は口を大きく開けた状態を検出し、くしゃみの場合は顔がクシャとなった瞬間を検出するようにする。

また、上記の被写体の表情、ジェスチャーは、ユーザーが、デジタルカメラに予め用意されているテンプレートを使用してカスタマイズすることが可能である。

また、「フェイス・アドバンスド・モード」においては、上述した被写体の表情だけでなく、もちろん、被写体の笑顔を検出することも可能である。笑顔の検出は、選択された撮影モードに拘わりなく行われる、即ち、どの撮影モードが選択されても検出が行われるが、ユーザーが笑顔の検出を無効に設定した場合には被写体がどのように笑おうともそれが笑顔として検出されることはない。なお、笑顔の検出は、例えば、ユーザーにより設定される「検出レベル」或いは「笑顔度」に基づいて行われる。例えば、「検出レベル」が「弱」或いは「笑顔度」が「８０％」などに設定されると、制御部２０は、大笑いのようにはっきりとした笑顔のみを検出する。一方、「検出レベル」が「強」或いは「笑顔度」が「１０％」などに設定されると、制御部２０は、微笑みのような僅かな笑顔までも検出するようになる。このような笑顔の検出は、例えば、特開２００４−４６５９１号公報などで開示される従来の手法を利用して行える。

ステップ１１０：制御部２０は、レリーズの契機となる被写体の表情又は動作（ジェスチャー）を検出できたか否かを判定する。そして、制御部２０は、検出できた場合にはステップ１１１へ移行し（Ｙｅｓ側）、一方、検出できない場合にはステップ１１５へ移行する（Ｎｏ側）。

ステップ１１１：制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５の駆動を停止して、スルー画像の撮影を終了する。

ステップ１１２：制御部２０は、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。また、制御部２０は、上記で選択された撮影モードに基づき撮影条件（絞り値、シャッター速度、ストロボ発光の有無など）を決定する。そして、制御部２０は、決定した撮影条件の下でレンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動して本撮影を実施する。このとき、撮像素子１３はフレームモード（全画素読み出しモード）で駆動される。その後、制御部２０は、画像処理部１７を駆動して、バッファメモリ１６に記録された本撮影画像の画像データに対し画像処理を施す。このとき、本撮影画像の画像データには、上記で選択された撮影モードに応じて適切な内容の画像処理が施される。

ステップ１１３：制御部２０は、表示制御部１８を駆動して、画像処理後の本撮影画像を表示部１９に表示させる。

ステップ１１４：制御部２０は、圧縮／復号部２１を駆動して、画像処理後の本撮影画像の画像データに対し圧縮処理を施すと共に、圧縮処理後の本撮影画像の画像データを記録Ｉ／Ｆ２２を介して記録媒体２３へ記録する。そして、制御部２０は、撮影に係るデジタルカメラ各部の駆動を停止して、本フローチャートの処理を終了する。

ステップ１１５：制御部２０は、画像処理部１７を駆動して、バッファメモリ１６のスルー画像の画像データに対し画像処理を施す。このとき、スルー画像の画像データには、上記で選択された撮影モードに応じて適切な内容の画像処理が施される。そして、制御部２０は、表示制御部１８を駆動して、画像処理後のスルー画像（１フレーム分）を表示部１９に表示させる。

ステップ１１６：制御部２０は、撮影中止の指示が行われたか否かを判定する。なお、撮影中止の指示は、ユーザーがモード設定ボタンを操作することなどによって行える。

制御部２０は、指示が行われていない場合には、ステップ１０２へ移行して上記の処理を繰り返す（Ｎｏ側）。一方、制御部２０は、撮影中止の指示が行われた場合には、撮影に係るデジタルカメラ各部の駆動を停止して、本フローチャートの処理を終了する（Ｙｅｓ側）。

（本実施形態の補足事項）
なお、上記ステップ１１３で本撮影画像を表示する際には、例えば図５に示すように、被写体の表情についてその種類毎の撮影枚数の情報を一緒に表示するようにしてもよい。また、動作（ジェスチャー）についてもその種類毎の撮影枚数の情報を一緒に表示するようにしてもよい。

また、被写体の表情の種類や動作（ジェスチャー）の種類に関する情報を、テキスト或いは記号（例えば、表情マーク）などとして本撮影画像と共に記録媒体へ記録するようにしてもよい。そうした場合、その情報は画像ファイルのタグ情報などとして記録する。そうすれば、如何なる表情、動作（ジェスチャー）で自動撮影されたかを、その情報を表示することで視覚的に判断することができるようになる。また、後の画像検索（デジタルカメラの画像再生モードなどにおいて行える。）で、そのテキスト或いは記号を検索キーワードとして利用することができるようになる。

また、上記ステップ１０９での被写体の笑顔の検出については、その「検出レベル」或いは「笑顔度」を、デジタルカメラに登録される人物（被写体）毎に設定することができる。例えば、普段あまり笑わない人物に対しては、少し笑っただけでも笑顔が検出されるように設定することができる。具体的には、図６の例に示すように、人物毎に「笑顔度」を設定する。図６の例では、Ａさんは、「笑顔度」が５０％に設定されているので少し笑っただけでも笑顔が検出される。なお、Ｃさんは、「笑顔度」が０％に設定されているので、どのように笑ってもそれが笑顔として検出されることはない。なお、この設定は、例えば、ＬＣＤモニタ上にその人物の顔が写った画像を表示した状態で行うことが可能である。また、「笑顔度」のパーセンテージは、画面に表示されたスライドバーの操作、或いは入力欄への数値入力によって設定することが可能である。

また、図６の例では、人物毎に、検出を有効とする表情の種類を設定することができるようになっている。図６の例では、喜怒哀楽等の表情について、ユーザーは、それらの検出の有効／無効を、チェックボックス形式に「○（有効）」／「×（無効）」を入力することによって設定することができる。例えば、Ａさんに対しては、表情の種類として、喜び、怒り、驚き、視線、ウインクの検出が有効に設定されている。そのため、Ａさんについては、喜び、怒り、驚きの何れかが検出された場合、又は視線がカメラに向けられ、かつウインクが検出された場合に自動的に本撮影が行われる。また、Ｃさんに対しては、視線とウインクのみ検出が有効に設定されている。そのため、Ｃさんについては、視線がカメラに向けられ、かつウインク検出された場合にのみ自動的に本撮影が行われる。なお、視線（目線）の検出は、既述のとおり、例えば、特開２００１−５１３３８号公報などで開示される従来の手法を利用して行える。

また、視線とウインクの検出が有効に設定されている場合には、ウインクが検出されてから所定の時間（ディレイ時間）が経過するのを待ってから本撮影を行うようにしてもよい。なお、ディレイ時間については、ユーザーに、任意の時間を入力させてもよいし、画面に表示させた、例えば３秒、５秒などの時間の中から１つを選択させるようにしてもよい。

また、撮影モードとしてスポーツモードが選択された場合において、被写体が、例えば走っているなどの移動しているときには「真面目顔」、「悔し顔」、「歯を食いしばった顔」、「苦しそうな顔」、「必死の形相顔」の何れか１つの表情を検出した場合にのみ自動的に本撮影を行うようにする。そして、被写体が停止しているときには、それらの表情に加えて「笑顔」を検出した場合にも自動的に本撮影を行うようにしてもよい。

また、ポートレートモードが選択された場合において、被写体の目を検出したら、目にピントが合ったポートレート写真を撮影するためにマルチＡＦ（オートフォーカス）ポイントを目に対して自動的に設定するようにしてもよい（目ピント優先ポートレートモード）。

また、そうした場合において、例えば被写体の顔がカメラに対して斜めに向いているなどして、被写体の２つの目の何れかにしかピントが合わないときには、カメラに近い方の目のみにピントを合わせるようにしてもよい。

また、上記では説明していないが、デジタルカメラでは、撮影モードとして「花火Ａモード」をユーザーに選択させることもできる。なお、「花火Ａモード」が選択された場合には、デジタルカメラでは、花火と被写体の表情（例えば、笑顔、真面目顔など）との両方をスルー画像から検出するようにする。そして、デジタルカメラでは、それら両方を検出したときに、花火が白飛びしない低感度露出と、被写体の顔が綺麗に写る高感度露出との異なる露出で自動的にブラケット撮影（露出ブラケット撮影）を行うようにする。

また、上記では説明していないが、デジタルカメラでは、撮影モードとして「花火Ｂモード」をユーザーに選択させることもできる。なお、「花火Ｂモード」が選択された場合には、デジタルカメラでは、打ち上げなどの花火を見ている被写体の表情が「笑顔」になるのをスルー画像から検出するようにする。そして、デジタルカメラでは、「笑顔」を検出したときに自動的に本撮影を行うようにする。なお、この場合には、花火の光によって少し明るくなった状態で被写体の笑顔の写真が撮影されればよく、花火自体は写真に写っていなくてよい。

また、撮影モードとしてスポーツモードが選択された場合には、スポーツの開始前と、開始して間もないときと、それらの後との夫々で、被写体の笑顔の検出基準（「検出レベル」或いは「笑顔度」として設定する値）を変更して撮影を行うようにしてもよい。

また、バースデーモードが選択された場合において、「口を尖らせている顔」を検出したときには、その検出、即ち被写体がケーキに向かって口を尖らせた表情をした瞬間から、ケーキのろうそくの火が消えるまでの間に、自動的に連写撮影を行うようにするとよい。

また、「フェイス・アドバンスド・モード」においては、デジタルカメラのマイク２５を用いて周囲の音（特に、音声）を検出し、その検出した音声から撮影シーンを判別するようにしてもよい。そして、音声から判別した撮影シーンに応じて、各シーンにマッチする被写体の表情又は動作（ジェスチャー）をトリガー情報として設定するようにしてもよい。

なお、撮影シーンを判別するための音声認識には、例えば、特開２００５−１１５６０７号公報（従来手法１）、特開２００２−６８７４号公報（従来手法２）、特開２００２−３１２８６０号公報（従来手法３）などで開示される従来の手法を利用することができる。このうち従来手法１によれば「歓声」を認識することができ、従来手法２によれば「笑い声」を認識することができ、従来手法３によれば「泣き声」を認識することができる。

即ち、これらの手法を用いた音声認識により撮影シーンを判別して、例えば、「泣き声」が認識された場合には被写体の表情の「泣き顔」を、「笑い声」が認識された場合には被写体の表情の「笑顔」を、「歓声」が認識された場合には被写体の表情の「必死の形相顔」、「歯を食いしばった顔」、「苦しそうな顔」の何れかをトリガー情報として設定するようにするとよい。また、落胆する声が認識された場合には、被写体の表情の「悔し顔」をトリガー情報として設定するようにするとよい。なお、「歓声」については、歓声のレベル（音量、音圧など）や質（周波数の高さ）に応じて、それらが高いものから「必死の形相顔」、「歯を食いしばった顔」、「苦しそうな顔」という順に、トリガー情報を設定するようにしてもよい。

また、前記の音声認識による認識結果と、スルー画像の画像解析結果（例えば、画像内の動きベクトルに基づき、動きの速い被写体か否かを自動的に識別するなど）と、上述のユーザーにより選択された撮影モードとのうち、少なくとも何れか２つの情報を考慮してトリガー情報を設定するようにしてもよい。

例えば、マラソン競技を撮影している場合において、撮影モードとしてスポーツモードが選択され、且つ、スルー画像の画像解析結果から主要な被写体の動き（動きベクトル）が徐々に小さくなっている場合には、マラソン競技中のランナーのペースが徐々に落ちて、ランナーにとっては苦しい状況であることが推定される。そのため、このような場合、デジタルカメラでは、被写体の表情の「苦しそうな顔」をトリガー情報として設定するようにする。

また、マラソン競技を撮影している場合において、スポーツモードが選択され、スルー画像の画像解析結果から主要な被写体の近傍に主要な被写体と同様な動き（動きベクトル）をしている別の被写体が存在し、更に音声認識により「歓声」が認識された場合には、マラソンランナーが競い合っている状況であることが推定される。そのため、このような場合、デジタルカメラでは、被写体の表情の「歯を食いしばった顔」をトリガー情報として設定するようにする。

また、更に、このときに音声認識により「歓声」の音量が非常に大きく上がったり、悲鳴のような高周波な「歓声」が認識される場合には、マラソンランナーがデッドヒートしている状況であることが推定される。そのため、このような場合、デジタルカメラでは、被写体の表情の「必死の形相顔」をトリガー情報として設定するようにする。

また、上記では、撮影モードをユーザーが選択しているが、ユーザーに撮影モードを選択させることなく、取得されたスルー画像の画像解析結果に基づいて、例えば、スポーツのシーンを撮影中であれば、自動的に、既述のスポーツモードの処理へ移行するようにしてもよい。

（本実施形態の作用効果）
以上、本実施形態のデジタルカメラでは、「フェイス・アドバンスド・モード」で撮影を行うと、ユーザーの選択した撮影モードに応じてトリガー情報が設定される。或いは、画像解析により判別された撮影シーンに応じてトリガー情報が設定される。或いは、ユーザーの選択した撮影モードと、音声認識により判別された撮影シーンと、画像解析により判別された撮影シーンとのうち、少なくとも何れか２つの情報に基づいて、トリガー情報が設定される。そして、設定されたトリガー情報に基づき、スルー画像からレリーズの契機となる被写体の表情又は動作（ジェスチャー）が検出されると、自動的に本撮影が実行される。

従って、本実施形態のデジタルカメラでは、撮影シーンやカメラの撮影モードにマッチした被写体の表情（笑顔を含む）又は被写体の動作（ジェスチャー）を、手間無く、簡単に、撮影することができる。

（その他）
なお、上記ではデジタルカメラの実施形態を説明したが、本発明の撮像装置は、静止画や動画の撮影が可能な他の装置／機器、例えば、携帯電話機やデジタルビデオカメラなどにも適用することが可能である。

１１…撮像レンズ，１２…レンズ駆動部，１３…撮像素子，１４…アナログ信号処理部，１５…タイミングジェネレータ（ＴＧ），１６…バッファメモリ，１７…画像処理部，１８…表示制御部，１９…表示部，２０…制御部，２１…圧縮／復号部，２２…記録インターフェース（記録Ｉ／Ｆ），２３…記録媒体，２４…操作部，２５…マイク，２６…Ａ／Ｄ変換器，２７…音声信号処理回路，２８…バス

Claims (8)

1. 撮影モード及び／又は撮影シーンに応じてトリガー情報を設定する設定手段と、
   前記設定手段により設定された前記トリガー情報に基づき、スルー画像からレリーズの契機となる被写体の表情又は動作（ジェスチャー）を検出する検出手段と、
   前記検出手段により前記被写体の表情又は動作が検出されたときに、自動的に本撮影を実行する制御手段と
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記設定手段は、前記撮影モードとしてスポーツモードが選択された場合には、前記被写体の表情のうち、「真面目顔」、「悔し顔」、「歯を食いしばった顔」、「苦しそうな顔」、「必死の形相顔」の何れか１つの表情を示す情報を前記トリガー情報として設定する
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記設定手段は、前記撮影モードとして発光禁止モードが選択された場合には、前記被写体のジェスチャー（「あくび」、「くしゃみ」、「伸び」など）を示す情報を前記トリガー情報として設定する
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記設定手段は、前記撮影モードとしてこどもスナップモード又は夜景ポートレートモードが選択された場合には、前記被写体の表情のうち、「真面目顔」、「泣き顔」の何れか１つの表情を示す情報を前記トリガー情報として設定する
   ことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   前記設定手段は、前記撮影モードとしてポートレートモードが選択された場合には、前記被写体の表情のうち、「カメラ目線顔」の表情を示す情報を前記トリガー情報として設定する
   ことを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、
   前記撮影シーンは、マイクにより検出された音声に基づいて判別され、
   前記設定手段は、前記撮影シーンの判別において、「泣き声」が認識された場合には、前記被写体の表情のうち、「泣き顔」の表情を示す情報を、また「笑い声」が認識された場合には、前記被写体の表情のうち、「笑顔」の表情を示す情報を、また「歓声」が認識された場合には、前記被写体の表情のうち、「必死の形相顔」、「歯を食いしばった顔」、「苦しそうな顔」の何れか１つの表情を示す情報を、また「落胆する声」が認識された場合には、前記被写体の表情のうち、「悔し顔」の表情を示す情報を、前記トリガー情報として設定する
   ことを特徴とする撮像装置。
7. 請求項１に記載の撮像装置において、
   前記設定手段は、音声認識結果から判別した撮影シーンと、画像解析結果から判別した撮影シーンと、ユーザーにより選択された撮影モードとのうち、少なくとも何れか２つの情報に基づいて、前記トリガー情報を設定する
   ことを特徴とする撮像装置。
8. 請求項１ないし請求項７の何れか一項に記載の撮像装置が行う撮影動作を、ユーザーが、笑顔レリーズモードとは別の「フェイス・アドバンスド・モード」として選択実行可能である
   ことを特徴とする撮像装置。
   

Images