JP2011147075A - カメラの表示装置 - Google Patents

Abstract

【課題】 本発明の目的は、被写体の人物が、撮影時に、自分の顔の表情の映り具合をはっきりと確認することができるカメラの表示装置を提供することである。
【解決手段】 本発明のカメラ（２）の表示装置は、撮影レンズを介して被写体を撮影し、画像データを出力する撮像部と、前記画像データの画像に基づき前記被写体の顔の表情を検出する検出部と、前記検出部の検出した前記顔の表情を示す情報を、前記被写体となる人物に向けて表示する第１の表示部（１）とを備える。
【選択図】 図１

Description

本発明は、デジタルカメラ（デジタルスチルカメラやデジタルビデオカメラなど）に適用されるカメラの表示装置に関する。

近年、撮影アングルを自由に変えながら、被写体となる人物の顔の表情（笑顔の状態や目瞑りの状態など）を確認することができるバリアングルモニターを備えたデジタルカメラが普及している（例えば、特許文献１）。

しかし、このようなカメラでは、被写体となる人物が、その人物の側から自分の顔の表情の映り具合を確認するには、バリアングルモニターを回転させるなどの操作が必要であり面倒であった。

そこで、その操作の煩わしさを軽減するため、例えば、カメラの撮影レンズ側の面（前面と呼ぶ。）に２つ目のモニターを備え、そのモニターに被写体となる人物の顔の表情を表示することで、自分の顔の表情がカメラ側でどんなふうに映っているかを、被写体の人物自身が確認できるようにしたデジタルカメラが現れている（例えば、Samsung Electronics Corporation製、Digital Still Camera ＳＴ５５０など）。

特開２００４−１２０７９４号公報

しかしながら、上記従来のデュアルモニター・タイプのカメラでは、その前面に備えたモニターが小型なものでありその画面も小さいため、被写体の人物の側からカメラに映っている自分の顔の表情を確認するのは難しかった。特に、集合写真を撮影するような場合には、被写体となる人物の数が多いことから各人物が小さく表示されてしまうため、カメラ前面のモニターの表示からは、被写体の各人物が、それぞれ自分の顔の表情を確認するのは困難となっていた。

本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、被写体の人物が、撮影時に、自分の顔の表情の映り具合をはっきりと確認することができるカメラの表示装置を提供することである。

第１の発明のカメラの表示装置は、撮影レンズを介して被写体を撮影し、画像データを出力する撮像部と、前記画像データの画像に基づき前記被写体の顔の表情を検出する検出部と、前記検出部の検出した前記顔の表情を示す情報を、前記被写体となる人物に向けて表示する第１の表示部とを備える。

第２の発明は、第１の発明において、前記検出部は、前記顔の表情を検出するときに前記被写体の顔が撮影画面から外れたか否かを検出し、前記第１の表示部は、前記検出部が前記外れたことを検出した場合、前記被写体となる人物に向けて、その外れたことを前記顔の表情を示す情報と共に表示する。

第３の発明は、第１または第２の発明において、撮影者による静止画像の撮影指示を受け付ける操作部材を更に有し、前記検出部は、前記操作部材の操作に応じて前記撮影部が出力する第２画像データの画像に基づき前記被写体の顔の赤目を検出し、前記第１の表示部は、前記検出部が前記顔の赤目を検出した場合、前記被写体となる人物に向けて、その顔の赤目を示す情報を、前記操作部材の操作前に前記撮影部が出力した第１画像データの画像に基づいて前記検出部が検出した前記顔の表情を示す情報と共に表示する。

第４の発明は、第１ないし第３の発明の何れか一の発明において、撮影者に向けて前記情報を表示する第２の表示部を更に備える。

第５の発明は、第１ないし第４の発明の何れか一の発明において、前記第１の表示部は、カメラの撮影レンズ側の面に配置される。

第６の発明は、第４の発明において、前記第２の表示部は、カメラの前記第１の表示部が配置される面の裏側となる面に配置される。

第７の発明は、第１または第４の発明において、前記第１の表示部、または、前記第１の表示部および前記第２の表示部は、前記被写体が複数の場合には、被写体毎に前記情報を個別に表示する。

第８の発明は、第１または第４の発明において、前記第１の表示部、または、前記第１の表示部および前記第２の表示部は、前記顔の表情を示す情報として、顔の表情に応じたマークを表示する。

第９の発明は、第１または第４の発明において、前記被写体が複数の場合には、前記検出部は、前記複数の被写体のそれぞれの顔の表情を検出し、前記第１の表示部、または、前記第１の表示部および前記第２の表示部は、前記検出部が検出した前記複数の被写体の顔の表情に基づいて、前記顔の表情を示す情報として、顔の表情の度合いに応じた１つのマークを表示する。

第１０の発明は、第４の発明において、前記第１の表示部と前記第２の表示部とは、共通の表示部材であり、カメラの上面に配置される。

本発明を利用すれば、被写体の人物が、撮影時に、自分の顔の表情の映り具合をはっきりと確認することができる。

実施形態のデジタルカメラの外観図。 実施形態のデジタルカメラの構成を示すブロック図。 デジタルカメラが行う「依頼撮影モード」の撮影動作を示す流れ図。 被写体の人物の数が少ない場合の顔の情報の表示方法の例を示す図。 被写体の人物の数が多い場合の顔の情報の表示方法の例を示す図。 図５の場合の別の表示方法の例を示す図。 図４（２）の場合の別の表示方法の例を示す図。 図４の場合の別の表示方法の例を示す図。 被写体となる人物の顔の表情「赤目」の状態の表示の例を示す図。 被写体の人物の顔の情報をカメラ上面のＬＥＤで表示する例を示す図。

以下、本発明の実施形態の１つであるデジタルカメラ（デジタルスチルカメラ）について説明する。

図１は、本実施形態のデジタルカメラの外観図である。図１（１）に示すように、デジタルカメラ本体２の前面には、撮影レンズの開口部３が設けられ、その開口部３の隣には、フラッシュ光を発光する発光部４が設けられている。なお、本実施形態のデジタルカメラにおいては、屈曲光学系のレンズ鏡筒による撮影レンズを搭載することとしている。但し、これは一例であり、撮影レンズは屈曲光学系に限定されない。そして、デジタルカメラ本体２の前面中央部分には、被写体となる人物の顔の表情（笑顔の度合いや目瞑り具合など）が、カメラ側でどんなふうに映っているかをその被写体の人物に向けて表示するための顔状態表示部１が設けられている。この顔状態表示部１は、デジタルカメラ本体２を撮影者が把持した状態でも、被写体の人物側から、自身の顔の表情が十分に確認できる部分に配置されている。

また、図１（１）に示すように、デジタルカメラ本体２の上面には、操作部材の電源ボタン５、レリーズボタン６、ズームレバー７が配置されている。

また、デジタルカメラ本体２の裏面（背面）には、図１（２）に示すように、被写体となる人物の映り具合を撮影者に向けて表示するためのモニター表示部８が設けられている。また、カメラを把持するためのグリップの背面に当たる部分には、マルチセレクタやメニューボタン、モード設定ボタンなどの各種の操作部材９、１０が配置されている。

このように、本実施形態のデジタルカメラでは、撮影レンズ側の面であるカメラ前面に第１の表示部の顔状態表示部１を、また、その第１の表示部が配置される面の裏側となる面であるカメラ裏面（背面）に第２の表示部のモニター表示部８を配置するようにしている。そのため、被写体となる人物の顔の表情（笑顔の状態や目瞑りの状態など）が、カメラ側でどんなふうに映っているかを、撮影者だけでなく、被写体となる人物も容易に確認することができる。

次に、デジタルカメラの構成について説明する。図２は、本実施形態のデジタルカメラの構成を示すブロック図である。デジタルカメラは、撮像レンズ１１およびレンズ駆動部１２と、撮像素子１３と、アナログ信号処理部１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、第１表示制御部１８と、顔状態表示部１と、第２表示制御部１９と、モニター表示部８と、制御部２０と、圧縮／復号部２１と、メモリカードインターフェース（メモリカードＩ／Ｆ）２２と、メモリカード２３と、ＲＯＭ２４と、発光部２５と、操作部２５と、バス２６とを有している。ここで、バッファメモリ１６、画像処理部１７、第１表示制御部１８、第２表示制御部１９、制御部２０、圧縮／復号部２１、メモリカードＩ／Ｆ２２、ＲＯＭ２４は、バス２６を介して接続されている。また、レンズ駆動部１２、アナログ信号処理部１４、ＴＧ１５、発光部２５、操作部２５は、それぞれ制御部２０に接続されている。

撮像レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１１を１枚のレンズとして図示している。

レンズ駆動部１２は、制御部２０の指示に応じてレンズ駆動信号を発生し、撮像レンズ１１を光軸方向に移動させてフォーカス調整やズーム調整を行う。このレンズ駆動部１２によって駆動された撮像レンズ１１は、該撮像レンズ１１を通過した光束による被写体像を、撮像素子１３の受光面上に形成する。

撮像素子１３は、動画像や連写画像の撮影が可能な撮像素子であり、例えば、ＣＣＤ型撮像素子、あるいはＣＭＯＳ型撮像素子などによって構成される。なお、撮像素子１３は、勿論、１フレーム毎の静止画像の撮影も可能である。

撮像素子１３は、撮像レンズ１１の像空間側に配置され、その受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１３の出力はアナログ信号処理部１４に接続されている。

アナログ信号処理部１４は、制御部２０の指示に応じて、撮像素子１３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などのアナログ信号処理を施すと共に、その処理後の画像信号を出力する。なお、アナログ信号処理部１４の出力はバッファメモリ１６に接続されている。

また、アナログ信号処理部１４は、制御部２０の指示に基づいてゲイン調整の調整量を設定し、それによってＩＳＯ感度に相当する撮影感度の調整を行う。

ＴＧ１５は、制御部２０の指示に基づき撮像素子１３およびアナログ信号処理部１４に対してタイミングパルスを供給する。撮像素子１３およびアナログ信号処理部１４の駆動タイミングはそのタイミングパルスによって制御される。

バッファメモリ１６は、アナログ信号処理部１４から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ１６は、制御部２０によりメモリカード２３から読み出された画像データや、制御部２０による処理の過程で作成された画像データを一時的に記憶する。なお、バッファメモリ１６は、揮発性の記憶媒体であるＳＤＲＡＭなどによって構成される。

画像処理部１７は、制御部２０の指示に応じて、バッファメモリ１６の画像データに対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、解像度変換（画素数変換）などの画像処理を施す。なお、解像度変換（画素数変換）は、モニター表示部８に画像データを表示させる場合などに必要な処理である。画像処理部１７は、ＡＳＩＣなどとして構成される。

第１表示制御部１８は、制御部２０の指示に応じて、被写体となる人物の顔の情報を、顔状態表示部１へ表示する。これにより、被写体となる人物は、特に、撮影時に、自身の顔の表情（笑顔の状態、目瞑りの状態、またフラッシュ光による赤目など）を確認することができる。もちろん、自身の顔の部分が撮影画面（フレーム）から外れているか否かについても確認することができる。

なお、本実施形態による顔状態表示部１は、デジタルカメラ筐体の撮影レンズ１１側の面（前面）に設けられる。この顔状態表示部１は、本実施形態では、多色マトリックスＬＥＤで構成され、その画面の各部分毎に異なるカラーで発光することができる。

第２表示制御部１９は、制御部２０の指示に応じて、画像処理後の画像データに所定の信号処理（例えば、ＮＴＳＣ方式の複合映像信号に変換するための信号処理）を施してモニター表示部８へ出力する。この出力により、画像データがモニター表示部８に表示される。これにより、撮影者は、特に、被写体となる人物の顔の表情（笑顔の状態、目瞑りの状態、またフラッシュ光による赤目など）を確認しながら撮影を行うことができる。もちろん、その人物の顔の部分が撮影画面（フレーム）から外れているか否かについても確認することができる。

なお、本実施形態によるモニター表示部８は、デジタルカメラ筐体の背面に設けられたＬＣＤモニターである。

圧縮／復号部２１は、制御部２０の指示に応じて、バッファメモリ１６の画像データに圧縮処理又は復号処理を施す。なお、圧縮処理及び復号処理は、静止画撮影時にはＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われ、動画撮影時にはＭＰＥＧ（Moving Picture Experts Group）形式などによって行われる。

また、圧縮／復号部２１は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。

メモリカードＩ／Ｆ２２には、不揮発性の記憶媒体であるメモリカード２３を接続するためのコネクタが形成されている。メモリカードＩ／Ｆ２２は、そのコネクタに接続されたメモリカード２３にアクセスして、画像データを含む各種データの書き出しや読み込みを行う。

制御部２０は、撮影時には、このメモリカードＩ／Ｆ２２を介して、バッファメモリ１６の圧縮処理後の画像データをメモリカード２３へ記録する。但し、デジタルカメラが非圧縮記録モードに設定された場合には、制御部２０は、バッファメモリ１６の画像処理後の画像データを、圧縮処理を施さずに非圧縮のままメモリカード２３へ記録する。

なお、メモリカード２３は半導体メモリを内蔵したメモリカードであるが、これに代えて小型のハードディスクなどの記憶媒体を用いることもできる。

ＲＯＭ２４には、制御部２０によって実行される各種のプログラムや、プログラムの実行に必要となるデータなどが予め格納される。

制御部２０は、ＲＯＭ２４に予め格納された制御プログラムを不図示のＲＡＭへ読み出し、その制御プログラムを実行することにより、デジタルカメラの各部を統括制御する。

発光部４は、デジタルカメラ筐体に設けられたエレクトロニックフラッシュ等であり、制御部２０の指示に基づき、被写体を照明するためのフラッシュ光を被写界に向けて発光する。

操作部２５は、電源ボタン５、レリーズボタン６、ズームレバー７、また、モード設定ボタンやメニューボタン等の各種の操作部材を含み、撮影者による部材操作の内容に応じた操作信号を制御部２０に送る。

以下、デジタルカメラが行う一般的な静止画撮影の動作を簡単に説明する。

制御部２０は、撮影者による操作部材の操作内容に応じてデジタルカメラの各部を統括制御する。

例えば、モード設定ボタン等の操作により、デジタルカメラが静止画撮影モードに設定されると、制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動してスルー画像の連続撮影を開始する。このとき、撮像素子１３はドラフトモード（間引き読み出しモード）で連続駆動され、撮影されたスルー画像の画像データがアナログ信号処理部１４を介してバッファメモリ１６へ順次記録される。制御部２０は、そのスルー画像の画像データを基に、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。また、制御部２０は、不図示の測光部を駆動して、バッファメモリ１６のスルー画像の画像データを基に撮影シーンの評価値を算出させると、その評価値に基づきアナログ信号処理部１４などの設定内容を調整する。また、制御部２０は、画像処理部１７を駆動してバッファメモリ１６のスルー画像の画像データに画像処理を施した後、第２表示制御部１９を駆動して画像処理後のスルー画像の画像データをモニター表示部８に順次表示させる（ライブビュー表示）。

次に、静止画撮影モードで動作中に、レリーズボタンが半押しされると、制御部２０は、本撮影に先立ち、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。

また、静止画撮影モードで動作中に、レリーズボタンが全押しされると、制御部２０は、不図示の測光部が算出した評価値に基づき撮影条件（絞り値、シャッター速度、ストロボ発光の有無など）を決定する。そして、制御部２０は、決定した撮影条件の下でレンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５（また、必要に応じて発光部２３も）を駆動して静止画像の撮影を実施する。このとき、撮像素子１３はフレームモード（全画素読み出しモード）で駆動され、撮影された静止画像の画像データがアナログ信号処理部１４を介してバッファメモリ１６へ記録される。この後、制御部２０は、画像処理部１７を駆動して、バッファメモリ１６に記録された静止画像の画像データに対し画像処理を施す。また、制御部２０は、第２表示制御部１９を駆動して、画像処理後の静止画像をモニター表示部８に表示させる。そして、制御部２０は、圧縮／復号部２１を駆動して、画像処理後の静止画像の画像データに対し圧縮処理を施すと共に、圧縮処理後の静止画像の画像データをメモリカードＩ／Ｆ２２を介してメモリカード２３へ記録する。なお、制御部２０は、デジタルカメラが非圧縮記録モードに設定された場合には、圧縮／復号部２１を駆動することなく、画像処理後の静止画像の画像データを非圧縮のままメモリカードＩ／Ｆ２２を介してメモリカード２３へ記録する。

ところで、本実施形態のデジタルカメラは、特に被写体となる人物に、その人物の顔の情報、例えば、顔の表情の「目瞑り」、「笑顔」、「赤目」の状態についての情報や、顔が撮影画面から外れているかどうかを示す情報などをはっきりと確認させるために、以下の撮影動作を行うようにしている。

以下、デジタルカメラが行うその撮影動作を、図３のフローチャートを参照して説明する。なお、図３のフローチャートの処理は、例えば、デジタルカメラの「依頼撮影モード」が撮影者などによってＯＮ（有効）の状態にされた場合に実行されるものである。

ステップ１０１（Ｓ１０１）：制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動してスルー画像の撮影を開始する。このとき、撮像素子１３はドラフトモード（間引き読み出しモード）で駆動される。

ステップ１０２：制御部２０は、「依頼撮影モード」がＯＦＦ（無効）の状態にされたか否かを判定する。そして、制御部２０は、ＯＦＦ（無効）の状態にされた場合にはステップ１１６へ移行し（Ｙｅｓ側）、一方、ＯＮ（有効）の状態のままの場合にはステップ１０３へ移行する（Ｎｏ側）。

ステップ１０３：制御部２０は、バッファメモリ１６に記録されたスルー画像の画像データから特徴点を抽出して、被写体となる人物の顔（顔の大きさ、撮影画面内における顔の位置などを含む）を検出する。被写体の人物が２人以上（複数）である場合には、各人物の顔をそれぞれ個別に検出する。なお、その検出は、例えば、特開２００１−１６５７３号公報に記載される特徴点抽出処理などの従来技術を利用して行える。また、特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。

ステップ１０４：制御部２０は、顔を検出できたか否かを判定する。そして、制御部２０は、顔を検出できた場合にはステップ１０５へ移行し（Ｙｅｓ側）、一方、顔を検出できない場合にはステップ１０２へ移行する（Ｎｏ側）。

ステップ１０５：制御部２０は、検出した顔が撮影画面（フレーム）から外れていないかどうかを判定し、その判定結果を、揮発性の記憶媒体のＳＤＲＡＭなどによって構成されるメモリ（不図示）に一時的に記録する。

ステップ１０６：制御部２０は、検出した顔の領域（顔領域）のデータと上記で抽出した特徴点とに基づいて顔の表情「目瞑り」を判定する。なお、目瞑りの判定は、例えば、特開２００１−３３８３０３号公報などで開示される従来の手法を利用して行える。そして、制御部２０は、その判定結果を、上記と同じく不図示のメモリに一時的に記録する。

ステップ１０７：制御部２０は、検出した顔領域のデータと抽出した特徴点とに基づいて顔の表情「笑顔」を判定し、その判定結果を、上記と同じく不図示のメモリに一時的に記録する。

ここで、顔の表情「笑顔」の判定は、例えば、撮影者などにより予め設定される「検出レベル」或いは「笑顔度」に基づいて行われる。例えば、「検出レベル」が「弱」或いは「笑顔度」が「８０％」などに設定されると、制御部２０は、大笑いのようにはっきりとした笑顔のみを「笑顔」として判定する。一方、「検出レベル」が「強」或いは「笑顔度」が「１０％」などに設定されると、制御部２０は、微笑みのような僅かな笑顔までも「笑顔」として判定するようになる。即ち、本実施形態では、撮影者が、「笑顔」として判定すべき笑顔の度合いを変更することができる。

なお、このような笑顔の判定は、例えば、特開２００４−４６５９１号公報などで開示される従来の手法を利用して行える。

ステップ１０８：制御部２０は、上記で不図示のメモリに記録した判定結果に基づいて、被写体の人物の顔の情報を表示する。

なお、情報は、第１表示制御部１８を介して顔状態表示部１に表示され、また、それと同時に、第２表示制御部１９を介してモニター表示部８に表示される。つまり、本実施形態のデジタルカメラでは、被写体の人物の顔の情報を、カメラ前面の顔状態表示部１と、その裏面のモニター表示部８との両方に同時に表示するのが通常である。しかし、例えば撮影者が被写体として自身を撮影（セルフ撮影）するような場合には、カメラ前面の顔状態表示部１のみに情報を表示するようにしてもよい。

ここで、表示部に表示される上記情報の内容について、図４〜図８を用いて具体的に説明する。

図４は、被写体となる人物の数が１人〜数人と少ない場合に有効な情報の表示方法の例である。

図４（１）は、被写体となる人物が１人である場合に、その人物の顔の情報を、顔状態表示部１へ表示した例である。

四角い形状をした枠４１ａとその枠内の領域とが、その人物の顔の情報を表している。具体的には、枠４１ａの大きさ（サイズ）が顔の大きさを、顔状態表示部１内での枠４１ａの表示位置が撮影画面（フレーム）内での顔の位置を表している。なお、枠４１ａは、本実施形態では、橙色に発光するようにしている。

また、枠４１ａ内の下部領域４１ｂは、顔の表情「笑顔」の状態を表し、上部領域４１ｃは、顔の表情「目瞑り」の状態を表している。なお、本実施形態では、上記ステップ１０６で顔の表情が「笑顔」であると判定された場合には、下部領域４１ｂを青色に発光させ、また上記ステップ１０７で顔の表情が「目瞑り」をしていないと判定された場合には、上部領域４１ｃを青色に発光させるようにしている。図４（１）の例では、下部領域４１ｂが青色に発光し、上部領域４１ｃが非発光の状態であるため、被写体となる人物の顔の表情は、「笑顔」ではあるが「目瞑り」をしていることを表している。

図４（２）は、被写体となる人物が２人（複数）である場合に、各人物の顔の情報をそれぞれ個別に顔状態表示部１へ表示した例である。

四角い形状をした枠４２ａ−１と、枠４２ａ−２とが、２人の人物の顔をそれぞれ表している。枠４２ａ−１の方が枠４２ａ−２よりも枠のサイズが大きいので、枠４２ａ−１の人物の方が顔の大きさが大きいことを表している。

また、枠４２ａ−１内の下部領域４２ｂ−１と上部領域４２ｃ−１はどちらも青色に発光している状態であるため、枠４２ａ−１の人物の顔の表情は、「笑顔」であり「目瞑り」もしていないことを表している。一方、枠４２ａ−２内の下部領域４２ｂ−２は非発光であるが、上部領域４２ｃ−１は青色に発光している状態であるため、枠４２ａ−２の人物の顔の表情は、「目瞑り」はしていないが「笑顔」ではないことを表している。

図４（３）は、被写体となる人物が５人（複数）である場合に、各人物の顔の情報をそれぞれ個別に顔状態表示部１へ表示した例である。

四角い形状をした枠４３−１〜４３−５が、５人の人物の顔をそれぞれ表している。

枠４３−１内の下部領域は非発光であるが、上部領域は青色に発光している状態であるため、枠４３−１の人物の顔の表情は、「目瞑り」はしていないが「笑顔」ではないことを表している。

また、枠４３−２内の下部領域と上部領域はどちらも青色に発光している状態であるため、枠４３−２の人物の顔の表情は、「笑顔」であり「目瞑り」もしていないことを表している。

また、枠４３−３内の下部領域と上部領域はどちらも非発光の状態であるため、枠４３−３の人物の顔の表情は、「笑顔」でなく「目瞑り」もしていることを表している。

また、枠４３−４内の下部領域は青色に発光しているが、上部領域は非発光の状態であるため、枠４３−４の人物の顔の表情は、「笑顔」ではあるが「目瞑り」をしていることを表している。

そして、枠４３−５内の下部領域と上部領域はどちらも青色に発光している状態であるため、枠４３−５の人物の顔の表情は、「笑顔」であり「目瞑り」もしていないことを表している。

なお、枠４３−５は、図４（３）から見てとれるように、顔状態表示部１の撮影画面から外れている。この場合、上記ステップ１０５では、その被写体となる人物の顔が撮影画面から外れていると判定される。その結果、本実施形態では、枠４３−５は、橙色に点滅して発光するように制御される。もちろん、枠４３−５だけでなく、枠４３−５内の下部領域および上部領域を含めた全体を点滅発光するようにしてもよい。これにより、被写体となる人物の顔が撮影画面から外れていることを、その人物に対してはっきりと確認させることができる。

また、本実施形態では、顔状態表示部１については、被写体となる人物の側から自身の顔の表情を確認し易いように鏡像を表示するようにしている。

このように、本実施形態のデジタルカメラでは、取得されたスルー画像の画像データの画像が表示部に表示されるのではなく、例えば図４の情報の表示方法のように、被写体となる人物の顔の情報が確認し易いマークとして表示される。しかも、その顔の情報は鏡像として表示される。そのため、その情報を被写体の人物の側からはっきりと確認できるようになる。

また、本実施形態の表示方法は、撮影画面から外れていることが被写体となる人物の側から一目で判断できるので、特にセルフタイマーを使用して撮影する場合にとても有効である。

次に、図５について説明する。図５は、集合写真の撮影などのように、被写体となる人物の数が多い場合に有効な情報の表示方法の例である。

図５（１）は、被写体となる全ての人物の顔の情報を総合し、その結果を、顔状態表示部１へ表示した例である。マーク５１は、その総合結果を表すマークである。マーク５１の目５１ｃが顔の表情の「目瞑り」の総合結果を、またマーク５１の口５１ｂが顔の表情の「笑顔」の総合結果を表すようにしている。

具体的には、上記ステップ１０６での顔の表情「目瞑り」の判定結果を全ての被写体となる人物について総合して、その総合した結果、つまり顔の表情「目瞑り」の度合いを、マーク５１の目５１ｃの大きさとして表すようにする。また、上記ステップ１０７での顔の表情「笑顔」の判定結果を全ての被写体となる人物について総合して、その総合した結果、つまり顔の表情「笑顔」の度合いを、マーク５１の口５１ｂの大きさとして表すようにする。

本実施形態では、図５（１）に示すように、被写体となる人物全員が「目瞑り」をしていない場合に、大きく開いた目のマークの目５１ｃを表示するようにしている。また、被写体となる人物全員が「笑顔」である場合に、大きく開いた口のマークの口５１ｂを表示するようにしている。

図５（２）は、図５（１）の別の表示例である。図５（２）では、マーク５２が、総合結果を表すマークとなる。マーク５２の目５２ｃが顔の表情の「目瞑り」の総合結果を、またマーク５２の口５２ｂが顔の表情の「笑顔」の総合結果を表すようにしている。

また、マーク５２の輪郭線５２ｄは、被写体の人物の顔が撮影画面から外れていないかどうかについての総合結果を表すようにしている。つまり、上記ステップ１０５での判定結果を全ての被写体となる人物について総合して、その総合した結果、つまり何人の顔が撮影画面から外れているかという度合いを、マーク５２の輪郭線５２ｄで表すようにする。

本実施形態では、図５（２）に示すように、被写体となる人物全員が「目瞑り」をしている場合に、小さく閉じた目のマークの目５２ｃを表示するようにしている。また、被写体となる人物全員が「笑顔」でない場合に、小さく閉じた口のマークの口５２ｂを表示するようにしている。

また、本実施形態では、複数の人物のうち１人でも顔が撮影画面から外れている場合には、図５（２）に示すように、マーク５２の輪郭線５２ｄを表示するようにしている。なお、この表示例は、被写体の側から見て右側に位置する人物の顔が撮影画面から外れていることを表している。

このように、本実施形態のデジタルカメラでは、取得されたスルー画像の画像データの画像が表示部に表示されるのではなく、例えば図５の情報の表示方法のように、被写体となる複数の人物の顔の情報を総合した結果が確認し易いマークとして表示される。そのため、被写体となる人物の数が多い場合にも、各人物の顔の情報を被写体の側からはっきりと確認できるようになる。

次に、図６について説明する。図６は、図５の場合の別の表示方法の例である。

図６（１）は、被写体となる複数の人物を、例えば被写界の中央から右側と左側との２つに分け、その右側の人物（の集合）と左側の人物（の集合）とについてそれぞれ顔の情報を総合し、その結果を、顔状態表示部１へ表示した例である。

小さく閉じた目のマークの目６１ｃ−１は、被写界の右側、つまり、被写体の側から見ると左側に位置する人物（の集合）の顔の表情「目瞑り」の総合結果を表している。即ち、被写体の側から見て左側に位置する人物（の集合）顔の表情「目瞑り」の度合いが大きいこと、例えば、全員が「目瞑り」をしていることを表している。

また大きく開いた目のマークの目６１ｃ−２は、被写界の左側、つまり、被写体の側から見ると右側に位置する人物（の集合）の顔の表情「目瞑り」の総合結果を表している。即ち、被写体の側から見て右側に位置する人物（の集合）顔の表情「目瞑り」の度合いが小さいこと、例えば、全員が「目瞑り」をしていないことを表している。

また、口のマークの口６１ｂは、その小さく開いた左端の部分が被写体の側から見て左側に位置する人物（の集合）の顔の表情「笑顔」の総合結果を表している。例えば、全員が「笑顔」でないことを表している。そして、その口のマークの口６１ｂの大きく開いた右端の部分が被写体の側から見て右側に位置する人物（の集合）の顔の表情「笑顔」の総合結果を表している。例えば、全員が「笑顔」であることを表している。

図６（２）は、図６（１）の別の表示例である。図６（２）は、被写体となる複数の人物を、例えば被写界の右側、中央、左側の３つに分け、その右側の人物（の集合）、中央の人物（の集合）、左側の人物（の集合）とについてそれぞれ顔の情報を総合し、その結果を、顔状態表示部１へ表示した例である。

口のマークの口６２ｂは、その小さく開いた左端の部分が被写体の側から見て左側に位置する人物（の集合）の顔の表情「笑顔」の総合結果を表している。例えば、全員が「笑顔」でないことを表している。同様に、その小さく開いた右端の部分が被写体の側から見て右側に位置する人物（の集合）の顔の表情「笑顔」の総合結果を表している。例えば、全員が「笑顔」でないことを表している。そして、その口のマークの口６２ｂの大きく開いた中央部分が被写界の中央に位置する人物（の集合）の顔の表情「笑顔」の総合結果を表している。例えば、全員が「笑顔」であることを表している。

但し、小さく閉じた目のマークの目６２ｃについては、被写体となる人物全員の顔の表情「目瞑り」を総合した結果を表している。

次に、図７について説明する。図７は、図４（２）の場合の別の表示方法の例であり、被写体となる人物が２人（複数）である場合に、各人物の顔の情報をそれぞれ個別に顔状態表示部１へ表示する例である。

マーク９ａ−１と、マーク９ａ−２とが、２人の人物の顔をそれぞれ表している。マーク９ａ−２の方がマーク９ａ−１よりもサイズが大きいので、マーク９ａ−２の人物の方が顔の大きさが大きいことを表している。

また、マーク９ａ−１の小さく閉じた口のマークの口９ｂ−１と、小さく閉じた目のマークの目９ｃ−１とは、マーク９ａ−１の人物の顔の表情が、「笑顔」ではなく「目瞑り」をしていることを表している。一方、マーク９ａ−２の大きく開いた口のマークの口９ｂ−２と、大きく開いた目のマークの目９ｃ−２とは、マーク９ａ−２の人物の顔の表情が、「笑顔」であり「目瞑り」もしていないことを表している。

次に、図８について説明する。図８は、図４の場合の別の表示方法の例であり、被写体となる人物が３人（複数）である場合に、各人物の顔の情報をそれぞれ個別に顔状態表示部１へ表示する例である。ここでは、３人のうち１人の人物が、デジタルカメラの被写体認識（顔認識）により、予め登録された特定の人物であると認識された場合の情報の表示方法の例を示す。

四角い形状をした四角枠７−１、四角枠７−３、そして丸い形状をした丸枠７ｃ−２が、３人の人物の顔をそれぞれ表している。

四角枠７−１内の下部領域は非発光であるが、上部領域は青色に発光している状態であるため、四角枠７−１の人物の顔の表情は、「目瞑り」はしていないが「笑顔」ではないことを表している。

また、四角枠７−３内の下部領域は青色に発光しているが、上部領域は非発光の状態であるため、四角枠７−１の人物の顔の表情は、「笑顔」ではあるが「目瞑り」をしていることを表している。

そして、丸枠７ｃ−２は、カメラの被写体認識（顔認識）により予め登録された特定の人物であると認識された被写体を表している。丸枠７ｃ−２内の下部領域と上部領域はどちらも青色に発光している状態であるため、丸枠７ｃ−２の人物の顔の表情は、「笑顔」であり「目瞑り」もしていないことを表している。

また、四角枠７−３と丸枠７ｃ−２は、枠のサイズが四角枠７−１よりも大きいので、四角枠７−１の人物の方が、四角枠７−３と丸枠７ｃ−２の２人の人物よりも顔の大きさが小さいことを表している。

なお、被写体認識（顔認識）は、例えば、次のようにして行うとよい。先ず、制御部２０は、上記ステップ１０３の処理で検出された顔の特徴点に基づいて、被写体となる人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に、制御部２０は、その演算結果と、特定の人物を認識するためにデジタルカメラに予め登録された顔認識用のデータとを比較して、被写体の人物の顔と登録された特定の人物の顔との相似度を求める。そして、制御部２０は、上記の相似度が予め定められた閾値を超える場合に、被写体の人物が特定の人物であると判断して認識する。

ステップ１０９：制御部２０は、レリーズボタンが全押しされたか否かを判定する。そして、制御部２０は、レリーズボタンが全押しされた場合にはステップ１１０へ移行し（Ｙｅｓ側）、一方、全押しされていない場合にはステップ１０２へ移行する（Ｎｏ側）。

ステップ１１０：制御部２０は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５の駆動を停止して、スルー画像の撮影を終了する。

なお、このとき、最後にバッファメモリ１６に記録されたスルー画像の画像データを、以下で顔の表情の「赤目」の情報を表示するために保持しておくようにする。

ステップ１１１：制御部２０は、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。また、制御部２０は、不図示の測光部が算出した評価値に基づき撮影条件（絞り値、シャッター速度、ストロボ発光の有無など）を決定する。そして、制御部２０は、決定した撮影条件の下でレンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５（また、必要に応じて発光部２３も）を駆動して静止画像の撮影を実施する。このとき、撮像素子１３はフレームモード（全画素読み出しモード）で駆動される。その後、制御部２０は、画像処理部１７を駆動して、バッファメモリ１６に記録された静止画像の画像データに対し画像処理を施す。

ステップ１１２：制御部２０は、バッファメモリ１６に記録された静止画像の画像データ（静止画像データ）から、被写体の人物の顔の「赤目」を検出する。

具体的には、先ず、静止画像データ中の顔領域から瞳領域を検出する。なお、瞳領域の検出は、例えば、特開２００８−１０９３９５号公報などで開示される従来の瞳検出手法を用いて行える。また、顔領域の検出は、上記ステップ１０３の処理と同様にして行える。

次に、制御部２０は、検出した瞳領域が赤目になっているか否かを判定する。なお、その判定は、例えば、瞳領域に含まれる画素のカラー分布を調べて、赤色系成分を有する画素が所定の範囲以上連続分布する領域を検出できるか否かを判定することなどによって行うとよい。

そして、制御部２０は、瞳領域が赤目になっていると判定した場合には赤目を検出したと判断し、一方、瞳領域が赤目になっていないと判定した場合には赤目を検出しないと判断する。

ステップ１１３：制御部２０は、赤目を検出したか否かを判定する。そして、制御部２０は、赤目を検出した場合にはステップ１１４へ移行し（Ｙｅｓ側）、一方、赤目を検出しない場合にはステップ１１５へ移行する（Ｎｏ側）。

ステップ１１４：制御部２０は、上記ステップ１１０で保持しておいたバッファメモリ１６のスルー画像の画像データに基づき、被写体の人物の顔の情報、つまり、顔の表情の「目瞑り」の状態、「笑顔」の状態、また、顔が撮影画面から外れいないかどうかなどの情報を、上述したとおりに検出・判定する。なお、この検出・判定の結果として、上記で不図示のメモリに記録した判定結果の情報を使用するようにしてもよい。そうした場合、上記ステップ１１０では、バッファメモリ１６のスルー画像の画像データを保持しなくてもよい。

そして、制御部２０は、第１表示制御部１８を駆動して、その判定結果と、ステップ１１３で検出した顔の表情の「赤目」の情報とを顔状態表示部１に表示させる。この顔状態表示部１の表示は被写体となる人物に向けたものである。また、制御部２０は、第２表示制御部１９を駆動して、同様に、判定結果と、顔の表情の「赤目」の情報とをモニター表示部８に表示させる。このモニター表示部８の表示は撮影者に向けたものである。

ここで、それら表示部への被写体となる人物の顔の情報の表示の例を図９に示す。

図９（１）では、四角い形状をした四角枠９１−１の下の部分に顔の表情の「赤目」を検出したことを示す赤目マークが表示されている。つまり、この場合、四角枠９１−１の人物の顔から「赤目」が検出されたことを表している。なお、四角枠９１−２の人物の顔からは「赤目」は検出されていない。

また、図９（２）では、被写体となる人物の顔の情報の総合結果を表示しており、この場合、「赤目」が検出された人物の数に応じて求められる「赤目」の度合いを、「目瞑り」の度合いを表すマークの目９２ｃを用いて表すようにしている。例えば、被写体となる人物の少なくとも１人から「赤目」が検出された場合に、目９２ｃのマークを赤色に発光させるようにする。

ステップ１１５：制御部２０は、圧縮／復号部２１を駆動して、画像処理後の静止画像データに対し圧縮処理を施すと共に、圧縮処理後の静止画像データをメモリカードＩ／Ｆ２２を介してメモリカード２３へ記録する。そして、制御部２０は、ステップ１０１へ移行する。

（実施形態の補足事項）
なお、上記では、被写体となる人物の顔の情報を、表示部である顔状態表示部１とモニター表示部８とに表示するようにした。しかし、その情報の表示は、図１０の例に示すように、デジタルカメラ本体２の上面に配置したＬＥＤ８ｃ、８ｂ、８ｄ、８ｅによって行うようにしてもよい。例えば、被写体となる人物の顔の表情の「目瞑り」が検出された場合にはＬＥＤ８ｃを、「笑顔」が検出された場合にはＬＥＤ８ｂを点灯、或いは、点滅させるようにする。また、例えば、被写体の人物の顔が撮影画面（フレーム）から外れていることが検出された場合にはＬＥＤ８ｄを、被写体の人物の顔の表情の「赤目」が検出された場合にはＬＥＤ８ｅを点灯、或いは、点滅させるようにする。

このようにすれば、簡易に設けられる、カメラ上面のＬＥＤのみで、被写体の人物と撮影者とが共に被写体となる人物の顔の情報を確認できるようになる。

１…顔状態表示部、２…デジタルカメラ本体、３…開口部、４…発光部、５…電源ボタン、６…レリーズボタン、７…ズームレバー、８…モニター表示部、９〜１０…操作部材、１１…撮像レンズ、１２…レンズ駆動部、１３…撮像素子、１４…アナログ信号処理部、１５…タイミングジェネレータ（ＴＧ）、１６…バッファメモリ、１７…画像処理部、１８…第１表示制御部、１９…第２表示制御部、２０…制御部、２１…圧縮／復号部、２２…メモリカードインターフェース（メモリカードＩ／Ｆ）、２３…メモリカード、２４…ＲＯＭ、２５…操作部、２６…バス

Claims (10)

1. 撮影レンズを介して被写体を撮影し、画像データを出力する撮像部と、
   前記画像データの画像に基づき前記被写体の顔の表情を検出する検出部と、
   前記検出部の検出した前記顔の表情を示す情報を、前記被写体となる人物に向けて表示する第１の表示部と
   を備えることを特徴とするカメラの表示装置。
2. 請求項１に記載のカメラの表示装置において、
   前記検出部は、前記顔の表情を検出するときに前記被写体の顔が撮影画面から外れたか否かを検出し、
   前記第１の表示部は、前記検出部が前記外れたことを検出した場合、前記被写体となる人物に向けて、その外れたことを前記顔の表情を示す情報と共に表示する
   ことを特徴とするカメラの表示装置。
3. 請求項１または請求項２に記載のカメラの表示装置において、
   撮影者による静止画像の撮影指示を受け付ける操作部材を更に有し、
   前記検出部は、前記操作部材の操作に応じて前記撮影部が出力する第２画像データの画像に基づき前記被写体の顔の赤目を検出し、
   前記第１の表示部は、前記検出部が前記顔の赤目を検出した場合、前記被写体となる人物に向けて、その顔の赤目を示す情報を、前記操作部材の操作前に前記撮影部が出力した第１画像データの画像に基づいて前記検出部が検出した前記顔の表情を示す情報と共に表示する
   ことを特徴とするカメラの表示装置。
4. 請求項１ないし請求項３の何れか一項に記載のカメラの表示装置において、
   撮影者に向けて前記情報を表示する第２の表示部
   を更に備えることを特徴とするカメラの表示装置。
5. 請求項１ないし請求項４に記載のカメラの表示装置において、
   前記第１の表示部は、カメラの撮影レンズ側の面に配置される
   ことを特徴とするカメラの表示装置。
6. 請求項４に記載のカメラの表示装置において、
   前記第２の表示部は、カメラの前記第１の表示部が配置される面の裏側となる面に配置される
   ことを特徴とするカメラの表示装置。
7. 請求項１又は請求項４に記載のカメラの表示装置において、
   前記第１の表示部、または、前記第１の表示部および前記第２の表示部は、前記被写体が複数の場合には、被写体毎に前記情報を個別に表示する
   ことを特徴とするカメラの表示装置。
8. 請求項１又は請求項４に記載のカメラの表示装置において、
   前記第１の表示部、または、前記第１の表示部および前記第２の表示部は、前記顔の表情を示す情報として、顔の表情に応じたマークを表示する
   ことを特徴とするカメラの表示装置。
9. 請求項１又は請求項４に記載のカメラの表示装置において、
   前記被写体が複数の場合には、
   前記検出部は、前記複数の被写体のそれぞれの顔の表情を検出し、
   前記第１の表示部、または、前記第１の表示部および前記第２の表示部は、前記検出部が検出した前記複数の被写体の顔の表情に基づいて、前記顔の表情を示す情報として、顔の表情の度合いに応じた１つのマークを表示する
   ことを特徴とするカメラの表示装置。
10. 請求項４に記載のカメラの表示装置において、
    前記第１の表示部と前記第２の表示部とは、共通の表示部材であり、カメラの上面に配置される
    ことを特徴とするカメラの表示装置。

Images