JP2010178158A - 電子カメラ - Google Patents

Abstract

【課題】 本発明は、被写体が特定の表情である場合、好ましい構図で自動撮影が行える電子カメラを提供する。
【解決手段】 電子カメラは、撮像部、表示部、第１目印表示制御部、顔検出部、第２目印表示制御部、顔認識部、第２目印表示制御部、顔認識部、表情判定部及び撮影制御部を備える。撮像部は、画像データを生成する。表示部は、画像を表示する。第１目印表示制御部は、スルー画像に対して、静止画撮影の構図を決定するための第１目印をスルー画像の特定位置に重畳表示させる。顔検出部は、顔の領域を検出する。第２目印表示制御部は、スルー画像に対して顔の領域を示す第２目印を重畳表示させる。顔認識部は、顔の特徴量を抽出する。表情判定部は、特徴量に基づいて、顔の表情を判定する。撮影制御部は、第１目印と２目印との位置関係が予め定められた位置関係であって、第２目印に対応する顔の表情が特定の表情のときに、撮像部に前記静止画撮影を行わせる。
【選択図】 図１

Description

本発明は、顔検出機能を備える電子カメラに関する。

従来より、人物の笑顔の度合いを判定する電子カメラが知られている（例えば、特許文献１参照）。

しかしながら、特許文献１の電子カメラでは、被写体が笑顔であれば構図に関係なく、撮影がなされる場合がある。そのため、被写体が笑顔であっても、好ましい構図で撮影されるとは限らないという点で改善の余地がある。

そこで、本発明は、上記事情に鑑み、被写体が特定の表情であるときに好ましい構図で撮影を行わせる電子カメラを提供することを目的とする。

第１の発明に係る電子カメラは、撮像部と、表示部と、第１目印表示制御部と、顔検出部と、第２目印表示制御部と、顔認識部と、第２目印表示制御部と、顔認識部と、表情判定部と、撮影制御部とを備える。撮像部は、被写体を撮像して画像データを生成する。表示部は、画像データに基づく画像を表示する。第１目印表示制御部は、構図確認用に取得される動画像であるスルー画像に対して、静止画撮影の構図を決定するための第１目印をスルー画像の特定位置に重畳表示させる。顔検出部は、スルー画像から顔の領域を検出する。第２目印表示制御部は、顔検出部の検出結果に基づいて、スルー画像に対して顔の領域を示す第２目印を重畳表示させる。顔認識部は、顔の特徴量を抽出する。表情判定部は、特徴量に基づいて、顔の表情を判定する。撮影制御部は、第１目印と２目印との位置関係が予め定められた位置関係であって、第２目印に対応する顔の表情が特定の表情のときに、撮像部に静止画撮影を行わせる。

第２の発明は、第１の発明において、特定の表情が、笑顔であることが好ましい。

第３の発明は、第１の発明において、第１目印表示制御部は、スルー画像の縦横を黄金比で各々分割して得られる黄金分割線の交点の何れかに第１目印を重畳表示させる。

第４の発明は、第１の発明において、動き検出部と、被写体選択部とをさらに備える。

動き検出部は、撮像部が順次生成する複数の画像データに基づいて、被写体の動きを検出する。被写体選択部は、動き検出部で動きが検出された複数の被写体のうち、注目する被写体を選択する。顔検出部は、動き検出部の検出結果に基づいて、注目する被写体の顔の領域を継続的に検出する。

本発明の電子カメラによれば、被写体が特定の表情であるときに好ましい構図で撮影を行わせることができる。

第１実施形態の電子カメラ１の構成を示すブロック図 電子カメラ１の正面図及び背面図 電子カメラ１の撮影動作を表すフローチャート 目印の設定を説明する図 顔の領域が検出された後、撮影が行われるまでの処理の概要を説明する図 指の映り込みを説明する図 第１の変形例を説明する図 第２の変形例を説明する図 第２実施形態の電子カメラ１の構成を示すブロック図 第２実施形態の電子カメラ１の撮影動作を表すフローチャート 第２実施形態の電子カメラ１における撮影動作の一例を説明する図 第２実施形態の電子カメラ１における撮影動作の一例を説明する図

（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、第１実施形態で説明する「笑顔・構図モード（スマイル・フレーミングモード）」は、予め設定した構図（好ましい構図）で被写体の顔が特定の表情（笑顔）であると、撮影のタイミングであると決定して電子カメラが撮影を行わせるモードである（詳細は後述する）。

図１は、第１実施形態の電子カメラ１の構成を示すブロック図である。図１に示す通り電子カメラ１には、撮影レンズ１０と、撮像部１１と、画像処理部１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４と、操作部１５と、レリーズ釦１６と、タッチパネル１７と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８と、表示モニタ１９と、記録インターフェース（記録Ｉ／Ｆ）２０と、記録媒体２１と、受光センサ２２と、姿勢検出センサ２３と、バス２４とが備えられている。このうち画像処理部１２、ＲＡＭ１３、ＲＯＭ１４、ＣＰＵ１８、表示モニタ１９及び記録インターフェース（記録Ｉ／Ｆ）２０は、バス２４を介して互いに接続されている。また、操作部１５、レリーズ釦１６、タッチパネル１７、受光センサ２２及び姿勢検出センサ２３はＣＰＵ１８に接続されている。

撮影レンズ１０は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影レンズ１０を１枚のレンズとして図示する。

撮像部１１は、レンズ駆動機構、絞り、シャッタ機構、撮像素子、タイミングジェネレータ及びＡＦＥ（アナログフロントエンド）等からなる。この撮像部１１は、撮影レンズ１０が結像した被写体像を光電変換して画像データを生成する。なお、撮像部１１は、撮影時には、記録用の静止画像の画像データを出力する。また、撮像部１１は、撮影待機時には、所定時間経過毎に構図確認用の動画像であるスルー画像の画像データを出力する。

撮像部１１が出力する画像データは、ＲＡＭ１３に一時的に記録される。このＲＡＭ１３は、フレームメモリとしても機能する。

画像処理部１２は、ＲＡＭ１３に記録されている１フレーム分の画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。

ＲＯＭ１４は、電子カメラ１の制御を行うプログラム等を予め記憶している不揮発性のメモリである。

操作部１５は、後述する各操作キー等の指示入力を受け付けてＣＰＵ１８に処理の命令を出す。

レリーズ釦１６は、半押し操作（撮影前における自動露出（ＡＥ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）、自動焦点合わせ（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）等の動作開始）の指示入力と全押し操作（撮像動作開始）との指示入力とを受け付ける。なお、笑顔・構図モード時には、半押し操作、これに続く全押し操作の指示入力を受け付けると、ＣＰＵ１８は、後述する表情判定部１８の判定結果が笑顔であれば、撮影タイミングであると決定して撮影を行わせる設定に切り替える。なお、後述する撮影制御部１８ｇが、「撮影タイミングであると決定して撮影を行わせる」制御を担っている。本実施形態では、この制御を「自動撮影」と称することがある。

なお、笑顔・構図モード時には、半押し操作がなされても、自動焦点合わせ（ＡＦ）等の動作開始の指示入力は行われず、後述する撮影制御部１８ｇの指示により自動焦点合わせ（ＡＦ）等が行われる。

表示モニタ１９は、静止画像、スルー画像、電子カメラ１の操作メニュー等を表示する。さらに、表示モニタ１９は、第１目印や第２目印をスルー画像上に表示する。ここで、第１目印は、構図確認用の目印であって、以下、単に「目印」という。第２目印は、スルー画像内の顔の領域を示す目印であって、例えば、顔の領域の囲む検出枠である。以下、第２目印を、「検出枠」という。表示モニタ１９には、液晶のモニタ等を適宜選択して用いることができる。

タッチパネル１７は、タッチパネル表面に接触した指先等の位置を検出する。そして、タッチパネル１７は、検出した位置情報をＣＰＵ１８に出力することで撮影者からの入力を受け付ける。

なお、タッチパネル１７は、表示モニタ１９と同等の大きさを有する透明なパネルで構成されており、表示モニタ１９の表面全体に積層して配置される。また、本実施形態の例では、タッチパネル１７は、静電気による電気信号を感知する静電容量式のパネルで構成されている。タッチパネル１７の構成は、静電容量式に限られず、圧力による電圧の変化を検出する抵抗膜式のパネルを用いてもよい。

記録インターフェース（記録Ｉ／Ｆ）２０には、記録媒体２１を接続するためのコネクタが形成されている。記録インターフェース（記録Ｉ／Ｆ）２０は、ＣＰＵ１８からの指示により、そのコネクタに接続された記録媒体２１にアクセスして画像の記録処理を行う。

受光センサ２２は、光を電気信号に変換する受光素子である。この受光センサ２２は、撮影者の指の映り込みを検出するために用いられる。姿勢検出センサ２３は、電子カメラ１の光軸周りの回転位置（姿勢）を検出する姿勢センサである。この姿勢検出センサ２３は、電子カメラ１のいわゆる縦位置、横位置を検出するために用いられる。なお、電子カメラ１の姿勢検出の処理は、公知技術を用いることにより実現できる。

ＣＰＵ１８は、電子カメラ１の制御を行うプロセッサである。ＣＰＵ１８は、ＲＯＭ１４に予め格納されたシーケンスプログラムを実行することにより、電子カメラ１の各部の制御等を行う。また、本実施形態のＣＰＵ１８は、目印表示制御部１８ａと、顔検出部１８ｂと、検出枠表示制御部１８ｃと、位置判定部１８ｄと、顔認識部１８ｅと、表情判定部１８ｆと、表情判定部１８ｇと、報知部１８ｈとしても機能する。

目印表示制御部１８ａは、笑顔・構図モード設定時に、構図確認用に取得される動画像であるスルー画像に対して、静止画撮影の構図を決定するための目印を特定位置に重畳表示させる。この特定位置は、一例として、スルー画像の中央の位置である。或いは、目印表示制御部１８ａは、操作部１５又はタッチパネル１７からの指示入力を受け付けることにより、その目印をスルー画像の指定された特定位置に配置させる。或いは、目印表示制御部１８ａは、特定位置として、スルー画像の縦横を黄金比で各々分割して得られる黄金分割線の交点のうち、選択した交点上に目印を配置させる（詳細は後述する）。

顔検出部１８ｂは、スルー画像から顔の領域を検出する。すなわち、顔検出部１８ｂは、スルー画像の画像データから顔の領域を抽出し、その位置座標、サイズ（範囲）を検出する。位置座標のデータ、サイズ（範囲）のデータは、順次、ＲＡＭ１３に一時的に記録される。なお、顔検出の処理は、公知技術を用いることにより実現できる。

検出枠表示制御部１８ｃは、顔検出部の検出結果に基づいて、スルー画像に対して顔の領域を囲む検出枠を表示モニタ１９に重畳表示させる。検出枠の座標データは、順次、ＲＡＭ１３に一時的に記録される。なお、表示モニタ１９に重畳表示させるために目印や検出枠をスルー画像に合成する処理は、画像処理部１２が担う。

位置判定部１８ｄは、検出枠と目印との位置関係が予め定められた位置関係になったか否かを判定する（詳細は後述する）。

顔認識部１８ｅは、顔検出部１８ｂが検出した顔の領域に対して特徴量抽出処理を行って顔の特徴量を抽出する。すなわち、顔認識部１８ｅは、顔の輪郭の形状、目の形状、口の形状等、人物の表情の特徴が表れる形状を顔の領域から抽出する。この特徴量抽出処理は、公知技術により行うことができる。表情判定部１８ｆは、特徴量に基づいて、例えば口角（口の両脇）の上がり具合、目の大きさ等から顔の表情を判定する。

撮影制御部１８ｇは、位置判定部１８ｄの判定結果が、予め定められた位置関係になった場合、表情判定部１８ｆの判定結果に応じて、撮影タイミングであると決定し、撮像部１１内のタイミングジェネレータを介して、撮像素子及びＡ／Ｄ変換部の各々へ向けて駆動信号を送出し、静止画撮影を行わせる。

報知部１８ｈは、笑顔・構図モード設定時に、受光センサ２２からの信号を検出して、検出した光量の信号レベルが、予め設定した光量の信号レベル以下であれば、一例として、表示モニタ１９に警告表示を行わせる。

図２は、電子カメラ１の正面図及び背面図である。本実施形態の電子カメラ１は、いわゆるコンパクト型（レンズ一体型）の電子カメラであり、薄型の筐体を採用している。

図２（ａ）は、電子カメラ１の正面図であり、撮影レンズ１０に入射光を導く入射窓２４と受光素子２２に入射光を導く入射窓２５とが備えられている。

図２（ｂ）は、電子カメラ１の背面図であり、表示モニタ１９と、操作部１５として、広角ズームキー１５ａと、望遠ズームキー１５ｂと、電源ボタン１５ｃと、モードスイッチ１５ｄと、十字キー１５ｅとが備えられている。また、この電子カメラ１の上面には、レリーズ釦１６が備えられている。なお、図２（ｂ）において、表示モニタ１９について、表示画面の上には透明のタッチパネル１７（不図示）が配置されているものとする。

広角ズームキー１５ａは、焦点距離を広角側に変更するための操作キーである。望遠ズームキー１５ｂは、焦点距離を望遠側に変更するための操作キーである。モードスイッチ１５ｄは、撮影モード若しくは再生モードに切り替える操作キーである。十字キー１５ｅは、電子カメラ１の操作メニューの設定条件を選択若しくは実行する操作キーである。

次に、第１実施形態における電子カメラ１の動作の一例を説明する。

図３は、電子カメラ１の撮影動作を表すフローチャートである。以下の説明では、笑顔・構図モードの機能をオンに設定した場合について説明する。すなわち、電子カメラ１の電源がオンされた後、笑顔・構図モード開始の指示入力を操作部１５を介して受け付けると、ＣＰＵ１８は、このフローチャートの処理を開始する。

ステップＳ１０１：ＣＰＵ１８は、撮像部１１内のタイミングジェネレータを介して撮像素子及びＡ／Ｄ変換器を駆動させることによりスルー画像の取得を開始する。このスルー画像は、表示モニタ１９に表示される。続いて、目印表示制御部１８ａは、構図決定用の目印をスルー画像に重畳表示させる。

図４は、目印の設定を説明する図である。図４（ａ）に示すように、目印表示制御部１８ａは、一例として、目印Ｍをスルー画像の中央の位置（表示モニタ１９の表示画面の中央の位置に相当）に表示させる。なお、目印Ｍの表示態様は、一例であって、これに限定されるものではない。

ステップＳ１０２：ＣＰＵ１８は、目印Ｍの位置設定を行う。具体的には、ＣＰＵ１８は、タッチパネル１７を介して指の接触位置の座標を検出する。ＣＰＵ１８の目印表示制御部１８ａは、図４（ｂ）に示す通り、指の接触位置が移動するに伴い、目印Ｍの位置を移動させながら表示させる。そして、ＣＰＵ１８は、タッチパネル１７を介して指の接触位置の移動が停止したことを検出すると、その時点における目印Ｍの位置を構図決定用の位置に設定する。そして、構図決定用の位置の座標データは、一旦、ＲＡＭ１３に記録される。

なお、説明の便宜上、図４（ｂ）では、指の接触位置と目印Ｍの位置とは離れているが、指の接触位置と目印Ｍの位置とは、表示画面上で同じと考えてよく、撮影者は、目印Ｍを指でなぞるようにして動かすものとする。また、ＣＰＵ１８は、所定時間経過してもタッチパネル１７を介して指の接触を検出しない場合、スルー画像の中央の位置をそのまま構図決定用の位置に設定する。

ステップＳ１０３：ＣＰＵ１８の顔検出部１８ｂは、スルー画像の画像データに基づいて、スルー画像から顔の領域を検出する処理を行う。すなわち、顔検出部１８ｂは、画像データから顔の領域の抽出を試みる。なお、ステップＳ１０３の処理が繰り返される度に、スルー画像が顔検出部１８ｂに順次読み出されて、顔の領域を検出する処理が行われることとなる。

ステップＳ１０４：顔検出部１８ｂは、顔の領域を検出できた場合（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移行する。一方、顔の領域を検出できない場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０３に戻る。そして、顔検出部１８ｂは、顔検出の対象となる次のスルー画像の画像データに基づいて、顔の領域を検出する処理を行う。

図５は、顔の領域が検出された後、撮影が行われるまでの処理の概要を説明する図である。

ステップＳ１０５：ＣＰＵ１８の検出枠表示制御部１８ｃは、図５（ａ）に示す通り、顔検出部１８ｂの検出結果に基づいて、人物Ｐの顔の領域を囲む検出枠Ｗをスルー画像に重畳表示させる。なお、ズーム操作等が行われた場合には、検出枠Ｗのサイズも顔の領域の拡大又は縮小に伴って、拡大又は縮小するものとする。

ステップＳ１０６：ＣＰＵ１８は、全押し操作の指示入力の有無を検出する。全押し操作の指示入力を受け付けた場合（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７に移行する。一方、全押し操作の指示入力を受け付けない場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０６の処理が繰り返される。

ステップＳ１０７：ＣＰＵ１８の位置判定部１８ｄは、検出枠Ｗと目印Ｍとの位置関係を判定する。ここでは、説明の便宜上、位置判定部１８ｄは、表示画面上の座標系に対応付けて説明する。

ＣＰＵ１８は、ＲＡＭ１３に記録されている目印Ｍ（構図決定用の位置）の座標データと、検出枠Ｗの座標データを読み出し、検出枠Ｗ内の中心座標と目印Ｍの中心座標との距離を算出する。位置判定部１８ｄは、検出枠Ｗ内の中心座標と目印Ｍの中心座標の位置関係を判定する。検出枠Ｗ内の中心座標と目印Ｍの中心座標との距離の値が予め設定した閾値に達した場合（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０８に移行する。例えば、閾値の値が０に設定されると、位置判定部１８ｄは、中心座標同士が一致（互いの距離の値が０になる）したか否かを判定する。図５（ｂ）に、検出枠Ｗ内の中心座標と目印Ｍの中心座標が一致した場合の例を示す。

なお、図５（ａ）において、ＣＰＵ１８は、一例として、まず、検出枠Ｗの色を黄色の色で表示させる。ＣＰＵ１８は、検出枠Ｗ内の中心座標と目印Ｍの中心座標が一致した場合、図５（ｂ）において、検出枠Ｗの色を緑色に表示させるようにしてもよい。これにより、ＣＰＵ１８は、中心座標同士が一致したことを検出枠Ｗの色の変化で撮影者に報知する。

一方、検出枠Ｗ内の中心座標と目印Ｍの中心座標との距離の値が予め設定した閾値に達しない場合（ステップＳ１０７：Ｎｏ）、ステップＳ１０７の処理が繰り返される。

ステップＳ１０８：ＣＰＵ１８の顔認識部１８ｅは、特徴量抽出処理によって、顔の輪郭の形状、目の形状、口の形状等、人物の表情の特徴が表れる形状を顔の領域から抽出する。

ステップＳ１０９：ＣＰＵ１８の表情判定部１８ｆは、特徴量に基づいて、口角の上がり具合、目の大きさ等から顔の表情を判定する。図５（ｃ）に示す通り、判定結果が笑顔であった場合（ステップＳ１０９：Ｙｅｓ）、ステップＳ１１０に移行する。判定結果が笑顔でなかった場合（ステップＳ１０９：Ｎｏ）、ステップＳ１０７に戻る。

ステップＳ１１０：ＣＰＵ１８の撮影制御部１８ｇは、撮影タイミングであると決定し、ＡＥ、ＡＦ等の撮影準備処理の指示を出し、撮影条件の設定を行わせた後、撮像部１１に静止画撮影の指示を出す。撮像部１１が出力する画像データは、画像処理部１２へ入力される。画像処理部１２は、撮像部１１が出力する画像データをＲＡＭ１３に一旦記録させる。画像処理部１２は、画像データに対してホワイトバランス補正処理等の画像処理を行う。ＣＰＵ１８は、画像処理後の画像データを圧縮処理して記録媒体２１に保存する。

ステップＳ１１１：ＣＰＵ１８は、笑顔・構図モード終了の指示入力を操作部１５を介して受け付けたか否かを判定する。笑顔・構図モード終了の指示入力を受け付けない場合（ステップＳ１１１：Ｎｏ）、ステップＳ１０１に戻る。笑顔・構図モード終了の指示入力を受け付けた場合（ステップＳ１１１：Ｙｅｓ）、この処理ルーチンは終了する。なお、ステップＳ１０４、ステップＳ１０６、ステップＳ１０７及びステップＳ１０９の処理において、タイムアウトすると、ＣＰＵ１８は、笑顔・構図モードを解除する。

以上より、第１実施形態の電子カメラ１によれば、検出枠Ｗ内の中心座標と目印Ｍの中心座標との距離の値が予め設定した閾値に達し、かつ、被写体が笑顔であると、撮影制御部１８ｇは、撮像部１１に静止画撮影を行わせる。したがって、電子カメラ１は、被写体が笑顔であって、好ましい構図であると判断されるとき（位置判定部１８ｄの判定結果が、閾値に達した場合）に、撮影タイミングであると決定して撮影を行わせることができる。

なお、上述した説明では、撮影モードが、笑顔・構図モードである場合について、説明した。例えば、構図のみを優先して静止画撮影を行わせる撮影モード（構図優先モード）をさらに設けてもよい。この場合、ステップＳ１０８、ステップＳ１０９の処理は行われずに、撮影制御部１８ｇは、撮像部１１に静止画撮影を行わせる。つまり、電子カメラ１は、表情判定をせず、好ましい構図であると判断されるときに、撮影タイミングであると決定して撮影を行わせることができる。

また、上述した説明では、特定の表情として、笑顔を選択したが、笑顔に限られず、笑顔以外の表情であってもよい。撮影する構図によっては、笑顔以外の表情を選択した方が良い場合に有効となる。

また、本実施形態では、笑顔・構図モードが設定されている場合、図３に示すフローチャートとは独立に、スルー画像に撮影者の指が映っているか否かの検出を行ってもよい。

図６は、指の映り込みを説明する図である。図６（ａ）に示す通り、近年、薄型の筐体からなるコンパクト型の電子カメラにおいては、撮影者の電子カメラの持ち方によっては、撮影の際、指Ｆ等が入射窓２４の一部を覆ってしまうことがある。

そこで、図１に示す報知部１８ｈは、受光センサ２２からの信号を検出して、検出した光量の信号レベルが、予め設定した光量の信号レベル以下であれば、指Ｆ等が入射窓２４の一部を覆っている可能性があると判断し、一例として、図６（ｂ）に示す通り、表示モニタ１９に「画面内に指が映っている可能性があります！」等の警告表示を行わせる。この際、目印設定表示制御部１８ａも、目印Ｍの表示態様を変えても注意を喚起してもよい。

こうすることで、撮影者は、撮影前であれば、指Ｆが入射窓２４の一部を覆わないようにすることができる。そして、好ましい構図で撮影が行える。なお、この警告は、撮影後であってもよい。撮影後であれば、次回の撮影において、好ましい構図で撮影が行える。

次に、第１実施形態の第１の変形例について説明する。

従来より、撮影画面内の主要物をいわゆる黄金比にしたがって配置すると、撮影画面に安定感をもたらす構図となることが経験的に知られている。そこで、目印表示制御部１８ａが、目印Ｍを黄金比にしたがって配置するようにする。すなわち、目印表示制御部１８ａは、表示モニタ１９に表示されるスルー画像（表示画面のサイズに相当）の縦横を黄金比で各々分割して得られる黄金分割線の交点のうち、選択した交点上に目印Ｍを配置する。以下、図７を参照しつつ、第１の変形例について具体的に説明する。

図７は、第１の変形例を説明する図である。図７（ａ）において、スルー画像の横の寸法（表示画面の横の寸法に相当）が、ａ（１）：ｂ（１．６１８）の黄金比（ここでは、近似値として、１．６１８の値を採用する）で分割されている。また、スルー画像の縦の寸法（表示画面の縦の寸法に相当）が、ｃ（１）：ｄ（１．６１８）の黄金比で分割されている。スルー画像中に示す点線Ｇが、黄金分割線である。ここで、目印表示制御部１８ａは、黄金分割線の交点上に目印Ｍを配置する。

なお、図７（ｂ）に示す通り、スルー画像の縦横を黄金比で各々分割する場合、スルー画像の横の寸法をａ（１．６１８）：ｂ（１）や、スルー画像の縦の寸法をｃ（１．６１８）：ｄ（１）で黄金分割してもよい。そのため、黄金分割線の交点は、図７（ｂ）に示す通り、４点（Ａ、Ｂ、Ｃ、Ｄ）生成することになる。この場合、目印表示制御部１８ａは、Ａ点又はＣ点に目印Ｍを配置させるのが好ましい。そのため、一例として、目印表示制御部１８ａは、Ａ点に目印Ｍをまず配置させる。この状態で、十字キー１５ｅの操作を受け付けることにより、Ｃ点に目印Ｍを配置させてもよい。

図７（ｃ）は、目印Ｍと検出枠Ｗとの位置関係を示している。この場合、撮影制御部１８ｇは、位置判定部１８ｄの判定結果が、予め定められた位置関係になった場合、表情判定部１８ｆの判定結果が笑顔であれば、撮像部１１内に静止画撮影を行わせる。図７（ｃ）は、予め定められた位置関係として、検出枠Ｗ内の中心座標と目印Ｍの中心座標が一致した場合を例示している。こうすることで、被写体が笑顔であって、撮影画面に安定感をもたらす構図が得られやすくなる。

次に、第１実施形態の第２の変形例について説明する。

第２の変形例では、撮影者が、電子カメラを横位置から縦位置に構えた場合、目印表示制御部１８ａは、電子カメラ１の縦位置を考慮して、目印Ｍを黄金比にしたがって配置させる。ここでは、図１に示す姿勢検出センサ２３が、電子カメラ１の光軸周りの回転位置（姿勢）を検出する。

図８は、第２の変形例を説明する図である。電子カメラ１が横位置（図２（ｂ））の状態から縦位置（図８（ａ））の状態に構えられた場合、姿勢検出センサ２３は、時計回りに９０度回転されたことを検出する。なお、電子カメラ１が横位置の状態から縦位置の状態に構えられた場合、図８（ａ）に示すように、地面に対して十字キー１５ｅが表示モニタ１９の下側にあるような位置関係になるとき、ここでは、時計回りと定義する。その逆を、反時計回りと定義する。

この場合、目印表示制御部１８ａは、図７（ｂ）に対応付けると、Ａ点又はＢ点に目印Ｍを配置させるのが好ましい。そのため、一例として、目印表示制御部１８ａは、Ａ点に目印Ｍをまず配置させる。

一方、電子カメラ１が横位置（図２（ｂ））の状態から縦位置（図８（ｂ））の状態に構えられた場合、姿勢検出センサ２３は、反時計回りに９０度回転されたことを検出する。この場合、目印表示制御部１８ａは、図７（ｂ）に対応付けると、Ｃ点又はＤ点に目印Ｍを配置させるのが好ましい。そのため、一例として、目印表示制御部１８ａは、最初Ａ点に目印Ｍを配置させていた場合、Ｄ点に目印Ｍを配置させる。こうすることで、縦位置撮影であっても、被写体が笑顔であって、撮影画面に安定感をもたらす構図が得られやすくなる。
（第２実施形態）
次に、本発明の第２実施形態について説明する。第２実施形態では、電子カメラ１が、動きのある複数の被写体を検出し、それらの被写体の中から選択された注目する被写体を追尾する。そして、電子カメラ１の顔検出部１８ｂが、注目する被写体の顔の領域を検出し、第１実施形態と同様、被写体が笑顔であると、撮影制御部１８ｇは、撮像部１１内に静止画撮影を行わせる。なお、本発明の第１実施形態と本発明の第２実施形態とでは、同じ要素については同じ符号を付して説明を省略する。以下、電子カメラ１の構成で異なる点について、まず説明をする。

図９は、第２実施形態の電子カメラ１の構成を示すブロック図である。図９では、ＣＰＵ１８は、動き検出部１８ｉ、被写体選択部１８ｊ、追尾部１８ｋをさらに備える。

動き検出部１８ｉは、スルー画像の画像データの時間的変化に基づいて被写体の動きを検出する。すなわち、動き検出部１８ｉは、所定のフレームレートで撮像部１１から出力されるスルー画像のフレームを用いて被写体の動きを検出する。動き検出部１８ｉは、公知のフレーム間差分により、順次、動きベクトルを算出していく。これにより、動き検出部１８ｉは、被写体の動きを検出することができる。なお、動き検出部１８ｉは、動き検出用の専用の回路等を用いて、被写体の動きを検出してもよい。

被写体選択部１８ｊは、動き検出部１８ｉで動きが検出された複数の被写体のうち、撮影者からの指示入力を受け付けて注目する被写体を選択する。

追尾部１８ｋは、動き検出部１８ｉの検出結果に基づいて、注目する被写体を追尾する。すなわち、追尾部１８ｋは、被写体選択部１８ｊで選択された被写体を、動き検出部１８ｉの検出結果から現在の被写体の座標を取得することにより追尾する。

次に、第２実施形態の電子カメラ１の撮影動作を説明する。

図１０は、第２実施形態の電子カメラ１の撮影動作を表すフローチャートである。図１１、図１２は、第２実施形態の電子カメラ１における撮影動作の一例を説明する図である。ここでは、遊園地にてメリーゴーランド１００の馬に乗っている被写体を撮影する場面を想定している。ここで、電子カメラ１の電源がオンされた後、被写体の追尾機能を追加した笑顔・構図モード開始の指示入力を操作部１５を介して受け付けると、ＣＰＵ１８は、図１０に示すフローチャートの処理を開始する。

ステップＳ２０１：ＣＰＵ１８は、スルー画像の取得を開始する。目印表示制御部１８ａは、図１１（ａ）に示すように、目印として、ライン状の目印Ｌをスルー画像に重畳表示させる。このライン状の目印Ｌは、タッチパネル１７を介して、左右に移動させることもできる。

ステップＳ２０２：ＣＰＵ１８の動き検出部１８ｉは、スルー画像の取得を受けて、被写体の動きの検出を開始する。図１１（ｂ）に示すように、動き検出部１８ｉは、被写体の動きを検出すると、ＣＰＵ１８は、追尾対象のマークをスルー画像に重畳表示させる。説明をわかりやすくするため、この例では、馬Ｈ１、Ｈ２、Ｈ３に対してそれぞれ追尾対象を表すマークＴ１、Ｔ２、Ｔ３が重畳表示される。また、この例では、馬Ｈ１に被写体Ｐが乗っている。なお、ステップＳ２０２では、ＣＰＵ１８は、順次取得されたスルー画像に対して、追尾対象のマークをスルー画像に重畳表示させる。

ステップＳ２０３：ＣＰＵ１８は、撮影者が十字キー１５ｅを操作することにより、笑顔・構図モード終了の指示入力を受け付けると（ステップＳ２０３：Ｙｅｓ）、図１０に示すフローチャートの処理ルーチンは終了する。一方、ＣＰＵ１８は、笑顔・構図モード終了を受け付けないと（ステップＳ２０３：Ｎｏ）、ステップＳ２０４に移行する。

ステップＳ２０４：ＣＰＵ１８は、追尾対象の候補となる被写体が複数か否かを判定する。追尾対象の被写体が複数の場合（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０５に移行する。追尾対象の被写体が単数の場合（ステップＳ２０４：Ｎｏ）、そのまま追尾対象の被写体となり、ステップＳ２０６に移行する。すなわち、被写体Ｐが、注目する被写体（顔検出の対象となる被写体）として追尾対象に選択される。

ステップＳ２０５：ＣＰＵ１８の被写体選択部１８ｊは、一例として、撮影者に対して追尾対象の被写体の選択を促す。続いて、ＣＰＵ１８は、タッチパネル１７を介して指の接触位置の座標を検出する。例えば、スルー画像に重畳表示されているマークＴ１の部分の座標を検出すると、マークＴ１の被写体が、注目する被写体（顔検出の対象となる被写体）として追尾対象に選択される。すると、ＣＰＵ１８は、マークＴ２、Ｔ３の重畳表示をやめさせる。これにより、マークＴ２、Ｔ３の重畳表示は消える（図１２（ａ））。

ステップＳ２０６：ＣＰＵ１８は、笑顔・構図モード設定時における全押し操作の指示入力の有無を判定する。所定時間内に全押し操作の指示入力を受け付けない場合（ステップＳ２０６：Ｎｏ）、ステップＳ２０２の動き検出処理に戻り、再度、ステップＳ２０２の処理から開始される。この場合、既に、被写体の選択はなされているので、ＣＰＵ１８は、被写体選択の処理等（ステップＳ２０４、ステップＳ２０５）については行わず、再度ステップＳ２０６の処理が繰り返されることとする。

一方、ＣＰＵ１８が、全押し操作の指示入力を受け付けた場合（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０７に移行する。

ステップＳ２０７：ＣＰＵ１８の顔検出部１８ｂは、スルー画像の画像データに基づいて、スルー画像から顔の領域を継続的に検出する処理を行う。このとき、ＣＰＵ１８の顔認識部１８ｅは、特徴量抽出処理によって、人物の表情の特徴が表れる形状を顔の領域から抽出する。ＣＰＵ１８の検出枠表示制御部１８ｃは、顔検出部１８ｂの検出結果に基づいて、顔の領域を囲む検出枠Ｗをスルー画像に重畳表示させる（図１２（ａ））。さらに、ＣＰＵ１８の追尾部１８ｋは、スルー画像に含まれる被写体Ｐを、動き検出部１８ｉの検出結果に基づいて追尾する。

ステップＳ２０８：ＣＰＵ１８の位置判定部１８ｄは、検出枠Ｗと目印Ｌとの位置関係を判定する。この例では、簡単のため、位置判定部１８ｄは、検出枠Ｗ内の中心座標と、その中心座標から仮想的に水平なラインを引いた場合、目印Ｌと交わる点までの距離の値を判定する。すなわち、位置判定部１８ｄは、目印Ｌと交わる点までの距離の値が予め定められた閾値に達したか否かを判定する。ここでは、一例として、閾値の値を０に設定する。すると、閾値に達するか否かの判定は、検出枠Ｗ内の中心座標が目印Ｌのライン線に達したか否かの判定となる。なお、検出枠の中心座標でなく、図１２（ｂ）に示す検出枠Ｗの右端がラインＬに達したか否かを判定条件としてもよい。

したがって、位置判定部１８ｄは、検出枠Ｗ内の中心座標が目印Ｌのライン線に達した場合（ステップＳ２０８：Ｙｅｓ）、ステップＳ２０９に移行する。一方、検出枠Ｗ内の中心座標が目印Ｌのライン線に達していない場合（ステップＳ２０８：Ｎｏ）、ステップＳ２０２に戻る。

ステップＳ２０９：ＣＰＵ１８の表情判定部１８ｆは、特徴量に基づいて、顔の表情が笑顔であるか否かを判定する。図１２（ｂ）に示す通り、判定結果が笑顔であった場合（ステップＳ２０９：Ｙｅｓ）、ステップＳ２１０に移行する。判定結果が笑顔でなかった場合（ステップＳ２０９：Ｎｏ）、ステップＳ２０２に戻る。

ステップＳ２１０：ＣＰＵ１８の撮影制御部１８ｇは、第１実施形態と同様にして、撮像部１１に静止画撮影を行わせる。そして、ＣＰＵ１８は、画像処理後の画像データを圧縮処理して記録媒体２１に保存する。そして、この処理ルーチンは、再び、ステップＳ２０２に戻る。さらに、ステップＳ２０３にて、笑顔・構図モードの終了を受け付けると（ステップＳ２０３：Ｙｅｓ）、図１０に示すフローチャートの処理ルーチンは終了する。

以上より、第２実施形態の電子カメラ１によれば、複数の被写体がモニタリングされた場合、注目する被写体が予め定められた所定位置（目印Ｌ１）に到達したときに、被写体の顔が笑顔であれば、撮影制御部１８ｇは、撮像部１１に静止画撮影を行わせる。したがって、第２実施形態の電子カメラ１は、複数の動く被写体のうち、選択した被写体の顔が特定の表情であって、好ましい構図であると判断されるときに、撮影タイミングであると決定して撮影を行わせることができる。
＜実施形態の補足事項＞
（１）上述した第１実施形態では、人物が１人である場合を例示したが、複数の顔が検出された場合には、第２実施形態と同様、撮影者による入力により、複数の人物のうち、１人を選択させるようにしてもよい。

（２）上述した第１実施形態及び第２実施形態では、被写体が笑顔である場合であって、検出枠と目印Ｍとの位置関係に応じて、撮影制御部１８ｇが撮像部１１に静止画撮影を行わせた。例えば、被写体の特定のポーズ（ジェスチャー）を表す形状を抽出する公知技術を利用して、特定のポーズであるときに、撮影制御部１８ｇが撮像部１１に静止画撮影を行わせるようにしてもよい。或いは、特定の表情と特定のポーズを組み合わせてもよい。

１１・・・撮像部、１８ａ・・・目印表示制御部、１８ｂ・・・顔検出部、１８ｃ・・・検出枠表示制御部、１８ｅ・・・顔認識部、１８ｆ・・・表情判定部、１８ｇ・・・撮影制御部、１８ｉ・・・動き検出部、１８ｊ・・・被写体選択部

特開２００７−３３６１２４号公報

Claims (4)

1. 被写体を撮像して画像データを生成する撮像部と、
   前記画像データに基づく画像を表示する表示部と、
   構図確認用に取得される動画像であるスルー画像に対して、静止画撮影の構図を決定するための第１目印を前記スルー画像の特定位置に重畳表示させる第１目印表示制御部と、
   前記スルー画像から顔の領域を検出する顔検出部と、
   前記顔検出部の検出結果に基づいて、前記スルー画像に対して前記顔の領域を示す第２目印を重畳表示させる第２目印表示制御部と、
   前記顔の特徴量を抽出する顔認識部と、
   前記特徴量に基づいて、前記顔の表情を判定する表情判定部と、
   前記第１目印と前記２目印との位置関係が予め定められた位置関係であって、前記第２目印に対応する前記顔の表情が特定の表情のときに、前記撮像部に前記静止画撮影を行わせる撮影制御部と、
   を備えることを特徴する電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記特定の表情が、笑顔であることを特徴であることを特徴とする電子カメラ。
3. 請求項１に記載の電子カメラにおいて、
   前記第１目印表示制御部は、前記スルー画像の縦横を黄金比で各々分割して得られる黄金分割線の交点の何れかに前記第１目印を重畳表示させることを特徴とする電子カメラ。
4. 請求項１に記載の電子カメラにおいて、
   前記撮像部が順次生成する複数の画像データに基づいて、被写体の動きを検出する動き検出部と、
   前記動き検出部で動きが検出された複数の被写体のうち、注目する被写体を選択する被写体選択部とをさらに備え、
   前記顔検出部は、前記動き検出部の検出結果に基づいて、注目する前記被写体の顔の領域を継続的に検出することを特徴とする電子カメラ。

Images