JP2012015727A

JP2012015727A - 電子カメラ

Info

Publication number: JP2012015727A
Application number: JP2010149343A
Authority: JP
Inventors: Kyoei Senda; 享永千田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-06-30
Filing date: 2010-06-30
Publication date: 2012-01-19

Abstract

【課題】本発明は、瞼の開閉状態の判定精度を向上させる電子カメラを提供する。
【解決手段】電子カメラは、撮像部と、顔検出部と、第１判定部と、修正部と、第２判定部とを備える。撮像部は、被写体像を撮像し、画像を生成する。顔検出部は、画像の中から顔を検出し、その顔を含む第１領域を画像内に設定する。第１判定部は、第１領域の内から顔の領域と顔以外の領域とを抽出し、第１領域に対する顔の領域の位置ずれの有無を判定する。修正部は、位置ずれが生じている場合に、第１領域の位置を変更して位置ずれを修正する。推定部は、修正部により位置ずれが修正された後、第１領域の内から、眼の位置を囲む第２領域の位置を推定する。第２判定部は、推定部の推定結果に基づいて、第２領域における瞼の開閉状態を判定する。
【選択図】図１

Description

本発明は、顔検出機能を有する電子カメラに関する。

従来から、人物の顔を撮影した後に瞼の開閉状態を判定し、瞼が閉じた状態の場合には再度撮影をし直す撮影装置が提案されている（例えば、特許文献１参照）。上記の撮影装置では、顔検出手段で顔を検出した後、瞼の開閉状態を判定する。

特開２００６−３４４１６６号公報

しかし、上記の撮影装置では、顔検出手段で顔を検出した場合、例えば、顔検出用の顔枠に対して顔の領域の位置がずれていると、瞼の位置もずれる。そのため、上記の撮影装置では、瞼の開閉状態に関し誤判定するおそれが生じる。

そこで、本発明は、上記事情に鑑み、瞼の開閉状態の判定精度を向上させる電子カメラを提供することを目的とする。

第１の発明に係る電子カメラは、撮像部と、顔検出部と、第１判定部と、修正部と、第２判定部とを備える。撮像部は、被写体像を撮像し、画像を生成する。顔検出部は、画像の中から顔を検出し、その顔を含む第１領域を画像内に設定する。第１判定部は、第１領域の内から顔の領域と顔以外の領域とを抽出し、第１領域に対する顔の領域の位置ずれの有無を判定する。修正部は、位置ずれが生じている場合に、第１領域の位置を変更して位置ずれを修正する。推定部は、修正部により位置ずれが修正された後、第１領域の内から、眼の位置を囲む第２領域の位置を推定する。第２判定部は、推定部の推定結果に基づいて、第２領域における瞼の開閉状態を判定する。

第２の発明は、第１の発明において、第１判定部は、瞼が閉じている判定結果の場合、位置ずれを再度判定する。推定部は、第１判定部の判定結果に基づいて位置ずれが修正された場合、第２領域の位置の推定を再度行う。第２判定部は、推定部の再度の推定結果に基づいて開閉状態を判定する。

第３の発明は、第１又は第２の発明において、顔検出部は、画像の内から顔の輪郭を検出する。修正部は、顔の輪郭を左右に分ける中心線と第１領域を左右に分ける中心線とのずれを修正する。

第４の発明は、第１から第３の何れか１の発明において、顔検出部は、画像の内から顔の輪郭を検出する。修正部は、顔の輪郭を上下に分ける中心線と第１領域を上下に分ける中心線とのずれを修正する。

第５の発明は、第１から第４の何れか１の発明において、顔検出部は、画像上での顔の回転角を検出し、回転角に応じて第１領域を傾ける。

本発明の電子カメラは、瞼の開閉状態の判定精度を向上させることができる。

電子カメラ１の構成の一例を示すブロック図瞼の開閉状態検出モードにおける電子カメラ１の動作の一例を示すフローチャート瞼の開閉状態を判定する処理の一例を説明する図瞼の開閉状態を判定する処理の一例を説明する図警告表示の一例を説明する図顔の領域の位置ずれを修正するサブルーチンの一例を示すフローチャート顔の領域の位置ずれの有無の判定及びその位置ずれを修正する処理の一例を説明する図顔の領域の位置ずれの有無の判定及びその位置ずれを修正する処理の一例を説明する図顔枠Ｗを大きくする場合の処理の一例を説明する図顔が傾いている場合の処理の一例を説明する図

以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、本実施形態で説明する「瞼の開閉状態の検出モード」は、被写体である人物の瞼が閉じた状態で静止画撮影が行われたと判定した場合、その静止画撮影後に警告メッセージでユーザに報知するモードである（詳細は後述する）。また、本実施形態では、電子カメラ１に対して人物の顔が真正面に向いていることを前提とする。

図１は、電子カメラ１の構成の一例を示すブロック図である。図１に示す通り電子カメラ１は、撮影レンズ１０と、撮像部１１と、画像処理部１２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１４と、表示制御部１５と、表示モニタ１６と、記録インターフェース部（以下、「記録Ｉ／Ｆ部」という。）１７と、レリーズ釦１８と、操作部１９と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０と、データバス２１とを備える。

このうち、撮像部１１、画像処理部１２、ＲＡＭ１３、ＲＯＭ１４、表示制御部１５、記録Ｉ／Ｆ部１７及びＣＰＵ２０は、データバス２１を介して互いに接続されている。また、レリーズ釦１８と操作部１９とは、ＣＰＵ２０に接続されている。

撮影レンズ１０は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影レンズ１０を１枚のレンズとして図示する。

撮像部１１は、レンズ駆動機構、絞り、シャッター機構、撮像素子、ＡＦＥ（アナログフロントエンド）等からなる。この撮像部１１は、撮影レンズ１０が結像した被写体像の画像を生成する。なお、撮像素子は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）型又はＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサである。また、撮像素子の撮像面には、被写体像をカラー検出するために、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３種類のカラーフィルタが、一例としてベイヤー配列で配置されている。

撮像部１１が出力する画像は、色情報を含む複数の画素データから構成される画像データとしてＲＡＭ１３に一時的に記録される。ＲＯＭ１４は、電子カメラ１の制御を行うプログラム等を予め記憶している不揮発性のメモリである。ＣＰＵ２０は、このプログラムに従い、一例として後述の図２に示すフローの処理を実行する。

画像処理部１２は、ＲＡＭ１３に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。また、画像処理部１２は、ＲＧＢの画像信号を輝度信号と色度信号とに変換して顔検出処理用の画像データを生成する。

表示制御部１５は、静止画像、構図確認用のスルー画像、電子カメラ１の操作メニュー等を表示モニタ１６に表示する。表示モニタ１６には、液晶モニタ等を適宜選択することができる。

記録Ｉ／Ｆ部１７には、着脱自在の記録媒体３０を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ部１７は、そのコネクタに接続された記録媒体３０にアクセスして静止画像の記録処理等を行う。この記録媒体３０は、例えば、不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。

レリーズ釦１８は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）や自動露出（ＡＥ）等の動作開始の指示入力）と全押し操作（撮像動作開始）との指示入力とを受け付ける。

操作部１９は、例えば、コマンド選択用のコマンドダイヤル、電源ボタン等を有している。そして、操作部１９は、電子カメラ１を操作するための指示入力を受け付ける。

ＣＰＵ２０は、電子カメラ１の統括的な制御を行うマイクロプロセッサである。ＣＰＵ２０は、上記のプログラムを実行することにより、電子カメラ１の各部の制御等を行う。ＣＰＵ２０は、顔検出部２０ａ、第１判定部２０ｂ、修正部２０ｃ、推定部２０ｄ、第２判定部２０ｅ及び報知部２０ｆとしても機能する。

顔検出部２０ａは、例えば、撮影された静止画像の中から顔の領域を検出し、その顔を含む領域を第１領域に設定する。具体的には、顔検出部２０ａは、一例として特開平８−６３５９７号公報に記載された顔検出処理によって、肌色領域を顔の領域として抽出する。そして、顔検出部２０ａは、顔の肌色領域を含む矩形領域を第１領域（顔枠）に設定する。ＣＰＵ２０は、第１領域の位置座標、サイズ（範囲）等をＲＡＭ１３に記録する。

なお、顔検出部２０ａは、上記の顔検出処理によって、顔の輪郭をさらに抽出しても良い。また、顔検出部２０ａは、上記の特開平８−６３５９７号公報に記載された顔認識処理によって、画像から眼、鼻、口等の顔の器官を抽出しても良い。この場合、推定部２０ｄは、顔検出部２０ａが第１領域を設定しなくとも、顔認識処理により眼の器官が抽出されることで眼の位置を囲む第２領域を推定することができる。ただし、顔検出部２０ａによる顔認識処理は、各器官の特徴量を抽出するため、その分、余計に時間がかかる。そこで、本実施形態では、各器官の特徴量を抽出するまでもなく、第１領域に基づいて第２領域を推定する方法を採用する。

第１判定部２０ｂは、第１領域の内から顔の領域と顔以外の領域とを抽出し、第１領域に対する顔の領域の位置ずれの有無を判定する（詳細は後述する）。修正部２０ｃは、位置ずれが生じている場合、第１領域の位置を変更して位置ずれを修正する。

推定部２０ｄは、修正部２０ｃにより位置ずれが修正された後、第１領域の内から、眼の位置を囲む第２領域の位置を推定する。具体的には、ＲＯＭ１４には、予め第１領域のサイズに応じて、人物の眼の平均的な位置示す領域を対応付けた第２領域推定用のデータが登録されている。推定部２０ｄは、この第２領域推定用のデータを参照して、第１領域の内から、眼の位置を囲む第２領域の位置を推定する。そして、推定部２０ｄは、眼の位置を囲む枠を生成する。この枠内が第２領域に相当する。なお、推定部２０ｄは、修正部２０ｃの処理が行われる前に第２領域の位置を先に推定しても良い。

第２判定部２０ｅは、推定部２０ｄの推定結果に基づいて、第２領域における瞼の開閉状態を判定する。具体的には、第２判定部２０ｅは、推定部２０ｄが推定した第２領域における色分布情報に基づいて、瞼の開閉状態を判定する。

報知部２０ｆは、例えば、瞼が閉じた状態であることを示すメッセージを表示モニタ１６に表示させ、ユーザに対して警告をする。

次に、電子カメラ１の動作の一例を説明する。図２は、瞼の開閉状態の検出モードにおける電子カメラ１の動作の一例を示すフローチャートである。ここで、静止画像の撮影によりＲＡＭ１３に画像データが一旦記録された後、ＣＰＵ２０は、図２に示すフローの処理を開始させる。

ステップＳ１０１：ＣＰＵ２０の顔検出部２０ａは、ＲＡＭ１３に記録された画像データに基づいて顔検出処理を行う。

ステップＳ１０２：顔検出部２０ａが顔を検出した場合（ステップＳ１０２：Ｙｅｓ）、ＣＰＵ２０は、第１領域の位置座標、サイズ（範囲）等をＲＡＭ１３に記録する。一方、顔検出部２０ａが顔を検出しなかった場合（ステップＳ１０２：Ｎｏ）、ＣＰＵ２０は、図２に示すフローの処理を終了させる。

ステップＳ１０３：ＣＰＵ２０は、顔の領域の位置ずれを修正するサブルーチン（ステップＳ１０４）を先に実行するか否かを判定する。本実施形態では、図６に示すサブルーチンを先に実行した後に瞼の開閉状態を判定しても良い。或いは、本実施形態では、瞼の開閉状態を先に判定し、瞼が閉じている判定結果の場合、図６に示すサブルーチンを実行するようにしても良い。

ステップＳ１０４：ＣＰＵ２０は、図６に示すサブルーチンの処理を開始する。なお、説明の便宜上、瞼の開閉状態の検出モードにおけるディフォルトの設定では、図６に示すサブルーチンを行う前に瞼の開閉状態を先に判定することとする。そのため、ＣＰＵ２０は、ステップＳ１０５の処理に移行する。

ステップＳ１０５：ＣＰＵ２０の推定部２０ｄは、第１領域に基づいて、第１領域内から眼の位置を囲む第２領域を推定する。具体的には、推定部２０ｄは、ＲＯＭ１４の第２領域推定用のデータを参照して、第１領域のサイズに応じて眼の位置を囲む第２領域を顔枠Ｗ内に生成する。

ステップＳ１０６：ＣＰＵ２０の第２判定部２０ｅは、輝度信号や色度信号に基づいて第２領域の画像を解析し、瞼の開閉状態を判定する。この場合、第２判定部２０ｅは、肌色成分、黒色成分、白色成分等の色の分布状態に基づいて瞼の開閉状態を判定する。具体例を図３、図４を用いて説明する。

図３、図４は、瞼の開閉状態を判定する処理の一例を説明する図である。一例として、図３（ａ）に示す通り、顔検出部２０ａは、ステップＳ１０１の顔検出処理により、人物Ｐの顔を検出する。ここで、顔枠Ｗ内の領域が第１領域に相当し、第１領域内に第２領域が含まれる。また、顔枠Ｗが第１領域の輪郭部分に相当する。例えば、推定部２０ｄは、顔枠Ｗのサイズに応じて、顔枠Ｗ内の第２領域（矩形領域）Ａ１、Ａ２内に人物Ｐの眼があると推定する。なお、第２領域Ａ１、Ａ２は、一例であって、第２領域が１つの矩形領域であっても良く、或いは、片眼のみを囲む領域であっても良い。

ここで、顔検出処理が顔の領域（例えば肌色領域）の検出のみを主目的としている場合、顔枠Ｗの位置から推定される眼の領域は、実際の人物の眼の位置と必ずしも合っているとは限らない。これは、被写体の顔のサイズが個体差によって異なる場合等に起こり得る。図３（ａ）〜（ｄ）は、人物Ｐが瞼を開けている場合の顔検出処理を例示しているが、図３（ｂ）〜（ｄ）は、顔枠Ｗに対して顔の領域の位置ずれが生じている。また、図４（ａ）〜（ｄ）は、人物Ｐが瞼を閉じている場合の顔検出処理を例示しているが、図４（ｂ）〜（ｄ）は、顔枠Ｗに対し顔の領域の位置ずれが生じている。特に、図３（ｃ）や図４（ｂ）の場合、顔枠Ｗ内の第２領域Ａ１、Ａ２内に人物Ｐの眼がないにも拘わらず、瞼の開閉状態を判定してしまうという問題が生じる。本実施形態では、このような問題を解決する手段を提供する。

一例として、第２判定部２０ｅは、以下に説明する処理で瞼の開閉状態を判定する。第２判定部２０ｅは、例えば図４（ａ）に示す通り、第２領域において白色成分がなければ、瞼は閉じていると判定する。或いは、第２判定部２０ｅは、テンプレートマッチングにより瞼の開閉状態を判定する。この場合、本実施形態では、テンプレートとして、黒眼に相当する黒色成分と白眼に相当する白色成分からなる眼の形状を有するテンプレートを採用する。第２判定部２０ｅは、第２領域において、テンプレートマッチングに基づいて、眼の形状のパターンを特定できた場合（図３（ａ）等）、瞼が開いていると判定する。また、テンプレートマッチングに基づいて、眼の形状のパターンを特定できなかった場合（図４（ａ）等）、第２判定部２０ｅは、瞼が閉じていると判定する。

ステップＳ１０７：第２判定部２０ｅは、瞼が開いていると判定した場合（ステップＳ１０７：Ｙｅｓ）、ＣＰＵ２０は、このフローの処理を終了させる。一方、第２判定部２０ｅは、瞼が閉じていると判定した場合（ステップＳ１０７：Ｎｏ）、ＣＰＵ２０は、ステップＳ１０８の処理に移行する。

ステップＳ１０８：ＣＰＵ２０は、第２判定部２０ｅによる瞼の開閉状態の判定回数が予め設定された回数（リトライ回数：例えば２回）に達したか否かを判定する。この判定回数の情報は、ＲＡＭ１３に記録されている。ＣＰＵ２０は、このフローを開始すると判定回数を初期化してゼロの値にする。ＣＰＵ２０は、判定回数がリトライ回数に達したと判定した場合（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９の処理に移行する。一方、ＣＰＵ２０は、判定回数がリトライ回数に達していないと判定した場合（ステップＳ１０７：Ｎｏ）、ステップＳ１０４に戻り、修正処理のサブルーチンを実行させる。このサブルーチンが終了すると、ＣＰＵ２０は、判定回数をインクリメントし、判定回数を上書きする。そして、ＣＰＵ２０は、再度、ステップＳ１０５からステップＳ１０８までの処理を繰り返す。

ステップＳ１０９：報知部２０ｆは、ステップＳ１０４の修正処理がリトライ回数に達しても瞼が閉じている判定結果の場合、ユーザに対して警告する。具体的には、報知部２０ｆは、表示制御部１５に警告表示を行うための指示信号を送信する。表示制御部１５は、指示信号に基づいて、瞼が閉じた状態であることを示すメッセージ等を表示モニタ１６に表示させる。図５は、警告表示の一例を説明する図である。このような表示をすることにより、撮影した静止画像において、瞼が閉じていることをユーザに報知する。これにより、ユーザは、再度、静止画撮影を行った方が良いと判断することができる。

次に、顔の領域の位置ずれを修正するサブルーチンについて説明する。図６は、顔の領域の位置ずれを修正するサブルーチンの一例を示すフローチャートである。本実施形態では、このフローチャートのプログラムもＲＯＭ１４に予め格納されている。

ステップＳ２０１：第１判定部２０ｂは、顔の領域の位置ずれの有無を判定する。図７、図８は、顔の領域の位置ずれの有無の判定及びその位置ずれを修正する処理の一例を説明する図である。例えば、第１判定部２０ｂは、図７（ａ）に示す顔枠ＷのＹ方向に対して左右に分ける中心線（Ｌ１）を顔枠Ｗの位置座標に基づいて求める。そして、第１判定部２０ｂは、顔枠Ｗ内から顔（肌色）の領域と背景の領域とを抽出し、中心線（Ｌ１）を境にして顔枠Ｗ内における背景の領域の面積を算出する。ここで、第１判定部２０ｂは、中心線（Ｌ１）を境にして顔枠Ｗ内における背景の領域の面積が左右で異なる場合、顔枠Ｗに対する顔の領域の位置ずれが生じていると判定する。つまり、第１判定部２０ｂは、例えば、中心線（Ｌ１）を境にして顔枠Ｗ内における背景の領域の面積比に基づいて、顔の領域の位置ずれを判定する。

或いは、第１判定部２０ｂは、顔枠ＷのＹ方向の中心線（Ｌ１）と、顔を左右に分ける中心線（Ｌ２）との一致度を求めることにより、顔の領域の位置ずれの有無を判定しても良い。この場合、第１判定部２０ｂは、顔検出部２０ａが検出した顔の輪郭を楕円形とみなして、その楕円形の長軸を中心線（Ｌ２）とする。図７（ａ）では、第１判定部２０ｂが、顔枠Ｗ内における水平方向（図中、Ｘ方向）に対し、顔の領域の位置ずれを判定する場合について例示している。すなわち、第１判定部２０ｂは、顔枠ＷのＹ方向の中心線（Ｌ１）と、顔の上下方向（Ｙ方向）の中心線（Ｌ２）との一致度を求める。ここで、一致度は、顔枠ＷのＹ方向の中心線（Ｌ１）と顔の上下方向（Ｙ方向）の中心線（Ｌ２）との距離間隔を表している。つまり、距離間隔がゼロの場合、顔枠ＷのＹ方向の中心線（Ｌ１）と顔の上下方向（Ｙ方向）の中心線（Ｌ２）とは重なり、一致度が最大となる（図７（ｂ）参照）。一方、顔枠ＷのＹ方向の中心線（Ｌ１）と顔の上下方向（Ｙ方向）の中心線（Ｌ２）との距離が離れるに従って一致度は小さくなり、一致度が低下するほど顔の領域の位置ずれが大きくなる。

従って、第１判定部２０ｂは、一致度を求めることで顔の領域の位置ずれを判定できる。本実施形態では、位置ずれの判定にはある程度の幅を持たせても良い。この場合、第１判定部２０ｂは、一致度を示す距離間隔が予め設定した値以下の場合、位置ずれが起きていないと判定し、一致度を示す距離間隔が予め設定した値よりも大きい場合、位置ずれが起きていると判定する。

なお、第１判定部２０ｂは、顔枠ＷのＹ方向の中心線（Ｌ１）と、顔の上下方向（Ｙ方向）の中心線（Ｌ２）とについては、ＲＡＭ１３に記録されている画像データの位置座標に基づいて求める。

図８（ａ）では、第１判定部２０ｂが、顔枠Ｗ内における垂直方向（図中、Ｙ方向）に対し、顔の領域の位置ずれを判定する場合について例示している。すなわち、第１判定部２０ｂは、顔枠Ｗを上下に分ける中心線（Ｌ３）と、顔を上下に分ける中心線（Ｌ４）との一致度を求める。ここでは、簡単のため、人物の平均的な眼の位置のデータに基づいて、中心線（Ｌ４）が眼の領域を横切っていると仮定する。

この場合、第１判定部２０ｂは、顔検出部２０ａが検出した顔の輪郭を楕円形とみなして、その楕円形の短軸を中心線（Ｌ４）とする。ここで、図８（ａ）における一致度は、顔枠Ｗを上下に分ける中心線（Ｌ３）と顔を上下に分ける中心線（Ｌ４）との距離間隔を表している。第１判定部２０ｂは、中心線（Ｌ３）と中心線（Ｌ４）とについては、ＲＡＭ１３に記録されている画像データの位置座標に基づいて求める。

ステップＳ２０２：第１判定部２０ｂは、一致度を示す距離間隔が予め設定した値よりも大きい場合、位置ずれが起きている判定をし（ステップＳ２０２：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ２０３の処理に移行する。一方、第２判定部２０ｅは、一致度を示す距離間隔が予め設定した値以下の場合、位置ずれが起きていないと判定し（ステップＳ２０２：Ｎｏ）、ＣＰＵ２０は、図２に示すフローチャートのステップＳ１０５の処理に戻る。

ステップＳ２０３：ＣＰＵ２０の修正部２０ｃは、顔枠Ｗの位置を変更することにより、顔の領域の位置ずれを修正する。例えば、修正部２０ｃは、図７（ｂ）に示す通り、顔枠ＷのＹ方向の中心線（Ｌ１）と、顔の上下方向（Ｙ方向）の中心線（Ｌ２）とが一致するように顔枠Ｗの位置を変更する。或いは、修正部２０ｃは、図８（ｂ）に示す通り、顔枠ＷのＸ方向の中心線（Ｌ３）と、顔の左右方向（Ｘ方向）の中心線（Ｌ４）とが一致するように顔枠Ｗの位置を変更する。或いは、修正部２０ｃは、図７（ｂ）と図８（ｂ）との処理を組み合わせるようにしても良い。

なお、ここでは、説明をわかりやすくするため模式的な図を用いて説明したが、修正部２０ｃは、ＲＡＭ１３に記録されている静止画撮影された画像データに対して顔の領域の位置ずれを修正する処理を行っている。ただし、ＣＰＵ２０は、表示制御部１５を介して、表示モニタ１６に例えばステップＳ２０３の処理（図７、図８等）を表示させるようにしても良い。この場合、ＣＰＵ２０は、ステップ２０３の処理が終了すると、図２に示すフローチャートに戻り、再度ステップＳ１０５からの処理を行わせる。

以上より、本実施形態の電子カメラ１では、顔の領域の位置ずれが生じていた場合であっても、その位置ずれを修正して瞼の開閉状態を判定するため、瞼の開閉状態の判定精度を向上させることができる。
＜実施形態の補足事項＞
（１）上記実施形態では、顔検出部２０ａが検出した顔の領域に応じて顔枠Ｗを設定したが、顔枠Ｗをディフォルト値で設定しても良い。この場合、顔枠Ｗが顔よりも小さい場合には、ＣＰＵ２０は、画像に対する顔枠Ｗのサイズを大きくする。

図９は、顔枠Ｗを大きくする場合の処理の一例を説明する図である。図９（ａ）は、顔枠Ｗが顔よりも小さい場合を例示している。この場合、ＣＰＵ２０は、図９（ｂ）に示す通り、顔枠Ｗを大きくすると共に第２領域Ａ１、Ａ２も大きくする。一方、顔枠Ｗが顔よりも大きい場合には、ＣＰＵ２０は、画像に対する顔枠Ｗのサイズを小さくする。この場合、ＣＰＵ２０は、顔枠Ｗを小さくすると共に第２領域Ａ１、Ａ２も小さくする。

なお、顔枠Ｗが実際の顔より大きく設定されているか否かの判定について、ＣＰＵ２０は、顔枠Ｗの周辺側の領域に肌色成分以外の色情報が多く含まれているか否かで判定しても良い。或いは、ＣＰＵ２０は、顔枠Ｗ内の肌色成分の占める割合に基づいて判定しても良い。

（２）上記実施形態では、第１判定部２０ｂは、顔の傾きを考慮せずに位置ずれの有無を判定した。ここで、本実施形態では、顔の傾きを考慮して位置ずれの有無を判定しても良い。図１０は、顔が傾いている場合の処理の一例を説明する図である。図１０（ａ）に示す通り、顔が傾いている場合、第２判定部２０ｅは、瞼が閉じていると誤判定するおそれが生じる。そこで、顔検出部２０ａは、画像の画面内の垂直方向（図１０中、Ｙ軸方向）に対する回転角を検出し、回転角に応じて顔枠Ｗを傾けて画像内に設定しても良い。

具体的には、第１判定部２０ｂは、図１０（ｂ）に示す通り、顔検出部２０ａが検出した顔の輪郭を楕円形とみなして、その楕円形の長軸を中心線（Ｌ５）として求める。顔検出部２０ａは、画像内のＸＹ座標において、Ｙ軸方向の垂線（Ｌ６）と中心線（Ｌ５）とがなす角度θを算出する。顔検出部２０ａは、角度θが０度であれば、顔の傾きは生じていないと判定する。一方、顔検出部２０ａは、角度θが例えば時計回りに４５度であれば、顔が傾いていると判定する。そして、顔検出部２０ａは、顔枠Ｗを時計回りに４５度傾けて画像内に設定する（図１０（ｂ）参照）。これにより、本実施形態の電子カメラ１では、顔が傾いている場合であっても、瞼の開閉状態の判定精度を向上させることができる。

（３）上記実施形態では、逆光下での撮影をする場合、背景に対して顔が暗くなるため、ＣＰＵ２０は、背景と顔との境界の輝度差で顔枠Ｗ内における顔の領域の位置を求めて、顔の領域の位置ずれを修正しても良い。

（４）上記実施形態では、１人の人物に対して眼の開閉状態を判定したが、複数の人物が写っている場合、人物毎に眼の開閉状態を判定しても良い。

（５）上記実施形態では、眼が完全に閉じている状態を閉状態として判定したが、これは一例であって、例えば、瞼が半分閉じている状態を閉状態として判定しても良い。

１１・・・撮像部、２０ａ・・・顔検出部、２０ｂ・・・第１判定部、２０ｃ・・・修正部、２０ｄ・・・推定部、２０ｅ・・・第２判定部、２０ｆ・・・報知部

Claims

被写体像を撮像し、画像を生成する撮像部と、
前記画像の中から顔を検出し、該顔を含む第１領域を前記画像内に設定する顔検出部と、
前記第１領域の内から前記顔の領域と前記顔以外の領域とを抽出し、前記第１領域に対する前記顔の領域の位置ずれの有無を判定する第１判定部と、
前記位置ずれが生じている場合に、前記第１領域の位置を変更して前記位置ずれを修正する修正部と、
前記修正部により前記位置ずれが修正された後、前記第１領域の内から、眼の位置を囲む第２領域の位置を推定する推定部と、
前記推定部の推定結果に基づいて、前記第２領域における瞼の開閉状態を判定する第２判定部と、
を備えることを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記第１判定部は、前記瞼が閉じている判定結果の場合、前記位置ずれを再度判定し、
前記推定部は、前記第１判定部の判定結果に基づいて前記位置ずれが修正された場合、前記第２領域の位置の推定を再度行い、
前記第２判定部は、前記推定部の再度の推定結果に基づいて前記開閉状態を判定することを特徴とする電子カメラ。
請求項１又は請求項２に記載の電子カメラにおいて、
前記顔検出部は、前記画像の内から前記顔の輪郭を検出し、
前記修正部は、前記顔の輪郭を左右に分ける中心線と前記第１領域を左右に分ける中心線とのずれを修正することを特徴とする電子カメラ。
請求項１から請求項３の何れか１項に記載の電子カメラにおいて、
前記顔検出部は、前記画像の内から前記顔の輪郭を検出し、
前記修正部は、前記顔の輪郭を上下に分ける中心線と前記第１領域を上下に分ける中心線とのずれを修正することを特徴とする電子カメラ。
請求項１から請求項４の何れか１項に記載の電子カメラにおいて、
前記顔検出部は、前記画像上での前記顔の回転角を検出し、前記回転角に応じて前記第１領域を傾けることを特徴とする電子カメラ。