JP2009252094A

JP2009252094A - 顔画像検出装置

Info

Publication number: JP2009252094A
Application number: JP2008101565A
Authority: JP
Inventors: Tomonori Akiyama; 知範秋山
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-04-09
Filing date: 2008-04-09
Publication date: 2009-10-29

Abstract

【課題】演算負荷の増大を抑えつつ顔画像の検出精度の向上を図った顔画像検出装置を提供する。
【解決手段】顔画像撮像カメラ１２の被写界深度を制御し、被写界深度が制御された際のエッジ強度に基づいて、対象者のまぶたの特徴を有するエッジ判定する。被写界深度は、ピントが合っているように見える領域であり、領域を外れるとぼやけて見える。そのため、例えば、眼鏡のエッジとまぶたのエッジとを候補として抽出している場合には、被写界深度が変更される際に、どちらか一方のエッジがピントの合う領域から先に外れることになる。顔画像検出装置１０は、このときのエッジ強度の変化に基づいて、対象者のまぶたの特徴を有するエッジであるか否かを判定する。これにより、対象者のまぶたの特徴を有するエッジを正確に抽出することができ、まぶたの検出精度の向上を図ることができる。
【選択図】図１

Description

本発明は、顔画像検出装置に関する。

従来、まぶたの特徴を有するエッジを抽出し、そのエッジに基づいて眼部を検出する眼部検出装置が知られている（例えば、特許文献１参照）。特許文献１の眼部検出装置では、上まぶた及び下まぶたの特徴を有するエッジを抽出し、上下のエッジペアに基づいてテンプレートを作成する。そして、そのテンプレートと顔画像との相関演算により目の候補を検出している。

ここで、例えば運転者が眼鏡をかけている場合には、眼鏡のエッジをまぶたのエッジとして検出してしまうといった問題があった。この問題を解消するために、例えば特許文献２では、視点の異なる複数のカメラにより対象物を撮像し、撮像された画像から幾何学的拘束条件に基づいて誤検出した特徴点を除外している。
特開２０００−１３７７９２号公報特開２００５−３０９７８２号公報

しかしながら、上記の従来技術では、複数のカメラを用いているため、カメラの数に応じた分だけ画像処理をしなければならず、演算負荷が増大し画像処理に時間がかかるといった問題があった。

そこで、本発明は、演算負荷の増大を抑えつつ顔画像の検出精度の向上を図った顔画像検出装置を提供することを目的とする。

本発明による顔画像検出装置は、対象者のまぶたの特徴を有するエッジを抽出し、抽出されたエッジに基づいて対象者のまぶたを検出可能な顔画像検出装置において、対象者の顔画像を撮像する顔画像撮像手段と、顔画像撮像手段の被写界深度を制御する被写界深度制御手段と、被写界深度が制御された際に、エッジのエッジ強度が変化するか否かに基づいて、対象者のまぶたの特徴を有するエッジを判定するエッジ判定手段と、を備えることを特徴とする。

この顔画像検出装置においては、顔画像撮像手段の被写界深度を制御し、被写界深度が制御された際のエッジ強度に基づいて、対象者のまぶたの特徴を有するエッジ判定する。被写界深度は、ピントが合っているように見える領域であり、領域を外れるとぼやけて見える。そのため、例えば、眼鏡のエッジとまぶたのエッジとを候補として抽出している場合には、被写界深度が変更される際に、どちらか一方のエッジがピントの合う領域から先に外れることになる。顔画像検出装置は、このときのエッジ強度の変化に基づいて、対象者のまぶたの特徴を有するエッジであるか否かを判定する。これにより、対象者のまぶたのエッジを正確に抽出することができ、まぶたの検出精度の向上を図ることができる。また、被写界深度を制御することでまぶたのエッジを正確に抽出できるので、演算負荷の増大を抑えてまぶたを検出することができる。

また、被写界深度制御手段は、被写界深度を対象者側へ移動させ、エッジ判定手段は、被写界深度が対象者側に移動された際に、エッジのエッジ強度が弱くなるか否かに基づいて、対象者のまぶたの特徴を有するエッジを判定することが好ましい。これにより、例えば、眼鏡のエッジをまぶたのエッジの一つとして誤って検出している場合には、被写界深度を対象者側に移動すると、目の位置よりも眼鏡のほうが顔画像撮像手段側にあるので、眼鏡のエッジ強度が他のまぶた候補位置のエッジ強度よりも先にピントが合わなくなる。このとき、眼鏡のエッジ強度は弱くなるので、対象者のまぶたの特徴を有するエッジではないと判定する。これにより、好適にまぶたのエッジを抽出することができ、まぶたの検出精度の向上を図ることができる。

本発明によれば、演算負荷の増大を抑えつつ顔画像の検出精度の向上を図ることができる。

以下、本発明による顔画像検出装置の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の実施形態に係る顔画像検出装置を示すブロック構成図である。

図１に示す顔画像検出装置１０は、車両に搭載され、運転者（対象者）Ｄのまぶたの特徴を有するエッジの候補を抽出し、被写界深度が運転者Ｄ側に移動されたときのエッジ強度を判定することにより、運転者Ｄのまぶたの特徴を有するエッジを判定する。そして、顔画像検出装置１０は、判定されたエッジに基づいて、運転者Ｄのまぶたを検出する。このような顔画像検出装置１０は、顔画像撮像カメラ１２と、顔画像処理ＥＣＵ１４とを備えている。

顔画像撮像カメラ１２は、例えばコラムカバー上に設置され、運転者Ｄの顔画像を取得するものである。顔画像撮像カメラ１２は、例えばＣＣＤカメラであり、顔画像処理ＥＣＵ１４と電気的に接続され、取得した画像信号を顔画像処理ＥＣＵ１４に送信する。顔画像撮像カメラ１２は、本発明の顔画像撮像手段として機能するものである。この顔画像撮像カメラ１２は、焦点距離ｆ、及びレンズの絞り値Ｎを変更可能な可変焦点レンズを有している。顔画像撮像カメラ１２では、顔画像処理ＥＣＵ１４からの指令信号に従い、焦点距離ｆ、及びレンズの絞り値Ｎを変更する。

顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ（Central ProcessingUnit）、記憶部となるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）、入力信号回路、出力信号回路、電源回路などにより構成されている。

顔画像処理ＥＣＵ１４は、記憶部に記憶されているプログラムを実行することで、被写界深度制御部１６、エッジ処理部１８、エッジ判定部２０、まぶた検出部２２が構成される。また、記憶部は、まぶた候補に関するデータを記憶する記憶手段として機能する。

被写界深度制御部１６は、顔画像撮像カメラ１２の被写界深度を制御するものである。被写界深度制御部１６は、エッジ判定部２０（後述）からの制御指示信号により、顔画像撮像カメラ１２の被写界深度を運転者Ｄ側に移動するように制御する。被写界深度制御部１６は、本発明の被写界深度制御手段として機能するものである。

図２を参照して、被写界深度について説明する。図２は、被写体（運転者Ｄ）の被写界深度Ｆを示す図である。図２に示すように、被写界深度Ｆは、被写体（運転者Ｄ）にピントが合っているように見える前後の範囲である。被写界深度Ｆは、前方被写界深度Ｆ_ｆと後方被写界深度Ｆ_ｒとの和で表される。前方被写界深度Ｆ_ｆは、被写体から顔画像撮像カメラ１２側のピントが合っているように見える範囲であり、後方被写界深度Ｆ_ｒは、被写体から無限遠側のピントが合っているように見える範囲である。前方被写界深度Ｆ_ｆは、許容錯乱円の直径をｃ、レンズから被写体までの距離（被写体距離）をｓ、ＣＣＤ画面からレンズまでの距離（焦点距離）をｆ、レンズの絞り値をＮとすると、下記式（１）で表される。
Ｆ_ｆ＝ｃＮｓ^２／（ｆ^２＋ｃＮｆ） …（１）

上記式（１）より、被写界深度制御部１６は、レンズの絞り値Ｎを小さくする、或いは焦点距離ｆを短くすることで前方被写界深度Ｆ_ｆを浅く（後方被写界深度Ｆ_ｒを深く）し、被写界深度Ｆを運転者Ｄ側へ移動させる。なお、前方被写界深度Ｆ_ｆの制御は、２つのパラメータのいずれか一方を変化させてもよいし、両方を変化させてもよい。以下の本実施形態では、焦点距離ｆを短くすることを例示する。

エッジ処理部１８は、入力された画像信号に対してエッジ検出処理を行い、運転者Ｄのまぶたの特徴を有するエッジ候補を抽出する。そして、エッジ処理部１８は、抽出されたエッジ候補と、記憶部に記憶されているまぶた候補のエッジとを比較することにより、まぶた候補を検出する。より具体的には、エッジ処理部１８は、エッジ強度及びエッジの連続性をパラメータとして尤度を求め、まぶた候補のエッジに対して最も尤度が高いものをまぶた候補として検出する。エッジ処理部１８は、検出したまぶた候補をエッジ判定部２０に出力する。

エッジ判定部２０は、まぶた候補のエッジ強度が変化するか否かに基づいて、まぶた候補中から運転者Ｄのまぶたの特徴を有するエッジを判定する。エッジ判定部２０は、被写界深度Ｆの制御を指示する制御指示信号を、被写界深度制御部１６に出力する。エッジ判定部２０は、エッジ処理部１８によって検出されるいくつかのまぶた候補のエッジにおいて、前方被写界深度Ｆ_ｆが運転者Ｄ側に移動される際に、エッジ強度が弱くなる（ピントが合わなくなる）タイミングが他のまぶた候補に比べて早いまぶた候補のエッジを誤検出と判定する。そして、エッジ判定部２０は、他のまぶた候補と比べてエッジ強度が弱くなるタイミングが遅い、又は弱くならないものを、運転者Ｄのまぶたの特徴を有するエッジとして判定する。具体的には、図３を参照して説明する。

図３（ａ）〜（ｃ）は、まぶた候補のエッジを判定する一例を示す図である。図３（ａ）〜（ｃ）では、眼鏡Ｇのフレームをまぶた候補の一つとして誤検出している場合を例示している。図３（ａ）に示すように、２つのまぶた候補のエッジＥ１及びＥ２がある場合に、被写界深度制御部１６は、前方被写界深度Ｆ_ｆを浅くすることで、被写界深度ＦをＦ１からＦ２へと運転者Ｄ側に移動させる。このとき、図３（ｂ）に示すように、エッジＥ１は、被写界深度ＦがＦ１からＦ２へと移動される際に、被写界深度ＦがＦ２になったタイミングで、ピントがぼけてエッジ強度が弱くなる。

一方、図３（ｃ）に示すように、エッジＥ２のエッジ強度は、被写界深度ＦがＦ１からＦ２へと移動されても、被写界深度Ｆ２内に存在するので、ピントが合っておりエッジ強度に変化がない。つまり、エッジ強度が早いタイミングで弱くなったエッジＥ１は、エッジＥ２よりも顔画像撮像カメラ１２側にあることになり、運転者Ｄのまぶたの特徴を有するエッジではないと判定される。そして、運転者Ｄ側のエッジＥ２が、運転者Ｄのまぶたの特徴を有するエッジであると判定される。なお、図３（ａ）〜（ｃ）では、上まぶたを例示しているが、下まぶたの場合も同様である。

エッジ判定部２０は、上述のように運転者Ｄのまぶたの特徴を有するエッジを判定し、その運転者Ｄのまぶたの特徴を有するエッジに関する情報をまぶた検出部２２に出力する。エッジ判定部２０は、本発明のエッジ判定手段として機能するものである。

まぶた検出部２２は、エッジ判定部２０から受け取った運転者Ｄのまぶたの特徴を有するエッジに関する情報に基づいて、運転者Ｄのまぶたを検出する。検出されたまぶたは、例えば、運転者Ｄの覚醒度判定、脇見判定等に利用される。

次に、このように構成された顔画像検出装置１０の動作について説明する。図４は、本発明の実施形態に係る顔画像検出装置１０で実行される動作手順を示すフローチャートである。

まず、顔画像撮像カメラ１２によって、運転者Ｄの顔画像の撮影を行う（Ｓ１）。撮影された顔画像に関する信号は、エッジ処理部１８に出力される。続いて、エッジ処理部１８は、顔画像撮像カメラ１２から信号を入力してエッジ検出処理を行い、運転者Ｄのまぶた候補を検出する（Ｓ２）。

次に、被写界深度制御部１６は、焦点距離ｆを短くすることにより被写界深度Ｆを運転者Ｄ側に移動する（Ｓ３）。そして、エッジ判定部２０は、被写界深度Ｆが運転者Ｄ側に移動された場合に、まぶた候補のエッジ強度が弱くならない、又はエッジ強度が弱くなるタイミングが遅いか否かの判定を行う（Ｓ４）。まぶた候補のエッジ強度が弱くならない、又はエッジ強度が弱くなるタイミングが遅いと判定された場合には、ステップ５に進む。一方、まぶた候補のエッジ強度が、他のまぶた候補と比べて早いタイミングで弱くなると判定された場合には、誤検出していると判定し、処理を終了する。誤検出されたまぶた候補は、例えば、眼鏡のエッジであると判定し、まぶた候補から除外される。

ステップ５では、ステップ４において運転者Ｄのまぶたの特徴を有するまぶた候補のエッジであると判定されたまぶた候補に基づいて、運転者Ｄのまぶたを検出し、処理終了する。

このような顔画像検出装置１０では、顔画像撮像カメラ１２の被写界深度Ｆを制御し、被写界深度Ｆが運転者Ｄ側に移動された際のエッジ強度に基づいて運転者Ｄのまぶたを検出する。被写界深度Ｆは、ピントが合っているように見える領域であり、領域を外れるとぼやけて見える。そのため、例えば、眼鏡Ｇのエッジをまぶたのエッジの一つとして誤って検出している場合には、被写界深度Ｆを運転者Ｄ側に移動すると、目の位置よりも眼鏡Ｇのほうが顔画像撮像カメラ１２側にあるので、眼鏡Ｇのエッジ強度が他のまぶた候補位置のエッジ強度よりも先にピントが合わなくなる。このとき、眼鏡Ｇのエッジ強度が弱くなるので、運転者Ｄのまぶたの特徴を有するエッジではないと判定する。これにより、正確にまぶたのエッジを抽出することができ、まぶたの検出精度の向上を図ることができる。また、被写界深度Ｆを制御することでまぶたのエッジを正確に抽出できるので、演算負荷の増大を抑えてまぶたを検出することができる。

以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。上記実施形態では、記憶部に記憶されているまぶた候補と比較することにより、運転者Ｄのまぶたの特徴を有するエッジ候補を抽出しているが、例えばまぶたのエッジ部分の濃淡の変化に基づいて抽出されてもよい。

なお、本発明の顔画像検出装置１０は、車両に搭載して運転者Ｄの顔画像を検出するとしたが、例えばロボットに搭載して、周囲の人物（対象者）の顔画像を検出する顔画像検出装置でもよい。

本発明の実施形態に係る顔画像検出装置を示すブロック構成図である。被写体の被写界深度を示す図である。エッジ強度を判定する一例を示す図である。本発明の実施形態に係る顔画像検出装置で実行される動作手順を示すフローチャートである。

符号の説明

１０…顔画像検出装置、１２…顔画像撮像カメラ（顔画像撮像手段）、１６…被写界深度制御部（被写界深度制御手段）、２０…エッジ判定部（エッジ判定手段）、Ｄ…運転者（対象者）。

Claims

対象者のまぶたの特徴を有するエッジを抽出し、抽出された前記エッジに基づいて前記対象者のまぶたを検出可能な顔画像検出装置において、
前記対象者の顔画像を撮像する顔画像撮像手段と、
前記顔画像撮像手段の被写界深度を制御する被写界深度制御手段と、
前記被写界深度が制御された際に、前記エッジのエッジ強度が変化するか否かに基づいて、前記対象者のまぶたの特徴を有するエッジを判定するエッジ判定手段と、
を備えることを特徴とする顔画像検出装置。
前記被写界深度制御手段は、前記被写界深度を前記対象者側へ移動させ、
前記エッジ判定手段は、前記被写界深度が前記対象者側に移動された際に、前記エッジのエッジ強度が弱くなるか否かに基づいて、前記対象者のまぶたの特徴を有するエッジを判定する請求項１記載の顔画像検出装置。