JP2018190213A - 顔認識装置及び視線検出装置 - Google Patents

Abstract

【課題】背景が明るいときと暗いときとの両方で正確に顔認識できる顔認識装置及びこの顔認識装置を使用した視線検出装置を提供する。【解決手段】カメラ１３（右カメラ１３ａ，左カメラ１３ｂ）で撮像された顔画像から顔領域を検出する顔検出手段２１と、顔の特徴情報を抽出する顔特徴抽出手段２３と、あらかじめ認識対象となる顔の特徴情報を辞書情報として保持する辞書情報保持手段２５と、顔特徴抽出手段２３により抽出された特徴情報と辞書情報保持手段２５に保持されている辞書情報とを照合する認識手段２７と、を備え、カメラ１３は、右カメラ画像と左カメラ画像とが顔領域に対して視差を生じるように配置され、顔検出手段２１は、視差を算出し、算出した視差に基づいて得られる視差分布画像から背景領域を特定し、特定した背景領域に基づいて調整した顔検出結果を生成する。【選択図】図３

Description

本発明は、顔画像を用いて人物を認識する顔認識装置及びそれを用いた視線検出装置に関する。

近年、人物を特定するための顔認識装置が開発されてきている。顔画像を用いて人物を認識する顔認識装置及び顔認識方法が特許文献１に開示されている。

特許文献１には、顔認識装置９００において、認識対象の顔画像を取得し、取得した顔画像と辞書に登録されている基準顔画像とを照合することにより人物の特定や、カメラに対する顔の向きを特定することが記載されている。（図８参照）

一般的に、顔検出用の辞書に登録されている顔画像としては、背景が通常の明るさで撮影されたものが使用される。

顔認識装置は、車両内の視線検出装置に取り付けられ、車両を運転する運転者の照合や運転者の脇見運転を監視する等の目的で用いられることがある。このとき、運転者を取り巻く環境、特に明るさは車両を運転する時間帯や天候などにより変化し、カメラで撮像した画像と辞書に登録されている画像との背景の明るさ［輝度］が大きく異なってしまう。

特開２００５−０８４８１５号公報

しかしながら、顔検出用の辞書に登録されている顔画像は、背景が通常の明るさで撮影されたもののみであり、背景が明るい状態で撮影された辞書を持っていない。そのために、認識対象の顔領域が特定できなくなるという問題が発生する。背景が明るい（背景［明］→顔［暗］）場合の画像を辞書に登録しておけば対応可能ではあるが、辞書に登録しておく画像は、運転者のあらゆる姿勢に対応するため、正面画像だけでなく幾通りの角度の顔画像を登録しておく必要がある。そのため、これに対し背景の明るさが異なるパターンまでをカバーしようとすると辞書に登録する画像が多くなり過ぎ、顔認識の処理が遅くなるという問題が生じてしまう。そのため、辞書に登録しておく画像を増やすことなく、背景が明るいときと暗いときの両方で正確に顔認識できる顔認識装置が求められている。

本発明はこのような従来技術の実情に鑑みてなされたもので、背景が明るいときと暗いときとの両方で正確に顔認識できる顔認識装置及びこの顔認識装置を使用した視線検出装置を提供することを目的とする。

上記課題を解決するために本発明の顔認識装置は、撮像対象者の顔画像を取得するカメラと、前記カメラで撮像された顔画像から顔領域を検出する顔検出手段と、前記顔検出手段の検出結果に基づき顔の特徴情報を抽出する顔特徴抽出手段と、あらかじめ認識対象となる顔の特徴情報を辞書情報として保持する辞書情報保持手段と、前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報保持手段に保持されている辞書情報とを照合する認識手段と、を備えて顔認識を行う顔認識装置であって、前記カメラは、右カメラと左カメラとから成ると共に、前記右カメラによって撮像された右カメラ画像と前記左カメラによって撮像された左カメラ画像とが前記顔領域に対して視差を生じるように配置され、前記顔検出手段は、前記視差を算出し、算出した前記視差に基づいて得られる視差分布画像から背景領域を特定し、特定した背景領域に基づいて調整した顔検出結果を生成する、という特徴を有する。

このように構成された顔認識装置は、顔検出手段が算出した視差に基づいて得られる視差分布画像から背景領域を特定するため、背景が明るいときでも暗いときでも正確に顔認識することが可能となる。また、背景が明るいときの画像を辞書情報として保持しておく必要がないと共に、背景領域における顔認識処理を省略することができるため、顔認識の処理を迅速に行うことができる。

また、上記の構成において、算出した前記視差は、前記右カメラ画像と前記左カメラ画像とをそれぞれ所定の画像ブロックに分割し、前記右カメラ画像の複数の前記画像ブロックによる輝度パターンと、前記左カメラ画像の複数の前記画像ブロックによる輝度パターンと、の一致探索処理を行って、前記一致探索処理の処理結果から求められる、という特徴を有する。

このように構成された顔認識装置は、右カメラ画像及び左カメラ画像それぞれの複数の画像ブロックによる輝度パターンによって一致探索処理を行なうので、より正確に顔認識を行なうことができる。

また、上記の構成において、赤外光を照射する光源と、前記光源を制御する光源制御手段とを備え、前記カメラは、前記光源が照射されている状態で前記顔画像を撮像する、という特徴を有する。

このように構成された顔認識装置は、顔に赤外光を照射して顔画像を撮像するので、背景が明るいときでも暗いときでも、顔認識することが可能となる。

また、上記課題を解決するために本発明の視線検出装置は、前記顔認識装置と、前記カメラで撮像されたカメラ画像から明瞳孔画像と暗瞳孔画像とを用いて瞳孔を抽出する瞳孔検出手段と、前記顔画像と前記瞳孔検出手段の検出結果とから前記撮像対象者の視線を算出する視線方向算出手段と、を備える、という特徴を有する。

このように構成された視線検出装置は、顔認識装置を使用すると共に、明瞳孔画像と暗瞳孔画像とを用いる瞳孔検出手段によって視線検出を行なうため、顔認識の処理を迅速に行うことができると共に、視線検出を正確に行うことができる。

本発明の顔認識装置は、顔検出手段が算出した視差に基づいて得られる視差分布画像から背景領域を特定するため、背景が明るいときでも暗いときでも正確に顔認識することが可能となる。また、背景が明るいときの画像を辞書情報として保持しておく必要がないと共に、背景領域における顔認識処理を省略することができるため、顔認識の処理を迅速に行うことができる。また、本発明の視線検出装置は、顔認識装置を使用すると共に、明瞳孔画像と暗瞳孔画像とを用いる瞳孔検出手段によって視線検出を行なうため、顔認識の処理を迅速に行うことができると共に、視線検出を正確に行うことができる。

本発明の顔認識装置及び視線検出装置と撮像対象者との車両内の関係を示す平面図である。 顔認識装置及び視線検出装置の平面図（ａ）及び正面図（ｂ）である。 顔認識装置の構成を示すブロック図である。 顔認識方法を模式的に示す説明図である。 視線検出装置の構成を示すブロック図である。 視線検出装置と撮像対象者の目との位置関係を模式的に示す説明図である。 視線検出の算出方法を模式的に示す説明図である。 従来例に係る車載機器を示す説明図である。

以下、本発明について、図面を参照しながら説明する。本発明の実施形態である顔認識装置１００及び視線検出装置２００は、車両運転者の顔認識を行うと共に、車両運転者の視線方向を検出する。本発明の顔認識装置及び視線検出装置の用途については、以下説明する実施形態に限定されるものではなく適宜変更が可能である。

［顔認識装置の実施形態］
最初に、図１乃至図３を参照して、本発明の実施形態である顔認識装置１００の構成について説明する。図１は、車両９０内の顔認識装置１００と撮像対象者９５との関係を示す平面図である。図２は、顔認識装置１００の外観を示しており、（a）は顔認識装置１００の平面図であり、（ｂ）はその正面図である。また、図３は、顔認識装置１００の構成を示すブロック図である。

顔認識装置１００は、図１に示すように、車両９０のセンターコンソール等に設置され、車両９０の車両運転者である撮像対象者９５の顔認識を行うための装置である。顔認識装置１００は、撮像対象者９５の顔画像を取得するためのカメラ１３を備えている。カメラ１３は、撮像対象者９５から向かって右側にある右カメラ１３ａと、撮像対象者９５から向かって左側にある左カメラ１３ｂと、から成る。

また、顔認識装置１００は、右カメラ１３ａの左右及び左カメラ１３ｂの左右それぞれに、光源１５を備えている。光源１５は、撮像対象者９５に対して赤外光である検知光ＬＴを照射する。カメラ１３（右カメラ１３ａ及び左カメラ１３ｂ）は、光源１５が照射されている状態で顔画像を撮像する。

顔認識装置１００は、図２（ａ）、（ｂ）に示すように、ケース４０を有している。ケース４０は左右方向（Ｘ１−Ｘ２方向）に細長い直方体形状であり、前方（Ｙ２側）に開口部４３が形成されている。開口部４３の形状は長方形であり、この開口部４３が１枚のカバー板４１で覆われている。カバー板４１は、赤外光を透過可能であるが、可視光の波長帯域については光線透過率が低下するように着色されている。あるいは、カバー板４１が透光性であり、前記光線透過率を低下させる着色シートが積層されて構成されている。従って、図２（ｂ）の正面図において、実際は、ケース４０の内部の構造を、カバー板４１を透過して目視することはできない。

ケース４０の内部には、第１受像部１１と第２受像部１２とから成る受像部１０が収納されている。図２（ｂ）に示すように、第１受像部１１はケース４０の、撮像対象者９５から向かって右側（Ｘ１側）に、第２受像部１２はケース４０の左側（Ｘ２側）に配置されている。

第１受像部１１は、前述した右カメラ１３ａ、及び右カメラ１３ａの左右に配置された右光源１５ａを有している。第２受像部１２も、前述した左カメラ１３ｂ、及び左カメラ１３ｂの左右に配置された左光源１５ｂを有している。

各光源１５はそれぞれＬＥＤ（Light emitting diode）即ち発光ダイオードから成る。この発光ダイオードに供給される電力量それぞれは調整可能となっている。もしくは、発光ダイオードそれぞれをオン・オフ可能となるように構成されている。尚、光源１５（右光源１５ａ及び左光源１５ｂ）は、それぞれが複数の発光ダイオードで構成されていても良いし、１つの発光ダイオードで構成されていても良い。

図２（ｂ）に示すように、第１受像部１１に設けられた右カメラ１３ａの光軸Ｏ１と、第２受像部１２に設けられた左カメラ１３ｂの光軸Ｏ２は、所定の距離Ｌ０だけ離間するように配置されている。即ち、右カメラ１３ａによって撮像された右カメラ画像と左カメラ１３ｂによって撮像された左カメラ画像とが、撮像対象者９５の顔領域に対して視差を生じるように、所定の距離Ｌ０だけ離れて配置されている。

カメラ１３は、ＣＭＯＳ（Complementary metal oxide semiconductor：相補型金属酸化膜半導体）やＣＣＤ（Charge coupled device：電荷結合素子）などの撮像素子を有しており、車両運転者である撮像対象者９５の目を含む顔の画像を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。

本実施形態の顔認識装置１００は、前述したように、車載用の視線検出装置内に配置されるものであるため、その設置場所がセンターコンソールなどのように、撮像対象者９５である車両運転者の視線方向に対して斜め前方に配置されることになる。

ケース内における右カメラ１３ａと左カメラ１３ｂとの間の距離Ｌ０が十分に長いため、第１受像部１１における光源１５（右光源１５ａ）と第２受像部１２における光源１５（左光源１５ｂ）それぞれの各光軸は実質的に同軸ではない。また、同様に、右カメラ１３ａ及び左カメラ１３ｂの各光軸は実質的に同軸ではない。

第１受像部１１における右光源１５ａ及び第２受像部１２における左光源１５ｂは、前述したように、ＬＥＤ光源であり、検知光ＬＴとして波長が８５０ｎｍの赤外光（近赤外光）を出射し、この検知光ＬＴを撮像対象者９５の目に照射することができるように配置されている。この波長８５０ｎｍは、人の目の眼球内での吸収率が低く、網膜で反射されやすい波長である。

次に、顔認識装置１００の回路構成について図３を用いて説明する。図３は、顔認識装置１００の構成を示すブロック図である。

顔認識装置１００は、図３に示すように、受像部１０と顔認識部２０とから成る。受像部１０は、前述したように、第１受像部１１と第２受像部１２とを有して構成されており、第１受像部１１は、右カメラ１３ａと右光源１５ａから成り、また、第２受像部１２は、左カメラ１３ｂと左光源１５ｂから成る。

顔認識装置１００には、第１受像部１１及び第２受像部１２内の複数の光源１５の発光を制御するための光源制御手段１７が備えられており、光源制御手段１７にはメモリ１８が接続されている。光源制御手段１７は、検知光ＬＴを照射する光源１５ごとに撮像された撮像対象者９５の複数の画像輝度データをメモリ１８に記憶すると共に、光源１５内の発光ダイオードに供給する電力量それぞれを調整したり、もしくは、発光ダイオードそれぞれをオン・オフ可能としたりするように構成されている。また、光源制御手段１７は、各光源１５の光量を、複数の画像輝度データ間のばらつきが小さくなるように調整するように構成されていても良い。

顔認識装置１００には更に、図３に示すように、２つの画像取得手段１９が備えられており、２つの画像取得手段１９は、第１受像部１１又は第２受像部１２に接続されている。画像取得手段１９は、カメラ１３（右カメラ１３ａ又は左カメラ１３ｂ）からの顔画像が入力され、それをＡ／Ｄ変換してデジタル化した後、顔認識部２０へ送る。

顔認識部２０は、図３に示すように、顔検出手段２１と、顔特徴抽出手段２３と、辞書情報保持手段２５と、認識手段２７と、で構成されている。

顔検出手段２１は、カメラ１３（右カメラ１３ａ，左カメラ１３ｂ）で撮像され、画像取得手段１９で所得された顔画像から顔領域を検出する。そして、顔特徴抽出手段２３は、画像取得手段１９の検出結果に基づき顔の特徴情報を抽出する。

辞書情報保持手段２５には、例えば、顔認識装置１００が搭載されている車両９０の運転を通常行う人物等、あらかじめ認識対象となる顔の特徴情報が辞書情報として保持されている。認識手段２７は、顔特徴抽出手段２３により抽出された、口、目、及び鼻などの顔の各部位の位置等の特徴情報と、辞書情報保持手段２５に保持されている同じく顔の各部位の位置等の辞書情報と、を照合することにより、認識対象として辞書情報に保持されている顔であるかどうかを認識する。

次に、本発明における顔認識方法の特徴について、図２乃至図４を用いて説明する。図４は、顔認識方法を模式的に示す説明図であり、図４（ａ）は、右カメラ画像及び左カメラ画像を示し、図４（ｂ）は、右カメラ画像と左カメラ画像とのブロックマッチング後の視差分布画像を示す。

撮像対象者９５の顔が右カメラ１３ａ及び左カメラ１３ｂによってそれぞれ撮像され、画像取得手段１９によって、図４（ａ）に示すように、右カメラ画像及び左カメラ画像が取得される。

次に、取得した画像から撮像対象者９５の顔を検出する作業が行われる。顔認識部２０内の顔検出手段２１では、上記取得された右カメラ画像と左カメラ画像とをそれぞれ所定の複数の画像ブロックに分割する。この画像ブロックは、複数の画素数を有して、所定のブロック数、例えば３Ｘ３又は５Ｘ５等の画素ブロックを有している。そして、それぞれの画像ブロックに対してブロックマッチング処理を行なう。尚、図４（ａ）に示す画像ブロック内の数値は、その位置における輝度を表している。

ブロックマッチング処理では、右カメラ画像と左カメラ画像それぞれの輝度の差を比較することにより、その位置における右カメラ１３ａ又は左カメラ１３ｂそれぞれからの距離、及びその差を測定する。この距離の差は、視差の大きさに比例する。このブロックマッチングを全領域に亘って行う。

言い換えれば、視差の算出は、右カメラ画像と左カメラ画像とをそれぞれ所定の画像ブロックに分割し、右カメラ画像の複数の前記画像ブロックによる輝度パターンと、左カメラ画像の複数の画像ブロックによる輝度パターンと、の一致探索処理を行ない、この一致探索処理の処理結果から求められる。

例えば、左カメラ画像を基準としたとき、左カメラ画像の所定の領域における輝度パターンと一致する又は輝度の差が最小となる右カメラ画像の領域を探索し、２つの領域の離間距離で視差の大きさを算出する。この視差の大きさの算出を行なうことによって、その箇所が例えば、人の鼻や目等であることを判断することができる。尚、各カメラからの距離が近いほど視差の大きさが大きくなり、各カメラからの距離が遠いほど視差の大きさが小さくなる。

そして、図４（ｂ）に示すように、上記視差の大きさの大きい箇所を黒く表示し、視差の大きさの小さい箇所を白く表示する。このようにすることによって、カメラ１３と撮像対象者９５との間の所定の距離内（例えば４０〜１２０ｃｍ）では、黒く表示された部分が認証対象人物（撮像対象者９５）であると判断することができる。従って、白く表示された部分は、認証対象人物（撮像対象者９５）ではないと判断でき、その部分を背景領域であると判断することができる。

次に、上述したブロックマッチング処理で判明した背景領域に基づいて、カメラ画像の背景領域の輝度を辞書情報保持手段２５に保持されている辞書情報における顔画像の背景領域の輝度と合うように調整し、顔検出結果を生成する。即ち、顔検出手段２１は、視差を算出し、算出した視差に基づいて得られる視差分布画像から背景領域を特定し、特定した背景領域に基づいて背景領域の輝度を一定に調整した顔検出結果を生成する。

このことによって、車両９０内における撮像対象者９５の背景が明るいときでも暗いときでも、顔画像の背景領域の輝度が一定になり、顔の特徴情報を抽出して、認識対象として辞書情報に保持されている顔であるかどうかを正確に認識することが可能となる。また、背景が明るいときの画像を辞書情報として保持しておく必要がないと共に、背景領域における顔認識処理を省略することができるため、顔認識の処理を迅速に行うことができる。こうして、車両９０の運転を通常行う人物であれば辞書情報から撮像対象者９５が特定され、また、撮像対象者９５の顔向きが特定される。

［視線検出装置の実施形態］
次に、図１、図２及び図５を参照して、本発明の実施形態である視線検出装置２００の構成について説明する。図５は、視線検出装置２００の構成を示すブロック図である。

視線検出装置２００は、図１及び図２に示すように、車両９０のセンターコンソール等に設置され、車両９０の車両運転者である撮像対象者９５の視線方向を検出するための装置であり、図５に示すように、前述した顔認識装置１００と、演算制御部５０と、から成る。

演算制御部５０には、瞳孔検出手段５１と、瞳孔中心算出手段５３と、瞳孔径算出手段５４と、角膜反射光中心算出手段５５と、視線方向算出手段５６と、が設けられている。

顔認識装置１００内の２つの画像取得手段１９で取得された画像は、それぞれフレームごとに瞳孔検出手段５１に読み込まれる。視線検出装置２００は、顔画像を取得するために前述した顔認識装置１００を用いるため、撮像対象者９５の視線方向を検出する前の顔認識の処理を迅速に行うことができる。

瞳孔検出手段５１は、明瞳孔画像検出手段５１ａと暗瞳孔画像検出手段５１ｂとを備えており、瞳孔中心算出手段５３、瞳孔径算出手段５４、及び角膜反射光中心算出手段５５に接続されている。そして、瞳孔中心算出手段５３及び角膜反射光中心算出手段５５は、視線方向算出手段５６に接続されている。尚、演算制御部５０内の各ブロックの働きについては、この後の、撮像対象者９５の画像検出及び視線方向ＶＬの算出方法の説明の中で説明する。

次に、撮像対象者９５の視線方向ＶＬの算出方法について、図２及び図５乃至図７を用いて説明する。図６は、視線検出装置２００と撮像対象者９５の目（眼球６０）との位置関係を模式的に示す説明図であり、図７は、視線検出の算出方法、即ち、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための方法を模式的に示す説明図である。

図２に示す第１受像部１１の右カメラ１３ａの光軸Ｏ１と右光源１５ａの光軸は、カバー板４１に対して斜めに向けられており、第２受像部１２においても、左カメラ１３ｂの光軸Ｏ２と左光源１５ｂの光軸がカバー板４１に対して斜めに向けられている。そのため、視線検出装置２００がセンターコンソールのように撮像対象者９５である車両運転者の斜め前方に配置されていても、右カメラ１３ａの光軸Ｏ１と左カメラ１３ｂの光軸Ｏ２の双方を、視線検出装置２００から所定距離離れている撮像対象者９５の顔と目に向けることが可能になる。

図６（ａ）と図７（ａ）では、撮像対象者９５の目（眼球６０）の視線方向ＶＬが右カメラ１３ａの光軸Ｏ１方向に向けられており、図６（ｂ）と図７（ｂ）では、視線方向ＶＬが左カメラ１３ｂの光軸Ｏ２方向へ向けられている。

眼球６０は、視線検出装置２００の側、即ち前方に角膜６１を有し、その後方に瞳孔６２と水晶体６３とが位置している。そして眼球６０の最後方には網膜６４が存在している。

目を含む領域の撮像対象者９５の画像を右カメラ１３ａで取得するときに、点灯させる光源１５を選択することで、瞳孔６２の明るさが相違する画像、即ち明瞳孔画像と暗瞳孔画像とを得ることができる。明瞳孔画像と暗瞳孔画像とは、画像内の瞳孔６２の明るさの違いを相対的に表した概念であり、２つの画像を比較したときに瞳孔６２が明るい方の画像が明瞳孔画像であり、瞳孔６２が暗い方の画像が暗瞳孔画像である。

明瞳孔画像と暗瞳孔画像は、右光源１５ａの発光と、左光源１５ｂの発光と、を切換えることにより取得することができる。

図６（ａ）に示すように、第１受像部１１の右カメラ１３ａの光軸Ｏ１と第２受像部１２の左カメラ１３ｂの光軸Ｏ２は、異なる角度で撮像対象者９５の眼球６０に向けられる。

第１受像部１１に搭載されている右光源１５ａを点灯したとき、右カメラ１３ａの光軸Ｏ１と右光源１５ａの光軸との間の光軸間距離は、視線検出装置２００と撮像対象者９５との間の距離を考慮すると、右カメラ１３ａと左カメラ１３ｂの間の距離Ｌ０（図２（ｂ）参照）に対して十分に短い。そのため、光軸Ｏ１が右光源１５ａの光軸と実質的に同軸となり、右カメラ１３ａで取得した画像では、網膜６４で反射された赤外光が右カメラ１３ａに入射しやすくなる。その結果、瞳孔６２が明るく見える明瞳孔画像となる。この画像は明瞳孔画像として、明瞳孔画像検出手段５１ａで抽出される。

これに対し、第２受像部１２に設けられた左カメラ１３ｂの光軸Ｏ２は、第１受像部１１の右光源１５ａの光軸と非同軸となるため、右光源１５ａを点灯したときに、網膜６４で光が反射されたとしてもその光は左カメラ１３ｂで検知されにくい。そのため、左カメラ１３ｂで取得した画像は、瞳孔６２が比較的暗い暗瞳孔画像となる。この画像は暗瞳孔画像として、暗瞳孔画像検出手段５１ｂで抽出される。

逆に、第２受像部１２の左光源１５ｂを点灯したときは、左カメラ１３ｂの光軸Ｏ２と左光源１５ｂの光軸との間の光軸間距離は、視線検出装置２００と撮像対象者９５との間の距離を考慮すると、右カメラ１３ａと左カメラ１３ｂとの間の距離Ｌ０（図２（ｂ）参照）に対して十分に短い。そのため、光軸Ｏ２が左光源１５ｂの光軸と実質的に同軸となり、左カメラ１３ｂで取得した画像では、網膜６４で反射された赤外光が左カメラ１３ｂに入射しやすくなる。その結果、瞳孔６２が明るく見える明瞳孔画像となる。この画像は明瞳孔画像として、明瞳孔画像検出手段５１ａで抽出される。このとき、網膜６４で反射された光は、斜め前方に位置する右カメラ１３ａで検知されにくく、右カメラ１３ａで取得された画像が暗瞳孔画像となる。

言い換えれば、同じ波長の検知光ＬＴが発せられたときに、カメラ１３、例えば右カメラ１３ａに近接する光源（右カメラ１３ａと同軸の右光源１５ａ）から光が発せられたときは、その右カメラ１３ａから取得された画像が明瞳孔画像となり、右カメラ１３ａから遠隔の光源（右カメラ１３ａと非同軸の左光源１５ｂ）から光が発せられたときは、その右カメラ１３ａから取得された画像が暗瞳孔画像となる。

図５に示した瞳孔検出手段５１では、第１受像部１１と第２受像部１２の双方で明瞳孔画像と暗瞳孔画像が取得されたら、明瞳孔画像検出手段５１ａで検出された明瞳孔画像から暗瞳孔画像検出手段５１ｂで検出された暗瞳孔画像がマイナスされる。この計算により明瞳孔画像に明るく現れている瞳孔６２の画像が残り、それ以外の画像は相殺されてほぼ見えなくなる。既に顔認識装置１００によって顔認識されている場合には、明瞳孔画像及び明瞳孔画像に含まれる顔領域の画像を切り出して、処理データ量を減らしても良い。

瞳孔６２の形状を示す瞳孔画像信号は、瞳孔中心算出手段５３及び瞳孔径算出手段５４に与えられる。瞳孔中心算出手段５３では、瞳孔画像信号が画像処理されて二値化され、瞳孔６２の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔６２の中心位置として算出される。瞳孔径算出手段５４では、瞳孔画像信号と、瞳孔中心算出手段５３で算出された瞳孔６２の中心位置と、楕円の長軸と短軸と、に基づいて瞳孔６２の瞳孔径が算出される。

次に、図６（ａ）、（ｂ）に示すように、いずれかの右光源１５ａ又は左光源１５ｂが点灯しているときには、その右光源１５ａ又は左光源１５ｂからの光が、角膜６１の表面で反射されて、顔認識装置１００の右カメラ１３ａと左カメラ１３ｂの双方で取得され、演算制御部５０の明瞳孔画像検出手段５１ａと暗瞳孔画像検出手段５１ｂとで検出される。特に、暗瞳孔画像検出手段５１ｂでは、瞳孔６２の画像が比較的暗いため、角膜６１の反射点６５から反射された反射光が明るくスポット画像として検出しやすくなる。

暗瞳孔画像検出手段５１ｂで検出された暗瞳孔画像信号は、角膜反射光中心算出手段５５に与えられる。暗瞳孔画像信号には、角膜６１の反射点６５から反射された反射光による輝度信号が含まれている。角膜６１の反射点６５からの反射光はプルキニエ像を結像するものであり、図７に示すように、カメラ１３の撮像素子には、きわめて小さい面積のスポット画像として取得される。角膜反射光中心算出手段５５では、スポット画像が画像処理されて、角膜６１の反射点６５からの反射光の中心が求められる。

瞳孔中心算出手段５３で算出された瞳孔中心算出値と角膜反射光中心算出手段５５で算出された角膜反射光中心算出値は、視線方向算出手段５６に与えられる。視線方向算出手段５６では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。

図７（ａ）では、撮像対象者９５の目（眼球６０）の視線方向ＶＬが、右カメラ１３ａの光軸Ｏ１方向に向けられている。このとき、図７（ａ）に示すように、角膜６１からの反射点６５の中心が瞳孔６２の中心と一致している。これに対して、図７（ｂ）では、撮像対象者９５の目（眼球６０）の視線方向ＶＬが、かなり左側へ向けられている。このとき、図７（ｂ）に示すように、瞳孔６２の中心と角膜６１からの反射点６５の中心とが位置ずれする。

視線方向算出手段５６では、瞳孔６２の中心と、角膜６１からの反射点６５の中心との直線距離α１が算出される（図７（ｂ）参照）。また瞳孔６２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔６２の中心と反射点６５の中心とを結ぶ線とＸ軸との傾き角度β１が算出される。右カメラ１３ａ及び左カメラ１３ｂで取得された画像に基づいて直線距離α１と傾き角度β１が算出されることで、視線方向ＶＬが算出される。このようにして、取得された顔画像と瞳孔検出手段５１の検出結果とから、車両９０内における撮像対象者９５の視線方向ＶＬを求めることができる。

顔認識装置１００による顔認識と、視線方向算出手段５６により算出された視線方向ＶＬとを比較することによって、撮像対象者９５の状態をより正確に推定することができる。また、背景の明るさに関わらず処理を迅速に行うことができるので、車両内の視線検出装置として好適である。

以下、本実施形態としたことによる効果について説明する。

顔認識装置１００は、顔検出手段２１が算出した視差に基づいて得られる視差分布画像から背景領域を特定するため、背景が明るいときでも暗いときでも正確に顔認識することが可能となる。また、背景が明るいときの画像を辞書情報として保持しておく必要がないと共に、背景領域における顔認識処理を省略することができるため、顔認識の処理を迅速に行うことができる。

また、右カメラ画像及び左カメラ画像それぞれの複数の画像ブロックによる輝度パターンによって一致探索処理を行なうので、より正確に顔認識を行なうことができる。

また、顔に赤外光を照射して顔画像を撮像するので、背景が明るいときでも暗いときでも、顔認識することが可能となる。

また、視線検出装置２００は、顔認識装置１００を使用すると共に、明瞳孔画像と暗瞳孔画像とを用いる瞳孔検出手段５１によって視線検出を行なうため、顔認識の処理を迅速に行うことができると共に、視線検出を正確に行うことができる。

以上説明したように、本発明の顔認識装置は、顔検出手段が算出した視差に基づいて得られる視差分布画像から背景領域を特定するため、背景が明るいときでも暗いときでも正確に顔認識することが可能となる。また、背景が明るいときの画像を辞書情報として保持しておく必要がないと共に、背景領域における顔認識処理を省略することができるため、顔認識の処理を迅速に行うことができる。また、本発明の視線検出装置は、顔認識装置を使用すると共に、明瞳孔画像と暗瞳孔画像とを用いる瞳孔検出手段によって視線検出を行なうため、顔認識の処理を迅速に行うことができると共に、視線検出を正確に行うことができる。

本発明は上記の実施形態に限定されるものではなく、要旨を逸脱しない範囲で種々変更して実施することが可能である。

１０ 受像部
１１ 第１受像部
１２ 第２受像部
１３ カメラ
１３ａ 右カメラ
１３ｂ 左カメラ
１５ 光源
１５ａ 右光源
１５ｂ 左光源
１７ 光源制御手段
１８ メモリ
１９ 画像取得手段
２０ 顔認識部
２１ 顔検出手段
２３ 顔特徴抽出手段
２５ 辞書情報保持手段
２７ 認識手段
４０ ケース
４１ カバー板
５０ 演算制御部
５１ 瞳孔検出手段
５１ａ 明瞳孔画像検出手段
５１ｂ 暗瞳孔画像検出手段
５６ 視線方向算出手段
６０ 眼球
９０ 車両
９５ 撮像対象者
１００ 顔認識装置
２００ 視線検出装置
Ｌ０ 距離
Ｏ１ 光軸
Ｏ２ 光軸
ＬＴ 検知光
ＶＬ 視線方向

Claims (4)

1. 撮像対象者の顔画像を取得するカメラと、前記カメラで撮像された顔画像から顔領域を検出する顔検出手段と、前記顔検出手段の検出結果に基づき顔の特徴情報を抽出する顔特徴抽出手段と、あらかじめ認識対象となる顔の特徴情報を辞書情報として保持する辞書情報保持手段と、前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報保持手段に保持されている辞書情報とを照合する認識手段と、を備えて顔認識を行う顔認識装置であって、
   前記カメラは、右カメラと左カメラとから成ると共に、前記右カメラによって撮像された右カメラ画像と前記左カメラによって撮像された左カメラ画像とが前記顔領域に対して視差を生じるように配置され、
   前記顔検出手段は、前記視差を算出し、算出した前記視差に基づいて得られる視差分布画像から背景領域を特定し、特定した背景領域に基づいて調整した顔検出結果を生成する、
   ことを特徴とする顔認識装置。
2. 前記視差の算出は、前記右カメラ画像と前記左カメラ画像とをそれぞれ所定の画像ブロックに分割し、前記右カメラ画像の複数の前記画像ブロックによる輝度パターンと、前記左カメラ画像の複数の前記画像ブロックによる輝度パターンと、の一致探索処理を行って、前記一致探索処理の処理結果から求められる、
   ことを特徴とする請求項１に記載の顔認識装置。
3. 赤外光を照射する光源と、前記光源を制御する光源制御手段とを備え、
   前記カメラは、前記光源が照射されている状態で前記顔画像を撮像する、
   ことを特徴とする請求項１又は請求項２に記載の顔認識装置。
4. 前記請求項１乃至請求項３のいずれかに記載の顔認識装置と、前記カメラで撮像されたカメラ画像から明瞳孔画像と暗瞳孔画像とを用いて瞳孔を抽出する瞳孔検出手段と、前記顔画像と前記瞳孔検出手段の検出結果とから前記撮像対象者の視線を算出する視線方向算出手段と、を備える、
   ことを特徴とする視線検出装置。
   

Images