JP2019028640A - 視線検出装置 - Google Patents

Abstract

【課題】車両の走行による振動があっても、その振動によって瞳孔位置が検出し辛くなることを防止することのできる視線検出装置を提供する。
【解決手段】対象者の顔を含む画像を取得するカメラ１３と、画像に基づいて対象者の視線を検出する画像処理部２０と、カメラ１３及び画像処理部２０を制御する制御部３０と、カメラ１３の設置されている環境における振動量ＭＶを計測する振動計測手段４０と、を備え、画像処理部２０は、明瞳孔画像と暗瞳孔画像との差分画像に基づいて瞳孔位置を特定して対象者の視線を検出する第１視線検出手段２１と、画像から抽出した顔部位の特徴点に基づいて対象者の視線を検出する第２視線検出手段２２と、を有し、制御部３０は、振動計測手段４０によって計測された振動量ＭＶが所定の振動量閾値ＭＶ１以上のときは第２視線検出手段２２によって対象者の視線を検出するように画像処理部２０を制御する。
【選択図】図２

Description

本発明は、視線検出装置に関し、特に、車両に搭載される視線検出装置に関する。

車両に搭載される視線検出装置において、カメラによって得られた顔領域画像から視線を検出する方法が特許文献１に提案されている。この方法は、顔領域画像から顔部品群、つまり目尻、目頭などを検出して瞳孔画像領域を抽出し、更に瞳孔画像領域を探索して瞳孔を検出する。視線は、顔領域画像からの顔部品群の座標から特定される顔の正面方向を表す顔向きベクトルと、瞳孔位置の座標から特定される顔の正面方向に対する視線方向ベクトルから検出される。

また、特許文献２では、明瞳孔画像と暗瞳孔画像の差分によって瞳孔を検出することが提案されている。この方法は、瞳孔が明るく映る明瞳孔画像と、瞳孔が暗く映る暗瞳孔画像との差分を検知することで、瞳孔だけが差分画像として残ることで瞳孔位置を検出する。そのため、処理速度が速くリアルタイムで視線を検出することができる。

特開２０１２−０２４１５１ｄ号公報 特開２００５−１８２２４７号公報

しかしながら、特許文献１に記載の方法では、処理速度が遅くリアルタイムに検出することができない。また、特許文献２に記載の方法では、画像を取得するカメラが２台あれば問題ないが、カメラが１台だけの場合、明瞳孔画像と暗瞳孔画像とでは撮像タイミングが異なる（数ｍｓ〜数十ｍｓ）ため、車両の走行による振動によって両画像における被写体の位置がずれてしまう。そのため、両画像の差分を検知しても瞳孔以外の部分（特に頬や鼻等の明るい部分）が残ってしまい、使用状況によっては瞳孔位置を高精度に検出することができないことがある。

本発明はこのような従来技術の実情に鑑みてなされたもので、車両の走行による振動があっても、その振動によって瞳孔位置が検出し辛くなることを防止することのできる視線検出装置を提供することを目的とする。

上記課題を解決するために本発明の視線検出装置は、対象者の顔を含む画像を取得するカメラと、前記画像に基づいて前記対象者の視線を検出する画像処理部と、前記カメラ及び前記画像処理部を制御する制御部と、前記カメラの設置されている環境における振動量を計測する振動計測手段と、を備える視線検出装置であって、前記画像処理部は、明瞳孔画像と暗瞳孔画像との差分画像に基づいて瞳孔位置を特定して前記対象者の視線を検出する第１視線検出手段と、前記画像から抽出した顔部位の特徴点に基づいて前記対象者の視線を検出する第２視線検出手段と、を有し、前記制御部は、前記振動計測手段によって計測された振動量が所定の振動量閾値以上のときは前記第２視線検出手段によって前記対象者の視線を検出するように前記画像処理部を制御する、という特徴を有する。

このように構成された視線検出装置は、第１視線検出手段によって瞳孔位置を特定できるときは、処理速度が速くリアルタイムで視線を検出することができる。また、振動量が大きいときには、第２視線検出手段によって安定して視線を検出することができる。

また、上記の構成において、前記制御部は、前記振動量が前記振動量閾値未満であっても前記第１視線検出手段によって瞳孔位置を特定できない場合には、前記第２視線検出手段によって前記対象者の視線を検出するように前記画像処理部を制御する、という特徴を有する。

このように構成された視線検出装置は、第１視線検出手段によって視線を検出できない場合には、第２視線検出手段によって安定して視線を検出することができる。

また、上記の構成において、前記画像処理部は、前記第２視線検出手段によって前記対象者の視線を検出する際、前記第１視線検出手段によって最後に特定された瞳孔位置を含む眼領域画像を切り出して、前記眼領域画像に含まれる特徴点に基づいて前記対象者の視線を検出する、という特徴を有する。

このように構成された視線検出装置は、画像の範囲を眼領域画像に限定することによって、顔領域画像における各顔部位の特徴を抽出する工程を省くことができる。その結果、画像処理部の処理速度を速めることができる。

また、上記の構成において、前記制御部は、前記振動量が前記振動量閾値以上で前記眼領域画像に基づいて前記対象者の視線を検出できないときに、前記眼領域画像を切り出す前の前記画像から前記顔部位の特徴点を抽出して前記対象者の視線を検出する、という特徴を有する。

このように構成された視線検出装置は、眼領域画像に含まれる特徴点に基づいて視線を検出できないときでも、画像から顔部位の特徴点を抽出することによって、安定して視線を検出することができる。

また、上記の構成において、前記制御部は、前記振動量が前記振動量閾値以上で継続していた状態から前記振動量閾値未満に変化したときに、前記画像処理部が前記第１視線検出手段によって前記対象者の視線を検出するように制御する、という特徴を有する。

このように構成された視線検出装置は、振動計測手段によって常に振動量を計測しているので、振動量が振動量閾値以上であれば第１視線検出手段を試みることなく、第２視線検出手段による視線検出を遅滞なく開始することができる。また、第１視線検出手段によって視線を検出することが可能な状態になれば、リアルタイムで視線を検出する画像処理に復帰できる。

本発明の視線検出装置は、第１視線検出手段によって瞳孔位置を特定できるときは、処理速度が速くリアルタイムで視線を検出することができる。また、振動量が大きいときには、第２視線検出手段によって安定して視線を検出することができる。

本発明の視線検出装置と対象者との車両内の関係を示す平面図である。 視線検出装置の構成を示すブロック図である。 画像における顔領域画像と眼領域画像とを模式的に示す説明図である。 画像処理部内の第１視線検出手段の構成を示すブロック図である。 画像処理部内の第２視線検出手段の構成を示すブロック図である。 視線検出の方法を示すフローチャートである。 第１視線検出手段による視線検出方法を示すフローチャートである。 第２視線検出手段による視線検出方法を示すフローチャートである。

以下、本発明について、図面を参照しながら説明する。本発明の実施形態である視線検出装置１００は、車両運転者の顔を含む画像から車両運転者の視線を検出する視線検出装置である。本発明の視線検出装置の用途については、以下説明する実施形態に限定されるものではなく適宜変更が可能である。

［実施形態］
最初に、図１乃至図５を参照して、本発明の実施形態である視線検出装置１００の構成について説明する。図１は、視線検出装置１００と対象者９５との車両９０内における関係を示す平面図であり、図２は、視線検出装置１００の構成を示すブロック図であり、図３は、画像５０における顔領域画像５１と眼領域画像５３とを模式的に示す説明図である。また、図４は、画像処理部２０内の第１視線検出手段２１の構成を示すブロック図であり、図５は、画像処理部２０内の第２視線検出手段２２の構成を示すブロック図である。

視線検出装置１００は、図１に示すように、車両９０のコンソール等に設置され、車両９０の車両運転者である対象者９５の視線ＶＬを検出するための装置である。視線検出装置１００は、対象者９５の顔を含む画像５０（図３参照）を取得するカメラ１３を備えている。カメラ１３は、対象者９５のほぼ正面に１台だけ設置される。

また、視線検出装置１００には、カメラ１３の左右それぞれに光源１５を備えており、カメラ１３と光源１５とを含んで受像部１０が構成されている。光源１５としては、対象者９５から見て右側にある右光源１５ａと対象者９５から見て左側にある左光源１５ｂから成り、右光源１５ａは、カメラ１３の近傍に設置され、左光源１５ｂは、カメラ１３から所定の距離離れた位置に設置される。光源１５は、対象者９５に対して赤外光である検知光ＬＴを照射する。カメラ１３は、検知光ＬＴが照射されている状態で画像５０を撮像する。

カメラ１３は、ＣＭＯＳ（Complementary metal oxide semiconductor：相補型金属酸化膜半導体）やＣＣＤ（Charge coupled device：電荷結合素子）などの撮像素子を有しており、車両運転者である対象者９５の目を含む顔の画像５０（図３参照）を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。

各光源１５はそれぞれＬＥＤ（Light emitting diode）即ち発光ダイオードから成る。この発光ダイオードに供給される電力量それぞれは調整可能となっている。もしくは、発光ダイオードそれぞれをオン・オフ可能となるように構成されている。尚、光源１５（右光源１５ａ及び左光源１５ｂ）は、それぞれが複数の発光ダイオードで構成されていても良いし、１つの発光ダイオードで構成されていても良い。

受像部１０における光源１５即ち右光源１５ａ及び左光源１５ｂは、検知光ＬＴとして波長が８５０ｎｍの赤外光（近赤外光）を出射し、この検知光ＬＴを対象者９５の目に照射することができるように配置されている。この波長８５０ｎｍは、人の目の眼球内での吸収率が低く、網膜で反射されやすい波長である。尚、波長８５０ｎｍ以外の赤外光を用いることもできる。

視線検出装置１００は、図１及び図２に示すように、上述した受像部１０と、画像５０に基づいて対象者９５の視線ＶＬを検出する画像処理部２０と、受像部１０内のカメラ１３と光源１５及び画像処理部２０を制御する制御部３０と、制御部３０に接続されたメモリ３５と、カメラ１３の設置されている環境における振動量ＭＶを計測する振動計測手段４０と、を備えている。

振動計測手段４０は、制御部３０に接続されていると共に、加速度センサ４１を備えていて、加速度センサ４１によって車両９０の走行による振動量ＭＶを計測することができる。加速度センサ４１によって取得された車両９０の振動量ＭＶは、制御部３０に送られる。また、メモリ３５内には、所定の振動量閾値ＭＶ１が記憶されている。この振動量閾値ＭＶ１は、視線ＶＬを検出する方法を決定する際に使用される。振動量閾値ＭＶ１については、後に詳細に説明する。

受像部１０は、カメラ１３及び光源１５以外に、図２に示すように、複数の光源１５の発光を制御するための光源制御手段１７及びカメラ１３で撮影した画像５０を取得する画像取得手段１９を備えている。

光源制御手段１７は、制御部３０からの制御によって、光源１５、即ち右光源１５ａ及び左光源１５ｂ内の各発光ダイオードに供給する電力量それぞれを調整したり、もしくは、発光ダイオードそれぞれをオン又はオフしたりして、光源１５の光量を調整するように構成されている。

カメラ１３は、図３に示す対象者９５の顔を含む画像５０を取得する。画像５０には顔領域画像５１が含まれ、顔領域画像５１には、対象者９５の顔における目頭や目尻や口角等の複数の顔部位５５が含まれている。また、顔領域画像５１には、両目の周辺の領域である眼領域画像５３が含まれており、その中に、両目それぞれの瞳孔位置５３ａが含まれる。

画像取得手段１９は、図２に示すように、カメラ１３に接続されて、カメラ１３からの画像５０が入力され、入力された画像５０をＡ／Ｄ変換してデジタル化した後、画像処理部２０へ送る。

画像処理部２０は、制御部３０及び受像部１０に接続されており、内部に第１視線検出手段２１と第２視線検出手段２２とを有している。第１視線検出手段２１と第２視線検出手段２２とは互いに接続されており、互いの有するデータを利用し合うことができるように構成されている。

第１視線検出手段２１には、図４に示すように、受像部１０に接続された明瞳孔画像検出手段２１ａ及び暗瞳孔画像検出手段２１ｂと、明瞳孔画像検出手段２１ａ及び暗瞳孔画像検出手段２１ｂに接続された瞳孔位置特定手段２１ｃ及び瞳孔径特定手段２１ｄと、暗瞳孔画像検出手段２１ｂに接続された角膜反射光位置特定手段２１ｅと、瞳孔位置特定手段２１ｃ及び角膜反射光位置特定手段２１ｅに接続された視線方向特定手段２１ｆと、が設けられている。

第１視線検出手段２１においては、受像部１０内の画像取得手段１９で取得された画像５０（図３参照）が、それぞれフレームごとに明瞳孔画像検出手段２１ａ及び暗瞳孔画像検出手段２１ｂに読み込まれて明瞳孔画像と暗瞳孔画像とを取得し、この明瞳孔画像と暗瞳孔画像との差分画像に基づいて瞳孔位置５３ａ（図３参照）を特定して視線ＶＬを検出する。尚、視線ＶＬを検出するための第１視線検出手段２１内の各ブロックの動作手順については、この後に説明する。

第２視線検出手段２２には、図５に示すように、受像部１０に接続された顔領域画像検出手段２２ａと、顔領域画像検出手段２２ａに接続された特徴点抽出手段２２ｂと、特徴点抽出手段２２ｂに接続された視線方向特定手段２２ｃと、が設けられている。

第２視線検出手段２２においては、受像部１０内の画像取得手段１９で取得された画像５０（図３参照）が、それぞれフレームごとに顔領域画像検出手段２２ａに読み込まれ、顔領域画像５１（図３参照）が切り出される。次に、画像５０における顔領域画像５１から抽出した顔部位５５の特徴点に基づいて対象者９５の視線ＶＬを検出する。尚、視線ＶＬを検出するための第２視線検出手段２２内の各ブロックの動作手順については、この後に説明する。

次に、視線検出装置１００における対象者９５の視線ＶＬの視線検出方法について、図２乃至図８を用いて説明する。図６は、視線ＶＬを検出する方法の手順を示すフローチャートであり、図７は、第１視線検出手段２１による視線検出方法を示すフローチャートであり、図８は、第２視線検出手段２２による視線検出方法を示すフローチャートである。尚、各フローチャート内の各ステップを、図６においてＳＴ１-１乃至ＳＴ１-１０と称し、図７においてＳＴ２-１乃至ＳＴ２-７と称し、図８においてＳＴ３-１乃至ＳＴ３-９と称する。

最初に、視線検出装置１００における基本的な視線検出方法の手順を、図６に示すフローチャートを参照して説明する。視線検出装置１００では、制御部３０は、振動計測手段４０によって計測された振動量ＭＶが、前述した所定の振動量閾値ＭＶ１未満のときは第１視線検出手段２１によって視線ＶＬを検出し、振動量ＭＶが所定の振動量閾値ＭＶ１以上のときは第２視線検出手段２２によって視線ＶＬを検出するように画像処理部２０を制御する。

上述した所定の振動量閾値ＭＶ１は、走行によって車両９０が振動した場合に、第１視線検出手段２１による視線検出が可能な状態から不可能な状態になる時の振動量ＭＶの値を考慮して設定されている。従って、車両９０の振動量ＭＶがこの振動量閾値ＭＶ１以上の時は、第１視線検出手段２１を使用することができない。そのため、振動量ＭＶが振動量閾値ＭＶ１以上の時に第２視線検出手段２２を使用し、振動量ＭＶが振動量閾値ＭＶ１未満の時に第１視線検出手段２１を使用する。この振動量閾値ＭＶ１は、前述したように、図２に示したメモリ３５内に事前に記憶されている。

視線検出装置１００は、図６に示すフローチャートのＳＴ１-１において車両９０が走行を開始するときから、その動作が開始される。

次に、ＳＴ１-２において、第１視線検出手段２１によって対象者９５の視線ＶＬを検出するように、制御部３０によって画像処理部２０を制御する。そして、ＳＴ１-３において、この時に第１視線検出手段２１による視線検出が可能かどうかを判定する。視線検出が可能かどうかは、前述した画像５０内における瞳孔位置５３ａが特定できるかどうかによって判断される。

尚、瞳孔位置５３ａの特定が可能かどうかは、上述した車両９０の振動量ＭＶの大きさに関係する。即ち、車両９０の振動量ＭＶが振動量閾値ＭＶ１未満の時は瞳孔位置５３ａの特定が可能であり、振動量ＭＶが振動量閾値ＭＶ１以上の時は瞳孔位置５３ａの特定が不可能となる。

ＳＴ１-３において、第１視線検出手段２１による視線検出が可能であると判断されると、ＳＴ１-２に戻り、制御部３０によって画像処理部２０を制御して、第１視線検出手段２１による視線検出が行なわれる。また、ＳＴ１-３において、視線検出が可能ではないと判断されると、ＳＴ１-４に進む。尚、第１視線検出手段２１による視線検出方法については、後に説明する。

次に、ＳＴ１-４では、第２視線検出手段２２によって視線ＶＬを検出するように、制御部３０によって画像処理部２０を制御する。従って、その後は、第２視線検出手段２２によって視線ＶＬを検出することになる。尚、第２視線検出手段２２による視線検出方法については、後に説明する。このＳＴ１-４の後に、ＳＴ１-５に進む。

ＳＴ１-５では、振動計測手段４０によってこの時の車両９０の走行による振動量ＭＶを計測して取得し、制御部３０に送る。そして、次のＳＴ１-６では、この振動量ＭＶとメモリ３５内に記憶されている振動量閾値ＭＶ１とを制御部３０において比較する。

次に、ＳＴ１-７で、ＳＴ１-５において取得した振動量ＭＶが、振動量閾値ＭＶ１以上かどうかを判定する。もしも、ＳＴ１-５において取得した振動量ＭＶが振動量閾値ＭＶ１以上であれば、ＳＴ１-８に進み、振動量ＭＶが振動量閾値ＭＶ１未満であれば、ＳＴ１-９に進む。

尚、最初に振動量ＭＶを取得した時点、即ち車両９０の走行開始後初めてＳＴ１-３で視線検出が可能ではないと判断された時点では、ＳＴ１-５において取得した振動量ＭＶは、当然振動量閾値ＭＶ１以上であるため、ＳＴ１-８に進むことになる。

ＳＴ１-８では、第２視線検出手段２２によって視線ＶＬを検出するように、制御部３０によって画像処理部２０を制御する。従って、その後は、第２視線検出手段２２によって視線ＶＬを検出することになる。そして、その後、ＳＴ１-５に戻る。

ＳＴ１-９では、車両９０が走行を停止したかどうかが判定される。車両９０が走行を停止した場合は終了となる（ＳＴ１-１０）が、車両９０が走行を継続していれば、ＳＴ１-２に戻る。ＳＴ１-２以降は、前述したステップを繰り返すことになる。

このように、視線検出装置１００では、ＳＴ１-２及びＳＴ１-３における第１視線検出手段２１による視線検出が可能である状態が続く場合以外は、振動計測手段４０によって車両９０の走行による振動量ＭＶを常に測定し続けており、制御部３０は、車両９０の振動量ＭＶが所定の振動量閾値ＭＶ１以上で継続している間、第２視線検出手段２２によって視線ＶＬを検出するように画像処理部２０を制御する。

更に、制御部３０は、車両９０の振動量ＭＶが所定の振動量閾値ＭＶ１以上で継続していた状態から振動量閾値ＭＶ１未満に変化したときに、画像処理部２０が第１視線検出手段２１によって視線ＶＬを検出するように制御する。また、振動量閾値ＭＶ１未満であっても第１視線検出手段２１によって視線ＶＬを検出できなかった場合には、第２視線検出手段２２によって視線ＶＬを検出するように制御する。この場合、所定の振動量閾値ＭＶ１をメモリ３５内に事前に記憶されている値から、一時的に振動量ＭＶの計測値に変更してもよい。こうすれば、その間は、第２視線検出手段２２によって視線ＶＬを検出する制御が継続される。

次に、上述した図６に示すフローチャートのＳＴ１-２における第１視線検出手段２１による視線検出方法の手順を説明する。この視線検出方法は、図７に示すフローチャートに従って行われる。

まず、図７に示すＳＴ２-１及びＳＴ２-２において、図４に示した第１視線検出手段２１の明瞳孔画像検出手段２１ａ及び暗瞳孔画像検出手段２１ｂによって、明瞳孔画像及び暗瞳孔画像を取得し、その後、ＳＴ２-３において、差分画像を取得する。

次に、ＳＴ２-４において、この差分画像から画像５０（図３参照）における眼領域画像５３内の瞳孔位置５３ａを、図４に示す瞳孔位置特定手段２１ｃによって特定する。

また、同時にＳＴ２-５において、ＳＴ２-２で取得した暗瞳孔画像から、角膜反射光位置を、図４に示す角膜反射光位置特定手段２１ｅによって特定する。

次に、ＳＴ２-６において、ＳＴ２-４及びＳＴ２-５によって特定した瞳孔位置５３ａ及び角膜反射光位置を用い、図４に示す視線方向特定手段２１ｆによって対象者９５の視線ＶＬを検出する。

上記ＳＴ２-６で視線の検出を行なうことによって、図３に示した画像５０における眼領域画像５３内の眼領域が特定される（ＳＴ２-７）。

尚、上述した差分画像の取得、瞳孔位置５３ａの特定、角膜反射光位置の特定、及び視線ＶＬの特定方法の詳細については、その説明を省略する。

次に、上述した図６に示すフローチャートのＳＴ１-４及びＳＴ１-８における第２視線検出手段２２による視線検出方法の手順を説明する。この視線検出方法は、図８に示すフローチャートに従って行われる。尚、第２視線検出手段２２による視線検出方法では、図５に示した第２視線検出手段２２以外にも、図４に示した第１視線検出手段２１の一部も使用する。

まず、第２視線検出手段２２による通常の視線検出方法の手順を説明する。第２視線検出手段２２による視線検出方法では、通常、画像５０から抽出した顔部位５５の特徴点に基づいて視線ＶＬを検出する。この視線検出方法は、図８に示すフローチャートのＳＴ３-１〜ＳＴ３-４に従って行われる。

図８に示すＳＴ３-１において、図３に示す画像５０における顔領域画像５１内の目頭や目尻や口角等の顔部位５５を、図５に示す眼領域画像検出手段２２ａ及び特徴点抽出手段２２ｂによって検出・抽出する。

その後、ＳＴ３-２において、ＳＴ３-１で抽出した複数の顔部位５５から顔向きを推定すると共に、ＳＴ３-３において、顔領域画像５１内の眼領域画像５３における眼の位置を検出する。

そして、ＳＴ３-４において、図５に示す視線方向特定手段２２ｃによって、ＳＴ３-２で推定した顔向き及びＳＴ３-３で検出した眼の位置を基に視線ＶＬを検出する。

第２視線検出手段２２による通常の視線検出方法は、上記の手順に従って行われるが、第２視線検出手段２２による視線検出方法の他の方法として、第１視線検出手段２１によって取得したデータを利用して視線ＶＬを検出する視線検出方法もある。

第２視線検出手段２２によるこの視線検出方法は、図８に示すフローチャートのＳＴ３-５〜ＳＴ３-９及びＳＴ３-４に従って行われる。

図８に示すＳＴ３-５において、図４に示した第１視線検出手段２１の暗瞳孔画像検出手段２１ｂによって、暗瞳孔画像を取得する。また、その後、ＳＴ３-６において、角膜反射光位置を特定する。

次に、ＳＴ３-７において、既に図７のフローチャートで説明した第１視線検出手段２１による視線検出方法のＳＴ２-７における眼領域特定データがあるかどうかを判定する。この眼領域特定データは、図６のフローチャートで説明したＳＴ１-３で第１視線検出手段２１による検出が可能であったら、そのデータが存在するが、検出が可能でなかった場合は、そのデータがない可能性がある。ここで、眼領域特定データがあれば、ＳＴ３-８に進み、眼領域特定データがなければ、ＳＴ３-１に進む。

次に、ＳＴ３-８では、眼領域特定データから眼領域画像５３を切り出す。即ち、第１視線検出手段２１によって最後に特定された瞳孔位置５３ａを含む眼領域画像５３を切り出す。そして、次にＳＴ３-９で、この眼領域画像５３から視線検出が可能かどうか判定される。もしも、視線検出が可能でなければ、ＳＴ３-１に進む。

もしも、ＳＴ３-９で視線検出が可能と判定されれば、ＳＴ３-４に進み、ＳＴ３-６で特定された角膜反射光位置と、ＳＴ３-８で切り出された眼領域画像５３に含まれる特徴点に基づいて視線ＶＬを検出する。

このように、画像処理部２０は、第１視線検出手段２１で取得したデータを用いて画像５０の範囲を眼領域画像５３に限定することができ、この眼領域画像５３に限定することによって、顔領域画像５１における各顔部位５５の特徴を抽出する工程を省くことができる。その結果、画像処理部２０の処理速度を速めることができる。これにより、第１視線検出手段２１と併用して、それぞれから得られた視線ＶＬの検出結果を比較し、より確実な視線検出結果を選択することも可能である。

一方、ＳＴ３-７において、眼領域特定データがないか、又はＳＴ３-９において、眼領域画像５３からの視線検出が可能ではないと判定された場合、ＳＴ３-１に進み、前述したＳＴ３-１〜ＳＴ３-４に従って、第２視線検出手段２２による通常の視線検出方法を行ない、視線ＶＬを検出する。

このように、振動量ＭＶが振動量閾値ＭＶ１以上で眼領域画像５３に基づいて視線ＶＬを検出できないときにおいても、眼領域画像５３を切り出す前の画像５０から顔部位５５の特徴点を抽出することによって、安定して視線ＶＬを検出することができる。

以下、本実施形態としたことによる効果について説明する。

視線検出装置１００は、第１視線検出手段２１によって瞳孔位置５３ａを特定できるときは、処理速度が速くリアルタイムで視線ＶＬを検出することができる。また、振動量ＭＶが大きいときには、第２視線検出手段２２によって安定して視線ＶＬを検出することができる。

また、第１視線検出手段２１によって視線ＶＬを検出できない場合には、第２視線検出手段２２によって安定して視線ＶＬを検出することができる。

また、画像５０の範囲を眼領域画像５３に限定することによって、顔領域画像５１における各顔部位５５の特徴を抽出する工程を省くことができる。その結果、画像処理部２０の処理速度を速めることができる。

また、眼領域画像５３に含まれる特徴点に基づいて視線ＶＬを検出できないときでも、画像５０から顔部位５５の特徴点を抽出することによって、安定して視線ＶＬを検出することができる。

また、振動計測手段４０によって常に振動量ＭＶを計測しているので、振動量ＭＶが振動量閾値ＭＶ１以上であれば第１視線検出手段２１を試みることなく、第２視線検出手段２２による視線検出を遅滞なく開始することができる。また、第１視線検出手段２１によって視線を検出することが可能な状態になれば、リアルタイムで視線を検出する画像処理に復帰できる。

以上説明したように、本発明の視線検出装置は、第１視線検出手段によって瞳孔位置を特定できるときは、処理速度が速くリアルタイムで視線を検出することができる。また、振動量が大きいときには、第２視線検出手段によって安定して視線を検出することができる。

本発明は上記の実施形態に限定されるものではなく、要旨を逸脱しない範囲で種々変更して実施することが可能である。

１０ 受像部
１３ カメラ
１５ 光源
１７ 光源制御手段
１９ 画像取得手段
２０ 画像処理部
２１ 第１視線検出手段
２１ａ 明瞳孔画像検出手段
２１ｂ 暗瞳孔画像検出手段
２２ 第２視線検出手段
３０ 制御部
３５ メモリ
４０ 振動計測手段
４１ 加速度センサ
５０ 画像
５１ 顔領域画像
５３ 眼領域画像
５３ａ 瞳孔位置
５５ 顔部位
９０ 車両
９５ 対象者
１００ 視線検出装置
ＬＴ 検知光
ＶＬ 視線
ＭＶ 振動量
ＭＶ１ 振動量閾値

Claims (5)

1. 対象者の顔を含む画像を取得するカメラと、前記画像に基づいて前記対象者の視線を検出する画像処理部と、前記カメラ及び前記画像処理部を制御する制御部と、前記カメラの設置されている環境における振動量を計測する振動計測手段と、を備える視線検出装置であって、
   前記画像処理部は、明瞳孔画像と暗瞳孔画像との差分画像に基づいて瞳孔位置を特定して前記対象者の視線を検出する第１視線検出手段と、前記画像から抽出した顔部位の特徴点に基づいて前記対象者の視線を検出する第２視線検出手段と、を有し、
   前記制御部は、前記振動計測手段によって計測された振動量が所定の振動量閾値以上のときは前記第２視線検出手段によって前記対象者の視線を検出するように前記画像処理部を制御する、
   ことを特徴とする視線検出装置。
2. 前記制御部は、前記振動量が前記振動量閾値未満であっても前記第１視線検出手段によって瞳孔位置を特定できない場合には、前記第２視線検出手段によって前記対象者の視線を検出するように前記画像処理部を制御する、
   ことを特徴とする請求項１に記載の視線検出装置。
3. 前記画像処理部は、前記第２視線検出手段によって前記対象者の視線を検出する際、前記第１視線検出手段によって最後に特定された瞳孔位置を含む眼領域画像を切り出して、前記眼領域画像に含まれる特徴点に基づいて前記対象者の視線を検出する、
   ことを特徴とする請求項１または請求項２に記載の視線検出装置。
4. 前記制御部は、前記振動量が前記振動量閾値以上で前記眼領域画像に基づいて前記対象者の視線を検出できないときに、前記眼領域画像を切り出す前の前記画像から前記顔部位の特徴点を抽出して前記対象者の視線を検出する、
   ことを特徴とする請求項３に記載の視線検出装置。
5. 前記制御部は、前記振動量が前記振動量閾値以上で継続していた状態から前記振動量閾値未満に変化したときに、前記画像処理部が前記第１視線検出手段によって前記対象者の視線を検出するように制御する、
   ことを特徴とする請求項１乃至請求項４のいずれかに記載の視線検出装置。
   

Images