JP2005296383A - 視線検出装置 - Google Patents

Abstract

【課題】 運転者の顔の向きに関わらず視線を検出する。
【解決手段】 顔向き検出部３１は視線センサ１２から入力される可視光画像に基づき運転者の顔向きを算出する。赤外線反射判定部３３は視線センサ１２から入力される赤外線画像に基づき各赤外線ＬＥＤ２３_１，…，２３_ｎから運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されているか否かを判定する。発光制御部３２は、顔向き検出部３１にて検出される運転者の顔向きおよび赤外線反射判定部３３での判定結果に応じて、複数の赤外線ＬＥＤ２３_１，…，２３_ｎの発光状態を制御し、赤外線の照射方向を順次切り換えて照射する。赤外線視線算出部３４は、赤外線反射判定部３３にて赤外線が運転者の眼鏡で反射されていないと判定された際に、赤外線画像に基づき視線ベクトルおよび視線の対象位置を算出する。
【選択図】 図１

Description

本発明は、視線検出装置に関する。

従来、例えば可視光領域にて撮影可能なカメラ、あるいは、赤外線領域にて撮影可能なカメラを用いて視線を検出する方法が知られており（例えば、非特許文献１参照）、可視光領域にて撮影可能なカメラを用いる方法では、カメラにより撮影した眼球像から眼の特徴点（目尻、瞼など）および虹彩を検出し、特徴点に対する虹彩の相対位置に基づき視線を検出するようになっている。ただし、この方法では、視線方向の変化に対する虹彩の位置変化が相対的に小さいことから、検出精度を向上させることが困難であるという問題がある。
このような問題に対して、赤外線領域にて撮影可能なカメラを用いる方法では、赤外線の点光源から眼球に赤外線を照射し、撮影画像から検出された瞳孔中心および角膜表面における反射像（プルキニエ像）の相対位置に基づき視線を検出するようになっており、この方法では相対的に高精度の視線検出を行うことが可能である。
大野健彦著，「視線を用いたインタフェース」，情報処理，社団法人情報処理学会，２００３年７月，第４４巻，第７号，ｐ．７２６−７３２

ところで、上記従来技術において、赤外線領域にて撮影可能なカメラを用いる方法では、運転者の顔の向きが赤外線の点光源の照射方向から相対的に大きくずれてしまうと、赤外線が角膜表面の適切な位置に照射されずに、角膜表面の反射像を明確に撮影することができない場合があり、この場合には視線検出の検出精度が低下あるいは視線検出が不可となる虞がある。
本発明は上記事情に鑑みてなされたもので、運転者の顔の向きに関わらず視線を検出することが可能な視線検出装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の視線検出装置は、自車両の運転者の眼球に互いに異なる照射方向から赤外線を照射する複数の赤外線照射手段（例えば、実施の形態での赤外線発光ダイオード（赤外線ＬＥＤ）２３_１，…，２３_ｎ）と、自車両の運転者の眼球を赤外線領域にて撮影する赤外線撮影手段（例えば、実施の形態での赤外線カメラ２２）と、前記赤外線撮影手段の撮影により得られる赤外線画像に基づき運転者の視線を検出する視線検出手段（例えば、実施の形態での赤外線視線算出部３４）とを備えることを特徴としている。

上記構成の視線検出装置によれば、例えば運転者が眼鏡を装着している場合や運転者の顔や眼球の向きが変化する場合であっても、複数の赤外線照射手段のうちの何れかの赤外線照射手段により照射された赤外線に対して角膜表面における反射像（プルキニエ像）を検出することができ、視線検出が不可となる状態が発生することを抑制することができる。

さらに、請求項２に記載の本発明の視線検出装置は、前記複数の赤外線照射手段の各作動状態を順次制御し、赤外線の照射方向を順次切り換えて照射する照射制御手段（例えば、実施の形態での発光制御部３２）を備えることを特徴としている。

上記構成の視線検出装置によれば、赤外線の照射方向を順次切り換えて照射することにより角膜表面における反射像（プルキニエ像）が最も明確に検出される赤外線画像に基づき運転者の視線を精度良く検出することができる。

本発明の視線検出装置によれば、例えば所定の運転動作や安全確認動作の実行に対しては脇見状態ではないと判定することができ、運転者の脇見状態の判定を適切に行うことができる。

以下、本発明の一実施形態に係る視線検出装置について添付図面を参照しながら説明する。
本実施の形態による視線検出装置１０は、例えば車両の走行安全装置に具備され、図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された検出制御装置１１と、視線センサ１２とを備えて構成されている。

視線センサ１２は、例えば図２に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えばＣＣＤカメラやＣ−ＭＯＳカメラ等の可視光領域にて撮影可能な可視光カメラ２１および赤外線領域にて撮影可能な赤外線カメラ２２と、運転者の眼球に向けて互いに異なる方向から赤外線を照射する複数の赤外線発光ダイオード（赤外線ＬＥＤ）２３_１，…，２３_ｎ（ｎは任意の自然数であって、例えばｎ＝３等）と、可視光画像処理部２４および赤外線画像処理部２５とを備えて構成されている。
可視光カメラ２１は、運転者の顔や眼球から反射される可視光を撮影する。
赤外線カメラ２２は、検出制御装置１１の制御により各赤外線ＬＥＤ２３_１，…，２３_ｎから運転者の眼球に向けて照射された赤外線の反射を撮影する。
各画像処理部２４，２５は、各カメラ２１，２２により撮影して得た可視光画像および赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して検出制御装置１１へ出力する。

検出制御装置１１は、視線センサ１２から可視光画像の画像データが入力される顔向き検出部３１と、各赤外線ＬＥＤ２３_１，…，２３_ｎの発光状態を制御する発光制御部３２と、視線センサ１２から赤外線画像の画像データが入力される赤外線反射判定部３３および赤外線視線算出部３４とを備えて構成されている。

顔向き検出部３１は、視線センサ１２から入力される可視光画像の画像データに対して、例えば運転者の顔を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の顔向きを算出し、発光制御部３２へ出力する。この顔向き検出部３１による認識処理では、例えば図３に示すように、可視光画像Ｓにおいて運転者の目尻の位置Ｅ１，Ｅ１および目頭の位置Ｅ２，Ｅ２を検出し、さらに、目尻Ｅ１，Ｅ１間の目尻間距離Ｌ１および目頭Ｅ２，Ｅ２間の目頭間距離Ｌ４を検出する。そして、検出した目尻間距離Ｌ１および目頭間距離Ｌ４に基づき運転者の顔向きを算出する。つまり、検出される目尻間距離Ｌ１および目頭間距離Ｌ４は運転者の顔向きの方向Ｐに応じて変化し、例えば運転者の顔向きの方向Ｐと可視光カメラ２１の撮影方向とのなす角が増大することに伴い、目尻間距離Ｌ１が減少傾向に変化することから、目尻間距離Ｌ１に基づき、運転者の顔向きの方向Ｐと可視光カメラ２１の撮影方向とのなす角を算出することができる。さらに、運転者の右眼に対する目尻Ｅ１と目頭Ｅ２との間の距離Ｌ２と、左眼に対する目尻Ｅ１と目頭Ｅ２との間の距離Ｌ３との、相対的な大小関係に基づき、運転者の顔向きの方向Ｐが左右の何れの方向であるかを判別することができる。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン（例えば輪郭等）に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。

発光制御部３２は、顔向き検出部３１にて検出される運転者の顔向きおよび赤外線反射判定部３３での判定結果に応じて、複数の赤外線発光ダイオード（赤外線ＬＥＤ）２３_１，…，２３_ｎの発光状態を制御し、赤外線の照射方向を順次切り換えて照射する。このとき、赤外線発光ダイオード（赤外線ＬＥＤ）２３_１，…，２３_ｎを発光させる順序は、運転者の顔向きに応じて運転者の眼球の角膜表面における反射像（プルキニエ像）が明確に検出される可能性が高いものほど、さらに、運転者が眼鏡を装着している際には、運転者の眼球に向けて照射した赤外線が眼鏡で反射される程度が低いものほど、順位が高くなるように設定する。

赤外線反射判定部３３は、視線センサ１２から入力される赤外線画像の画像データに対して、例えば所定値以上の輝度および大きさを有する領域を検知対象物とした特徴量算出および形状判別等の認識処理を行い、各赤外線ＬＥＤ２３_１，…，２３_ｎから運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されているか否かを判定し、この判定結果を赤外線視線算出部３４へ出力する。この赤外線反射判定部３３による認識処理では、例えば図４（ａ）に示すように、運転者の眼球を撮影した赤外線画像の画像データに対して、所定値以上の輝度および大きさを有する領域を抽出することで、例えば図４（ｂ）に示すような赤外線の各反射像Ｑ１，Ｑ２，Ｑ３を検出する。
赤外線視線算出部３４は、赤外線反射判定部３３にて各赤外線ＬＥＤ２３_１，…，２３_ｎから運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されていないと判定された際に、視線センサ１２から入力される赤外線画像の画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。この赤外線視線算出部３４による認識処理では、例えば角膜表面における反射像（プルキニエ像）の中心位置と瞳孔の中心位置との相対距離に基づき視線ベクトルを算出する。

本実施の形態による視線検出装置１０は上記構成を備えており、次に、この視線検出装置１０の動作について説明する。

先ず、例えば図４に示すステップＳ０１においては、可視光画像を取得する。
次に、ステップＳ０２においては、取得した可視光画像の画像データに対して、例えば顔を検知対象物とした特徴量算出および形状判別等の認識処理を行い、顔向きを検出する。
そして、ステップＳ０３においては、検出した顔向きに応じて各赤外線ＬＥＤ２３_１，…，２３_ｎの発光順序を設定する。
そして、ステップＳ０４においては、設定した発光順序に応じて各赤外線ＬＥＤ２３_１，…，２３_ｎを順次発光させる。
そして、ステップＳ０５においては、赤外線画像を取得する。
ステップＳ０６においては、例えば所定値以上の輝度および大きさを有する領域を検知対象物とした特徴量算出および形状判別等の認識処理を行い、運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進み、各赤外線ＬＥＤ２３_１，…，２３_ｎの発光順序を変更し、上述したステップＳ０４に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０８に進む。
ステップＳ０８においては、視線センサ１２から入力される赤外線画像の画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出し、一連の処理を終了する。

上述したように、本実施の形態による視線検出装置１０によれば、例えば運転者が眼鏡を装着している場合や運転者の顔や眼球の向きが変化する場合であっても、複数の赤外線ＬＥＤ２３_１，…，２３_ｎのうちの何れかにより照射された赤外線に対して角膜表面における反射像（プルキニエ像）を検出することができ、視線検出が不可となる状態が発生することを抑制することができる。
しかも、赤外線の照射方向を、顔向き検出部３１にて検出される運転者の顔向きおよび赤外線反射判定部３３での判定結果に応じて変更することから、精度の良い視線検出を迅速に行うことができる。

なお、上述した実施の形態においては、顔向き検出部３１にて検出される運転者の顔向きに応じて赤外線の照射方向を変更するとしたが、これに限定されず、顔向き検出部３１を省略し、単に、所定の発光順序に応じて赤外線の照射方向を順次切り換えて照射してもよい。この場合、赤外線反射判定部３３は、複数の赤外線ＬＥＤ２３_１，…，２３_ｎ毎による照射に応じて、例えば図６（ａ）〜（ｃ）に示すように、複数の赤外線画像の画像データを取得し、運転者の眼球の角膜表面における反射像（プルキニエ像）が明確に検出される可能性が高い画像データを選択し、赤外線視線算出部３４へ出力する。例えば図６（ａ）〜（ｃ）では、運転者の眼球に向けて照射した赤外線が眼鏡で反射された反射像Ｒ１，Ｒ２，Ｒ３が検出される図６（ａ），（ｃ）の各画像データに対して、赤外線の反射像が検出されない図６（ｂ）に対応する画像データが選択される。

本発明の一実施形態に係る視線検出装置の構成図である。 図１に示す視線センサを搭載した車両を示す斜視図である。 運転者の顔向きと可視光カメラとの相対位置の一例を示す図である。 運転者の眼鏡で反射される赤外線の反射像の一例を示す図である。 図１に示す視線検出装置の動作を示すフローチャートである。 運転者の眼鏡で反射される赤外線の一例を示す図である。

符号の説明

１０ 視線検出装置
２２ 赤外線カメラ（赤外線撮影手段）
２３_１，…，２３_ｎ 赤外線発光ダイオード（赤外線照射手段）
３２ 発光制御部（照射制御手段）
３４ 赤外線視線算出部（視線検出手段）

Claims (2)

1. 自車両の運転者の眼球に互いに異なる照射方向から赤外線を照射する複数の赤外線照射手段と、
   自車両の運転者の眼球を赤外線領域にて撮影する赤外線撮影手段と、
   前記赤外線撮影手段の撮影により得られる赤外線画像に基づき運転者の視線を検出する視線検出手段と
   を備えることを特徴とする視線検出装置。
2. 前記複数の赤外線照射手段の各作動状態を制御し、赤外線の照射方向を順次切り換えて照射する照射制御手段を備えることを特徴とする請求項１に記載の視線検出装置。
   
   

Images