JP2018181025A - 視線検出装置 - Google Patents

Abstract

【課題】複数の光源が撮像対象者に対して異なる距離に配置されていたとしても、高精度に視線を検知できる視線検知装置を提供する。【解決手段】撮像対象者９５の画像を取得するカメラ１３と、撮像対象者９５に検知光ＬＴを照射する複数の光源（光源群３１，３２，３３，３４）と、を有する視線検出装置１００であって、カメラ１３と複数の光源（光源群３１，３２，３３，３４）とが第１の方向（Ｘ１−Ｘ２方向）に並んで配置されると共に、カメラの光軸と光源の光軸とが、第１の方向及び第１の方向と直交する第２の方向（Ｙ１−Ｙ２方向）それぞれに対して斜めに向けられて配置されており、複数の光源それぞれの光量が異なるように発光を調整する光源制御部７を備えている。【選択図】図７

Description

本発明は、車両運転者の視線方向を検出可能な視線検出装置に関する。

近年、安全のために車両運転者の視線方向を検出可能な視線検出装置が開発されてきている。特許文献１には、カーナビゲーション装置の近傍に車両運転者の視線を検知するためのカメラが設けられた制御装置９００が記載されている。（図８参照）

上述したカメラは、視線検知装置として使用され、車両運転者の顔部分を含む領域を撮像する。この画像データから車両運転者の視線が検出される。これにより、車載機器の操作やモニタ画面注視に起因して、うっかり脇見運転をしてしまうという事態を的確に回避可能な警告を車両運転者に発することができる。

視線検知をより正確に行うために、カメラレンズの直近に光源を配置して撮像する明瞳孔画像とカメラレンズの光軸から側方にずらした位置に光源を配置して撮像する暗瞳孔画像とを用いて、それらの画像データを差分する明暗瞳孔法が知られている。また、三角測量法によってカメラから車両運転者までの距離を算出可能とするステレオカメラが知られている。ステレオカメラで明暗瞳孔画像を取得する視線検知装置は、例えば特許文献２に開示されている。

近年、車両運転者の視界を広くするために、車速や残燃料などの車両情報を表示していた計器パネルの代わりに、ヘッドアップディスプレイによって車両情報を車両運転者の前方に表示することが考えられている。そのような中において、カメラと専用光源からなる視線検知装置を車両運転者の前方に据え置くことは難しく、主にセンターコンソールに設けられているカーナビゲーション装置などの画像表示装置内に視線検知装置を配置することが求められている。

特開２０００−３２２６９９号公報 特開２０１６−０５１３１８号公報

しかしながら、外観上、センターコンソールに設けられている画像表示装置の内側に視線検知装置を設ける必要があるため、車両運転者から各光源までの距離が異なり、明暗瞳孔法のように複数の画像を差分することで視線方向を検知する場合には、各画像の照度が異なることとなり、検出精度が悪くなってしまうという問題があった。

本発明はこのような従来技術の実情に鑑みてなされたもので、複数の光源が撮像対象者に対して異なる距離に配置されていたとしても、高精度に視線を検知できる視線検知装置を提供することを目的とする。

上記課題を解決するために本発明の視線検出装置は、撮像対象者の画像を取得するカメラと、前記撮像対象者に検知光を照射する複数の光源と、を有する視線検出装置であって、前記カメラと複数の前記光源とが第１の方向に並んで配置されると共に、前記カメラの光軸と前記光源の光軸とが、前記第１の方向及び前記第１の方向と直交する第２の方向それぞれに対して斜めに向けられて配置されており、複数の前記光源それぞれの光量が異なるように発光を調整する光源制御部を備えている、という特徴を有する。

このように構成された視線検出装置は、光源制御部によって複数の光源それぞれの光量が異なるように発光を調整するので、複数の光源が撮像対象者である車両運転者に対して異なる距離に配置されていたとしても、高精度に視線を検知することが可能となる。

また、上記の構成において、前記光源制御部は、前記光源ごとに撮像された前記撮像対象者の複数の画像輝度データを記憶すると共に、前記光源の光量を、複数の前記画像輝度データ間のばらつきが小さくなるように調整する、という特徴を有する。

このように構成された視線検出装置は、各光源の光量を各画像輝度データ間のばらつきが小さくなるように調整するので、各画像の照度を各光源によらずに一定にすることができる。

また、上記の構成において、前記光源制御部は、複数の前記光源にそれぞれ供給される電力量を調整する、という特徴を有する。

このように構成された視線検出装置は、各光源に供給する電力量を調整することによって、光量の調整を容易に行うことができる。

また、上記の構成において、前記光源はそれぞれ複数の発光ダイオードから成り、前記光源制御部は、前記発光ダイオードの点灯個数を調整する、という特徴を有する。

このように構成された視線検出装置は、複数の発光ダイオードをオン又はオフさせて発光ダイオードの点灯個数を調整することによって、光量の調整をより容易に行うことができる。

また、上記の構成において、複数の前記光源は、少なくとも、前記カメラの光軸に近接して配置された明瞳孔撮像用光源と、前記カメラの光軸に離間して配置された暗瞳孔撮像用光源と、からなる、という特徴を有する。

このように構成された視線検出装置は、明瞳孔画像と暗瞳孔画像とを用いることによって、視線検知をより正確に行うことができる。

また、上記の構成において、前記カメラの光軸の向いた方向前方を前記カメラの撮像方向とすると共に、前記光源の光軸の向いた方向前方を前記光源の発光方向とし、前記カメラの撮像方向前方と前記光源の発光方向前方とを共通に覆う、赤外光を透過可能で可視光線を透過させないカバー板が設けられており、前記カメラの光軸と前記光源の光軸とが、前記カバー板の板面に対して斜めに向けられている、という特徴を有する。

このように構成された視線検出装置は、カバー板が光源の検知光である赤外光を透過させると共に、可視光線を透過させないので、車両運転者に検知光を照射することができると共に、カメラ及び光源を車両運転者から見えなくすることができる。

また、上記の構成において、前記カメラが複数配置され、前記撮像対象者の画像を同時に取得する、という特徴を有する。

このように構成された視線検出装置は、カメラを複数配置することで撮像対象者の画像を同時に取得することが可能であるため、三角測量法によってカメラから車両運転者までの距離を正確に算出することができる。

本発明の視線検出装置は、光源制御部によって複数の光源それぞれの光量が異なるように発光を調整するので、複数の光源が撮像対象者である車両運転者に対して異なる距離に配置されていたとしても、高精度に視線を検知することが可能となる。

本発明の視線検出装置と撮像対象者との車両内の関係を示す平面図である。 視線検出装置の平面図（ａ）及び正面図（ｂ）である。 視線検出装置の拡大断面図である。 視線検出装置及び演算制御部の構成を示すブロック図である。 視線検出装置と撮像対象者の目との位置関係を模式的に示す説明図である。 視線検出の計算方法を模式的に示す説明図である。 各光源それぞれと撮像対象者との関係を模式的に示す説明図である。 従来例に係る車載機器の制御装置を示す説明図である。

以下、本発明について、図面を参照しながら説明する。本発明の実施形態である視線検出装置１００は、車両運転者の視線方向を検出可能な視線検出装置である。本発明の視線検出装置の用途については、以下説明する実施形態に限定されるものではなく適宜変更が可能である。

［実施形態］
最初に、図１乃至図３を参照して、本発明の実施形態である視線検出装置１００の構成について説明する。図１は、車両９０内の視線検出装置１００と撮像対象者９５との関係を示す平面図である。図２は、視線検出装置１００の外観を示しており、（a）は視線検出装置１００の平面図であり、（ｂ）はその正面図である。また、図３は、視線検出装置１００のうちの第１受像装置１０の、図２（ｂ）のＡ−Ａ線から見た拡大断面図である。

視線検出装置１００は、図１に示すように、車両９０のセンターコンソール等に設置され、車両９０の車両運転者である撮像対象者９５の画像を取得するための装置である。視線検出装置１００は、撮像対象者９５の画像を取得する２つのカメラ１３，２３と、撮像対象者９５にそれぞれ検知光ＬＴを照射する複数の光源１１，１２，２１，及び２２と、を有している。

視線検出装置１００は、図２（ａ）、（ｂ）に示すように、ケース４０を有している。ケース４０は左右方向（Ｘ１−Ｘ２方向）に細長い立方体形状であり、前方（Ｙ２側）に開口部４３が形成されている。開口部４３の形状は長方形であり、この開口部が１枚のカバー板４１で覆われている。カバー板４１は、赤外光を透過可能であるが、可視光の波長帯域については光線透過率が低下するように着色されている。あるいは、カバー板４１が透光性であり、前記光線透過率を低下させる着色シートが積層されて構成されている。従って、図２（ｂ）の正面図において、実際は、ケース４０の内部の構造を、カバー板４１を透過して目視することはできない。

ケース４０の内部には、第１受像装置１０と第２受像装置２０とが収納されている。図２（ｂ）に示すように、第１受像装置１０はケース４０の、撮像対象者９５から向かって左側（Ｘ２側）、第２受像装置２０はケース４０の右側（Ｘ１側）に配置されている。

第１受像装置１０は、前述したカメラ１３と、光源１１としての第１光源１１ａ，１１ｂ、及び光源１２としての第２光源１２ａ，１２ｂと、を有している。第１光源１１ａと第１光源１１ｂは、それぞれ上下方向（Ｚ方向）に複数（２個）設けられ、第１光源１１ａと第１光源１１ｂは、カメラ１３を挟むようにして左右方向（Ｘ方向）の両側に配置されている。

第２光源１２ａと第２光源１２ｂも、それぞれ複数（２個）設けられている。第２光源１２ａと第２光源１２ｂは、カメラ１３の両側を挟むように、第１光源１１ａ，１１ｂの外側の左右両側に配置されている。即ち、カメラ１３と複数の光源１１，１２とが、第１の方向であるＸ１−Ｘ２方向に並んで配置されている。

第２受像装置２０も第１受像装置１０と同様に、前述したカメラ２３と、光源２１としての第１光源２１ａ，２１ｂ、及び光源２２としての第２光源２２ａ，２２ｂと、を有している。第１光源２１ａと第１光源２１ｂは、それぞれ上下方向（Ｚ方向）に複数（２個）設けられ、第１光源２１ａと第１光源２１ｂは、カメラ２３を挟むようにして左右方向（Ｘ方向）の両側に配置されている。

第２光源２２ａと第２光源２２ｂも、それぞれ複数（２個）設けられている。第２光源２２ａと第２光源２２ｂは、カメラ２３の両側を挟むように、第１光源２１ａ，２１ｂの外側の左右両側に配置されている。即ち、第２受像装置２０においても、カメラ２３と複数の光源２１，２２とが、第１の方向であるＸ１−Ｘ２方向に並んで配置されている。

このように、視線検出装置１００では、第１受像装置１０に設けられたカメラ１３と第２受像装置２０に設けられたカメラ２３とから成る複数のカメラが配置されている。そのため、撮像対象者の画像を、カメラ１３とカメラ２３とから成る複数のカメラで同時に取得することができる。これにより、三角測量法によってカメラ１３，２３から撮像対象者までの距離を正確に算出することができる。なお、本実施形態の視線検出装置１００の構成は複数のカメラを備えるものとして説明するが、これに限定されるものではない。

図２（ｂ）に示すように、第１受像装置１０に設けられたカメラ１３の光軸Ｏ１と、第２受像装置２０に設けられたカメラ２３の光軸Ｏ２は、所定距離Ｌ０だけ離間するように配置されている。カメラ１３、２３は、ＣＭＯＳ（Complementary metal oxide semiconductor：相補型金属酸化膜半導体）やＣＣＤ（Charge coupled device：電荷結合素子）などの撮像素子を有しており、車両運転者である撮像対象者９５の目を含む顔の画像を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。

図３に示すように、第１受像装置１０に設けられたカメラ１３と光源１１，１２（第１光源１１ａ，１１ｂならびに第２光源１２ａ，１２ｂ）は、撮像対象者９５に対向している。即ち、カメラ１３の光軸Ｏ１の向いた方向前方がカメラ１３の撮像方向となると共に、光源１１，１２の光軸（Ｈ１１ａ，Ｈ１１ｂ，Ｈ１２ａ，及びＨ１２ｂ）の向いた方向前方が光源１１，１２の発光方向となる。

本実施形態の視線検出装置１００は、前述したように、車載用の視線検出装置として使用されるものであるため、その設置場所がセンターコンソールなどのように、撮像対象者９５である車両運転者の視線方向に対して斜め前方に配置されることになる。

そのため、図３に示すように、第１受像装置１０に設けられたカメラ１３の光軸Ｏ１と第１光源１１ａ，１１ｂならびに第２光源１２ａ，１２ｂの光軸（Ｈ１１ａ，Ｈ１１ｂ，Ｈ１２ａ，Ｈ１２ｂ）とが、カバー板４１の板面に対して斜めに向けられるように、カメラ１３と各光源１１、１２が配置されている。第２受像装置２０においても同様である。

各光源１１，１２はそれぞれ複数のＬＥＤ（Light emitting diode）即ち発光ダイオード９から成る。複数の発光ダイオード９に供給される電力量それぞれは調整可能となっている。もしくは、複数の発光ダイオード９それぞれをオン・オフ可能となるように構成されている。第２受像装置２０においても同様である。

図３に示すように、第１受像装置１０内のカメラ１３の光軸Ｏ１と第１光源１１ａの光軸Ｈ１１ａまでの、光軸Ｏ１に対して垂直の方向における光軸間距離はＬ１１ａであり、光軸Ｏ１と第１光源１１ｂの光軸Ｈ１１ｂまでの光軸間距離はＬ１１ｂである。また、カメラ１３の光軸Ｏ１と第２光源１２ａの光軸Ｈ１２ａまでの光軸間距離はＬ１２ａであり、光軸Ｏ１と第２光源１２ｂの光軸Ｈ１２ｂまでの光軸間距離はＬ１２ｂである。

第１受像装置１０では、第１光源１１ａ，１１ｂとカメラ１３の光軸Ｏ１までの光軸間距離Ｌ１１ａ，Ｌ１１ｂが、第２光源１２ａ，１２ｂとカメラ１３の光軸Ｏ１までの光軸間距離Ｌ１２ａ、Ｌ１２ｂよりも短い。第２受像装置２０においても同様である。

ここで、第１受像装置１０のカメラ１３と第１光源１１ａ，１１ｂとの光軸間距離Ｌ１１ａ，Ｌ１１ｂ、及び、カメラ１３と第２光源１２ａ，１２ｂとの光軸間距離Ｌ１２ａ，Ｌ１２ｂは、視線検出装置１００と撮像対象者９５との間の距離を考慮して、カメラ１３とカメラ２３の間の距離Ｌ０（図２（ｂ）参照）に対して十分に短いため、第１光源１１ａ，１１ｂと第２光源１２ａ，１２ｂは、カメラ１３に対して互いの光軸（Ｈ１１ａ，Ｈ１１ｂ，Ｈ１２ａ，Ｈ１２ｂ）が実質的に同軸であるとみなすことができる。

同様に、第２受像装置２０のカメラ２３と第１光源２１ａ，２１ｂの光軸間距離及び、カメラ２３と第２光源２２ａ，２２ｂの光軸間距離も、カメラ１３とカメラ２３の距離Ｌ０に対して十分に短いため、第１光源２１ａ，２１ｂと第２光源２２ａ，２２ｂは、カメラ２３に対して互いの光軸が実質的に同軸であるとみなすことができる。

これに対して、視線検出装置１００と撮像対象者９５との間の距離を考慮して、カメラ１３とカメラ２３の距離Ｌ０が十分に長いため、第１受像装置１０における第１光源１１ａ，１１ｂと第２光源１２ａ，１２ｂならびにカメラ１３の各光軸と、第２受像装置２０における第１光源２１ａ，２１ｂと第２光源２２ａ，２２ｂならびにカメラ２３の各光軸とは、実質的に同軸ではない。

第１受像装置１０及び第２受像装置２０における第１光源１１ａ，１２ａ、第１光源２１ａ，２１ｂ、第２光源１２ａ，１２ｂ、及び、第２光源２２ａ，２２ｂは、前述したように、ＬＥＤ光源であり、検知光ＬＴとして波長が８５０ｎｍの赤外光（近赤外光）を出射し、この検知光ＬＴを撮像対象者９５の目に照射することができるように配置されている。この波長８５０ｎｍは、人の目の眼球内での吸収率が低く、網膜で反射されやすい波長である。

第１受像装置１０における第１光源１１ａと第２光源１２ａは、図３に示すように、カメラ１３よりもカバー板４１の内面４１ａに接近した位置にあり、第１光源１１ｂと第２光源１２ｂも、カメラ１３より内面４１ａに接近した位置にある。光軸Ｏ１と内面４１ａとが成す角度θ１はＸ２側で９０°より小さな角度、即ち鋭角となっている。そのため、カメラ１３よりＸ２側に位置する第１光源１１ｂと第２光源１２ｂは、カメラ１３よりＸ１側に位置する第１光源１１ａと第２光源１２ａよりも、カメラ１３に近接している。

カメラ１３とそれぞれの第１光源１１ａ，１１ｂとの間に遮蔽部材４５が設けられており、遮蔽部材４５によってカメラ１３の撮像方向前方と第１光源１１ａ，１１ｂの発光方向前方とが仕切られている。遮蔽部材４５は、ゴム材料や発泡樹脂材料などのように遮光性があり且つ柔軟な材料で形成されている。例えば、遮蔽部材４５は連続してカメラ１３のレンズ前方を囲むようにコーン形状に形成されている。

ケース４０内で、第２受像装置２０内のカメラ２３の光軸Ｏ２（図２（ｂ）参照）と各光源２１，２２（２１ａ，２１ｂ，２２ａ，２２ｂ）の光軸の傾き方向は、第１受像装置１０内のカメラ１３の光軸Ｏ１の傾き方向と同じである。図１に示すように視線検出装置１００が配置される場合、光軸Ｏ２と内面４１ａとが成す角度は、光軸Ｏ１と内面４１ａとが成す角度θ１と同じか、角度θ１より小さく設定される。

次に、視線検出装置１００のブロック構成について図４を用いて説明する。図４は、視線検出装置１００の構成を示すブロック図である。

視線検出装置１００は、前述したように、第１受像装置１０と第２受像装置２０とを有し、第１受像装置１０は、カメラ１３と複数の光源１１及び光源１２から成り、また、第２受像装置２０は、カメラ２３と複数の光源２１及び光源２２から成る。

視線検出装置１００には更に、図４に示すように、第１受像装置１０及び第２受像装置２０内の複数の光源１１，１２，２１，２２の発光を調整するための光源制御部７が備えられており、光源制御部７にはメモリ８が接続されている。尚、光源制御部７及びメモリ８については、後に説明する。

視線検出装置１００には更に、図４に示すように、演算制御部５０が接続されている。演算制御部５０は、コンピュータやメモリで構成されており、各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。

演算制御部５０には、画像取得部５７、５８と、瞳孔画像抽出部５１と、瞳孔中心算出部５３と、瞳孔径算出部５４と、角膜反射光中心検出部５５と、視線方向算出部５６とが設けられている。

画像取得部５７は、第１受像装置１０に接続されており、第１受像装置１０内のカメラ１３によって撮影された画像を取得する。また、画像取得部５８は、第２受像装置２０に接続されており、第２受像装置２０内のカメラ２３によって撮影された画像を取得する。

画像取得部５７、５８で取得された画像は、フレームごとに瞳孔画像抽出部５１に読み込まれる。瞳孔画像抽出部５１は、明瞳孔画像検出部５１ａと暗瞳孔画像検出部５１ｂとを備えている。

瞳孔画像抽出部５１は、瞳孔中心算出部５３、瞳孔径算出部５４、及び角膜反射光中心検出部５５に接続されている。そして、瞳孔中心算出部５３及び角膜反射光中心検出部５５は、視線方向算出部５６に接続されている。尚、演算制御部５０内の各ブロックの働きについては、この後の、撮像対象者９５の画像検出及び視線方向ＶＬの算出方法の説明の中で説明する。

次に、撮像対象者９５の画像検出及び視線方向ＶＬの算出方法について、図２乃至図６を用いて説明する。図５は、視線検出装置１００と撮像対象者９５の目（眼球６０）との位置関係を模式的に示す説明図であり、図６は、視線検出の計算方法、即ち、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための方法を模式的に示す説明図である。

図３に示すように、第１受像装置１０のカメラ１３の光軸Ｏ１と各光源１１，１２の光軸がカバー板４１に対して斜めに向けられており、第２受像装置２０においても、カメラ２３の光軸Ｏ２と各光源２１，２２の光軸がカバー板４１に対して斜めに向けられている。
即ち、カメラ１３，２３の光軸Ｏ１，Ｏ２と各光源１１，１２，２１，２２の光軸とが、第１の方向（Ｘ１−Ｘ２方向）及び第１の方向と直交する第２の方向（Ｙ１−Ｙ２方向）それぞれに対して斜めに向けられて配置されている。そのため、視線検出装置１００がセンターコンソールのように撮像対象者９５である車両運転者の斜め前方に配置されていても、カメラ１３の光軸Ｏ１とカメラ２３の光軸Ｏ２（図２参照）の双方を、視線検出装置１００から所定距離離れている撮像対象者９５の顔と目に向けることが可能になる。

図５（ａ）と図６（ａ）では、撮像対象者９５の目（眼球６０）の視線方向ＶＬがカメラ１３の光軸Ｏ１とカメラ２３の光軸Ｏ２との中間に向けられており、図５（ｂ）と図６（ｂ）では、視線方向ＶＬがカメラ１３の光軸Ｏ１方向へ向けられている。

眼球６０は、視線検出装置１００の側、即ち前方に角膜６１を有し、その後方に瞳孔６２と水晶体６３とが位置している。そして眼球６０の最後方には網膜６４が存在している。

目を含む領域の撮像対象者９５の画像をカメラ１３，２３で取得するときに、点灯させる光源を選択することで、瞳孔６２の明るさが相違する画像、即ち明瞳孔画像と暗瞳孔画像とを得ることができる。明瞳孔画像と暗瞳孔画像とは、画像内の瞳孔６２の明るさの違いを相対的に表した概念であり、２つの画像を比較したときに瞳孔６２が明るい方の画像が明瞳孔画像であり、瞳孔６２が暗い方の画像が暗瞳孔画像である。

暗瞳孔画像と明瞳孔画像は、第１光源１１ａ，１１ｂ及び第２光源１２ａ，１２ｂの発光と、第１光源２１ａ，２１ｂ及び第２光源２２ａ，２２ｂの発光と、を切換えることにより取得することができる。

図５（ａ）に示すように、第１受像装置１０のカメラ１３の光軸Ｏ１と第２受像装置２０のカメラ２３の光軸Ｏ２は、異なる角度で撮像対象者９５の眼球６０に向けられる。

第１受像装置１０に搭載されている第１光源１１ａ，１１ｂを点灯したときに、光軸Ｏ１が第１光源１１ａ，１１ｂと実質的に同軸となるカメラ１３で取得した画像では、網膜６４で反射された赤外光がカメラ１３に入射しやすいため、瞳孔６２が明るく見える明瞳孔画像となる。この画像は明瞳孔画像として、明瞳孔画像検出部５１ａで抽出される。

これに対し、第２受像装置２０に設けられたカメラ２３の光軸Ｏ２は、第１受像装置１０の第１光源１１ａ，１１ｂの光軸と非同軸となるため、第１光源１１ａ，１１ｂを点灯したときに、網膜６４で光が反射されたとしてもその光はカメラ２３で検知されにくい。そのため、カメラ２３で取得した画像は、瞳孔６２が比較的暗い暗瞳孔画像となる。この画像は暗瞳孔画像として、暗瞳孔画像検出部５１ｂで抽出される。

逆に、第２受像装置２０の第１光源２１ａ，２１ｂを点灯したときは、網膜６４で反射された光が瞳孔６２を通過し、光軸Ｏ２に沿ってカメラ２３で検知されやすく、カメラ２３で取得された画像が明瞳孔画像となる。このとき、網膜６４で反射された光は、斜め前方に位置するカメラ１３で検知されにくく、カメラ１３で取得された画像が暗瞳孔画像となる。

言い換えれば、同じ波長の検知光ＬＴが発せられたときに、カメラ、例えばカメラ１３に近接する組の光源（カメラ１３と同軸の光源）から光が発せられたときは、そのカメラ１３から取得された画像が明瞳孔画像となり、カメラ１３から遠隔の組の光源（カメラ１３と非同軸の光源）から光が発せられたときは、そのカメラ１３から取得された画像が暗瞳孔画像となる。

これは、第１受像装置１０の第２光源１２ａ，１２ｂと、第２受像装置２０の第２光源２２ａ，２２ｂと、カメラ１３，２３との組み合わせにおいても同じである。

図４に示した瞳孔画像抽出部５１では、第１受像装置１０と第２受像装置２０の双方で明瞳孔画像と暗瞳孔画像が取得されたら、明瞳孔画像検出部５１ａで検出された明瞳孔画像から暗瞳孔画像検出部５１ｂで検出された暗瞳孔画像がマイナスされる。この計算により明瞳孔画像に明るく現れている瞳孔６２の画像が残り、それ以外の画像は相殺されてほぼ見えなくなる。

瞳孔６２の形状を示す瞳孔画像信号は、瞳孔中心算出部５３及び瞳孔径算出部５４に与えられる。瞳孔中心算出部５３では、瞳孔画像信号が画像処理されて二値化され、瞳孔６２の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔６２の中心位置として算出される。瞳孔径算出部５４では、瞳孔画像信号と、瞳孔中心算出部５３で算出された瞳孔６２の中心位置と、楕円の長軸と短軸と、に基づいて瞳孔６２の瞳孔径が算出される。

次に、いずれかの光源が点灯しているときには、その光源からの光が、図５（ａ）、（ｂ）に示すように、角膜６１の表面で反射されて、その光がカメラ１３とカメラ２３の双方で取得され、明瞳孔画像検出部５１ａと暗瞳孔画像検出部５１ｂとで検出される。特に、暗瞳孔画像検出部５１ｂでは、瞳孔６２の画像が比較的暗いため、角膜６１の反射点６５から反射された反射光が明るくスポット画像として検出しやすくなる。

暗瞳孔画像検出部５１ｂで検出された暗瞳孔画像信号は、角膜反射光中心検出部５５に与えられる。暗瞳孔画像信号には、角膜６１の反射点６５から反射された反射光による輝度信号が含まれている。角膜６１の反射点６５からの反射光はプルキニエ像を結像するものであり、図６に示すように、カメラ１３、２３の撮像素子には、きわめて小さい面積のスポット画像として取得される。角膜反射光中心検出部５５では、スポット画像が画像処理されて、角膜６１の反射点６５からの反射光の中心が求められる。

瞳孔中心算出部５３で算出された瞳孔中心算出値と角膜反射光中心検出部５５で算出された角膜反射光中心算出値は、視線方向算出部５６に与えられる。視線方向算出部５６では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。

図５（ａ）では、撮像対象者９５の目（眼球６０）の視線方向ＶＬが、カメラ１３の光軸Ｏ１とカメラ２３の光軸Ｏ２との中間方向に向けられている。このとき、図６（ａ）に示すように、角膜６１からの反射点６５の中心が瞳孔６２の中心と一致している。これに対して、図５（ｂ）では、撮像対象者９５の目（眼球６０）の視線方向ＶＬが、かなり左側へ向けられている。このとき、図６（ｂ）に示すように、瞳孔６２の中心と角膜６１からの反射点６５の中心とが位置ずれする。

視線方向算出部５６では、瞳孔６２の中心と、角膜６１からの反射点６５の中心との直線距離α１が算出される（図６（ｂ）参照）。また瞳孔６２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔６２の中心と反射点６５の中心とを結ぶ線とＸ軸との傾き角度β１が算出される。２つのカメラ１３，２３で取得された画像に基づいて直線距離α１と傾き角度β１が算出されることで、視線方向ＶＬが算出される。このようにして、車両９０内における撮像対象者９５の視線方向ＶＬを求めることができる。また、カメラ１３，２３のいずれか１台で取得された画像に基づいて直線距離α１と傾き角度β１を算出すれば、撮像対象者９５の距離を推定して、撮像対象者９５の視線方向ＶＬを求めることができる。

次に、光源制御部７の構成及び働きについて、図７を用いて説明する。図７は、各光源群３１〜３４それぞれと撮像対象者９５との関係を模式的に示す説明図である。

前述したように、視線検出装置１００は、車両９０のセンターコンソールに設けられている画像表示装置の内側に搭載されており、視線検出装置１００では、第１受像装置１０に設けられたカメラ１３の光軸Ｏ１と、第２受像装置２０に設けられたカメラ２３の光軸Ｏ２は、所定距離Ｌ０だけ離間するように配置されている。また、第１受像装置１０の各光源１１，１２が、カメラ１３の左右に配置され、第２受像装置２０の各光源２１，２２が、カメラ２３の左右に配置されている。

詳しくは、図２（ｂ）に示すように、第１受像装置１０の第１光源１１ｂと第２光源１２ｂとが、撮像対象者９５から向かってカメラ１３の左側に配置され、第１光源１１ａと第２光源１２ａとが、カメラ１３の右側に配置され、第２受像装置２０の第１光源２１ａと第２光源２２ａとが、カメラ２３の左側に配置され、第１光源２１ｂと第２光源２２ｂとが、カメラ２３の右側に配置されている。そして、各光源１１，１２，２１，２２が、ケース４０内で、撮像対象者９５に向けて斜めに配置されている。従って、撮像対象者９５から各光源１１，１２，２１，２２までの距離が異なり、各画像の照度が異なることになる。

ここで、第１受像装置１０内の、互いに近接している第１光源１１ｂと第２光源１２ｂとを光源群３１、第１受像装置１０内の互いに近接している第１光源１１ａと第２光源１２ａとを光源群３２、第２受像装置２０内の互いに近接している第１光源２１ａと第２光源２２ａとを光源群３３、第２受像装置２０内の互いに近接している第１光源２１ｂと第２光源２２ｂとを光源群３４とする。図７には、光源群３１、光源群３２、光源群３３、及び光源群３４それぞれと撮像対象者９５との関係が示されている。

図７に示すように、光源群３１と撮像対象者９５との間は距離Ｌ０１となり、光源群３２と撮像対象者９５との間は距離Ｌ０２となり、光源群３３と撮像対象者９５との間は距離Ｌ０３となり、光源群３４と撮像対象者９５との間は距離Ｌ０４となる。尚、前述したように、視線検出装置１００と撮像対象者９５との間の距離を考慮して、光源群３１の光軸と光源群３２の光軸とは同軸であるとみなされ、光源群３３の光軸と光源群３４の光軸とは同軸であるとみなされる。

ここで、光源群３１が最も左側（Ｘ２側）に位置すると共に、光源群３４が最も右側（Ｘ１側）に位置し、撮像対象者９５が右側（Ｘ１側）に位置しているため、距離Ｌ０１が最も長く、距離Ｌ０１が最も短くなる。このように、各光源群３１，３２，３３，３４と撮像対象者９５との間の距離は、それぞれ異なる距離となる。

一般的に、撮像対象者９５の位置における明るさ、即ち画像の照度は、光源から撮像対象者９５までの距離の二乗に反比例する。従って、各光源群３１，３２，３３，３４からそれぞれ同一の光量の光を発した場合、撮像対象者９５の画像の照度は、各光源群３１，３２，３３，３４それぞれに対して異なった明るさになってしまう。

視線検出装置１００では、撮像対象者９５の画像の照度を、各光源群３１，３２，３３，３４によらず一定にするため、光源それぞれの光量が異なるように発光を調整するための光源制御部７及びメモリ８を備えている。

光源制御部７は、検知光ＬＴを照射する光源（光源群３１，３２，３３，３４）ごとに撮像された撮像対象者９５の複数の画像輝度データをメモリ８に記憶すると共に、各光源の光量を、複数の画像輝度データ間のばらつきが小さくなるように調整する。

前述したように、光源群３１内で第１光源１１ｂと第２光源１２ｂとが近接しており、光源群３２内で第１光源１１ａと第２光源１２ａとが近接しており、光源群３３内で第１光源２１ａと第２光源２２ａとが近接しており、光源群３４内で第１光源２１ｂと第２光源２２ｂとが近接している。従って、視線検出装置１００では、光源群３１、光源群３２、光源群３３、及び光源群３４それぞれを、１つの光源としてとらえることができる。そして、光源制御部７は、各光源（光源群）の光量を調整する。

光源制御部７の、光源の光量を調整する第１の方法として、各光源に供給される電力量を調整する方法が用いられる。具体的には、各光源となる発光ダイオード９に流す電流の大きさを、各光源群（３１，３２，３３，３４）と撮像対象者９５との間の距離（Ｌ０１Ｌ０２，Ｌ０３，Ｌ０４）に対応させて増減させることで調整を行う。

例えば、撮像対象者９５までの距離（Ｌ０１）が長い光源群３１内の各光源（１１ｂ，１２ｂ）の発光ダイオード９を点灯させる場合、発光ダイオード９に流す電流を大きくし、撮像対象者９５までの距離（Ｌ０４）が短い光源群３４内の各光源（２１ｂ，２２ｂ）の発光ダイオード９を点灯させる場合、発光ダイオード９に流す電流を小さくする。このようにすることで各光源にそれぞれ供給される電力量を調整することができ、各光源の光量を調整することができる。

尚、発光ダイオード９に流す電流の大きさを調整する代わりに、発光ダイオード９に印加する電圧の大きさを調整するようにしても良い。

光源制御部７の、光源の光量を調整する第２の方法として、各光源に設けられている発光ダイオード９の点灯個数を調整する方法が用いられる。具体的には、各光源に複数の発光ダイオード９を配置し、複数の発光ダイオード９のうち、点灯させる発光ダイオード９の個数を増減させることで調整を行う。

例えば、撮像対象者９５までの距離（Ｌ０１）が長い光源群３１内の各光源の場合、発光ダイオード９を例えば４個点灯させ、撮像対象者９５までの距離（Ｌ０４）が短い光源群３４内の各光源の場合、発光ダイオード９を例えば２個点灯させる。このように点灯させる発光ダイオード９の個数を調整することで各光源の光量を調整することができる。

尚、視線検出装置１００では、複数の発光ダイオード９から成る光源群を光源制御部７が制御する対象の光源としてとらえたが、全ての発光ダイオード９に供給される各電力量をそれぞれ調整するようにしたり、全ての発光ダイオード９それぞれにオンオフスイッチを接続し、そのオンオフスイッチを１つ１つオン又はオフさせることによって発光ダイオード９の点灯個数を調整するようにしたりしても良い。

以下、本実施形態としたことによる効果について説明する。

視線検出装置１００は、光源制御部７によって複数の光源１１，２２それぞれの光量が異なるように発光を調整するので、複数の光源１１，２２が撮像対象者９５である車両運転者に対して異なる距離に配置されていたとしても、高精度に視線を検知することが可能となる。

また、各光源１１，２２の光量を各画像輝度データ間のばらつきが小さくなるように調整するので、各画像の照度を各光源１１，２２によらずに一定にすることができる。

また、各光源１１，２２に供給する電力量を調整することによって、光量の調整を容易に行うことができる。

また、複数の発光ダイオード９をオン又はオフさせて発光ダイオード９の点灯個数を調整することによって、光量の調整をより容易に行うことができる。

また、明瞳孔画像と暗瞳孔画像とを用いることによって、視線検知をより正確に行うことができる。

また、カバー板４１が光源１１，２２の検知光ＬＴである赤外光を透過させると共に、可視光線を透過させないので、撮像対象者９５に検知光ＬＴを照射することができると共に、カメラ１３，２３及び光源１１，２２を車両運転者から見えなくすることができる。

また、カメラを複数配置することで撮像対象者９５の画像を同時に取得することが可能であるため、三角測量法によってカメラ１３，２３から車両運転者までの距離を正確に算出することができる。

以上説明したように、本発明の視線検出装置は、光源制御部によって複数の光源それぞれの光量が異なるように発光を調整するので、複数の光源が撮像対象者である車両運転者に対して異なる距離に配置されていたとしても、高精度に視線を検知することが可能となる。

本発明は上記の実施形態に限定されるものではなく、要旨を逸脱しない範囲で種々変更して実施することが可能である。

７ 光源制御部
８ メモリ
９ 発光ダイオード
１０ 第１受像装置
１１ 光源
１１ａ 第１光源
１１ｂ 第１光源
１２ 光源
１２ａ 第２光源
１２ｂ 第２光源
１３ カメラ
２０ 第２受像装置
２１ 光源
２１ａ 第１光源
２１ｂ 第１光源
２２ 光源
２２ａ 第２光源
２２ｂ 第２光源
２３ カメラ
３１ 光源群
３２ 光源群
３３ 光源群
３４ 光源群
４０ ケース
４１ カバー板
５０ 演算制御部
５１ 瞳孔画像抽出部
５１ａ 明瞳孔画像検出部
５１ｂ 暗瞳孔画像検出部
６０ 眼球
９５ 撮像対象者
１００ 視線検出装置
Ｌ０ 距離
Ｏ１ 光軸
Ｏ２ 光軸
ＬＴ 検知光
ＶＬ 視線方向

Claims (7)

1. 撮像対象者の画像を取得するカメラと、前記撮像対象者に検知光を照射する複数の光源と、を有する視線検出装置であって、
   前記カメラと複数の前記光源とが第１の方向に並んで配置されると共に、前記カメラの光軸と前記光源の光軸とが、前記第１の方向及び前記第１の方向と直交する第２の方向それぞれに対して斜めに向けられて配置されており、
   複数の前記光源それぞれの光量が異なるように発光を調整する光源制御部を備えている、
   ことを特徴とする視線検出装置。
2. 前記光源制御部は、前記光源ごとに撮像された前記撮像対象者の複数の画像輝度データを記憶すると共に、前記光源の光量を、複数の前記画像輝度データ間のばらつきが小さくなるように調整する、
   ことを特徴とする請求項１に記載の視線検出装置。
3. 前記光源制御部は、複数の前記光源にそれぞれ供給される電力量を調整する、
   ことを特徴とする請求項１又は請求項２に記載の視線検出装置。
4. 前記光源はそれぞれ複数の発光ダイオードから成り、
   前記光源制御部は、前記発光ダイオードの点灯個数を調整する、
   ことを特徴とする請求項１又は請求項２に記載の視線検出装置。
5. 複数の前記光源は、少なくとも、前記カメラの光軸に近接して配置された明瞳孔撮像用光源と、前記カメラの光軸に離間して配置された暗瞳孔撮像用光源と、からなる、
   ことを特徴とする請求項１乃至請求項４のいずれかに記載の視線検出装置。
6. 前記カメラの光軸の向いた方向前方を前記カメラの撮像方向とすると共に、前記光源の光軸の向いた方向前方を前記光源の発光方向とし、
   前記カメラの撮像方向前方と前記光源の発光方向前方とを共通に覆う、赤外光を透過可能で可視光線を透過させないカバー板が設けられており、
   前記カメラの光軸と前記光源の光軸とが、前記カバー板の板面に対して斜めに向けられている、
   ことを特徴とする請求項１乃至請求項５のいずれかに記載の視線検出装置。
7. 前記カメラが複数配置され、前記撮像対象者の画像を同時に取得する、
   ことを特徴とする請求項１乃至請求項６のいずれかに記載の視線検出装置。
   
   
   
   

Images