JP3785669B2

JP3785669B2 - Gaze direction measuring device

Info

Publication number: JP3785669B2
Application number: JP04761896A
Authority: JP
Inventors: 卓夫石若; 千典農宗
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1996-03-05
Filing date: 1996-03-05
Publication date: 2006-06-14
Anticipated expiration: 2016-03-05
Also published as: JPH09238905A

Description

【０００１】
【発明の属する技術分野】
本発明は、遠隔から視線の方向を計測する装置に関し、特に、計測対象者に応じた補正係数を自動的に算出する視線方向計測装置に関する。
【０００２】
【従来の技術】
視線方向計測装置は、ヒューマン・マシンインタフェイスとして、計測した視線方向を用いて例えば車両運転者の注目している方向に視覚情報を表示させたり、視線方向に応じて特定のスイッチを動作させる等、種々の利用が期待されている。一般にこのような視線方向計測装置で計測される視線方向は、計測対象者の個人差に起因する計測誤差を伴う。このため従来の視線方向計測装置では、計測誤差を補正する動作、所謂キャリブレーション動作を行って補正係数を算出し、この補正係数を考慮して視線方向の計測を行うことにより計測誤差の影響を少なくしている。しかし、キャリブレーション動作は装置の使用者（計測対象者）に煩わしい操作を強要することが多く、使用者に意識させずにキャリブレーション動作を完了することが望まれている。
【０００３】
使用者に意識させずにキャリブレーション動作を完了するようにした従来の技術としては、例えば、特開平7-151958号公報等で開示されたものがある。この従来の装置では、使用者が装置の操作を行う場合に、特定の操作はその操作に応じた表示を見ながら行われると仮定して、特定の操作が行われるときの視線方向を計測し、この計測した視線の方向がその操作に応じた表示の方向と一致するとして補正係数を求めるものである。
【０００４】
【発明が解決しようとする課題】
このような従来の装置では、使用者の眼球は所定の位置に固定されるものとして視線方向が計測される。図20は眼球位置が固定される場合の視線方向を示す。図20に示すように、眼球位置が固定される場合には眼球回転角で一意に視線方向を決めることができる。しかし、例えば、車両に従来の視線方向計測装置を搭載して運転者の視線を検出するような時には、運転者の眼球位置が移動する。図21は自由空間内で眼球位置が移動する場合の視線方向を示す。図21に示すように、眼球位置が移動する場合には眼球回転角のみでは視線方向を一意に決めることができない。従って、眼球位置が移動する状況では、従来の装置を使用して正確な補正係数を求めることが困難であるため視線方法を正確に計測することができないという問題がある。
【０００５】
また、計測される視線が必ずしも特定の操作をする者の視線であるとは限らない場合もしばしば存在する。例えば、上記の例のように車両運転者の視線方向を計測するような場合において、車両内には運転席と助手席とに乗員がいて、助手席の乗員が特定の機器を操作する時、運転者はその特定の機器とは別の対象を注視していたとする。このような場合、従来の装置では、運転者の注視している対象の方向と特定の機器あるいはその機器の表示部分の方向とが一致するものとして補正係数を求めてしまうという問題がある。
【０００６】
更に、従来の装置では、使用者によって特定の操作がなされてはじめてキャリブレーション動作が行われるため、使用者が特定の操作を行うまでの間は誤差が補正されないという問題がある。上記車両運転者の視線を検出する場合には、運転者が特定の機器を操作を殆ど行わないような状況も少なからず存在することを考慮する必要がある。例えば、延々と直線路が連続する道路等では、一度車両の運転を開始すれば運転者はステアリングホイールとアクセルペダルしか操作しないような状況も考えられ、このような状況においても計測誤差の補正が行われ正確な視線方向が計測される必要がある。
【０００７】
本発明は上記問題点に着目してなされたもので、計測対象者によって特定の操作が行われた時に自動的に補正係数を算出して、眼球位置が移動する計測対象者の視線方向を正確に計測できる視線方向計測装置を提供することを目的とする。また、計測対象者によって特定の操作が行われることがなくても計測対象者の注視対象を判断して自動的に補正係数を算出できる視線方向計測装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
このため本発明のうちの請求項１に記載の発明では、図１に示すように計測対象者に応じて計測誤差を補正する補正係数を算出し、該補正係数を用いて前記計測対象者の視線方向を計測する視線方向計測装置において、前記計測対象者の眼球の位置を検出する眼球位置検出手段Ａと、前記眼球の回転角を検出する眼球回転角検出手段Ｂと、前記補正係数を記憶する補正係数記憶手段Ｃと、該補正係数記憶手段Ｃに記憶された補正係数を用い前記眼球位置及び前記眼球回転角に基づいて前記計測対象者の視線方向を算出する視線方向算出手段Ｄと、
予め設定した注視対象に該当する機器の操作が検出されると操作信号を出力する第１の操作検出部Ｅ１と、前記機器の位置を予め記憶する機器位置記憶部Ｅ２と、前記第１の操作検出部Ｅ１から操作信号が出力された時、前記機器位置記憶部Ｅ２に記憶された当該機器の位置を基に算出される機器方向と前記視線方向算出手段Ｄで算出された視線方向とのずれ量を求め、該ずれ量が予め設定した閾値未満の時には前記補正係数記憶手段Ｃに記憶された補正係数の更新を行う判定をする補正係数更新判定部Ｅ３と、該補正係数更新判定部Ｅ３で更新を行う判定がなされると前記ずれ量を補正する新たな補正係数を算出し、前記補正係数記憶手段Ｃに記憶された補正係数の更新を行う第１の補正係数算出部Ｅ４と、を有する補正係数更新手段Ｅと、を備えて構成されたことを特徴とする。
【０００９】
かかる構成によれば、眼球位置検出手段Ａ及び眼球回転角検出手段Ｂで検出された眼球位置及び眼球回転角に基づいて、視線方向算出手段Ｄで計測対象者の視線方向が補正係数を考慮して算出されると共に、補正係数更新手段Ｅにおいて、第１の操作検出部Ｅ１から操作信号が出力された時に、補正係数更新判定部Ｅ３において視線方向と機器方向とのずれ量が閾値未満と判定された場合、即ち、予め設定した注視対象に該当する機器を計測対象者が注視した時に、第１の補正係数算出部Ｅ４で補正係数記憶手段Ｃに記憶された補正係数の更新が行われるようになる。
【００１０】
また、請求項２に記載の発明では、図２および図３に示すように計測対象者に応じて計測誤差を補正する補正係数を算出し、該補正係数を用いて前記計測対象者の視線方向を計測する視線方向計測装置において、前記計測対象者の眼球の位置を検出する眼球位置検出手段Ａと、前記眼球の回転角を検出する眼球回転角検出手段Ｂと、前記補正係数を記憶する補正係数記憶手段Ｃと、該補正係数記憶手段に記憶された補正係数を用い前記眼球位置及び前記眼球回転角に基づいて前記計測対象者の視線方向を算出する視線方向算出手段Ｄと、予め設定した注視対象の位置を記憶する注視対象位置記憶部Ｅ５と、前記注視対象に関連して予め設定した機器の操作が検出されると操作信号を出力する第２の操作検出部Ｅ８と、該第２の操作検出部Ｅ８からの操作信号に応じて、所定の計測回数間に前記視線方向算出手段Ｄで算出された複数の視線方向の分布状態及び変化状態に基づいて注視位置を推定する注視位置推定部Ｅ６と、該注視位置推定部Ｅ６で推定された注視位置と前記注視対象位置記憶部Ｅ５に記憶された前記注視対象の位置との差異に応じて新たな補正係数を算出し、前記補正係数記憶手段Ｃに記憶された補正係数の更新を行う第２の補正係数算出部Ｅ７と、を備えて構成されたことを特徴とする。
【００１１】
かかる構成によれば、眼球位置検出手段Ａ及び眼球回転角検出手段Ｂで検出された眼球位置及び眼球回転角に基づいて、視線方向算出手段Ｄで計測対象者の視線方向が補正係数を考慮して算出されると共に、補正係数更新手段Ｅにおいて、第２の操作検出部Ｅ８からの操作信号に応じ、注視位置推定部Ｅ６で複数の視線方向の分布状態及び変化状態に基づいて注視位置が推定され、該注視位置と注視対象位置記憶部Ｅ５に記憶された注視対象の位置との差異に応じて第２の補正係数算出部Ｅ７で補正係数記憶手段Ｃに記憶された補正係数の更新が行われるようになる。
【００１６】
【発明の効果】
このように、本発明のうちの請求項１に記載の発明は、補正係数を更新する際に、補正係数更新手段において、計測対象者が予め設定した機器を操作した時の視線方向及びその機器方向から、計測対象者が注視対象（機器）を注視したことを計測対象者に意識されることなく自動的に判断することによって、正確に且つ確実に補正係数の更新を行うことができるため、誤差の少ない正確な視線計測が可能となる。また、眼球位置検出手段で眼球位置を計測することによって、計測対象者の眼球位置が移動しても視線方向を一意に決めることができる。
【００１７】
また、請求項２に記載の発明は、補正係数を更新する際に、補正係数更新手段において、注視対象に関連する機器の操作情報に応じて注視位置推定部が視線方向算出手段で算出された視線方向の分布状態及び変化状態に基づいて注視位置を推定することによって、正確に且つ確実に補正係数の更新を行うことができるため、眼球位置の移動する計測対象者の視線方向を少ない誤差で正確に計測することができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
本発明の第１の実施形態では、車両に視線方向計測装置を搭載し、特定の機器が運転者によって操作されると補正係数を自動的に算出し、その補正係数を用いて計測された運転者の視線方向を基に、例えば、オーディオ、エアコン、ラジオ及びＡＳＣＤの視線によるオン・オフの切り替えを行う場合について説明する。
【００２０】
図４は、第１の実施形態の視線方向計測装置の構成を示す図である。
図４において、本装置は、計測対象者としての運転者の眼球部に光を照射し、該眼球部を撮影した画像を記憶する眼球撮影部10と、後述する特定の機器が操作されると操作信号を出力する第１の操作検出部Ｅ１としての操作検出部20と、オーディオ、エアコン、ラジオ及びＡＳＣＤの動作を制御するコントローラ部30と、オーディオ、エアコン、ラジオ及びＡＳＣＤの動作状態を表示する表示部40と、眼球撮影部10で得た画像及び操作信号検出部20の出力信号を基に運転者の視線方向を演算してコントローラ部30及び表示部40に制御信号を出力するマイクロコンピュータ50と、マイクロコンピュータ50の演算結果及び前記特定の機器の位置等を記憶するメモリ部70とで構成される。
【００２１】
眼球撮影部10は、運転者の面前で眼球部に向けて設けられた２つの発散照明11,12 と、運転者の眼球部を撮影する２つのカメラ13,14 と、カメラ13,14 で撮影された画像を A/D変換する A/D変換器15と、A/D 変換器15で変換された画像を記憶する画像メモリ16と、発散照明11,12 及び A/D変換器15を制御する照明発光制御部17とで構成される。発散照明11,12 は、例えば、人間には不可視の赤外光を発光し、運転席付近のレイアウトの一例を示す図５の（ａ）に示すように、相対的に異なる所定の位置、例えばステアリングホイールの両側方等にそれぞれ設置され、照明発光制御部17に接続される。カメラ13,14 は、例えば、撮像素子にＣＣＤを備え、図５の（ａ）に示すように、カメラ13と発散照明11とが共軸系に配置され、同様にカメラ14と発散照明12とが共軸系に配置される。照明発光制御部17は、発散照明11,12 を交互に点灯させる制御信号を発散照明11,12 に出力すると共に、発散照明11が点灯したときにカメラ13から画像を取り込み、発散照明12が点灯したときにカメラ14から画像を取り込むように A/D変換器15を制御する信号を出力する。画像メモリ16は、 A/D変換器15で A/D変換されたカメラ13,14 からの各画像を記憶する。
【００２２】
操作検出部20は、乗員によって機器操作が行われるとキャリブレーション動作を開始する特定の機器として、例えば、右サイドミラー、左サイドミラー及びナビゲーション装置を設定した場合において、右サイドミラー操作検出部21と、左サイドミラー操作検出部22と、ナビゲーション装置操作検出部23とで構成される。これらの機器に設定する理由は、左右サイドミラーでは、運転者が交代した場合に殆どの運転者が位置確認を行うので、この機会を捉えキャリブレーション動作を行えば走行開始前には正確な補正係数が算出できるためである。また、ナビゲーション装置では、走行開始後であっても操作が行われることがあり、この機会を捉えて補正係数を算出し更新を行えるようにするためである。右サイドミラー操作検出部21及び左サイドミラー操作検出部22は、各々のサイドミラーの角度を調節するスイッチが操作された時に操作信号をマイクロコンピュータ50に出力する。ナビゲーション装置操作検出部23は、ナビゲーション装置が操作された時に操作信号をマイクロコンピュータ50に出力する。
【００２３】
コントローラ部30は、オーディオコントローラ31と、エアコンコントローラ32と、ラジオコントローラ33と、ＡＳＣＤコントローラ34と、各コントローラ31〜34のオン・オフを切り替えるコントローラ切り替え部35とで構成される。コントローラ切り替え部35は、後述するように運転者の視線に応じてマイクロコンピュータ50から出力される制御信号を入力し、入力した制御信号に対応するコントローラのオン・オフを切り替える信号を出力する。
【００２４】
表示部40は、ヘッドアップディスプレイ（以下、ＨＵＤとする）41と、ＨＵＤ41の表示を制御する表示制御部42とで構成される。ＨＵＤ41は、上記図５の（ａ）に示すように運転席付近に設けられ、図５の（ｂ）に示すように、オーディオ、エアコン、ラジオ及びＡＳＣＤそれぞれのオン・オフを視線によってスイッチするための視線スイッチエリアＡｓを表示し、各々の機器がスイッチされると表示が短時間反転される。表示制御部42は、マイクロコンピュータ50より出力される制御信号を入力し、入力した信号に対応するＨＵＤ41の表示を切り替える信号を出力する。
【００２５】
マイクロコンピュータ50は、眼球撮影部10で撮影し記憶した画像に基づいて運転者の眼球位置を演算する機能と、運転者の眼球回転角を演算する機能と、操作検出部20の出力に応じて後述する補正係数の更新を行うか否を判定する機能と、補正係数を算出する機能と、眼球位置及び眼球回転角を用い補正係数を考慮して運転者の視線方向を算出し注視対象を判定する機能と、運転者の視線の停留時間を判断しコントローラ部30及び表示部40を制御する信号を生成する機能とを有する。
【００２６】
ここで、マイクロコンピュータ50の各機能について図６に示す機能ブロック図を参照しながら詳細に説明する。
図６において、角膜反射像抽出部51は、眼球撮影部10の画像メモリ16に接続され、カメラ13で撮影し画像メモリ16に記憶された画像Ｇ１及びカメラ14で撮影し画像メモリ16に記憶された画像Ｇ２をそれぞれ読み込み、画像処理して各画像中の角膜反射像を抽出する。角膜反射像とは、眼球への照射光が眼球を構成する角膜等の光学系の各面で反射、屈折することによって生じる像であり、プルキンエ像とも呼ばれるものである。ここでは、画像Ｇ１より抽出された発散照明11の角膜反射像の画像中の座標Ｐ１を（Ｐ１ｘ, Ｐ１ｙ）とし、また、画像Ｇ２より抽出された発散照明12の角膜反射像の画像中の座標Ｐ２を（Ｐ２ｘ，Ｐ２ｙ）とする。
【００２７】
角膜反射直線算出部52は、角膜反射像抽出部51により抽出された角膜反射像の各座標Ｐ１, Ｐ２を用いて、角膜反射像とその角膜反射像に対応するカメラ焦点とを結ぶ直線をそれぞれ求める。この直線は、角膜反射像の画像中の座標Ｐ１, Ｐ２が算出されるとその角膜反射像を撮影したカメラのＣＣＤ及びカメラレンズ焦点の位置関係から一意に算出できる。角膜反射像の座標Ｐ１とカメラ13の焦点とを結ぶ直線をＬ１とし、また、角膜反射像の座標Ｐ２とカメラ14の焦点とを結ぶ直線をＬ２とする。
【００２８】
眼球中心算出部53は、角膜反射直線算出部52で求められた直線Ｌ１，Ｌ２の交点を算出することにより、眼球中心（正確には角膜球中心）Ｏの位置を算出する。ここでは、発散照明11とカメラ13とが共軸系に配置されているため直線Ｌ１は必ず眼球中心Ｏを通過し、また、発散照明12とカメラ14とが共軸系に配置されているため直線Ｌ２も必ず眼球中心Ｏを通過するので、直線Ｌ１，Ｌ２の交点が眼球中心Ｏとなる。算出した眼球中心Ｏの３次元空間における座標を（Ｏｘ，Ｏｙ，Ｏｚ）とする。
【００２９】
このようにして、角膜反射像抽出部51、角膜反射直線算出部52及び眼球中心算出部53が眼球位置演算手段Ａとして機能する。
瞳孔中心算出部54は、画像メモリ16に記憶された画像Ｇ１を画像処理して瞳孔部分を抽出し、瞳孔部分の中心（重心）の画像中の座標を求める。画像Ｇ１から求めた画像中の瞳孔中心座標をＱ１（Ｑｘ，Ｑｙ）とする。
【００３０】
眼球回転角算出部55は、角膜反射像抽出部51で求めた角膜反射像の座標Ｐ１（Ｐ１ｘ，Ｐ１ｙ）と瞳孔中心算出部54で求めた瞳孔中心座標Ｑ１（Ｑｘ，Ｑｙ）とから、カメラ13の撮影方向（発散照明11とカメラ13との共軸方向）に対する眼球の回転角θ’を算出する。この眼球回転角の算出方法の詳細は、例えば、上述の特開平7-151958号公報等で公知であり、ここではその概略のみを説明する。
【００３１】
一般に眼球の回転角θ’は、角膜球中心から瞳孔中心までの標準的な距離をＬocとし、距離Ｌocに対する個人差を考慮する補正係数をＡ１とし、カメラのレンズ系に対する角膜球中心の位置関係により決まる補正係数（倍率）をβとすると、次の（１）式の関係を満たす。
β×Ａ１×Ｌoc× sinθ' ＝Ｑ１−Ｐ１（１）
従って、眼球の回転角θ’は、次の（２）式により求められる。
【００３２】
θ’＝ARCSIN｛（Ｑ１−Ｐ１）／（β×Ａ１×Ｌoc）｝（２）
本実施形態の眼球回転角算出部55では、画像Ｇ１内の水平方向（ｘ軸方向）に対する回転角θｘ’及び垂直方向（ｙ軸方向）に対する回転角θｙ’が算出される。尚、補正係数Ａ１は、後述するようにメモリ部70の補正係数記憶部72に記憶された値が用いられる。
【００３３】
このようにして、瞳孔中心算出部54及び眼球回転角算出部55が眼球回転角検出手段Ｂとして機能する。尚、ここでは画像Ｇ１から瞳孔中心を求め眼球回転角を算出する構成としたが、勿論、画像Ｇ２から眼球回転角を算出しても良く、あるいは、画像Ｇ１，Ｇ２よりそれぞれ瞳孔中心、眼球回転角を求め平均化しても良い。
【００３４】
視線方向算出部56は、眼球回転角算出部55で求めた眼球回転角θ’と眼球中心算出部53で求めた眼球中心Ｏとから視線方向ｅを算出する。ここでは、視線方向ｅを直線の方程式として表すものとする。
ただし、前述の特開平7-151958号公報等にも記載されているように、多くの場合、眼球の視軸（視線方向ｅ）と光軸（眼球の回転角θ’方向）は一致しないため、光軸が算出されると光軸と視軸との角度補正をすることにより視軸が求められる。ここでは、光軸の角度補正係数をδとし、角度補正係数δに対する個人差を考慮する補正係数をＢ１とすると、視軸の回転角θは次の（３）式となる。
【００３５】
θ＝θ’±（Ｂ１×δ）（３）
ここで符号±は、運転者に関して右への回転角を正とすると、カメラ13の撮影する運転者の目が左目の場合は＋、右目の場合は−の符号が選択される。実際に視線方向算出部56では、水平方向の補正係数をＢ１ｘ、垂直方向の補正係数をＢ１ｙとして、画像Ｇ１内の水平方向（ｘ軸方向）に対する視軸の回転角θｘ、及び垂直方向（ｙ軸方向）に対する視軸の回転角θｙが算出される。尚、補正係数Ｂ１ｘ，Ｂ１ｙはメモリ部70の補正係数記憶部72に記憶された値が用いられる。
【００３６】
そして、算出された視軸の回転角θｘ，θｙを用いて極座標系で表される視線方向ｅを直交座標系に変換することにより、視線方向ｅの方向ベクトル（Ｅｘ，Ｅｙ，Ｅｚ）を算出すると、視線方向ｅは、眼球中心Ｏを始点とし方向ベクトル（Ｅｘ，Ｅｙ，Ｅｚ）を用いて次の（４）式で表される直線Ｌ３となる。
（Ｘ−Ｏｘ)/Ｅｘ＝（Ｙ−Ｏｙ)/Ｅｙ＝（Ｚ−Ｏｚ)/Ｅｚ（４）
注視対象判定部57は、後述するメモリ部70の機器位置記憶部71に予め記憶された車両内の特徴的な箇所の座標、具体的には、ＨＵＤ41の各視線スイッチエリアＡｓの中心位置の座標を基に、視線方向算出部56で求めた視線方向ｅを用いて運転者の注視対象を判定する。この注視対象の判定は、視線方向ｅに最も近い視線スイッチエリアＡｓの中心位置方向について、機器位置記憶部71に記憶された前記視線スイッチエリアＡｓの中心位置の座標と眼球中心Ｏとを通る直線Ｌ４の方程式を求め、この直線Ｌ４と視線方向算出部56で求めた直線Ｌ３との交差角φ１を求める。そして、交差角φ１が予め設定した閾値Ｔｈ１未満の時には、運転者が前記視線スイッチエリアＡｓを見ていると判定し、交差角φ１が閾値Ｔｈ１以上の時には、運転者が他の箇所を見ていると判断する。直線Ｌ３と直線Ｌ４との交差角φ１の算出は、例えば、直線Ｌ３の方向ベクトルと直線Ｌ４の方向ベクトルとの内積をとるこによって求められる。
【００３７】
このように、視線方向算出部56及び注視対象判定部57が視線方向算出手段Ｄとして機能する。
検出誤差算出部58は、操作検出部20から操作信号が送出された場合に、その操作信号に対応する機器についてメモリ部70の機器位置記憶部71に予め記憶させた位置情報を読み込み、操作信号が送出された時点での眼球中心Ｏと操作信号に対応する機器とを通る直線Ｌ５の方程式を算出する。例えば、右サイドミラーの調整操作が行われ右サイドミラー操作検出部21よりマイクロコンピュータ50に操作信号が送出されると、機器位置記憶部71に記憶された右サイドミラーの中心位置を読み込んで、眼球中心Ｏと右サイドミラーの中心位置とを通る直線Ｌ５の方程式を求める。そして、その操作信号が送出された時に視線方向算出部56で求められた視線方向ｅを表す直線Ｌ３と直線Ｌ５との交差角φ２を算出する。尚、左サイドミラー操作検出部22あるいはナビゲーション装置操作検出部23から操作信号が送出される場合も、右サイドミラー操作検出部22から操作信号が送出される場合と同様の演算処理が行われる。ただし、ナビゲーション装置の場合、操作スイッチの中心位置が機器位置記憶部71より読み込まれる。
【００３８】
更新判定部59は、検出誤差算出部58で求めた交差角φ２と予め設定した閾値Ｔｈ２とを比較する。交差角φ２が閾値Ｔｈ２未満の場合には、後述する新たな補正係数を算出し補正係数の更新を行う判定をし、交差角φ２が閾値Ｔｈ２以上の場合には、補正係数の更新を行わない判定をする。
ここで、閾値Ｔｈ２の設定について説明する。
【００３９】
補正係数の更新を判定する際、操作検出部20から出力された操作信号だけではその操作が運転者によるものか、あるいはその他の乗員によるものかの区別がつかない。運転者に応じた補正係数を求めるためには、運転者による操作のみに限定する必要がある。運転者によって操作が行われる時、運転者の視線は操作する機器の方向を向き、他の乗員によって操作が行われる時、運転者の視線は該当する機器の方向とは異なる方向を向くものと考えられる。そこで、操作信号の出力された時点での視線方向算出部56で算出された運転者の視線方向ｅが操作された機器の方向に略一致する、即ち、交差角φ２が十分に小さい時に、運転者によって操作が行われたものと判断する。
【００４０】
ただし、視線方向算出部56で求められた視線方向ｅは、操作検出部20から操作信号が出力される以前の補正係数（装置始動時には補正係数の初期設定値）を考慮して算出したものであるため誤差を含む可能性がある。一般に、補正係数が正確でない場合の視線方向ｅの計測誤差は数度程度と考えられる。そこで、例えば、補正係数の初期設定値には大多数の乗員から求めた補正係数の平均値を使用する等して、運転者の視線方向ｅを求めれば、その視線方向ｅは数度程度の誤差精度で算出されることになる。従って、例えば、閾値Ｔｈ２を10°程度に設定し、交差角φ２と閾値Ｔｈ２とを比較することによって、運転者が機器操作を行ったか否かを十分に判定することが可能となる。
【００４１】
このようにして、検出誤差算出部58及び更新判定部59が補正係数更新判定部Ｅ３として機能する。
第１の補正係数算出部Ｅ４としての補正係数算出部60は、更新判定部59で補正係数の更新が判定された場合に新たな補正係数を算出する。この補正係数は、例えば、右サイドミラー操作検出部21より操作信号が送出され、検出誤差算出部58で求めた交差角φ２が更新判定部59で閾値Ｔｈ２未満と判定された時には、運転者は右サイドミラーの中心を見ているものとして、運転者の視線方向ｅ（直線Ｌ３）を直線Ｌ５に一致させる新たな補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙを算出する。尚、左サイドミラーあるいはナビゲーション装置についても右サイドミラーと同様にして補正係数を算出する。
【００４２】
停留判断部61は、運転者の視線が１つの視線スイッチエリアＡｓに停留している時間を計測し、計測した停留時間が所定の時間Ｔｈ３を越えるとコントローラ部30及び表示部40を制御する信号を生成する。
前述のメモリ部70は、機器位置記憶部Ｅ２としての機器位置記憶部71に、右サイドミラー及び左サイドミラーの中心位置、ナビゲーション装置のスイッチ位置、ＨＵＤ41の各視線スイッチエリアＡｓの中心位置等が予め記憶されると共に、補正係数記憶手段Ｃとしての補正係数記憶部72にマイクロコンピュータ50で算出された補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙが記憶される。
【００４３】
次に、第１の実施形態の動作について、例えば、運転者が視線スイッチエリアＡｓのエアコンに対応する部分を注視してエアコンのオン・オフを切り替える場合の視線スイッチ動作及び補正係数の更新動作を図７及び図８に示すフローチャートに基づいて説明する。
まず、視線スイッチ動作について説明する。
【００４４】
図７において、運転者がエアコンの操作をしたいと考え、ＨＵＤ41の各視線スイッチエリアＡｓのうちのエアコン領域（図５の（ｂ）中のＡ／Ｃ領域）を注視した状態で、視線方向の計測が開始されると、
ステップ101 （図中、Ｓ101 で示し、以下同様とする）では、マイクロコンピュータ50の停留判断部61で計測されるタイムカウンタｔの値が初期化される。タイムカウンタｔは運転者の視線が注視対象に停留している時間を計測するカウンタである。
【００４５】
ステップ102 では、照明発光制御部17からの信号により発散照明11が点灯される。
ステップ103 では、カメラ13で撮影された運転者の眼球の画像Ｇ１が、 A/D変換器15を介して画像メモリ16に記憶される。
ステップ104 では、照明発光制御部17からの信号により発散照明11が消灯される。
【００４６】
ステップ105 では、マイクロコンピュータ50の角膜反射像抽出部51において、画像メモリ16に記憶された画像Ｇ１が読み込まれ角膜反射像の座標Ｐ１が抽出される。この座標Ｐ１は画像上の２次元の座標である。
ステップ106 では、ステップ105 で角膜反射像の座標Ｐ１が抽出されたか否かが判別される。座標Ｐ１が抽出されない場合には、ステップ101 に戻り、座標Ｐ１が抽出された場合には、ステップ107 に進む。
【００４７】
ステップ107 では、角膜反射直線算出部52において、直線Ｌ１が算出される。
ステップ108 では、照明発光制御部17からの信号により発散照明12が点灯される。
ステップ109 では、カメラ14で撮影された運転者の眼球の画像Ｇ２が、 A/D変換器15を介して画像メモリ16に記憶される。
【００４８】
ステップ110 では、照明発光制御部17からの信号により発散照明12が消灯される。
ステップ111 では、角膜反射像抽出部51において、画像メモリ16に記憶された画像Ｇ２が読み込まれ角膜反射像の座標Ｐ２が抽出される。この座標Ｐ２は画像上の２次元の座標である。
【００４９】
ステップ112 では、ステップ111 で角膜反射像の座標Ｐ２が抽出されたか否かが判別される。座標Ｐ２が抽出されない場合には、ステップ101 に戻り、座標Ｐ２が抽出された場合には、ステップ113 に進む。
ステップ113 では、角膜反射直線算出部52において、直線Ｌ２が算出される。
ステップ114 では、眼球中心算出部53において、直線Ｌ１，Ｌ２の交点、即ち、眼球中心Ｏの座標が算出される。眼球中心Ｏは、３次元空間中の座標である。
【００５０】
ステップ115 では、瞳孔中心算出部54において、画像Ｇ１より瞳孔中心の座標Ｑ１が算出される。この座標Ｑ１は画像上の２次元の座標である。
ステップ116 では、眼球回転角算出部55において、ステップ105 で求めた角膜反射像の座標Ｐ１とステップ115 で求めた瞳孔中心の座標Ｑ１とから、メモリ部70の補正係数記憶部72に記憶された補正係数Ａ１を考慮して眼球回転角θｘ’，θｙ’が算出される。
【００５１】
ステップ117 では、視線方向算出部56において、ステップ116 で求めた眼球回転角θｘ’，θｙ’とステップ114 で求めた眼球中心Ｏとから、補正係数記憶部72に記憶された補正係数Ｂ１ｘ，Ｂ１ｙを考慮して視軸の回転角θｘ、θｙが算出される。
ステップ118 では、ステップ117 で求めた視軸の回転角θｘ、θｙより視線方向ｅを表す直線Ｌ３の方程式が算出される。
【００５２】
ステップ119 では、マイクロコンピュータ50において右サイドミラー操作検出部21からの操作信号の有無が調べられる。操作信号がマイクロコンピュータ50に送信されている場合には、図８に示すステップ128 に進み、後述する補正係数の更新判断処理が行われる。操作信号が送信されていない場合には、ステップ120 に進む。
【００５３】
ステップ120 では、左サイドミラー操作検出部22からの操作信号の有無が調べられる。操作信号がマイクロコンピュータ50に送信されている場合には、図８に示すステップ129 に進み、補正係数の更新判断処理が行われる。操作信号が送信されていない場合には、ステップ121 に進む。
ステップ121 では、ナビゲーション装置操作検出部23からの操作信号の有無が調べられる。操作信号がマイクロコンピュータ50に送信されている場合には、図８に示すステップ130 に進み、補正係数の更新判断処理が行われる。操作信号が送信されていない場合には、ステップ122 に進む。
【００５４】
ステップ122 では、注視対象判定部57において、視線方向ｅに最も近い視線スイッチエリアＡｓ（ここではエアコン領域）の中心位置と眼球中心Ｏとを通る直線Ｌ４の方程式が算出される。
ステップ123 では、ステップ118 で求めた直線Ｌ３とステップ122 で求めた直線Ｌ４との交差角φ１が算出される。
【００５５】
ステップ124 では、ステップ123 で求めた交差角φ１と閾値Ｔｈ１との比較が行われる。交差角φ１が閾値Ｔｈ１未満の時は、ステップ125 へ進み、交差角φ１が閾値Ｔｈ１以上の時は、ステップ101 に戻り新規に処理を開始する。
ステップ125 では、ステップ124 で運転者の注視状態、ここでは運転者が視線スイッチエリアＡｓのエアコン領域を注視している状態が判断されると、停留判断部61でタイムカウンタｔの値がインクリメントされる。
【００５６】
ステップ126 では、タイムカウンタｔの値と所定の時間Ｔｈ３との比較が行われる。タイムカウンタｔの値が時間Ｔｈ３未満の時は、ステップ102 に戻り停留時間の計測を継続する。タイムカウンタｔの値が時間Ｔｈ３以上の時は、ステップ127 に進む。
ステップ127 では、ステップ126 で運転者の視線が視線スイッチエリアＡｓのエアコン領域に所定の時間Ｔｈ３以上停留していることが判断されると、マイクロコンピュータ50より、エアコンコントローラ32を選択しエアコンスイッチのオン・オフを切り替える制御信号がコントローラ切り替え部35に出力されると共に、ＨＵＤ41のエアコン領域の表示を短時間反転させる制御信号が表示制御部42に出力される。
【００５７】
このようにして視線によるエアコンのスイッチの切り替えが行われ、上述の動作を繰り返すことによって、それぞれの装置の視線によるスイッチの切り替え操作が行われる。
次に、補正係数の更新動作について説明する。
図８において、ステップ128 では、ステップ119 で右サイドミラー操作検出部21からの操作信号の出力が確認されると、マイクロコンピュータ50は、メモリ部70の機器位置記憶部71に記憶された右サイドミラーの中心位置の座標を読み込み、ステップ131 に進む。
【００５８】
ステップ129 では、ステップ120 で左サイドミラー操作検出部22からの操作信号の出力が確認されると、マイクロコンピュータ50は、機器位置記憶部71に記憶された左サイドミラーの中心位置の座標を読み込み、ステップ131 に進む。
ステップ130 では、ステップ121 でナビゲーション装置操作検出部23からの操作信号の出力が確認されると、マイクロコンピュータ50は、機器位置記憶部71に記憶されたナビゲーション装置のスイッチの中心位置の座標を読み込み、ステップ131 に進む。
【００５９】
ステップ131 では、検出誤差算出部58において、ステップ128 〜ステップ130 のいずれか１つのステップで読み込んだ座標とステップ114 で算出した眼球中心Ｏとを通る直線Ｌ５が算出される。
ステップ132 では、ステップ118 で求めた直線Ｌ３とステップ131 で求めた直線Ｌ５との交差角φ２が算出される。
【００６０】
ステップ133 では、更新判定部59において、ステップ132 で求めた交差角φ２と閾値Ｔｈ２との比較が行われる。交差角φ２が閾値Ｔｈ２未満の時は、ステップ134 に進み補正係数の更新処理が行われ、交差角φ２が閾値Ｔｈ２以上の時は、ステップ101 に戻り新規に処理が開始される。
ステップ134 では、補正係数算出部60において、新たな補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙが算出される。
【００６１】
ステップ135 では、補正係数記憶部72に記憶された補正係数がステップ134 で算出した新たな補正係数に更新され、ステップ101 に戻る。
このように、ステップ119 〜ステップ121 で操作信号が確認されると、ステップ128 〜ステップ135 によって補正係数の更新動作が行われる。
上述のように、第１の実施形態によれば、キャリブレーション動作を行い補正係数を更新する際に、それぞれの機器の操作信号と、操作された機器の位置に関する情報と、計測された運転者の視線情報とから補正係数の更新を行うか否かを判定し、運転者の視線方向ｅが操作された機器の方向と略一致する時のみ補正係数を更新することによって、正確に且つ確実に補正係数の更新を行うことが可能となる。また、一連のキャリブレーション動作は、運転者が意識しなくても自動的に行われるため、誤差の少ない正確な視線計測が可能となる。更に、眼球位置を計測することによって、運転者の眼球位置が移動しても視線方向を一意に決めることができる。
【００６２】
尚、第１の実施形態では、機器操作が行われるとキャリブレーション動作を開始する機器を、右サイドミラー、左サイドミラー及びナビゲーション装置に設定したが、本発明はこれに限らず種々の機器に設定することができ、各機器の操作を行っている時の視線と操作する位置とを対応させることで第１の実施形態と同様の処理を行うことができる。例えば、ルームミラー、カーステレオ、ラジオ、エアコンやグローブボックス等に設定することができる。また、例えば、シフトレバー、ライト、ワイパースイッチ、ウインカスイッチ等に設定した場合には、それぞれの操作を運転者がレバーやスイッチを見ながら行なった時に補正係数の更新を行うようにすれば良い。更に、例えば、予めアイコンを表示し運転者にタッチさせるタッチパネル式の表示装置や、ＣＲＴ上にカーソルを表示して運転者にカーソルの移動等を行わせる表示装置に設定して、運転者が操作時にアイコンやカーソルの位置を注視している機会を捉えて補正係数を算出することも可能である。加えて、乗車時には運転者はマスターキーを車両に挿入するが、この動作は鍵穴を見ながら行われることが多く、この機会を捉えて補正係数を算出することもできる。この場合には、例えば、車両に運転者が乗り込んだ時点、あるいは運転席ドアを開閉した後の一定時間、視線方向計測装置の動作させれば走行開始前には補正係数が算出されていることになる。
【００６３】
次に、本発明の第２の実施形態について説明する。
第２の実施形態では、補正係数の更新動作を運転者の視線方向の分布状態に基づいて行う場合について説明する。
図９は、第２の実施形態の視線方向計測装置の構成を示す図である。ただし、第１の実施形態の構成と同一の部分には同一符号を付して説明を省略する。
【００６４】
図９において、第２の実施形態の構成が第１の実施形態の構成と異なる部分は、第１の実施形態におけるマイクロコンピュータ50への操作検出部20からの入力がなくなり、マイクロコンピュータ50及びメモリ部70に代えてマイクロコンピュータ50’及びメモリ部70’を用いた点である。その他の構成は第１の実施形態の構成と同一である。
【００６５】
まず、マイクロコンピュータ50’の機能を、図10に示す機能ブロック図に基づいて説明する。ただし、第１の実施形態のマイクロコンピュータ50の機能と同一の機能ブロックには同一符号を付して説明を省略する。図10において、マイクロコンピュータ50と異なる機能ブロックは、注視位置推定部Ｅ６としての注視位置推定部57’及び第２の補正係数算出部Ｅ７としての補正係数算出部60’である。
【００６６】
注視位置推定部57’は、第１の実施形態と同様の視線方向算出部56で複数の計測周期に渡って算出された運転者の視線方向ｅを表す複数の直線Ｌ３（それぞれの直線をＬ31，Ｌ32,...,Ｌ3nとする）を基に、運転者の視線方向ｅの分布を求め、その分布状態を考慮して運転者が注視している後述する特徴点位置の推定を行うと共に、前記分布の中心を求める。
【００６７】
ここで、視線方向の分布の求め方の一例を図11を用いて説明する。
図11において、視線方向の分布を求めるにあたり、運転者より１ｍ程度前方の位置に仮想面Ｖを設ける。そして、必ずしも仮想面Ｖ上にはない注視点80を眼球位置が移動する運転者が注視する場合（図11では、少しづづ位置の異なる運転者の眼球81,82,83が示してある) を考えると、運転者の視線方向ｅを表す直線は、眼球81について直線Ｌ31、眼球82について直線Ｌ32、眼球83について直線Ｌ33というように眼球の位置に応じて無数に存在する。従って、これら直線Ｌ31，Ｌ32，Ｌ33と仮想面Ｖとの交点を求め、その交点の分布範囲を注視点80を注視する時の視線分布領域Ｓとする。
【００６８】
図12は、図11の視線分布領域Ｓを車両内で考えた場合を示す。運転者の視線方向ｅが正確に検出されていれば、車両走行中の視線分布領域は、例えば、前方注視分布91、左サイドミラー注視分布92、右サイドミラー注視分布93、ルームミラー注視分布94を始め、図示されていないがオーディオ機器やメータパネル等となり、運転中に情報を取得するための幾つかの特徴的な注視対象（特徴点）を見るため、視線にも特徴的な分布が発生する。またこの時、例えば、自動車技術,Vol.39,No.5,1985,PP.503等に記載されている様に、運転者は運転中の多くで前方を注視しており、計器類に視線を向ける場合でも、前方から計器類に視線をやり視認が完了するとまた視線が前方に戻ることが多い。これは視線の移動、即ち視線のリンク分析を行うと、前方注視分布91と左サイドミラー注視分布92との移動、前方注視分布91と右サイドミラー注視分布93との移動及び前方注視分布91とルームミラー注視分布94との移動が比較的多く発生することを意味する。即ち、仮想面Ｖ上の視線方向の分布と変化を分析すれば、左サイドミラー注視分布92は左サイドミラーを注視した場合の分布であり、右サイドミラー注視分布93は右サイドミラーを注視した場合の分布であり、ルームミラー注視分布94はルームミラーを注視した場合の分布であことが推定できる。また、統計的にそれぞれの特徴点は視線分布領域の中心に存在すると推定できる。
【００６９】
実際に注視位置推定部57’で上記の処理を行う場合には、視線分布領域Ｓを構成する点、即ち、直線Ｌ31と仮想面Ｖとの交点と、その時の眼球81の位置や、直線Ｌ32と仮想面Ｖとの交点と、その時の眼球82の位置を記憶しておけば視線方向分布とリンクを分析することが可能となる。このようにして注視位置推定部57’では、注視点位置が推定され、後述するメモリ部70’の注視対象位置記憶部71’に記憶された特徴点の位置情報から、眼球中心算出部53で求められた眼球中心Ｏとその特徴点を通る直線Ｌ５を表す方程式が算出され、視線方向算出部56で求めた直線Ｌ３と直線Ｌ５との交差角φ２が算出される。
【００７０】
補正係数算出部60’は、注視位置推定部57’で推定した注視対象位置（視線分布領域の中心）と注視対象位置記憶部71’に記憶された特徴点の位置情報を用いて補正係数を算出する。補正係数が正確でない場合、視線の分布は例えば図13のようになる。しかし、前述のように注視位置推定部57’で視線方向分布とリンクを分析すれば、図13の、例えば左サイドミラー注視分布92' の位置は、本来図12の左サイドミラー注視分布92の位置に存在することが推測できる。従って、補正係数算出部60’では、左サイドミラー注視分布92' の位置を左サイドミラー注視分布92の位置に合わせるように補正係数が算出される。
【００７１】
また、前述のメモリ部70’は、注視対象位置記憶部Ｅ５としての注視対象位置記憶部71’に左右サイドミラーやルームミラーの中心位置等、特徴点の位置が予め記憶されると共に、補正係数記憶手段Ｃとしての補正係数記憶部72’にマイクロコンピュータ50で算出された補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙ等の演算結果が記憶される。
【００７２】
次に、第２の実施形態の動作を図14に示すフローチャートに基づいて説明する。ただし、第１の実施形態の動作を示すフローチャートと同じ部分には同一符号を付して説明を省略する。
図14において、視線方向の計測が開始されると、ステップ201 で計測回数ｎが初期化される。計測回数ｎは補正係数の算出を行うか否かを判定するためのデータ数をカウントするパラメータである。また、視線方向の分布状態に関する情報を記録するメモリ部70' に設定されたテーブル（ＴＢＬ）がクリアされる。
【００７３】
ステップ202 では、計測回数ｎがインクリメントされる。
そして、第１の実施形態と同様のステップ101 〜ステップ117 までの動作が行われ、眼球中心Ｏ、視軸回転角θｘ，θｙ等が算出される。
ステップ203 では、ｎ回目の計測回数のときの運転者の視線方向ｅを表す直線Ｌ3nが算出される。
【００７４】
ステップ204 では、ステップ203 で求めた直線Ｌ3nと仮想面Ｖとの交点を算出し、算出した交点の位置と共にその時の眼球中心Ｏの位置がメモリ部70' のテーブルに記憶される。
ステップ205 では、計測回数ｎが、予め設定した計測回数、ここでは例えば２万回を越えたか否かが判別される。計測回数ｎが２万回を越えると、補正係数を求める処理を行うため、図15のフローチャートに示すステップ206 に進む。計測回数ｎが２万回以下の時にはステップ122 に進む。
【００７５】
ステップ122 〜ステップ127 は、第１の実施形態と同様の視線スイッチ動作が行われる。図15に示すステップ206 では、注視位置推定部57’において、テーブルに記憶された直線Ｌ31〜Ｌ3nに関する複数のデータが読み込まれ、これら複数のデータに基づいて視線方向の分布状態が求められる。そして分布頻度が高い箇所及びリンク分析の結果より、各視線分布領域が推定され、それぞれの視線分布領域の中心が算出される。
【００７６】
ステップ207 では、ステップ206 で求められた各視線分布領域の中心がどの特徴点、例えば、右サイドミラーの位置等に対応するかが推定される。
ステップ208 では、ステップ207 で対応付けられたそれぞれの特徴点の位置について、メモリ部70' の注視対象位置記憶部71’に記憶された正確な位置情報が読み込まれ、その読み込まれた位置と視線分布領域の中心位置が一致するものとして新たな補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙが算出される。
【００７７】
そして、第１の実施形態と同様のステップ135 で、メモリ部70' の補正係数記憶部72’に記憶された補正係数がステップ208 で求めた新たな補正係数に更新され、ステップ201 に戻る。
このように、第２の実施形態によれば、運転者の視線方向の分布状態に基づいて注視対象を推定し、その注視対象の位置情報を用いて補正係数を算出、更新することによって、従来の装置あるいは第１の実施形態の装置とは異なり、特定の機器が操作されなくても補正係数の更新が可能となる。また、この場合でも一連の動作は運転者に意識させずに自動的に行われるため、誤差の少ない正確な視線計測が可能となる。
【００７８】
尚、第２の実施形態では、走行中に左右サイドミラーやルームミラーの注視位置を推定する構成としたが、本発明はこれに限られるものではない。例えば、ナビゲーション装置で音声案内等の機能を有する装置では、注意を喚起する目的でブザー音等を発生し、これに続けて進行方向の案内を音声情報で呈示する手法がしばしば行われる。この場合、運転者は音声案内の後に表示画面を確認する場合が多い。従って、音声案内発生後の一定時間はナビゲーション装置の表示画面を見る確率が高くなることを考慮して注視対象を推定しても良い。
【００７９】
次に、本発明の第３の実施形態について説明する。
第３の実施形態では、第２の実施形態における注視対象の推定動作が機器の操作を考慮して行われる場合について説明する。
図16は、第３の実施形態の視線方向計測装置の構成を示す図である。ただし、第２の実施形態の構成と同一の部分には同一符号を付して説明を省略する。
【００８０】
図16において、第３の実施形態の構成が第２の実施形態の構成と異なる部分は、第２の操作検出部Ｅ８としての操作検出部20' の出力がマイクロコンピュータ50''に入力される点である。その他の構成は第２の実施形態の構成と同一である。
操作検出部20' は、運転者による操作を検出する特定の機器として、例えば、ウインカレバー及びシフトレバーに設定した場合において、右ウインカ操作検出部24と、左ウインカ操作検出部25と、バックギア操作検出部26とで構成される。ウインカレバー及びシフトレバーを設定した理由は、ウインカレバーが操作される前後には、車両の向かう方向やその方向のサイドミラーへの運転者の注視が増えること、また、シフトレバーで後退が選択されるとその前後でルームミラーへの運転者の注視が増えることを利用して注視対象の推定を行うためである。右ウインカ操作検出部24は、ウインカレバーが右方向に操作されたことを検出してマイクロコンピュータ50''に操作信号を送出する。左ウインカ操作検出部25は、ウインカレバーが左方向に操作されたことを検出してマイクロコンピュータ50''に操作信号を送出する。バックギア操作検出部26は、シフトレバーで後退が選択されたことを検出してマイクロコンピュータ50''に操作信号を送出する。
【００８１】
マイクロコンピュータ50''は、図17の機能ブロック図に示すように、操作検出部20' から出力される操作信号が注視位置推定部57''に入力される構成で、その他の部分は第２の実施形態のマイクロコンピュータ50’と同一である。次に、第３の実施形態の動作を図18に示すフローチャートに基づいて説明する。ただし、第１、２の実施形態の動作を示すフローチャートと同じ部分には同一符号を付して説明を省略する。
【００８２】
図18において、視線方向の計測が開始されると、第１の実施形態の動作と同様に、ステップ101 〜ステップ117 の動作によって眼球中心Ｏ、視軸回転角θｘ，θｙ等が算出され、第２の実施形態の同様のステップ203 の動作によって運転者の視線方向ｅを表す直線Ｌ3nが算出される。
ステップ301 では、マイクロコンピュータ50''において、操作検出部20' からの操作信号の有無が判別される。操作信号が発生している時は図19のステップ302 に進む。操作信号が発生していない時はステップ122 に進み、第１の実施形態と同様のステップ122 〜ステップ127 で視線スイッチ動作が行われる。
【００８３】
図19のフローチャートに示すステップ302 では、第２の実施形態のステップ201 の動作と同様に、計測回数ｎが初期化されると共にテーブルがクリアされる。
ステップ303 では、第２の実施形態のステップ202 の動作と同様に、計測回数ｎがインクリメントされる。
ステップ304 では、第２の実施形態のステップ101 〜ステップ203 と同様の一連の動作が行われ直線Ｌ3nが算出される。
【００８４】
ステップ305 では、第２の実施形態のステップ204 の動作と同様に、直線Ｌ3nと仮想面Ｖとの交点を算出し、算出した交点の位置と共にその時の眼球中心Ｏの位置がテーブルに記憶される。
ステップ306 では、操作検出部20' からの操作信号が継続して送出されているか否かが判別される。操作信号が継続している場合には、ステップ303 に戻り注視対象の推定を行うためのデータを蓄積していく。操作信号が継続していない場合には、ステップ206 に進み補正係数が算出される。
【００８５】
ステップ206 〜ステップ135 では、第２の実施形態の動作と同様に、テーブルに記憶されたデータに基づいて注視対象及び特徴点が推定され、補正係数の算出、更新が行われる。補正係数の更新後はステップ101 に戻る。
このように、第３の実施形態によれば、第２の実施形態の効果に加えて、運転者の注視対象を推定する際、特定の機器の操作を考慮して行うことによって、注視対象の推定がより確実になるため、一層正確且つ確実に補正係数の更新を行うことが可能となる。
【００８６】
尚、第３の実施形態では、ウインカレバー及びシフトレバーの操作が行われるとサイドミラー及びルームミラーの注視が増えることを利用する構成としたが、本発明はこれに限られるものではない。例えば、ブレーキを踏む前後にはルームミラーへの注視が増えること、シフトチェンジ時にはシフトレバーへの注視が増えること、停止時には信号への注視が増えること、前方車両に追従して停止する時には前方車両の運転者付近への注視が増えること、ナビゲーション装置装着車では停止時にナビゲーション装置への注視が増えること等を利用することも応用可能である。
【００８７】
また、警告灯が点灯した場合、これを見て運転者が動作を開始することがある。例えば、シートベルト未装着の場合に点灯する警告灯が点灯した時、運転者はその表示を見た後にシートベルトを装着するような場合がある。この場合、シートベルトを装着する動作が行われる前には、該当する警告表示灯を見た確率が高いため、この機会を捉えて補正係数を算出することもできる。同様に、例えばサイドブレーキ等の操作が行われた場合でも、その動作が行われる前には該当する警告表示灯を見た確率が高く、この機会を利用しても良い。
【００８８】
更に、前記シートベルトの警告表示灯を見た時に補正係数を算出するのに加え、シートベルト装着時にはシートベルト金具を見ながら操作することを考慮して補正係数を算出すれは、略同時に２つの異なった注視位置で補正係数が求められるため、より一層正確な補正係数の算出が可能となる。このことは、サイドブレーキ等の操作の場合も同様であることは言うまでもない。
【図面の簡単な説明】
【図１】請求項１又は２に記載の発明のクレーム対応図
【図２】請求項３に記載の発明のクレーム対応図
【図３】請求項４に記載の発明のクレーム対応図
【図４】本発明の第１の実施形態の構成を示す図
【図５】同上第１の実施形態の運転席付近のレイアウトの一例を示す図
【図６】同上第１の実施形態のマイクロコンピュータの機能ブロック図
【図７】同上第１の実施形態の動作を示すフローチャート
【図８】同上第１の実施形態の補正係数の更新動作を示すフローチャート
【図９】本発明の第２の実施形態の構成を示す図
【図１０】同上第２の実施形態のマイクロコンピュータの機能ブロック図
【図１１】同上第２の実施形態での視線方向の分布の求め方を説明する図
【図１２】同上第２の実施形態での補正係数を算出するための基準となる視線分布を説明する図
【図１３】同上第２の実施形態での正確な補正係数を算出する前の視線分布算出結果を示す図
【図１４】同上第２の実施形態の動作を示すフローチャート
【図１５】同上第２の実施形態の補正係数の更新動作を示すフローチャート
【図１６】本発明の第３の実施形態の構成を示す図
【図１７】同上第３の実施形態のマイクロコンピュータの機能ブロック図
【図１８】同上第３の実施形態の動作を示すフローチャート
【図１９】同上第３の実施形態の補正係数の更新動作を示すフローチャート
【図２０】従来技術において、眼球位置が固定されている場合に視線方向が一意に算出されることを説明する図
【図２１】従来技術において、眼球位置が３次元空間内で固定されない場合に視線方向が一意に算出されないことを説明する図
【符号の説明】
10 眼球撮影部
20,20' 操作検出部
30 コントローラ部
40 表示部
50,50',50'' マイクロコンピュータ
51 角膜反射像抽出部
52 角膜反射直線算出部
53 眼球中心算出部
54 瞳孔中心算出部
55 眼球回転角算出部
56 視線方向算出部
57 注視対象判定部
57’ 注視位置推定部
58 検出誤差算出部
59 更新判定部
60,60' 補正係数算出部
61 停留判定部
70 メモリ部
71 機器位置記憶部
71’ 注視対象位置記憶部
72,72' 補正係数記憶部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus for measuring a line-of-sight direction from a remote location, and more particularly to a line-of-sight measurement apparatus that automatically calculates a correction coefficient corresponding to a measurement target person.
[0002]
[Prior art]
The gaze direction measuring device uses the measured gaze direction as a human-machine interface, for example, to display visual information in the direction in which the vehicle driver is paying attention, or to operate a specific switch according to the gaze direction, etc. Various uses are expected. In general, the line-of-sight direction measured by such a line-of-sight direction measuring apparatus is accompanied by a measurement error due to individual differences among measurement subjects. For this reason, in a conventional gaze direction measuring apparatus, a correction error is calculated by performing a so-called calibration operation to correct a measurement error, and the effect of the measurement error is measured by measuring the gaze direction in consideration of the correction coefficient. Less. However, the calibration operation often requires a troublesome operation for the user (measurement target person) of the apparatus, and it is desired to complete the calibration operation without making the user aware of it.
[0003]
As a conventional technique in which the calibration operation is completed without being conscious of the user, there is one disclosed in, for example, Japanese Patent Laid-Open No. 7-151958. In this conventional apparatus, when the user operates the apparatus, the gaze direction when the specific operation is performed is measured on the assumption that the specific operation is performed while viewing the display according to the operation. The correction coefficient is obtained on the assumption that the direction of the measured line of sight coincides with the direction of display corresponding to the operation.
[0004]
[Problems to be solved by the invention]
In such a conventional apparatus, the line of sight is measured on the assumption that the user's eyeball is fixed at a predetermined position. FIG. 20 shows the line-of-sight direction when the eyeball position is fixed. As shown in FIG. 20, when the eyeball position is fixed, the line-of-sight direction can be uniquely determined by the eyeball rotation angle. However, for example, when a conventional gaze direction measuring device is mounted on a vehicle to detect the driver's gaze, the driver's eyeball position moves. FIG. 21 shows the line-of-sight direction when the eyeball position moves in free space. As shown in FIG. 21, when the eyeball position moves, the line-of-sight direction cannot be uniquely determined only by the eyeball rotation angle. Therefore, in a situation where the eyeball position moves, there is a problem that the line-of-sight method cannot be accurately measured because it is difficult to obtain an accurate correction coefficient using a conventional apparatus.
[0005]
In addition, there are often cases where the line of sight to be measured is not necessarily the line of sight of a person who performs a specific operation. For example, in the case of measuring the gaze direction of the vehicle driver as in the above example, when there are passengers in the driver seat and the passenger seat in the vehicle, and the passenger in the passenger seat operates a specific device, It is assumed that the driver is gazing at an object different from the specific device. In such a case, the conventional apparatus has a problem in that the correction coefficient is obtained on the assumption that the direction of the object being watched by the driver matches the direction of the specific device or the display portion of the device.
[0006]
Further, in the conventional apparatus, since the calibration operation is performed only after the user performs a specific operation, there is a problem that the error is not corrected until the user performs the specific operation. When detecting the line of sight of the vehicle driver, it is necessary to consider that there are not a few situations in which the driver rarely operates a specific device. For example, on roads where straight roads continue continually, once the vehicle is started, there may be situations where the driver only operates the steering wheel and the accelerator pedal. It is necessary to measure the accurate gaze direction.
[0007]
The present invention has been made paying attention to the above-mentioned problems. When a specific operation is performed by the measurement target person, the correction coefficient is automatically calculated to accurately determine the gaze direction of the measurement target person whose eyeball position moves. It is an object of the present invention to provide a gaze direction measuring device that can measure in a short time. It is another object of the present invention to provide a gaze direction measuring apparatus that can determine a gaze target of a measurement target person and automatically calculate a correction coefficient without a specific operation performed by the measurement target person.
[0008]
[Means for Solving the Problems]
Therefore, in the invention according to claim 1 of the present invention, as shown in FIG. 1, a correction coefficient for correcting the measurement error is calculated according to the measurement target person, and the measurement target person's measurement is performed using the correction coefficient. In a gaze direction measuring apparatus that measures a gaze direction, an eyeball position detection unit A that detects a position of the eyeball of the measurement subject, an eyeball rotation angle detection unit B that detects a rotation angle of the eyeball, and the correction coefficient are stored. Correction coefficient storage means C to perform, and gaze direction calculation means D to calculate the gaze direction of the measurement subject based on the eyeball position and the eyeball rotation angle using the correction coefficient stored in the correction coefficient storage means C;
When an operation of a device corresponding to a preset gaze target is detected, a first operation detection unit E1 that outputs an operation signal, a device position storage unit E2 that stores a position of the device in advance, and the first operation When an operation signal is output from the detection unit E1, a deviation between the device direction calculated based on the position of the device stored in the device position storage unit E2 and the line-of-sight direction calculated by the line-of-sight direction calculation unit D A correction coefficient update determination unit E3 that determines whether to update the correction coefficient stored in the correction coefficient storage means C when the amount of deviation is less than a preset threshold, and the correction coefficient update determination unit E3. A first correction coefficient calculation unit E4 that calculates a new correction coefficient for correcting the shift amount when it is determined to update, and updates the correction coefficient stored in the correction coefficient storage unit C; And correction coefficient updating means E.
[0009]
According to this configuration, based on the eyeball position and the eyeball rotation angle detected by the eyeball position detection unit A and the eyeball rotation angle detection unit B, the gaze direction calculation unit D considers the correction coefficient in consideration of the gaze direction of the measurement target. In the correction coefficient updating means E, When an operation signal is output from the first operation detection unit E1, the correction coefficient update determination unit E3 determines that the amount of deviation between the line-of-sight direction and the device direction is less than the threshold value, that is, corresponds to a preset gaze target. When the measurement subject gazes at the device to be operated, the first correction coefficient calculation unit E4 The correction coefficient stored in the correction coefficient storage means C is updated.
[0010]
In the invention according to claim 2, As shown in FIGS. 2 and 3, in the gaze direction measuring apparatus that calculates the correction coefficient for correcting the measurement error according to the measurement target person and measures the gaze direction of the measurement target person using the correction coefficient, the measurement Eyeball position detection means A for detecting the position of the eyeball of the subject, eyeball rotation angle detection means B for detecting the rotation angle of the eyeball, correction coefficient storage means C for storing the correction coefficient, and the correction coefficient storage means A gaze direction calculation unit D that calculates the gaze direction of the measurement target person based on the eyeball position and the eyeball rotation angle using the correction coefficient stored in the eye, and a gaze target position memory that stores a preset position of the gaze target In response to an operation signal from the second operation detection unit E8, and a second operation detection unit E8 that outputs an operation signal when an operation of a preset device related to the gaze target is detected. The specified total The gaze position estimation unit E6 that estimates the gaze position based on the distribution state and the change state of the plurality of gaze direction calculated by the gaze direction calculation means D between the number of times, and the gaze position estimated by the gaze position estimation unit E6 And a new correction coefficient is calculated according to the difference between the gaze target position stored in the gaze target position storage unit E5 and the correction coefficient stored in the correction coefficient storage means C is updated. And a correction coefficient calculation unit E7. It is characterized by that.
[0011]
According to such a configuration, Based on the eyeball position and the eyeball rotation angle detected by the eyeball position detection means A and the eyeball rotation angle detection means B, the gaze direction calculation means D calculates the gaze direction of the measurement subject in consideration of the correction coefficient, and In the correction coefficient updating means E, the gaze position is estimated based on the distribution state and the change state of the plurality of gaze directions in the gaze position estimation unit E6 according to the operation signal from the second operation detection unit E8. In the second correction coefficient calculation unit E7 in accordance with the difference from the gaze target position stored in the gaze target position storage unit E5. The correction coefficient stored in the correction coefficient storage means C is updated.
[0016]
【The invention's effect】
Thus, of the present invention Claim 1 When the correction coefficient is updated, the correction coefficient updating means determines whether the measurement target person is gaze target (apparatus) from the line-of-sight direction when the measurement target person operates the device set in advance and the device direction. Since it is possible to update the correction coefficient accurately and reliably by automatically determining that the measurement target is not conscious of the gaze, it is possible to perform accurate gaze measurement with few errors. Further, by measuring the eyeball position by the eyeball position detection means, the line-of-sight direction can be uniquely determined even if the eyeball position of the measurement subject moves.
[0017]
Also, Claim 2 When the correction coefficient is updated, the gaze position estimation unit calculates the gaze direction distribution state calculated by the gaze direction calculation unit in accordance with the operation information of the device related to the gaze target when the correction coefficient is updated. In addition, since the correction coefficient can be updated accurately and reliably by estimating the gaze position based on the change state, the gaze direction of the measurement subject to which the eyeball position moves can be accurately measured with a small error. Can do.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
In the first embodiment of the present invention, a gaze direction measuring device is mounted on a vehicle, and when a specific device is operated by a driver, a correction coefficient is automatically calculated, and driving measured using the correction coefficient A case will be described in which on / off switching is performed based on the line of sight of a person, for example, the line of sight of an audio, air conditioner, radio, and ASCD.
[0020]
FIG. 4 is a diagram illustrating the configuration of the gaze direction measuring apparatus according to the first embodiment.
In FIG. 4, this apparatus irradiates light to the eyeball part of a driver as a measurement subject, and operates an eyeball photographing part 10 that stores an image obtained by photographing the eyeball part and a specific device described later. An operation detection unit 20 as a first operation detection unit E1 that outputs an operation signal, a controller unit 30 that controls the operation of the audio, air conditioner, radio, and ASCD, and the operation status of the audio, air conditioner, radio, and ASCD are displayed. A microcomputer 50 that calculates the driver's line-of-sight direction based on the display unit 40 and the image obtained by the eyeball photographing unit 10 and the output signal of the operation signal detection unit 20 and outputs a control signal to the controller unit 30 and the display unit 40 And a memory unit 70 for storing the calculation result of the microcomputer 50 and the position of the specific device.
[0021]
The eyeball photographing unit 10 is photographed by two diverging lights 11,12 provided in front of the driver toward the eyeball, two cameras 13,14 for photographing the driver's eyeball, and the cameras 13,14. A / D converter 15 for A / D conversion of the captured image, image memory 16 for storing the image converted by A / D converter 15, divergent illumination 11, 12 and A / D converter 15 are controlled The illumination light emission control unit 17 is configured. The divergent illuminations 11 and 12 emit infrared light that is invisible to humans, for example, as shown in FIG. 5A showing an example of the layout in the vicinity of the driver's seat, Installed on both sides of the steering wheel, etc., and connected to the illumination light emission control unit 17. The cameras 13 and 14 include, for example, a CCD in the image sensor, and as shown in FIG. 5A, the camera 13 and the divergent illumination 11 are arranged in a coaxial system. Similarly, the camera 14 and the divergent illumination 12 Are arranged in a coaxial system. The illumination light emission control unit 17 outputs a control signal for alternately turning on the diverging lights 11 and 12 to the diverging lights 11 and 12, and when the diverging lighting 11 lights up, captures an image from the camera 13 and turns on the diverging lighting 12 When this happens, a signal for controlling the A / D converter 15 is output so as to capture an image from the camera 14. The image memory 16 stores the images from the cameras 13 and 14 A / D converted by the A / D converter 15.
[0022]
The operation detection unit 20 is, for example, a right side mirror operation detection unit 21 when a right side mirror, a left side mirror, and a navigation device are set as specific devices that start a calibration operation when a device operation is performed by an occupant. And a left side mirror operation detection unit 22 and a navigation device operation detection unit 23. The reason for setting these devices is that the right and left side mirrors check the position of the driver when the driver changes. This is because the coefficient can be calculated. Further, in the navigation device, an operation may be performed even after the start of traveling, and this is to capture the opportunity to calculate and update the correction coefficient. The right side mirror operation detection unit 21 and the left side mirror operation detection unit 22 output an operation signal to the microcomputer 50 when a switch for adjusting the angle of each side mirror is operated. The navigation device operation detection unit 23 outputs an operation signal to the microcomputer 50 when the navigation device is operated.
[0023]
The controller unit 30 includes an audio controller 31, an air conditioner controller 32, a radio controller 33, an ASCD controller 34, and a controller switching unit 35 that switches on / off of the controllers 31 to 34. The controller switching unit 35 inputs a control signal output from the microcomputer 50 in accordance with the driver's line of sight as will be described later, and outputs a signal for switching on / off the controller corresponding to the input control signal.
[0024]
The display unit 40 includes a head-up display (hereinafter referred to as HUD) 41 and a display control unit 42 that controls display of the HUD 41. The HUD 41 is provided near the driver's seat as shown in FIG. 5 (a), and as shown in FIG. 5 (b), the audio, air conditioner, radio, and ASCD are turned on and off by line of sight. The line-of-sight switch area As is displayed, and when each device is switched, the display is reversed for a short time. The display control unit 42 receives a control signal output from the microcomputer 50, and outputs a signal for switching display of the HUD 41 corresponding to the input signal.
[0025]
The microcomputer 50 has a function of calculating the driver's eyeball position based on an image captured and stored by the eyeball imaging unit 10, a function of calculating the driver's eyeball rotation angle, and an output of the operation detection unit 20. A function for determining whether or not to update a correction coefficient, which will be described later, a function for calculating a correction coefficient, and calculating the driver's gaze direction using the eyeball position and the eyeball rotation angle and determining the gaze target And a function of determining a stop time of the driver's line of sight and generating a signal for controlling the controller unit 30 and the display unit 40.
[0026]
Here, each function of the microcomputer 50 will be described in detail with reference to a functional block diagram shown in FIG.
In FIG. 6, the cornea reflection image extracting unit 51 is connected to the image memory 16 of the eyeball photographing unit 10, photographed by the camera 13 and photographed by the camera 14 and stored in the image memory 16, and stored in the image memory 16. Each image G2 is read and subjected to image processing to extract a corneal reflection image in each image. The corneal reflection image is an image generated when light irradiated to the eyeball is reflected and refracted by each surface of an optical system such as the cornea constituting the eyeball, and is also called a Purkinje image. Here, the coordinates P1 in the image of the corneal reflection image of the divergent illumination 11 extracted from the image G1 is (P1x, P1y), and the coordinates in the image of the corneal reflection image of the divergent illumination 12 extracted from the image G2 Let P2 be (P2x, P2y).
[0027]
The corneal reflection straight line calculation unit 52 uses each of the coordinates P1 and P2 of the corneal reflection image extracted by the corneal reflection image extraction unit 51 to respectively connect straight lines connecting the corneal reflection image and the camera focus corresponding to the corneal reflection image. Ask. When the coordinates P1 and P2 in the image of the cornea reflection image are calculated, this straight line can be uniquely calculated from the positional relationship between the CCD of the camera that captured the cornea reflection image and the camera lens focus. A straight line connecting the coordinate P1 of the cornea reflection image and the focal point of the camera 13 is L1, and a straight line connecting the coordinate P2 of the cornea reflection image and the focal point of the camera 14 is L2.
[0028]
The eyeball center calculation unit 53 calculates the position of the eyeball center (more precisely, the corneal ball center) O by calculating the intersection of the straight lines L1 and L2 obtained by the corneal reflection straight line calculation unit 52. Here, since the diverging illumination 11 and the camera 13 are arranged in the coaxial system, the straight line L1 always passes through the eyeball center O, and the diverging illumination 12 and the camera 14 are arranged in the coaxial system. Since the straight line L2 always passes through the eyeball center O, the intersection of the straight lines L1 and L2 becomes the eyeball center O. The calculated coordinates in the three-dimensional space of the eyeball center O are (Ox, Oy, Oz).
[0029]
In this way, the cornea reflection image extraction unit 51, the cornea reflection line calculation unit 52, and the eyeball center calculation unit 53 function as the eyeball position calculation unit A.
The pupil center calculation unit 54 performs image processing on the image G1 stored in the image memory 16 to extract the pupil portion, and obtains the coordinates of the center (center of gravity) of the pupil portion in the image. The pupil center coordinate in the image obtained from the image G1 is defined as Q1 (Qx, Qy).
[0030]
The eyeball rotation angle calculation unit 55 calculates the camera from the corneal reflection image coordinates P1 (P1x, P1y) obtained by the corneal reflection image extraction unit 51 and the pupil center coordinates Q1 (Qx, Qy) obtained by the pupil center calculation unit 54. The rotation angle θ ′ of the eyeball with respect to 13 shooting directions (the coaxial direction of the diverging illumination 11 and the camera 13) is calculated. The details of the calculation method of the eyeball rotation angle are known, for example, in the above-mentioned Japanese Patent Application Laid-Open No. 7-151958 and the like, and only the outline thereof will be described here.
[0031]
In general, the rotation angle θ ′ of the eyeball is Loc, which is a standard distance from the center of the corneal sphere to the center of the pupil, A1 is a correction coefficient that takes into account individual differences with respect to the distance Loc, and the positional relationship of the corneal sphere center with respect to the camera lens system. If the correction coefficient (magnification) determined by is β, the relationship of the following equation (1) is satisfied.
β × A1 × Loc × sin θ ′ = Q1-P1 (1)
Therefore, the rotation angle θ ′ of the eyeball can be obtained by the following equation (2).
[0032]
θ ′ = ARCSIN {(Q1-P1) / (β × A1 × Loc)} (2)
The eyeball rotation angle calculation unit 55 of the present embodiment calculates the rotation angle θx ′ with respect to the horizontal direction (x-axis direction) and the rotation angle θy ′ with respect to the vertical direction (y-axis direction) in the image G1. The correction coefficient A1 uses a value stored in the correction coefficient storage unit 72 of the memory unit 70 as will be described later.
[0033]
In this way, the pupil center calculation unit 54 and the eyeball rotation angle calculation unit 55 function as the eyeball rotation angle detection means B. In this example, the pupil center is obtained from the image G1, and the eyeball rotation angle is calculated. Of course, the eyeball rotation angle may be calculated from the image G2, or the pupil center and the eyeball rotation may be calculated from the images G1 and G2, respectively. The angle may be obtained and averaged.
[0034]
The gaze direction calculation unit 56 calculates the gaze direction e from the eyeball rotation angle θ ′ obtained by the eyeball rotation angle calculation unit 55 and the eyeball center O obtained by the eyeball center calculation unit 53. Here, the line-of-sight direction e is expressed as a linear equation.
However, as described in Japanese Patent Application Laid-Open No. 7-151958 and the like, in many cases, the visual axis of the eyeball (gaze direction e) and the optical axis (the rotation angle θ ′ direction of the eyeball) do not match. When the optical axis is calculated, the visual axis is obtained by correcting the angle between the optical axis and the visual axis. Here, assuming that the angle correction coefficient of the optical axis is δ and the correction coefficient considering the individual difference with respect to the angle correction coefficient δ is B1, the rotation angle θ of the visual axis is expressed by the following equation (3).
[0035]
θ = θ ′ ± (B1 × δ) (3)
Here, when the right angle of rotation with respect to the driver is positive, the sign ± is selected when the driver's eye photographed by the camera 13 is the left eye, and when the right eye is −, the sign − is selected. Actually, the gaze direction calculation unit 56 sets the horizontal correction coefficient to B1x and the vertical correction coefficient to B1y, and the visual axis rotation angle θx with respect to the horizontal direction (x-axis direction) in the image G1 and the vertical direction (y A rotation angle θy of the visual axis with respect to (axial direction) is calculated. Note that the values stored in the correction coefficient storage unit 72 of the memory unit 70 are used as the correction coefficients B1x and B1y.
[0036]
Then, the direction vector (Ex, Ey, Ez) of the line-of-sight direction e is calculated by converting the line-of-sight direction e represented by the polar coordinate system into an orthogonal coordinate system using the calculated rotation angles θx, θy of the visual axis. Then, the line-of-sight direction e becomes a straight line L3 represented by the following equation (4) using the direction vector (Ex, Ey, Ez) starting from the eyeball center O.
(X-Ox) / Ex = (Y-Oy) / Ey = (Z-Oz) / Ez (4)
The gaze target determination unit 57 is a coordinate of a characteristic portion in the vehicle stored in advance in a device position storage unit 71 of the memory unit 70 described later, specifically, a coordinate of the center position of each line-of-sight switch area As of the HUD 41. The gaze direction e determined by the gaze direction calculation unit 56 is used to determine the driver's gaze target. The gaze target is determined by a straight line passing through the coordinates of the center position of the line-of-sight switch area As stored in the device position storage unit 71 and the eyeball center O with respect to the center position direction of the line-of-sight switch area As closest to the line-of-sight direction e. An equation of L4 is obtained, and an intersection angle φ1 between the straight line L4 and the straight line L3 obtained by the line-of-sight direction calculation unit 56 is obtained. When the intersection angle φ1 is less than the preset threshold Th1, it is determined that the driver is looking at the line-of-sight switch area As. When the intersection angle φ1 is greater than or equal to the threshold Th1, the driver looks at other places. Judge that The calculation of the intersection angle φ1 between the straight line L3 and the straight line L4 is obtained, for example, by taking the inner product of the direction vector of the straight line L3 and the direction vector of the straight line L4.
[0037]
In this way, the gaze direction calculation unit 56 and the gaze target determination unit 57 function as the gaze direction calculation unit D.
When an operation signal is sent from the operation detection unit 20, the detection error calculation unit 58 reads position information stored in advance in the device position storage unit 71 of the memory unit 70 for the device corresponding to the operation signal, and the operation signal The equation of the straight line L5 passing through the eyeball center O and the device corresponding to the operation signal is calculated. For example, when the adjustment operation of the right side mirror is performed and an operation signal is sent from the right side mirror operation detection unit 21 to the microcomputer 50, the center position of the right side mirror stored in the device position storage unit 71 is read, An equation of a straight line L5 passing through the eyeball center O and the center position of the right side mirror is obtained. Then, the intersection angle φ2 between the straight line L3 and the straight line L5 representing the visual line direction e obtained by the visual line direction calculation unit 56 when the operation signal is transmitted is calculated. Note that, when an operation signal is sent from the left side mirror operation detection unit 22 or the navigation device operation detection unit 23, the same arithmetic processing as when an operation signal is sent from the right side mirror operation detection unit 22 is performed. However, in the case of the navigation device, the center position of the operation switch is read from the device position storage unit 71.
[0038]
The update determination unit 59 compares the intersection angle φ2 obtained by the detection error calculation unit 58 with a preset threshold value Th2. When the intersection angle φ2 is less than the threshold value Th2, it is determined to calculate a new correction coefficient, which will be described later, and update the correction coefficient. When the intersection angle φ2 is equal to or greater than the threshold value Th2, the correction coefficient is not updated. Make a decision.
Here, the setting of the threshold value Th2 will be described.
[0039]
When determining the update of the correction coefficient, the operation signal output from the operation detection unit 20 alone cannot distinguish whether the operation is performed by the driver or by another passenger. In order to obtain the correction coefficient corresponding to the driver, it is necessary to limit the operation to only the operation by the driver. When an operation is performed by the driver, the driver's line of sight is directed toward the device to be operated, and when operated by another occupant, the driver's line of sight is directed in a direction different from the direction of the corresponding device. Conceivable. Therefore, when the driver's line-of-sight direction e calculated by the line-of-sight direction calculation unit 56 at the time when the operation signal is output substantially coincides with the direction of the operated device, that is, when the intersection angle φ2 is sufficiently small, It is determined that an operation has been performed by a person.
[0040]
However, the line-of-sight direction e obtained by the line-of-sight direction calculation unit 56 is calculated in consideration of the correction coefficient before the operation signal is output from the operation detection unit 20 (initial setting value of the correction coefficient when the apparatus is started). There is a possibility of error. In general, it is considered that the measurement error in the line-of-sight direction e when the correction coefficient is not accurate is about several degrees. Therefore, for example, if the driver's line-of-sight direction e is obtained by using an average value of correction coefficients obtained from the majority of passengers as the initial value of the correction coefficient, the line-of-sight direction e is about several degrees. It is calculated with error accuracy. Therefore, for example, by setting the threshold Th2 to about 10 ° and comparing the intersection angle φ2 with the threshold Th2, it is possible to sufficiently determine whether or not the driver has operated the device.
[0041]
In this way, the detection error calculation unit 58 and the update determination unit 59 function as the correction coefficient update determination unit E3.
The correction coefficient calculation unit 60 as the first correction coefficient calculation unit E4 calculates a new correction coefficient when the update determination unit 59 determines that the correction coefficient is updated. For example, when the operation signal is sent from the right side mirror operation detection unit 21 and the intersection angle φ2 obtained by the detection error calculation unit 58 is determined by the update determination unit 59 to be less than the threshold Th2, the correction coefficient is Assuming that the center of the right side mirror is viewed, new correction coefficients A1, B1x, and B1y are calculated to match the driver's line-of-sight direction e (straight line L3) with the straight line L5. The correction coefficient is calculated for the left side mirror or the navigation device in the same manner as for the right side mirror.
[0042]
The stop determination unit 61 measures the time during which the driver's line of sight stops in one line-of-sight switch area As, and controls the controller unit 30 and the display unit 40 when the measured stop time exceeds a predetermined time Th3. Is generated.
The above-described memory unit 70 includes a device position storage unit 71 serving as a device position storage unit E2 in which the center position of the right side mirror and the left side mirror, the switch position of the navigation device, the center position of each line-of-sight switch area As of the HUD 41, and the like. The correction coefficients A1, B1x, and B1y calculated by the microcomputer 50 are stored in the correction coefficient storage unit 72 serving as the correction coefficient storage means C as well as being stored in advance.
[0043]
Next, regarding the operation of the first embodiment, for example, the line-of-sight switch operation and the correction coefficient update operation when the driver switches the air conditioner on and off by gazing at the portion corresponding to the air conditioner in the line-of-sight switch area As. This will be described based on the flowcharts shown in FIGS.
First, the line-of-sight switch operation will be described.
[0044]
In FIG. 7, the driver wants to operate the air conditioner, and in the state of looking at the air conditioner area (A / C area in FIG. 5B) of each line-of-sight switch area As of HUD 41, When measurement starts,
In step 101 (indicated by S101 in the figure, the same shall apply hereinafter), the value of the time counter t measured by the stop judgment unit 61 of the microcomputer 50 is initialized. The time counter t is a counter that measures the time during which the driver's line of sight remains on the target.
[0045]
In step 102, the diverging illumination 11 is turned on by a signal from the illumination light emission control unit 17.
In step 103, the image G 1 of the driver's eyeball photographed by the camera 13 is stored in the image memory 16 via the A / D converter 15.
In step 104, the diverging illumination 11 is turned off by a signal from the illumination light emission control unit 17.
[0046]
In step 105, the cornea reflection image extraction unit 51 of the microcomputer 50 reads the image G1 stored in the image memory 16 and extracts the coordinates P1 of the cornea reflection image. This coordinate P1 is a two-dimensional coordinate on the image.
In step 106, it is determined whether or not the coordinates P1 of the cornea reflection image has been extracted in step 105. If the coordinate P1 is not extracted, the process returns to step 101. If the coordinate P1 is extracted, the process proceeds to step 107.
[0047]
In step 107, the corneal reflection straight line calculation unit 52 calculates a straight line L1.
In step 108, the diverging illumination 12 is turned on by a signal from the illumination light emission control unit 17.
In step 109, the driver's eye image G <b> 2 captured by the camera 14 is stored in the image memory 16 via the A / D converter 15.
[0048]
In step 110, the diverging illumination 12 is turned off by a signal from the illumination light emission control unit 17.
In step 111, the cornea reflection image extraction unit 51 reads the image G2 stored in the image memory 16 and extracts the coordinates P2 of the cornea reflection image. This coordinate P2 is a two-dimensional coordinate on the image.
[0049]
In step 112, it is determined whether or not the coordinate P2 of the cornea reflection image has been extracted in step 111. If the coordinate P2 is not extracted, the process returns to step 101. If the coordinate P2 is extracted, the process proceeds to step 113.
In step 113, the corneal reflection straight line calculation unit 52 calculates the straight line L2.
In step 114, the eyeball center calculation unit 53 calculates the intersection of the straight lines L1 and L2, that is, the coordinates of the eyeball center O. The eyeball center O is a coordinate in a three-dimensional space.
[0050]
In step 115, the pupil center calculation unit 54 calculates the coordinates Q1 of the pupil center from the image G1. This coordinate Q1 is a two-dimensional coordinate on the image.
In step 116, the eyeball rotation angle calculation unit 55 stores the cornea reflection image coordinate P1 obtained in step 105 and the pupil center coordinate Q1 obtained in step 115 in the correction coefficient storage unit 72 of the memory unit 70. The eyeball rotation angles θx ′ and θy ′ are calculated in consideration of the correction coefficient A1.
[0051]
In step 117, the gaze direction calculation unit 56 calculates correction coefficients B1x and B1y stored in the correction coefficient storage unit 72 from the eyeball rotation angles θx ′ and θy ′ obtained in step 116 and the eyeball center O obtained in step 114. Are taken into consideration to calculate the rotation angles θx and θy of the visual axis.
In step 118, an equation of the straight line L3 representing the visual line direction e is calculated from the rotation angles θx and θy of the visual axis obtained in step 117.
[0052]
In step 119, the microcomputer 50 checks whether or not there is an operation signal from the right side mirror operation detection unit 21. If the operation signal has been transmitted to the microcomputer 50, the process proceeds to step 128 shown in FIG. 8 and correction coefficient update determination processing described later is performed. If the operation signal has not been transmitted, the process proceeds to step 120.
[0053]
In step 120, the presence / absence of an operation signal from the left side mirror operation detection unit 22 is checked. If the operation signal has been transmitted to the microcomputer 50, the routine proceeds to step 129 shown in FIG. 8, where update coefficient update determination processing is performed. If the operation signal has not been transmitted, the process proceeds to step 121.
In step 121, the presence / absence of an operation signal from the navigation device operation detection unit 23 is checked. If the operation signal has been transmitted to the microcomputer 50, the routine proceeds to step 130 shown in FIG. 8, and correction coefficient update determination processing is performed. If the operation signal has not been transmitted, the process proceeds to step 122.
[0054]
In step 122, the gaze target determination unit 57 calculates an equation of a straight line L4 passing through the center position of the line-of-sight switch area As (here, the air conditioner region) closest to the line-of-sight direction e and the eyeball center O.
In step 123, the intersection angle φ1 between the straight line L3 obtained in step 118 and the straight line L4 obtained in step 122 is calculated.
[0055]
In step 124, the crossing angle φ1 obtained in step 123 is compared with the threshold value Th1. When the intersection angle φ1 is less than the threshold value Th1, the process proceeds to step 125, and when the intersection angle φ1 is equal to or greater than the threshold value Th1, the process returns to step 101 to start a new process.
In step 125, when it is determined in step 124 that the driver is gazing, here the driver is gazing at the air conditioner area of the line-of-sight switch area As, the stop determination unit 61 increments the value of the time counter t. The
[0056]
In step 126, the value of the time counter t is compared with a predetermined time Th3. When the value of the time counter t is less than the time Th3, the process returns to step 102 and the measurement of the stop time is continued. When the value of the time counter t is equal to or greater than the time Th3, the routine proceeds to step 127.
In step 127, if it is determined in step 126 that the driver's line of sight has remained in the air conditioner area of the line-of-sight switch area As for a predetermined time Th3 or more, the microcomputer 50 selects the air conditioner controller 32 to select the air conditioner switch. A control signal for switching on / off is output to the controller switching unit 35, and a control signal for inverting the display of the air conditioner area of the HUD 41 for a short time is output to the display control unit.
[0057]
In this way, the switch of the air conditioner is switched by the line of sight, and the operation of switching the switch by the line of sight of each device is performed by repeating the above-described operation.
Next, the correction coefficient update operation will be described.
In FIG. 8, in step 128, when the output of the operation signal from the right side mirror operation detection unit 21 is confirmed in step 119, the microcomputer 50 stores the right side stored in the device position storage unit 71 of the memory unit 70. The coordinates of the center position of the mirror are read, and the process proceeds to step 131.
[0058]
In step 129, when the output of the operation signal from the left side mirror operation detection unit 22 is confirmed in step 120, the microcomputer 50 reads the coordinates of the center position of the left side mirror stored in the device position storage unit 71. Go to step 131.
In step 130, when the output of the operation signal from the navigation device operation detection unit 23 is confirmed in step 121, the microcomputer 50 reads the coordinates of the center position of the switch of the navigation device stored in the device position storage unit 71. Go to step 131.
[0059]
In step 131, the detection error calculation unit 58 calculates a straight line L5 that passes through the coordinates read in any one of steps 128 to 130 and the eyeball center O calculated in step 114.
In step 132, the intersection angle φ2 between the straight line L3 obtained in step 118 and the straight line L5 obtained in step 131 is calculated.
[0060]
In step 133, the update determination unit 59 compares the intersection angle φ2 obtained in step 132 with the threshold Th2. When the intersection angle φ2 is less than the threshold value Th2, the process proceeds to step 134, and the correction coefficient updating process is performed. When the intersection angle φ2 is greater than or equal to the threshold value Th2, the process returns to step 101 and a new process is started.
In step 134, the correction coefficient calculation unit 60 calculates new correction coefficients A1, B1x, B1y.
[0061]
In step 135, the correction coefficient stored in the correction coefficient storage unit 72 is updated to the new correction coefficient calculated in step 134, and the process returns to step 101.
As described above, when the operation signal is confirmed in step 119 to step 121, the correction coefficient updating operation is performed in steps 128 to 135.
As described above, according to the first embodiment, when the calibration operation is performed and the correction coefficient is updated, the operation signal of each device, the information regarding the position of the operated device, and the measured driver It is determined whether or not to update the correction coefficient from the line-of-sight information, and the correction coefficient is updated only when the driver's line-of-sight direction e substantially coincides with the direction of the operated device. It is possible to update the correction coefficient. In addition, since a series of calibration operations are automatically performed without the driver's awareness, accurate line-of-sight measurement with few errors can be performed. Furthermore, by measuring the eyeball position, the line-of-sight direction can be uniquely determined even if the driver's eyeball position moves.
[0062]
In the first embodiment, the devices that start the calibration operation when the device operation is performed are set to the right side mirror, the left side mirror, and the navigation device. However, the present invention is not limited to this, and various devices are used. It is possible to perform the same processing as in the first embodiment by associating the line of sight when operating each device with the position to be operated. For example, it can be set in a room mirror, car stereo, radio, air conditioner, glove box, or the like. For example, when the shift lever, light, wiper switch, turn signal switch, etc. are set, the correction coefficient may be updated when the driver performs each operation while looking at the lever or switch. Furthermore, for example, a touch panel type display device that displays icons in advance and touches the driver, or a display device that displays cursors on the CRT and allows the driver to move the cursor, etc., can be operated by the driver. It is also possible to calculate the correction coefficient by capturing the occasion where the position of the icon or the cursor is sometimes observed. In addition, the driver inserts the master key into the vehicle when boarding, but this operation is often performed while looking at the keyhole, and the correction coefficient can be calculated by capturing this opportunity. In this case, for example, when the driver enters the vehicle or for a certain period of time after opening and closing the driver's seat door, if the gaze direction measuring device is operated, the correction coefficient is calculated before the start of traveling. become.
[0063]
Next, a second embodiment of the present invention will be described.
In the second embodiment, a case will be described in which the correction coefficient updating operation is performed based on the distribution state in the driver's line-of-sight direction.
FIG. 9 is a diagram illustrating a configuration of the gaze direction measuring device according to the second embodiment. However, the same parts as those in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
[0064]
In FIG. 9, the part of the configuration of the second embodiment different from the configuration of the first embodiment is that there is no input from the operation detection unit 20 to the microcomputer 50 in the first embodiment, and the microcomputer 50 and the memory The microcomputer 50 ′ and the memory unit 70 ′ are used in place of the unit 70. Other configurations are the same as those of the first embodiment.
[0065]
First, the function of the microcomputer 50 ′ will be described based on the functional block diagram shown in FIG. However, the same reference numerals are given to the same functional blocks as the functions of the microcomputer 50 of the first embodiment, and the description will be omitted. In FIG. 10, the functional blocks different from the microcomputer 50 are watched. position Gaze as estimator E6 position A correction coefficient calculation unit 60 ′ serving as an estimation unit 57 ′ and a second correction coefficient calculation unit E7.
[0066]
Gaze position The estimation unit 57 ′ includes a plurality of straight lines L3 (the respective straight lines L31 and L32 representing the driver's line-of-sight directions e) calculated over a plurality of measurement periods by the line-of-sight direction calculation unit 56 similar to the first embodiment. ,..., L3n), the distribution of the driver's line-of-sight direction e is obtained, and the feature point position, which will be described later, is observed by the driver in consideration of the distribution state. Find the center of the distribution.
[0067]
Here, an example of how to determine the distribution in the line-of-sight direction will be described with reference to FIG.
In FIG. 11, when obtaining the distribution in the line-of-sight direction, a virtual plane V is provided at a position approximately 1 m ahead of the driver. Then, when the driver whose eyeball position is moving is gazing at the gazing point 80 that is not necessarily on the virtual plane V (in FIG. 11, the eyeballs 81, 82, and 83 of the driver whose positions are slightly different are shown). Considering, there are an infinite number of straight lines representing the driver's line-of-sight direction e depending on the position of the eyeball, such as a straight line L31 for the eyeball 81, a straight line L32 for the eyeball 82, and a straight line L33 for the eyeball 83. Therefore, the intersections of the straight lines L31, L32, L33 and the virtual plane V are obtained, and the distribution range of the intersections is set as the line-of-sight distribution region S when the gaze point 80 is watched.
[0068]
FIG. 12 shows a case where the line-of-sight distribution region S of FIG. 11 is considered in the vehicle. If the driver's line-of-sight direction e is accurately detected, the line-of-sight distribution area while the vehicle is running includes, for example, a forward gaze distribution 91, a left side mirror gaze distribution 92, a right side mirror gaze distribution 93, and a room mirror gaze distribution 94. Although it is not shown in the figure, it becomes an audio device, a meter panel, etc., and a characteristic distribution is also generated in the line of sight to see some characteristic gaze objects (feature points) for acquiring information during driving To do. At this time, as described in, for example, Automotive Technology, Vol. 39, No. 5, 1985, PP. 503, etc., the driver is gazing at the front in many cases while driving and looking at the instruments. In many cases, the line of sight returns to the front again when the line of sight is directed to the instruments from the front to complete the visual recognition. This is the movement of the line of sight, that is, the link analysis of the line of sight, the movement between the front gaze distribution 91 and the left side mirror gaze distribution 92, the movement between the front gaze distribution 91 and the right side mirror gaze distribution 93, and the front gaze distribution 91. This means that a relatively large amount of movement with the room mirror gaze distribution 94 occurs. That is, if the distribution and change in the line-of-sight direction on the virtual plane V are analyzed, the left side mirror gaze distribution 92 is a distribution when the left side mirror is gaze, and the right side mirror gaze distribution 93 gazes the right side mirror. It can be estimated that the room mirror gaze distribution 94 is a distribution when the room mirror is watched. Further, it can be statistically estimated that each feature point exists in the center of the line-of-sight distribution region.
[0069]
Actually watching position When the estimation unit 57 ′ performs the above processing, the points constituting the line-of-sight distribution region S, that is, the intersection between the straight line L31 and the virtual plane V, the position of the eyeball 81 at that time, the straight line L32 and the virtual plane V If the intersection point with and the position of the eyeball 82 at that time are stored, the gaze direction distribution and the link can be analyzed. Gaze in this way position In the estimation unit 57 ′, the position of the gazing point is estimated, and the eyeball center O obtained by the eyeball center calculation unit 53 from the position information of the feature point stored in the gaze target position storage unit 71 ′ of the memory unit 70 ′ described later. And an equation representing the straight line L5 passing through the feature point is calculated, and the intersection angle φ2 between the straight line L3 and the straight line L5 obtained by the line-of-sight direction calculation unit 56 is calculated.
[0070]
The correction coefficient calculation unit 60 ′ position The correction coefficient is calculated using the gaze target position (the center of the line-of-sight distribution region) estimated by the estimation unit 57 ′ and the position information of the feature points stored in the gaze target position storage unit 71 ′. When the correction coefficient is not accurate, the line-of-sight distribution is, for example, as shown in FIG. However, as noted above position If the gaze direction distribution and the link are analyzed by the estimation unit 57 ′, it can be inferred that the position of the left side mirror gaze distribution 92 ′ in FIG. 13, for example, originally exists at the position of the left side mirror gaze distribution 92 in FIG. . Accordingly, the correction coefficient calculation unit 60 ′ calculates the correction coefficient so that the position of the left side mirror gaze distribution 92 ′ matches the position of the left side mirror gaze distribution 92.
[0071]
The memory unit 70 ′ previously stores the positions of feature points such as the center positions of the left and right side mirrors and the room mirror in the gaze target position storage unit 71 ′ serving as the gaze target position storage unit E5, and includes a correction coefficient. Calculation results such as correction coefficients A1, B1x, B1y calculated by the microcomputer 50 are stored in the correction coefficient storage unit 72 ′ serving as the storage means C.
[0072]
Next, the operation of the second embodiment will be described based on the flowchart shown in FIG. However, the same parts as those in the flowchart showing the operation of the first embodiment are denoted by the same reference numerals and description thereof is omitted.
In FIG. 14, when the measurement in the line-of-sight direction is started, the number of times of measurement n is initialized in step 201. The number of times of measurement n is a parameter for counting the number of data for determining whether to calculate a correction coefficient. Further, the table (TBL) set in the memory unit 70 ′ for recording information relating to the distribution state in the line-of-sight direction is cleared.
[0073]
In step 202, the number of measurements n is incremented.
Then, the same operations from Step 101 to Step 117 as in the first embodiment are performed, and the eyeball center O, the visual axis rotation angles θx, θy, and the like are calculated.
In step 203, a straight line L3n representing the driver's line-of-sight direction e at the n-th measurement is calculated.
[0074]
In step 204, the intersection point of the straight line L3n obtained in step 203 and the virtual plane V is calculated, and the position of the eyeball center O at that time is stored in the table of the memory unit 70 'together with the calculated position of the intersection point.
In step 205, it is determined whether or not the number of measurements n has exceeded a preset number of measurements, for example, 20,000. When the number of measurements n exceeds 20,000, the process proceeds to step 206 shown in the flowchart of FIG. When the number of measurements n is less than 20,000, the process proceeds to step 122.
[0075]
In steps 122 to 127, the line-of-sight switch operation similar to that of the first embodiment is performed. In step 206 shown in FIG. position In the estimation unit 57 ′, a plurality of data relating to the straight lines L31 to L3n stored in the table are read, and the distribution state in the line-of-sight direction is obtained based on the plurality of data. Each line-of-sight distribution area is estimated from the location with high distribution frequency and the result of link analysis, and the center of each line-of-sight distribution area is calculated.
[0076]
In step 207, it is estimated which feature point, for example, the position of the right side mirror, the center of each gaze distribution area obtained in step 206 corresponds to.
In step 208, accurate position information stored in the gaze target position storage unit 71 ′ of the memory unit 70 ′ is read for each feature point position associated in step 207, and the read position and line of sight are read. New correction coefficients A1, B1x, and B1y are calculated assuming that the center positions of the distribution regions match.
[0077]
In step 135 similar to the first embodiment, the correction coefficient stored in the correction coefficient storage unit 72 ′ of the memory unit 70 ′ is updated to the new correction coefficient obtained in step 208, and the process returns to step 201.
As described above, according to the second embodiment, the gaze target is estimated based on the distribution state of the driver's gaze direction, and the correction coefficient is calculated and updated using the position information of the gaze target. Unlike the apparatus or the apparatus of the first embodiment, the correction coefficient can be updated without operating a specific device. Even in this case, since a series of operations are automatically performed without the driver being aware of it, accurate gaze measurement with less error can be performed.
[0078]
In addition, in 2nd Embodiment, it was set as the structure which estimates the gaze position of a left-right side mirror or a room mirror during driving | running | working, However, This invention is not limited to this. For example, in a device having a voice guidance function or the like in a navigation device, a method of generating a buzzer sound or the like for the purpose of calling attention and subsequently presenting a guidance in a traveling direction with voice information is often performed. In this case, the driver often confirms the display screen after voice guidance. Therefore, the gaze target may be estimated in consideration of the high probability of viewing the display screen of the navigation device for a certain time after the voice guidance is generated.
[0079]
Next, a third embodiment of the present invention will be described.
In the third embodiment, a case where the gaze target estimation operation in the second embodiment is performed in consideration of the operation of the device will be described.
FIG. 16 is a diagram illustrating a configuration of a gaze direction measuring device according to the third embodiment. However, the same parts as those of the second embodiment are denoted by the same reference numerals, and description thereof is omitted.
[0080]
In FIG. 16, the difference between the configuration of the third embodiment and the configuration of the second embodiment is that the output of the operation detection unit 20 ′ as the second operation detection unit E8 is input to the microcomputer 50 ″. Is a point. Other configurations are the same as those of the second embodiment.
For example, when the operation detection unit 20 ′ is set as a winker lever and a shift lever as specific devices for detecting the operation by the driver, the right winker operation detection unit 24, the left winker operation detection unit 25, and the back gear. And an operation detection unit 26. The reason for setting the winker lever and shift lever is that before and after the winker lever is operated, the driver's gaze on the direction of the vehicle and the side mirror in that direction increases, and the shift lever selects reverse This is because the gaze target is estimated using the fact that the driver's gaze on the rearview mirror increases before and after that. The right turn signal operation detection unit 24 detects that the turn signal lever has been operated in the right direction, and sends an operation signal to the microcomputer 50 ''. The left turn signal operation detection unit 25 detects that the turn signal lever has been operated leftward, and sends an operation signal to the microcomputer 50 ″. The back gear operation detection unit 26 detects that the reverse is selected by the shift lever, and sends an operation signal to the microcomputer 50 ″.
[0081]
As shown in the functional block diagram of FIG. 17, the microcomputer 50 '' monitors the operation signal output from the operation detection unit 20 '. position The other parts are the same as those of the microcomputer 50 ′ of the second embodiment. Next, the operation of the third embodiment will be described based on the flowchart shown in FIG. However, the same parts as those in the flowcharts showing the operations of the first and second embodiments are denoted by the same reference numerals, and the description thereof is omitted.
[0082]
In FIG. 18, when the measurement of the gaze direction is started, the eyeball center O, the visual axis rotation angles θx, θy, and the like are calculated by the operations of Step 101 to Step 117, as in the operation of the first embodiment. A straight line L3n representing the driver's line-of-sight direction e is calculated by the same operation of step 203 in the second embodiment.
In step 301, the microcomputer 50 ″ determines whether or not there is an operation signal from the operation detection unit 20 ′. When the operation signal is generated, the process proceeds to step 302 in FIG. When the operation signal is not generated, the process proceeds to step 122, and the line-of-sight switch operation is performed in steps 122 to 127 similar to those in the first embodiment.
[0083]
In step 302 shown in the flowchart of FIG. 19, as with the operation of step 201 of the second embodiment, the number of times of measurement n is initialized and the table is cleared.
In step 303, the number of measurements n is incremented in the same manner as the operation in step 202 of the second embodiment.
In step 304, a series of operations similar to those in steps 101 to 203 in the second embodiment are performed to calculate a straight line L3n.
[0084]
In step 305, the intersection of the straight line L3n and the virtual plane V is calculated in the same manner as the operation in step 204 of the second embodiment, and the position of the eyeball center O at that time is stored in the table together with the calculated position of the intersection. .
In step 306, it is determined whether or not the operation signal from the operation detection unit 20 ′ is continuously transmitted. If the operation signal continues, the process returns to step 303 to accumulate data for estimating the gaze target. If the operation signal is not continued, the routine proceeds to step 206, where the correction coefficient is calculated.
[0085]
In step 206 to step 135, as in the operation of the second embodiment, the gaze target and the feature point are estimated based on the data stored in the table, and the correction coefficient is calculated and updated. After the correction coefficient is updated, the process returns to step 101.
Thus, according to the third embodiment, in addition to the effects of the second embodiment, when estimating the driver's gaze target, the operation of a specific device is taken into consideration, so that Since the estimation becomes more reliable, the correction coefficient can be updated more accurately and reliably.
[0086]
In the third embodiment, the configuration is such that when the winker lever and the shift lever are operated, the gaze of the side mirror and the room mirror increases. However, the present invention is not limited to this. For example, before and after stepping on the brake, the attention to the rearview mirror increases, the attention to the shift lever increases at the time of a shift change, the attention to the signal increases at the time of stop, and the front vehicle when stopping following the preceding vehicle It is also possible to apply the fact that attention to the vicinity of the driver increases, and that a vehicle equipped with a navigation device increases the attention to the navigation device when stopped.
[0087]
In addition, when the warning light is turned on, the driver may start to operate by watching this. For example, when a warning light that is turned on when the seat belt is not worn turns on, the driver may wear the seat belt after viewing the display. In this case, before the operation of attaching the seat belt is performed, the probability of looking at the corresponding warning indicator lamp is high, and thus the correction coefficient can be calculated by capturing this opportunity. Similarly, even when an operation such as a side brake is performed, there is a high probability that the corresponding warning indicator lamp is viewed before the operation is performed, and this opportunity may be used.
[0088]
Further, in addition to calculating the correction coefficient when looking at the warning indicator light of the seat belt, calculating the correction coefficient in consideration of the operation while looking at the seat belt bracket when the seat belt is worn is substantially the same. Since correction coefficients are obtained at different gaze positions, a more accurate correction coefficient can be calculated. Needless to say, this also applies to the operation of a side brake or the like.
[Brief description of the drawings]
FIG. 1 is a diagram corresponding to claims of the invention according to claim 1 or 2;
FIG. 2 is a diagram corresponding to claims of the invention of claim 3
FIG. 3 is a diagram corresponding to claims of the invention according to claim 4
FIG. 4 is a diagram showing a configuration of the first exemplary embodiment of the present invention.
FIG. 5 is a diagram showing an example of a layout near a driver's seat according to the first embodiment;
FIG. 6 is a functional block diagram of the microcomputer according to the first embodiment;
FIG. 7 is a flowchart showing the operation of the first embodiment.
FIG. 8 is a flowchart showing a correction coefficient update operation according to the first embodiment;
FIG. 9 is a diagram showing a configuration of a second exemplary embodiment of the present invention.
FIG. 10 is a functional block diagram of the microcomputer according to the second embodiment;
FIG. 11 is a diagram for explaining how to obtain the gaze direction distribution in the second embodiment;
FIG. 12 is a diagram for explaining a line-of-sight distribution serving as a reference for calculating a correction coefficient in the second embodiment;
FIG. 13 is a diagram showing a line-of-sight distribution calculation result before calculating an accurate correction coefficient in the second embodiment.
FIG. 14 is a flowchart showing the operation of the second embodiment.
FIG. 15 is a flowchart showing a correction coefficient update operation according to the second embodiment;
FIG. 16 is a diagram showing a configuration of a third exemplary embodiment of the present invention.
FIG. 17 is a functional block diagram of the microcomputer according to the third embodiment;
FIG. 18 is a flowchart showing the operation of the third embodiment.
FIG. 19 is a flowchart showing a correction coefficient update operation according to the third embodiment;
FIG. 20 is a diagram for explaining that the gaze direction is uniquely calculated when the eyeball position is fixed in the related art.
FIG. 21 is a diagram for explaining that the gaze direction is not uniquely calculated when the eyeball position is not fixed in the three-dimensional space in the prior art.
[Explanation of symbols]
10 Eyeball department
20,20 'operation detector
30 Controller
40 Display
50,50 ', 50''microcomputer
51 Cornea reflection image extraction unit
52 Corneal reflection straight line calculation unit
53 Eye center calculator
54 Pupil center calculator
55 Eye rotation angle calculator
56 Gaze direction calculator
57 Gaze target determination unit
57 'gaze position Estimator
58 Detection error calculator
59 Update judgment section
60,60 'correction coefficient calculator
61 Stop judgment section
70 Memory section
71 Device location memory
71 'Gaze target position storage
72,72 'correction coefficient memory

Claims

In a gaze direction measuring apparatus that calculates a correction coefficient for correcting a measurement error according to a measurement target person and measures the gaze direction of the measurement target person using the correction coefficient,
Eyeball position detecting means for detecting the position of the eyeball of the measurement subject;
Eyeball rotation angle detecting means for detecting the rotation angle of the eyeball;
Correction coefficient storage means for storing the correction coefficient;
Gaze direction calculation means for calculating the gaze direction of the measurement subject based on the eye position and the eyeball rotation angle using the correction coefficient stored in the correction coefficient storage means;
A first operation detection unit that outputs an operation signal when an operation of a device corresponding to a preset gaze target is detected, a device position storage unit that stores the position of the device in advance, and the first operation detection unit When an operation signal is output from the device, a shift amount between the device direction calculated based on the device position stored in the device position storage unit and the line-of-sight direction calculated by the line-of-sight direction calculation unit is obtained, When the deviation amount is less than a preset threshold value, a correction coefficient update determination unit that determines to update the correction coefficient stored in the correction coefficient storage unit, and a determination to update by the correction coefficient update determination unit A first correction coefficient calculating unit that calculates a new correction coefficient for correcting the shift amount and updates the correction coefficient stored in the correction coefficient storage unit;
A gaze direction measuring device characterized by comprising:

In a gaze direction measuring apparatus that calculates a correction coefficient for correcting a measurement error according to a measurement target person and measures the gaze direction of the measurement target person using the correction coefficient,
Eyeball position detecting means for detecting the position of the eyeball of the measurement subject;
Eyeball rotation angle detecting means for detecting the rotation angle of the eyeball;
Correction coefficient storage means for storing the correction coefficient;
Gaze direction calculation means for calculating the gaze direction of the measurement subject based on the eye position and the eyeball rotation angle using the correction coefficient stored in the correction coefficient storage means;
A gaze target position storage unit that stores a position of a gaze target set in advance, a second operation detection unit that outputs an operation signal when an operation of a preset device related to the gaze target is detected; A gaze position estimation unit that estimates a gaze position based on a plurality of gaze direction distribution states and change states calculated by the gaze direction calculation unit during a predetermined number of times in response to an operation signal from the two operation detection units. A new correction coefficient is calculated according to the difference between the gaze position estimated by the gaze position estimation unit and the gaze target position stored in the gaze target position storage unit, and stored in the correction coefficient storage unit A second correction coefficient calculation unit for updating the corrected correction coefficient;
A gaze direction measuring device characterized by comprising: