JP2017004117A - 視線検出装置および視線検出方法 - Google Patents

Abstract

【課題】容易かつ高精度な視線検出を行うこと。
【解決手段】実施形態に係る視線検出装置は、検出部と、取得部と、判定部と、算出部と、キャリブレーション部とを備える。検出部は、車両の運転者の視線方向を検出する。取得部は、車両の走行状況を取得する。判定部は、取得部によって取得された走行状況が、運転者が特定位置を注視中であると推定される状況であるか否かを判定する。算出部は、判定部によってその状況であると判定される場合における検出部の検出結果についての代表値を算出する。キャリブレーション部は、算出部によって算出された代表値が基準となるように検出部による視線方向の検出についてのキャリブレーションを実行する。
【選択図】図２

Description

開示の実施形態は、視線検出装置および視線検出方法に関する。

従来、車両の運転者の運転状態等を取得することを目的として、運転者の視線およびその動きを検出する技術が知られている。

たとえば、特許文献１には、運転者によって所定のスイッチが押下された場合に運転者の前方にキャリブレーション用のマーカーが表示され、このマーカーを運転者に注視させることによって取得される運転者とマーカーとの位置関係に基づき、視線検出のためのキャリブレーションを行う技術が開示されている。

特開平７−３５５４３号公報

しかしながら、上述した従来技術には、キャリブレーションのたびに運転者による操作が必要となるため、手順が煩わしく、容易に行うことができないという問題点があった。

また、キャリブレーションに際して運転者に車室内で上記スイッチを押下する姿勢をとらせるため、運転者が通常運転時にとる姿勢とは異なる姿勢でキャリブレーションが行われていた。このため、走行中の車両において運転者の視線検出を高精度に行ううえでは難があった。

実施形態の一態様は、上記に鑑みてなされたものであって、容易かつ高精度な視線検出を行うことができる視線検出装置および視線検出方法を提供することを目的とする。

実施形態の一態様に係る視線検出装置は、検出部と、取得部と、判定部と、算出部と、キャリブレーション部とを備える。前記検出部は、車両の運転者の視線方向を検出する。前記取得部は、前記車両の走行状況を取得する。前記判定部は、前記取得部によって取得された前記走行状況が、前記運転者が特定位置を注視中であると推定される状況であるか否かを判定する。前記算出部は、前記判定部によって前記状況であると判定される場合における前記検出部の検出結果についての代表値を算出する。前記キャリブレーション部は、前記算出部によって算出された前記代表値が基準となるように前記検出部による視線方向の検出についてのキャリブレーションを実行する。

実施形態の一態様によれば、容易かつ高精度な視線検出を行うことができる。

図１Ａは、実施形態に係る視線検出手法の概要を示す図（その１）である。 図１Ｂは、実施形態に係る視線検出手法の概要を示す図（その２）である。 図１Ｃは、実施形態に係る視線検出手法の概要を示す図（その３）である。 図１Ｄは、実施形態に係る視線検出手法の概要を示す図（その４）である。 図１Ｅは、実施形態に係る視線検出手法の概要を示す図（その５）である。 図２は、実施形態に係る視線検出装置のブロック図である。 図３は、赤外線カメラおよび赤外線ＬＥＤの配置例を示す図である。 図４Ａは、検出部および算出部による視線方向検出処理の説明図（その１）である。 図４Ｂは、検出部および算出部による視線方向検出処理の説明図（その２）である。 図４Ｃは、検出部および算出部による視線方向検出処理の説明図（その３）である。 図４Ｄは、検出部および算出部による視線方向検出処理の説明図（その４）である。 図５は、仮想平面上のプロットデータの一例を示す図である。 図６Ａは、判定部がキャリブレーション部にキャリブレーションを実行させる場合の説明図（その１）である。 図６Ｂは、判定部がキャリブレーション部にキャリブレーションを実行させる場合の説明図（その２）である。 図６Ｃは、判定部がキャリブレーション部にキャリブレーションを実行させる場合の説明図（その３）である。 図６Ｄは、判定部がキャリブレーション部にキャリブレーションを実行させる場合の説明図（その４）である。 図６Ｅは、判定部がキャリブレーション部にキャリブレーションを実行させる場合の説明図（その５）である。 図７Ａは、判定部がキャリブレーション部にキャリブレーションを実行させない場合の説明図（その１）である。 図７Ｂは、判定部がキャリブレーション部にキャリブレーションを実行させない場合の説明図（その２）である。 図７Ｃは、判定部がキャリブレーション部にキャリブレーションを実行させない場合の説明図（その３）である。 図７Ｄは、判定部がキャリブレーション部にキャリブレーションを実行させない場合の説明図（その４）である。 図８Ａは、判定部がキャリブレーション部に例外的にキャリブレーションを実行させる場合の説明図（その１）である。 図８Ｂは、判定部がキャリブレーション部に例外的にキャリブレーションを実行させる場合の説明図（その２）である。 図９Ａは、実施形態に係る視線検出装置が実行する処理手順を示すフローチャートである。 図９Ｂは、視線方向検出処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する視線検出装置および視線検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、本実施形態に係る視線検出手法の概要について図１Ａ〜図１Ｅを用いて説明した後に、この視線検出手法を適用した視線検出装置について、図２〜図９Ｂを用いて説明することとする。

まず、本実施形態に係る視線検出手法の概要について、図１Ａ〜図１Ｅを用いて説明する。図１Ａ〜図１Ｅは、実施形態に係る視線検出手法の概要を示す図（その１）〜（その５）である。

本実施形態に係る視線検出手法は、比較例となる公知の視線検出手法とは異なり、車両Ｃが停止中である場合にとどまらず、車両Ｃが走行中である場合にも動的に視線検出に係るキャリブレーションを実行可能にしようとするものである。

公知の視線検出手法にて行われる視線検出のキャリブレーションは、たとえば車両Ｃを停止させた状態で運転者Ｄに所定のスイッチを押下させてキャリブレーション用のマーカーを表示し、このマーカーを運転者Ｄに注視させることによって運転者Ｄとマーカーとの位置関係を取得し、取得したその位置関係に基づいて行われるものが知られている。

しかしながら、こうした視線検出手法では、キャリブレーションのたびに運転者Ｄによる操作が必要となるため、手順が煩わしく、容易に行うことができない。また、キャリブレーションに際して運転者Ｄがとる姿勢は、車室内で上記スイッチを押下する姿勢であり、運転者Ｄが通常運転時にとる姿勢とは異なるものである。このため、走行中の車両Ｃにおいて良好に運転者Ｄの視線検出を行うための精度を得るうえでは難がある。

そこで、本実施形態に係る視線検出手法では、車両Ｃが走行中であり、かつ、運転者Ｄの姿勢が通常運転時の自然姿勢である状況において、運転者Ｄの操作を必要とすることなく、視線検出のキャリブレーションを行うこととした。

具体的にはまず、図１Ａに示すように、本実施形態では、車両Ｃに搭載された視線検出装置１０が、走行中である車両Ｃの走行状況を取得する（ステップＳ１）。そして、視線検出装置１０は、取得した走行状況を判定する（ステップＳ２）。

具体的なその判定内容は、図１Ｂに示すように、「運転者が特定位置を注視している状況？」（ステップＳ２１）と推定されるか否かである。ここで、本実施形態では、その「特定位置」を「車両Ｃが勾配のない平坦な直線道路を直進中であると仮定した場合における運転者Ｄの正面方向の無限遠点」または「道路の消失点」としている。

すなわち、本実施形態では、かかる無限遠点（消失点）を運転者Ｄが注視していると推定される状況こそ、運転者Ｄが通常運転時の自然姿勢をとっていると見立てている。したがって、図１Ｂに示すように、ステップＳ２１では、車両Ｃが「直進中？」か、または、運転者Ｄの「視線をばらつかせる要素なし？」かといった内容の判定に基づき、運転者Ｄが「特定位置」を注視していると推定される状況であるか否かが判定される。ステップＳ２１の具体例については、図６Ａ〜図７Ｄを用いて後述する。

また、これと並行に、本実施形態では、図１Ｃに示すように、視線検出装置１０が、赤外線カメラ１３ａおよび赤外線ＬＥＤ１３ｂを用いつつ、運転者Ｄの視線方向の検出を動的に繰り返し行う（ステップＳ３）。

具体的には、赤外線ＬＥＤ１３ｂで照らした運転者Ｄの顔を赤外線カメラ１３ａで撮像することによって得られる赤外画像中の瞳孔１０１と、眼球上に生じる赤外照明反射像（角膜反射１０２）との位置関係により、運転者Ｄの視線方向を検出する。

概略的に言えば、たとえば、図１Ｃに示すように、瞳孔１０１が角膜反射１０２よりも目頭１０３側にあれば、運転者Ｄは目頭１０３側を視ていることが分かる。また、たとえば、瞳孔１０１が角膜反射１０２よりも目尻１０４側にあれば、運転者Ｄは目尻１０４側を視ていることが分かる。

そして、図１Ｄに示すように、本実施形態では、上述のステップＳ２１にて、運転者Ｄが「特定位置」を注視中であると推定される状況であると判定された場合において、かかる状況下でステップＳ３にて検出された視線方向を仮想平面Ｖ上へプロットする（ステップＳ４）。

仮想平面Ｖは、運転者Ｄと無限遠点∞とを結ぶ直線に直交する仮想上の平面であり、各視線方向は、かかる仮想平面Ｖと交わる位置へプロットされ、その位置は仮想平面Ｖ上のＸＹ座標軸上に示される。ステップＳ３〜Ｓ５の具体例については、図３〜図５を用いて後述する。

そして、視線検出装置１０は、かかるプロットされた各点Ｐ１〜Ｐ３（便宜上、３個を図示している）についての代表値を算出する（ステップＳ５）。代表値は各点Ｐ１〜Ｐ３の分布の中心を示すものであり、たとえば各点Ｐ１〜Ｐ３の平均値である。

そして、図１Ｅに示すように、本実施形態では、視線検出装置１０が、ステップＳ５にて算出された代表値が基準となるようにキャリブレーションを実行する（ステップＳ６）。すなわち、代表値が運転者Ｄの正面方向の無限遠点∞を示すものとして、運転者Ｄの視線検出可能領域におけるキャリブレーション情報（瞳孔１０１と角膜反射１０２との位置関係を示すマッピング情報を含む情報）を補正する。

これにより、たとえば図１Ｅに示すように、当初、点Ｐ’で示されていた無限遠点∞が、上記代表値にて点Ｐで示されるならば、運転者Ｄが無限遠点∞を視る場合におけるキャリブレーション情報は点Ｐ’から点Ｐへ補正される。また、これを基準として、上記マッピング情報のすべてが補正されることとなる。

このように、本実施形態では、車両Ｃの走行状況を取得し、取得された走行状況が、運転者Ｄが特定位置を注視中であると推定される状況であるか否かを判定するとともに、これと並行に、車両Ｃの運転者Ｄの視線方向を動的に繰り返し検出することとした。

そして、本実施形態では、取得された走行状況が、運転者Ｄが特定位置を注視中であると推定される状況であると判定されたならば、かかる状況下における運転者Ｄの視線方向の検出結果についての代表値を算出し、かかる代表値が基準となるように視線方向の検出についてのキャリブレーションを実行することとした。したがって、本実施形態によれば、容易かつ高精度な視線検出を行うことができる。

以下、図１Ａ〜図１Ｅに概要を示した本実施形態について、順次具体的に説明してゆく。

図２は、実施形態に係る視線検出装置１０のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

さらに、視線検出装置１０の各機能ブロックにて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）などのプロセッサおよび当該プロセッサにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得るものである。

図２に示すように、視線検出装置１０は、車両Ｃに設けられる。なお、車両Ｃには、視線検出装置１０の他にも、車両Ｃの周囲を撮像可能な車載カメラ２や、車両Ｃの舵角を検出する舵角センサ３、車速を検出する車速センサ４、加速度を検出する加速度センサ５、車両Ｃの周囲の輝度変化を検出する輝度センサ６等のセンサ群が搭載される。

また、車両Ｃには、車両Ｃに先行する先行車ＬＣを検出する先行車検出装置２０や、地図情報３０ａに基づく経路誘導を行う運転支援装置３０、道路の白線を検出する白線検出装置４０等の装置群が搭載される場合がある。なお、先行車検出装置２０としては、たとえばミリ波レーダーやカメラ等を使用した任意の手段を用いることができる。

視線検出装置１０は、これら車載カメラ２や、舵角センサ３〜輝度センサ６等のセンサ群、先行車検出装置２０〜白線検出装置４０等の装置群のいずれとも通信可能に設けられている。

また、視線検出装置１０は、制御部１１と、記憶部１２と、検出部１３とを備える。記憶部１２は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスである。

制御部１１は、たとえばＣＰＵであり、記憶部１２に記憶されたプログラム（図示略）を読み出して実行することにより、たとえば図２に示す各機能ブロック１１ａ〜１１ｄとして機能する。つづいて、各機能ブロック１１ａ〜１１ｄについて説明する。

制御部１１は、取得部１１ａと、判定部１１ｂと、算出部１１ｃと、キャリブレーション部１１ｄとを備える。

取得部１１ａは、車両Ｃの走行状況を取得する。具体的には、取得部１１ａは、上述の車載カメラ２や、舵角センサ３〜輝度センサ６等のセンサ群、先行車検出装置２０〜白線検出装置４０等の装置群から、撮像情報やセンシング情報、各装置群の出力情報といった車両Ｃの走行状況に関する各種情報を取得する。また、取得部１１ａは、取得した各種情報を判定部１１ｂへ通知する。

判定部１１ｂは、取得部１１ａによって取得された車両Ｃの走行状況を解析して、解析結果に基づき、かかる走行状況が、運転者Ｄが特定位置を注視中であると推定される状況であるか否かを判定する。かかる判定内容の具体例については、図６Ａ〜図７Ｄを用いて後述する。

また、判定部１１ｂは、走行状況が、運転者Ｄが特定位置を注視中であると推定される状況であるならば、算出部１１ｃにかかる状況下における検出部１３の検出結果についての代表値を算出させて、キャリブレーション部１１ｄにこの代表値を基準とするキャリブレーションを実行させる。

また、判定部１１ｂは、走行状況が、運転者Ｄが特定位置を注視中でないと推定される状況であるならば、取得部１１ａからの走行状況を新たに受け付けて解析および判定する処理を繰り返し行う。

算出部１１ｃは、赤外線カメラ１３ａおよび赤外線ＬＥＤ１３ｂを有する検出部１３の検出結果に基づいて運転者Ｄの視線方向および視線位置を随時算出する。視線位置は、視線方向と、上述の仮想平面Ｖとの交点に対応する。算出の間隔は、たとえば毎秒数十回程度である。

また、算出部１１ｃは、判定部１１ｂによって、走行状況が、運転者Ｄが特定位置を注視中であると推定される状況であると判定されたならば、かかる状況下における運転者Ｄの視線方向についての代表値を算出する。

ここで、検出部１３および算出部１１ｃの行う具体的な処理内容について、図３〜図５を用いて説明しておく。図３は、赤外線カメラ１３ａおよび赤外線ＬＥＤ１３ｂの配置例を示す図である。図４Ａ〜図４Ｄは、検出部１３および算出部１１ｃによる視線方向検出処理の説明図（その１）〜（その４）である。図５は、仮想平面Ｖ上のプロットデータの一例を示す図である。

図３に示すように、検出部１３の赤外線カメラ１３ａおよび赤外線ＬＥＤ１３ｂは、たとえば車両Ｃの運転席のステアリングコラムの上部に、運転者Ｄの顔を撮像領域に含むようにして設けられる。

このようにして設けられた赤外線カメラ１３ａおよび赤外線ＬＥＤ１３ｂは、たとえば図３に示すような視線検出可能領域ＤＲを有する。視線検出可能領域ＤＲは、たとえば赤外線カメラ１３ａを中心とする±２０〜３０°程度の領域である。

なお、図３では視線検出可能領域ＤＲを真円で図示しているが、その形状を限定するものではない。視線検出可能領域ＤＲには、無論、本実施形態における特定位置となる無限遠点∞が含まれる。

そして、このようにして設けられた赤外線カメラ１３ａおよび赤外線ＬＥＤ１３ｂにより、まず運転者Ｄの顔を含む赤外画像が算出部１１ｃへ入力され、図４Ａに示すように、算出部１１ｃは、たとえば公知の画像解析手法により目領域ＥＲを検出する。

つづいて、算出部１１ｃは、図４Ｂに示すように、目輪郭ＥＥを検出するとともに、図４Ｃに示すように、つづけて瞳孔１０１を検出する。

つづいて、算出部１１ｃは、たとえば既に図１Ｃに示した手法等により、瞳孔１０１の中心を算出し、かかる瞳孔１０１の中心に基づいて運転者Ｄの視線方向を算出する。なお、これは運転者Ｄの両目について行われる。そして、算出部１１ｃは、このようにして算出した視線方向に基づいて視線検出可能領域ＤＲにおける運転者Ｄの視線位置（たとえば図４Ｄに示す点Ｐ）を算出する。

そして、算出部１１ｃは、判定部１１ｂによって、走行状況が、運転者Ｄが特定位置を注視中であると推定される状況であると判定されたならば、かかる状況下における運転者Ｄの視線位置Ｐを仮想平面Ｖ上のＸＹ座標軸上にプロットすることとなる（たとえば図５参照）。

そして、算出部１１ｃは、かかるＸＹ座標軸上のプロットデータの分布の中心を求めることによって代表値を算出する。なお、代表値は、たとえば平均値であると上述したが、これに限られるものではなく、たとえば中央値や最頻値を用いたり、あるいはすべてのプロットデータからの距離に基づいて算出したりしてもよい。

図２の説明に戻り、つづけて算出部１１ｃについて説明する。また、算出部１１ｃは、算出した代表値をキャリブレーション部１１ｄへ通知する。

キャリブレーション部１１ｄは、算出部１１ｃから通知された代表値に基づき、この代表値を基準とするキャリブレーションを実行する。キャリブレーション部１１ｄは、かかるキャリブレーションを実行するたびに、記憶部１２のキャリブレーション情報１２ａを更新する。

キャリブレーション情報１２ａは、運転者Ｄのキャリブレーションに関する情報であり、既に述べたように、たとえば運転者Ｄの視線検出可能領域ＤＲにおける瞳孔１０１と角膜反射１０２との位置関係を示すマッピング情報を含む情報である。

次に、上述した判定部１１ｂが実行する判定処理の具体的な内容について、図６Ａ〜図７Ｄを用いて説明する。図６Ａ〜図６Ｅは、判定部１１ｂがキャリブレーション部１１ｄにキャリブレーションを実行させる場合の説明図（その１）〜（その５）である。これに対し、図７Ａ〜図７Ｄは、判定部１１ｂがキャリブレーション部１１ｄにキャリブレーションを実行させない場合の説明図（その１）〜（その４）である。

すなわち、図６Ａ〜図６Ｅには、判定部１１ｂにより、走行状況が、運転者Ｄが特定位置を注視中であると推定される状況であると判定される場合を示している。これに対し、図７Ａ〜図７Ｄには、走行状況が、運転者Ｄが特定位置を注視中であると推定されない状況であると判定される場合を示している。

まず、判定部１１ｂは基本的に、本実施形態における特定位置が「車両Ｃが勾配のない平坦な直線道路を直進中であると仮定した場合における運転者Ｄの正面方向の無限遠点∞」を示すことから、図６Ａに示すように、車両Ｃがかかる直線道路を直進中であるか否かを判定する。

具体的には、図６Ｂに示すように、判定部１１ｂは、取得部１１ａが舵角センサ３から取得した舵角に基づき、かかる舵角がほぼ０°（舵角≒０°）であるならば、車両Ｃが直線道路を直進中であると見なし、キャリブレーション部１１ｄにキャリブレーションを実行させる。

また、たとえば図６Ｃに示すように、判定部１１ｂは、取得部１１ａが運転支援装置３０から取得した地図情報３０ａに基づき、かかる地図情報３０ａから走行中の道路の曲率を抽出する。そして、判定部１１ｂは、かかる曲率がほぼ０％（曲率≒０％）であるならば、車両Ｃが直線道路を直進中であると見なし、キャリブレーション部１１ｄにキャリブレーションを実行させる。

また、たとえば図６Ｄに示すように、判定部１１ｂは、取得部１１ａが白線検出装置４０から取得した検出結果に基づき、車両Ｃの前後方向と白線方向とがほぼ平行（車両前後方向／／白線方向）であるならば、車両Ｃが直線道路を直進中であると見なし、キャリブレーション部１１ｄにキャリブレーションを実行させる。

また、たとえば図６Ｅに示すように、判定部１１ｂは、取得部１１ａが車速センサ４から取得した車速に基づき、かかる車速が予め規定された規定値以上（車速≧規定値）であるならば、車両Ｃが直線道路を直進中であると見なし、キャリブレーション部１１ｄにキャリブレーションを実行させる。

なお、ここで規定値は、たとえば１００ｋｍ／ｈ程度である。また、車速に限らず、たとえば加速度センサ５から取得した加速度に基づくこととしてもよい。

また、判定部１１ｂは、取得部１１ａが先行車検出装置２０から取得した検出結果に基づき、車両Ｃと先行車ＬＣとの相対関係を示す評価値を算出したうえで、この評価値を評価することによって、キャリブレーション部１１ｄによるキャリブレーションの実行の可否を判定することとしてもよい。

たとえば、図７Ａに示すように、車両Ｃが直進中であるものの、かかる車両Ｃの前方に先行車ＬＣが存在しているものとする。まず、車両Ｃが直進中であっても、先行車ＬＣがいれば、たとえばその先行車ＬＣが車両Ｃに近かったり、あるいは次第に近づいてきたりすれば、車両Ｃの運転者Ｄは、視線をばらつかせやすい。すなわち、運転者Ｄは、特定位置を注視しがたい状況が起こり得る。

かかる場合、上述のように車両Ｃと先行車ＬＣとの相対関係を示す評価値を算出し、この評価値を評価することによって、キャリブレーション部１１ｄによるキャリブレーションの実行の可否を判定することができる。

具体的に、評価値としては、たとえばＴＴＣ（time to collision）、いわゆる衝突余裕時間を用いることができる。具体的には、図７Ａに示すように、たとえば車両Ｃの車速＝５０ｍ／ｓであり、先行車ＬＣの車速＝２０ｍ／ｓであったものとする。また、その間の距離＝５０ｍであったものとする。すなわち、このまま直進すれば、車両Ｃは距離５０ｍからさらに先行車ＬＣへ近づいていく走行状況である。

かかる場合、評価値として用いる衝突余裕時間（ＴＴＣ）は、相対距離（ｍ）／相対速度（ｍ／ｓ）で求めることができるので、５０／（５０−２０）≒１．７（ｓ）となる。ここで、たとえば、運転者Ｄが、無限遠点∞を注視することがあり得ないＴＴＣは２秒以下であると想定して規定値「２．０（ｓ）」が予め規定されていれば、ここでは「１．７（ｓ）＜２．０（ｓ）」であるので、判定部１１ｂは、キャリブレーション部１１ｄにキャリブレーションを実行させないこととなる。

なお、車両Ｃと先行車ＬＣとの相対関係を示す評価値としては、単に相対距離のみを用いることとしてもよい。たとえば、図７Ｂに示すように、車両Ｃと先行車ＬＣとの間の距離＝５０ｍであるものとする。

ここで、運転者Ｄが、無限遠点∞を注視することがあり得ない相対距離は６０ｍ以下であると想定して規定値「６０（ｍ）」が予め規定されていれば、ここでは「５０（ｍ）＜６０（ｍ）」であるので、判定部１１ｂは、キャリブレーション部１１ｄにキャリブレーションを実行させないこととなる。

ところで、走行状況によっては、運転者Ｄの視界領域に運転者Ｄの視線をばらつかせる、言い換えれば視線を不安定化させる不安定化要素が含まれる場合がある。

図７Ｃにその一例を示す。図７Ｃに示すのは、道路の経路形状だけを見れば、運転者Ｄが無限遠点∞を注視しうる道路であるが、かかる道路は、右側に柱と空間が交互に存在するものであり、運転者Ｄの視界領域の右側の輝度を大きく変化させるものである。

この場合、運転者Ｄの視線は、視界領域の左側へ寄りがちとなるので、運転者Ｄが無限遠点∞を注視する状況とは言いがたい。したがって、このような場合、判定部１１ｂは、図中に破線で囲まれた領域を、運転者Ｄの視線を不安定化させる不安定化領域（不安定化要素の一つ）として取り扱う。そして、判定部１１ｂは、かかる不安定化領域が運転者Ｄの視界領域に含まれるならば、キャリブレーションに適さないとして、キャリブレーション部１１ｄにキャリブレーションを実行させない。

なお、この不安定化領域が運転者Ｄの視界領域に含まれるか否かは、たとえば車載カメラ２による撮像画像と輝度センサ６による検出結果とに基づいて判定することが可能である。

不安定化領域が含まれるもう一例を図７Ｄに示す。図７Ｄに示すのは、道路の経路形状だけを見れば、運転者Ｄが無限遠点∞を注視しやすいほぼ直線の道路であるが、かかる道路は、上側に透光性のある格子状の屋根が存在するものであり、運転者Ｄの視界領域の上側の輝度を大きく変化させるものである。

この場合、運転者Ｄの視線は、視界領域の下側へ寄りがちとなるので、やはり運転者Ｄが無限遠点∞を注視する状況とは言いがたい。したがって、このような場合も、判定部１１ｂは、図中に破線で囲まれた領域を不安定化領域として取り扱い、かかる不安定化領域が運転者Ｄの視界領域に含まれるならば、キャリブレーションに適さないとして、キャリブレーション部１１ｄにキャリブレーションを実行させない。

ところで、これまでは、判定部１１ｂが、不安定化要素が運転者Ｄの視界領域に含まれるならば、一律にキャリブレーション部１１ｄにキャリブレーションを実行させない場合について説明してきたが、たとえば例外的にキャリブレーションを実行させることとしてもよい。

かかる場合について、図８Ａおよび図８Ｂを用いて説明する。図８Ａおよび図８Ｂは、判定部１１ｂがキャリブレーション部１１ｄに例外的にキャリブレーションを実行させる場合の説明図（その１）および（その２）である。

図８Ａに示すのは、トンネル内の直線道路である。図８Ａに示すように、トンネルの天井部には、トンネル照明ＴＬが、トンネル沿いに所定の間隔で配置されていることが多い。したがって、トンネル内を車両Ｃが走行する場合、運転者Ｄはトンネル照明ＴＬによる視界領域の上側の輝度変化を受けて、その視線を下げる傾向がある。

すなわち、トンネル天井部は上述の不安定化領域に対応し、上述のように、キャリブレーションに適さないとして、キャリブレーション部１１ｄにキャリブレーションを実行させないとすることができる。

しかし、見方を変えれば、トンネルは一般に直線状であることが多く、運転者Ｄを左右に脇見させる脇見可能性も少ないため、キャリブレーションに適しているとも言える。そこで、例外的に、上下方向あるいは左右方向についてのみ、キャリブレーション部１１ｄにキャリブレーションを実行させることとしてもよい。

たとえば図８Ａに示すトンネルの場合、運転者Ｄの視線を下げさせる不安定化要素（トンネル照明ＴＬ）は運転者Ｄの視界領域の上側に存在するので、上下方向についてはキャリブレーションせずに、左右方向についてのみキャリブレーションを実行することとすればよい。

また、方向を限定してキャリブレーションを実行するのではなく、たとえば視線の分布が不安定化要素によってずれるのであれば、かかるずれ量を特定位置について推定し、この特定位置のずれ量に応じて上述の代表値をオフセットさせたキャリブレーションを実行することとしてもよい。

具体的には、図８Ａに示すトンネルにおいて、運転者Ｄの視線が下がる傾向にあり、視線の分布が下側にずれるのであれば、そのずれ量を推定し、分布の中心である代表値をそのずれ量に応じて上側にオフセットさせたキャリブレーションを実行してもよい。

これにより、運転者Ｄの視界領域に不安定要素が含まれる場合であっても、なお走行状況にキャリブレーションに適した要素が含まれるならば、不安定要素によって生じるずれ量分を補いつつ、キャリブレーションを実行することができる。

また、図８Ｂに示すのは、図８Ａに示したのとは対照的な走行状況の一例であり、屋外の空いている直線道路である。かかる場合、運転者Ｄは、その視線を上げる傾向がある。これは、運転者Ｄの視界領域の上側よりも下側の方が輝度等の変化が大きいためである。

したがって、図８Ｂに示す例の場合、運転者Ｄの視線を上げさせる不安定化要素は運転者Ｄの視界領域の下側に存在すると言えるので、上下方向についてはキャリブレーションせずに、左右方向についてのみキャリブレーションを実行することとすればよい。

また、運転者Ｄの視線が上がる傾向にあり、視線の分布が上側にずれるのであれば、そのずれ量を推定し、分布の中心である代表値をそのずれ量に応じて下側にオフセットさせたキャリブレーションを実行してもよい。

次に、実施形態に係る視線検出装置１０が実行する処理手順について、図９Ａおよび図９Ｂを用いて説明する。図９Ａは、実施形態に係る視線検出装置１０が実行する処理手順を示すフローチャートである。図９Ｂは、視線方向検出処理の処理手順を示すフローチャートである。なお、図９Ａでは、上述したキャリブレーションを例外的に実行する場合については記載を省略している。

図９Ａに示すように、視線検出装置１０は、視線方向検出処理を行う（ステップＳ１０１）。かかる視線方向検出処理は、ステップＳ１０２以降の処理とは並列に繰り返し実行される。

ここで、図９Ｂに示すように、視線方向検出処理ではまず、算出部１１ｃが、検出部１３から赤外線カメラ１３ａおよび赤外線ＬＥＤ１３ｂによる赤外画像を入力する（ステップＳ２０１）。そして、算出部１１ｃが、赤外画像から目領域ＥＲを検出する（ステップＳ２０２）。

つづいて、算出部１１ｃは、目輪郭ＥＥを検出し（ステップＳ２０３）、さらに瞳孔１０１を検出する（ステップＳ２０４）。そして、算出部１１ｃは、瞳孔１０１の中心を算出する（ステップＳ２０５）。

そして、算出部１１ｃは、瞳孔１０１の中心および角膜反射１０２の位置関係から視線方向を算出し（ステップＳ２０６）、視線方向検出１回分についての処理を終了する。

図９Ａの説明に戻り、ステップＳ１０２について説明する。ステップＳ１０２では、取得部１１ａが、車両Ｃの走行状況を取得する。そして、判定部１１ｂが、その走行状況を解析する（ステップＳ１０３）。

そのうえで、判定部１１ｂは、解析結果から、運転者Ｄが特定位置を注視していると推定される状況であるか否かを判定する（ステップＳ１０４）。ここで、その判定条件を満たす場合（ステップＳ１０４，Ｙｅｓ）、算出部１１ｃが、上記状況下での視線方向検出結果の代表値を算出する（ステップＳ１０５）。

そして、キャリブレーション部１１ｄが、代表値を基準とするキャリブレーションを実行する（ステップＳ１０６）。一方、ステップＳ１０４の判定条件を満たさない場合（ステップＳ１０４，Ｎｏ）、キャリブレーション部１１ｄは、キャリブレーションを実行しない（ステップＳ１０７）。

そして、視線検出装置１０は、キャリブレーション１回分についての処理を終了する。したがって、図９Ａに示すフローチャートの処理手順は、キャリブレーションの可否が問われるたびごとに、繰り返し実行される。

上述してきたように、実施形態に係る視線検出装置は、検出部と、取得部と、判定部と、算出部と、キャリブレーション部とを備える。検出部は、車両の運転者の視線方向を検出する。取得部は、車両の走行状況を取得する。判定部は、取得部によって取得された走行状況が、運転者が特定位置を注視中であると推定される状況であるか否かを判定する。

算出部は、判定部によってその状況であると判定される場合における検出部の検出結果についての代表値を算出する。キャリブレーション部は、算出部によって算出された代表値が基準となるように検出部による視線方向の検出についてのキャリブレーションを実行する。

したがって、実施形態に係る視線検出装置によれば、容易かつ高精度な視線検出を行うことができる。

なお、上述した実施形態では、運転者の瞳孔と角膜反射との位置関係に基づいて視線方向を検出する場合を例に挙げたが、これに限られるものではない。たとえば、可視光カメラによって運転者の目を撮像し、基準点を目頭にし、かかる目頭に対する虹彩の位置によって視線方向を検出することとしてもよい。

また、上述した実施形態では、車両が走行中についてのみキャリブレーションを実行する場合を例に挙げたが、これに限られるものではない。たとえば、運転者それぞれの１回目のキャリブレーションでは、比較例となる公知の手法と同様の手法によって、車両を停止させた状態でキャリブレーションを行い、それにより得たキャリブレーション情報を初期設定情報として記憶部が予め記憶していてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

２ 車載カメラ
３ 舵角センサ
４ 車速センサ
５ 加速度センサ
６ 輝度センサ
１０ 視線検出装置
１１ 制御部
１１ａ 取得部
１１ｂ 判定部
１１ｃ 算出部
１１ｄ キャリブレーション部
１２ 記憶部
１２ａ キャリブレーション情報
１３ 検出部
１３ａ 赤外線カメラ
１３ｂ 赤外線ＬＥＤ
２０ 先行車検出装置
３０ 運転支援装置
３０ａ 地図情報
４０ 白線検出装置
１０１ 瞳孔
１０２ 角膜反射
１０３ 目頭
１０４ 目尻
Ｃ 車両
Ｄ 運転者
ＤＲ 視線検出可能領域
ＥＥ 目輪郭
ＥＲ 目領域
ＬＣ 先行車
Ｐ 視線位置

Claims (13)

1. 車両の運転者の視線方向を検出する検出部と、
   前記車両の走行状況を取得する取得部と、
   前記取得部によって取得された前記走行状況が、前記運転者が特定位置を注視中であると推定される状況であるか否かを判定する判定部と、
   前記判定部によって前記状況であると判定される場合における前記検出部の検出結果についての代表値を算出する算出部と、
   前記算出部によって算出された前記代表値が基準となるように前記検出部による視線方向の検出についてのキャリブレーションを実行するキャリブレーション部と
   を備えることを特徴とする視線検出装置。
2. 前記判定部は、
   前記車両が平坦な直線道路を直進中であると仮定した場合における前記運転者の正面方向の無限遠点または道路の消失点を前記特定位置とすること
   を特徴とする請求項１に記載の視線検出装置。
3. 前記取得部は、
   前記車両に搭載された先行車検出装置の検出結果を取得し、
   前記判定部は、
   前記先行車検出装置の検出結果に基づいて前記車両と先行車との相対関係を示す評価値を算出したうえで該評価値を評価することによって、前記キャリブレーション部による前記キャリブレーションの実行の可否を判定すること
   を特徴とする請求項２に記載の視線検出装置。
4. 前記キャリブレーション部は、
   前記車両が直進中である場合に、前記キャリブレーションを実行すること
   を特徴とする請求項２に記載の視線検出装置。
5. 前記取得部は、
   前記車両の舵角を取得し、
   前記判定部は、
   前記舵角に基づいて前記車両が直進中であるか否かを判定し、
   前記キャリブレーション部は、
   前記判定部によって前記車両が直進中であると判定された場合に、前記キャリブレーションを実行すること
   を特徴とする請求項４に記載の視線検出装置。
6. 前記取得部は、
   地図情報に基づく経路誘導を行う運転支援装置が前記車両へ搭載されている場合に、前記地図情報を取得し、
   前記判定部は、
   前記地図情報から前記車両が走行中である道路の曲率を含む情報を抽出したうえで該曲率を含む情報に基づいて前記車両が直進中であるか否かを判定し、
   前記キャリブレーション部は、
   前記判定部によって前記車両が直進中であると判定された場合に、前記キャリブレーションを実行すること
   を特徴とする請求項４に記載の視線検出装置。
7. 前記取得部は、
   道路の白線を検出する白線検出装置が前記車両へ搭載されている場合に、前記白線検出装置の検出結果を取得し、
   前記判定部は、
   前記白線検出装置の検出結果に基づいて前記車両が直進中であるか否かを判定し、
   前記キャリブレーション部は、
   前記判定部によって前記車両が直進中であると判定された場合に、前記キャリブレーションを実行すること
   を特徴とする請求項４に記載の視線検出装置。
8. 前記取得部は、
   前記車両の速度および加速度の少なくともいずれかを取得し、
   前記判定部は、
   前記速度および加速度の少なくともいずれかが、該速度および加速度のそれぞれについて予め規定された規定値を超える場合に、前記車両が直進中であると判定し、
   前記キャリブレーション部は、
   前記判定部によって前記車両が直進中であると判定された場合に、前記キャリブレーションを実行すること
   を特徴とする請求項２に記載の視線検出装置。
9. 前記判定部は、
   前記取得部によって取得された前記走行状況に基づき、前記運転者の視界領域に該運転者の視線方向を不安定化させる不安定化要素が含まれているか否かを判定すること
   を特徴とする請求項１〜８のいずれか一つに記載の視線検出装置。
10. 前記キャリブレーション部は、
    前記判定部によって前記視界領域に前記不安定化要素が含まれていると判定された場合に、前記キャリブレーションを実行しないこと
    を特徴とする請求項９に記載の視線検出装置。
11. 前記キャリブレーション部は、
    前記判定部によって前記視界領域に前記不安定化要素が含まれていると判定された場合に、前記視界領域で前記不安定化要素が含まれていない方向についての前記キャリブレーションを実行すること
    を特徴とする請求項９に記載の視線検出装置。
12. 前記キャリブレーション部は、
    前記判定部によって前記視界領域に前記不安定化要素が含まれていると判定された場合に、前記不安定化要素によって生じると推定される前記特定位置のずれ量に応じて前記代表値をオフセットさせた前記キャリブレーションを実行すること
    を特徴とする請求項９に記載の視線検出装置。
13. 車両の運転者の視線方向を検出する検出工程と、
    前記車両の走行状況を取得する取得工程と、
    前記取得工程によって取得された前記走行状況が、前記運転者が特定位置を注視中であると推定される状況であるか否かを判定する判定工程と、
    前記判定工程によって前記状況であると判定される場合における前記検出工程の検出結果についての代表値を算出する算出工程と、
    前記算出工程によって算出された前記代表値が基準となるように前記検出工程による視線方向の検出についてのキャリブレーションを実行するキャリブレーション工程と
    を含むことを特徴とする視線検出方法。

Images