JP2010030361A - 運転状態監視装置 - Google Patents

Abstract

【課題】視線方向検出のキャリブレーションにおける運転者の負担を軽減させることができる運転状態監視装置を提供する。
【解決手段】運転状態監視装置１は、顔画像撮像カメラ２と、リセットスイッチ３と、運転状態監視ＥＣＵ９とを備えている。運転状態監視ＥＣＵ９は、顔画像撮像カメラ２により取得された運転者Ｄの顔画像から運転者Ｄの視線方向を検出し、その運転者Ｄの視線方向に基づいて、運転者Ｄが注視している車両装備品（例えば、ルームミラー、サイドミラー、ナビゲーションシステム４、エアコン５、ナイトビュー表示器８等）を推定し、運転者Ｄから見た車両装備品の方向を視線方向の基準に設定して、視線方向検出のキャリブレーションを行う。
【選択図】 図１

Description

本発明は、車両の運転者の運転状態を監視する運転状態監視装置に関する。

従来の運転状態監視装置としては、例えば特許文献１に記載されているものが知られている。特許文献１に記載の装置では、運転者の視線方向（注視点）の検出を行う前に、予め運転者の視線方向検出に関するキャリブレーションを行う。運転者によってキャリブレーションスイッチが押下された場合に、運転者の前方にキャリブレーション用の視標が表示され、このときの運転者の眼球の画像から抽出された網膜反射像の明るさに基づいてキャリブレーションが行われる。
特開平７−３５５４３号公報

しかしながら、上記従来技術では、キャリブレーションを行う際に、運転者がいちいちキャリブレーションスイッチを押下する必要があると共に、運転者がキャリブレーション用の視標を意図的に注視する必要があり、運転者の負担となるおそれがあった。

そこで、本発明の目的は、視線方向検出のキャリブレーションにおける運転者の負担を軽減させることができる運転状態監視装置を提供することである。

本発明は、車両の運転者の運転状態を監視する運転状態監視装置において、運転者の視線方向を検出する視線方向検出手段と、視線方向検出手段によって検出された運転者の視線方向に基づいて、運転者が注視している車両装備対象物を推定する対象物推定手段と、対象物推定手段によって推定された車両装備対象物に対する運転者の視線方向が基準となるように視線方向検出手段による視線方向の検出のキャリブレーションを行うキャリブレーション手段とを備えることを特徴とする。

本発明に係わる運転状態監視装置においては、運転者の視線方向を検出し、その視線方向に基づいて運転者が注視している車両装備対象物を推定する。そして、推定された車両装備対象物に対する運転者の視線方向が基準となるように視線方向検出のキャリブレーションを行う。これにより、運転者が車両装備対象物（例えばルームミラー、サイドミラー、エアコン等）を見るといった自然な行動によって視線方向の基準を設定し、視線方向検出のキャリブレーションを実施することができる。そのため、運転者は、スイッチの押下や意図的に特定の方向を見る等といった行動をとる必要がなくなる。したがって、視線方向検出のキャリブレーションにおける運転者の負担を軽減させることが可能となる。

また、好ましくは、キャリブレーション手段は、対象物推定手段によって運転者が注視している車両装備対象物が推定される度に、視線方向検出手段による視線方向の検出のキャリブレーションを行う。この場合、運転者の視線方向の基準設定が繰り返し行われるので、視線方向検出のキャリブレーション精度を高めることが可能となる。

本発明によれば、視線方向検出のキャリブレーションにおける運転者の負担を軽減させることができる。これにより、運転者の利便性の向上を図ることができる。

以下に、本発明に係わる運転状態監視装置の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わる運転状態監視装置の一実施形態を示す概略構成図である。同図において、本実施形態の運転状態監視装置１は、運転者Ｄが注視している車両装備品（車両装備対象物）を推定し、推定された車両装備品の方向を視線方向の基準と設定して、視線方向検出のキャリブレーションを行うものである。

運転状態監視装置１は、顔画像撮像カメラ２と、リセットスイッチ３と、運転状態監視ＥＣＵ９とを備えている。運転状態監視ＥＣＵ９には、ナビゲーションシステム４、エアコン５及びナイトビュー表示器８が接続されている。ナイトビュー表示器８にはナイトビューシステムＥＣＵ７が接続され、このナイトビューシステムＥＣＵ７には赤外線カメラ６が接続されている。

顔画像撮像カメラ２は、例えばコラムカバーの上面に設置され、運転者Ｄの顔画像を取得する。顔画像撮像カメラ２は、例えば近赤外線カメラであり、照射された近赤外光に反射した反射光を受光することにより、運転者Ｄの顔を撮像する。顔画像撮像カメラ２は、検出信号（画像信号）を運転状態監視ＥＣＵ９に送出する。

リセットスイッチ３は、視線方向検出のキャリブレーションに関する情報をリセットし、初期状態にするためのスイッチである。リセットスイッチ３は、検出信号（リセット信号）を運転状態監視ＥＣＵ９に送出する。

ナビゲーションシステム４は、ナビゲーションシステム４のＯＮ／ＯＦＦ等を操作するための操作スイッチ４ａを備えている。操作スイッチ４ａは、検出信号（操作信号）を運転状態監視ＥＣＵ９に送出する。なお、操作信号は、ナビゲーションシステム４のディスプレイのタッチパネルが操作された場合に送出されてもよい。

エアコン５は、エアコン５のＯＮ／ＯＦＦ等を操作するための操作スイッチ５ａを備えている。操作スイッチ５ａは、検出信号（操作信号）を運転状態監視ＥＣＵ９に送出する。なお、操作信号は、例えばエアコン５の温度を調整するつまみ等が操作された場合に送出されてもよい。

赤外線カメラ６は、車両の前側（例えば、ルームミラーの裏側）に配置されている。赤外線カメラ６は、映像の取得を開始する信号が送出されると、赤外線ランプ（図示せず）からの近赤外線の反射光を取り込み、車両前方の路上状況を近赤外線映像として取得する。赤外線カメラ５は、検出信号（映像信号）をナイトビューシステムＥＣＵ７送出する。

ナイトビューシステムＥＣＵ７は、赤外線カメラ６から送出された映像信号に基づいて、所定の処理を行い、赤外線カメラ６によって撮像された映像を、ナイトビュー表示器８に表示信号として送出する。

ナイトビュー表示器８は、例えばヘッドアップディスプレイであり、ナイトビューシステムＥＣＵ７から表示信号が送出されると、その表示信号に応じた映像（画像）を表示する。例えば、映像としては、車両前方の路上状況と共に、車両の前方に歩行者が存在すること注意勧告するメッセージ等が表示される。また、ナイトビュー表示器８は、映像が表示されたことを示す信号を運転状態監視ＥＣＵ９に送出する。

運転状態監視ＥＣＵ９は、情報格納メモリ１０を有している。情報格納メモリ１０は、運転状態監視ＥＣＵ９によって画像処理が施された運転者Ｄの顔画像を保存する共に、その顔画像に対応するキャリブレーション情報を格納している。また、情報格納メモリ１０は、車両に配置されている車両装備品の位置を予め位置情報として格納している。車両装備品は、例えば図示しないルームミラー、及び左右のサイドミラー等である。

運転状態監視ＥＣＵ９は、運転者Ｄの視線方向に基づいて、運転者Ｄが注視（視線が停留）している車両装備品を推定する。

具体的には、運転状態監視ＥＣＵ９は、情報格納メモリ１０に格納されている車両装備品の位置情報を参照し、検出された運転者Ｄの視線方向に一致（完全に一致しなくてもよい）する車両装備品を抽出して、運転者Ｄの注視している方向に存在する車両装備品を推定する。通常の運転では、運転者Ｄは頻繁にルームミラーやサイドミラーを見るため、運転者Ｄの視線方向及び停留時間から、運転者Ｄがルームミラーやサイドミラーを注視していることが推定可能となる。

また、運転状態監視ＥＣＵ９は、運転者Ｄの視線方向とナビゲーションシステム４の操作スイッチ４ａ、エアコン５の操作スイッチ５ａ、又はナイトビュー表示器８から送出された信号とに基づいて、視線方向に存在する車両装備品を推定する。これは、操作信号又は映像が表示されたことを示す信号が送出された場合に、運転者Ｄの視線が操作スイッチ４ａ，５ａやナイトビュー表示器８に無意識に移動していることに基づいている。

そして、運転状態監視ＥＣＵ９は、推定された車両装備品の方向を、特定の方向を見ている情報（画像）、すなわちキャリブレーション情報として情報格納メモリ１０に更新して保存すると共に、推定された車両装備品の存在する方向が基準となるように、視線方向のキャリブレーションを行う。

図２は、運転状態監視ＥＣＵ９により実行されるキャリブレーション処理手順の詳細を示すフローチャートである。

図２において、まず顔画像撮像カメラ２から画像信号が入力される（手順Ｓ０１）。すると、例えば顔画像の特徴点抽出等といった所定の画像処理を実施し、情報格納メモリ１０に保存されている保存画像と画像処理された入力画像とを比較することで、保存画像と入力画像との差が大きいか否かが判定される（手順Ｓ０２）。保存画像と入力画像との差が大きいと判定された場合には、手順Ｓ０４に進む。一方、保存画像と入力画像との差が大きくないと判定された場合には、リセットスイッチ３が押下されたか否かが、リセット信号に基づいて判定される（手順Ｓ０３）。リセットスイッチ３が押下されたと判定された場合には、手順Ｓ０４に進む。一方、リセットスイッチ３が押下されていないと判定された場合には、手順Ｓ０５に進む。

手順Ｓ０４では、情報格納メモリ１０に保存されている既存のキャリブレーション情報が消去されると共に、手順Ｓ０１において入力された運転者Ｄの顔画像が保存される。

手順Ｓ０５では、入力された運転者Ｄの顔画像に基づいて、運転者Ｄの視線方向の検出が行われる。そして、運転者Ｄの視線方向から、運転者Ｄがルームミラーやサイドミラーを見ていないか否かが判定される（手順Ｓ０６）。運転者Ｄがルームミラーやサイドミラーを見ていないと判定された場合には、手順Ｓ０７に進む。一方、運転者Ｄがルームミラーやサイドミラーを見ていると判定された場合には、手順Ｓ１０に進む。

手順Ｓ０７では、ナイトビューシステムの注意勧告があるか否かが、ナイトビュー表示器８からの映像が表示されたことを示す信号に基づいて判定される。ナイトビューシステムの注意勧告があると判定された場合には、手順Ｓ０８に進む。一方、ナイトビューシステムの注意勧告がないと判定された場合には、手順Ｓ０９に進む。

手順Ｓ０８では、運転者Ｄの視線方向から、運転者Ｄがナイトビュー表示器８を見ていないか否かが判定される。ナイトビュー表示器８を見ていないと判定された場合には、手順Ｓ０９に進む。一方、ナイトビュー表示器８を見ていると判定された場合には、手順Ｓ１０に進む。

手順Ｓ０９では、ナビゲーションシステム４やエアコン５の操作スイッチ４ａ，５ａが操作されたか否かが、操作信号に基づいて判定される。操作スイッチ４ａ，５ａが操作されたと判定された場合には、手順Ｓ１０に進む。一方、操作スイッチ４ａ，５ａが操作されないと判定された場合には、処理が終了する。

手順Ｓ１０では、手順Ｓ０６，Ｓ０８，Ｓ０９において推定された運転者Ｄが注視している車両装備品の方向を、運転者Ｄが特定の方向を見ていることを示す情報（キャリブレーション情報）として情報格納メモリ１０に保存、更新する。そして、その特定の方向に対する運転者Ｄの視線方向が基準となるように、運転者Ｄの視線方向のキャリブレーションが行われる（手順Ｓ１１）。

以上において、顔画像撮像カメラ２、及び運転状態監視ＥＣＵ９の上記手順Ｓ０１，Ｓ０５は、運転者Ｄの視線方向を検出する視線方向検出手段を構成する。運転状態監視ＥＣＵ９の上記手順Ｓ０６〜Ｓ１０は、視線方向検出手段によって検出された運転者Ｄの視線方向に基づいて、運転者Ｄが注視している車両装備対象物を推定する対象物推定手段を構成する。運転状態監視ＥＣＵ９の上記手順Ｓ１１は、対象物推定手段によって推定された車両装備対象物に対する運転者Ｄの視線方向が基準となるように視線方向検出手段による視線方向の検出のキャリブレーションを行うキャリブレーション手段を構成する。

本発明に係る運転状態監視装置１によれば、運転者Ｄの顔画像から視線方向を検出し、その視線方向に基づいて運転者Ｄの視線が停留（注視）している例えばルームミラー等の車両装備品を推定する。そして、運転者Ｄから見て車両装備品の存在する方向が基準となるように視線方向検出のキャリブレーションを行う。一般的に運転者Ｄは、車両の運転中にルームミラーやサイドミラー等の車両用装備品を頻繁に見る。そのため、運転者が車両装備品（例えばルームミラー、サイドミラー、エアコン５等）を見るといった無意識な行動や、必然的な挙動によって視線方向の基準を設定し、視線方向検出のキャリブレーションを実施することができる。これにより、運転者Ｄは、スイッチの押下や意図的に特定の方向を見る等といった行動をとる必要がなくなる。したがって、運転開始時の面倒なキャリブレーション操作が省けるため、視線方向検出のキャリブレーションにおける運転者Ｄの負担を軽減させることが可能となり、運転者Ｄの利便性の向上を図ることができる。

また、運転者Ｄが注視している車両装備品が推定される度に、視線方向の検出のキャリブレーションを行うことにより、運転者Ｄの視線方向の基準設定が繰り返し行われるので、視線方向検出のキャリブレーション精度を高めることが可能となる。

また、従来では、キャリブレーション情報が主に車両を運転する運転者Ｄに特化したものであったため、他の運転者に対応することが困難であった。これに対し、本実施形態に係わる運転状態監視装置１では、顔画像撮像カメラ２によって取得された入力画像と保存画像とが異なる場合に、保存画像に対応するキャリブレーション情報を消去し、入力画像に対応するキャリブレーション情報が更新されて視線方向検出のキャリブレーションが行われる。これにより、車両を運転する複数の運転者に対応することができる。また、運転者毎に画像を保存する必要がないので、メモリ容量を増やすことによるコスト増加を回避することができる。

なお、本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では、運転者Ｄの視線方向に存在する車両装備品が推定される度にキャリブレーション情報の更新が行われているが、視線方向の検出のキャリブレーションは、必ずしも車両装備品が推定される度に行われなくてもよい。

本発明に係わる運転状態監視装置の一実施形態を示す概略構成図である。 運転状態監視ＥＣＵにより実行されるキャリブレーション処理手順の詳細を示すフローチャートである。

符号の説明

１…運転状態監視装置、２…顔画像撮像カメラ（視線方向検出手段）、４…ナビゲーションシステム（車両装備対象物）、５…エアコン（車両装備対象物）、８…ナイトビュー表示器（車両装備対象物）、９…運転状態監視ＥＣＵ（視線方向検出手段、対象物推定手段、キャリブレーション手段）。

Claims (2)

1. 車両の運転者の運転状態を監視する運転状態監視装置において、
   前記運転者の視線方向を検出する視線方向検出手段と、
   前記視線方向検出手段によって検出された前記運転者の視線方向に基づいて、前記運転者が注視している車両装備対象物を推定する対象物推定手段と、
   前記対象物推定手段によって推定された前記車両装備対象物に対する前記運転者の視線方向が基準となるように前記視線方向検出手段による視線方向の検出のキャリブレーションを行うキャリブレーション手段とを備えることを特徴とする運転状態監視装置。
2. 前記キャリブレーション手段は、前記対象物推定手段によって前記運転者が注視している前記車両装備対象物が推定される度に、前記視線方向検出手段による視線方向の検出のキャリブレーションを行うことを特徴とする請求項１に記載の運転状態監視装置。
   

Images