JP2006293909A - 運転者の視線方向検出装置 - Google Patents

Abstract

【課題】 運転者の真の視線方向の検出精度を向上させることができる運転者の視線方向検出装置を提供する。
【解決手段】 運転者の視線方向検出装置の構成を、運転者の顔画像を取得する顔画像撮影カメラと、顔画像撮影カメラが取得した顔画像を処理することにより、運転者の視線方向を検出する視線検出回路と、運転者の利き目が左右どちらであるかの利き目情報を記憶する利き目記憶部とを備える構成とする。そして、視線検出回路が実行する視線方向検出処理において、顔画像から運転者の両目の視線方向をそれぞれ特定させ、利き目記憶部から運転者の利き目情報を読み出し、利き目の視線方向が特定できたかを判定させる。その結果、利き目の視線方向を特定できた場合、利き目の視線方向から、運転者の視線方向を判断させる。
【選択図】 図４

Description

本発明は、運転者の視線方向検出装置に関するものである。

従来、自動車運転における安全性の向上を目的に、運転者の顔画像をビデオカメラ（顔画像取得手段）で撮影し、視線検出回路（視線方向検出手段）で画像解析処理することで、運転者の視線方向を検出する装置がある（例えば、非特許文献１参照）。

このような運転者の視線方向検出装置では、運転者の瞳の向きから視線方向を検出している。

なお、人の視線方向が関与する他の技術分野、例えば、画像表示、画像生成の分野においては、操作者の利き目側に装着された眼球運動検出装置を用いて、利き目の視線方向を算出することで、人の視線方向を判断するものがある（例えば、特許文献１、２参照）。
特開平１０−１６１８０２号公報 特開平１０−２８２８７７号公報 白井了、外５名、「ドライバの運転状態検知のための視線方向の検出」、信学技報、社団法人電子情報通信学会、ＰＲＭＵ２００３−１６２、ＨＩＰ２００３−６８（２００３−１１）、ｐ．６７−７２

上記したように、従来の運転者の視線方向検出装置は、運転者の瞳の向きから視線方向を検出していた。

しかし、現実には、一方の瞳の向きは、運転者が実際に見ている方向と一致しているが、他方の瞳の向きは、運転者が実際に見ている方向とは、異なっている場合がある。すなわち、一般に、人間が物を見る場合、利き目の映像を基準としており、もう一方の非利き目は、利き目とは微妙にずれた映像を見ていると言われている。また、運転者に斜視などの眼位異常がある場合、眼位異常の目における瞳の向きと、運転者が実際に見ている視線方向は異なっている。

したがって、両方の目の視線方向を特定し、それらの視線方向を単に平均することで運転者の視線方向を検出した場合、その検出結果が、運転者の真の視線方向とずれてしまうという問題が生じる。

本発明は、上記点に鑑み、運転者の真の視線方向の検出精度を向上させることができる運転者の視線方向検出装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、運転者の左右どちらの目が利き目であるかの利き目情報を記憶する記憶手段（３）を備え、視線方向検出手段（２）は、記憶手段（３）に記憶された利き目情報に基づいて、顔画像から運転者の利き目の視線方向を特定し、特定された利き目の視線方向に基づいて、運転者の視線方向を判断するようになっていることを特徴としている。

これにより、利き目を考慮しないで運転者の視線方向を検出する場合と比較して、運転者の真の視線方向の検出精度を向上させることができる。

なお、特許請求の範囲に記載の「利き目の視線方向に基づいて」とは、利き目の視線方向のみに基づく場合だけでなく、非利き目の視線方向も考慮するが、利き目の視線方向を優先する場合も含む。

請求項２に記載の発明は、利き目情報が入力される入力手段を有し、記憶手段（３）は、入力手段によって入力された利き目情報を記憶するようになっていることを特徴としている。

利き目情報は、例えば、運転者によって手動入力されることで、記憶手段に記憶される。

また、請求項３に記載の発明は、運転者の利き目を判定する判定手段（２３）を有し、 記憶手段（３）は、判定手段（２３）の判定結果により得られた利き目情報を記憶するようになっていることを特徴としている。

また、請求項４に記載の発明は、例えば、顔画像から利き目の視線方向を特定できない場合に、視線方向検出手段（２）に対して、顔画像から非利き目の視線方向を特定させ、特定した非利き目の視線方向から、運転者の視線方向を判断させることを特徴としている。

また、請求項５に記載の発明は、例えば、運転者を識別する運転者識別手段（４）を有する場合では、記憶手段（３）に、利き目情報と運転者識別情報を関連づけて記憶させ、視線方向検出手段（２）に対して、運転者識別手段（４）の識別結果と、利き目情報に関連づけられた運転者識別情報とに基づいて、記憶手段（３）から利き目情報を取得させることを特徴としている。

これにより、一旦、利き目情報が登録された後は、運転者識別手段によって運転者の識別を行うだけで、視線検出手段が使用する利き目情報の設定を自動的に行うことができる。また、複数の人物が同じ車両を共用する場合においても、運転者識別手段によって運転者の識別を行うだけで、複数の利き目情報から、視線検出手段が使用する利き目情報の設定を自動的に行うことができる。

なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

（第１実施形態）
図１に、本発明の第１実施形態における運転者の視線方向検出装置の概略構成を示す。
運転者の視線方向検出装置は、顔画像取得手段としての顔画像撮影カメラ１と、視線方向検出手段としての視線検出回路２と、記憶手段としての利き目記憶部３と、運転者識別手段としての顔認証回路４とを備えている。運転者の視線方向検出装置は、例えば、車両の前方のインストルメントパネル内に配置されている。

顔画像撮影カメラ１は、運転者の顔画像を取得するものであり、例えば、近赤外線カメラが用いられる。顔画像撮影カメラ１は、自動車内部のうち、運転席に着座している乗員の顔が撮影できる位置に配置されており、例えば、インストルメントパネル内の計器盤内に設置されている。

なお、必要に応じて補助光源を設け、運転者の顔に光源からの光を照射した状態で、運転者の顔画像を撮影するようにしても良い。

顔画像撮影カメラ１は、取得した顔画像を視線検出回路２、顔認証回路４に出力するようになっている。

視線検出回路２は、後述する視線検出処理、利き目設定処理および視線方向判断処理を実行する。視線検出処理では、顔画像撮影カメラ１から入力された顔画像が処理されることで、運転者の視線方向が検出される。視線方向は、例えば、瞳孔位置と眼頭位置との相対距離から算出される。

本実施形態の視線検出回路２では、瞳の向きから視線方向を特定し、利き目の視線方向から運転者の視線方向を判断し、決定するようになっている。このとき、利き目記憶部３から読み出した利き目情報に基づいて、運転者の視線方向が判断される。利き目設定処理では、視線検出処理で利用する運転者の利き目がどちらであるか設定される。また、視線検出回路２は、後述するように、利き目設定処理において、利き目の自動認識を必要に応じて実行し、認識した利き目の情報を、利き目記憶部３に記憶させるようになっている。

なお、視線検出回路２は、ＣＰＵと、ＤＳＰ（Digital Signal Processor）と、利き目記憶部３等のメモリとを備えている。ＣＰＵは、視線検出回路内の動作制御および外部回路との入出力制御を行う。ＤＳＰは、ＣＰＵからの作動指示信号を受けて、顔画像撮影カメラ１から入力された顔画像を処理して、視線検出を実行する。

利き目記憶部３は、特定の人の利き目情報（左右どちらの眼が利き目であるかの情報）を記憶しており、視線検出回路２の内部に設けられている。この利き目情報は、運転者を識別するための運転者識別情報、例えば、顔認証回路４の出力情報として得られるＩＤ番号と関連づけて記憶されている。

顔認証回路４は、個人認証処理を実行するところである。具体的には、顔認証回路４は、視線検出回路２と同様に、ＣＰＵと、ＤＳＰと、メモリとを備えており、メモリに個人の顔画像特徴データが記憶されている。そして、顔認証回路４は、画像処理によって、顔画像撮影カメラ１から入力された顔画像の特徴データを抽出し、この抽出した特徴データをあらかじめ登録された顔画像特徴データと比較することにより個人認識を行い、認証結果として、個人認識された顔画像のＩＤ番号を出力する。

この顔認証回路４による個人認証の認証結果は、視線検出回路２が実行する利き目設定処理で用いられるほか、従来と同様に、あらかじめ顔画像のＩＤ番号と関連づけて記憶されている機器（たとえば、シート位置やミラーの角度など）の設定の復元などにも用いられる。

次に、視線検出回路２が実行する利き目設定処理と、視線検出処理について説明する。以下では、運転者の利き目がどちらであるかの設定が自動で実行される場合を例として説明する。図２に顔認証回路４が実行する個人認証処理のフローチャートを示し、図３に視線検出回路２が実行する利き目設定処理のフローチャートを示し、図４に視線検出回路２が実行する視線検出処理のフローチャートを示す。

まず、顔認証回路４が個人認証処理を実行することにより、運転者が誰であるかが特定される。この個人認証処理は、例えば、運転開始前もしくは運転開始後の所定期間内に実行される。

具体的には、図２に示すように、ステップ１１で、顔画像撮影カメラ１が撮影した顔画像が入力される。続いて、ステップ１２で、周知の画像処理方法による顔認証が行われる。例えば、顔画像撮影カメラ１から入力された顔画像の特徴データと、あらかじめ登録された顔画像特徴データとが比較され、両方の顔画像において、特徴データの類似度が算出される。

続いて、ステップ１３では、登録された顔画像と取得した顔画像との類似度が、判定しきい値を超えているかどうかが判定される。そして、両方の顔画像の類似度が判定しきい値を超えた場合、すなわち、顔認証がＯＫとなった場合は、ステップ１４で、視線検出回路２に向けて、運転者を識別するための運転者識別情報、例えば、ＩＤ番号等が出力される。

一方、類似度が判定しきい値を超えず、すなわち、顔認証がＮＧとなった場合は、ステップ１１に戻る。

このようにして、顔認証回路４の個人認証処理が実行される。その後、視線検出回路２が運転者の利き目がどちらであるかの設定を行う。

具体的には、図３に示すように、ステップ２１で、顔認証回路４からＩＤ番号が入力される。これを受けて、ステップ２２では、利き目記憶部３に、入力されたＩＤ番号に対応する利き目情報が記憶されているかが判定される。そして、利き目記憶部３に記憶されていない（ＮＯ）と判定された場合、ステップ２３に進む。

ステップ２３では、運転者の利き目の自動認識処理が実行される。この自動認識処理が、本発明の運転者の利き目を判定する判定手段に相当する。この自動認識処理では、運転者の目配せのパターンが道路状況である程度決まっていることから、車両が進行した道路状況および運転状態の運転者の両目視線方向から運転者の利き目を識別するようになっている。

具体的には、視線検出回路２は、運転開始後の所定期間における運転者の両目の視線方向を検出しておく。続いて、その検出結果と、その検出期間に車両が進行した道路状況に応じた正常な運転状態における標準的な視線移動パターンとを比較する。

この自動認識処理については、視線検出回路２が自動認識をしやすいように、目配せパターンがある程度限定されるときに、実行するのが好ましい。例えば、直線運転時や高速道路運転時である。直線道路運転時では、運転者は、車両前方の車、信号、歩行者等を視認しているため、多くの場合、目配せパターンは、それらを視認するパターンとなる。また、高速道路では、運転者は、通常、車両前方の遠くを、比較的限定された目配せパターンによって見ているからである。

なお、この標準的な視線移動パターンは、視線検出回路２のメモリにあらかじめ登録されているものである。

そして、両目の視線方向のうち、どちらが、視線移動パターンに近いかを判定する。その結果、視線移動パターンにより近い方の視線方向を利き目であると認識し、ステップ２４に進む。

ステップ２４では、ステップ２３で認識した利き目情報が、顔認識回路４から入力されているＩＤ番号と関連づけて、利き目記憶部３に記憶される。

このようにして、自動認識処理が実行され、運転者の利き目がどちらであるかが利き目記憶部３に自動的に設定される。

一方、ステップ２２で、利き目記憶部３に、入力されたＩＤ番号に対応する利き目情報が記憶されている（ＹＥＳ）と判定された場合、ステップ２５に進む。ステップ２５では、入力されたＩＤ番号に対応するＩＤ番号と関連づけられている利き目情報が選択され、その利き目情報が、視線検出処理で使用されるものとして決定される。

例えば、ステップ２３で、特定の運転者に対して、利き目の自動認識処理が実行されれば、ステップ２４で、利き目記憶部３にその運転者の利き目情報が記憶されるので、別の機会に運転者が車両を運転する場合では、このステップ２５で、顔認識回路４から入力されるＩＤ番号に基づいてデータが呼び出され、運転者の利き目が設定される。なお、この利き目の設定は、同一の運転者が車両から降りない限り、変更されない。

このようにして設定された利き目の情報が、図４に示す視線検出処理で用いられる。なお、この視線検出処理は、車両運転中に実行される。図４に示すように、ステップ３１で、顔画像撮影カメラ１が撮影した顔画像が入力される。続いて、ステップ３２で、視線方向特定処理が実行される。この視線方向特定処理によって、入力された顔画像に対して画像処理がされ、運転者の両目の視線方向が特定される。このときの視線方向の特定は、周知の方法で行うことが可能である。例えば、瞳の位置が認定され、瞳の位置から両目の視線方向を特定するための処理が行われる。

続いて、ステップ３３では、利き目記憶部３から運転者の利き目情報が読み出される。これにより、視線検出回路２は、利き目記憶部３から読み出した利き目情報に基づいて、ステップ３２で特定した両目の視線方向のうち、どちらが利き目の視線方向であるかを識別することができる。

続いて、ステップ３４では、利き目の視線方向を特定できたか否かが判定される。そして、利き目の視線方向を特定できた（ＹＥＳ）と判定された場合、ステップ３５に進む。

ステップ３５では、利き目の視線方向から運転者の視線方向が判断され、運転者の視線方向が決定される。すなわち、視線検出回路２は、利き目の視線方向のみを考慮して、利き目の視線方向を運転者の視線方向であると決定する。

一方、ステップ３４において、利き目の視線方向を特定できない（ＮＯ）と判定された場合、ステップ３６に進む。例えば、環境光などの顔画像の撮影条件、運転姿勢、毛髪、眼帯などにより、運転者の利き目が撮影できない場合に、ステップ３６に進む。

そして、ステップ３６では、運転者の非利き目の視線方向から運転者の視線方向が判断され、運転者の視線方向が決定される。すなわち、視線検出回路２は、非利き目の視線方向を運転者の視線方向であると決定する。

本実施形態では、このように、利き目の視線方向を特定できない場合は、非利き目の視線方向に基づく、運転者の視線方向判断に切り替えるようにしている。

ここで、上記背景技術の欄で説明したように、画像表示、画像生成の分野においては、人の視線方向を、利き目を基準に判断するものがあったが、この場合では、顔画像の取得時の条件が一定であることが想定されている。

これに対して、運転中の運転者を撮影する場合では、環境光などの顔画像の撮影条件が一定でなく、また、運転姿勢の影響もあって、利き目の視線方向が特定できないことが想定される。そして、利き目の視線方向のみから運転者の視線方向を判断するようにした場合では、利き目の視線方向が特定できなければ、運転者の視線方向が検出できないという問題が生じてしまう。

そこで、本実施形態のように、運転者の利き目の視線方向を特定できない場合を想定し、その場合では、他の目の視線方向からの運転者の視線方向判断に切り替えるようにすることで、上記した問題を回避できる。

以上のようにして、視線検出回路２の視線検出処理が実行される。その後、視線検出回路２は、図示しない運転者の運転状態を検知する回路に、運転者の視線方向の検出結果を出力する。そして、その検出結果は、運転状態を検知する回路において、運転者がわき見していないか、歩行者を認識しているか等の判断材料として利用される。

次に、本実施形態の主な特徴について説明する。

（１）運転者の視線方向検出装置は、上記したように、顔画像撮影カメラ１と、視線検出回路２と、利き目記憶部３とを備えている。そして、視線検出回路２は、視線方向検出処理において、ステップ３１、３２で、両目の視線方向をそれぞれ特定し、ステップ３３で、利き目記憶部３から運転者の利き目情報を読み出し、ステップ３４で、利き目の視線方向が特定できたかを判定する。

その結果、利き目の視線方向を特定できた場合、視線検出回路２は、ステップ３５で、利き目の視線方向から、運転者の視線方向を判断することで、運転者の視線方向を決定するようになっている。

このように、本実施形態では、視線検出回路２は、まず、利き目記憶部３に記憶された利き目情報に基づいて、顔画像から運転者の利き目の視線方向を特定する。そして、特定された利き目の視線方向から運転者の視線方向を判断するようになっている。

一般に、人間は物を見る場合には利き目の映像を基準としている。したがって、本実施形態によれば、利き目を考慮しないで運転者の視線方向を検出する場合と比較して、運転者の真の視線方向の検出精度を向上させることができる。

（２）本実施形態では、運転者の視線方向検出装置は、顔認証回路４を有している。また、利き目記憶部３は、利き目情報を、顔認証回路のＩＤ番号等の運転者識別情報と関連づけて記憶している。

そして、視線検出回路２は、利き目設定処理において、ステップ２１で顔認証回路４から入力されたＩＤ番号と、利き目記憶部３に記憶されている利き目情報が有するＩＤ番号とに基づいて、ステップ２２で、利き目記憶部３に運転者の利き目情報が記憶されているか否かを判定する。

その結果、視線検出回路２は、利き目記憶部３にすでに運転者の利き目情報が記憶されていれば、ステップ２４で、その記憶されている利き目情報を選択し、視線検出処理に用いる利き目情報としている。

これにより、本実施形態では、顔認証回路４による運転者の識別を行うだけで、視線検出手段が使用する利き目情報の設定を自動的に行うことができ、運転者が運転開始前に手動で利き目情報を入力する場合に生じる煩わしさを回避することができる。

（他の実施形態）
（１）第１実施形態では、視線検出回路２の視線検出処理において、視線検出回路２が、ステップ３２で、両目の視線方向を特定する場合を例として説明したが、利き目の視線方向のみを特定させることもできる。この場合、ステップ３２の前に、ステップ３３での利き目情報の読出しを行うようにする。

（２）第１実施形態では、視線検出回路２の視線検出処理において、視線検出回路２が、ステップ３５で、特定された利き目の視線方向のみから、運転者の視線方向を判断し、決定する場合を例として説明したが、利き目の視線方向に加え、非利き目の視線方向も考慮して、運転者の視線方向を判断することもできる。

ただし、この場合、利き目の視線方向と、非利き目の視線方向とを単に平均するのではなく、利き目の視線方向を優先して、運転者の視線方向を判断する。

このように、視線検出回路２は、利き目の視線方向のみでなく、利き目の視線方向に基づいて、運転者の視線方向を判断することができる。

（３）第１実施形態では、視線検出回路２の利き目設定処理において、視線検出回路２がステップ２３で、利き目の自動認識を実行することで、利き目情報を利き目記憶部３に記憶する場合を例として説明したが、これに限らず、利き目情報を入力するための手段を用いた手動入力により、利き目情報を利き目記憶部３に記憶させることもできる。

この場合、利き目情報を入力するための手段として、例えば、タッチパネル式の入力デバイスを用いることができ、タッチパネルに、利き目の選択画面を表示させ、運転者に利き目を選択させることができる。このとき、交互に眼を閉じて位置が変わらない方が利き目であるというアドバイスを音声や文字表示することが好ましい。

なお、利き目の自動認識処理は運転開始前の所定時間に実行されるが、このような手動入力では、運転者は、利き目情報をいつでも入力することができる。

（４）第１実施形態では、視線検出回路２が利き目の自動設定処理を行う場合を例として説明したが、運転者が利き目の設定を行うこともできる。すなわち、顔認証回路４が車両に搭載されていない場合では、運転者が乗車するごとに、上記した手動入力をしたり、自動設定処理を実行させたりすることができる。

手動入力の場合では、例えば、あらかじめ、利き目についてのユーザ登録を行っておき、運転者が登場するたびに、タッチパネルに、例えば、Ａさん、Ｂさんという項目を表示させ、運転者に自分の表示を選択させることもできる。

（５）第１実施形態では、視線検出回路２が利き目記憶部３を有する場合を例として説明したが、顔認証回路４に利き目記憶部３を設けることもできる。すなわち、顔認証回路４のメモリに、利き目情報を記憶させることもできる。この場合、顔認識回路４が、運転者を識別した後、識別後の運転者の利き目を特定する。

（６）第１実施形態では、視線検出回路２と顔認証回路４とを別々の回路とする場合を例として説明したが、これらを１つの回路とすることもできる。この場合、同じ顔画像を用いて、利き目設定と顔認証とを行うこともできる。

（７）第１実施形態では、運転者識別方法として、顔認証回路４による顔認証を実行する場合を例として説明したが、認証に用いる体の部位を、顔全体に限らず、他の部位とすることもできる。例えば、顔全体以外にも、虹彩、網膜、手のひらの静脈、指の静脈、指紋等により、個人認証を行うこともできる。

なお、これらの個人認証では、カメラで撮影した画像が用いられるが、画像に限らず、他の手法により、個人認証を行うこともできる。例えば、指紋により個人認証を行う場合に用いられる、指の静電容量などを測定する手法でも良い。

このように、運転者識別手段として、種々のバイオメトリクス手段を用いることができる。

本発明の第１実施形態における運転者の視線方向検出装置の概略構成を示す図である。 図１中の顔認証回路４が実行する個人認証処理のフローチャートである。 図１中の視線検出回路２が実行する利き目設定処理のフローチャートである。 図１中の視線検出回路２が実行する視線検出処理のフローチャートである。

符号の説明

１…顔画像撮影カメラ、２…視線検出回路、３…利き目記憶部、４…顔認証回路。

Claims (5)

1. 運転者の顔画像を取得する顔画像取得手段（１）と、
   前記顔画像取得手段（１）が取得した前記顔画像を処理することにより、前記運転者の視線方向を検出する視線方向検出手段（２）とを備える運転者の視線方向検出装置において、
   前記運転者の左右どちらの目が利き目であるかの利き目情報を記憶する記憶手段（３）を備え、
   前記視線方向検出手段（２）は、前記記憶手段（３）に記憶された前記利き目情報に基づいて、前記顔画像から前記運転者の利き目の視線方向を特定し、特定された前記利き目の視線方向に基づいて、前記運転者の視線方向を判断するようになっていることを特徴とする運転者の視線方向検出装置。
2. 前記利き目情報が入力される入力手段を有し、
   前記記憶手段（３）は、前記入力手段によって入力された前記利き目情報を記憶するようになっていることを特徴とする請求項１に記載の運転者の視線方向検出装置。
3. 運転者の利き目を判定する判定手段（２３）を有し、
   前記記憶手段（３）は、前記判定手段（２３）の判定結果により得られた前記利き目情報を記憶するようになっていることを特徴とする請求項１に記載の運転者の視線方向検出装置。
4. 前記視線方向検出手段（２）は、前記顔画像から利き目の視線方向を特定できない場合、前記顔画像から非利き目の視線方向を特定し、特定した前記非利き目の視線方向から、前記運転者の視線方向を判断するようになっていることを特徴とする請求項１ないし３のいずれか１つに記載の運転者の視線方向検出装置。
5. 前記運転者を識別する運転者識別手段（４）を有し、
   前記記憶手段（３）は、前記利き目情報を運転者識別情報と関連づけて記憶しており、
   前記視線方向検出手段（２）は、前記運転者識別手段（４）の識別結果と、前記利き目情報に関連づけられた前記運転者識別情報とに基づいて、前記記憶手段（３）から前記利き目情報を取得するようになっていることを特徴とする請求項１ないし４のいずれか１つに記載の運転者の視線方向検出装置。
   
   
   

Images