JP2012103850A - 注視点推定装置 - Google Patents

Abstract

【課題】ドライバを取り巻く状況に応じた注視点の推定を行う注視点推定装置を提供する。
【解決手段】予め用意された注意モデルとその時々で検出される特定情報とに基づいて、オブジェクト、画像情報、各特定情報に基づく注意分布である個別分布を生成し（Ｓ１１０〜Ｓ２２０）、これら個別分布を、同じ重み又は個々に重み付けして統合した注意分布である統合分布を生成することにより、ドライバの注意が向けられている位置（注視点）を確率的に推定し（Ｓ２３０）、前方画像から抽出された各オブジェクトに対するドライバの注意量を、統合分布に従って設定する（Ｓ２４０）。
【選択図】図２

Description

本発明は、ドライバの注視点を推定する注視点推定装置に関する。

従来、車両の前方を撮像した画像等に基づいて、車両周辺の物体を認識し、ドライバに対して、認識すべき物体に関する情報を、表示や音声，振動等によって提供する装置が各種知られている。

この種の装置では、ドライバが必要としない過度な情報は、却って運転の妨げとなるおそれがあるため、ドライバの状態や画像から得られる情報に基づいて、提供する情報を選択することが行われている。

なお、ドライバの状態を知る上で、ドライバの注視点を知ることは非常に重要であり、一般に、車室内にドライバの顔画像を取得するようなカメラ等のセンサを設置し、ドライバの視線方向を検出している。

この手法では、精度の良い注視点情報を得ることができるが、視線方向を検出するために専用のセンサが必要となるため、装置が高価なものとなるという問題があった。
一方、認知科学の分野では、人の注意モデルについての研究が行われており、画像が入力された時に、その画像のどこに人の注意が向くのかを、画像の低次の特徴量（輝度・色・エッジなど）から求めることが提案されている（非特許文献１参照）。

すなわち、脳（低次の視覚野）には、輝度・色・エッジ勾配に反応するニューロンが存在することが知られており、このニューロンの活動や情報の伝達経路をモデル化したものを利用することで、人の注意が向きやすい画像上の点を知ること、換言すれば、画像上の各点について人の注意の向き易さを表す指標（誘目性）を求めることができる。

L. Itti and C. Koch, "Computational Modeling of Visual Attention," Nature Reviews Neuroscience, Vol. 2(3), pp. 194-203, (2001)

ところで、実際の運転において、ドライバの注意が向けられる位置（注視点）は、周囲の状況が同じであっても、その時のドライバの意図（どのような車両操作を行おうとしているか）等によって様々に変化する。

例えば、図７は、車両の運転席から車両前方を撮像した画像の一例である。この画像に示されたシーン（Ｔ字路の手前）において、ドライバが直進しようとしている時は、自車の進行方向にあるオブジェクト、即ち、先行車（トラック）に関する情報の重要度が高く、自車の進行方向から外れた位置にあるオブジェクト、例えば、対向車に関する情報の重要度は相対的に低い。特に、左折（自車からみれば右折）しようとしている対向車や、その先にいる歩行者に関する情報の重要度は極めて低い。一方、ドライバが右折しようとしている時は、先行車より、対向車に関する情報の重要度の方が相対的に高くなり、左折しようとしている対向車についても、一定の注意を払う必要が生じる。更に、右折先に歩行者が存在すれば、その歩行者に関する情報の重要度も非常に高くなる。

ところが、従来手法では、こういったドライバを取り巻く状況（ドライバの意図を含む）が考慮されず、画像の特徴から一意に決まる情報だけで、ドライバの注視点を推定することになるため、その推定結果は、ドライバに提供する情報を選択する等の用途においては、十分に機能しない可能性があるという問題があった。

本発明は、上記問題点を解決するために、ドライバを取り巻く状況に応じた注視点の推定を行う注視点推定装置を提供することを目的とする。

上記目的を達成するためになされた本発明の注視点推定装置では、運転行動に対するドライバの意図が反映される情報又はドライバの運転行動に影響を与える情報を特定情報として、モデル記憶手段には、特定情報が示す値と画像上でドライバの注意が向いている位置である注視点との関係を示した注意モデルが記憶されている。

そして、情報取得手段が、特定情報を取得すると、注意分布生成手段が、モデル記憶手段に記憶された注意モデルに基づき、情報取得手段にて検出された特定情報から注視点を推定した注意分布を生成する。

このように、本発明の注視点推定装置によれば、ドライバの意図を示す情報やドライバの運転行動に影響を与える情報が反映された注意分布を生成することができ、その注意分布から、ドライバの注意がどこに向けられているのかを、ドライバの視線方向を計測することなく知ることができる。

なお、モデル記憶手段に記憶される注意モデルは、特定情報を一括して一つだけ用意されていてもよいが、特定情報に属する一又は複数の情報で構成された複数種類の生成情報群毎に用意されていてもよい。

この場合、注意分布生成手段は、注意モデル毎に、情報取得手段にて検出された特定情報から注視点を推定した個別分布を生成し、その個別分布を統合することで注意分布を生成すればよい。

この場合、特定情報が全部揃っていなくても、取得可能な特定情報から得られた個別分布によって、注意分布を生成することができるため、車両がどのような特定情報を検出できるかによらず、本発明の注視点推定装置を適用することができ、汎用性の高い装置を提供することができる。

なお、特定情報として、例えば、ドライバの操作に関する情報又は車両の挙動を示す情報のうち少なくとも一方を含む車両情報や、ドライバの生体反応に関する情報であるドライバ情報や、車両の走行環境に関する情報である環境情報を用いることが考えられる。

但し、ドライバの操作には、ドライバの意図が反映されているため、ドライバの操作に関する車両情報が、ドライバの意図が反映された情報に相当する。また、車両の挙動に関する車両情報や、環境情報、生体情報がドライバの運転行動に影響を与える情報に相当する。なお、車両の挙動に関する車両情報の一部や生体情報の一部についても、ドライバの意図との相関関係が明らかである場合は、ドライバの意図が反映された情報として扱ってもよい。

また、本発明の注視点推定装置において、環境情報の少なくとも一部は、路車間通信又は車車間通信によって取得してもよい。具体的には、渋滞情報や、先行車や対向車の挙動に関する情報等、車両に搭載されている各種センサからは正確に把握できない情報を取得することが考えられる。

ところで、本発明の注視点推定算出装置は、更に、画像取得手段が、ドライバの視界に対応する画像を取得し、オブジェクト抽出手段が、画像取得手段が取得した画像からオブジェクトを抽出し、重要度設定手段が、オブジェクト抽出手段にて抽出されたオブジェクトの重要度を、予め設定されたルールに従って設定し、注意分布生成手段は、情報提供手段は、注意量に加え、重要度設定手段にて設定された重要度に従って、提供する情報を制御するように構成されていてもよい。

このように構成された本発明の注視点推定装置によれば、ドライバの注意が向けられている位置に関する情報だけでなく、オブジェクトの重要度に関する情報も利用できるため、オブジェクトに関する情報の提供を、状況に応じてより的確に制御することができる。

なお、重要度設定手段が重要度の設定に使用するルールには、情報取得手段にて取得される特定情報から特定される状況を条件とするものが少なくとも含まれていることが望ましい。

即ち、オブジェクトの重要度は、状況に応じて変化するものであるため、このように設定された重要度を利用することにより、提供情報の制御をより的確なものとすることができる。

また、重要度設定手段が重要度の設定に使用するルールには、オブジェクト抽出手段にて抽出されたオブジェクトの位置やオブジェクト同士の相関関係を条件とするものが少なくとも含まれていることが望ましい。

つまり、ある種のオブジェクトが同時に存在する場合や、オブジェクト同士が特定の位置関係にある場合など、オブジェクト間の関係性の中で、そのオブジェクトの重要度が変化する場合がある。従って、このような情報を使用することによって、提供情報の制御をより的確なものとすることができる。

運転支援システムの概要、および車載装置の全体構成を示すブロック図。 車載装置の制御部が実行する情報提供処理の内容を示すフローチャート。 注意分布の生成する際の処理のイメージを示した説明図。 情報を提示するか否か等の判断時に使用する提示制御テーブルの内容を例示した表。 注意モデルを学習する際に使用する学習用車載装置の構成を示すブロック図。 本発明の手法による効果を示すグラフ。 前方画像を例示した図。 本発明の手法による効果を示すグラフ。

以下に本発明の実施形態を図面と共に説明する。
［全体構成］
図１は、本発明が適用された運転支援システム１の概要を示すブロック図である。

図１に示すように、運転支援システム１は、車両に搭載され、ドライバに情報提供することによって運転支援を行う車載装置２と、車両の走行環境に関する各種情報をＶＩＣＳの路側機や携帯電話の基地局等を含む無線通信用の通信インフラ３を介して、車両（車載装置２）に提供する情報サーバ４とで構成されている。

そして、車載装置２は、通信インフラ３介した情報サーバ４との無線通信、即ち路車間通信だけでなく、車載装置２同士が直接行う無線通信、即ち車車間通信を行うように構成されている。

なお、路車間通信によって車載装置２が取得する情報には、例えば、渋滞情報、信号の色や待ち時間、天候（トンネルの出口の雨風情報など）、落下物の有無、路面状態、交通規制等の情報等が含まれ、車車間通信によって車載装置２同士が交換する情報には、例えば、車速、加速度、操舵角、およびそれらの情報から予測される車両の運転行動など（即ち、後述する車両情報の一部）が含まれている。

［車載装置］
車載装置２は、車両の挙動，ドライバによる車両操作，各種車載機器の作動状態などを検出するための各種センサからなる車両センサ群２１と、ドライバの身体的変化（生体反応）を検出するための各種センサからなる生体センサ群２２と、車両の周囲の走行環境を検出するための各種センサからなる環境センサ群２３と、ＧＰＳ衛星より送信されるＧＰＳ信号を受信して、車両の位置（緯度，経度）や進行方向を検出するＧＰＳ受信機２４とを備えている。

また、車載装置２は、通信インフラ３を利用した路車間通信、車両同士の車車間通信を行う無線通信部２５と、ドライバに対して、視覚，聴覚，触覚を利用した情報提示を行う情報提示部２６と、車載装置２に対する指令を入力するための各種入力装置からなる指令入力部２７と、地図データが記憶された地図データベース２８と、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等からなる周知のマイクロコンピュータを中心にして構成され、各種処理を実行する制御部２９とを備えている。

［センサ群］
車両センサ群２１の検出対象は、車体の速度，加速度，ヨーレート等の車両の挙動の他、アクセルペダル，ブレーキペダル，ステアリング等の操作量（アクセル開度率，ブレーキＭ／Ｃ圧，操舵角等）や、ウインカ，ワイパ，ヘッドライト，シートベルトの作動状態、走行モードの設定（スポーツモードやオートクルーズ機能がある場合）等である。

生体センサ群２２の検出対象は、視線や顔向き，心拍，血圧，発汗等である。また、 環境センサ群２３は、レーザレーダやミリ波レーダ、車両の前方や後方を撮影する各種カメラ、ソナー等の近距離センサ等からなり、その検出対象は、各種オブジェクト（車両、路側物、歩行者、路面標識を含む各種標識、その他の障害物）との距離や相対速度、オブジェクトの大きさ、画像における画素毎の輝度，色、画像中のエッジ分等である。

なお、これらセンサ群２１〜２３を構成する各センサは車両の各部に配置されており、制御部２９は、図示しない車載ＬＡＮ（ＣＡＮやＬＩＮ）を介して各センサでの検出結果を取得するようにされている。また、センサ群２１〜２３を構成する個々のセンサは、必ずしも全ての車両が全種類を備えている必要はなく、車両毎に部分的に異なっていてもよい。但し、環境センサ群２３のうち、ドライバの視界に対応する画像を取得するために設けられる車両の前方を撮影するカメラは必須であり、以下では、このカメラによって撮影された画像を「前方画像」と称する。

［情報提示部］
情報提示部２６は、各種画像を表示し視覚的に情報を提示するためのディスプレイ、警報音や音声を出力し聴覚的に情報を提示するためのスピーカ、ステアリングやシート等のドライバと接触する位置に埋め込まれ、振動を発生させることにより触覚的に情報を提示するための振動発生器等からなる。

［制御部］
制御部２９は、地図データベース２８に格納された地図データ、ＧＰＳ受信機２４から得られる位置データ等を用い、情報提示部２６を介して、車両位置周辺の地図の表示や設定経路に関する案内表示や音声ガイダンス等を行ういわゆるナビゲーション機能を実現するための処理を実行する。つまり、車載装置２は、基本的には、周知のナビゲーション装置として機能するように構成されている。

また、制御部２９は、センサ群等２１〜２４や無線通信部２５を介して各種情報を取得すると共に、取得した情報を更に加工（画像処理や各種演算，統計処理等を実行）することによって各種情報を生成し、これら取得，生成した各種情報を、ドライバを取り巻く状況を特定するための特定情報として記録する特定情報記録処理を実行する。

ここで、加工することによって得られる情報として、具体的には、それら情報の微分値，積分値，各種平均値の他、生体センサ群２２からの情報等から生成されるドライバの生理的状態（例えば、漫然，集中，脇見，眠気，疲労，焦り）を表す情報や、環境センサ群２３からの情報等から生成される、オブジェクトの位置や種類（例えば、車両，歩行者，標識，落下物，横断歩道，歩道）、オブジェクトが車両である場合に特有な情報（先行車や対向車の有無，車間距離，相対速度，相対加速度）、道路形状（曲率，勾配，交差点）、路面状態、車線数、道路幅、オブジェクトが標識である場合にその内容（制限速度、進入禁止、一方通行）などの情報がある。なお、環境センサ群２３からの情報を加工することによって得られる情報は、無線通信部２５を介して取得する情報と一部重複していてもよい。また、環境情報には、ＧＰＳ受信機２４や地図データベース２８から得られる情報を含めてもよい。

以下では、車両センサ群２１から取得した各種情報、およびそれらの情報を加工することで得られた情報を「車両情報」と称し、生体センサ群２２から取得した各種情報、およびそれらの情報を加工することで得られた情報を「ドライバ情報」と称し、環境センサ群２３（ＧＰＳ受信機２４や地図データベース２８を含む）から取得した各種情報、およびそれらの情報を加工することで得られた情報を「環境情報」と称し、無線通信部２５を介して取得した各種情報を、およびそれらの情報を加工することで得られた情報を「通信情報」と称する。

更に、特定情報（車両情報，ドライバ情報，環境情報，通信情報）のうち、ドライバの操作に関する車両情報を、運転行動に対するドライバの意図が反映された情報であるものとして「意図反映情報」とも称し、それ以外の情報を、ドライバの運転行動に影響を与える情報であるものとして「行動影響情報」とも称する。

更に、制御部２９は、特定情報記録処理によって記録された特定情報に基づき、ドライバの注意が向いている位置を推定し、その推定結果に基づいて、ドライバに対する情報提供を行う情報提供処理を実行する。

また、制御部２９を構成する不揮発性のメモリ（例えば、ＲＯＭ）には、情報提供処理で使用される注意モデルが格納されている。この注意モデルとは、特定情報を、該特定情報に属する一又は複数の情報で構成された複数種類の生成情報群に分割し、その生成情報群毎に、該生成情報群の値とドライバの注意が向く位置（以下「注視点」と称する）との関係を示したものであり、事前の学習によって生成される。

なお、生成情報群は、特定情報の分類（車両情報，環境情報，ドライバ情報，通信情報）を単位としてもよいし、特定情報を関連性の強い情報毎にグループ化したものを単位としてもよいし、個別の特定情報を単位としてもよい。但し、本実施形態では、特定情報の分類毎に注意モデルが用意されている。

また、注意モデルは、具体的には、生成情報群に属する情報を入力として、前方画像を、決められた領域（例えば画素）毎に、注視点であるか否かを０，１の二値によって分類す識別器や、注視点であるか否かを０〜１の間の連続値によって確率的に推定する推定器等によって実現される。

なお、注意モデルの形式（上述の識別器や推定器）は、全ての生成情報群について同じでもよいが、生成情報群毎に異なっていてもよい。
［情報提供処理］
ここで、制御部２９が実行する情報提供処理を、図２に示すフローチャートに沿って説明する。

本処理は、上述した特定情報取得処理が実行される毎、即ち、特定情報がＲＡＭ等に記録される毎に起動する。
本処理が起動すると、Ｓ１１０では、前方画像の画像情報（輝度、色、エッジ）に基づく注意分布を作成する。ここで作成される注意分布は、ドライバが注意を向け易い位置を示すものであり、予め設定された規則に従って、画素毎に画像情報に応じた分布値を設定することで生成する。つまり、Ｓ１１０で作成される注意分布は、注意モデルを用いることなく、画像から得られる情報のみを用いて作成される。
Ｓ１２０では、特定情報取得処理により記録された特定情報のうち、環境情報に基づき、前方画像中に存在するオブジェクトを抽出する。なお、抽出対象となるオブジェクトは、例えば、各種車両，歩行者，標識（路面標識を含む）信号機，道路上の障害物等、予め定められたものである。

Ｓ１３０では、Ｓ１２０にてオブジェクトが抽出されたか否かを判断し、オブジェクトが一つも抽出されていなければ、Ｓ１５０に進み、一つでも抽出されていれば、Ｓ１４０に進む。

Ｓ１４０では、抽出したオブジェクトに基づく注意分布を作成する。ここで作成される注意分布は、オブジェクトが存在する位置を示すものであり、オブジェクトが検出された領域の分布値を一律に高く設定してもよいし、オブジェクトの位置，大きさ，種類等によって分布値を変化（例えば、自車両に近いほど高くする等）させてもよい。

Ｓ１４０で作成される注意分布は、Ｓ１１０で作成された注意分布と同様に、ドライバが注意を向け易い位置を示すものであり、予め設定された規則に従って、画素毎に画像情報に応じた分布値を設定することで生成する。つまり、Ｓ１４０で作成される注意分布も、注意モデルを用いることなく、画像から得られる情報のみを用いて作成される。但し、オブジェクトに基づく注意分布については、オブジェクトの位置，大きさ，色等を入力とする注意モデルを用いて生成してもよい。

続くＳ１５０では、特定情報取得処理により記録された特定情報の中に車両情報が存在するか否かを判断し、存在しない場合はそのままＳ１７０に進み、存在する場合はＳ１６０にて、車両情報に基づく注意分布を、学習モデルを用いて算出してＳ１７０に進む。

Ｓ１７０では、特定情報取得処理により記録された特定情報の中に環境情報が存在するか否かを判断し、存在しない場合はそのままＳ１９０に進み、存在する場合はＳ１８０にて、環境情報に基づく注意分布を、学習モデルを用いて算出してＳ１９０に進む。

Ｓ１９０では、特定情報取得処理により記録された特定情報の中にドライバ情報が存在するか否かを判断し、存在しない場合はそのままＳ２１０に進み、存在する場合はＳ２００にて、ドライバ情報に基づく注意分布を、学習モデルを用いて算出してＳ２１０に進む。

Ｓ２１０では、特定情報取得処理により記録された特定情報の中に通信情報が存在するか否かを判断し、存在しない場合はそのままＳ２３０に進み、存在する場合はＳ２２０にて、通信情報に基づく注意分布を、学習モデルを用いて算出してＳ２３０に進む。

なお、車両情報に基づく注意分布の生成（Ｓ１６０）は、車両情報を入力とする学習モデル（識別器または推定器）を用いて、注視点であるか否かの判定、あるいは注視点である確率はどの程度であるかの推定を、その判定や推定の対象となる領域毎に算出することによって行われる。ここでは、各車両情報について注意分布を生成し、生成された注意分布を加算／平均する等して統合する。このため、注意分布を生成する際に用いる車両情報は、注意モデルを生成する際に用いた車両情報が必ずしも全て揃っている必要はなく、車載装置２を搭載する個々の車両において、検出や生成が可能な車両情報だけを用いて車両情報に基づく注意分布を算出すればよい。このことは、環境情報に基づく注意分布の生成（Ｓ１８０）、ドライバ情報に基づく注意分布の生成（Ｓ２００）、通信情報に基づく注意分布の生成（Ｓ２２０）でも同様である。

Ｓ２３０では、先のＳ１３０，Ｓ１４０，Ｓ１６０，Ｓ１８０，Ｓ２００，Ｓ２２０で生成された注意分布（以下では「個別分布」とも称する）を統合する。この場合、全て同じ重みで統合（単純加算や単純平均）してもよいし、個々に重み付けして統合（重み付け加算や重み付け平均）してもよい。以下では、本ステップで生成される注意分布を「統合分布」と称する。

なお、図３は、Ｓ１３０〜Ｓ２３０の処理、即ち、特定情報に基づいて複数の個別分布を生成し、これらを統合することで最終的な統合分布を生成する処理のイメージを示した説明図である。

続く２４０では、Ｓ１１０で抽出されたオブジェクトのそれぞれについて、そのオブジェクトに対してドライバの注意がどの程度向いているかの推定結果を示す注意量を、Ｓ２３０にて求められた統合分布を用いて求める。具体的には、統合分布上でオブジェクトが存在する領域の分布値に従って、注意量を大，中，小のいずれかに設定する。即ち、分布値が第１閾値以上であれば注意量は大、第１閾値より小さな値に設定された第２閾値以下であれば注意量は小、第１閾値より小さく第２閾値より大きければ注意量は中となる。

なお、オブジェクトが存在する領域の分布値としては、その領域に属する全ての分布値の和を用いてもよいし、その領域に属する分布値の平均値を用いてもよい。そして、このように算出された領域の分布値を、予め設定された閾値と比較することで、注意量を設定する。

続くＳ２５０では、Ｓ１１０にて抽出されたオブジェクトのそれぞれについて、予め定められたルールに従って重要度を大，中，小のいずれかに設定する。
ここでのルールは、特定情報から特定される状況やオブジェクトの位置またはオブジェクト同士の相関関係、あるいはそれらの組合せを条件部とするＩＦ−ＴＨＥＮルールが用いられる。

具体的には、例えば、車両情報の一つである「ウインカの状態」が「右折」に設定されていれば（条件部）、画面の右側下方に位置するオブジェクトの重要度を大に設定する（帰結部）というルール、「（信号機や道路標識と推定される）オブジェクトまでの距離」が「所定値」以下であれば（条件部）、そのオブジェクトの重要度を大に設定する（帰結部）というルール、「横断歩道であると推定されるオブジェクト」が存在すれば（条件部）、そのオブジェクト上、および両端部付近に位置する歩行者であると推定されるオブジェクトの重要度を大に設定する（帰結部）というルール等が考えられる。なお、ルールの設定については、相関演算やApriori アルゴリズム等を利用することが考えられる。

続くＳ２６０では、Ｓ２４０で設定されたオブジェクトの注意量、Ｓ２５０で設定されたオブジェクトの重要度に基づき、そのオブジェクトに関する情報をドライバに提供するか否か、および、提示するのであればどのような形式で提示するかを判断し、その判断結果に従って情報提供を行って、本処理を終了する。

ここで、図４は、Ｓ２６０での判定を行う際に用いる提示制御テーブルの内容を示す説明図である。図４中、○印は、情報を提示する、△印はドライバの状態によって提示／非提示を決める、×は提示しないを示すものである。つまり、オブジェクトの重要度が大の場合は、注意量によらず情報を提示し、重要度が中の場合は、注意量が中小であれば、情報を提示し、注意量が大であれば、ドライバの状態によって提示／非提示を決める。更に、重要度が小である場合は、注意量が小であれば情報を提示し、注意量が中であればドライバの状態によって提示／非提示を決め、注意量が大であれば提示しない。

なお、ドライバの状態とは、生体情報や車両情報等から求められる漫然運転度、覚醒度、運転熟練度などであり、例えば、漫然運転度が高いか、覚醒度が低いか、運転熟練度が低い場合には、情報を提示するように制御する。

また、情報の提示の仕方としては、重要度が大であれば触覚（振動），聴覚（音声），視覚（表示）を全て使った提示を行い、重要度が中であれば聴覚（音声），視覚（表示）を使った提示を行い、重要度が小であれば視覚（表示）のみを使った提示を行う。

なお、上述の制御では、重要度で情報の提示の仕方を制御しているが、注意量が大であれば視覚のみを使って提示を行い、注意量が中であれば聴覚，視覚を使った提示を行い、注意量が小であれば触覚，聴覚，視覚の全てを使った提示を行うように制御してもよい。

更に、情報の提示の仕方を、図４中の○印、△印、×印と対応付けて、即ち、重要度と注意量の両方に基づいて制御してもよい。
［注意モデル］
次に、事前に行われる注意モデルの学習について説明する。

なお、注意モデルは、車両において学習してもよいが、本実施形態では、予め学習されたものを用いている。そして、注意モデルを学習する際には、多くのドライバについて収集したデータを利用する。

データの収集には、図５に示すように、上述した車載装置２に、ドライバの視線を検出する視線検出装置３０を加えた学習用車載装置５を搭載した車両、又は学習に必要な情報を収集可能なドライブシミュレータを使用する。但し、学習用車載装置５では、車載装置２とは異なり、情報提供のための構成（情報提示部２６）が省略されていてもよい。

［学習処理］
学習処理では、まず、学習用車載装置を搭載した車両を複数の被験者に運転させるか、複数の被験者にドライブシミュレータを使用させることによって、被験者の注視点（視線検出装置３０での検出結果）と特定情報（車両情報，環境情報，ドライバ情報，通信情報）とを取得する。

そして、特定情報を、該特定情報に属する一又は複数の情報で構成された複数種類の生成情報群に分割し、その生成情報群毎に、該生成情報群の値と注視点との関係を学習する。この学習には、サポートベクターマシン（ＳＶＭ）や混合ガウス分布（ＧＭＭ）などの統計的手法を利用する。

なお、生成情報群は、特定情報の分類（車両情報，環境情報，ドライバ情報，通信情報）を単位としてもよいし、特定情報を関連性の強い情報毎にグループ化したものを単位としてもよいし、個別の特定情報を単位としてもよい。

そして、ＳＶＭを利用した学習では、被験者の注視点を教師データとして、例えば、撮影した前方画像の注視点位置周辺にポジティブフラグを立て、注視点でないところには、ネガティブフラグを立てて、生成情報群に属する情報を入力として、前方画像を、決められた領域（例えば画素）毎に、注視点であるか否かを０，１の二値によって分類する識別器が得られるように学習する。

また、ＧＭＭを利用した学習では、生成情報群に属する情報内容の幾つかについて（例えば、操舵角や自車速等）、それぞれの情報と前方画像における注視点位置の間の関係を表現するＧＭＭを学習する。これらのＧＭＭを更に加算もしくは乗算によって結合することにより、前方画像を、決められた領域（例えば画素）毎に、注視点であるか否かを０〜１の間の連続値によって確率的に推定する推定器を構成する。

［効果］
以上説明したように、車載装置２は、ドライバの注意が向けられている位置（注視点）を、予め用意された注意モデルと、その時々で検出される特定情報とに基づいて生成される注意分布から推定し、その注意分布から前方画像中の各オブジェクトに対するドライバの注意量を算出すると共に、予め設定されたルールを用いて、特定情報から特定される状況に応じた各オブジェクトの重要度を設定し、その注意量と重要度とに基づいて、ドライバに対する情報の提供を制御するようにされている。

なお、注意モデルは、ドライバの意図を示す情報やドライバの運転行動に影響を与える情報が反映されるように作成されている。つまり、注意モデルを用いることで、右左折や直進等のステアリング操作の種類（ドライバの意図が反映された情報）や、車速の高低や信号機の色（ドライバの運転行動に影響を与える情報）によって、異なった注意分布が得られることになる。

従って、車載装置２によれば、その時々の状況（ドライバの意図やドライバの運転行動に影響を与えるオブジェクトの存在等を含む）に応じて、その状況を考慮した的確な情報提供を実現することができる。

しかも、車載装置２によれば、ドライバの注視点を注意モデルと特定情報とから推定するようにされているため、注視点を計測する計測器が必要な従来装置と比較して、簡易で安価な構成であるにも関わらず、より的確な制御を実現することができる。

ここで図６は、（ａ）が上述の学習モデルから生成した注意分布において、分布値（注意レベル）が上位何％に含まれる領域かを示した注意分布パーセント領域と、ドライバの注視点との一致率を所定の時間幅（０．３３［ｓ］）内で測定した結果を表すグラフであり、（ｂ）が学習モデルに基づいて生成した注意分布（統合分布）を、元の前方画像と対比して示したものであり、分布値が高いオブジェクトの上位３個についても丸数字によって明示した。

前方画像としては、図７に示した様な実環境で右左折や直進、追従走行や追い越し等様々な状況を含む一般市街路にて取得した実車データを利用した。また、注意モデルとしては、上述したＧＭＭを利用した推定器を用い、注意モデルに入力する特定情報としては、自車速と操舵角、車両検出結果を用いた。これにより、前述の様々な状況に対応できる注視モデルを構築した。

図６（ａ）中には、比較例として、非特許文献１の手法（従来手法）を用いて、画像の低次の特徴量（輝度・色・エッジなど）から注視点を推定した結果、および、全くランダムに注視点を設定した場合の一致率（チャンスレベル）を併記した。

図からわかるように、従来手法は、チャンスレベルと同程度以下であるのに対して、車載装置２に適用した手法では、実際の視線との一致率が３０％以上高く、ドライバの意図やドライバの運転行動に影響を与えるオブジェクト等の情報を、注意モデルに反映させることによって、注視点の推定精度が格段に改善されることがわかる。

また、車載装置２によれば、複数の注意モデルから注意分布（個別分布）を生成する際に、各種の特定情報を利用するが、必ずしも全ての特定情報が揃っていなくても、個別分布、ひいては統合分布の生成が可能であるため、取得可能な特定情報が異なる様々な車両に適用することができる。

図８は、図６の測定に用いたものと同じ注意分布（統合分布）を用い、注視点との一致率が、一致率の算出に要する時間幅を変化させることによって、どのような影響が生じるかを測定した結果を示すグラフである。但し、一致率の算出に要する時間幅は、０．３３［ｓ］，１［ｓ］，２［ｓ］，５［ｓ］，１０［ｓ］を用い、時間幅０．３３［ｓ］での一致率（基準値）と、他の時間幅での一致率との差分を示した。

画像から得られる情報だけを用いて注意分布を生成する従来手法では、時間幅の設定によって精度が大きく変動するのに対して、車載装置２に適用した本発明の手法によれ精度の変動度合いが小さく、ロバスト性が向上していることがわかる。

［発明との対応］
上記実施形態において、環境センサ群２３の中の前方画像を取得するカメラが画像取得手段、Ｓ１２０がオブジェクト抽出手段、制御部２９が実行する特定情報記録処理が情報取得手段、制御部２９を構成する不揮発性メモリであって注意モデルが記憶されたものがモデル記憶手段、Ｓ１１０〜Ｓ２３０（Ｓ１２０を除く）が注意分布生成手段、Ｓ２５０が重要度設定手段に相当する。

［他の実施形態］
以上本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態では、オブジェクトの注意量とオブジェクトの重要度とをいずれも用いて提示する情報の制御を行うようにされているが、いずれか一方のみを用いて制御するように構成してもよい。

上記実施形態では、オブジェクトの重要度によって、提供情報を制御するように構成されているが、オブジェクトに基づく注意分布を生成する（Ｓ１４０）際、またはその注意分布を他の注意分布と統合する（Ｓ２３０）際に、オブジェクトの重要度に応じて、個々のオブジェクトに対応する分布に重み付けを行うことによって、統合分布にオブジェクトの重要度を反映させるように構成してもよい。この場合、オブジェクトの重要度を設定する処理（Ｓ２５０）は、少なくとも、オブジェクトの重要度を反映させる処理（Ｓ１４０またはＳ２３０）の前に行うようにすればよい。

１…運転支援システム ２…車載装置 ３…通信インフラ ４…情報サーバ ５…学習用車載装置 ２１…車両センサ群 ２２…生体センサ群 ２３…環境センサ群 ２４…ＧＰＳ受信機 ２５…無線通信部 ２６…情報提示部 ２７…指令入力部 ２８…地図データベース ２９…制御部 ３０…視線検出装置

Claims (9)

1. 運転行動に対するドライバの意図が反映される情報又はドライバの運転行動に影響を与える情報である特定情報を取得する情報取得手段と、
   前記特定情報が示す値と前記画像上でドライバの注意が向いている位置である注視点との関係を示した注意モデルを記憶するモデル記憶手段と、
   前記モデル記憶手段に記憶された注意モデルに基づき、前記情報取得手段にて検出される特定情報から前記注視点を推定した注意分布を生成する注意分布生成手段と、
   を備えることを特徴とする注視点推定装置。
2. 前記モデル記憶手段に記憶される前記注意モデルは、前記特定情報に属する一又は複数の情報で構成された複数種類の生成情報群毎に用意され、
   前記注意分布生成手段は、前記注意モデル毎に、前記情報取得手段にて検出された特定情報から前記注視点を推定した個別分布を生成し、該個別分布を統合することで注意分布を生成することを特徴とする請求項１に記載の注視点推定装置。
3. ドライバの視界に対応する画像を取得する画像取得手段と、
   前記画像取得手段が取得した画像からオブジェクトを抽出するオブジェクト抽出手段と、
   前記オブジェクト抽出手段にて抽出されたオブジェクトの重要度を、予め設定されたルールに従って設定する重要度設定手段を備え、
   前記注意分布生成手段は、前記オブジェクト抽出手段にて抽出されたオブジェクトに基づく個別分布を生成すると共に、該オブジェクトに基づく個別分布を生成する際、または該オブジェクトに基づく個別分布を他の個別分布と統合する際に、前記重要度設定手段にて設定された重要度に応じて、個々のオブジェクトに対応する分布に重み付けを行うことを特徴とする請求項２に記載の注視点推定装置。
4. 前記重要度設定手段が重要度の設定に使用するルールには、前記情報取得手段にて取得される特定情報から特定される状況を条件とするものが少なくとも含まれていることを特徴とする請求項３に記載の注視点推定装置。
5. 前記重要度設定手段が重要度の設定に使用するルールには、前記オブジェクト抽出手段にて抽出されたオブジェクトの位置やオブジェクト同士の相関関係を条件とするものが少なくとも含まれていることを特徴とする請求項３または請求項４項に記載の注視点推定装置。
6. 前記特定情報には、ドライバの操作に関する情報又は車両の挙動を示す情報のうち少なくとも一方を含む車両情報が含まれていることを特徴とする請求項１乃至請求項５のいずれか１項に記載の注視点推定装置。
7. 前記特定情報には、ドライバの生体反応に関する情報である表すドライバ情報が含まれていることを特徴とする請求項１乃至請求項６のいずれか１項に記載の注視点推定装置。
8. 前記特定情報には、車両の走行環境に関する情報である環境情報が含まれていることを特徴とする請求項１乃至請求項７のいずれか１項に記載の注視点推定装置。
9. 前記環境情報の少なくとも一部を、路車間通信又は車車間通信によって取得することを特徴とする請求項８に記載の注意視点推定装置。