JP2007271480A - 情報提供装置 - Google Patents

Abstract

【課題】運転者が道に迷ってしまった場合に、あらためて運転者に経路設定の操作をさせずに適当な目的地の候補の情報を提供することができる情報提供装置を提供する。
【解決手段】運転者の視線方向を顔画像ごとに検出する視線検出手段１２と、車両の位置情報を取得する位置情報取得手段２６と、顔画像ごとの視線方向に基づき走行経路に迷いを生じているか判定し、生じている場合、運転者の視線方向の系列を抽出する判定手段２１と、複数の運転者における履歴情報を格納するデータベースに、抽出された視線方向の系列と相関関係のある視線方向の系列を含む履歴情報があるかの検索依頼情報を生成し検索を行う手段に送信する処理手段２０と、情報の表示手段１７と、受けた履歴情報に基づき到達地の情報と到達地までの経路情報を表示手段に表示させる表示制御手段１８とを備える。
【選択図】図１

Description

本発明は車両を運転する運転者に車両を誘導するための情報を提供する情報提供装置に関する。

従来から目的地を設定することにより現在地から目的地までの適切な経路を検索し、検索された経路に沿って車両を誘導する経路誘導装置が下記の非特許文献１に記載されている。基本的に、このような経路誘導装置によって誘導（案内）される経路に沿って運転をすれば目的地に到達することができる。
http://www.pioneer.co.jp/carrozzeria/index_navi.html 心理生理データによる認知行動の状態推定（http://criepi.denken.or.jp/jp/hfc/DB/Bunken/1992-01556.html） 生理実験入門 第２回 視覚系指標の計測，下田宏（京都大学大学院），ヒューマンインタフェース学会誌 Vol.7,No.2 2005（http://hydro.energy.kyoto-u.ac.jp/Lab/staff/shimoda/lecture/hipp/ocular2.pdf）（http://hydro.energy.kyoto-u.ac.jp/Lab/staff/shimoda/lecture/hipp/p-psychology1.pdf） 瞳孔運動の心理学 松永勝也 著 1990.9 ナカニシヤ出版

しかしながら、運転の初心者や運転に慣れていない者などは、従来のような経路誘導装置によって経路を誘導されても経路誘導の過程で提供される目印となる交差点やランドマークなどを見失って通り過ぎたり、または目印の交差点などの手前の位置であるにもかかわらず目印を見つけられないことに不安を感じたりするなど運転者（以下、ドライバとも言う）にとって不便であった。また、ある場所で車両が道に迷った場合、過去に同じ場所で迷った他の車両があるにもかかわらず迷った後の当該他の車両の走行履歴が活かさせることがなかった。さらに、運転者が地図や自らの記憶を頼りに運転し、経路誘導装置などを用いて目的地を設定しない場合には経路誘導されることはないため、道に迷ってしまった場合、経路誘導装置などに目的地をあらためて設定して経路誘導させなければならず面倒であった。

本発明は、上記問題を解決するためのものであり、運転者が経路を見失った若しくは道に迷ってしまった場合に、あらためて運転者に経路設定の操作をさせずに運転者に適当な目的地の候補の情報を提供することができる情報提供装置を提供することを目的とする。

上記目的を達成するために、本発明によれば、車両の運転者の複数の顔画像に基づいて、前記運転者の視線方向を前記顔画像ごとに検出する視線検出手段と、前記車両の位置情報を取得する位置情報取得手段と、前記視線検出手段によって検出された前記顔画像ごとの前記運転者の前記視線方向に基づいて、前記運転者の眼球運動による視線の移動量を算出し、算出された前記視線の移動量に基づいて前記運転者が走行経路に迷いを生じているか否かを判定し、前記運転者が迷いを生じていると判定した場合、前記位置情報取得手段によって取得された前記車両の前記位置情報と、前記判定をする際に用いられた複数の前記顔画像における前記運転者の前記視線方向とに基づいて、前記運転者の視線方向の系列を抽出する判定・抽出手段と、複数の運転者のそれぞれが過去に走行経路に迷いを生じた際の視線方向の系列と、前記迷いが生じた後に到達した到達地の情報と、前記迷いが生じた地点から前記到達地までの経路案内で目印となる目標物情報を含む前記到達地までの経路情報とからなる履歴情報をあらかじめ作成してそれぞれ格納するデータベース中に、前記判定・抽出手段によって抽出された前記視線方向の系列と所定の相関関係を有する前記視線方向の系列を含む前記履歴情報があるか否かの検索依頼のための検索依頼情報を生成し、前記検索を行う外部の手段に送信する処理手段と、情報を表示する表示手段と、前記検索を行う前記外部の手段によって検索された前記履歴情報を受け取り、受け取った前記履歴情報に基づいて前記到達地の情報及び前記迷いが生じた地点から前記到達地までの経路案内で目印となる目標物情報を含む前記到達地までの経路情報を推薦情報として前記表示手段に表示させる表示制御手段とを備える情報提供装置が提供される。この構成により、運転者が経路を見失った若しくは道に迷ってしまった場合に、あらためて運転者に経路設定の操作をさせずに運転者に適当な目的地の候補の情報を提供することができる。ここでの所定の記憶領域は、半導体メモリ以外にＤＶＤ（Digital Versatile Disk）などの記憶媒体も含む概念である。

また、本発明の情報提供装置において、前記判定・抽出手段が、算出された前記視線の移動量の情報に、前記運転者の前記視線が停留する視線停留時間の情報を更に加えて、前記運転者が走行経路に迷いを生じているか否かを判定することは、本発明の好ましい態様である。この構成により、より適切に運転者が走行経路に迷いを生じているか否かを判定することができる。

また、本発明の情報提供装置において、前記運転者が過去に走行経路に迷いを生じた際の視線方向の系列、前記迷いが生じた後に到達した到達地の情報、前記迷いが生じた地点から前記到達地までの経路案内で目印となる目標物情報を含む前記到達地までの経路情報からなる履歴情報をあらかじめ作成して格納する格納手段を更に備え、前記処理手段が、前記判定・抽出手段によって抽出された前記視線方向の系列と所定の相関関係を有する前記視線方向の系列を含む前記履歴情報が前記格納手段中にあるか否かの検索をし、前記履歴情報がない場合に前記検索依頼のための検索依頼情報を生成し、前記検索を行う前記外部の手段に送信することは、本発明の好ましい態様である。この構成により、より早期に履歴情報を得ることができる。

また、本発明の情報提供装置において、前記車両を走行させるために前記運転者によって行われる各操作の操作量を取得する操作量取得手段と、前記操作量取得手段によって取得された前記操作量に基づいて前記運転者が走行経路に迷いが生じているか否かを判定する運転操作判定手段と、前記運転操作判定手段によって判定された結果及び前記判定・抽出手段によって判定された結果に基づいて、最終的に前記運転者が前記走行経路に迷いを生じているか否かを判定する統合判定手段とを更に備えることは、本発明の好ましい態様である。この構成により、より適切に運転者が走行経路に迷いを生じているか否かを判定することができる。なお、各操作の操作量とは、車両を走行させる際に必要な操作における操作量であって、例えばハンドルをどの程度回転させたかを示す操舵量、アクセルをどの程度踏んだかを示すアクセル量、ブレーキをどの程度踏んだかを示すブレーキ量などを言う。

また、本発明の情報提供装置において、前記視線の移動量が、跳躍性眼球運動の開始時及び終了時における前記視線方向から前記跳躍性眼球運動ごとに算出されることは、本発明の好ましい態様である。この構成により、より適切に運転者が走行経路に迷いを生じているか否かを判定することができる。

また、本発明の情報提供装置において、前記視線方向の系列が、前記位置情報取得手段によって取得された前記車両の前記位置情報と、前記判定をする際に用いられた複数の前記顔画像における前記運転者の前記視線方向と、所定の記憶領域に格納されているかあるいは外部から得た地図情報とに基づいて抽出された前記運転者が視認した前記走行経路の周囲に存在する対象物の情報の系列である対象物情報系列であることは、本発明の好ましい態様である。この構成により、より適切な履歴情報を検索することができる。

本発明の情報提供装置は、上記構成を有し、運転者が経路を見失った若しくは道に迷ってしまった場合に、あらためて経路設定をしなくても適当な目的地の候補の情報を提供することができる。また、同じく、経路を見失った乗員の視線及び目の動き、さらに運転行動の履歴を蓄積することで、路側の案内標識や地図による経路誘導において何が乗員にとって分かり難いかに関わる情報を提供する。道路の管理者や地図の製作者は、その提供された情報を解析することで案内標識や地図の改善点を見出すことができ、乗員の利便性や店舗の集客力向上につなげることができる。

以下、本発明の実施の形態に係る情報提供装置について図１から図１１を用いて説明する。図１は本発明の実施の形態に係る情報提供装置を含む情報提供システムの一例を示す構成図である。図２は本発明の実施の形態に係る情報提供装置における視線方向の検出フローの一例を示すフローチャートである。図３ａは本発明の実施の形態に係る情報提供装置における跳躍性眼球運動（以下、サッカードとも言い、注視位置を横方向、縦方向、あるいは斜め方向に変える際に生じる急速な眼の動き）の振幅の一例について説明するための図である。図３ｂは本発明の実施の形態に係る情報提供装置におけるサッカードの振幅の一例について説明するための他の図である。図４は本発明の実施の形態に係る情報提供装置の視線判定部における目標物を探しているか否かを判定するフローの一例を示すフローチャートである。図５は本発明の実施の形態に係る情報提供装置を含む情報提供システムの路側情報処理装置における履歴情報データベースの構成の一例を示す図である。図６は本発明の実施の形態に係る情報提供装置の運転履歴記録部における履歴データの記録から路側情報処理装置の記録部における履歴データの記録までの一連の記録フローの一例を示すフローチャートである。

図７は本発明の実施の形態に係る情報提供装置の履歴情報データベース内からの履歴データの検索フローの一例を示すフローチャートである。図８は本発明の実施の形態に係る情報提供装置を含む情報提供システムの路側情報処理装置の履歴情報データベース内からの履歴データの検索フローの一例を示すフローチャートである。図９は本発明の実施の形態に係る情報提供装置を含む情報提供システムにおける目的地が設定されていない場合の動作フローの一例を示すフローチャートである。図１０は本発明の実施の形態に係る情報提供装置を含む情報提供システムにおける目的地が設定されている場合の動作フローの一例を示すフローチャートである。図１１は本発明の実施の形態に係る情報提供装置における経路や目標物の案内の処理フローの一例を示すフローチャートである。

まず、本発明の実施の形態に係る情報提供装置を含む情報提供システムについて図１を用いて説明する。図１に示すように、情報提供システムは、情報提供装置１、通信網２、路側情報処理装置３から構成されている。情報提供装置１は通信網２を介して路側情報処理装置３に接続可能であり、様々な情報の問い合わせをすることが可能である。

まず、本発明の実施の形態に係る情報提供装置の一例について図１を用いて説明する。図１に示すように、情報提供装置１は、画像撮像部１１、視線検出部１２、操作量入力部１３、運転操作検出部１４、位置検出部１５、運転履歴記録部１６、表示装置１７、表示処理部１８、判定部１９、情報処理部２０、通信部２４、履歴情報データベース２５、ＧＰＳ２６、カーナビゲーション装置２７から構成されており、さらに判定部１９は視線判定部２１、運転操作判定部２２、統合判定部２３から構成されている。なお、情報提供装置１はこれらの構成要素に限られるものではない。

視線検出部１２は、車両のドライバの複数の顔画像に基づいてドライバの視線方向を顔画像ごとに検出するものであって、具体的には、顔画像から顔の向きDf（車両の進行方向に対して顔の正面が向いている方向）を検出し、検出されたドライバの顔の向きDfを考慮したドライバの視線方向Deを検出する。ここで、ドライバの複数の顔画像は、例えば画像撮像部１１によって撮像されたものである。画像撮像部１１はドライバの顔を時間の経過に伴って複数回撮像するものであって、例えば車内のルームミラー（バックミラー）に設置されたCCD（Charge Coupled Device）カメラなどである。画像撮像部１１は、例えば１秒間で３０フレームの画像（動画像）を撮像するがこれに限られるものではなく、より撮像間隔をあけて画像（静止画像）を撮像するようにしてもよい。なお、ここでは画像撮像部１１と視線検出部１２とが別々の構成要素となっているが、画像撮像部１１と視線検出部１２を１つのユニットとしてそれぞれの機能を有した不図示の視線検出装置とすることも可能である。

上述したドライバの顔の向きDfを検出する方法としては、例えば撮像された画像に対して、両目（両瞳）及び鼻、又は両目（両瞳）及び口を結んだあらかじめ決められた逆三角形状のマスク（領域）を当て、そのずれから顔の向きDfを検出する方法がある。また、上述したドライバの視線方向Deを検出する方法としては、例えば瞳孔と角膜反射像の組み合わせから視線方向を検出する公知の方法があり、具体的には不図示の視線検出用の赤外線照射装置によってドライバの目に赤外線で照射し、反射光を不図示の赤外線カメラなどで捕らえてドライバの目を映し出し、瞳孔中心と角膜球中心を計算する。ここで、不図示の赤外線照射装置及び不図示の赤外線カメラの３次元的位置関係は既知であるため、計算された角膜球中心と瞳孔中心とを３次元的に結んだ線をコンピュータによって計算し、計算された線をドライバの視線方向Deとする（特開平７−６１２５７号公報参照）。なお、ドライバの視線方向を検出する方法はこれに限られるものではなく、他の方法であってもよい。

ここで、ドライバの視線方向Deを検出するフローを図２に示す。図２に示すように、まず、画像撮像部１１によって撮像されたドライバの顔画像を取り込む（ステップＳ２０１）。取り込まれた顔画像から顔の複数の特徴点（例えば、目、鼻、口など）を抽出する（ステップＳ２０２）。抽出された顔の複数の特徴点のそれぞれの位置と、上述したようなあらかじめ決められたマスクとに基づいて顔の向きDfを検出する(ステップＳ２０３)。検出された顔の向きDfを考慮したドライバの視線方向Deを上述したような公知の方法で検出する（ステップＳ２０４）。

なお、ここでの視線方向の検出は左右の目のうちどちらか一方の目に対して行うようにしてもよく、また両目に対して視線方向を検出し、検出された結果の平均をとるなどして視線方向を検出するようにしてもよい。また、視線方向の検出処理をせずに顔の向きDfを視線方向とすることも可能である。また、視線検出部１２は、瞳孔の半径ｌrの収縮率及び変化量を検出することも可能である。また、視線検出部１２は瞬目（瞬き）の頻度及び瞬目の継続時間を検出するようにしてもよい。なお、瞳孔の収縮率や変化量などの瞳孔運動や瞬目に関しては上述した非特許文献２から４を参照することが可能である。

操作量入力部１３は、車両の走行を制御する不図示の制御部から得た、車両における操舵量、アクセル量、ブレーキ量などの情報を運転操作検出部１４へ伝達するものである。運転操作検出部１４は、車両を走行させるためにドライバによって行われる各操作の操作量を取得するものであり、具体的には操作量入力部１３から収集した情報を所定の基準に基づいて数値化し、その情報を判定部１９へ伝達するものである。なお、運転操作検出部１４は、進行方向の速度及び加速度、ヨー・ピッチ・ロール量を計測して計測された量を数値化して判定部１９へ伝達するようにしてもよい。ＧＰＳ２６は、車両の位置情報を取得するものであり、位置検出部１５は、ＧＰＳ２６によって得られた車両の位置情報をカーナビゲーション装置２７を介して取得し、視線判定部２１へ伝達するものである。

視線判定部２１は、視線検出部１２によって検出された顔画像ごとのドライバの視線方向に基づいて、ドライバの眼球運動による視線の移動量を算出し、算出された視線の移動量に基づいてドライバが走行経路に迷いを生じているか否かを判定し、ドライバが迷いを生じていると判定した場合、ＧＰＳ２６によって取得された車両の位置情報と、判定をする際に用いられた複数の顔画像におけるドライバの視線方向とに基づいて、ドライバの視線方向の系列を抽出するものである。

より具体的には、視線判定部２１は、視線検出部１２によって検出された顔画像ごとのドライバの視線方向に基づいて、ドライバの跳躍性眼球運動の開始時及び終了時における視線方向から視線の移動量を跳躍性眼球運動ごとに算出し、算出された視線の移動量に基づいてドライバが走行経路に迷いを生じているか否かを判定し、ドライバが迷いを生じていると判定した場合、ＧＰＳ２６によって取得された車両の位置情報と、判定をする際に用いられた複数の顔画像におけるドライバの視線方向と、所定の記憶領域（カーナビゲーション装置２７内の不図示の半導体メモリなど）に格納されているか、あるいは外部（カーナビゲーション装置２７で使用可能なＤＶＤなどの記憶媒体）から得た地図情報とに基づいて、例えば画像撮像部１１によってドライバの複数の顔画像が撮像された時間のうちの所定の時間（以下、単に所定の時間とも言う）内にドライバが視認した走行経路の周囲に存在する対象物の情報の系列である対象物情報系列を抽出するものである。以下では、眼球運動の１つであるサッカードの場合に関して説明するがこれに限られるものではない。なお、所定の時間とは、判定に用いられたドライバの複数の顔画像が撮像された時間のうちの一部の時間を言うが、一部の時間ではなく撮像されていた間の時間であってもよい。以下、具体的な処理について説明する。

視線判定部２１は、視線検出部１２で得られたドライバの視線方向に基づいて、視線方向の変化する量としてサッカードの振幅Sθを求め、さらに視線が移動した先で視線が停留した時間Gtを求める。ここで、サッカードの振幅Sθについて図３ａ及び図３ｂを用いて説明する。図３ａに示すように、ドライバは当初車両のフロントガラス越しに車両の進行方向の第１の点３００又はその周辺を見ているとする。その状態からドライバが視線を動かすことによって視線が第２の点３０１又はその周辺に移動したとする。この場合において、図３ｂのようにそれぞれの視線方向を地面に対して平行な水平面上に投影した視線方向同士のなす角度θ１をサッカードの振幅Sθとする。このことを踏まえると、ドライバの視線が第２の点３０１から第３の点３０２又はその周辺へ移動した場合のサッカードの振幅は、図３ｂに示すようにθ２となる。なお、上述した視線停留時間Gtは、例えば図３ａに示す第２の点３０１へ視線が移動してから第３の点３０２に移動するまでの時間を言う。

また、視線判定部２１は、上述したサッカードの振幅Sθが所定の値以上となるサッカードの回数Srを求め、また視線停留時間Gtが所定の閾値Gtth以上となる視線停留回数Gtcを求める。そして、視線判定部２１は、求められたこれらの情報からドライバが目標物を探しているか否か（迷っているか否か）を判定する。すなわち、下記の式（１）を満たした場合には目標物を探していると判定される。ここで、式（１）の左辺は探索度Sを示し、αは係数であり、Count(Gt>Gtth)は視線停留回数Gtcを示し、Gtth及びThは所定の閾値である。なお、ここではサッカードの振幅Sθと視線停留時間Gtとに基づいてドライバが目標物を探しているか否かを判定しているが、サッカードの振幅Sθの情報のみに基づいて判定するようにしてもよい。

ここで、目標物を探しているか否かを判定するフローを図４に示す。図４に示すように、まず、視線方向の変化量としてサッカードの振幅Sθと視線停留時間Gtを算出する（ステップＳ４０１）。サッカードの回数（頻度）Srと、視線停留時間Gtが閾値Gtth以上となる視線停留回数Gtcとを算出する（ステップＳ４０２）。サッカードの回数（頻度）Srと視線停留回数Gtcの重み付き和から探索度Sを算出する（ステップＳ４０３）。そして、探索度Sが閾値Thより大きいか否かを判断し（ステップＳ４０４）、大きい場合には道に迷っている（目標物を探している）と判定される（ステップＳ４０５）。

このように、道に迷っている（何か目標物を探している）と判定されると、所定の時間内にドライバが周囲を見る視線行動によって見た標識やランドマークなど（対象物）の情報を、視線判定部２１は、ＧＰＳ２６によって取得された車両の位置情報と、視線検出部１２によって検出された視線方向と、例えばカーナビゲーション装置２７が有する地図情報とに基づいて抽出する。なお、情報提供装置１のハードウェア資源に余裕があれば、道に迷っている（何か目標物を探している）と判定される前からドライバが見た標識やランドマークなど（対象物）の情報を抽出しておくことも可能である。これにより、より早い処理をすることができる。

なお、道に迷っているか（目標物を探しているか）否かを判定する他の方法として、視線判定部２１は、上述したように、視線検出部１２で求められた瞳孔の半径ｌrの収縮率及び変化量からドライバの周囲に対する注意の度合いを示す注意量を求め、ドライバが経路案内過程での目標物（目印）を探しているか若しくは見失っているかを判定するようにしてもよい。また、視線判定部２１は、上述したように、視線検出部１２で求められた瞬目（瞬き）の頻度及び瞬目の継続時間からドライバの周囲に対する注意の度合いを示す注意量を求め、ドライバが経路案内過程での目標物（目印）を探しているか若しくは見失っているかを判定するようにしてもよい。

また、視線判定部２１は、ドライバによってあらかじめ目的地が設定され経路案内されている場合、位置検出部１５によって検出された自車両の位置情報に基づいて、ドライバの視線が経路案内過程での目標物（目印）に所定の時間以上滞留したか否かをもってその目標物を発見したか否かを判断する。これに基づき、視線判定部２１は自車両の位置が経路案内過程での目標物を適切に視認することができる位置を通過するまでに目標物を発見できなかったと判断された場合に見失ったと判定するようにしてもよい。一方、自車両の位置が経路案内過程での目標物を適切に視認することができる位置に到達する遥か手前の位置で目標物を探す視線行動、例えば周囲を何度も見回す行動などが検出された場合にはドライバが道に迷っていると判定するようにしてもよい。このようにして、視線判定部２１は、ドライバが道に迷っているか否か、目標物を探しているか否かなどを判定することもできる。

運転操作判定部２２は、運転操作検出部１４によって取得された操作量に基づいて運転者が走行経路に迷いが生じている（目標物を探している）か否かを判定するものであり、例えば所定期間内でアクセル量が変化する頻度（回数）Acr及びブレーキ量が変化する頻度（回数）Bcrが所定の閾値を超えた場合や、所定期間内でステアリングの操舵量が変化する頻度（回数）Scrが所定の閾値を超えた場合にドライバが目標物を探している、道に迷っているなどと判定する。

統合判定部２３は、運転操作判定部２２によって判定された結果及び視線判定部２１によって判定された結果に基づいて、最終的にドライバが走行経路に迷いを生じているか否かを判定するものであり、具体的には運転操作判定部２２によって判定された際のアクセル量などの変化の頻度（回数）及び視線判定部２１によって判定された際の数値の重み付き和を計算し、所定の閾値以上となった場合にドライバが目標物を探している、道に迷っているなどと最終的に判断するものである。そして、ドライバが道に迷っている（目標物を探している）などと判断した場合、統合判定部２３はドライバが道に迷っているなどの旨の情報、現在の車両の位置情報、所定の時間内にドライバが周囲を見る視線行動によって見た標識やランドマークなど（対象物）の視線判定部２１によって抽出された情報などを情報処理部２０へ伝達する。

なお、ドライバが道に迷っているなどと判断する場合、視線判定部２１と運転操作判定部２２の判定結果の両方を用いて判断しているが、視線判定部２１の判定結果のみでドライバが道に迷っているか否かなどを判断してもよい。この場合、統合判定部２３は特に判定の処理をすることはなく視線判定部２１から伝達される判定結果に基づくドライバが道に迷っている旨の情報、現在の車両の位置情報、所定の時間内にドライバが周囲を見る視線行動によって見た標識やランドマークなどの視線判定部２１によって抽出された情報などを情報処理部２０へ伝達する。

情報処理部２０は、複数のドライバのそれぞれが過去に走行経路に迷いを生じた際の視線方向の系列と、迷いが生じた後に到達した到達地の情報と、迷いが生じた地点から到達地までの経路案内で目印となる目標物情報を含む到達地までの経路情報とからなる履歴情報をあらかじめ作成してそれぞれ格納する履歴情報データベース３４中に、視線判定部２１によって抽出された視線方向の系列と所定の相関関係を有する視線方向の系列を含む履歴情報があるか否かの検索依頼のための検索依頼情報を生成し、検索を行う外部の手段（検索・推薦部３２）に送信するものである。

より具体的には、情報処理部２０は、複数のドライバのそれぞれが過去に走行経路に迷いを生じた際に視認した走行経路の周囲に存在する対象物の情報の系列である対象物情報系列と、迷いが生じた後に到達した到達地の情報と、迷いが生じた地点から到達地までの経路案内で目印となる目標物情報を含む到達地までの経路情報とからなる履歴情報をあらかじめ作成してそれぞれ格納する履歴情報データベース３４中に、視線判定部２１によって抽出された対象物情報系列と所定の相関関係を有する対象物情報系列を含む履歴情報があるか否かの検索依頼のための検索依頼情報を生成し、検索を行う外部の手段（検索・推薦部３２）に送信するものである。具体的には、統合判定部２３から受けた情報を含めた検索依頼情報（以下、通信要求情報とも言う）を生成し、生成された通信要求情報を通信部２４を介して路側情報処理装置３に送信する。

次に、路側情報処理装置３について説明する。路側情報処理装置３は、通信部３１、検索・推薦部３２、記録部３３、履歴情報データベース３４から構成されているがこれらの構成要素に限られるものではない。通信部３１は、情報提供装置１からの通信要求情報を受信したり、検索・推薦部３２によって検索された情報を情報提供装置１に送信したりするものである。検索・推薦部３２は、通信部３１からの通信要求情報を受信した後、通信要求情報に含まれる車両の位置情報及び所定の時間内にドライバが周囲を見る視線行動によって見た標識やランドマークなどの情報に基づいて、過去に類似した視線行動を取ったドライバが運転する車両がいないかを履歴情報データベース３４から検索するものである。具体的な検索方法については後述する。

履歴情報データベース３４は、過去に道に迷った車両のドライバの所定の時間内における視線行動によって見た標識やランドマークなどの情報と、その車両がどこに到達したかを示す到達地の情報と、その到達地までの経路情報とを関連付けて格納している。なお、関連付けられて格納されたこれらの情報は、それぞれのドライバが道に迷った際に履歴情報として登録されていくが、デフォルトの情報としてあらかじめ車両の運転に不慣れな複数のドライバが実際に走行し、道に迷った際の情報を履歴情報として格納しておいてもよい。履歴情報データベース３４の一例を図５に示す。図５に示すように、例えば検索位置は「東京都文京区××」であり、この検索位置はこれから検索しようとする車両の位置情報に基づいて抽出されたものである。

抽出された検索位置において、例えば過去に東京ドームに到達したドライバＡは、該当する検索位置において所定の時間内に「標識ａ」及び「建物ａ」を見ていた。また、過去に水道橋駅に到達したドライバＢは、該当する検索位置において所定の時間内に「標識ａ」、「標識ｂ」、「標識ｃ」、「建物ｃ」を見ていた。なお、図５中に示された数値「１」は該当する標識や建物などを見たことを示し、数値「０」は見ていないことを示している。また、経路情報の欄にはその到達地までの経路データ及び経路案内過程で目標となる目標物の情報を含む情報が格納されている。

ここで、検索・推薦部３２による具体的な検索方法について説明する。検索・推薦部３２は、通信部３１を介して通信要求情報を受け取る。その通信要求情報に含まれる車両の位置情報が、例えば「東京都文京区××」を示すものであり、該当する検索位置において所定の時間内にドライバの視線行動によって見た標識やランドマークなどの情報が、例えば「標識ａ」及び「建物ａ」の情報である場合、検索・推薦部３２は図５に示す履歴情報データベース３４から類似した視線行動をしたドライバの履歴データを検索する。この場合、検索・推薦部３２は、例えば公知の協調フィルタリングの相関係数法(http://www.ipsj.or.jp/katsudou/sig/sighp/fi/sympo/2002/proceedings/invited/yamanishi.pdfを参照)を用いることにより、現在迷っている車両のドライバと過去に東京ドームに到達したドライバＡの視線行動が最も類似していると判断し、到達地（この例では東京ドーム）とそこまでの経路データ、そして経路案内過程での目標物（目印）の情報を推薦情報として通信部３１へ伝達する。

なお、推薦情報は１組の情報に限られるものではなく複数組の情報であってもよい。ここでの協調フィルタリングの相関係数法は、ドライバの現在地までの一定時間（一定区間）においてドライバが視認した対象物（標識やランドマークなど）の系列と、履歴情報データベース３４に格納されたドライバがその一定時間（一定区間）において視認した対象物の系列とを比較し、その相関の大きさ（類似度）と所定の閾値とによって、類似した視線行動をとっている過去のドライバを選定するものである。

通信部３１は検索・推薦部３２から受けた到達地（この例では東京ドーム）とそこまでの経路データ、そして経路案内過程での目標物（目印）の情報を推薦情報として通信網２を介して情報提供装置１に送信する。そして、情報処理部２０は、通信部３１から受けた到達地（この例では東京ドーム）とそこまでの経路データ、そして経路案内過程での目標物（目印）の情報を表示処理部１８に伝達する。

表示処理部１８は、検索を行う手段（検索・推薦部３２）によって検索された履歴情報を受け取り、受け取った履歴情報に基づいて到達地の情報及び迷いが生じた地点から到達地までの経路案内で目印となる目標物情報を含む到達地までの経路情報を推薦情報として表示手段に表示させるものであり、具体的には、得られた推薦情報を表示装置１７に表示するための制御を行うものであり、到達地の候補が複数ある場合には、現在地から近い順、人気順（過去に推薦情報として推薦された回数の多い順）、データ更新の新しい順などで表示装置１７に表示させ、ドライバに推薦する情報を提供する。そして、推薦された情報の中からドライバが到達地を選択した場合、表示処理部１８は選択された到達地までの経路及びその経路案内過程での目標物の情報を表示装置１７に表示させる。

運転履歴記録部１６は、車両が目的地に到着した後、目的地とそこまでに走行した経路の情報、そして経路上での視線行動の履歴を関連付けて１つの履歴データとして自車両内の履歴情報データベース２５に記録し、記録された履歴データは情報処理部２０及び通信部２４を経由して路側情報処理装置３の記録部３３によって履歴情報データベース３４に記録される。

この一連の記録フローを図６に示す。図６に示すように、情報提供装置１は車両が目的地に到着したか否かを判断する（ステップＳ６０１）。目的地に到着したと判断した場合、自身の履歴情報データベース２５に、目的地とそこまでに走行した経路の情報、そして経路上での視線行動の履歴を関連付けて１つの履歴データを記録する（ステップＳ６０２）。一方、路側情報処理装置３の履歴情報データベース３４にも同様の履歴データを記録するため、情報処理部２０及び通信部２４を介して路側情報処理装置３に送信し、記録させる（ステップＳ６０３）。このようにすることによって、今後他の車両が道に迷ったなどの場合、道に迷った車両からの問い合わせに対して履歴データを提供することができる。

上述したように情報提供装置１は、路側情報処理装置３に対して自身の車両と類似した視線行動を行ったドライバの履歴データがあるか検索を依頼し、あれば履歴データを取得するように構成されている。しかし、情報提供装置１は、道に迷ったなどですぐに路側情報処理装置３に検索の依頼をするのではなく、自身が搭載された車両のドライバが過去に迷った際の視線行動の履歴データを格納した履歴情報データベース２５に、該当する履歴データがあるか自身で検索するようにし、該当する履歴データがない場合に路側情報処理装置３に検索の依頼をするようにしてもよい。この場合、履歴情報データベース２５は、履歴情報データベース３４と同様に、ドライバが過去に走行経路に迷いを生じた際に視認した走行経路の周囲に存在する対象物の情報の系列である対象物情報系列、迷いが生じた後に到達した到達地の情報、迷いが生じた地点から到達地までの経路案内で目印となる目標物情報を含む到達地までの経路情報からなる履歴情報を格納している。このような検索のフローを図７に示す。

図７に示すように、まず、カーナビゲーション装置２７などで目的地が設定されているか否かを判断する（ステップＳ７０１）。目的地が設定されている場合には、情報提供装置１は自身の履歴情報データベース２５内で目的地が一致若しくは近傍の履歴データの中から、現在位置付近で過去に当該ドライバが類似した視線行動をとった履歴データがあるか検索する（ステップＳ７０２）。一方、目的地が設定されていない場合には、情報提供装置１は自身の履歴情報データベース２５内の履歴データの中から、現在位置付近で過去に当該ドライバが類似した視線行動をとった履歴データがあるか検索する（ステップＳ７０３）。

また、上述したように、路側情報処理装置３の検索・推薦部３２が履歴情報データベース３４から履歴データを検索する際、車両の位置情報が示す位置付近での履歴データを検索していたが、車両の目的地情報も合わせて情報提供装置１から路側情報処理装置３に送信された場合には、その目的地情報も考慮して検索するようにしてもよい。その場合の検索フローを図８に示す。図８に示すように、路側情報処理装置３はカーナビゲーション装置２７などで設定された目的地の情報を受信したか否かを判断する（ステップＳ８０１）。

目的地情報を受信した場合には、検索・推薦部３２は履歴情報データベース３４内で目的地が一致若しくは近傍の履歴データの中から、現在位置付近で過去に他人又は当該ドライバ自身が類似した視線行動をとった履歴データがあるか検索する（ステップＳ８０２）。一方、目的地情報を受信しない場合には、上述したように検索・推薦部３２は履歴情報データベース３４内の履歴データの中から、現在位置付近で過去に他人又は当該ドライバ自身が類似した視線行動をとった履歴データがあるか検索する（ステップＳ８０３）。

次に、本発明の実施の形態に係る情報提供装置を含む情報提供システムおける動作フローの一例について図９及び図１０を用いて説明する。なお、図９及び図１０に示すフローでは、まず情報提供装置１の履歴情報データベース２５内の履歴データを検索した後、適当な履歴データが検出されない場合に路側情報処理装置３の履歴情報データベース３４内の履歴データを検索するようにしている。ここで、情報提供装置１の履歴情報データベース２５の構成は、上述した図５に示す路側情報処理装置３の履歴情報データベース３４と同様の構成をしている。

また、この動作フローは一例であって、上述したように情報提供装置１の履歴情報データベース２５内の履歴データを検索せずに即座に路側情報処理装置３の履歴情報データベース３４内の履歴データを検索するようにしてもよい。また、図９はカーナビゲーション装置２７などで目的地が設定されていない場合のフローであり、図１０は目的地が設定されている場合のフローである。まず、目的地が設定されていない場合の動作フローについて説明する。

まず、位置検出部１５が車両の位置情報を取得する処理（車両位置・挙動検出処理）を行う（ステップＳ９０１）。図２で説明したように視線検出部１２が画像撮像部１１によって撮像された複数の顔画像に基づいてドライバの視線方向を検出する処理（視線行動検出処理）を行う（ステップＳ９０２）。なお、上述したように、運転操作判定部２２による判定も考慮する場合には、アクセル量が変化する頻度（回数）Acr、ブレーキ量が変化する頻度（回数）Bcr、ステアリングの操舵量が変化する頻度（回数）Scrなどを求める処理（運動行動抽出処理）を行う（ステップＳ９０３）。そして、統合判定部２３が目標物を探しているか否かを判定する処理（理解度判定処理）を行う（ステップＳ９０４）と同時に、道に迷っている（目標物を探している）と判定された場合、上述したようなドライバの視認行動によって見た標識やランドマークなどの情報の系列を抽出する。

そして、図７で説明したように情報処理部２０が、抽出された情報の系列に基づいて、履歴情報データベース２５内の履歴データの中から過去に自車両のドライバが類似した視線行動をとった履歴データがあるか検索する処理（類似行動圏策処理（自車両））を行う（ステップＳ９０５）。なお、図９に示すフローの場合、目的地が設定されていないため図７のステップＳ７０３に進むことになる。情報処理部２０が路側情報処理装置３の検索・推薦部３２が行う判断と同様の協調フィルタリングの相関係数法によって、ドライバの所定の時間内においてドライバが視認した対象物（標識やランドマークなど）の系列と、履歴情報データベース２５に格納されたドライバが視認した対象物の系列とを比較し、その相関の大きさ（類似度）が所定の閾値以上か否かを判断する（ステップＳ９０６）。

所定の閾値以上である場合、情報処理部２０は類似した視線行動により向かった目的地とそこへの経路及び経路案内過程での目標物を推薦情報として抽出する（ステップＳ９０７）。一方、ステップＳ９０６で所定の閾値以上でない場合、図８で説明したように情報処理部２０から通信部２４を経由して送信された検索依頼に基づいて、検索・推薦部３２は履歴情報データベース３４内の履歴データの中から過去に類似した視線行動をとったドライバの履歴データがあるか検索する処理（類似行動圏策処理（他車両））を行う（ステップＳ９０８）。なお、図９に示すフローの場合、目的地が設定されていないため図８のステップＳ８０３に進むことになる。

検索・推薦部３２は協調フィルタリングの相関係数法によって、ドライバの所定の時間内においてドライバが視認した対象物（標識やランドマークなど）の系列と、履歴情報データベース３４に格納されたドライバが視認した対象物の系列とを比較し、その相関の大きさ（類似度）が所定の閾値以上か否かを判断する（ステップＳ９０９）。所定の閾値以上である場合、検索・推薦部３２は類似した視線行動をとったドライバが向かった目的地とその目的地までの経路及び経路案内過程での目標物を推薦情報として抽出し、通信部２４及び情報処理部２０へ送信する（ステップＳ９１０）。一方、所定の閾値以上でない場合には終了する。

表示処理部１８は、抽出又は送信された目的地の候補を自車両のドライバがあらかじめ選択した基準（例えば、現在地から近い順、情報の新しい順など）で表示装置１７に表示する（ステップＳ９１１）。そして、統合判定部２３は後述する経路・目標物案内処理を行う（ステップＳ９１２）。ここで、経路・目標物案内処理について図１１を用いて説明する。図１１に示すように、統合判定部２３は、現在の位置が案内開始地点より手前か、経路案内過程での目標物が視認できる地点より手前か、経路案内過程での目標物が視認できる地点か、目標物を通過したかを判断する（ステップＳ１１０１）。

現在の位置が案内開始地点より手前の場合、例えば「しばらく道なりです」などとそのまま進むことを促す（ステップＳ１１０２）。経路案内過程での目標物が視認できる地点より手前の場合、目標物より手前にある別の目標物を追加して通知する（ステップＳ１１０３）。経路案内過程での目標物が視認できる地点の場合、目標物と別の視認しやすい目標物を追加して通知する（ステップＳ１１０４）。目標物を通過した場合、経路を再探索し、新たな目標物と合わせて通知する（ステップＳ１１０５）。

次に、目的地が設定されている場合の動作フローについて図１０を用いて説明する。まず、図９と同様に位置検出部１５が車両の位置情報を取得する処理（車両位置・挙動検出処理）を行う（ステップＳ１００１）。そして、統合判定部２３は現在の位置と設定された目的地とが所定の範囲（例えば、半径１ｋｍなど）内に含まれる程度の近さか否かを判定する（ステップＳ１００２）。所定の範囲内に含まれる程度の近さでない場合、図９のステップＳ９０２からＳ９１０と同様の処理をステップＳ１００３からＳ１０１１で行う。なお、ステップＳ１００６及びステップＳ１００９における類似行動検索処理では、目的地が設定されているためステップＳ７０２及びステップＳ８０２に進む。その他行われる処理については基本的に同様であるため説明は省略する。そして、ステップＳ１００８又はステップＳ１０１１で抽出又は送信された情報に基づいて、統合判定部２３は後述する経路・目標物案内処理を行う（ステップＳ１０１２）。

本発明に係る情報提供装置は、運転者が経路を見失った若しくは道に迷ってしまった場合に、あらためて運転者に経路設定の操作をさせずに運転者に適当な目的地の候補の情報を提供することができるため、車両を運転する運転者に車両を誘導するための情報を提供する情報提供装置などに有用である。

本発明の実施の形態に係る情報提供装置を含む情報提供システムの一例を示す構成図である。 本発明の実施の形態に係る情報提供装置における視線方向の検出フローの一例を示すフローチャートである。 本発明の実施の形態に係る情報提供装置におけるサッカードの振幅の一例について説明するための図である。 本発明の実施の形態に係る情報提供装置におけるサッカードの振幅の一例について説明するための他の図である。 本発明の実施の形態に係る情報提供装置の視線判定部における目標物を探しているか否かを判定するフローの一例を示すフローチャートである。 本発明の実施の形態に係る情報提供装置を含む情報提供システムの路側情報処理装置における履歴情報データベースの構成の一例を示す図である。 本発明の実施の形態に係る情報提供装置の運転履歴記録部における履歴データの記録から路側情報処理装置の記録部における履歴データの記録までの一連の記録フローの一例を示すフローチャートである。 本発明の実施の形態に係る情報提供装置の履歴情報データベース内からの履歴データの検索フローの一例を示すフローチャートである。 本発明の実施の形態に係る情報提供装置を含む情報提供システムの路側情報処理装置の履歴情報データベース内からの履歴データの検索フローの一例を示すフローチャートである。 本発明の実施の形態に係る情報提供装置を含む情報提供システムにおける目的地が設定されていない場合の動作フローの一例を示すフローチャートである。 本発明の実施の形態に係る情報提供装置を含む情報提供システムにおける目的地が設定されている場合の動作フローの一例を示すフローチャートである。 本発明の実施の形態に係る情報提供装置における経路や目標物の案内の処理フローの一例を示すフローチャートである。

符号の説明

１ 情報提供装置
２ 通信網
３ 路側情報処理装置
１１ 画像撮像部
１２ 視線検出部（視線検出手段）
１３ 操作量入力部
１４ 運転操作検出部（操作量取得手段）
１５ 位置検出部
１６ 運転履歴記録部
１７ 表示装置（表示手段）
１８ 表示処理部（表示制御手段）
１９ 判定部
２０ 情報処理部（処理手段）
２１ 視線判定部（判定・抽出手段）
２２ 運転操作判定部（運転操作判定手段）
２３ 統合判定部（統合判定手段）
２４、３１ 通信部
２５ 履歴情報データベース（格納手段）
２６ ＧＰＳ（位置情報取得手段）
２７ カーナビゲーション装置
３２ 検索・推薦部
３３ 記録部
３４ 履歴情報データベース
３００ 第１の点
３０１ 第２の点
３０２ 第３の点

Claims (6)

1. 車両の運転者の複数の顔画像に基づいて、前記運転者の視線方向を前記顔画像ごとに検出する視線検出手段と、
   前記車両の位置情報を取得する位置情報取得手段と、
   前記視線検出手段によって検出された前記顔画像ごとの前記運転者の前記視線方向に基づいて、前記運転者の眼球運動による視線の移動量を算出し、算出された前記視線の移動量に基づいて前記運転者が走行経路に迷いを生じているか否かを判定し、前記運転者が迷いを生じていると判定した場合、前記位置情報取得手段によって取得された前記車両の前記位置情報と、前記判定をする際に用いられた複数の前記顔画像における前記運転者の前記視線方向とに基づいて、前記運転者の視線方向の系列を抽出する判定・抽出手段と、
   複数の運転者のそれぞれが過去に走行経路に迷いを生じた際の視線方向の系列と、前記迷いが生じた後に到達した到達地の情報と、前記迷いが生じた地点から前記到達地までの経路案内で目印となる目標物情報を含む前記到達地までの経路情報とからなる履歴情報をあらかじめ作成してそれぞれ格納するデータベース中に、前記判定・抽出手段によって抽出された前記視線方向の系列と所定の相関関係を有する前記視線方向の系列を含む前記履歴情報があるか否かの検索依頼のための検索依頼情報を生成し、前記検索を行う外部の手段に送信する処理手段と、
   情報を表示する表示手段と、
   前記検索を行う前記外部の手段によって検索された前記履歴情報を受け取り、受け取った前記履歴情報に基づいて前記到達地の情報及び前記迷いが生じた地点から前記到達地までの経路案内で目印となる目標物情報を含む前記到達地までの経路情報を推薦情報として前記表示手段に表示させる表示制御手段とを、
   備える情報提供装置。
2. 前記判定・抽出手段は、算出された前記視線の移動量の情報に、前記運転者の前記視線が停留する視線停留時間の情報を更に加えて、前記運転者が走行経路に迷いを生じているか否かを判定する請求項１に記載の情報提供装置。
3. 前記運転者が過去に走行経路に迷いを生じた際の視線方向の系列、前記迷いが生じた後に到達した到達地の情報、前記迷いが生じた地点から前記到達地までの経路案内で目印となる目標物情報を含む前記到達地までの経路情報からなる履歴情報をあらかじめ作成して格納する格納手段を更に備え、
   前記処理手段は、前記判定・抽出手段によって抽出された前記視線方向の系列と所定の相関関係を有する前記視線方向の系列を含む前記履歴情報が前記格納手段中にあるか否かの検索をし、前記履歴情報がない場合に前記検索依頼のための検索依頼情報を生成し、前記検索を行う前記外部の手段に送信する請求項１又は２に記載の情報提供装置。
4. 前記車両を走行させるために前記運転者によって行われる各操作の操作量を取得する操作量取得手段と、
   前記操作量取得手段によって取得された前記操作量に基づいて前記運転者が走行経路に迷いが生じているか否かを判定する運転操作判定手段と、
   前記運転操作判定手段によって判定された結果及び前記判定・抽出手段によって判定された結果に基づいて、最終的に前記運転者が前記走行経路に迷いを生じているか否かを判定する統合判定手段とを更に備える請求項１から３のいずれか１つに記載の情報提供装置。
5. 前記視線の移動量は、跳躍性眼球運動の開始時及び終了時における前記視線方向から前記跳躍性眼球運動ごとに算出される請求項１から４のいずれか１つに記載の情報提供装置。
6. 前記視線方向の系列が、前記位置情報取得手段によって取得された前記車両の前記位置情報と、前記判定をする際に用いられた複数の前記顔画像における前記運転者の前記視線方向と、所定の記憶領域に格納されているかあるいは外部から得た地図情報とに基づいて抽出された前記運転者が視認した前記走行経路の周囲に存在する対象物の情報の系列である対象物情報系列である請求項１から５のいずれか１つに記載の情報提供装置。
   

Images