JP2010085203A - ナビゲーション装置及び案内誘導方法 - Google Patents

Abstract

【課題】搭乗者の視線方向の推移の傾向を利用した案内誘導を行う。
【解決手段】視線特徴学習手段７３０の視認対象認識手段７３１が、視線検出手段７１０及び撮影手段７２０を制御し、搭乗者の視線の情報及び周辺の映像情報を取得する。そして、視認対象認識手段７３１は、当該視線の情報及び映像情報に基づき、搭乗者の視線方向の視認対象物を認識し、認識結果を視認物学習手段７３２へ送る。視認物学習手段７３２は、当該認識された視認対象物に関する特徴である視認特徴を学習することで、搭乗者の視線特徴を学習する。一方、車両ＣＲの搭乗者に対して案内誘導を行う際には、生成手段７４０が、視線特徴学習手段７３０による視線特徴の学習結果に基づいて、案内誘導情報を生成する。引き続き、生成手段７４０は、提示手段７５０を利用して、当該案内誘導情報を画像、音声等により、車両ＣＲの搭乗者に提示する。
【選択図】図１

Description

本発明は、ナビゲーション装置、案内誘導方法、案内誘導プログラム、及び、当該案内誘導プログラムが記録された記録媒体に関する。

従来から、車両に搭載されるナビゲーション装置が広く普及している。こうしたナビゲーション装置に関する技術の進歩は著しく、利用者の利便性向上のために様々な技術の提案がなされている。

かかる提案技術の一つとして、運転者の視線方向をアイカメラ等で検出し、検出された視線方向と対応する案内情報を運転者に提供する技術がある（特許文献１参照：以下、「従来例」と呼ぶ）。この従来例の技術では、視線の延長上にある注視対象物が何であるかを認識し、その注視対象物に対応する所定のサービス（注視対象物が施設や観光名所などのランドマークのときには、ランドマークの情報）を提供するようになっている。

特開２００７−２６３９３１号公報

上述した従来例の技術では、運転者の視線の延長上にある対象物を注視対象物として特定し、注視対象物に関する情報を提供している。このように、この従来例の技術は、単に、注視対象物に関する情報を提供しているだけであり、ナビゲーション装置としての基幹機能である案内誘導情報の積極的な提供までは行っていない。

ところで、運転者の視線方向の推移の傾向は、当該運転者の個性を反映したものである。そして、運転者の個性に応じた案内誘導を行うことができれば、運転者にとっての利便性を飛躍的に向上することができる。

このため、運転者の視線方向の推移の傾向を反映しつつ、案内誘導情報を提供できる技術が待望されている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。

本発明は、上記の事情を鑑みてなされたものであり、利用者の視線方向の推移の傾向を利用して、利用者の利便性を向上することができる新たなナビゲーション装置及び案内誘導方法を提供することを目的とする。

請求項１に記載の発明は、車両に搭載され、前記車両の搭乗者に対して案内誘導を行うナビゲーション装置であって、前記搭乗者の視線の情報を検出する視線検出手段と；前記視線の情報に基づいて、前記搭乗者の視線の推移の特徴である視線特徴を学習する視線特徴学習手段と；前記視線特徴の学習結果に基づいて、案内誘導情報を生成する生成手段と；前記生成された案内誘導情報を提示する提示手段と；を備えることを特徴とするナビゲーション装置である。

請求項６に記載の発明は、車両に搭載され、前記車両の搭乗者に対して案内誘導を行うナビゲーション装置において使用される案内方法であって、前記搭乗者の視線の情報を検出する視線検出工程と；前記視線の情報に基づいて、前記搭乗者の視線の推移の特徴である視線特徴を学習する視線特徴学習工程と；前記視線特徴の学習結果に基づいて、案内誘導情報を生成する生成工程と；前記生成された案内誘導情報を提示する提示工程と；を備えることを特徴とする案内誘導方法である。

請求項７に記載の発明は、請求項６に記載の案内誘導方法を演算手段に実行させる、ことを特徴とする案内誘導プログラムである。

請求項８に記載の発明は、請求項７に記載の案内誘導プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体である。

以下、本発明の一実施形態を、図１を参照して説明する。なお、以下の説明においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

［構成］
図１には、一実施形態に係るナビゲーション装置７００の概略的な構成が示されている。

この図１に示されるように、ナビゲーション装置７００は、車両ＣＲに搭載されており、車両ＣＲとともに移動するようになっている。このナビゲーション装置７００は、視線検出手段７１０と、撮影手段７２０と、視線特徴学習手段７３０とを備えている。また、ナビゲーション装置７００は、生成手段７４０と、提示手段７５０とを備えている。

上記の視線検出手段７１０は、視線特徴学習手段７３０による制御のもとで、車両ＣＲの搭乗者の視線の情報を検出する。視線検出手段７１０による検出結果は、視線特徴学習手段７３０へ送られる。

上記の撮影手段７２０は、視線特徴学習手段７３０による制御のもとで、車両ＣＲの前方を含む周辺を撮影して映像情報を取得する。撮影手段７２０による撮影結果は、視線特徴学習手段７３０へ送られる。

上記の視線特徴学習手段７３０は、視線検出手段７１０及び撮影手段７２０を制御するとともに、上述した視線の情報に基づいて、搭乗者の視線特徴を学習する。ここで、「視線特徴」とは、搭乗者の視線の推移の特徴であり、搭乗者（運転者）の運転経験、運転能力、性格、癖等により異なってくる。

例えば、初心者ドライバのように、運転経験が浅く、運転能力が十分でない搭乗者の視線特徴は、前方の景色のごく狭い範囲を注意深く見るような視線の移動を行う傾向があると考えられる。また、運転経験が豊富で、運転能力が優れた搭乗者の視線特徴は、広く視線を移動させながら全体を見渡す傾向があると考えられる。このように搭乗者の視線特徴は、運転経験、運転能力によって異なり、また、搭乗者の運転経験の積み重ね、運転能力の向上により変化する。

また、搭乗者の視線特徴は、運転中に、「建物」に視線が集中する、「標識、行先案内板」に視線が集中する等、搭乗者の性格、癖等によっても異なってくる。

本実施形態では、視線特徴学習手段７３０は、視認対象認識手段７３１と、視認物学習手段７３２とを備えている。

上記の視認対象認識手段７３１は、視線検出手段７１０による検出結果である視線の情報を受けるとともに、撮影手段７２０による撮影結果である映像情報を受ける。そして、視認対象認識手段７３１は、当該視線の情報と映像情報とに基づいて、搭乗者の視線方向の視認対象物を認識する。視認対象認識手段７３１による認識結果は、視認物学習手段７３２へ送られる。

上記の視認物学習手段７３２は、視認対象認識手段７３１による認識結果を受ける。そして、視認物学習手段７３２は、視認対象認識手段７３１により認識された視認対象物に関する特徴である視認特徴を学習することにより、搭乗者の視線特徴を学習する。

こうした視認特徴の学習にあたっては、視認対象認識手段７３１が所定時間ごとに視認対象物を認識し、視認物学習手段７３２が、視認対象認識手段７３１による視認対象物の認識の回数を視認対象物の種別ごとに分類して累積した累積値を考慮して、視認特徴の学習を行うようにすることができる。

この視認対象物の種別としては、例えば、「建物」、「標識、行先案内板」、「車両」、「信号機」、「遠方視界」、「その他」に分類するようにすることができる。

また、視認特徴の学習にあたっては、視認物学習手段７３２が、視認対象物の認識結果の時間的変化を考慮して、視認特徴の学習を行うようにすることができる。

上述した視線特徴学習手段７３０は、車両ＣＲの交差点への接近の際に、視線特徴を学習するようにすることができる。ここで、視線特徴を学習する交差点は、所定の交差点であってもよいし、車両ＣＲが通過するすべての交差点であってもよい。

また、上述した視線特徴学習手段７３０は、車両ＣＲの交差点への接近の際に限らず、例えば、直線道路の走行中に、走行経路上に特徴的な建造物（ランドマーク）等があると想定される場合に、当該特徴的な建造物等に対する視線特徴を学習するようにすることができる。

上記の生成手段７４０は、車両ＣＲの搭乗者に対する誘導案内時に、視線特徴学習手段７３０による視線特徴の学習結果に基づいて、案内誘導情報を生成する。

かかる案内誘導情報の生成に際して、視認回数を視認対象物の種別ごとに分類して累積した累積値を考慮して学習した視線特徴に基づく場合には、生成手段７４０は、当該視線特徴を反映した案内誘導情報を生成する。例えば、生成手段７４０は、「建物」に視線が集中するという視線特徴に基づく場合には、建物を案内することで案内誘導を行う案内誘導情報を生成し、「標識、行先案内板」に視線が集中するという視線特徴に基づく場合には、標識や行先案内板による提示情報に対応する案内をするための案内誘導情報を生成する。

なお、視線の集中の度合いが大きいと判断できる視認対象物の種別が複数ある場合には、当該集中の大きい順に案内誘導情報を生成して、提示手段７５０に供給するようにすることができる。

また、かかる案内誘導情報の生成に際して、視認対象物の認識結果の時間的変化を考慮して学習した視線特徴に基づく場合には、生成手段７４０は、当該視線特徴を反映した案内誘導情報を生成する。例えば、視線が「建物」から「標識、行先案内板」に変化するという視線特徴に基づく場合には、生成手段７４０は、建物を案内してから、標識や行先案内板による提示情報に対応する案内誘導をするための案内誘導情報を生成する。

上記の提示手段７５０は、例えば、音声出力手段及び画像表示手段を備えて構成される。この提示手段７５０は、生成手段７４０による制御のもとで、案内誘導情報の提示を、車両ＣＲの搭乗者に対して行う。

例えば、建物を案内することで案内誘導を行う案内誘導情報に基づく提示を行う際に、音声出力手段による案内誘導情報の提示が行われる場合には、建物を音声で案内するようにしてもよい。また、画像表示手段による案内誘導情報の提示が行われる場合には、建物をハイライトで案内するようにしてもよい。

また、標識による提示情報を案内する案内誘導情報に基づく提示を行う際に、音声出力手段による案内誘導情報の提示が行われる場合には、「次の交差点は、左折禁止です。」等の音声で案内するようにしてもよい。

また、行先案内板による提示情報を案内する案内誘導情報に基づく提示を行う際に、音声出力手段による案内誘導情報の提示が行われる場合には、「右が○○方向、左が△△方向です。交差点を右折してください。」等の音声で案内するようにしてもよい。

［動作］
上記のように構成されたナビゲーション装置７００において実行される案内誘導方法について、説明する。

＜視線特徴の学習処理＞
まず、ナビゲーション装置７００による搭乗者の視線特徴の学習方法について説明する。

この視線特徴の学習処理に際して、視線検出手段７１０が、視線特徴学習手段７３０による制御のもとで、搭乗者の視線の情報の検出処理を行う。また、視線検出手段７１０による検出処理と並行して、撮影手段７２０が、視線特徴学習手段７３０による制御のもとで、車両ＣＲの周辺を撮影して映像情報の取得処理を行う。視線検出手段７１０による検出結果、及び、撮影手段７２０による撮影結果は、視線特徴学習手段７３０へ送られる。

視線の情報の検出結果、及び、映像情報の取得結果を受けた視線特徴学習手段７３０では、視認対象認識手段７３１が、当該視線の情報と映像情報とに基づいて、搭乗者の視線方向の視認対象物を認識する。かかる認識結果は、視認物学習手段７３２へ送られる。

この認識結果を受けた視認物学習手段７３２は、視認対象認識手段７３１により認識された視認特徴を学習することにより、搭乗者の視線特徴を学習する。かかる視線特徴の学習処理に際して、上述したように、視認回数を視認対象物の種別ごとに分類して累積した累積値を考慮するようにしてもよいし、視認対象物の認識結果の時間的変化を考慮するようにしてもよい。こうして学習された搭乗者の視線特徴は、生成手段７４０により、ナビゲーション処理における案内誘導時に利用される。

＜案内誘導情報の提示処理＞
次に、ナビゲーション装置７００による案内誘導情報の提示方法について説明する。

この案内誘導情報の提示処理に際して、例えば、車両ＣＲの交差点への接近の際に行う誘導案内時に、生成手段７４０が、視線特徴学習手段７３０による視線特徴の学習結果に基づいて、案内誘導情報を生成する。引き続き、生成手段７４０は、生成された案内誘導情報を提示手段７５０へ送る。ここで、案内誘導情報が複数作成された場合には、生成手段７４０は、生成順に案内誘導情報を提示手段７５０へ送る。この結果、提示手段７５０により、当該案内誘導情報が、画像、音声等の態様で、車両ＣＲの搭乗者に提示される。

以上説明したように、本実施形態では、視線特徴学習手段７３０の視認対象認識手段７３１が、視線検出手段７１０及び撮影手段７２０を制御し、搭乗者の視線の情報及び周辺の映像情報を取得する。そして、視認対象認識手段７３１は、当該視線の情報及び映像情報に基づき、搭乗者の視線方向の視認対象物を認識し、認識結果を視認物学習手段７３２へ送る。そして、視認物学習手段７３２は、当該認識された視認対象物に関する特徴である視認特徴を学習することで、搭乗者の視線特徴を学習する。

また、車両ＣＲの搭乗者に対して案内誘導を行う際には、生成手段７４０が、視線特徴学習手段７３０による視線特徴の学習結果に基づいて、案内誘導情報を生成する。引き続き、生成手段７４０は、提示手段７５０を利用して、当該案内誘導情報を画像、音声等により、車両ＣＲの搭乗者に提示する。

したがって、本発明の実施形態によれば、搭乗者の視線方向の推移の傾向を利用して、搭乗者の利便性を向上させることができる。

なお、上記の実施形態では、ナビゲーション装置７００は、撮影手段７２０を備える構成としたが、当該撮影手段７２０は必須ではなく、撮影手段７２０を備えない構成とすることができる。この場合においては、視線特徴学習手段７３０は、視認対象認識手段７３１と、視認物学習手段７３２とを備える必要はなく、視線検出手段７１０から受けた視線の情報に基づいて、搭乗者の視線特徴としての視線方向の傾向を学習するようにすることができる。

また、上記の実施形態のナビゲーション装置７００を、演算手段としてのコンピュータを備えて構成し、視線検出手段７１０、撮影手段７２０及び提示手段７５０を除く上述した各手段の機能を、プログラムを実行することにより実現するようにすることができる。これらのプログラムは、ＣＤ−ＲＯＭ，ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにすることができる。

以下、本発明のナビゲーション装置の一実施例を、図２〜図９を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。

図２には、一実施例に係るナビゲーション装置１００の概略的な構成が示されている。なお、ナビゲーション装置１００は、上述した一実施形態のナビゲーション装置７００（図１参照）の一態様となっている。このナビゲーション装置１００は、車両ＣＲに搭載されており、車両ＣＲに装備された車速センサ２９０と接続されている。

なお、本実施例においては、車両ＣＲの交差点への接近時における案内誘導を行うナビゲーション装置を例示して説明する。

［構成］
この図２に示されるように、ナビゲーション装置１００は、制御ユニット１１０と、記憶ユニット１２０とを備えている。また、ナビゲーション装置１００は、提示手段７５０の一部としての音出力ユニット１３０と、提示手段７５０の一部としての表示ユニット１４０と、操作入力ユニット１５０とを備えている。さらに、ナビゲーション装置１００は、走行情報取得ユニット１６０と、ＧＰＳ（Global Positioning System）受信ユニット１６５と、視線検出手段７１０としてのアイカメラユニット１７０と、撮影手段７２０としての周辺撮影用カメラユニット１８０とを備えている。

上記の制御ユニット１１０は、ナビゲーション装置１００の全体を統括制御する。この制御ユニット１１０については、後述する。

上記の記憶ユニット１２０は、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶ユニット１２０は、ナビゲーション用情報（ＮＶI）、視線特徴情報（ＣＡＩ）等の様々なデータを記憶する。この記憶ユニット１２０には、制御ユニット１１０がアクセスできるようになっている。

上記のナビゲーション用情報（ＮＶＩ）には、地図データ、ＰＯＩ（Point Of Interests）データ、背景データ等のナビゲーションのために利用される様々なデータが記憶されている。これらのデータは、制御ユニット１１０によって読み取られるようになっている。

上記の視線特徴情報（ＣＡＩ）には、図３に示されるように、交差点についての個別視線特徴情報ＣＡＡ_j（ｊ＝０，１，…）が登録されている。ここで、個別視線特徴情報ＣＡＡ_k（ｋ＝１，２，…）は、交差点ＣＰ_k（ｋ＝１，２，…）への接近時における搭乗者の視線特徴情報である。また、個別視線特徴情報ＣＡＡ₀は、交差点ＣＰ_k（ｋ＝１，２，…）すべてについての搭乗者の視線特徴情報である。なお、以下の説明においては、交差点ＣＰ₁，ＣＰ₂，…を「特定交差点」、それ以外の交差点を「一般交差点」とも記すこととする。

この個別視線特徴情報ＣＡＡ_j（ｊ＝０，１，…）は、図４に示されるように、集中視認対象物情報と、視認回数情報とを含んでいる。ここで、集中視認対象物情報には、後述するように、「建物」、「標識、行先案内板」、「車両」、「信号機」、「遠方視界」、「その他」のうち、視線の集中の度合いが大きい視認対象物が登録されている。そして、視線の集中の度合いが大きい視認対象物の種別が複数ある場合には、当該視認対象物ごとに、視認回数が対応付けられて登録される。

図２に戻り、上記の音出力ユニット１３０は、スピーカを備えて構成され、制御ユニット１１０から受信した音声データに対応する音声を出力する。この音出力ユニット１３０は、制御ユニット１１０による制御のもとで、ナビゲーション処理に際して、交差点への接近時における案内誘導情報、車両ＣＲの進行方向、走行状況、交通状況等の案内音声を出力する。

上記の表示ユニット１４０は、液晶パネル等の表示デバイスを備えて構成され、制御ユニット１１０から受信した表示データに対応する画像を表示する。この表示ユニット１４０は、制御ユニット１１０による制御のもとで、ナビゲーション処理に際して、交差点への接近時における案内誘導情報、地図情報、ルート情報等の画像、ガイダンス情報等を表示する。

上記の操作入力ユニット１５０は、ナビゲーション装置１００の本体部に設けられたキー部、及び／又はキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、表示ユニット１４０の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、又は併用して音声認識技術を利用して音声にて入力する構成を採用することもできる。

この操作入力ユニット１５０を利用者が操作することにより、ナビゲーション装置１００の動作内容の設定や動作指令が行われる。例えば、ナビゲーション処理におけるルート探索に関する目的地等の設定を、利用者が操作入力ユニット１５０を利用して行う。こうした入力内容は、操作入力データとして、操作入力ユニット１５０から制御ユニット１１０へ向けて送られる。

上記の走行情報取得ユニット１６０は、加速度センサ、角速度センサ等を備えて構成されており、車両に作用している加速度、角速度を検出する。また、走行情報取得ユニット１６０は、ナビゲーション装置１００と、車両ＣＲに搭載されている車速センサ２９０との間におけるデータ授受に関して利用され、車速センサ２９０による検出結果である速度データを取得する。こうして得られた各データは、走行データとして制御ユニット１１０へ送られる。

上記のＧＰＳ受信ユニット１６５は、複数のＧＰＳ衛星からの電波の受信結果に基づいて、車両ＣＲの現在位置を算出する。また、ＧＰＳ受信ユニット１６５は、ＧＰＳ衛星から送出された日時情報に基づいて、現在時刻を計時する。これらの現在位置および現在時刻に関する情報は、ＧＰＳデータとして制御ユニット１１０へ送られる。

上記のアイカメラユニット１７０は、不図示のアイカメラと、データ処理部とを備えて構成されている。アイカメラは、車室内の前方上部位置に配置される。そして、アイカメラは、搭乗者の瞳孔等を、所定の周期で撮影する。データ処理部は、アイカメラによる撮影結果をデジタル形式に変換し、画像処理を行うことによって、視線の方向を検出する。こうして検出された視線の方向は、視線の情報（以下、単に「視線情報」とも記す）として、制御ユニット１１０へ送られる。なお、データ処理部が行う画像処理としては、ＥＯＧ（Electoro Oculo Graph）法や角膜反射法等の種々の技術が適用される。

上記の周辺撮影用カメラユニット１８０は、不図示の車載カメラと、データ処理部とを備えて構成されている。車載カメラは、ルームミラーの裏側に配置される。そして、車載カメラは、運転者の通常の目線に近い車両ＣＲの進行方向の周辺を、所定の時間間隔で撮影する。データ処理部は、車載カメラによる撮影結果をデジタル形式に変換する。こうして車載カメラにより撮影されたデジタル形式のデータは、映像情報として、制御ユニット１１０へ送られる。

本実施例では、車載カメラが車両ＣＲの周辺を撮影する所定の時間間隔は、３０映像フレーム/秒を想定している。また、アイカメラが搭乗者の瞳孔を撮影する所定の周期は、当該所定の時間間隔よりも短いことを想定している。

次に、上記の制御ユニット１１０について説明する。この制御ユニット１１０は、中央処理装置（ＣＰＵ）及びその周辺回路を備えて構成されている。制御ユニット１１０が様々なプログラムを実行することにより、上記の各種機能が実現されるようになっている。こうした機能の中には、上述した一実施形態における視認対象認識手段７３１、視認物学習手段７３２及び生成手段７４０としての機能も含まれている。

この制御ユニット１１０は、走行情報取得ユニット１６０からの走行データ、及び、ＧＰＳ受信ユニット１６５からのＧＰＳデータに基づいて、記憶ユニット１２０中のナビゲーション用情報（ＮＶＩ）及び視線特徴情報（ＣＡＩ）を適宜参照し、搭乗者へのナビゲーション情報の提供処理を行う。こうしたナビゲーション情報の提供処理には、（ａ）搭乗者が指定する地域の地図を表示ユニット１４０の表示デバイスに表示するための地図表示、（ｂ）車両が地図上のどこに位置するのか、また、どの方角に向かっているのかを算出し、表示ユニット１４０の表示デバイスに表示して利用者に提示するマップマッチング、（ｃ）現在車両が存在する位置から、搭乗者が指定する任意の位置である目的地点までのルート探索、（ｄ）設定されたルートに沿って目的地まで運転するときに、進行すべき方向等を的確にアドバイスするために行われる、表示ユニット１４０の表示デバイスへの案内誘導の表示のための制御、及び、音出力ユニット１３０のスピーカから案内誘導を行う音声を出力するための制御等の処理が含まれる。

上述した提供処理（ｄ）における案内誘導を行うために、制御ユニット１１０は、案内誘導に利用する交差点接近時における搭乗者の視線特徴を学習する。当該視線特徴の学習に関する処理については、後述する。

また、制御ユニット１１０は、上述した提供処理（ｄ）における案内誘導を行うに際して、車両ＣＲの交差点への接近時においては、上述した搭乗者の視線特徴の学習結果に基づき、案内誘導情報を生成する。当該案内誘導情報の生成に関する処理については、後述する。

［動作］
以上のようにして構成されたナビゲーション装置１００の動作について、視線特徴情報の生成処理に主に着目して説明する。

＜視線特徴情報の生成処理＞
まず、案内誘導に利用される視線特徴情報の生成処理について説明する。

この視線特徴情報の生成処理に際しては、図５に示されるように、まず、ステップＳ１１において、制御ユニット１１０が、車両ＣＲが交差点へ接近し、交差点までの距離が所定距離になったか否かを判定する。なお、この所定距離は、搭乗者に案内誘導を行う開始地点から当該交差点までの距離であり、実験、シミュレーション、経験等により予め定められる。この判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、ステップＳ１１の処理が繰り返される。

一方、ステップＳ１１における判定の結果が肯定的になると（ステップＳ１１：Ｙ）、処理はステップＳ１２へ進む。このステップＳ１２では、制御ユニット１１０が、アイカメラユニット１７０及び周辺撮影用カメラユニット１８０を制御して、搭乗者の視線情報と、周辺の映像情報とを取得する。

引き続き、ステップＳ１３において、制御ユニット１１０が、交差点に進入したか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１３：Ｎ）には、処理はステップＳ１２へ戻る。以後、ステップＳ１３における判定の結果が肯定的となるまで、ステップＳ１２，Ｓ１３の処理が繰り返される。

ここで、制御ユニット１１０が、交差点に進入したか否かを判定するのは、交差点での案内誘導に必要な搭乗者の視線特徴は、交差点進入時までであることによる。

一方、ステップＳ１３における判定の結果が肯定的になると（ステップＳ１３：Ｙ）、処理はステップＳ１４へ進む。ステップＳ１４では、制御ユニット１１０が、アイカメラユニット１７０からの搭乗者の視線情報と、周辺撮影用カメラユニット１８０からの映像情報とに基づいて、個別視線特徴情報を生成する。

かかる個別視線特徴情報の生成に際して、制御ユニット１１０は、まず、周辺撮影用カメラユニット１８０からの映像情報の各映像フレームにおける、アイカメラユニット１７０から視線情報として報告された視線方向に対応する位置を時間順次で求める（図６参照）。そして、制御ユニット１１０は、映像情報に含まれる視認対象物を、「建物」、「標識、行先案内板」、「車両」、「信号機」、「遠方視界」、「その他」に分類し、視線情報が検出された各時点における搭乗者の視線が、どの種別の視認対象物を指していたかを認識する（図７参照）。引き続き、制御ユニット１１０は、各映像フレームについて、種別ごとに分類された視認対象物の認識の回数を、内部に保持する（図８参照）。

制御ユニット１１０は、上述した処理を、今回の撮影結果におけるすべての映像フレームに対して行い、種別ごとに分類された視認対象物の認識の回数を累積する。そして、制御ユニット１１０は、車両ＣＲが通過した交差点について、この累積結果を視認回数情報とする個別視線特徴情報ＣＡＡ_jの更新を行うとともに、当該累積結果において、視線の集中の度合いが大きい視認対象物を集中視認対象物情報とする個別視線特徴情報ＣＡＡ_jの更新を行う。なお、当該集中の度合いが大きい視認対象物が複数存在する場合には、視認回数と対応付けて視認対象物を登録するようにしておく。

また、この更新処理と並行して、制御ユニット１１０は、すべての交差点についての搭乗者の視線特徴情報である個別視線特徴情報ＣＡＡ₀の更新を行う。

＜案内誘導情報の提示処理＞
次に、視線特徴を利用した案内誘導情報の提示処理について説明する。

この案内誘導情報の提示処理に際しては、図９に示されるように、まず、ステップＳ２１において、制御ユニット１１０が、車両ＣＲが交差点へ接近し、当該案内誘導すべき交差点までの距離が所定距離になったか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２１：Ｎ）には、ステップＳ２１の処理が繰り返される。

一方、ステップＳ２１における判定の結果が肯定的になると（ステップＳ２１：Ｙ）、処理はステップＳ２２へ進む。

ステップＳ２２では、制御ユニット１１０が、記憶ユニット１２０にアクセスして、当該交差点についての個別視線特徴情報が存在するか否かを判定する。この判定の結果が肯定的であった場合（ステップＳ２２：Ｙ）には、処理はステップＳ２３へ進む。

ステップＳ２３では、制御ユニット１１０が、当該交差点についての個別視線特徴情報ＣＡＡ_jに含まれる集中視認対象物情報の内容を読み出す。この後、処理はステップＳ２５へ進む。

一方、ステップＳ２２における判定の結果が否定的であった場合（ステップＳ２２：Ｎ）には、処理はステップＳ２４へ進む。ステップＳ２４では、制御ユニット１１０が、一般交差点についての個別視線特徴情報ＣＡＡ₀に含まれる集中視認対象物情報の内容を読み出す。この後、処理はステップＳ２５へ進む。

ステップＳ２５では、制御ユニット１１０が、当該集中視認対象物情報に関する情報を反映した案内誘導情報を生成する。例えば、視線の集中の度合いが大きいと判断できる視認対象物の種別が、視線の集中度合いが大きい順に、「建物」と「標識、行先案内板」とであるならば、制御ユニット１１０は、建物を案内してから、標識や行先案内板による提示情報に対応する案内誘導をするための案内誘導情報を生成する。

引き続き、ステップＳ２６において、制御ユニット１１０が、当該案内誘導情報に関する内容の音声データを生成して音出力ユニット１３０へ出力するとともに、当該案内誘導情報に関する内容の画像データを生成して表示ユニット１４０へ出力する。この結果、当該案内誘導情報に関する内容が、音出力ユニット１３０のスピーカから音声で出力されるとともに、当該案内誘導情報に関する内容が、映像として表示ユニット１４０の表示デバイスに表示される。

以上説明したように、本実施例では、制御ユニット１１０が、車両ＣＲの交差点への接近に際して、アイカメラユニット１７０及び周辺撮影用カメラユニット１８０を制御し、搭乗者の視線情報及び周辺の映像情報を取得する。そして、制御ユニット１１０は、周辺撮影用カメラユニット１８０からの映像情報の各映像フレームにおける、アイカメラユニット１７０から報告された視線方向に対応する位置を時間順次で求める。そして、制御ユニット１１０は、映像情報に含まれる視認対象物を、「建物」、「標識、行先案内板」等の種別に分類して、視線情報が検出された各時点における搭乗者の視線が、どの種別の視認対象物を指していたかを認識する。

制御ユニット１１０は、この処理を、すべての映像フレームに対して行い、種別ごとに分類された視認対象物の認識の回数を累積する。そして、累積値に基づき、搭乗者の視線が集中する視認対象物についての視線特徴を学習する。

また、制御ユニット１１０は、車両ＣＲの交差点への接近時に、上述した搭乗者の視線特徴の学習結果に基づき、案内誘導情報を生成する。そして、制御ユニット１１０は、音出力ユニット１３０及び表示ユニット１４０を利用して、車両ＣＲの搭乗者に対して案内誘導を行う。

したがって、本実施例によれば、搭乗者の視線方向の推移の傾向を利用して、搭乗者の利便性を向上させることができる。
［実施例の変形］
本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。

例えば、上記の実施例では、制御ユニットは、視線の集中の度合いが大きいと判断できる視認対象物の種別が複数ある場合には、当該集中の大きい順に案内誘導情報を生成することとした。これに対して、制御ユニットは、視認回数が最も多い種別の視認対象物に関する情報を反映した案内誘導情報を生成するようにしてもよい。

また、上記の実施例では、車両が交差点を通過するたびに、新たに得られた個別視線特徴情報の更新を行うこととした。これに対して、同一交差点を通過した際の過去から現在までの累積データに基づき、集中視認対象物を導出するようにしてもよい。ここで、最新の取得データにより重み付けをする所定の解析方法により集中視認対象物を導出するようにしてもよい。

また、上記の実施例では、制御ユニットは、視認対象物の認識の回数を視認対象物の種別ごとに分類して累積した累積値を考慮して、視認特徴の学習を行った。これに対して、制御ユニットは、視認対象物の認識結果の時間的変化を考慮して、視認特徴の学習を行うようにしてもよい。この場合においては、制御ユニットは、当該認識結果の時間的変化に応じた案内誘導を行うようにすればよい。この場合には、搭乗者の視線の時間的な変化に関する習性等に応じた案内誘導情報を提供することができる。

また、上記の実施例では、ナビゲーション装置は、周辺撮影用カメラユニットを備える構成としたが、周辺撮影用カメラユニットを備えない構成としてもよい。この場合においては、制御ユニットは、例えば、搭乗者の視線が右側（左側）に集中する等の視線特徴を学習する。そして、案内誘導時には、搭乗者の視線が集中する方向に存在する建物等をキーにして、案内誘導を行うようにすればよい。

また、上記の実施例では、視認対象物の認識の回数を各映像フレームから抽出したが、例えば、１０映像フレームごとに視認対象物の抽出を行う等、搭乗者の視線特徴を学習することができるものであれば、実施例の方法に限定されるものではない。

また、上記の実施例では、映像情報に含まれる視認対象物を、「建物」、「標識、行先案内板」、「車両」、「信号機」、「遠方視界」、「その他」の６個の種別に分類したが、さらに、「建物」を「住宅」と「店舗」に分ける等、種別の分類方法は、いかなるものであってもよい。

また、上記の実施例では、すべての交差点について搭乗者の視線特徴を学習し、当該交差点を通過する際に、案内誘導を行うこととした。これに対して、交差点の種類を、例えば、「都会」の交差点と「地方」の交差点とに分けて、搭乗者の視線特徴を学習するようにしてもよい。この場合は、車両が都会の交差点に進入する際には、「都会」の交差点についての視線特徴に基づいた案内誘導を行い、車両が地方の交差点に進入する際には、「地方」の交差点についての視線特徴に基づいた案内誘導を行うようにしてもよい。

また、上記の実施例では、視線特徴の学習と並行して案内誘導を行うこととしたが、例えば、予定走行ルートを走行している間は、視線特徴の学習を行わない等、モード設定の切り替えが行えるのは勿論である。

また、上記の実施例では、車両の交差点への接近に際して視線特徴を学習することとした。これに対して、車両の交差点への接近の際に限らず、例えば、直線道路の走行中に、走行経路上に特徴的な建造物（ランドマーク）等があると想定される場合に、当該特徴的な建造物等に対する視線特徴を学習するようにすることができる。

また、上記の実施例では、アイカメラユニットが搭乗者の瞳孔等を撮影し、撮影結果に対して画像処理を行うことで、視線の方向を検出した。これに対して、制御ユニットが、アイカメラユニットから搭乗者の瞳孔等の撮影結果を受け、当該撮影結に対して画像処理を行うことで、視線の方向を解析するようにしてもよい。

また、上記の実施例では、コンピュータによるプログラムの実行により、視線検出手段、撮影手段及び提示手段を除く各手段の機能を実現するようにしたが、これらの各手段の全部又は一部を、専用のＬＳＩ（Large Scale Integrated circuit）等を用いたハードウェアにより構成するようにしてもよい。

本発明の一実施形態に係るナビゲーション装置の構成を説明するためのブロック図である。 本発明の一実施例に係るナビゲーション装置の構成を概略的に説明するためのブロック図である。 図２の視線特徴情報（ＣＡＩ）の構成を説明するための図である。 図３の個別視線特徴情報（ＣＡＡ_j）の構成を説明するための図である。 図２のナビゲーション装置による視線特徴情報の生成処理を説明するためのフローチャートである。 映像フレームにおける視線方向に対応する位置を説明するための図である。 視認対象物の種別について説明するための図である。 映像フレームごとの視認対象物の認識の回数を示す図である。 図２のナビゲーション装置による案内誘導情報の提示処理を説明するためのフローチャートである。

符号の説明

１００ … ナビゲーション装置
１１０ … 制御ユニット（視認対象認識手段、視認物学習手段、生成手段）
１３０ … 音出力ユニット（提示手段の一部）
１４０ … 表示ユニット（提示手段の一部）
１７０ … アイカメラユニット（視線検出手段）
１８０ … 周辺撮影用カメラユニット（撮影手段）
７００ … ナビゲーション装置
７１０ … 視線検出手段
７２０ … 撮影手段
７３０ … 視線特徴学習手段
７３１ … 視認対象認識手段
７３２ … 視認物学習手段
７４０ … 生成手段
７５０ … 提示手段

Claims (8)

1. 車両に搭載され、前記車両の搭乗者に対して案内誘導を行うナビゲーション装置であって、
   前記搭乗者の視線の情報を検出する視線検出手段と；
   前記視線の情報に基づいて、前記搭乗者の視線の推移の特徴である視線特徴を学習する視線特徴学習手段と；
   前記視線特徴の学習結果に基づいて、案内誘導情報を生成する生成手段と；
   前記生成された案内誘導情報を提示する提示手段と；
   を備えることを特徴とするナビゲーション装置。
2. 前記車両の前方を含む周辺を撮影して映像情報を取得する撮影手段を更に備え、
   前記視線特徴学習手段は、
   前記視線の情報と、前記映像情報とに基づいて、前記搭乗者の視線方向の視認対象物を認識する視認対象認識手段と；
   前記認識された視認対象物に関する特徴である視認特徴を学習することにより、前記視線特徴を学習する視認物学習手段と；を備える、
   ことを特徴とする請求項１に記載のナビゲーション装置。
3. 前記視認対象認識手段は、所定時間ごとに前記視認対象物を認識し、
   前記視認物学習手段は、前記視認対象認識手段による前記視認対象物の認識の回数を前記視認対象物の種別ごとに分類して累積した累積値を考慮して、前記視認特徴の学習を行う、
   ことを特徴とする請求項２に記載のナビゲーション装置。
4. 前記視認物学習手段は、前記視認対象物の認識結果の時間的変化を考慮して、前記視認特徴の学習を行う、ことを特徴とする請求項２又は３に記載のナビゲーション装置。
5. 前記視線特徴学習手段は、前記車両の交差点への接近の際に、前記視線特徴を学習する、ことを特徴とする請求項１〜４のいずれか一項に記載のナビゲーション装置。
6. 車両に搭載され、前記車両の搭乗者に対して案内誘導を行うナビゲーション装置において使用される案内方法であって、
   前記搭乗者の視線の情報を検出する視線検出工程と；
   前記視線の情報に基づいて、前記搭乗者の視線の推移の特徴である視線特徴を学習する視線特徴学習工程と；
   前記視線特徴の学習結果に基づいて、案内誘導情報を生成する生成工程と；
   前記生成された案内誘導情報を提示する提示工程と；
   を備えることを特徴とする案内誘導方法。
7. 請求項６に記載の案内誘導方法を演算手段に実行させる、ことを特徴とする案内誘導プログラム。
8. 請求項７に記載の案内誘導プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体。

Images