JP2008304400A - ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラム - Google Patents

Abstract

【課題】運転者が注目した対象物に関する情報が予め所定の記憶媒体に記憶されていなければ、当該対象物に関する情報を運転者に対して案内することはできない。
【解決手段】地物の位置を特定するための情報を含む地物情報を記憶媒体から取得し、自車両の運転者の視線方向を検出し、前記自車両の位置および前記自車両の向きを示す車両情報を取得し、前記視線方向と前記自車両の向きとに基づいて前記視線方向の方位を導出し、前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在するか判定し、前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む前記自車両の周囲の画像を示す画像情報を取得する。
【選択図】図１

Description

本発明は、ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラムに関する。

従来、運転者の視線を検出し、視線の方向にある対象物に関する情報を案内するナビゲーション技術が知られている。特許文献１には、運転者の視線の方向にある建物の情報を、フロントガラスに表示する技術が記載されている。特許文献２には、運転者が注目している建物に関する質問を運転者が発したときにその質問に対する答え（例えば建物の名称や位置など）の音声を発する技術が記載されている。
特開２００６−２４２８５９号公報 特開２００６−９０７９０号公報

しかし従来の技術の場合、運転者が注目した対象物に関する情報が予め所定の記憶媒体に記憶されていなければ、当該対象物に関する情報を運転者に対して案内することはできない。そのため、運転者が運転中に何か興味をひかれる対象物を発見したとしても、そのような運転者に対して何も対処することができなかった。

本発明は、上記課題に鑑みてなされたもので、運転者が注目した対象物に関する情報が所定の記憶媒体に記憶されていない場合に、当該対象物に関して運転者が行うことが予測される行為を補助するための情報を取得する技術を提供することを目的とする。

上記の目的を達成するため、本発明においては、運転者の視線方向と自車両の向きとに基づいて視線方向の方位を導出し、自車両の位置から所定距離内の前記方位において、地物情報として記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む自車両の周囲の画像を示す画像情報を取得する。この構成によると、運転者の視線方向にある対象物が地物情報として予め記憶媒体に記憶されていない場合、当該対象物の画像を含む画像情報を取得することができる。取得した画像情報は、運転者が当該対象物に関して行うことが予測される行為を補助するための情報として活用することができる。なお、運転者の視線方向にある対象物が地物情報に記憶されている場合は、画像情報を取得しない構成であるため、無用に多くの画像情報が取得されることがない。

地物情報取得手段においては、地物情報をナビゲーション装置がアクセス可能な記憶媒体から取得することができればよい。無線通信によって情報センタから地物情報を取得してもよい。本明細書において地物とは、地上に存在する自然または人工の物体のうち、移動体を除き、地表において位置が固定されている非移動体である人工物または自然物を指すものとする。人工物には例えば、建物や各種施設、道路、鉄道などが含まれ、自然物には例えば、樹木や山、海、河川などが含まれる。なお、本明細書において対象物とは、移動体、非移動体の両方を含むものを指す。地物情報は、地物の位置を特定するための情報を含んでいる。地物の位置を特定するための情報は、路面の基準位置を原点とした座標系で表されるものであってもよいし、緯度や経度で表されてもよい。地物の位置を特定するための情報には、さらに地物の高さを示す情報が含まれていてもよい。また、地物情報は、位置を特定するための情報以外にも、例えば地物の名称や種別などの情報を含んでいてもよい。

視線方向検出手段においては、運転者の視線方向を検出することができればよく、運転者の視線の方向を特定するための各種技術によって実現可能である。例えば、運転者の顔の向きや眼の位置、眼球の向き等を自車両の車室内のカメラや各種のセンサによって検出し、当該顔の向きや眼の位置、眼球の向き等に基づいて視線方向を特定すればよい。また、視線方向は、予め決められた座標系で定義することができればよく、例えば、自車両の基準位置に固定的な原点を定義した座標系等を採用可能である。

車両情報取得手段は、自車両の位置と自車両の向きを示す車両情報を取得することができればよく、種々の構成を採用可能である。ここで、自車両の位置を表す座標系は、地物情報に含まれる地物の位置を表す座標系と対応付けることができればよい。例えば路面の基準位置を原点とした座標系で表されるものであってもよいし、緯度や経度で表されてもよいし、緯度や経度が特定されたノードとの相対関係によって表されてもよい。自車両の向きも、地物の位置を表す座標系における向きと対応付けることができればよい。例えば、地物情報にて用いられる座標系において予め規定された固定的な基準方向に対する向きとして表されてもよいし（例えば北の方向を基準とした角度等）、緯度および経度が特定されたノードとの相対関係によって路面上での向きを特定してもよく、種々の構成を採用可能である。

自車両の位置を取得する構成としては例えば、ＧＰＳ衛星からの信号や車両に搭載された車速センサやジャイロセンサなどの各種センサからの出力、地図上での自車両の軌跡、路車間通信等によって自車両の位置を取得する構成等を採用可能である。自車両の向きを取得する構成としては例えば、自車両に搭載された地磁気センサやジャイロセンサなどから出力された信号によって自車両の向きを取得する構成等を採用可能である。

記憶判定手段は、視線方向と自車両の向きとに基づいて視線方向の方位を導出する。また、導出された方位において自車両の位置から所定距離内に、地物情報として記憶媒体に記憶されている地物が存在するか判定する。導出された方位は、地物情報で用いられる座標系における向きと対応付けることができればよい。なお、所定距離は、例えばある基準となる大きさの地物が、運転中の運転者の注意を引く程度の大きさに見える距離などの統計データに基づいて設計してよく、例えば数メートル〜数十メートルとしてよい。また例えば単位面積あたりに地物情報として位置が記憶されている地物の数が多い地域に自車両がいる場合は、数が少ない地域にいる場合より短く設定されてもよい。

画像情報取得手段は、記憶判定手段にて地物が存在しないと判定されたとき、運転者の視線方向を含む自車両の周囲の画像を示す画像情報を取得することができればよい。画像情報取得手段は、運転者の視野を含む一つの広角カメラから画像情報を取得してもよいし、取得した画像情報から視線方向の対象物の画像領域をトリミングしてもよい。また、自車両に複数備えられた撮像部のいずれから画像情報を取得するか選択する機能を備えていてもよい。

さらに、本発明において、画像情報取得手段が画像情報を取得したときの自車両の位置と対応付けて、画像情報を記憶媒体に登録する画像情報登録手段を備えていてもよい。この構成によると、画像情報に対応付けて画像情報を取得した位置を登録しておくことができる。そのため、どこで撮影された画像であるかを後で正確に把握するために利用することができる。また、画像情報と対応付けて記憶媒体に登録されている位置情報を、目的地や経由地設定に利用することもできる。登録した位置情報をこのように利用する場合、従来のように地図から場所を探して設定する作業を行う必要がなく、ナビゲーション装置のユーザの手間を軽減できる。なお、画像情報を取得したときの自車両の位置とともに、視線方向の方位や、取得日時なども画像情報と対応付けて登録されてもよい。

なお、画像情報登録手段は、画像情報を取得したときの自車両の位置と、視線方向の方位と、画像情報と、撮像部のレンズの焦点距離などの情報に基づいて、運転者が注目した地物と自車両との距離を算出し、自車両の位置と視線方向の方位と当該距離とから運転者が注目した地物の位置を算出し、地物の位置を画像情報と対応付けて記憶媒体に登録してもよい。

さらに、本発明において、画像情報取得手段が取得した画像情報に基づいて画像をディスプレイに表示させる表示制御手段を備えていてもよい。この構成によると、視線方向を含む自車両の周囲の画像をレビューすることができる。自車両が走行中である間は画像を表示せずに保持しておき、自車両が停止したときに画像を表示させ、記憶媒体に登録するかしないかを選択できる機能を備えていてもよい。

さらに、本発明において、記憶判定手段は、視線方向が自車両の進行方向を含む所定範囲を除く範囲に含まれるとき、前記地物が存在するかを判定してもよい。自車両の進行方向を含む所定範囲は、ほぼ、常時運転者の視界に含まれる。従って、当該所定範囲に関して常に、地物情報として記憶媒体に記憶されている地物が存在するか記憶判定を行うとすると、ナビゲーション装置の処理負荷が増大する。また、無用に多くの画像情報を取得することにつながる。

そこで、視線方向が当該所定範囲を除く範囲に含まれるときについてのみ、記憶判定を行うことにより、ナビゲーション装置の処理負荷が増大することを防ぐことができる。また、無用に多くの画像情報が取得されることを防ぐことができる。なお、当該所定範囲は運転者が運転中に常時注意して見ている視角であればよく、例えば、進行方向±２０°の範囲など、予め特定しておけばよい。

なお、視線方向検出手段による視線方向の検出は、運転者が所定の言葉を発したときや、運転者が所定の操作ボタンを操作したときに実施される構成であってもよい。この構成によると、運転者による所定の言葉を検出しない限り、あるいは所定の操作ボタンの操作が検出されない限り、視線方向を検出することもなく、その結果、記憶判定や画像情報の取得が行われることもない。そのため、ナビゲーション装置の処理負荷の増大や多くの画像情報が取得されることを防ぐことができる。

さらに、本発明のように運転者の視線方向と自車両の向きとに基づいて視線方向の方位を導出し、自車両の位置から所定距離内の前記方位において、地物情報として記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む自車両の周囲の画像を示す画像情報を取得する手法は、プログラムや方法としても適用可能である。また、以上のようなナビゲーション装置、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、ナビゲーション装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ナビゲーション装置の構成：
（２）運転支援処理：
（２−１）画像情報取得処理：
（３）他の実施形態：

（１）ナビゲーション装置の構成：
図１は、本発明にかかるナビゲーション装置１０の構成を示すブロック図である。ナビゲーション装置１０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０と記憶媒体３０とを備えており、記憶媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。本実施形態においては、このプログラムの一つとしてナビゲーションプログラム２１を実施可能であり、後述するディスプレイやスピーカーによって各種情報を出力して自車両の経路案内等を実施する。また、ナビゲーションプログラム２１はその機能の一つとして運転者の視線方向を含む画像を示す画像情報を取得する機能を備えている。

自車両（ナビゲーション装置１０が搭載された車両）には、ナビゲーションプログラム２１によって上述の機能を実現するためにＧＰＳ受信部４０ａと車速センサ４０ｂとジャイロセンサ４０ｃとマイク４１と車内カメラ４２と車外カメラ４３とディスプレイ４４と図示しないスピーカーとを備えており、これらの各部と制御部２０との信号の授受は図示しないインタフェースによって実現されている。

ＧＰＳ受信部４０ａは、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して自車両の現在位置を算出するための情報を出力する。制御部２０は、この信号を取得して自車両の現在位置を取得する。車速センサ４０ｂは、自車両が備える車輪の回転速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、自車両の速度を取得する。ジャイロセンサ４０ｃは、自車両の角速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、自車両の向きを示す情報を取得する。車速センサ４０ｂとジャイロセンサ４０ｃとは、ＧＰＳ受信部４０ａの出力信号から特定される自車両の現在位置を補正し、また、自車両の向きを検出するために利用される。マイク４１は、自車両の車室内で発生する音声に対応した電気信号を生成し、図示しないインタフェースを介して出力する。制御部２０は、この信号を取得して音声に対応した音声情報を取得する。

車内カメラ４２は、自車両を運転する運転者の顔を視野に含むように自車両に対して取り付けられ、撮影した画像を示す画像情報を出力する。制御部２０は、図示しないインタフェースを介してこの画像情報を取得し、画像に含まれる顔の向きを、自車両の基準位置に固定的な原点を定義した３次元座標系で特定することによって視線方向を検出する。むろん、座標系は上述の構成の他、路面上に設定された基準を原点にした座標や緯度や経度を利用した座標であってもよく、また、路面に平行な平面内で定義された２次元座標系で視線方向を検出してもよく、種々の構成を採用可能である。

車外カメラ４３は自車両の周囲を視野に含むように自車両に対して取り付けられ、撮影した画像を示す画像情報を出力する。制御部２０は、図示しないインタフェースを介してこの画像データを取得する。なお、本実施形態においては、自車両の周囲であって、自車両の運転者の視界に含まれ得る範囲を撮影できるように、自車両に対して車外カメラ４３が取り付けられている。

図２は、自車両における車内カメラ４２と車外カメラ４３との配置例を示す説明図である。同図２においては、自車両１００の外周と車室内の様子を運転者Ｄとともに模式的に示している。この例において、車内カメラ４２は自車両１００の車室内におけるバックミラーの周辺に取り付けられており、運転者Ｄの顔を含む範囲を視野にして画像を撮影することができる。なお、図２においては、車内カメラ４２の視野を一点鎖線で示している。また、車外カメラ４３は自車両１００の左右それぞれのサイドミラーＳに取り付けられている。なお、図２においては、車外カメラ４３の視野を二点鎖線で示している。

また、制御部２０は、任意の画像を出力するための信号と任意の音声出力を行うための信号とを図示しないインタフェースを介して出力する。この結果、ディスプレイ４４および図示しないスピーカーは上述の信号に応じた任意の画像および音声を出力する。本実施形態においては、ディスプレイ４４に車外カメラ４３から取得した画像情報に基づいて画像が表示される。また、ディスプレイ４４やスピーカーを利用して自車両の経路案内等が行われる。

本実施形態において記憶媒体３０はＨＤＤ（Hard Disk Device）等の不揮発性のメモリであり、記憶媒体３０には、ナビゲーションプログラム２１による案内を実施するために地図情報３０ａが記憶されている。また、記憶媒体３０には地物情報３０ｂが記憶されている。地図情報３０ａは、道路上に設定されたノードを示すノードデータやノード同士の連結を示すリンクデータ等を含み、自車両の位置の特定や目的地への案内等に利用される。地図情報３０ａおよび地物情報３０ｂは、無線通信によって情報センタから取得する構成であってもよい。

地物情報３０ｂは、地物の位置を特定するための情報が含まれており、後述する記憶判定部２１ｄにて参照される。本明細書において地物とは、地上に存在する自然または人工の物体のうち、移動体を除き、地表において位置が固定されている非移動体である人工物または自然物を指すものとする。人工物には例えば、建物や各種施設、道路、鉄道などが含まれ、自然物には例えば、樹木や山、海、河川などが含まれる。なお、本明細書において対象物とは、移動体、非移動体の両方を含むものとする。移動体の位置は地物情報３０ｂには含まれない。地物の位置を特定するための情報は、路面の基準位置を原点とした座標系で表されるものであってもよいし、緯度や経度で表されてもよい。本実施形態においては、地物の位置は、緯度および経度で表されるものとする。地物の位置を特定するための情報には、さらに地物の高さを示す情報が含まれていてもよい。また、地物情報３０ｂは、位置を特定するための情報以外にも、例えば地物の名称や種別などの情報を含んでいてもよい。

本実施形態において、ナビゲーションプログラム２１は、上述の各部と協働することによって運転支援処理を行うため、地物情報取得部２１ａと視線方向検出部２１ｂと車両情報取得部２１ｃと記憶判定部２１ｄと画像情報取得部２１ｅと画像情報登録部２１ｆと、表示制御部２１ｇと、図示しないナビゲーション処理部と音声検出部とを備えている。

図示しないナビゲーション処理部は、自車両を目的地へ案内するための経路を特定する経路探索処理や、特定された経路や各種の案内を行うための信号をディスプレイ４４やスピーカーから出力する処理を行うモジュールである。
地物情報取得部２１ａは、地物情報３０ｂを記憶媒体３０から取得しＲＡＭに格納するモジュールである。

視線方向検出部２１ｂは、車内カメラ４２が出力する信号に基づいて、運転者の視線方向を検出する。本実施形態においては運転者の顔の向きによって視線方向を検出する構成を採用しており、視線方向検出部２１ｂにおいては車内カメラ４２の画像からパターンマッチングによって眼と鼻とを検出し、その相対関係から顔の向きを判定し、顔の向きを視線方向とする。本実施形態において当該視線方向は、自車両に設定された固定的な原点を基準とした座標系で定義される。なお、視線方向を検出するための構成は、上述のような顔の向きに基づく処理に限定されず、眼の位置、眼球の向き等を自車両の車室内のカメラや各種のセンサによって検出し、当該眼の位置、眼球の向き等に基づいて視線方向を検出する構成を採用してもよい。

なお、本実施形態において、視線方向検出部２１ｂは、自車両の進行方向を含む所定範囲を除く範囲に含まれる視線方向を検出する。本実施形態においては、上述の３次元座標系において、自車両の進行方向に平行な線であって運転者の視線の原点を通る線が予め規定されており、当該線に対して路面に平行な方向に±α°（例えば、±２０°）の範囲は視線方向の検出範囲として除外するように設定されている。自車両の進行方向を含む所定範囲は、ほぼ、常時運転者の視界に含まれる。従って、当該所定範囲に関して常に、後述する記憶判定が行われると、ナビゲーション装置１０の処理負荷が増大する。また、後述する画像情報取得部２１ｅによって無用に多くの画像情報が取得されることにつながる。

そこで、本実施形態においては、視線方向が当該所定範囲を除く範囲に含まれるかを判定し、当該所定範囲外に視線方向が含まれる場合にのみ後述する記憶判定を行う構成とすることにより、ナビゲーション装置１０の処理負荷が増大することを防ぐことができる。また、無用に多くの画像情報が取得されることを防ぐことができる。なお、当該所定範囲は運転者が常時注意を払える視角であればよく、各種の範囲を当該所定範囲として設定することができる。

図示しない音声検出部は、マイク４１が出力する信号に基づいて音声情報を取得し、当該音声情報に基づいて運転者が発した所定の言葉を検出する。所定の言葉とは、例えば、「あれ」等の代名詞、「あの建物」、「あの風景」等の代名詞と名詞の組み合わせなどである。本実施形態において視線方向検出部２１ｂは、運転者が所定の言葉を発したときに実施される。従って音声検出部によって運転者による所定の言葉を検出しない限り、視線方向を検出することもなく、その結果、後述する記憶判定や画像情報の取得が行われることもない。そのため、ナビゲーション装置の処理負荷の増大や多くの画像情報が取得されることを防ぐことができる。

車両情報取得部２１ｃは、ＧＰＳ受信部４０ａと車速センサ４０ｂとジャイロセンサ４０ｃとが出力する信号および地図情報３０ａに基づいて自車両の位置および自車両の向きを示す情報を取得する。ここで、自車両の位置を表す座標系は、地物情報３０ｂに含まれる地物の位置を表す座標系と対応付けることができればよい。例えば路面の基準位置を原点とした座標系で表されるものであってもよいし、緯度や経度で表されてもよいし、緯度や経度が特定されたノードとの相対関係によって表されてもよい。自車両の向きも、地物の位置を表す座標系における向きと対応付けることができればよい。例えば、地物情報にて用いられる座標系において予め規定された固定的な基準方向に対する向きとして表されてもよいし、緯度および経度が特定されたノードとの相対関係によって路面上での向きを表してもよい。本実施形態においては、自車両の位置は緯度および経度にて表され、自車両の向きは北の方向を基準とした角度で表されるものとする。なお、自車両の位置は路車間通信によって取得される構成であってもよい。また、自車両の向きは図示しない地磁気センサから取得されてもよい。

記憶判定部２１ｄは、視線方向と自車両の向きとに基づいて視線方向の方位を導出し、導出された方位において自車両の位置から所定距離内に、地物情報３０ｂとして記憶媒体３０に記憶されている地物が存在するか判定し、判定結果を画像情報取得部２１ｅに通知するモジュールである。導出された方位は、地物情報３０ｂで用いられる座標系における向きと対応付けることができればよい。具体的には本実施形態においては、記憶判定部２１ｄは、北の方向を基準とした角度として自車両の向きと、自車両の進行方向に平行な線であって運転者の視線の原点を通る線を基準として表された視線方向とから、視線方向の方位を北の方向を基準とした角度として導出する。なお、所定距離は、例えばある基準となる大きさの地物が、運転中の運転者の注意を引く程度の大きさに見える距離などの統計データに基づいて設計してよく、例えば数メートル〜数十メートルとしてよい。また例えば単位面積あたりに地物情報として位置が記憶されている地物の数が多い地域に自車両がいる場合は、数が少ない地域にいる場合より短く設定されてもよい。

画像情報取得部２１ｅは、導出された方位において自車両の位置から所定距離内に、地物情報３０ｂとして記憶媒体３０に記憶されている地物が存在しない旨の通知を記憶判定部２１ｄから受けると、運転者の視線方向を含む自車両の周囲の画像を示す画像情報を車外カメラ４３から取得し、ＲＡＭに格納する。画像情報取得部２１ｅは、運転者の視線方向が自車両の進行方向を基準として左側であるときは、左のサイドミラーに取り付けられた車外カメラ４３に画像を撮影させ、画像情報を取得する。同様に右側であるときは右のサイドミラーに取り付けられた車外カメラ４３に画像を撮影させ、画像情報を取得する。

画像情報登録部２１ｆは、画像情報取得部２１ｅが車外カメラ４３から画像情報を取得したときの自車両の位置を示す情報を車両情報取得部２１ｃから取得し、当該画像情報と当該自車両の位置とを対応付けて記憶媒体３０に登録するモジュールである。
表示制御部２１ｇは、画像情報取得部２１ｅが取得した画像情報に基づいてディスプレイ４４に画像を表示するための制御を行うモジュールである。表示制御部２１ｇは、車両情報取得部２１ｃから自車両の車速を示す情報を取得して、自車両が走行中である間は画像を表示せずにＲＡＭに保持しておき、自車両が停止したときに画像を表示させる機能を備えている。また、ディスプレイ４４に表示させた画像をもとに記憶媒体３０に登録するかしないかを運転者が選択できる機能を備えていてもよい。
以上、ナビゲーション装置１０の構成を説明した。

（２）運転支援処理：
次に、以上の構成においてナビゲーション装置１０が実施する処理を説明する。ナビゲーション装置１０によってナビゲーションプログラム２１が実行されているときには、一定間隔（例えば、１００ｍｓ）毎に図３に示す処理が地物情報取得部２１ａと視線方向検出部２１ｂと車両情報取得部２１ｃと記憶判定部２１ｄと画像情報取得部２１ｅと画像情報登録部２１ｆと表示制御部２１ｇとナビゲーション処理部と音声検出部とによって実行される。なお、図示しないナビゲーション処理部は図３に示す処理と並行して処理を行っており、ナビゲーション処理部においては、この処理の過程で車両情報取得部２１ｃによって自車両の位置および自車両の向きを示す車両情報を取得している。

図３に示す処理においては、まず、所定の言葉の発話が運転者によってなされたか否かを図示しない音声検出部が判定する（ステップＳ１００）。すなわち、音声検出部は、マイク４１の出力信号に基づいて音声情報を特定し、当該音声が予め決められた所定の言葉を含む音声であるか否かを判定する。

次に、視線方向検出部２１ｂは、運転者の視線方向を検出し、当該視線方向が所定範囲外であるか否か（すなわち、視線方向が自車両の進行方向を含む所定範囲を除く範囲に含まれるか否か）を判定する（ステップＳ１０５）。図４は、自車両と視線方向の例を説明するための説明図である。図４においては、運転者の座席の中心を通る自車両の進行方向に平行な線（図４に示す破線）を視線方向の角度を定義する基準としており、運転者の座席に設定された基準点からみた±α°の範囲（図４に示すハッチング領域）は、記憶判定部２１ｄ、画像情報取得部２１ｅ、画像情報登録部２１ｆ、表示制御部２１ｇが処理を実施する対象範囲から除外する。

そこで、視線方向検出部２１ｂは、車内カメラ４２の出力信号を取得して、車内カメラ４２が出力する信号に基づいて、当該車内カメラ４２の撮影画像からパターンマッチングによって眼と鼻とを検出し、その相対関係から顔の向きを判定し、顔の向きを視線方向とする。そして、当該視線方向が上述の所定範囲に含まれるか否かを判定する。ステップＳ１０５にて、視線方向が自車両の進行方向を含む所定範囲に含まれると判定された場合、運転者の視線は通常の運転による視線方向であると考え、視線方向の対象物に関して何ら処理を行うことなく処理を終了する。

ステップＳ１０５にて、視線方向が自車両の進行方向を含む所定範囲を除く範囲（図４に示す扇形の領域Ａ）に含まれると判定された場合、記憶判定部２１ｄは、さらに、自車両の位置から所定距離内の視線方向の方位において、地物情報として記憶済みの地物が存在するか判定する（ステップＳ１１０）。具体的にはまず車両情報取得部２１ｃが取得した自車両の向きと視線方向とに基づいて視線方向の方位を導出する。導出された方位と自車両の位置と所定距離とに基づいて、該当する区域を含む地物情報３０ｂを地物情報取得部２１ａが記憶媒体３０から取得する。記憶判定部２１ｄは、自車両の位置から所定距離内の前記方位に含まれる位置に地物情報３０ｂに記憶済みの地物が存在するか否かを判定する。

ステップＳ１１０にて地物情報３０ｂに記憶済みの地物が存在すると判定されたとき、ナビゲーション処理部は当該地物についての情報を案内する（ステップＳ１１５）。すなわち、ナビゲーション処理部は、該当する地物の地物情報３０ｂを参照して、自車両の位置から所定距離内の前記方位に重なる位置に存在する地物の情報を取得し、ディスプレイ４４やスピーカー等に対して当該地物の名称などを案内するための信号を出力する。

この結果、運転者が案内等を行うように事前に登録することなく、また、ナビゲーション装置１０に対する操作等をすることなく、単に地物を視認するのみで当該地物に関する情報がディスプレイ４４やスピーカー等から案内される。従って、運転者は、運転中に煩雑な操作を行わなくても自身が視認した地物に関する情報を知ることができる。一方、ステップＳ１１０にて、地物情報３０ｂに記憶済みの地物が存在すると判定されない場合には、画像情報取得部２１ｅが車外カメラ４３に視線方向を含む自車両の周囲の画像を撮影させる（ステップＳ１２０）。

（２−１）画像情報取得処理：
次に、ステップＳ１２５にて実施する画像情報取得処理を説明する。図５は画像情報取得処理を示すフローチャートである。画像情報取得部２１ｅは、車外カメラ４３から画像情報を取得しＲＡＭに格納する（ステップＳ２００）。そして、画像情報取得部２１ｅは、当該画像情報が示す画像に基づいて、運転者の視線方向の対象物が人工物を示すものであるか否かを判定する（ステップＳ２０５）。具体的には例えば、人工物の画像においては輝度ヒストグラムにばらつきが少なくなるなどの特徴を利用して、取得した画像情報が示す画像に人工物が存在するかを判定する。

ステップＳ２０５にて視線方向に人工物が存在すると判定された場合、画像情報登録部２１ｆは、当該画像情報を取得したときの自車両の位置と対応付けて当該画像情報を記憶媒体３０に登録する（ステップＳ２１０）。そのため、どこで撮影された画像であるかを後で正確に把握するためにこの位置情報を利用することができる。また、画像情報３０ｃと対応付けて記憶媒体に登録されている位置情報３０ｄを、目的地や経由地設定の際に利用することもできる。

具体的には例えば、目的地を設定する画面において、画像情報登録部２１ｆによって登録された画像を順に表示し、図示しない操作部を操作して目的地として設定したい地物の画像を選択して決定すると、目的地としてその地物の位置を設定できるようにしてもよい。登録した位置情報をこのように利用する場合、従来のように地図から場所を探して設定する作業を行う必要がなく、ナビゲーション装置のユーザの手間を軽減できる。また、文字情報だけでなく画像を表示するので、ユーザはそれがどのような外観の施設であるかなどを一目瞭然に認識させることができる。なお、画像情報を取得したときの自車両の位置とともに、視線方向の方位や、取得日時なども画像情報と対応付けて登録されてもよい。画像情報の取得日時でソートできると、所望の地物を探す際により便利である。

ステップＳ２０５にて視線方向に人工物が存在すると判定されない場合、表示制御部２１ｇは、車両情報取得部２１ｃが取得した車速などの情報を基に、自車両が停止中であるか判定する（ステップＳ２１５）。自車両が停止中でないとき、表示制御部２１ｇは、画像情報をＲＡＭに保持する（ステップＳ２２５）。表示制御部２１ｇは、自車両が停止中であるとき、ＲＡＭに保持されている画像情報に基づいてディスプレイ４４に画像を表示させる（ステップＳ２２０）。運転者は、自身が注目した対象物を、自車両を停止させたときに、ディスプレイ４４にてレビューすることができる。例えば、運転者が運転中に桜並木の近くや、紅葉の綺麗な山中を走行しているとき、それらの風景の画像情報を取得し、ディスプレイ４４に表示させることができる。さらに、これらの画像情報を記憶媒体３０に登録するかしないかをユーザに選択させる機能を備えていてもよい。

以上、画像情報取得処理および運転支援処理について説明した。なお、本実施形態によるとステップＳ１１０にて運転者の視線方向にある対象物が地物情報３０ｂに記憶されていると判定される場合は、画像情報取得処理が実施されない構成であるため、無用に多くの画像情報が取得されることがない。

以上説明したように、本実施形態によると、運転者の視線方向にある対象物が地物情報として予め記憶媒体に記憶されていない場合、当該対象物の画像を含む画像情報を取得することができる。取得した画像情報は、上述したように運転者が当該対象物に関して行うことが予測される行為（画像のレビューや目的地設定など）を補助するための情報として活用することができる。

（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、視線方向と自車両の向きとに基づいて視線方向の方位を導出し、自車両の位置から所定距離内の前記方位において、地物情報として記憶媒体に記憶されている地物が存在しない場合、視線方向を含む自車両の周囲の画像を示す画像情報を取得する限りにおいて、他にも種々の実施形態を採用可能である。例えば、ステップＳ２０５の判定を省略して、ステップＳ２００の後にステップＳ２１０〜ステップＳ２２５の処理を行うようにしてもよい。すなわち、視線方向の地物人工物であるか否かに関わらず、画像情報を取得した際の自車両の位置と対応つけて画像情報を登録する処理と、画像を表示する処理の両方を実施してもよい。

なお、画像情報登録手段は、画像情報を取得したときの自車両の位置と、視線方向の方位と、画像情報と、撮像部のレンズの焦点距離などの情報に基づいて、運転者が注目した地物と自車両との距離を算出し、自車両の位置と視線方向の方位と当該距離とから運転者が注目した地物の位置を算出し、地物の位置を画像情報と対応付けて記憶媒体に登録してもよい。

また、視線方向検出手段による視線方向の検出は、運転者が所定の操作ボタンを操作したときに実施される構成であってもよい。この構成によると、運転者による所定の操作ボタンの操作が検出されない限り、視線方向を検出することがない。その結果、記憶判定や、画像情報の取得が行われることがない。そのため、ナビゲーション装置の処理負荷の増大や無用に多くの画像情報が取得されることを防ぐことができる。

さらに、画像情報取得処理において取得される画像情報は、地物情報３０ｂに含まれない地物、例えば地物情報３０ｂの作成後に新しく建設された施設や、樹木などだけに限られない。運転者の視線方向に歩行者などの移動体が検出された場合には、当該移動体を含む画像情報が取得される。
また、画像情報取得手段は、運転者の視野を含む一つの広角カメラから画像情報を取得してもよいし、取得した画像情報から視線方向の対象物の画像領域をトリミングしてもよい。

なお、ステップＳ１１０にて記憶判定する手法は、画像情報を取得した後、画像情報に基づいて画像の視線方向に存在する対象物は人工物であるか否かを判定し、対象物が人工物でないと判定したときに、当該対象物は地物情報３０ｂに記憶されていないと判定してもよい。また、画像に含まれる看板などの文字を認識して、その名称の施設が地物情報３０ｂに含まれていない場合に、その施設が地物情報３０ｂとして記憶されていないと判定するようにしてもよい。

車両に搭載されたナビゲーション装置の構成を示すブロック図である。 車内カメラと車外カメラとの配置例を示す説明図である。 運転支援処理のフローチャートである。 自車両と視線方向の例を説明するための説明図である。 画像情報取得処理のフローチャートである。

符号の説明

１０：ナビゲーション装置、２０：制御部、２１：ナビゲーションプログラム、２１ａ：地物情報取得部、２１ｂ：視線方向検出部、２１ｃ：車両情報取得部、２１ｄ：記憶判定部、２１ｅ：画像情報取得部、２１ｆ：画像情報登録部、２１ｇ：表示制御部、３０：記憶媒体、３０ａ：地図情報、３０ｂ：地物情報、３０ｃ：画像情報、３０ｄ：位置情報、４０ａ：ＧＰＳ受信部、４０ｂ：車速センサ、４０ｃ：ジャイロセンサ、４１：マイク、４２：車内カメラ、４３：車外カメラ、４４：ディスプレイ、１００：自車両、Ｄ：運転者、Ｓ：サイドミラー。

Claims (6)

1. 地物の位置を特定するための情報を含む地物情報を記憶媒体から取得する地物情報取得手段と、
   自車両の運転者の視線方向を検出する視線方向検出手段と、
   前記自車両の位置および前記自車両の向きを示す車両情報を取得する車両情報取得手段と、
   前記視線方向と前記自車両の向きとに基づいて前記視線方向の方位を導出し、前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在するか判定する記憶判定手段と、
   前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む前記自車両の周囲の画像を示す画像情報を取得する画像情報取得手段と、
   を備えるナビゲーション装置。
2. 前記画像情報を取得したときの前記自車両の位置と対応付けて前記画像情報を前記記憶媒体に登録する画像情報登録手段を備える、
   請求項１に記載のナビゲーション装置。
3. 前記画像情報に基づいて前記画像をディスプレイに表示させる表示制御手段を備える、
   請求項１または請求項２に記載のナビゲーション装置。
4. 前記記憶判定手段は、前記視線方向が前記自車両の進行方向を含む所定範囲を除く範囲に含まれるとき、前記地物が存在するかを判定する、
   請求項１〜請求項３のいずれかに記載のナビゲーション装置。
5. 地物の位置を特定するための情報を含む地物情報を記憶媒体から取得する地物情報取得工程と、
   自車両の運転者の視線方向を検出する視線方向検出工程と、
   前記自車両の位置および前記自車両の向きを示す車両情報を取得する車両情報取得工程と、
   前記視線方向と前記自車両の向きとに基づいて前記視線方向の方位を導出し、前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在するか判定する記憶判定工程と、
   前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む前記自車両の周囲の画像を示す画像情報を取得する画像情報取得工程と、
   を含むナビゲーション方法。
6. 地物の位置を特定するための情報を含む地物情報を記憶媒体から取得する地物情報取得手段と、
   自車両の運転者の視線方向を検出する視線方向検出手段と、
   前記自車両の位置および前記自車両の向きを示す車両情報を取得する車両情報取得手段と、
   前記視線方向と前記自車両の向きとに基づいて前記視線方向の方位を導出し、前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在するか判定する記憶判定手段と、
   前記自車両の位置から所定距離内の前記方位において、前記地物情報として前記記憶媒体に記憶されている地物が存在しない場合、前記視線方向を含む前記自車両の周囲の画像を示す画像情報を取得する画像情報取得手段として、
   コンピュータを機能させるナビゲーションプログラム。

Images