JP2014174880A - 情報提供装置、及び情報提供プログラム - Google Patents
情報提供装置、及び情報提供プログラム Download PDFInfo
- Publication number
- JP2014174880A JP2014174880A JP2013048978A JP2013048978A JP2014174880A JP 2014174880 A JP2014174880 A JP 2014174880A JP 2013048978 A JP2013048978 A JP 2013048978A JP 2013048978 A JP2013048978 A JP 2013048978A JP 2014174880 A JP2014174880 A JP 2014174880A
- Authority
- JP
- Japan
- Prior art keywords
- guidance
- sight
- line
- driver
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Abstract
【課題】複数の案内対象物から運転者の意図するものを選択する。
【解決手段】ナビゲーション装置１は、フロントカメラ３１で運転者の視界にある情景を撮影すると共に、撮影した視野画像から案内画像物を画像認識し、更に、視線カメラ３２によって運転者の視線を観察している。そして、ナビゲーション装置１は、視線と案内対象物を照合することにより、視線の焦点のある案内対象物を特定し、これに対する案内情報をＨＵＤ４５によって運転者の視界に重畳して表示する。
そして、複数の案内対象物が接近している場合、各案内対象に対応する領域を、移動させたり縮小することで、運転者の視線を誘導し、誘導した案内対象物に視線が移動するか否かにより、運転者の意図している案内対象物を選択する。
【選択図】図５
【解決手段】ナビゲーション装置１は、フロントカメラ３１で運転者の視界にある情景を撮影すると共に、撮影した視野画像から案内画像物を画像認識し、更に、視線カメラ３２によって運転者の視線を観察している。そして、ナビゲーション装置１は、視線と案内対象物を照合することにより、視線の焦点のある案内対象物を特定し、これに対する案内情報をＨＵＤ４５によって運転者の視界に重畳して表示する。
そして、複数の案内対象物が接近している場合、各案内対象に対応する領域を、移動させたり縮小することで、運転者の視線を誘導し、誘導した案内対象物に視線が移動するか否かにより、運転者の意図している案内対象物を選択する。
【選択図】図５
Description
本発明は、情報提供装置、及び情報提供プログラムに関し、例えば、車両の運転者に情報を提供するものに関する。
従来の車両用のナビゲーション装置は、運転席付近に設置した小型タッチパネル画面や車内のスピーカやマイクロフォンなどを用いて、運転者（ドライバ）からの入力を受け付けたり、道順や道路情報、商業施設の情報などの案内情報を提供したりしている。
そして、近年では、特許文献１の「車両用情報表示装置」のように、ヘッドアップディスプレイを用いた情報提供が試みられるようになってきた。
この技術は、運転者の視線を検出し、視線方向にある建造物等の案内対象物に対する案内情報をフロントガラスなどに投影するものである。
この技術により、運転者は、タッチパネル画面を見ることなく、前景を見ながら所望の案内情報を得ることができる。
そして、近年では、特許文献１の「車両用情報表示装置」のように、ヘッドアップディスプレイを用いた情報提供が試みられるようになってきた。
この技術は、運転者の視線を検出し、視線方向にある建造物等の案内対象物に対する案内情報をフロントガラスなどに投影するものである。
この技術により、運転者は、タッチパネル画面を見ることなく、前景を見ながら所望の案内情報を得ることができる。
ところで、特許文献１記載の技術では、運転者の視線が案内対象物を指定する遠隔操作手段として機能しており、例えば、視線先の案内対象物が重なっていたり、あるいは、接近するなどして、複数の案内対象物が案内候補となった場合、何れが運転者の意図する案内対象物であるか判断できないという問題があった。
本発明は、複数の案内対象物から運転者の意図するものを選択することを目的とする。
（１）請求項１に記載の発明では、車両の運転者の視界に対応する画像を取得する画像取得手段と、前記取得した画像に写っている案内対象物を認識する認識手段と、前記運転者の視線を検出する視線検出手段と、前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定手段と、前記特定した案内対象物が複数ある場合に、前記運転者の視線を誘導する誘導手段と、前記誘導手段による視線の誘導による前記運転者の視線の変化を取得する視線変化取得手段と、前記誘導手段の視線誘導による運転者の視線の変化に基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択手段と、前記選択した案内対象物に対する情報を前記運転者に提供する情報提供手段と、を具備したことを特徴とする情報提供装置を提供する。
（２）請求項２に記載の発明では、前記視線誘導手段は、前記複数ある案内対象物を囲む領域を、前記運転者の視界において、前記案内対象物ごとに表示し、当該表示した領域を変化させる、ことで前記運転者の視線を誘導する、ことを特徴とする請求項１に記載の情報提供装置を提供する。
（３）請求項３に記載の発明では、前記視線誘導手段は、前記表示した領域を離反する方向に移動する、ことで運転者の視線を誘導する、ことを特徴とする請求項２に記載の情報提供装置を提供する。
（４）請求項４に記載の発明では、前記視線誘導手段は、誘導開始前の位置から移動後の位置まで前記領域を連続的に移動する、ことを特徴とする請求項３に記載の情報提供装置を提供する。
（５）請求項５に記載の発明では、前記視線誘導手段は、当該複数ある案内対象物のうちの１つを仮選択し、前記仮選択した案内対象物を囲む領域を、前記運転者の視界において表示すると共に、前記表示した領域を縮小させる、ことで前記運転者の視線を誘導する、ことを特徴とする請求項１に記載の情報提供装置を提供する。
（６）請求項６に記載の発明では、前記視線誘導手段は、仮選択する案内対象物を順次変更する、ことを特徴とする請求項５に記載の情報提供装置を提供する。
（７）請求項７に記載の発明では、前記誘導手段による運転者の視線誘導の間に、前記複数ある案内対象物の各々に対して、前記運転者の視線が滞在した時間を計測する計測手段を具備し、前記選択手段は、所定時間以上視線が滞在した案内対象物を選択する、ことを特徴とする請求項２から請求項６のうちのいずれか１の請求項に記載の情報提供装置を提供する。
（８）請求項８に記載の発明では、車両の運転者の視界に対応する画像を取得する画像取得機能と、前記取得した画像に写っている案内対象物を認識する認識機能と、前記運転者の視線を検出する視線検出機能と、前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定機能と、前記特定した案内対象物が複数ある場合に、前記運転者の視線を誘導する誘導機能と、前記誘導機能による視線の誘導による前記運転者の視線の変化を取得する視線変化取得機能と、前記誘導機能の視線誘導による運転者の視線の変化に基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択機能と、前記選択した案内対象物に対する情報を前記運転者に提供する情報提供機能と、をコンピュータで実現することを特徴とする情報提供プログラムを提供する。
（２）請求項２に記載の発明では、前記視線誘導手段は、前記複数ある案内対象物を囲む領域を、前記運転者の視界において、前記案内対象物ごとに表示し、当該表示した領域を変化させる、ことで前記運転者の視線を誘導する、ことを特徴とする請求項１に記載の情報提供装置を提供する。
（３）請求項３に記載の発明では、前記視線誘導手段は、前記表示した領域を離反する方向に移動する、ことで運転者の視線を誘導する、ことを特徴とする請求項２に記載の情報提供装置を提供する。
（４）請求項４に記載の発明では、前記視線誘導手段は、誘導開始前の位置から移動後の位置まで前記領域を連続的に移動する、ことを特徴とする請求項３に記載の情報提供装置を提供する。
（５）請求項５に記載の発明では、前記視線誘導手段は、当該複数ある案内対象物のうちの１つを仮選択し、前記仮選択した案内対象物を囲む領域を、前記運転者の視界において表示すると共に、前記表示した領域を縮小させる、ことで前記運転者の視線を誘導する、ことを特徴とする請求項１に記載の情報提供装置を提供する。
（６）請求項６に記載の発明では、前記視線誘導手段は、仮選択する案内対象物を順次変更する、ことを特徴とする請求項５に記載の情報提供装置を提供する。
（７）請求項７に記載の発明では、前記誘導手段による運転者の視線誘導の間に、前記複数ある案内対象物の各々に対して、前記運転者の視線が滞在した時間を計測する計測手段を具備し、前記選択手段は、所定時間以上視線が滞在した案内対象物を選択する、ことを特徴とする請求項２から請求項６のうちのいずれか１の請求項に記載の情報提供装置を提供する。
（８）請求項８に記載の発明では、車両の運転者の視界に対応する画像を取得する画像取得機能と、前記取得した画像に写っている案内対象物を認識する認識機能と、前記運転者の視線を検出する視線検出機能と、前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定機能と、前記特定した案内対象物が複数ある場合に、前記運転者の視線を誘導する誘導機能と、前記誘導機能による視線の誘導による前記運転者の視線の変化を取得する視線変化取得機能と、前記誘導機能の視線誘導による運転者の視線の変化に基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択機能と、前記選択した案内対象物に対する情報を前記運転者に提供する情報提供機能と、をコンピュータで実現することを特徴とする情報提供プログラムを提供する。
本発明によれば、複数の案内対象物の候補から適切なものを選択することができる。
（１）実施形態の概要
ナビゲーション装置１（図１）は、フロントカメラ３１で運転者の視界にある情景を撮影すると共に、撮影した視野画像から案内画像物を画像認識する。更に、ナビゲーション装置１は、視線カメラ３２によって運転者の視線を観察している。
そして、ナビゲーション装置１は、視線と案内対象物を照合することにより、視線の焦点のある案内対象物を特定し、これに対する案内情報をヘッドアップディスプレイ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ、以下単にＨＵＤという）４５によって運転者の視界に重畳して表示する。
ナビゲーション装置１（図１）は、フロントカメラ３１で運転者の視界にある情景を撮影すると共に、撮影した視野画像から案内画像物を画像認識する。更に、ナビゲーション装置１は、視線カメラ３２によって運転者の視線を観察している。
そして、ナビゲーション装置１は、視線と案内対象物を照合することにより、視線の焦点のある案内対象物を特定し、これに対する案内情報をヘッドアップディスプレイ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ、以下単にＨＵＤという）４５によって運転者の視界に重畳して表示する。
例えば、視線方向で重なっていたり、または、接近（近接）している案内対象物が複数あり、視線からでは運転者の意図が判断しにくい場合は、重なり時処理や接近時処理を行って、運転者が何れの案内対象物を意図しているかを推測し、運転者の意図している可能性の高いものを選択して案内情報を出力する。
重なり時処理と、接近時処理は、何れも運転者の意図に基づく自然な肉体的反応を利用したものである。
重なり時処理と、接近時処理は、何れも運転者の意図に基づく自然な肉体的反応を利用したものである。
重なり時処理は、複数の案内対象物が重なっている場合、運転者の眼の位置の変化を検出する。例えば、運転者が左前方に重なっている案内対象物を意図した場合、頭部を左側に動かして案内対象物をのぞき込もうとすることが期待される。そのため、ナビゲーション装置１は、眼が左側に移動した場合、左側に重なっている案内対象物を選択する。
接近時処理は、複数の案内対象物が接近している場合、ＨＵＤ４５に表示するアニメーション（動画）を用いて運転者の視線を意図する案内対象物に誘導する。すなわち、複数の案内対象物が接近している場合、各案内対象に対応する領域を、移動させたり縮小することで、運転者の視線を誘導し、誘導した案内対象物に視線が移動するか否かにより、運転者の意図している案内対象物を選択する。
例えば、前方に２つの案内対象物が接近している場合、これらが離反するような画像をアニメーションで表示すれば、運転者の視線は意図する案内対象物に向かうことが期待される。そのため、ナビゲーション装置１は、運転者の視線が変化した先にある案内対象物を選択する。接近時処理には、この他にも２つの形態がある。
例えば、前方に２つの案内対象物が接近している場合、これらが離反するような画像をアニメーションで表示すれば、運転者の視線は意図する案内対象物に向かうことが期待される。そのため、ナビゲーション装置１は、運転者の視線が変化した先にある案内対象物を選択する。接近時処理には、この他にも２つの形態がある。
また、複数の案内対象物が存在する場合（重複、接近を含む）、案内対象物に対する注視時間を計測することにより運転者の意図する案内対象物を選択する。この際、各案内対象に対応する領域を、移動させたり縮小することで、運転者の視線を誘導することで、運転者の意図する案内対象物をより正確に選択することができる。
（２）実施形態の詳細
図１は、本実施の形態のナビゲーション装置１の概要を説明するための図である。
フロントカメラ３１は、車両前方に向けて設置されており、運転者（ナビゲーション装置１のユーザ）から見た車両前方の視野画像を連続的に撮影している。
一方、視線カメラ３２は、運転者の頭部に向けて設置されており、運転者の視線を監視している。
図１は、本実施の形態のナビゲーション装置１の概要を説明するための図である。
フロントカメラ３１は、車両前方に向けて設置されており、運転者（ナビゲーション装置１のユーザ）から見た車両前方の視野画像を連続的に撮影している。
一方、視線カメラ３２は、運転者の頭部に向けて設置されており、運転者の視線を監視している。
情報処理装置２０は、フロントカメラ３１の撮影した視野画像を画像認識し、建築物、車両、交差点、歩行者などの案内対象物を特定する。
更に、情報処理装置２０は、運転者の視線と案内対象物を対応させることにより運転者の意図する案内対象物を特定する。
そして、情報処理装置２０は、特定した案内対象物に関する案内情報をＨＵＤ４５に出力する。
これを受けて、ＨＵＤ４５は、案内情報を運転者が見ている情景に重畳して表示する。
更に、情報処理装置２０は、運転者の視線と案内対象物を対応させることにより運転者の意図する案内対象物を特定する。
そして、情報処理装置２０は、特定した案内対象物に関する案内情報をＨＵＤ４５に出力する。
これを受けて、ＨＵＤ４５は、案内情報を運転者が見ている情景に重畳して表示する。
このようにして、ナビゲーション装置１は、２つのカメラを利用して、例えば、前方の交差点を曲がったらどうなるかを運転者の視線から先読みしてＨＵＤ４５や音声で通知したり、運転者がランドマークに視線を向けて「あれは何？」と問うた場合に、「スカイタワーです。」とＨＵＤ４５や音声で通知したりなど、運転者が見ているものを理解（推測）し、運転者の視線から、運転者の意図を先読みしたサービスを提供することができる。
また、運転者の視線の向いていない方向を歩行している歩行者など、運転者が注意すべき対象を見ていない場合に注意喚起することもできる。
また、運転者の視線の向いていない方向を歩行している歩行者など、運転者が注意すべき対象を見ていない場合に注意喚起することもできる。
図２は、本実施形態で用いるナビゲーション装置１のシステム構成図である。
このナビゲーション装置１は、車両に搭載され、現在位置検出装置１０、情報処理装置２０、撮影装置３０、入出力装置４０及び記憶装置５０とを備えている。
このナビゲーション装置１は、車両に搭載され、現在位置検出装置１０、情報処理装置２０、撮影装置３０、入出力装置４０及び記憶装置５０とを備えている。
現在位置検出装置１０は、方位センサ１２、距離センサ１３、ＧＰＳ受信装置１４、地磁気センサ１５、図示しない振動センサなどから構成されている。
方位センサ１２は、基準角度（絶対方位）に対して、相対的に変化した角度を検出する手段であり、例えば、角速度を利用して角度の変化を検出するジャイロセンサを使用している。
なお、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリュームあるいは車輪部に取り付ける角度センサでもよい。
地磁気センサ１５は、絶対方位を検出する手段であり、磁石に基づいてＮ方向の検出から、車両が何れの方向に向いているかを検出する。
ナビゲーション装置１は、方位センサ１２や地磁気センサ１５で検出される方位により、自車両の前方方向（即ち、進行方向）を判断することができる。
方位センサ１２は、基準角度（絶対方位）に対して、相対的に変化した角度を検出する手段であり、例えば、角速度を利用して角度の変化を検出するジャイロセンサを使用している。
なお、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリュームあるいは車輪部に取り付ける角度センサでもよい。
地磁気センサ１５は、絶対方位を検出する手段であり、磁石に基づいてＮ方向の検出から、車両が何れの方向に向いているかを検出する。
ナビゲーション装置１は、方位センサ１２や地磁気センサ１５で検出される方位により、自車両の前方方向（即ち、進行方向）を判断することができる。
距離センサ１３は、車両の移動距離を計測できる手段であり、例えば、車輪の回転を検出して計数するものや、加速度を検出して２回積分するものを使用する。
図示しないが振動センサは、車両の振動を検出する。
ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信装置１４は、地球を周回する複数のＧＰＳ衛星からの信号を受信する。この信号には時刻情報が含まれており、情報処理装置２０がこれを処理することにより、ナビゲーション装置１は、自車両の位置情報を得ることができる。
図示しないが振動センサは、車両の振動を検出する。
ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信装置１４は、地球を周回する複数のＧＰＳ衛星からの信号を受信する。この信号には時刻情報が含まれており、情報処理装置２０がこれを処理することにより、ナビゲーション装置１は、自車両の位置情報を得ることができる。
情報処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４、クロック２８、センサ入力インターフェイス２３、通信インターフェイス２５などから構成されている。
情報処理装置２０は、現在位置検出装置１０、撮影装置３０、入出力装置４０から入力される情報、及び記憶装置５０に格納された情報に基づいてナビゲーションのための各種演算を行うと共に、ディスプレイ４２、ＨＵＤ４５、スピーカ４４といった周辺機器を制御して、演算結果をこれらに出力する。
情報処理装置２０は、現在位置検出装置１０、撮影装置３０、入出力装置４０から入力される情報、及び記憶装置５０に格納された情報に基づいてナビゲーションのための各種演算を行うと共に、ディスプレイ４２、ＨＵＤ４５、スピーカ４４といった周辺機器を制御して、演算結果をこれらに出力する。
ＣＰＵ２１は、中央処理装置であって、伝送路２６（バスライン）を介して情報の送受信を行い、ＲＯＭ２２や記憶装置５０に記憶されているプログラムを実行することにより、ナビゲーション装置１全体の総括的な演算及び制御を行う。本実施の形態では、運転者の視線から案内対象物を特定し、これに関する案内情報をＨＵＤ４５やスピーカ４４などから出力する。
ＲＯＭ２２は、読み取り専用の記憶装置であって、情報処理装置２０を動作させるための基本的なプログラムが記憶されている。また、記憶装置５０に記憶されているナビゲーションプログラム５１を、ここに格納することも可能である。
なお、ＲＯＭ２２を第１ＲＯＭと第２ＲＯＭの２つに分け、第２ＲＯＭに音声案内に関するナビゲーションプログラムを格納し、他のプログラムを第１ＲＯＭに格納するようにしてもよい。
なお、ＲＯＭ２２を第１ＲＯＭと第２ＲＯＭの２つに分け、第２ＲＯＭに音声案内に関するナビゲーションプログラムを格納し、他のプログラムを第１ＲＯＭに格納するようにしてもよい。
ＲＡＭ２４は、ＣＰＵ２１が各種演算や制御を行う際のワーキングメモリを提供し、ＣＰＵ２１は、ＲＡＭ２４のメモリ空間を用いて、画像認識処理を行ったり、後述する複数の案内対象物の候補がある場合に、これを選択したりする。
また、ＲＡＭ２４は、入力装置４１により入力された目的地の情報、通過地点の情報等の利用者（運転者やその他の搭乗者）が入力した情報を記憶すると共に、利用者の入力情報に基づいてＣＰＵ２１により演算された結果や、経路探索された結果、または、記憶装置５０から読み込まれた地図情報を格納する。
また、ＲＡＭ２４は、入力装置４１により入力された目的地の情報、通過地点の情報等の利用者（運転者やその他の搭乗者）が入力した情報を記憶すると共に、利用者の入力情報に基づいてＣＰＵ２１により演算された結果や、経路探索された結果、または、記憶装置５０から読み込まれた地図情報を格納する。
センサ入力インターフェイス２３は、方位センサ１２、距離センサ１３、地磁気センサ１５、振動センサなどの各種センサと接続するインターフェイスである。
通信インターフェイス２５は、伝送路２７を介して各種周辺機器と接続するインターフェイスである。
具体的には、伝送路２７を介して、ＧＰＳ受信装置１４、入力装置４１、記憶装置５０、フロントカメラ３１、視線カメラ３２などが接続される。
通信インターフェイス２５は、伝送路２７を介して各種周辺機器と接続するインターフェイスである。
具体的には、伝送路２７を介して、ＧＰＳ受信装置１４、入力装置４１、記憶装置５０、フロントカメラ３１、視線カメラ３２などが接続される。
クロック２８は、例えば、水晶振動子などを用いて構成された発信器であり、ナビゲーション装置１の各部の動作タイミングを提供する。また、ＣＰＵ２１は、クロック２８により、後述の注視時間を計測したり、現在時刻を得たりすることもできる。
また、この他に、情報処理装置２０に対して、ＣＰＵ２１で処理されたベクトル情報をディスプレイ４２やＨＵＤ４５で画像情報に処理するための画像処理専用の画像プロセッサ、画像プロセッサで処理された画像情報を格納する画像メモリ、記憶装置５０から読み込まれた音声情報を処理しスピーカ４４に出力する音声処理専用の音声プロセッサを配設してもよい。
また、この他に、情報処理装置２０に対して、ＣＰＵ２１で処理されたベクトル情報をディスプレイ４２やＨＵＤ４５で画像情報に処理するための画像処理専用の画像プロセッサ、画像プロセッサで処理された画像情報を格納する画像メモリ、記憶装置５０から読み込まれた音声情報を処理しスピーカ４４に出力する音声処理専用の音声プロセッサを配設してもよい。
撮影装置３０は、何れもＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｃｅｖｉｃｅ）カメラなどを用いたフロントカメラ３１と視線カメラ３２から構成されている。
フロントカメラ３１は、進行方向の運転者の見ている情景を所定のサンプリングレートで連続的に撮影して情報処理装置２０に出力する。フロントカメラ３１による視野画像は、運転者が運転に際して得る視野に対応している。
視線カメラ３２は、運転者の眼部を含む頭部を所定のサンプリングレートで連続的に撮影して情報処理装置２０に出力する。この画像により、運転者の視線情報（視線ベクトル、焦点座標値、視点位置など、運転者が見ている点を特定する情報）が得られ、視野画像上の視線による焦点を計算することができる。
なお、本実施の形態では、フロントカメラ３１と視線カメラ３２は、可視光を撮影するが、赤外線カメラなど、目的に応じた特殊なカメラを用いてもよい。
フロントカメラ３１は、進行方向の運転者の見ている情景を所定のサンプリングレートで連続的に撮影して情報処理装置２０に出力する。フロントカメラ３１による視野画像は、運転者が運転に際して得る視野に対応している。
視線カメラ３２は、運転者の眼部を含む頭部を所定のサンプリングレートで連続的に撮影して情報処理装置２０に出力する。この画像により、運転者の視線情報（視線ベクトル、焦点座標値、視点位置など、運転者が見ている点を特定する情報）が得られ、視野画像上の視線による焦点を計算することができる。
なお、本実施の形態では、フロントカメラ３１と視線カメラ３２は、可視光を撮影するが、赤外線カメラなど、目的に応じた特殊なカメラを用いてもよい。
入出力装置４０は、入力装置４１、ディスプレイ４２、ＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）４５、スピーカ４４、マイクロフォン４６などから構成されている。
入力装置４１は、例えば、タッチパネル、タッチスイッチ、ジョイスティック、キースイッチなどで構成されており、例えば、利用者から目的地、通過地点、探索条件などのデータの入力を受け付ける。
ディスプレイ４２は、運転席付近に設置した小型のディスプレイであって、例えば、液晶ディスプレイによって構成されており、現在地周辺の地図や、目的地までの走行経路といった案内用の画面や、利用者がデータを入力するための入力画面などの画像を表示する。
入力装置４１は、例えば、タッチパネル、タッチスイッチ、ジョイスティック、キースイッチなどで構成されており、例えば、利用者から目的地、通過地点、探索条件などのデータの入力を受け付ける。
ディスプレイ４２は、運転席付近に設置した小型のディスプレイであって、例えば、液晶ディスプレイによって構成されており、現在地周辺の地図や、目的地までの走行経路といった案内用の画面や、利用者がデータを入力するための入力画面などの画像を表示する。
ＨＵＤ４５は、例えば、投影機を用いてフロントガラスに画像を投影したり、あるいはフロントガラス上に設置した透明のスクリーンに画像を表示したりすることにより、運転者に情景と重畳して案内情報を提供する。
スピーカ４４は、例えば、「３０メートル先を右に曲がります。」などと、運転者に音声で案内情報を提供する。
マイクロフォン４６は、利用者からの入力を音声により受け付ける。例えば、目的地の設定で利用者が「○○駅」と発話すると、目的地として○○駅が入力される。
スピーカ４４は、例えば、「３０メートル先を右に曲がります。」などと、運転者に音声で案内情報を提供する。
マイクロフォン４６は、利用者からの入力を音声により受け付ける。例えば、目的地の設定で利用者が「○○駅」と発話すると、目的地として○○駅が入力される。
記憶装置５０は、大容量の記憶媒体と、これを駆動する駆動装置から構成されている。
記憶媒体としては、例えば、光学的記憶媒体であるＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭや磁気的記憶媒体であるハードディスクなどを用いることができ、光磁気ディスク、各種半導体メモリなどの各種情報記憶媒体で構成することもできる。
なお、書き換えが必要な情報については、書き換え可能なハードディスク、フラッシュメモリなどで構成し、その他の固定的な情報についてはＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのＲＯＭを使用するようにしてもよい。
記憶媒体としては、例えば、光学的記憶媒体であるＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭや磁気的記憶媒体であるハードディスクなどを用いることができ、光磁気ディスク、各種半導体メモリなどの各種情報記憶媒体で構成することもできる。
なお、書き換えが必要な情報については、書き換え可能なハードディスク、フラッシュメモリなどで構成し、その他の固定的な情報についてはＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのＲＯＭを使用するようにしてもよい。
記憶装置５０には、ナビゲーションプログラム５１、地図ＤＢ（データベース）５２、案内情報ＤＢ５４、交通情報ＤＢ５５、画像認識用ＤＢ５６などが記憶されている。
ナビゲーションプログラム５１は、ＣＰＵ２１にナビゲーションに必要な各種演算や制御を行うための機能を発揮させるためのプログラムである。
ナビゲーションプログラム５１は、ＣＰＵ２１にナビゲーションに必要な各種演算や制御を行うための機能を発揮させるためのプログラムである。
地図ＤＢ５２は、２次元地図データと３次元地図データなどから構成されたデータベースである。
２次元地図データは、経路探索や経路案内に必要な２次元情報が登録されている。
３次元地図データは、通常の地図情報に加え、建物や信号などの構造物の形状や高さや、地形の高低といった特徴物の３次元情報が登録されている。
この３次元情報により、視野画像に対応するバーチャルな模擬画像が計算される。
更に、３次元地図データには、画像認識結果と照合するための属性（ビル、交差点など）が特徴物に対応して記憶されている。
２次元地図データは、経路探索や経路案内に必要な２次元情報が登録されている。
３次元地図データは、通常の地図情報に加え、建物や信号などの構造物の形状や高さや、地形の高低といった特徴物の３次元情報が登録されている。
この３次元情報により、視野画像に対応するバーチャルな模擬画像が計算される。
更に、３次元地図データには、画像認識結果と照合するための属性（ビル、交差点など）が特徴物に対応して記憶されている。
案内情報ＤＢ５４は、２次元地図データや３次元地図データに含まれる建築物や交差点といった構造物などに対する案内情報が登録されたデータベースである。
案内情報は、例えば、構造物の名称、構造物の詳細情報（建築物に入居している施設の名称、階数、ジャンルなど）から構成されており、ＨＵＤ４５に表示されたりする。
案内情報は、例えば、構造物の名称、構造物の詳細情報（建築物に入居している施設の名称、階数、ジャンルなど）から構成されており、ＨＵＤ４５に表示されたりする。
交通情報ＤＢ５５は、例えば、ある道路のある区間が不通であるといった、経路探索や経路案内に必要な交通情報を記憶したデータベースである。
画像認識用ＤＢ５６は、フロントカメラ３１で撮影した視野画像から案内対象物をパターン認識により抽出・認識するためのパターンを登録したデータベースである。
画像認識用ＤＢ５６は、フロントカメラ３１で撮影した視野画像から案内対象物をパターン認識により抽出・認識するためのパターンを登録したデータベースである。
より詳細には、画像認識用ＤＢ５６には、建築物の特徴となる画像のパターンや交差点の特徴となる画像のパターン、あるいは、車両の特徴となる画像のパターンなどが記憶されており、情報処理装置２０は、これを視野画像とマッチングして、視野画像内の建築物や交差点などの案内対象物を抽出・認識する。
なお、抽出とは、視野画像からパターンが一致した部分を取り出すことであり、認識とは、取り出した部分が、例えば、ビルであるとか、橋であるとか、交差点であるとか、あるいは車両であるなどと理解することである。
なお、抽出とは、視野画像からパターンが一致した部分を取り出すことであり、認識とは、取り出した部分が、例えば、ビルであるとか、橋であるとか、交差点であるとか、あるいは車両であるなどと理解することである。
図３は、ナビゲーション装置１の機能的な構成を説明するための図である。
これらの各機能は、ナビゲーションプログラム５１を情報処理装置２０のＣＰＵ２１で実行することにより実現される。
画像認識機能部６０は、運転者の視野（車両前方の視界）に対応する視野画像を撮影すると共に、これを画像認識する機能部で、フロントカメラ３１、撮影部６１、画像処理認識部６２、画像認識用ＤＢ５６などから構成されている。
これらのうち、撮影部６１、画像処理認識部６２は、ナビゲーションプログラム５１を実行することにより構成される。
これらの各機能は、ナビゲーションプログラム５１を情報処理装置２０のＣＰＵ２１で実行することにより実現される。
画像認識機能部６０は、運転者の視野（車両前方の視界）に対応する視野画像を撮影すると共に、これを画像認識する機能部で、フロントカメラ３１、撮影部６１、画像処理認識部６２、画像認識用ＤＢ５６などから構成されている。
これらのうち、撮影部６１、画像処理認識部６２は、ナビゲーションプログラム５１を実行することにより構成される。
撮影部６１は、フロントカメラ３１を制御して車両の前方を撮影し、視野画像を生成する。
このように、撮影部６１は、車両の運転者の視界に対応する画像を取得する画像取得手段として機能している。
画像処理認識部６２は、撮影部６１が生成した視野画像を画像認識用ＤＢ５６に登録されたパターンと照合（パターン認識）することにより視野画像から案内対象物を抽出する画像処理を行う。
そして、画像処理認識部６２は、抽出した案内対象物が何であるのか（例えば、車両、橋、建築物、信号機、交差点、歩行者など）を認識して、当該認識した案内対象物を輪郭化した後、これを矩形で囲む。
このように、画像処理認識部６２は、取得した画像に写っている案内対象物を認識する認識手段として機能している。
このように、撮影部６１は、車両の運転者の視界に対応する画像を取得する画像取得手段として機能している。
画像処理認識部６２は、撮影部６１が生成した視野画像を画像認識用ＤＢ５６に登録されたパターンと照合（パターン認識）することにより視野画像から案内対象物を抽出する画像処理を行う。
そして、画像処理認識部６２は、抽出した案内対象物が何であるのか（例えば、車両、橋、建築物、信号機、交差点、歩行者など）を認識して、当該認識した案内対象物を輪郭化した後、これを矩形で囲む。
このように、画像処理認識部６２は、取得した画像に写っている案内対象物を認識する認識手段として機能している。
この矩形は、運転者が案内対象物を見ているか否かを判断するための判断領域であり、ナビゲーション装置１は、運転者の視線が矩形内にあると、運転者が当該矩形で囲まれた案内対象物を見ていると判断する。
なお、判断領域を矩形とするのは一例であり、円や楕円、あるいは、多角形など、案内対象物を囲む（含む）領域であればよい。
なお、判断領域を矩形とするのは一例であり、円や楕円、あるいは、多角形など、案内対象物を囲む（含む）領域であればよい。
画像処理認識部６２は、このように案内対象物を囲む矩形を生成すると、矩形の座標値（矩形で囲まれた領域を特定する座標値で、矩形の４つの頂点の座標値）と認識結果（ビル、車両、交差点など）を案内対象物情報として視線情報サービス部６５に出力する。
視線認識機能部６３は、視線カメラ３２、視線管理部６４、視線情報サービス部６５などから構成されている。これらのうち、視線管理部６４と視線情報サービス部６５は、ナビゲーションプログラム５１を実行することにより構成される。
視線管理部６４は、視線カメラ３２で撮影した運転者の頭部の画像から眼部を認識し、眼球形状の曲率から眼球中心座標を計算する。更に、視線管理部６４は、眼部から黒目（瞳孔）領域を特定し、黒目（瞳孔）中心座標を計算する。
視線管理部６４は、このようにして得た眼球中心座標から黒目中心座標に向かう方向を視線方向として規定し、眼球中心座標と視線方向を視線情報として視線情報サービス部６５に出力する。
このように、視線管理部６４は、運転者の視線を検出する視線検出手段として機能している。
視線管理部６４は、このようにして得た眼球中心座標から黒目中心座標に向かう方向を視線方向として規定し、眼球中心座標と視線方向を視線情報として視線情報サービス部６５に出力する。
このように、視線管理部６４は、運転者の視線を検出する視線検出手段として機能している。
この処理は、片眼に対して行うことができるが、両眼に対して行って結果を１つに平均化するなどしてもよい。
また、運転者が碧眼を有する場合でも瞳孔は黒いため、本手法を用いることができる。
なお、赤外線を用いる角膜反射法や強膜反射法など他の方法を用いたり、視線検出装置を運転者の眼部に装着するなど他のデバイスを用いてもよい。
また、運転者が碧眼を有する場合でも瞳孔は黒いため、本手法を用いることができる。
なお、赤外線を用いる角膜反射法や強膜反射法など他の方法を用いたり、視線検出装置を運転者の眼部に装着するなど他のデバイスを用いてもよい。
視線情報サービス部６５は、以下のように、矩形と認識結果、及び運転者の視線情報に基づいて、ＨＵＤ４５やスピーカ４４から情報を出力する。
まず、視線情報サービス部６５は、画像認識機能部６０から案内対象物情報を受け取り、視線管理部６４から視線情報を受け取る。
まず、視線情報サービス部６５は、画像認識機能部６０から案内対象物情報を受け取り、視線管理部６４から視線情報を受け取る。
そして、視線情報サービス部６５は、視線情報から視線の焦点の座標値（視野における視線先の座標値）を計算し、当該焦点のある矩形を特定する。
焦点のある矩形により案内対象物が特定されるため、視線情報サービス部６５は、取得した画像において、認識した案内対象物と検出した視線を対応させて、検出した視線の方向にある案内対象物を特定する特定手段として機能している。
焦点のある矩形により案内対象物が特定されるため、視線情報サービス部６５は、取得した画像において、認識した案内対象物と検出した視線を対応させて、検出した視線の方向にある案内対象物を特定する特定手段として機能している。
視線情報サービス部６５は、複数の矩形が重なっていたり、あるいは、接近するなどして、運転者の意図する案内対象物を特定するのが困難な場合は、後に説明する方法により運転者の意図を推測し、複数の案内対象物から１つを選択する。
このように、視線情報サービス部６５は、特定した案内対象物が複数ある場合に、当該複数ある案内対象物のうちの何れか１つを選択する選択手段として機能している。
このように、視線情報サービス部６５は、特定した案内対象物が複数ある場合に、当該複数ある案内対象物のうちの何れか１つを選択する選択手段として機能している。
更に、視線情報サービス部６５は、ナビゲーション機能部６８から現在位置と進行方向を取得し、地図ＤＢ５２に記憶してある３次元地図データを用いて、運転者の視線方向の模擬画像をレイトレーシング法などの手法を用いて生成する。
模擬画像は、視野画像に対応する情景画像を３次元地図データを用いて仮想的に構成したものである。
模擬画像は、視野画像に対応する情景画像を３次元地図データを用いて仮想的に構成したものである。
そして、視線情報サービス部６５は、案内対象物情報（矩形の座標値と認識結果）と、模擬画像中の特徴物の座標値及び属性を照合（マッチング）する。
この照合は、例えば、矩形の座標値と特徴物の座標値を照合し、更に、認識結果（ビルなど）と特徴物の属性（ビルなど）を照合することにより行う。
このマッチングは、全ての矩形に対して行ってもよいし、あるいは、ランドマークなどの一部の矩形に対して行ってもよい。
その後、視線情報サービス部６５は、運転者の意図する案内対象物の案内情報を案内情報ＤＢ５４から取得し、ＨＵＤ表示制御部７２や音声制御部７３に出力する。
このように、視線情報サービス部６５は、選択した案内対象物に対する情報を運転者に提供する情報提供手段として機能している。
この照合は、例えば、矩形の座標値と特徴物の座標値を照合し、更に、認識結果（ビルなど）と特徴物の属性（ビルなど）を照合することにより行う。
このマッチングは、全ての矩形に対して行ってもよいし、あるいは、ランドマークなどの一部の矩形に対して行ってもよい。
その後、視線情報サービス部６５は、運転者の意図する案内対象物の案内情報を案内情報ＤＢ５４から取得し、ＨＵＤ表示制御部７２や音声制御部７３に出力する。
このように、視線情報サービス部６５は、選択した案内対象物に対する情報を運転者に提供する情報提供手段として機能している。
音声認識機能部６６は、マイクロフォン４６、音声認識部６７などから構成されている。
そして、視線情報サービス部６５は、音声認識機能部６６が音声による入力を受け付けることもできる。
例えば、運転者が案内対象物に視線を向けて「これは何？」などと発話すると、これをマイクロフォン４６が音声認識部６７に入力し、音声認識部６７が発話内容を解釈する。
そして、これに対し、視線情報サービス部６５は、「スカイタワーです。」などとＨＵＤ表示制御部７２や音声制御部７３に出力する。
そして、視線情報サービス部６５は、音声認識機能部６６が音声による入力を受け付けることもできる。
例えば、運転者が案内対象物に視線を向けて「これは何？」などと発話すると、これをマイクロフォン４６が音声認識部６７に入力し、音声認識部６７が発話内容を解釈する。
そして、これに対し、視線情報サービス部６５は、「スカイタワーです。」などとＨＵＤ表示制御部７２や音声制御部７３に出力する。
ナビゲーション機能部６８は、案内処理部６９、ＧＰＳ受信装置１４、各センサ７１、地図ＤＢ５２、交通情報ＤＢ５５、案内情報ＤＢ５４などから構成されている。
これらのうち、案内処理部６９は、ナビゲーションプログラム５１を実行することにより構成され、また、各センサ７１は、図２の方位センサ１２、距離センサ１３、地磁気センサ１５などから構成されている。
これらのうち、案内処理部６９は、ナビゲーションプログラム５１を実行することにより構成され、また、各センサ７１は、図２の方位センサ１２、距離センサ１３、地磁気センサ１５などから構成されている。
案内処理部６９は、経路探索、経路案内などディスプレイ４２やスピーカ４４を用いた従来のナビゲーションを行うほか、視線情報サービス部６５の求めに応じて３次元地図データや案内情報を提供したり、ＧＰＳ受信装置１４や各センサ７１によって現在位置と進行方向を知らせたりなど、視線認識機能部６３がＨＵＤ４５を用いて情報提供を行うのを支援する。
ＨＵＤ表示制御部７２と音声制御部７３は、ナビゲーションプログラム５１を実行することにより構成され、それぞれ、視線情報サービス部６５の出力した案内情報をＨＵＤ４５に表示したり、スピーカ４４が出力したりする。
図４は、矩形が重なっていた場合の重なり時処理を説明するための図である。
運転者の視線方向で複数の矩形が重なっていた場合、視線情報サービス部６５は、以下の方法により、これらの中から運転者が意図しているものを推定し、案内対象となる矩形を選択する。
運転者の視線方向で複数の矩形が重なっていた場合、視線情報サービス部６５は、以下の方法により、これらの中から運転者が意図しているものを推定し、案内対象となる矩形を選択する。
図４（ａ）に示したように、視野画像８１において、物体Ａの左前方に物体Ｂが存在するため物体Ａと物体Ｂが重なっており、運転者２が何れの物体を注視しているか視線方向からは判断困難とする。
このように物体Ｂが物体Ａの陰になっており、運転者２が物体Ｂを注視している場合、運転者２は、左側に頭部を移動したり傾けたりすることが期待できる。
そこで、ナビゲーション装置１は、運転者２の眼の移動（例えば、進行方向に垂直な２次元平面内での移動）を観察し、これによって、運転者２が物体Ａ、Ｂの何れを注視しているかを判断する。
このように、ナビゲーション装置１は、運転者の眼の位置の移動方向を検出する移動検出手段を備えている。
このように物体Ｂが物体Ａの陰になっており、運転者２が物体Ｂを注視している場合、運転者２は、左側に頭部を移動したり傾けたりすることが期待できる。
そこで、ナビゲーション装置１は、運転者２の眼の移動（例えば、進行方向に垂直な２次元平面内での移動）を観察し、これによって、運転者２が物体Ａ、Ｂの何れを注視しているかを判断する。
このように、ナビゲーション装置１は、運転者の眼の位置の移動方向を検出する移動検出手段を備えている。
図４（ｂ）を用いてより詳細に説明する。
設定した矩形Ａ〜Ｄが、運転者の側からこの順に重なっているとする。そして、運転者の視線の焦点８２が矩形Ａの上にあるとする。
この場合、ナビゲーション装置１は、運転者の焦点のある矩形Ａ（視点の位置で一番手前にあるもの）を基準矩形に設定する。
そして、ナビゲーション装置１は、基準矩形と直接重なっている他の矩形を抽出する。図の例では、矩形Ｂ、Ｃが基準矩形Ａと重なっており、矩形Ｄは重なっていないため、ナビゲーション装置１は、矩形Ｂ、Ｃを抽出する。
設定した矩形Ａ〜Ｄが、運転者の側からこの順に重なっているとする。そして、運転者の視線の焦点８２が矩形Ａの上にあるとする。
この場合、ナビゲーション装置１は、運転者の焦点のある矩形Ａ（視点の位置で一番手前にあるもの）を基準矩形に設定する。
そして、ナビゲーション装置１は、基準矩形と直接重なっている他の矩形を抽出する。図の例では、矩形Ｂ、Ｃが基準矩形Ａと重なっており、矩形Ｄは重なっていないため、ナビゲーション装置１は、矩形Ｂ、Ｃを抽出する。
次に、ナビゲーション装置１は、抽出した矩形の基準矩形に対する位置関係から抽出した矩形に重なり方向を割り当てる。
ここでは、単純化のため、一例として、重なり方向を上下方向と左右方向とし、ナビゲーション装置１は、基準矩形と重なっていない部分の面積の大きい方の重なり方向を割り当てるものとする。
ここでは、単純化のため、一例として、重なり方向を上下方向と左右方向とし、ナビゲーション装置１は、基準矩形と重なっていない部分の面積の大きい方の重なり方向を割り当てるものとする。
図の例では、矩形Ｂは、矩形Ａと重なっていない部分の面積が上方向よりも左方向の方が大きいため、ナビゲーション装置１は、矩形Ｂに左方向を割り当てる。また、同様に矩形Ｃに対しては、上方向を割り当てる。
このように、ナビゲーション装置１は、特定した案内対象物が複数あり、当該複数ある案内対象物の一部が取得した画像で重なっている場合に、当該複数ある案内対象物の重なり方向を設定する重なり方向設定手段を備えている。
このように、ナビゲーション装置１は、特定した案内対象物が複数あり、当該複数ある案内対象物の一部が取得した画像で重なっている場合に、当該複数ある案内対象物の重なり方向を設定する重なり方向設定手段を備えている。
基準矩形を設定し、抽出した矩形の位置関係を割り当てた後、ナビゲーション装置１は、視線の焦点を中心に重なり方向に対応した判断領域を設定し、運転者の頭部の移動や回転に伴う眼の移動が判断領域以上となった方向の矩形を選択する。
このように、ナビゲーション装置１は、設定した矩形の重なり方向と、検出した眼の移動方向、とに基づいて案内対象物を選択する。
このように、ナビゲーション装置１は、設定した矩形の重なり方向と、検出した眼の移動方向、とに基づいて案内対象物を選択する。
なお、判断領域の大きさは、案内対象物が遠いほど、また、車両の振動が大きいほど大きく設定する。
これは、遠いものほど焦点が定まりにくく、振動が大きいほど眼の位置にばらつきが生じやすいためである。
このように、ナビゲーション装置１は、車両の振動と、案内対象物までの距離と、の少なくとも一方を用いて移動量に閾値を動的に設定する閾値設定手段を備えている。
そして、ナビゲーション装置１は、検出した眼の移動量が所定の閾値（判断領域）を超えた場合に、矩形の重なり方向と、眼の移動方向と、に基づいて案内対象物を選択する。
これは、遠いものほど焦点が定まりにくく、振動が大きいほど眼の位置にばらつきが生じやすいためである。
このように、ナビゲーション装置１は、車両の振動と、案内対象物までの距離と、の少なくとも一方を用いて移動量に閾値を動的に設定する閾値設定手段を備えている。
そして、ナビゲーション装置１は、検出した眼の移動量が所定の閾値（判断領域）を超えた場合に、矩形の重なり方向と、眼の移動方向と、に基づいて案内対象物を選択する。
また、案内対象物までの距離は、現在位置と案内対象物の位置から計算してもよいし、あるいは、案内対象物の大きさの３次元データがあるため、視野画像における案内対象物の大きさと３次元データによる大きさを比較して計算してもよい。
ここでは、一例として、ナビゲーション装置１は、焦点８２を中心とする誤差円８３を判断領域に設定するものとする。
この場合、ナビゲーション装置１は、運転者の眼が誤差円８３を超えて左方向に移動した場合は、矩形Ｂを運転者が意図する対象であるとして選択し、上方向に移動した場合は矩形Ｃを選択する。
なお、頭部は上下方向よりも左右方向に動かしやすいため、誤差円８３を左右方向に長い楕円としてもよい。
この場合、ナビゲーション装置１は、運転者の眼が誤差円８３を超えて左方向に移動した場合は、矩形Ｂを運転者が意図する対象であるとして選択し、上方向に移動した場合は矩形Ｃを選択する。
なお、頭部は上下方向よりも左右方向に動かしやすいため、誤差円８３を左右方向に長い楕円としてもよい。
以上のようにして、ナビゲーション装置１は、複数の矩形が重なっていた場合、運転者の意図すると推定される矩形を案内対象として選択することができる。
また、眼の位置の動きに、スイッチやジェスチャー（例えば、まばたき）など、運転者の意志を伝える他の手段を併用してもよい。
また、眼の位置の動きに、スイッチやジェスチャー（例えば、まばたき）など、運転者の意志を伝える他の手段を併用してもよい。
次に、矩形が接近している場合について説明する。複数の矩形が接近している場合、ある矩形に焦点があっても運転者は近隣の矩形を意図している場合がある。
そこで、ナビゲーション装置１は、複数の矩形が接近している場合、運転者の意図を推測して案内対象とする矩形を選択する。
ここでは、接近している矩形から選択する接近時処理の３つの方法について、それぞれ、図５〜図７を用いて説明する。
そこで、ナビゲーション装置１は、複数の矩形が接近している場合、運転者の意図を推測して案内対象とする矩形を選択する。
ここでは、接近している矩形から選択する接近時処理の３つの方法について、それぞれ、図５〜図７を用いて説明する。
図５の各図は、接近時処理の第１の方法を説明するための図である。この方法では、矩形を拡大して分離し、運転者の視線の変化を観察する。
図５（ａ）に示したように、矩形Ａと矩形Ｂ（何れも波線で囲んだ矩形領域）が接近している場合について考える。
この場合、ナビゲーション装置１は、運転者が視認しやすいように矩形Ａ、Ｂの面積を拡大して反応領域を設定し（斜線で示した部分が拡大部分）、ＨＵＤ４５に表示する。
このように、ナビゲーション装置１は、特定した案内対象物が複数ある場合に、これら複数ある案内対象物を囲む領域（反応領域）を、運転者の視界において、案内対象物ごとに表示する表示手段を備えている。
図５（ａ）に示したように、矩形Ａと矩形Ｂ（何れも波線で囲んだ矩形領域）が接近している場合について考える。
この場合、ナビゲーション装置１は、運転者が視認しやすいように矩形Ａ、Ｂの面積を拡大して反応領域を設定し（斜線で示した部分が拡大部分）、ＨＵＤ４５に表示する。
このように、ナビゲーション装置１は、特定した案内対象物が複数ある場合に、これら複数ある案内対象物を囲む領域（反応領域）を、運転者の視界において、案内対象物ごとに表示する表示手段を備えている。
次に、ナビゲーション装置１は、図５（ｂ）に示したように、矩形Ａ、Ｂの中点を結び、その直線に沿って、お互いに離反する方向に両方の反応領域をアニメーションで連続的に移動する。
このように、接近（接近）した矩形を運転者が認識できる形で明確に分離することにより、各矩形に対するそれぞれの注視を明確化することができる。また、運転者が何れかの対象を意図していた場合、アニメーションと共に視点が意図する方の矩形に移動することが期待される。
そこで、ナビゲーション装置１は、運転者の視線が移動した側の矩形を選択する。
このように、接近（接近）した矩形を運転者が認識できる形で明確に分離することにより、各矩形に対するそれぞれの注視を明確化することができる。また、運転者が何れかの対象を意図していた場合、アニメーションと共に視点が意図する方の矩形に移動することが期待される。
そこで、ナビゲーション装置１は、運転者の視線が移動した側の矩形を選択する。
このように、ナビゲーション装置１は、表示した領域を離反する方向に移動する領域移動手段と、これら領域の移動に際しての運転者の視線の変化を取得する視線変化取得手段を備えており、視線の変化に基づいて案内対象物を選択する。
また、領域移動手段は、移動開始前の位置から移動後の位置まで領域をアニメーションによって連続的に移動する。
また、領域移動手段は、移動開始前の位置から移動後の位置まで領域をアニメーションによって連続的に移動する。
なお、矩形をアニメーションで徐々に移動したのは、瞬間的に離反させるよりも運転者の視線を誘導しやすいからである。
また、矩形選択の判断において、各矩形における注視時間の総和を比較して多い方の矩形を選択するようにしてもよい。
また、矩形選択の判断において、各矩形における注視時間の総和を比較して多い方の矩形を選択するようにしてもよい。
ここで、矩形Ａ、Ｂを離反させる分断距離ｙは、例えば、矩形の対向する辺の距離とし、図５（ｃ）に示したように、対象までの距離をｘとし、誤差角をθとして、ｙ＝ｘ×ｔａｎθで表すことができる。ここで、誤差角とは、運転者から見て矩形の対向する辺が成す角度の半分である。
図６の各図は、接近時処理の第２の方法を説明するための図である。この方法では、運転者が視線を向けるターゲットを小さくして視線を誘導する。
図６（ａ）に示したように、現在の焦点位置に対して接近している矩形Ａ、Ｂ、Ｃがあったとする。
ナビゲーション装置１は、矩形Ａ、Ｂ、Ｃに重畳して、運転者の反応を観察するための、それぞれの矩形を囲んだ矩形の反応領域９１、９２、９３をＨＵＤ４５に表示する。
反応領域９１、９２、９３は、運転者が視認しやすいように、目立つ状態で表示される。なお、運転者の視線の焦点のある矩形だけ反応領域を表示してもよい。
図６（ａ）に示したように、現在の焦点位置に対して接近している矩形Ａ、Ｂ、Ｃがあったとする。
ナビゲーション装置１は、矩形Ａ、Ｂ、Ｃに重畳して、運転者の反応を観察するための、それぞれの矩形を囲んだ矩形の反応領域９１、９２、９３をＨＵＤ４５に表示する。
反応領域９１、９２、９３は、運転者が視認しやすいように、目立つ状態で表示される。なお、運転者の視線の焦点のある矩形だけ反応領域を表示してもよい。
このように反応領域を表示した後、ナビゲーション装置１は、運転者の意図が現在焦点のある矩形であるか否かを確認するために、焦点のある反応領域を運転者が見ている間にアニメーションで徐々に連続的に縮小し、運転者の視線を案内対象物の中心に誘導する。
その際に、他の反応領域や矩形の色を変えたり、薄くしたりなどして、目立たなくするとより効果的である。
即ち、ナビゲーション装置１は、焦点のある反応領域が運転者の意図するものであるか確認するために当該反応領域を仮選択し、これを縮小して視線の変化を観察する。
その際に、他の反応領域や矩形の色を変えたり、薄くしたりなどして、目立たなくするとより効果的である。
即ち、ナビゲーション装置１は、焦点のある反応領域が運転者の意図するものであるか確認するために当該反応領域を仮選択し、これを縮小して視線の変化を観察する。
このように、ナビゲーション装置１は、特定した案内対象物が複数ある場合に、当該複数ある案内対象物のうちの１つを仮選択する仮選択手段と、この仮選択した案内対象物を囲む領域（反応領域）を、運転者の視界において表示する表示手段と、表示した領域の面積を変化させる面積変化手段と（この例では縮小）、この面積の変化に際して運転者の視線の変化を取得する視線変化取得手段を備えている。
また、反応領域の縮小は、必要なだけ行えばよいので、ここでは、反応領域を案内対象物の輪郭より小さくしないものとする。なお、矩形と反応領域は別に管理し、矩形は縮小しない。矩形は、視線の焦点があることにより案内対象物を特定する領域であるため、矩形を小さくすると視線を検出する範囲が狭まってしまうからである。あくまで視線を誘導するために反応領域の表示を小さくする。
このように視線を誘導した場合、運転者が誘導先の案内対象物を意図している場合には、注視を維持し、意図していない場合には、視線をずらすことが期待できる。
そこで、ナビゲーション装置１は、縮小した反応領域に重畳している矩形に対する注視時間（視線の焦点の滞留時間）を計測する。注視時間の計測方法は、次に説明する第３の方法と同様である。
そして、注視時間が所定の判定時間（閾値）を超えた場合、運転者がその案内対象物を意図しているものと判断し、当該案内対象物を案内対象として選択する。
このように、ナビゲーション装置１は、面積を変化させた領域に運転者の視線が所定時間以上滞在した場合に（即ち、所定時間以上注視した場合）、当該領域を選択する。
そこで、ナビゲーション装置１は、縮小した反応領域に重畳している矩形に対する注視時間（視線の焦点の滞留時間）を計測する。注視時間の計測方法は、次に説明する第３の方法と同様である。
そして、注視時間が所定の判定時間（閾値）を超えた場合、運転者がその案内対象物を意図しているものと判断し、当該案内対象物を案内対象として選択する。
このように、ナビゲーション装置１は、面積を変化させた領域に運転者の視線が所定時間以上滞在した場合に（即ち、所定時間以上注視した場合）、当該領域を選択する。
例えば、図６（ｂ）に示したように、視線の焦点が矩形Ｂにあるとすると、ナビゲーション装置１は、反応領域９２を矢線で示したように徐々に反応領域９４にまで縮小すると共に、他の表示状態を変更して目立たなくする。
そして、ナビゲーション装置１は、運転者の反応領域９４に対する注視時間を計測し、これが所定の判定時間を超えた場合、矩形Ｂを選択する。
そして、ナビゲーション装置１は、運転者の反応領域９４に対する注視時間を計測し、これが所定の判定時間を超えた場合、矩形Ｂを選択する。
図７の各図は、接近時処理の第３の方法を説明するための図であり、この方法では、各矩形に対する視線の焦点の注視時間を測定する。
図７（ａ）に示したように、接近した矩形Ａ、Ｂ、Ｃがあり、運転者の意図する案内対象物が不明確であったとする。
この場合、ナビゲーション装置１は、所定の判定時間に渡って運転者の視線が各矩形に滞留（滞在）した時間をカウントして足すことにより、候補の案内対象物をどの程度の時間見続けたかを計測し、注視時間が所定の判定時間（閾値）に達した場合、その矩形の案内対象物を選択する。
図７（ａ）に示したように、接近した矩形Ａ、Ｂ、Ｃがあり、運転者の意図する案内対象物が不明確であったとする。
この場合、ナビゲーション装置１は、所定の判定時間に渡って運転者の視線が各矩形に滞留（滞在）した時間をカウントして足すことにより、候補の案内対象物をどの程度の時間見続けたかを計測し、注視時間が所定の判定時間（閾値）に達した場合、その矩形の案内対象物を選択する。
図７（ａ）には、運転者の視線方向である焦点の変遷が点とこれを結ぶ矢線によって示されている。例えば、図７（ａ）に示したように、焦点１０１から焦点１０３まで、矩形Ａから矩形Ｃに渡って移動したとする。
この場合、ナビゲーション装置１は、焦点が各矩形に滞留した時間を例えばミリ秒単位で累積していく。
この場合、ナビゲーション装置１は、焦点が各矩形に滞留した時間を例えばミリ秒単位で累積していく。
図７（ｂ）は、図７（ａ）における注視時間の一例を示した図である。
図の左端が判定開始時点であり、右端が判定時間である。図の上から矩形Ａ、Ｂ、Ｃの注視時間１０７、１０８、１０９が示されており、矩形Ｂの注視時間１０８が最も長くなっている。
ナビゲーション装置１は、このように各矩形における注視時間を計測し、それが判定時間に達した場合、当該判定時間に達した矩形の案内対象物を案内対象として選択する。
以上のように、ナビゲーション装置１は、特定した案内対象物が複数ある場合に、当該複数ある案内対象物に、運転者の視線が滞在した時間（注視時間）を案内対象物ごとに計測する計測手段を備え、当該計測した時間に基づいて案内対象物を選択する。
図の左端が判定開始時点であり、右端が判定時間である。図の上から矩形Ａ、Ｂ、Ｃの注視時間１０７、１０８、１０９が示されており、矩形Ｂの注視時間１０８が最も長くなっている。
ナビゲーション装置１は、このように各矩形における注視時間を計測し、それが判定時間に達した場合、当該判定時間に達した矩形の案内対象物を案内対象として選択する。
以上のように、ナビゲーション装置１は、特定した案内対象物が複数ある場合に、当該複数ある案内対象物に、運転者の視線が滞在した時間（注視時間）を案内対象物ごとに計測する計測手段を備え、当該計測した時間に基づいて案内対象物を選択する。
次に、以上のように構成されたナビゲーション装置１の動作について説明する。
以下の情報処理動作、及び制御動作は、ＣＰＵ２１（図２）がナビゲーションプログラム５１を実行することにより実現される。
図８は、視線を用いた案内情報提供処理を説明するためのフローチャートである。
まず、ナビゲーション装置１は、視野画像について撮影・画像認識処理を行い、案内対象物の抽出、及び抽出した案内対象物の理解を行う（ステップ５）。
そして、ナビゲーション装置１は、抽出・理解した案内対象物に対して、これを囲む大きさの矩形を設定する（ステップ１０）。
以下の情報処理動作、及び制御動作は、ＣＰＵ２１（図２）がナビゲーションプログラム５１を実行することにより実現される。
図８は、視線を用いた案内情報提供処理を説明するためのフローチャートである。
まず、ナビゲーション装置１は、視野画像について撮影・画像認識処理を行い、案内対象物の抽出、及び抽出した案内対象物の理解を行う（ステップ５）。
そして、ナビゲーション装置１は、抽出・理解した案内対象物に対して、これを囲む大きさの矩形を設定する（ステップ１０）。
次に、ナビゲーション装置１は、運転者の視線方向に設定した矩形が、他の矩形と重なった位置にあるか否かを判断する（ステップ１５）。
複数の矩形が重なった位置にある場合（ステップ１５；Ｙ）、ナビゲーション装置１は、重なり時処理を行って（ステップ２０）、案内対象となる矩形を選択する。
そして、ナビゲーション装置１は、選択した矩形の案内対象物に対する案内情報をＨＵＤ４５に表示したり、スピーカ４４から出力したりして運転者に提供する（ステップ２５）。
複数の矩形が重なった位置にある場合（ステップ１５；Ｙ）、ナビゲーション装置１は、重なり時処理を行って（ステップ２０）、案内対象となる矩形を選択する。
そして、ナビゲーション装置１は、選択した矩形の案内対象物に対する案内情報をＨＵＤ４５に表示したり、スピーカ４４から出力したりして運転者に提供する（ステップ２５）。
一方、矩形が重なった位置にない場合（ステップ１５；Ｎ）、ナビゲーション装置１は、運転者の視線方向で複数の矩形が接近した位置にあるか否かを判断する（ステップ３５）。
接近（近接）しているか否かの判断は、矩形の辺の間隔が所定の閾値以下である場合に接近していると判断する。
複数の矩形が接近している場合（ステップ３５；Ｙ）、ナビゲーション装置１は、接近時処理を行い（方法１〜３の何れでもよい）（ステップ４０）、選択した矩形の案内対象物に対する案内情報を提供する（ステップ２５）。
一方、視線方向で複数の矩形が接近した位置にない場合（ステップ３５；Ｎ）、ナビゲーション装置１は、視線方向にある矩形の案内対象物に対する案内情報を提供する（ステップ２５）。
接近（近接）しているか否かの判断は、矩形の辺の間隔が所定の閾値以下である場合に接近していると判断する。
複数の矩形が接近している場合（ステップ３５；Ｙ）、ナビゲーション装置１は、接近時処理を行い（方法１〜３の何れでもよい）（ステップ４０）、選択した矩形の案内対象物に対する案内情報を提供する（ステップ２５）。
一方、視線方向で複数の矩形が接近した位置にない場合（ステップ３５；Ｎ）、ナビゲーション装置１は、視線方向にある矩形の案内対象物に対する案内情報を提供する（ステップ２５）。
このように、ナビゲーション装置１は、案内情報を提供した後（ステップ２５）、案内を継続するか否かを判断し（ステップ３０）、案内を継続する場合は（ステップ３０；Ｙ）、ステップ５に戻り、案内を継続しない場合は（例えば、運転者がナビゲーション装置１を操作して案内を停止した場合）（ステップ３０；Ｎ）、案内情報提供処理を終了する。
図９は、ステップ５の撮影・画像認識処理を説明するためのフローチャートである。
以下の処理は、ナビゲーション装置１の画像認識機能部６０（図３）が行うものである。
ナビゲーション装置１は、フロントカメラ３１を用いて視野画像を取得する（ステップ５０）。
そして、ナビゲーション装置１は、視野画像を視線トラッキング範囲（視線の移り変わっている範囲）で切り出して、これを取り出す（ステップ５５）。
これは、フロントカメラ３１で撮影している画像と、運転者の視野にずれがあるため、画像認識処理する範囲が運転者の視野に適合するように撮影した画像を調整するものである。以降、ナビゲーション装置１は、この取り出した視野画像を用いる。
以下の処理は、ナビゲーション装置１の画像認識機能部６０（図３）が行うものである。
ナビゲーション装置１は、フロントカメラ３１を用いて視野画像を取得する（ステップ５０）。
そして、ナビゲーション装置１は、視野画像を視線トラッキング範囲（視線の移り変わっている範囲）で切り出して、これを取り出す（ステップ５５）。
これは、フロントカメラ３１で撮影している画像と、運転者の視野にずれがあるため、画像認識処理する範囲が運転者の視野に適合するように撮影した画像を調整するものである。以降、ナビゲーション装置１は、この取り出した視野画像を用いる。
次に、ナビゲーション装置１は、視野画像に対して、特徴物抽出のためのエッジ抽出処理などの画像処理を行い（ステップ６０）、画像認識用ＤＢ５６を用いて、予め学習させてあるパターンと抽出した特徴物を照合することにより画像認識（パターン認識）する（ステップ６５）。
次に、ナビゲーション装置１は、パターンがマッチした特徴物が何であるのか（例えば、ビル、交差点など）を理解する（ステップ７０）。
そして、ナビゲーション装置１は、理解した特徴物を輪郭化することにより輪郭処理し（ステップ７５）、これを矩形で囲んで記憶する（ステップ８０）。このように、案内対象物は、特徴物として抽出され、輪郭化された後、矩形で囲まれる。
次に、ナビゲーション装置１は、パターンがマッチした特徴物が何であるのか（例えば、ビル、交差点など）を理解する（ステップ７０）。
そして、ナビゲーション装置１は、理解した特徴物を輪郭化することにより輪郭処理し（ステップ７５）、これを矩形で囲んで記憶する（ステップ８０）。このように、案内対象物は、特徴物として抽出され、輪郭化された後、矩形で囲まれる。
図１０は、ステップ２０の重なり時処理を説明するためのフローチャートである。
以下の処理は、ナビゲーション装置１の視線認識機能部６３（図３）が行うものである。
まず、ナビゲーション装置１は、運転者の現在の焦点がある矩形、即ち、焦点位置で一番手前にある矩形を基準に設定する（ステップ９０）。
次に、ナビゲーション装置１は、複数重なっている矩形のうち、基準となる矩形の案内対象物に関してとりあえず案内情報を提供する（ステップ９５）。
以下の処理は、ナビゲーション装置１の視線認識機能部６３（図３）が行うものである。
まず、ナビゲーション装置１は、運転者の現在の焦点がある矩形、即ち、焦点位置で一番手前にある矩形を基準に設定する（ステップ９０）。
次に、ナビゲーション装置１は、複数重なっている矩形のうち、基準となる矩形の案内対象物に関してとりあえず案内情報を提供する（ステップ９５）。
なお、情報提供には、運転者が案内対象物を視認している場合に、当該案内対象物の案内情報を提供するプル型と、運転者が案内対象物を視認していない場合に、当該案内対象物の案内情報を提供するプッシュ型がある。
本実施の形態では、運転者の視線の焦点にある矩形に対応する案内情報を提供するためプル型となる。
本実施の形態では、運転者の視線の焦点にある矩形に対応する案内情報を提供するためプル型となる。
次に、ナビゲーション装置１は、基準矩形に重なっている他の矩形を抽出し（ステップ１００）、抽出した矩形の基準矩形に対する位置関係を割り当てる（ステップ１０５）。
次に、ナビゲーション装置１は、視線の焦点を中心に重なり方向に対応した判断領域（例えば、誤差円）を、車両の振動や案内対象物までの距離などを考慮しながら設定する（ステップ１１０）。
次に、ナビゲーション装置１は、視線の焦点を中心に重なり方向に対応した判断領域（例えば、誤差円）を、車両の振動や案内対象物までの距離などを考慮しながら設定する（ステップ１１０）。
このように判断領域を設定した後、ナビゲーション装置１は、視線カメラ３２によって運転者の眼の位置の移動を追跡し、眼の位置が判断領域の範囲を超えたか否かを判断する（ステップ１２０）。
眼の位置が判断領域を超えた場合（ステップ１２０；Ｙ）、ナビゲーション装置１は、眼の移動方向に対応する位置関係の矩形を選択する（ステップ１２５）。
眼の位置が判断領域を超えない場合（ステップ１２０；Ｎ）、ナビゲーション装置１は、メインルーチン（図８のフローチャート）にリターンする。
眼の位置が判断領域を超えた場合（ステップ１２０；Ｙ）、ナビゲーション装置１は、眼の移動方向に対応する位置関係の矩形を選択する（ステップ１２５）。
眼の位置が判断領域を超えない場合（ステップ１２０；Ｎ）、ナビゲーション装置１は、メインルーチン（図８のフローチャート）にリターンする。
図１１は、第１の方法に対応する接近時処理の手順を説明するためのフローチャートである。
以下の処理は、ナビゲーション装置１の視線認識機能部６３（図３）が行うものである（以下、第２の方法、第３の方法も同様）。
まず、ナビゲーション装置１は、現在の視線の焦点の位置から案内対象の候補となる接近した複数の矩形を選択する。
そして、これら接近している案内対象候補の矩形の中心点を結ぶことにより、分断により離反させる離反方向を設定し（ステップ１４０）、更に、分断距離ｙを計算する（ステップ１４５）。
次に、ナビゲーション装置１は、矩形に重畳して反応領域をＨＵＤ４５に表示し、当該反応領域を離反方向に分断距離ｙだけ離反させるアニメーションを開始する（ステップ１５０）。
以下の処理は、ナビゲーション装置１の視線認識機能部６３（図３）が行うものである（以下、第２の方法、第３の方法も同様）。
まず、ナビゲーション装置１は、現在の視線の焦点の位置から案内対象の候補となる接近した複数の矩形を選択する。
そして、これら接近している案内対象候補の矩形の中心点を結ぶことにより、分断により離反させる離反方向を設定し（ステップ１４０）、更に、分断距離ｙを計算する（ステップ１４５）。
次に、ナビゲーション装置１は、矩形に重畳して反応領域をＨＵＤ４５に表示し、当該反応領域を離反方向に分断距離ｙだけ離反させるアニメーションを開始する（ステップ１５０）。
ナビゲーション装置１は、アニメーションを行っている間、視線カメラ３２によって運転者の視線を観察し、視線がアニメーションに追従したか否かを判断する（ステップ１５５）。
視線がアニメーションに追従した場合（ステップ１５５；Ｙ）、ナビゲーション装置１は、視線の焦点が移動した側の矩形を選択状態とし（ステップ１６０）、メインルーチンにリターンする。
一方、視線が追従しない場合（ステップ１５５；Ｎ）、ナビゲーション装置１は、運転者は対象の矩形を見ていないと判断し、反応領域と矩形を消去し（ステップ１７０）、メインルーチンにリターンする。
視線がアニメーションに追従した場合（ステップ１５５；Ｙ）、ナビゲーション装置１は、視線の焦点が移動した側の矩形を選択状態とし（ステップ１６０）、メインルーチンにリターンする。
一方、視線が追従しない場合（ステップ１５５；Ｎ）、ナビゲーション装置１は、運転者は対象の矩形を見ていないと判断し、反応領域と矩形を消去し（ステップ１７０）、メインルーチンにリターンする。
図１２は、第２の方法に対応する接近時処理の手順を説明するためのフローチャートである。
まず、ナビゲーション装置１は、接近した矩形のそれぞれに反応領域を設定してＨＵＤ４５に表示するとともに、その中から現在の焦点がある矩形を案内候補として選択する（ステップ１８０）。
まず、ナビゲーション装置１は、接近した矩形のそれぞれに反応領域を設定してＨＵＤ４５に表示するとともに、その中から現在の焦点がある矩形を案内候補として選択する（ステップ１８０）。
次に、ナビゲーション装置１は、選択した矩形上に視線の焦点があるか否かを判断する（ステップ１８５）。
選択した矩形上に焦点がある場合（ステップ１８５；Ｙ）、ナビゲーション装置１は、当該矩形の反応領域を徐々に縮小するとともに（ステップ１９０）、当該矩形における注視時間を計測する（ステップ１９５）。
選択した矩形上に焦点がある場合（ステップ１８５；Ｙ）、ナビゲーション装置１は、当該矩形の反応領域を徐々に縮小するとともに（ステップ１９０）、当該矩形における注視時間を計測する（ステップ１９５）。
次に、ナビゲーション装置１は、注視時間が所定の制限時間内に所定の判定時間に達したか否かを判断する（ステップ２００）。
所定の判定時間が満了した場合（ステップ２００；Ｙ）、ナビゲーション装置１は、当該矩形を案内対象として選択し、メインルーチンにリターンする。
一方、所定の判定時間が満了しなかった場合（ステップ２００；Ｎ）、ナビゲーション装置１は、ステップ１８５に戻る。
所定の判定時間が満了した場合（ステップ２００；Ｙ）、ナビゲーション装置１は、当該矩形を案内対象として選択し、メインルーチンにリターンする。
一方、所定の判定時間が満了しなかった場合（ステップ２００；Ｎ）、ナビゲーション装置１は、ステップ１８５に戻る。
また、ステップ１８５で、焦点が選択した矩形になかった場合（ステップ１８５；Ｎ）、ナビゲーション装置１は、他の矩形に焦点が移動したか否かを判断する（ステップ２１０）。
他の矩形に焦点が移動した場合（ステップ２１０；Ｙ）、ナビゲーション装置１は、当該他の矩形を新たに選択し（ステップ２１５）、ステップ１８５に戻る。
一方、他の矩形に焦点が移動していない場合（ステップ２１０；Ｎ）、ナビゲーション装置１は、何もないところに視線が移動したと判断し、ＨＵＤ４５から反応領域を消去してメインルーチンにリターンする。
他の矩形に焦点が移動した場合（ステップ２１０；Ｙ）、ナビゲーション装置１は、当該他の矩形を新たに選択し（ステップ２１５）、ステップ１８５に戻る。
一方、他の矩形に焦点が移動していない場合（ステップ２１０；Ｎ）、ナビゲーション装置１は、何もないところに視線が移動したと判断し、ＨＵＤ４５から反応領域を消去してメインルーチンにリターンする。
図１３は、第３の方法に対応する接近時処理の手順を説明するためのフローチャートである。第２の方法と同様のステップには同じステップ番号を付し、説明を簡略化する。
まず、ナビゲーション装置１は、接近した矩形の中から現在の焦点がある矩形を案内候補として選択する（ステップ１８０）。
まず、ナビゲーション装置１は、接近した矩形の中から現在の焦点がある矩形を案内候補として選択する（ステップ１８０）。
次に、ナビゲーション装置１は、選択した矩形上に視線の焦点があるか否かを判断する（ステップ１８５）。
選択した矩形上に焦点がある場合（ステップ１８５；Ｙ）、ナビゲーション装置１は、当該矩形における注視時間を計測する（ステップ１９５）。
選択した矩形上に焦点がある場合（ステップ１８５；Ｙ）、ナビゲーション装置１は、当該矩形における注視時間を計測する（ステップ１９５）。
次に、ナビゲーション装置１は、注視時間が所定の制限時間内に所定の判定時間に達したか否かを判断する（ステップ２００）。
所定の判定時間が満了した場合（ステップ２００；Ｙ）、ナビゲーション装置１は、当該矩形を案内対象として選択し、メインルーチンにリターンする。
一方、所定の判定時間が満了しなかった場合（ステップ２００；Ｎ）、ナビゲーション装置１は、ステップ１８５に戻る。
所定の判定時間が満了した場合（ステップ２００；Ｙ）、ナビゲーション装置１は、当該矩形を案内対象として選択し、メインルーチンにリターンする。
一方、所定の判定時間が満了しなかった場合（ステップ２００；Ｎ）、ナビゲーション装置１は、ステップ１８５に戻る。
また、ステップ１８５で、焦点が選択した矩形になかった場合（ステップ１８５；Ｎ）、ナビゲーション装置１は、他の矩形に焦点が移動したか否かを判断する（ステップ２１０）。
他の矩形に焦点が移動した場合（ステップ２１０；Ｙ）、ナビゲーション装置１は、当該他の矩形を新たに選択し（ステップ２１５）、ステップ１８５に戻る。
一方、他の矩形に焦点が移動していない場合（ステップ２１０；Ｎ）、ナビゲーション装置１は、何もないところに視線が移動したと判断し、メインルーチンにリターンする。
他の矩形に焦点が移動した場合（ステップ２１０；Ｙ）、ナビゲーション装置１は、当該他の矩形を新たに選択し（ステップ２１５）、ステップ１８５に戻る。
一方、他の矩形に焦点が移動していない場合（ステップ２１０；Ｎ）、ナビゲーション装置１は、何もないところに視線が移動したと判断し、メインルーチンにリターンする。
以上に説明した実施の形態により、次のような効果を得ることができる。
（１）案内対象物が重なっている場合や接近している場合は、認識した対象と視線の組み合わせにより、唯一の案内対象物を案内対象として特定するのが困難な場合がある。しかし、ナビゲーション装置１によれば、重なり時処理や接近時処理を行うことにより適切な案内対象物を選択することができる。
（２）重なり時処理によれば、案内対象物が重なった場合に、運転者の直感的な動作から意図を判別することができる。
（３）接近時処理（第１の方法、第２の方法）によれば、案内対象物が接近している場合に、反応領域を離反させたり、変形することにより、運転者の直感的な視線の変化を検出して運転者の意図を判別することができる。
（４）接近時処理（第３の方法）によれば、案内対象物に対する注視時間を計測することにより運転者の意図を判別することができる。
（５）ナビゲーション装置１は、運転者の視線を遠隔操作手段として用いると共に、重なり時処理や接近時処理を用いることにより、運転者が意図している案内対象物を適切に選択することができる。そのため、運転者の意図や行動を先読みして処理し、より直感的に運転者が外界の情報を取得することができる。
（１）案内対象物が重なっている場合や接近している場合は、認識した対象と視線の組み合わせにより、唯一の案内対象物を案内対象として特定するのが困難な場合がある。しかし、ナビゲーション装置１によれば、重なり時処理や接近時処理を行うことにより適切な案内対象物を選択することができる。
（２）重なり時処理によれば、案内対象物が重なった場合に、運転者の直感的な動作から意図を判別することができる。
（３）接近時処理（第１の方法、第２の方法）によれば、案内対象物が接近している場合に、反応領域を離反させたり、変形することにより、運転者の直感的な視線の変化を検出して運転者の意図を判別することができる。
（４）接近時処理（第３の方法）によれば、案内対象物に対する注視時間を計測することにより運転者の意図を判別することができる。
（５）ナビゲーション装置１は、運転者の視線を遠隔操作手段として用いると共に、重なり時処理や接近時処理を用いることにより、運転者が意図している案内対象物を適切に選択することができる。そのため、運転者の意図や行動を先読みして処理し、より直感的に運転者が外界の情報を取得することができる。
なお、本実施形態としては、次のように構成することも可能である。
（１）構成１
車両の運転者の視界に対応する画像を取得する画像取得手段と、
前記取得した画像に写っている案内対象物を認識する認識手段と、
前記運転者の視線を検出する視線検出手段と、
前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定手段と、
前記特定した案内対象物が複数あり、当該複数ある案内対象物の一部が前記取得した画像で重なっている場合に、いずれか１の案内対象物を基準として、他の案内対象物の重なり方向を設定する重なり方向設定手段と、
前記運転者の眼の位置の移動方向を検出する移動検出手段と、
前記設定した重なり方向と、前記検出した目の位置の移動方向とに基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択手段と、
を具備したことを特徴とする情報提供装置。
（２）構成２
前記移動検出手段は、前記眼の移動量を更に検出し、
前記車両の振動と、案内対象物までの距離と、の少なくとも一方を用いて前記移動量に閾値を動的に設定する閾値設定手段を具備し、
前記選択手段は、前記検出した眼の移動量が所定の閾値を超えた場合に、前記設定した重なり方向と、前記検出した移動方向と、に基づいて前記案内対象物を選択することを特徴とする構成１に記載の情報提供装置。
（３）構成３
前記重なり方向設定手段は、前記重なっている複数の案内対象物のうち、一番手前にある案内対象物を基準として、他の案内対処物の重なり方向を設定する、
ことを特徴とする構成１又は構成２に記載の情報提供装置。
（４）構成４
車両の運転者の視界に対応する画像を取得する画像取得機能と、
前記取得した画像に写っている案内対象物を認識する認識機能と、
前記運転者の視線を検出する視線検出機能と、
前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定機能と、
前記特定した案内対象物が複数あり、当該複数ある案内対象物の一部が前記取得した画像で重なっている場合に、いずれか１の案内対象物を基準として、他の案内対象物の重なり方向を設定する重なり方向設定機能と、
前記運転者の眼の位置の移動方向を検出する移動検出機能と、
前記設定した重なり方向と、前記検出した目の位置の移動方向とに基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択機能と、
をコンピュータで実現することを特徴とする情報提供プログラム。
（１）構成１
車両の運転者の視界に対応する画像を取得する画像取得手段と、
前記取得した画像に写っている案内対象物を認識する認識手段と、
前記運転者の視線を検出する視線検出手段と、
前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定手段と、
前記特定した案内対象物が複数あり、当該複数ある案内対象物の一部が前記取得した画像で重なっている場合に、いずれか１の案内対象物を基準として、他の案内対象物の重なり方向を設定する重なり方向設定手段と、
前記運転者の眼の位置の移動方向を検出する移動検出手段と、
前記設定した重なり方向と、前記検出した目の位置の移動方向とに基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択手段と、
を具備したことを特徴とする情報提供装置。
（２）構成２
前記移動検出手段は、前記眼の移動量を更に検出し、
前記車両の振動と、案内対象物までの距離と、の少なくとも一方を用いて前記移動量に閾値を動的に設定する閾値設定手段を具備し、
前記選択手段は、前記検出した眼の移動量が所定の閾値を超えた場合に、前記設定した重なり方向と、前記検出した移動方向と、に基づいて前記案内対象物を選択することを特徴とする構成１に記載の情報提供装置。
（３）構成３
前記重なり方向設定手段は、前記重なっている複数の案内対象物のうち、一番手前にある案内対象物を基準として、他の案内対処物の重なり方向を設定する、
ことを特徴とする構成１又は構成２に記載の情報提供装置。
（４）構成４
車両の運転者の視界に対応する画像を取得する画像取得機能と、
前記取得した画像に写っている案内対象物を認識する認識機能と、
前記運転者の視線を検出する視線検出機能と、
前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定機能と、
前記特定した案内対象物が複数あり、当該複数ある案内対象物の一部が前記取得した画像で重なっている場合に、いずれか１の案内対象物を基準として、他の案内対象物の重なり方向を設定する重なり方向設定機能と、
前記運転者の眼の位置の移動方向を検出する移動検出機能と、
前記設定した重なり方向と、前記検出した目の位置の移動方向とに基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択機能と、
をコンピュータで実現することを特徴とする情報提供プログラム。
更に次の用に実施形態を構成することも可能である。
（１１）構成１１
車両の運転者の視界に対応する画像を取得する画像取得手段と、
前記取得した画像に写っている案内対象物を認識する認識手段と、
前記運転者の視線を検出する視線検出手段と、
前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定手段と、
前記特定した案内対象物が複数ある場合に、当該複数ある案内対象物に、前記運転者の視線が滞在した時間を前記案内対象物毎に計測する計測手段と、
前記計測した前記案内対象物毎の時間に基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択手段と、
前記選択した案内対象物に対する情報を前記運転者に提供する情報提供手段と、
を具備したことを特徴とする情報提供装置。
（１２）構成１２
前記特定した案内対象物が複数ある場合に、前記運転者の視線を誘導する誘導手段と、
を更に備えたことを特徴とする構成１１に記載の情報提供装置。
（１３）構成１３
前記選択手段は、前記誘導手段による前記運転者の視線誘導の間に、所定時間以上視線が滞在した案内対象物を選択する、
ことを特徴とする構成１２に記載の情報提供装置。
（１４）構成１４
車両の運転者の視界に対応する画像を取得する画像取得機能と、
前記取得した画像に写っている案内対象物を認識する認識機能と、
前記運転者の視線を検出する視線検出機能と、
前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定機能と、
前記特定した案内対象物が複数ある場合に、当該複数ある案内対象物に、前記運転者の視線が滞在した時間を前記案内対象物毎に計測する計測機能と、
前記計測した前記案内対象物毎の時間に基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択機能と、
前記選択した案内対象物に対する情報を前記運転者に提供する情報提供機能と、
をコンピュータで実現することを特徴とする情報提供プログラム。
（１１）構成１１
車両の運転者の視界に対応する画像を取得する画像取得手段と、
前記取得した画像に写っている案内対象物を認識する認識手段と、
前記運転者の視線を検出する視線検出手段と、
前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定手段と、
前記特定した案内対象物が複数ある場合に、当該複数ある案内対象物に、前記運転者の視線が滞在した時間を前記案内対象物毎に計測する計測手段と、
前記計測した前記案内対象物毎の時間に基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択手段と、
前記選択した案内対象物に対する情報を前記運転者に提供する情報提供手段と、
を具備したことを特徴とする情報提供装置。
（１２）構成１２
前記特定した案内対象物が複数ある場合に、前記運転者の視線を誘導する誘導手段と、
を更に備えたことを特徴とする構成１１に記載の情報提供装置。
（１３）構成１３
前記選択手段は、前記誘導手段による前記運転者の視線誘導の間に、所定時間以上視線が滞在した案内対象物を選択する、
ことを特徴とする構成１２に記載の情報提供装置。
（１４）構成１４
車両の運転者の視界に対応する画像を取得する画像取得機能と、
前記取得した画像に写っている案内対象物を認識する認識機能と、
前記運転者の視線を検出する視線検出機能と、
前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定機能と、
前記特定した案内対象物が複数ある場合に、当該複数ある案内対象物に、前記運転者の視線が滞在した時間を前記案内対象物毎に計測する計測機能と、
前記計測した前記案内対象物毎の時間に基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択機能と、
前記選択した案内対象物に対する情報を前記運転者に提供する情報提供機能と、
をコンピュータで実現することを特徴とする情報提供プログラム。
１ ナビゲーション装置
２ 運転者
１０ 現在位置検出装置
１２ 方位センサ
１３ 距離センサ
１４ ＧＰＳ受信装置
１５ 地磁気センサ
２０ 情報処理装置
２８ クロック
３０ 撮影装置
３１ フロントカメラ
３２ 視線カメラ
４０ 入出力装置
４１ 入力装置
４２ ディスプレイ
４４ スピーカ
４５ ＨＵＤ
４６ マイクロフォン
５０ 記憶装置
５１ ナビゲーションプログラム
５２ 地図ＤＢ
５４ 案内情報ＤＢ
５５ 交通情報ＤＢ
５６ 画像認識用ＤＢ
６０ 画像認識機能部
６１ 撮影部
６２ 画像処理認識部
６３ 視線認識機能部
６４ 視線管理部
６５ 視線情報サービス部
６６ 音声認識機能部
６７ 音声認識部
６８ ナビゲーション機能部
６９ 案内処理部
７１ 各センサ
７３ 音声制御部
８１ 視野画像
８２ 焦点
８３ 誤差円
９１〜９４ 反応領域
１０１、１０３ 焦点
１０７〜１０９ 注視時間
２ 運転者
１０ 現在位置検出装置
１２ 方位センサ
１３ 距離センサ
１４ ＧＰＳ受信装置
１５ 地磁気センサ
２０ 情報処理装置
２８ クロック
３０ 撮影装置
３１ フロントカメラ
３２ 視線カメラ
４０ 入出力装置
４１ 入力装置
４２ ディスプレイ
４４ スピーカ
４５ ＨＵＤ
４６ マイクロフォン
５０ 記憶装置
５１ ナビゲーションプログラム
５２ 地図ＤＢ
５４ 案内情報ＤＢ
５５ 交通情報ＤＢ
５６ 画像認識用ＤＢ
６０ 画像認識機能部
６１ 撮影部
６２ 画像処理認識部
６３ 視線認識機能部
６４ 視線管理部
６５ 視線情報サービス部
６６ 音声認識機能部
６７ 音声認識部
６８ ナビゲーション機能部
６９ 案内処理部
７１ 各センサ
７３ 音声制御部
８１ 視野画像
８２ 焦点
８３ 誤差円
９１〜９４ 反応領域
１０１、１０３ 焦点
１０７〜１０９ 注視時間
Claims (8)
- 車両の運転者の視界に対応する画像を取得する画像取得手段と、
前記取得した画像に写っている案内対象物を認識する認識手段と、
前記運転者の視線を検出する視線検出手段と、
前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定手段と、
前記特定した案内対象物が複数ある場合に、前記運転者の視線を誘導する誘導手段と、
前記誘導手段による視線の誘導による前記運転者の視線の変化を取得する視線変化取得手段と、
前記誘導手段の視線誘導による運転者の視線の変化に基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択手段と、
前記選択した案内対象物に対する情報を前記運転者に提供する情報提供手段と、
を具備したことを特徴とする情報提供装置。 - 前記視線誘導手段は、前記複数ある案内対象物を囲む領域を、前記運転者の視界において、前記案内対象物ごとに表示し、当該表示した領域を変化させる、ことで前記運転者の視線を誘導する、
ことを特徴とする請求項１に記載の情報提供装置。 - 前記視線誘導手段は、前記表示した領域を離反する方向に移動する、ことで運転者の視線を誘導する、
ことを特徴とする請求項２に記載の情報提供装置。 - 前記視線誘導手段は、誘導開始前の位置から移動後の位置まで前記領域を連続的に移動する、
ことを特徴とする請求項３に記載の情報提供装置。 - 前記視線誘導手段は、当該複数ある案内対象物のうちの１つを仮選択し、前記仮選択した案内対象物を囲む領域を、前記運転者の視界において表示すると共に、前記表示した領域を縮小させる、ことで前記運転者の視線を誘導する、
ことを特徴とする請求項１に記載の情報提供装置。 - 前記視線誘導手段は、仮選択する案内対象物を順次変更する、
ことを特徴とする請求項５に記載の情報提供装置。 - 前記誘導手段による運転者の視線誘導の間に、前記複数ある案内対象物の各々に対して、前記運転者の視線が滞在した時間を計測する計測手段を具備し、
前記選択手段は、所定時間以上視線が滞在した案内対象物を選択する、
ことを特徴とする請求項２から請求項６のうちのいずれか１の請求項に記載の情報提供装置。 - 車両の運転者の視界に対応する画像を取得する画像取得機能と、
前記取得した画像に写っている案内対象物を認識する認識機能と、
前記運転者の視線を検出する視線検出機能と、
前記取得した画像において、前記認識した案内対象物と前記検出した視線を対応させて、前記検出した視線の方向にある案内対象物を特定する特定機能と、
前記特定した案内対象物が複数ある場合に、前記運転者の視線を誘導する誘導機能と、
前記誘導機能による視線の誘導による前記運転者の視線の変化を取得する視線変化取得機能と、
前記誘導機能の視線誘導による運転者の視線の変化に基づいて、前記特定した複数の案内対象物のうちの何れか１つを選択する選択機能と、
前記選択した案内対象物に対する情報を前記運転者に提供する情報提供機能と、
をコンピュータで実現することを特徴とする情報提供プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013048978A JP2014174880A (ja) | 2013-03-12 | 2013-03-12 | 情報提供装置、及び情報提供プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013048978A JP2014174880A (ja) | 2013-03-12 | 2013-03-12 | 情報提供装置、及び情報提供プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014174880A true JP2014174880A (ja) | 2014-09-22 |
Family
ID=51696005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013048978A Abandoned JP2014174880A (ja) | 2013-03-12 | 2013-03-12 | 情報提供装置、及び情報提供プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014174880A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020039479A1 (ja) * | 2018-08-20 | 2020-02-27 | ガンホー・オンライン・エンターテイメント株式会社 | 端末装置、プログラム、方法、及びシステム |
| JP2020057441A (ja) * | 2020-01-14 | 2020-04-09 | パイオニア株式会社 | 操作装置、制御方法、プログラム及び記憶媒体 |
| US10761606B1 (en) | 2019-04-03 | 2020-09-01 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
-
2013
- 2013-03-12 JP JP2013048978A patent/JP2014174880A/ja not_active Abandoned
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020039479A1 (ja) * | 2018-08-20 | 2020-02-27 | ガンホー・オンライン・エンターテイメント株式会社 | 端末装置、プログラム、方法、及びシステム |
| US10754426B2 (en) | 2018-08-20 | 2020-08-25 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
| US10761606B1 (en) | 2019-04-03 | 2020-09-01 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
| JP2020057441A (ja) * | 2020-01-14 | 2020-04-09 | パイオニア株式会社 | 操作装置、制御方法、プログラム及び記憶媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2891953B1 (en) | Eye vergence detection on a display | |
| JP4366716B2 (ja) | 車両用情報表示装置 | |
| US20190251374A1 (en) | Travel assistance device and computer program | |
| JP2014181927A (ja) | 情報提供装置、及び情報提供プログラム | |
| JP6176541B2 (ja) | 情報表示装置、情報表示方法及びプログラム | |
| US20160054795A1 (en) | Information display device | |
| US11900672B2 (en) | Integrated internal and external camera system in vehicles | |
| JP2012220489A (ja) | 道案内情報のウィンドシールド表示装置及びその方法 | |
| JP2009020089A (ja) | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム | |
| JP2014120111A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
| KR20190083727A (ko) | 안내 로봇 및 그의 동작 방법 | |
| US20200341284A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| JP7151073B2 (ja) | 表示装置及びコンピュータプログラム | |
| JP2016091192A (ja) | 虚像表示装置、制御方法、プログラム、及び記憶媒体 | |
| KR102222102B1 (ko) | 증강 현실 내비게이션 시스템 및 증강 현실 내비게이션 시스템의 경로 안내 방법 | |
| JP2014120114A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
| JP2016074410A (ja) | ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法 | |
| JP6136238B2 (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
| JP2014174880A (ja) | 情報提供装置、及び情報提供プログラム | |
| JP2014120113A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
| JP2014174091A (ja) | 情報提供装置、及び情報提供プログラム | |
| JP2014174879A (ja) | 情報提供装置、及び情報提供プログラム | |
| JP2011174723A (ja) | 案内誘導装置及び案内誘導方法 | |
| JP2019010919A (ja) | 走行支援装置及びコンピュータプログラム | |
| JP2007218655A (ja) | ナビゲーション装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150320 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20150908 |