JP2015049039A - ナビゲーション装置、及びナビゲーションプログラム - Google Patents

Abstract

【課題】先行する移動体に追従している感覚を失わせることなくユーザを目的地まで誘導する。
【解決手段】ナビゲーション装置が、表示装置に表示する仮想オブジェクトを記憶する仮想オブジェクト記憶部と、軌跡情報を記憶する軌跡情報記憶部とを備え、現在位置情報を特定し、軌跡情報に基づいてユーザの移動経路を決定し、ユーザの周囲の状況を撮影する撮影装置が撮影した動画像を取得し、撮影装置の撮影方位を含む撮影装置状態を特定し、現在位置情報と撮影装置状態とを参照して、動画像における移動経路を示す動画像中移動経路を特定し、特定した動画像中移動経路を参照して、動画像における仮想オブジェクトの表示位置および表示形態を含む仮想オブジェクト表示態様を特定し、特定した仮想オブジェクト表示態様にて仮想オブジェクトを動画像に重畳して表示装置に表示する。
【選択図】図１０

Description

本発明は、オブジェクトを表示してユーザを目的地まで誘導するナビゲーション装置、およびナビゲーション装置に動作制御させるためのナビゲーションプログラムに関する。

従来から、車両や人間などの移動体の目的地への移動を支援する装置として、ナビゲーション装置が知られている。

ところで、複数の移動体（例えば、車両）が同じ目的地に向けて移動する場合がある。目的地までの移動経路を知っている移動体を先行させて、先行する移動体に他の移動体が追従することにより、目的地までの移動経路を知らない移動体に所定の目的地まで移動を行う場合がある。このような移動をおこなう場合に、先行している移動体との間に別の移動体が入ることにより、後続する移動体が、先行している移動体を見失ってしまう場合があるという課題があった。

そこで、追従している車両を見失った場合であっても、先行する車両に追従可能とする技術が開示されている（特許文献１参照）。具体的には、他の移動体より送信される軌跡情報を受信し、受信した軌跡情報に基づき移動経路を設定し経路案内する技術が開示されている。

特開２０１０−２２３６９５号公報

しかしながら、上述した特許文献１に開示されている技術においては、先行する移動体を見失った際には軌跡が表示されるのみであるため、ユーザは先行する移動体に追従する感覚を失ってしまうという課題があった。

本発明は、上述した課題を解決すべく、先行する移動体に追従している感覚を失わせることなく目的地までの移動を支援することを目的とする。

本発明のナビゲーション装置は、表示装置に仮想オブジェクトを表示してユーザを目的地まで誘導するナビゲーション装置であって、前記表示装置に表示する仮想オブジェクトを記憶する仮想オブジェクト記憶手段と、軌跡情報を記憶する軌跡情報記憶手段と、現在位置情報を特定する現在位置情報特定手段と、前記軌跡情報に基づいて前記ユーザの移動経路を決定する移動経路決定手段と、前記ユーザの周囲の状況を撮影する撮影装置が撮影した動画像を取得する動画像取得手段と、前記撮影装置の撮影方位を含む撮影装置状態を特定する撮影装置状態特定手段と、前記現在位置情報と前記撮影装置状態とを参照して、前記動画像における前記移動経路を示す動画像中移動経路を特定する動画像中移動経路特定手段と、該動画像中移動経路特定手段により特定された前記動画像中移動経路を参照して、前記動画像における前記仮想オブジェクトの表示位置および表示形態を含む仮想オブジェクト表示態様を特定する仮想オブジェクト表示態様特定手段と、該仮想オブジェクト表示態様特定手段により特定された前記仮想オブジェクト表示態様によって前記仮想オブジェクトを前記動画像に重畳して前記表示装置に表示する表示手段とを含むことを特徴とする。

上記の構成としたことで、先行する移動体に追従している感覚を失わせることなく目的地までの移動を支援することができるようになる。

前記動画像に含まれる前記ユーザの周囲の物体を示す現実オブジェクトの３次元空間における位置を検出する３次元位置検出手段を含み、前記表示態様特定手段は、前記３次元位置検出手段により検出された前記現実オブジェクトの３次元空間における位置を参照して、前記３次元空間内において前記仮想オブジェクトと前記現実オブジェクトとが重ならない位置を前記仮想オブジェクトの表示位置として特定する構成とされていてもよい。

前記ユーザが追従する追従車両が備える端末から通信ネットワークを介して当該追従車両の移動軌跡に関する軌跡情報を所定の間隔で取得する軌跡情報取得手段と、該軌跡情報取得手段により取得された前記軌跡情報を用いて前記移動経路決定手段により特定された前記移動経路を更新する移動経路更新手段とを含む構成とされていてもよい。

前記移動経路設定手段により設定された前記移動経路の残りの距離を特定する残距離特定手段と、該残距離特定手段により特定された前記移動経路の残り距離が所定距離となったか否かを判定する残距離判定手段とを含み、前記軌跡情報取得手段は、残距離判定手段により前記移動経路の残り距離が所定距離となったと判定されたときに前記軌跡情報を取得する構成とされていてもよい。

また、本発明のナビゲーションプログラムは、表示装置に仮想オブジェクトを表示してユーザを目的地まで誘導するナビゲーション装置に動作制御させるためのナビゲーションプログラムであって、前記表示装置に表示する仮想オブジェクトを記憶する仮想オブジェクト記憶手段と、軌跡情報を記憶する軌跡情報記憶手段とを備える前記ナビゲーション装置に、現在位置情報を特定する現在位置情報特定処理と、前記軌跡情報に基づいて前記ユーザの移動経路を決定する移動経路決定処理と、前記ユーザの周囲の状況を撮影する撮影装置が撮影した動画像を取得する動画像取得処理と、前記撮影装置の撮影方位を含む撮影装置状態を特定する撮影装置状態特定処理と、前記現在位置情報と前記撮影装置状態とを参照して、前記動画像における前記移動経路を示す動画像中移動経路を特定する動画像中移動経路特定処理と、該動画像中移動経路特定処理にて特定した前記動画像中移動経路を参照して、前記動画像における前記仮想オブジェクトの表示位置および表示形態を含む仮想オブジェクト表示態様を特定する仮想オブジェクト表示態様特定処理と、該仮想オブジェクト表示態様特定処理にて特定した前記仮想オブジェクト表示態様によって前記仮想オブジェクトを前記動画像に重畳して前記表示装置に表示する表示処理とを実行させるためのものである。

本発明によれば、先行する移動体に追従している感覚を失わせることなく目的地までの移動を支援することができるようになる。

ナビゲーション装置の構成の例を示すブロック図である。 制御部と記憶部の構成の例を説明するためのブロック図である。 軌跡情報記憶部２１に格納される軌跡情報の格納例を示す説明図である。 仮想オブジェクト情報記憶部２２に格納される仮想オブジェクト情報の格納例を示す説明図である。 ナビゲーション装置の動作概要の例を示す概念図である。 ナビゲーション装置の動作概要の例を示す概念図である。 ナビゲーション装置の動作概要の例を示す概念図である。 第１の実施の形態に係る設定処理の例を示すフローチャートである。 第１の実施の形態に係る追従ナビゲーション処理の例を示すフローチャートである。 第１の実施の形態に係る仮想オブジェクト表示処理の例を示すフローチャートである。 第２の実施の形態に係る設定処理の例を示すフローチャートである。 第２の実施の形態に係る追従ナビゲーション処理の例を示すフローチャートである。

［第１の実施の形態］
以下、本発明の第１の実施の形態について図面を参照して説明する。

図１は、本発明の第１の実施の形態に係るナビゲーション装置１００の構成の例を示すブロック図である。ナビゲーション装置１００は、例えば、モバイルタイプのパーソナルコンピュータ、ＰＮＤ（Portable Navigation Device）や専用デバイスなどの情報処理装置によって構成されるものである。本例におけるナビゲーション装置１００は、車両に取り付けられる。

図１に示すように、ナビゲーション装置１００は、制御部１０と、記憶部２０と、メモリ３０と、出力部４０と、センサ部５０と、通信部６０と、入力部７０と、撮影部８０とを含む。

制御部１０は、例えばＣＰＵにより構成され、記憶部２０に記憶されたコンピュータプログラム（ナビゲーション装置１００に動作制御させるためのコンピュータプログラム）に従い、ナビゲーション装置１００を構成する各要素を統括制御し、ユーザを目的地まで誘導するナビゲーション機能を含む各種の処理を実行するための各種の機能を有する。特にナビゲーション機能においては、先行する車両に対して追従していくような感覚を持たせながらナビゲーションを実行する追従ナビゲーション処理などを実行する。制御部１０の構成については、後で詳しく説明する（図２参照）。

記憶部２０は、ＲＯＭやＲＡＭなどで構成され、ナビゲーション装置１００が使用する各種コンピュータプログラムや、情報など、ナビゲーション装置として必要または有用な各種情報を記憶する記憶媒体である。記憶部２０により記憶される情報は、例えば、撮像動画像、センサデータおよび後に説明する仮想オブジェクト情報や軌跡情報などを含む。なお、本例におけるプログラム及びデータの一部は、記憶部２０により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得される構成としてもよい。

メモリ３０は、制御部１０が処理する各種情報を一時的に保持する記憶媒体であり、ＲＡＭなどの半導体記憶装置により構成される。

出力部４０は、各種情報、特に情報探索に関する各種情報をユーザが認識可能な形で出力する機能を備え、例えば動画像情報を表示する動画像表示装置（ディスプレイ装置、モニタ）と、音声情報を音声出力する音声出力装置（スピーカ装置）とを含む。後で詳しく説明するが、本例における出力部は、表示制御部１７により出力される表示動画像を表示する機能を備える。

センサ部５０は、現在位置を示す位置情報を検出するためのＧＰＳセンサと、撮影部８０の撮影方位を示す方位情報を検出するための方位センサとを含む。センサ部５０が取得したデータは、制御部１０に入力され、追従ナビゲーション処理などの各種処理を実行するために用いられる。

通信部６０は、インターネットなどの通信ネットワークに無線あるいは有線によって接続し、通信ネットワークに接続された管理サーバなどの外部の装置と情報の送受信を行うための機能を有する。

入力部７０は、仮想ボタンや物理ボタンなどの入力装置を備えており、入力装置に対するユーザからの各種指示（例えば仮想オブジェクト表示処理開始操作など）および音声などを受け付ける機能を有する。そして、入力部７０は、受け付けた各種指示を制御部１０に出力する機能を有する。

撮影部８０は、ユーザの周辺の実空間の映像を撮影する機能を有するステレオカメラである。撮影部８０は、車体に取り付けられており、その取り付け位置は、車両の前方の実空間を撮影可能な位置に取り付けられる。本例では、フロントガラス越しに前方の状況を映すように、車両のバックミラーの裏に撮影部８０が取り付けられている。このような取り付け位置とすることで、撮影方位が車両の進行方向と一致するため、容易に仮想オブジェクトの重畳位置を特定することができるようになる。なお、本例では、正確に路面を把握するためにステレオカメラを用いているが、路面を把握することが可能であれば、ステレオカメラ以外の撮影装置を用いてもよい。

図２は、本例における制御部１０と記憶部２０の構成の例を説明するためのブロック図である。図２に示すように、制御部１０は、通信処理部１１と、軌跡情報取得部１２と、設定処理部１３と、センサ情報処理部１４と、動画像中移動経路特定部１５と、表示態様特定部１６と、表示制御部１７とを含む。

通信処理部１１は、通信部６０により各種情報の送受信を行うための処理を実行する機能を有する。

軌跡情報取得部１２は、外部の端末より軌跡情報を取得する処理を実行し、取得した軌跡情報を軌跡情報記憶部２２に格納する機能を有する。本例における外部の端末は、ユーザが追従する追従車両に搭載される端末であって、ナビゲーション装置１００と通信接続可能な端末である。すなわち、本例における軌跡情報は、追従車両の端末により特定された追従車両の移動軌跡を示す情報となる。なお、軌跡情報取得部１２は、所定の軌跡情報を格納するデータベースを備えるサーバから軌跡情報を取得する構成としてもよい。

設定部１３は、ユーザからの設定入力操作に応じて、追従ナビゲーション処理を実行するための各種情報を設定するための処理を実行する機能を有する。具体的には、設定部１３が実行する処理は、ユーザの移動経路を設定するための移動経路設定処理と、表示装置に表示する仮想オブジェクトを設定するための仮想オブジェクト設定処理とを含む。設定した情報は、記憶部２０やメモリ３０などの記憶媒体に記憶される。

また、設定部１３は、移動経路の更新を実行するための所定のタイミングにて取得される軌跡情報に基づいて、移動経路を更新する。

センサ情報処理部１４は、センサ部５０が備える各種センサから入力されるセンサ情報を処理することにより追従ナビゲーション処理に用いる情報とする処理を実行する機能を有する。本例では、センサ情報処理部１４は、センサ部５０からの情報に基づいて、現在位置情報および撮影方位情報を特定する。

動画像中移動経路特定部１５は、撮影部８０により撮影される動画像を取得する処理や、
取得した動画像を解析する処理などを実行する機能を有する。また、動画像中移動経路特定部１５は、解析結果を表示態様特定部１６に出力する処理を実行する機能を有する。具体的には、動画像中移動経路特定部１５は、動画像から路面（つまり、道路面）に関する情報（例えば、路面の位置や路面の傾きなど）を特定し、特定した情報を表示態様特定部１６に出力する。本例において、動画像中移動経路特定部１５による解析処理では、例えば、動画像における高密度な視差分布を特定することにより動画像中の各種情報（例えば、路面についての情報）を特定する処理（ステレオ法）が実行される。なお、本例ではステレオ法による解析方法を採用することとしているが、他の３次元環境認識技術（例えば、ＳＬＡＭ法など）を用いて動画像における路面を特定することとしてもよい。

表示態様特定部１６は、動画像中移動経路特定部１５から出力された情報などを用いることにより、仮想オブジェクトの表示位置および表示姿勢を含む仮想オブジェクトの表示態様を特定し、特定した表示態様情報を表示制御部１７に出力する処理を実行する機能を有する。

表示制御部１７は、動画像とともに、仮想オブジェクトを表示装置に表示するための処理を実行する。具体的には、表示制御部１７は、動画像に対して表示態様特定部１６により特定された表示態様情報に応じた姿勢にて仮想オブジェクトを重畳した重畳動画像を生成し、生成した重畳動画像を出力部４０に出力する処理を実行する。

記憶部２０は、図２に示すように、軌跡情報記憶部２１と、仮想オブジェクト情報記憶部２２とを含む。

軌跡情報記憶部２１は、軌跡情報取得部１２により取得された軌跡情報を記憶する記憶媒体である。図３は、軌跡情報記憶部２１に格納される軌跡情報の格納例を示す説明図である。図３に示すように、軌跡情報は、「軌跡ＩＤ」と、緯度および経度で示される座標情報の集合である「座標群」とを含む。

仮想オブジェクト記憶部２２は、動画像に重畳して表示する仮想オブジェクトに関する仮想オブジェクト情報を記憶する記憶媒体である。図４は、仮想オブジェクト情報記憶部２２に格納される仮想オブジェクト情報の格納例を示す説明図である。図４にて示すように、仮想オブジェクト情報は、「オブジェクトＩＤ」と、「オブジェクト名」と、「ＣＧデータ」とを含む。

ここで、「ＣＧデータ」は、３次元の車両のＣＧデータであり、車両の表示態様の変化を含む。すなわち、本例のＣＧデータは、ウィンカーを出している車両の状態や、ブレーキランプを点灯させている車両の状態をも表示可能に構成される。

次に、本例におけるナビゲーション装置１００の動作概要について図５から図７を用いて説明する。

図５から図７は、本例におけるナビゲーション装置１００の動作概要を示す概念図である。特に、図５（Ａ）、図６（Ａ）、および図７（Ａ）は、運転者（ユーザ）の車両と、運転者が追従する追従車両との関係を示す説明図である。なお、図５（Ａ）、図６（Ａ）、および図７（Ａ）の図中の矢印は、ユーザが追従する車両の進行方向を示す矢印である。また、図５（Ｂ）、図６（Ｂ）、および図７（Ｂ）は、運転者の視点から見た景色を示す概念図である。

なお、ここで登場する車両は、ユーザの車両を車両Ｘとし、追従車両を車両Ｙとし、車両Ｘと車両Ｙとの間に入ってくる車両を車両Ｚとする。そして、本例の追従ナビゲーション処理が実行されることによって、表示装置４００に表示される映像がどのような映像となるかを説明する。

先ず、図５（Ａ）および図５（Ｂ）に示すように、車両Ｘと車両Ｙとの関係は、車両Ｘと車両Ｙとが３０ｍほど離れており、車両Ｘと車両Ｙとの間には遮蔽するものが存在しない状況である。すなわち、この状況は、ユーザが車両Ｙを視界にとらえることが可能な状況である。このような場合において表示画面４００には、車両Ｙと仮想オブジェクト４０１とが並んで表示される。

次に、車両Ｘと車両Ｙとの間に車両Ｚが入ってきたときについて説明する。図６（Ａ）および図６（Ｂ）に示す状況は、車両Ｘと車両Ｙとが５０ｍほど離れてしまい、さらに車両Ｘと車両Ｙとの間に車両Ｚが入っている状況である。すなわち、この状況は、車両Ｚが車両Ｘと車両Ｙと間を遮ることによって、ユーザが車両Ｙを視界にとらえられなくなった状況である。このような場合において、図６（Ｂ）に示すように、表示画面４００には、撮影部が撮影した映像に重ねて仮想オブジェクト４０１が表示される。すなわち、車両Ｚによって視界に入らない車両Ｙの代わりに、仮想オブジェクト４０１が表示される。したがって、ユーザは追従する感覚を失うことなく運転を継続することができる。

次に、車両Ｙがどのような進路を通って進行しているのかが、把握できなくなった状況について説明する。図７（Ａ）は、ユーザが車両Ｙの位置を識別することができない状況のときに、車両Ｙが左折してしまった状況を示す概念図である。すなわち、ユーザは、車両Ｙに追従しようとしても、どのタイミングで車両Ｙが左折したかを把握できなかったため、このまま、左折のタイミングを知ることなく進んでしまうと、ユーザは車両Ｙを完全に見失ってしまうこととなり、車両Ｙに追従することができなくなるどころか、目的地に到達することすらできなくなってしまう。

そこで、ナビゲーション装置は、追従する感覚を失わせることなくユーザを目的地に到達させるために、仮想オブジェクト４０１を用いる。図７（Ｂ）は、車両Ｙの左折しタイミングを把握できなかった場合であって、ユーザが車両Ｙの左折地点に近づいたときに表示画面に表示される表示内容を説明するための概念図である。図７（Ｂ）に示すように、ユーザが車両Ｙの左折地点近傍に位置すると、表示画面４００には、ユーザの現在位置に合わせて仮想オブジェクト４０１が左折していくように表示される。すなわち、ユーザは、追従するべき車両Ｙを見失った場合であっても、車両Ｙに追従している感覚を失うことなく、目的地までたどり着くことができる。

このようにして、本例のナビゲーション装置１００は、ユーザを目的地まで誘導する。

次に、本例におけるナビゲーション装置１００の動作について図を参照して説明する。なお、本発明に特に係わらない処理については、その詳細な説明を省略している場合がある。

図８は、ナビゲーション装置１００の制御部１０が実行する設定処理の例を示すフローチャートである。設定処理では、ユーザの操作入力に応じてユーザが移動する経路を設定する処理が実行される。

設定処理において、先ず、制御部１０は、ユーザが追従することを希望する追従車両を設定する（ステップＳ１０１）。本例では、制御部１０は、移動軌跡を送信可能な追従車両と通信接続し、追従車両から移動軌跡に関する情報を取得可能な状態とする。

追従車両を設定すると、制御部１０は、表示装置に重畳するための仮想オブジェクトを設定する（ステップＳ１０２）。本例では、制御部１０は、設定部１３によりユーザからの入力操作に応じて仮想オブジェクトの設定をおこなう。

仮想オブジェクトを設定すると、制御部１０は、追従車両から移動経路を示す軌跡情報を取得し、現在位置からの軌跡情報として軌跡情報記憶部２１に格納する（ステップＳ１０３）。

追従車両から取得した軌跡情報を軌跡情報記憶部２１に格納すると、制御部１０は、現在位置からの軌跡情報をナビゲーション装置によりユーザを誘導するための移動経路として設定する（ステップＳ１０４）。なお、軌跡情報は、現在位置から目的地までの軌跡情報としても良いし、移動途中の軌跡情報でも良い。

移動経路を設定すると、制御部１０は、設定処理を終了する。

次に、設定処理により各種設定が完了している状態において実行される追従ナビゲーション処理の例についてフローチャートを用いて説明する。

図９は、ナビゲーション装置１００の制御部１０が実行する追従ナビゲーション処理の例を示すフローチャートである。追従ナビゲーション処理では、仮想オブジェクトを表示装置に表示するための処理や、ステップＳ１０３以降に追従車両の移動した経路を示す軌跡情報を受信し軌跡情報記憶部２１を更新する処理などを実行する。

追従ナビゲーション処理において、先ず、制御部１０は、ユーザからの仮想オブジェクト表示処理を開始するための開始操作を受け付ける（ステップＳ２０１）。

ユーザからの開始操作を受け付けると、制御部１０は、仮想オブジェクト表示処理を開始する（ステップＳ３００）。

ここで、仮想オブジェクト表示処理の例についてフローチャートを用いて説明をする。図１０は、ナビゲーション装置１００の制御部１０が実行する仮想オブジェクト表示処理の例を示すフローチャートである。仮想オブジェクト表示処理では、仮想オブジェクトの表示態様を決定し、決定した表示態様にて仮想オブジェクトを表示装置に重畳表示する処理を実行する。

仮想オブジェクト表示処理では、先ず、制御部１０は、動画像中移動経路特定部１５により、撮影部８０が撮影する動画像を取得する（ステップＳ３０１）。本例では、撮影部８０がフロントガラス越しに進行方向の景色を映すようにバックミラーの裏側に取り付けられているため、制御部１０は車両の進行方向の景色を映す動画像を取得することとなる。

動画像を取得すると、制御部１０は、センサ情報処理部１４により、センサ部５０が取得した各種センサ情報を取得し、各種情報を特定する（ステップＳ３０２）。具体的には、制御部１０は、ＧＰＳ情報に基づいて現在位置を特定し、方位情報に基づいて撮影装置の撮影方位を特定する。現在位置および撮影方位を特定することにより、どの位置からどの方向に向けて撮影を行っているのかを把握することができる。

現在位置および撮影方位を取得すると、制御部１０は、動画像中移動経路特定部１５により、取得した動画像中に含まれる路面を特定する（ステップＳ３０３）。本例では、制御部１０は、動画像における高密度な視差分布を特定して路面を特定する。

動画像における路面を特定すると、制御部１０は、動画像中に移動経路に対応する路面を示す移動経路対応路面が存在するか否かを判定する（ステップＳ３０４）。すなわち、制御部１０は、ステップＳ３０３で特定した路面が、ユーザを誘導するための路面であり、かつ目的地に向かう方向（つまり、目的地に向かうために進行すべき方向）に位置する路面であるか否かを特定する。本例では、制御部１０は、特定した現在位置および撮影方位と、設定した移動経路とに基づいて、動画像中の路面が存在するおおよその位置を把握することにより、ユーザを誘導するための路面であり、かつ目的地に向かう方向に位置する路面であるか否かを特定する。

動画像中に移動経路対応路面が存在しないと判定したとき（ステップＳ３０４のＮ）には、制御部１０は、仮想オブジェクト表示処理を終了し、追従ナビゲーション処理に移行する。すなわち、制御部１０は、ユーザを誘導するための路面であり、かつ目的地に向かう方向に位置する路面ではないと判定したときに、仮想オブジェクト表示処理を終了し、追従ナビゲーション処理に移行する。

一方で、動画像中に移動経路対応路面が存在すると判定したとき（ステップＳ３０４のＹ）には、制御部１０は、表示態様特定部１６により、移動経路対応路面における仮想オブジェクトの表示位置を特定する（ステップＳ３０５）。本例では、制御部１０は、車両から進行方向に向かって所定の距離離れた位置であって、かつ移動経路対応路面上の位置を仮想オブジェクトの表示位置として特定する。例えば、制御部１０は、進行方向に対して５０ｍ先行する位置をオブジェクトの表示位置として決定する。また、所定の距離は、制御部１０が車両またはナビゲーション装置に搭載される速度センサから車両の速度情報を取得することにより、車両の速度に応じた距離としてもよい。

仮想オブジェクトの表示位置を特定すると、制御部１０は、表示態様特定部１６により、移動経路対応路面の向きおよび傾きに応じた仮想オブジェクトの表示姿勢を特定する（ステップＳ３０６）。すなわち、制御部１０は、表示位置における路面の傾きおよび形状を解析し、解析結果に応じた表示姿勢を特定する。

仮想オブジェクトの表示位置および表示姿勢を特定すると、制御部１０は、表示制御部１７により、特定した表示位置および表示姿勢に基づいて、仮想オブジェクトを動画像に重畳して表示装置に表示する（ステップＳ３０７）。

なお、本例におけるナビゲーション装置１００は、仮想オブジェクトの表示位置および表示姿勢の特定のときに、動画像に含まれるユーザの周囲の物体を示す現実オブジェクトの３次元空間における位置を検出し、検出した現実オブジェクトの３次元空間における位置を参照して、３次元空間内において仮想オブジェクトと現実オブジェクトとが重ならない位置および姿勢を仮想オブジェクトの表示態様として特定する構成とされていてもよい。

なお、本例におけるナビゲーション装置１００は、ユーザの進行状況の如何にかかわらず、現在位置と移動経路対応路面とに基づいて表示位置および表示姿勢を特定する構成としているが、ユーザの進行状況を加味して、表示位置や表示姿勢をより詳細な位置に決定する構成としてもよい。具体的には、ナビゲーション装置１００は、ユーザの進行状況と、詳細な表示態様とが対応付けされた表示関連情報記憶部を備え、ユーザの進行状況を特定し、特定したユーザの進行状況に対応する詳細な表示態様を特定し、特定した詳細な表示態様と現在位置と移動経路対応路面とに基づいて、仮想オブジェクトの表示位置および表示姿勢を特定する構成とすることができる。このような構成によれば、より現実世界に近い情報を表示することができるようになるため、ユーザは、先行する移動体に追従する感覚を維持したまま目的地までの移動を行うことができるようになる。

制御部１０は、動画像に重畳して表示装置に仮想オブジェクトを表示すると、仮想オブジェクト表示処理を終了して追従ナビゲーション処理に移行する。

仮想オブジェクト表示処理を終了すると、制御部１０は、移動経路更新タイミングであるか否かを判定する（ステップＳ２０２）。すなわち、制御部１０は、追従車両から移動経路を受信して、受信した移動経路を用いて移動経路を更新するか否かを判定する。例えば、制御部１０は、ナビゲーション装置１００に備えられた内部タイマを用いて所定時間が経過したか否かを判定し、所定時間が経過したと判定したときに更新タイミングであると判定するように構成される。また例えば、ナビゲーション装置１００は、移動経路の残りの距離を特定し、移動経路として設定されている軌跡情報の残りの距離が所定距離となっているか否かを判定し、移動経路の残り距離が所定距離となっていると判定したときに移動経路の更新タイミングであると判定する構成としてもよい。

更新タイミングではないと判定したとき（ステップＳ２０２のＮ）には、制御部１０は、追従ナビゲーション処理を終了するか否かを判定する（ステップＳ２０５）。

一方で、移動経路更新タイミングであると判定したとき（ステップＳ２０２のＹ）には、制御部１０は、追従車両が搭載する端末から軌跡情報を取得する（ステップＳ２０３）。なお、取得した軌跡情報は、最新の軌跡情報として軌跡情報記憶部２１に格納される。

移動経路を更新するための軌跡情報を取得すると、制御部１０は、取得した軌跡情報を用いて移動経路を更新する（ステップＳ２０４）。なお、このとき、制御部１０は、軌跡情報における既に取得している軌跡部分以外の部分（つまり新たに増えた軌跡部分）のみを設定している移動経路に追加するように構成されていてもよい。

移動経路を更新すると、制御部１０は、追従ナビゲーション処理を終了するか否かを判定する（ステップＳ２０５）。具体的には、制御部１０は、ユーザからの追従ナビゲーション処理終了のための操作を受け付けているか否かを判定する。また、制御部１０が、ユーザを目的地まで誘導したか否かを判定することとしてもよい。

追従ナビゲーション処理を終了しないと判定したとき（ステップＳ２０５のＮ）には、制御部１０は、ステップＳ３００に移行し、再度仮想オブジェクト表示処理を実行する。

一方で、追従ナビゲーション処理を終了すると判定したとき（ステップＳ２０５のＹ）には、制御部１０は、追従ナビゲーション処理を終了する。

以上のように、上述した第１の実施の形態におけるナビゲーション装置１００は、表示装置に仮想オブジェクトを表示してユーザを目的地まで誘導するナビゲーション装置であって、表示装置に表示する仮想オブジェクトを記憶する仮想オブジェクト記憶部と、軌跡情報を記憶する軌跡情報記憶部とを備え、現在位置情報を特定し、軌跡情報に基づいてユーザの移動経路を決定し、ユーザの周囲の状況を撮影する撮影装置が撮影した動画像を取得し、撮影装置の撮影方位を含む撮影装置状態を特定し、現在位置情報と撮影装置状態とを参照して、動画像における移動経路を示す動画像中移動経路を特定し、特定した動画像中移動経路を参照して、動画像における仮想オブジェクトの表示位置および表示形態を含む仮想オブジェクト表示態様を特定し、特定した仮想オブジェクト表示態様にて仮想オブジェクトを動画像に重畳して表示装置に表示する構成としている。このような構成によれば、予め先行車両を指定しておくことにより、車載端末により撮影される動画像に対して、先行車両の移動軌跡上に案内役としての仮想オブジェクトを重畳表示することができるようになる。したがって、ユーザを目的地までナビゲーションするときに、仮想オブジェクトが移動経路としての軌跡に沿って移動することとなるため、ユーザは先行する移動体に追従する感覚を維持したまま目的地までの移動を行うことができるようになる。

また、上述した実施の形態において、ナビゲーション装置１００は、動画像に含まれるユーザの周囲の物体を示す現実オブジェクトの３次元空間における位置を検出し、検出した現実オブジェクトの３次元空間における位置を参照して、３次元空間内において仮想オブジェクトと現実オブジェクトとが重ならない位置および姿勢を仮想オブジェクトの表示態様として特定する構成とされていてもよい。このような構成によれば、ユーザは、違和感のない映像に基づいて先行する車両に追従することができるようになるため、追従する感覚を失わせることなくユーザを目的地までの誘導することができるナビゲーション装置を提供することができるようになる。

また、上述した実施の形態において、ナビゲーション装置１００は、ユーザが追従する追従車両が備える端末から通信ネットワークを介して当該追従車両の移動軌跡に関する軌跡情報を所定の間隔で取得し、取得した前記軌跡情報を用いて特定した移動経路を更新する構成とされていてもよい。このような構成によれば、先行する移動体が最終的な目的地まで到達していない場合であっても、ユーザに対して先行車両に追従している感覚を与えることができるようになる。すなわち、ナビゲーション装置の適用範囲が広がることにより、より有用なナビゲーション装置となるとともに、本ナビゲーション装置の利用頻度を向上させることができるようになる。

また、上述した実施の形態において、ナビゲーション装置１００は、設定した移動経路の残りの距離を特定した移動経路の残り距離が所定距離となったか否かを判定し、移動経路の残り距離が所定距離となったと判定されたときに軌跡情報を取得する構成とされていてもよい。このような構成によれば、本ナビゲーション処理に必要な処理量が軽減されるため、ナビゲーション装置１００の処理負荷を軽減することができるようになる。

なお、上述した実施の形態において、ナビゲーション装置１００は、追従車両から定期的に移動軌跡を取得し、取得した移動軌跡に基づいて移動経路を特定する構成としているが、予め移動開始地点から移動終了地点までの軌跡が形成されている軌跡情報に基づくことにより移動先となる経路を特定する構成とすることもできる。すなわち、ナビゲーション装置は、軌跡情報記憶部に格納される軌跡情報のうち現在位置を含む軌跡情報をユーザが選択可能に表示装置に表示し、表示した軌跡情報についてのユーザからの選択操作を受け付け、受け付けた軌跡情報を移動経路として設定する構成とされていてもよい。

また、上述した実施の形態では特に言及していないが、ナビゲーション装置１００は、動画像中に追従車両が存在するか否かを判定し、追従車両が存在すると判定したときには仮想オブジェクトを表示しない構成とされていてもよい。具体的には、ナビゲーション装置１００は、追従車両として設定可能な車両の特徴（例えば、車両ナンバーや、車体の特徴）を示す特徴情報を記憶する特徴情報記憶部を備え、動画像を解析する解析処理により動画像中に存在する車両の特徴情報を特定し、特定した特徴情報が設定した追従車両の特徴情報と一致するか否かを判定し、一致するときに、仮想オブジェクトを表示しない構成とすることができる。このような構成によれば、表示装置における表示をより見やすくすることができるため、ユーザの利便性が格段に向上することとなる。

［第２の実施の形態］
第１の実施の形態では、車両に固定された撮影装置から得られる情報を用いたナビゲーション装置について説明をしたが、本発明の実施の形態はこれに限定されない。例えば、本発明は、撮影装置と表示端末とが一体となっている端末（例えば、携帯電話やスマートフォンなど）を用いることにより実施することもできる。なお、以下に述べる第２の実施の形態に関する説明では、上述した第１の実施の形態の例と異なる部分を中心に説明する。したがって、第１の実施の形態と同様の構成部分は同じ符号を付してその説明は省略し、特に説明しない限り同じであるものとする。

第２の実施の形態では、ユーザによりユーザ自身の前方が撮影され、撮影された動画像が表示装置に表示されるときに、仮想オブジェクトが重畳して表示される。すなわち、本例におけるナビゲーション装置２００は、ユーザ自身の撮影操作により表示される動画像に対して、案内役としての仮想オブジェクトを重畳表示することにより、ユーザを目的地まで誘導する。

第２の実施の形態に係る制御部１１０は、軌跡情報取得部１１２を含む。軌跡情報取得部１１２は、予め移動開始地点から移動終了地点までの軌跡が形成されている軌跡情報を格納するデータベースを備える管理サーバから軌跡情報を取得する。管理サーバは、例えば本システムの管理者などにより管理される。なお、本システムが所定の施設内で利用される場合にあっては、管理サーバは、当該施設の管理者により管理されていてもよい。

第２の実施の形態に係る仮想オブジェクト情報における「ＣＧデータ」は、キャラクタオブジェクトのＣＧデータであり、キャラクタオブジェクト固有の詳細な動作情報を含む。キャラクタオブジェクト固有の詳細な動作情報とは、キャラクタオブジェクトがどのように動作するのかを示す情報であり、例えば、方向動作や、おじぎ動作や、振り返り動作などの各種動作に関する情報を示す。

第２の実施の形態に係るセンサ部１５０は、センサ部１５０は、現在位置を示す位置情報を検出するためのＧＰＳセンサと、撮影部８０の撮影方位を示す方位情報を検出するための方位センサと、端末自身の姿勢を示す姿勢情報を検出するためのジャイロセンサとを含む。端末自身の姿勢が検出されることにより、どの位置からどの方位に向けてどのような姿勢で撮影をしているかが把握できるため、より正確に取得した動画像における移動経路を特定することができるようになる。

次に、本例におけるナビゲーション装置２００の動作について図を参照して説明する。なお、本発明に特に係わらない処理については、その詳細な説明を省略している場合がある。

図１１は、第２の実施の形態に係る設定処理の例を示すフローチャートである。仮想オブジェクトの設定処理と、移動経路の設定処理が、第１の実施の形態と異なる。

設定処理においてまず、制御部１１０は、ユーザが追従することを希望するキャラクタオブジェクトを設定する（ステップＳ１１０１）。本例では、制御部１１０は、設定部１３によりユーザからの入力操作に応じて仮想オブジェクトの設定をおこなう。

追従対象となる仮想オブジェクトを設定すると、制御部１１０は、移動経路を設定する（ステップＳ１１０２）。具体的には、制御部１１０は、軌跡情報記憶部２２に格納する軌跡情報を選択可能に表示し、ユーザの選択操作に応じた移動軌跡を移動経路として設定する。

移動経路を設定すると、制御部１１０は、設定処理を終了する。

図１２は、第２の実施の形態に係る追従ナビゲーション処理の例を示すフローチャートである。追従ナビゲーション処理において、先ず、制御部１１０は、ユーザからの仮想オブジェクト表示処理を開始するための開始操作を受け付ける（ステップＳ１２０１）。

ユーザからの開始操作を受け付けると、制御部１１０は、仮想オブジェクト表示処理を開始する（ステップＳ３００）。

次に、第２の実施の形態に係る仮想オブジェクト表示処理の例を説明する。ここでは、第１の実施の形態にて用いた図１０を用いて説明する。

仮想オブジェクト表示処理では、先ず、制御部１１０は、撮影部１８０が撮影する動画像を取得する（ステップＳ３０１）。本例では、制御部１１０は、ユーザによりナビゲーション装置自体が前方にかざされることにより撮影された動画像を取得する。

動画像を取得すると、制御部１０は、センサ情報処理部により、センサ部１５０が取得した各種センサ情報を取得し、各種情報を特定する（ステップＳ３０２）。具体的には、制御部１１０は、ＧＰＳ情報に基づいて現在位置を特定し、方位情報に基づいて撮影装置の撮影方位を特定し、姿勢情報に基づいて撮影装置の姿勢を特定する。現在位置、撮影方位、および姿勢を特定することにより、どの位置からどの方向に向けてどのような姿勢で撮影を行っているのかを把握することができる。

現在位置および撮影方位を取得すると、制御部１１０は、動画像中移動経路特定部１５により、取得した動画像中に含まれる路面を特定する（ステップＳ３０３）。

動画像における路面を特定すると、制御部１１０は、動画像中に移動経路に対応する路面を示す移動経路対応路面が存在するか否かを判定する（ステップＳ３０４）。本例では、制御部１１０は、ステップＳ３０３特定した現在位置、撮影方位、および姿勢と、設定した移動経路とに基づいて、動画像中の路面が存在するおおよその位置を把握することにより、ユーザを誘導するための路面であり、かつ目的地に向かう方向に位置する路面であるか否かを特定する。

動画像中に移動経路対応路面が存在しないと判定したとき（ステップＳ３０４のＮ）には、制御部１１０は、仮想オブジェクト表示処理を終了し、追従ナビゲーション処理に移行する。すなわち、制御部１１０は、ユーザを誘導するための路面であり、かつ目的地に向かう方向に位置する路面ではないと判定したときに、仮想オブジェクト表示処理を終了し、追従ナビゲーション処理のステップＳ１２０２に移行する。

一方で、動画像中に移動経路対応路面が存在すると判定したとき（ステップＳ３０４のＹ）には、制御部１１０は、移動経路対応路面における仮想オブジェクトの表示位置を特定する（ステップＳ３０５）。本例では、制御部１１０は、ユーザの現在位置から進行方向に向かって所定の距離離れた位置であって、かつ移動経路対応路面上の位置を仮想オブジェクトの表示位置として特定する。例えば、制御部１１０は、進行方向に対して５０ｍ先行する位置をオブジェクトの表示位置として決定する。また、所定の距離は、制御部１０がナビゲーション装置に搭載される速度センサから移動速度情報を取得することにより、移動速度に応じた距離としてもよい。

仮想オブジェクトの表示位置を特定すると、制御部１１０は、移動経路対応路面の向きおよび傾きに応じた仮想オブジェクトの表示姿勢を特定する（ステップＳ３０６）。すなわち、制御部１１０は、表示位置における路面の傾きおよび形状を解析し、解析結果に応じた表示姿勢を特定する。

仮想オブジェクトの表示位置および表示姿勢を特定すると、制御部１１０は、特定した表示位置および表示姿勢に基づいて仮想オブジェクトを動画像に重畳して表示装置に表示する（ステップＳ３０７）。

制御部１１０は、動画像に重畳して表示装置に仮想オブジェクトを表示すると、仮想オブジェクト表示処理を終了して追従ナビゲーション処理に移行する。

仮想オブジェクト表示処理を終了すると、制御部１１０は、追従ナビゲーション処理を終了するか否かを判定する（ステップＳ１２０２）。具体的には、制御部１１０は、ユーザからの追従ナビゲーション処理終了のための操作を受け付けているか否かを判定する。また、制御部１１０が、ユーザを目的地まで誘導したか否かを判定することとしてもよい。

追従ナビゲーション処理を終了しないと判定したとき（ステップＳ１２０２のＮ）には、制御部１１０は、ステップＳ３００に移行し、再度仮想オブジェクト表示処理を実行する。

一方で、追従ナビゲーション処理を終了すると判定したとき（ステップＳ１２０２のＹ）には、制御部１１０は、追従ナビゲーション処理を終了する。

以上のように、上述した第２の実施の形態に係るナビゲーション装置２００は、表示装置に仮想オブジェクトを表示してユーザを目的地まで誘導するナビゲーション装置であって、表示装置に表示する仮想オブジェクトを記憶する仮想オブジェクト記憶部と、軌跡情報を記憶する軌跡情報記憶部とを備え、現在位置情報を特定し、軌跡情報に基づいてユーザの移動経路を決定し、ユーザの周囲の状況を撮影する撮影装置が撮影した動画像を取得し、撮影装置の撮影方位を含む撮影装置状態を特定し、現在位置情報と撮影装置状態とを参照して、動画像における移動経路を示す動画像中移動経路を特定し、特定した動画像中移動経路を参照して、動画像における仮想オブジェクトの表示位置および表示形態を含む仮想オブジェクト表示態様を特定し、特定した仮想オブジェクト表示態様にて仮想オブジェクトを動画像に重畳して表示装置に表示する構成としている。このような構成によれば、ユーザ自身の撮影操作により表示される動画像に対して、案内役としての仮想オブジェクトを重畳表示することにより、ユーザを目的地まで誘導することができるようになる。したがって、ユーザを目的地までナビゲーションするときに、仮想オブジェクトが移動経路としての軌跡に沿って移動することとなるため、ユーザは先行する移動体に追従する感覚を維持したまま目的地までの移動を行うことができるようになる。

なお、上述した実施の形態では特に言及していないが、ナビゲーション装置２００は、特定の動作と、特定の動作を実行する座標を示す特定動作実行座標とが対応付けされた特定動作情報を記憶する特定動作情報記憶部を備え、特定動作情報を参照してユーザの現在位置が特定動作実行座標に位置するか否かを判定し、特定動作実行座標に位置すると判定したときに、対応する特定の動作を実行する態様にて仮想オブジェクトを表示する構成とされていてもよい。このような構成によれば、仮想オブジェクトが特定の位置にて様々な演出を実行することが可能となるため、より有用性の高いナビゲーション装置を提供することができるようになる。したがって、ナビゲーション装置の利用頻度を高めることができるようになる。

本発明は、表示装置に仮想オブジェクトを表示してユーザを目的地まで誘導するのに有用である。

１０，１１０ 制御部
１１ 通信処理部
１２ 軌跡情報取得部
１３ 設定部
１４ センサ情報処理部
１５ 動画像中移動経路特定部
１６ 表示態様特定部
１７ 表示制御部
２０ 記憶部
２１ 軌跡情報記憶部
２２ 仮想オブジェクト情報記憶部
３０ メモリ
４０ 出力部
５０，１５０ センサ部
６０ 通信部
７０ 入力部
８０ 撮影部
１００，２００ ナビゲーション装置

Claims (5)

1. 表示装置に仮想オブジェクトを表示してユーザを目的地まで誘導するナビゲーション装置であって、
   前記表示装置に表示する仮想オブジェクトを記憶する仮想オブジェクト記憶手段と、
   軌跡情報を記憶する軌跡情報記憶手段と、
   現在位置情報を特定する現在位置情報特定手段と、
   前記軌跡情報に基づいて前記ユーザの移動経路を決定する移動経路決定手段と、
   前記ユーザの周囲の状況を撮影する撮影装置が撮影した動画像を取得する動画像取得手段と、
   前記撮影装置の撮影方位を含む撮影装置状態を特定する撮影装置状態特定手段と、
   前記現在位置情報と前記撮影装置状態とを参照して、前記動画像における前記移動経路を示す動画像中移動経路を特定する動画像中移動経路特定手段と、
   該動画像中移動経路特定手段により特定された前記動画像中移動経路を参照して、前記動画像における前記仮想オブジェクトの表示位置および表示形態を含む仮想オブジェクト表示態様を特定する仮想オブジェクト表示態様特定手段と、
   該仮想オブジェクト表示態様特定手段により特定された前記仮想オブジェクト表示態様によって前記仮想オブジェクトを前記動画像に重畳して前記表示装置に表示する表示手段とを含む
   ことを特徴とするナビゲーション装置。
2. 前記動画像に含まれる前記ユーザの周囲の物体を示す現実オブジェクトの３次元空間における位置を検出する３次元位置検出手段を含み、
   前記表示態様特定手段は、前記３次元位置検出手段により検出された前記現実オブジェクトの３次元空間における位置を参照して、前記３次元空間内において前記仮想オブジェクトと前記現実オブジェクトとが重ならない位置を前記仮想オブジェクトの表示位置として特定する
   請求項１に記載のナビゲーション装置。
3. 前記ユーザが追従する追従車両が備える端末から通信ネットワークを介して当該追従車両の移動軌跡に関する軌跡情報を所定の間隔で取得する軌跡情報取得手段と、
   該軌跡情報取得手段により取得された前記軌跡情報を用いて前記移動経路決定手段により特定された前記移動経路を更新する移動経路更新手段とを含む
   請求項１または請求項２に記載のナビゲーション装置。
4. 前記移動経路設定手段により設定された前記移動経路の残りの距離を特定する残距離特定手段と、
   該残距離特定手段により特定された前記移動経路の残り距離が所定距離となったか否かを判定する残距離判定手段とを含み、
   前記軌跡情報取得手段は、残距離判定手段により前記移動経路の残り距離が所定距離となったと判定されたときに前記軌跡情報を取得する
   請求項１から請求項３のうち何れかに請求項ナビゲーション装置。
5. 表示装置に仮想オブジェクトを表示してユーザを目的地まで誘導するナビゲーション装置に動作制御させるためのナビゲーションプログラムであって、
   前記表示装置に表示する仮想オブジェクトを記憶する仮想オブジェクト記憶手段と、軌跡情報を記憶する軌跡情報記憶手段とを備える前記ナビゲーション装置に、
   現在位置情報を特定する現在位置情報特定処理と、
   前記軌跡情報に基づいて前記ユーザの移動経路を決定する移動経路決定処理と、
   前記ユーザの周囲の状況を撮影する撮影装置が撮影した動画像を取得する動画像取得処理と、
   前記撮影装置の撮影方位を含む撮影装置状態を特定する撮影装置状態特定処理と、
   前記現在位置情報と前記撮影装置状態とを参照して、前記動画像における前記移動経路を示す動画像中移動経路を特定する動画像中移動経路特定処理と、
   該動画像中移動経路特定処理にて特定した前記動画像中移動経路を参照して、前記動画像における前記仮想オブジェクトの表示位置および表示形態を含む仮想オブジェクト表示態様を特定する仮想オブジェクト表示態様特定処理と、
   該仮想オブジェクト表示態様特定処理にて特定した前記仮想オブジェクト表示態様によって前記仮想オブジェクトを前記動画像に重畳して前記表示装置に表示する表示処理とを
   実行させるためのナビゲーションプログラム。

Images