JP2005241385A - 目的地案内装置および携帯端末装置 - Google Patents

Abstract

【課題】撮影画像と照合すべき画像を予め用意することなく比較的簡単な構成で撮影画像に指示表示を重ねる。
【解決手段】利用者（目的地案内装置）の現在位置を基準としてデジタルカメラのスクリーン７０２を画定する。さらに、このスクリーン７０２に対して目的地に対応する目的地方向座標１００１を定め、所定の基準点（スクリーン下辺中心１００２）を基準として、スクリーン上でカメラの撮影画像に重ねて目的地方向座標１００１に対する指示表示１００４を行う。
【選択図】図８

Description

本発明は、携帯電話機のような携帯端末装置の表示画面で利用者に目的地への案内（ナビゲーション）を行う目的地案内装置および携帯端末装置に関し、特にカメラ撮影映像を用いた目的地案内装置および携帯端末装置に関するものである。

車両や歩行者の道案内を行うナビゲーション装置として、従来、デジタルカメラで撮影された画像（映像）を利用するものが提案されている。

例えば、特許文献１に記載の装置は、車両が走行する空間をモデル化したデータや実画像を予め記憶しておき、このような推定画像と実際に撮影された画像（情景画像）とを照合（パターンマッチング）して、情景画像に指示情報（進行方向を示す矢印）を埋め込むものである。

特許文献２に記載の装置は、携帯電話機の使用者が目的地へ移動する際に使用者を基準とした目的地への進行方向を携帯電話機の画面上に矢印等で表示するものである。
特開２００３−１４４７７号公報 特開２００３−８３７６２号公報

しかしながら、特許文献１に記載の装置は、予め道案内の対象となる場所についてモデル化したデータを作成し、または実画像を記憶しておく必要があり、主要な自動車道路についてのみであってもそのようなデータや実画像を用意しておくことはコスト的にも作業的にも負担が大きい。また、携帯端末で歩行者に対する道案内を行う場合には、人の歩行する道が問題となり、かつ、携帯端末による撮影画像は車両の走行時の撮影画像と異なりその向きや高さがまちまちであり、撮影画像と対照する画像のモデル化やマッチング処理が困難となると考えられる。

他方、特許文献２に記載の装置は撮影画像を用いないのでそのような問題はないが、表示画面上に目的地の方向を示す矢印を表示するのみでは実際の目前の風景との関係が分かりづらいという問題があった。

本発明はこのような背景においてなされたものであり、その目的は、撮影画像と照合すべき画像を予め用意することなく比較的簡単な構成で撮影画像に指示表示を重ねることができる目的地案内装置および携帯端末装置を提供することにある。

本発明による目的地案内装置は、デジタルカメラと、このデジタルカメラが撮影した画像を表示する表示部と、目的地を入力する操作部と、現在位置を検出する現在位置検出手段と、前記現在位置を基準として前記デジタルカメラのスクリーンを画定するスクリーン画定手段と、前記目的地に対応する目的地方向座標を定め、前記表示部の表示画面上で前記デジタルカメラの撮影画像に重ねて前記目的地方向座標に対する指示表示を行う制御手段とを備えたことを特徴とする。

この構成では、現在位置検出手段が現在位置を検出し、スクリーン画定手段がこの現在位置を基準として前記デジタルカメラのスクリーンを画定する。制御手段は、現在位置と目的地に基づいて、目的地に対応する目的地方向座標を定め、前記表示部の表示画面上で前記デジタルカメラの撮影画像に重ねて前記目的地方向座標に対する指示表示を行う。

前記撮影画像は、好ましくは、前記デジタルカメラのスルー画像である。これにより、撮影画像は利用者の移動に応じてほぼリアルタイムに風景の変化に追従することができる。

前記スクリーン画定手段は、目的地案内装置の向いている方位を検出する方位検出手段と、前記デジタルカメラのレンズが向いている垂直面内での方向を検出するカメラ方向検出手段と、前記デジタルカメラの撮像倍率を設定する手段とを有し、両検出手段の出力および前記撮像倍率に基づいて前記スクリーンを画定することができる。

より具体的には、前記スクリーンは前記現在位置を中心とした水平方向および垂直方向の画角の範囲で画定され、前記目的地方向座標は、前記現在位置から前記目的地へ伸びる方向ベクトルの前記画角の範囲内での相対的な角度の比と前記スクリーンのサイズとにより定まる。

前記カメラ方向検出手段は、目的地案内装置の向いている現在の方位を検出する手段と、目的地案内装置の傾き角度を検出する手段とにより構成することができる。この場合、目的地案内装置本体に対してカメラ部が回転する構成である場合、その回転角を加味して前記レンズが向いている垂直面内での方向を検出することができる。

前記制御手段は、現在位置から目的地への方向ベクトルおよび現在位置のいずれにおいても変化量が所定の閾値より小さい場合、少なくとも前記指示表示の更新を抑止するようにしてもよい。これにより、目的地案内の機能を大きく損なうことなく、装置の処理負荷が軽減される。

本発明は、デジタルカメラを搭載した携帯端末装置としても把握することができる。

本発明は、さらに、上記目的地案内装置の動作を端末装置において実現するために端末装置にインストールされるコンピュータプログラムまたはこのコンピュータプログラムを読み取り可能に記録した記録媒体として把握することも可能である。

本発明によれば、撮影画像と照合すべき画像を予め用意することなく比較的簡単な構成で撮影画像に指示表示を重ねることができる目的地案内装置を提供することができる。本発明は、特に、カメラ付き携帯電話機のような携帯型の端末装置に適用して歩行者に対する道案内を行うのに好適である。

以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。本実施の形態では、携帯電話機のような携帯端末を目的地案内装置として利用する例を説明する。

図１は、携帯端末４０１の外観を示す正面図（ａ）および背面図（ｂ）を示している。正面図から分かるように、この携帯端末は、正面側にディスプレイ（表示部）２０１、およびキー操作部２０２を有し、背面側にスピーカ３０２を有する。また、携帯端末上部にカメラ（デジタルカメラ）２００を有する。カメラのレンズ３０１は背面側に向けられているが、回転式の場合には携帯端末本体に水平な方向に対して軸を持つことにより、携帯端末本体の傾きに因らず撮影方向を設定できる。また、ここではいわゆるスティック型の携帯端末を例として示したが、二つ折り型の携帯端末であってもよい。

図２は、携帯端末４０１の概略構成を示すブロック図である。この携帯端末は、加速度センサ１００、地磁気センサ１０１、カメラ１０２、ＧＰＳ受信機１０３、携帯端末自体の機能処理を行う中央処理装置１０４、、メモリ１０６、マイク・スピーカ１０７、通信部１０８、ディスプレイ２０１、キー操作部２０２等を備えている。カメラ１０２が回動型の場合にはその回転角度を検出する手段（図示せず）も設ける。この手段としては任意の公知のものを用いることができる。

加速度センサ１００からは、携帯端末４０１の加速度が検出され、現在の速度や携帯端末自体の角度４０４（図３）が検出される。角度４０４は、端末４０１の背面に垂直な方向と鉛直線とがなす端末傾き角である。地磁気センサ１０１は、地磁気の方位を検出し、その検出方位の変化に基づいて携帯端末（ひいてはその利用者）が向いている方位が認識される。カメラ１０２は、利用者進行方向の映像を撮影するために利用される。ＧＰＳ受信機１０３は、携帯端末の現在位置（緯度および経度）を検出する。これらセンサの情報は、中央処理装置１０４により処理されディスプレイ２０１に表示、メモリ１０６に蓄積、またはスピーカによって音声として利用者に伝えられる。通信部１０８は、アンテナを介して基地局（図示せず）との間で無線による音声およびデータの通信を行う部位である。後述するように通信ネットワーク上でナビゲーション情報（地図情報等）を提供するサーバへのアクセスは通信部１０８により行われる。

図４に、利用者の位置を中心とした各種の位置や角度の関係を示す。ここでは、現在位置座標としての利用者座標α（αｘ、αｙ、αｚ）を基準位置とし、カメラのレンズの向いた方向を中心方向ベクトル７１１とする。ここに、αｘ、αｙ、αｚはそれぞれ経度、緯度、高度である。但し高度は分かれば利用することができるが、利用しなくてもその誤差は所定の範囲内に収まると考えられるので高度は必ずしも利用する必要はない。また、この中心方向ベクトル７１１を中心としてカメラの画角を定める。ここで、画角は、利用者座標αの位置から撮像される仮想的なスクリーン（表示画面に対応）７０２の水平方向の開き角度θおよび垂直方向の開き角度φにより定まる。スクリーン７０２は利用者座標αを原点とした球面の一部となり、実質的にディスプレイの表示画面に対応する。中心方向ベクトル７１１を、利用者座標αを含む水平面に投影したものが進行方向ベクトル７１３となる。基準方位（例えば東）から進行方向ベクトル７１３までの角度を角度εとする。また、進行方向ベクトル７１３から中心方向ベクトル７１１までの角度を角度δとする。目的地方向ベクトル７１２がスクリーン７０２と交わる点を交点７０７としている。

次に、図５のフローチャートを参照しながら、本実施の形態の動作について説明する。この処理は、中央処理装置１０４が所定のプログラムを実行することにより実現される。

まず、利用者の操作に従って、目的地を設定する（Ｓ１１）。具体的には、この目的地の設定は、利用者が予め設定されている建物や場所等を選択したり、住所（地名および番地等）を入力したりすることにより行う。

次に、利用者（携帯端末）の現在位置を測定する（Ｓ１２）。具体的には、ＧＰＳ受信機１０３を用いて利用者座標α（αｘ，αｙ，αｚ）を測定する。さらに、携帯端末本体の現在の方位を測定する（Ｓ１３）。この方位を利用者の進行方向とみなす。例えば、地磁気センサ１０１により水平方向に関して基準方位（例えば東）７１０から進行方向ベクトル７１３までの角度εを測定する。ついで、加速度センサ１００により端末傾き角４０４を測定する（Ｓ１４）。

そこで、カメラが回転式か否かをチェックする（Ｓ１５）。固定式であれば、端末傾き角４０４からスクリーン角度δを求める（Ｓ１７）。回転式であればカメラ回転角を確認し（Ｓ１６）、これで端末傾き角４０４を補正してスクリーン角度δを求める（Ｓ１７）。角度εと角度δにより中心方向ベクトル７１１が定まる。ついで、現在設定されている光学倍率およびデジタルズームによる拡大率から画角（θ，φ）を計算する（Ｓ１８）。

次に、目的地座標β（βｘ，βｙ，βｚ）と利用者座標α（αｘ，αｙ，αｚ）より目的地方向ベクトル７１２を求める（Ｓ１９）。目的地座標β（βｘ，βｙ，βｚ）は、ステップＳ１１で利用者の入力した目的地に基づいて、サーバで認識し、サーバから受信することができる。この目的地方向ベクトル７１２がスクリーン７０２内に入るか否かをチェックする（Ｓ２０）。これは目的地方向ベクトル７１２の水平および垂直の角度とスクリーン７０２の角度範囲を比較することにより行える。スクリーン７０２内に入るならば、そのスクリーン内相対位置情報を計算する（Ｓ２１）。上記交点７０７の座標は絶対座標ではなく、このスクリーン上での相対位置として求められる(利用者座標からスクリーン位置までの距離は任意のため)。

図６（ａ）に進行方向ベクトル７１３を含む水平面における各ベクトルの関係を示す。進行方向ベクトル７１３を中心として画角θが定まる。この画角θ内の目的地方向ベクトル７１２の位置により係数ａが定まる。図６（ｂ）は進行方向ベクトル７１３を含む垂直面における各ベクトルの関係を示す。進行方向ベクトル７１３と垂直面上で角度δをなすベクトルが中心方向ベクトル７１１であり、この中心方向ベクトル７１１を中心として画角φが定まる。この画角φ内の目的地方向ベクトル７１２の位置により係数ｂが定まる。これらの係数ａ，ｂが実質的に相対位置として機能する。

そこで、図７に示すように、カメラスルー画像を表示するスクリーン上での上記相対位置を目的地方向座標１００１に変換する（Ｓ２２）。これは、水平方向および垂直方向の各々の画角をそれぞれスクリーンの水平方向および垂直方向のサイズに割り当てたとき、目的地方向ベクトル７１２の水平および垂直方向の角度の各画角に対する割合ａ，ｂで両サイズを比例配分することにより求めることができる。

カメラスルーとは、カメラのシャッタを押す前に被写体を選択するために撮像素子で得られた画像をリアルタイムに連続的に表示する動作をいう。この座標１００１を指し示す矢印をカメラスルー画像に重ねて表示することにより、案内表示を更新する（Ｓ２３）。これにより、利用者は歩行に伴って変化していくカメラスルー画像上で、更新されていく目的地方向を示す指示表示を見ることができる。

ステップＳ１２〜Ｓ２３の処理は目的地に到着するまで（Ｓ２４）、繰り返して実行される。目的地に到着したときには、利用者に対してその旨のスクリーン上への表示、音声や音による通知を行うようにしてもよい。

ステップＳ２３における案内表示には次のようなものが考えられる。

（１）スクリーン下辺に矢印の基準位置を持つ方法
例えば、図８に示すように、指示表示の一形態として、スクリーン下辺中心１００２から目的地方向座標１００１に伸びる矢印１００４を表示する。図９は実際のカメラスルー画像に矢印１００４を重ねて表示した例を示している。これらの表示方法によれば、スクリーン上において目的地を示す矢印１００４がそのまま利用者の進むべき方向となるため、利用者にとって理解しやすい利点がある。図１０に示すように、矢印１００４とともに、目的地までの距離も表示するようにしてもよい。ここでの距離は、座標間の直線距離を想定しているが、ナビゲーションシステムから利用出来る場合には経路に沿った距離表示１００３を付加するようにしてもよい。現在位置から目的地までの距離は、端末において直線距離を算出してもよいし、通信ネットワークを経由して所定のサーバに目的地および現在位置の位置情報を送ってサーバで最短経路に沿った距離を求めてその結果を受信するようにしてもよい。

目的地方向座標Ｂがスクリーン７０２外の場合、矢印１００４がスクリーン７０２から消えることにより、利用者は目的地方向がスクリーン範囲外となっていることが分かる。

なお、目的地方向座標Ｂがスクリーン７０２外の場合、利用者座標αを中心とした球面上の一部がスクリーン７０２であるので、目的地方向座標がスクリーン外であっても、スクリーン上の座標系の目的方向座標を求めることができる。そこで、矢印を消去する代わりに図１１に示すように、スクリーン下辺中心１００２から目的地方向座標１００５に対して線を引き、その線上に矢印１００６を描くことにより利用者は進むべき方向を認識することができる。

本実施の形態における矢印による表示は、現在位置から目的地の方向を示すものであり、必ずしも途中の経路（道）を案内するものではないが、実際の撮影画面上での目的地の方向が分かるので有用である。また、経路案内は従来の地図表示による案内画面に切り換えて表示するか、または画面を分割して両表示を分割領域に併せて表示するようにしてもよい。

（２）スクリーン中心に矢印の基準位置を持つ方法
スクリーン下辺ではなくスクリーン中心を矢印の基準位置としてもよい。例えば、図１２に示すように、目的地方向座標Ａ１２０２がスクリーン７０２内にある場合、スクリーン中心１２０１を基準に、そこから求められたスクリーン内の目的方向座標Ａ１２０２に対する方向を指し示す矢印Ａ１２０４を表示する。また、目的地方向座標Ｂがスクリーン７０２外の場合、図１１の場合と同様、目的地方向座標がスクリーン外であっても、スクリーン上の座標系の目的方向座標Ｂ１２０３に対してスクリーン中心１２０１から線を引き、その線上に矢印Ｂ１２０５を描くことにより利用者は進むべき方向を認識することができる。

（３）変形例
上記（１）（２）のいずれにおいても、目的地方向座標がスクリーン内にない場合には、方向指示を行う矢印等を、スクリーン上に目的地方向がある場合と異なった表示形態（形状・色、点滅など）で表示することによって、目的地方向座標が画面外にあることを利用者に認識させるようにしてもよい。

なお、目的地方向が進行方向から大きく外れている場合に利用者座標αが少々変化した場合でも方向指示の矢印は激しく動く。この場合等には矢印の激しい動きを表示せずに、図１３に示すように、矢印ではなく進む方向が大きくずれていることをテキスト表示１３００で指示するようにしてもよい。

図１４は、本発明の第２の実施の形態における動作を説明するためのフローチャートである。装置構成は第１の実施の形態と同じである。図１４において図５と同じ処理ステップには同じ参照番号を付して、その詳細な説明を省略する。図５の処理と異なる点は、ステップＳ１９とＳ２０の間に新たなステップＳ１９ａを追加している点である。このステップＳ１９ａは、目的地への方向ベクトル７１２および現在位置のいずれにおいても変化量が小さい（それぞれの所定の閾値より小さい）場合、スクリーン内判別（Ｓ２０）、相対位置の計算（Ｓ２１）、座標変換（Ｓ２２）および案内表示の更新（Ｓ２３）を省略してステップＳ２４へ移行する。これによって、必要以上に高頻度に案内表示を更新することを抑止し、携帯端末の処理負荷を軽減し、消費電流量を低くすることができる。また、カメラスルー画像の更新自体も同様に抑止するようにしてもよい。

以上、本発明の好適な実施の形態について詳細に説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、目的地までの距離について、その距離表示などの文字判読の必要のある情報表示ではなく、目的地までの距離に従って方向指示のための矢印等の大きさ、色を変化させるようにしてもよい。

本発明の実施の形態における携帯端末の外観を示す正面図（ａ）および背面図（ｂ）である。 図１に示した携帯端末の概略構成を示すブロック図である。 利用者と携帯端末の関係を示す図である。 利用者の位置を中心とした各種の位置や角度の関係を示す図である。 本実施の形態の動作について説明するためのフローチャートである。 進行方向ベクトルを含む水平面および垂直面における各ベクトルの関係を示す図である。 本発明の実施の形態においてスクリーン上での目的地方向座標の求め方の説明図である。 本発明の実施の形態におけるスクリーン下辺中心を基準とした指示表示の一形態を示す図である。 実際のカメラスルー画像に矢印を重ねて表示した例を示す図である。 図９に示した矢印とともに、目的地までの距離も表示した例を示す図である。 本発明の実施の形態において目的地方向座標がスクリーン外にある場合の矢印の表示例を示す図である。 本発明の実施の形態におけるスクリーン中心を基準とした指示表示の他の形態を示す図である。 本発明の実施の形態において矢印の代わりのテキスト表示を示す図である。 本発明の第２の実施の形態における動作を説明するためのフローチャートである。

符号の説明

１００…加速度センサ、１０１…磁気センサ、１０２…カメラ、１０３…ＧＰＳ受信機、１０４…中央処理装置、１０６…メモリ、１０７…マイク・スピーカ、１０８…通信部、２０１…ディスプレイ、２０２…キー操作部、３０１…レンズ、３０２…スピーカ、４０１…携帯端末、４０４…端末傾き角、７０２…スクリーン、７０７…交点、７１１…中心方向ベクトル、７１２…目的地方向ベクトル、７１３…進行方向ベクトル、１００１…目的地方向座標、１００２…スクリーン下辺中心、１００４…矢印、１００５…目的地方向座標、１００６…矢印、１２０１…スクリーン中心、１３００…テキスト表示、α…利用者座標、β…目的地座標

Claims (8)

1. デジタルカメラと、
   このデジタルカメラが撮影した画像を表示する表示部と、
   目的地を入力する操作部と、
   現在位置を検出する現在位置検出手段と、
   前記現在位置を基準として前記デジタルカメラのスクリーンを画定するスクリーン画定手段と、
   前記目的地に対応する目的地方向座標を定め、前記表示部の表示画面上で前記デジタルカメラの撮影画像に重ねて前記目的地方向座標に対する指示表示を行う制御手段と、
   を備えたことを特徴とする目的地案内装置。
2. 前記撮影画像は、前記デジタルカメラのスルー画像であることを特徴とする請求項１記載の目的地案内装置。
3. 前記スクリーン画定手段は、目的地案内装置の向いている方位を検出する方位検出手段と、前記デジタルカメラのレンズが向いている垂直面内での方向を検出するカメラ方向検出手段と、前記デジタルカメラの撮像倍率を設定する手段とを有し、両検出手段の出力および前記撮像倍率に基づいて前記スクリーンを画定することを特徴とする請求項１記載の目的地案内装置。
4. 前記スクリーンは前記現在位置を中心とした水平方向および垂直方向の画角の範囲で画定され、前記目的地方向座標は、前記現在位置から前記目的地へ伸びる方向ベクトルの前記画角の範囲内での相対的な角度の比と前記スクリーンのサイズとにより定まることを特徴とする請求項３記載の目的地案内装置。
5. 前記カメラ方向検出手段は、目的地案内装置の向いている現在の方位を検出する手段と、目的地案内装置の傾き角度を検出する手段とを備えたことを特徴とする請求項４記載の目的地案内装置。
6. 前記カメラ方向検出手段は、目的地案内装置本体に対してカメラ部が回転する構成である場合、その回転角を加味して前記レンズが向いている垂直面内での方向を検出することを特徴とする請求項５記載の目的地案内装置。
7. 前記制御手段は、現在位置から目的地への方向ベクトルおよび現在位置のいずれにおいても変化量が所定の閾値より小さい場合、少なくとも前記指示表示の更新を抑止することを特徴とする請求項１記載の目的地案内装置。
8. デジタルカメラと、
   このデジタルカメラが撮影した画像を表示する表示部と、
   目的地を入力する操作部と、
   現在位置を検出する現在位置検出手段と、
   前記現在位置を基準として前記デジタルカメラのスクリーンを画定するスクリーン画定手段と、
   少なくともデータの通信を行う通信手段と、
   前記目的地に対応する目的地方向座標を定め、前記表示部の表示画面上で前記デジタルカメラの撮影画像に重ねて前記目的地方向座標に対する指示表示を行う制御手段と、
   を備えたことを特徴とする携帯端末装置。