JP2006059136A - ビューア装置及びそのプログラム - Google Patents

Abstract

【課題】 方向感覚の乏しいユーザであっても、自らの存在位置の近くにある店舗などの
案内対象物の位置を容易且つ確実に把握できる装置を提供すること。
【解決手段】 各案内対象物の属性を示す属性情報とそれらの案内対象物の位置を示す座
標情報とを各々対応付けてデータベース１８ａに記憶しておく。そして、デジタルカメラ
１３から新たな画像情報が供給されるたびに、そのデジタルカメラ１３の撮像エリア内の
位置と対応付けられた属性情報をデータベースから１８ａから読出し、画像情報が示す画
像の所定の表示位置に合成する。
【選択図】 図１

Description

本発明は、ビューア装置に係り、特に、歩行者に対してその進行方向にある施設や店舗
を好適に案内するビューア装置に関する。

衛星航法などを利用して携帯者の存在位置を測位し、その位置の近くにある店舗や施設
などの案内情報をリアルタイムで提示する携帯端末装置が広く普及している。
例えば、特許文献１には、携帯者の移動手段の種別に応じた好適な内容の案内情報を提
示する携帯端末装置が開示されている。同文献によると、この携帯端末装置は、携帯者で
あるユーザの存在位置だけでなく、その移動速度や移動方向をも特定する。そして、特定
した存在位置、移動速度、及び移動方向を解析することで、ユーザが徒歩により移動して
いるのか、それとも車両により移動しているのか、はたまた電車により移動しているのか
を判別する。そして、判別した移動手段に応じて準備された案内情報を、予めディスプレ
イに表示させておいた地図上の所定位置に重ねて描画する。
特開平１０−２３２９９２号公報

特許文献１にも記されているように、これまでに提案されてきたこの種の携帯端末装置
は、ユーザの周辺の地図を表す画像に、自身の現在位置やその近くの店舗などのマークを
重ねて表示させるにすぎず、ユーザは、表示された地図の内容と自らが現実に視認してい
る景色とを感覚的に結びつけることが難しかった。
本発明は、このような背景の下に案出されたものであり、カメラなどを介して撮像され
た現実の画像とその画像内に映り込んでいる物に関するバーチャルな情報とをリアルタイ
ムで合成し、表示することを目的とする。

本発明の好適な態様であるビューア装置は、各案内対象物の属性を示す属性情報とそれ
らの案内対象物の位置を示す座標情報とを各々対応付けて記憶した記憶手段と、被写体を
撮像して画像情報を生成する撮像手段と、自機の位置を検出する位置検出手段と、前記撮
像手段の撮像面の向きを示す方位を検出する方位検出手段と、前記検出した位置及び方位
の内容に基づいて前記撮像手段の撮像エリアを特定する撮像エリア特定手段と、前記特定
した撮像エリアに内包される位置を示す一又は複数の座標情報を前記記憶手段に記憶され
た各座標情報のうちから特定すると共に、特定した座標情報と対応付けられた属性情報を
前記記憶手段から抽出する抽出手段と、前記抽出した属性情報を表す文字列を前記入力さ
れた画像情報が表す画像内の所定の表示位置に合成する合成手段と、前記文字列を合成し
た画像を表示する表示手段とを備える。

この態様において、前記抽出手段は、前記特定した撮像エリアに内包される位置であっ
て、前記位置検出手段が検出した位置との距離が所定の関係にある位置を示す一又は複数
の座標情報を前記記憶手段に記憶された各座標情報のうちから特定するようにしてもよい
。

また、前記合成手段は、前記特定した一又は複数の座標情報が示す位置に対する前記検
出した位置の向きを示す方位を計算し、計算した方位と前記方位検出手段が検出した方位
との関係を基に、前記画像情報が表す画像内における所定の表示位置を特定するようにし
てもよい。

本発明の別の好適な態様であるプログラムは、各案内対象物の属性を示す属性情報とそ
れらの案内対象物の位置を示す座標情報とを各々対応付けて記憶した記憶手段と、被写体
を撮像して画像情報を生成する撮像手段と、自機の位置を検出する位置検出手段と、前記
撮像手段の撮像面の向きを示す方位を検出する方位検出手段と、表示手段とを備えたコン
ピュータ装置に、前記検出した位置及び方位の内容に基づいて前記撮像手段の撮像エリア
を特定する撮像エリア特定機能と、前記特定した撮像エリアに内包される位置を示す一又
は複数の座標情報を前記記憶手段に記憶された各座標情報のうちから特定すると共に、特
定した座標情報と対応付けられた属性情報を前記記憶手段から抽出する抽出機能と、前記
抽出した属性情報を表す文字列を前記入力された画像情報が表す画像内の所定の表示位置
に合成する合成機能と、前記文字列を合成した画像を前記表示手段に表示させる表示制御
機能とを実現させる。

（発明の実施の形態）
本願発明の実施形態について説明する。
以降の説明において、「ユーザ」とは、本実施形態にかかるビューア装置を携帯し、そ
の支援を受けながら歩行する者を意味する。また、「案内対象物」とは、歩行中のユーザ
に対してその存在を了知させるべきものとして予め選定された、実在する店舗又は施設を
意味する。

本実施形態の特徴は、ユーザが自らの歩行進路を撮像することによって得られる被写体
の画像に、その画像内に映り込んでいるであろう案内対象物を案内する情報を合成して表
示するようにした点にある。

図１は、本実施形態にかかるビューア装置内部のハードウェア構成を示すブロック図で
ある。また、図２は、ビューア装置を正面上方から見た斜視図であり、図３は、同装置を
背面上方から見た斜視図である。
図１に示すように、このビューア装置は、操作子１１、ディスプレイ１２、デジタルカ
メラ１３、アンテナ１４、ＧＰＳ受信機１５、方位センサ１６、ＲＡＭ１７、ＲＯＭ１８
、傾斜センサ１９、及びこれら各部を制御するシステムコントローラ２０を備える。
ディスプレイ１２は、ＴＦＴ（thin film transistor）型の液晶ディスプレイであり、
図示しないＶＲＡＭに書き込まれた情報を基に画像を形成する。図２に示すように、ディ
スプレイ１２の表示面は、筐体２１の表面中央から左側にかけて設けられた矩形状の開口
部を介して外部に露出されている。

操作子１１は、各種入力を行なうタッチキーである。図２に示すように、この操作子１
１は、筐体２１の表面右側に配設されている。
デジタルカメラ１３は、レンズや、そのレンズを透過した光をデジタル信号化して画像
情報を生成するＣＣＤ（Charge Coupled Device）などを備える。図３に示すように、デ
ジタルカメラ１３の撮像面（レンズ）は、筐体２１の裏面に設けられた略円形状の開口部
を介して外部に露出されている。

ＧＰＳ受信機１５は、アンテナ１４を介して取得したＧＰＳ衛星からの到来電波を基に
自機の位置（緯度、経度からなる絶対座標）を検出し、検出した位置を表す座標情報を生
成する。
方位センサ１６は、デジタルカメラ１３の撮像面（レンズ）の向きを示す方位（北の方
角を０度とした場合の方位角）を検出し、検出した方位を表す方位情報を生成する。
傾斜センサ１９は、デジタルカメラ１３の撮像面の姿勢が鉛直方向に対して傾いたこと
を検出すると、その旨を示す信号をシステムコントローラ２０に供給する。この信号の供
給を受けたシステムコントローラ２０は、ビューア装置の撮像姿勢が傾いている旨のメッ
セージをディスプレイ１２に表示させる。このメッセージを参照しつつ撮像を行うことで
、ユーザは、ビューア装置の適正な撮像姿勢を保つことができる。

ＲＯＭ１８には、案内対象物データベース１８ａと案内プログラム１８ｂとが予め記憶
されている。
図４は、案内対象物データベース１８ａのデータ構造図である。このデータベースは、
各々が１つの案内対象物と対応する複数のレコードの集合体である。このデータベースを
構成している１つのレコードは、「属性」と「位置」の２つのレコードを有している。
「属性」のフィールドには、各案内対象物の属性情報を記憶する。属性情報とは、各案
内対象物の名称、電話番号、営業時間といったような、各々の属性を表す情報を意味する
。
「位置」のフィールドには、各案内対象物毎に予め測位しておいた位置（緯度、経度か
らなる絶対座標）を示す座標情報を記憶する。

案内プログラム１８ｂは、本実施形態に特有の機能を実現させるための固有のプログラ
ムである。ＲＡＭ１７をワークエリアとして利用しつつ、システムコントローラ２０がこ
のプログラムを実行すると、以下に示す４つの機能が実現される。
ａ撮像エリア特定機能
これは、ＧＰＳ受信機１５が検出した位置と方位センサ１６が検出した方位の内容に基
づいて、デジタルカメラ１３が現在撮像している撮像エリアを特定する機能である。
ｂ抽出機能
これは、撮像エリアに内包される位置を示す座標情報を記憶している一又は複数のレコ
ードを案内対象物データベース１８ａから特定し、特定したレコードの「属性」のフィー
ルドから属性情報を抽出する機能である。
ｃ合成機能
これは、抽出機能により抽出された属性情報を画像情報が表す画像の所定の表示位置に
合成する機能である。
ｄ表示制御機能
これは、属性情報を表す文字列が合成された画像をディスプレイ１２に表示させる機能
である。

本実施形態の動作を説明する。
図５は、本実施形態の動作を示すフローチャートである。ユーザは、ビューア装置のデ
ィスプレイ１２に撮像姿勢が傾いている旨のメッセージが表示されていない状態で、その
撮像面（レンズ）を自らの進行方向に向けて撮像を行う。これにより、デジタルカメラ１
３が生成した画像情報がシステムコントローラ２０に供給されると、図に示す一連の処理
が実行される。

まず、システムコントローラ２０は、自らに供給された画像情報をＲＡＭ１７に記憶す
る（Ｓ１００）。
続いて、システムコントローラ２０は、ＧＰＳ受信機１５から、自機の現在の存在位置
を示す座標情報を取得し、ＲＡＭ１７に記憶する（Ｓ１１０）。

更に、方位センサ１６から、デジタルカメラ１３の撮像面の現在の向きを示す方位情報
を取得し、ＲＡＭ１７に記憶する（Ｓ１２０）。
システムコントローラ２０は、ＲＡＭ１７に記憶した座標情報と方位情報の内容を基に
、デジタルカメラ１３の現在の撮像エリアを特定する（Ｓ１３０）。

システムコントローラ２０は、案内対象物データベース１８ａの各レコードのうち、「
位置」のフィールドに記憶された座標情報が示す位置とステップ１１０でＲＡＭ１７に記
憶した座標情報が示す自機の位置との距離が所定値Ｌ以下となっているレコードを特定す
る（Ｓ１４０）。
続いて、システムコントローラ２０は、ステップ１４０にて特定した一又は複数のレコ
ードのうち、「位置」のフィールドに記憶された位置情報が示す位置が、ステップ１３０
で特定した撮像エリアに内包される位置となるレコードを特定する（Ｓ１５０）。

ステップ１４０及び１５０について図６を参照して更に説明する。図６は、ビューア装
置とその周辺の案内対象物との位置関係を表す２次元座標図である。この図において、ａ
乃至ｊの各アルファベットの記号は、案内対象物の位置を夫々示している。また、ビュー
ア装置から放射状に拡がっている矢印線ｐ及びｑはその撮像エリアの外延を表わしている
。更に、ビューア装置との距離が所定値Ｌになる位置を円により示している。ビューア装
置と各案内対象物との位置関係がこの図のようになっている場合、ステップ１３０では、
矢印線ｐとｑに挟まれた領域が撮像エリアとして特定されることになる。そして、続くス
テップ１４０では、円の内部に相当する領域にある案内対象物のレコードが案内対象物デ
ータベース１８ａから特定され、ステップ１５０では、図において斜線で塗り潰された領
域Ａの内部にある案内対象物のレコードがその中から更に特定されることになる。

システムコントローラ２０は、ステップ１５０で特定した一又は複数のレコードを、「
位置」のフィールドに記憶されている位置情報が示す位置と自機の位置との距離が遠いも
のから順番にソートする（Ｓ１６０）。
システムコントローラ２０は、ステップ１６０でソートしたレコードの１つを処理対象
として特定する（Ｓ１７０）。なお、この特定は昇順に行われる。従って、ステップ１６
０でソートした全レコードのうち、自機からの距離が最も遠い位置の位置情報を記憶して
いるレコードが最初の処理対象として特定されることになる。

システムコントローラ２０は、ステップ１７０にて処理対象として特定したレコードに
記憶されている座標情報と属性情報とをＲＡＭ１７に読み出す（Ｓ１８０）。
システムコントローラ２０は、ステップ１８０で読み出した属性情報をステップ１００
でＲＡＭ１７に記憶した画像情報が示す画像に合成する際の合成位置を決定する（Ｓ１９
０）。

このステップについて、図６を参照して更に説明する。各案内対象物とビューア装置と
の位置関係がこの図６に示すようになっている場合、ステップ１５０を実行した時点で、
ａ、ｃ、ｉの３つの案内対象物のレコードが特定されることは上述した。ここで、これら
３つの位置に着目すると、ｃは、ビューア装置の撮像面の正面方向にあるため画面の中央
付近に映り込んでくるはずである。また、ａとｉは、ビューア装置の画角の左端よりやや
内側の方向にあるためいずれも画面の左端付近に映り込んでくるはずである。
このため、本実施形態では、各案内対象物の属性情報を表示させる位置をそれら案内対
象物が実際に映り込んでくる画面内の表示位置と一致させるべく、画面内の表示位置と方
位との関係を定義したテーブルをＲＡＭ１７に準備する。そして、本ステップでは、ステ
ップ１８０で読み出した位置情報が示す位置に対する自機の方位を求めてからこのテーブ
ルを参照することによって、合成位置を決定している。

続いて、システムコントローラ２０は、ステップ１８０で読み出した属性情報をステッ
プ１００でＲＡＭ１７に記憶した画像情報が示す画像に合成する際の文字サイズを決定す
る（Ｓ２００）。
このステップについて、図６を参照して更に説明する。同図に示されたａとｉの案内対
象物はいずれもビューア装置の画角の左端よりやや内側の同じ方向にあるが、ａの方がビ
ューア装置との距離が近いため、より手前に映り込んでくるはずである。また、ｉは、ａ
を含めた手前の建物の大きさによっては、その陰に隠れて映りこんでこないこともありう
る。
このため、本実施形態では、各案内対象物とビューア装置との間の距離を属性情報の文
字サイズによって表すべく、自機からの距離と属性情報の文字サイズとの関係を定義した
テーブルをＲＡＭ１７に準備する。そして、本ステップでは、ステップ１８０で読み出し
た位置情報が示す位置と自機の位置との距離を求めてからこのテーブルを参照することに
よって、合成する属性情報の文字サイズを決定する。

システムコントローラ２０は、ステップ１００でＲＡＭ１７に記憶した画像情報が示す
画像内におけるステップ１９０で特定した合成位置に、ステップ１８０で読み出した属性
情報を表す文字を、ステップ２００で決定した文字サイズで合成する（Ｓ２１０）。
そして、ステップ１６０でソートした全レコードのうち、処理対象となっていないレコ
ードが残っているときは、ステップ１７０に戻って別のレコードを処理対象とし、以降の
処理を実行する。

ステップ１６０にてソートされたすべてのレコードを処理対象として上記一連の処理を
実行し終えると、システムコントローラ２０は、属性情報を表す文字列が合成された画像
をディスプレイ１２に表示させる。
図７は、ディスプレイ１２に表示させる画像の一例を示す図である。この画像では、手
前に位置する案内対象物の属性情報を奥に位置する案内対象物の属性情報よりも大きな文
字サイズで表示している。

以上説明した本実施形態では、ユーザの進行方向を撮像して画像が生成されると、その
画像に写り込んでいるはずの案内対象物の属性情報を案内対象物データベース１８ａから
読み出し、生成した画像に合成するようになっている。従って、ユーザは、ガイドブック
や地図などを参照しなくても、自らの進行方向を撮像するだけで、その方向にある案内対
象物の情報を容易に把握することができる。
また、本実施形態では、デジタルカメラ１３により得られたリアルな情報と、自機の位
置及び方位に応じて案内対象物データベース１８ａから抽出されたバーチャルな情報とを
重ね合せて表示するようになっているので、ユーザに対して、「拡張現実：仮想空間を現
実に投影あるいは対応させることによって、現実に対する知覚を情報的に拡張する」的な
要素を用い、より直感的な情報提供を行うことができる。
また、案内対象物データベース１８ａは、地図の画像データや道路情報（例えば、車が
通れるかあるいは人が歩けるかといった情報）などを使わずに構築されるため、本装置に
は既存のナビゲーションシステムのような大容量のメモリを組み込む必要がない。
更に、各案内対象物の属性情報を合成する表示位置は、自機の位置及び方位と各案内対
象物との位置関係に応じて決定されるようになっており、自機から案内対象物までの距離
が近いほど、より大きな文字サイズで属性情報が合成されるようになっている。従って、
ユーザは、案内対象物までの大まかな距離をその属性情報の文字サイズから推定すること
ができる。また、目的とするある案内対象物が手前の建物の陰に隠れて視認できないとい
った事情も、その案内対象物について表示されている属性情報の文字サイズから感覚的に
把握することができる。

（他の実施形態）
本願発明は、種々の変形実施が可能である。
上記実施形態では、撮像姿勢が傾いていない状態で撮像された画像に対してのみ、その
画像内に映り込んでいる案内対象物の属性情報が合成されるようになっていた。これは、
案内対象データベース１８ａにて各案内対象物と対を成している座標情報が、高さを排斥
した２次元座標系によってそれらの位置を特定するものであったためである。
これに対し、各案内対象物と対を成す座標情報が、３次元座標系によってそれら各案内
対象物の位置を特定するように構成してもよい。かかる変形例では、各案内対象物と対を
成す座標情報に、それら各案内対象物の位置を示す緯度、経度、及び高さの情報を内包さ
せる。一方で、システムコントローラ２０は、ＧＰＳ受信機１５が検出した位置、方位セ
ンサ１６が検出した方位、及び傾斜センサ１９が検出した傾斜量の内容を基に、デジタル
カメラ１３の撮像エリアを３次元座標系の座標情報として特定する。そして、特定した撮
像エリア内に位置する案内対象物のうち、自機との距離が所定値Ｌ以下となっている案内
対象物の属性情報を、デジタルカメラ１３から供給される画像に合成する。
この内容について、図８を参照して更に説明する。この図における曲線Ｘ、Ｙ及びＺは
、いずれもビューア装置との距離が所定値Ｌとなる空間の外延を表わしており、曲線Ｚに
よって切り取られる面は地面と平行な関係にあり、曲線Ｘを弧とする半円によって切り取
られる面は地面と直交する関係にある。また、ビューア装置から放射状に拡がっている矢
印線ｒ乃至ｕはその撮像エリアの外延を表わしている。
本変形例の場合、図５に示すステップ１３０では、矢印線ｒ乃至ｕをその外延とする空
間領域が撮像エリアとして特定される。そして、続くステップ１４０では、自機との距離
が所定値Ｌ以下となる領域、つまり、曲線Ｘ、Ｙ、及びＺをその表面とする球の内部に相
当する空間領域にある案内対象物のレコードが、案内対象物データベース１８ａから特定
され、ステップ１５０では、図８において斜線で塗り潰された空間領域Ｂの内部にある案
内対象物のレコードがその中から更に特定されることになる。
このような変形例によれば、ビューア装置の撮像姿勢を鉛直方向に固定する必要が無く
なり、撮像面の上下方向の傾きの変化に合わせて合成する属性情報の内容を切り替えると
いったことが可能となる。これにより、例えば、撮像対象をビルの各階の付近に合わせ、
そのビルの各階にある案内対象物の属性情報を個別に把握するといった用途に本装置を用
いることもできるようになる。
上記実施形態にかかるビューア装置の筐体は、図２及び３に示したような構成になって
いた。これに対し、ヘッドマウントディスプレイ型の筐体によって本装置を構成してもよ
い。かかる構成によれば、ユーザは、ビューア装置を自らの手に持って撮像する必要がな
くなるため、より使い易くなる。また、ディスプレイに透過される景色に属性情報を重ね
合わせることによって、本実施形態の効果を奏することができる。
また、ディスプレイ装置にカメラをつける必要も無くなり、さらには高額な大きなディ
スプレイも必要なくなる。更に、カメラで撮影された映像にバーチャルな文字データなど
を重ねる必要もなく、バーチャルな文字データを空間に配置できるという効果を奏するこ
とができる。

ビューア装置内部のハードウェア構成を示すブロック図である。 ビューア装置を正面上方から見た斜視図である。 ビューア装置を背面上方から見た斜視図である。 案内対象物データベースのデータ構造図である。 本実施形態の動作を示すフローチャートである。 ビューア装置と案内対象物との位置関係を表す図である。 ディスプレイに表示させる画像である。 撮像エリアと３次元座標系の関係を示す図である。

符号の説明

１１…操作子、１２…ディスプレイ、１３…デジタルカメラ、１４…アンテナ、１５…Ｇ
ＰＳ受信機、１６…方位センサ、１７…ＲＡＭ、１８…ＲＯＭ、１９…傾斜センサ、２０
…システムコントローラ、２１…筐体

Claims (4)

1. 各案内対象物の属性を示す属性情報とそれらの案内対象物の位置を示す座標情報とを各
   々対応付けて記憶した記憶手段と、
   被写体を撮像して画像情報を生成する撮像手段と、
   自機の位置を検出する位置検出手段と、
   前記撮像手段の撮像面の向きを示す方位を検出する方位検出手段と、
   前記検出した位置及び方位の内容に基づいて前記撮像手段の撮像エリアを特定する撮像
   エリア特定手段と、
   前記特定した撮像エリアに内包される位置を示す一又は複数の座標情報を前記記憶手段
   に記憶された各座標情報のうちから特定すると共に、特定した座標情報と対応付けられた
   属性情報を前記記憶手段から抽出する抽出手段と、
   前記抽出した属性情報を表す文字列を前記入力された画像情報が表す画像内の所定の表
   示位置に合成する合成手段と、
   前記文字列を合成した画像を表示する表示手段と
   を備えたビューア装置。
2. 請求項１に記載のビューア装置において、
   前記抽出手段は、
   前記特定した撮像エリアに内包される位置であって、前記位置検出手段が検出した位置
   との距離が所定の関係にある位置を示す一又は複数の座標情報を前記記憶手段に記憶され
   た各座標情報のうちから特定する
   ビューア装置。
3. 請求項１又は２に記載のビューア装置において、
   前記合成手段は、
   前記特定した一又は複数の座標情報が示す位置に対する前記検出した位置の向きを示す
   方位を計算し、計算した方位と前記方位検出手段が検出した方位との関係を基に、前記画
   像情報が表す画像内における所定の表示位置を特定する
   ビューア装置。
4. 各案内対象物の属性を示す属性情報とそれらの案内対象物の位置を示す座標情報とを各
   々対応付けて記憶した記憶手段と、
   被写体を撮像して画像情報を生成する撮像手段と、
   自機の位置を検出する位置検出手段と、
   前記撮像手段の撮像面の向きを示す方位を検出する方位検出手段と、
   表示手段と
   を備えたコンピュータ装置に、
   前記検出した位置及び方位の内容に基づいて前記撮像手段の撮像エリアを特定する撮像
   エリア特定機能と、
   前記特定した撮像エリアに内包される位置を示す一又は複数の座標情報を前記記憶手段
   に記憶された各座標情報のうちから特定すると共に、特定した座標情報と対応付けられた
   属性情報を前記記憶手段から抽出する抽出機能と、
   前記抽出した属性情報を表す文字列を前記入力された画像情報が表す画像内の所定の表
   示位置に合成する合成機能と、
   前記文字列を合成した画像を前記表示手段に表示させる表示制御機能と
   を実現させるプログラム。

Images