JP2001076168A - 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法 - Google Patents

情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法

Info

Publication number
JP2001076168A
JP2001076168A JP24879799A JP24879799A JP2001076168A JP 2001076168 A JP2001076168 A JP 2001076168A JP 24879799 A JP24879799 A JP 24879799A JP 24879799 A JP24879799 A JP 24879799A JP 2001076168 A JP2001076168 A JP 2001076168A
Authority
JP
Japan
Prior art keywords
image
data
current position
information terminal
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP24879799A
Other languages
English (en)
Inventor
Megumi Nakano
恵 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP24879799A priority Critical patent/JP2001076168A/ja
Publication of JP2001076168A publication Critical patent/JP2001076168A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 携帯が容易で、実際の現場の風景にCG画像
を重畳して表示する。 【解決手段】 実際の風景と画像データにより得られる
画像とをユーザの視線方向および情報端末装置の現在位
置に基づいて合成し、表示するので、ユーザは、合成画
像を実風景の中を移動しつつ、眺める様な感覚で見るこ
とが可能となり、仮想的な映像を実風景の中で、より現
実的に把握することが可能となる。これにより実際には
見ることが出来ない、未来は古の状況を再現して見るこ
とが可能となる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、情報端末装置、デ
ータベースサーバ装置、画像表示システムおよびそれら
の制御方法に係り、特にリアルタイムで視聴者の視線方
向にあわせた画像表示を行わせる画像表示技術に関す
る。
【従来の技術】従来においては、住宅建築を行うような
場合に、建築を依頼したユーザは実際に住宅が完成する
までは、その使い勝手については、体験することはでき
なかった。従って、実際に住宅が完成するまでは、ユー
ザは設計図面に基づいて使い勝手を想像するだけであっ
た。このため、実際にできあがった住宅の使い勝手と想
像していた住宅の使い勝手との間でギャップが生じるこ
とが多いという問題点があった。また、想像した使い勝
手により設計図面に修正を施したとしても、必ずしも、
意図した効果を得られるとは限らなかった。
【0002】一方、近年コンピュータを用いた画像表示
技術、いわゆる、コンピュータグラフィクス(以下、C
Gという。)は急激に発達しており、実際にない映像や
状況をコンピュータ上で手軽に再現することが可能とな
ってきている。そこで、上述の住宅設計の場合に、予め
CAD(Computer-Aided Design)システムなどにより
作成した画像データを用いて、CGとして表示するシス
テムが提案されている(特開平9−106415号公報
参照)。特開平9−106415号公報記載の技術によ
れば、CG画像の作成表示設備は、周囲を仕切られた略
暗室状の鑑賞室と、鑑賞室内に配置されて建築物に関す
る動画または静止画であるCG画像を表示する表示装置
と、表示しようとする建築物について予め作成された画
像データ(CADデータ)に基づいて、演算処理を行
い、表すべきCG画像に対応するCG画像用データを生
成し、表示装置に出力する演算装置と、を備えている。
【0003】上記従来のシステムにおいては、表示を行
うべき建築物に関する画像データ(CADデータ)は、
予めCADシステムにより作成され、鑑賞室内で専門の
オペレータあるいはユーザ自身が演算装置を操作し、画
像データに基づいてレンダリング等の所定の画像演算処
理を行うことにより、CG画像に対応するCG画像デー
タを生成する。生成されたCG画像データは鑑賞室内に
配置された表示装置に出力され、表示装置の表示画面に
は、建築物に関する動画または静止画が表示される。こ
れによりユーザは、表示装置に表示される動画あるいは
静止画を鑑賞し、建築物の各部について詳細な検討、評
価を行う構成となっていた。
【発明が解決しようとする課題】上記従来のシステムに
おいては、動画あるいは静止画の表示は、CG画像用デ
ータにのみ基づいて行っており、実際の建築現場におけ
る建築物の完成時の雰囲気などをユーザが把握したり、
工事現場などで、設計イメージを確認することは非常に
困難であった。
【0004】特にCG画像データの生成は鑑賞室内に固
定的に設置された大がかりな演算装置(コンピュータ装
置)が必要であり、気軽に室外に持ち出して画像を生成
するような用い方は困難であった。同様にして、遺跡や
すでに存在しない建築物の調査、研究などにおいては、
それまでの調査、研究で得られた情報に基づいて遺跡の
状況や建築物を実際の風景などに重ね合わせて表示する
ことができれば、新たな発見をすることも可能であると
考えられるが、このような用途に適したシステムは実現
されていない。そこで、本発明の目的は、携帯が容易
で、実際の現場の風景にCG画像を重畳して表示するこ
とを可能とすべく、携帯型の情報端末装置、データベー
スサーバ装置、画像表示システムおよびそれらの制御方
法を提供することにある。
【0005】
【課題を解決するための手段】上記課題を解決するた
め、請求項1記載の構成は、通信回線を介してデータベ
ースサーバ装置に接続される情報端末装置において、当
該情報端末装置の現在位置を検出し現在位置データを出
力する現在位置検出手段と、前記情報端末装置を使用し
ているユーザの視線方向を検出し、視線方向データを出
力する視線方向検出手段と、前記現在位置データおよび
前記視線方向データを前記通信回線を介して前記データ
ベースサーバ装置に送信するデータ送信手段と、送信し
た前記現在位置データおよび前記視線方向データに対応
して表示すべき画像である表示対象画像に対応する画像
データを受信する表示画像受信手段と、前記画像データ
に基づいて前記表示対象画像を前記視線方向の実風景上
に重畳して表示する表示装置と、を備えたことを特徴と
している。
【0006】請求項2記載の構成は、通信回線を介して
データベースサーバ装置に接続される情報端末装置にお
いて、当該情報端末装置の現在位置を検出し現在位置デ
ータを出力する現在位置検出手段と、前記情報端末装置
を使用しているユーザの視線方向を検出し、視線方向デ
ータを出力する視線方向検出手段と、前記現在位置デー
タを前記通信回線を介して前記データベースサーバ装置
に送信するデータ送信手段と、送信した前記現在位置デ
ータに対応する画像データを受信する画像データ受信手
段と、前記画像データを記憶する記憶手段と、前記画像
データおよび前記視線方向データに基づいて表示画像デ
ータを生成する画像生成手段と、生成した前記表示画像
データに対応する画像である表示対象画像を前記視線方
向の実風景上に重畳して表示する表示装置と、を備えた
ことを特徴としている。
【0007】請求項3記載の構成は、請求項1または請
求項2記載の構成において、前記表示装置は、前記表示
対象画像に対応するテキスト情報などの各種告知情報を
さらに重畳して表示することを特徴としている。
【0008】請求項4記載の構成は、請求項1ないし請
求項3のいずれかに記載の構成において、前記表示対象
画像は、完成予定図に対応する画像、地下あるいは壁面
埋設設備に対応する画像、古代遺跡の画像あるいは建築
物の建設当時の再現画像であることを特徴としている。
【0009】請求項5記載の構成は、通信回線を介して
情報端末装置が接続されるデータベースサーバ装置にお
いて、前記情報端末装置から送信される当該情報端末装
置の現在位置に対応する現在位置データおよび当該情報
端末装置を使用しているユーザの視線方向に対応する視
線方向データを受信するデータ受信手段と、画像基本デ
ータを記憶する画像基本データ記憶手段と、前記現在位
置データおよび前記視線方向データに対応する前記画像
基本データを前記画像基本データ記憶手段から読み出
し、前記現在位置データおよび前記視線方向データに対
応して表示すべき画像である表示対象画像に対応する画
像データを生成する画像データ生成手段と、生成した前
記画像データを送信する画像データ送信手段と、を備え
たことを特徴としている。
【0010】請求項6記載の構成は、通信回線を介して
情報端末装置が接続されるデータベースサーバ装置にお
いて、前記情報端末装置から送信される当該情報端末装
置の現在位置に対応する現在位置データを受信するデー
タ受信手段と、画像基本データを記憶する画像基本デー
タ記憶手段と、前記現在位置データに対応する前記画像
基本データを前記画像基本データ記憶手段から読み出す
読出手段と、読み出した前記画像基本データを表示対象
画像に対応する画像データとして前記情報端末装置に送
信する画像データ送信手段と、を備えたことを特徴とし
ている。
【0011】請求項7記載の構成は、請求項5または請
求項6記載の構成において、前記表示対象画像は、完成
予定図に対応する画像、地下あるいは壁面埋設設備に対
応する画像、古代遺跡の画像あるいは建築物の建設当時
の再現画像であることを特徴としている。
【0012】請求項8記載の構成は、当該情報端末装置
の現在位置を検出し現在位置データを出力する現在位置
検出手段、前記情報端末装置を使用しているユーザの視
線方向を検出し、視線方向データを出力する視線方向検
出手段、前記現在位置データおよび前記視線方向データ
を前記通信回線を介して送信するデータ送信手段、送信
した前記現在位置データおよび前記視線方向データに対
応して表示すべき画像である表示対象画像に対応する画
像データを受信する表示画像受信手段および前記画像デ
ータに基づいて前記表示対象画像を前記視線方向の実風
景上に重畳して表示する表示装置を有する情報端末装置
と、通信回線を介して前記情報端末装置が接続され、前
記情報端末装置から送信された前記現在位置データおよ
び前記視線方向データを受信するデータ受信手段、画像
基本データを記憶する画像基本データ記憶手段、前記現
在位置データおよび前記視線方向データに対応する前記
画像基本データを前記画像基本データ記憶手段から読み
出し、前記現在位置データおよび前記視線方向データに
対応して表示すべき画像である表示対象画像に対応する
画像データを生成する画像データ生成手段および生成し
た前記画像データを前記情報端末装置に送信する画像デ
ータ送信手段を有するデータベースサーバ装置と、を備
えたことを特徴としている。
【0013】請求項9記載の構成は、当該情報端末装置
の現在位置を検出し現在位置データを出力する現在位置
検出手段、前記情報端末装置を使用しているユーザの視
線方向を検出し、視線方向データを出力する視線方向検
出手段、前記現在位置データを前記通信回線を介して前
記データベースサーバ装置に送信するデータ送信手段
と、送信した前記現在位置データに対応する画像データ
を受信する画像データ受信手段、前記画像データを記憶
する記憶手段、前記画像データおよび前記視線方向デー
タに基づいて表示画像データを生成する画像生成手段お
よび生成した前記表示画像データに対応する画像である
表示対象画像を前記視線方向の実風景上に重畳して表示
する表示装置を有する情報端末装置と、通信回線を介し
て前記情報端末装置が接続され、前記情報端末装置から
送信される前記現在位置データを受信するデータ受信手
段、画像基本データを記憶する画像基本データ記憶手
段、前記現在位置データに対応する前記画像基本データ
を前記画像基本データ記憶手段から読み出す読出手段お
よび読み出した前記画像基本データを表示対象画像に対
応する画像データとして前記情報端末装置に送信する画
像データ送信手段を有するデータベースサーバ装置と、
を備えたことを特徴としている。
【0014】請求項10記載の構成は、通信回線を介し
てデータベースサーバ装置に接続される情報端末装置の
制御方法において、当該情報端末装置の現在位置を検出
し現在位置データを出力する現在位置検出工程と、前記
情報端末装置を使用しているユーザの視線方向を検出
し、視線方向データを出力する視線方向検出工程と、前
記現在位置データおよび前記視線方向データを前記通信
回線を介して前記データベースサーバ装置に送信するデ
ータ送信工程と、送信した前記現在位置データおよび前
記視線方向データに対応して表示すべき画像である表示
対象画像に対応する画像データを受信する表示画像受信
工程と、前記画像データに基づいて前記表示対象画像を
前記視線方向の実風景上に重畳して表示する表示工程
と、を備えたことを特徴としている。
【0015】請求項11記載の構成は、通信回線を介し
てデータベースサーバ装置に接続される情報端末装置の
制御方法において、当該情報端末装置の現在位置を検出
し現在位置データを出力する現在位置検出工程と、前記
情報端末装置を使用しているユーザの視線方向を検出
し、視線方向データを出力する視線方向検出工程と、前
記現在位置データを前記通信回線を介して前記データベ
ースサーバ装置に送信するデータ送信工程と、送信した
前記現在位置データに対応する画像データを受信する画
像データ受信工程と、前記画像データを記憶する記憶工
程と、前記画像データおよび前記視線方向データに基づ
いて表示画像データを生成する画像生成工程と、生成し
た前記表示画像データに対応する画像である表示対象画
像を前記視線方向の実風景上に重畳して表示する表示工
程と、を備えたことを特徴としている。
【0016】請求項12記載の構成は、画像基本データ
を予め記憶している前記画像基本データ記憶装置を有
し、通信回線を介して情報端末装置が接続されるデータ
ベースサーバ装置の制御方法において、前記情報端末装
置から送信される当該情報端末装置の現在位置に対応す
る現在位置データおよび当該情報端末装置を使用してい
るユーザの視線方向に対応する視線方向データを受信す
るデータ受信工程と、前記現在位置データおよび前記視
線方向データに対応する前記画像基本データを前記画像
基本データ記憶装置から読み出し、前記現在位置データ
および前記視線方向データに対応して表示すべき画像で
ある表示対象画像に対応する画像データを生成する画像
データ生成工程と、生成した前記画像データを送信する
画像データ送信工程と、を備えたことを特徴としてい
る。
【0017】請求項13記載の構成は、画像基本データ
を予め記憶している画像基本データ記憶装置を有し、通
信回線を介して情報端末装置が接続されるデータベース
サーバ装置の制御方法において、前記情報端末装置から
送信される当該情報端末装置の現在位置に対応する現在
位置データを受信するデータ受信工程と、前記現在位置
データに対応する前記画像基本データを前記画像基本デ
ータ記憶装置から読み出す読出工程と、読み出した前記
画像基本データを表示対象画像に対応する画像データと
して前記情報端末装置に送信する画像データ送信工程
と、を備えたことを特徴としている。
【0018】
【発明の実施の形態】次に図面を参照して本発明の好適
な実施形態について説明する。 [1] 画像表示システムの概要構成 図1に実施形態の画像表示システムの概要構成図を示
す。画像表示システム10は、大別すると、画像データ
ベースが格納された画像データベースサーバ装置11
と、画像データベースサーバ装置11からネットワーク
12、交換局13および無線基地局14を介して送信さ
れる表示画像データに基づいてCG画像表示を行う情報
端末装置15と、を備えて構成されている。
【0019】[2] 情報端末装置の概要構成 図2に情報端末装置15の概要構成ブロック図を示す。
情報端末装置15は、大別すると、無線基地局14を介
して画像データベースサーバ装置11から送信される表
示画像データDCGを受信する通信インターフェースとし
て機能する携帯電話装置21と、携帯電話装置21を介
して受信した表示画像データDCGに基づいて画像表示制
御を行う画像表示制御装置22と、画像表示制御装置2
2の制御下で実際の風景(実風景)にCG画像を重畳し
て表示する眼鏡型表示装置23と、を備えて構成されて
いる。眼鏡型表示装置23のフレームには、ユーザの視
線方向を検出するための視線方向検出センサ25が設け
られている。視線方向検出センサ25は、より具体的に
は、3次元方向の動きを検出すべく複数の加速度センサ
を用いて構成したり、ジャイロセンサを用いて構成した
り、予めユーザが定めた基準視線方向(例えば、真北方
向)に対する相対的な視線方向を検出できるセンサで有
れば、何を用いてもかまわない。
【0020】画像表示制御装置22は、携帯電話装置2
1との間のインターフェース動作を行う通信インターフ
ェース部31と、画像表示制御装置22全体の制御を行
うCPU32と、各種制御用プログラムおよび各種制御
用データなどが格納されたROM33と、各種データを
一時的に格納し、ワークエリアとして用いられるRAM
34と、画像データベースサーバ装置11から送信され
る表示画像データDCG等の大量のデータを格納するため
の大容量半導体記憶装置あるいは高速ハードディスクな
どの外部記憶装置35と、液晶表示装置などで構成さ
れ、各種設定画面などを表示するためのディスプレイ3
6と、ユーザが各種設定、操作を行うためのキーパッド
37と、眼鏡型表示装置23との間でインターフェース
動作を行う画像インターフェース部37と、視線方向検
出センサ25との間でインターフェース動作を行うセン
サインターフェース部39と、当該画像表示制御装置2
2の3次元位置(例えば、緯度、経度、高度)をGPS
(Global Positioning System)衛星からの測位用電波
を受信して検出するGPS部40と、通信インターフェ
ース部31、CPU32、ROM33、RAM34、外
部記憶装置35、ディスプレイ36、キーパッド37、
画像インターフェース部37、センサインターフェース
部39およびGPS部40の相互間を接続するバス41
と、を備えて構成されている。
【0021】[3] 眼鏡型表示装置の原理 図3に眼鏡型表示装置の基本原理説明図を示す。眼鏡型
表示装置23は、原理的には、プリズム45と、プリズ
ム45の1面に設けられた液晶ディスプレイなどのディ
スプレイ部46と、を備えて構成されている。ユーザが
眼鏡型表示装置23を装着した場合には、図3に示すよ
うに、プリズム45を透過した実風景(図では、地面お
よび樹木)にディスプレイ部46に表示され、プリズム
45により反射されたCG画像(図では、家)が重畳さ
れた合成画像を見ることが可能となる。なお、この構成
は基本原理であり、実風景についてもビデオカメラで撮
影した画像とし、ディスプレイ上で合成することによっ
ても同様の効果を得ることが可能である。
【0022】[4] 実施形態の動作 [4.1] 初期設定 まず情報端末装置15のユーザは、眼鏡型表示装置23
を通常の眼鏡と同様に装着し、視線基準方向を設定す
る。より具体的には、真北方向、かつ、水平方向を向い
て、表示制御装置22のキーパッド37の図示しない視
線基準方向設定ボタンを押す。これにより初期の視線方
向は、真北方向であり、その水平方向の傾きは0[゜]
であるものとして視線方向データとして記憶される。
【0023】[4.2] 画像表示動作 次にユーザは、キーパッド37を操作して、携帯電話装
置21に発呼を行わせ、無線基地局14、交換局13お
よびネットワーク12を介して画像データベースサーバ
装置11に接続する。次にユーザは、ディスプレイ36
を見ながらキーパッド37を操作して、画像データベー
スサーバ装置11から送信させるべき画像データを指示
する。これと並行して視線方向検出センサ25は、視線
方向検出信号SEを出力しセンサインターフェース部3
9およびバス41を介して、視線方向検出データDEと
してCPU32に通知する。また、GPS部40は、当
該画像表示制御装置22の3次元位置をGPS衛星から
の測位用電波を受信して検出し、現在位置データDPを
バス41を介して、CPU32に通知する。これにより
CPU32は、通信インターフェース部31および携帯
電話装置21を介して画像データベースサーバ装置11
に対し、現在位置データDPおよび視線方向検出データ
DEを送信する。
【0024】画像データベースサーバ装置11は、画像
基本データ記憶装置である外部記憶装置11Aから現在
位置データDPに対応する画像基本データを読み出し、
視線方向検出データに基づいて眼鏡型表示装置23に表
示すべき画像である表示対象画像に対応する画像データ
DGを生成し、ネットワーク12、交換局13、無線基
地局14を介して、情報端末装置15の携帯電話装置2
1に送信する。これにより携帯電話装置21は、画像デ
ータDGを受信し、通信インターフェース部31を介し
て外部記憶装置35内に格納する。これによりCPU3
2は、外部記憶装置35からリアルタイムで画像データ
DGを読み出し、画像インターフェース部38を介して
眼鏡型表示装置23に表示を行う。これにより図3で示
したように、ユーザは、プリズム45を透過した実風景
(図では、地面および樹木)にCG画像(図では、家)
が重畳された合成画像を見ることができる。
【0025】この場合において、ユーザが視線方向を変
えると、視線方向検出データDEが変化する。この変化
した視線方向検出データDEが再び画像データベースサ
ーバ装置11側に送信され、変化後の視線方向検出デー
タDEに対応する画像データDGが画像データ部素サーバ
装置11側から送信されてくるので、ユーザにとって
は、自己の視線方向に対応する画像が常に眼鏡型表示装
置23の表示画面に表示され、あたかも実風景にCG画
像(図では、家)が重畳された合成画像を実風景の様な
感覚で見ることが可能となる。同様にユーザが位置を変
えると、情報端末装置15も位置を変えることとなり、
GPS部40は、当該画像表示制御装置22の新たな3
次元位置をGPS衛星からの測位用電波を受信して検出
し、現在位置データDPをバス41を介して、CPU3
2に通知し、この変化した現時位置データDPが再び画
像データベースサーバ装置11側に送信され、変化後の
現時位置データDPに対応する画像データDGが画像デー
タ部素サーバ装置11側から送信されてくるので、ユー
ザにとっては、自己の現在位置に連動した画像が常に眼
鏡型表示装置23の表示画面に表示され、あたかも実風
景の中を移動している様な感覚で見ることが可能とな
る。
【0026】[4.3] 画像表示の具体例 ここで、画像表示の具体例について図4を参照して説明
する。実風景を正面から見た場合の図が、図4(a)で
あり、樹木が1本植えられている。この配置を上空側か
ら見た図が、図4(b)であるものとする。一方、画像
データDGに対応するCG画像の正面図は、図4(c)
に示すようなものであり、上面図は図4(d)に示すよ
うなものであるとする。これらの条件の下、ユーザが
の位置から矢印方向を視線方向とする場合、ユーザが
の方向から矢印方向を視線方向とする場合、ユーザが
の位置から上空を見上げた場合の表示画像について説明
する。
【0027】[4.3.1] ユーザがの位置から矢
印方向を視線方向とする場合 この場合には、図4(a)および図4(c)の画像が単
純に合成され、ユーザは図4(e)の画像を見ることと
なる。すなわち、図4(e)に示すように、ユーザは、
仮想建造物の右側に実際の樹木が配置された画像を見る
こととなり、仮想建造物の大きさなどを容易に把握する
ことができる。
【0028】[4.3.2] ユーザがの位置から矢
印方向を視線方向とする場合 この場合には、図4(c)および図4(d)の画像に対
応する画像基本データから計算により生成された画像デ
ータDGに基づいて、ユーザは図4(f)の画像を見る
こととなり、斜め方向からの仮想建造物を眺めることが
できる。
【0029】[4.3.3] ユーザがの位置から上
空を見上げた場合 この場合には、実風景においては空が見えるはずである
が、図4(c)および図4(d)の画像に対応する画像
基本データから計算により生成された画像データDGに
より、ユーザは図4(g)の画像を見ることとなり、仮
想建造物の真下から見上げた状態で仮想建造物を眺める
ことができる。
【0030】[5] 第1実施形態の効果 以上の説明のように、本実施形態によれば、実際の風景
とCGにより得られる画像とをユーザの視線方向および
ユーザの現在位置(実際には情報端末装置の現在位置)
に基づいて合成し、表示するので、合成画像を実風景の
中を移動しつつ、眺める様な感覚で見ることが可能とな
る。
【0031】[6] 変形例 [6.1] 第1変形例 以上の説明においては、画像データDGをデータベース
サーバ装置11側で生成していたが、現在位置データD
Pに対応する画像基本データを画像データベースサーバ
装置11側から情報端末装置15側にダウンロードし、
情報端末装置15側で画像データDGを生成するように
構成することも可能である。また、データベースサーバ
装置11側で生成した画像データDGに加えて情報端末
装置15側で生成した画像をさらに重畳するように構成
することも可能である。
【0032】[6.2] 第2変形例 以上の説明においては、情報端末装置15を、携帯電話
装置21、表示制御装置22および眼鏡型表示装置23
の3装置で構成していたが、携帯電話装置21および表
示制御装置22を一体化して眼鏡型表示装置23との2
つの装置で構成したり、全てを一体化して眼鏡型情報端
末装置として構成することも可能である。
【0033】[6.3] 第3変形例 以上の説明においては、仮想建造物の場合を例として説
明したが、実際の風景に重畳すべき表示対象画像として
は、完成予定図に対応する画像であったり、配管工事や
配線工事に用いるべく、地下あるいは壁面埋設設備に対
応する画像であったり、遺跡発掘現場などにおける古代
遺跡の推定画像であったり、あるいは、焼失してしまっ
た五重塔などのように建築物の建設当時の再現画像であ
ったり、未来都市の想像図であったり、実風景に重畳さ
せることに意味がある画像で有れば何でも構わない。
【0034】[6.4] 第4変形例 以上の説明においては、実風景に重畳するのは、画像だ
けであったが、画像に加えてあるいは画像に代えて、テ
キスト情報などの告知情報を表示するように構成するこ
とも可能である。例えば、古代遺跡を表示するような場
合に、仮想建造物に加えて名称および歴史的な事実など
の簡単な捕捉説明などを表示するようにすれば、学習装
置として用いることも可能である。
【0035】
【発明の効果】本発明によれば、実際の風景と画像デー
タにより得られる画像とをユーザの視線方向および情報
端末装置の現在位置に基づいて合成し、表示するので、
ユーザは、合成画像を実風景の中を移動しつつ、眺める
様な感覚で見ることが可能となり、仮想的な映像を実風
景の中で、より現実的に把握することが可能となる。こ
れにより実際には見ることが出来ない、未来または古の
状況を再現して見ることが可能となる。
【図面の簡単な説明】
【図1】 画像表示システムの概要構成ブロック図であ
る。
【図2】 情報端末装置の概要構成ブロック図である。
【図3】 眼鏡型表示装置の原理説明図である。
【図4】 表示の具体例の説明図である。
【符号の説明】
10…画像表示システム 11…画像データベースサーバ装置 12…ネットワーク 13…交換局 14…無線基地局 15…情報端末装置 21…携帯電話装置 22…表示制御装置 23…眼鏡型表示装置 25…視線方向検出センサ 31…通信インターフェース部 32…CPU 33…ROM 34…RAM 35…外部記憶装置 36…ディスプレイ 37…キーパッド 38…画像インターフェース部 39…センサインターフェース部 40…GPS部 41…バス
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2C032 HB22 HB25 HC05 HC11 HC23 HC27 HD04 5B050 AA03 BA09 CA08 EA19 EA27 FA02 GA08 5C061 AA01 AA21 AB08 AB24 5K067 AA21 BB21 DD52 EE01 EE02 EE10 EE16 FF23 GG01 GG11 HH05 JJ52 JJ56

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 通信回線を介してデータベースサーバ装
    置に接続される情報端末装置において、 当該情報端末装置の現在位置を検出し現在位置データを
    出力する現在位置検出手段と、 前記情報端末装置を使用しているユーザの視線方向を検
    出し、視線方向データを出力する視線方向検出手段と、 前記現在位置データおよび前記視線方向データを前記通
    信回線を介して前記データベースサーバ装置に送信する
    データ送信手段と、 送信した前記現在位置データおよび前記視線方向データ
    に対応して表示すべき画像である表示対象画像に対応す
    る画像データを受信する表示画像受信手段と、前記画像
    データに基づいて前記表示対象画像を前記視線方向の実
    風景上に重畳して表示する表示装置と、 を備えたことを特徴とする情報端末装置。
  2. 【請求項2】 通信回線を介してデータベースサーバ装
    置に接続される情報端末装置において、 当該情報端末装置の現在位置を検出し現在位置データを
    出力する現在位置検出手段と、 前記情報端末装置を使用しているユーザの視線方向を検
    出し、視線方向データを出力する視線方向検出手段と、 前記現在位置データを前記通信回線を介して前記データ
    ベースサーバ装置に送信するデータ送信手段と、 送信した前記現在位置データに対応する画像データを受
    信する画像データ受信手段と、 前記画像データを記憶する記憶手段と、 前記画像データおよび前記視線方向データに基づいて表
    示画像データを生成する画像生成手段と、 生成した前記表示画像データに対応する画像である表示
    対象画像を前記視線方向の実風景上に重畳して表示する
    表示装置と、 を備えたことを特徴とする情報端末装置。
  3. 【請求項3】 請求項1または請求項2記載の情報端末
    装置において、 前記表示装置は、前記表示対象画像に対応するテキスト
    情報などの各種告知情報をさらに重畳して表示すること
    を特徴とする情報端末装置。
  4. 【請求項4】 請求項1ないし請求項3のいずれかに記
    載の情報端末装置において、 前記表示対象画像は、完成予定図に対応する画像、地下
    あるいは壁面埋設設備に対応する画像、古代遺跡の画像
    あるいは建築物の建設当時の再現画像であることを特徴
    とする情報端末装置。
  5. 【請求項5】 通信回線を介して情報端末装置が接続さ
    れるデータベースサーバ装置において、 前記情報端末装置から送信される当該情報端末装置の現
    在位置に対応する現在位置データおよび当該情報端末装
    置を使用しているユーザの視線方向に対応する視線方向
    データを受信するデータ受信手段と、 画像基本データを記憶する画像基本データ記憶手段と、 前記現在位置データおよび前記視線方向データに対応す
    る前記画像基本データを前記画像基本データ記憶手段か
    ら読み出し、前記現在位置データおよび前記視線方向デ
    ータに対応して表示すべき画像である表示対象画像に対
    応する画像データを生成する画像データ生成手段と、 生成した前記画像データを送信する画像データ送信手段
    と、 を備えたことを特徴とするデータベースサーバ装置。
  6. 【請求項6】 通信回線を介して情報端末装置が接続さ
    れるデータベースサーバ装置において、 前記情報端末装置から送信される当該情報端末装置の現
    在位置に対応する現在位置データを受信するデータ受信
    手段と、 画像基本データを記憶する画像基本データ記憶手段と、 前記現在位置データに対応する前記画像基本データを前
    記画像基本データ記憶手段から読み出す読出手段と、 読み出した前記画像基本データを表示対象画像に対応す
    る画像データとして前記情報端末装置に送信する画像デ
    ータ送信手段と、 を備えたことを特徴とするデータベースサーバ装置。
  7. 【請求項7】 請求項5または請求項6記載のデータベ
    ースサーバ装置において、 前記表示対象画像は、完成予定図に対応する画像、地下
    あるいは壁面埋設設備に対応する画像、古代遺跡の画像
    あるいは建築物の建設当時の再現画像であることを特徴
    とするデータベースサーバ装置。
  8. 【請求項8】 当該情報端末装置の現在位置を検出し現
    在位置データを出力する現在位置検出手段、前記情報端
    末装置を使用しているユーザの視線方向を検出し、視線
    方向データを出力する視線方向検出手段、前記現在位置
    データおよび前記視線方向データを前記通信回線を介し
    て送信するデータ送信手段、送信した前記現在位置デー
    タおよび前記視線方向データに対応して表示すべき画像
    である表示対象画像に対応する画像データを受信する表
    示画像受信手段および前記画像データに基づいて前記表
    示対象画像を前記視線方向の実風景上に重畳して表示す
    る表示装置を有する情報端末装置と、 通信回線を介して前記情報端末装置が接続され、前記情
    報端末装置から送信された前記現在位置データおよび前
    記視線方向データを受信するデータ受信手段、画像基本
    データを記憶する画像基本データ記憶手段、前記現在位
    置データおよび前記視線方向データに対応する前記画像
    基本データを前記画像基本データ記憶手段から読み出
    し、前記現在位置データおよび前記視線方向データに対
    応して表示すべき画像である表示対象画像に対応する画
    像データを生成する画像データ生成手段および生成した
    前記画像データを前記情報端末装置に送信する画像デー
    タ送信手段を有するデータベースサーバ装置と、 を備えたことを特徴とする画像表示システム。
  9. 【請求項9】 当該情報端末装置の現在位置を検出し現
    在位置データを出力する現在位置検出手段、前記情報端
    末装置を使用しているユーザの視線方向を検出し、視線
    方向データを出力する視線方向検出手段、前記現在位置
    データを前記通信回線を介して前記データベースサーバ
    装置に送信するデータ送信手段と、送信した前記現在位
    置データに対応する画像データを受信する画像データ受
    信手段、前記画像データを記憶する記憶手段、前記画像
    データおよび前記視線方向データに基づいて表示画像デ
    ータを生成する画像生成手段および生成した前記表示画
    像データに対応する画像である表示対象画像を前記視線
    方向の実風景上に重畳して表示する表示装置を有する情
    報端末装置と、 通信回線を介して前記情報端末装置が接続され、前記情
    報端末装置から送信される前記現在位置データを受信す
    るデータ受信手段、画像基本データを記憶する画像基本
    データ記憶手段、前記現在位置データに対応する前記画
    像基本データを前記画像基本データ記憶手段から読み出
    す読出手段および読み出した前記画像基本データを表示
    対象画像に対応する画像データとして前記情報端末装置
    に送信する画像データ送信手段を有するデータベースサ
    ーバ装置と、 を備えたことを特徴とする画像表示システム。
  10. 【請求項10】 通信回線を介してデータベースサーバ
    装置に接続される情報端末装置の制御方法において、 当該情報端末装置の現在位置を検出し現在位置データを
    出力する現在位置検出工程と、 前記情報端末装置を使用しているユーザの視線方向を検
    出し、視線方向データを出力する視線方向検出工程と、 前記現在位置データおよび前記視線方向データを前記通
    信回線を介して前記データベースサーバ装置に送信する
    データ送信工程と、 送信した前記現在位置データおよび前記視線方向データ
    に対応して表示すべき画像である表示対象画像に対応す
    る画像データを受信する表示画像受信工程と、前記画像
    データに基づいて前記表示対象画像を前記視線方向の実
    風景上に重畳して表示する表示工程と、 を備えたことを特徴とする情報端末装置の制御方法。
  11. 【請求項11】 通信回線を介してデータベースサーバ
    装置に接続される情報端末装置の制御方法において、 当該情報端末装置の現在位置を検出し現在位置データを
    出力する現在位置検出工程と、 前記情報端末装置を使用しているユーザの視線方向を検
    出し、視線方向データを出力する視線方向検出工程と、 前記現在位置データを前記通信回線を介して前記データ
    ベースサーバ装置に送信するデータ送信工程と、 送信した前記現在位置データに対応する画像データを受
    信する画像データ受信工程と、 前記画像データを記憶する記憶工程と、 前記画像データおよび前記視線方向データに基づいて表
    示画像データを生成する画像生成工程と、 生成した前記表示画像データに対応する画像である表示
    対象画像を前記視線方向の実風景上に重畳して表示する
    表示工程と、 を備えたことを特徴とする情報端末装置の制御方法。
  12. 【請求項12】 画像基本データを予め記憶している前
    記画像基本データ記憶装置を有し、通信回線を介して情
    報端末装置が接続されるデータベースサーバ装置の制御
    方法において、 前記情報端末装置から送信される当該情報端末装置の現
    在位置に対応する現在位置データおよび当該情報端末装
    置を使用しているユーザの視線方向に対応する視線方向
    データを受信するデータ受信工程と、 前記現在位置データおよび前記視線方向データに対応す
    る前記画像基本データを前記画像基本データ記憶装置か
    ら読み出し、前記現在位置データおよび前記視線方向デ
    ータに対応して表示すべき画像である表示対象画像に対
    応する画像データを生成する画像データ生成工程と、 生成した前記画像データを送信する画像データ送信工程
    と、 を備えたことを特徴とするデータベースサーバ装置の制
    御方法。
  13. 【請求項13】 画像基本データを予め記憶している画
    像基本データ記憶装置を有し、通信回線を介して情報端
    末装置が接続されるデータベースサーバ装置の制御方法
    において、 前記情報端末装置から送信される当該情報端末装置の現
    在位置に対応する現在位置データを受信するデータ受信
    工程と、 前記現在位置データに対応する前記画像基本データを前
    記画像基本データ記憶装置から読み出す読出工程と、 読み出した前記画像基本データを表示対象画像に対応す
    る画像データとして前記情報端末装置に送信する画像デ
    ータ送信工程と、 を備えたことを特徴とするデータベースサーバ装置の制
    御方法。
JP24879799A 1999-09-02 1999-09-02 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法 Pending JP2001076168A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24879799A JP2001076168A (ja) 1999-09-02 1999-09-02 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24879799A JP2001076168A (ja) 1999-09-02 1999-09-02 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法

Publications (1)

Publication Number Publication Date
JP2001076168A true JP2001076168A (ja) 2001-03-23

Family

ID=17183550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24879799A Pending JP2001076168A (ja) 1999-09-02 1999-09-02 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法

Country Status (1)

Country Link
JP (1) JP2001076168A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027529A (ja) * 2000-07-05 2002-01-25 Sharp Corp 携帯情報端末装置、基地局装置、情報通信システム及び記録媒体
JP2002288690A (ja) * 2001-03-26 2002-10-04 Jinyama Shunichi 情報処理方法及びシステム、携帯情報端末装置、サーバシステム並びに情報処理用ソフトウェア
JP2006155085A (ja) * 2004-11-26 2006-06-15 Olympus Corp コンテンツ配信方法、コンテンツ配信装置、情報端末装置、及びコンテンツ配信システム
WO2010029671A1 (ja) * 2008-09-09 2010-03-18 頓智ドット株式会社 視界情報に仮想情報を付加して表示できるシステム
WO2011004608A1 (ja) * 2009-07-09 2011-01-13 頓智ドット株式会社 視界情報に仮想情報を付加して表示できるシステム
WO2011136209A1 (ja) * 2010-04-27 2011-11-03 泉陽興業株式会社 観覧車
WO2012033095A1 (ja) * 2010-09-06 2012-03-15 国立大学法人東京大学 車両システム
JP2012165276A (ja) * 2011-02-08 2012-08-30 Panasonic Corp 通信装置、通信システム、通信方法、及び通信プログラム
CN103028252A (zh) * 2011-09-29 2013-04-10 泉阳兴业株式会社 观览车
JP2013069177A (ja) * 2011-09-23 2013-04-18 Kokusai Kogyo Co Ltd 合成画像表示装置及び合成画像表示プログラム
JP2014515898A (ja) * 2011-04-08 2014-07-03 アンスティテュ・テレコム/テレコム・ブルターニュ 傾斜パラメータに従ったシャッタモードの適応制御機構を備えたアクティブ立体視デバイス
CN106507128A (zh) * 2015-09-08 2017-03-15 科理特株式会社 虚拟现实影像传输方法、播放方法及利用此方法的程序

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027529A (ja) * 2000-07-05 2002-01-25 Sharp Corp 携帯情報端末装置、基地局装置、情報通信システム及び記録媒体
JP2002288690A (ja) * 2001-03-26 2002-10-04 Jinyama Shunichi 情報処理方法及びシステム、携帯情報端末装置、サーバシステム並びに情報処理用ソフトウェア
JP2006155085A (ja) * 2004-11-26 2006-06-15 Olympus Corp コンテンツ配信方法、コンテンツ配信装置、情報端末装置、及びコンテンツ配信システム
JP4548830B2 (ja) * 2004-11-26 2010-09-22 オリンパス株式会社 コンテンツ配信装置、情報端末装置、及びコンテンツ配信システム
WO2010029671A1 (ja) * 2008-09-09 2010-03-18 頓智ドット株式会社 視界情報に仮想情報を付加して表示できるシステム
WO2011004608A1 (ja) * 2009-07-09 2011-01-13 頓智ドット株式会社 視界情報に仮想情報を付加して表示できるシステム
WO2011136209A1 (ja) * 2010-04-27 2011-11-03 泉陽興業株式会社 観覧車
JP2011229679A (ja) * 2010-04-27 2011-11-17 Senyo Kogyo Kk 観覧車
WO2012033095A1 (ja) * 2010-09-06 2012-03-15 国立大学法人東京大学 車両システム
JP5804571B2 (ja) * 2010-09-06 2015-11-04 国立大学法人 東京大学 車両システム
JP2012165276A (ja) * 2011-02-08 2012-08-30 Panasonic Corp 通信装置、通信システム、通信方法、及び通信プログラム
JP2014515898A (ja) * 2011-04-08 2014-07-03 アンスティテュ・テレコム/テレコム・ブルターニュ 傾斜パラメータに従ったシャッタモードの適応制御機構を備えたアクティブ立体視デバイス
JP2013069177A (ja) * 2011-09-23 2013-04-18 Kokusai Kogyo Co Ltd 合成画像表示装置及び合成画像表示プログラム
CN103028252A (zh) * 2011-09-29 2013-04-10 泉阳兴业株式会社 观览车
CN106507128A (zh) * 2015-09-08 2017-03-15 科理特株式会社 虚拟现实影像传输方法、播放方法及利用此方法的程序
WO2017043795A1 (ko) * 2015-09-08 2017-03-16 클릭트 주식회사 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
US10970931B2 (en) 2015-09-08 2021-04-06 Clicked Inc. Method for transmitting virtual reality image created based on image direction data, and computer readable medium storing program using the same

Similar Documents

Publication Publication Date Title
US11914147B2 (en) Image generation apparatus and image generation method using frequency lower than display frame rate
KR100651508B1 (ko) 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
CN109920065B (zh) 资讯的展示方法、装置、设备及存储介质
US8179423B2 (en) Image display system, an image display method, a coding method, and a printed matter for stereoscopic viewing
EP1117256A1 (en) All-around video output method and device
KR100593398B1 (ko) 증강현실을 이용한 휴대단말기 사용자의 위치정보제공시스템 및 방법
JP2001076168A (ja) 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法
EP2894608A1 (en) Display device, display method, and program
CN112272311A (zh) 花屏修复方法、装置、终端、服务器及介质
CN113253842A (zh) 场景编辑方法和相关装置、设备
Tokusho et al. Prototyping an outdoor mobile augmented reality street view application
CN108932055B (zh) 一种增强现实内容的方法和设备
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
JP5896445B2 (ja) 表示装置、表示方法及びプログラム
CN109714585B (zh) 图像传输方法及装置、显示方法及装置、存储介质
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN113209610B (zh) 虚拟场景画面展示方法、装置、计算机设备及存储介质
JP5649842B2 (ja) 情報提供装置、情報提供方法、及びプログラム
US20170154466A1 (en) Interactively augmented reality enable system
CN113496038A (zh) 一种基于虚拟现实的看房系统及方法
JP7086242B1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2011022662A (ja) 携帯電話端末及び情報処理システム
EP4325476A1 (en) Video display system, information processing method, and program
JP2013205072A (ja) 地図表示システム、地図表示方法、およびプログラム
EP2252993A1 (en) Three-dimensional user interface and a method for controlling it

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050607

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051018