JP2004206338A - 情報配信システム及びクライアント端末及びサーバ及び情報配信方法及び配信要求プログラム及び配信要求プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信計画プログラム及び配信計画プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信プログラム及び配信プログラムをコンピュータに読み取り可能に記録した記録媒体 - Google Patents

情報配信システム及びクライアント端末及びサーバ及び情報配信方法及び配信要求プログラム及び配信要求プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信計画プログラム及び配信計画プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信プログラム及び配信プログラムをコンピュータに読み取り可能に記録した記録媒体 Download PDF

Info

Publication number
JP2004206338A
JP2004206338A JP2002373648A JP2002373648A JP2004206338A JP 2004206338 A JP2004206338 A JP 2004206338A JP 2002373648 A JP2002373648 A JP 2002373648A JP 2002373648 A JP2002373648 A JP 2002373648A JP 2004206338 A JP2004206338 A JP 2004206338A
Authority
JP
Japan
Prior art keywords
viewpoint
data
unit
client terminal
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2002373648A
Other languages
English (en)
Inventor
Yuko Suganuma
優子 菅沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2002373648A priority Critical patent/JP2004206338A/ja
Publication of JP2004206338A publication Critical patent/JP2004206338A/ja
Abandoned legal-status Critical Current

Links

Images

Abstract

【課題】クライアント端末200において道路や建物等から成る都市の3次元モデルを表示した3次元空間内でウォークスルーやフライスルー等の視点の移動を行う場合に、高速に視点の移動ができるようにする。
【解決手段】クライアント端末200は、ネットワークを介して3次元モデルのデータを配信するサーバ100に接続している。クライアント端末200は、サーバ100に3次元モデルのデータの配信要求を送信する。この際に、クライアント端末200は、配信要求をするデータ範囲を自らで決定する。時刻2において、データ範囲を要求する場合、時刻1において要求したデータ範囲に対する時刻2におけるクライアント端末200が表示しているデータ範囲の割合を表す表示完了率に基づいて、時刻2におけるサーバ100に要求するデータ範囲を決定する。
【選択図】 図4

Description

【0001】
【発明の属する技術分野】
この発明は、例えば、道路や建物等から成る広範囲の都市のうち、ユーザ端末における視点移動等の操作に伴って、ユーザが必要とする範囲の3次元モデルをインターネット等のネットワークを介して高速に配信し、ユーザ端末では、3次元モデルを表示した仮想空間内で高速に視点移動等の操作を行うことを実現する、情報配信システムに関するものである。
【0002】
【従来の技術】
地形や建物等から成る都市の3次元モデルの構築が行われている。構築した都市の3次元モデルを広く普及させるためには、3次元モデルを配信するしくみが必要になる。
都市の3次元モデルの利用例として、3次元モデルを立体的に表示した仮想空間内で視点を移動させるウォークスルー(街中を視点移動)やフライスルー(上空を視点移動)がある。ウォークスルーやフライスルーでは視点が移動するため、建物を1軒表示していればよいのではない。視点の周囲に存在する複数の建物を表示して、視点が移動した際に視点の位置に応じて表示する景色を切り替える必要がある。
広範囲の領域を視点が移動する場合、広範囲の領域に存在する建物等のオブジェクトのデータ(形状データやテクスチャデータ)が膨大になるため、データを予めダウンロードしておく場合には、ダウンロードに膨大な時間を要する。そのため、ユーザはダウンロードが終了するまで、建物等の3次元モデルを表示した仮想空間内で視点の移動を開始できないという課題がある。特に、回線の通信速度が遅い場合や端末の性能が低い場合には、すべてのデータを受信するまでの待ち時間が膨大になる。
そこで、回線の通信速度や端末の性能等に応じて配信するデータ量や詳細度を調節し、高速に配信する技術の研究、開発が行なわれている。
【0003】
特開平9−282249号公報では、ユーザ端末の3次元描画能力や回線の伝送速度能力に対応してユーザ端末の操作に対する対話性を向上させる3次元形状通信システムが開示されている。
サーバがユーザ端末と対話的に処理を行うことでユーザ端末の表示能力を把握し、ユーザの表示能力に見合った適切な詳細度になるまで形状の簡略化やテクスチャ解像度の変更を行い、ユーザ端末に配信する。
ユーザ端末の表示能力に見合った詳細度のデータを配信するので、ユーザ端末では、端末の表示能力の違いによらずにほぼ一定の反応速度で3次元空間に対する操作を行うことができる。
【0004】
特開2002−063601号公報では、端末装置の3次元空間における視点の情報等に基づいてオブジェクトに優先度を与え、優先度やネットワーク帯域で利用可能なデータ量を考慮した配信を行うことで、ネットワーク資源とエンドシステム資源の両方の負荷を考慮に入れて、アプリケーションの品質を制御する仮想空間システムが開示されている。端末装置が3次元空間における視点中心座標と視線方向をサーバに配信すると、サーバでは3次元空間における各オブジェクトの視点中心からの距離及び視線方向に対する角度、オブジェクトの表示面積等に基づいてオブジェクトに優先度を与え、優先度に基づいてオブジェクトのデータ品質を決定し、優先度を考慮した配信を行う。
また、サーバは、端末装置からユーザの位置情報や視線情報及びメモリ量を受信し、これらに基づいてユーザの視野領域を決定し、視野領域内に存在するオブジェクトを抽出する。
また、サーバは、端末装置が利用可能なネットワーク帯域を取得し、一送信当たりのデータ総量がネットワーク帯域を超過しないように、優先度の高い順にオブジェクトを選択して配信したり、優先度の低いオブジェクトのデータ品質を低くしたりする。
【0005】
【特許文献1】
特開平09−282249号公報
【特許文献2】
特開2002−63601号公報
【0006】
【発明が解決しようとする課題】
特開平9−282249号公報に記載された方法では、形状を外郭形状のみで簡略化したり、テクスチャ画像のサイズを小さくしたりして配信するデータ量を軽減している。この場合、例えばユーザ端末において道路や建物等から成る都市の3次元モデルを表示し、道路上で視点を移動させて、街中を自由に歩き回るような場合に、視点の近くに存在する建物も視点から遠方に存在する建物も一様にデータ量が軽減されてしまうという課題がある。また、ユーザ端末の表示能力に関してユーザ端末とサーバとが対話的に通信を行うため、多数のユーザ端末がネットワークに接続し、各端末で表示する3次元空間を時々刻々と切り替える場合には、各ユーザ端末で画面の表示を高速に切り替えることが困難となる。
【0007】
特開2002−063601号公報に記載された方法では、優先度の設定やユーザの視野領域の決定をサーバで行っているので、多数のユーザ端末において3次元空間内で視点の位置が時々刻々と変化する場合には、サーバの負荷が増大し、各ユーザ端末においてストレスの少ない速度で視点を移動させることが困難となる。
【0008】
この発明は上記のような問題点を解決するためになされたものであり、以下の点を目的とする。
まず、クライアント端末において道路や建物等から成る都市の3次元モデルを表示した3次元空間内でウォークスルーやフライスルー等の視点の移動を行う場合に、高速に(ユーザがストレスの少ない速度で)視点の移動ができるように、建物等の都市の3次元モデルを、ネットワークを介して高速に配信し、表示することを目的とする。
また、多数のクライアント端末が視点の移動を行っている場合でも、各クライアント端末ではストレスの少ない速度で高速に3次元空間内を視点移動できるようにすることを目的とする。
また、クライアント端末の表示能力や時々刻々と変化する回線の通信速度に追従して、各クライアント端末では3次元空間内を高速に視点移動できるようにすることを目的とする。
【0009】
【課題を解決するための手段】
この発明に係る情報配信システムは、
データ配信要求を受信するサーバ側受信部および
該データ配信要求に対応する表示用データを配信する配信部
を有するサーバと、
表示用データを受信するクライアント側受信部、
該クライアント側受信部により受信された表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示する表示部、
該表示部の表示する3次元の仮想空間における視点を移動可能とする視点移動部、
3次元の仮想空間における視点の移動に伴い必要となる表示用データを配信要求するに際し、前記表示部の表示状況に基づいて配信要求するデータ範囲を決定するデータ範囲決定部および前記データ範囲に対応する表示用データの配信要求を前記データ配信要求として前記サーバに送信するクライアント側送信部
を有するクライアント端末と、
を備えた。
【0010】
【発明の実施の形態】
実施の形態1.
実施の形態1の情報配信システムは、都市の3次元モデルを、ネットワークを介して高速に配信し、クライアント端末200で都市の3次元モデルを表示した仮想空間内で高速に視点移動が可能な情報配信システムである。
実施の形態1は、クライアント端末200の表示状況に基づいて、サーバ100に要求するデータの範囲をクライアント端末200側で決定する。
図1は、システム全体の構成図である。
クライアント端末200がインターネット等のネットワークを介してサーバ100にアクセス可能となっている。クライアント端末200は複数台接続することができるが、1台のみを接続してもよい。
【0011】
図2は、この発明の実施の形態1におけるサーバ100の機能手段の構成を示すブロック図である。
サーバ側記憶部110は、道路や建物等の都市を構成するオブジェクトに関する、位置や形状である3次元データや、3次元データを立体的に表示したときの模様であるテクスチャデータ等(表示用データの一例)を記憶する。
ストリーミング制御部120(配信部の一例)は、クライアント端末200から受信した情報に基づいて、クライアント端末200に配信するオブジェクトを選び出し、オブジェクトの3次元データやテクスチャデータ等(表示用データの一例)をネットワークを介して時々刻々とクライアント端末200に送信する。クライアント管理手段111は、クライアント端末200に配信したオブジェクトの情報等、クライアント端末200に関する情報を管理するクライアント管理データベース112を有している。
オブジェクト管理手段113は、3次元データやテクスチャデータ等、オブジェクトに関する情報を管理するオブジェクト管理データベース114を有している。
サーバ側通信制御部130は、LAN(Local Area Network)、インターネット等のネットワークを介して、クライアント端末200と3次元データ等のデータの送受信を行う。サーバ側通信制御部130は、受信を行なうサーバ側受信部131と送信を行なうサーバ側送信部132を備える。
配信データ生成部140は、クライアント端末200の表示状況を反映して決めた領域に存在するオブジェクトを、クライアント端末200から受信した情報に基づいて選び出し、配信する順序等の計画を立てる。
配信オブジェクト取得部150(表示用データ取得部の一例)は、クライアント端末200に配信するオブジェクトを、オブジェクト管理データベース114を検索し、抽出して取得する。
配信計画部160は、オブジェクトをクライアント端末200に配信する際の順番の設定や変更等、配信の計画を立てる。
差分取得手段151は、クライアント端末200が要求した領域内に存在するオブジェクトのうち、未だクライアント端末200に配信していないオブジェクトを検索し、そのオブジェクトの3次元データやテクスチャデータ等、オブジェクトに関する情報を抽出する。
領域別計画手段161は、クライアント端末200の表示状況に基づいて複数のオブジェクトを何回に分けて配信するかを決め、視点に近いオブジェクトから順に複数のグループに分けてクライアント端末200に配信する計画を立て、配信計画ファイル163を生成する。
再計画手段162は、クライアント端末200が正常に受信できなかったデータの項目を配信計画ファイル163に追加し、そのデータをオブジェクト管理手段113から再度取得して、クライアント端末200に配信する計画を立てる。
【0012】
図3は、本実施の形態1におけるクライアント端末200の機能手段の構成を示すブロック図である。
クライアント側記憶部210は、サーバ100から受信した3次元データやテクスチャデータ等のオブジェクトに関するデータや、視点の移動に関するパラメータや処理の過程で出力したパラメータ等を記憶する。
受信データ管理手段211は、サーバ100から配信されたデータが正常に配信されたかを監視し、正常に配信されていないデータがある場合には、そのデータの情報を抽出して、サーバ100に再度配信を促す。また、正常に配信されたデータを表示するためのメッセージを表示部230に送る。
視点移動部220は、道路や建物等の都市の3次元モデルを表示した3次元空間内でユーザがマウスやキーボード等を用いて行う視点の移動を制御する。
視点取得手段221は、ユーザがマウスやキーボード等を用いて、3次元空間内において視点の移動を行う場合、次に仮想空間を表示する視点の位置を計算し、視点位置や視線方向、視点移動速度等の視点に関する視点関連情報を取得する。
イベント検出手段222は、ユーザの視点移動操作等のイベントを検出する。表示部230は、道路や建物等の都市の3次元データやテクスチャデータ等を用いて、都市の3次元モデルを画面に表示する。
レンダリング手段231は、3次元データやテクスチャデータを用いて3次元モデルを画面に描画する。
メモリ管理手段232は、クライアント側記憶部210のデータ容量が許容量を超えてしまう場合に、視野外に存在するオブジェクトを、視点から遠方に存在するオブジェクトから順に、または、前回に表示された時刻からの経過時間が長いオブジェクトから順にメモリから削除していく。
データ要求部240は、サーバ100から配信してもらうデータの範囲や内容等を視点の移動に伴って時々刻々と動的に決定する。
クライアント側通信制御部250は、ネットワークを介してサーバ100と3次元データ等の送受信を行う。クライアント側通信制御部250は、受信を行なうクライアント側受信部251と送信を行なうクライアント側送信部252とを備える。
要求データ生成部260(データ範囲決定部の一例)は、サーバ100から配信してもらうデータの量や範囲、内容等を調節して決定する。
視点周囲領域決定部270は、都市の広範囲な領域のうち、視点の周囲の領域を決定する。
要求データ調節部280(データ範囲生成部の一例)は、サーバ100から配信してもらう領域の大きさ等を、クライアント端末200の表示状況に基づいて視点の移動に伴って動的に変化させて決定する。
視線方向判定手段271は、視線の方向ベクトルと2次元平面内における座標軸とのなす角度を求め、視点の周囲における矩形の配置を決定する。
視点周囲領域算出手段272は、視点の位置や視線方向等の視点に関する情報や、視点の周囲の領域である矩形の幅や円の半径等の大きさや、視線の方向と2次元平面内の座標軸とのなす角度に基づいて、視点の周囲の領域を算出する。
表示範囲算出手段281は、クライアント端末200が前時刻の視点位置に対応してサーバ100に要求した範囲のうち、現在3次元モデルが表示できている範囲を取得する。
データ要求範囲取得手段282は、クライアント端末200の表示状況に基づいて次回にサーバ100に要求する範囲を決定する。
【0013】
次に動作について説明する。図4から図10を用いて説明する。
図4は、クライアント端末200がT1秒ごとに視点の情報を取得するとともに、T2秒ごとにサーバ100にデータの配信を要求する様子を示す図である。サーバ100は、時刻1においてクライアント端末200からデータの配信要求を受信すると、クライアント端末200に時々刻々とデータを配信する。図4では時刻1以降には視点の取得を示す点を記載していないが、クライアント端末200は、時刻1以降もT1秒ごとに視点の情報を取得している。そしてT2秒おきにクライアント端末200からサーバ100へデータ配信の要求を送信している。
図5は、クライアント端末200とサーバ100との情報のやり取りを示す図である。やり取りの流れは以下の実施の形態2から実施の形態5も同様である。図6から図10は、図5に示す情報のやり取りの各ステップ(S10〜S90)における実施の形態1におけるクライアント端末200とサーバ100のフローチャートである。
説明の分りやすさのために、1台のクライアント端末200において道路や建物等の都市の3次元モデルを表示した仮想空間内で視点移動を行う場合について説明する。
【0014】
図6は、図5のS10におけるクライアント端末200の動作のフローチャートである。
【0015】
図6をもとに以下、動作を説明する。
S101(S10)において、視点取得手段221は、視点の情報を取得する。クライアント端末200において、視点取得手段221では、道路や建物等から成る都市の3次元モデルを表示した仮想空間内でユーザがマウスやキーボードにより視点を移動させると、次に仮想空間を表示する視点の位置を計算し、視点位置や視線方向、視点速度等の視点に関する情報(以下、視点関連情報という。)を取得する。
取得した視点関連情報は、クライアント側記憶部210に格納するとともに、要求データ生成部260及びイベント検出手段222に渡す。
【0016】
S102(S10)において、要求データ生成部260(データ範囲決定部の一例)では、次に仮想空間を表示する範囲を、クライアント端末200の表示状況や視点移動速度等に基づいて決める。
まず、表示状況に基づく場合を説明する。
要求データ生成部260の視点周囲領域決定部270は、前記視点取得手段221から次の視点の視点関連情報を受け取ると、都市の広範囲な領域のうち、次に表示する範囲を次の視点の周囲の領域として取得する。以下、次の視点の周囲の領域として取得する領域を「視点周囲領域」と呼ぶ。実施の形態1では、まず、視点周囲領域を定め、次いで、表示状況や通信回線の速度を考慮した上で視点周囲領域を拡大又は縮小してサーバ100へデータを要求する範囲(後述のデータ要求範囲)とする。視点周囲領域の形状には、円や2次元の矩形等の形状を用いることができる。円や矩形の大きさは、後述する要求データ調節部280(データ範囲生成部の一例)において、視点の移動に伴うクライアントの表示状況に基づいて動的に決定する。
まず、視点周囲領域の形状として矩形を使用する場合を以下に述べる。図11に示すように、次の視点の右方、左方、前方、後方の幅を設定することによって、視点の周囲の領域であるとする矩形の大きさを決めることができる。なお、矩形は、地面に平行面としている。視点右方幅、視点左方幅、視点前方幅、視点後方幅の初期値は予め設定しておくことができ、クライアント側記憶部210に記憶しておく。初期値は、回線の通信速度や端末の表示能力、視点移動速度等に対応付けて設定しておくことができる。例えば、回線の通信速度が遅い場合には、視点周囲領域の大きさを小さく設定しておく。
なお、視点周囲領域の大きさは、視点の移動によって新たに視界に入る領域を予測して含めた大きさとして設定しておくことができる。
視線方向判定手段271では、視線の方向ベクトルと2次元平面内における座標軸とのなす角度を求め、次の視点の周囲に矩形を配置する向きを決定する。視線の方向ベクトルと2次元平面内における座標軸とのなす角度は、クライアント側記憶部210に記憶するとともに視点周囲領域算出手段272に渡す。
例えば、図12に示すように視線方向ベクトルが2次元平面内の座標軸(X軸、Z軸とする)に対して傾いている場合には、視線方向ベクトルと2次元平面内の座標軸のどちらか一方の軸とのなす角度を算出し、その角度の分だけ視点周囲領域である矩形を回転させることにする。
【0017】
S103(S10)において、視点周囲領域算出手段272では、前記視点取得手段221から次の視点の位置や視線方向等の視点に関する視点関連情報を受け取り、クライアント側記憶部210から視点周囲領域の大きさ(視点右方向幅等)を読み込み、前記視線方向判定手段271から視線の方向ベクトルと2次元平面内の座標軸とのなす角度を受け取ると、視点周囲領域の特徴となる点の座標を特徴点座標として算出する。矩形の場合には、特徴点座標として、矩形の4隅の頂点座標を算出する。視線の方向ベクトルと2次元平面内の座標軸とが平行でない場合には、これらのなす角度を用いて矩形を回転させ、図12に示すように2次元平面内の座標軸に対して傾いた矩形として頂点座標を算出する。
算出した特徴点座標は、視点周囲領域算出手段272がクライアント側記憶部210に出力し記憶させるとともに、要求データ調節部280に渡す。
次に、視点周囲領域の形状として円を使用する場合を以下に述べる。
図13に示すように、円の中心、半径、調節値によって、視点の周囲に配置する円の大きさを決めることができる。ここで「調節値」とは、次の視点の位置と円の中心との距離であり、次の視点の位置から視線方向ベクトルの方向に調節値の分だけ移動した点を円の中心とすることによって、次の視点の位置の前方に大きく広がる円を形成することができる。円の半径、調節値の初期値は、予め設定しておくことができ、クライアント側記憶部210に記憶しておく。
視点周囲領域の形状が円である場合には、視点周囲領域算出手段272は、前記視点移動部220から次の視点の位置、視線の方向等の視点に関する視点関連情報を受け取り、クライアント側記憶部210から円の半径や調節値を読み込むと、視点周囲領域の特徴点座標として、円の中心座標を算出する。
なお、視点周囲領域が円の場合には、前記視線方向判定手段271は不要である。
算出した円の中心座標は、クライアント側記憶部210に記憶するとともに要求データ調節部280に渡す。
【0018】
S104(S10)において、要求データ調節部280(データ範囲生成部の一例)では、クライアント端末200の表示状況に基づいて、サーバ100に要求するデータの範囲(以下、「データ要求範囲」という)を決定する。ここで、「データ要求範囲」とは、クライアント端末200がサーバ100に要求する「データ範囲」の一例である。「データ範囲」とは、サーバ100に配信要求をする表示用データの領域、件数を含む、広く、配信要求を求める表示用データの範囲をいう。
表示範囲算出手段281では、前記視点周囲領域算出手段272から視点周囲領域の特徴となる点の座標を受け取り、後述するレンダリング手段231からレンダリングが完了したオブジェクトのIDを受け取ると、クライアント端末200が前時刻における表示の基準となった視点に対応してサーバ100に要求したデータ要求範囲(以下、前回データ要求範囲という。)のうちの現在3次元モデルが表示できている表示範囲(以下、現在表示範囲という。)を算出する。算出した現在表示範囲は、クライアント側記憶部210に記憶するとともに、データ要求範囲取得手段282に渡す。
例えば、サーバ100に要求した表示範囲が図14に示すような矩形であった場合に、表示できている建物が、建物a、b、c、d、eであったとする。このとき、現3次元モデルが表示できている現在表示範囲として、建物a、b、c、d、eを含む外接矩形ABCDの縦幅や横幅を取得する。
なお、3次元モデルが表示できている範囲としては、外接矩形の縦幅や横幅を取得する方法の他に、視点から最も遠方に存在するオブジェクトまでの距離を取得する等の方法でもよい。
【0019】
S105(S10)において、データ要求範囲取得手段282では、前記表示範囲算出手段281から現在表示できている現在表示範囲を受け取り、クライアント側記憶部210に格納されている前の視点についてのデータ要求範囲である前回データ要求範囲の大きさを参照すると、前回データ要求範囲に対する現在表示範囲の割合(以下、表示完了率という。)を算出し、表示完了率に基づいて次の視点についてのサーバ100に要求するデータ要求範囲(以下、次回データ要求範囲という。)を決定する。
表示完了率や、決定した次回データ要求範囲の大きさや特徴点座標等は、クライアント側記憶部210に格納するとともに、クライアント側通信制御部250に渡す。
図15を用いて具体的に説明する。
Wr0、Wl0、D0は、各々、現在クライアント側記憶部210に格納されている前回データ要求範囲を示す矩形の右方幅、左方幅、前方幅を示しており、この矩形内に存在するオブジェクトが既にサーバ100に要求済みの状態である。
また、W1、D1は、各々、前記表示範囲算出手段281において算出した、現在表示範囲の横幅及び縦幅を示している。
このとき、サーバ100に要求済みの前回データ要求範囲に対する現在表示範囲の割合である表示完了率は、以下の式から計算することができる。
表示完了率=(現在表示範囲)/(前回データ要求範囲)=(W1・D1)/((Wr0+Wl0)・D0)
表示完了率の値に基づいて、次の視点について仮想空間を表示するためにサーバ100に要求する次回データ要求範囲を決定する。例えば、表示完了率が0.5以下の場合、サーバ100に要求した範囲の多くがまだ表示されていない状況であるので、現在クライアント側記憶部210に格納されている視点周囲領域の矩形の大きさ(右方幅、左方幅、前方幅、後方幅等)を小さくする。
図15は、後方幅が0の場合であるが、このとき例えば、表示完了率を考慮してクライアント側記憶部210に格納されている視点周囲領域の寸法を示す右方幅Wr1、左方幅Wl1、前方幅D11の値を各々80%にする。すなわち、0.8Wr1、0.8Wl1、0.8D11を新たな矩形の大きさとして決定する。そして、これらの値を用いて矩形の4隅の頂点座標を算出して、この矩形を次回データ要求範囲とする。このとき、次回データ要求範囲を減少させる割合を回線の通信速度に基づいて決定することもできる。例えば、回線の通信速度が速い場合には、右方幅、左方幅、前方幅等の値を各々80%にし、回線の通信速度が遅い場合には、右方幅、左方幅、前方幅等の値を各々70%にする。
あるいは、次回データ要求範囲を以下のようにして変更してもよい。
右方幅、左方幅、前方幅の値を各々一定量だけ減少させてもよい。このとき調節する一定量は、回線の通信速度に基づいて決定することができる。例えば、回線の通信速度が速い場合には、右方幅等を調節する一定量を2mとし、回線の通信速度が遅い場合には、右方幅等を調節する一定量を3mとする。
反対に、表示完了率が0.9よりも大きい場合には、前回データ要求範囲の多くが表示されている状況であるので、次回データ要求範囲の矩形の大きさを大きくし、例えば1.2Wr1、1.2Wl1、1.2D11を新たな矩形の大きさとして決定する。あるいは、右方幅、左方幅、前方幅の値を各々一定量だけ増加させてもよい。前記の表示完了率が小さいときと同様に、次回データ要求範囲をどのくらい増加させるかは、回線の通信速度に基づいて決めることができる。
表示完了率、次回データ要求範囲である新たな矩形の大きさ、及び算出した矩形の特徴点座標は、クライアント側記憶部210に記憶するとともに、クライアント側通信制御部250に渡す。
データ要求範囲の形状が円の場合も同様である。例えば、前回データ要求範囲が図16に示される円であり、現在表示されている建物がa、b、c、dであるとする。このとき、表示範囲算出手段281において視点から最も遠方に存在するオブジェクトとして、建物dまでの距離L1を取得した場合、視点から中心までの距離(調節値)と円の半径を用いて得られるL0を用いて、前回データ要求範囲に対する現在表示範囲の割合である表示完了率は、例えば以下の式から計算することができる。
表示完了率=(現在表示範囲)/(前回データ要求範囲)=L1/L0
矩形の場合と同様に、例えば、表示完了率が0.5以下の場合、現在クライアント側記憶部210に記憶されている視点周囲領域としての円の半径R0を小さくして、0.8・R0を次回データ要求範囲としての新たな円の半径として決定する。あるいは、円の半径を一定量だけ変化させてもよい。矩形の例で示したものと同様に、次回データ要求範囲をどのくらい変化させるかは、回線の通信速度に基づいて決めることができる。
【0020】
S106(S10)において、クライアント側通信制御部250では、前記データ要求範囲取得手段282から次回データ要求範囲のサイズや特徴点座標、表示完了率を受け取ると、これらの値を、ネットワークを介してサーバ側通信制御部130に送信する。
【0021】
次に図7を用いて、次回データ要求範囲等を受信したサーバ100側の動作を説明する。
図7は、次回データ要求範囲等を受信したサーバ100側の図5のS30における処理手順を示すフローチャートである。
【0022】
S301(S30)において、サーバ側通信制御部130では、ネットワークを介してクライアント側通信制御部250から次回データ要求範囲の大きさやその特徴点座標、表示完了率を受け取ると、次回データ要求範囲の大きさやその特徴点座標を配信オブジェクト取得部150(表示用データ取得部の一例)に渡し、表示完了率をクライアント管理手段111に渡す。
【0023】
S302(S30)において、配信オブジェクト取得部150(表示用データ取得部の一例)では、差分取得手段151がクライアント端末200に配信するオブジェクトを、オブジェクト管理手段113が有するオブジェクト管理データベース114を検索し、抽出する。
そこでまずオブジェクト管理手段113について説明する。
【0024】
オブジェクト管理手段113は、道路や建物等の都市を構成するオブジェクトに関して、3次元データやテクスチャデータ等の情報を管理するオブジェクト管理データベース114を有している。
オブジェクト管理データベース114では、道路や建物、道路設備等、都市を構成するオブジェクトのデータを、例えば種別ごとに管理している。オブジェクトのデータは、さらに、オブジェクトの概要に関するオブジェクト概要テーブルと頂点座標等のオブジェクトの詳細データに関するテーブルに分けて管理している。
テーブルの例を図17に示す。
オブジェクト概要テーブルでは、オブジェクトの重心座標や外接直方体の座標等を管理している。重心座標や外接直方体の座標等は、データ要求範囲内に存在するオブジェクトを抽出する際に利用する。
オブジェクトが例えば、3次元モデル記述言語であるVRML(Virtual Reality Modeling Language)で記述されている場合、以下のようなテーブルを設定して管理することができる。
材質テーブルでは、拡散色や輝度等、材質に関する情報を管理する。
ポリゴンテーブルでは、ポリゴンごとにポリゴンを形成する頂点の接続順序等を管理している。
形状頂点テーブルでは、ポリゴンごとに、ポリゴンを形成する頂点座標を管理している。
テクスチャ頂点テーブルでは、ポリゴンごとにポリゴンに貼り付けるテクスチャの頂点座標を管理している。
なお、オブジェクトは、必ずしもVRML形式で再現されなければならない必要はなく、任意の形式の3次元データを使用することができる。また、オブジェクトの3次元形状やテクスチャ等、オブジェクトに関するデータを管理するためのテーブルの設定は任意であり、上記以外の設定例を使用してもよい。オブジェクトに関するデータでは、形状やテクスチャの他に、オブジェクトに関するリンクの情報等も設定してもよい。
【0025】
配信オブジェクト取得部150の差分取得手段151は、サーバ側通信制御部130から次回データ要求範囲の大きさや特徴点座標を受け取ると、次回データ要求範囲内に存在するオブジェクトのうち、未だクライアント端末200に配信していない未配信オブジェクトのみをオブジェクト管理データベース114において検索し、未配信オブジェクトの3次元データやテクスチャデータ等のオブジェクトに関する詳細なデータをオブジェクト管理データベース114から抽出する。抽出した未配信オブジェクトに関するデータは、差分取得手段151が配信計画部160、サーバ側通信制御部130に出力する。
前記の差分取得手段151が配信オブジェクトを抽出する動作について以下に示す。
クライアント管理データベース112において、クライアント毎の配信オブジェクトを管理するテーブルの例を図18の配信情報テーブル115に示す。
配信情報テーブル115において、時刻IDは、クライアントが3次元空間内で行う視点の移動に対応して時刻を管理する番号である。配信オブジェクトIDは、サーバ側通信制御部130からネットワークを介してクライアントに配信されたオブジェクトのIDである。
例えば、前の視点についての前回データ要求範囲と次の視点についての次回データ要求範囲とが図19に示すような領域であるときに、建物a、b、c、dが既にクライアントに配信済みであったとする。前の視点についての時刻IDを1、次の視点についての時刻IDを2とすると、図18のように、配信情報テーブル115においては、時刻IDが1の配信オブジェクトIDに、建物a、b、c、dのIDが登録される。
そこで、差分取得手段151では、次回データ要求範囲のうち、未だ配信していない建物として建物e、fを取得しオブジェクト管理手段113におけるオブジェクト管理データベース114のテーブルを参照して3次元データやテクスチャデータ等を抽出する。
オブジェクト管理データベース114のテーブルにおいて、同一のオブジェクトに対して詳細度の異なるデータが何種類か登録されている場合には、視点からの距離等に基づいて詳細度を選択してデータを配信することができる。例えば、建物のテクスチャにおいて、解像度の低いテクスチャと解像度の高いテクスチャが登録されている場合、オブジェクト管理データベース114からオブジェクトを抽出する際に、視点から遠方に存在するオブジェクトに対して解像度の低いテクスチャを選択し、視点の近くに存在するオブジェクトに対して解像度の高いテクスチャを選択して配信するようにできる。
また、次回データ要求範囲内に存在する未配信オブジェクトのうち、オブジェクト管理テーブルに予め設定されている優先度に基づいて、未配信オブジェクトを選択し配信することができる。優先度の設定では、例えば道路の付近に存在する建物に優先度大の設定をしてもよい。
【0026】
S303(S30)において、配信計画部160では、領域別計画手段161が、配信オブジェクト取得部150から抽出した未配信オブジェクトに関するデータを受け取ると、クライアント端末200に配信するための計画を立て、配信計画ファイル163を生成する。
配信計画ファイル163は、サーバ側通信制御部130によって参照される。また、サーバ側通信制御部130から未配信オブジェクトのデータ配信が完了する毎に、配信完了のメッセージを受け取り、配信計画ファイル163の「状態」の項目を更新する。
配信計画部160の領域別計画手段161は、クライアント管理手段111が有するクライアント管理データベース112を参照して、クライアント端末200の表示完了率に基づいて複数のオブジェクトを何回に分けて配信するかを決め、次の視点に近いオブジェクトから順に複数のグループに分けてクライアント端末200に配信する計画を立て、配信計画ファイル163を更新する。
図20にクライアント管理データベース112における表示状況テーブルの例を示す。表示完了率は、前記のように、クライアント端末200からデータ配信の要求を受けた前回データ要求範囲に対して、クライアント端末200が現在表示できている現在表示範囲の割合である。領域別計画手段161は、クライアント端末200の表示範囲算出手段281により算出された表示完了率を、ネットワークを介してサーバ側通信制御部130から受け取ると、表示完了率の項目に登録する。時刻IDは、クライアント端末200の視点移動に伴う時刻を管理する番号である。
配信計画の例は、以下のようになる。
例えば、図20の表示状況テーブルにより、表示完了率を時刻に関連づけて把握できる。そして、表示完了率が低いクライアント端末200の場合、オブジェクトを視点に近い順に例えば5個のグループに分類し、視点に近いグループから順にそのグループに属するオブジェクトを配信する計画を立てる。
反対に、表示完了率が高いクライアント端末200の場合、オブジェクトを視点に近い順に例えば2個のグループに分類し、視点に近いグループから順にそのグループに属するオブジェクトを配信する計画を立てる。このように、表示状況の一例である表示完了率に基づき、クライアント端末200に配信するオブジェクト(表示用データ)の配信計画を作成する。
配信計画ファイル163の例を図21に示す。
【0027】
S304(S30)において、サーバ側通信制御部130では、前記配信オブジェクト取得部150がオブジェクト管理データベース114から抽出した未配信オブジェクトの3次元形状データやテクスチャデータを受け取ると、前記配信計画部160において出力した配信計画ファイル163を参照して、オブジェクトの3次元データやテクスチャデータ等のオブジェクトに関するデータを、ネットワークを介してクライアント端末200に配信する。配信が完了した場合には、サーバ側通信制御部130は、配信計画部160の領域別計画手段161に配信完了メッセージを知らせる。
領域別計画手段161では、配信完了メッセージを受け取ると、配信計画ファイル163の「状態」の内容を配信完了の状態に変更する。
【0028】
クライアント管理手段111では、配信したオブジェクトやクライアント端末200における表示完了率等、クライアント端末200に関する情報をクライアント管理データベース112に登録する。
クライアント管理データベース112のテーブルの例は、図18及び図20に示したとおりであり、クライアント毎に、配信情報テーブル115と表示状況テーブルを設けて管理している。
【0029】
次に、図8を用いて図5のS50におけるクライアント端末200の動作を説明する。
S501(S50)において、クライアント端末200では、クライアント側通信制御部250がオブジェクトの3次元データやテクスチャデータをサーバ100から受け取ると、クライアント側記憶部210にデータを格納する。
また、3次元データやテクスチャデータ等、受信したオブジェクトに関する情報を受信データ管理手段211に渡す。
【0030】
S502(S50)において、受信データ管理手段211では、各時刻においてサーバ100から配信されるべきデータが正常に配信されたかどうかを監視する。
【0031】
S503(S50)において、正常に配信されていないデータがある場合には、受信データ管理手段211は、そのデータの情報を抽出して、クライアント側通信制御部250に渡し、クライアント側通信制御部250はこれをサーバ100へ送信する。
【0032】
S504(S50)において、クライアント側通信制御部250は、正常に配信されていない「欠陥配信データ」について、「データ再送要求」をサーバ100へ送信する。
【0033】
S505(S50)において、データが正常に配信された場合には、レンダリング手段231に追加読み込みメッセージを送る。
ポリゴンに関して、受信の正誤を確認する例を以下に示す。
例えば、クライアント端末200がネットワークを介してオブジェクトの3次元モデルを受信すると、受信データ管理部では、ポリゴンIDとポリゴン終了フラグとの組によって受信したポリゴンを判定する。ポリゴンIDを受け取っているがポリゴン終了フラグを受け取っていないポリゴンに対して既に配信が終了し、次のオブジェクトに関してポリゴン等の配信が開始されている場合には、ポリゴンを正しく受信できなかったとして、クライアント側通信制御部250に、時刻ID、そのポリゴンID、受信できなかったデータの種別(法線ベクトルや頂点座標等の区別)等をわたし、クライアント側通信制御部250からネットワークを介してサーバ側通信制御部130にデータ再送の要求を送る。
一方、ポリゴンIDに対して、対応するポリゴン終了フラグを確認した場合には、レンダリング手段231に追加読み込みメッセージを送る。
テクスチャ等についても同様である。
【0034】
次に、図9を用いて、図5のS70におけるサーバ100の動作を説明する。S701(S70)において、サーバ側通信制御部130が、クライアント側通信制御部250から前記欠陥配信データについてデータ再送の要求を受け取る。
【0035】
S702(S70)において、配信計画部160の再計画手段162が、受け取ったオブジェクトIDに関する形状データやテクスチャデータで正常に配信できなかったデータの項目を配信計画ファイル163に追記するとともに、その詳細データオブジェクト管理手段113から取得してサーバ側通信制御部130に渡す。
【0036】
S703(S70)において、サーバ側通信制御部130は配信計画ファイル163を参照すると、正常に配信されなかったとして配信計画ファイル163に追記された項目のデータを、ネットワークを介してクライアント側通信制御部250に再配信する。
【0037】
次に、図10を用いて、図5のS90におけるクライアント端末200の動作を説明する。
S901(S90)において、クライアント側通信制御部250では、正常に配信されなかったとして配信計画ファイル163に追記された項目のデータを受信すると、受信したデータをクライアント側記憶部210に格納するとともに、レンダリング手段231に追加読み込みのメッセージを送る。
【0038】
S902(S90)において、レンダリング手段231では、前記受信データ管理手段211から追加読み込みメッセージを受け取ると、クライアント側記憶部210からデータを読み込んでオブジェクトの3次元モデルをレンダリングする。レンダリングが完了したオブジェクトのIDは、要求データ調節部280の表示範囲算出手段281に渡す。レンダリングの処理内容は、世の中一般のレンダリングと同様であり、カリング処理や隠面消去等を行うことができる。
なお、既に受信しているオブジェクトのうち、クライアント側記憶部210に格納されているオブジェクトを読み込んで表示することができる。また、後述するメモリ管理手段232により、受信済みのオブジェクトがメモリから削除され、かつ再度表示する場合には、クライアント側通信制御部250にデータ再送のメッセージを送る。
なお、データの受信と視点移動を伴うレンダリングは、マルチスレッド処理により、並行して行うことができるとする。
なお、サーバ100から受信したオブジェクトの3次元モデルだけではなく、クライアント側記憶部210に予め記憶されている3次元モデルとサーバ100から受信した3次元モデルの両方を用いて表示することができる。
【0039】
視点の移動において、視点移動速度がある値以上変化した場合には、視点移動部220のイベント検出手段222がこれを検出し、視点周囲領域の大きさを変更して、クライアント側記憶部210に記憶する。すなわち、視点移動速度の変化に基づいて、視点周囲領域の大きさを変更することによって、サーバ100へ要求するデータ範囲を変更(調節)する。
例えば、1秒間に視点が移動する移動量で視点移動速度を調節する場合において、前回の視点の移動量に比べて、今回の視点の移動量が20だけ増加した場合には、視点移動速度が低速から中速に変化したとみなして、視点周囲領域の大きさを大きくし、クライアント側記憶部210に記憶する。
また、前回の視点の移動量に比べて、今回の視点の移動量が3だけ増加した場合には、視点移動速度が低速のままとみなし、視点周囲領域の大きさの変更は行わない。
視点移動速度が変化したとみなす判定値、及び、視点周囲領域の大きさをどれくらい変化させるかは予め設定しておくことができる。
なお、以上の場合のほか、要求データ生成部260が視点取得手段221から視点の移動速度を入力して、入力した視点の移動速度に基づいて上記の視点周囲領域の大きさを変更して、サーバ100に配信要求をするデータ範囲を変更(調節)しても構わない。例えば、要求データ生成部260は、所定の速度を判定値として記憶しており、この判定値を超える場合は高速と判定して視点周囲領域の大きさを大きくする。また、この判定値の以下の場合は、視点周囲領域の大きさの変更は行わないこととしても構わない。
【0040】
表示部230におけるメモリ管理手段232では、クライアント側記憶部210のデータ容量が許容量を超えてしまう場合に、視野外に存在するオブジェクトを、視点から遠方に存在するオブジェクトから順にメモリから削除する。すなわち、視点とオブジェクトの位置関係に基づいてオブジェクト(表示用データ)を削除する。または、前回に表示された時刻からの経過時間が長いオブジェクトから順にメモリから削除していく。
【0041】
実施の形態1は、1台のクライアント端末200を使用した実施の形態であるが、図1に示すように、複数のクライアント端末を使用しても良い。
【0042】
実施の形態1は、クライアント端末200が配信を要求した範囲内に存在するオブジェクトのうち、既に配信したオブジェクトをクライアント管理データベース112における配信情報テーブル115を参照して行うものであり、サーバ100側で配信オブジェクトを管理する実施の形態である。一方、受信したオブジェクトはクライアント側で管理しているので、これを利用して、サーバ100にデータを要求する際に、データ要求範囲内に存在するオブジェクトのうち、クライアント端末200が受信済みのオブジェクトを除いたオブジェクトのデータを要求してもよい。
【0043】
実施の形態1は、建物に関して3次元形状等のデータを配信する実施の形態を示しているが、同様にして、道路設備等、都市を構成する他のオブジェクトに関するデータを配信してもよい。また、配信する種別の組み合わせは任意であり、建物、道路、道路設備等を同時に配信することができる。
【0044】
以上のように、この実施の形態1における情報配信システムでは、クライアント端末200における視点の移動に伴って、クライアント端末200がサーバ100から配信してもらう領域の範囲や大きさをクライアント端末200の表示状況に基づいて動的に変えるので、配信するデータ量をクライアント端末200の表示能力や時々刻々と変化する回線の状況に応じて制御することが出来、クライアント端末200ではストレスの少ない速度で高速に視点を移動させることができる。
【0045】
また、配信する範囲の大きさをクライアント端末200側で動的に制御するので、複数のクライアント端末200が視点移動を行う場合においてサーバ100の負荷が増加することを防ぐ。
【0046】
実施の形態2.
実施の形態1は、視点の周囲に存在するオブジェクトを取得するために、矩形や円の領域の大きさを視点の移動に伴って動的に変化させる実施の形態である。これに対して実施の形態2は、建物等の都市を構成するオブジェクトを道路と関連付けて管理する。そして、視点付近に存在する道路に関連付けられているオブジェクトを取得する件数を、視点の移動に伴って動的に変化させることに特徴がある。都市を構成する建物や道路設備等のオブジェクトを道路と関連付けて管理することにより、仮想空間内における視点の移動に伴って、視点の周囲に存在するオブジェクトを視点の移動に伴って効率的に取得する。
以下の実施の形態2では、道路と関連付けるオブジェクトとして、都市を構成する主なオブジェクトである建物にを例にとり、説明する。
【0047】
システム全体の構成図は実施の形態1と同様であり、図1である。
【0048】
図22は、この発明の実施の形態2におけるサーバ100の機能手段の構成を示すブロック図である。なお、ストリーミング制御部120は配信部の一例である。
サーバ側記憶部110の各機能手段、サーバ側通信制御部130、配信計画部160における再計画手段162の処理内容は実施の形態1と同様である。新たに、サーバ側記憶部110のオブジェクト管理手段113において、道路管理テーブル2115、近接オブジェクト管理テーブル2116、関連オブジェクト管理テーブル2117が加わっている。ストリーミング制御部120では、配信オブジェクト取得部150において、道路取得手段2151、近接オブジェクト取得手段2152、関連オブジェクト取得手段2153、方向別計画手段2161が加わっている。
道路取得手段2151は、クライアント端末200から次の視点に関する視点関連情報を受け取ると、次の視点の位置が存在する道路を抽出する。そして、その道路をまだクライアント端末200に配信していない場合には、道路の3次元データやテクスチャデータを抽出する。
近接オブジェクト取得手段2152は、前記道路取得手段2151から次の視点が存在する道路がどれであるかを受け取り、また、クライアント端末200から次の視点の視点関連情報と道路に沿って取得するオブジェクトの件数を受け取る。その後、近接オブジェクト取得手段2152は、道路から近い位置において道路に沿って存在するオブジェクトを、受け取った前記オブジェクトの件数分だけ道路に対する歩行方向に基づいて抽出し、抽出したオブジェクトの3次元データやテクスチャデータ等の詳細なデータをオブジェクト管理データベース114を検索し取得する。
関連オブジェクト取得手段2153は、道路から奥まった位置に存在するオブジェクトを、道路から近い順に取得する。
方向別計画手段2161は、道路からの距離に基づいて次の視点の付近に存在するオブジェクトをクライアント端末200に配信する計画をたてる。
【0049】
図23は、この発明の実施の形態2におけるクライアント端末200の機能手段の構成を示すブロック図である。
クライアント側記憶部210、視点移動部220、表示部230の各機能手段、クライアント側通信制御部250の各処理内容は、実施の形態1と同様である。実施の形態1に対して、新たな要素として、オブジェクト表示率算出手段2281、要求件数調節手段2282、関連オブジェクト領域調節手段2283が加わっている。
そして、要求データ生成部260は、実施の形態1と比べると、視点周囲領域決定部270を除いた構成となっている。
オブジェクト表示率算出手段2281は、オブジェクトに対して、現在3次元モデルが表示できているオブジェクトの割合を算出する手段である。
要求件数調節手段2282は、現在3次元モデルが表示できている割合に基づいて、サーバ100に配信してもらうオブジェクトの件数を決定する手段である。
関連オブジェクト領域調節手段2283は、クライアント端末200の表示状況や視点高度、視点移動速度等に基づいて道路から奥まった位置に存在する建物等のオブジェクトを取得する範囲を決定する手段である。
【0050】
以下では、道路(道路表示用データ)と関連付けるオブジェクト(道路関連表示用データ)として、都市を構成する主なオブジェクトである建物に関する例について示す。
まず、建物の管理方法について述べる。
サーバ100のオブジェクト管理手段113では、道路の付近に存在する建物を道路に関連付けて管理する。道路は交差点等の位置に基づいて、複数の領域に分けておく。ユーザが任意の部分で道路を分割してもよい。例えば、図24に示すように複数の部分に分割し、分割した各領域を道路IDで一意に管理する。
分割した道路は、例えば道路の真線データの座標等と対応付けることによって、位置情報から道路を特定できるように管理しておく。
道路を管理する道路管理テーブル2115(道路表示用データの一例)を図25に示す。
次に、道路に沿った道路から近い領域内に存在する建物を管理するテーブルの例を、図26に近接オブジェクト管理テーブル2116(道路関連表示用データの一例)として示す。
近接オブジェクト管理テーブル2116では、図27に示すように、2次元平面内の座標軸をX軸とZ軸としたときに、例えば、X軸の負から正、Z軸の負から正に向かう方向を「道路の方向が正である」と決めておき、道路の両側に存在する建物のうち、道路から1列目に存在する建物を道路の方向が正の順に並べて管理する。ここで、道路から1列目とは、図27に示すように、道路に沿った領域を考え、道路から離れる方向に向かって複数の領域に分けた時に、道路に最も近い側の領域を指す。以下では、図27に示すように、道路から離れる方向に対して、道路から近い側から順に1列目、2列目、・・・と呼ぶことにする。
道路の左側に存在する建物と道路の右側に存在する建物は分けて管理する。また、建物の位置情報は、例えば重心座標を利用して管理する。
図27に示す道路の場合、視線の方向はZ軸の正の方向であり、また、図26の近接オブジェクト管理テーブル2116ではZ軸が負の方向から正の方向に向かって建物を管理するので、道路の右側に存在する建物は、近接オブジェクト管理テーブル2116において建物A、B、C、・・・の順に記述されることになる。この様な表示用データの一例である建物のデータは、順位付けされて記述されている。
次に、道路に対して2列目以降に存在する建物(道路に対して1列目よりも奥まった位置に存在する建物)を管理するテーブルの例を、図28に関連オブジェクト管理テーブル2117として示す。
関連オブジェクト管理テーブル2117では、道路に対して2列目以降に存在する建物を、道路の1列目に存在する建物と関連付けて管理する。すなわち、1列目、2列目というレベルに分けるとともに、それぞれの列(レベル)に存在する建物(表示用データ)を関連付けて記憶、管理する。建物を記述する順序は、道路の1列目の場合と同様に道路の方向が正の順に並べて管理する。道路に対して何列目までの建物を管理するかは、任意である。
各建物に関して、材質や頂点座標等の詳細なデータは、例えば、実施の形態1のオブジェクト管理手段113で示した材質テーブル、ポリゴンテーブル、形状頂点テーブル、テクスチャ頂点テーブル等と同様のテーブルを利用することができる。また、他の任意のテーブルを設定してもよい。
【0051】
次に動作について説明する。実施の形態2は、クライアント端末200とサーバ100のデータのやり取りは、図5と同様である。図29、図30により動作を説明する。図29は、図5のS10における実施の形態2のクライアント端末200のフローチャートである。図30は、図5のS30における実施の形態2のサーバ100のフローチャートである。
【0052】
S2101(S10)において、クライアント端末200において、視点取得手段221では、実施の形態1と同様に、道路や建物等から成る都市の3次元モデルを表示した仮想空間内でユーザがマウスやキーボードにより視点を移動させると、次に仮想空間を表示する次の視点の位置を計算し、視点の位置や視線の方向、視点移動速度等の視点に関する視点関連情報を取得する。取得した視点関連情報は、クライアント側記憶部210に格納するとともに、要求データ生成部260、イベント検出手段222、クライアント側通信制御部250に渡す。
【0053】
S2102(S10)において、要求データ生成部260において、オブジェクト表示率算出手段2281では、レンダリング手段231からレンダリングが完了したオブジェクトのIDを受け取ると、サーバ100に要求した建物の総件数に対して、現在3次元モデルが表示できている建物の件数の割合を建物表示完了率(表示完了率の一例)として算出する。算出した建物表示完了率は、要求件数調節手段2282、関連オブジェクト領域調節手段2283に渡す。
【0054】
S2103(S10)において、要求件数調節手段2282では、前記オブジェクト表示率算出手段2281から建物表示完了率を受け取ると、その建物表示完了率に基づいて次回にサーバ100に要求する道路沿1列目(図27)の建物の件数(以下、要求建物件数という。)を決定する。ここに、「要求建物件数」は、表示用データのデータ件数の一例である。図27の2列目以降は、後述の関連オブジェクト領域調節手段2283が決定する。
決定した要求建物件数は、クライアント側記憶部210に記憶するとともに、クライアント側通信制御部250に渡す。サーバ100に要求する建物件数の初期値は、クライアント側記憶部210に予め記憶している。
サーバ100に要求した要求建物件数に対して、現在3次元モデルが表示できている建物表示完了率が小さい場合には、次にサーバ100に要求する際に、要求する建物の件数を現在より減らしてサーバ100に要求する。例えば、現在、道路の両側に各々8件ずつ建物を取得していた場合、次回には、道路の両側に各々5件ずつの建物を取得する要求とする。
反対に、サーバ100への要求建物件数に対して、建物表示完了率が大きい場合には、次回に要求する建物の件数を現在より増やしてサーバ100に要求する。
このとき、要求建物件数の増減値は、回線の通信速度に基づいて決めることができる。例えば、回線の通信速度が速く、現在、道路の両側に各々8件ずつ建物を取得していた場合、次回には道路の両側に各々6件ずつの建物を取得する要求とする。反対に、回線の通信速度が遅く、現在、道路の両側に各々8件ずつ建物を取得していた場合、次回には道路の両側に各々4件ずつの建物を取得する要求とする。
【0055】
S2104(S10)において、関連オブジェクト領域調節手段2283では、クライアント端末200の建物表示完了率や視点高度、視点移動速度等に基づいて道路から奥まった位置に存在するオブジェクト(図27の2列目以降の建物。以下、「道路沿2列目以降建物」という。)を取得する範囲(データ範囲の一例)を決め、クライアント側通信制御部250に渡す。
まず、クライアント端末200の表示状況に基づいて、道路沿2列目以降建物を取得する範囲を決める場合について述べる。
道路沿2列目以降建物のうち、道路から何列目までをサーバ100に要求するのかを、クライアント端末200の表示状況に基づいて決定する。
建物表示完了率が小さい場合には、次の視点についてサーバ100に要求する際に、道路から1列目に存在する建物の他に、道路から2列目に存在する建物だけを要求する。
反対に、建物表示完了率が大きい場合には、次回にサーバ100に要求する際に、道路から1列目に存在する建物の他に例えば、道路から3列目までの建物を要求する。
なお、建物表示完了率と「道路沿2列目以降建物」のうち、何列目までを要求するかの対応付けは、予め対応ルールをクライアント側記憶部210に記憶しているものとする。
例えば、建物表示完了率が0.4未満の場合には、道路から2列目以降に存在する建物は何も要求しないものとし、表示できている割合が0.5以上0.7未満の場合には、道路から2列目までの建物を要求するものとし、表示できている割合が0.8以上の場合には、道路から3列目までの建物を要求するものとする、という対応ルールをクライアント側記憶部210に記憶しておく。
【0056】
次に、視点高度に基づいて、道路沿2列目以降建物を取得する範囲を決める場合について述べる。
高さ方向に複数の範囲を予め設定しておき、道路から何列目の建物までを取得するかを各範囲と対応付けてクライアント側記憶部210に記憶しておく。例えば、視点の高さが2m未満の場合には、道路から2列目以降の建物は何も取得しないものとし、視点の高さが2m〜3mの場合には、道路から2列目までの建物を取得するものとし、視点の高さが3m〜4mの場合には、道路から3列目までの建物を取得する、というように、視点の高さに基づいて道路の2列目以降の建物を何列目まで取得するのかを関連付けておく。これにより、フライスルーのように上空を視点移動する場合や、道路に沿って斜め上空から道路を見下ろすような角度で視点移動を行うような場合に、視点の高度に基づいて見える範囲を動的に調節することができる。
関連オブジェクト領域調節手段2283は、視点移動部220から視点の高さを受け取ると、視点の高さに基づいて、道路沿2列目以降建物につき、何列目まで取得するかを決定し、クライアント側通信制御部250に渡す。
【0057】
次に、視点移動速度に基づいて、道路沿2列目以降建物を取得する範囲を決める場合について述べる。
視点移動速度と、道路沿2列目以降建物のうち、何列目までを取得するのかを予め対応づけておき、クライアント側記憶部210に記憶しておく。例えば、関連オブジェクト領域調節手段2283は、視点移動速度が低速である場合には、道路から3列目までを取得するものとし、視点移動速度が中速である場合には、道路から2列目までを取得するものとし、視点移動速度が高速である場合には、道路から2列目以降の建物は何も取得しない、という具合である。関連オブジェクト領域調節手段2283は、視点移動部220から視点移動速度を受け取ると、視点移動速度に基づいて、道路沿2列目以降建物を何列目まで取得するかを決定し、クライアント側通信制御部250に渡す。
【0058】
S2105(S10)において、クライアント側通信制御部250では、視点取得手段221から次の視点の位置や視線の方向等、視点関連情報を受け取り、要求件数調節手段2282から要求建物件数を受け取り、関連オブジェクト領域調節手段2283から道路沿2列目以降に存在するオブジェクトを取得する領域(何列目までを要求するか)を受け取ると、ネットワークを介してサーバ側通信制御部130に渡す。
【0059】
以下、図30を用いて、図5のS30に相当するサーバ100の動作を説明する。
S2301(S30)において、サーバ側通信制御部130では、クライアント側通信制御部250から視点関連情報、要求建物件数、道路沿2列目以降建物の取得する領域等を受け取ると、配信オブジェクト取得部150に出力する。
【0060】
S2302(S30)において、配信オブジェクト取得部150において道路取得手段2151では、サーバ側通信制御部130から視点の位置を含む視点関連情報を受け取ると、次の視点の位置が存在する道路(道路表示用データ)を抽出する。そして、その道路をまだクライアント端末200に配信していない場合には、道路の3次元データやテクスチャデータを取得して、サーバ側通信制御部130に渡す。また、抽出した、次の視点の位置が存在する道路のIDを近接オブジェクト取得手段2152に渡す。
以下に、道路取得手段2151の動作を具体的に述べる。
まず、道路取得手段2151は、オブジェクト管理手段113の図25に示す道路管理テーブル2115を参照して、次の視点の位置が存在する道路を抽出する。次の視点の位置が存在する道路は、次の視点の位置、道路管理テーブル2115における真線データの座標等により抽出することができる。次に、道路取得手段2151は、クライアント管理手段111の配信情報テーブル115を参照し、抽出した道路を既にクライアント端末200に配信したかを確かめ、未だ配信していない場合には、オブジェクト管理データベース114を参照して道路の3次元データやテクスチャデータを取得して、サーバ側通信制御部130に渡す。
【0061】
S2303(S30)において、近接オブジェクト取得手段2152では、道路沿の1列目に存在する建物を取得する。即ち、近接オブジェクト取得手段2152は、前記道路取得手段2151から、次の視点の位置が存在する道路IDを受け取り、クライアント側通信制御部250から次の視点の位置を含む視点関連情報と要求建物件数(表示用データのデータ件数の一例)を受け取ると、前回にクライアント端末200に配信した建物の続きに基づいて道路に関連付けられて記憶されている道路の付近に存在する建物(道路関連表示用データの一例)を抽出し、3次元データやテクスチャデータ等の建物に関する詳細なデータをオブジェクト管理データベース114から抽出し取得する。
取得した3次元データやテクスチャデータは、サーバ側通信制御部130に渡す。
また、抽出した道路の付近に存在する建物のIDを関連オブジェクト取得手段2153、方向別計画手段2161に渡す。
まず、近接オブジェクト取得手段2152は、道路取得手段2151から道路IDを受け取ると、受け取った道路IDの近接オブジェクト管理テーブル2116(図26)を参照し、前回にクライアント端末200に配信した建物IDの続きから、建物件数分だけ建物IDを取得する。近接オブジェクト管理テーブル2116において、前回にクライアント端末200に配信した建物IDの最後尾の位置は、サーバ側記憶部110に記憶しておく。
次に、近接オブジェクト取得手段2152は、近接オブジェクト管理テーブル2116から取得した建物IDを参照し、建物についての3次元形状やテクスチャ等の詳細なデータを、オブジェクト管理手段113が有している材質テーブルや形状頂点テーブル等を用いて抽出し、抽出したデータをサーバ側通信制御部130に渡す。
なお、近接オブジェクト取得手段2152は、視点が存在する道路領域が変わり、その道路IDに対して初めて建物を抽出する場合には、近接オブジェクト管理テーブル2116における建物の重心座標を用いて、視点の位置に最も近い建物IDを道路の両側で各々取得し、その建物から、サーバ側通信制御部130から受け取った要求建物件数分の建物を配信するものとする。
例えば、図27において、ウォークスルー開始時の視点位置が図27に示す位置であったとする。この場合、視点に最も近い道路右側の建物として建物Cを取得し、視点に最も近い道路左側の建物として建物dを取得する。サーバ側通信制御部130から受け取った要求建物件数が5件であり、視線の方向がZ軸の正の方向であった場合には、道路の右側の建物として建物C、D、E、F、Gを、道路の左側の建物として建物d、e、f、g、hを取得する。これらの建物は、図26の近接オブジェクト管理テーブル2116において順位付けして記憶されている該順位に基づいて取得するものである。そして、これらの建物の3次元データやテクスチャデータ等をオブジェクト管理手段113が有するテーブル(形状頂点テーブル等)を用いて抽出し、サーバ側通信制御部130に渡す。
また、次の視点の位置が図31に示す位置であり、サーバ側通信制御部130から受け取った建物件数が3件であり、視線の方向が図31に示すようにZ軸の負の方向であった場合には、道路の右側の建物として建物j、i、hを取得し、道路左側の建物として建物J、I、Hを取得する。図26の近接オブジェクト管理テーブル2116では、Z軸が正の方向に対して道路の両側に存在する建物を順位付けして管理しているため、視線の方向がZ軸の負方向の場合には、近接オブジェクト管理テーブル2116の「右側建物ID」の項目は歩行方向に対して道路の左側であるとみなし、「左側建物ID」の項目は歩行方向に対して道路の右側であるとみなせばよい。また、建物を建物件数分だけ取得する際には、近接オブジェクト管理テーブル2116で下方向から上方向に向かって建物IDを取得していけばよい。
【0062】
S2304(S30)において、関連オブジェクト取得手段2153では、図27における道路沿2列目以降建物を取得する。関連オブジェクト管理テーブル2117は、前記近接オブジェクト取得手段2152から道路付近に存在する建物IDを受け取る。そして、前記サーバ側通信制御部130から、道路沿2列目以降建物を取得する領域を受け取ると、オブジェクト管理手段113の関連オブジェクト管理テーブル2117を参照して、道路沿2列目以降建物を抽出し、その建物IDを方向別計画手段2161に渡す。また抽出した3次元データやテクスチャデータを取得してサーバ側通信制御部130に渡す。
道路沿2列目以降建物を取得する具体的な動作を、図28の関連オブジェクト管理テーブル2117を用いて示す。図28は、図27を例にとり、道路右側の1列目に存在する建物に基づいて、道路右側の2列目以降の、道路沿2列目以降建物を管理するテーブルを示している。
図27に示す道路の右側に存在する建物に関して、前記近接オブジェクト取得手段2152から受け取った建物のIDがC、D、E、F、Gであり、また、サーバ側通信制御部130から受け取った、道路沿2列目以降建物の領域が「2列目」であった場合、道路右側1列目の建物「C、D、E、F、G」に関連付けられている右側2列建物IDの「う、え、お、か、き」を取得する。取得した建物IDを配信計画部160における方向別計画手段2161に渡す。
そして、取得した建物について、3次元データやテクスチャデータ等をオブジェクト管理手段113が有するデータベースを参照して取得し、サーバ側通信制御部130に渡す。以上のように、サーバ100は、クライアント端末200からの配信要求である要求建物件数と道路沿2列目建物を取得する範囲(何列目までを取得するか)とに基づいて、互いに関連付けられた1列目(レベルの一例)と2列目(レベルの一例)の建物(表示用データの一例)を取得して配信する。
【0063】
S2305(S30)において、配信計画部160の方向別計画手段2161は、道路からの距離に基づいて建物をクライアント端末200に配信する計画を立て、配信計画ファイル163を作成する。配信計画ファイル163は、サーバ側通信制御部130により参照される。また、方向別計画手段2161は、サーバ側通信制御部130によって配信が完了する毎に、サーバ側通信制御部130から配信完了のメッセージを受け取り、配信計画ファイル163の「状態」の項目を更新する。
具体的な配信計画の動作を以下に示す。
方向別計画手段2161は、前記近接オブジェクト取得手段2152、及び関連オブジェクト取得手段2153から建物IDを受け取ると、近接オブジェクト取得手段2152が取得した建物、次いで、関連オブジェクト取得手段2153が取得した建物、の順に配信する計画をたてる。すなわち、道路に近い領域に存在する建物から配信する計画を立てる。なお、近接オブジェクト取得手段2152が取得した建物は、前記近接オブジェクト管理テーブル2116から建物を視点に近い順に取得することができるので、この順に従って、視点に近い建物から配信する計画を立てる。また、関連オブジェクト取得手段2153が取得した道路沿2列目以降建物は、関連オブジェクト管理テーブル2117において、道路1列目に存在する建物と関連づけて取得されるため、道路から1列目に存在する建物と同様に視点に近い順に配信する計画とする。
【0064】
S2306(S30)において、サーバ側通信制御部130では、前記近接オブジェクト取得手段2152及び関連オブジェクト取得手段2153から建物の3次元形状やテクスチャ等のデータを受け取り、前記配信計画部160の方向別計画手段2161で作成した配信計画ファイル163を参照し、ネットワークを介して建物の3次元形状やテクスチャ等のデータをクライアント側通信制御部250に渡す。
【0065】
クライアント端末200における受信データ管理手段211、レンダリング手段231、イベント検出手段222、クライアント側記憶部210、メモリ管理手段232の各機能手段における処理内容は、実施の形態1と同様である。
【0066】
サーバ100において、配信計画部160の再計画手段162の処理内容は、実施の形態1で示した動作と同様である。
【0067】
実施の形態2は、都市を構成するオブジェクトとして道路のほかに建物を配信する実施の形態であるが、道路設備等の他のオブジェクトに対しても、実施の形態2で示した建物と同様に、道路に関連付けて管理し、視点の移動に伴ってオブジェクトの件数を動的に変化させ、道路の周辺に存在するオブジェクトを取得してもよい。
このようにして、建物や道路設備といった、都市を構成するオブジェクトの種別毎に、各オブジェクトを道路と関連付けて管理することによって、複数の種別のオブジェクトを同時に取得してクライアント端末200に配信することができる。すなわち、視点の移動に伴って配信するオブジェクトは道路と建物だけにすることも可能であり、道路と建物と道路設備にすることも可能であり、道路と建物と道路設備と街路樹にすることも可能である。道路と関連付けることによって配信するオブジェクトの種別は、任意に設定することができる。
【0068】
実施の形態2は、説明の分りやすさのために、図27で示した如く、道路に沿った領域で建物を分類し、道路に近い側から順に「1列目」、「2列目」(レベルの一例)・・・と呼んでいる。しかし、近接オブジェクト管理テーブル2116で管理する建物は、道路の付近に存在する建物のうち任意の建物を管理してよい。すなわち、近接オブジェクト管理テーブル2116及び関連オブジェクト管理テーブル2117を利用して、道路の近くに存在する建物から順に道路から離れる範囲に向かってN層(レベルの一例)のグループに建物を分類する際に、どの建物をどの層に分類するかは任意であり、またNの値も任意である。従って、建物の配置が整列されていない場合においても、道路の近くに存在する建物から、道路から離れる範囲に向かってN層のグループを作成し、各層に建物を分類して、第1層に存在する建物を近接オブジェクト管理テーブル2116で管理し、第2〜第N層に存在する街区を関連オブジェクト管理テーブル2117で管理することができる。これは、建物のみによるものではなく、道路設備等の他のオブジェクトについても同様である。
【0069】
以上のように、この発明の情報配信システムでは、都市を構成する建物や道路設備等のオブジェクトを道路の方向に沿った順序で道路と関連付けて管理し、クライアント端末200における視点の移動に伴って、クライアント端末200から要求された件数分だけ道路の方向に沿って道路の両側に存在するオブジェクトを各々順番に取得していくので、各オブジェクトに対して視点からの距離を計算する必要がなく、視点の付近に存在するオブジェクトを高速に取得することができる。
【0070】
また、クライアント端末200がサーバ100から配信してもらうオブジェクトの件数をクライアント端末200の表示状況に基づいて動的に変化させるので、配信するデータ量をクライアント端末200の表示能力や時々刻々と変化する回線の状況に応じて制御することが出来、クライアント端末200ではストレスの少ない速度で高速に視点を移動させることができる。
【0071】
また、配信する範囲の大きさをクライアント端末200側で動的に制御するので、複数のクライアント端末200が視点移動を行う場合においてサーバ100の負荷を増加させることを防ぐ。
【0072】
また、道路から奥まった領域に存在するオブジェクトを道路と関連付けて管理しているオブジェクトと対応付けて管理し、クライアント端末200の表示状況や視点高度、視点移動速度等に基づいて道路から奥まった位置に存在するオブジェクトを取得する範囲を動的に制御するので、視点の付近に存在する道路の近辺だけではなく、視点から離れた領域のオブジェクトを含めて、配信するデータ量を効率的に制御することが出来る。
【0073】
実施の形態3.
実施の形態2では、建物や道路設備等のオブジェクトを道路に関連付けて管理する実施の形態である。これに対し、実施の形態3は、建物や道路設備等のオブジェクトを街区に関連付けて管理し、さらに街区を道路に関連付けて管理することによって、仮想空間内における視点の移動に伴って視点の周囲に存在するオブジェクトを効率的に取得する実施の形態である。
以下の実施の形態3では、街区と関連付けるオブジェクトとして、都市を構成する主なオブジェクトである建物の例について示す。
【0074】
システム全体の構成図は、実施の形態1の図1と同様である。
【0075】
図32は、この発明の実施の形態3におけるサーバ100の機能手段の構成を示すブロック図である。なお、ストリーミング制御部120は配信部の一例である。
サーバ側記憶部110の各機能手段、サーバ側通信制御部130、道路取得手段2151、再計画手段162の各処理内容は、実施の形態2と同様である。新たに、近接街区取得手段3151、関連街区取得手段3152、街区内オブジェクト取得手段3153、街区別計画手段3161、また、テーブルとして、近接街区管理テーブル3113、関連街区管理テーブル3114、建物管理テーブル3115を備えた。
近接街区取得手段3151は、図36に示すような道路に近い領域において道路に沿って存在する街区を、クライアント端末200から受け取った街区件数分だけ道路に対する歩行方向に基づいて抽出する手段である。
関連街区取得手段3152は、道路沿2列目以降街区を、道路から近い位置に道路に沿って存在する街区に基づいて取得する手段である。
街区内オブジェクト取得手段3153は、街区内に存在する、建物や道路設備等の都市を構成するオブジェクトに対して3次元形状やテクスチャといったオブジェクトに関する詳細なデータを取得する手段である。
街区別計画手段3161は、クライアント端末200に配信する街区として抽出した街区内に存在する建物等のオブジェクトを配信する計画において、各街区と視点との距離に基づいて、各街区内に存在するオブジェクトを配信する順序を決定し、オブジェクトをどのように配信するかの計画を立てる手段である。
【0076】
図34は、この発明の実施の形態3におけるクライアント端末200の機能手段の構成を示すブロック図である。
クライアント側記憶部210、視点移動部220、表示部230の各機能手段、クライアント側通信制御部250の各処理内容は実施の形態1と同様である。新たに、表示状況取得手段3281、要求街区数調節手段3282、関連街区調節手段3283を加えている。
表示状況取得手段3281は、クライアント端末200の視点移動における各時刻に対して、配信されるべきオブジェクトのうち、現在クライアント端末200で3次元モデルが表示できている割合を算出する手段である。
要求街区数調節手段3282は、サーバ100に配信してもらう街区の数をクライアント端末200の表示状況に基づいて決定する手段である。
関連街区調節手段3283は、道路沿2列目以降街区を取得する範囲をクライアント端末200の視点移動速度や視点高度に基づいて決定する手段である。
【0077】
以下の実施の形態3では、街区と関連付けるオブジェクトとして、都市を構成する主なオブジェクトである建物の例について示す。
まず、建物の管理方法について述べる。
サーバ100のオブジェクト管理手段113では、道路毎に、道路の両側に存在する街区を管理する。道路は、図24のように、複数の領域に分け、各領域を道路IDで一意に管理するものとする。
また、分割した各領域の道路は、例えば道路の真線データの座標等と対応付けることによって、次の視点の位置情報から道路を決めることができるように管理しておく。道路を管理する道路管理テーブル2115は、図25と同様である。道路に近接する街区を道路に関連付けて管理するテーブルの例を図35に近接街区管理テーブル3113として示す。ここで、「街区」とは、建物のグループ(表示用データのグループの一例)である。
近接街区管理テーブル3113では、2次元平面内の座標軸をX軸とZ軸としたときに、例えば、X軸の負の方向から正の方向、Z軸の負の方向から正の方向に向かう方向を「道路の方向が正である」と決めておき、道路の両側に存在する街区のうち、道路から1列目に存在する街区を道路の方向が正の順に並べて管理する。
このとき、道路の方向が正である方向に対して、道路の左側に存在する街区と道路の右側に存在する街区を分けて管理する。近接街区管理テーブル3113は、道路ごとに設定される。
道路とZ軸(鉛直方向をY軸とする)との関係が図36に示す位置関係の場合、図36に示す道路の近接街区管理テーブル3113では、図35に示すように、左側街区IDは、Z軸が負の方向から正の方向、すなわち、街区5、街区4、街区2、・・・の順に記述されることになる。
次に、道路に対して2列目以降に存在する街区(以下、「道路沿2列目以降街区」という)を管理するテーブルの例を、図37に関連街区管理テーブル3114として示す。
関連街区管理テーブル3114では、道路沿2列目以降街区を、道路の1列目に存在する街区と関連付けて、道路の方向が正の順に並べて管理する。これは、実施の形態2において、2列目以降に存在する街区は、最も近い1列目の街区IDに関連付けて管理しておく。例えば、図36に示す街区7は、図37に示すように、関連街区管理テーブル3114において、右側1列目の街区6に関連付けて右側2列目街区IDの項目に設定される。
道路に対して何列目までの街区を管理するかは、任意である。
次に、街区に関連付けて建物を管理する建物管理テーブル3115の例を図33に示す。
建物IDは、街区内に存在する建物のIDである。例えば、図36の街区8に対しては、建物A、B、C、Dを対応付けて管理する。
各建物に関して、3次元形状やテクスチャ等の詳細なデータは、例えば、実施の形態1のオブジェクト管理手段113で示した材質テーブルや形状頂点テーブル、テクスチャ頂点テーブル等と同様のテーブルを利用することができる。以上のように、街区(表示用データのグループの一例)は、1列目、2列目というレベルが付与されており、さらに、図37に示すように1列目の街区は2列目の街区と関連付けされて記憶されている。
【0078】
次に動作について説明する。
実施の形態3は、クライアント端末200とサーバ100のデータのやり取りは、図5と同様である。図38、図39により動作を説明する。図38は、図5のS10における実施の形態3のクライアント端末200のフローチャートである。図39は、図5のS30における実施の形態3のサーバ100のフローチャートである。
以下、図38を用いて説明する。
【0079】
S3101(S10)において、実施の形態1,2と同様に、クライアント端末200において、視点取得手段221では、道路や建物等から成る都市の3次元モデルを表示した仮想空間内でユーザがマウスやキーボードにより視点を移動させると、次に仮想空間を表示する次の視点の位置を計算し、視点の位置や視線の方向、視点移動速度等の視点に関する視点関連情報を取得する。取得した視点関連情報は、クライアント側記憶部210に格納するとともに、要求データ生成部260、イベント検出手段222、クライアント側通信制御部250に渡す。
【0080】
S3102(S10)において、表示状況取得手段3281では、配信するオブジェクト(本実施の形態3では、建物である)の総数をサーバ側通信制御部130からネットワークを介して受け取り、表示部230からレンダリングが完了したオブジェクトのIDを受け取ると、クライアント端末200が前時刻の視点の位置についてサーバ100に要求した前回オブジェクト要求件数に対して、現在3次元モデルが表示できている現在表示オブジェクト件数の割合であるオブジェクト表示完了率(表示完了率の一例)を算出する。算出したオブジェクト表示完了率は、クライアント側記憶部210に記憶するとともに、要求街区数調節手段3282に渡す。
【0081】
S3103(S10)において、要求街区数調節手段3282では、視点の位置や視線の方向、視点移動速度、視点高度等の視点に関する視点関連情報を受け取り、前記表示状況取得手段3281からオブジェクト表示完了率を受け取ると、クライアント端末200のオブジェクト表示完了率に基づいて、次回にサーバ100に要求する街区の数である次回要求街区数(データ範囲の一例)を決定する。決定した街区数は、クライアント側記憶部210に記憶するとともに、クライアント側通信制御部250に渡す。
ここで言う街区の数とは、例えば、図36において、道路から1列目に存在する街区に対して、道路に沿って道路の両側の街区を各々何個ずつ取得するのかを決める数である。例えば、街区数が2の場合、道路の方向に沿って道路の両側に2街区ずつの、計4街区をサーバ100に要求することになる。
前記表示状況取得手段3281から受け取ったオブジェクト表示完了率が、例えば、0.3以下である場合は、配信されるべきオブジェクトの総数に対して少数しかまだ表示できていないとして、次回にサーバ100に要求するデータ量を少なくして、街区数を例えば1にする。
反対に、オブジェクト表示完了率が、例えば、0.9以上である場合は、配信されるべきオブジェクトの総数の大部分を表示できているとして、次回にサーバ100に要求するデータ量を多くして街区数を例えば2にする。
オブジェクト表示完了率に対して調節する、街区数の増減値は、回線の通信速度に対応して決めることができる。
【0082】
S3104(S10)において、関連街区調節手段3283では、クライアント端末200の視点移動速度や視点高度に基づいて、図36に示す道路沿の2列目以降における、道路から奥まった位置に存在する街区(道路沿2列目以降街区)を取得する範囲(2列目以降の街区を何列目までとするか(データ範囲の一例))を決め、クライアント側通信制御部250に渡す。
まず、視点移動速度に基づいて道路沿2列目以降街区を取得する範囲を決定する場合について述べる。
視点移動速度が速い場合には、道路沿2列目以降街区の取得範囲を小さくし、視点移動速度が遅い場合には、道路沿2列目以降街区の取得範囲を大きくする。例えば、1秒間に視点が移動する変位量が5未満のときを視点移動速度が低速であるとみなすものとし、視点移動速度が低速のときには道路から3列目までの街区を取得する、という設定が可能である。
次に、視点高度に基づいて道路沿2列目以降街区を取得する範囲を決定する場合について述べる。
視点高度が低い場合には、道路沿2列目以降街区の取得範囲を小さくし、視点高度が高い場合には、道路沿2列目以降街区の取得範囲を大きくする。
例えば、視点高度が15mのとき、視点高度が「高」であるとみなし、道路から5列目までの街区を取得する、という設定が可能である。
これにより、フライスルーのように上空を視点移動する場合や、道路に沿って斜め上空から道路を見下ろすような角度で視点移動を行うような場合に、視点の高度に基づいて見える範囲を動的に調節することができる。
さらに、クライアント端末200の表示状況に基づいて、道路沿2列目以降街区を取得する範囲を決めることもできる。
道路沿2列目以降街区のうち、道路から何列目までの街区をサーバ100に要求するのかを、クライアント端末200の表示状況に基づいて決定する。
オブジェクト表示完了率が小さい場合には、次の視点についてサーバ100に要求する際に、道路から1列目に存在する街区の他に、道路から2列目に存在する街区だけを要求する。
反対に、オブジェクト表示完了率が大きい場合には、次回にサーバ100に要求する際に、道路から1列目に存在する街区の他に、例えば、道路から3列目までの街区を要求する。
なお、オブジェクト表示完了率と「道路沿2列目以降街区」のうち、何列目までを要求するかの対応付けは、あらかじめ対応ルールをクライアント側記憶部210に記憶しているものとする。
以上の視点移動速度、視点高度、及び表示状況については、実施の形態2における道路沿2列目以降建物の範囲(領域)を決定する場合と同様である。
【0083】
S3105(S10)において、クライアント側通信制御部250では、視点移動部220から次の視点の位置や視線の方向等、視点に関する視点関連情報を受け取り、要求街区数調節手段3282から街区数を受け取り、関連街区調節手段3283から道路沿2列目以降街区として取得する範囲(何列目までか)を受け取ると、ネットワークを介してサーバ側通信制御部130に渡す。
【0084】
以下、図39を用いてサーバ100の動作を説明する。
S3301(S30)において、サーバ側通信制御部130では、クライアント側通信制御部250から視点に関する視点関連情報や要求街区数等を受け取ると配信オブジェクト取得部150に渡す。
【0085】
S3302(S30)において、配信オブジェクト取得部150の道路取得手段2151は、実施の形態2と同様に、次の視点の視点関連情報を受け取ると、次の視点の位置が存在する道路を抽出する。そして、その道路をまだクライアント端末200に配信していない場合には、道路の3次元データやテクスチャデータをオブジェクト管理データベース114から取得してサーバ側通信制御部130に渡す。また、抽出した次の視点の位置が存在する道路の道路IDを近接街区取得手段3151に渡す。
具体的な処理内容は、実施の形態2と同様である。
【0086】
S3303(S30)において、近接街区取得手段3151では、道路取得手段2151から次の視点が存在する道路のIDを受け取り、また、クライアント側通信制御部250から次の視点に関する視点関連情報と次回要求街区数を受け取ると、視線の方向と前回にクライアント端末200に配信した建物の続きに基づいて道路に沿った街区を道路の両側各々に対して、要求された街区数分だけ取得する。取得した街区IDは、道路の方向に基づいて取得した順序で、関連街区取得手段3152、街区内オブジェクト取得手段3153、街区別計画手段3161に渡す。
具体的に以下に示す。
まず、図36において、鉛直方向をY軸としたとき、視線の方向とZ軸及びX軸とのなす角度を算出し、視線の方向がZ軸あるいはX軸に対してどのような向きであるかを判定して、近接街区管理テーブル3113において街区を取得していく向きを決定する。図36の場合、視線の方向はZ軸に対して正方向であるので、図35の近接街区管理テーブル3113を上から下の順に、街区5、街区4、街区2と取得していく。反対に、道路上を街区2から街区5の方向に視点が移動する場合には、視線の方向はZ軸の負の方向になるため、近接街区管理テーブル3113の下から上の順に街区を取得することになる。
道路取得手段2151から道路IDを受け取ると、受け取った道路IDの近接街区管理テーブル3113を参照し、視線の方向に基づいて決定した向き(近接街区管理テーブル3113において街区を取得する向きであり、上から下あるいは下から上のどちらかである)で、前回にクライアント端末200に配信した街区IDの続きから、要求された街区数分だけ街区IDを道路の両側各々に対して取得する。近接街区管理テーブル3113において、前回にクライアント端末200に配信した街区IDの最後尾の位置は、サーバ側記憶部110に記憶されている。
例えば、道路取得手段2151から道路IDとして図36に示す道路IDがNの道路を受け取ると、図35に示す道路IDがNの近接街区管理テーブル3113を参照する。ここで、この道路の近接街区管理テーブル3113では、道路の右側の街区はZ軸の正方向、すなわち、街区10、街区8、街区6、・・・の順に記述されて管理されている。また、道路の左側の街区はZ軸の正方向、すなわち、街区5、街区4、街区2、・・・の順に記述されて管理されている。
前回にクライアント端末200に配信した街区の最後尾が、道路の右側が街区10、道路の左側が街区5であり、また、要求された街区件数が2件であり、視線の方向が街区5から街区2に向かう方向(Z軸の正の方向)であった場合、道路の右側の街区として街区8と街区6を取得することになる。同様にして、道路の左側の街区として街区4と街区2を取得する。
取得した街区IDは、道路の方向に基づいて取得した順序、すなわち、道路の右側の街区の場合、街区8、街区6という順序が分るように関連街区取得手段3152、街区内オブジェクト取得手段3153、街区別計画手段3161に渡す。
【0087】
S3304(S30)において、関連街区取得手段3152では、実施の形態2の関連オブジェクト取得手段2153と同様に、前記サーバ側通信制御部130から道路沿2列目以降街区として取得する範囲を受け取り、前記近接街区取得手段3151から道路に面した街区のIDを受け取ると、オブジェクト管理手段113の関連街区管理テーブル3114を参照して、道路より奥まった位置に存在する街区IDを取得する。取得した街区IDは、街区内オブジェクト取得手段3153、街区別計画手段3161に渡す。
道路沿2列目以降街区を取得する際の具体的な動作を、図36を示す図37の関連街区管理テーブル3114を用いて示す。図37は、道路の右側の1列目に存在する街区に基づいて、道路右側の2列目以降の道路沿2列目以降街区を管理するテーブルの例である。
図37に示す道路の右側に存在する街区に関して、前記近接オブジェクト取得手段2152から受け取った建物IDが、例えば、街区8、街区6であり、また、サーバ側通信制御部130から受け取った、道路沿2列目以降街区の領域が「2列目」であった場合、道路右側1列目の街区8と街区6に関連付けられている右側2列街区IDの街区9、街区7を取得する。取得した街区のIDは、街区内オブジェクト取得手段3153、配信計画部160における街区別計画手段3161に渡す。すなわち、サーバ100は、クライアント端末200からの配信要求である要求街区数と道路沿2列目以降街区を取得する範囲(何列目までを取得するか)とに基づいて、互いに関連付けられた1列目(レベルの一例)と2列目(レベルの一例)の街区(表示用データのグループ一例)を取得して街区に属するそれぞれのオブジェクト(表示用データの一例)を配信する。以下にオブジェクトの取得について述べる。
【0088】
S3305(S30)において、街区内オブジェクト取得手段3153では、前記近接街区取得手段3151及び前記関連街区取得手段3152から街区IDを受け取ると、その街区内に存在するオブジェクトの3次元形状やテクスチャ等の詳細データをオブジェクト管理手段113を検索して取得し、サーバ側通信制御部130に渡す。
例えば、街区内に存在するオブジェクトとして建物を取得する場合はオブジェクト管理手段113における建物管理テーブル3115を参照して、街区内に存在する建物IDを取得することができる。
建物の3次元形状やテクスチャ等(図17に示したテーブル)からの詳細なデータは、オブジェクト管理手段113が有する形状頂点テーブル等をIDを用いて抽出し、サーバ側通信制御部130に渡す。
街区内に存在するオブジェクトとして、道路設備等を取得する場合においても、建物管理テーブル3115と同様にして街区IDとオブジェクトとを対応付けたテーブルからオブジェクトを取得し、そのオブジェクトに関する材質テーブルや形状頂点テーブル等から3次元形状やテクスチャデータ等の詳細なデータを取得することができる。
街区内に存在するオブジェクトとして取得する種別は任意であり、建物と道路設備というように、複数の種別のオブジェクトを取得することもできる。
また、街区内オブジェクト取得手段3153は、前記近接街区取得手段3151や前記関連街区取得手段3152が抽出した街区について、各街区と視点との距離に基づいて、街区内に存在する建物等のオブジェクトのデータ量を調節してクライアント端末200に配信することができる。
すなわち、建物等の各オブジェクトに対して、例えば、簡略化した3次元形状と詳細な3次元形状の2種類のデータを予め用意しておきオブジェクト管理手段113で管理しておく。
また、建物等に貼り付けるテクスチャに関しても、例えば低解像度と高解像度の2種類のデータを予め用意しておきオブジェクト管理手段113で管理しておく。
そして、前記近接街区取得手段3151が抽出した次の視点に近い街区内に存在する建物に関しては、例えば、詳細な3次元形状と高解像度テクスチャを配信し、一方、前記関連街区取得手段3152が抽出した近接街区よりも離れた位置の建物に関しては、簡略化した3次元形状と低解像度テクスチャを配信する。即ち、視点近くの近接街区のオブジェクトは詳細データとし、視点にそれほど近くない関連街区のオブジェクトはそれなりの詳細度にする。
このようにして、街区内オブジェクト取得手段3153は、近接街区取得手段3151と関連街区取得手段3152のどちらの手段から抽出したオブジェクト(建物)であるかによって、オブジェクト管理手段113から取得するデータの詳細度を変え、配信するデータ量を調節することができる。
【0089】
S3306(S30)において、配信計画部160の街区別計画手段3161は、前記近接街区取得手段3151及び前記関連街区取得手段3152から街区IDを受け取ると、各街区内に存在する建物をどのように分けて配信するかの配信計画を立て、配信計画ファイル163を作成する。
配信計画は、実施の形態2と同じように、取得した街区のうち、視点から遠方の街区内に存在する建物も配信直後に数件表示できるようにし、なおかつ視点に近い街区内に存在する建物を多く表示できるようにするために、各街区の視点からの距離に応じて建物を配信する順序を決めるものとする。すなわち、視点の位置はS3301においてサーバ側通信制御部130が受信している。また、それぞれの街区の3次元の仮想空間における位置は、例えば図35の近接街区管理テーブル3113に示すように街区は重心座標を有している。これら視点の位置と街区の重心位置とにより、視点と街区との位置関係が定まる。この位置関係に基づいて、街区別計画手段3161は配信計画を作成する。
図36の場合、例えば、道路の右側の街区を街区8、6の順に受け取り、道路の左側の街区を街区4、街区2の順に受け取る。これらの4つの街区内に存在する建物を数回に分けて配信する計画を立てる例を以下に示す。
まず、最初に配信する建物として、視点に近い街区である街区8、街区4の各々の街区から例えば建物を3件ずつ選び、視点から遠方に存在する街区である街区6、街区2の各々の街区から例えば建物を1件ずつ選ぶ。最初の配信では、これらの合計8件を配信する計画とする。そして、次の配信では、街区8、6、4、2内に存在する残りの建物を配信する計画とする。
ここで、各回にどの建物を配信するのかは任意に決めることができる。
また、視点に近い街区、及び視点から遠方にある街区から各々選び出す建物の件数(上記の例では、視点に近い街区から3件、視点から遠方にある街区から1件となっている)は、予め任意の値を設定しておくことができる。
また、上記の例では、街区内に存在する建物を2回に分けて配信する例であるが、何回に分けて配信するかは、予め設定しておくことができ、その値は任意である。
【0090】
S3307(S30)において、サーバ側通信制御部130では、街区内オブジェクト取得手段3153から街区内部に存在する建物や道路設備等のオブジェクトの3次元形状やテクスチャ等のデータを受け取ると、街区別計画手段3161の作成した配信計画ファイル163を参照してネットワークを介してクライアント側通信制御部250にデータを送る。
なお、視点移動の各時刻に対応してデータの送信を開始する際には、これから配信するオブジェクトとして抽出したオブジェクトの総数をまずクライアント端末200に配信する。このオブジェクト総数はクライアント端末200の前記表示状況取得手段3281においてクライアント端末200の表示状況を算出する際に利用される。
【0091】
以上の他、クライアント端末200における、受信データ管理手段211、レンダリング手段231、イベント検出手段222、メモリ管理手段232の各機能手段における処理内容は、実施の形態1と同様である。
【0092】
以上の他、サーバ100において、配信計画部160における再計画手段162の処理内容は、実施の形態1と同様である。
【0093】
実施の形態3では、説明の分りやすさのために、道路に沿った領域で街区を分け、道路に近い側から順に「1列目」、「2列目」(レベルの一例)・・・と呼んでいるが、近接街区管理テーブル3113で管理する街区は、道路の付近に存在する街区のうち任意の街区を管理してよい。すなわち、近接街区管理テーブル3113及び関連街区管理テーブル3114を利用して、道路の近くに存在する街区から順に道路から離れる範囲に向かってN層(レベルの一例)に街区を分類する際に、どの街区をどの層に分類するかは任意であり、またNの値も任意である。従って、碁盤の目のように街区が整列されていない場合においても、道路の近くに存在する街区から順に道路から離れる範囲に向かってN層に街区を分類し、第1層に存在する街区を近接街区管理テーブル3113で管理し、第2〜第N層に存在する街区を関連街区管理テーブル3114で管理することができる。
【0094】
以上のように、この発明の情報配信システムでは、建物や道路設備等のオブジェクトを街区に関連付けて管理し、さらに街区を道路の方向に沿った順序で道路と関連付けて管理し、クライアント端末200における視点の移動に伴って、クライアント端末200から要求された街区数分だけ道路の方向に沿って道路の両側に存在する街区を各々順番に取得していき、その街区内に存在する建物等のオブジェクトを配信するので、建物等の各オブジェクトに対して視点からの距離を計算する必要がなく、視点の付近に存在するオブジェクトを高速に取得することができる。
【0095】
また、配信するデータ量は、視点の付近に存在するとして取得する街区数に応じて制御されるが、街区数をクライアント端末200における表示状況や視点移動速度、視点高度に基づいて動的に制御するので、配信するデータ量をクライアント端末200の表示能力や時々刻々と変化する回線の状況に応じて制御することが出来、クライアント端末200ではストレスの少ない速度で視点を移動させることができる。
【0096】
また、配信するデータ量を街区数に基づいてクライアント端末200側で動的に制御するので、複数のクライアント端末200が視点移動を行う場合においてサーバ100の負荷が増加することを防ぐ。
【0097】
また、建物等のオブジェクトを街区に関連付けて管理しており、サーバ100から配信してもらうオブジェクトを視点の付近に存在する街区に基づいて決めているので、オブジェクトのデータ量を調節する際に街区に基づいて簡易的に調節することができる。すなわち、例えば視点から近い距離にある街区内に存在するオブジェクトはすべて詳細な3次元形状、高解像度テクスチャとして配信し、視点から遠い距離にある街区内に存在するオブジェクトはすべて簡易的な3次元形状、低解像度テクスチャとして配信する、というように、各オブジェクトと視点との距離を判定することなく簡易的にデータ量を調節することができる。
【0098】
実施の形態4.
実施の形態4は、視点移動速度の違いや視界の変化に関わらず、ユーザがストレスの少ない速度で視点移動を行う実施の形態である。
本実施の形態に4によれば、クライアント端末200において、「サーバ100にデータの配信を要求する時間間隔」を視点移動速度の速い遅いに応じて調整することにより、視点移動速度に関わらず、ユーザがストレスなく滑らかに視点移動を行うことができる。さらに、サーバ100にデータを要求する時間間隔内で視界が大きく変化した場合には、サーバ100側において、視点の周囲の領域に存在するオブジェクトの間引きや簡略化する割合を増加させ、視界が大きく変化した直後においても直ちに表示を行い、滑らかに視点を移動させることができる。
【0099】
システム全体の構成図は実施の形態1の図1と同様である。
【0100】
図40は、実施の形態4におけるサーバ100の機能手段の構成を示すブロック図である。
サーバ側記憶部110の各機能手段、サーバ側通信制御部130、差分取得手段151、領域別計画手段161、再計画手段162の各処理内容は実施の形態1と同様である。新たに、オブジェクト調節手段4151、新領域計画手段4161を加えている。
オブジェクト調節手段4151は、今まで表示していた地点とは異なる新しい地点に視点が移動した直後や視点の移動において視線の方向が大きく変化した場合等、視界が大きく変化した場合に、視点の周囲の領域内に存在するオブジェクトの抽出を調節する手段である。
新領域計画手段4161は、今まで表示していた地点とは異なる新しい地点に視点が移動した直後や視点の移動において視線の方向が大きく変化した場合等、視界が大きく変化した場合に、視点の周囲の領域内に存在するオブジェクトを配信する計画を立てる手段である。
【0101】
図41は、実施の形態4におけるクライアント端末200の機能手段の構成を示すブロック図である。
クライアント側記憶部210、表示部230、要求データ生成部260の各機能手段、クライアント側通信制御部250、視点取得手段221、イベント検出手段222における処理内容は、実施の形態1ないしは実施の形態2ないしは実施の形態3と同様である。新たに、視点移動判定手段4221、データ取得時間制御部4001を加えた構成である。
視点移動判定手段4221は、視界が大きく変化したかどうかを判定する。
データ取得時間制御部4001は、視点の移動に伴って「サーバ100にデータの配信を要求する時間間隔」を視点移動速度に基づいて制御する。
【0102】
次に動作について述べる。
実施の形態4は、クライアント端末200とサーバ100のデータのやり取りは、図5と同様である。図42、図43により動作を説明する。図42は、図5のS10における実施の形態4のクライアント端末200のフローチャートである。図43は、図5のS30における実施の形態4のサーバ100のフローチャートである。
以下図42を用いて説明する。
【0103】
S4101(S10)において、クライアント端末200において、視点取得手段221では、実施の形態1等と同様に、道路や建物等から成る都市の3次元モデルを表示した仮想空間内でユーザがマウスやキーボードにより視点を移動させると、視点の位置を計算し、視点位置や視線方向、視点移動速度等の視点に関する視点関連情報を取得する。取得した視点関連情報は、クライアント側記憶部210に格納するとともに、要求データ生成部260、イベント検出手段222、データ取得時間制御部4001、視点移動判定手段4221に出力する。
【0104】
S4102(S10)において、データ取得時間制御部4001では、視点の移動に伴って「サーバ100にデータの配信を要求する時間間隔」を視点移動速度に基づいて制御する。
データ取得時間制御部4001は、視点取得手段221から視点移動速度を受け取ると、視点移動速度が遅い場合には、データ要求部240の処理を行う時間間隔を長くし、視点移動速度が速い場合には、要求データ生成部260の処理を行う時間間隔を短くする。
例えば、視点移動速度が遅い場合には、データ取得時間制御部4001は、視点の移動に伴って3秒毎にデータ要求部240にメッセージ(以下、「要求データ生成メッセージ」という。)を送り、前記視点移動部220から受け取った視点に関する情報に基づいて要求データ生成部260の処理を行う。ここに、「要求データ生成メッセージ」は、クライアント端末200がサーバ100に配信要求する時間間隔を制御する制御信号の一例である。
また、視点移動速度が速い場合には、例えば、視点の移動に伴って1秒ごとに要求データ生成部260に要求データ生成メッセージを送り、前記視点取得手段221から受け取った視点に関する情報に基づいて要求データ生成部260の処理を行う。
視点移動速度がどの程度の場合に何秒ごとに要求データ生成部260に要求データ生成メッセージを送るかという、視点移動速度と時間間隔との対応付けは、クライアント側記憶部210に記憶しておく。
【0105】
一方、視点移動判定手段4221では、前記視点取得手段221において、次の視点の位置や視線の方向等が取得される毎に、視点の位置や視線の方向等を用いて、視界が一つ前の時刻に比べて大きく変化したかどうかの視界変化の度合を判定する。どの程度変化した場合に、視界が「大きく変化した」とみなすかは、予め設定しておくことができる。例えば、次の視線の方向が一つ前の時刻に対する視線の方向に比べて30度以上の角度で変化した場合に、視界が「大きく変化した」とみなすことができる。その他、次の視点の位置と一つ前の時刻における視点の位置が20m以上離れた場合に視界が「大きく変化した」とみなすことができる。この他、視点の位置と視線の方向の両方を用いて視界が変化を判定してもよい。
次の視点の位置や視線の方向が一つ前の時刻に対する視点の位置や視線の方向に比べて大きく変化した場合には、視点移動判定手段4221は、前記要求データ生成部260に視界変化メッセージ(視界変化判定信号の一例)を送り、前記視点取得手段221から受け取った視点に関する情報に基づいて要求データ生成部260の処理を行うようにする。すなわち、前記データ取得時間制御部4001では、視点の移動速度の速い、遅いに応じた時間間隔でデータ要求部240の処理を行うようにしているが、その時間間隔内に視点の位置や方向が大きく変化した場合には、視点移動判定手段4221が要求データ生成部260にメッセージを送り、直ちに要求データ生成部260の処理を行うようにする。
【0106】
S4103(S10)において、クライアント側通信制御部250は、視点情報が大きく変化したことを伝える視界変化メッセージをサーバ100に送信する。
【0107】
以下、図43を用いて説明する。
S4301(S30)において、サーバ側通信制御部130では、クライアント端末200において視点の位置や視線の方向が大きく変化したという視界変化メッセージを受け取ると、配信オブジェクト取得部150のオブジェクト調節手段4151に渡す。
【0108】
S4302(S30)において、オブジェクト調節手段4151では、次の視点に関する視点関連情報や、データ要求範囲に関する情報、視点の位置や方向が大きく変化したという視界変化メッセージ等をサーバ側通信制御部130から受け取ると、オブジェクト(表示用データ)の詳細度を調節する。この調節おいては、データ要求範囲内に存在するオブジェクトのうち、いくつかを間引いたり簡略化したりする割合を回線の通信速度に基づいて決定する。この決定に基づいて、オブジェクト調節手段4151は、3次元データやテクスチャデータ等のオブジェクトに関するデータをオブジェクト管理データベース114から抽出する。抽出したデータは、サーバ側通信制御部130、配信計画部160に渡す。
回線の通信速度が遅い場合には、オブジェクトを間引いたり簡略化したりする割合を多くし、回線の通信速度が速い場合には、オブジェクトを間引いたり簡略化したりする割合を少なくする。例えば、視点から遠方に存在する建物のテクスチャを低解像度に簡略化する場合において、回線の通信速度が遅い場合には、テクスチャを低解像度にする建物を多くする一方、回線の通信速度が速い場合には、テクスチャを低解像度にする建物を少なくする。
また、フライスルーのように上空を視点移動する場合において、回線の通信速度が遅い場合には、低い建物のテクスチャを低解像度とし、低解像度にする建物を多くする。
【0109】
S4303(S30)において、配信計画部160の新領域計画手段4161では、前記オブジェクト調節手段4151からオブジェクトの3次元データやテクスチャデータ等を受け取ると、視界が大きく変化した場合に、データ要求範囲内に存在するオブジェクトを配信する計画を立てる。
各オブジェクトに対しては、データは3次元データ、テクスチャデータの順に配信するものとする。また、データ要求範囲内に存在するオブジェクトのうち、3次元データのデータ量が少ないオブジェクトから順に配信する計画とする。立てた配信の計画は、配信計画ファイル163に出力する。
配信計画ファイル163は、サーバ側通信制御部130が参照する。
以降の各機能手段における各処理内容は、実施の形態1、ないしは実施の形態2、ないしは実施の形態3と同様である。
【0110】
以上のように、この発明の情報配信システムでは、サーバ100にデータを要求する時間間隔を視点移動速度に基づいて決めるので、視点移動速度が速い場合にも、その速度に対応して表示したい範囲のデータを時々刻々とサーバ100から受信することができる。
【0111】
また、視点移動速度が遅い場合には、視点を取得するごとにデータの配信をサーバ100に要求するのではなく、データを配信してもらう必要がある分だけ、視点移動によって表示範囲が変化した時点で要求することにより、通信やサーバ100の負荷を軽減し、滑らかな視点移動を効率的に行うことができる。
【0112】
さらに、時間間隔内で視界が大きく変化した場合には、その時点でサーバ100にデータを要求することができ、視点の周囲の領域に存在するオブジェクトの間引きや簡略化する割合を増加させることによって、視界が大きく変化した直後においても直ちに表示を行い、滑らかに視点を移動することができる。
【0113】
実施の形態5.
実施の形態5は、視点の移動を停止した場合や視点が静止している場合に、視点の周囲の領域を次第に拡大して、オブジェクトを配信する実施の形態である。
【0114】
システム全体の構成図は実施の形態1の図1と同様である。
【0115】
図44は、実施の形態5におけるサーバ100の機能手段の構成を示すブロック図である。
サーバ側記憶部110の各機能手段、サーバ側通信制御部130、差分取得手段151、領域別計画手段161、再計画手段162の各機能手段における各処理内容は、実施の形態1と同様である。新たに、拡大領域取得手段5151、拡大領域計画手段5161、計画変更手段5162を備えた。
拡大領域取得手段5151は、クライアント端末200において視点の移動が停止した場合や視点が静止している場合に、視点の周囲の領域を次第に拡大してその範囲に存在するオブジェクトを抽出し、オブジェクトに関して3次元データやテクスチャデータ等の詳細なデータを取得する。
拡大領域計画手段5161は、クライアント端末200において視点の移動が停止した場合や視点が静止している場合に、視点の周囲の領域を次第に拡大した際にその領域に存在するオブジェクトに関するデータを配信する計画を立てる手段である。
計画変更手段5162は、既に計画済みの配信計画を見直し、クライアント端末200における新しい視点の操作等に基づいて配信の計画を変更する手段である。
【0116】
実施の形態5におけるクライアント端末200の機能手段の構成を示すブロック図は、実施の形態1と同様である。
【0117】
次に動作について述べる。
実施の形態5は、クライアント端末200とサーバ100のデータのやり取りは、図5と同様である。図45により動作を説明する。図45は、図5のS30における実施の形態5のサーバ100の動作のフローチャートである。
実施の形態1で述べた図3に示すクライアント端末200において、これまで行っていた視点の移動を停止した場合や、ある地点に視点を移動した直後等、視点が静止した状態になると、イベント検出手段222はこれを検出し、視点が静止したというメッセージ(視点停止信号の一例)をクライアント側通信制御部250からネットワークを介してサーバ側通信制御部130に渡す。
【0118】
以下、図45を用いて説明する。
S5301(S30)において、サーバ側通信制御部130は、視点が静止したというメッセージをクライアント端末200から受け取ると、配信オブジェクト取得部150の拡大領域取得手段5151に処理を移行する。
【0119】
S5302(S30)において、配信オブジェクト取得部150の拡大領域取得手段5151では、クライアント端末200において視点の移動が停止した場合や視点が静止している場合に、視点の周囲の領域(データ要求範囲)を次第に拡大して、その範囲に存在するオブジェクトを抽出し、オブジェクトに関して3次元データやテクスチャデータ等の詳細なデータを取得する手段である。
視点が静止した位置に対応する視点の情報(視点の位置、視線の方向等)やデータ要求範囲の大きさや座標等をサーバ側通信制御部130から受け取ると、視点の周囲の領域を数回に分けて拡大し、その範囲内に存在するオブジェクトを前記オブジェクト管理手段113が有するオブジェクト管理データベース114を参照して抽出する。例えば、図46において、視点が静止した時点における視点の周囲の領域が矩形A(横WA、縦DA)の範囲であった場合、矩形Aの横幅WAと縦幅DAを増加させた矩形B(横WB、縦DB)の領域、及び矩形C(横WC、縦DC)の領域を算出する。そして、矩形Bと矩形Aの差分領域内に存在するオブジェクト、矩形Cと矩形Bの差分領域内に存在するオブジェクトを抽出し、3次元データやテクスチャデータ等を取得する。取得したデータは、サーバ側通信制御部130、配信計画部160に渡す。
なお、視点の周囲として拡大していく領域の大きさ(図46に示した矩形の場合、ΔwやΔd)は、任意である。特に、回線の通信速度に基づいて決めることができる。すなわち、回線の通信速度が速い場合には、視点の周囲の領域として拡大していく領域の大きさを大きくし、回線の通信速度が遅い場合には、視点の周囲の領域として拡大していく領域の大きさを小さくする。
また、データ要求範囲の形状は、実施の形態1と同様に、矩形の他に円等を用いることができる。
【0120】
S5303(S30)において、配信計画部160の拡大領域計画手段5161は、視点の周囲に存在するオブジェクトを配信する計画を立てる。
まず、視点が静止した地点で、データ要求範囲に存在するオブジェクトに関するデータが未だ残っている場合には、これを配信する計画とする。図46の場合、矩形Aの領域内に存在するオブジェクトに関するデータで未だ配信していないオブジェクトがある場合には、このオブジェクトのデータを配信する。
次に、データ要求範囲の周りに拡大した領域内に存在するオブジェクトのデータを、視点の周囲の領域(データ要求範囲)に近い順に配信する計画を立てる。図46の場合、矩形Bと矩形Aの差分領域内に存在するオブジェクト、矩形Cと矩形Bの差分領域内に存在するオブジェクト、の順に配信する計画となる。
これらの計画は配信計画ファイル163に出力する。配信計画ファイル163は、サーバ側通信制御部130において参照される。また、サーバ側通信制御部130によって配信が完了する毎に、サーバ側通信制御部130から配信完了のメッセージを受け取り、配信計画ファイル163の「状態」の項目を更新する。
【0121】
クライアント端末200において、視点が静止している状態から視点の移動が開始されると、イベント検出手段222がこれを検出し、視点の移動が再開されたというメッセージを、ネットワークを介してサーバ100に送る。
【0122】
S5304(S30)において、視点の移動が再開されたというメッセージをサーバ側通信制御部130が受け取ると、配信計画部160の計画変更手段5162では、既に計画済みの配信計画を見直し、クライアント端末200における新しい視点の操作等に基づいて配信の計画を変更する。
図46において、例えば、矩形Bと矩形Aの差分領域に存在するオブジェクトに関するデータを配信している最中にクライアント端末200から視点移動再開されたというメッセージを受け取ると、現在配信しているオブジェクトに関するデータのみをそのまま配信し、矩形Bと矩形Aの差分領域に存在する残りの未配信オブジェクトと矩形Cと矩形Bの差分領域に存在するオブジェクトの配信を保留にして、これらのオブジェクトに関して配信計画ファイル163の「状態」の項目を保留にする。
そして、クライアント端末200から、視点の移動に伴う新しい視点に関する情報やデータ要求範囲の大きさ等の情報がサーバ100に送信されるので、これに基づいて領域別計画手段161が新しい配信計画を立てる。
その後、再度視点が静止し、視点が静止した地点のデータ要求範囲の周りを拡大した領域に配信計画ファイル163で保留になっているオブジェクトが含まれている場合には、保留の状態を解除して配信し、配信が完了した場合には「状態」を配信完了に変更する。
【0123】
その他の各機能手段における各処理内容は、実施の形態1と同様である。
【0124】
以上のように、実施の形態5の情報配信システムでは、視点の移動を停止した場合や視点が静止している場合に、視点の周囲の領域を次第に拡大してオブジェクトを配信するので、その後に視点移動を開始した際に、視点の周囲の領域を直ちに表示することができる。
【0125】
実施の形態1〜5において、クライアント端末200では受信したデータをキャッシングしておくことにより、既に受信したデータを利用して3次元モデルを表示することができる。また、メモリ管理手段232によりデータが削除されていた場合には、サーバ100から再度配信してもらうことができる。また、クライアント側記憶部210で既に記憶されている他のデータを併用して表示することができる。
【0126】
実施の形態1〜5は、クライアント端末200としてコンピュータを使用した実施の形態であるが、携帯電話及びその他の携帯端末、あるいはPDA(personal digital assistant)等を使用してもよい。この場合は、携帯電話回線を使用してインターネットに接続することができる。
【0127】
図47は、上記各実施の形態におけるサーバ100あるいはクライアント端末200であるコンピュータの基本構成の一例を示す図である。
図47において、プログラムを実行するCPU40は、バス38を介してモニタ41、キーボード42、マウス43、通信ポート44、磁気ディスク装置46等と接続されている。
磁気ディスク装置46には、OS47、プログラム群49、ファイル群50が記憶されている。
プログラム群49は、CPU40、OS47により実行される。
上記各実施の形態では、クライアント端末200とサーバ100とは、通信ポート44の機能を使用してお互いに通信を行う。
【0128】
すべての実施の形態では、各構成要素の各動作はお互いに関連しており、各構成要素の動作は、上記に示した動作の関連を考慮しながら、一連の動作(ステップ)として置き換えることができる。そして、このように置き換えることにより、方法の発明の実施形態とすることができる。以下に一連の動作(ステップ)の具体例を述べる。
例えば、表示用データを配信するサーバ100にクライアント端末200から配信要求を送信して表示用データを配信する情報配信方法において、図47は、サーバ100であるコンピュータの基本構成の一例を示す図とする。
サーバ100において、図47の通信ポート44を介してクライアント端末200からデータ配信要求を受信する(サーバ側受信ステップの一例)。次に、サーバ100において、例えば、CPU40は、磁気ディスク装置46に記憶しているOS47、プログラム群49及びファイル群50(上記実施の形態に示したデータベース、テーブル等を含む)を用いて、クライアント端末200からのデータ配信要求に対応する表示用データを通信ポート44を介してクライアント端末200に配信する(配信ステップの一例)。
また、図47が、クライアント端末200であるコンピュータの基本構成の一例を示す図とする。
まず、クライアント端末200において、図47の通信ポート44を介して表示用データを受信する(クライアント側受信ステップの一例)。
次に、クライアント端末200において、CPU40の処理により受信した表示用データをモニタ41に表示する(表示ステップの一例)。
次に、クライアント端末200において、表示した表示状況に基づいて、CPU40が磁気ディスク装置46に記憶しているOS47、プログラム群49及びファイル群50を用いて処理を行なうことにより、サーバ100に配信要求するデータ範囲を決定する(データ範囲決定ステップの一例)。
次に、クライアント端末200において、データ範囲に対応する表示用データの配信要求をサーバ100へのデータ配信要求として、通信ポート44を介して、サーバ100に送信する(送信ステップの一例)。
以上が、一連の動作(ステップ)に置き換えた場合の情報配信方法の具体的動作の例である。
【0129】
また、上記各構成要素の動作(ステップ)を、コンピュータに実行可能なプログラムとすることにより、プログラムの実施の形態とすることができる。
また、プログラムを、プログラムを記録したコンピュータ読み取り可能な記録媒体に記憶させることで、プログラムに記録したコンピュータ読み取り可能な記録媒体の実施の形態とすることができる。
【0130】
プログラムの実施の形態及びプログラムに記録したコンピュータ読み取り可能な記録媒体の実施の形態は、すべてコンピュータで動作可能なプログラムにより構成することができる。
プログラムの実施の形態およびプログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態における各処理はプログラムで実行されるが、このプログラムは、記録装置に記録されていて、記録装置から中央処理装置(CPU)に読み込まれ、中央処理装置によって、実施の形態に開示した各動作が実行されることになる。
また、各実施の形態のソフトウェアやプログラムは、ROM(READ ONLY MEMORY)に記憶されたファームウェアで実現されていても構わない。あるいは、ソフトウェアとファームウェアとハードウェアとの組み合わせで前述したプログラムの各機能を実現しても構わない。
【0131】
【発明の効果】
クライアントにおける視点の移動に伴って、クライアントではクライアントの表示状況に基づいてサーバに要求するデータ範囲(量)を決定し、サーバはその範囲(量)に基づいてデータをクライアントに配信するので、道路や建物等から成る都市の3次元モデルを表示した3次元空間内でウォークスルーやフライスルー等の視点の移動を行う場合に、高速に視点の移動ができる。
【0132】
また、クライアント側でサーバに要求するデータの範囲を決めるため、サーバ側にはデータの範囲を決定する負荷がかからないので、多数のクライアントが視点の移動を行っている場合でも、各クライアントは高速に3次元空間内を視点移動できる。
【図面の簡単な説明】
【図1】システム構成を示す図である。
【図2】実施の形態1におけるサーバの構成を示す図である。
【図3】実施の形態1におけるクライアント端末の構成を示す図である。
【図4】サーバとクライアント端末とのデータのやりとりを示す図である。
【図5】サーバとクライアント端末とのデータのやりとりを示すシーケンス図である。
【図6】クライアント端末の動作を示すフローチャートである。
【図7】サーバの動作を示すフローチャートである。
【図8】クライアントの動作を示すフローチャートである。
【図9】サーバの動作を示すフローチャートである。
【図10】クライアント端末の動作を示すフローチャートである。
【図11】視点周囲領域を示す図である。
【図12】視点周囲領域の方向を決定した場合を示す図である。
【図13】視点周囲領域の形状が円である場合を示す図である。
【図14】データ要求範囲と表示範囲との関係を示す図である。
【図15】データ要求範囲の決定の様子を示す図である。
【図16】円形状のデータ要求範囲の決定の様子を示す図である。
【図17】オブジェクト管理データベースが格納するテーブルを示す図である。
【図18】配信情報テーブルを示す図である。
【図19】差分取得の様子を示す図である。
【図20】表示状況テーブルを示す図である。
【図21】配信計画ファイルを示す図である。
【図22】実施の形態2におけるサーバの構成を示す図である。
【図23】実施の形態2におけるクライアント端末の構成を示す図である。
【図24】道路の分割方法の例を示す図である。
【図25】道路管理テーブルを示す図である。
【図26】近接オブジェクトテーブルを示す図である。
【図27】建物の列を示す図である。
【図28】関連オブジェクト管理テーブルを示す図である。
【図29】クライアント端末の動作を示すフローチャートである。
【図30】サーバの動作を示すフローチャートである。
【図31】視線方向が反対方向を示す図である。
【図32】実施の形態3におけるサーバの構成を示す図である。
【図33】建物管理テーブルを示す図である。
【図34】実施の形態3におけるクライアント端末の構成を示す図である。
【図35】近接街区管理テーブルを示す図である。
【図36】街区を示す図である。
【図37】関連街区管理テーブルを示す図である。
【図38】クライアント端末の動作を示すフローチャートである。
【図39】サーバの動作を示すフローチャートである。
【図40】実施の形態4におけるサーバの構成を示す図である。
【図41】実施の形態4におけるクライアント端末の構成を示す図である。
【図42】クライアント端末の動作を示すフローチャートである。
【図43】サーバの動作を示すフローチャートである。
【図44】実施の形態5におけるサーバの構成を示す図である。
【図45】サーバの動作を示すフローチャートである。
【図46】視点の周囲の領域が拡大される様子を示す図である。
【図47】コンピュータの基本構成を示す図である。
【符号の説明】
38 バス、40 CPU、41 モニタ、42 キーボード、43 マウス、44 通信ポート、46 磁気ディスク装置、47 OS、49 プログラム群、50 ファイル群、100 サーバ、110 サーバ側記憶部、111 クライアント管理手段、112 クライアント管理データベース、113 オブジェクト管理手段、114 オブジェクト管理データベース、115 配信情報テーブル、120 ストリーミング制御部、130 サーバ側通信制御部、131サーバ側受信部、132 サーバ側送信部、140 配信データ生成部、150 配信オブジェクト取得部、151 差分取得手段、160 配信計画部、161 領域別計画手段、162 再計画手段、163 配信計画ファイル、200 クライアント端末、210 クライアント側記憶部、211 受信データ管理手段、220 視点移動部、221 視点取得手段、222 イベント検出手段、230 表示部、231 レンダリング手段、232 メモリ管理手段、240 データ要求部、250 クライアント側通信制御部、251 クライアント側受信部、252 クライアント側送信部、260 要求データ生成部、270 視点周囲領域決定部、271 視線方向判定手段、272 視点周囲領域算出手段、280 要求データ調節部、281 表示範囲算出手段、282 データ要求範囲取得手段、2115 道路管理テーブル、2116 近接オブジェクト管理テーブル、2117 関連オブジェクト管理テーブル、2151 道路取得手段、2152 近接オブジェクト取得手段、2153 関連オブジェクト取得手段、2161 方向別計画手段、2281 オブジェクト表示率算出手段、2282 要求件数調節手段、2283 関連オブジェクト領域調節手段、3113 近接街区管理テーブル、3114 関連街区管理テーブル、3115 建物管理テーブル、3151 近接街区取得手段、3152 関連街区取得手段、3153 街区内オブジェクト取得手段、3161 街区別計画手段、3281表示状況取得手段、3282 要求街区数調節手段、3283 関連街区調節手段、4001 データ取得時間制御部、4151 オブジェクト調節手段、4161 新領域計画手段、4221 視点移動判定手段、5151 拡大領域取得手段、5161 拡大領域計画手段、5162 計画変更手段。

Claims (31)

  1. データ配信要求を受信するサーバ側受信部および
    該データ配信要求に対応する表示用データを配信する配信部
    を有するサーバと、
    表示用データを受信するクライアント側受信部、
    該クライアント側受信部により受信された表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示する表示部、
    該表示部の表示する3次元の仮想空間における視点を移動可能とする視点移動部、
    3次元の仮想空間における視点の移動に伴い必要となる表示用データを配信要求するに際し、前記表示部の表示状況に基づいて配信要求するデータ範囲を決定するデータ範囲決定部および
    前記データ範囲に対応する表示用データの配信要求を前記データ配信要求として前記サーバに送信するクライアント側送信部
    を有するクライアント端末と、
    を備えた情報配信システム。
  2. データ配信要求を受信するサーバ側受信部および
    該データ配信要求に対応する表示用データを配信する配信部
    を有するサーバと、
    前記表示用データを受信するクライアント側受信部、
    該クライアント側受信部により受信された表示用データを表示する表示部、
    該表示部の表示状況に基づいて配信要求するデータ範囲を決定するデータ範囲決定部および
    前記データ範囲に対応する表示用データの配信要求を前記データ配信要求として前記サーバに送信するクライアント側送信部
    を有するクライアント端末と、
    を備えた情報配信システム。
  3. データ配信要求を受信して該データ配信要求に対応する表示用データを配信するサーバと接続されるクライアント端末であって、
    前記表示用データを受信するクライアント側受信部、
    該クライアント側受信部により受信された表示用データを表示する表示部、
    該表示部の表示状況に基づいて配信要求するデータ範囲を決定するデータ範囲決定部および
    前記データ範囲に対応する表示用データの配信要求を前記データ配信要求として前記サーバに送信するクライアント側送信部
    を有するクライアント端末。
  4. 前記クライアント端末は、さらに、
    前記サーバにデータ配信要求した表示用データが前記クライアント側受信部により正常に受信されたかを監視して正常に受信されていない表示用データの再配信を前記サーバに要求をする受信データ管理手段を備えたことを特徴とする請求項3記載のクライアント端末。
  5. データ配信要求を受信して該データ配信要求に対応する表示用データを配信するサーバと接続されるクライアント端末であって、
    表示用データを受信するクライアント側受信部、
    該クライアント側受信部により受信された表示用データを記憶するクライアント側記憶部、
    該クライアント側記憶部により記憶された表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示する表示部、
    該表示部の表示する3次元の仮想空間における視点を移動可能とするとともに視点の位置を含む視点に関する視点関連情報を取得する視点移動部および、
    該視点移動部の取得した視点関連情報に含まれる視点の位置を用いて視点の位置とクライアント側記憶部に記憶された表示用データの3次元の仮想空間における位置との位置関係を算出して算出した位置関係と表示用データが前記表示部に表示されてからの経過時間との少なくともいずれかに基づいて前記クライアント側記憶部に記憶された表示用データを削除するメモリ管理手段
    を備えたことを特徴とするクライアント端末。
  6. 前記データ範囲決定部は、
    前記サーバに配信要求したデータ範囲に対する前記表示部に表示された表示用データの比率を示す表示完了率を表示状況として算出して、算出した表示完了率に基づいて前記サーバに配信要求するデータ範囲を決定することを特徴とする請求項3記載のクライアント端末。
  7. 表示用データの配信を要求するクライアント端末に表示用データを配信するサーバであって、
    前記クライアント端末から所定の範囲の表示用データを配信要求するデータ範囲と前記クライアント端末の表示用データの表示状況とを受信するサーバ側受信部と、
    受信した表示状況に基づいて、受信したデータ範囲に対応する表示用データを前記クライアント端末へ配信する配信計画を作成する配信計画部とを備えたことを特徴とするサーバ。
  8. 前記サーバは、さらに、
    表示用データを記憶するサーバ側記憶部と、
    受信したデータ範囲に対応する表示用データを前記サーバ側記憶部から取得する表示用データ取得部と
    を備え、
    前記配信計画部は、
    受信した表示状況に基づいて、前記表示用データ取得部が取得した表示用データを前記クライアント端末へ配信する配信計画を作成することを特徴とする請求項7記載のサーバ。
  9. 前記表示状況は、
    前記クライアント端末が前記サーバに配信要求したデータ範囲に対する前記クライアント端末において表示された表示用データの比率を示す表示完了率を含むことを特徴とする請求項7記載のサーバ。
  10. 前記表示部は、表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示し、
    前記クライアント端末は、さらに、
    3次元の仮想空間内を移動する視点の移動速度を含む視点関連情報を取得する視点取得手段を備え、
    前記データ範囲決定部は、
    前記視点取得手段が取得した視点関連情報に含まれる視点の移動速度に基づいて前記サーバに配信要求するデータ範囲を調節することを特徴とする請求項3記載のクライアント端末。
  11. 前記表示部は、表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示し、
    前記クライアント端末は、さらに、
    3次元の仮想空間内を移動する視点の位置と視線方向とを含む視点関連情報を取得する視点取得手段を備え、
    前記データ範囲決定部は、
    前記視点取得手段が取得した視点の位置と視線方向とに基づいて視点の周囲に所定の領域である視点周囲領域を決定する視点周囲領域決定部と、
    前記視点周囲領域決定部が決定した視点周囲領域を表示状況に基づいてデータ範囲として生成するデータ範囲生成部と
    を備えたことを特徴とする請求項3記載のクライアント端末。
  12. 前記クライアント端末は、さらに、
    前記視点取得手段が取得した視点関連情報に含まれる視点の移動速度を入力して入力した移動速度に基づいて視点の移動速度変化を検出するイベント検出手段を備え、
    前記データ範囲決定部は、
    前記イベント検出手段が検出した視点の移動速度変化に基づいて前記サーバに配信要求するデータ範囲を調節することを特徴とする請求項10記載のクライアント端末。
  13. 前記表示部は、表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示し、
    前記クライアント端末は、さらに、
    3次元の仮想空間内を移動する視点の移動速度を含む視点関連情報を取得する視点取得手段と、
    前記視点取得手段が取得した視点関連情報に含まれる視点の移動速度を入力して入力した移動速度に基づいて前記データ範囲決定部が前記クライアント側送信部を介して前記サーバに配信要求する時間間隔を制御する制御信号を出力するデータ取得時間制御部とを備え、
    前記データ範囲決定部は、
    前記データ取得時間制御部が出力した制御信号を入力して入力した制御信号に基づいて前記クライアント側送信部を介して前記サーバに配信要求する時間間隔を変更することを特徴とする請求項3記載のクライアント端末。
  14. 前記表示部は、表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示し、
    前記クライアント端末は、さらに、
    3次元の仮想空間内を移動する視点に関する視点関連情報を取得する視点取得手段と、
    前記視点取得手段が取得した視点関連情報を入力して視点の視界の変化を判定し判定結果を視界変化判定信号として出力する視点移動判定手段とを備え、
    前記データ範囲決定部は、
    前記視点移動判定手段が出力した視界変化判定信号を入力し入力した視界変化判定信号に基づいて前記サーバにデータ範囲と視界変化判定信号とを前記クライアント側送信部を介して送信して前記サーバにデータ範囲に対応する表示用データの配信をさせることを特徴とする請求項3記載のクライアント端末。
  15. 前記表示部は、表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示し、
    前記クライアント端末は、さらに、
    3次元の仮想空間内を移動する視点に関する視点関連情報を取得する視点取得手段と、
    前記視点取得手段が取得した視点関連情報を入力して視点の視界の変化を判定し判定結果を視界変化判定信号として出力する視点移動判定手段とを備え、
    前記データ範囲決定部は、
    前記視点移動判定手段が出力した視界変化判定信号を入力し入力した視界変化判定信号に基づいて前記サーバにデータ範囲と視界変化判定信号とを前記クライアント側送信部を介して送信するとともに、
    前記サーバは、
    前記サーバ側受信部がデータ範囲と視界変化判定信号とを受信するとともに、さらに、前記サーバ側受信部が受信した視界変化判定信号に基づいてデータ範囲に対応する表示用データの詳細度を調節するオブジェクト調節手段を備えたことを特徴とする請求項2記載の情報配信システム。
  16. 前記表示部は、表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示し、
    前記クライアント端末は、さらに、
    3次元の仮想空間内を移動する視点の停止状態を検出して視点停止信号を出力するイベント検出手段を備え、
    前記クライアント側送信部が前記イベント検出手段の出力した視点停止信号を入力して前記サーバに視点停止信号を送信するとともに、
    前記サーバは、
    前記サーバ側受信部が視点停止信号を受信するとともに、
    さらに、前記サーバ側受信部から視点停止信号を入力し入力した視点停止信号に基づいて前記クライアント端末が配信要求したデータ範囲を拡大する拡大領域取得手段を備えたことを特徴とする請求項2記載の情報配信システム。
  17. クライアント端末からネットワークを介して配信要求を受け付けて前記クライアント端末へ表示用データを配信するサーバであって、
    表示用データをレベルに分けて記憶するサーバ側記憶部と、
    前記クライアント端末から受け付けた配信要求に基づいて少なくとも一つのレベルを選択し、選択した少なくとも一つのレベルに含まれる表示用データに対して前記クライアント端末に配信する配信優先度を定め、配信優先度にしたがって表示用データを前記クライアント端末に配信する配信部と
    を備えたことを特徴とするサーバ。
  18. クライアント端末からネットワークを介して前記クライアント端末が表示する表示用データのデータ件数を含む配信要求を受け付けて前記クライアント端末へ表示用データを配信するサーバであって、
    表示用データを順位付けして記憶するサーバ側記憶部と、
    前記クライアント端末から受け付けた配信要求に含まれる表示用データのデータ件数と前記サーバ側記憶部に記憶している表示用データの順位付けとに基づいて前記サーバ側記憶部から表示用データを取得して前記クライアント端末に取得した表示用データを配信する配信部と
    を備えたことを特徴とするサーバ。
  19. クライアント端末からネットワークを介して配信要求を受け付けて前記クライアント端末へ表示用データを配信するサーバであって、
    表示用データをレベルに分けるとともに、それぞれのレベルの表示用データを他のレベルの表示用データと関連付けて記憶するサーバ側記憶部と、
    前記クライアント端末から受け付けた配信要求に基づいて互いに関連付けられたそれぞれのレベルの表示用データを前記サーバ側記憶部から取得して前記クライアント端末に配信する配信部と
    を備えたことを特徴とするサーバ。
  20. クライアント端末からネットワークを介して配信要求を受け付けて前記クライアント端末へ表示用データを配信するサーバであって、
    表示用データを所定のグループごとにグループ分けして、グループ分けしたグループにレベルを付与して、それぞれのレベルのグループを他のレベルのグループと関連付けて記憶するサーバ側記憶部と、
    前記クライアント端末から受け付けた配信要求に基づいて前記サーバ側記憶部から関連付けられたそれぞれのレベルのグループを取得して前記クライアント端末に配信する配信部と
    を備えたことを特徴とするサーバ。
  21. 表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示するクライアント端末からネットワークを介して視点の位置を含む配信要求を受け付けて前記クライアント端末へ表示用データを配信するサーバであって、
    表示用データの3次元の仮想空間における位置に基づいて、表示用データを3次元の仮想空間における位置を有する所定のグループごとにグループ分けしてグループ分けしたグループにレベルを付与してそれぞれのレベルのグループを他のレベルのグループと関連付けて記憶するサーバ側記憶部と、
    前記クライアント端末から受け付けた視点の位置を含む配信要求に応答して、関連付けられたそれぞれのレベルのグループを前記サーバ側記憶部から取得して取得したそれぞれのレベルのグループに対して、3次元の仮想空間におけるグループの位置と配信要求に含まれる視点の位置とを用いて3次元の仮想空間におけるグループの位置と視点の位置との位置関係を算出して算出した位置関係に基づいてそれぞれのレベルのグループに含まれる表示用データを前記クライアント端末に配信する配信計画を作成する配信部と
    を備えたことを特徴とするサーバ。
  22. 表示用データを用いて移動可能な視点から視覚できる3次元の仮想空間を表示するクライアント端末からネットワークを介して視点の位置を含む配信要求を受け付けて前記クライアント端末へ表示用データを配信するサーバであって、
    3次元の仮想空間において道路を表示する道路表示用データと道路表示用データに関連付けられた表示用データである道路関連表示用データとを記憶するサーバ側記憶部と、
    前記クライアント端末から受け付けた配信要求に含まれる視点の位置を用いて視点の位置に対応する前記サーバ側記憶部に記憶された道路表示用データを抽出するとともに、抽出した道路表示用データに基づいて、関連付けられた道路関連表示用データを抽出して抽出した道路関連表示用データを前記クライアント端末に配信する配信部と
    を備えたことを特徴とするサーバ。
  23. 前記データ範囲は、
    表示用データの領域と表示用データの件数とのいずれかであること
    を特徴とする請求項3記載のクライアント端末。
  24. 前記データ範囲は、
    配信を要求する表示用データが所定のグループごとにグループ分けされている際に、グループの数であることを特徴とする請求項3記載のクライアント端末。
  25. 表示用データを配信するサーバにクライアント端末から配信要求を送信して表示用データを配信する情報配信方法であって、
    前記サーバにおいて、
    データ配信要求を受信するサーバ側受信ステップおよび
    該データ配信要求に対応する表示用データを配信する配信ステップ
    を備え、
    前記クライアント端末において、
    前記表示用データを受信するクライアント側受信ステップ、
    受信した表示用データを表示する表示ステップ、
    表示した表示状況に基づいて配信要求するデータ範囲を決定するデータ範囲決定ステップおよび
    前記データ範囲に対応する表示用データの配信要求を前記データ配信要求として前記サーバに送信する送信ステップを有することを特徴とする情報配信方法。
  26. データ配信要求を受信して該データ配信要求に対応する表示用データを配信するサーバと通信して配信要求する配信要求プログラムであって、
    前記表示用データを受信する受信ステップ、
    該受信ステップにより受信された表示用データを表示する表示ステップ、
    該表示ステップが表示した表示用データの表示状況に基づいて配信要求するデータ範囲を決定するデータ範囲決定ステップおよび
    前記データ範囲に対応する表示用データの配信要求を前記データ配信要求として前記サーバに送信する送信ステップ
    をコンピュータに実行させることを特徴とする配信要求プログラム。
  27. データ配信要求を受信して該データ配信要求に対応する表示用データを配信するサーバと通信して配信要求する配信要求プログラムを記録した記録媒体であって、
    前記表示用データを受信する受信ステップ、
    該受信ステップにより受信された表示用データを表示する表示ステップ、
    該表示ステップが表示した表示用データの表示状況に基づいて配信要求するデータ範囲を決定するデータ範囲決定ステップおよび
    前記データ範囲に対応する表示用データの配信要求を前記データ配信要求として前記サーバに送信する送信ステップ
    をコンピュータに実行させる配信要求プログラムをコンピュータに読み取り可能に記録した記録媒体。
  28. 表示用データの配信を要求するクライアント端末に表示用データを配信する配信計画プログラムであって、
    前記クライアント端末から所定の範囲の表示用データを配信要求するデータ範囲と前記クライアント端末の表示用データの表示状況とを受信する受信ステップと、
    受信した表示状況に基づいて、受信したデータ範囲に対応する表示用データを前記クライアント端末へ配信する配信計画を作成する配信計画ステップと
    をコンピュータに実行させることを特徴とする配信計画プログラム。
  29. 表示用データの配信を要求するクライアント端末に表示用データを配信する配信計画プログラムを記録した記録媒体であって、
    前記クライアント端末から所定の範囲の表示用データを配信要求するデータ範囲と前記クライアント端末の表示用データの表示状況とを受信する受信ステップと、
    受信した表示状況に基づいて、受信したデータ範囲に対応する表示用データを前記クライアント端末へ配信する配信計画を作成する配信計画ステップとをコンピュータに実行させる配信計画プログラムをコンピュータに読み取り可能に記録した記録媒体。
  30. クライアント端末からネットワークを介して配信要求を受け付けて前記クライアント端末へ表示用データを配信する配信プログラムであって、
    表示用データをレベルに分けて記憶する記憶ステップと、
    前記クライアント端末から受け付けた配信要求に基づいて少なくとも一つのレベルを選択し、選択した少なくとも一つのレベルに含まれる表示用データに対して前記クライアント端末に配信する配信優先度を定め、配信優先度にしたがって表示用データを前記クライアント端末に配信する配信ステップと
    をコンピュータに実行させることを特徴とする配信プログラム。
  31. クライアント端末からネットワークを介して配信要求を受け付けて前記クライアント端末へ表示用データを配信する配信プログラムを記録した記録媒体であって、
    表示用データをレベルに分けて記憶する記憶ステップと、
    前記クライアント端末から受け付けた配信要求に基づいて少なくとも一つのレベルを選択し、選択した少なくとも一つのレベルに含まれる表示用データに対して前記クライアント端末に配信する配信優先度を定め、配信優先度にしたがって表示用データを前記クライアント端末に配信する配信ステップと
    をコンピュータに実行させる配信プログラムをコンピュータに読み取り可能に記録した記録媒体。
JP2002373648A 2002-12-25 2002-12-25 情報配信システム及びクライアント端末及びサーバ及び情報配信方法及び配信要求プログラム及び配信要求プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信計画プログラム及び配信計画プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信プログラム及び配信プログラムをコンピュータに読み取り可能に記録した記録媒体 Abandoned JP2004206338A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002373648A JP2004206338A (ja) 2002-12-25 2002-12-25 情報配信システム及びクライアント端末及びサーバ及び情報配信方法及び配信要求プログラム及び配信要求プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信計画プログラム及び配信計画プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信プログラム及び配信プログラムをコンピュータに読み取り可能に記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002373648A JP2004206338A (ja) 2002-12-25 2002-12-25 情報配信システム及びクライアント端末及びサーバ及び情報配信方法及び配信要求プログラム及び配信要求プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信計画プログラム及び配信計画プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信プログラム及び配信プログラムをコンピュータに読み取り可能に記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2004206338A true JP2004206338A (ja) 2004-07-22

Family

ID=32811871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002373648A Abandoned JP2004206338A (ja) 2002-12-25 2002-12-25 情報配信システム及びクライアント端末及びサーバ及び情報配信方法及び配信要求プログラム及び配信要求プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信計画プログラム及び配信計画プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信プログラム及び配信プログラムをコンピュータに読み取り可能に記録した記録媒体

Country Status (1)

Country Link
JP (1) JP2004206338A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176728A (ja) * 2007-01-22 2008-07-31 Nintendo Co Ltd 表示制御装置および表示制御プログラム
JP2010238126A (ja) * 2009-03-31 2010-10-21 Nec Personal Products Co Ltd サーバクライアントシステム、サーバ、端末、制御方法、及びプログラム
JP2010537348A (ja) * 2007-08-30 2010-12-02 ハリス コーポレイション 解像度の連続した付加レイヤー内の地理空間テクスチャ・データを選択的に読み出し表示するための地理空間データシステム、および関連した方法
JP2010282657A (ja) * 2010-09-09 2010-12-16 Mitsubishi Electric Corp 配信装置及び情報配信システム
JP2012099027A (ja) * 2010-11-04 2012-05-24 Toshiba Corp 映像出力装置、映像出力方法
JP2012230525A (ja) * 2011-04-26 2012-11-22 Nippon Hoso Kyokai <Nhk> コンテンツ管理装置、クライアント端末、コンテンツ管理プログラム、及びコンテンツ生成プログラム
JP2013513145A (ja) * 2009-12-04 2013-04-18 アルカテル−ルーセント 3次元仮想環境の対話型表示のためのテクスチャマッピングの方法
JP6433559B1 (ja) * 2017-09-19 2018-12-05 キヤノン株式会社 提供装置および提供方法、プログラム
KR101947817B1 (ko) 2010-06-14 2019-02-14 주식회사 비즈모델라인 맞춤형 증강현실 제공 방법
KR101947818B1 (ko) 2017-10-20 2019-02-14 주식회사 비즈모델라인 맞춤형 증강현실 제공 방법
JP2021182443A (ja) * 2019-08-07 2021-11-25 キヤノン株式会社 送信装置および送信方法、プログラム
JP2022095791A (ja) * 2021-01-26 2022-06-28 キヤノン株式会社 情報処理装置、生成方法、及び、プログラム
JP7138375B1 (ja) 2021-10-22 2022-09-16 クラスター株式会社 端末装置、仮想現実空間編集システム、プログラムおよび仮想現実空間編集方法
US11750792B2 (en) 2016-05-25 2023-09-05 Canon Kabushiki Kaisha Information processing apparatus, image generation method, control method, and storage medium

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176728A (ja) * 2007-01-22 2008-07-31 Nintendo Co Ltd 表示制御装置および表示制御プログラム
JP2010537348A (ja) * 2007-08-30 2010-12-02 ハリス コーポレイション 解像度の連続した付加レイヤー内の地理空間テクスチャ・データを選択的に読み出し表示するための地理空間データシステム、および関連した方法
US8203552B2 (en) 2007-08-30 2012-06-19 Harris Corporation Geospatial data system for selectively retrieving and displaying geospatial texture data in successive additive layers of resolution and related methods
US8379016B2 (en) 2007-08-30 2013-02-19 Harris Corporation Geospatial data system for selectively retrieving and displaying geospatial texture data in successive additive layers of resolution and related methods
JP2010238126A (ja) * 2009-03-31 2010-10-21 Nec Personal Products Co Ltd サーバクライアントシステム、サーバ、端末、制御方法、及びプログラム
JP2013513145A (ja) * 2009-12-04 2013-04-18 アルカテル−ルーセント 3次元仮想環境の対話型表示のためのテクスチャマッピングの方法
KR101947817B1 (ko) 2010-06-14 2019-02-14 주식회사 비즈모델라인 맞춤형 증강현실 제공 방법
JP2010282657A (ja) * 2010-09-09 2010-12-16 Mitsubishi Electric Corp 配信装置及び情報配信システム
JP2012099027A (ja) * 2010-11-04 2012-05-24 Toshiba Corp 映像出力装置、映像出力方法
JP2012230525A (ja) * 2011-04-26 2012-11-22 Nippon Hoso Kyokai <Nhk> コンテンツ管理装置、クライアント端末、コンテンツ管理プログラム、及びコンテンツ生成プログラム
US11750792B2 (en) 2016-05-25 2023-09-05 Canon Kabushiki Kaisha Information processing apparatus, image generation method, control method, and storage medium
CN109525831A (zh) * 2017-09-19 2019-03-26 佳能株式会社 提供装置、提供方法和计算机可读存储介质
JP2019054488A (ja) * 2017-09-19 2019-04-04 キヤノン株式会社 提供装置および提供方法、プログラム
US10757388B2 (en) 2017-09-19 2020-08-25 Canon Kabushiki Kaisha Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
US11196973B2 (en) 2017-09-19 2021-12-07 Canon Kabushiki Kaisha Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
US11750786B2 (en) 2017-09-19 2023-09-05 Canon Kabushiki Kaisha Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
JP6433559B1 (ja) * 2017-09-19 2018-12-05 キヤノン株式会社 提供装置および提供方法、プログラム
KR101947818B1 (ko) 2017-10-20 2019-02-14 주식회사 비즈모델라인 맞춤형 증강현실 제공 방법
JP2021182443A (ja) * 2019-08-07 2021-11-25 キヤノン株式会社 送信装置および送信方法、プログラム
JP7204843B2 (ja) 2019-08-07 2023-01-16 キヤノン株式会社 送信装置および送信方法、プログラム
JP7297969B2 (ja) 2021-01-26 2023-06-26 キヤノン株式会社 情報処理装置、プログラム、生成方法、及び、システム
JP2022095791A (ja) * 2021-01-26 2022-06-28 キヤノン株式会社 情報処理装置、生成方法、及び、プログラム
JP2023062739A (ja) * 2021-10-22 2023-05-09 クラスター株式会社 端末装置、仮想現実空間編集システム、プログラムおよび仮想現実空間編集方法
US11710288B2 (en) 2021-10-22 2023-07-25 Cluster, Inc. Editing a virtual reality space
JP7138375B1 (ja) 2021-10-22 2022-09-16 クラスター株式会社 端末装置、仮想現実空間編集システム、プログラムおよび仮想現実空間編集方法

Similar Documents

Publication Publication Date Title
US11087553B2 (en) Interactive mixed reality platform utilizing geotagged social media
CN107423445B (zh) 一种地图数据处理方法、装置及存储介质
US9626790B1 (en) View-dependent textures for interactive geographic information system
JP2004206338A (ja) 情報配信システム及びクライアント端末及びサーバ及び情報配信方法及び配信要求プログラム及び配信要求プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信計画プログラム及び配信計画プログラムをコンピュータに読み取り可能に記録した記録媒体及び配信プログラム及び配信プログラムをコンピュータに読み取り可能に記録した記録媒体
EP3170151B1 (en) Blending between street view and earth view
US11012679B2 (en) Generating apparatus, generating method, and storage medium
CN114332332A (zh) 用于生成场景中的表面的三维重建的方法和设备
JP4437677B2 (ja) 景観表示装置
US20090231333A1 (en) Sending three-dimensional images over a network
CN106296783A (zh) 一种结合空间全局3d视图和全景图片的空间展示方法
WO2016181202A1 (en) Generation, transmission and rendering of virtual reality multimedia
KR20110118727A (ko) 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법
KR20100013059A (ko) 3차원 지리 정보 클라이언트 장치와 서버 장치 및 이를포함한 3차원 지리 정보 시스템
US8379016B2 (en) Geospatial data system for selectively retrieving and displaying geospatial texture data in successive additive layers of resolution and related methods
WO2014004380A1 (en) Movement based level of detail adjustments
CN111798562B (zh) 一种虚拟建筑空间搭建与漫游方法
KR101591427B1 (ko) 3차원 지형 영상 가시화에서의 적응형 렌더링 방법
CN103679791A (zh) 三维场景分屏更新方法和系统
US20120256919A1 (en) Geospatial data system for selectively retrieving and displaying geospatial texture data based upon user-selected point-of-view and related methods
JP4606898B2 (ja) 情報生成装置及び検索装置
JP2002279449A (ja) 3次元空間データ送信表示装置、3次元空間データ送信方法、3次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2938845B1 (ja) 3次元cg実写映像融合装置
JP2002140731A (ja) 画像処理装置および方法、画像処理システム、記録媒体
JP5037660B2 (ja) 配信装置及び情報配信システム
Lu et al. Webvrgis: Webgis based interactive online 3d virtual community

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040519

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080507

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20080623