JP2011138258A - 景観再現システム - Google Patents

景観再現システム Download PDF

Info

Publication number
JP2011138258A
JP2011138258A JP2009296977A JP2009296977A JP2011138258A JP 2011138258 A JP2011138258 A JP 2011138258A JP 2009296977 A JP2009296977 A JP 2009296977A JP 2009296977 A JP2009296977 A JP 2009296977A JP 2011138258 A JP2011138258 A JP 2011138258A
Authority
JP
Japan
Prior art keywords
reproduction
shape information
terrain
image
landscape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009296977A
Other languages
English (en)
Other versions
JP5363971B2 (ja
Inventor
Hiromi Hirano
廣美 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Priority to JP2009296977A priority Critical patent/JP5363971B2/ja
Publication of JP2011138258A publication Critical patent/JP2011138258A/ja
Application granted granted Critical
Publication of JP5363971B2 publication Critical patent/JP5363971B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】利用者の携帯端末で指示された現場の将来又は過去の景観を再現するシステムに係り、任意の再現時点における地形と物体を、指定された視点と視線方位に従って再現することを課題とする。
【解決手段】再現画像要求受信部801で、利用者携帯端末の位置と方位と傾きと、指示された再現時点を含む再現画像要求を受信し、再現地形抽出部804と再現物体抽出部807で再現時点に対応する地形と物体の3次元形状情報を抽出し、2次元投射画像生成部809で、仮想の3次元空間に当該地形オブジェクト及び当該物体オブジェクトを配置した再現画像を生成し、再現画像送信部811より再現画像を利用者携帯端末に返信する。
【選択図】図8

Description

本発明は、利用者が携帯端末で指定した地点の過去又は将来の景観を再現するシステムに関する。
特許文献1(「ナビゲーションシステム及びナビゲーション端末」)には、ユーザの位置情報に基づいて、地形及び建物情報を検索し、風景の画像を生成する技術が開示されている。
また、特許文献2(「ゴルフプレーヤのプレー支援方法およびシステム」)には、ゴルフプレーヤ支援のために、地形画像へ風景画像を重畳する技術が開示されている。
更に、特許文献3(「携帯機用地図表示装置」)には、ユーザ視点の景観を表示する技術が開示されている。
しかし、特許文献1乃至3は、いずれも現在の状況を再現することを目的としており、過去又は未来の状況を再現することを企図していない。
特許文献4(「タイムスリップ動画像表示システム」)には、撮影済みの過去の画像と現在の画像を並列して表示する技術が開示されている。
特許文献4は、単に過去の画像を再生する技術であって、過去の景観を再現するものではない。従って、撮影した動画以外の視点や視線での景観を知ることはできない。
特開2003−132068号公報 特開2005−034529号公報 特開2006−349964号公報 特開2006−093769号公報
任意の再現時点における景観を、指定された視点と視線方位に従って再現することを課題とする。
本願発明に係る景観再現システムは、
互いにネットワークを介して接続する利用者携帯端末と景観再現サーバからなる景観再現システムであって、
利用者携帯端末は、
(イ)利用者携帯端末の向きを方位として検出する方位取得部と、
(ロ)利用者携帯端末の位置を検出する位置取得部と、
(ハ)景観の再現の基準となる再現時点を受け付ける再現時点受付部と、
(ニ)検出した方位を視線方位とし、検出した位置を視点として、再現時点と、視点と、視線方位を含む再現画像要求を景観再現サーバに送信する再現画像要求送信部を有し、
景観再現サーバは、
(1)再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信部と、
(2)物体の3次元形状を示す物体3次元形状情報を、当該物体の有効期間と対応付けて記憶する物体3次元形状情報データベースと、
(3)再現画像要求の再現時点を含む有効期間と対応する物体3次元形状情報を抽出する再現物体抽出部と、
(4)抽出した物体3次元形状情報に基づいて、仮想の3次元空間に当該物体オブジェクトを配置した再現画像を生成する再現画像生成部と、
(5)生成した再現画像を利用者携帯端末に返信する再現画像送信部を有し、
利用者携帯端末は、更に
(ホ)再現画像を受信する再現画像受信部と、
(へ)受信した再現画像を表示する再現画像表示部を有することを特徴とする。
また、
景観再現サーバは、更に、
再現画像要求の視点を仮想カメラの位置として、再現画像要求の視線方位を仮想カメラの撮影方向として、仮想カメラで当該物体オブジェクトを投射した2次元投射画像を生成することを特徴とする。
また、
景観再現サーバは、更に、
地形の3次元形状を示す地形3次元形状情報を、当該地形の有効期間と対応付けて記憶する地形3次元形状情報データベースと、
再現画像要求の再現時点を含む有効期間と対応する地形3次元形状情報を抽出する再現地形抽出部を有し、
前記再現画像生成部は、抽出した地形3次元形状情報と前記抽出した物体3次元形状情報に基づいて、仮想の3次元空間に当該地形オブジェクト及び当該物体オブジェクトを配置した再現画像を生成することを特徴とする。
また、
前記物体3次元形状情報データベースは、物体3次元形状情報に対応付けて当該物体の所在地を記憶し、
前記再現物体抽出部は、再現画像要求の視点と視線方位に基づいて、仮想の3次元空間に物体を展開する地理範囲である再現物体領域を定め、再現物体領域に所在地が含まれることを条件に物体3次元形状情報を抽出することを特徴とする。
また、
前記地形3次元形状情報データベースは、地形3次元形状情報に対応付けて当該地形の範囲を記憶し、
前記再現地形抽出部は、再現画像要求の視点と視線方位に基づいて、仮想の3次元空間に地形を展開する地理範囲である再現地形領域を定め、再現地形領域に地形の範囲の少なくとも一部が含まれることを条件に地形3次元形状情報を抽出することを特徴とする。
また、
前記再現時点受付部は、利用者携帯端末の本体回転数又は本体回転角に基づいて、再現時点を指定することを特徴とする。
本願発明に係る景観再現サーバは、
利用者携帯端末とネットワークを介して接続する景観再現サーバであって、以下の要素を有することを特徴とする
(1)再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信部
(2)物体の3次元形状を示す物体3次元形状情報を、当該物体の有効期間と対応付けて記憶する物体3次元形状情報データベース
(3)再現画像要求の再現時点を含む有効期間と対応する物体3次元形状情報を抽出する再現物体抽出部
(4)抽出した物体3次元形状情報に基づいて、仮想の3次元空間に当該物体オブジェクトを配置した再現画像を生成する再現画像生成部
(5)生成した再現画像を利用者携帯端末に返信する再現画像送信部。
本願発明に係る景観再現方法は、
物体の3次元形状を示す物体3次元形状情報を、当該物体の有効期間と対応付けて記憶する物体3次元形状情報データベースを有し、利用者携帯端末とネットワークを介して接続する景観再現サーバによる景観再現方法であって、以下の要素を有することを特徴とする
(1)再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信工程
(2)再現画像要求の再現時点を含む有効期間と対応する物体3次元形状情報を抽出する再現物体抽出工程
(3)選び出した物体3次元形状情報に基づいて、仮想の3次元空間に当該物体オブジェクトを配置した再現画像を生成する再現画像生成工程
(4)生成した再現画像を利用者携帯端末に返信する再現画像送信工程。
本願発明に係るプログラムは、
物体の3次元形状を示す物体3次元形状情報を、当該物体の有効期間と対応付けて記憶する物体3次元形状情報データベースを有し、利用者携帯端末とネットワークを介して接続する景観再現サーバとなるコンピュータに、以下の手順を実行させることを特徴とする
(1)再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信手順
(2)再現画像要求の再現時点を含む有効期間と対応する物体3次元形状情報を抽出する再現物体抽出手順
(3)選び出した物体3次元形状情報に基づいて、仮想の3次元空間に当該物体オブジェクトを配置した再現画像を生成する再現画像生成手順
(4)生成した再現画像を利用者携帯端末に返信する再現画像送信手順。
物体の3次元形状情報を有効期間(存在期間)と対応付けて記憶し、指定された再現時点に存在した物体の3次元形状を復元し、指定された視点と視線方位での再現画像を生成するので、任意の時間と場所における景観を自在に再現することができる。
更に、地形の3次元形状情報を有効期間と対応付けて記憶し、指定された再現時点の地形を復元し、指定された視点と視線方位での再現画像を生成するので、地形を含めた景観を再現することができる。特に、物体の高低まで正確に再現することができる。
再現する領域内の物体及び地形の3次元形状のみを抽出するので、処理時間が短縮される。
利用者携帯端末の本体回転数や本体回転角を再現時点の指定に用いるので、体感的なユーザインターフェースを実現することができる。
図1は、景観再現システムのネットワーク概要を示す図である。 図2は、利用者携帯端末のハードウェア構成を示す図である。 図3は、利用者携帯端末のメイン処理フローを示す図である。 図4は、利用者携帯端末のモジュール構成を示す図である。 図5は、再現方向指示受付画面の例を示す図である。 図6は、再現時点受付画面の例を示す図である。 図7は、景観再現サーバのメイン処理フローを示す図である。 図8は、景観再現サーバのモジュール構成を示す図である。 図9は、再現地形抽出処理フローを示す図である。 図10は、再現領域の概要を示す図である。 図11は、再現物体抽出処理フローを示す図である。 図12は、2次元投射画像生成処理フローを示す図である。 図13は、2次元投射画像生成部の構成を示す図である。 図14は、実施の形態2に係る再現地形抽出処理フローを示す図である。 図15は、実施の形態3に係る再現物体抽出処理フローを示す図である。 図16は、実施の形態4に係る景観再現サーバのメイン処理フローを示す図である。 図17は、実施の形態4に係る2次元投射画像生成処理フローを示す図である。 図18は、実施の形態4に係る再現画像の例を示す図である。
本願発明に係る景観再現システムでは、利用者が指定した再現時点における景観を再現する。
実施の形態1.
図1は、景観再現システムのネットワーク概要を示す図である。利用者携帯端末102は、インターネットと携帯電話網を介して景観再現サーバ101にアクセスすることができる。また、利用者携帯端末102は、景観再現サーバ101から受信した画面を表示し、その画面上での操作結果を返信できるブラウザを有している。
全体の動作概要として、利用者携帯端末102は、再現する景観と時点を特定して、再現画像要求を景観再現サーバ101に送信する。景観再現サーバ101は、再現画像要求を受信すると、その要求に従って景観の画像を再現して返信する。利用者携帯端末102は、返信された再現画像を表示する。
まず、利用者携帯端末102について説明する。利用者携帯端末102は、例えば携帯電話、携帯情報端末(PDA)、携帯型ノートブックパソコンなどである。図2は、利用者携帯端末のハードウェア構成を示す図である。利用者携帯端末102は、バスを介してメモリ201、演算装置202、無線通信デバイス203、カメラ204、位置検出デバイス205、方位検出デバイス206、及び表示装置207を接続している。
メモリ201は、プログラムをロードする他、各パラメータ、画像データ、仮想3次元空間データ、及び再現画像等を記憶するために用いられる。演算装置202は、ロードされたプログラムを順次読み出し実行する。無線通信デバイス203は、携帯電話網に接続する際の無線通信に用いられる。カメラ204は、撮像に用いる。位置検出デバイス205は、GPS(全地球測位システム)あるいはPHSの位置特定システムなどにより、利用者携帯端末102の位置(緯度・経度)を特定する。方位検出デバイス206は、利用者携帯端末102の向きを方位として求めるために用いる。通常は、利用者携帯端末102の向きは、カメラ204の撮像方位と一致する。一致しない場合には、利用者携帯端末102の向きに対するカメラ204の撮像方位の角度差を加減算することにより、利用者携帯端末102の向きに基づいてカメラ204の撮像方位を算出することができる。表示装置207は、撮像画像、操作画面、又はブラウザ等を表示するために用いる。
続いて、利用者携帯端末102の処理概要について説明する。図3は、利用者携帯端末のメイン処理フローを示す図である。撮像表示起動処理(S301)で、撮影画像表示状態にする。再現方向指示受付処理(S302)で、再現方向の指示を受け付ける。方位取得処理(S303)で、方位検出デバイス206を用いて方位を検出し、撮像方位を得る。位置取得処理(S304)で、位置検出デバイス205を用いて現在位置を検出する。これらの方位取得処理(S303)と位置取得処理(S304)は、再現方向指示受付処理(S302)の直後に行われることが望ましい。これにより、指示時の利用者携帯端末102の状態における方位と位置を正確に検出することができる。撮像表示停止処理(S305)で、撮影画像表示状態を解除する。再現時点受付処理(S306)で、再現時点を受け付ける。再現画像要求送信処理(S307)で、再現画像要求を景観再現サーバ101に送信し、再現画像受信処理(S308)で、景観再現サーバ101から返信される再現画像を受信する。再現画像表示処理(S309)で、受信した再現画像を表示装置207に表示させる。
データフローに従って各処理について詳述する。図4は、利用者携帯端末のモジュール構成を示す図である。利用者携帯端末102は、撮像表示指示部401、撮像制御部402、表示制御部403、再現方向指示受付部404、方位取得部405、位置取得部406、再現時点受付部407、再現画像要求送信部408、再現画像受信部409、及び再現画像表示部410の各モジュールを有している。
撮像表示指示部401は、撮像表示起動処理(S301)で、撮像制御部402に対して撮像動作を起動させるコマンドを発行し、更に表示制御部403に対して撮影画像を表示させるコマンドを発行する。これにより、表示制御部403は、撮像制御部402から連続的に撮影画像を取得する。
再現方向指示受付部404は、再現方向指示受付処理(S302)で、再現方向指示受付画面を表示し、再現方向指示を受け付ける。なお、再現方向指示は、当該指示を行った時の方向と位置を、再現画像の領域を決定する基準とすることを意味している。例えば、利用者携帯端末102の実行ボタンを押下することにより指示する。
図5は、再現方向指示受付画面の例を示す図である。バック501には、撮影画像が表示される。これにより、利用者は再現画像の方位や位置関係を把握することができる。
方位取得部405は、方位取得処理(S303)で、方位検出デバイス206を用いて利用者携帯端末102の向きを方位として検出する。通常は、利用者携帯端末102の向きは、カメラ204の撮像方位と一致するので、検出した方位を撮像方位とする。一致しない場合には、利用者携帯端末102の向きに対するカメラ204の設置方位の角度差により、利用者携帯端末102の向きを補正して撮像方位を算出する。
位置取得部406は、位置取得処理(S304)で、位置検出デバイス205を用いて利用者携帯端末102の現在位置(緯度・経度)を取得する。
撮像表示指示部401は、撮像表示停止処理(S305)で、撮像制御部402に対して撮像動作を停止させるコマンドを発行し、更に表示制御部403に対して撮像画像の表示を停止させるコマンドを発行する。これにより撮影画像表示状態が解除される。
再現時点受付部407は、再現時点受付処理(S306)で、再現時点受付画面を表示し、再現時点を受け付ける。図6は、再現時点受付画面の例を示す図である。例えば、テンキーより数字入力を受け付ける。スクロールやプルダウンにより年、月、日を選択するように構成することもできる。
再現画像要求送信部408は、再現画像要求送信処理(S307)で、再現時点と視点と視線方位を含む再現画像要求を生成し、その再現画像要求を景観再現サーバ101へ送信する。その際、再現時点受付部407で受け付けた再現時間の他に、位置取得部406で取得した現在位置を視点位置(緯度・経度)として、方位取得部405で取得した撮像方位を視線方位として、再現画像要求に含める。
再現画像受信処理(S308)と再現画像表示処理(S309)については、後述する。
次に、景観再現サーバ101の動作について説明する。図7は、景観再現サーバのメイン処理フローを示す図である。再現画像要求受信処理(S701)で、再現画像要求を受信する。再現地形抽出処理(S702)で、再現する地形3次元形状情報を抽出し、再現物体抽出処理(S703)で、再現する物体3次元形状情報を抽出する。2次元投射画像生成処理(S704)で、再現する地形3次元形状情報と物体物体3次元形状情報から2次元投射画像を生成し、再現画像送信処理(S705)で、生成した2次元投射画像を再現画像として、利用者携帯端末102に返信する。
データフローに従って、各処理について詳述する。図8は、景観再現サーバのモジュール構成を示す図である。景観再現サーバ101は、再現画像要求受信部801、再現画像要求記憶部802、地形3次元形状情報データベース803、再現地形抽出部804、再現地形3次元形状情報記憶部805、物体3次元形状情報データベース806、再現物体抽出部807、再現物体3次元形状情報記憶部808、2次元投射画像生成部809、再現画像記憶部810、及び再現画像送信部811の各モジュールを有している。
地形3次元形状情報データベース803は、地形情報単位毎に有効期間と地形範囲に対応付けて、地形3次元形状情報を記憶している。地形情報単位は、国土全体の地形情報を分割して管理する単位である。例えば、所定サイズの地形地図に相当する単位である。有効期間は、その地形情報の有効な時期的な範囲である。この有効期間中は、その地形が維持されていたことを示している。地形範囲は、その地形情報単位で表される地理的な範囲である。例えば、矩形の緯度範囲と経度範囲で示される。地形3次元形状情報は、地形(つまり、地表面)を3次元空間に復元可能な情報である。例えば、地表面全体の多数の地点における緯度、経度、標高の3次元情報を有している。あるいは、メッシュ上に連続するベクトルにより地表面を表すベクトル情報群を有している。
物体3次元形状情報データベース806は、物体毎に有効期間と所在地に対応付けて、物体3次元形状情報を記憶している。物体には、例えばビル、家屋、倉庫、橋梁やダムなどの建築物の他、恐竜や動物などの生物なども含まれる。有効期間は、その物体が有効な時期的な範囲である。この有効期間中は、その物体が存在していたことを示している。つまり、存在期間ということもできる。所在地は、物体が存在した位置(緯度・経度)である。物体3次元形状情報は、物体の形態(少なくとも外形)を3次元空間に復元可能な情報である。例えば、物体の設計図面情報や生体情報を有し、あるいは境界面を定義するベクトル情報を有している。また、物体3次元形状情報は、方位も定義されている。なお、前記物体が(所在地を一意に特定することが困難である)生物である場合に、当該所在地は当該生物の生息域内における任意の地点を予め設定するように構成されてもよい。
再現画像要求受信部801は、再現画像要求受信処理(S701)で、再現時点と視点と視線方位を含む再現画像要求を受信し、受信した再現画像要求を再現画像要求記憶部802に記憶させる。
再現地形抽出部804は、再現地形抽出処理(S702)で、地形3次元形状情報データベース803から再現に必要な地形情報を抽出する。図9は、再現地形抽出処理フローを示す図である。まず、再現地形領域を設定する(S901)。再現地形領域は、仮想の3次元空間に展開する地形の地理範囲である。
再現地形領域について、平面図を用いて説明する。図10は、再現領域の概要を示す図である。1001は、視点を示している。1002は、視線方位を示している。1003と1004は、視野境界線である。視野境界線は、視野方位から視野角θだけ両側に開いた線である。1005は、再現地形領域の視点寄りの境界線(手前境界線)である。この例では、視点1001から所定近距離の曲線である。1007は、再現地形領域の視点と反対側の境界線(遠方境界線)である。この例では、視点1001から所定遠距離の曲線である。再現地形領域は、これらの右方視界境界線1003と左方視界境界線1004と再現地形領域の手前境界線1005と再現地形領域の遠方境界線1007により囲まれた領域である。従って、1014の丘陵は再現地形領域に含まれるが、1013の丘陵は含まれない。尚、1008〜1012は、物体を示している。1013と1014は、丘陵を示している。
S901では、視点を中心に所定の視野角を左右に回転させることにより、右方視界境界線1003と左方視界境界線1004を求め、更に視点から所定近距離の曲線(円弧)と所定遠距離の曲線(円弧)を求めることにより、再現地形領域を定める。
続いて、地形情報単位毎に以下の処理を繰り返す(S902)。地形3次元形状情報データベース803から、当該地形情報単位の有効期間と地形範囲を読み込み(S903)、再現画像要求記憶部802から再現時点を読み取り、有効期間が時期として再現時点を含むかを判定する(S904)。再現時点を含まない場合には、当該地形情報単位についての処理を終了し、S907に移行する。再現時点を含む場合には、更に地形範囲の一部又は全部が再現地形領域に含まれるかを判定する(S905)。つまり、地形範囲と再現地形領域が、少なくとも一部が重複するかを判定する。再現地形領域に含まれない場合には、当該地形情報単位についての処理を終了し、S907に移行する。再現地形領域に含まれる場合には、当該地形情報単位の地形3次元形状情報を再現地形3次元形状情報として再現地形3次元形状情報記憶部805に記憶させる(S906)。すべての地形情報単位について処理した時点で終了する(S907)。なお、本実施例においては全ての地形情報を対象としているが、対象となる地形情報を利用者携帯端末の位置情報に基づいて予め限定するように構成してもよい。
再現物体抽出部807は、再現物体抽出処理(S703)で、物体3次元形状情報データベース806から再現に必要な物体の形状情報を抽出する。
図11は、再現物体抽出処理フローを示す図である。再現物体領域を設定する(S1101)。再現物体領域は、仮想の3次元空間に物体を展開する地理範囲である。つまり、仮想の3次元空間に展開すべき再現対象の物体を所在地で特定する所在地の範囲条件である。
再現物体領域について図10を用いて説明する。1005は、再現物体領域の視点寄りの手前境界線でもある。この例では、視点1001から所定近距離の曲線である。1006は、再現物体領域の視点と反対側の遠方境界線である。この例では、視点1001から所定遠距離の曲線である。再現物体領域は、右方視界境界線1003と左方視界境界線1004と再現物体領域の手前境界線1005と再現物体領域の遠方境界線1006により囲まれた領域である。従って、1010と1011の物体は再現物体領域に含まれるが、他の物体は含まれない。この例では、再現地形領域の手前境界線と再現物体領域の手前境界線が一致するが、両手前境界線1005は、別であっても構わない。また、再現地形領域の遠方境界線1007と再現物体領域の遠方境界線1006が別であるが、両遠方境界線は、一致しても構わない。
そして、物体毎に以下の処理を繰り返す(S1102)。物体3次元形状情報データベース806から、当該物体の有効期間と所在地を読み込み(S1103)、再現画像要求記憶部802から再現時点を読み取り、有効期間が時期として再現時点を含むかを判定する(S1104)。再現時点を含まない場合には、当該物体についての処理を終了し、S1107に移行する。再現時点を含む場合には、更に所在地が再現物体領域に含まれるかを判定する(S1105)。再現物体領域に含まれない場合は、当該物体についての処理を終了し、S1107に移行する。再現物体領域に含まれる場合には、当該物体の物体3次元形状情報を再現物体3次元形状情報として、所在地と対応付けて再現物体3次元形状情報記憶部808に記憶させる(S1106)。すべての物体について処理した時点で終了する(S1107)。なお、本実施例においては全ての物体を対象としているが、対象となる物体を利用者携帯端末の位置情報に基づいて予め限定するように構成してもよい。
2次元投射画像生成部809は、2次元投射画像生成処理(S704)で、再現地形3次元形状情報記憶部805と再現物体3次元形状情報記憶部808の情報に基づいて、再現画像となる2次元投射画像を生成する。この処理は、3次元コンピュータグラフィックスの手法による行われる。つまり、仮想の3次元空間上の形状情報から、それらを平面上に投射した2次元画像を生成する。仮想の3次元空間は、2次元投射画像生成部809内の記憶領域を用いて論理的に構成される。
図12は、2次元投射画像生成処理フローを示す図である。また、図13は、2次元投射画像生成部の構成を示す図である。地形モデリング部1301の地形モデリング処理(S1201)で、仮想の3次元空間に地表面の形状を生成する。再現地形3次元形状情に含まれる各地点の緯度・経度・標高から地上面をポリゴンの集合で定義する。ポリゴンは、三角形や四角形といった多角形であり、連続するポリゴンにより地表面を表現する。ポリゴンによらず、自由曲面によって面を定義することも有効である。形状を定義する他、材質、色、反射率など所定の設定値を設定する。このように、仮想の3次元空間に生成された地表面の形状を地形オブジェクト(地形モデル)という。地形オブジェクトは、地形オブジェクト記憶部1302に記憶される。
次に、物体モデリング部1303の物体モデリング処理(S1202)で、仮想の3次元空間に物体の形状を生成する。再現物体3次元形状情に含まれる物体の設計図面情報、生体情報、や境界面を定義するベクトル情報などに基づいて、物体表面をポリゴンの集合で定義する。ポリゴンは、三角形や四角形といった多角形であり、連続するポリゴンにより物体表面を表現する。ポリゴンによらず、自由曲面によって面を定義することも有効である。形状の定義の他、材質、色、反射率など所定の設定値を設定する。このように、仮想の3次元空間に生成された物体表面の形状を物体オブジェクト(物体モデル)という。物体オブジェクトは、物体オブジェクト記憶部1304に記憶される。
次に、シーンレイアウト設定部1305のシーンレイアウト設定処理(S1203)で、生成したオブジェクト群のレイアウト(配置)を行う。レイアウトは、緯度・経度・標高の絶対的位置と方位を基準とする。地形オブジェクト記憶部1302から地形オブジェクトを読み込み、物体オブジェクト記憶部1304から読み込んだ各物体オブジェクトの所在地に相当する地点の地形オブジェクトの地表面に、当該物体オブジェクトを、方位を合わせて配置することにより、地形オブジェクトと物体オブジェクトを合成する。更に、所定の位置に光源を設定し、視点の地表面から所定高さ分上の位置にカメラ(仮想カメラ)を設定する。例えば、視点(緯度・経度)の地表面(標高)から150cm程度(人の目の高さに相当)上方にカメラ位置を定める。また、視線方位の略水平方向にカメラの撮影方向を設定する。光源は、例えば太陽の位置に相当するように設定する。この手順により、仮想的な舞台となるシーン情報を得る。生成したシーンは、シーン記憶部1306に記憶される。
レンダリング部1307のレンダリング処理(S1204)で、シーン記憶部1306からシーンを読み出して、仮想的なカメラに写されるはずの画像を生成する。つまり、オブジェクトの形状や位置、光の当り具合などについて周知手段により計算し、最終的な2次元への投射画像を生成する。2次元投射画像は、再現画像として再現画像記憶部810に記憶される。
最後に再現画像送信部811は、再現画像送信処理(S705)で、生成した再現画像を再現画像記憶部810から読み出して、利用者携帯端末102に送信する。
そして、利用者携帯端末102側では、図4の再現画像受信部409が、再現画像受信処理(S308)で、再現画像を受信し、再現画像表示部410が、再現画像表示処理(S309)で、受信した再現画像を表示装置207に表示させる。
実施の形態2.
実施の形態1では、再現地形抽出処理において、再現地形領域の判定を行ったが、再現地形領域の判定を省略することもできる。
図14は、実施の形態2に係る再現地形抽出処理フローを示す図である。この例では、図9のS901での再現地形領域の設定と、S905での地形範囲が再現地形領域を含むかの判定を行なわない。また、S903に相当するS1402で地形3次元形状情報データベース803から地形範囲を読み取ることも要しない。
例えば、3次元空間として再現できる対象地形自体が狭い場合には、地形を展開する領域を限定する効果は小さい。
実施の形態3.
実施の形態1では、再現物体抽出処理において、再現物体領域の判定を行ったが、再現物体領域の判定を省略することもできる。
図15は、実施の形態3に係る再現物体抽出処理フローを示す図である。この例では、図11のS1101での再現物体領域の設定と、S1105での所在地が再現物体領域を含むかの判定を行なわない。
例えば、3次元空間として再現できる対象物体が限られている場合には、物体を領域で限定する効果は小さい。
実施の形態4.
前述の実施の形態では、地形及び物体を再現する例を示したが、物体のみを再現し、地形は再現しない形態も考えられる。
図16は、実施の形態4に係る景観再現サーバのメイン処理フローを示す図である。この例では、図7の再現地形抽出処理(S702)を省いている。
図17は、実施の形態4に係る2次元投射画像生成処理フローを示す図である。この例では、図12の地形モデリング処理(S1201)を省いている。また、シーンレイアウト設定処理(S1702)では、物体オブジェクトを基準面(一定高さ)に配置し、仮想カメラも基準面から所定の高さの位置に設定する。
図18は、実施の形態4に係る再現画像の例を示す図である。地形の起伏が少ない平坦地、例えば市街地などでは、地形を省略しても景観の再現における現実との差異は小さい。
実施の形態5.
上述の例では、再現時点受付部407において利用者携帯端末102のテンキー等より数字入力を受け付ける例を示したが、方位検出デバイス206及び傾き検出デバイス208により利用者携帯端末102の本体回転数や本体回転角を検出し、その回転数や回転角度によって、年、月、日を指示することもできる。
例えば、回転数や回転各度に所定期間(例えば10年、1年、1月、1日など)を乗ずることにより、再現する年、月、日の数を算出することが有効である。
上述の例では、過去を再現時点としたが、未来を再現時点とすることも考えられる。例えば、地形の変化が予測できる場合や物体の建造計画が明確な場合には特に有効である。
再現時点を年月日で特定したが、年月のみ、あるいは年だけでもよい。また年号や、時代名で特定することも有効である。
景観再現サーバ101と利用者携帯端末102は、コンピュータであり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。
101 景観再現サーバ
102 利用者携帯端末
201 メモリ
202 演算装置
203 無線通信デバイス
204 カメラ
205 位置検出デバイス
206 方位検出デバイス
207 表示装置
208 傾き検出デバイス
401 撮像表示指示部
402 撮像制御部
403 表示制御部
404 再現方向指示受付部
405 方位取得部
406 位置取得部
407 再現時点受付部
408 再現画像要求送信部
409 再現画像受信部
410 再現画像表示部
801 再現画像要求受信部
802 再現画像要求記憶部
803 地形3次元形状情報データベース
804 再現地形抽出部
805 再現地形3次元形状情報記憶部
806 物体3次元形状情報データベース
807 再現物体抽出部
808 再現物体3次元形状情報記憶部
809 2次元投射画像生成部
810 再現画像記憶部
811 再現画像送信部
1001 視点
1002 視線方位
1003 右方視界境界線
1004 左方視界境界線
1005 手前境界線
1006 再現物体領域の遠方境界線
1007 再現地形領域の遠方境界線
1008〜1012 物体
1013、1014 丘陵
1301 地形モデリング部
1302 地形オブジェクト記憶部
1303 物体モデリング部
1304 物体オブジェクト記憶部
1305 シーンレイアウト設定部
1306 シーン記憶部
1307 レンダリング部


Claims (9)

  1. 互いにネットワークを介して接続する利用者携帯端末と景観再現サーバからなる景観再現システムであって、
    利用者携帯端末は、
    (イ)利用者携帯端末の向きを方位として検出する方位取得部と、
    (ロ)利用者携帯端末の位置を検出する位置取得部と、
    (ハ)景観の再現の基準となる再現時点を受け付ける再現時点受付部と、
    (ニ)検出した方位を視線方位とし、検出した位置を視点として、再現時点と、視点と、視線方位を含む再現画像要求を景観再現サーバに送信する再現画像要求送信部を有し、
    景観再現サーバは、
    (1)再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信部と、
    (2)物体の3次元形状を示す物体3次元形状情報を、当該物体の有効期間と対応付けて記憶する物体3次元形状情報データベースと、
    (3)再現画像要求の再現時点を含む有効期間と対応する物体3次元形状情報を抽出する再現物体抽出部と、
    (4)抽出した物体3次元形状情報に基づいて、仮想の3次元空間に当該物体オブジェクトを配置した再現画像を生成する再現画像生成部と、
    (5)生成した再現画像を利用者携帯端末に返信する再現画像送信部を有し、
    利用者携帯端末は、更に
    (ホ)再現画像を受信する再現画像受信部と、
    (へ)受信した再現画像を表示する再現画像表示部を有することを特徴とする景観再現システム。
  2. 景観再現サーバは、更に、
    再現画像要求の視点を仮想カメラの位置として、再現画像要求の視線方位を仮想カメラの撮影方向として、仮想カメラで当該物体オブジェクトを投射した2次元投射画像を生成することを特徴とする請求項1記載の景観再現システム。
  3. 景観再現サーバは、更に、
    地形の3次元形状を示す地形3次元形状情報を、当該地形の有効期間と対応付けて記憶する地形3次元形状情報データベースと、
    再現画像要求の再現時点を含む有効期間と対応する地形3次元形状情報を抽出する再現地形抽出部を有し、
    前記再現画像生成部は、抽出した地形3次元形状情報と前記抽出した物体3次元形状情報に基づいて、仮想の3次元空間に当該地形オブジェクト及び当該物体オブジェクトを配置した再現画像を生成することを特徴とする請求項1又は2に記載の景観再現システム。
  4. 前記物体3次元形状情報データベースは、物体3次元形状情報に対応付けて当該物体の所在地を記憶し、
    前記再現物体抽出部は、再現画像要求の視点と視線方位に基づいて、仮想の3次元空間に物体を展開する地理範囲である再現物体領域を定め、再現物体領域に所在地が含まれることを条件に物体3次元形状情報を抽出することを特徴とする請求項1乃至3のいずれか一項に記載の景観再現システム。
  5. 前記地形3次元形状情報データベースは、地形3次元形状情報に対応付けて当該地形の範囲を記憶し、
    前記再現地形抽出部は、再現画像要求の視点と視線方位に基づいて、仮想の3次元空間に地形を展開する地理範囲である再現地形領域を定め、再現地形領域に地形の範囲の少なくとも一部が含まれることを条件に地形3次元形状情報を抽出することを特徴とする請求項3又は4に記載の景観再現システム。
  6. 前記再現時点受付部は、利用者携帯端末の本体回転数又は本体回転角に基づいて、再現時点を指定することを特徴とする請求項1乃至5のいずれか一項に記載の景観再現システム。
  7. 利用者携帯端末とネットワークを介して接続する景観再現サーバであって、以下の要素を有することを特徴とする景観再現サーバ
    (1)再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信部
    (2)物体の3次元形状を示す物体3次元形状情報を、当該物体の有効期間と対応付けて記憶する物体3次元形状情報データベース
    (3)再現画像要求の再現時点を含む有効期間と対応する物体3次元形状情報を抽出する再現物体抽出部
    (4)抽出した物体3次元形状情報に基づいて、仮想の3次元空間に当該物体オブジェクトを配置した再現画像を生成する再現画像生成部
    (5)生成した再現画像を利用者携帯端末に返信する再現画像送信部。
  8. 物体の3次元形状を示す物体3次元形状情報を、当該物体の有効期間と対応付けて記憶する物体3次元形状情報データベースを有し、利用者携帯端末とネットワークを介して接続する景観再現サーバによる景観再現方法であって、以下の要素を有することを特徴とする景観再現方法
    (1)再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信工程
    (2)再現画像要求の再現時点を含む有効期間と対応する物体3次元形状情報を抽出する再現物体抽出工程
    (3)抽出した物体3次元形状情報に基づいて、仮想の3次元空間に当該物体オブジェクトを配置した再現画像を生成する再現画像生成工程
    (4)生成した再現画像を利用者携帯端末に返信する再現画像送信工程。
  9. 物体の3次元形状を示す物体3次元形状情報を、当該物体の有効期間と対応付けて記憶する物体3次元形状情報データベースを有し、利用者携帯端末とネットワークを介して接続する景観再現サーバとなるコンピュータに、以下の手順を実行させるためのプログラム
    (1)再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信手順
    (2)再現画像要求の再現時点を含む有効期間と対応する物体3次元形状情報を抽出する再現物体抽出手順
    (3)抽出した物体3次元形状情報に基づいて、仮想の3次元空間に当該物体オブジェクトを配置した再現画像を生成する再現画像生成手順
    (4)生成した再現画像を利用者携帯端末に返信する再現画像送信手順。

JP2009296977A 2009-12-28 2009-12-28 景観再現システム Active JP5363971B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009296977A JP5363971B2 (ja) 2009-12-28 2009-12-28 景観再現システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009296977A JP5363971B2 (ja) 2009-12-28 2009-12-28 景観再現システム

Publications (2)

Publication Number Publication Date
JP2011138258A true JP2011138258A (ja) 2011-07-14
JP5363971B2 JP5363971B2 (ja) 2013-12-11

Family

ID=44349648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009296977A Active JP5363971B2 (ja) 2009-12-28 2009-12-28 景観再現システム

Country Status (1)

Country Link
JP (1) JP5363971B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013246319A (ja) * 2012-05-25 2013-12-09 Fuji Television Network Inc 画像表示装置及び画像表示方法
JP2016053961A (ja) * 2015-09-28 2016-04-14 国土交通省国土技術政策総合研究所長 情報処理装置、情報処理方法及びプログラム
JP2016122277A (ja) * 2014-12-24 2016-07-07 凸版印刷株式会社 コンテンツ提供サーバ、コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
JP2017058907A (ja) * 2015-09-16 2017-03-23 国立大学法人金沢大学 設計・生産システム
WO2017208814A1 (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
JP2018206396A (ja) * 2018-06-18 2018-12-27 秀敏 櫻井 ストリートビューワーシステム
JP2020098635A (ja) * 2020-02-14 2020-06-25 凸版印刷株式会社 コンテンツ表示端末、コンテンツ提供方法、および、コンテンツ表示プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390992B1 (ja) * 2017-06-02 2018-09-19 秀敏 櫻井 ストリートビューワーシステム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111351A (ja) * 1998-10-01 2000-04-18 Matsushita Electric Ind Co Ltd 車載用ナビゲーション装置
JP2002082773A (ja) * 2001-08-22 2002-03-22 Sony Corp 入力装置および方法
JP2003299156A (ja) * 2002-04-05 2003-10-17 Matsushita Electric Ind Co Ltd 外部映像入手システムおよびそれに用いられる装置
JP2003330360A (ja) * 2002-05-09 2003-11-19 Zenrin Co Ltd 時系列的に複数のレコードを記憶する地図データベースのデータ構造
JP2004264907A (ja) * 2003-02-17 2004-09-24 Sony Computer Entertainment Inc 画像生成システム、画像生成装置、画像生成方法
JP2005147674A (ja) * 2003-11-11 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 景観記録ナビゲーション装置
JP2005295560A (ja) * 2004-03-31 2005-10-20 Samsung Electronics Co Ltd 回転状態を認識し保存された情報を検索する移動通信機器およびその方法
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP2009020091A (ja) * 2007-06-12 2009-01-29 National Institute Of Information & Communication Technology ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111351A (ja) * 1998-10-01 2000-04-18 Matsushita Electric Ind Co Ltd 車載用ナビゲーション装置
JP2002082773A (ja) * 2001-08-22 2002-03-22 Sony Corp 入力装置および方法
JP2003299156A (ja) * 2002-04-05 2003-10-17 Matsushita Electric Ind Co Ltd 外部映像入手システムおよびそれに用いられる装置
JP2003330360A (ja) * 2002-05-09 2003-11-19 Zenrin Co Ltd 時系列的に複数のレコードを記憶する地図データベースのデータ構造
JP2004264907A (ja) * 2003-02-17 2004-09-24 Sony Computer Entertainment Inc 画像生成システム、画像生成装置、画像生成方法
JP2005147674A (ja) * 2003-11-11 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 景観記録ナビゲーション装置
JP2005295560A (ja) * 2004-03-31 2005-10-20 Samsung Electronics Co Ltd 回転状態を認識し保存された情報を検索する移動通信機器およびその方法
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP2009020091A (ja) * 2007-06-12 2009-01-29 National Institute Of Information & Communication Technology ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013246319A (ja) * 2012-05-25 2013-12-09 Fuji Television Network Inc 画像表示装置及び画像表示方法
JP2016122277A (ja) * 2014-12-24 2016-07-07 凸版印刷株式会社 コンテンツ提供サーバ、コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
JP2017058907A (ja) * 2015-09-16 2017-03-23 国立大学法人金沢大学 設計・生産システム
JP2016053961A (ja) * 2015-09-28 2016-04-14 国土交通省国土技術政策総合研究所長 情報処理装置、情報処理方法及びプログラム
US11016296B2 (en) 2016-05-30 2021-05-25 Suncorporation Terminal device
JP2017215664A (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
CN109196552A (zh) * 2016-05-30 2019-01-11 Sun电子株式会社 终端装置
WO2017208814A1 (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
CN109196552B (zh) * 2016-05-30 2022-09-23 Sun电子株式会社 终端装置
JP2018206396A (ja) * 2018-06-18 2018-12-27 秀敏 櫻井 ストリートビューワーシステム
JP2022058486A (ja) * 2018-06-18 2022-04-12 秀敏 櫻井 ストリートビューワーシステム
JP7378510B2 (ja) 2018-06-18 2023-11-13 秀敏 櫻井 ストリートビューワーシステム
JP2020098635A (ja) * 2020-02-14 2020-06-25 凸版印刷株式会社 コンテンツ表示端末、コンテンツ提供方法、および、コンテンツ表示プログラム

Also Published As

Publication number Publication date
JP5363971B2 (ja) 2013-12-11

Similar Documents

Publication Publication Date Title
JP5363971B2 (ja) 景観再現システム
US11854149B2 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US9118970B2 (en) System and method for embedding and viewing media files within a virtual and augmented reality scene
AU2011332885B2 (en) Guided navigation through geo-located panoramas
CN105046752B (zh) 用于在真实环境的视图中描绘虚拟信息的方法
US8026929B2 (en) Seamlessly overlaying 2D images in 3D model
JP4963105B2 (ja) 画像を記憶する方法、装置
US20160063671A1 (en) A method and apparatus for updating a field of view in a user interface
US20110211040A1 (en) System and method for creating interactive panoramic walk-through applications
TW201205499A (en) Extracting and mapping three dimensional features from geo-referenced images
Unal et al. Distant augmented reality: Bringing a new dimension to user experience using drones
Gomez-Jauregui et al. Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM
Fukuda et al. Improvement of registration accuracy of a handheld augmented reality system for urban landscape simulation
Kasperi et al. Occlusion in outdoor augmented reality using geospatial building data
JP6665402B2 (ja) コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
JP5616622B2 (ja) 拡張現実感提供方法及び拡張現実感提供システム
Rigby et al. Augmented reality challenges for cultural heritage
JP2010231741A (ja) 電子タグ作成表示システム、電子タグ作成表示装置およびそれらの方法
KR20190089689A (ko) 거리뷰 제공 방법, 장치 및 컴퓨터 프로그램
CN117029815A (zh) 基于空间互联网的场景定位方法和相关设备
Střelák Augmented reality tourist guide
CN111970504A (zh) 利用虚拟投影反向模拟三维球体的展示方法、装置和系统
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
JP2018151793A (ja) プログラム、情報処理装置
JP2020098635A (ja) コンテンツ表示端末、コンテンツ提供方法、および、コンテンツ表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130906

R150 Certificate of patent or registration of utility model

Ref document number: 5363971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250