JP3661187B2 - 3次元地形情報生成システム及び方法、並びにコンピュータ・プログラム - Google Patents

3次元地形情報生成システム及び方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP3661187B2
JP3661187B2 JP2002089966A JP2002089966A JP3661187B2 JP 3661187 B2 JP3661187 B2 JP 3661187B2 JP 2002089966 A JP2002089966 A JP 2002089966A JP 2002089966 A JP2002089966 A JP 2002089966A JP 3661187 B2 JP3661187 B2 JP 3661187B2
Authority
JP
Japan
Prior art keywords
building
elevation data
information
data
curved surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002089966A
Other languages
English (en)
Other versions
JP2003287422A (ja
Inventor
康紀 大戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002089966A priority Critical patent/JP3661187B2/ja
Priority to US10/385,492 priority patent/US7133539B2/en
Publication of JP2003287422A publication Critical patent/JP2003287422A/ja
Application granted granted Critical
Publication of JP3661187B2 publication Critical patent/JP3661187B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3826Terrain data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/3867Geometry of map features, e.g. shape points, polygons or for simplified maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads

Description

【0001】
【発明の属する技術分野】
本発明は、地表の凹凸を含む地形情報を生成する3次元地形情報生成システム及び方法、並びにコンピュータ・プログラムに係り、特に、飛行機や衛星などによって取得された地表の高さ情報を基に地表の3次元的な形状の抽出を行なう3次元地形情報生成システム及び方法、並びにコンピュータ・プログラムに関する。
【0002】
さらに詳しくは、本発明は、2次元平面上にマッピングされた高さ情報と建物・道路情報を利用して地表の3次元的な形状の抽出を行なう3次元地形情報生成システム及び方法、並びにコンピュータ・プログラムに係り、特に、建物を除去した土地の3次元形状の抽出を行なう3次元地形情報生成システム及び方法、並びにコンピュータ・プログラムに関する。
【0003】
【従来の技術】
昨今の情報技術の革新に伴い、さまざまな情報コンテンツがコンピュータ上で作成・編集され、情報蓄積、情報配信などのサービスが行われるようになってきた。例えば、建物や道路などの地図情報や地理情報がコンピュータ上で統合されて、道案内や観光案内など地図画像を利用した地域情報提供サービスが行なわれている。また、GPS(Global Positioning System)などで検出されたユーザの現在位置情報を利用して、車や船舶などの移動体に対するリアルタイムのナビゲーション・サービスなども提供されている。
【0004】
地図、地形地勢又は地理情報は、地表での測量によって得られる他、飛行機や衛星などを利用して上空からの観察結果を基に作成することができる。最近では、飛行機に測距センサを搭載して、計測された地表の高さ情報を基に地表の3次元形状を算出することもできる。地図は一般に正射投影であるのに対して、航空写真や衛星写真は中心投影である。上空から測定された高さ情報に対して地理的な誤差を補正し、正確な地理情報を与えてオルソ化することにより、地図上の各観測点に高さ情報をマッピングすることができる(以下、本明細書中では、2次元平面上の各観測点に高さ情報がマッピングされたデータのことを「エレベーション・データ」と呼ぶことにする)。
【0005】
地図情報は基本的には2次元平面的な位置情報であるが、このような高さ情報と統合することにより、地形の起伏などを扱うことができる。この結果、ナビゲーション・システムなどにおいては地形の起伏や景観などを考慮して、立体的、3次元的な地図画像を表示することができるなど、より高品位な地図情報表示サービスを提供することができる。あるいは、このような3次元的な地図情報を、治水シミュレーションなどの公共サービス、 仮想空間を利用したシステムへ適用することができる。
【0006】
郊外や山間部では上空から地表への測距により、高さ情報を広域的に直接且つ容易に得ることができる。ところが、ビルが密集する都心部や市街地においては、地面ではなく、家屋や建物などの地表被覆物までの距離を測っていることになり、地形情報の誤差成分となってしまう。
【0007】
平面(x,y)上に配置された高さ情報(z)の利用においては、 高さ情報に対して移動平均フィルタなどを適用することによって、 建物などの地表被覆物による凹凸の影響を少なくするか、又は、建物地図から取得した建物領域に相当する部分の高さ情報を除去した後、各高さ情報を(x,y,z)の空間点とみなして、隣接する空間点を結ぶことによってポリゴン・メッシュを作成し、ポリゴン・リダクションを行って、地形の3次元形状を取得することができる。
【0008】
しかしながら、このような手法に頼った場合、建物の高さ情報が地形データに加わるという誤差が生じる。
【0009】
【発明が解決しようとする課題】
本発明の目的は、飛行機や衛星などによって取得された地表の高さ情報を基に地表の3次元的な形状の抽出を好適に行なうことができる、優れた3次元地形情報生成システム及び方法、並びにコンピュータ・プログラムを提供することにある。
【0010】
本発明のさらなる目的は、2次元平面上にマッピングされた高さ情報と建物・道路情報を利用して地表の3次元的な形状の抽出を好適に行なうことができる、優れた3次元地形情報生成システム及び方法、並びにコンピュータ・プログラムを提供することにある。
【0011】
本発明のさらなる目的は、建物を除去した土地の3次元形状を正確に抽出することができる、優れた3次元地形情報生成システム及び方法、並びにコンピュータ・プログラムを提供することにある。
【0012】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第1の側面は、2次元平面上にマッピングされた高さ情報からなるエレベーション・データを建物・道路地図情報にマッピングするとともに建物の影響を除去してより正確な地形地勢を生成する3次元地形情報生成システム又は方法であって
エレベーション・データからフロー部分として抽出するフロー解析部又はステップと、
抽出されたフロー部分を受けて、エレベーション・データの座標と建物・道路地図上の座標とのマッチングを行なうマッチング部又はステップと、
エレベーション・データから3次元地形データを作成するための参照領域を取得する参照領域取得部又はステップと、
参照領域を表面に含むように曲面のフィッティングを行なう曲面フィッティング部又はステップと、
を具備することを特徴とする3次元地形情報生成システム又は方法である。
【0013】
但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【0014】
本発明の第1の側面に係る3次元地形情報生成システム又は方法によれば、2次元に配置された高さ情報から道路領域を抽出し、これと建物・道路地図と照合して位置と縮尺を調整する。次に、建物・道路地図から指定された幅以上の道路領域に対する高さ情報を取得して3次元に配置し、また、数箇所で重なり合うこともあるリボン形状を形成する。さらに建物・道路地図から公園など建物の存在が3次元地形に及ぼす影響の少ない場所の高さ情報を取得した後、これらを内包する曲面を作成することによって、3次元地形データを取得することができる。
【0015】
本発明によれば、2次元平面に配置された高さ情報と建物・道路地図から、建物などの地表被覆物の影響を好適に除去して、より正確な3次元地形情報(地形地勢)を取得することができる。したがって、治水シミュレーションなどの公共サービスへの利用や、 仮想空間を利用したシステムへの利用において、より正確な3次元地形データを得ることが可能となる。
【0016】
ここで、前記フロー解析部又はステップは、エレベーション・データ中から高さ情報が細長く緩やかで滑らかに連続的に変化する領域をフロー部分として抽出するようにしてもよい。
【0017】
幹線道路領域は、道幅が広いため、街路脇に立っている建物の影響を受けない。また、幹線道路領域は細長く、緩やかであり、また、滑らかに連続的に変化する高さを持っていることから、この知識を利用して、エレベーション・データから幹線道路領域を抽出することができる。
【0018】
より具体的には、前記フロー解析部又はステップは、高さ情報に相当する画素値がマッピングされた画像を生成し、該画像をフーリエ変換して周波数成分に分解し、道路領域に相当する周波数成分を抽出してから逆フーリエ変換して、輪郭を抽出して道路領域とする。
【0019】
また、前記マッチング部又はステップは、前記フロー解析部又はステップによって得られたフロー部分を建物・道路地図情報に含まれる道領域とマッチングを行なうことによって、建物・道路地図情報からエレベーション・データへの変換式を求める。そして、建物立地以外における高さを建物 ・道路地図に対応するエレベーション・データの高さデータから取得して、該変換式を用いて曲面近似を行なうことができる。
【0020】
また、前記参照領域取得部又はステップは、公園のような建物の影響を受けない領域を参照領域として抽出するようにしてもよい。
【0021】
また、前記曲面フィッティング部又はステップは、NURBS曲面の近似により参照領域を含む曲面を生成するようにしてもよい。
【0022】
また、前記曲面フィッティング部又はステップは、NURBSパラメータを2乗誤差が最小となるようにNURBS曲面を調整するとともに、調整不可能な場合にはさらにNURBS曲面を細分化するようにしてもよい。
【0023】
また、本発明の第2の側面は、2次元平面上にマッピングされた高さ情報からなるエレベーション・データを建物・道路地図情報にマッピングするとともに建物の影響を除去して3次元地形情報を生成する処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって
エレベーション・データからフロー部分として抽出するフロー解析ステップと、
抽出されたフロー部分を受けて、エレベーション・データの座標と建物・道路地図上の座標とのマッチングを行なうマッチング・ステップと、
エレベーション・データから3次元地形データを作成するための参照領域を取得する参照領域取得ステップと、
参照領域を表面に含むように曲面のフィッティングを行なう曲面フィッティング・ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【0024】
本発明の第2の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第2の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1側面に係る3次元地形情報生成システム又は方法と同様の作用効果を得ることができる。
【0025】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【0026】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【0027】
図1には、2次元平面上に高さ情報がマッピングされている様子を示している。同図に示す2次元平面は、平野部、山岳部、郊外、都心などの地表面を表わし、xy各方向に一定間隔で高さ情報(エレベーション・データ)が取得され、各点(x,y)におけるz座標値として表わされている。ここで言うx及びy各軸は例えば緯度や経度に相当する。
【0028】
このような高さ情報を含んだ2次元平面情報は、例えば、飛行機や衛星などを利用して、上空からの地表への測距により、広域的に直接且つ容易に得ることができる。上空から測定された高さ情報に対して地理的な誤差を補正し、正確な地理情報を与えてオルソ化することにより、地図上の各観測点に高さ情報をマッピングすることができる。
【0029】
図1に示すような高さ情報がマッピングされている2次元平面は、擬似的に地形の起伏などを表わしている。但し、飛行機や衛星などの上空からの測距により直接得られた高さ情報は、ビルが密集する都心部や市街地においては家屋や建物などの地表被覆物までの地面ではなく建物まで距離を測っていることになり、地形情報の誤差成分を含んでいる。
【0030】
高さ情報に含まれる建物などの地表被覆物による凹凸の影響を除去するために、従来は移動平均フィルタなどの平滑化フィルタを用いていた。図2には、平滑化フィルタを用いた場合における、実際の地形地勢に対する建物の影響を示している。 同図において、参照番号1は、実際に地形地勢であり、参照番号2は、建物などの地表被覆物であり、参照番号3は平滑化フィルタで取得した地形データである。
【0031】
図2からも分かるように、従来の地表被覆物除去処理によれば、地形データ3は、建物データ2の影響を受けて、 実際の地表面1よりも高い位置になってしまう。また、平均化する広さによっては、 建物群の凹凸が地形データに反映されることもある。
【0032】
図3には、本実施形態において地形形状を取得するための参照領域を例示している。 同図において、参照番号4は幹線道路領域を示している。幹線道路領域は、道幅が広いため、街路脇に立っている建物の影響を受けない。また、幹線道路領域は細長く、緩やかであり、また、滑らかに連続的に変化する高さを持っていることから、この知識を利用して、エレベーション・データから幹線道路領域を抽出することができる。
【0033】
また、参照番号5は、上記の知識ベースの手法では安定して抽出することができない、道幅が比較的狭い道路を示している。 また、参照番号6は、建物の影響を受けない、公園や空き地のような領域を示している。 本実施形態では、これらの領域6における高さ情報は、建物の影響を受けていないことから、これらの領域における高さ情報を表面に含む曲面を作成することにしている。
【0034】
図4には、本発明の実施形態に係る3次元地形情報生成システム10の機能構成を模式的に示している。
【0035】
この3次元地形情報生成システム10内では、CPU(Central Processing Unit)14が、オペレーティング・システム(OS)が提供する実行環境下で、さまざまなアプリケーション・プログラムを起動する。CPU14は、バス22経由でシステム10内の各部と相互接続している。
【0036】
RAM(Random Access Memory)15は、揮発性の半導体メモリ装置であり、CPU14において実行されるプログラム・コードを記録部13(後述)などの外部記憶装置からロードしたり、実行プログラムが処理中の作業データを1次格納したりするために使用される。
【0037】
CPU14が実行するプログラムには、エレベーション・データを2次元平面上にマッピングするとともに建物の影響を除去する3次元地形情報生成アプリケーションなどが含まれる。また、作業データとしては、建物情報、道路地図情報などの2次元平面情報並びにこれにマッピングされたエレベーション・データ、建物の影響を除去中及び除去処理後のエレベーション・データ、該除去処理中の計算値などが含まれる。
【0038】
ROM(Read Only Memory)16は、不揮発性の半導体記憶装置であり、所定のプログラム・コードやデータを恒久的に保存するために使用される。例えば、システム10起動時の初期化・自己診断プログラム(POST)やシステム10内の各部をハードウェア操作するための基本入出力ソフトウェア(BIOS)などがROM16上に格納されている。
【0039】
入力部11は、例えばキーボードやマウスなどのユーザ入力装置からなり、建物・道路地図情報、エレベーション・データなど、3次元地形情報生成のための素データを手付けあるいはその他の形式で入力したり、3次元地形情報生成やその他のユーザ・コマンドを入力するために使用される。
【0040】
表示部12は、ディスプレイやプリンタなど、CPU14による演算結果を可視化してユーザに出力する装置で構成される。例えば、建物・道路地図情報を表示出力したり、2次元平面上にマッピングされたエレベーション・データから建物の影響を除去して生成された3次元地形情報、あるいは建物の影響を除去処理中の計算結果などを表示出力する。
【0041】
記録部13は、例えばハード・ディスク装置(HDD)などの固定型の大容量外部記憶装置や、CD(DVD)−ROMドライブのような可搬型の記録メディアを装填する記録再生装置などで構成されている。
【0042】
ハード・ディスク装置は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり(周知)、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でHDD上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、HDDには、CPU14が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、エレベーション・データを2次元平面上にマッピングするとともに建物の影響を除去する3次元地形情報生成アプリケーションを、HDD上にインストールすることができる。また、このような3次元地形情報生成の処理対象となる建物情報、道路地図情報などの2次元平面情報やエレベーション・データ(初期値)、並びに2次元平面上にマッピングされるとともに建物の影響を除去した後のエレベーション・データ、その他のライブラリをHDD上に保存することもできる。
【0043】
また、可搬型の記録メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動(すなわち販売・流通・配布を含む)する目的で使用される。例えば、エレベーション・データを2次元平面上にマッピングするとともに建物の影響を除去する3次元地形情報生成アプリケーションを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、このような3次元地形情報生成の処理対象となる建物情報、道路地図情報などの2次元平面情報やエレベーション・データ(初期値)、その他のライブラリの供給を受けたり、地図情報にマッピングされるとともに建物の影響を除去した後のエレベーション・データをシステム外部に提供するために、これら可搬型記録メディアが利用される。
【0044】
通信インターフェース21は、Ethernet(登録商標)などの所定の通信プロトコルに従って、本システム10をLAN(Local Area Network)などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。ネットワーク上では、複数のホスト端末(図示しない)がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行うことができる。例えば、エレベーション・データを2次元平面上にマッピングするとともに建物の影響を除去する3次元地形情報生成アプリケーションを、ネットワーク経由でダウンロードすることができる。また、このような3次元地形情報生成の処理対象となる建物情報、道路地図情報などの2次元平面情報やエレベーション・データ(初期値)、その他のライブラリの供給を受けたり、地図情報にマッピングされるとともに建物の影響を除去した後のエレベーション・データをシステム外部に提供するために、ネットワークが利用される。
【0045】
フロー解析部17、マッチング部18、参照領域取得部19、並びに曲面フィッティング部20は、CPU14と協働的に動作して、2次元平面上にマッピングされたエレベーション・データから建物の影響を除去する3次元地形情報生成処理を実現する。フロー解析部17は、入力されたエレベーション・データ(初期値)から道領域(幹線道路領域)を抽出する。マッチング部18は、抽出された道領域を受けて、エレベーション・データの座標と建物・道路地図上の座標とのマッチングを行なう。参照領域取得部9は、3次元地形データを作成するための参照領域を取得する。そして、曲面フィッティング部20は、参照領域を表面に含むように曲面のフィッティングを行なう。
【0046】
図5には、本実施形態に係る3次元地形情報生成システム10によって2次元平面上にマッピングされた高さ情報からなるエレベーション・データを建物・道路地図情報にマッピングするとともに建物の影響を除去した地形地勢を生成するための概略的な処理手順をフローチャートの形式で示している。この処理手順は、実際には、CPU14が、フロー解析部17、マッチング部18、参照領域取得部19、並びに曲面フィッティング部20との協働的動作により3次元地形情報生成アプリケーションを実行するという形態で実現される。
【0047】
まず、高さ情報マップ(エレベーション・データ)をシステム10に入力する(ステップS1)。エレベーション・データは、図1に示すように、2次元xy平面上にマッピングされている。
【0048】
次いで、フロー解析部7により2次元平面上にマッピングされたエレベーション・データのフローを解析して、細長く、緩やかであり、滑らかで連続的に変化する高さを持つ領域を幹線道路などのフロー部分として抽出する(ステップS2)。
【0049】
次いで、建物・道路地図をシステム10に入力して(ステップS3)、先行ステップS2により抽出されたフロー部分とのマッチングを行なうことによって、建物・道路地図からエレベーション・データへの変換式(後述)を求める(ステップS4)。
【0050】
次いで、建物立地以外における高さを建物 ・道路地図に対応するエレベーション・データの高さデータから取得する(ステップS5)。そして、NURBS曲面による近似を行なっている(ステップS6)。
【0051】
上記のステップS2では、フロー解析部17は、エレベーション・データ中からフロー部分として道路領域を抽出する。図12には、エレベーション・データから道路領域を抽出するための詳細な処理手順をフローチャートの形式で示している。また、図13には、道路領域を抽出する様子を図解している。
【0052】
まず、観測点における標高値がピクセル値となるような画像へ変換する(ステップS21)。図13の参照番号1301には、画像変換した結果を示している。
【0053】
次いで。この変換画像に対して2次元フーリエ変換を行い(ステップS22)、画素情報を周波数情報に変換する。図13の参照番号1302には、2次元フーリエ変換した結果を示している。同図に示す例では、建物が存在する領域1312では、建物の高さのばらつきから高周波成分が多くなる。これに対して、道路領域1311では、比較的滑らかに変化していることから低周波成分が多くなる。
【0054】
次いで、道路領域を通すようなバンドパス・フィルタを作用させた後(ステップS23)、逆2次元フーリエ変換を行い(ステップS24)、周波数情報を画素情報に変換する。図13の参照番号1303には、道路領域に相当する周波数成分1331を通すようなバンドパス・フィルタを示している。また、参照番号1304には、バンドパス・フィルタ適用後に逆2次元フーリエ変換した画素情報を示している。
【0055】
この後、道路領域が比較的低位置に存在することから、さらに2値化して(ステップS25)、輪郭抽出を行う(ステップS26)。この輪郭で示される領域が道路領域となる。図13の参照番号1304には、逆2次元フーリエ変換した画素情報を2値化した結果を示している。また、参照番号1305には、輪郭抽出した結果を示している。
【0056】
上述したような方法で道路領域を抽出する場合、エレベーション・データにおける各観測点位置の高さ情報を画素すなわち濃淡値に置き換える必要がある。ここで、画素位置における濃度値を求める方法について、図14を参照しながら説明しておく。
【0057】
参照番号1401〜1409はそれぞれ画像ピクセルを示し、また、参照番号1411及び1412は観測点位置を示している。各画像ピクセル値は、その中に含まれる観測点の標高値の平均を用いる。
【0058】
画像ピクセル1401に示すピクセル値は、各観測点1411及び1412における標高値の平均となる。
【0059】
ここで、参照番号1405に示すように、その画像ピクセルの中に観測点が入っていない場合には、その周辺ピクセルの値の平均を用いる。同図に示す例では、画像ピクセル1405に示すピクセル値は、その周辺の画像ピクセル1401〜1404、1406〜1409で示される画像ピクセルの値の平均となる。また、隣接する画像ピクセルの中に観測点がない場合、さらにその周りにある画像ピクセルの値を用いて補間を行う。
【0060】
図6には、図5に示したフローチャートのステップS4において建物・道路地図からエレベーション・データへの座標変換式の取得するための仕組みを図解している。
【0061】
参照番号601は、フロー解析部17によりフロー抽出を行ったエレベーション・データである。このエレベーション・データには、参照番号612で示されるフロー部分が含まれている。このフロー部分は、幹線道路領域に相当し、また、高さ情報が滑らかに連続的に変化する領域が細長く且つ緩やかに続いていることから抽出される。幹線道路領域は、道幅が広いため、街路脇に立っている建物の影響を受けない。
【0062】
一方、参照番号602は建物・道路地図である。建物・道路地図には、参照番号622で示される幹線道路と、幹線道路622以外でユーザが指定した幅を持つ道路領域623を含んでいる。これら幹線道路領域622並びにその他の道路領域623は、3次元地形を取得するために利用することができる道領域である。
【0063】
参照番号603は、これらフロー抽出を行なったエレベーション・データ601と、道路・地図情報602とを、マッチング部18によりマッチングを行なった結果を示している。
【0064】
マッチング部18は、以下に示すような、建物・道路地図座標(u,v,1)からエレベーション・データ(x,y,1)への座標変換式を求める。
【0065】
【数1】
Figure 0003661187
【0066】
上記の座標変換式において、行列Sは拡大・縮小変換を示しており、拡大率a及びbによって特徴付けられる。
【0067】
【数2】
Figure 0003661187
【0068】
また、上記の座標変換式において、行列Rは回転変換を示しており、回転θによって特徴付けられる。
【0069】
【数3】
Figure 0003661187
【0070】
また、上記の座標変換式において、行列Tは平行移動を示しており、 移動ベクトル(c,d)で表わされる。
【0071】
【数4】
Figure 0003661187
【0072】
また、図7には、エレベーション・データから参照領域を取得するとともに、参照領域をその表面に含む曲面を取得するための処理手順をフローチャートの形式で示している。この処理手順は、3次元地形情報生成システム上で、CPU14が参照領域取得部19並びに曲面フィッティング部20との協働的動作により3次元地形情報生成アプリケーションを実行するという形態で実現される。
【0073】
まず、曲面フィッティング部20は、対象領域に対するNURBS(Non-Uniform Rational B-Spline)平面を作成する(ステップS11)。なお、NURBS曲面は、平面、2次曲面、自由曲面を表現する代表的な幾何形状表現方法であり、調整可能なパラメータとして操作点(knots)を持つが、本実施形態では3×3の操作点が均等に並んでいる平面を作成している。
【0074】
次いで、参照領域取得部19は、道幅の広い順に道領域を参照リストへスタックし(ステップS12)、 これに続いて、公園などの面積の広い順に参照領域をスタックする(ステップS13)。
【0075】
次いで、参照リストが空になるまで、参照領域を1つずつ取り出して(ステップS4,S5)、NURBSの操作点を調整して、当てはめていく。
【0076】
本実施形態では、アニーリングによって参照領域の最適化を行なっている。すなわち、NURBSパラメータとしての3×3操作点の2乗誤差が最小化するように調整して(ステップS16)、誤差があらかじめ指定した値より大きいときには(ステップA17)、NURBS曲面をさらに細分化していく(ステップS18)。
【0077】
ちなみに、アニーリング手法では、一般的には局所解に陥ることが知られているが、 目的としている地形の3次元形状は、一般に複雑な形状をしておらず、 また、NURBS曲面の特徴である操作点の局所への影響という特性によって、最適解へ向かう探索が行われることになる。そうして、誤差が指定した値よりも大きいまま平衡状態に達する場合、 誤差が大きいメッシュ部分を再分割したのち、当てはめを継続する。
【0078】
図7に示した参照領域を抽出する処理手順において、面積が広い順に参照領域を抽出しているが、本実施形態では、建物がない領域を短冊の集合として取り扱うようにしている。図8には、建物がない領域に対する面積の求め方を図解している。
【0079】
建物がない領域801を、参照番号811〜818で示す短冊の集合とみなす。このとき、短冊は、図示のuv座標系を基準として、u方向に刻んだ短冊とし、短冊の右端が領域のv方向の値と一致するように短冊の生成を行う。そして、各々の短冊の面積を計算してこれらの合計を領域801の面積とする。勿論、図示した以外の方法によって建物がない領域の面積を算出するようにしてもよい。
【0080】
また、図7に示した曲面フィッティングの処理手順において、曲面を記述する操作点を移動することによって、 参照領域が曲面に埋め込まれるよう最適化を行なっている。図9には、NURBS曲面の操作点を移動して参照領域が埋め込まれるようにする様子を示している。
【0081】
同図において、参照番号901は、対象となる曲面902を特徴付ける制御多角形を示している。また、参照番号911は制御点を示し、参照番号921、922はそれぞれ曲面の表面に埋め込まれる道路領域を示している。
【0082】
ここで、NURBS曲面のパラメータ調整方法について説明しておく。図10には、操作点の移動可能方向を示す。
【0083】
同図において、参照番号1011、1041、1014、1044で示される各操作点は上下方向(w)のみ移動が許可されている。また、 参照番号1021、1031、1024、1034で示される各操作点はu及びw方向のみ移動が許可されている。また、参照番号1012、1013、1042、1043で示される各操作点はv及びw方向のみ移動が許可されている。また、その他の操作点1022、1032、1023、1033はすべての方向(u,v,w)への移動が許可されている。
【0084】
ただし、これは細分化された操作多角形に対しては、 最外郭を共有する場合においては、この性質を継承するものとする。
【0085】
また、図7に示した曲面フィッティングの処理手順において、NURBS曲面の調整が不可能な場合にはさらにNURBS曲面を細分化する。図11には、参照領域の埋め込みができない場合に、 その誤差が大きい部分を細分化することによって対応する様子を示している。
【0086】
ここで、参照番号1101は制御多角形を示し、参照番号1102はその一部が再分割された場所における制御多角形を示し、また、参照番号1103はそれをコントロールするための操作点を示している。 なお、ここで、古くからの曲面と、 新しく細分化した曲面が滑らかに繋がるような制約が、 制御点の移動において発生している。
【0087】
[追補]
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0088】
【発明の効果】
以上詳記したように、本発明によれば、飛行機や衛星などによって取得された地表の高さ情報を基に地表の3次元的な形状の抽出を好適に行なうことができる、優れた3次元地形情報生成システム及び方法、並びにコンピュータ・プログラムを提供することができる。
【0089】
また、本発明によれば、2次元平面上にマッピングされた高さ情報と建物・道路情報を利用して地表の3次元的な形状の抽出を好適に行なうことができる、優れた3次元地形情報生成システム及び方法、並びにコンピュータ・プログラムを提供することができる。
【0090】
また、本発明によれば、建物を除去した土地の3次元形状を正確に抽出することができる、優れた3次元地形情報生成システム及び方法、並びにコンピュータ・プログラムを提供することができる。
【0091】
本発明によれば、2次元平面に配置された高さ情報と建物・道路地図から、建物などの地表被覆物の影響を好適に除去して、より正確な3次元地形情報(地形地勢)を取得することができる。したがって、治水シミュレーションなどの公共サービスへの利用や、 仮想空間を利用したシステムへの利用において、より正確な3次元地形データを得ることが可能となる。
【図面の簡単な説明】
【図1】2次元平面上に高さ情報がマッピングされている様子を示した図である。
【図2】平滑化フィルタを用いた場合における、実際の地形地勢に対する建物の影響を示した図である。
【図3】本実施形態において地形形状を取得するための参照領域を示した図である。
【図4】本発明の実施形態に係る3次元地形情報生成システム10の機能構成を模式的に示した図である。
【図5】本実施形態に係る3次元地形情報生成システム10によってエレベーション・データを2次元平面上にマッピングするとともに建物の影響を除去するための概略的な処理手順を示したフローチャートである。
【図6】建物・道路地図からエレベーション・データへの座標変換式の取得するための方法を説明するための図である。
【図7】エレベーション・データから参照領域を取得するとともに、参照領域をその表面に含む曲面を取得するための処理手順を示したフローチャートである。
【図8】建物がない領域に対する面積の求め方を説明するための図である。
【図9】曲面を記述する操作点を移動して参照領域が埋め込まれるようにする様子を示した図である。
【図10】NURBS曲面の操作点の移動方向を示した図である。
【図11】参照領域の埋め込みができない場合に、 その誤差が大きい部分を細分化することによって対応する様子を示した図である。
【図12】エレベーション・データから道路領域を抽出するための詳細な処理手順を示したフローチャートである。
【図13】道路領域を抽出する様子を示した図である。
【図14】画素位置における濃度値を求める方法を説明するための図である。
【符号の説明】
10…3次元地形情報生成システム
11…入力部,12…表示部,13…記録部
14…CPU,15…RAM,16…ROM
17…フロー解析部,18…マッチング部
19…参照領域取得部,20…曲面フィッティング部
21…通信インターフェース,22…バス

Claims (9)

  1. 2次元平面上にマッピングされた高さ情報からなるエレベーション・データを建物・道路地図情報にマッピングするとともに建物の影響を除去して3次元地形情報を生成する3次元地形情報生成システムであって
    エレベーション・データからフロー部分として抽出するフロー解析部と、
    抽出されたフロー部分を受けて、エレベーション・データの座標と建物・道路地図上の座標とのマッチングを行なうマッチング部と、
    エレベーション・データから3次元地形データを作成するための参照領域を取得する参照領域取得部と、
    参照領域を表面に含むように曲面のフィッティングを行なう曲面フィッティング部と、
    を具備することを特徴とする3次元地形情報生成システム。
  2. 前記フロー解析部は、エレベーション・データ中から高さ情報が細長く緩やかで滑らかに連続的に変化する領域をフロー部分として抽出する、
    ことを特徴とする請求項1に記載の3次元地形情報生成システム。
  3. 前記フロー解析部は、高さ情報に相当する画素値がマッピングされた画像を生成し、該画像をフーリエ変換して周波数成分に分解し、道路領域に相当する周波数成分を抽出してから逆フーリエ変換して、輪郭を抽出して道路領域とする、
    ことを特徴とする請求項1に記載の3次元地形情報生成システム。
  4. 前記マッチング部は、前記フロー解析部によって得られたフロー部分を建物・道路地図情報に含まれる道領域とマッチングを行なうことによって、建物・道路地図情報からエレベーション・データへの変換式を求め、建物立地以外における高さを建物 ・道路地図に対応するエレベーション・データの高さデータから取得して、該変換式を用いて曲面近似を行なう、
    ことを特徴とする請求項1に記載の3次元地形情報生成システム。
  5. 前記参照領域取得部は、公園のような建物の影響を受けない領域を参照領域として抽出する、
    ことを特徴とする請求項1に記載の3次元地形情報生成システム。
  6. 前記曲面フィッティング部は、NURBS曲面の近似により参照領域を含む曲面を生成する、
    ことを特徴とする請求項1に記載の3次元地形情報生成システム。
  7. 前記曲面フィッティング部は、NURBSパラメータを2乗誤差が最小となるようにNURBS曲面を調整するとともに、調整不可能な場合にはさらにNURBS曲面を細分化する、
    ことを特徴とする請求項6に記載の3次元地形情報生成システム。
  8. 2次元平面上にマッピングされた高さ情報からなるエレベーション・データを建物・道路地図情報にマッピングするとともに建物の影響を除去して3次元地形情報を生成する3次元地形情報生成方法であって
    エレベーション・データからフロー部分として抽出するフロー解析ステップと、
    抽出されたフロー部分を受けて、エレベーション・データの座標と建物・道路地図上の座標とのマッチングを行なうマッチング・ステップと、
    エレベーション・データから3次元地形データを作成するための参照領域を取得する参照領域取得ステップと、
    参照領域を表面に含むように曲面のフィッティングを行なう曲面フィッティング・ステップと、
    を具備することを特徴とする3次元地形情報生成方法。
  9. 2次元平面上にマッピングされた高さ情報からなるエレベーション・データを建物・道路地図情報にマッピングするとともに建物の影響を除去して3次元地形情報を生成する処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって
    エレベーション・データからフロー部分として抽出するフロー解析ステップと、
    抽出されたフロー部分を受けて、エレベーション・データの座標と建物・道路地図上の座標とのマッチングを行なうマッチング・ステップと、
    エレベーション・データから3次元地形データを作成するための参照領域を取得する参照領域取得ステップと、
    参照領域を表面に含むように曲面のフィッティングを行なう曲面フィッティング・ステップと、
    を具備することを特徴とするコンピュータ・プログラム。
JP2002089966A 2002-03-27 2002-03-27 3次元地形情報生成システム及び方法、並びにコンピュータ・プログラム Expired - Fee Related JP3661187B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002089966A JP3661187B2 (ja) 2002-03-27 2002-03-27 3次元地形情報生成システム及び方法、並びにコンピュータ・プログラム
US10/385,492 US7133539B2 (en) 2002-03-27 2003-03-12 Three-dimensional terrain-information generating system and method, and computer program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002089966A JP3661187B2 (ja) 2002-03-27 2002-03-27 3次元地形情報生成システム及び方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2003287422A JP2003287422A (ja) 2003-10-10
JP3661187B2 true JP3661187B2 (ja) 2005-06-15

Family

ID=29235383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002089966A Expired - Fee Related JP3661187B2 (ja) 2002-03-27 2002-03-27 3次元地形情報生成システム及び方法、並びにコンピュータ・プログラム

Country Status (2)

Country Link
US (1) US7133539B2 (ja)
JP (1) JP3661187B2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497520B2 (ja) * 2004-03-10 2010-07-07 株式会社ロゼフテクノロジー 自由曲線へのあてはめプログラム
US7817817B2 (en) * 2004-09-10 2010-10-19 University Of Maryland Method for concealing data in curves of an image
US7764810B2 (en) * 2006-07-20 2010-07-27 Harris Corporation Geospatial modeling system providing non-linear inpainting for voids in geospatial model terrain data and related methods
US7760913B2 (en) * 2006-07-20 2010-07-20 Harris Corporation Geospatial modeling system providing non-linear in painting for voids in geospatial model frequency domain data and related methods
US8649567B1 (en) * 2006-11-17 2014-02-11 Corelogic Solutions, Llc Displaying a flood change map with change designators
EP1927954B1 (en) * 2006-12-01 2019-05-15 Harman Becker Automotive Systems GmbH Terrain modeling based on curved surface area
US7936354B2 (en) * 2007-04-27 2011-05-03 Graphisoft R&D Zrt. Virtual trace-multiple view modeling system and method
DE102007022512A1 (de) * 2007-05-14 2008-11-20 Continental Automotive Gmbh Verfahren und Vorrichtung zum Ermitteln dreidimensionaler Straßenkartendaten
US20110257938A1 (en) * 2010-04-16 2011-10-20 William Eyers System and method for use in designing air intakes
US8892357B2 (en) 2010-09-20 2014-11-18 Honeywell International Inc. Ground navigational display, system and method displaying buildings in three-dimensions
US8473227B2 (en) * 2011-03-02 2013-06-25 Genscape Intangible Holding, Inc. Method and system for determining an amount of a liquid energy commodity in storage in an underground cavern
JP5773206B2 (ja) * 2011-12-13 2015-09-02 アイシン・エィ・ダブリュ株式会社 標高信頼度判定システム、データ整備システム、走行支援システム、走行支援プログラム及び方法、データ整備プログラム及び方法、並びに標高信頼度判定プログラム及び方法
US9207094B2 (en) * 2012-06-10 2015-12-08 Apple Inc. Road height generation for a road network
US9208601B2 (en) * 2012-06-10 2015-12-08 Apple Inc. Computing plausible road surfaces in 3D from 2D geometry
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
EP2996088B1 (en) * 2014-09-10 2018-08-29 My Virtual Reality Software AS Method for visualising surface data together with panorama image data of the same surrounding
JP6391507B2 (ja) * 2015-03-18 2018-09-19 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、ナビゲーションプログラム、及びナビゲーション方法
JP6486480B2 (ja) * 2015-08-31 2019-03-20 株式会社日立製作所 環境地図自動作成装置
US9846975B2 (en) 2016-02-18 2017-12-19 Skycatch, Inc. Generating filtered, three-dimensional digital ground models utilizing multi-stage filters
US10369472B1 (en) 2017-03-30 2019-08-06 Electronic Arts Inc. Virtual environment mapping system
JP6972647B2 (ja) * 2017-05-11 2021-11-24 富士フイルムビジネスイノベーション株式会社 三次元形状データの編集装置、及び三次元形状データの編集プログラム
CN109166173B (zh) * 2018-08-22 2022-04-05 中国电建集团成都勘测设计研究院有限公司 基于bim的多精度三维测绘数据融合方法
CN109308402A (zh) * 2018-11-14 2019-02-05 中国十九冶集团有限公司 曲面钢箱桥梁设计数据的提取方法
JP2020095519A (ja) * 2018-12-13 2020-06-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 形状推定装置、形状推定方法、プログラム、及び記録媒体
US10818070B2 (en) 2019-03-27 2020-10-27 Electronic Arts Inc. Artificial intelligence based virtual object aging
US11620800B2 (en) 2019-03-27 2023-04-04 Electronic Arts Inc. Three dimensional reconstruction of objects based on geolocation and image data
US11887253B2 (en) * 2019-07-24 2024-01-30 Electronic Arts Inc. Terrain generation and population system
CN111192366B (zh) * 2019-12-30 2023-04-07 重庆市勘测院 用于建筑高度三维控制的方法及装置、服务器
CN111783190A (zh) * 2020-06-12 2020-10-16 中国二十冶集团有限公司 基于倾斜摄影技术的道路土方量计算方法
US11335058B2 (en) 2020-10-13 2022-05-17 Electronic Arts Inc. Spatial partitioning for graphics rendering
CN112734824B (zh) * 2021-01-26 2023-05-05 中国科学院空天信息创新研究院 一种基于广义光度立体模型的三维重建方法
CN113190896B (zh) * 2021-04-07 2023-01-17 北京都市霍普建筑设计有限公司 一种工业建筑空间的设计系统
CN113064958B (zh) * 2021-04-26 2021-11-23 广州筑鼎建筑与规划设计院有限公司 基于图传视频处理技术和数据分析的城市规划设计勘察数据建立处理方法
CN113371185B (zh) * 2021-07-19 2023-08-08 江苏中天吉奥信息技术股份有限公司 一种地形航拍勘测方法及航拍飞行器
CN113888709A (zh) * 2021-09-30 2022-01-04 北京城市网邻信息技术有限公司 电子沙盘生成方法及装置、非瞬时性存储介质
CN115359202A (zh) * 2022-09-01 2022-11-18 抖音视界有限公司 一种虚拟场景生成方法、装置、计算机设备及存储介质
CN117029804B (zh) * 2023-08-07 2024-04-26 自然资源部重庆测绘院 一种基于车辆定位信息的矿区地形自动更新方法
CN117036633B (zh) * 2023-08-24 2024-03-26 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 大场景三维模型数据的高效、批量属性挂接方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622094B2 (ja) * 1995-10-05 2005-02-23 株式会社日立製作所 地図更新支援装置および地図情報の編集方法
DE69736967T2 (de) * 1996-06-19 2007-07-26 Matsushita Electric Industrial Co., Ltd., Kadoma Gerät zur Gewinnung von Strassennetzzonendaten aus den Blockdaten einer Strassennetzkarte, System zum Umformen dieser Daten und Darstellung einer umgeformten Karte und geographisches Informationssystem
FR2760554B1 (fr) * 1997-03-06 1999-04-16 Alsthom Cge Alcatel Procede de detection de contours de relief dans une paire d'images stereoscopiques
US6996505B1 (en) * 2000-06-21 2006-02-07 Raindrop Geomagic, Inc. Methods, apparatus and computer program products for automatically generating nurbs models of triangulated surfaces using homeomorphisms
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
US6654690B2 (en) * 2001-04-05 2003-11-25 Harris Corporation Automated method for making a topographical model and related system

Also Published As

Publication number Publication date
US20040027344A1 (en) 2004-02-12
US7133539B2 (en) 2006-11-07
JP2003287422A (ja) 2003-10-10

Similar Documents

Publication Publication Date Title
JP3661187B2 (ja) 3次元地形情報生成システム及び方法、並びにコンピュータ・プログラム
JP3788378B2 (ja) 3次元モデル生成システム及び方法、並びにコンピュータ・プログラム
US20230005218A1 (en) Satellite sar artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations
EP2518445B1 (en) Database for a navigation device, method of outputting a three-dimensional representation of a terrain and method of generating a database
CN108387241A (zh) 更新自动驾驶车辆的定位地图的方法和系统
CN108399218A (zh) 基于Walsh内核投影技术的自动驾驶车辆定位
CN110832348A (zh) 用于自主车辆的高清晰度地图的点云数据丰富
CN110386142A (zh) 用于自动驾驶车辆的俯仰角校准方法
KR101826364B1 (ko) 컬러 지상 라이다 측량 데이터를 이용하여 건물의 3차원 모델링 데이터를 자동으로 생성하기 위한 방법
WO2019019576A1 (zh) 地形高程模型数据无效区域的填补方法和设备
US9557181B2 (en) System for determining height information
US6678610B2 (en) Method for obtaining a map representation, and a navigation device
CN111710040A (zh) 一种高精度地图的构建方法、系统、终端和存储介质
US20150088466A1 (en) Structure Determination in a Geographic Area
KR101729942B1 (ko) 도시 지역에서의 기상 정보를 제공하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
Biasion et al. A new procedure for the automatic production of true orthophotos
KR102408981B1 (ko) Nd 맵 생성방법 및 그를 활용한 맵 업데이트 방법
CA2769363C (en) Navigation device, method of outputting a three-dimensional roof structure, and method of generating a database
JP2010032379A (ja) 基準気流場データ作成装置、方法、プログラム、および物質拡散状況予測システム
JP2004213541A (ja) データ処理システム及び方法、並びにコンピュータ・プログラム
Tooke et al. A point obstruction stacking (POSt) approach to wall irradiance modeling across urban environments
CN111710039A (zh) 一种高精度地图的构建方法、系统、终端和存储介质
KR101616288B1 (ko) 멀티센서 융합 측위 시스템을 이용한 가로수 탄소흡수량 산정 시스템 및 이에 이용되는 프로그램을 기록한 컴퓨터판독가능한 기록매체
JP2004212334A (ja) データ処理システム及び方法、並びにコンピュータ・プログラム
JP2003317081A (ja) 3次元モデル生成システム及び方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050313

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080401

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090401

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100401

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100401

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110401

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120401

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130401

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130401

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140401

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees