JP2000268188A - オクルージョンカリングを行う3次元グラフィックス描画装置および方法 - Google Patents

オクルージョンカリングを行う3次元グラフィックス描画装置および方法

Info

Publication number
JP2000268188A
JP2000268188A JP11072498A JP7249899A JP2000268188A JP 2000268188 A JP2000268188 A JP 2000268188A JP 11072498 A JP11072498 A JP 11072498A JP 7249899 A JP7249899 A JP 7249899A JP 2000268188 A JP2000268188 A JP 2000268188A
Authority
JP
Japan
Prior art keywords
objects
information
virtual
image information
occlusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11072498A
Other languages
English (en)
Other versions
JP3350473B2 (ja
Inventor
Yuichi Sato
裕一 佐藤
Mitsunori Hirata
光徳 平田
Yosuke Senda
陽介 千田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP07249899A priority Critical patent/JP3350473B2/ja
Priority to US09/434,938 priority patent/US6664957B1/en
Priority to EP99309081A priority patent/EP1037168A3/en
Publication of JP2000268188A publication Critical patent/JP2000268188A/ja
Application granted granted Critical
Publication of JP3350473B2 publication Critical patent/JP3350473B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/30Clipping

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

(57)【要約】 【課題】 3次元コンピュータグラフィックスシステム
において、より正確かつ高速にオクルージョンカリング
を行うことが課題である。 【解決手段】 ポリゴン数を削減した描画レベルの4つ
のオブジェクトA、B、C、Dに、それぞれ異なる仮想
色VC1、VC2、VC3、VC4を割り振り、視点P
から見た画像をフレームバッファ上に描画する。オブジ
ェクトAとオブジェクトBの一部のみが見える場合、仮
想色VC1、VC2のみがフレームバッファ上に現れ、
仮想色VC3、VC4は現れない。したがって、オブジ
ェクトCとオブジェクトDは他のオブジェクトにオクル
ードされていると判定される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、コンピュータ上に
構築された3次元グラフィックスモデルを描画する描画
装置およびその方法に関する。
【0002】
【従来の技術】今日、機械系CAD(computer-aided d
esign )システム、グラフィックスゲーム、アニメーシ
ョン、ウォークスルー等の仮想現実感システムのような
様々な分野において、3次元コンピュータグラフィック
ス(3DCG)が用いられている。
【0003】3DCGを高速に描画する従来の方法の1
つとして、オクルージョンカリング(occlusion cullin
g )法が知られている(USP 5,751,291 May/1998 Olsen
etal., USP 5,613,050 Mar/1997 Hochmuth et al.
)。この方法では、描画対象の物体のCGモデル(オ
ブジェクト)を直方体等の基本図形で覆い、その基本図
形をオブジェクトの代わりに用いて、各基本図形が他の
基本図形にオクルードされているか否かを判定する。
【0004】ここで、他の図形にオクルードされている
とは、他の図形の影になって隠されている状態を意味す
る。オクルードされている基本図形内のオブジェクトの
描画を省略することで、描画が高速化される。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
た従来のオクルージョンカリング法には、次のような問
題がある。
【0006】この方法では、オブジェクトを直方体等の
基本図形で覆うため、複雑な形状のオブジェクトの場合
には、一方が他方の影になるような状況を見逃したり、
逆に、影にならないオブジェクトの描画を省略したりす
ることが多くなると考えられる。このため、比較的単純
な形状のオブジェクトを扱うウォークスルーのようなシ
ステムに向いている方法であるといえる。
【0007】しかし、機械系の設計現場では、しばし
ば、数10万ポリゴンからなる複雑な形状のオブジェク
トが現れることがあり、基本図形に基づくオクルージョ
ンカリング法では、正確な描画が期待できない。そこ
で、多数のポリゴンからなる3Dモデルを高速に描画
し、コンピュータ画面の更新レートを上げ、モデルの回
転、移動等をスムースに行うことが可能なオクルージョ
ンカリング法が望まれる。
【0008】本発明の課題は、機械系CADのような複
雑な形状を扱うCGシステムにおいて、より正確かつ高
速にオクルージョンカリングを行う描画装置およびその
方法を提供することである。
【0009】
【課題を解決するための手段】図1は、本発明の描画装
置の原理図である。本発明の第1の原理によれば、描画
装置は、形状情報格納手段1、テーブル手段2、仮想画
像格納手段3、判定手段4、およびオクルージョンカリ
ング手段5を備え、複数のオブジェクトを表示する。
【0010】形状情報格納手段1は、複数のオブジェク
トの形状情報を格納し、テーブル手段2は、複数のオブ
ジェクトと仮想的に一対一に対応付けられた複数の色情
報を格納する。仮想画像格納手段3は、形状情報格納手
段1およびテーブル手段2の情報に基づいて描画された
仮想色画像情報を格納する。判定手段4は、仮想色画像
情報を走査してオクルージョン判定を行い、オクルージ
ョンカリング手段5は、複数のオブジェクトのうち、オ
クルードされていると判定されたオブジェクトの表示を
省略する。
【0011】テーブル手段2には、オブジェクトの識別
情報と色情報の一対一の対応関係が格納される。オブジ
ェクトと仮想的に対応付けられた色情報は、実際にオブ
ジェクトを表示するための色情報ではなく、オクルージ
ョン判定のためにオブジェクトを仮想的に描画するため
の色情報である。この仮想的な色情報を用いて描画され
た仮想色画像情報は、実際に画面に表示されることはな
い。
【0012】判定手段4は、仮想画像格納手段3に格納
された仮想色画像情報をピクセル単位で走査して色情報
を抽出し、テーブル手段2を参照して、抽出された色情
報に対応するオブジェクトを認識する。そして、それら
のオブジェクトをオクルードされていないオブジェクト
と判定し、他のオブジェクトをオクルードされているオ
ブジェクトと判定する。オクルージョンカリング手段5
は、オクルードされていると判定されたオブジェクトを
非表示にする。
【0013】本発明の第1の原理のポイントは、各オブ
ジェクトに一意に付与された色情報を用いて画像情報を
生成し、その画像情報に基づいてオクルージョン判定を
行うことである。
【0014】このような描画装置によれば、オブジェク
トを覆う基本図形を用いるのではなく、オブジェクト自
身の形状を用いるため、より厳密なオクルージョン判定
を行うことができる。また、各オブジェクトに一意に付
与された色情報を用いて描画された画像情報を走査する
ことにより、高速に判定を行うことができる。
【0015】また、本発明の第2の原理によれば、描画
装置は、判定手段4、リダクション手段6、および表示
手段7を備え、複数のオブジェクトを表示する。リダク
ション手段6は、複数のオブジェクトを構成するジオメ
トリプリミティブ(geometry primitive)の数を削減
し、判定手段4は、ジオメトリプリミティブの数を削減
したオブジェクトを用いてオクルージョン判定を行う。
表示手段7は、複数のオブジェクトのうち、オクルード
されていないと判定されたオブジェクトを、オクルージ
ョン判定に用いたジオメトリプリミティブの数より多く
のジオメトリプリミティブを用いて表示する。
【0016】ジオメトリプリミティブは、オブジェクト
の表面の一部を表す幾何データであり、例えば、三角形
ポリゴンがこれに対応する。リダクション手段6は、各
オブジェクトについて、ジオメトリプリミティブの数を
削減したモデルを生成する。判定手段4は、リダクショ
ン手段6が生成したモデルを用いてオクルージョン判定
を行い、表示手段7は、オクルードされていないと判定
されたオブジェクトを、例えば、削減される前のジオメ
トリプリミティブを用いて表示する。
【0017】本発明の第2の原理のポイントは、各オブ
ジェクトのジオメトリプリミティブの数を削減してオク
ルージョン判定を行うことである。このような描画装置
によれば、ジオメトリプリミティブの数が削減されてオ
ブジェクトの形状が簡単化されるため、オクルージョン
判定を高速に行うことができる。また、ジオメトリプリ
ミティブの数を削減したモデルの形状は、元のオブジェ
クトの形状を反映しているため、厳密に判定を行うこと
ができる。
【0018】例えば、図1の形状情報格納手段1、テー
ブル手段2、および仮想画像格納手段3は、後述する図
3のRAM(ランダムアクセスメモリ)27に対応し、
図1の判定手段4、オクルージョンカリング手段5、お
よびリダクション手段6は、図3のCPU(中央処理装
置)23に対応し、図1の表示手段7は、図3のグラフ
ィックス処理装置25およびグラフィックディスプレイ
26に対応する。
【0019】
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本実施形態において
は、あるオブジェクトが他のオブジェクトにオクルード
されているか否かを判定するために、各オブジェクトに
それぞれ異なる仮想的な色情報(virtual color )を付
与し、その色を用いてオブジェクトをビットマップ上に
描画する。そして、ビットマップ上の色を走査すること
で、あるオブジェクトが他のオブジェクトにオクルード
されているか否かを判定する。
【0020】このようなオクルージョンカリング判定に
よれば、オブジェクトを覆う基本図形を用いるのではな
く、オブジェクト自身の形状を用いるため、より厳密な
判定を行うことができる。また、各オブジェクトに一意
に付与された色をビットマップ上で走査することによ
り、高速に判定を行うことができる。
【0021】仮想的な色情報の描画を数フレームに1回
のみ行うことで、オクルージョンカリングがさらに効率
化される。また、仮想的な色情報の描画用のモデルとし
て、ポリゴンリダクションを行ったモデルを使用するこ
とで、オクルージョンカリングがさらに高速化される。
【0022】図2は、機械系CAD等で作成したアセン
ブリモデルを高速に描画するための描画装置の構成図で
ある。図2の描画装置は、形状・アセンブリ情報記憶部
11、位置・姿勢情報更新部12、オクルージョンカリ
ング判定部13、描画部14、およびポリゴンリダクシ
ョン計算部15を備える。
【0023】形状・アセンブリ情報記憶部11は、オブ
ジェクトを表現するための頂点集合、オブジェクト間の
アセンブリ関係を表現する親子関係、位置、姿勢、関節
関係等の図形情報を記憶する。位置・姿勢情報更新部1
2は、オブジェクトが動いたときに、オブジェクトの位
置・姿勢を表す各頂点の位置の時間に対する変動量を計
算する。
【0024】オクルージョンカリング判定部13は、各
オブジェクトを仮想的な色情報で描画し、その結果をビ
ットマップに取り出して、ビットマップ上に現れている
色を検出する。これにより、他のオブジェクトの影にな
らずに表に現れているオブジェクト(オクルードされて
いないオブジェクト)を抽出し、それらのオブジェクト
に印を付ける。
【0025】描画部14は、オクルージョンカリング判
定部13が印を付けたオブジェクトのみを、数サイクル
にわたって描画する。ポリゴンリダクション計算部15
は、オブジェクトのポリゴン数を段階的に削減し、ポリ
ゴン数を削減したオブジェクトを位置・姿勢情報更新部
12に入力する。これらのオブジェクトは、オクルージ
ョンカリングの判定を高速化するために用いられる。
【0026】図3は、図2の描画装置を情報処理装置
(コンピュータ)を用いて構成した例を示している。図
3の情報処理装置は、データ入力装置21、インタフェ
ース(I/F)22、24、CPU(中央処理装置)2
3、グラフィックス処理装置25、グラフィックディス
プレイ26、RAM(ランダムアクセスメモリ)27、
および記憶装置28を備える。
【0027】CPU23は、オブジェクトの移動に伴う
位置・姿勢の更新(座標変換)、オクルージョンカリン
グ、ポリゴンリダクション、計算結果を表示するための
演算、オブジェクトの動きをグラフィカルに表示するた
めの演算、その他のあらゆる論理演算等を行う。空間内
でオブジェクトの位置・姿勢を更新する処理は、オブジ
ェクトの座標系を他の座標系に変換する処理とみなすこ
とができるため、このような処理は、しばしば、オブジ
ェクトの座標変換と呼ばれる。
【0028】記憶装置28には、作業環境、オブジェク
トの形状データ、アセンブリデータ、それらの初期位
置、描画アルゴリズムの実行モジュール(プログラ
ム)、オブジェクトの動きをグラフィカルに表示するた
めの実行モジュール等の必要なデータおよび実行モジュ
ールが格納される。記憶装置28としては、例えば、磁
気ディスク装置、光ディスク装置、光磁気ディスク(ma
gneto-optical disk)装置等が用いられる。
【0029】RAM27は、形状データ・アセンブリデ
ータメモリ31、座標変換データメモリ32、仮想色情
報メモリ33、オクルージョンカリングメモリ34、ポ
リゴンリダクションメモリ35、および配列テーブルメ
モリ36を含む。
【0030】形状データ・アセンブリデータメモリ31
には、CPU23により記憶装置28から呼び出された
作業環境およびオブジェクトのデータが保持され、座標
変換データメモリ32には、データ入力装置21を介し
て入力されたオブジェクトの移動指令データを用いてC
PU23が算出したオブジェクトの形状データが保持さ
れる。
【0031】仮想色情報メモリ33には、オクルージョ
ンカリングを行うために各オブジェクトにそれぞれ異な
る仮想色を割り付けたときの描画結果が、ビットマップ
として保持される。オクルージョンカリングメモリ34
には、仮想色情報メモリ33のビットマップ上に描画さ
れている色を持ったオブジェクトが、他のいかなるオブ
ジェクトにもオクルードされていない「表」の状態であ
ることを示すフラグが保持される。
【0032】ポリゴンリダクションメモリ35には、各
オブジェクトのポリゴン数を削減したモデルが常駐して
いる。CGシステムにおけるオブジェクトは、通常、三
角形ポリゴンのようなジオメトリプリミティブの集合に
より形成される。
【0033】ポリゴンリダクションメモリ35内のモデ
ルは、オブジェクトを形成する各ジオメトリプリミティ
ブの真の色(true color)、頂点座標、法線ベクトル等
の図形情報を含んでいる。ポリゴンリダクションにおい
て最も高いレベルのデータは、元々のオブジェクトのジ
オメトリプリミティブデータであり、低いレベルのデー
タは、この元々のジオメトリプリミティブデータから段
階的に生成される。
【0034】配列テーブルメモリ36には、オブジェク
トの識別情報と仮想色との一対一の対応関係が保持され
る。この配列テーブルメモリ36を参照することで、各
オブジェクトに対応する仮想色を取得したり、各仮想色
に対応するオブジェクトの識別情報を取得したりするこ
とができる。
【0035】データ入力装置21は、I/F22を介し
て、作業環境、アセンブリモデルに含まれるオブジェク
トの位置・姿勢、移動指令データ等をCPU23に送
る。CPU23は、RAM27および記憶装置28にア
クセスしながら、各オブジェクトの位置・姿勢の更新、
ポリゴンリダクション、オクルージョンカリング等の処
理を行う。
【0036】グラフィックス処理装置25は、例えば、
グラフィックスボードであり、画像情報を一時的に蓄積
する複数のフレームバッファと、それらのフレームバッ
ファをスワップして画像情報をグラフィックディスプレ
イ26に送るスワッピング機構とを含む。
【0037】オクルージョンカリングが行われると、フ
レームバッファ上では、I/F24を介して送られてき
たオクルージョンカリングメモリ34およびポリゴンリ
ダクションメモリ35の情報に基づき、表の状態にある
オブジェクトのみの画像情報が展開される。そして、そ
の画像情報は、スワッピング機構によりグラフィックデ
ィスプレイ26に送られて、画面に表示される。
【0038】図2の形状・アセンブリ情報記憶部11は
図3の記憶装置28に対応し、図2の描画部14は、図
3のグラフィックス処理装置25およびグラフィックデ
ィスプレイ26に対応する。また、図2の位置・姿勢情
報更新部12、オクルージョンカリング判定部13、お
よびポリゴンリダクション計算部15は、図3の記憶装
置28に格納された実行モジュールに対応する。
【0039】図4は、図3の情報処理装置にプログラム
とデータを供給することのできるコンピュータ読み取り
可能な記録媒体を示している。処理に必要なプログラム
とデータが可搬記録媒体41に格納されている場合、そ
れらの情報はRAM27にロードされた後、CPU23
により使用される。可搬記録媒体41としては、メモリ
カード、フロッピーディスク、CD−ROM(compact
disk read only memory )、光ディスク、光磁気ディス
ク等、任意のコンピュータ読み取り可能な記録媒体が用
いられる。
【0040】また、処理に必要なプログラムとデータが
ネットワークで接続された外部のデータベース42に格
納されている場合、それらの情報は回線を介してRAM
27にロードされた後、CPU23により使用される。
【0041】図5は、図3の描画装置による描画処理の
フローチャートである。まず、CPU23は、記憶装置
28から形状データ・アセンブリデータメモリ31に、
表示するアセンブリモデルに含まれるオブジェクトの形
状データ、アセンブリデータ、および初期位置を読み込
む(ステップS1)。次に、読み込まれた各オブジェク
トに対して任意のポリゴンリダクションアルゴリズムを
適用して、一般にポリゴン数をM段階に削減したモデル
を作成し、ポリゴンリダクションメモリ35に格納する
(ステップS2)。
【0042】ポリゴンリダクションアルゴリズムとして
は、例えば、2次誤差メトリック(quadric error metr
ic)を用いたアルゴリズムが用いられる(Michael Garl
andand Paul S. Heckbert, “Surface Simplification
Using Quadric Error Metrics, ”Proceedings of SIGG
RAPH 1997, pp.209-216, 1997. )。
【0043】図6は、初期ポリゴン数が数千程度のオブ
ジェクト(ソファ)の形状モデルを4段階に削減した例
を示している。ここでは、描画レベル(level of detai
l ,LOD)がレベル0のモデルが元々のオブジェクト
に対応し、レベル1、レベル2、レベル3とレベルが低
くなるに従って、ポリゴン数が減少している。
【0044】次に、CPU23は、データ入力装置21
から入力された移動指令データに従って、読み込まれた
オブジェクトの位置と姿勢を微少量だけ変化させ、変更
された形状データを座標変換データメモリ32に格納す
る(ステップS3)。ユーザがオブジェクトの動きを指
定する場合、マウス等の入力装置でオブジェクトをイン
タラクティブに動かすことにより、移動指令データが入
力される。また、システムが自動的にオブジェクトの動
きを生成する場合は、所定のアルゴリズムにより移動指
令データが生成される。
【0045】次に、グラフィックス処理装置25内のフ
レームバッファ上で、各オブジェクトをそれぞれ異なる
仮想的な色で描画し、表示画面に対応するビットマップ
を生成する(ステップS4)。次に、生成されたビット
マップを仮想色情報メモリ33に読み込み、そのビット
マップを走査して、描画されている色を抽出する。そし
て、配列テーブルメモリ36を参照して、抽出された色
に対応するオブジェクトを認識し、オクルージョンカリ
ングメモリ34内のそれらのオブジェクトのフラグを立
てる。
【0046】図7は、このようなオクルージョンカリン
グ判定の例を示している。図7においては、LODがレ
ベル1の4つのオブジェクトA、B、C、Dに、それぞ
れ異なる仮想色VC1、VC2、VC3、VC4が割り
振られている。これらのオブジェクトを視点Pから矢印
の方向に向かって眺めたときの状態を、フレームバッフ
ァ上に描画したとする。
【0047】このとき、視点Pから見えるオブジェクト
は、オブジェクトAとオブジェクトBの一部(ソファの
左半分)のみである。オブジェクトCとオブジェクトD
はともに他のオブジェクトの影に隠れており、フレーム
バッファ上に現れることはない。したがって、生成され
たビットマップからは、2つの仮想色VC1、VC2と
背景色が抽出される。
【0048】ここで、背景色を常に白とし、この色を他
のオブジェクトの仮想色に割り振らないことにすれば、
オブジェクトと仮想色は常に一対一対応の関係にある。
したがって、この瞬間にはオブジェクトAとオブジェク
トBの2つのみが見えており、オブジェクトCとオブジ
ェクトDの2つは他のオブジェクトにオクルードされて
いると結論できる。そこで、CPU23は、オブジェク
トAとオブジェクトBのフラグを立て、オブジェクトC
とオブジェクトDのフラグを伏せる。
【0049】次に、CPU23は、オクルージョンカリ
ングメモリ34内でフラグの立っているオブジェクトを
抽出し、グラフィックス処理装置25は、それらを元々
の色でフレームバッファに描画して、グラフィックディ
スプレイ26に表示する(ステップS5)。そして、描
画装置は、ステップS3〜S5からなるループ処理を繰
り返すことで、アセンブリモデルが動的に変化する様子
を表示する。
【0050】オクルージョンカリング判定に用いられた
フレームバッファ上の仮想色は、判定が終了した時点で
消去され、ディスプレイ上に表示されることはない。実
際にディスプレイ上に表示されるのは、表の状態にある
と判定されたオブジェクトのみである。
【0051】例えば、図7のようなオクルージョンカリ
ング判定の次の瞬間の描画状態は、図8に示すようにな
る。図8においては、表の状態にあるオブジェクトAと
オブジェクトBのみが、初期ポリゴン数に対応するレベ
ル0で描画されている。
【0052】次に、各オブジェクトが微少量だけ移動す
ると、描画状態は図9に示すように変化する。図9にお
いては、オブジェクトCとオブジェクトDは、依然とし
てオクルードされているため、描画する必要はない。し
たがって、描画されるのは、図7において表の状態と判
定されたオブジェクトAとオブジェクトBのみである。
【0053】このように、オクルージョンカリング判定
の結果は、オブジェクトの移動量が微少である限り、数
サイクルの間は正しいと推定できる。そこで、図5のス
テップS4のオクルージョンカリング判定は、Nを与え
られた正の整数として、Nループに1回の割合で行われ
る。この場合、仮想色による描画はNループに1回のみ
行えばよいため、これを毎回行う場合に比べて、処理が
効率化される。
【0054】また、図7の仮想色による描画において
は、オブジェクトのLOD(レベル1)を図8、9に示
した実際のLOD(レベル0)より低く設定している点
が本実施形態の特徴である。その理由は、仮想色による
描画は単にオクルージョンカリングの判定を行うことの
みを目的とするため、レベル0の精細ポリゴンを使って
描画する必要がないからである。
【0055】そこで、描画装置は、ポリゴンリダクショ
ンとオクルージョンカリングとを上述したように融合さ
せて処理を行っている。これにより、オクルージョンカ
リング判定の速度が増すとともに、全体としてオブジェ
クトの描画速度が向上する。
【0056】図7、8、9においては、各ソファが1つ
のオブジェクトとして扱われているが、1つのソファが
複数の部品から構成されている場合は、各部品を1つの
オブジェクトとして扱って、同様のオクルージョンカリ
ングが行われる。
【0057】図10および図11は、図3の描画装置に
よる描画処理のより詳細なフローチャートである。ここ
では、グラフィックス処理装置25は、フレームバッフ
ァとしてダブルバッファを用いて描画を行うものとす
る。
【0058】まず、CPU23は、ループ回数を表す制
御変数Iに1を代入して(図10のステップS11)、
各オブジェクトを構成するジオメトリプリミティブのデ
ータを形状データ・アセンブリデータメモリ31に入力
する(ステップS12)。
【0059】次に、それらのジオメトリプリミティブの
各頂点に座標変換を施し、絶対座標系から見た座標値を
計算して、座標変換データメモリ32に格納する(ステ
ップS13)。そして、ステップS14〜S20におい
て通常の描画処理(true-color display)のループ処理
を行い、この処理をN回繰り返す度に1回の割合で、図
11の仮想色描画処理(virtual-color display )を行
う。
【0060】ここでは、まず、IをNで割ったときの剰
余を求め、それが0であるか否かをチェックする(ステ
ップS14)。剰余が0であれば、正射影または透視法
射影の射影変換を行い(図11のステップS21)、各
オブジェクトの仮想色情報をフレームバッファに蓄積す
る(ステップS22)。これにより、各ジオメトリプリ
ミティブの仮想色がピクセル情報とともにフレームバッ
ファに蓄積される。
【0061】このとき、グラフィックス処理装置25
は、画面をxy平面で表し、奥行方向をz軸で表して、
z方向に重複している点(xy座標値が同じ点)の前後
関係を判定する。この判定は、既存のグラフィックスラ
イブラリによる描画処理ではよく知られており、通常、
ハードウェアにより高速に行われる。そして、最も手前
にある点の色が、対応するピクセルの色として格納され
る。
【0062】この仮想色による描画は、通常、LODを
低いレベルに設定したモデルで行われ、特殊なシェーデ
ィング(shading )処理は一切施されない。したがっ
て、所謂、ベタ塗りの状態で描画される。
【0063】また、描画処理の前処理において、rgb
値(それぞれ、0〜255の整数)の3つの整数の組合
せを、仮想色の識別情報として辞書順に各オブジェクト
に割り付けておく。これにより、最大で16,777,
216(=256×256×256)色の異なった仮想
色をオブジェクトに割り付けることができる。これらの
仮想色の識別情報とオブジェクトの対応関係は、配列テ
ーブルメモリ36に格納される。
【0064】次に、CPU23は、フレームバッファの
各ピクセルの仮想色情報を仮想色情報メモリ33に読み
出し(ステップS23)、仮想色情報メモリ33上のピ
クセルを走査して、ピクセル上に現れている仮想色の識
別情報を取り出す。そして、その識別情報をもとに配列
テーブルメモリ36を参照し、オクルージョンカリング
メモリ34において、それらの仮想色を有するオブジェ
クトのフラグを1に設定する(ステップS24)。ま
た、他のオブジェクトのフラグを0に設定する(ステッ
プS25)。
【0065】次に、仮想色情報が書き込まれたフレーム
バッファを、一旦、完全にクリアし、2つのバッファの
スワッピングをスキップする(ステップS26)。した
がって、仮想色による画像は表示されず、画面上には、
前のループで描画された画像がそのまま残ることにな
る。
【0066】次に、ライティング(lighting)/シェー
ディングの設定を行い(図10のステップS15)、正
射影または透視法射影の射影変換を行う(ステップS1
6)。そして、各オブジェクトのフラグを比較し、その
値が1であるオブジェクトのみについて、ジオメトリプ
リミティブの真の色とピクセル情報をフレームバッファ
に蓄積する(ステップS17)。
【0067】次に、グラフィックス処理装置25は、2
つのバッファをスワップし(ステップS18)、蓄積さ
れた情報を画面上に表示する(ステップS19)。この
真の色による描画では、ステップS22の仮想色による
描画の場合より高いレベルのLODを有するモデルが用
いられる。
【0068】そして、I=I+1とおいて、ステップS
12以降の処理を繰り返す。これにより、Nフレームの
表示が行われる毎に1回のオクルージョンカリング判定
が行われ、その判定結果に基づいて次のNフレームが表
示される。
【0069】次に、ステップS17、S24で描画に用
いられるモデルのポリゴン数を決定するポリゴンリダク
ションの基準について説明する。ポリゴンリダクション
の基本アルゴリズムとして、例えば、上述した2次誤差
メトリックを用いたアルゴリズムを用いることができ
る。
【0070】このとき、できるだけアセンブリモデル全
体の形状を保ちながら、それを構成する各オブジェクト
のポリゴン数を削減し、結果としてアセンブリモデルの
総ポリゴン数を有効に削減することが望ましい。例え
ば、図12のアセンブリモデルB0は、オブジェクトB
1、B2、B3、B4、B5、B6から構成されてお
り、アセンブリモデルB0のポリゴン数を効率良く削減
することが求められる。
【0071】そこで、図12において、各オブジェクト
Bi(i=1,...,6)の初期ポリゴン数をPiと
し、オブジェクトBiを包含する球の半径をRiとし、
アセンブリモデルB0を包含する球の半径をR0とし
て、目標とする削減ポリゴン数Qiを次式により決定す
る。 Qi=α×Pi×(Ri/R0) (1) ここで、αは、0≦α≦1なる実数パラメータであり、
LODが低くなるに従って、小さく設定される。(1)
式によれば、目標ポリゴン数Qiは、オブジェクトBi
の包含球の半径とアセンブリモデルB0の包含球の半径
の比に基づいて決定される。言い換えれば、目標ポリゴ
ン数Qiは、オブジェクトBiの大きさとアセンブリモ
デルB0の大きさの比に基づいて決定されることにな
る。
【0072】したがって、(1)式を用いて目標ポリゴ
ン数を算出することにより、アセンブリモデルの中で相
対的に小さくて目立たないオブジェクトのポリゴン数
を、他のオブジェクトに比べて大きく削減することがで
きる。このようなオブジェクトのポリゴン数の変化は全
体の形状に大きな影響を与えないので、アセンブリモデ
ルの形状が大きく損なわれることはなく、有効にポリゴ
ン数が削減される。
【0073】例えば、ネジやボルト等のオブジェクト
は、その大きさの割には多数のポリゴンで構成されるこ
とが多い。アセンブリモデルがこのような部品のオブジ
ェクトを含む場合、(1)式によりポリゴンリダクショ
ンを行うことで、これらの部品のポリゴン数が有効に削
減され、処理が高速化される。
【0074】こうして、LOD毎にポリゴン数が削減さ
れた各オブジェクトの情報は、ポリゴンリダクションメ
モリ35に格納され、フレームバッファに描画する際に
用いられる。
【0075】ここで、ポリゴンリダクションを行う前の
元々のアセンブリモデルのLODをレベル0とし、
(1)式でα=1.0とおいてポリゴン数を削減したア
センブリモデルのLODをレベル1とする。このとき、
図10のステップS17における真の色の描画をレベル
0で行い、図11のステップS24における仮想色の描
画をレベル1で行うことにより、オクルージョンカリン
グが高速に実行され、効率の良い3D描画が可能とな
る。
【0076】より一般的には、(1)式のαの値を複数
用意しておき、LODを多段階に設定することができ
る。例えば、レベル0、レベルI、レベルJ(0<I<
J)の3段階のLODが設定された場合、アセンブリモ
デルをインタラクティブに動かしているときは、真の色
の描画をレベルIで行い、仮想色の描画をレベルJで行
う。また、アセンブリモデルが静止しているときは、真
の色の描画をレベル0で行う。
【0077】ところで、(1)式では、包含球の半径の
比に基づいて目標ポリゴン数を決定しているが、代わり
に、包含球の表面積や体積の比に基づいて目標ポリゴン
数を決定してもよい。また、包含球の代わりに、オブジ
ェクトやアセンブリモデルを包含する立方体や直方体等
の他の図形を用い、それらの大きさの比に基づいて目標
ポリゴン数を決定してもよい。
【0078】さらに、オブジェクトやアセンブリモデル
の大きさを表す指標が存在する場合、それらの指標に基
づいて目標ポリゴン数を決定することもできる。また、
オブジェクトが他のジオメトリプリミティブから構成さ
れる場合も、同様にして、目標とするジオメトリプリミ
ティブの数を決定することができる。
【0079】以上説明した実施形態においては、主とし
て、機械系CADのアセンブリモデルの描画処理につい
て説明したが、グラフィックスゲーム、アニメーショ
ン、ウォークスルー等の他の3DCGの分野において
も、同様のオクルージョンカリングを行うことができ
る。
【0080】また、オクルージョンカリング判定におい
て、仮想色による描画を行う代わりに、各オブジェクト
に一意の識別情報を付与し、その識別情報を用いてオブ
ジェクトを描画したビットマップを生成してもよい。こ
の場合も、仮想色の場合と同様にして、ビットマップ上
の識別情報を走査することで、あるオブジェクトが他の
オブジェクトにオクルードされているか否かを判定する
ことができる。
【0081】
【発明の効果】本発明によれば、3DCGシステムにお
いて、オブジェクト自身の形状を用いてビットマップ上
でオクルージョンカリング判定を行うため、正確かつ高
速にオクルージョンカリングを行うことができる。これ
により、3DCGの品質が向上することが期待される。
【図面の簡単な説明】
【図1】本発明の描画装置の原理図である。
【図2】描画装置の構成図である。
【図3】情報処理装置の構成図である。
【図4】記録媒体を示す図である。
【図5】第1の描画処理のフローチャートである。
【図6】ポリゴンリダクションを示す図である。
【図7】オクルージョンカリングを示す図である。
【図8】オクルージョンカリング後の描画を示す図であ
る。
【図9】オブジェクトの移動を示す図である。
【図10】第2の描画処理のフローチャート(その1)
である。
【図11】第2の描画処理のフローチャート(その2)
である。
【図12】オブジェクトを包含する球を示す図である。
【符号の説明】
1 形状情報格納手段 2 テーブル手段 3 仮想画像格納手段 4 判定手段 5 オクルージョンカリング手段 6 リダクション手段 7 表示手段 11 形状・アセンブリ情報記憶部 12 位置・姿勢情報更新部 13 オクルージョンカリング判定部 14 描画部 15 ポリゴンリダクション計算部 21 データ入力装置 22、24 インタフェース 23 CPU 25 グラフィックス処理装置 26 グラフィックディスプレイ 27 RAM 28 記憶装置 31 形状データ・アセンブリデータメモリ 32 座標変換データメモリ 33 仮想色情報メモリ 34 オクルージョンカリングメモリ 35 ポリゴンリダクションメモリ 36 配列テーブルメモリ 41 可搬記録媒体 42 データベース
───────────────────────────────────────────────────── フロントページの続き (72)発明者 千田 陽介 神奈川県川崎市中原区上小田中4丁目1番 1号 富士通株式会社内 Fターム(参考) 5B080 AA13 AA19 BA04 GA01

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 複数のオブジェクトを表示する描画装置
    であって、 前記複数のオブジェクトの形状情報を格納する形状情報
    格納手段と、 前記複数のオブジェクトと仮想的に一対一に対応付けら
    れた複数の色情報を格納するテーブル手段と、 前記形状情報格納手段およびテーブル手段の情報に基づ
    いて描画された仮想色画像情報を格納する仮想画像格納
    手段と、 前記仮想色画像情報を走査してオクルージョン判定を行
    う判定手段と、 前記複数のオブジェクトのうち、オクルードされている
    と判定されたオブジェクトの表示を省略するオクルージ
    ョンカリング手段とを備えることを特徴とする描画装
    置。
  2. 【請求項2】 前記判定手段は、前記テーブル手段を参
    照して、前記仮想色画像情報に含まれる色情報に対応す
    るオブジェクトを認識し、認識されたオブジェクトをオ
    クルードされていないオブジェクトと判定し、他のオブ
    ジェクトをオクルードされているオブジェクトと判定す
    ることを特徴とする請求項1記載の描画装置。
  3. 【請求項3】 前記オクルージョンカリング手段は、オ
    クルードされているオブジェクトとオクルードされてい
    ないオブジェクトとを区別するフラグ手段を含むことを
    特徴とする請求項1記載の描画装置。
  4. 【請求項4】 前記複数のオブジェクトを構成するジオ
    メトリプリミティブの数を削減するリダクション手段を
    さらに備え、前記仮想色画像情報は、ジオメトリプリミ
    ティブの数を削減したオブジェクトを用いて生成される
    ことを特徴とする請求項1記載の描画装置。
  5. 【請求項5】 前記リダクション手段は、各オブジェク
    トの大きさに基づいて、削減されたジオメトリプリミテ
    ィブの数を決定することを特徴とする請求項4記載の描
    画装置。
  6. 【請求項6】 前記仮想画像格納手段は、所定数のフレ
    ームが表示される毎に1回の割合で描画された仮想色画
    像情報を格納し、前記判定手段は、該仮想色画像情報が
    格納される毎に前記オクルージョン判定を行うことを特
    徴とする請求項4記載の描画装置。
  7. 【請求項7】 前記仮想画像格納手段は、所定数のフレ
    ームが表示される毎に1回の割合で描画された仮想色画
    像情報を格納し、前記判定手段は、該仮想色画像情報が
    格納される毎に前記オクルージョン判定を行うことを特
    徴とする請求項1記載の描画装置。
  8. 【請求項8】 前記複数のオブジェクトのうち、オクル
    ードされていないと判定されたオブジェクトの画像情報
    をフレーム毎に蓄積するバッファ手段と、該バッファ手
    段に蓄積された画像情報を表示する表示手段とをさらに
    備えることを特徴とする請求項1記載の描画装置。
  9. 【請求項9】 複数のオブジェクトを表示する描画装置
    であって、 前記複数のオブジェクトの形状情報を格納する形状情報
    格納手段と、 前記複数のオブジェクトと一対一に対応付けられた複数
    の識別情報を格納するテーブル手段と、 前記形状情報格納手段およびテーブル手段の情報に基づ
    いて各オブジェクトを対応する識別情報により描画した
    仮想画像情報を格納する仮想画像格納手段と、 前記仮想画像情報を走査してオクルージョン判定を行う
    判定手段と、 前記複数のオブジェクトのうち、オクルードされている
    と判定されたオブジェクトの表示を省略するオクルージ
    ョンカリング手段とを備えることを特徴とする描画装
    置。
  10. 【請求項10】 複数のオブジェクトを表示する描画装
    置であって、 前記複数のオブジェクトを構成するジオメトリプリミテ
    ィブの数を削減するリダクション手段と、 ジオメトリプリミティブの数を削減したオブジェクトを
    用いてオクルージョン判定を行う判定手段と、 前記複数のオブジェクトのうち、オクルードされていな
    いと判定されたオブジェクトを、前記オクルージョン判
    定に用いたジオメトリプリミティブの数より多くのジオ
    メトリプリミティブを用いて表示する表示手段とを備え
    ることを特徴とする描画装置。
  11. 【請求項11】 複数のオブジェクトを表示するコンピ
    ュータのためのプログラムを記録した記録媒体であっ
    て、 前記複数のオブジェクトの形状情報と、該複数のオブジ
    ェクトと仮想的に一対一に対応付けられた複数の色情報
    とに基づいて、仮想色画像情報を描画するステップと、 前記仮想色画像情報を走査してオクルージョン判定を行
    うステップと、 前記複数のオブジェクトのうち、オクルードされている
    と判定されたオブジェクトの表示を省略するステップと
    を含む処理を前記コンピュータに実行させるためのプロ
    グラムを記録したコンピュータ読み取り可能な記録媒
    体。
  12. 【請求項12】 複数のオブジェクトを表示する描画方
    法であって、 前記複数のオブジェクトの形状情報と、該複数のオブジ
    ェクトと仮想的に一対一に対応付けられた複数の色情報
    とに基づいて、仮想色画像情報を描画し、 前記仮想色画像情報を走査してオクルージョン判定を行
    い、 前記複数のオブジェクトのうち、オクルードされている
    と判定されたオブジェクトの表示を省略して、オクルー
    ドされていないと判定されたオブジェクトを表示するこ
    とを特徴とする描画方法。
JP07249899A 1999-03-17 1999-03-17 オクルージョンカリングを行う3次元グラフィックス描画装置および方法 Expired - Fee Related JP3350473B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP07249899A JP3350473B2 (ja) 1999-03-17 1999-03-17 オクルージョンカリングを行う3次元グラフィックス描画装置および方法
US09/434,938 US6664957B1 (en) 1999-03-17 1999-11-05 Apparatus and method for three-dimensional graphics drawing through occlusion culling
EP99309081A EP1037168A3 (en) 1999-03-17 1999-11-16 Apparatus and method for three-dimensional graphics drawing through occlusion culling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07249899A JP3350473B2 (ja) 1999-03-17 1999-03-17 オクルージョンカリングを行う3次元グラフィックス描画装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2002213016A Division JP3711273B2 (ja) 2002-07-22 2002-07-22 オクルージョンカリングを行う3次元グラフィックス描画装置

Publications (2)

Publication Number Publication Date
JP2000268188A true JP2000268188A (ja) 2000-09-29
JP3350473B2 JP3350473B2 (ja) 2002-11-25

Family

ID=13491068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07249899A Expired - Fee Related JP3350473B2 (ja) 1999-03-17 1999-03-17 オクルージョンカリングを行う3次元グラフィックス描画装置および方法

Country Status (3)

Country Link
US (1) US6664957B1 (ja)
EP (1) EP1037168A3 (ja)
JP (1) JP3350473B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085581A (ja) * 2001-09-14 2003-03-20 Namco Ltd 背景オブジェクト要否データ生成情報、背景オブジェクト要否データ、ゲーム情報、情報記憶媒体、情報処理装置、およびゲーム装置
JP2008282170A (ja) * 2007-05-09 2008-11-20 Sony Computer Entertainment Inc グラフィックスプロセッサ、描画処理装置および描画処理方法
KR100907154B1 (ko) * 2001-11-27 2009-07-09 소니 컴퓨터 엔터테인먼트 인코포레이티드 영상 처리 장치와 그의 구성요소, 렌더링 방법
JP2021117876A (ja) * 2020-01-29 2021-08-10 Kddi株式会社 画像処理装置、方法及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6806876B2 (en) * 2001-07-11 2004-10-19 Micron Technology, Inc. Three dimensional rendering including motion sorting
US20120050315A1 (en) * 2010-08-24 2012-03-01 Janos Stone Systems and methods for transforming and/or generating a tangible physical structure based on user input information
US8427483B1 (en) 2010-08-30 2013-04-23 Disney Enterprises. Inc. Drawing figures in computer-based drawing applications
US8487932B1 (en) * 2010-08-30 2013-07-16 Disney Enterprises, Inc. Drawing figures in computer-based drawing applications
US8994727B2 (en) * 2010-11-09 2015-03-31 Mitsubishi Electric Corporation Map symbol drawing device
WO2014069248A1 (ja) * 2012-11-02 2014-05-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9824412B2 (en) * 2014-09-24 2017-11-21 Intel Corporation Position-only shading pipeline

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5245700A (en) 1989-11-21 1993-09-14 International Business Machines Corporation Adjustment of z-buffer values for lines on the surface of a polygon
US5557711A (en) 1990-10-17 1996-09-17 Hewlett-Packard Company Apparatus and method for volume rendering
US5542025A (en) 1991-01-16 1996-07-30 Hewlett-Packard Company Precision Z-interpolation method and apparatus
TW241196B (ja) 1993-01-15 1995-02-21 Du Pont
US5583974A (en) 1993-05-10 1996-12-10 Apple Computer, Inc. Computer graphics system having high performance multiple layer Z-buffer
JP3037865B2 (ja) 1994-04-01 2000-05-08 シャープ株式会社 3次元スプライト描画装置
JPH081667A (ja) 1994-06-23 1996-01-09 Kobe Steel Ltd 粉・粒状熱可塑性樹脂と補強用繊維の混合物の加熱方法、成形方法及び加熱装置
US5561750A (en) 1994-09-22 1996-10-01 Seiko Epson Corporation Z-buffer tag memory organization
US5798762A (en) 1995-05-10 1998-08-25 Cagent Technologies, Inc. Controlling a real-time rendering engine using a list-based control mechanism
US5956028A (en) 1995-09-14 1999-09-21 Fujitsu Ltd. Virtual space communication system, three-dimensional image display method, and apparatus therefor
JP3433278B2 (ja) 1995-11-08 2003-08-04 富士通株式会社 三次元画像表示方法及びそれに使用する三次元画像表示装置
AU3718497A (en) * 1996-06-28 1998-01-21 Resolution Technologies, Inc. Fly-through computer aided design method and apparatus
US5751291A (en) * 1996-07-26 1998-05-12 Hewlett-Packard Company System and method for accelerated occlusion culling
US6130670A (en) * 1997-02-20 2000-10-10 Netscape Communications Corporation Method and apparatus for providing simple generalized conservative visibility
US6226003B1 (en) * 1998-08-11 2001-05-01 Silicon Graphics, Inc. Method for rendering silhouette and true edges of 3-D line drawings with occlusion

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085581A (ja) * 2001-09-14 2003-03-20 Namco Ltd 背景オブジェクト要否データ生成情報、背景オブジェクト要否データ、ゲーム情報、情報記憶媒体、情報処理装置、およびゲーム装置
KR100907154B1 (ko) * 2001-11-27 2009-07-09 소니 컴퓨터 엔터테인먼트 인코포레이티드 영상 처리 장치와 그의 구성요소, 렌더링 방법
JP2008282170A (ja) * 2007-05-09 2008-11-20 Sony Computer Entertainment Inc グラフィックスプロセッサ、描画処理装置および描画処理方法
JP2021117876A (ja) * 2020-01-29 2021-08-10 Kddi株式会社 画像処理装置、方法及びプログラム
JP7197526B2 (ja) 2020-01-29 2022-12-27 Kddi株式会社 画像処理装置、方法及びプログラム

Also Published As

Publication number Publication date
JP3350473B2 (ja) 2002-11-25
EP1037168A2 (en) 2000-09-20
EP1037168A3 (en) 2002-03-06
US6664957B1 (en) 2003-12-16

Similar Documents

Publication Publication Date Title
Aubel et al. Real-time display of virtual humans: Levels of details and impostors
US6038031A (en) 3D graphics object copying with reduced edge artifacts
US8154544B1 (en) User specified contact deformations for computer graphics
EP1064619B1 (en) Stochastic level of detail in computer animation
Adelson et al. Generating exact ray-traced animation frames by reprojection
US7123263B2 (en) Automatic 3D modeling system and method
JP3184327B2 (ja) 3次元グラフィックス処理方法及びその装置
US7215344B2 (en) Triangle clipping for 3D graphics
JP4230456B2 (ja) 3次元画像処理
US20060262128A1 (en) Three dimensional rendering including motion sorting
US20020000996A1 (en) Method for progressively constructing morphs
JP2006503355A5 (ja)
Aubel et al. Animated impostors for real-time display of numerous virtual humans
JP3350473B2 (ja) オクルージョンカリングを行う3次元グラフィックス描画装置および方法
JP2012190428A (ja) 立体映像視覚効果処理方法
JP2003115055A (ja) 画像生成装置
Lowe et al. A technique for rendering complex portals
KR100693134B1 (ko) 3차원 이미지 처리
US11436797B2 (en) Image generation system and method
JP3711273B2 (ja) オクルージョンカリングを行う3次元グラフィックス描画装置
EP3876205A1 (en) Image generation system and method
KR100848687B1 (ko) 3차원 그래픽 처리 장치 및 그것의 동작 방법
US10636210B2 (en) Dynamic contour volume deformation
US20230005210A1 (en) Techniques for ray cone tracing and texture filtering
JPH02132572A (ja) 画像表示装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20020521

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020903

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080913

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080913

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090913

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090913

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100913

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100913

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110913

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120913

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120913

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130913

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees