JP3618234B2 - 3D model compression method and 3D model image generation method - Google Patents

3D model compression method and 3D model image generation method Download PDF

Info

Publication number
JP3618234B2
JP3618234B2 JP31990998A JP31990998A JP3618234B2 JP 3618234 B2 JP3618234 B2 JP 3618234B2 JP 31990998 A JP31990998 A JP 31990998A JP 31990998 A JP31990998 A JP 31990998A JP 3618234 B2 JP3618234 B2 JP 3618234B2
Authority
JP
Japan
Prior art keywords
shape data
data
dimensional model
partial shape
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31990998A
Other languages
Japanese (ja)
Other versions
JP2000132711A (en
Inventor
一生 登
雅通 中川
森村  淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP31990998A priority Critical patent/JP3618234B2/en
Publication of JP2000132711A publication Critical patent/JP2000132711A/en
Application granted granted Critical
Publication of JP3618234B2 publication Critical patent/JP3618234B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ビデオゲーム機や産業用CADなどの3次元コンピュータグラフィックスを使った画像生成で用いられる、3次元モデルを生成する技術に関するものであり、特に、あらかじめ与えられた3次元モデルを圧縮して、データ量が少なく、かつデータ量削減に伴う画像の劣化が少ない3次元モデルを生成する3次元モデル圧縮方法に関するものである。
【0002】
【従来の技術】
従来より、物体の3次元的な形状データを用いて画像生成を行う3次元コンピュータグラフィックスの技術が盛んに研究されている。近年では、ビデオゲーム機やパーソナルコンピュータなどの家庭用の比較的安価な機器でも、3次元コンピュータグラフィックスの技術を用いた画像生成が盛んに行われるようになり、産業的にも非常に重要な技術の1つとなっている。
【0003】
3次元コンピュータグラフィックスによる画像生成は、対象物の3次元的な形状や色の情報で構成される3次元モデルを生成するモデリングと、3次元モデルを用いて対象物の画像を生成するレンダリングとの、大きく2つのステップに分けることができる。
【0004】
モデリングによって生成される3次元モデルの記述方法の1つとして、対象物表面の3次元的な形状を、複数の多角形の集まりによって近似表現したポリゴンモデルが広く用いられている。また、ポリゴンモデルを用いたレンダリング方法の1つとして、複数の多角形を任意の2次元平面に順次投影していき、多角形の集まりとして対象物画像を描画する方法が広く用いられている。
【0005】
このようなポリゴンモデルを用いた画像生成では、より多くの多角形を用いることによって、細かな凹凸や滑らかな曲面を持つ対象物をより忠実に反映した画像を生成できるが、その反面、データ量が多くなるため、3次元モデルの記録・伝送時のコストが高くなる。逆に、多角形の数を減らすとデータ量は少なくなるが、生成される画像は粗く劣化の多い画像になるという傾向がある。
【0006】
そこで近年、モデリング技術の1分野として、対象物表面の3次元座標値を緻密に計測することが可能な3次元計測機器などで得られた大量の多角形を用いた詳細なポリゴンモデルを入力とし、これを圧縮して、データ量が少なくかつデータ量の削減にともなう画像の劣化が少ない、効率の良い3次元モデルを生成する、3次元モデル圧縮技術が盛んに研究されている。
【0007】
上記した従来の3次元モデル圧縮技術の一例としては、例えば「Hugues Hoppe, et al:”Mesh Optimization”, SIGGRAPH 93 Conference Proceedings,
pp.19−26, August 1993」などがある。
【0008】
これらの3次元モデル圧縮方法の一例では、詳細なポリゴンモデル中の複数の多角形を、より数の少ない多角形で近似再構成することによって、データ量を少なくしている。近似再構成の方法は、まず、近似前のポリゴンモデルと近似後のポリゴンモデルとの近似誤差を定量化する関数を定義しておき、近似前のポリゴンモデル中の多角形の全ての頂点について、1頂点を削減してより少ない多角形で近似した場合の近似誤差の増分を算出する。そして、近似誤差の増分が最も少ない頂点を選択して削減し、ポリゴンモデルの近似再構成を行う。さらに、1頂点の削減によるポリゴンモデルの近似を、あらかじめ与えられた条件に到達するまで繰り返すことにより、頂点数と多角形数の少ないポリゴンモデルを生成する。
【0009】
この時、近似再構成による頂点数と多角形数の削減、すなわちデータ量の削減に対して、近似誤差の増分が最も少ない頂点、すなわち生成される画像の劣化が最も少ない頂点から順に削減していくため、結果として効率の良い3次元モデルを生成する圧縮方法と言える。
【0010】
【発明が解決しようとする課題】
しかし、上記した従来のモデリング技術では、ポリゴンモデルの全ての頂点について、同じ近時誤差関数を用いた評価を行うが、生成される画像上で輪郭(対象物と背景や前景との境界)となる部分と、輪郭以外の部分とでは、近似誤差による誤差増分が同じであっても、輪郭部分の方が画像の劣化が目立つ場合が多いことから、生成される画像の劣化とデータ量の観点から必ずしも効率が良いとは言えない場合があるという問題点を有していた。
【0011】
このような、生成された画像上で輪郭となる部分の劣化が目立つという問題は、先述した Hoppeらも”View−Dependent Refinement of Progressive Meshes”(SIGGRAPH 97 Conference Proceedings, pp.189−198, August 1997)の中で指摘している。 Hoppeらはこれに対処するために、詳細な3次元モデルと粗いモデルを階層的に記述して保持しておき、画像生成時に輪郭となる部分に詳細な3次元モデルを選択して使う方法を提案している。しかし、この方法は3次元モデルの圧縮が主眼ではなく、輪郭部の画質劣化は少ないがデータ量が多くなるという問題点を有している。
【0012】
本発明は上記問題点に鑑み、データ量が少なくかつデータ量削減による画像の劣化が少ない、効率の良い3次元モデルを生成する3次元モデル圧縮方法を提供することを目的とする。
【0013】
【課題を解決するための手段】
本発明の3次元モデル圧縮方法および3次元モデル画像生成方法は、対象物の形状や対象となる3次元モデルによっては、画像生成時に輪郭となる可能性が高い部位をあらかじめ想定できる場合があり、さらに3次元モデルと輪郭に相当する情報を組み合わせることにより3次元モデルを記述することを特徴とする。
【0014】
この本発明によると、分割された部分形状データの境界部分の形状を、新たに生成した領域データとして記述することによって、部分形状データを近似再構成した場合の部分形状データの境界部分、すなわち画像生成時に輪郭となる可能性のある部分の画質の劣化を低減することが可能で、かつデータ量の少ない3次元モデルを生成する圧縮方法を実現できる。
【0015】
【発明の実施の形態】
請求項1記載の3次元モデル圧縮方法は、複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する方法であって、前記形状データを複数の部分形状データに分割する形状データ分割過程と、前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成過程と、前記部分形状データをより数の少ない複数の多角形で近似した圧縮部分形状データを生成する部分形状データ再構成過程とを備えて、領域データに保持されている部分形状データの端面の形状と、圧縮部分形状データに保持されている部分形状データを近似した形状との2種類の形状に分けて3次元モデルを記述することを特徴とする。
【0016】
請求項2記載の3次元モデル圧縮方法は、複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する方法であって、前記形状データを複数の部分形状データに分割する形状データ分割過程と、前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成過程と、前記部分形状データをより数の少ない複数の多角形で近似した圧縮部分形状データを生成する部分形状データ再構成過程とを備えて、領域データに保持されている部分形状データの端面の形状と、圧縮部分形状データに保持されている部分形状データを近似した形状との2種類の形状に分けて3次元モデルを記述するとともに、前記テクスチャを前記領域データの領域ごとに階層化して符号化する階層符号化過程を備えて、テクスチャと領域データとの2種類のデータを組み合わせて1つのデータに圧縮することを特徴とする。
【0017】
請求項3記載の3次元モデル圧縮方法は、複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する方法であって、前記形状データを複数の部分形状データに分割する形状データ分割過程と、前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成過程と、前記部分形状データをより数の少ない複数の多角形で近似した圧縮部分形状データを生成する部分形状データ再構成過程とを備えて、領域データに保持されている部分形状データの端面の形状と、圧縮部分形状データに保持されている部分形状データを近似した形状との2種類の形状に分けて3次元モデルを記述するとともに、前記形状データ分割過程は、形状データを構成する複数の多角形の頂点間距離を基準にして形状データを複数の部分形状データに分割することを特徴とする。
【0018】
請求項4記載の3次元モデル画像生成方法は、3次元的な形状データとテクスチャを含む3次元モデルから画像を生成する方法であって、階層符号化されたテクスチャデータを入力し、復号化して複数のテクスチャと、前記複数のテクスチャの画素が有効な領域を示す複数のマスクデータを出力する復号化過程と、前記複数のテクスチャと前記複数のマスクデータと複数の形状データを入力して、前記複数のマスクデータをマスクとしたテクスチャマッピングによって画像生成処理を行うマッピング過程とを備えて、階層符号化されたテクスチャデータに含まれる各階層の輪郭の形状と、形状データに含まれる形状との2つの形状を反映した画像を生成することを特徴とする。
【0019】
請求項5記載の3次元モデル圧縮装置は、複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する装置であって、前記形状データを複数の部分形状データに分割する形状データ分割手段と、前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成手段と、前記部分形状データをより数の少ない複数の多角形で近似した圧縮部分形状データを生成する部分形状データ再構成手段とを備えたことを特徴とする。
【0020】
請求項6記載の3次元モデル圧縮装置は、複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する装置であって、前記形状データを複数の部分形状データに分割する形状データ分割手段と、前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成手段と、前記部分形状データをより数の少ない複数の多角形で近似再構成する部分形状データ再構成手段と、テクスチャを前記領域データの領域ごとに階層化して符号化する階層符号化手段を備えたことを特徴とする。
【0021】
請求項7記載の3次元モデル圧縮装置は、請求項5または請求項6において、形状データ分割手段は、形状データを構成する複数の多角形の頂点間距離を基準にして形状データを複数の部分形状データに分割することを特徴とする。
【0022】
請求項8記載の3次元モデル画像生成装置は、3次元的な形状データとテクスチャを含む3次元モデルから画像を生成する装置であって、階層符号化されたテクスチャデータを入力し、復号化して複数のテクスチャと、前記複数のテクスチャの画素が有効な領域を示す複数のマスクデータを出力する復号化手段と、前記複数のテクスチャと前記複数のマスクデータと複数の形状データを入力して、前記複数のマスクデータをマスクとしたテクスチャマッピングによって画像生成処理を行うマッピング手段とを備えたことを特徴とする。
【0023】
請求項9記載の記録媒体は、請求項1〜請求項3の何れかの3次元モデル圧縮方法、または請求項4記載の3次元モデル画像生成方法を実行するのに必要なソフトウェアが書き込まれたことを特徴とする。
【0024】
以下、本発明の3次元モデル圧縮方法を具体的な実施の形態に基づいて説明する。
(実施の形態1)
図1は、本発明の(実施の形態1)における3次元モデル圧縮方法の処理手順の概略図である。
【0025】
図1において、110は対象物の3次元的な形状をポリゴンモデルにより記述した形状データ、111は対象物のテクスチャであり、この2つにより対象物の3次元モデルを構成する。この(実施の形態1)では、テクスチャ111は対象物をある角度から撮像した画像であり、形状データ110はテクスチャ111の各画素に対応する物体表面上の3次元座標値を計測して得られた点を頂点とし、隣接する頂点を連結して得られたものであるとする。これら形状データ110とテクスチャ111は、いずれも記憶手段103にあらかじめ記憶されている。100は形状データ分割手段であり、形状データ110を分割して複数の部分形状データ112a,112bを生成する。101は部分形状データ再構成手段であり、部分形状データ112a,112b中の複数の多角形をより数の少ない多角形で近似再構成することにより、データ量の少ない圧縮部分形状データ113a,113bを生成し、記憶手段103に記憶する。102は領域データ生成手段であり、部分形状データ112a,112bの各領域が、テクスチャ111上でどこに対応するかを示す領域データを114を生成し、記憶手段103に記憶する。
【0026】
以上のように構成された3次元モデル圧縮方法について、その処理動作を説明する。
図2は、形状データ110およびテクスチャ111で構成される3次元モデルの記述方法の例である。この例では、形状データ110は全体でm個の頂点を含むn個の三角形で構成され、i番目の三角形P(i)は3個の頂点(Vi1,Vi2,Vi3)で参照される点を頂点とし、j番目の頂点V(j)は、3次元座標値(xi,yi,zi)とテクスチャ111上の対応点の座標(ui,vi)で構成されること示している。また、テクスチャ111は、RGB表色系画素のwu×wvの2次元配列であることを示している。
【0027】
まず、この(実施の形態1)の3次元モデル圧縮方法における各手段の処理は、全てコンピュータのソフトウェアによって実現されるものであるとし、処理の起動や処理対象となる形状データ110およびテクスチャ111の指定は、ユーザーによって行われるものとする。処理が起動されると、形状データ分割手段100は、形状データ110を記憶手段103より読み出し、複数の部分形状データ112a,112bを生成する。
【0028】
形状データ分割手段100での処理を、図1〜図4を用いて説明する。
図3は、形状データ分割手段での処理の図であり、図3(a)は図1の形状データ110の一部を拡大したもので、図2の形状データの例とも対応している。
【0029】
形状データ分割手段100は、形状データ110中の全ての三角形P(i)について、三角形を構成する各頂点間の距離と、あらかじめ与えられたしきい値T1と比較し(図3(a))、しきい値より大きくなる三角形を形状データ110から削除する(図3(b))。
【0030】
次に、一部の三角形が削除された形状データから、三角形P(i)と接する三角形が存在するか否かを走査していき、隣接する複数の三角形の集まりごとに分割することによって、図3(c)の部分形状データを生成する。
【0031】
図1の例では、この形状データの分割処理によって、2つの部分形状データ112a,112bが生成されたことを示している。
次に、領域データ生成手段102での処理を、図1および図4,図5を用いて説明する。
【0032】
領域データ114は、wu×wv画素の2次元配列であるテクスチャ111のそれぞれの画素が、部分形状データ112a,112bのどちらに属するかを示す情報であることから、形状データの分割数を区別するのに必要なビット数のデータを要素としたwu×wvの2次元配列によって、領域データ114を表現することができる。この(実施の形態1)では部分形状データの数は2つであることから、要素データのビット数は1でよい。
【0033】
図4は、形状データ分割手段100により2つに分割された部分形状データa(112a)および部分形状データb(112b)を、図2と同様な形式で表現した例である。2つの部分形状データとテクスチャ111とは、部分形状データの頂点データを構成する(ua,va)(ub,vb)により関連付けられている。これを図示したのが、図5の領域データ114の例である。
【0034】
この(実施の形態1)では、テクスチャ111の各画素と形状モデル110の各頂点は1対1で対応しているものと仮定しているため、領域データ生成手段102における処理の手順は、2つの部分形状データの全ての頂点Va(j),Vb(j)を順に走査していき、頂点Va(j)に対応する座標(uaj,vaj)の領域データに、「 領域a 」を意味する1ビットの値を記録し、頂点Vb(j)に対応する座標(ubj,vbj)の領域データに、「 領域b 」を意味する1ビットの値を記録するという処理を行う(図5(b))。
【0035】
最後に、部分形状データ再構成手段101での処理を図1および図6を用いて説明する。
部分形状データ再構成手段101は、部分形状データ112a,112b中の複数の多角形をより数の少ない多角形で近似再構成することにより、データ量の少ない圧縮部分形状データ113a,113bを生成し、記憶手段103に記憶する処理を行う。
【0036】
部分形状データ再構成手段での処理手順は、
・ 1頂点に着目し、その隣接8頂点で囲まれた領域を近似する2つの大きな近似三角形を仮定する(ステップ1)と、
・ 前記の2つの近似三角形が部分形状データ以外の頂点を含む場合、頂点の3次元座標値を新たに算出する(ステップ2)と、
・ 前記の近似三角形と部分形状データとの近似誤差を、あらかじめ与えられた関数で算出して、近似誤差があらかじめ与えられたしきい値T2を超えるかどうかを判断する(ステップ3)と、
・ 近似誤差がしきい値以下だった場合は、(ステップ1)で仮定した2つの大きな近似三角形で、部分形状データを再構成する(ステップ4)と
の(ステップ1)〜(ステップ4)の4つのステップを、部分形状データ内のすべての頂点に対して繰り返して行うことによって圧縮部分形状データを生成する。
【0037】
図6を用いて上記の各ステップを説明する。頂点veに着目した場合、veに隣接する8つの頂点va,vb,vc,vd,vf,vg,vh,viで囲まれ、三角形pa,pb,pc,pd,pe,pfを含む領域について、より大きな2つの三角形pg,phを近似三角形として仮定する(ステップ1)。この時、近似三角形の頂点viは、もとの部分形状データには含まれていないため、近似三角形phの領域内にある部分形状データの頂点vc,ve,vf,vg,vhの3次元座標値(x,y,z)を用いて、外挿により新たにvi’の3次元座標値を求める(ステップ2)。次に、近似三角形pg,phと部分形状データ中の三角形pa〜pfとの近似誤差を求めてしきい値T2との比較を行う。ここでは、近似誤差は部分形状データに含まれる各頂点va,vb,vc,vd,ve,vf,vg,vhと近似三角形pg,phとの距離を用い、評価として、各近似誤差が全てしきい値T2以下であることとする(ステップ3)。前記のステップ3における近似誤差が、1つでもしきい値を超えた場合は近似再構成処理を行わず、逆に全てしきい値以下だった場合、部分形状モデル中の三角形pa,pb,pc,pd,pe,pfをpg,phに置換えることにより、部分形状モデルの近似再構成を行う(ステップ4)。
【0038】
ここで、前述した(ステップ4)において、もし近似再構成処理を行った場合は、三角形数で2/6、頂点数で5/8と、多くの部分形状データのデータ量を削減できることがわかる。
【0039】
さらに上記の4つのステップを部分形状データの全ての頂点に対して行うことにより、圧縮部分形状データ113a,113bを生成し、記憶手段103に記憶する。
【0040】
図7は、この(実施の形態1)の3次元モデル圧縮方法によって生成され、記憶手段103に記憶される圧縮された3次元モデルの例である。図2の入力となった3次元モデルと比較すると、テクスチャ111はそのままで、形状データは110が、領域データ114と、圧縮部分形状データ113a,113bに置き換わっているのがわかる。
【0041】
これまで示してきたように、(実施の形態1)の3次元モデル圧縮方法によると、形状モデル110のデータ量に対して、圧縮部分形状データ113a,113bのデータ量を少なくすることが可能であり、特に、形状データ再構成手段101の処理によって、データ量を大幅に削減することが可能である。
【0042】
また、領域データ114については新たに追加されることになるが、この(実施の形態1)では、領域データが1画素につき1ビットであるのに対し、形状データの1つ頂点データは多くの場合数十ビット以上ある事から、数十頂点に1つの頂点を削減することによって、領域データの追加によるデータ量増を相殺することができる。
【0043】
以上のことから、(実施の形態1)の3次元モデル圧縮方法は、よりデータ量の少ない3次元モデルの生成が可能であると言える。
さらに、領域データ114の効果を明らかにするために、この(実施の形態1)における3次元モデル圧縮方法によって生成された3次元モデルを用いて、画像生成を行った場合について説明する。
【0044】
図8は、この(実施の形態1)における3次元モデル圧縮方法によって新たに生成された3次元モデルを用いて、3次元コンピュータグラフィックによる画像生成を行う方法の処理手順の概略図である。
【0045】
マスクデータ生成手段104は、記憶手段103より領域データ114を読み出して、マスクデータa,b(115a,115b)を生成する。このマスクデータは、テクスチャ111と同じwu×wvの2次元配列であり、マスクデータa(115a)は部分形状データ領域aに対応する領域が”1”でそれ以外の部分が”0”、マスクデータb(115b)は部分形状データ領域bに対応する領域が”1”でそれ以外の部分が”0”であるものとする。
【0046】
テクスチャマッピング手段105は、テクスチャ111,マスクデータa(115a),圧縮部分形状データ113aの組と、テクスチャ111,マスクデータb(115b),圧縮部分形状データ113bの組との、2組のデータを用いて合成画像116を生成する。この時、それぞれマスクデータが”1”の画素のテクスチャだけを画像としてマッピングするテクスチャマッピング(アルファ付きテクスチャマッピング)によってレンダリングを行い、合成画像116を生成する。このようにして得られた合成画像116は、領域データ114の形状、すなわち、部分形状データ112の端面の形状と、圧縮部分形状データ113の3次元的な形状との、2つの形状を反映したものとなっている。
【0047】
アルファ付きテクスチャマッピングの技術は、「David F. Rogers 著:”実践コンピュータグラフィックス”(英題”Procedural elements for computer graphics”)、山口富士夫監修、日刊工業新聞社出版 」などでも開示されている、3次元コンピュータグラフィックスの一般的な技術として一般的に広く知られた技術であり、ここでは詳細な説明は省略する。
【0048】
ここで、この(実施の形態1)の3次元モデル圧縮方法における処理過程において、形状データの削減は、主に部分形状データ再構成手段の処理によって行われるため、形状データの削減による生成画像の劣化は、ほとんど部分形状データ再構成手段による処理で発生すると考えることができる。
【0049】
一方、領域データは、部分形状データ再構成手段での近似再構成処理を行う前、すなわち形状データ削減による生成画像の劣化が起こる前の、部分形状データの端面の形状を保持している。特に領域データは、テクスチャ1画素に相当する形状を、この(実施の形態1)では1ビットで表現できたように、形状データに比べて非常に少ないデータ量で、詳細な形状を表現できることから、画像の劣化が目立ち易い輪郭部分の形状を記述するのに適していると言える。
【0050】
したがって、もし画像生成時の輪郭部になる可能性が高い部分を、部分形状データの端面に一致することができれば、領域データによって輪郭部の詳細な形状を少ないデータ量で記述することができ、結果として、形状データの削減による画像の劣化を少ないデータ量に低減することが可能になる。
【0051】
部分形状データの端面に相当する部分が画像生成時の輪郭部になる可能性が高い場合の例としては、図1の例のような、3次元計測で計測された複数の物体(人形と背景)を含む形状データや、鋭角的なエッジを持つ形状データなどがある。このような形状データは、この(実施の形態1)の形状データ分割手段での、三角形の頂点間距離がしきい値より大きい場合に分離する処理(図3(a)(b))によって、複数物体の境界部分や、鋭角的なエッジの部分を端面とした部分形状データに分割される可能性が高い。さらに、物体の境界や鋭角的なエッジは、画像形成時の視点などの条件が変化した場合でも、画像生成時の輪郭となる可能性が一般的に高いと言える。以上のことから、特に前述した形状の場合、この(実施の形態1)による3次元モデル圧縮方法は、画像生成時の輪郭となる部分の劣化が少なく、かつデータ量の少ない3次元モデルを圧縮生成する方法であると言える。
【0052】
以上のように(実施の形態1)によれば、前記形状データを複数の部分形状データに分割する形状データ分割手段100と、前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成手段102と、前記部分形状データをより数の少ない複数の多角形で近似再構成する部分形状データ再構成手段101を備えたことにより、より少ないデータ量で、かつ画質の劣化が少ない3次元モデル生成することができ、特に、端面が開いた形状データなどに効率の良く3次元モデルを圧縮することができる。
【0053】
なお、図1の処理はソフトウエアプログラムをコンピュータで実行することによって実現される。前記ソフトウエアプログラムには、形状データを複数の部分形状データに分割する形状データ分割過程と、分割された複数の部分形状データがテクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成過程と、部分形状データをより数の少ない複数の多角形で近似再構成する部分形状データ再構成過程などが記述されており、前記コンピュータが形状データ分割過程を実行することによって形状データ分割手段100が実現され、前記コンピュータが領域データ生成過程を実行することによって領域データ生成手段102が実現され、前記コンピュータが部分形状データ再構成過程を実行することによって部分形状データ再構成手段101が実現される。
【0054】
同様に、図8の処理もソフトウエアプログラムをコンピュータで実行することによって実現され、ソフトウエアプログラムの各処理の過程を実行することによってマスクデータ生成手段104,テクスチャマッピング手段105が実現される。
【0055】
このような図1または図8の処理のソフトウエアプログラムは、記録媒体に書き込んで市場に流通させることもできる。これは以下の実施の形態においても同様である。
【0056】
(実施の形態2)
図9は、本発明の(実施の形態2)における3次元モデル圧縮方法の処理手順の概略図である。
【0057】
図1と異なるのは、階層符号化手段106を設けたことと、階層符号化手段によって、テクスチャ111と領域データ114を符号化して記憶手段103に記憶する点であり、他の構成および各処理手段での処理は、本発明の(実施の形態1)と同様な処理を行う。
【0058】
階層符号化手段106での処理は、テクスチャ111と領域データ114を入力とし、テクスチャ111を領域データ114に対応した2つの領域に分割階層化し、それぞれの領域内の画像にのみ着目して符号化を行うことによって、データ量の少ない圧縮テクスチャ117を生成して、記憶手段103に記憶する。
【0059】
このような画像を階層符号化・復号化する方式や、それを実現する装置の詳細な構成については、特開平8−116543号や、栄藤らの研究報告「栄藤 稔他:”MPEG−4システム”、映像情報メディア学会誌、Vol.51,No.12, pp.1966−1973, 1997」などで開示されている技術であるため、ここでは詳細な処理手順の説明は省略する。
【0060】
上記した本発明の(実施の形態2)では、テクスチャと3次元形状データから生成した領域データという全く性質の異なるデータを組み合わせて階層符号化により圧縮することにより、それぞれ個別に圧縮した場合よりデータ量が少ない圧縮方法を実現していることから、新規性と有効性の高い方法であるといえる。
【0061】
また、階層符号化の技術は、異なる対象物が1つの画像に写っている場合などに、それぞれを分離階層化して符号化することによって、符号化効率を上げる事が可能な技術として近年注目されているが、画像だけを用いて画像中の複数の対象物を自動で分離することは困難であり、従来は手作業で画像を分離するなどの処理が行われていた。これに対し、本発明の(実施の形態2)では、対象物の画像(テクスチャ)の以外に、3次元的な形状データを有しており、これを用いて領域データを生成することによって、画像の自動階層化を実現している点でも、新規性と有効性が高い方法である。
【0062】
以上のように、この(実施の形態2)によれば、テクスチャと領域データを符号化する階層符号化手段を設けることにより、本発明の(実施の形態1)より、よりデータ量の少ない3次元モデルを生成することが可能である。
【0063】
(実施の形態3)
図10は、本発明の(実施の形態3)における3次元モデル画像生成方法の処理手順の概略図である。
【0064】
図8と異なるのは、マスクデータ生成手段104の代わりに、復号化手段107を設けたことと、テクスチャデータ111a,111bおよびマスクデータ115a,115bは、復号化手段107によって、あらかじめ階層符号化された圧縮テクスチャ117を復号化して生成される点である。テクスチャマッピング手段105での処理は、図8の画像生成方法と同様な処理を行う。
【0065】
復号化手段107での処理は、記憶手段103にあらかじめ階層符号化して記憶された圧縮テクスチャ117を入力として復号化処理を行う。ここで、階層符号化されたデータには、符号化の対象となる画像の領域を示す情報が含まれていることから、この領域情報をマスクデータ115として生成出力するとともに、画像であるテクスチャ111を復号化して出力する。
【0066】
以上のように、この(実施の形態3)によれば、テクスチャを圧縮する方法として階層符号化を用いることによって、単純にテクスチャ圧縮の効果を得るだけでなく、階層符号化時に含まれる画像の領域情報をテクスチャマッピング時のマスク情報として用いることによって、本発明の(実施の形態1)(実施の形態2)の効果と同様に、データ量の少ない粗い形状モデルを用いて画像生成を行った場合でも、マスク情報に含まれる形状情報も含めた画像を生成できることから、少ないデータ量でより画像の劣化の少ない画像生成が可能となるという効果がある。
【0067】
【発明の効果】
以上のように本発明は、複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する方法として、形状データを複数の部分形状データに分離した場合の端面の形状と、部分形状データを近似した粗い形状の、2種類の形状に分けて記述することによって、より少ないデータ量で、かつ画質の劣化が少ない3次元モデルを生成することが可能となるものである。
【図面の簡単な説明】
【図1】本発明の(実施の形態1)における3次元モデル圧縮方法の処理手順の概略図
【図2】同実施の形態における形状データおよびテクスチャの一例を示す図
【図3】同実施の形態における形状データ分割手段での処理手順の説明図
【図4】同実施の形態における部分形状データ及びテクスチャの一例を示す図
【図5】同実施の形態における領域データ生成手段での処理手順の説明図
【図6】同実施の形態における部分形状データ再構成手段での処理手順の説明図
【図7】同実施の形態における圧縮方法で生成された3次元モデルの一例を示す図
【図8】同実施の形態における圧縮方法で圧縮された3次元モデルを用いた画像生成の処理手順の概略図
【図9】本発明の(実施の形態2)における3次元モデル圧縮方法の処理手順の概略図
【図10】本発明の(実施の形態3)における3次元モデル画像生成方法の処理手順の概略図
【符号の説明】
100 形状データ分割手段
101 部分形状データ再構成手段
102 領域データ生成手段
103 記憶手段
110 形状データ
111 テクスチャ
112 部分形状データ
113 圧縮部分形状データ
114 領域データ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for generating a three-dimensional model used in image generation using three-dimensional computer graphics such as a video game machine or industrial CAD, and in particular, compresses a predetermined three-dimensional model. Thus, the present invention relates to a three-dimensional model compression method for generating a three-dimensional model with a small amount of data and little image degradation caused by the data amount reduction.
[0002]
[Prior art]
Conventionally, three-dimensional computer graphics techniques for generating an image using three-dimensional shape data of an object have been actively studied. In recent years, even relatively inexpensive devices for home use such as video game machines and personal computers, image generation using 3D computer graphics technology has been actively performed, which is very important industrially. One of the technologies.
[0003]
Image generation by three-dimensional computer graphics includes modeling for generating a three-dimensional model composed of information on the three-dimensional shape and color of an object, and rendering for generating an image of the object using the three-dimensional model. Can be roughly divided into two steps.
[0004]
As one method for describing a three-dimensional model generated by modeling, a polygon model in which the three-dimensional shape of the surface of an object is approximated by a collection of a plurality of polygons is widely used. Further, as one rendering method using a polygon model, a method in which a plurality of polygons are sequentially projected onto an arbitrary two-dimensional plane and an object image is drawn as a collection of polygons is widely used.
[0005]
In image generation using such a polygon model, it is possible to generate an image that more accurately reflects an object having fine irregularities or a smooth curved surface by using more polygons. Therefore, the cost for recording and transmitting the three-dimensional model increases. Conversely, if the number of polygons is reduced, the amount of data decreases, but the generated image tends to be a rough and highly deteriorated image.
[0006]
Therefore, as a field of modeling technology in recent years, a detailed polygon model using a large number of polygons obtained with a three-dimensional measuring instrument capable of precisely measuring the three-dimensional coordinate value of the surface of an object is input. A three-dimensional model compression technique for generating an efficient three-dimensional model by compressing this and generating a small amount of data and less deterioration of an image accompanying a reduction in the amount of data has been actively studied.
[0007]
As an example of the above-described conventional three-dimensional model compression technique, for example, “Huges Hoppe, et al:“ Mesh Optimization ”, SIGGRAPH 93 Conference Processings,
pp. 19-26, August 1993 ".
[0008]
In an example of these three-dimensional model compression methods, the amount of data is reduced by approximating and reconstructing a plurality of polygons in a detailed polygon model with fewer polygons. The approximation reconstruction method first defines a function for quantifying the approximation error between the polygon model before approximation and the polygon model after approximation, and for all vertices of the polygon in the polygon model before approximation, An approximation error increment is calculated when one vertex is reduced and approximated with fewer polygons. Then, the vertex having the smallest increase in approximation error is selected and reduced, and the polygon model is approximately reconstructed. Further, by approximating the polygon model by reducing one vertex until a predetermined condition is reached, a polygon model with a small number of vertices and polygons is generated.
[0009]
At this time, the number of vertices and polygons are reduced by approximate reconstruction, that is, the amount of data is reduced. Therefore, as a result, it can be said that the compression method generates an efficient three-dimensional model.
[0010]
[Problems to be solved by the invention]
However, in the conventional modeling technique described above, all the vertices of the polygon model are evaluated using the same recent error function, but the outline (boundary between the object and the background or foreground) and Even if the error increment due to the approximation error is the same between the part and the part other than the outline, the outline part is often more prominent in the image degradation. Therefore, there is a problem that the efficiency is not always good.
[0011]
Such a problem that the deterioration of the contoured portion on the generated image is conspicuous is that Hoppe et al. Described above “View-Dependent Definition of Progressive Meshes” (SIGGRAPH 97 Conference Processings, pp. ) Point out. In order to cope with this, Hoppe et al. Describe a method in which a detailed three-dimensional model and a rough model are described hierarchically and stored, and a detailed three-dimensional model is selected and used as a contour portion when generating an image. is suggesting. However, this method does not focus on the compression of the three-dimensional model, and has a problem that the amount of data increases although there is little deterioration in the image quality of the contour portion.
[0012]
In view of the above problems, an object of the present invention is to provide a three-dimensional model compression method for generating an efficient three-dimensional model that has a small amount of data and little image deterioration due to data amount reduction.
[0013]
[Means for Solving the Problems]
The three-dimensional model compression method and the three-dimensional model image generation method of the present invention may be able to assume in advance a part that is likely to become an outline at the time of image generation depending on the shape of the target object or the target three-dimensional model, Further, the three-dimensional model is described by combining the information corresponding to the contour with the three-dimensional model.
[0014]
According to the present invention, by describing the shape of the boundary portion of the divided partial shape data as newly generated region data, the boundary portion of the partial shape data when the partial shape data is approximately reconstructed, that is, the image It is possible to realize a compression method that can reduce deterioration in image quality of a portion that may become an outline at the time of generation and generate a three-dimensional model with a small amount of data.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
The three-dimensional model compression method according to claim 1 is a method for compressing a three-dimensional model including three-dimensional shape data and texture composed of a plurality of polygons, wherein the shape data is converted into a plurality of partial shape data. A shape data dividing process for dividing the plurality of partial shape data, a region data generating process for generating region data indicating which region the plurality of divided partial shape data correspond to on the texture, and a plurality of the partial shape data. A partial shape data reconstruction process for generating compressed partial shape data approximated by a small number of polygons, Retained in region data Partial shape day Of The shape of the end face, Stored in compressed partial shape data Approximate partial shape data Shape The three-dimensional model is described by dividing it into two types of shapes.
[0016]
The three-dimensional model compression method according to claim 2 is a method for compressing a three-dimensional model including three-dimensional shape data and textures composed of a plurality of polygons, wherein the shape data is converted into a plurality of partial shape data. A shape data dividing process for dividing the plurality of partial shape data, a region data generating process for generating region data indicating which region the plurality of divided partial shape data correspond to on the texture, and a plurality of the partial shape data. Approximate with few polygons Generated compressed partial shape data A partial shape data reconstruction process, Retained in region data Partial shape day Of The shape of the end face, Stored in compressed partial shape data Approximate partial shape data Shape The three-dimensional model is described in two types of shapes: Said A hierarchical encoding process that encodes a texture in a hierarchical manner for each area of the area data; And territory It is characterized by combining two types of data with area data and compressing them into one data.
[0017]
The three-dimensional model compression method according to claim 3 is a method for compressing a three-dimensional model including three-dimensional shape data and textures composed of a plurality of polygons, wherein the shape data is converted into a plurality of partial shape data. A shape data dividing process for dividing the plurality of partial shape data, a region data generating process for generating region data indicating which region the plurality of divided partial shape data correspond to on the texture, and a plurality of the partial shape data. Approximate with few polygons Generated compressed partial shape data A partial shape data reconstruction process, Retained in region data Partial shape day Of The shape of the end face, Stored in compressed partial shape data Approximate partial shape data Shape The three-dimensional model is described by dividing the shape data into two types of shapes, and the shape data dividing process is configured such that the shape data is converted into a plurality of partial shape data based on the distance between vertices of a plurality of polygons constituting the shape data. It is characterized by dividing into two.
[0018]
The 3D model image generation method according to claim 4 is a method of generating an image from a 3D model including 3D shape data and texture, wherein the hierarchically encoded texture data is input and decoded. A plurality of textures, a decoding process for outputting a plurality of mask data indicating an effective region of pixels of the plurality of textures, the plurality of textures, the plurality of mask data, and a plurality of shape data are input, A mapping process in which image generation processing is performed by texture mapping using a plurality of mask data as masks, and the shape of each contour included in the hierarchically encoded texture data and the shape included in the shape data are 2 An image reflecting one shape is generated.
[0019]
6. The three-dimensional model compression apparatus according to claim 5, wherein the three-dimensional model compression apparatus includes a plurality of polygonal three-dimensional shape data and a three-dimensional model including a texture, the shape data being a plurality of partial shape data. Shape data dividing means for dividing the divided partial shape data, region data generating means for generating region data indicating which region the divided partial shape data corresponds to on the texture, and a number of the partial shape data Approximate with few polygons Generated compressed partial shape data And partial shape data reconstructing means.
[0020]
The three-dimensional model compression apparatus according to claim 6, An apparatus for compressing a three-dimensional model including three-dimensional shape data and texture composed of a plurality of polygons, the shape data dividing means for dividing the shape data into a plurality of partial shape data, and the division Region data generating means for generating region data indicating which region on the texture corresponds to a plurality of partial shape data, and a partial shape for approximating and reconstructing the partial shape data with a smaller number of polygons Data reconstruction means; Hierarchical encoding means for hierarchically encoding a texture for each area of the area data is provided.
[0021]
The three-dimensional model compressing apparatus according to claim 7 is the three-dimensional model compression apparatus according to claim 5 or 6, wherein the shape data dividing means converts the shape data into a plurality of parts based on distances between vertices of a plurality of polygons constituting the shape data. It is characterized by being divided into shape data.
[0022]
The three-dimensional model image generation device according to claim 8 is a device that generates an image from a three-dimensional model including three-dimensional shape data and texture, and inputs and decodes hierarchically encoded texture data. A plurality of textures, decoding means for outputting a plurality of mask data indicating effective regions of pixels of the plurality of textures, the plurality of textures, the plurality of mask data, and a plurality of shape data, And mapping means for performing image generation processing by texture mapping using a plurality of mask data as a mask.
[0023]
The recording medium according to claim 9 is written with software necessary to execute the three-dimensional model compression method according to any one of claims 1 to 3 or the three-dimensional model image generation method according to claim 4. It is characterized by that.
[0024]
Hereinafter, the three-dimensional model compression method of the present invention will be described based on specific embodiments.
(Embodiment 1)
FIG. 1 is a schematic diagram of a processing procedure of a three-dimensional model compression method according to (Embodiment 1) of the present invention.
[0025]
In FIG. 1, reference numeral 110 denotes shape data describing a three-dimensional shape of an object using a polygon model, and 111 denotes a texture of the object. The two constitute a three-dimensional model of the object. In this (Embodiment 1), the texture 111 is an image obtained by capturing an object from a certain angle, and the shape data 110 is obtained by measuring a three-dimensional coordinate value on the object surface corresponding to each pixel of the texture 111. Suppose that the obtained point is a vertex and the adjacent vertices are connected. Both the shape data 110 and the texture 111 are stored in the storage unit 103 in advance. Reference numeral 100 denotes shape data dividing means for dividing the shape data 110 to generate a plurality of partial shape data 112a and 112b. Reference numeral 101 denotes partial shape data reconstruction means. By approximating a plurality of polygons in the partial shape data 112a and 112b with polygons having a smaller number, compressed partial shape data 113a and 113b having a small amount of data are obtained. It is generated and stored in the storage means 103. Reference numeral 102 denotes area data generation means, which generates area data 114 indicating where each area of the partial shape data 112 a and 112 b corresponds on the texture 111 and stores it in the storage means 103.
[0026]
The processing operation of the three-dimensional model compression method configured as described above will be described.
FIG. 2 shows an example of a description method of a three-dimensional model composed of shape data 110 and texture 111. In this example, the shape data 110 is composed of n triangles including a total of m vertices, and the i-th triangle P (i) is a point referenced by three vertices (Vi1, Vi2, Vi3). The j-th vertex V (j) is a vertex and indicates that it is composed of the three-dimensional coordinate value (xi, yi, zi) and the coordinate (ui, vi) of the corresponding point on the texture 111. In addition, the texture 111 indicates a wu × wv two-dimensional array of RGB color system pixels.
[0027]
First, it is assumed that the processing of each means in the three-dimensional model compression method of the (Embodiment 1) is realized by software of a computer, and the shape data 110 and the texture 111 to be processed or processed are processed. The designation shall be made by the user. When the processing is started, the shape data dividing unit 100 reads the shape data 110 from the storage unit 103 and generates a plurality of partial shape data 112a and 112b.
[0028]
Processing in the shape data dividing unit 100 will be described with reference to FIGS.
FIG. 3 is a diagram of processing in the shape data dividing means. FIG. 3A is an enlarged view of a part of the shape data 110 in FIG. 1, and corresponds to the example of the shape data in FIG.
[0029]
The shape data dividing unit 100 compares the distance between the vertices constituting the triangle with a threshold value T1 given in advance for all triangles P (i) in the shape data 110 (FIG. 3A). The triangle that is larger than the threshold is deleted from the shape data 110 (FIG. 3B).
[0030]
Next, the shape data from which some of the triangles are deleted is scanned for whether or not there is a triangle in contact with the triangle P (i), and divided into groups of a plurality of adjacent triangles. 3 (c) partial shape data is generated.
[0031]
In the example of FIG. 1, it is shown that two partial shape data 112a and 112b are generated by this shape data division processing.
Next, processing in the area data generation unit 102 will be described with reference to FIGS. 1, 4, and 5.
[0032]
The area data 114 is information indicating whether each pixel of the texture 111 that is a two-dimensional array of wu × wv pixels belongs to which of the partial shape data 112a and 112b. The region data 114 can be expressed by a wu × wv two-dimensional array having data of the number of bits necessary for the above. In this (Embodiment 1), since the number of partial shape data is two, the number of bits of element data may be one.
[0033]
FIG. 4 is an example in which the partial shape data a (112a) and the partial shape data b (112b) divided into two by the shape data dividing means 100 are expressed in the same format as in FIG. The two partial shape data and the texture 111 are associated by (ua, va) (ub, vb) constituting the vertex data of the partial shape data. This is shown as an example of the area data 114 in FIG.
[0034]
In this (Embodiment 1), since it is assumed that each pixel of the texture 111 and each vertex of the shape model 110 have a one-to-one correspondence, the processing procedure in the region data generation unit 102 is 2 Horn Partial shape data All the vertices Va (j) and Vb (j) are sequentially scanned, and 1-bit value meaning “region a” is added to the region data of coordinates (uaj, vaj) corresponding to the vertex Va (j). Is recorded, and a 1-bit value indicating “region b” is recorded in the region data of the coordinates (ubj, vbj) corresponding to the vertex Vb (j) (FIG. 5B).
[0035]
Finally, processing in the partial shape data reconstruction unit 101 will be described with reference to FIGS. 1 and 6.
The partial shape data reconstruction unit 101 generates compressed partial shape data 113a and 113b with a small amount of data by approximating and reconstructing a plurality of polygons in the partial shape data 112a and 112b with fewer polygons. , Processing to be stored in the storage means 103 is performed.
[0036]
The processing procedure in the partial shape data reconstruction means is as follows:
Focusing on one vertex and assuming two large approximate triangles approximating the area surrounded by its eight adjacent vertices (step 1)
When the two approximate triangles include vertices other than the partial shape data, the three-dimensional coordinate values of the vertices are newly calculated (Step 2).
An approximation error between the approximate triangle and the partial shape data is calculated by a function given in advance, and it is determined whether or not the approximation error exceeds a threshold value T2 given in advance (step 3);
If the approximation error is less than or equal to the threshold value, the partial shape data is reconstructed with the two large approximate triangles assumed in (Step 1) (Step 4).
The compressed partial shape data is generated by repeating the four steps (step 1) to (step 4) for all the vertices in the partial shape data.
[0037]
The above steps will be described with reference to FIG. When attention is paid to the vertex ve, the region surrounded by the eight vertices va, vb, vc, vd, vf, vg, vh, vi adjacent to ve and including the triangles pa, pb, pc, pd, pe, pf Assume that two larger triangles pg and ph are approximate triangles (step 1). At this time, since the vertex vi of the approximate triangle is not included in the original partial shape data, the three-dimensional coordinates of the vertices vc, ve, vf, vg, and vh of the partial shape data in the region of the approximate triangle ph. Using the values (x, y, z), a new three-dimensional coordinate value of vi ′ is obtained by extrapolation (step 2). Next, an approximation error between the approximate triangles pg and ph and the triangles pa to pf in the partial shape data is obtained and compared with a threshold value T2. Here, the approximation error is the distance between each vertex va, vb, vc, vd, ve, vf, vg, vh and the approximate triangle pg, ph included in the partial shape data. It is assumed that the threshold value is equal to or less than T2 (step 3). If at least one approximation error in step 3 exceeds the threshold value, the approximate reconstruction process is not performed. Conversely, if all of the approximation errors are equal to or less than the threshold value, triangles pa, pb, pc in the partial shape model are used. , Pd, pe, pf are replaced with pg, ph to perform approximate reconstruction of the partial shape model (step 4).
[0038]
Here, in the above-described (Step 4), if approximate reconstruction processing is performed, it can be seen that the data amount of a large amount of partial shape data can be reduced to 2/6 for the number of triangles and 5/8 for the number of vertices. .
[0039]
Further, the above four steps are performed on all the vertices of the partial shape data, thereby generating the compressed partial shape data 113 a and 113 b and storing them in the storage means 103.
[0040]
FIG. 7 is an example of a compressed three-dimensional model generated by the three-dimensional model compression method of the (Embodiment 1) and stored in the storage unit 103. Compared with the input three-dimensional model in FIG. 2, the texture 111 remains the same, and the shape data 110 is placed in the area data 114 and the compressed partial shape data 113a and 113b. Instead I can see that
[0041]
As described above, according to the three-dimensional model compression method of the first embodiment, the data amount of the compressed partial shape data 113a and 113b can be reduced with respect to the data amount of the shape model 110. In particular, the amount of data can be significantly reduced by the processing of the shape data reconstruction means 101.
[0042]
In addition, the area data 114 is newly added. In this (Embodiment 1), the area data is 1 bit per pixel, whereas one vertex data of the shape data is many. Since there are tens of bits or more in some cases, an increase in the amount of data due to the addition of area data can be offset by reducing one vertex to several tens of vertices.
[0043]
From the above, it can be said that the three-dimensional model compression method of (Embodiment 1) can generate a three-dimensional model with a smaller amount of data.
Furthermore, in order to clarify the effect of the region data 114, a case will be described in which image generation is performed using the three-dimensional model generated by the three-dimensional model compression method in (Embodiment 1).
[0044]
FIG. 8 is a schematic diagram of a processing procedure of a method for generating an image by a three-dimensional computer graphic using a three-dimensional model newly generated by the three-dimensional model compression method in (Embodiment 1).
[0045]
The mask data generation unit 104 reads the area data 114 from the storage unit 103 and generates mask data a and b (115a and 115b). The mask data is a two-dimensional array of wu × wv that is the same as the texture 111, and the mask data a (115a) is “1” in the area corresponding to the partial shape data area a and “0” in the other parts. In the data b (115b), it is assumed that the area corresponding to the partial shape data area b is “1” and the other parts are “0”.
[0046]
The texture mapping means 105 outputs two sets of data, a set of the texture 111, mask data a (115a), and compressed partial shape data 113a, and a set of the texture 111, mask data b (115b), and compressed partial shape data 113b. The composite image 116 is generated by using this. At this time, rendering is performed by texture mapping (texture mapping with alpha) in which only the texture of the pixel whose mask data is “1” is mapped as an image, and a composite image 116 is generated. The composite image 116 thus obtained reflects the two shapes of the shape of the area data 114, that is, the shape of the end face of the partial shape data 112 and the three-dimensional shape of the compressed partial shape data 113. It has become a thing.
[0047]
The technology of texture mapping with alpha is also disclosed in “David F. Rogers:“ Practical computer graphics ”(English title“ Procedural elements for computer graphics ”), supervised by Fujio Yamaguchi, published by Nikkan Kogyo Shimbun, etc. This technique is generally known as a general technique of three-dimensional computer graphics, and detailed description thereof is omitted here.
[0048]
Here, in the process of the three-dimensional model compression method of the (Embodiment 1), the shape data is reduced mainly by the processing of the partial shape data reconstruction means. It can be considered that the deterioration almost occurs in the processing by the partial shape data reconstruction means.
[0049]
On the other hand, the area data retains the shape of the end face of the partial shape data before performing the approximate reconstruction process by the partial shape data reconstruction means, that is, before the generated image is deteriorated due to the shape data reduction. In particular, the area data can express a shape corresponding to one pixel of texture in a very small amount of data compared to the shape data, as can be expressed by 1 bit in this (Embodiment 1). Therefore, it can be said that it is suitable for describing the shape of the contour portion where the deterioration of the image is conspicuous.
[0050]
Therefore, if the portion that is likely to become the contour portion at the time of image generation can be matched with the end face of the partial shape data, the detailed shape of the contour portion can be described with a small amount of data by the region data, As a result, it is possible to reduce image degradation due to the reduction of shape data to a small amount of data.
[0051]
As an example in which there is a high possibility that the portion corresponding to the end face of the partial shape data becomes a contour portion at the time of image generation, a plurality of objects (dolls and backgrounds) measured by three-dimensional measurement as in the example of FIG. ) Including shape data and shape data having sharp edges. Such shape data is separated by the shape data dividing means of this (Embodiment 1) when the distance between the vertices of the triangle is larger than the threshold (FIGS. 3A and 3B). There is a high possibility that the data is divided into partial shape data having a boundary portion between a plurality of objects and an acute edge portion as an end face. Furthermore, it can be said that the boundary of an object or an acute edge is generally highly likely to be an outline at the time of image generation even when conditions such as the viewpoint at the time of image formation change. From the above, especially in the case of the above-described shape, the 3D model compression method according to (Embodiment 1) compresses a 3D model with little deterioration of the contour portion during image generation and a small amount of data. It can be said that this is a generation method.
[0052]
As described above, according to (Embodiment 1), the shape data dividing unit 100 that divides the shape data into a plurality of partial shape data, and in which region the divided plurality of partial shape data are on the texture. Fewer area data generation means 102 for generating area data indicating whether it corresponds, and partial shape data reconstruction means 101 for approximating and reconstructing the partial shape data with a plurality of polygons having a smaller number of parts It is possible to generate a three-dimensional model with a small amount of data and little deterioration in image quality. In particular, it is possible to efficiently compress a three-dimensional model into shape data having an open end face.
[0053]
1 is implemented by executing a software program on a computer. The software program includes a shape data dividing process for dividing shape data into a plurality of partial shape data, and a region for generating region data indicating which region the plurality of divided partial shape data corresponds to on the texture It describes the data generation process and the partial shape data reconstruction process that approximates and reconstructs the partial shape data with a plurality of polygons having a smaller number, and the computer executes the shape data division process to split the shape data Means 100 is realized, and the region data generation means 102 is realized by the computer executing the region data generation process, and the partial shape data reconstruction means 101 is realized by the computer executing the partial shape data reconstruction process. Is done.
[0054]
Similarly, the processing of FIG. 8 is also realized by executing the software program on a computer, and the mask data generating means 104 and the texture mapping means 105 are realized by executing the processes of the software program.
[0055]
Such a software program for the processing of FIG. 1 or FIG. 8 can be written on a recording medium and distributed to the market. The same applies to the following embodiments.
[0056]
(Embodiment 2)
FIG. 9 is a schematic diagram of the processing procedure of the three-dimensional model compression method in (Embodiment 2) of the present invention.
[0057]
The difference from FIG. 1 is that the hierarchical encoding means 106 is provided and that the texture 111 and the region data 114 are encoded and stored in the storage means 103 by the hierarchical encoding means. The processing in the means is the same processing as in (Embodiment 1) of the present invention.
[0058]
The processing in the hierarchical encoding means 106 is input with the texture 111 and the region data 114 as input, and the texture 111 is divided into two regions corresponding to the region data 114, and encoding is performed by paying attention only to images in each region. To generate a compressed texture 117 with a small amount of data and store it in the storage means 103.
[0059]
For a method of hierarchical encoding / decoding of such an image and a detailed configuration of an apparatus for realizing the method, Japanese Patent Laid-Open No. 8-116543 and a research report by Eito et al. “The Journal of the Institute of Image Information and Media Studies, Vol. 51, No. 12, pp. 1966-1973, 1997”, etc., and detailed description of the processing procedure is omitted here.
[0060]
In the above-described (Embodiment 2) of the present invention, data having completely different properties such as texture and region data generated from three-dimensional shape data are combined and compressed by hierarchical encoding, so that data is more compressed than when compressed individually. Since the compression method with a small amount is realized, it can be said that the method is highly novel and effective.
[0061]
Hierarchical coding technology has recently been attracting attention as a technology that can increase coding efficiency by separating and coding each of different objects in a single image. However, it is difficult to automatically separate a plurality of objects in the image using only the image, and conventionally, processing such as separating the image manually has been performed. On the other hand, (Embodiment 2) of the present invention has three-dimensional shape data in addition to the image (texture) of the object, and generates region data using this, It is a novelty and highly effective method in that automatic hierarchization of images is realized.
[0062]
As described above, according to this (Embodiment 2), by providing hierarchical encoding means for encoding texture and region data, the amount of data is smaller than that of (Embodiment 1) of the present invention. A dimensional model can be generated.
[0063]
(Embodiment 3)
FIG. 10 is a schematic diagram of a processing procedure of the three-dimensional model image generation method according to (Embodiment 3) of the present invention.
[0064]
8 differs from FIG. 8 in that a decoding unit 107 is provided instead of the mask data generation unit 104, and that the texture data 111a and 111b and the mask data 115a and 115b are hierarchically encoded in advance by the decoding unit 107. The compressed texture 117 is generated by decoding. The processing in the texture mapping unit 105 is similar to the image generation method in FIG.
[0065]
In the processing in the decoding unit 107, the decoding process is performed with the compressed texture 117 stored in the storage unit 103 as hierarchically encoded in advance. Here, since the hierarchically encoded data includes information indicating the region of the image to be encoded, this region information is generated and output as the mask data 115 and the texture 111 that is the image is also output. Is decoded and output.
[0066]
As described above, according to this (Embodiment 3), by using hierarchical coding as a method of compressing texture, not only the effect of texture compression is obtained, but also the image included in hierarchical coding is By using region information as mask information at the time of texture mapping, an image was generated using a rough shape model with a small amount of data, similar to the effects of (Embodiment 1) and (Embodiment 2) of the present invention. Even in this case, since an image including shape information included in the mask information can be generated, there is an effect that it is possible to generate an image with less data deterioration with a small amount of data.
[0067]
【The invention's effect】
As described above, according to the present invention, as a method of compressing a three-dimensional model including three-dimensional shape data and textures composed of a plurality of polygons, an end face when shape data is separated into a plurality of partial shape data is used. It is possible to generate a three-dimensional model with a smaller amount of data and less image quality degradation by describing the shape and the rough shape that approximates the partial shape data separately. is there.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of a processing procedure of a three-dimensional model compression method according to (Embodiment 1) of the present invention.
FIG. 2 is a diagram showing an example of shape data and texture in the embodiment
FIG. 3 is an explanatory diagram of a processing procedure in a shape data dividing unit in the same embodiment
4 is a diagram showing an example of partial shape data and texture in the embodiment; FIG.
FIG. 5 is an explanatory diagram of a processing procedure in the area data generation unit in the embodiment
FIG. 6 is an explanatory diagram of a processing procedure in the partial shape data reconstruction unit in the embodiment;
FIG. 7 is a diagram showing an example of a three-dimensional model generated by the compression method according to the embodiment
FIG. 8 is a schematic diagram of an image generation processing procedure using a three-dimensional model compressed by the compression method according to the embodiment;
FIG. 9 is a schematic diagram of a processing procedure of a three-dimensional model compression method according to (Embodiment 2) of the present invention.
FIG. 10 is a schematic diagram of a processing procedure of a three-dimensional model image generation method according to (Embodiment 3) of the present invention.
[Explanation of symbols]
100 Shape data dividing means
101 Partial shape data reconstruction means
102 Area data generation means
103 storage means
110 Shape data
111 texture
112 Partial shape data
113 Compressed partial shape data
114 area data

Claims (10)

複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する方法であって、
前記形状データを複数の部分形状データに分割する形状データ分割過程と、
前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成過程と、
前記部分形状データをより数の少ない複数の多角形で近似した圧縮部分形状データを生成する部分形状データ再構成過程と
を備えて、領域データに保持されている部分形状データの端面の形状と、圧縮部分形状データに保持されている部分形状データを近似した形状との2種類の形状に分けて3次元モデルを記述する3次元モデル圧縮方法。
A method of compressing a three-dimensional model including three-dimensional shape data and textures composed of a plurality of polygons,
A shape data dividing process for dividing the shape data into a plurality of partial shape data;
A region data generation step of generating region data indicating which region the plurality of divided partial shape data corresponds to on the texture;
The partial shape data and a partial shape data reconstruction process of generating the compressed partial shape data approximated in a more small number of the plurality of polygons, and the shape of the end face of the partial shape data stored in the region data , 3-dimensional model compression method that describes a three-dimensional model divided into two kinds of shapes of the compressed partial shape data part held in the shape data shape approximating the.
複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する方法であって、
前記形状データを複数の部分形状データに分割する形状データ分割過程と、
前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成過程と、
前記部分形状データをより数の少ない複数の多角形で近似した圧縮部分形状データを生成する部分形状データ再構成過程と
を備えて、領域データに保持されている部分形状データの端面の形状と、圧縮部分形状データに保持されている部分形状データを近似した形状との2種類の形状に分けて3次元モデルを記述するとともに、前記テクスチャを前記領域データの領域ごとに階層化して符号化する階層符号化過程を備えて、テクスチャと領域データとの2種類のデータを組み合わせて1つのデータに圧縮する3次元モデル圧縮方法。
A method of compressing a three-dimensional model including three-dimensional shape data and textures composed of a plurality of polygons,
A shape data dividing process for dividing the shape data into a plurality of partial shape data;
A region data generation step of generating region data indicating which region the plurality of divided partial shape data corresponds to on the texture;
A partial shape data reconstruction process for generating compressed partial shape data approximating the partial shape data with a plurality of polygons having a smaller number, and the shape of the end face of the partial shape data held in the region data ; with describing a three-dimensional model divided into two kinds of shapes of the compressed partial shape data part held in the shape data shape approximating the encoding hierarchized the texture for each area of the region data hierarchical encoding process includes a three-dimensional model compression method of compressing a combination of two kinds of data between the texture and the realm data into one data.
複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する方法であって、
前記形状データを複数の部分形状データに分割する形状データ分割過程と、
前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成過程と、
前記部分形状データをより数の少ない複数の多角形で近似した圧縮部分形状データを生成する部分形状データ再構成過程と
を備えて、領域データに保持されている部分形状データの端面の形状と、圧縮部分形状データに保持されている部分形状データを近似した状との2種類の形状に分けて3次元モデルを記述するとともに、前記形状データ分割過程は、形状データを構成する複数の多角形の頂点間距離を基準にして形状データを複数の部分形状データに分割する3次元モデル圧縮方法。
A method of compressing a three-dimensional model including three-dimensional shape data and textures composed of a plurality of polygons,
A shape data dividing process for dividing the shape data into a plurality of partial shape data;
A region data generation step of generating region data indicating which region the plurality of divided partial shape data corresponds to on the texture;
The partial shape data and a partial shape data reconstruction process of generating the compressed partial shape data approximated in a more small number of the plurality of polygons, and the shape of the end face of the partial shape data stored in the region data , as well as describing a three-dimensional model divided into two kinds of shapes of the compressed partial shape data part held in the shape data shape approximating the said shape data dividing process, a plurality of constituting the shape data multi A three-dimensional model compression method for dividing shape data into a plurality of partial shape data on the basis of the distance between vertexes of a square.
3次元的な形状データとテクスチャを含む3次元モデルから画像を生成する方法であって、
階層符号化されたテクスチャデータを入力し、復号化して複数のテクスチャと、前記複数のテクスチャの画素が有効な領域を示す複数のマスクデータを出力する復号化過程と、
前記複数のテクスチャと前記複数のマスクデータと複数の形状データを入力して、前記複数のマスクデータをマスクとしたテクスチャマッピングによって画像生成処理を行うマッピング過程と
を備えて、階層符号化されたテクスチャデータに含まれる各階層の輪郭の形状と、形状データに含まれる形状との2つの形状を反映した画像を生成する
3次元モデル画像生成方法。
A method for generating an image from a three-dimensional model including three-dimensional shape data and texture,
A decoding process in which hierarchically encoded texture data is input and decoded to output a plurality of textures and a plurality of mask data indicating regions in which pixels of the plurality of textures are valid;
A hierarchically encoded texture comprising: a mapping process of inputting the plurality of textures, the plurality of mask data, and a plurality of shape data, and performing image generation processing by texture mapping using the plurality of mask data as a mask A three-dimensional model image generation method for generating an image reflecting two shapes of a contour shape of each layer included in data and a shape included in shape data.
複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する装置であって、
前記形状データを複数の部分形状データに分割する形状データ分割手段と、
前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成手段と、
前記部分形状データをより数の少ない複数の多角形で近似した圧縮部分形状データを生成する部分形状データ再構成手段と
を備えた3次元モデル圧縮装置。
An apparatus for compressing a three-dimensional model including three-dimensional shape data and textures composed of a plurality of polygons,
Shape data dividing means for dividing the shape data into a plurality of partial shape data;
Area data generating means for generating area data indicating which area the plurality of divided partial shape data correspond to on the texture;
A three-dimensional model compression apparatus comprising partial shape data reconstruction means for generating compressed partial shape data approximating the partial shape data with a plurality of polygons having a smaller number.
複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する装置であって、
前記形状データを複数の部分形状データに分割する形状データ分割手段と、
前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成手段と、
前記部分形状データをより数の少ない複数の多角形で近似再構成する部分形状データ再構成手段と、
テクスチャを前記領域データの領域ごとに階層化して符号化する階層符号化手段を備えた3次元モデル圧縮装置。
An apparatus for compressing a three-dimensional model including three-dimensional shape data and textures composed of a plurality of polygons,
Shape data dividing means for dividing the shape data into a plurality of partial shape data;
Area data generating means for generating area data indicating which area the plurality of divided partial shape data correspond to on the texture;
Partial shape data reconstruction means for approximately reconstructing the partial shape data with a plurality of polygons having a smaller number;
A three-dimensional model compression apparatus comprising hierarchical encoding means for hierarchically encoding a texture for each area of the area data.
形状データ分割手段は、形状データを構成する複数の多角形の頂点間距離を基準にして形状データを複数の部分形状データに分割する
請求項5または請求項6記載の3次元モデル圧縮装置。
The three-dimensional model compression apparatus according to claim 5 or 6, wherein the shape data dividing means divides the shape data into a plurality of partial shape data based on a distance between vertices of a plurality of polygons constituting the shape data.
3次元的な形状データとテクスチャを含む3次元モデルから画像を生成する装置であって、
階層符号化されたテクスチャデータを入力し、復号化して複数のテクスチャと、前記複数のテクスチャの画素が有効な領域を示す複数のマスクデータを出力する復号化手段と、
前記複数のテクスチャと前記複数のマスクデータと複数の形状データを入力して、前記複数のマスクデータをマスクとしたテクスチャマッピングによって画像生成処理を行うマッピング手段と
を備えた3次元モデル画像生成装置。
An apparatus for generating an image from a three-dimensional model including three-dimensional shape data and texture,
Decoding means for inputting hierarchically textured texture data, decoding and outputting a plurality of textures, and a plurality of mask data indicating regions where pixels of the plurality of textures are valid;
A three-dimensional model image generation apparatus comprising mapping means for inputting the plurality of textures, the plurality of mask data, and a plurality of shape data and performing image generation processing by texture mapping using the plurality of mask data as a mask.
請求項1〜請求項3の何れかの3次元モデル圧縮方法、または請求項4記載の3次元モデル画像生成方法を実行するのに必要なソフトウェアが書き込まれた記録媒体。A recording medium in which software necessary for executing the three-dimensional model compression method according to claim 1 or the three-dimensional model image generation method according to claim 4 is written. 複数の多角形で構成された3次元的な形状データとテクスチャを含む3次元モデルを圧縮する装置であって、
前記形状データを複数の部分形状データに分割する形状データ分割手段と、
前記分割された複数の部分形状データが前記テクスチャ上でどの領域に対応するかを示す領域データを生成する領域データ生成手段と、
前記部分形状データをより数の少ない複数の多角形で近似した圧縮部分形状データを生成する部分形状データ再構成手段と、
前記圧縮部分形状データと前記領域データとを用いて画像を合成する画像合成手段と
を備えた画像合成装置。
An apparatus for compressing a three-dimensional model including three-dimensional shape data and textures composed of a plurality of polygons,
Shape data dividing means for dividing the shape data into a plurality of partial shape data;
Area data generating means for generating area data indicating which area the plurality of divided partial shape data correspond to on the texture;
Partial shape data reconstruction means for generating compressed partial shape data approximating the partial shape data with a plurality of polygons having a smaller number;
An image composition device comprising image composition means for composing an image using the compressed partial shape data and the region data.
JP31990998A 1998-10-23 1998-10-23 3D model compression method and 3D model image generation method Expired - Fee Related JP3618234B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31990998A JP3618234B2 (en) 1998-10-23 1998-10-23 3D model compression method and 3D model image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31990998A JP3618234B2 (en) 1998-10-23 1998-10-23 3D model compression method and 3D model image generation method

Publications (2)

Publication Number Publication Date
JP2000132711A JP2000132711A (en) 2000-05-12
JP3618234B2 true JP3618234B2 (en) 2005-02-09

Family

ID=18115594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31990998A Expired - Fee Related JP3618234B2 (en) 1998-10-23 1998-10-23 3D model compression method and 3D model image generation method

Country Status (1)

Country Link
JP (1) JP3618234B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006062199A1 (en) * 2004-12-10 2008-06-12 国立大学法人京都大学 Three-dimensional image data compression apparatus, method, program, and recording medium
US20090115786A1 (en) * 2006-04-24 2009-05-07 Takamasa Shimasaki Drawing device, and drawing method
GB201002855D0 (en) * 2010-02-19 2010-04-07 Materialise Dental Nv Method and system for achiving subject-specific, three-dimensional information about the geometry of part of the body
JP6253752B1 (en) 2016-11-29 2017-12-27 株式会社東芝 Tiered storage system
CN112292713A (en) * 2018-06-12 2021-01-29 松下电器(美国)知识产权公司 Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Also Published As

Publication number Publication date
JP2000132711A (en) 2000-05-12

Similar Documents

Publication Publication Date Title
Kalaiah et al. Modeling and rendering of points with local geometry
EP1800267B1 (en) System and method for processing video images
US10650570B2 (en) Dynamic local temporal-consistent textured mesh compression
JP4398257B2 (en) Method and program for optimizing the space used by a texture image
US8576225B2 (en) Seamless fracture in a production pipeline
JP3870167B2 (en) Rendering system, rendering method and recording medium thereof
US20050151734A1 (en) Method and apparatus for rendering, storing and editing voxel objects
JP2023544618A (en) Video-based mesh compression
EP3580726B1 (en) Buffer index format and compression
US6075540A (en) Storage of appearance attributes in association with wedges in a mesh data model for computer graphics
Wahl et al. Identifying planes in point-clouds for efficient hybrid rendering
Rossignac Geometric simplification and compression
JP3618234B2 (en) 3D model compression method and 3D model image generation method
Schnabel et al. Fast vector quantization for efficient rendering of compressed point-clouds
Guthe et al. Fast and memory efficient view-dependent trimmed NURBS rendering
Ahn et al. Out-of-core remeshing of large polygonal meshes
CN115443485A (en) Dense mesh compression
Martinez et al. Space-optimized texture atlases for 3d scenes with per-polygon textures
Schuster et al. Compression and rendering of textured point clouds via sparse coding
Tariq et al. Instanced model simplification using combined geometric and appearance-related metric
Kugler High-performance texture decompression hardware
EP3886055A1 (en) Image coding system and method
Antonijevic Compression of Sequential Voxel Data for Sequence-based Animation
Kwatra et al. Space-time surface simplification and edgebreaker compression for 2D cel animations
Fúsek et al. Mesh Animation Compression using Skinning and Multi-chart Displacement Texture.

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040706

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees