JP3610130B2 - Information processing method and apparatus, and computer control apparatus - Google Patents

Information processing method and apparatus, and computer control apparatus Download PDF

Info

Publication number
JP3610130B2
JP3610130B2 JP25278895A JP25278895A JP3610130B2 JP 3610130 B2 JP3610130 B2 JP 3610130B2 JP 25278895 A JP25278895 A JP 25278895A JP 25278895 A JP25278895 A JP 25278895A JP 3610130 B2 JP3610130 B2 JP 3610130B2
Authority
JP
Japan
Prior art keywords
polygon
image
texture
display
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25278895A
Other languages
Japanese (ja)
Other versions
JPH0997350A (en
Inventor
晋二 内山
裕之 山本
登志一 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP25278895A priority Critical patent/JP3610130B2/en
Priority to US08/721,219 priority patent/US6400369B1/en
Priority to DE69630752T priority patent/DE69630752T2/en
Priority to EP96307096A priority patent/EP0766206B1/en
Publication of JPH0997350A publication Critical patent/JPH0997350A/en
Application granted granted Critical
Publication of JP3610130B2 publication Critical patent/JP3610130B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、コンピュータグラフィックス技術により3次元のシーンを描画する情報処理方法及び装置及びコンピュータ制御装置に関する。
【0002】
【従来の技術】
コンピュータグラフィックスによる3次元シーンの描画において、表面の形状をポリゴンを用いて表現するとともに、テクスチャ画像を当該ポリゴン上に貼り付けて当該表面の模様を描画する手法がある。このような、コンピュータグラフィックスにおいて用いられるテクスチャ画像の獲得方法としては、一般に次の方法が知られている。
【0003】
テクスチャ原画像よりテクスチャ画像として用いる部分を矩形によって指定して切り出してテクスチャ画像を用意する。次に、このテクスチャ画像の貼り付先となるポリゴンの各頂点に対して、テクスチャ画像の対応する位置を入力する。この入力された位置の情報に基づいて、当該ポリゴンへのテクスチャ画像の張り付けを実行する。
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来技術の手法では、矩形によってテクスチャ画像が切り出されるので、貼り付け先のポリゴンの形状が四角形でない場合は、ポリゴンに各頂点の位置を与えるのに非常に手間がかかる。例えば、図5の(a)のような頂点a〜hを有するポリゴンに、(b)のような矩形で切り出されたテクスチャ画像の一部を貼り付ける場合は以下の手順が必要である。即ち、ポリゴンの各頂点a〜h(●で示される点)に、テクスチャ画像中の対応する位置a’〜h’(●で示される位置)を、当該矩形中の正規化された座標値でを付与する必要がある。ここで正規化された座標とは、当該矩形の各頂点がそれぞれ(0,0)、(1,0)、(1,1),(0,1)で示されるように正規化した座標値である。
【0005】
以上のように、従来の手法では、ポリゴン画像上の各頂点に対して、テクスチャ画像上の各位置を示す位置をユーザが座標値で入力するので、操作が非常に煩わしかった。
【0006】
本発明は、上記の問題に鑑みてなされたものであり、ポリゴン画像上で指定された点の位置と必要なテクスチャ画像を含むテクスチャ原画像上で指定された点の位置とを自動的に関連させることを可能とし、ポリゴンへのテクスチャ画像の貼り付け操作を容易とする情報処理方法及び装置を提供することを目的とする。
【0007】
また、本発明は、ポリゴンに合わせたテクスチャ画像を予め容易することなく、ポリゴンの領域が適当に画像中に収まっている画像から、対話的にテクスチャをもつコンピュータグラフィクスデータを生成することを可能とする情報処理方法及び装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
上記の目的を達成する本発明の情報処理装置は以下の構成を備える。即ち、
1つまたは複数のポリゴンで構成されるポリゴン画像を表示画面に表示する第1表示手段と、
使用すべきテクスチャ画像を含むテクスチャ原画像を、前記第1表示手段によって表示された前記ポリゴン画像と共に前記表示画面に表示する第2表示手段と、 前記第1表示手段で表示されたポリゴン画像のポリゴン上の点と、これに対応させるべき前記第2表示手段で表示されたテクスチャ原画像上の点とを指定する指定手段と、
前記指定手段によって前記ポリゴン画像上で指定された点のそれぞれに、前記テクスチャ原画像上で対応付けられた点の位置情報を付与する付与手段と、
前記付与手段でポリゴン上の点にテクスチャ原画像上の対応する点の位置情報が付与されたポリゴンデータと、該テクスチャ原画像を描画用データとして出力する出力手段と
を備える。
【0009】
また、好ましくは、前記指定手段において指定されるポリゴン上の点は、前記テクスチャ画像の貼り付け先となるポリゴンの各頂点である。
【0010】
また、好ましくは、前記指定手段は、前記テクスチャ画像の貼り付け先となる1つ又は複数のポリゴンを指定する第1指定手段と、前記第1指定手段で指定された1つ又は複数のポリゴンを抽出し、ポリゴン画像として表示する第3表示手段と、前記第3表示手段で表示されたポリゴンの各頂点と前記テクスチャ画像中の対応する点を指定する第2指定手段とを備える。テクスチャの貼り付け先となるポリゴンが抽出、表示されるので、貼り付け先のテクスチャが明瞭となり、頂点等の指定がより容易になる。
【0011】
また、好ましくは、前記第2表示手段で表示されたテクスチャ原画像より、前記指定手段で指定された点を含む領域をテクスチャ画像として切り出す切出し手段を更に備え、前記付与手段は、前記指定手段によって前記ポリゴン画像上で指定された点のそれぞれに、前記切出し手段で切り出されたテクスチャ画像上の対応する点の位置情報を付与し、前記出力手段は、前記付与手段でポリゴン上の点に前記テクスチャ画像上の対応する点の位置情報が付与されたポリゴンデータと、該テクスチャ画像を描画用データとして出力する。テクスチャ原画像からテクスチャ画像を切り出すことが可能となり、余分な部分をなるべく含まないようなテクスチャ画像を得ることができ、テクスチャデータのサイズを小さくできる。
【0012】
【発明の実施の形態】
以下に添付の図面を参照して、本発明の好適な実施の形態を説明する。
【0013】
図1は本実施形態における情報処理装置の概略の構成を表すブロック図である。同図において、101はCPUであり、本実施形態の手順を含む各種の処理を実行する。102はメモリ部であり、CPU101が実行する手順を記述する制御プログラムを格納するROM102aや、CPU101が各種処理を実行するに際して作業領域を提供するRAM102bを備える。103は外部メモリであり、ポリゴンデータ、テクスチャ原画像、テクスチャデータ等の処理対象となるデータを格納する。104は入出力インターフェースであり、処理するデータを装置の外部から入力・出力する。例えば、入出力インターフェース104は、テクスチャ原画像を読み取るためのスキャナとの接続を実現する。
【0014】
105はキーボードであり、データ選択等の各種入力を行う。106はポインティングデバイスであり、本実施形態ではマウスを用いており、表示装置107上での所望の位置を指示する。107は表示装置であり、処理状況や処理結果、処理過程、処理データを表示する。表示装置107はウインドウシステムによって表示制御され、マルチウインドウ表示を実現する。
【0015】
次に、上記の構成を備えた本実施形態の情報処理装置における、テクスチャ画像のポリゴンへの貼り付け処理について説明する。図2は、テクスチャ画像をポリゴンへ貼り付ける際の処理手順を表すフローチャートである。
【0016】
ステップS201にて、入出力インターフェース104を通して3次元の形状を表現するポリゴンデータを読み込み、外部メモり103に格納する(図1のポリゴンデータ103a)。ポリゴンデータは、既存の3次元CADツールなどを用いて作成することができ、3次元の物体やシーンなどを表面の板として表現するデータである。そして、このポリゴンデータは、複数または1つのポリゴンからなるデータである。
【0017】
なお、このポリゴンデータは、予めCADシステムなどにより作成し、フロッピーディスク等の記憶媒体に格納しておいたものである。例えば、フロッピーディスクであれば、入出力インターフェース104に接続されたフロッピーディスクドライブを用いて、ポリゴンデータが読み出される。なお、当該情報処理装置においてCAD等のアプリケーションを実行してポリゴンデータを作成してもよい。この場合は、作成されたポリゴンデータは直接外部メモり103に格納されることになる。
【0018】
次に、ステップS202にて、テクスチャ原画像を読み込む。テクスチャ原画像とは、ポリゴンの表面の模様として貼り付けるテクスチャのもととなる画像のことで、通常のカラー画像や濃淡画像である。このステップもステップS201と同様に入出力インターフェース104を通して入力を行い、外部メモり103にデータを格納する(図1のテクスチャ原画像103b)。この場合、入出力インターフェース104は、例えば画像を読み取るスキャナに接続される。また、このステップで読み込むテクスチャ原画像とは、ステップS201で読み込んだポリゴンデータに貼り付けようとしているテクスチャの基となる画像のことである。なお、外部メモり103に格納するテクスチャ原画像は複数枚でも1枚でも良い。
【0019】
次に、ステップS203にてポリゴンデータの3次元描画を行う。このステップでは、まず、107のウインドウシステムに一つのウインドウを生成し、102に蓄えられているポリゴンデータを3次元シーンとしてそのウインドウに描画する。ポリゴンデータを3次元シーンとして描画する簡便な手法としては、例えば、ポリゴンデータの3次元位置の2次元の平面への射影変換を基にし、射影する平面に写る画像をウインドウに提示するという手法が挙げられる。なお、ポリゴンデータの描画は、他のいかなる手法を用いてもよい。
【0020】
次に、ステップS204にて、ステップS203によって描画されているポリゴンデータの中から、テクスチャを貼り付けるべき複数または1つのポリゴンをマウス106を用いて指示する。この例を図3に示す。図3は、本実施形態のウインドウシステムにおける表示画面の様子を表す図である。図3において31は表示装置107に表示されたウインドウであり、ウインドウ31内には、ポリゴンデータが3次元表示されているポリゴンデータが3次元描画されているウインドウの中から、対話的に3つのポリゴンを選択した様子を示している。選択したポリゴンについては色を変えて表示を行う(図3では、ハッチングで示した)。なお、ポリゴンの指定は、マウスカーソルを所望のポリゴンの領域内に移動して、マウスボタンをクリックすることで行える。
【0021】
次に、ステップ205において、ステップS204で選択されたポリゴンを抜き出して3次元描画する(図4のウインドウ41参照)。3次元描画の方法は、ステップS203と同様である。また、このステップで生成する3次元描画画像は、後のステップS207でポリゴンの頂点の指示のために使われる。
【0022】
次に、ステップS206にて、ステップS204で選択したポリゴンに対応するテクスチャ原画像を外部メモり103に格納されているテクスチャ原画像群の中から選び、その画像を表示装置107に新たにウインドウを生成して表示する(図4のウインドウ42参照)。これは、そのポリゴンに貼りたい模様を操作者が選ぶというステップである。なお、ウインドウ42ではテクスチャの原画像として和室が表示されている。このウインドウ42に示されるテクスチャ原画像は、カラーの濃淡画像である。
【0023】
次に、ステップS207において、図4のウインドウ41に描画されているポリゴン上の一つの頂点をマウス106を用いて指定し、ステップS208においてこの頂点に対応するテクスチャ原画像上の点(以後、対応点とする)をマウス106を用いて指定する。このステップS207,S208の処理を、選択しているポリゴンの全頂点に対して行う(ステップS209)。以上の過程において対応付けが指定された頂点と対応点の関係は、対応点データ103dとして外部メモり103に格納される。
【0024】
図4は、ポリゴンの頂点とテクスチャ原画像上の対応点を指示した状態を表す図である。図4のウインドウ41には抽出されたテクスチャ画像が、ウインドウ42にはテクスチャ原画像(和室の写真画像)がそれぞれ表示されており、ポリゴンの頂点とテクスチャ原画像中の対応点とを指示した結果(各頂点及び対応点を×で示す)が示されている。この結果、対応点データは、例えばウインドウ41のポリゴン画像の頂点aに対してウインドウ42のテクスチャ原画像の対応点a’、同様に頂点bに対して対応点b’という具合に構成される。
【0025】
テクスチャ原画像の全画像面にわたってポリゴンの頂点が対応付けられているとは限らない。このため、ステップS210において、テクスチャ原画像から不要な領域を切り取って、必要な領域の画像を切り出し、テクスチャデータとして外部メモり103に記憶する(図1のテクスチャデータ103c)。画像の切り出しの簡単な方法としては、頂点を対応つけられたテクスチャ原画像中の点で示される画像面上の範囲から、それを含む長方形を切り出すという方法がある。図4のウインドウ42の表示例では、a’c’d’e’の四角形を含む長方形が切り出される。なお、切り出される長方形は、その面積が最少となるように設定されることが望ましい。テクスチャデータのサイズをより小さくできるからである。
【0026】
さらに、ステップS211にて、ポリゴンの各頂点に、切り出されたテクスチャ画像(テクスチャデータ)中の対応する対応点の位置情報を付与する。各頂点に対応する対応点は対応点データ103dとして保持されているので、これを参照して対応点を獲得すればよい。また、この位置情報は、テクスチャ画像の画像座標値や、テクスチャ画像の横軸縦軸を正規化した時の値(0〜1の値となる)等で位置を示すものである。各頂点にテクスチャ画像中の各対応点の情報が付加されたポリゴンデータは、ポリゴンデータ103aとして上書きされる。なお、対応点情報付のポリゴンデータとして、別ファイルに格納しても良いことは言うまでもない。
【0027】
そして、ステップS212において、テクスチャ画像と、該テクスチャ画像との関連付けがなされたポリゴンデータを入出力インターフェース104を通して結果として出力する。
【0028】
以上のステップS203〜S212の処理を他のポリゴンに関しても行うか否かをユーザに問い合わせ、他のポリゴンに対しても行う場合はステップS203に戻る(ステップS213)。一方、本処理を終了する旨の指示があれば、ステップS213より本処理を終了する。
【0029】
以上の手順により、3次元形状のみを表現するポリゴンデータと画像とを対話的に対応させることが可能となり、表面模様を表現するコンピュータグラフィクスデータを生成できる。
【0030】
[他の実施形態]
(1)ステップS212のポリゴンデータ、及びテクスチャデータを出力するステップは、ステップS213の後にもってきてもよい。
【0031】
(2)ステップS210のテクスチャ原画像からテクスチャデータを切り出す処理は、頂点を対応付けられたテクスチャ原画像中の点の画像面上での範囲から、それを囲む長方形として切り出すという方法以外にも、線形または非線形な変換により、長方形となるテクスチャデータを生成するなど様々な方法が考えられる。
【0032】
(3)ステップS204とステップS205を省き、ステップS203で作成したポリゴンデータをそのままステップS207で利用するという方法がある。これは、明示的にポリゴンを予め選択しておくのではなく、テクスチャとの対応付けのために選択した頂点を含むポリゴンにテクスチャが貼られることになる。このため、ステップS209も、指定したすべてのポリゴンに関して頂点の指定が終わったかを検証するのではなく、頂点を選ばれたポリゴンの中で、指定されていない頂点はないかを検証することとなる。
【0033】
(4)上記実施形態ではポインティングデバイス106としてマウスを用いたがこれに限らない。例えば、タブレット等を使うことも可能であることは明らかである。
【0034】
(5)上記実施形態では、表示装置107として複数のウインドウを表示可能なウインドウシステムとしたが、1つの画面を1つのウインドウとしてしか使えないものであっても、1つの画面内(ウインドウ内)で表示を分割して行うことにより代用できる。
【0035】
(6)上記実施形態では、各頂点にテクスチャ画像の対応点が付加されたポリゴンデータと、当該テクスチャ画像とを入出力インターフェース104を介して出力している。即ち、これらのデータをフロッピーディスク等の記憶媒体に格納したり、外部装置に提供して描画させたりすることが可能となっている。しかしながら、上述のようにこれらのデータは外部メモり103にも格納されているで、これらを用いて当該情報処理装置で描画処理を行い、表示装置107に表示させるようにしても良いことはいうまでもない。
【0036】
以上説明したように本実施形態によれば、ポリゴンデータの各頂点に対応させるべき位置をテクスチャ原画像中で指定することが可能となり、貼り付け先のポリゴンデータが複雑な形状を有していても、簡単な操作でテクスチャデータの張り付けを行うことができる。
上記装置の機能もしくは方法の機能によって達成される本発明の目的は、前述の実施例のプログラムを記憶させた記憶媒体によっても達成できる。即ち、上記装置に、その記憶媒体を装着し、その記憶媒体から読み出したプログラム自体が本発明の新規な機能を達成するからである。この場合、記憶媒体としてフロッピーディスクを例に挙げて説明すると、該フロッピーディスクに格納された制御プログラムは、入出力インターフェース104に接続されたフロッピーディスクドライブより読み出されてメモリ部102のRAM102bにロードされ、CPU101によって実行される。本発明にかかるプログラムの構造的特徴は、図6に示す通りである。
【0037】
図6の(a)は、本プログラムの各処理モジュールによる制御の手順を表す図である。61は第1表示処理であり、1つまたは複数のポリゴンで構成されるポリゴン画像をウインドウ31の如く表示する。本処理は、上述のステップS203に相当する。また、62は第2表示処理であり、使用すべきテクスチャ画像を含むテクスチャ原画像をウインドウ42の如く表示する。本処理は上述のステップS205に相当する。
【0038】
また、63は指定処理であり、第1表示処理61で表示されたポリゴン画像のポリゴン上の点と、これに対応させるべき第2表示処理62で表示されたテクスチャ原画像上の点とを指定する。この処理では、ウインドウ31上のポリゴンの頂点とウインドウ42上のテクスチャ画像の対応する点との指定が行われるが、上記実施形態のように、貼り付け先のポリゴンを抽出してウインドウ41を表示してから頂点と対応点の指定を行うようにしても良い(ステップS205、S207〜S209)。
【0039】
64は付与処理であり、前記指定工程によって前記ポリゴン画像上で指定された点のそれぞれに、対応する対応点のテクスチャ原画像上における位置情報を付与する(ステップS211)。このとき、上記実施形態のようにテクスチャ原画像より対応点の存在する矩形領域を切り出してテクスチャ画像とすれば、テクスチャデータのサイズを小さくすることができて都合が良い(ステップS210)。
【0040】
65は出力処理であり、付与処理64でポリゴン上の点にテクスチャ原画像上の対応する点の位置情報が付与されたポリゴンデータと、該テクスチャ原画像を描画用データとして出力する(ステップS212)。
【0041】
図6の(b)は、記憶媒体における制御プログラムの格納状態の一例を表す。61’〜65’で示される各制御モジュールは、上記61〜65で示される処理を実行するためのプログラムコードを含む。
【0042】
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。この場合、本発明に係るプログラムを格納した記憶媒体が、本発明を構成することになる。そして、該記憶媒体からそのプログラムをシステム或は装置に読み出すことによって、そのシステム或は装置が、予め定められた仕方で動作する。
【0043】
【発明の効果】
以上説明したように、本発明によれば、ポリゴン画像上で指定された点の位置と必要なテクスチャ画像を含むテクスチャ原画像上で指定された点の位置とを自動的に関連させることが可能となるので、ポリゴンへのテクスチャ画像の貼り付け操作が容易となる。
【0044】
また、本発明によれば、ポリゴンに合わせたテクスチャ画像を予め容易することなく、ポリゴンの領域が適当に画像中に収まっている画像から、対話的にテクスチャをもつコンピュータグラフィクスデータを生成することが可能となる。
【0045】
【図面の簡単な説明】
【図1】本実施形態における情報処理装置の概略の構成を表すブロック図である。
【図2】テクスチャ画像をポリゴンへ貼り付ける際の処理手順を表すフローチャートである。
【図3】本実施形態のウインドウシステムにおける表示画面の様子を表す図である。
【図4】ポリゴンの頂点とテクスチャ原画像上の対応点を指示した状態を表す図である。
【図5】一般的なテクスチャ画像の獲得方法を説明する図である。
【図6】本実施の形態の制御を実現するための制御プログラムを格納した記憶媒体の構成を説明する図である。
【符号の説明】
101 CPU
102 記憶装置2
103 記憶装置1
104 入出力インターフェース
105 キーボード
106 ポインティングデバイス(マウス)
107 表示装置(ウインドウシステム)
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information processing method and apparatus for drawing a three-dimensional scene by computer graphics technology, and a computer control apparatus.
[0002]
[Prior art]
In drawing a three-dimensional scene by computer graphics, there is a method in which a surface shape is expressed using a polygon and a texture image is pasted on the polygon to draw a pattern on the surface. As a method for acquiring a texture image used in such computer graphics, the following method is generally known.
[0003]
A part to be used as a texture image is designated by a rectangle from the texture original image and cut out to prepare a texture image. Next, a corresponding position of the texture image is input to each vertex of the polygon to which the texture image is pasted. Based on the input position information, the texture image is attached to the polygon.
[0004]
[Problems to be solved by the invention]
However, since the texture image is cut out by a rectangle in the above-described conventional technique, it is very troublesome to give the position of each vertex to the polygon when the shape of the polygon to be pasted is not a rectangle. For example, when a part of a texture image cut out in a rectangle as shown in (b) is pasted on a polygon having vertices a to h as shown in (a) of FIG. 5, the following procedure is required. In other words, the corresponding positions a ′ to h ′ (positions indicated by ●) in the texture image are represented by the normalized coordinate values in the rectangle at the respective vertices a to h (points indicated by ●) of the polygon. Must be granted. Here, the normalized coordinates are coordinate values normalized so that each vertex of the rectangle is indicated by (0, 0), (1, 0), (1, 1), (0, 1), respectively. It is.
[0005]
As described above, according to the conventional method, since the user inputs the position indicating each position on the texture image with the coordinate value for each vertex on the polygon image, the operation is very troublesome.
[0006]
The present invention has been made in view of the above problems, and automatically associates the position of a point designated on a polygon image with the position of a point designated on a texture original image including a necessary texture image. It is an object of the present invention to provide an information processing method and apparatus that make it possible to easily apply a texture image to a polygon.
[0007]
In addition, the present invention makes it possible to interactively generate computer graphics data having a texture from an image in which a polygonal area is appropriately contained in the image without easily making a texture image matched to the polygon in advance. It is an object of the present invention to provide an information processing method and apparatus.
[0008]
[Means for Solving the Problems]
The information processing apparatus of the present invention that achieves the above object has the following configuration. That is,
First display means for displaying a polygon image composed of one or a plurality of polygons on a display screen ;
Second display means for displaying a texture original image including a texture image to be used on the display screen together with the polygon image displayed by the first display means; a polygon of the polygon image displayed by the first display means; Designating means for designating an upper point and a point on the texture original image displayed by the second display means to be associated with the upper point;
An assigning means for assigning position information of a point associated on the texture original image to each of the points designated on the polygon image by the designation means;
Polygon data in which position information of corresponding points on the texture original image is assigned to points on the polygon by the assigning means, and output means for outputting the texture original image as drawing data.
[0009]
Preferably, the point on the polygon designated by the designation means is each vertex of the polygon to which the texture image is pasted.
[0010]
Preferably, the designating unit includes a first designating unit that designates one or a plurality of polygons to which the texture image is to be pasted, and one or a plurality of polygons designated by the first designating unit. Third display means for extracting and displaying as a polygon image, and second designation means for designating each vertex of the polygon displayed by the third display means and a corresponding point in the texture image are provided. Since the polygon to which the texture is to be pasted is extracted and displayed, the texture to be pasted becomes clear and the apex and the like can be specified more easily.
[0011]
Preferably, the image processing apparatus further includes a cutting out unit that cuts out a region including the point specified by the specifying unit as a texture image from the texture original image displayed by the second display unit, and the adding unit includes the specifying unit by the specifying unit. Position information of the corresponding point on the texture image cut out by the cutout unit is assigned to each point specified on the polygon image, and the output unit adds the texture to the point on the polygon by the adding unit. Polygon data to which position information of corresponding points on the image is assigned and the texture image are output as drawing data. It becomes possible to cut out the texture image from the texture original image, it is possible to obtain a texture image that does not include an extra portion as much as possible, and to reduce the size of the texture data.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
[0013]
FIG. 1 is a block diagram illustrating a schematic configuration of an information processing apparatus according to the present embodiment. In the figure, reference numeral 101 denotes a CPU which executes various processes including the procedure of this embodiment. A memory unit 102 includes a ROM 102a that stores a control program describing a procedure executed by the CPU 101, and a RAM 102b that provides a work area when the CPU 101 executes various processes. Reference numeral 103 denotes an external memory that stores data to be processed such as polygon data, texture original images, texture data, and the like. An input / output interface 104 inputs / outputs data to be processed from the outside of the apparatus. For example, the input / output interface 104 realizes connection with a scanner for reading a texture original image.
[0014]
Reference numeral 105 denotes a keyboard which performs various inputs such as data selection. Reference numeral 106 denotes a pointing device, which uses a mouse in this embodiment, and designates a desired position on the display device 107. Reference numeral 107 denotes a display device that displays a processing status, a processing result, a processing process, and processing data. The display device 107 is display-controlled by a window system to realize multi-window display.
[0015]
Next, a process for pasting a texture image to a polygon in the information processing apparatus of the present embodiment having the above-described configuration will be described. FIG. 2 is a flowchart showing a processing procedure when a texture image is pasted on a polygon.
[0016]
In step S201, polygon data representing a three-dimensional shape is read through the input / output interface 104 and stored in the external memory 103 (polygon data 103a in FIG. 1). Polygon data can be created using an existing three-dimensional CAD tool or the like, and is data that represents a three-dimensional object or scene as a surface plate. The polygon data is data composed of a plurality of or one polygon.
[0017]
The polygon data is created in advance by a CAD system or the like and stored in a storage medium such as a floppy disk. For example, in the case of a floppy disk, polygon data is read using a floppy disk drive connected to the input / output interface 104. Note that polygon data may be created by executing an application such as CAD in the information processing apparatus. In this case, the created polygon data is directly stored in the external memory 103.
[0018]
In step S202, the texture original image is read. The texture original image is an image that is the basis of a texture to be pasted as a pattern on the surface of a polygon, and is a normal color image or grayscale image. In this step, as in step S201, input is performed through the input / output interface 104, and data is stored in the external memory 103 (texture original image 103b in FIG. 1). In this case, the input / output interface 104 is connected to, for example, a scanner that reads an image. Further, the texture original image read in this step is an image serving as the basis of the texture to be pasted on the polygon data read in step S201. Note that the texture original image stored in the external memory 103 may be plural or one.
[0019]
In step S203, polygon data is three-dimensionally drawn. In this step, first, one window is generated in the window system 107, and polygon data stored in 102 is drawn on the window as a three-dimensional scene. As a simple technique for drawing polygon data as a three-dimensional scene, for example, a technique of presenting an image that is projected on a plane to be projected on a window based on projective transformation of a polygon data at a three-dimensional position onto a two-dimensional plane is available. Can be mentioned. It should be noted that any other method may be used for drawing the polygon data.
[0020]
Next, in step S204, the mouse 106 is used to instruct a plurality or one polygon to which the texture is to be pasted from the polygon data drawn in step S203. An example of this is shown in FIG. FIG. 3 is a diagram illustrating a state of a display screen in the window system of the present embodiment. In FIG. 3, reference numeral 31 denotes a window displayed on the display device 107. In the window 31, three polygons in which polygon data is displayed three-dimensionally are interactively displayed in three windows. It shows how a polygon is selected. The selected polygon is displayed in a different color (indicated by hatching in FIG. 3). The polygon can be specified by moving the mouse cursor into a desired polygon area and clicking a mouse button.
[0021]
Next, in step 205, the polygon selected in step S204 is extracted and three-dimensionally drawn (see window 41 in FIG. 4). The three-dimensional drawing method is the same as in step S203. Further, the three-dimensional drawing image generated in this step is used for designating the vertexes of the polygon in the subsequent step S207.
[0022]
In step S206, a texture original image corresponding to the polygon selected in step S204 is selected from the texture original image group stored in the external memory 103, and a new window is displayed on the display device 107. Generate and display (see window 42 in FIG. 4). This is a step in which the operator selects a pattern to be attached to the polygon. In the window 42, a Japanese-style room is displayed as an original texture image. The texture original image shown in this window 42 is a color grayscale image.
[0023]
Next, in step S207, one vertex on the polygon drawn in the window 41 of FIG. 4 is designated using the mouse 106, and in step S208, a point on the texture original image corresponding to this vertex (hereinafter referred to as a corresponding point). The point is designated using the mouse 106. The processes in steps S207 and S208 are performed on all the vertices of the selected polygon (step S209). The relationship between the vertexes and the corresponding points for which the association is designated in the above process is stored in the external memory 103 as the corresponding point data 103d.
[0024]
FIG. 4 is a diagram illustrating a state in which the vertexes of the polygon and the corresponding points on the texture original image are designated. The extracted texture image is displayed in the window 41 of FIG. 4, and the texture original image (Japanese-style photographic image) is displayed in the window 42. As a result of designating the vertex of the polygon and the corresponding point in the texture original image (Each vertex and corresponding point are indicated by x). As a result, the corresponding point data is configured such that the corresponding point a ′ of the texture original image of the window 42 corresponds to the vertex a of the polygon image of the window 41 and the corresponding point b ′ similarly to the vertex b.
[0025]
Polygon vertices are not always associated with the entire image plane of the texture original image. For this reason, in step S210, an unnecessary area is cut out from the texture original image, and an image in the necessary area is cut out and stored as texture data in the external memory 103 (texture data 103c in FIG. 1). As a simple method of cutting out an image, there is a method of cutting out a rectangle including the image from a range on the image plane indicated by a point in the texture original image to which the vertex is associated. In the display example of the window 42 in FIG. 4, a rectangle including a quadrangle a′c′d′e ′ is cut out. Note that the rectangle to be cut out is desirably set so that the area thereof is minimized. This is because the size of the texture data can be further reduced.
[0026]
In step S211, position information of corresponding points in the cut texture image (texture data) is assigned to each vertex of the polygon. Since the corresponding point corresponding to each vertex is held as the corresponding point data 103d, it is only necessary to acquire the corresponding point with reference to this. Further, this position information indicates the position by an image coordinate value of the texture image, a value when the horizontal axis of the texture image is normalized (a value of 0 to 1), and the like. Polygon data in which information on each corresponding point in the texture image is added to each vertex is overwritten as polygon data 103a. Needless to say, polygon data with corresponding point information may be stored in a separate file.
[0027]
In step S212, the texture image and polygon data associated with the texture image are output as a result through the input / output interface 104.
[0028]
The user is inquired whether or not the processes in steps S203 to S212 are performed for other polygons. If the process is performed for other polygons, the process returns to step S203 (step S213). On the other hand, if there is an instruction to end the process, the process ends from step S213.
[0029]
Through the above procedure, it is possible to interactively associate polygon data representing only a three-dimensional shape with an image, and computer graphics data representing a surface pattern can be generated.
[0030]
[Other Embodiments]
(1) The step of outputting polygon data and texture data in step S212 may come after step S213.
[0031]
(2) The process of cutting out the texture data from the texture original image in step S210 is not limited to the method of cutting out a point on the image plane of the point in the texture original image associated with the vertex as a surrounding rectangle. Various methods are conceivable, such as generating rectangular texture data by linear or non-linear conversion.
[0032]
(3) There is a method in which step S204 and step S205 are omitted, and the polygon data created in step S203 is directly used in step S207. In this case, the polygon is not explicitly selected in advance, but the texture is attached to the polygon including the vertex selected for the association with the texture. For this reason, step S209 also verifies whether there are any vertices that are not designated among the polygons selected as vertices, rather than verifying whether the designation of vertices has been completed for all designated polygons. .
[0033]
(4) Although the mouse is used as the pointing device 106 in the above embodiment, the present invention is not limited to this. For example, it is obvious that a tablet or the like can be used.
[0034]
(5) In the above embodiment, a window system capable of displaying a plurality of windows is used as the display device 107. However, even if one screen can be used as only one window, within one screen (within a window). Can be substituted by dividing the display with.
[0035]
(6) In the above embodiment, the polygon data in which the corresponding point of the texture image is added to each vertex and the texture image are output via the input / output interface 104. In other words, these data can be stored in a storage medium such as a floppy disk or provided to an external device for drawing. However, as described above, since these data are also stored in the external memory 103, it is possible to perform drawing processing on the information processing apparatus using these data and display them on the display apparatus 107. Not too long.
[0036]
As described above, according to the present embodiment, it is possible to specify a position to be associated with each vertex of polygon data in the texture original image, and the polygon data to be pasted has a complicated shape. However, texture data can be pasted with a simple operation.
The object of the present invention achieved by the function of the above apparatus or the method can also be achieved by a storage medium storing the program of the above-described embodiment. That is, the storage medium is mounted on the apparatus and the program read from the storage medium achieves the new function of the present invention. In this case, if a floppy disk is taken as an example of the storage medium, the control program stored in the floppy disk is read from the floppy disk drive connected to the input / output interface 104 and loaded into the RAM 102b of the memory unit 102. And executed by the CPU 101. The structural features of the program according to the present invention are as shown in FIG.
[0037]
(A) of FIG. 6 is a figure showing the procedure of control by each processing module of this program. Reference numeral 61 denotes a first display process, which displays a polygon image composed of one or a plurality of polygons like a window 31. This process corresponds to step S203 described above. Reference numeral 62 denotes a second display process, which displays a texture original image including a texture image to be used like a window 42. This process corresponds to step S205 described above.
[0038]
Reference numeral 63 denotes a designation process that designates a point on the polygon of the polygon image displayed in the first display process 61 and a point on the texture original image displayed in the second display process 62 to be associated therewith. To do. In this process, the apex of the polygon on the window 31 and the corresponding point of the texture image on the window 42 are specified. As in the above embodiment, the pasted polygon is extracted and the window 41 is displayed. Then, apexes and corresponding points may be designated (steps S205 and S207 to S209).
[0039]
Reference numeral 64 denotes an adding process, in which position information on the texture original image of the corresponding corresponding point is assigned to each of the points specified on the polygon image in the specifying step (step S211). At this time, it is convenient to reduce the size of the texture data by cutting out a rectangular region having corresponding points from the texture original image as a texture image as in the above embodiment (step S210).
[0040]
Reference numeral 65 denotes an output process, in which polygon data in which position information of corresponding points on the texture original image is assigned to points on the polygon in the assigning process 64, and the texture original image are output as drawing data (step S212). .
[0041]
FIG. 6B shows an example of the storage state of the control program in the storage medium. Each control module shown by 61'-65 'contains the program code for performing the process shown by said 61-65.
[0042]
Further, the present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. Needless to say, the present invention can also be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, the storage medium storing the program according to the present invention constitutes the present invention. Then, by reading the program from the storage medium to the system or apparatus, the system or apparatus operates in a predetermined manner.
[0043]
【The invention's effect】
As described above, according to the present invention, it is possible to automatically associate the position of a point designated on a polygon image with the position of a point designated on a texture original image including a necessary texture image. Therefore, the operation of pasting the texture image onto the polygon becomes easy.
[0044]
Further, according to the present invention, it is possible to interactively generate computer graphics data having a texture from an image in which a polygon area is appropriately contained in the image without easily making a texture image matched with the polygon in advance. It becomes possible.
[0045]
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an information processing apparatus according to an embodiment.
FIG. 2 is a flowchart showing a processing procedure when a texture image is pasted on a polygon.
FIG. 3 is a diagram showing a state of a display screen in the window system of the present embodiment.
FIG. 4 is a diagram illustrating a state in which vertexes of a polygon and corresponding points on a texture original image are designated.
FIG. 5 is a diagram illustrating a general texture image acquisition method.
FIG. 6 is a diagram for explaining the configuration of a storage medium that stores a control program for realizing the control of the present embodiment;
[Explanation of symbols]
101 CPU
102 Storage device 2
103 storage device 1
104 I / O interface 105 Keyboard 106 Pointing device (mouse)
107 Display device (window system)

Claims (8)

1つまたは複数のポリゴンで構成されるポリゴン画像を表示画面に表示する第1表示手段と、
使用すべきテクスチャ画像を含むテクスチャ原画像を、前記第1表示手段によって表示された前記ポリゴン画像と共に前記表示画面に表示する第2表示手段と、
前記第1表示手段で表示されたポリゴン画像のポリゴン上の点と、これに対応させるべき前記第2表示手段で表示されたテクスチャ原画像上の点とを指定する指定手段と、
前記指定手段によって前記ポリゴン画像上で指定された点のそれぞれに、前記テクスチャ原画像上で対応付けられた点の位置情報を付与する付与手段と、
前記付与手段でポリゴン上の点にテクスチャ原画像上の対応する点の位置情報が付与されたポリゴンデータと、該テクスチャ原画像を描画用データとして出力する出力手段と
を備えることを特徴とする情報処理装置。
First display means for displaying a polygon image composed of one or a plurality of polygons on a display screen ;
Second display means for displaying a texture original image including a texture image to be used on the display screen together with the polygon image displayed by the first display means;
Designating means for designating a point on the polygon of the polygon image displayed by the first display means and a point on the texture original image displayed by the second display means to be associated therewith;
An assigning means for assigning position information of a point associated on the texture original image to each of the points designated on the polygon image by the designation means;
Information comprising: polygon data in which position information of corresponding points on the texture original image is assigned to points on the polygon by the assigning means; and output means for outputting the texture original image as drawing data Processing equipment.
前記指定手段において指定されるポリゴン上の点は、前記テクスチャ画像の貼り付け先となるポリゴンの各頂点である
ことを特徴とする請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the point on the polygon designated by the designation unit is each vertex of the polygon to which the texture image is pasted.
前記指定手段は、
前記テクスチャ画像の貼り付け先となる1つ又は複数のポリゴンを指定する第1指定手段と、
前記第1指定手段で指定された1つ又は複数のポリゴンを抽出し、ポリゴン画像として表示する第3表示手段と、
前記第3表示手段で表示されたポリゴンの各頂点と前記テクスチャ画像中の対応する点を指定する第2指定手段とを備える
ことを特徴とする請求項1に記載の情報処理装置。
The designation means is:
First designation means for designating one or a plurality of polygons to which the texture image is to be pasted;
Third display means for extracting one or a plurality of polygons designated by the first designation means and displaying them as polygon images;
The information processing apparatus according to claim 1, further comprising: second designation means for designating each vertex of the polygon displayed by the third display means and a corresponding point in the texture image.
前記第2表示手段で表示されたテクスチャ原画像より、前記指定手段で指定された点を含む領域をテクスチャ画像として切り出す切出し手段を更に備え、
前記付与手段は、前記指定手段によって前記ポリゴン画像上で指定された点のそれぞれに、前記切出し手段で切り出されたテクスチャ画像上の対応する点の位置情報を付与し、
前記出力手段は、前記付与手段でポリゴン上の点に前記テクスチャ画像上の対応する点の位置情報が付与されたポリゴンデータと、該テクスチャ画像を描画用データとして出力する
ことを特徴とする請求項1に記載の情報処理装置。
From the texture original image displayed by the second display means, further comprising a cutting means for cutting out a region including the point designated by the designation means as a texture image,
The assigning means assigns position information of a corresponding point on the texture image cut out by the cutout means to each of the points specified on the polygon image by the specifying means,
The output means outputs polygon data in which position information of corresponding points on the texture image is assigned to points on the polygon by the assigning means, and the texture image is output as drawing data. The information processing apparatus according to 1.
1つまたは複数のポリゴンで構成されるポリゴン画像を表示画面に表示する第1表示工程と、
使用すべきテクスチャ画像を含むテクスチャ原画像を、前記第1表示工程によって表示された前記ポリゴン画像と共に前記表示画面に表示する第2表示工程と、
前記第1表示工程で表示されたポリゴン画像のポリゴン上の点と、これに対応させるべき前記第2表示工程で表示されたテクスチャ原画像上の点とを指定する指定工程と、
前記指定工程によって前記ポリゴン画像上で指定された点のそれぞれに、前記テクスチャ原画像上で対応付けられた点の位置情報を付与する付与工程と、
前記付与工程でポリゴン上の点にテクスチャ原画像上の対応する点の位置情報が付与されたポリゴンデータと、該テクスチャ原画像を描画用データとして出力する出力工程と
を備えることを特徴とする情報処理方法。
A first display step for displaying a polygon image composed of one or a plurality of polygons on a display screen ;
A second display step of displaying a texture original image including a texture image to be used on the display screen together with the polygon image displayed by the first display step;
A designation step for designating a point on the polygon of the polygon image displayed in the first display step and a point on the texture original image displayed in the second display step to be associated with the polygon image;
An assigning step of assigning position information of the points associated on the texture original image to each of the points designated on the polygon image by the designation step;
Information comprising: polygon data in which position information of corresponding points on the texture original image is assigned to points on the polygon in the assigning step; and an output step of outputting the texture original image as drawing data Processing method.
前記指定工程において指定されるポリゴン上の点は、前記テクスチャ画像の貼り付け先となるポリゴンの各頂点である
ことを特徴とする請求項5に記載の情報処理方法。
6. The information processing method according to claim 5, wherein the point on the polygon designated in the designation step is each vertex of the polygon to which the texture image is pasted.
前記指定工程は、
前記テクスチャ画像の貼り付け先となる1つ又は複数のポリゴンを指定する第1指定工程と、
前記第1指定工程で指定された1つ又は複数のポリゴンを抽出し、ポリゴン画像として表示する第3表示工程と、
前記第3表示工程で表示されたポリゴンの各頂点と前記テクスチャ画像中の対応する点を指定する第2指定工程とを備える
ことを特徴とする請求項5に記載の情報処理方法。
The designation step includes
A first specifying step of specifying one or more polygons to which the texture image is to be pasted;
A third display step of extracting one or a plurality of polygons designated in the first designation step and displaying them as polygon images;
The information processing method according to claim 5, further comprising: a second designation step of designating each vertex of the polygon displayed in the third display step and a corresponding point in the texture image.
前記第2表示工程で表示されたテクスチャ原画像より、前記指定工程で指定された点を含む領域をテクスチャ画像として切り出す切出し工程を更に備え、
前記付与工程は、前記指定工程によって前記ポリゴン画像上で指定された点のそれぞれに、前記切出し工程で切り出されたテクスチャ画像上の対応する点の位置情報を付与し、
前記出力工程は、前記付与工程でポリゴン上の点に前記テクスチャ画像上の対応する点の位置情報が付与されたポリゴンデータと、該テクスチャ画像を描画用データとして出力する
ことを特徴とする請求項5に記載の情報処理方法。
From the texture original image displayed in the second display step, further comprising a cutting-out step of cutting out a region including the point designated in the designation step as a texture image,
In the assigning step, position information of a corresponding point on the texture image cut out in the cutout step is given to each of the points specified on the polygon image in the specifying step,
The output step outputs polygon data in which position information of corresponding points on the texture image is assigned to points on the polygon in the assigning step, and the texture image is output as drawing data. 5. The information processing method according to 5.
JP25278895A 1995-09-29 1995-09-29 Information processing method and apparatus, and computer control apparatus Expired - Fee Related JP3610130B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP25278895A JP3610130B2 (en) 1995-09-29 1995-09-29 Information processing method and apparatus, and computer control apparatus
US08/721,219 US6400369B1 (en) 1995-09-29 1996-09-26 Information processing method and apparatus for generating texture-data for computer graphics
DE69630752T DE69630752T2 (en) 1995-09-29 1996-09-27 Image processing method and apparatus
EP96307096A EP0766206B1 (en) 1995-09-29 1996-09-27 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25278895A JP3610130B2 (en) 1995-09-29 1995-09-29 Information processing method and apparatus, and computer control apparatus

Publications (2)

Publication Number Publication Date
JPH0997350A JPH0997350A (en) 1997-04-08
JP3610130B2 true JP3610130B2 (en) 2005-01-12

Family

ID=17242274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25278895A Expired - Fee Related JP3610130B2 (en) 1995-09-29 1995-09-29 Information processing method and apparatus, and computer control apparatus

Country Status (1)

Country Link
JP (1) JP3610130B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3517256B2 (en) * 1993-03-23 2004-04-12 大日本印刷株式会社 Image synthesis device
JP3327986B2 (en) * 1993-04-15 2002-09-24 株式会社ソニー・コンピュータエンタテインメント Image creation device

Also Published As

Publication number Publication date
JPH0997350A (en) 1997-04-08

Similar Documents

Publication Publication Date Title
US6867787B1 (en) Character generator and character generating method
US20010056308A1 (en) Tools for 3D mesh and texture manipulation
JPH1049704A (en) Image conversion method
JPWO2004107271A1 (en) 3D graphics data display device
JPH118814A (en) Digital photograph processing system
JP2837584B2 (en) How to create terrain data
JP3610130B2 (en) Information processing method and apparatus, and computer control apparatus
JP4839760B2 (en) Image generation device, image generation method, etc.
US6633291B1 (en) Method and apparatus for displaying an image
US6400369B1 (en) Information processing method and apparatus for generating texture-data for computer graphics
JP2701056B2 (en) Secondary representation method for three-dimensional objects
JP2020013390A (en) Information processing apparatus, information processing program, and information processing method
JP2000057376A (en) Method for generating new viewpoint image
KR102641060B1 (en) Image processing method and apparatus for facilitating 3d object editing by a user
JP2002092649A (en) Device and method for processing image and storage medium
JP3076428B2 (en) 3D shape modeling method
JP3362520B2 (en) Image forming device
JP2937374B2 (en) Interactive graphics processor
JPH07271998A (en) Method and device for three-dimensional display
JP2002312810A (en) Device and method for generating composite moving image
JP2000172879A (en) Method and device for dividing shape, storage medium storing shape dividing program, and manufacture of the device
JP2001319246A (en) Method and device for processing information
JP2000268202A (en) Device and method for making display element to be stereoscopic
JPH0661089B2 (en) Two-dimensional representation method of three-dimensional object
JPH07302322A (en) Picture display device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040702

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041018

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071022

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081022

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091022

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091022

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101022

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101022

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111022

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111022

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121022

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees