JP2004110330A - 画像生成装置及びコンピュータプログラム - Google Patents

画像生成装置及びコンピュータプログラム Download PDF

Info

Publication number
JP2004110330A
JP2004110330A JP2002271009A JP2002271009A JP2004110330A JP 2004110330 A JP2004110330 A JP 2004110330A JP 2002271009 A JP2002271009 A JP 2002271009A JP 2002271009 A JP2002271009 A JP 2002271009A JP 2004110330 A JP2004110330 A JP 2004110330A
Authority
JP
Japan
Prior art keywords
vertex
object data
scene
input
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002271009A
Other languages
English (en)
Other versions
JP4023269B2 (ja
Inventor
Hayato Nakao
中尾 早人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2002271009A priority Critical patent/JP4023269B2/ja
Publication of JP2004110330A publication Critical patent/JP2004110330A/ja
Application granted granted Critical
Publication of JP4023269B2 publication Critical patent/JP4023269B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Generation (AREA)

Abstract

【課題】従来は、物体データ毎の頂点数のバラツキが大きい場合、特定の頂点処理ユニットに処理が集中し、頂点処理ユニットを並列化したメリットが十分に生かせない。
【解決手段】物体データ分配部11は、入力されたシーンデータの先頭部がシーンヘッダ及び物体ヘッダのいずれであるか判定し、シーンヘッダが入力されたと判定したときには、頂点カウント部12−0〜12−3をそれぞれリセットする。また、シーンデータ入力部10内の物体データ分配部11は、入力されたシーンデータが物体ヘッダであると判定したときには、頂点カウント部12−0〜12−3の積算値のうち、最も積算値が小さな頂点カウント部のみへ物体データを出力する。その頂点カウント部は入力物体データの頂点の数を積算して、対応する頂点処理ユニットへ物体データを出力する。
【選択図】      図1

Description

【0001】
【発明の属する技術分野】
本発明は画像生成装置及びコンピュータプログラムに係り、特に複数の頂点処理ユニットでコンピュータグラフィックスによる3次元形状物体の透視変換を並列に行う画像生成装置及びコンピュータプログラムに関する。
【0002】
【従来の技術】
コンピュータグラフィックス(CG)における画像生成装置では、3次元形状物体を3次元空間に配置した基本形状である複数の多角形によって表現し、3次元空間における視点位置、光源位置を決め、視点から見た画像を生成する。近年の画像生成装置では、表示の高画質化が益々要求されるようになり、そのため上記の多角形数の飛躍的増加のために処理能力の高速化が要求されている。
【0003】
そこで、処理能力の高速化のために、複数の頂点処理ユニットで3次元形状物体の透視変換を並列に行うようにした画像生成装置が従来より知られている(特許文献1参照)。図3はこの従来の画像生成装置の一例のブロック図を示す。同図において、シーンデータはシーンデータ入力部1内の物体データ分配部2に供給され、ここで次段の4つの頂点処理ユニット3−0、3−1、3−2、3−3に順次巡回的に物体データを供給する。
【0004】
4並列に設けられた頂点処理ユニット3−0、3−1、3−2、3−3のそれぞれは、入力された物体データに対して、その多角形の頂点、光源、視点を定義した3次元座標を、視点が原点で視線の向きがZ軸と平行な3次元座標(視点座標系)に変換するモデリング・視野変換を行った後、光源座標、光線の向き、光源の種類、光源の色、多角形の頂点座標、多角形の法線ベクトル、多角形が表現している物体の色から多角形の頂点における輝度を計算する頂点輝度計算を行い、続いて視点座標系において視点から見てスクリーンを透視した空間の透視座標系への変換(透視変換)を行う。
【0005】
上記の処理を行う頂点処理ユニット3−0、3−1、3−2、3−3のそれぞれから処理後の物体データが出力され、通信バス4を介して画素処理ユニット5−0、5−1、5−2、5−3に供給される。画素処理ユニットの並列数は、画面の分割数に等しく、ここでは画面を4分割表示する例を示している。
【0006】
画素処理ユニット5−0、5−1、5−2、5−3のそれぞれにおいては、入力された物体データに対して、透視座標系において所定の範囲から出ている多角形のクリッピングを行うXYZ面クリッピング、透視座標系のデータをスクリーン座標系に変換するビューポート変換、多角形頂点の輝度とZ値(奥行き値)とを内挿して、多角形内部の画素の輝度とZ値を求める頂点輝度・Z値内挿、内挿で求めたZ値とフレームバッファからのZ値とを比較し、Z値比較により内挿で求めたZ値の方が小さい時にのみ、上記のフレームバッファに内挿で求めた輝度とZ値を書き込むという、一連の公知の処理を順次に行う。
【0007】
このようにして画素処理ユニット5−0、5−1、5−2、5−3のそれぞれにおいて、すべてのシーンデータを処理して得られた輝度データは、画像出力部6を通して出力される。この従来の画像生成装置によれば、物体データ毎の透視変換を行う頂点処理ユニットを複数(図3の例では4つ)並列に設けて並列処理を行うと共に、画素処理ユニットも複数(図3の例では4つ)並列に設けて並列処理を行うようにしたため、高速に画像生成を行うことができる。
【0008】
【特許文献1】
特開2001−357412号公報(第3−4頁、図1)
【0009】
【発明が解決しようとする課題】
上記の従来の画像生成装置では、物体データ分配部2に頂点処理ユニットの並列数分カウントできるカウントを持ち、物体データ分配部2に物体データが入力されると、そのカウントの現在のカウント値を1だけインクリメントし、そのカウント値に応じた順番の頂点処理ユニットに物体データを分配する。従って、図3の従来の画像生成装置では、頂点処理ユニットが3−0〜3−3の4つ並列に設けられているので、物体データ分配部2は2ビットのバイナリカウンタを持ち、物体データが入力される毎にカウント値が0、1、2、3、0、1、・・・と順次巡回的に変化し、そのカウント値に対応する頂点処理ユニット3−0、3−1、3−2、3−3、3−0、3−1、・・・に物体データが順次に分配入力される。
【0010】
しかるに、上記の従来の画像生成装置では、物体データ毎の頂点数のバラツキが大きい場合、特定の頂点処理ユニットに処理が集中し、頂点処理ユニットを並列化したメリットが十分に生かせないという問題がある。
【0011】
本発明は以上の点に鑑みなされたもので、物体データ毎の頂点数のバラツキが大きい場合でも、特定の頂点処理ユニットに処理が集中しないようにし、もって画像生成を高速化し得る画像生成装置及びコンピュータプログラムを提供することを目的とする。
【0012】
【課題を解決するための手段】
上記の目的を達成するため、本発明の画像生成装置は、入力された物体データに基づき、3次元形状物体の透視変換を複数の頂点処理ユニットで並列に行うようにした画像生成装置において、複数の頂点処理ユニットに、1対1に対応して設けられた複数の頂点カウント部と、物体データと各物体データの先頭に付加された物体ヘッダとを含み、シーンが変化した場合には更に物体ヘッダの先頭にシーンヘッダが付加されるシーンデータを入力として受け、複数の頂点カウンタ部をリセットするか、所定の頂点カウンタ部へ入力物体データを分配出力する物体データ分配部とを備え、頂点カウント部は、入力された物体データの頂点数を積算すすると共に、入力された物体データを対応して設けられた一の頂点処理ユニットに出力し、物体データ分配部は、入力されたシーンデータの先頭部がシーンヘッダであるときには複数の頂点カウント部をそれぞれリセットし、入力されたシーンデータの先頭部が物体ヘッダであるときには、複数の頂点カウント部の積算値を大小比較し、最も小さな積算値を示す頂点カウント部へ該物体ヘッダに続く入力物体データを分配出力する構成としたものである。
【0013】
この発明では、頂点カウント部が複数の頂点処理ユニットのうち対応して設けられている頂点処理ユニットに入力される物体データの頂点の積算値をカウントしており、新たな物体データの入力時は複数の頂点カウント部の積算値を大小比較して最も小さな積算値を示す頂点カウント部へ新たな物体データを出力するようにしたため、それまでに入力された物体データの頂点の数の積算値が最も少ない頂点カウント部を通して対応する頂点処理ユニットへ新たな物体データを入力することができる。
【0014】
また、上記の目的を達成するため、本発明のコンピュータプログラムは、入力された物体データに基づき、3次元形状物体の透視変換を複数の頂点処理ユニットで並列に行うようにした画像生成装置で用いられるコンピュータプログラムであって、コンピュータを、入力された物体データの頂点数を積算すると共に、入力された物体データを複数の頂点処理ユニットのうち対応して設けられた一の頂点処理ユニットへ出力する複数の頂点カウント手段と、物体データと各物体データの先頭に付加された物体ヘッダとを含み、シーンが変化した場合には更に物体ヘッダの先頭にシーンヘッダが付加されるシーンデータを入力として受け、入力されたシーンデータの先頭部がシーンヘッダであることを検出したときには、複数の頂点カウント手段をそれぞれリセットするリセット手段と、入力されたシーンデータの先頭部が物体ヘッダであることを検出したときには、複数の頂点カウント手段の積算値を大小比較する比較手段と、比較手段により最も小さな積算値を示す頂点カウント手段へ、物体ヘッダに続く入力物体データを分配出力する物体データ分配手段として機能させることを特徴とする。
【0015】
この発明では、頂点カウント手段が複数の頂点処理ユニットのうち対応して設けられている頂点処理ユニットに入力される物体データの頂点の積算値をカウントしており、新たな物体データの入力時は複数の頂点カウント手段の積算値を大小比較して最も小さな積算値を示す頂点カウント手段へ新たな物体データを出力するようにしたため、それまでに入力された物体データの頂点の数の積算値が最も少ない頂点カウント手段へ新たな物体データを入力する処理をコンピュータに行わせることができる。
【0016】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図1は本発明になる画像生成装置の一実施の形態のブロック図を示す。同図中、図3と同一構成部分には同一符号を付し、その説明を省略する。図1において、画像生成装置は、シーンデータ入力部10と、並列に設けられた頂点処理ユニット3−0〜3−3と、通信バス4と、通信バス4を通して頂点処理ユニット3−0〜3−3から物体データが入力される並列に設けられた画素処理ユニット5−0〜5−3と、画素処理ユニット5−0〜5−3からの輝度データを入力として受け、画像データとして出力する画像出力部6とから構成されている。
【0017】
本実施の形態の画像生成装置は、シーンデータ入力部10の構成に特徴があり、頂点処理ユニット3−0〜3−3以降の処理は従来の画像生成装置と同様である。シーンデータ入力部10は、シーンデータを入力として受け、物体データを分配する物体データ分配部11と、物体データ分配部11に対して並列に設けられた頂点カウント部12−0、12−1、12−2及び12−3とから構成されている。頂点カウント部12−0〜12−3は、頂点処理ユニット3−0〜3−3に1対1に対応して設けられている。
【0018】
次に、本実施の形態の動作について、図2のフローチャートを併せ参照して説明する。図1のシーンデータ入力部10に入力されるシーンデータの先頭には、シーンの最初を示す所定の固定パターンのシーンヘッダが付加されている。また、シーンデータには物体データが含まれており、物体データには物体の頂点座標・頂点連結情報を含んでいる。また、物体データの先頭には所定の固定パターンの物体ヘッダが付加されている。すなわち、シーンデータは、物体データと各物体データの先頭に付加された物体ヘッダとを含み、シーンが変化した場合には更に物体ヘッダの先頭にシーンヘッダが付加された構成で、シーンデータの先頭部には、シーンヘッダ又は物体ヘッダが付加されている。
【0019】
シーンデータ入力部10内の物体データ分配部11は、入力されたシーンデータの先頭部がシーンヘッダ及び物体ヘッダのいずれであるか判定する(ステップS1、S3)。シーンヘッダが入力されたと判定したときには、頂点カウント部12−0〜12−3をそれぞれリセットする(ステップS2)。また、シーンデータ入力部10内の物体データ分配部11は、入力されたシーンデータが物体ヘッダであると判定したときには、まず、頂点カウント部12−0〜12−3のうち、最も積算値(カウント値)が小さい頂点カウント部が第1の頂点カウント部12−0であるかどうか判定する(ステップS4)。
【0020】
頂点カウント部12−0の積算値が最も小であれば、頂点カウント部12−0に物体データを配分する(ステップS5)。頂点カウント部12−0は入力された物体データが示す物体の頂点数を積算すると共に、入力された物体データを頂点処理ユニット3−0へ出力する(ステップS6)。
【0021】
一方、物体データ分配部11は、ステップS4で最も積算値(カウント値)が小さい頂点カウント部が第1の頂点カウント部12−0でないと判定したときには、最も積算値(カウント値)が小さい頂点カウント部が第2の頂点カウント部12−1であるかどうか判定する(ステップS7)。
【0022】
頂点カウント部12−1の積算値が最も小であれば、頂点カウント部12−1に物体データを配分する(ステップS8)。頂点カウント部12−1は入力された物体データが示す物体の頂点数を積算すると共に、入力された物体データを頂点処理ユニット3−1へ出力する(ステップS9)。
【0023】
一方、物体データ分配部11は、ステップS7で最も積算値(カウント値)が小さい頂点カウント部が第2の頂点カウント部12−1でないと判定したときには、最も積算値(カウント値)が小さい頂点カウント部が第3の頂点カウント部12−2であるかどうか判定する(ステップS10)。
【0024】
頂点カウント部12−2の積算値が最も小であれば、頂点カウント部12−2に物体データを配分する(ステップS11)。頂点カウント部12−2は入力された物体データが示す物体の頂点数を積算すると共に、入力された物体データを頂点処理ユニット3−2へ出力する(ステップS12)。
【0025】
一方、物体データ分配部11は、ステップS10で最も積算値(カウント値)が小さい頂点カウント部が第3の頂点カウント部12−2でないと判定したときには、最も積算値(カウント値)が小さい頂点カウント部が第4の頂点カウント部12−3であるとみなして、頂点カウント部12−3に物体データを配分する(ステップS13)。頂点カウント部12−3は入力された物体データが示す物体の頂点数を積算すると共に、入力された物体データを頂点処理ユニット3−3へ出力する(ステップS14)。
【0026】
ステップS2、S3、S6、S9、S12及びS14のうち、いずれか一のステップの処理が終了すると、ステップS1に戻り、物体データ分配部11は処理を最初から繰り返す。
【0027】
このように、本実施の形態によれば、物体データ分配部11が頂点処理ユニット3−0〜3−3に1対1に対応して4つ設けられた頂点カウント部12−0〜12−3の、対応して設けられた頂点処理ユニット3−0〜3−3に対して分配入力した物体データの頂点の積算数を示す積算値を大小比較し、最も積算値の小さな頂点カウント部に物体データを分配入力するようにしたため、頂点処理ユニット3−0〜3−3のうち、処理している物体データの頂点の積算数の最も小さな一の頂点処理ユニットに物体データが常に入力され、その結果、物体毎の頂点数のバラツキが大きい場合でも、特定の頂点処理ユニットに処理が集中しないようにできる。これにより、頂点処理ユニット3−0〜3−3はそれぞれ分散して頂点処理を並列に行うことができるので、画像生成の高速化が可能となる。
【0028】
なお、上記のシーンデータ入力部10の物体データ分配部11及び頂点カウント部12−0〜12−3の動作を、コンピュータプログラムによりコンピュータのソフトウェア動作で行わせることもできる。
【0029】
なお、本発明は上記の実施の形態に限定されるものではなく、例えば頂点処理ユニットの数は4以外の複数であってもよく、画素処理ユニットの数も4以外の複数であってもよい。ただし、頂点カウント部の並列数は、頂点処理ユニットの並列数と同数とする必要がある。
【0030】
【発明の効果】
以上説明したように、本発明によれば、頂点カウント部が複数の頂点処理ユニットのうち対応して設けられている頂点処理ユニットに入力される物体データの頂点の積算値をカウントしており、新たな物体データの入力時は、それまでに入力された物体データの頂点の数の積算値が最も少ない頂点カウント部へ新たな物体データを入力するようにしたため、物体データ毎の頂点数のバラツキが大きい場合でも、特定の頂点処理ユニットに処理が集中しないようにでき、この結果、複数の頂点処理ユニットを常時並列に動作させることができ、画像生成の高速化を実現できる。
【図面の簡単な説明】
【図1】本発明の一実施の形態のブロック図である。
【図2】図1の要部の動作説明用フローチャートである。
【図3】従来の一例のブロック図である。
【符号の説明】
3−0〜3−3 頂点処理ユニット
4 通信バス
5−0〜5−3 画素処理ユニット
6 画像出力部
10 シーンデータ入力部
11 物体データ分配部
12−0〜12−3 頂点カウント部

Claims (2)

  1. 入力された物体データに基づき、3次元形状物体の透視変換を複数の頂点処理ユニットで並列に行うようにした画像生成装置において、
    前記複数の頂点処理ユニットに、1対1に対応して設けられた複数の頂点カウント部と、
    前記物体データと各物体データの先頭に付加された物体ヘッダとを含み、シーンが変化した場合には更に前記物体ヘッダの先頭にシーンヘッダが付加されるシーンデータを入力として受け、前記複数の頂点カウンタ部をリセットするか、所定の頂点カウンタ部へ入力物体データを分配出力する物体データ分配部と
    を備え、前記頂点カウント部は、入力された前記物体データの頂点数を積算すすると共に、入力された前記物体データを対応して設けられた一の前記頂点処理ユニットに出力し、前記物体データ分配部は、入力された前記シーンデータの先頭部が前記シーンヘッダであるときには前記複数の頂点カウント部をそれぞれリセットし、入力された前記シーンデータの先頭部が前記物体ヘッダであるときには、前記複数の頂点カウント部の積算値を大小比較し、最も小さな積算値を示す頂点カウント部へ該物体ヘッダに続く入力物体データを分配出力することを特徴とする画像生成装置。
  2. 入力された物体データに基づき、3次元形状物体の透視変換を複数の頂点処理ユニットで並列に行うようにした画像生成装置で用いられるコンピュータプログラムであって、
    コンピュータを、
    入力された物体データの頂点数を積算すると共に、入力された物体データを前記複数の頂点処理ユニットのうち対応して設けられた一の頂点処理ユニットへ出力する複数の頂点カウント手段と、
    前記物体データと各物体データの先頭に付加された物体ヘッダとを含み、シーンが変化した場合には更に前記物体ヘッダの先頭にシーンヘッダが付加されるシーンデータを入力として受け、入力された前記シーンデータの先頭部が前記シーンヘッダであることを検出したときには、前記複数の頂点カウント手段をそれぞれリセットするリセット手段と、
    入力された前記シーンデータの先頭部が前記物体ヘッダであることを検出したときには、前記複数の頂点カウント手段の積算値を大小比較する比較手段と、
    前記比較手段により最も小さな積算値を示す頂点カウント手段へ、前記物体ヘッダに続く入力物体データを分配出力する物体データ分配手段と
    して機能させることを特徴とするコンピュータプログラム。
JP2002271009A 2002-09-18 2002-09-18 画像生成装置及びコンピュータプログラム Expired - Fee Related JP4023269B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002271009A JP4023269B2 (ja) 2002-09-18 2002-09-18 画像生成装置及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002271009A JP4023269B2 (ja) 2002-09-18 2002-09-18 画像生成装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2004110330A true JP2004110330A (ja) 2004-04-08
JP4023269B2 JP4023269B2 (ja) 2007-12-19

Family

ID=32268449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002271009A Expired - Fee Related JP4023269B2 (ja) 2002-09-18 2002-09-18 画像生成装置及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP4023269B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007132746A1 (ja) * 2006-05-11 2007-11-22 Panasonic Corporation 処理装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4420208B2 (ja) * 2004-05-27 2010-02-24 マックス株式会社 ステープラーのクリンチャ装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007132746A1 (ja) * 2006-05-11 2007-11-22 Panasonic Corporation 処理装置
JPWO2007132746A1 (ja) * 2006-05-11 2009-09-24 パナソニック株式会社 処理装置
JP4759614B2 (ja) * 2006-05-11 2011-08-31 パナソニック株式会社 処理装置
JP2011175656A (ja) * 2006-05-11 2011-09-08 Panasonic Corp 処理装置
US8180182B2 (en) 2006-05-11 2012-05-15 Panasonic Corporation Processing device for processing plurality of polygon meshes, the device including plurality of processors for performing coordinate transformation and gradient calculations and an allocation unit to allocate each polygon to a respective processor
US8331734B2 (en) 2006-05-11 2012-12-11 Panasonic Corporation Processing method and device for processing a polygon mesh that approximates a three-dimensional object with use of a polygonal shape

Also Published As

Publication number Publication date
JP4023269B2 (ja) 2007-12-19

Similar Documents

Publication Publication Date Title
KR100959470B1 (ko) 확장가능한 고성능 3d 그래픽
JP4725741B2 (ja) 描画装置及び描画方法
US6188383B1 (en) Method, apparatus and computer program for image resolution conversion
US7420559B2 (en) Video rendering apparatus and method and program
US20050259100A1 (en) Graphic processing apparatus, graphic processing system, graphic processing method and graphic processing program
US20090278845A1 (en) Image generating device, texture mapping device, image processing device, and texture storing method
EP1295256B1 (en) Method and system for image rendering with tiles
CN114049421A (zh) 基于cpu的静态场景光线追踪棋盘渲染方法、系统及存储介质
US20070030359A1 (en) Image processing apparatus, image processing method, and computer program
US9269181B2 (en) Texture mapping device
JPH0660173A (ja) 画像を縮小する方法および装置
JP4023269B2 (ja) 画像生成装置及びコンピュータプログラム
JP4664169B2 (ja) 図形描画装置及び図形描画プログラム
JP3587105B2 (ja) 図形データ処理装置
US10311553B2 (en) Image-processing device
JP3626709B2 (ja) アンチエイリアス処理装置
US6859205B1 (en) Apparatus and method for drawing lines
US8417063B2 (en) Image processing apparatus and image processing system
JP3724340B2 (ja) 画像生成装置及び方法
WO2023058239A1 (ja) 描画装置
CN113409436A (zh) 一种菱形像素排列的体绘制方法
US7109992B2 (en) Apparatus for generating efficient wide-line ends
JP6174873B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2011159305A (ja) 描画装置及び描画方法
JP2002342777A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070924

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131012

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees