JP2005137883A - Mtf測定方法および装置 - Google Patents

Mtf測定方法および装置 Download PDF

Info

Publication number
JP2005137883A
JP2005137883A JP2004205729A JP2004205729A JP2005137883A JP 2005137883 A JP2005137883 A JP 2005137883A JP 2004205729 A JP2004205729 A JP 2004205729A JP 2004205729 A JP2004205729 A JP 2004205729A JP 2005137883 A JP2005137883 A JP 2005137883A
Authority
JP
Japan
Prior art keywords
image
coordinates
mtf
center
lsf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004205729A
Other languages
English (en)
Other versions
JP4102785B2 (ja
Inventor
Sueri Wan
スエリ ワン
Yan Xiongwei
ションウェイ ヤン
Ding Wei
ウェイ ディン
Makoto Gono
誠 郷野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Publication of JP2005137883A publication Critical patent/JP2005137883A/ja
Application granted granted Critical
Publication of JP4102785B2 publication Critical patent/JP4102785B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02Testing optical properties
    • G01M11/0292Testing optical properties of objectives by measuring the optical modulation transfer function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

【課題】 MTFを精度良く測定する方法および装置を実現する。
【解決手段】 MTFを計算するためにLSF像の中心を検出するにあたり、LSF像を含む部分の拡大画像を作成し(205)、拡大画像を閾値に基づいて2値化し(207)、2値化された画像についてモルフォロジカル・オペレーションを行い(209)、オペレーション後の画像の輪郭座標を求め(211)、輪郭座標を用いてハフ変換により円の中心座標を求め(213)、それを元画像における座標に変換する(215)。
【選択図】 図2

Description

本発明は、MTF(modulation transfer function)測定方法および装置に関し、特に、LSF(line spread function)のフーリエ(Fourier)変換によりMTFを求める方法および装置に関する。
MTFは変調伝達関数とも呼ばれ、X線CT装置の再構成画像の空間分解能を表すので、X線CT装置の性能評価に利用される。MTFは、再構成画像におけるLSF(line spread function)像をフーリエ変換することによって求められる(例えば、非特許文献1参照)。
岩井喜典編、「電子工学進歩シリーズ 9 CTスキャナ −X線コンピュータ断層撮影装置−」、株式会社コロナ社、昭和55年5月、p.66−68
MTFを精度良く求めるには、LSFの中心を正しく検出することが肝要である。LSFの中心はLSF像の画素値が最大になる点として検出されるが、ノイズ(noise)等の影響により位置誤差を生じやすいので、MTFを精度良く測定することは困難である。
そこで、本発明の課題は、MTFを精度良く測定する方法および装置を実現することである。
(1)上記の課題を解決するためのひとつの観点での発明は、X線CT装置で撮影して得られた断層像におけるLSF像の中心を検出し、前記中心を基準として前記LSF像を2次元フーリエ変換することによりMTFを求める方法であって、前記中心の検出を、前記断層像における前記LSF像を含む部分の拡大画像を作成し、前記拡大画像を閾値に基づいて2値化し、前記2値化された画像についてモルフォロジカル・オペレーションを行い、前記オペレーション後の画像の輪郭座標を求め、前記輪郭座標を用いてハフ変換により円の中心座標を求め、前記中心座標を前記断層像における座標に変換する、ことによって行う、ことを特徴とするMTF測定方法である。
(2)上記の課題を解決するための他の観点での発明は、X線CT装置で撮影して得られた断層像におけるLSF像の中心を検出する検出手段と、前記中心を基準として前記LSF像を2次元フーリエ変換することによりMTFを求める計算手段と、を有するMTF測定装置であって、前記検出手段は、前記断層像における前記LSF像を含む部分の拡大画像を作成し、前記拡大画像を閾値に基づいて2値化し、前記2値化された画像についてモルフォロジカル・オペレーションを行い、前記オペレーション後の画像の輪郭座標を求め、前記輪郭座標を用いてハフ変換により円の中心座標を求め、前記中心座標を前記断層像における座標に変換する、ことによって前記中心を求める、ことを特徴とするMTF測定装置である。
上記各観点での発明では、断層像におけるLSF像を含む部分の拡大画像を作成し、拡大画像を閾値に基づいて2値化し、2値化された画像についてモルフォロジカル・オペレーションを行い、オペレーション後の画像の輪郭座標を求め、輪郭座標を用いてハフ変換により円の中心座標を求め、この中心座標を断層像における座標に変換するので、LSF像の中心を正しく検出することができ、これによって、MTFを高精度に測定することができる。
前記拡大画像の作成を画素値の補間によって行うことが、適正な拡大画像を得る点で好ましい。前記補間は1次補間であることが、計算を簡素化する点で好ましい。前記閾値は可変であることが、2値化を適正に行う点で好ましい。
本発明によれば、MTFを精度良く測定する方法および装置を実現することができる。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明は実施の形態に限定されるものではない。図1にMTF測定装置のブロック(block)図を示す。本装置は本発明の実施の形態の一例である。本装置の構成によって、本発明の装置に関する実施の形態の一例が示される。本装置の動作によって、本発明の方法に関する実施の形態の一例が示される。
図1に示すように、本装置は、コンピュータ(computer)100を有する。コンピュータ100には画像が入力される。コンピュータ100は記憶部102を有する。記憶部102は入力された画像を記憶する。記憶部102は、また、コンピュータ100のための各種のデータ(data)やプログラム(program)等を記憶する。コンピュータ100が記憶部102に記憶されたプログラムを実行することにより、MTF測定に関わる各種のデータ処理が行われる。
コンピュータ100は、また、表示部104および操作部106を有する。表示部104は、コンピュータ100から出力される画像やその他の情報を表示する。操作部106は、使用者によって操作され、各種の指示や情報等をコンピュータ100に入力する。使用者は表示部104および操作部106を使用してインタラクティブ(interactive)に本装置を操作することが可能である。
本装置の動作を説明する。図2に、本装置の動作のフロー(flow)図を示す。本装置の動作は、コンピュータ100が、記憶部102に記憶されたプログラムを実行することにより遂行される。
同図に示すように、ステージ(stage)201で、画像を取り込む。これによって、例えば図3の(a)に示すような画像が記憶部102に記憶され、かつ表示部104に表示される。画像はX線CT装置で撮影したファントム(phantom)の断層像である。断層像は中間調の画像となる。
ファントムはMTF測定用のファントムであり、中心部に円形断面のピン(pin)を有する。このため、断層像にはピンの断面を示す像2が含まれる。ピンの断面を示す像2の輪郭は円形となる。ピンの断面を示す像2の直径に沿った画素値プロファイル(profile)はLSFを表す。ピンの断面を示す像2は本発明におけるLSF像の実施の形態の一例である。以下、ピンの断面を示す像をピン像ともいう。
次に、ステージ203で、この断層像について、ピン像2を含む部分画像を指定する。部分画像の指定は使用者の操作に基づいて行われる。これによって、例えば一点鎖線で囲まれた部分画像4が指定される。部分画像4はピン像2が概ね中央に位置するように指定される。
次に、ステージ205で、部分画像4の拡大画像を作成する。これによって、例えば図3の(b)に示すような拡大画像が得られる。拡大画像は、使用者が観察可能なように、表示部104に表示するようにしてもよい。
拡大画像の作成は、部分画像4のマトリクスサイズ(matrix size)を拡大するとともに、新たに増えた画素位置に元画像の画素値から計算した画素値を補間することによって行われる。補間は例えば1次補間によって行われる。なお、1次補間に限らず2次以上の高次の補間であって良い。ただし、1次補間は計算が簡素なのでコンピュータにとって負担が少ない。
次に、ステージ207で、拡大画像を2値化する。2値化は所定の閾値を用いて行われる。これによって、例えば図3の(c)に示すような2値画像が得られる。2値画像は、使用者が観察可能なように、表示部104に表示するようにしてもよい。その場合、閾値を可変とし、使用者による閾値調節によって2値画像を最適化するようにしてもよい。
次に、ステージ209で、モルフォロジカル・オペレーション(morphological operation)を行う。モルフォロジカル・オペレーションは、数学的なモルフォロジイ(morphology)技法のひとつであり、画像処理の技術分野において既知である。
モルフォロジカル・オペレーションとしてエロージョン/ダイレーション(erosion/dilation)が行われる。あるいは、それらに代えてオープニング/クロージング(opening/closing)を行うようにしてもよい。
これらのオペレーションは、いずれも画像の微細構造部分や不規則構造部分を除去し、画像の基本構造を顕在化させる。このようなオペレーションを行うことにより、2値化されたピン像2の輪郭のノイズ等に由来する不規則性が除かれ、本来の円形輪郭がいっそう明確になる。
図4の(a),(b)に、モルフォロジカル・オペレーションの前後のピン像2を概念的に示す。(a)がオペレーション前、(b)がオペレーション後である。明確化された輪郭を太線で表す。
次に、ステージ211で、ピン像の輪郭座標を抽出し、この輪郭座標を用いて、ステージ213で、ハフ変換(Hough transform)により円の中心座標を求める。なお、ハフ変換は画像処理の技術分野における既知の技法である。
ハフ変換によって、(c)に示すように、ピン像2の中心20の座標が求まる。ピン像2の円形輪郭がモルフォロジカル・オペレーションにより明確化されているので、求められた中心座標は精度の良いものとなる。
次に、ステージ215で、中心座標を元画像における座標に変換する。座標変換は、図5の(a),(b)に示すように、拡大画像を元画像の部分画像4の大きさまで縮小することにより行われる。これによって、元画像において、ピン像2の中心20’の正確な座標が確定する。
次に、ステージ217で、ピン像を2次元フーリエ変換してMTFを求める。2次元フーリエ変換は中心20’の座標を基準にして行われる。これによって、(c)に示すように、MTFが得られる。ピン像2の中心20’の座標が正確なのでMTFとして精度の良いものを得ることができる。
図6に、以上のような動作を行う本装置の機能ブロック図を示す。同図に示すように、本装置は中心検出部602および計算部604を有する。中心検出部602は、入力画像についてLSF像の中心の座標を検出して計算部604に入力する。計算部604は、入力された中心座標を基準として入力画像におけるLSF像を2次元フーリエ変換し、MTFを求める。
中心検出部602は、上記のステージ201−215の動作を行うコンピュータ100の機能に相当する。中心検出部602は、本発明における検出手段の実施の形態の一例である。計算部604は、上記のステージ217の動作を行うコンピュータ100の機能に相当する。計算部604は、本発明における計算手段の実施の形態の一例である。
MTF測定装置のブロック図である。 MTF装置の動作のフロー図である。 画像処理の概念図である。 画像処理の概念図である。 画像処理の概念図である。 MTF測定装置の機能ブロック図である。
符号の説明
100 コンピュータ
102 記憶部
104 表示部
106 操作部
602 中心検出部
604 計算部

Claims (8)

  1. X線CT装置で撮影して得られた断層像におけるLSF像の中心を検出し、
    前記中心を基準として前記LSF像を2次元フーリエ変換することによりMTFを求める方法であって、
    前記中心の検出を、
    前記断層像における前記LSF像を含む部分の拡大画像を作成し、
    前記拡大画像を閾値に基づいて2値化し、
    前記2値化された画像についてモルフォロジカル・オペレーションを行い、
    前記オペレーション後の画像の輪郭座標を求め、
    前記輪郭座標を用いてハフ変換により円の中心座標を求め、
    前記中心座標を前記断層像における座標に変換する、
    ことによって行う、
    ことを特徴とするMTF測定方法。
  2. 前記拡大画像の作成を画素値の補間によって行う、
    ことを特徴とする請求項1に記載のMTF測定方法。
  3. 前記補間は1次補間である、
    ことを特徴とする請求項2に記載のMTF測定方法。
  4. 前記閾値は可変である、
    ことを特徴とする請求項1ないし請求項3のうちのいずれか1つに記載のMTF測定方法。
  5. X線CT装置で撮影して得られた断層像におけるLSF像の中心を検出する検出手段と、
    前記中心を基準として前記LSF像を2次元フーリエ変換することによりMTFを求める計算手段と、
    を有するMTF測定装置であって、
    前記検出手段は、
    前記断層像における前記LSF像を含む部分の拡大画像を作成し、
    前記拡大画像を閾値に基づいて2値化し、
    前記2値化された画像についてモルフォロジカル・オペレーションを行い、
    前記オペレーション後の画像の輪郭座標を求め、
    前記輪郭座標を用いてハフ変換により円の中心座標を求め、
    前記中心座標を前記断層像における座標に変換する、
    ことによって前記中心を求める、
    ことを特徴とするMTF測定装置。
  6. 前記検出手段は、前記拡大画像の作成を画素値の補間によって行う、
    ことを特徴とする請求項5に記載のMTF測定装置。
  7. 前記補間は1次補間である、
    ことを特徴とする請求項6に記載のMTF測定装置。
  8. 前記閾値は可変である、
    ことを特徴とする請求項5ないし請求項7のうちのいずれか1つに記載のMTF測定装置。
JP2004205729A 2003-11-06 2004-07-13 Mtf測定方法および装置 Active JP4102785B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2003101196942A CN1306454C (zh) 2003-11-06 2003-11-06 调制传递函数测量方法和系统

Publications (2)

Publication Number Publication Date
JP2005137883A true JP2005137883A (ja) 2005-06-02
JP4102785B2 JP4102785B2 (ja) 2008-06-18

Family

ID=34529397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004205729A Active JP4102785B2 (ja) 2003-11-06 2004-07-13 Mtf測定方法および装置

Country Status (4)

Country Link
US (1) US7330609B2 (ja)
JP (1) JP4102785B2 (ja)
CN (1) CN1306454C (ja)
DE (1) DE102004053685A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10161613A1 (de) * 2001-12-15 2003-06-18 Leica Microsystems Verfahren zur Selbstüberwachung eines Mikroskopsystems, Mikroskopsystem und Software zur Selbstüberwachung
US8224017B2 (en) * 2006-01-13 2012-07-17 New Jersey Institute Of Technology Method for identifying marked content
JP4463790B2 (ja) * 2006-08-07 2010-05-19 アキュートロジック株式会社 Mtf測定システム、mtf測定方法、mtf測定ユニット及びmtf測定プログラム
CN101452199B (zh) * 2007-11-30 2011-03-30 鸿富锦精密工业(深圳)有限公司 调制传递函数值的测量方法
US20090268953A1 (en) * 2008-04-24 2009-10-29 Apteryx, Inc. Method for the automatic adjustment of image parameter settings in an imaging system
CN101756709A (zh) * 2008-12-26 2010-06-30 Ge医疗系统环球技术有限公司 X射线ct设备
CN102204828B (zh) * 2011-05-13 2013-04-10 天津大学 数字x射线成像系统的调制传递函数精确测量方法
KR101767923B1 (ko) * 2012-05-11 2017-08-17 한화테크윈 주식회사 비아홀을 검사하는 방법 및 장치
CN103471811A (zh) * 2012-06-06 2013-12-25 上海西门子医疗器械有限公司 测量探测量子效率的方法以及系统
CN102809494A (zh) * 2012-07-10 2012-12-05 天津大学 数字x射线成像系统调制传递函数的刀口法测量方法
US10185303B2 (en) * 2015-02-21 2019-01-22 Kla-Tencor Corporation Optimizing computational efficiency by multiple truncation of spatial harmonics
CN104933713B (zh) * 2015-06-12 2018-01-30 杭州电子科技大学 一种利用边缘分析的图像mtf估计方法
US11340136B2 (en) 2017-06-02 2022-05-24 Trioptics Gmbh Apparatus for detecting a modulation transfer function and centering of an optical system
EP3410091B1 (de) * 2017-06-02 2021-08-11 Trioptics GmbH Verfahren zum erfassen einer modulations-transferfunktion und einer zentrierung eines optischen systems
CN107219062A (zh) * 2017-06-20 2017-09-29 南京航空航天大学 相位调制器的频响测量方法及装置
DE202021103431U1 (de) * 2021-06-28 2021-07-12 Trioptics Gmbh Vorrichtung zur Abbildung durch ein zu prüfendes optisches System und System zum Prüfen eines optischen Systems

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4132654A (en) * 1976-07-02 1979-01-02 The Machlett Laboratories, Inc. X-ray focal spot test system
US4097793A (en) * 1976-10-22 1978-06-27 The Machlett Laboratories, Inc. X-ray testing system
US4239395A (en) * 1978-08-07 1980-12-16 Modisette James E Radiographic imaging system quality monitor
US4394737A (en) * 1979-07-11 1983-07-19 Fuji Photo Film Co., Ltd. Method of processing radiographic image
US4331021A (en) * 1980-09-11 1982-05-25 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Contrast resolution tissue equivalent ultrasound test object
NL9001265A (nl) * 1990-06-05 1992-01-02 Philips Nv Werkwijze voor bepaling van een modulatie-overdrachtfunctie van een digitaal beeldvormend systeem.
US5657400A (en) * 1995-01-31 1997-08-12 General Electric Company Automatic identification and correction of bad pixels in a large area solid state x-ray detector
WO1996027849A1 (en) * 1995-03-03 1996-09-12 Northrop Grumman Corporation Fixed pattern compensation for mtf testing
BR9611764A (pt) * 1995-11-28 1999-07-13 Analogic Corp Pré-calibração de ponto focal de tubo de raio x
US5760403A (en) * 1996-04-18 1998-06-02 Loral Fairchild Corp. High modulation transfer function CCD X-ray image sensor apparatus and method
US6233349B1 (en) * 1997-06-20 2001-05-15 General Electric Company Apparata and methods of analyzing the focal spots of X-ray tubes
US5959726A (en) * 1997-07-25 1999-09-28 Neopath, Inc. Modulation transfer function test compensation for test pattern duty cycle
DE19852324C2 (de) * 1998-11-12 2000-11-16 Siemens Ag Phantom zur Messung von Schichtempfindlichtkeitsprofilen und der axialen Modulationstransferfunktion (MTF) an einem Röntgencomputertomographen
US6694047B1 (en) * 1999-07-15 2004-02-17 General Electric Company Method and apparatus for automated image quality evaluation of X-ray systems using any of multiple phantoms
US6895077B2 (en) * 2001-11-21 2005-05-17 University Of Massachusetts Medical Center System and method for x-ray fluoroscopic imaging
CN1202490C (zh) * 2003-03-19 2005-05-18 上海交通大学 虹膜纹理归一化处理方法

Also Published As

Publication number Publication date
JP4102785B2 (ja) 2008-06-18
CN1614632A (zh) 2005-05-11
US20050100244A1 (en) 2005-05-12
CN1306454C (zh) 2007-03-21
US7330609B2 (en) 2008-02-12
DE102004053685A1 (de) 2005-06-09

Similar Documents

Publication Publication Date Title
JP4102785B2 (ja) Mtf測定方法および装置
CN106716487B (zh) 确定从体数据提取的表面数据的局部质量的方法和系统
JP4711662B2 (ja) 多モードエッジ情報を用いる反復ct再構成方法
JP4644819B2 (ja) 微小変位計測法及び装置
KR102021945B1 (ko) 볼륨 이미지 레코드로부터의 국부적 품질 측정들의 결정
JP5613501B2 (ja) パイプ厚み計測装置及び方法
JP5210615B2 (ja) 医用画像診断支援装置及び医用画像診断支援プログラム
US10540765B2 (en) Image processing device, image processing method, and computer program product thereon
KR100684301B1 (ko) 화상처리장치 및 방법
US7433086B2 (en) Edge detection and correcting system and method
JP5976126B2 (ja) ターゲットサイズを見積もるためのシステム及び方法
JP2006334319A (ja) X線ct装置とその前処理方法、及びデータ作成装置とその方法、並びに制御プログラム
JP2005528965A (ja) 多次元構造の解析方法
EP3038050A1 (en) Method and device for restoring scan image and recording medium for storing same
JP4675133B2 (ja) X線ctデータからの密度分析方法、密度分析方法を実行するためのコンピュータプログラムおよび密度分析システム
JP2014203162A (ja) 傾斜角推定装置、mtf測定装置、傾斜角推定プログラム及びmtf測定プログラム
JP2009237704A (ja) 3次元画像化方法およびx線断層像撮影装置
JP2007264951A (ja) 医療用画像補正装置
US9378549B2 (en) Estimation of confidence limits for measurements derived from image data
JP2006185038A (ja) 4次元ラベリング装置、n次元ラベリング装置、4次元空間フィルタ装置およびn次元空間フィルタ装置
JPH06327647A (ja) Mriスライス面自動決定方法とこれにもとづく流速測定方法
Rannulu et al. A graphical user interface for automated 2-or 3-dimensional image registration in dental treatment recovery planning: the DentIR application
US10810713B2 (en) Image processing device and image processing method
JP2021120820A (ja) 計算プログラム、計算方法及び計算装置
JP2024522311A (ja) 不均一な肝脂肪を特定するためのシステム、方法、及び装置

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20050323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080324

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4102785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120328

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120328

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140328

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250