JP2004275349A - 画像診断支援プログラム - Google Patents

画像診断支援プログラム Download PDF

Info

Publication number
JP2004275349A
JP2004275349A JP2003069748A JP2003069748A JP2004275349A JP 2004275349 A JP2004275349 A JP 2004275349A JP 2003069748 A JP2003069748 A JP 2003069748A JP 2003069748 A JP2003069748 A JP 2003069748A JP 2004275349 A JP2004275349 A JP 2004275349A
Authority
JP
Japan
Prior art keywords
image
outline
contour
displayed
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003069748A
Other languages
English (en)
Other versions
JP4221236B2 (ja
Inventor
Hironori Matsudaira
広紀 松平
Hiroaki Kawasaki
博明 川崎
Iwaki Akiyama
いわき 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitani Sangyo Co Ltd
Original Assignee
Mitani Sangyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitani Sangyo Co Ltd filed Critical Mitani Sangyo Co Ltd
Priority to JP2003069748A priority Critical patent/JP4221236B2/ja
Publication of JP2004275349A publication Critical patent/JP2004275349A/ja
Application granted granted Critical
Publication of JP4221236B2 publication Critical patent/JP4221236B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】医療用の超音波断層画像やX線画像から対象物の適切な輪郭を簡単な操作で抽出する。
【解決手段】ディスプレイにダイヤログボックスBを表示してGUIで入力操作する。ウィンドウW1に原画像を表示し、ウィンドウW2に抽出した輪郭の画像を表示する。スライダ11,12の摘み11a,12aの操作でディジタルフィルタ(DOG)のパラメータσ1,σ2を調整する。摘み11a,12aの操作により、ディジタルフィルタで輪郭を抽出して、ウィンドウW2に輪郭を即時に表示する。輪郭内の面積や対象物の体積等を計算する。
【選択図】 図3

Description

【0001】
【発明の属する技術分野】
本発明は、医療用超音波診断装置、X線画像診断装置を使用した病気診断において、コンピュータにより画像診断用の原画像の画像データに処理を施して臓器等の対象物の輪郭を表示するための画像診断支援プログラムに関する。
【0002】
【従来の技術】
近年、医療の分野で画像を用いた診断が普及してきたが、画像診断装置で作成される超音波断層画像やX線画像において、臓器等の輪郭を明示することは診断に有用である。この輪郭を明示するには、大別して2つの方法がある。例えば表示装置上に表示した画像に対し、マウスやトラックボール等のポインティングデバイスを使って、オペレータが画像上で輪郭をトレースし、これを表示する方法がある。また、対象となる画像データに画像処理を行うことで、これらの輪郭を自動生成して表示するものがある。
【0003】
【非特許文献1】
秋山いわき 松平広紀 川崎博明 “医用超音波画像のための輪郭抽出ツール”、平成14年9月26〜28日、日本音響学会講演論文集(発行日:平成14年9月26日)、スペシャル・セクション2−6−8
【0004】
【発明が解決しようとする課題】
しかし、前者の方法では、ポインティングデバイスで輪郭を描く操作を必要とするなど、医師やオペレータの負荷が多く、現実の運用に制限がある。また、後者の方法については、過去より試されてきたが、画像の輝度やノイズの影響により適切な輪郭を一意に描くことが困難であった。また、単に自動生成した輪郭では診断に適切な輪郭であるという保障がない。
【0005】
本発明は、画像診断用の画像に対して、医師やオペレータの操作に連動して対象物の輪郭をリアルタイムに変更できるようにし、簡単な操作で診断に適切な輪郭を得ることができるようにすることを課題とする。
【0006】
【課題を解決するための手段】
請求項1の画像診断支援プログラムをコンピュータが実行することにより、入力した原画像の画像データに対して、表示画面に表示された操作摘みを画面操作で操作するとこの操作に応じてフィルタ特性が変更されるとともに、このフィルタ特性の変更ごとに、すなわち入力操作ごとに、即時に画像データから該フィルタ特性に応じた輪郭を抽出して、該輪郭が原画像と共に表示画面に表示される。
【0007】
請求項2の画像診断支援プログラムをコンピュータが実行することにより、連続原画像のうちの選択されている原画像について、表示画面に表示された第1操作摘みを画面操作で操作するとこの操作に応じてフィルタ特性が変更されるとともに、このフィルタ特性の変更ごとに、即時に該原画像の画像データからフィルタ特性に応じた輪郭が抽出され、この抽出した輪郭が原画像と共に表示画面に表示される。さらに、第2操作摘みの操作に応じて複数の連続原画像から順次原画像が選択されるとともに、選択された原画像について即時にフィルタ特性に応じた輪郭が抽出されて表示画面に表示されるので、第2操作摘みを連続操作すると連続原画像の輪郭が順次に連続して表示される。
【0008】
請求項3の画像診断支援プログラムをコンピュータが実行することにより、請求項1または3と同様な作用が得られるとともに、輪郭内の面積を計算して表示する。
【0009】
請求項4の画像診断支援プログラムをコンピュータが実行することにより、請求項2と同様な作用が得られるとともに、対象物の体積を計算して表示する。
【0010】
【発明の実施の形態】
図6は本発明の実施の形態の画像診断支援プログラムを実行するパーソナルコンピュータの要部ブロック図である。パーソナルコンピュータは、CPU1、ROM2、RAM3、ディスプレイ4、キーボード5、マウス6、外部記憶装置7、画像データを入力するインターフェース(I/F)8を備えている。なお、ディスプレイ4、キーボード5、マウス6および外部記憶装置7の各種インターフェースは図示を省略してある。
【0011】
CPU1は例えば外部記憶装置7のハードディスク装置(HDD)にインストールされたOS(オペレーティングシステム)によりRAM3のワーキングエリアを使用して制御を行う。具体的には、例えばディスプレイ4の表示の制御を行い、キーボード5やマウス6の操作に応じたデータを入力し、ディスプレイ4上のマウスポインタの表示位置の制御やマウス6のクリック操作の検出等を行う。これにより、ユーザによる入力設定操作等を、ディスプレイ4の表示とマウス6の操作による所謂GUI(グラフィカル・ユーザーズ・インターフェース)で実行する。また、上記ハードディスク装置にインストールされた後述の画像診断支援プログラムを上記OS上で実行し、画像処理装置10から超音波断層画像やX線画像などの画像診断用の原画像の画像データを入力する。
【0012】
図4は画像診断支援プログラムの起動時のディスプレイ4における表示例である。ダイヤログボックスBには2つのウィンドウW1,W2が並べて表示され、最下部にはテキストボックスTが表示される。そして、テキストボックスTに画像のファイル名を入力することにより画像データが選択され、ハードディスク装置から読み出された画像データにより原画像がウィンドウW1に表示される。なお、画像データは、例えばディジタル超音波断層画像またはX線画像として連続した2次元画像の集合である動画で提供される場合が多いため、1ファイル分の画像データは連続する断層画像(フレーム)から構成されている。
【0013】
ウィンドウW1の下にはスライダ21が表示されており、このスライダ21の摘み21a(第2操作摘み)をマウスポインタPで水平方向にドラッグすることにより、連続する断層画像のフレーム番号が順次選択可能である。そして、選択されたフレーム番号の画像がウィンドウW1に表示される。すなわち、摘み21aをドラッグしている間は、連続する画像の順次選択され、この連続する画像による動画がウィンドウW1に表示される。また、後述のフィルタにより輪郭抽出及び表示を行っているときは、このドラッグ操作により、この連続する画像に対応する輪郭が動画として表示される。
【0014】
ここで、画像データから輪郭を抽出するためのディジタルフィルタとしてはDOG(difference of Gaussian)フィルタ(空間微分フィルタ)を採用している。このディジタルフィルタは一般に、人間の視覚処理をモデル化する際に用いられているもので、視覚的に最も感度の強い周波数成分を強調し、残りの成分を抑圧する帯域通過型の特性を有している。図5は上記フィルタのパラメータσ1,σ2と特性を示す図であり、σ1>σ2の場合、σ1で通過帯域上限の調整を行うことができ、σ2でゼロクロスの位置を代えて通過帯域幅の調整を行うことができる。そして、画像データをこの空間微分フィルタを通過後、フィルタ出力のゼロクロス点の画素をつないで輪郭とし、この輪郭の画像をウインドウW2に表示する。図において輪郭はウインドウW2内のハイライトの部分であり、この実施形態では輪郭の内側と外側は例えば異なる色や明度で表示される。なお、輪郭と原画像とを重ねて表示してもよい。
【0015】
上記のフィルタ出力のゼロクロス点は上記パラメータσ1,σ2を調整することにより変化するので、このパラメータσ1,σ2を調整することにより得られる輪郭も変化する。ウィンドウW2の横にはスライダ11,12が表示されており、このスライダ11,12の摘み11a,12a(操作摘み、第1操作摘み)をマウスポインタPでドラッグすることにより、パラメータσ1,σ2を調整(設定)することができる。図3は輪郭抽出の例を示す図であり、この図3と前掲の図4とでは摘み11a,12aの操作位置が異なっており、これによりウィンドウW2に表示される抽出された輪郭Eも異なっている。すなわち、パラメータの初期値により例えば図4のような輪郭Eが得られるが、ノイズが発生しているので摘み11a,12aを操作してパラメータσ1,σ2を調整すると、例えば図3のような輪郭(ウインドウW2内のハイライトの部分)が得られる。このように、摘み11a,12aを操作しながらウィンドウW2に表示される輪郭を確認することで、適切と判断される輪郭を容易に得ることができる。
【0016】
図1は画像診断支援プログラムの実行と、これに対応するオペレータの処理動作を示すフローチャートであり、ステップS1〜S5,S8は前記パーソナルコンピュータの処理であり、ステップS6,S7はオペレータの入力処理である。ステップS1,S2で画像データを読み込み、ステップS3〜S5でディジタルフィルタによる輪郭抽出及び表示の処理を行う。ステップS6でオペレータが「輪郭が適切であるか」の判断を行い、適切であれば後述の面積計算等を行って処理を終了する。輪郭が適切でなければ、ステップS7でスライダ11,12の摘み11a,12aを調節する。これによりステップS8で摘みの変化(パラメータ)に合わせて、ディジタルフィルタの特性が変更され、ステップS3以降で同様に輪郭の抽出と表示を行う。
【0017】
図2はパーソナルコンピュータのCPU1が実行する画像診断支援プログラムのフローチャートであり、ステップS1〜S5,S8は図1と同様な処理である。CPU1は、ステップS5でディスプレイ4に抽出した輪郭を表示すると、ステップS11で面積計算を指示する操作の有無を判定し、操作が無ければステップS13に進む。操作が有れば、ステップS12で、面積計算を行い、結果を表示するとともに記憶し、さらに輪郭データを記憶して、ステップS13に進む。ステップS13では画像切替指示する操作の有無を判定し、操作があればステップS2に戻り、操作が無ければステップS14に進む。この画像切替指示に関する処理は、主に体積計算をする場合に複数の画像についての輪郭抽出を行うための処理である。
【0018】
ステップS14では体積計算を指示する操作の有無を判定し、操作が無ければステップS16に進む。操作が有れば、ステップS15で、体積計算を行い、その結果を表示するとともに記憶し、ステップS16に進む。ステップS16では、終了を指示する操作の有無を判定し、終了が指示されたら処理を終了する。終了が指示されていなければ、ステップS17でスライダ11,12の摘み11a,12aの操作の有無を判定し、操作が無ければステップS11に戻り、操作があればステップS8に進んで、前記同様にディジタルフィルタの特性を変更してステップS3に進む。
【0019】
以上の処理により、輪郭が表示されたあと何も操作しなければ、S11→S13→S14→S16→S17→S11のループで待機状態となり、そのまま輪郭が表示される。そして、上記待機状態で、スライダ11,12の摘み11a,12aを操作すると、その操作に応じてディジタルフィルタの特性が変更され、即時にその特性に応じた輪郭が抽出されて表示される。すなわち、摘み11a,12aに対応してほとんどリアルタイムに輪郭が変更される。
【0020】
なお、面積計算する場合には、例えば輪郭内の画素数を計数し、予め判明している画像のサイズ(画角)と全画素数から求めることができる。また、体積計算をする場合には、輪郭を抽出した画像と直交する画像を選択して同様に輪郭を抽出し、両画像についての輪郭データからシンプソンズ法等により体積計算を行う。これにより輪郭を抽出した対象物体の体積を近似することができる、なお、計算した体積は一時的に記憶することができ、他の画像との体積比を容易に計算することができる。特に、心臓疾患の診断では、心臓収縮時、拡張時の体積を比較することが有用である。
【0021】
このように、ディスプレイ4上の摘み11a,12aを操作するという、所定の決まった動作をするだけで輪郭が変化するので、適切な輪郭を容易に見つけだすことができるとともに、画像上で輪郭をトレースするという画像毎に異なる動作をしなくてもよく、きわめて操作性が良い。
【0022】
なお、実施の形態では画面に表示したスライダ11,12が請求項における「操作摘み」に対応するが、この操作摘みとしては、画面に表示したダイヤルを操作するものや、アップダウンスイッチを操作してパラメータ表示を変更するものなどを適用できる。
【0023】
また、上記の実施の形態では画像診断支援プログラムをパーソナルコンピュータで実行するようにしているがコンピュータを内蔵した画像処理装置等で実行するようにしてもよいことはいうまでもない。
【0024】
【発明の効果】
請求項1の画像診断支援プログラムの実行によれば、表示画面に表示された操作摘みを例えばポインティングデバイスによる画面操作で操作するごとに、即時に画像データの輪郭が原画像と共に表示画面に表示されるので、医師やオペレータが表示される輪郭を見て原画像と輪郭とを比較して判断しながら、適宜入力操作を行うことで短時間で適切な輪郭を得ることができる。
【0025】
請求項2の画像診断支援プログラムの実行によれば、請求項1と同様な効果が得られるとともに、第2操作摘みを連続操作することで連続原画像の輪郭が順次に連続して表示されるので、対象物の形状などの判断が容易になる。
【0026】
請求項3の画像診断支援プログラムの実行によれば、請求項1または2と同様な効果が得られるとともに、輪郭内の面積により対象物の断面の定量的な大きさを判断できる。
【0027】
請求項4の画像診断支援プログラムの実行によれば、請求項2と同様な効果が得られるとともに、対象物の体積により全体の定量的な大きさを判断できる。
【図面の簡単な説明】
【図1】本発明の実施の形態における画像診断支援プログラムの実行とオペレータの処理動作を示すフローチャートである。
【図2】本発明の実施の形態における画像診断支援プログラムのフローチャートである。
【図3】本発明の実施の形態における輪郭抽出の例を示す図である。
【図4】本発明の実施の形態における画像診断支援プログラムの起動時のディスプレイにおける表示例を示す図である。
【図5】本発明の実施の形態におけるディジタルフィルタのパラメータと特性を示す図である。
【図6】本発明の実施の形態における画像診断支援プログラムを実行するパーソナルコンピュータの要部ブロック図である。
【符号の説明】
1 CPU
4 ディスプレイ
6 マウス
10 画像処理装置
11,12 スライダ
11a,12a 摘み
E 輪郭

Claims (4)

  1. 画像診断用の原画像の画像データを入力する処理と、
    表示画面に操作摘みを表示するとともに画面操作による該操作摘みの操作を検出する処理と、
    該操作摘みの操作に応じてフィルタ特性を変更する処理と、
    前記フィルタ特性を変更するごとに、即時に前記画像データから該フィルタ特性に応じた輪郭を抽出して該抽出した輪郭を前記入力した画像データによる原画像と共に前記表示画面に表示する処理と、
    をコンピュータが実行するための画像診断支援プログラム。
  2. 画像診断用の連続原画像の画像データを入力する処理と、
    表示画面に第1操作摘みを表示するとともに画面操作による該第1操作摘みの操作を検出する処理と、
    該第1操作摘みの操作に応じてフィルタ特性を変更する処理と、
    前記フィルタ特性を変更するごとに、前記複数の連続原画像のうちの選択されている原画像について、即時に該原画像の画像データから該フィルタ特性に応じた輪郭を抽出して該抽出した輪郭を該原画像と共に前記表示画面に表示する処理と、
    前記表示画面に第2操作摘みを表示するとともに画面操作による該第2操作摘みの操作を検出する処理と、
    該第2操作摘みの操作に応じて前記複数の連続原画像から順次原画像を選択するとともに、該選択された原画像について、即時に該原画像の画像データから該フィルタ特性に応じた輪郭を抽出して該抽出した輪郭を前記表示画面に表示する処理と、
    をコンピュータが実行するための画像診断支援プログラム。
  3. 前記抽出した輪郭内の面積を計算して表示する処理を備えたことを特徴とする請求項1または2記載の画像診断支援プログラム。
  4. 前記連続画像の画像データについて前記輪郭を抽出して該輪郭から対象物の体積を計算して表示する処理を備えたことを特徴とする請求項2記載の画像診断支援プログラム。
JP2003069748A 2003-03-14 2003-03-14 画像診断支援プログラム Expired - Fee Related JP4221236B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003069748A JP4221236B2 (ja) 2003-03-14 2003-03-14 画像診断支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003069748A JP4221236B2 (ja) 2003-03-14 2003-03-14 画像診断支援プログラム

Publications (2)

Publication Number Publication Date
JP2004275349A true JP2004275349A (ja) 2004-10-07
JP4221236B2 JP4221236B2 (ja) 2009-02-12

Family

ID=33286687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003069748A Expired - Fee Related JP4221236B2 (ja) 2003-03-14 2003-03-14 画像診断支援プログラム

Country Status (1)

Country Link
JP (1) JP4221236B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010060344A (ja) * 2008-09-02 2010-03-18 Tokyu Construction Co Ltd 空間情報表示装置及び支援装置
WO2010066007A1 (en) * 2008-12-12 2010-06-17 Signostics Limited Medical diagnostic method and apparatus
JP2010259529A (ja) * 2009-04-30 2010-11-18 Aloka Co Ltd 超音波診断装置
JP2011091595A (ja) * 2009-10-22 2011-05-06 Kyocera Mita Corp 画像処理装置、画像処理方法及び画像形成装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1099322A (ja) * 1996-09-30 1998-04-21 Hitachi Medical Corp 三次元画像構成方法及び装置
JPH11318906A (ja) * 1998-05-21 1999-11-24 Olympus Optical Co Ltd 超音波画像診断装置
JPH11347035A (ja) * 1998-06-11 1999-12-21 Hitachi Medical Corp 超音波診断装置
JP2000209430A (ja) * 1999-01-18 2000-07-28 Canon Inc 輪郭抽出装置及び方法並びに記憶媒体
JP2000210284A (ja) * 1999-01-25 2000-08-02 Aloka Co Ltd 超音波診断装置
JP2001111834A (ja) * 1999-10-04 2001-04-20 Seiko Epson Corp 画像処理装置及び画像処理方法
JP2002224116A (ja) * 2001-01-31 2002-08-13 Matsushita Electric Ind Co Ltd 超音波診断装置及び画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1099322A (ja) * 1996-09-30 1998-04-21 Hitachi Medical Corp 三次元画像構成方法及び装置
JPH11318906A (ja) * 1998-05-21 1999-11-24 Olympus Optical Co Ltd 超音波画像診断装置
JPH11347035A (ja) * 1998-06-11 1999-12-21 Hitachi Medical Corp 超音波診断装置
JP2000209430A (ja) * 1999-01-18 2000-07-28 Canon Inc 輪郭抽出装置及び方法並びに記憶媒体
JP2000210284A (ja) * 1999-01-25 2000-08-02 Aloka Co Ltd 超音波診断装置
JP2001111834A (ja) * 1999-10-04 2001-04-20 Seiko Epson Corp 画像処理装置及び画像処理方法
JP2002224116A (ja) * 2001-01-31 2002-08-13 Matsushita Electric Ind Co Ltd 超音波診断装置及び画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010060344A (ja) * 2008-09-02 2010-03-18 Tokyu Construction Co Ltd 空間情報表示装置及び支援装置
WO2010066007A1 (en) * 2008-12-12 2010-06-17 Signostics Limited Medical diagnostic method and apparatus
US9364196B2 (en) 2008-12-12 2016-06-14 Signostics Limited Method and apparatus for ultrasonic measurement of volume of bodily structures
JP2010259529A (ja) * 2009-04-30 2010-11-18 Aloka Co Ltd 超音波診断装置
JP2011091595A (ja) * 2009-10-22 2011-05-06 Kyocera Mita Corp 画像処理装置、画像処理方法及び画像形成装置

Also Published As

Publication number Publication date
JP4221236B2 (ja) 2009-02-12

Similar Documents

Publication Publication Date Title
CN101076724B (zh) 肝病诊断系统,方法和图形用户界面
US8951200B2 (en) Apparatuses and methods for computer aided measurement and diagnosis during ultrasound imaging
RU2601212C2 (ru) Процесс интерактивной сегментации долей легкого, проводимой с учетом неоднозначности
KR101474768B1 (ko) 의료기기 및 이를 이용한 영상표시방법
US8175364B2 (en) Medical image display device and program that generates marker and changes shape of region of interest to contact marker
US20160206291A1 (en) Live ultrasound image and historical ultrasound image frame overlapping
JPWO2007000940A1 (ja) 異常陰影候補検出方法、異常陰影候補検出装置
US20170325783A1 (en) Systems and methods of determining dimensions of structures in medical images
JP5285427B2 (ja) 医療画像表示装置
JP6004875B2 (ja) 医用画像表示装置、医用画像表示方法及びプログラム
US20150067599A1 (en) Smart and early workflow for quick vessel network detection
JP2009075846A (ja) 輪郭抽出装置及びプログラム
JP4221236B2 (ja) 画像診断支援プログラム
JP6246287B1 (ja) 医用画像処理装置及びプログラム
JP6200618B1 (ja) 医用画像診断支援システム及び装置、並びに、プログラム
JP6327966B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム
US8893136B2 (en) Automated operation list generation device, method and program
JP2011044124A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR20120036420A (ko) 화면을 통해 사용자 인터페이스를 제공하는 초음파 진단 방법 및 장치
US20240036719A1 (en) Method and system for multi-range slider user interface control of medical images
JP2006055402A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20130135800A (ko) 의료기기 및 이를 이용한 영상표시방법
WO2023002960A1 (ja) 情報処理装置、情報処理方法、および、コンピュータプログラム
KR101855734B1 (ko) 의료기기 및 이를 이용한 영상표시방법
JP2009061028A (ja) 画像処理装置及びそれを備えた医用ワークステーション

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees