JP2006334044A - 眼科測定装置 - Google Patents

眼科測定装置 Download PDF

Info

Publication number
JP2006334044A
JP2006334044A JP2005160808A JP2005160808A JP2006334044A JP 2006334044 A JP2006334044 A JP 2006334044A JP 2005160808 A JP2005160808 A JP 2005160808A JP 2005160808 A JP2005160808 A JP 2005160808A JP 2006334044 A JP2006334044 A JP 2006334044A
Authority
JP
Japan
Prior art keywords
image
area
measurement apparatus
diameter
luminance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005160808A
Other languages
English (en)
Other versions
JP5014593B2 (ja
Inventor
Takeki Egawa
雄毅 江川
Atsushi Kojima
敦 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kowa Co Ltd
Original Assignee
Kowa Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kowa Co Ltd filed Critical Kowa Co Ltd
Priority to JP2005160808A priority Critical patent/JP5014593B2/ja
Priority to EP05023025A priority patent/EP1652469A3/en
Priority to EP07109143A priority patent/EP1825804A1/en
Priority to US11/258,815 priority patent/US7370965B2/en
Publication of JP2006334044A publication Critical patent/JP2006334044A/ja
Application granted granted Critical
Publication of JP5014593B2 publication Critical patent/JP5014593B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】眼底画像のうち所定領域の指定が容易になり、該領域の正確な測定が可能となる眼科測定装置を提供する。
【解決手段】眼底画像の病変部41の外縁部41aをクリックすることによりその点の輝度値をしきい値として2値化された画像が得られる。複数の2値化画像のうち、病変部41bを指定すると、その領域41cのみが選択され、その領域の外周41dが取得される。そして、この外周を含む最小円42が演算され、それに基づいてこの病変部に照射されるレーザービームのスポット径が求められる。このような構成では、ユーザーが指定した所定点より輝度の高い領域を抽出することができ、網膜上の病変部の領域を指定したり特定するのが容易になる。
【選択図】図2

Description

本発明は、眼科測定装置、更に詳細には、被検眼眼底を測定する眼科測定装置に関する。
蛍光撮影した眼底写真を見て、病変部のサイズや、病変部と乳頭部までの網膜上での距離を求めたいと言う要望がある。これは、レーザー光線を病変部にスポット状に照射し、加齢黄班変性症の治療を行う光線力学的療法(PDT療法)が知られており、適正なレーザースポットを形成するために、網膜上での実距離が必要になるためである。このように病変部にスポット光を照射して治療を行う場合には、照射すべき光線のスポットサイズが、大きすぎても小さすぎても問題であり、所定の大きさのレーザースポットを高精度で形成することが要求される。一般的には病変部最大直径+1mmのスポットサイズが最適と言われている。そのためには、前もって病変部の最大直径を正確に測定しておき、病変部最大直径+1mmのサイズを光線スポットサイズに設定しなければならない。
このように、網膜上での病変部の位置を認識して、その部分の距離を正確に求める必要がある。病変部の位置検出には、病変部では輝度が変化するので、例えば、輝度に基づいて映像の輪郭を抽出する技術(特許文献1)が利用されている。
また、眼底画像から輝度に基づいて乳頭部と蒼白部を抽出することも行われており(特許文献2)、また乳頭部の平均輝度を求め、その平均輝度から病変部を特定することが行われている(特許文献3)。
また、病変部の網膜上の距離を正確に測定するためには、フォーカスレンズの位置の検知機構による位置情報、または先に測定した被検眼屈折力、別に測定した被検眼の眼軸長、別に測定した角膜曲率の3つの情報のうちの一部または全部(通常は2つ)を使用して、網膜撮影画像から、実際の網膜上での所定点間距離を求める必要がある。
特開昭55−49778号公報 特開平6−125876号公報 特開2003−310555号公報
しかしながら、従来では、眼底画像から網膜上の病変部を特定するのが困難であり、病変部の網膜上での正確な距離を求めるのが容易でないので、適切な光線力学的療法を施せない、という問題があった。
本発明は、このような問題点を解決するためになされたもので、眼底画像のうち所定領域の指定が容易になり、該領域の正確な測定が可能となる眼科測定装置を提供することを課題とする。
本発明の眼科測定装置は、
蛍光撮影された眼底の電子画像を表示する表示手段と、
前記表示手段に表示された画像上での任意の点を指定する指定手段と、
前記指定手段で指定された点の輝度値よりも高い輝度値の領域を抽出する領域抽出手段とを有することを特徴とする。
また、本発明では、指定された点の輝度値を増減させる輝度値増減手段が設けられ、抽出した領域の大きさを変化させるようにしている。
本発明では、ユーザーが指定した所定点より輝度の高い領域を抽出することができるので、他の場所に比べ輝度が高い網膜上の病変部の領域を簡単に指定したり特定することが可能となる。また、指定した点の輝度値(輝度しきい値)を増減することにより、指定した領域の大きさが変化するので、ユーザーは画面を見ながら一番適切と思われる領域を病変部として指定することが可能となる。
以下、図面に示す実施例に基づいて本発明を詳細に説明する。
図1には、眼底カメラ10が概略ブロック図として図示されており、この眼底カメラ10は、照明された被検眼Eの眼底Erの蛍光像を、CCDなどで構成される撮像素子11に結像する。撮像素子11で蛍光撮影された眼底画像は、画像処理装置20のA/D変換器21に入力され、そこで眼底画像が、A/Dの分解能に応じて多値化されてデジタル信号に変換された後、画像メモリ22に格納される。
画像処理装置20は、種々のデータ処理、演算を行うCPU23を有しており、このCPU23は、本発明では、領域抽出手段23a、外周取得手段23b、最小円取得手段23c、面積、直径算出手段23dとしての機能を果たし、後述するように、ROM25に格納されているプログラムを実行して眼底画像を処理する。この画像処理時、RAM24は、入力されたデータ、処理されたデータを格納する作業用のメモリとして利用される。
画像処理装置20は、記録装置30と接続可能であり、眼底カメラ10で撮像され、画像メモリ22に格納された眼底画像をこの記録装置30に記録して保存することができる。また、記録装置30に記録されている眼底画像を、画像メモリ22に取り込んで、撮像素子11からの眼底画像と同様な画像処理を施すこともできる。
また、画像処理装置20には、モニタ31などで構成される表示手段が接続され、このモニタ31には、画像メモリ22に格納された眼底画像、処理された眼底画像が表示され、またマウス32などの指定手段によりモニタ31に表示された画像の所定の領域ないし所定の点を任意に指定することができる。また、マウス32により指定された画面上の点の画像の輝度値(輝度しきい値)を、増減させる輝度値増減手段33が設けられている。更に、画像処理装置20には、キーボード、マウスなどの入力手段34が設けられ、種々のデータを画像処理装置20に入力させることができる。
このような構成において、被検眼の網膜上の所定領域、すなわち病変部の大きさを測定する処理の流れを説明する。
眼底カメラ10で被検眼Eの眼底Erを撮像素子11により蛍光撮影して、A/D変換器21でデジタル信号に変換し、これを画像メモリ22に格納するとともに、モニタ31に眼底画像を表示し、画像処理を行う。なお、この処理画像は、記録装置30に格納されている蛍光撮影された眼底画像を画像メモリ22にロードし、そのロードされた眼底画像とすることもできる。
この撮像ないし記録されたモニタ31上の眼底画像が図2に図示されており、また、このとき図3(A)の左上に示したようなダイアログボックス50がモニタ31に表示される。図4に示したように、ダイアログボックス50には、この眼底画像に関連した被検眼のID番号や、左眼(L)、右眼(R)などの被検眼情報、眼底カメラ10の情報(メーカー、機種)、画角、撮影マスクの寸法などの撮像パラメータ、それに、被検眼の屈折力、角膜曲率(ケラト)、眼軸長などの被検眼パラメータの項目が表示される。
ここで、眼底カメラのメーカー名、機種名、画角、撮影マスクのサイズは、装置リスト26に眼底カメラごとにファイルとして格納されるので、眼底カメラ10で眼底を撮影する場合には、眼底カメラ10に関連するこれらのデータが装置リスト26から読み出され、自動的にダイアログボックス50の各項目に入力される。また、記録装置30から読み込んだ眼底画像で、これらの項目がまだ入力されていない場合には、ユーザーが入力手段34を介して入力する。
このように、眼底カメラが特定され、上記諸元が分かると、倍率換算テーブル27がロードされ、倍率換算値が求められる。
また、披検眼の屈折力、角膜曲率(ケラト)または眼軸長などの被検眼パラメータを入力する。デフォルト値を表示し、ユーザーが変更するようにするのが好ましい。なお、角膜曲率(ケラト)と眼軸長は、そのいずれかしか入力できないようになっている。
撮影マスクは、眼底の撮影範囲を定めるもので、図2、図3で撮影マスク31a内の画像が眼底画像となる。最小円を求める公知のアルゴリズムで撮影マスク31aを自動検出して、撮影マスクに一致する円を描き、その直径d(図2(a))の画素数を記憶しておく。
最終的な画像の倍率は、上記求めた撮影マスクの直径dに相当する画素数、ダイアログ50で指定された撮影マスクのマスクサイズ、並びに上記倍率換算テーブル27で求められた換算値により求められる。
続いて、レーザー光照射領域と乳頭縁との距離を測定するために、病変部の指定に先立ち乳頭縁をユーザーが指定する。その指定方法としては、乳頭40の黄班側の3〜4点をユーザーが指定して、ソフトにより円弧を描く方法、あるいは、画面上に縦長の楕円(標準的な乳頭サイズ)を表示し、ユーザーがその楕円をドラッグして移動し、乳頭縁に合わせる方法が考えられる。
続いて、病変部41を特定する。そのために、図2(A)に示したように、任意の点、例えば病変部41の外縁部41aをマウス32により指定(クリック)する。眼底画像は、A/D変換器21によりその輝度値が多値化された値(例えば0〜256の値)となっているので、クリックされた外縁部41aの画素の輝度値は、多値化のほぼ中間値(例えば120)となっており、その輝度値が2値化のためのしきい値として設定される。そこで、領域抽出手段23aは、眼底画像を画素ごとにスキャンし、この設定されたしきい値より輝度値が高いものを「1」、それ以下のものを「0」として2値化し、図2(B)に示したように、しきい値より高い輝度値を有する画像領域を抽出する。
しきい値より高い輝度を持つ領域は複数存在することがあるため、マウス32で指定(クリック)した位置41aを含む領域だけが選択されるように絞込みを行う。このために、外周取得手段23bは、例えば、クリックした画素を中心として3×3の画素領域で領域41bをスキャンし、「1」の画素領域を抽出することにより領域41cだけを選択し(図2(C))、該領域に対してフィルタリング処理を行って図2(D)に示したような領域41cの外周41dを取得する。
続いて、最小円取得手段23cにより、公知のアルゴリズムに従って外周41dを全て含む最小円42が取得される。
この方法は、図4の「方法(3)」のボタン50cを操作したときの病変部指定方法であるが、その他公知の「方法(1):患部の最大直径と思われる2点をユーザーが指定する」、「方法(2):患部の外周をユーザーのマウス操作でなぞって領域を指定する」を選択することによっても、病変部を指定することもできる。
このようにして、病変部を含む最小円が取得できたので、図4の「計算」ボタン50dを操作して面積、直径算出手段23dを起動させ、最小円の直径に相当するGLD(最大直径)、最小円の面積、それに直径に1mm相当を余裕分とて加算した値をレーザービームの照射径として算出する。なお、最小円の面積及び/又はその直径(GLDに相当)を算出するとき、その算出された値を、撮像光学系の撮像倍率、撮影マスクの寸法、フォーカスレンズの光軸方向の位置などの撮像パラメータに応じて補正するとともに、被検眼屈折力などの被検眼パラメータに従って補正するようにする。
この計算結果が、図4の下方部50eに図示されている。また、そのとき、図3(A)に示されているように、指定した病変部41cの領域、算出した最小円42並びにレーザービームの照射径42aを画面に描画する。このとき、照射径は、1mm相当をあらかじめ画像倍率から画素数に変換して描画され、先に求めた乳頭縁との最も接近した部位の距離が、200μm以下のときは、誤って乳頭を照射してしまう恐れがあるので、照射径を赤色で描画し、警告表示する。
上述した例では、最初病変部の外縁部41aをクリックする位置(所定の点)に従って、輝度しきい値が定まるので、クリックする位置次第で病変部の領域ないしそれを含む最小円の大きさが相違してくる。そこで、ユーザーは、しきい値を変化させて病変部の領域ないし最小円を画面上で変化させ、取得画像ないしデータの妥当性を検証することができる。
これは、例えば、図4に示すダイアログで増減ボタン(輝度値増減手段)50a、50bを操作することにより行われる。ボタン50bをクリックするごとに、先に取得した輝度しきい値を所定値ずつ減少させることができ、それに従って、図3(B)に示したように、2値化された病変部41eの領域は増大し、また描画される最小円43並びにレーザービームの照射径43aは増大する。
一方、ボタン50aをクリックすると、クリックごとに、先に取得した輝度しきい値の値を所定値ずつ増大させることができ、それにより、図3(C)に示したように、2値化された病変部41fの領域は減少し、また描画される最小円44並びにレーザービームの照射径44aも減少する。
このように、2値化のための輝度しきい値を調節することにより、指定した病変部の領域の大きさが変化するので、ユーザーは画面を見ながら一番適切と思われる領域を病変部として指定し、選択することができ、治療すべき病変部を簡単に特定してその網膜上の実距離を測定することが可能となる。
本発明の眼科測定装置の構成を示すブロック図である。 網膜上の病変部を特定する流れを示す説明図である。 病変部に照射するレーザー照射領域を求める過程を説明する説明図である。 モニタに表示されるダイアログボックスの画面図である。
符号の説明
10 眼底カメラ
11 撮像素子
20 画像処理装置
22 画像メモリ
23a 領域抽出手段
23b 外周取得手段
23c 最小円取得手段
23d 面積、直径算出手段
30 記録装置
31 表示手段
32 指定手段
33 輝度値増減手段
34 入力手段

Claims (7)

  1. 蛍光撮影された眼底の電子画像を表示する表示手段と、
    前記表示手段に表示された画像上での任意の点を指定する指定手段と、
    前記指定手段で指定された点の輝度値よりも高い輝度値の領域を抽出する領域抽出手段と、
    を有することを特徴とする眼科測定装置。
  2. 前記指定された点の輝度値を増減させる輝度値増減手段を有することを特徴とする請求項1に記載の眼科測定装置。
  3. 前記抽出された領域の画像を処理して該領域の外周を求める外周取得手段を有することを特徴とする請求項1又は2に記載の眼科測定装置。
  4. 前記求めた外周を含む最小の円を求める最小円取得手段を有することを特徴とする請求項3に記載の眼科測定装置。
  5. 前記求めた円の面積及び/又は直径を算出し、算出された面積及び/又は直径を撮像パラメータに応じて補正することを特徴とする請求項4に記載の眼科測定装置。
  6. 前記撮像パラメータには、少なくとも撮像光学系の撮像倍率、撮影マスクの寸法、フォーカスレンズの光軸方向の位置の1つが含まれることを特徴とする請求項5に記載の眼科測定装置。
  7. 前記求めた円の面積及び/又は直径を算出し、算出された面積及び/又は直径を被検眼パラメータに応じて補正することを特徴とする請求項4に記載の眼科測定装置。
JP2005160808A 2004-10-27 2005-06-01 眼科測定装置 Expired - Fee Related JP5014593B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005160808A JP5014593B2 (ja) 2005-06-01 2005-06-01 眼科測定装置
EP05023025A EP1652469A3 (en) 2004-10-27 2005-10-21 Ophthalmological measuring apparatus
EP07109143A EP1825804A1 (en) 2004-10-27 2005-10-21 Ophtalmological measuring apparatus
US11/258,815 US7370965B2 (en) 2004-10-27 2005-10-26 Ophthalmological measuring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005160808A JP5014593B2 (ja) 2005-06-01 2005-06-01 眼科測定装置

Publications (2)

Publication Number Publication Date
JP2006334044A true JP2006334044A (ja) 2006-12-14
JP5014593B2 JP5014593B2 (ja) 2012-08-29

Family

ID=37555105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005160808A Expired - Fee Related JP5014593B2 (ja) 2004-10-27 2005-06-01 眼科測定装置

Country Status (1)

Country Link
JP (1) JP5014593B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008029732A (ja) * 2006-07-31 2008-02-14 Nidek Co Ltd 眼科装置
JP2008206684A (ja) * 2007-02-26 2008-09-11 Topcon Corp 眼底観察装置、眼底画像処理装置及びプログラム
JP2008237237A (ja) * 2007-03-23 2008-10-09 Topcon Corp 眼底観察装置、眼科画像表示装置及びプログラム
JP2008295804A (ja) * 2007-05-31 2008-12-11 Topcon Corp 眼底検査装置及びプログラム
JP2009000354A (ja) * 2007-06-22 2009-01-08 Nidek Co Ltd 眼科測定装置
WO2015152119A1 (ja) * 2014-03-31 2015-10-08 興和株式会社 立体断層像の容積計測装置、容積計測方法及び容積計測プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5549778A (en) * 1978-10-06 1980-04-10 Agency Of Ind Science & Technol Picture outline extraction method
JPH06125876A (ja) * 1992-10-16 1994-05-10 Nikon Corp 眼神経乳頭診断装置
JPH08206081A (ja) * 1995-01-31 1996-08-13 Canon Inc 撮影装置
JPH09327440A (ja) * 1996-06-10 1997-12-22 Nippon Telegr & Teleph Corp <Ntt> 眼底画像の画像処理方法
JP2003310555A (ja) * 2002-04-19 2003-11-05 Topcon Corp 眼底画像処理方法、眼底画像処理装置、その記録媒体及びそのプログラム
JP2004508085A (ja) * 2000-09-05 2004-03-18 タリア テクノロジー エルティーディー. 網膜病変の早期発見および分類のための方法および装置
JP2005504595A (ja) * 2001-10-03 2005-02-17 レティナリゼ・ダンマーク・アクティーゼルスカブ 画像内の病変の評定
JP2005508215A (ja) * 2001-08-30 2005-03-31 フィラデルフィア オフサルミック イメージング システムズ 糖尿病性網膜症の患者をスクリーニングするためのシステムおよび方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5549778A (en) * 1978-10-06 1980-04-10 Agency Of Ind Science & Technol Picture outline extraction method
JPH06125876A (ja) * 1992-10-16 1994-05-10 Nikon Corp 眼神経乳頭診断装置
JPH08206081A (ja) * 1995-01-31 1996-08-13 Canon Inc 撮影装置
JPH09327440A (ja) * 1996-06-10 1997-12-22 Nippon Telegr & Teleph Corp <Ntt> 眼底画像の画像処理方法
JP2004508085A (ja) * 2000-09-05 2004-03-18 タリア テクノロジー エルティーディー. 網膜病変の早期発見および分類のための方法および装置
JP2005508215A (ja) * 2001-08-30 2005-03-31 フィラデルフィア オフサルミック イメージング システムズ 糖尿病性網膜症の患者をスクリーニングするためのシステムおよび方法
JP2005504595A (ja) * 2001-10-03 2005-02-17 レティナリゼ・ダンマーク・アクティーゼルスカブ 画像内の病変の評定
JP2003310555A (ja) * 2002-04-19 2003-11-05 Topcon Corp 眼底画像処理方法、眼底画像処理装置、その記録媒体及びそのプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008029732A (ja) * 2006-07-31 2008-02-14 Nidek Co Ltd 眼科装置
JP2008206684A (ja) * 2007-02-26 2008-09-11 Topcon Corp 眼底観察装置、眼底画像処理装置及びプログラム
JP2008237237A (ja) * 2007-03-23 2008-10-09 Topcon Corp 眼底観察装置、眼科画像表示装置及びプログラム
JP2008295804A (ja) * 2007-05-31 2008-12-11 Topcon Corp 眼底検査装置及びプログラム
JP2009000354A (ja) * 2007-06-22 2009-01-08 Nidek Co Ltd 眼科測定装置
WO2015152119A1 (ja) * 2014-03-31 2015-10-08 興和株式会社 立体断層像の容積計測装置、容積計測方法及び容積計測プログラム
JPWO2015152119A1 (ja) * 2014-03-31 2017-04-13 興和株式会社 立体断層像の容積計測装置、容積計測方法及び容積計測プログラム
US9820649B2 (en) 2014-03-31 2017-11-21 Kowa Company, Ltd. Volume measuring device, volume measuring method, and volume measuring program for three-dimensional tomographic image

Also Published As

Publication number Publication date
JP5014593B2 (ja) 2012-08-29

Similar Documents

Publication Publication Date Title
EP1825804A1 (en) Ophtalmological measuring apparatus
JP5818409B2 (ja) 眼底撮像装置及びその制御方法
JP6215555B2 (ja) 眼底画像処理装置および眼底画像処理プログラム
JP5014593B2 (ja) 眼科測定装置
WO2020036121A1 (ja) 内視鏡システム
JP6207225B2 (ja) 画像処理装置及び画像処理方法
JP2008022928A (ja) 画像解析装置及び画像解析プログラム
JP2010184057A (ja) 画像処理方法および装置
JP5271157B2 (ja) 眼底画像解析装置、眼底撮影装置及びプログラム
JP6289462B2 (ja) 画像処理装置及び画像処理方法
JP4751689B2 (ja) 眼球表面解析システム
KR20200026135A (ko) 달팽이관에서의 미세 혈류 측정 방법 및 장치
KR101992016B1 (ko) 광원 및 초점 자동 제어 기능을 가지는 안저 형광 영상 획득 장치 및 방법
JP6643982B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2010220942A (ja) 瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム
JP4380176B2 (ja) 医用画像処理装置及び異常陰影候補の検出結果の表示方法
JP2006263127A (ja) 眼底画像診断支援システム、及び眼底画像診断支援プログラム
JP3548473B2 (ja) 眼底画像の動静脈識別方法、記録媒体及び装置
JP2002000567A (ja) 瞳孔中心位置計測方法及び視点位置検出方法
JP2010158279A (ja) 眼底画像解析システム、及び眼底画像解析プログラム
JP7005382B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2022033290A (ja) 情報処理装置、情報処理方法およびプログラム
JP2018057828A (ja) 画像処理装置及び画像処理方法
JP5048284B2 (ja) 眼科装置
JP2021145914A (ja) 眼科装置及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110311

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110510

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110719

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110722

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110812

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees