JP2008079897A - 医用画像処理システム - Google Patents

医用画像処理システム Download PDF

Info

Publication number
JP2008079897A
JP2008079897A JP2006264245A JP2006264245A JP2008079897A JP 2008079897 A JP2008079897 A JP 2008079897A JP 2006264245 A JP2006264245 A JP 2006264245A JP 2006264245 A JP2006264245 A JP 2006264245A JP 2008079897 A JP2008079897 A JP 2008079897A
Authority
JP
Japan
Prior art keywords
pixel
pixels
contour
dimensional image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006264245A
Other languages
English (en)
Other versions
JP4816373B2 (ja
Inventor
Yasuhisa Matsuba
靖寿 松葉
Tetsutaro Ono
徹太郎 小野
Tomoaki Goto
智章 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2006264245A priority Critical patent/JP4816373B2/ja
Publication of JP2008079897A publication Critical patent/JP2008079897A/ja
Application granted granted Critical
Publication of JP4816373B2 publication Critical patent/JP4816373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】 診断に必要な部位の情報を変更することなく、3Dレンダリングしても個人を特定できないようにすることが可能な医用画像処理システムを提供する。
【解決手段】 元の三次元画像から、二次元画像を抽出して各二次元画像における輪郭部を検出し、輪郭内部の画素(ボクセル)を確定画素、輪郭外部の画素を未確定画素とする。そして、未確定画素のうち、近傍26画素にもっとも多く確定画素が含まれるものに対してダミー値を割り当てていく。ダミー値は、近傍26画素に含まれる確定画素のいずれかの値、または平均値を採用する。
【選択図】 図3

Description

本発明は、診断等のために撮影した医用画像の処理に関し、特に各個人を特定されないように画像処理を行うための技術に関する。
従来より、健康な人の状態や、患者の状態を解析・診断するため、MRI装置等により撮影した医用画像の利用が行われている。このような医用画像は、三次元画像として撮影され、断面の位置を特定することにより、その断面を二次元画像として見ることができる(例えば、特許文献1参照)。最近では、患者と健常者を比較する目的や、症例の研究等の目的から、複数の医療機関で医用画像のやりとりも行われている。
特開2005−237441号公報
医用画像のヘッダ情報には、名前や患者など、個人を特定することができる情報が多く含まれている。医療施設では、医用画像のヘッダ部において、名前などを削除するなどして、個人情報保護に取り組んでいる。しかし、たとえヘッダ部の個人情報を削除したとしても、3Dで撮像された脳画像をレンダリングすることで、目、鼻、口、顔の輪郭などが表現され、個人を特定しやすくなる。その結果、施設間において医用画像のやりとりの妨げになっている。
そこで、本発明は、診断に必要な部位の情報を変更することなく、3Dレンダリングしても個人を特定できないようにすることが可能な医用画像処理システムを提供することを課題とする。
上記課題を解決するため、本発明第1の態様では、頭部を撮像することにより得られた三次元画像から、横断面を再構成することにより二次元画像を抽出する二次元画像抽出手段と、各二次元画像において撮像された頭部の輪郭部を検出する処理を行う輪郭部検出手段と、前記輪郭部の内部の画素を確定画素、前記輪郭部の外部の画素を未確定画素とした状態を初期状態とし、前記各未確定画素について、当該未確定画素の近傍の確定画素の値に基づいて、当該未確定画素にダミー値を外挿し、ダミー値が外挿された未確定画素を確定画素とする処理を順次繰り返すことにより、所定範囲の未確定画素にダミー値を割り当てるダミー情報付加手段を有する医用画像処理システムを提供する。
本発明第2の態様では、本発明第1の態様における前記ダミー情報付加手段が、前記未確定画素の近傍の確定画素として、当該未確定画素が存在する二次元画像の確定画素、および当該二次元画像に隣接する他の二次元画像の確定画素を利用するものであることを特徴とする。
本発明によれば、元の三次元画像から、二次元画像を抽出して各二次元画像における輪郭部を検出し、この輪郭外部の画素に、輪郭内部の画素を基にしたダミー値を外挿するようにしたので、診断に必要な部位の情報を変更することなく、3Dレンダリングしても個人を特定できないようにすることが可能となる。
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
(1.システム構成)
図1は、本発明に係る医用画像処理システムの一実施形態を示す構成図である。図1において、10は二次元画像抽出手段、20は輪郭部検出手段、30はダミー情報付加手段である。
二次元画像抽出手段10は、頭部を撮像することにより得られた三次元画像から、横断面を再構成することにより二次元画像を抽出する機能を有している。輪郭部検出手段20は、二次元画像抽出手段10が抽出した二次元画像において、撮像されている頭部の輪郭部を検出する機能を有している。ダミー情報付加手段30は、輪郭部検出手段20が、各二次元画像から検出した輪郭部を利用して、輪郭部に隣接する外部の画素に、輪郭部の内部の画素値と同一の値をダミー情報として付加する機能を有している。
図1に示した医用画像処理システムとしては、医療施設内に設置されたコンピュータを用いることができ、このようなコンピュータに専用のプログラムを搭載することにより実現される。
ここで、本実施形態において処理対象とする撮像画像について説明しておく。本実施形態において処理対象とする撮像画像は、MRI装置により頭部を撮像することにより得られた脳MRIである。得られた脳MRIが、sagittal(矢状断面)またはcoronal(冠状断面)であった場合、MPR(Multi Planar Reconstruction:多断面再構成法)によって、axial(横断面)として再構成する。なお、MPRとは、三次元的に収集された画像の任意断面を抽出し表示する方法で、例えば、横断面で撮影した複数枚のスライス画像(axial)からsagittalなどの異なる断面のスライス画像を再構成することである。
撮像方向には、図2に示したようなaxial(transverse):横断面の他に、sagittal:矢状断面(側面からの縦切り)やcoronal:冠状断面(正面からの縦切り) がある。なお、本実施形態では、脳MRIを例にとって説明するが、X 線、超音波、CT等の他の撮像手段を用いても良い。
(2.システムの処理動作)
次に、図1に示した医用画像処理システムの処理動作について説明する。まず、二次元画像抽出手段10が、入力された三次元画像(脳MRI)から二次元画像を抽出する。すなわち、xyzの座標系において、x、y、zのいずれかの値を特定することにより、頭部のaxial(横断面)画像を抽出する。ここでは、この頭部画像に対して、x、y、zのいずれかの値を特定して全横断面画像を順次抽出する。ここでは、zを特定したxy断面画像を二次元画像として抽出した場合を例にとって説明する。輪郭部の抽出のために二次元画像として、横断面画像を再構成する理由は、常に頭蓋骨の輪郭に囲まれているため、膨張・収縮処理や穴埋め処理などに適した形式で、背景と対象部位を区別することができるためである。
輪郭部検出手段20は、二次元画像抽出手段10が抽出した二次元画像において、撮像されている頭部の輪郭部を検出する。この輪郭部検出の様子を図2を用いて説明する。図2は、x、y、zのうちzの値を固定した場合のxy断面(axial:横断面)脳画像である。図2(a)はMRI装置により得られた元画像である。
輪郭部検出としては、まず平滑化処理を行い、ノイズを除去する(b)。次に二値化処理を実行し、背景と脳との境界を明確にする(c)。続いて、穴埋め処理を実行し、脳内部に関しても背景と区別する(d)。単なる穴埋め処理では、穴埋めしきれない部分が生じるため、次に膨張処理を行う(e)。次に、再度穴埋め処理を実行することにより、背景と脳との境界をより明確にする(f)。収縮により、全体を元画像の大きさに戻す(g)。続いて、穴埋めされている二値画像のアウトラインの画素を検出する(h)。このアウトラインの画素が、脳画像の輪郭部として検出されることになる。上記の輪郭部検出処理をzの値を1ずつ変化させながら、全てのzに対して行い、zの数に対応した各二次元画像における輪郭部を検出する。なお、上記、平滑化、二値化、穴埋め、膨張、収縮、二値画像のアウトラインの画素の検出の各処理については、それら単独の処理としては公知の技術であるので個々の処理の詳細な説明は省略する。本発明における輪郭部検出処理の特徴は、穴埋め処理後に、膨張処理、再度の穴埋め処理、収縮処理の順序で実行する点である。
次に、ダミー情報付加手段30が、輪郭部検出手段20により各二次元画像から検出された輪郭部を利用して、輪郭部の外部の各画素に、輪郭部の内部の画素値を元に決定した値を、ダミー情報として付加する処理を行う。輪郭部の外部の画素に新たに画素を割り当てることを“外挿”と呼ぶことにする。
輪郭部が検出された段階において、輪郭部を含む輪郭内部の画素については、画素値の変更を行わないため、画素値は確定している。ここでは、画素値が確定している画素を“確定画素”と呼ぶことにする。これに対して、輪郭部より外側の輪郭外部の画素については、これからダミーの値を割り当てていくため、この時点では、画素値は未確定である。ここでは、画素値が未確定の画素を“未確定画素”と呼ぶことにする。本実施形態における外挿処理は、未確定画素に確定画素を利用して決定したダミー値を割り当てることにより行われる。したがって、外挿処理の過程において、未確定画素は順次確定画素に変化し、最終的に全てが確定画素となるが、輪郭部検出時においては、輪郭内部が全て確定画素であり、輪郭外部が全て未確定画素である。
次に、未確定画素のうち、どの画素から外挿を行うべきかという画素の特定順序について説明する。外挿される未確定画素の順序は、その未確定画素の近傍に存在する確定画素の画素数の多さにより決定される。近傍の画素を用いる際、輪郭部検出対象とした二次元画像内の近傍画素のみを用いる場合と、隣接する他の二次元画像内の近傍画素も用いる場合とがある。隣接する他の二次元画像内の近傍画素も用いる場合、近傍とは、自身の座標を(x、y、z)としたときに、x−1〜x+1、y−1〜y+1、z−1〜z+1の範囲において自身を除いた26近傍、またはx−2〜x+2、y−2〜y+2、z−2〜z+2の範囲において自身を除いた124近傍等を用いることができるが、本実施形態では図3に示すように26近傍を用いる。
図3(a)には、27個のボクセル(画素)が示してあり、これは、中央の画素の座標を(x、y、z)としたときの、x−1〜x+1、y−1〜y+1、z−1〜z+1の範囲に収まるものである。図3においては、白で示した画素が確定画素、黒で示した画素が未確定画素である。このような状態では、(x、y、z)の画素は近傍26画素に17の確定画素が存在することになる。三次元画像における全ての未確定画素について、近傍26画素に何個の確定画素が存在するかを判断していき、その中で確定画素がもっとも多く存在する未確定画素から外挿を行っていく。したがって、近傍26画素に17個の確定画素が存在することが最多である場合には、図3(b)に示すように、(x、y、z)の画素が外挿対象画素となる。
次に、未確定画素に対して外挿するダミー値の決定手法について図3を用いて説明する。ダミー値の決定手法としては、本実施形態では、2つの手法を用いることができる。1つは外挿対象である未確定画素の近傍に存在する確定画素の中からランダムに1つの確定画素を選択し、選択された確定画素の画素値とするものである。例えば、図3の例では、外挿対象画素の26近傍に17の確定画素が存在するため、17個の確定画素のいずれかの画素値がそのまま、外挿対象画素のダミー値とされる。ランダムに選択する具体的な手法としては、この場合、近傍の確定画素に対応した1〜17の乱数を発生させ、発生された数に対応する確定画素を選択することになる。
もう1つの決定手法は、外挿対象である未確定画素の近傍に存在する確定画素の平均値を外挿するダミー値とするものである。例えば、図3の例では、外挿対象画素の26近傍に17個の確定画素が存在するため、17個の確定画素の画素値の平均値が外挿対象画素のダミー値とされる。
上記のようにして、ダミー値が外挿されることにより、未確定画素は確定画素となる。そして、この確定画素は他の未確定画素に外挿するダミー値の決定にあたり、上記のようにして利用されることになる。このように、近傍画素を利用して得られたダミー値を、外挿対象画素に割り当てることにより、輪郭部外の外挿対象画素の値は、輪郭部の画素値に近い値と同じになる。これにより、脳画像の輪郭が変化することになり、個人の特定が困難となる。
上記実施形態では、輪郭部外の全てについてダミー情報を付加(ダミー値を外挿)したが、ダミー情報を付加する範囲を制限することができる。制限する範囲については、適宜設定することができるが、例えば、膨張させた輪郭部の範囲を制限することが考えられる。この場合のダミー情報付加範囲の特定の様子を図4を用いて説明する。図4において(a)〜(h)は、図2と同一である。図2に示した処理と異なるのは、膨張処理後の穴埋め処理画像(f)から、膨張輪郭部を検出し、輪郭部から膨張輪郭部までをダミー情報付加範囲とする点である。
ダミー情報付加範囲が決定したら、このダミー情報付加範囲に存在する画素を未確定画素として、上記のように、図3に示したような処理を実行して、各未確定画素にダミー値を外挿していく。このように、ダミー情報付加範囲を膨張させた輪郭部の範囲に制限した場合、膨張させているとは言え、輪郭部の形状が残っている。そのため、図2に示したように、輪郭外部の全てにダミー情報を付加した場合と異なり、後に輪郭部を再現し、空間的線形変換等の画像処理を脳画像に施すことができる。ただし、膨張させ過ぎると、元の輪郭部との形状が異なってくるため、ダミー情報付加後の画像処理は困難となる。
また、上記実施形態では、外挿される未確定画素の順序および値を決定するために、輪郭部検出対象とした二次元画像内だけでなく、その二次元画像に隣接する他の二次元画像内の近傍画素も用いる場合について説明したが、輪郭部検出対象とした二次元画像内の近傍画素のみを用いるようにすることも可能である。次に、このような場合について説明する。
図5(a)は、二次元画像内の確定画素と外挿対象画素との関係を示す図である。なお、現実には、輪郭部内全てが確定画素となるため、確定画素の数は、もっと多くなるが、ここでは、説明のため、簡略化したものを示している。輪郭部検出対象とした二次元画像内のみの近傍画素を用いる場合、近傍とは、自身の座標を(x、y)としたときに、x−1〜x+1、y−1〜y+1の範囲において自身を除いた8近傍、またはx−2〜x+2、y−2〜y+2の範囲において自身を除いた24近傍等を用いることができるが、ここでは8近傍を用いる。図5(b)は、外挿対象画素と8近傍との関係を示す図である。図5(b)に示すように、隣接数とは、8近傍において含まれる確定画素数を示しており、図5(b)の例では“4”となる。外挿対象画素のうち、隣接数の大きなものから処理を行うため、図5(a)の例では、矢印で示された画素から外挿処理が行われる。
未確定画素に対して外挿するダミー値の決定手法については、二次元画像に隣接する他の二次元画像内の近傍画素も用いる場合と同様、2つの手法を用いることができる。1つは外挿対象である未確定画素の近傍に存在する確定画素の中からランダムに1つの確定画素を選択し、選択された確定画素の画素値とするものである。例えば、図5(b)の例では、外挿対象画素の8近傍に4個の確定画素が存在するため、4個の確定画素のいずれかの画素の画素値がそのまま、外挿対象画素のダミー値とされる。ランダムに選択する具体的な手法としては、この場合、近傍の確定画素に対応した1〜4の乱数を発生させ、発生された数に対応する確定画素を選択することになる。
もう1つの決定手法は、外挿対象である未確定画素の近傍に存在する確定画素の平均値を外挿するダミー値とするものである。例えば、図5(b)の例では、外挿対象画素の8近傍に4個の確定画素が存在するため、4個の確定画素の画素値の平均値が外挿対象画素の画素値とされる。
医用画像処理システムの一実施形態を示す構成図である。 輪郭部検出処理、ダミー情報付加処理における画像の変化の様子を示す図である。 ある画素に着目した場合の26近傍を示す図である。 他の例の場合の輪郭部検出処理、ダミー情報付加処理における画像の変化の様子を示す図である。 二次元における確定画素と未確定画素の関係を示す図である。
符号の説明
10・・・二次元画像抽出手段
20・・・輪郭部検出手段
30・・・ダミー情報付加手段

Claims (3)

  1. 頭部を撮像することにより得られた三次元画像から、横断面を再構成することにより二次元画像を抽出する二次元画像抽出手段と、
    各二次元画像において撮像された頭部の輪郭部を検出する処理を行う輪郭部検出手段と、
    前記輪郭部の内部の画素を確定画素、前記輪郭部の外部の画素を未確定画素とした状態を初期状態とし、前記各未確定画素について、当該未確定画素の近傍の確定画素の値に基づいて、当該未確定画素にダミー値を外挿し、ダミー値が外挿された未確定画素を確定画素とする処理を順次繰り返すことにより、所定範囲の未確定画素にダミー値を割り当てるダミー情報付加手段と、
    を有することを特徴とする医用画像処理システム。
  2. 前記ダミー情報付加手段は、前記未確定画素の近傍の確定画素として、当該未確定画素が存在する二次元画像の確定画素、および当該二次元画像に隣接する他の二次元画像の確定画素を利用するものであることを特徴とする請求項1に記載の医用画像処理システム。
  3. コンピュータを、請求項1または請求項2に記載の医用画像処理システムとして、機能させるためのプログラム。
JP2006264245A 2006-09-28 2006-09-28 医用画像処理システム Active JP4816373B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006264245A JP4816373B2 (ja) 2006-09-28 2006-09-28 医用画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006264245A JP4816373B2 (ja) 2006-09-28 2006-09-28 医用画像処理システム

Publications (2)

Publication Number Publication Date
JP2008079897A true JP2008079897A (ja) 2008-04-10
JP4816373B2 JP4816373B2 (ja) 2011-11-16

Family

ID=39351342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006264245A Active JP4816373B2 (ja) 2006-09-28 2006-09-28 医用画像処理システム

Country Status (1)

Country Link
JP (1) JP4816373B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013515307A (ja) * 2009-12-21 2013-05-02 トムソン ライセンシング 環境マップを生成する方法
JP2016039900A (ja) * 2014-08-12 2016-03-24 株式会社東芝 医用画像処理装置及び医用画像処理方法
JP2020014712A (ja) * 2018-07-26 2020-01-30 株式会社日立製作所 医用画像処理装置及び医用画像処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004113484A (ja) * 2002-09-26 2004-04-15 Aloka Co Ltd 断層像処理装置
JP2004174219A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
JP2005237441A (ja) * 2004-02-24 2005-09-08 Kokuritsu Seishin Shinkei Center 脳疾患の診断支援方法及び装置
JP2006320488A (ja) * 2005-05-18 2006-11-30 Toshiba Corp 医用画像処理装置及び情報保護システム
JP2006331261A (ja) * 2005-05-30 2006-12-07 Dainippon Printing Co Ltd 医療用画像管理システム
JP2007243256A (ja) * 2006-03-06 2007-09-20 Dainippon Printing Co Ltd 医療用画像暗号化装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004113484A (ja) * 2002-09-26 2004-04-15 Aloka Co Ltd 断層像処理装置
JP2004174219A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
JP2005237441A (ja) * 2004-02-24 2005-09-08 Kokuritsu Seishin Shinkei Center 脳疾患の診断支援方法及び装置
JP2006320488A (ja) * 2005-05-18 2006-11-30 Toshiba Corp 医用画像処理装置及び情報保護システム
JP2006331261A (ja) * 2005-05-30 2006-12-07 Dainippon Printing Co Ltd 医療用画像管理システム
JP2007243256A (ja) * 2006-03-06 2007-09-20 Dainippon Printing Co Ltd 医療用画像暗号化装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013515307A (ja) * 2009-12-21 2013-05-02 トムソン ライセンシング 環境マップを生成する方法
US9449428B2 (en) 2009-12-21 2016-09-20 Thomson Licensing Method for generating an environment map
JP2016039900A (ja) * 2014-08-12 2016-03-24 株式会社東芝 医用画像処理装置及び医用画像処理方法
JP2020014712A (ja) * 2018-07-26 2020-01-30 株式会社日立製作所 医用画像処理装置及び医用画像処理方法

Also Published As

Publication number Publication date
JP4816373B2 (ja) 2011-11-16

Similar Documents

Publication Publication Date Title
US9852525B2 (en) Method and apparatus for providing panorama image data
JP5039310B2 (ja) 脳内出血部位セグメンテーション装置
JP5200101B2 (ja) Ct画像データにおける出血性脳卒中の検出
JP5890055B1 (ja) 血管画像処理装置、血管画像処理プログラム、および血管画像処理方法
JP5635980B2 (ja) 画像処理、特に医療画像を処理するための方法及び装置
JP6353827B2 (ja) 画像処理装置
JP5432484B2 (ja) 異常陰影検出装置および方法並びにプログラム
JP2008245719A (ja) 対象領域抽出方法および装置ならびにプログラム
JP4163512B2 (ja) 画像データ処理における境界の人為的な構造の補正
KR102149369B1 (ko) 의료 영상을 시각화하는 방법 및 이를 이용한 장치
JP2010162340A (ja) 画像処理装置および方法並びにプログラム
KR20120020078A (ko) 멀티 뷰 생성을 위한 렌더링 장치 및 그 방법
US20070211929A1 (en) Digital medical image processing
JP4816373B2 (ja) 医用画像処理システム
CN106919781A (zh) 医用图像处理装置
JP2007275258A (ja) 画像表示装置
KR20100068184A (ko) 흉부 전산화 단층 촬영을 이용한 간유리음영 검출 방법
JP6802944B1 (ja) 検査支援装置、検査支援方法及びプログラム
US11551354B2 (en) Interlobar membrane display apparatus, method, and program
JP2009034516A (ja) 異常陰影検出装置および方法並びにプログラム
JP2015136480A (ja) 3次元医用画像表示制御装置およびその作動方法並びに3次元医用画像表示制御プログラム
JP7010225B2 (ja) 乳房領域検出システム、乳房領域検出方法、及びプログラム
JP2007330419A (ja) 画像表示装置および方法並びにプログラム
JP2005052329A (ja) 異常陰影候補検出装置およびプログラム
JP2005177037A (ja) 石灰化陰影判定方法、石灰化陰影判定装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090730

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4816373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150