JP2004177408A - 光を放出する領域の位置測定方法および装置 - Google Patents

光を放出する領域の位置測定方法および装置 Download PDF

Info

Publication number
JP2004177408A
JP2004177408A JP2003392397A JP2003392397A JP2004177408A JP 2004177408 A JP2004177408 A JP 2004177408A JP 2003392397 A JP2003392397 A JP 2003392397A JP 2003392397 A JP2003392397 A JP 2003392397A JP 2004177408 A JP2004177408 A JP 2004177408A
Authority
JP
Japan
Prior art keywords
region
living tissue
light
measuring
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003392397A
Other languages
English (en)
Other versions
JP4567318B2 (ja
Inventor
Marcus Pfister
プフィスター マルクス
Bernhard Dr Scholz
ショルツ ベルンハルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2004177408A publication Critical patent/JP2004177408A/ja
Application granted granted Critical
Publication of JP4567318B2 publication Critical patent/JP4567318B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0091Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/41Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/415Evaluating particular organs or parts of the immune or lymphatic systems the glands, e.g. tonsils, adenoids or thymus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/41Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/418Evaluating particular organs or parts of the immune or lymphatic systems lymph vessels, ducts or nodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/43Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4312Breast evaluation or disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233Special features of optical sensors or probes classified in A61B5/00
    • A61B2562/0242Special features of optical sensors or probes classified in A61B5/00 for varying or adjusting the optical path length in the tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Immunology (AREA)
  • Vascular Medicine (AREA)
  • Endocrinology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Reproductive Health (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

【課題】蛍光体によって蛍光マークされた腫瘍の位置測定精度を向上させ、深部組織層の評価を可能にし、計算労力およびその結果として計算時間を大幅に低下させる。
【解決手段】a)生体組織部分1上の種々の位置に一連の蛍光を励起する光信号を印加するステップと、b)生体組織部分1の表面上の、光信号に基づいて出現している複数の測定位置で蛍光光を測定するステップ21と、c)応答信号内の周波数に依存しない信号成分を測定し、周波数に依存しない信号成分を処理して位置測定ステップ25の入力値を作成するステップ23、24と、d)生体組織部分1をモデル化して1セットの誘導領域22を決定するステップと、e)誘導領域22を変換し、位置測定ステップ25において周波数に依存しない信号成分を変換された誘導領域と比較し、周波数に依存しない信号成分を最高に再生する変換された誘導領域の位置26が位置測定されるべき領域2の位置として出力されるステップ28と、を備える。
【選択図】図2

Description

本発明は、生体組織部分内の領域(例えば限局性病変)が少なくとも検査中に生体組織部分とは異なる蛍光特性を有し、この蛍光特性に基づいて第1波長の光を照射されると別の波長の光が放出される、生体組織部分内の領域の位置測定方法ならびにこの方法を実施するための装置に関する。
非特許文献1に、蛍光性代謝マーカは、
専ら例えば腫瘍、炎症または他の特定病巣のような特定領域内に蓄積する、または
確かに身体内の至る所に分布するが、例えば腫瘍特異的酵素活性によって、および追加的に光の照射によって特別に特定領域のみで活性化される、
と記載されている。
この光学的蛍光画像形成の原理は図1を参照して説明される。図1では、マウスにマーカが投与され、マーカの蛍光特性が特定酵素によって遊離させられた後に、腫瘍がNIR光(近赤外範囲内の光)照射により可視化されている。
腫瘍または他のマークされた領域はその後、該領域が蛍光色素の特別な励起波長の光を照射され、蛍光体の対応する放出波長内の放出光が検出されることによって認識される。これらのマーカは、例えば癌の早期発見のためにヒトを対象として許可されているので使用できる。
少なくとも1つの経時的に変化する励起光信号(例えば経時的に変化する照射位置および/または光の波長および/または励起光の強度変調)により色素を励起することによって、例えばCCDもしくは光増倍管を用いてデータ、例えば柔らかな乳房のような検査されるべき組織部分の表面上の光子流を種々の変化について種々の測定点で取得することができる。このようにして、変化および位置依存性の、すなわち空間的に二次元の測定データが取得される。N回の変化に対するM個の測定データの場合、これはM×N個のデータとなる。
これらのデータから、ここに提示された算出方法を用いると、例えば周囲組織とは異なる蛍光特性を有し蛍光マークされた限局性腫瘍のような空間的に限定された病変の位置を三次元で測定することができる。
この方法は、
乳房
リンパ節
甲状腺
前立腺
術中適用
ならびに光の浸透深さの範囲内に位置し癌種(またはその他の疾患)が発生しているすべての体表面に近い器官の癌(スクリーニング)検査に使用される。癌種(またはその他の疾患)に対しては(現在または将来の時点に)相応の蛍光マーカが存在する
蛍光画像を再構成ないしは位置測定するために種々のアプローチ法がある。
ブリットン・チャンス(Britton Chance)は、均質な媒質中の蛍光吸収体の位置測定方法、いわゆるフェイズドアレイを提案している。この方法は、絶対的に均質な媒質、すなわち適用時にはほとんど発生しないような均質な光吸収特性および散乱特性を備える媒質中のみで蛍光不均質箇所(スポット)を位置測定し、スポットが存在する深部に関する情報は全く提供しない。
その他に、蛍光画像を再構成するための種々の方法が提案されている。画像の再構成では、すべての(大部分が離散性である)媒質中で完全な蛍光活性が求められ(核医学法におけると同様に)、他方では位置測定において専らバックグラウンドから強調されている領域が探索される。画像再構成方法は、(しばしば反復性の)大きな連立方程式を解くことに基づいており、それゆえ本発明で提案されるリアルタイムで実施される位置測定とは異なり、極めて時間がかかる。さらにまたこれらの画像再構成方法は主として、検査されるべき媒質が(コンピュータ断層撮影法の場合と同様に)光源と検出器とからなるリングに取囲まれることを前提としている。
一部の知られている方法を以下に要約して記載する。
特許文献1ないしは特許文献2からは周波数変調光を用いた断層撮影法についての教示を得ることができる。計算方法には1GHzのペンティアム・コンピュータ上では5分間ないしはSUN Sparc 2ワークステーション上では45分間の画像再構成時間を必要とする。特許文献3では、同様に1GHzのペンティアム・コンピュータで5分間の画像再構成時間を必要とする、光を用いた断層撮影法が記載されている。
上記の方法はすべて、画像再構成容積が相当に小さいのに高い計算費用がかかる点が顕著であり、リアルタイムでの計算は不可能である。
米国特許第6,304,771号明細書 米国特許第5,865,754号明細書 国際公開第02/41760号パンフレット Umar Mahmoodら、「腫瘍検出のためのプロテアーゼ活性の近赤外線イメージング(Near Infrared Optical Imaging of Protease Activity for Tumor Detection)」,Radiology 213:3,第866−870頁(1999) B.Schloz,「仮想電気的乳房生検:トランスアドミッタンス・データを得るための空間周波数MUSIC(Towards Virtual Electrical Breast Biopsy:Space−Frequency MUSIC for Trans−Admittance Data」,IEEE Trans.Med.Imag.,Vol.21,No.6,第588〜595頁,2002. G.Golub,Ch.Van Loan,「マトリックスの計算、第3版(Matrix Computations,3rd edition)」,J.Hopkins University Press,1996,第70頁以降。 G.Golubら、第584頁以降。
本発明の課題は、冒頭で述べた種類の位置測定方法ならびにこの方法を実施するための装置において、例えば蛍光体によって蛍光マークされた腫瘍の位置測定精度を向上させ、深部組織層の評価を可能にし、計算労力およびその結果として計算時間を大幅に低下させることにある。
方法に関する課題は、本発明により、冒頭で述べた生体組織部分内の領域の位置測定方法において、
a)生体組織部分上の種々の位置に一連の蛍光を励起する光信号を印加するステップと、
b)生体組織部分の表面上の、光信号に基づいて出現する複数の測定位置で蛍光光を測定するステップと、
c)応答信号内の周波数に依存しない信号成分を測定し、周波数に依存しない信号成分を処理して位置測定ステップの入力値を作成するステップと、
d)生体組織部分をモデル化して1セットの誘導領域を決定するステップと、
e)誘導領域を変換し、位置測定ステップにおいて周波数に依存しない信号成分を、変換された誘導領域と比較し、周波数に依存しない信号成分を最高に再生する変換された誘導領域の位置が位置測定されるべき領域の位置として出力されるステップと、
を備えることによって解決される。
本発明による方法によって、光学的に濁っている媒質中の蛍光性対象物を位置測定するという問題が迅速に解決される。さらに、励起位置を変化させることによって精度が向上する。
蛍光マーカが蓄積されている組織部分の発光は、適切な波長のレーザ光を照射することによって励起される。その後、蛍光光を隣接する皮膚表面上で測定することができる。
マークされた組織部分の位置および光学パラメータを測定するために、
表面から、例えば種々の位置から一連の蛍光励起が種々の変調周波数(ゼロ周波数を含む)で組織内へ照射され、その後
蛍光光が該表面上に分布された適切な光センからなる1つまたは複数の装置を用いて測定され、それによって励起の種類に依存する二次元の測定値分布が得られる。
種々の蛍光特性を発生させるために、領域を蛍光マーカ(蛍光体)を用いてマークすると有益であることが実証された。
位置解像度は、種々の変調周波数を有し蛍光を励起する光信号を発生させ、組織部分内へ照射すると向上する。
蛍光を励起する光信号は適切な波長のレーザ光によって照射すると有利である。
誘導領域が最初に正規化され、その後変換される。その場合、誘導領域を直交誘導領域へ変換することができる。さらに、直交誘導領域は誘導領域から特異値分解を用いて決定することができる。
本発明によると、光学パラメータは蛍光を励起しない波長での基準測定により推定方法によって決定できる。
本発明による方法を実施するための装置に関する課題は、本発明により、励起の種類に依存する二次元の測定値分布を得るために、蛍光マークされた領域を励起する励起光を発生するためのレーザダイオードと、蛍光マークされた領域から放出された蛍光光を測定するために生体組織部分の表面上に分布された光センサとからなる少なくとも1つの装置が設けられていることにより解決される。
測定システムは、例えば、平らな測定面上に規則的に配置された8×8個の光センサを含んでいる。しかし、複数のこのような平面状システムを同時に用いて測定することも有利である。同様に例えば、検査されるべき組織部分の両側に置かれる光センサからなる2つの装置を用いることもできる。それにより、柔らかな乳房を測定する場合、乳房の両側に2つの測定面を置くことができる。有利な実施態様は、X線マンモグラフィ装置の圧迫板内に測定面を組み込んだ装置である。
一般に、光センサが任意に配置されている任意の湾曲したないしは湾曲可能もしくは柔軟な測定面を使用することができる。
以下において図面に示した実施例に基づいて本発明を詳細に説明する。
図2に示されている概略図は、生体組織部分1内に位置する限定された空間領域2を位置測定して識別することができる測定および評価装置を示している。このとき、空間領域2は残りの組織部分1とは異なる蛍光特性を有していることが前提となっている。この前提条件は、生体組織部分1が柔らかな乳房であり、限定された空間領域2が腫瘍であり、この腫瘍には一定の酵素によって遊離される蛍光特性を持つ例えば蛍光代謝マーカを導入されている場合には十分良好に満たされる。
測定装置には、以下でさらに詳細に説明するように、空間的に分布するように配置された多数の光センサとその横に一列に配置されたレーザダイオードとを備えるアプリケータ3が含まれる。
腫瘍または他のマークされた領域の識別は、蛍光色素の特定励起波長のレーザダイオードの光を該領域に照射し蛍光体の相応する放出波長の放出光を光センサによって検出することにより行われる。
アプリケータ3の光センサおよびレーザダイオードは、一方では電気接続線4を介して電気制御装置5に、他方では電気接続線6を介して測定値処理装置7に接続されている。
制御装置5を用いて、生体組織部分1に、そこに場合によっては存在するマークされた腫瘍を励起して蛍光を発生させるために、K(1≦K≦M)個のレーザダイオードを介してNIR光のパルスが印加される。
空間的に限定された領域2を位置測定して識別するために、組織部分1の表面上で領域2から放出された光がM個の位置で光センサによって測定され、評価される。
測定値処理装置7には、例えば測定増幅器、フィルタおよびアナログ・デジタル変換器が含まれる。測定値処理装置7は、コンピュータ8の1つまたは複数のデータ入力端に接続されている。コンピュータ8では、測定値とともに組織部分1のモデル9を利用することができ、それらを用いて以下でさらに詳細に説明するように、上記で言及した蛍光を発生する領域2の位置が位置測定および識別される。例えば光源、従って空間領域2の位置がマークされている組織部分の解剖学的構造の図形表示の形の結果はモニタ10を介して表示される。計算は特にモデル9および照明位置によって決められているので、光センサならびにレーザダイオードの数および位置、周波数の値およびモデルを予め定めることのできる上位の入力装置および制御装置11が設けられている。
以下では例として図3を参照しながら位置測定方法について説明する。最初に入力値、つまり測定データおよびモデルデータ、さらにこの方法の計算ステップについて説明する。
位置測定方法のための入力値は、1つの測定面当たり以下の通りである。
a) M個のセンサ位置γS,m、(m=1,...,M)およびN個の励起パラメータ(N1個の励起位置γA,n1、(n1=1,...,N1)および/またはN2個の励起変調周波数fn2、(n2=1,...,N2)(但し、N=N1+N2)に依存し、場合によっては固有の測定データからの後処理によって発生させることができ(なお、γS,m、γA,n1はベクトル)、
(データマトリックスのM次元の列ベクトルは測定面上のセンサの配置に応じて改良することができる。改良された列ベクトルの図形表示は、所定の励起方法に合わせて考察された測定面上で測定値分布を可視化する。上記のように8×8個のセンサを分布させた場合、64次元の列ベクトルが8×8個のマトリックスへ変換される。)
病変を取囲んでいる媒質の吸収係数および散乱係数μa,μsのような光学パラメータ、
に依存する測定値(参照番号21)を備えるM×N個のデータマトリックスD。
b) 図3に参照番号22で表示され、
検査領域1の光学的媒質のモデルと、
例えばm番目のセンサの位置γmおよび/または法線ベクトルnmのような測定システム(なお、γm、nmはベクトル、以下同じ)と、
f番目の励起可能な蛍光色素の位置γf(なお、γfはベクトル)と、
測定方法(周波数変調あり/なし)と、
例えば病変を取囲んでいる媒質の吸収係数および散乱係数μaおよびμsのような光学パラメータと、
に依存する例えば多極リードフィールドのようなK個の誘導領域もしくはリードフィールドLk(γm,nm,γi,μa,μs)、(k=1,...,K)の1セット。
センサに当たった光子は電気信号に変換され、その後別の評価装置へ供給される。周波数変調励起が実施されると、光強度および入力波長に対する位相ずれが測定される。これら2つの実測定値は1つの複合測定値にまとめることができる。データマトリックスは数学的意味において複雑である。以下では複雑なデータマトリックスの一般的な場合を前提にしている。
後処理された測定データを位置測定アルゴリズムに供給することが必要になることがある。例えば、縁部データを切り捨てることによって縁部アーチファクトが排除される。これらは変調周波数ないしは励起位置の存在しない依存性をあるように見せる。
データマトリックスはさらに少なくとも2つのデータセットの線形結合から発生させることもできる。例えば蛍光信号を含むデータセットと蛍光信号を含まない空間的に隣接するデータセットとの差を考察することができる。差データにおいて可能性があるバックグラウンド励起の関与は、完全に排除されていない場合でも著しく低下していると推定できる。
誘導領域すなわちいわゆるリードフィールドは、生体電磁気学から知られている値である。これらは所定の測定システムを用いて記録できる単位信号源の測定値分布を提供する。
1つの測定システムまたは複数の測定システムを用いて記録できる光強度を、光学的に励起され蛍光体を用いてマークされた限局性病変に基づいて記述するリードフィールドは、このような限局性病変の位置測定方法のための入力値として適している。
例えば、実施例では1つのリードフィールドだけが使用される。このリードフィールドは、所定の測定システムを用いて測定される1つの点状光源の光強度を記述する。空間的に広がった蛍光源は、非特許文献2の中で取扱われた広がっている電気分極病変領域に相応して、同様に多極リードフィールドによって検出することができる。以下では、例として多極リードフィールド、つまり1セットの多数のリードフィールドを利用すると仮定している。
また別のステップのために、M個の測定位置でのk番目のリードフィールドLk(k=1,...,K)の値をデータ空間(Lの下の下付き文字によって記号化する)内のM次元のベクトルへまとめると有益である。
但し、k=1,...,K
式中、ベクトルγは病変の重心位置である。分かり易くするために、方程式(1)には病変を取囲んでいる媒質の光学パラメータの依存性は記載されていない。
上記に言及したようにリードフィールドに入る光学パラメータは、蛍光を励起しない波長での基準測定によって推定方法を用いて決定できる。
本方法の信号処理は1つの測定面当たり以下から構成される。
1.データマトリックスDの特異値分解(図3における参照番号23)
2.特異値分解の解析(図3における参照番号24)
3.固有の位置測定方法(図3における参照番号25)
1つのマトリックスの特異値分解28は、非特許文献3から知られている数学的方法である。この方法は、上記のデータマトリックスに対して以下の式を記載している。
但し、
Uはセンサ位置の指数のみに依存するM×M個のユニタリ・マトリックス、
Sは対角線成分および消失する成分における最小(M,N)の実特異値を含むM×M個の特異値マトリックス、
Vは励起位置指数ないしは周波数指数のみに依存するN×N個のユニタリ・マトリックス、
Hは当該マトリックスのエルミート形共役である。
特異値は、その数値が小さくなる順で並べられる、すなわち以下の式が当てはまる。
マトリックスUおよびVのq番目の列ベクトルを q,=vqと表示すると(なお、“=vq”はvの下に二重線=を有する記号を表わす)、また別のテンソル記録法(○の中に×を付された記号はテンソル積を表している)
は、明らかにq番目の特異値がUおよびVのq番目の列ベクトルとのみ結合されていることを示している。uおよびvにおける一重下線および二重下線は、それがM次元ベクトルないしはN次元ベクトルであることを示している。
列ベクトル qのM個の指数は測定センサの連続的に番号付けされた指数に一致している。その結果、これらの列ベクトルは、上記のように、マトリックス内の測定センサの配置に相応して変換して、二次元の測定値分布として表示することができる。これらの列ベクトルは、M次元のデータ空間内の励起ないしは周波数に依存しない正規直交基本ベクトルであり、ここではベースマップないしは固有マップと呼ぶ。
特異値解析のために、励起方法に関して線形に依存しないで挙動する蛍光源の数を提供する重要な特異値の数Qdomが算出される。
他の点では均質である光学的媒質中の点状の不均質性は、例えば重要な特異値を備える特異値スペクトルを発生させる(Qdom=1)。
関連する列ベクトル qは、M次元のデータ空間内の周波数に依存しないQdom次元の信号空間の基本ベクトルであると見なされる。残りのM−Qdom列ベクトルは、直交信号空間の基本ベクトルである。
蛍光色素でマークされた病変の探索、つまり位置測定は、励起された信号源の位置ないしは重心位置の探索に相当する。この探索をコンピュータにより行うためには、検査すべき身体領域を数学的にシミュレーションするために、モデル媒質の打切りを必要とする。
第1の検索方式は、あらゆる走査位置で励起および周波数に依存しないリードフィールドを用いて励起および周波数に依存しないモデルデータおよび/またはモデルデータ空間を発生させ、このモデルデータおよび/またはモデルデータ空間を、測定データから得られ励起および周波数に依存しない信号空間と比較することにある。比較の尺度は、信号空間とモデルデータおよび/またはモデルデータ空間との「一致」度を表示するように規定することができる。その尺度で局部的極大値と認められ位置が実際の信号源の位置であると推定される。
第2の検索方式は、直交信号空間(古い文献では騒音空間とも呼ばれている)とモデルデータないしはモデルデータ空間とを比較することにある。比較の尺度は、直交信号空間とモデルデータ/モデルデータ空間との間の「非一致」度を表示するように規定することができる。その尺度で局部的極小値と認められ位置が実際の信号源の位置であると推定される。
モデルデータはリードフィールドによって与えられ、直接にまたは後処理して利用される。
個々のリードフィールドは、信号源の特別な特性を反映するモデルデータセットを意味する。例えば、点状蛍光源のリードフィールドは、この蛍光源による等方向性光放出時に測定可能な光強度を記述する。
考察されたリードフィールドの全体(数:K)は、それらの線形非依存性に基づいてK次元のモデルデータ空間を規定する。リードフィールドは、一般にはこのモデルデータ空間の非直交基本ベクトルである。直交基本ベクトルは、適切な直交化方法によって、すなわちリードフィールドの後処理によって取得できる。これらがモデルデータ空間を変化させることはない。しかし新規の基本ベクトルを用いると新規の個別モデルデータセット(上記参照)が発生する。これらの基本ベクトルは追加して正規化することができる。これは、種々の間隔挙動を備えるリードフィールドが同様に位置測定のために役立つことを保証する。さらに、物理的に無次元の値を考慮に入れられるという長所がある。
1つの有益なリードフィールドの後処理は、例えば方程式(1)からのK個のリードフィールド k(k=1,...,K)を正規化することにある(処理ステップ27)。このとき個別のリードフィールドをそれぞれそれらの基準に関連付けることにより、以下のように正規化されたリードフィールド k (n)が生じる。
例えばM×K個のリードフィールドマトリックスの特異値分解を用いると、L個の直交化リードフィールドを取得できる。正規化は指数(n)によって表示される。
分かり易くするために、光源位置の位置ベクトルであるリードフィールドの偏角は省略した。マトリックスULの最初のK個の列ベクトル(γ)L,k,(k=1,...,K)は、探索された光源位置に依存する正規直交化リードフィールドである(なお、γはベクトル、以下同じ)。リードフィールドが1つしかない場合、方程式(5)からの特異値分解は行われない。
モデルデータセットないしはモデルデータ空間と信号空間ないし直交信号空間との比較尺度の例は、他の生物医学的用途から生体磁気学的データの解析または電気的トランスアドミタンスデータの解析から知られている。このような方法は投影法および角距離法である。
投影マトリックスを用いて個別のモデルデータセットないしはモデルデータ空間が信号空間ないしは直交信号空間上に投影され、各走査位置に対して相応の投影値が測定される。
非特許文献4に記載されている2つの部分空間の間の角度を算定するためのアルゴリズム、いわゆる角度法に基づいて探索位置毎に信号空間ないしは直交信号空間と個別のモデルデータセットないしはモデルデータ空間との間の角度が算出される。ここで例えば信号空間とモデルデータ空間との間の小さな角度つまり比較尺度の小さな値は大きな「一致」を示す。90度の形で比較尺度を変換すると、算出された角度は再び実際の信号源の位置での比較関数の最大値を生じさせる。必要に応じて変更を加えれば、上記を他の部分区間の間の角度比較尺度へ転用することができる。
打ち切られた光学的モデル媒質のあらゆる位置γでは、直交化リードフィールド(γ)L,Kと信号空間との距離がどの程度であるのかが調査される。適切な尺度は以下の関数である。
(6)の出力方程式は二乗平均の意味で考慮に入れなければならない方程式である。
係数Ciに対する解を評価尺度に挿入すると、次のようになる。
この尺度は、直交信号空間上の考察されるリードフィールドの投影に相当する。直交信号空間に投射された投影マトリックス:
を利用すると、
が生じる。
実際の位置測定関数Fは間隔Fkの最小値である。これは以下の式によって定義される。
位置測定関数の局部的最小値は、その数値に相応して単調に増大する順で並べられる。最初のQdom局部的最小値を割り当てなければならない位置は信号発生器の位置と見なされる。
測定面が多数(Msys)である場合、上記の算出ステップが各測定面のデータに対して個別に実施される。方程式(11)にしたがって、1つの測定面当たり1つの目的関数が生じる。これらの目的関数から以下の式
にしたがって、総目的関数F(gesamt)を定義できる。このときF(μ)はμ番目の測定面の目的関数である。
総位置測定関数の局部的最小値は上記のようにそれらの数値に相応して単調に増大する順で並べられる。最初のQdom局部的最小値を割り当てなければならない位置は信号発生器の位置と見なされる。この実施例は、多数の自明ではなく配置された測定面では個別目的関数の局部的最小値がより明確に示され、それによって位置測定結果がより確実になるという予想を証明している。
この実施例は、アプリケータ3に配置され図4に概略的に示されているように8×8個の規則的に配置された光センサ31を含んでいる平面状の測定システムを用いて取得された。センサ31は点状であると想定した。1つの方向に沿ったそれらの間隔は8mmであったので、測定領域の面積は56×56mm2となる。蛍光を励起するNIR光を身体領域内に照射する8個のレーザダイオード32が存在する位置は、例えば測定面の隣に配置することができる。励起は、周波数変調されていてもよいし周波数変調されていなくてもよい。このような測定装置は手で関心組織部分1の上方へ誘導することができる。レーザダイオード32が励起ビーム33を放射すると、励起ビーム33は蛍光を発生する空間領域2へ当たる。蛍光ビーム34が光センサ31によって検出される。
図5には、2つの対向配置された同一寸法の平面状測定面(8×8個のセンサ)を含むアプリケータ3の二重システムが示されている。これらは例えばX線マンモグラフィ装置の圧迫板内へ組み込むことができる。蛍光の励起は、上方のアプリケータ3の測定面(z=0)の隣にある8つの励起位置で行われる。2つのアプリケータ3の間隔は64mmである。
光学的組織モデルとしてこの例では下記のモデルを利用する。
A) 最も単純なモデルは、光学的に均質(吸収係数および散乱係数のような光学パラメータが一定)である点状の蛍光発生対象物を備える境界のない領域である。
B) 第2のモデルとしては、点状の蛍光発生対象物を備える光学的に不均質な直方体の領域を考察した。吸収係数および散乱係数は局部的に100%変化する可能性があると想定された。図9は、32mmおよび48mmの深部の蛍光色素マーク病変の位置測定関数を示している。周囲組織の吸収コントラスト差は100%になる(ピクチャー・イン・ピクチャー)
データのシミュレーションは、以下のコンフィギュレーション(構成)に基づいている。
コンフィギュレーション1
測定/励起システム:図4参照、励起は周波数変調されていない
組織モデル:不均質な直方体(5.2.B)
蛍光源:(x,y,z)=(28,28,32)mmでの位置、すなわち測定面の下方の深さ32mmにある中央の位置(図4の座標系参照)
データ:図6参照
コンフィギュレーション2
測定/励起システム:図4参照、励起は周波数変調されていない
組織モデル:不均質な直方体(5.2.B)
蛍光源:(x,y,z)=(28,28,48)mmでの位置、すなわち測定面の下方の深さ48mmにある中央の位置(図4の座標系参照)
コンフィギュレーション3a、4aおよび5a
測定/励起システム:個別測定システム。図4参照、励起は周波数変調されていない
組織モデル:均質な境界のない媒質(5.2.A)
個別蛍光源:(x,y,z)=(28,28,16)mm、(28,28,32)mm、(28,28,48)mmでの位置、すなわち測定面の下方の深さ16mm、32mmおよび48mmにある中央の位置(図4の座標系参照)
コンフィギュレーション3b、4bおよび5b
測定/励起システム:二重システム、図5参照、励起は周波数変調されていない
組織モデル:均質な境界のない媒質(5.2.A)
個別蛍光源:(x,y,z)=(28,28,16)mm、(28,28,32)mm、(28,28,48)mmでの位置、すなわち測定面の下方の深さ16mm、32mmおよび48mmにある中央の位置(図5の座標系参照)
図7に示された、特異値分解23に基づくコンフィギュレーション1のデータの特異値スペクトルは、予想通りに、存在する蛍光源の数に相応して数的に優勢な特異値を示している。残りの特異値は、雑音、この場合にはディジタル雑音を再生する。
図8は、ベースマップないしは固有マップを示している。いくつかの数的に優勢な特異値に相応して、構造化されたベースマップが生じる。これはここでは(ここでは64次元の)データ空間の一次元の信号空間を規定する。
位置測定25のための上記に規定した目的関数、つまりコンフィギュレーション1および2の位置測定関数は図9に示されている。
第2の対向配置された測定面が位置測定に及ぼす作用は、コンフィギュレーション3a/b、4a/bおよび5a/bの目的関数に基づいて示されている。図10は1つの平面状測定システムを用いた種々の深さの病変の位置測定、そして図11は2つの対向配置された平面状測定システムを用いた種々の深さの病変の位置測定を示している。測定プローブの位置は左側の縁ないしは両側の縁に太い線でマークされている。図10に比較して最小値がより明確に強調されているのを見ることができるが、このとき図11に従った目盛は図10の目盛とは相違していることに留意しなければならない。
本発明による方法によって、光学的に濁っている媒質中の蛍光発生対象物を位置測定する問題は迅速に解決される。さらに精度は励起位置を変化させることによって上昇する。
この位置測定方法は、
リアルタイムで作動する、
患者に依存しない、
光学的パラメータの推定に比較して堅固である、
ことを特徴とする。
光学的蛍光画像形成の原理を説明するための写真 組織部分内の限局性病変を位置測定し分類するための装置の主要要素の概略図 限局性病変を位置測定するための主要な方法ステップを示す図 8×8個のセンサと励起光を発生させるために測定面の隣に配置された8個の光源とを備える本発明によるアプリケータを示す図 2つの対向配置されたアプリケータを備えた二重システムを示す図 最初の4つの励起位置に対するコンフィギュレーション1の二次元の測定値分布を示す図 コンフィギュレーション1の特異値スペクトルを示す図 コンフィギュレーション1のベースマップを示す図 2つの蛍光色素マーク病変の位置測定関数を示す図 1つの平面状測定システムを用いた種々の深部にある病変の位置測定を示す図 2つの対向配置された平面状測定システムを用いた種々の深部にある病変の位置測定を示す図
符号の説明
1 組織部分
2 空間領域
3 アプリケータ
4 接続線
5 制御装置
6 接続線
7 測定値処理装置
8 コンピュータ
9 モデル
10 モニタ
11 入力/制御装置
21 データマトリックス
22 誘導領域
23 特異値分解
24 特異値分解の分析
25 位置測定
26 位置
27 正規化
28 特異値分解
31 光センサ
32 レーザダイオード
33 励起光
34 蛍光光

Claims (13)

  1. 生体組織部分(1)内の領域(2)が少なくとも検査中に生体組織部分(1)とは異なる蛍光特性を有し、この蛍光特性に基づいて第1波長の光(33)を照射されると別の波長の光(34)が放出される、生体組織部分(1)内の領域(2)の位置測定方法において、
    a)生体組織部分(1)上の種々の位置に一連の蛍光を励起する光信号を印加するステップと、
    b)生体組織部分(1)の表面上の、光信号に基づいて出現する複数の測定位置で蛍光光を測定するステップ(21)と、
    c)応答信号内の周波数に依存しない信号成分を測定し、周波数に依存しない信号成分を処理して位置測定ステップ(25)の入力値を作成するステップ(23、24)と、
    d)生体組織部分(1)をモデル化して1セットの誘導領域(22)を決定するステップと、
    e)誘導領域(22)を変換し、位置測定ステップ(25)において周波数に依存しない信号成分を、変換された誘導領域と比較し、周波数に依存しない信号成分を最高に再生する変換された誘導領域の位置(26)が位置測定されるべき領域(2)の位置として出力されるステップ(28)と、
    を備えることを特徴とする生体組織部分内の領域の位置測定方法。
  2. 種々の蛍光特性を発生させるために、領域(2)が蛍光マーカ(蛍光体)を用いてマークされることを特徴とする請求項1記載の方法。
  3. 種々の変調周波数を備え蛍光を励起する光信号が発生され、組織部分(1)内へ照射されることを特徴とする請求項1又は2記載の方法。
  4. 蛍光を励起する光信号が適切な波長のレーザ光(33)によって照射されることを特徴とする請求項1乃至3の1つに記載の方法。
  5. 誘導領域(22)が最初に正規化され(27)、その後変換される(28)ことを特徴とする請求項1乃至4の1つに記載の方法。
  6. 誘導領域が直交誘導領域へ変換される(28)ことを特徴とする請求項1乃至5の1つに記載の方法。
  7. 直交誘導領域が誘導領域(22)からの特異値分解(28)を用いて決定されることを特徴とする請求項6に記載の方法。
  8. 光学的パラメータが蛍光を励起しない波長での基準測定によって推定方法を用いて決定されることを特徴とする請求項7に記載の方法。
  9. 励起の種類に依存する二次元の測定値分布を得るために、蛍光マークされた領域(2)を励起する励起光(33)を発生するためのレーザダイオード(32)と、蛍光マークされた領域(2)から放出された蛍光光(34)を測定するために生体組織部分(1)の表面上に分布された光センサ(31)とからなる少なくとも1つの装置(3)が設けられていることを特徴とする請求項1乃至8の1つに記載の方法を実施するための装置。
  10. 検査すべき生体組織部分(1)の両側に配置可能である光センサ(31)からなる2つの装置(3)が設けられていることを特徴とする請求項9記載の装置。
  11. 装置(3)がX線マンモグラフィ装置の圧迫板内に組み込まれていることを特徴とする請求項9又は10記載の装置。
  12. 装置(3)が柔軟に構成されていることを特徴とする請求項8乃至11の1つに記載の装置。
  13. 装置(3)が湾曲状に構成されていることを特徴とする請求項8乃至12の1つに記載の装置。
JP2003392397A 2002-11-25 2003-11-21 生体組織部分内の領域の位置測定方法および装置 Expired - Fee Related JP4567318B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10255013A DE10255013B4 (de) 2002-11-25 2002-11-25 Verfahren und Vorrichtung zur Lokalisierung von Licht emittierenden Bereichen

Publications (2)

Publication Number Publication Date
JP2004177408A true JP2004177408A (ja) 2004-06-24
JP4567318B2 JP4567318B2 (ja) 2010-10-20

Family

ID=32185947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003392397A Expired - Fee Related JP4567318B2 (ja) 2002-11-25 2003-11-21 生体組織部分内の領域の位置測定方法および装置

Country Status (4)

Country Link
US (1) US20040162491A1 (ja)
EP (1) EP1421895A1 (ja)
JP (1) JP4567318B2 (ja)
DE (1) DE10255013B4 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254969A (ja) * 2005-03-15 2006-09-28 Konica Minolta Medical & Graphic Inc 放射線画像取得装置及び放射線画像取得方法
JP2009504303A (ja) * 2005-08-16 2009-02-05 スキャン キャンサー スキャニング エルティーディー. 皮膚上の癌前駆体、母斑及び腫瘍を検知するとともに識別し、早期診断に利用可能な視覚光学と受動赤外線を用いた複合技術およびそのシステム
JP2011505954A (ja) * 2007-12-17 2011-03-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 混濁媒体の内部における不均質性の存在を検出するための方法及び、混濁媒体の内部を画像化するための装置
JP2012525883A (ja) * 2009-05-05 2012-10-25 ルミト・アーベー 散乱媒体の拡散ルミネセンスイメージングまたは断層撮影の改善のためのシステム、方法、およびルミネセンスマーカー

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005013042A1 (de) 2005-03-18 2006-09-28 Siemens Ag Einrichtung zur Erzeugung von 3D-Fluoreszenz-oder Lumineszenz-Scans
US8417959B2 (en) * 2006-12-18 2013-04-09 Southwest Research Institute Biometric device based on luminescence
US10712880B2 (en) * 2016-08-30 2020-07-14 Tactual Labs Co. Signal infusion to enhance appendage detection and characterization

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11173976A (ja) * 1997-12-12 1999-07-02 Hamamatsu Photonics Kk 光ct装置及び画像再構成方法
JP2001008902A (ja) * 1999-04-12 2001-01-16 General Electric Co <Ge> 温度センサアレイ並びにその製造及び使用方法
JP2002511778A (ja) * 1997-02-07 2002-04-16 ザ・テキサス・エイ・アンド・エム・ユニバーシティ・システム 蛍光造影剤を用いた光散乱組織の撮像
JP2002518664A (ja) * 1998-06-16 2002-06-25 バナージー,バスカー 細胞の自己蛍光を利用する癌の検出
JP2003532474A (ja) * 2000-05-09 2003-11-05 イメージング・ダイアグノスティック・システムズ、インコーポレイテッド 乳房画像用多波長同時データ取得を用いた医療用光学画像スキャナ
JP2004525684A (ja) * 2001-02-28 2004-08-26 シーメンス アクチエンゲゼルシヤフト 光により組織を検査するための装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304771B1 (en) * 1993-10-29 2001-10-16 The Trustees Of The University Of Pennsylvania Systems and methods for imaging fluorophores
US5999836A (en) * 1995-06-06 1999-12-07 Nelson; Robert S. Enhanced high resolution breast imaging device and method utilizing non-ionizing radiation of narrow spectral bandwidth
AU1130797A (en) * 1995-08-24 1997-03-19 Purdue Research Foundation Fluorescence lifetime-based imaging and spectroscopy in tissues and other random media
US5931789A (en) * 1996-03-18 1999-08-03 The Research Foundation City College Of New York Time-resolved diffusion tomographic 2D and 3D imaging in highly scattering turbid media
US6615063B1 (en) * 2000-11-27 2003-09-02 The General Hospital Corporation Fluorescence-mediated molecular tomography

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511778A (ja) * 1997-02-07 2002-04-16 ザ・テキサス・エイ・アンド・エム・ユニバーシティ・システム 蛍光造影剤を用いた光散乱組織の撮像
JPH11173976A (ja) * 1997-12-12 1999-07-02 Hamamatsu Photonics Kk 光ct装置及び画像再構成方法
JP2002518664A (ja) * 1998-06-16 2002-06-25 バナージー,バスカー 細胞の自己蛍光を利用する癌の検出
JP2001008902A (ja) * 1999-04-12 2001-01-16 General Electric Co <Ge> 温度センサアレイ並びにその製造及び使用方法
JP2003532474A (ja) * 2000-05-09 2003-11-05 イメージング・ダイアグノスティック・システムズ、インコーポレイテッド 乳房画像用多波長同時データ取得を用いた医療用光学画像スキャナ
JP2004525684A (ja) * 2001-02-28 2004-08-26 シーメンス アクチエンゲゼルシヤフト 光により組織を検査するための装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254969A (ja) * 2005-03-15 2006-09-28 Konica Minolta Medical & Graphic Inc 放射線画像取得装置及び放射線画像取得方法
JP2009504303A (ja) * 2005-08-16 2009-02-05 スキャン キャンサー スキャニング エルティーディー. 皮膚上の癌前駆体、母斑及び腫瘍を検知するとともに識別し、早期診断に利用可能な視覚光学と受動赤外線を用いた複合技術およびそのシステム
JP2011505954A (ja) * 2007-12-17 2011-03-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 混濁媒体の内部における不均質性の存在を検出するための方法及び、混濁媒体の内部を画像化するための装置
JP2012525883A (ja) * 2009-05-05 2012-10-25 ルミト・アーベー 散乱媒体の拡散ルミネセンスイメージングまたは断層撮影の改善のためのシステム、方法、およびルミネセンスマーカー
US9012869B2 (en) 2009-05-05 2015-04-21 Lumito Ab System, method, and luminescent marker for improved diffuse luminescent imaging or tomography in scattering media
JP2016135316A (ja) * 2009-05-05 2016-07-28 ルミト・アーベー 散乱媒体の拡散ルミネセンスイメージングまたは断層撮影の改善のためのシステム、方法、およびルミネセンスマーカー
JP2018128470A (ja) * 2009-05-05 2018-08-16 ルミト・アーベー 散乱媒体の拡散ルミネセンスイメージングまたは断層撮影の改善のためのシステム、方法、およびルミネセンスマーカー

Also Published As

Publication number Publication date
JP4567318B2 (ja) 2010-10-20
US20040162491A1 (en) 2004-08-19
EP1421895A1 (de) 2004-05-26
DE10255013B4 (de) 2004-12-09
DE10255013A1 (de) 2004-06-09

Similar Documents

Publication Publication Date Title
JP3819032B2 (ja) 組織およびその他のランダム媒体における蛍光寿命に基づく撮像および分光分析
JP4271040B2 (ja) 実時間の光学的トモグラフィーの正規化された差方法の変更
Graves et al. A submillimeter resolution fluorescence molecular imaging system for small animal imaging
JP5134977B2 (ja) 蛍光媒介式分子断層撮影法
US8041414B2 (en) Dual-modality imaging
US8676302B2 (en) Systems and methods for multi-spectral bioluminescence tomography
US8239006B2 (en) Method and apparatus for medical imaging using near-infrared optical tomography and fluorescence tomography combined with ultrasound
US7239911B2 (en) Method for localizing at least one focal lesion in a biological tissue section
US20180042483A1 (en) Systems and methods for hyperspectral imaging
US20040147039A1 (en) Method of and device for localizing a deviant region in a turbid medium
EP2911587B1 (en) Nir image guided targeting
Li et al. Numerical simulation of x-ray luminescence optical tomography for small-animal imaging
JP2010509976A (ja) 解剖構造における組織のイメージングのためのシステム、方法、コンピュータ読取可能媒体及び使用
US10201291B2 (en) Apparatus and method for real-time tracking of bony structures
JP3958798B2 (ja) 蛍光造影剤を用いた光散乱組織の撮像
JP2009502402A (ja) 光学イメージング
US11076776B2 (en) Apparatus and method for real-time tracking of bony structures
JP4567318B2 (ja) 生体組織部分内の領域の位置測定方法および装置
Chaudhari et al. Excitation spectroscopy in multispectral optical fluorescence tomography: methodology, feasibility and computer simulation studies
Monge et al. Acquisition models in intraoperative positron surface imaging
JP2018518277A (ja) 放射量計画システム
Ntziachristos et al. Fluorescence molecular tomography: New detection schemes for acquiring high information content measurements
Pfister et al. Localization of fluorescence spots with space-space MUSIC for mammographylike measurement systems
JP2004537731A (ja) 線形方程式系の解を向上させる方法およびシステム
Gude et al. Towards a high-resolution volumetric x-ray diffraction imaging system for biospecimen

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100217

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100805

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees