JP2001017379A - 蛍光診断装置 - Google Patents
蛍光診断装置Info
- Publication number
- JP2001017379A JP2001017379A JP11195192A JP19519299A JP2001017379A JP 2001017379 A JP2001017379 A JP 2001017379A JP 11195192 A JP11195192 A JP 11195192A JP 19519299 A JP19519299 A JP 19519299A JP 2001017379 A JP2001017379 A JP 2001017379A
- Authority
- JP
- Japan
- Prior art keywords
- fluorescence
- intensity
- image
- image data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
Abstract
取得した複数の特徴量を組み合わせてデータ処理を行う
ことにより、診断部位の組織状態の変化を高い識別能で
識別する。 【解決手段】 励起光を生体の診断部位に照射する光源
部100と、励起光の照射により診断部位から発生する
自家蛍光の強度を検出する画像取込部300と、画像取
込部300で検出された自家蛍光の強度から複数の特徴
量を取得する特徴取得部400と、前記複数の特徴量に
基づいて診断部位の識別を行う識別部500とを備え
る。識別部500の画像論理演算器60によって複数の
特徴量に関する論理演算を行う。
Description
し、詳しくは励起光を照射することにより生体組織から
発せられる自家蛍光から取得された特徴量に基づき診断
部位の識別を行う、例えば各種疾患に伴う組織状態の変
化を識別する蛍光診断装置に関する。
該励起光の照射によりこの生体組織内の内在色素から発
せられる自家蛍光を受光し、この自家蛍光を分析するこ
とにより各種疾患に伴う組織状態の変化を識別する診断
装置が研究されている。
による診断が試みられたが、蛍光強度自体の誤差要因が
多い事と、強度情報だけでは十分な診断能が得られない
事とにより、現在の診断装置の多くは、生体組織から発
せられる自家蛍光のスペクトル強度のプロファイルが組
織状態の変化により異なることに基づき識別を試みてお
り、例えば病変組織と正常組織とでは、その組織から発
せられる自家蛍光の緑色帯域の波長領域の強度と赤色帯
域の波長領域の強度との比が大きく異なることに注目
し、診断対象となる生体組織から発せられた自家蛍光の
緑色帯域の波長領域の強度を赤色帯域の波長領域の強度
で除算し、その値と、予め別の方式により正常組織と判
定された生体組織から上記と同様な手法により求められ
た値とを比較することにより、前記生体組織が病変組織
であるか正常組織であるかを識別しカラー画像として表
示する方式が特開平6−54792号で提案されてい
る。また、診断対象となる生体組織から発せられる自家
蛍光の各波長における強度を全波長領域の蛍光強度で規
格化して蛍光強度を無次元化し、この無次元化されたス
ペクトル強度のプロファイル曲線と、予め別の方式によ
り正常組織と判定された生体組織から上記と同様な手法
により求められたプロファイル基準曲線との差を取るこ
とにより差曲線を求め、これらの曲線の特徴により前記
生体組織が病変組織であるか正常組織であるかを識別す
る方式が特開平9−506027号で提案されている。
436号において、自家蛍光のうち、特定の波長領域の
強度を全波長領域の強度で規格化した値と、予め別の方
式により正常組織と判定された生体組織から上記と同様
な手法により求められた規格化された値とを比較するこ
とにより病変組織であるか正常組織であるかを識別し画
像として表示する方式を提案している。
織を観察する場合は、標本化された組織を試料台に載置
して各種計測器で観察および分析する場合とは異なり、
上記励起光を照射し自家蛍光を受光する装置部分と診断
対象となる生体組織との距離あるいは角度等の状態が刻
々と変化するので、検出される自家蛍光の性質が一定せ
ず、組織状態の変化(癌、潰瘍、炎症、異形成、正常等
の組織状態の変化)を十分に信頼できる識別能で診断す
ることは難しく、また生体組織の組織状態の変化に直接
的には関係の少ない血流の変化等の要因によっても自家
蛍光が変化する。このように自家蛍光は強度が弱い上
に、誤差要因が多くあるため自家蛍光の強度単独または
自家蛍光を規格化した強度単独のように単一の特徴量を
取得して注目する組織状態の変化を高い識別能で識別す
ることは難しい。
のであり、自家蛍光の強度から取得した複数の特徴量を
組み合わせてデータ処理を行うことにより、診断部位の
組織状態の変化を高い識別能で識別することができる蛍
光診断装置を提供することを目的とする。
は、蛍光を発する生体内在色素の励起波長領域にある励
起光を生体の診断部位に照射する励起光照射手段と、励
起光の照射により診断部位の生体内在色素から発生する
自家蛍光の強度を検出する検出手段と、この検出手段で
検出された強度から複数の特徴量を取得する特徴量取得
手段と、複数の特徴量に基づいて診断部位の識別を行う
識別手段とを備えてなることを特徴とするものである。
度または蛍光収率と、前記自家蛍光の強度を規格化した
規格化強度とを組み合わせたものとすることができる。
分の強度を自家蛍光の全波長成分の強度で除算したもの
とすることができる。
を多値化し、多値化した値を論理演算して行われるもの
とすることができる。
数の特徴量の取得および前記識別はそれぞれ画素毎に行
われるものとすることができる。
射される励起光の強度と、この励起光の照射により生体
の診断部位から発生する自家蛍光の強度との比率を意味
する。
出手段で検出された自家蛍光の強度から複数の特徴量を
取得し、この複数の特徴量に基づいて診断部位の識別を
行うように構成したので、従来の自家蛍光の強度から1
つの特徴量を取得して識別を行う場合とは異なり、上記
励起光を照射し自家蛍光を受光する装置部分と診断対象
となる生体組織との距離あるいは角度等の検出配置の状
態に伴う自家蛍光の変化、および生体組織の血流の変化
等の生体組織の組織状態に直接的には関係の少ない要因
による自家蛍光の変化等の存在に拘わらず、高い識別能
で組織状態の変化を識別することができる。
は蛍光収率と、この自家蛍光の強度を規格化した規格化
強度との組み合わせとすれば、生体組織の状態の変化を
自家蛍光の特徴量の変化により的確に対応させることが
できるので、より高い識別能で識別することができる。
分の強度を自家蛍光の全波長成分の強度で除算したもの
とすれば生体組織の状態の変化を自家蛍光の特徴量の変
化により的確に対応させることができ、より高い識別能
で識別することができる。
を多値化しこの多値化した値を論理演算して行われるも
のとすれば、識別するための演算がより単純化されるの
で識別に要する時間を短縮することができる。
態について図面を用いて説明する。
蛍光診断装置を内視鏡に適用した蛍光内視鏡の概略構成
を示す図である。
よび白色光の光源を備えた光源部100と、光源部10
0から導かれた白色光Whを生体組織へ照射することに
より得られる通常の像を撮像し、同様に光源部100か
ら導かれた励起光Leを生体組織へ照射することにより
得られる自家蛍光の像を光ファイバにより伝搬する屈曲
自在な内視鏡先端部200と、内視鏡先端部200で得
られた通常像を画像データとして取り込み記憶し、前記
蛍光像を3つの波長領域に分割しこれらの波長領域にそ
れぞれ対応する3つの画像データとして記憶する画像取
込部300と、画像取込部300によって記憶された画
像データから2つの特徴量に基づきそれぞれの特徴量に
対応する2種類の画像データを取得する特徴取得部40
0と、特徴取得部400によって取得された2種類の画
像データを入力し、各種疾患に伴う組織状態の変化を識
別する論理演算を行いその結果を画像データとして出力
する識別部500と、識別部500から出力される画像
データおよび画像取込部300に記憶された画像データ
を入力しビデオ信号に変換して出力するビデオ信号処理
回路14と、ビデオ信号処理回路14によって出力され
たビデオ信号を画像として表示する表示部15と、励起
光Leの照射、白色光Whの照射、通常像の読取り、蛍
光像の読取り等のタイミングを制御するコントロール部
16とから構成されている。
トロール部16により制御される白色光電源20が接続
され、該白色光光源19は1/60秒周期で白色光Wh
を発生し、その白色光Whは白色光集光レンズ22によ
り集光されて、多成分ガラスファイバで形成され光源部
に接続された白色光ライトガイド25−1に入射され
る。
導体レーザが用いられ、コントロール部16により制御
されるLD電源18によってパルス駆動されることによ
り1/60秒周期で波長410nm近傍のパルス状の励
起光Leを発生し、その励起光Leは励起光集光レンズ
21により集光されて石英ガラスファイバで形成され光
源部に接続された励起光ライトガイド25−2に入射さ
れる。
励起光ライトガイド25−2とはバンドルされており、
ケーブル状に一体化されている。
に一体化された白色光ライトガイド25−1および励起
光ライトガイド25−2が挿入され、照明レンズ5を介
して試料1に向けて励起光Leまたは白色光Whが照射
されるように配設されている。 白色光Whの照射によ
り照明された試料1の像は通常観察用対物レンズ6によ
って通常観察用CCD撮像素子7の受光面に結像され、
通常観察用CCD撮像素子7により電気的な画像信号に
変換されてCCDケーブル27により画像取込部300
に伝送される。一方、励起光Leが照射されたときに試
料1から発生する蛍光Keの像は蛍光観察用対物レンズ
4によって蛍光像イメージファイバ26の端面Kiに結
像され、その像は蛍光像イメージファイバ26内を伝搬
して画像取込部300に接続された蛍光像イメージファ
イバ26の他方の端面Koに導かれる。
7によって伝送された電気的な画像信号をA/D変換す
る通常観察用A/D変換器8とA/D変換された画像を
記憶する通常画像メモリ9とが通常像の処理用に備えら
れ、一方蛍光像の処理用としては、蛍光像イメージファ
イバ26の端面Koに導かれた蛍光像を、波長410n
m近傍以下の波長を遮断する励起光カットフィルタ24
を介して蛍光用集光レンズ23により蛍光観察用高感度
撮像素子10の受光面に結像させるように構成された光
学系と、蛍光観察用高感度撮像素子10と、蛍光観察用
高感度撮像素子10によって受光され変換された電気的
な画像信号をA/D変換する蛍光観察用A/D変換器1
1と、A/D変換された画像を記憶する蛍光画像h1メ
モリ12−1、蛍光画像h2メモリ12−2および蛍光
画像h3メモリ12−3からなる蛍光画像メモリ12と
が備えられている。
の受光面には、図2に示すような波長領域h1(430
nm近傍から445nm近傍の間)、波長領域h2(4
45nm近傍から520nm近傍の間)、波長領域h3
(520nm近傍から700nm近傍の間)のみをそれ
ぞれ透過させる特性を備えた3種類のフィルタの集合体
からなる図3に示すようなカラーモザイクフィルタがオ
ンチップされており、蛍光像は図2に示す3つの波長領
域に分離されて受光され、その強度はA/D変換されて
波長領域h1を透過した蛍光の強度値は蛍光画像h1メ
モリ12−1に、波長領域h2を透過した蛍光の強度値
は蛍光画像h2メモリ12−2に、波長領域h3を透過
した蛍光の強度値は蛍光画像h3メモリ12−3にそれ
ぞれ記憶される。
2に記憶された3つの画像データを強度の特徴量に基づ
き蛍光画像データZKに変換し出力する蛍光強度変換器
40と、蛍光画像メモリ12に記憶された3つの画像デ
ータを規格化強度の特徴量に基づき規格化蛍光画像デー
タKKに変換し出力する規格化蛍光強度変換器50とが
備えられている。
プロファイルを比較すると、図2に示すように病変組織
は正常組織より蛍光の発光強度が弱く、この強度の特徴
量を取得したのが蛍光画像データZKであり、同様に図
2に示すように短波長成分の波長領域h2において正常
組織は病変組織と異なるプロファイルを有することが知
られており、このプロファイルの違いを特徴量として取
得したのが規格化蛍光画像データKKである。
域に亘る蛍光の強度の値に対応するように設定され、規
格化蛍光画像データKKは、波長領域h2を透過した蛍
光の強度の値を全波長領域に亘る蛍光の強度の値で除算
した(規格化した)値に対応するように設定されてい
る。ここで、全波長領域に亘る蛍光の強度の値は、波長
領域h1、波長領域h2および波長領域h3それぞれを
透過した3種類の蛍光の強度の値の和とみなすことがで
きる。
ら出力された蛍光画像データZKの値を予め内部に記憶
している蛍光強度閾値ZSの値で2値化することにより
求められた2値蛍光画像データZNの値を出力する蛍光
強度2値変換器41と、規格化蛍光強度変換器50から
出力された規格化蛍光画像データKKの値を予め内部に
記憶している規格化蛍光強度閾値KSの値で2値化する
ことにより求められた2値規格化蛍光画像データKNの
値を出力する規格化蛍光2値変換器51と、蛍光強度2
値変換器41から出力された2値蛍光画像データZNお
よび規格化蛍光2値変換器51から出力された2値規格
化蛍光画像データKNとを論理演算してその値を蛍光診
断画像データKSGとしてする画像論理演算器60とが
備えられている。
て説明する。
ートに従ってコントローラ16により制御されている。
図4のタイミングチャートに示されるように、白色光光
源19から発せられた白色光Whは、白色光集光レンズ
22および白色光ライトガイド25−1を介して内視鏡
先端部200に導かれ照明レンズ5を介して生体組織1
を照明する。白色光Whによって照明された生体組織1
の像は、通常観察用対物レンズ6により通常観察用CC
D撮像素子7の受光面上に結像され、通常観察用CCD
撮像素子7を構成する、光を電荷に変換する多数の感光
素子からなる感光部に露光され信号電荷に変換されて蓄
積される。白色光Whの照明が終了すると、感光部に蓄
積された信号電荷は通常観察用CCD撮像素子7を構成
する回路によって電気的な画像信号に変換されて読み出
され、通常観察用A/D変換機8によりデジタル値に変
換されて通常画像メモリ9に記憶される。
に、励起光源17から発せられたパルス状の励起光Le
が、励起光集光レンズ21および励起光ライトガイド2
5−2を経由して内視鏡先端部200に導かれ照明レン
ズ5を介して生体組織1に向って照射される。
せられた蛍光は蛍光観察用対物レンズ4によって蛍光像
イメージファイバ26の端面Kiに結像され他方の端面
Koに伝搬される。端面Koに伝搬された蛍光像は、励
起光カットフィルタ24により測定対象となる蛍光Ke
に混入する励起光Leが除去され蛍光集光レンズ23に
よってモザイクフィルタがオンチップされた蛍光観察用
高感度撮像素子10の受光面上に結像され、蛍光観察用
高感度撮像素子10の感光部に露光されて信号電荷とし
て蓄積される。励起光Leのパルス状の照射が終了する
と、感光部に蓄積された信号電荷は蛍光観察用高感度撮
像素子10を構成する回路によって電気的な画像信号に
変換されて読み出され、蛍光観察用A/D変換機11に
よりデジタル値に変換されて、蛍光画像h1メモリ12
−1、蛍光画像h2メモリ12−2および蛍光画像h3
メモリ12−3に記憶される。
るように、通常像と蛍光像とを1/60秒毎に取り込
み、動画像を得るには、生体組織1への励起光Leの照
射と白色光Whの照射とは1/60秒の中で重複しない
ように時間が設定されそれぞれの光が露光される。
画像h2メモリ12−2および蛍光画像h3メモリ12
−3に記憶された画像データの値は、蛍光強度変換器4
0および規格化蛍光強度変換器50に入力され次の変換
処理が施される。
フィルタは4つの微小領域を備えた行列状の多数の区画
からなり、ある1つの区画Mxyの中の4つの微小領域
Mxy(1,1)、Mxy(1,2)、Mxy(2,
1)、Mxy(2,2)には、図2に示すような波長領
域h1、波長領域h2、波長領域h3のみをそれぞれ透
過させるフィルタ特性を備えたh1フィルタ、h2フィ
ルタ、h3フィルタが配設され、微小領域Mxy(1,
1)にはh1フィルタ、微小領域Mxy(1,2)およ
びMxy(2,1)にはh2フィルタ、微小領域Mxy
(2,2)にはh3フィルタが対応している(図5
(b)参照)。モザイクフィルタの区画Mxyの中の4
つの微小領域Mxy(1,1)、Mxy(1,2)、M
xy(2,1)、Mxy(2,2)に対応する個々の感
光素子から得られる蛍光の強度値をそれぞれDxy
(1,1)、Dxy(1,2)、Dxy(2,1)、D
xy(2,2)とすると、区画Mxyにおける蛍光画像
データZKxyの値に対応する全波長領域に亘る蛍光の
強度の値は、以下の式により求まる。
(2,1)}/2+Dxy(1,1)+Dxy(2,
2)] また、区画Mxyにおける規格化蛍光画像データKKx
yの値に対応する波長領域h2を透過した蛍光の強度の
値を全波長領域に亘る蛍光の強度の値で除算した(規格
化した)値は、以下の式により求まる。
(2,1)}/2]/[Dxy(1,1)+{Dxy
(1,2)+Dxy(2,1)}/2+Dxy(2,
2)] このようにして求められた蛍光画像データZKxyの値
と規格化蛍光画像データKKxyの値をモザイクフィル
タの全ての区画、すなわち図5(a)に示すようにM1
1、M12、M13、M14・・・に亘って求めること
により全区画の蛍光画像データZKおよび規格化蛍光画
像データKKが、生体組織1から取得した蛍光像の画像
データに対応して求められる。なお、上記蛍光画像メモ
リ12の画像データから蛍光画像データZKを求める処
理は蛍光強度変換器40により実施され、蛍光画像メモ
リ12の画像データから規格化蛍光画像データKKを求
める処理は規格化蛍光強度変換器50により実施され
て、それぞれ識別部500に出力される。
像データZKは、識別部500の蛍光強度2値変換器4
1に入力され蛍光強度閾値ZSの値を閾値として2値化
されて画像論理演算器60に出力され、一方規格化蛍光
強度変換器50から出力された規格化蛍光画像データK
Kは、識別部500の規格化蛍光強度2値化変換器51
に入力され規格化蛍光強度閾値KSの値を閾値として2
値化されて画像論理演算器60に出力される。
化処理は、図6(a)に示すように各区画Mxyに対応
する蛍光画像データZKの各値に対して、以下の式 蛍光画像データZK≧蛍光強度閾値ZS の条件に当てはまる蛍光画像データZKの値を1に変換
し、以下の式 蛍光画像データZK<蛍光強度閾値ZS の条件に当てはまる蛍光画像データZKの値を0に変換
することにより1と0の値からなる2値蛍光画像データ
ZNを得るものである(図6(b)参照)。
処理は、図7(a)に示すように各区画Mxyに対応す
る規格化蛍光画像データKKの各値に対して、以下の式 規格化蛍光画像データKK≧規格化蛍光強度閾値KS の条件に当てはまる値を1に変換し、以下の式 規格化蛍光画像データKK<規格化蛍光強度閾値KS の条件に当てはまる値を備えた規格化蛍光画像データZ
Kの値を0に変換することにより2値規格化蛍光画像デ
ータKNを得るものである(図7(b)参照)。
組織と判定された生体組織から求めた多数の蛍光画像デ
ータZKの値の平均値Zavから標準偏差σを減算した
値Zav−σであり、規格化蛍光強度閾値KSの値は、
予め正常組織と判定された生体組織から求めた多数の規
格化蛍光画像データZKの値の平均値Kavから標準偏
差σを減算した値Kav−σを規格化蛍光強度閾値KS
の値とすることにより求めたものである。
ZSの条件を満たし2値蛍光画像データZNの値が1と
なる区画は、正常組織として生体組織が識別された区画
であり、蛍光画像データZK<蛍光強度閾値ZSの条件
を満たし2値蛍光画像データZNの値が0となる区画
は、正常組織とは言えない生体組織として識別された区
画である。また、規格化蛍光画像データKK≧規格化蛍
光強度閾値KSの条件を満たし2値規格化蛍光画像デー
タKNの値が1となる区画は、正常組織として生体組織
が識別された区画であり、蛍光画像データZK<蛍光強
度閾値ZSの条件を満たし2値規格化蛍光画像データK
Nの値が0となる区画は、正常組織とは言えない生体組
織としては識別された区画である。
規格化蛍光画像データKNは画像論理演算器60に入力
され、2値蛍光画像データZNと2値規格化蛍光画像デ
ータKNとの間の各画像位置が対応するように各対応画
素毎に論理演算されその結果は蛍光診断画像データKS
Gとして出力される。すなわち、正常組織を識別する場
合は、図8(a)、(b)、(c)に示すように2値蛍
光画像データZNと2値規格化蛍光画像データKNの論
理積を取ることにより正常組織と識別され、この正常組
織と識別された区画に対応する蛍光診断画像データKS
Gの値は1となり、正常組織とは言えないと識別された
区画に対応する蛍光診断画像データKSGの値は0とな
る。また、病変組織を識別する場合には図9に示す規定
に従う論理演算を実施することにより、蛍光診断画像デ
ータKSGの値が0の区画は病変組織として識別され、
蛍光診断画像データKSGの値が1の区画は病変組織と
は言えない区画として識別される(図8(a)、
(b)、(d)参照)。
に、予め病変組織または正常組織と判定された17の異
なる生体組織の82点に関して上記と同様な手法に基づ
き(但し、生体組織から発せられる自家蛍光を画像とし
ては検出せず点として検出した)各点の識別を個別に行
った実験の結果は以下のようである。
記と同様な2つの特徴量を取得し同様な閾値によって2
値化した2値蛍光データZN1と2値規格化蛍光データ
KN1とを求め、正常組織を識別するために両者が共に
1となる点を判別した(論理積を取った)結果23点が
正常組織と識別されたが、その内5点が病変組織であり
{(23−5)/23}×100=約78%の識別能で
あった。また、病変組織を識別するために、2値蛍光デ
ータZN1と2値規格化蛍光データKN1の両者が共に
0となるデータを判別した結果31点が病変組織と識別
されたが、その内7点が正常組織であり{(31−7)
/31}×100=約77%の識別能であった。
みを用いて(1つの特徴量のみを用いて)上記生体組織
の82点から正常組織を識別すると、すなわち規格化蛍
光データKK1から規格化蛍光強度閾値KS以上となる
値を有するデータを識別した結果52点が正常組織と識
別されその内23点が病変組織であり{(52−23)
/52}×100=約55%の識別能であった。
量による識別方式は従来の1つの特徴量のみを用いた識
別方式に比べて十分に有意差があるといえる。
の2つの特徴量を用いて組織状態の識別を行った実験の
内容を、識別対象となる箇所を10点と仮定して具体的
に説明する。
組織と判定された点:1、3、5、7、9と病変組織と
判定された点:2、4、6、8、10の計10点に関し
て、蛍光強度と規格化蛍光強度をそれぞれ求め、蛍光強
度に関しては蛍光強度閾値ZSの値により判別された正
常組織と言えないデータ点:2、5、6、7、8と正常
組織と言えるデータ点:1、3、4、9、10に区分し
(2値化することに相当する)、一方、規格化蛍光強度
に関しては規格化蛍光強度閾値KSの値により判別され
た正常組織と言えるデータ点:1、5、6、9、10と
正常組織とは言えないデータ点:2、3、4、7、8に
区分する。
び規格化蛍光強度を用いて正常組織を識別する場合は、
蛍光強度を特徴量として判別した正常組織と言えるデー
タ点:1、3、4、9、10と規格化蛍光強度を特徴量
として判別した正常組織と言えるデータ点:1、5、
6、9、10との共通する点1、9、10が正常組織と
して識別される。しかしながら、データ点10は予め病
変組織と判定されているので3点のうち1点が誤りであ
り{(3−1)/3}×100=約66%の識別能とな
る。また、病変組織を識別する場合は、蛍光強度を特徴
量として判別した正常組織とは言えないデータ点:2、
5、6、7、8と規格化蛍光強度を特徴量として判別し
た正常組織とは言えないデータ点:2、3、4、7、8
との共通する点2、7、8、が病変組織として識別され
る。しかしながら、データ点7は予め正常組織と判定さ
れているので3点のうち1点が誤りであり{(3−1)
/3}×100=約66%の識別能となる。
データKSGは通常画像メモリ9から出力される通常像
の画像データと共にビデオ信号処理回路14に入力さ
れ、1画面に通常像の画像と蛍光診断用に識別された画
像とが同時に表示されるように信号処理されて、各種疾
患に伴う組織状態の診断に供する情報として表示器15
に出力され表示される。
に亘る蛍光の強度の値(上記実施の形態においては、波
長領域h1、波長領域h2、波長領域h3それぞれを透
過した3種類の蛍光の強度の和)の替りに、蛍光収率の
値を用いることもできる。
される励起光の強度と、この励起光の照射により生体の
診断部位から発生する自家蛍光の強度との比率を意味す
るが、この「生体の診断部位に照射される励起光の強
度」は、「生体の診断部位に照射される励起光の強度に
比例する強度を備えた他の光の強度」で代替えすること
ができるので、前記励起光は、例えば生体の診断部位で
反射された励起光で代用することもできるし、内視鏡先
端部200から照射される励起光の強度と同一の強度で
内視鏡先端部200から照射されるように備えられた他
の光源から発せられる近赤外光や、生体の診断部位で反
射された前記近赤外光等でも代用することができる。
格化蛍光強度の値とを取得することができる。410n
m近傍の励起光を発生する半導体レーザと近赤外光を発
生する半導体レーザとを励起光源17(図1参照)とし
て配設し、ダイクロイックミラー等を用いて励起光と近
赤外光とを同じ光路に導き、内視鏡先端部200の照明
レンズ5から試料1に向って前記励起光と近赤外光とが
同時に照射されるようにする。このとき励起光用の半導
体レーザと近赤外光用の半導体レーザとは同じLD電源
によってパルス駆動されるので両者は同期してパルス光
を発生することができる。また、図5(a)、(b)に
示されるようにモザイクフィルタの行列状の各区画内の
4つの微小領域に配設された2つのh2フィルタの内の
1つを取り除き、その場所に近赤外の波長領域の光のみ
を透過させる(近赤外光を透過し蛍光は遮断する)特性
を備えたh4フィルタを配することにより、各区画内の
4つの微小領域にh1フィルタ、h2フィルタ、h3フ
ィルタ、h4フィルタをそれぞれ配置する。そして、励
起光Leおよび近赤外光Irの照射により試料1から発
生した蛍光Keと試料で反射された近赤外光Irとは蛍
光観察用対物レンズ4によって集光され蛍光イメージフ
ァイバ26の端面Kiに蛍光の像と近赤外光の像とを同
時に形成する。これらの像はさらに蛍光イメージファイ
バ26、蛍光用集光レンズ23を介して前記モザイクフ
ィルタがオンチップされた蛍光観察用高感度撮像素子1
0の受光面に結像される。ここでモザイクフィルタの、
ある区画Mxyのh1フィルタ、h2フィルタ、h3フ
ィルタ、h4フィルタにそれぞれ対応する、蛍光観察用
高感度撮像素子10内の感光部で受光される蛍光Keあ
るいは近赤外光Irの光量をKh1、Kh2、Kh3、
Lh4とすると、Kh1は波長領域h1を透過した蛍光
の強度、Kh2は波長領域h2を透過した蛍光の強度、
Kh3は波長領域h3を透過した蛍光の強度に対応し
(図2参照)、Ih4は近赤外の波長領域を透過した近
赤外光の強度に対応する。従って以下の式により区画M
xyにおける蛍光収率と規格化蛍光強度の値が得られ
る。
つの特徴量である蛍光収率および規格化蛍光強度を画像
データとして求めることができる。
の替りに試料で反射した励起光の強度を用いて蛍光収率
を求める場合には、図1に示される励起光カットフィル
タ24を取り除き、モザイクフィルタの各区画のh4フ
ィルタを410nm近傍の波長の光のみを透過させる
(励起光Leを透過し蛍光Keを遮断する)特性を備え
たフィルタに交換することにより、上記と同様に蛍光収
率を求めることができる。なお、この場合は近赤外光用
の光源等は不要となる。
に基づく画像データは、上記実施の形態と同様の方式に
より2つの特徴量に関する閾値の設定および論理演算に
よる識別等の処理が施されることにより、各種疾患に伴
う組織状態の診断に供する情報を提供することができ
る。その他の構成および作用は上記実施の形態と同様で
ある。
別する目的によって設定を変更することができ、蛍光強
度あるいは規格化蛍光強度を2値化するそれぞれの閾
値、および2値蛍光画像データと2値規格化蛍光画像デ
ータの論理演算の設定内容を患者群、例えば男女の性
別、年齢、疾患の種類等に応じて変更することにより
癌、異形成、炎症、潰瘍等のような各種疾患に伴う組織
状態の様々な状態を識別することも可能である。
撮像素子と通常画像用の撮像素子とを備えた形態を示し
ているがBT−CCD(背面露光CCD)のような素子
を先端に備え、素子上のモザイクフィルタと照明のタイ
ミングの切換えによって、通常画像と蛍光画像とを撮像
する方式にも適用できる。
は蛍光収率と、規格化強度との組合わせに限らず識別す
る目的によって設定を変更することもでき、さらに3種
類以上の特徴量を適用することもできる。
した例を示したが特徴量を3値以上に多値化することも
できる。ただし、この場合は多値化したデータの論理演
算の方式の規定も新たに設定する必要がある。
蛍光診断装置の内視鏡への適用例を説明したが、本発明
による蛍光診断装置は手術用顕微鏡およびコルポスコー
プ等に適用することもできる。
ば、自家蛍光の強度から取得された複数の特徴量を組み
合わせてデータ処理を行うことにより、各種疾患に伴う
組織状態の変化を高い識別能で識別することができる。
成図
示すタイミングチャート図
Claims (5)
- 【請求項1】 蛍光を発する生体内在色素の励起波長領
域にある励起光を生体の診断部位に照射する励起光照射
手段と、前記励起光の照射により前記診断部位の前記生
体内在色素から発生する自家蛍光の強度を検出する検出
手段と、前記検出手段で検出された強度から複数の特徴
量を取得する特徴量取得手段と、前記複数の特徴量に基
づいて診断部位の識別を行う識別手段とを備えてなるこ
とを特徴とする蛍光診断装置。 - 【請求項2】 前記複数の特徴量が、前記自家蛍光の強
度または蛍光収率と、前記自家蛍光の強度を規格化した
規格化強度との組み合わせであることを特徴とする請求
項1記載の蛍光診断装置。 - 【請求項3】 前記規格化が、前記自家蛍光の短波長成
分の強度を前記自家蛍光の全波長成分の強度で除算した
ものであることを特徴とする請求項2記載の蛍光診断装
置。 - 【請求項4】 前記識別が、前記複数の特徴量それぞれ
を多値化し、多値化した値を論理演算して行われるもの
であることを特徴とする請求項1から3いずれか1項記
載の蛍光診断装置。 - 【請求項5】 前記自家蛍光の強度の検出、前記複数の
特徴量の取得および前記識別がそれぞれ画素毎に行われ
ることを特徴とする請求項1から4いずれか1項記載の
蛍光診断装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11195192A JP2001017379A (ja) | 1999-07-09 | 1999-07-09 | 蛍光診断装置 |
US09/613,596 US6516217B1 (en) | 1999-07-09 | 2000-07-10 | Fluorescence diagnosis system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11195192A JP2001017379A (ja) | 1999-07-09 | 1999-07-09 | 蛍光診断装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001017379A true JP2001017379A (ja) | 2001-01-23 |
Family
ID=16336992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11195192A Pending JP2001017379A (ja) | 1999-07-09 | 1999-07-09 | 蛍光診断装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6516217B1 (ja) |
JP (1) | JP2001017379A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002345733A (ja) * | 2001-05-29 | 2002-12-03 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2004000478A (ja) * | 2002-03-28 | 2004-01-08 | Fuji Photo Film Co Ltd | 蛍光判定方法および装置 |
WO2006087981A1 (ja) * | 2005-02-15 | 2006-08-24 | Olympus Corporation | 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム |
JP2006223376A (ja) * | 2005-02-15 | 2006-08-31 | Olympus Corp | 医用画像処理装置 |
WO2010004691A1 (ja) * | 2008-07-10 | 2010-01-14 | 株式会社ニコン | 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム |
JP2010069291A (ja) * | 2008-08-19 | 2010-04-02 | Fujikura Ltd | 内視鏡システム |
JP2010521687A (ja) * | 2007-03-17 | 2010-06-24 | デュール デンタル アクチェンゲゼルシャフト | 蛍光画像用診断方法および診断装置 |
WO2011080996A1 (ja) * | 2009-12-28 | 2011-07-07 | オリンパス株式会社 | 画像処理装置、電子機器、プログラム及び画像処理方法 |
JP2011200534A (ja) * | 2010-03-26 | 2011-10-13 | Fujifilm Corp | 電子内視鏡システム及びカラー撮像素子 |
WO2013024773A1 (ja) * | 2011-08-18 | 2013-02-21 | オリンパス株式会社 | 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法 |
JP2020519851A (ja) * | 2017-04-07 | 2020-07-02 | アベラス バイオサイエンシーズ,インク. | レシオメトリック蛍光画像化方法 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002045329A (ja) * | 2000-08-01 | 2002-02-12 | Fuji Photo Film Co Ltd | 蛍光画像表示装置 |
WO2002093143A2 (en) | 2001-05-17 | 2002-11-21 | Xenogen Corporation | Method and apparatus for determining target depth, brightness and size within a body region |
FR2834340B1 (fr) * | 2001-12-28 | 2004-07-16 | Mauna Kea Technologies | Appareillage de spectroscopie d'autofluorescence subsurfacique |
US20030216626A1 (en) * | 2002-03-28 | 2003-11-20 | Fuji Photo Film Co., Ltd. | Fluorescence judging method and apparatus |
US7201767B2 (en) * | 2004-05-27 | 2007-04-10 | Bhullar Tarseam S | Device for ultraviolet radiation treatment of body tissues |
CA2515934A1 (en) * | 2004-08-16 | 2006-02-16 | Bemis Company Inc. | Transversely sealed container |
JP5191090B2 (ja) * | 2005-07-15 | 2013-04-24 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
EP2197350A2 (en) * | 2007-09-11 | 2010-06-23 | Baxter International Inc. | Infusion therapy sensor system |
US20090236541A1 (en) * | 2008-03-24 | 2009-09-24 | General Electric Company | System and Methods for Optical Imaging |
US9014789B2 (en) | 2011-09-22 | 2015-04-21 | The George Washington University | Systems and methods for visualizing ablated tissue |
WO2013044182A1 (en) | 2011-09-22 | 2013-03-28 | The George Washington University | Systems and methods for visualizing ablated tissue |
CN103424969B (zh) * | 2012-05-21 | 2015-08-19 | 台达电子工业股份有限公司 | 光源系统 |
NL2009124C2 (en) * | 2012-07-05 | 2014-01-07 | Quest Photonic Devices B V | Method and device for detecting fluorescence radiation. |
JP6737705B2 (ja) | 2013-11-14 | 2020-08-12 | ザ・ジョージ・ワシントン・ユニバーシティThe George Washingtonuniversity | 損傷部位の深さを決定するシステムの動作方法及び心臓組織の画像を生成するシステム |
WO2015077474A1 (en) | 2013-11-20 | 2015-05-28 | The George Washington University | Systems and methods for hyperspectral analysis of cardiac tissue |
CN113208723A (zh) | 2014-11-03 | 2021-08-06 | 460医学股份有限公司 | 用于接触质量的评估的系统和方法 |
WO2016073476A1 (en) | 2014-11-03 | 2016-05-12 | The George Washington University | Systems and methods for lesion assessment |
US10779904B2 (en) | 2015-07-19 | 2020-09-22 | 460Medical, Inc. | Systems and methods for lesion formation and assessment |
US10952616B2 (en) | 2018-03-30 | 2021-03-23 | Canon U.S.A., Inc. | Fluorescence imaging apparatus |
US10743749B2 (en) | 2018-09-14 | 2020-08-18 | Canon U.S.A., Inc. | System and method for detecting optical probe connection |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0430831A (ja) * | 1990-05-25 | 1992-02-03 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JPH0654792A (ja) * | 1991-05-08 | 1994-03-01 | Xillix Technol Corp | 撮像装置 |
JPH08224209A (ja) * | 1995-02-23 | 1996-09-03 | Olympus Optical Co Ltd | 蛍光観察装置 |
JPH0998939A (ja) * | 1995-08-03 | 1997-04-15 | Asahi Optical Co Ltd | 蛍光診断用内視鏡装置 |
JPH09506027A (ja) * | 1994-09-30 | 1997-06-17 | ロッキード・マーチン・エナジー・システムズ・インク | レーザ誘導微分正規化蛍光式癌診断方法及び装置 |
JPH10225436A (ja) * | 1997-02-13 | 1998-08-25 | Fuji Photo Film Co Ltd | 蛍光検出装置 |
JPH11104061A (ja) * | 1997-10-02 | 1999-04-20 | Olympus Optical Co Ltd | 経内視鏡的蛍光観察装置 |
JP2002505900A (ja) * | 1998-03-09 | 2002-02-26 | スペクトラサイエンス,インコーポレイティド | 光学生検装置および組織診断方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5042494A (en) * | 1985-11-13 | 1991-08-27 | Alfano Robert R | Method and apparatus for detecting cancerous tissue using luminescence excitation spectra |
US5769792A (en) | 1991-07-03 | 1998-06-23 | Xillix Technologies Corp. | Endoscopic imaging system for diseased tissue |
US5647368A (en) * | 1996-02-28 | 1997-07-15 | Xillix Technologies Corp. | Imaging system for detecting diseased tissue using native fluorsecence in the gastrointestinal and respiratory tract |
JP3771344B2 (ja) | 1997-02-13 | 2006-04-26 | 富士写真フイルム株式会社 | 蛍光電子内視鏡 |
US6364829B1 (en) * | 1999-01-26 | 2002-04-02 | Newton Laboratories, Inc. | Autofluorescence imaging system for endoscopy |
-
1999
- 1999-07-09 JP JP11195192A patent/JP2001017379A/ja active Pending
-
2000
- 2000-07-10 US US09/613,596 patent/US6516217B1/en not_active Expired - Lifetime
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0430831A (ja) * | 1990-05-25 | 1992-02-03 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JPH0654792A (ja) * | 1991-05-08 | 1994-03-01 | Xillix Technol Corp | 撮像装置 |
JPH09506027A (ja) * | 1994-09-30 | 1997-06-17 | ロッキード・マーチン・エナジー・システムズ・インク | レーザ誘導微分正規化蛍光式癌診断方法及び装置 |
JPH08224209A (ja) * | 1995-02-23 | 1996-09-03 | Olympus Optical Co Ltd | 蛍光観察装置 |
JPH0998939A (ja) * | 1995-08-03 | 1997-04-15 | Asahi Optical Co Ltd | 蛍光診断用内視鏡装置 |
JPH10225436A (ja) * | 1997-02-13 | 1998-08-25 | Fuji Photo Film Co Ltd | 蛍光検出装置 |
JPH11104061A (ja) * | 1997-10-02 | 1999-04-20 | Olympus Optical Co Ltd | 経内視鏡的蛍光観察装置 |
JP2002505900A (ja) * | 1998-03-09 | 2002-02-26 | スペクトラサイエンス,インコーポレイティド | 光学生検装置および組織診断方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002345733A (ja) * | 2001-05-29 | 2002-12-03 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2004000478A (ja) * | 2002-03-28 | 2004-01-08 | Fuji Photo Film Co Ltd | 蛍光判定方法および装置 |
US8055033B2 (en) | 2005-02-15 | 2011-11-08 | Olympus Corporation | Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same |
WO2006087981A1 (ja) * | 2005-02-15 | 2006-08-24 | Olympus Corporation | 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム |
JP2006223376A (ja) * | 2005-02-15 | 2006-08-31 | Olympus Corp | 医用画像処理装置 |
JP2010521687A (ja) * | 2007-03-17 | 2010-06-24 | デュール デンタル アクチェンゲゼルシャフト | 蛍光画像用診断方法および診断装置 |
WO2010004691A1 (ja) * | 2008-07-10 | 2010-01-14 | 株式会社ニコン | 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム |
US8588502B2 (en) | 2008-07-10 | 2013-11-19 | Nikon Corporation | Evaluation apparatus of fluorescence population, evaluation method of fluorescence population and computer readable storage medium |
JP2010069291A (ja) * | 2008-08-19 | 2010-04-02 | Fujikura Ltd | 内視鏡システム |
JP2011135983A (ja) * | 2009-12-28 | 2011-07-14 | Olympus Corp | 画像処理装置、電子機器、プログラム及び画像処理方法 |
WO2011080996A1 (ja) * | 2009-12-28 | 2011-07-07 | オリンパス株式会社 | 画像処理装置、電子機器、プログラム及び画像処理方法 |
US8913111B2 (en) | 2009-12-28 | 2014-12-16 | Olympus Corporation | Image processing device, electronic apparatus, information storage device, and image processing method |
JP2011200534A (ja) * | 2010-03-26 | 2011-10-13 | Fujifilm Corp | 電子内視鏡システム及びカラー撮像素子 |
WO2013024773A1 (ja) * | 2011-08-18 | 2013-02-21 | オリンパス株式会社 | 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法 |
JP2013039275A (ja) * | 2011-08-18 | 2013-02-28 | Olympus Corp | 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法 |
US9182347B2 (en) | 2011-08-18 | 2015-11-10 | Olympus Corporation | Fluoroscopy apparatus, fluoroscopy system, and fluorescence-image processing method |
JP2020519851A (ja) * | 2017-04-07 | 2020-07-02 | アベラス バイオサイエンシーズ,インク. | レシオメトリック蛍光画像化方法 |
US11293868B2 (en) | 2017-04-07 | 2022-04-05 | Avelas Biosciences, Inc. | Ratiometric fluorescence imaging methods |
Also Published As
Publication number | Publication date |
---|---|
US6516217B1 (en) | 2003-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001017379A (ja) | 蛍光診断装置 | |
US6678398B2 (en) | Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process | |
US10182708B2 (en) | Simultaneous acquisition of differing image types | |
EP1472972B1 (en) | Apparatus and method for imaging diseased tissue using integrated autofluorescence | |
EP1535569B1 (en) | Apparatus for obtaining fluorescence images, and computer executable program therefor | |
JP2001157658A (ja) | 蛍光画像表示装置 | |
JPS6053918A (ja) | 内視鏡装置 | |
JPH0654792A (ja) | 撮像装置 | |
JP2006526767A (ja) | 多重の励起−発光対と、同時多チャンネル画像検出器とを用いる、蛍光結像方法と装置 | |
JP2006296635A (ja) | 内視鏡装置 | |
JPWO2019198637A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP2003339623A (ja) | 蛍光診断情報生成方法および装置 | |
WO2019220848A1 (ja) | 内視鏡装置、内視鏡操作方法、及びプログラム | |
CN112566537A (zh) | 内窥镜系统 | |
EP1097670A2 (en) | Method and apparatus for displaying fluorescence information | |
JP4245787B2 (ja) | 蛍光画像取得方法および装置 | |
CN100443044C (zh) | 检测及表征生物组织的设备 | |
JPH10225436A (ja) | 蛍光検出装置 | |
JP2001137172A (ja) | 蛍光検出装置 | |
AU2017346249B2 (en) | Multi-wavelength endoscopic system and image processing method using same | |
US20180303347A1 (en) | Raman Imaging Systems and Methods | |
JP3881142B2 (ja) | 蛍光表示方法および装置 | |
JP4109132B2 (ja) | 蛍光判定装置 | |
US10610088B2 (en) | Multi-wavelength endoscopic system and image processing method using same | |
JP2000325295A (ja) | 蛍光診断情報出力方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070423 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070828 |