JP2010139327A - 光立体構造像装置及びその光信号処理方法 - Google Patents

光立体構造像装置及びその光信号処理方法 Download PDF

Info

Publication number
JP2010139327A
JP2010139327A JP2008314837A JP2008314837A JP2010139327A JP 2010139327 A JP2010139327 A JP 2010139327A JP 2008314837 A JP2008314837 A JP 2008314837A JP 2008314837 A JP2008314837 A JP 2008314837A JP 2010139327 A JP2010139327 A JP 2010139327A
Authority
JP
Japan
Prior art keywords
light
optical
information
wavelength band
dimensional structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008314837A
Other languages
English (en)
Other versions
JP5162431B2 (ja
Inventor
Yuichi Teramura
友一 寺村
Kazuhiro Hirota
和弘 広田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008314837A priority Critical patent/JP5162431B2/ja
Priority to PCT/JP2009/070583 priority patent/WO2010067813A1/ja
Publication of JP2010139327A publication Critical patent/JP2010139327A/ja
Application granted granted Critical
Publication of JP5162431B2 publication Critical patent/JP5162431B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4795Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852Catheters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02001Interferometers characterised by controlling or generating intrinsic radiation properties
    • G01B9/02007Two or more frequencies or sources used for interferometric measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/0209Low-coherence interferometers
    • G01B9/02091Tomographic interferometers, e.g. based on optical coherence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • G01N2021/653Coherent methods [CARS]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Immunology (AREA)
  • Optics & Photonics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】測定光を走査して測定対象に照射し測定対象からの光を入射する光学系を大型化することなく、測定光とは異なる波長帯域の光による画像情報を高解像度で取得し、かつ該画像情報を測定対象の光立体構造像の表面情報に高精度にて対応させる。
【解決手段】プローブ40では、ファイバFB1、FB2の出射端のコリメートレンズ451、452からの2本の平行なコリメートビームは、ひとつの集光レンズ460に入射し、次に偏向回転ミラー470で反射され、同一の点に集光されて測定対象Tに照射される。偏向回転ミラー470は、モータ480により回転し、それにより測定光L1、及び可視光Laの集光点が走査される。プローブ40のファイバFB1、FBは、可視光La及び測定光L1が測定対象Tに照射されたときの測定対象Tからのそれぞれの戻り光L4、L3を導光する。
【選択図】図2

Description

本発明は光立体構造像装置及びその光信号処理方法に係り、特に光立体構造像の生成に特徴のある光立体構造像装置及びその光信号処理方法に関する。
従来、生体組織の光断層画像を取得する際に、OCT(Optical Coherence Tomography)計測を利用した光断層画像取得装置が用いられることがある。この光断層画像取得装置は、光源から射出された低コヒーレント光を測定光と参照光とに分割した後、該測定光が測定対象に照射されたときの測定対象からの反射光、もしくは後方散乱光と参照光とを合波し、該反射光と参照光との干渉光の強度に基づいて光断層画像を取得するものである(特許文献1)。以下、測定対象からの反射光、後方散乱光をまとめて反射光と標記する。
上記のOCT計測には、大きくわけてTD−OCT(Time domain OCT)計測とFD−OCT(Fourier Domain OCT)計測の2種類がある。TD−OCT計測は、参照光の光路長を変更しながら干渉光強度を測定することにより、測定対象の深さ方向の位置(以下、深さ位置という)に対応した反射光強度分布を取得する方法である。
一方、FD−OCT計測は、参照光と信号光の光路長は変えることなく、光のスペクトル成分毎に干渉光強度を測定し、ここで得られたスペクトル干渉強度信号を計算機にてフーリエ変換に代表される周波数解析を行うことで、深さ位置に対応した反射光強度分布を取得する方法である。TD−OCTに存在する機械的な走査が不要となることで、高速な測定が可能となる手法として、近年注目されている。
FD−OCT計測を行う装置構成で代表的な物としては、SD−OCT(Spectral Domain OCT)装置とSS−OCT(Swept Source OCT)の2種類が挙げられる。SD−OCT装置は、SLD(Super Luminescence Diode)やASE(Amplified Spontaneous Emission)光源、白色光といった広帯域の低コヒーレント光を光源に用い、マイケルソン型干渉計等を用いて、広帯域の低コヒーレント光を測定光と参照光とに分割した後、測定光を測定対象に照射させ、そのとき戻って来た反射光と参照光とを干渉させ、この干渉光をスペクトロメータを用いて各周波数成分に分解し、フォトダイオード等の素子がアレイ状に配列されたディテクタアレイを用いて各周波数成分毎の干渉光強度を測定し、これにより得られたスペクトル干渉強度信号を計算機でフーリエ変換することにより、光断層画像を構成するようにしたものである。
一方、SS−OCT装置は、光周波数を時間的に掃引させるレーザを光源に用い、反射光と参照光とを各波長において干渉させ、光周波数の時間変化に対応した信号の時間波形を測定し、これにより得られたスペクトル干渉強度信号を計算機でフーリエ変換することにより光断層画像を構成するようにしたものである。
ところで、OCT計測は上述したように特定の領域の光断層像を取得する方法であるが、内視鏡下では、例えば癌病変部を通常照明光内視鏡や特殊光内視鏡の観察により発見し、その領域をOCT測定することで、癌病変部がどこまで浸潤しているかを見わけることが可能となる。また、測定光の光軸を2次元的に走査することで、OCT計測による深さ情報と合わせて3次元的な情報を取得することができる。
OCT計測と3次元コンピュータグラフィック技術の融合により、マイクロメートルオーダの分解能を持つ測定対象の構造情報からなる3次元構造モデルを表示することが可能となる事から、以下ではこのOCT計測による3次元構造モデルを光立体構造像と呼ぶ。
光立体構造像は通常、生体組織による吸収が少ない赤外光により取得するため、通常照明光内視鏡で得られるようなカラー画像とは異なる。通常照明光内視鏡による測定対象である生体組織の表面のカラー画像からは、その色の変化から表層近くの血管や炎症の分布、正常と病変の色味の違いといった情報が得られるが、OCT計測で得られる画像にはそのような情報はない。また、通常照明光内視鏡で観察した際に見たいと思った場所に、OCT計測の測定光の光軸を正確に当てることは困難である。
そこで、通常照明光内視鏡画像と同様な生体組織の表面からのフルカラー画像と、OCT測定による3次元画像を正確に対比させて見ることが望まれる。光立体構造像を目的としたものではないが、通常照明光内視鏡画像とOCT画像を同時に観察する従来技術としては、通常照明光内視鏡とOCT測定を一体化させて組み合わせた内視鏡(特許文献2)、ダイクロイックミラーを用いてCCDカメラの光軸とOCT測定の測定光の光軸を同軸に配置するプローブ(特許文献3)、ファイババンドルとOCT計測を組み合わせた内視鏡(特許文献4)等が開示されている。
特開2008−128708号公報 特開2001−70228号公報 特開2004−344260号公報 特開2001−74946号公報
しかしながら、例えば特許文献2に開示されている内視鏡は、通常照明光内視鏡とOCT測定の視点角度が異なるため、両者の画像を一致させることが難しいといった問題がある。
また、例えば特許文献3に開示されているプローブは、CCDカメラとOCT計測の視点向きが一致しており、両者の画像を合成するには都合がよいが、CCDカメラをプローブ先端部に組み込む必要があり、プローブが大型化する欠点がある。また、プローブを細径化するためには、CCDの画素数が少ないものに限定され、通常照明光画像が粗くなるという欠点がある。
さらに、例えば特許文献4に開示されている内視鏡では、ファイババンドルを用いればCCDカメラを本体基端側に配置できプローブの細径化を図ることができるという利点があるが、バンドル化できるファイバ本数は少なく、解像度が著しく劣るという欠点がある。また、逆に解像度を上げようと、ファイバ本数を増やすと、プローブが相対的に太くなる欠点がある。
本発明は、このような事情に鑑みてなされたもので、測定光を走査して測定対象に照射し測定対象からの光を入射する光学系を大型化することなく、測定光とは異なる波長帯域の光による画像情報を高解像度で取得し、かつ該画像情報を測定対象の光立体構造像の表面情報に高精度にて対応させることのできる光立体構造像装置及びその光信号処理方法を提供することを目的とする。
前記目的を達成するために、請求項1に記載の光立体構造像装置は、第1の波長帯域の光を発する第1波長域光源と、前記第1の波長帯域の光を測定光と参照光に分離する光分離手段と、前記測定光を導波する第1の導波手段と、前記第1の導波手段を導波した前記測定光を測定対象に照射する照射手段と、前記測定対象上の点からの前記測定光に基づく光を前記第1の導波手段に集光する第1の集光手段と、前記第1の導波手段を導波した前記測定対象上の前記点からの前記測定光に基づく光と前記参照光との干渉情報を検出する干渉情報検出手段と、前記測定対象上の前記点からの前記第1の波長帯域とは異なる第2の波長帯域の光を集光する第2の集光手段と、前記第2の集光手段が集光した前記第2の波長帯域の光を導波する第2の導波手段と、前記第2の導波手段を導波した前記第2の波長帯域の光を受光し受光信号を取得する受光手段と、前記第1の集光手段及び前記第2の集光手段により集光する前記測定対象上の前記点を走査する走査手段と、を備えて構成される。
請求項1に記載の光立体構造像装置では、前記第1の導波手段が前記測定光を導波し、前記干渉情報検出手段が前記測定対象上の前記点からの前記測定光に基づく光と前記参照光との干渉情報を検出し、前記第2の導波手段が前記測定対象上の前記点からの前記第1の波長帯域とは異なる第2の波長帯域の光を導波し、前記受光手段が前記第2の波長帯域の光を受光し受光信号を取得することで、測定光を走査して測定対象に照射し測定対象からの光を入射する光学系を大型化することなく、測定光とは異なる波長帯域の光による画像情報を高解像度で取得し、かつ該画像情報を測定対象の光立体構造像の表面情報に高精度にて対応させることを可能とする。
請求項2に記載の光立体構造像装置のように、請求項1に記載の光立体構造像装置であって、前記第1の集光手段及び前記第2の集光手段は一体的に構成すること好ましい。
請求項3に記載の光立体構造像装置のように、請求項1または2に記載の光立体構造像装置であって、前記第1の導波手段は、前記第1の波長帯域に対してシングルモードの導波路であること好ましい。
請求項4に記載の光立体構造像装置のように、請求項1ないし3のいずれか1つに記載の光立体構造像装置であって、前記第2の導波手段は、前記第2の波長帯域に対してマルチモードの導波路であること好ましい。
請求項5に記載の光立体構造像装置のように、請求項1または2に記載の光立体構造像装置であって、前記第1の導波手段はダブルクラッドシングルモードファイバのコアであり、前記第2の導波手段は前記ダブルクラッドシングルモードファイバのクラッドであること好ましい。
請求項6に記載の光立体構造像装置のように、請求項1ないし5のいずれか1つに記載の光立体構造像装置であって、前記干渉情報検出手段が検出する前記干渉情報は前記測定対象の深さ方向の情報であり、前記走査手段は前記深さ方向に対して略直交する面上を2次元走査すること好ましい。
請求項7に記載の光立体構造像装置のように、請求項1ないし6のいずれか1つに記載の光立体構造像装置であって、前記第2の波長帯域は可視光域であって、前記受光手段は前記可視光域のR成分、G成分及びB成分毎に受光すること好ましい。
請求項8に記載の光立体構造像装置のように、請求項7に記載の光立体構造像装置であって、前記第1の波長帯域は700nmから1600nmの間であり、前記第2の波長帯域が350nmから1000nmの間であること好ましい。
請求項9に記載の光立体構造像装置のように、請求項8に記載の光立体構造像装置であって、前記干渉情報検出手段はInGaAsフォトディテクタを含み、前記受光手段はSiフォトディテクタを含むこと好ましい。
請求項10に記載の光立体構造像装置のように、請求項1ないし9のいずれか1つに記載の光立体構造像装置であって、前記第2の波長帯域の光を発する第2波長域光源をさらに備え、前記走査手段は、前記測定光及び前記第2波長域光源からの前記第2の波長帯域の光を合波し、この合波された前記測定光及び前記第2の波長帯域の光を走査すること好ましい。
請求項11に記載の光立体構造像装置のように、請求項10に記載の光立体構造像装置であって、前記第2の導波手段は、第2波長域光源が発した前記第2の波長帯域の光を前記第2の集光手段に導波する光源用導波路と、第2の集光手段が集光した前記測定対象上の前記点からの前記第2の波長帯域の光を前記受光手段に導波する受光用導波路とからなること好ましい。
請求項12に記載の光立体構造像装置のように、請求項11に記載の光立体構造像装置であって、前記第2波長域光源は、紫外線を発する紫外線光源部と、前記光源用導波路の先端に設けられ前記紫外線により白色蛍光を発する白色蛍光部と、からなること好ましい。
請求項13に記載の光立体構造像装置のように、請求項1ないし6のいずれか1つに記載の光立体構造像装置であって、前記第2の波長帯域の光は前記測定対象からの自家蛍光あるいは薬剤蛍光であって、前記自家蛍光あるいは前記薬剤蛍光を励起させるための励起光を発する励起光光源を備え、前記走査手段は前記測定光及び前記励起光を走査すること好ましい。
請求項14に記載の光立体構造像装置のように、請求項1ないし13のいずれか1つに記載の光立体構造像装置であって、前記干渉情報検出手段での前記干渉情報の検出タイミングと前記受光手段での前記受光情報の取得タイミングとを同期させる同期手段をさらに備えて構成することができる。
請求項15に記載の光立体構造像装置のように、請求項14に記載の光立体構造像装置であって、前記参照光の前記所定光路長をトリガ信号に基づいて掃引して可変する光路長可変手段をさらに備え、前記同期手段は前記トリガ信号に基づいて前記干渉情報検出手段での前記干渉情報の検出タイミングと前記受光手段での前記受光情報の取得タイミングとを同期させること好ましい。
請求項16に記載の光立体構造像装置のように、請求項14に記載の光立体構造像装置であって、前記第1波長域光源は広帯域の低コヒーレント光を前記第1の波長帯域の光とする光源であり、前記干渉情報検出手段は前記測定光の前記測定対象からの反射光と前記参照光の前記参照光反射手段からの反射光との干渉光の周波数成分毎の強度を検出するディテクタアレイを備え所定のトリガ信号に基づいて前記ディテクタアレイより前記干渉情報を検出し、前記同期手段は前記トリガ信号に基づいて前記干渉情報検出手段での前記干渉情報の検出タイミングと前記受光手段での前記受光情報の取得タイミングとを同期させること好ましい。
請求項17に記載の光立体構造像装置のように、請求項14に記載の光立体構造像装置であって、前記第1波長域光源は前記第1の波長帯域の光の周波数をトリガ信号に基づいて時間掃引するレーザであって、前記同期手段は前記トリガ信号に基づいて前記干渉情報検出手段での前記干渉情報の検出タイミングと前記受光手段での前記受光情報の取得タイミングとを同期させること好ましい。
請求項18に記載の光立体構造像装置のように、請求項1ないし17のいずれか1つに記載の光立体構造像装置であって、前記干渉情報検出手段が検出した前記干渉情報を記憶する第1の記憶手段と、前記受光手段が取得した前記受光情報を記憶する第2の記憶手段と、前記第1の記憶手段に記憶されている前記干渉情報に基づき、前記測定対象上の任意の点における前記測定光の光路長に依存した光構造情報を生成する光構造情報生成手段と、前記走査手段の走査情報と前記光構造情報と前記第2の記憶手段に記憶されている前記受光情報に基づき、光構造画像を生成する光構造画像生成手段と、をさらに備えて構成することができる。
請求項19に記載の光立体構造像装置のように、請求項18に記載の光立体構造像装置であって、前記構造情報は、3次元構造情報であって、前記光構造画像生成手段は、前記測定対象の表面位置を算出する表面位置算出手段と、前記第2の記憶手段に記憶されている前記受光情報に基づき、前記測定対象の画像情報を生成する画像情報生成手段と、前記画像情報を前記表面位置に対応する前記3次元構造情報の位置にレンダリングするレンダリング手段と、からなること好ましい。
請求項20に記載の光立体構造像装置のように、請求項19に記載の光立体構造像装置であって、前記画像情報生成手段は、前記受光手段の受光情報のうちの複数の狭帯域光成分の受光情報に基づき前記画像情報を生成すること好ましい。
請求項21に記載の光立体構造像装置のように、請求項19に記載の光立体構造像装置であって、前記受光手段は複数の狭帯域光を受光し、前記画像情報生成手段は前記狭帯域光の受光情報に基づき前記画像情報を生成すること好ましい。
請求項22に記載の光立体構造像装置のように、請求項18ないし21のいずれか1つに記載の光立体構造像装置であって、前記光構造画像を表示する画像表示手段をさらに備えて構成することができる。
請求項23に記載の光立体構造像装置のように、請求項1ないし6のいずれか1つに記載の光立体構造像装置であって、前記第1波長域光源は前記第1の波長帯域の光をパルス発光するものであって、前記第1波長域光源の非発光時に前記第2の波長帯域の光を発光する第2波長域光源をさらに備えて構成することができる。
請求項24に記載の光立体構造像装置の光信号処理方法は、第1の波長帯域の光を測定光と参照光に分離して、測定対象上に前記測定光を照射し、前記測定対象上の点からの光を集光して第1の導波路に光を導波させると共に前記測定対象上の前記点を走査し、前記測定対象上の前記点からの光と前記参照光との干渉情報を検出する干渉情報検出ステップと、前記測定対象からの光を集光して第2の導波路に光を導波させ、前記第1の波長帯域とは異なる第2の波長帯域の光を選別して受光し受光信号を取得する受光ステップと、を備えて構成される。
請求項24に記載の光立体構造像装置の光信号処理方法では、前記干渉情報検出ステップにて第1の波長帯域の光を測定光と参照光に分離して、前記測定対象上に前記測定光を照射し、前記測定対象上の点からの前記光を集光して第1の導波路に光を導波させると共に前記測定対象上の前記点を走査し、前記測定対象上の前記点からの光と前記参照光との干渉情報を検出し、前記受光ステップにて前記測定対象からの光を集光して前記第2の導波路に光を導波させ、前記第1の波長帯域とは異なる第2の波長帯域の光を選別して受光し受光信号を取得することで、測定光を走査して測定対象に照射し測定対象からの光を入射する光学系を大型化することなく、測定光とは異なる波長帯域の光による画像情報を高解像度で取得し、かつ該画像情報を測定対象の光立体構造像の表面情報に高精度にて対応させることを可能とする。
請求項25に記載の光立体構造像装置の光信号処理方法のように、請求項24に記載の光立体構造像装置の光信号処理方法であって、前記干渉情報検出ステップにて検出した前記干渉情報を記憶する第1の記憶ステップと、前記受光ステップにて取得した前記受光情報を記憶する第2の記憶ステップと、前記第1の記憶ステップにて記憶した前記干渉情報に基づき、前記測定対象上の任意の点における前記測定光の光路長に依存した構造情報を生成する光構造情報生成ステップと、前記走査手段の走査情報と前記光構造情報と前記第2の記憶手段に記憶されている前記受光情報に基づき、光構造画像を生成する光構造画像生成ステップと、をさらに備えて構成することができる。
請求項26に記載の光立体構造像装置の光信号処理方法のように、請求項25に記載の光立体構造像装置の光信号処理方法であって、前記構造情報は、3次元構造情報であって、前記光構造画像生成ステップは、前記測定対象の表面位置を算出する表面位置算出ステップと、前記第2の記憶ステップにて記憶した前記受光情報に基づき、前記測定対象の画像情報を生成する画像情報生成ステップと、前記画像情報を前記表面位置に対応する前記3次元構造情報の位置にレンダリングするレンダリングステップと、からなること好ましい。
以上説明したように、本発明によれば、測定光を走査して測定対象に照射し測定対象からの光を入射する光学系を大型化することなく、測定光とは異なる波長帯域の光による画像情報を高解像度で取得し、かつ該画像情報を測定対象の光立体構造像の表面情報に高精度にて対応させることができるという効果がある。
以下、添付図面を参照して、本発明に係る光立体構造像装置としての光立体構造画像化装置の実施の形態について詳細に説明する。
第1の実施形態:
図1は第1の実施形態に係る光立体構造画像化装置の構成を示すブロック図である。図1に示すように、光立体構造画像化装置1は、例えば体腔内の生体組織や細胞等の測定対象の断層画像を例えば波長1.3μmを中心とするSS−OCT計測により取得するものであって、第1波長帯域光源としての(例えば、帯域が700nmから1600nmの光を発する)OCT光源10、第2波長帯域光源としての(例えば、帯域が350nmから1000nmの白色光を発する)可視光光源20、干渉情報検出手段としての干渉情報検出部70を有するOCT干渉計30、プローブ40、受光手段としての可視光情報検出部60及び光構造情報生成手段及び光構造画像生成手段としての3次元CG画像生成部90及びモニタ100を備えて構成される。
OCT光源10は周波数を一定の周期で掃引させながら赤外領域である、例えば波長1.3μmを中心とするレーザ光Lを射出する光源であり、可視光光源20は白色光からなる照明光としての可視光Laを射出する光源である。なお、同期手段はOCT光源10により構成され、赤外領域のレーザ光Lの周波数掃引のための掃引トリガ信号Sが同期手段の同期信号となっている。
OCT光源10から射出されたレーザ光Lは、OCT干渉計30内の光分波部3により測定光L1と参照光L2とに分波される。光分波部3は、例えば、分岐比99:1の光カプラから構成され、測定光:参照光=99:1の割合で分波する。
OCT干渉計30では、光分波部3により分波された参照光L2は、サーキュレータ5aを介して参照光調整手段としての光路長調整部80により光路長が調整されて反射される。
この光路長調整部80は、断層画像の取得を開始する位置を調整するために参照光L2の光路長を変更するものであり、コリメータレンズ81、82および反射ミラー83を有している。そして、サーキュレータ5aからの参照光L2はコリメータレンズ81、82を透過した後に反射ミラー83により反射され、参照光L2の戻り光L2aは再びコリメータレンズ81、82を介してサーキュレータ5aに入射される。
ここで、反射ミラー83は可動ステージ84上に配置されており、可動ステージ84はミラー移動部85により矢印A方向に移動可能に設けられている。そして可動ステージ84が矢印A方向に移動することにより、参照光L2の光路長が変更するようになっている。そして、光路長調整部80からの参照光L2の戻り光L2aは、サーキュレータ5aを介して光合分波部4に導光される。
一方、光分波部3により分波された測定光L1は、サーキュレータ5bを介してプローブ40内を挿通するファイバFB1に入射される。
また、可視光光源20から出射された可視光Laは、コリメータレンズ20a及びハーフミラー21を介して集光レンズ20bにより集光され、プローブ40内を挿通するファイバFB2に入射される。
ここで、プローブ40を構成するファイバFB1は1.3μm帯シングルモードファイバであり、同じくプローブ40を構成するファイバFB2はマルチモードファイバである。プローブ40の詳細な構成は後述する。
なお、OCT測定用のファイバFB1は、OCT光源10の波長帯域に対してシングルモードである必要がある。一方、可視光測定用のファイバFB2は、シングルモードでもマルチモードでもどちらでもよいが、反射光強度が弱い場合はより多くの光を集めるためにマルチモードの方が望ましい。
プローブ40の出射端から可視光La及び測定光L1が出射されて測定対象Tに照射され、その戻り光L3が再びプローブ40に入射し、戻り光のうちの可視光成分の光L3はファイバFB2に、戻り光のうちの赤外光成分である測定光L1の反射光(あるいは後方散乱光)L4はファイバFB1に、それぞれ導光される。
ファイバFB2に導光された可視光成分の光は、ハーフミラー21を反射して可視光情報検出部60に導光され、可視光情報検出部60では、可視光成分の光は、それぞれ赤、緑、青のフィルタ110r,110g,110bを前面に貼り付けられた3つのSiフォトディテクタ111r,111g,111bに入射され、OCT光源10の掃引トリガ信号Sに同期して可視光検出部112にてその瞬間の赤、緑、青の各光強度が検出される。
一方、ファイバFB2に導光された反射光(あるいは後方散乱光)L4は、OCT干渉計30に導光され、OCT干渉計30にてサーキュレータ5bを介して光合分波部4に導光される。そして、この光合分波部4において測定光L1の反射光(あるいは後方散乱光)L4と参照光L2の戻り光L2aとを合波し干渉情報検出部70側に射出するようになっている。
干渉情報検出部70は、光合分波部4により合波された測定光L1の反射光(あるいは後方散乱光)L4と参照光L2の戻り光L2aとの干渉光L5を、所定のサンプリング周波数で検出するものであり、干渉光L5の光強度を測定するInGaAsフォトディテクタ71aおよび71bと、InGaAsフォトディテクタ71aの検出値とInGaAsフォトディテクタ71bの検出値のバランス検波を行なう干渉光検出部72とを備えている。なお、干渉光L5は、光合分波部4において2分され、InGaAsフォトディテクタ71aおよび71bにおいて検出され、干渉光検出部72に出力される。干渉光検出部72は、OCT光源10の掃引トリガ信号Sに同期して、干渉光L5をフーリエ変換することにより、測定対象Tの各深さ位置における反射光(あるいは後方散乱光)L4の強度を検出する。
3次元CG画像生成部90は、干渉光検出部72により検出された測定対象Tの各深さ位置における反射光(あるいは後方散乱光)L4の強度を干渉情報として第1メモリ91に格納する。また、3次元CG画像生成部90は、可視光検出部112にて検出された測定対象Tからの可視光成分の光の赤、緑、青の各光強度信号を画像情報として第2メモリ92に格納する。
3次元CG画像生成部90は、第1の記憶手段としての前記第1メモリ91及び第2の記憶手段としての第2メモリ92のほかに、信号処理部93、制御部94を備えて構成される。
信号処理部93は、第1メモリ91に格納された干渉情報に基づいて測定対象Tの構造情報からなる光立体構造像を生成すると共に、第2メモリ92に格納された画像情報に基づいて測定対象Tの表面に可視光画像をレンダリングするものである。詳細な構成は後述する。
また、制御部94は、信号処理部93を制御すると共に、OCT光源10及び可視光光源20の発光制御を行うと共に、ミラー移動部85を制御するものである。
図2は図1のプローブの詳細な構成を示す断面図である。図1の符号40Aの拡大図である図2に示すように、プローブ40では、ファイバFB1、FB2の出射端に光をコリメートするコリメートレンズ451、452が融着されている。
ファイバFB1から出射される測定光L1は、コリメートレンズ451によりコリメートビームとなる。ファイバFB2から出射される可視光Laも、コリメートレンズ452によりコリメートビームとなる。2本のファイバFB1、FB2の出射端は、それぞれのコリメートビームがほぼ平行となるように配置されている。
そして、2本の平行なコリメートビームは、ひとつの集光レンズ460に入射し、次に偏向回転ミラー470で反射され、測定対象Tに照射される。集光レンズ460により2つのビームはほぼ同一の点に集光されて照射される。偏向回転ミラー470は、モータ480により回転し、それにより測定光L1、及び可視光Laの集光点が走査される。
測定対象Tの深さ方向をZ、プローブの長手軸方向をX、ZX面に直角な方向をYとすると、プローブ40では、偏向回転ミラー470がモータ480により回転し、測定対象T上において円周状に可視光La及び測定光L1が走査され、ZY平面の2次元断層画像が計測可能となっている。なお、モータ480は制御部94の制御に基づき光走査部42により駆動される(図1参照)。
また、光走査部42(図1参照)内の図示しないモータによりプローブ40の先端が可視光La及び測定光L1の走査円が形成する平面に対して垂直な方向Xに進退走査することにより、XYZの3次元断層画像の計測が可能となっている。
ファイバFB1から出射して測定対象に照射された測定光L1は、測定対象T内で反射、後方散乱され、その一部が集光レンズ460、およびコリメートレンズ451で集められ、ファイバFB1に入射する。
一方、ファイバFB2から出射して測定対象Tに照射された可視光Laは、測定対象T内で反射、後方散乱され、その一部は、集光レンズ460とコリメートレンズ452で集められ、ファイバFB2に入射する。
このように、プローブ40のファイバFB1、FB2は、入射された可視光La及び測定光L1を測定対象Tまで導光し、測定対象Tに照射する。そして、プローブ40のファイバFB1、FB2は、可視光La及び測定光L1が測定対象Tに照射されたときの測定対象Tからのそれぞれの戻り光L4、L3を導光する。
勿論、プローブ先端形状や走査方向はこれに限る物ではなく、図18に示すように、例えば、コリメートレンズ451、452を備えたファイバ先端側に集光レンズ460及びガルバノミラー等の高速走査ミラー990を配置した光送受部991を設け、高速走査ミラー990により2次元走査を行ってもよいし、ステージ992によって進退走査するように集光手段及び走査手段を構成してもよい。あるいは、測定対象Tをステージ992によって2次元的に走査してもよい。あるいは、これら光軸走査機構、および測定試料移動機構を組み合わせて構成してもよい。
図3は図1の信号処理部の構成を示すブロック図である。信号処理部93は、図3に示すように、第1メモリ91に格納された干渉情報に基づいて測定対象Tの構造情報からなる光立体構造像を構築する光構造情報生成手段としての3次元化部120と、3次元化部120により構築された光立体構造像の表面の位置情報である測定対象Tの表面位置を算出する表面位置算出手段としての表面位置算出部121と、第2メモリ92に格納された画像情報に基づいて測定対象Tの可視光画像を生成する画像情報生成手段としての可視光画像生成部122と、3次元化部120からの光立体構造像、表面位置算出部121からの表面の位置情報及び可視光画像生成部122からのカラー画像に基づいて、光立体構造像の表面に可視光画像をレンダリングした光構造画像である3次元CG画像を生成するレンダリング手段としてのレンダリング部123とを備えて構成され、これら各部は制御部94に制御され、レンダリング部123は生成した3次元CG画像をモニタ100に出力するようになっている。
なお、光構造情報は干渉情報に基づいた測定対象Tの深さ方向の構造情報であり、光立体構造像は測定対象Tの光構造情報からなる光立体構造モデルであり、光構造画像は光立体構造像の表面に可視光画像をレンダリングした3次元CG画像である。
光構造画像生成手段は、表面位置算出手段としての表面位置算出部121と、画像情報生成手段としての可視光画像生成部122と、レンダリング手段としてのレンダリング部123とにより構成される。
なお、表面位置算出部121は、例えば空間から対象物に移るOCT信号強度の変化から、測定対象Tの表面位置を算出する。
次に、このように構成された本実施形態の光立体構造画像化装置1の作用を図4のフローチャートを用いて説明する。図4は図1の光立体構造画像化装置の3次元CG画像生成処理の流れを示すフローチャートである。
図4に示すように、制御部94は、OCT光源10及び可視光光源20を制御し赤外光及び可視光の発光制御を開始する(ステップS1)。この赤外光の発光制御では、OCT光源10は掃引トリガ信号Sに同期して周波数を一定の周期で掃引させながら赤外領域のレーザ光Lを射出する。
次に、制御部94は、干渉光検出部72により検出された測定対象Tの各深さ方向Z位置における反射光(あるいは後方散乱光)L4の強度を干渉情報として第1メモリ91に格納すると共に、可視光検出部112にて検出された測定対象Tからの可視光成分の光の赤、緑、青の各光強度信号を画像情報として第2メモリ92に格納する(ステップS2)。
続いて、制御部94は、光走査部42を制御して測定対象T上において可視光La及び測定光L1をY方向走査し(ステップS3)、このY方向走査が終了するまでステップS2〜ステップS3の処理を繰り返す(ステップS4)。
このY方向走査が終了すると、制御部94は、光走査部42を制御して測定対象T上において可視光La及び測定光L1をX方向走査し(ステップS5)、このX方向走査が終了するまでステップS2〜ステップS5の処理を繰り返す(ステップS6)。
このX方向走査が終了すると、制御部94は、3次元化部120を制御して第1メモリ91に格納された干渉情報に基づいて測定対象Tの光立体構造像を構築する(ステップS7)。
また、制御部94は、表面位置算出部121を制御して3次元化部120により構築された光立体構造像の表面の位置情報を算出する(ステップS8)。
さらに、制御部94は、可視光画像生成部122を制御して第2メモリ92に格納された画像情報に基づいて測定対象Tの可視光画像を生成する(ステップS9)。
そして、制御部94は、レンダリング部123を制御して3次元化部120からの3光立体構造像、表面位置算出部121からの表面の位置情報及び可視光画像生成部122からの可視光画像に基づいて、光立体構造像の表面に可視光画像をレンダリングした3次元CG画像を生成し(ステップS10)、モニタ100に3次元CG画像を表示して(ステップS11)、処理を終了する。
このように本実施形態では、光立体構造像の表面位置に、OCT光源10の掃引トリガ信号Sに同期した同じタイミングで取得した画像情報である可視光画像情報をレンダリングすることにより、光立体構造像の表面に可視光表面情報を備えることとなり、図5に示すように、上面からは通常の可視光画像200がフルカラーで表示され、その下にOCTで得られた光立体構造像201が表示された光構造画像である3次元CG画像203が完成する。OCT情報を元に表面画像として可視光画像200を貼り付けているため、モニタ100に表示される3次元CG画像203は立体感のある表面画像を有する画像になる。
特に、本実施形態の光立体構造画像化装置1を、例えば可視光を照明光とする通常の電子内視鏡装置と共に使用する場合、プローブ40を電子内視鏡の処置具チャンネル等に挿通させることになるが、電子内視鏡が測定対象Tとして体腔内の患部を撮像した場合、図6に示すような内視鏡画像300がモニタ等に表示される。
このとき、例えば内視鏡画像300上から患部領域301が視認できた場合、この患部領域301に対してプローブ40によりOCT測定を行い、患部領域301の光立体構造像を得ることになる。
図5は図4の処理により生成される3次元CG画像を示す図であり、図6は図5の3次元CG画像と対比される内視鏡画像の一例を示す図である。
内視鏡画像の視野に比べ患部領域301が小さいために、OCT測定を行った領域が患部領域301であるかどうかを光立体構造像から判断することは困難であるが、本実施形態では、3次元CG画像203の表面の可視光画像200上の患部領域301(図5参照)の可視光表面情報(色相、コントラスト、輝度等)と内視鏡画像上での患部領域301(図6参照)の可視光画像情報(色相、コントラスト、輝度等)を対応させて識別することができるので、患部領域301が確実にOCT測定されたかどうかを容易に判断することができる。
従来のOCT画像だけでは、画質が大きく異なるために通常内視鏡の画像との位置あわせが困難だったが、可視光表面情報が光立体構造像に添付されていることで、パターンマッチングで視野の広い内視鏡画像中の位置の特定が容易になる。
さらに、この3次元CG画像では、通常内視鏡画像で視認できる病変の特徴と、光立体構造像の特徴を複合的に利用した病変部の抽出が可能となり、分解能が高く、病変部の境界がより高精度に見極めることができる。
プローブ40は、コリメートレンズ451、452が融着されたファイバFB1、FB2と、集光レンズ460と、偏向回転ミラー470と、モータ480とにより構成するとしたが、これに限らず、以下の<変形例1>から<変形例5>のように構成してよい。
<変形例1>図7は図2のプローブの変形例1の構成を示す図である。
図7に示すように、プローブの変形例1では、集光レンズ460を2つの集光レンズ460a、460bとする。この場合、ファイバFB1から出射される測定光L1は、コリメートレンズ451によりコリメートビームとなる。ファイバFB2から出射される可視光Laも、コリメートレンズ452によりコリメートビームとなる。そして、2本の平行なコリメートビームは、2つの集光レンズ460a、460bにそれぞれ入射し、次に偏向回転ミラー470で反射され、測定対象Tに照射される。
<変形例2>図8は図2のプローブの変形例2の構成を示す図であり、図9は図8のA−A線断面を示す図であり、図10は図8のプローブに適用される光立体構造画像化装置の構成を示す図である。
図8に示すように、プローブの変形例2は、プローブ40に使うファイバを3本にした例である。すなわち、プローブの変形例2では、可視光用のファイバFB2を照明用のファイバFB21と反射光受光用のファイバFB22に分けて構成する。そして、図9に示すように、FB21、22の先端にはコリメートレンズ452a、452bが設けられている。このように可視光のファイバFB2を照明用のファイバFB21と反射光受光用のファイバFB22に分けると、図10に示すように、光立体構造画像化装置1では、ハーフミラー21が不要になるために光利用効率が高くなる。
なお、プローブ40に使うファイバは2本に限らず、用途に合わせて何本でも重ねて良い。例えば、図示はしないが、OCT測定光用のファイバFB1に照射用と反射用とで2本のファイバを用いるようにしてもよい。この場合、偏波保存ファイバを2本用いて、互いに垂直な偏光を照射、あるいは受光するようにしてもよい。以下に、変形例2の具体例を実施例1ないし3として説明する。
実施例1:本実施形態では、可視光画像を得るための照明光として白色光である可視光Laを用いたが、照明光としては白色光に限らない。例えば、青色レーザを照射して細胞の自家蛍光を受光することで病変部を視認しやすくする蛍光内視鏡がある。この蛍光内視鏡で用いられる青色励起光を照明光として用い、この青色励起光をファイバFB21により導波し、細胞の自家蛍光をファイバFB22により導波する。細胞の自家蛍光を受光するディテクタに緑色の蛍光を透過するフィルタを用いることで、蛍光内視鏡と同様な画像とOCTを組み合わせた表示ができ、よりがんの領域の視認性を上げることができる。あるいは、がんに選択的に集積し、特定の蛍光を発する薬剤を注入し、その励起光を照明光として使い、その励起光に合わせたファイバをファイバFB21として用い、その蛍光波長を選択的に受光するディテクタとその波長に合わせたファイバFB22を組み合わせることでも、よりがんの領域の視認性を上げることができる。
また、励起光、および蛍光は、可視域とは限らない。例えば、インドシアニングリーンという公知の蛍光材料は、不可視領域である800nm〜810nmの領域に吸収波長があり、806nmのレーザ光で励起されると不可視領域である波長830nmの蛍光を発色する。従って、照明光には806nmレーザ、ディテクタには806nm近傍の光を除去し830nm近傍の光を抽出するフィルタを用いることで、インドシアニングリーンが集積しているXY平面上の領域を光立体構造像に明示することができる。また、インドシアニングリーンを静脈注射し、粘膜深部の血管を強調表示する公知の技術がある。OCT断層像だけでは血管と他の腺管との区別が難しいが、XY平面上での血管位置が明瞭となることで、3次元的な血管網を描画することができる。
実施例2:ファイバFB21として分散シフトファイバを用いて超短パルスレーザを導波し、超短パルスレーザを測定対象に照射した際に発生する2光子励起蛍光や第二次高調波を導波するマルチモードファイバをファイバFB22として組み合わせる構成としてもよい。あるいは、中空ファイバを用いて紫外光を測定対象に照射させ、蛍光を受光するように構成してもよい。
実施例3:ラマン分光法やコヒーレントアンチストークスラマン分光法(CARS)と組み合わせて構成してもよい。CARSと組み合わせる場合、波長568nmと600nmの励起光を用い、照射用ファイバにはそれぞれの別々のシングルモードファイバからなる2本のファイバFB21を用い、さらに受光用のマルチモードファイバをファイバFB22として束ねる。この実施例3においては、プローブ40の先端では、CARS測定に適した角度でビームが照射、集光されるように各ファイバ先端の位置と光学系が調整されて設けられている。また、受光用のマルチモードファイバであるファイバFB22の受光端には分光素子、及び1次元フォトディテクタからなる分光器が備え付けられ、分光情報が取得されるようになっている。このようなCARS信号、あるいはラマン分光情報と組み合わせることで、測定対象の組成の違いやミトコンドリアの代謝活性情報と光構造画像が一体化された映像が得られる。
<変形例3>図11は図2のプローブの変形例3の構成を示す図である。
図11に示すように、プローブの変形例3は、上記変形例2とほとんど同じであって、紫外レーザ光を発する紫外レーザ光源(不図示)と、ファイバFB21の先端に塗られた蛍光塗料455とから可視光光源20を構成した例である。ファイバFB21は紫外レーザ光を導波し、紫外レーザ光がファイバFB2の先端の蛍光塗料で吸収される。蛍光塗料は白色の蛍光を発し、照明光となる。これを集光して照射し、その反射光を受光用マルチモードファイバからなる射光受光用のファイバFB22で導波し、光立体構造画像化装置1に備え付けられた可視光情報検出部60で受光する。
<変形例4>図12は図2のプローブの変形例4の構成を示す図である。
図12に示すように、プローブの変形例4は、ファイバFB1、FB2の代わりに、ファイバとしてシングルモードダブルクラッドファイバ490を用い、コリメートレンズ491を別体に設け、偏向回転ミラー470の代わりにガルバノミラー492を設けた構成例である。シングルモードダブルクラッドファイバ490のコア490aはファイバFB1に代わるシングルモード導波路になっており、シングルモードダブルクラッドファイバ490のクラッド490bはファイバFB2に代わる可視光が伝搬するマルチモード導波路となっている。このシングルモードダブルクラッドファイバ490を用いれば、複数本のファイバをバンドル化する必要がなく、プローブがより細径化できる。
<変形例5>図13は図2のプローブの変形例5の構成を示す図である。
図13に示すプローブの変形例5のように、各ファイバFB1、FB2の先端に設けられるコリメートレンズと集光レンズは、それぞれひとつの光学レンズ495a、495bにまとめてもよい。
このように構成することで、プローブ40がよりコンパクトになる。逆に、図示はしないが、複数のレンズを組み合わせて、より高解像度化してもよい。組合せレンズを用いて色収差をなくすことがより望ましい。
なお、可視光情報検出部60は、それぞれ赤、緑、青のフィルタ110r,110g,110bを前面に貼り付けられた3つのSiフォトディテクタ111r,111g,111bにより、OCT光源10の掃引トリガ信号Sに同期して可視光成分の光に対して可視光検出部112にてその瞬間の赤、緑、青の各光強度を画像情報として検出するとしたがこれに限らず、可視光情報検出部60を以下の(1)から(4)のように構成してよい。
(1)図14は図1の可視光情報検出部の第1の変形例を示す図である。図14に示すように、2つのダイクロイックミラー400,401により可視光成分の光を赤、緑、青を分け、フィルタのない3つのSiフォトディテクタ111r,111g,111bにて、OCT光源10の掃引トリガ信号Sに同期して可視光成分の光に対して可視光検出部112にてその瞬間の赤、緑、青の各光強度を画像情報として検出するように可視光情報検出部60を構成してもよい。
(2)図15は図1の可視光情報検出部の第2の変形例を示す図である。図15に示すように、回折格子410にて可視光成分の光を赤、緑、青を分け、フィルタのない3つのSiフォトディテクタ111r,111g,111bにて、OCT光源10の掃引トリガ信号Sに同期して可視光成分の光に対して可視光検出部112にてその瞬間の赤、緑、青の各光強度を画像情報として検出するように可視光情報検出部60を構成してもよい。
(3)図16は図1の可視光情報検出部の第3の変形例を示す図である。図16に示すように、WDM(Wavelength Division Multiplexing)カップラやAWG(Arrayed Waveguide Grating)のような全ファイバ光学系420を用いて可視光成分の光を赤、緑、青を分け、フィルタのない3つのSiフォトディテクタ111r,111g,111bにて、OCT光源10の掃引トリガ信号Sに同期して可視光成分の光に対して可視光検出部112にてその瞬間の赤、緑、青の各光強度を画像情報として検出するように可視光情報検出部60を構成してもよい。
(4)図17は図1の可視光情報検出部の第4の変形例を示す図である。図17に示すように、可視光情報検出部60のディテクタで色を分けるかわりに、可視光光源20からの照明光の色を時間分割照射してもよい。すなわち、照明光に赤、緑、青のレーザを用いて可視光光源20を構成することで、それぞれ赤、緑、青のレーザの発光時間帯が重ならないようにパルス的に照射し、可視光情報検出部60においてひとつのSiフォトディテクタ111で受光する。可視光光源20のレーザの発光タイミングと可視光情報検出部60の検出タイミングは掃引トリガ信号Sで同期させ、時間帯に応じて発光している色の情報としてコンピュータに入力し、フルカラー画像を生成する。なお、レーザの代わりに、色フィルタを通した白色光源を用い、色フィルタを時間的に切り替えてもよい。
なお、本実施形態ではSS−OCT計測を例に説明したがこれに限らず、TD−OCT計測、SD−OCT計測に対しても適用できる。掃引トリガ信号Sに対応するトリガ信号としては、TD−OCT計測の場合は光路長遅延回路の周期となり、SD−OCT計測の場合はOCT用ディテクタアレイの信号取得周期となる。
また、複数の色情報を取得するには、赤、緑、青に限らず、どの波長域でもよい。例えば、癌のスクリーニングに公知のNBI(Narrow Band Imaging)と呼ばれる手法や公知のFICE(Flexible spectral Imaging Color Enhancement)と呼ばれる手法がある。これらは、青、緑の波長域を画像化することで、病変部の特徴を視認しやすくする手法である。このNBI/FICE画像と重ねるには、NBI/FICEで用いる緑、青のフィルタと同じ波長域の物を用いることが望ましい。これにより、光立体構造像上でもより病変部の抽出がしやすくなる。ディテクタの数は3つに限らず、通常内視鏡と同じ赤緑青の他に、NBIや蛍光内視鏡などの特殊光観察に対応したディテクタを配置してもよい。
OCT装置の光軸走査は、プローブを用いたものでも、ガルバノミラーを用いたものでも、ステージによって走査するタイプでも、どれでもよい。プローブの場合、偏向ミラーのみモータで回転させても、ファイバに固定して、ファイバ毎回転させてもよい。回転に限らず、MEMS(Micro Electro Mechanical Systems)ミラーを用いて線形走査させてもよい。
なお、照明光としての可視光Laは、エイミング光(測定位置を明示する目印光)としての効果もある。また、内視鏡の照明光など、周囲の照明光だけで充分な照度が得られる場合は、照明光はなくてもよい。
以上、本発明の光立体構造像装置としての光立体構造画像化装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
第1の実施形態に係る光立体構造画像化装置の構成を示すブロック図 図1のプローブの詳細な構成を示す断面図 図1の信号処理部の構成を示すブロック図 図1の光立体構造画像化装置の3次元CG画像生成処理の流れを示すフローチャート 図4の処理により生成される3次元CG画像を示す図 図5の3次元CG画像と対比される内視鏡画像の一例を示す図 図2のプローブの変形例1の構成を示す図 図2のプローブの変形例2の構成を示す図 図8のA−A線断面を示す図 図8のプローブに適用される光立体構造画像化装置の構成を示す図 図2のプローブの変形例3の構成を示す図 図2のプローブの変形例4の構成を示す図 図2のプローブの変形例5の構成を示す図 図1の可視光情報検出部の第1の変形例を示す図 図1の可視光情報検出部の第2の変形例を示す図 図1の可視光情報検出部の第3の変形例を示す図 図1の可視光情報検出部の第4の変形例を示す図 図1の光立体構造画像化装置の変形例の構成を示すブロック図
符号の説明
10…OCT光源、20…可視光光源、30…OCT干渉計、40…プローブ、60…可視光情報検出部、70…干渉情報検出部、90…断層画像生成部、91…第1メモリ、92…第2メモリ、93…信号処理部、94…制御部、100…モニタ、120…3次元化部、121…表面位置算出部、122…可視光画像生成部、123…レンダリング部、451、452…コリメートレンズ、460…集光レンズ、470…偏向回転ミラー、480…モータ、FB1、FB2…ファイバ

Claims (26)

  1. 第1の波長帯域の光を発する第1波長域光源と、
    前記第1の波長帯域の光を測定光と参照光に分離する光分離手段と、
    前記測定光を導波する第1の導波手段と、
    前記第1の導波手段を導波した前記測定光を測定対象に照射する照射手段と、
    前記測定対象上の点からの前記測定光に基づく光を前記第1の導波手段に集光する第1の集光手段と、
    前記第1の導波手段を導波した前記測定対象上の前記点からの前記測定光に基づく光と前記参照光との干渉情報を検出する干渉情報検出手段と、
    前記測定対象上の前記点からの前記第1の波長帯域とは異なる第2の波長帯域の光を集光する第2の集光手段と、
    前記第2の集光手段が集光した前記第2の波長帯域の光を導波する第2の導波手段と、
    前記第2の導波手段を導波した前記第2の波長帯域の光を受光し受光信号を取得する受光手段と、
    前記第1の集光手段及び前記第2の集光手段により集光する前記測定対象上の前記点を走査する走査手段と、
    を備えたことを特徴とする光立体構造像装置。
  2. 前記第1の集光手段及び前記第2の集光手段は、一体的に構成されることを特徴とする請求項1に記載の光立体像測定装置。
  3. 前記第1の導波手段は、前記第1の波長帯域に対してシングルモードの導波路であることを特徴とする請求項1または2に記載の光立体構造像装置。
  4. 前記第2の導波手段は、前記第2の波長帯域に対してマルチモードの導波路であることを特徴とする請求項1ないし3のいずれか1つに記載の光立体構造像装置。
  5. 前記第1の導波手段はダブルクラッドシングルモードファイバのコアであり、前記第2の導波手段は前記ダブルクラッドシングルモードファイバのクラッドであることを特徴とする請求項1または2に記載の光立体構造像装置。
  6. 前記干渉情報検出手段が検出する前記干渉情報は前記測定対象の深さ方向の情報であり、前記走査手段は前記深さ方向に対して略直交する面上を2次元走査することを特徴とする請求項1ないし5のいずれか1つに記載の光立体構造像装置。
  7. 前記第2の波長帯域は可視光域であって、前記受光手段は前記可視光域のR成分、G成分及びB成分毎に受光することを特徴とする請求項1ないし6のいずれか1つに記載の光立体構造像装置。
  8. 前記第1の波長帯域は700nmから1600nmの間であり、前記第2の波長帯域が350nmから1000nmの間であることを特徴とする請求項7に記載の光立体構造像装置。
  9. 前記干渉情報検出手段はInGaAsフォトディテクタを含み、前記受光手段はSiフォトディテクタを含むことを特徴とする請求項8に記載の光立体構造像装置。
  10. 前記第2の波長帯域の光を発する第2波長域光源をさらに備え、前記走査手段は、前記測定光及び前記第2波長域光源からの前記第2の波長帯域の光を合波し、この合波された前記測定光及び前記第2の波長帯域の光を走査することを特徴とする請求項1ないし9のいずれか1つに記載の光立体構造像装置。
  11. 前記第2の導波手段は、第2波長域光源が発した前記第2の波長帯域の光を前記第2の集光手段に導波する光源用導波路と、第2の集光手段が集光した前記測定対象上の前記点からの前記第2の波長帯域の光を前記受光手段に導波する受光用導波路とからなることを特徴とする請求項10に記載の光立体構造像装置。
  12. 前記第2波長域光源は、紫外線を発する紫外線光源部と、前記光源用導波路の先端に設けられ前記紫外線により白色蛍光を発する白色蛍光部と、からなることを特徴とする請求項11に記載の光立体構造像装置。
  13. 前記第2の波長帯域の光は前記測定対象からの自家蛍光あるいは薬剤蛍光であって、前記自家蛍光あるいは前記薬剤蛍光を励起させるための励起光を発する励起光光源を備え、前記走査手段は前記測定光及び前記励起光を走査することを特徴とする請求項1ないし6のいずれか1つに記載の光立体構造像装置。
  14. 前記干渉情報検出手段での前記干渉情報の検出タイミングと前記受光手段での前記受光情報の取得タイミングとを同期させる同期手段をさらに備えたことを特徴とする請求項1ないし13のいずれか1つに記載の光立体構造像装置。
  15. 前記参照光の前記所定光路長をトリガ信号に基づいて掃引して可変する光路長可変手段をさらに備え、前記同期手段は前記トリガ信号に基づいて前記干渉情報検出手段での前記干渉情報の検出タイミングと前記受光手段での前記受光情報の取得タイミングとを同期させることを特徴とする請求項14に記載の光立体構造像装置。
  16. 前記第1波長域光源は広帯域の低コヒーレント光を前記第1の波長帯域の光とする光源であり、前記干渉情報検出手段は前記測定光の前記測定対象からの反射光と前記参照光の前記参照光反射手段からの反射光との干渉光の周波数成分毎の強度を検出するディテクタアレイを備え所定のトリガ信号に基づいて前記ディテクタアレイより前記干渉情報を検出し、前記同期手段は前記トリガ信号に基づいて前記干渉情報検出手段での前記干渉情報の検出タイミングと前記受光手段での前記受光情報の取得タイミングとを同期させることを特徴とする請求項14に記載の光立体構造像装置。
  17. 前記第1波長域光源は前記第1の波長帯域の光の周波数をトリガ信号に基づいて時間掃引するレーザであって、前記同期手段は前記トリガ信号に基づいて前記干渉情報検出手段での前記干渉情報の検出タイミングと前記受光手段での前記受光情報の取得タイミングとを同期させることを特徴とする請求項14に記載の光立体構造像装置。
  18. 前記干渉情報検出手段が検出した前記干渉情報を記憶する第1の記憶手段と、
    前記受光手段が取得した前記受光情報を記憶する第2の記憶手段と、
    前記第1の記憶手段に記憶されている前記干渉情報に基づき、前記測定対象上の任意の点における前記測定光の光路長に依存した光構造情報を生成する光構造情報生成手段と、
    前記走査手段の走査情報と前記光構造情報と前記第2の記憶手段に記憶されている前記受光情報に基づき、光構造画像を生成する光構造画像生成手段と、
    をさらに備えたことを特徴とする請求項1ないし17のいずれか1つに記載の光立体構造像装置。
  19. 前記構造情報は、3次元構造情報であって、
    前記光構造画像生成手段は、
    前記測定対象の表面位置を算出する表面位置算出手段と、
    前記第2の記憶手段に記憶されている前記受光情報に基づき、前記測定対象の画像情報を生成する画像情報生成手段と、
    前記画像情報を前記表面位置に対応する前記3次元構造情報の位置にレンダリングするレンダリング手段と、
    からなることを特徴とする請求項18に記載の光立体構造像装置。
  20. 前記画像情報生成手段は、前記受光手段の受光情報のうちの複数の狭帯域光成分の受光情報に基づき前記画像情報を生成することを特徴とする請求項19に記載の光立体構造像装置。
  21. 前記受光手段は複数の狭帯域光を受光し、前記画像情報生成手段は前記狭帯域光の受光情報に基づき前記画像情報を生成することを特徴とする請求項19に記載の光立体構造像装置。
  22. 前記光構造画像を表示する画像表示手段をさらに備えたことを特徴とする請求項18ないし21のいずれか1つに記載の光立体構造像装置。
  23. 前記第1波長域光源は前記第1の波長帯域の光をパルス発光するものであって、前記第1波長域光源の非発光時に前記第2の波長帯域の光を発光する第2波長域光源をさらに備えたことを特徴とする請求項1ないし6のいずれか1つに記載の光立体構造像装置。
  24. 第1の波長帯域の光を測定光と参照光に分離して、測定対象上に前記測定光を照射し、前記測定対象上の点からの光を集光して第1の導波路に光を導波させると共に前記測定対象上の前記点を走査し、前記測定対象上の前記点からの光と前記参照光との干渉情報を検出する干渉情報検出ステップと、
    前記測定対象からの光を集光して第2の導波路に光を導波させ、前記第1の波長帯域とは異なる第2の波長帯域の光を選別して受光し受光信号を取得する受光ステップと、
    を備えたことを特徴とする光立体構造像装置の光信号処理方法。
  25. 前記干渉情報検出ステップにて検出した前記干渉情報を記憶する第1の記憶ステップと、
    前記受光ステップにて取得した前記受光情報を記憶する第2の記憶ステップと、
    前記第1の記憶ステップにて記憶した前記干渉情報に基づき、前記測定対象上の任意の点における前記測定光の光路長に依存した構造情報を生成する光構造情報生成ステップと、
    前記走査手段の走査情報と前記光構造情報と前記第2の記憶手段に記憶されている前記受光情報に基づき、光構造画像を生成する光構造画像生成ステップと、
    をさらに備えたことを特徴とする請求項24に記載の光立体構造像装置の光信号処理方法。
  26. 前記構造情報は、3次元構造情報であって、
    前記光構造画像生成ステップは、
    前記測定対象の表面位置を算出する表面位置算出ステップと、
    前記第2の記憶ステップにて記憶した前記受光情報に基づき、前記測定対象の画像情報を生成する画像情報生成ステップと、
    前記画像情報を前記表面位置に対応する前記3次元構造情報の位置にレンダリングするレンダリングステップと、
    からなることを特徴とする請求項25に記載の光立体構造像装置の光信号処理方法。
JP2008314837A 2008-12-10 2008-12-10 光立体構造像装置 Expired - Fee Related JP5162431B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008314837A JP5162431B2 (ja) 2008-12-10 2008-12-10 光立体構造像装置
PCT/JP2009/070583 WO2010067813A1 (ja) 2008-12-10 2009-12-09 光立体構造像装置及びその光信号処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008314837A JP5162431B2 (ja) 2008-12-10 2008-12-10 光立体構造像装置

Publications (2)

Publication Number Publication Date
JP2010139327A true JP2010139327A (ja) 2010-06-24
JP5162431B2 JP5162431B2 (ja) 2013-03-13

Family

ID=42242801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008314837A Expired - Fee Related JP5162431B2 (ja) 2008-12-10 2008-12-10 光立体構造像装置

Country Status (2)

Country Link
JP (1) JP5162431B2 (ja)
WO (1) WO2010067813A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012052883A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 光断層画像化装置及び光断層画像取得方法
JP2012052882A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 光断層画像化装置及び光断層画像取得方法
JP2013068527A (ja) * 2011-09-22 2013-04-18 Aisin Seiki Co Ltd テラヘルツ波発生検出装置及びテラヘルツ波伝播装置
WO2014061147A1 (ja) * 2012-10-19 2014-04-24 株式会社日立製作所 Cars顕微鏡
JP2014163794A (ja) * 2013-02-25 2014-09-08 Nippon Sheet Glass Co Ltd 蛍光検出装置
JP2016080349A (ja) * 2014-10-09 2016-05-16 株式会社四国総合研究所 水素ガス濃度計測装置および方法
JP2017138333A (ja) * 2010-12-30 2017-08-10 アクサン・テクノロジーズ・エルエルシー Oct撮像に用いられる統合化された増幅器付き平衡光検出器システム
JP2019517951A (ja) * 2016-04-27 2019-06-27 ルミレッズ ホールディング ベーフェー レーザベース光源
WO2019142896A1 (ja) * 2018-01-18 2019-07-25 株式会社アサヒビジョン 生体組織分析装置および生体組織分析方法
US10488177B2 (en) 2010-12-30 2019-11-26 Axsun Technologies, Inc. Optical coherence tomography (OCT) system having integrated detector and analysis systems

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5657941B2 (ja) * 2010-07-30 2015-01-21 株式会社トプコン 光断層画像化装置及びその作動方法
US8982338B2 (en) * 2012-05-31 2015-03-17 Thermo Scientific Portable Analytical Instruments Inc. Sample analysis
US20140309527A1 (en) * 2013-04-12 2014-10-16 Ninepoint Medical, Inc. Multiple aperture, multiple modal optical systems and methods

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050199A (ja) * 2001-08-03 2003-02-21 Olympus Optical Co Ltd 光イメージング装置
JP2003535659A (ja) * 2000-06-19 2003-12-02 ユニヴァーシティ オブ ワシントン 走査型単一光ファイバシステムを用いる医療用画像化、診断および治療
JP2007268132A (ja) * 2006-03-31 2007-10-18 Terumo Corp 画像診断装置およびその処理方法
JP2007325831A (ja) * 2006-06-09 2007-12-20 Topcon Corp 眼底観察装置、眼科画像処理装置及び眼科画像処理プログラム
JP2008506426A (ja) * 2004-07-02 2008-03-06 ザ ジェネラル ホスピタル コーポレイション ダブルクラッドファイバを有する内視鏡撮像プローブ
JP2008145188A (ja) * 2006-12-07 2008-06-26 Fujifilm Corp 光断層画像化装置
WO2008142823A1 (ja) * 2007-05-23 2008-11-27 Kabushiki Kaisha Topcon 眼底観察装置及びそれを制御するプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003535659A (ja) * 2000-06-19 2003-12-02 ユニヴァーシティ オブ ワシントン 走査型単一光ファイバシステムを用いる医療用画像化、診断および治療
JP2003050199A (ja) * 2001-08-03 2003-02-21 Olympus Optical Co Ltd 光イメージング装置
JP2008506426A (ja) * 2004-07-02 2008-03-06 ザ ジェネラル ホスピタル コーポレイション ダブルクラッドファイバを有する内視鏡撮像プローブ
JP2007268132A (ja) * 2006-03-31 2007-10-18 Terumo Corp 画像診断装置およびその処理方法
JP2007325831A (ja) * 2006-06-09 2007-12-20 Topcon Corp 眼底観察装置、眼科画像処理装置及び眼科画像処理プログラム
JP2008145188A (ja) * 2006-12-07 2008-06-26 Fujifilm Corp 光断層画像化装置
WO2008142823A1 (ja) * 2007-05-23 2008-11-27 Kabushiki Kaisha Topcon 眼底観察装置及びそれを制御するプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012052883A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 光断層画像化装置及び光断層画像取得方法
JP2012052882A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 光断層画像化装置及び光断層画像取得方法
US10488177B2 (en) 2010-12-30 2019-11-26 Axsun Technologies, Inc. Optical coherence tomography (OCT) system having integrated detector and analysis systems
JP2017138333A (ja) * 2010-12-30 2017-08-10 アクサン・テクノロジーズ・エルエルシー Oct撮像に用いられる統合化された増幅器付き平衡光検出器システム
JP2013068527A (ja) * 2011-09-22 2013-04-18 Aisin Seiki Co Ltd テラヘルツ波発生検出装置及びテラヘルツ波伝播装置
JPWO2014061147A1 (ja) * 2012-10-19 2016-09-05 株式会社日立製作所 Cars顕微鏡
US9581497B2 (en) 2012-10-19 2017-02-28 Hitachi, Ltd. Cars microscope
WO2014061147A1 (ja) * 2012-10-19 2014-04-24 株式会社日立製作所 Cars顕微鏡
JP2014163794A (ja) * 2013-02-25 2014-09-08 Nippon Sheet Glass Co Ltd 蛍光検出装置
JP2016080349A (ja) * 2014-10-09 2016-05-16 株式会社四国総合研究所 水素ガス濃度計測装置および方法
JP2019517951A (ja) * 2016-04-27 2019-06-27 ルミレッズ ホールディング ベーフェー レーザベース光源
JP7069037B2 (ja) 2016-04-27 2022-05-17 ルミレッズ ホールディング ベーフェー レーザベース光源
WO2019142896A1 (ja) * 2018-01-18 2019-07-25 株式会社アサヒビジョン 生体組織分析装置および生体組織分析方法
JPWO2019142896A1 (ja) * 2018-01-18 2020-01-23 株式会社アサヒビジョン 生体組織分析装置および生体組織分析方法

Also Published As

Publication number Publication date
JP5162431B2 (ja) 2013-03-13
WO2010067813A1 (ja) 2010-06-17

Similar Documents

Publication Publication Date Title
JP5162431B2 (ja) 光立体構造像装置
JP4869877B2 (ja) 光断層画像化装置
US10800831B2 (en) Systems and methods for obtaining information associated with an anatomical sample using optical microscopy
JP4869896B2 (ja) 光断層画像化装置
JP4869895B2 (ja) 光断層画像化装置
JP4642681B2 (ja) 光断層画像化装置
EP1971848B1 (en) Systems and methods for generating data based on one or more spectrally-encoded endoscopy techniques
JP5541831B2 (ja) 光断層画像化装置およびその作動方法
EP1945094B1 (en) Spectral- and frequency- encoded fluorescence imaging
JP4895277B2 (ja) 光断層画像化装置
US7649629B2 (en) Optical imaging apparatus with spectral detector
JP2008128709A (ja) 光断層画像化装置
JP2007101250A (ja) 光断層画像化方法
JP2010200820A (ja) 光立体構造像装置及びその光信号処理方法
EP2929288A1 (en) Space-division multiplexing optical coherence tomography apparatus
JP2007101268A (ja) 光断層画像化装置
US8564787B2 (en) OCT apparatus and interference signal level control method for the same
JP2006026015A (ja) 光断層画像取得システム
JP2008089349A (ja) 光断層画像化装置
JP2007101264A (ja) 光断層画像化装置
JP2007212376A (ja) 光断層画像化装置
WO2010064516A1 (ja) 光立体構造像装置及びその光信号処理方法
JP2010210501A (ja) 光立体構造像装置
JP2008128707A (ja) 断層画像処理方法、装置およびプログラムならびにこれを用いた光断層画像化システム
JP2009300097A (ja) 光断層画像化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees