JP2007089840A - 電子内視鏡装置 - Google Patents

電子内視鏡装置 Download PDF

Info

Publication number
JP2007089840A
JP2007089840A JP2005283500A JP2005283500A JP2007089840A JP 2007089840 A JP2007089840 A JP 2007089840A JP 2005283500 A JP2005283500 A JP 2005283500A JP 2005283500 A JP2005283500 A JP 2005283500A JP 2007089840 A JP2007089840 A JP 2007089840A
Authority
JP
Japan
Prior art keywords
image signal
component
filter
light
electronic endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005283500A
Other languages
English (en)
Other versions
JP4799109B2 (ja
Inventor
Shinichi Kono
慎一 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2005283500A priority Critical patent/JP4799109B2/ja
Publication of JP2007089840A publication Critical patent/JP2007089840A/ja
Application granted granted Critical
Publication of JP4799109B2 publication Critical patent/JP4799109B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)

Abstract

【課題】エイミング光を備えていない近赤外光照射装置と組合わせた場合であっても、近赤外光の照射部位を視認可能な電子内視鏡装置を提供する。
【解決手段】CCD撮像素子74には、600nm〜750nmの波長帯域の光を透過するRフィルタと、500nm〜600nmの波長帯域の光を透過するGフィルタと、400nm〜500nmおよび950nm〜1100nmの波長帯域の光を透過するB+IRフィルタとが配置されたモザイクフィルタ78がオンチップで形成されている。画像処理部83では、Rフィルタを透過して撮像されたR画像信号と、Gフィルタを透過して撮像されたG画像信号と、B+IRフィルタを透過して撮像されたB+IR画像信号とにマトリクス演算を施し、表示用のRGBカラー画像信号を生成し、表示画像用メモリ84へ記憶し、表示タイミングに合わせてRGBカラー画像信号を出力する。
【選択図】図1

Description

本発明は、白色の照明光を被観察部へ照射し、該被観察部のカラー画像を取得する電子内視鏡に関し、特に近赤外光を被照射部位へ照射する近赤外光照射装置と組合わせて使用する電子内視鏡装置に関するものである。
従来、生体などの光断層画像を取得する光断層画像取得装置の開発が進められている。これらの光断層画像の取得方法としては、周波数掃引されたコヒーレンス光による光干渉を用いた方法や、低コヒーレンス光による光干渉を用いた方法等が知られている。
特に、低コヒーレンス光干渉光の光強度をヘテロダイン検波により測定することにより、測定部の光断層画像を取得するOCT(Optical Coherence Tomography)装置は、実用化されつつある。
このOCT装置は、SLD(Super Luminescent Diode)等から成る光源から出射された低コヒーレンス光を測定光と参照光に分割し、ピエゾ素子等により参照光または測定光の周波数を僅かにシフトさせ、測定光を被測定物に照射し、被照射部位からの反射光と参照光とを干渉させ、その干渉光の光強度をヘテロダイン検波により測定し、光断層情報を取得するものであり、参照光の光路上に配置した可動ミラー等を微少移動させ、参照光の光路長を僅かに変化させることにより、参照光の光路長と測定光の光路長が一致した被照射部位の所定の深度での情報を得ることができる。また測定光を照射する部位を僅かにずらしながら、測定を繰り返すことにより、所定の領域の光断層画像を取得することができる(例えば非特許文献1参照)。
このようなOCT装置を使用すれば、早期癌の深達度診断なども可能となるため、内視鏡装置の鉗子口に挿入可能なOCTプローブにより測定光および測定光の反射光を導光して、体腔内の光断層画像を取得する方法の開発が進められている(例えば特許文献1参照)。この特許文献1には、測定光を導光する光ファイバと、この光ファイバの先端に配設され、測定光を直角に反射するミラーを備えたOCTプローブを内視鏡の鉗子口を介して体腔内に挿入し、先端のミラーを回転させることにより、体腔壁の光断層画像を表示するOCT装置が記載されている。
このようなOCT装置では、被照射部位における光損失を抑制するために、測定光として近赤外光が使用されることが多いが、近赤外光は視認できないため、例えばHe−Neレーザ光等の可視光を同軸上に重畳して、エイミング光として使用している。
また、レーザ治療機の分野においても、例えばYAGレーザ光等の近赤外光が使用され、やはり可視光がエイミング光として使用されている。
OPTICS LETTER Vol.24,No19 P1358〜P1360 by Andrew M Rollins and Rujchai Ung-arunyawee 特開2002−200037
近年、実用に当たって、光断層画像取得装置等の近赤外光照射装置の小型化および構成の簡素化が望まれているが、エイミング光を近赤外光と同軸上に重畳するためには、光路上にダイクロイックミラー等の光学素子あるいは合波用のカプラー等を配置する必要があり、近赤外光照射装置の小型化および簡素化が妨げられるという問題がある。一方、エイミング光がない場合には、近赤外光の照射部位を視認できないという問題がある。
本発明は上記問題に鑑みてなされたものであり、エイミング光を備えていない近赤外光照射装置と組合わせた場合であっても、近赤外光の照射部位を視認可能な電子内視鏡装置を提供することを目的とするものである。
本発明の電子内視鏡装置は、近赤外光を被照射部位へ照射する近赤外光照射装置と組合わせて使用する電子内視鏡装置において、
被照射部位を含む被観察部へ前記近赤外光を含まない白色の照明光を照射する照明手段と、
前記近赤外光および前記照明光が照射された被観察部の光像をR(赤)成分と、G(緑)成分と、B(青)成分と、IR(近赤外)成分とに色分離するフィルタ手段と、
前記フィルタ手段により色分離された光像を撮像する撮像手段と、
前記R成分に基いたR画像信号と、前記G成分に基いたG画像信号と、前記B成分およびIR成分に基づいたB+IR画像信号とからRGBカラー画像信号を生成するカラー画像信号生成手段とを有することを特長とするものである。
なお、ここで「近赤外光」とは、波長が800nm以上2500nm以下の光を意味している。また、RGBカラー画像信号とは、R画像信号に基いたRカラー画像信号と、G画像信号に基いたGカラー画像信号とB+IR画像信号に基いたBカラー画像信号とを意味している。
また、フィルタ手段は、R成分を透過するRフィルタと、G成分を透過するGフィルタと、B成分を透過するBフィルタと、IR成分を透過するIRフィルタとからなるものであってもよいし、R成分を透過するRフィルタと、G成分を透過するGフィルタと、B成分およびIR成分を透過するB+IRフィルタとからなるものであってもよい。
前記カラー画像信号生成手段は、前記R画像信号と、前記G画像信号と、前記B+IR画像信号とに数値データ処理を施して、B+IR画像信号が強調されたRGBカラー画像信号を生成するものであってもよい。
本発明の他の電子内視鏡装置は、近赤外光を被照射部位へ照射する近赤外光照射装置と組合わせて使用する電子内視鏡装置において、
被照射部位を含む被観察部へ前記近赤外光を含まない白色の照明光を照射する照明手段と、
前記近赤外光および前記照明光が照射された被観察部の光像をR(赤)成分と、G(緑)成分と、B(青)成分とIR(近赤外)成分とに色分離するフィルタ手段と、
前記フィルタ手段により色分離された光像を撮像する撮像手段と、
前記R成分に基いたR画像信号と、前記G成分およびIR成分に基いたG+IR画像信号と、前記B成分に基づいたB画像信号とからRGBカラー画像信号を生成するカラー画像信号生成手段とを有することを特長とするものである。
なお、ここで「近赤外光」とは、波長が800nm以上2500nm以下の光を意味している。また、RGBカラー画像信号とは、R画像信号に基いたRカラー画像信号と、G+IR画像信号に基いたGカラー画像信号とB画像信号に基いたBカラー画像信号とを意味している。
フィルタ手段は、R成分を透過するRフィルタと、G成分を透過するGフィルタと、B成分を透過するBフィルタと、IR成分を透過するIRフィルタとからなるものであってもよいし、R成分を透過するRフィルタと、G成分およびIR成分を透過するG+IRフィルタと、B成分を透過するBフィルタとからなるものであってもよい。
前記カラー画像信号生成手段は、前記R画像信号と、前記G+IR画像信号と、前記B画像信号とに数値データ処理を施して、G+IR画像信号が強調されたRGBカラー表示画像を生成するものであってもよい。
本発明のさらに他の電子内視鏡装置は、近赤外光を被照射部位へ照射する近赤外光照射装置と組合わせて使用する電子内視鏡装置において、
被照射部位を含む被観察部へ前記近赤外光を含まない白色の照明光を照射する照明手段と、
前記近赤外光および前記照明光が照射された被観察部の光像をR(赤)成分と、G(緑)成分と、B(青)成分とIR(近赤外)成分とに色分離するフィルタ手段と、
前記フィルタ手段により色分離された光像を撮像する撮像手段と、
前記R成分およびIR成分に基いたR+IR画像信号と、前記G成分に基いたG画像信号と、前記B成分に基づいたB画像信号とからRGBカラー画像信号を生成するカラー画像信号生成手段とを有することを特長とするものである。
なお、ここで「近赤外光」とは、波長が800nm以上2500nm以下の光を意味している。また、RGBカラー画像信号とは、R+IR画像信号に基いたRカラー画像信号と、G画像信号に基いたGカラー画像信号とB画像信号に基いたBカラー画像信号とを意味している。
フィルタ手段は、R成分を透過するRフィルタと、G成分を透過するGフィルタと、B成分を透過するBフィルタと、IR成分を透過するIRフィルタとからなるものであってもよいし、R成分およびIR成分を透過するR+IRフィルタと、G成分を透過するGフィルタと、B成分を透過するBフィルタとからなるものであってもよい。
また、前記カラー画像信号生成手段は、前記R+IR画像信号と、前記G画像信号と、前記B画像信号とに数値データ処理を施して、R+IR画像信号が強調されたRGBカラー表示画像を生成するものであってもよい。
上記各電子内視鏡装置に組み合わされる前記近赤外光照射装置は、近赤外光を被照射部位へ照射し、該被照射部位の所定深度からの反射光に基づいて、被照射部位の光断層画像を取得する光断層画像取得装置であってもよい。
なお、上記各電子内視鏡装置において、フィルタ手段は、原色系のフィルタ手段に限定されるものではなく、補色系のフィルタ手段であってもよい。
本発明による電子内視鏡装置においては、被観察部の光像をR(赤)成分と、G(緑)成分と、B(青)成分と、IR(近赤外)成分とに色分離し、R成分に基いたR画像信号と、G成分に基いたG画像信号と、B成分およびIR成分に基づいたB+IR画像信号とからRGBカラー画像信号を生成し、このRGBカラー画像信号に基づいたカラー画像を表示することにより、カラー画像内に、近赤外光の照射部位が青色に表示されるので、近赤外光照射装置がエイミング光を備えていない場合であっても、観察者は近赤外光の照射部位を視認することができる。
また、フィルタ手段が、R成分を透過するRフィルタと、G成分を透過するGフィルタと、B成分およびIR成分を透過するB+IRフィルタとからなるものであれば、フィルタ手段以外の構成は、既存の電子内視鏡装置の構成と同一にすることができ、安価に本発明の電子内視鏡装置を作成することができる。
前記カラー画像信号生成手段が、R画像信号と、G画像信号と、B+IR画像信号とに数値データ処理を施して、B+IR画像信号が強調されたRGBカラー画像信号を生成するものであれば、撮像手段のIR成分の撮像感度が良好でない場合であっても、近赤外光の照射部位を明瞭な青色に表示することができる。
本発明の他の電子内視鏡装置は、被観察部の光像をR(赤)成分と、G(緑)成分と、B(青)成分とIR(近赤外)成分とに色分離し、R成分に基いたR画像信号と、G成分およびIR成分に基いたG+IR画像信号と、B成分に基づいたB画像信号とからRGBカラー画像信号を生成し、該RGBカラー画像信号に基いたカラー画像を表示することにより、カラー画像内に、近赤外光の照射部位が緑色に表示されるので、近赤外光照射装置がエイミング光を備えていない場合であっても、観察者は近赤外光の照射部位を視認することができる。
また、フィルタ手段が、R成分を透過するRフィルタと、G成分およびIR成分を透過するG+IRフィルタと、B成分を透過するBフィルタとからなるものであれば、フィルタ手段以外の構成は、既存の電子内視鏡装置の構成と同一にすることができ、安価に本発明の電子内視鏡装置を作成することができる。
前記カラー画像信号生成手段が、R画像信号と、G+IR画像信号と、B画像信号とに数値データ処理を施して、G+IR画像信号が強調されたRGBカラー表示画像を生成するものであれば、撮像手段のIR成分の撮像感度が良好でない場合であっても、近赤外光の照射部位を明瞭な緑色に表示することができる。
本発明のさらに他の電子内視鏡装置は、被観察部の光像をR(赤)成分と、G(緑)成分と、B(青)成分とIR(近赤外)成分とに色分離し、R成分およびIR成分に基いたR+IR画像信号と、G成分に基いたG画像信号と、B成分に基づいたB画像信号とからRGBカラー画像信号を生成し、該RGBカラー画像信号に基いたカラー画像を表示することにより、カラー画像内に、近赤外光の照射部位が赤色に表示されるので、近赤外光照射装置がエイミング光を備えていない場合であっても、観察者は近赤外光の照射部位を視認することができる。
また、フィルタ手段が、R成分およびIR成分を透過するR+IRフィルタと、G成分を透過するGフィルタと、B成分を透過するBフィルタとからなるものであれば、フィルタ手段以外の構成は、既存の電子内視鏡装置の構成と同一にすることができ、安価に本発明の電子内視鏡装置を作成することができる。
前記カラー画像信号生成手段が、R+IR画像信号と、G画像信号と、B画像信号とに数値データ処理を施して、R+IR画像信号が強調されたRGBカラー表示画像を生成するものであれば、撮像手段のIR成分の撮像感度が良好でない場合であっても、近赤外光の照射部位を明瞭な赤色に表示することができる。
以下、本発明の具体的な実施の形態について図面を用いて説明する。まず、本発明の実施形態である電子内視鏡装置について図1を参照して説明する。本電子内視鏡装置は、光断層画像取得装置と組合わせて使用されるものである。
電子内視鏡装置は、被検者の体腔1内に挿入される内視鏡の挿入部10と、生体の体腔1内の観察部のカラー画像2を取得する観察部画像取得部11と、カラー画像を表示するモニタ12とを備えている。また、光断層画像取得装置は、体腔1内の測定領域3の光断層画像を取得するOCT取得部13と、電子内視鏡の挿入部10に設けられた鉗子口71に挿入されるOCTプローブ14と、光断層画像取得動作を制御するOCT制御部15と光断層画像4を表示するモニタ16とを備えている。
挿入部10は、挿入部10内を貫通する鉗子口71と、内部に先端まで延びるCCDケーブル72とライトガイド73とを備えている。CCDケーブル72の先端には、モザイクフィルタ78がオンチップされたCCD撮像素子74が接続されている。ライトガイド73の先端部、すなわち挿入部10の先端部には、照明レンズ75が備えられている。また挿入部10の先端部には撮像レンズ76が備えられ、この撮像レンズ76の内側にはプリズム77が設けられている。
モザイクフィルタ78は、600nm〜750nmの波長帯域の光を透過するRフィルタ78aと、500nm〜600nmの波長帯域の光を透過するGフィルタ78bと、400nm〜500nmおよび950nm〜1100nmの波長帯域の光を透過するB+IRフィルタ78cが、図2に示すようなパターンで配置されている。なお、図3に各フィルタの透過特性を記載する。
ライトガイド73は、観察部画像取得部11へ接続されている。観察部画像取得部11は、観察部画像撮像用の白色光L6を発する白色光源81と、CCD撮像素子74で撮像された画像信号に基いて、RGBカラー画像信号を生成する画像処理部83と、該画像処理部83から出力されたRGBカラー画像信号をビデオ信号に変換してモニタ12へ出力するビデオ信号処理回路85とを備えている。なお、画像処理部83は、本発明のカラー画像信号生成手段として機能するものである。
白色光源81は、波長680nm以上の光はカットフィルタによりカットされた白色光を発する光源である。また、画像処理部83は、Rフィルタ78aを透過して撮像されたR画像信号と、Gフィルタ78bを透過して撮像されたG画像信号と、B+IRフィルタを透過して撮像されたB+IR画像信号とにマトリクス演算を施し、Rカラー画像信号、Gカラー画像信号およびBカラー画像信号からなるRGBカラー画像信号を生成し、表示画像用メモリ84へ記憶し、表示タイミングに合わせてRカラー画像信号、Gカラー画像信号およびBカラー画像信号を同期をとって出力するものである。ビデオ信号処理回路85では、Rカラー画像信号、Gカラー画像信号およびBカラー画像信号をビデオ信号に変換し、モニタ12へ出力する。モニタ12には、カラー画像が表示される。なお、画像処理部83におけるマトリクス演算は、R画像信号およびG画像信号に比べ、B+IR画像信号を強調するようにマトリクスの係数が予め設定されている。
OCT取得部13は、中心波長1.0μmで、コヒーレンス長が20μmである低コヒーレンス光L1を出射する光源部100 と、低コヒーレンス光L1の参照光L3および測定光L4への分割および合波を行うファイバ結合光学系120 と、参照光L3の光路上に配され、参照光L3の光路長を変化させる光路長変更部130 と、測定領域3の測定点で反射された測定光L4’と参照光L3との干渉光L5の光強度を検出するバランス差分検出部150 と、該バランス差分検出部150 で検出された干渉光L5の光強度から測定領域3の測定点で反射された測定光L4’の強度を求めるヘテロダイン検出を行い、光断層画像データを生成する信号処理部160 とを備えている。
OCT取得部13の光源部100 は、低コヒーレンス光L1を射出するSLD(Super Luminescent Diode) 101 と、該SLD101 から射出された低コヒーレンス光L1を集光するレンズ102 とを備えている。
ファイバ結合光学系120 は、光源部100 から出射された低コヒーレンス光L1を測定光L4と参照光L3とに分割し、また、測定光L4の測定領域3からの反射である測定光L4’と参照光L3を合波し、干渉光L5を得るファイバカプラ121 と、光源部100 とファイバカプラ121 の間に設けられるファイバカプラ122 と、参照光L3に僅かな周波数シフトを生じさせるピエゾ素子124 と、光源部100 とファイバカプラ122 を繋ぐファイバ125 と、ファイバカプラ121 および122 を介して光路長変更部130 とバランス差分検出部150 を繋ぐファイバ127 と、ファイバカプラ121 を介してOCTプローブ14とバランス差分検出部150 を繋ぐファイバ128 とを備えている。なお、ファイバ125 、127 および128 はシングルモード光ファイバである。
光路長変更部130 は、プリズム132 と、ファイバ127 から射出された参照光L3を平行光に変換してプリズム132 へ入射させ、またプリズム132 で反射された参照光L3をファイバ127 へ入射させるレンズ131 と、プリズム132 を図1における水平方向への移動させることにより参照光L3の光路長を変化させるプリズム移動部133 とを備えている。プリズム移動部133 は、OCT制御部15の制御により動作するものである。
バランス差分検出部150 は、干渉光L5の光強度を測定する光検出器151 および152 と、光検出器151 の検出値と光検出器152 の検出値の入力バランスを調整し、ノイズ成分やドリフト成分を相殺した上で、差分を増幅する差動増幅器153 とを備えている。
OCTプローブ14は、挿入部10の鉗子口71に挿入可能な被覆管173 と該被覆管173 の中を貫通し、該被覆管173に対して回転可能な回転シース174と、該回転シース174の中を貫通するファイバ172 と、回転シース174へ固定された集光レンズ系175 と、集光レンズ系175 のさらに先端部、回転シース174の先端部に設けられた測定光L4および測定光L4’を直角に反射するミラー176 とを備えている。なお、被覆管173 および回転シース174の先端部は、測定光L4に対して透明である。また、また被覆管173 および回転シース174の根本部分には、回転シース174を回転させるセンターレスモータ184 および被覆管173 をスライドさせるプローブ移動部185 が取り付けられている。
OCT制御部15は、OCT取得部13の各部位に接続され、適宜各部位の動作タイミングを制御するものである。また、センターレスモータ184 およびプローブ移動部185の動作を制御して、測定光L4の照射位置および測定光L4の照射方向の回転を制御するものである。
次に本発明の第1の具体的な実施の形態である電子内視鏡装置の動作について説明する。観察者は電子内視鏡装置の挿入部10を被験者の体腔内に挿入し、観察部画像2をモニタ12に表示する。この際には、先ず観察部画像取得部11の白色光源81から出力される白色光L6は、レンズ82 によってライトガイド73 に入射され、挿入部10 の先端まで導光された後、照明レンズ75 から体腔1内へ照射される。白色光L6の反射光L7は撮像レンズ76 によって集光され、プリズム77 に反射して、モザイクフィルタ78により各色成分へ分離されて、CCD撮像素子74上に結像する。CCD撮像素子74で光電変換されたR,GおよびB+IR画像信号は、CCDケーブル72を介して画像処理部83に出力される。また、予め、OCTプローブ14を挿入部10の鉗子口71へ挿入しておく。モニタ12 に表示された観察部画像2を観察しながら、挿入部10の先端を移動させ、光断層画像を取得する部位の近傍に達したところで、OCT装置の光源部100 から低コヒーレンス光L1を射出させる。
低コヒーレンス光L1は、レンズ102 により集光されファイバ125 に導入される。さらに、低コヒーレンス光L1は、ファイバ125、ファイバカプラ122 、ファイバ127を介して導光され、ファイバカプラ121 において、参照光L3と測定光L4とに分割される。測定光L4は、ファイバ128 を介して導光され、レンズ171 により、ファイバ172 に導入される。ファイバ172 から射出した測定光L4は、レンズ175 により集光され、ミラー176 で反射されて、体腔1内にスポット光として照射される。なお、測定光L4の波長は、上述のように1.0μmであるため、肉眼では測定光L4の照射部位を視認することはできない。
ここでCCD撮像素子74には、図2に示すような600nm〜750nmの波長帯域の光を透過するRフィルタ78aと、500nm〜600nmの波長帯域の光を透過するGフィルタ78bと、400nm〜500nmおよび950nm〜1100nmの波長帯域の光を透過するB+IRフィルタ78cとが配置されたモザイクフィルタ78がオンチップで形成されている。
したがって、白色光L6の反射光のうち、600nm〜750nmの波長帯域の赤(R)成分は、Rフィルタ78aと透過し、500nm〜600nmの波長帯域の緑(G)成分は、Gフィルタ78bを透過し、400nm〜500nmの波長帯域に青(B)成分は、B+IRフィルタ78cを透過する。またIR光である測定光L4の反射光である測定光L4’も、B+IRフィルタ78cを透過する。
CCD撮像素子74では、各フィルタに対応する光像を光電変換し、画像処理部83へ出力する。画像処理部83では、まずCCD撮像素子74で撮像された信号の相関二重サンプリング、クランプ、ブランキング、増幅等のプロセス処理を行い、その後Rフィルタ78aを透過して撮像されたR画像信号と、Gフィルタ78bを透過して撮像されたG画像信号と、B+IRフィルタを透過して撮像されたB+IR画像信号とにマトリクス演算を施し、表示用の、Rカラー画像信号、Gカラー画像信号およびBカラー画像信号からなるRGBカラー画像信号を生成し、表示画像用メモリ84へ記憶し、表示タイミングに合わせてRGBカラー画像信号を出力する。なお、画像処理部83におけるマトリクス演算は、R画像信号の強度およびG画像信号の強度に比べ、B+IR画像信号の強度が増加するようにマトリクスの係数が予め設定されている。また、画像処理部83における画像信号処理動作は、このマトリクス演算処理を除けば、通常の電子内視鏡において、通常のRGBフィルタを用いて取得したRGB画像信号からRGBカラー画像信号を作成する動作と同様である。
ビデオ信号処理回路85では、Rカラー画像信号、Gカラー画像信号およびBカラー画像信号をビデオ信号に変換し、モニタ12へ出力する。モニタ12には、カラー画像2が表示される。
カラー画像2内に、測定光L4の照射部位が青色に表示されるので、観察者は測定光L4の照射部位を視認することができる。
次に、光断層画像4を取得する際の動作について説明する。光断層画像取得の際には、観察者は、モニタ12 に表示された観察部のカラー画像2を観察しながら、光断層画像を取得する部位を決定する。
説明を簡単にするために、最初に測定光L4が照射された測定領域内の所定部位(以下被照射部位と記載)の測定点における光断層情報の測定方法について説明し、その後で上記光断層画像の取得方法について説明する。低コヒーレンス光L1がSLD101 から射出される。ファイバ125 およびファイバ127 を透過し、ファイバカプラ121 で、ファイバ127 内を光路長変更部130 の方向へ進行する参照光L3と、ファイバ128 内をOCTプローブ14の方向へ進行する測定光L4とに分割される。参照光L3は光路上に設けられたピエゾ素子124 により変調され、参照光L3と測定光L4には、僅かな周波数差△fが生じる。
測定光L4はファイバ128 から、レンズ171 を介してOCTプローブ14のファイバ172 内へ導光される。ファイバ172 から射出された測定光L4は、レンズ系175 およびミラー176 を経て体腔1内の被照射部位へ照射される。被照射部位へ照射された測定光L4のうち被照射部位の表面および内部で反射された測定光L4’は、ミラー176 、レンズ系175 、ファイバ172 およびレンズ171 を経て、ファイバ128 に帰還せしめられる。ファイバ128 に帰還せしめられた測定光L4’は、ファイバカプラ121 において、後述するファイバ127 に帰還せしめられた参照光L3と合波される。
一方、ピエゾ素子124 で変調された後の参照光L3は、ファイバ127 を通過し光路長変更部130 のレンズ131 を介して、プリズム132 に入射し、このプリズム132 で反射され再度レンズ131 を透過して、ファイバ127 に帰還せしめられる。ファイバ127 に帰還せしめられた参照光L3はファイバカプラ121 で、上述した測定光L4’と合波される。
ファイバカプラ121 で合波された測定光L4’および参照光L3は、再び同軸上に重なることになり所定の条件の時に測定光L4’と参照光L3が干渉し、干渉光L5となり、ビート信号を発生する。
参照光L3および測定光L4’は、可干渉距離の短い低コヒーレンス光L1であるため、低コヒーレンス光L1が測定光L4と参照光L3に分割されたのち、測定光L4(L4’) がファイバカプラ121に到達するまでの光路長が、参照光L3がファイバカプラ121 に到達するまでの光路長に等しい場合、すなわち測定光L4’が測定点で反射されたものである場合、に両光が干渉し、この干渉する両光の周波数差(△f)で強弱を繰り返すビート信号が発生する。なお、OCT制御部15は、予め所望の測定点で反射した測定光L4(L4’)の光路長と参照光L3の光路長とが等しくなるように、光路長変更部130 のプリズム移動部133 を制御している。
干渉光L5は、ファイバカプラ121 で分割され、一方は、ファイバ127 を経てバランス差分検出部150 の光検出器151 に入力され、他方はファイバ128 を経て光検出器152 に入力される。
光検出器151 および152 では、干渉光L5から上記ビート信号の光強度を検出し、差動増幅器153 で、光検出器151 の検出値と光検出器152 の検出値の差分を求め、信号処理部160 へ出力する。なお、差動増幅器153 は、その入力値の直流成分のバランスを調整する機能を備えているため、たとえ光源部100 から出射された低コヒーレンス光L1にドリフトが生じている場合でも、直流成分のバランスを調整した上で差分を増幅することにより、ドリフト成分は相殺され、ビート信号成分のみが検出される。
上記の動作により、体腔1内の被照射領域の所定深度における断層情報が取得される。このような動作を、測定光L4の照射方向を回転させながら、光軸方向と略垂直な方向の測定点の位置が略5μm移動する毎にビート信号成分の検出を繰り返すことにより、測定光L4の照射方向の回転中心、すなわちミラー176 の中心から等距離にある測定領域3の測定点の情報を5μm間隔で取得することができる。
OCT制御部15は、センターレスモータ184を制御してミラー176を回転させ、測定光L4の照射方向を1回転させた後、光路長変更部130 のプリズム移動部133 を制御して、参照光L3の光路長を5μm長くする。この状態で測定光L4の照射方向を回転させながら、再度5μm間隔で測定点の情報を取得することにより、最初に測定した測定点A’より5μm外側の測定点の情報を取得する。同様に、5μm間隔で400回転の測定点の情報を取得すれば、測定領域3に沿った2mm幅のリング状の領域内の測定点の情報を取得することができる。
信号処理部160 では、バランス差分検出部150 で検出された干渉光L5の光強度から各測定点の所定の面で反射された測定光L4’の強度を求めるヘテロダイン検出を行い、光断層画像に変換し、モニタ16に出力する。
モニタ16には、図1に示すような、体腔1を輪切り状態にした2mm幅のリング状の光断層画像4が表示される。
以上の説明で明らかなように、光断層画像取得装置がエイミング光を備えていない場合であっても、カラー画像2内に、測定光L4の照射部位が青色に表示されるので、観察者は測定光L4の照射部位を視認することができる。
また、モザイクフィルタ78が、R成分を透過するRフィルタ78aと、G成分を透過するGフィルタ78bと、B成分およびIR成分を透過するB+IRフィルタ78cとからなるため、モザイクフィルタ78以外の構成は、既存の電子内視鏡装置の構成とほぼ同一にすることができ、安価に本発明の電子内視鏡装置を作成することができる。
画像処理部83では、R画像信号と、G画像信号と、B+IR画像信号とにマトリクス演算処理を施して、B+IR画像信号が強調されたRGBカラー画像信号を生成するものであれば、撮像手段のIR成分の撮像感度が良好でない場合であっても、近赤外光の照射部位を明瞭な青色に表示することができる。
なお、本実施の形態の変形例として、モザイクフィルタ78の代わりに図4Aに示すような600nm〜750nmの波長帯域の光を透過するRフィルタ61aと、500nm〜600nmの波長帯域の光および950nm〜1100nmの波長帯域の光を透過するG+IRフィルタ61bと、400nm〜500nmの波長帯域の光を透過するBフィルタ61cとが配置されたモザイクフィルタ61を使用したものも考えられる。この場合、画像処理部では、R画像信号と、G+IR画像信号と、B画像信号とにマトリクス演算処理を施して、G+IR画像信号が強調された表示画像信号を生成すればよい。このような構成により、撮像手段のIR成分の撮像感度が良好でない場合であっても、近赤外光の照射部位を明瞭な緑色に表示することができる。
なお、本実施の形態の他の変形例として、モザイクフィルタ78の代わりに図4Bに示すような600nm〜750nmの波長帯域の光および950nm〜1100nmの波長帯域の光を透過するR+IRフィルタ64aと、500nm〜600nmの波長帯域の光を透過するGフィルタ64bと、400nm〜500nmの波長帯域の光を透過するBフィルタ64cとが配置されたモザイクフィルタ64を使用したものも考えられる。この場合、画像処理部では、R+IR画像信号と、G画像信号と、B画像信号とにマトリクス演算処理を施して、R+IR画像信号が強調された表示画像信号を生成すればよい。このような構成により、撮像手段のIR成分の撮像感度が良好でない場合であっても、近赤外光の照射部位を明瞭な赤色に表示することができる。
さらに、本実施の形態の他の変形例として、モザイクフィルタ78の代わりに図5に示すような、4枚の微少フィルタから構成されるモザイクフィルタ62を用いた電子内視鏡装置も考えられる。モザイクフィルタ62は、600nm〜750nmの波長帯域の光を透過するRフィルタ62aと、500nm〜600nmの波長帯域の光を透過するGフィルタ62bと、400nm〜500nm波長帯域の光を透過するBフィルタ62cと、950nm〜1100nmの波長帯域の光を透過するIRフィルタ62dとが、図5に示すようなパターンで配置されている。
この場合には、画像処理部では、まずRフィルタ62aを透過して撮像されたR画像信号と、Gフィルタ62bを透過して撮像されたG画像信号と、Bフィルタ62cを透過して撮像されたB画像信号とIRフィルタ62dを透過して撮像された画像信号とを加算したB+IR画像信号を作成すればよい。
あるいは、Rフィルタ62aを透過して撮像されたR画像信号と、Gフィルタ62bを透過して撮像されたG画像信号とIRフィルタ62dを透過して撮像された画像信号とを加算したG+IR画像信号と、Bフィルタ62cを透過して撮像されたB画像信号とを作成してもよい。
または、Rフィルタ62aを透過して撮像されたR画像信号とIRフィルタ62dを透過して撮像された画像信号とを加算したR+IR画像信号と、Gフィルタ62bを透過して撮像されたG画像信号と、Bフィルタ62cを透過して撮像されたB画像信号とを作成してもよい。
本実施の形態のさらに他の変形例として、モザイクフィルタ78の代わりに図6に示すような、4枚の補色系の微少フィルタから構成されるモザイクフィルタ63を用いた電子内視鏡装置も考えられる。モザイクフィルタ63は、R+Gの波長帯域の光を透過するMgフィルタ63aと、B+Gの波長帯域の光を透過するCyフィルタ62bと、R+Gの光を透過するYeフィルタ63cと、950nm〜1100nmの波長帯域の光を透過するIRフィルタ63dとが、図6に示すようなパターンで配置されている。
この場合には、画像処理部では、まずMgフィルタ63aを透過したMg画像信号と、Cyフィルタ62bを透過したCy画像信号と、Yeフィルタ63cを透過したYe画像信号とからR画像信号、G画像信号およびB画像信号を算出し、その後でB画像信号とIRフィルタを透過したIR画像信号とを加算したB+IR画像信号またはG画像信号とIR画像信号とを加算したG+IR画像信号を作成すればよい。
なお、上記のように4枚の微少フィルタを用いる場合には、各フィルタの作成が容易であること、またB画像信号あるいはG画像信号と加算する前に、IR画像信号のみを増幅することも可能になるなどの効果が得られる。
なお、本実施の形態では、モザイクフィルタを用いた電子内視鏡について説明したが、これに限定されるものではなく、本発明は、CCDの前面へ、3枚あるいは4枚のフィルタが回転して順次配置される面順次方式の電子内視鏡にも適用可能である。
また、IR成分を取得するためのフィルタの波長帯域の上限は限定される必要はない。波長帯域は、照明光の波長帯域を含まないように下限が設定され、かつ光断層画像取得装置等の近赤外光照射装置から射出される近赤外光の波長帯域を含むものであればよく、本実施の形態にように、上限が1100nm程度であってもよいし、あるいは上限は数μm以上の赤外領域であってもよい。
本発明による第1の実施の形態である電子内視鏡装置の概略構成図 モザイクフィルの説明図 モザイクフィルの透過波長帯域の説明図 モザイクフィルタの説明図 モザイクフィルタの説明図 モザイクフィルタの説明図
符号の説明
1 体腔
2 カラー画像
3 測定領域
4 光断層画像
10 挿入部
11 観察部画像取得部
12,16 モニタ
13 OCT取得部
14 OCTプローブ
15 OCT制御部
71 鉗子口
72 CCDケーブル
74 CCD撮像素子
81 照明光光源
83 画像処理部
84 ビデオ信号生成部
100 低コヒーレンス光源部
120 ファイバ結合光学系
130 光路長変更部
150 バランス差分検出部
160 信号処理部
172 ファイバ
173 被覆管
174 回転シース
175 集光レンズ系
176 ミラー
L1 低コヒーレンス光
L3 参照光
L4,L4 測定光
L5 干渉光
L6 照明光
L7 反射光

Claims (10)

  1. 近赤外光を被照射部位へ照射する近赤外光照射装置と組合わせて使用する電子内視鏡装置において、
    被照射部位を含む被観察部へ前記近赤外光を含まない白色の照明光を照射する照明手段と、
    前記近赤外光および前記照明光が照射された被観察部の光像をR(赤)成分と、G(緑)成分と、B(青)成分と、IR(近赤外)成分とに色分離するフィルタ手段と、
    前記フィルタ手段により色分離された光像を撮像する撮像手段と、
    前記R成分に基いたR画像信号と、前記G成分に基いたG画像信号と、前記B成分およびIR成分に基づいたB+IR画像信号とからRGBカラー画像信号を生成するカラー画像信号生成手段とを有することを特長とする電子内視鏡装置。
  2. 前記フィルタ手段がR成分を透過するRフィルタと、G成分を透過するGフィルタと、B成分およびIR成分を透過するB+IRフィルタとからなることを特徴とする請求項1記載の電子内視鏡装置。
  3. 前記カラー画像信号生成手段が、前記R画像信号と、前記G画像信号と、前記B+IR画像信号とに数値データ処理を施して、B+IR画像信号が強調されたRGBカラー画像信号を生成するものであることを特徴とする請求項1または2記載の電子内視鏡装置。
  4. 近赤外光を被照射部位へ照射する近赤外光照射装置と組合わせて使用する電子内視鏡装置において、
    被照射部位を含む被観察部へ前記近赤外光を含まない白色の照明光を照射する照明手段と、
    前記近赤外光および前記照明光が照射された被観察部の光像をR(赤)成分と、G(緑)成分と、B(青)成分とIR(近赤外)成分とに色分離するフィルタ手段と、
    前記フィルタ手段により色分離された光像を撮像する撮像手段と、
    前記R成分に基いたR画像信号と、前記G成分およびIR成分に基いたG+IR画像信号と、前記B成分に基づいたB画像信号とからRGBカラー画像信号を生成するカラー画像信号生成手段とを有することを特長とする電子内視鏡装置。
  5. 前記フィルタ手段がR成分を透過するRフィルタと、G成分およびIR成分を透過するG+IRフィルタと、B成分を透過するBフィルタとからなることを特徴とする請求項4記載の電子内視鏡装置。
  6. 前記カラー画像信号生成手段が、前記R画像信号と、前記G+IR画像信号と、前記B画像信号とに数値データ処理を施して、G+IR画像信号が強調されたRGBカラー表示画像を生成するものであることを特徴とする請求項4または5記載の電子内視鏡装置。
  7. 近赤外光を被照射部位へ照射する近赤外光照射装置と組合わせて使用する電子内視鏡装置において、
    被照射部位を含む被観察部へ前記近赤外光を含まない白色の照明光を照射する照明手段と、
    前記近赤外光および前記照明光が照射された被観察部の光像をR(赤)成分と、G(緑)成分と、B(青)成分とIR(近赤外)成分とに色分離するフィルタ手段と、
    前記フィルタ手段により色分離された光像を撮像する撮像手段と、
    前記R成分およびIR成分に基いたR+IR画像信号と、前記G成分に基いたG画像信号と、前記B成分に基づいたB画像信号とからRGBカラー画像信号を生成するカラー画像信号生成手段とを有することを特長とする電子内視鏡装置。
  8. 前記フィルタ手段がR成分およびIR成分を透過するR+IRフィルタと、G成分を透過するGフィルタと、B成分を透過するBフィルタとからなることを特徴とする請求項7記載の電子内視鏡装置。
  9. 前記カラー画像信号生成手段が、前記R+IR画像信号と、前記G画像信号と、前記B画像信号とに数値データ処理を施して、R+IR画像信号が強調されたRGBカラー表示画像を生成するものであることを特徴とする請求項7または8記載の電子内視鏡装置。
  10. 前記近赤外光照射装置が、近赤外光を被照射部位へ照射し、該被照射部位の所定深度からの反射光に基づいて、被照射部位の光断層画像を取得する光断層画像取得装置である事を特徴とする請求項1から9いずれか1項記載の電子内視鏡装置。
JP2005283500A 2005-09-29 2005-09-29 電子内視鏡装置 Expired - Fee Related JP4799109B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005283500A JP4799109B2 (ja) 2005-09-29 2005-09-29 電子内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005283500A JP4799109B2 (ja) 2005-09-29 2005-09-29 電子内視鏡装置

Publications (2)

Publication Number Publication Date
JP2007089840A true JP2007089840A (ja) 2007-04-12
JP4799109B2 JP4799109B2 (ja) 2011-10-26

Family

ID=37976181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005283500A Expired - Fee Related JP4799109B2 (ja) 2005-09-29 2005-09-29 電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP4799109B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098112A (ja) * 2007-09-28 2009-05-07 Fujifilm Corp 光ロータリアダプタおよびこれを用いる光断層画像化装置
JP2009135907A (ja) * 2007-11-09 2009-06-18 Fujifilm Corp 撮像デバイスおよび撮像システム
JP2013163027A (ja) * 2008-03-18 2013-08-22 Novadaq Technologies Inc 組み合わされたフルカラー反射および近赤外線画像化のための画像化システム
US9113814B2 (en) 2011-02-25 2015-08-25 Samsung Electronics Co., Ltd. Endoscope apparatus capable of providing narrow band imaging and image processing method of the endoscope apparatus
US9814378B2 (en) 2011-03-08 2017-11-14 Novadaq Technologies Inc. Full spectrum LED illuminator having a mechanical enclosure and heatsink
US10694152B2 (en) 2006-12-22 2020-06-23 Novadaq Technologies ULC Imaging systems and methods for displaying fluorescence and visible images
US10729310B2 (en) 2016-12-02 2020-08-04 Olympus Corporation Endoscope image processing devices
US10750929B2 (en) 2015-03-19 2020-08-25 Olympus Corporation Endoscope device for generating color superimposed image
CN111918004A (zh) * 2020-09-16 2020-11-10 Oppo广东移动通信有限公司 图像传感器、终端、数据处理方法、装置及存储介质
US10869645B2 (en) 2016-06-14 2020-12-22 Stryker European Operations Limited Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
US10980420B2 (en) 2016-01-26 2021-04-20 Stryker European Operations Limited Configurable platform
US10992848B2 (en) 2017-02-10 2021-04-27 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
US11930278B2 (en) 2015-11-13 2024-03-12 Stryker Corporation Systems and methods for illumination and imaging of a target
JP7457019B2 (ja) 2018-11-30 2024-03-27 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 医療撮像システム及び方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0430831A (ja) * 1990-05-25 1992-02-03 Olympus Optical Co Ltd 計測用内視鏡装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0430831A (ja) * 1990-05-25 1992-02-03 Olympus Optical Co Ltd 計測用内視鏡装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11770503B2 (en) 2006-12-22 2023-09-26 Stryker European Operations Limited Imaging systems and methods for displaying fluorescence and visible images
US11025867B2 (en) 2006-12-22 2021-06-01 Stryker European Operations Limited Imaging systems and methods for displaying fluorescence and visible images
US10694151B2 (en) 2006-12-22 2020-06-23 Novadaq Technologies ULC Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
US10694152B2 (en) 2006-12-22 2020-06-23 Novadaq Technologies ULC Imaging systems and methods for displaying fluorescence and visible images
JP2009098112A (ja) * 2007-09-28 2009-05-07 Fujifilm Corp 光ロータリアダプタおよびこれを用いる光断層画像化装置
JP2009135907A (ja) * 2007-11-09 2009-06-18 Fujifilm Corp 撮像デバイスおよび撮像システム
US9642532B2 (en) 2008-03-18 2017-05-09 Novadaq Technologies Inc. Imaging system for combined full-color reflectance and near-infrared imaging
JP2016064150A (ja) * 2008-03-18 2016-04-28 ノバダック テクノロジーズ インコーポレイテッド 組み合わされたフルカラー反射および近赤外線画像化のための画像化システム
US9173554B2 (en) 2008-03-18 2015-11-03 Novadaq Technologies, Inc. Imaging system for combined full-color reflectance and near-infrared imaging
US10779734B2 (en) 2008-03-18 2020-09-22 Stryker European Operations Limited Imaging system for combine full-color reflectance and near-infrared imaging
JP2013163027A (ja) * 2008-03-18 2013-08-22 Novadaq Technologies Inc 組み合わされたフルカラー反射および近赤外線画像化のための画像化システム
US9113814B2 (en) 2011-02-25 2015-08-25 Samsung Electronics Co., Ltd. Endoscope apparatus capable of providing narrow band imaging and image processing method of the endoscope apparatus
US9814378B2 (en) 2011-03-08 2017-11-14 Novadaq Technologies Inc. Full spectrum LED illuminator having a mechanical enclosure and heatsink
US10750929B2 (en) 2015-03-19 2020-08-25 Olympus Corporation Endoscope device for generating color superimposed image
US11930278B2 (en) 2015-11-13 2024-03-12 Stryker Corporation Systems and methods for illumination and imaging of a target
US11298024B2 (en) 2016-01-26 2022-04-12 Stryker European Operations Limited Configurable platform
US10980420B2 (en) 2016-01-26 2021-04-20 Stryker European Operations Limited Configurable platform
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
US10869645B2 (en) 2016-06-14 2020-12-22 Stryker European Operations Limited Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
US11756674B2 (en) 2016-06-14 2023-09-12 Stryker European Operations Limited Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
US10729310B2 (en) 2016-12-02 2020-08-04 Olympus Corporation Endoscope image processing devices
US10992848B2 (en) 2017-02-10 2021-04-27 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
US11140305B2 (en) 2017-02-10 2021-10-05 Stryker European Operations Limited Open-field handheld fluorescence imaging systems and methods
US12028600B2 (en) 2017-02-10 2024-07-02 Stryker Corporation Open-field handheld fluorescence imaging systems and methods
JP7457019B2 (ja) 2018-11-30 2024-03-27 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 医療撮像システム及び方法
CN111918004A (zh) * 2020-09-16 2020-11-10 Oppo广东移动通信有限公司 图像传感器、终端、数据处理方法、装置及存储介质

Also Published As

Publication number Publication date
JP4799109B2 (ja) 2011-10-26

Similar Documents

Publication Publication Date Title
JP4799109B2 (ja) 電子内視鏡装置
JP4864511B2 (ja) 電子内視鏡装置およびプログラム
JP4471163B2 (ja) 光断層画像取得装置
JP3842101B2 (ja) 内視鏡装置
US6636755B2 (en) Method and apparatus for obtaining an optical tomographic image of a sentinel lymph node
JP3819273B2 (ja) 画像化装置
JP5044126B2 (ja) 内視鏡観察装置および画像形成を行う内視鏡の作動方法
JP3869589B2 (ja) ファイババンドル及び内視鏡装置
US10805512B2 (en) Dual path endoscope
JP5314841B2 (ja) 内視鏡装置、及び内視鏡プローブ
US20100076304A1 (en) Invisible light irradiation apparatus and method for controlling invisible light irradiation apparatus
WO2017217498A1 (ja) 内視鏡用拡張装置
JP3869249B2 (ja) 光イメージング装置
JP2006026015A (ja) 光断層画像取得システム
JP2010051390A (ja) 光断層画像取得装置及び光断層画像取得方法
JP2010046216A (ja) 光断層画像取得装置及び光断層画像取得方法
KR101887033B1 (ko) 치아 구조/기능 영상을 위한 복합영상장치
JP2010051533A (ja) 光断層画像読み取り装置
KR102007361B1 (ko) 다채널 형광 내시경 장치 및 이를 이용한 영상 획득 제어 방법
WO2015045463A1 (ja) 内視鏡及び内視鏡システム
JP2010057740A (ja) 観測システム
JP2004073667A (ja) 光断層内視鏡装置
WO2010023983A1 (ja) 生体内観測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080416

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees