JP2001190489A - 蛍光撮像装置 - Google Patents

蛍光撮像装置

Info

Publication number
JP2001190489A
JP2001190489A JP2000007304A JP2000007304A JP2001190489A JP 2001190489 A JP2001190489 A JP 2001190489A JP 2000007304 A JP2000007304 A JP 2000007304A JP 2000007304 A JP2000007304 A JP 2000007304A JP 2001190489 A JP2001190489 A JP 2001190489A
Authority
JP
Japan
Prior art keywords
image
light
imaging
normal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000007304A
Other languages
English (en)
Other versions
JP4433347B2 (ja
Inventor
Katsumi Hayashi
克巳 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2000007304A priority Critical patent/JP4433347B2/ja
Priority to EP01100897A priority patent/EP1116473A3/en
Priority to US09/760,769 priority patent/US6573513B2/en
Publication of JP2001190489A publication Critical patent/JP2001190489A/ja
Application granted granted Critical
Publication of JP4433347B2 publication Critical patent/JP4433347B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera

Abstract

(57)【要約】 【課題】 照明光の照射および通常像の撮像と、励起光
の照射および蛍光像の撮像を、時分割で交互に行う蛍光
撮像装置において、通常像撮像時に蛍光撮像用の撮像素
子に入射する照明光の反射光により、蛍光像の撮像に支
障が生じることを防止し、また蛍光像撮像時に通常像撮
像用の撮像素子に入射する励起光の反射光と蛍光によ
り、通常像の撮像に支障が生じることを防止する。 【解決手段】 照明光L1を測定部10に照射し、反射光L2
からなる通常像を内視鏡先端に取り付けられたCCD撮
像素子108 で撮像して、モニタ170 上にカラー画像とし
て表示し、また測定部10に励起光L3を照射して、測定部
10から発せられた蛍光L4をイメージファイバ103により
蛍光像として取得し、CCD撮像素子125で撮像して疑
似カラー画像として表示する。撮像前に、各々のCCD
撮像素子に蓄積された不要電荷を、読み出してから捨て
るダミー読み出し動作で消去する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、励起光を照射され
た被測定部から発せられる蛍光からなる蛍光像および照
明光を照射された被測定部の反射光からなる通常像を撮
像する蛍光撮像装置に関するものである。
【0002】
【従来の技術】従来より、生体内在色素の励起波長領域
にある励起光を生体に照射した場合に、正常組織から発
せられた蛍光と病変組織から発せられた蛍光では、蛍光
スペクトルが異なることが知られている。図9には、発
明者等により測定された、励起光が照射された正常組織
から発せられた蛍光と病変組織から発せられた蛍光の代
表的な蛍光スペクトルが記載されている。すなわち、正
常組織から発せられた蛍光は、全体的に光強度が大き
く、特に青色波長帯域の光強度が大きく、病変組織から
発せられる蛍光は、全体的に光強度が小さく、平坦であ
る。これらの蛍光は、FAD、コラーゲン、ファイブロ
ネクチン、ポルフィリン、等の種々の生体内在色素から
の蛍光が重畳したものと推測されている。
【0003】正常組織と病変組織とでは、蛍光スペクト
ルが異なることを利用して、励起光を照射された生体の
測定部から発せられる蛍光を撮像し、カラー画像あるい
は疑似カラー画像として、モニタ上に表すことにより、
病変組織の局在・浸潤範囲を色彩変化として表示する装
置が提案されている。このような装置には、励起光を照
射された生体の測定部から発せられる蛍光を撮像する蛍
光撮像装置が搭載されている。
【0004】上記蛍光撮像装置は、通常、白色照明光を
測定部に照射する照明手段と、励起光を測定部に照射す
る励起光照射手段と、撮像を行う撮像手段とから構成さ
れ、図10に示すように、手動操作または所定時間間隔
で、白色光の照射と励起光の照射を切り換え、蛍光像ま
たは通常像の動画としてモニタ上に表示していた。
【0005】
【発明が解決しようとする課題】上記従来の蛍光撮像装
置では、モニタ上には、通常像または蛍光像のどちらか
一方が表示されるのみであるため、例えば、観察者が蛍
光像を観察中に病変組織を発見し、処置を施すために通
常像の撮像に切り換えた時に、病変組織の位置が判らな
くなってしまう場合があった。このような不便を無くす
ために、蛍光像と通常像をリアルタイムな動画像とし
て、同時にモニタ上に表示できる蛍光撮像装置の開発が
望まれている。
【0006】蛍光像と通常像の動画像を同時にモニタ上
に表示するためには、まず、通常像を撮像する通常撮像
手段と、蛍光像を撮像する蛍光撮像手段を別個に設け、
照明光の照射および通常像の撮像と、励起光の照射およ
び蛍光像の撮像を、時分割で交互に行うことが考えられ
る。
【0007】しかしながら、通常像と蛍光像の両方を動
画像として表示するためには、通常像の撮像と蛍光像の
撮像を短時間で切り換える必要があるため、機械的シャ
ッタ等の使用が難しく、照明光が照射され、通常撮像手
段において通常像が撮像されている間に、蛍光撮像手段
にも照明光の反射光が入射してしまうため、正常な蛍光
像の撮像が妨げられるという問題があった。
【0008】また、同様に蛍光撮像手段において蛍光像
が撮像されている間に、通常撮像手段にも励起光の反射
光が入射してしまうため、正常な通常像の撮像が妨げら
れるという問題もあった。
【0009】本発明は上記問題に鑑み、通常像を撮像す
る通常撮像手段と、蛍光像を撮像する蛍光撮像手段を別
個に設け、照明光の照射および通常像の撮像と、励起光
の照射および蛍光像の撮像を、時分割で交互に行う蛍光
撮像装置において、通常像撮像時に蛍光撮像手段に入射
する照明光の反射光により、蛍光像の撮像に支障が生じ
ることがなく、鮮明な蛍光像を撮像可能な蛍光撮像装置
を提供することを目的とする。
【0010】また、本発明の他の目的は、蛍光撮像装置
において、蛍光像撮像時に通常撮像手段に入射する励起
光の反射光により、通常像の撮像に支障が生じることが
なく、鮮明な通常像を撮像可能な蛍光撮像装置を提供す
ることである。
【0011】
【課題を解決するための手段】本発明による第1の蛍光
撮像装置は、励起光を被測定部に照射する励起光照射手
段と、前記励起光の照射により前記被測定部から発せら
れる蛍光からなる蛍光像を撮像する蛍光撮像手段と、照
明光を被測定部に照射する照明手段と、前記照明光の反
射光からなる通常像を撮像する通常撮像手段と、前記蛍
光像と前記通常像の撮像を交互に行なうように、前記励
起光照射手段、前記蛍光撮像手段、前記照明手段および
前記通常撮像手段の動作を制御する制御手段とを備えて
なる蛍光撮像装置において、前記制御手段が、前記蛍光
撮像手段および/または前記通常撮像手段の撮像動作前
に、蓄積電荷の吐き捨て動作を行わせることを特徴とす
るものである。
【0012】また、本発明による第2の蛍光撮像装置
は、励起光を被測定部に照射する励起光照射手段と、前
記励起光の照射により前記被測定部から発せられる蛍光
からなる蛍光像を撮像する蛍光撮像手段と、照明光を被
測定部に照射する照明手段と、前記照明光の反射光から
なる通常像を撮像する通常撮像手段と、前記蛍光像と前
記通常像の撮像を交互に行なうように、前記励起光照射
手段、前記蛍光撮像手段、前記照明手段および前記通常
撮像手段の動作を制御する制御手段とを備えてなる蛍光
撮像装置において、前記通常撮像手段が該通常撮像手段
に入射する光から励起光を除去する励起光除去手段を備
えることを特徴とするものである。
【0013】本発明の第3の蛍光撮像装置は、励起光を
被測定部に照射する励起光照射手段と、前記励起光の照
射により前記被測定部から発せられる蛍光からなる蛍光
像を撮像する蛍光撮像手段と、照明光を被測定部に照射
する照明手段と、前記照明光の反射光からなる通常像を
撮像する通常撮像手段と、前記蛍光像と前記通常像の撮
像を交互に行なうように、前記励起光照射手段、前記蛍
光撮像手段、前記照明手段および前記通常撮像手段の動
作を制御する制御手段とを備えてなる蛍光撮像装置にお
いて、前記通常撮像手段が、該通常撮像手段に入射する
光から励起光を除去する励起光除去手段を備え、前記制
御手段が、前記蛍光撮像手段の撮像動作前に、蓄積電荷
の吐き捨て動作を行わせるものであることを特徴とする
ものである。
【0014】上記励起光除去手段としては、励起光の波
長帯域を除く波長帯域の光を透過させる励起光カットフ
ィルタが好適である。
【0015】また、上記蓄積電荷の吐き捨て動作として
は、ダミー読み出し動作が好適である。
【0016】また、上記蛍光撮像手段または前記通常撮
像手段が、基板上に撮像手段を形成したものである場合
には、前記蓄積電荷の吐き捨て動作としては、基板方向
への不要電荷の掃き出し動作が好ましい。
【0017】なお、上記照明光とは、通常像を撮像する
ために、被測定部を照明する光であって、通常像を撮像
可能であれば如何なるものでもよい。例えば、通常像の
撮像方法がオンチップ化されたカラーフィルタを使用す
る同時方式の場合であれば、照明光としては、白色光を
用いればよく、また、通常像の撮像方法が3色の光像を
順次撮像する面順次方式である場合には、3色の光が順
次照射される順次光を用いればよい。
【0018】また、上記ダミー読み出し動作とは、撮像
手段に蓄積された不要電荷を読み出し、正規の信号処理
を行わない動作であれば、どのような動作でもよく、例
えば、不要電荷を読み出した後、後段の処理回路で、メ
モリへの書き込みを行わない読み出し動作や、不要電荷
を読み出して、後段においてアースへ消去する読み出し
動作などでもよい。
【0019】
【発明の効果】上述した本発明による第1の蛍光撮像装
置によれば 励起光照射手段、蛍光撮像手段、照明手段
および通常撮像手段の動作を制御する制御手段が、蛍光
撮像手段における撮像動作前に、蓄積電荷の吐き捨て動
作を行わせることにより、通常像撮像時に蛍光撮像手段
に入射した照明光の反射光により蛍光撮像手段に蓄積さ
れた電荷は、蛍光像の撮像前に吐き捨てられるため、蛍
光像の撮像動作に影響を与えることはなく、鮮明な蛍光
像の撮像が可能となる。
【0020】また、制御手段により、通常撮像手段にお
ける撮像動作前に、蓄積電荷の吐き捨て動作を行わせる
ことにより、蛍光像撮像時に通常撮像手段に入射した励
起光の反射光により通常撮像手段に蓄積された電荷は、
通常像の撮像前に吐き捨てられるため、通常像の撮像動
作に影響を与えることはなく、鮮明な通常像の撮像が可
能となる。
【0021】また本発明による第2の蛍光撮像装置によ
れば、通常撮像手段が、通常撮像手段に入射する光から
励起光を除去する励起光除去手段を備えることにより、
蛍光像撮像時に励起光の反射光が通常撮像手段に入射す
ることを防止できるため、通常像の撮像動作に支障が生
じることはなく、鮮明な通常像が撮像可能となる。
【0022】また、この場合には、励起光を照射された
測定部から発せられる蛍光は、通常撮像部に入射するこ
とになるが、通常像撮像時の照明光による反射光の光強
度にに比べ、蛍光の光強度は小さいため、通常像の撮像
動作にはほとんど影響を与えることはない。
【0023】さらに、本発明による第3の蛍光撮像装置
によれば、通常撮像手段が、通常撮像手段に入射する光
から励起光を除去する励起光除去手段を備え、かつ制御
手段が、蛍光撮像手段における撮像動作前に、蓄積電荷
の吐き捨て動作を行わせることにより、蛍光像撮像時に
励起光の反射光が通常撮像手段に入射することが防止さ
れ、また通常像撮像時に蛍光撮像手段に入射した照明光
の反射光により蛍光撮像手段に蓄積された電荷は、蛍光
像の撮像前に吐き捨てられるため、鮮明な通常像および
蛍光像の撮像が可能となる。
【0024】なお、上記励起光除去手段としては、励起
光の波長帯域を除く波長帯域の光を透過させる励起光カ
ットフィルタを使用することにより、簡単な構成で、蛍
光像撮像時に励起光の反射光が通常撮像手段に入射する
ことを防止できる。
【0025】さらに、上記電荷の吐き捨て動作として、
ダミー読み出し動作を行わせることにより、制御手段に
おける読み出し動作を、通常の読み出し動作の場合とダ
ミー読み出し動作の場合とで、大幅に変える必要がない
ため、制御手段の構成を簡素化することできる。
【0026】また、上記蛍光撮像手段または通常撮像手
段が基板上に撮像手段を形成したものであれば、電荷の
吐き捨て動作として、基板方向への不要電荷の掃き出し
動作を行わせることにより、不要電荷の掃き出しタイミ
ングが任意に設定可能となるので、撮像時間を撮像条件
に合わせて、適宜設定することができる。
【0027】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。まず、図1〜図4を参照し
て、本発明による蛍光撮像装置を適用した第1の具体的
な実施の形態である内視鏡装置について説明する。図1
は本発明による蛍光撮像装置を適用した内視鏡装置の概
略構成図であり、この内視鏡装置は、照明光を測定部に
照射し、反射光からなる通常像を内視鏡先端に取り付け
られたカラーCCD撮像素子で撮像して、モニタ上にカ
ラー画像として表示し、また、測定部に励起光を照射し
て、測定部から発せられた蛍光をイメージファイバによ
り蛍光像として2次元的に取得し、この蛍光像を、所定
波長帯域の光を透過させる帯域フィルタ要素が組み合わ
されたモザイクフィルタがオンチップされたCCD撮像
素子で撮像し、モニタ上に疑似カラー画像として表示す
るものであり、蛍光像および通常像の撮像は、時分割で
行われ、各々のCCD撮像素子において、撮像前にダミ
ー読み出しを行うものである。
【0028】この内視鏡装置は、患者の病巣と疑われる
部位に挿入される内視鏡100 、通常像撮像用の白色光お
よび蛍光像撮像用の励起光を発する光源を備える照明ユ
ニット110 、蛍光画像表示時に励起光により生体測定部
から生じた蛍光を受光し、撮像する蛍光撮像ユニット12
0 、蛍光像を所定波長帯域の信号強度の相対的比率に応
じた疑似カラー画像として表示するための画像処理を行
う蛍光画像処理ユニット130 、通常像をカラー画像とし
て表示するための画像処理を行う通常画像処理ユニット
140 、通常像のカラー画像および蛍光像の疑似カラー画
像をインポーズする表示画像処理ユニット150 、各ユニ
ットに接続され、動作タイミングの制御を行うコントロ
ーラ160 、表示画像処理ユニット150 でインポーズされ
た通常画像(通常像のカラー画像)および蛍光画像(蛍
光像の疑似カラー画像)を表示するモニタ170 から構成
されている。
【0029】内視鏡100 は、内部に先端まで延びるライ
トガイド101 、CCDケーブル102およびイメージファ
イバ103 を備えている。ライトガイド101 およびCCD
ケーブル102 の先端部、即ち内視鏡100 の先端部には、
照明レンズ104 および対物レンズ105 を備えている。ま
た、イメージファイバ103 はガラスファイバであり、そ
の先端部には集光レンズ106 を備えている。CCDケー
ブル102 の先端部には、モザイクフィルタ107 がオンチ
ップされたCCD撮像素子108 が接続され、該CCD撮
像素子108 には、プリズム109 が取り付けられている。
【0030】上記モザイクフィルタ107 は、3原色の補
色となる波長帯域を透過させる帯域フィルタ要素が交互
にモザイク状に組み合わされて構成される補色型のフィ
ルタであり、各帯域フィルタ要素はCCD撮像素子108
の各画素に対応している。
【0031】CCD撮像素子108 は、インターライン型
のCCDであり、感光部で光電変換された信号電荷は、
一旦転送部に読み出され、転送部から順次出力される。
【0032】ライトガイド101 は、多成分ガラスファイ
バである白色光用のライトガイド101aおよび石英ガラス
ファイバである励起光用のライトガイド101bがバンドル
され、ケーブル状に一体化されており、白色光用のライ
トガイド101aおよび励起光用のライトガイド101bは照明
ユニット110 へ接続されている。CCDケーブル102の
一端は、通常画像処理ユニット140 に接続され、イメー
ジファイバ103 の一端は、蛍光撮像ユニット120 へ接続
されている。
【0033】照明ユニット110 は、通常像撮像用の白色
光L1を発する白色光源111 、該白色光源111 に電気的に
接続された白色光源用電源112 、蛍光像撮像用の励起光
L3を発するGaN系半導体レーザ114 および該GaN系
半導体レーザ114 に電気的に接続されている励起光源用
電源115 を備えている。
【0034】蛍光撮像ユニット120 は、イメージファイ
バ103 に入射された蛍光L4および励起光の反射光L5が重
畳された光から、励起光の反射光L5を除去するための励
起光カットフィルタ121 と、モザイクフィルタ123 がオ
ンチップされたCCD撮像素子125 とを備えている。な
お、上記励起光カットフィルタ121 は、励起光近傍の4
30nm以下の波長帯域の光をカットする帯域フィルタで
ある。
【0035】上記モザイクフィルタ123 は、図2に示す
ように、帯域フィルタ要素124aと帯域フィルタ要素124b
が交互に組み合わさたものである。帯域フィルタ要素12
3aは、図3の(a)に示すような透過特性を有し、青色
波長帯域の光を透過させ、帯域フィルタ要素123bは図3
の(b)に示すような透過特性を有し、全測定波長帯域
の光を透過させる。各帯域フィルタ要素はCCD撮像素
子125 の画素に1対1で対応している。
【0036】CCD撮像素子125 は、フレームトランス
ファ型の冷却裏面露光CCDであり、感光部で光電変換
された信号電荷は、一旦蓄積部に転送され、蓄積部から
順次出力される。
【0037】蛍光画像処理ユニット130 は、CCD撮像
素子125 で得られた信号のサンプリング、クランプ、ブ
ランキング、増幅等を行い、青色波長帯域の信号強度と
全測定波長帯域の信号強度から疑似カラー画像信号を作
成する信号処理回路131 、該信号処理回路131 で得られ
た疑似カラー画像信号をデジタル化するA/D 変換回路13
2 、デジタル化された疑似カラー画像信号を保存する蛍
光画像メモリ133 、該蛍光画像メモリ133 から出力され
た疑似カラー画像信号をDA変換するD/A 変換回路134 お
よび疑似カラー画像信号をビデオ信号に変換する蛍光画
像エンコーダ135 を備えている。
【0038】通常画像処理ユニット140 は、CCD撮像
素子108 で撮像された通常像からカラー画像信号を作成
する信号処理回路141、該信号処理回路141で得られたカ
ラー画像信号をデジタル化するA/D 変換回路142 、デジ
タル化されたカラー画像信号を保存する通常画像メモリ
143 、該通常画像メモリから出力されたカラー画像信号
をDA変換するD/A 変換回路144 およびカラー画像信号を
ビデオ信号に変換する通常画像エンコーダ145 を備えて
いる。
【0039】表示画像処理ユニット150 は、蛍光画像エ
ンコーダ135 から出力された疑似カラー画像信号と通常
画像エンコーダ145 から出力されたカラー画像信号をイ
ンポーズし、表示信号として出力するスーパーインポー
ザ151 と、ビデオ信号である表示信号をRGB形式の表
示信号に変換するRGBエンコーダ152 とを備えてい
る。
【0040】以下、本発明による蛍光撮像装置を適用し
た上記構成の内視鏡装置の作用について説明する。ま
ず、通常画像を表示する際の作用と蛍光画像を表示する
際の作用について説明し、その後で、時分割で行われる
通常像の撮像と、蛍光像の撮像の動作タイミングおよび
切換時の作用について説明する。
【0041】まず、最初に本内視鏡において、通常画像
を表示する際の作用について説明する。通常像を撮像す
るために、コントローラ160 からの信号に基づき白色光
源用電源112 が駆動され、白色光源111 から白色光L1が
射出される。白色光L1は、レンズ113 を経て白色光用の
ライトガイド101aに入射され、内視鏡先端部まで導光さ
れた後、照明レンズ104 から測定部10へ照射される。白
色光L1の反射光L2は対物レンズ105 によって集光され、
プリズム109 に反射して、モザイクフィル107を透過し
て、CCD撮像素子108 の感光部で受光される。感光部
で光の強弱に応じて光電変換された信号電荷は、一旦転
送部にシフトされ、順次通常画像処理ユニット140 の信
号処理回路141 へ出力される。
【0042】信号処理回路141 では、CCD撮像素子10
8 で撮像された信号の相関二重サンプリング、クラン
プ、ブランキング、増幅等のプロセス処理を行い、その
後、輝度信号と色信号を分離し、カラー画像信号である
輝度信号Y1、色差信号R1−Y1およびB1−Y1を
算出する。
【0043】信号処理回路141 で算出された各画素毎の
カラー画像信号(輝度信号Y1、色差信号R1−Y1お
よびB1−Y1)はA/D 変換回路142 へ入力され、それ
ぞれデジタル化された後、輝度信号Y1は通常画像メモ
リ143 の輝度信号記憶領域に保存され、色差信号R1−
Y1およびB1−Y1は、色差信号記憶領域に保存され
る。
【0044】通常画像メモリ143 に保存されたカラー画
像信号(輝度信号Y1、色差信号R1−Y1およびB1
−Y1)は、表示タイミングに合わせてD/A 変換回路14
4 でDA変換され、通常画像エンコーダ145 で所定のビデ
オ信号に変換され、スーパーインポーザ151 に入力さ
れ、後述する蛍光画像の疑似カラー画像信号とインポー
ズされたビデオ信号として、モニタ170 およびRGBデ
コーダ152 へ出力される。モニタ170 およびRGBデコ
ーダ152 における動作の詳細は後述する。
【0045】次に、蛍光画像を表示する場合の作用につ
いて説明する。コントローラ160 からの信号に基づき、
励起光源用電源115 が駆動され、GaN系半導体レーザ
114から波長410nmの励起光L3が射出される。励起光L
3は、レンズ116 を透過し、励起光用のライトガイド101
bに入射され、内視鏡先端部まで導光された後、照明レ
ンズ104 から測定部10へ照射される。
【0046】測定部10から発せられる蛍光L4と、励起光
L3の反射光L5は、集光レンズ106 により集光され、イメ
ージファイバ103 の先端に入射される。蛍光L4と反射光
L5は、イメージファイバ103 を経て、蛍光撮像ユニット
120 に入射し、反射光L5は励起光カットフィルタ121 で
カットされ、蛍光L4のみがレンズ122 に入射する。レン
ズ122 により集光された蛍光L4は、CCD撮像素子125
にオンチップされたモザイクフィルタ123 を透過後、C
CD撮像素子125 で受光される。CCD撮像素子125 の
感光部で光の強弱に応じて光電変換された信号電荷は、
一旦蓄積部へ転送され、順次蛍光画像処理ユニット130
の信号処理回路131 へ出力される。
【0047】信号処理回路131 では、CCD撮像素子12
5 から出力された信号の相関二重サンプリング、クラン
プ、ブランキング、増幅等のプロセス処理を行い、2次
元データとして出力する。次いで帯域フィルタ要素124a
を透過した青色波長帯域の信号強度B2と帯域フィルタ
要素124bを透過した全測定波長帯域の信号強度W2を用
いて、各画素毎に色差マトリクス演算を行い、疑似カラ
ー画像信号である疑似輝度信号Y2、疑似色差信号R2
−Y2およびB2−Y2を、各画素毎に隣接した画素の
信号強度を用いて算出する。
【0048】信号処理回路131 で算出された各画素毎の
疑似カラー画像信号(疑似輝度信号Y2、疑似色差信号
R2−Y2およびB2−Y2)はA/D 変換回路132 へ入
力され、それぞれデジタル化された後、疑似輝度信号Y
2は蛍光画像メモリ133 の輝度信号記憶領域に保存さ
れ、疑似色差信号R2−Y2およびB2−Y2は色差信
号記憶領域に保存される。該蛍光画像メモリ133 に保存
された疑似カラー画像信号(疑似輝度信号Y2、疑似色
差信号R2−Y2およびB2−Y2)は、表示タイミン
グに合わせてD/A 変換回路134 でDA変換され、蛍光画像
エンコーダ135 で所定のビデオ信号に変換され、スーパ
ーインポーザ151 に入力され、通常画像エンコーダ145
から出力された通常像のカラー画像信号(輝度信号Y
1、色差信号R1−Y1およびB1−Y1)とインポー
ズされ、モニタ170 およびRGBデコーダ152 へ出力さ
れる。
【0049】モニタ170 では、ビデオ信号として入力さ
れた上記カラー画像信号および疑似カラー画像信号を変
換し、通常画像30および蛍光画像31として表示す
る。なお、蛍光画像は、全測定波長帯域の信号強度W2
と青色波長帯域の信号強度B2の相対的比率の変化に応
じて表示色が変化する疑似カラーで表示され、その色合
いは、上述した画像信号マトリクス回路137 におけるマ
トリクス演算式の係数により定まる。
【0050】RGBデコーダ152 では、インポーズされ
た疑似カラー画像信号およびカラー画像信号から、各色
信号(R、B、G)を逆算し、図示省略したプリンター
あるいは画像処理装置等の色信号を直接入力する装置に
出力する。なお、上記一連の動作はコントローラ160 に
よって制御される。
【0051】次に、時分割で行われる通常像の撮像と蛍
光像の撮像の動作タイミングおよび切換時の作用につい
て説明する。蛍光像の撮像および通常像の撮像は、図4
に示すようなタイミングチャートに従って実行される。
白色光L1の照射およびCCD撮像素子108 による反射光
L2の露光は60ms毎に30ms弱の期間同期して行われれ
る。その後、露光時間内にCCD撮像素子108 の感光部
に蓄積された信号電荷は、一旦転送部にシフトされる。
転送部にシフトされた信号電荷は、白色光L1の照射が停
止されている期間に、順次読み出され、通常画像処理ユ
ニット140 の信号処理回路141 へ出力される。
【0052】一方、上記白色光L1の照射が停止されてい
る期間には、蛍光像の撮像が行われている。通常像の撮
像と同様に、励起光L3の照射およびCCD撮像素子125
による蛍光L4の露光は60ms毎に30ms弱の期間同期し
て行われれる。なお、励起光の反射光L5は、蛍光撮像ユ
ニット120 内に設けられた励起光カットフィルタ121に
よりカットされるため、CCD撮像素子125 に入射され
ることはない。露光時間内にCCD撮像素子125 の感光
部に蓄積された信号電荷は、一旦蓄積部にシフトされ
る。蓄積部にシフトされた信号電荷は、励起光L3の照射
が停止されている期間に、順次読み出され、蛍光画像処
理ユニット130 の信号処理回路131 へ出力される。
【0053】上記のように、蛍光像の撮像と通常像の撮
像が、時分割で交互に行われるため、蛍光像撮像用のC
CD撮像素子125 においては、通常像撮像時には、図4
の5段目に破線で示すように、白色光L1の反射光L2が感
光部に入射され、光電変換されて不要な信号電荷が蓄積
されてしまう。しかし、この不要な信号電荷は、励起光
L3の照射前に、ダミー読み出し動作により処理される。
【0054】まず、白色光L1の照射が終了すると、この
不要信号電荷は、通常の信号電荷と同様に転送部にシフ
トされ、転送部から順次読み出され、蛍光画像処理ユニ
ット130 の信号処理回路131 へ出力される。信号処理回
路131 では、この不要信号電荷の信号処理を行い、A/D
変換回路132 で、A/D 変換を行うが、コントローラ160
が、蛍光画像メモリ133 を書き込み不可状態に制御する
ため、不要信号電荷は、蛍光画像メモリ133 に記憶され
ることはない。
【0055】上記ダミー読みだし動作により、励起光L3
の照射が始まる前には、感光部に蓄積された不要信号電
荷は、転送部にシフトされているので、蛍光像の撮像に
は、支障が生じることはない。また、蛍光L4により正常
に蓄積された信号電荷が転送部にシフトされる前に、転
送部にシフトされた不要信号電荷は、蛍光画像処理ユニ
ット130 の信号処理回路131 へ出力されているため、シ
フト動作に支障が生じることもない。
【0056】したがって、通常像撮像時に蛍光像撮像用
のCCD撮像素子125 に入射した白色光L1の反射光L2に
よりCCD撮像素子125 に蓄積された不要電荷は、蛍光
像の撮像前にダミー読み出しにより、消去されるため、
蛍光像の撮像動作に影響を与えることはないので、鮮明
な蛍光像の撮像が可能となる。
【0057】また、同様に通常像撮像用のCCD撮像素
子108 においては、蛍光像撮像時には、図4の2段目に
破線で示すように、蛍光L4および励起光の反射光L5が感
光部に入射され、光電変換されて不要な信号電荷が蓄積
されるが、この不要な信号電荷は、白色光L1の照射前
に、ダミー読み出し動作により処理される。
【0058】まず、励起光L3の照射が終了すると、この
不要信号電荷は、通常の信号電荷と同様に、転送部にシ
フトされ、転送部から通常画像処理ユニット140 の信号
処理回路141 へ出力される。信号処理回路141 では、こ
の不要な信号電荷の信号処理を行い、またA/D 変換回路
142 では、A/D 変換を行うが、コントローラ160 が、通
常画像メモリ143 を、書き込み不可状態に制御するた
め、不要な信号が通常画像メモリ143 に記憶されること
はない。
【0059】上記のダミー読み出し動作により、励起光
L3の照射が終了し、白色光L1の照射が始まる前には、感
光部に蓄積された不要信号電荷は、転送部にシフトされ
ているので、白色光L1の反射光L2の受光には、支障が生
じることはない。また、反射光L2により正常に蓄積され
た信号電荷が転送部にシフトされる前に、転送部の不要
信号電荷は、信号処理回路141 へ出力されているため、
シフト動作に支障が生じることもない。従って、蛍光像
撮像時に通常像撮像用のCCD撮像素子108 に入射した
励起光L3の反射光L5によりCCD撮像素子108 に蓄積さ
れた電荷は、通常像の撮像前にダミー読み出しにより、
消去されるため、通常像の撮像動作に影響を与えること
はなく、鮮明な通常像が撮像可能となる。また、不要電
荷の吐き捨て動作として、ダミー読み出し動作を行わせ
ることにより、コントローラ160における読み出し動作
を、通常の読み出し動作の場合とダミー読み出し動作の
場合とで、大幅に変える必要がないため、コントローラ
160 の構成を簡素化することできる。
【0060】次に本発明による蛍光撮像装置を適用した
第2の具体的な実施の形態である内視鏡装置について図
5および図6を参照して説明する。この内視鏡装置は、
照明光を測定部に照射し、反射光からなる通常像を内視
鏡先端に取り付けられたカラーCCD撮像素子で撮像し
て、モニタ上にカラー画像として表示し、また、測定部
に励起光を照射して、測定部から発せられた蛍光をイメ
ージファイバにより蛍光像として2次元的に取得し、こ
の蛍光像を、所定波長帯域の光を透過させる帯域フィル
タ要素が組み合わされたモザイクフィルタがオンチップ
されたCCD撮像素子で撮像し、モニタ上に疑似カラー
画像として表示するものであり、蛍光像および通常像の
撮像は、時分割で行われ、各々のCCD撮像素子におい
て、撮像前に基板方向への不要電荷の掃き出し動作を行
うものである。
【0061】この内視鏡装置は、患者の病巣と疑われる
部位に挿入される内視鏡200 、白色光および励起光を発
する光源を備える照明ユニット110 、蛍光画像表示時に
励起光により生体測定部から生じた蛍光を受光し、撮像
する蛍光撮像ユニット210 、蛍光像を所定波長帯域の信
号強度の相対的比率に応じた疑似カラー画像として表示
するための画像処理を行う蛍光画像処理ユニット130 、
通常像をカラー画像として表示するための画像処理を行
う通常画像処理ユニット140 、通常像のカラー画像およ
び蛍光像の疑似カラー画像をインポーズする表示画像処
理ユニット150、各ユニットに接続され、動作タイミン
グの制御を行うコントローラ220 、表示画像処理ユニッ
ト150 でインポーズされた通常画像(通常像のカラー画
像)および蛍光画像(蛍光像の疑似カラー画像)を表示
するモニタ170 から構成されている。なお、第1の実施
の形態と同等の要素には、同じ番号を付し、それらにつ
いての説明は、特に必要のない限り省略する。
【0062】内視鏡200 は、内部に先端まで延びるライ
トガイド101 、CCDケーブル102およびイメージファ
イバ103 を備え、CCDケーブル102 の先端部には、モ
ザイクフィルタ107 がオンチップされたCCD撮像素子
201 が接続され、該CCD撮像素子201 には、プリズム
109 が取り付けられている。
【0063】CCD撮像素子201 は、インターライン型
のCCDであり、感光部で光電変換された信号電荷は、
一旦転送部にシフトされ、転送部から順次出力される。
また、縦型オーバーフロードレーン構造を備えるもので
あり、飽和光量以上の余剰電荷は、基板内部に捨てられ
る。さらに、掃き出しパルスを印加することにより、感
光部に蓄積された電荷を、ドレーン構造を介して、基板
方向に掃き捨てることができる。
【0064】蛍光撮像ユニット210 は、励起光カットフ
ィルタ121 、モザイクフィルタ123がオンチップされた
CCD撮像素子211 を備えている。CCD撮像素子211
は、インターライン型のCCDであり、感光部で光電変
換された信号電荷は、一旦転送部にシフトされ、転送部
から順次出力される。なおCCD撮像素子211 は、CC
D撮像素子201 と同様に、縦型オーバーフロードレーン
構造を備え、掃き出しパルスを印加することにより、感
光部に蓄積された電荷を、ドレーン構造を介して、基板
方向に掃き捨てることができる。各ユニットの動作はコ
ントローラ220により制御される以下、本発明による蛍
光撮像装置を適用した上記構成の内視鏡装置の作用につ
いて説明する。まず、通常画像を表示する際の作用と蛍
光画像を表示する際の作用について簡単に説明し、その
後で、時分割で行われる通常像の撮像と、蛍光像の撮像
の動作タイミングおよび切換時の作用について説明す
る。
【0065】白色光L1の反射光L2は対物レンズ105 によ
って集光され、プリズム109 に反射して、モザイクフィ
ル107 を透過して、CCD撮像素子201 の感光部で受光
される。感光部で光の強弱に応じて光電変換された信号
電荷は、一旦転送部にシフトされ、順次通常画像処理ユ
ニット140 の信号処理回路141 へ出力される。
【0066】励起光L3を照射されることにより、測定部
10から生じる蛍光L4および励起光の反射光L5は、イメー
ジファイバ103 を経て、蛍光撮像ユニット120 の励起光
カットフィルタ121 に入射し、励起光の反射光L5は、励
起光カットフィルタ121 によりカットされる。レンズ12
2 により集光された蛍光L4は、CCD撮像素子201 にオ
ンチップされたモザイクフィルタ123 を透過後、CCD
撮像素子201 で受光される。CCD撮像素子201 の感光
部で光の強弱に応じて光電変換された信号電荷は、一旦
転送部へシフトされ、転送部から順次蛍光画像処理ユニ
ット130 の信号処理回路131 へ出力される。信号処理回
路141 および信号処理回路131 以降の作用は、第1の実
施の形態と同様に行われる。
【0067】次に、時分割で行われる通常像の撮像と蛍
光像の撮像の動作タイミングおよび切換時の作用につい
て説明する。蛍光像の撮像および通常像の撮像は、図6
に示すようなタイミングチャートに従って実行される。
通常像の撮像は、第1の実施の形態と同様な動作タイミ
ングで行われ、露光時間内にCCD撮像素子201 の感光
部に蓄積された信号電荷は、一旦転送部にシフトされ
る。転送部にシフトされた信号電荷は、白色光L3の照射
が停止されている期間に、通常画像処理ユニット140 の
信号処理回路141 へ出力される。
【0068】一方、蛍光像の撮像においても、第1の実
施の形態と同様の動作タイミングで動作し、露光時間内
にCCD撮像素子211 の感光部に蓄積された信号電荷
は、一旦転送部にシフトされる。転送部にシフトされた
信号電荷は、励起光L3の照射が停止されている期間に、
蛍光画像処理ユニット130 の信号処理回路131 へ出力さ
れる。
【0069】このため、蛍光像撮像用のCCD撮像素子
211 では、図6の5段目に破線で示すように、白色光L1
が照射されている間に、不要な信号電荷が感光部に蓄積
される。コントローラ220 は、白色光L1の照射が終了し
ても、感光部に蓄積された不要な信号電荷を転送部にシ
フトさせず、励起光L3が照射される直前に、CCD撮像
素子211 に、掃き出しパルスを加える。
【0070】CCD撮像素子211 では、掃き出しパルス
が印加されると、不要信号電荷は基板方向にドレーンさ
れ、消去される。このため、励起光L3の照射時には、感
光部に蓄積された不要信号電荷は消去されているので、
蛍光L4の受光に、支障が生じることはない。
【0071】したがって、通常像撮像時に蛍光像撮像用
のCCD撮像素子211 に入射した白色光の反射光により
CCD撮像素子211 に蓄積された電荷は、蛍光像の撮像
前に、基板方向へドレーンされ、消去されるため、蛍光
像に影響を与えることはないので、鮮明な蛍光像の撮像
が可能となる。
【0072】また、通常像撮像用のCCD撮像素子201
においても、同様に、図6の2段目に示されるように、
励起光L3により感光部に不要な信号電荷が蓄積される。
コントローラ220 は、励起光L3の照射が終了しても、感
光部に蓄積された不要な信号電荷を転送部にシフトさせ
ず、白色光L1が照射される直前に、CCD撮像素子201
に、掃き出しパルスを加える。CCD撮像素子201 で
は、掃き出しパルスが印加されると、不要信号電荷は基
板方向にドレーンされ、消去される。このため、白色光
L1の照射時には、感光部に蓄積された不要信号電荷は消
去されているので、反射光L2の受光に、支障が生じるこ
とはない。
【0073】また、不要電荷の吐き捨て動作として、基
板方向への不要電荷の掃き出し動作を行わせることによ
り、不要電荷の掃き出しタイミングが任意に設定可能と
なるので、撮像時間を撮像条件に合わせて、適宜設定す
ることができる。
【0074】次に図7および図8を参照して、本発明の
蛍光撮像装置を適用した第3の具体的な実施の形態であ
る内視鏡装置について説明する。なお、図7において、
図5に示す第2の実施の形態で使用される要素と同等の
要素には同番号を付し、それらについての説明は特に必
要のない限り省略する。
【0075】この内視鏡装置は、白色の照明光を青色、
赤色、緑色の回転フィルタを介して、3色の順次光に分
解して、測定部に照射し、内視鏡先端に取り付けられた
CCD撮像素子で反射光を撮像し、3色の順次信号を取
得し、信号処理回路においてカラー画像信号を合成し、
モニタ上に通常像のカラー画像として表示し、また、測
定部に励起光を照射して、測定部から発せられた蛍光を
イメージファイバにより蛍光像として2次元的に取得
し、この蛍光像を、所定波長帯域の光を透過させる帯域
フィルタ要素が組み合わされたモザイクフィルタがオン
チップされたCCD撮像素子で撮像し、モニタ上に疑似
カラー画像として表示するものであり、蛍光像および通
常像の撮像は、時分割で行われ、各々のCCD撮像素子
において、基板方向への不要電荷の掃き出し動作を行う
ものである。
【0076】この内視鏡装置は、患者の病巣と疑われる
部位に挿入される内視鏡300 、3色の順次光および励起
光を発する光源を備える照明ユニット310 、蛍光画像表
示時に励起光により生体測定部から生じた蛍光を受光
し、撮像する蛍光撮像ユニット210 、蛍光像を所定波長
帯域の信号強度の相対的比率に応じた疑似カラー画像と
して表示するための画像処理を行う蛍光画像処理ユニッ
ト130 、通常像をカラー画像として表示するための画像
処理を行う通常画像処理ユニット320 、通常像のカラー
画像および蛍光像の疑似カラー画像をインポーズする表
示画像処理ユニット150、各ユニットに接続され、動作
タイミングの制御を行うコントローラ330、表示画像処
理ユニット150 でインポーズされた通常画像(通常像の
カラー画像)および蛍光画像(蛍光像の疑似カラー画
像)を表示するモニタ170 から構成されている。
【0077】内視鏡300 は、内部に先端まで延びるライ
トガイド101 、CCDケーブル102およびイメージファ
イバ103 を備え、CCDケーブル102 の先端部には、C
CD撮像素子301 が接続され、該CCD撮像素子301 に
は、プリズム109 が取り付けられている。
【0078】CCD撮像素子301 は、インターライン型
のCCDであり、感光部で光電変換された信号電荷は、
一旦転送部にシフトされ、転送部から順次出力される。
【0079】照明ユニット310 は、白色光を発する白色
光源311 、該白色光源311 に電気的に接続された白色光
源用電源312 、白色光から3色の順次光L6を取り出すた
めの回転フィルタ313 、該回転フィルタ313 を駆動する
フィルタ駆動部314 、蛍光像撮像用の励起光L8を発する
GaN系半導体レーザ114 および該GaN系半導体レー
ザ114 に電気的に接続されている励起光源用電源115 と
を備えている。
【0080】通常画像処理ユニット320 は、CCD撮像
素子301 で撮像された3色の順次信号から通常像のカラ
ー画像信号を作成する信号処理回路321 、該信号処理回
路321 で得られたカラー画像信号をデジタル化するA/D
変換回路142 、デジタル化されたカラー画像信号を保存
する通常画像メモリ143 、該通常画像メモリから出力さ
れたカラー画像信号をDA変換するD/A 変換回路144 およ
びカラー画像信号をビデオ信号に変換する通常画像エン
コーダ145 とを備えている。各ユニットの動作はコント
ローラ320 により制御される。蛍光像撮像に関しては、
後述するコントローラ320 の制御による撮像タイミング
が異なるのみで、構成は第2の実施による内視鏡装置と
同様である。
【0081】以下、本発明による蛍光撮像装置を適用し
た上記構成の内視鏡装置の作用について説明する。ま
ず、通常画像を表示する際の作用を説明し、その後で、
時分割で行われる通常像の撮像と、蛍光像の撮像の動作
タイミングおよび切換時の作用について説明する。蛍光
像撮像に関しては、コントローラ320 の制御による撮像
タイミングが異なるのみで、蛍光画像を表示する際の作
用は第2の実施による内視鏡装置と同様であるため、蛍
光画像を表示する際の作用の説明は省略する。
【0082】通常像を撮像する際には、まずコントロー
ラ330 からの信号に基づき白色光源用電源312 が駆動さ
れ、白色光源311 から白色光が射出される。白色光は、
フィルタ駆動部314 を介してコントローラ330 により回
転制御される回転フィルタ313 およびレンズ315 を経
て、青色、緑色、赤色と3色に順番に変化する順次光L6
として、ライトガイド101aに入射され、内視鏡先端部ま
で導光された後、照明レンズ104 から測定部10へ照射さ
れる。順次光L6の反射光L7は、対物レンズ105 によって
集光され、プリズム109 に反射して、CCD撮像素子30
1 の感光部で受光される。感光部で光の強弱に応じて光
電変換された信号電荷は、一旦転送部にシフトされ、順
次通常画像処理ユニット320 の信号処理回路321 へ出力
される。
【0083】信号処理回路321 では、CCD撮像素子30
1 で撮像された信号の相関二重サンプリング、クラン
プ、ブランキング、増幅等のプロセス処理を行い、順次
光L6のうちの青色の照明光が照射されている時に撮像さ
れた青成分の光像から、各画素毎に、青色波長帯域の信
号強度B3を求め、同様に、緑色波長帯域の信号強度G
3および赤色波長帯域の信号強度R3を求め、各信号か
ら、カラー画像信号である輝度信号Y3、色差信号R3
−Y3およびB3−Y3を算出する。A/D 変換回路142
以降の作用は、第1の実施の形態と同様に行われる。
【0084】次に、時分割で行われる通常像の撮像と蛍
光像の撮像の動作タイミングおよび切換時の作用につい
て説明する。蛍光像の撮像および通常像の撮像は、図8
に示すようなタイミングチャートに従って実行される。
青色、緑色、赤色と3色に順番に変化する順次光L6の照
射および露光は、60ms毎に30msの期間同期して行わ
れれる。各色の光は、各々10ms間弱照射され、各色の
照射と同期して、CCD撮像素子301 による青成分の光
像の撮像、緑成分の光像の撮像および赤成分の光像の撮
像が行われる。
【0085】すなわち、青色の光が照射され、10ms経
過して照射が終了すると、その時間内にCCD撮像素子
301 の感光部に蓄積された信号電荷は、一旦転送部にシ
フトされる。次に緑色の光が照射され、転送部にシフト
された青成分の信号電荷は信号処理回路321 に出力され
る。10ms経過して緑色の光の照射が終了すると、その
時間内にCCD撮像素子301 の感光部に蓄積された信号
電荷は、転送部にシフトされる。次に赤色の光が照射さ
れ、同時に転送部にシフトされた緑成分の信号電荷は、
号処理回路321 に出力される。さらに、赤色の光の照射
が終了すると、その時間内にCCD撮像素子301 の感光
部に蓄積された信号電荷は、転送部にシフトされ、次の
タイミングで、転送部から、信号処理回路321 に出力さ
れる。
【0086】一方、上記順次光L6の照射が停止されてい
る期間に、蛍光像の撮像が行われる。通常像の撮像と同
様に、励起光L8の照射およびCCD撮像素子211 による
蛍光の露光は60ms毎に10ms弱の期間同期して行われ
る。10ms経過して励起光L8の光の照射が終了すると、
その時間内にCCD撮像素子301 の感光部に蓄積された
信号電荷は、転送部にシフトされ、次のタイミングで、
蛍光画像処理ユニット130 の信号処理回路131 へ出力さ
れる。
【0087】このため、蛍光像撮像用のCCD撮像素子
211 では、通常像撮像時に、図8の5段目に破線で示さ
れる用に、順次光L6の反射光L7が感光部に入射され、光
電変換されて不要な信号電荷が蓄積される。コントロー
ラ330 は、励起光L8が照射される直前に、CCD撮像素
子211 に、掃き出しパルスを加える。
【0088】CCD撮像素子211 では、掃き出しパルス
が印加されると、不要信号電荷は基板方向にドレーンさ
れ、消去される。このため、励起光L8の照射時には、感
光部に蓄積された不要信号電荷は消去されているので、
蛍光L9の受光に、支障が生じることはない。
【0089】したがって、通常像撮像時に蛍光像撮像用
のCCD撮像素子211 に入射した順次光L6の反射光L7に
よりCCD撮像素子211 に蓄積された電荷は、蛍光像の
撮像前に、基板方向へドレーンされ、吐き捨てられるた
め、蛍光像の撮像に影響を与えることはないので、鮮明
な蛍光像の撮像が可能となる。
【0090】また、通常像撮像用のCCD撮像素子301
では、蛍光像撮像時に、図8の2段目に破線で示すよう
に、蛍光9および励起光L8の反射光L10 が感光部に入射
され、光電変換されて不要な信号電荷が蓄積される。こ
の不要な信号電荷は、順次光L6の照射前に、通常の信号
電荷と同様に、転送部にシフトされ、転送部から通常画
像処理ユニット320 の信号処理回路321 へ出力される。
信号処理回路321 では、この不要な信号電荷をアース
し、消去する。
【0091】上記の動作により、順次光L6の照射が始ま
る前には、感光部に蓄積された不要信号電荷は、転送部
にシフトされているので、順次光L6の反射光L7の受光に
は、支障が生じることはない。また、反射光L7により正
常に蓄積された信号電荷が転送部にシフトされる前に、
転送部の不要信号電荷は出力されたいるため、シフト動
作に支障が生じることもない。従って、蛍光像撮像時に
通常像撮像用のCCD撮像素子301 に入射した励起光L8
の反射光によりCCD撮像素子301 に蓄積された電荷
は、通常像の撮像前にダミー読み出しにより、吐き捨て
られるため、通常像の撮像動作に影響を与えることはな
く、鮮明な通常像が撮像可能となる。
【0092】なお、上記各具体的な実施の形態である内
視鏡装置においては、蛍光像撮像用のCCD撮像素子と
通常像撮像用のCCD撮像素子の両者において不要電荷
の吐き捨て動作を行ったが、各実施の形態の変型例とし
て、通常像撮像用のCCD撮像素子において、不要電荷
の吐き捨て動作を行う代わりに、励起光の波長帯域を除
く波長帯域を透過させる励起光カットフィルタを、通常
像撮像用のCCD撮像素子の前面に取り付け、この励起
光カットフィルタを介して通常像をカラーCCD撮像素
子で撮像することにより、簡単な構成で、蛍光像撮像時
に励起光の反射光が通常撮像手段に入射することを防止
でき、鮮明な通常像を撮像することができる。なお、励
起光カットフィルタを使用した場合には、蛍光像撮像時
に測定部から発せられる蛍光は励起光カットフィルタに
より除去されず、通常像撮像用のCCD撮像素子の感光
部に入射してしまうが、蛍光の光強度は、通常像の光強
度にくらべ、非常に弱いため、通常像の撮像にはほとん
ど影響はない。
【図面の簡単な説明】
【図1】本発明による蛍光撮像装置を適用した第1の具
体的な実施の形態である内視鏡装置の概略構成図
【図2】上記第1の具体的な実施の形態の内視鏡装置に
使用されるモザイクフィルタの概略構成図
【図3】上記モザイクフィルタの透過波長帯域を示す図
【図4】第1の実施の形態におけるタイミングチャート
【図5】本発明による蛍光撮像装置を適用した第2の具
体的な実施の形態である内視鏡装置の概略構成図
【図6】第2の具体的な実施の形態におけるタイミング
チャート
【図7】本発明による蛍光撮像装置を適用した第3の具
体的な実施の形態である内視鏡装置の概略構成図
【図8】第3の具体的な実施の形態におけるタイミング
チャート
【図9】正常組織および病変組織から発せられる蛍光の
スペクトル強度分布図
【図10】従来例における撮像動作のタイミングチャー
【符号の説明】
10 測定部 30 通常画像 31 蛍光画像 L1 白色光 L2 反射光 L3,L8 励起光 L4,L9 蛍光 L5 励起光の反射光 L6 順次光 L7 順次光の反射光 100,200,300 内視鏡 108,125,201,211,301 CCD撮像素子 110,310 照明ユニット 120,210 蛍光撮像ユニット 121 励起光カットフィルタ 123,107 モザイクフィルタ 130 蛍光画像処理ユニット 140,320 通常画像処理ユニット 150 表示画像処理ユニット 160,220,330 コントローラ 170 モニタ
フロントページの続き Fターム(参考) 2G043 AA06 BA16 EA01 FA01 GA08 GB18 HA15 KA02 KA05 KA09 LA03 4C061 AA00 BB02 CC06 DD00 HH51 LL08 MM01 MM05 NN01 NN05 PP12 QQ04 QQ07 RR04 RR14 SS05 WW08 WW10 WW17

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 励起光を被測定部に照射する励起光照射
    手段と、前記励起光の照射により前記被測定部から発せ
    られる蛍光からなる蛍光像を撮像する蛍光撮像手段と、
    照明光を被測定部に照射する照明手段と、前記照明光の
    反射光からなる通常像を撮像する通常撮像手段と、前記
    蛍光像と前記通常像の撮像を交互に行なうように、前記
    励起光照射手段、前記蛍光撮像手段、前記照明手段およ
    び前記通常撮像手段の動作を制御する制御手段とを備え
    てなる蛍光撮像装置において、 前記制御手段が、前記蛍光撮像手段および/または前記
    通常撮像手段の撮像動作前に、蓄積電荷の吐き捨て動作
    を行わせることを特徴とする蛍光撮像装置。
  2. 【請求項2】 励起光を被測定部に照射する励起光照射
    手段と、前記励起光の照射により前記被測定部から発せ
    られる蛍光からなる蛍光像を撮像する蛍光撮像手段と、
    照明光を被測定部に照射する照明手段と、前記照明光の
    反射光からなる通常像を撮像する通常撮像手段と、前記
    蛍光像と前記通常像の撮像を交互に行なうように、前記
    励起光照射手段、前記蛍光撮像手段、前記照明手段およ
    び前記通常撮像手段の動作を制御する制御手段とを備え
    てなる蛍光撮像装置において、 前記通常撮像手段が該通常撮像手段に入射する光から励
    起光を除去する励起光除去手段を備えることを特徴とす
    る蛍光撮像装置。
  3. 【請求項3】 励起光を被測定部に照射する励起光照射
    手段と、前記励起光の照射により前記被測定部から発せ
    られる蛍光からなる蛍光像を撮像する蛍光撮像手段と、
    照明光を被測定部に照射する照明手段と、前記照明光の
    反射光からなる通常像を撮像する通常撮像手段と、前記
    蛍光像と前記通常像の撮像を交互に行なうように、前記
    励起光照射手段、前記蛍光撮像手段、前記照明手段およ
    び前記通常撮像手段の動作を制御する制御手段とを備え
    てなる蛍光撮像装置において、前記通常撮像手段が、該
    通常撮像手段に入射する光から励起光を除去する励起光
    除去手段を備え、 前記制御手段が、前記蛍光撮像手段の撮像動作前に、蓄
    積電荷の吐き捨て動作を行わせるものであることを特徴
    とする蛍光撮像装置。
  4. 【請求項4】 前記励起光除去手段が励起光の波長帯域
    を除く波長帯域の光を透過させる励起光カットフィルタ
    であることを特徴とする請求項2または3記載の蛍光撮
    像装置。
  5. 【請求項5】 前記蓄積電荷の吐き捨て動作がダミー読
    み出し動作であることを特徴とする請求項1、3または
    4記載の蛍光撮像装置。
  6. 【請求項6】 前記蛍光撮像手段および/または前記通
    常撮像手段が基板上に撮像素子を形成したものであり、
    前記蓄積電荷の吐き捨て動作が基板方向への不要電荷の
    掃き出し動作であることを特徴とする請求項1、3、4
    または5記載の蛍光撮像装置。
JP2000007304A 2000-01-17 2000-01-17 蛍光撮像装置 Expired - Fee Related JP4433347B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000007304A JP4433347B2 (ja) 2000-01-17 2000-01-17 蛍光撮像装置
EP01100897A EP1116473A3 (en) 2000-01-17 2001-01-16 Fluorescence imaging apparatus
US09/760,769 US6573513B2 (en) 2000-01-17 2001-01-17 Fluorescence imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000007304A JP4433347B2 (ja) 2000-01-17 2000-01-17 蛍光撮像装置

Publications (2)

Publication Number Publication Date
JP2001190489A true JP2001190489A (ja) 2001-07-17
JP4433347B2 JP4433347B2 (ja) 2010-03-17

Family

ID=18535700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000007304A Expired - Fee Related JP4433347B2 (ja) 2000-01-17 2000-01-17 蛍光撮像装置

Country Status (3)

Country Link
US (1) US6573513B2 (ja)
EP (1) EP1116473A3 (ja)
JP (1) JP4433347B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007500025A (ja) * 2003-07-28 2007-01-11 ソプロ 生体組織を検知し、特徴づけるための装置
WO2008114748A1 (ja) 2007-03-20 2008-09-25 Olympus Corporation 蛍光観察装置
WO2011036792A1 (ja) * 2009-09-28 2011-03-31 国立大学法人高知大学 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP2016022325A (ja) * 2014-07-24 2016-02-08 オリンパス株式会社 観察装置
JP2018153660A (ja) * 2012-07-26 2018-10-04 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 光が不十分な環境での連続的なビデオ
CN110464309A (zh) * 2019-08-27 2019-11-19 深圳大学 一种跨尺度的荧光内窥成像系统
US10785461B2 (en) 2012-07-26 2020-09-22 DePuy Synthes Products, Inc. YCbCr pulsed illumination scheme in a light deficient environment
US11438490B2 (en) 2014-03-21 2022-09-06 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
US11974717B2 (en) 2013-03-15 2024-05-07 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001070227A (ja) * 1999-07-07 2001-03-21 Fuji Photo Film Co Ltd 蛍光観察装置
US6636646B1 (en) * 2000-07-20 2003-10-21 Eastman Kodak Company Digital image processing method and for brightness adjustment of digital images
EP1414336B1 (de) * 2001-08-09 2010-05-26 Biocam GmbH System für die fluoreszenzdiagnostik
AU2003288491A1 (en) * 2002-12-13 2004-07-09 Image Enhancement Technologies, Llc Optical examination method and apparatus particularly useful for real-time discrimination of tumors from normal tissues during surgery
US20040202356A1 (en) * 2003-04-10 2004-10-14 Stookey George K. Optical detection of dental caries
DE602005026825D1 (de) * 2004-08-30 2011-04-21 Olympus Co Endoskop
DE102005013045B4 (de) * 2005-03-18 2013-03-14 Siemens Aktiengesellschaft Fluoreszenz-Scanner für molekulare Signaturen
DE102005013042A1 (de) * 2005-03-18 2006-09-28 Siemens Ag Einrichtung zur Erzeugung von 3D-Fluoreszenz-oder Lumineszenz-Scans
JP4818753B2 (ja) * 2006-02-28 2011-11-16 オリンパス株式会社 内視鏡システム
US20090236541A1 (en) * 2008-03-24 2009-09-24 General Electric Company System and Methods for Optical Imaging
ES2715633T3 (es) 2008-05-20 2019-06-05 Univ Health Network Dispositivo y método para formación de imágenes y supervisión por fluorescencia
JP5628062B2 (ja) * 2011-02-01 2014-11-19 富士フイルム株式会社 電子内視鏡システム
US8900126B2 (en) 2011-03-23 2014-12-02 United Sciences, Llc Optical scanning device
US8900125B2 (en) 2012-03-12 2014-12-02 United Sciences, Llc Otoscanning with 3D modeling
AU2014233193B2 (en) 2013-03-15 2018-11-01 DePuy Synthes Products, Inc. Controlling the integral light energy of a laser pulse
WO2014144947A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Super resolution and color motion artifact correction in a pulsed color imaging system
WO2014192563A1 (ja) * 2013-05-29 2014-12-04 オリンパスメディカルシステムズ株式会社 内視鏡システム
CN115989999A (zh) 2014-07-24 2023-04-21 大学健康网络 用于诊断目的的数据的收集和分析
US9759658B2 (en) 2014-08-08 2017-09-12 Quantum-Si Incorporated Integrated device for temporal binning of received photons
KR20180111999A (ko) 2016-02-17 2018-10-11 테서렉트 헬스, 인코포레이티드 수명 촬상 및 검출 응용을 위한 센서 및 디바이스
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging
US10845308B2 (en) 2016-12-22 2020-11-24 Quantum-Si Incorporated Integrated photodetector with direct binning pixel
MX2020013788A (es) 2018-06-22 2021-03-02 Quantum Si Inc Fotodetector integrado con deposito de almacenamiento de carga con tiempo de deteccion variado.
JP7374600B2 (ja) * 2019-03-22 2023-11-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
US11716533B2 (en) * 2019-06-20 2023-08-01 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11892403B2 (en) * 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0397440A (ja) * 1989-09-08 1991-04-23 Olympus Optical Co Ltd 蛍光観察用内視鏡
JPH0438093A (ja) * 1990-06-04 1992-02-07 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH07155292A (ja) * 1993-12-03 1995-06-20 Olympus Optical Co Ltd 蛍光観察装置
JPH0924052A (ja) * 1995-07-12 1997-01-28 Fuji Photo Film Co Ltd 手術用蛍光画像撮像装置
JPH1057300A (ja) * 1996-08-19 1998-03-03 Asahi Optical Co Ltd 蛍光診断用内視鏡装置
JPH10118004A (ja) * 1996-10-24 1998-05-12 Fuji Photo Film Co Ltd 蛍光撮像装置
JPH11104061A (ja) * 1997-10-02 1999-04-20 Olympus Optical Co Ltd 経内視鏡的蛍光観察装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55154878A (en) * 1979-05-21 1980-12-02 Mitsubishi Electric Corp Polychrome original reader
JPS63122421A (ja) * 1986-11-12 1988-05-26 株式会社東芝 内視鏡装置
JPH04105637A (ja) * 1990-08-24 1992-04-07 Fuji Photo Optical Co Ltd 電子内視鏡の撮像装置
US5687730A (en) * 1991-01-22 1997-11-18 Pdt Systems, Inc. Apparatus for detecting the presence of abnormal tissue within a target tissue beneath the skin of a patient
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5590660A (en) * 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
JP3395468B2 (ja) * 1995-08-04 2003-04-14 株式会社日立製作所 蛍光検出装置
US5693948A (en) * 1995-11-21 1997-12-02 Loral Fairchild Corporation Advanced CCD-based x-ray image sensor system
US5900949A (en) * 1996-05-23 1999-05-04 Hewlett-Packard Company CCD imager for confocal scanning microscopy
DE19640700C2 (de) * 1996-10-02 2002-08-14 Wolf Gmbh Richard Einrichtung zur photodynamischen endoskopischen Diagnose von Tumorgewebe
US6135965A (en) * 1996-12-02 2000-10-24 Board Of Regents, The University Of Texas System Spectroscopic detection of cervical pre-cancer using radial basis function networks
JP3252804B2 (ja) * 1998-07-31 2002-02-04 日本電気株式会社 固体撮像素子の駆動方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0397440A (ja) * 1989-09-08 1991-04-23 Olympus Optical Co Ltd 蛍光観察用内視鏡
JPH0438093A (ja) * 1990-06-04 1992-02-07 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH07155292A (ja) * 1993-12-03 1995-06-20 Olympus Optical Co Ltd 蛍光観察装置
JPH0924052A (ja) * 1995-07-12 1997-01-28 Fuji Photo Film Co Ltd 手術用蛍光画像撮像装置
JPH1057300A (ja) * 1996-08-19 1998-03-03 Asahi Optical Co Ltd 蛍光診断用内視鏡装置
JPH10118004A (ja) * 1996-10-24 1998-05-12 Fuji Photo Film Co Ltd 蛍光撮像装置
JPH11104061A (ja) * 1997-10-02 1999-04-20 Olympus Optical Co Ltd 経内視鏡的蛍光観察装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007500025A (ja) * 2003-07-28 2007-01-11 ソプロ 生体組織を検知し、特徴づけるための装置
JP4877550B2 (ja) * 2003-07-28 2012-02-15 ソプロ 生体組織を検知し、特徴づけるための装置
WO2008114748A1 (ja) 2007-03-20 2008-09-25 Olympus Corporation 蛍光観察装置
US8188446B2 (en) 2007-03-20 2012-05-29 Olympus Corporation Fluorescence imaging apparatus
WO2011036792A1 (ja) * 2009-09-28 2011-03-31 国立大学法人高知大学 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JPWO2011036792A1 (ja) * 2009-09-28 2013-02-14 国立大学法人高知大学 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
US10785461B2 (en) 2012-07-26 2020-09-22 DePuy Synthes Products, Inc. YCbCr pulsed illumination scheme in a light deficient environment
JP2018153660A (ja) * 2012-07-26 2018-10-04 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 光が不十分な環境での連続的なビデオ
US11070779B2 (en) 2012-07-26 2021-07-20 DePuy Synthes Products, Inc. YCBCR pulsed illumination scheme in a light deficient environment
US11083367B2 (en) 2012-07-26 2021-08-10 DePuy Synthes Products, Inc. Continuous video in a light deficient environment
US11863878B2 (en) 2012-07-26 2024-01-02 DePuy Synthes Products, Inc. YCBCR pulsed illumination scheme in a light deficient environment
US11974717B2 (en) 2013-03-15 2024-05-07 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
US11438490B2 (en) 2014-03-21 2022-09-06 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
JP2016022325A (ja) * 2014-07-24 2016-02-08 オリンパス株式会社 観察装置
CN110464309A (zh) * 2019-08-27 2019-11-19 深圳大学 一种跨尺度的荧光内窥成像系统

Also Published As

Publication number Publication date
US6573513B2 (en) 2003-06-03
US20010009269A1 (en) 2001-07-26
EP1116473A2 (en) 2001-07-18
EP1116473A3 (en) 2001-07-25
JP4433347B2 (ja) 2010-03-17

Similar Documents

Publication Publication Date Title
JP4433347B2 (ja) 蛍光撮像装置
JP3869324B2 (ja) 蛍光観察用画像処理装置
JP3962122B2 (ja) 内視鏡装置
JP5259882B2 (ja) 撮像装置
JP5229723B2 (ja) 蛍光画像取得装置
JP4855586B2 (ja) 内視鏡装置
EP1258221A2 (en) Endoscope system using normal light and fluorescence
JP2011250926A (ja) 電子内視鏡システム
JP5110702B2 (ja) 蛍光画像取得装置
JP2001157658A (ja) 蛍光画像表示装置
JP2002065582A (ja) 電子内視鏡装置
US20120154566A1 (en) Image processing device
JP2008188196A (ja) 撮像装置
JP2006175052A (ja) 蛍光画像撮像装置
JP2001178672A (ja) 蛍光画像表示装置
JP2001137174A (ja) 蛍光画像表示方法および装置
EP2465410B1 (en) Image processing device
JP2003164414A (ja) 蛍光診断画像表示方法および表示装置
JP2641654B2 (ja) 内視鏡装置
JP2001212073A (ja) 蛍光撮像装置
JP2001212072A (ja) 蛍光撮像装置
JP4531347B2 (ja) 電子内視鏡装置
JP2003018467A (ja) 電荷増倍型固体電子撮像装置およびその制御方法
JP2003159210A (ja) 蛍光診断画像表示方法および表示装置
JP2002325720A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091217

R150 Certificate of patent or registration of utility model

Ref document number: 4433347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees