JP2003000528A - 蛍光診断画像生成方法および装置 - Google Patents

蛍光診断画像生成方法および装置

Info

Publication number
JP2003000528A
JP2003000528A JP2001193890A JP2001193890A JP2003000528A JP 2003000528 A JP2003000528 A JP 2003000528A JP 2001193890 A JP2001193890 A JP 2001193890A JP 2001193890 A JP2001193890 A JP 2001193890A JP 2003000528 A JP2003000528 A JP 2003000528A
Authority
JP
Japan
Prior art keywords
image
light
fluorescence
reference light
excitation light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001193890A
Other languages
English (en)
Inventor
Tomonari Sendai
知成 千代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2001193890A priority Critical patent/JP2003000528A/ja
Publication of JP2003000528A publication Critical patent/JP2003000528A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 複数の異なる波長域の蛍光画像間の強度の比
率から色相画像を求め、参照光の照射により得られる参
照光反射画像の光強度から明度画像を求め、両画像を合
成して合成画像を得るに際し、反射画像の測定精度を高
め、より正確な合成画像を取得する。 【解決手段】 励起光L2の照射強度分布と、参照光L
5の照射強度分布とに基づいて、IR反射画像データF
1を得たときの参照光L5の照射強度分布が励起光L2
の照射強度分布であった場合に得られたであろう補正I
R反射画像データF2を求める補正演算を、補正演算部
132において補正係数メモリ133に記憶された補正
係数により行う。補正IR反射画像データF2から明度
画像データVを、広狭両帯域の蛍光画像の各画素値の比
率から色相画像データHを得、これらを合成して合成画
像データGを生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、励起光の照射によ
り生体組織から発せられた蛍光を撮像し、生体組織に関
する情報を表す蛍光診断画像を生成する蛍光診断画像生
成方法および装置に関するものである。
【0002】
【従来の技術】従来より、所定の波長帯域の励起光を生
体観察部に照射した場合に、正常組織と病変組織とでは
発生する蛍光強度が異なることを利用して、生体観察部
に所定波長の励起光を照射し、生体観察部が発する蛍光
を受光することにより病変組織の局在・浸潤範囲を蛍光
画像として表示する技術が提案されている。
【0003】通常、励起光を照射すると、図8に示すよ
うに、正常組織からは強い蛍光が発せられ、病変組織か
らは微弱な蛍光が発せられるため、蛍光強度を測定する
ことにより、病変状態を判定できる。
【0004】このような蛍光画像を表示するための蛍光
診断画像表示装置は基本的に、励起光を生体観察部に対
して照射する励起光照射手段と、生体組織が発する蛍光
から蛍光画像を取得する蛍光画像取得手段と、この蛍光
画像取得手段の出力を受けて上記蛍光画像を表示する表
示手段とからなるものであり、多くの場合、体腔内部に
挿入される内視鏡や、コルポスコープあるいは手術用顕
微鏡等に組み込まれた形に構成される。
【0005】ここで、生体組織には凹凸があるため、生
体組織に照射される励起光の強度は均一ではない。ま
た、生体組織から発せられる蛍光強度は励起光照度に略
比例するが、励起光照度は距離の2乗に反比例して低下
する。このため、光源から遠くにある正常組織よりも近
くにある病変組織の方が強い蛍光を受光する場合があ
り、励起光による蛍光の強度の情報だけでは生体組織の
組織性状を正確に識別することができない。このような
不具合を低減するために、異なる波長帯域(480nm
付近の狭帯域と430nm近傍から730nm近傍の広
帯域)の蛍光画像における2種類の蛍光強度の比率を除
算により求め、その除算値に基づく演算画像を蛍光診断
画像として表示する方法、すなわち、生体の組織性状を
反映した蛍光スペクトルの形状の違いに基づいた画像の
表示方法や、種々の生体組織に対して一様な吸収を受け
る近赤外光を参照光として生体組織に照射し、この参照
光の照射を受けた生体組織によって反射された反射光の
強度を検出して蛍光強度との比率を除算により求め、そ
の除算値に基づく演算画像を蛍光診断画像として表示す
る方法、すなわち、蛍光収率を反映した値を求めて画像
を表示する方法等が提案されている。
【0006】また、異なる波長帯域の蛍光強度の除算値
に色の情報を割り当てて蛍光診断画像を生成し、蛍光診
断画像における色の違いにより生体組織の病変状態を表
す方法や、その色の違いにより生体組織の病変状態を示
す色画像と、参照光の照射による反射光の強度に明度の
情報を割り当てることにより得られた明度画像とを合成
することにより、生体組織の形状も画像に反映させた凹
凸感のある蛍光診断画像を表示する方法も提案されてい
る。
【0007】しかしながら、生体組織に照射される励起
光と参照光とでは異なる光源を使用するため、それぞれ
の光源から発せられる光の指向性が異なる。また、励起
光と参照光とでは波長が異なることから同じ光学系を通
して射出しても照射される光の配光特性が異なる。この
ため、参照光が生体組織を照射するときの照射強度分布
を励起光が生体組織を照射するときの照射強度分布に一
致させることは難しい。さらに、励起光と参照光の配光
特性を一致させるように光学系を設計したとしても、光
源毎の特性の違いおよび光源の経時変化の影響等により
励起光および参照光の配光特性が変化するため、参照光
の配光特性を常に励起光の配光特性一致させて撮像を行
うことは困難である。
【0008】したがって、生体組織が受光した励起光の
強度分布を生体組織に照射した参照光の反射光の強度分
布で代用して蛍光診断画像を求める方法では、必ずしも
正確な蛍光診断画像を求めることはできない。
【0009】このため、本出願人により、蛍光収率を反
映させた蛍光診断画像を求める際に、励起光の照射強度
分布と参照光の照射強度分布とに基づいて、参照光反射
画像を得たときの参照光の照射強度分布が励起光の照射
強度分布であった場合に得られたであろう励起光対応参
照光反射画像を求める補正演算を参照光反射画像に施
し、励起光対応参照光反射画像を用いて蛍光診断画像を
求めるようにした方法が提案されている(特願平11−
321394号)。
【0010】
【発明が解決しようとする課題】しかしながら、このよ
うな励起光と参照光との照射強度分布の相違に基づく問
題は、蛍光収率を反映させた蛍光診断画像を求める場合
のみならず、異なる波長帯域の蛍光強度の除算値に色の
情報を割り当てた色画像と参照光の照射による反射光の
強度に明度の情報を割り当てることにより得られた明度
画像とを合成することにより得られた蛍光診断画像を生
成する場合にも生じる問題である。
【0011】本発明は上記事情に鑑みなされたものであ
り、上述した色画像と明度画像とを合成して蛍光診断画
像を得る際の参照光反射画像の撮像精度を高め、より正
確な蛍光診断画像を取得することができる蛍光診断画像
生成方法および装置を提供することを目的とするもので
ある。
【0012】
【課題を解決するための手段】本発明による蛍光診断画
像生成方法は、励起光の照射により観察部から発せられ
た蛍光を撮像して波長帯域が異なる複数の蛍光画像を取
得し、参照光の照射を受けた前記観察部によって反射さ
れた前記参照光の反射光を撮像して参照光反射画像を取
得し、前記励起光の照射強度分布および前記参照光の照
射強度分布に基づいて、前記参照光反射画像を得たとき
の前記参照光の照射強度分布が前記励起光の照射強度分
布であった場合に得られたであろう励起光対応参照光反
射画像を取得し、前記複数の蛍光画像間の光強度の比率
に基づいて定められた色情報画像、および前記励起光対
応参照光反射画像の光強度に基づいて定められた輝度情
報画像を生成し、両画像の合成画像を生成することを特
徴とするものである。
【0013】「色情報」とは、例えば、顕色系(HSB
/HVC/Lab/Luv/La**/Lu**色空
間)や混色系(XYZ色空間)の色相、彩度、色度(色
相および彩度)、TV信号等に代表される映像信号の色
差(例えばNTSC信号のYIQのYIQ、YCbCR
のCbCR等)等を意味する。
【0014】「輝度情報」とは、例えば、顕色系(HS
B/HVC/Lab/Luv/La **/Lu**色空
間)や混色系(XYZ色空間)の明度、輝度、TV信号
等に代表される映像信号の輝度(例えばNTSC信号の
YIQのYIQ、YCbCRのCbCR等)等を意味す
る。
【0015】「複数の蛍光画像間の比率に基づいて定め
られた色情報画像」とは、比率の大きさに応じて異なる
色相、彩度、色度、色差を各画素に割り当てた画像をい
う。
【0016】「励起光対応参照光反射画像の光強度に基
づいて定められた輝度情報画像」とは、励起光対応参照
光反射画像の各画素値の大きさに応じて異なる明度、輝
度を割り当てた画像をいう。
【0017】「光強度の比率」とは、光強度の大小関係
を反映させたものであればよい。
【0018】上記比率としては、前記複数の蛍光画像間
の光強度の除算値を用いることができる。なお光強度の
除算値としては、光強度に補正値を加算した上での除算
による値や、除算した値に数学的処理を施した値等、除
算に類する演算により算出された値も含むものである。
【0019】また、励起光対応参照光反射画像の取得
は、励起光の照射強度分布と参照光の照射強度分布とを
利用して、参照光反射画像を得たときの参照光の照射強
度分布が励起光の照射強度分布であった場合に得られた
であろう励起光対応参照光反射画像を求めるものであれ
ばどのような方式を用いてもよい。
【0020】例えば、下記の式(1)または(2)によ
り予め算出された補正係数に基づいて行うようにしても
よい。この場合、この補正係数を参照光反射画像に乗算
して励起光対応参照光反射画像を求める演算により補正
を行えばよい。また、補正係数に基づいて光学的なフィ
ルタを作成し、参照光の反射光をこのフィルタを介して
撮像することにより、撮像時に励起光対応参照光反射画
像を得るようにしてもよい。
【数3】 但し、C(x,y):補正係数 R1(x,y,z):測定距離zにおける前記励起光の
反射光強度または前記蛍光の強度 R2(x,y,z):測定距離zにおける前記参照光の
反射光強度 W(x,y,z):重み関数 Max:最大測定距離 Min:最小測定距離 (x,y):前記励起光の反射光を撮像することにより
取得される励起光反射画像または蛍光画像および参照光
反射画像の画素位置
【0021】ここで、重み関数W(x,y,z)として
は、測定距離zに応じて種々の重み値を有するものを用
いることができる。
【0022】なお、式(1)または(2)において、算
出された補正係数を、補正係数の最大値または補正係数
の全画素(x,y)における加算値により規格化しても
よく、R1(x,y,z)/R2(x,y,z)を算出
した後に、R1(x,y,z)/R2(x,y,z)の
最大値によりR1(x,y,z)/R2(x,y,z)
を規格化してもよい。さらに、規格化されたR1(x,
y,z)/R2(x,y,z)により算出された補正係
数C(x,y)をさらに補正係数C(x,y)の最大値
または補正係数の全画素(x,y)における加算値によ
り規格化してもよい。
【0023】ここで、上記式(1)または(2)におけ
る測定距離とは、観察部と観察部に最も近い位置にある
光学系(例えば蛍光および反射光を集光する集光レン
ズ)との間の距離をいう。
【0024】本発明による蛍光診断画像生成装置は、励
起光および参照光を観察部に照射する照射手段と、前記
励起光の照射により前記観察部から発せられた蛍光を撮
像して波長帯域が異なる複数の蛍光画像を取得するとと
もに、前記参照光の照射を受けた前記観察部によって反
射された前記参照光の反射光を撮像して参照光反射画像
を取得する撮像手段と、前記励起光の照射強度分布およ
び前記参照光の照射強度分布に基づいて、前記参照光反
射画像を得たときの前記参照光の照射強度分布が前記励
起光の照射強度分布であった場合に得られたであろう励
起光対応参照光反射画像を取得する画像取得手段と、前
記複数の蛍光画像間の光強度の比率に基づいて定められ
た色情報画像、および前記励起光対応参照光反射画像の
光強度に基づいて定められた輝度情報画像を生成し、両
画像に基づいた合成画像を生成する合成画像生成手段と
を備えたことを特徴とするものである。
【0025】なお、本発明による蛍光診断画像生成装置
においては、前記画像取得手段を、前記励起光対応参照
光反射画像の取得を、上記式(1)または(2)により
予め算出された補正係数に基づいて前記参照光反射画像
を補正することにより行う手段としてもよい。
【0026】この場合、前記画像取得手段は、前記補正
を、前記補正係数を前記参照光反射画像に乗算して前記
励起光対応参照光反射画像を求める演算により行う手段
とすることが好ましい。
【0027】また、本発明による蛍光診断画像生成装置
においては、前記合成画像生成手段を、前記比率とし
て、前記複数の蛍光画像間の光強度の除算値を用いる手
段としてもよい。
【0028】さらに、本発明による蛍光診断画像生成装
置は、前記照射手段および前記撮像手段の一部または全
部が、生体内部に挿入される内視鏡の形態として用いる
ことが好ましい。
【0029】なお、本発明において、励起光の光源とし
ては、GaN系の半導体レーザを用いることができ、励
起光の波長帯域としては400nm〜420nmの範囲
のものを用いることができる。また、参照光の光源とし
ては、GaAs系の半導体レーザを用いることができ、
参照光の波長帯域としては750nm〜900nmの範
囲のものを用いることができる。
【0030】本発明による他の蛍光診断画像生成装置
は、励起光および参照光を観察部に照射する照射手段
と、前記励起光の照射により前記観察部から発せられた
蛍光を撮像して蛍光画像または波長帯域が異なる複数の
蛍光画像を取得するとともに、前記参照光の照射を受け
た前記観察部によって反射された前記参照光の反射光を
撮像して参照光反射画像を取得する撮像手段と、前記励
起光の照射強度分布および前記参照光の照射強度分布に
基づいて前記参照光反射画像を補正して、前記参照光反
射画像を得たときの前記参照光の照射強度分布が前記励
起光の照射強度分布であった場合に得られたであろう励
起光対応参照光反射画像を取得する画像取得手段と、前
記蛍光画像または前記複数の蛍光画像および前記励起光
対応参照光反射画像に基づいて、蛍光診断画像を生成す
る画像生成手段と、所定の指示に基づいて、前記補正の
態様を更新する更新手段とを備えたことを特徴とするも
のである。
【0031】本発明による他の蛍光診断画像生成装置に
おいて、「蛍光診断画像」としては、蛍光画像の光強度
と励起光対応参照光反射画像の光強度との比率を表す除
算値に基づく画像、異なる波長帯域の蛍光画像間の光強
度の除算値または蛍光画像の光強度と励起光対応参照光
反射画像の光強度の除算値に色の情報を割り当てた色情
報画像、あるいはこの色情報画像と励起光対応参照光反
射画像の光強度に輝度の情報を割り当てた輝度情報画像
との合成画像を用いることができる。
【0032】「所定の指示」とは、例えば外部スイッチ
等から補正の態様の更新を実行させるための入力をい
う。
【0033】「補正の態様の更新」とは、例えば補正係
数に基づいて参照光反射画像を補正する場合には、補正
係数自体を更新することをいうが、補正係数の算出のた
めの演算方法を新たな演算方法に更新するものであって
もよい。
【0034】
【発明の効果】本発明によれば、励起光および参照光を
観察部に照射することにより得られた蛍光および反射光
を撮像することにより、波長帯域が異なる複数の蛍光画
像および参照光反射画像が取得される。そして、励起光
の照射強度分布と参照光の照射強度分布とに基づいて、
参照光反射画像を得たときの参照光の照射強度分布が励
起光の照射強度分布であった場合に得られたであろう励
起光対応参照光反射画像が取得され、複数の蛍光画像間
の光強度の比率に基づいて定められた色情報画像と、励
起光対応参照光反射画像の光強度に基づいて定められた
明度を表す明度画像との合成画像が生成される。このた
め、生体組織が受光した正しい励起光の強度に基づいた
参照光反射画像を取得することができ、これにより、よ
り正確な合成画像を蛍光診断画像として生成することが
できる。
【0035】また、励起光対応参照光反射画像の取得
を、上記式(1)または(2)により予め定められた補
正係数に基づいて参照光反射画像を補正することにより
行えば、重み関数の重みを測定距離に応じて変更するこ
とにより、所望とする測定距離における補正の効果を向
上させることができ、より好ましい励起光対応参照光反
射画像を得ることができる。
【0036】さらに、補正係数を参照光反射画像に乗算
して励起光対応参照光反射画像を求める演算を行うこと
により、数値に基づいた正確な補正を行うことができ、
より正確な励起光対応参照光反射画像を取得することが
できる。
【0037】さらに、上記比率として、複数の蛍光画像
間の光強度の除算値を用いれば、色相画像を求めるため
の数学的処理を簡素化することができる。
【0038】また、本発明による他の蛍光診断画像生成
装置においては、所定の指示に基づいて、参照光反射画
像を補正する際の補正の態様を更新するようにしたた
め、経時等により励起光および/または参照光の照射強
度分布が変化しても、補正の態様を更新すれば、常に新
しい補正の態様により参照光反射画像を補正して励起光
対応参照光反射画像を得ることができる。したがって、
常に正確な蛍光診断画像を生成することができる。
【0039】
【発明の実施の形態】以下図面を参照して本発明の実施
形態について説明する。図1は本発明の第1の実施形態
による蛍光診断画像生成装置を適用した蛍光内視鏡装置
の概略構成図である。本発明の第1の実施形態による蛍
光内視鏡装置は、励起光が照射された観察部から発せら
れた蛍光をイメージファイバにより2次元的に検出し、
波長帯域光430nm〜530nmの狭帯域蛍光画像と
波長帯域光430nm〜730nmの広帯域蛍光画像と
を撮像し、両画像の光強度すなわち各画素における画素
値の除算値に基づいて色相画像を生成し、また白色光を
照射された観察部の反射光からIR反射画像を撮像し、
IR反射画像の光強度すなわち各画素の画素値に基づい
て明度画像を生成し、両画像を合成した合成画像をモニ
タに表示するものである。
【0040】図1に示すように、本発明の第1の実施形
態による蛍光内視鏡装置は、患者の病巣と疑われる部位
に挿入される内視鏡挿入部100および画像処理部1か
らなる。
【0041】画像処理部1は、通常画像およびIR反射
画像撮像用の白色光L1(参照光L5を含む)および蛍
光画像撮像用の励起光L2を射出する光源を備える照明
ユニット110、観察部10についての波長帯域が異な
る2種類の蛍光画像およびIR反射画像を撮像して蛍光
画像データK1,K2およびIR反射画像データF1を
得る撮像ユニット120、各蛍光画像データK1,K2
により表される蛍光画像間における対応する画素値の除
算値を算出して除算値に基づいた色相画像データHと、
IR反射画像データF1を後述するように補正すること
により得られた補正IR反射画像データF2により表さ
れる補正IR反射画像の各画素の画素値に基づいた明度
画像データVとを生成し、色相画像データHおよび明度
画像データVを合成して合成画像を表す合成画像データ
Gを生成する合成画像生成ユニット130、通常画像を
表す通常画像データNおよび合成画像データGに対し
て、可視画像として表示するための画像処理を行う画像
処理ユニット140、各ユニットに接続され、動作タイ
ミングの制御を行うコントローラ150、画像処理ユニ
ット140において処理された通常画像データNを可視
画像として表示するモニタ160、並びに画像処理ユニ
ット140において処理された合成画像データGを可視
画像として表示するモニタ170から構成されている。
【0042】内視鏡挿入部100は、内部に先端まで延
びるライトガイド101、CCDケーブル102および
イメージファイバ103を備えている。ライトガイド1
01およびCCDケーブル102の先端部、すなわち内
視鏡挿入部100の先端部には、照明レンズ104およ
び対物レンズ105を備えている。また、イメージファ
イバ103は石英ガラスファイバであり、その先端部に
は集光レンズ106を備えている。CCDケーブル10
2の先端部には、図示省略されたカラーフィルタがオン
チップされたCCD撮像素子107が接続され、CCD
撮像素子107には、プリズム108が取り付けられて
いる。ライトガイド101は、多成分ガラスファイバで
ある白色光ライトガイド101aおよび石英ガラスファ
イバである励起光ライトガイド101bがバンドルさ
れ、ケーブル状に一体化されており、白色光ライトガイ
ド101aおよび励起光ライトガイド101bは照明ユ
ニット110へ接続されている。CCDケーブル102
の一端は、画像処理ユニット140に接続され、イメー
ジファイバ103の一端は、撮像ユニット120へ接続
されている。
【0043】照明ユニット110は、通常画像およびI
R反射画像撮像用の白色光L1(近赤外光からなる参照
光L5を含む)を発するハロゲンランプ等の白色光源1
11、白色光源111に電気的に接続された白色光源用
電源112、白色光源111から射出された白色光を集
光する白色光用集光レンズ113、蛍光画像撮像用の励
起光L2を発するGaN系半導体レーザ114、GaN
系半導体レーザ114に電気的に接続されている励起光
用電源115、およびGaN系半導体レーザ114から
射出される励起光を集光する励起光用集光レンズ116
を備えている。
【0044】撮像ユニット120は、イメージファイバ
103により伝搬された蛍光L3を結像系に導くコリメ
ートレンズ128、蛍光L3から励起光近傍の波長であ
る420nm以下の波長帯域をカットする励起光カット
フィルタ121、3種類の光学フィルタが組み合わされ
た切換フィルタ122、切換フィルタ122を回転させ
るフィルタ回転装置124、切換フィルタ122を透過
した反射光L6および蛍光L3を結像させる集光レンズ
129、集光レンズ129により結像された反射光L6
および蛍光L3により表されるIR反射画像および蛍光
画像を撮像するCCD撮像素子125、CCD撮像素子
125において取得された撮像信号をデジタル化して2
種類の蛍光画像データK1,K2およびIR反射画像デ
ータF1を得るA/D変換回路126を備えている。
【0045】図2は切換フィルタの構成を示す図であ
る。図2に示すように、切換フィルタ122は、430
nm〜730nmの光を透過させるバンドパスフィルタ
である光学フィルタ123a、480nm±50nmの
光を透過させるバンドパスフィルタである光学フィルタ
123b、および750nm〜900nmの光を透過さ
せるバンドパスフィルタである光学フィルタ123cか
ら構成されている。光学フィルタ123aは、広帯域蛍
光画像撮像用の光学フィルタであり、光学フィルタ12
3bは、狭帯域蛍光画像撮像用の光学フィルタであり、
光学フィルタ123cは、IR反射画像撮像用の光学フ
ィルタである。この切換フィルタ122は、観察部10
に白色光L1が照射されている場合には、光路上に光学
フィルタ123cが配置され、観察部10に励起光L2
が照射されている場合には、光学フィルタ123aまた
は光学フィルタ123bが交互に配置されるように、フ
ィルタ回転装置124を介してコントローラ150によ
り制御されている。
【0046】合成画像生成ユニット130は、撮像ユニ
ット120のA/D変換回路126において得られた2
種類の蛍光画像データK1,K2およびIR反射画像デ
ータF1を記憶する画像メモリ131、励起光L2の照
射強度分布と参照光L5(すなわち白色光L1)の照射
強度分布とに基づいて、IR反射画像データF1に対し
て補正演算を施すことにより、IR反射画像データF1
を得たときの参照光L5の照射強度分布が励起光L2の
照射強度分布であった場合に得られたであろう補正IR
反射画像データF2を算出する補正演算部132、補正
IR反射画像データF2を算出するために必要な補正係
数を記憶する補正係数メモリ133、補正IR反射画像
データF2により表される補正IR反射画像の各画素値
の範囲とマンセル表色系における明度とを対応付けたル
ックアップテーブルが記憶され、このルックアップテー
ブルを参照して補正IR反射画像データF2から明度画
像データVを求める明度演算部134、蛍光画像間の除
算値の範囲とマンセル表色系の色相環における色相とを
対応付けたルックアップテーブルが記憶され、このルッ
クアップテーブルを参照して蛍光画像間の除算値から色
相画像データHを生成する色相演算部135、色相画像
データHおよび明度画像データVを合成して合成画像を
表す合成画像データGを生成する画像合成部136、お
よび補正係数を算出する補正係数算出部137から構成
されている。
【0047】画像メモリ131は、図示省略した狭帯域
蛍光画像データ記憶領域、広帯域蛍光画像データ記憶領
域およびIR反射画像データ記憶領域から構成され、励
起光L2が照射され、狭帯域蛍光画像撮像用の光学フィ
ルタ123aがイメージファイバ103を伝搬した蛍光
L3の光路上に配置された状態で撮像された蛍光画像を
表す狭帯域蛍光画像データK1は狭帯域蛍光画像データ
記憶領域に記憶され、励起光L2が照射され、広帯域蛍
光画像撮像用の光学フィルタ123bがイメージファイ
バ103を伝搬した蛍光L3光路上に配置された状態で
撮像された蛍光画像を表す広帯域蛍光画像データK2は
広帯域蛍光画像画像データ記憶領域に記憶される。また
参照光L5すなわち白色光L1が照射され、IR反射画
像撮像用の光学フィルタ123cがイメージファイバ1
03を伝搬した反射光L6すなわち反射光L4の光路上
に配置された状態で撮像されたIR反射画像を表すIR
反射画像データF1はIR反射画像データ記憶領域に記
憶される。
【0048】補正係数メモリ133に記憶される補正係
数は、補正係数算出部137において下記の式(1)に
より算出される。
【数4】 但し、C(x,y):補正係数 R1(x,y,z):測定距離zにおける標準励起光画
像データ R2(x,y,z):測定距離zにおける標準IR反射
画像データ W(x,y,z):重み関数 Max:最大測定距離 Min:最小測定距離 (x,y):蛍光画像およびIR反射画像の画素位置 ここで、測定距離zは、内視鏡挿入部100の先端から
観察部10までの距離である。
【0049】なお、標準反射励起光画像データR1およ
び標準反射画像データR2は、本実施形態においては、
励起光L2の波長領域の光および参照光L5の波長領域
の光をほとんど吸収しない白色標準反射板を用意し、こ
れに照明ユニット110から参照光L5および励起光L
2を照射し、測定距離をMinからMaxまで変更しつ
つこれらの反射光を撮像ユニット120において撮像す
ることにより求めることができる。
【0050】また、重み関数Wは、測定距離に応じてR
1(x,y,z)/R2(x,y,z)(以下R1/R
2と省略する)に乗算する重みを設定するものであり、
図3に示すように種々の重み値を有する重み関数Wを用
いることができる。例えば、図3における重み関数W1
は全測定距離に対して均等な重み付けを行い、重み関数
W2は測定可能な範囲の中間位置付近に重み付けを行
い、重み関数W3は最小測定距離付近に重み付けを行
い、重み関数4は特定の距離(図3では測定距離の中間
位置)に対してのみ重み付けを行うものである。
【0051】なお、実際に補正係数C(x,y)を算出
する際には、式(1)における積分は離散化されるた
め、下記の式(2)により補正係数C(x,y)が算出
されることとなる。
【数5】
【0052】なお、補正係数C(x,y)を算出した
後、各画素(x,y)における補正係数C(x,y)を
補正係数C(x,y)の最大値Cmaxにより規格化
し、補正係数C(x,y)を0〜1の範囲の値を有する
ものとすることが好ましい。このように規格化を行うこ
とにより、補正IR反射画像データF2を算出する際の
演算を容易に行うことができる。また、全画素(x,
y)における補正係数C(x,y)の総和Csumによ
り補正係数C(x,y)を規格化してもよい。
【0053】また、上記式(1)または(2)におい
て、測定距離zにおいてR1/R2を算出した後に、各
画素(x,y)におけるR1/R2の値を、R1/R2
の最大値により規格化してもよい。ここで、補正係数C
(x,y)を算出する際の各測定距離zにおいて、R1
/R2の値は種々の値に分布する。例えば測定距離z=
5mmの場合には0〜0.15の範囲に分布し、測定距
離z=50mmの場合には0〜2の範囲に分布する。こ
のように、R1/R2の値の分布範囲が測定距離におい
て異なると、重み関数Wにより重み付けされた値が測定
距離zに応じて異なるため演算を行う上では好ましくな
い。これに対し、R1/R2の値を規格化することによ
り、補正係数C(x,y)を算出する際の各測定距離z
におけるR1/R2の値を常に0〜1の範囲の値とする
ことができるため、測定距離zの相違に基づくR1/R
2の値の相違を補償することができる。
【0054】さらに、R1/R2の値を規格化すること
により得られた補正係数C(x,y)の値を、補正係数
C(x,y)の最大値Cmaxあるいは補正係数C
(x,y)の総和Csumによりさらに規格化してもよ
い。
【0055】画像処理ユニット140は、CCD撮像素
子107において取得された撮像信号からカラー画像で
ある通常画像をアナログの通常画像データとして生成す
る信号処理回路141、信号処理回路において生成され
た通常画像データをデジタル化してデジタルの通常画像
データNを得るA/D変換回路142、通常画像データ
Nを記憶する通常画像メモリ143、通常画像メモリ1
43から出力された通常画像データNおよび画像合成部
136において合成された合成画像データGをビデオ信
号に変換するビデオ信号処理回路144を備えている。
【0056】次いで、第1の実施形態の動作について説
明する。まず、通常画像の撮像および通常画像の表示の
動作を説明し、次に反射画像の撮像、蛍光画像の撮像時
の動作を説明し、その後で合成画像の合成および表示の
動作について説明する。
【0057】第1の実施形態による実施形態において
は、通常画像およびIR反射画像の撮像と、蛍光画像の
撮像が時分割で交互に行われる。通常画像およびIR反
射画像の撮像時には、コントローラ150からの信号に
基づいて白色光源用電源112が駆動され、白色光源1
11から白色光L1が射出される。白色光L1は白色光
用集光レンズ113を経て白色光ライトガイド101a
に入射され、内視鏡挿入部100の先端まで導光された
後、照明レンズ104から観察部10へ照射される。
【0058】白色光L1の反射光L4は対物レンズ10
5によって集光され、プリズム108において反射され
て、CCD撮像素子107に結像される。
【0059】信号処理回路141においては、CCD撮
像素子107において撮像された反射光L4からカラー
画像であるアナログの通常画像データが作成される。ア
ナログの通常画像データはA/D変換回路142へ入力
され、デジタル化された後、通常画像データNとして通
常画像メモリ143に記憶される。通常画像メモリ14
3に記憶された通常画像データNは、ビデオ信号処理回
路144によってビデオ信号に変換された後にモニタ1
60に入力され、モニタ160に可視画像として表示さ
れる。上記一連の動作は、コントローラ150によって
制御される。
【0060】一方、同時に白色光L1の反射光L4(参
照光L5の反射光L6を含む)は、集光レンズ106に
より集光され、イメージファイバ103の先端に入射さ
れ、イメージファイバ103を経て、コリメートレンズ
128により集光され、励起光カットフィルタ121お
よび切換フィルタ122の光学フィルタ123cを透過
する。
【0061】光学フィルタ123cは、波長帯域750
nm〜900nmの光のみを透過させるバンドパスフィ
ルタであるため、光学フィルタ123cにおいては参照
光L5の反射光L6のみが透過する。
【0062】光学フィルタ123cを透過した反射光L
6は、CCD撮像素子125において受光される。CC
D撮像素子125において光電変換されることにより得
られたアナログのIR反射画像データは、A/D変換回
路126においてデジタル信号に変換された後、画像メ
モリ131のIR反射画像記憶領域にIR反射画像デー
タF1として記憶される。
【0063】次に、蛍光画像を撮像する場合の動作につ
いて説明する。コントローラ150からの信号に基づい
て励起光用電源115が駆動され、GaN系半導体レー
ザ114から波長410nmの励起光L2が射出され
る。励起光L2は、励起光用集光レンズ116を透過
し、励起光ライトガイド101bに入射され、内視鏡挿
入部先端まで導光された後、照明レンズ104から観察
部10へ照射される。
【0064】励起光L2を照射されることにより観察部
10から発生する蛍光L3は、集光レンズ106により
集光され、イメージファイバ103の先端に入射され、
イメージファイバ103を経てコリメートレンズ128
により集光され、励起光カットフィルタ121および切
換フィルタ122の光学フィルタ123aまたは123
bを透過する。
【0065】光学フィルタ123aは、波長帯域430
nm〜730nmの光を透過させるバンドパスフィルタ
であり、光学フィルタ123aを透過した蛍光L3は、
広帯域蛍光画像を表すものとなる。光学フィルタ123
bは、波長帯域480±50nmの光を透過させるバン
ドパスフィルタであり、光学フィルタ123bを透過し
た蛍光L3は、狭帯域蛍光画像を表すものとなる。
【0066】広帯域蛍光画像および狭帯域蛍光画像を表
す蛍光L3は、CCD撮像素子125において受光さ
れ、光電変換された後、A/D変換回路126において
デジタル信号に変換され、画像メモリ131の広帯域蛍
光画像記憶領域および狭帯域蛍光画像記憶領域にそれぞ
れ広帯域蛍光画像データK1および狭帯域蛍光画像デー
タK2として記憶される。
【0067】以下、合成画像の生成における動作を説明
する。まず、合成画像生成ユニット130の色相演算部
135においては、画像メモリ131に記憶された広帯
域蛍光画像データK1および狭帯域蛍光画像データK2
により表される広帯域蛍光画像および狭帯域蛍光画像の
各画素毎に、狭帯域蛍光画像における画素値を広帯域蛍
光画像における画素値で除算し、その除算値と予め記憶
されているルックアップテーブルとを用いて、マンセル
表色系における色相(Hue)を定め、これを色相画像
データHとして画像合成部136に出力する。
【0068】補正演算部132においては、画像メモリ
131に記憶されたIR反射画像データF1により表さ
れるIR反射画像の各画素の画素値に、補正係数メモリ
133に記憶された補正係数C(x,y)が乗算され、
補正IR反射画像データF2が得られる。
【0069】明度演算部134においては、補正IR反
射画像データF2により表される補正IR反射画像の各
画素毎に、信号強度とルックアップテーブルとを用い
て、マンセル表色系における明度を定め、これを明度画
像データVとして画像合成部136に出力する。
【0070】画像合成部136においては、色相画像デ
ータHおよび明度画像データVが合成され、合成画像を
表す合成画像データGが生成される。なお、画像をカラ
ー表示する場合に、色の3属性である、色相、明度およ
び彩度が必要であるため、画像合成の際には、マンセル
表色系における彩度S(Saturation)とし
て、各色相、明度毎の最大値を設定する。なお、合成画
像データGはRGB変換がなされ、RGB各色からなる
カラー画像を表すものとなる。合成画像データGは画像
処理ユニット140のビデオ信号処理回路144へ出力
される。
【0071】ビデオ信号処理回路144によってビデオ
信号に変換された合成画像データGは、モニタ170に
入力され、モニタ170に可視画像として表示される。
上記一連の動作は、コントローラ150によって制御さ
れる。
【0072】このように、本実施形態によれば、励起光
L2の照射強度分布と参照光L5の照射強度分布とに基
づいて、IR反射画像データF1を得たときの参照光L
5の照射強度分布が励起光L2の照射強度分布であった
場合に得られたであろう補正IR反射画像データF2が
取得され、2種類の蛍光画像間の光強度の比率に基づい
て定められた色相を示す色相画像データHと、補正IR
反射画像の光強度に基づいて定められた明度を表す明度
画像データVとの合成画像データGが生成され、これが
モニタ170に表示される。このため、IR反射画像デ
ータF1を観察部10が受光した正しい励起光L2の強
度に基づいて補正することができ、これにより、より正
確な蛍光診断画像を取得することができる。
【0073】また、補正IR反射画像データを、上記式
(1)または(2)により予め定められた補正係数C
(x,y)に基づいてIR反射画像データを補正するこ
とにより求めれば、重み関数Wを測定距離zに応じて変
更することにより、所望とする測定距離zにおける補正
の効果を向上させることができ、これによりさらに好ま
しい補正IR反射画像を得ることができる。
【0074】また、励起光L2の光源として、GaN系
半導体レーザ114を用いているため、安価で小型な光
源により励起光L2を照射することができる。また、励
起光L2の波長を、410nmとしたため、観察部10
から効率良く蛍光L3が発せられる。
【0075】さらに、モニタ170に表示された合成画
像の色相は、2種類の蛍光画像間の光強度の除算値、す
なわち観察部10から発せられた蛍光の蛍光スペクトル
の形状の違いを反映させたものとなり、明度は、IR反
射画像の光強度、すなわち観察部10の形状を反映させ
たものとなり、1枚の画像に、観察部10から発せられ
た蛍光L3に関する情報とともに、観察部10の形状に
関する情報を表示することができ、観察者に違和感を与
えることがない。このため、観察者は、容易に観察部の
組織性状を判定することができる。
【0076】次いで、本発明の第2の実施形態について
説明する。図4は本発明の第2の実施形態による蛍光診
断画像生成装置を適用した蛍光内視鏡装置の概略構成図
である。なお、第2の実施形態において第1の実施形態
と同一の構成については同一の参照番号を付し、詳細な
説明は省略する。図4に示すように、本発明の第2の実
施形態による内視鏡装置は、患者の病巣と疑われる部位
に挿入される内視鏡挿入部200および画像処理部2か
らなる。
【0077】画像処理部2は、通常画像撮像用の白色光
L1、IR反射画像撮像用の近赤外光である参照光L5
および蛍光画像撮像用の励起光L2を発する光源を備え
る照明ユニット210、観察部10についての波長帯域
が異なる2種類の蛍光画像およびIR反射画像を撮像し
て蛍光画像データK1,K2およびIR反射画像データ
F1を得る撮像ユニット220、各蛍光画像データK
1,K2により表される蛍光画像間における対応する画
素値の除算値を算出して除算値に基づいた色相画像デー
タHと、IR反射画像データF1を後述するように補正
することにより得られた補正IR反射画像データF2に
より表される補正IR反射画像の各画素の画素値に基づ
いた明度画像データVとを生成し、色相画像データHお
よび明度画像データVを合成して合成画像を表す合成画
像データGを生成する合成画像生成ユニット230、通
常画像を表す通常画像データNおよび合成画像データG
に対して、可視画像として表示するための画像処理を行
う画像処理ユニット140、各ユニットに接続され、動
作タイミングの制御を行うコントローラ240、画像処
理ユニット140において処理された通常画像データN
を可視画像として表示するモニタ160、並びに画像処
理ユニット140において処理された合成画像データG
を可視画像として表示するモニタ170から構成されて
いる。
【0078】内視鏡挿入部200は、内部に先端まで延
びるライトガイド201を備え、他の構成は、第1の実
施形態における内視鏡挿入部100と同様である。ライ
トガイド201は、石英ガラスファイバである励起光ラ
イトガイド202a、多成分ガラスファイバである白色
光ライトガイド202b、および多成分ガラスファイバ
である近赤外光ライトガイド202cがバンドルされ、
ケーブル状に一体化されており、白色光ライトガイド2
02b、励起光ライトガイド202aおよび近赤外光ラ
イトガイド202cは照明ユニット210へ接続されて
いる。
【0079】照明ユニット210は、白色光源111、
白色光源用電源112、白色光用集光レンズ113、G
aN系半導体レーザ114、励起光用電源115および
励起光用集光レンズ116に加え、IR反射画像撮像用
の波長帯域750nm〜900nm内のいずれかの発振
波長の参照光L5を発するGaAs系半導体レーザ21
1、GaAs系半導体レーザ211に電気的に接続され
た参照光用電源212、およびGaAs系半導体レーザ
211から射出された参照光L5を集光する参照光用集
光レンズ213を備える。
【0080】撮像ユニット220は、イメージファイバ
103により伝搬された蛍光L3を結像系に導くコリメ
ートレンズ128、蛍光L3から励起光近傍の波長であ
る420nm以下の波長帯域をカットする励起光カット
フィルタ121、波長700nm以下の光を透過させ、
700nm以上の光を直角方向へ反射するダイクロイッ
クミラー221、ダイクロイックミラー221を透過し
た蛍光L3を結像させる集光レンズ129、集光レンズ
129により結像された蛍光L3により表される蛍光画
像を撮像するモザイクフィルタ222がオンチップされ
たCCD撮像素子223、CCD撮像素子223におい
て撮像された撮像信号をデジタル化して2種類の蛍光画
像データK1,K2を得るA/D変換回路224、ダイ
クロイックミラー221において反射された反射光L6
を結像させる集光レンズ229、集光レンズ229によ
り結像された反射光L6により表されるIR反射画像を
撮像する後述する補正フィルタ225がオンチップされ
たCCD撮像素子226、およびCCD撮像素子226
において撮像された撮像信号をデジタル化して補正IR
反射画像データF2を得るA/D変換回路227を備え
ている。
【0081】図5はモザイクフィルタ222の構成を示
す図である。図5に示すようにモザイクフィルタ222
は、2種類の微少な光学フィルタ222a,222bか
ら構成される。光学フィルタ222aは480±50n
mの光を透過させる狭帯域蛍光画像撮像用のバンドパス
フィルタであり、光学フィルタ223bは430nm〜
730nmの光を透過させる広帯域蛍光画像撮像用のバ
ンドパスフィルタである。各微少な光学フィルタはCC
D撮像素子223の画素と1対1で対応している。
【0082】補正フィルタ225は、参照光L5の照射
強度分布が励起光L2の照射強度分布であった場合に得
られたであろう補正IR反射画像データF2をCCD撮
像素子226において得るために、CCD撮像素子22
6に結像される反射光L6の強度分布を補正するもので
ある。補正フィルタ225は微小な光学フィルタからな
るモザイクフィルタであり、各光学フィルタが第1の実
施形態において算出された補正係数C(x,y)に応じ
た光の透過率を有するものとなっている。また、集光レ
ンズ229を透過した反射光L6を銀塩ネガフイルムに
より撮影し、これを現像することにより得られるネガフ
イルムをそのまま補正フィルタ225としても用いても
よい。
【0083】合成画像生成ユニット230は、撮像ユニ
ット220のA/D変換回路224において得られた2
種類の蛍光画像データK1,K2を記憶する画像メモリ
231、撮像ユニット220のA/D変換回路227に
おいて得られたIR反射画像データ(補正フィルタ22
5により補正されているため、以後補正IR反射画像デ
ータF2とする)を記憶する画像メモリ232、蛍光画
像間の除算値の範囲とマンセルの色相環における色相と
を対応付けたルックアップテーブルが記憶され、このル
ックアップテーブルを参照して蛍光画像間の除算値から
色相画像データHを生成する色相演算部233、補正I
R反射画像データF2により表される補正IR反射画像
の画素値の範囲とマンセル表色系における明度とを対応
付けたルックアップテーブルが記憶され、このルックア
ップテーブルを参照して補正IR反射画像データF2か
ら明度画像データVを求める明度演算部234、および
色相画像データHおよび明度画像データVを合成して合
成画像を表す合成画像データGを生成する画像合成部2
35から構成されている。
【0084】次いで、第2の実施形態の動作について説
明する。なお、通常画像の撮像および通常画像の表示の
動作は第1の実施形態と同様であるため省略し、反射画
像の撮像、蛍光画像の撮像時の動作を説明し、その後で
合成画像の合成および表示の動作について説明する。
【0085】第2の実施形態による内視鏡装置において
は、通常画像、IR反射画像および蛍光画像の撮像が時
分割で交互に行われる。IR反射画像の撮像時には、コ
ントローラ240からの信号に基づき参照光用電源21
2が駆動され、GaAs系半導体レーザ211から波長
帯域750nm〜900nm内のいずれかの発振波長の
近赤外光である参照光L5が射出される。参照光L5
は、参照光用集光レンズ213を経て参照光ライトガイ
ド202cに入射され、内視鏡挿入部先端まで導光され
た後、照明レンズ104から観察部10へ照射される。
【0086】参照光L5の反射光L6は集光レンズ10
6により集光され、イメージファイバ103の先端に入
射され、イメージファイバ103を経て、コリメートレ
ンズ128により集光され、励起光カットフィルタ12
1透過し、ダイクロイックミラー221に入射する。
【0087】ダイクロイックミラー221は、波長70
0nm以上の光は、直角方向に反射するため、参照光L
5の反射光L6は反射され、集光レンズ229を透過
し、さらに補正フィルタ225を透過してCCD撮像素
子226において受光され、光電変換された後、A/D
変換回路227においてデジタル信号に変換され、画像
メモリ232に補正IR反射画像データF2として記憶
される。
【0088】次に、蛍光画像を撮像する場合の動作につ
いて説明する。コントローラ240からの信号に基づい
て励起光用電源115が駆動され、GaN系半導体レー
ザ114から波長410nmの励起光L2が射出され
る。励起光L2は、励起光用集光レンズ116を透過
し、励起光ライトガイド202aに入射され、内視鏡挿
入部先端まで導光された後、照明レンズ104から観察
部10へ照射される。
【0089】励起光L2を照射されることにより生じる
観察部10からの蛍光L3は、集光レンズ106により
集光され、イメージファイバ103の先端に入射され、
イメージファイバ103を経て、コリメートレンズ12
8により集光され、励起光カットフィルタ121および
ダイクロイックミラー221を透過して、CCD撮像素
子223にオンチップされたモザイクフィルタ222に
入射する。
【0090】上記モザイクフィルタ222の狭帯域蛍光
画像撮像用の光学フィルタ222aを透過した蛍光L3
は、狭帯域蛍光画像を表すものとなり、広帯域蛍光画像
撮像用の光学フィルタ222bを透過した蛍光L3は、
広帯域蛍光画像を表すものとなる。
【0091】広帯域蛍光画像および狭帯域蛍光画像を表
す蛍光L3は、集光レンズ129を透過してCCD撮像
素子223において受光され、光電変換された後、A/
D変換回路224においてデジタル信号に変換され、画
像メモリ231の広帯域蛍光画像記憶領域および狭帯域
蛍光画像記憶領域にそれぞれ広帯域蛍光画像データK1
および狭帯域蛍光画像データK2として記憶される。
【0092】以下、合成画像の生成における動作を説明
する。まず、合成画像生成ユニット230の色相演算部
233においては、画像メモリ231に記憶された広帯
域蛍光画像データK1および狭帯域蛍光画像データK2
により表される広帯域蛍光画像および狭帯域蛍光画像の
各画素毎に、狭帯域蛍光画像における画素値を広帯域蛍
光画像における画素値で除算し、その除算値と予め記憶
されているルックアップテーブルとを用いて、マンセル
表色系における色相を定め、これを色相画像データHと
して画像合成部235に出力する。
【0093】明度演算部234においては、補正IR反
射画像データF2により表される補正IR反射画像の各
画素毎に、信号強度とルックアップテーブルとを用い
て、マンセル表色系における明度を定め、これを明度画
像データVとして画像合成部235に出力する。
【0094】画像合成部235においては、色相画像デ
ータHおよび明度画像データVが合成され、合成画像を
表す合成画像データGが生成される。なお、画像をカラ
ー表示する場合に、色の3属性である、色相、明度およ
び彩度が必要であるため、画像合成の際には、マンセル
表色系における彩度として、各色相、明度毎の最大値を
設定する。なお、合成画像データGはRGB変換がなさ
れ、RGB各色からなるカラー画像を表すものとなる。
合成画像データGは画像処理ユニット140のビデオ信
号処理回路144へ出力される。
【0095】ビデオ信号処理回路144によってビデオ
信号に変換された合成画像データGは、モニタ170に
入力され、モニタ170に可視画像として表示される。
上記一連の動作は、コントローラ150によって制御さ
れる。
【0096】このように、第2の実施形態においては、
補正フィルタ225によりIR反射画像を得たときの参
照光L5の照射強度分布が励起光L2の照射強度分布で
あった場合に得られたであろう補正IR反射画像データ
F2が取得され、2種類の蛍光画像間の光強度の比率に
基づいて定められた色相を示す色相画像データHと、補
正IR反射画像データF2に基づいて定められた明度を
表す明度画像データVとの合成画像データGが生成さ
れ、これがモニタ170に表示される。このため、観察
部10が受光した正しい励起光L2の強度に基づいた補
正IR反射画像データF2を求めることができ、これに
より、より正確な蛍光診断画像を取得することができ
る。
【0097】次いで、本発明の第3の実施形態について
説明する。図6は本発明の第3の実施形態による蛍光診
断画像生成装置を適用した蛍光内視鏡装置の概略構成図
である。なお、第3の実施形態において第2の実施形態
と同一の構成については同一の参照番号を付し、詳細な
説明は省略する。図6に示すように、本発明の第3の実
施形態による内視鏡装置は、第2の実施形態における補
正フィルタ225に代えて、A/D変換回路227にお
いて取得されたIR反射画像データF1に対して補正演
算を施すことにより、IR反射画像データF1を得たと
きのこの参照光の照射強度分布が励起光L2の照射強度
分布であった場合に得られたであろう補正IR反射画像
データF2を算出する補正演算部251、補正IR反射
画像データF2を算出するために必要な補正係数を記憶
する補正係数メモリ252、および補正係数を算出する
補正係数算出部253から構成されている。なお、第3
の実施形態においては第2の実施形態との区別のため画
像処理部2に′を付す。また、補正演算部251、補正
係数メモリ252、および補正係数算出部253は第1
の実施形態における補正演算部132、補正係数メモリ
133、および補正係数算出部137と同一の動作を行
うため、詳細な説明は省略する。
【0098】次いで、第3の実施形態の動作について説
明する。なお、通常画像の撮像、通常画像の表示、およ
び蛍光画像の撮像の動作は第2の実施形態と同様である
ため省略し、反射画像の撮像時の動作を説明し、その後
で合成画像の合成および表示の動作について説明する。
【0099】第3の実施形態による内視鏡装置において
は、通常画像、IR反射画像および蛍光画像の撮像が時
分割で交互に行われる。IR反射画像の撮像時には、コ
ントローラ240からの信号に基づき参照光用電源21
2が駆動され、GaAs系半導体レーザ211から波長
帯域750nm〜900nm内のいずれかの発振波長の
近赤外光である参照光L5が射出される。参照光L5
は、参照光用集光レンズ213を経て参照光ライトガイ
ド202cに入射され、内視鏡挿入部先端まで導光され
た後、照明レンズ104から観察部10へ照射される。
【0100】参照光L5の反射光L6は集光レンズ10
6により集光され、イメージファイバ103の先端に入
射され、イメージファイバ103を経て、コリメートレ
ンズ128により集光され、励起光カットフィルタ12
1透過し、ダイクロイックミラー221に入射する。
【0101】ダイクロイックミラー221は、波長70
0nm以上の光は、直角方向に反射するため、参照光L
5の反射光L6は反射され、集光レンズ229を透過し
CCD撮像素子226において受光され、光電変換され
た後、A/D変換回路227においてデジタルのIR反
射画像データF1に変換される。補正演算部251にお
いては、IR反射画像データF1により表されるIR反
射画像の各画素値に、補正係数メモリ252に記憶され
た補正係数C(x,y)が乗算され、補正IR反射画像
データF2が得られる。なお、補正係数C(x,y)は
補正係数算出部253において予め算出されて補正係数
メモリ252に記憶されている。補正IR反射画像デー
タF2は、画像メモリ232に記憶される。
【0102】以下、合成画像の生成における動作を説明
する。まず、合成画像生成ユニット230の色相演算部
233においては、画像メモリ231に記憶された広帯
域蛍光画像データK1および狭帯域蛍光画像データK2
により表される広帯域蛍光画像および狭帯域蛍光画像の
各画素毎に、狭帯域蛍光画像における画素値を広帯域蛍
光画像における画素値で除算し、その除算値と予め記憶
されているルックアップテーブルとを用いて、マンセル
表色系における色相を定め、これを色相画像データHと
して画像合成部235に出力する。
【0103】明度演算部234においては、補正IR反
射画像データF2により表される補正IR反射画像の各
画素毎に、信号強度とルックアップテーブルとを用い
て、マンセル表色系における明度を定め、これを明度画
像データVとして画像合成部235に出力する。
【0104】画像合成部235においては、色相画像デ
ータHおよび明度画像データVが合成され、合成画像を
表す合成画像データGが生成される。なお、画像をカラ
ー表示する場合に、色の3属性である、色相、明度およ
び彩度が必要であるため、画像合成の際には、マンセル
表色系における彩度として、各色相、明度毎の最大値を
設定する。なお、合成画像データGはRGB変換がなさ
れ、RGB各色からなるカラー画像を表すものとなる。
合成画像データGは画像処理ユニット140のビデオ信
号処理回路144へ出力される。
【0105】ビデオ信号処理回路144によってビデオ
信号に変換された合成画像データGは、モニタ170に
入力され、モニタ170に可視画像として表示される。
上記一連の動作は、コントローラ150によって制御さ
れる。
【0106】次いで、本発明の第4の実施形態について
説明する。図7は、本発明の第4の実施形態による蛍光
診断画像生成装置を適用した蛍光内視鏡装置の概略構成
図である。なお、第4の実施形態において第1の実施形
態と同一の構成については同一の参照番号を付し、詳細
な説明は省略する。図7に示すように、本発明の第4の
実施形態による内視鏡装置は、第1の実施形態による内
視鏡装置のコントローラ150に対して、補正係数メモ
リ133に記憶された補正係数の更新を行わせるキャリ
ブレーションモードへ移行するための外部スイッチ26
0を備えた点が第1の実施形態と異なるものである。
【0107】第4の実施形態においては、励起光L2の
波長領域の光および参照光L5の波長領域の光をほとん
ど吸収しない白色標準反射板を用意し、外部スイッチ2
60をオンとすることにより、キャリブレーションモー
ドに移行する。キャリブレーションモードにおいては、
白色標準反射板に照明ユニット110から参照光L5お
よび励起光L2が照射される。そして、測定距離をMi
nからMaxまで変更しつつこれらの反射光を撮像ユニ
ット120において撮像することにより、式(1)また
は(2)における標準反射励起光画像データR1および
標準反射画像データR2を求め、これに対して式(1)
または式(2)に示す演算を行うことにより、新たな補
正係数C(x,y)が算出され、この新たな補正係数C
(x,y)により補正メモリ133に記憶された補正係
数が更新される。
【0108】このように、補正係数を更新することによ
り、経時等により励起光L2および/または参照光L5
の照射強度分布が変化しても、補正係数を更新すれば、
常に新しい補正係数によりIR反射画像データF1を補
正して補正IR反射画像データF2を得ることができ
る。したがって、常に正確な蛍光診断画像を生成するこ
とができる。
【0109】なお、上記第4の実施形態においては、外
部スイッチ260からの指示により、補正係数を更新し
ているが、補正係数を算出するための演算方法を新たな
演算方法に更新してもよい。
【0110】また、上記第1から第4の実施形態におい
ては、通常画像用のCCD撮像素子107を内視鏡挿入
部100の先端に設置する形態としたが、イメージファ
イバを用いることにより、画像処理部内に設置してもよ
い。さらに、通常画像用および蛍光画像用のイメージフ
ァイバとCCD撮像素子を共通化してもよい。この場
合、光学透過フィルタに通常画像を得るためのフィルタ
を設置しておけばよい。また、この通常画像を得るため
のフィルタを設置した光学透過フィルタと同等の機能を
有するモザイクフィルタをCCD撮像素子にオンチップ
化することにより、通常画像用、IR反射画像用および
蛍光画像用のCCD撮像素子を内視鏡挿入部先端に設置
することもできる。
【0111】また、上記第1から第4の実施形態におい
ては、通常画像および合成画像をモニタ160,170
で別々に表示しているが、1つのモニタで兼用して表示
するようにしてもよい。その際、通常画像と合成画像と
の切り替えは、制御用コンピュータにより時系列で自動
的に行ってもよいし、測定者が適当な切替手段で、任意
に切り替える形態としてもよい。さらに、通常画像と合
成画像を重ね合わせて表示してもよい。
【0112】また、上記第1から第4の実施形態におい
て、合成画像生成ユニット130,230における演算
処理は、各画素単位で行うことに限定されず、CCD撮
像素子のビニング処理に対応する画素単位で演算処理を
行ったり、測定者の所望する任意の縦横n×m画素単位
で行ってもよい。
【0113】また、励起光源は、波長として400nm
から420nm程度のいずれのものを選んでもよい。
【0114】また、励起光源、白色光源さらには参照光
光源を別個のものとしたが、適当な光学透過フィルタを
利用することにより光源を共通化してもよい。
【0115】また、上記第1から第4の実施形態におい
ては、広帯域蛍光画像および狭帯域蛍光画像間の比率に
基づいて色相画像データHを、補正IR反射画像の光強
度に基づいて明度画像データVを生成しているが、色情
報を表す画像データおよび輝度情報を表す画像データで
あれば、生成される画像データはこれらに限定されるも
のではない。例えば、蛍光画像間の比率に顕色系の色度
XYを割り当てた色度画像データおよび補正IR反射画
像の光強度に明度Zを割り当てた明度画像データを生成
してもよい。この場合、各蛍光画像の光強度(すなわち
画素値)と色度XYとの関係を2次元ルックアップテー
ブルとして記憶しておき、この2次元ルックアップテー
ブルを参照して広帯域蛍光画像データおよび狭帯域蛍光
画像データの値から色度XYを求めるようにすればよ
い。
【0116】さらに、蛍光画像間の比率に映像信号系の
色差IQを割り当てた色差画像データおよび補正IR反
射画像の光強度に輝度Yを割り当てた輝度画像データを
生成してもよい。この場合、色差画像データをビデオ信
号処理回路144に入力すればモニタ170に表示する
画像の色を、輝度画像データをビデオ信号処理回路14
4に入力すればモニタ170に表示する画像の輝度を決
定することができるため、ビデオ信号処理回路144へ
の入力前に色差画像データおよび輝度画像データからR
GB色空間の画像データを生成する必要がなくなり、こ
れにより、装置の構成を簡易なものとすることができ
る。
【0117】また、上記第1から第4の実施形態におい
て、2種類の蛍光画像間の除算値または比率の代わり
に、いずれかの蛍光画像と補正IR反射画像間の除算値
または比率を用いることもできる。この場合には、表示
された合成画像の色相は、蛍光画像と補正IR反射画像
間の光強度の比率、すなわち観察部から発せられた蛍光
の蛍光収率を反映させたものとなり、明度はIR反射画
像の光強度、すなわち観察部10の形状を反映させたも
のとなるので、1枚の画像に観察部10から発せられた
蛍光に関する情報とともに、観察部10の形状に関する
情報を表示することができ、観察者に違和感を与えるこ
とがない。
【0118】さらに、上記各実施形態においては式
(1)、(2)により算出された補正係数に基づいて補
正IR反射画像データF2を得ているが、補正係数の算
出はこれに限定されるものではない。
【図面の簡単な説明】
【図1】本発明の第1の実施形態による蛍光診断画像生
成装置を適用した蛍光内視鏡装置の概略構成図
【図2】切換フィルタの概略構成図
【図3】重み関数の例を示すグラフ
【図4】本発明の第2の実施形態による蛍光診断画像生
成装置を適用した蛍光内視鏡装置の概略構成図
【図5】モザイクフィルタの概略構成図
【図6】本発明の第3の実施形態による蛍光診断画像生
成装置を適用した蛍光内視鏡装置の概略構成図
【図7】本発明の第4の実施形態による蛍光診断画像生
成装置を適用した蛍光内視鏡装置の概略構成図
【図8】正常組織と病変組織の蛍光スペクトルの強度分
布を示す説明図
【符号の説明】
1,2 画像処理部 10 観察部 L1 白色光 L2 励起光 L3 蛍光 L4,L6 反射光 L5 参照光 100,200 内視鏡挿入部 101,201 ライトガイド 102 CCDケーブル 103 イメージファイバ 107,125,223,226 CCD撮像素子 110,210 照明ユニット 111 白色光源 114 GaN系半導体レーザ 120,220 蛍光撮像ユニット 122 切換フィルタ 130,230 合成画像生成ユニット 132,251 補正演算部 133,252 補正係数メモリ 137,253 補正係数算出部 140 画像処理ユニット 150,240 コントローラ 160,170 モニタ 260 外部スイッチ
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/00 200 G06T 7/00 200B 7/40 7/40 B Fターム(参考) 2G043 AA03 BA16 CA05 EA01 EA14 FA01 FA05 FA06 GA04 GA08 GB18 GB19 GB21 HA01 HA05 JA03 KA02 KA05 LA03 MA11 NA01 4C061 HH51 QQ04 SS09 SS23 WW17 5B057 AA07 BA02 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE08 CE11 CE16 CH01 DA16 DC23 DC32 5L096 AA06 BA06 DA01 FA14 FA37 FA39 FA66

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 励起光の照射により観察部から発せら
    れた蛍光を撮像して波長帯域が異なる複数の蛍光画像を
    取得し、 参照光の照射を受けた前記観察部によって反射された前
    記参照光の反射光を撮像して参照光反射画像を取得し、 前記励起光の照射強度分布および前記参照光の照射強度
    分布に基づいて、前記参照光反射画像を得たときの前記
    参照光の照射強度分布が前記励起光の照射強度分布であ
    った場合に得られたであろう励起光対応参照光反射画像
    を取得し、 前記複数の蛍光画像間の光強度の比率に基づいて定めら
    れた色情報画像、および前記励起光対応参照光反射画像
    の光強度に基づいて定められた輝度情報画像を生成し、
    両画像の合成画像を生成することを特徴とする蛍光診断
    画像生成方法。
  2. 【請求項2】 前記励起光対応参照光反射画像の取得
    は、下記の式(1)または(2)により予め算出された
    補正係数に基づいて前記参照光反射画像を補正すること
    により行われることを特徴とする請求項1記載の蛍光診
    断画像生成方法。 【数1】 但し、C(x,y):補正係数 R1(x,y,z):測定距離zにおける前記励起光の
    反射光強度または前記蛍光の強度 R2(x,y,z):測定距離zにおける前記参照光の
    反射光強度 W(x,y,z):重み関数 Max:最大測定距離 Min:最小測定距離 (x,y):前記励起光の反射光を撮像することにより
    取得される励起光反射画像または蛍光画像および参照光
    反射画像の画素位置
  3. 【請求項3】 前記補正は、前記補正係数を前記参照
    光反射画像に乗算して前記励起光対応参照光反射画像を
    求める演算であることを特徴とする請求項2記載の蛍光
    診断画像生成方法。
  4. 【請求項4】 前記比率として、前記複数の蛍光画像
    間の光強度の除算値を用いることを特徴とする請求項1
    から3のいずれか1項記載の蛍光診断画像生成方法。
  5. 【請求項5】 励起光および参照光を観察部に照射す
    る照射手段と、 前記励起光の照射により前記観察部から発せられた蛍光
    を撮像して波長帯域が異なる複数の蛍光画像を取得する
    とともに、前記参照光の照射を受けた前記観察部によっ
    て反射された前記参照光の反射光を撮像して参照光反射
    画像を取得する撮像手段と、 前記励起光の照射強度分布および前記参照光の照射強度
    分布に基づいて、前記参照光反射画像を得たときの前記
    参照光の照射強度分布が前記励起光の照射強度分布であ
    った場合に得られたであろう励起光対応参照光反射画像
    を取得する画像取得手段と、 前記複数の蛍光画像間の光強度の比率に基づいて定めら
    れた色情報画像、および前記励起光対応参照光反射画像
    の光強度に基づいて定められた輝度情報画像を生成し、
    両画像に基づいた合成画像を生成する合成画像生成手段
    とを備えたことを特徴とする蛍光診断画像生成装置。
  6. 【請求項6】 前記画像取得手段は、前記励起光対応
    参照光反射画像の取得を、下記の式(1)または(2)
    により予め算出された補正係数に基づいて前記参照光反
    射画像を補正することにより行う手段であることを特徴
    とする請求項5記載の蛍光診断画像生成装置。 【数2】 但し、C(x,y):補正係数 R1(x,y,z):測定距離zにおける前記励起光の
    反射光強度または前記蛍光の強度 R2(x,y,z):測定距離zにおける前記参照光の
    反射光強度 W(x,y,z):重み関数 Max:最大測定距離 Min:最小測定距離(x,y):前記励起光の反射光
    を撮像することにより取得される励起 光反射画像または蛍光画像および参照光反射画像の画素
    位置
  7. 【請求項7】 前記画像取得手段は、前記補正を、前
    記補正係数を前記参照光反射画像に乗算して前記励起光
    対応参照光反射画像を求める演算により行う手段である
    ことを特徴とする請求項5記載の蛍光診断画像生成装
    置。
  8. 【請求項8】 前記合成画像生成手段は、前記比率と
    して、前記複数の蛍光画像間の光強度の除算値を用いる
    手段であることを特徴とする請求項5から7のいずれか
    1項記載の蛍光診断画像生成装置。
  9. 【請求項9】 前記照射手段および前記撮像手段の一
    部または全部が、生体内部に挿入される内視鏡の形態で
    あることを特徴とする請求項5から8のいずれか1項記
    載の蛍光診断画像生成装置。
  10. 【請求項10】 励起光および参照光を観察部に照射
    する照射手段と、 前記励起光の照射により前記観察部から発せられた蛍光
    を撮像して蛍光画像または波長帯域が異なる複数の蛍光
    画像を取得するとともに、前記参照光の照射を受けた前
    記観察部によって反射された前記参照光の反射光を撮像
    して参照光反射画像を取得する撮像手段と、 前記励起光の照射強度分布および前記参照光の照射強度
    分布に基づいて前記参照光反射画像を補正して、前記参
    照光反射画像を得たときの前記参照光の照射強度分布が
    前記励起光の照射強度分布であった場合に得られたであ
    ろう励起光対応参照光反射画像を取得する画像取得手段
    と、 前記蛍光画像または前記複数の蛍光画像および前記励起
    光対応参照光反射画像に基づいて、蛍光診断画像を生成
    する画像生成手段と、 所定の指示に基づいて、前記補正の態様を更新する更新
    手段とを備えたことを特徴とする蛍光診断画像生成装
    置。
JP2001193890A 2001-06-27 2001-06-27 蛍光診断画像生成方法および装置 Withdrawn JP2003000528A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001193890A JP2003000528A (ja) 2001-06-27 2001-06-27 蛍光診断画像生成方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001193890A JP2003000528A (ja) 2001-06-27 2001-06-27 蛍光診断画像生成方法および装置

Publications (1)

Publication Number Publication Date
JP2003000528A true JP2003000528A (ja) 2003-01-07

Family

ID=19032094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001193890A Withdrawn JP2003000528A (ja) 2001-06-27 2001-06-27 蛍光診断画像生成方法および装置

Country Status (1)

Country Link
JP (1) JP2003000528A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009279150A (ja) * 2008-05-21 2009-12-03 Hoya Corp 内視鏡プロセッサおよび内視鏡システム
CN103167822A (zh) * 2010-10-07 2013-06-19 Hoya株式会社 诊断系统
US8481972B2 (en) 2010-03-18 2013-07-09 Olympus Corporation Fluoroscopy apparatus and fluoroscopy method
JP2015208681A (ja) * 2014-04-23 2015-11-24 株式会社東芝 磁気共鳴イメージング装置及び画像処理装置
US9588046B2 (en) 2011-09-07 2017-03-07 Olympus Corporation Fluorescence observation apparatus
CN113229783A (zh) * 2021-05-13 2021-08-10 珠海维尔康生物科技有限公司 一种用于荧光成像的图像采集系统、方法以及装置
WO2021181484A1 (ja) * 2020-03-09 2021-09-16 オリンパス株式会社 医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009279150A (ja) * 2008-05-21 2009-12-03 Hoya Corp 内視鏡プロセッサおよび内視鏡システム
US8481972B2 (en) 2010-03-18 2013-07-09 Olympus Corporation Fluoroscopy apparatus and fluoroscopy method
CN103167822A (zh) * 2010-10-07 2013-06-19 Hoya株式会社 诊断系统
US9468381B2 (en) 2010-10-07 2016-10-18 Kyushu University, National University Corporation Diagnostic system
US9588046B2 (en) 2011-09-07 2017-03-07 Olympus Corporation Fluorescence observation apparatus
JP2015208681A (ja) * 2014-04-23 2015-11-24 株式会社東芝 磁気共鳴イメージング装置及び画像処理装置
WO2021181484A1 (ja) * 2020-03-09 2021-09-16 オリンパス株式会社 医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム
CN113229783A (zh) * 2021-05-13 2021-08-10 珠海维尔康生物科技有限公司 一种用于荧光成像的图像采集系统、方法以及装置

Similar Documents

Publication Publication Date Title
US11033175B2 (en) Endoscope system and operation method therefor
JP3731814B2 (ja) 蛍光画像表示装置
JP3862582B2 (ja) 蛍光画像取得方法および装置並びにプログラム
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
EP1705477B1 (en) Fluorescence detecting system
US9066676B2 (en) Endoscopic image display apparatus
US6821245B2 (en) Compact fluorescence endoscopy video system
US7102142B2 (en) Method of apparatus for generating fluorescence diagnostic information
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP6791821B2 (ja) 内視鏡システム
US20050215861A1 (en) Endoscope system having multiaxial-mode laser-light source or substantially producing multiaxial-mode laser light from single-axial-mode laser light
JP2001157658A (ja) 蛍光画像表示装置
JP2006175052A (ja) 蛍光画像撮像装置
JP2016052391A (ja) 撮像システム
JP4327380B2 (ja) 蛍光画像表示方法および装置
JP2013034753A (ja) 内視鏡装置
US20090216085A1 (en) Fluorescent endoscopic device and method of creating fluorescent endoscopic image
JP2003036436A (ja) 規格化画像生成方法および装置
JP2004024497A (ja) 蛍光診断画像生成装置
JP2003164414A (ja) 蛍光診断画像表示方法および表示装置
JP5592715B2 (ja) 画像処理装置および画像処理方法
JP2003111716A (ja) 標準光源、補正係数算出方法および装置並びに蛍光画像生成方法および装置
JP2020014718A (ja) 内視鏡用光源装置および内視鏡システム
JP2003000528A (ja) 蛍光診断画像生成方法および装置
JP6859554B2 (ja) 観察補助装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080902