以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図4は本発明の実施形態1を示したものであり、図1は内視鏡装置1の構成を示すブロック図である。
本実施形態の内視鏡装置1は、複数種類の蛍光薬剤を用いた観察(複数種類の蛍光薬剤を個別に用いて観察する場合と同時に用いて観察する場合とを含む)に対応する分子イメージング用蛍光内視鏡装置となっている。
図1に示すように、内視鏡装置1は、被検体の体腔内に挿入して撮像を行い撮像信号を取得する電子内視鏡(以下、「内視鏡」と省略する)2と、被検体へ照射するための光を発生して内視鏡2へ供給する光源を備えた光源装置3と、内視鏡2により取得された撮像信号に対して信号処理を行い画像信号を生成する信号処理部としてのビデオプロセッサ4と、ビデオプロセッサ4により処理された画像信号を入力して内視鏡画像として表示する表示部(あるいは表示装置)としてのモニタ5と、ビデオプロセッサ4と接続されていて内視鏡装置1に対する操作入力を行うための入力部であるキーボード6と、を備えている。
光源装置3は、励起波長の異なる複数種類の蛍光薬剤に対応する複数の波長帯域の励起光を発生可能であり、少なくとも1種類の蛍光薬剤が投与された被検体に照射するために少なくとも1つの波長帯域の励起光を発生する光源部である。具体的に、光源装置3は、光源ユニット10と、この光源ユニット10の発光を制御するLED制御回路13と、光源ユニット10から発光された光を集光するコンデンサレンズ14と、を備えている。なお、ここではコンデンサレンズ14を光源ユニット10とは別構成としたが、光源ユニット10がコンデンサレンズ14を含む構成であっても構わない。
光源ユニット10は、内視鏡2を介して被検体に照射するための光として、白色光、励起光、参照光を含む各光を発生するものであり、白色光を発生する発光素子として構成された光源である白色光LED(Light Emitting Diode )11aと、励起光を発生する発光素子として構成された光源である励起光LED11bと、参照光を発生する発光素子として構成された光源である参照光LED11cと、ミラー12aと、入射光の波長に応じて反射または透過を選択的に行う光学素子(選択的光学素子)である第1のダイクロイックプリズム12bと、選択的光学素子である第2のダイクロイックプリズム12cと、を備えている。
ここに、励起光LED11bは、励起波長の異なる複数種類の蛍光薬剤に対応する複数の波長帯域の励起光をそれぞれ発生可能な複数のLEDを備えて構成されている。また、参照光LED11cは、観察対象に投与されている蛍光薬剤を励起しない波長帯域の光を参照光とするが、さらに、できるだけ励起光に近い波長帯域の光を参照光として発生するようになっている。これは、後述するように、励起光での観察に近い状態の被検体画像を取得するためである。参照光LED11cは、複数種類の蛍光薬剤に対応するために、複数の波長帯域の光を選択可能に発生することができるように構成されていることが好ましい。
白色光LED11aは、赤色光、緑色光、および青色光を含む白色光を発光するLEDであるか、または、赤色光を発光するR−LED、緑色光を発光するG−LED、および青色光を発光するB−LEDを含む複数色LEDの構成となっている。
本実施形態の後述する通常観察モードでは、例えば面順次照明が行われるが、白色光LED11aが白色光を発光する場合には、図示しない照明フィルタ(例えば、回転式のターレット板の円周方向に沿って赤色カラーフィルタ、緑色カラーフィルタ、青色カラーフィルタが順に配列された照明フィルタ)等を用いて赤色光、緑色光、青色光を順に照射することになる。また、白色光LED11aが、R−LED、G−LED、B−LEDで構成されている場合には、これらのLEDを順に発光させて面順次照明を行うことになる。
なお、白色光LED11aが複数色LEDで構成されている場合には、参照光LED11cを、R−LED、G−LED、B−LEDの何れか1つ以上と兼用するようにしても構わない(具体例として、図2および図3に示す波長550nmの参照光を、G−LEDにより発光するようにしても構わない)。
LED制御回路13は、これらのLED11a,11b,11c(LED11a,11b,11cが複数LEDで構成されている場合には、さらに、これら内部の各LED)に対する電流供給の有無を制御することにより発光の有無を制御すると共に、供給する電流を例えばPWM(パルス幅制御)等により制御することで発光時の発光量を制御する。このLED制御回路13の動作は、後述する調光回路36による制御と、後述する波長セット選択回路42により設定される波長セットと、に基づいて行われる。
このような構成において、白色光LED11aから発光された白色光は、ミラー12aにより反射され、第1のダイクロイックプリズム12bを透過し、さらに第2のダイクロイックプリズム12cにより反射された後に、コンデンサレンズ14に入射する。
また、励起光LED11bから発光された励起光は、第1のダイクロイックプリズム12bにより反射され、第2のダイクロイックプリズム12cにより反射された後に、コンデンサレンズ14に入射する。
さらに、参照光LED11cから発光された参照光は、第2のダイクロイックプリズム12cを透過した後に、コンデンサレンズ14に入射する。
こうしてコンデンサレンズ14に入射した光は、コンデンサレンズ14により集光されて、内視鏡2から延出されるライトガイド20の入射端部に入射される。
内視鏡2は、被検体の体腔内に挿入するための細長の挿入部を、手元側の操作部から先端側へ向けて延設して構成されている。この内視鏡2は、ライトガイド(LG)20と、照明レンズ21と、対物レンズ22と、撮像部23と、スコープIDメモリ28と、モード切替スイッチ29と、を備えている。
ライトガイド20は、コンデンサレンズ14を介して入射端部に入射された光を、挿入部の先端側まで伝送する伝送光学系である。
照明レンズ21は、ライトガイド20の照射端部から出射された光を、被検体の観察対象部位90へ向けて照射する照明光学系である。
対物レンズ22は、観察対象部位90からの光を撮像部23内の後述する撮像素子25に結像する対物光学系である。
撮像部23は、励起光が照射された蛍光薬剤から発せられる蛍光を撮像して蛍光撮像信号(蛍光画像)を生成すると共に、被検体からの光を撮像して被検体の形態を表す参照光撮像信号(参照光画像)を生成するものであり、撮像アクチュエータ24と、撮像素子25と、増幅部26と、A/D変換部27と、を備えている。
撮像アクチュエータ24は、異なる波長帯域の光を通過させる複数の光学フィルタを有し、対物レンズ22から入射される光の光路上に何れの光学フィルタを位置させるかを切り替えることにより、特定の波長帯域の光のみを選択的に透過させることができるものである。
具体的に、後述する蛍光観察モード(この蛍光観察モードは、特殊光観察モードの1つである)において使用される光学フィルタは、励起光の波長帯域の光をカットし、蛍光の波長帯域の光を透過させる分光透過率特性をもった励起光カットフィルタとなっている。従って、蛍光観察モードにおいて励起光を照射して取得される画像は、励起光の反射成分を含まない蛍光画像となる。
撮像アクチュエータ24は、光源装置3から面順次で発生される光に応じて、複数の光学フィルタの入れ替えを行う。また、撮像アクチュエータ24は、全ての光学フィルタを対物レンズ22から入射される光の光路上から退避させることも可能となっており、この場合には帯域制限は行われない。こうした全ての光学フィルタの光路上からの退避は、例えば、後述する通常観察モードにおいて行われる。
撮像素子25は、撮像アクチュエータ24を通過した光を光電変換して撮像信号として出力するものであり、例えばモノクロ撮像素子として構成されている(ただし、面順次式でなく同時式の場合には単板カラー撮像素子等であっても構わない)。
増幅部26は、撮像素子25から出力された撮像信号を増幅する。
A/D変換部27は、増幅部26により増幅されたアナログの撮像信号を、デジタル信号に変換する。
スコープIDメモリ28は、内視鏡2に固有のID情報と、撮像素子25の画素数等の情報と、蛍光観察における推奨される使用条件を規定する蛍光観察用情報と、を含む各情報を格納している。ここに蛍光観察用情報は、内視鏡2を使用して蛍光観察モードで蛍光観察を行う場合に推奨される励起光と参照光の光量比情報(または強度比情報)を含んでいる。光源装置3は、この光量比情報に従って、励起光と参照光との光量比を設定する。
モード切替スイッチ29は、内視鏡装置1の観察モードを切り替えるための操作スイッチである。このモード切替スイッチ29により切り替え可能な観察モードの例としては、白色光を照射して通常光観察(通常観察)を行う通常観察モードと、励起光を照射して蛍光観察を行う蛍光観察モードと、が挙げられる。ここに、蛍光観察モードにより観察を行う際には、被検体の観察対象部位90に、複数種類の蛍光薬剤の内の少なくとも1種類の蛍光薬剤が投与されているものとする。また、本実施形態における蛍光観察モードでは、例えば、光源装置3が励起光と参照光とを時系列に交互に発生させ、撮像素子25が、励起光照射時に得られる蛍光撮像信号と、参照光照射時に得られる参照光撮像信号と、を時系列に交互に撮像する。
ビデオプロセッサ4は、モード切替回路31と、撮像素子制御回路32と、ホワイトバランス回路33と、セレクタ34と、タイミングジェネレータ35と、調光回路36と、白色光画像処理回路37と、特殊光画像処理回路38と、合成回路39と、カラーマトリクス決定回路41と、波長セット選択回路42と、を備えている
モード切替回路31は、スコープIDメモリ28から必要な情報を読み込んでビデオプロセッサ4内の各部へ伝達すると共に、モード切替スイッチ29により設定された観察モードに応じて、撮像素子制御回路32の駆動モードを切り替え、調光回路36の動作モードを切り替える。
撮像素子制御回路32は、観察モードに応じてモード切替回路31により切り替えられた駆動モードで、撮像部23を制御し駆動する。例えば、撮像アクチュエータ24は、撮像素子制御回路32の制御により、対物レンズ22から入射される光の光路上への光学フィルタの挿脱を行う。また例えば、撮像素子25は、撮像素子制御回路32の制御により、露光開始タイミング、露光終了タイミングを設定し、露光後の撮像信号の読み出しを行う。
ホワイトバランス回路33は、撮像部23から出力された撮像信号が通常観察モードにおいて得られたRGB撮像信号である場合に、白色被写体に係る撮像信号のRGB信号強度比が1:1:1となるようにゲイン調整し、カラーバランスを調整するものである。
セレクタ34は、ホワイトバランス回路33を介して入力された撮像信号が、通常観察モードで得られた撮像信号である場合には白色光画像処理回路37へ出力し、蛍光観察モードで得られた撮像信号である場合には特殊光画像処理回路38へ出力する。
タイミングジェネレータ35は、撮像素子制御回路32、ホワイトバランス回路33、セレクタ34等にタイミング信号を供給して、これらを同期して動作させる。
調光回路36は、観察モードに応じてモード切替回路31により切り替えられた動作モードで、ホワイトバランス回路33を介して入力された撮像信号に基づき、LED制御回路13が各LED11a,11b,11cへ出力する電流を設定する。調光回路36は、例えば通常観察モードの場合には、撮像信号から求められる被検体の明るさに基づき、LED制御回路13が白色光LED11aへ出力する電流を設定する。また、調光回路36は、例えば蛍光観察モードの場合には、スコープIDメモリ28から読み出された蛍光観察用情報(上述したように、例えば光量比情報)に基づいて、LED制御回路13が励起光LED11bおよび参照光LED11cへ出力する電流を設定する。
白色光画像処理回路37は、通常観察モードにおいてセレクタ34から入力されるRGB各チャンネルの撮像信号に、色調整処理やガンマ補正などの各種の画像処理を行う。
特殊光画像処理回路38は、撮像部23から得られる蛍光撮像信号と参照光撮像信号とにそれぞれ異なる色信号を割り当てて合成し観察画像を生成するカラーマトリクス演算を行うマトリクス演算部である。
具体的に、特殊光画像処理回路38は、時系列に得られる参照光撮像信号と蛍光撮像信号とを3チャンネル入力の内の何れかに割り当てることで同時化し、さらに、カラーマトリクス決定回路41により決定されたカラーマトリクスを用いて出力RGB画像の何れかのチャンネルに割り当てることで蛍光画像と参照光画像とが重畳された特殊光画像を生成する。
ここにカラーマトリクスは、蛍光撮像信号をRGB画像の内の何れに割り当て、参照光撮像信号をRGB画像の内の他の何れに割り当てるかを決めて、さらにゲイン調整等を行うマトリクスである。そしてカラーマトリクスは、特殊光画像処理回路38内の記憶部に、被検体に投与される蛍光薬剤の種類や組み合わせに応じた複数種類が予め記憶されていて、記憶されているカラーマトリクスの内の何れか1つがカラーマトリクス決定回路41により選択されて決定される。
合成回路39は、白色光画像処理回路37から出力される白色光画像、または特殊光画像処理回路38から出力される特殊光画像に、マスク画像(内視鏡画像の外側の黒色等のマスク)や文字情報などを必要に応じて合成処理し、モニタ5へ出力する。また、合成回路39は、蛍光観察モード時に、蛍光画像と参照光画像とが重畳された特殊光画像であるカラー画像5a(図4参照)と、蛍光撮像信号に基づく蛍光モノクロ画像5b(図4参照)と、を並べて表示する際には、これらの画像を合成する処理も行う。
カラーマトリクス決定回路41は、ユーザ操作によりキーボード6が入力した薬剤情報に基づき、カラーマトリクス演算に使用するカラーマトリクスを特殊光画像処理回路38に設定するマトリクス設定部である。
ここに、カラーマトリクス決定回路41および波長セット選択回路42が決定や選択を行うためにユーザが操作して入力するべき情報は、後で詳しく説明するように、投与する蛍光薬剤の種類(複数種類の蛍光薬剤を投与する場合には、蛍光薬剤の種類の組み合わせを含む。以下、同様。)だけで足りるようになっており、ユーザが行うべき設定操作が極めて簡便となっている。こうしてキーボード6は、被検体に投与される蛍光薬剤の種類を示す薬剤情報を入力する入力部の機能を果たしている。
具体的に、カラーマトリクス決定回路41は、薬剤情報により示される蛍光薬剤の種類に応じて、どのカラーマトリクスを使用するかを示すテーブル(後述する図2および図3の「カラーマトリクス」欄参照)等を内部に予め記憶しており、該テーブルを参照する等により、特殊光画像処理回路38内の記憶部に記憶されている複数種類のカラーマトリクスの内の、何れかのカラーマトリクスを選択して特殊光画像処理回路38に設定する。
例えば、ユーザ操作によりキーボード6が、投与する蛍光薬剤が1種類のみであることを入力すると、入力される蛍光撮像信号はRin,Gin,Binの入力3チャンネルの内の例えばBinチャンネルおよびGinチャンネルの入力として扱われ、入力される参照撮像信号はRinチャンネルの撮像信号として扱われるようになっている(後述する図2の「励起波長セット」欄参照)。
また、ユーザ操作によりキーボード6が、投与する蛍光薬剤が2種類の組み合わせであることを入力すると、入力される蛍光撮像信号の1つはBinチャンネルの入力として扱われ、入力される蛍光撮像信号の他の1つはGinチャンネルの入力として扱われ、入力される参照撮像信号はRinチャンネルの撮像信号として扱われるようになっている(後述する図3の「励起波長セット」欄参照)。
さらに、ユーザ操作によりキーボード6が、投与する蛍光薬剤が3種類の組み合わせであることを入力すると、入力される3つの蛍光撮像信号はRin,Gin,Binの入力3チャンネルそれぞれの撮像信号として扱われるようになっている。
上述した特殊光画像処理回路38は、(Rin,Gin,Bin)が入力されると、カラーマトリクスM(行列成分m11〜m33)を用いた次の数式1に示すようなマトリクス演算を行って、出力3チャンネル画像(Rout,Gout,Bout)を算出する。
カラーマトリクス決定回路41は、キーボード6が入力した蛍光薬剤の種類に応じて、この特殊光画像処理回路38の演算において用いられるカラーマトリクスMを後述するように決定する。
波長セット選択回路42は、光源装置3が発生可能な複数の波長帯域の励起光の中から、キーボード6が入力した薬剤情報により示される種類の蛍光薬剤に対応する波長帯域の励起光を選択して、選択した波長帯域の励起光を発生するように光源装置3を制御する光源制御部である。
具体的に、波長セット選択回路42は、薬剤情報に基づいて、蛍光観察モードにおいて、励起光LED11bにおけるどの波長帯域のLEDと、参照光LED11cにおけるどの波長帯域のLEDと、を組み合わせるかを選択し、LED制御回路13へ設定する。これによりLED制御回路13は、設定された波長セットに基づいた照射光を順次照射するようになっている。
このために波長セット選択回路42は、薬剤情報により示される蛍光薬剤の種類に応じて、どの波長帯域の励起光およびどの波長帯域の参照光を用いるか(すなわち、どのLEDを励起光発光用に用い、どのLEDを参照光発光用に用いるか)を決定するためのテーブル等(後述する図2および図3の「励起波長セット」欄参照)を予め記憶している。
上述したような構成において、通常観察モードが設定されているときには、白色光LED11aのR−LED、G−LED、B−LEDにより赤色光、緑色光、青色光を例えばフレーム毎に面順次に照射して、赤色光画像、緑色光画像、および青色光画像を順次取得する。そして、3つの連続フレームの撮像により3原色の画像が揃ったところで、同時化を行ってカラー画像を生成することになる。
また、蛍光観察モードが設定されているときには、あるフレームにおいて、撮像アクチュエータ24により蛍光薬剤に応じた励起光カットフィルタを挿入し、励起光を照射する。すると、被検体の観察対象部位90からの励起光の反射光および蛍光の内の、励起光成分が励起光カットフィルタによりカットされ、撮像素子25には蛍光の光学像のみが結像される。こうして、蛍光の光学像を露光して得られた蛍光撮像信号が、撮像素子25から出力される。用いる蛍光薬剤が1種類である場合には、この蛍光撮像信号の取得は、2フレーム連続して行われる。そして、その後に続くフレームにおいて、撮像アクチュエータ24により励起光カットフィルタを退避させ、参照光を照射する。これにより、被検体の観察対象部位90からの参照光の光学像が撮像素子25に結像され、参照光撮像信号が撮像素子25から出力される。このような一連のフレーム動作を繰り返して行うことにより、蛍光撮像信号(1回目)と蛍光撮像信号(2回目)と参照光撮像信号とが面順次に取得される。取得された蛍光撮像信号および参照光撮像信号は、後述するカラーマトリクスを用いてカラー画像として合成されモニタ5に表示される他、蛍光撮像信号だけを蛍光モノクロ画像としてモニタ5に表示することも可能となっている。
なお、2種類の蛍光薬剤を用いる場合には、例えば、第1の蛍光画像、第2の蛍光画像、参照光画像のフレーム順序で撮像を繰り返して行うことになる。さらに、3種類の蛍光薬剤を用いる場合には、例えば、第1の蛍光画像、第2の蛍光画像、第3の蛍光画像のフレーム順序で撮像を繰り返して行うことになる。
次に、図2は投与される蛍光薬剤が1種類であるときに決定される励起波長セットおよびカラーマトリクスの例を示す図表である。
ユーザ操作によりキーボード6が、投与する蛍光薬剤がCy3(またはFITC)のみであることを入力すると、励起光EX1(Bin)(またはEX2(Gin))の波長として500nmの波長、参照光Ref(Rin)の波長として緑色光である550nmの波長が波長セット選択回路42によりLED制御回路13へ自動的に設定される。ここに、550nmの参照光波長は、Cy3およびFITCをほとんど励起しない(つまり、励起光EX1,EX2以外の波長帯域である)が、励起光波長500nmに比較的近い波長となっている。
被検体は、使用する光の波長によって異なって観察されるために、波長セット選択回路42は、選択した波長帯域の励起光EX1,EX2以外の波長帯域の光を参照光Refとして発生するように光源装置3を制御する際に、さらに、選択した波長帯域の励起光にできるだけ近い波長帯域の光を発生するように制御している。
そして、出力Routチャンネルに蛍光画像FLを、出力Goutチャンネルおよび出力Boutチャンネルに参照光画像Refを、それぞれ割り当てるカラーマトリクス1(下記の数式2参照)が、カラーマトリクス決定回路41により特殊光画像処理回路38へ自動的に設定される。ここに、出力Routチャンネルに蛍光画像FLを割り当てているのは、赤色が、視認性が高い色であるためである。
これにより特殊光画像処理回路38は、上述したカラーマトリクスMの具体例であるカラーマトリクス1を用いて、次の数式2に示すような演算を行い、出力3チャンネル画像(Rout,Gout,Bout)を算出する。
数式2に示すカラーマトリクス1は、上述したように2フレーム連続して取得される蛍光撮像信号(1回目)と蛍光撮像信号(2回目)とを加算してRoutとし、参照光撮像信号に1.5倍,3.5倍のゲインをそれぞれ与えてGout,Boutとしたものとなっている。従ってモニタ5には、緑色よりも青色が強い緑青色の参照光画像中に、赤色の蛍光画像が重畳された画像が表示される。
ここで、例えば波長550nmの緑色の参照光はヘモグロビンに吸収され易く、血管部分からの反射光量が少なくなる。この場合には、緑色成分と比較すると他の色成分の信号値が相対的に高くなり、蛍光画像により示される癌組織などに類似した赤っぽい色となって、いわゆる擬陽性の状態が発生してしまうことがある。
そこで、マトリクス演算に用いるカラーマトリクスとして、背景の参照画像を示す青色成分や緑成分に相当する係数を大きくしたマトリクス、つまり擬陽性を抑制することができるマトリクスを用いている。
次に、上述と同様に、ユーザ操作によりキーボード6が、投与する蛍光薬剤がCy5(またはCy5.5)のみであることを入力すると、励起光EX1(Bin)(またはEX2(Gin))の波長として600nmの波長、参照光Ref(Rin)の波長として緑色光である550nmの波長が波長セット選択回路42によりLED制御回路13へ自動的に設定され、上述したカラーマトリクス1が、カラーマトリクス決定回路41により特殊光画像処理回路38へ自動的に設定される。ここに、550nmの参照光波長は、Cy5およびCy5.5をほとんど励起しない(つまり、励起光EX1,EX2以外の波長帯域である)が、励起光波長600nmに比較的近い波長となっている。
さらに、ユーザ操作によりキーボード6が、投与する蛍光薬剤がCy7(またはAlexa750)のみであることを入力すると、励起光EX1(Bin)(またはEX2(Gin))の波長として700nmの波長、参照光Ref(Rin)の波長として近赤外光である800nmの波長が波長セット選択回路42によりLED制御回路13へ自動的に設定される。ここに、800nmの参照光波長は、Cy7およびAlexa750をほとんど励起しない(つまり、励起光EX1,EX2以外の波長帯域である)が、励起光波長700nmに比較的近い波長となっている。
そして、入力チャンネルから出力チャンネルへの割り当ては上述したカラーマトリクス1と同じであるが、ゲインが異なるカラーマトリクス2(いわば、カラーマトリクス1のバリエーション)が、カラーマトリクス決定回路41により特殊光画像処理回路38へ自動的に設定される。
これにより特殊光画像処理回路38は、上述したカラーマトリクスMの具体例であるカラーマトリクス2を用いて、次の数式3に示すような演算を行い、出力3チャンネル画像(Rout,Gout,Bout)を算出する。
数式3に示すカラーマトリクス2は、上述したように2フレーム連続して取得される蛍光撮像信号(1回目)と蛍光撮像信号(2回目)とを加算してRoutとし、参照光撮像信号に2.1倍,2.36倍のゲインをそれぞれ与えてGout,Boutとしたものとなっている。従ってモニタ5には、緑青色の参照光画像中に、赤色の蛍光画像が重畳された画像が表示される。
続いて、図3は投与される蛍光薬剤が2種類の組み合わせであるときに決定される励起波長セットおよびカラーマトリクスの例を示す図表である。
投与される蛍光薬剤が複数種類の組み合わせであるときには、キーボード6から入力される薬剤情報は、蛍光薬剤の組み合わせに関する組合情報を含み、波長セット選択回路42は、光源装置3が発生可能な複数の波長帯域の励起光の中から、組合情報により示される複数種類の蛍光薬剤に各対応する複数の波長帯域の励起光を選択して、選択した複数の波長帯域の励起光を発生するように光源装置3を制御することになる。
ユーザ操作によりキーボード6が、投与する蛍光薬剤が(Cy3またはFITC)および(Cy5またはCy5.5)であることを入力すると、第1の励起光EX1(Bin)の波長として500nmの波長、第2の励起光EX2(Gin)の波長として600nmの波長、参照光Ref(Rin)の波長として緑色光である550nmの波長が波長セット選択回路42によりLED制御回路13へ自動的に設定される。ここに、550nmの参照光波長は、Cy3、FITC、Cy5、およびCy5.5をほとんど励起しない(つまり、励起光EX1,EX2以外の波長帯域である)が、励起光波長500nmおよび600nmに比較的近い波長となっている。
さらに、出力Routチャンネルに第1の蛍光画像FL1を、出力Goutチャンネルに第2の蛍光画像FL2を、出力Boutチャンネルに参照光画像Refを、それぞれ割り当てるカラーマトリクス3(下記の数式4参照)が、カラーマトリクス決定回路41により特殊光画像処理回路38へ自動的に設定される。ここに、視認性がより高い原色の赤色と、緑色と、に2種類の蛍光画像が割り当てられている。
これにより特殊光画像処理回路38は、上述したカラーマトリクスMの具体例であるカラーマトリクス3を用いて、次の数式4に示すような演算を行い、出力3チャンネル画像(Rout,Gout,Bout)を算出する。
数式4に示すカラーマトリクス3は、第1の蛍光撮像信号をそのまま(ゲイン1倍)Routとし、第2の蛍光撮像信号をそのまま(ゲイン1倍)Goutとし、参照光撮像信号に3.5倍のゲインを与えてBoutとしたものとなっている。従ってモニタ5には、青色の参照光画像中に、赤色の第1の蛍光画像と、緑色の第2の蛍光画像と、が重畳された画像が表示される。
同様に、ユーザ操作によりキーボード6が、投与する蛍光薬剤が(Cy3またはFITC)および(Cy7またはAlexa750)であることを入力すると、第1の励起光EX1(Bin)の波長として500nmの波長、第2の励起光EX2(Gin)の波長として700nmの波長、参照光Ref(Rin)の波長として緑色光である550nmの波長が波長セット選択回路42によりLED制御回路13へ自動的に設定され、上述したカラーマトリクス3が、カラーマトリクス決定回路41により特殊光画像処理回路38へ自動的に設定される。ここに、550nmの参照光波長は、Cy3、FITC、Cy7、およびAlexa750をほとんど励起しない(つまり、励起光EX1,EX2以外の波長帯域である)が、励起光波長500nmに比較的近い波長であり、励起光波長700nmともそれほど離れていない波長(励起光波長500nmと励起光波長700nmとの中間にあるために、少なくとも、励起光波長500nmの短波長側よりは励起光波長700nmに近い波長)となっている。
さらに、ユーザ操作によりキーボード6が、投与する蛍光薬剤が(Cy5またはCy5.5)および(Cy7またはAlexa750)であることを入力すると、第1の励起光EX1(Bin)の波長として600nmの波長、第2の励起光EX2(Gin)の波長として700nmの波長、参照光Ref(Rin)の波長として近赤外光である800nmの波長が波長セット選択回路42によりLED制御回路13へ自動的に設定される。ここに、800nmの参照光波長は、Cy5、Cy5.5、Cy7、およびAlexa750をほとんど励起しない(つまり、励起光EX1,EX2以外の波長帯域である)が、2つの励起光波長の内の一方の波長700nmに比較的近い波長となっている。
そして、入力チャンネルから出力チャンネルへの割り当ては上述したカラーマトリクス3と同じであるが、ゲインが異なるカラーマトリクス4(いわば、カラーマトリクス3のバリエーション)が、カラーマトリクス決定回路41により特殊光画像処理回路38へ自動的に設定される。
これにより特殊光画像処理回路38は、上述したカラーマトリクスMの具体例であるカラーマトリクス4を用いて、次の数式5に示すような演算を行い、出力3チャンネル画像(Rout,Gout,Bout)を算出する。
数式5に示すカラーマトリクス4は、第1の蛍光撮像信号をそのまま(ゲイン1倍)Routとし、第2の蛍光撮像信号をそのまま(ゲイン1倍)Goutとし、参照光撮像信号に2.36倍のゲインを与えてBoutとしたものとなっている。従ってモニタ5には、カラーマトリクス3を用いた場合よりも暗い青色の参照光画像中に、赤色の第1の蛍光画像と、緑色の第2の蛍光画像と、が重畳された画像が表示される。
なお、特に図示はしないが、投与される蛍光薬剤が3種類の組み合わせ、例えば(Cy3またはFITC)および(Cy5またはCy5.5)および(Cy7またはAlexa750)である場合には、第1の励起光EX1(Bin)の波長として500nmの波長、第2の励起光EX2(Gin)の波長として600nmの波長、第3の励起光EX3(Rin)の波長として700nmの波長が波長セット選択回路42によりLED制御回路13へ自動的に設定される。
さらに、出力Routチャンネルに第1の蛍光画像FL1(Binに対応)を、出力Goutチャンネルに第2の蛍光画像FL2(Ginに対応)を、出力Boutチャンネルに第3の蛍光画像FL3(Rinに対応)を、それぞれ割り当てるカラーマトリクス(右上から左下にかけての対角成分以外は0となるカラーマトリクス)が、カラーマトリクス決定回路41により特殊光画像処理回路38へ自動的に設定される。ここに、右上から左下にかけての3つの対角成分(つまりゲイン)は、取得される3つの蛍光撮像信号の光強度や観察時の重要性に応じて適宜定められる。
加えて、投与される蛍光薬剤が4種類以上の組み合わせであっても、上述したような擬陽性が生じることがなければ、原色以外の色(例えば、赤色と緑色との混合により得られる黄色など)を用いてモニタ5に表示することも可能である。
なお、上述では蛍光画像と参照光画像とを重畳した画像を表示する例を説明したが、ユーザの選択設定に応じて、蛍光モノクロ画像をモニタ5へ出力して表示するようにしても構わない。
図4はモニタ5の表示画面の例を示す図である。
この図4に示す例においては、モニタ5の表示画面に、蛍光画像と参照光画像とをカラーマトリクスを用いて上述したように重畳したカラー画像5aと、蛍光モノクロ画像5bと、カラー画像5aにおける蛍光撮像信号と参照光撮像信号とに割り当てる色信号に関する情報であるRGBチャンネル割当て情報5cと、が表示されている。
蛍光モノクロ画像5bは、図4に示す例ではカラー画像5aよりも小さな画像となっていて、蛍光発光部分51がモノクロ表示されている。
カラー画像5aにおいては、被検体の形態を表す緑青色の参照光部分52に、蛍光発光部分51が赤色で重畳して表示されている。
そして、RGBチャンネル割当て情報5cには、Rチャンネルに蛍光画像FLが、GチャンネルおよびBチャンネルに参照光画像Refが、それぞれ割り当てられている旨の情報が表示されている。このRGBチャンネル割当て情報5cは、特殊光画像処理回路38に設定されたカラーマトリクスに応じて、合成回路39により表示情報として生成される。すなわち、合成回路39は、カラーマトリクス決定回路41により設定されたカラーマトリクスに応じて、特殊光画像処理回路38が蛍光画像と参照光画像とに割り当てる色信号に関する情報を表示部であるモニタ5に表示させる制御を行う表示制御部となっている。
また、撮像された被検体の蛍光画像は、モニタ5へ出力して表示するだけでなく、図示しない画像記録装置へ記録(ファイリング)することも可能となっている。
このような実施形態1によれば、入力された薬剤情報に基づき、複数の波長帯域の励起光の中から自動的に励起光を選択して発生するようにしたために、ユーザが励起光を選択して設定する必要がなくなり、煩雑な操作を要することなく、投与される蛍光薬剤に応じた画像を表示することが可能となる。特に、複数種類の蛍光薬剤を投与する際の励起光の設定操作に要する手間を、大幅に軽減することができる。
さらに、薬剤情報に基づき特殊光画像処理回路38が使用するカラーマトリクスを自動的に設定するようにしたために、蛍光画像部分と参照画像部分とへの表示色の各割り当てをユーザが設定する必要がなくなり、煩雑な操作を要することなく適切に絵作りされた画像が表示され、診断性を向上することができる。
また、蛍光画像と参照光画像とに割り当てる色信号に関する情報をモニタ5に表示するようにしたために、設定画面を呼び出す手間を経ることなく、ユーザはどの表示色部分が蛍光画像であり、どの表示色部分が参照画像であるかを容易に確認することができる。
そして、参照光についても、入力された薬剤情報に基づき、励起光以外の波長帯域の光が自動的に設定されるために、煩雑な操作が軽減される。
このとき、投与された蛍光薬剤の励起波長帯域に近い波長帯域の光が参照光として自動的に設定されるために、励起光での観察に近い状態の被写体画像を参照光により観察することが可能となり、診断性をさらに向上することができる。
加えて、参照光の波長が生体、例えばヘモグロビンに吸収され易い波長である場合には、参照画像の信号増幅率を大きくしたカラーマトリクスを用いるようにしたために、擬陽性の発生を抑制することができ、より一層診断性を向上することができる。
なお、上述では主として内視鏡装置について説明したが、内視鏡装置を上述したように作動させる作動方法であっても良いし、コンピュータに該作動方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。