JP2018175762A - 撮像装置 - Google Patents

Abstract

【課題】複数の診断方法に共通に使用できる技術を提供する。【解決手段】診断方法に応じて光の波長帯域を切り換える光源装置により光が照射された生体を撮像する医療診断用の撮像装置３において、撮像画像の画像成分を強調する画像強調部３３と、強調された画像成分を前記撮像画像の色を補正した補正画像に適用し、少なくとも２つの診断方法に応じて撮像された撮像画像にそれぞれ対応する少なくとも２つの前記補正画像を融合する融合処理部３４と、を備える。【選択図】図１１

Description

本発明は、特殊光を用いた画像診断技術に関する。

現在、内視鏡等による診断が行われている。例えば癌については、その旺盛な増殖性により、発生部位に応じて血管構造に独自のパターンが現れ、医学上での分類が行われている。そして、そのパターン分類に従って診断がなされ、治療方針が決定されている。それゆえ、内視鏡等を用いて診断を行う場合、癌等の血管構造を観察することは不可欠である。

そこで現在では、癌等の診断や血管の検出を行うため、通常のＲＧＢ画像に加えて特殊光を用いて患部観察を行う内視鏡、術野カメラ、手術顕微鏡用カメラ等が開発されている。また、血管構造を画像として検出し、癌等の診断を行い、手術のナビゲーションを行う方法もある。例えば、次の診断方法がある。

＜診断方法１＞
粘膜と血管の吸収スペクトルの違いを利用して表層血管の構造を観察する方法がある。図１に示すように、光の波長帯域４００〜４４０ｎｍに粘膜と血管の反射率の比が最も大きくなる部分がある。そこで、この狭帯域のＮＢ（Narrow Band）照明光を患部に照射することにより、表層血管の構造を観察する内視鏡装置が提供されている。

＜診断方法２＞
近赤外線を利用して生体内部の血管構造を観察する方法がある。波長帯域７００〜１０００ｎｍの近赤外線は「生体透過の窓」と言われ、生体の吸収が少ないため、生体内部（部位により１〜３ｃｍ）から反射光を得ることができる。特に血管（ヘモグロビン）は他の組織に比べると近赤外線の吸収が大きく、反射が少ないため、近赤外線の吸収率又は反射率の違いを利用して生体内部の血管を検出することができる。

また、波長帯域７９０〜９７０ｎｍの近赤外線でＩＲ（infrared rays）照明を行い、２つのＩＲ１フィルタ（６８０〜８２０ｎｍ）とＩＲ２フィルタ（８２０〜９９０ｎｍ)で撮像を行い、浅いところと深いところの血管の情報を分けて検出し、これら２つのＩＲ画像にカラー表示を割り当てることにより、血管の位置の深さに応じてカラー表示を行う内視鏡装置が提供されている。

＜診断方法３＞
手術中にＩＣＧ（インドシアニングリーン；Indocyanine green）色素を血管に注入し、血管を造影する方法がある。図２に示すように、ＩＣＧ色素は、７７４ｎｍを中心とした近赤外線を吸収し、８０５ｎｍを中心とした蛍光を発する。これらの波長も同じく「生体透過の窓」の帯域内にあるため、部位や組織によって１〜３ｃｍ程度の深さの血管を検出することができる。その検出に使用できる近赤外線カメラが提供されている。

また、肝臓の血管に注入されたＩＣＧが血管から肝臓を経て胆管に排出される作用を利用し、診断目的に応じて血管を選択的に検出することができる。更に、この血管の蛍光画像は、癌の診断に加えて、切除部をより少なくし、動脈を避けて手術を行うナビゲーションに使われている。

上述した診断方法１〜３のほか、正常部と癌の自家蛍光の違いより癌を診断する方法も確立されている。例えば、次の診断方法がある。

＜診断方法４＞
患部に励起光を当てて、正常部と癌の自家蛍光の違いを画像として検出する方法がある。図３に示すように、正常粘膜に多く存在するコラーゲン等の物質は、青色（Ｂ）の励起光（４００〜５２０ｎｍ）を吸収し、緑色（Ｇ）の自家蛍光（４９０〜６５０ｎｍ）を発する。一方、癌の部分は、血液量が増加し、粘膜の肥厚等の組織が乱れているため、この蛍光度が弱い。それゆえ、自家蛍光率の違いを検出することにより癌を診断する内視鏡診断装置が提供されている。また、蛍光度が微弱なため、強い青色（ＳＢ；Strong Blue）の照明光を当てて高感度の撮像も行われている。

＜診断方法５＞
癌に取り込まれた蛍光プローブの蛍光画像を撮像することにより、ミリオーダ単位の癌を検出する方法がある。γ−グルタミルトランスペプチダーゼという蛍光プローブを患部に散布すると数十秒〜数分で癌に取りこまれ、図４に示すように、Ｂの励起光を吸収してＧの自家蛍光を発するように変化する。この変化を撮像し、観察することで、ミリオーダ単位の癌を検出する臨床研究が進んでいる。

更に、上述した診断方法４，５のほか、血液中の酸素飽和濃度の違いを画像診断に応用する臨床研究も行われている。

＜診断方法６＞
酸素飽和濃度の分布を画像として検出することにより、癌や血管の状況を診断する方法がある。赤血球中の酸素と結合しているヘモグロビンの割合を示す酸素飽和濃度は、動脈で９８％、静脈で７０％程度となる。ところが、癌の部分の酸素飽和濃度は２０〜３０％と低い。また、図５に示すように、酸化ヘモグロビンと還元ヘモグロビンの光吸収係数は波長によって異なる。この光吸収度の違いを利用して画素ごとに酸素飽和濃度を算出し、擬似カラー化等の処理を行い、通常のＲＧＢ画像に融合することで、癌の診断を行う臨床研究が進んでいる。

特開２０１２−１７０６３９号公報

従来の内視鏡、術野カメラ、手術顕微鏡用カメラでは、上述した診断方法１〜６のいずれかを組み込み、それぞれが単独の診断装置又は単独の臨床研究用装置として提供されている。

しかし、内視鏡等の診断において、診断精度を上げるために診断方法１〜６を併せて実施したい場合、その都度診断方法に応じた専用の内視鏡を患部に再挿入しなければならず、術者の手間と検査時間が増え、患者の苦痛が多大になるという課題があった。

この課題に対し、内視鏡の鉗子チャネルを通じて診断方法１〜６に対応した子スコープを交換する方法も考えられる。しかし、子スコープを交換する術者の手間と検査時間が増え、スコープ径が太くなるため、同じく患者の苦痛が増えることに変わりはない。

また、昨今、手術中の診断と治療の一体化が進み、術中ＭＲＩ（magnetic resonance imaging）、術中超音波、ＣアームＸ線等による手術のナビゲーションが行われており、診断方法１〜６に対応した術野カメラ又は手術顕微鏡カメラの画像による術中診断及び術中ナビゲーションについても、カメラの高画素化（４Ｋ，８Ｋ）とともに期待が高まっている。

ところが、上述した課題と同様に、手術中に診断目的に応じて専用の術野カメラ及び無影灯をその都度交換していたのでは、医療職の手間と手術時間が増え、その分患者の苦痛も増えることになる。

本発明は、上記事情を鑑みてなされたものであり、複数の診断方法に共通に使用できる技術を提供し、診断精度の更なる向上や新しい診断情報を得ることが可能な技術を提供することを目的とする。

以上の課題を解決するため、請求項１に係る撮像装置は、診断方法に応じて光の波長帯域を切り換える光源装置により光が照射された生体を撮像する医療診断用の撮像装置において、撮像画像の画像成分を強調する画像強調部と、強調された画像成分を前記撮像画像の色を補正した補正画像に適用し、少なくとも２つの診断方法に応じて撮像された撮像画像にそれぞれ対応する少なくとも２つの前記補正画像を融合する融合処理部と、を備えることを特徴とする。

請求項２に係る撮像装置は、請求項１に記載の撮像装置において、前記画像強調部は、異なる２つの生体部位の反射輝度の比が最も大きい色信号を強調することを特徴とする。

請求項３に係る撮像装置は、請求項１又は２に記載の撮像装置において、前記画像強調部は、強調対象の色信号から異なる２つの生体部位にそれぞれ対応する２つの周波数成分値を抽出し、所定のルックアップテーブルを用いて非線形変換を行うことにより、前記２つの周波数成分値の比を大きくすることを特徴とする。

請求項４に係る撮像装置は、請求項３に記載の撮像装置において、前記２つの周波数成分値の比は、異なる２つの生体部位の周波数成分値を事前に複数抽出し、周波数成分を多次元直交軸とする座標空間にプロットしたときに出現する２つの集合（クラスタ）の全体の分散の大きさが最も大きい第一主成分軸の成分値の比であることを特徴とする。

請求項５に係る撮像装置は、請求項１乃至４のいずれかに記載の撮像装置において、前記画像強調部は、強調対象の色信号に利得を追加し、非線形変換を行うことにより、当該色信号のダイナミックレンジを表示装置のダイナミックレンジに調整するとともに、異なる２つの生体部位に対応する当該色信号の比を調整することを特徴とする。

請求項６に係る撮像装置は、請求項１乃至５のいずれかに記載の撮像装置において、前記画像強調部は、前記補正画像の輝度信号に対して、第１の係数を乗じ、少なくとも利得が追加され非線形変換が行われた強調対象の色信号に第２の係数（第１の係数と第２の係数の合計は固定値）を乗じた値を加算することにより、前記補正画像の輝度信号の強調量を調整し、前記補正画像の色度信号に対して、当該加算した値を前記輝度信号の値で除した除算値を乗算することにより、前記補正画像の色度を保持することを特徴とする。

請求項７に係る撮像装置は、請求項６に記載の撮像装置において、前記画像強調部は、前記補正画像の色度を彩度と色相角に変換し、前記除算値に彩度と色相角の強調量に応じた各係数をそれぞれ乗じた値を前記補正画像の彩度と色相角にそれぞれ乗算することにより、前記補正画像の彩度と色相角を分けて強調することを特徴とする。

請求項８に係る撮像装置は、請求項７に記載の撮像装置において、前記画像強調部は、前記補正画像の彩度に所定の係数を乗じ、前記補正画像の色相角に所定の係数を加算することにより、前記補正画像の彩度を調整し色相を回転させることを特徴とする。

請求項９に係る撮像装置は、請求項１乃至８のいずれかに記載の撮像装置において、前記融合処理部は、複数の診断方法に対応する複数の前記補正画像から２つの補正画像を選択し、選択した２つの補正画像に対して異なる値の融合係数をそれぞれ乗じて合算することを特徴とする。

請求項１０に係る撮像装置は、請求項１乃至９のいずれかに記載の撮像装置において、前記融合処理部は、複数の診断方法に対応する複数の前記補正画像から２つの補正画像を選択し、選択した２つの補正画像の輝度比を求め、所定のルックアップテーブルを用いて生体深度に応じて変化する２つの関数（２つの関数の合計値は固定値）を生成し、選択した一方の補正画像に対して一方の関数値を乗じ、他方の補正画像に対して他方の関数値を乗じて合算することを特徴とする。

請求項１１に係る撮像装置は、請求項１乃至１０のいずれかに記載の撮像装置において、前記撮像画像は、Ｗ照明光とＩＲ照明光で照射された生体を、波長帯域の異なる２つのＩＲフィルタで撮像したＩＲ画像であって、前記融合処理部は、波長の短いＩＲフィルタで撮像されたＩＲ画像の画像信号を表示画像のＲ信号に割り当て、波長の長いＩＲフィルタで撮像されたＩＲ画像の画像信号を前記表示画像のＧ信号に割り当てることを特徴とする。

請求項１２に係る撮像装置は、請求項１乃至１１のいずれかに記載の撮像装置において、前記融合処理部は、２つの診断方法にそれぞれ対応する２つの撮像画像を融合する融合処理部であって、複数の当該融合処理部を直列及び並列に組み合わせることで、３つ以上の撮像画像を融合することを特徴とする。

本発明によれば、複数の診断方法に共通に使用できる技術を提供することができる。また、診断精度の更なる向上や新しい診断情報を得ることが可能な技術を提供することができる。

血管と粘膜の反射率及びコントラスト比を示す図である。 ＩＣＧの自家蛍光スペクトルを示す図である。 粘膜の自家蛍光スペクトルを示す図である。 γ−グルタミルトランスペプチダーゼの自家蛍光スペクトルを示す図である。 酸化ヘモグロビンと還元ヘモグロビンの光吸収率を示す図である。 ＩＣＧ蛍光撮像の照明光とカラーフィルタの波長帯域を示す図である。 粘膜蛍光撮像の照明光とカラーフィルタの波長帯域を示す図である。 γ−グルタミルトランスペプチダーゼ蛍光撮像の照明光とカラーフィルタの波長帯域を示す図である。 酸素飽和濃度検出用のルックアップテーブルの特性を示す図である。 カラーフィルタの帯域特性を示す図である。 医療診断システムの全体構成を示す図である。 光源装置の構成例を示す図である。 光源装置（無影灯）の光源の配列例を示す図である。 光源の制御例を示す図である。 照明光源（ファイバ照明装置）の構成例を示す図である。 撮像素子のカラーフィルタ配列例を示す図である。 撮像用カラーフィルタ部の構成例（４板プリズム方式）を示す図である。 撮像用カラーフィルタ部の構成例（２板プリズム方式）を示す図である。 撮像用カラーフィルタ部の構成例（３板プリズム方式）を示す図である。 マトリクス変換部の構成例を示す図である。 酸素飽和濃度変換部の構成例を示す図である。 酸素飽和濃度値からＧ信号への変換テーブルの例を示す図である。 画像強調部の処理動作の概要を示す図である。 画像強調部の構成例を示す図である。 対数フィルタリングの原理を示す図である。 照明ムラ抑制部の構成例を示す図である。 血管と表層粘膜の２次元周波数成分の分布を示す図である。 周波数成分強調部の構成例を示す図である。 周波数成分強調部の簡易構成例を示す図である。 バンドパスフィルタとハイパスフィルタの構成例を示す図である。 周波数成分強調部の効果を示す図である。 血管と表層粘膜に対するコントラスト強調の効果を示す図である。 血管と表層粘膜に対するγ補正の作用効果を示す図である。 コントラスト強調部の構成例（ネガティブ・フィードック方式）を示す図である。 色度強調部の構成例を示す図である。 融合処理部の構成例を示す図である。 表層血管と内部血管の輝度比に応じた生成関数を示す図である。 融合処理部の多段構成例を示す図である。 融合処理部の多段構成例を示す図である。

１．診断方法１〜６で必要な照明光とカラーフィルタについて
先ず、上述した診断方法１〜６で必要な光源装置の照明光の帯域特性と撮像装置のカラーフィルタの帯域特性について集約し、照明光とカラーフィルタの共通化及び照明光の切換の必要性について検討する。

１−１．診断方法１の場合
診断方法１の場合、波長帯域４２０〜４５０ｎｍのＮＢ照明光を患部に照射し、Ｂフィルタで撮像することにより、血管画像をコントラスト良く撮像することができる。撮像した血管画像は、白黒画像として表示し、又はＲＧＢ画像の血管部分を強調するための信号として使用する。

但し、ＮＢ照明光は、生体（血管及び表層粘膜）からの反射が小さく、狭帯域のため、画像として表示するための感度（ＳＮ比）を得るには、それに対応した照明光の強度と信号の増幅が必要になる。図１より約１００倍程度の増幅が必要となるので、そのうち１０倍程度を照明光の強度調整で担い、残りの１０倍を信号の増幅器で担う必要がある。このことから、ＮＢ照明光としては、専用の照明が必要になる。

また、表示するＲＧＢ画像の撮像は、画像のフレーム単位で白色のＷ（White）照明光とＮＢ照明光を交互に切換えて撮像を行ってもよいし、ＮＢ，Ｇ，Ｒの照明光で撮像し、ＮＢ照明光によって広がった色度座標を所定のマトリクス変換で補正して、ＮＢ照明光によるＮＢ画像と同時にＲＧＢ画像を得るようにしてもよい。

１−２．診断方法２の場合
診断方法２の場合、Ｗ照明光とＩＲ照明光（７９０〜９７０ｎｍ）を同時に照射してＲＧＢ画像を撮像するとともに、２つのＩＲ１フィルタ（６８０〜８１０ｎｍ；７６０ｎｍを中心）とＩＲ２フィルタ（８１０〜９９０ｎｍ；９４０ｎｍを中心）で２つのＩＲ画像を撮像する。また、そのＩＲ画像をカラー表示し、ＲＧＢ画像と融合表示するため、図５に示したように酸化ヘモグロビンと還元ヘモグロビンの光吸収係数が８１０ｎｍ付近で反転していることを利用して、ＩＲ１フィルタで撮像したＩＲ画像信号をＲＧＢ画像のＲ信号に割り当て、ＩＲ２フィルタで撮像したＩＲ画像信号をＧ信号に割り当てることで、動脈と静脈の色相コントラストを上げ、動脈と静脈を分別しやすくする。

診断方法１で得られる血管画像は、生体表層の静脈がほとんどで、赤黒い色で表示されるが、上述した色の割り当てを行うことにより、診断方法２の静脈の色相を診断方法１で得た静脈の色相に合わせる調整が容易になり、医師が通常観察している診断方法１の画像と違和感のない融合表示が可能になる。また、動脈についても、赤色の多い静脈や粘膜に対して、色のコントラストを出しやすい緑色の多い色調への調整が容易になる。

１−３．診断方法３の場合
診断方法３の場合、血管内にＩＣＧを注入し、図６に示すように、Ｗ照明光とＩＲ照明光（７７４ｎｍを中心とする）を同時に照射してＲＧＢ画像を撮像するとともに、ＩＣＧが発する蛍光（８０５ｎｍを中心とする）の画像をＩＲフィルタで撮像する。

但し、ＩＲ照明光がＩＣＧ蛍光撮像の背景光とならないようにＩＲ照明光の長波長側を７９０ｎｍでシャープカットし、ＩＲフィルタも、ＩＲ照明光が干渉しないように短波長側を７９０ｎｍでシャープカットする。また、ＩＲ照明光の短波長側もＲフィルタの帯域に掛からないように６８０ｎｍでシャープカットし、Ｒフィルタの長波長側も６８０ｎｍでシャープカットする。更に、ＩＣＧの蛍光度は弱いため、ＩＲ照明光は、その蛍光を検出するのに相応しい照明強度にする。

１−４．診断方法４の場合
診断方法４の場合、図７に示すように、励起光としてＳＢ照明光を行い、生体粘膜と癌が発する自家蛍光の違いをＧフィルタとＲフィルタで撮像してカラー表示を行う。癌の部分は蛍光度が微弱なため、ＳＢ照明光は、それを撮像するのに相応しい照明強度とし、撮像した画像信号を増幅する必要がある。

また、Ｇフィルタでの撮像の背景光とならないように、ＳＢ照明光の長波長側を４８０ｎｍでシャープカットを行い、Ｇフィルタの短波長側を４８０ｎｍでシャープカットする。なお、ＲＧＢ画像が必要な場合は、画像フレームごとにＷ照明光とＳＢ照明光を切換えて撮像を行う。

１−５．診断方法５の場合
診断方法５の場合、図８に示すように、励起光としてＢ照明光を行い、γ−グルタミルトランスペプチダーゼの蛍光プローブが発するＧの自家蛍光をＧフィルタで撮像する。Ｂ照明光の長波長側は４８０ｎｍでシャープカットし、Ｇフィルタの短波長側も４８０ｎｍでカットシャープカットする。これにより、診断方法４との共通化を図る。

蛍光プローブは、γ−グルタミルトランスペプチダーゼのほか、例えばセラミックナノ粒子又は量子ドットを蛍光体とした蛍光プローブ等が研究されている。但し、癌診断に用いる蛍光プローブは、手術中に術者が目視できるように可視光帯の蛍光を発するように設計されることが多い。生体色は赤色（Ｒ）が多いので色相コントラストを得るためにＧの蛍光を発するように設計される。一部にＲ（５−アミノレブリン酸など）やＩＲの蛍光を発するものもある。このような理由から、今後新しい蛍光プローブや蛍光色素が開発されても、可視光帯域とＩＲ帯域に対応した本発明による内視鏡や術野カメラにより癌を検出することができる。

１−６．診断方法６の場合
酸素飽和ヘモグロビンと還元ヘモグロビンからの反射光の比が一番大きくなる波長帯域は、図５に示した光吸収係数より、４２０〜４５０ｎｍの狭い帯域となる。この帯域は、生体からの反射が小さく、狭帯域のため、所定の感度を得るために、それに応じた強度を持つ照明光を用いる必要がある。それゆえ、診断方法６の照明光は、診断方法１のＮＢ照明光と共通化することができる。一方、カラーフィルタについては、ＲＧＢフィルタを用いることとなる。

酸素飽和濃度については、ルックアップテーブルを用いて求める。酸素飽和濃度を算出するには、先ず、Ｇ信号でＮＢ信号とＲ信号を除して、照明ムラや変化を正規化する。Ｇ信号を撮像するカラーフィルタの帯域特性は、診断方法４，５と共通化するために、短波長側を４８０ｎｍでシャープカットし、長波長側のカットオフ特性は、酸素飽和ヘモグロビンと還元ヘモグロビンのそれぞれの反射輝度の積分値が等しくなるように設定する。

Ｇ信号でＮＢ信号を除したＮＢ／Ｇ値は、酸素飽和濃度によって大きく変化するが、血液量によっても非線形に変化するため、このＮＢ／Ｇ値と、Ｇ信号でＲ信号を除したＲ／Ｇ値とを所定のルックアップテーブル（酸素飽和濃度値への変換テーブル）に入力し、酸素飽和濃度値に変換する。

次に、Ｒ／Ｇ値のみを所定のルックアップテーブル（血液量への変換テーブル）に入力して血液量に変換する。その後、酸素飽和濃度値と血液量を用いた２つの画像を擬似カラー化し、ＲＧＢ画像と融合表示する。

これにより、癌を含めて、動脈、静脈の状況を画像として診断することができる。すなわち、癌は進行に応じて酸素飽和濃度が変化するので、酸素飽和濃度を参照することにより癌のステージを判断することができる。また、酸素飽和濃度と血液量の両方のデータより、酸素飽和濃度だけでは分からなかった未分化型早期癌を診断できる。更に、良性、悪性、癌のステージ、発生部位に応じて、このような酸素飽和濃度や血液量の画像を、パターン分類化することも期待できる。

特に、術野カメラの場合、内視鏡のように生体表層ではなく、生体内部の酸素飽和濃度を知る必要がある。酸素飽和濃度の違いによって動脈、静脈、癌を選別し、手術のナビゲーションに役立てるようにする。生体を透過しやすいＩＲ１（７９０〜８１０ｎｍ）とＩＲ２（８１０〜９９０ｎｍ）の帯域も、図５に示したように酸素飽和ヘモグロビンと還元ヘモグロビンの吸収率又は反射率に違いが出るため、これを利用して生体内部の酸素飽和濃度を検出する。

具体的には、先ず、照明の変動やムラを正規化するため、ＩＲ１・ｇ＋ＩＲ２・ｈ＝Ｎの値でＩＲ１信号とＩＲ２信号をそれぞれ除する。係数ｇ，ｈの値は、酸素飽和ヘモグロビンと還元ヘモグロビンのそれぞれの反射輝度の積分値が等しくなるように設定する。

次に、Ｎ値でＩＲ１信号を除したＩＲ１／Ｎと、Ｎ値でＩＲ２信号を除したＩＲ２／Ｎの２つの信号を用いて、図９に示すルックアップテーブルで酸素飽和濃度に変換する。このときの光源装置の波長帯域と術野カメラのカラーフィルタは、診断方法２の場合と共通になる。

２．共通化に必要な照明とカラーフィルタ
上述した診断方法１〜６で必要な光源装置の照明光の帯域特性と撮像装置のカラーフィルタ特性を集約すると、光源装置の照明光については、各診断方法の目的に応じて照明光の波長帯域を切り換えなくてはならないが、診断方法１，６についてはＮＢ照明光を共通化でき、診断方法４，５はＢ照明光（ＳＢ照明光）を共通化でき、診断方法２，３はＩＲ照明光を共通化することができる。

また、撮像装置のカラーフィルタについては、Ｒ，Ｇ，Ｂフィルタに対するカットオフ特性の制約はいずれも色度座標を広げる方向となるため、マトリクス変換（色空間の変換処理）を行うことにより、診断方法１〜６の全てに共通使用し得るように撮像した画像信号を補正する必要がある。また、ＩＲフィルタについては、所定特性のものをＲＧＢフィルタとは別に用意しなくてはならないが、診断方法２，３，６についてはＩＲフィルタを共通化することができる。

それゆえ、診断方法１〜６で共通に使用可能な撮像装置のカラーフィルタは、図１０に示す特性を備えればよい。なお、診断方法１，２，３，６は、同時に撮像ができるが、診断方法１，２，３，６と診断方法４，５の組み合わせは、照明光の切換や撮像方式の違いから同時に撮像することができない。これらを組み合わせて診断を行う場合は、照明光を切換えて撮像し、その撮像画像をメモリに一旦保存しておき融合処理を行うようにする。

３．本発明の目的と構成
３−１．目的及び全体構成
本発明の目的は、上述した課題を解決するため、複数の特殊光画像診断に共通に使用できる内視鏡、術野カメラ、手術顕微鏡用カメラ等を提供することにある。加えて、上述した診断方法１〜６を組み合わせ、融合表示を行うことで、診断精度の向上や新しい診断情報を得ることが可能な画像診断装置を提供することにある。

本実施の形態に係る医療診断システムの全体構成を図１１に示す。この医療診断システムは、特殊光を照射して診断対象である生体を照明する光源装置１と、光源装置１により光照射された生体を撮像する撮像装置３と、光源装置１と撮像装置３を制御するための設定値を含むコントロール信号を出力するコントロール部５と、を備えて構成される。

光源装置１は、複数の照明光源を備える光源部１１と、診断方法１〜６に応じて照明光の波長帯域を切り換える照明光切換部１２と、を備える。この光源装置１は、例えば、内視鏡用、術野カメラ用、手術顕微鏡用カメラ等の各光源装置及び無影灯等として用いることができ、それらに組み合わせることも可能である。

撮像装置３は、診断方法１〜６で共通に用いる色の異なる複数のカラーフィルタを配列した撮像用カラーフィルタ部３１と、複数のカラーフィルタを共通化したことで生じる色の歪を補正するため、表示画像（ＲＧＢ画像）用として選択した信号の色をマトリクス変換し、更に所定の画像を強調するための強調用信号を生成するマトリクス変換部３２と、その強調用信号を用いて表示画像に含まれる血管構造等の必要な画像を強調する画像強調部３３と、複数の診断方法に対応する複数の表示画像を適宜組み合わせて融合する融合処理部３４と、を備える。この撮像装置３は、例えば、内視鏡、術野カメラ、手術顕微鏡用カメラ等として用いることができ、それらに組み合わせることも可能である。

特に、融合処理部３４は、診断方法１〜６で撮像された各画像を同時に検出し、又は光源装置１の照明光切換部１２により照明光を撮像フレームごとに切り換えて撮像された各画像を短時間にて検出を行い、それらの画像を融合する処理を行う。それゆえ、融合処理部３４は上述した画像診断装置に相当する機能部として機能し、これにより、術者の診断効果を更に向上し、新しい診断方法の可能性を高めることができる。

３−２．光源装置
光源装置１の構成例を図１２に示す。光源装置１は、上述した診断方法１〜６に対応して照明を選択し、又は撮像した画像フレームごとにその照明を電子的又は機械的に切り換えて、診断方法１〜６の画像を同時もしくは短時間に取得することができる。

上述したように、診断方法１，６については、ＮＢ照明を共通化することができる。診断方法４，５や診断方法３，４についても、それぞれ照明の共通化を行うことができる。また、それらの照明強度の調整及び切換方法については、照明光源となるＬＥＤ（Light Emitting Diode）又はＬＤ（Laser Diode）の駆動電流を調整することで対応できる。

そこで、図１２（ａ）に示すように、Ｗ，ＮＢ，ＳＢ，ＩＲ１，ＩＲ２の各照明光源となる４つのＬＥＤ２１ａと１つのＬＤ２１ｂを、透過膜を兼ねた各帯域の波長帯域フィルタ２２を介して、複数に分束された光源用ライトガイドファイバ２３（その他スコープライトガイドなどの多分岐ライトガイド）の各端面にそれぞれ接合し、コントロール部５からのコントロール信号に基づき、いずれかの照明光源を電子的に選択する。これにより、複数の照明光源を同時に駆動したり、画像フレームごとに照明光源を切り換えたりすることができる。なお、ＮＢ照明光源については、光強度の強いＬＤ２１ｂを用いる。

ＬＥＤ２１ａ又はＬＤ２１ｂについては、既存製品を利用可能である。現在、青色と緑色等のＬＥＤを併用した蛍光発光で、演色性の良いＷ照明用のＬＥＤ、大光量出力のＬＥＤ及びＬＤが開発されており、それらを流用できる。但し、これらのＬＥＤ又はＬＤの場合、所望の光量を得るために大電流を流す必要があり、そのために発熱が起きる。そこで、発熱による劣化や破壊を防止するため、空冷用の放熱フィンを接続し、又は近接配置した放熱ファンで強制空冷を行うことが好ましい。

このような電子的切換方式を適用すると、本来であれば診断方法ごとに必要な照明光源が共用化されるので、光源装置１の機構寸法が極めて小さくなり、内視鏡又は腹腔鏡（以下、内視鏡等）の内部への格納が可能となる。また、この光源装置１を内視鏡等に格納した場合、光源用ライトガイドファイバ２３の出射端面を内視鏡等内のスコープライトガイドファイバに直に接合できるので、内視鏡等から光源装置１までのライトガイドファイバの距離長に起因する照明光の減衰を省くことができる。

次に、照明光源を機械的に切り換える方式について説明する。その方式の構成例を図１２（ｂ）に示す。図中の５００は、内視鏡等のスコープライトガイドファイバであり、図示しないスコープライトガイドファイバ用のコネクタによって光源用ライトガイドファイバ２３に接続される。

光源用ライトガイドファイバ２３は、ＬＥＤ２１ａ又はＬＤ２１ｂの発光を内視鏡等のスコープライトガイドファイバ５００に導くためのものであり、光源用ライトガイドファイバ２３とＬＥＤ２１ａ又はＬＤ２１ｂとの間には、診断方法１〜６に応じた各帯域の波長帯域フィルタ２２が透過膜を兼ねて配置されている。また、光源用ライトガイドファイバ２３とスコープライトガイドファイバ５００との間の各接合端面には、それぞれ透過膜２４，５０１が配置されている。

このような透過膜２４、光源用ライトガイドファイバ２３、波長帯域フィルタ２２、ＬＥＤ２１ａ又はＬＤ２１ｂを１つの照明光源ブロックとし、共通化可能な診断方法ごとに構成する。例えば、診断方法１，６について１つの照明光源ブロックを形成する。

図中の２５は、光源ブロックを切り換えるための回転切換機構部２５である。回転切換機構部２５は、２つの光源ブロックを平面基板に線対称状に配置し、図面の水平軸を中心に回転することにより、いずれかの光源ブロックに切り替える。３つ以上の光源ブロックを必要とする場合には、上述した平面基板を複数用意し、その複数の平面基板を互いの水平軸に沿って嵌合し、風車の羽根のような構造にする。

また、図中の２６は、回転切換機構部２５を回転移動させて光源ブロックを機械的に切り換える切換駆動部である。コントロール部５からのコントロール信号に基づき、回転切換機構部２５の備える複数の光源ブロックのうちいずれかにスタティックに切り換えることにより、診断方法１〜６で用いる照明光をスコープライトガイドファイバ５００を通じて内視鏡先端に供給する。

なお、図１２（ａ）の電子的切換方式と図１２（ｂ）の機械的切換方式を組み合わせることも可能である。回転切換機構部２５内の構成を、図１２（ａ）に示す電子的に切り換える構成とする。具体的には、図１２（ｂ）に示した回転切換機構部２５が備える複数の光源ブロックのうちいずれか、個々の光源ブロックが備える複数のＬＥＤ及びＬＤのうちいずれかを電子的に切り換える。これにより、更に多様な光源ブロックの切換えを実現することができる。また、将来、新たな診断方法が開発されたときのために、新しいＬＥＤ及びＬＤを追加搭載できる予備のスペースを設けておくことが好ましい。

３−３．術野カメラ用照明の切換方法
次に、光源装置１を術野カメラ用の複数診断用無影灯として用いる場合について説明する。無影灯の場合、Ｗ，ＮＢ，ＳＢ，ＩＲ１，ＩＲ２の各照明光源を２次元にモザイク配列する。

照明光源の２次元モザイク配列例を図１３に示す。図１３（ａ）に示すように、Ｗ，ＳＢ，ＩＲ１，ＩＲ２の各照明光源を行列状にモザイク配列し、１つの光源体２７を構成する。その他、図１３（ｂ）に示すように、Ｗ，２つのＳＢ（ＳＢ１，ＳＢ２）、ＩＲ１，ＩＲ２の各照明光源を正五角形の各頂点に配置する。また、図１３（ｃ）に示すように、Ｗの照明光源を中央に配置し、その周りにＳＢ１，ＳＢ２の各照明光源とＩＲ１，ＩＲ２の各照明光源と２つの予備照明光源（Ｘ１，Ｘ２）を配置する。図１３に示したいずれの配列例であっても、放射された複数色の光が空間内で均一に混ざるように、ＩＲ１とＩＲ２等、波長帯域の近い照明光源を分散配置する。そして、このような光源体２７を１種類以上用いて、無影灯１’の光源形成面に高密度に配列する。

なお、駆動方法や撮像方法は内視鏡の実施例の場合と同じである。具体的には、図１４に示すように、各色の照明光源をそれぞれ制御するための各コントロール信号により、診断方法１〜６に応じて照明光源を切り替える。また、ＬＥＤ２１ａの前段にＬＥＤ駆動部２８（定電流源駆動部）を配置し、診断方法１〜６に応じてＬＥＤ駆動部２８の駆動電流の大きさを変えることにより、照明光の強度（光量）を調整する。

３−４．手術顕微鏡カメラ用照明の切換方法
次に、光源装置１を手術顕微鏡カメラ用のファイバ照明装置として用いる場合について説明する。ファイバ照明装置の照明についても、上述した２次元モザイク配列した照明光源及び光源用ライトガイドファイバで構成する。具体的には、図１５に示すように、光源用ライトガイドファイバ２３の光出射端側をリング状に密集させることにより、ファイバ照明装置のリング照明２９を形成する。なお、駆動方法や撮像方法については、上述した内視鏡及び複数診断用無影灯の場合と同じである。

４．撮像装置
４−１．撮像用カラーフィルタ部
続いて、撮像装置３について説明する。まず、撮像用カラーフィルタ部３１について説明する。昨今、撮像素子の画素に多層膜の干渉フィルタをモザイク配列する技術が開発され、所望の帯域幅とカットオフ特性を有するカラーフィルタのモザイク配列が可能になっている。

４−１−１．カラーフィルタの配列例
本実施の形態に係る内視鏡、腹腔鏡、術野カメラ、手術顕微鏡用カメラに使用する撮像素子のカラーフィルタの配列例を図１６に示す。このＲ，Ｇ，Ｂ，ＩＲのカラーフィルタは、図１０に示した波長帯域特性を備え、診断方法１〜６で共通使用可能である。

内視鏡診断においては、前述したように、癌を診断するうえで血管のテクスチャを観察することが重要である。表層粘膜と血管の反射の比は、図１に示したようにＮＢ照明光が一番大きいため、内視鏡用撮像素子のカラーフィルタのモザイク配列は、図１６（ａ）に示すように、ＮＢ照明光の反射光を受光するＢフィルタの配列密度を一番高くする。そして、次に寄与度が高いＧフィルタを２番目の配列密度とする。そして更に、寄与度が低いＲフィルタをその次に低い配列密度とする。なお、ＩＲはその透過性から生体内部の血管画像を検出できるが、その分、生体内部を透過する際の散乱によって分解能が劣化するため、ＩＲフィルタについてはＲフィルタと同じ配列密度とする。

また、診断方法２，６のように、ＩＲフィルタが更にＩＲ１，ＩＲ２というように２つのＩＲフィルタが必要になる場合には、図１６（ｂ）に示すように、Ｒフィルタに比べて血管検出の寄与度が高いＩＲ１フィルタを同図（ａ）のＲフィルタと入れ替え、生体深部の血管を検出するために散乱によって解像度が落ちるＩＲ２フィルタと血管検出における寄与度がほとんど無いＲフィルタとを同図（ｂ）のようにＩＲ１フィルタよりも低密度に配列する。

ここで、ＮＢ照明光の特性について説明し、特に術野カメラの場合におけるカラーフィルタ配列について説明する。ＮＢ照明光は、図１に示したように、生体からの反射率が小さく、狭帯域のため、一定の感度（ＳＮ比）を確保するには、従来よりも１００倍（４０ｄｂ）程度の照明光量を必要とするが、内視鏡等の光源でその照明光量を実現するのは難しい。また、術者が照明を直視することもあり、安全上からも難しい。

そこで、内視鏡の照明は、通常のＢ照明の１０倍程度の強度でＮＢ照明を行い、不足する１０倍（２０ｄｂ）をＮＢ信号の増幅により稼ぐようにする。表示に必要なＳＮ比は４６ｄｂ程度であるが、ＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子のＳＮ比が通常７０ｄｂ程度あるので、これからＮＢ信号の増幅度２０ｄｂを引くとＳＮ比は５０ｄｂとなり、表示のためのＳＮ比は確保可能である。

ところが、術野カメラの照明は、内視鏡のように専用照明ではなく、術者が観察する手術用の照明も兼ねるため、照明強度の強いＮＢ照明光を使用することはできない。表層粘膜と血管からの反射率の比は、図１から分かるようにＮＢ照明光に次いでＧ照明光が大きいため、術野カメラの場合は、Ｇ照明光を血管構造の強調信号に使用する。ゆえに、術野カメラの場合のカラーフィルタ配列は、図１６に示したＢフィルタとＧフィルタを互いに入れ替えて、Ｇフィルタの配列密度を一番高くしておく。

４−１−２．多板プリズム方式
次に、撮像用カラーフィルタ部３１を多板プリズム方式の撮像素子で構成する場合について説明する。

例えば、４板プリズム方式の撮像素子を用いる。４板プリズムの場合、図１７に示すように、入射光を、その撮像素子内のＩＲ反射ダイクロイックミラー３１１ａ〜Ｇ反射ダイクロイックミラー３１１ｃで分光し、ＩＲ，Ｒ，Ｂ，Ｇの各チャネルから信号をそれぞれ出力する。各チャネルの出力端面には、それぞれＩＲ撮像素子３１２ａ〜Ｇ撮像素子３１２ｄが接合されている。なお、ＩＲ撮像素子とは、ＩＲフィルタが画素上に積層された撮像素子である。他の撮像素子についても同様である。

この４板プリズム方式は、図１６に示したモザイク配列の単版素子と比べると、カメラの大きさ、コストの点で劣るが、解像度、感度の点で優れ、カラーフィルタの特性も反射ダイクロックミラーによって所望の帯域特性が得やすい。そのため、腹腔鏡の外付けカメラ、術野カメラ、手術顕微鏡カメラ等に向いている。

また、この多板プリズム方式をモザイク配列方式と組み合わせることにより、新しい診断方法が今後開発されても、更に多様な特殊光の撮像に対応できる撮像装置３を提供することが可能になる。例えば、ＩＲ１，ＩＲ２というように２つのＩＲフィルタが必要な場合、図１７の右側に示すように、ＩＲ撮像素子３１２ａのＩＲフィルタ配列を更にＩＲ１フィルタとＩＲ２フィルタにモザイク配列する。

その他、２板プリズム方式の撮像素子を用いてもよい。図１８では、２板プリズムによる内視鏡用５バンド撮像の撮像素子を示している。この２板プリズムの場合、入射光をＩＲ反射ダイクロイックミラー３１１ａで分光し、ＩＲ信号とＲＧＢ信号をそれぞれ出力する。また、ＩＲ１，ＩＲ２フィルタをモザイク配列したＩＲ撮像素子３１２ａと、一般的なＲＧＢ撮像素子３１２ｅとを各チャネルの出力端面にそれぞれ接合する。４板プリズムよりも簡易に構成できるので、内視鏡の先端に装着可能な大きさにすることもできる。また、ＩＲ撮像に製造が容易なＩＲ専用のＩＲ撮像素子３１２ａを使用し、廉価なＲＧＢ撮像素子３１２ｅを使用するので、撮像用カラーフィルタ部３１のコストを低減することもできる。

そのほか、３板プリズム方式の撮像素子を用いてもよい。図１９に示すように、入射光をＩＲ１反射ダイクロイックミラー３１１ｄとＩＲ２反射ダイクロイックミラー３１１ｅとで分光し、ＩＲ１用白黒撮像素子３０２ｆとＩＲ２用白黒撮像素子３１２ｇとＲＧＢ撮像素子３１２ｅとを各チャネルの出力端面にそれぞれ接合する。この場合にも廉価なＲＧＢ撮像素子を使用し、ＩＲ撮像に白黒撮像素子を使用するので、撮像用カラーフィルタ部３１のコストを低減することができる。

４−２．マトリクス変換部
次に、マトリクス変換部３２について説明する。上述したように、Ｒ，Ｇ，Ｂ，ＩＲ１，ＩＲ２フィルタのカットオフ特性の制約は、いずれも色度座標を広げる方向となるため、マトリクス変換部３２では、診断方法１〜６の全てに共通に使用できるように画像信号を補正する。また、マトリクス変換部３２は、所定の画像を強調するための強調用信号を生成する。

４−２−１．画像強調信号の生成
マトリクス変換部３２の構成を図２０に示す。マトリクス変換部３２は、コントロール部から送信されるコントロール信号Ｃ１に従い、図１１に示した前段の映像信号処理部からのＲ，Ｇ，Ｂ，ＩＲ１，ＩＲ２の各信号のうち１つ以上を画像強調信号Ｓとしてマルチプレクサ３２１で選択し、その画像強調信号Ｓの増幅度をコントロール信号Ｃ２に従い増幅度切換部３２２で設定する。

診断方法１の画像強調信号ＳであるＮＢ信号（Ｂ信号）は、図１から分かるように、反射率が小さく、狭帯域のため、増幅器３２３の増幅度は、照明と分担して大きな増幅度を必要とする。また、診断方法１において、内視鏡や手術顕微鏡の場合は、ＮＢ信号（Ｂ信号）を選択し、特に術野カメラの場合は、Ｇ信号を選択する。

そのほか、診断方法２では、ＩＲ１信号若しくはＩＲ２信号、又は（ＩＲ１＋ＩＲ２）信号を選択する。診断方法３，４，５では、Ｇ信号を選択する。

一方、診断方法６の場合、正常部位と異常部位の酸素飽和濃度の違いを利用する。そのため、映像信号処理部からのＲ，Ｇ，Ｂ，ＩＲ１，ＩＲ２の各信号は、酸素飽和濃度変換部３２４にも入力される。そして、内視鏡用の場合、図２１（ａ）に示すように、除算回路３２４ａによりＮＢ信号（Ｂ信号）をＧ信号で除し、除算回路３２４ｂによりＲ信号をＧ信号で除して、得られたＮＢ（Ｂ）／Ｇ値とＲ／Ｇ値をルックアップテーブル３２４ｃで酸素飽和濃度値に変換した信号を選択する。

また、術野カメラ又は手術顕微鏡用カメラの場合は、図２１（ｂ）に示すように、乗算回路３２４ｄでＩＲ１信号に係数ｇを乗じ、乗算回路３２４ｅでＩＲ２信号に係数ｈを乗じて、それらを加算回路３２４ｆで合算し、２つの除算回路３２４ｇ，３２４ｈにより、ＩＲ１・ｇ＋ＩＲ２・ｈ＝Ｎの値でＩＲ１信号とＩＲ２信号をそれぞれ除する。そして、得られたＩＲ１／Ｎ値とＩＲ２／Ｎ値をルックアップテーブル３２４ｉで酸素飽和濃度値に変換した信号を選択する。

ルックアップテーブル３２４ｃ，３２４ｉでは、図９に示した変換テーブルを元に酸素飽和濃度値への非線形変換処理が行われる。その後、酸素飽和濃度に変換された信号はマルチプレクサ３２１へ入力され、図２２に示す変換テーブルを用いて、その酸素飽和濃度信号の値に応じてＧ信号の値が非線形に変換される。

４−２−２．表示画像の生成
また、マトリクス変換部３２では、画像強調信号Ｓと同時に表示用のＲＧＢ画像を得るため、上述したマルチプレクサ３２１、増幅度切換部３２２、及び増幅器３２３からなる回路と同一の回路を更に３つ備え、コントロール部から送られてくるコントロール信号Ｃ３に従って、Ｒ，Ｇ，Ｂ，ＩＲ１，ＩＲ２の各信号の中から、ＲＧＢ表示に必要な信号をマルチプレクサ３２１ａ〜３２１ｃにより選択し、コントロール信号Ｃ３に従って、増幅度切換部３２２ａ〜３２２ｃで増幅器３２３ａ〜３２３ｃの増幅度を切換えて所定の増幅を行う。

診断方法１では、内視鏡や手術顕微鏡の場合、Ｒ信号，Ｇ信号に加えてＮＢ信号をＢ信号として選択し、術野カメラの場合、ＲＧＢの各信号をそのまま選択する。診断方法２では、ＩＲ１信号をＲ信号として選択し、ＩＲ２信号をＧ信号として選択する。診断方法３，４，５では、Ｇ信号とＲ信号のみを選択し、Ｂ信号は使用しない。

診断方法６では、内視鏡用の場合、ＮＢ（Ｂ）／Ｇ値とＲ／Ｇ値をルックアップテーブルで酸素飽和濃度に変換した信号を、生体の色とコントラストが大きいＧ信号として選択し、術野カメラ又は手術顕微鏡の場合、ＩＲ１／Ｎ値とＩＲ２／Ｎ値をルックアップテーブルで酸素飽和濃度に変換した信号を、同じくＧ信号として選択する。

次に、コントロール信号Ｃ４に従い、マトリクス変換処理部３２５で表示用のＹ，Ｃｒ，Ｃｂの各信号へと、診断方法１〜６のそれぞれに対応したマトリクス変換を行う。狭帯域のＮＢ信号と、短波長側を４８０ｎｍでカットしたＧ信号で撮像された画像は、ＢとＧの色度座標の範囲がそれぞれ外側に広がるため、Ｂｒａｄｆｏｒｄ変換やＣＡＴ０２変換、又はＣＩＥＣＡＭ０２変換等を応用した色空間の補正を兼ねて、Ｙ，Ｃｒ，Ｃｂの各信号へマトリクス変換を行う。

なお、診断方法１〜６に応じて複数の診断画像を用いて画像の融合処理を行う場合、複数の強調信号とＲＧＢ信号が必要になるため、その数の分だけマトリクス変換部３２と画像強調部３３を用意し、各々のコントロール信号に従って並列に処理を行うことになる。

４−３．画像強調部
４−３−１．画像強調処理の概要
次に、画像強調部３３について説明する。ここでは、診断方法１での血管と粘膜の画像を強調する例を用いる。

観察者が、内視鏡画像等で血管構造を認識するときに、無意識に捉える第１の特徴は、表層粘膜と血管のテクスチャの違いである。画像強調部３３は、診断方法１〜６における画像のテクスチャを構成する３つの要素を強調し、その要素を阻害する２つの要因を抑制することによって、画像のテクスチャを比較的簡便な方法で強調する。

強調する要素の１つ目は、診断方法１においては、表層粘膜と血管の反射輝度の比（コントラスト）を強調する。具体的には、もともとその２つの比が大きいＮＢ信号をそのための強調信号として用い、ＮＢ信号のダイナミックレンジ（分散）を表示範囲に最適化し、それに非線形な変換を行うことで、表層粘膜と血管のコントラストの最大化を行う。

強調する要素の２つ目は、診断方法１においては、表層粘膜と血管の画像の２次元周波数成分の違いを強調する。表層粘膜と血管の２次元周波数成分の違いを拡大することでテクスチャを強調する。テクスチャを理論的に捉える手法としては、同時共起行列やフラクタル解析等の優れた解析手法があるが、本実施例の画像強調部３３では、ハードウェアの実現性と効果とのバランスを考えて、ＮＢ信号の２次元周波数成分の違いを強調する。

強調する要素の３つ目は、診断方法１においては、表層粘膜と血管の色の違いを強調する。具体的には、上記強調信号を用いて、色度座標上の彩度と色相の違いを拡大する。

また、血管画像のテクスチャを劣化させる大きな要因として、血管の上層に位置する表層粘膜による照明光及び反射光の吸収と散乱がある。深部にある血管ほどコントラストが落ち、ボケた画像になる。曇り硝子を通して血管を観察するのと同様である。そこで、画像強調部３３では、テクスチャの阻害要因である散乱によるボケを修正する。

また、消化器の内側を観察する内視鏡では、消化器の構造が管腔状のものが多く、照明が点光源であるため、照明に近い周辺の画像が明るく、照明から遠くなる画像の中心部が暗くなるという照明ムラが起きる。また、腹腔鏡等も点光源に近いため周辺減光によって照明ムラが起きる。これらの照明ムラは、いずれも低周波数成分で画像信号に乗算されているため、照明の暗い部分の画像のコントラストを劣化させている。そこで、画像強調部３３では、この照明ムラを抑制し、コントラストを回復させる。

４−３−２．画像強調処理の詳細
上述に従った画像強調部３３の処理プロセスの概要を図２３に示す。具体的には、画像強調部３３では、（１）照明ムラの抑制、（２）周波数成分の違いの強調、（３）ボケの修正、（４）コントラストの強調、（５）輝度の強調、（６）色度の強調について、順次実行する。

マトリクス変換部３２で選択された増幅後の画像強調信号Ｓは、図２４に示す画像強調部３３に入力される。図２４と後述する図３５は、画像強調部３３の構成を示している。画像強調部３３では、照明ムラの抑制がなされ、テクスチャの基となる周波数成分の強調が行われた後、輝度と彩度と色相の強調が順次行われる。

以下、画像強調部３３の各処理プロセスの実施例を説明する。診断方法１のＮＢ信号（＝画像強調信号Ｓ）を用いて血管構造を強調する実施例を用いて説明を行う。

強調信号にＮＢ信号を用いる理由を先ず説明しておく。E.H.Landによって提案された視覚モデル（Retinex）によれば、人が画像のコントラストを感じる要素は、注目画素と近傍画素との輝度の差ではなく、輝度の比となる。図１に示した表層粘膜と血管の反射率（反射輝度）の比をみると、表層粘膜と血管の反射輝度の比は４００〜４４０ｎｍのＮＢ帯域で最も大きくなるので、ＮＢ信号を用いて表層粘膜と血管のテクスチャの違いを強調すれば、最も良い結果が得られることになる。

（１）照明ムラの抑制
マトリクス変換部３２で選択されたＮＢ信号は、最初に対数変換部３３１に入力され、対数変換部３３１で６０ｄｂの対数変換を行う。ＮＢ信号のＳＮ比を６０ｄＢとしたとき、ノイズレベルを１（ｌｏｇ（１）＝０）として、ＮＢ信号の飽和値１０００が３（ｌｏｇ（１０００））になるように、６０ｄＢの対数圧縮が行われる。対数変換されたｌｏｇ（ＮＢ）の信号は、次に照明ムラ抑制部３３２に入力される。

ここで、対数圧縮を行ってから、照明ムラの抑制処理を行う理由について説明する。図２５（ａ）に示すように、ＮＢ信号は、均一照明を行ったときのＮＢ’信号に照明ムラＬが掛算されたＮＢ＝ＮＢ’×Ｌという形の信号になっている。そのため、図２６に示す照明ムラ抑制部３３２の２次元ローパスフィルタ３３２ａで低周波成分である照明ムラを検出して減算（デコンボリューション）しても、図２５（ｂ）に示すように、照明ムラによって劣化したコントラストを回復することはできない。

そこで、図２５（ｃ）に示すように、先ずＮＢ信号に対して対数変換を行い、ｌｏｇ（ＮＢ）＝ｌｏｇ（ＮＢ’×Ｌ）＝ｌｏｇ（ＮＢ’）＋ｌｏｇ（Ｌ）という照明ムラが加算された形の信号にしてから、図２６の２次元ローパスフィルタ３３２ａで低周波成分である照明ムラｌｏｇ（Ｌ）を検出し、乗算回路３３２ｂで係数１／ｍ（０＜ｍ≦１）を乗じ、減算回路３３２ｃでｌｏｇ（ＮＢ）から減算し、その後に逆対数変換を行う。その結果、図２５（ｄ）に示すように、照明ムラを抑制すると同時に、照明の暗い部分の劣化したコントラストＮＢ’を回復させることができる。

このとき、内視鏡の照明ムラの周波数成分は、画像のナイキスト周波数に比して１０００分の１以下という低い周波数成分であるため、対数圧縮（非線形変換）によって発生する高調波を含めて、２次元ローパスフィルタによって照明ムラを分離して抑制することができる。

なお、係数１／ｍを乗ずる理由は、照明ムラ抑制によって暗い部分のコントラストを回復させると、ノイズも持ち上がるため、照明ムラの抑制とＳＮの劣化のバランスを調整するためである。

また、２次元ローパスフィルタによって検出した照明ムラでＮＢ信号を除して照明ムラを抑制してもよいが、後に説明する血管構造のテクスチャを示す周波数成分の強調や、ダイナミックレンジの最適化によるコントラストの強調を行う上で、ＮＢ信号を対数変換してから行うことで回路規模を縮小することができる。

また、この２次元ローパスフィルタにエッジ保存型のガウシアンフィルタ（バイラテラルフィルタ）を採用し、人の目の高解像視野角（視野の中心から±１度の範囲）に対応する表示画面上の画素数（４Ｋ表示装置を有効視野角３０度で観察するならば、約２５６×２５６画素に相当する画素数）に応じて、カットオフ周波数を適宜設定することにより、照明ムラの抑制と同時に、血管画像のエッジにおいてもハロー（輪状光）を起こさずに、血管画像のコントラストを強調することができる。

なお、人の目は、上述した高解像視野角の範囲（±１度に対応する２度の範囲）を高速に走査し、脳内で画像を合成し、有効視野全体で高精細画像を得ており、また、その範囲の明るさに応じて瞳孔径を瞬時に調整し、１：１００００００のダイナミックレンジを得ていることを付言しておく。

（２）周波数成分の違いの強調
照明ムラが抑制されたＮＢ信号は、次に、図２４の周波数成分強調部３３３に入力され、血管のテクスチャを構成する周波数成分の差が強調される。以下、その原理を説明する。

人の目がコントラストを感じる要素は、前述したように、注目画素と近傍画素との輝度の差ではなく輝度の比であるが、これは画像を２次元周波数成分で表現したときも同じで、表層粘膜と血管のテクスチャの違いを強調するには、その特徴となる２次元周波数成分の差ではなく比を拡大しなければならない。その理由を次に説明する。

２次元周波数成分を直交軸とした多次元空間において、表層粘膜と血管の各画像の周波数成分の分布クラスタ（表層粘膜と血管の各画像の周波数成分値を事前に複数抽出して周波数成分を多次元直交軸とする座標空間にプロットした分布クラスタ）を模擬的に表したものを図２７に示す。この２つの分布クラスタの主成分分析を行って求めた第１主成分軸（Ｆ軸）が、クラスタ全体の分散の大きさ（該２つの分布クラスタの全体の大きさ）が最も大きく、表層粘膜と血管の画像のテクスチャの特徴の違いを最もよく表す周波数成分ベクトルの方向となる。このＦ軸の方向に、その２つの分布クラスタの比ｋ／ｊ（ｋ；基準点から血管画像の周波数ベクトル分布までの大きさ，ｊ；基準点から表層粘膜画像の周波数ベクトル分布までの大きさ）を拡大することで、表層粘膜と血管のテクスチャの違いを強調することができる。

但し、バンドパスフィルタでＦ軸の第１主成分を抽出し、係数を乗じてＮＢ信号に加算してみても、Ｆ軸に投影された２つのクラスタの比ｊ／ｋを拡大させることはできない。その比ｊ／ｋを拡大させるには、Ｆ軸方向の周波数成分に対して非線形な処理を加えなくてはならない。

以上に基づき、表層粘膜と血管の周波数成分の違いを強調する実施例について以下説明する。周波数成分強調部３３３の構成を図２８に示す。同図の３３３Ａは、周波数成分の違いを強調するための回路であり、３３３Ｂは、ボケを補正するための回路である。

周波数成分強調部３３３は、バンドパスフィルタ３３３ａで証明ムラ抑制後のｌｏｇ（ＮＢ）信号からＦ軸方向の周波数成分ｌｏｇ（Ｆ）を抽出し、非線形変換回路３３３ｂの備えるルックアップテーブルを用いて非線形変換を行い、乗算回路３３３ｃで係数ｐを乗じた後に、加算回路３３３ｄで元のｌｏｇ（ＮＢ）信号に加算する。

非線形変換回路３３３ｂでは、血管画像に比べてＦ軸方向の周波数成分の振幅が小さい表層粘膜の強調量を少なくし、振幅が大きい血管画像のＦ軸方向の周波数成分の強調量を大きくする。ゆえに、非線形変換回路３３３ｂは、逆γ補正的な処理が必要となる。この補正処理により、２つのクラスタ間のＦ軸方向の周波数成分の比を拡大させることができる。なお、非線形変換回路３３３ｂでの非線形変換の特性、乗算回路３３３ｃでの係数ｐは、事前の検証により半固定的に設定される。

上述した処理を簡便に行う回路構成例を図２９に示す。照明ムラ抑制後のｌｏｇ（ＮＢ）信号から、バンドパスフィルタ３３３ｈでＦ軸方向の周波数成分ｌｏｇ（Ｆ）を抽出し、乗算回路３３３ｉで係数ｔを乗じることでｌｏｇ（Ｆ）^ｔとし、加算器３３３ｊで元のｌｏｇ（ＮＢ）信号に加算する。これにより上記と同様な効果を得ることができる。

血管や表層粘膜のテクスチャはフラクタル構造であるため、その画像の周波数成分の帯域特性は、ナイキスト周波数を正規化してみると、撮像の倍率や撮像部位によらず似たような帯域特性となり、撮像の倍率や撮像部位で大きく変わることがない。ゆえに、図２８，図２９に示したバンドパスフィルタ３３３ａをデジタルコンボリューションフィルタで構成すれば、その２次元マスク係数を撮像倍率や撮像部位に応じて切り換える必要がなく、比較的簡便な回路で効果の高いテクスチャの強調が可能になる。血管や消化器の構造がフラクタルである理由は、生物の進化の過程において、占有する体積をなるべく小さくし、必要な物質の供給・交換のために表面積をなるべく大きくするというニーズから、フラクタル構造に行き着いたといわれている。遺伝子の情報量もフラクタル次元により少なくて済むといわれている。

（３）ボケの修正
周波数成分強調部３３３では、上記の血管画像のテクスチャ強調に加えて、図２８に示したように、ボケ補正部３３３Ｂにおいて、血管の上層部に位置する表層粘膜の散乱によって起きる画像のボケを修正する輪郭強調を行う。具体的には、ハイパスフィルタ３３３ｅで周波数成分強調後の信号からボケで失われた高周波成分を抽出し、乗算回路３３３ｆで、その抽出した高周波数成分に係数ｑを乗じ、加算回路３３３ｇで係数ｑを乗じた信号を元の信号（周波数成分強調後の信号）に加算する。

ここで、バンドパスフィルタ３３３ａとハイパスフィルタ３３３ｅの具体的な回路構成について説明する。これらのフィルタには、実時間で動画を処理するために、２次元コンボリューションフィルタを用いる。

例えば、図３０（ａ）に示す５×５行の２次元係数を用いて画像をコンボリューションすれば、フーリエ対の関係から図３０（ｃ）に示すグラフのバンドパスフィルタを実現できる。このバンドパスフィルタを用いて、対象画素を含む計２５マスの各画素と５×５行の２５マスの各２次元係数とをそれぞれ積算し、合算した値を対象画素の値とする。

図３０（ｃ）は、画像の１次元方向の周波数特性｛１−ｃｏｓ（２πｆ／Ｎｆ）｝を示している。Ｎｆは、ナイキスト周波数を示す。バンドパスフィルタ３３３ａの特性は、図２７に示したＦ軸方向の周波数ベクトルの周波数成分と一致させるのが理想ではあるが、回路規模とのバランスを考慮し、図３０（ａ）に示したバンドパスフィルタで近似してもテクスチャ強調の効果を高く得ることができる。

また、図３０（ｂ）に示す３×３行の２次元係数を用いて画像をコンボリューションすれば、フーリエ対の関係から図３０（ｃ）に示すグラフのハイパスフィルタ｛１−ｃｏｓ（πｆ／Ｎｆ）｝を実現できる。

以上説明した２つのフィルタの２次元係数を適宜調整することで、図３１に示すようにテクスチャの強調とボケの修正を行うことができる。

（４）コントラストの強調
照明ムラが抑制され、テクスチャを示す周波数成分が強調され、ボケが修正されたｌｏｇ（ＮＢ）信号は、図２４のコントラスト強調部３３４に入力される。そして、このコントラスト強調部３３４において、ｌｏｇ（ＮＢ）信号はフレームメモリ３３４ａに一旦格納され、更に平均値検出部３３４ｂでｌｏｇ（ＮＢ）信号の平均値ｌｏｇ（ａ）が算出される。その後、その平均値ｌｏｇ（ａ）は加算回路３３４ｃに入力され、元のｌｏｇ（ＮＢ）信号に加算される。これにより、ｌｏｇ（ＮＢ）信号はｌｏｇ（ＮＢ・ａ）信号となるので、ＮＢ信号がａ倍（ａは、ｌｏｇＮＢの利得となる）されたことになる。つまり、図３２に示す片対数グラフで見ると、縦軸に沿ってｌｏｇ（ＮＢ）のグラフをｌｏｇ（ａ）だけ平行移動したことになる。

次に、ｌｏｇ（ＮＢ・ａ）信号は、図２４に示したようにフレームメモリ３３４ｄに一旦格納され、更に分散値検出部３３４ｅで平均値ｌｏｇ（ａ）を用いて信号の分散値γが算出される。その後、その分散値γは乗算回路３３４ｆに入力され、元のｌｏｇ（ＮＢ・ａ）信号に乗算される。これは、図３２に示した片対数グラフで見ると、ｌｏｇ（ＮＢ）の傾きをγだけ変えたことになる。これにより、信号はｌｏｇ（ＮＢ・ａ）^γとなるので、ｌｏｇ（ＮＢ・ａ）信号に対してγ補正を施したことになる。

以上の処理によって、ｌｏｇ（ＮＢ）信号のコントラストが最適化されることとなる。なお、画面フレームが変わると、その都度、利得ａと補正γの調整が必要になる。そこで、信号のダイナミックレンジ（分散）をディスプレイ表示範囲（表示装置のダイナミックレンジ）に収まるように最適化する。

具体的には、図２４の平均値検出部３３４ｂ内の累積加算回路で１フレーム分のｌｏｇ（ＮＢ）信号の累積加算を行い、その値を全画素数で除することで１フレーム分の平均値（Ａ）を算出し、その値と図３２に示すディスプレイ表示範囲の中心値（１．５）との差ｌｏｇ（ａ）（＝Ａ−１．５）を求め、それを加算回路３３４ｃで元のｌｏｇ（ＮＢ）信号に加算することにより、ｌｏｇ（ＮＢ）信号の１画面の平均値が図３２に示したディスプレイ表示範囲の中心となるように、利得ａの自動制御ＡＧＣ（automatic gain control）を行う。

また、分散値検出部３３４ｅでｌｏｇ（ＮＢ）信号の分散を検出して表示範囲との比γを求め、その比γの平均値を乗算回路３３４ｆで乗算の中心としてｌｏｇ（ＮＢ）信号に乗算することで、図３２に示したｌｏｇ（ＮＢ）の１画面の輝度の分散（標準偏差）が、同図に示すディスプレイ表示範囲に収まるように、ダイナミックレンジの自動制御ＡＤＣ（Automatic Dynamic range Control），ＡＬＣ（Automatic Latitude Control），ＡＣＣ（Automatic Contrast Control）を行う。なお、分散値γについては、ｌｏｇ（ＮＢ）信号の１画面分の二乗平均平方根の値を用いる。

ここで、補正γが必要な理由を以下に説明する。

前述したように、人の目がコントラストを感じるパラメータは、輝度の差ではなく輝度の比である。表層粘膜と血管の反射輝度の比を拡大するには、図３２の片対数グラフに示す表層粘膜と血管の２つのクラスタ間の比を拡大しなくてはならない。利得ａを調整（＝ｌｏｇ（ａ）を加減算）しても、２つのクラスタは上記対数グラフの縦軸に沿って平行移動するだけで、２つのクラスタ間の比は変らない。傾きを変える（つまり補正γを行う）ことで、はじめて２つのクラスタ間の比を変えることができる。傾きを上げるということは、ＮＢ信号に逆γ補正という非線形な処理を施すことになる。

いま、血管からの反射輝度を式（１）で近似することができる。

第１項は上層粘膜からの反射輝度を表し、第２項は血管からの反射輝度を表している。Ｉ_０は照明輝度、βは粘膜の吸収係数、ｘは表層から血管までの粘膜の厚み、Ｒは粘膜の単位厚み（Δｘ）あたりの反射係数、β’は血管の吸収係数、ｘ’は血管内の深さ、Ｒ’は血管の単位厚み（Δｘ’）あたりの反射係数を示す。但し、結像系のＮＡ（Numerical Aperture）と照明の拡散による影響は、微量のため省略してある。

図３３（ａ）に示すように、血管の上層部には表層粘膜が位置するので、血管に到達するＮＢ照明光の強度は、血管が深くなるに連れ、上層粘膜の吸収により急速に減衰する。また、血液の吸収係数は表層粘膜に比べて大きいため、表層にある血管の反射輝度は式（１）となるが、内部にある血管の反射輝度は、生体表層から血管の深さまで表層粘膜の反射を積分した第１項で近似することができる。

これをグラフに表すと、図３３（ｂ）に示す実線のグラフになる。これを、破線に示すように逆γ補正することで、内部の血管画像のコントラストを回復することができる。なお、この補正のレベルは、表層粘膜のコントラストも同時に強調されるため、強調とのバランスを事前検証で決める。

ここまで、フレームメモリを用いたコントラスト強調部３３４について説明した。その一方で、フレームメモリを用いることなく帰還型で構成してもよい。フレームメモリを必要としないネガティブ・フィードック方式の利得とダイナミックレンジの自動制御方式の構成を図３４に示す。

逆対数変換部３３４ｇからの出力信号は、平均値検出部３３４ｈと分散値検出部３３４ｉに入力され、平均値検出部３３４ｈで平均値ｌｏｇ（ａ）が算出される。また、その平均値ｌｏｇ（ａ）は分散値検出部３３４ｉに入力され、分散値検出部３３４ｉで分散値γが算出される。そして、平均値ｌｏｇ（ａ）は比較回路３３４ｊで参照信号ｒｅｆ１（平均値ｌｏｇ（ａ）の上限閾値）と比較され、小さい方が平均値ｌｏｇ（ａ）として加算回路３３４ｌへ入力される。また、分散値γは比較回路３３４ｋで参照信号ｒｅｆ２（分散値γの上限閾値）と比較され、小さい方が分散値γとして乗算回路３３４ｍへ入力される。

その後、加算回路３３４ｌにより、次の画像フレームのｌｏｇ（ＮＢ）信号に平均値ｌｏｇ（ａ）が加算され、ａ倍されたｌｏｇ（ＮＢ・ａ）信号が乗算回路３３４ｍへ入力される。また、乗算回路３３４ｍにより、ｌｏｇ（ＮＢ・ａ）信号に分散値γが乗算され、γ補正が施されたｌｏｇ（ＮＢ・ａ）^γ信号が逆対数変換部３３４ｇへ入力される。その後、逆対数変換部３３４ｇにより、ｌｏｇ（ＮＢ・ａ）^γ信号が（ＮＢ・ａ）^γ信号に逆対数変換され、平均値検出部３３４ｈと分散値検出部３３４ｉへ入力されるとともに、コントラスト強調部３３４から出力される。

この方式の場合、時間的に前の画像フレームの画像情報に基づく画像処理を後の画像フレームに適用するので、数フレーム分の遅延時間が生じるが、フレームメモリを用いないので低コストで実現できる。なお、図３４に示した逆対数変換部３３４ｇは、図２４の逆対数変換部３３５に相当する。

（５）輝度の強調
以上の制御がなされたｌｏｇ（ＮＢ・α）^γ信号は、図２４の逆対数変換部３３５で（ＮＢ・α）^γ信号（以下、ＮＢ’信号）に逆対数変換される。このＮＢ’信号を用いて、血管の構造を白黒画像として表示してもよいし、擬似カラー化を行って表示画像と融合表示してもよい。また、医師が日頃見慣れている内視鏡画像の色調を残したまま、血管画像の輝度だけを強調して表示してもよい。更に、以下に述べるように、輝度と彩度と色相をそれぞれ独立に強調して表示してもよい。その方法について以下説明する。

先ず、輝度の強調方法について説明する。図２４に示すように、輝度強調部３３６において、乗算回路３３６ａでＮＢ’信号に係数ｃを乗じ、マトリクス変換部３２から出力された撮像画像（Ｙ，Ｃｒ，Ｃｂの各信号に変換された表示用の基準画像）のＹ信号に乗算回路３３６ｂで係数ｄを乗じて、加算回路３３６ｃで加算を行い、Ｙ’＝Ｙ・ｄ＋ＮＢ’・ｃとしてＹ信号の強調を行う。このＹ’信号を表示用の輝度信号とする。なお、係数ｃ，ｄは、ｃ＋ｄ＝１の関係にあり、係数ｃの値を変えることでＹとＮＢ’の成分のバランスが変り、強調量を変えることができる。係数ｃは事前検証で求められ、コントロール部からのコントロール信号Ｃ５によって、半固定的に設定される。

また、彩度については、輝度信号を正規化したときの値であるため、輝度信号の変化分となるＹ’／Ｙを除算回路３３６ｄで算出し、乗算回路３３６ｅと乗算回路３３６ｆにおいて、そのＹ’／Ｙ値をＣｒ信号とＣｂ信号にそれぞれ乗じることで、輝度を強調したことで起きる彩度の変化を取り除き、輝度信号のみを強調することができる。

（６）色度の強調
次に、輝度に続いて、彩度と色相を別々に強調する方法について説明する。

図３５に示すように、色度強調部３３７において、先ず、Ｃｒ’信号（＝Ｃｒ・Ｙ’／Ｙ）とＣｂ’信号（＝Ｃｂ・Ｙ’／Ｙ）をルックアップテーブル３３７ａに入力し、色空間の変換情報を用いて、彩度√（Ｃｒ^２＋Ｃｂ^２）の算出と、色相角θ＝ｓｉｎ^−１（Ｃｒ／√（Ｃｒ^２＋Ｃｂ^２）)の算出を行う。

また、Ｙ／Ｙ’値（輝度信号の強調量）に、コントロール部から送信される係数ｅを乗算回路３３７ｂで乗じて強調量を調整し、その信号を乗算回路３３７ｃで彩度√（Ｃｒ^２＋Ｃｂ^２）に乗じることで彩度の強調を行う。なお、係数ｅは、診断方法１〜６において事前検証で求められたものである。

次に、乗算回路３３７ｅでＹ／Ｙ’値に係数ｆを乗じた信号を、乗算回路３３７ｅで色相角θに乗じることで、色相の強調を行う。係数ｆは、診断方法１〜６において事前検証で求められたものである。

最後に、彩度と色相が強調された信号をルックアップテーブル３３７ｆに入力し、Ｃｒ’’信号とＣｂ’’信号に再変換する。なお、乗算回路３３７ｇ、加算回路３３７ｈ、係数発生回路３３７ｉの各処理については、融合処理部３４で説明する。

（７）診断方法２〜６における画像強調処理
ここまで、診断方法１の血管構造を強調するための処理を例にして、画像強調部３３の処理を説明したが、その他の診断方法２〜６についても同様に、それぞれの特殊光撮像で得られた信号を強調信号として、目的に応じた画像の強調を行うことができる。

例として、診断方法４の場合を説明する。癌と正常組織の自家蛍光のスペクトルの違いをみると、正常組織は、コラーゲンからの緑色蛍光が強く起こるが、癌組織は、正常組織に比べて血液量が多く、また酸素飽和濃度が低いため、血液中のポルフィリンが増加して赤色蛍光が増え、フラピンの還元が起きて緑色蛍光が減少する。また、癌部では粘膜上皮が肥厚するため、緑色蛍光がそれに吸収されて減少することが起きる。

このような診断方法４の場合、正常組織と癌組織における緑色蛍光の輝度比が、赤色蛍光のそれよりも大きいため、Ｇ信号を強調信号として用いる。強調処理は、前述した診断方法１の場合と同じである。処理中に用いる各係数は、事前検証で診断方法４として求められたものが、コントロール部から送られ使用される。

コラーゲン以外にも、生体組織で自家蛍光を発生する物質は数多くある。例えば、エラスチン、ＮＡＤＨ（ニコチンアミド・アデニン・ジヌクレオチド酸）、ＦＡＤ（フラビン・アデニン・ジヌクレオチド酸）、ポルフィリン等は蛍光診断において重要といわれている。コラーゲン、エラスチンは粘膜下層の結合組織に多く含まれ、ＮＡＤＨ，ＦＡＤは細胞のエネルギー代謝に関わるミトコンドリアに、ポルフィリンは進行癌に多く含まれるといわれている。

これらの蛍光物質は、それぞれ励起波長と蛍光波長が異なるため、診断目的に応じて、新たな強調信号を発見できる可能性があり、診断目的に応じて画像の強調信号が明確になれば、前述同様、画像強調部３３によって画像の強調処理が可能になる。

その他の診断方法２，３，５，６についても、強調する信号はそれぞれ自明である。診断方法２では、ＩＲ１信号とＩＲ２信号をそれぞれ、又は（ＩＲ１＋ＩＲ２）信号を強調用信号として使用し、診断方法３ではＩＲ２信号、診断方法５ではＧ信号、診断方法６ではＢ信号から酸素飽和濃度にルックアップテーブルで変換した信号、又はＩＲ信号から酸素飽和濃度に変換した信号を使用すればよい。マトリクス変換部３２のマルチプレクサ３２１（図２０参照）で、目的に応じて、それらの信号を選択し、画像強調部３３によって前述同様の強調処理を行い、それぞれの診断精度を向上させることが可能になる。

術野カメラの場合は、前述したようにＮＢ照明光が使えないため、Ｂ信号に次いで反射率の比が大きいＧ信号及びＩＲ信号を画像強調信号として利用する。術野カメラのＲＧＢ画像とＩＲ画像を融合する方法は、融合処理部３４で詳述する方法と同じである。

４−４．融合処理部
図１１に示した融合処理部３４の構成を図３６に示す。融合処理部３４では、診断方法１〜６の画像情報を適宜組み合わせて融合処理を行うことで、診断効果を向上し、新しい診断効果を生み出すことを目的とする。また、融合処理部３４は、融合処理のための各種係数や関数の設定が、図１１のコントロール部５を介して事前の検証によって可能な構成となっている。以下、その実施例について説明する。

４−４−１．診断方法１，４の画像の融合処理
診断方法１，４の画像融合処理の必要性を先ず説明する。診断方法１では、癌の発生部位独自の血管構造を観察して、癌の診断と治療方針の決定ができるが、診断方法４の自家蛍光画像は、その癌の輪郭を明瞭に検出できるといわれている。そこで、診断方法１，４の画像を融合表示することで、それぞれの診断方法で得られる情報の相乗効果が期待できる。

画像の診断は、医学上の様々な要素が絡むので、融合の方法や条件を医師の検証で決定することになるが、一例として診断方法１，４の画像の融合処理の実施例について以下説明する。

診断方法１，４の融合処理の方法は、医師が日ごろ見慣れている診断方法１の画像を基準として、診断方法４の自家蛍光画像の彩度と色相を適宜調整して融合するのが良い。

先ず、診断方法１と診断方法４は同時に検出できないため、前述したように、画像フレーム単位で照明光を切換えて撮像し、融合処理部３４のフレームメモリ３４ａ，３４ｂを利用して診断方法１の（Ｙ_１’，Ｃｒ_１’’，Ｃｂ_１’’）と診断方法４の（Ｙ_４’，Ｃｒ_４’’，Ｃｂ_４’’）を同時に取得する。なお、Ｙ_ｎ’（ｎ；診断方法の識別子）は、図２４の輝度強調部３３６から出力された輝度強調後のＹ’信号であり、Ｃｒ_ｎ’’とＣｂ_ｎ’’は、図３５の色度強調部３３７から出力された彩度及び色相強調後のＣｒ’’信号とＣｂ’’信号である。

次に、コントロール部からのコントロール信号Ｃ６に基づき、マルチプレクサ３４ｃで（Ｙ_１’，Ｃｒ_１’’，Ｃｂ_１’’）と（Ｙ_４’，Ｃｒ_４’’，Ｃｂ_４’’）を選択し、コントロール信号Ｃ７に従い融合係数発生部３４ｄで発生させた融合係数ａ〜ｆを、乗算回路３４ｅ〜３４ｊでそれぞれの信号に乗じ、加算回路３４ｋ〜３４ｍで加算することで、診断方法１と診断方法４の画像の融合処理を行う。但し、輝度信号は、診断方法１の画像を優先するためにＹ_１’信号のみを使用する。具体的には、乗算回路３４ｅの係数を１に設定し、乗算回路３４ｆの係数を０にしてＹ_１’信号のみを選択する。

融合処理のための彩度と色相の調整は、診断方法１の画像をいじらず、診断方法４で得られた画像の彩度と色相を調整して、融合時に癌の輪郭がコントラストよく表示できるように融合する。具体的には、図３５に示した診断方法４用での色度強調部３３７において、コントロール部からのコントロール信号Ｃ８に従って係数発生回路３３７ｉで生成した係数ｇを、乗算回路３３７ｇで診断方法４の画像の彩度に乗じ、同じく係数発生回路３３７ｉで生成した定数ｈを加算回路３３７ｈで色相角に加算することで、診断方法４の画像の彩度の調整と色相を回転させる調整を行う。これにより、癌の部分の色調そのままとし、それ以外の正常組織の部分を赤色とコントラストの大きい緑色系統の色調とすることで、癌の輪郭を観察することができる。

なお、図３５に示した融合係数ｅ，ｆ及びｇ，ｈを含め、以上に述べた各係数や関数変換や座標変換のためのコントロール信号は、医師との事前検証で決められ、図１１に示したコントロール部５に設定される。コントロール部５は、各係数を医師が調整して事前検証できるように、ユーザーとのインタフェース機能と、事前検証によって決定した各係数や関数変換や座標変換のためのコントロール信号を記憶する機能を保有している。

その他、診断方法１，３、診断方法１，５、診断方法１，６の各融合処理についても、上記と同様に、医師が日ごろ見慣れている診断方法１の画像を基準として、診断方法５又は診断方法６の蛍光画像の彩度と色相を適宜調整して融合することができる。

４−４−２．診断方法１，２の画像の融合処理
次に、診断方法１のＮＢ信号による表面血管画像と、診断方法２のＩＲ１信号，ＩＲ２信号による生体内部の血管画像を融合表示する実施例について説明する。

診断方法１のＹ_１’信号と診断方法２のＹ_２’信号の振幅を正規化し、生体の深さを対数メモリで表すと、吸収散乱による減衰は負の指数関数であるため、図３７（ａ）に示すように２つの直線で表すことができる。そして、浅い部分で反射したＹ_１’信号とＹ_２’信号は、利得と分散（ダイナミックレンジ）が制御された後は波形も振幅も相似となる。ゆえに、輝度信号の比Ｙ_１’／Ｙ_２’は、図３７（ｂ）に示すように、表面からの反射は１に近い分散となり、深くなるにつれてＹ_１’信号が減衰して急速に小さくなるため、生体内深さ１〜３ｍｍで０に近づく。

この違いを利用して、画素ごとに画像の深さを判別し、生体の浅い部分については、医師が日ごろ見慣れている診断方法１の画像を優先して表示し、深い部分については診断方法２の画像を優先して表示する。その処理について以下説明する。

図３６に示したように、除算回路３４ｎで診断方法１のＹ_１’信号と診断方法２のＹ_２’信号の比Ｙ_２’／Ｙ_１’を求め、融合係数発生部３４ｄのルックアップテーブルを用いて、図３７（ｂ）に示すように、Ｙ_２’／Ｙ_１’の値によって（生体の深さによって）変化する２つの関数Ｆ１とＦ２を生成する。この２つの関数はＦ１＋Ｆ２＝１の関係にある。融合係数発生部３４ｄのルックアップテーブルには、その関数を生成するための関数及びデータが格納されている。

そして、この２つの関数を乗算回路３４ｅ，３４ｆでＹ_１’信号とＹ_２’信号にそれぞれ乗じ、加算回路３４ｋで加算行うことで、診断方法１と診断方法２の輝度信号の融合を行う。この関数変換の特性は、医師の事前検証で決められ、図１１のコントロール部５に格納されている。

Ｃｒ’’，Ｃｂ’’信号についても同様に、２つの関数Ｆ１，Ｆ２を乗算回路３４ｇ〜３４ｊでＣｒ_１’’信号とＣｂ_１’’に乗じてから、加算回路３４ｌ，３４ｍで加算することで、診断方法１，２の色度信号の融合を行う。

この処理により、診断方法１で検出できない生体内部の血管を、診断方法２のＩＲ１信号とＩＲ２信号で検出し、診断方法１の画像に融合表示することが可能になる。

次に、診断方法２のカラー表示について説明する。

図５より、酸化ヘモグロビンと還元ヘモグロビンの吸収係数は８１０ｎｍ付近で反転しているので、診断方法２のＩＲ１信号を表示画像（ＲＧＢ画像）のＲ信号に割り当て、ＩＲ２信号をＧ信号に割り当てると、動脈と静脈の色相のコントラストを上げることができ、動脈と静脈を分離して観察しやすくなる。診断方法１で得られる血管画像は、生体表層であるため静脈がほとんどで、赤黒い色で表示されるため、上記の割り当てを行うことで、診断方法２の静脈の色相を診断方法１で得た静脈の色相に合わせる調整が容易になり、医師が通常観察している診断方法１の画像と違和感のない表示が可能になる。動脈も、赤色の多い静脈や粘膜に対して、色のコントラストを出しやすい橙色から黄色を経て緑色へと、緑色が多い色度への調整が、図３５に示した色度強調部３３７によって容易になる。

以上の処理により、生体の浅い部分については、医師が日ごろ見慣れている診断方法１の画像を優先して表示し、深い部分については、診断方法１の画像をある程度残しつつ、診断方法２の画像を優先して表示することが可能になり、観察上違和感のない表示が可能になる。

４−４−３．診断方法１，２，４の画像の融合処理
次に、診断方法１，２，４の画像の融合処理方法について説明する。診断方法１，２，４の画像の融合処理の場合、図３８に示すように、融合処理部３４を多段に構成する。

先ず、診断方法１，２の融合処理を、１つ目の融合処理部３４’で上記と同様に行い、そこで得た画像と診断方法４の画像を、融合処理部３４’に縦列接続した２つ目の融合処理部３４’’で融合処理を行うことで、診断方法１，２，４の画像の融合処理を行うことが可能となる。

その他の診断方法の組み合わせによる融合処理や、また、新しい特殊光観察の診断方法が開発されたときの融合処理についても、事前検証でコントロール信号を設定することで、照明光を切り替え、強調信号を選択し、マトリクス変換部や画像強調部を並列に使用して画像の強調を行い、融合処理部を並列もしくは縦列に使用して、画像の融合処理を行うことが可能になる。

４−４−４．診断方法１，２，６の画像の融合処理
最後に、診断方法１，２，６の画像の融合処理方法について説明する。この融合処理の１つ目の目的は、医師が日ごろ見慣れている診断方法１の癌画像の輝度と色度を保持したまま、癌と正常部との輪郭を明瞭に見分けることができる融合処理を行うことにある。また、２つ目の目的は、手術のナビゲーションに応用できるように、動脈を見分けることができる融合処理を行うことにある。

そこで、図３９に示すように、先ず、診断方法１，２の融合処理を前段の融合処理部３４’で行い（「４−４−２．診断方法１，２の画像の融合処理」参照）、そこで得た診断方法１，２の融合画像と、診断方法６で得た酸素飽和濃度の擬似カラー画像（彩度と色相を調整した後の画像）の融合処理を、縦列に接続した後段の融合処理部３４’’で更に行うことで、上述の目的を達成する。

酸素飽和濃度の擬似カラー画像の作成は、診断方法６の酸素飽和濃度値をＧ信号に割り当てることで行なう。これにより、診断方法２の擬似カラー画像作成の際に、静脈と動脈に割り当てた色度と一致させることができるので、動脈を見極める際の相乗効果が期待できる。

そして、診断方法１の癌画像の輝度と色度を保持するため、図２２に示したように、癌の酸素飽和濃度が３０％以下のときのＧ信号の値をゼロとし、酸素飽和濃度が１００％のときのＧ信号の値が飽和値となるように、非線形な割り当てを行なう。この非線形変換は、酸素飽和濃度への変換と併せて、図２１に示したルックアップテーブル３２４ｃ，３２４ｉによって行われる。

そして、次に、診断方法６での色度強調部３３７（図３５参照）において、コントロール信号Ｃ８に応じて係数発生回路３３７ｉから発生される係数ｇ，ｈによって、診断方法６の擬似カラー画像の彩度と色相の微調整が行われ、融合後の癌と正常部の色度のコントラストの最適化がなされる。

これにより、診断方法１，２で検出した癌画像の輝度と色度を保持したまま、正常組織部分の色度を、酸素飽和濃度に応じて、癌画像の色度に対してコントラストが大きい緑色を含んだ橙や黄色の色度へと変換することが可能になり、癌と正常組織の輪郭を明瞭に表示し、認識することができることになる。

また、正常組織の静脈（酸素飽和濃度が７０％程度）は、赤黒い色（赤＞緑）として表示され、動脈（酸素飽和濃度が９８％）が、緑色の多さに応じて、橙色から黄色を経て緑色（赤＜緑）として表示されることになり、静脈と動脈を見分けることができる。これらの色度は、診断方法２の擬似カラー画像作成時に、静脈と動脈に割り当てた色度と一致することになる。

１…光源装置
１’…無影灯
１１…光源部
１２…照明光切換部
２１ａ…ＬＥＤ
２１ｂ…ＬＤ
２２…波長帯域フィルタ
２３…光源用ライトガイドファイバ
２４…透過膜
２５…回転切換機構部
２６…切換駆動部
２７…光源体
２８…ＬＥＤ駆動部
２９…リング照明
３…撮像装置
３１…撮像用カラーフィルタ部
３２…マトリクス変換部
３３…画像強調部
３４…融合処理部
３１１ａ〜３１１ｅ…反射ダイクロイックミラー
３１２ａ〜３１２ｇ…撮像素子
３２１…マルチプレクサ
３２２…増幅度切換部
３２３…増幅器
３２４…酸素飽和濃度変換部
３２５…マトリクス変換処理部
３３１…対数変換部
３３２…照明ムラ抑制部
３３３…周波数成分強調部
３３４…コントラスト強調部
３３５…逆対数変換部
３３６…輝度強調部
３３７…色度強調部
５…コントロール部（コントロール装置）
５００…スコープライトガイドファイバ
５０１…透過膜

Claims (12)

1. 診断方法に応じて光の波長帯域を切り換える光源装置により光が照射された生体を撮像する医療診断用の撮像装置において、
   撮像画像の画像成分を強調する画像強調部と、
   強調された画像成分を前記撮像画像の色を補正した補正画像に適用し、少なくとも２つの診断方法に応じて撮像された撮像画像にそれぞれ対応する少なくとも２つの前記補正画像を融合する融合処理部と、
   を備えることを特徴とする撮像装置。
2. 前記画像強調部は、
   異なる２つの生体部位の反射輝度の比が最も大きい色信号を強調することを特徴とする請求項１に記載の撮像装置。
3. 前記画像強調部は、
   強調対象の色信号から異なる２つの生体部位にそれぞれ対応する２つの周波数成分値を抽出し、所定のルックアップテーブルを用いて非線形変換を行うことにより、前記２つの周波数成分値の比を大きくすることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記２つの周波数成分値の比は、
   異なる２つの生体部位の周波数成分値を事前に複数抽出し、周波数成分を多次元直交軸とする座標空間にプロットしたときに出現する２つの集合（クラスタ）の全体の分散の大きさが最も大きい第一主成分軸の成分値の比であることを特徴とする請求項３に記載の撮像装置。
5. 前記画像強調部は、
   強調対象の色信号に利得を追加し、非線形変換を行うことにより、当該色信号のダイナミックレンジを表示装置のダイナミックレンジに調整するとともに、異なる２つの生体部位に対応する当該色信号の比を調整することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
6. 前記画像強調部は、
   前記補正画像の輝度信号に対して、第１の係数を乗じ、少なくとも利得が追加され非線形変換が行われた強調対象の色信号に第２の係数（第１の係数と第２の係数の合計は固定値）を乗じた値を加算することにより、前記補正画像の輝度信号の強調量を調整し、前記補正画像の色度信号に対して、当該加算した値を前記輝度信号の値で除した除算値を乗算することにより、前記補正画像の色度を保持することを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 前記画像強調部は、
   前記補正画像の色度を彩度と色相角に変換し、前記除算値に彩度と色相角の強調量に応じた各係数をそれぞれ乗じた値を前記補正画像の彩度と色相角にそれぞれ乗算することにより、前記補正画像の彩度と色相角を分けて強調することを特徴とする請求項６に記載の撮像装置。
8. 前記画像強調部は、
   前記補正画像の彩度に所定の係数を乗じ、前記補正画像の色相角に所定の係数を加算することにより、前記補正画像の彩度を調整し色相を回転させることを特徴とする請求項７に記載の撮像装置。
9. 前記融合処理部は、
   複数の診断方法に対応する複数の前記補正画像から２つの補正画像を選択し、選択した２つの補正画像に対して異なる値の融合係数をそれぞれ乗じて合算することを特徴とする請求項１乃至８のいずれかに記載の撮像装置。
10. 前記融合処理部は、
    複数の診断方法に対応する複数の前記補正画像から２つの補正画像を選択し、選択した２つの補正画像の輝度比を求め、所定のルックアップテーブルを用いて生体深度に応じて変化する２つの関数（２つの関数の合計値は固定値）を生成し、選択した一方の補正画像に対して一方の関数値を乗じ、他方の補正画像に対して他方の関数値を乗じて合算することを特徴とする請求項１乃至９のいずれかに記載の撮像装置。
11. 前記撮像画像は、Ｗ照明光とＩＲ照明光で照射された生体を、波長帯域の異なる２つのＩＲフィルタで撮像したＩＲ画像であって、
    前記融合処理部は、
    波長の短いＩＲフィルタで撮像されたＩＲ画像の画像信号を表示画像のＲ信号に割り当て、波長の長いＩＲフィルタで撮像されたＩＲ画像の画像信号を前記表示画像のＧ信号に割り当てることを特徴とする請求項１乃至１０のいずれかに記載の撮像装置。
12. 前記融合処理部は、２つの診断方法にそれぞれ対応する２つの撮像画像を融合する融合処理部であって、
    複数の当該融合処理部を直列及び並列に組み合わせることで、３つ以上の撮像画像を融合することを特徴とする請求項１乃至１１のいずれかに記載の撮像装置。

Images