[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切替SW13aが設けられている。モード切替SW13aは、通常観察モードと、第1特殊観察モードと、第2特殊観察モードと、同時観察モードとの4種類のモード間の切り替え操作に用いられる。通常観察モードは、通常画像をモニタ18上に表示するモードである。第1特殊観察モードは、胃癌などの病変によって胃粘膜に萎縮が生じた萎縮部と正常部との境界を観察するために用いられ、第1特殊画像をモニタ18上に表示するモードである。第2特殊観察モードは、萎縮部と正常部の色の違いを観察するために用いられ、第2特殊画像をモニタ18上に表示するモードである。同時観察モードは、萎縮部と正常部の境界の観察と、萎縮部と正常部との色の違いの観察を同時に行うために用いられ、第1特殊画像と第2特殊画像をモニタ18上に同時表示するモードである。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20d、これら4色のLED20a〜20dの駆動を制御する光源制御部21、4色のLED20a〜20dから発せられる4色の光の光路を結合する光路結合部23を備えている。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド(LG)41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380〜420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420〜500nmの青色光Bを発生する。G-LED20cは、波長範囲が480〜600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620〜630nmで、波長範囲が600〜650nmに及ぶ赤色光Rを発生する。
光源制御部21は、通常観察モード、第1特殊観察モード、第2特殊観察モード、同時観察モードのいずれの観察モードにおいても、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを全て点灯してもよい。この場合、紫色光V、青色光B、緑色光G、及び赤色光Rの4色の光が混色した光が、観察対象に照射される。また、光源制御部21は、通常観察モード時には、紫色光V、青色光B、緑色光G、赤色光R間の光量比がVc:Bc:Gc:Rcとなるように、各LED20a〜20dを制御する。一方、光源制御部21は、第1特殊観察モード、第2特殊観察モード、同時観察モード時には、紫色光V、青色光B、緑色光G、赤色光R間の光量比がVs:Bs:Gs:Rsとなるように、各LED20a〜20dを制御する。
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46、撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、受信部53と、DSP56と、ノイズ除去部58と、画像処理切替部60と、通常画像処理部62と、特殊画像処理部64と、映像信号生成部66とを備えている。受信部53は内視鏡12からのデジタルのRGB画像信号を受信する。R画像信号は撮像センサ48のR画素から出力される信号に対応し、G画像信号は撮像センサ48のG画素から出力される信号に対応し、B画像信号は撮像センサ48のB画素から出力される信号に対応している。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、画像処理切替部60に送信される。なお、本発明の「画像信号入力処理部」は、受信部53と、DSP56と、ノイズ除去部58を含む構成に対応する。
画像処理切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、RGB画像信号を通常画像処理部62に送信し、第1特殊観察モード、第2特殊観察モード、同時観察モードにセットされている場合には、RGB画像信号を特殊画像処理部64に送信する。
通常画像処理部62は、RGB画像信号に対して、色変換処理、色彩強調処理、構造強調処理を行う。色変換処理では、デジタルのRGB画像信号に対しては、3×3のマトリックス処理、階調変換処理、3次元LUT処理などを行い、色変換処理済みのRGB画像信号に変換する。次に、色変換処理済みのRGB画像信号に対して、各種色彩強調処理を施す。この色彩強調処理済みのRGB画像信号に対して、空間周波数強調等の構造強調処理を行う。構造強調処理が施されたRGB画像信号は、通常画像のRGB画像信号として、通常画像処理部62から映像信号生成部66に入力される。
特殊画像処理部64は、第1特殊観察モード、第2特殊観察モード、又は同時観察モードに設定されている場合に作動する。この特殊画像処理部64は、第1特殊画像を生成する第1特殊画像処理部64aと、第2特殊画像を生成する第2特殊画像処理部64bと、第1特殊画像と第2特殊画像を同時表示するための同時表示用特殊画像を生成する同時表示用画像処理部64cとを備えている。ただし、第1特殊画像処理部64aは第2特殊画像を生成しない。また、第2特殊画像処理部64bは第1特殊画像を生成しない。これら第1特殊画像処理部64a、第2特殊画像処理部64b、同時表示用画像処理部64cの詳細については、後述する。特殊画像処理部64で生成された第1特殊画像、第2特殊画像、同時表示用特殊画像のRGB画像信号は、映像信号生成部66に入力される。
映像信号生成部66は、通常画像処理部62又は特殊画像処理部64から入力されたRGB画像信号を、モニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号に基づいて、モニタ18は、通常画像、第1特殊画像、又は第2特殊画像をそれぞれ表示し、または第1特殊画像と第2特殊画像とを同時表示する。
第1特殊画像処理部64aは、図4に示すように、逆ガンマ変換部70と、Log変換部71と、信号比算出部72と、平行移動部73と、極座標変換部74と、角度拡張・圧縮部75と、直交座標変換部76と、RGB変換部77と、構造強調部78と、逆Log変換部79と、ガンマ変換部80とを備えている。また、第1特殊画像処理部64aは、RGB変換部77と構造強調部78との間に、明るさ調整部82を備えている。なお、本発明の「第1移動処理部」は、第1特殊画像処理部64aにおける平行移動部73と角度拡張・圧縮部75を含む構成に対応している。
逆ガンマ変換部70は、入力されたRGB画像信号に対して逆ガンマ変換を施す。この逆ガンマ変換後のRGB画像信号は、検体からの反射率に対してリニアな反射率リニアRGB信号であるため、RGB画像信号のうち、検体の各種生体情報に関連する信号が占める割合が多くなる。なお、反射率リニアR画像信号を第1R画像信号とし、反射率リニアG画像信号を第1G画像信号とし、反射率リニアB画像信号を第1B画像信号とする。
Log変換部71は、第1RGB画像信号(本発明の「第1カラー画像信号」に対応する)をそれぞれLog変換する。これにより、Log変換済みのR画像信号(logR)、Log変換済みのG画像信号(logG)、Log変換済みのB画像信号(logB)が得られる。信号比算出部72は、Log変換済みのG画像信号とB画像信号に基づいて差分処理(logG-logB =logG/B=-log(B/G))することにより、B/G比を算出する。ここで、「B/G比」は、-log(B/G)のうち「-log」を省略したものを表している。また、Log変換済みのR画像信号とG画像信号に基づいて差分処理(logR-logG=logR/G=-log(G/R))することにより、G/R比を算出する。G/R比については、B/G比と同様、-log(G/R)のうち「-log」を省略したものを表している。
なお、B/G比、G/R比は、B画像信号、G画像信号、R画像信号において同じ位置にある画素の画素値から求める。また、B/G比、G/R比は画素毎に求める。また、B/G比は、血管深さ(粘膜表面から特定の血管がある位置までの距離)に相関があることから、血管深さが異なると、それに伴ってB/G比も変動する。また、G/R比は、血液量(ヘモグロビンインデックス)と相関があることから、血液量に変動が有ると、それに伴ってG/R比も変動する。
平行移動部73は、信号比算出部72で求めたB/G比、G/R比に基づいて、ある範囲の座標を平行移動させる第1処理を行う。極座標変換部74は、平行移動部73で平行移動済みのB/G比、G/R比に基づいて、動径rと角度θに変換する。この極座標変換部74において、動径rと角度θへの変換は、全ての画素について行う。角度拡張・圧縮部75は、極座標変換部74で極座標変換した第1処理済みの動径rと角度θに基づいて、角度θを拡張・圧縮する第2処理を行う。これら第1及び第2処理の詳細については後述する。
直交座標変換部76では、角度拡張・圧縮部75で第2処理済みの角度拡張・圧縮済みの動径r、角度θを、直交座標に変換する。これにより、再度、B/G比、G/R比に変換される。RGB変換部77(本発明の「カラー画像信号変換部」に対応する)では、逆ガンマ変換部70を出力したRGB画像信号のうち少なくとも1つの画像信号を用いて、直交座標変換部76を経たB/G比、G/R比を、第2RGB画像信号(本発明の「第2カラー画像信号」に対応する)に変換する。例えば、RGB変換部77は、第1RGB画像信号のうちG画像信号とB/G比とに基づく演算を行うことにより、B/G比を第2B画像信号に変換する。また、RGB変換部77は、第1RGB画像信号のうちG画像信号とG/R比に基づく演算を行うことにより、G/R比を第2R画像信号に変換する。また、RGB変換部77は、第1G画像信号については、特別な変換を施すことなく、第2G画像信号として出力する。
明るさ調整部82は、第1RGB画像信号と第2RGB画像信号とを用いて、第2RGB画像信号の画素値を調整する。明るさ調整部82で、第2RGB画像信号の画素値を調整するのは、以下の理由による。平行移動部73及び角度拡張・圧縮部75で色領域を拡張・圧縮する処理により得られた第2RGB画像信号は、第1RGB画像信号と明るさが大きく変わってしまう可能性がある。そこで、明るさ調整部81で第2RGB画像信号の画素値を調整することによって、明るさ調整後の第2RGB画像信号が第1RGB画像信号と同じ明るさになるようにする。
明るさ調整部82は、第1RGB画像信号に基づいて第1明るさ情報Yinを求める第1明るさ情報算出部82aと、第2RGB画像信号に基づいて第2明るさ情報Youtを求める第2明るさ情報算出部82bとを備えている。第1明るさ情報算出部82aは、「kr×第1R画像信号の画素値+kg×第1G画像信号の画素値+kb×第1B画像信号の画素値」の演算式に従って、第1明るさ情報Yinを算出する。第2明るさ情報算出部82bにおいても、第1明るさ情報算出部82aと同様に、上記と同様の演算式に従って、第2明るさ情報Youtを算出する。第1明るさ情報Yinと第2明るさ情報Youtが求まると、明るさ調整部82は、以下の式(E1)〜(E3)に基づく演算を行うことにより、第2RGB画像信号の画素値を調整する。
(E1):R*=第2R画像信号の画素値×Yin/Yout
(E2):G*=第2G画像信号の画素値×Yin/Yout
(E3):B*=第2B画像信号の画素値×Yin/Yout
なお、「R*」は明るさ調整後の第2R画像信号を、「G*」は明るさ調整後の第2G画像信号を、「B*」は明るさ調整後の第2B画像信号を表している。また、「kr」、「kg」、「kb」は「0」〜「1」の範囲にある任意の定数である。
構造強調部78では、明るさ調整部82で明るさ調整後の第2RGB画像信号に対して構造強調処理を施す。構造強調処理としては、周波数フィルタリングなどが用いられる。逆Log変換部79は、構造強調部78を経たRGB画像信号に対して、逆Log変換を施す。これにより、真数の画素値を有するRGB画像信号が得られる。ガンマ変換部80は、逆Log変換部79を経たRGB画像信号に対してガンマ変換を施す。これにより、モニタ18などの出力デバイスに適した階調を有するRGB画像信号が得られる。ガンマ変換部80を経たRGB画像信号は、第1特殊画像のRGB画像信号として、同時表示用画像処理部64c又は映像信号生成部66に送られる。
平行移動部73で行われる第1処理の内容について、図5に示すような、縦軸がB/G比で、横軸がG/R比で形成される2次元の色空間である特徴空間を用いて、以下説明する。第1処理では、まず、特徴空間において、萎縮性胃炎により萎縮した萎縮粘膜が分布する第2範囲内の平均値(Xa、Ya)を算出する。次に、第2範囲に加えて、正常粘膜が分布する第1範囲と、萎縮性胃炎により萎縮した萎縮粘膜下に存在し、萎縮とともに透見する深層血管が分布する第3範囲の座標の全てについて、平均値(Xa、Ya)の大きさ分だけ、縦軸のマイナス方向と横軸のマイナス方向に平行移動させる。これにより、図6に示すように、第2範囲(特定の範囲)の座標が、特徴空間上の原点を含む基準範囲に入るとともに、第1及び第3範囲の座標も、第2範囲の座標との位置関係を維持した状態で、基準範囲方向に近づく。基準範囲は、第1処理後の第1範囲及び第3範囲を含まない低彩度の範囲である。
角度拡張・圧縮部75で行う第2処理では、図7Aに示すように、縦軸がB/G比で、横軸がG/R比で形成される特徴空間において、角度変更範囲R1内にある座標P1の角度θを変更する一方で、角度変更範囲R1外の座標については角度θの変更は行わない。角度変更範囲R1は、第1範囲と第3範囲とを含むように設定されている。なお、第2処理では、角度変更範囲R1の座標の動径rについて変更は行わない。
角度変更範囲R1においては、第1範囲と第3範囲との間に、第1中心線CL1が設定されている。第1中心線CL1は角度θcであり、角度変更範囲R1のうち、角度θc以下の角度θは、時計回り方向に回転させるのに対して、角度θc以上の角度θは、反時計回り方向に回転させる。なお、第1中心線CL1から一定の範囲R1xの角度θについては、角度変化率が「1」よりも大きい角度変化率Wxで変更する拡張処理を行い、範囲R1xを超える範囲R1yの角度θについては、角度変化率が「1」よりも小さい角度変化率Wyで変更する圧縮処理を行うことが好ましい。また、第2処理によって、角度変更範囲R1の座標を、第1中心線CL1から±90度の範囲(特徴空間において、「正」の横軸を0°とし、角度を0°から360°で表現した場合には、「270°+θc」から「θc+90°」の範囲P(図7B参照))内で移動させることが好ましい。なお、角度変化率が「1」の場合は、角度θを変更する処理を行っても、角度θの大きさは変わらない。
以上の第2処理を行うことによって、図8に示すように、角度変更範囲R1内のうち、角度θc以下の角度θは、角度θよりも小さくなる角度Eθに変更される一方で、角度θc以上の角度θは、角度θよりも大きくなる角度Eθに変更される。また、角度変化率は、角度θと角度Eθを関係づける線CV1の接線を示す「直線L1」の傾きで表わされ、範囲R1x内では直線L1の傾きは「1」よりも大きいのに対して、範囲R1y内では直線L1の傾きは「1」よりも小さくなっている。これに対して、角度変更範囲R1外の角度θは、角度θrと大きさが変わらない角度Eθに変換される(恒等変換)。また、角度変更範囲R1外においては、直線L1の傾きは「1」になっている。
これにより、図9に示すように、第2範囲の座標は基準範囲に維持した状態で、第1範囲の座標の大部分が特徴空間の第2象限に移動する一方で、第3範囲の座標の大部分が特徴空間の第4象限に移動する。したがって、第1範囲、第3範囲の座標は、特徴空間上でそれぞれ別の象限に存在することになる。この第2処理後に得られる第1特殊画像は、萎縮粘膜や、萎縮粘膜下で萎縮により透見しつつある深層血管などがある萎縮部と、正常粘膜がある正常部との境界が明瞭化して表示される。
図10に示すように、第2特殊画像処理部64bは、第1特殊画像処理部64aとほぼ同様の構成を備えている。ただし、第2特殊画像処理部64bでは、平行移動部73の代わりに、動径拡張・圧縮部81が設けられている。また、角度拡張・圧縮部75で行う処理が第1特殊画像処理部64aで行う第2処理と異なっている。なお、本発明の「第2処理部」は、第2特殊画像処理部64bにおける動径拡張・圧縮部81と角度拡張・圧縮部75を含む構成に対応している。
動径拡張・圧縮部81では、極座標変換部74で変換済みの動径rと角度θに基づいて、動径rを変更する第3処理を行う。この第3処理の内容について、図11に示すような、縦軸B/G比、横軸G/R比から形成される2次元の色空間である特徴空間を用いて、以下説明する。第3処理では、特徴空間において、動径変更範囲R2内にある座標P2の動径rを変更し、動径変更範囲R2外の座標の動径は変更しない。動径変更範囲R2は、動径rが「rA」から「rB」の範囲内であり、且つ、角度θが「θA」から「θB」の範囲内である(rA<rB、θA<θB)。この動径変更範囲R2は、萎縮性胃炎により萎縮した萎縮粘膜が分布する第2範囲を含む領域であり、正常粘膜が分布する第1範囲と、萎縮性胃炎により萎縮した萎縮粘膜下に存在し、萎縮とともに透見する深層血管が分布する第3範囲とを含まないように設定されている。
なお、第3処理では、動径変更範囲R2の座標の角度θについて変更は行わない。また、第3処理では、動径rが「rp」から「rB」の範囲内においては、動径変化率が「1」よりも大きい動径変化率Vxで動径rを変更する拡張処理を行い、動径rが「rA」から「rp」の範囲内においては、動径変化率が「1」よりも小さい動径変化率Vyで動径rを変更する圧縮処理を行うことが好ましい。なお、動径変化率が「1」の場合には、動径rを変更する処理を行っても、動径rの大きさは変わらない。
以上の第3処理を行うことによって、図12に示すように、動径変更範囲R2内の動径rは、動径rよりも小さくなる動径Erに変更される。また、動径変化率は、動径rと動径Erとを関係づける線CV2の接線を示す「直線L2」の傾きで表わされ、「rp」から「rB」の範囲内では直線L2の傾きは「1」よりも大きいのに対して、「rA」から「rp」の範囲内では直線L2の傾きは「1」よりも小さくなっている。これに対して、動径変更範囲R2外の動径rは、動径rと大きさが変わらない動径Erに変換される(恒等変換)。また、動径変更範囲R2外では、直線L2の傾きは「1」になっている。これにより、図13に示すように、第1範囲と第3範囲の座標はそのまま維持した状態で、第2範囲の座標だけ、原点を含む基準範囲に移動する。なお、この第2範囲の座標の移動により、特殊画像上では彩度が低下する。
第2特殊画像処理部64bの角度拡張・圧縮部75では、第3処理後の動径rと角度θに基づいて、角度θを変更することにより、第1範囲の座標を維持した状態で、第3範囲の座標を移動させる第4処理を行う。第4処理では、図14Aに示すように、縦軸がB/G比で、横軸がG/R比で形成される特徴空間において、角度変更範囲R3内にある座標P3の角度θを変更する一方で、角度変更範囲R3外の座標については角度θの変更は行わない。角度変更範囲R3は、第3範囲を含むようにするとともに、第1範囲を含まないように設定されている。なお、第4処理では、角度変更範囲R3の座標の動径rについて変更は行わない。
角度変更範囲R3においては、第1範囲と第3範囲との間に、角度θdとなる第2中心線CL2が設定されている。第2中心線CL2は角度θdであり、角度変更範囲R3のうち、角度θd以下の角度θを、時計回り方向に回転させる。なお、第2中心線CL2から一定の範囲R3xの角度θについては、角度変化率が「1」よりも大きい角度変化率Wxで変更する拡張処理を行い、範囲R3xを超える範囲R3yの角度θについては、角度変化率が「1」よりも小さい角度変化率Wyで変更する圧縮処理を行うことが好ましい。また、第4処理によって、角度変更範囲R3の座標を、第2中心線CL2から−90度の範囲(特徴空間において、「正」の横軸を0°とし、角度を0°から360°で表現した場合には、「270°+θc」から「θc」までの範囲Q(図14B参照))内で移動させることが好ましい。なお、角度変化率が「1」の場合は、角度θを変更する処理を行ったとしても、角度θの大きさは変わらない。
以上の第4処理を行うことによって、図15に示すように、角度変更範囲R3内では、角度θは、角度θよりも小さくなる角度Eθに変更される。また、角度変化率は、角度θと角度Eθとを関係づける線CV3の接線を示す「直線L3」の傾きで表わされ、範囲R3x内では直線L3の傾きは「1」よりも大きいのに対して、範囲R3y内では直線L3の傾きは「1」よりも小さくなっている。これに対して、角度変更範囲R3外の角度θは、角度θrと大きさが変わらない角度Eθに変換される(恒等変換)。また、角度変更範囲R3外においては、直線L3の傾きは「1」になっている。
これにより、図16に示すように、第2範囲の座標を基準範囲に維持しつつ、第1範囲の座標を変更することなく維持した状態で、第3範囲の座標の大部分が特徴空間の第4象限に移動する。この第3範囲の座標が第1象限から第4象限に移動することで、特徴空間上で色相が変化する。以上から、第1範囲、第2範囲、及び第3範囲の座標は、完全に離れることになる。
第4処理後に得られる第2特殊画像は、正常部の色は維持して表示される一方で、萎縮性胃炎が生じた萎縮部のうち、萎縮粘膜は退色調で表示され、萎縮粘膜下で萎縮により透見しつつある深層血管についても萎縮時の色で表示される。したがって、第2特殊画像は萎縮性胃炎が生じたときの本来の色で表示されるため、正常部と萎縮部との色の違いが明確となっている。
同時表示用画像処理部64cは、第1特殊画像処理部64aと第2特殊画像処理部64bで生成された第1特殊画像と第2特殊画像に基づいて、同時表示用特殊画像を生成する。モニタ18は、図17に示すように、同時表示用特殊画像に基づいて、一方側に第1特殊画像を表示し、他方側に第2特殊画像を表示する。第1特殊画像は、正常部と萎縮部との境界が極めて明瞭であるため、萎縮部の位置などを把握することを容易にする画像であるものの、正常部が本来の胃の粘膜の色でない疑似カラーで表示されるため、ドクターにとって違和感のある画像となっている。一方、第2特殊画像は、第1特殊画像と比較すると、正常部と萎縮部との境界はある程度明瞭であって、かつ正常部の色が本来の胃の色で表示されるため、ドクターにとって違和感がない画像となっている。これら2つの第1特殊画像と第2特殊画像を同時に表示することで、正常部の色を把握しつつ、正常部と萎縮部の境界を検出することができるようになる。
次に、本発明の一連の流れについて、図18のフローチャートに沿って説明する。まず、通常観察モードにセットし、内視鏡12の挿入部12aを検体内に挿入する。挿入部12aの先端部12dが胃に到達したら、モード切替SW13aを操作して、通常観察モードから第1、第2特殊観察モードに切り替える。なお、第1特殊画像と第2特殊画像の両方を観察しながら萎縮性胃炎の診断を行う場合には、同時観察モードに切り替える。
第1、第2特殊観察モードに切り替えた後に得られるRGB画像信号に基づいて、信号比算出部72により、B/G比、G/R比を算出する。次に、第1特殊観察モードに設定されている場合には、B/G比、G/R比で形成される特徴空間において、正常粘膜が分布する第1範囲の座標と、萎縮性胃炎により萎縮した萎縮粘膜が分布する第2範囲の座標と、萎縮性胃炎により萎縮した萎縮粘膜下に存在し、萎縮とともに透見する深層血管が分布する第3範囲の座標について、第2範囲の座標が基準範囲に入るように、第1〜第3範囲の座標を平行移動させる第1処理を行う。
次に、第1、第2特殊観察モードのいずれにおいても、B/G比、G/R比を、極座標変換により、動径r、角度θに変換する。第1特殊観察モードに設定されている場合には、極座標変換した第1処理後の動径r、角度θに基づいて、第1範囲の座標と第3範囲の座標を、互いに離れるように移動させる第2処理を行う。第2処理後の動径r、角度θを直交座標変換で直交座標に変換する。直交座標変換後のB/G比、G/R比に基づいて、第1特殊画像を生成する。この第1特殊画像はモニタ18に表示される。
一方、第2特殊観察モードに設定されている場合には、極座標変換した動径r、角度θに基づいて、第1範囲の座標と第3範囲の座標を維持した状態で、第2範囲を基準範囲に移動させる第3処理を行う。第3処理後の動径r、角度θに基づいて、第1範囲の座標を維持した状態で、第3範囲の座標を移動させる第4処理を行う。第4処理後の動径r、角度θを直交座標変換で直交座標に変換する。直交座標変換後のB/G比、G/R比に基づいて、第2特殊画像を生成する。この第2特殊画像はモニタ18に表示される。
なお、同時観察モードは第1特殊画像と第2特殊画像との同時表示に限らず、例えば第1特殊画像と通常画像の同時表示でもよい。また第2特殊画像と通常画像の同時表示でもよい。その場合には通常画像処理部62と特殊画像処理部64の各々で表示画像を生成し、映像信号生成部66を経てモニタ18で表示される。
また、同時観察モードでは、第1特殊画像と、第1〜第4処理のいずれの処理も行わない第3特殊画像とを同時表示するようにしてもよい。この第3特殊画像は、特殊画像処理部64に設けられた第3特殊画像処理部(図示しない)で生成される。第3特殊画像処理部は、第1特殊画像処理部64aと異なり、平行移動部73と、極座標変換部74と、角度拡張・圧縮部75と、直交座標変換部76と、RGB変換部77を備えていない。それ以外は、第1特殊画像処理部64aと同様である。なお、第3特殊画像を生成する際は、紫色光Vの光強度を、青色光B、緑色光G、及び赤色光Rの光強度よりも大きくして各色の光を発光することが好ましい。このような発光条件の元で得られた第3特殊画像は、画像全体が明るい状態を維持した状態で、表層血管が強調されて表示される画像となっている。
[第2実施形態]
第2実施形態では、第1実施形態で示した4色のLED20a〜20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
図19に示すように、第2実施形態の内視鏡システム100では、光源装置14において、4色のLED20a〜20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(図19では「445LD」と表記)104と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(図19では「405LD」と表記)106とが設けられている。これら各光源104、106の半導体発光素子からの発光は、光源制御部108により個別に制御されており、青色レーザ光源104の出射光と、青紫色レーザ光源106の出射光の光量比は変更自在になっている。
光源制御部108は、通常観察モードの場合には、青色レーザ光源104を駆動させる。これに対して、第1又は第2特殊観察モード、又は同時観察モードの場合には、青色レーザ光源104と青紫色レーザ光源106の両方を駆動させるとともに、青色レーザ光の発光強度を青紫色レーザ光の発光強度よりも大きくなるように制御している。以上の各光源104、106から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ45の他に、ライトガイド41からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110に、青色レーザ光が照射されることで、蛍光体110から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体110を透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ45を介して、検体内に照射される。
ここで、通常観察モードにおいては、主として青色レーザ光が蛍光体110に入射するため、図20に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した白色光が、観察対象に照射される。一方、第1又は第2特殊観察モード、又は同時観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体110に入射するため、図21に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した特殊光が、検体内に照射される。
なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl10O17)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
[第3実施形態]
第3実施形態では、第1実施形態で示した4色のLED20a〜20dの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ48に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図22に示すように、第3実施形態の内視鏡システム200では、光源装置14において、4色のLED20a〜20dに代えて、広帯域光源202、回転フィルタ204、フィルタ切替部205が設けられている。また、撮像光学系30bには、カラーの撮像センサ48の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ206が設けられている。
広帯域光源202はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、内側に設けられた通常観察モード用フィルタ208と、外側に設けられた特殊観察モード用フィルタ209とを備えている(図23参照)。フィルタ切替部205は、回転フィルタ204を径方向に移動させるものであり、モード切替SW13aにより通常観察モードにセットされたときに、回転フィルタ204の通常観察モード用フィルタ208を白色光の光路に挿入し、第1又は第2特殊観察モードにセットされたときに、回転フィルタ204の特殊観察モード用フィルタ209を白色光の光路に挿入する。
図23に示すように、通常観察モード用フィルタ208には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ208a、白色光のうち緑色光を透過させるGフィルタ208b、白色光のうち赤色光を透過させるRフィルタ208cが設けられている。したがって、通常観察モード時には、回転フィルタ204が回転することで、青色光、緑色光、赤色光が交互に観察対象に照射される。
特殊観察モード用フィルタ209には、周方向に沿って、白色光のうち特定波長の青色狭帯域光を透過させるBnフィルタ209aと、白色光のうち緑色光を透過させるGフィルタ209b、白色光のうち赤色光を透過させるRフィルタ209cが設けられている。したがって、特殊観察モード時には、回転フィルタ204が回転することで、青色狭帯域光、緑色光、赤色光が交互に観察対象に照射される。
内視鏡システム200では、通常観察モード時には、青色光、緑色光、及び赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、RGBの第1カラー画像信号が得られる。そして、それらRGBの画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
一方、第1又は第2特殊観察モード、又は同時観察モード時には、青色狭帯域光、緑色光、及び赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、Bn画像信号と、G画像信号、R画像信号が得られる。これらBn画像信号と、G画像信号、R画像信号に基づいて、第1又は第2特殊画像の生成が行われる。第1又は第2特殊画像の生成には、B画像信号の代わりに、Bn画像信号が用いられる。それ以外については、第1実施形態と同様の方法で第1又は第2特殊画像の生成が行われる。
[第4実施形態]
第4実施形態では、挿入型の内視鏡12及び光源装置14に代えて、飲み込み式のカプセル内視鏡を用いて、通常画像、第1又は第2特殊画像の生成に必要なRGB画像信号を取得する。
図24に示すように、第4実施形態のカプセル内視鏡システム300は、カプセル内視鏡302と、送受信アンテナ304と、カプセル用受信装置306と、プロセッサ装置16と、モニタ18を備えている。カプセル内視鏡302は、LED302aと、撮像センサ302bと、画像処理部302cと、送信アンテナ302dとを備えている。なお、プロセッサ装置16は第1実施形態と同様であるが、第4実施形態では、通常観察モード、第1特殊観察モード、第2特殊観察モードに切り替えるためのモード切替SW308が新たに設けられている。
LED302aは、白色光を発するものであり、カプセル内視鏡302内に複数設けられている。ここで、LED302aとしては、青色光源と、この青色光源からの光を波長変換して蛍光を発する蛍光体とを備える白色LEDなどを用いることが好ましい。LEDに代えて、LD(Laser Diode)を用いてもよい。LED302aから発せられた白色光は、観察対象に対して照明される。
撮像センサ302bはカラーの撮像センサであり、白色光で照明された観察対象を撮像して、RGBの画像信号を出力する。ここで、撮像センサ302bとしては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを用いることが好ましい。撮像センサ302bから出力されたRGB画像信号は、画像処理部302cで、送信アンテナ302dで送信可能な信号にするための処理が施される。画像処理部302cを経たRGB画像信号は、送信アンテナ302dから、無線で送受信アンテナ304に送信される。
送受信アンテナ304は被検者の体に貼り付けられており、送信アンテナ302dからのRGB画像信号を受信する。送受信アンテナ304は、受信したRGB画像信号を、無線でカプセル用受信装置306に送信する。カプセル用受信装置306はプロセッサ装置16の受信部53と接続されており、送受信アンテナ304からのRGB画像信号を受信部53に送信する。
なお、上記実施形態では、図3に示すような発光スペクトルを有する4色の光を用いたが、発光スペクトルはこれに限られない。例えば、図25に示すように、緑色光G及び赤色光Rについては、図3と同様のスペクトルを有する一方で、紫色光Vsについては、中心波長410〜420nmで、図3の紫色光Vよりもやや長波長側に波長範囲を有する光にしてもよい。また、青色光Bsについては、中心波長445〜460nmで、図3の青色光Bよりもやや短波長側に波長範囲を有する光にしてもよい。
なお、上記実施形態では、第1特殊画像処理部64aにおいて、B/G比、G/R比に基づいて第1処理を行い、第1処理済みのB/G比、G/R比を極座標変換で動径r、角度θに変換し、変換後の動径r、角度θに基づいて第2処理を行い、その後に、再度、B/G比、G/R比に戻したが、図26に示すように、二次元LUT400を用いて、B/G比、G/R比から、極座標変換等することなく、直接、第1及び第2処理済みの、又は第3及び第4処理済みのB/G比、G/R比に変換してもよい。
なお、二次元LUT400には、B/G比、G/R比と、このB/G比、G/R比に基づく第1及び第2処理(又は第3及び第4処理)を行って得られる第1及び第2処理済み(又は第3及び第4処理済み)のB/G比、G/R比とが対応付けて記憶されている。なお、第2特殊画像処理部64bにおいても、二次元LUTを用いて、上記と同様の処理を行ってもよい。また、逆ガンマ変換部70から出力された第1RGB画像信号は二次元LUT400に入力される。もしくは、上記実施形態と同様に、RGB変換部77に第1RGB画像信号を入力するようにしてもよい。
なお、上記実施形態では、第2処理で角度θを変更して、第1範囲と第3範囲とが互いに離れるようにしているが、その他の方法で、第1範囲と第3範囲とが互いに離れるようにしてもよい。例えば、動径rを変更して第1範囲と第3範囲とが互いに離れるようにしてもよく、また、動径rと角度θの両方を変更して、第1範囲と第3範囲とが互いに離れるようにしてもよい。また、第4処理では、第3範囲の座標を維持して、第1範囲の座標が移動するように処理してもよい。
なお、上記実施形態では、第1RGB画像信号からB/G比、G/R比を求め、この求めたB/G比、G/R比により特徴空間を形成しているが、第1B画像信号が、波長帯域が狭い狭帯域光(例えば、半値幅が20nmの範囲内の光)から得られる狭帯域信号である場合には、波長帯域が広帯域光(例えば、半値幅が20nmの範囲を超える光)から得られる広帯域信号の場合と比較して、特徴空間上での第1範囲と第2範囲との差、及び第1範囲と第3範囲との差が大きくなっている。ここで、狭帯域光としては、第1実施形態の「紫色光V」、「青色光B」が含まれ、第2実施形態の「青色レーザ光」又は「青紫色レーザ光」が含まれ、第3実施形態の「青色狭帯域光」が含まれ、第4実施形態の「青色光源の光」が含まれる。
図27では、「Xn」は第1B画像信号が狭帯域信号である場合の第2範囲を示しており、「Xb」は第1B画像信号が広帯域信号である場合の第2範囲を示している。「Xn」と「Xb」とを比較すると、「Xn」は特徴空間上で「Xb」の下方に位置する。また、「Yn」は第1B画像信号が狭帯域信号である場合の第3範囲を示しており、「Yb」は第1B画像信号が広帯域信号である場合の第3範囲を示している。「Yn」と「Yb」とを比較すると、「Yn」は特徴空間上で「Yb」の下方に位置する。
図27に示すように、「Xn」の平均値AXnと第1範囲の平均値AR1との差D12nは、「Xb」の平均値AXbと第1範囲の平均値AR1との差D12bよりも大きくなっており、「Yn」の平均値AYnと第1範囲の平均値AR1との差D13nは、「Yb」の平均値AXbと第1範囲AR1との差D13bよりも大きくなっている。以上のように、第1B画像信号が狭帯域信号の場合であれば、第1範囲と第2及び第3範囲との差が、これらを拡張・圧縮する処理を行う前に既に大きく付いている。このような状態の第1〜第3範囲に対して拡張・圧縮する処理を行うことで、正常部と萎縮部との違いを更に明確に表示できるようになる。
なお、第1G画像信号を狭帯域信号にすることで、上記と同様に、第1範囲と第2範囲との差及び第1範囲と第3範囲との差を、第1G画像信号が広帯域信号の場合よりも、大きくすることができる。更には、上記のように、第1B画像信号又は第1G画像信号を狭帯域信号にすることに限らず、第1RGB画像信号のうち少なくとも1色の画像信号を狭帯域信号にすることで、第1範囲と第2範囲との差及び第1範囲と第3範囲との差を、第1RGB画像信号が全て広帯域信号の場合よりも、大きくすることができる。また、狭帯域信号については、上記のように、狭帯域光から得られる信号の他、特開2003−93336号公報に記載の分光推定処理によって得られる信号も含まれる。
なお、本発明は、第1〜第3実施形態のような内視鏡システムや第4実施形態のようなカプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。