[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14の光源側接続部14aと光学的に接続され、且つ、プロセッサ装置16のプロセッサ側接続部16aと電気的に接続される。これら光源側接続部14a及びプロセッサ側接続部16aは、内視鏡12が接続される内視鏡接続部を構成する。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
また、操作部12bには、アングルノブ12eの他、モード切替SW13a、静止画取得指示部13bが設けられている。モード切替SW13aは、通常光観察モードと特殊光観察モードとの切替操作に用いられる。通常光観察モードは、通常観察画像をモニタ18上に表示するモードである。特殊光観察モードは、特殊観察画像をモニタ18上に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替SW13aの他に、フットスイッチを用いてもよい。
プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続される。モニタ18は、画像情報等を出力表示する。ユーザーインターフェース19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。例えば、通常観察画像又は特殊観察画像の画質モードを設定する場合には、ユーザーインターフェース19を操作して、画質設定画面を表示し、画質設定画面から画質モードを選択するようにしてもよい。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
画質モードに基づくパラメータとして、IQLabelが用いられる。IQLabelは、「0」より大きい「1」以下の値で定められ、画質モードが高いほど大きい値が用いられる。本実施形態では、画質モードとしては、高画質モードと低画質モードの2段階とするが、3以上の画質モードを用いてもよい。高画質モードのIQLabelは「1」とし、低画質モードのIQLabelは「1」未満とする。IQLabelの使用方法の詳細については後述する。なお、画質モードはモード切替SW13aによって切り替えるようにしてもよい。
図2に示すように、光源装置14は、光源部20と、光源制御部21と、光路結合部23とを有している。光源部20は、複数波長帯域の光を発光可能であり、各波長帯域の発光比率の変更が可能である。光源部20では、紫色帯域、青色帯域、緑色帯域、及び赤色帯域の4つの波長帯域の光を発光する。具体的には、光源部20は、4つの波長帯域の光を発光するために、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20dを有している。光源制御部21は、LED20a〜20dの駆動を制御する。光路結合部23は、4色のLED20a〜20dから発せられる4色の光の光路を結合する。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380〜420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420〜500nmの青色光Bを発生する。G-LED20cは、波長範囲が480〜600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620〜630nmで、波長範囲が600〜650nmに及ぶ赤色光Rを発生する。なお、本発明の「短波長帯域の光」は、紫色光V又は青色光Bに対応し、また、紫色光V及び青色光Bを含む光に対応している。
光源制御部21は、光源部20を制御して、各波長帯域の発光バランスを制御する。具体的には、光源制御部21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御して、紫色光V、青色光B、緑色光G、及び赤色光Rの発光バランスを制御する。発光バランスについては、通常光観察モードと特殊光観察モードとでそれぞれ異なっている。通常光観察モードの発光バランスにて発せられる光を通常光とし、特殊光観察モードの発光バランスにて発せられる光を特殊光とする。発光バランスの制御の詳細については、後述する。また、光源制御部21は、プロセッサ装置16の明るさ情報算出部54から送られる明るさ情報に基づいて、各LED20a〜20dから発せられる照明光の発光量を制御する。
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。撮像センサ48の撮像制御は撮像制御部49によって行われる。
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
撮像センサ48から出力される画像信号は、CDS/AGC回路50に送信される。CDS/AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDSS/AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、画像取得部53と、明るさ情報算出部54と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、信号切替部60と、通常観察画像処理部62と、特殊観察画像処理部63、表示制御部66と、静止画保存部67と、静止画保存制御部68と、統括制御部70とを備えている。
画像取得部53は、内視鏡12において観察対象を撮像することにより得られた画像信号を取得する。画像取得部53にて取得する画像信号は、撮像センサ48のR画素から出力される赤色信号と、撮像センサ48のG画素から出力される緑色信号と、撮像センサ48のB画素から出力される青色信号とから構成される。明るさ情報算出部54は、画像取得部53から入力される画像信号に基づいて、観察対象の明るさを示す明るさ情報を算出する。算出した明るさ情報は光源制御部21に送られ、照明光の発光量の制御に用いられる。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。各種信号処理のうちゲイン処理については、DSP56内のゲイン処理部56aにて行われ、画像信号に対してゲイン係数を掛け合わせて、画像信号の画素値を調整することによって、通常観察画像又は特殊観察画像の明るさを調整する処理である。ゲイン処理については、通常光又は特殊光の発光バランスの変更前後で異なるゲイン処理が行われる。ゲイン処理の詳細については、後述する。ノイズ除去部58は、DSP56で各種信号処理が施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部60に送信される。
信号切替部60は、モード切替SW13aにより、通常光観察モードにセットされている場合には、通常光の照明及び撮像で得られた画像信号を通常観察画像処理部62に送信する。また、特殊光観察モードにセットされている場合には、特殊光の照明及び撮像で得られた画像信号を特殊観察画像処理部63に送信する。
通常観察画像処理部62は、通常光観察モード時に得られた通常画像信号に対して、通常観察画像用の画像処理を施す。通常観察画像用の画像処理には、通常観察画像用の彩度強調処理、色相強調処理、及び構造強調処理などが含まれる。通常画像用の画像処理が施された画像信号は、通常観察画像として、通常観察画像処理部62から表示制御部66に入力される。
特殊観察画像処理部63は、特殊光観察モード時に得られた特殊画像信号に対して、特殊観察画像用の画像処理を施す。特殊観察画像用の画像処理には、特殊観察画像用の彩度強調処理、色相強調処理、及び構造強調処理などが含まれる。特殊観察画像用の画像処理が施された画像信号は、特殊観察画像として、特殊観察画像処理部63から表示制御部66に入力される。
表示制御部66は、通常観察画像処理部62、又は特殊観察画像処理部63から入力された通常観察画像、又は特殊観察画像を、モニタ18で表示可能な画像として表示するための制御を行う。表示制御部66による制御によって、各観察モードに応じた画像が表示される。通常光観察モードの場合には、通常観察画像がモニタ18に表示される。また、特殊光観察モードの場合には、特殊観察画像がモニタ18に表示される。
静止画保存制御部68は、静止画取得指示部13bの指示に従って、その静止画取得指示のタイミングで得られた画像を静止画として静止画保存部67に保存する制御を行う。通常光観察モードの場合であれば、静止画取得指示のタイミングで得られた通常観察画像を静止画として静止画保存部67に保存する。特殊光観察モードの場合であれば、静止画取得指示のタイミングで得られた特殊観察画像を静止画として静止画保存部67に保存する。
統括制御部70は、光源制御部21による制御、撮像センサ48の撮像制御、又は画像信号に対する処理の少なくともいずれかを制御する。具体的には、光源制御部21による制御として、統括制御部70は、光源制御部21を制御することによって、通常光又は特殊光の発光バランスの制御等を行う。また、撮像センサ48の撮像制御として、統括制御部70は、撮像制御部49を制御することによって、撮像センサ48の画素の露光時間等を制御する。また、画像信号に対する処理として、統括制御部70は、ゲイン処理部56aを制御することによって、通常観察画像又は特殊観察画像の明るさを調整する。
統括制御部70は、内視鏡の先端部の発熱を抑えつつ、且つ、明るさを最大限確保した状態で、各観察モードで定められる強調色で照明することができるように、観察モード毎に予め定められる特定の波長帯域の光の発光比率を他の波長帯域の光の発光比率よりも大きくする制御を行う。具体的には、通常光観察モードの場合であれば、観察対象全体を明るくすることができる緑色を強調色とすることが好ましい。そのため、通常光観察モードの場合であれば、特定の波長帯域の光を緑色光Gとし、他の波長帯域の光を紫色光V、青色光B、及び赤色光Rとすることが好ましい。また、特殊光観察モードの場合であれば、表層血管など病変部の診断に有効な部位を強調できる青色を強調色とすることが好ましい。そのため、特殊光観察モードの場合であれば、特定の波長帯域の光を紫色光V又は青色光Bとし、他の波長帯域の光を緑色光G及び赤色光Rとすることが好ましい。
そして、統括制御部70は、通常光又は特殊光に基づく発光量が規定発光量未満の場合(規定発光量未満時)には、予め設定された発光バランスである設定発光バランスを維持しながら、紫色光V、青色光B、緑色光G、及び赤色光Rの発光量を調整する。一方、通常光又は特殊光に基づく発光量が規定発光量以上の場合(規定発光量以上時)には、設定発光バランスを変更して、通常光又は特殊光に基づく発光量を調整し、通常光又は特殊光の発光バランスの変更により発光比率が低下した特定の波長帯域の光に対応する明るさを増加させるための第1明るさ調整処理を、通常画像信号又は特殊画像信号に対して行う。なお、通常光又は特殊光に基づく発光量とは、通常光又は特殊光に含まれる各波長帯域の光、即ち、紫色光V、青色光B、緑色光G、及び赤色光の積算光量をいう。
以下、通常光観察モードと特殊光観察モードの規定発光量未満時と規定発光以上時における発光バランスの制御等について説明する。通常光観察モードにおいては、統括制御部70は、規定発光量未満時には、設定発光バランスとして、紫色光V、青色光B、緑色光G、及び赤色光R間の発光比率がVc:Bc:Gc:Rcとなる発光バランスにて発光するように、各LED20a〜20dを制御する。これにより、光源部20から、発光バランスがVc:Bc:Gc:Rcの通常光が発せられる。そして、規定発光量以上時には、通常光の発光バランスについて、緑色光Gの発光比率Gcを、紫色光V、青色光B、及び赤色光Rの発光比率Vc、Bc、Rcよりも大きくする変更を行う。その際、画質モードによって定められるIQLabelを、各光の発光比率Vc、Bc、Gc、Rcに掛け合わせることが好ましい。例えば、高画質モードの場合には、IQLabel=1であるため、緑色光Gの発光量は変化しない。一方、低画質モードの場合には、IQLabel<1であるため、緑色光Gの発光量は低くなる。
また、通常光観察モードにおいては、統括制御部70は、通常光の発光バランスの変更により、設定発光バランスに対して発光比率が低下した紫色光V、青色光B、又は赤色光に対応する明るさを、第1明るさ調整処理によって増加させる。具体的には、第1明るさ調整処理として、通常画像信号のうち、紫色光V又は青色光Bに対応する青色信号、緑色光Gに対応する緑色信号、及び、赤色光Rに対応する赤色信号に対して、第1明るさ調整用ゲイン処理を施す。第1明るさ調整用ゲイン処理では、下記式(1)に示すように、青色信号に対するゲイン係数gainBと赤色信号に対するゲイン係数gainRについて、それぞれゲイン補正係数kB(>1)とkRc(>1)が掛け合わされる。一方、緑色信号に対するゲイン係数gainGにはゲイン補正係数は掛け合わされない。
式(1)
gainG*=gainG
gainB*=gainB×kB
gainR*=gainR×kRc
なお、ゲイン係数gainB、gainG、gainRは、通常光観察モード又は特殊光観察モード毎に異なる値が設定され、また、撮像センサ48の感度に対応した値に設定することが好ましい。例えば、通常光観察モードの場合であれば、初期値として、ゲイン係数gainGを基準とし、ゲイン係数gainB、gainR>1とすることが好ましい。特殊光観察モードの場合であれば、初期値として、ゲイン係数gainBを「1」に設定し、ゲイン係数gainG、gainR>1とすることが好ましい。また、撮像センサ48の感度が低い場合には、通常光観察モード又は特殊光観察モードのいずれにおいても、ゲイン係数gainB、gainG、gainRとして「1」を超える値を設定することが好ましい。一方、撮像センサ48の感度が高い場合には、通常光観察モードの場合、基準とするゲイン係数gainGを「1」より小さい値に設定することが好ましい。なお、撮像センサ48の感度が高い場合であっても、特殊光観察モードの場合には、明るさを確保する観点から、基準とするゲイン係数gainBは「1」とすることが好ましい。
また、gainG*、gainB*、及びgainR*は、第1明るさ調整用ゲイン処理後の緑色信号、青色信号、及び赤色信号のゲイン係数を表している。また、ゲイン補正係数kBは、設定発光バランスに対する青色光Bの発光比率Bcの低下量に基づいて定めることが好ましい。また、ゲイン補正係数kRcは、設定発光バランスに対する赤色光Rの発光比率Rcの低下量に基づいて定めることが好ましい。
なお、第1明るさ調整処理として、撮像センサ48が面順次センサの場合は、露光時間を調整する処理を行ってもよい。この場合、通常光観察モードにおいては、発光バランスを変更した場合には、設定発光バランスに対して発光比率が低下した紫色光V、青色光B、又は赤色光Rの光量低下を補うために、紫色光V又は青色光Bを受光するB画素の露光時間、又は、赤色光Rを受光するR画素の露光時間を、緑色光Gを受光するG画素の露光時間よりも長くすることが好ましい。
なお、第1明るさ調整処理、即ち、第1明るさ調整用ゲイン処理は、高画質モードと低画質モードで異ならせることが好ましい。具体的には、画質モードによって定められるIQLabelに基づく画質用補正係数g(IQLabel)を上記(1)にそれぞれ掛け合わせ、画質用補正係数g(IQLabel)を高画質モードと低画質モードで異ならせることが好ましい(下記式(2)参照)。画質用補正係数g(IQLabel)は、IQLabelの逆数とすることが好ましい。即ち、高画質モードの画質用補正係数g(IQLabel)は「1」であり、低画質モードの画質用補正係数g(IQLabel)は「1」以上の値となる。
(式2)
gainG*=gainG×g(IQLabel)
gainB*=gainB×kB×g(IQLabel)
gainR*=gainR×kRc×g(IQLabel)
特殊光観察モードにおいては、統括制御部70は、規定発光量未満時には、設定発光バランスとして、紫色光V、青色光B、緑色光G、及び赤色光R間の発光比率がVs:Bs:Gs:Rsとなる発光バランスにて発光するように、各LED20a〜20dを制御する。これにより、光源部20から、発光バランスがVs:Bs:Gs:Rsの特殊光が発せられる。そして、規定発光量以上時には、特殊光の発光バランスについて、紫色光V又は青色光Bの発光比率Vs、Bsを、緑色光G、及び赤色光Rの発光比率Gs、Rsよりも大きくする変更を行う。その際、画質モードによって定められるIQLabelを、各光の発光比率Vs、Bs、Gs、Rsに掛け合わせることが好ましい。例えば、高画質モードの場合には、IQLabel=1であるため、紫色光V又は青色光Bの発光量は変化しない。一方、低画質モードの場合には、IQLabel<1であるため、紫色光V又は青色光Bの発光量は低くなる。
また、特殊光観察モードにおいては、統括制御部70は、特殊光の発光バランスの変更により、設定発光バランスに対して発光比率が低下した緑色光G、又は赤色光Rに対応する明るさを、第1明るさ調整処理によって増加させる。具体的には、第1明るさ調整処理として、特殊画像信号のうち、紫色光V又は青色光Bに対応する青色信号、緑色光Gに対応する緑色信号、及び、赤色光Rに対応する赤色信号に対して、第1明るさ調整用ゲイン処理を施す。第1明るさ調整用ゲイン処理では、下記式(3)に示すように、ゲイン係数gainGとゲイン係数gainRについて、それぞれゲイン補正係数kG(>1)とkRs(>1)が掛け合わされる。一方、ゲイン係数gainBにはゲイン補正係数は掛け合わされない。
式(3)
gainG**=gainG×kG
gainB**=gainB
gainR**=gainR×kRs
なお、gainG**、gainB**、及びgainR**は、第1明るさ調整用ゲイン処理後の緑色信号、青色信号、及び赤色信号のゲイン係数を表している。また、ゲイン補正係数kGは、設定発光バランスに対する緑色光Gの発光比率Gsの低下量に基づいて定めることが好ましい。また、ゲイン補正係数kRsは、設定発光バランスに対する赤色光Rの発光比率Rsの低下量に基づいて定めることが好ましい。
なお、第1明るさ調整処理として、撮像センサ48が面順次センサの場合は、露光時間を調整する処理を行ってもよい。この場合、特殊光観察モードにおいては、発光バランスを変更した場合には、設定発光バランスに対して発光比率が低下した緑色光G、又は赤色光Rの光量低下を補うために、G画素の露光時間、又はR画素の露光時間を、B画素の露光時間よりも長くすることが好ましい。面順次センサとは、例えば、各波長帯域の光がそれぞれ順次露光されるセンサであり、各波長帯域の光の発光時間をそれぞれ調整することにより、露光時間を調整することが好ましい。
なお、第1明るさ調整処理、即ち、第1明るさ調整用ゲイン処理は、高画質モードと低画質モードで異ならせることが好ましい。具体的には、画質モードによって定められるIQLabelに基づく画質用補正係数g(IQLabel)を上記(4)にそれぞれ掛け合わせ、画質用補正係数g(IQLabel)を高画質モードと低画質モードで異ならせることが好ましい(下記式(2)参照)。画質用補正係数g(IQLabel)は、IQLabelの逆数とすることが好ましい。
(式4)
gainG**=gainG×kG×g(IQLabel)
gainB**=gainB×g(IQLabel)
gainR**=gainR×kRs×g(IQLabel)
統括制御部70は、観察時間が長期化することによる内視鏡の先端部12dを抑制し、及び、画質モードに合わせて、ノイズを抑えつつできる限りの明るさを確保するための制御を行う。統括制御部70は、高画質モードの場合には、図4に示すように、通常光又は特殊光に基づく発光量LMと通常光の発光開始からの時間Tに基づいて定められる累積発光時間(例えば、LM×T)が、タイミングT4(発光用閾値)に達していない場合には、制限発光量を超える最大発光量までの通常光又は特殊光の発光量の発光を許可する。また、累積発光時間が発光用閾値以下である場合は、ゲイン処理で用いるゲイン係数gainB、gainG、及びgainRは、それぞれ「1」を維持する。なお、図4は、タイミングT1で最も被写体に接近し、その後、被写体から遠く離れていくことを想定している。
例えば、図5に示すように、通常光観察モードの高画質モードでは、タイミングT1の青色光B、緑色光G、赤色光R、タイミングT1よりも後のタイミングT2の青色光B、緑色光G、赤色光R、及び、タイミングT2よりも後のタイミングT3の青色光B、緑色光G、赤色光Rは、それぞれ、緑色光の発光比率Gcが青色光B及び赤色光の発光比率Bc、Rcよりも大きい発光バランスを維持した状態で、発光量が大きくなっている。また、タイミングT2、3では、緑色光Gが制限発光量を超えて発光されている。なお、図5においては、青色光Bの発光量のみを表示しているが、図5の青色光Bの発光量を、紫色光V及び青色光Bの発光量としてもよい。以下、図6、図8、図9、図15、図16、図18、図19についても同様である(特殊光観察モードの場合は、「紫色光Vの発光量>青色光Bの発光量」とすることが好ましい)。
また、図6に示すように、特殊光観察モードの高画質モードでは、タイミングT1の青色光B、緑色光G、赤色光R、タイミングT2の青色光B、緑色光G、赤色光R、及び、タイミングT3の青色光B、緑色光G、赤色光Rは、それぞれ、青色光Bの発光比率Bsが緑色光G及び赤色光Rの発光比率Gs、Rsよりも大きい発光バランスを維持した状態で、発光量が大きくなっている。また、タイミングT2、T3では、青色光Bが制限発光量を超えて発光している。
一方、統括制御部70は、図4に示すように、累積発光時間がタイミングT4を超え、且つ、通常光又は特殊光の発光量が制限発光量を超えている場合には、通常光又は特殊光の発光量を減少させ、且つ、発光量を減少させている場合に用いる第3明るさ調整処理を、撮像センサ48の画素、又は通常画像信号又は特殊画像信号に対して行う。第3明るさ調整処理は、発光量の減少に合わせて、明るさを大きくすることが好ましい。なお、図4では、タイミングT4の後は、被写体に近づいていることを想定し、ゲイン係数gainB、gainG、及びgainRを「1」に戻している。
具体的には、第3明るさ調整処理として、通常画像信号に含まれる青色信号、緑色信号、及び、赤色信号に対して、第3明るさ調整用ゲイン処理を施す。第3明るさ調整用ゲイン処理では、発光量の減少に合わせて、ゲイン係数gainB、gainG、及びgainRを増加させるゲインアップ処理を行う。ゲインアップ処理は、ゲイン係数gainB、gainG、及びgainRがゲインアップ上限値に達した後であっても、一定時間の間、ゲイン係数gainB、gainG、及びgainRをゲインアップ上限値が維持される。
なお、第3明るさ調整処理として、撮像センサ48の画素の露光時間を調整する処理を行ってもよい。この場合、発光量の低下を補うために、発光量低下後の撮像センサ48の各画素の露光時間を、発光量低下前の撮像センサ48の各画素の露光時間を長くすることが好ましい。
統括制御部70は、低画質モードの場合には、図7に示すように、累積発光時間に関わらず、通常光又は特殊光の発光量が制限発光量に達した場合には、制限発光量を超える発光を禁止する。通常光又は特殊光の発光量が制限発光量を下回っている場合は、ゲイン処理で用いるゲイン係数gainB、gainG、及びgainRは、「1」に維持されている
例えば、図8に示すように、通常光観察モードの低画質モードでは、タイミングT1の青色光B、緑色光G、赤色光R、及び、タイミングT2の青色光B、緑色光G、赤色光R、は、それぞれ、緑色光の発光比率Gcが青色光B及び赤色光の発光比率Bc、Rcよりも大きい発光バランスを維持した状態で、発光量が大きくなっている。ただし、タイミングT2において、緑色光Gが制限発光量に達したため、タイミングT3においては、タイミングT2と同じ発光バランス及び発光量となっている。
また、図9に示すように、特殊光観察モードの低画質モードでは、タイミングT1の青色光B、緑色光G、赤色光R、及び、タイミングT2の青色光B、緑色光G、赤色光Rは、それぞれ、青色光Bの発光比率Bsが緑色光G及び赤色光Rの発光比率Gs、Rsよりも大きい発光バランスを維持した状態で、発光量が大きくなっている。ただし、タイミングT2において、青色光Bが制限発光量に達したため、タイミングT3においては、タイミングT2と同じ発光バランス及び発光量となっている。
一方、統括制御部70は、図7に示すように、通常光又は特殊光の発光量が制限発光量に達した場合には、通常光又は特殊光の発光量を維持し、且つ、発光量を維持している場合に用いる第2明るさ調整処理を、撮像センサ48の画素、又は通常画像信号又は特殊画像信号に対して行う。
具体的には、第2明るさ調整処理として、通常画像信号に含まれる青色信号、緑色信号、及び、赤色信号に対して、第2明るさ調整用ゲイン処理を施す。第2明るさ調整用ゲイン処理では、ゲイン係数gainB、gainG、及びgainRを増加させるゲインアップ処理を行う。ゲインアップ処理は、ゲイン係数gainB、gainG、及びgainRがゲインアップ上限値に達した後であっても、一定時間の間、ゲイン係数gainB、gainG、及びgainRをゲインアップ上限値が維持される(図7のタイミングT3以降)。
なお、第2明るさ調整処理として、撮像センサ48の画素の露光時間を調整する処理を行ってもよい。この場合、明るさを確保するために、発光量維持後の撮像センサ48の各画素の露光時間を、発光量維持前の撮像センサ48の各画素の露光時間を長くすることが好ましい。
なお、制限発光量は、ゲインアップ処理のゲインアップ上限値に基づいて定めることが好ましい。例えば、ゲインアップ上限値が「1.4」の場合には、ゲインの下限値「1」であることを考慮すると、制限発光量は「1/1.4」(≒71(%))となる。また、ゲイン係数が大きくなる程、ノイズ量も大きくなるため、ゲインアップ上限値は、ノイズによる劣化を許容できるレベルを考慮して定めることが好ましい。劣化を許容できるレベルは、被写体をグレー又はカラーパッチを撮像して得られた画像に対して、主観評価値と相関が高いPQS(Picture Quality Scale)(M.Miyahara, Objective picture quality scale (PQS) for image coding, IEEE transactions on communications, vol46, Issue9, Sep 1998)を適用して得られる値に基づいて求めることが好ましい。また、ノイズを許容できる状況下では、遠くの構造がノイズに埋もれて見えなくなることを避けるために、画像の空間解像度が変わらないようにすることが好ましい。
次に、本発明の一連の流れについて、図10に示すフローチャートに沿って説明する。内視鏡の検査開始により、内視鏡システム10の駆動が開始する。これに伴って、光源装置14が駆動することで、設定発光バランスにて通常光又は特殊光が発光される。即ち、紫色光V、青色光B、緑色光G、及び赤色光Rの発光バランスがVc:Bc:Gc:Rcである通常光、又は、紫色光V、青色光B、緑色光G、及び赤色光Rの発光バランスがVs:Bs:Gs:Rsである特殊光の発光が開始する。また、ユーザーインターフェース19によって、画質モードが設定される。画質モードが高画質モードの場合には、IQLabelが「1」に設定され、画質モードが低画質モードの場合には、IQLabelが「1」以下に設定される。
通常光又は特殊光の発光量が規定発光量未満の場合は、通常光又は特殊光は設定発光バランスにて発光を行う。この場合、ゲイン処理で用いるゲイン係数gainB、gainG、及びgainRは「1」に維持される。一方、通常光又は特殊光の発光量が規定発光量以上の場合には、設定発光バランスを変更し、発光バランスの変更により発光比率が低下した光に対応する明るさを増加させるために、第1明るさ調整処理を撮像センサ48の画素、又は、通常画像信号又は特殊画像信号に対して行う。なお、拡大観察時には、発光バランスを変えると血管コントラストが変わる可能性があることから、非拡大観察時のみ発光バランスの変更を行い、拡大観察時には、発光バランスの変更は行わないことが好ましい。
例えば、通常光観察モードの場合には、設定発光バランスに対して、緑色光Gの発光比率Gcを、紫色光V、青色光B、及び赤色光Rの発光比率Vc、Bc、及びRcよりも大きくする。これに合わせて、第1明るさ調整処理として、紫色光V、青色光B、及び赤色光Rの発光比率Vc、Bc、及びRcを低下させたことによる明るさの低下を補うために、通常画像信号の青色信号、緑色信号、及び、赤色信号に対して、第1明るさ調整用ゲイン処理を施す。この第1明るさ調整用ゲイン処理により、第1明るさ調整用ゲイン処理済みのゲイン係数gainB*、gainG*、gainR*が得られる。
また、特殊光観察モードの場合には、設定発光バランスに対して、紫色光V及び青色光Bの発光比率Vs、Bsを、緑色光G、及び赤色光Rの発光比率Gs、Rsよりも大きくする。これに合わせて、第1明るさ調整処理として、緑色光G、及び赤色光Rの発光比率Gs、Rsを低下させたことによる明るさの低下を抑えるために、特殊画像信号の青色信号、緑色信号、及び、赤色信号に対して、第1明るさ調整用ゲイン処理を施す。この第1明るさ調整用ゲイン処理により、第1明るさ調整用ゲイン処理済みのゲイン係数gainB**、gainG**、gainR**が得られる。
以上のように発光バランスの変更及び第1明るさ調整用ゲイン処理が完了すると、変更後の発光バランスにて通常光又は特殊光の発光を行う。また、変更後の発光バランスを有する通常光又は特殊光に基づいて得られる通常画像信号、又は特殊画像信号に対しては、ゲイン処理において、第1明るさ調整用ゲイン処理済みのゲイン係数gainB*、gainG*、gainR*、又はゲイン係数gainB**、gainG**、gainR**が用いられる。
また、通常光又は特殊光の発光量が制限発光量に達した場合には、高画質モードの場合には、制限発光量を超える通常光又は特殊光の発光を許可する一方で、低画質モードの場合には、制限発光量を超える通常光又は特殊光の発光を禁止し、通常光又は特殊光の発光量を制限発光量に維持する。この場合、低画質モードの場合には、通常光又は特殊光の発光量を制限発光量内に維持した場合であっても明るさを確保するために、第2明るさ調整処理を、撮像センサ48の画素、又は通常画像信号又は特殊画像信号に対して行う。
また、累積発光時間が発光用閾値を超え、且つ、通常光又は特殊光の発光量が制限発光量を超えている場合には、通常光又は特殊光の発光量を減少させる。この場合、通常光又は特殊光の発光量を減少させたことによる明るさ低下を抑えるために、第3明るさ調整処理を、撮像センサ48の画素、又は通常画像信号又は特殊画像信号に対して行う。
以上の一連の処理等は、内視鏡検査が終了するまで繰り返し行われる。
なお、第1実施形態では、ユーザーインターフェース19を用いて、画質モードの設定を手動で行っているが、内視鏡の先端部12dの動きに関する情報を用いて、画質モードを自動で切り替えるようにしてもよい。例えば、内視鏡の先端部12dが大きく動いている場合には、病変部などの拾い上げなどのスクリーニングを行っている可能性があるため、画質よりも明るさを重視する状況下にある可能性がある。このような状況下では、内視鏡の先端部12dの動き量が動き量用閾値以上となった場合に、画質モードを低画質モードに切り替えることが好ましい。一方、内視鏡の先端部12dがあまり動いていない場合には、観察対象の精密検査をしている可能性があるため、画質を優先する状況下にある可能性がある。このような状況下では、内視鏡の先端部12dの動き量が動き量用閾値以上となった場合に、画質モードを高画質モードに切り替えることが好ましい。なお、内視鏡の先端部12dの動き量は、例えば、先端部12dに設けた加速度センサ(図示しない)によって測定する他、画像取得タイミングが異なる複数の画像信号間の差分画像(例えば、動き量が小さい場合には差分画像の差分値が小さい)から求めるようにしてもよい。
[第2実施形態]
第2実施形態では、統括制御部70において、内視鏡接続部に接続された内視鏡12の種別によって、内視鏡の先端部12dの発熱を抑えるための制御を行う。
第2実施形態では、図11に示すように、プロセッサ装置16は、内視鏡接続部であるプロセッサ側接続部16aに接続されている内視鏡12の種別を判定する種別取得部100を備えている。内視鏡接続部に接続可能な内視鏡12は、先端部12dの径など種別が異なる第1内視鏡12pと第2内視鏡12qが含まれる。第2実施形態では、種別取得部100は、プロセッサ側接続部16aに接続されている内視鏡12が、第1内視鏡12pと第2内視鏡12qのいずれかを判別する。
第2実施形態では、光源制御部21は、内視鏡の種別が第1内視鏡12pである場合の各波長帯域の光の波長バランスと、内視鏡の種別が第2内視鏡12qである場合の各波長帯域の光の波長バランスとを異ならせる制御を行う。具体的には、光源制御部は、通常光観察モードの場合には、図12に示すように、内視鏡の種別が第1内視鏡12pの場合における紫色光V、青色光B、又は赤色光Rの発光比率を、内視鏡の種別が第2内視鏡12qの場合における紫色光V、青色光B、又は赤色光Rの発光比率よりも大きくする。一方、光源制御部は、特殊光観察モードの場合には、図13に示すように、内視鏡の種別が第1内視鏡12pの場合における緑色光G又は赤色光Rの発光比率を、内視鏡の種別が第2内視鏡12qの場合における緑色光G又は赤色光Rの発光比率よりも大きくする。
以上のような発光バランスの制御を行うことにより、例えば、第2内視鏡12qが、先端部12dの径が細い細径内視鏡で熱を逃がしにくいような場合には、第1内視鏡12pの場合の発光比率に対して発光比率を低くすることで、発熱し難くすることができる。なお、発光比率を低くした場合には、ゲイン処理などの明るさ調整処理で明るさを増加させて、発光比率の変更前後でカラーバランスが変わらないようにすることが好ましい。
第1内視鏡12pは、例えば、先端部12dの径が第2内視鏡12qの先端部12dの径よりも大きい太径の内視鏡である。第2内視鏡12qは、例えば、先端部12dの径が第1内視鏡12pの先端部12dの径よりも細い細径の内視鏡である。これは、太径の内視鏡の場合には、細径の内視鏡の場合と比較して、先端部12dから熱を逃がしやすい可能性があるので、制限発光量を超える発光量の発光を許可してもよい。一方、細径の内視鏡の場合には、太径の内視鏡の場合と比較して、先端部12dから熱が逃げにくい可能性があるので、発光量を制限発光量内に抑えたほうがよい。
第1内視鏡12pは、例えば、先端部12dに観察対象を拡大又は縮小するための拡大光学系(図示しない)を備える拡大鏡である。第2内視鏡12qは、例えば、先端部12dに拡大光学系を備えていない非拡大鏡である。これは、拡大鏡の場合には、拡大光学系を用いて観察対象の精密検査をしている可能性があるので、高画質で画像を取得することが好ましい。一方、非拡大鏡の場合には、病変部の拾い上げなどのスクリーニングを中心に行われ、観察対象の精密検査は行っていない可能性があるため、低画質でも明るさ優先で観察を行ったほうがよい。
また、第2実施形態では、統括制御部70は、観察時間が長期化することによる内視鏡の先端部12dを抑制し、及び、内視鏡12の種別に合わせて、ノイズを抑えつつできる限りの明るさを確保するための制御を行う。統括制御部70は、内視鏡の種別が第1内視鏡12pである場合には、図14に示すように、累積発光時間(例えば、LM×T)がタイミングT4(発光用閾値)に達していない場合には、制限発光量を超える最大発光量までの通常光又は特殊光の発光量の発光を許可する。また、累積発光時間が発光用閾値以下である場合は、ゲイン処理で用いるゲイン係数gainB、gainG、及びgainRは、それぞれ「1」を維持する。
例えば、図15に示すように、内視鏡の種別が第1内視鏡12pである場合の通常光観察モードでは、タイミングT1の青色光B、緑色光G、赤色光R、タイミングT2の青色光B、緑色光G、赤色光R、及び、タイミングT3の青色光B、緑色光G、赤色光Rは、それぞれ、緑色光の発光比率Gcが青色光B及び赤色光の発光比率Bc、Rcよりも大きい発光バランスを維持した状態で、発光量が大きくなっている。また、タイミングT2、3では、緑色光Gが制限発光量を超えて発光されている。
また、図16に示すように、内視鏡の種別が第1内視鏡12pである場合の特殊光観察モードでは、タイミングT1の青色光B、緑色光G、赤色光R、タイミングT2の青色光B、緑色光G、赤色光R、及び、タイミングT3の青色光B、緑色光G、赤色光Rは、それぞれ、青色光Bの発光比率Bsが緑色光G及び赤色光Rの発光比率Gs、Rsよりも大きい発光バランスを維持した状態で、発光量が大きくなっている。また、タイミングT2、3では、青色光Bが制限発光量を超えて発光している。
一方、統括制御部70は、図14に示すように、累積発光時間がタイミングT4を超え、且つ、通常光又は特殊光の発光量が制限発光量を超えている場合には、通常光又は特殊光の発光量を減少させ、且つ、発光量を減少させている場合に用いる第3明るさ調整処理を、撮像センサ48の画素、又は通常画像信号又は特殊画像信号に対して行う。
具体的には、第3明るさ調整処理として、通常画像信号に含まれる青色信号、緑色信号、及び、赤色信号に対して、第3明るさ調整用ゲイン処理を施す。第3明るさ調整用ゲイン処理では、発光量の減少に合わせて、ゲイン係数gainB、gainG、及びgainRを増加させるゲインアップ処理を行う。ゲインアップ処理は、ゲイン係数gainB、gainG、及びgainRがゲインアップ上限値に達した後であっても、一定時間の間、ゲイン係数gainB、gainG、及びgainRをゲインアップ上限値が維持される。
なお、第3明るさ調整用明るさ調整処理として、撮像センサ48の画素の露光時間を調整する処理を行ってもよい。この場合、発光量の低下を補うために、発光量低下後の撮像センサ48の各画素の露光時間を、発光量低下前の撮像センサ48の各画素の露光時間を長くすることが好ましい。
統括制御部70は、内視鏡の種別が第2内視鏡12qの場合には、図17に示すように、累積発光時間に関わらず、通常光又は特殊光の発光量が制限発光量に達した場合には、制限発光量を超える発光を禁止する。通常光又は特殊光の発光量が制限発光量を下回っている場合は、ゲイン処理で用いるゲイン係数gainB、gainG、及びgainRは、「1」に維持されている
例えば、図18に示すように、内視鏡の種別が第2内視鏡12qの場合の通常光観察モードでは、タイミングT1の青色光B、緑色光G、赤色光R、及び、タイミングT2の青色光B、緑色光G、赤色光R、は、それぞれ、緑色光の発光比率Gcが青色光B及び赤色光の発光比率Bc、Rcよりも大きい発光バランスを維持した状態で、発光量が大きくなっている。ただし、タイミングT2において、緑色光Gが制限発光量に達したため、タイミングT3においては、タイミングT2と同じ発光バランス及び発光量となっている。また、内視鏡の種別が第2内視鏡12qの場合の青色光B及び赤色光Rの発光比率Bc、Rcは、内視鏡の種別が第1内視鏡12pの場合の青色光B及び赤色光Rの発光比率Bc、Rcよりも低くなっている(図15参照)。
また、図19に示すように、内視鏡の種別が第2内視鏡12qの場合の特殊光観察モードでは、タイミングT1の青色光B、緑色光G、赤色光R、及び、タイミングT2の青色光B、緑色光G、赤色光Rは、それぞれ、青色光Bの発光比率Bsが緑色光G及び赤色光Rの発光比率Gs、Rsよりも大きい発光バランスを維持した状態で、発光量が大きくなっている。ただし、タイミングT2において、青色光Bが制限発光量に達したため、タイミングT3においては、タイミングT2と同じ発光バランス及び発光量となっている。また、内視鏡の種別が第2内視鏡12qの場合の緑色光G及び赤色光Rの発光比率Bs、Rsは、内視鏡の種別が第1内視鏡12pの場合の青色光B及び赤色光Rの発光比率Bs、Rsよりも低くなっている(図16参照)。
一方、統括制御部70は、図17に示すように、通常光又は特殊光の発光量が制限発光量に達した場合には、通常光又は特殊光の発光量を維持し、且つ、発光量を維持している場合に用いる第2明るさ調整処理を、撮像センサ48の画素、又は通常画像信号又は特殊画像信号に対して行う。
具体的には、第2明るさ調整処理として、通常画像信号に含まれる青色信号、緑色信号、及び、赤色信号に対して、第2明るさ調整用ゲイン処理を施す。第2明るさ調整用ゲイン処理では、ゲイン係数gainB、gainG、及びgainRを増加させるゲインアップ処理を行う。ゲインアップ処理は、ゲイン係数gainB、gainG、及びgainRがゲインアップ上限値に達した後であっても、一定時間の間、ゲイン係数gainB、gainG、及びgainRをゲインアップ上限値が維持される。
なお、第2明るさ調整処理として、撮像センサ48の画素の露光時間を調整する処理を行ってもよい。この場合、明るさを確保するために、発光量維持後の撮像センサ48の各画素の露光時間を、発光量維持前の撮像センサ48の各画素の露光時間を長くすることが好ましい。
なお、第1及び第2実施形態においては、第1明るさ調整処理、第2明るさ調整処理、又は、第3明るさ調整処理として、ゲイン処理、撮像センサ48の画素の露光時間の調整によって、通常観察画像又は特殊観察画像の明るさを調整しているが、その他の方法によって、通常観察画像又は特殊観察画像の明るさを調整するようにしてもよい。例えば、第1明るさ調整処理、第2明るさ調整処理、又は、第3明るさ調整処理として、複数画素を1画素として画素加算するビニング処理を行うようにしてもよい。ただし、この場合には、ビニング処理することで空間解像度が低下するため、許容できる空間解像度のレベルを考慮して、ビニング処理のレベル(画素加算する画素の数等)を設定することが好ましい。
なお、上記第1及び第2実施形態においては、図3に示すような発光スペクトルを有する4色の光を用いているが、この図3の発光スペクトルに限定する必要はない。例えば、緑色光G及び赤色光Rについては、緑色光Rから赤色光Rの波長帯域にかけて連続的な発光スペクトルを持つ1色の光としてもよい。
上記第1及び第2実施形態において、画像取得部53、明るさ情報算出部54、DSP56、ゲイン処理部56a、ノイズ除去部58、信号切替部60、通常観察画像処理部62、特殊観察画像処理部63、静止画保存部67、表示制御部66、静止画保存制御部68、統括制御部70など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、GPU(Graphical Processing Unit)各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、CPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
なお、本発明は、第1、第2実施形態のような内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。