JP2020168174A - 電子内視鏡システム - Google Patents

Abstract

【課題】従来に比べて、適正な輝度の画像を短時間に得ることができる輝度調整を行う電子内視鏡システムを提供する。【解決手段】電子内視鏡システムは、撮像素子を備える電子内視鏡と、撮像素子で撮像した生体組織の撮像画像から表示用画像を生成する画像処理部と、を有するプロセッサと、を備える。電子内視鏡あるいはプロセッサには、前記撮像素子により得られた画像の輝度情報を求め、前記輝度情報に基づいて、輝度調整を行うように構成された測光部が設けられる。前記測光部は、前記撮像画像のうち、飽和画素のそれぞれを注目画素として、前記注目画素を取り巻く非飽和画素あるいは飽和画素の周辺分布の情報に基づいて前記注目画素における前記許容受光光量の上限を超えた飽和の程度を数値化する飽和画素数値化部と、前記注目画素それぞれの前記数値化の結果に基づいて輝度に関する調整を行う第１調整部と、を備える。【選択図】 図２

Description

本発明は、生体組織を撮像する電子内視鏡システムに関する。

電子内視鏡システムは、生体組織を撮像する撮像素子を備えた電子内視鏡と、撮像された生体組織の画像を処理して表示用画像を作成するように構成された処理部を有するプロセッサと、プロセッサに接続され、作成した表示用画像を表示するように構成されたモニタと、を備える。

電子内視鏡システムは、生体組織に応じた画像信号に基づいて被写体の明るさ（被写体の輝度）を検出し、被写体の適切な明るさを示す参照値と比較して撮像素子による撮像のための受光光量の調整を行う。参照値より輝度値の方が大きければ光強度を下げるために、例えば絞りを狭くして光量を減少させ、逆に、参照値より輝度値の方が小さければ光強度を上げるために、例えば絞りを開いて光量を増加させる。参照値と比較される被写体像の明るさを表す代表値として、被写体全体の明るさ平均を示す平均輝度値、あるいは最高輝度を表すピーク値が適用され、このような代表値を得るために、例えば、画像の輝度値のヒストグラムが作成される。

例えば、ハレーションの発生を抑えながら被写体像を適切な明るさに維持する光量調整を行うことが出来る電子内視鏡装置が知られている（特許文献１）。
当該電子内視鏡装置は、ヒストグラム回路、光源ランプを備え、光源ランプと光ファイバー素線の束の入射端との間に絞りが設けられる。ヒストグラム回路において、被写体像に応じた画像信号から輝度値のヒストグラムデータを生成する。ヒストグラムデータに基づいて、ハレーション発生割合および輝度平均値を算出し、ハレーション発生の有無を検出する。ハレーションが発生している場合、被写体へ照明する光の受光光量を減少させるように絞りを閉じる。一方、ハレーションが発生しておらず、かつ輝度平均値が参照輝度値より小さい場合、光量を増加させるように絞りを開ける。

特開２００３−２８４６８２号公報

上記電子内視鏡装置では、被写体像に応じた画像信号から輝度値のヒストグラムデータを生成するが、ハレーションが発生した画素の輝度レベルは、例えば０〜２５５の輝度レベルの階級のうち、最大の階級（２５５）あるいはこの近傍に位置する階級以上として、ハレーションの発生した画素数の割合（ハレーションの発生割合）を算出する。しかし、最大の階級である輝度値２５５に属する飽和画素は、撮像素子の許容受光光量を超えたものであり、許容受光光量をわずかに超えた飽和画素もあれば、許容受光光量を大幅に超えた飽和画素もあり、飽和画素における飽和の程度は種々異なる。このような飽和画素を一括りに階級２５５として取り扱うと、許容受光光量を大幅に超えた飽和の程度が大きい飽和画素が多数存在する場合、本来受光光量の調整を大幅に行う必要があるにもかかわらず、わずかな調整を行う場合がある。この場合、適正な露出の画像が得られるまで調整が繰り返し行われる。このため、適正な露出の画像が得られるまでに長い時間を要する。このため、術者は、適正な露出の画像が表示されるまで待機しなければならない。

そこで、本発明は、従来に比べて、適正な輝度の画像を短時間に得ることができる調整を行う電子内視鏡システムを提供することを目的とする。

本発明の一態様は、電子内視鏡システムである。当該電子内視鏡システムは、
生体組織を繰り返し撮像して画像信号を出力するように構成された撮像素子を備える電子内視鏡と、前記画像信号に基づいて得られる前記生体組織の画像から表示用画像を生成するように構成された画像処理部と、を有するプロセッサと、を備える。
前記電子内視鏡あるいは前記プロセッサには、前記撮像素子により得られた画像の輝度情報を求め、前記輝度情報に基づいて、前記撮像素子で撮像する画像の輝度に関する調整を行うように構成された測光部が設けられる。
前記測光部は、
前記撮像素子で撮像して得られた画像のうち、前記撮像素子の受光光量が前記撮像素子の許容受光光量の上限を超える輝度値を有する飽和画素のそれぞれを注目画素として、前記注目画素を取り巻く非飽和画素あるいは飽和画素の、前記注目画素周りの周辺分布の情報に基づいて前記注目画素における前記許容受光光量の上限を超えた飽和の程度を数値化するように構成された飽和画素数値化部と、
前記注目画素それぞれの前記数値化の結果に基づいて、前記受光光量の調整及び前記撮像素子が出力する前記画像信号のゲイン調整の少なくとも１つを含む第１調整を行うように構成された第１調整部と、を備える。

前記飽和画素数値化部は、前記周辺分布の情報として、前記注目画素を取り巻く画素の中で、前記注目画素それぞれから最も近い場所に位置する非飽和画素までの距離を用いる、ことが好ましい。

前記飽和画素数値化部は、前記周辺分布の情報として、前記画素の中の、前記注目画素それぞれの位置から予め定めた範囲内にある飽和画素の数を用いる、ことが好ましい。

前記飽和画素数値化部は、前記注目画素それぞれの前記飽和の程度を、前記周辺分布の情報に基づいて複数の階級の１つに割り当て、各階級に属する飽和画素の度数を、１以上の係数であって前記飽和の程度が高い程値が大きい重み付け係数を用いて重み付けをし、重み付けした前記度数を累積した値を、前記画像における飽和の程度を表わす飽和評価値として算出するように構成され、
前記第１調整部は、前記飽和評価値に基づいて、前記第１調整を行うように構成される、ことが好ましい。

前記第１調整部は、前記飽和評価値に対する予め定めた目標飽和画素数の比を、前記撮像素子が露光のために受光する現在の光量の数値情報に乗算した結果を、前記撮像素子が露光のために受光する目標光量情報として定め、前記目標光量情報に基づいて、前記第１調整を行うように構成される、ことが好ましい。

前記飽和画素数値化部は、数値化した前記注目画素それぞれの飽和の程度の値に定数を掛けて前記飽和画素それぞれの輝度レベルに加算した値を、前記画像における前記非飽和画素の輝度レベルの総和に加え、前記加算した値を前記非飽和画素の輝度レベルの総和に加えた結果を前記画像の総画素数で割った現在の輝度レベルの平均値を輝度評価値として算出するように構成され、
前記第１調整部は、算出した前記輝度評価値に基づいて、前記第１調整を行うように構成される、ことが好ましい。

前記第１調整部は、前記輝度評価値に対する、予め定めた目標輝度値の比を、前記撮像素子が露光のために受光する現在の光量の数値情報に乗算した結果を、前記撮像素子が露光のために受光する目標光量情報として定め、前記目標光量情報に基づいて、前記第１調整を行うように構成される、ことが好ましい。

前記測光部は、
前記画像内の飽和画素の総数あるいは前記画像における全画素の輝度レベルの平均値に基づいて、前記受光光量の調整及び前記撮像素子が出力する前記画像信号のゲイン調整の少なくとも１つを含む第２調整を行うように構成された第２調整部と、
前記注目画素が、前記画像内の複数の画素が飽和画素として連なった飽和画素領域の一画素である場合に前記飽和画素領域の大きさを算出するように構成された飽和画素領域算出部と、
前記飽和画素領域算出部で算出された前記飽和画素領域の大きさが予め定めた大きさ以上である場合、前記第１調整部を用いて前記第１調整を行い、前記飽和画素領域の大きさが予め定めた大きさ未満の場合、前記第２調整部を用いて前記第２調整を行うように構成された制御部と、を備えることが好ましい。

上述の電子内視鏡システムによれば、従来に比べて、適正な輝度の画像を短時間に得ることができる。

一実施形態の内視鏡システムの構成の一例を示すブロック図である。 一実施形態の電子内視鏡システムの測光ユニットの構成を示すブロック図である。 （ａ）〜（ｃ）は、飽和画素の例を説明する図である。 （ａ），（ｂ）は、一実施形態で行う、飽和画素から最近傍の位置にある非飽和画素の距離の算出の例を説明する図である。 一実施形態で行う、飽和画素数値化部に入力した各画素における輝度レベルの階級を拡張した新たな階級への割り当ての一例を説明する図である。 一実施形態で行う、測光ユニットの処理のフローの一例を示す図である。 （ａ），（ｂ）は、図３（ａ），（ｂ）に示す画像から得られる、拡張した０〜２５９の新たな階級のヒストグラムの例を模式的に示す図である。 一実施形態で行う、図６に示す処理と異なる測光ユニットの処理のフローの一例を示す図である。 図２に示す測光ユニットとは別の構成の一例を説明する図である。

（本実施形態の概要）
従来の受光光量の調整では、上述したように、飽和画素の総数に基づいて行われるが、飽和画素には、許容受光光量をわずかに超えた飽和画素もあれば、許容受光光量を大幅に超えた飽和画素もあり、このような飽和画素を一括りに飽和画素として取り扱うと、適正な露出の画像が得られるまで調整が繰り返し行われ、長い時間を要する、といった問題が生じる。したがって、一実施形態の電子内視鏡システムでは、飽和画素を飽和の程度を数値化して、すなわち、許容受光光量を大幅に超えた飽和画素か、わずかに超えた飽和画素かを分類し、この数値化の結果に基づいて、撮像素子で得られる画像の輝度に関する調整を行う。

すなわち、生体組織を繰り返し撮像するように構成された撮像素子を備える電子内視鏡と、撮像素子の撮像により得られた画像から表示用画像を生成するように構成された画像処理部と、を有するプロセッサと、を備えた電子内視鏡システムにおいて、
電子内視鏡あるいは画像処理部には、撮像素子により得られた画像の輝度情報を求め、この輝度情報に基づいて、撮像素子で撮像する画像の輝度に関する調整を行う測光部が設けられる。この測光部は、
・撮像素子により得られた画像のうち、撮像素子の受光光量が撮像素子の許容受光光量の上限を超える輝度値を有する飽和画素のそれぞれを注目画素として、注目画素を取り巻く非飽和画素あるいは飽和画素の、注目画素周りの周辺分布の情報に基づいて注目画素における許容受光光量の上限を超えた飽和の程度を数値化する飽和画素数値化部と、
・注目画素それぞれの数値化の結果に基づいて、撮像素子の撮像の際の受光光量の調整及び撮像素子が出力する前記画像信号のゲイン調整の少なくとも１つを含む輝度に関する調整、すなわち第１調整を行うように構成された第１調整部と、を備える。第１調整は、評価した撮像画像以降の撮像において行われる。第１調整は、画像の輝度レベルを低下させる調整のほかに、輝度レベルを上昇させる調整も含む。
ここで、受光光量の調整は、撮像素子の露光時間、及び、生体組織を照明する照明光の光強度を調整することを含む。さらに、適正な輝度を有する画像とするために、撮像素子が生成する画像信号を、増幅率を用いてゲイン調整するゲイン調整も、第１調整に含まれる。

このように、上記電子内視鏡システムでは、注目する飽和画素を取り巻く非飽和画素あるいは飽和画素の、注目する飽和画素周りの周辺分布の情報に基づいて注目する飽和画素における許容受光光量の上限を超えた飽和の程度を数値化するので、許容受光光量をわずかに超えた飽和画素、許容受光光量を大幅に超えた飽和画素を区別することができる。この飽和画素の数値化に基づいて、第１調整（輝度に関する調整）を行うので、適正な露出の画像を短時間に得ることができる。
以下、一実施形態の電子内視鏡システムについて添付の図面を参照しながら詳細に説明する。

（電子内視鏡システム）
図１は、一実施形態の内視鏡システム１の構成の一例を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００、及びプリンタ４００を備えている。

電子内視鏡用プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

電子内視鏡用プロセッサ２００は、電子スコープ１００に照明光を供給する光源装置２３０を備えている。光源装置２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ１００の光ファイバー素線の束であるＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源装置２３０は構成される。
あるいは、光源装置２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源装置２３０は構成される。発光ダイオードに代えてレーザダイオードを用いることもできる。発光ダイオード及びレーザダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。
なお、図１に示す例では、光源装置２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として電子内視鏡システム１に設けられてもよい。また、光源装置２３０は、後述する電子スコープ１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。

入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して撮像素子１０８の受光面上で光学像を結ぶ。

撮像素子１０８は、生体組織を撮像して受光光量に応じた画像信号を出力するように構成されている。撮像素子１０８は、例えば、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red），Ｇ（Green），Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する炎症の程度の評価を行う数値化処理における、画像の明るさによる炎症評価値の変動を抑えることができるという有利な効果は、ＣＭＯＳイメージセンサを用いる場合においてより顕著である。
撮像素子１０８が出力する画像信号は、後述する測光ユニット２４０の調整信号によって設定されたゲイン値を乗算した（ゲイン調整された）信号である。

電子スコープ１００の電子内視鏡用プロセッサ２００と接続するコネクタ部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。このように、電子スコープ１００は、撮像素子１０８を用いて、体腔内の生体組織を撮像する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子スコープ１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。

タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源装置２３０にクロックパルスからなるタイミング信号を供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミング信号で駆動する。
電子内視鏡用プロセッサ２００は、さらに、画像処理ユニット（画像処理部）２２０及び測光ユニット（測光部）２４０を備える。

画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。

測光ユニット２４０は、撮像素子１０８により得られた画像の輝度情報を求め、この輝度情報に基づいて、撮像素子１０８により得られる画像の輝度が適正になる第１調整を行うように構成されている。なお、測光ユニット２４０は、電子内視鏡用プロセッサ２００に設けられるが、電子スコープ１００、例えばコネクタ部に設けられてもよく、撮像素子１０８が設けられる先端部に設けられてもよい。

（測光ユニット）
以下、測光ユニット２４０について具体的に説明する。測光ユニット２４０は、図２に示すように、飽和画素数値化部２４２と、第１調整部２４４と、を備えている。図２は、測光部２４０の構成を示すブロック図である。
飽和画素数値化部２４２は、撮像素子１０８で撮像して得られる画像のうち、撮像素子１０８の受光光量が撮像素子１０８の許容受光光量の上限を超える輝度値を有する飽和画素のそれぞれを注目画素として、この注目画素を取り巻く非飽和画素あるいは飽和画素の、注目画素周りの周辺分布の情報に基づいて注目画素における許容受光光量の上限を超えた飽和の程度を数値化するように構成されている。
第１調整部２４４は、上記注目画素それぞれの数値化の結果に基づいて、受光光量の調整あるいは撮像素子１０８が出力する画像信号のゲイン調整を行うように構成されている。受光光量の調整は、撮像素子１０８における露光時間の調整と、光源装置２３０の照明光の光強度の調整がある。このため、第１調整部２４４は、上記受光光量の調整あるいはゲイン調整のための制御信号を、撮像素子１０８あるいは光源装置２３０に送る。露光時間の調整、光強度の調整、及びゲイン調整のうち、どの調整を行うかは、予め操作パネル２０８による指示等によって予め設定される。

図３（ａ）〜（ｃ）は、飽和画素の例を説明する図である。図３（ａ），（ｂ）は、図３（ｃ）に示すように、各画素の輝度レベルのヒストグラムにおいて、略同じ分布を有する画像の例を示している。図３（ｃ）に示す例は、輝度レベルを０〜２５５の階級で表し、飽和画素を２５５として模式的に示している。図３（ｃ）では、飽和画素の総数が１２０であることを示している。図３（ａ），（ｂ）は、モニタ３００に表示される画像の例であり、図３（ａ）に示す画像の例では、白い領域に黒いドットで表された飽和画素が多数点在している。一方、図３（ｂ）に示す画像の例では、白い領域に、黒いドットで表された飽和画素がドット状に分散していない代わりに、白い領域の縁に、図３（ａ）に比べて大きな黒い領域が存在する。図３（ｃ）に示す例では、目標飽和画素数１００に対して飽和画素の総数が１２０であるため、図３（ａ），（ｂ）に示す画像に対して、例えば、撮像素子１０８が撮像する際の受光光量が同じ程度に低減するように調整が行われる。

このように、飽和画素の分布が異なっても飽和画素の総数がいずれも１２０であるため、調整は、同じ調整である。しかし、図３（ｂ）に示す飽和画素は、領域となってかたまって存在するため、この領域にある飽和画素における、許容受光光量の上限を超えた飽和の程度は、ドットとして点在する図３（ａ）に示す例に比べて大きいと考えられる。したがって、飽和画素数値化部２４２は、飽和画素を取り巻く非飽和画素あるいは飽和画素の周辺分布の情報に基づいて、飽和画素における許容受光光量の上限を超えた飽和の程度を数値化する。

図４（ａ），（ｂ）は、注目する飽和画素から最も近い位置にある非飽和画素の距離を算出する例を説明する図である。飽和画素数値化部２４２は、図４（ａ），（ｂ）に示すように、飽和画素を取り巻く非飽和画素の周辺分布の情報として、飽和画素を取り巻く画素の中で飽和画素から最も近い場所に位置する非飽和画素までの距離を算出する。
例えば、図４（ａ），（ｂ）に示すように、Ｎ画素×Ｎ画素（Ｎは、３以上の奇数）のフィルタの中心を、注目する飽和画素の位置に合わせて、フィルタ枠内の範囲で中心から最も近い位置にある非飽和画素とフィルタの中心との間の距離を算出する。図４（ａ），（ｂ）では、飽和画素は白領域で、非飽和画素は灰色領域で示されている。なお、図４（ａ），（ｂ）に示す例では、１１画素×１１画素のフィルタを用いるが、このサイズのフィルタには制限されない。図３（ａ）に示す例では、飽和画素から最も近い場所に位置する非飽和画素までの距離は、１画素の距離を１単位として距離３であり、図３（ｂ）に示す例では、距離５．８３である。
この距離が大きくなる程、注目する飽和画素は非飽和画素から遠く離れるので、注目する飽和画素の許容受光光量の上限を超えた飽和の程度は大きくなるといえる。すなわち、飽和画素の、最近傍の非飽和画素までの距離は、飽和の程度を示す指標といえる。
このフィルタを飽和画素のそれぞれに対して適用して、各飽和画素の、最近傍の非飽和画素までの距離を算出する。

図５は、一実施形態における飽和画素数値化部２４２に入力した各画素における輝度レベルの階級を拡張した輝度レベルの新たな階級への割り当ての一例を説明する図である。図５に示す例は、算出した距離情報に応じて、飽和画素に対して複数の階級を割り当てる処理を示している。０〜２５５の階級に分けた画素の輝度レベル（階級２５５が飽和画素の階級）において、０〜２５４の輝度レベルの非飽和画素に対しては、輝度レベルの値に対応した階級を与え、２５５の飽和画素に対しては、飽和画素の飽和度の程度、すなわち、飽和画素の、最近傍の非飽和画素までの距離に応じて、飽和画素の輝度レベルの階級を２５９まで拡張して割り当てる。
したがって、飽和画素数値化部２４２は、図４（ａ），（ｂ）に示すように算出した、飽和画素の、最近傍の非飽和画素までの距離に応じて、階級２５５の飽和画素を、階級２５５〜２５９に割り当てることにより、飽和の程度に飽和画素を数値化する。図５に示すように、距離が大きい程、飽和度が大きいとして階級が高くなっている。これにより、各飽和画素について、飽和画素の程度によって階級化した数値が得られるので、この数値化した結果に基づいて、第１調整部２４４は、受光光量の調整あるいは撮像素子が出力する画像信号のゲイン調整を行う。
このように、飽和画素数値化部２４２は、周辺分布の情報として、注目する飽和画素を取り巻く画素の中で、注目する飽和画素の、最近傍に位置する非飽和画素までの距離を用いるので、飽和画素の飽和の程度を合理的かつ簡易に数値化することができる。

一実施形態によれば、飽和画素数値化部２４２は、各階級に属する飽和画素の度数を、１以上の係数であって飽和の程度が大きい程値が大きい重み付け係数を用いて重み付けをし、重み付けした度数を累積した値を、画像における飽和の程度を表わす飽和評価値として算出する。第１調整部２４４は、この飽和評価値に基づいて、撮像素子１０８の撮像の際の受光光量の調整及び撮像素子１０８が出力する画像信号のゲイン調整の少なくとも１つを含む調整を行う。
すなわち、飽和画素数値化部２４２は、飽和画素のそれぞれを注目画素として、注目画素それぞれの飽和の程度を、周辺分布の情報に基づいて複数の階級の１つに割り当て、各階級に属する飽和画素の度数を、１以上の係数であって飽和の程度が大きい程値が大きい重み付け係数を用いて重み付けをし、重み付けした度数を累積した値を、画像における飽和の程度を表わす飽和評価値として算出する。第１調整部２４４は、この飽和評価値に基づいて調整を行う。このため、１フレームの画像中の飽和画素の数を簡易にかつ適切に低減し、あるいは、増加させることができる。

図６は、測光ユニット２４０が行う処理のフローの一例を示す図である。図６に示す例は、光源装置２３０が出射する照明光の光量（光輝度）を照明光量として調整する例である。また、図６に示す例では、入力される画素の輝度レベルの階級は０〜２５５である。

まず、第１調整部２４４は、デフォルト設定として、照明光量を５０％に初期化する（ステップＳ１０）。照明光量が５０％であるとは、光源装置２３０が出射する照明光の予め定めた光量を１００％としたときに、照明光量の調整範囲の半分のレベルにあることをいう。したがって、初期設定された照明光量は、後述する飽和評価値に応じて、上昇させることも低下させることも可能である。
飽和画素数値化部２４２は、輝度レベルの階級を拡張した新たな階級における各階級の度数をゼロにセットした後、輝度レベルを有する画素が入力されるまで待機する（ステップＳ１２）。
飽和画素数値化部２４２は、輝度レベルを有する画素が入力されると入力した画素の輝度レベルが２５５（飽和画素）であるか否かを判定する（ステップＳ１４）。
飽和画素数値化部２４２は、輝度レベルが２５５でない、すなわち、０〜２５４の場合、入力された画素を、入力された画素の輝度レベルの階級と同じ階級に割り当て、その階級の度数を１加算する（ステップＳ１６）。

一方、飽和画素数値化部２４２は、輝度レベルが２５５、すなわち、飽和画素である場合、Ｎ画素×Ｎ画素のフィルタを用いて、具体的には、Ｎ画素×Ｎ画素のフィルタの中心を注目する飽和画素の位置に合わせて、注目する飽和画素の、最近傍の非飽和画素までの距離を計算する（ステップＳ１８）。飽和画素数値化部２４２は、算出した距離に応じて、図５に示すような割り当てテーブルを参照しながら、階級２５５〜２５９のいずれかの階級に割り当て、割り当てた階級の度数を１加算する（ステップＳ２０）。

飽和画素数値化部２４２は、１フレームの画像の全画素の入力が終了したか否かを判定する（ステップＳ２２）。こうして、飽和画素数値化部２４２は、１フレームの画像の全画素の入力が終了するまで、ステップＳ１２〜ステップＳ２２を繰り返す。

次に、飽和画素数値化部２４２は、各階級に属する飽和画素の度数を、１以上の係数であって飽和の程度が大きい程値が大きい重み付け係数（図６に示す例では、重み付け係数１．０，１．１，１．２，１．３，１．４）を用いて重み付けをし、重み付けした度数を累積加算した値を、画像における飽和の程度を表わす飽和評価値として算出する（ステップＳ２４）。したがって、階級が高い、すなわち飽和の程度が大きい階級の度数が大きくなるほど、画像の飽和評価値は大きくなる。

第１調整部２４４は、算出した飽和評価値に対する予め定めた目標飽和画素数の比を算出する。第１調整部２４４は、この算出した比を、現在の照明光量（初期状態ではステップＳ１０にて設定された５０％）に乗算した結果を、目標とする新たな照明光量（撮像素子１０８が露光のために受光する目標光量情報）として定める（ステップＳ２６）。第１調整部２４４は、この目標とする新たな照明光量（目標光量情報）に基づいて輝度に関する調整をするための調整信号を生成して、光源装置２３０及び撮像素子１０８の少なくとも一方に送る。この調整は、上述したように、撮像素子１０８の撮像の際の受光光量（照明光の光強度、露光時間）の調整及び撮像素子１０８が出力する画像信号のゲイン調整の少なくとも１つの調整を含む。この場合、２つの調整を同時に行ってもよく、３つの調整を同時に行ってもよい。
なお、飽和画素数値化部２４２が、ステップＳ１０〜Ｓ２４の処理の途中で図７（ａ），（ｂ）に示すようなヒストグラムを作成した場合には、作成したヒストグラムを削除する。
飽和画素数値化部２４２は、新たな１フレームの画像が入力するか否かを判定し（ステップＳ２８）、画像の入力がなくなるまで、ステップＳ１０〜ステップＳ２８を繰り返す。

第１調整部２４４は、上述したように、飽和評価値に対する予め定めた目標飽和画素数の比を算出し、この算出した比を、照明光量に乗算した結果を、目標とする照明光量として定めるので、飽和評価値の結果に対応して輝度に関する調整を確実に行うことができる。

図７（ａ），（ｂ）は、図３（ａ），（ｂ）に示す画像から得られる、拡張した０〜２５９の階級のヒストグラムの例を模式的に示す図である。
図７（ａ）に示すヒストグラムは、図３（ａ）に示す画像の輝度レベルの階級を拡張した０〜２５９の新たな階級のヒストグラムの例であり、図７（ｂ）に示すヒストグラムは、図３（ｂ）に示す画像の輝度レベルを拡張した０〜２５９の新たな階級のヒストグラムの例である。

図７（ａ），（ｂ）に示すヒストグラムの比較からわかるように、図７（ｂ）に示す例では、階級２５９の度数が大きく、飽和の程度が大きくなっていることを示している。すなわち、図７（ｂ）に示す例におけるステップＳ２４で算出される飽和評価値は、図７（ａ）に示す例におけるステップＳ２４で算出される飽和評価値に比べて大きい。したがって、図７（ｂ）に示す例における画像（図３（ｂ）に示す画像）に対しては、図６のステップＳ２６で算出する目標とする照明光量は、図７（ａ）に示す例における目標とする照明光量に比べて少ない。
例えば、図７（ａ），（ｂ）に示すように、目標飽和画素数を１００とした場合、図６に示す輝度レベルの階級を拡張した新たな階級２５５〜２５９を利用した場合、ステップＳ２４で算出する飽和評価値は、図７（ａ）に示す例では、１３２となり、目標総和画素数／飽和評価値は０．７６となる。また、図７（ｂ）に示す例では、飽和評価値は１５６となり、目標総和画素数／飽和評価値は０．６４となる。
したがって、上記輝度に関する調整では、図７（ｂ）に示す例（図３（ｂ）に示す例）における画像の輝度を、図７（ａ）に示す例における輝度に比べて大きく低下させるので、調整を素早く行うことができる。

なお、上述の実施形態では、飽和画素数値化部２４２が飽和の程度を数値化する際、注目する飽和画素を取り巻く非飽和画素あるいは飽和画素の、注目する飽和画素周りの周辺分布の情報として、注目する飽和画素の、最近傍に位置する非飽和画素までの距離を用いたが、周辺分布の情報は、この距離に限定されない。この周辺分布の情報として、注目する飽和画素それぞれの位置から予め定めた範囲内に存在する飽和画素の数を用いることもできる。飽和画素の数が多いほど、注目する飽和画素の飽和の程度は大きいといえる。このため、飽和画素数が多いほど、注目する飽和画素に、輝度レベルの拡張した新たな階級のうち、より高い階級を割り当てる。１フレームにおける割り当てた階級の度数を調べ、図６に示すステップＳ２４のように、１以上の重み付け係数で度数を重み付けして、飽和評価値を算出することができる。周辺分布の情報として、注目する飽和画素それぞれの位置から予め定めた範囲内にある飽和画素の数を用いることで、飽和の程度を合理的かつ簡易に数値化することができる。

上述の実施形態によれば、第１調整部２４４は、飽和評価値に基づいて輝度に関する調整を行うが、この調整を飽和評価値に基づいて行うことに限定されない。一実施形態によれば、第１調整部２４４は、非飽和画素の輝度レベルと飽和画素の飽和の程度を数値化した結果とを用いて調整を行ってもよい。すなわち、飽和画素数値化部２４２は、数値化した注目する飽和画素それぞれの飽和の程度の値に定数を掛けて飽和画素それぞれの輝度レベル（例えば、輝度レベル２５５）に加算した値を、画像における非飽和画素の輝度レベルの総和に加え、この加えた結果を画像の総画素数で割った輝度レベルの平均値を算出し、算出した現在の輝度レベルの平均値に基づいて、輝度に関する調整を行う、ことも好ましい。

図８は、図６に示す処理と異なる測光ユニットの処理のフローの一例を示す図である。図８は、非飽和画素の輝度レベルと飽和画素の飽和の程度を数値化した結果とを用いて輝度調整を行う処理のフローの例を示す。
図８に示すステップＳ４０、ステップＳ４２、ステップＳ４４、ステップＳ４８、ステップＳ５２、及びステップＳ５８の処理は、図６に示すステップＳ１０、ステップＳ１２、ステップＳ１４、ステップＳ１８、ステップＳ２２、及びステップＳ２８の処理と同じであるので、その詳細な説明は省略する。

まず、飽和画素数値化部２４２は、ステップ４０において、照明光量を５０％に初期設定し、さらに、輝度レベルの総和（以下、輝度総和という）をゼロに設定する。
ステップＳ４２で１フレームの画像の画素が入力すると、飽和画素数値化部２４２は、ステップＳ４４において、入力した画素の輝度レベルが２５５であるか否か、すなわち、飽和画素であるか否かを判定する。

ステップＳ４４において、入力した画素の輝度レベルが２５５未満の場合、飽和画素数値化部２４２は、輝度総和に、入力した画素の輝度レベルを加算した値を輝度飽和として書き換える（ステップＳ４６）。

一方、ステップＳ４４において、入力した画素の輝度レベルが２５５である（画素が飽和画素である）場合、ステップＳ１８と同じＮ画素×Ｎ画素のフィルタの中心を、注目する飽和画素の位置に合わせて、飽和画素の、最近傍の非飽和画素までの距離を計算する（ステップＳ４８）。飽和画素数値化部２４２は、算出した距離に定数、図８に示す例では、定数０．０１を掛けて飽和画素それぞれの輝度レベル（例えば、輝度レベル２５５）に加算した値を算出する。さらに、算出した値を、輝度総和に加えた結果を、輝度飽和として書き換える（ステップＳ５０）。
こうして、飽和画素数値化部２４２は、１フレーム画像における、非飽和画素の輝度レベル及び飽和画素の飽和の程度を考慮した輝度レベルの値を含んだ輝度総和を算出する。

飽和画素数値化部２４２は、飽和画素数値化部２４２が算出した輝度飽和を、１フレームの画像の画素数で割った値を、輝度評価値として算出する（ステップＳ５４）。
この後、第１調整部２４４は、輝度評価値に対する予め定めた目標輝度値の比を算出する。さらに、第１調整部２４４は、算出した比を、照明光量（初期状態ではステップＳ４０にて設定された５０％）に乗算した結果を、目標とする照明光量（撮像素子１０８が露光のために受光する目標光量情報）として定める。第１調整部２４４は、この目標とする照明光量（目標光量情報）に基づいて、輝度に関する調整を行う調整信号を生成して、光源装置２３０及び撮像素子１０８の少なくとも一方に送る。この調整は、上述したように、撮像素子１０８の撮像の際の受光光量（照明光の光強度、露光時間）の調整及び撮像素子１０８が出力する画像信号のゲイン調整の少なくとも１つの調整を含む。この場合、２つの調整を同時に行ってもよく、３つの調整を同時に行ってもよい。
飽和画素数値化部２４２は、ステップＳ５８において、新たな１フレームの画像が入力するか否かを判定し、画像の入力がなくなるまで、ステップＳ４０〜ステップＳ５８を繰り返す。

このように、図８に示す処理では、第１調整部２４４は、飽和画素の飽和の程度を数値化した値と、非飽和画素の輝度レベルとを含んで算出された輝度評価値に基づいて輝度に関する調整を行うので、非飽和画素の輝度も考慮した調整を行うことができる。
さらに、記第１調整部２４４は、輝度評価値に対する、予め定めた目標輝度値の比を、現在の照明光量の数値情報に乗算した結果を、目標光量情報として定め、目標光量情報に基づいて輝度に関する調整を行うので、輝度評価値の結果に対応して調整を確実に行うことができる。

図８に示す例では、飽和画素数値化部２４２が飽和の程度を数値化する際、注目する飽和画素を取り巻く非飽和画素あるいは飽和画素の周辺分布の情報として、注目する飽和画素の、最近傍に位置する非飽和画素までの距離を飽和の程度を示す指標として用いて輝度評価値を算出するが、輝度評価値の算出の際に用いる指標は、上記距離に限定されない。この周辺分布の情報として、注目する飽和画素それぞれの位置から予め定めた範囲内にある飽和画素の数を指標として用いることもできる。飽和画素の数が多いほど、注目する飽和画素の飽和の程度は大きい。このため、飽和画素数に定数を掛けて飽和画素それぞれの輝度レベル（例えば、輝度レベル２５５）に加算した値を、画像における非飽和画素の輝度レベルの総和に加え、この加えた結果を画像の総画素数で割った画像の輝度レベルの平均値を輝度評価値として算出してもよい。

図８に示す例では、第１調整部２４２は、ステップＳ５６に示すように、現在の画像の輝度評価値（現在の輝度レベルの平均値）に対する、予め定めた目標輝度値の比を、撮像素子１０８が露光のために受光する現在の照明光量の数値情報に乗算した結果を、撮像素子１０８が露光のために受光する目標光量情報として定め、この目標光量情報に基づいて、輝度調整を行う。このため、画像の飽和画素の飽和の程度を数値化した結果のみならず非飽和画素の輝度レベルを考慮した輝度調整を行うことができる。

図９は、図２に示す測光ユニット２４０とは別の構成の一例を説明する図である。
一実施形態によれば、測光ユニット２４０は、図９に示すように、飽和画素数値化部２４２及び第１調整部２４４の他に、制御部２４６、飽和画素領域算出部２４８、及び第２調整部２５０を備えることが好ましい。
第２調整部２５０は、１フレームの画像内の飽和画素の総数あるいは画像における全画素の輝度レベルの平均値（飽和画素の輝度レベルが２５５の場合、飽和画素を２５５に維持したときの平均値）に基づいて、輝度に関する調整を行うように構成されている。
飽和画素領域算出部２４８は、ドライバ信号処理回路１１２から入力した１フレームの画像内の注目する飽和画素が、画像内の複数の画素が飽和画素として連なった飽和画素領域の一画素である場合にこの飽和画素領域の大きさを算出するように構成されている。
制御部２４６は、飽和画素領域算出部２４８で算出された飽和画素領域の大きさが予め定めた大きさ以上である場合、第１調整部２４４を用いて輝度に関する調整（第１調整）を行い、飽和画素領域の大きさが予め定めた大きさ未満の場合、第２調整部２５０を用いて輝度に関する調整（第２調整）を行うように構成されている。

１フレームの画像において、飽和画素領域の大きさが小さい程、注目する飽和画素の、最近傍にある非飽和画素までの距離が短くなる場合が多く、注目する飽和画素における飽和の程度は小さいといえるので、飽和画素領域の大きさが予め定めた大きさより小さい場合は、飽和の程度を数値化した結果を用いずに、飽和画素の総数あるいは画像における全画素の輝度レベルの平均値に基づいて輝度に関する調整を行う第２調整部２５０を用いる。飽和画素領域の大きさが予め定めた大きさ以上である場合は、上述したように、飽和画素における飽和の程度を数値化した結果に基づいて輝度に関する調整を行う第１調整部２４４を用いる。これにより、輝度に関する調整を効率よく行うことができる。

以上、本発明の電子内視鏡システムについて詳細に説明したが、本発明は上記実施形態及び実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１ 電子内視鏡システム
１００ 電子スコープ
１０２ ＬＣＢ
１０４ 配向レンズ
１０６ 対物レンズ
１０８ 撮像素子
１０８ａ カットフィルタ
１０８ｂ ベイヤ配列カラーフィルタ
１１２ ドライバ信号処理回路
１１４ メモリ
２００ 電子内視鏡用プロセッサ
２０２ システムコントローラ
２０４ メモリ
２０６ タイミングコントローラ
２０８ 操作パネル
２２０ 画像処理ユニット
２３０ 光源部
２４０ 測光ユニット
２４２ 飽和画素数値化部
２４４ 第１調整部
２４６ 制御部
２４８ 飽和画素領域算出部
２５０ 第２調整部
３００ モニタ
４００ プリンタ

Claims (8)

1. 生体組織を繰り返し撮像して画像信号を出力するように構成された撮像素子を備える電子内視鏡と、前記画像信号に基づいて得られる前記生体組織の画像から表示用画像を生成するように構成された画像処理部と、を有するプロセッサと、を備え、
   前記電子内視鏡あるいは前記プロセッサには、前記撮像素子により得られた画像の輝度情報を求め、前記輝度情報に基づいて、前記撮像素子で撮像する画像の輝度に関する調整を行うように構成された測光部が設けられ、
   前記測光部は、
   前記撮像素子で撮像して得られた画像のうち、前記撮像素子の受光光量が前記撮像素子の許容受光光量の上限を超える輝度値を有する飽和画素のそれぞれを注目画素として、前記注目画素を取り巻く非飽和画素あるいは飽和画素の、前記注目画素周りの周辺分布の情報に基づいて前記注目画素における前記許容受光光量の上限を超えた飽和の程度を数値化するように構成された飽和画素数値化部と、
   前記注目画素それぞれの前記数値化の結果に基づいて、前記受光光量の調整及び前記撮像素子が出力する前記画像信号のゲイン調整の少なくとも１つを含む第１調整を行うように構成された第１調整部と、を備えることを特徴とする電子内視鏡システム。
2. 前記飽和画素数値化部は、前記周辺分布の情報として、前記注目画素を取り巻く画素の中で、前記注目画素それぞれから最も近い場所に位置する非飽和画素までの距離を用いる、請求項１に記載の電子内視鏡システム。
3. 前記飽和画素数値化部は、前記周辺分布の情報として、前記画素の中の、前記注目画素それぞれの位置から予め定めた範囲内にある飽和画素の数を用いる、請求項１に記載の電子内視鏡システム。
4. 前記飽和画素数値化部は、前記注目画素それぞれの前記飽和の程度を、前記周辺分布の情報に基づいて複数の階級の１つに割り当て、各階級に属する飽和画素の度数を、１以上の係数であって前記飽和の程度が高い程値が大きい重み付け係数を用いて重み付けをし、重み付けした前記度数を累積した値を、前記画像における飽和の程度を表わす飽和評価値として算出するように構成され、
   前記第１調整部は、前記飽和評価値に基づいて、前記第１調整を行うように構成される、請求項１〜３のいずれか１項に記載の電子内視鏡システム。
5. 前記第１調整部は、前記飽和評価値に対する予め定めた目標飽和画素数の比を、前記撮像素子が露光のために受光する現在の光量の数値情報に乗算した結果を、前記撮像素子が露光のために受光する目標光量情報として定め、前記目標光量情報に基づいて、前記第１調整を行うように構成される、請求項４に記載の電子内視鏡システム。
6. 前記飽和画素数値化部は、数値化した前記注目画素それぞれの飽和の程度の値に定数を掛けて前記飽和画素それぞれの輝度レベルに加算した値を、前記画像における前記非飽和画素の輝度レベルの総和に加え、前記加算した値を前記非飽和画素の輝度レベルの総和に加えた結果を前記画像の総画素数で割った現在の輝度レベルの平均値を輝度評価値として算出するように構成され、
   前記第１調整部は、算出した前記輝度評価値に基づいて、前記第１調整を行うように構成される、請求項１〜３のいずれか１項に記載の電子内視鏡システム。
7. 前記第１調整部は、前記輝度評価値に対する、予め定めた目標輝度値の比を、前記撮像素子が露光のために受光する現在の光量の数値情報に乗算した結果を、前記撮像素子が露光のために受光する目標光量情報として定め、前記目標光量情報に基づいて、前記第１調整を行うように構成される、請求項６に記載の電子内視鏡システム。
8. 前記測光部は、
   前記画像内の飽和画素の総数あるいは前記画像における全画素の輝度レベルの平均値に基づいて、前記受光光量の調整及び前記撮像素子が出力する前記画像信号のゲイン調整の少なくとも１つを含む第２調整を行うように構成された第２調整部と、
   前記注目画素が、前記画像内の複数の画素が飽和画素として連なった飽和画素領域の一画素である場合に前記飽和画素領域の大きさを算出するように構成された飽和画素領域算出部と、
   前記飽和画素領域算出部で算出された前記飽和画素領域の大きさが予め定めた大きさ以上である場合、前記第１調整部を用いて前記第１調整を行い、前記飽和画素領域の大きさが予め定めた大きさ未満の場合、前記第２調整部を用いて前記第２調整を行うように構成された制御部と、を備える請求項１〜７のいずれか１項に記載の電子内視鏡システム。

Images