JP2019076656A - 電子内視鏡システム - Google Patents

Abstract

【課題】電子内視鏡システムにおいて、被写体の撮像画像に画像処理を施して縮小画像を作成するとき、従来に比べて簡易な構成で画像処理の負荷を低減する。【解決手段】電子内視鏡システムは、複数の異なる波長帯域の光成分を有する照明光で照明された被写体を、３色の色フィルタを用いた単板式カラー撮像素子で撮像して得られるデモザイク未処理画像を処理する画像処理部を備える。前記画像処理部は、前記デモザイク未処理画像の画素値を用いて画素補間を行うことにより、前記デモザイク未処理画像から、前記デモザイク未処理画像より画素数の少ない、色成分のいずれかに対応した第１〜３成分の画素値を備える縮小画像を生成する画素補間部と、前記縮小画像に対して、前記照明光の分光強度分布に応じた色補正を行う色補正部と、前記縮小画像をモニタに出力するための表示信号を生成する画像表示信号生成部と、を備える。【選択図】 図１

Description

本発明は、被写体の画像処理を行う電子内視鏡システムに関する。

医療機器分野においては、体腔内の生体組織を特定の狭帯域の光（狭帯域光）で照明し、照明された体腔内の生体組織を被写体として撮像することにより、体腔内に潜む病変部の診断を行うのに好適な狭帯域光画像を生成することが可能な電子内視鏡システムが知られている。この電子内視鏡システムの具体的構成は、例えば特許文献１に記載されている。

特許文献１に記載の電子内視鏡システムは、通常観察用の白色光と狭帯域観察用の特殊光（この特殊光を、狭帯域光という）を交互に被写体に照明して撮像画像を得る場合（ツインモードの場合）、白色光及び狭帯域光を生成するための光学フィルタを交互に光路中に挿入する回転フィルタ（ターレット）を用いる。このため、電子内視鏡システムは、撮像のタイミングと同期させて回転フィルタを回転させ、回転フィルタを介して得た白色光による通常のカラー観察画像（以下、この画像を白色光画像という）と狭帯域光による狭帯域観察画像（以下、この画像を狭帯域光画像という）とを１フィールド毎に交互に撮影する。これにより、白色光画像と狭帯域光画像とをモニタの表示画面内に並べて表示することが可能となっている。このようなモニタの表示画面に並べて表示する場合は、白色光画像あるいは狭帯域光画像は、一つの白色光画像あるいは一つの狭帯域光画像だけを表示画面に表示する場合に比べて小さく表示される。

特許第５１９８６９４号公報

上記のように、特許文献１に記載の構成では、回転フィルタを回転させることにより白色光用のフィルタと狭帯域光用のフィルタとが１フィールド毎に切り替えられると共に、白色光画像と狭帯域光画像とが１フィールド毎に交互に作成され、作成された白色光画像及び狭帯域光画像のそれぞれは、一つの表示画像内に収まるように縮小される。すなわち、一つの表示画像内に収まるように白色光画像及び狭帯域光画像のそれぞれを縮小した画像を作成するとき、一つの表示画面に白色光画像あるいは狭帯域光画像を表示する場合と同じ画像処理を施した後、最後の段階で不要な画素を間引いて縮小画像とされる。このように、縮小画像を作成する前に、除去すべき画素も画像処理の対象とするので、画像処理の負荷が高い。
また、特許文献１に記載の構成では、回転フィルタ等の機械的要素の動作と画像処理回路等の処理要素の動作とを高い精度で同期させる必要がある。また、特許文献１に記載の構成では、１フィールド期間中、白色光画像及び狭帯域光画像の一方しか生成することができないため、両方の画像を一画面内に並べて表示させる場合、一方については現フィールドの画像を表示させることができるが、他方については１つ前のフィールドの画像を引き続き表示させなければならない。このように、特許文献１に記載の構成では、同一の画像を２フィールド続けて表示させる必要があるため、フレームレートが実質的に低くなるという問題もある。

本発明は、被写体の撮像画像に画像処理を施して縮小画像を作成するとき、従来に比べて簡易な構成で画像処理の負荷を低減することができる電子内視鏡システムを提供することを目的とする。

本発明の一態様は、被写体の撮像画像を画像処理するプロセッサを備えた電子内視鏡システムである。当該電子内視鏡システムの前記プロセッサは、
複数の異なる波長帯域の光成分を有する照明光で照明された被写体を、３色の色フィルタを用いた単板式カラー撮像素子で撮像して得られるデモザイク未処理画像を処理する画像処理部を備える。
前記画像処理部は、
前記デモザイク未処理画像の画素値を用いて画素補間を行うことにより、前記デモザイク未処理画像から、前記デモザイク未処理画像より画素数の少ない画像であって、３つの色成分のいずれかに対応した第１〜３成分の画素値を備える縮小画像を生成する画素補間部と、
前記縮小画像に対して、前記照明光の分光強度分布に応じた色補正を行う色補正部と、
前記縮小画像をモニタに出力するための表示信号を生成する画像表示信号生成部と、を備える。

前記画素補間部は、
前記縮小画像の画素Ａに取り込もうとする前記デモザイク未処理画像の画素Ｂの色成分が、前記画素Ａに取り込もうとする色成分でないとき、前記画素Ｂの周囲を囲む、前記取り込もうとする色成分と同じ色成分の周囲画素の画素値の平均値を、前記縮小画像の画素Ａの画素値として取り込む補間処理を行い、
前記縮小画像の画素Ａに取り込もうとする前記デモザイク未処理画像の画素Ｂの色成分が、前記画素Ａに取り込もうとする色成分であるとき、前記画素Ｂの画素値を、前記縮小画像の画素Ａの画素値として取り込む、ことが好ましい。

前記デモザイク未処理画像は、ベイヤー配列の色フィルタを備える単板式カラー撮像素子を用いて撮像された画像であり、
前記周囲画素は、前記画素Ｂに隣接する４つの画素である、ことが好ましい。

前記色成分は、赤、青、及び緑の成分であり、
前記画素補間部は、前記画素Ｂの青成分の画素値を、前記縮小画像の前記画素Ａの画素値に取り込むように、前記デモザイク未処理画像から取り込む画素の画素位置を選択する、ことが好ましい。

白色光を出射する光源装置と、前記白色光を入力させて前記照明光を透過光として生成する光学フィルタと、を備える光源部を、有し、
前記光学フィルタの透過波長帯域のそれぞれは、前記色フィルタの３つの受光波長帯域のそれぞれに部分的に重っており、
前記画素補間部は、前記縮小画像として、３つの前記受光波長帯域の色成分に対応した成分の画素で構成される白色光画像と、３つの前記受光波長帯域のうちの２つ以上の色成分に対応した成分の画素で構成される狭帯域光画像とのそれぞれを、１つの前記デモザイク未処理画像から生成する、ことが好ましい。

前記色補正部は、前記光学フィルタの透過波長帯域の透過特性と前記色フィルタの受光波長帯域の特性の情報に基づいて生成されるマトリクスを用いて、前記縮小画像の前記第１〜３の成分に対してマトリクス演算を施すことで、前記色補正を行う、ことが好ましい。

前記白色光画像に前記色補正をした画像と前記狭帯域光画像を一画面に表示するための合成画像を生成し、前記合成画像を前記画像表示信号生成部に送る画像合成部を備える、ことが好ましい。

上述の電子内視鏡システムによれば、被写体の撮像画像に画像処理を施して縮小画像を作成するとき、従来に比べて簡易な構成で画像処理の負荷を低減することができる。

一実施形態の電子内視鏡システムのブロック構成図である。 狭帯域光をつくる光学フィルタの透過波長帯域の透過率分布の一例を示す図である。 狭帯域光をつくる光学フィルタの透過波長帯域の透過率分布の他の一例を示す図である。 デモザイク未処理画像の各画素における色成分の配列の一例を示す図である。 一実施形態で行う画素補間の例を説明する図である。 （ａ），（ｂ）は、シングル表示モードとツイン表示モードの一例を説明する図である。 一実施形態の画素補間部が、擬似白色光画像を作成するための画素補間の例を説明する図である。 一実施形態の画素補間部が、狭帯域光画像を作成するための画素補間の例を説明する図である。

（電子内視鏡システムの構成）
以下、本実施形態の電子内視鏡システムについて詳細に説明する。図１は、本実施形態の電子内視鏡システム１の主な構成を示すブロック構成図である。
電子内視鏡システム１は、プロセッサ２、電子内視鏡４、モニタ５、を主に備える。電子内視鏡４、及びモニタ５は、それぞれプロセッサ２に接続される。図１に示す例では、プロセッサ２内に光源部３が設けられるが、光源部３は、プロセッサ２の外部に設けられ、プロセッサ２とは別体で構成されていてもよい。

以下説明する電子内視鏡システム１は、電子内視鏡４で撮像された被写体の撮像画像をモニタ５に表示する形態として、被写体の白色光画像あるいは狭帯域光画像のうちのいずれか１つを、１つのモニタ画面に表示するシングル表示モードと、白色光画像と狭帯域光画像を１つの画面に表示するツイン表示モードを備える。
白色光画像は、後述する白色光用光学フィルタによって生成された白色光によって照明された被写体の画像である。白色光画像は、ツイン表示モードの場合、後述する３つの透過波長帯域を備えた狭帯域光用光学フィルタ（図３参照）を透過した狭帯域光によって照明された被写体の画像から色補正により作成される画像であり、白色光によって照明された被写体を再現した擬似白色光画像である。
狭帯域光画像は、後述する２つあるいは３つの透過波長帯域を備えた狭帯域光用光学フィルタ（図３，２参照）を透過した狭帯域光によって照明されて作成される画像であり、白色光画像に比べて波長帯域が制限された色成分で構成された被写体の画像である。

光源部３は、白色光あるいは狭帯域光を射出する。光源部３は、例えば、ＬＥＤ（Light Emitting Diode）光源、ハロゲンランプ、メタルハライドランプ等の高輝度ランプ等の白色光を出射する光源装置３２と、光学フィルタを備えるターレット３４と、ターレットを回転するドライバ３６と、を主に備える。ターレット３４は、複数の光学フィルタを配した回転板であり、光源装置３２からの白色光の光路上を通過する光学フィルタを切り替えることにより、光学フィルタのそれぞれでフィルタリングされた光（透過光）を順次出力する。ドライバ３６は、図示されないが、ターレット３４を回転させるモータを含む。光源部３は、この他に、図示されないが、照明光を絞る絞り、及び、照明光を後述するライトガイド４８に入射させるための集光レンズを備える。

ターレット３４には、光源装置３２から出射した白色光を入力させてその透過光を照明光として生成する、複数の光学フィルタが設けられる。ターレット３４には、例えば、３つの透過波長帯域を備えた光学フィルタ（以降、３峰性フィルタともいう）や、２つの透過波長帯域を備えた光学フィルタ（以降、２峰性フィルタともいう）を備える。これらの光学フィルタは、狭帯域光を生成するので総称して狭帯域光用光学フィルタという。狭帯域光用光学フィルタを透過した光は狭帯域光となって、被写体を照明する。ターレット３４には、また、赤外波長領域や紫外波長領域の光成分を除去し、可視光波長帯域を透過波長帯域とし、照明光としての白色光を生成するための白色光用光学フィルタを備える。光学フィルタの透過波長帯域については後述する。

電子内視鏡４の先端には、図１に示すように、可撓性を有し、人体内部に挿入するための挿入部４Ａが設けられている。挿入部４Ａの先端近傍には、挿入部４Ａの基端に連結された図示されない操作部からの遠隔操作に応じて自在に屈曲する機構を備える図示されない屈曲部が設けられている。

電子内視鏡４は、コネクタ部４９から先端部４Ｂにかけての略全長に渡って配置されたライトガイド４８を備える。ライトガイド４８は、光ファイバ束であり、光源部３から出射された照明光を電子内視鏡４の先端部４Ｂまで導光する。
先端部４Ｂは、図示されないが、ライトガイド４８の先端の前方に設けられた配光レンズ４３、生体組織の像を結像する対物レンズ４４、結像した像を受光する撮像素子４５、及び撮像素子４５から出力した画像信号を増幅する図示されないアンプ等を備える。
上記配光レンズ４３は、ライトガイド４８の先端面と対向して配置され、ライトガイド４８の先端面から射出される照明光を発散させて、被写体である生体組織を照明する。
対物レンズ４４は、被写体からの散乱光あるいは反射光を集光して、撮像素子４５の受光面上で被写体の像を結像させる。

撮像素子４５は、単板式カラー撮像素子であり、撮像素子として、ＣＣＤ撮像素子、あるいはＣＭＯＳ撮像素子が好適に用いられる。
単板式カラー撮像素子は、撮像素子の各受光位置の前面にＲ（赤）、Ｇ（緑）、Ｂ（青）の色フィルタを配置した構造の撮像素子である。色フィルタは、３原色の色フィルタであり、例えばベイヤー配列で各色のフィルタが受光位置に配置されている。色フィルタの配置は、ベイヤー配列に限定されず，公知の配列であってもよい。
撮像素子４５から出力された撮像信号は上記アンプによって増幅された後、コネクタ部４８のドライバ信号処理回路４９Ａへ順次伝送される。

コネクタ部４９は、プロセッサ２と接続されている。コネクタ部４９は、ドライバ信号処理回路４９Ａとメモリ４９Ｂを備える。コネクタ部４９は、撮像素子４５に駆動信号を供給して撮像素子４５を駆動させるとともに、撮像素子４５から出力されたアナログ信号をデジタル信号に変換して、プロセッサ２に撮像画像として送信する回路を備える。メモリ４９Ｂは、電子内視鏡４の固有情報を記録しており、コネクタ４９がプロセッサ２に接続されたとき、ドライバ信号処理回路４９Ａは、メモリ４９Ｂに記録されている固有情報を読み出して、プロセッサ２のシステムコントローラ２５に出力するように構成されている。この固有情報は、後述する前段画像処理部２１、画像処理本体部２２、後段画像処理部２３等における処理のためのパラメータの設定に用いられる。

プロセッサ２は、電子内視鏡の撮像素子４５が撮像し、コネクタ４９から送信される撮像画像を画像処理してモニタ５に供給する装置である。
プロセッサ２には、電子内視鏡４と接続するためのコネクタ部が設けられている。このコネクタ部とコネクタ部４９が機械的に接続されることにより、電子内視鏡４とプロセッサ２とが電気的に接続され、光源部３と電子内視鏡４が光学的に接続される。

プロセッサ２は、前段画像処理部２１、画像処理本体部２２、後段画像処理部２３、画像メモリ２４、及びシステムコントローラ２５を主に備える。前段画像処理部２１、画像処理本体部２２、及び後段画像処理部２３は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアモジュールで構成されてもよいし、システムコントローラ２５が記録されたプログラムを起動して形成されるソフトウェアモジュールで構成されてもよい。

システムコントローラ２５は、前段画像処理部２１、画像処理本体部２２、後段画像処理部２３、画像メモリ２４の各処理を管理、制御するとともに、光源部３、電子内視鏡４の動作を制御する部分である。図示されないが、プロセッサ２は、さらに、タイミングコントローラを備える。タイミングコントローラは、システムコントローラ２５から生成されたタイミング信号に基づいて、電子内視鏡４、プロセッサ２の動作のタイミングを制御するタイミング制御信号を生成し、各部分に出力するように構成される。

前段画像処理部２１は、電子内視鏡４から送られてくる生体組織の撮像画像に対して公知の処理を行う部分で、例えばゲイン調整を行う。

画像処理本体部２２は、電子内視鏡４から送られてくる撮像画像を画像メモリ２４に一時記憶し、必要に応じて呼び出す。画像処理本体部２２は、画像メモリ２４から呼び出した撮像画像の画素補間を行ってＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分のいずれかに対応した第１〜３の成分の画素値を各画素が備える処理画像を作成し、さらに、作成した処理画像に対して色変換あるいは色補正を行い、場合によっては、２つの画像をモニタ５に画面表示するための画像合成を行う部分である。電子内視鏡４から送られてくる撮像画像は、デモザイク処理の施されていないデモザイク未処理画像である。このため、デモザイク処理として補間処理を行う。

具体的には、画像処理本体部２２は、シングル表示モード画像処理部２２Ａと、ツイン表示モード画像処理部２２Ｂとを備える。
シングル表示モード画像処理部２２Ａは、画素補間及び色変換を行って、白色光画像あるいは狭帯域光画像をモニタ５の表示画面に１つだけ表示するための画像を生成する。
ツイン表示モード画像処理部２２Ｂは、白色光画像及び狭帯域光画像の２つをモニタ５に並べて表示するための合成画像を生成する。
シングル表示モードでモニタ５の画面に表示する白色光画像は、白色光用光学フィルタを用いて得られる白色光を照明光として用いた被写体の画像（通常のカラー画像）である。
ツイン表示モードでモニタ５の画面に表示する白色光画像は、後述する３峰性フィルタを用いて得られる狭帯域光を照明光として用いた被写体の画像に、間引き処理及び色補正を行うことにより、白色光を照明光として用いた被写体の画像（通常のカラー画像）を再現した縮小画像である。
シングル表示モードでモニタ５の画面に表示する狭帯域光画像は、後述する３峰性フィルタあるいは２峰性フィルタを用いて得られる狭帯域光を照明光として用いた被写体の撮像画像を色変換することにより得られる画像である。
ツイン表示モードでモニタ５の画面に表示する狭帯域光画像は、後述する３峰性フィルタを用いて得られる狭帯域光を照明光として用いた被写体の画像の間引き処理及び色補正を行うことにより、所定の波長帯域の光を照明光としたときの被写体の画像を再現した縮小画像である。

シングル表示モード画像処理部２２Ａは、画素補間部２２Ａ１と色変換部２２Ａ２を備える。
ツイン表示モード画像処理部２２Ｂは、画素補間部２２Ｂ１と、白色光画像用色補正部２２Ｂ２と、狭帯域光画像用色補正部２２Ｂ３と、画像合成部２２Ｂ４を備える。
画像処理本体部２２の処理内容は後述する。

後段画像処理部２３は、画像処理本体部２２から送られる画像あるいは合成画像に公知の信号処理（γ補正等）を施してモニタ表示用の画像信号を生成し、生成された画像信号を所定のビデオフォーマット信号に変換する。後段画像処理部２３は、変換されたビデオフォーマット信号を、モニタ５に出力する。すなわち、後段画像処理部２３は、モニタ５に出力するための表示信号を生成する画像表示信号生成部である。
プロセッサ２には、電子内視鏡４から撮像画像が一定のフレーム周期、例えば、１／６０秒の周期で送信されるので、前段画像処理部２１、画像処理本体部２２、及び後段画像処理部２３では、順次画像処理を行う。これにより、生体組織の画像がモニタ５の表示画面に動画として表示される。

（シングル表示モード）
このようなプロセッサ２において、白色光画像あるいは狭帯域光画像をモニタ５に表示するためのシングル表示モードが選択された場合の処理を以下説明する。

まず、白色光画像をモニタ５の画面に表示する場合、光源部３は、白色光用光学フィルタを光源装置３２から出射する白色光の光路内に挿入して、光源部３は白色光を出射する。
狭帯域光画像をモニタ５の画面に表示する場合、光源部３は、狭帯域光用光学フィルタを光源装置３２から出射する白色光の光路内に挿入して、光源部３は狭帯域光を出射する。狭帯域光の波長帯域は、血管の吸光特性によって血管の像が強調されるような波長帯域に合わせたものである。このため、血管の像が強調された画像を生成するために、狭帯域光が用いられる。

図２は、２峰性フィルタの透過率分布Ｔ１の一例を示す図である。図２では、撮像素子４５の光感度特性を支配する色フィルタの受光波長帯域の透過率分布Ｔ２も示している。
シングル表示モードで狭帯域光画像をモニタ５に表示させる場合、図２に示す透過率分布Ｔ１を持つ２峰性フィルタに代えて、図３に示す透過率分布Ｔ３を持つの３峰性フィルタを光源装置３２から出射される白色光の光路に挿入して、狭帯域光を照明光として出射させてもよい。図３は、狭帯域光用光学フィルタの透過率分布Ｔ３の一例を示す図である。図３では、撮像素子４５の光感度特性を支配する色フィルタの受光波長帯域の透過率分布Ｔ２も示している。

撮像素子４５で得られ、画像処理本体部２２に送られる被写体の撮像画像は、デモザイク処理の施されていない画像（デモザイク未処理画像）であり、画像の各画素の画素値は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）の色フィルタの配列に対応した色成分の画素値のみで構成される。図４は、デモザイク未処理画像の各画素における色成分の配列の一例を示す図である。図４には、ベイヤー配列が一例として示されている。図４中のＲ（赤）、Ｇ（緑）、及びＢ（青）の色成分の透過率分布は、図２においてＴ２Ｒ，Ｔ２Ｂ，Ｔ２Ｂで示されている。
このため、白色光画像あるいは狭帯域光画像を作成するために、シングル表示モード画像処理部２２Ａは、デモザイク処理として行う画素補間を行う画素補間部２２Ａ１と、色変換を行う色変換部２２Ａ２を備える。

具体的には、シングル表示モード画像処理部２２Ａの画素補間部２２Ａ１は、デモザイク未処理画像の画素の画素値が存在する色成分については、その色成分の画素値を、白色光画像（白色光で照明された被写体の画像）あるいは狭帯域光画像（狭帯域光で照明された被写体の画像）の対応する画素の対応する色成分の画素値として取り込み、デモザイク未処理画像の画素の画素値が存在しない色成分については、その画素の周囲を囲む同じ色成分の周囲画素の画素値の平均値を、白色光画像あるいは狭帯域光画像の対応する画素の対応する色成分の画素値として取り込むように構成される。平均値は、単純平均値のほか、加重平均値であってもよい。周囲画素とは、例えばベイヤー配列の場合、上下方向及び左右方向の隣接画素、あるいは、斜め方向（右上−左下方向及び左上−右下方向）の隣接画素である。図５は、本実施形態で行う画素補間の例を説明する図である。

図５に示す例で説明すると、画素（Ｉ，Ｊ）（Ｉ＝１〜３，Ｊ＝１〜３の自然数）におけるモザイク未処理画像から、白色光画像あるいは狭帯域光画像の色成分の画素値を定める場合、画素補間部２２Ａ１は、画素（２，２）のＢ成分の画素値として、モザイク未処理画像の画素（２，２）のＢ成分の画素値を取り込む。図５に示すモザイク未処理画像の画素（２，２）のＧ成分の画素値は存在しないので、画素（２，２）のＧ成分の画素値として、モザイク未処理画像の画素（１，２）、（３，２）、（２，１）、（２，３）のＧ成分の画素値の平均値を取り込み、画素（２，２）のＲ成分の画素値は存在しないので、画素（２，２）のＲ成分の画素値として、モザイク未処理画像の画素（１，１）、（３，３）、（１，３）、（３，１）のＲ成分の画素値の平均値を取り込む。
こうした画素補間を行って、画素補間部２２Ａ１は、３つの色成分の画素値を有する画素で構成された白色光画像あるいは狭帯域光画像を作成する。

色変換部２２Ａ２は、作成された白色光画像あるいは狭帯域光画像の色変換を行うことで、画像表示用の白色光画像あるいは狭帯域光画像を作成する。
具体的には、白色光を照明光とした白色光画像の各画素の画素値Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎに対して、色変換部２２Ａ２は、下記式（１）に示すマトリクスを用いたマトリクス演算による色変換を行うことで、画面表示用の白色光画像を作成する。

式（１）：

式（１）中のマトリクス中の係数α_Ｒ１〜α_Ｂ３は、被写体の像を忠実に色再現するために予め定めたマトリクス係数である。

また、狭帯域光を照明光とした狭帯域光画像の各画素の画素値Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎに対して、シングル表示モード画像処理部２２Ａは、下記式（２）、（３）に示すマトリクスを用いたマトリクス演算による色変換を行うことにより、画面表示用の狭帯域光画像を作成する。狭帯域光画像は、血管を強調した画像である。上述したように、狭帯域光は、図２に示す透過率分布Ｔ１を持つ２峰性フィルタを用いて生成した狭帯域光と、図３に示す透過率分布Ｔ３を持つ３峰性フィルタを用いて生成した狭帯域光がある。下記式（２）は、２峰性フィルタを用いて生成した狭帯域光を照明光とした狭帯域光画像の各画素の画素値Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎに施す式であり、下記式（３）は、３峰性フィルタを用いて生成した狭帯域光を照明光とした狭帯域光画像の各画素の画素値Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎに施す式である。

式（２）：

式（２）中のマトリクス中の係数γ_Ｒ２〜γ_Ｂ３は、狭帯域光により照射された被写体の血管の像を強調するためのマトリクス係数である。血管は、主にＧ（緑）及びＢ（青）の色成分に対して高い吸光率を持つ。そのため、Ｇ（緑）及びＢ（青）以外の波長域の照明光の光成分は、血管の像のコントラストを低下させる要因となる。一方、図３に示す透過率分布Ｔ３を持つ光学フィルタを介した狭帯域光は、Ｇ（緑）及びＢ（青）に加えてＲ（赤）の色成分を含む。そこで、式（２）中のマトリクスは、Ｒ（赤）の色成分は不要な色成分としてＲ（赤）の色成分の画素値を除去する係数となっている。

式（３）：

式（３）中のマトリクス中の係数δ_Ｒ１〜δ_Ｂ３は、狭帯域光により照射された被写体の血管の像を強調するためのマトリクス係数である。

こうして作成された白色光画像あるいは狭帯域光画像を、シングル表示モード画像処理部２２Ａは、後段画像処理回路２３に送る。後段画像処理回路２３で上述した処理を行うことにより、モニタ５は、白色光画像あるいは狭帯域光画像を一つの画像として表示画面に表示することができる。

（ツイン表示モード）
次に、プロセッサ２において、白色光画像及び狭帯域光画像をモニタ５に表示するためのツイン表示モードが選択された場合の処理を以下説明する。図６（ａ），（ｂ）は、シングル表示モードとツイン表示モードの一例を説明する図である。図６（ａ），（ｂ）では、モニタ５に表示されるシングルモードの表示画面５Ａと、ツイン表示モードの表示画面５Ｂの例を示している。図６（ｂ）に示す表示画面５Ｂ中の白色光画像及び狭帯域光画像である画像Ｉｍ２，Ｉｍ３の画像サイズ（画素数）は、図６（ａ）に示す白色光画像あるいは狭帯域光画像である画像Ｉｍ１の画像サイズ（画素数）に比べて小さくなっており、例えば約４分の１になっている。このように、ツイン表示モードでは、モニタ５は、縮小された画像Ｉｍ２，Ｉｍ３を表示するので、ツイン表示モード画像処理部２２Ｂは、画像の縮小処理を行う。

まず、光源部３は、ターレット３４を回転して、Ｒ，Ｇ，Ｂに対応する波長帯域を透過波長帯域とする、図３に示す透過率分布Ｔ３を持つ３峰性フィルタを光源装置３２から出射する白色光の光路内に挿入して、光源部３は狭帯域光を出射する。これにより、撮像素子４５は、狭帯域光で照明された被写体を撮像する。

電子内視鏡４から画像処理本体部２２に送られる被写体の撮像画像は、デモザイク処理の施されていない画像（デモザイク未処理画像）であり、画像の各画素の画素値は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）の色フィルタの配列に対応した色成分の画素値のみで構成される。
ツイン表示モード画像処理部２２Ｂの画素補間部２２Ｂ１は、デモザイク未処理画像に対してデモザイク処理として画素補間の処理を行うと同時に、デモザイク未処理画像の画素数を略４分の１に縮小した縮小画像を作成する。画素補間部２２Ｂ１は、１つのデモザイク未処理画像から、画素補間部２２Ａ１とは異なる処理を行うことにより、縮小画像である、白色光画像と狭帯域光画像をそれぞれ作成する。ここで、ツイン表示モードにおける白色光画像は、狭帯域光で照明された被写体の撮像画像であり、白色光によって照明された被写体を再現した擬似白色光画像である。また、ツイン表示モードで照明光として用いる狭帯域光を、擬似白色光ともいう。以降の説明では、ツイン表示モードにおける白色光画像を擬似白色光画像という。

図７は、画素補間部２２Ｂ１が、擬似白色光画像を作成するための画素補間の例を説明する図である。
図７に示すように、５画素×５画素の画像領域は、画素補間と間引き処理を行って３画素×３画素の縮小された画像領域になる。
例えば、画素（Ｉ，Ｊ）（Ｉ＝１〜５，Ｊ＝１〜５の自然数）におけるモザイク未処理画像から、擬似白色光画像の各色成分の画素値を定める場合、画素補間部２２Ｂ１は、擬似白色光画像の画素（３，３）のＲ成分の画素値として、モザイク未処理画像の画素（３，３）のＲ成分の画素値を取り込み、画素（３，３）のＧ成分の画素値に、モザイク未処理画像の画素（２，３）、（３，２）、（３，４）、（４，３）のＧ成分の画素値の平均値を取り込み、画素（３，３）のＢ成分の画素値に、モザイク未処理画像の画素（２，２）、（２，４）、（４，２）、（４，４）のＢ成分の画素値の平均値を取り込む。
このように、画素補間部２２Ｂ１は、モザイク未処理画像から取り込む画素を選択（制限）して、略半分の画素数とする擬似白色光画像を作成する。図７に示す例では、Ｉ，Ｊの番号が奇数番号の画素が選択される。
また、図７に示す例では、モザイク未処理画像のＲ（赤）成分の画素値を、擬似白色光画像のＲ成分の画素値としてそのまま取り込むように、モザイク未処理画像から取り込む画素の画素位置は選択される。しかし、モザイク未処理画像の画素値をそのまま取り込む成分は、Ｒ（赤）成分に限定されず、Ｂ（青）成分あるいはＧ（緑）成分であってもよい。被写体の注目する部分が生体組織の血管等である場合、Ｂ（青）成分の波長帯域において、吸光率が大きく変化し、Ｂ（青）成分の画素は大きく変化し易い。このため、擬似白色光画像内で血管等の画像のぼけを抑制するために、モザイク未処理画像の画素値をそのまま取り込む成分は、Ｂ（青）成分となるように、モザイク未処理画像から取り込む画素の画素位置は選択されることが好ましい。

画像補間部２２Ｂ１は、画素補間と間引き処理である縮小処理を同時に行って、３つの色成分の画素値を有する画素で構成された擬似白色光画像を作成する。
白色光画像用色補正部２２Ｂ２は、作成された擬似白色光画像の色補正を行うことで、画像表示用の擬似白色光画像を作成する。色補正は、３つの波長帯域の光成分を有する狭帯域光（照明光）の分光強度分布に応じた補正である。
具体的には、白色光画像用色補正部２２Ｂ２は、擬似白色光を照明光とした擬似白色光画像の各画素の画素値Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎに対して、下記式（４）に示すマトリクスを用いたマトリクス演算を行って色補正を行うことで、画面表示用の擬似白色光画像を作成する。
これにより、図３に示す透過率分布Ｔ３を持つ３峰性フィルタを介してつくられた狭帯域光により照明された被写体の像を、白色光により照射された被写体の白色光画像像を忠実に色再現することができる。

式（４）：

式（４）中のマトリクス中の係数β_Ｒ１〜β_Ｂ３は、狭帯域光により照明された被写体の像を、白色光により照射された被写体の白色光画像像を忠実に色再現するように設定された係数である。

次に、画素補間部２２Ｂ１が、狭帯域光画像を作成するための画素補間の例を説明する。図８は、画素補間部２２Ｂ１が、狭帯域光画像を作成するための画素補間の例を説明する図である。

図８に示すように、５画素×５画素の画像領域は、画素補間と間引き処理を行って３画素×３画素の縮小された画像領域になる。以下、狭帯域光画像の色成分は、Ｘ，Ｙ，Ｚ成分（第１〜３成分）として表す。これは、通常、Ｘ成分の画素値がＲ成分の画素値であり、Ｙ成分の画素値がＧ成分の画素値であり、Ｚ成分の画素値がＢ成分の画素値である場合、Ｘ成分を、モニタ５の表示するためのＲ成分とし、Ｙ成分を、モニタ５の表示するためのＧ成分とし、Ｚ成分を、モニタ５の表示のためのＢ成分として、後段画像処理部２３に送れば、照明光で照明された被写体を色再現した画像を表示できるが、狭帯域光画像では、例えば、血管等の特殊な注目する部分をモニタ５において強調表示するため、被写体の色再現を変更する。狭帯域光画像のＸ成分の画素値には、モザイク未処理画像のＧ成分の画素値が取り込まれ、Ｙ及びＺ成分の画素値には、モザイク未処理画像のＢ成分の画素値が取り込まれる。

例えば、画素（Ｉ，Ｊ）（Ｉ＝１〜５，Ｊ＝１〜５の自然数）におけるモザイク未処理画像から、狭帯域光画像のＸ〜Ｙ成分の画素値を定める場合、画素補間部２２Ｂ１は、狭帯域光画像の画素（４，４）の第１成分であるＸ成分の画素値として、モザイク未処理画像の画素（４，４）の周囲を囲む画素のＧ成分の画素値の平均値を取りこむ（デモザイク未処理画像では、画素（４，４）の色成分は、Ｂ成分であるため）。このように、モザイク未処理画像の画素のＲ成分の画素値を削除するのは、上述したように、血管は、主にＧ（緑）及びＢ（青）の色成分に対して高い吸光率を持つため、Ｇ（緑）及びＢ（青）以外の波長域の照明光の光成分は、血管画像のコントラストを低下させる要因となることからＲ（赤）の色成分を不要な色成分とし、その画素値を除去する。具体的には、狭帯域光画像の画素（４，４）の第１成分であるＸ成分の画素値として、モザイク未処理画像の画素（３，４）、（４，３）、（４，５）、（５，４）のＧ成分の画素値の平均値を取り込む。
狭帯域光画像の画素（４，４）のＹ，Ｚ成分の画素値として、画素（４，４）のＢ成分の画素値を取り込む。
このようにして、画像補間部２２Ｂ１は、Ｘ〜Ｚ成分の画素の画素値を定めることにより、画素サイズが縮小した狭帯域光画像を作成する。図８に示す例では、Ｉ，Ｊの番号が偶数番号の画素が選択される。
画像補間部２２Ｂ１は、擬似的に、狭帯域光画像のＸ成分の画素値をＲ成分の画素値として、Ｙ成分の画素値をＧ成分の画素値として、Ｚ成分の画素値をＢ成分の画素値として、狭帯域光画像用色補正部２２Ｂ３に送る。

狭帯域光画像用色補正部２２Ｂ３は、作成された狭帯域光画像の色補正を行うことで、画像表示用の狭帯域光画像を作成する。色補正は、擬似白色光（照明光）の分光強度分布に応じた補正であることが好ましい。
具体的には、狭帯域光画像用色補正部２２Ｂ３は、マトリクスを用いたマトリクス演算による色補正を行うことで、画面表示用の狭帯域光画像を作成する。マトリックスは、例えば、マトリックス中の対角項成分の係数のみが非ゼロの値であり、非対角項成分の係数はゼロの値である。したがって、この場合、色補正は、狭帯域光画像の各画素のＸ〜Ｚ成分の各画素値のそれぞれに一定の係数を乗算した値を補正後の画素値とする処理である。これにより、モニタ５には、所定の色で表示された狭帯域光画像を表示させることができる。

画像合成部２２Ｂ４は、作成された白色光画像と狭帯域光画像が、図６（ｂ）に示すように、表示画面５Ｂ中の画像Ｉｍ２，Ｉｍ３となるように、画像合成を行う。画像合成部２２Ｂ４は、作成された合成画像を、後段画像処理部２３（画像表示信号生成部）に送る。このとき、狭帯域光画像のＸ成分の画素値をＲ成分の画素値として、Ｙ成分の画素値をＧ成分の画素値として、Ｚ成分の画素値をＢ成分の画素値として、後段画像処理部２３に送る。

このように、上述の実施形態の画像処理本体部２２（画像処理部）は、デモザイク未処理画像の画素値を用いて画素補間を行うことにより、デモザイク未処理画像から、デモザイク未処理画像より画素数の少ない、色成分のいずれかに対応した第１〜３成分の画素値を備える擬似白色光画像あるいは狭帯域光画像の縮小画像を生成する画素補間部２２Ｂ１と、縮小画像に対して、照明光の分光強度分布に応じた色補正を行う白色光画像用色補正部２２Ｂ２あるいは狭帯域光画像用色補正部２２Ｂ３（色補正部）を備える。デモザイク処理を行うときにツイン表示モードに対応させて縮小画像を作成するので、デモザイク処理後の画像を色補正や色変換を行った後、ツイン表示モードのために２つの画像を合成するときに画像を縮小画像にする従来の場合に比べて、画像処理の負荷を低減することができる。すなわち、縮小画像を作成するとき、従来に比べて簡易な構成で画像処理の負荷を低減することができる。

上述したように、画素補間部２２Ｂ１は、画素数を小さくした狭帯域光画像（縮小画像）の画素Ａに取り込もうとするデモザイク未処理画像の対応する画素Ｂの色成分が、画素Ａに取り込もうとするＸ〜Ｚ成分（第１〜３成分）のいずれか１つの色成分に対応していないとき、画素Ｂの周囲を囲む、取り込もうとする色成分と同じ色成分の周囲画素の画素値の平均値を、狭帯域光画像の画素Ａの画素値として取り込む補間処理を行い、狭帯域光画像（縮小画像）の画素Ａに取り込もうとするデモザイク未処理画像の対応する画素Ｂの色成分が、画素Ａに取り込もうとするＸ〜Ｚ成分（第１〜３成分）のいずれか１つの色成分に対応しているとき、画素Ｂの画素値を、狭帯域光画像（縮小画像）の画素Ａの画素値としてそのまま取り込む。このように、画像の縮小と画素補間を用いたデモザイク処理を同時に行うことができるので、効率のよい画像処理ができる。

デモザイク未処理画像は、ベイヤー配列の色フィルタを備える単板式カラー撮像素子を用いて撮像された画像である場合、画素補間部２２Ｂ１は、周囲画素として画素Ｂに隣接する４つの画素を用いることができるので、縮小画像における画像のぼけを小さくすることができる。

白色光画像あるいは狭帯域光画像等の縮小画像の色成分は、赤、青、及び緑の色成分である場合、画素補間部２２Ｂ１は、画素Ｂの青成分の画素値を、画素Ａの画素値にそのまま取り込むように、デモザイク未処理画像から取り込む画素の画素位置を選択することが好ましい。電子内視鏡４で撮像する被写体は血管を注目して観察したい場合が多い。血管は、Ｂ（青）成分の波長帯域において、吸光率が大きく変化し、Ｂ（青）成分の画素は大きく変化し易い。このため、縮小画像内で血管の像のぼけを抑制するために、モザイク未処理画像の画素値をそのまま取り込む成分は、Ｂ（青）成分とするように、モザイク未処理画像から取り込む画素の画素位置を選択することが好ましい。

図２，３に示すように、擬似白色光や狭帯域光を生成する光学フィルタの透過波長帯域のそれぞれは、撮像素子４５に設けられる色フィルタの３つの受光波長帯域のそれぞれに部分的に重っている。このとき、画素補間部２２Ｂ１は、縮小画像として、３つの受光波長帯域の色成分に対応した成分の画素で構成される白色光画像と、３つの受光波長帯域のうちの２つの色成分に対応した成分の画素で構成される狭帯域光画像とのそれぞれを、１つのデモザイク未処理画像から生成することができる。このため、従来のように、光学フィルタの切替動作と画像処理とを高い精度で同期させる必要が無く、かつフレームレートの実質的な低下を招くことなく白色光画像と狭帯域光画像とを一画面内に並べて表示させることが容易にできる。

白色光画像用色補正部２２Ｂ２及び狭帯域光画像用色補正部２２Ｂ３（色補正部）は、光学フィルタの透過波長帯域の透過特性と撮像素子４５の色フィルタの受光波長帯域の特性の情報に基づいて生成されるマトリクスを用いて、ツイン表示モードにおける擬似白色光画像または狭帯域光画像（縮小画像）の画素成分（第１~３成分）に対してマトリクス演算を施すので、白色光で照明した被写体の再現画像を生成することができ、また、所定の色表示で表された狭帯域光画像を生成することができる。

以上、本発明の電子内視鏡システムについて詳細に説明したが、本発明の電子内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１ 内視鏡システム
２ プロセッサ
３ 光源部
４ 電子内視鏡
４Ａ 挿入部
４Ｂ 先端部
５ モニタ
２１ 前段画像処理部
２２ 画像処理本体部
２２Ａ シングル表示モード画像処理部
２２Ａ１ 画素補間部
２２Ａ２ 色変換部
２２Ｂ ツイン表示モード画像処理部
２２Ｂ１ 画素補間部
２２Ｂ２ 白色光画像用色補正部
２２Ｂ３ 狭帯域光画像用色補正部
２２Ｂ４ 画像合成部
２３ 後段画像処理部
２４ 画像メモリ
２５ システムコントローラ
３２ 光源装置
３４ ターレット
３６ ドライバ
４３ 配向レンズ
４４ 対物レンズ
４５ 撮像素子
４８ ライトガイド
４９ コネクタ部
４９Ａ ドライバ信号処理回路
４９Ｂ メモリ

Claims (7)

1. 被写体の撮像画像を画像処理するプロセッサを備えた電子内視鏡システムであって、
   前記プロセッサは、
   複数の異なる波長帯域の光成分を有する照明光で照明された被写体を、３色の色フィルタを用いた単板式カラー撮像素子で撮像して得られるデモザイク未処理画像を処理する画像処理部を備え、
   前記画像処理部は、
   前記デモザイク未処理画像の画素値を用いて画素補間を行うことにより、前記デモザイク未処理画像から、前記デモザイク未処理画像より画素数の少ない画像であって、３つの色成分のいずれかに対応した第１〜３成分の画素値を備える縮小画像を生成する画素補間部と、
   前記縮小画像に対して、前記照明光の分光強度分布に応じた色補正を行う色補正部と、
   前記縮小画像をモニタに出力するための表示信号を生成する画像表示信号生成部と、を備えることを特徴とする電子内視鏡システム。
2. 前記画素補間部は、
   前記縮小画像の画素Ａに取り込もうとする前記デモザイク未処理画像の画素Ｂの色成分が、前記画素Ａに取り込もうとする色成分でないとき、前記画素Ｂの周囲を囲む、前記取り込もうとする色成分と同じ色成分の周囲画素の画素値の平均値を、前記縮小画像の画素Ａの画素値として取り込む補間処理を行い、
   前記縮小画像の画素Ａに取り込もうとする前記デモザイク未処理画像の画素Ｂの色成分が、前記画素Ａに取り込もうとする色成分であるとき、前記画素Ｂの画素値を、前記縮小画像の画素Ａの画素値として取り込む、請求項１に記載の電子内視鏡システム。
3. 前記デモザイク未処理画像は、ベイヤー配列の色フィルタを備える単板式カラー撮像素子を用いて撮像された画像であり、
   前記周囲画素は、前記画素Ｂに隣接する４つの画素である、請求項２に記載の電子内視鏡システム。
4. 前記色成分は、赤、青、及び緑の成分であり、
   前記画素補間部は、前記画素Ｂの青成分の画素値を、前記縮小画像の前記画素Ａの画素値に取り込むように、前記デモザイク未処理画像から取り込む画素の画素位置を選択する、請求項２または３に記載の電子内視鏡システム。
5. 白色光を出射する光源装置と、前記白色光を入力させて前記照明光を透過光として生成する光学フィルタと、を備える光源部を、有し、
   前記光学フィルタの透過波長帯域のそれぞれは、前記色フィルタの３つの受光波長帯域のそれぞれに部分的に重っており、
   前記画素補間部は、前記縮小画像として、３つの前記受光波長帯域の色成分に対応した成分の画素で構成される白色画像と、３つの前記受光波長帯域のうちの２つの色成分に対応した成分の画素で構成される狭帯域光画像とのそれぞれを、１つの前記デモザイク未処理画像から生成する、請求項１〜４のいずれか１項に記載の電子内視鏡システム。
6. 前記色補正部は、前記光学フィルタの透過波長帯域の透過特性と前記色フィルタの受光波長帯域の特性の情報に基づいて生成されるマトリクスを用いて、前記縮小画像の前記第１〜３の成分に対してマトリクス演算を施すことで、前記色補正を行う、請求項５に記載の電子内視鏡システム。
7. 前記白色光画像に前記色補正を補正した画像と前記狭帯域光画像を一画面に表示するための合成画像を生成し、前記合成画像を前記画像表示信号生成部に送る画像合成部を備える、請求項５または６に記載の電子内視鏡システム。