JP2012120595A - 電子内視鏡用プロセッサ - Google Patents

Abstract

【課題】内視鏡画像に黒色のマスクを重畳する電子内視鏡と、画像処理機能を有する電子内視鏡用プロセッサとを組み合わせた場合であっても、モニタに表示される内視鏡画像に意図しないノイズを発生させない電子内視鏡用プロセッサを提供する。
【解決手段】電子内視鏡用プロセッサは、映像信号に対応する画像が該画像を構成する画素の輝度値を表すデータとして記憶される画像メモリと、画像に含まれるマスク領域の画素をマスク情報として記憶するマスク情報メモリと、画像メモリに記憶された画像に所定の画像処理を行う画像処理手段と、画像処理が行われた画像をビデオ信号に変換してモニタに出力する信号処理手段とを有し、画像処理手段は、マスク情報に基づいて、マスク領域に囲まれる画像領域の外周部分の画素の輝度値をマスク領域の内周部分の画素の輝度値にコピーして中間画像データを作成し、次いで中間画像データに対して所定の画像処理を行う。
【選択図】 図１

Description

本発明は、電子内視鏡から出力される内視鏡画像の映像信号を処理してモニタに表示可能なビデオ信号を生成する電子内視鏡用プロセッサであって、特に、電子マスク処理を施した内視鏡画像を映像信号として出力する電子内視鏡用プロセッサに関する。

内視鏡の挿入管の先端部に対物光学系及び撮像素子を内蔵した電子内視鏡と、該電子内視鏡から出力される映像信号を処理してモニタに表示可能なビデオ信号を生成する電子内視鏡用プロセッサとを備えた電子内視鏡装置が、体腔内の診断等に広く利用されている。

電子内視鏡先端部の撮像素子の周縁部には、物理的に遮光された光学マスク領域が設けられ、映像信号の光学マスク領域に相当する部分にはノイズが目立たないように更に電子マスク処理が施される。また、光学マスク領域に囲まれる撮像領域に相当する映像信号に対しても、例えばピントが合っていない周縁部分については同様に電子マスク処理が施される（特許文献１）。一般に、電子マスク処理は、内視鏡画像の周縁部に黒色の枠状のマスクを重畳する処理であり、具体的には映像信号の所定の領域にマスク信号（輝度値ゼロの信号）を重畳することによって実行される。電子マスク処理が施されることにより、モニタには、ノイズが少なく、ピントの合った内視鏡画像のみが表示されることとなる。また、電子内視鏡用プロセッサにおいては、電子内視鏡から供給される内視鏡画像に対して輪郭強調処理、染色処理、ぼかし処理等の画像処理を行うことも可能となっている（特許文献２）。

特開２００３−３２５４４４号公報 特開２００４−３０４３２８号公報

しかしながら、内視鏡画像に黒色の枠状のマスクを重畳する電子内視鏡と、画像処理機能を有する電子内視鏡用プロセッサとを組み合わせた場合、内視鏡画像においてマスク領域の内側に位置する領域（画像領域）の外周部分の画素（すなわち、画像領域においてマスク領域と隣接する画素）に対して、画像処理が行われる。この結果、画像領域の外周部分の画素は、隣接するマスク領域の画素との間で画像演算が行われることになる。黒色等の単一色であるマスク領域の画素の輝度値と、画像領域の画素の輝度値とは大きく異なるものであるため、上記画像演算を行うとノイズが当該外周部分の画素に発生する可能性があった。

本発明は上記の問題を解決するためになされたものである。すなわち、本発明は、内視鏡画像に黒色のマスクを重畳する電子内視鏡と、画像処理機能を有する電子内視鏡用プロセッサとを組み合わせた場合であっても、モニタに表示される内視鏡画像に意図しないノイズを発生させない電子内視鏡用プロセッサを提供することを目的とする。

上記の目的を達成するため、本発明の電子内視鏡用プロセッサは、映像信号に対応する画像が該画像を構成する画素の輝度値を表すデータとして記憶される画像メモリと、画像に含まれる電子マスク処理の施されたマスク領域の画素をマスク情報として記憶するマスク情報メモリと、画像メモリに記憶された画像に所定の画像処理を行う画像処理手段と、画像処理手段によって画像処理が行われた画像をビデオ信号に変換してモニタに出力する信号処理手段とを有し、画像処理手段は、マスク情報に基づいて、マスク領域に囲まれる画像領域の外周部分の画素の輝度値をマスク領域の内周部分の画素の輝度値にコピーして中間画像データを作成し、次いで中間画像データに対して所定の画像処理を行うことを特徴とする。

このような構成とすると、輪郭強調処理等の画像処理が画像領域の外周の画素に対して行われる前に、画像領域の外周の画素と隣接するマスク領域の画素とは同一の輝度値を有する状態となる。このため、画像領域の外周の画素に対して画像処理が行われても、その画像処理による画像演算が参照する画素の輝度値は画像処理対象の画素と同じ輝度値を有するものとなり、隣接するマスク領域の画素との輝度値が極端に異なることに起因するノイズが画像領域の外周に生じることはない。また、本発明は、上記のようにマスク情報メモリに記憶されたマスク情報に基づいて中間画像データを作成するものであるため、電子内視鏡から出力される映像信号に対応する画像にマスク領域が含まれる（すなわち、電子内視鏡側で内視鏡画像へのマスクの重畳が行われている）場合であっても、中間画像データを作成可能である。

また、画像処理手段は、画像領域の外周部分の画素の輝度値をマスク領域の内周部分の所定数の画素幅の領域の画素にコピーすることによって中間画像データを作成するものであり、所定の画像処理は、画像領域及び所定の画素幅の領域中の画素のみを参照して行われる構成とすることが好ましい。

画像データの画像領域の外周部分の画素が、マスク領域の内周の一画素分の幅の部分にコピーされた状態では、行われる画像処理が、画像処理対象となる画素を中心とする３ｘ３画素を参照して行われるものであるならば、画像領域に含まれる画素の画像処理は、画像領域及び画像領域に隣接する一画素分の幅のコピーが行われた画素のみとなり、マスク領域と隣接する画像領域中の画素にノイズが発生することはない。しかしながら、行われる画像処理が、画像領域に含まれる画素の画像処理を行う際、上記コピーを行った領域のさらに外側の画素を参照する場合（画像処理対象となる画素を中心とする５ｘ５画素を参照して画像処理を行う場合や、画像処理対象となる画素を中心とする３ｘ３画素を参照して行う画像処理を複数回行う場合等）は、画像領域の外周部にノイズが生じる可能性がある。例えば、画像処理対象となる画素を中心とする３ｘ３画素を参照して行う画像処理を２回行う場合、１回目の画像処理で、画像領域に隣接するマスク領域の画素に、その画素の外側に位置するマスク領域の画素との間で画像演算が行われてノイズが生じる可能性がある。そして、２回目の画像処理で、ノイズが生じたマスク領域の画素と画像領域の外周部分の画素との間で画像演算が行われ、画像領域の外周部分の画素にもノイズが発生する可能性がある。そこで、本発明においては、中間画像データを作成した後に実行される所定の画像処理は、画像領域及び所定の画素幅の領域中の画素のみを参照して行われるようにしている。換言すれば、行われる画像処理にて参照される画素が画像領域及び所定の画素幅の領域中の画素のみとなるように、所定数の画素幅が設定される構成としている。

また、画像処理手段は、所定の画像処理を行った後、マスク情報に基づいて、該画像処理が行われた中間画像データにマスクを重畳する構成とすることが好ましい。

このような構成とすると、画像処理によってノイズが生じた可能性のあるマスク領域がマスクで再度覆われるため、表示される内視鏡画像にはマスク領域に生じた上記のノイズは含まれない。

また、電子内視鏡用プロセッサが、ホワイトバランスの調整を行う際にマスク情報をマスク情報メモリに記憶するマスク情報生成手段を有する構成としてもよい。上記構成においては、マスク情報生成手段は、例えば、画像メモリに記憶されている画素の輝度値を表すデータを処理することによってマスク情報を得る。その場合に、マスク情報生成手段は、例えば、データのうち、所定の閾値を下回ったものをマスク領域に含まれる画素と判定する。

ホワイトバランスの調整を行う場合は、一般に電子内視鏡に白色のキャップ等をかぶせた状態で映像信号を出力させ、この映像信号に対応する画像の各画素の輝度値を検出する。そして、上記輝度値の検出結果に基づいてホワイトバランスの調整が行われる。電子内視鏡が、内視鏡画像にマスクを重畳させるものである場合、ホワイトバランス調整時に電子内視鏡から出力される映像信号に対応する画像は、略一様な白色の画面に白色以外（例えば黒色）の枠状のマスクを重畳したものとなる。そのため、所定の閾値を白色と黒色の中間の輝度値として、各画素について所定の閾値を下回っているかどうかをマスク情報生成手段が判断することによって、マスク情報を得ることが可能となる。

以上のように、本発明によれば、内視鏡画像にマスクを重畳可能な電子内視鏡と組み合わせた場合であっても、モニタに表示される内視鏡画像に意図しないノイズを発生させない電子内視鏡用プロセッサが実現される。

図１は、本発明の実施の形態による電子内視鏡装置のブロック図である。 図２は、本発明の実施の形態の電子内視鏡から出力される画像を示したものである。 図３は、本発明の実施の形態の後段信号処理回路によって実行されるホワイトバランス自動調整ルーチンのフローチャートである。 図４は、本発明の実施の形態の後段信号処理回路によって実行される画像処理ルーチンのフローチャートである。

以下、本発明の実施の形態について図面を用いて詳細に説明する。図１は、本実施形態の電子内視鏡装置１のブロック図である。本実施形態の電子内視鏡装置１は、電子内視鏡１００と、電子内視鏡用プロセッサ２００と、モニタ３００とを有する。電子内視鏡用プロセッサ２００は、電子内視鏡１００の挿入管１１０の先端部（挿入管先端部）１１１の周囲を照明するための照明光を生成する光源装置としての機能と、電子内視鏡１００から出力される映像信号を処理して、モニタ３００に表示可能なビデオ信号を生成するビデオプロセッサとしての機能を有するものである。上記構成の電子内視鏡装置１においては、電子内視鏡１００によって撮像された、挿入管先端部１１１付近の映像が、動画としてモニタ３００に表示されるようになっている。

先ず、電子内視鏡用プロセッサ２００の光源装置としての機能について説明する。図１に示されるように、電子内視鏡１００の内部には、電子内視鏡用プロセッサ２００と接続されるコネクタ部１２０から挿入管先端部１１１に至る略全長に亙って、照明光を挿入管先端部１１１に導くためのライトガイド（光ファイババンドル等）１３１が配されている。ライトガイド１３１の基端部１３１ａは、コネクタ部１２０から突出しており、電子内視鏡１００をコネクタ部１２０を介して電子内視鏡用プロセッサ２００に接続すると、この基端部１３１ａは、電子内視鏡用プロセッサ２００の内部に配置される。また、ライトガイド１３１の先端部１３１ｂは、挿入管先端部１１１近傍に配置されている。挿入管先端部１１１の、ライトガイド１３１の先端部１３１ｂに近接する部分には、レンズ１３２が取り付けられており、ライトガイド１３１の先端部１３１ｂから放射される照明光は、レンズ１３２を透過して挿入管先端部１１１の周囲を照明する。

電子内視鏡用プロセッサ２００には、キセノンランプ等の白色光を生成する光源２１１と、光源２１１に電力を供給するための光源用電源２１２と、集光レンズ２１３と、絞り２１４と、モータ２１５と、モータドライバ２１６が内蔵されている。光源２１１及び集光レンズ２１３は、光源２１１からの光が集光レンズ２１３によって、電子内視鏡１００を電子内視鏡用プロセッサ２００に取り付けた状態でのライトガイド１３１の基端部１３１ａに集光されるような位置に配置されている。

絞り２１４は、集光レンズ２１３とライトガイド１３１の基端部１３１ａとの間に配置され、モータ２１５によって駆動されてその開度を変更可能となっている。絞り２１４の開度を変更することによって、ライトガイド１３１の基端部１３１ａに入射する光の光量、すなわち、電子内視鏡１００の挿入管先端部１１１の周囲を照明する照明光の光量を制御可能となっている。モータ２１５の動作は、モータドライバ２１６によって制御される。

光源用電源２１２及びモータドライバ２１６は、電子内視鏡用プロセッサ２００に内蔵されたシステムコントローラ２３１によって制御される。すなわち、システムコントローラ２３１は、光源用光源２１２を制御することによって光源２１１の点灯及び消灯を行い、且つ、モータドライバ２１６を制御して照明光の明るさの調整を行うことが可能である。

次に、電子内視鏡用プロセッサ２００のビデオプロセッサとしての機能について説明する。電子内視鏡１００の挿入管先端部１１１には、対物レンズ１４１が取り付けられている。対物レンズ１４１は、挿入管先端部１１１の周囲の像を、挿入管先端部１１１の内部に配置された撮像素子１４２の受光面上に結像させるものである。

撮像素子１４２は、電子内視鏡１００のコネクタ部１２０に内蔵された駆動回路１４３から出力される制御クロックパルスによって制御され、この制御クロックパルスの入力タイミングに基づくタイミングにて、撮像された像に対応する映像信号を出力するようになっている。なお、制御クロックパルスが撮像素子１４２に入力されるタイミング（間隔）は、電子内視鏡１００のコネクタ部１２０に内蔵されているタイミングコントローラ１４４によって制御されている。また、撮像素子１４２は、カラーの映像信号を出力可能なカラー撮像素子である。

撮像素子１４２から出力される映像信号は、アンプ１４５によって増幅された後、アナログ信号処理回路１４６によってゲイン調整等が行われ、映像処理回路１４７に入力される。映像処理回路１４７に入力された映像信号は、明るさ調整等の所定の処理が行われたのち、マスク処理回路１４８に入力される。マスク処理回路１４８は、入力された内視鏡画像の映像信号に、枠状のマスクを重畳する。具体的には、入力される映像信号に対応した内視鏡画像の画素数が水平Ｘ_０ピクセル、垂直Ｙ_０ピクセルであるとすると、下記の数１に示される４つの条件のいずれかを満たす画素（ｘ_ｍ，ｙ_ｍ）を全て黒色に置き換えた映像信号を出力する処理を行うものである。なお、図２に示すように、ｘ_ｍ及びｙ_ｍは、内視鏡画像の各画素を内視鏡画像の左上の画素を原点としたＸ−Ｙ座標系で表わした場合のｘ座標及びｙ座標である。

すなわち、マスク処理回路１４８から出力される映像信号は、図２に示されるような、上下夫々の辺に沿った高さＹ_ａの黒色の帯と、左右夫々の辺に沿った幅Ｘ_ａの黒色の帯から構成される額縁枠状のマスク領域ＭＡと、マスク領域ＭＡの内部の画像領域ＩＡとを有する内視鏡画像の映像信号となる。マスク処理回路１４８から出力される映像信号は、電子内視鏡用プロセッサ２００に送られる。なお、マスク処理回路１４８に入力される映像信号は、アナログ信号であるので、マスク処理回路１４８による処理は、下記のようなものとなる。

（１） 垂直同期信号から第１の時間（Ｙ_ａ−１ライン終了）までの期間は、全ての信号の輝度レベルを最小（黒）にする。
（２） 垂直同期信号から第２の時間（Ｙ_０−Ｙ_ａライン開始）経過後から次の垂直同期信号までの期間は、全ての信号の輝度レベルを最小にする。
（３） 水平同期信号から第３の時間（Ｘ_ａ−１番目の画素に対応するもの）までの期間の輝度レベルを最小にする。
（４） 水平同期信号から第４の時間（Ｘ_０−Ｘ_ａ番目の画素の信号があらわれる直前）経過後から、次の水平同期信号までの期間の輝度レベルを最小にする。

電子内視鏡用プロセッサ２００には、前段信号処理回路２４１、画像メモリ２４２、後段信号処理回路２４３、マスク情報メモリ２４４及びタイミングコントローラ２４５が内蔵されている。電子内視鏡１００のマスク処理回路１４８から出力される映像信号は、前段信号処理回路２４１に入力される。

前段信号処理回路２４１は、入力された映像信号をＡ／Ｄ変換し、デジタルの画像データを得、次いで得られた画像データを画像メモリ２４２に記憶させるものである。なお、前段信号処理回路２４１が画像メモリ２４２に画像データを記憶させるタイミングは、タイミングコントローラ２４５によって制御される。

画像メモリ２４２に記憶された画像データは、所定の（すなわち、モニタ３００の水平及び垂直同期周波数に対応した）タイミングで、後段信号処理回路２４３に読み出される。なお、上記の画像データの読み出しのタイミングは、タイミングコントローラ２４５によって制御される。後段信号処理回路２４３は、読み出した画像データに所定の画像処理（輪郭強調処理など）を行い、画像処理が行われた後の画像データを、所定の形式のビデオ信号（例えば、ＮＴＳＣ形式）に変換し、モニタ３００に出力する。この結果、電子内視鏡１００の撮像素子１４２によって撮像された電子内視鏡１００の挿入管先端部１１１周囲の内視鏡画像が、モニタ３００に表示されることになる。また、後段信号処理回路２４３は、上記所定の画像処理を行う際、マスク情報メモリ２４４に記憶されているマスク情報を参照する（後述）。

電子内視鏡用プロセッサ２００のタイミングコントローラ２４５は、電子内視鏡１００のタイミングコントローラ１４４と同期して動作するよう構成されており、前段信号処理回路２４１は、電子内視鏡１００のマスク処理回路１４８から送られる映像信号を逐次（フレーム落ちさせることなく）画像データに変換し、画像メモリ２４２に保存する。すなわち、画像メモリ２４２に記憶されている画像データは、電子内視鏡１００の撮像素子１４２が一枚の内視鏡画像を撮像する間隔と等しい間隔にて更新されるようになっている。この結果、モニタ３００には、逐次更新される内視鏡画像が動画像として表示されることになる。

なお、電子内視鏡用プロセッサ２００のタイミングコントローラ２４５は、電子内視鏡用プロセッサ２００のシステムコントローラ２３１によって制御されるようになっている。同様に、電子内視鏡１００のタイミングコントローラ１４４は、電子内視鏡１００のコネクタ部１２０に内蔵されたシステムコントローラ１５１によって制御されるようになっている。上記説明した、電子内視鏡１００側及び電子内視鏡用プロセッサ２００側のタイミングコントローラ１４４、２４５の同期は、双方のシステムコントローラ１５１、２３１が互いに通信することによって実現される。

また、撮像素子１４２が１フレーム分の映像信号を出力する周期及び前段信号処理回路２４１が１フレーム分の映像信号を画像データに変換して画像メモリ２４２に保存する周期は、１フレーム分の画像に対応するビデオ信号が後段信号処理回路２４３からモニタ３００に送られる周期（すなわち、ビデオ信号に含まれる垂直同期信号の間隔）に等しく設定されている。このため、撮像素子１４２が撮像した内視鏡画像は、コマ落ちすることなくモニタ３００に表示される。

また、画像メモリ２４２には、２フレーム分の画像データを記憶できるようになっている。そして、前段信号処理回路２４１と後段信号処理回路２４３は、同時に同じフレームの画像メモリ２４２にはアクセスできず、互いに異なるフレームの画像データが記憶された領域のみにアクセスするようになっている。すなわち、前段信号処理回路２４１が画像メモリ２４２の一方のフレームの領域に画像データを記録している時は、後段信号処理回路２４３は他方のフレームの領域に記憶された画像データ（すなわち、その時点で前段信号処理回路２４１が処理している画像よりも１フレーム前の画像データ）に対して画像処理及びビデオ信号への変換を行うようになっている。

また、電子内視鏡用プロセッサ２００には、フロントパネル２５１が設けられている。フロントパネル２５１は、電子内視鏡装置１の使用者が、後段信号処理回路２４３による画像処理（例えば、輪郭強調処理、染色処理、ぼかし処理等）の実行又は解除を切り替える際に使用される。

本実施形態においては、後段信号処理回路２４３は、画像処理を行う際に、マスク情報をマスク情報メモリ２４４から読み出し、読み出されたマスク情報に基づいて画像処理を行うようになっている。しかしながら、どの座標の画素がマスク領域ＭＡであるかは、電子内視鏡用プロセッサ２００に接続される電子内視鏡１００の仕様によって異なる。従って本実施形態においては、マスク領域ＭＡの座標を、電子内視鏡用プロセッサ２００と電子内視鏡１００とを接続して行うホワイトバランスの自動調整時に検出し、検出結果をマスク情報メモリ２４４に記憶している。

本実施形態のホワイトバランス自動調整処理について、以下に説明する。図３は、後段信号処理回路２４３によって実行される、ホワイトバランス自動調整ルーチンのフローチャートである。なお、本ルーチンは、フロントパネル２５１の操作によって、ホワイトバランスの自動調整が指示された時に実行される。なお、本ルーチンを実行するにあたっては、電子内視鏡１００の挿入管先端部に白のチャート（すなわち、反射特性が光の波長によらず略一様となる）が配置されるように構成されたキャップを取り付け、得られる（モニタ３００に表示される）内視鏡画像が、マスク領域ＭＡを除いて白一色となる状態にする。以下、マスク領域ＭＡを除いた領域が白一色となった画像を、ホワイト画像と定義する。

本ルーチンが開始されると、ステップＳ１０１が実行される。ステップＳ１０１では、後段信号処理回路２４３による輪郭強調処理などの画像処理を停止する。これは、ホワイトバランス調整に使用されるホワイト画像に画像処理が行われてしまうと、適正なホワイトバランス調整が行えないためである。次いで、ステップＳ１０２に進む。

ステップＳ１０２は、ホワイトバランスの調整が可能となるまで待機する（Ｓ１０２：ＮＯ）待機ルーチンである。本ステップでは、後段画像処理回路２４３が処理する画像メモリ２４２中の領域内にホワイト画像の画像データが記録されるまで、本ルーチンが開始してから少なくともカラー画像の１フレーム期間待機するルーチンである。ホワイトバランスの調整が可能となったと判断された場合は（Ｓ１０２：ＹＥＳ）、ステップＳ１０３に進む。

ステップＳ１０３は、変数ｙに関するｆｏｒループの開始ステップである。このループは、ｙの初期値を０とし、ｙがＹ_０−１（すなわち内視鏡画像のｙ座標の最大値）となるまでｙを１ずつ加算するループである。本ステップが実行された後は、ステップＳ１０４に進む。

ステップＳ１０４は、変数ｘに関するｆｏｒループの開始ステップである。このループは、ｘの初期値を０とし、ｘがＸ_０−１（すなわち内視鏡画像のｘ座標の最大値）となるまでｘを１ずつ加算するループである。本ステップが実行された後は、ステップＳ１０５に進む。

ステップＳ１０５では、画像メモリ２４２に記憶された画像データに対応する画像の、座標（ｘ，ｙ）の画素のＲＧＢ夫々の輝度値のチェックが行われる。この輝度値が、所定の閾値を下回っていた場合は（Ｓ１０５：ＹＥＳ）、この画素がマスク領域ＭＡであるものと判断し、ステップＳ１０６に進む。なお、上記のように内視鏡画像のマスク領域ＭＡはＲＧＢ各色の輝度値がいずれも低い黒色であり、ホワイトバランス調整時は内視鏡画像のマスク領域ＭＡ以外の領域はＲＧＢ各色の輝度値がいずれも高い白色である。そのため、上記所定の閾値は、白色と黒色の中間の適切な値の輝度値である。例えば、画像メモリ２４２に記憶された画像データが、ＲＧＢ各色の輝度値が２５６階調の形式の画像データである場合は、上記所定の閾値は、例えば１２７である。

ステップＳ１０６では、ステップＳ１０５で輝度値のチェックを行った座標の座標情報（すなわちｘ及びｙ）が、マスク情報としてマスク情報メモリ２４４に記憶される。次いで、ステップＳ１０８に進む。

一方、ステップＳ１０５において、画像メモリ２４２に記憶された画像の、座標（ｘ，ｙ）の画素のＲＧＢ夫々の輝度値が、所定の閾値を上回っていた場合は（Ｓ１０５：ＮＯ）、この画素がマスク領域ＭＡではないものと判断し、ステップＳ１０７に進む。

ステップＳ１０７では、ホワイトバランス調整の為のデータの蓄積が行われる。具体的には、所定の変数Ｒ_ＷＢ、Ｇ_ＷＢ、Ｂ_ＷＢの夫々に、座標（ｘ，ｙ）の画素のＲＧＢ各色の輝度値が加算される。変数Ｒ_ＷＢ、Ｇ_ＷＢ、Ｂ_ＷＢの初期値（本ルーチン開始時の値）は０である。また、このステップでは、マスク領域ＭＡには含まれない画素の数のカウントも行われる。次いで、ステップＳ１０８に進む。

ステップＳ１０８は、ステップＳ１０４を開始ステップとするｆｏｒループの終了ステップである。本ステップにおいて、ｘがＸ_０−１に達した場合は、本ループを抜け、ステップＳ１０９に進む。ｘがＸ_０−１に達していない場合は、ｘに１を加算した上でステップＳ１０５に進む。

ステップＳ１０９は、ステップＳ１０３を開始ステップとするｆｏｒループの終了ステップである。本ステップにおいて、ｙがＹ_０−１に達した場合は、本ループを抜け、ステップＳ１１０に進む。ｙがＹ_０−１に達していない場合は、ｙに１を加算した上でステップＳ１０４に進む。

以上のステップＳ１０３〜Ｓ１０９のループが実行されることによって、マスク領域ＭＡに含まれる画素の座標情報がマスク情報メモリ２４４に記憶される。また、マスク領域ＭＡに含まれない画素のＲＧＢ各色の輝度値の合計が、変数Ｒ_ＷＢ、Ｇ_ＷＢ、Ｂ_ＷＢに記憶された状態となる。

ステップＳ１１０では、ホワイトバランスの調整が行われる。具体的には、変数Ｒ_ＷＢ、Ｇ_ＷＢ、Ｂ_ＷＢの夫々を、マスク領域ＭＡに含まれない画素の画素数で割り、マスク領域ＭＡに含まれない画素におけるＲＧＢ各色の輝度値の平均値Ｒ_ＷＢＭ、Ｇ_ＷＢＭ、Ｂ_ＷＢＭを求める。そして、求めた平均値Ｒ_ＷＢＭ、Ｇ_ＷＢＭ、Ｂ_ＷＢＭと、望ましい白色の画像におけるＲＧＢ各色の輝度値Ｒ_０、Ｇ_０、Ｂ_０との比Ｒ_０／Ｒ_ＷＢＭ、Ｇ_０／Ｇ_ＷＢＭ、Ｂ_０／Ｂ_ＷＢＭを求める。内視鏡画像の表示を行う場合は、後段画像処理回路２４３は、他の画像処理に先立って、上記比を各画素の輝度値に乗じてホワイトバランス調整を行っている。次いで、本ルーチンを終了する。

以上のルーチンが実行されることによって、ホワイトバランスの調整が行われると共に、マスク領域ＭＡの座標がマスク情報メモリ２４４に記憶されることとなる。

次に、本実施形態での、後段信号処理回路２４３による画像処理の手順について以下に説明する。図４は、後段信号処理回路２４３によって実行される画像処理ルーチンのフローチャートである。本ルーチンは、電子内視鏡装置１の使用者によるフロントパネル２５１の操作によって画像処理の実行が指示されている場合に実行される。

本ルーチンが開始すると、ステップＳ２０１が実行される。ステップＳ２０１では、後段信号処理回路２４３は、マスク情報メモリ２４４から、マスク情報を読み取る。より具体的には、マスク情報メモリ２４４に記憶されている、マスクの座標に基づいて、マスクの水平及び垂直方向の幅Ｘ_ａ及びＹ_ａ、並びに内視鏡画像全体の水平及び垂直方向の大きさＸ_０及びＹ_０を取得する。次いで、ステップＳ２０２に進む。

ステップＳ２０２では、画像メモリ２４２に記憶された画像データの、マスク領域ＭＡ部分に描画を行う。具体的には、下記の処理が行われる。

最初に、図２に示される内視鏡画像において、画像領域ＩＡ中の最上段に位置する一連の画素、すなわち座標（Ｘ_ａ，Ｙ_ａ）から座標（Ｘ_０−Ｘ_ａ−１，Ｙ_ａ）に至る一連の画素の輝度値を、この一連の画素の上に隣接する複数行の画素、すなわち座標（Ｘ_ａ，Ｙ_ａ−ｎ）から座標（Ｘ_０−Ｘ_ａ−１，Ｙ_ａ−ｎ）に至る一連の画素（ｎ＝１，２，…Ｎ）の輝度値とする処理を行う。

次いで、画像領域ＩＡ中の最下段に位置する一連の画素、すなわち座標（Ｘ_ａ，Ｙ_０−Ｙ_ａ−１）から座標（Ｘ_０−Ｘ_ａ−１，Ｙ_０−Ｙ_ａ−１）に至る一連の画素の輝度値を、この一連の画素の下に隣接する複数行の画素、すなわち座標（Ｘ_ａ，Ｙ_０−Ｙ_ａ−１＋ｎ）から座標（Ｘ_０−Ｘ_ａ−１，Ｙ_０−Ｙ_ａ−１＋ｎ）に至る一連の画素（ｎ＝１，２，…Ｎ）の輝度値とする処理を行う。

次いで、画像領域ＩＡ中の最左列に位置する一連の画素、すなわち座標（Ｘ_ａ，Ｙ_ａ）から座標（Ｘ_ａ，Ｙ_０−Ｙ_ａ−１）に至る一連の画素の輝度値を、この一連の画素の左に隣接する複数列の画素、すなわち座標（Ｘ_ａ−ｎ，Ｙ_ａ）から座標（Ｘ_ａ−ｎ，Ｙ_０−Ｙ_ａ−１）に至る一連の画素（ｎ＝１，２，…Ｎ）の輝度値とする処理を行う。

次いで、画像領域ＩＡ中の最右列に位置する一連の画素、すなわち座標（Ｘ_０−Ｘ_ａ−１，Ｙ_ａ）から座標（Ｘ_０−Ｘ_ａ−１，Ｙ_０−Ｙ_ａ−１）に至る一連の画素の輝度値を、この一連の画素の右に隣接する複数列の画素、すなわち座標（Ｘ_０−Ｘ_ａ−１＋ｎ，Ｙ_ａ）から座標（Ｘ_０−Ｘ_ａ−１＋ｎ，Ｙ_０−Ｙ_ａ−１）に至る一連の画素（ｎ＝１，２，…Ｎ）の輝度値とする処理を行う。

次いで、画像領域ＩＡ中の左上の画素、すなわち座標（Ｘ_ａ，Ｙ_ａ）の画素の輝度値を、この画素の左上に位置するＮ行Ｎ列の画素のブロック、すなわち（Ｘ_ａ−Ｎ，Ｙ_ａ−Ｎ）と（Ｘ_ａ−１，Ｙ_ａ−１）を対角とするブロックの各画素の輝度値とする。また、画像領域ＩＡ中の右上の画素、すなわち座標（Ｘ_０−Ｘ_ａ−１，Ｙ_ａ）の画素の輝度値を、この画素の右上に位置するＮ行Ｎ列の画素のブロック、すなわち（Ｘ_０−Ｘ_ａ，Ｙ_ａ−Ｎ）と（Ｘ_０−Ｘ_ａ−１＋Ｎ，Ｙ_ａ−１）を対角とするブロックの各画素の輝度値とする。また、画像領域ＩＡ中の左下の画素、すなわち座標（Ｘ_ａ，Ｙ_０−Ｙ_ａ−１）の画素の輝度値を、この画素の左下に位置するＮ行Ｎ列の画素のブロック、すなわち（Ｘ_ａ−Ｎ，Ｙ_０−Ｙ_ａ）と（Ｘ_ａ−１，Ｙ_０−Ｙ_ａ−１＋ｎ）を対角とするブロックの各画素の輝度値とする。また、画像領域ＩＡ中の右下の画素、すなわち座標（Ｘ_０−Ｘ_ａ−１，Ｙ_０−Ｙ_ａ−１）の画素の輝度値を、この画素の右下に位置するＮ行Ｎ列の画素のブロック、すなわち（Ｘ_０−Ｘ_ａ，Ｙ_０−Ｙ_ａ）と（Ｘ_０−Ｘ_ａ−１＋Ｎ，Ｙ_０−Ｙ_ａ−１＋Ｎ）を対角とするブロックの各画素の輝度値とする。

以上の処理を行うことによって、画像領域ＩＡ中の外周１画素分の枠状の領域に含まれる各画素の輝度値が、その画素の外側に位置するＮ個の画素の輝度値となり、画像領域ＩＡの四隅の各画素の輝度値が、その画素の斜め外側のＮ×Ｎ個の画素の輝度値となる。すなわち、画像領域ＩＡの上下に隣接するマスク領域ＭＡのＮ行の画素及び画像領域ＩＡの左右に隣接するマスク領域ＭＡのＮ列の画素のそれぞれが、マスク領域ＭＡに隣接する画像領域ＩＡの輝度値を有することとなる。次いで、ステップＳ２０３に進む。

なお、ｎの最大値Ｎ（すなわち、輝度値がコピーされるライン数）は、後述の画像処理が行われる際に、画像領域ＩＡの画素の演算の際に参照される画素に、上記輝度値のコピーが行われなかったマスク領域ＭＡ中の画素が含まれない様な（すなわち、画像領域ＩＡ中の画素及び輝度値のコピーが行われた画素のみを参照して画像領域ＩＡ中の画素の画像処理が行われるような）値に設定される。例えば、画像処理が、画像処理対象の画素を中心とする７ｘ７画素を参照して行われるものである場合は、Ｎは３以上となる。或いは、画像処理対象の画素を中心とする３ｘ３画素を参照する画像処理を４回行う場合は、Ｎは４以上となる。或いは、画像処理対象の画素を中心とする７ｘ７画素を参照する画像処理を２回行い、次いで画像処理対象の画素を中心とする３ｘ３画素を参照する画像処理を４回行う場合は、Ｎは３×２＋１×４＝１０以上とする。

ステップＳ２０３では、ステップＳ２０２にて処理を行った内視鏡画像全体（すなわち、画像領域ＩＡとその外側のマスク領域ＭＡ全体）に対して、画像処理を行う。次いで、ステップＳ２０４に進む。

ステップＳ２０４では、ステップＳ２０３にて画像処理が施された画像データに、マスクを重畳する。すなわち、画像データに対応する内視鏡画像において、上記数１に示されたマスク領域ＭＡに含まれる各画素の輝度値を０にする。次いで、本ルーチンを終了させる。

以上のように、本ルーチンが実行されることによって、画像メモリ２４２に記憶された画像データに対して、ノイズ除去処理や輪郭強調処理等の画像処理が行われる。

ステップＳ２０２の処理を行わない従来構成においては、画像領域ＩＡの外周部分の画素の輝度と、その画素に隣接するマスク領域ＭＡの画素の輝度（輝度値０）は、大きく異なることになる。このような内視鏡画像に、ぼかし処理や輪郭強調処理を行った場合、画像領域ＩＡの外周部分の画素と該画素に隣接するマスク領域ＭＡの画素との間で演算が行われることとなり、画像領域ＩＡの外周部分の画素にノイズが生じる。例えば、ぼかし処理を行った場合、画像領域ＩＡの外周部分の画素の輝度が小さくなる（すなわち、画像領域ＩＡの外縁が暗色の枠に縁取られる）。画像処理が輪郭強調処理である場合は、画像領域ＩＡの外周部分の画素が輪郭であると判断されて強調され、画像領域ＩＡの外周部分の画素の輝度が大きくなる（すなわち、画像領域ＩＡの外縁が明色の枠に縁取られる）。一方、本実施形態においては、上記のように、ステップＳ２０２において、画像領域ＩＡの外周部分の画素に隣接する画素が、その画素と同じ輝度となる。そのため、ステップＳ２０３にて内視鏡画像全体に画像処理を行ったとしても、画像領域ＩＡの外周部分の画素に画像処理の影響が出ることはない。

なお、本実施形態においては、ホワイトバランス自動調整ルーチンによって内視鏡画像に含まれるマスク領域ＭＡの検出を行っているが、本発明はこの構成に限定されるものではない。例えば、特定の電子内視鏡１００のみが電子内視鏡用プロセッサ２００に接続されることが分かっている場合には、接続される電子内視鏡１００のマスク領域ＭＡに応じたマスク情報が予めマスク情報メモリ２４４に記憶されている構成としてもよい。或いは、複数種類の電子内視鏡１００のマスク情報がマスク情報メモリ２４４に記憶されており、使用者がフロントパネル２５１を操作して接続される電子内視鏡１００の機種を選択し、その機種に応じたマスク情報が、画像処理を行う際に参照される構成としてもよい。これらの構成においては、マスク領域ＭＡの自動検出（図３）を行う必要はない。

また、本実施形態においては、ホワイトバランス自動調整ルーチン（図３）で、マスク領域ＭＡの座標の取得及び記憶を行っている。そして、画像処理ルーチン（図４）では、記憶された座標に基づいて、画像領域ＩＡの外周の位置を示す情報（マスクの水平及び垂直方向の幅Ｘ_ａ及びＹ_ａ、並びに内視鏡画像全体の水平及び垂直方向の大きさＸ_０及びＹ_０）を得、次いで、得られた情報に基づいて、画像領域ＩＡの外周１画素分の枠状の領域に含まれる各画素の輝度値をその画素の外側に位置するＮ個の画素の輝度値とする処理を行っている。しかしながら、本発明は上記の構成に限定されるものではなく、画像領域ＩＡの外周の位置を示す情報をホワイトバランス自動調整ルーチンであらかじめ演算する構成としてもよい。

また、本実施形態においては、画像領域ＩＡの上下に隣接するマスク領域ＭＡのＮ行の画素及び画像領域ＩＡの左右に隣接するマスク領域ＭＡのＮ列の画素のそれぞれに対して、マスク領域ＭＡに隣接する画像領域ＩＡの輝度値をコピーする構成としたが、本発明はこの構成に限定されるものではない。画像領域ＩＡの輝度値のコピーは、画像領域ＩＡの上と下とでそれぞれ異なる行数の画素を対象にしてもよく、また右と左とでそれぞれ異なる列数の画素を対象としてもよい。

１ 電子内視鏡装置
１００ 電子内視鏡
１４２ 撮像素子
１４８ マスク処理回路
２００ 電子内視鏡用プロセッサ
２４１ 前段信号処理回路
２４２ 画像メモリ
２４３ 後段信号処理回路
２４４ マスク情報メモリ

Claims (7)

1. 電子マスク処理を施した内視鏡画像を映像信号として出力する電子内視鏡と接続され、該映像信号を処理してモニタに表示可能なビデオ信号を生成する電子内視鏡用プロセッサであって、
   前記映像信号に対応する画像が、該画像を構成する画素の輝度値を表すデータとして記憶される画像メモリと、
   前記画像に含まれる前記電子マスク処理の施されたマスク領域の画素をマスク情報として記憶するマスク情報メモリと、
   前記画像メモリに記憶された画像に所定の画像処理を行う画像処理手段と、
   前記画像処理手段によって画像処理が行われた画像を前記ビデオ信号に変換して前記モニタに出力する信号処理手段と、
   を有し、
   前記画像処理手段は、前記マスク情報に基づいて、前記マスク領域に囲まれる画像領域の外周部分の画素の輝度値を前記マスク領域の内周部分の画素の輝度値にコピーして中間画像データを作成し、次いで前記中間画像データに対して前記所定の画像処理を行うことを特徴とする電子内視鏡用プロセッサ。
2. 前記画像処理手段は、前記画像領域の外周部分の画素の輝度値を前記マスク領域の内周部分の所定数の画素幅の領域の画素にコピーすることによって前記中間画像データを作成するものであり、
   前記所定の画像処理は、前記画像領域及び前記所定の画素幅の領域中の画素のみを参照して行われることを特徴とする請求項１に記載の電子内視鏡用プロセッサ。
3. 前記画像処理手段は、前記所定の画像処理を行った後、前記マスク情報に基づいて、該画像処理が行われた前記中間画像データにマスクを重畳することを特徴とする請求項１又は請求項２に記載の電子内視鏡用プロセッサ。
4. 前記電子内視鏡用プロセッサが、ホワイトバランスの調整を行う際に前記マスク情報を前記マスク情報メモリに記憶するマスク情報生成手段を有することを特徴とする請求項１から請求項３のいずれか一項に記載の電子内視鏡用プロセッサ。
5. 前記マスク情報生成手段は、前記画像メモリに記憶されている前記画素の輝度値を表すデータを処理することによって前記マスク情報を得ることを特徴とする請求項４に記載の電子内視鏡用プロセッサ。
6. 前記マスク情報生成手段は、前記画素の輝度値を表すデータのうち、所定の閾値を下回ったものを前記マスク領域に含まれる画素と判定することを特徴とする請求項５に記載の電子内視鏡用プロセッサ。
7. 前記所定の画像処理が、輪郭強調処理、染色処理又はぼかし処理の少なくともいずれか一つの処理を含むことを特徴とする請求項１から請求項６のいずれか一項に記載の電子内視鏡用プロセッサ。
   

Images