JP2011224185A - 電子内視鏡用画像処理装置 - Google Patents

Abstract

【課題】観察画像において異常部位が存在する領域を特定して表示する。
【解決手段】電子内視鏡の撮像素子からの信号に画像処理を行って観察画像を生成する電子内視鏡用画像処理装置であって、撮像素子の各画素からの信号が、所定の輝度及び彩度以上であるか否かを判定する手段と、所定の輝度及び彩度以上であると判定された画素の画素値と、該画素の周辺画素の画素値の平均値との差が所定の閾値以上であるか否かを判定する手段と、観察画像の表示領域を分割する領域分割手段と、領域分割手段により分割された領域内において、所定の閾値以上であると判定された画素が、分割された領域を所定の割合以上占めるか否かを判定する手段と、所定の割合以上占めると判定された領域を、観察画像上に表示する領域表示手段とを有する電子内視鏡用画像処理装置を提供する。
【選択図】図３

Description

本発明は、電子内視鏡システムの画像処理装置に関し、詳しくは、画像内において病変部等の異常部位を特定することが可能な電子内視鏡用の画像処理装置に関する。

近年、患者の体腔内を診断するためのシステムとして、例えば特許文献１などのように、白色光を用いて取得した画像において血管等の特定の部位を強調することが可能な電子内視鏡システムが提案されている。特許文献１の電子内視鏡システムでは、電子内視鏡の先端部に設けられた撮像素子から出力されるＲＧＢ信号を、電子内視鏡に接続されたビデオプロセッサに送信し、ビデオプロセッサにおいてＲ，Ｇ，Ｂの各信号のゲイン調整を行う。ここで、Ｒ信号に対して線形にゲイン調整を行い、Ｇ信号及びＢ信号に対しては非線形にゲイン調整を行うことにより、血管等の特徴を際立たせることにより、病変部の診断をより円滑に行うことができる画像をモニタに表示することができる。

特開２００９−１０６４２４号公報

電子内視鏡システムにおいては、電子内視鏡の先端部に設けられた鉗子口から種々の処置具を出没させて、生検のために組織を摂取したりポリープなどの組織を切除したりする。しかし、上記の電子内視鏡システムでは、特定の部位を特徴付ける画像処理を行うと、観察画像内に入り込んでいる処置具の色なども変化するため、術者がモニタに表示される観察画像において処置具と異常部位とを瞬時に判別できず、手技に支障をきたす可能性がある。

本発明は、上記に鑑みてなされたものである。本発明の目的は、観察画像において処置具などの表示を変更することなく病変部などの異常部位を確実に検出することが可能な電子内視鏡用の画像処理装置を提供することである。

上記の課題を解決する本発明の一形態に係る電子内視鏡用画像処理装置は、電子内視鏡の撮像素子からの信号に画像処理を行って観察画像を生成する電子内視鏡用画像処理装置であって、撮像素子の各画素からの信号が、所定の輝度及び彩度以上であるか否かを判定する第１の判定手段と、第１の判定手段により所定の輝度及び彩度以上であると判定された信号を出力する画素の画素値と、画素の周辺画素の画素値の平均値との差が所定の閾値以上であるか否かを判定する第２の判定手段と、観察画像の表示領域を分割する領域分割手段と、領域分割手段により分割された領域内において、第２の判定手段により所定の閾値以上であると判定された画素が、分割された領域を所定の割合以上占めるか否かを判定する第３の判定手段と、第３の判定手段により所定の閾値以上である画素が所定の割合以上占めると判定された領域を、観察画像上に表示する領域表示手段とを有する。

好ましくは、第２の判定手段により周辺画素の画素値の平均値との差が所定の閾値以上であると判定された画素が、所定の範囲で連続するか否かを判定する第４の判定手段をさらに有し、第３の判定手段は、第２の判定手段により所定の閾値以上であると判定された画素の代わりに、第４の判定手段により所定の範囲で連続すると判定された画素が、分割された領域を所定の割合以上占めるか否かを判定する。これにより、異常部位の信号を出力する画素を、処置具や正常部位の信号を出力する画素と区別するだけでなく、ノイズが発生している画素を異常部位の判定から除外することができるため、より精度良く異常部位が存在する領域を特定して表示することができる。

本発明によれば、観察画像内において、観察画像の画質を変更することなく、異常部位とみなすことができる領域を的確に表示することができる。さらに、観察画像がノイズの影響を受けた場合でも、異常部位の領域を正確に把握して表示することができる。

図１は、本発明の一実施形態における異常部位の検出処理を実行する電子内視鏡システムを示す概略図である。 図２は、本発明の一実施形態における異常部位の検出処理のフローチャートである。 図３（ａ）〜（ｉ）は、本発明の一実施形態における異常部位の検出処理による画像処理の例を示す図である。

以下、図面を参照して、本発明の一実施形態における異常部位の検出処理を実行する電子内視鏡システムについて説明する。

図１は、本発明の一実施形態における電子内視鏡システム１００を示す概略図である。電子内視鏡システム１００は、電子内視鏡１、ビデオプロセッサ２、及びモニタ３を備える。画像処理装置としてのビデオプロセッサ２において、光源部１２は、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプなどの高輝度ランプを備えており、電子内視鏡１による撮像のための照明光としての白色光を発生する。

光源部１２は、いずれも図示しないものの、ハロゲンランプやキセノンランプや白色ＬＥＤ等の光源、光源の光を集光する集光レンズ、光源からの白色光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光に順次色分解するためのカラーフィルタ、画像信号をフレームメモリに書き込む際のタイミングパルスや垂直同期信号に同期してカラーフィルタが回転するようにカラーフィルタの速度と位相を制御するためのカラーフィルタ回転制御回路、照明光の光量を調整するための光量絞り、光量絞りを制御する回路等を有し、面順次方式にて照明光を生成する。なお、撮像方式は、面順次方式の代わりに同時方式の撮像方式を採用してもよい。すなわち、光源の白色光をそのままライトガイドに集光して伝搬させて観察対象部位に照射し、撮像素子上にオンチップ化されたカラーフィルタによって色信号を分離し、この色信号をＲ，Ｇ，Ｂの原色信号に変換して、この原色信号を色差マトリクスによって色差信号を得ることができる。

ライトガイド９は、電子内視鏡１とビデオプロセッサ２との接続部から電子内視鏡１の操作部４及び体腔内挿入部を挿通して該体腔内挿入部の先端まで延びている。術者により把持される操作部４には、いずれも図示しないものの、術者が各種操作を行うための複数のボタン、アングルノブ、処置具挿入口などが設けられている。処置具挿入口は、電子内視鏡１の先端に設けられている処置具用開口（図示せず）に通じている。術者は、処置具挿入口から鉗子などの処置具を挿入し、電子内視鏡１内に設けられた処置具挿通チャンネル（図示せず）を通じて処置具用開口から処置具を出没させ、体腔内の組織を採取するなどの処置を行う。アングルノブは、その回動操作に応じて電子内視鏡１の体腔内挿入部の先端部を湾曲させる。また、各ボタンの操作により、観察対象部位への送気や送水、体液などの吸引、テレビモニタ上の画面の静止、画像記録媒体への観察対象部位の静止画像や動画の記録など、種々の処理を行うことができる。

電子内視鏡１の先端には、配光光学系５や集光光学系６が配置されている。配光光学系５は、光源部１２からの光を伝搬するライトガイド９の出射端面と対向する位置に設けられており、ライトガイド９が伝搬した照明光を対象部位に出射する。集光光学系６は、対象部位からの反射光を撮像素子７の受光面に集光させて対象部位の像を結ばせる。

撮像素子７において、受光された光は光電変換されて画像信号が生成され、画像信号はプリアンプ８によって増幅された後、電子内視鏡１の接続部内に設けられた制御部１０に送られる。制御部１０において、画像信号は、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒからなる画像信号に変換されてデジタル信号化された後、ビデオプロセッサ２の前段信号処理部１３に送られる。また、制御部１０は、電子内視鏡１の接続部に設けられたメモリ１１に接続されている。制御部１０は、電子内視鏡１をビデオプロセッサ２に接続したときに、ビデオプロセッサ２側で異常部位の検出処理のほか種々の制御を行う上で必要となる電子内視鏡１の識別情報や撮像素子７に関する情報などを、メモリ１１から読み出して、ビデオプロセッサ２のシステムコントロール部１７に送る。さらに、制御部１０は、ビデオプロセッサ２のタイミングコントローラ１６から受信する信号に基づいて撮像素子７の駆動を制御する。

ビデオプロセッサ２の前段信号処理部１３は、電子内視鏡１の制御部１０から送られてくる画像信号に対して種々の画像処理を施す。前段信号処理部１３は、制御部１０から送られてくる輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをそれぞれ増幅した後、マトリクス回路（図示せず）に送り、光源部１２のカラーフィルタのフィルタ特性に応じて、変換特性を決定するマトリクス係数の値を変更し、画像信号の色補正を行う。なお、各マトリクス係数は、メモリ１９に記憶されている。マトリクス回路は、入力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを混色のない３原色信号Ｒ，Ｇ，Ｂに変換して出力する。マトリクス回路によって変換されたＲ，Ｇ，Ｂの各画像信号は、それぞれ増幅されて適切な信号レベルに調整された後に、各色ごとに画像メモリ１４に格納される。

画像メモリ１４から読み出された画像信号は、後段信号処理部１５に送られる。後段信号処理部１５は、画像メモリ１４から送られてきた画像信号に対して異常部位の検出処理を行う。異常部位の検出処理の詳細については後述する。後段信号処理部１５は、さらに、画像信号をデジタルビデオ信号やＲＧＢビデオ信号、コンポジットビデオ信号、Ｙ／Ｃ信号等に変換した後、観察画像としてモニタ３に出力する。術者は、モニタ３に表示される観察画像を確認しながら体腔内の部位の観察や治療を行う。

ここで、図２のフローチャートを参照しながら、異常部位の検出処理について詳しく説明する。後段信号処理部１５において、画像信号から画素ごとのＲ，Ｇ，Ｂの画素値が抽出される（Ｓ１０１）。次に、抽出した画素値に対して、ルックアップテーブルを使用して色調が変調され、画像信号から処置具の金属部や異常部位の特徴を強調するためのゲイン調整が行われる（Ｓ１０３）。そして、第１の判定部１５ａにより、ゲイン調整を行ったＲ，Ｇ，Ｂの信号に基づいて得られる輝度及び彩度を、それぞれ所定の閾値を用いて判定する（Ｓ１０５）。閾値以上の輝度を有し、かつ閾値以下の彩度を有する信号を、処置具などの金属部からの信号であり異常部位からの信号ではないとみなす（Ｓ１０７）。また、輝度及び彩度が共に閾値より大きい信号は、異常部位からの信号である可能性があるため、ステップＳ１０９の処理に進む。

ステップＳ１０９では、第２の判定部１５ｂにおいて、いずれか１つの画素を注目画素として選択し、該注目画素のＲ，Ｇ，Ｂの画素値を、注目画素の周辺画素におけるＲ，Ｇ，Ｂの画素値の平均値と比較する。そして、Ｒ，Ｇ，Ｂそれぞれについて注目画素の画素値と周辺画素の画素値の平均値との差が所定の値Ａ以上であるか否かを判定する（Ｓ１１１）。具体的には、注目画素の上下左右斜めの８画素を周辺画素として、これら周辺画素の画素値を算術平均により平均値を算出する。画素値の差が所定の値Ａより小さい値であれば、体腔内の正常粘膜からの信号であり、異常部位からの信号ではないとみなす（Ｓ１１３）。また、画素値の差が所定の値Ａ以上である場合は、注目画素が異常部位からの信号を出力する画素（異常画素）である可能性があるため、ステップＳ１１５の判定処理に進む。

ステップＳ１１５では、第３の判定部１５ｃ（特許請求の範囲における、第４の判定手段）により、ステップＳ１１１にて異常画素である可能性があると判定された画素がＮ×Ｎ個（Ｎは自然数）の範囲で連続しているか否かを判定する。例えば、異常画素である可能性があるとして判定された画素が５×５個や７×７個の画素の範囲を占めるか否かを判定する。判定対象となる画素の範囲をＮ×Ｎの正方形とするのが望ましいが、Ｋ×Ｌ（Ｋ，Ｌは自然数）の範囲にして判定を行うこともできる。異常画素である可能性があると判定された画素の集まりがＮ×Ｎの範囲を占有しない場合は、ノイズが原因で異常画素である可能性があると判定された画素であり、異常部位からの信号を出力していないとみなす（Ｓ１１７）。また、Ｎ×Ｎの範囲を占有する異常画素の集まりは異常部位からの信号を出力する画素とみなす（Ｓ１１９）。

ステップＳ１１９での判定の後、ステップＳ１２１に進み、領域分割部１５ｄにより、観察画像の表示領域をＭ×Ｍ（Ｍは自然数）個の領域に分割する。もちろん、表示領域をＰ×Ｑ（Ｐ，Ｑは自然数）個の領域に分割してもよいし、任意の形状の領域に分割することもできる。表示領域を分割した後、ステップＳ１２３に進み、第４の判定部１５ｅ（特許請求の範囲における、第３の判定手段）により、分割した各領域内において、異常部位からの信号を出力する画素が各領域内の全画素数に占める割合を、所定の閾値Ｂ（％）と比較する。そして、分割した領域内において異常部位からの信号を出力する画素がＢ（％）以上を占める場合は、注目すべき異常部位の領域であるとみなし、領域表示部１５ｆにより、当該領域の外枠を観察画像に重ねて表示する画像処理を行う（Ｓ１２５）。異常部位の画素が分割した領域を占める割合がＢ（％）に満たない場合は、注目領域とはみなさず当該領域を表示する画像処理は行わない（Ｓ１２７）。ステップＳ１２３及びステップＳ１２５もしくはステップＳ１２７を、分割した各領域に対して実行するまで繰り返し（Ｓ１２９）、観察画像に注目すべき異常部位の領域を表示する画像処理が完了したら、異常部位の検出処理を終了する。異常部位の検出処理が施された画像信号は、観察画像としてモニタ３に表示される。

なお、術者は、操作部４のボタン（図示せず）やビデオプロセッサ２のフロントパネル１８に設けられたボタン（図示せず）を操作することにより種々の操作を行う。システムコントロール部１７は、操作部４やフロントパネル１８のボタンの操作信号を受信し、操作信号に基づいてビデオプロセッサ２内の各ブロックの制御を行う。従って、術者がボタンを操作したときに上記の異常部位の検出処理を開始するように構成することもできる。また、異常部位の検出処理により表示される領域の外枠の表示及び非表示の切り替えをボタン操作により行うこともできる。

図３（ａ）〜（ｉ）に、上記の異常部位の検出処理を行った場合のモニタに表示される観察画像の例を示す。便宜上、表示領域を分割した際の領域を符号ａ〜ｄを用いて示す。図３では、異常部位の検出処理において表示領域を４×５の領域に分割しているが、４×４や５×５などの縦横に同じ数の領域に分割してもよい。図３（ａ）〜（ｃ）、図３（ｄ）〜（ｆ）、図３（ｇ）〜（ｉ）は、それぞれ異なる異常部位の検出処理を示す図である。また、図３（ａ），（ｄ），（ｇ）は、異常部位の検出処理前の観察画像を示す。なお、各観察画像内には、観察対象部位Ｒ，Ｒ’，Ｒ’’と処置具Ｉ，Ｉ’，Ｉ’’がそれぞれモニタ３に表示されている。図３（ｂ），（ｅ），（ｈ）は、異常部位の検出処理において表示領域を分割した状態を示す図である。図３（ｃ），（ｆ），（ｉ）は、異常部位の検出処理後の観察画像を示す。なお、モニタ３には、図３（ｂ），（ｅ），（ｈ）などの異常部位の検出処理中の画像は表示されず、図３（ａ），（ｄ），（ｇ）に示す異常部位の検出処理前の画像あるいは図３（ｃ），（ｆ），（ｉ）に示す当該処理後の画像が表示される。

図３（ａ）に示す観察画像において、上記のように異常部位の判定を行い表示領域を分割したときに、図３（ｂ）に示すように、領域ａ内に異常部位と判定された画素が存在したとする。この場合、ステップＳ１２３における判定において、異常部位の画素が領域ａを占める割合が閾値Ｂ（％）以上であると判定され、図３（ｃ）に示すように観察画像上に領域ａの外枠が表示される。

次に、図３（ｄ）に示す観察画像において、異常部位の判定を行い表示領域を分割したときに、図３（ｅ）に示すように、領域ａ，ｂ内に異常部位と判定された画素が存在したとする。ステップＳ１２３における判定において、異常部位の画素が領域ａを占める割合は閾値Ｂ（％）未満であると判定され、また異常部位の画素が領域ｂを占める割合は閾値Ｂ（％）以上であると判定され、図３（ｆ）に示すように観察画像上に領域ｂの外枠が表示される。

また、図３（ｇ）に示す観察画像において、異常部位の判定を行い表示領域を分割したときに、図３（ｈ）に示すように、領域ａ〜ｄ内に異常部位と判定された画素が存在したとする。ステップＳ１２３における判定において、異常部位の画素が領域ａ〜ｃを占める割合はそれぞれ閾値Ｂ（％）以上であると判定され、また異常部位の画素が領域ｄを占める割合は閾値Ｂ（％）未満であると判定され、図３（ｉ）に示すように観察画像上に領域ａ〜ｃの外枠が表示される。

従って、異常部位と判定された画素が複数の領域にまたがって存在する場合でも、異常部位の画素が領域を所定の割合以上占めるため注視すべきとみなせる領域のみを表示することができるため、観察画像上に不必要に複数の領域が表示されることもなく、術者の観察や診断に支障をきたさないようにすることができる。また、観察画像内に処置具などが映り込んでいる場合でも異常部位と判定されることはない。

以上が本発明の実施形態に関する説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において種々の変形が可能である。上記の説明では、分割した各領域内において異常部位の画素が占める割合を判定しているが、代わりに、まず異常部位の画素が存在する領域を特定し、その後で特定された領域に対してのみ異常部位の画素が占める割合を判定するようにしてもよい。

１ 電子内視鏡
２ ビデオプロセッサ
３ モニタ
７ 撮像素子
１５ 後段信号処理部
１５ａ，１５ｂ，１５ｃ，１５ｅ 判定部
１５ｄ 領域分割部
１５ｆ 領域表示部

Claims (2)

1. 電子内視鏡の撮像素子からの信号に画像処理を行って観察画像を生成する電子内視鏡用画像処理装置であって、
   前記撮像素子の各画素からの信号が、所定の輝度及び彩度以上であるか否かを判定する第１の判定手段と、
   前記第１の判定手段により前記所定の輝度及び彩度以上であると判定された信号を出力する画素の画素値と、該画素の周辺画素の画素値の平均値との差が所定の閾値以上であるか否かを判定する第２の判定手段と、
   観察画像の表示領域を分割する領域分割手段と、
   前記領域分割手段により分割された領域内において、前記第２の判定手段により前記所定の閾値以上であると判定された画素が、該分割された領域を所定の割合以上占めるか否かを判定する第３の判定手段と、
   前記第３の判定手段により前記所定の閾値以上である画素が前記所定の割合以上占めると判定された領域を、観察画像上に表示する領域表示手段と、を有する、
   ことを特徴とする電子内視鏡用画像処理装置。
2. 前記第２の判定手段により前記周辺画素の画素値の平均値との差が前記所定の閾値以上であると判定された画素が、所定の範囲で連続するか否かを判定する第４の判定手段をさらに有し、
   前記第３の判定手段は、前記第２の判定手段により前記所定の閾値以上であると判定された画素の代わりに、前記第４の判定手段により前記所定の範囲で連続すると判定された画素が、前記分割された領域を前記所定の割合以上占めるか否かを判定する、
   ことを特徴とする請求項１に記載の電子内視鏡用画像処理装置。

Images