JP2017153763A - 画像処理装置とその作動方法および作動プログラム - Google Patents

Abstract

【課題】診断に活用する所見に該当する領域の有無と併せて、所見の程度も把握することが可能な画像処理装置とその作動方法および作動プログラムを提供する。【解決手段】領域決定部６３は、特徴量算出部６２からの第１特徴量に基づき、予め設定された複数の所見のそれぞれに該当する観察画像内の領域を決定する。レベル分類部６４は、特徴量算出部６２からの第２特徴量に基づき、複数の所見の各々に対して予め設定された、所見の程度を表す複数のレベルのいずれかに領域を分類する。色割り当て画像生成部６５は、所見毎に設定された表示色、かつレベル毎に設定された、表示色の色味で、観察画像に対して色割り当て処理を行って、色割り当て画像を生成する。色割り当て画像は、表示制御部４３の制御の下、モニタ１４に表示される。【選択図】図３

Description

本発明は、画像処理装置とその作動方法および作動プログラムに関する。

医療分野において、生体内の観察対象を撮影する内視鏡システムが広く利用されている。内視鏡システムは、生体内に挿入され、観察対象を撮影して画像信号を出力する内視鏡と、画像信号に基づき、観察対象の観察画像を生成しこれをモニタに出力する内視鏡用プロセッサ装置（以下、単にプロセッサ装置と表記）とを備える。

観察画像を利用した診断においては、医師にとって、観察画像内に、予め設定された複数の所見に該当する領域が有るか否かを判定したり、所見の程度がどの程度かを見極めることが重要である。例えば胃粘膜の観察画像では、びまん性発赤、地図状発赤、腸上皮化生等の、胃炎の京都分類として知られる複数の所見それぞれに対しての有無やその程度をスコア化することで、当該領域がピロリ菌の感染によって生じる慢性胃炎に特徴的なものであるか否かを判断している。また、大腸ポリープの観察画像では、I型、II型、IIIｓ型
等の、ピットパターン分類として知られる複数の所見のいずれかにポリープを分類することで、大腸癌の深達度を判断している。

特許文献１には、大腸ポリープの観察画像において、予め用意された基本パターンとの類似度といった特徴量に基づき、ピットパターン分類の複数の所見のいずれかにポリープを分類し、分類結果に応じた色の強調処理（色割り当て処理）を行うプロセッサ装置が記載されている。所見の分類が自動化され、かつ分類結果に応じた色割り当て画像が表示されるため、診断が捗る。

特開２０１４−１６６２９８号公報

上述のように、観察画像を利用した診断においては、所見に該当する領域の有無の判定と併せて、より診断の効率化を図るために所見の程度を把握したいという要望がある。しかしながら特許文献１では、領域に対応する所見は把握することができるが、所見の程度は把握することができない。

本発明は、診断に活用する所見に該当する領域の有無と併せて、所見の程度も把握することが可能な画像処理装置とその作動方法および作動プログラムを提供することを目的とする。

本発明の画像処理装置は、生体内の観察対象を撮影して得られた画像信号を取得する画像信号取得部と、画像信号に基づき、観察対象の観察画像を生成する観察画像生成部と、画像信号から特徴量を算出する特徴量算出部と、特徴量に基づき、予め設定された複数の所見のそれぞれに該当する観察画像内の領域を決定する領域決定部と、特徴量に基づき、複数の所見の各々に対して予め設定された、所見の程度を表す複数のレベルのいずれかに領域を分類するレベル分類部と、所見毎に設定された表示色、かつレベル毎に設定された、表示色の色味で、観察画像に対して色割り当て処理を行って、色割り当て画像を生成する色割り当て画像生成部と、色割り当て画像の表示を制御する表示制御部とを備える。

特徴量算出部は複数種類の特徴量を算出し、領域決定部は、複数種類の特徴量のうちの第１特徴量に基づき領域の決定を行い、レベル分類部は、複数種類の特徴量のうちの第２特徴量に基づきレベルの分類を行うことが好ましい。この場合、第２特徴量は第１特徴量を含むことが好ましい。

色割り当て画像生成部は、領域の境界に対して色割り当て処理を行うことが好ましい。

観察対象は胃粘膜であり、所見は胃炎に関するものであることが好ましい。

画像信号取得部は、短波長側の光強度を長波長側の光強度と比べて強くした照明光を観察対象に照射して得られた画像信号を取得することが好ましい。

画像信号に対して明るさを均一にする明るさ補正処理を施す明るさ補正処理部を備え、特徴量算出部は、明るさ補正処理済みの画像信号から特徴量を算出することが好ましい。

照明光として白色光を観察対象に照射して得られた画像信号に基づく通常画像に対して色およびコントラストのうち少なくとも１つを低減する低減処理を施す低減処理部を備え、表示制御部は、低減処理済みの通常画像に、色割り当て画像を重畳することが好ましい。

本発明の画像処理装置の作動方法は、生体内の観察対象を撮影して得られた画像信号を取得する画像信号取得ステップと、画像信号に基づき、観察対象の観察画像を生成する観察画像生成ステップと、画像信号から特徴量を算出する特徴量算出ステップと、特徴量に基づき、予め設定された複数の所見のそれぞれに該当する観察画像内の領域を決定する領域決定ステップと、特徴量に基づき、複数の所見の各々に対して予め設定された、所見の程度を表す複数のレベルのいずれかに領域を分類するレベル分類ステップと、所見毎に設定された表示色、かつレベル毎に設定された、表示色の色味で、観察画像に対して色割り当て処理を行って、色割り当て画像を生成する色割り当て画像生成ステップと、色割り当て画像の表示を制御する表示制御ステップとを備える。

本発明の画像処理装置の作動プログラムは、生体内の観察対象を撮影して得られた画像信号を取得する画像信号取得機能と、画像信号に基づき、観察対象の観察画像を生成する観察画像生成機能と、画像信号から特徴量を算出する特徴量算出機能と、特徴量に基づき、予め設定された複数の所見のそれぞれに該当する観察画像内の領域を決定する領域決定機能と、特徴量に基づき、複数の所見の各々に対して予め設定された、所見の程度を表す複数のレベルのいずれかに領域を分類するレベル分類機能と、所見毎に設定された表示色、かつレベル毎に設定された、表示色の色味で、観察画像に対して色割り当て処理を行って、色割り当て画像を生成する色割り当て画像生成機能と、色割り当て画像の表示を制御する表示制御機能とを、コンピュータに実行させる。

本発明によれば、生体内の観察対象を撮影して得られた画像信号から算出した特徴量に基づき、予め設定された複数の所見のそれぞれに該当する領域を決定し、かつ複数の所見の各々に対して予め設定された、所見の程度を表す複数のレベルのいずれかに領域を分類して、これら領域決定結果および分類結果に応じた色割り当て処理を行った色割り当て画像を表示するので、診断に活用する所見に該当する領域の有無と併せて、所見の程度も把握することが可能な画像処理装置とその作動方法および作動プログラムを提供することができる。

内視鏡システムの外観図である。 内視鏡システムの各部を示すブロック図である。 画像処理部の各機能部を示すブロック図である。 特徴量算出部の処理の流れを示す説明図である。 第１特徴量と第２特徴量の例を示す表である。 領域決定テーブルの内容を示す図である。 レベル分類テーブルの内容を示す図である。 色割り当てテーブルの内容を示す図である。 領域決定部、レベル分類部、および色割り当て画像生成部の処理の流れを示す説明図である。 領域決定部、レベル分類部、および色割り当て画像生成部の処理の流れの別の例を示す説明図である。 色割り当て処理の詳細を示す図である。 表示制御部の機能部を示すブロック図である。 第２観察モードの場合の画像表示画面を示す図である。 凡例表示画面を示す図である。 第１観察モードの場合の画像表示画面を示す図である。 プロセッサ装置の処理手順を示すフローチャートである。 第２実施形態の画像処理部の各機能部を示すブロック図である。 明るさ補正処理の概念図である。 第３実施形態の画像処理部および表示制御部の各機能部を示すブロック図である。 第３実施形態の画像表示画面を示す図である。

［第１実施形態］
図１において、内視鏡システム１０は、生体内の観察対象を撮影して画像信号を出力する内視鏡１１と、本発明の画像処理装置に相当し、画像信号に基づき観察対象の観察画像を生成するプロセッサ装置１２と、観察対象に照射する照明光を内視鏡１１に供給する光源装置１３とを備えている。プロセッサ装置１２には、モニタ１４と、キーボードやマウス等の入力デバイス１５とが接続されている。

内視鏡１１は、生体内に挿入される挿入部１６と、挿入部１６の基端部分に設けられた操作部１７と、内視鏡１１とプロセッサ装置１２および光源装置１３を連結するユニバーサルコード１８とを備えている。本実施形態において、内視鏡１１は、主に胃粘膜を観察対象とする上部消化管用である。

挿入部１６は、先端から順に連設された、先端部１９、湾曲部２０、可撓管部２１で構成される。湾曲部２０は、連結された複数の湾曲駒からなり、操作部１７のアングルノブ２２を操作することにより、上下左右方向に湾曲動作する。図１では上方向の湾曲動作を破線で示している。湾曲部２０が湾曲することにより、先端部１９が所望の方向に向けられる。可撓管部２１は、食道等の曲がりくねった管道に挿入できるように可撓性を有している。

挿入部１６には、プロセッサ装置１２との間で各種信号を通信する通信ケーブル、光源装置１３からの照明光を先端部１９に導光するライトガイド３５（図２参照）等が挿通されている。操作部１７には、アングルノブ２２の他、鉗子や電気メスといった処置具が挿入される鉗子口２３、先端部１９に設けられた送気・送水ノズルから送気・送水を行う際に操作される送気・送水ボタン２４等が設けられている。

ユニバーサルコード１８には、挿入部１６から延設される通信ケーブルやライトガイド３５が挿通されている。ユニバーサルコード１８のプロセッサ装置１２および光源装置１３側の一端には、コネクタ２５が取り付けられている。コネクタ２５は、通信用コネクタ２５Ａと光源用コネクタ２５Ｂからなる複合タイプのコネクタである。通信用コネクタ２５Ａはプロセッサ装置１２に、光源用コネクタ２５Ｂは光源装置１３に、それぞれ着脱自在に接続される。通信用コネクタ２５Ａには通信ケーブルの一端が配設されており、光源用コネクタ２５Ｂには照明光が入射するライトガイド３５の入射端が配設されている。

図２において、内視鏡１１の先端部１９には、観察対象を撮影するための観察窓３０、および観察対象に照明光を照射するための照明窓３１が設けられている。観察窓３０の奥には、対物光学系３２と撮像センサ３３が配置されている。照明窓３１の奥には、照射レンズ３４と、照明光が出射するライトガイド３５の出射端が配置されている。

観察対象の像は、観察窓３０を通して対物光学系３２に入射し、対物光学系３２によって撮像センサ３３の撮像面３３Ａに結像される。撮像センサ３３は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等からなり、撮像面３３Ａには、フォトダイオード等の画素を構成する複数の光電変換素子がマトリックス状に配列されている。撮像センサ３３は、撮像面３３Ａで受光した光を光電変換して、各画素においてそれぞれの受光量に応じた信号電荷を蓄積する。信号電荷はアンプによって電圧信号に変換されて読み出される。撮像センサ３３は、この電圧信号を画像信号として出力する。

撮像センサ３３はカラー撮像センサであり、撮像面３３Ａには青色マイクロカラーフィルタ（Ｂフィルタ）、緑色マイクロカラーフィルタ（Ｇフィルタ）、赤色マイクロカラーフィルタ（Ｒフィルタ）の青色、緑色、赤色の３色のマイクロカラーフィルタが設けられ、各フィルタが各画素に割り当てられている。各フィルタの配列は例えばベイヤー配列である。なお、以下の説明では、Ｂフィルタが割り当てられた画素（Ｂ画素）から出力された画像信号をＢ画像信号、Ｇフィルタが割り当てられた画素（Ｇ画素）から出力された画像信号をＧ画像信号、Ｒフィルタが割り当てられた画素（Ｒ画素）から出力された画像信号をＲ画像信号という。

光源装置１３から供給された照明光は、ライトガイド３５により照射レンズ３４に導光されて照明窓３１から観察対象に向けて照射される。照射レンズ３４は凹レンズからなり、ライトガイド３５から出射した照明光の発散角を広げる。これにより、観察対象の広い範囲に照明光が照射される。なお、照明窓３１は２つ設けられており、先端部１９に位置するライトガイド３５の出射端は、２つの照明窓３１に照明光を導光するために、照明窓３１の前段で２本に分岐している。

先端部１９には、観察窓３０および照明窓３１の他に、観察窓３０を洗浄するために送気・送水を行う送気・送水ノズル、処置具を突出させて各種処置を行うための鉗子出口が設けられている。

撮像センサ３３には、アナログ信号処理部（ＡＦＥ：Analog Front End）３６と撮像制御部３７が接続されている。ＡＦＥ３６には、撮像センサ３３から画像信号が入力される。ＡＦＥ３６は、相関二重サンプリング回路、自動ゲイン制御回路、およびアナログ／デジタル変換器で構成されている。相関二重サンプリング回路は、撮像センサ３３からのアナログの画像信号に対して相関二重サンプリング処理を施し、信号電荷のリセットに起因するノイズを除去する。自動ゲイン制御回路は、相関二重サンプリング回路によりノイズが除去された画像信号を増幅する。アナログ／デジタル変換器は、自動ゲイン制御回路で増幅された画像信号を、所定のビット数に応じた階調値をもつデジタルな画像信号に変換してプロセッサ装置１２に出力する。

撮像制御部３７は、プロセッサ装置１２内の主制御部４０に接続されており、主制御部４０から入力される基準クロック信号に同期して、撮像センサ３３およびＡＦＥ３６に対して駆動信号を入力する。撮像センサ３３は、撮像制御部３７からの駆動信号に基づいて、所定のフレームレートで画像信号をＡＦＥ３６に出力し、ＡＦＥ３６は、撮像制御部３７からの駆動信号に基づいて、所定のフレームレートで相関二重サンプリング処理、増幅、およびアナログ／デジタル変換を行う。

プロセッサ装置１２は、主制御部４０と、デジタル信号処理部（ＤＳＰ；Digital Signal Processor）４１と、画像処理部４２と、表示制御部４３とを備えている。主制御部４０は、ＣＰＵ（Central Processing Unit）、作動プログラム４４や制御に必要な設定データを記憶するＲＯＭ（Read Only Memory）、作動プログラム４４をロードして作業メモリとして機能するＲＡＭ（Random Access Memory）を有し、ＣＰＵが作動プログラム４４を実行することにより、プロセッサ装置１２の各部を制御する。

ＤＳＰ４１は、ＡＦＥ３６からのデジタルの画像信号（Ｂ画像信号、Ｇ画像信号、Ｒ画像信号）に対して画素補間処理を施す。この画素補間処理によって、Ｂ画素、Ｇ画素、Ｒ画素の各画素で不足した色の画像信号（例えばＢ画素の場合はＧ画像信号とＲ画像信号）が生成され、全画素についてＢ画像信号、Ｇ画像信号、Ｒ画像信号が揃う。

また、ＤＳＰ４１は、画素補間処理後の画像信号に対して、欠陥画素補正、オフセット補正、ガンマ補正、ホワイトバランス補正等を施す。さらに、ＤＳＰ４１は、画像信号に基づいて露出値を算出して、画像全体の光量が不足している場合（露出アンダー）には照明光の光量を上げるように、一方、光量が高すぎる場合（露出オーバー）には照明光の光量を下げるように制御する露出制御信号を主制御部４０に出力する。主制御部４０は、光源装置１３に露出制御信号を送信する。

画像処理部４２は、ＤＳＰ４１からの画像信号に対して各種画像処理を施す。表示制御部４３は、後述する画像表示画面７６（図１３等参照）をモニタ１４に出力する。なお、画像処理部４２には、例えば移動平均法やメディアンフィルタ法に代表されるノイズ低減処理が施された画像信号が入力される。

内視鏡システム１０は、第１観察モードと第２観察モードの２つの観察モードを有している。主制御部４０は、入力デバイス１５を介して入力される、これらの観察モードの切替信号を受信する。なお、内視鏡１１の操作部１７に観察モードを切り替えるスイッチを設けてもよい。あるいは、フットスイッチで観察モードを切り替えてもよい。

第１観察モードは観察画像をモニタ１４に表示する観察モードである。一方、第２観察モードは、観察画像に加えて色割り当て画像をモニタ１４に表示する観察モードである。色割り当て画像は、観察画像内の領域に対応する所見と、所見の程度を表すレベルとに基づき、観察画像に対して色割り当て処理を行った画像である。

光源装置１３は、青色光ＢＬを発する青色半導体光源（Ｂ半導体光源）５０と、緑色光ＧＬを発する緑色半導体光源（Ｇ半導体光源）５１と、赤色光ＲＬを発する赤色半導体光源（Ｒ半導体光源）５２と、光路結合部５３と、各半導体光源５０〜５２の駆動を制御する光源制御部５４とを備えている。

各半導体光源５０〜５２は、例えば発光ダイオード（ＬＥＤ：Light Emitting Diode）、レーザダイオード（ＬＤ：Laser Diode）、ＥＬ（Electro Luminescence）素子といった発光素子を有する。光源制御部５４は、各半導体光源５０〜５２の点灯、消灯および光量の制御を行う。光量の制御は、主制御部４０からの露出制御信号に基づいて、各半導体光源５０〜５２への供給電力を変更することで行う。

光源制御部５４は、各半導体光源５０〜５２に駆動電流を連続的に与えることで各半導体光源５０〜５２を点灯させる。そして、露出制御信号に応じて、与える駆動電流の値を変化させることにより各半導体光源５０〜５２への供給電力を変更し、青色光ＢＬ、緑色光ＧＬ、赤色光ＲＬの光量をそれぞれ制御する。なお、駆動電流を連続的に与えるのではなくパルス状に与え、駆動電流パルスの振幅を変化させるＰＡＭ（Pulse Amplitude Modulation）制御や、駆動電流パルスのデューティ比を変化させるＰＷＭ（Pulse Width Modulation）制御を行ってもよい。

青色光ＢＬの発光スペクトルは、例えば４２０ｎｍ〜５００ｎｍ付近の波長成分を有し、中心波長４６０±１０ｎｍ、半値幅２５±１０ｎｍである。緑色光ＧＬの発光スペクトルは、例えば４８０ｎｍ〜６００ｎｍ付近の波長成分を有し、中心波長５５０±１０ｎｍ、半値幅１００±１０ｎｍである。赤色光ＲＬの発光スペクトルは、例えば６００ｎｍ〜６５０ｎｍ付近の波長成分を有し、中心波長６２５±１０ｎｍ、半値幅２０±１０ｎｍである。なお、中心波長は各色光の発光スペクトルの幅の中心の波長を示し、半値幅は各色光の発光スペクトルのピークの半分を示す波長の範囲である。

青色光ＢＬ、緑色光ＧＬ、赤色光ＲＬの光強度比ＢＬ：ＧＬ：ＲＬは、光源制御部５４によって一定に保たれており、例えば次式（１）のように設定されている。
ＢＬ：ＧＬ：ＲＬ＝２：２：１ ・・・（１）
すなわち、短波長側の光である青色光ＢＬ、緑色光ＧＬの光強度が、長波長側の光である赤色光ＲＬの光強度と比べて強く設定されている。なお、光強度は、光の光束の単位立体角内の密度であり、光量は、光の放射エネルギーを人間の感覚（視感度）に基づき評価した値である。

光路結合部５３は、青色光ＢＬ、緑色光ＧＬ、赤色光ＲＬの各色光の光路を１つの光路に結合し、各色光を内視鏡１１のライトガイド３５の入射端に集光する。光路結合部５３で光路が結合された青色光ＢＬ、緑色光ＧＬ、赤色光ＲＬの混合光は、キセノンランプが発する白色光とほぼ同等の発光スペクトルを有する白色光である。本実施形態では、この白色光を照明光として用いる。

なお、白色光は、キセノンランプが発する白色光のように、青色成分、緑色成分、赤色成分の波長帯域をすべて含む広帯域光だけでなく、本実施形態のように青色成分、緑色成分、赤色成分の少なくとも３色のそれぞれの波長帯域の光を混合した照明光も含む。

光源制御部５４は、第１観察モード、第２観察モードのいずれの観察モードにおいても、各半導体光源５０〜５２を点灯する。したがって観察対象には、常に青色光ＢＬ、緑色光ＧＬ、赤色光ＲＬの混合光が照明光として照射される。

図３において、画像処理部４２には、作動プログラム４４の起動により、画像信号取得部６０、観察画像生成部６１、特徴量算出部６２、領域決定部６３、レベル分類部６４、および色割り当て画像生成部６５が構築される。

画像信号取得部６０は、ＤＳＰ４１からの画像信号（Ｂ画像信号、Ｇ画像信号、Ｒ画像信号）を取得する画像信号取得機能を担う。この画像信号は、式（１）で示したように、短波長側の光である青色光ＢＬ、緑色光ＧＬの光強度を、長波長側の光である赤色光ＲＬの光強度と比べて強くした照明光を観察対象に照射して得られたものである。すなわち、画像信号取得部６０は、短波長側の光強度を長波長側の光強度と比べて強くした照明光を観察対象に照射して得られた画像信号を取得する。

第１観察モードの場合、画像信号取得部６０は、取得した画像信号を観察画像生成部６１に出力する。一方、第２観察モードの場合、画像信号取得部６０は、取得した画像信号を観察画像生成部６１に加えて特徴量算出部６２にも出力する。

観察画像生成部６１は、画像信号取得部６０からの画像信号に基づき、観察画像を生成する観察画像生成機能を担う。観察画像生成部６１は、生成した観察画像を表示制御部４３および色割り当て画像生成部６５に出力する。本実施形態では、観察画像は、照明光として白色光を観察対象に照射して得られた画像信号に基づく通常画像である。

特徴量算出部６２は、画像信号から複数種類の特徴量を算出する特徴量算出機能を担う。特徴量算出部６２は、複数種類の特徴量のうちの第１特徴量を領域決定部６３に、複数種類の特徴量のうちの第２特徴量をレベル分類部６４にそれぞれ出力する。

領域決定部６３は、予め設定された複数の所見のそれぞれに該当する観察画像内の領域を決定する領域決定機能を担う。領域決定部６３は、特徴量算出部６２からの第１特徴量および領域決定テーブル６６（図６参照）に基づき領域の決定を行う。領域決定部６３は、領域の決定結果（領域決定結果）を色割り当て画像生成部６５に出力する。

レベル分類部６４は、複数の所見の各々に対して予め設定された、所見の程度を表す複数のレベルのいずれかに観察画像内の領域を分類するレベル分類機能を担う。レベル分類部６４は、特徴量算出部６２からの第２特徴量およびレベル分類テーブル６７（図７参照）に基づきレベルの分類を行う。レベル分類部６４は、レベルの分類結果（レベル分類結果）を色割り当て画像生成部６５に出力する。

色割り当て画像生成部６５は、領域決定部６３からの領域決定結果、レベル分類部６４からのレベル分類結果、並びに色割り当てテーブル６８（図８参照）に基づき、色割り当て画像を生成する色割り当て画像生成機能を担う。色割り当て画像生成部６５は、生成した色割り当て画像を表示制御部４３に出力する。

図４のステップＳ１０に示すように、特徴量算出部６２は、画像信号に対して周知の輪郭抽出処理を施し、領域ＲＥを抽出する。領域ＲＥは、具体的には胃粘膜の点やスジ、隆起、窪み、穴等である。図４では、領域ＲＥとして多数の点が抽出された様子を示している。

領域ＲＥの抽出後、特徴量算出部６２は、各領域ＲＥの色特徴量ＶＡ、形態特徴量ＶＢを算出する（ステップＳ１１）。色特徴量ＶＡは、Ｂ画像信号、Ｇ画像信号、Ｒ画像信号の各画像信号で表される色成分（画素値）に関する特徴量であり、例えば、各領域ＲＥの青色成分、緑色成分、赤色成分のそれぞれの平均値、分散、最大値、最小値、各領域ＲＥの赤色成分と緑色成分の比、各領域ＲＥの青色成分と緑色成分の比等である。形態特徴量ＶＢは、各領域ＲＥの形態に関する特徴量であり、例えば各領域ＲＥの形状（扁平度、凹凸度、円形度、分枝数等）、サイズ（最大径、最大幅、長さ、曲率、面積等）等である。

次いで、特徴量算出部６２は、算出した色特徴量ＶＡ、形態特徴量ＶＢに基づき、領域ＲＥをグループ化する（ステップＳ１２）。具体的には、各領域ＲＥのうち、色特徴量ＶＡ、形態特徴量ＶＢが予め設定された範囲内にある領域ＲＥを、１つのグループＧＲとして認識する。こうして１つのグループＧＲにグループ化された領域ＲＥは、色成分および形態の特徴がほぼ同じ領域ＲＥである。図４では、領域ＲＥとして抽出された多数の点が１つのグループＧＲとして認識された様子を示している。

特徴量算出部６２は、ステップＳ１２でグループ化したグループＧＲについて、分布特徴量ＶＣを算出する（ステップＳ１３）。分布特徴量ＶＣは、グループＧＲ内における各領域ＲＥの分布に関する特徴量であり、例えば、グループＧＲ内の領域ＲＥの個数、密度、グループＧＲ内の隣接する領域ＲＥ間の距離の平均値、分散、最大値、最小値等である。

特徴量算出部６２は、各領域ＲＥの色特徴量ＶＡ、形態特徴量ＶＢ、および分布特徴量ＶＣに領域ＲＥの位置情報を付し、これらを領域決定部６３およびレベル分類部６４に出力する。位置情報は、例えば撮像面３３Ａの一角の画素を原点とし、各画素の位置を二次元的に表現した座標等である。領域ＲＥが矩形状の場合は、位置情報として矩形の対角線上の２点の座標が付される。領域ＲＥが円形状の場合は、円の中心の座標と直径または半径が、領域ＲＥが楕円形状の場合は、楕円の中心の座標と長径、短径がそれぞれ位置情報として付される。領域ＲＥが上記のいずれの形状でもない場合は、領域ＲＥの境界の全ての画素の座標が位置情報として付される。

特徴量算出部６２は、図５に示す表７０に基づき、算出した色特徴量ＶＡ、形態特徴量ＶＢ、および分布特徴量ＶＣを第１特徴量と第２特徴量に振り分け、第１特徴量を領域決定部６３に、第２特徴量をレベル分類部６４にそれぞれ出力する。

表７０は、第１特徴量と第２特徴量の例である。第１特徴量は、色特徴量ＶＡ１、形態特徴量ＶＢ１、ＶＢ２、および分布特徴量ＶＣ１で構成される。対して第２特徴量は、色特徴量ＶＡ１、形態特徴量ＶＢ１、ＶＢ２、および分布特徴量ＶＣ１に加えて、破線の枠で示すように、色特徴量ＶＡ２、形態特徴量ＶＢ３、および分布特徴量ＶＣ２を有する。すなわち、第２特徴量は第１特徴量を含んでいる。

色特徴量ＶＡ１は例えば赤色成分の平均値、色特徴量ＶＡ２は例えば赤色成分と緑色成分の比である。形態特徴量ＶＢ１は例えば扁平度、形態特徴量ＶＢ２は例えば円形度、形態特徴量ＶＢ３は例えば面積である。分布特徴量ＶＣ１は例えば密度、分布特徴量ＶＣ２は例えば距離の平均値である。

図６において、領域決定テーブル６６には、条件と所見の項目が設けられている。条件の項目に登録されたＡ、Ｂ、Ｃ等は、今までに培われた膨大な医学的知見に基づいて策定された第１特徴量の範囲を示す不等式、例えば色特徴量ＶＡ１＜Ｘ、Ｙ＜形態特徴量ＶＢ１≦Ｚ（Ｘ、Ｙ、Ｚは数値）等である。

所見の項目には、各条件に対応する所見が登録されている。所見は胃炎に関するもの、より具体的には領域ＲＥがピロリ菌の感染によって生じる慢性胃炎に特徴的なものであるか否かを判断するための胃炎の京都分類として知られるものである。所見には、正常な胃粘膜を示すＲＡＣ（Regular Arrangement of Collecting Venules）、ピロリ菌の現感染を示すびまん性発赤、点状発赤、ピロリ菌の現感染または既感染を示す委縮、腸上皮下生、ピロリ菌の既感染を示す地図状発赤等がある。なお、ここで例示した以外にも、胃底腺ポリープ、腺か上皮過形成ポリープ、稜線状発赤、斑状発赤、陥凹型びらん、多発性白色扁平隆起といった様々な所見が条件とセットで登録されている。

図７において、レベル分類テーブル６７には、所見、条件、およびレベルの項目が設けられている。所見の項目には、図６の領域決定テーブル６６の所見の項目に登録された各所見が登録されている。条件の項目に登録されたａ−１、ｂ−１、ｃ−１等は、領域決定テーブル６６の条件と同様に、医学的知見に基づいて策定された第２特徴量の範囲を示す不等式である。レベルの項目には、複数の所見の各々に対して、レベル１、レベル２、レベル３の３つのレベルが登録されている。所見の程度は、例えば、レベル１が軽度、レベル２が中度、レベル３が高度である。

ここで所見の程度とは、例えば、所見が委縮の場合は、胃粘膜の厚みと相関の見られる粘膜色の黄色成分の強さから推定される委縮の程度、びまん性発赤の場合は、赤色成分の強さから推定されるびまん性発赤の程度、点状発赤の場合は密度から推定される点状発赤の程度である。なお、所見が正常な胃粘膜を示すＲＡＣの場合は、ＲＡＣの領域とその周辺の領域の色のコントラストの大きさから推定される、正常の確信度の程度である。

図８において、色割り当てテーブル６８には、所見、表示色、レベル、および色味の項目が設けられている。表示色の項目には、所見毎に設定された表示色が登録されている。色味の項目には、レベル毎に設定された、表示色の色味が登録されている。

ここで表示色とは、色の三要素のうちの色相である。また、色味とは、色の三要素のうちの彩度または／および明度である。図８では、ＲＡＣには赤色、委縮には緑色、腸上皮化生には青色、びまん性発赤には黄色、点状発赤には紫色、地図状発赤には橙色がそれぞれ表示色として登録されている。また、レベル１には彩度低（彩度がレベル２より低い）、レベル２には彩度中（彩度がレベル１とレベル３の中間）、レベル３には彩度高（彩度がレベル２より高い）がそれぞれ色味として登録されている。

図９および図１０は、領域決定部６３、レベル分類部６４、および色割り当て画像生成部６５の機能を示すものである。ステップＳ２０に示すように、領域決定部６３は、第１特徴量および領域決定テーブル６６に基づき各所見に該当する領域ＲＥを決定し、領域決定結果を色割り当て画像生成部６５に出力する。また、これと並行してステップＳ２１に示すように、レベル分類部６４は、第２特徴量およびレベル分類テーブル６７に基づきレベルの分類を行い、レベル分類結果を色割り当て画像生成部６５に出力する。領域決定部６３およびレベル分類部６４は、領域決定結果およびレベル分類結果に、特徴量算出部６２からの領域ＲＥの位置情報を付す。

図９は領域決定結果として腸上皮化生が出力され、レベル分類結果としてレベル１が出力された例を示している。図１０は領域決定結果として委縮が出力され、レベル分類結果としてレベル１、レベル２が出力された例を示している。

ステップＳ２２に示すように、色割り当て画像生成部６５は、観察画像生成部６１からの観察画像の各領域ＲＥに対して、色割り当てテーブル６８に登録された表示色および色味で色割り当て処理を行う。色割り当て処理は、領域決定結果およびレベル分類結果に付された領域ＲＥの位置情報に基づいて、観察画像内の各領域ＲＥの位置を特定し、各領域ＲＥを色割り当てテーブル６８に登録された表示色および色味で着色する処理である。色割り当て画像生成部６５は、こうした色割り当て処理を、特徴量を算出した領域ＲＥの全てに対して行って、領域ＲＥを色割り当てテーブル６８に登録された表示色および色味でカラー化した色割り当て画像を生成する。

図９では、所見が腸上皮化生、レベルがレベル１であるため、青色（彩度低）が領域ＲＥに割り当てられる。一方、図１０では、所見が委縮、レベルがレベル１、レベル２であるため、緑色（彩度低）、緑色（彩度中）が領域ＲＥにそれぞれ割り当てられる。なお、図９に例示した腸上皮化生、図１０に例示した委縮以外の領域も、同様に色割り当てテーブル６８に基づく色割り当て処理が行われる。

図１１において、色割り当て処理においては、領域ＲＥの境界が、ハッチングＨで示すように色割り当てテーブル６８で設定された表示色および色味で縁取られる。すなわち、色割り当て画像生成部６５は、領域ＲＥの境界に対して色割り当て処理を行う。

図１２において、表示制御部４３には、作動プログラム４４の起動により、表示画面生成部７５が構築される。表示画面生成部７５には、観察画像生成部６１から観察画像が、色割り当て画像生成部６５から色割り当て画像がそれぞれ入力される。表示画面生成部７５は、観察画像と色割り当て画像に基づき、画像表示画面７６を生成する。表示画面生成部７５は、生成した画像表示画面７６を、モニタ１４に出力するための映像信号に変換する。この映像信号に基づく画像表示画面７６がモニタ１４に表示される。

図１３に示すように、画像表示画面７６は、検査情報表示領域８０、観察画像表示領域８１、および色割り当て画像表示領域８２を有する。検査情報表示領域８０には、内視鏡検査の日付、内視鏡検査の対象患者の氏名、患者ＩＤ（Identification Data）、性別、生年月日といった検査情報が表示される。観察画像表示領域８１には観察画像が、色割り当て画像表示領域８２には色割り当て画像がそれぞれ表示される。

色割り当て画像を表示する画像表示画面７６を生成してモニタ１４に出力する表示画面生成部７５を有する表示制御部４３は、色割り当て画像の表示を制御する表示制御機能を担う。

色割り当て画像表示領域８２には、凡例ボタン８３が設けられている。凡例ボタン８３が選択された場合、表示画面生成部７５は、図１４に示す凡例表示画面８５を生成してモニタ１４に出力する。

図１４において、凡例表示画面８５には、各所見の各レベルに対応する表示色および色味を示すカラーブロック８６が一覧表示される。この凡例表示画面８５により、色割り当て画像内の領域の所見およびレベルが識別可能となる。なお、凡例表示画面８５を画像表示画面７６と別に表示するのではなく、凡例表示画面８５を画像表示画面７６内に表示してもよい。

図１３に示す画像表示画面７６は、第２観察モードの場合の表示例である。一方、第１観察モードの場合、色割り当て画像は生成されない。このため第１観察モードの場合の画像表示画面７６は、図１５に示すように色割り当て画像表示領域８２がないものとなる。

次に、上記構成による作用について、図１６に示すフローチャートを参照して説明する。内視鏡１１とプロセッサ装置１２および光源装置１３がコネクタ２５を介して接続され、内視鏡システム１０が起動されると、各半導体光源５０〜５２が点灯して青色光ＢＬ、緑色光ＧＬ、赤色光ＲＬの混合光が照明光として観察対象に照射され、同時に撮像センサ３３による観察対象の撮影が開始される。この際、観察モードには第１観察モードが設定されている。

撮像制御部３７の制御の下、撮像センサ３３から画像信号が出力される。画像信号はＡＦＥ３６で相関二重サンプリング処理、増幅、およびアナログ／デジタル変換が施され、ＤＳＰ４１に出力される。ＤＳＰ４１では、画像信号に対して画素補間処理等が施される。ＤＳＰ４１で各種処理が施された画像信号は、画像処理部４２に出力される。

図１６のステップＳ１００に示すように、ＤＳＰ４１からの画像信号は、画像信号取得部６０で取得される（画像信号取得ステップ）。

ここで照明光は、短波長側の光である青色光ＢＬ、緑色光ＧＬの光強度が、長波長側の光である赤色光ＲＬの光強度と比べて強く設定されている。周知のように、短波長側の光は、長波長側の光と比べて、粘膜表層の構造を際立たせる効果がある。このため、短波長側の光である青色光ＢＬ、緑色光ＧＬの光強度を、長波長側の光である赤色光ＲＬの光強度と比べて強く設定することで、粘膜表層の構造を的確に捉えた画像信号を画像信号取得部６０で取得することができる。

画像信号は画像信号取得部６０から観察画像生成部６１に出力される。観察画像生成部６１では、画像信号に基づき、観察画像が生成される（ステップＳ１１０、観察画像生成ステップ）。観察画像は表示制御部４３に出力される。

表示制御部４３では、観察画像生成部６１からの観察画像に基づき、表示画面生成部７５により図１５に示す色割り当て画像表示領域８２がない画像表示画面７６が生成される（ステップ１２０でＮＯ、ステップＳ１７０）。画像表示画面７６はモニタ１４に表示される（ステップＳ１８０）。

医師は、必要に応じて入力デバイス１５を操作し、観察モードを第２観察モードに切り替える。これにより入力デバイス１５からの切替信号が主制御部４０で受信され、観察モードが第２観察モードに切り替わる（ステップＳ１２０でＹＥＳ）。

第２観察モードの場合、画像信号は観察画像生成部６１に加えて特徴量算出部６２にも出力される。特徴量算出部６２では、輪郭抽出処理により領域ＲＥが抽出され、抽出された領域ＲＥについて、複数種類の特徴量が算出される（ステップＳ１３０、特徴量算出ステップ）。複数種類の特徴量のうち、表７０で設定された第１特徴量が領域決定部６３に、第２特徴量がレベル分類部６４にそれぞれ出力される。

領域決定部６３では、第１特徴量および領域決定テーブル６６に基づき、各所見に該当する領域ＲＥが決定される（ステップＳ１４０、領域決定ステップ）。また、レベル分類部６４では、第２特徴量およびレベル分類テーブル６７に基づき、領域ＲＥについてレベルの分類が行われる（ステップＳ１５０、レベル分類ステップ）。領域決定部６３による領域決定結果、およびレベル分類部６４によるレベル分類結果は、色割り当て画像生成部６５に出力される。

第１特徴量に基づき各所見に該当する領域ＲＥを決定し、第２特徴量に基づきレベルの分類を行うので、各所見に該当する領域ＲＥの決定に有用な特徴量は第１特徴量に設定し、レベルの分類に有用な特徴量は第２特徴量に設定することができ、特徴量をその特性に応じて使い分けることができる。

また、第２特徴量は第１特徴量を含み、各所見に該当する領域ＲＥの決定と比べて多くの特徴量でレベルの分類を行うので、各所見に該当する領域ＲＥの決定精度と比べてレベルの分類精度を高めることができる。所見は経験の浅い医師であってもある程度見た目で判断することができるが、レベルの見極めには熟練が必要である。したがって、レベルの分類精度を高めることで、経験を問わず自信をもってレベルを見極めることができる。

色割り当て画像生成部６５では、領域決定結果、レベル分類結果、並びに色割り当てテーブル６８に基づき、色割り当て画像が生成される（ステップＳ１６０、色割り当て画像生成ステップ）。この際、領域ＲＥの境界に対して色割り当て処理が行われる。色割り当て画像は表示制御部４３に出力される。

領域ＲＥの境界に対して色割り当て処理を行うので、領域ＲＥの全体に色割り当て処理を行い、領域ＲＥの全体を色割り当てテーブル６８で設定された表示色および色味で塗り潰す場合よりも、表示に煩わしさがない。

また、インジゴカルミン等の色素を観察対象に散布して観察する場合や、狭帯域の波長の照明光を観察対象に照射して観察する場合も領域ＲＥの境界が主に着色されるので、色素を観察対象に散布して観察する場合や、狭帯域の波長の照明光を観察対象に照射して観察する場合の表示に似せることができる。色素を観察対象に散布して観察したり、狭帯域の波長の照明光を観察対象に照射して観察することに慣れた医師が違和感なく観察することができる。

表示制御部４３では、表示画面生成部７５により、観察画像生成部６１から観察画像と、色割り当て画像生成部６５から色割り当て画像に基づき、図１３に示す色割り当て画像表示領域８２を有する画像表示画面７６が生成される（ステップＳ１７０）。画像表示画面７６はモニタ１４に表示される（ステップＳ１８０、表示制御ステップ）。これら一連のステップＳ１００〜ステップＳ１８０は、医師により観察終了の指示が入力デバイス１５に入力される（ステップＳ１９０でＹＥＳ）まで続けられる。

医師は、第２観察モードにおける画像表示画面７６において、色割り当て画像を観察することで、表示色により所見を把握することができ、併せて色味により所見の程度も把握することができる。また、第２観察モードにおける画像表示画面７６には観察画像と色割り当て画像が並列表示されるので、医師はこれらの画像を比較しながら内視鏡検査を進めることができる。

本実施形態では、胃粘膜を観察対象とし、所見を胃炎に関するもの（胃炎の京都分類）としている。胃炎、特にピロリ菌の感染によって生じる慢性胃炎は、胃癌の重要なリスクファクターに指摘されている。また、胃癌は、癌の種類別の死亡者数の統計で常に上位にランクインしている。このため、胃粘膜を観察対象とし、所見を胃炎に関するものとすることで、胃癌の予防、胃癌の患者に掛かる医療費の削減、および胃癌による死亡者数の削減に寄与することができる。

［第２実施形態］
図１７および図１８に示す第２実施形態では、画像信号に対して明るさを均一にする明るさ補正処理を施し、その後特徴量を算出する。

図１７において、本実施形態の画像処理部９０には、上記第１実施形態の各機能部に加えて、明るさ補正処理部９１が構築される。なお、図１７では、上記第１実施形態の各機能部のうち、画像信号取得部６０と特徴量算出部６２のみを図示し、領域決定部６３等の図示を省略している。

明るさ補正処理部９１は、画像信号取得部６０からの画像信号に対して明るさを均一にする明るさ補正処理を施す。特徴量算出部６２は、明るさ補正処理部９１からの明るさ補正処理済みの画像信号から特徴量を算出する。

図１８は、明るさ補正処理の概念図である。矢印の上段は明るさ補正処理前、下段は明るさ補正処理後の撮像センサ３３のある行の画素の位置に対応する明るさを示す。明るさは、例えば各画素のＢ画像信号、Ｇ画像信号、Ｒ画像信号から算出される明度である。明るさ補正処理前は、照明光の照射ムラや胃粘膜の形状等により、明るい領域と暗い領域が混在している。明るさ補正処理部９１は、こうした明るさのムラを補正し、矢印の下段に示すように、明るさ補正処理前の明るさの平均値付近で明るさを全域にわたってほぼ一定とする。

このように、明るさ補正処理によって明るさがほぼ一定となった画像信号から特徴量を算出するので、信頼性の高い特徴量を算出することができ、ひいては領域決定結果およびレベル分類結果の信頼性も確保することができる。

上記第１実施形態では、各半導体光源５０〜５２から発せられる青色光ＢＬ、緑色光ＧＬ、赤色光ＲＬの混合光を照明光として用いているが、本発明はこれに限定されない。血中ヘモグロビンの吸収率が高い帯域に波長を合わせた狭帯域光、あるいは赤外光等の可視光以外の光を照明光として用いてもよい。すなわち、観察画像は通常画像に限らず、狭帯域光を観察対象に照射して得られた画像信号に基づく画像等の特殊画像であってもよい。

また、上記第１実施形態では、観察モードに関わらず、常に青色光ＢＬ、緑色光ＧＬ、赤色光ＲＬの混合光を照明光として照射しているが、第１観察モードでは青色光ＢＬ、緑色光ＧＬ、赤色光ＲＬの混合光を照射し、第２観察モードでは青色狭帯域光と緑色光ＧＬの混合光を照射する等、観察モードに応じて照明光を変更してもよい。さらに、半導体光源５０〜５２に代えて、キセノンランプを用いてもよい。

また、青色光ＢＬ、緑色光ＧＬ、赤色光ＲＬの光強度比ＢＬ：ＧＬ：ＲＬを、上記第１実施形態の式（１）で示した２：２：１ではなく、１：１：１とし、均一な光強度としてもよい。第１観察モードでは光強度比を１：１：１、第２観察モードでは光強度比を２：２：１とする等、観察モードに応じて光強度比を変更してもよい。

領域に選択的に集積する蛍光を発する薬剤や、インジゴカルミン等の色素を観察対象に散布してもよい。

［第３実施形態］
図１９および図２０に示す第３実施形態では、照明光として白色光を観察対象に照射して得られた画像信号に基づく通常画像に対して色およびコントラストのうち少なくとも１つを低減する低減処理を施した後、通常画像に色割り当て画像を重畳する。

図１９において、本実施形態の画像処理部９５には、上記第１実施形態の各機能部に加えて、低減処理部９６が構築される。また、表示制御部９７には、表示画面生成部７５に加えて、画像重畳部９８が構築される。なお、図１９では、図１７と同様に、上記第１実施形態の画像処理部４２の各機能部のうち、観察画像生成部６１および色割り当て画像生成部６５のみを図示し、領域決定部６３等の図示を省略している。

低減処理部９６は、通常画像に対して低減処理を施す。低減処理は、通常画像の色およびコントラストのうち少なくとも１つを低減する処理であり、例えば通常画像をグレースケール化し、かつ各画素の階調数を減じて、色およびコントラストを低減する処理である。

画像重畳部９８は、低減処理部９６からの低減処理済みの通常画像に、色割り当て画像生成部６５からの色割り当て画像を重畳し、重畳画像を生成する。表示画面生成部７５は、観察画像生成部６１からの観察画像と、画像重畳部９８からの重畳画像に基づき、図２０に示す画像表示画面１００を生成する。

図２０において、画像表示画面１００は、画像表示画面７６の色割り当て画像表示領域８２の代わりに、重畳画像を表示する重畳画像表示領域１０１を有する。その他の構成は画像表示画面７６と同じである。

観察画像が上記第１実施形態のように白色光を観察対象に照射して得られた画像信号に基づく通常画像ではなく、狭帯域光を観察対象に照射して得られた画像信号に基づく画像等の特殊画像であった場合、色割り当て処理は特殊画像に対して行われ、色割り当て画像は特殊画像がベースとなる。

特殊画像は通常画像と比べて観察対象の情報が捨象されたものとなる。このため、特殊画像をベースとする色割り当て画像では、観察対象の全体的な性状を把握することが困難となるおそれがある。この懸念は、特殊画像をベースとした色割り当て画像を通常画像に重畳して、特殊画像で捨象された観察対象の情報を通常画像で補うことで解決する。しかしながら、単に通常画像に色割り当て画像を重畳したのでは、せっかく色割り当て処理を行って領域に対応する所見と所見の程度の把握を可能とした色割り当て画像が、かえって見辛くなる。

そこで本実施形態では、上記のように通常画像に対して色およびコントラストのうち少なくとも１つを低減する低減処理を施し、低減処理済みの通常画像に色割り当て画像を重畳している。これにより、重畳画像において通常画像が色割り当て画像の観察の妨げになることがなく、特殊画像で捨象された観察対象の情報を通常画像で補いつつも、色割り当て画像の視認性を高めることができる。

また、通常画像に色割り当て画像を重畳する場合、通常画像で使用される色と同じ色を所見の表示色に設定してしまうと、重畳画像において見分けがつかなくなる。このため、通常画像に色割り当て画像を重畳する場合は、表示色として使用可能な色に制約がある。対して本実施形態のように、低減処理として色を低減する処理を施した通常画像に色割り当て画像を重畳する場合は、表示色として使用可能な色の幅が広がり、よりバリエーションに富んだ表示をすることが可能となる。

なお、上記第１実施形態のように通常画像をベースに色割り当て画像を生成する場合も、色割り当て画像に対して観察対象の情報が捨象される処理が施され、色割り当て画像が、観察対象の情報が捨象されたものであった場合は、本実施形態は有効である。

上記各実施形態では、胃粘膜を観察対象とし、所見を胃炎に関するもの（胃炎の京都分類）としているが、下部消化管用の内視鏡で大腸ポリープを観察対象とし、所見を大腸癌のピットパターン分類として知られるI型、II型、IIIｓ型等としてもよい。

大腸癌は胃癌と並んで癌の種類別の死亡者数の統計で上位にあり、特に女性の場合は死亡者数が１位である。このため、大腸ポリープを観察対象とし、所見を大腸癌のピットパターン分類とすることで、大腸癌の予防、大腸癌の患者に掛かる医療費の削減、および大腸癌による死亡者数の削減に寄与することができる。なお、大腸ポリープを観察対象とする場合は、大腸癌のピットパターン分類に限らず、所見を、炎症性腸疾患、クローン病、潰瘍性大腸炎等に関するものとしてもよい。

胃粘膜や大腸ポリープを観察対象として領域を決定しレベルを分類する場合、血管はノイズとなる。そこで、特徴量の算出に先立ち、血管部分の画像信号を検出し、血管部分の画像信号を周辺部分の画像信号で補間する処理を施してもよい。こうしてノイズとなる血管部分を目立たなくしたうえで特徴量を算出すれば、算出した特徴量、ひいては領域決定結果およびレベル分類結果がより信頼の置けるものとなる。

白色光の照明下において、粘膜表層の血管は赤色、中層の血管は茶褐色、深層の血管は紫色をそれぞれ呈することが知られている。このため、特定の色成分に着目して血管部分の画像信号を検出すればよい。なお、白色光ではなく、血中ヘモグロビンの吸収率が高い帯域に波長を合わせた狭帯域光の照明下では、血管の色が白色光の場合と異なるので、照明光に応じて着目する色成分を変更することが好ましい。

特定の色成分の画像信号を血管部分の画像信号として検出したうえで、さらにその周辺部分の特定の色成分と似た色成分の画像信号も併せて血管部分の画像信号として検出することが好ましい。また、別の血管として検出した部分の間隔が所定値以下で、かつ別の血管として検出した部分の長手方向が一致している場合、別の血管として検出した部分を同一の血管部分と推定して再認識する処理を加えてもよい。さらに、血管として検出した部分の幅、長さ、あるいは面積が所定値以下であった場合、血管部分ではなく単なる画像ノイズとして処理してもよい。

領域を決定しレベルを分類する場合にノイズとなるものは、血管に限らない。例えば、照明光が当たりすぎてハレーションを起こしている部分、逆に穴等で照明光が当たらない暗い部分、あるいは鉗子出口から突出した処置具の先端や可撓管部２１、挿入部１６に被覆されて挿入部１６の挿入を案内するガイドシース等の人工物も、血管と同様ノイズとなる。さらに、ピンボケ部分とブレ部分もノイズとなる。そこで、特徴量の算出に先立ち、こうしたノイズとなる部分の画像信号を検出して、これらの部分の画像信号を特徴量の算出対象から除外することが好ましい。

この場合、特徴量の算出対象となる画像信号が全体の例えば１０％以下等、特徴量の算出対象となる画像信号が比較的少なく、このままでは特徴量の信頼性を確保できないと判断した場合は、以降の特徴量の算出、領域の決定、レベルの分類、色割り当て処理の実施を中止してもよい。

なお、所見毎に予め用意された複数の基本パターンとの類似度を特徴量として算出し、これを第１特徴量として領域決定部６３に出力してもよい。この場合、特徴量算出部６２は、複数の基本パターンと画像信号とを照合し、複数の基本パターンの各々について類似度を算出する。特徴量算出部６２は、観察画像を細分化した各領域のそれぞれに対して照合と類似度の算出を行う。領域決定部６３は、複数の基本パターンとの類似度に応じて、各所見に該当する領域を決定する。例えば、複数の基本パターンとの類似度のうち、最も高い類似度を示した基本パターンに対応する所見を、その領域の所見とする。

なお、異なる複数の所見に該当する複数の領域同士が一部オーバーラップしていてもよい。この場合、オーバーラップした部分は、異なる所見が混在した領域となる。

上記第１実施形態で記載した第１特徴量と第２特徴量は一例であり、適宜変更してもよい。また、第１特徴量と第２特徴量は全く同じ特徴量でもよいし、全て異なる特徴量でもよい。

上記第１実施形態で記載した表示色および色味も一例であり、適宜変更してもよい。色味としては、上記第１実施形態で例示した彩度に加えて、あるいは代えて、明度を加えてもよい。

レベルは上記第１実施形態のレベル１〜３の３段階に限らない。レベル１、レベル２の２段階でもよいし、レベル１〜１０等、さらに細かく段階分けしてもよい。

上記第１実施形態では、第２観察モードにおける画像表示画面７６において、観察画像と色割り当て画像を並列表示しているが、色割り当て画像のみを表示してもよい。この場合は観察画像を画像表示画面７６とは別の表示画面で表示する、あるいは画像表示画面７６に表示切替ボタンを設け、表示切替ボタンの操作に応じて観察画像と色割り当て画像の表示を切り替える。観察画像と色割り当て画像を別の表示画面で表示する場合は、モニタ１４を２台のマルチモニタとし、一方のモニタに観察画像の表示画面、他方のモニタに色割り当て画像の表示画面を表示してもよい。上記第３実施形態の重畳画像についても同様に、重畳画像のみを表示してもよい。

画像表示画面７６に特徴量を表示してもよい。例えば色割り当て画像上の領域ＲＥを選択可能としておき、選択された領域ＲＥの特徴量の一覧を画像表示画面７６上にポップアップ表示する。この場合、色特徴量ＶＡ、形態特徴量ＶＢ、および分布特徴量ＶＣの特徴量の種類毎にまとめて表示することが好ましい。

上記第１実施形態では、Ｂフィルタ、Ｇフィルタ、およびＲフィルタの原色カラーフィルタが撮像面３３Ａに設けられた撮像センサ３３を例示しているが、シアン、マゼンタ、イエローの補色カラーフィルタが撮像面に設けられた撮像センサを用いてもよい。

また、カラーフィルタが設けられていないモノクロの撮像センサを用いてもよい。モノクロの撮像センサを用いる場合は、各半導体光源５０〜５２を、フレームレートに合わせて順次点灯させる。光源としてキセノンランプを用いる場合は、キセノンランプからの白色光を、フレームレートに合わせて青色光ＢＬ、緑色光ＧＬ、および赤色光ＲＬに順次分光するロータリーフィルタが、キセノンランプとライトガイド３５の入射端の間等に設けられる。

上記各実施形態では、内視鏡１１と直接接続されるプロセッサ装置１２を、本発明の画像処理装置として機能させる例で説明したが、画像処理装置をプロセッサ装置から独立した装置としてもよい。

本発明は、上記第１実施形態で例示した、いわゆる軟性鏡と呼ばれる内視鏡１１に限らず、超小型のカプセル内に撮像センサと光源が組み込まれたカプセル内視鏡についても適用することが可能である。

本発明は、上述の種々の実施形態あるいは種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にも及ぶ。

１０ 内視鏡システム
１１ 内視鏡
１２ プロセッサ装置（画像処理装置）
１３ 光源装置
１４ モニタ
１５ 入力デバイス
１６ 挿入部
１７ 操作部
１８ ユニバーサルコード
１９ 先端部
２０ 湾曲部
２１ 可撓管部
２２ アングルノブ
２３ 鉗子口
２４ 送気・送水ボタン
２５ コネクタ
２５Ａ 通信用コネクタ
２５Ｂ 光源用コネクタ
３０ 観察窓
３１ 照明窓
３２ 対物光学系
３３ 撮像センサ
３４ 照射レンズ
３５ ライトガイド
３６ アナログ信号処理部（ＡＦＥ）
３７ 撮像制御部
４０ 主制御部
４１ デジタル信号処理部（ＤＳＰ）
４２、９０、９５ 画像処理部
４３、９７ 表示制御部
４４ 作動プログラム
５０ 青色半導体光源（Ｂ半導体光源）
５１ 緑色半導体光源（Ｇ半導体光源）
５２ 赤色半導体光源（Ｒ半導体光源）
５３ 光路結合部
５４ 光源制御部
６０ 画像信号取得部
６１ 観察画像生成部
６２ 特徴量算出部
６３ 領域決定部
６４ レベル分類部
６５ 色割り当て画像生成部
６６ 領域決定テーブル
６７ レベル分類テーブル
６８ 色割り当てテーブル
７０ 表
７５ 表示画面生成部
７６、１００ 画像表示画面
８０ 検査情報表示領域
８１ 観察画像表示領域
８２ 色割り当て画像表示領域
８３ 凡例ボタン
８５ 凡例表示画面
８６ カラーブロック
９１ 明るさ補正処理部
９６ 低減処理部
９８ 画像重畳部
１０１ 重畳画像表示領域
ＲＥ 領域
ＨＣ ハッチング

Claims (10)

1. 生体内の観察対象を撮影して得られた画像信号を取得する画像信号取得部と、
   前記画像信号に基づき、前記観察対象の観察画像を生成する観察画像生成部と、
   前記画像信号から特徴量を算出する特徴量算出部と、
   前記特徴量に基づき、予め設定された複数の所見のそれぞれに該当する前記観察画像内の領域を決定する領域決定部と、
   前記特徴量に基づき、複数の前記所見の各々に対して予め設定された、前記所見の程度を表す複数のレベルのいずれかに前記領域を分類するレベル分類部と、
   前記所見毎に設定された表示色、かつ前記レベル毎に設定された、前記表示色の色味で、前記観察画像に対して色割り当て処理を行って、色割り当て画像を生成する色割り当て画像生成部と、
   前記色割り当て画像の表示を制御する表示制御部とを備える画像処理装置。
2. 前記特徴量算出部は複数種類の前記特徴量を算出し、
   前記領域決定部は、複数種類の前記特徴量のうちの第１特徴量に基づき前記領域の決定を行い、
   前記レベル分類部は、複数種類の前記特徴量のうちの第２特徴量に基づき前記レベルの分類を行う請求項１に記載の画像処理装置。
3. 前記第２特徴量は前記第１特徴量を含む請求項２に記載の画像処理装置。
4. 前記色割り当て画像生成部は、前記領域の境界に対して前記色割り当て処理を行う請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記観察対象は胃粘膜であり、
   前記所見は胃炎に関するものである請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記画像信号取得部は、短波長側の光強度を長波長側の光強度と比べて強くした照明光を前記観察対象に照射して得られた前記画像信号を取得する請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記画像信号に対して明るさを均一にする明るさ補正処理を施す明るさ補正処理部を備え、
   前記特徴量算出部は、前記明るさ補正処理済みの前記画像信号から前記特徴量を算出する請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 照明光として白色光を前記観察対象に照射して得られた前記画像信号に基づく通常画像に対して色およびコントラストのうち少なくとも１つを低減する低減処理を施す低減処理部を備え、
   前記表示制御部は、前記低減処理済みの前記通常画像に、前記色割り当て画像を重畳する請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 生体内の観察対象を撮影して得られた画像信号を取得する画像信号取得ステップと、
   前記画像信号に基づき、前記観察対象の観察画像を生成する観察画像生成ステップと、
   前記画像信号から特徴量を算出する特徴量算出ステップと、
   前記特徴量に基づき、予め設定された複数の所見のそれぞれに該当する前記観察画像内の領域を決定する領域決定ステップと、
   前記特徴量に基づき、複数の前記所見の各々に対して予め設定された、前記所見の程度を表す複数のレベルのいずれかに前記領域を分類するレベル分類ステップと、
   前記所見毎に設定された表示色、かつ前記レベル毎に設定された、前記表示色の色味で、前記観察画像に対して色割り当て処理を行って、色割り当て画像を生成する色割り当て画像生成ステップと、
   前記色割り当て画像の表示を制御する表示制御ステップとを備える画像処理装置の作動方法。
10. 生体内の観察対象を撮影して得られた画像信号を取得する画像信号取得機能と、
    前記画像信号に基づき、前記観察対象の観察画像を生成する観察画像生成機能と、
    前記画像信号から特徴量を算出する特徴量算出機能と、
    前記特徴量に基づき、予め設定された複数の所見のそれぞれに該当する前記観察画像内の領域を決定する領域決定機能と、
    前記特徴量に基づき、複数の前記所見の各々に対して予め設定された、前記所見の程度を表す複数のレベルのいずれかに前記領域を分類するレベル分類機能と、
    前記所見毎に設定された表示色、かつ前記レベル毎に設定された、前記表示色の色味で、前記観察画像に対して色割り当て処理を行って、色割り当て画像を生成する色割り当て画像生成機能と、
    前記色割り当て画像の表示を制御する表示制御機能とを、コンピュータに実行させる画像処理装置の作動プログラム。

Images