JP2006334115A - 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム - Google Patents

Abstract

【課題】 大量に撮像された内視鏡観察装置による内視鏡画像の中から、出血部位が撮像された画像を容易に、かつ正確に抽出することが可能な内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラムを提供すること。
【解決手段】 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において、上記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出し、上記算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する。
【選択図】 図３

Description

本発明は、管腔内を自走して観察部位を撮像する内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラムに関し、特に、内視鏡画像に基づいて出血部位を特定することにより内視鏡診断を支援する内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラムに関する。

従来、内視鏡は医療用分野及び工業用分野で広く採用されている。近年の医療用内視鏡には、その形状をカプセル形状にして挿入部を不要としている、所謂カプセル内視鏡なるものがある。このカプセル内視鏡は、撮像機能と無線通信機能とを有しており、観察（検査）のために患者の口から飲込まれた後、人体から自然排出されるまでの観察期間中に、胃、小腸等の臓器を順次撮像し、撮像による画像情報（画像を表現する電子データ）を順次外部に無線送信するものである。

このようにして無線送信された画像情報は、患者の体外に設けられた受信機により受信され所定のメモリに蓄積されるようになっており、その後、必要に応じて読み出し表示装置に表示等することにより、医師の診断等に利用することができるようになっている。

しかしながら、このようなカプセル内視鏡は、通常の内視鏡と異なり、患者の口から飲み込まれてから自然排出されるまでの期間が観察期間となることから、その観察期間が例えば８時間乃至１０時間以上といった具合に長時間におよぶこととなり、この間の撮像により得られた画像情報の数は膨大である。

このことから、診断等の段階において、このような膨大な数の画像情報を短時間で把握することは容易ではなく、また、膨大な数の画像情報の中から所望の画像情報、例えば疾患部位等が撮影された画像に係る画像情報を探し出すのも容易ではない。

また、カプセル内視鏡に限らず、通常の内視鏡を含む内視鏡検査における診断は、医師の主観に依存している部分が多大であり、画像診断の品質の向上及び読影時間の短縮を目的とした出病巣の存在を画像データから検出するコンピュータ診断支援（ＣＡＤ：Computer Aided Diagnosis）の実現が望まれている。このＣＡＤを利用した内視鏡診断支援装置は、画像内における関心領域（ＲＯＩ：Region Of Interest）から算出された様々な特徴量を用い、閾値処理あるいは統計的・非統計的識別器を用いて診断対象とする画像がどのような所見や病変に分類されるのかを医師に提示することにより、客観的・定量的な診断の支援を行ない、また病変が疑われる画像を選択することで医師の読影負担を軽減するものである。

このような内視鏡画像を用いた診断において、出血の存在には様々な病理学的な理由が考えられ、出血の検出においていくつかのアプローチが用いられてきた。
その１つに、出血部の色相、彩度、明度のサンプル値と、その画像における通常粘膜の色相、彩度、明度のサンプル値とを予め設定しておき、対象領域の値がどちらに近いのかを判定することにより、通常粘膜であるのか出血部であるのかを判別する手法が開示されている（例えば、特許文献１参照。）。
国際公開第０２／０７３５０７号パンフレット

しかしながら、出血部の色相、彩度、明度のサンプル値と、その画像における通常粘膜の色相、彩度、明度のサンプル値とを予め設定しておき、対象領域の値がどちらに近いのかを判定することにより、通常粘膜であるのか出血部であるのかを判別する手法は、その判別結果がサンプル値に依存してしまうという問題点があった。

本発明は、上記事情に鑑みてなされたものであり、大量に撮像された内視鏡観察装置による内視鏡画像の中から、出血部位が撮像された画像を容易に、かつ正確に抽出することが可能な内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラムを提供することを目的にしている。

本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の内視鏡診断支援方法は、内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において実行する内視鏡診断支援方法であって、上記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出し、上記算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別することを特徴とする。

また、本発明の内視鏡診断支援方法は、さらに、上記判別された画像領域を含む内視鏡画像を選択することが望ましい。
また、本発明の内視鏡診断支援方法は、上記出血部位を判別する際に、上記算出された上記内視鏡画像を構成する全画像領域の色調の平均値と各画像領域の色調の値とを比較することにより、上記複数の画像領域間の相違を判断することが望ましい。

また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値を算出し、上記出血部位を判別する際に、上記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された平均値と各画像領域の色調の値とを比較することにより、上記複数の画像領域間の相違を判断することが望ましい。

また、本発明の内視鏡診断支援方法は、上記出血部位を判別する際に、上記複数の画像領域間の相違を判断する際、上記算出された平均値と各画像領域の色調の値に所定マージンを加えた値と比較することが望ましい。

また、本発明の内視鏡診断支援方法は、上記所定マージンが、変動パラメータにより動的に変動することが望ましい。
また、本発明の内視鏡診断支援方法は、上記変動パラメータが、標準偏差、色度変動係数、変動値またはグラディエントであることが望ましい。

また、本発明の内視鏡診断支援方法は、上記変動パラメータが、上記算出した平均色度であることが望ましい。
また、本発明の内視鏡診断支援方法は、上記出血部位を判別する際に、上記算出された上記内視鏡画像を構成する全画像領域の色調の平均値からの色度偏差に基づいて、上記複数の画像領域間の相違を判断することが望ましい。

また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値からの色度偏差を算出し、上記出血部位を判別する際に、上記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された色度偏差に基づいて、上記複数の画像領域間の相違を判断することが望ましい。

また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、上記内視鏡画像を分割することにより得られた複数の各画像領域のうち所定の画像領域の色信号から色調を算出することが望ましい。

また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、上記内視鏡画像を構成する全画像領域の色調分布のうち中心部分を用いて平均値を算出することが望ましい。
また、本発明の一態様によれば、本発明の内視鏡診断支援装置は、内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置であって、上記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出する色調算出手段と、上記色調算出手段によって算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する出血部位判別手段とを備えることを特徴とする。

また、本発明の内視鏡診断支援装置は、上記出血部判別手段によって判別された画像領域を含む内視鏡画像を選択する出血内視鏡画像選択手段さらに備えることが望ましい。
また、本発明の内視鏡診断支援装置は、上記出血部位判別手段が、上記色調算出手段によって算出された上記内視鏡画像を構成する全画像領域の色調の平均値と各画像領域の色調の値とを比較することにより、上記複数の画像領域間の相違を判断することが望ましい。

また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記出血内視鏡画像選択手段によって過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値を算出し、上記出血部位判別手段が、上記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された平均値と各画像領域の色調の値とを比較することにより、上記複数の画像領域間の相違を判断することが望ましい。

また、本発明の内視鏡診断支援装置は、上記出血部位判別手段が、上記複数の画像領域間の相違を判断する際、上記算出された平均値と各画像領域の色調の値に所定マージンを加えた値と比較することが望ましい。

また、本発明の内視鏡診断支援装置は、上記所定マージンが、変動パラメータにより動的に変動することが望ましい。
また、本発明の内視鏡診断支援装置は、上記変動パラメータが、標準偏差、色度変動係数、変動値またはグラディエントであることが望ましい。

また、本発明の内視鏡診断支援装置は、上記変動パラメータが、上記算出した平均色度であることが望ましい。
また、本発明の内視鏡診断支援装置は、上記出血部位判別手段が、上記色調算出手段によって算出された上記内視鏡画像を構成する全画像領域の色調の平均値からの色度偏差に基づいて、上記複数の画像領域間の相違を判断することが望ましい。

また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記出血内視鏡画像選択手段によって過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値からの色度偏差を算出し、上記出血部位判別手段が、上記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された色度偏差に基づいて、上記複数の画像領域間の相違を判断することが望ましい。

また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記内視鏡画像を分割することにより得られた複数の各画像領域のうち所定の画像領域の色信号から色調を算出することが望ましい。

また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記内視鏡画像を構成する全画像領域の色調分布のうち中心部分を用いて平均値を算出することが望ましい。
また、本発明の一態様によれば、本発明の内視鏡診断支援プログラムは、内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において実行させるための内視鏡診断支援プログラムであって、上記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出する手順と、上記算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する手順とを実行させるための内視鏡診断支援プログラムである。

本発明によれば、大量に撮像された内視鏡観察装置による内視鏡画像の中から、出血部位が撮像された画像を容易に、かつ正確に抽出することが可能となる。

以下、図面を参照しながら本発明の実施の形態について述べる。
図１は、本発明を適用した内視鏡診断支援装置を含むカプセル内視鏡システムの全体構成図である。

図１において、カプセル内視鏡システム１は、パッケージ３にパッケージングされたカプセル型の内視鏡観察装置２、患者４に着用させるジャケット５、そのジャケット５に着脱自在の受信機６、本発明を適用した内視鏡診断支援装置７、ＣＦ（コンパクトフラッシュ（登録商標））メモリリーダ／ライタ８、ラベルプリンタ９、内視鏡ファイリング装置１０、及びＬＡＮ等のネットワーク１１により構成されている。

内視鏡観察装置２には、不図示の撮像部と無線通信部等が設けられ、撮像部により撮像された画像情報（撮像画像に係る画像情報）が無線通信部により外部に無線送信可能に設けられている。

ジャケット５には、内視鏡観察装置２の無線通信部から送信される撮像画像に係る画像情報の電波を捕捉するアンテナ５ａ，５ｂ，５ｃ，及び５ｄが設けられ、受信機６との間で無線もしくはケーブルによる有線にて通信可能に設けられている。

受信機６には、ジャケット５から直接電波で画像情報を受信する場合に用いられるアンテナ６ａ、観察（検査）に必要な情報を表示する表示部６ｂ、及び観察（検査）に必要な情報を入力する入力部６ｃが設けられている。また、受信機６は、受信した画像情報が記憶されるＣＦメモリ１２を着脱可能に装着することができる。

内視鏡診断支援装置７は、本体７ａ、表示装置７ｂ、キーボード７ｃ、マウス７ｄ等から構成され、医師等が内視鏡観察装置２により撮影された患者体内の臓器等の画像に基づいて診断を行なうための処理機能を有している。内視鏡診断支援装置７は、受信機６、ＣＦメモリリーダ／ライタ８、ラベルプリンタ９とそれぞれ通信可能に接続するインターフェイスを有しており、ＣＦメモリ１２のリード／ライト、カルテ印刷等を行なう。また、内視鏡診断支援装置７は、例えば受信機６から転送された患者体内の撮像画像に係る画像情報に基づいて表示部７ｂに臓器等の画像を表示する。更に、内視鏡診断支援装置７は、ネットワーク１１に接続するための通信機能を有しており、ネットワーク１１を介して内視鏡ファイリング装置１０に患者の診察結果等を蓄積する。尚、内視鏡ファイリング装置１０は、内視鏡診断支援装置７に内蔵されていても良い。

図１に示したように、検査を開始する前において、パッケージ３から内視鏡観察装置２が取り出され、患者４の口から当該内視鏡観察装置２が飲み込まれると、当該内視鏡観察装置２は、食道を通過し、消化管腔の蠕動により体腔内を進行し、逐次体腔内の像を撮像する。

そして、必要に応じてまたは随時撮像結果について内視鏡観察装置２から撮像画像に係る画像情報の電波が出力され、ジャケット５の各アンテナ５ａ，５ｂ，５ｃ，５ｄでその電波が捕捉される。受信電波強度の高いアンテナ５ａ，５ｂ，５ｃまたは５ｄからの信号が体外の受信機６へ送信される。

受信機６においては、逐次受信される撮像画像に係る画像情報がＣＦメモリ１２に格納される。尚、この受信機６は内視鏡観察装置２の撮像開始とは同期しておらず、入力部６ｃの操作により受信開始と受信終了とが制御される。また、撮像画像に係る画像情報としては、動画的に表示するために複数コマ／秒で撮像した静止画像に係る画像情報でもよいし、通常の動画像に係る画像情報でもよいが、ここでは、静止画像に係る画像情報とする。

内視鏡観察装置２による患者４の観察（検査）が終了すると、ＣＦメモリ１２に格納されている撮像画像に係る画像情報がケーブルを介して内視鏡診断支援装置７に転送される。或いは、その撮像画像に係る画像情報が格納されているＣＦメモリ１２がＣＦメモリリーダ／ライタ８に装着され、撮像画像に係る画像情報がＣＦメモリカード／ライタ８を介して内視鏡診断支援装置７に転送されるようにすることも可能である。

内視鏡診断支援装置７では、転送されてきた撮像画像に係る画像情報が患者別に記憶され、必要に応じて、特定の患者の撮像画像に係る画像情報が読み出され、表示部７ｂにより画像表示される。これにより、超音波プローブ、通常の内視鏡等では到達し得ない体深部（小腸等）も含め、人体の消化管のすべてに亙って、生理学的研究の有用なデータ獲得や病変の診断を行なうことができる。

ところで、内視鏡観察装置２は、前述のとおり、消化管腔の蠕動に委ねて移動するものであるから、移動と停止を繰り返しながら撮像を行なう。従って、この間に撮像された画像情報に係る画像の総数は膨大となるものの、時系列に連続する画像は、同一或いは略同一の画像となることが多くなるという特徴を有している。

内視鏡診断支援装置７では、このような時系列に連続する画像が同一或いは略同一の画像となる多数の画像を表示する際に、その多数の画像を容易に把握するのに適した表示であって、その多数の画像の中から所望の画像、例えば疾患部位が撮影された画像を容易に探し出すのに適した表示を行なうことができるようになっている。

次に、本内視鏡診断支援装置７の構成及び動作について、更に詳細に説明する。
図２は、内視鏡診断支援装置７のシステム構成を説明するための図である。
図２において、画像処理及び情報処理を実行する内視鏡診断支援装置の本体７ａは、一般にパーソナルコンピュータが用いられており、生体内を撮像して画像信号を出力する内視鏡観察装置２の出力する画像信号から画像データを生成するとともに生成された画像データを蓄積する内視鏡ファイリング装置１０に蓄積されている画像データをネットワーク１１経由で取得し、画像データに対して各種処理を実行し、処理結果を表示装置７ｂに表示する。処理を実行する画像データの指定、指定された画像データの取得表示、処理実行の指示は、キーボード７ｃ及びマウス７ｄとからなる操作装置を用いた操作によって行なわれる。

また、本体７ａは、制御・処理を実行するＣＰＵ２１と、処理プログラム・データを記憶するメモリ２４と、ハードディスクからなる記憶装置７ｅとの間で情報の読み書きを実行する外部記憶Ｉ／Ｆ２５と、外部機器との通信を実行するネットワークカード２１と、操作装置との入出力を実行する操作Ｉ／Ｆ２２と、表示装置７ｂにビデオ信号を出力するグラフィックボード２６とが、バス２７に接続されており、バス２７を介して相互に通信を行なう。

ネットワークカード２１は、ＬＡＮ上に接続されている内視鏡ファイリング装置１０とデータの送受信を行なう。操作Ｉ／Ｆ２２は、操作装置であるキーボード７ｃ及びマウス７ｄによって入力された入力信号を受け取り、必要なデータ処理を実行する。

記憶装置７ｅは、本体７ａに接続されており、解析処理を実行する内視鏡診断支援プログラムを格納している。内視鏡診断支援プログラムは、複数の実行ファイルまたは動的リンクライブラリファイルまたは設定ファイルから構成され、内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出し、算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する。

外部記憶Ｉ／Ｆ２５は、記憶装置７ｅに記憶されている内視鏡診断支援プログラムを読み込み、メモリ２４に記憶させる。
ＣＰＵ２３は、メモリ２４に記憶された内視鏡診断支援プログラムを実行することにより、内視鏡画像の取得および内視鏡診断支援処理を含む画像解析処理を行なう。

次に、図３乃至図１２を用いて内視鏡診断支援装置７が実行する内視鏡診断支援の動作について説明する。尚、本内視鏡診断支援の動作は、前述のとおり、ＣＰＵ１３がＲＯＭ１４に予め格納されている制御プログラムを読み出し実行することによって行われる動作である。

図３は、本発明を適用した内視鏡診断支援装置７が実行する内視鏡診断支援処理の流れ（その１）を示すフローチャートである。
図３に示した内視鏡診断支援処理は、画像情報における平均色度を算出し、この算出して平均色度からの色度偏差に基づいて、あるいは絶対色度に基づいて、出欠部位を識別するものである。

まず、ステップＳ３１において、内視鏡診断支援装置７は内視鏡ファイリング装置１０から、または内視鏡ファイリング装置１０からデータを受信した記憶装置７ｅから、内視鏡観察装置２が撮像した画像情報を取得する。

ステップＳ３２において、ステップＳ３１で取得した画像データを複数（例えば、Ｍ×Ｎ個）の領域に分割する。ここで、複数の領域に分割するとは、例えば縦２８８画素×横２８８画素の画像データを分割して縦８画素×横８画素の領域を縦３６×横３６個に分割することをいい、その場合、Ｍ＝３６、Ｎ＝３６となる。

ステップＳ３３乃至Ｓ３６において、ステップＳ３２で分割した各領域の色度を算出する。すなわち、ステップＳ３３で変数ｉに１を代入して処理を開始し、ステップＳ３４およびステップＳ３５において、ｉ番目の領域（ｉ＝１乃至Ｍ×Ｎ）における色度として、三原色成分の赤色成分に対する緑色成分の比（ｇ／ｒ（ｉ）＝Ｇ（ｉ）／Ｒ（ｉ））と緑色成分に対する青色成分の比（ｂ／ｇ（ｉ）＝Ｂ（ｉ）／Ｇ（ｉ））を算出する。

そして、ステップＳ３７において、ステップＳ３５で算出した１番目からＭ×Ｎ番目までのｇ／ｒ（ｉ）の平均値Ｍｇ／ｒおよびｂ／ｇ（ｉ）の平均値Ｍｂ／ｇを算出する。
次に、ステップＳ３８乃至Ｓ４２において、ステップＳ３２で分割した各領域が出血部位を含んでいるか否かを判断する。すなわち、ステップＳ３８で変数ｉに１を代入して処理を開始し、ステップＳ３９において、ｇ／ｒ（ｉ）がＭｇ／ｒに所定マージンを加えた値より小さくかつｂ／ｇ（ｉ）がＭｂ／ｇに所定マージンを加えた値より大きいか否かを判断する。ｇ／ｒ（ｉ）がＭｇ／ｒに所定マージン（例えば、−０．１）を加えた値より小さくかつｂ／ｇ（ｉ）がＭｂ／ｇに所定マージン（例えば、−０．０１）を加えた値より大きいと判断した場合（ステップＳ３９：ＹＥＳ）は、ステップＳ４０において、ｉ番目の領域は出血部位を含んでいると判断する。

ここで、Ｍｇ／ｒに所定マージンを加えたり、Ｍｂ／ｇ（ｉ）に所定マージンを加えたりしたのは、図４に示した出血部位を含まない画像の色度分布図と図５に示した出血部位を含む画像の色度分布図とから明らかなように、赤色成分に対する緑色成分の比が平均値Ｍｇ／ｒに所定マージンを加えた値より小さく、かつ緑色成分に対する青色成分の比が平均値Ｍｂ／ｇに所定マージンを加えた値より大きい領域が、出血部位を示すからである。また、ｇ／ｒ（ｉ）が所定の絶対出血閾値Ｚｇ／ｒより小さく、かつｂ／ｇ（ｉ）が所定の絶対出血閾値Ｚｂ／ｇより大きければ、平均値Ｍｇ／ｒ、Ｍｂ／ｇに因らずｉ番目の領域は出血部位を含んでいると判断してもよい。これにより、大出血領域が含まれるために平均値Ｍｇ／ｒおよびＭｂ／ｇが出血部位の領域に大きく偏ってしまう場合にも出血部位の存在を判断することが可能となる。

以上が、画像情報における平均色度を算出し、この算出した平均色度からの色度偏差に基づいて、あるいは絶対色度に基づいて、出血部位を識別する内視鏡診断支援処理についての説明である。

ところが、出血部位が存在する画像データにおいては、画像粘膜平均値が出血部位の方に偏ってしまい、この平均値からの色度偏差を用いることにより誤った出血部位の識別をしてしまう可能性がある。

そこで、異物や出血部位の影響の小さい通常粘膜のみの画像データから画像粘膜平均値を算出することが可能な内視鏡診断支援処理について説明する。
図６は、本発明を適用した内視鏡診断支援装置７が実行する内視鏡診断支援処理の流れ（その２）を示すフローチャートである。

まず、ステップＳ６１乃至Ｓ６３において、時系列に取得された過去の画像データの情報を用いて粘膜平均値を算出する。具体的には、ステップＳ６１において、過去に取得した画像データを時系列に全て取得し、ステップＳ６２において、取得した画像データのうち任意の画像データＰ_jを取得し、ステップＳ６３において、画像データＰ_jより時系列的に１つ前からｎ個前までの画像データＰ_j-1からＰ_j-nまでの画像データのうち、既に内視鏡診断支援処理によって出血部位を含むと判断された領域以外の領域（非出血部位である領域）のデータを用いて、平均色度Ｍｇ／ｒおよびＭｂ／ｇを算出する。

次に、ステップＳ６４において、ステップＳ６２で取得した画像データＰ_jを複数（例えば、Ｍ×Ｎ個）の領域、例えば縦２８８画素×横２８８画素の画像データを分割して縦８画素×横８画素の領域を縦３６×横３６個に分割する。

ステップＳ６５乃至Ｓ７０において、ステップＳ６２で分割した各領域の色度を算出し、その各領域が出血部位を含んでいるか否かを判断する。すなわち、ステップＳ６５で変数ｉに１を代入して処理を開始し、ステップＳ６６において、ｉ番目の領域（ｉ＝１乃至Ｍ×Ｎ）における色度として、三原色成分の赤色成分に対する緑色成分の比（ｇ／ｒ（ｉ）＝Ｇ（ｉ）／Ｒ（ｉ））と緑色成分に対する青色成分の比（ｂ／ｇ（ｉ）＝Ｂ（ｉ）／Ｇ（ｉ））を算出する。そして、ステップＳ６７において、ｇ／ｒ（ｉ）がＭｇ／ｒに所定マージンを加えた値より小さくかつｂ／ｇ（ｉ）がＭｂ／ｇに所定マージンを加えた値より大きいか否かを判断する。ｇ／ｒ（ｉ）がＭｇ／ｒに所定マージン（例えば、−０．１）を加えた値より小さくかつｂ／ｇ（ｉ）がＭｂ／ｇに所定マージン（例えば、−０．０１）を加えた値より大きいと判断した場合（ステップＳ６７：ＹＥＳ）は、ステップＳ６８において、ｉ番目の領域は出血部位を含んでいると判断する。

このように、時系列に取得され、既に出血部位を含んでいるか否かの判断がされた過去の画像データに基づいて平均色度Ｍｇ／ｒおよびＭｂ／ｇを算出することにより、観察対象の部位における通常粘膜の平均色度に基づいた内視鏡診断支援処理を実行することができる。

また、分割された領域のうち通常粘膜に属する領域のみに限定し、それらの領域の平均値を算出することも可能である。
図７は、通常粘膜の領域のみに基づいて平均値を算出する処理の流れを示すフローチャートである。

まず、ステップＳ７１において、内視鏡診断支援装置７は内視鏡ファイリング装置１０から、または内視鏡ファイリング装置１０からデータを受信した記憶装置７ｅから、内視鏡観察装置２が撮像した画像情報を取得する。

そして、ステップＳ７２において、ステップＳ７１で取得した画像データを複数（例えば、Ｍ×Ｎ個）の領域、例えば縦２８８画素×横２８８画素の画像データを分割して縦８画素×横８画素の領域を縦３６×横３６個に分割する。

次に、ステップＳ７３乃至Ｓ７８において、ステップＳ７２で分割した各領域の色度を算出し、その各領域が通常粘膜であるか否かを判断する。すなわち、ステップＳ７３で変数ｉに１を代入して処理を開始し、ステップＳ７４において、ｉ番目の領域（ｉ＝１乃至Ｍ×Ｎ）における色度として、三原色成分の赤色成分に対する緑色成分の比（ｇ／ｒ（ｉ）＝Ｇ（ｉ）／Ｒ（ｉ））と緑色成分に対する青色成分の比（ｂ／ｇ（ｉ）＝Ｂ（ｉ）／Ｇ（ｉ））を算出する。そして、ステップＳ７５において、ｇ／ｒ（ｉ）が所定値（ｔｈｒｅ１１）より大きくかつｂ／ｇ（ｉ）が所定値（ｔｈｒｅ１２）より大きいか否かを判断する。ｇ／ｒ（ｉ）が所定値（ｔｈｒｅ１１）より大きくかつｂ／ｇ（ｉ）が所定値（ｔｈｒｅ１２）より大きいと判断した場合（ステップＳ７５：ＹＥＳ）は、ステップＳ７６において、ｉ番目の領域は通常粘膜であると判断して、フラグを立てる（変数ｆｌａｇに値ＮＥＮを代入する）。

そして、ステップＳ７９において、ステップＳ７６で通常粘膜であると判断された領域、すなわち変数ｆｌａｇに値ＮＥＮが代入されている領域についての平均色度Ｍｇ／ｒおよびＭｂ／ｇを算出する。

また、分割された領域の色度分布を参照し、異物や出血部位等の影響の少ないであろう分布中心付近についての平均値を算出することも可能である。
図８は、色度分布の中心付近についての領域に基づいて平均値を算出する処理の流れを示すフローチャートである。

まず、ステップＳ８１において、内視鏡診断支援装置７は内視鏡ファイリング装置１０から、または内視鏡ファイリング装置１０からデータを受信した記憶装置７ｅから、内視鏡観察装置２が撮像した画像情報を取得する。

ステップＳ８２において、ステップＳ８１で取得した画像データを複数（例えば、Ｍ×Ｎ個）の領域、例えば縦２８８画素×横２８８画素の画像データを分割して縦８画素×横８画素の領域を縦３６×横３６個に分割する。

ステップＳ８３乃至Ｓ８６において、ステップＳ８２で分割した各領域の色度を算出する。すなわち、ステップＳ８３で変数ｉに１を代入して処理を開始し、ステップＳ８４およびステップＳ８５において、ｉ番目の領域（ｉ＝１乃至Ｍ×Ｎ）における色度として、三原色成分の赤色成分に対する緑色成分の比（ｇ／ｒ（ｉ）＝Ｇ（ｉ）／Ｒ（ｉ））と緑色成分に対する青色成分の比（ｂ／ｇ（ｉ）＝Ｂ（ｉ）／Ｇ（ｉ））を算出する。

そして、ステップＳ８７において、ステップＳ８４で算出した各領域の色度のうち、赤色成分に対する緑色成分の比ｇ／ｒ（ｉ）を昇順に並べ（図９参照）、ステップＳ８８において、下から所定割合（ｘ％）以下の部分および上から所定割合（ｙ％）以上の部分を除く領域を通常粘膜として定め（図９参照）、ステップＳ８９において、ステップＳ８８で通常粘膜と定めた領域についての平均値Ｍｇ／ｒおよびｂ／ｇ（ｉ）の平均値Ｍｂ／ｇを算出する。

次に、繊毛領域や胃炎等の慢性疾患領域による、粘膜の色度変動に対する出血部位の誤抽出を削減することが可能な内視鏡診断支援処理について説明する。
処理の流れは、出血部位を含む領域の抽出条件が異なること以外、図３または図６と同様である。すなわち、図３のステップＳ３９または図６のステップＳ６７で示した条件「ｇ／ｒ（ｉ）がＭｇ／ｒに所定マージンを加えた値より大きくかつｂ／ｇ（ｉ）がＭｂ／ｇ（ｉ）に所定マージンを加えた値より小さいか否か」においての各所定マージンが異なる。

図３または図６に示した例では、Ｍｇ／ｒに加えた所定マージンを『−０．１』、Ｍｂ／ｇ（ｉ）に加えた所定マージンを『−０．０１』としたが、ここでは、Ｍｇ／ｒに加える所定マージンを『−０．１−Ａ』、Ｍｂ／ｇ（ｉ）に加える所定マージンを『−０．０１＋Ｂ』とする。

変数Ａは、分割された領域ｉの周辺領域におけるｇ／ｒ（ｉ）の値の標準偏差×ｋであり、変数Ｂは、分割された領域ｉの周辺領域におけるｂ／ｇ（ｉ）の値の標準偏差×ｋである。すなわち、偏差が大きい領域で出血部位の抽出条件がさらに厳しくなり、繊毛領域や胃炎等の慢性疾患領域による、粘膜の色度変動に対する出血部位の誤検出を削減することが可能となる。

また、変数Ａを、分割された領域ｉの周辺領域におけるｇ／ｒ（ｉ）の値の変動係数×ｋとし、変数Ｂを、分割された領域ｉの周辺領域におけるｂ／ｇ（ｉ）の値の変動係数×ｋとしてもよい。

また、変数Ａは、図１０に示すような分割領域ｉ内の８方向（図１０の方向（１）乃至方向（８））におけるＧ変動／Ｒ変動の最大値×ｋ、変数Ｂは、分割領域ｉ内の８方向（図１０の方向（１）乃至方向（８））におけるＢ変動／Ｇ変動の最大値×ｋとしてもよい。なお、ここで、Ｇ変動＝ｌｏｇ_e（Ｇ´）−ｌｏｇ_e（Ｇ）、Ｒ変動＝ｌｏｇ_e（Ｒ´）−ｌｏｇ_e（Ｒ）とする。

また、変数Ａおよぶ変数Ｂは、分割領域ｉにおけるグラディエント×ｋを用いてもよい。
次に、腸液等に覆われた黄色の色度を有する粘膜領域に存在する出血部位を識別する例を説明する。腸液等で覆われた黄色の色度を有する粘膜領域に存在する出血部位の色度偏差は、通常の粘膜領域に存在する出血部位の色度偏差は異なる特徴を有するため、出血部位を識別するための条件を変更する必要がある。

図１１は、黄色の色度を有する粘膜領域に存在する出血部位を識別する内視鏡診断支援処理の流れを示すフローチャートである。
まず、ステップＳ１１１において、内視鏡診断支援装置７は内視鏡ファイリング装置１０から、または内視鏡ファイリング装置１０からデータを受信した記憶装置７ｅから、内視鏡観察装置２が撮像した画像情報を取得する。

ステップＳ１１２において、ステップＳ１１１で取得した画像データを複数（例えば、Ｍ×Ｎ個）の領域、例えば縦２８８画素×横２８８画素の画像データを分割して縦８画素×横８画素の領域を縦３６×横３６個に分割する。

ステップＳ１１３乃至Ｓ１１６において、ステップＳ１１２で分割した各領域の色度を算出する。すなわち、ステップＳ１１３で変数ｉに１を代入して処理を開始し、ステップＳ１１４およびステップＳ１１５において、ｉ番目の領域（ｉ＝１乃至Ｍ×Ｎ）における色度として、三原色成分の赤色成分に対する緑色成分の比（ｇ／ｒ（ｉ）＝Ｇ（ｉ）／Ｒ（ｉ））と緑色成分に対する青色成分の比（ｂ／ｇ（ｉ）＝Ｂ（ｉ）／Ｇ（ｉ））を算出する。

そして、ステップＳ１１７において、ステップＳ１１５で算出した１番目からＭ×Ｎ番目までのｇ／ｒ（ｉ）の平均値Ｍｇ／ｒおよびｂ／ｇ（ｉ）の平均値Ｍｂ／ｇを算出する。

次に、ステップＳ１１８において、ステップ１１７で算出した平均値Ｍｂ／ｇが所定値（α）より小さいか否かを判断し、小さいと判断された場合（ステップＳ１１８：ＹＥＳ）は、ステップＳ１１９において、その画像データは腸液等に覆われた黄色の色度を有する粘膜の画像であると判断する。

最後に、ステップＳ１２０乃至Ｓ１２４において、ステップＳ１１２で分割した各領域が出血部位を含んでいるか否かを判断する。すなわち、ステップＳ１２０で変数ｉに１を代入して処理を開始し、ステップＳ１２１において、ｇ／ｒ（ｉ）がＭｇ／ｒに所定マージンを加えた値より小さくかつｂ／ｇ（ｉ）がＭｂ／ｇに所定マージンを加えた値より大きいか否かを判断する。ｇ／ｒ（ｉ）がＭｇ／ｒに所定マージン（例えば、−０．１）を加えた値より小さくかつｂ／ｇ（ｉ）がＭｂ／ｇに所定マージン（例えば、０．０３）を加えた値より大きいと判断した場合（ステップＳ１２１：ＹＥＳ）は、ステップＳ１２２において、ｉ番目の領域は出血部位を含んでいると判断する。

次に、画像における分割領域を複数のカテゴリに分類し、カテゴリ毎の粘膜平均色度を算出し、それぞれのカテゴリにより出血部位の抽出条件が異なる例について説明する。この例は、１つの画像に複数のカテゴリに属する領域が混在する場合に最適な抽出条件を選択することができ、出血部位の検出精度を上げることが可能となる。

図１２は、複数のカテゴリにより出血部位の抽出条件が異なる例の内視鏡診断支援処理の流れを示すフローチャートである。
まず、ステップＳ１３１において、内視鏡診断支援装置７は内視鏡ファイリング装置１０から、または内視鏡ファイリング装置１０からデータを受信した記憶装置７ｅから、内視鏡観察装置２が撮像した画像情報を取得する。

ステップＳ１３２において、ステップＳ１３１で取得した画像データを複数（例えば、Ｍ×Ｎ個）の領域に分割する。ここで、複数の領域に分割するとは、例えば縦２８８画素×横２８８画素の画像データを分割して縦８画素×横８画素の領域を縦３６×横３６個に分割することをいい、その場合、Ｍ＝３６、Ｎ＝３６となる。

そして、ステップＳ１３３において、各領域における領域特徴量を算出する。例えば領域特徴量として、ｉ番目の領域（ｉ＝１乃至Ｍ×Ｎ）における三原色成分の緑色成分に対する青色成分の比（ｂ／ｇ（ｉ）＝Ｂ（ｉ）／Ｇ（ｉ））を算出する。

次に、ステップＳ１３４において、ステップＳ１３３で算出した領域特徴量に基づいて、各領域が属するカテゴリを識別する。例えば、緑色成分に対する青色成分の比ｂ／ｇ（ｉ）が、所定値より大きければ通常粘膜の領域のカテゴリであるとして分類しフラグを立て（変数ｃｌａｓｓ（ｉ）＝１を代入する）、緑色成分に対する青色成分の比ｂ／ｇ（ｉ）が、所定値以下であれば黄色粘膜の領域のカテゴリであるとして分類しフラグを立てる（変数ｃｌａｓｓ（ｉ）＝２を代入する。カテゴリの数を示すＫ＝２）。なお、領域特徴量として複数の特徴量を算出し、識別器を用いて複数のカテゴリに分類してもよい。

そして、ステップＳ１３５において、分割された領域ｉの領域色度を算出する。例えば、領域色度として、ｉ番目の領域（ｉ＝１乃至Ｍ×Ｎ）におけるｇ／ｒ（ｉ）、ｂ／ｇ（ｉ）を算出する。

次に、ステップＳ１３６乃至Ｓ１４１において、ステップＳ１３２で分割してステップＳ１３４でカテゴリ分けした、各カテゴリの各領域が出血部位を含んでいるか否かを判断する。すなわち、ステップＳ１３６で変数ｊに１を代入して処理を開始し、ステップＳ１３７でまず第１番目のカテゴリにおける平均色度として、分割領域ｉの１番目からＭ×Ｎ番目までの領域のうち第１番目のカテゴリに属する領域（変数ｃｌａｓｓ（ｉ）＝１）のｇ／ｒ（ｉ）の平均値Ｍｇ／ｒ（１）およびｇ／ｒ（ｉ）の平均値Ｍｇ／ｒ（１）を算出する。そして、ステップＳ１３８乃至Ｓ１３９において、第１番目のカテゴリに属する領域（変数ｃｌａｓｓ（ｉ）＝１）において、第１番目のカテゴリの出血部検出条件式を適用する。つまり第１番目のカテゴリは通常粘膜であるので、第１番目のカテゴリに属するｉ番目の領域（ｉ＝１乃至Ｍ×Ｎ、変数ｃｌａｓｓ（ｉ）＝１）において、ｇ／ｒ（ｉ）がＭｇ／ｒ（１）に所定マージンを加えた値より小さくかつｂ／ｇ（ｉ）がＭｂ／ｇ（１）に所定マージンを加えた値より大きいか否かを判断する。ｇ／ｒ（ｉ）がＭｇ／ｒ（１）に所定マージン（例えば、−０．１）を加えた値より小さくかつｂ／ｇ（ｉ）がＭｂ／ｇ（１）に所定マージン（例えば、−０．０１）を加えた値より大きいと判断したｉ番目の領域は出血部位を含んでいると判断する。そして、分割領域ｉの１番目からＭ×Ｎ番目までの領域のうち第１番目のカテゴリに属する全ての領域について第１番目のカテゴリの出血部検出条件式を適用し、出血部位を含んでいるか否かを判断する。ステップＳ１４１のおいて変数ｊをインクリメントし、ステップＳ１３７乃至Ｓ１３９の処理を２番目以降のカテゴリにも適用し、全てのカテゴリについての処理を実行して終了する。

以上、本発明を適用した実施の形態を説明してきたが、本発明が適用される内視鏡診断支援装置は、その機能が実行されるのであれば、上述の実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。

すなわち、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。

本発明を適用した内視鏡診断支援装置を含むカプセル内視鏡システムの全体構成図である。 内視鏡診断支援装置７のシステム構成を説明するための図である。 本発明を適用した内視鏡診断支援装置７が実行する内視鏡診断支援処理の流れ（その１）を示すフローチャートである。 出血部位を含まない画像の色度分布図である。 出血部位を含む画像の色度分布図である。 本発明を適用した内視鏡診断支援装置７が実行する内視鏡診断支援処理の流れ（その２）を示すフローチャートである。 通常粘膜の領域のみに基づいて平均値を算出する処理の流れを示すフローチャートである。 色度分布の中心付近についての領域に基づいて平均値を算出する処理の流れを示すフローチャートである。 赤色成分に対する緑色成分の比ｇ／ｒ（ｉ）の分布を示す図である。 領域の位置関係を示す図である。 黄色の色度を有する粘膜領域に存在する出血部位を識別する内視鏡診断支援処理の流れを示すフローチャートである。 複数のカテゴリにより出血部位の抽出条件が異なる例の内視鏡診断支援処理の流れを示すフローチャートである。

符号の説明

１
１ カプセル型内視鏡システム
２ カプセル型内視鏡
３ パッケージ
４ 患者
５ ジャケット
５ａ アンテナ
５ｂ アンテナ
５ｃ アンテナ
５ｄ アンテナ
６ 受信機
６ａ アンテナ
６ｂ 表示部
６ｃ 入力部
７ 内視鏡診断支援装置
７ａ 本体
７ｂ 表示装置
７ｃ キーボード
７ｄ マウス
７ｅ 記憶装置
８ ＣＦメモリリーダ／ライタ
９ ラベルプリンタ
１０ 内視鏡ファイリング装置
１１ ネットワーク
１２ ＣＦメモリ
２１ ネットワークカード
２２ 操作Ｉ／Ｆ
２３ ＣＰＵ
２４ メモリ
２５ 外部記憶Ｉ／Ｆ
２６ グラフィックカード
２７ バス

Claims (25)

1. 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において実行する内視鏡診断支援方法であって、
   前記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出し、
   前記算出された各画像領域の色調に基づいて前記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別することを特徴とする内視鏡診断支援方法。
2. さらに、前記判別された画像領域を含む内視鏡画像を選択することを特徴とする請求項１に記載の内視鏡診断支援方法。
3. 前記出血部位を判別する際は、前記算出された前記内視鏡画像を構成する全画像領域の色調の平均値と各画像領域の色調の値とを比較することにより、前記複数の画像領域間の相違を判断することを特徴とする請求項１または２に記載の内視鏡診断支援方法。
4. 前記色調を算出する際は、過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値を算出し、
   前記出血部位を判別する際は、前記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された平均値と各画像領域の色調の値とを比較することにより、前記複数の画像領域間の相違を判断することを特徴とする請求項３に記載の内視鏡診断支援方法。
5. 前記出血部位を判別する際は、前記複数の画像領域間の相違を判断する際、前記算出された平均値と各画像領域の色調の値に所定マージンを加えた値と比較することを特徴とする請求項３または４に記載の内視鏡診断支援方法。
6. 前記所定マージンは、変動パラメータにより動的に変動することを特徴とする請求項５に記載の内視鏡診断支援方法。
7. 前記変動パラメータは、標準偏差、色度変動係数、変動値またはグラディエントであることを特徴とする請求項６に記載の内視鏡診断支援方法。
8. 前記変動パラメータは、前記算出した平均色度であることを特徴とする請求項６に記載の内視鏡診断支援方法。
9. 前記出血部位を判別する際は、前記算出された前記内視鏡画像を構成する全画像領域の色調の平均値からの色度偏差に基づいて、前記複数の画像領域間の相違を判断することを特徴とする請求項１または２に記載の内視鏡診断支援方法。
10. 前記色調を算出する際は、過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値からの色度偏差を算出し、
    前記出血部位を判別する際は、前記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された色度偏差に基づいて、前記複数の画像領域間の相違を判断することを特徴とする請求項９に記載の内視鏡診断支援方法。
11. 前記色調を算出する際は、前記内視鏡画像を分割することにより得られた複数の各画像領域のうち所定の画像領域の色信号から色調を算出することを特徴とする請求項１乃至１０の何れか１項に記載の内視鏡診断支援方法。
12. 前記色調を算出する際は、前記内視鏡画像を構成する全画像領域の色調分布のうち中心部分を用いて平均値を算出することを特徴とする請求項２乃至１１の何れか１項に記載の内視鏡診断支援方法。
13. 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置であって、
    前記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出する色調算出手段と、
    前記色調算出手段によって算出された各画像領域の色調に基づいて前記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する出血部位判別手段と、
    を備えることを特徴とする内視鏡診断支援装置。
14. 前記出血部判別手段によって判別された画像領域を含む内視鏡画像を選択する出血内視鏡画像選択手段さらに備えることを特徴とする請求項１３に記載の内視鏡診断支援装置。
15. 前記出血部位判別手段は、前記色調算出手段によって算出された前記内視鏡画像を構成する全画像領域の色調の平均値と各画像領域の色調の値とを比較することにより、前記複数の画像領域間の相違を判断することを特徴とする請求項１３または１４に記載の内視鏡診断支援装置。
16. 前記色調算出手段は、前記出血内視鏡画像選択手段によって過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値を算出し、
    前記出血部位判別手段は、前記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された平均値と各画像領域の色調の値とを比較することにより、前記複数の画像領域間の相違を判断することを特徴とする請求項１５に記載の内視鏡診断支援装置。
17. 前記出血部位判別手段は、前記複数の画像領域間の相違を判断する際、前記算出された平均値と各画像領域の色調の値に所定マージンを加えた値と比較することを特徴とする請求項１５または１６に記載の内視鏡診断支援装置。
18. 前記所定マージンは、変動パラメータにより動的に変動することを特徴とする請求項１７に記載の内視鏡診断支援装置。
19. 前記変動パラメータは、標準偏差、色度変動係数、変動値またはグラディエントであることを特徴とする請求項１８に記載の内視鏡診断支援装置。
20. 前記変動パラメータは、前記算出した平均色度であることを特徴とする請求項１８に記載の内視鏡診断支援装置。
21. 前記出血部位判別手段は、前記色調算出手段によって算出された前記内視鏡画像を構成する全画像領域の色調の平均値からの色度偏差に基づいて、前記複数の画像領域間の相違を判断することを特徴とする請求項１３または１４に記載の内視鏡診断支援装置。
22. 前記色調算出手段は、前記出血内視鏡画像選択手段によって過去に選択された内視鏡画像以外の内視鏡画像に基づいて色調の平均値からの色度偏差を算出し、
    前記出血部位判別手段は、前記過去に選択された内視鏡画像以外の内視鏡画像に基づいて算出された色度偏差に基づいて、前記複数の画像領域間の相違を判断することを特徴とする請求項２１に記載の内視鏡診断支援装置。
23. 前記色調算出手段は、前記内視鏡画像を分割することにより得られた複数の各画像領域のうち所定の画像領域の色信号から色調を算出することを特徴とする請求項１３乃至２２の何れか１項に記載の内視鏡診断支援装置。
24. 前記色調算出手段は、前記内視鏡画像を構成する全画像領域の色調分布のうち中心部分を用いて平均値を算出することを特徴とする請求項１４乃至２３の何れか１項に記載の内視鏡診断支援装置。
25. 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において実行させるための内視鏡診断支援プログラムであって、
    前記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出する手順と、
    前記算出された各画像領域の色調に基づいて前記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する手順と、
    を実行させるための内視鏡診断支援プログラム。