JP2006304993A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】出血性エッジにおける色信号の変化量を用いて出血性エッジか否かを相対的に判断し、出血性エッジに囲まれた出血性領域を検出することが可能な、画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】被写体を撮像した複数の色信号からなる画像を複数の小領域に分割し、一の小領域を出血性評価領域として設定し、また、出血性評価領域の近傍の複数の小領域を評価対象領域として設定する評価領域設定手段と、評価対象領域における色信号の変動に基づき、評価対象領域から出血性エッジ候補領域を抽出し、出血性評価領域が出血性候補領域か否かを判定する出血性候補領域判定手段と、出血性エッジ候補領域における２つ以上の前記色信号の変動に基づき出血性エッジ候補領域から出血性領域の輪郭部を抽出し、前記出血性候補領域が出血性領域か否かを判定する出血性領域判定手段とを備えている。
【選択図】図３

Description

本発明は、内視鏡装置などにより得られる医用画像を基に出血性エッジを抽出する、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

医療分野においては、Ｘ線、ＣＴ、ＭＲＩ、超音波観測装置、内視鏡装置等の画像撮像機能を有する医療機器を用いた体腔内臓器の観察及び診断が広く行われている。例えば内視鏡装置は、細長の挿入部を体腔内に挿入し、その挿入部の先端部に設けられた対物光学系により取り込んだ体腔内臓器像を固体撮像素子等の撮像手段により撮像し、その撮像信号を基にモニタ画面に体腔内臓器の内視鏡画像を表示させ、そのモニタ画面に表示された内視鏡画像から術者が観察及び診断を行っている。内視鏡装置は、消化管粘膜像を直接的に撮像することが可能であることから、粘膜の色調、病変形状、粘膜表面の微細な構造等の様々な所見を総合的に観察することが可能となっている。

近年、この内視鏡装置と同様に有用性が期待できる新しい画像撮像機能を有する医療機器として、カプセル型内視鏡装置が開発されている。カプセル型内視鏡装置は、被検者がカプセル型内視鏡を経口的に飲み込んでから体外に排出されるまでの間、体腔内を撮像し、その撮像した撮像信号を体外に設けられたレシーバに送信する。カプセル型内視鏡を被検者が飲み込んでから体腔内の食道、胃、十二指腸、小腸、及び大腸の各消化管を通過して体外に排出されるまでには数時間を要する。

例えば、毎秒２枚（フレーム）の画像を撮像して体外のレシーバに送信するとし、カプセル型内視鏡を飲み込んでから体外に排出するまで６時間かかったとすると、カプセル型内視鏡が体腔内を進行する間に撮像される画像数は、４３２００枚と膨大な量となる。この膨大な数の画像を観察装置に表示して観察及び診断する場合、例えば、毎秒１０枚の画像を表示したとしても全画像数を表示するには７２分間と比較的長時間要する。この長時間にわたり表示される撮像画像を術者が観察することになるが、術者にとって時間的負荷が多大であるということが大きな問題になっている。

また、カプセル内視鏡や通常の内視鏡装置を用いた内視鏡検査における最終的な診断は、医師の主観に依存している部分が多大であり、診断の品質がばらつくという問題もあった。このため、画像診断の品質の向上と内視鏡画像の読影時間の短縮とを目的とし、出血、発赤、異常血管、ポリープなどの病巣の存在を、内視鏡画像から自動的に検出するコンピュータ診断支援（ＣＡＤ）の実現が望まれていた。

コンピュータ診断支援（ＣＡＤ）は、内視鏡診断支援装置により実現される。内視鏡診断支援装置は、画像内における関心領域（ＲＯＩ）から算出された様々な特徴量を用い、閾値処理あるいは統計的・非統計的識別器を用いて診断対象とする画像がそのような所見に分類されるのかを医師に提示することにより、客観的・数値的な診断の支援を行うものである。また、病変が疑われる画像を選択して提示することで、医師の読影負担を軽減するものである。

一方、出血には様々な病理学的な理由が考えられるため、出血の検出についてはいくつかのアプローチが用いられてきた。その中の一つのアプローチとして、上述した内視鏡診断支援装置を用い、内視鏡画像における観察対象領域の色相、彩度、明度に基づいて、出血を自動的に検出する手法が提案されている（例えば、特許文献１参照）。
ＰＣＴ ＷＯ ０２／０７３５０７ Ａ２ 号公報

しかし、特許文献１に記載された手法は、観察対象領域の色相、彩度、明度の値を、あらかじめ内視鏡診断支援装置に設定されている、通常粘膜の色相、彩度、明度のサンプル値、及び出血部の色相、彩度、明度のサンプル値と比較し、サンプル値からの距離によって、観察対象領域が通常粘膜であるか出血部であるかを判別する。このため、判別結果が内視鏡診断支援装置に設定されたサンプル値に依存してしまうという問題があった。

そこで、本発明においては、出血性領域の輪郭部( 以下、出血性エッジと示す)における色信号の変化量を用いて出血性エッジか否かを相対的に判断し、出血性エッジに囲まれた出血性領域を検出することが可能な、画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本発明の画像処理装置は、被写体を撮像した複数の色信号からなる画像を複数の小領域に分割し、一の前記小領域を出血性評価領域として設定し、また、前記出血性評価領域の近傍の複数の前記小領域を評価対象領域として設定する評価領域設定手段と、前記評価対象領域における前記色信号の変動に基づき、前記評価対象領域から出血性エッジ候補領域を抽出し、前記評価対象領域に対する前記出血性エッジ候補領域の割合から前記出血性評価領域が出血性候補領域か否かを判定する出血性候補領域判定手段と、前記出血性エッジ候補領域における２つ以上の前記色信号の変動に基づき、前記出血性エッジ候補領域から出血性領域の輪郭部を抽出し、前記出血性エッジ候補領域に対する前記出血性領域の前記輪郭部の割合から前記出血性候補領域が前記出血性領域か否かを判定する出血性領域判定手段とを備えている。

出血性エッジにおける色信号の変化量を用いて出血性エッジか否かを相対的に判断し、出血性エッジに囲まれた出血性領域を検出することが可能な、画像処理装置、画像処理方法、及び画像処理プログラムを実現することができる。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
出血性領域としては、粘膜から実際に出血が生じている領域である出血部や、粘膜表面が充血などによって赤くなっている領域である発赤部などがあげられる。本実施の形態においては、例えば出血部を検出する場合について説明する。まず、図１に基づき、本発明の第１の実施の形態に係わる画像処理装置１の関連システムとのネットワーク構成について説明する。図１は、本発明の第１の実施の形態に係わる画像処理装置１と関連システムとのネットワーク構成を概略的に示した図である。図１に示すように、各種画像処理や情報処理を行う画像処理装置１は、ＴＣＰ／ＩＰを通信プロトコルとするＬＡＮ２に接続されている。一方、生体内を撮像して画像信号を出力する内視鏡観察装置３も、内視鏡ファイリング装置４を介してＬＡＮ２に接続されている。内視鏡ファイリング装置４は、内視鏡観察装置３から画像信号を受信して画像データを生成するとともに、生成された画像データを蓄積する。すなわち、画像処理装置１は、内視鏡バッファリング装置４に蓄積されている画像データを、ＬＡＮ２経由で取得する。

次に、画像処理装置１の全体構成について説明する。画像処理装置１は、図２に示すように、汎用のパーソナルコンピュータ１１を中心に構成されており、キーボードとマウスとからなる操作装置１２と、ハードディスクからなる記憶装置１３と、ＣＲＴからなる表示装置１４とを備えている。図２は、画像処理装置１の全体構成を概略的に示した図である。操作装置１２、記憶装置１３、及び表示装置１４は、それぞれパーソナルコンピュータ１１と電気的に接続されている。処理対象となる画像データの指定、指定された画像データの取得表示、処理実行の指示は、操作装置１２から入力される。また、画像処理装置１で行われる各種処理の結果は表示装置１４に表示される。

パーソナルコンピュータ１１は、各種プログラムの実行処理や制御を行うＣＰＵ２１と、各種処理プログラムやデータを記憶するメモリ２２と、記憶装置１３との間で情報の読み書きを行う外部記憶Ｉ／Ｆ２３と、外部機器との間で情報の通信を行うネットワークカード２４と、操作装置１２から入力された操作信号を受信して必要なデータ処理を行う操作Ｉ／Ｆ２５と、表示装置１４へビデオ信号を出力するグラフィックボード２６とを有しており、それぞれバス２７と電気的に接続されている。従って、パーソナルコンピュータ１１の各部位は、バス２７を介して相互に情報の送受信を行うことができる。

ネットワークカード２４は、ＬＡＮ２と電気的に接続されており、同じくＬＡＮ２に接続されている内視鏡ファイリング装置４との間で情報を送受信する。

外部記憶Ｉ／Ｆ２３は、記憶装置１３に格納されている画像処理プログラム２８を読み込んでメモリ２２に記憶させる。尚、画像処理プログラム２８は、画像解析処理を実行するプログラムであって、複数の実行ファイル、又は動的リンクライブラリファイル、又は設定ファイルから構成される。メモリ２２に記憶された画像処理プログラム２８が実行されることで、ＣＰＵ２１が動作する。ＣＰＵ２１は、内視鏡ファイリング装置４から取得した画像データに対し、画像解析処理を行う。ＣＰＵ２１における各処理によって取得、生成される解析データ２９は、メモリ２２に記憶される。この解析データ２９には、内視鏡ファイリング装置４から取得した画像データである原画像３１が含まれる。更に、解析データ２９には、後述する各種処理によって生成されるエッジ画像３２と、出血部候補画像３３と、出血部画像３４とが含まれる。

上述のように構成された、画像処理装置１の作用について説明する。本実施の形態においては、例えば出血部領域を検出する場合について、図３のフローチャートを用いて説明する。

図３は、画像処理プログラム２８による画像解析処理の手順を説明するフローチャートである。まず、ステップＳ１の原画像取得ステップにおいて、操作装置１２から指定された画像データを、画像ファイリング装置４から取得し、原画像３１としてメモリ２２に記憶させる。原画像３１は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３プレーンからなるカラー画像であり、各プレーンの画素の階調数は、８ｂｉｔ、すなわち０〜２５５の値をとるものとする。次に、ステップＳ２の画像解析処理ステップにおいて、ステップＳ１で取得した原画像３１に各種処理を施し、出血部候補画像３３と、エッジ画像３２と、出血部画像３４とを生成する。この画像解析処理ステップ（ステップＳ２）は、原画像３１からエッジ画像３２を生成する、エッジ抽出処理（ステップＳ１０）と、原画像３１から出血部候補画像３３を生成する出血部候補抽出処理（ステップＳ２０）と、エッジ画像３２と出血部候補画像３３とから出血部画像３４を生成する出血部決定処理（ステップＳ４０）とから構成される、この順番で各処理が実行される。画像解析処理ステップ（ステップＳ２）における上述の各処理について、処理順序に従って説明する。

最初に、エッジ抽出処理について、図４を用いて説明する。図４は、エッジ抽出処理の手順を説明するフローチャートである。まず、ステップＳ１１において、原画像３１をＮ×Ｎ個の小領域に分割する。本発明の実施の形態においては、例えばＮ＝３６に設定している。尚、ステップＳ１１の前処理として、原画像３１に対する逆ガンマ補正やシェーディング補正を追加してもよい。この場合、これらの補正処理が行われた補正画像を小領域に分割して、以降の処理を行う。次に、ステップＳ１２において、解析対象となる分割された小領域（以下、分割領域と示す）を特定する番号を示すｉを１に初期化する。尚、分割領域４１を特定する番号ｉは、１以上、Ｎ×Ｎ以下の整数値を取る。

次に、ステップＳ１３において、ｉ番目の分割領域４１におけるＧ信号の値の変動（以下、Ｇ変動と示す）を算出する。Ｇ変動は、分割領域４１における特定の画素のＧ信号の値（Ｇ１）と、同じ分割領域４１における別の特定の画素のＧ信号の値（Ｇ２）とから算出され、具体的には、Ｇ変動＝ｌｏｇ_ｅ（Ｇ２）−ｌｏｇ_ｅ（Ｇ１）で計算される。本実施の形態では、図５に示すように、分割領域４１における上下左右方向及び対角線方向の八つの方向について、それぞれＧ変動を算出している。図５（ａ）〜（ｈ）は、Ｇ変動の算出方法を説明する図である。

第１のＧ変動は、図５（ａ）に示すように上方向へのＧ変動であり、中央下部の画素のＧ信号の値をＧ１、中央上部の画素のＧ信号の値をＧ２として算出する。第２のＧ変動は、図５（ｂ）に示すように対角線右上方向へのＧ変動であり、左下部の画素のＧ信号の値をＧ１、右上部の画素のＧ信号の値をＧ２として算出する。第３のＧ変動は、図５（ｃ）に示すように右方向へのＧ変動であり、左中央部の画素のＧ信号の値をＧ１、右中央部の画素のＧ信号の値をＧ２として算出する。第４のＧ変動は、図５（ｄ）に示すように対角線右下方向へのＧ変動であり、左上部の画素のＧ信号の値をＧ１、右下部の画素のＧ信号の値をＧ２として算出する。第５のＧ変動は、図５（ｅ）に示すように下方向へのＧ変動であり、中央上部の画素のＧ信号の値をＧ１、中央下部の画素のＧ信号の値をＧ２として算出する。第６のＧ変動は、図５（ｆ）に示すように対角線左下方向へのＧ変動であり、右上部の画素のＧ信号の値をＧ１、左下部の画素のＧ信号の値をＧ２として算出する。第７のＧ変動は、図５（ｇ）に示すように左方向へのＧ変動であり、右中央部の画素のＧ信号の値をＧ１、左中央部の画素のＧ信号の値をＧ２として算出する。第８のＧ変動は、図５（ｈ）に示すように対角線左上方向へのＧ変動であり、右下部の画素のＧ信号の値をＧ１、左上部の画素のＧ信号の値をＧ２として算出する。

次に、ステップＳ１４において、ステップＳ１３で算出した第１〜第８のＧ変動における最大値をＡ１_ｉとし、Ｇ変動が最大となる方向をＤ１_ｉとする。例えば、第４のＧ変動が最大である場合、方向Ｄ１_ｉは図５（ｄ）に示すように対角線右下方向となる。尚、Ｇ変動の最大値Ａ１_ｉと方向Ｄ１_ｉとの二つの特徴量を包括して、エッジ特徴量と呼ぶ。

次に、ステップＳ１５において、ｉ番目の分割領域４１がエッジであるか否かを判定する。具体的には、Ｇ変動の最大値Ａ１_ｉが、Ａ１_ｉ＞Ｔｈ１であればｉ番目の分割領域４１はエッジであると判定する。ここで、Ｔｈ１は閾値であり、本発明の実施の形態においては、例えばＴｈ１＝０．３に設定している。Ａ１_ｉ＞Ｔｈ１の場合、ステップＳ１６において、ｉ番目の分割領域４１はエッジであると判定し、ステップＳ１８へ進む。Ａ１_ｉ≦Ｔｈ１の場合、ステップＳ１７において、ｉ番目の分割領域４１はエッジでないと判定し、ステップＳ１８へ進む。

ステップＳ１８においては、全ての分割領域４１についてエッジ判定を行ったか否かを判定する。具体的には、ｉ＜Ｎ×Ｎである場合、ステップＳ１９において、分割領域４１を特定する番号ｉに１を加算（ｉ＝ｉ＋１）してステップＳ１３へ戻り、残りの分割領域４１に対してエッジ判定を行う。ｉ＝Ｎ×Ｎである場合、処理を終了して続く出血部候補抽出処理へと移行する。

次に、出血部候補抽出処理について、図６を用いて説明する。図６は、出血部候補抽出処理の手順を説明するフローチャートである。出血部候補抽出処理では、エッジ抽出処理において抽出されたエッジの配置に基づき出血部候補と出血部エッジ候補とを抽出する。

まず、評価領域設定手段としてのステップＳ２１〜ステップＳ２３を実行し、出血性評価領域としてのｉ番目の分割領域４１に関し、評価対象領域としての周辺領域４３を設定する。ここでは、周辺領域４３は、ｉ番目の分割領域４１の外周を取り囲む閉曲線上に設定される。ステップＳ２１においては、解析対象となる分割領域４１を特定する番号を示すｉを１に初期化する。尚、分割領域４１を特定する番号ｉは、１以上、Ｎ×Ｎ以下の整数値を取る。次に、ステップＳ２２において、図７（ａ）に示すように、ｉ番目の分割領域４１を中心とするＭ×Ｍ個の分割領域４１を、ｉ番目の分割領域４１における配置評価領域４２として取得する。図７は出血部候補抽出処理を説明する図である。本実施の形態においては、例えばＭ＝５とした。続いて、ステップＳ２３において、ステップＳ２２において取得した配置評価領域４２において、当該領域の外郭に接する分割領域４１を周辺領域４３（斜線部）として取得する。本実施の形態においては、図７（ａ）に示すように、ｉ番目の分割領域４１に関する周辺領域４３の個数Ｃ１_ｉは１６個となる。

次に、出血性候補領域判定手段としてのステップＳ２４〜ステップＳ３２を実行する。まず、ステップＳ２４において、解析対象となる周辺領域４３を特定する番号を示すｊを１に、周辺領域４３における出血部エッジ候補領域数をカウントするカウンタＣｎｔ１を０に、それぞれ初期化する。尚、周辺領域４３を特定する番号ｊとカウンタＣｎｔ１とは、１以上、Ｃ１_ｉ以下の整数値を取る。続いて、ステップＳ２５において、ｊ番目の周辺領域４３からｉ番目の分割領域４１に向かう方向をＤ２_ｉｊとする。次に、ステップＳ２６において、ｊ番目の周辺領域４３において八方向のＧ変動を算出し、Ｇ変動が最大となる方向をＤ３_ｉｊとする。ステップＳ２６におけるＧ変動の算出方法は、ステップＳ１３におけるＧ変動の算出方法と同様である。

続いて、ステップＳ２７において、ステップＳ２５において取得した方向Ｄ２_ｉｊと、ステップＳ２６において取得した方向Ｄ３_ｉｊとの成す角度θ_ｉｊを求める（図７（ｂ）参照）。次に、ステップＳ２８において、ｊ番目の周辺領域４３が出血部エッジ候補であるか否かを判定する。具体的には、ステップＳ２７において算出した角度θ_ｉｊが、θ_ｉｊ≦Ｔｈ２であるか否かを判定する。ここで、Ｔｈ２は閾値であり、本発明の実施の形態においては、例えばＴｈ２＝４５（度）に設定している。尚、ステップＳ２８における出血部エッジ候補判定は仮の判定であり、後述する処理によってｉ番目の分割領域４１が出血部候補領域であると判定された場合に、初めて本ステップにおける判定結果が採用される。θ_ｉｊ≦Ｔｈ２の場合、ｊ番目の周辺領域４３は出血部エッジ候補であると判定し、ステップＳ２９においてＣｎｔ１に１を加え、ステップＳ３０へ進む。θ_ｉｊ＞Ｔｈ２の場合、ステップＳ２８において、ｊ番目の周辺領域４３は出血部エッジ候補でないと判定し、ステップＳ３０へ進む。

ステップＳ３０においては、ｉ番目の分割領域４１に関する全ての周辺領域４３について出血部エッジ候補判定を行ったか否かを判定する。具体的には、ｊ＜Ｃ１_ｉである場合、ステップＳ３１において、周辺領域４３を特定する番号ｊに１を加算（ｊ＝ｊ＋１）してステップＳ２５へ戻り、残りの周辺領域４３に対して出血部エッジ候補判定を行う。ｊ＝Ｃ１_ｉである場合、処理を終了し、ステップＳ３２へ進む。

ステップＳ３２においては、ｉ番目の分割領域４１が出血部候補であるか否かを判定する。具体的には、周辺領域４３の個数Ｃ１_ｉに対する出血部エッジ候補領域数Ｃｎｔ１の割合を算出し、Ｃｎｔ１／Ｃ１_ｉ＞Ｔｈ３であるか否かを判定する。ここで、Ｔｈ３は閾値であり、本発明の実施の形態においては、例えばＴｈ３＝０．７に設定している。図８に示すように、Ｃｎｔ１／Ｃ１_ｉ＞Ｔｈ３の場合、ステップＳ３３においてｉ番目の分割領域４１は出血部候補であると判定する。また、ステップＳ２８において、出血部エッジ候補であると仮判定された周辺領域４３、すなわち、ｉ番目の分割領域４１に関する周辺領域４３であって、θ_ｉｊ≦Ｔｈ２である周辺領域４３を、出血部エッジ候補であると正式に判定する。図８は、出血部候補の判定方法を説明する図である。

図８においては、例えばｉ番目の分割領域４１に関する１６個の周辺領域４３のうち、周辺領域４３の中にエッジ特徴量である方向Ｄ１_ｉを矢印で記載した１４個の周辺領域４３がエッジであると判定されている。更に、エッジと判定された１４個の周辺領域のうちの１２個が、θ_ｉｊ≦Ｔｈ２を満たしているため、Ｃｎｔ１／Ｃ１_ｉは０．７５となる。Ｃｎｔ１／Ｃ１_ｉの値がＴｈ３として設定されている０．７以上であるため、ｉ番目の分割領域４１は出血部候補と判定され、θ_ｉｊ≦Ｔｈ２を満たす１２個の周辺領域４３は出血部エッジ候補と判定される。（図８において網掛けされている周辺領域４３が、出血部エッジ候補と判定された領域である。）ステップＳ３３が終了すると、ステップＳ３４へ進む。Ｃｎｔ１／Ｃ１_ｉ≦Ｔｈ３の場合、ｉ番目の分割領域４１は出血部候補でないと判定し、ステップＳ３４へ進む。

ステップＳ３４においては、全ての分割領域４１について、出血部候補判定を行ったか否かを判定する。具体的には、ｉ＜Ｎ×Ｎである場合、ステップＳ３５において、分割領域４１を特定する番号ｉに１を加算（ｉ＝ｉ＋１）してステップＳ２２へ戻り、残りの分割領域４１に対して出血部候補判定を行う。ｉ＝Ｎ×Ｎである場合、処理を終了し、続く出血部決定処理へと移行する。

次に、出血性領域判定手段としての出血部決定処理について、図９を用いて説明する。図９は、出血部決定処理の手順を説明するフローチャートである。出血部決定処理では、出血部候補抽出処理において抽出された出血部エッジ候補の周辺領域４３について、Ｒ信号、Ｇ信号、Ｂ信号のうちの２つ以上の色信号の変動の比に基づくカラーエッジ特徴量を算出し、カラーエッジ特徴量に基づき出血部エッジか否かを判定する。更に、抽出された出血部エッジ領域を基に、出血部領域を決定する。

まず、ステップＳ４１において、出血部候補抽出処理において出血部候補であると判定された分割領域４１を取得する。また、出血部候補である分割領域４１の個数をＨとする。次に、ステップＳ４２において、解析対象となる分割領域４１を特定する番号を示すｋを１に初期化する。尚、解析対象となる分割領域４１は、ステップＳ４１で取得した出血部候補であるＨ個の分割領域４１である。従って、分割領域４１を特定する番号ｋは、１以上、Ｈ以下の整数値を取る。

続いて、ステップＳ４３において、出血部候補抽出処理において、ｋ番目の分割領域４１における出血部エッジ候補であると判定された周辺領域４３を取得する。また、出血部エッジ候補である周辺領域４３の個数をＣ２_ｋとする。次に、ステップＳ４４において、解析対象となる周辺領域４３を特定する番号を示すｌを１に、周辺領域４３における出血部エッジ領域数をカウントするカウンタＣｎｔ２を０に、それぞれ初期化する。尚、周辺領域４３を特定する番号ｌとカウンタＣｎｔ２とは、１以上、Ｃ２_ｋ以下の整数値を取る。

次に、ステップＳ４５において、ｌ番目の周辺領域４３におけるＲ信号の値の変動（以下、Ｒ変動と示す）と、Ｇ信号の値の変動（以下、Ｇ変動と示す）とを算出する。Ｒ変動は、周辺領域４３における特定の画素Ｐ１のＲ信号の値（Ｒ１）と、同じ周辺領域４３における別の特定の画素Ｐ２のＲ信号の値（Ｒ２）とから算出され、具体的には、Ｒ変動＝ｌｏｇ_ｅ（Ｒ２）−ｌｏｇ_ｅ（Ｒ１）で計算される。また、Ｇ変動は、Ｒ変動を算出する際に用いた画素Ｐ１のＧ信号の値（Ｇ１）と、画素Ｐ２のＧ信号の値（Ｇ２）とから算出され、具体的には、Ｇ変動＝ｌｏｇ_ｅ（Ｇ２）−ｌｏｇ_ｅ（Ｇ１）で計算される。本実施の形態では、図１０に示すように、周辺領域４３における上下左右方向及び対角線方向の八つの方向について、それぞれＲ変動とＧ変動とを算出している。図１０（ａ）〜（ｈ）は、Ｒ変動及びＧ変動の算出方法を説明する図である。図１０（ａ）〜（ｈ）に示す、第１〜第８のＧ変動の算出方法は、ステップＳ１３において算出した、図５（ａ）〜（ｈ）に示す第１〜第８のＧ変動の算出方法と同様であるので、詳細な説明は省略する。図１０（ａ）〜（ｈ）に示す、第１〜第８のＲ変動の算出方法は、第１〜第８のＧ変動を算出する際に用いた画素と同じ画素を用いており、Ｇ信号の値であるＧ１、Ｇ２を、それぞれＲ信号の値であるＲ１、Ｒ２と置き換えれば、第１〜第８のＧ変動の算出方法と同様であるので、詳細な説明は省略する。

次に、ステップＳ４６において、第１〜第８のＧ変動をそれぞれ第１〜第８のＲ変動で割り、第１〜第８の変動比を求める。更に、ステップＳ２６において算出した、ｌ番目の周辺領域４３においてＧ変動が最大となる方向Ｄ３_ｋｌにおける、Ｒ変動に対するＧ変動の変動比の値をカラーエッジ特徴量Ｂ１_ｌとする。周辺粘膜と出血部との境界領域付近、すなわち、出血部エッジ付近は、一般的に、Ｒ信号やＢ信号の変化に比べてＧ信号の変化が大きい。従って、Ｇ変動／Ｒ変動の最大値をカラーエッジ特徴量とする。尚、カラーエッジ特徴量は、Ｇ変動／Ｂ変動の最大値を用いてもよい。

次に、ステップＳ４７において、ｌ番目の周辺領域４３が出血部エッジであるか否かを判定する。具体的には、カラーエッジ特徴量Ｂ１_ｌが、Ｂ１_ｌ＞Ｔｈ４であればｌ番目の周辺領域４３は出血部エッジであると判定する。尚、ステップＳ４７における出血部エッジ判定は仮の判定であり、後述する処理によってｋ番目の分割領域４１が出血部領域であると判定された場合に、初めて本ステップにおける判定結果が採用される。ここで、Ｔｈ４は閾値であり、本発明の実施の形態においては、例えばＴｈ４＝１．０に設定している。Ｂ１_ｌ＞Ｔｈ４の場合、ｌ番目の周辺領域４３は出血部エッジであると判定し、ステップＳ４８においてＣｎｔ２に１を加え、ステップＳ４９へ進む。Ｂ１_ｌ≦Ｔｈ４の場合、ｌ番目の周辺領域４３は出血部エッジでないと判定し、ステップＳ４９へ進む。

ステップＳ４９においては、ｋ番目の分割領域４１に関する全ての周辺領域４３について出血部エッジ判定を行ったか否かを判定する。具体的には、ｌ＜Ｃ２_ｋである場合、ステップＳ５０において、周辺領域４３を特定する番号ｌに１を加算（ｌ＝ｌ＋１）してステップＳ４５へ戻り、残りの周辺領域４３に対して出血部エッジ判定を行う。ｊ＝Ｃ２_ｋである場合、処理を終了し、ステップＳ５１へ進む。

ステップＳ５１においては、ｋ番目の分割領域４１が出血部であるか否かを判定する。具体的には、周辺領域４３の個数Ｃ２_ｋに対する出血部エッジ領域数Ｃｎｔ２の割合を算出し、Ｃｎｔ２／Ｃ２_ｋ＞Ｔｈ５であるか否かを判定する。ここで、Ｔｈ５は閾値であり、本発明の実施の形態においては、例えばＴｈ５＝０．７に設定している。Ｃｎｔ２／Ｃ２_ｋ＞Ｔｈ５の場合、ステップＳ５２において、ｋ番目の分割領域４１は出血部であると判定する。また、ステップＳ４７において、出血部エッジであると仮判定された周辺領域４３、すなわち、ｋ番目の分割領域４１に関する周辺領域４３であって、Ｂ１_ｌ＞Ｔｈ４である周辺領域４３を、出血部エッジであると正式に判定する。ステップＳ５２が終了すると、ステップＳ５３へ進む。Ｃｎｔ２／Ｃ２_ｋ≦Ｔｈ５の場合、ｋ番目の分割領域４１は出血部でないと判定し、ステップＳ５３へ進む。

ステップＳ５３においては、出血部候補である全ての分割領域４１について、出血部判定を行ったか否かを判定する。具体的には、ｋ＜Ｈである場合、ステップＳ５４において、分割領域４１を特定する番号ｋに１を加算（ｋ＝ｋ＋１）してステップＳ４３へ戻り、残りの出血部候補である分割領域４１に対して出血部判定を行う。ｋ＝Ｈである場合、処理を終了する。

このように、本実施の形態の画像処理装置１では、出血部エッジ候補の配置に基づき出血部候補を抽出し、更に、出血部エッジ候補において異なる色信号の変化量比（カラーエッジ特徴量）に基づき出血部エッジか否かを相対的に判断し、出血部エッジに囲まれた領域を出血部として検出するため、小面積の出血部も精度よく検出することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。上述した第１の実施の形態では、配置評価領域４２の外郭に接する分割領域４１を周辺領域４３としたが、本実施の形態では、配置評価領域４２の内部にも周辺領域４３を設け、出血性エッジ候補の評価対象領域に幅を持たせている。これにより、より多様な形状の出血部を検出することが可能になる。

画像処理装置１の全体構成は、画像処理プログラム５１の処理内容が異なる点を除き、第１の実施の形態と同一であるため、ここでは、特徴となる作用についてのみ説明し、同じ構成要素については同じ符号を付して説明は省略する。また、本実施の形態においては、第１の実施の形態と同様に、例えば出血部を検出する場合について説明する。

本実施の形態における画像解析処理は、出血部候補抽出処理のステップＳ２３〜ステップＳ３１、すなわち出血部エッジ候補判定の処理内容が異なる点を除き、第１の実施の形態と同一である。本実施の形態における出血部エッジ候補判定処理を、図１１のフローチャートを用いて説明する。図１１は、第２の実施の形態における出血部エッジ候補判定処理の手順を説明するフローチャートである。ステップＳ１において原画像３１を取得し、ステップＳ１０におけるエッジ抽出処理を終了した後、ステップＳ２１〜Ｓ２２においてｉ番目の分割領域４１における配置評価領域４２を取得すると、引き続き、図１１に示す出血部エッジ候補判定処理が実行される。

出血部エッジ候補判定処理では、まず、ステップＳ１２３において、ステップＳ２２において取得した配置評価領域４２において、外郭部からＺ個内側の分割領域４１の個数を周辺領域４３の個数Ｃ３_ｉとする。本実施の形態においては、例えば配置評価領域４２として５×５＝２５個の分割領域４１を取得し、周辺領域４３の幅に相当するＺをＺ＝２と設定した。この場合、図１２に示すように、周辺領域４３の個数Ｃ３_ｉは８個となる。図１２は、第２の実施の形態における周辺領域４３の設定位置を説明する図である。

次に、ステップＳ１２４において、解析対象となる周辺領域４３を特定する番号を示すｍを１に、周辺領域４３における出血部エッジ候補領域数をカウントするカウンタＣｎｔ３を０に、それぞれ初期化する。尚、周辺領域４３を特定する番号ｍとカウンタＣｎｔ３とは、１以上、Ｃ３_ｉ以下の整数値を取る。続いて、ステップＳ１２５において、ｍ番目の周辺領域４３に含まれる分割領域４１を取得する。具体的には、配置評価領域４２の中心に位置するｉ番目の分割領域４１から、配置評価領域４２の外郭からＺ個分内側に位置する分割領域４１を通って配置評価領域４２の外郭まで達する半直線を引き、半直線上に位置する分割領域４１を周辺領域４３として取得する（図１２参照）。本実施の形態の場合、Ｚ＝２と設定しているため、１つの周辺領域４３に含まれる分割領域４１は２個となる。すなわち、図１２において、線分で連結されている２個の分割領域４１は、同じ周辺領域４３に属する。

続いて、ステップＳ１２６において、ｍ番目の周辺領域４３における分割領域４１を特定する番号を示すｎを１に初期化する。尚、分割領域４１を特定する番号ｎは、１以上、Ｚ以下の整数値を取る。次に、ステップＳ１２７において、ｍ番目の周辺領域４３におけるｎ番目の分割領域４１からｉ番目の分割領域４１に向かう方向をＤ４_ｉｍｎとする。続いて、ステップＳ１２８において、ステップＳ１４において取得した、ｍ番目の周辺領域４３におけるｎ番目の分割領域４１のエッジ特徴量の方向Ｄ１_ｉｍｎと、ステップＳ１２７において取得した方向をＤ４_ｉｍｎとの成す角度θ_ｉｍｎを求める。

続いて、ステップＳ１２９において、ｍ番目の周辺領域４３が出血部エッジ候補であるか否かを判定する。具体的には、ステップＳ１２８において算出した角度θ_ｉｍｎが、θ_ｉｍｎ≦Ｔｈ６であるか否かを判定する。ここで、Ｔｈ６は閾値であり、本発明の実施の形態においては、例えばＴｈ６＝４５（度）に設定している。尚、第１の実施の形態におけるステップＳ２８と同様に、ステップＳ１２９における出血部エッジ候補判定は仮の判定であり、後述する処理によってｉ番目の分割領域４１が出血部候補領域であると判定された場合に、初めて本ステップにおける判定結果が採用される。θ_ｉｍｎ≦Ｔｈ６の場合、ｍ番目の周辺領域４３は出血部エッジ候補であると判定し、ステップＳ１３０においてＣｎｔ３に１を加え、ステップＳ１３３へ進む。

θ_ｉｍｎ＞Ｔｈ６の場合、ステップＳ１３１において、ｍ番目の周辺領域４３に含まれる全ての分割領域４１について出血部エッジ候補判定を行ったか否かを判定する。具体的には、ｎ＜Ｚである場合、ステップＳ１３２において、ｍ番目の周辺領域４３における分割領域４１を特定する番号ｎに１を加算（ｎ＝ｎ＋１）してステップＳ１２７へ戻り、残りの分割領域４１に対して出血部エッジ候補判定を行う。ｎ＝Ｚである場合、ｍ番目の周辺領域４３は出血部エッジ候補でないと判定し、ステップＳ１３３へ進む。すなわち、ｍ番目の周辺領域に含まれるＺ個の分割領域４１のうち、１つでも出血部エッジ候補の判定条件であるθ_ｉｍｎ≦Ｔｈ６を満たす領域があれば、ｍ番目の周辺領域は出血部エッジ候補であると判定する。ステップS１３３においては、ｉ番目の分割領域４１に関する全ての周辺領域４３について出血部エッジ候補判定を行ったか否かを判定する。具体的には、ｍ＜Ｃ３_ｉである場合、ステップＳ１３４において、周辺領域４３を特定する番号ｍに１を加算（ｍ＝ｍ＋１）してステップＳ１２５へ戻り、残りの周辺領域４３に対して出血部エッジ候補判定を行う。ｍ＝Ｃ３_ｉである場合、処理を終了し、ステップＳ３２へ進む。ステップＳ３２以降の処理は、第1の実施の形態と同様であるので、説明を省略する。

ステップＳ３４において出血部候補判定処理が終了すると、例えば図１３に示すように出血部候補が抽出される。図１３は、出血部候補判定処理を説明する図である。図１３においては、例えばｉ番目の分割領域４１に関する８個の周辺領域４３のうち、分割領域４１の中にエッジ特徴量である方向Ｄ１_ｉｍｎを矢印で記載した８個の周辺領域４３がエッジであると判定されている。更に、エッジと判定された８個の周辺領域４３全てが、θ_ｉｍｎ≦Ｔｈ６を満たしているため、Ｃｎｔ３／Ｃ３_ｉは１となる。Ｃｎｔ３／Ｃ３_ｉの値がＴｈ３として設定されている０．７以上であるため、ｉ番目の分割領域４１は出血部候補と判定され、θ_ｉｍｎ≦Ｔｈ６を満たす８個の周辺領域４３は出血部エッジ候補と判定される。

以上のようにして抽出した出血部候補に関する出血部決定処理では、第１の実施の形態と同様に、出血部エッジ候補のカラーエッジ特徴量を基に出血部の判定が行われる。

このように、本実施の形態の画像処理装置１では、出血部エッジ候補の評価対象となる周辺領域４３に幅を持たせているので、小面積の出血部に加えて楕円形やアメーバ形状など多様な形状を有する出血部も検出することができ、出血部の検出精度が更に向上する。

（第３の実施の形態）
次に、本発明の第３の実施の形態を説明する。上述した第１の実施の形態では、配置評価領域４２の外郭の全周方向に接する分割領域４１を周辺領域４３としたが、本実施の形態では、配置評価領域４２の外郭の対向する２辺、及び、対角線を挟んで対向する２直線上に配置される分割領域４１を周辺領域４３としている。これにより、出血部が帯状であって、内視鏡画像に出血部の一部のみが映し出されている場合にも、出血部を検出することが可能になる。

画像処理装置１の全体構成は、画像処理プログラム６１の処理内容が異なる点を除き、第１の実施の形態と同一であるため、ここでは、特徴となる作用についてのみ説明し、同じ構成要素については同じ符号を付して説明は省略する。また、本実施の形態においては、第１の実施の形態と同様に、例えば出血部を検出する場合について説明する。

本実施の形態における画像解析処理は、出血部候補抽出処理のステップＳ２３において設定する周辺領域４３の位置が異なることと、１つの分割領域４１に対して設定する周辺領域４３の配置パターンが、図１４（a）〜（ｄ）に示すように、複数設けられている点を第１の実施の形態と同一である。

すなわち、ステップS２３において、図１４（a）に示すように、ステップＳ２２において取得した配置評価領域４２において、上下方向に対向する外郭の２辺に接する分割領域４１を周辺領域４３として取得し、ステップS２４〜ステップS３３の出血部エッジ候補判定及び出血部候補判定処理を行う。ステップS３３が終了するとステップS２３に戻り、図１４（ｂ）に示すように、配置評価領域４２において、左右方向に対向する外郭の２辺に接する分割領域４１を周辺領域４３として取得し、出血部エッジ候補判定及び出血部候補判定処理を行う。同様に、図１４（ｃ）に示すように、左上から右下方向の対角線を挟む２直線上に位置する分割領域４１を周辺領域４３とするパターン、図１５（ｄ）に示すように、右上から左下方向対角線を挟む２直線上に位置する分割領域４１を周辺領域４３とするパターンについても出血部エッジ候補判定及び出血部候補判定処理を行う。全ての周辺領域４３配置パターンについて出血部エッジ候補判定及び出血部候補判定処理を行った後、ステップS３４へ進み、以降の処理を行う。

以上のようにして抽出した出血部候補に関する出血部決定処理では、第１の実施の形態と同様に、出血部エッジ候補のカラーエッジ特徴量を基に出血部の判定が行われる。

このように、本実施の形態の画像処理装置１では、出血部候補の評価対象となる分割領域４１を挟んで対向する２直線上に配置された分割領域４１を、出血部エッジ候補の評価対象となる周辺領域４３として用いたので、出血部が帯状であって、内視鏡画像に出血部の一部のみが映し出されている場合にも、出血部を検出することができ、出血部の検出精度が更に向上する。

以上のように、上記３つの実施の形態では、出血性領域として出血部を抽出する場合を例にとって説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。例えば粘膜表面の発赤部を抽出する場合にも適用可能である。

以上の実施の形態から、次の付記項に記載の点に特徴がある。

（付記項１）生体粘膜表面画像を撮像した複数枚の医用画像を入力するステップと、
前記医用画像の少なくとも１つの色信号から色調に基づき出血性の変化を示す領域を抽出するステップと、前記複数枚の医用画像から、出血性の変化を示す領域が存在する画像を対象観察画像として選択するステップと、
を含むことを特徴とする医用画像処理方法。

（付記項２）前記医用画像の少なくとも１つの前記色信号から色調に基づき前記出血性の変化を示す領域を抽出するステップが、前記医用画像における１つの前記色信号の変化量に基づきエッジを抽出するステップと、前記抽出したエッジの配置に基づき出血性エッジに囲まれた出血性変化を示す領域を抽出するステップとを含むことを特徴とする、付記項１に記載の医用画像処理方法。

（付記項３）前記医用画像の少なくとも１つの前記色信号から色調に基づき前記出血性の変化を示す領域を抽出するステップが、前記抽出した出血性変化を示す領域を更に限定するステップを含むことを特徴とする、付記項１叉は付記項２に記載の医用画像処理方法。

（付記項４）前記抽出した出血性変化を示す領域を更に限定するステップが、カラーエッジに基づき出血性変化を示す領域を限定するステップを含むことを特徴とする、付記項３に記載の医用画像処理方法。

（付記項５）前記カラーエッジに基づき前記出血性変化を示す領域を限定するステップが、前記医用画像の２つ以上の前記色信号の変化量に基づき前記出血性変化を示す領域を限定することを特徴とする、付記項４に記載の医用画像処理方法。

（付記項６）抽出した前記出血性変化を示す領域が、出血部であることを特徴とする、付記項１から付記項５のいずれかに記載の医用画像処理方法。

（付記項７）抽出した前記出血性変化を示す領域が、発赤部であることを特徴とする、付記項１から付記項５のいずれかに記載の医用画像処理方法。

本発明の第１の実施の形態に係わる画像処理装置１と関連システムとのネットワーク構成を概略的に示した図である。 画像処理装置１の全体構成を概略的に示した図である。 画像処理プログラム２８による画像解析処理の手順を説明するフローチャートである。 エッジ抽出処理の手順を説明するフローチャートである。 Ｇ変動の算出方法を説明する図である。 出血部候補抽出処理の手順を説明するフローチャートである。 出血部候補抽出処理を説明する図である。 出血部候補の判定方法を説明する図である。 出血部決定処理の手順を説明するフローチャートである。 Ｒ変動及びＧ変動の算出方法を説明する図である。 第２の実施の形態における出血部エッジ候補判定処理の手順を説明するフローチャートである。 第２の実施の形態における周辺領域４３の設定位置を説明する図である。 第２の実施の形態における出血部候補判定処理を説明する図である。 第３の実施の形態における周辺領域４３の配置パターンを説明する図である。

符号の説明

１…画像処理装置、１１…パーソナルコンピュータ、２８…画像処理プログラム、２９…解析データ、３１…原画像、３４…出血部画像

Claims (6)

1. 被写体を撮像した複数の色信号からなる画像を複数の小領域に分割し、一の前記小領域を出血性評価領域として設定し、また、前記出血性評価領域の近傍の複数の前記小領域を評価対象領域として設定する評価領域設定手段と、
   前記評価対象領域における前記色信号の変動に基づき、前記評価対象領域から出血性エッジ候補領域を抽出し、前記評価対象領域に対する前記出血性エッジ候補領域の割合から前記出血性評価領域が出血性候補領域か否かを判定する出血性候補領域判定手段と、
   前記出血性エッジ候補領域における２つ以上の前記色信号の変動に基づき、前記出血性エッジ候補領域から出血性領域の輪郭部を抽出し、前記出血性エッジ候補領域に対する前記出血性領域の前記輪郭部の割合から前記出血性候補領域が前記出血性領域か否かを判定する出血性領域判定手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記評価領域設定手段において、前記評価対象領域が前記出血性評価領域の外周を取り囲む閉曲線上に設定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記出血性評価領域の外周を取り囲む前記閉曲線は、前記小領域複数個分の幅を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記評価領域設定手段において、前記評価対象領域が前記出血性評価領域を挟んで対向する２つの直線上に設定されることを特徴とする請求項１に記載の画像処理装置。
5. 被写体を撮像した複数の色信号からなる画像を複数の小領域に分割し、一の前記小領域を出血性評価領域として設定し、また、前記出血性評価領域の近傍の複数の小領域を評価対象領域として設定する評価領域設定工程と、
   前記評価対象領域における前記色信号の変動に基づき、前記評価対象領域から出血性エッジ候補領域を抽出し、前記評価対象領域に対する前記出血性エッジ候補領域の割合から前記出血性評価領域が出血性候補領域か否かを判定する出血性候補領域判定工程と、
   前記出血性エッジ候補領域における２つ以上の前記色信号の変動に基づき、前記出血性エッジ候補領域から出血性領域の輪郭部を抽出し、前記出血性エッジ候補領域に対する前記出血性領域の前記輪郭部の割合から前記出血性候補領域が前記出血性領域か否かを判定する出血性領域判定工程と、
   を備えたことを特徴とする画像処理方法。
6. コンピュータに、
   被写体を撮像した複数の色信号からなる画像を複数の小領域に分割し、一の前記小領域を出血性評価領域として設定し、また、前記出血性評価領域の近傍の複数の小領域を評価対象領域として設定する評価領域設定手順と、
   前記評価対象領域における前記色信号の変動に基づき、前記評価対象領域から出血性エッジ候補領域を抽出し、前記評価対象領域に対する前記出血性エッジ候補領域の割合から前記出血性評価領域が出血性候補領域か否かを判定する出血性候補領域判定手順と、
   前記出血性エッジ候補領域における２つ以上の前記色信号の変動に基づき、前記出血性エッジ候補領域から出血性領域の輪郭部を抽出し、前記出血性エッジ候補領域に対する前記出血性領域の前記輪郭部の割合から前記出血性候補領域が前記出血性領域か否かを判定する出血性領域判定手順と、
   を実行させることを特徴とする画像処理プログラム。
   

Images