JP2012192051A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】管腔内画像から、残渣領域等の特定領域を適切に検出することができる画像処理装置等を提供する。
【解決手段】画像処理装置は、画像に含まれる画素の色特徴量に基づいて、該画素が特定領域及び非特定領域の各々に属する確率を算出する確率値算出部１６と、画像に含まれる画素及び該画素に隣接する画素の画素値及び色特徴量に基づいて、隣接画素間における重み付きエッジ強度を算出する重み付きエッジ強度算出部１７と、上記確率及び上記重み付きエッジ強度を用いて、画素の領域判別結果によって表されるエネルギー関数を作成するエネルギー関数作成部１８と、該エネルギー関数に基づいて当該画像を複数の領域に分割する領域分割部１９とを備える。
【選択図】図１

Description

本発明は、画像を複数の領域に分割する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。

従来から、患者等の被検体の体内に導入されて、管腔内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置により撮像された画像データを体外に無線送信する飲み込み型の内視鏡（カプセル型内視鏡）も用いられている。

このような医用観察装置によって取得された画像の観察及び診断は、多くの経験や労力が必要とされる困難な作業である。特に、カプセル型内視鏡の場合、１回の検査によって取得される一連の画像（管腔内画像）は膨大な数（数万枚以上）に上るため、診断を行う医師の負担も大きい。そのため、医師による診断を補助する医療診断支援機能が望まれている。このような機能の１つとして、管腔内画像から異常部等を自動的に検出し、重点的に診断すべき画像を示す画像認識技術が提案されている。

ところで、画像認識により異常部等を検出する際には、前処理として、残渣等が映された観察不要な領域を除去し、粘膜領域を抽出することが重要となる。画像の領域分割（セグメンテーション）に関する技術として、例えば特許文献１には、画像を構成する各画素における色情報及びエッジ情報に基づいて、所定の特徴を持つセグメントを抽出する方法が開示されている。より詳細には、特許文献１においては、画素データが示す色が所定のセグメント内の色であることを示す確率と、互いに隣接する画素の画素データの関係（隣接する画素間にエッジが存在するか否か）とに基づいてエネルギー関数を取得し、このエネルギー関数を最小化させることにより所定のセグメントを抽出している。

特開２００７−１７２２２４号公報

しかしながら、内視鏡によって取得された管腔内画像の場合、検出したい特定領域の輪郭（残渣領域と粘膜領域との境界）の他にも、粘膜の襞間の溝や陰影等もエッジとして検出される。そのため、特許文献１に開示された方法では、これらのエッジの影響により、特定領域の検出性能が低下してしまう。

本発明は、上記に鑑みてなされたものであって、管腔内画像から残渣領域等の特定領域を分割する際に、境界の検出性能の低下を抑制することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像を複数の領域に分割する画像処理装置において、前記画像に含まれる画素の色特徴量に基づいて、前記画素が前記複数の領域の各々に属する確率を算出する確率値算出手段と、前記画像に含まれる画素及び該画素に隣接する画素の画素値及び色特徴量に基づいて、隣接画素間における重み付きエッジ強度を算出する重み付きエッジ強度算出手段と、前記確率及び前記重み付きエッジ強度を用いて、前記画素の領域判別結果を変数とするエネルギー関数を作成するエネルギー関数作成手段と、前記エネルギー関数に基づいて、当該画像を前記複数の領域に分割する領域分割手段とを備えることを特徴とする。

本発明に係る画像処理方法は、画像を複数の領域に分割する画像処理装置が行う画像処理方法において、前記画像に含まれる画素の色特徴量に基づいて、前記画素が前記複数の領域の各々に属する確率を算出する確率値算出ステップと、前記画像に含まれる画素及び該画素に隣接する画素の画素値及び色特徴量に基づいて、隣接画素間における重み付きエッジ強度を算出する重み付きエッジ強度算出ステップと、前記確率及び前記重み付きエッジ強度を用いて、前記画素の領域判別結果を変数とするエネルギー関数を作成するエネルギー関数作成ステップと、前記エネルギー関数に基づいて、当該画像を前記複数の領域に分割する領域分割ステップとを含むことを特徴とする。

本発明に係る画像処理プログラムは、画像を複数の領域に分割する画像処理をコンピュータに実行させる画像処理プログラムにおいて、前記画像に含まれる画素の色特徴量に基づいて、前記画素が前記複数の領域の各々に属する確率を算出する確率値算出ステップと、前記画像に含まれる画素及び該画素に隣接する画素の画素値及び色特徴量に基づいて、隣接画素間における重み付きエッジ強度を算出する重み付きエッジ強度算出ステップと、前記確率及び前記重み付きエッジ強度を用いて、前記画素の領域判別結果を変数とするエネルギー関数を作成するエネルギー関数作成ステップと、前記エネルギー関数に基づいて、当該画像を前記複数の領域に分割する領域分割ステップとを実行させることを特徴とする。

本発明によれば、画像に含まれる画素の色特徴量に基づいて、各画素が各領域に属する確率を算出すると共に、画素の色特徴量に基づき隣接画素間のエッジ強度に重みを与えて、分割対象領域の輪郭に相当するエッジを強調するので、それ以外のエッジからの影響を軽減することができ、境界の検出性能の低下を抑制することが可能となる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、画像処理対象である管腔内画像の一例を示す模式図である。 図４は、確率値算出部の動作を示すフローチャートである。 図５Ａは、色相分布を示すヒストグラムである。 図５Ｂは、粘膜領域及び残渣領域の色相分布を示す図である。 図６は、重み付きエッジ強度算出部の動作を示すフローチャートである。 図７は、色相分布に基づいて作成された重み分布を示す図である。 図８Ａは、グラフカット法における有向グラフを示す図である。 図８Ｂは、各ノードに付与されるコストを説明する図である。 図８Ｃは、有向グラフを２つの集合に分割した状態を示す図である。 図９は、残渣領域が除去された管腔内画像を示す模式図である。 図１０は、本発明の実施の形態２に係る画像処理装置の演算部の構成を示すブロック図である。 図１１は、図１０に示す演算部の動作を示すフローチャートである。 図１２は、画像処理対象である管腔内画像の一例を示す模式図である。 図１３は、エッジ強度画像の作成方法を説明する図である。 図１４は、強エッジ画素の画像を示す模式図である。

以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

以下に説明する実施の形態に係る画像処理装置は、例えば内視鏡やカプセル内視鏡等の医用観察装置によって被検体の体内（管腔内）を撮像した管腔内画像を、特定領域及び非特定領域に領域分割する処理を行うものである。具体的には、例えば医療診断において観察対象とする粘膜領域を特定領域、観察対象としない残渣領域を非特定領域として処理する。残渣領域とは、粘膜に付着した残渣や、粘膜から離れて浮遊する残渣が、管腔内画像の画面において粘膜に重なって（即ち、粘膜よりも手前側に）映し出された領域のことである。

また、以下の実施の形態において画像処理を施される管腔内画像は、例えば、各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、当該画像処理装置１全体の動作を制御する制御部１０と、医用観察装置によって撮像された管腔内画像の画像データを取得する画像取得部１１と、外部から入力された入力信号を受け付ける入力部１２と、管腔内画像や各種情報を含む画面を表示する表示部１３と、記録部１４と、残渣領域及び粘膜領域を互いに領域分割する演算処理を行う演算部１５とを備える。

制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。

入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、外部から受け付けた入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現される。

記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくは外付けハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部１４は、画像取得部１１によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。例えば、記録部１４は、残渣領域及び粘膜領域を互いに領域分割する画像処理プログラム１４１を格納する。

演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４１を読み込むことにより、管腔内画像の画像データを処理し、残渣領域及び粘膜領域を識別して領域分割するための種々の演算処理を行う。演算部１５は、確率値算出部１６と、重み付きエッジ強度算出部１７と、エネルギー関数作成部１８と、領域分割部１９とを有する。

確率値算出部１６は、管腔内画像に含まれる画素の色特徴量に基づいて、各画素が当該画像内の残渣領域に属する確率及び粘膜領域に属する確率をそれぞれ算出する。より詳細には、確率値算出部１６は、画素の色特徴量に基づいて、残渣領域に属する画素の色特徴量の分布と、粘膜領域に属する画素の色特徴量の分布とを推定する分布推定部１６１を有し、推定された２つの色特徴量の分布（頻度）に基づいて、各画素が残渣領域及び粘膜領域の各々に属する確率を算出する。

重み付きエッジ強度算出部１７は、管腔内画像に含まれる画素及び当該画素に隣接する画素（隣接画素）の画素値及び色特徴量に基づいて、互いに隣接する画素の間における重み付きエッジ強度を算出する。より詳細には、重み付きエッジ強度算出部１７は、管腔内画像に含まれる画素及びその隣接画素の画素値に基づいてエッジ強度を算出するエッジ強度算出部１７１と、算出されたエッジ強度に与えられる重みを、当該管腔内画像に含まれる画素及びその隣接画素の色特徴量に基づいて算出する重み算出部１７２とを有する。重み算出部１７２は、管腔内画像に含まれる画素の色特徴量に基づいて、残渣領域に属する画素の色特徴量の分布及び粘膜領域に属する画素の色特徴量の分布を推定する分布推定部１７２ａと、残渣領域及び粘膜領域の色特徴量の分布の境界を検出する境界検出部１７２ｂと、該分布の境界において重みの値が最大となるような重み分布を設定する重み分布設定部１７２ｃとを含み、設定された重み分布に対応する関数を重み関数として設定する。

エネルギー関数作成部１８は、管腔内画像１００内の各画素が残渣領域及び粘膜領域の各々に属する確率と、各画素とその隣接画素との間の重み付きエッジ強度とを用いて、各画素がいずれの領域に属するかの領域判別結果によって表されるエネルギー関数を作成する。より詳細には、エネルギー関数作成部１８は、各画素について算出された確率に基づく第１エネルギー関数を作成する第１エネルギー関数作成部１８１と、隣接画素間の重み付きエッジ強度に基づく第２エネルギー関数を作成する第２エネルギー関数作成部１８２とを有し、これらの第１及び第２エネルギー関数の和をエネルギー関数として設定する。

領域分割部１９は、上記エネルギー関数を最小化させる領域判別結果を算出して、当該管腔内画像を残渣領域と粘膜領域とに分割する。

次に、画像処理装置１の動作について、図２及び図３を参照しながら説明する。図２は、画像処理装置１の動作を示すフローチャートである。また、図３は、カプセル内視鏡によって撮像され、画像処理装置１によって処理される管腔内画像の一例を示す模式図である。

まず、ステップＳ１０において、演算部１５は、記録部１４から処理対象の管腔内画像１００を取得する。図３は、処理対象である管腔内画像の一例を示す模式図である。以下においては、図３に示す管腔内画像１００に対する処理を説明する。管腔内画像１００は、残渣領域１０１及び粘膜領域１０２を含む。なお、管腔内画像１００の４隅は、被検体に関する有効な情報を含まないため、予めマスキングされている。

ステップＳ１１において、確率値算出部１６は、管腔内画像１００に含まれる画素の色特徴量に基づいて、管腔内画像１００内の各画素が残渣領域及び粘膜領域の各々に属する確率を算出する。実施の形態１においては、色特徴量として色相値を用いる。

図４は、ステップＳ１１における確率値算出部１６の詳細な動作を示すフローチャートである。
ステップＳ１１０において、確率値算出部１６は、管腔内画像１００内の各画素のＲＧＢ値を色相値に変換する。色相値への変換方法としては、ＨＳＩ変換における公知の変換式を用いれば良い（参考：ＣＧ−ＡＲＴＳ協会「ディジタル画像処理」、第６４〜６７頁参照）。

続くステップＳ１１１において、確率値算出部１６は、各画素の色相値に基づいて、ＲＧＢ値を色相１軸からなる特徴空間（色相空間）に投影した色相分布を生成する。図５Ａは、そのようにして生成された色相分布を示すヒストグラムである。ここで、通常、残渣は主に黄色を示し、粘膜は主に赤色を示すため、管腔内画像１００内に残渣領域１０１及び粘膜領域１０２の両方が存在する場合、色相分布Ｄ_ＴＯＴは残渣の中心色相Ｈ_Ｙ及び粘膜の中心色相Ｈ_Ｒに対応する２つのピーク（ピーク１及びピーク２）を有する双峰形状になる可能性が高い。

ステップＳ１１２において、分布推定部１６１は、色相分布Ｄ_ＴＯＴに、２つの正規分布からなる混合正規分布を当てはめることにより、残渣領域１０１に属する画素の色相分布及び粘膜領域１０２に属する画素の色相分布を推定する。混合正規分布は、例えば、ＥＭアルゴリズム等の公知の方法を用いて求めることができる。ＥＭアルゴリズムとは、あるパラメータに基づくモデルの尤度の期待値の算出と、算出された期待値を最大化するパラメータの算出とを繰り返すことによりパラメータを推定する演算方法である。

図５Ｂは、色相分布Ｄ_ＴＯＴに対して推定された各領域の色相分布（以下、推定分布という）を示す。このうち、色相値Ｈ_Ｙ’（Ｈ_Ｙ’≒Ｈ_Ｙ）を平均とする推定分布Ｄ_Resは、残渣領域１０１に属すると推定される画素の色相分布である。一方、色相値Ｈ_Ｒ’（Ｈ_Ｒ’≒Ｈ_Ｒ）を平均とする推定分布Ｄ_Memは、粘膜領域１０２に属すると推定される画素の色相分布である。分布推定部１６１は、これらの推定分布Ｄ_Res及びＤ_Memを記録部１４に記録する。

続いて、確率値算出部１６は、管腔内画像１００に含まれる各画素について、ループＡの処理を実行する。まず、ステップＳ１１３において、確率値算出部１６は、各画素の色相値に対応する２つの推定分布Ｄ_Res及びＤ_Memにおける頻度値を取得する。続くステップＳ１１４において、確率値算出部１６は、取得された頻度値の比率に基づいて、当該画素が残渣領域及び粘膜領域の各々に属する確率を算出する。

例えば、色相値Ｈ_ｕを有する画素ｕ（ｕは各画素を識別するインデックス）の場合、推定分布Ｄ_Resにおける頻度値はｚ_Resであり、推定分布Ｄ_Memにおける頻度値はｚ_Memである。これより、画素ｕが残渣領域１０１に属する確率Ｐ_ｕ（Ｒｅｓ）及び粘膜領域１０２に属する確率Ｐ_ｕ（Ｍｅｍ）は、次式（１）及び（２）によってそれぞれ与えられる。
Ｐ_ｕ（Ｒｅｓ）＝ｚ_Res／（ｚ_Mem＋ｚ_Res） …（１）
Ｐ_ｕ（Ｍｅｍ）＝ｚ_Mem／（ｚ_Mem＋ｚ_Res） …（２）

確率値算出部１６が管腔内画像１００内の全ての画素についてループＡの処理を実行した後、動作はメインルーチンに戻る。

図２のステップＳ１２において、重み付きエッジ強度算出部１７は、管腔内画像１００内の各画素の画素値及び色特徴量に基づいて、互いに隣接する画素間（隣接画素間）における重み付きエッジ強度を算出する。

ここで、隣接画素間におけるエッジ強度に重みを与えるのは、以下の理由による。即ち、一般的なソーベルフィルタ等によりエッジ強度を算出する場合、残渣領域１０１と粘膜領域１０２との境界（以下、残渣境界という）１０３以外にも、粘膜間の溝１０４等を示すエッジが高い強度で検出される。そのため、残渣境界１０３のエッジ強度が相対的に弱くなり、残渣境界１０３を適切に検出することができなくなってしまう。そこで、本実施の形態においては、残渣領域１０１と粘膜領域１０２との色の違いに着目し、色特徴量（実施の形態１においては色相）に基づいてエッジ強度を重み付けすることにより、残渣境界１０３を示すエッジを他のエッジよりも高い値にして強調することとしている。

図６は、ステップＳ１２における重み付きエッジ強度算出部１７の詳細な動作を示すフローチャートである。
ステップＳ１２０において、分布推定部１７２ａは、管腔内画像１００内の画素の色相値に基づいて、残渣領域１０１に含まれると推定される画素の色相分布、及び粘膜領域１０２に含まれると推定される画素の色相分布を取得する。本実施の形態においては、確率値算出部１６によって既に推定処理が行われているため、分布推定部１７２ａは、推定済みの色相分布（即ち、図５Ｂに示す推定分布Ｄ_Mem及びＤ_Res）を記録部１４から取得する。なお、確率値算出部１６によって未だ推定処理が行われていない場合には、図４のステップＳ１１０〜Ｓ１１２と同様の処理により、分布推定部１７２ａが残渣領域１０１及び粘膜領域１０２における色相分布を推定しても良い。

ステップＳ１２１において、境界検出部１７２ｂは、推定分布Ｄ_ResとＤ_Memとで頻度値が同程度となる境界（以下、色相境界という）ＢＯＲを検出する（図７）。これは、実際の画像空間における残渣境界１０３の色相値は、色相境界ＢＯＲにおける色相値Ｈ_BORと近い値になる可能性が高いからである。なお、色相値Ｈ_BORを閾値として画像空間を残渣領域と粘膜領域とに分割した場合、両者の境界が実際の残渣境界１０３と必ずしも一致するわけではない。

ステップＳ１２２において、重み分布設定部１７２ｃは、色相境界ＢＯＲにおける値が最大となる重み分布Ｄ_Ｗを作成し、この重み分布Ｄ_Ｗに対応する関数を重み関数ｆ_Ｗとして設定する。重み分布Ｄ_Ｗは、色相境界ＢＯＲにおいて最大値を取り、且つ色相空間における色相境界ＢＯＲからの距離に応じて値（少なくとも２値）が変化する分布であれば、どのような分布であっても良い。例えば、色相値Ｈ_ＢＯＲを平均とする正規分布でも良いし、色相境界ＢＯＲにおいて最大値となる階段状の分布でも良いし、色相境界ＢＯＲにおいてピークとなる三角形状の分布でも良い。

実施の形態１においては、図７に示すように、色相値Ｈ_ＢＯＲを平均とする正規分布を重み分布Ｄ_Ｗとして作成する。この場合、重み分布Ｄ_Ｗの分散は、推定分布Ｄ_Res及びＤ_Memの分散の平均値を適用する等、推定分布Ｄ_Res及びＤ_Memの分散に基づいて算出すれば良い。或いは、重み分布Ｄ_Ｗの分散として、予め任意の値を決定しておいても良い。

また、重み分布Ｄ_Ｗは、色相境界ＢＯＲに対して対称な形状であっても良いし、非対称な形状であっても良い。後者の場合、例えば、色相境界ＢＯＲを境界として、推定分布Ｄ_Res側においては、平均が色相値Ｈ_ＢＯＲであり、且つ推定分布Ｄ_Resの分散と等しい分散を有する正規分布であり、推定分布Ｄ_Mem側においては、平均が色相値Ｈ_ＢＯＲであり、且つ推定分布Ｄ_Memの分散と等しい分散を有する正規分布であるような分布を作成しても良い。

続いて、重み付きエッジ強度算出部１７は、管腔内画像１００に含まれる各画素について、ループＢの処理を実行する。まず、ステップＳ１２３において、エッジ強度算出部１７１は、管腔内画像１００内の画素ｕとその隣接画素ｖとの間のＲ値の差分Ｄｉｆｆ（ｕ，ｖ）を算出する（ｖは隣接画素を識別するインデックス）。ここで、Ｒ値の差分を算出するのは、残渣領域１０１及び粘膜領域１０２は、Ｒ値に対応する波長に対して互いに異なる吸光度を有するため、Ｒ値がこれらの領域の差異を表し易いからである。

続くステップＳ１２４において、エッジ強度算出部１７１は、画素ｕの色相値Ｈ_ｕと、その隣接画素ｖの色相値Ｈ_ｖとの平均値Ｈ_AVE＝（Ｈ_ｕ＋Ｈ_ｖ）／２を算出する。

さらに、ステップＳ１２５において、平均値Ｈ_AVEに対応する重みＷ（ｕ，ｖ）を重み関数ｆ_Ｗから算出し、この重みＷ（ｕ，ｖ）と差分Ｄｉｆｆ（ｕ，ｖ）とを用いて、次式（３）により与えられる重み付きエッジ強度Ｅｄｇｅ（ｕ，ｖ）を算出する。
Ｅｄｇｅ（ｕ，ｖ）＝Ｗ（ｕ，ｖ）×Ｄｉｆｆ（ｕ，ｖ） …（３）

重み付きエッジ強度算出部１７が管腔内画像１００内の全ての画素についてループＢの処理を実行した後、動作はメインルーチンに戻る。

図２のステップＳ１３において、エネルギー関数作成部１８は、ステップＳ１１において算出された確率Ｐ_ｕ（Ｒｅｓ）及びＰ_ｕ（Ｍｅｍ）と、ステップＳ１２において算出された重み付きエッジ強度Ｅｄｇｅ（ｕ，ｖ）とに基づいて、エネルギー関数Ｅ（Ｘ）を作成する。ここで、エネルギー関数Ｅ（Ｘ）は、管腔内画像１００内の全画素に対するクラス判別結果Ｘを変数とする関数である。クラス判別結果とは、各画素が粘膜領域と残渣領域との内のいずれに属するかの判別結果であり、管腔内画像１００内の画素数をｎ個とする場合、２^ｎ通りの組み合わせが存在する。

エネルギー関数Ｅ（Ｘ）は、次式（４）に示すように、各画素が各領域に含まれる確率に基づいて算出される第１エネルギー関数Ｅ１（Ｘ）と、各画素の重み付きエッジ強度に基づいて算出される第２エネルギー関数Ｅ２（Ｘ）の総和によって表される。
Ｅ（Ｘ）＝α・Ｅ１（Ｘ）＋β・Ｅ２（Ｘ） …（４）
式（４）において、α及びβは任意の係数（定数）である。

第１エネルギー関数Ｅ１（Ｘ）は、次式（５）によって与えられる。

式（５）の右辺において、Ｘ_ｕは画素ｕに対するクラス判別結果を示し、Ｐ_ｕ（Ｘ_ｕ）は画素ｕがクラスＸ_ｕである確率を示し、Ｕは管腔内画像１００内の全画素の集合を示す。

例えば、画素ｕが粘膜領域１０２に属すると判別された場合、Ｐ_ｕ（Ｘ_ｕ）＝Ｐ_ｕ（Ｒｅｓ）となる。反対に、画素ｕが粘膜領域１０２に属すると判別された場合、Ｐ_ｕ（Ｘ_ｕ）＝Ｐ_ｕ（Ｍｅｍ）となる。これより、式（５）の要素｛−ｌｎ（Ｐ_ｕ（Ｘ_ｕ））｝は、画素ｕがより確からしい領域（確率Ｐ_ｕ（Ｍｅｍ）、Ｐ_ｕ（Ｒｅｓ）の内、値が大きい方の領域）に属すると判別された場合に小さくなる。従って、第１エネルギー関数Ｅ１（Ｘ）は、より確からしい領域に属する画素数が多いほど、トータルの値が小さくなる。

一方、第２エネルギー関数Ｅ２（Ｘ）は、次式（６）によって与えられる。

式（６）の右辺において、Ｄは全ての隣接画素（ｕ，ｖ）の組み合わせを示す。また、δ（Ｘ_ｕ，Ｘ_ｖ）は、隣接画素における判別結果の組み合わせを示す関数であり、次式（７）によって与えられる。

式（６）の右辺の要素ｅｘｐ｛−Ｅｄｇｅ（ｕ，ｖ）｝は、隣接画素間の重み付けエッジ強度Ｅｄｇｅ（ｕ，ｖ）の値が大きいほど、値が小さくなる。従って、第２エネルギー関数Ｅ２（Ｘ）は、残渣境界が存在すると判別（Ｘ_ｕ≠Ｘ_ｖ）された隣接画素間における差分Ｄｉｆｆ（ｕ，ｖ）が大きいほど、或いは、残渣境界が存在すると判別された隣接画素ｕ，ｖと色相境界ＢＯＲとが近接しているほど、トータルの値が小さくなる。

ステップＳ１４において、領域分割部１９は、エネルギー関数Ｅ（Ｘ）を最適化（最小化）するクラス判別結果Ｘを求め、このクラス判別結果Ｘに基づいて管腔内画像１００を領域分割する。それにより、例えば図９に示すように、残渣領域１０１が除去された管腔内画像１００を得ることができる。

エネルギー関数の最適化問題の解法としては、スネーク（Snakes）法及びレベルセット（Lebel Set）法等の動的輪郭モデルや、グラフカット（Graph Cut）法等、種々の手法が知られている。実施の形態１においては、一例として、グラフカット法による解法を説明する（参考：Y. Boykov, M. Jolly, “Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images”, Proceeding of “Internation Conference on Computer Vision”, July 2001, vol.1, pp. 105-112）。

グラフカット法においては、まず、図８Ａに示すように、管腔内画像１００内の各画素に対応するノードＮｕ、各画素が取り得るクラス（残渣領域又は粘膜領域の判別結果）に対応するノードＳ及びＴ、ノードＮｕと隣接するノードＮｖとを接続するＮリンク（ｎ−ｌｉｎｋ）、ノードＮｕとノードＳとを接続するＳリンク（ｓ−ｌｉｎｋ）、及び、ノードＮｕとノードＴとを接続するＴリンク（ｔ−ｌｉｎｋ）によって構成される有向グラフを作成する。実施の形態１においては、ノードＳを残渣領域、ノードＴを粘膜領域と設定する。

次いで、各リンクに対し、Ｓ１１において算出された確率、及びＳ１２において算出された重み付きエッジ強度に基づくコストを付与する。具体的には、図８Ｂに示すように、Ｎリンクに対しては、隣接画素間の重み付けエッジ強度Ｅｄｇｅ（ｕ，ｖ）に基づくコストβ・ｅｘｐ｛−Ｅｄｇｅ（ｕ，ｖ）｝が付与される。また、Ｓリンクに対しては、画素ｕが粘膜領域に属する確率Ｐ_ｕ（Ｔ）（＝Ｐ_ｕ（Ｍｅｍ））に基づくコストα・｛−ｌｎ（Ｐ_ｕ（Ｔ））｝が付与される。さらに、Ｔリンクに対しては、画素ｕが残渣領域に属する確率Ｐ_ｕ（Ｓ）（＝Ｐ_ｕ（Ｒｅｓ））に基づくコストα・｛−ｌｎ（Ｐ_ｕ（Ｓ））｝が付与される。

このような有向グラフを、いくつかのリンクをカットすることにより、ノードＳ及びＴをそれぞれ含む２つの集合に分割する。このとき、カットされたリンクに与えられたコストの総和が最小となるようにする。これは、ノードＳからノードＴに向かうフローが最大となる経路を探索し、経路の余剰容量がなくなったリンクをカットすることに相当する（最小コスト・最大フローアルゴリズム）。それにより、例えば図８Ｃに示すように、ノードＳに接続されたノードＮｕの集合と、ノードＴに接続されたノードＮｕの集合とが得られる。

このようにカットされたリンクに付与されたコストの総和は、この分割結果に対応するクラス判別結果Ｘを入力した場合のエネルギー関数Ｅ（Ｘ）の値に相当する。従って、コストの総和が最小となるように有向グラフをカットすることにより、エネルギー関数Ｅ（Ｘ）を最小とする領域分割結果を得ることができる。

以上説明したように、実施の形態１においては、管腔内画像に含まれる画素の色特徴量に基づいて各画素が各領域に属する確率を算出すると共に、検出されたエッジに対して色特徴量（色相）に応じた重みを与え、残渣境界に対応するエッジを強調する。そのため、残渣境界以外（例えば、粘膜領域内の溝等）において検出されたエッジの影響を軽減することができる。従って、残渣境界の検出性能の低下を抑制し、管腔内画像を残渣領域と粘膜領域とに精度良く分割することが可能となる。

なお、実施の形態１においては、第１エネルギー関数Ｅ１（Ｘ）の要素として｛−ｌｎ（Ｐ_ｕ（Ｘ_ｕ））を用いたが、確率Ｐ_ｕ（Ｘ_ｕ）を変数とする減少関数であれば、他の関数（逆数等）を用いても良い。また、実施の形態１においては、第２エネルギー関数Ｅ２（Ｘ）の要素としてｅｘｐ｛−Ｅｄｇｅ（ｕ，ｖ）｝を用いたが、重み付きエッジ強度Ｅｄｇｅ（ｕ，ｖ）を変数とする減少関数であれば、他の関数（逆数や負の対数等）を用いても良い。

（変形例）
上記ステップＳ１１においては、推定分布Ｄ_Res及びＤ_Memを用いて、各画素が残渣領域及び粘膜領域の各々に属する確率Ｐ_ｕ（Ｒｅｓ）及びＰ_ｕ（Ｍｅｍ）を算出したが、色特徴量に基づく確率を取得することができれば、これ以外の方法を用いても良い。例えば、画素値（ＲＧＢ値）又はこれを変換した色相値と、確率Ｐ_ｕ（Ｒｅｓ）及びＰ_ｕ（Ｍｅｍ）とが対応付けられたテーブルデータを予め記録部１４に記録しておき、このテーブルデータを参照することにより、管腔内画像１００内の各画素における確率Ｐ_ｕ（Ｒｅｓ）及びＰ_ｕ（Ｍｅｍ）を取得しても良い。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
実施の形態２に係る画像処理装置は、図１に示す演算部１５の代わりに、図１０に示す演算部２０を備える。その他の構成は、図１に示すものと同様である。

演算部２０は、確率値算出部１６と、重み付きエッジ算出部２１と、エネルギー関数作成部１８と、領域分割部１９とを備える。この内、確率値算出部１６、エネルギー関数作成部１８、及び領域分割部１９の構成及び動作は、実施の形態１と同様である。

重み付きエッジ算出部２１は、エッジ強度算出部１７１及び重み算出部１７２に加えて、強エッジ領域検出部２１１及び重み再算出部２１２をさらに備える。なお、エッジ強度算出部１７１及び重み算出部１７２の構成及び動作は、実施の形態１と同様である。

強エッジ領域検出部２１１は、管腔内画像１００に含まれる画素の画素値に基づいて、エッジ強度の高い強エッジ領域を検出する。より詳細には、強エッジ領域検出部２１１は、隣接画素間のエッジ強度に基づいてエッジ強度画像を作成するエッジ強度画像作成部２１１ａと、エッジ強度画像からエッジ強度が高い強エッジ画素を検出する強エッジ画素検出部２１１ｂと、近接する強エッジ画素同士を結合してラベル付けを行うラベリング部２１１ｃとを有し、結合された強エッジ画素を強エッジ領域として検出する。

重み再算出部２１２は、重み算出部１７２によって算出された重みに対し、強エッジ領域内における隣接画素間のエッジ強度に与えられる重みを再算出する。

次に、演算部２０の動作を説明する。演算部２０の動作は、全体として図２に示すものと同様であり、ステップＳ１２の隣接画素間の重み付きエッジ強度の算出処理の内容が異なる。図１１は、ステップＳ１２における演算部２０の動作を示すフローチャートである。また、以下においては、一例として、図１２に示す管腔内画像１１０に対する処理を説明する。管腔内画像１１０は、残渣領域１１１及び粘膜領域１１２を含む。また、管腔内画像１１０には、残渣境界１１３の他、粘膜間の溝１１４も映されている。

まず、ステップＳ２２０において、重み付きエッジ強度算出部１７は、隣接画素間における差分Ｄｉｆｆ（ｕ，ｖ）及びこの差分Ｄｉｆｆ（ｕ，ｖ）に与えられる重みＷ（ｕ，ｖ）を算出する。このステップＳ２２０における動作は、図６に示すステップＳ１２０〜Ｓ１２５と同様である。

続くステップＳ２２１において、エッジ強度画像作成部２１１ａは、管腔内画像１１０内の画素ｕとその隣接画素ｖとの差分Ｄｉｆｆ（ｕ，ｖ）に基づいて、エッジ強度画像を作成する。具体的には、図１３に示すように、画素ｕと、画素ｕの右側に存在する画素ｖ_１及び画素ｕの上側に存在する画素ｖ_２との差分Ｄｉｆｆ（ｕ，ｖ_１）及びＤｉｆｆ（ｕ，ｖ_２）をそれぞれ算出し、さらに、次式（８）によって与えられるエッジ強度Ｉ（ｕ）を算出する。このエッジ強度Ｉ（ｕ）を画素ｕの画素値とする画像が、エッジ強度画像である。

ステップＳ２２２において、強エッジ画素検出部２１１ｂは、エッジ強度画像に対して閾値処理を施すことにより、エッジ強度が所定の閾値よりも高い強エッジ画素を検出する。図１４は、そのようにして検出された強エッジ画素の画像を示している。強エッジ画素の画像１２０において、強エッジ画素群１２１は、図１２に示す残渣境界１１３に対応するものであり、強エッジ画素群１２２ａ〜１２２ｃは、図１２に示す溝１１４に対応するものである。また、残渣領域１１１内からは、色相の部分的な変化に起因して、強エッジ画素群１２３ａ〜１２３ｃが検出されている。

続くステップＳ２２３において、ラベリング部２１１ｃは、強エッジ画素の画像１２０に対してラベリング処理を施し、互いに近接する強エッジ画素に対して同じラベルを付与することにより、強エッジ領域を設定する。具体的には、図１４に示す強エッジ画素群１２１、１２２ａ〜１２２ｃ、１２３ａ〜１２３ｃに対して、互いに異なるラベルがそれぞれ付与される。その結果、これらの強エッジ画素群１２１、１２２ａ〜１２２ｃ、１２３ａ〜１２３ｃが、それぞれ、強エッジ領域として設定される。

続いて、重み再算出部２１２は、各強エッジ領域について、ループＣの処理を実行する。まず、ステップＳ２２４において、最大値取得部２１２ａは、管腔内画像１１０における強エッジ領域毎に、当該強エッジ領域内において隣接する画素間の重みＷ（ｕ，ｖ）の内で最大となる重みＷ_ＭＡＸを取得する。

続くステップＳ２２５において、重みの最大値Ｗ_ＭＡＸを、その強エッジ領域内の全ての隣接画素間のエッジ強度に与えられる重みとして再設定する。

ここで、このようにして重みを再設定する理由を説明する。図１２に示すように、残渣領域１１１内において色相が変化している場合、色相がＨ_ＢＯＲ近傍である領域（例えば領域１３１）の境界に対応する画素（例えば図１４に示す強エッジ画素群１２１の上部や強エッジ画素群１２３ａ）に対し、エッジ強度に与えられる重みは高く設定される。反対に、色相がＨ_ＢＯＲから離れている領域（例えば領域１３２）の境界に対応する画素（例えば強エッジ画素群１２１の下部）に対しては、エッジ強度に与えられる重みが低く設定される。このような場合、強エッジ画素群１２１の下部に対応する領域は残渣領域１１３とは認識されず、代わりに、重みが高く設定された強エッジ画素群１２３ａに対応する領域が残渣領域として誤検出されてしまうおそれがある。そこで、実施の形態２においては、残渣境界１１３の連続性に着目し、同じ連結成分を構成する画素に対して重みの最大値Ｗ_ＭＡＸを一律に設定することにより、エッジ強度に与えられる重みを補っている。

重み再算出部２１２が全ての強エッジ領域についてループＣの処理を実行した後、動作はメインルーチンに戻る。このようにして再設定された重みＷ（ｕ，ｖ）（＝Ｗ_ＭＡＸ）が、隣接画素間の差分Ｄｉｆｆ（ｕ，ｖ）に与えられる重みとして用いられる。

以上説明したように、実施の形態２においては、検出すべき残渣境界のエッジの連続性に着目し、検出した強エッジ画素をラベリング処理により統合して強エッジ領域を設定し、強エッジ領域内における重みの最大値を、同じ強エッジ領域内の他の隣接画素間のエッジ強度に与えられる重みに適用する。従って、残渣境界以外において検出されたエッジの影響を軽減して、管腔内画像を粘膜領域と残渣領域とに精度良く分割することが可能となる。

以上においては、管腔内画像を残渣領域及び粘膜領域に分割する場合を説明したが、画像の種類や検出対象とする領域は上記実施の形態１及び２に限定されず、色情報の特徴に差異が存在する領域であれば、領域分割することが可能である。

また、本願発明は、画像を３つ以上の領域に分割する場合にも適用することができる。例えば、複数の検出対象の間に色情報の特徴の明確な差異が存在している場合には、それぞれの検出対象の色特徴量に基づき、各画素がそれぞれの領域に属する確率やエッジ強度に与えられる重みを算出して、多値の最小化問題とすれば良い（例えば、「コンピュータビジョン最先端ガイド１」、八木靖史、他編、アドコム・メディア株式会社、第５４〜５９頁参照）。或いは、上記実施の形態１及び２において説明した２つの領域への領域分割を、色特徴量のパラメータを変化させて繰り返し実行することにより、画像を３つ以上の領域に分割しても良い。

さらに、上記実施の形態１及び２においては、色特徴量として色相を用いたが、それ以外の色特徴量（彩度、明度、色差等）を用いても良い。

以上説明した実施の形態１及び２に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１及び２に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。

なお、本発明は、実施の形態１及び２並びにその変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記録部
１４１ 画像処理プログラム
１５、２０ 演算部
１６ 確率値算出部
１６１ 分布推定部
１７、２１ 重み付きエッジ強度算出部
１７１ エッジ強度算出部
１７２ 重み算出部
１７２ａ 分布推定部
１７２ｂ 境界検出部
１７２ｃ 重み分布設定部
１８ エネルギー関数作成部
１８１ 第１エネルギー関数作成部
１８２ 第２エネルギー関数作成部
１９ 領域分割部
２１１ 強エッジ領域検出部
２１１ａ エッジ強度画像作成部
２１１ｂ 強エッジ画素検出部
２１１ｃ ラベリング部
２１２ 重み再算出部
２１２ａ 最大値取得部
１００、１１０ 管腔内画像
１０１、１１１ 残渣領域
１０２、１１２ 粘膜領域
１０３、１１３ 残渣境界
１０４、１１４ 溝
１２０ 強エッジ画素の画像
１２１、１２２ａ〜１２２ｃ、１２３ａ〜１２３ｃ 強エッジ画素群
１３１、１３２ 領域

Claims (20)

1. 画像を複数の領域に分割する画像処理装置において、
   前記画像に含まれる画素の色特徴量に基づいて、前記画素が前記複数の領域の各々に属する確率を算出する確率値算出手段と、
   前記画像に含まれる画素及び該画素に隣接する画素の画素値及び色特徴量に基づいて、隣接画素間における重み付きエッジ強度を算出する重み付きエッジ強度算出手段と、
   前記確率及び前記重み付きエッジ強度を用いて、前記画素の領域判別結果を変数とするエネルギー関数を作成するエネルギー関数作成手段と、
   前記エネルギー関数に基づいて、当該画像を前記複数の領域に分割する領域分割手段と、
   を備えることを特徴とする画像処理装置。
2. 前記確率値算出手段は、
   前記画像に含まれる画素の色特徴量に基づいて、前記複数の領域の各々に属する画素の色特徴量の分布を推定する分布推定手段を有し、
   前記複数の領域に対応する複数の前記色特徴量の分布の頻度に基づいて前記確率を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記分布推定手段は、前記画像に含まれる画素の色特徴量の分布に対して混合正規分布を当てはめることにより、前記複数の色特徴量の分布を推定することを特徴とする請求項２に記載の画像処理装置。
4. 前記重み付きエッジ強度算出手段は、
   前記画像に含まれる画素及び該画素に隣接する画素の画素値に基づいて、隣接画素間のエッジ強度を算出するエッジ強度算出手段と、
   前記画像に含まれる画素及び該画素に隣接する画素の色特徴量に基づいて、前記隣接画素間のエッジ強度に与えられる重みを算出する重み算出手段と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
5. 前記重み算出手段は、前記画像に含まれる画素の色特徴量の分布に基づいて、該色特徴量と前記重みとの関係を示す重み関数を作成し、前記重み関数を用いて前記重みを算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記重み算出手段は、
   前記画像に含まれる画素の色特徴量に基づいて、前記複数の領域の各々に属する画素の色特徴量の分布を推定する分布推定手段と、
   前記複数の領域に対応する複数の前記色特徴量の分布の内、互いに隣接する分布間の境界を検出する境界検出手段と、
   前記境界において値が最大となる重み分布を設定する重み分布設定手段と、
   を備え、
   前記重み分布に対応する関数を重み関数とすることを特徴とする請求項５に記載の画像処理装置。
7. 前記重み分布設定手段は、前記重み分布として、前記境界における色特徴量を平均とする正規分布を設定することを特徴とする請求項６に記載の画像処理装置。
8. 前記重み分布設定手段は、前記重み分布として、前記境界に対して非対称な分布を設定することを特徴とする請求項６に記載の画像処理装置。
9. 前記重み算出手段は、予め作成された色特徴量と前記重みとの関係を示すデータテーブルに基づいて、前記重みを算出することを特徴とする請求項４に記載の画像処理装置。
10. 前記重み付きエッジ強度算出手段は、
    前記画像に含まれる画素の画素値に基づいて、エッジ強度が所定の閾値よりも高い画素群からなる強エッジ領域を検出する強エッジ領域検出手段と、
    前記重み算出手段によって算出された重みの内、前記強エッジ領域に含まれる隣接画素間のエッジ強度に与えられる重みに基づいて、当該強エッジ領域内の隣接画素間のエッジ強度に与えられる重みを再算出する重み再算出手段と、
    をさらに備えることを特徴とする請求項４に記載の画像処理装置。
11. 前記強エッジ領域検出手段は、
    前記隣接画素間のエッジ強度に基づいてエッジ強度画像を作成するエッジ強度画像作成手段と、
    前記エッジ強度画像から、エッジ強度が所定の閾値よりも高い画素である強エッジ画素を検出する強エッジ画素検出手段と、
    前記強エッジ画素にラベリング処理を施すことにより、互いに近接する前記強エッジ画素同士を結合するラベリング手段と、
    を備えることを特徴とする請求項１０に記載の画像処理装置。
12. 前記重み再算出手段は、前記強エッジ領域に含まれる隣接画素間のエッジ強度に与えられる重みの内から最大値を算出し、該最大値を、当該強エッジ領域に含まれる全ての隣接画素間のエッジ強度に与えられる重みとすることを特徴とする請求項１０に記載の画像処理装置。
13. 前記エネルギー関数は、前記画像に含まれる画素が最も確からしい領域に属する場合に最小となる関数であり、
    前記領域分割手段は、前記エネルギー関数を最小化させることにより、前記画像を分割することを特徴とする請求項１に記載の画像処理装置。
14. 前記エネルギー関数作成手段は、
    前記複数の領域の内で最も確からしい領域に属する画素が多いほど値が小さくなる第１のエネルギー関数を作成する第１のエネルギー関数作成手段と、
    前記複数の領域相互の境界が存在すると判別された隣接画素間における前記重み付きエッジ強度が高いほど値が小さくなる第２のエネルギー関数を作成する第２のエネルギー関数作成手段と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
15. 前記色特徴量は色相であることを特徴とする請求項１に記載の画像処理装置。
16. 前記複数の領域は、特定の検出対象が存在する特定領域と、前記特定の検出対象が存在しない非特定領域とを含むことを特徴とする請求項１に記載の画像処理装置。
17. 前記画像は、被検体の体内を撮像した管腔内画像であることを特徴とする請求項１６に記載の画像処理装置。
18. 前記特定領域は、前記管腔内画像において粘膜に対応する領域であることを特徴とする請求項１７に記載の画像処理装置。
19. 画像を複数の領域に分割する画像処理装置が行う画像処理方法において、
    前記画像に含まれる画素の色特徴量に基づいて、前記画素が前記複数の領域の各々に属する確率を算出する確率値算出ステップと、
    前記画像に含まれる画素及び該画素に隣接する画素の画素値及び色特徴量に基づいて、隣接画素間における重み付きエッジ強度を算出する重み付きエッジ強度算出ステップと、
    前記確率及び前記重み付きエッジ強度を用いて、前記画素の領域判別結果を変数とするエネルギー関数を作成するエネルギー関数作成ステップと、
    前記エネルギー関数に基づいて、当該画像を前記複数の領域に分割する領域分割ステップと、
    を含むことを特徴とする画像処理方法。
20. 画像を複数の領域に分割する画像処理をコンピュータに実行させる画像処理プログラムにおいて、
    前記画像に含まれる画素の色特徴量に基づいて、前記画素が前記複数の領域の各々に属する確率を算出する確率値算出ステップと、
    前記画像に含まれる画素及び該画素に隣接する画素の画素値及び色特徴量に基づいて、隣接画素間における重み付きエッジ強度を算出する重み付きエッジ強度算出ステップと、
    前記確率及び前記重み付きエッジ強度を用いて、前記画素の領域判別結果を変数とするエネルギー関数を作成するエネルギー関数作成ステップと、
    前記エネルギー関数に基づいて、当該画像を前記複数の領域に分割する領域分割ステップと、
    を実行させることを特徴とする画像処理プログラム。

Images