JP2016122465A - 分類装置、分類プログラムおよび分類装置の動作方法 - Google Patents

Abstract

【課題】グラフカット処理により多クラスに分類する際、扱うことが可能なエネルギーが制限されることなく高速に正確な解を得ることができるようにする。【解決手段】画像データを構成する各ピクセルを、順序を持ったＮ（＞２）個のラベルのいずれかに分類する際に、２値化グラフ設定手段１３で、Ｎ個のラベルのうちラベルｉ−１とラベルｉを分ける第ｉ番目の層ｉを境に、ｉ以上のラベルが割り当てられるクラスを仮想ラベル０に対応させ、ｉ−１以下のラベルが割り当てられるクラスを仮想ラベル１を対応させた２値化グラフを設定し、層別ラベリング手段１５で、各層の２値化グラフに対してグラフカット処理を実行したのちに、ラベル決定手段１６で、全ての２値化グラフに割り当てられた仮想ラベルから、各ピクセルがＮ個のラベルのいずれに属するかを決定する。【選択図】図１

Description

本発明は、グラフカットの手法を用いて３クラス以上の領域に画像を分類する分類装置、分類プログラムおよび分類方法に関する。

近年, グラフの最小切断（グラフカット）アルゴリズムを使ったエネルギー最小化が、画像処理に盛んに応用されるようになってきた。特に画像のセグメンテーション（領域分割）の問題をエネルギー最小化問題として効率的に解く方法が提案されている。

Ishikawaは、２次のエネルギー関数を最小化することで対象画像を２クラスに分離するグラフカットの手法を基本として、順序を持った多クラスに分離できるようにグラフカットの手法を拡張している（非特許文献１）。

さらに、Kolmogorovらは、２クラスに分離する際に３次のエネルギーを最小化する方法を提案している。また、多クラスに分離する際に３次のエネルギー用いる方法も紹介している。この方法は２クラスの問題を解くことを繰り返しながら多クラスのラベル付けをすることにより、順序を持った多クラスでなくとも解くことが可能である（非特許文献２）。

H. Ishikawa, Exact Optimization for Markov Random Fields with Convex Priors, IEEE PAMI, 25(10), 2003. V. Kolmogorov and R. Zabih, What energy functions can be minimized via Graph Cuts?, IEEE PAMI, 26(2), 2004.

非特許文献１に紹介された方法では、３次のエネルギーを扱っていないため、３次以上のエネルギーを用いて多クラスに分離する問題には対応することができない。

また、非特許文献２に紹介された方法では、順序を持った多クラスでなくとも解くことが可能であるが、求まる解は近似解であり、計算コストが多くなる。

そこで、本発明では、グラフカットの手法を用いて、高速に順序を持った多クラスに分類することが可能な分類装置、分類プログラムおよび分類装置の動作方法を提供することを目的とする。

本発明の分類装置は、画像データを構成する各ピクセルを、０からＮ−１までの順序を持ったＮ（＞２）個のラベルのいずれかに分類する分類装置であって、
頂点ｓと頂点ｔの間に各ラベルの境となるｋ（＝Ｎ−１）段の層を設け、各層α（α＝１, . . . ,ｋ）上に前記画像の各ピクセルの場所ｖに対応する頂点ｗ^α _ｖ（α＝１, . . . ,ｋ）を設け、前記頂点ｔ、前記頂点ｓおよび前記頂点ｗ^α _ｖのうちの２つの頂点を結ぶ辺を有するグラフを用いて、前記辺のうち切断する辺をグラフカット処理により決定して各ピクセルにＮ個のラベルのいずれかを割り当てるラベリング手段を備え、
前記ラベリング手段が、
前記Ｎ個のラベルのうちラベルｉ−１とラベルｉを分ける第ｉ番目の層ｉごとに、該層ｉの各頂点ｗ^ｉ _ｖが対応する場所ｖにｉ以上のラベルが割り当てられることを仮想ラベル１に、ｉ−１以下のラベルに割り当てられることを仮想ラベル０にそれぞれ対応させて、前記仮想ラベル０に対応する前記頂点ｓ、前記仮想ラベル１に対応する前記頂点ｔおよび前記各頂点ｗ^ｉ _ｖのうちの２つの頂点を結ぶ辺を有する２値化グラフを設定する２値化グラフ設定手段と、
前記各頂点が仮想ラベル０に属する場合と前記仮想ラベル１に属する場合に応じたエネルギーを、各層の前記２値化グラフの辺に設定するエネルギー設定手段と、
前記層ごとの２値化グラフにエネルギーが設定されたグラフ全体にグラフカット処理を実行することより、前記各層の２値化グラフの辺のうち切断する辺を決定して、該層の前記頂点ｗ^ｉ _ｖに仮想ラベル０および仮想ラベル１のいずれかを割り当てる層別ラベリング手段と、
前記１番目からｋ番目の層の同じ場所ｖに対する各頂点ｗ^ｉ _ｖ（ｉ＝１, . . . ,ｋ）が、仮想ラベル０または仮想ラベル１のいずれが割り当てられたかに応じて、場所ｖのピクセルがＮ個のラベルのいずれに属するかを決定するラベル決定手段とを有することを特徴とするものである。

本発明の分類プログラムは、コンピュータを、
画像データを構成する各ピクセルを、０からＮ−１までの順序を持ったＮ（＞２）個のラベルのいずれかに分類する分類装置として機能させるための分類プログラムであって、
前記コンピュータを、
頂点ｓと頂点ｔの間に各ラベルの境となるｋ（＝Ｎ−１）段の層を設け、各層α（α＝１, . . . ,ｋ）上に前記画像の各ピクセルの場所ｖに対応する頂点ｗ^α _ｖ（α＝１, . . . ,ｋ）を設け、前記頂点ｔ、前記頂点ｓおよび前記頂点ｗ^α _ｖのうちの２つの頂点を結ぶ辺を有するグラフを用いて、前記辺のうち切断する辺をグラフカット処理により決定して各ピクセルにＮ個のラベルのいずれかを割り当てるラベリング手段として機能させるものであり、
前記ラベリング手段が、
前記Ｎ個のラベルのうちラベルｉ−１とラベルｉを分ける第ｉ番目の層ｉごとに、該層ｉの各頂点ｗ^ｉ _ｖが対応する場所ｖにｉ以上のラベルが割り当てられることを仮想ラベル１に、ｉ−１以下のラベルに割り当てられることを仮想ラベル０にそれぞれ対応させて、前記仮想ラベル０に対応する前記頂点ｓ、前記仮想ラベル１に対応する前記頂点ｔおよび前記各頂点ｗ^ｉ _ｖのうちの２つの頂点を結ぶ辺を有する２値化グラフを設定する２値化グラフ設定手段と、
前記各頂点が仮想ラベル０に属する場合と前記仮想ラベル１に属する場合に応じたエネルギーを、各層の前記２値化グラフの辺に設定するエネルギー設定手段と、
前記層ごとの２値化グラフにエネルギーが設定されたグラフ全体にグラフカット処理を実行することより、前記各層の２値化グラフの辺のうち切断する辺を決定して、該層の前記頂点ｗ^ｉ _ｖに仮想ラベル０および仮想ラベル１のいずれかを割り当てる層別ラベリング手段と、
前記１番目からｋ番目の層の同じ場所ｖに対する各頂点ｗ^ｉ _ｖ（ｉ＝１, . . . ,ｋ）が、仮想ラベル０または仮想ラベル１のいずれが割り当てられたかに応じて、場所ｖのピクセルがＮ個のラベルのいずれに属するかを決定するラベル決定手段とを有することを特徴とするものである。

本発明の分類装置の動作方法は、画像データを構成する各ピクセルを、０からＮ−１までの順序を持ったＮ（＞２）個のラベルのいずれかに分類するために、ラベリング手段を備えた分類装置の動作方法であって、
前記ラベリング手段により、頂点ｓと頂点ｔの間に各ラベルの境となるｋ（＝Ｎ−１）段の層を設け、各層α（α＝１, . . . ,ｋ）上に前記画像の各ピクセルの場所ｖに対応する頂点ｗ^α _ｖ（α＝１, . . . ,ｋ）を設け、前記頂点ｔ、前記頂点ｓおよび前記頂点ｗ^α _ｖのうちの２つの頂点を結ぶ辺を有するグラフを用いて、前記辺のうち切断する辺をグラフカット処理により決定して各ピクセルにＮ個のラベルのいずれかを割り当てるラベリングステップを備え、
前記ラベリングステップが、
前記Ｎ個のラベルのうちラベルｉ−１とラベルｉを分ける第ｉ番目の層ｉごとに、該層ｉの各頂点ｗ^ｉ _ｖが対応する場所ｖにｉ以上のラベルが割り当てられることを仮想ラベル１に、ｉ−１以下のラベルに割り当てられることを仮想ラベル０にそれぞれ対応させて、前記仮想ラベル０に対応する前記頂点ｓ、前記仮想ラベル１に対応する前記頂点ｔおよび前記各頂点ｗ^ｉ _ｖのうちの２つの頂点を結ぶ辺を有する２値化グラフを設定する２値化グラフ設定ステップと、
前記各頂点が仮想ラベル０に属する場合と前記仮想ラベル１に属する場合に応じたエネルギーを、各層の前記２値化グラフの辺に設定するエネルギー設定ステップと、
前記層ごとの２値化グラフにエネルギーが設定されたグラフ全体にグラフカット処理を実行することより、前記各層の２値化グラフの辺のうち切断する辺を決定して、該層の前記頂点ｗ^ｉ _ｖに仮想ラベル０および仮想ラベル１のいずれかを割り当てる層別ラベリングステップと、
前記１番目からｋ番目の層の同じ場所ｖに対する各頂点ｗ^ｉ _ｖ（ｉ＝１, . . . ,ｋ）が、仮想ラベル０または仮想ラベル１のいずれが割り当てられたかに応じて、場所ｖのピクセルがＮ個のラベルのいずれに属するかを決定するラベル決定ステップとを有することを特徴とするものである。

「順序を持ったＮ個のラベル」とは、複数のラベルが序列をもち、一列に並ぶ関係を指す。ここで、例えば序列が上のラベルの集合は、序列がそれより下のラベルの集合に内包される関係にある。

また、前記２値化グラフが、前記同一の層ｉ内の隣接するｗ^ｉ _ｖ間を結ぶ辺と、仮想頂点ｓと頂点ｗ^ｉ _ｖを結ぶ辺(ｓ, ｗ^ｉ _ｖ)と、頂点ｗ^ｉ _ｖと仮想頂点ｔを結ぶ辺(ｗ^ｉ _ｖ,ｔ) とを有するものであり、
前記ラベル決定手段が、同じ場所ｖに対する全ての層の頂点ｗ^ｉ _ｖが全て仮想ラベル０に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをラベル０に決定し、全ての層ｉの頂点ｗ^ｉ _ｖが全て仮想ラベル１に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをラベルＮ−１と決定し、第１層から第ｐ層までが仮想ラベル０に属し第ｐ＋１層から第Ｎ−１層までが仮想ラベル１に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをクラスｐと決定するものが望ましい。

また、前記エネルギー設定手段が、
頂点ｓと頂点ｗ^ｉ _ｖを結ぶ辺(ｓ, ｗ^ｉ _ｖ)および頂点ｗ^ｉ _ｖと頂点ｔを結ぶ辺(ｗ^ｉ _ｖ,ｔ)に対応する１次のエネルギーを設定するものであり、同一の層内の２つのｗ^ｉ _ｖ、ｗ^ｉ _u間を結ぶ辺に対して２次のエネルギーを設定するものが望ましい。

また、前記１次のエネルギーは、前記頂点ｗ^ｉ _ｖに対応するピクセルの画素値が仮想ラベル０となる尤度が高い場合には辺(ｓ, ｗ^ｉ _ｖ)に対する１次のエネルギーを辺(ｗ^ｉ _ｖ,ｔ)に対する１次のエネルギーより大きくし、前記頂点ｗ^ｉ _ｖに対応するピクセルの画素値が仮想ラベル１となる尤度が高い場合には辺(ｓ, ｗ^ｉ _ｖ)に対する１次のエネルギーを辺(ｗ^ｉ _ｖ,ｔ)に対する１次のエネルギーより小さくするように決定されるものであり、
前記２次のエネルギーは、頂点ｗ^ｉ _ｖのピクセルとそれに隣接する頂点ｗ^ｉ _uのピクセルが異なる仮想ラベルに属する可能性が高いほど辺(ｗ^ｉ _ｖ, ｗ^ｉ _u)に対する２次のエネルギーが小さい値になるように決定されるものであってもよい。

さらに、前記エネルギー設定手段が、
同一の層内の任意の３つの頂点ｗ^ｉ _ｖに対応するピクセルそれぞれが仮想ラベル０および仮想ラベル１のいずれに属するかに応じて決定される３次のエネルギーを、各層毎に仮想頂点ｖ^ｉを経由して３つの頂点ｗ^ｉ _ｖと頂点ｓまたは頂点ｔを結ぶ辺に対応して設定するものであってもよい。

さらにまた、前記エネルギー設定手段が、
同一の層内の任意の４つ以上の頂点の全てが仮想ラベル０または仮想ラベル１に属するかに応じて決定される４次以上のエネルギーを、各層毎に仮想頂点ｖ^ｉを経由して４つの頂点ｗ^ｉ _ｖと頂点ｓまたは頂点ｔを結ぶ辺に対応して設定するものであってもよい。

また、本発明の他の分類装置は、画像データを構成する各ピクセルを、０からＮ−１までの順序を持ったＮ（＞２）個のラベルのいずれかに分類する分類装置であって、
前記画像の３つピクセルの場所ｖｉ,ｖｊ,ｖｋのラベルに応じた３次のエネルギーＥ_ｌ ^ｉｊｋ
をグラフカット手法を用いて最小化することにより、各ピクセルのラベルを決定するラベリング手段を備えたことを特徴とするものである。

本発明の他の分類プログラムは、コンピュータを、
画像データを構成する各ピクセルを、０からＮ−１までの順序を持ったＮ（＞２）個のラベルのいずれかに分類する分類装置として機能させるための分類プログラムであって、
前記コンピュータを、
前記画像の３つピクセルの場所ｖｉ,ｖｊ,ｖｋのラベルに応じた３次のエネルギーＥ_ｌ ^ｉｊｋ
をグラフカット手法を用いて最小化することにより、各ピクセルのラベルを決定するラベリング手段として機能させることを特徴とするものである。

本発明の他の分類装置の動作方法は、画像データを構成する各ピクセルを、０からＮ−１までの順序を持ったＮ（＞２）個のラベルのいずれかに分類するラベリング手段を備えた分類装置の動作方法であって、
前記ラベリング手段により、前記画像の３つピクセルの場所ｖｉ,ｖｊ,ｖｋのラベルに応じた３次のエネルギーＥ_ｌ ^ｉｊｋ
をグラフカット手法を用いて最小化することにより、各ピクセルのラベルを決定するラベリングステップを備えたことを特徴とするものである。

本発明の分類装置によれば、画像データを構成する各ピクセルを順序を持ったＮ個のラベルにグラフカットの手法を用いて分類する際に、仮想ラベル０および仮想ラベル１に分類するＮ−１個の２値化グラフに置き換えて、Ｎ-１個の２値化グラフをグラフカットして得られた仮想ラベルの結果からＮ個のラベルを割り振るようにして、正確な最小解を高速に得ることができる。

また、３次のエネルギーを２値化グラフを用いて設定することにより、順序を持つラベルであれば、仮想ラベル０および仮想ラベル１のいずれに属するかに応じて決定される３次のエネルギーの解を正確に得ることができ高精度なラベリングが可能である。

さらに、任意の４つ以上のピクセルの全てが仮想ラベル０およびまたは仮想ラベル１に属するかに応じて決定される４次以上のエネルギーを２値化グラフを用いて設定することにより、４以上のピクセルが同じラベルを持つように分離するものに適用して、解を正確に得ることが可能である。

分類装置の構成を示したブロック図 画像のピクセルの並びを示す図 画像を２値の領域に分離した一例 ２クラスに分類する場合のグラフの一例 ２次のエネルギーをグラフに変換する方法を説明するための図 ４クラスに分類する場合のグラフの一例 ２値化グラフを説明するための図 ２値化グラフを用いたクラスタリングを説明するための図 ３次のエネルギーをグラフに変換する方法を説明するための図（その１） ３次のエネルギーを変換したグラフの一例（その１） ３次のエネルギーをグラフに変換する方法を説明するための図（その２） ３次のエネルギーを変換したグラフの一例（その２） ３クラスに分類する場合のグラフの一例 ３クラスに分類する場合の３次元のエネルギーのグラフを説明するための図 冠動脈の狭窄率を計算する処理の流れを示すフローチャート 冠状動脈の血管、プラーク、背景を説明するための図 冠状動脈の輝度値の出現頻度の分布を示す図 ４次のエネルギーを用いた分離を説明するための図 同じクラスとなる４つのピクセルを示す図 ４次のエネルギーをグラフに変換する方法を説明するための図 ３クラスに分類する場合の４次元のエネルギーのグラフを説明するための図

以下、図面により、本発明の実施形態を詳細に説明する。本発明の分類装置は、分類プログラムがコンピュータにロードされて実行されることにより実現する。また、分類プログラムはＣＤ−ＲＯＭ等の記憶媒体に記憶されて配布され、ＣＤ−ＲＯＭ等の記憶媒体からコンピュータにインストールされる。あるいは、インターネット等のネットワークを介してプログラムが配布されて、コンピュータにインストールされる。

まず、本発明に係る第１の実施の形態の分類装置を説明する。図１は、本発明に係る分類装置１の構成を示したブロック図である。本発明の実施形態では、グラフカットの手法を用いて画像中の各ピクセルをラベリングして画像を複数のクラスの領域に分割する手法について説明する。

図１に示すように、分類装置１は、画像データ入力受付手段１１と、画像データＰ中の各ピクセルをラベリングするラベリング手段１２と、表示手段１７とを備えている。

さらに、ラベリング手段１２は、２値化グラフ設定手段１３、エネルギー設定手段１４と、層別ラベリング手段１５と、ラベル決定手段１６とを備えている。

画像データ入力受付手段１１は、画像処理対象の画像データＰの入力を受け付け、記憶装置に一旦記憶する。画像データＰは、単純Ｘ線撮影画像や、ＣＴ装置やＭＲＩ装置で撮影された断層画像等である。画像データＰには複数の臓器や組織あるいは病変部が撮影されている。

ラベリング手段１２は、グラフカットの手法を用いてエネルギーを最小化することで、画像データＰ内の各画素（ピクセル）に対してラベルを割り当てて、同じ臓器や組織あるいは病変部が１つの領域となるように画像を分割する。例えば、冠状動脈が撮影された画像データＰを、冠状動脈と冠状動脈内のプラークと背景の領域に分割する。

まず、グラフカットを用いて画像データの各ピクセルに有限個のラベルを１つずつ割り振るために、各ピクセルの値に応じて決められる１次のエネルギーＥ^ｉと、隣接する２つのピクセルの関係によって決められる２次のエネルギーＥ^ｉjを用いてラベリングする手法について説明する。グラフカットに用いるエネルギー関数Ｅを次の式（１）のように定義する。

Ｖは画像データのピクセルの場所（以下、サイトと呼ぶ）を表す集合であり、Ｗは、サイト間の隣接関係を表す集合である。つまり、(ｉ,ｊ) ∈ Ｗのときサイトｉとｊは隣接している。式（１）の１項目の和は、各サイトに割り当てられるラベルのみに依存する値であり、Ｅⁱ(ｘi) を足し合わせたものであり、各サイトにどのラベルを割り当てたかによって決まる直接的な影響が現れる。第２項目の和は、隣接するサイト間、つまり、隣接するピクセルに与えられるラベルがどのような関係にあるべきかという事前知識を反映するようにエネルギーを定義したものである。

まず、各ピクセルＸiが「０」または「１」の２値の画像である場合について説明する。入力された画像データは、図２に示すように点（白丸）で構成され、各白丸がピクセルに１対１で対応する。グラフカットの手法を用いて、図３に示すように、各画素が１（黒丸）または０（白丸）の２値のいずれの領域に属するかを判別する。

この場合、各サイトに割り当てられるラベルＬは{０，１}の二つである。そこで、図４に示すような有向グラフを作る。まず、グラフは各サイトｉ（ｊ）それぞれに対応する頂点ｗ_i（ｗ_j）と、さらに２つの頂点ｓと頂点ｔを持つ。まず各サイトｉに対応する頂点ｗ_iそれぞれについて、ｓから頂点ｗ_iへ向かう辺（以下、エッジという）と頂点ｗ_iからｔへ向かうエッジをそれぞれ一本ずつ作る。次に、隣接するサイトに対応する頂点間にもエッジを作る。

このグラフのｓ，ｔは、各ピクセルＸiの値を次の式（２）のように対応させる。

つまり、グラフの頂点ｗ_iの切断がｓ側にあるならばサイトｉに１を割り当て（ｓ側が切断されるとｔに属する）、ｔ側にあるならばサイトｉに０のラベルを割り当てる。グラフの最小切断を行ったときに、各サイトｉが頂点ｓと頂点ｔのどちらにつながっているかによって各サイトのラベルが決定される。

有向グラフのｓから頂点ｗ_iへ向かうエッジと頂点ｗ_iからｔへ向かうエッジに対して、１次のエネルギーＥ^ｉ(ｗ_ｉ)を定義し、隣接するサイトに対応する頂点を結ぶエッジに対しては、２次のエネルギーＥ^ｉｊ(ｗ_ｉ,ｗ_ｊ)を定義する。

式（１）であらわされるエネルギーＥ(ｘ)の最小化により各サイトに対するラベルを得るためには、最小エネルギーを与えるラベルと最小切断が対応するように各エッジのエネルギー（重み）を定めればよい。例えば、１次のエネルギーＥ^ｉ(ｗ_ｉ)は、サイトｉのラベルが１をとる可能性が高い場合には、頂点ｗ_iと頂点tを結ぶエッジの１次のエネルギーＥ^ｉ(ｗ_ｉ)より、頂点ｗ_iと頂点ｓを結ぶエッジの１次のエネルギーＥ^ｉ(ｗ_ｉ)を小さくし、サイトｉのラベルが０をとる可能性が高い場合には、頂点ｗ_iと頂点ｓを結ぶエッジの１次のエネルギーＥ^ｉ(ｗ_ｉ)より、頂点ｗ_iと頂点tを結ぶエッジの１次のエネルギーＥ^ｉ(ｗ_ｉ)を小さくする。また、隣接する頂点ｗ_iと頂点ｗ_ｊに同じラベルが割り当てられる可能性が高い場合には、頂点ｗ_iと頂点ｗ_ｊの間のエッジは大きな値とし、隣接する頂点ｗ_iと頂点ｗ_ｊに異なるラベルが割り当てられる可能性が高い場合には、頂点ｗ_iと頂点ｗ_ｊの間のエッジは小さな値とする。

ところで、グラフの最小切断は最大流アルゴリズムを使って効率よく求められることが知られている。以下、２次のエネルギーをグラフに変換する手法について説明する。

頂点ｗ_ｉ、ｗ_ｊがともにＳに属する場合の２次のエネルギーＥ^ｉj(０，０)＝Ａとし、頂点ｗ_ｉがＳに属し、頂点ｗ_ｊがＴに属する場合の２次のエネルギーＥ^ｉj(０，１)＝Ｂとし、頂点ｗ_ｉがＴに属し、頂点ｗ_ｊがＳに属する場合の２次のエネルギーＥ^ｉj(１，０)＝Ｃとし、頂点ｗ_ｉ、頂点ｗ_ｊがともにＴに属する場合の２次のエネルギーＥ^ｉj(１，１)＝Ｄとする。エネルギーＡ，Ｂ，Ｃ，Ｄは、頂点ｗ_ｉ、ｗ_ｊに対応するピクセルの画素値に応じて、事前知識を反映するようにエネルギーを定義したものである。

２次のエネルギーは、表１に示すように表すことができる。
さらに、表１は表２のように書き直すことができる。

表２とエッジの関係について検討する。表２の第１項は定数である。次の２つの項（第２項〜第３項）はｘ_ｉ、ｘ_ｊのうちの１つの変数に依存し、（ｗ_ｉ、ｓ）、（ｗ_ｊ、ｔ）のエッジに対応する。最後の項（第４項目）はｘ_ｉ、ｘ_ｊの２つの変数に依存し、（ｗ_ｉ、ｗ_j）のエッジに対応する。図５に表２の変換後のエネルギー（重み）をあらわすグラフを示す。このとき、グラフカットで最小解を得るには、各エッジの重みが負にならないようにする必要がある。この条件（Ｂ＋Ｃ−Ａ−Ｄ≧０）は劣モジュラ性と呼ばれる。

このように、２次のエネルギーを図５に示すグラフに変換して頂点ｓと頂点tを分離する最小切断を求めることにより、解を高速に得ることができる。

次に、各サイトに割り当てられるラベルが２クラスよりも多いＮ（＞２）個のクラスに分類する場合のグラフカットについて説明する。ここでは、ラベルが一列に並んで順序がある場合について説明する。

２つのクラスに分類する場合と同様にＮ個のクラスに分類する場合も、図６に示すように、頂点ｓと頂点ｔを持つグラフを定義する。図６は、便宜上、４つのラベルに分類する場合のグラフを示す。頂点ｓと頂点ｔの間に各ラベルの境となるｋ（＝Ｎ−１）段の層を設け、各層α（α＝１, . . . ,ｋ）上に画像データＰの各ピクセルのサイトｖに対応する一連の頂点{ｗ^１ _ｖ， . . . , ｗ^ｋ _ｖ}を設ける。さらに、頂点ｓと頂点ｔと一連の頂点{ｗ^１ _ｖ， . . . , ｗ^ｋ _ｖ}を結ぶグラフを作ってグラフカット処理を行う。

非特許文献１では、図６に示すように、各層α＝０,１, . . ,ｉ,ｉ＋１, . . ,ｋのそれぞれの頂点を結ぶエッジ(ｗ^ｉ _ｖ, ｗ^ｉ＋１ _ｖ)と、逆向きに、α＝１, . . ,ｉ,ｉ＋１, . .,ｋ−１のそれぞれの頂点を結ぶエッジ(ｗ^ｉ＋１ _ｖ,ｗ^ｉ _ｖ)（図の点線矢印）を作ってグラフカット処理を行っている（簡単のため、ｗ^０ _ｖはｓを示し, ｗ^ｋ＋１ _ｖはｔを示すものとする。）。s =ｗ^１ _ｖ，ｗ^２ _ｖ，・ ・ ・，ｗ^ｋ−１ _ｖ，ｗ^ｋ _ｖ＝ｔの並びのうち一度はＳからＴに変わらなければならない。そこで、後者のエッジ(ｗ^ｉ＋１ _ｖ,ｗ^ｉ _ｖ)の重みは無限大に設定することによって、ｓ＝ｗ^１ _ｖ->ｗ^２ _ｖ->・ ・ ・->ｗ^ｋ−１ _ｖ->ｗ^ｋ _ｖ＝ｔの一列のエッジのうち、一つだけが切断されることを保証している。

図６のグラフは、図７に示すように、各層の仮想平面を境とした２つのクラスを分ける２値のラベルリング処理に置き換えて、各層ｉ毎に頂点ｗ^ｉ _ｖが２値の仮想ラベルのいずれに属するかを判定した後に、全ての層のラベリング結果からＮ個のラベルのいずれに該当するかを決定することができる。ただし、Ｎ個のラベルには順序があるものを対象とする。例えば、ラベルを分ける条件が画素値である場合には、ラベル０が割り当てられるピクセルの画素値の範囲が０〜２０、ラベル１が割り当てられるピクセルの画素値の範囲が１５〜３５、ラベル２が割り当てられるピクセルの画素値の範囲が３５〜５５、・・・というように、画素値の範囲の順に対応してラベルが順番に振られるものを対象とする。

そこで、２値化グラフ設定手段１３は、各層ｉ毎に、Ｎ個のラベルのうちラベルｉ−１とラベルｉを分ける第ｉ番目の層ｉを境に、層ｉの各頂点ｗⁱ _ｖがｉ以上のラベルに割り当てられるクラスを仮想ラベル０に対応させ、この層ｉの各頂点ｗⁱ _ｖがｉ−１以下のラベルに割り当てられるクラスを仮想ラベル１に対応させて、仮想ラベル０に対応する頂点ｓと、仮想ラベル１に対応する頂点ｔと層ｉの各頂点ｗⁱ _ｖを使って２値化グラフを設定する。

エネルギー設定手段１４は、仮想ラベル０に属する前記ピクセルの画素値と仮想ラベル１に属する前記ピクセルの画素値に応じたエネルギーを各層の２値化グラフのエッジに対応して設定する。

１次のエネルギーは、頂点ｗ^ｉ _ｖに対応するピクセルの画素値が仮想ラベル０の画素値の範囲である場合には、エッジ(ｓ, ｗ^ｉ _ｖ)に対する１次のエネルギーをエッジ(ｗ^ｉ _ｖ,ｔ)に対する１次のエネルギーより大きくし、頂点ｗ^ｉ _ｖに対応するピクセルの画素値が仮想ラベル１の画素値の範囲である場合には、エッジ(ｓ, ｗ^ｉ _ｖ)に対する１次のエネルギーをエッジ(ｗ^ｉ _ｖ,ｔ)に対する１次のエネルギーより小さくするように決定される。

また、２次のエネルギーは、同じ層ｉの仮想平面上の隣接する頂点ｗ^ｉ _ｉと頂点ｗ^ｉ _jの２つのピクセルそれぞれが同じ仮想ラベルに属する時の２次のエネルギーより、隣接する頂点ｗ^ｉ _ｉと頂点ｗ^ｉ _jの２つのピクセルそれぞれが異なる仮想ラベルに属する時の２次のエネルギーが小さい値になるように決定される。

図７と図８を用いて２値化グラフとエネルギーについて具体的に説明する。

図７（Ａ）に示すように、第１層目の仮想平面に含まれる各頂点ｗ^１ _ｉと頂点ｔを結ぶエッジと、各頂点ｗ^１ _ｉと頂点ｓを結ぶエッジに１次のエネルギーEⁱ ₁(F(i,1))を設定する。さらに、頂点ｔ、頂点ｓと第１層目の仮想平面に含まれる隣接する２つの頂点ｗ^１ _ｉ、頂点ｗ^１ _ｊを使って２次のエネルギーE^ｉｊ _１(F(i,1)、F(j,1))を表すグラフを設定する。ここで、F(i,1)は、０または１の２値をとるものとし、サイトｗ_ｉにラベル０が割り当てられる（頂点ｓに属する）場合には、仮想ラベルF(i,1)＝０とし、サイトｗ_ｉに０以外のラベルが割り当てられる場合には、仮想ラベルF(i,1)＝１とする。

図７（Ｂ）に示すように、第２層目の仮想平面に含まれる各頂点ｗ^２ _ｖｉと頂点ｔを結ぶエッジと、各頂点ｗ^２ _ｉと頂点ｓを結ぶエッジに１次のエネルギーEⁱ _２(F(i,2)を設定する。さらに、頂点ｔ、頂点ｓと、仮想平面に含まれる隣接する２つの頂点ｗ^２ _ｉ、頂点ｗ^２ _ｊを使って２次のエネルギーE^ｉｊ _２(F(i,2)、F(j,2)) を表すグラフを設定する。ここで、F(i,２)は、０または１の２値をとるものとし、サイトｗ_ｉにラベル１以下が割り当てられる場合には、仮想ラベルF(i,2)＝０とし、サイトｗ_ｉに２以上のラベルが割り当てられる場合には、仮想ラベルF(i,2)＝１とする。

図７（Ｃ）に示すように、第３層目の仮想平面に含まれる各頂点ｗ^３ _ｉと頂点ｔを結ぶエッジと、各頂点ｗ^３ _ｉと頂点ｓを結ぶエッジに１次のエネルギーEⁱ _３(F(i,3))を設定する。さらに、頂点ｔ、頂点ｓと、仮想平面に含まれる隣接する２つの頂点ｗ^３ _ｉと頂点ｗ^３ _ｊを使って２次のエネルギーE^ｉｊ _３(F(i,3)、F(j,3)) を表すグラフを設定する。ここで、F(i,３)は、０または１の２値をとるものとし、サイトｉにラベル２以下が割り当てられる場合には、仮想ラベルF(i,3)＝０とし、サイトｉにラベル３が割り当てられる場合には、仮想ラベルF(i,3)＝１とする。

以上の手順で構築したグラフのエネルギーＥは、各層の２値化グラフの切断のエネルギーを加算したものであり、次の式（３）のように表される。次の式のｌは層の番号を表す。
２次のエネルギーは、表２および図５に示す２次のエネルギーをグラフに変換する手法を用いて、各層ｉ毎に２次のエネルギーを２つの頂点ｗⁱ _ｉ、ｗⁱ _ｊと頂点ｓ、ｔを結ぶ２値化グラフに変換して最小切断を求める。図８に、第１層の２次のエネルギーを表す２値化グラフを示す。

層別ラベリング手段１５は、各層の２値化グラフの各場所ｖのピクセルの画素値に応じたエネルギーに基づいてグラフカット処理を実行することにより、各層の２値化グラフのエッジのうち切断するエッジを決定して、各層の頂点ｗ^ｉ _ｖに仮想ラベル０および仮想ラベル１のいずれかを割り当てる。

さらに、ラベル決定手段１６は、１番目からｋ番目の層の同じ場所ｖに対する各頂点ｗ^l _ｖ（ｌ＝１, . . . ,ｋ）が、仮想ラベル０または仮想ラベル１のいずれが割り当てられたかに応じて、サイトｖのピクセルがＮ個のラベルのいずれに属するかを決定する。

ここでラベルは順序を持っており、同じサイトの異なる層を結ぶエッジは、逆向きに無限大（逆向きにはエッジが切断されない程度の、計算上十分に大きい値）の重みが設定されている（図６参照）。そのため、切断は各サイトの複数の層の間で必ず１回行われる。この切断の位置が、そのサイトに割り当てられたクラスである。このように、層ごとに独立してエネルギーを設定しても順序が保たれるように切断が求められる。

図８に示すように、第１層の仮想頂点ｗ^１ _iの仮想ラベルが１で、第２層と第３層の頂点ｗ^２ _i、ｗ^２ _iの仮想ラベルが０の場合は、サイトｉのラベルは１に決定される。第１層と第２層の仮想頂点ｗ^１ _ｊ、ｗ^２ _iの仮想ラベルが１で、第３層の仮想頂点ｗ^３ _iの仮想ラベルが０の場合は、サイトｊのラベルは２に決定される。

上述のように、２次のエネルギーを用いることにより、画像データの各ピクセルの値だけでなく、隣接するピクセルとの関係を加味することで、血管の領域の中に現れたプラークに近い画素値を持つものも血管にクラス分けすることが可能になる。

表示手段１７は、各クラスに分けられた領域が認識できる状態で表示する。具体的には、各クラス毎に色を変えて表示したり、ボリュームレンダリング処理などの画像処理を行って血管のみを表示したり、血管内のプラークが確認できるようにクラス別の表示を行う。

次に、第２の実施の形態で、画像データの各ピクセルに有限個のラベルを割り振るために３次のエネルギーを用いたグラフカットの手法について説明する。分類装置１の構成は、第１の実施の形態と略同様であるため、ラベリング手段１２についてのみ詳細に説明する。

ラベリング手段１２は、３次のエネルギーを用いてエネルギーを最小化する。エネルギー関数Ｅは、次の式（４）に示すように、各ピクセルの値に応じて決められる１次のエネルギーＥ^ｉと、隣接する２つのピクセルの関係によって決められる２次のエネルギーＥ^ｉjと、連続した３つのピクセルの関係によって決められる３次のエネルギーＥ^ｉjｋを加算したものである。

ここで、まず、各ピクセルＸiが「０」または「１」の２値の画像である場合に、３次のエネルギーをグラフに変換する方法について説明する。１次のエネルギーと２次のエネルギーは、上述と同じため詳細な説明は省略する。

頂点ｗ_ｉ、ｗ_ｊ、ｗ_ｋがともにＳに属する場合の３次のエネルギーをＥ^ｉjｋ(０，０，０)＝Ａとし、頂点ｗ_ｉ、ｗ_ｊがＳに属し、頂点ｗ_ｋがＴに属する場合の３次のエネルギーをＥ^ｉjｋ(０，０，１)＝Ｂとし、頂点ｗ^ｉ、ｗ_ｋがＴに属し、頂点ｗ^jがＳに属する場合の３次のエネルギーをＥ^ｉj(０，１，０)＝Ｃとし、頂点ｗ_ｉがＳに属し、頂点ｗ_ｊ、ｗ_ｋがともにＴに属する場合の３次のエネルギーをＥ^ｉjｋ(０，１，１)＝Ｄとし、頂点ｗ_ｉがＴに属し、頂点ｗ_ｊ、ｗ_ｋがともにＳに属する場合の３次のエネルギーをＥ^ｉjｋ(１，０，０)＝Ｅとし、頂点ｗ_ｉ、ｗ_ｋがＴに属し、頂点ｗ_ｊがＳに属する場合の３次のエネルギーをＥ^ｉj(１，０，１)＝Ｆとし、頂点ｗ_ｉ、ｗ_ｊがＴに属し、頂点ｗ_ｋがＳに属する場合の３次のエネルギーをＥ^ｉjｋ(１，１，０)＝Ｇとし、頂点ｗ_ｉ、ｗ_ｊ、ｗ_ｋがともにＴに属する場合の３次のエネルギーをＥ^ｉjｋ(１，１，１)＝Ｈとする。エネルギーＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈは、頂点ｗ_ｉ、ｗ_ｊ、ｗ_ｋに対応するピクセルの画素値に応じて、事前知識を反映するようにエネルギーを定義したものである。

３次のエネルギーは、表３に示すように表すことができる。
ここで、Ｐ ＝ Ａ＋Ｄ＋Ｆ＋Ｇ−Ｂ−Ｃ−Ｅ−Ｈとおく。

（１）まず、０≦Ｐの場合の３次のエネルギーのグラフの変換について説明する。
Ｐ１ ＝ Ｆ―Ｂ
Ｐ２ ＝ Ｇ−Ｅ
Ｐ３ ＝ Ｄ−Ｃ
Ｐ１２ ＝ Ｃ＋Ｅ−Ａ−Ｇ
Ｐ２３ ＝ Ｂ＋Ｃ−Ａ−Ｄ
Ｐ３１ ＝ Ｂ＋Ｅ−Ａ−Ｆ
とおくと、表３は表４のように書き直すことができる。またこのエネルギーは、(i,j)、(j,k)、(k,i)の全ての組み合わせについて劣モジュラであるならば、P23、P31、P12は負ではない。

表４とエッジの関係について検討する。表４の第１項と最後の項は定数であり、対応するエッジはない。次の３つの項（第２項〜第４項）はｘ_ｉ、ｘ_ｊ、ｘ_ｋのうちの１つの変数に依存し、それぞれ重さＰ_１、Ｐ_２、Ｐ_３を持った（ｗ_ｉ、ｓ）（ｗ_ｊ、ｓ）（ｗ_ｋ、ｓ）のエッジに対応する。それに続く３つの項（第５項〜第７項目）はｘ_ｉ、ｘ_ｊ、ｘ_ｋのうちの２つの変数に依存し、それぞれ重さＰ_２３、Ｐ_３１、Ｐ_１２を持った（ｗ_ｊ、ｗ_ｋ）（ｗ_ｋ、ｗ_ｉ）（ｗ_ｉ、ｗ_ｊ）のエッジに対応する。

第８項は、図９に示すように、補助頂点ｖ_ｉｊｋを追加し、補助頂点ｖ_ｉｊｋと各頂点を結ぶ重さＰを持つ４つのエッジ（ｗ_ｉ、ｖ_ｉｊｋ）（ｗ_ｊ、ｖ_ｉｊｋ）（ｗ_ｋ、ｖ_ｉｊｋ）（ｖ_ｉｊｋ、ｔ）に対応する。補助頂点とこれら４つのエッジが第８項を満足する（詳細については、非特許文献２を参照）。図１０に全ての重みとエッジの関係を表すグラフを示す。

（２）次に、０＞Ｐのときの３次のエネルギーのグラフの変換について説明する。
Ｐ１ ＝ Ｃ−Ｇ;
Ｐ２ ＝ Ｂ−Ｄ;
Ｐ３ ＝ Ｅ−Ｆ;
Ｐ３２ ＝ Ｆ＋Ｇ−Ｅ−Ｈ;
Ｐ１３ ＝ Ｄ＋Ｇ−Ｃ−Ｈ;
Ｐ２１ ＝ Ｄ＋Ｆ−Ｂ−Ｈ;
とおくと、下の表５のように書き直すことができる。

表５の第８項は、図１１に示すように補助頂点ｖ_ｉｊｋを追加し、補助頂点ｖ_ｉｊｋと各頂点を結ぶ重さＰを持つ４つのエッジ（ｗ_ｉ、ｖ_ｉｊｋ）（ｗ_ｊ、ｖ_ｉｊｋ）（ｗ_ｋ、ｖ_ｉｊｋ）（ｖ_ｉｊｋ、s）に対応する（詳細については、非特許文献２を参照）。（１）と同様にエッジと重みを対応させると、全ての重みとエッジの関係を表すグラフは図１２に示すようになる。

このように、３次のエネルギーを図１０、図１２に示すグラフに変換して頂点ｓと頂点tを分離する最小切断を求めることにより、解を高速に得ることができる。

次に、各サイトに割り当てられるラベルが２クラスよりも多いＮ（＞２）個のクラスに分類する場合の３次元のエネルギーについて説明する。図１３に、３つのラベルに分類する場合のグラフを示す。

図１３のグラフを、図１４に示すように、２つの層の仮想平面を境に２つのクラスを分ける２値のラベルリング処理に置き換えて、各層ｉ毎に頂点ｗ^ｉ _ｖの２値のラベルを判定した後に、各層のラベリング結果からＮ個のラベルのいずれに該当するかを決定するように置き換えることができる。

そこで、２値化グラフ設定手段１３は、各層ｉ毎に、Ｎ個のラベルのうちラベルｉ−１とラベルｉを分ける第ｉ番目の層ｉを境に、層ｉの各頂点ｗⁱ _ｖがｉ以上のラベルに割り当てられるクラスを仮想ラベル０に対応させ、この層ｉの各頂点ｗⁱ _ｖがｉ−１以下のラベルに割り当てられるクラスを仮想ラベル１を対応させて、仮想ラベル０に対応する頂点ｓと、仮想ラベル１に対応する頂点ｔと、層ｉの頂点ｗ^ｉ _ｖのうちの３つの連続した頂点ｗ^ｉ _ｉ、ｗ^ｉ _ｊ、ｗ^ｉ _ｋを使って、３次のエネルギーを表すグラフを作成する。表５および図１２に示す３次のエネルギーをグラフに変換した手法を用いて、各層ｉ毎に補助頂点ｖ^ｉ _ｉｊｋを追加して３次のエネルギーのグラフを作成すると図１４に示すようになる。

上述の方法で作成したグラフのエネルギーＥは、各層の２値化グラフの切断のエネルギーを加算したものであり、次の式（４）のように定義する。次の式のｌは層の番号を表す。

エネルギー設定手段１４は、３次のエネルギーを、同じ層ｉの仮想平面上の隣り合う３つの頂点ｗ^ｉ _ｉと頂点ｗ^ｉ _jと頂点ｗ^ｉ _ｋのピクセルが表す画像の特徴に対応するように決定したものを設定する。具体的には、画像上で縦方向、横方向、斜め方向に並ぶ３つのピクセルに対応する頂点を選ぶ。１層と２層のそれぞれで、隣り合う３つの頂点を選び、これら３つの頂点に対応するピクセルの画素値に基づき２^３通りのエネルギーを決定する。

２^３通りのエネルギーとは、表３に示すmatrixの要素（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ）を指す。各画素の仮想ラベル０と仮想ラベル１に属するピクセルの画素値の分布と、画像上の実際のピクセルの画素値とを照らしあわせて、とりうる可能性が高いラベルの組み合わせに対するエネルギーを相対的に小さくする。また、３次のエネルギーは、０と１の画像上での配置も重要である。例えば、０１０や１０１のように隣接する画素でラベルが大きく変動することは起きにくいため、そのような組み合わせのエネルギーは大きく設定する。その他、３つの頂点の画素値の２次微分等に基づいて、同時に０または１をとる可能性が高い場合にエネルギーを小さく設定することができる。

２値化グラフ設定手段１３およびエネルギー設定手段１４で設定される１次のエネルギーおよび２次のエネルギーのグラフとエネルギーは、第１の実施形態と同様であるため詳細な説明は省略する。

そこで、層別ラベリング手段１５では、各層の２値化グラフの各サイトｖのピクセルの画素値に応じたエネルギーに基づいてグラフカット処理を実行することにより、各層の２値化グラフのエッジのうち切断するエッジを決定して、各層の頂点ｗ^ｉ _ｖに仮想ラベル０および仮想ラベル１のいずれかを割り当てる。

さらに、ラベル決定手段１６で、１番目からｋ番目の層の同じサイトｖに対する各頂点ｗ^ｉ _ｖ（ｉ＝１, . . . ,ｋ）が、仮想ラベル０または仮想ラベル１のいずれが割り当てられたかに応じて、サイトｖのピクセルがＮ個のラベルのいずれに属するかを決定する。

表示手段１７では、各クラス毎に色を変えて表示したり、ボリュームレンダリング処理などの画像処理を行ってクラス別の表示を行う。

次に、３次のエネルギーを用いて、心臓の造影ＣＴ画像から冠動脈の狭窄率を計算する処理について説明する。図１５は分類装置１で狭窄率を計算する処理の流れを示すフローチャートである。図１６に示すように、冠状動脈の画像は内径、外径、背景の３クラスの領域に分類することができる。ここでは、内径は（プラークを含まない）血流が正常な領域を指し、外径はプラークを含む血管領域を指すものとする。狭窄率は内径／外径で計算され、狭窄率が高いほど重篤であることを示す。

まず、画像データ入力受付手段１１で、冠状動脈の画像をあらわす画像データＰの入力を受け付ける。入力された画像データＰは、分類装置１に設けられた記憶装置に記憶される（S1）。

次に、前処理として、既知の冠動脈抽出処理を用いて、画像データＰから冠動脈の中心線や中心座標を求める（S2）。与えられた中心座標をもとに血管の断面画像を取得する（S3）。得られた断面画像を背景、内径、外径の３つに領域分割する。血管の内径は外径に内包され、外径は背景に内包される領域であるから、３つのクラスは一列に並ぶ。ここで背景領域をクラス０、外径をクラス１、内径をクラス２とする。

ラベリング手段１２で画像データ内のピクセルに対応する頂点ｗ^l _ｖ、ｗ^２ _ｖを第１層と第２層の仮想平面上に設ける。さらに、２値化グラフ設定手段１３は、１層目の仮想平面上の各頂点ｗ^l _ｖと仮想ラベル０と仮想ラベル１からなる２値化グラフと、２層目の仮想平面上の各頂点ｗ^２ _ｖと仮想ラベル０と仮想ラベル１からなる２値化グラフを設定する（S4）。

さらに、１層目と２層目の各２値化グラフに１次、２次、３次のエネルギーを設定する（S5）。

各２値化グラフの１次のエネルギーは各サイトのピクセルの輝度値（画素値）に応じて決められる。図１７に示すように輝度値が分布する場合、断面画像の血管の周辺の背景部分の輝度値の平均値を背景クラスの推定値Ａ１とし、血管の中心部分の輝度値の平均値を内径クラスの推定値Ａ２とする。

クラス０とクラス１の間の第１層目の２値化グラフは、背景領域のクラス０とそれ以外のクラス１，２に分けるので、エネルギー設定手段１４は、頂点ｗ^l _ｖに対応するピクセルの輝度値が背景クラスの推定値Ａ１に近いほど小さい値の１次のエネルギーを１層目の頂点ｗ^l _ｖと頂点ｓを結ぶ辺に対応させて設定し、１層目の頂点ｗ^l _ｖと頂点ｔを結ぶ辺には大きい値のエネルギーを設定する。

クラス１とクラス２の第２層目の２値化グラフは、内径のクラス２とそれ以外のクラス０，１に分けるので、エネルギー設定手段１４は、頂点ｗ^２ _ｖに対応するピクセルの輝度値が内径のクラスの推定値Ａ２に近いほど小さい値の１次のエネルギーを２層目の頂点ｗ^２ _ｖと頂点ｔを結ぶ辺に対応させて設定し、２層目の頂点ｗ^２ _ｖと頂点ｓを結ぶ辺には大きい値のエネルギーを設定する。頂点ｗ^２ _ｖに対応するピクセルの輝度値が内径のクラスの推定値Ａ２から離れている場合には逆にする。

次に、２次のエネルギーの設定について説明する。第１層目の２値化グラフは、背景クラスと外形クラスの境となる推定値Ｂ1と比べて、隣り合う２つの頂点ｗ^１ _ｖの輝度値が背景クラス側の値と外形クラスの値に分かれるときには２次元のエネルギーに小さい値を設定し、推定値Ｂ1と比較して、隣り合う２つの頂点ｗ^１ _ｖの輝度値がどちらも背景クラス側、あるいは、隣り合う２つの頂点ｗ^１ _ｖの輝度値がどちらも外径クラス側にあるときは２次のエネルギーに大きい値を設定する。これら２つの頂点に対応するピクセルの輝度値に基づき２^２通りのエネルギーを決定し、第１層目の２値化グラフの各辺に２次のエネルギーを設定する。

同様に、第２層目の２値化グラフは、外径クラスと内形クラスの境となる推定値Ｂ２と比べて、隣り合う２つの頂点ｗ^２ _ｖの輝度値が内形クラス側の値と外径クラス側の値に別れるときは２次元のエネルギーに小さい値を設定し、推定値Ｂ２と比較して、隣り合う２つの頂点ｗ^２ _ｖの輝度値がどちらも内径クラス側、あるいは、隣り合う２つの頂点ｗ^１ _ｖの輝度値がどちらも外径クラス側にあるときは２次のエネルギーに大きい値を設定する。また、これら２つの頂点に対応するピクセルの輝度値に基づき２^２通りのエネルギー（表１参照）を決定し、この２^２通りのエネルギーに従って、第２層目の２値化グラフの各辺に２次のエネルギーを設定する。

次に３次のエネルギーの設定について説明する。第１層と第２層のそれぞれで、隣り合う３つの頂点を選び（縦方向、横方向、斜め方向に３つ選ぶ）、これら３つの頂点に対応するピクセルの輝度値に基づき２^３通りのエネルギー（表３参照）を決定する。各クラスの輝度値の分布が事前に推定されている場合には、各画素の値と輝度値とを照らしあわせて、実際の画素値がそれらの中間の輝度値をとるとき、そこでクラスが変わる可能性が高い。そこで、クラスが変わる位置が、あらかじめ推定したクラスの中間の位置に近いほど小さな値を設定する。前述のとおり、３次のエネルギーは０と１の画像上での配置も重要である。例えば０１０や１０１のように隣接する画素でラベルが大きく変動することは起きにくいため、そのような組み合わせのエネルギーは大きく設定する。また、３つの頂点の画素値の２次微分等に基づいて、同時に０または１をとる可能性が高い場合にエネルギーを小さく設定することができる。このようにして決められた２^３通りのエネルギーに従って、第１層目と２層目の２値化グラフの各辺に３次のエネルギーを設定する。

層別ラベリング手段１５で、各層毎に最大流最小切断のアルゴリズムを実行して各層毎の各頂点を仮想ラベル０と仮想ラベル１にラベリングした後（S6）、ラベル決定手段１６で、第１層の頂点ｗ^l _ｖと第２層の頂点ｗ^２ _ｖに割り振られた仮想ラベルから各サイトのラベルを決定することで、領域分割が完了する（S7）。

さらに、領域分割で得られた外径と内径から、狭窄率（＝内径／外径）を計算する（S8）。表示手段１７では、ボリュームレンダリング処理を行った画像とともに狭窄率を表示する（S9）。

以上詳細に説明したとおり、本手法で設定したエネルギー関数はサブモジュラ条件を満たすため、最小解を高速に得ることができる。また、３次のエネルギーを設定することからより高精度な領域分割が可能である。

次に、第３の実施の形態では、画像データの各ピクセルに有限個のラベルを割り振るために４次のエネルギーを用いたグラフカットの手法について説明する。分類装置１の構成は、第１の実施の形態と略同様であるため、ラベリング手段１２についてのみ詳細に説明する。

ラベリング手段１２は、４次のエネルギーを用いてエネルギーを最小化する。エネルギー関数Ｅは、次の式（６）に示すように、各ピクセルの値に応じて決められる１次のエネルギーＥ^ｉと、隣接する２つのピクセルの関係によって決められる２次のエネルギーＥ^ｉjと、連続した４つのピクセルの関係によって決められる４次のエネルギーＥ^ｉjｋlを加算したものである。

ここで、まず、各ピクセルＸiが「０」または「１」の２値の画像である場合に、４次のエネルギーをグラフに変換する方法について説明する。１次のエネルギーと２次のエネルギーは、上述と同じため詳細な説明は省略する。

４次のエネルギーは、選択した４つのピクセルが同じクラスになるように分類する場合に利用することができる。例えば、直線的な構造を持つものに利用する。動脈や静脈などの血管は直線的に伸びていることが多く、図１８に示すように、ある程度の長さの直線の上に並ぶ画素がすべて同じクラスとなることが好ましい。すなわち、図１９に示すような４つのピクセルが（ｘ_ｉ，ｘ_ｊ，ｘ_ｋ，ｘ_ｌ）＝（０，０，０，０）または（１，１，１，１）となる場合には、４次のエネルギーＥ^ｊｉｋｌ（ｘ_ｉ，ｘ_ｊ，ｘ_ｋ，ｘ_ｌ）は小さい。そこで、Ｅ^ｊｉｋｌ（０，０，０，０）またはＥ^ｊｉｋｌ（１，１，１，１）となる場合の４次のエネルギーＥ^ｊｉｋｌを０とし、それ以外のケースに一定の重みａ（＞０）を与える。

このエネルギーＥ^ｉｊｋｌを擬ブール式で書くと、
Ｅ^ｉｊｋｌ＝ａ(１−ｘ_ｉ・ｘ_ｊ・ｘ_ｋ・ｘ_ｌ−(１−ｘ_ｉ)(１−ｘ_ｊ)(１−ｘ_ｋ)(１−ｘ_ｌ))
となる（擬ブール式については、特開２０１０−２８７０９１等を参照）。上記の式において、第１項は定数である。第２項は３次以上の項であるが、上記文献で知られているように次の式によって２次に変換できる。ここでｗは新たに付加した２値の変数である。変換後の関数で最小値を与えるｘ_ｉ、ｘ_ｊ、ｘ_ｋは、変換前の関数でも最小値を与える。４次ならば次の式（７）で変換する。

同様に、次の式（８）に示すように、付加変数一つで何次でも対応することができる。
次に、上式の第３項は、次の式（９）によって２次に変換することができる。
さらに、４次ならば次の式（１０）に変換することができる。
同様に、次の式（１１）に示すように、付加変数一つで何次でも対応することができる。

これをグラフで表現すると、図２０に示すように、４つの画素に対応する頂点ｘ_ｉ，ｘ_ｊ，ｘ_ｋ，ｘ_ｌと頂点ｓの間、４つの画素に対応する頂点ｘ_ｉ，ｘ_ｊ，ｘ_ｋ，ｘ_ｌと頂点tの間のそれぞれに仮想頂点ｖ_１，ｖ_２を追加して、頂点ｘ_ｉ，ｘ_ｊ，ｘ_ｋ，ｘ_ｌと仮想頂点ｖ_１を結ぶエッジと、頂点ｘ_ｉ，ｘ_ｊ，ｘ_ｋ，ｘ_ｌと仮想頂点ｖ_２を結ぶエッジと、仮想頂点ｖ_１と頂点ｓを結んだエッジ、仮想頂点ｖ_２と頂点ｔを結んだエッジで構成されるグラフで表すことができる。また、各エッジは重みがａである。

このように、４次のエネルギーを図２０に示すグラフに変換して頂点ｓと頂点tを分離する最小切断を求めることにより、解を高速に得ることができる。

さらに、４つ以上のピクセルが同じクラスになるように分類する場合には、２クラスよりも多いＮ（＞２）個のクラスに分類する場合であっても、前述の３次のエネルギーを設定した場合と同様に、２値のラベルリング処理に置き換えて、Ｎ個のラベルのいずれに該当するかを決定することができる。

２値化グラフ設定手段１３は、各層ｉ毎に、Ｎ個のラベルのうちラベルｉ−１とラベルｉを分ける第ｉ番目の層ｉを境に、層ｉの各頂点ｗⁱ _ｖがｉ以上のラベルに割り当てられるクラスを仮想ラベル０に対応させ、この層ｉの各頂点ｗⁱ _ｖがｉ−１以下のラベルに割り当てられるクラスを仮想ラベル１に対応させて、仮想ラベル０に対応する頂点ｓと、仮想ラベル１に対応する頂点ｔと、層ｉの頂点ｗ^ｉ _ｖのうちの４つの頂点ｗ^ｉ _ｉ、ｗ^ｉ _ｊ、ｗ^ｉ _ｋ、ｗ^ｉ _lを使って、４次のエネルギーを表すグラフを作成する。

図２１に示すように、同一の層内の任意の４つ以上の頂点の全てが仮想ラベル０または仮想ラベル１に属するかに応じて決定される４次以上のエネルギーを、各層毎に仮想頂点ｖ^ｉ _１、ｖ^ｉ _２を経由して４つの頂点ｗ^ｉ _ｉ、ｗ^ｉ _ｊ、ｗ^ｉ _ｋ、ｗ^ｉ _lと頂点ｓまたは頂点ｔを結ぶ辺を設定する。図２１には、便宜上１層目の４次のグラフをあらわすが、同様に２層目に付いても同様に４次のグラフを作成する。

上述の方法で作成したグラフのエネルギーＥは、各層の２値化グラフの切断のエネルギーを加算したものであり、次の式（１２）のように定義する。次の式のＬは層の番号を表す。

エネルギー設定手段１４は、４次のエネルギーを、同じ層ｉの仮想平面上の並んだ４つの頂点ｗ^ｉ _ｉ、頂点ｗ^ｉ _j、頂点ｗ^ｉ _ｋ、頂点ｗ^ｉ _lのピクセルが表す画像の特徴に対応するように決定したものを設定する。具体的には、画像上で縦方向、横方向、斜め方向に並ぶ４つのピクセルに対応する頂点を選ぶ。１層と２層のそれぞれで、４つの頂点を選び、これら４つの頂点に対応して表６のようにエネルギーを決定する。

２値化グラフ設定手段１３およびエネルギー設定手段１４で設定される１次のエネルギーおよび２次のエネルギーのグラフとエネルギーは、第１の実施形態と同様であるため詳細な説明は省略する。

以下、前述の実施の形態と同様に 層別ラベリング手段１５で、各層毎に最大流最小切断のアルゴリズムを実行して各層毎の各頂点を仮想ラベル０と仮想ラベル１にラベリングした後、ラベル決定手段１６で、第１層の頂点ｗ^l _ｖと第２層の頂点ｗ^２ _ｖに割り振られた仮想ラベルから各サイトのラベルを決定することで、領域分割が完了する。

上述では４次のエネルギーについて説明したが、４つ以上のＮ個のピクセルが同じクラスになるように分類する場合には、４次以上のＮ次のエネルギーを用いることができる。Ｎ次のエネルギーは、図２０と同様に、Ｎのピクセルに対応する頂点ｗ^ｉ _ｖと仮想頂点ｖ^ｉ _１、ｖ^ｉ _２を結ぶエッジと、仮想頂点ｖ^ｉ _１、ｖ^ｉ _２と頂点ｔを結ぶエッジ、仮想頂点と頂点ｓを結ぶエッジで構成されるグラフで表すことができる。

さらに、４次以上の高次のエネルギーを用いて２次以上の多クラスに分類する場合には、図２１に示すように、Ｎ次のエネルギーを各層ｉ毎に仮想頂点ｖ^ｉ _１、ｖ^ｉ _２を経由して前記Ｎ個の頂点ｗ^ｉ _ｖと頂点ｓまたは頂点ｔを結ぶ辺に対応して設定した２値化グラフを用いて、多クラスに分類することが可能である。

上述では、４つのピクセルが直線状に並んでいる場合について説明したが、４つ以上のＮ個のピクセルが特定の形状をあらわすように選択することにより、特定の形状を持つ構造を同じクラスに分類することが可能になる。例えば、曲線、平面、曲面、円および球などの様々な形状をあらわすようにピクセルを選ぶことで、その形状を持つ構造物を画像から分離することが可能である

上述では、画像を構成するピクセルの画素値（あるいは、輝度値）に応じてクラス分けする場合について説明したが、周辺の画素値に依存してエネルギーを決定してもよく、画素値以外の情報に依存してエネルギーを決定してクラス分けをするようにしてもよい。例えば、選んだ３つ（以上）の画素が直線的に並んでいるかに依存してエネルギーを設定しても良い。また、別途設定される基準点との距離に応じてエネルギーを設定しても良い。この基準点は、例えば、血管領域をセグメンテーションする場合に、対象とする血管の中心座標にすることができる。

また、上述では２次のエネルギーを隣接する２つのピクセル間の関係に対応するように決定する場合について説明したが、隣接するピクセルではなく任意の２つのピクセル間の関係に対応するように２次のエネルギーを決定してもよい。例えば、２つのピクセルの間に他のピクセルがあるものでもよく、２つの画像の特定の位置に対応するように選んでもよい。

また、上述では３次のエネルギーを隣接する３つのピクセル間の関係に対応するように決定する場合について説明したが、隣接するピクセルではなく任意の３つのピクセル間の関係に対応するように３次のエネルギーを決定してもよい。例えば、３つのピクセルが１つおきに並んでいてもよく、３つのピクセルが三角などの特定の形状を表すものでもよい。

１ 分類装置
１１ 画像データ入力受付手段
１２ ラベリング手段
１３ ２値化グラフ設定手段
１４ エネルギー設定手段
１５ 層別ラベリング手段
１６ ラベル決定手段
１７ 表示手段

Claims (7)

1. 画像データを構成する各ピクセルを、０からＮ−１までの順序を持ったＮ（＞２）個のラベルのいずれかに分類する分類装置であって、
   頂点ｓと頂点ｔの間に各ラベルの境となるｋ（＝Ｎ−１）段の層を設け、各層α（α＝１, . . . ,ｋ）上に前記画像の各ピクセルの場所ｖに対応する頂点ｗ^α _ｖ（α＝１, . . . ,ｋ）を設け、前記頂点ｔ、前記頂点ｓおよび前記頂点ｗ^α _ｖのうちの２つの頂点を結ぶ辺を有するグラフを用いて、前記辺のうち切断する辺をグラフカット処理により決定して各ピクセルにＮ個のラベルのいずれかを割り当てるラベリング手段を備え、
   前記ラベリング手段が、
   前記Ｎ個のラベルのうちラベルｉ−１とラベルｉを分ける第ｉ番目の層ｉごとに、該層ｉの各頂点ｗ^ｉ _ｖが対応する場所ｖにｉ以上のラベルが割り当てられることを仮想ラベル１に、ｉ−１以下のラベルに割り当てられることを仮想ラベル０にそれぞれ対応させて、前記仮想ラベル０に対応する前記頂点ｓ、前記仮想ラベル１に対応する前記頂点ｔおよび前記各頂点ｗ^ｉ _ｖのうちの２つの頂点を結ぶ辺を有する２値化グラフを設定する２値化グラフ設定手段と、
   前記各頂点が仮想ラベル０に属する場合と前記仮想ラベル１に属する場合に応じたエネルギーを、各層の前記２値化グラフの辺に設定するエネルギー設定手段と、
   前記層ごとの２値化グラフにエネルギーが設定されたグラフ全体にグラフカット処理を実行することより、前記各層の２値化グラフの辺のうち切断する辺を決定して、該層の前記頂点ｗ^ｉ _ｖに仮想ラベル０および仮想ラベル１のいずれかを割り当てる層別ラベリング手段と、
   前記１番目からｋ番目の層の同じ場所ｖに対する各頂点ｗ^ｉ _ｖ（ｉ＝１, . . . ,ｋ）が、仮想ラベル０または仮想ラベル１のいずれが割り当てられたかに応じて、場所ｖのピクセルがＮ個のラベルのいずれに属するかを決定するラベル決定手段とを有し、
   前記２値化グラフが、前記同一の層ｉ内の２つの頂点間を結ぶ辺と、頂点ｓと頂点ｗ^ｉ _ｖを結ぶ辺(ｓ, ｗ^ｉ _ｖ)と、頂点ｗ^ｉ _ｖと頂点ｔを結ぶ辺(ｗ^ｉ _ｖ,ｔ) とを有するものであり、
   前記ラベル決定手段が、同じ場所ｖに対する全ての層の頂点ｗ^ｉ _ｖが全て仮想ラベル０に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをラベル０に決定し、全ての層ｉの頂点ｗ^ｉ _ｖが全て仮想ラベル１に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをラベルＮ−１と決定し、第１層から第ｐ層までが仮想ラベル０に属し第ｐ＋１層から第Ｎ−１層までが仮想ラベル１に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをクラスｐと決定するものであり、
   前記エネルギー設定手段が、
   前記同一の層内の任意の４つ以上の頂点の全てが仮想ラベル０または仮想ラベル１に属するかに応じて決定される４次以上のエネルギーを、各層毎に仮想頂点ｖ^ｉを経由して前記４つの頂点ｗ^ｉ _ｖと前記頂点ｓまたは前記頂点ｔを結ぶ辺に対応して設定するものであることを特徴とする分類装置。
2. 前記エネルギー設定手段が、
   前記頂点ｓと頂点ｗ^ｉ _ｖを結ぶ辺(ｓ, ｗ^ｉ _ｖ)および前記頂点ｗ^ｉ _ｖと頂点ｔを結ぶ辺(ｗ^ｉ _ｖ,ｔ)に対応して１次のエネルギーを設定するものであり、
   前記同一の層内の２つのｗ^ｉ _ｖ、ｗ^ｉ _u間を結ぶ辺に対して２次のエネルギーを設定するものであることを特徴とする請求項１記載の分類装置。
3. 前記１次のエネルギーは、前記頂点ｗ^ｉ _ｖに対応するピクセルの画素値が仮想ラベル０となる尤度が高い場合には辺(ｓ, ｗ^ｉ _ｖ)に対する１次のエネルギーを辺(ｗ^ｉ _ｖ,ｔ)に対する１次のエネルギーより大きくし、前記頂点ｗ^ｉ _ｖに対応するピクセルの画素値が仮想ラベル１となる尤度が高い場合には辺(ｓ, ｗ^ｉ _ｖ)に対する１次のエネルギーを辺(ｗ^ｉ _ｖ,ｔ)に対する１次のエネルギーより小さくするように決定されるものであり、
   前記２次のエネルギーは、頂点ｗ^ｉ _ｖのピクセルとそれに隣接する頂点ｗ^ｉ _uのピクセルが異なる仮想ラベルに属する可能性が高いほど辺(ｗ^ｉ _ｖ, ｗ^ｉ _u)に対する２次のエネルギーが小さい値になるように決定されるものであることを特徴とする請求項２記載の分類装置。
4. ４つ以上の前記ピクセルを所定の形状をあらわすように選択する選択部をさらに備えた請求項１〜３のいずれか１項記載の分類装置。
5. 前記画像データには血管が含まれるものであり、
   前記各ピクセルを、前記血管以外の背景と、前記血管の内径と、前記血管の外径との３個のラベルに分類する請求項１〜４のいずれか１項記載の分類装置。
6. コンピュータを、
   画像データを構成する各ピクセルを、０からＮ−１までの順序を持ったＮ（＞２）個のラベルのいずれかに分類する分類装置として機能させるための分類プログラムであって、
   前記コンピュータを、
   頂点ｓと頂点ｔの間に各ラベルの境となるｋ（＝Ｎ−１）段の層を設け、各層α（α＝１, . . . ,ｋ）上に前記画像の各ピクセルの場所ｖに対応する頂点ｗ^α _ｖ（α＝１, . . . ,ｋ）を設け、前記頂点ｔ、前記頂点ｓおよび前記頂点ｗ^α _ｖのうちの２つの頂点を結ぶ辺を有するグラフを用いて、前記辺のうち切断する辺をグラフカット処理により決定して各ピクセルにＮ個のラベルのいずれかを割り当てるラベリング手段として機能させるものであり、
   前記ラベリング手段が、
   前記Ｎ個のラベルのうちラベルｉ−１とラベルｉを分ける第ｉ番目の層ｉごとに、該層ｉの各頂点ｗ^ｉ _ｖが対応する場所ｖにｉ以上のラベルが割り当てられることを仮想ラベル１に、ｉ−１以下のラベルに割り当てられることを仮想ラベル０にそれぞれ対応させて、前記仮想ラベル０に対応する前記頂点ｓ、前記仮想ラベル１に対応する前記頂点ｔおよび前記各頂点ｗ^ｉ _ｖのうちの２つの頂点を結ぶ辺を有する２値化グラフを設定する２値化グラフ設定手段と、
   前記各頂点が仮想ラベル０に属する場合と前記仮想ラベル１に属する場合に応じたエネルギーを、各層の前記２値化グラフの辺に設定するエネルギー設定手段と、
   前記層ごとの２値化グラフにエネルギーが設定されたグラフ全体にグラフカット処理を実行することより、前記各層の２値化グラフの辺のうち切断する辺を決定して、該層の前記頂点ｗ^ｉ _ｖに仮想ラベル０および仮想ラベル１のいずれかを割り当てる層別ラベリング手段と、
   前記１番目からｋ番目の層の同じ場所ｖに対する各頂点ｗ^ｉ _ｖ（ｉ＝１, . . . ,ｋ）が、仮想ラベル０または仮想ラベル１のいずれが割り当てられたかに応じて、場所ｖのピクセルがＮ個のラベルのいずれに属するかを決定するラベル決定手段とを有し、
   前記２値化グラフが、前記同一の層ｉ内の２つの頂点間を結ぶ辺と、頂点ｓと頂点ｗ^ｉ _ｖを結ぶ辺(ｓ, ｗ^ｉ _ｖ)と、頂点ｗ^ｉ _ｖと頂点ｔを結ぶ辺(ｗ^ｉ _ｖ,ｔ) とを有するものであり、
   前記ラベル決定手段が、同じ場所ｖに対する全ての層の頂点ｗ^ｉ _ｖが全て仮想ラベル０に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをラベル０に決定し、全ての層ｉの頂点ｗ^ｉ _ｖが全て仮想ラベル１に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをラベルＮ−１と決定し、第１層から第ｐ層までが仮想ラベル０に属し第ｐ＋１層から第Ｎ−１層までが仮想ラベル１に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをクラスｐと決定するものであり、
   前記エネルギー設定手段が、
   前記同一の層内の任意の４つ以上の頂点の全てが仮想ラベル０または仮想ラベル１に属するかに応じて決定される４次以上のエネルギーを、各層毎に仮想頂点ｖ^ｉを経由して前記４つの頂点ｗ^ｉ _ｖと前記頂点ｓまたは前記頂点ｔを結ぶ辺に対応して設定するものであることを特徴とする分類プログラム。
7. 画像データを構成する各ピクセルを、０からＮ−１までの順序を持ったＮ（＞２）個のラベルのいずれかに分類するラベリング手段を備えた分類装置の動作方法であって、
   前記ラベリング手段により、頂点ｓと頂点ｔの間に各ラベルの境となるｋ（＝Ｎ−１）段の層を設け、各層α（α＝１, . . . ,ｋ）上に前記画像の各ピクセルの場所ｖに対応する頂点ｗ^α _ｖ（α＝１, . . . ,ｋ）を設け、前記頂点ｔ、前記頂点ｓおよび前記頂点ｗ^α _ｖのうちの２つの頂点を結ぶ辺を有するグラフを用いて、前記辺のうち切断する辺をグラフカット処理により決定して各ピクセルにＮ個のラベルのいずれかを割り当てるラベリングステップを備え、
   前記ラベリングステップが、
   前記Ｎ個のラベルのうちラベルｉ−１とラベルｉを分ける第ｉ番目の層ｉごとに、該層ｉの各頂点ｗ^ｉ _ｖが対応する場所ｖにｉ以上のラベルが割り当てられることを仮想ラベル１に、ｉ−１以下のラベルに割り当てられることを仮想ラベル０にそれぞれ対応させて、前記仮想ラベル０に対応する前記頂点ｓ、前記仮想ラベル１に対応する前記頂点ｔおよび前記各頂点ｗ^ｉ _ｖのうちの２つの頂点を結ぶ辺を有する２値化グラフを設定する２値化グラフ設定ステップと、
   前記各頂点が仮想ラベル０に属する場合と前記仮想ラベル１に属する場合に応じたエネルギーを、各層の前記２値化グラフの辺に設定するエネルギー設定ステップと、
   前記層ごとの２値化グラフにエネルギーが設定されたグラフ全体にグラフカット処理を実行することより、前記各層の２値化グラフの辺のうち切断する辺を決定して、該層の前記頂点ｗ^ｉ _ｖに仮想ラベル０および仮想ラベル１のいずれかを割り当てる層別ラベリングステップと、
   前記１番目からｋ番目の層の同じ場所ｖに対する各頂点ｗ^ｉ _ｖ（ｉ＝１, . . . ,ｋ）が、仮想ラベル０または仮想ラベル１のいずれが割り当てられたかに応じて、場所ｖのピクセルがＮ個のラベルのいずれに属するかを決定するラベル決定ステップとを有し、
   前記２値化グラフが、前記同一の層ｉ内の２つの頂点間を結ぶ辺と、頂点ｓと頂点ｗ^ｉ _ｖを結ぶ辺(ｓ, ｗ^ｉ _ｖ)と、頂点ｗ^ｉ _ｖと頂点ｔを結ぶ辺(ｗ^ｉ _ｖ,ｔ) とを有するものであり、
   前記ラベル決定ステップが、同じ場所ｖに対する全ての層の頂点ｗ^ｉ _ｖが全て仮想ラベル０に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをラベル０に決定し、全ての層ｉの頂点ｗ^ｉ _ｖが全て仮想ラベル１に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをラベルＮ−１と決定し、第１層から第ｐ層までが仮想ラベル０に属し第ｐ＋１層から第Ｎ−１層までが仮想ラベル１に属する場合は該頂点ｗ^ｉ _ｖに対応するピクセルをクラスｐと決定するものであり、
   前記エネルギー設定ステップが、
   前記同一の層内の任意の４つ以上の頂点の全てが仮想ラベル０または仮想ラベル１に属するかに応じて決定される４次以上のエネルギーを、各層毎に仮想頂点ｖ^ｉを経由して前記４つの頂点ｗ^ｉ _ｖと前記頂点ｓまたは前記頂点ｔを結ぶ辺に対応して設定するものであることを特徴とする分類装置の動作方法。