JP2003502765A - 点の分布のセグメンテーションのための方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 点の分布のセグメンテーションのための方法および装置を提供する。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】 本発明は、種々のパターン特性を有する部分的領域ごとに点の分布をセグメン
テーションするための方法ならびにこの種のセグメンテーション方法を実施する
ための装置に関する。 【０００２】 【従来の技術】 画像のセグメンテーション、即ち１つの画像をセグメントつまり、特定の、そ
れぞれ１つの部分的領域に共通の画像上の特徴に基づいて部分的領域に分割する
ことは、画像処理技術の重要な課題である。単純なケースでは画像のセグメンテ
ーションは、例えば注目画素の周辺領域での、または輪郭抽出技術での濃度値の
違いの認識を基礎にしている。しかしながら、これでは平面的に広がった均質な
画素を有する単純なパターンの画像しかセグメンテーションすることができない
。しかしながら、実際に問題となる種類のものの場合には、例えば医療技術また
は材料工学での画像処理の場合には、より複雑な画像パターンが、例えば細分さ
れた繰り返される濃度値パターンの形で、または画素の不明瞭な境界の形で登場
し、このような画像パターンは、単純なセグメンテーション技術を用いて認識す
ることはできない。 【０００３】 より複雑な画像を処理するために一連の特徴抽出方法が開発され（「Handbook
of pattern recognition and computer vision」、C.H. Chengら編、World Sci
entific Publishing、１９９３年、２３５ページ以降のM.Tuceryanら参照）、こ
の場合には、まず局所的な特徴が画像パターンまたはテクスチュアの違いに応じ
て抽出され、さらに、これらの特徴からつくられた特徴ベクターが各画素に割り
当てられる。特徴空間におけるクラスター法の使用下に、さらに画素の特徴ベク
トルが数個のクラスに分類され、かつ、これを根拠にして、相応する部分平面へ
の画像のセグメンテーションが行なわれる。この方法は、ノンパラメトリックで
はなく、その結果、具体的なセグメンテーションのために、使用目的に応じて場
合によっては、最適な入力パラメーターをつきとめるのに多大な準備のための労
力を費やさなければならない。画像パターンの局所的な濃度値分布の評価のため
の統計的分析は、公知であり（「Proceedings of the IEEE」、第６７巻、１９
７９年、７８６ページ以降のR.M.Haralick参照）、この場合、例えば相関法がパ
ターン認識に使用される。これらの従来の方法は、データ処理費用および信頼性
に関して欠点を有している。 【０００４】 「J. Physiol.」、第１９７巻、１９６８年、５５１ページ以降のF.W.Cambell
らによって精神生理学的な実験が記載されており、これによれば、人間の視覚シ
ステムは、網膜像をフィルターがかけられたいくつかの画像に分解し、これらの
画像のいずれもが空間周波数範囲もしくは方向範囲のすべてにわたる強度の変化
を含んでいる。これに基づいて、いわゆるガボール−フィルターを用いたマルチ
チャンネルフィルタリングの使用下での特徴抽出方法が開発された（「Pattern
Recognition」、第２４巻、１９９１年、１１６７ページ以降のA.K.Jainほか参
照）。この方法の場合には一定のフィルター関数を有する窓が徐々に画像の表面
に沿って押し動かされ、さらにフィルター応答がそれぞれに注目される窓領域に
ついての局所的な平均値としてさらに評価される。この方法は、線形的な特徴フ
ィルタリングが行なわれ、この特徴フィルタリングによってパターン認識が制限
された形でしか可能ではないという欠点を有している。したがって、例えば線形
的なフィルターを用いて図７ａ（下記参照）による画像中のテクスチュアの相違
を認識することは不可能である。この問題に対処するために確かにフィルター法
が開発され、このフィルター法の場合には、窓領域についてのそれぞれ求められ
た局所的な平均値が非線形的に後処理される。しかし、このことは、テクスチュ
ア認識の場合の十分な信頼性を達成するために、認識すべきパターンについての
付加的な情報を前提とする。 【０００５】 画像の望ましいセグメンテーションを達成するためには、いつでも利用可能な
方法による画像の特徴の認識のほかにさらなる問題として、画像の特徴に含まれ
る情報の評価に関する問題が生じる。この目的のために通常、特徴空間において
いわゆるクラスター分析が実施され、この特徴空間では各軸は調べられたそれぞ
れの特徴を表わしている。各画素に特徴マーカーまたはラベルが割り当てられ、
その際、同じラベルが付けられた画素は、同じ特徴クラス即ちパターンに属し、
一方、別々のラベルが付けられた画素は、別々のパターンに割り当てられている
。すぐに利用できるクラスター分析は、例えば「Handbook of pattern recognit
ion and computer vision」、C.H.Chengら編、World Scientific Publishing、
１９９３年、３ページ以降のR.C.Dubesならびに「Pattern recognition and Neu
tral Networks」、Cambridge Universitiy Press、１９９６年のB.D.Ripleyによ
って説明されている。監視されていないクラスター−アルゴリズム即ち監視なし
クラスター−アルゴリズムではまず最初に、マーキングされていないデータが処
理されるので、次の２つの問題の解決が必要とされる。 【０００６】 第一に、適正なクラスター数を選択することないしは決定することが画像のセ
グメンテーションの信頼性にとって重要である。第二に、アルゴリズムによって
提供されたラベルが、物理的に意味のある特徴にも相応していることが確認され
なければならない。この監視されていない方法のもう１つの欠点は、これらの方
法が画像を包括する（広域的な）エネルギー関数を反復法によって最小化するこ
とに基礎を置いていることにある。このことによって、平均化されたクラスター
集団が提供されるための解決への傾向が明らかになる（「Pattern Recognition
」、第２９巻、１９９６年、８５９ページ以降のA.M.Bensaidら参照）。 【０００７】 上記で説明した問題点が生じるのは、物質的対象物の場面の光学的な結像を表
わす画像のセグメンテーションの場合ばかりではない。各画素に例えば１つの濃
度値が割り当てられてたその場合に注目の２次元のオブジェクトの代りに、広義
での画像は、より低い次元のオブジェクトであってもよいし、より高い次元のオ
ブジェクトであってもよく、これらのオブジェクトの場合には、各画素は該オブ
ジェクトの次元に相応するいくつかの座標によって第一に定義されており、かつ
、各画素に一定数の画像特徴（測定値）が割り当てられる。該オブジェクトの次
元は、空間の次元および時間の次元のほかにさらに任意の別の特徴軸によってつ
くることができる。したがってこの調べられるシステムは、広義の全ての物理学
的、化学的もしくは生物医学的な事象または材料を含んでおり、これらの事象ま
たは材料の状態または固有の特徴は、次元に同じｎ個のパラメーターの１集合で
特徴づけることが可能である。このシステムは、調査時間において不変（静的）
であってもよいし、時間的に可変（動的）であってもよい。後者の場合には時間
は、ｎ個のパラメーターの１つである。 【０００８】 ＤＥ−ＯＳ４３１７７４６から、いわゆる等方性スケールファクターａの概念
に基づいてｎ次元の画像でのパターンを認識するための空間フィルタリング法が
公知である。スケールファクターαを用いて、調べられる画素の周囲の点の密度
の変化（勾配）が、調べられる画素からの距離に応じた周囲の点の数の記載によ
って記載されている。この空間フィルタリング法をｎ次元の画像におけるパター
ンの方向の認識に拡大することは、ＤＥ−ＰＳ１９６３３６９３に記載されてい
る。この概念の場合には異方性スケールファクターα_ｊｉが採用され、この異方
性スケールファクターは、特定の空間方向への射影後の点の密度の変動に対して
特徴的である。スケールファクターを基礎とする空間フィルタリングは、有利に
パターン認識ならびに非線形的な時系列解析に使用される非線形的方法である。
しかしながら、注目画像の中の種々のテクスチュアに関する画像のセグメンテー
ションは、この方法では不可能であった。 【０００９】 【発明が解決しようとする課題】 本発明の課題は、従来の方法の上記の欠点を克服しかつ殊に、高い感度および
信頼性を有しており、点の分布について必要とする事前情報ができるだけわずか
であり、かつ、従来の光学的画像ならびにこれより低い次元もしくはより高い次
元のオブジェクトでの種々の課題にできるだけ幅広く適用することができる、点
の分布をテクスチュアに関連させてセグメンテーションするための改善された方
法を提供することである。また本発明の課題は、この種の方法を実施するための
装置および該方法の使用を提供することである。 【００１０】 上記の課題は、請求の範囲の請求項１ないしは９に記載の特徴を有する方法な
いしは装置によって解決される。本発明の有利な実施形態および使用は、従属ク
レイムに記載されている。 【００１１】 【課題を解決するための手段】 本発明の第一に重要な観点によれば、点の分布の部分監視ありのセグメンテー
ションのための方法が提供され、この方法の場合には、パターン特徴もしくはテ
クスチュア特徴が上記の等方性および異方性のスケールファクターの概念の使用
下に各点について確認され、かつ、該セグメンテーションに部分監視ありのクラ
スター法が使用される。該クラスター法の場合には、パターン要素のあらかじめ
決められた数の既知のクラス（テクスチュアクラス）および該クラスの特定の点
（標本点、ラベル付き点）への割り当てならびに、他の点（ラベルなし点）のそ
れぞれについてそれぞれのテクスチュア特徴間の違いおよび各テクスチュアクラ
ス間の違いを定義する距離尺度に基づいて、各点があらかじめ決められたテクス
チュアクラスに割り当てられる。標本点の数は、使用目的に応じて、殊に画像の
大きさに応じて、各テクスチュアクラスについて、統計的に信頼しうる評価にと
って十分な数の点が考慮されることができるように選択される。各テクスチュア
クラスには有利に約３０から４０（１００でもよい）の標本点が分類されなけれ
ばならない。 【００１２】 上記の割り当ては先ず、分類されていないラベルなし点に対して、距離尺度の
評価によって、有利に各点をその点と最短の距離にあるテクスチュアクラスに割
り当てることによって行なわれる。本発明により実施されるクラスター法は、部
分的に監視された、即ち部分監視ありの方法と呼ばれ、それというのも、限定さ
れた数の標本点の分類が既知のテクスチュア割り当てから始められるからである
。このことによって、画像セグメンテーションが十分なクラスター数および物理
学的に有意義なラベルから始められることが保証される。本発明の特に有利な点
は、標本点の数がラベルなし点の数より本質的に少ない（標本点の割合は１％未
満、例えば０．１％、であってもよい）場合にも画像セグメンテーションが高い
信頼性を示すことである。 【００１３】 本発明の有利な実施形態によれば、各テクスチュアクラスについての距離尺度
の定義は、特に、部分監視ありの枠内であらかじめ決められたテクスチュアに割
り当てられている点集号の方向および形状に依存して行なわれる。より簡単に定
義された距離尺度を使用することもでき、この距離尺度は、全てのテクスチュア
クラスに対して点の分布の包括的な特徴空間の中でまとめて定義されている。 【００１４】 １つのテクスチュアクラスに割り当てられた点の分布の全ての点は、１つのテ
クスチュアセグメントを形成し、このテクスチュアセグメントは、引き続き表示
されるかまたはさらに処理される。 【００１５】 本発明のもう１つの重要な観点にしたがって、テクスチュアセグメンテーショ
ン方法を実施するための装置が説明される。この装置には、点の分布の測定およ
びそれぞれの場合のシステムの状態の各点に属する特徴の測定のための装置、点
の分布の注目点を走査するための手段、調べられる点の周辺点を計数するための
手段、あらかじめ決められたスケールファクターを確認するための手段および該
スケールファクターの統計学的に処理するための手段を有するフィルター装置、
テクスチュアクラス属性がわかっているあらかじめ決められた標本点に相応する
テクスチュアクラスを割り当てるために設計されている入力装置、該テクスチュ
アクラスに関する他の点のテクスチュア特徴についての距離尺度の確定および評
価のための演算装置ならびに、テクスチュアセグメントの表示、バッファリング
またはさらなる処理への転送のための出力装置が含まれる。 【００１６】 本発明によれば処理される点の分布は、最も広い意味としては、ｎ次元の状態
空間におけるシステムの状態であるといえる。該点の分布は、システムの状態の
２次元もしくはそれ以上の次元の結像であるので、以下、一般的に画像セグメン
テーションおよび画素について説明する。セグメンテーションされる画像には、
参照パラメーター（例えば時間、エネルギー等）に依存する信号もしくは振幅の
経過を含めることもできるし、濃淡画像および／またはカラー画像を含めること
もできる。調べられるシステムには、画像パターンのほかに殊に材料、機械装置
または生物学的システムを含めることができる。システムの状態の認識は、使用
目的に応じて、アクチュエーター技術、センサー技術、分析およびレジストレー
ションないしは信号化の措置によって達成される。場合によっては必要なアクチ
ュエーター技術には、特徴的な状態を代表するシステムの反応、例えば、調べら
れるオブジェクトにおける機械的な振動の励起または神経系における誘発電位の
触発、を発生させるための措置が含まれる。センサー技術には、関心のあるｎ個
のパラメーターに関するシステムの特徴の抽出が含まれ、かつ、高次元の特徴空
間における特徴を、例えば、該特徴に割り当てられている適当な値の集合を記憶
することにより表示することが含まれる。 【００１７】 注目される点の分布もしくは画像の中で複雑な、しかしながら境界付け可能な
画像パターンをテクスチュアと呼ぶ。テクスチュアは、該画像パターンを、１つ
の配置規則にしたがって配置されている要素からなる反復模様に帰結させること
ができる画像範囲もしくは画像領域を形成する。換言すれば、ある画像領域は、
画像特徴の局所的な統計または他の局所的な特性の１つの集合が一定であるかも
しくはわずかにのみ異なっている場合に、ある特定の（一定の）テクスチュアに
割り当てることができる。画像テクスチュアは、該画像テクスチュアの（グレー
）濃淡の基本要素の数と種類ならびに該要素の空間的配置によって説明される。 【００１８】 一般的にテクスチュアには、次の特性をあてはめることができる。局所的な秩
序が、該局所的な秩序の大きさより大きな１画像領域全体で反復する。その際、
該秩序は、基本となっている成分の非偶然的な配置で構成されており、この基本
となっている成分は、いわゆる微小模様としてほぼ同じ単位を形成しており、テ
クスチュア内で同じ大きさを有しており、かつ、特有の局所的な特性によって特
徴づけることができる。 【００１９】 例えば医療技術または材料工学における、画像処理に使用される場合には、テ
クスチュアの認識およびセグメンテーションが、対象物の領域間の相違の識別を
可能にする。例えば内部組織の超音波画像が調べられる場合には、テクスチュア
のセグメンテーションによって腫瘍組織と健康な組織とを識別することができ、
かつ腫瘍組織の大きさを確定することができる。この場合には殊に認識および大
きさ表示の自動化が重要である。本発明によるテクスチュアのセグメンテーショ
ンによって一般的に、テクスチュアを特定の点に割り当てることならびに一定の
テクスチュアをもつそれぞれの画像領域の大きさを確定することが可能になる。 【００２０】 本発明の利点は、次のとおりである。下記で詳説するテクスチュアのセグメン
テーションの方法が、ノンパラメトリックでありかつ非反復的である。画像特徴
の分類の際に自由なパラメーターを最適化させる必要がない。このことによって
該方法は、高いセグメンテーション速度およびセグメンテーション信頼性を示す
。セグメンテーションの結果が、画像の評価の際の制約条件の具体的な選択にあ
まり敏感には左右されない。非線形フィルタリング方法がテクスチュアの特徴抽
出に採用されるのは、初めてである。該セグメンテーション方法が、該非線形フ
ィルタリングを使用目的に応じて適合させることによって容易に任意の目的に使
用可能である。同時に複数のテクスチュアを認識することならびに該テクスチュ
アの大きさに関して定量分析することが初めて可能になった。 【００２１】 【発明の実施の形態】 本発明によるテクスチュアのセグメンテーションが、下記で２次元の濃淡画像
の例で説明されるが、しかしながら、この例に限定されるのではなく、同様の方
法で任意の点の分布および組み合わされた特徴に使用することができる。例えば
該点の分布は、例えば１個の機械における、センサ信号の同時に記録された複数
の時系列によって形成されていてもよく、その際、本発明によるセグメンテーシ
ョンは、これらの時系列の中での特定の時間間隔を求めることを目的とし、これ
らの時系列では、例えば、機械の通常の運転状態または特別な故障状態が存在し
ている。注目される点の分布は、連続的であってもよいし、不連続的であっても
よい。画像の例が印刷技術上の理由から部分的に簡略化されて表示されているか
あるいは人工的なパターン（ハッチング等）が施されているが、このことは、本
発明の不可欠の特徴ではない。次に先ず図２から６に基づいて本発明によるセグ
メンテーションの個々のステップを説明する。引き続き、この個々のステップの
実施について説明するためのいくつかの例を示し、かつ、該方法を実施するため
の装置について説明する。 【００２２】 Ａ）セグメンテーションの方法 ピクセル画像Ｇのための例は、図１に示されている。Ｎ＝Ｍ＝２５６である該
ピクセル画像は、４つの自然のテクスチュアを有しており、これらのテクスチュ
アは、目視によって簡単に、単純な縞模様（右上）、規則的なハニカム模様（左
下）、明瞭な境界線をもついくつかの構造を有する完全に不規則な模様（左上）
ないしは不規則な「不明瞭な」模様（右下）であると認められる。この場合には
本発明による画像のセグメンテーションは、このテクスチュア認識を各画素に対
するピクセル画像の局所的な特徴の抽出ならびに抽出された特徴に基づく画素の
分類によって実施することを目的とする。これらのステップは、図２に概略的に
、特徴認識１００、テクスチュア分類２００および評価３００によって示されて
いる。使用目的によって該評価の結果に、特徴認識および／またはテクスチュア
分類の新規実行を設定することが可能である。 【００２３】 １）特徴認識 特徴認識１００（図３参照）は、各画素に対して局所的な特徴を確定すること
を目的とする。この局所的な特徴には、該画素の直接の周囲の特徴的な画像特性
が含まれ、該周囲は、（包括的な）全体画像よりも本質的に小さい。詳細には特
徴認識１００には、点の分布の確定１１０、スケールファクターの確定１２０、
１３０および、各画素に割り当てられている特徴ベクトルを形成するための特徴
抽出１４０が含まれる。 【００２４】 点の分布の確定（ステップ１１０）は、この注目している例の場合には簡単な
撮像および自体公知の濃度値評価（場合によっては上記の正規化を含む）を本質
的な内容とする。通常、ステップ１１０には使用目的に応じて選択されたセンサ
ー技術の測定値の記録が含まれる。 【００２５】 等方性および異方性のスケールファクターの確定（ステップ１２０、１３０）
に関しては、前記のＤＥ−ＯＳ４３１７７４６およびＤＥ−ＰＳ１９６３３６９
３が参照される。この方法は自体公知であり、かつしたがって本明細書では詳細
は部分的にのみ説明される。 【００２６】 先ず各画素に対して等方性のスケールファクター（スケールインデックス）を
確定する（ステップ１２０）。この目的のために、位置−および濃度値空間の中
のそれぞれの点ｐ_ｉを中心にして異なる半径ａ_１、ａ_２（ａ_１＜ａ_２）をもつ２
つの球を同心に置く。各球内には、それぞれ１つの濃度値を有する一定数の画素
が存在し、この球は、全体寸法Ｍ（それぞれ球半径にａ_１、_２に関する）とも呼
ばれる。等方性のスケールファクターαは、２つの球に対する全体寸法の対数導
関数である式 【数１】 ならびに 【数２】 注目画素の周囲の点の密度勾配が著しい場合には大きなスケールファクターが
得られ、反対に勾配が小さい場合には小さなスケールファクターしか得られない
。しかしながら、等方性のスケールファクターαは、この場合には放射状の勾配
に対してのみ特徴的である。複雑なパターンを用いた使用の場合には、局所的な
特徴の方向特性を確定することも必要である。これは、異方性のスケールファク
ターの確定によって行なわれる（ステップ１３０）。 【００２７】 異方性のスケールファクターは、等方性のスケールファクターの確定と同様に
して、注目点の周辺点の密度における勾配から確定され、その際、オブジェクト
の方向の認識のために、周辺点から、点の数の射影（射影された尺度Ｍ_ｘ、Ｍ_ｙ ）が求められる。注目点の周囲の周辺点が概ね１つの方向を示していることを確
認するには、２次元のピクセル画像の場合には、それぞれ該ピクセル画像のｘ軸
ないしはｙ軸に関係する２つの異方性のスケールファクターが求められることで
原則的に十分である。本発明による画像セグメンテーションのための特徴抽出の
特徴は、注目する画像において各画素に対して画像の次元数に相応した異方性の
スケールファクターから１つのみの値対または値群を求めることはないというこ
とのみである。本発明によれば、異方性のスケールファクターの複数の値対また
は値群の決定は、図４に基づいて説明される原理にしたがって定められている。 【００２８】 図４は、２次元のピクセル画像で異なる方向を有する３つのパターン４１、４
２および４３を例示している。これらのパターンは、ｘ軸に対して特有の回転角
Φ０°、４５°ないしは９０°を有している。異方性のスケールファクターα_ｘ ないしはα_ｙの確定は、パターン４１において半径ａ_１、ａ_２を有する球を書き
入れることによって説明されている。注目点ｐ_４１に対する、パターン４１に属
する周辺点の射影は、ｙ軸方向に勾配が大きく、ｘ軸方向では勾配が小さい。し
たがって小さなスケールファクターα_ｘおよび大きなスケールファクターα_ｙが
得られる。パターン４２および４３の場合にはこれらの比は、相応して異なって
いる。 【００２９】 確かに異方性のスケールファクターによって、前記の周辺点が１つの方向を有
していると言うことができることは、明らかになった。しかしながら、この方向
の向きを詳しく導き出すことはできていない。この情報は、各注目点に対して異
方性のスケールファクターが相対的に相互にねじれた少なくとも２つの座標系で
決定される場合に初めて得ることができる。ｘ、ｙ座標系およびｘ^＊、ｙ^＊座標
系（パターン４２参照）でのスケールファクターから、これらの座標系の間での
回転角（≠９０°）を知ることによってパターンの方向に関する状態情報が得ら
れる。 【００３０】 したがって、本発明による方法による異方性のスケールファクターの確定（ス
テップ１３０）には、各注目画素に対して、ねじれた座標系にそれぞれ相応する
複数のスケールファクターからなる１つのスケールファクター群を確定すること
が含まれる。図４に基づいて簡単に示された、回転させた複数の座標系における
スケールファクター確定の原理は、使用目的に適合される。このことは、図３に
、スケールファクター確定のためのデータの定義のステップ１３１によって示さ
れている。該データには、１画素につき注目される異方性のスケールファクター
の数、球の大きさならびに座標系回転の数および角度が含まれる。 【００３１】 濃淡画像の評価に対して角度スキーマが有利であることが判明しており、この
角度スキーマでは、それぞれ４５°ずつ異なる４つの回転角が採用されている。
したがって各画素に対して、回転角Φずつそれぞれ回転させた４つの座標系にお
いてそれぞれ１つもしくは２つの異方性のスケールファクターが確定される。座
標系回転の数および量を使用目的に応じて増減させることができることを述べて
おく。この場合には、それぞれ確定された異方性のスケールファクターが特定の
方法で解釈することができたり、視覚的に認識可能な画像特徴で修正することが
できたりすることとは関係ない。種々の座標系回転に対する複数の値を得ること
がもっぱら重要であり、それというのも、これらの値には、さらなるテクスチュ
ア分類（下記参照）に必要である完全な情報が含まれているからである。 【００３２】 異方性のスケールファクターを計算するために、式（３）で示される射影され
た局所的な尺度Ｍ_ｘ＊から始める。 【００３３】 【数３】 上記のｘ^＊軸は、スケールファクターが関連づけられた、回転させた座標系に
おける空間の方向を表わしている。式（３）の中でｐ^＊は、回転させた座標系に
おける画素のベクトルを表わしている。元来の座標系（ｐ＝（ｘ，ｙ，g））か
ら回転させた座標系（ｐ^＊＝（ｘ^＊，ｙ^＊，g^＊））への変換は、式（４）から
の回転行列Ｄを含むｐ^＊＝Ｄ・ｐに従って達成される。 【００３４】 【数４】 上記の回転行列Ｄは、自体公知の回転行列であり、この場合、g軸が回転軸で
ある。式（３）の第２のヘヴィサイド関数によって、注目画素の近傍の点のみが
注目されることが保証される。式（１）と同様にして、式（５）で示された、射
影された尺度Ｍ_ｘ＊の対数導関数の計算によって異方性のスケールファクターα
が次のとおり得られる： 【数５】 式（５）による異方性のスケールファクターαは、各画素に対してそれぞれ４
つの異なる回転角Φについて計算される。下記で説明する画像の例の場合には回
転角０°、４５°、９０°および１３５°が使用されている。各回転角度に対す
る方向情報が、１つの回転角に所属する２つの異方性のスケールファクターの１
つにすでに含まれているので、各回転角度に対して１つの異方性のスケールファ
クターのみを求めれば、後からのテクスチュア分類には十分である。 【００３５】 本発明の有利な実施形態によればスケールファクターは、１対の球に対してば
かりではなく、２対の球に対しても確定される。ここで注目される２５６×２５
６のピクセル画像の場合には、球半径ａ_１＝２およびａ_２＝６を有する小さいほ
うのスケーリング範囲ならびにａ_１＝６およびａ_２＝１２を有する大きいほうの
範囲が有利であることが証明されている。さらに多くのスケーリング範囲（対の
球）を考慮に入れてもよい。 【００３６】 したがって１画素に対して、２つのスケーリング領域および４つの回転角の場
合には、２つの等方性のスケールファクターおよび４つの異方性のスケールファ
クターが得られ、これらのスケールファクターは、テクスチュアを有する画像の
特徴付けのための種々の非線形フィルター関数である。下記で示されているとお
り、１０個のスケールファクターからなるこの集合を用いてすでにセグメンテー
ションの優れた結果を導き出すことが可能である。しかしながら、使用目的に応
じてこれらのパラメーターを具体的な課題に適合させることもできるし、セグメ
ンテーションの最中にさえ最適化させることもできる。 【００３７】 簡単なケースの場合には特徴ベクトルの成分は、各画素のために確定された局
所的な特徴によって形成される。したがって上記の例の場合には特徴ベクトルに
は、２つの等方性のスケールファクターおよび８つの異方性のスケールファクタ
ーからなる１０個の成分が含まれる。 【００３８】 しかしながら、本発明の有利な実施形態によれば、先ずステップ１４１の枠内
で、該画素のために確定された局所的な特徴の統計学的な評価が行われ、さらに
引き続き、個々の局所的な特徴の局所的な期待値からのベクトル形成１４２が行
なわれる。それぞれの局所的な特徴に対して、式（６）に従って、関連の局所的
な期待値＜α＞が計算される。 【００３９】 【数６】 上記のパラメーターｋは、この場合には、隣りの局所的な特徴を考慮に入れる
ために画素の上を動かされる窓の大きさを表わしている。下記で説明される画像
の例の場合には窓の大きさｋ＝４０が有利であることが証明されている。したが
って各画素に対して１０個の期待値が形成され、これらの期待値では隣りの画素
群の局所的な特徴が考慮に入れられている。局所的な特徴の統計学的な処理には
、このことによって続いてのテクスチュア分類が画像縁部に接する境界効果によ
って影響を及ぼされるのが極めて少ないという利点がある。セグメンテーション
の良好な結果を得るためにもかかわらず、画像縁部に接する境界効果をまったく
考慮に入れる必要がないことが判明した。 【００４０】 ２）テクスチュア分類（クラスタリング） 【数７】 第１のステップ２１０では先ず、調べた画像の中に存在するテクスチュアクラ
スの最終的な数が扱われる。このあらかじめ決められたテクスチュアクラスは、
使用目的に応じてそれぞれの場合にオペレーターによって定義されるか、あるい
はメモリーから入力される。各テクスチュアクラス（個数ｃ）に指数ｉ（ｉ＝１
，…，ｃ）が割り当てられる。テクスチュアクラスの定義は、使用目的に応じて
経験値をもとに、あるいはまた、画像セグメンテーションが種々のクラス数およ
びクラス種類で何回も実施されている最適化の範囲内で行なわれる。 【００４１】 本発明によれば用いられる部分監視ありの範囲内では、特定の限定された数の
画素について特定のテクスチュアクラスへの所属がわかっているという前提から
出発する。したがって特定の画素ないしはパターンベクトルには、特定のラベル
１からｃ（「label」）が割り当てることができる。残りの画素ないしはパター
ンベクトルは、ラベルなしのままである（「unlabeled」）。このことは、式（
８）に従って上記の集合Ｘと関連づけて次のとおり示すことができる： 【数８】 式（８）中、上付きの指数はそれぞれ、ラベルを表わすかまたはラベルなしの
非標識の状態（ｕ）を表わす。下付きの指数は、１からｎである（式（７）参照
）。特徴ベクトルの部分集合Ｘ^ｕは、ラベルが既知である部分集合Ｘ^１より本質
的に大きい。 【００４２】 既知のテクスチュアクラスへのラベル付きの標本点の割り当て（ステップ２２
０）に続いてクラスター法の本来のステップ、即ち初期設定フェーズ２３０およ
び変換フェーズ２４０が行なわれる。初期設定フェーズ２３０のあいだに特徴空
間の中でいわゆるエリプソイド距離尺度もしくはユークリッド距離尺度が定義さ
れ、これらの距離尺度によって、１つのテクスチュアクラスにそれぞれ割り当て
られた標本点に対して特定の尺度が決定される。続いての変換フェーズで残りの
画素は、距離尺度もしくは距離に基づいて異なるテクスチュアクラスに割り当て
られる。 【００４３】 （２ａ）初期設定フェーズ 初期設定フェーズ２３０には、重心の計算２３１、共分散行列の計算２３２、
固有値の計算２３３、固有ベクトルの計算２３４および距離の定義２３５のステ
ップが含まれる。これらのステップは、特徴ベクトルの成分でつくられる高次元
の特徴空間で実施される。したがってここでの例の場合には特徴空間は、１０次
元である。次に初期設定フェーズの諸ステップを図６による２次元の特徴空間に
おける概略図に基づいて説明する。 【００４４】 この特徴空間の中で１つのテクスチュアの複数の点は、まとまりのある形状と
してそれぞれ１つのテクスチュアクラスを表わしており、このテクスチュアクラ
スは、クラスターとも呼ばれる。図６には、スケールファクターα_１およびα_２ の期待値に相応する特徴空間の任意に選択された２つの成分に対して４つのクラ
スター６１〜６４が示されている。初期設定フェーズ２３０の目的は、さしあた
り分類されていない点６５（ラベルなし）について、この点がいずれのクラスタ
ーひいてはいずれのテクスチュアに割り当てることができるかを決定することで
ある。簡単な割り当て方法に従ってラベルなしの点を容易に、この点と最も小さ
なユークリッド距離にあるクラスターに割り当てることは可能ではある。しかし
ながら、この方法では、一緒にクラスターの大きさおよび方向が考慮されない場
合には、割り当てを誤る可能性がある。ここで示した例では点６５は、クラスタ
ー６２と距離が小さいが、しかしながら、該クラスターは、まったく特徴的な細
長い形を有している。このような理由から該点６５がより離れているクラスター
６３に属するということのほうがより可能性があり、それというのも、この割り
当てと該クラスターが放射状に広がっていることとがより良好に両立性を有して
いるからである。したがってこの初期設定フェーズ２３０では、各クラスター即
ち各テクスチュアクラスに対して、クラスターの方向および形状の特徴的な特性
に応じた固有の距離尺度が定義される。 【００４５】 引き続きステップ２３２で共分散行列Ｃ^ｉが計算され、この共分散行列Ｃ^ｉの
成分Ｃ_ｒｓ ^１は、式（１０）によって得られる。 【００４６】 【数９】 ただしｒ、ｓ＝１、２、…、ｄ 共分散行列の要素によって、各特徴ベクトルの成分と各クラスターｉの重心と
の差異間の関連づけが得られる。これは、図６による簡略化されたケースの場合
には、横軸方向および縦軸方向における差異である。行列Ｃiは対称であり、故
に対角化および主軸変換が可能である。 【００４７】 行列Ｄ^ｉは、全てのクラスターに共通の本来の座標系から、各クラスターｉの
主軸によってつくられるクラスター固有の座標系への変換を表わしている。この
座標系は、図６のクラスター６４に例示されている。 【００４８】 したがって初期設定フェーズ２３０では部分監視ありの枠内で導入された各テ
クスチュアクラスに対して局所的な座標系が導入され、該座標系の軸は、各クラ
スターの形状によって検定されている。この局所的な検定によって、各クラスタ
ーの方向および形状に関する情報、ひいては特徴空間の中で局所的なクラスター
固有の距離尺度（エリプソイド距離の定義の可能性に関する情報が得られる。こ
の距離尺度は、ステップ２３５で定義される。各テクスチュアクラス即ち各クラ
スターに対してクラスター中心の座標、固有値の平方根および固有ベクトルがメ
モリーに保存される。このことによって、種々のクラスター（クラス）ｉおよび
特徴空間の次元ｄの数に相応するＮ_var＝ｉ・（２・ｄ＋ｄ^２）個の変数が得ら
れ、それというのも、各クラスターに対してｄ個のパラメーターλ_１、クラスタ
ー中心のｄ個の位置座標およびｄ^２個の固有ベクトルが考慮の対象となるからで
ある。これらの変数によって特徴空間におけるエリプソイド距離尺度（距離）が
決定され、この特徴空間ではラベルなしの残りの点のクラスターへの割り当てが
実施される（式（１５）も参照）。 【００４９】 ここで説明したステップ２３２から２３４での距離尺度の定義が本発明の不可
欠の特徴ではないことを指摘しておく。特徴認識１００の際に非線形フィルタリ
ングによって求まる特徴ベクトルに基づく画像セグメンテーションは、例えば画
素とクラスターの重心の間のユークリッド距離を基礎とする、より簡単な距離尺
度を用いても実施することができる。したがってステップ２３２から２３４は、
省略してもよい（図５の点線の矢印）。しかしながら、距離尺度の選択は、画像
セグメンテーションの質に影響を及ぼす（図１０、１１参照）。 【００５０】 （２ｂ）変換フェーズ この検定は、式（１４）： 【数１０】 に従って行なわれる。 【００５１】 検定された成分に基づいて、ｉ個のクラスター中心のそれぞれに対する分類す
べき各画素の距離が式（１５）に従って計算される（ステップ２４４）。 【００５２】 分類が簡単なユークリッド距離を用いて行なわれる場合には、ステップ２４１
には、ある画素からそれぞれのクラスターの重心へのベクトルの計算が含まれる
。引き続き、ステップ２４１に直接移行してもよい。 【００５３】 （３）評価 続いての評価３００（図２参照）の枠内で今度はセグメンテーションステップ
が行なわれ、該セグメンテーションステップでは、共通の１つのクラスターに割
り当てられている画素は、共通のラベルが付けられ、まとめてメモリーに保存さ
れるか、および／または処理されている画像の表示における人為的な色の表示に
よってマーキングされる。テクスチュアクラスに属する画素によって、このセグ
メンテーションと同時に、自体公知の数値評価方法の１つによって画像の部分的
領域、この部分的領域は１つのテクスチュアで形成されている、の大きさを測定
することが問題なく可能になる。評価３００でのさらなるステップは、使用目的
に応じて形成されている種々の補助プロセッサおよび／または表示手段へのテク
スチュアデータの転送である。部分的領域は、１つにまとまっていてもよいし、
相互に分離した複数の断片で構成されていてもよい。 【００５４】 評価３００の枠内で品質尺度の達成度を検査することができ、かつ、結果が好
ましくない場合には新規のパラメーターを調整して特徴認識１００またはテクス
チュア分類２００への戻ることが予定されていてもよい。品質尺度として例えば
正しく分類されたあらかじめ知られている画素が使用される。この目的のために
上記で説明した方法を、ステップ２２０の際に全ての既知の画素が考慮されずに
次の初期設定フェーズ２３０に進むように修正することができる。テクスチュア
分類がわかっている既知の画素の最初の一部を用いて初期化を実施することがで
きる。さらに残りの既知の画素を用いて、変換フェーズ２４０の結果を検査する
ことができる。 【００５５】 Ｂ）実験結果 次に図１および７から１１に基づいて本発明による画像セグメンテーションの
結果を自然もしくは人工のテクスチュアを有する濃淡画像の例で示す。図１には
、既述の４つの自然のテクスチュア（図１ａ）を有する２５６×２５６のピクセ
ル画像が示されている。これらテクスチュアは、Brodatz−テクスチュアＤ０３
、Ｄ９０、Ｄ９３およびＤ５１である。図１ｂにはセグメンテーションの結果が
示されている。画素の９７．３％を正しく分類することができた。さらに、テク
スチュア間の境界が比較的良好に示されていることが明らかである。 【００５６】 図７には、１２８×２５６のピクセル画像に別のBrodatz−テクスチュアが示
されている。原テクスチュアＤ５５、Ｄ６８は、図７ａに示されている。図７ｂ
には、異方性のスケールファクターのパラメーターａ_１＝６、ａ_２＝１２および
Φ＝４５°でフィルタリングされた画像が示されている。上記のステップ１４１
に相応する平滑化の後に図７ｃが得られた。 【００５７】 図８のフローチャートは、本発明による画像セグメンテーションを人工のテク
スチュアで説明している。図８ａには２つの人工のテクスチュアが示されており
、これらのテクスチュアのうち画像左半分の第１のテクスチュアは三角形で構成
されており、かつ、画像右半分の第２のテクスチュアは矢印で構成されている。
これらのテクスチュアは、同じ第２順序統計量を有しており、かつしたがって局
所的な線形特徴認識を使用して識別することができない（「Rev.Mod.Phys."、第
６３巻、１９９１年、７３５ページ以降のB.Julesz参照）。図８ｂには、白色の
、鮮明にするために強調して印刷された白色の画素、標本点ないしはラベル付き
画素が示されており、これらは、クラスター法の初期化に使用される。ここで扱
われるのは、ランダムな分布で選択した６５５ピクセルである。したがって標本
点の数は、全点数の１％である（この割合を他の実施例でも採用した）。最後に
図８ｃには、同じ第２順序統計量にもかかわらず、本発明による方法を用いて、
信頼しうる画像セグメンテーションが達成可能であることが示されている。画素
の９８．２％が正しく分類されていた。 【００５８】 もう１組の４つの自然のBrodatz−テクスチュア（Ｄ９６、Ｄ５５、Ｄ３８お
よびＤ７７）が図９ａに示されている。図９ｂおよび９ｃには、テクスチュア分
類のための異なる距離尺度が使用された場合の異なる結果が示されている。エリ
プソイド距離を使用した場合には図９ｂによると、正しく分類された点の割合９
７．１％が得られた。これに対してテクスチュア分類にユークリッド距離のみを
使用した場合には、図９ｃによれば画素の９４．９％のみが正しく分類されてい
た。ユークリッド距離を用いてたしかに図９ｂよりも劣ったセグメンテーション
の結果が得られたが、しかしながら、この結果は種々の使用としては十分に良好
である。 【００５９】 今度は図９ａのテクスチュア画像に雑音を重ねると、図１０ａが得られる。雑
音は、あらかじめ決められたｑ標準偏差σ_rauschに相応する加法性の白色のガウ
ス雑音である。図１０ａで示されているのは、σ_rausch＝０．１・ΔＩの場合で
あり、その際、ΔＩは、妨害されていない画像の濃度範囲を表わす。 【００６０】 この雑音が付加された画像について、エリプソイド距離を使用した場合には図
１０ｂによれば許容可能なセグメンテーションの結果が依然として得られ、これ
に対してユークリッド距離を使用した場合には図１０ｃによれば結果は著しく妨
げられていた。雑音の比率をσ_rausch＝０．２・ΔＩに上げた場合には、エリプ
ソイド距離に基づいて画像セグメンテーションが行なわれると画像セグメンテー
ションの安定性が高まることが判明した（図１０ｄ）。しかしながら、ユークリ
ッド距離に基づいた画像セグメンテーションでは、さらなる悪化がみられた（図
１０ｅ）。 【００６１】 図１０で視覚化された雑音効果をさらに図１１の線図で示している。図１１に
は、正しく分類された画素数（ｃｃｐ）が雑音レベルσ_rauschに対する比率で示
されている。直線は、エリプソイド距離を使用した場合のセグメンテーションの
結果を表わしており、これに対して点線は、ユークリッド距離を使用した場合の
セグメンテーションの結果を表わしている。前者の場合に画像セグメンテーショ
ンが本質的に高い安定性を示すことがわかる。 【００６２】 これらの画像による例によれば、本発明による画像セグメンテーションの本質
的な利点が次のとおり明らかである。先ず、全体的なテクスチュア認識が特徴パ
ターン（特徴ベクトル）の認識のみに基づいていることを指摘することができる
。この画像セグメンテーションの場合には、具体的な画素座標は重要ではなく、
特徴ベクトルの特性のみが重要である。本方法は、クラスター割り当てに関して
ノンパラメトリックである。このことは、従来のテクスチュア分類方法の場合に
最適化すべきパラメーターに対する本質的な違いを示している。 【００６３】 ｃ）セグメンテーション装置 図１２に概略的に示された本発明によるセグメンテーション装置には、詳細に
は、セグメンテーションすべき点の分布を検出する測定装置１、測定された点の
分布を上述のフィルター関数に相応して評価するために設計されており、かつ、
この目的のために走査するための手段、計数するための手段、スケールファクタ
ーを検出ないしは統計学的に処理するための手段を含むフィルタリング装置２、
画像セグメンテーションの部分監視ありのための情報、即ちあらかじめ決められ
たテクスチュアおよびラベル付き標本点のグループ、が入力される入力装置３、
全ての残りの点のテクスチュア特徴についての距離尺度の確定および評価のため
の演算装置４ならびに、テクスチュアセグメントの表示、バッファリングまたは
転送のための出力装置５が含まれる。本発明による装置のさらなる構成要素、例
えば制御装置は、示されていない。フィルタリング装置２および演算装置４は、
有利に１つの共通のコンピューターで構成されている。 【図面の簡単な説明】 次に本発明のさらなる利点および詳細を添付のフローチャートおよび図につき
説明する。 【図１】 ４つの自然のテクスチュアを有するピクセル画像（ａ）の例および４つの特徴
クラスへのテクスチュアのセグメンテーションの結果（ｂ）を示している。 【図２】 本発明によるテクスチュアのセグメンテーションの主要ステップを説明するた
めのフローチャートを示している。 【図３】 図２による方法での特徴認識を説明するためのフローチャートを示している。 【図４】 １画素に対して複数の異方性スケールファクターを確定するための説明図を示
している。 【図５】 図２による方法でのテクスチュア分類を説明するためのフローチャートを示し
ている。 【図６】 図５による方法での初期設定フェーズを詳説するための説明図を示している。 【図７】 Brodatz−テクスチュアのセグメンテーションを説明するための、原画像（ａ
）、フィルタリングした画像（ｂ）および特徴パターン（ｃ）の一連の画像を示
している。 【図８】 ２つの人工テクスチュアを有するピクセル画像のセグメンテーションを説明す
るための、原画像（ａ）、分類のための標本点の表示（ｂ）およびセグメンテー
ション画像（ｃ）の一連の画像を示している。 【図９】 種々の距離尺度（ｂ、ｃ）を使用した場合の原画像（ａ）の画像のセグメンテ
ーションを説明するための別の一連の画像を示している。 【図１０】 雑音が付加された原画像（ａ）におけるテクスチュアのセグメンテーションな
らびに種々の距離尺度（ｂからｅ）を用いたセグメンテーションを説明するため
の一連の画像を示している。 【図１１】 種々の雑音レベルの場合のテクスチュアのセグメンテーションを説明するため
の線図を示している。 【図１２】 本発明によるテクスチュアのセグメンテーションの装置の概略図を示している
。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 モルフィル、グレゴール ドイツ連邦共和国、デー − 81927 ミ ュンヘン、ハイナー−キップハルト・ベー ク ７ Ｆターム(参考） 5L096 FA01 FA41 MA07 【要約の続き】

Claims (1)

1. 【特許請求の範囲】 【請求項４】 １つの点のために確定される異方性のスケールファクターを
   相互に相対的に回転させた異なる座標系の中で確定する、請求項２または３記載
   の方法。 【請求項５】 ステップｃ）の際に各テクスチュアクラスに対して局所的な
   距離尺度としてエリプソイド距離尺度を使用する、請求項１から４までのいずれ
   か１項に記載の方法。 【請求項６】 ステップｃ）の全てのテクスチュアクラスに対して共通の距
   離尺度としてユークリッド距離尺度を使用する、請求項１から５までのいずれか
   １項に記載の方法。 【請求項７】 前記のセグメンテーションした部分的領域を表示し、バッフ
   ァリングし、および／またはさらに処理する、請求項１から６までのいずれか１
   項に記載の方法。 【請求項８】 前記のセグメンテーションした部分的領域の表示と同時に該
   部分的領域の大きさの定量的検出を行なう、請求項７記載の方法。 【請求項９】 点の分布を検出するための測定装置（１）、該点の分布を走
   査しかつフィルタリングするためのフィルタリング装置（２）、入力装置（３）
   、演算装置（４）ならびに出力装置（５）が備えられており、その際、該フィル
   タリング−、該入力−および該演算装置（２、３、４）が請求項１から８までの
   いずれか１項に記載の方法を実施するために設計されている、複数の点からなる
   点の分布のセグメンテーションのための画像セグメンテーション装置。 【請求項１０】 −医学的もしくは生物学的オブジェクトの画像、 −材料の画像、 −複雑な静的システムの点の分布、 −複雑な動的システムのシステムの状態を描写した点の分布、および −動的システムの時間パターン を処理するための、請求項１から９までのいずれか１項に記載の方法または装置
   の使用。