JP2008522273A - 画像セグメンテーション - Google Patents

画像セグメンテーション Download PDF

Info

Publication number
JP2008522273A
JP2008522273A JP2007542115A JP2007542115A JP2008522273A JP 2008522273 A JP2008522273 A JP 2008522273A JP 2007542115 A JP2007542115 A JP 2007542115A JP 2007542115 A JP2007542115 A JP 2007542115A JP 2008522273 A JP2008522273 A JP 2008522273A
Authority
JP
Japan
Prior art keywords
tree
edge
edges
image segmentation
segmentation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007542115A
Other languages
English (en)
Other versions
JP4795359B2 (ja
Inventor
ジェームス ニー,マイケル
ウェストン,マーティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snell Advanced Media Ltd
Original Assignee
Snell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snell Ltd filed Critical Snell Ltd
Publication of JP2008522273A publication Critical patent/JP2008522273A/ja
Application granted granted Critical
Publication of JP4795359B2 publication Critical patent/JP4795359B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2323Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Discrete Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Lubrication Of Internal Combustion Engines (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)

Abstract

【課題】 MSTを見付けるために必要な計算の複雑性が中程度であり、続くセグメンテーションの実行が容易であって、セグメントの数を厳密に指定することを可能とする画像セグメンテーション方法を提供すること。
【解決手段】 グラフ理論技法を使用した画像セグメンテーション方法であって、画像のピクセルがグラフの頂点で表される画像セグメンテーション方法。最小全域木が生成され、木の辺が形態学的特性に従って続けて除去されて全域森が残され、全域森の木が画像のセグメントに対応する。除去する辺の選択は、木のエネルギー関数およびその辺の除去により生成される木のエネルギー関数に依存することができる。
【選択図】 図7

Description

本発明は、画像処理または映像処理あるいはその両方に関し、特に、グラフ理論技法を使用しての画像データのセグメンテーションに関する。
セグメンテーションは、ノイズ軽減ならびに画像データおよび映像データの圧縮を含む多くの用途で有用であり、多種多様な画像セグメンテーション手法がこれまで提案されてきた。このような提案には、閾値処理、ウォーターシェッドアルゴリズム(watershed algorithm)、形態学的スケール−スペース変換(morphological scale-space transform)またはフィルタリング、領域分割・併合、クラスタ化、周波数領域技法、および動き推定を含む技法が含まれる。しかし、低から中程度の処理リソースを使用してマルチコンポーネント画像の良質な階層的セグメンテーションを生成する手法は、これら手法の中にもしあったとしても少数である。
本発明は、グラフ理論として知られている数学の分野からのいくつかの概念を用いる。グラフ理論において用いられる用語の簡単な説明は以下のとおりである。
グラフは、線(辺として知られている)で共に結び付けることができる点(頂点として知られている)からなる。そのグラフの一例を図1に示す。
頂点次数とは頂点に接合する辺の数である。図1では、頂点次数の範囲は0〜3である。頂点は、次数1を有する場合に葉と呼ばれ、図1のグラフには3つの葉がある。
辺および頂点は両方とも、関連する数または重みを有することができる。これら重みはある物理的意味を有することができ、たとえば、頂点が町を表し、辺が道を表すグラフでは、辺の重みは道の長さを表し得る。
グラフGの部分グラフとは、頂点がGの頂点の部分集合であり、かつ辺がGの辺の部分集合であるグラフである。部分グラフは、Gのすべての頂点を有する場合にGの全域部分グラフである。G中の経路は、各辺が前の辺と頂点を共有する別個の辺の集合である。より厳密な定義については、非特許文献1を参照のこと。
木とは、任意の所与の頂点から他の任意の頂点までに厳密に1つの経路しかないグラフである。森とは、木の不連結集合である。グラフGの全域木または全域森とは、Gの全域部分グラフである木または森である。辺重み付きグラフにおいて、最短または経済的全域木としても知られている最小全域木(MST)とは、木の中の辺の重みの和を最小化する全域木である。
辺重み付きグラフの最小全域木を見つける既知のアルゴリズムが存在している。1つはクルスカル(Kruskal)のアルゴリズムであり、これは部分最小全域木の集合を保持し、頂点が別の全域木にある重み最小(または最も軽い)の辺を繰り返し足していく。もう1つはプリム(Prim)のアルゴリズムであり、これは、1つの頂点から始まり、木をまだその木に入っていない頂点に接合する最軽量の辺を繰り返し足していき、次いでその頂点を木に入れることによって木を構築していく。以下にさらに詳細に説明する図4および図5において、図5は図4の最小全域木を示す。
グラフ理論の画像への適用についてこれより検討する。グラフの頂点を用いてピクセルを表し、辺を用いてピクセルの隣接を表すことができる。本明細書では、一方のピクセルが他方のピクセルのすぐ上、すぐ下、すぐ左、またはすぐ右にある場合、2つのピクセルが隣接し、したがってそれら2つのピクセルに接合する辺がある。これは隣接の4連結定義であり、6連結定義または8連結定義を用いることも可能である。4連結定義を用いる場合、画像は図2に示すグラフで表すことができる。画像境界上のピクセルを表していない各頂点の次数は4である。なお、グラフ理論において用いられる「辺」なる言葉は、画像のエッジの概念または画像の境界とはまったく関係がない。
このようなグラフでの辺の重みを用いて、隣接するピクセル間の相違の、ある測定値を表すことができる。たとえば、輝度画像では、辺の重みを、2つの輝度値の絶対差として定義することができる。
図3は、示すピクセル値を有する例示的な5×4輝度画像を示し、図4は、隣接するピクセル値の絶対差に等しい辺の重みが関連付けられた、この画像を表すグラフを示す。
MSTは、画像セグメンテーションアルゴリズムのベースとして使用することができる。辺が木から除去されると2つの木が形成され、各木が画像の文脈の中で、頂点、すなわち画像のセグメントの連結された部分集合を記述することが分かる。したがって、画像をN個のセグメントに分けるには、N−1の辺がMSTから除去される。除去するものとして選択される辺が単に、MST中のN−1の最大重み(または最大重量)の辺であることがこれまでに提案されている。たとえば、図5で表される画像を2つのセグメントに分けるには、重み4を有する辺が除去されて、図6に示すセグメンテーションが生成される。
3つのセグメントが必要であれば、2番目に最も重い辺(重み3を有する)も除去されて、図7に示すセグメンテーションが生成される。
Bollobas, Bela. Graph theory - an introductory course. Springer-Verlag, New York, 1979
しかし、この方法にはいくつかの欠点があることが分かっている。
本発明の目的は、改良された画像セグメンテーション方法を提供することである。
本発明の第1の態様によれば、画像のピクセルがグラフの頂点で表され、ピクセルの隣接がグラフの辺で表され、辺に、隣接するピクセルの非類似性の測定値を表す重みが割り当てられ、グラフの最小全域木(またはその近似)が生成され、辺が最小全域木から続けて除去されて全域森が生成され、全域森の木が画像のセグメントに対応する画像セグメンテーション方法であって、全域木から除去される辺の選択が、森の頂点または辺の形態学的特性に依存する、画像セグメンテーション方法が提供される。
本発明者らが明らかにした特に不利な点は、多くの場合に、上述した従来技術による基準を用いて辺を選択することにより、セグメントのサイズに巨大な不均衡があることである。MSTを見つける従来技術によるプロセスでは、元のグラフから最も重い辺の多くが除去されるが、残っている辺の中で最も重い辺が多くの場合にその木の葉の近傍に見られることが分かっている。これは、重い辺を除去すると、多くの場合に1つのピクセルしか有さない新しいセグメントが生成されることを意味する。
本発明は、各段階でMSTからどの辺を除去すべきかを選択する新規の方法を用いることにより従来技術の制約を解消する。本発明の裏にある概念は、辺の除去により妥当なサイズのセグメントが生成される可能性の測定値を使用することにある。
好ましくは、辺の選択基準は、辺からその辺が存在する木の葉までの距離測定値に依存する。別法として、基準は、辺の除去により発生する2つの木に依存することができる。一実施形態では、基準はサイズ測定値に依存することができ、たとえばサイズ測定値に頂点の数を使用することができる。別の実施形態では、基準は、辺を含む木の中のピクセルの関数と、辺の除去により発生する2つの木の中のピクセルの関数の値の和との差に依存することができる。
この新規のアルゴリズムには非常に魅力的ないくつかの特徴がある。MSTを見付けるために必要な計算の複雑性が中程度であり、続くセグメンテーションの実行が非常に容易である。閾値ベースのいくつかのアルゴリズムと異なり、セグメントの数を厳密に指定することが可能である。特に、このアルゴリズムは、好ましくは、所与の数のセグメントへのセグメンテーションが常に、より多くのセグメントへのセグメンテーションの内に含まれるという点で階層的である。この方法は、マルチコンポーネント画像データ(たとえば、R、G、Bの値で記述される画像)に対しても機能する。2つ以上の成分で記述される画像、たとえばRGB画像では、辺の重みは、成分間の絶対差または二乗差の和、最大絶対差、または他の任意の適した測定値であってよい。
本発明は、本明細書において実質的に説明する方法を実施するように適合される装置であって、一実施形態では、デジタル回路を含むことができる装置も提供する。本発明は、データ圧縮方法、データ圧縮装置、および他の画像または映像処理アプリケーションで具現することができる。
本発明について、添付図面を参照して単なる例としてこれより説明する。
本明細書では「セクルージョン(seclusion)」と呼ぶ新規の特性を、セグメンテーションの各段階で画像中のあらゆるピクセルに対して計算することができる。木の葉が「露出」していることを考えると、本明細書では、ある意味で葉から「遠い」頂点が「セクルード(seclude:分離)」されるものと考える。そして、セクルージョンとは頂点がセクルードされる程度である。
セクルージョンは、以下のアルゴリズムによって木または森に対して計算することができる。
・現セクルージョン値Sを0に設定する。
・森に辺が残っている場合、
・Sを増分させ、
・すべての葉の頂点のセクルージョンをSに設定し、
・すべての葉の頂点およびそれに接合する辺を除去し、
・1つの頂点が残っている場合、セクルージョンをS+1に設定する。
図8は、図5のグラフのあらゆるピクセルに対してセクルージョンがどのように計算されるかを示す。各段階において、除去された葉を白色で示す。
木または森の中のすべての頂点に対してセクルージョンを計算する方法について説明した。辺のセクルージョンは、2つの頂点のセクルージョン、たとえば2つのセクルージョン値のうちの最小値として定義することができる。図5の辺のセクルージョンマップを図9に示す。
別法として、辺のセクルージョン値を、上記セクルージョンアルゴリズムを変更したものを使用して直接計算することもできる。
除去する辺を選択するには、元の辺の重みと辺のセクルージョン値が、たとえば乗算によって結合される。図10は、元の辺の重みとセクルージョンマップとの積を示す。
画像を2つのセグメントにセグメント化するには、結合値18を有する辺が選択されて、図11に示すセグメンテーションが生成される。セグメンテーションプロセスを続けるために、セクルージョンマップが図11に示す森に対して再び計算される。その結果として得られる頂点セクルージョンマップを図12に示し、辺セクルージョンマップを図13に示す。図14は、新しいセクルージョン値と辺の重みとの積を示す。
整数処理が用いられている場合に多く発生するように、ここで次の最高辺値の選択について曖昧さが生じる。同点の辺を、セクルージョンの高いほうを優先して重み付ける場合、値8を有する2つの辺のうちの左側にある辺が選択され、図15に示すセグメンテーションが得られる。
上記例は、MSTセグメンテーションがプロセスの初期段階で非常に小さなセグメントを生成しないようにすることの保証を助けるためにセクルージョンマップをどのように用いることができるかを示している。もちろん、セクルージョンに付された重要度と重い辺で森を切断することの重要度との間にはトレードオフがある。このトレードオフは、セクルージョンと辺の重み付けを組み合わせる関数の選択に反映させることができる。
セクルージョンは、辺または頂点からの木の葉までの距離を推定するという点で「一次元」測定値として考えることができる。セクルージョンプロセスへの単純な変更を用いて、頂点の数、すなわち辺の除去によって発生する2つの木の「面積」を測定することができる。この変更では、測定される数量は、除去中の葉に関連する数量を、その葉が接続していた頂点に加算することによって累積される。
上述したセクルージョン測定または変更された測定のいずれでも、重みの付いたセクルージョン値が直接計算されるように、再帰的プロセスに、辺の重み自体を累積することをさらに含むことができる。この場合、除去する辺の選択のためにセクルージョン値を辺の重みで乗算する必要はなく、単に重み付き測定値を最大限に利用するだけである。
実際の画像をセグメント化する際のセクルージョン処理の利点についてこれより説明する。図16は、360×288ピクセルにダウンコンバートされた、EBU標準テストスライドセットからの「幾何学的デザインの池(formal pond)」画像の輝度成分を示す。図17および図18は、上述した従来技術によるMST手法を用いてこの画像を64セグメントおよび4000セグメントのそれぞれにセグメント化しようとした結果得られるセグメント境界を示し、図19は、MST手法と共に上述したセクルージョン処理を用いて64セグメントにセグメンテーションした結果を示す。
セクルージョンマップは厳密に計算する必要はない。たとえば、セクルージョンマップの良好な近似を、処理がラスタ走査パターンを辿るにつれて森から「配置済み」の葉を除去することにより得ることができる。この短縮プロセスを図20に示す。
この短縮は非対称であり、必然的に不完全であるが、特定の実施形態では、アルゴリズムの全体の性能に及ぼす影響はわずかである。たとえば、図21は、図19において用いられる「正しい」セクルージョン処理と比較するための、「幾何学的デザインの池」の64領域へのセグメンテーションに対する短縮の影響を示す。
同様の短縮を、上述したセクルージョン測定値を変更したものに対して用いることができる。
MSTへの近似を見つけることにより、処理時間を短縮することも可能であり得る。たとえば、プリムのアルゴリズムの動作中、接合する辺の最小の重みを探して木全体を探索する必要があらゆる段階であるわけではないように、辺の重みがある基準に従って、たとえば予め計算された辺の重みの分布に基づいて「十分に小さい」と考えられる場合にその辺を加算することができる。
本発明に対するさらなる改良についてこれより述べる。セグメンテーションプロセスの所与の段階において、セクルージョン値と辺の重みとを組み合わせたものを用いて、森からどの辺を除去すべきかを判断してきた。この判断は2つの部分、すなわち森の中のどの木から辺を除去すべきかの判断およびその木からどの辺を除去すべきかの判断を有するものと考えることができる。本発明の好ましい実施形態では、木の他の容易に測定可能な特性を、第1部の判断を行うために使用することができ、次いで、本発明自体の方法を用いて第2部の判断を行うことができる。たとえば、合計または平均で最高の辺の重みを有する木を選択してもよく、または頂点の最も多い木、他のある測定値、または測定値の組み合わせを採用してもよい。このような実施形態には2つの利点がある。第1の利点は、どの木を分けるかを判断する際に追加情報を考慮に入れることができることである。第2の利点は、選択値を計算する必要があるのが選択された木に対してのみであることである。
通常、途中までの上記セクルージョン計算プロセスを通して、2枚の葉のみを有する単純な木が得られることが観察されている。上述したプロセスの残りの部分は、単に、2枚の葉を続けて除去して現セクルーション値を増分させることである。一実施形態では、これに代えて、プロセスは、2枚の葉を有する単純な木が得られ、現セクルージョン値がその木の残りに割り当てられたときに終了する。この変更はセクルージョンの計算を加速化することができ、または少なくとも、2枚の葉を有する木の処理のために第2のメソッドに戻る必要性をなくす。この代替の手法は、木の中央領域において辺の重みと比較してセクルージョンが過度に強調されるように見えることを抑制するため、状況によっては主観的な性能の向上をもたらすことができる。
さらなる実施形態では、第2または代替の数量または測定値を、木の辺の除去中に計算してもよい。この第2または代替の数量または測定値は、辺の除去により木のある関数が低減する量である。
木Tの関数をf(T)と定義し、辺eの除去により木Tが2つの木UおよびVに分かれる場合、辺の除去により関数が低減する量は以下の数式(1)
Figure 2008522273
により与えられる。
適した関数は木の「エネルギー」を表す。このようなエネルギー関数の例を以下の数式(2)に示す。
Figure 2008522273
である。式中、
iはピクセルlの輝度値であり、
Tは考慮中の木であり、
[外1]
Figure 2008522273
は木の平均輝度値である。
上記定義を用いると、上記数式(2)によるエネルギーの低減(「辺eのエネルギー」として考えることができる)は、以下の数式(3)
Figure 2008522273
と書くことができる。式中、Nは示される木の頂点の数を指す。
セクルージョンが計算される方法は、この数量を木全体にわたって計算するように容易に適合することができる。これは、葉から内側に作業しながら、出会った頂点の数を計数し、出会ったピクセル値の和を求めることによって行うことができる。この方法を図22〜図25を参照してより詳細に説明することができる。図22〜図25は前の説明で使用したものと同じ入力データに基づいている。
これら図では、ピクセル値(この場合、輝度値)が各ピクセルまたはグラフの頂点に対応する円内に示される。最小全域木の辺が、頂点を結ぶ線として示される。
例示的な実施形態では、ピクセルは、行の左から右に、かつグラフの上から下に走査するラスタ順に検討される。したがって、ラスタ順で走査して、木の葉(1辺しか付いていない頂点)が特定されて処理される。各段階において、出会った頂点の数nおよびこれら頂点の輝度値の累積和sが記録される。木の葉では、n=1であり、sは葉のピクセル値である。処理済みの頂点は、図22では四角い枠で囲まれて示される。
頂点が処理されると、対応する辺が木から除去される。したがって、ラスタ走査パス中に新たに作成された葉に、同じラスタ走査パス中に後で出会うことができ、これもまたグラフの左上の場合と同様に処理することができる。このため、この第1のラスタ走査パス段階により、図22に示すように、累積された頂点計数およびグラフの20個の頂点のうちの8個の和の計算が得られる。
図23では、第1の段階中に除去された辺を点線で示す。新しい葉が現れ、ここでも、ラスタ走査パターンによりいくつかの頂点を1パスで処理することができる。
図24では、木の2枚の葉だけが残っており、これら葉が両方とも除去される。単一の孤立ピクセル(値8を有する)が残り、すべての辺がグラフから除去されているため、この孤立ピクセルを処理する必要はない。なお、このサイズのグラフからすべての辺を除去するのに3回のパスで十分であるという保証はない。
最終段階では、すべての辺に戻り、上で導出された数式(3)を適用し、処理がその辺の除去に妥当であったピクセルの累積値に基づいて各辺のエネルギー値を得る。例示的な画像での20個すべてのピクセルのピクセル値の累積合計は93であり、木の平均輝度値
[外2]
Figure 2008522273
は4.65である。したがって、たとえば、図24の最下行の左から3番目の辺の辺エネルギーは以下の数式(4)〜(6)に示すように計算され、
Figure 2008522273
上記式により辺エネルギーは54.5である。
すべての辺の各エネルギー値を図25に示す。
この方法を用いて除去する辺を選択する場合、このエネルギーが最大の辺が選択される。この例では、これはエネルギー57.4を有する辺であり、この辺が除去されることになる。
本発明によるセグメンテーションアルゴリズムについて二次元画像を参照して説明した。同じ手法を、連続画像中のピクセル間の連結性を適宜定義して画像シーケンスに使用することもできる。
線と、当該線で結び付けることができる点からなるグラフを示した図である。 5×4画像のグラフを示した図である。 小輝度画像を示した図である。 図3の辺重み付きグラフを示した図である。 図4の最小全域木を示した図である。 図5の2つのセグメントへのMSTセグメンテーションを示した図である。 図5の3つのセグメントへのMSTセグメンテーションを示した図である。 セクルージョンを計算する際の連続した段階を示した図である。 図5のセクルージョンマップを示した図である。 セクルージョンと辺の重みとの積を示した図である。 セクルージョン処理を使用した図5の2つのセグメントへのセグメンテーションを示した図である。 頂点セクルージョンマップを示した図である。 辺セクルージョンマップを示した図である。 変更されたセクルージョン値と辺の重みとの積を示した図である。 セクルージョン処理を使用した図5の3つのセグメントへのセグメンテーションを示した図である。 例示的なテスト画像を示した図である。 説明した従来技術によるアルゴリズムを使用して図16の64のセグメントへのセグメンテーションを試みた結果を示した図である。 説明した従来技術によるアルゴリズムを使用しての図16の4000のセグメントへのセグメンテーションの結果を示した図である。 本発明の実施形態を使用しての図16の64のセグメントへのセグメンテーションの結果を示した図である。 簡易化された選択計算を示した図である。 本発明の代替の実施形態を使用しての図16の64のセグメントへのセグメンテーションの結果を示した図である。 エネルギー計算に基づく例示的な方法の第1の段階を示した図である。 エネルギー計算に基づく方法の第2の段階を示した図である。 エネルギー計算に基づく方法の第3の段階を示した図である。 エネルギー計算に基づく方法の第4の段階を示した図である。

Claims (22)

  1. 画像のピクセルがグラフの頂点で表され、ピクセルの隣接が前記グラフの辺で表され、前記辺に、隣接するピクセル間の非類似性測定値を表す重みが割り当てられ、前記グラフの最小全域木(またはその近似)が生成され、辺が前記最小全域木から続けて除去されて全域森が生成され、該全域森の木が前記画像のセグメントに対応する、画像セグメンテーション方法であって、
    前記全域森から除去する辺の選択が、前記森の全体の頂点または辺にわたって計算される形態学的特性に依存する、画像セグメンテーション方法。
  2. 辺を選択するための判断基準は、前記辺から該辺が存在する木の葉までの距離の測定値に依存する、請求項1に記載の画像セグメンテーション方法。
  3. 辺を選択するための判断基準は、前記辺の除去によって生成される2つの木の測定値に依存する、請求項1に記載の画像セグメンテーション方法。
  4. 前記辺のための判断基準は、前記辺を含む前記木の中のピクセルの関数と前記辺の除去により生成される2つの木の中のピクセルの関数の値の和との差である、請求項3に記載の画像セグメンテーション方法。
  5. 前記関数はエネルギー関数である、請求項4に記載の画像セグメンテーション方法。
  6. 木の中のピクセルの前記エネルギー値は、前記木の中のピクセルの前記ピクセル値と前記木の平均ピクセル値との二乗差に関連する、請求項5に記載の画像セグメンテーション方法。
  7. 前記辺を選択するための判断基準は、前記辺の除去により生成される2つの木のサイズの測定値に依存する、請求項3に記載の画像セグメンテーション方法。
  8. サイズは木を形成する頂点の数として測定される、請求項7に記載の画像セグメンテーション方法。
  9. 木の各辺の前記測定値は再帰アルゴリズムにより計算される、請求項1乃至8のいずれか1項に記載の画像セグメンテーション方法。
  10. 前記測定値は、前記木の葉に接合する第1の辺のセットに対して初期値に設定され、前記第1の辺のセットに接合する次の辺のセットに対して増分または累積され、すべての辺が検討されるまでこのプロセスが繰り返される、請求項9に記載の画像セグメンテーション方法。
  11. 前記測定値は前記木の葉に接合する辺の初期値に設定され、これら辺は一時的に除去され、前記測定値が増分または累積され、残っている辺がなくなるまでこのプロセスが繰り返される、請求項9または10に記載の画像セグメンテーション方法。
  12. 辺の重みが前記累積プロセスに含まれる、任意の請求項11に記載の画像セグメンテーション方法。
  13. 前記測定値の累積は、前記木に残っている葉が2枚になったときに中止され、前記測定値は前記木の残りの葉に対して一定の値に設定される、請求項11または12に記載の画像セグメンテーション方法。
  14. 前記測定値は、請求項9乃至13のいずれか1項に記載のアルゴリズムと略同様の結果を生成するアルゴリズムを使用して計算される、請求項2に記載の画像セグメンテーション方法。
  15. 前記辺を選択するための判断基準は前記グラフの前記ピクセル値に依存する、請求項1乃至14のいずれか1項に記載の画像セグメンテーション方法。
  16. 前記頂点または辺を除去するプロセスは、前記グラフの全体の前記頂点または辺にわたって所定の走査順で実行される、請求項1乃至15のいずれか1項に記載の画像セグメンテーション方法。
  17. 前記走査順はラスタパターンである、請求項16に記載の画像セグメンテーション方法。
  18. 前記辺を選択するための判断基準は前記グラフの前記辺の重みに依存する、請求項1乃至17のいずれか1項に記載の画像セグメンテーション方法。
  19. 選択される辺は、前記辺の重みと請求項2乃至15のいずれか1項により導出される前記測定値との積が最大の辺である、請求項18に記載の画像セグメンテーション方法。
  20. 前記辺の選択前に、辺を除去すべき木の選択が行われる、請求項1乃至19のいずれか1項に記載の画像セグメンテーション方法。
  21. 前記木を選択するための判断基準は、以下の特性、すなわち前記木の前記頂点の計数、前記木の辺の平均重み、前記木の辺の合計重み、前記ピクセル値の関数、および前記木の辺の重みの関数のうちの任意またはすべての特性の組み合わせに依存する、請求項20に記載の画像セグメンテーション方法。
  22. 画像のピクセルがグラフの頂点で表され、ピクセルの隣接が前記グラフの辺で表され、前記辺に、隣接するピクセル間の非類似性の測定値を表す重みが割り当てられ、前記グラフの最小全域木(またはその近似)が生成され、辺が前記最小全域木から続けて除去されて全域森が生成され、該森の木が前記画像のセグメントに対応する画像セグメンテーション方法であって、
    前記全域森から除去する辺の選択が、辺の除去により生成される2つの木の測定値に依存する、画像セグメンテーション方法。
JP2007542115A 2004-11-26 2005-11-25 画像セグメンテーション Expired - Fee Related JP4795359B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0426038A GB2420669A (en) 2004-11-26 2004-11-26 Image segmentation
GB0426038.6 2004-11-26
PCT/GB2005/004520 WO2006056786A1 (en) 2004-11-26 2005-11-25 Image segmentation

Publications (2)

Publication Number Publication Date
JP2008522273A true JP2008522273A (ja) 2008-06-26
JP4795359B2 JP4795359B2 (ja) 2011-10-19

Family

ID=33561422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007542115A Expired - Fee Related JP4795359B2 (ja) 2004-11-26 2005-11-25 画像セグメンテーション

Country Status (8)

Country Link
US (1) US7978913B2 (ja)
EP (1) EP1815421B1 (ja)
JP (1) JP4795359B2 (ja)
CN (1) CN101065774A (ja)
AT (1) ATE397772T1 (ja)
DE (1) DE602005007375D1 (ja)
GB (1) GB2420669A (ja)
WO (1) WO2006056786A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012093754A (ja) * 2010-10-28 2012-05-17 Axis Ab 焦点合わせの方法
KR101760287B1 (ko) * 2016-02-05 2017-07-25 한국광기술원 의료영상 분할 장치 및 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7995137B2 (en) * 2006-05-01 2011-08-09 Himax Technologies, Limited Exposure compensation method for digital image
DE102007054392A1 (de) * 2007-11-14 2009-05-20 Robert Bosch Gmbh Selbstadaptivität von Rasterelektronenmikroskopen
US8526723B2 (en) * 2009-06-23 2013-09-03 Los Alamos National Security, Llc System and method for the detection of anomalies in an image
US8949092B2 (en) 2009-10-15 2015-02-03 Thomson Licensing Method and apparatus for encoding a mesh model, encoded mesh model, and method and apparatus for decoding a mesh model
JP5772446B2 (ja) * 2010-09-29 2015-09-02 株式会社ニコン 画像処理装置及び画像処理プログラム
CN102096816B (zh) * 2011-01-28 2012-12-26 武汉大学 基于最小生成树的多尺度多层次影像分割方法
CN102103744A (zh) * 2011-01-28 2011-06-22 武汉大学 基于最小生成树与统计学习理论的图像分割方法
CN102254067B (zh) * 2011-07-05 2012-10-31 重庆大学 基于下料特征的大规模零件分组优化方法
US20150071541A1 (en) * 2013-08-14 2015-03-12 Rice University Automated method for measuring, classifying, and matching the dynamics and information passing of single objects within one or more images
CN105809703B (zh) * 2016-03-30 2018-10-30 福州大学 基于改进的分数阶微分及图论的粘连血细胞图像分割方法
CN108182436B (zh) * 2017-12-29 2021-12-07 辽宁工程技术大学 一种高分辨率遥感图像分割方法
CN109190088A (zh) * 2018-08-07 2019-01-11 北华大学 一种森林群落演替树种顶级适应值的统计方法
WO2020045132A1 (ja) * 2018-08-30 2020-03-05 富士フイルム株式会社 外用ゲル組成物およびその使用方法
US11132513B2 (en) * 2019-05-07 2021-09-28 International Business Machines Corporation Attention-based natural language processing
US11176333B2 (en) 2019-05-07 2021-11-16 International Business Machines Corporation Generation of sentence representation
CN111583266B (zh) * 2020-05-08 2021-09-24 清华大学 基于费雪向量的自适应合成孔径雷达图像超像素分割方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8827556D0 (en) * 1988-11-25 1988-12-29 Crosfield Electronics Ltd Data compression
KR100381958B1 (ko) 2000-10-30 2003-04-26 삼성전자주식회사 강유전체 램 장치
ATE421735T1 (de) 2002-11-22 2009-02-15 Oce Tech Bv Segmentierung eines bildes mittels kürzester zyklen
US7127104B2 (en) * 2004-07-07 2006-10-24 The Regents Of The University Of California Vectorized image segmentation via trixel agglomeration
US7542604B2 (en) * 2004-08-26 2009-06-02 Siemens Medical Solutions Usa, Inc. System and method for image segmentation by solving an inhomogenous dirichlet problem
US7630548B2 (en) * 2004-09-22 2009-12-08 Siemens Medical Solutions Usa, Inc. Image segmentation using isoperimetric trees
US7724256B2 (en) * 2005-03-21 2010-05-25 Siemens Medical Solutions Usa, Inc. Fast graph cuts: a weak shape assumption provides a fast exact method for graph cuts segmentation
US7995810B2 (en) * 2005-06-24 2011-08-09 The University Of Iowa Research Foundation System and methods for image segmentation in n-dimensional space

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012093754A (ja) * 2010-10-28 2012-05-17 Axis Ab 焦点合わせの方法
US8472798B2 (en) 2010-10-28 2013-06-25 Axis Ab Method for focusing
KR101760287B1 (ko) * 2016-02-05 2017-07-25 한국광기술원 의료영상 분할 장치 및 방법

Also Published As

Publication number Publication date
GB2420669A (en) 2006-05-31
WO2006056786A1 (en) 2006-06-01
CN101065774A (zh) 2007-10-31
DE602005007375D1 (de) 2008-07-17
EP1815421B1 (en) 2008-06-04
GB0426038D0 (en) 2004-12-29
US7978913B2 (en) 2011-07-12
EP1815421A1 (en) 2007-08-08
JP4795359B2 (ja) 2011-10-19
US20080037870A1 (en) 2008-02-14
ATE397772T1 (de) 2008-06-15

Similar Documents

Publication Publication Date Title
JP4795359B2 (ja) 画像セグメンテーション
US10339643B2 (en) Algorithm and device for image processing
US6504569B1 (en) 2-D extended image generation from 3-D data extracted from a video sequence
Arefi et al. A morphological reconstruction algorithm for separating off-terrain points from terrain points in laser scanning data
Tsai et al. Block-based vanishing line and vanishing point detection for 3D scene reconstruction
Jourabloo et al. New algorithms for recovering highly corrupted images with impulse noise
Meher et al. An improved recursive and adaptive median filter for high density impulse noise
JP5939056B2 (ja) 画像におけるテキスト領域を位置決めする方法及び装置
CN102572223B (zh) 一种用于视频降噪的相似块搜索方法
CN104766275B (zh) 稀疏视差图稠密化方法和装置
JP2016505185A (ja) エッジ選択機能を有するイメージプロセッサ
CN109345525A (zh) 一种去鬼影高动态范围图像质量评价方法
JP5888068B2 (ja) 画像処理装置およびプログラム
Meyer Stochastic watershed hierarchies
JP2005165969A (ja) 画像処理装置、及び方法
CN112819700A (zh) 一种点云数据的去噪方法、装置及可读存储介质
JP7427398B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
Desai Modified fast and enhanced exemplar based inpainting algorithm for solving unknown row filling problem
CN103578096A (zh) 一种图像分割算法
JP2005004470A (ja) 画像減色装置、画像減色方法および画像減色プログラム
JPH10124665A (ja) 画像処理方法および画像処理装置
Gimenez et al. Colour morphological scale-spaces for image segmentation
Marcotegui et al. Ultimate opening and gradual transitions
JP5601868B2 (ja) 画像変化選別装置
JP6703732B2 (ja) 超解像装置、超解像方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110223

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110520

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110727

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S631 Written request for registration of reclamation of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313631

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees