JP2003502744A - デジタル画像セグメント化のための方法および装置 - Google Patents

Abstract

(57)【要約】 画像セグメント化器は正確に画像をセグメント化する１以上の技術を使用する。すなわち、不完全に区分されたセグメントを塗りつぶすための革新的な十分な塗りつぶしの使用と、複数の縮尺変換の使用と、別の縮尺からのセグメント化の結果を用いて、１つの縮尺におけるセグメント化を導くことと、複数の色平面の合成物である合成画像を使用してエッジを検出することと、エッジ画素の複数のクラス使用してエッジチェーンを生成することと、複数の縮尺された変換を使用してエッジチェーンを生成することと、および／または別の縮尺で検出されたエッジに基づく１つの縮尺における擬似エッジをフィルタリングすることとを含む。

Description

【発明の詳細な説明】

【０００１】 （関連出願の相互参照） 本出願は、１９９９年６月１１日に出願された米国仮特許出願第６０／１３９
、１３４号からの優先権を主張する。本明細書中、同出願の開示内容の全体を参
考のため全ての目的のために援用する。

【０００２】 （発明の分野） 本発明は概して画像処理に関し、より詳細には、画像の画素色値に基づいて画
像をセグメントに自動的にセグメント化することが必要な場合における画像のセ
グメント化の問題に関する。

【０００３】 （発明の背景） 画像のセグメント化は、１つの画像を一連の非オーバーラップ部分またはセグ
メントに区分化するプロセスであり、これらの一連の非オーバーラップ部分また
はセグメントが一体となって、画像全体を構成する。画像のセグメント化は、多
くの用途に有用であり、用途の一例として機械学習がある。

【０００４】 機械学習にでは、画像は一連のセグメントにセグメント化され、その画像から
の指定セグメントまたは別の画像が、その一連のセグメントと比較される。機械
が指定セグメントとセグメント化された画像からの１つ以上のセグメントとの整
合に成功すると、その機械は、適切な結論を導き出す。例えば、画像のセグメン
ト化を用いて奇形の血球を識別して、鎌状赤血球貧血等の血液の疾患を判定する
ことができる。この例において、指定されたセグメントは、病気にかかった血液
細胞である。１つの所与の画像中のセグメントの整合数を数えることにより、患
者の血液の相対的健康度を判定することができる。他の用途として、画像領域の
圧縮および処理をその領域のセグメントに依存して行う用途がある。

【０００５】 本明細書中において用いる用語として、画像という用語は、多次元信号から導
出されたデータである。多次元信号は、自然にまたは人工的に発生または生成さ
れ得る。この多次元信号（多次元信号の次元数は、１、２、３またはそれ以上で
あり得る）は画素色値のアレイとして表現され得、これにより、アレイ中に配置
され、各画素の色値に従って着色された画素が、画像を表現する。各画素は１つ
のロケーションを有し、また、各画素を、当該ロケーションにおける点としてま
たは当該画素周囲の領域を満たす形状としてみなすことができ、これにより、当
該画像中の任意の点を、画素領域の「中」にあると見なすかあるいは当該画素の
一部であると見なす。画像自身は、ディスプレイ上または印刷ページ上の多次元
画素アレイ、メモリ中に格納されたアレイ、あるいは、送信されて画像を表現す
るデータ信号であり得る。多次元画素アレイは、２次元画像用の２次元アレイ、
３次元画像用の３次元アレイ、または他のいくつかの数の次元であり得る。

【０００６】 画像は、物理的空間または平面の画像であるか、あるいは、シミュレートされ
、かつ／またはコンピュータにより生成される空間あるいは平面の画像であり得
る。コンピュータグラフィックの分野において、共通の画像は、コンピュータに
より生成される３次元空間（例えば、オブジェクトの幾何モデルオブジェクトお
よび３次元空間中の光源）の２次元のビューである。１つの画像は、１つの画像
または複数の画像のうちの１つであり得、適切な時間的順序で構成されると、動
画を形成する。本明細書中、これを映像シーケンスと呼ぶ。

【０００７】 １つの画像がセグメント化されると、その画像は、複数のセグメントによって
表現される。画像全体を含む１つのセグメントが劣化する場合も、本明細書中に
おいて用いられるセグメントの定義の範囲内であるが、典型的なセグメント化で
は、１つの画像を少なくとも２つのセグメントに分割する。多くの画像において
、セグメント化では、画像を背景セグメントおよび１つ以上の前景セグメントに
分割する。

【０００８】 １つのセグメント化方法において、１つの画像のセグメント化を、各セグメン
トが、画素色値がセグメント内ではおおよそ均一であるが画像のエッジにおいて
劇的に変化するような１つの画像領域を表現するように行う。この工程の実施に
おいて、領域は接続される（すなわち、画素を、領域から出ることなく、領域中
の任意の１画素から領域中の他の任意の画素へと画素単位で移動させることが可
能となる）。

【０００９】 画素色値は、任意の数の画素色空間から選択され得る。共通に用いられる１つ
の色空間はＹＵＶ色空間として知られ、１つの画素色値を３つの成分（Ｙ、Ｕ、
Ｖ）記述し、Ｙ成分は、グレースケール強度または輝度を指し、Ｕ成分およびＶ
成分は、２つのクロミナンス成分を指す。ＹＵＶ色空間は一般的には、テレビ用
途において見受けられる。別の共通の色空間をＲＧＢ色空間と呼び、Ｒ成分、Ｇ
成分およびＢ成分はそれぞれ、赤色成分、緑色成分および青色成分を指す。ＲＧ
Ｂ色空間は一般的には、コンピュータグラフィック表現においてＣＹＭＢ（シア
ン、黄色、マゼンダ、黒色）と共に見受けられ、コンピュータプリンタで用いら
れることが多い。

【００１０】 画像セグメント化の一例を図１中に示す。図１において、画像１０は、背景１
５上のシャツ２０である。色（図１中のシャツ２０の陰影は、背景１５またはポ
ケット７０、８０の色と異なる色を示す）に基づいて、この画像をセグメントに
セグメント化することができる。従って、この実施例において、背景１５、シャ
ツ２０、ボタン３０、４０、５０、６０およびポケット７０、８０を、別個のセ
グメントにセグメント化する。この実施例において、各セグメントが極めて異な
る色を有し、かつ、画像１０中のオブジェクトが画素境界においてきちんと終端
している場合、セグメント化は簡単なプロセスである。しかし、一般的には、画
像セグメントを正確に生成することは困難な問題であり、この問題は、（例えば
、「コンピュータ視覚」研究の分野において）広く研究されている。セグメント
化が困難となる場合が多い１つの理由として、典型的な画像は様々なソースから
導出されたノイズを含む（例えば、画像を物理的デバイスにより取得し、画像が
良好に規定された境界を持たない領域も含む場合におけるデジタル化プロセスの
場合。但し、これに限定されない）ことがある。

【００１１】 画像セグメント化のタスクにアプローチする方法はいくつか有り、このような
方法をグループ化すると以下のようになる：１）ヒストグラムベースのセグメン
ト化；２）従来のエッジベースのセグメント化；３）領域ベースのセグメント化
；および４）ハイブリッドセグメント化。これらの方法において、他のアプロー
チのうちいくつかが組み合わされている。以下、これらのアプローチについてそ
れぞれ説明する。

【００１２】 （１．ヒストグラムベースのセグメント化） ヒストグラム技術に基づいたセグメント化は、各セグメント中の色分布の判定
に依存する。この技術では、セグメント化の際、画像の色面のうち１つの色面（
典型的には、強度色面（画像のグレースケール部位ともいう））のみを用いる。
この技術を行う際、プロセッサは、その面における画素色値のヒストグラムを作
成する。ヒストグラムは、一連の「間隔」を有するグラフであり、「間隔」はそ
れぞれ、１つの軸に沿って配列された値の範囲と、他の軸に沿って示される各範
囲内の値が発生する回数の全数とを示す。各セグメントにおける色分布がおおよ
そガウス分布またはベル形状の分布となり、画像全体の色分布がガウス分布の総
計となると仮定することにより、このヒストグラムを用いて、各セグメント中の
画素数を判定することができる。ヒストグラムベースの技術では、間隔のサイズ
を変更（すなわち、値範囲を増加または低減）して、高い点または低い点を探す
ことにより、個々のガウス曲線を回復させようとする。分布を確認した後、各画
素をその対応する強度範囲と共にセグメントに割り当てる。

【００１３】 このヒストグラムによる方法には欠点が数多くある。色分布がガウス分布であ
るという基本的仮定は単なる推定に過ぎず、全ての画像に対して正確にはなり得
ない。さらに、２つの別個の領域が同一の強度を持つ場合、それらの領域は同じ
セグメントであると見なされる。さらに、ヒストグラムによって回復されたガウ
ス分布は、終端部が切れていることによりいくつかの画素が無くなっているため
、不完全である。さらに、このセグメント化方法は、セグメント数が既知であり
、全セグメントがおおよそ同じサイズであることを必要要件とするため、半自動
的な方法に過ぎない。

【００１４】 （２．従来のエッジベースのセグメント化） 従来のエッジベースのセグメント化では、色の差またはグレースケール強度を
用いて、１画像中の様々な領域を描写するエッジ画素を判定する。このアプロー
チでは典型的には、エッジ画素が識別できれば、そのエッジ画素は画像中の別個
の領域を完全に収容し、これによりセグメントが示されることを仮定している。
しかし、従来のエッジ検出技術では、画像中のノイズまたは他のアーティファク
トのために、エッジ画素中に実際に存在する画素全てを識別することはできない
。いくつかのエッジ画素が見付からない場合、何らかの複数の別個の領域が誤っ
て１セグメントとして識別され得る。

【００１５】 （３．領域ベースのセグメント化） 領域ベースのセグメント化では、同種の領域を検出して、その領域をセグメン
トとして指定しようとする。１つのクラスの領域ベースのアプローチは画像中の
小さな均一の領域と共に開始し、色値が非常に似ている近隣領域をマージして、
より大きな領域を形成しようとする。逆に、別のクラスの領域ベースのアプロー
チは画像全体と共に開始し、その画像を複数の同質の領域に分割しようとする。
これらのアプローチでは両方とも、何らかの同質性要件が満たされていない領域
において画像中に裂け目が生じる。

【００１６】 第１のクラスの領域ベースのセグメント化アプローチは、オリジナルの画像を
分割する方法に応じてセグメントエッジの近似値を求める点において制約がある
。第２のクラスの領域ベースのアプローチの問題は、作成されたセグメントが、
実際に基礎となったセグメントに対して歪む傾向がある点である。

【００１７】 （４．ハイブリッドセグメント化） ハイブリッド技術の目的は、今までの複数のセグメント化プロセスからのプロ
セスを組み合わせて画像セグメント化を改良することである。殆どのハイブリッ
ド技術は、エッジセグメント化と領域ベースのセグメント化との組み合わせであ
り、これらのプロセスのうち１つを用いて画像をセグメント化して、次に他のプ
ロセスを続けて行う。ハイブリッド技術は、１つのプロセスを単独で行う場合よ
りも良好なセグメントを生成しようとするものであるが、ハイブリッド方法では
、ユーザに有意な量の指導を行い、またセグメント化対象画像の知識も事前に必
要であるため、完全に自動化されたセグメント化用途には不適切であることが分
かっている。

【００１８】 （発明の要旨） 本発明は、上記のセグメント化プロセスの問題の多くを解決する。本発明の１
つの実施形態による画像セグメント化器において、画像セグメント化器は、１つ
以上の技術を用いて画像を正確にセグメント化する。このような技術としては、
不完全に境界付けられたセグメントを塗りつぶす漸進的な塗りつぶし（ｆｌｏｏ
ｄ ｆｉｌｌ）の利用、１つのスケールでのセグメント化において複数のスケー
リング変換とセグメント化の先導とを用いて、別のスケールからの結果を得る工
程、複数の色面の合成物である合成画像を用いてエッジを検出する工程、複数の
クラスのエッジ画素を用いてエッジ鎖を生成する工程、複数のスケーリング変換
を用いてエッジ鎖を生成する工程、および／または別のスケールにおいて検出さ
れたエッジに基づいてスプリアスエッジを１つのスケールでフィルタリングする
工程を含む。

【００１９】 本明細書中に開示する本発明の本質および利点のさらなる理解は、本明細書の
残りの部分および添付の図面を参照することにより実現され得る。

【００２０】 （具体的な実施形態の説明） セグメント化は、デジタル画像を画像の「セグメント」と呼ばれる成分に細分
化するプロセスである。色値ベースのセグメント化プロセスにおいて、各セグメ
ントは、図１に示すようにまた発明の背景中に記述されているように、画像中の
色値の急激な変化または鋭敏な変化によって境界付けられた領域を示す。本明細
書中に詳細に説明する多くの実施例において、画像は２次元信号を示すが、当業
者であれば、本明細書の開示内容を読めば、本明細書中に説明する方法および装
置は他の次元数にも適合可能であることを理解するはずである。

【００２１】 図２は、本発明の１つの実施形態による、画像のセグメント解像度（ｄｅｆｉ
ｎｉｔｉｏｎ）を生成するセグメント化器１００を含むシステムのブロック図で
ある。セグメント化器１００は、画像データ１０２を自身の入力として受け取り
、セグメントリスト１０４を出力する。画像データ１０２のフォーマットおよび
セグメントリスト１０４は、画像の特性、画像の格納要件およびセグメント化プ
ロセスに関連しない他の処理に応じて異なり得るが、画像データ１０２の１つの
形態の格納物として画素色値のアレイがあり、これは、恐らくは、圧縮され、多
くの可能な業界における標準的な画像フォーマット（例えば、生データ、ビット
マップ、ＭＰＥＧ、ＪＰＥＧ、ＧＩＦ等）のうち１つのフォーマットで格納され
る。メモリにおいて、画像データ１０２は、値の２次元アレイとして格納され得
、各値は画素色値である。画素色値は、複数の成分を有し得る。例えば、１つの
画像は、１０２４×７６８の画素アレイであり得、各画素の色値は、０〜２５５
の３つの（赤、緑、青）成分値によって表現される。セグメントリスト１０４の
フォーマットは、ランレングス符号化によって順序付けられた中央画素のリスト
（これは、以下の図６を参照して規定される）として、または、各セグメントの
境界を含む画像画素として、格納され得る。

【００２２】 セグメント化器１００が、対象となる画像データを保持するフレームバッファ
１１０と、識別されたまたは識別対象のセグメント周囲のデータを保持するセグ
メントテーブル１１２と、フレームバッファ１１０上で動作してセグメント化器
１００において提供されるプログラム命令１１６に従ってセグメントデータを生
成するプロセッサ１１４とを含む様子を示す。以下、プログラム命令１１６のい
くつかの局面について説明するが、これらの局面は、セグメント化の方法および
プロセスの一部または全てに対応するプログラム命令を含み、本明細書中に説明
するセグメント化を支持し得る。

【００２３】 図３は、セグメントリスト１０４を用いることが可能なシステムを示す。図３
中に示すように、恐らくは従来の画像生成技術または画像捕獲技術を用いて画像
生成器２００は画像を生成し、当該画像を表現するデータを画像データ１０２と
して格納する。セグメント化器（例えば、図２中に示すセグメント化器１００）
を用いて、上述したようなセグメントリスト１０４を生成する。画像生成器２０
０は、セグメントリスト１０４をセグメントフィールド生成器２０１に提供する
。このセグメントフィールド生成器２０１は、各セグメント用のデータを生成す
る。このようなデータは、ラベルと、クリッカブルリンク（例えば、Ｕｎｉｆｏ
ｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒまたは「ＵＲＬ」）と、画像から必ず
しも抽出されないが画像のセグメントと関連付けられた他のデータとを含み得る
。

【００２４】 画像データ１０２、セグメントリスト１０４およびセグメントフィールドを、
ウェブページとして格納し、ウェブサーバ２０２にによって供給する。次いで、
当該画像および関連データを、ブラウザ２０６または他のウェブクライアント（
図示せず）を用いて、インターネット２０４を介してウェブサーバ２０２から取
り出すことが可能となる。

【００２５】 ここで図４を参照して、画像データの１つの構成と、データ信号として送信す
ることが可能な関連データとを図４中に示す。この実施例において、画像データ
２５０を（恐らくは業界において標準的なフォーマットの）信号として送信し、
その後、セグメントリスト２６０およびセグメントフィールド２７０の送信を行
う。

【００２６】 図５は、非常に単純化した画像と、その結果得られるセグメント化結果とを示
す。図示のように、画像５００は、３つのセグメント（２つの多角形の前景セグ
メントおよび背景セグメント）を含む。セグメント化器１００は、画像５００を
処理して、セグメントリスト５１０を生成する。図中に示すように、「Ｓｅｇ
＃１」とラベル付けされたセグメントは背景セグメントを示し、「Ｓｅｇ ＃２
」とラベル付けされたセグメントは、点Ａ、Ｂ、Ｃ、ＥおよびＤ間の（点Ａにお
いて多角形が終端している）多角形によって境界付けられた前景セグメントを示
し、「Ｓｅｇ ＃３」とラベル付けされたセグメントは、点Ｆ、Ｇ、Ｋ、Ｊ、Ｉ
およびＨ間の（点Ｆにおいて多角形が終端している）多角形によって境界付けら
れた前景セグメントを示す。もちろん、セグメント化される典型的な画像は通常
はこれほど良好には規定されないため、本明細書中に記載する方法の一部または
全てに、セグメント境界を正確に識別することが必要になり得る。

【００２７】 本明細書中用いられる「中央画素（ｍｉｄｐｉｘｅｌ）」という用語は、画像
画素に対して画像中に配置される論理点を指す。セグメントのエッジは中央画素
から中央画素へと走り、これによって、セグメントの各側部上にある画像画素を
分離する。中央画素は好適には、画像画素が存在する同じ点上には位置しないが
、画像画素間に収められる。中央画素を４つの相互隣接する画像画素（または非
矩形の画像画素アレイ上の相互隣接する画像画素によって規定される他の最小多
角形）によって規定される矩形の中心部に配置することは必要ではないが、一般
的に言えば、中央画素に中心部がある方が構成がし易くなるため、好適である。

【００２８】 上記のような構成を図６中に示す。図６中、画像６００は、画像画素（例えば
、画像画素６０２）と、画像画素間に発生する中央画素６０４とを含む。明らか
なように、中央画素６０４全てが上から下へと（または下から上へと）並ぶ順番
で走るようにエッジを規定した場合、そのエッジは、別個のエッジの左側の画像
画素をエッジの右側の画像画素から分離する。

【００２９】 中央画素がエッジの一部である場合または中央画素がエッジとして提案される
場合、その中央画素をエッジ画素と呼ぶ。従って、エッジはエッジ画素の鎖とな
り、１つのセグメントの画像画素を、これらの画像画素を取り囲むエッジ鎖によ
って境界付けることが可能となる。いくつかの場合において、１つのセグメント
は、１つのエッジ上に正確に存在する画像画素を含む。１つの画像画素が２つの
セグメント間のエッジ上に正確に収まる（これは、例えば、斜めのエッジおよび
中心にあるエッジ画素の場合に発生する）場合、１つ以上の様々な均衡破壊（ｔ
ｉｅ−ｂｒｅａｋｉｎｇ）ルーチンを用いて、当該画像画素を従属させるべきセ
グメントを判定することができる。本明細書中においてより詳細に説明するよう
に、エッジ画素は、画素色値が比較的大きく変化する画像中の近似点である。

【００３０】 以下本明細書中に記載するセグメント化プロセスは、複数の工程シーケンスを
含む。これらの工程全てを行う必要はなく、本明細書において行うこれらの工程
を記載した順序で行う必要も無い。先ず、以下のシーケンスについて説明する。

【００３１】 １）漸進的塗りつぶし−異なる刷毛塗りサイズを用いて、不完全に境界付けら
れ得た領域を漸進的に塗りつぶす。

【００３２】 ２）多スケールセグメント化−オリジナルの画像に複数の「スケール」変換を
行って、１つのスケール変換からのセグメントを用いて、別のスケールでのセグ
メント化を先導する。

【００３３】 ３）合成物エッジ検出−複数の色面の合成物である合成画像を用いて、エッジ
を検出する。

【００３４】 ４）多クラスエッジ鎖化−複数のクラスのエッジ画素を用いてエッジ鎖を生成
する。

【００３５】 ５）多スケールエッジ鎖化−複数のスケールからの情報を用いて、エッジ鎖を
生成する。

【００３６】 ６）エッジ鎖フィルタリング−様々な文脈エッジ特性（例えば、多スケーリン
グ、映像シーケンス化、動的スケール）を用いて、無関係のエッジ鎖をフィルタ
リングする。

【００３７】 以下、上記の工程について、必要に応じて図面を参照しながらより詳細に説明
し、その後、上記工程の有用な組み合わせについても説明する。

【００３８】 （１．漸進的塗りつぶし） 漸進的な塗りつぶしプロセスでは、（恐らくは不完全な）エッジ鎖から閉セグ
メント境界を生成する。このプロセスでは、１つの画像に少なくともいくつかの
エッジ鎖が有ると仮定し、１つのエッジ鎖は、順序付きリスト中において隣接す
るエッジ画素間の線セグメントと論理的に接続されたエッジ画素の順序付きリス
トである。１つの所与の画像のエッジ鎖を、複数の方法で生成することが可能で
ある（例えば、本明細書中に記載するエッジ鎖生成プロセス等）。図７は、エッ
ジ鎖６５０の一例を示す。エッジ鎖６５０は、６個のエッジ画素６５２と、これ
らのエッジ画素を接続する線セグメントとによって規定される。

【００３９】 一般的には、これから説明する漸進的な塗りつぶしプロセスでは、大きいもの
から小さいものへと行う刷毛塗りシーケンスを用いて、見込みセグメントを「塗
りつぶす」。刷毛塗り部は、論理ウィンドウまたは画素単位で表現される所与の
形状である。例えば、１つの起こり得る刷毛塗り部として、６×６の画素からな
る四角形のウィンドウがあり、別の起こり得る刷毛塗り部として、各側部に７個
の画素がある六角形ウィンドウがある。見込みセグメントを塗りつぶす工程は、
刷毛塗り部で画像画素を被覆し、画像画素にセグメント値（すなわち、セグメン
トに対する基準として用いることが可能な値または数値）を割り当て、刷毛塗り
部を画像周囲で移動させるプロセスである。この刷毛塗り部を画像周囲で移動さ
せる工程は、刷毛塗り部がエッジ鎖の任意の部位を被覆せず、かつ、刷毛塗り部
が、別様に割り当てられた画像画素（すなわち、既に被覆され、かつ、画像画素
を被覆するために現在セグメント値が割り当てられようとしている画像画素と異
なるセグメント値が割り当てられた画像画素）を被覆しないように、行う。１つ
のエッジ鎖または別様に割り当てられた画像画素での被覆を行うことなく刷毛塗
り部シーケンスが到達することが可能な一連の画像画素は、見込みセグメントと
関連付けられた一連の画像画素である。

【００４０】 例えば、図８について考察する。図８は、画像７００および刷毛塗り部７０２
を示し、この画像は、印が付いているようなエッジ鎖７０１を有する。刷毛塗り
部７０２のサイズが分かっており、刷毛塗り部７０２が三角形領域７０４中に配
置された場合、塗りつぶし処理は、領域７０４の上部にあるギャップ７０５を通
じて「流出（ｂｌｅｅｄ）」しない。なぜならば、刷毛塗り部７０２は、エッジ
鎖の一部を被覆しなければ、ギャップ７０５を通じて適合し得ないからである。
漸進的な塗りつぶしプロセスの第１の工程では、図示のサイズの刷毛塗りを用い
て、領域７０４、四角形領域７０６および背景領域７０８を刷毛塗りする。この
第１の工程をから得られる１つの結果として、いくつかの（この場合は殆どの）
画像画素が各セグメントと関連付けられることがある。これらの画像画素のいく
つかは、セグメントと関連付けられない。なぜならば、エッジ鎖を被覆しないと
刷毛塗り部７０２はこれらの画素に到達できないからである。

【００４１】 １つの実施例において、プロセッサは、刷毛塗り部を画像内の各アクセス可能
なロケーションに移動させ、この際、エッジ鎖または別様に割り当てられた画像
画素を被覆しないように注意する。各刷毛塗りロケーションにおいて、プロセッ
サは、基礎となる中央画素および画像画素について考える。刷毛塗り部がエッジ
画素あるいはエッジ鎖または別様に割り当てられた画像画素を被覆する場合、そ
の刷毛塗り部は効果を持たず、次の位置に移動される。しかし、刷毛塗り部がエ
ッジ画素、エッジ鎖または別様に割り当てられた画像画素のどの部位も被覆して
いない場合、プロセッサは、基礎となる画像画素を調査する。基礎となる画像画
素のうちいずれかがあるセグメントと既に関連付けられている場合、これらの基
礎となる画像画素を全てそのセグメントに割り当てるか、または、そうでない場
合、基礎となる画像画素全てを新規セグメントに割り当てる。１つの画素を刷毛
塗りする場合、プロセッサは、その近接画像画素について考え、その画像画素を
、いずれのエッジ鎖を横切ることなく、最も近接する画像画素を有するセグメン
トに割り当てる。

【００４２】 別の実施例において、プロセッサは、２つの刷毛塗り部を、検出されたエッジ
鎖それぞれのいずれかの側部上に移動させ、これらのエッジ鎖のいずれかの側部
上の画像画素を別のセグメントに割り当てる。さらに別の実施例において、プロ
セッサは、刷毛塗り部を画像上の任意の未処理ロケーション上に配置し、その刷
毛塗り部を、エッジ鎖を被覆することなく到達することが可能な近接ロケーショ
ンに移動させる。

【００４３】 別の実施例において、プロセッサは、逓減する刷毛塗り部のシーケンスを用い
て新規セグメントを交互に作成し、先行セグメントを拡大させる。従って、奇数
のパスは新規セグメントを作成し、偶数のパスは、先行作成されたセグメントを
拡大させ得る。

【００４４】 さらに別の実施例において、プロセッサは、各色成分中にエッジ鎖シーケンス
を作成し、これらのエッジ鎖を組み合わせて、エッジ鎖ピクチャの合成物を作成
する。この組み合わせは、各色成分中にエッジ鎖を結合（ｕｎｉｏｎ）したもの
または各色成分中でエッジ鎖を交差（ｉｎｔｅｒｓｅｃｔｉｏｎ）させたものの
いずれかであり得る。

【００４５】 プロセッサが第１の刷毛塗り部（または複数の刷毛塗り部）を画像を介して送
った後、画像画素のうちいくつかを、セグメントに割り当てる。これらの画像画
素は、（複数の）刷毛塗り部にとってアクセス可能であった画像の部位を表現す
る。次いで、プロセッサは、その画像を介して、より小さな刷毛塗り部を用いて
別のパスを作成する。この第２のパスにおいて、プロセッサは、そのより小さな
刷毛塗り部に同じ処理を行い、より大きな刷毛塗り部にとって「到達不可能な」
画像画素（すなわち、刷毛塗り部が（やはりエッジ画素、エッジ鎖または別様に
割り当てられた画像画素を被覆せずに）被覆できない画像画素）に対して被覆お
よび割当てを行う。後続のパスについても、プロセッサが最小の刷毛塗り部（例
えば、１画素の刷毛塗り部）を有するパスを作成するまで、逓減する刷毛塗り部
を用いて、このプロセスを繰り返す。

【００４６】 好適には、初期の刷毛塗り部のサイズは、セグメントを規定するエッジ鎖にお
いて受容可能な最大ギャップよりも少なくとも１画素分大きなサイズである。例
えば、１つのより大きなエッジ鎖において、２つのエッジ鎖のエッジ間の長さが
５画素以下の長さをギャップとして見なす場合、初期刷毛塗り部は、６×６の画
素四角形であり得る。このような構成を用いると、初期刷毛塗り部がギャップか
ら「流出」して、２つのセグメントを不正確に組み合わせことが無くなる。この
初期刷毛塗り部の後、後続のより小さな刷毛塗り部がギャップから流出し得るが
、その流出量は限られている。なぜならば、ギャップの両側には先行して割り当
てられた画像画素が有り、刷毛塗り部の動きを限定するからである。

【００４７】 図９は、この点を示す。図９は、エッジ鎖８００にギャップが有る様子を示す
。エッジ鎖８００は、２つのセグメント８０２、８０４を分離させる。先行する
刷毛塗りパスにおいて、画像画素の一部をセグメントに割り当て、一部の画像画
素（例えば、ギャップ近隣の画像画素）は、刷毛塗りでは到達不可能である。小
さな刷毛塗り部を用いる場合、刷毛塗り部は、ギャップの両側にある残りの未割
り当て画素全てに到達するほど小さい大きさであり得、その結果、最初に処理さ
れた任意のセグメントから流出が発生する。これを回避するために、プロセッサ
は、ギャップのいずれかの側部から未割り当て画素上に２つの刷毛塗り部を送り
、これにより、ギャップの両側を均等に塗りつぶすようにする。

【００４８】 小さな刷毛塗り部からの望ましくない流出をさらに限定するために、１つのパ
ス中に２つの刷毛塗り部を走らせて、各刷毛塗り部をギャップの各側部上に配置
するか、または、画像画素をセグメントに割り当てるプロセスにおいて、１つの
刷毛塗り部を側部毎に交互させることができる。いくつかの場合（例えば、図７
中に示す画像画素６６０の場合）において、１画素分の刷毛塗り部でも、いくつ
かの画像画素（例えば、エッジ鎖が交差する画像画素）に到達するのに不十分で
ある。最小の刷毛塗り部を用いたパスが完成した後に、これらの到達不可能な画
素を処理することができる。

【００４９】 到達不可能な画素を処理する１つのプロセスとして、均衡破壊方式を用いて、
１つの到達不可能な画素を、到達不可能な画素に集まるセグメントの１つに割り
当てるプロセスがある。１つの均衡破壊方式では、画像画素における勾配と、各
競合（ｃｏｎｔｅｎｄｉｎｇ）セグメントにおける最も近接する画像画素におけ
る勾配とを考慮して、画像画素を、到達不可能な画像画素における勾配に大きさ
および方向が最も近接する勾配を有する最も近接する画像画素を含むセグメント
に割り当てる。勾配はベクトル導関数である。

【００５０】 プロセスにおいて各画像画素をセグメントと関連付けた後は、各セグメントの
境界のロケーションは容易に見付かる。以下に説明するように、漸進的な塗りつ
ぶしプロセスを他のプロセスと組み合わせて、セグメント境界をより正確に判定
してもよい。

【００５１】 （２．多スケールセグメント化） セグメント化器は、１つの画像から開始して、解像度を漸進的に低くして（こ
れは、「スケール」としても知られる）画像を複数回変換して、より大きく、よ
り支配的なフィーチャに関する情報のみをスケール単位で保持する。これらの変
換を行う方法は他にも複数ある（例えば、平滑化または類似のフィルタを使用す
る方法）。特定の画像に有用であり得る１組の変換として、ガウス平滑化フィル
タのアレイがあり、各フィルタは、異なる特性距離を有する。

【００５２】 １つの多スケールのセグメント化プロセスにおいて、変換された画像を疎な画
像から微細な画像の順番で処理する。このプロセスにおいて、最も疎な画像は、
最も広範囲な平滑化フィルタを用いた変換物である。典型的には、最も疎な画像
は、画像のより大きなフィーチャのみを保持する。最も微細な画像は、最も小さ
な特性距離で円滑化フィルタによって変換された画像またはそのオリジナルで円
滑化フィルタによって変換された画像のいずれかである。

【００５３】 プロセスは、最も疎な画像のセグメント化処理を行ってその最も疎な画像の一
連のセク゛メントを規定することにより、継続する。このセク゛メント化プロセスは、上述し た漸進的塗りつぶしプロセスであるか、または、１つの画像に行なわれるいくつ
かの他のセク゛メントプロセスであり得る。最も疎な画像にセク゛メント化プロセスを施した 後、その画像の一連のセク゛メントを、その後のより微細な画像に行なわれるセク゛メント化 プロセスにおいて用いる。

【００５４】 例えば、２番目に疎な画像を上述したようにセグメント化するが、その際、２
番目に疎な画像中のセグメントが最も疎な画像中のセグメントを１つ以上含まな
いようにする制約を設ける。言い換えれば、第２の画像中のセグメントは、第１
の画像中のセグメントの各サブセットである。

【００５５】 プロセスは、先行してセグメント化された画像のセグメントを用いて、次に疎
な画像の各々について継続する。各先行画像のセグメントは自身の先行画像のサ
ブセットとなるように制約されるため、いずれの変換後の画像のセグメントも、
いずれのより疎な画像中の任意のセグメントのセグメントのサブセットとなる。

【００５６】 この「サブセット」による制約を実行する１つの方法として、画像を無制限に
セグメント化して、より疎な画像中のセグメントを１つ以上交差するセグメント
を全て細分化する方法がある。上記した漸進的な塗りつぶしプロセスによってセ
グメント化を行う場合、サブセットによる制約を実行する別の方法を用いてもよ
い。後者の方法の場合、より疎な画像のセグメント境界を処理対象の画像中のエ
ッジ鎖として付加して、サブセットによる制約を達成する。

【００５７】 （３．合成物のエッジの検出） 上述した漸進的な塗りつぶしプロセスおよび多スケールのセグメント化プロセ
スは、画像および一連のエッジ鎖上で動作し、１つのエッジ鎖は、順序付きの一
連のエッジ画素である。エッジ鎖は、エッジ画素から生成される。上記の方法で
は他のエッジ検出方法も用いてよいが、画素色値が複数の色成分を含む場合に特
に有用な１つの方法は、合成物のエッジを検出するプロセスであり、以下、この
プロセスについて説明する。

【００５８】 合成物のエッジを検出するプロセスにおいて、異なる色成分からの情報を組み
合わせて１つの合成画像を形成し、合成画像中の各画素色値は、対応する画像画
素の色値の成分と、恐らくは周囲の画像画素の色値との関数となる。次いで、こ
の合成画像を用いて、中央画素におけるエッジ画素部分を判定する。合成画像中
のエッジ画素を判定した後、これらのエッジ画素を、エッジ鎖にリンクさせるこ
とができる。

【００５９】 以下、合成画像の処理を行う３つの方法について説明する。第１の方法では、
色情報を組み合わせた後にエッジ画素を判定し、一方、第２の方法では、各色面
のエッジ画素を判定した後でその結果を組み合わせて一連の合成物のエッジの画
素を得る。「色面」という用語は、画素色値のＮ次元のアレイである画像を指し
、各画素は、当該画素に割り当てられた複数の色画像のうち１つのみを保持する
。例えば、各画素に赤の値、緑の値および青の値が割り当てられた場合、各画素
が自身の割り当て値として赤値のみを有する場合、その画像は赤色面の色面画像
である。

【００６０】 この第１の方法において、１画素当たりの勾配ベクトルのアレイを含む合成勾
配画像を、当該画素の色成分値から計算する。次いで、この合成勾配画像を処理
して、エッジ画素を検出する。

【００６１】 合成勾配画像を生成する１つのプロセスでは、各色面中の各画素における勾配
に基づいて、当該画素の合成物勾配を生成する。このプロセスでは、１つの画素
の合成物勾配は、当該画素における各色面中の勾配に改変ベクトルを付加して得
たものである。改変ベクトルの付加量は、色面が２つ以上ある場合に、個々のベ
クトルの符号を必要に応じて変更して、１つの半平面内の全ての加数の方向を保
持して、改変される。

【００６２】 図１０を用いて、このような改変ベクトルの付加について説明する。図１０中
に示すように、画素Ａの各色面中のベクトルは、１つの半円よりも小さな方向の
範囲を有するため、合成物の勾配は、ちょうど各成分中のベクトルの総和となる
。同じことが画素ＢおよびＣにも当てはまる。しかし、画素Ｄの全てのベクトル
の方向を含む半円の配向（ｏｒｉｅｎｔａｔｉｏｎ）は無い。後者の場合におい
て、ベクトルが付加される前に、これらのベクトルの１つの符号は反転する（す
なわち、反対方向を向く）。

【００６３】 実際には、この改変ベクトルを付加する工程では、所与のエッジ上の任意の所
与の点において２つのベクトルがあり、これらの２つのベクトルは、エッジに対
する法線（ｎｏｒｍａｌ）またはエッジに対する接線（ｔａｎｇｅｎｔ）を規定
する点を表す。その結果、勾配ベクトルを反転させ、かつ、勾配ベクトルが同じ
エッジを表現することが可能となる。付加ベクトルが全て半円中に収まることを
確実にすることによって、１つの成分勾配ベクトルの寄与度が別の成分勾配ベク
トルの寄与度を相殺する可能性が低くなる。

【００６４】 加数が半円中に収まることを確実にすることにより、勾配の極性は、自身の総
和による結果に大きな影響を与えなくなる。多くの画像において、極性の変化は
、画像の物理的特性に対応する。ＹＵＶ画像の各色成分中のエッジの極性は一般
的には、互いに独立する。例えば、明るい緑色の領域が暗い赤色の領域に変化す
ると、「Ｙ」は増加し、「Ｖ」は減少する。

【００６５】 いくつかの色空間において、色成分は、均等に重み付けされた付加量に大きな
影響を持ち得る。これは、全体的な色の差またはいくつかの色空間において勾配
が非常に大きくなる（これは、エッジが顕著であることを反映している）傾向の
ためである。このような場合、正規化ファクターを付加する前に色成分を重み付
けすることができる。良好な正規化ファクターは、各色面において勾配の大きさ
用の類似の重みが得られるスカラー値である。例えば、輝度色面とクロミナンス
色面との間の動的範囲が、平均勾配の大きさが輝度色面において画像のサンプリ
ングまたは１つの画像にわたるクロミナンス色面に対する輝度色面の２倍も大き
くなるような値である場合、ベクトルを付加する前に２で除算することにより、
輝度ベクトルを正規化することができる。

【００６６】 合成勾配画像を生成する別のプロセスでは、各画素について、当該画素におけ
る最大の大きさの色成分ベクトルと等しいかまたはその関数である合成物勾配を
生成する。ベクトルを付加する代わりに最大ベクトルを取るこのプロセスにおい
て、正規化ファクターを、比較を行う前に付加してもよく、これにより、最大の
大きさのベクトルを選択する。

【００６７】 合成物勾配ベクトルがどのように生成されようと、合成物勾配ベクトルは、集
合して合成勾配画像を形成する。その合成勾配画像から、エッジ画素を判定し、
これらのエッジ画素で形成されたエッジ鎖を得て、当該画像にセグメント化プロ
セスを行うことができる。

【００６８】 （４．多クラスエッジ鎖化） 上述したように、１つの画像のエッジ画素を識別した後、これらのエッジ画素
を用いてエッジ鎖を識別し、セグメント化プロセスにおいてこれらのエッジ鎖を
用いる。本明細書において説明するエッジ鎖を識別する（「エッジ鎖化」）プロ
セスにおいて、エッジ画素を、複数のクラスにクラス分けする。ここで詳細に説
明する実施例において、図１１を参照して、複数のクラスを２つのクラスにクラ
ス分けして、「強いエッジ画素」と「弱いエッジ画素」として指定する。エッジ
画素は、色値が比較的大きく変化する１画像中の近似点（例えば、画像１１１０
における画素１１０２（１）から画素１１０４（１）への変化）である。

【００６９】 以下、各クラスのエッジ画素を識別する２つの方法、すなわち、勾配方法およ
びラプラシアン方法について説明する。勾配方法について図１２〜１３を参照し
て説明し、ラプラシアン方法について図１４を参照して説明する。

【００７０】 勾配方法の場合、勾配方向において色値の勾配が局部的に最大となる中央画素
をエッジ画素として識別する。局部的最大部は、関数値が一方の側部上の周囲の
点関数値よりも大きく、かつ、もう一方の側部上の周囲の点における関数値以上
である点である。

【００７１】 例えば、図１２について考察する。図１２は、１つの画像の中間点のアレイを
示す−画像の画像画素は図示していない。複数の中間点を図示しているが、この
うちのいくつかは、「Ａ」〜「Ｉ」でラベル付けされている。エッジ点Ａがエッ
ジ画素であるか否かを判定する勾配プロセスにおいて、エッジ点Ａがエッジ画素
である場合、エッジ画素のクラス（すなわち、中央画素Ａ〜Ｉの勾配）について
考える。

【００７２】 勾配方法において、プロセッサは、中央画素Ｂ〜Ｉの中から、中央画素Ａの勾
配方向と同じ方向を向く中央画素Ａから生じる光線に最も近接する第２の中央画
素を選択する。２つの中央画素が光線から等距離である場合、均衡破壊の法則を
用いて、最も近接する中央画素を選択してもよい。図１２の実施例において、最
も近接する中央画素は中央画素Ｃである。中央画素Ａおよび最も近接する中央画
素Ｃと一直線上にある第３の中央画素がある。この実施例において、この第３の
中央画素は画素Ｈである。各中央画素（例えば、中央画素Ａ、ＣおよびＨ）にお
いて、勾配を規定することができる。図１２中の矢印は、これらの３つの中央画
素の勾配の大きさおよび方向を示す。

【００７３】 中央画素Ａの勾配の大きさが中央画素Ｃまたは中央画素Ｈのうちの一方の勾配
の大きさよりも大きく、かつ、中央画素Ｃまたは中央画素Ｈのうちのもう一方の
勾配の大きさ以上である場合、中央画素Ａは、強いエッジ画素として識別される
。

【００７４】 中央画素Ａが強いエッジ画素として識別されない場合、中央画素Ａを試験して
、中央画素Ａが弱いエッジ画素の基準を満たすか否かを判定する。図１３は、中
央画素が弱いエッジ画素であるか否かを判定するプロセスを示す。図１３中に示
すように、中央画素Ａは、弱いエッジ画素の状態であると見なされている。これ
を行うために、中央画素Ａ中を通り、かつ、中央画素Ａの勾配方向に平行な線（
図１３中、線１３０２として図示する）について考える。近隣の中央画素Ｂ〜Ｉ
は四角形を規定し、線１３０２は、この四角形と２点において交差する（図１３
中、点１３０４（１）および１３０４（２）として図示する）。

【００７５】 中央画素Ａにおける勾配と、点１３０４（１）および１３０４（２）の各々と
を、補間を通じて発見することができる。中央画素Ａの勾配大きさが点１３０４
（１）または点１３０４（２）の１つの勾配大きさよりも大きく、かつ、点１３
０４（１）または点１３０４（２）のもう一方の勾配以上である場合、中央画素
Ａは、弱いエッジ画素として指定される。そうではない場合、中央画素Ａは中央
画素として指定されない。

【００７６】 典型的な画像の場合、弱いエッジ画素数の方が、強いエッジ画素数よりも多い
。なぜならば、弱いエッジ画素は一般的には、画像中の色あるいは強度の漸進的
変化または鮮明なコントラストに対応し、強いエッジ画素は一般的には、鮮明コ
ントラストおよび不鮮明なコントラストのみに対応するからである。

【００７７】 ここで図１４を参照して、ラプラシアン方法について説明する。説明は、４つ
の画像画素１４１０、１４２０、１４３０、１４４０によって規定された矩形内
に配置された中央画素１４０５のエッジ画素状態を判定する工程を参照して行う
。４つの画像画素をそれぞれ、符号「＋」または「−」（これらの符号は、当該
画像画素におけるラプラシアン関数の符号を示す）でラベル付けする。ラプラシ
アンは、ベクトル２次導関数（ｓｅｃｏｎｄ ｖｅｃｔｏｒ ｄｅｒｉｖａｔｉ
ｖｅ）である。１つの画像において、画素色値に適用されるラプラシアン関数の
ゼロ交差が、エッジ画素である。ラプラシアンのゼロ交差が発生するのは、ラプ
ラシアンの２次導関数がゼロとなる場所である。

【００７８】 中央画素１４０５を収容する矩形がゼロ交差を含む場合、中央画素１４０５は
エッジ画素となる。画素ロケーションが離散している場合、ゼロ交差のロケーシ
ョンを計算することは、不可能であるか、または、計算が困難である。しかし、
画像画素におけるラプラシアンの符号は、矩形中にゼロ交差が存在する可能性を
示す。従って、このラプラシアン方法では、４つの周囲画像画素の各々における
ラプラシアン関数の符号が垂直方向および水平方向双方において異なる（すなわ
ち、右上の画素および左下の画素が１つの符号を有し、右下の画素および左上の
画素が別の符号を有する）場合、中央画素を強いエッジ画素として識別する。上
記の符号が、１つの符号の１つのインスタンスであり、かつ、もう一方の符号の
３つのインスタンスである符号の場合、または、垂直方向および水平方向の両方
において等しい各符号の２つのインスタンスである場合、中央画素は弱いエッジ
画素として識別される。４つの画像画素全てについて符号が同じである場合、中
央画素はエッジ画素ではないと識別される。

【００７９】 エッジ画素の複数のクラスを識別する２つの方法について説明してきたが、代
わりに他の適切な方法を用いてもよい。エッジ画素のクラスを識別して得られる
結果を図１５中に示す。図１５中の画像は、２つのセグメント（すなわち、黒色
画素の内側セグメントおよび白色画素の外側セグメント）を含む。強いエッジ画
素および弱いエッジ画素を識別して行ったエッジ画素検出プロセスの結果を図示
する；図１５中、非エッジの中央画素は省略した。一般的には、強いエッジ画素
は、画像の大きくかつ／または明確な変化（例えば、鮮明なコントラスト）に対
応する中央画素であり、一方、弱いエッジ画素は、実際の色エッジによってまた
は色流出あるいはノイズによって生じた可能性のある画像の僅かな変化を反映す
る。

【００８０】 異なるクラスのエッジ画素を識別した後、エッジ鎖を識別することができる。
１つのエッジ鎖を、順序付きの一連のエッジ画素として識別する。異なるクラス
のエッジ画素からエッジ鎖を識別する１つの方法として、任意の強いエッジ画素
から開始して、その強いエッジ画素をエッジ鎖の１つの終端部としてエッジ鎖に
付加する方法がある。次いで、付加されたエッジ画素の最も近接する近隣中央画
素を別の強いエッジ画素用に探す。近隣中央画素が１つの存在する場合、エッジ
画素をエッジ鎖の成長する終端部に付加することにより、エッジ鎖を近隣まで延
長させる。１つの強いエッジ画素近隣部が１つ以上存在する場合、勾配が最も近
く、エッジ画素の勾配に対して直角方向のエッジ画素を選択する。さらなる試験
として、各近隣部における勾配の大きさを考えることが可能である。最も近接す
る近隣部中に強いエッジ画素が無い場合、エッジを弱いエッジ画素である近隣部
まで延長させる。最も近接する近隣部中に強いエッジ画素が１つより多く存在す
る場合、複数の強いエッジ画素から選択を行う場合に用いる試験と同様の試験を
用いて、最良の選択物を選択する。エッジ鎖を継続するための強いエッジ画素ま
たは弱いエッジ画素が存在しない場合、鎖は停止し、プロセスは、別の任意の強
いエッジ画素を探す。

【００８１】 全てのエッジ画素を処理するかまたは考慮し終えるまでこのプロセスを繰り返
し、その結果、１つの画像について一連のエッジ鎖が得られる。次いで、これら
のエッジ鎖をセグメント化プロセスにおいて用いて、画像をセグメント化する。

【００８２】 （５．多スケールでのエッジ鎖の生成） より疎なスケール画像は、複数の変換された画像の表現物を用いて、より微細
なスケール画像を先導することができる。より疎なスケールが先導することがで
きるのは、スケールにわたってエッジ画素が関連付けられている場合である。エ
ッジ画素の関連付けが発生するのは、１つのスケール中のエッジ画素が、同一ま
たは類似の勾配大きさおよび方向を同じエッジ画素としてまたは別のスケールの
近接エッジ画素として有する場合である。２つの勾配ベクトルの同一性または類
似性は、スケール間の重み付けファクターを考慮する試験である。

【００８３】 本発明による、１つの多スケールエッジ鎖を生成するプロセスでは、複数のス
ケール画像からのエッジ画素を用いて、複数のスケール画像からのエッジ鎖を識
別する。より微細なスケール画像は、より疎なスケール画像よりもより多くのエ
ッジを持つ傾向があるため、より微細なスケール画像中のエッジ鎖を識別するリ
ンク付けルーチンでは、エッジ鎖の終端部において、エッジ鎖を延長させること
が可能な複数のエッジ画素が発生する場合が多い。選択するエッジ画素を判定す
るいくつかの方法については上述の通りである。複数のスケール画像が利用可能
である場合、この選択プロセスを洗練させることができる。

【００８４】 １つのアプローチにおいて、プロセスにおいて近隣エッジ画素の中から選択を
行なわなければならず、かつ、エッジ鎖がより疎なスケールに対して識別されて
いる場合、プロセスは、選択の際、エッジ鎖をエッジ鎖に沿ってより疎なスケー
ルで延長させるエッジ画素を贔屓する（ｆａｖｏｒ）。例えば、図１６の場合に
ついて考える。図１６は、中央画素アレイ１６００を示し、エッジ画素が塗りつ
ぶされた円として図示し、非エッジ画素の中央画素を白抜きの円（ｏｐｅｎ ｃ
ｉｒｃｌｅ）として図示している。エッジ鎖が識別されており、エッジ鎖の終端
部がエッジ画素１６０５にあると仮定する。このリンク付けプロセスでは、エッ
ジ鎖をエッジ画素１６１０またはエッジ画素１６１５に延長させるための判定を
行なわなければならない。さらに、中央画素アレイ１６００は、エッジ画素を先
行アレイよりもより微細なスケールで識別した結果得られたものであると仮定し
、また、先行のより疎なアレイにおいて、エッジ鎖が、エッジ画素１６０５およ
びエッジ画素１６１０とは関連付けられたがエッジ画素１６１５とは関連付けら
れていないエッジ画素を含むものとして識別されたと仮定する。この場合、リン
ク付けプロセスはエッジ画素１６１０を贔屓する。

【００８５】 いくつかの実施形態において、より疎なスケールのエッジ鎖を判定し、これ以
上の問い合わせを行なわずにエッジ画素１６１０をエッジ鎖に付加する。別の実
施形態において、他のファクターをより疎なスケールでの対応と共に考慮する。
さらに別の実施形態において、図１７（ａ）および（ｂ）中に示すようにより疎
なスケールのエッジ鎖がエッジ鎖をギャップにわたって継続させるべきであるこ
とを示す場合、中央画素がエッジ画素でなはない場合にでも、中央画素が選択さ
れ得る。図１７（ａ）および（ｂ）中に示すように、中央画素１７０５は、より
微細なスケールでのエッジ画素ではないため、エッジ鎖１７１０、１７１２は、
各中央画素１７０５に到達しない。しかし、より疎なスケールにおいて、対応す
る中央画素はエッジ画素であり、エッジ鎖中には含まれない。従って、中央画素
１７０５をより微細なスケールでエッジ鎖に付加し、その結果、エッジ鎖１７１
０およびエッジ鎖１７１５を接合する接続が得られる。さらに、異なるより微細
なスケールエッジ鎖からのエッジ画素を同じエッジ鎖とより疎なスケールで関連
付けることもできる。このような場合、２つのより微細なスケールエッジ鎖を、
疎なエッジ鎖ジオメトリの大部分でできるだけ大きく重複するように、接合する
。

【００８６】 さらに、より疎なスケールのエッジ鎖がより微細なスケールで関連付けられた
鎖よりも長い図１８（ａ）〜（ｃ）中に示すように、リンク付けプロセスでは、
より微細なスケールエッジ鎖を適切に延伸する。この工程は、「エッジ鎖延伸」
と呼ばれる。図示の実施例において、より微細なスケール（図１８（ｂ））にお
いて、鎖は中央画素２３０２において停止し、より疎なスケール画像エッジ鎖は
中央画素を中央画素２２０２から中央画素２２０１へと１つだけ多く継続させる
点を除いて、２つの鎖は、同じエッジ画素を同じ順序で有する（図１８（ａ））
。次いで、このプロセスでは、図１８（ｃ）中に示すように、より微細なエッジ
鎖を継続させて、中央画素２３０１へのリンク付けを行う。

【００８７】 図１９（ａ）および（ｂ）中に示すように、エッジ鎖を完全に生成した後、リ
ンク付けルーチンは、さらにいくつかの中央画素をエッジの各終端部に付加し得
る。これは、エッジ鎖間の小さなギャップを塞ぎ、しばしば所与の領域を完全に
封入する効果を有する。１つ以上の画素を図１９（ａ）中に示す各エッジ鎖に付
加することによって、図１９（ｂ）中に示すように、未封入領域を完全に境界付
けられる。

【００８８】 エッジ鎖リンク付けにおいて多スケール関連付けを用いる際の基本的プロセス
の変更例において、複数のクラスのエッジ画素を用いることができる。１つの実
施形態において、そのクラスの近隣部とより疎なスケールからの任意の関連付け
とに基づいて、エッジ鎖をエッジ画素終端部から別の中央画素へと延長させる。
例えば、リンク付けプロセスでは先ず第１に、強いエッジ画素のみについて考え
、対応するエッジ鎖延長をより疎なスケールで探し、次いで、強いエッジ画素ま
たは関連付けが見付からない場合、弱いエッジ画素について考える。別の変更例
において、リンク付けプロセスでは、先ず第１に強いエッジ画素について考え、
次いで、弱いエッジ画素について考え、そして、エッジ画素がより微細なスケー
ルで見付からない場合、強いエッジ画素または弱いエッジ画素を用いる対応する
エッジ鎖の延長のみより疎なスケールで探す。

【００８９】 （６．エッジ鎖のフィルタリング） 図２０（ａ）は、エッジ鎖を識別するプロセスから得られたエッジ鎖の画像で
ある。このエッジ鎖画像において、セグメントエッジに対応しない短いエッジ鎖
が多数有る。このようなスプリアスエッジが発生し得るのは、主にデジタル化エ
ラーまたは画像中の陰影の軽微な変更の結果、エッジ鎖が作成されたときである
。

【００９０】 図２０（ｂ）〜（ｅ）は、閾値ルーチンを各スケールで画像に適用した後の結
果である。閾値ルーチンは、静的スライディングスケールまたは動的スライディ
ングスケールを用いて、図２０（ｂ）〜（ｅ）の画像を生成することができる。
静的な方法において、エッジ鎖が基準線の長さ要件および最低強度要件の両方を
満たさない場合、エッジ鎖を除去する。

【００９１】 この動的スライディングスケール試験は、より包括的である。長さ閾値および
強度閾値を関連させ、これにより、鎖が長くなるほど、エッジ鎖を保持するため
に満たすことが必要な強度閾値はより低くなる。同様に、エッジ鎖が明るくなる
ほど、長さ閾値は低くなる。

【００９２】 １つの実施例において、閾値化に関係無く、エッジ鎖を、スケールにわたって
保持する。具体的には、エッジ鎖をスケールにわたって関連付け、より疎なスケ
ールでの閾値化で生き残ったエッジ鎖をより微細なスケールで保持する。この工
程は、エッジ鎖が（より疎なスケールと別に考えたときに）より微細なスケール
での閾値化では生き残らない場合にでも、行う。別の実施例において、先行映像
フレームからの鎖は、エッジ鎖が廃棄されるのを防ぎ得る。

【００９３】 図２１は、入力画像のオリジンが映像シーケンスである状況を示す。各スケー
ルにおけるエッジ鎖情報をフレームにわたって保持している点に留意されたい。
図２１（ａ）は、先行映像フレームを示す。図２１（ｂ）は、現在の映像フレー
ムを示す。図２１（ｃ）は、先行フレームに基づいた閾値化を行った後の現在の
フレームを示す。

【００９４】 閾値化を行い、エッジ鎖４００１１を保持した後の先行フレームを示す。現在
のフレームのエッジ鎖は、エッジ鎖４００２０、４００２１および４００２２を
含む。エッジ鎖４００１１および４００２１がフレームに亘って関連付けられて
いるのは、エッジ鎖４００１１および４００２１が同一のロケーションおよび類
似の勾配で画素を共有しているからである。現在のフレームにおいて、エッジ鎖
４００２０は、上述した閾値化試験に合格したため、保持される。しかし、エッ
ジ鎖４００２１または４００２２のいずれも閾値化試験に合格しないないため、
除去候補となる。フレーム上で矛盾の無いセグメント化が行なわれることを確実
にするために、エッジ鎖４００２１を保持する。なぜならば、エッジ鎖４００２
１は、先行フレームにおいて保持されたエッジ鎖４００１１と関連付けられてい
るからである。逆に、エッジ鎖４００２２は保持されない。なぜならば、エッジ
鎖４００２２は閾値試験に合格せず、先行フレーム中に保持されたエッジ鎖と関
連付けられていないからである。

【００９５】 （７．組み合わせ） 上記においてセグメント化を改良するための６つの方法および対応する装置に
ついて説明した。これらの方法および装置の１つ以上は、セグメント化プロセス
をさらに向上させるために組み合わせが可能である。例えば、漸進的な塗りつぶ
しを複数のスケールにわたって用いることが可能であり、塗りつぶしプロセスを
最も疎なスケールで行い、次いで、より疎なスケールでのセグメントを用いて、
より微細なスケールでのセグメント化を先導する。

【００９６】 別の組み合わせとしては、合成物エッジ検出と複数のクラスのエッジ検出との
組み合わせがある。この組み合わせを用いると、エッジ検出プロセスは、各色面
上で別個に動作して、強いエッジ画素および弱いエッジ画素を識別し、次いで、
異なる色面からのエッジ画素を組み合せることにより、フィルタリングを行う。

【００９７】 別の改変例において、強いエッジ画素および弱いエッジ画素を識別した後かつ
エッジ鎖を識別する前に、色情報を後の段階で用いる。エッジ画素を識別するル
ーチンは、各スケールにおいて２つの合成物エッジ画素画像を生成する。第１の
画像は、全色面からの全ての強いエッジ画素から構成され、第２の画像は、任意
の色面からの全ての弱いエッジ画素から構成される。同じエッジ画素が複数の色
成分で設計される場合もある。この状況において、エッジ画素は、合成画像中に
一度だけ含まれる。１）エッジ画素が異なる色成分中の同一のロケーションを共
有する場合または２）エッジ画素が異なる色成分中の同一のアレイロケーション
を共有し、かつ、類似の勾配を有する場合の２つの条件のうち１つが満たされた
場合、複数の色成分中のエッジ画素は、同一のものとして指定される。

【００９８】 さらに別の組み合わせとして、エッジ鎖を各成分中で発見し、次いで、それら
のエッジ鎖を合成物する方法がある。詳細には、先ず、各色成分中で発見された
局部的極値を、当該画像の他の色成分中で発見された極値と別に保存する。この
リンク付けプロセスでは、各色成分中のエッジ画素を別個にリンク付けし、次い
で、エッジ鎖を組み合わせて１つの合成画像にすることにより、エッジ鎖を作成
する。１つの色成分の勾配によって判定されたエッジ鎖のうちいくつかが、残り
の色成分の勾配によって判定されたエッジ鎖に類似していることが（恐らくでは
あるが）可能であるため、このリンク付けプロセスは、類似の鎖を合体（ｃｏａ
ｌｅｓｃｅ）させて、（恐らくはより長い鎖およびより少ないギャップを形成す
る）１つの鎖にする。同じスケールのエッジ鎖は、以下の基準のうち１つ以上を
満たした場合、類似する：１）全ての点において同一である；２）自身の画素の
大部分を互いに共有している；３）（差が微小な範囲に収まって）ジオメトリが
同じであるが、ごく少数の画素分だけオフセットしている；４）同じより疎なス
ケールエッジ鎖と別のスケールで関連付けられている。

【００９９】 さらに別の組み合わせにおいて、上記のプロセス全てを組み合わせて、改良さ
れたセグメント化プロセスを形成する。

【０１００】 上記の記載は例示的なものであって、限定的なものではない。本明細書の開示
内容を読めば、当業者にとって本発明の多くの改変例が明らかとなる。従って、
本発明の範囲は、上記の記載で判断されるべきではなく、本明細書中の特許請求
の範囲およびその全範囲における均等物によって判断されるべきである。

【図面の簡単な説明】

【図１】 図１は、簡単な画像セグメント化プロセスを示す画像である。

【図２】 図２は、画像をセグメント化する装置のブロック図である。

【図３】 図３は、セグメント化された画像を用いることが可能なシステムのブロック図
である。

【図４】 図４は、画像および関連するセグメントデータを含むデータストリームを示す
。

【図５】 図５は、対応する画像に関するセグメントリストが現れる様式を示す。

【図６】 図６は、黒色画像画素および白色画像画素の画像中のエッジ画素を示す。小さ
くて、薄く影色の付いた画素で示すエッジ画素が、黒色画像画素と白色画像画素
との間に介在している。

【図７】 図７は、画像画素の２つのセグメント間のエッジ鎖を示す。

【図８】 図８は、漸進的な刷毛塗り部（ｂｒｕｓｈ）を用いて画像をセグメント化する
様子を示す。

【図９】 図９は、エッジ鎖のいずれかの側部において画像を部分的に塗りつぶす様子を
示す。

【図１０】 図１０は、３つの色成分それぞれにおける画素の勾配を示す。

【図１１】 図１１は、画像画素、エッジ画素およびエッジを備える画像を示す。

【図１２】 図１２は、勾配技術を用いてエッジ画素が強い部分を判定するプロセスを示す
。

【図１３】 図１３は、勾配技術を用いてエッジ画素が弱い部分を判定するプロセスを示す
。

【図１４】 図１４は、ラプラシアン技術を用いてエッジ画素が強い部分を判定するプロセ
スを示す。

【図１５】 図１５は、画像画素およびエッジ画素が識別された（強いエッジ画素および弱
いエッジ画素を含む）を備える画像を示す。

【図１６】 図１６は、エッジ鎖を生成する際にエッジ画素から選択を行うプロセスを示す
。

【図１７】 図１７は、エッジ鎖を小さなギャップに亘って継続させるプロセスを示す。

【図１７ａ】 図１７（ａ）は、ギャップを有する２つのエッジ鎖を示す。

【図１７ｂ】 図１７（ｂ）は、ギャップが塗りつぶされた様子を示す。

【図１８】 図１８は、１つ以上のスケールからエッジ鎖をリンク付けするプロセスを示す。

【図１８ａ】 図１８（ａ）は、より疎なスケールからのエッジ鎖を示す。

【図１８ｂ】 図１８（ｂ）は、より微細なスケールからのエッジ鎖を示す。

【図１８ｃ】 図１８（ｃ）は、上記の組み合わせを示す。

【図１９】 図１９は、エッジ鎖を延長するプロセスを示す。

【図１９ａ】 図１９（ａ）は、エッジ鎖を延長する前の画像を示す。

【図１９ｂ】 図１９（ｂ）は、エッジ鎖を延長した後の画像を示す。

【図２０ａ】 図２０（ａ）は、様々な程度のエッジ鎖のフィルタリングを施した画像である
。

【図２０ｂ】 図２０（ｂ）は、様々な程度のエッジ鎖のフィルタリングを施した画像である
。

【図２０ｃ】 図２０（ｃ）は、様々な程度のエッジ鎖のフィルタリングを施した画像である
。

【図２０ｄ】 図２０（ｄ）は、様々な程度のエッジ鎖のフィルタリングを施した画像である
。

【図２０ｅ】 図２０（ｅ）は、様々な程度のエッジ鎖のフィルタリングを施した画像である
。

【図２１ａ】 図２１（ａ）は、映像フレームにわたってエッジ鎖フィルタリングを行うプロ
セスを示す。

【図２１ｂ】 図２１（ｂ）は、映像フレームにわたってエッジ鎖フィルタリングを行うプロ
セスを示す。

【図２１ｃ】 図２１（ｃ）は、映像フレームにわたってエッジ鎖フィルタリングを行うプロ
セスを示す。

【手続補正書】

【提出日】平成１３年１２月１７日（２００１．１２．１７）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】削除

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１７

【補正方法】変更

【補正の内容】

【００１７】 （４．ハイブリッドセグメント化） ハイブリッド技術の目的は、今までの複数のセグメント化プロセスからのプロ
セスを組み合わせて画像セグメント化を改良することである。殆どのハイブリッ
ド技術は、エッジセグメント化と領域ベースのセグメント化との組み合わせであ
り、これらのプロセスのうち１つを用いて画像をセグメント化して、次に他のプ
ロセスを続けて行う。ハイブリッド技術は、１つのプロセスを単独で行う場合よ
りも良好なセグメントを生成しようとするものであるが、ハイブリッド方法では
、ユーザに有意な量の指導を行い、またセグメント化対象画像の知識も事前に必
要であるため、完全に自動化されたセグメント化用途には不適切であることが分
かっている。 簡単な記載に値する様々な参考文献が存在する。Ｇ．Ｗ．Ｃｏｏｋらによる、 「Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ Ｓｅｑｕｅｎｔｉａｌ Ｅｄｇｅ Ｌｉｎ
ｋｉｎｇ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎ
ａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣ ＩＰ）、Ｌｏｓ Ａｌｉｍｉｔｏｓ、ＵＳ、ＩＥＥＥ Ｃｏｍｐ．Ｓｏｃ．Ｐｒ ｅｓｓ、１９９５年１０月２３日、ｐａｇｅｓ４１−４４、ＸＰ０００６２４１ ７６、ＩＳＢＮ：０−７８０３−３１２２−２では、グレイスケール画像のエッ ジ検出が考慮される。Ｍ．Ｌｉらによる、「Ｐｙｒａｍｉｄ Ｅｄｇｅ Ｄｔｅ ｃｔｉｏｎ ｆｏｒ Ｃｏｌｏｒ Ｉｍａｇｅｓ」Ｏｐｔｉｃａｌ Ｅｎｇｉｎ ｅｅｒｉｎｇ、Ｓｏｃｉｅｔｙ ｏｆ Ｐｈｏｔｏ−Ｏｐｔｉｃａｌ Ｉｎｓｔ ｒｕｍｅｎｔａｔｉｏｎ Ｅｎｇｉｎｅｅｒｓ、Ｂｅｌｌｉｎｇｈａｍ、ＵＳ、 ｖｏｌ．３６、ｎｏ．５、１９９７年５月１日、ｐａｇｅｓ１４３１−１４３７ 、ＸＰ０００６９２３７６、ＩＳＳＮ：００９１−３２８６では、色画像内のエ ッジ検出の言及が見出される。Ｓ．Ｃｈｕｎらによる「Ｒｅｇｉｏｎ Ｃｏｍｐ ｅｔｉｔｉｏｎ：Ｕｎｉｆｙｉｎｇ Ｓｎａｋｅｓ、Ｒｅｇｉｏｎ Ｇｒｏｗｉ ｎｇ、ａｎｄ Ｂａｙｅｓ／ＭＤＬ ｆｏｒ Ｍｕｌｔｉｂａｎｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ、 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉ ｇｅｎｃｅ」、ｖｏｌ．１８、ｎｏ．９、１９９６年９月、ｐａｇｅｓ８８４− ９００では、グレイレベルでの画像セグメント化の問題は、連続的な閉じたエッ ジ輪郭を検出することを伴って、色またはテクスチャ画像が言及される。Ｊ．Ｐ ．Ｄｅｒｕｔｉｎらによる、「Ｅｄｇｅ ａｎｄ Ｒｅｇｉｏｎ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｐｒｏｃｅｓｓｅｓ ｏｎ ｔｈｅ Ｐａｒａｌｌ ｅｌ Ｖｉｓｉｏｎ Ｍａｃｈｉｎｅ Ｔｒａｎｓｖｉｓｉｏｎ」、Ｃｏｍｐｕ ｔｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ Ｍａｃｈｉｎｅ Ｐｅｒｃｅｐ ｔｉｏｎ、１９９３ Ｐｒｏｃｅｅｄｉｎｇｓ、１９９３年１１月、ｐａｇｅｓ ４１０−４２０では、輪郭チェーン生成が概説されている。この文献は、元の画 像からの指向性勾配を生成して、勾配の局所的な最大値（少なくとも２つの閾値 を使用して取り出された勾配の局所的最大値）のヒステリシス閾値を取り出すこ と、および連結されたエッジポイントのリンクされたリストを生成すること含む 。Ｅ．Ｓａｂｅｒらによる、「Ｆｕｓｉｏｎ ｏｆ Ｃｏｌｏｒ ａｎｄ Ｅｄ ｇｅ Ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ Ｉｍｐｒｏｖｅｄ Ｓｅｇｍｅｎｔａ ｔｉｏｎ ａｎｄ Ｅｄｇｅ Ｌｉｎｋｉｎｇ」１９９６ ＩＥＥＥ Ｉｎｔｅ ｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ、Ｓｐ ｅｅｃｈ、ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ−９６ ）、Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇｓ、 １９９６、ｖｏｌ．４ 、ｐａｇｅｓ２１７６−２１７９では、色画像内のエッジ検出は、各色チャンネ ル内のエッジを検出することによって実行され得、次いでその結果を重ね合わせ る。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ， ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ， ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ Ｈ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ， ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，Ｋ Ｇ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ， ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，Ｓ Ｄ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ， ＺＡ，ＺＷ (72)発明者 チェン， ジョン エス． アメリカ合衆国 カリフォルニア 94087， サニーベイル， ハノーバー アベニュ ー 873 (72)発明者 クック， デイビッド エル． アメリカ合衆国 カリフォルニア 94086， サニーベイル， ノース ウォルフェ ロード ナンバー817 355 Ｆターム(参考） 5B080 FA02 GA25 5L096 AA02 AA06 BA08 BA12 DA01 EA03 FA06 FA15 FA72 GA17 GA55

Claims (27)

【特許請求の範囲】
1. 【請求項１】 デジタル画像内のエッジを検出する方法であって、該デジタ
   ル画像は画素のアレイを含み、各画素は、画素位置および画素色値を有し、該エ
   ッジは該デジタル画像の１つのセグメントを表現する画素と該デジタル画像内の
   別のセグメント表現する画素との間の該アレイにおける遷移を表現し、該方法は
   、 １以上のフィルタリングされた画像を生成する工程であって、各フィルタリン
   グされた画像は、該複数のフィルタリングされた画像のそれぞれについて異なる
   フィルタを用いて該デジタル画像のフィルタリングの結果であり、該異なるフィ
   ルタは該デジタル画像から異なる解像度のセグメントを提供する、工程と、 該デジタル画像内の該画素のアレイの間で色シフトを識別することによって該
   デジタル画像内のエッジを識別する工程と、 該１以上のフィルタリングされた画像の該画素の間で色シフトを識別すること
   によって該デジタル画像内のさらなるエッジを識別する工程と、 該さらに識別された少なくともいくつかのエッジからの第２の解像度の該画像
   におけるさらに閉じたセグメント境界を生成する工程であって、 第２の解像度の画像の該少なくともいくつかの閉じたセグメントの境界は、第
   １の解像度の画像の閉じたセグメントの境界のサブセットである、 を含む、方法。
2. 【請求項２】 前記１以上のフィルタリングされた画像は、アイデンティテ
   ィフィルタを用いて生成された１つのフィルタリングされた画像を含む複数のフ
   ィルタリングされた画像であって、それにより該複数のフィルタリングされた画
   像の１つとして前記デジタル画像を含む、請求項１に記載の方法。
3. 【請求項３】 前記異なるフィルタは異なるスケールの解像度のフィルタで
   ある、請求項１に記載の方法。
4. 【請求項４】 前記異なるフィルタは、異なるウインドウサイズを有する平
   滑化フィルタである、請求項１に記載の方法。
5. 【請求項５】 前記異なるフィルタは、異なる画素解像度に間引き、それに
   より前記１以上のフィルタリングされた画像にわたって画素アレイのサイズを変
   動させる、請求項１に記載の方法。
6. 【請求項６】 前記フィルタは、 様々な勾配の多項式次数の勾配フィルタである、請求項１に記載の方法。
7. 【請求項７】 前記異なるフィルタはラプラジアンフィルタである、請求項
   １に記載の方法。
8. 【請求項８】 前記デジタル画像は、単色平面として表わされ、各画素色値
   は、該単色平面でシェードを表現するスカラー値によって表現される、請求項１
   に記載の方法。
9. 【請求項９】 画素に対する各画素色値は、多成分ベクトルであり、該画素
   に対する前記スカラー値は該画素色値ベクトルの成分の関数である、請求項８に
   記載の方法。
10. 【請求項１０】 前記画素色値ベクトルの成分の関数は、照度関数である、
    請求項９に記載の方法。
11. 【請求項１１】 前記画素色値ベクトルの成分の関数は、加算である、請求
    項９に記載の方法。
12. 【請求項１２】 前記画素色値ベクトルの成分の関数は、重み付き加算であ
    る、請求項９に記載の方法。
13. 【請求項１３】 デジタル画像内のエッジを検出する方法であって、該デジ
    タル画像は、画素のアレイを含み、各画素は、画素領域および画素色値を有し、
    エッジは該デジタル画像の１つのセグメントを表現する該画素と該デジタル画像
    の別のセグメントを表現する画素との間のアレイの境界を表現し、 該デジタル画像のエッジポイントを識別する工程であって、該エッジポイント
    は、画素領域であるポイント領域間の画素の該アレアレイ内のポイントである、
    工程と、 より多くの所定のクラスのエッジポイントおよびより少ない所定のクラスのエ
    ッジポイントを含む複数のエッジポイントのクラスを識別する工程であって、該
    より多くの所定のクラスにおけるエッジポイントは、該より少ない所定のクラス
    のエッジポイントよりも該デジタル画像のセグメントのエッジを表現する可能性
    がより高い、工程と、 エッジポイントチェーンを形成するための該より多くの所定のクラスの隣接す
    るエッジポイントをリンクすることによってエッジを識別する工程と、 ギャップがエッジポイントチェーン間に存在する場合、該より少ない所定のク
    ラスにおいてエッジポイントを識別して該エッジポイントチェーンにおけるギャ
    ップを測定する、工程と、 該デジタル画像内で該エッジの表現として該エッジポイントチェーンを用いる
    工程と を含む、方法。
14. 【請求項１４】 前記画素アレイは、矩形アレイであり、該画素アレイにお
    いて４つの互いに隣接する画素によって規定される矩形の中心に各エッジポイン
    トを位置付ける工程をさらに含む、請求項１３に記載の方法。
15. 【請求項１５】 前記複数のクラスは２より多くのクラスを含み、各クラス
    が、他のクラスの相対的確実性から整列可能で異なる各クラスの相対的確実性を
    有する該クラス内の前記エッジポイントに関連付けられる相対的確実性を有し、
    該方法は、より少ない所定のクラスのエッジポイントが用いられる前であるが、
    より多くの所定のクラスエッジポイントが用いられた後にエッジチェーンを結合
    する際に用いるためのクラス内のエッジポイントを識別する工程をさらに含む、
    請求項１３に記載の方法。
16. 【請求項１６】 デジタル画像内のエッジを検出する方法であって、該デジ
    タル画像は画素のアレイを含み、各画素は、画素領域および画素色値を有し、画
    素色値は、色空間においてベクトルとして表現可能であり、エッジは該デジタル
    画像の１つのセグメントを表現する該画素と該デジタル画像の別のセグメントを
    表現する画素との間のアレイの境界を表現し、該方法は、 該デジタル画像を複数の色平面画像に分離する工程と、 該色平面画像の各々をフィルタリングして各色平面に対する極値画像を形成す
    る工程であって、極値画像は該画素のアレイに対応する値のアレイであり、該画
    素のアレイに対応する値のアレイは、画素のアレイの対応する位置における極値
    を表現する、工程と、 該複数の極値画像を組み合わせて合成極値画像を形成する工程であって、 所与画素に対して、各色平面に対する別の画像の値のアレイから対応する値の
    変更されベクトル追加を実行する工程を含み、 該変更されたベクトル追加は、閾値テストを満たす場合、追加の前に値の符号
    を取り出す工程を含む、工程と、 該合成極値画像を用いて該デジタル画像内のエッジを検出する工程と を含む、方法。
17. 【請求項１７】 前記複数の色平面は、２つ以上の色平面である、請求項１
    ６に記載の方法。
18. 【請求項１８】 前記複数の色平面は、３つの色平面である、請求項１６に
    記載の方法。
19. 【請求項１９】 前記複数の色平面は、輝度色平面および２つのクロミナン
    ス色平面を含む、請求項１６に記載の方法。
20. 【請求項２０】 前記複数の色平面は、赤色平面、青色平面、および緑色平
    面を含む、請求項１６に記載の方法。
21. 【請求項２１】 前記複数の色平面は、シアン色平面、黄色平面、マジェン
    タ色平面、および黒色平面を含む、請求項１６に記載の方法。
22. 【請求項２２】 デジタル画像内のエッジを検出する方法であって、該デジ
    タル画像は画素のアレイを含み、各画素のアレイは画素領域および画素色値を有
    し、各画素色値は、色空間においてベクトルとして表現可能であり、エッジは、
    該デジタル画像の１つのセグメントを表現する画素と該デジタル画像の別のセグ
    メントを表現する画素との間で該アレイの境界を表現し、該方法は、 該デジタル画像を複数の色平面画像に分離する工程であって、該色平面画像は
    画素色値ベクトルの１成分に対応する画素値を有する画素のアレイである、工程
    と、 １以上のフィルタリングされた画像を生成する工程であって、各フィルタリン
    グされた画像は該複数のフィルタリングされた画像のそれぞれについて異なるフ
    ィルタを使用して該色平面画像の１つをフィルタリングした結果であって、該異
    なるフィルタは該デジタル画像からのセグメントの異なる解像度を提供する、工
    程と、 該色平面画像内の該画素のアレイ間の色シフトを識別することによって該デジ
    タル画像内のエッジを識別する工程と、 少なくともいくつかの該識別されたエッジからの第１の解像度の色平面画像の
    閉じたセグメント境界を生成する工程であって、 少なくともいくつかの該識別されたエッジおよび閉じたセグメント境界は、第
    ２の解像度のフィルタリングされた色平面画像に伝播する、工程と 該１以上のフィルタリングされた画像の該画素のアレイ間の色シフトを識別す
    ることによって該デジタル画像内のさらなるエッジを識別する工程と 少なくともいくつかのさらに識別されたエッジからの第２の解像度の色平面画
    像のさらに閉じた境界を生成する工程であって、 第２の解像度の該色平面画像の該少なくともいくつかのさらに閉じたセグメン
    ト境界は、第１の解像度の該色平面の閉じたセグメント境界のサブセットである
    、工程と を含む、方法。
23. 【請求項２３】 デジタル画像内のエッジを検出する方法であって、該デジ
    タル画像は画素のアレイを含み、各画素は画素領域および画素色値を有し、各画
    素色値は、色空間においてベクトルとして表現可能であり、エッジは、該デジタ
    ル画像の１つのセグメントを表現する画素と該デジタル画像の別のセグメントを
    表現する画素との間にある該アレイの境界を表現し、該方法は、 該デジタル画像のエッジポイントを識別する工程であって、該エッジポイント
    は、画素領域であるポイント領域間で該画素のアレイ内のポイントである、工程
    と、 より多くの所定のクラスのエッジポイントおよびより少ない所定のクラスのエ
    ッジポイントを含む複数のクラスのエッジポイントを識別する工程であって、該
    より多くの所定のクラスのエッジポイントは、該より少ない所定のクラスのエッ
    ジポイントよりも該デジタル画像のセグメントのエッジを表現する可能性がより
    高く、該エッジポイントのクラスは、該エッジポイント付近の画素に対する画素
    色値ベクトルの成分値の関数である、工程と、 エッジポイントチェーンを形成するために該より多くの所定のクラスの隣接す
    るエッジポイントをリンクすることによってエッジを識別する工程と、 エッジポイントチェーン間にギャップが存在する場合、該より少ない所定のク
    ラスおいてエッジポイントを識別して、該エッジポイントチェーン内のギャップ
    を測定する工程と、 該デジタル画像内の該エッジの表現として該エッジポイントチェーンを使用す
    る、工程と を含む、方法。
24. 【請求項２４】 デジタル画像内で物体のエッジによって規定される複数の
    セグメントに該デジタル画像をセグメント化する方法であって、該デジタル画像
    は、画素のアレイを含み、該画素は画素領域および画素色値を有し、該エッジは
    該デジタル画像の１つのセグメントを表現する画素と該デジタル画像の別のセグ
    メントを表現する画素との間で該アレイの遷移を表現し、該方法は、 エッジチェーンのセットを識別する工程であって、エッジチェーンは２つのセ
    グメント間の境界を表現し、少なくとも１つのエッジチェーンはセグメントを囲
    みかつ規定する閉じたループの一部ではない、工程と、 エッジチェーンにおけるギャップに対する最大許容可能な閾値を設定する工程
    と、 第１のブラシが任意のエッジチェーンをオーバーラップしないように該アレイ
    内の第１の領域において該第１のブラシを配置する工程であって、該ブラシは、
    該アレイにわたって移動可能な画素インドウであり、該第１のブラシは、該第１
    のブラシがエッジチェーンと重なることなく該最大許容可能な閾値よりも広くな
    いエッジチェーンにおけるギャップを通過できないような画素インドウの大きさ
    である、工程と、 画素をセグメントに関連付ける工程であって、該セグメントに関連付けられる
    各画素は、該第１のブラシが、該第１のブラシの幅よりも小さいギャップを通過
    する必要なく、該第１の領域から該第１のブラシによって到達可能な画素である
    、工程と、 該アレイ内の第２および以後の領域に配置された該第１のブラシを使用して他
    の画素を他のセグメントに関連付ける工程と、 該アレイの第２の領域および以後の領域に位置付けられる該第１のブラシを用
    いて他の画素を他のセグメントに関連付ける工程と、 該位置付け工程および関連付け工程において未だ関連付けられていない画素を
    関連付けるために、該第１のブラシよりも小さい第２のブラシを用いて該位置付
    けする工程および関連付ける工程を繰り返す工程と、 を含む、方法。
25. 【請求項２５】 前記第１のブラシは矩形画素インドウであり、該矩形画素
    インドウの各辺は、前記最大許容可能閾値よりも１つ大きい画素数である、請求
    項２４に記載の方法。
26. 【請求項２６】 前記繰り返す工程は、単一画素の領域を有するブラシが使
    用されるまで連続的により小さいブラシを用いて実行される、請求項２４に記載
    の方法。
27. 【請求項２７】 前記繰り返しの処理が各ブラシについて実施された後に画
    素がまた、割り当てられていない場合、割り当てられていない画素をセグメント
    に割り当てる工程をさらに含む、請求項２６に記載の方法。