JP2007287145A - 形状比較装置および形状比較方法 - Google Patents

Abstract

【課題】２つの対象物体の外形情報に基づいてそれら対象物体の類似度を計算することができる形状比較装置および形状比較方法を提供する。
【解決手段】画像に描かれた物体の外形を順序付き外形プリミティブシーケンスに変換して表現し、外形プリミティブおよび外形プリミティブの構成に関する属性値を計算し、多角形のプリミティブの順番を保ちながら、外形間の類似度を計算する。また、入力が画像に描かれた物体の外形ではなく画像に描かれた物体の場合、入力された画像に描かれた物体における画像に描かれた物体の外形を抽出する。
【選択図】図１

Description

本発明は、形状比較装置および形状比較方法に関し、特に、外形の分解および一致に基づいて形状認識および形状比較を行う方法およびその方法に関する。

（関連分野の考察）
画像認識および画像検索は、例えば、エンターテインメント、ビジネス、アート、ならびにエンジニアリングおよびサイエンス等の多くの応用分野において増え続ける画像アプリケーションの重要性、および、増え続ける画像数が要因となって、近年、主要な研究分野になっている。画像認識および画像検索における根本的な問題は、画像比較に用いられる技術にある。現在、画像認識および画像検索に用いられる３つの一般的な特徴は、形状、色およびテクスチャである。画像検索に関する最近のユーザ調査は、ユーザが色およびテクスチャによる検索よりも形状による検索により関心があることを示している。物体の形状情報は、画像の検索および認識を大変強力に支援し得るが、人が画像コンテンツをキャプチャーしそのコンテンツに基づいて検索することの容易性については、完全に理解されていなかった。結果としてこれまでのところ、人の認識方法に基づいて、自動的に検索および認識を行うことが不可能であった。したがって、どのように画像に描かれた物体の形状特徴を十分かつ効果的に描写するかに関しては、未だ、解決すべき懸案事項のままである。

形状マッチング（ｓｈａｐｅ ｍａｔｃｈｉｎｇ）は、例えば、コンピュータ・ビジョン、パターン認識およびロボット工学等の多くのビデオ情報処理システムにおいて、中心的な問題である。形状マッチングの応用としては、工業生産の検査、指紋照合、画像認識および画像検索が挙げられる。この挑戦的な形状マッチングに関する問題に取り組むために、研究者が多くの方法を提案している。

既存の形状特徴のうちの１つとして、非特許文献１に記載されているフーリエ記述子は、周波数領域の特徴に従って、外形を描写する。この方法は、画像に描かれた物体の外形についてフーリエ変換し、その画像に描かれた物体を変換係数で記述する。

米国特許第６，８０１，６６１号明細書 米国特許第４，７８３，８２９号明細書 米国特許第６，００４，１７１号明細書 Ｈ．Ｋａｕｐｐｉｎｅｎ、Ｔ．Ｓｅｐｐａｎｅｎ、およびＭ．Ｐｉｅｔｉｋａｉｎｅｎ著、「Ａｎ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ ａｎｄ Ｆｏｕｒｉｅｒ−ｂａｓｅｄ Ｄｅｓｃｒｉｐｔｏｒｓ ｉｎ ２−Ｄ Ｓｈａｐｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓｃａｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第１７巻、１９９５年、２０１〜２０７頁 Ｆ．Ｍｏｋｈｌａｒｉａｎ著、「Ｓｉｌｈｏｕｅｔｔｅ−Ｂａｓｅｄ Ｉｓｏｌａｔｅｄ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｔｈｒｏｕｇｈ Ｃｕｒｖａｔｕｒｅ Ｓｃａｌｅ Ｓｐａｃｅ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，第１７巻、１９９５年、５３９〜５４４頁 Ｅ．Ｍｉｌｉｏｓ、Ｅ．Ｐｅｔｒａｋｉｓ著、「Ｓｈａｐｅ Ｒｅｔｒｉｅｖａｌ Ｂａｓｅｄ ｏｎ Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ」、ＩＥＥＥ Ｔｒａｎｓｃａｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第９巻、２０００年、１４１〜１４７頁

しかしながら、フーリエ記述子それ自体は、アフィン不変量（ａｆｆｉｎｅ ｉｎｖａｒｉａｎｔ）ではない。回転および位置の不変性を得るための一般的な解決方法は、得られた結果の位相情報を取捨することである。尺度不変性（ｓｃａｌｅ ｉｎｖａｒｉａｎｃｅ）は、変換因子の振幅を規格化することで得られる。ユークリッド距離は、類似度を測定するために用いられる。

別の形状特徴として、Ｆａｒｚｉｎ Ｍｏｋｈｌａｒｉａｎ（非特許文献２を参照のこと）は、形状特徴を抽出する曲率尺度空間（ＣＳＳ）法を提案している。この方法は、異なる尺度のもとで外形線の曲率を計算し、この曲率情報に従って形状特徴を構築し、その結果、アフィン不変量およびより良いノイズ除去特性を獲得する。しかしながら、この方法は、単にイメージの外形を処理される物体として取得するだけであり、この外形に含まれるコンテンツを考慮できていない。したがって、取得された特徴が全ての辺に関する特徴ではないため、これらの特徴だけでは、通常、画像をマッチングさせる十分な効果を得ることは困難である。

特許文献１では、特定の関連するセグメントの形状属性を使って、画像のコンテンツを描写する方法が提示されている。この方法は、自動的に知覚的に重要な構成要素を１つ以上同定するために、画像内の各セグメントを分析し、フーリエ記述子を使って各構成要素を描写する。このプロセスを繰り返すことにより、画像は、その画像の特徴付けられたセグメントの構成要素へ変換される。この技術は、これらのセグメントの形状特徴に基づいて画像を取得し検索するために使用され得る。

特許文献２では、姿勢回転（ａｔｔｉｔｕｄｅ ｒｏｔａｔｉｏｎ）を伴うパターンマッチングの問題を解決するための垂直領域ベースのマッチング方法が提示されている。まず、物体パターンの内部外形および外部外形が多角形近似され、パターンの姿勢回転を描写するために、多角形近似された外形内で特徴のある多角形頂点が決定される。マッチングにおいて、ピクセルを用いるかわりに多角形頂点を用いて２つの多角形の共通領域を取得し、これらの２つの形状の類似度を取得する。

特許文献３では、物体の形状を記述するための複数尺度空間ベース方法（ｍｕｌｔｉｐｌｅ ｓｃａｌｅ ｓｐａｃｅ ｂａｓｅｄ ｍｅｔｈｏｄ）が提示されている。外形曲線を認識するために、反復的なパラメータ化処置および変換処置が、互いに独立なフーリエ記述子セットを作るために使用され、対象物体の外形が、この記述子セットの空間に従って記述される。フーリエ記述子セットベースの方法は、効果的な認識および比較を可能にする特性を有すると言われていた。

上述のようなグローバルな属性ベースの方法は、多くの場合、形状の知覚的側面をモデリングすることに限定される。最近では、例えば、エッジおよび外形等のローカルな属性ベースの方法にますます注目が集まっている。これらの方法の基本的な考え方は、対象物体から突出した可視部分を抽出し、２つの対象物体の部分の間で一致を確立し、それらに基づいて類似度を計算するものである。

非特許文献３を参照すると、ＭｉｌｉｏｓおよびＰｅｔｒａｋｉｓは、入力された外形形状を、順序付き凹凸曲線セグメントにセグメント分けし、この凹凸曲面セグメントを構築することによって外形の類似度を計算している。隣接するセグメントの統合（ｍｅｒｇｅ）操作は、マッチング処理において重要な役割を担うが、この操作は所定のルールに限定される。これに加えて、曲線セグメントの幾何学的特徴は十分に効果的ではない。

［発明の要約］
本発明は、２つの対象物体の外形情報に基づいてそれら対象物体の類似度を計算することができる形状比較装置を提供する。この装置に関して、形状特徴に基づいて画像認識および画像検索が可能になる。

本発明の目的を達成するため、本発明による形状比較装置は、画像に描かれた物体またはそれらの外形を入力として受け取る。入力である画像に描かれた物体に関して、この装置はまず、入力された画像に描かれた物体の外形を抽出する。その結果、この入力は、境界ピクセルの順序付き座標シーケンス（ｏｒｄｅｒｅｄ ｃｏｏｒｄｉｎａｔｅ ｓｅｑｕｅｎｃｅｓ）へ標準化される。本発明にしたがって、外形がまず、多角形として近似され、属性値が、各多角形頂点に割り当てられ、その結果、この多角形が、属性付き文字列（ａｔｔｒｉｂｕｔｅｄ ｓｔｒｉｎｇ）へ変換される。マッチングの間、文字列マッチング技術が、多角形間の一致を確立するために使用され、これら多角形間の類似度が、その一致に基づいて計算される。

本発明によると、本形状比較装置は、画像に描かれた物体の外形を多角形として近似する、すなわち、この画像に描かれた物体の外形を順序付き外形プリミティブシーケンスに変化させて描写する多角形近似手段と、外形プリミティブおよび外形プリミティブの組合せに関する属性値を計算する属性生成手段と、多角形の一致を確立して、外形間の類似度を計算する比較手段と、を備える。

本発明によると、形状比較方法は、画像に描かれた物体の外形を多角形として近似する、すなわち、この画像に描かれた物体の外形を順序付き外形プリミティブシーケンスに変化させて描写する多角形近似ステップと、外形プリミティブおよび外形プリミティブの組合せに関する属性値を計算する属性生成ステップと、多角形の一致を確立して、外形間の類似度を計算する比較ステップと、を含む。

多角形近似手段は、入力された画像に描かれた物体の外形を多角形へ変換する。既存の最適化された多角形近似方法のいくつかは、この手段において適用され得る。しかしながら、それらの方法の大部分が、多大な時間を必要とし、ノイズおよび画像のひずみ（ｄｉｓｔｏｒｔｉｏｎ）が原因で、未だ分割不一致（ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎｃｏｎｓｉｓｔｅｎｃｉｅｓ）が存在する。分割統合法（ｓｐｌｉｔ−ａｎｄ−ｍｅｒｇｅ ｍｅｔｈｏｄ）は、その簡易さおよび高速さが理由で、画像の外形に対して多角形近似を行うために、本発明において用いられる。この方法の頑健性を高めるため、外形中のより曲率の大きい点（ｈｉｇｈｅｒ ｃｕｒｖａｔｕｒｅ ｐｏｉｎｔ）が、分割統合処置の開始位置として用いられている。

多角形近似をした後、外形が、順序付き頂点によって完全に描写され得る多角形へと単純化される。多角形内の各頂点は、２つの交線セグメント（ｉｎｔｅｒｓｅｃｔｉｎｇ ｌｉｎｅ ｓｅｇｍｅｎｔｓ）に対応する。それらに対応する１つの頂点と２つの辺は、本発明において外形プリミティブとして定義される。この場合、外形プリミティブおよび隣接するいくつかの外形プリミティブの組合せの両方が、実質的にポリラインである。属性生成手段のタスクは、各外形プリミティブおよび隣接するいくつかの外形プリミティブの組合せに関する属性値を定義すること、換言すると、それらの幾何学的特徴をポリラインで記述することである。２種類の属性、すなわち、回転関数（ｔｕｒｎｉｎｇ ｆｕｎｃｔｉｏｎ）、および、ポリラインの凹凸度（ｃｏｎｖｅｘｉｔｙ／ｃｏｎｃａｖｉｔｙ ｄｅｇｒｅｅ）が、本発明において用いられる。これら２つの特徴の両方とも、知覚的に重要であり、ポリラインから迅速に抽出することができる。

多角形近似と属性生成をした後、入力された画像に描かれた物体の外形は、プリミティブに対応する各文字で、合理的に属性付き文字列へ変換される。マッチング手段において、属性付き文字列マッチング技術（すなわち、動的プログラミング（ＤＰ）マッチング技術（ｔｅｃｈｎｉｃａｌ））が、ポリライン（すなわち、プリミティブまたはプリミティブの組合せ）の一致を確立するために使用され、これら外形間の類似度が計算される。多角形近似手段において生じる分割の不一致の問題を解決するために、比較手段において、統合操作が実施される。すなわち、統合操作は、複数のプリミティブに対応する外形プリミティブ、または、別の複数のプリミティブに対応する複数のプリミティブを考慮する。従来の方法において、統合された文字列間の距離は、通常、経験に基づいて統合コスト値を導入することによって近似的に計算されるので、距離計算の一貫性を保つことが困難である。一方で、本発明においては、ポリライン（外形プリミティブまたは外形プリミティブの組合せ）の属性値は、リアルタイムで計算されるので、距離測定の一貫性が得られる。属性付き文字列による外形の描写に関する別の問題とは、どのように属性付き文字列の開始位置を決定するかである。この問題は、本発明において、環状文字列マッチング技術（ａｎｎｕｌａｒ ｓｔｒｉｎｇ ｍａｔｃｈｉｎｇ ｔｅｃｈｎｉｑｕｅ）を用いて解決される。

［好ましい実施形態の詳細な説明］
本発明の好ましい実施形態を、以下に添付の図面を参照して説明する。

図１は、本発明にしたがって、外形の分解および一致に基づいて形状比較する装置の構造概略図である。この装置の入力は、画像に描かれた物体または画像に描かれた物体の外形であり、出力がこれらの類似度となる。この機能を獲得するために、本装置は、以下の３つの手段、（１）入力された外形を多角形として近似する多角形近似手段と、（２）外形プリミティブおよび外形プリミティブの構成に関する属性値を計算する属性生成手段と、（３）多角形の一致を確立して、外形間の類似度を計算する比較手段とを備える。

本発明によると、本装置の入力は、画像に描かれた物体または画像に描かれた物体の外形のみであり得る。ここで、画像に描かれた物体の外形は、或る物体の外形ピクセルの座標値シーケンスを意味し、座標値シーケンスが順序付けされる。すなわち、外形ピクセルの順序付き座標値シーケンスとなる。加えて、本発明に従う形状比較装置は、画像に描かれた物体外形抽出手段をさらに備える。入力が画像に描かれた物体の場合は、この画像に描かれた物体の外形が、最初に抽出されるべきである。つまり、この物体の外形ピクセルの順序付き座標値シーケンスが抽出されるべきである。いくつかの従来技術が、画像に描かれた物体の外形を抽出するために使用され得る。Ｌｕｃｉａｎｏ ｄａ Ｆｏｎｔｏｕｒａ ＣｏｓｔａおよびＲｏｂｅｒｔｏ Ｍａｒｃｏｎｄｅｓ Ｃｅｓａｒ Ｊｒ．著、「Ｓｈａｐｅ Ａｎａｌｙｓｉｓ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ：Ｔｈｅｏｒｙ ａｎｄ Ｐｒａｃｔｉｃｅ」、ＣＲＣ Ｐｒｅｓｓ ＬＬＣ、３４１〜３４７頁を参照のこと。

１． 多角形近似ユニット
このユニットのタスクは、画像に描かれた物体の外形を多角形で近似して描写することである。つまり、画像に描かれた物体の外形を順序付き外形プリミティブシーケンスとして描写することである。従来技術の多角形近似方法のいくつかが、この機能を達成するために使用され得る。本発明は、分割統合法の簡易性および高速性のため、多角形近似を行うために分割統合法を用いる。Ｌ．Ｆ．Ｃｏｓｔａ、Ｒ．Ｍ．Ｃｅｓａｒ著、「Ｓｈａｐｅ Ａｎａｌｙｓｉｓ ａｎｄ Ｃｌａｓｓｆｉｃａｔｉｏｎ：Ｔｈｅｏｒｙ ａｎｄ Ｐｒａｃｔｉｃｅ」、ＣＲＣ Ｐｒｅｓｓ ＬＬＣ、３５４〜３６５頁を参照のこと。

分割統合法は、反復処置を経て外形の多角形近似を達成する。まず、全体の外形を２つの曲線セグメントに分割するために、２つの開始点が外形中から選択され、次いで、これら曲線セグメント上のピクセル点から曲線に対応する対辺までの距離が所定の閾値の範囲内に入るまで、これら曲線セグメントが、繰り返し、より小さな曲線セグメントへと分割される。換言すると、これらの曲線セグメントが、受容可能なエラー範囲内にて、線で近似される。分割プロセスの後、セグメンテーションエラーを解決するため、特に、不必要な頂点を除去することで統合操作が行われる。

しかしながら、この方法によって得られた近似結果は開始点と密接に関連するので、できる限り分解結果の不一致を減らすために、開始点の選択は注意する必要がある。本発明において、外形曲線上の高い曲率値を有する点が、分割統合法の開始点（開始位置とも呼ばれる）とされる。例えば、降順に並べられた曲率値を有する上位Ｎ個の点（すなわち、最大の曲率値を有する最前列のＮ個の点）を選択するか、あるいは、特定の閾値よりも大きい曲率値の点の全てを選択する。

簡潔に述べると、多角形近似ユニットは、２つのステップ、（１）外形上の各ピクセルの曲率値を計算するステップと、（２）高い曲率を有する点を入力として用い、外形を多角形として近似するために分割統合法を実行するステップと、を含む。図２は、この手段の操作フローを示す。

１．１． 曲率計算
曲線上の特定の点の曲率値を計算するため、多くの方法が使用され得る。直観的（ｉｎｔｕｉｔｉｏｎｉｓｔｉｃ）方法が、本発明に従う一実施形態において曲率値を直接計算するために採用される。Ｐ_i＝｛（x_i,y_i）,ｉ＝ｌ，Λ，Ｎ｝を画像に描かれた物体の外形の座標シーケンスと仮定すると、外形上の点ｐ_iの曲率値が、以下のように、その点に隣接する外形の点に基づいて計算され得る。

１． 正接方向計算

仮に上記数式とする場合、点ｐ_iの正接方向は、θ_i＝arctan(dy_i/dx_i)である。

２． 曲率計算

仮に上記数式とする場合、点ｐ_iの曲率値は、ｃ_i＝ｄθ_i／ｄｌ_iである。

本発明において、上記計算におけるパラメータＭの値は、７にセットされ得る。

次に、高い曲率値を有する点が選択され、それらの座標が、分割統合処置のための入力として使用される。単純な規則が、高い曲率値を有する点を選択するために使用され得る。本発明において、０．０８の閾値よりも大きい曲率値を有する全ての点が、開始点として使用される。図３Ａは、丸で印付けてある高い曲率値を有する点の検出結果を提供する。

上で得られたより高い曲率値を有する点は、順番に同じ方向へ、外形のピクセル点として配列されるべきである。換言すると、これらの点は、画像に描かれた物体の外形のピクセル点が時計方向にある場合に、時計方向に順序付けされるべきであり、逆の場合もまた同様である。

１．２． 分割統合（Ｓｐｌｉｔ−ａｎｄ−Ｍｅｒｇｅ）
分割（ｓｐｌｉｔ）操作は、反復される手順である。この操作は開始点からずっと、曲線セグメント上のピクセル点からその曲線に対する対辺までの距離が所定の閾値よりも大きいかどうかを、繰り返し確認する。距離が閾値よりも大きい場合、最遠距離にて、曲線セグメントをより小さな２つの曲線セグメントへ分割する。ｐ_i，ｉ＝ｌ，．．．，Ｍは、上記のように得られた高い曲率値を有する順序付けされた点とする。

本発明の一実施形態によれば、以下に示すように、２つのスタックが、分割操作を完結させるために採用される。

すなわち、２つのスタック、「ｃｌｏｓｅｄ」と「ｏｐｅｎ」が使用され、まず、高い曲率値を有する第１の点を、スタック「ｃｌｏｓｅｄ」内にプッシュし、そして、高い曲率値を有する次に続くＭ〜１に順序付けされた点を、スタック「ｏｐｅｎ」内にプッシュすることで初期化を実行する。そして次に、以下の操作が繰り返し実行される。

分割統合は、分割操作および統合操作の反復処置である。ここで、統合操作まで保持された頂点が、分割操作へ入力される分割操作の開始点として使用され、分割操作において得られた頂点が、確認のために統合操作へ入力される。この反復は、頂点の修正が行われなくなるまで繰り返される。

分割統合モジュールの詳細なプロセスは、以下のとおりである。

すなわち、２つのスタック、「ｃｌｏｓｅｄ」と「ｏｐｅｎ」が使用され、まず、高い曲率値を有する点を、スタック「ｏｐｅｎ」内に順次プッシュすることで初期化を実行する。次に、反復的に分割統合処置が実行される。

（分割操作）前述の分割操作処置の初期化における要求に従って、第一の頂点が、スタック「ｏｐｅｎ」からポップアウトされ、スタック「ｃｌｏｓｅｄ」内へプッシュされる。そしてこの頂点が、分割操作が繰り返し実行されるための初期値として取得される。

（統合操作）分割操作が完了した後、スタック「ｏｐｅｎ」は空になり、全ての頂点が、スタック「ｃｌｏｓｅｄ」内に格納される。その結果、スタック「ｃｌｏｓｅｄ」内の点が統合される。その後、得られた新たな頂点のグループが、スタック「ｏｐｅｎ」内へ移動される。

このプロセスは、スタック「ｏｐｅｎ」のコンテンツにおいて修正が行われなくなるまで、繰り返される。

反復の後、最後に得られた頂点が、スタック「ｏｐｅｎ」内に格納される。図３Ｂは、多角形近似の例を示す。

多角形描写において、多角形の各頂点は、多角形の２つの交差する辺に対応する。本発明において、１つの頂点および対応する２つの辺は、外形プリミティブとして定義される。この場合、外形プリミティブおよび隣接するいくつかの外形プリミティブの組合せの両方とも、実質的にポリラインである。図３Ｃは、図３Ｂにおける多角形の構成要素となる全ての構成プリミティブを示す。

分割統合モジュールは、以下の外形プリミティブ情報をその出力結果として格納する。

（１）各頂点の座標

（２）外形プリミティブにおける多角形の２つの辺の方向
ｐ_i-1ｐ_iｐ_i+1を多角形の隣接する３つの頂点と仮定すると、ｐ_iの前辺（former side）への方向は、 ｐ_i-1からｐ_iへ方向付けて定義される。反対に、ｐ_iの後辺（later side）への方向は、ｐ_iからｐ_i+1へ方向付けて定義される。

（３）外形プリミティブにおける多角形の２つの辺の標準化された長さ
外形プリミティブにおける２つの辺の長さは、ぞれぞれ、現在の頂点から前の頂点および後ろ頂点までの半分の距離として定義される。さらに、これらの距離は、外形の長さの合計から標準化される。

２． 属性生成ユニット
多角形近似の後、入力された画像に描かれた物体の外形は、順序付きプリミティブシーケンスによって表示され、単一の外形プリミティブ、および、隣接するいくつかのプリミティブの組合せの両方が、実質的にポリラインである。属性生成ユニットのタスクは、属性値をこれらの外形プリミティブに割り当て、その結果、それらを属性付き文字列へ変換する。本発明において、２つの属性（すなわち、回転関数および凹凸度）が使用される。これら２つの属性は、不ぞろいなあらゆるポリラインを記述するために使用され得る。その結果、単一の外形プリミティブ、および、いくつかのプリミティブの組合せの両方に適用可能である。

２．１ 回転関数
ポリラインの回転関数は、辺の長さを独立変数とし、ポリラインの各辺の傾斜角度とＸ軸を値域（ｖａｌｕｅ ｄｏｍａｉｎ）とする。この関数の値が辺の回転が外形方向に一致しているとき、例えば、すべてが時計軸方向または逆時計軸方向にあるときは増加し、また回転が外形方向の反対であるときは関数の値が減少するようにして、外形多角形の各辺の回転を追跡し続ける。ポリラインに対して、回転関数は、区分定数機能（ｐｉｅｃｅｗｉｓｅ ｃｏｎｓｔａｎｔ ｆｕｎｃｔｉｏｎ）であり、増加および減少は、ポリラインの頂点に対応する位置においてのみ生じ、隣接する２つの頂点間では一定である。

回転関数に関しては、Ｒ．Ｃ．Ｖｅｌｔｋａｍｐ、Ｍ．Ｈａｇｅｄｏｏｒｎ著、「Ｓｔａｔｅ−ｏｆ−ｔｈｅ−ａｒｔ ｉｎ Ｓｈａｐｅ Ｍａｔｃｈｉｎｇ」、Ｍ．Ｌｅｗ編、Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｖｉｓｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ，Ｓｐｒｉｎｇｅｒ、２００１年、８７〜１１９頁を参照のこと。

上述のとおり、外形プリミティブ、および、いくつかの外形プリミティブの組合せの両方とも、実質的にポリラインであり、その結果、それらは、回転関数によって記述され得る。対応する変更機能を、外形プリミティブの２つの辺の方向として生成することは容易であり、それらの標準化された長さは、多角形近似ユニットにおいて記録される。

２つのポリラインの間の距離は、回転関数に基づいて計算され得る。２つの閉じた形状外形ＡとＢを仮定すると、ａ_i,jおよびｂ_k,lは、それぞれ、ａ_iからａ_jの外形プリミティブおよびｂ_kからｂ_lの外形プリミティブから構成された統合外形プリミティブとなり、そして、Θ_a(s)およびΘ_b(s)は、それぞれ、これら２つの統合外形プリミティブの回転関数となる。外形関数は、まず、ユニット長へ標準化され、その外形関数に基づいて２つのポリライン間の距離が、以下によって与えられる。

ここで、θは、上の積分の値を最小化する回転角であり、以下のように示される。

この距離測定は、形状比較に必要な、回転度、尺度、および並進不変量を有することが明らかである。

図４は、２つのポリラインの回転関数および対応する距離計算を示す。

２．２． 凹凸度
画像に描かれた物体の外形の多角形描写において、各外形プリミティブは、凸型または凹型として同定され得る。直観的に、外形プリミティブの同じ凸（凹）型間で一致を確立することがより適当であると考えられる。しかしながら、画像のノイズおよびひずみが原因で、多くの場合、一対多数または多数対多数のプリミティブ間で一致を確立する必要があり、これらのプリミティブは、異なる型のプリミティブであり得る。例えば、図５に示されるように、ゆがみの影響が原因で、１つの画像に描かれた物体の外形中の１つのプリミティブが、別の画像に描かれた物体の外形中の異なる３つの凹凸型のプリミティブに対応している。この場合、この３つのプリミティブは、一緒の統合されるべきであり、第一のイメージ外形中のプリミティブとマッチングされるべきである。

しかしながら、すべての統合およびマッチングが適当であるわけではない。多くの状況において、統合は、間違った結果を導き得る。本発明において、凹凸度は、統合およびマッチング操作の正当性（ｒｅａｓｏｎａｂｉｌｉｔｙ）を測定するために用いられる。測定は、このような適切な統合およびマッチング操作の背景もとで進められる同時に、不適切な統合およびマッチング操作が、厳しい罰則によって抑えられている。

仮にａ_i,jを、ａ_iからａ_jまでの外形プリミティブを構成要素とする統合プリミティブとする場合、ａ_i,jの凹凸度は、以下のように定義される。

（１）入力として点セットａ_i，．．．，ａ_jを用いて、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）を計算する。

多くの従来技術の方法が、点セットの凸包を計算するために使用され得る。本発明は、グラハムのアルゴリズム（Ｇｒａｈａｍ’ｓ ａｌｇｏｒｉｔｈｍ）を採用する。Ｊ．Ｏ’ｒｏｕｒｋｅ著、「Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃ」、Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、７２〜８７頁を参照のこと。

（２）凸包の内部領域をスキャンし、この領域中の閉じた外形の内側および外側の領域が、個別に計算され、ＩｎＡおよびＯｕｔＡとして示される。この外形プリミティブの凹凸度は、以下のように定義される。
ｃ（ａ_i,j）＝（InＡ−OutＡ）／（InＡ＋OutＡ）

明らかに、凹凸度の値域は、−１から１までであり、−１および１は、それぞれ凹面プリミティブおよび凸面プリミティブを表す。凹凸度の属性は、回転、並進および尺度の変化に関する不変量である。図６は、この属性の計算プロセスの例を示す。

多角形の各頂点の座標は、多角形近似手段において記録される。これらの座標に関して、前述のプロセスを経て外形プリミティブの凹凸度を計算することは容易である。

２つの閉じた形状外形ＡとＢを仮定すると、ａ_i,jおよびｂ_k,lは、それぞれ、ａ_iからａ_jの外形プリミティブおよびｂ_kからｂ_lの外形プリミティブから構成された統合外形プリミティブとなる。この凹凸度の属性に従う２つのポリライン間の距離は、以下の通りである。
Dist_c(a_i,j,b_k,l)=｜c(a_i,j)-c(b_k,l)｜

本発明において、より簡単な別の凹凸度計算方法が提供される。ここで、多角形の頂点の凸包は、計算される必要はないので、計算速度を著しく促進させる。この方法は、以下に示される。

前述のとおり、外形プリミティブは、多角形の１つの頂点と多角形の２つの辺とから構成され、頂点は、これらの２つの辺が交わる点である。したがって、この頂点とこの２辺の他の２つの端点とは、三角形を構成する。この方法において、各外形プリミティブに対応する三角領域が事前に計算され、負の値が凹面プリミティブの領域とされる。ａ_i,jをａ_iからａ_jの外形プリミティブから構成された統合された外形プリミティブとする場合、Ａｒｅａ（ａ_i）は、外形プリミティブａ_tに対応する三角領域を表し、したがって、ａ_i,jの凹凸度は、以下のように定義される。

３． 比較ユニット
本発明において、多角形近似ユニットは、入力された画像に描かれた物体を順序付き外形プリミティブシーケンスへ変換し、属性生成ユニットは、外形プリミティブ（単一のプリミティブ、またはいくつかのプリミティブの組合せ）に関する属性を定義する。この場合、入力された画像に描かれた物体の外形は、属性付き文字列へ変換される。結果として、画像に描かれた物体の外形における類似度の比較が、外形プリミティブの一致を確立することで実現され得る。このような一致の確立は、実際は最小化が問題であり、これは、文字列マッチング技術または動的プログラミング技術によって実現され得る。

２つの文字列の長さｎおよびｍの距離を計算するために、動的プログラミング処置は、（ｎ＋１）×（ｍ＋１）次元のマトリックスＤ（ＤＰ表）を使用する。この表内の各セルＤ（ｉ，ｊ）は、第一文字列の前の要素ｉから構成されるサブ文字列と、第二文字列の前の要素ｊから構成されるサブ文字列との間の距離に対応する。標準的にＤＰ技術において、Ｄ（ｉ，ｊ）の値は、隣接する前の３つのセルの値から計算され、これら３つのセルから現在のセルまでの距離を編集する。つまり、
Ｄ（ｉ−１，ｊ−１）の値、およびＤ（ｉ−１，ｊ−１）からＤ（ｉ，ｊ）までの距離の合計を計算し、
Ｄ（ｉ，ｊ−１）の値、およびＤ（ｉ，ｊ−１）からＤ（ｉ，ｊ）までの距離の合計を計算し、
Ｄ（ｉ−１，ｊ）の値、およびＤ（ｉ−１，ｊ）からＤ（ｉ，ｊ）までの距離の合計を計算する。
最終的に、前述の３つの距離の合計の最小値が、Ｄ（ｉ，ｊ）の値としてとられる。

ノイズおよび画像のひずみが原因で、多角形近似において不一致は常に存在し得る。例えば、第一の外形中の１つのプリミティブは、第二の外形中のいくつかのプリミティブに対応するために歪みを生じ得る。２つの文字列をマッチングさせるために置換、挿入、削除の３つの基本操作のみを用いる標準的な文字列マッチング技術またはＤＰ技術は、このような状況において、間違いを起こし得る。本発明の実施形態において、統合操作が、この問題に取り組むために採用される。簡潔に言えば、いくつかのプリミティブがマッチングの間に１つのプリミティブに統合される場合に、多数対多数および一対多数のプリミティブのマッチングが達成されて、マッチングに参加する。現在利用可能な方法とは異なり、経験に基づいた統合コスト値によってだけではなく、その代わりに、属性値が、リアルタイムでのマッチング処置において統合プリミティブについて計算され、それにより、マッチング計算における整合性が保証される。

属性付き文字列による外形の描写に関する別の問題は、文字列の開始位置である。直観的に、循環シフトが、文字列に実行され、シフトされた文字列と別の文字列との間の距離が計算され、最後に、距離における最小値が最終結果として得られる。しかしながら、この方法は、時間計算量がＯ（ｍｎ²）である状態では、時間を要する。本発明において、周期的な文字列のマッチング技術が、この問題を解決するために利用され、それにより、時間計算量が、Ｏ（２ｍｎ）まで減少される。周期的な文字列のマッチング技術の基本的な論理は、ＡおよびＢの周期的なマッチングを達成するために、文字列Ａと文字列Ｂ²との間の距離を計算する標準的な文字列マッチング技術を使用することである。ここで、Ｂ²は、Ｂを二乗することで得られた文字列を意味する。当然、マッチングはまた、Ａを二乗することによっても実行され得る。この方法によって、ＤＰ表のサイズは、元の（ｎ＋１）×（ｍ＋１）から現在の（ｎ＋１）×（２ｍ＋１）まで大きくなる。

周期的なシフトのマッチングに関するより詳細な情報については、Ｈ．Ｂｕｎｋｅ、Ｈ．Ｂｕｈｌｅｒ著、「Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ａｐｐｒｏｘｉｍａｔｉｎｇ Ｓｔｒｉｎｇ Ｍａｔｃｈｉｎｇ ｔｏ ２Ｄ Ｓｈａｐｅ Ｒｅｃｏｇｎｉｔｉｏｎ」、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、１９９３年、第２６巻、１７９２〜１８１２頁を参照のこと。

Ａ＝a_l,．．．，a_nとＢ＝b_l,．．．，b_mをマッチングされる２つの形状と仮定すると、ａ_iとｂ_kは、２つの形状の外形プリミティブである。ａ_i,j（ｂ_k,l）は順序付きプリミティブであり、プリミティブａ_iとａ_j（ｂ_kとｂ_l）との間で統合され、Ｓ_i,j（Ｓ_k,l）は、標準化された長さである。本発明において、文字列のマッチングにおいて用いられたコスト関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）は、以下のように定義される。
挿入操作 ｃ（λ→ａ_i,j）＝ｋ＊ｓ_i,j
削除操作 ｃ（ｂ_k,l→λ）＝ｋ＊ｓ_k,l
置換操作

ここで、ｋは、決定されるパラメータである。

外形プリミティブの属性にしたがって、ａ_i,jとｂ_k,lの間の距離Ｄｉｓｔ（ａ_i,j，ｂ_k,l）が、以下のように計算される。
Ｄｉｓｔ（ａ_i,j,b_k,l）＝Ｄｉｓｔ_t（ａ_i,j,b_k,l）＋α×Ｄｉｓｔ_c（ａ_i,j,b_k,l）
ここで、Ｄｉｓｔ_t（）およびＤｉｓｔ_c（）は、回転関数および凹凸度にそれぞれ対応し、αは、係数を表し、通常０から１の間である。

外形プリミティブにおける２つの辺の標準化された長さは、多角形近似手段において格納され、それによって、Ｓ_i,j、およびＳ_k,lの値が、容易に得られる。

挿入および削除操作においてパラメータｋの値を理論的に推定するために、以下の方法が、本発明において提供される。

最初に、挿入および削除操作のコスト関数が、以下のような、置換操作に類似するよう拡張される。
ｃ（λ→ａ_i,j）＝(ｋ_t＋α＊ｋ_c)＊ｋ_l＊ｓ_i,j
ｃ（ｂ_k,l→λ）＝(ｋ_t＋α＊ｋ_c)＊ｋ_l＊ｓ_k,l
ここで、ｋ_t、ｋ_cおよびｋ_lは、それぞれ、Ｄｉｓｔ_t（）、Ｄｉｓｔ_c（）および置換操作におけるプリミティブ（プリミティブの組合せ）の長さの比に対応する。次に、この３つのパラメータの値が、統計的に推定される。

ｋ_tの値は、外形プリミティブの数を独立変数としてとる機能を表す。プリミティブの数Ｎ（ａ_i,jについては、Ｎはｊ−ｉ＋１と等しく、ｂ_k,lについては、Ｎはｌ−ｋ＋１に等しい）を仮定すると、Ｎ＋１でセグメント化された定数の２つの回転関数は、一定の分配にしたがって無作為に生成され、その距離が計算される。このプロセスは、Ｍ_t（Ｎ）、Ｓ_t（Ｎ）で表される、これらの距離の平均値および標準偏差を得るために、（本発明の実施形態においては、１０，０００回）繰り返される。二次項目の近似によって、以下の関係が得られる。
Ｎ＝1.029^*Ｍ_t（Ｎ）²−0.265^*Ｍ_t（Ｎ）＋1.271
Ｎ＝5.587^*Ｓ_t（Ｎ）²＋3.325^*Ｓ_t（Ｎ）−2.963
ｋ_tの値は、最終的に、ｋ_t＝Ｍ_t（Ｎ）＋Ｓ_t（Ｎ）に設定される。

凹凸度が、[−１，１]に均一に分配されると仮定すると、Ｄｉｓｔ_c（）の平均値および標準偏差は、直接計算され得、すなわち、２／３および√２／３となる。ｋ_cの値は、これら２つの値の合計として設定され、すなわち、以下となる。

ｋ_lの値は、リアルタイムで計算される。つまり、このパラメータの値は、マッチングされる異なる形状の物体については異なる。２つの物体ＡおよびＢがマッチングされると仮定すると、２つの外形ＡとＢの間の全ての外形プリミティブの長さの比ｍａｘ（a_i/b_j,b_j/a_i）が計算され、Ｋ_lが、これらの比の平均値の合計および標準偏差として設定される。

本発明によると、比較ユニットは、（１）循環型文字列マッチング（ｃｙｃｌｉｃ ｓｔｒｉｎｇ ｍａｔｃｈｉｎｇ）、（２）統合操作、および、（３）統合操作に対応する経験に基づいた統合コスト値の代わりに、統合プリミティブについてリアルタイムで属性値の計算をすることに特徴付けられる。

さらに、比較操作において、統合操作における統合プリミティブの最大限許容数は、パラメータＬｉｍｉｔＭの平均によって制御される。

マッチングする２つの外形をＡ＝a_l,Λ,a_nおよびＢ＝b_l,Λ,b_mと仮定すると、比較手段の実行プロセスは、以下のように提示される。

（１）パラメータｋ_lの値を計算する。

（２）ＤＰ表内の各セルの値を計算する。

この処置のタスクは、（ｍ＋１）×（２ｎ＋１）のサイズを有するＤＰ表内の各セルの値をすべて記入することである。

初期化は、まず、ＤＰ表内の第一列と第一行の値を計算することを実行する。

次に、各セルの値は、左から右の順番で列ごとに計算される。セルＤ（ｉ，ｊ）の値を計算するために、以下のセルの値およびこれらのセルのＤ（ｉ，ｊ）までの編集距離が考慮されるべきである。

Ｄ（ｉ−ｋ，ｊ−ｌ）、ｋ＝０，．．．，ｍｉｎ（ＬｉｍｉｔＭ，ｉ）、ｌ＝０，．．．，ｍｉｎ（ＬｉｍｉｔＭ，ｊ）、およびｋ，ｊは、同時に０であってはならない。

現在の状態において、これらのセルの値が計算されているので、これらのセルのＤ（ｉ，ｊ）までの編集距離のみを計算する必要がある。最終的に、セルの値の合計および対応する編集距離が最小であるセルが、Ｄ（ｉ，ｊ）の最初のセルとしてこれらのセルから選択され、そしてこの合計値が、Ｄ（ｉ，ｊ）としてとられる。

（３）ＤＰ表から２つの外形の距離値、すなわち、セルＤ（ｍ，ｊ），ｊ＝ｎ＋１，．．．，２ｎの間の最小値を選択する。

本発明の実行プロセスが、実施例の補足説明とともに以下に記載される。

図７Ａは、入力された２つのマッチングされる画像に描かれた物体を示す。これら２つの物体の外形の長さは、それぞれ、４８１と６９２である。以下の説明において、図７Ａの左側の物体は、ａで示され、右側の物体は、ｂで示される。この例において、２つの物体の外形ピクセルは、両方とも反時計回り方向に配列される。

図７Ｂは、図７Ａの２つの物体の外形近似結果を示す。この例において、分割統合操作のパラメータεは、「係数０．０２で乗算された外形の長さ」に設定する。例えば、２つの形状物体に対応するεの値は、それぞれ、９．６２と１３．８４である。

多角形近似の後で得られた頂点は、外形の方向と同じ方向に順序付けされる。よって、これらの頂点は、この例においては反時計回り方向に順序付けされる。物体ａについては、多角形近似の後、１０個の頂点が得られた。図７Ｂにおいて、これらの頂点は、それぞれ、数字１〜１０で表される。これらの頂点の座標は、以下の通りである。

多角形の各頂点は、付随する２辺とともに外形プリミティブとして定義される。多角形のこれらの頂点の座標値にしたがって、前辺および後辺方向を含む、各プリミティブの関連情報が計算され得、そして、これらの辺の長さが標準化される。具体的な計算プロセスが、物体ａを例にとり以下に記載される。

（１）頂点１について、その頂点に隣接する前と後ろの頂点は、それぞれ、頂点１０と頂点２である。したがって、プリミティブの前辺方向は、頂点１０から頂点１への方向であり、一方で、後辺方向は、頂点１から頂点２への方向であり、具体的な値は、それぞれ、０．１５と０．７７である。前（後）辺の標準化された長さは、頂点１０（頂点２）と頂点１の間の半分の距離として計算され、具体的な値は、２２．８（３４．７）である。

（２）頂点２について、その頂点に隣接する前と後ろの頂点は、それぞれ、頂点１と頂点３である。したがって、プリミティブの前辺方向は、頂点１から頂点２への方向であり、一方で、後辺方向は、頂点２から頂点３への方向であり、具体的な値は、それぞれ、０．７７および２．３４である。前（後）辺の標準化された長さは、頂点１（頂点３）と頂点２の間の半分の距離として計算され、具体的な値は、３４．７（２７．９）である。

同様に、１０個全ての外形プリミティブの関連情報が計算され得る。

最後に、外形プリミティブにおける両辺の長さが、多角形の外周によって標準化される。最終的に得られた各外形プリミティブの関連情報は、以下のように示される。

この例において、統合外形プリミティブの最大許容数は、３に設定される。換言すると、最大３つの隣接する外形プリミティブが、マッチングにおいて統合されるよう許容される。したがって、可能性のある全ての統合プリミティブの凹凸度が、この例における最初の凹凸度計算を用いて、事前に計算される。マッチングにおいて、これらの凹凸度は、上記表を参照することで容易に得られ得る。

この例において、凹凸度の表が、各物体に関して作成される。この表の列数は、外形プリミティブの数と等しく、行数は、統合に許容された外形プリミティブの最大数（すなわち、３）に等しい。この表の各列は、外形プリミティブに対応し、上記３つの行は、それぞれ、プリミティブの凹凸度、このプリミティブと隣接する後ろのプリミティブとの組合せの凹凸度、ならびに、このプリミティブと隣接する後ろの２つのプリミティブとの組合せの凹凸度に対応する。

凹凸度の計算プロセスは、物体のプリミティブ４を例にとり以下に記載される。

（１）第一の行は、プリミティブ４のそれ自体の凹凸度に対応する。単一のプリミティブは、ピュア（ｐｕｒｅ）凸面ポリラインまたはピュア凹面ポリラインのいずれかであり、したがって、その凹凸度は、１または−１のいずれかである。凸曲面なので、プリミティブ４の凹凸度は１であることが明らかである。

（２）第二の行は、プリミティブ４と５の組合せの凹凸度に対応する。計算プロセスは以下の通りである。
ポリラインの凸包を計算する。以下の４点（頂点４、頂点５、頂点３と頂点４の中間点、頂点５と頂点６の中間点）は、凸包計算のための入力として使用される。これらの４点の座標は、それぞれ、（８１，１１０）、（４２，６１）、（１０９，１０４）、（２６，６６）である。
閉じた外形の内部および外部の領域をカウントするために、この凸包で取り囲まれる内部領域をスキャンする。閉じた外形の内部および外部のピクセル数は、それぞれ、７８１と４０９である。したがって、凹凸度は、（７８１−４０９）／（７８１＋４０９）＝０．３１２６となる。

図７Ｃは、凸包だけでなく、プリミティブ４と５の組合せに対応するポリラインも示す。

（３）第三の行は、プリミティブ４と５と６の組合せの応答度に対応する。この計算プロセスは以下の通りである。

ポリラインの凸包を計算する。以下の５点（頂点４、頂点５、頂点６、頂点３と頂点４の中間点、頂点６と頂点７の中間点）は、凸包計算のための入力として使用される。これらの５点の座標は、それぞれ、（８１，１１０）、（４２，６１）、（１０，７０）（１０９，１０４）、（６，５６）である。
閉じた外形の内部および外部の領域をカウントするために、この凸包で取り囲まれる内部領域をスキャンする。閉じた外形の内部および外部のピクセル数は、それぞれ、１０１３と８８５である。したがって、凹凸度は、（１０１３−８８５）／（１０１３＋８８５）＝０．０６７４となる。

図７Ｄは、３つのプリミティブと凸包に対応するポリラインを示す。

同様のプロセスが、各プリミティブについて考えられる凹凸度を計算するために使用される。最終結果は、以下のように示される。

その後、これら２つの形状物体の類似度が比較手段によって計算される。この手段は、ＤＰ技術によってプリミティブの一致を確立する。このプロセスのコアタスクは、ＤＰ表内の各セルの値を計算して全て記入することである。この表の各セルは、サブ文字列の間の距離に対応する。例えば、Ｄ（ｉ，ｊ）は、第一の外形の前のプリミティブｉと、第二の外形の前のプリミティブｊとの間で最もマッチングする距離を表す。上述のように、ＤＰ表内の特定のセルの値を決定するために、前のセルの値と、これらのセルの現在のセルまでの編集距離を考慮にいれ、セルの最終値として最小値をとる必要がある。統合操作を採用する場合は、隣接する前の３つのセルだけでなく、より多くのセルを考慮にいれるべきである。例えば、以下の隣接するセルは、Ｄ（ｉ，ｊ）の値を計算するために考慮されるべきである。
｛Ｄ（i-l,j-k），ｌ，ｋ＝１，...，ＬｉｍｉｔＭ，ここで、ｌ，ｋは、同時に０であってはならない｝
ここで、ＬｉｍｉｔＭは、統合操作において、許容される最大統合数を意味する。

仮にａ_iとｂ_jがそれぞれ物体のプリミティブａおよびｂを表すとすると、全てのプリミティブ数は、１０となる。循環的マッチングのルールにしたがって、マッチングにおいて外形ｂのプリミティブが二乗される。したがって、この例は、１１×２１サイズのＤＰ表のすべての項目を記入する。

次に、どのようにＤＰ表内の各セルの値を計算するかを示す例が、説明のために用いられる。現在のセルをＤ（ｉ＝６，ｊ＝９）と仮定する。上述のように、このセルの値を決定するために、１５個の隣接する、Ｄ（ｉ＝３，ｊ＝６）からＤ（ｉ＝６，ｊ＝９）までのセル、ならびに、これらのセルからＤ（ｉ＝６，ｊ＝９）までの編集距離が、考慮されるべきである。

これらの隣接するセルの具体的な位置は、以下の通りである。
Ｄ（３，６）Ｄ（３，７）Ｄ（３，８）Ｄ（３，９）
Ｄ（４，６）Ｄ（４，７）Ｄ（４，８）Ｄ（４，９）
Ｄ（５，６）Ｄ（５，７）Ｄ（５，８）Ｄ（５，９）
Ｄ（６，６）Ｄ（６，７）Ｄ（６，８）

これらのセルの現在の値は、以下の通りである。

次に、これら隣接するセルから現在のセルＤ（ｉ＝６，ｊ＝９）までの編集距離が、コスト関数にしたがって計算されるべきである。例えば、Ｄ（４，９）から現在のセルまでの編集距離は、ｃ（λ→ａ_5,6）であり、これは、物体ａ内のプリミティブａ₅とａ₆にマッチングするために、物体ｂ内に空プリミティブを挿入することによって得られる。Ｄ（５，７）から現在のセルまでの編集距離は、ｃ（ａ₆→ｂ_8,9）であり、これは、物体ｂ内のプリミティブｂ₈とｂ₉とともに、物体内のプリミティブａ₆のマッチングにおいて生成される距離である。

計算の際の、これら隣接するセルから現在のセルまでの距離の値は、以下の通りである。

以下の結果は、これら隣接するセルの現在の値と、前述の編集距離の値とを累加することで得られる。

上記結果における最小値１．１５は、現在のセルＤ（６，９）の値である。同時に、この最小値に対応するセル、すなわち、Ｄ（５，７）は、セルＤ（６，９）の原点（ｏｒｉｇｉｎ）として認められる。

上記プロセスは、図７Ｅに示したように、ＤＰ表内の全てのセルの値を計算するために繰り返される。ここで、矢印は、各セルの原点を示すために使用される。入力された２つの物体の間の距離は、セルＤ（１０，１１）からセルＤ（１０，２０）までの最小値、すなわち、Ｄ（１０，１８）に対応する値０．４８、を計算することで得られる。各セルの原点を順次追跡するためにＤ（１０，１８）を開始点とする場合、外形プリミティブ間の一致を示す経路が得られる。例えば、Ｄ（１０，１８）の原点Ｄ（９，１７）がまず得られる。これは、プリミティブａ₁₀とｂ₈がマッチングされることを意味する。次いで、Ｄ（９，１７）の原点Ｄ（８，１６）が得られる。これは、プリミティブａ₉とｂ₇がマッチングされることを意味する。同様に、Ｄ（８，１６）の原点Ｄ（５，１４）が得られる。これは、プリミティブａ₈とａ₇とａ₆がプリミティブｂ₆とｂ₅の組合せとマッチングするよう結合されることを意味する。このプロセスは、ＤＰ表の最初の列に届くまで繰り返される。図７Ｅにおいて、この例において得られた経路は、黒の実線で示される。したがって、プリミティブの一致は、以下のように示される。
ａ１０−ｂ８
ａ９−ｂ７
ａ６，ａ７，ａ８−ｂ５，ｂ６
ａ５−ｂ４
ａ４−ｂ３
ａ３−ｂ２
ａ１，ａ２−ｂ１，ｂ１０

上述の説明に基づき、本発明の別の局面では、画像に描かれた物体の外形を多角形として近似する、すなわち、この画像に描かれた物体の外形を順序付き外形プリミティブシーケンスに変化させて描写する多角形近似ステップと、外形プリミティブおよび外形プリミティブの構成に関する属性値を計算する属性生成ステップと、多角形の一致を確立して、外形間の類似度を計算する比較ステップとを含む、形状比較方法が提供される。

入力が画像に描かれた物体の外形ではなく入力が画像に描かれた物体の場合、上記方法は、この装置に入力された画像に描かれた物体における画像に描かれた物体の外形を抽出する画像に描かれた物体外形抽出ステップをさらに含む。

好ましくは、多角形近似ステップは、画像に描かれた物体の外形を、分割統合法を用いて多角形として近似し、属性値は、回転関数か凹凸度のうちの一つであるか、あるいは両方であり、そして比較ステップは、文字列マッチング技術を用いて画像に描かれた物体の外形の類似度を比較する。

各実施形態において、各操作が特定の回路または接続（例えば、特別な機能を実行するために相互接続された個別論理ゲート）によって実行され得るか、１つ以上のプロセッサによって実行され得るか、あるいは、それら２つを組合せて実行され得ることが、当業者に理解されるべきである。したがって、各局面は、種々の実行様式によって実施され得、これら全ての実行様式は、本明細書中に記載される内容の範囲に留まることが考慮されるべきである。これらの局面の各々に関して、このような様式における任意の実施形態は、本明細書中で「上記操作を実行するために構成されたロジック」を示してもよく、あるいは、「上記操作を実行するかまたは実行することが可能なロジック」を示してもよい。

さらに、本発明の実施形態にしたがって、本発明の目的はまた、コンピュータまたはＳＣＭに前述の操作を実行させることが可能なコンピュータプログラムによって実現されてもよい。

さらに、本発明の実施形態にしたがって、本発明の目的はまた、前述のプログラムを記憶するコンピュータが読取可能な媒体を用いて実現されてもよい。このコンピュータが読取可能な媒体は、命令実行システム、デバイス、または装置によって用いられるようにするか、あるいは、命令実行システム、デバイス、または装置と組合せることを可能にするために、プログラムを収容、記憶、通信、伝送または配信することが可能な任意の媒体であってもよい。例えば、コンピュータが読取可能な媒体は、電気的、磁気的、光学的、電磁気的な、赤外線かまたは半導体のシステム、デバイス、装置または配布媒体であり得るが、これらに限定されない。より具体的なコンピュータに読取可能な媒体としては、（網羅的列挙ではないが）、１つ以上のリードワイヤを有する電気的接続、携帯コンピュータディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能なプログラム可能読取専用メモリ（ＥＰＲＯＭ）、光ファイバー、およびコンパクトディスク読取専用メモリ（ＣＤＲＯＭ）が挙げられ得る。

本発明の実施形態に関する上述の説明は、例示および説明目的のためのみに用いられるものである。前述の説明は、本明細書中に開示される正確な様式において本発明を消尽または限定することを意図したものではない。多くの修正および変更が明らかなことは当業者に自明である。特定の予想される応用を採用するため、本発明の原理およびその実質的な応用を最もよく説明し、当業者が本発明の種々の実施形態および変形物を理解できるように、上記実施形態が、本明細書中において選択され記載される。本発明の範囲は、請求項およびそれらの類似物によって定義されることが理解されるべきである。

（付記１）画像に描かれた物体の外形を順序付き外形プリミティブシーケンスに変換して表現する多角形近似手段と、
外形プリミティブおよび外形プリミティブの構成に関する属性値を計算する属性生成手段と、
多角形のプリミティブの順番を保ちながら、外形間の類似度を計算する比較手段と、
を備えたことを特徴とする形状比較装置。

（付記２）前記装置へ入力された画像に描かれた物体の外形を抽出する外形抽出手段をさらに備えたことを特徴とする、付記１に記載の形状比較装置。

（付記３）前記多角形近似手段が、分割統合法を用いて画像に描かれた物体の外形を多角形として近似することを特徴とする、付記１に記載の形状比較装置。

（付記４）前記多角形近似手段が、前記分割統合法の開始点として前記画像に描かれた物体の外形上の高い曲率値を有する点を使用することを特徴とする、付記３に記載の形状比較装置。

（付記５）前記高い曲率値を有する点が、曲率値のランクが高い指定された数の点か、あるいは、特定の閾値よりも大きい曲率値の全ての点であることを特徴とする、付記４に記載の形状比較装置。

（付記６）前記属性値が、回転関数と凹凸度のうちの１つであるか、あるいは、該回転関数と該凹凸度の両方であることを特徴とする、付記１に記載の形状比較装置。

（付記７）前記凹凸度が、以下のように計算され、
ａ_i,jがａ_iからａ_jまでの外形プリミティブによって構成される統合プリミティブを表す場合、ａ_i,jの凹凸度ｃ（ａ_i,j）が以下であり、
ｃ（ａ_i,j）＝（InＡ−OutＡ）／（InＡ＋OutＡ）
ここで、ＩｎＡおよびＯｕｔＡは、それぞれ、ａ_iからａ_jまでの点集合の凸包内の閉じた外形の内側および外側の領域の面積であることを特徴とする、付記６に記載の形状比較装置。

（付記８）前記凹凸度が、以下のように計算され、ａ_i,jがａ_iからａ_jまでの外形プリミティブによって構成される統合プリミティブを表し、Ａｒｅａ（ａ_i）が該外形プリミティブａ_iに対応する三角形の面積を示す場合、前記ａ_i,jの凹凸度ｃ（ａ_i,j）が以下のように定義されることを特徴とする、付記６に記載の形状比較装置。

（付記９）前記外形プリミティブの構成が、隣接する外形プリミティブのグループの構成であり、該構成の数が、多くても該構成に統合されることが許可された該外形プリミティブの数であることを特徴とする、付記６に記載の形状比較装置。

（付記１０）前記比較手段が、文字列マッチング技術を用いて画像に描かれた物体の外形の類似度を比較することを特徴とする、付記１に記載の形状比較装置。

（付記１１）前記比較手段が、循環型マッチングストラテジー、すなわち、ＡとＢを比較する際に、標準的な文字列マッチング技術を用いることで文字列Ａと文字列Ｂ²との間の距離を計算するストラテジーを使用し、ここで、Ｂ²は、周期Ｂを二乗することで得られる文字列を表すことを特徴とする、付記１０に記載の形状比較装置。

（付記１２）前記比較手段が、統合操作、すなわち、Ｄ（ｉ，ｊ）の値を計算するために以下の隣接するセルを考慮する操作を用い、
｛Ｄ（i-l,j-k），ｌ，ｋ＝１，...，ＬｉｍｉｔＭ，ここで、ｌ，ｋは、両方が同時に０にはなり得ない｝
ここで、Ｄ（ｉ，ｊ）は、第一の外形における前のプリミティブの数ｉと、第二の外形における前のプリミティブの数ｊとの間の最適なマッチング距離を表し、ＬｉｍｉｔＭは、該統合操作において許可された統合の最大数であることを特徴とする、付記１０または１１に記載の形状比較装置。

（付記１３）前記Ｄ（ｉ，ｊ）の値が、以下の式によって計算され、
Ｄｉｓｔ（ａ_i,j,b_k,l）＝Ｄｉｓｔ_t（ａ_i,j,b_k,l）＋α×Ｄｉｓｔ_c（ａ_i,j,b_k,l）
ここで、Ｄｉｓｔ_t（）とＤｉｓｔ_c（）は、それぞれ、前記回転関数および前記凹凸度に対応する距離の値を表し、αは、０と１の間の指定された係数であること特徴とする、付記１２に記載の形状比較装置。

（付記１４）前記属性生成手段が、事前に前記属性値を計算し、前記比較手段が、比較の際に検索リストを用いてこれら属性値を取得することを特徴とする、付記１に記載の形状比較装置。

（付記１５）前記比較手段が、比較の際に前記属性生成手段を用いてリアルタイムで前記属性値を取得することを特徴とする、付記１に記載の形状比較装置。

（付記１６）画像に描かれた物体の外形を順序付き外形プリミティブシーケンスに変換して表現する多角形近似ステップと、
外形プリミティブおよび外形プリミティブの構成ついての属性値を計算する属性生成ステップと、
多角形のプリミティブの順番を保ちながら、外形間の類似度を計算する比較ステップと、
を含むことを特徴とする形状比較方法。

（付記１７）前記装置へ入力された画像に描かれた物体の外形を抽出する外形抽出ステップをさらに含むことを特徴とする、付記１６に記載の形状比較方法。

（付記１８）前記多角形近似ステップが、分割統合法を用いて画像に描かれた物体の外形を多角形として近似することを特徴とする、付記１６に記載の形状比較方法。

（付記１９）前記多角形近似ステップが、前記分割統合法の開始点として前記画像に描かれた物体の外形上の高い曲率値を有する点を使用することを特徴とする、付記１８に記載の形状比較方法。

（付記２０）前記高い曲率値を有する点が、曲率値のランクが高い指定された数の点か、あるいは、特定の閾値よりも大きい曲率値の全ての点であることを特徴とする、付記１９に記載の形状比較方法。

（付記２１）前記属性値が、回転関数と凹凸度のうちの１つであるか、あるいは、該回転関数と該凹凸度の両方であることを特徴とする、付記１６に記載の形状比較方法。

（付記２２）前記凹凸度が、以下のように計算され、
ａ_i,jがａ_iからａ_jまでの外形プリミティブによって構成される統合プリミティブを表す場合、ａ_i,jの凹凸度ｃ（ａ_i,j）が以下であり、
ｃ（ａ_i,j）＝（InＡ−OutＡ）／（InＡ＋OutＡ）
ここで、ＩｎＡおよびＯｕｔＡは、それぞれ、ａ_iからａ_jまでの点集合の凸包内の閉じた外形の内側および外側の領域の面積であることを特徴とする、付記２１に記載の形状比較方法。

（付記２３）前記凹凸度が、以下のように計算され、ａ_i,jがａ_iからａ_jまでの外形プリミティブによって構成される統合プリミティブを表し、Ａｒｅａ（ａ_i）が該外形プリミティブａ_iに対応する三角形の面積を示す場合、前記ａ_i,jの凹凸度ｃ（ａ_i,j）が以下のように定義されることを特徴とする、付記２１に記載の形状比較方法。

（付記２４）前記外形プリミティブの構成が、隣接する外形プリミティブのグループの構成であり、該構成の数が、多くても該構成に統合されることが許可された該外形プリミティブの数であることを特徴とする、付記２１に記載の形状比較方法。

（付記２５）前記比較ステップが、文字列マッチング技術を用いて画像に描かれた物体の外形の類似度を比較することを特徴とする、付記１６に記載の形状比較方法。

（付記２６）前記比較ステップが、循環型マッチングストラテジー、すなわち、ＡとＢを比較する際に、標準的な文字列マッチング技術を用いることで文字列Ａと文字列Ｂ²との間の距離を計算するストラテジーを使用し、ここで、Ｂ²は、周期Ｂを二乗することで得られる文字列を表すことを特徴とする、付記２５に記載の形状比較方法。

（付記２７）前記比較ステップが、統合操作、すなわち、Ｄ（ｉ，ｊ）の値を計算するために以下の隣接するセルを考慮する操作を用い、
｛Ｄ（i-l,j-k），ｌ，ｋ＝１，...，ＬｉｍｉｔＭ，ここで、ｌ，ｋは、両方が同時に０にはなり得ない｝
ここで、Ｄ（ｉ，ｊ）は、第一の外形における前のプリミティブの数ｉと、第二の外形における前のプリミティブの数ｊとの間の最適なマッチング距離を表し、ＬｉｍｉｔＭは、該統合操作において許可された統合の最大数であることを特徴とする、付記２５または２６に記載の形状比較方法。

（付記２８）前記Ｄ（ｉ，ｊ）の値が、以下の式によって計算され、
Ｄｉｓｔ（ａ_i,j,b_k,l）＝Ｄｉｓｔ_t（ａ_i,j,b_k,l）＋α×Ｄｉｓｔ_c（ａ_i,j,b_k,l）
ここで、Ｄｉｓｔ_t（）とＤｉｓｔ_c（）は、それぞれ、前記回転関数および前記凹凸度に対応する距離の値を表し、αは、０と１の間の指定された係数であること特徴とする、付記２７に記載の形状比較方法。

（付記２９）前記属性生成ステップが、事前に前記属性値を計算し、前記比較ステップが、比較の際に検索リストを用いてこれら属性値を取得することを特徴とする、付記１６に記載の形状比較方法。

（付記３０）前記比較ステップが、比較の際に前記属性生成ステップを用いてリアルタイムで前記属性値を取得することを特徴とする、付記１６に記載の形状比較方法。

以上のように、本発明よれば、２つの対象物体の外形情報に基づいてそれら対象物体の類似度を計算することができる形状比較装置および形状比較方法を提供することができるので、画像比較に用いられる技術に有用である。

図１は、外形の分解および一致に基づいて形状比較する装置の構造概略図である。 図２は、多角形近似手段のフローチャートである。 図３Ａは、検出された曲率の大きい点の結果例を示す。 図３Ｂは、多角形近似結果の例を示す。 図３Ｃは、図３Ｂに示された多角形の構成要素となる全てのプリミティブを示す。 図４は、２本のポリラインの回転関数と、それらの間の距離を示す。 図５は、いくつかの外形プリミティブへと曲げられている１つの外形プリミティブを説明する例を示す。 図６は、凹凸度の計算を説明する。 図７Ａは、本発明の実施形態において比較される２つの形状外形を示す。 図７Ｂは、本発明の実施形態における２つの外形の多角形近似結果を示す。 図７Ｃは、本発明に従う実施形態に関する凹凸度属性計算の例を示す。 図７Ｄは、本発明に従う実施形態に関する凹凸度属性計算の別の例を示す。 図７Ｅは、本発明に従う実施形態のＤＰテーブルのコンテンツを示す。

Claims (8)

1. 画像に描かれた物体の外形を順序付き外形プリミティブシーケンスに変換して表現する多角形近似手段と、
   外形プリミティブおよび外形プリミティブの構成に関する属性値を計算する属性生成手段と、
   多角形のプリミティブの順番を保ちながら、外形間の類似度を計算する比較手段と、
   を備えたことを特徴とする形状比較装置。
2. 前記装置へ入力された画像に描かれた物体の外形を抽出する外形抽出手段をさらに備えたことを特徴とする、請求項１に記載の形状比較装置。
3. 前記多角形近似手段が、分割統合法を用いて画像に描かれた物体の外形を多角形として近似することを特徴とする、請求項１に記載の形状比較装置。
4. 前記多角形近似手段が、前記分割統合法の開始点として前記画像に描かれた物体の外形上の高い曲率値を有する点を使用することを特徴とする、請求項３に記載の形状比較装置。
5. 前記高い曲率値を有する点が、曲率値のランクが高い指定された数の点か、あるいは、特定の閾値よりも大きい曲率値の全ての点であることを特徴とする、請求項４に記載の形状比較装置。
6. 前記属性値が、回転関数と凹凸度のうちの１つであるか、あるいは、該回転関数と該凹凸度の両方であることを特徴とする、請求項１に記載の形状比較装置。
7. 前記外形プリミティブの構成が、隣接する外形プリミティブのグループの構成であり、該構成の数が、多くても該構成に統合されることが許可された該外形プリミティブの数であることを特徴とする、請求項６に記載の形状比較装置。
8. 画像に描かれた物体の外形を順序付き外形プリミティブシーケンスに変換して表現する多角形近似ステップと、
   外形プリミティブおよび外形プリミティブの構成ついての属性値を計算する属性生成ステップと、
   多角形のプリミティブの順番を保ちながら、外形間の類似度を計算する比較ステップと、
   を含むことを特徴とする形状比較方法。

Images