JP2016520897A - 画像アウトラインを記述するシステム及び方法 - Google Patents

Abstract

本発明は二値シルエット画像から記述子を構築する画像処理及び方法の分野に関する。本方法は、閉じた平面曲線の媒介変数方程式を受信するステップと、等しい区間を有する閉じた平面曲線上のノードを選択するステップと、曲線上のノードの連続スケールスペースを生成して各オクターブの後段でそれをダウンサンプリングするステップと、オリエンテーションベクトルとオリエンテーション角度値を計算するステップと、互いの上部に各オリエンテーション角度値を積み重ねることから取得される行列であるオリエンテーションスケールスペースを生成するステップと、全てのオリエンテーションベクトル及びそれらのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップとを備える。本方法はさらに、記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して良好なマッチングを有する記述子を発見するステップを備える。

Description

本発明は、二値シルエット画像（ｂｉｎａｒｙ ｓｉｌｈｏｕｅｔｔｅ ｉｍａｇｅｓ）から記述子（ｄｅｓｃｒｉｐｔｏｒ）を構築する画像処理及び方法の分野に関する。

静止画像又はビデオフレーム上のオブジェクト（又は等価的に「ターゲット」）を識別する複数の方法及び複数のモデルがあることが知られている。そのような方法は例えば、対象としている場面（ｓｃｅｎｅ）の赤外線画像を取得するセンサがある赤外線探査（ｉｎｆｒａｒｅｄ ｓｅａｒｃｈ）及び追跡（ＩＲＳＴ）システム（ｔｒａｃｋｉｎｇ（ＩＲＳＴ）ｓｙｓｔｅｍ）において用いられ、一般的に、これらの画像はグレースケールフォーマットに変換される。この画像は、種々の位置において赤外線強度を表現する画素の２次元配列を備える。現在、複数の入力オブジェクトの複数のアウトライン（ｏｕｔｌｉｎｅ）の複数の特徴を抽出及びマッチングする複数のシステム及び複数の方法がある。これらのシステムは例えば既知の種類のターゲットを決定するために使用され、すると結果的にそれを解釈することが可能となる。そのような方法において、異なる複数のアウトラインを効率的に表現して、少ない容量においてそれらを格納するとともに探索処理の速度を向上させることを可能とすることが望まれる。

１つのそのような既知の方法は曲率スケールスペース（ｃｕｒｖａｔｕｒｅ ｓｃａｌｅ ｓｐａｃｅ、ＣＳＳ）を使用し、閉じた曲線であるオブジェクトのアウトラインはＣＳＳを生成するために使用される。この目的のために、オブジェクトの外形（ｃｏｎｔｏｕｒ）上の曲線をフィッティング（ｆｉｔ）するためのもう１つの初期計算は一般的に、対象としているオブジェクトの二値シルエット画像に対して適用される。この既知の方法において、複数の曲率値の円（ｃｉｒｃｌｅ ｏｆ ｃｕｒｖａｔｕｒｅ ｖａｌｕｅ）は閉じた曲線にわたって計算されて、複数のオブジェクト記述子（ｏｂｊｅｃｔ ｄｅｓｃｒｉｐｔｏｒ）はアウトラインのスケールスペース（Ｓｃａｌｅ Ｓｐａｃｅ）表現から導出される。これらはグラフによって表現されて、このグラフ上のピーク値は特徴パラメータとして用いられる。そのような表現を用いて、画像上の種々の形状（ｓｈａｐｅ）は、識別され、マッチングされ、又は位置合わせされることが可能である。ＣＳＳ方法に関する主な問題点の１つは、ＣＳＳ方法がシルエット曲線に対する計算の始点に依存していることである。シルエットは画像上のオブジェクトの周囲の閉じた曲線であるために、当該シルエットは定義された始点を有さず、また、このことは、複数のアウトラインをマッチング又は認識する必要がある場合において問題点を構成する。この問題点の解決方法として、ピーク値は現在複数の形状のマッチングのために用いられており、当該ピーク値はアウトラインのノイズ及び誤った分割（セグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ））の影響を受ける。アウトラインが軽微な誤差を有して抽出される場合、その結果はそのようなアプローチを用いて著しく変化し得る。

もう１つの現在使用される方法は、ＣＳＳ技術によって取得されるグラフ上の複数のピークの間で順序づけを実施する。例えば、複数のピーク座標（ピークコーディネート、ｐｅａｋ ｃｏｏｒｄｉｎａｔｅ）は、現在の実施における複数のピークの高さに関して順序づけられる。さらにもう１つの技術は、最大ピークを始点として用いており、またそのようなピークから開始するアウトラインを表現している。さらに、これらの方法は、ノイズ及び誤った分割、又は誤った曲線フィッティング（ｃｕｒｖｅ ｆｉｔｔｉｎｇ）の傾向がある。

他方、よく知られたスケール不変特徴変換（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）方法は、２次元（２Ｄ）グレースケール画像のスケールスペース表現を使用し、一般的に画素画像（ｐｉｘｅｌ ｉｍａｇｅ）上の複数のオブジェクトの代表の特徴は、スケールスペースを形成する複数のガウス画像（Ｇａｕｓｓｉａｎ ｉｍａｇｅ）の差分を計算することによって発見される。この２次元方法を用いて、画素画像上の種々のオブジェクトは、複数の凸点（ｓａｌｉｅｎｔ ｐｏｉｎｔｓ）のリストによって表現されることが可能であり、比較され、識別され、又はマッチングされることが可能である。ＣＳＳアウトライン特徴抽出方法の不利な点、及びオブジェクトのアウトラインのみを表現する特徴点を発見するためのＳＩＦＴ方法の無力な点は、新しい方法を必要とする。赤外線撮像システムなどのいくつかの応用において、画像上のターゲット又はオブジェクトは一般的に、そのアウトライン上にその特徴を有する。さらにまた、いくつかのオブジェクトは完全な表現を必要としないが、そのアウトラインのみによって識別可能である。アウトライン上のみの特徴点を格納することは少ない容量しか要さず、探索及びマッチングが非常に高速となる。

現行の方法は、それら自身上のシルエット画像外形特徴（ｓｉｌｈｏｕｅｔｔｅ ｉｍａｇｅ ｃｏｎｔｏｕｒ ｆｅａｔｕｒｅｓ）の抽出、表現、及びマッチングの、信頼性のある効率的な方法を提供しておらず、新しい方法は本明細書において導入される。

従来技術の出願である英国特許文献ＧＢ２３９３０１２（特許文献１）は、２次元アウトラインを探索する方法を開示する。本方法は、クエリ（ｑｕｅｒｙ）を入力するステップと、オブジェクトのアウトラインの曲率スケールスペース表現から当該アウトラインの記述子を導出するステップとを含み、ＣＳＳ表現の複数のピーク座標値（ｐｅａｋ ｃｏ−ｏｒｄｉｎａｔｅ ｖａｌｕｅ）はピークの複数の最高値に基づいて順序づけられる。

従来技術の出願である米国特許文献ＵＳ７４３０３０３（特許文献２）は、画像の複数のジェスチャ特徴（ｇｅｓｔｕｒｅ ｆｅａｔｕｒｅ）を抽出及びマッチングする方法を開示する。本方法において、ジェスチャ画像の二値外形画像によって形成される閉じた曲線は、曲率スケールスペース（ＣＳＳ）画像を形成するために使用され、複数の特徴パラメータは、第１の複数のピークを抽出することによって決定される。

従来技術の出願である米国特許文献ＵＳ６７１１２９３（特許文献３）は、初期画像をぼかしてぼかし画像（ｂｌｕｒｒｅｄ ｉｍａｇｅ）を生成して初期画像からぼかし画像を減算して差分画像（ｄｉｆｆｅｒｅｎｃｅ ｉｍａｇｅ）を生成することで、複数の差分画像を生成することによって、画像におけるスケール不変特徴を識別する方法及び装置を開示する。

「画像上のオブジェクトアウトラインのスケール不変特徴を識別するシステム及び方法（“Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅｓ Ｏｆ Ｏｂｊｅｃｔ Ｏｕｔｌｉｎｅｓ Ｏｎ Ｉｍａｇｅｓ”）」なるタイトルの番号ＰＣＴ／ＩＢ２０１２／０５０８８３の出願（特許文献４）は主に、閉じた複数の平面曲線（シルエット）からの複数のスケール不変特徴（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ）を抽出すること及び複数の「シルエット特徴ヒストグラム（ｓｉｌｈｏｕｅｔｔｅ ｆｅａｔｕｒｅ ｈｉｓｔｏｇｒａｍ）」上のこれらの特徴を表現することに注目している。システム及び方法における３つの主なステップは、曲線抽出（ｃｕｒｖｅ ｅｘｔｒａｃｔｉｏｎ）、特徴抽出（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ）、及び記述子構築（ｄｅｓｃｒｉｐｔｏｒ ｃｏｎｓｔｒｕｃｔｉｏｎ）として定義されてもよい。

曲線抽出ステップは、連続曲線（ｃｏｎｔｉｎｕｏｕｓ ｃｕｒｖｅ）をシルエットの複数の外形上にフィッティングするステップと、この連続曲線を弧長（ａｒｃ−ｌｅｎｇｔｈ）サンプリングするステップを含む。次のステップである特徴抽出のステップは、このスケールスペースにおける曲率スケールスペース構築（ｃｕｒｖａｔｕｒｅ ｓｃａｌｅ ｓｐａｃｅ ｃｏｎｓｔｒｕｃｔｉｏｎ）及び特徴選択を含む。最終ステップである記述子構築は、抽出された複数のフレームを、長方形（ｒｅｃｔａｎｇｕｌａｒ）（又は放射状（ｒａｄｉａｌ））画像上の複数の画素として使用する。なお、当該長方形（又は放射状）画像において、各画素の位置は（曲線上にわたる）複数の特徴位置及び（曲率スケールスペースにおいて）複数のスケールを指定して、各画素の色は（曲線平面上の）各特徴のオリエンテーションを表す。この最終ステップにおいて、これらの画像は、複数のオブジェクト認識タスク（ｏｂｊｅｃｔ ｒｅｇｏｇｎｉｔｉｏｎ ｔａｓｋ）を完遂するように、回転及び開始不変方法（ｒｏｔａｔｉｏｎ ａｎｄ ｓｔａｒｔｉｎｇ ｉｎｖａｒｉａｎｔ ｍａｎｎｅｒ）を用いて互いにマッチングされる。

本技術は十分な結果を与える。しかしながら、技術の性質により、得られる複数の特徴は一般的に、平面曲線上の複数の高曲率領域から抽出される。従って、相対的により滑らかな複数のシルエットからは、より少ない数の特徴が抽出される。この場合には、抽出される特徴の数が相対的に少ないため、記述子画像（ｄｅｓｃｒｉｐｔｏｒ ｉｍａｇｅ）は疎（ｓｐａｒｓｅ）（大抵の場合は複数の空の画素（ｅｍｐｔｙ ｐｉｘｅｌ）を含む）になる。相対的に異なる特徴密度を有する２つの記述子画像をマッチングさせること、言い換えれば一方がより滑らかであり且つ他方が非常に巻いている（カールしている、ｃｕｒｌｙ）２つのシルエットをマッチングさせることは、非効率的になり得る。

英国特許第２３９３０１２号公報 米国特許第７４３０３０３号公報 米国特許第６７１１２９３号公報 国際出願第ＰＣＴ／ＩＢ２０１２／０５０８８３号

Ｆｒｅｅｍａｎ Ｃｈａｉｎ ｃｏｄｅ １９６１

本発明の目的は、シルエット画像のスケール及び解像度（ｒｅｓｏｌｕｔｉｏｎ）から独立して、信頼性を有して効率的に、複数のシルエット画像外形オリエンテーションを抽出、表現、及びマッチングする方法を提供することにある。

もう１つの本発明の目的は、十分に彩度を示す（ｆｕｌｌｙ ｓａｔｕｒａｔｅｄ）記述子を用いて、シルエット画像を抽出、表現、及びマッチングする方法を提供することにある。

非効率の問題点を解決するために、本技術の特徴抽出ステップ（第２のステップ）は、一定の数の特徴がシルエット全体及び全てのスケールレベルから抽出されるように変更されてもよい。すると、記述子画像は、十分に密（ｆｕｌｌｙ ｄｅｎｓｅ）になることとなり、２つの異なるシルエットの間のマッチングの問題点はより効率的となる。

この目的のために、新しい技術は提案される。新しい技術は、「画像上のオブジェクトアウトラインのスケール不変特徴を識別するシステム及び方法（“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅｓ ｏｆ Ｏｂｊｅｃｔ Ｏｕｔｌｉｎｅｓ ｏｎ Ｉｍａｇｅｓ”）」なるタイトルの出願（特許文献４）と同一の第１及び第３のステップを含む。しかしながら、第２のステップである特徴抽出のステップは、複数のオリエンテーション角度（ｏｒｉｅｎｔａｔｉｏｎ ａｎｇｌｅ）が曲線の全てのスケールレベルの全てのサンプリングされた点から抽出されるように変更される。オリエンテーション角度はオリエンテーションベクトル（ｏｒｉｅｎｔａｔｉｏｎ ｖｅｃｔｏｒ）とｘ軸との間の角度であり、ここで、オリエンテーションベクトルは、そのような点における接線に直交する単位ベクトル（ｕｎｉｔ ｖｅｃｔｏｒ）である。全てのスケールレベルにおける全ての点の複数のスケール、複数の位置、及び複数のオリエンテーションを使用することで、前述の技術の第３のステップにおいて与えられる同一の記述子は構築される。この新しい記述子は空の画素を含まない。

本発明の目的は、シルエット画像のスケール及び解像度から独立して、信頼性を有して効率的に、複数のシルエット画像外形オリエンテーションを抽出、表現、及びマッチングする方法を提供することにある。

もう１つの本発明の目的は、十分に彩度を示す記述子を用いて、シルエット画像を抽出、表現、及びマッチングする方法を提供することにある。

「画像上のオブジェクトアウトラインのスケール不変特徴を識別するシステム及び方法（“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅｓ ｏｆ Ｏｂｊｅｃｔ Ｏｕｔｌｉｎｅｓ ｏｎ Ｉｍａｇｅｓ”）」なるタイトルの出願（特許文献４）及び本出願の、類似のステップである特徴抽出のステップは、さらなる複数の差異を有する。スケールスペースからの選択された複数の特徴の数は、出願番号ＰＣＴ／ＩＢ２０１２／０５０８８３（特許文献４）においては予測可能（ｐｒｅｄｉｃｔａｂｌｅ）ではない。予測不可能な数の特徴から生成される記述子の例（例１（表１））が以下にある。

例１

予測不可能性は記述子において複数の空の画素をもたらす。

しかしながら、曲線の全てのスケールレベルの全てのサンプリングされる点から抽出される、選択される複数の特徴（複数のオリエンテーション角度）の数は、ユーザによって決定される。本出願の１つの実施形態において上述の数は５１２である。十分に彩度を示す記述子の例（例２（表２））がある。

例２

本出願は、例１に見られる、より少ない特徴及び複数の空の画素の技術的な問題点を克服するために提案される。新たに提案される技術を用いると、記述子構築ステップは同一であるが、構築された複数の記述子は、例１及び例２から見られるように厳密に異なる。

「画像上のオブジェクトアウトラインのスケール不変特徴を識別するシステム及び方法（“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅｓ ｏｆ Ｏｂｊｅｃｔ Ｏｕｔｌｉｎｅｓ ｏｎ Ｉｍａｇｅｓ”）」なるタイトルの出願（特許文献４）及び本出願の技術が同一のデータベース上で実行される場合、以下の図形的（グラフィカル，ｇｒａｐｈｉｃａｌ）な結果が得られる。

グラフィック１

グラフィック２

グラフィック１（表３）は、新たに提案された技術の結果であり、グラフィック２（表４）は先の出願の結果である。これらの結果は、８隻の船のシルエットを有するデータベースから得られ、新しい技術の結果は非常によりよく成功している。複数の例及び複数のグラフィックは、詳細な説明が読まれるとき、より理解されるであろう。

好ましい実施形態のシステムの概略図である。 ２つの代表のオクターブ、それらのそれぞれのスケールスペース、複数のオリエンテーションベクトル、及びオリエンテーションスケールスペースグラフィックの図である。 本発明に係る、単一の点に対して抽出された概略の放射状の記述子である。 本発明に係る、単一の点に対して抽出された概略の長方形の記述子である。 本発明の好ましい方法のフローチャートである。

本発明の目的の達成を実現する本システム及び方法は、添付の図面において示される。

画像アウトライン（ｉｍａｇｅ ｏｕｔｌｉｎｅ）を記述する方法（１００）は基本的に以下の複数のステップを備える。すなわち、本方法（１００）は、
閉じた平面曲線の媒介変数方程式（ｐａｒａｍｅｔｒｉｃ ｅｑｕａｔｉｏｎ）を受信するステップ（１０１）と、
複数の等しい区間（ｉｎｔｅｒｖａｌ）を有する閉じた平面曲線上の複数のノードを選択するステップ（１０２）と、
平面曲線をガウスフィルタと逐次的に畳み込むことによって曲線上の複数のノードの連続スケールスペース（ｃｏｎｔｉｎｕｏｕｓ ｓｃａｌｅ ｓｐａｃｅ）を生成して、各オクターブ（ｏｃｔａｖｅ）の後段で当該平面曲線をダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｉｎｇ）するステップ（１０３）と、
各オクターブの各区間における各サンプリングされた点に対して、複数のオリエンテーションベクトル及び複数のオリエンテーション角度値（ｏｒｉｅｎｔａｔｉｏｎ ａｌｇｌｅ ｖａｌｕｅ）を計算するステップ（１０４）と、
互いの上部に各オリエンテーション角度値を積み重ねることから取得される行列であるオリエンテーションスケールスペース（Ｏｒｉｅｎｔａｔｉｏｎ Ｓｃａｌｅ Ｓｐａｃｅ、ＯＳＳ）を生成するステップ（１０５）と、
全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ（１０６）と、
を備える。

まず、ステップ（１０１）において、記述子を用いてマッチングされ、識別され、又は表現されることとなる形状のアウトラインを表現する閉じた平面曲線の媒介変数方程式は受信される。赤外線探査及び追跡（ＩＲＳＴ）システムの場合において、生の入力データ（ｒａｗ ｉｎｐｕｔ ｄａｔａ）は２次元グレースケール画素画像になり、各画素は対象としている場面におけるそのような位置に対する赤外線密度（ｉｎｆｒａｒｅｄ ｄｅｎｓｉｔｙ）を表現する。画像上のオブジェクト（又は等価的にターゲット）のアウトラインを発見することを可能とするために、単純なアプローチは、カットアウトフィルタ（ｃｕｔｏｕｔ ｆｉｌｔｅｒ）を使用して当該画像を前処理することによって、当該画像を二値画像として表現している。二値画像を生成するための既知の複数の方法及び複数のアルゴリズムがあり、これらの方法及びアルゴリズムにおいて、オブジェクトはその影（ｓｈａｄｏｗ）又はシルエット（白い背景上の黒い領域）によってのみ表現されるとともに、これらは複数の赤外線グレースケール画像に対して適用することが簡単である。これらの現実世界の問題点は通常、二値シルエット画素画像などの離散的な形式で複数の信号を提供する。スケール及び解像度から独立したその複数の特徴を表現することが要求される場合、連続表現（ｃｏｎｔｉｎｕｏｕｓ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）が必要とされ、連続表現が要求される場合、シルエットは、スプライン（ｓｐｌｉｎｅ）又は多項式のような曲線モデルにフィッティングされる必要がある。

この演算は自明ではあるが、フィッティング方法及び関連するパラメータの選択は非常に重要である。本発明の方法の好ましい構成において、画像アウトライン上の複数の隣接画素（ｎｅｉｇｈｂｏｕｒｉｎｇ ｐｉｘｅｌ）の表現であるチェインコーディング（ｃｈａｉｎ ｃｏｄｉｎｇ）［Ｆｒｅｅｍａｎ Ｃｈａｉｎ ｃｏｄｅ １９６１（非特許文献１）］は、二値画像におけるシルエットを閉じたＢ−スプラインにフィッティングするために使用される。複数のチェインコードは、２個の画素（１又は√２単位）の間の実際の距離を示し、これらの距離はｋ次Ｂ−スプラインを所与のシルエットにフィッティングしてそのアウトラインを発見するときに使用される。シルエットの連続表現は必然的に必要とされる。なぜならば、閉じた曲線の複数の点の一様にサンプリングされた集合を使用することは、我々が信号の一様なスケールスペースを構築することを可能にするからである。

入力シルエットに属する複数の画素は曲線上にわたって一様にサンプリングされず、画素の数は任意であり、これはフィッティングされるスプライン曲線上でサンプリングされた好ましくは一定の数の点を必要とし、そしてスプライン関数から任意の数の点の一様にサンプリングされた点集合を取得してもよい。なお、このことはステップ（１０２）において実行される。形状のアウトラインを表現する曲線は閉じた平面曲線であり、このことは当該閉じた平面曲線が対象としているシルエットの周囲のループを形成する同一の点において開始及び終了して同一平面上の複数の点を表現することを意味する。ステップ（１０２）において、曲線は、各分割位置において「複数のノード」又は複数のサンプル点（ｓａｍｐｌｅ ｐｏｉｎｔ）を有する複数の等しい区分（ｓｅｃｔｉｏｎ）に分割される。低解像度画像に対して分割（ｄｉｖｉｓｉｏｎ）を過度に行うことは結果を改善しないが複雑性を増加させるため、分割の数は初期画像（ｉｎｉｔｉａｌ ｉｍａｇｅ）（シルエット画像）の解像度に依存してもよい。閉じた媒介変数スプライン関数は、（直感的には０及び１の間の実数である）パラメータが与えられたそれぞれのアウトラインに沿った位置を与えるであろう。また、全てのノードはこのパラメータに関連する値を有するであろう。

曲線上の複数のノードの連続スケールスペースは、ステップ（１０３）において生成される。これは前述の複数のＣＳＳ方法に類似するように思われ得るが、特徴抽出及び関連する複数の中間ステップは大きく異なる。

好ましい構成において、平面曲線は、少なくとも１つのオクターブを生成して、半分にダウンサンプリングされる。閉じた媒介変数曲線の場合において、ダウンサンプリングは、等しく分割されたサンプル点（ノード）の数を減少させることによって適用される。好ましい構成において、ノードは、曲線に沿う１つのノードを飛ばして進む（スキップする、ｓｋｉｐ）ことによって除去され、このことは全ての奇数又は偶数のノードが捨てられることを意味する。各オクターブを通して、連続スケールスペースは、好ましい実施形態において、平面曲線をガウスフィルタと畳み込むことによって生成される。すると、曲線のスケールスペースは構築されるであろう。そして実際このスケールスペース全体は、各オクターブ間でスケール間隔（ｓｃａｌｅ ｇａｐ）が好ましくは複数のオクターブ内のガウスフィルタリング（Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒｉｎｇ）と同一であるようにスケールの数が調整されるとき、連続スケールスペースを作成されることが可能である。ガウスフィルタは平面曲線に沿って適用されて、従って、標準偏差σを有する単一の生のフィルタ（ｒａｗ ｆｉｌｔｅｒ）である（曲線は実際には、決められた始点及び単一のパラメータを有する１次元である）。原曲線（ｏｒｉｇｉｎａｌ ｃｕｒｖｅ）は閉じた曲線であるため、始点はあらかじめ指定される必要がある。図２を参照して、第一列は各スケールに対するアウトラインを表現し、最も下のものは原入力アウトライン（ｏｒｉｇｉｎａｌ ｉｎｐｕｔ ｏｕｔｌｉｎｅ）である。入力アウトラインは複数のガウスフィルタと畳み込まれるため、より高い複数のスケールが取得され、第１のオクターブ（Ｆ）が生成される。第２のオクターブ（Ｓ）は、半分にダウンサンプリングされる初期アウトラインを使用して再び生成され、このことは第２のオクターブ（Ｓ）の複数のアウトラインにおいてより少しのノードしか存在しないことを意味する。第２のオクターブ（Ｓ）の複数のサブスケール（ｓｕｂ−ｓｃａｌｅ）は、ダウンサンプリングされたアウトラインをさらに畳み込むことによって生成される。このスケールスペース生成は、前段のオクターブのダウンサンプリングされたアウトラインを次段のオクターブのための開始アウトラインとして使用して、必要に応じてさらなる複数のオクターブのために反復される。ダウンサンプリングの正しい配置及び複数のパラメータのフィルタリングを用いて、上述の通り、連続スケールスペースは生成される。

曲線Ｌ（ｒ，σ）のスケールスペースは、
Ｌ（ｒ，σ）＝ｇ（ｒ，σ）＊Ｃ（ｒ）
として定義される。Ｌ（ｒ，σ）は可変スケールガウス関数ｇ（ｒ，σ）の媒介変数曲線Ｃ（ｒ）との畳み込みである。

次のステップは、各オクターブの各区間における各サンプリングされた点に対する複数のオリエンテーションベクトル及び複数のオリエンテーション角度値の計算である（１０４）。図２を参照して、中央の列は、各オクターブの各区間における各サンプリングされた点に対して計算された複数のオリエンテーションベクトルを示す。

サンプリングされた点におけるオリエンテーション角度は、オリエンテーションベクトルとｘ軸（Ｘ）と間の角度として定義され、ここで、オリエンテーションベクトルはそのような点における接線に対する単位ベクトルである。オリエンテーション角度値は以下のように計算される。

及び
は、曲線パラメータｒに沿ったＣ（ｒ）のｘ成分及びｙ成分の１階微分である。Ｏ（ｒ）は０ラジアンから２πラジアンまでの値をとるため、ａｔａｎ２関数が用いられる。

スケールスペースの各オクターブに対して、初期曲線は複数のガウシアン（Ｇａｕｓｓｉａｎ）と反復的に畳み込まれ、図２の左の列に示されるスケールスペース曲線の集合を生成する。各オクターブの後段で曲線は半分にダウンサンプリングされて、処理は反復される。次いで、各サンプリングされた点に対する複数のオリエンテーションベクトルは計算される（図２の中央の列）。この方法によって、複数のオリエンテーションベクトルのスケールスペースは取得される。

局所的な情報が抽出されることとなる最終スケールスペースは、互いの上部に各オリエンテーション角度値を積み重ねることから取得される（１０５）。そして、（ｏ．ｓ）ｘ（５１２）オリエンテーション値の行列は取得される。ここで、ｏはオクターブの数であり、ｓはオクターブの区間の数である。この行列はオリエンテーションスケールスペース（ＯＳＳ）と呼ばれ、また図２の右の列において図示される。

キーポイント（ｋｅｙ ｐｏｉｎｔ）の周囲の記述子を使用すると、複数の認識タスクは、バッグオブフィーチャーズ（Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓ）に基づく方法を用いて実行可能である。しかしながら、画像のテクスチャの詳細度が低い場合（例えば、遠くからの船の赤外線（ＩＲ）画像）、複数の記述子はほとんど使用できない。そのような理由により、複数のシルエットは通常これらの場合において好ましい。３つのパラメータを含むそのような複数の記述子を使用してステップ（１０１）から（１０６）までに従ってアウトラインに属する複数のオリエンテーション集合を抽出することで、異なる複数の形状に属する種々のアウトラインを含むデータベースを生成することが可能であり、またそれらを比較又はマッチングすることが可能である。さらにまた、閉じた媒介変数アウトライン曲線が受信される場合、その記述子をデータベースにおける全ての記述子と比較して、アウトラインがどのような形状に属するかを決定することが可能である。さらなるステップ（１０７）において、記述子は、種々のアウトラインに属する以前に記録された各記述子と比較されて、良好なマッチングを有する少なくとも１つの記述子が発見される。

曲線フィッティングスキームに依存して曲線の始点は異なってもよく、従ってその方法はシルエットの回転のもとで変化する。しかしながら、この依存性は特別な表現によって操作される。ステップ（１０６）において、２次元（２Ｄ）画像は、全てのサンプリングされた点の全ての位置、スケール及びオリエンテーション値を使用して放射状の記述子（ｒａｄｉａｌ ｄｅｓｃｒｉｐｔｏｒ）として生成される。この（２Ｄ）画像において、中心点（Ｃ）は、サンプリングされた複数の点の最も高い利用可能なスケール値を表現し、複数のスケール値は、当該中心点（Ｃ）が方向（Ｌ）の外部へ向けて移動するにつれて半径方向に減少する。全ての抽出された複数のキーポイントは記述子画像上の放射状の領域（ｒａｄｉａｌ ｒｅｇｉｏｎ）に対応する。半径方向の線（ｒａｄｉａｌ ｌｉｎｅ）から開始して、方向（Ｒ）の中心点（Ｃ）の周囲の回転は曲線パラメータを表現し、同一の位置において開始及び終了する。また、サンプリングされた複数の点は、それらのスケール値及び曲線パラメータに一致（マッチング、ｍａｔｃｈｉｎｇ）する位置において、ドット（Ｄ）として配置される。複数のオリエンテーションを表現する複数の２次元ベクトルは、好ましい構成において、配置されたドット（Ｄ）の色を用いてエンコードされる。さらに、連続的な色の輪（ｃｏｎｔｉｎｕｏｕｓ ｃｏｌｏｒ ｗｈｅｅｌ）に沿った特徴ノードの回転を用いて色相が変化するように複数の色が選択される場合、ステップ（１０９）における比較は以下に説明されるように簡単化される。例えば、０°及び３６０°が赤色で表現されて、１２０°が純粋な緑色で表現されて、２４０°が純粋な青色で表現されて、そして中間の領域が線形的に補間される場合、連続的な色の輪が得られる。ここで、オリエンテーションベクトルを表現する複数の値は複数の色である必要はなく、複数の値が最大値（我々の例に対しては３６０°）に到達した後において開始から反復している限り、任意の値は２次元配列を生成するために使用可能である。複数の色は、複数の記述子を人間が読めるようにするために使用され、これはまた、複数の記述子を通常の色づけされた複数の赤緑青（ＲＧＢ）画像ファイルとしてエンコードされるようにする（図３）。

長方形記述子は本発明のもう１つの実施形態において使用可能である（図４）。ステップ（１０６）において、２次元（２Ｄ）画像は、全てのサンプリングされた点の全ての位置、スケール及びオリエンテーション値を使用してＭ＊Ｎ長方形記述子として生成される。この２Ｄ画像において、水平軸（Ｈ）は複数のスケールレベル値を表し、また垂直軸（Ｖ）は複数の曲線パラメータを表す。水平軸（Ｈ）は、複数のオリエンテーションベクトルの複数の媒介変数の位置（ｐａｒａｍｅｔｒｉｃ ｐｏｓｉｔｉｏｎｓ）を与える。閉じた曲線が変数ｒ［０，１］を用いてパラメトライズされると仮定すると、ｒをＭ個のビン（好ましい実施形態において３６個）に量子化することによって、複数のオリエンテーションベクトルの位置は水平軸（Ｈ）に沿って分配される。垂直軸（Ｖ）はスケールレベルを表す。スケールパラメータは、ＯＳＳの数であるオクターブの好ましい数によって制限される。複数のスケールレベル値は、Ｎ個（好ましい実施形態において１８個）のビンに量子化されて、垂直軸に沿って分配される。垂直軸の最低のビンは、最も高い可能なスケールパラメータ値を表し、スケールパラメータは、垂直軸の最高のビンに向けて減少する。ビンの色は、ビンが表現する点のオリエンテーション角度（０°＞Ｏ（ｒ）＞２π°）に従って決定される。Ｏ（ｒ）を色の円（ｃｏｌｏｒ ｃｉｒｃｌｅ）（複数の色相値（ｈｕｅ ｖａｌｕｅ））にマッピングすることによって、複数のオリエンテーション角度が示される。ここで、Ｏ（ｒ）＝０°＝２π°は好ましい実施形態において赤色に対応する。従って、記述子は十分に彩度を示す。

ステップ（１０７）において、同一のサイズの複数の画像としてエンコードされた全ての特徴パラメータを用いて２つの記述子を比較する場合、それらは、画像の中心（最も高いスケール数ポイント（ｈｉｇｈｅｓｔ ｓｃａｌｅ ｎｕｍｂｅｒ ｐｏｉｎｔ））を一致させて互いに重ねられて、複数のオリエンテーションコンポーネントが減算される。この比較は、他の画像上の各画像の全ての可能な回転に対して行われ、このことはアウトラインに沿った複数の特徴点の可能な複数の位置を与えることとなる。さらに、１つの配列の複数のオリエンテーション値はまた、各位置において同一の量を有する全ての可能な値に対して変化され、異なる複数の特徴点オリエンテーションはまた考慮される。カラー画像の場合において、画像上の全ての値は同一の量だけ増加又は減少されるため、１つの画像の複数の色は、それらの相対的な複数のオリエンテーションを変更すること無く、複数の特徴点の可能な複数のオリエンテーションを与えることとなる選択される色の輪に従って変化される。比較に対する最小の差分を与える複数の対はアウトラインの最良のマッチングを与えることとなる。そのような複数の画像を生成するために必要とされる解像度が低いことを考慮すると、マッチング処理は、大きなデータベースにおいてアウトラインを識別するためには十分に高速である。

ステップ（１０６）において、複数の記述子は中心からの半径方向の距離がサンプリングされる点のスケール値を表現する複数の放射状の配列（ｒａｄｉａｌ ａｒｒａｙ）として表現され、この中心の周囲の回転はアウトライン曲線パラメータを表現し、そして各点における値はオリエンテーションを表現すると言うことができる。複数の記述子対（ｄｅｓｃｒｉｐｔｏｒ ｐａｉｒ）は、全ての可能な相対的な特徴オリエンテーション値を用いて同一の中心の周囲の全ての可能な回転において比較され、これはオリエンテーション値が２つの異なる値において同一の特徴オリエンテーションを表現するスキームにおいて変化され、また１つの放射状の配列を通して同一の量が増加され又は減少されこれが反復して、最高値又は最低値に到達する。これは複数の特徴の相対的な複数のオリエンテーションが循環する値と同一のままであることを確実にする。好ましい構成において、放射状の配列は、２次元カラー画像上でエンコードされる。

従来技術の当業者は、この方法（１００）を使用して、媒介変数方程式が既知であるアウトラインの記述子が抽出されてスケール及びオリエンテーションから不変な記述子のリストと比較されることが可能であることを理解すべきである。入力アウトラインは従って識別可能又はマッチング可能であり、あるいは、所与のアウトラインは、方法（１００）を使用して異なる複数のオブジェクトの異なる複数のアウトラインを表現する複数の記述子のデータベースにおいて探索可能である。さらに、このデータベースは、方法（１００）の複数のステップのうちのいくつか、すなわちステップ（１０１）から（１０６）までのうちのいくつかを使用して生成可能である（図３）。

画像アウトラインのスケール不変特徴を識別するシステム（１）は基本的に以下を備える。すなわち本システムは基本的に、
複数の原画素画像とともに、複数のアウトライン記述子及びそれぞれの複数のアウトラインを格納するように構成された、少なくとも１つの特徴及び画像データベース（２）と、
特徴及び画像データベース（１）に接続されるとともに、アウトラインの媒介変数方程式を受信してこの曲線を入力として使用して画像アウトラインのスケール不変特徴を識別する方法（１００）を実施するように構成された、少なくとも１つの処理ユニット（３）と、
を備える。

本発明の好ましい実施形態において、処理ユニット（３）は、平面アウトラインの少なくとも１つの媒介変数方程式を受信するように構成される。画像処理分野の当業者は、このシステム（１）及び方法（１００）が画素画像の列に対して応用されて、複数のアウトラインを有する複数のオブジェクトが継続的にモニターされることが可能であることを理解するべきである。本発明のシステム（１）のもう１つの実施形態において、処理ユニット（３）は、記録されたフレーム又はライブビデオストリームフレームからの少なくとも１つの画像を受信して、２次元画素画像を前処理して平面閉媒介変数アウトラインを取得する手段を有するように構成される。従って、処理ユニット（３）は、優先的には赤外線映像カメラであるカメラに接続可能に構成される（図１）。

アウトラインの受信時に、処理ユニット（３）はそのアウトラインを使用して、ステップ（１０１）から（１０６）に従って上述のごとく記述子を抽出して、当該処理ユニット（３）は、特徴及び画像データベース（２）におけるこのアウトライン、その記述子、及び（もし存在するならば）原画像（ｏｒｉｇｉｎａｌ ｉｍａｇｅ）を格納するように構成される。さらなるステップ（１０７）が実行される場合、特徴及び画像データベース（２）におけるデータを使用することで、システム（１）は、入力アウトラインを全ての記録された複数のアウトラインと比較して良好なマッチングを有する少なくとも１つの結果を発見することが可能である。従来技術において周知であるように、複数の結果は、識別されるアウトライン及び／又は画像を示す任意のインタフェース装置に出力可能である。このシステム（１）は、複数の２Ｄ画像の複数のアウトライン特徴を使用して当該複数の２Ｄ画像上の複数のオブジェクト又は形状を識別することを目的とする任意の装置に応用可能である。インタフェース装置は、モニター、ディスプレイ、又はプリンターのうちのいずれであることも可能であり、あるいは、複数の結果は任意の他の処理システムの入力として使用される。

結論として、オリエンテーション、スケール、及び解像度から独立した複数のシルエット画像外形特徴を抽出、表現、及びマッチングするための信頼性があり且つ効率的な方法はこのシステム（１）及び方法（１００）を用いて取得される。

これらの基本的な概念の範囲内において、本発明の「画像アウトラインを記述するシステム及び方法」（１），（１００）の幅広い種々の実施形態を展開することが可能である。本発明は、明細書で説明される例に限定されることはできず、本質的に特許請求の範囲に従う。

図面において示される複数の構成要素は個々に符号が振られ、ここで、複数の符号は以下を参照する。

１．画像アウトラインを記述するシステム
２．特徴及び画像データベース
３．処理ユニット
Ｃ．中心点
Ｄ．ドット
Ｆ．第１のオクターブ
Ｌ．スケールレベル方向
Ｓ．第２のオクターブ
Ｒ．曲線パラメータ方向
Ｘ．Ｘ軸
Ｂ．ビン
Ｈ．水平軸
Ｖ．垂直軸
１００．画像アウトラインを記述する方法

「画像上のオブジェクトアウトラインのスケール不変特徴を識別するシステム及び方法（“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅｓ ｏｆ Ｏｂｊｅｃｔ Ｏｕｔｌｉｎｅｓ ｏｎ Ｉｍａｇｅｓ”）」なるタイトルの出願（特許文献４）及び本出願の、類似のステップである特徴抽出のステップは、さらなる複数の差異を有する。スケールスペースからの選択された複数の特徴の数は、出願番号ＰＣＴ／ＩＢ２０１２／０５０８８３（特許文献４）においては予測可能ではない。予測不可能な数の特徴から生成される記述子の例（例１（図６））が以下にある。

しかしながら、曲線の全てのスケールレベルの全てのサンプリングされる点から抽出される、選択される複数の特徴（複数のオリエンテーション角度）の数は、ユーザによって決定される。本出願の１つの実施形態において、上述の数は５１２である。十分に彩度を示す記述子の例（例２（図７））がある。

グラフィック１（図８）は、新たに提案された技術の結果であり、グラフィック２（図９）は先の出願の結果である。これらの結果は、８隻の船のシルエットを有するデータベースから得られ、新しい技術の結果は非常によりよく成功している。複数の例及び複数のグラフィックは、詳細な説明が読まれるとき、より理解されるであろう。

好ましい実施形態のシステムの概略図である。 ２つの代表のオクターブ、それらのそれぞれのスケールスペース、複数のオリエンテーションベクトル、及びオリエンテーションスケールスペースグラフィックの図である。 本発明に係る、単一の点に対して抽出された概略の放射状の記述子である。 本発明に係る、単一の点に対して抽出された概略の長方形の記述子である。 本発明の好ましい方法のフローチャートである。 予測不可能な数の特徴から生成される記述子の例を示す図である。 十分に彩度を示す記述子の例を示す図である。 新たに提案された技術の結果を示す図である。 先の出願の結果を示す図である。

Claims (14)

1. 閉じた平面曲線の媒介変数方程式を受信するステップ（１０１）と、
   複数の等しい区間を有する前記閉じた平面曲線上の複数のノードを選択するステップ（１０２）と、
   前記平面曲線をガウスフィルタと逐次的に畳み込むことによって前記曲線上の前記複数のノードの連続スケールスペースを生成して、各オクターブの後段で当該平面曲線をダウンサンプリングするステップ（１０３）と、
   各オクターブの各区間における各サンプリングされた点に対して、複数のオリエンテーションベクトル及び複数のオリエンテーション角度値を計算するステップ（１０４）と、
   互いの上部に各オリエンテーション角度値を積み重ねることから取得される行列であるオリエンテーションスケールスペース（ＯＳＳ）を生成するステップ（１０５）と、
   全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ（１０６）と、
   の複数のステップによって特徴付けられる画像アウトラインを記述する方法（１００）。
2. 入力画像から二値画像を生成してオブジェクトの境界上の曲線をフィッティングする画像前処理演算は、「閉じた平面曲線の媒介変数方程式を受信するステップ（１０１）」の前に実施される、
   ことを特徴とする請求項１記載の画像アウトラインを記述する方法（１００）。
3. 「前記平面曲線をガウスフィルタと逐次的に畳み込むことによって前記曲線上の前記複数のノードの連続スケールスペースを生成して、各オクターブの後段で当該平面曲線をダウンサンプリングするステップ（１０３）」において、前記平面曲線は半分にダウンサンプリングされる、
   ことを特徴とする請求項１記載の画像アウトラインを記述する方法（１００）。
4. 連続スケールスペースは、ステップ（１０３）において各オクターブにわたって前記平面曲線をガウスフィルタと畳み込むことによって、生成される、
   ことを特徴とする請求項１記載の画像アウトラインを記述する方法（１００）。
5. サンプリングされた点のオリエンテーションベクトルを取得し、当該オリエンテーションベクトルは前記点における接線に直交する単位ベクトルであるステップ、
   によって特徴付けられる、請求項１記載の画像アウトラインを記述する方法（１００）。
6. 記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して、良好なマッチングを有する少なくとも１つの記述子を発見するステップ（１０７）、
   によって特徴付けられる、請求項１記載の画像アウトラインを記述する方法（１００）。
7. 「全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ（１０６）」において、前記複数の記述子は複数の放射状の配列として表現され、当該配列において、中心からの半径方向の距離はスケール値を表し、当該中心の周囲の回転はアウトライン曲線パラメータを表し、そして各点における値は前記サンプリングされた点のオリエンテーションを表す、
   ことを特徴とする請求項１記載の画像アウトラインを記述する方法（１００）。
8. 「全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ（１０６）」において、前記放射状の配列は２次元カラー画像上でエンコードされて、複数の前記サンプリングされた点のオリエンテーションを表す複数の２次元ベクトルは、配置された点の色を用いてエンコードされる、
   ことを特徴とする請求項７記載の画像アウトラインを記述する方法（１００）。
9. 「記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して、良好なマッチングを有する少なくとも１つの記述子を発見するステップ（１０９）」において、複数の記述子対は、同一の中心の周囲での複数の放射状の配列の全ての可能な回転において差分を発見することによって、比較される、
   ことを特徴とする請求項７記載の画像アウトラインを記述する方法（１００）。
10. 「記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して、良好なマッチ
    ングを有する少なくとも１つの記述子を発見するステップ（１０７）」において、前記複数の記述子のうちの１つの複数のオリエンテーション値は、複数の放射状の配列の少なくとも１つの相対的な回転に対して循環的に変化される、
    ことを特徴とする請求項７記載の画像アウトラインを記述する方法（１００）。
11. 「全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ（１０６）」において、全てのサンプリングされた点の全ての位置、スケール、及オリエンテーション値を使用して好ましい解像度（Ｍ＊Ｎ）を有する長方形記述子を生成し、水平軸（Ｈ）は複数のスケールレベル値を表し且つ垂直軸（Ｖ）は複数の曲線パラメータを表すステップ、
    を特徴とする請求項１記載の画像アウトラインを記述する方法（１００）。
12. 「全てのオリエンテーションベクトル並びにそれらのそれぞれのパラメータの位置及びスケールを含む記述子を用いてアウトラインを表現するステップ（１０６）」において、ビンが色の円（複数の色相値）を表す点のオリエンテーション角度をマッピングすることによって、生成される記述子におけるビンの色を決定するステップ、
    を特徴とする請求項１１記載の画像アウトラインを記述する方法（１００）。
13. 「記述子を、種々のアウトラインに属する以前に記録された各記述子と比較して、良好なマッチ
    ングを有する少なくとも１つの記述子を発見するステップ（１０７）」において、比較時に最小の差分を与える対は、最良のマッチングを与えることとなる、
    ことを特徴とする請求項７記載の画像アウトラインを記述する方法（１００）。
14. 請求項１〜１３のうちのいずれか一項記載のステップ（１０１）から（１０８）によって決定される複数のアウトライン記述子とそれぞれのアウトラインとを、複数の原画素画像とともに格納するように構成された、少なくとも１つの特徴及び画像データベース（２）と、
    特徴及び画像データベース（１）に接続されるとともに、アウトラインの媒介変数方程式を受信して、当該アウトラインを入力として使用して請求項１〜１３のうちのいずれか一項記載の画像アウトラインを記述すること（１００）を実施するように構成された、少なくとも１つの処理ユニット（３）と、
    によって特徴付けられる、画像アウトラインを記述するシステム（１）。