JP2015511736A - 画像上のオブジェクト輪郭のスケール不変特徴を識別するシステム及び方法 - Google Patents
画像上のオブジェクト輪郭のスケール不変特徴を識別するシステム及び方法 Download PDFInfo
- Publication number
- JP2015511736A JP2015511736A JP2014558221A JP2014558221A JP2015511736A JP 2015511736 A JP2015511736 A JP 2015511736A JP 2014558221 A JP2014558221 A JP 2014558221A JP 2014558221 A JP2014558221 A JP 2014558221A JP 2015511736 A JP2015511736 A JP 2015511736A
- Authority
- JP
- Japan
- Prior art keywords
- image
- scale
- curve
- contour
- invariant features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
- G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本発明は、画像輪郭のスケール不変特徴を識別するシステム及び方法に関する。本方法は、閉じた平面曲線の媒介変数方程式を受信するステップと、等しい間隔を有する閉じた平面曲線上のノードを選択するステップと、曲線上のノードの連続スケールスペースを生成するステップと、各オクターブにおける各スケールに対する閉じた曲線上の各ノードに対して曲率の円を計算するステップと、隣接スケール間の曲率差分の円を発見するステップと、各曲率差分値を比較して、最小又は最大の曲率差分を有するノードを特徴点として選択するステップと、全ての特徴点を含む記述子を用いて輪郭を表現するステップとを備える。本方法はさらに、所定のしきい値よりも互いに近い特徴点を除去するステップと、記述子を、種々の輪郭に属する前もって記録された各記述子と比較して、良好なマッチングを有する少なくとも1つの記述子を発見するステップとを備える。
Description
本発明は、シルエット画像外形特徴(silhouette image contour features)を抽出、表現、及びマッチングする画像処理及び方法の分野に関する。
静止画像(still image)又はビデオフレーム(video frame)上のオブジェクト(object)(又は等価的に「ターゲット(target)」)を識別する複数の方法及び複数のモデルがあることが知られている。そのような複数の方法は例えば、対象としている場所の赤外線画像を取得するセンサがある赤外線探査(infrared search)及び追跡(IRST)システム(tracking (IRST) system)において用いられ、一般的に、これらの画像はグレースケールフォーマットに変換される。この画像は、種々の位置における赤外線強度を表現する複数のピクセルの2次元配列を備える。現在、複数の入力オブジェクトの複数の輪郭の複数の特徴を抽出してマッチングする複数のシステム及び複数の方法がある。これらのシステムは例えば既知の種類のターゲットを決定するために使用され、またこれらのシステムはひいては状況に応じてそれを解釈することが可能である。そのような方法において、効果的に異なる複数の輪郭を表現して、少ない容量においてそれらを格納するとともに探索処理の速度を向上させることを可能とすることが望まれる。
1つのそのような既知の方法は曲率スケールスペース(curvature scale space、CSS)を使用し、閉じた曲線であるオブジェクトの輪郭はCSSを生成するために使用される。この目的のために、オブジェクトの外形上の曲線をフィッティング(fit)するためのもう1つの初期計算は一般的に、対象としているオブジェクトの二値シルエット画像に対して適用される。この既知の方法において、複数の曲率値の円は閉じた曲線上で計算されて、複数のオブジェクト記述子は輪郭のスケールスペース(Scale Space)表現から導出される。これらは複数のグラフによって表現されて、このグラフ上の複数のピーク値は複数の特徴パラメータとして用いられる。そのような表現を用いて、複数の画像上の種々の形状は識別され、マッチングされ、又は位置合わせされることが可能である。CSS方法に関する主な問題点のうちの1つは、CSS方法がシルエット曲線の計算の始点に依存していることである。シルエットは画像上のオブジェクトの周囲の閉じた曲線であるために、当該シルエットは定義された始点を有さず、また、このことは、複数の輪郭をマッチング又は認識する必要がある場合に、問題点を構成する。この問題点の解決方法として、複数のピーク値は現在、複数の形状のマッチングのために用いられており、当該ピーク値は複数の輪郭のノイズ及び誤った区分(セグメンテーション(segmentation))の影響を受ける。輪郭が軽微な誤差を有して抽出される場合、その結果はそのようなアプローチを用いて著しく変化し得る。
もう1つの現在使用される方法は、CSS技術によって取得されるグラフ上の複数のピーク値の間で順序づけを実施する。例えば、複数のピーク座標(ピークコーディネート、peak coordinate)は、現在の実施における複数のピークの高さに関して順序づけられる。さらにもう1つの技術は、最大ピークを始点として用いており、またそのようなピークから開始する複数の輪郭を表現している。さらに、これらの方法は、ノイズ及び誤った区分、又は誤った曲線フィッティング(curve fitting)の傾向がある。
他方、周知のスケール不変特徴変換(Scale Invariant Feature Transform、SIFT)方法は、2次元(2D)グレースケール画像のスケールスペース表現を使用し、一般的にピクセル画像上の複数のオブジェクトの代表の複数の特徴はスケールスペースを形成する複数のガウス画像の差分を計算することによって発見される。この2次元方法を用いて、複数のピクセル画像上の種々のオブジェクトは、複数の凸点(salient points)のリストによって表現されることが可能であり、比較され、識別され、又はマッチングされることが可能である。複数のCSS輪郭特徴抽出方法の複数の不利な点、及びオブジェクトの輪郭のみを表現する複数の特徴点を発見するための複数のSIFT方法の無力な点は、新しい方法を必要とする。複数の赤外線撮像システムなどのいくつかの応用において、画像上の複数のターゲット又は複数のオブジェクトは一般的に、その輪郭上にその複数の特徴を有する。さらにまた、いくつかのオブジェクトは、完全な表現を必要としないが、その輪郭のみによって識別可能である。輪郭のみの上の複数の特徴点を格納することは少ない容量しか要さず、探索及びマッチングは非常に高速となる。
現行の複数の方法は、それら自身上の複数のシルエット画像外形特徴(silhouette image contour features)の抽出、表現、及びマッチングの信頼性のある効果的な方法を提供しておらず、新しい方法は本明細書において導入される。
従来技術の出願である英国特許文献GB2393012(引用文献1)は、2次元輪郭を探索する方法を開示する。本方法は、クエリ(query)を入力するステップと、オブジェクトの輪郭の曲率スケールスペース表現から当該輪郭の記述子を導出するステップとを含み、CSS表現の複数のピーク座標値(peak co−ordinate value)はピークの複数の最高値に基づいて順序づけられる。
従来技術の出願である米国特許文献US7430303(引用文献2)は、画像の複数のジェスチャ特徴(gesture feature)を抽出及びマッチングする方法を開示する。本方法において、ジェスチャ画像の二値外形画像によって形成される閉じた曲線は、曲率スケールスペース(CSS)画像を形成するために使用され、複数の特徴パラメータは、第1の複数のピークを抽出することによって決定される。
従来技術の出願である米国特許文献US6711293(引用文献3)は、画像における複数のスケール不変特徴を識別する方法及び装置を開示する。当該方法及び装置は、複数の差分画像を生成して、初期画像をぼかしてぼかし画像(blurred image)を生成して、そして初期画像からぼかし画像を減算して差分画像を生成することによって、画像における複数のスケール不変特徴を識別する。
Freeman Chain code 1961
本発明の目的は、シルエット画像のスケール及び解像度から信頼性を有して効率的に独立した、複数のシルエット画像外形特徴を抽出し、表現し、そしてマッチングする方法を提供することにある。
本発明のもう1つの目的は、オリエンテーションから信頼性を有して独立した、複数のシルエット画像外形特徴を抽出し、表現し、そしてマッチングする方法を提供することにある。
複数の海事アプリケーションにおけるターゲットを検出する方法(100)は基本的に、以下の方法を含む。すなわち、本方法は、
閉じた平面曲線の媒介変数方程式を受信するステップ(101)と、
等しい複数の間隔を有する閉じた平面曲線上の複数のノードを選択するステップ(102)と、
平面曲線をガウスフィルタ(Gaussian Filger)と逐次的に畳み込むことによって曲線上の複数のノードの連続スケールスペースを生成して、各オクターブの後段で前記平面曲線をダウンサンプリングするステップ(103)と、
各オクターブにおける各スケールに対する閉じた曲線上の各ノードに対して、そのような点における曲がりの度合い又は曲率の量を表現する値を計算するステップ(104)と、
複数の隣接スケール間の複数の曲率差分を発見して複数の曲率差分群を形成するステップ(105)と、
各曲率差分値を同一且つ隣接した複数の群に属する複数の曲率差分と比較して、最小又は最大の曲率差分を有する複数のノードを複数の特徴点として選択するステップ(106)と、
全ての特徴点及びそれらのそれぞれの複数のパラメータを含む記述子を用いて輪郭を表現するステップ(107)と、
を含む。
閉じた平面曲線の媒介変数方程式を受信するステップ(101)と、
等しい複数の間隔を有する閉じた平面曲線上の複数のノードを選択するステップ(102)と、
平面曲線をガウスフィルタ(Gaussian Filger)と逐次的に畳み込むことによって曲線上の複数のノードの連続スケールスペースを生成して、各オクターブの後段で前記平面曲線をダウンサンプリングするステップ(103)と、
各オクターブにおける各スケールに対する閉じた曲線上の各ノードに対して、そのような点における曲がりの度合い又は曲率の量を表現する値を計算するステップ(104)と、
複数の隣接スケール間の複数の曲率差分を発見して複数の曲率差分群を形成するステップ(105)と、
各曲率差分値を同一且つ隣接した複数の群に属する複数の曲率差分と比較して、最小又は最大の曲率差分を有する複数のノードを複数の特徴点として選択するステップ(106)と、
全ての特徴点及びそれらのそれぞれの複数のパラメータを含む記述子を用いて輪郭を表現するステップ(107)と、
を含む。
本発明の目的を達成するために実現されるシステム及び方法は、添付の図面において図示される。
まず、ステップ(101)において、閉じた平面曲線の媒介変数方程式は受信されて、当該媒介変数方程式は形状の輪郭を表現して、当該輪郭は記述子を用いてマッチングされ、識別され、又は表現されることとなる。赤外線探査及び追跡(IRST)システムの場合において、生の入力データは2次元グレースケールピクセル画像であり、各ピクセルは対象としている場面におけるそのような位置に対する赤外線密度を表現する。画像上のオブジェクト(又は等価的にターゲット)の輪郭を発見することを可能とするために、単純なアプローチは、カットアウトフィルタを使用して当該画像を前処理することによって、当該画像を二値画像として表現している。二値画像を生成するための既知の複数の方法及び複数のアルゴリズムが存在し、これらの方法及びアルゴリズムにおいて、オブジェクトはその影又はシルエット(白い背景上の黒い領域)によってのみ表現されるとともに、これらは複数の赤外線グレースケール画像に対して簡単に適用する。これらの現実世界の複数の問題点は通常、二値シルエットピクセル画像などの離散的な形式で複数の信号を提供する。スケール及び解像度から独立したその複数の特徴を表現することが要求される場合、連続表現が必要とされ、連続表現が要求される場合、シルエットは、スプライン(spline)又は多項式のような曲線モデルにフィッティングされる必要がある。
この演算は自明ではあるが、フィッティング方法及び関連する複数のパラメータの選択は非常に重要である。本発明の方法の好ましい構成において、画像輪郭(image outline)上の複数の隣接画素の表現であるチェインコーディング(chain coding)[Freeman Chain code 1961(非特許文献1)]は、複数の二値画像における複数のシルエットを、閉じた複数のB−スプラインにフィッティングするために使用される。複数のチェインコードは、2つのピクセル(1又は√2単位)の間の実際の距離を示し、これらの距離はk次B−スプラインを所与のシルエットにフィッティングしてその輪郭を発見するときに使用される。シルエットの連続表現は必然的に必要とされる。なぜならば、閉じた曲線の複数の点の一様にサンプリングされた集合を使用することは、我々が信号の一様なスケールスペースを構成することを可能にするからである。
入力シルエットに属する複数のピクセルは曲線上で一様にサンプリングされず、ピクセルの数は任意であり、これはフィッティングされたスプライン曲線上でサンプリングされた好ましくは一定の数の点を必要とし、そしてスプライン関数から任意の数の点の一様にサンプリングされた点集合を取得してもよい。なお、このことはステップ(102)において実行される。形状の輪郭を表現する曲線は閉じた平面曲線であり、このことは当該閉じた平面曲線が対象としているシルエットの周囲のループを形成する同一の点において開始及び終了して同一平面上の複数の点を表現することを意味する。ステップ(102)において、曲線は、各分割位置において「複数のノード」又は複数のサンプル点(sample point)を有する複数の等しい区分に分割される。分割の数は、初期画像(initial image)(シルエット画像)の解像度に依存してもよい。なぜならば、低解像度画像に対する分割(division)を過度に行うこと(overdoing)は複数の結果を改善しないが複雑性を増加させるからである。閉じた媒介変数スプライン関数は、(直感的には0及び1の間の実数である)パラメータが与えられたそれぞれの輪郭に沿った位置を与えるであろう。また、各ノードは、このパラメータに関連する値を有するであろう。
複数の平面曲線上の複数のキーポイント又は複数の特徴点を検出することは、ガウシアンの差分(Difference of Gaussians、DoG)アプローチを使用して実行され、当該アプローチは従来技術において複数の2Dピクセル画像に対して実行された。曲線上の複数のノードの連続スケールスペースは、ステップ(103)において生成される。これは前述の複数のCSS方法に類似するように思われ得るが、特徴抽出及び関連する複数の中間ステップが大きく異なる。
好ましい構成において、平面曲線は、少なくとも1つのオクターブを生成して、半分にダウンサンプリングされる。閉じた媒介変数曲線の場合において、ダウンサンプリングは、等しく分割された複数のサンプル点(複数のノード)の数を減少させることによって適用される。好ましい構成において、複数のノードは、曲線に沿う1つのノードを飛ばして進む(スキップする、skip)ことによって除去され、このことは全ての奇数又は偶数の複数のノードが捨てられることを意味する。各オクターブを通して、連続スケールスペースは、好ましい実施形態において、平面曲線をガウスフィルタと畳み込むことによって生成される。すると、曲線のスケールスペースは構成されるであろう。そして実際このスケールスペース全体は、各オクターブ間で、スケール間隔(Scale Gap)が複数のオクターブ内のガウスフィルタリング(Gaussian Filtering)と好ましくは同一であるようにスケールの数が調整されるとき、連続スケールスペースを作成されることが可能である。ガウスフィルタは平面曲線に沿って適用されて、従って、標準偏差σを有する単一の生のフィルタである(曲線は実際には決められた始点及び単一のパラメータを有する1次元である)。原曲線(Original Curve)は閉じた曲線であるため、始点はあらかじめ指定される必要がある。図2を参照して、第一列は各スケールに対する輪郭を表現し、最も下のものは原入力輪郭(Original Input Outline)である。入力輪郭は複数のガウスフィルタと畳み込まれるため、より高い複数のスケールが取得され、第1のオクターブ(F)が生成される。第2のオクターブ(S)は、半分にダウンサンプリングされる初期輪郭を使用して再び生成され、このことは第2のオクターブ(S)の複数の輪郭においてより少しのノードしか存在しないことを意味する。第2のオクターブ(S)の複数のサブスケール(sub−scale)は、ダウンサンプリングされた輪郭をさらに畳み込むことによって生成される。このスケールスペース生成は、以前のオクターブのダウンサンプリングされた輪郭を次のオクターブのための開始輪郭として使用して、必要に応じてさらなる複数のオクターブのために反復される。ダウンサンプリングの正しい配置及び複数のパラメータのフィルタリングを用いて、上述の通り、連続スケールスペースは生成される。
次のステップは、各オクターブにおける各スケールに対する閉じた曲線上の各ノードに対する曲率の円の計算であり(104)、当該ステップにおいて関数K(・)は、複数の曲率値の円を1D信号として決定するために使用される。K(・)は、所与の点(ノード)において曲線に接する円の半径の逆数を出力する関数である。この値は、そのような点における曲率の量を表すパラメータ又は値の例である。図2を参照して、第2の列は、各スケールに対する輪郭を、曲率の円(縦軸)−曲率パラメータ(横軸)グラフとして表す。この信号の形状は閉じた曲線上の始点に依存し、この理由により、全ての層(layer)及びオクターブにおける各曲線に対して、同一の始点が使用され、なぜならばスプラインパラメータスペースにおけるその正確な位置は調整可能(例えば、それは0として選ばれる)であるからである。
スケールスペースの各オクターブに対して、初期曲線は、複数のガウシアン(Gaussian)と反復して畳み込まれて、左に示す複数のスケールスペース曲線の集合を生成する(図2)。各オクターブの後段で、曲線は半分にダウンサンプリングされて、処理は反復される。次いで、曲率関数K(・)を用いて、これらの曲線上の複数の曲率値は各オクターブにおける各レベルに対して計算される(図2の中央の列)。この方法によって、複数の曲率値(又は曲率の度合いを表す任意の他の量)の円のスケールスペースは取得される。
次いで、局所的な複数の極値が抽出されることとなる最後のスケールスペースは、ステップ(105)において、複数の曲率値レベルの差分を計算することによって構成される。複数の曲率グラフの隣接する円を減算することによって発見されるこの差分は、図2の第3の列上に見られるような、複数のグラフの第2の集合を形成するために使用される。2つのスケールから取得される各差分データ集合(又はグラフ)は、本明細書において群と呼ばれる。連続スケールスペースは、複数のスケールレベルが未だ、複数のオクターブ間で認められた複数の隣接レベルであることを意味する。輪郭の解像度が変化している、複数のオクターブ間における数学的変換は、自明である。
次のステップにおいて、各曲率差分値は、同一且つ隣接した複数の差分群に属する複数の曲率差分と比較される(106)。好ましい実施形態において、現在の差分群上の2つの近傍及び隣接した複数の群上の3つの最も近い(曲線パラメータ毎)ノードのみは、比較のために使用され、最小又は最大の曲率差分を有する複数のノードは、複数の特徴点として選択される。これらの特徴又は複数の特徴点の中で、所定のしきい値よりも互いに近い複数のノードは、好ましい構成において、さらなるステップ(108)において除去される。複数のノードが除去されることとなるか否かを決定するための複数のノード間の距離は、曲線に沿った距離であって、実際の2次元距離ではない。しきい値よりも互いに近い複数の特徴は、最後の特徴リストにおいて使用されないこととなる。このしきい値は、好ましい構成において、シルエット曲線全体の長さの1%として選択される。
検出される複数のキーポイントは曲線に沿ったノードの位置を示す1次元曲線パラメータを有し、スケール値は特徴ノードのスケールレベルを表し、そしてベクトルは所定の座標系に関する特徴ノードのオリエンテーションを表す。曲線パラメータは、好ましい構成において、0と1との間である。スケール値は、特徴がどの差分群に属するかを表す。好ましい構成において、第1のオクターブにおいて最初の2つのスケールを減算することによって発見される差分群は、1.00のスケール値を与えられ、第2のオクターブの最初の2つのスケールを使用して発見される差分群は、2.00のスケール値を与えられ、などである(図2の複数の差分グラフの隣に示される)。これらのスケールの間における他の複数の差分群は、それらの間で補間される複数の実数を与えられる。例えば、オクターブ毎に4つのスケール及び3つの差分群が存在する場合、第2のレベル及び第3のレベルに属する差分群は値1.25を与えられ、第2のオクターブの最初のスケール及び第1のオクターブの最後のスケールの差分群は値1.75が与えられる。キーポイントのオリエンテーションは、好ましい構成において、そのような点におけるスケーリングされた曲線(scaled curve)の接線に直交する単位ベクトルの方向である。スケーリングされた曲線とは、原曲線(original curve)それ自身ではなく、キーポイントのスケール値に対応するレベルにおけるガウススケールスペース内に存在する平滑化された曲線(smoothed curve)を意味する。スケーリングされた曲線上のキーポイントの傾きを表す任意の2次元方向ベクトルは、オリエンテーションベクトルとして使用可能である。
キーポイントの周囲の記述子を使用すると、複数の認識タスクは、バッグオブフィーチャーズ(Bag−of−Features)に基づく方法を用いて実行可能である。しかしながら、画像のテクスチャの詳細度が低い場合(例えば、遠くからの船の赤外線(IR)画像)複数の記述子はほとんど使用できない。そのような理由により、複数のシルエットは通常これらの場合において好ましい。3つのパラメータを含むそのような複数の記述子を使用して、またステップ(101)から(107)までに従って輪郭に属する複数の特徴集合を抽出することで、異なる複数の形状に属する種々の輪郭を含むデータベースを生成することが可能であり、またそれらを比較又はマッチングすることが可能である。さらにまた、閉じた媒介変数輪郭曲線が受信される場合、その記述子をデータベースにおける全ての記述子と比較して、輪郭がどのような形状に属するかを決定することが可能である。さらなるステップ(109)において、記述子は、種々の輪郭に属する以前に記録された各記述子と比較されて、良好なマッチングを有する少なくとも1つの記述子が発見される。
曲線フィッティング方法に依存して曲線の始点は異なってもよく、従ってその方法はシルエットの回転のもとで変化する。しかしながら、この依存性は特別な表現によって操作される。ステップ(107)において、2次元(2D)画像は、全ての抽出されたキーポイントの全ての位置、スケール及びオリエンテーション値を使用して記述子として生成される。この(2D)画像において、中心点(C)は、複数のキーポイントの最も高い利用可能なスケール値を表現し、複数のスケール値は、当該中心点(C)が方向(L)の外部へ向けて移動すると簡単に減少する。全ての抽出された複数のキーポイントは記述子画像上の放射状の領域(radial region)に対応する。半径方向の線(radial line)から開始して、方向(R)の中心点(C)の周囲の回転は曲線パラメータを表現し、同一の位置において開始及び終了する。また、複数の特徴点は、それらのスケール値及び曲線パラメータにマッチする位置において、ドット(D)として配置される。また、特徴の複数のオリエンテーションを表現する複数の2次元ベクトルは、好ましい構成において、配置されるドット(D)の色を用いてエンコード(encoded)される。さらに、連続的な色の輪(continuous color wheel)に沿った特徴ノードの回転を有する色相変化であるステップ(109)における比較が後述のごとく簡単化されるように、複数の色が選択される。例えば、0度及び360度が赤色で表現されて、120度が純粋な緑色で表現されて、240度が純粋な青色で表現されて、そして中間の領域が線形的に補間される場合、連続的な色の輪が得られる。ここで、オリエンテーションベクトルを表現する複数の値は、複数の色である必要はなく、複数の値が最大値(我々の例に対しては360度)に到達した後の開始から反復している限り、任意の値は2次元配列を生成するために使用可能である。複数の色は、複数の記述子を人間が読めるようにするために使用され、これはまた、複数の記述子を通常の色づけされた複数の赤緑青(RGB)画像ファイルとしてエンコードされるようにする(図3)。
ステップ(109)において、同一のサイズの複数の画像としてエンコードされた全ての特徴パラメータを用いて2つの記述子を比較する場合、それらは、複数の画像の中心(最も高いスケール数ポイント(highest scale number point))をマッチングさせて互いに重ねられて、複数のオリエンテーションコンポーネントが減算される。この比較は、他の画像上の各画像(each image on the other)の全ての可能な回転に対して実行され、このことは輪郭に沿った複数の特徴点の可能な複数の位置を与えるであろう。さらに、1つの配列の複数のオリエンテーション値はまた、各位置において同一の量を有する全ての可能な値に対して変化され、異なる複数の特徴点オリエンテーションはまた考慮される。カラー画像の場合において、画像上の全ての値は同一の量だけ増加又は減少されるため、1つの画像の複数の色は、それらの相対的な複数のオリエンテーションを変更すること無く、複数の特徴点の可能な複数のオリエンテーションを与えることとなる選択される色の輪に従って変化される。比較に対する最小の差分を与える対は輪郭の最良のマッチングを与えることとなる。そのような複数の画像を生成するために必要とされる解像度が低いことを考慮すると、マッチング処理は、大きなデータベースにおいて輪郭を識別するためには十分に高速である。
ステップ(107)において、複数の記述子は中心からの半径方向の距離が抽出されるキーポイントのスケール値を表現する複数の半径方向の配列(radial array)として表現され、この中心の周囲の回転は輪郭曲線パラメータを表現し、そして各点における値は特徴オリエンテーションを表現すると言える。複数の記述子対は、全ての可能な相対的な特徴オリエンテーション値を用いて同一の中心の周囲の全ての可能な回転において比較され、これはオリエンテーション値が2つの異なる値において同一の特徴オリエンテーションを表現する方法において変化され、また1つの半径方向の配列を通して同一の量を増加され又は減少され、そして最高値又は最低値に到達すると繰り返す。これは複数の特徴の相対的な複数のオリエンテーションが循環する値と同一のままであることを確実にする。好ましい構成において、半径方向の配列は、2次元カラー画像上でエンコードされる。
従来技術の当業者は、媒介変数方程式が既知である輪郭の記述子を用いるこの方法(100)を使用することは抽出されてスケール及びオリエンテーションの記述子不変量のリストと比較されることが可能であることを理解すべきである。入力輪郭は従って識別可能又はマッチング可能であり、あるいは、所与の輪郭は、方法(100)を使用して異なる複数のオブジェクトの異なる複数の輪郭を表現する複数の記述子のデータベースにおいて探索可能である。さらに、このデータベースは、方法(100)の複数のステップのうちのいくつか、すなわちステップ(101)から(108)までのうちのいくつかを使用して生成可能である(図3)。
画像輪郭(1)のスケール不変特徴を識別するシステムは基本的に以下を備える。すなわち本システムは基本的に、
複数の原ピクセル画像とともに、複数の輪郭記述子及びそれぞれの複数の輪郭を格納するように構成された、少なくとも1つの特徴及び画像データベース(2)と、
特徴及び画像データベース(1)に接続されるとともに、輪郭の媒介変数方程式を受信してこの曲線を入力として使用して画像輪郭のスケール不変特徴を識別する方法(100)を実施するように構成された、少なくとも1つの処理ユニット(3)と、
を備える。
複数の原ピクセル画像とともに、複数の輪郭記述子及びそれぞれの複数の輪郭を格納するように構成された、少なくとも1つの特徴及び画像データベース(2)と、
特徴及び画像データベース(1)に接続されるとともに、輪郭の媒介変数方程式を受信してこの曲線を入力として使用して画像輪郭のスケール不変特徴を識別する方法(100)を実施するように構成された、少なくとも1つの処理ユニット(3)と、
を備える。
本発明の好ましい実施形態において、処理ユニット(3)は、平面輪郭の少なくとも1つの媒介変数方程式を受信するように構成される。画像処理分野の当業者は、このシステム(1)及び方法(100)がピクセル画像の列に対して応用されて、複数の輪郭を有する複数のオブジェクトが継続的にモニターされることが可能であることを理解するべきである。本発明のシステム(1)のもう1つの実施形態において、処理ユニット(3)は、記録された又はライブビデオストリーム(live video)のフレーム(frame)からの少なくとも1つの画像を受信して、2次元ピクセル画像を前処理して平面閉媒介変数輪郭を取得する手段を有するように構成される。従って、処理ユニット(3)は、優先的には赤外線映像カメラであるカメラに接続可能に構成される(図1)。
輪郭の受信時に、処理ユニット(3)はその輪郭を使用して、ステップ(101)から(107)に従って上述のごとく記述子を抽出して、当該処理ユニット(3)は、特徴及び画像データベース(2)におけるこの輪郭、その記述子、及び(もし存在するならば)原画像(original image)を格納するように構成される。さらなるステップ(109)が実行される場合、特徴及び画像データベース(2)におけるデータを使用することで、システム(1)は、入力輪郭を全ての記録された複数の輪郭と比較して良好なマッチングを有する少なくとも1つの結果を発見することが可能である。従来技術において周知であるように、複数の結果は、識別される輪郭及び/又は画像を示す任意のインタフェース装置に出力可能である。このシステム(1)は、複数の2D画像の複数の輪郭特徴を使用して当該複数の2D画像上の複数のオブジェクト又は形状を識別することを目的とする任意の装置に応用可能である。インタフェース装置は、任意のモニター、ディスプレイ、又はプリンターであることが可能であり、あるいは、複数の結果は任意の他の処理システムの入力として使用可能である。
結論として、オリエンテーション、スケール、及び解像度から独立した複数のシルエット画像外形特徴を抽出、表現、及びマッチングするための信頼性があり且つ効率的な方法は本発明のシステム(1)及び方法(100)を用いて取得される。
これらの基本的な概念の範囲内において、本発明の「画像輪郭のスケール不変特徴を識別するシステム及び方法」(1),(100)の幅広い種々の実施形態を展開することが可能である。本発明は、明細書で説明される例に限定されることはできず、本質的に特許請求の範囲に従う。
図面において示される複数の構成要素は個々に符号が振られ、ここで、複数の符号は以下を参照する。
1.複数の画像輪郭の複数のスケール不変特徴を識別するシステム
2.特徴及び画像データベース
3.処理ユニット
C.中心点
D.ドット
F.第1のオクターブ
L.スケールレベル方向
S.第2のオクターブ
R.曲線パラメータ方向
100.複数の画像輪郭の複数のスケール不変特徴を識別する方法
2.特徴及び画像データベース
3.処理ユニット
C.中心点
D.ドット
F.第1のオクターブ
L.スケールレベル方向
S.第2のオクターブ
R.曲線パラメータ方向
100.複数の画像輪郭の複数のスケール不変特徴を識別する方法
Claims (15)
- 閉じた平面曲線の媒介変数方程式を受信するステップ(101)と、
等しい複数の間隔を有する前記閉じた平面曲線上の複数のノードを選択するステップ(102)と、
前記平面曲線をガウスフィルタと逐次的に畳み込むことによって前記曲線上の前記複数のノードの連続スケールスペースを生成して、各オクターブの後段で前記平面曲線をダウンサンプリングするステップ(103)と、
各オクターブにおける各スケールに対する前記閉じた曲線上の各ノードに対して、そのような点における曲率の量を表現する値を計算するステップ(104)と、
複数の隣接スケール間の複数の曲率差分を発見して複数の曲率差分群を形成するステップ(105)と、
各曲率差分値を前記同一且つ隣接した複数の群に属する複数の曲率差分と比較して、最小又は最大の曲率差分を有する前記複数のノードを複数の特徴点として選択するステップ(106)と、
全ての前記複数の特徴点及びそれらのそれぞれの複数のパラメータを含む記述子を用いて輪郭を表現するステップ(107)と、
の複数のステップによって特徴付けられる画像輪郭のスケール不変特徴を識別する方法(100)。 - 入力画像から二値画像を生成してオブジェクトの境界上の曲線をフィッティングする画像前処理演算は、ステップ(101)の前に実施される、
ことを特徴とする請求項1記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - ステップ(103)において、前記平面曲線は半分にダウンサンプリングされる、
ことを特徴とする請求項1又は2記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - ステップ(103)において、連続スケールスペースは、各オクターブを通して前記平面曲線をガウスフィルタと畳み込むことによって生成される、
ことを特徴とする請求項1〜3記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - ステップ(104)において、所与のノードにおける前記曲線に接する円の半径の逆数を出力する関数は、曲率を計算するために使用される、
ことを特徴とする請求項1〜4記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - ステップ(106)において、前記現在の差分群上の2つの近傍と、前記隣接した複数の群上の3つの最も近接したノードとは、比較のために使用される、
ことを特徴とする請求項1〜5記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - 前記輪郭に沿って所定のしきい値よりも互いに近接した複数の特徴点を除去するステップ(108)、
を特徴とする請求項1〜6記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - ステップ(108)において、前記しきい値は、シルエット輪郭長全体の所定の割合として選択される、
ことを特徴とする請求項7記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - 記述子を、種々の輪郭に属する前もって記録された各記述子と比較して、良好なマッチングを有する少なくとも1つの記述子を発見するステップ(109)、
を特徴とする請求項1〜8記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - ステップ(107)において、前記複数の記述子は、複数の半径方向の配列として表現され、当該複数の半径方向の配列において中心からの半径方向の距離は複数の差分群のスケール値を表現し、当該中心の周囲での回転は前記輪郭曲線パラメータを表現し、そして各点における前記値は特徴オリエンテーションを表現する、
ことを特徴とする請求項1〜9記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - ステップ(107)において、前記半径方向の配列は2次元カラー画像上でエンコードされ、前記特徴の複数のオリエンテーションを表現する前記複数の2次元ベクトルは、位置づけられた点の色を用いてエンコードされる、
ことを特徴とする請求項10記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - ステップ(109)において、複数の記述子対は、同一の中心の周囲での複数の半径方向の配列の全ての可能な回転において前記差分を発見することによって、比較される、
ことを特徴とする請求項10又は11記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - ステップ(109)において、前記複数の記述子の複数のオリエンテーション値のうちの1つは、複数の半径方向の配列の少なくとも1つの相対的回転に対して循環的に変化される、
ことを特徴とする請求項12記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - ステップ(109)において、比較時に最小の差分を与える対は、最良のマッチングを与えることとなる、
ことを特徴とする請求項1〜13記載の画像輪郭のスケール不変特徴を識別する方法(100)。 - 請求項1〜14のうちのいずれか一項記載のステップ(101)から(108)によって決定される複数の輪郭記述子を、複数の原ピクセル画像とともに格納するように構成された、少なくとも1つの特徴及び画像データベース(2)と、
特徴及び画像データベース(1)に接続されるとともに、輪郭の媒介変数方程式を受信して、当該輪郭を入力として使用して請求項1〜14のうちのいずれか一項記載の画像輪郭のスケール不変特徴を識別する前記方法(100)を実施するように構成された、少なくとも1つの処理ユニット(3)と、
によって特徴付けられる、画像輪郭(1)のスケール不変特徴を識別するシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2012/050883 WO2013128233A1 (en) | 2012-02-27 | 2012-02-27 | System and method for identifying scale invariant features of object outlines on images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015511736A true JP2015511736A (ja) | 2015-04-20 |
Family
ID=45922724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014558221A Pending JP2015511736A (ja) | 2012-02-27 | 2012-02-27 | 画像上のオブジェクト輪郭のスケール不変特徴を識別するシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9135522B2 (ja) |
EP (1) | EP2724295B1 (ja) |
JP (1) | JP2015511736A (ja) |
KR (1) | KR20140108726A (ja) |
WO (1) | WO2013128233A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10716528B2 (en) | 2007-03-08 | 2020-07-21 | Sync-Rx, Ltd. | Automatic display of previously-acquired endoluminal images |
US8781193B2 (en) | 2007-03-08 | 2014-07-15 | Sync-Rx, Ltd. | Automatic quantitative vessel analysis |
US11064964B2 (en) | 2007-03-08 | 2021-07-20 | Sync-Rx, Ltd | Determining a characteristic of a lumen by measuring velocity of a contrast agent |
JP5639764B2 (ja) | 2007-03-08 | 2014-12-10 | シンク−アールエックス,リミティド | 運動する器官と共に使用するイメージング及びツール |
US11197651B2 (en) | 2007-03-08 | 2021-12-14 | Sync-Rx, Ltd. | Identification and presentation of device-to-vessel relative motion |
US9375164B2 (en) | 2007-03-08 | 2016-06-28 | Sync-Rx, Ltd. | Co-use of endoluminal data and extraluminal imaging |
US9629571B2 (en) | 2007-03-08 | 2017-04-25 | Sync-Rx, Ltd. | Co-use of endoluminal data and extraluminal imaging |
US9968256B2 (en) | 2007-03-08 | 2018-05-15 | Sync-Rx Ltd. | Automatic identification of a tool |
US9305334B2 (en) | 2007-03-08 | 2016-04-05 | Sync-Rx, Ltd. | Luminal background cleaning |
US10362962B2 (en) | 2008-11-18 | 2019-07-30 | Synx-Rx, Ltd. | Accounting for skipped imaging locations during movement of an endoluminal imaging probe |
US9974509B2 (en) | 2008-11-18 | 2018-05-22 | Sync-Rx Ltd. | Image super enhancement |
US11064903B2 (en) | 2008-11-18 | 2021-07-20 | Sync-Rx, Ltd | Apparatus and methods for mapping a sequence of images to a roadmap image |
KR101904203B1 (ko) * | 2012-06-20 | 2018-10-05 | 삼성전자주식회사 | 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법 |
EP2863802B1 (en) | 2012-06-26 | 2020-11-04 | Sync-RX, Ltd. | Flow-related image processing in luminal organs |
KR101567792B1 (ko) * | 2013-04-01 | 2015-11-20 | 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 | 이미지 윤곽 묘사 시스템 및 방법 |
CN105745598B (zh) * | 2013-11-27 | 2019-10-01 | 惠普发展公司,有限责任合伙企业 | 确定对象的表示的形状 |
EP3092602A1 (en) * | 2014-01-10 | 2016-11-16 | Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi | Method for describing planar curves using morphological scale spaces |
EP3200155B1 (en) | 2014-05-14 | 2019-07-31 | Sync-RX, Ltd. | Object identification |
KR102302621B1 (ko) | 2015-03-09 | 2021-09-16 | 한국전자통신연구원 | 고차 라플라시안 오브 가우시안 커널을 이용한 이미지의 특징점 추출 장치 및 방법 |
CN105678326B (zh) * | 2015-12-31 | 2019-12-10 | 华南理工大学 | 一种基于曲率的二维目标轮廓的编码方法 |
KR102301386B1 (ko) | 2017-06-27 | 2021-09-13 | 삼성전자주식회사 | 외부 장치와 무선으로 통신하는 방법 및 이를 지원하는 전자 장치 |
CN110287783A (zh) * | 2019-05-18 | 2019-09-27 | 天嗣智能信息科技(上海)有限公司 | 一种视频监控图像人形识别方法 |
CN111145228B (zh) * | 2019-12-23 | 2023-05-26 | 西安电子科技大学 | 基于局部轮廓点与形状特征融合的异源图像配准方法 |
CN111695498B (zh) * | 2020-06-10 | 2023-04-07 | 西南林业大学 | 一种木材同一性检测方法 |
CN115439615B (zh) * | 2022-11-07 | 2023-02-17 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 一种基于三维bim的分布式综合管理系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6711293B1 (en) | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
GB2351826B (en) | 1999-07-05 | 2004-05-19 | Mitsubishi Electric Inf Tech | Method of representing an object in an image |
US7430303B2 (en) | 2002-03-29 | 2008-09-30 | Lockheed Martin Corporation | Target detection method and system |
WO2003088085A1 (en) * | 2002-04-04 | 2003-10-23 | Arizona Board Of Regents | Three-dimensional digital library system |
-
2012
- 2012-02-27 EP EP12711452.8A patent/EP2724295B1/en active Active
- 2012-02-27 US US14/240,316 patent/US9135522B2/en active Active
- 2012-02-27 WO PCT/IB2012/050883 patent/WO2013128233A1/en active Application Filing
- 2012-02-27 KR KR20147021680A patent/KR20140108726A/ko not_active Application Discontinuation
- 2012-02-27 JP JP2014558221A patent/JP2015511736A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20140108726A (ko) | 2014-09-12 |
US20140212048A1 (en) | 2014-07-31 |
EP2724295B1 (en) | 2017-03-22 |
WO2013128233A1 (en) | 2013-09-06 |
EP2724295A1 (en) | 2014-04-30 |
US9135522B2 (en) | 2015-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015511736A (ja) | 画像上のオブジェクト輪郭のスケール不変特徴を識別するシステム及び方法 | |
JP6106799B2 (ja) | 画像アウトラインを記述するシステム及び方法 | |
US11176406B2 (en) | Edge-based recognition, systems and methods | |
Melekhov et al. | Dgc-net: Dense geometric correspondence network | |
JP6616862B2 (ja) | エッジベクトルを利用した画像特徴検出 | |
CN109753885B (zh) | 一种目标检测方法、装置以及行人检测方法、系统 | |
CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
US9418313B2 (en) | Method for searching for a similar image in an image database based on a reference image | |
JP5703312B2 (ja) | 特徴点の効率的なスケールスペース抽出及び記述 | |
US9256802B2 (en) | Object or shape information representation method | |
CN106991695A (zh) | 一种图像配准方法及装置 | |
US10582179B2 (en) | Method and apparatus for processing binocular disparity image | |
Ozbay et al. | A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms | |
JP5500400B1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
Oliveira et al. | A novel Genetic Algorithms and SURF-Based approach for image retargeting | |
CN107085725B (zh) | 一种通过基于自适应码本的llc聚类图像区域的方法 | |
JP5500404B1 (ja) | 画像処理装置及びそのプログラム | |
KR101644426B1 (ko) | 변형3d모델에 대응되는 원본3d모델 인식방법 | |
KR20160001896A (ko) | 스케일 공간 고차 미분을 이용한 특징점 추출 방법 및 이를 이용한 이미지 검색 방법 | |
CN116416559B (zh) | 基于事件的谱聚类运动目标检测方法及系统 | |
Lam et al. | Shape matching of repeatable interest segments in 3D point clouds | |
CN116883497A (zh) | 基于视觉特征点匹配的双机空中相对定位方法 | |
Mokhtarian et al. | Multi-view free-form 3-D object retrieval with incomplete data | |
Lin et al. | A Two-Layer Descriptor and Two-Step Matching for Stereoscopic Images |