JP2015201209A - デジタル画像における関心点の検出方法 - Google Patents

Abstract

【課題】関心点検出アルゴリズムの性能を、内部動作を変更することなくそれらのパラメータ化を動的に変更することにより改善すること。【解決手段】カメラが一連の画像を生成し、当該画像はその画像で検出される関心点の数が閾値に応じて変動するよう検出閾値を用いてパラメータ化可能な関心点探索アルゴリズムで処理される。検出される関心点の数を閾値に応じて与える特性が二乗根減少指数関数でモデル化される。二乗根減少指数関数は解析される画像にリンクされた値を用いて動的にパラメータ化できる。本方法は、ａ）現在の画像について減少指数関数のパラメータ化の値を求める段階と、ｂ）現在の画像について段階ａ）で求めた値を用いてパラメータ化した、モデル化した特性を用いて検出閾値の最適値を予測する段階と、ｃ）１つ以上の後の画像に対し段階ｂ）で計算した最適な検出閾値を用いて関心点探索アルゴリズムを適用する段階とを含む。【選択図】図１

Description

本発明は、デジタル画像の処理に関し、より詳細には、特にロボットシステム及びコンピュータービジョンシステムを対象とした処理のための、デジタル画像における「関心点」又は「角点」の検出に関する。

「角点」、「関心点」又は「ランドマーク」は、不変の特性を有する寸法の小さな画像要素であり、特にそれらを１つの画像と後続の画像との間で認識することを可能にする。

画像内の関心点の変位の解析は、形状認識、カメラ変位の解析、２次元空間又は３次元空間の再構築等の様々なアルゴリズムによって用いられる。

基本的な着想は、画像内で検出される関心点が、多くの場合に後続の画像においても関心点であり続け、このため、画像の動的な変動の解析が、関心点の位置変化の解析、すなわち、そこから関連記述子が抽出される関心点の展開リストの解析に帰着するというものである。

このため、画像における関心点の十分な検出は、このタイプの任意の処理に対する本質的な必須条件であり、用いられる検出アルゴリズムは、搭載システムによって、関心点の認識及び記述子の抽出をリアルタイム又は準リアルタイムに行って「オンザフライ」で実施されなくてはならない場合、計算リソースにおいてもロバストで経済的でなくてはならない。

関心点の様々な検出アルゴリズムが提案されており、それらの中でも、特にＦＡＳＴ（加速セグメントテストからの特徴）アルゴリズム、ＳＵＲＦ（高速化ロバスト特徴）アルゴリズム又はＳＩＦＴ（スケール不変特徴変換）アルゴリズムについて述べることができる。

ＦＡＳＴアルゴリズムは特に非特許文献１によって記載されている。

そのようなＦＡＳＴアルゴリズムの洗練されたバージョンは、特許文献１に記載されている。特許文献１は、デジタル画像内の関心点を効率的に検出及び分類することを可能にする方法を記載している。

ＳＩＦＴアルゴリズムに関しては、例えば非特許文献２を参照することができる。

そしてＳＵＲＦアルゴリズムに関しては、非特許文献３及び非特許文献４を参照することができる。

これらのアルゴリズムは、関心点の検出の感度を条件付ける「検出閾値」と呼ばれるデータ要素を用いて全てパラメータ化可能である。

本質的に、現在の画像はピクセルごとにスキャンされ、アルゴリズムは、画像の解析されるピクセルごとに、所定の判断基準の関数であるスコアが入力においてパラメータ化された検出閾値よりも高いか否かを判断する。スコアがこの閾値よりも上にあるか又は下にあるかに応じて、点が画像内の関心点であるか否かが検討される。

その後、低い検出閾値を用いると、アルゴリズムは多数の関心点を提供するが多くの無用な関心点を出力するリスクを伴う。これらの無用な関心点は後続の画像において認識されず、そして、用いられる計算能力の観点においてペナルティを課すことになる。逆に、高い検出閾値によって、１つの画像と後続の画像との間の所望の不変特性を有しない多くの無関係の関心点を除去することが可能になるが、例えば、不十分なコントラスト、均一過ぎるテクスチャ等を有する画像の領域において、或る特定の有用な関心点を検出しないリスクを伴う。十分でない数の関心点は、下流で実行される処理結果にもマイナスの影響を有する場合がある。

これに関して、Khan他の上述した論文である非特許文献４を参照することができる。非特許文献４は、検出閾値に応じた関心点の数の分布の統計的研究を提示している。

国際公開第２０１３／０５５４４８号 米国特許出願公開第２０１３／０２７９８１３号

[1]E. Rosten、R. Porter及びT. Drummond「Faster and Better: A Machine Learning Approach to Corner Detection」IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 32, pp. 105-119, 2010 [2]D. G. Lowe「Distinctive Image Features from Scale-Invariant Key-points」Int. J. Comput. Vision, Vol. 60, No.2, pp. 91-110, Nov. 2004 [3]H. Bay、A. Ess、T. Tuytelaars及びL. J. V. Gool「Speeded-up Robust Features (SURF)」Computer Vision and Image Understanding, Vol. 110, No. 3, pp. 346-359, 2008 [4]M.A. Khan、G. Dan及びV. Fodor「Characterization of SURF Interest Point Distribution for Visual Processing in Sensor Networks」18th International Conference on Digital Signal Processing (DSP), 2013, pp. 1-7 [5]A. Huang、N. Roy、A. Bachrach、P. Henry、M. Krainin、D. Maturana及びD. Fox「Visual Odometry and Mapping for Autonomous Flight using an RGB-D Camera」Proc. of the International Symposium of Robotics Research (ISRR), 2011

本発明の目的は、そのような関心点検出アルゴリズムの性能を、内部動作を変更することなく、それらのパラメータ化を動的に変更することによって改善することである。

このため、本発明は、非常に多数の関心点検出アルゴリズムに適用可能となり、特に、本発明が特に大きな利点を提供するＦＡＳＴタイプのアルゴリズムに適用可能となる。しかし、ＦＡＳＴアルゴリズムへのこの適用は、いかなる形においても限定するものでなく、本発明は、特にＳＵＲＦアルゴリズム及びＳＩＦＴアルゴリズムの場合のように、他のタイプのアルゴリズムを、調整可能な検出閾値を用いてパラメータ化することができるときから、これらのアルゴリズムに適用することができる。

本発明の基本的な着想は、関心点の検出自体の上流において、現在の画像の以前の解析を実行し、この解析の結果に応じて、後続の画像の関心点の検出に用いられることになる検出閾値の値を動的に求めることである。

換言すれば、検出閾値はもはや、フィードバックループによって経験的に調整されるか又は場合によっては変更される固定パラメータではなく、カメラによって捕捉されるシーンの画像の急激な変動に応じて検出アルゴリズムの応答を可能な限り適応させるように、各画像において動的に変更可能な検出アルゴリズムの入力データ要素である。

本発明の技法は、特に、アルゴリズムによって検出される関心点の数を、最適であるとして事前に選択された実質的に一定のレベルに保持し、これを変化の激しいシーンが存在しても行うことを目的とする。

シーン変化の一般的な例は、自動車に搭載されたカメラによって捕捉されるものであり、道路の側部における建物の存否、これらの建物の態様、トンネル内又は橋の下の通過、又は逆方向から到来する車両による光等に応じて、画像のコンテンツとそのコンテンツの輝度及びコントラストとの双方の非常に大きくかつ非常に高速な変動を示すビデオシーケンスを供給する。

これに関して、本発明は、関心点の検出器のほとんどが受ける以下の２つの特定の問題を解決することを目的とする。
−第１の問題は、時間不変性である。不均一なビデオシーケンスでは、アルゴリズムは、画像のコントラスト、テクスチャ、照明等の特性に応じて画像ごとに非常に変動する数の関心点を検出する。具体的には、シーケンスの画像次第で、多くの、又は更には過度の数の関心点が存在する場合があり、これはこの画像の解析に用いられる計算リソースの観点で非常に不利益をもたらしており、又は逆に、少なすぎる数の関心点は、関心点の検出器の下流において行われる処理の性能の劣化を招く。
−第２の問題は空間不変性である。全体的に、画像が十分多くかつ実質的に一定の数の検出された関心点を含む場合であっても、検出は、画像の或る特定の領域において非常に僅かな関心点しか有さず、他の領域において多くを有して、非常に不均等に分布する場合があり、これは下流の処理の性能に関して上記と同じマイナスの影響を有することになる。

解決法は、特に低コントラストのシーンにおいて、任意の環境における受入可能な数の関心点を生成するのに十分低い固定検出閾値を用いることにある。検出数が過剰である場合、次に、それらの関連度に応じて規定数以上の関心点のフィルタリングが実行される。

しかしながら、この解決法は、処理時間の増大に起因して、計算リソースの観点で高いコストを伴い、過度に低い閾値が選択される場合、ＦＡＳＴアルゴリズムがこの現象によって特に影響を受ける。さらに、この解決法は関心点の数の観点において出力データを安定化させることを可能にするが、基本的には適応的な方法ではない。

別の解決法は、現在の検出と所望の結果との間の単純な比例フィードバックループを提供することによって閾値を変動させることにある。これについては特に非特許文献５に記載されている。

同じ性質の技術は、特許文献２に記載されている。ここでは、閾値は連続画像内の一定の数の関心点を検出するように動的に調整される。この文書によって提案される解決法は、画像の部分領域において検出される関心点の目標数に基づいており、この数は、これらの部分領域について計算される認識率の値によって重み付けされる場合がある。

これらの解決法は、画像のコンテンツに対する適応性の特性を有するが、２つの深刻な制限を有する。
−第１に、これらの解決法は、（例えば、トンネルに入る時点又はトンネルから出る時点において）シーンのコンテンツの観点においても輝度全体の観点においても、画像の突然の変動を補償することを可能にしていない。さらに、カメラ露出の自動補正のためのシステムは、これらのシステムがセンサーの線形応答を仮定し、またシーン変動の実状を反映しない画像の平均統計値に基づく限り、この問題を悪化させる傾向にある。
−第２に、フィードバックを動作させるために、これらのシステムは検出閾値と、アルゴリズムによって検出される関心点の数との線形性を前提とし、これは不均一な画像シーケンスに関して実際に満足の行く結果を具体的にもたらさない、単純化された仮説である。

本発明は、正確にかつ効率的にアルゴリズムの検出閾値を動的に調整することによって、上記で述べた欠点を補うことを可能にする、関心点の検出の新たな技法を提案する。

本発明は、特に以下の利点を提供する。
−非常に不均一な画像シーケンスが存在する場合であっても、１つの画像について実質的に一定であり続ける検出計算時間を調整する。
−関心点検出器の下流のアルゴリズム（カメラ変位解析アルゴリズム、地図作成アルゴリズム．．．）の平均計算時間を、このアルゴリズムが実質的に一定数の入力関心点を処理する限り減少及び安定化させる。
−シーンの複雑度に自動的に適応し、特に、シーンのテクスチャがより少ないとき（一般的な例は、自動者におけるトンネル通過である）、検出される関心点を十分な数保持することを可能にする。
−関連する関心点、すなわち１つの画像と後続の画像との間で認識することができる関心点の比率を増大させ、実際に、本発明によるアルゴリズムによって検出される関心点は、この観点から平均的に実質的に良好であり、それにより、後の計算動作をより効率的にかつより迅速に実行することができるようになる。
−関心点が画像の様々なエリアに非常に良好に分布し、これもまた検出の下流におけるアルゴリズムのより良好な効率をもたらす。
−関心点の所望の最適な数の調整が単純であり、１つのプラットフォームから別のプラットフォームへのアルゴリズムの容易な移植、及び様々なバージョン（例えばビジネスバージョン及びファミリーバージョン）への適応を可能にする。

本発明の出発点は、任意の画像について、この画像が検討されるスケールがいかなるものであっても（精緻であっても粗くても）、所与の検出閾値τ（ピクセル均一量（pixel-homogeneous quantity）に戻される）について検出される関心点の数Ｎを与える特性は、減少指数関数、特に以下のタイプの二乗根減少指数関数によって良好に表されるという観測である。

ここで、Ｃ及びσは現在の画像にリンクされるパラメータである。

そのような関数が２つのパラメータ（Ｃ及びσ）を求めることしか必要としない限り、２つの異なる閾値τに対し検出アルゴリズムの２回の反復で十分であるので、そのようなモデルは計算が非常に高速となり、２回目の反復は、１回目の反復によって選択された関心点のみに適用することができ、このため更に高速に行われるという利点を有する。

指数モデルのパラメータＮ（τ）がそのように求められると、このモデルは、後続の画像において、事前に固定され、最適であるとみなされた関心点の数Ｎに応じて、検出アルゴリズムに適用される閾値τを求めるのに用いることができる。

アルゴリズムが供給しなくてはならない関心点の数を事前に選択し、この数に応じて適用される検出閾値を求める本発明の手法は、検出閾値τを事前に固定し（フィードバックループによって潜在的に調整される）、出力において、画像シーケンスが特に不均一である場合に大きな比率で変動する場合がある数であるＮ個の数の関心点を収集する従来技術の手法とは対照的であることが留意される。

本発明の技法は、以下でより詳細に説明する様々な方法で実施することができ、特に、関心点検出の時間不安定性及び空間不安定性の上述した現象を非常に大きな比率で低減することを可能にする。これらの特定の実施態様は、計算リソース及び処理時間を大きく増大させることなく、このため、処理のコストの観点においてほぼ「自由」に動作させることができることも見て取られる。

より詳細には、本発明は、カメラによって捕捉されたシーンの画像シーケンスのデジタル画像における関心点の検出方法を提案する。この方法は、閾値レベルに応じて画像内で検出される関心点の数が変動するように検出閾値を用いてパラメータ化可能な関心点探索アルゴリズムをそれ自体既知の方法で実施する。

本発明によれば、前記方法は、検出される関心点の前記数を前記閾値に応じて与える特性を減少指数関数によってモデル化することを提供し、この指数関数は解析される画像にリンクされた値を用いて動的にパラメータ化可能である。該方法は以下のステップ、すなわち、
ａ）現在の画像について、前記減少指数関数のパラメータ化の値を求めるステップと、
ｂ）前記現在の画像について、ステップａ）において求められた前記値を用いてパラメータ化された前記モデル化された特性を用いることによって、前記検出閾値の最適値を予測するステップと、
ｃ）前記現在の画像に続く少なくとも１つの画像に対し、ステップｂ）において計算された前記最適な検出閾値を用いて前記関心点探索アルゴリズムを適用するステップと、
を含む。

ステップｂ）において予測される前記最適検出閾値は、特に、前記検出される関心点の数を前記閾値に応じて与える前記特徴によって示されるような、関心点の所与の数に対応する値とすることができる。

前記減少指数関数は二乗根減少指数関数

であり、τはピクセル均一量に戻される前記検出閾値であり、Ｎは閾値τについて検出される前記関心点の数であり、Ｃ及びσは前記現在の画像にリンクされた前記パラメータ化の値であることが非常に有利である。

本発明の特定の実施形態において、現在の画像について、前記指数関数の前記パラメータ化の値を求める前記ステップａ）は、以下のサブステップ、すなわち、
ａ１）前記検出閾値の第１の所定の値を用いて前記探索アルゴリズムによって前記現在の画像内の関心点の第１の探索を行うサブステップであって、結果として関心点の第１の数を与える、サブステップと、
ａ２）前記検出閾値の前記第１の所定の値よりも高い前記検出閾値の第２の値を用いて、前記探索アルゴリズムによって前記現在の画像内の関心点の少なくとも１つの第２の探索を行うサブステップであって、結果として関心点の第２の数を与える、サブステップと、
ａ３）ステップａ１）及びステップａ２）において得られた前記関心点の数に基づいて前記パラメータ化の値Ｃ及びσを求めるサブステップと、を含む。

前記方法は、前記ステップａ）及び前記ステップｂ）の前記反復的な実行中に、
カメラ自動露出情報を、前記検出閾値の前記予測のための補足入力データとして適用することを有利に含むことができる。

本発明の別の特に有利な態様によれば、前記方法は、前記現在の画像をサイズが低減された複数の部分画像に分割することと、
前記現在の画像の様々な前記部分画像について独立してステップａ）及びステップｂ）を実行することであって、結果として、各部分画像に固有の検出閾値の最適値を得ることと、
前記後続の画像の各部分画像について、該部分画像に固有のそれぞれの前記最適検出閾値を用いて前記関心点探索アルゴリズムを適用してステップｃ）を実行することと、
を更に含む。前記最適検出閾値は、特に全ての前記部分画像について関心点の同じ所定の数に対応する値とすることができる。

本発明のこの第２の態様の特定の実施形態において、前記方法は、ステップａ）の前に、前記画像ピラミット型の多重解像度表現を生成することであって、様々な連続して増大する解像度において前記捕捉されるシーンの前記現在の画像をモデル化することと、
前記多重解像度表現のレベルごとにステップａ）及びステップｂ）を反復的に実行することであって、より低い解像度のレベル）から開始して、所与のレベルについて求められた前記検出閾値が、より高いレベルの解像度における前記検出閾値の前記予測のための入力データとして適用されることと、
を含む。

この第２の態様の様々な他の有利な態様によれば、
前記ステップｃ）の実行は、前記後続の画像の前記多重解像度表現のレベルごとに、該レベルに固有のそれぞれの前記最適検出閾値を用いて前記関心点探索アルゴリズムを適用することを含み、
ステップａ）及びステップｂ）の前記反復的実行は、前記多重解像度表現のレベルごとに、前記より高い解像度レベルにおける前記検出閾値の前記予測のための補足入力データとして、前記最適閾値及び前記より低いレベルの解像度に対応する前記適用される閾値、及び／又はカメラ自動露出情報を適用することを含み、
前記方法は、前記画像ピラミッドの前記様々なレベルにおける前記画像をサイズが低減された複数の部分画像に分割することと、前記様々な部分画像について独立してステップａ）及びステップｂ）を実行することであって、結果として各部分画像に固有の最適検出閾値を得ることと、前記後続画像の各部分画像について、該部分画像に固有のそれぞれの前記最適検出閾値を用いて前記関心点探索アルゴリズムを適用してステップｃ）を実行することとを更に含む。前記最適検出閾値は、特に、全ての前記部分画像について関心点の同じ所定の数に対応する値とすることができる。

次に、添付の図面を参照して本発明の例示的な実施形態を説明する。ここで、同じ参照符号は図面全体を通じて同一の要素又は機能的に類似した要素を表す。

関心点検出及び様々な処理の連鎖の状況を概略的に示す図である。 関心点の検出技法を示す、ピクセルとそのピクセルを取り囲むピクセルとを示す図である。 従来技術の場合及び本発明による技術の場合の、画像シーケンスの例について検出された関心点の数を与える調査の図である。 本発明に従って用いられる、検出された関心点の数をアルゴリズムの検出閾値とリンクさせる減少指数モデルを示す図である。 様々な解像度において検討される同じ現在の画像についての画像ピラミッドタイプの多重解像度表現の図である。 多重解像度手法を用いた関心点検出の様々なステップの連鎖をブロック図として示す図である。 理論モデル及び実データの双方について、様々なスケールの解像度において、検出閾値に応じた関心点の数を与える特性を示す図である。 従来技術の技法の場合と、時間予測のみを用いた本発明による技法の場合と、時間予測及び空間予測の双方を用いた本発明による技法の場合とについてそれぞれ、解像度の幾つかのレベルについて関心点の数の変動を示す図である。 一定の閾値を用いる従来技術の技法の場合と、本発明による技法の場合とについてそれぞれ、画像の解像度の様々なレベルについて検出された関心点の数の変動を示し、また、本発明による技法の場合の、検出閾値の対応する観測される変動を示す図である。 画像を、本発明のアルゴリズムがエリアごとに独立して適用される複数のエリアに分割するバケッティング技法による改善を示す図である。

図１において、参照符号１０は、時点ｔ−１、ｔ、ｔ＋１においてシーンを捕捉しデジタル画像シーケンス１２を供給するカメラを表している。これらの画像の各々が関心点検出アルゴリズム１４による処理を受け、関心点検出アルゴリズム１４は現在の画像のピクセルを入力として受信し、関心点の識別データを出力として供給する。これらの関心点の個数はＮ個である。

検出アルゴリズム１４によって出力として供給されるＮ個の関心点は、解析アルゴリズム１６の入力において適用される。解析アルゴリズム１６は、連続画像における関心点の変位を調べ（追跡）、（カメラの変位に基づく）ロケーションのデータ、及びこれらの変位のマップの構成データを生成する。これらのデータはメモリに記憶され、例えば、通過空間（passed-through space）の３次元メッシュが再構成され、拡張現実の要素等がそこに追加される。通常、ＳＬＡＭ（同時位置特定及びマッピング）タイプのアルゴリズムであるこれらのアルゴリズム１６は本発明に属せず、本発明は、関心点の予備検出（ブロック１４）のみに関する。

アルゴリズム１４は、アルゴリズムの感度を調整することを可能にする検出閾値τによってパラメータ化される。検出閾値τは、多数の関心点検出アルゴリズムにおいて存在するパラメータである。

ＦＡＳＴアルゴリズムが例として取られる場合（限定ではない）、図２を参照して、このアルゴリズムは、画像のピクセルｘごとに、検討されるピクセルｘを取り囲む円上に概ね位置するピクセル｛ｘ_１，．．．，ｘ_１６｝の解析を実行する。

解析されるピクセルｘの位置ｐごとに、以下の決定関数が用いられる。

検出閾値τは、検討される周囲ピクセルのピクセルｘ_ｉの輝度Ｉ（ｘ_ｉ）が検討される中心ピクセルｘの輝度Ｉ（ｐ）よりも大幅に高いか（ｂ）、大幅に低いか（ｄ）、又はこの輝度Ｉ（ｐ）程度であるか（ｓ）を判断するための判別閾値を調整することを可能にする。集合｛ｘ_１，．．．，ｘ_１６｝の数ｍ≧Ｍ（例えばＭ＝９）個の連続したピクセルがタイプｄ又はｂのものである場合、関心点が存在すると考えられる。

容易に理解されるように、そのようなＦＡＳＴアルゴリズムを用いると（同様に、ＳＵＲＦ、ＳＩＦＴ等の他の検出アルゴリズムを用いると）、所与の閾値ｚについて、均一の画像の場合よりも、コントラストが強い画像の場合に、より多数のＮ個の関心点が得られる。これらの変動は、通常、約１対１０の比にすることができる。

不均一な画像シーケンスにわたって、数Ｎは１つの画像と後続の画像との間で非常に大幅に変動することがあり（時間不安定性）、同じ現在の画像の異なるエリア間で大幅に変動することがある（空間不安定性）。

図３において、特性Ａは、都市環境において変位する自動者のフロントカメラによって捕捉される画像シーケンスについて、ＦＡＳＴタイプの従来のアルゴリズムによって検出される関心点の数Ｎの変動の例を示している。或る特定の場合に、検出される関心点の数Ｎは、７０００個〜８０００個の関心点に達するか又は更にはそれを超える可能性があるのに対し、他の例（例えば、トンネル通過に対応する領域Ｔ）では、この数は２０００個未満又は更には１０００個未満の関心点に急激に減少し、次にトンネルの出口（エリアＳ）において７０００個〜８０００個の値の関心点に急激に増加する可能性がある。

導入部において説明されたように、検出される関心点の数のこれらの極端な変動は、下流で動作するアルゴリズム（図１のブロック１６）の全体性能を大幅に劣化させ、無用に重要な計算リソースを占有する。

本発明の技法は、現在の画像を解析すること（ブロック１８）によって検出閾値τを動的にかつ適応的に変更し、このように求められた閾値τを後続の画像における関心点の検出（ブロック１４）に適用することにある。

本発明のアルゴリズムは、検出される関心点の数Ｎを閾値τに応じて与える特性のモデル化に基づいている。

特徴として、このモデル化は減少指数関数、特に以下の形式の二乗根関数によって実行される。

τは検出閾値であり、ピクセル均一量に戻される。実際に、検出器によれば、従来規定される閾値は、ピクセルの二乗（例えばＳＵＲＦ検出器の場合）又は更にはピクセルの四乗（ハリス検出器）と均一な量とすることができる。この場合、閾値はまずピクセル均一量に戻されなくてはならず、又は同等に、上述した関数は、例えばＳＵＲＦ検出器の場合、「二乗根」関数を「四乗根」関数と置き替えることによって変更されなくてはならない。

このモデルは、２つのパラメータ（Ｃ及びσ）の決定のみを必要とし、このため、２つの測定値のみ、すなわち関心点検出アルゴリズムの２回の反復に基づいて、関数の高速で単純な補間を行うことが可能であることに留意されたい。

上述した減少指数関数Ｎ（τ）が図４にグラフで示されている。

有利には、現在の画像における関心点の最初の検出は、閾値τ_１、例えばτ_１＝２０について行われ、Ｎ_１個の数の関心点が得られる。後続の反復は、閾値τ_２を用いて行われ、Ｎ_２個の数の関心点が得られる。非常に有利なことに、閾値τ_２は閾値τ_１よりも高く、これによって、関心点の第２の探索を、第１の反復において既に求められた関心点（Ｎ_１個）だけに低減することが可能である。

第２の閾値τ_２は、一定の値、例えばτ_２＝τ_１＋１０によって、ロバストで高速な補間を保証する値だけ第１の閾値τ_１からオフセットされることが好ましい。

一変形として、τ_１とτ_２との間のインクリメントは、特性の推定曲率に応じて動的に変更することができ、これによって限界利得が与えられる。

取得される２つの値Ｎ_１及びＮ_２に基づいて、特性のパラメータσ及びＣを容易に求めることができる。

プロセスは、２つよりも多くの関心点を用いて特性のパラメータσ及びＣをより良好な精度で求めるための第３の（又は更に多くの）探索を実行することによって、場合によっては改善することができる。関数Ｎ（τ）は、現在の画像のためにそのようにパラメータ化することが可能になる。後続の画像の解析中に得られることが望ましい関心点の理想の数

に応じて、対応する理想的な閾値

が以下によって与えられる。

カメラによって捕捉されるシーケンスの連続画像にわたって得られる結果が図３のＢに示されている。見てとることができるように、検出された関心点の実数Ｎは、理想的な数

に非常に近くに留まり、ここでは

＝２０００個の関心点に固定され、極度に不均一の画像シーケンスの場合でもこれが成り立つ。この結果は、同じ捕捉画像シーケンスについて従来の技法（曲線Ａ）を用いて得られる数Ｎ、すなわち、画像に応じて通常１０００個未満から８０００個よりも多い関心点まで大きな比率で変動することがあった数と比較されることになる。

本発明の改善は、１つの画像と後続の画像との間での最適検出閾値の予測のみでなく、同じ画像内で、同じ画像の連続して増加する様々な解像度における最適検出閾値の予測を行うことにある。

その目的で、アルゴリズムは、図５に示すように、「画像ピラミッド」タイプの現在の画像の多重解像度表現を用いる。画像ピラミッドの一般的な原理は、例えば以下において開示されている。
[6]G. Klein及びD. W. Murray「Parallel Tracking and Mapping for Small AR Workspaces」ISMAR, 2007

本例において、解像度は、例えば、以下のレベルを用いて毎回１：２の線形比において連続スケールで選択される。
−初期レベル（全画像）ＶＧＡ（６４０×４８０）、
−レベル１（低減されているが精密な解像度）ＱＶＧＡ（３２０×１２０）、
−レベル２（平均解像度）ＱＱＶＧＡ（１６０×１２０）、
−レベル３（最も粗い解像度）ＱＱＱＶＧＡ（８０×６０）。

当然ながら、この例は限定するものではなく、例えばＨＤ７２０ｐ解像度から開始して動作することが可能であるべきである。

多重解像度表現は、特に、用いられるカメラの自動露出調整のためのシステムの不安定な影響を考慮に入れることを可能にする。

実際に、露出の変更は、２つの連続画像が視覚的に完全に類似しており、同じ捕捉シーンに概ね対応するにもかかわらず、検出される関心点の数の１倍〜２倍の変動に容易につながる場合がある。この現象によって、コントラストに応じて正規化を実行しない限り大きな動的効果が生じ、ＦＡＳＴタイプのアルゴリズムはこの動的効果に特に敏感である。

ピラミッド型の多重解像度表現によって、自動露出調整等の効果によりピラミッドの各レベルにおいて同一の結果が生じることを考慮に入れることにより、閾値の予測を適応させることが可能になる。

より精密には、アルゴリズムはより細かいスケールにおけるこれらの同じ特性の予測子として、粗いスケールにおける画像の特性を用い（スケール間リンク）、現在の画像のための所与のスケールにおける画像の特性は、後続の画像における同じスケールの同じ特性のための予測子として用いられることになる（画像間スケール）。粗いスケールにおける変動は、ピラミッドの後のレベルのための予測に非常に急速に組み込まれることが可能となる。

このステップ連鎖が図６に詳細に示されている。画像の取得（ブロック３０）及びスケールピラミッドの計算（ブロック３２）の後、アルゴリズムは、この同じスケールについて前の画像において以前に求められた最適閾値に基づいて（ブロック３６）、最大スケール（最も粗い）において適用される閾値を計算する（ブロック３４）。次に、この検出閾値を用いて関心点の検出が実行され（ブロック３８）、このため、指数モデルのパラメータＣ及びσの計算が可能になり、このため現在の画像のための最適閾値τを求めることが可能になる（ブロック４０）。

これらの動作は、ｉ）前の画像におけるこの同じレベルについて求められた閾値（ブロック３６）と、ｉｉ）それより高いスケールにおいて現在の画像について今求められた最適閾値（ブロック４０）とに基づいて、より低いレベルのスケールにおいて再反復される（ブロック３４’、３８’、４０’）。

これらの計算は、ピラミッドの連続レベルにわたって、最も低いレベルまで再反復され（ブロック３４’’、３８’’、４０’’）、このため、スケールごとに検出及び調整される関心点の最適な数が得られる（ブロック４２）。

通常、スケールｋの画像ｔについて、適用される閾値は、前の画像ｔ−１のこの同じスケールｋの最適閾値、及びより高いスケールｑ＞ｋにおける現在の画像ｔの｛最適閾値、適用される閾値｝組に応じて探索される。

ここで、
インデックスｔは画像番号を表し、
指数ｋはスケールを表し、

はスケールｋにおけるインデックスｔの画像に適用される閾値を表し、

はスケールｋにおけるインデックスｔの画像のための最適閾値を表す。

例えば、関数ｆ（

が求められる）は、

又は

とすることができる。

一変形として、ｐ_ｔで表される画像ｔにおけるカメラの調整のパラメータ（自動露出、ホワイトバランス．．．）を用いることが可能であり得る。

図７は、連続スケールＶＧＡ．．．ＱＱＱＶＧＡ（それぞれ特性（ａ）〜（ｄ））の場合の特性Ｎ（τ）の例を与えている。点はモデル化によって計算される値を示し、円は実データを示している。これによって、同じ画像の４つのスケールについて、モデルと現実との間の優良な対応を観測することが可能になる。

図８には、画像シーケンスについて、以下の条件において、様々な解像度ＶＧＡ．．．ＱＱＱＶＧＡにおいて検出される関心点の数Ｎの変動が示されている。
（ａ）τ＝２０に固定され、このため従来のタイプのＦＡＳＴアルゴリズムに対応する一定の閾値の場合、
（ｂ）本発明による検出閾値の画像間予測（時間予測）の場合、
（ｃ）（ｂ）と同じ技法に従うが、図６を参照して上記で開示されたような多重解像度表現及びスケール間予測（空間予測）の更なる適用を伴う場合。

図９は比較可能な表現であり、以下を与える。
（ａ）一定の閾値τ＝２５を用いて従来の技法によって様々な解像度ＶＧＡ．．．ＱＱＱＶＧＡにおいて検出される関心点の数Ｎの変動、
（ｂ）本発明による技法によって、検出閾値として前の画像について計算された最適値を適用することにより検出される関心点の数のこれらの同じ変動、
（ｃ）対応する閾値τの画像あたりの瞬間変動。

最終的に、導入部で述べた空間不安定性の問題を補償するために、本発明の技法は、バケッティング技法の適用に非常に役立つ。この技法は、現在の画像を低減されたサイズの複数の独立した部分画像に分割し、関心点検出アルゴリズムを様々な部分画像に独立して適用する。

バケッティングの原理は、例えば以下において記載されている。
[7] R. Voigt、J. Nikolic、C. Hurzeler、S. Weiss、L. Kneip及びR. Siegwart「Robust Embedded Egomotion Estimation」2011 IEEF/RSJ International Conference on Intelligent Robots and Systems (IROS), 2011, pp. 2694-2699
[8]B. Kitt、A. Geiger及びH. Lategahn「Visual Odometry Based on Stereo Image Sequences with Ransac-Based Outlier Rejection Scheme」2010 IEEE Intelligent Vehicles (IV) Symposium, June 2010, pp. 486-492

このため、図１０に示されているように、例えばＶＧＡ解像度において完全な画像５０上の２０００個の関心点を探索する代わりに、この画像は６×４個の部分画像５２に分割され、各部分画像において２０００／（６×４）≒８３個の関心点が探索される。

同様に、ＱＶＧＡ解像度において画像５４内の１０００個の関心点を探索する代わりに、このＱＶＧＡ画像は３×２の部分画像５６に分割され、各部分画像の１６７個の関心点が探索される。

予測及び使用される閾値は、（上述したスケールピラミッド技法を適用することによって）部分画像ごと及び解像度ごとに異なることになる。

より詳細には、解像度間関係において、スケールＬ−１において得られる結果が対応する部分画像において用いられることになり、例えば、ＶＧＡ解像度の破線によってフレーム形成される４つの部分画像５２が、閾値計算のためにＱＶＧＡの左上の部分画像５６を用いることになる。本発明のアルゴリズムを用いた関心点の検出にバケッティングを組み込むことは、計算時間及びコンピューターリソースの観点から大きな追加コストを伴わずに実行され、これによって、換言すれば、画像の様々な領域における関心点の最適化された分布を追加のコストなしで保証することが可能になり、このため、従来の関心点検出アルゴリズムが受ける導入部で述べた空間不安定性の問題を解決することが可能になる。

Claims (13)

1. カメラ（１０）によって捕捉されるシーンの画像シーケンス（１２）のデジタル画像における関心点の検出方法であって、該方法は、前記画像において検出される関心点の数（Ｎ）が前記閾値レベルに応じて変動するように検出閾値（τ）を用いてパラメータ化可能な関心点探索アルゴリズム（１４）を実施し、
   該方法は、検出される関心点の前記数（Ｎ）を前記閾値（τ）に応じて与える特性の減少指数関数によるモデル化によって特徴付けられ、この指数関数は解析される画像にリンクされた値（Ｃ、σ）を用いて動的にパラメータ化可能であり、該方法は以下のステップ、すなわち、
   ａ）現在の画像について、前記減少指数関数のパラメータ化の値（Ｃ、σ）を求めるステップ（１８）と、
   ｂ）前記現在の画像について、ステップａ）において求められた前記値を用いてパラメータ化された前記モデル化された特性を用いることによって、前記検出閾値（τ）の最適値を予測するステップ（１８）と、
   ｃ）前記現在の画像に続く少なくとも１つの画像に対し、ステップｂ）において計算された前記最適な検出閾値（τ）を用いて前記関心点探索アルゴリズムを適用するステップ（１４）と、
   を含むことを特徴とする、カメラによって捕捉されるシーンの画像シーケンスのデジタル画像における関心点の検出方法。
2. ステップｂ）において予測される前記最適検出閾値（τ）は、前記検出される関心点の数を前記閾値に応じて与える前記特徴によって示されるような、関心点の所与の数（Ｎ）に対応する値である、請求項１に記載の方法。
3. 前記減少指数関数は二乗根減少指数関数
   

   

   であり、τはピクセル均一量に戻される前記検出閾値であり、Ｎは閾値τについて検出される前記関心点の数であり、Ｃ及びσは前記現在の画像にリンクされた前記パラメータ化の値である、請求項１に記載の方法。
4. 現在の画像について、前記指数関数の前記パラメータ化の値を求める前記ステップａ）は、以下のサブステップ、すなわち、
   ａ１）前記検出閾値の第１の所定の値（τ_１）を用いて前記探索アルゴリズム（１４）によって前記現在の画像内の関心点の第１の探索を行うサブステップであって、結果として関心点の第１の数（Ｎ_１）を与える、サブステップと、
   ａ２）前記検出閾値の前記第１の所定の値（τ_１）よりも高い前記検出閾値の第２の値（τ_２）を用いて、前記探索アルゴリズム（１４）によって前記現在の画像内の関心点の少なくとも１つの第２の探索を行うサブステップであって、結果として関心点の第２の数（Ｎ_２）を与える、サブステップと、
   ａ３）サブステップａ１）及びサブステップａ２）において得られた前記関心点の数（Ｎ_１、Ｎ_２）に基づいて前記パラメータ化の値Ｃ及びσを求めるサブステップと、
   を含む、請求項１に記載の方法。
5. 前記ステップａ）及び前記ステップｂ）の前記反復的な実行中に、
   カメラ自動露出情報を、前記検出閾値の前記予測のための補足入力データとして適用すること、
   を更に含む、請求項１に記載の方法。
6. 前記現在の画像（５０；５４）をサイズが低減された複数の部分画像（５２；５６）に分割することと、
   前記現在の画像の様々な前記部分画像について独立してステップａ）及びステップｂ）を実行することであって、結果として、各部分画像に固有の検出閾値の最適値を得ることと、
   前記後続の画像の各部分画像について、該部分画像に固有のそれぞれの前記最適検出閾値を用いて前記関心点探索アルゴリズムを適用してステップｃ）を実行することと、
   を更に含む、請求項１に記載の方法。
7. 前記最適検出閾値は、全ての前記部分画像について関心点の所定の同じ数に対応する値である、請求項６に記載の方法。
8. ステップａ）の前に、前記画像ピラミット型の多重解像度表現を生成すること（３０，３２）であって、様々な連続して増大する解像度（ＱＱＱＶＧＡ、ＱＱＶＧＡ、ＱＶＧＡ、ＶＧＡ）において前記捕捉されるシーンの前記現在の画像をモデル化することと、
   前記多重解像度表現のレベルごとにステップａ）及びステップｂ）を反復的に実行すること（３４、３８、４０）であって、より低い解像度のレベル（ＱＱＱＶＧＡ）から開始して、所与のレベルについて求められた前記検出閾値が、より高いレベルの解像度における前記検出閾値の前記予測のための入力データとして適用されることと、
   前記多重解像度表現のレベルごとにステップａ）及びステップｂ）を反復的に実行すること（３４、３８、４０）であって、より低い解像度のレベル（ＱＱＱＶＧＡ）から開始して、所与のレベルについて前記求められた検出閾値が、より高いレベルの解像度における前記検出閾値の前記予測のための入力データとして適用されることと、
   を更に含む、請求項１に記載の方法。
9. 前記後続の画像の前記多重解像度表現のレベルごとに、該レベルに固有のそれぞれの前記最適検出閾値を用いて前記関心点探索アルゴリズムを適用して前記ステップｃ）を実行すること、
   を更に含む、請求項８に記載の方法。
10. ステップａ）及びステップｂ）の前記反復的実行の間に、前記多重解像度表現のレベルごとに、
    前記より高い解像度レベルにおける前記検出閾値の前記予測のための補足入力データとして、前記最適閾値及び前記より低いレベルの解像度に対応する前記適用される閾値を適用すること、
    を更に含む、請求項８に記載の方法。
11. ステップａ）及びステップｂ）の前記反復的実行の間に、前記多重解像度表現のレベルごとに、
    前記より高い解像度レベルにおける前記検出閾値の前記予測のための補足入力データとして、カメラ自動露出情報を適用すること、
    を更に含む、請求項８に記載の方法。
12. 前記画像ピラミッドの前記様々なレベルにおける前記画像（５０；５４）をサイズが低減された複数の部分画像（５２；５６）に分割することと、
    前記様々な部分画像について独立してステップａ）及びステップｂ）を実行することであって、結果として各部分画像に固有の最適検出閾値を得ることと、
    前記後続画像の各部分画像について、該部分画像に固有のそれぞれの前記最適検出閾値を用いて前記関心点探索アルゴリズムを適用して前記ステップｃ）を実行することと、
    を更に含む、請求項８に記載の方法。
13. 前記最適検出閾値は、全ての前記部分画像について関心点の所定の同じ数に対応する値である、請求項１２に記載の方法。

Images