JP2016500871A - 急角度のもとでの平面ターゲットの検出 - Google Patents

急角度のもとでの平面ターゲットの検出 Download PDF

Info

Publication number
JP2016500871A
JP2016500871A JP2015536785A JP2015536785A JP2016500871A JP 2016500871 A JP2016500871 A JP 2016500871A JP 2015536785 A JP2015536785 A JP 2015536785A JP 2015536785 A JP2015536785 A JP 2015536785A JP 2016500871 A JP2016500871 A JP 2016500871A
Authority
JP
Japan
Prior art keywords
image
warped
keypoints
planar target
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015536785A
Other languages
English (en)
Other versions
JP2016500871A5 (ja
JP6307511B2 (ja
Inventor
ダニエル・ワグナー
スラヴォミール・ケー・グルツェクニク
チ・パン
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016500871A publication Critical patent/JP2016500871A/ja
Publication of JP2016500871A5 publication Critical patent/JP2016500871A5/ja
Application granted granted Critical
Publication of JP6307511B2 publication Critical patent/JP6307511B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(サーバなどの)デバイスによってデータベースを作成するための、および平面ターゲットを検出するためにモバイルデバイスによってそのデータベースを使用するためのシステム、装置、および方法を提示する。そのデータベースは、ランタイムに対する影響を最小限に抑えながら、より急勾配からのモバイルデバイスによる平面ターゲットの認識を可能にする。そのデータベースは、平面ターゲットの少なくとも1つのワープされたビューから作成される。たとえば、データベースは、ワープされていないビューからの、そしてまた、1つまたは複数のワープされたビューからのキーポイントおよび記述子を含むことができる。1つのイメージ(たとえば、ワープされたイメージ)のキーポイントおよび対応する記述子のうちで、別のイメージ(たとえば、ワープされていないイメージ)の類似したまたは同じキーポイントおよび記述子と重複しているキーポイントおよび対応する記述子を除去することによって、データベースを枝刈りすることができる。

Description

関連出願の相互参照
本出願は、2013年3月11日に出願された「Detection of planar targets under steep angles」という名称の米国特許出願第13/793,629号の利益およびその米国特許出願第13/793,629号に対する優先権を主張するものであり、その米国特許出願第13/793,629号は、2012年10月15日に出願された「Detection of planar targets under steep angles」という名称の米国特許仮出願第61/714,115号の利益およびその米国特許仮出願第61/714,115号に対する米国特許法第35条119(e)項のもとでの優先権を主張しており、米国特許出願第13/793,629号および米国特許仮出願第61/714,115号は両方とも、それらの全体が参照によって本明細書に組み込まれている。
本開示は、一般には拡張現実(AR)のためのシステム、装置、および方法に関し、より詳細には、ランタイムに対する影響を最小限に抑えながら急角度からの平面ターゲットの認識を可能にすることに関する。
拡張現実(AR)アプリケーションにおいては、ほとんどの平面オブジェクト検出システムは、(たとえば、ユーザによってモバイル電話カメラを用いて撮影された)平面オブジェクトの画像の記述子を、オフラインで作成された記述子のデータベースと比較する。最初に、平面ターゲット(基準ターゲット、基準イメージ、平面イメージ、平面ターゲットイメージ、平面基準イメージ、修正されたイメージなどと呼ばれる場合がある)が、提示される。次に、プロセッサが、その平面ターゲット上のキーポイント130(たとえば、コーナーフィーチャまたはエッジフィーチャ、一般にはフィーチャポイントと呼ばれる)を検出する。次いでプロセッサは、キーポイント130の各々の周囲の記述子を特定する。記述子は、平面オブジェクトの特定のキーポイントの周囲の外観について記述する(たとえば、32、64、または128の次元を有する)ベクトルとして表されることが可能である。キーポイント130は、その記述子とともに、フィーチャと呼ばれることが可能である。複数のキーポイント130は、その対応する複数の記述子とともに、ターゲットイメージに関する複数のフィーチャと呼ばれることが可能である。プロセッサは、平面ターゲットを表すフィーチャを、他の平面ターゲットの記述子とともにデータベース内に格納する。次いでモバイルデバイスは、カメライメージ内で見つかった記述子を記述子のデータベースと比較して、平面ターゲットをマッチさせ、または検出し、それによって、どの平面ターゲットがカメラのビュー内にあるか、およびどの視点からデータベース内の平面ターゲットが観察されているかを知ることができる。
記述子は、いくらかの魅力的な特性を有するように設計されている。記述子は、明るさおよび視点に関して完全に不変となることが理想的である。明るさ、スケール、および面内回転に関する普遍性は、現代の記述子によって適切に取り扱われているが、強力な面外回転は、依然として問題である。必要とされているのは、効率よく(たとえば、ドット積を使用して)、かつ効果的に(たとえば、視点および明るさの変化に関して少なくとも部分的に不変で)という両方で記述子どうしを比較することおよびマッチさせることによって、ランタイムに対する影響を最小限に抑えながら急角度からの平面ターゲットの認識を可能にする、拡張現実(AR)システムにおけるシステム、装置、および方法である。
開示されるのは、より効率よく、かつ効果的にという両方で平面ターゲットを検出するためのシステム、装置、および方法である。
一部の態様によれば、開示されるのは、平面ターゲットを検出するために使用されるデータベースを作成するための方法であって、基準座標系を有する平面ターゲットのイメージを受信するステップと、平面ターゲットのイメージを処理するステップであり、平面ターゲット内で複数のキーポイントを検出するステップ、ならびに、平面ターゲット内の複数のキーポイントの各々の周囲の記述子を特定し、それによって、平面ターゲットのイメージの複数のキーポイントおよび対応する記述子が得られるステップを含む、処理するステップと、第1のワープされたイメージを処理するステップであり、平面ターゲットをワープして、第1のワープされた座標系を有する第1のワープされたイメージを形成するステップ、第1のワープされたイメージ内で複数のキーポイントを検出するステップ、第1のワープされたイメージの複数のキーポイントの各々の周囲の記述子を特定し、それによって、第1のワープされたイメージの複数のキーポイントおよび対応する記述子が得られるステップ、ならびに、第1のワープされたイメージの複数のキーポイントの座標を、第1のワープされた座標系と、基準座標系との間において変換するステップを含む、処理するステップと、第1のワープされたイメージの複数のキーポイントおよび対応する記述子のうちの少なくとも一部を、平面ターゲットの複数のキーポイントおよび対応する記述子のうちの少なくとも一部と結合して、平面ターゲットのイメージに関するデータベース内の単一のデータセットを形成するステップとを含む方法である。
一部の態様によれば、開示されるのは、平面ターゲットを検出するためにモバイルデバイスによって使用するためのデータベースを作成するためのデバイスであって、基準座標系を有するイメージを取り込むように構成されているカメラであり、そのイメージが平面ターゲットを含む、カメラと、そのカメラに結合されているプロセッサとを含み、プロセッサが、平面ターゲットのイメージを処理するステップであり、プロセッサが、平面ターゲット内で複数のキーポイントを検出するステップ、ならびに、平面ターゲット内の複数のキーポイントの各々の周囲の記述子を特定し、それによって、平面ターゲットのイメージの複数のキーポイントおよび対応する記述子が得られるステップを行うように構成されている、ステップと、第1のワープされたイメージを処理するステップであり、プロセッサが、平面ターゲットをワープして、第1のワープされた座標系を有する第1のワープされたイメージを形成するステップ、第1のワープされたイメージ内で複数のキーポイントを検出するステップ、第1のワープされたイメージの複数のキーポイントの各々の周囲の記述子を特定し、それによって、第1のワープされたイメージの複数のキーポイントおよび対応する記述子が得られるステップ、ならびに、第1のワープされたイメージの複数のキーポイントの座標を、第1のワープされた座標系と、基準座標系との間において変換するステップを行うように構成されている、ステップと、第1のワープされたイメージの複数のキーポイントおよび対応する記述子のうちの少なくとも一部を、平面ターゲットの複数のキーポイントおよび対応する記述子のうちの少なくとも一部と結合して、平面ターゲットのイメージに関するデータベース内の単一のデータセットを形成するステップとを行うように構成されている、デバイスである。
一部の態様によれば、開示されるのは、平面ターゲットを検出するためにモバイルデバイスによって使用するためのデータベースを作成するためのデバイスであって、基準座標系を有する平面ターゲットのイメージを受信するステップを行うための手段と、平面ターゲットのイメージを処理するステップを行うための手段であり、処理するステップが、平面ターゲット内で複数のキーポイントを検出するステップを行うための手段、ならびに、平面ターゲット内の複数のキーポイントの各々の周囲の記述子を特定し、それによって、平面ターゲットのイメージの複数のキーポイントおよび対応する記述子が得られるステップを行うための手段を含む、手段と、第1のワープされたイメージを処理するステップを行うための手段であり、処理するステップが、平面ターゲットをワープして、第1のワープされた座標系を有する第1のワープされたイメージを形成するステップを行うための手段、第1のワープされたイメージ内で複数のキーポイントを検出するステップを行うための手段、第1のワープされたイメージの複数のキーポイントの各々の周囲の記述子を特定し、それによって、第1のワープされたイメージの複数のキーポイントおよび対応する記述子が得られるステップを行うための手段、ならびに、第1のワープされたイメージの複数のキーポイントの座標を、第1のワープされた座標系と、基準座標系との間において変換するステップを行うための手段を含む、手段と、第1のワープされたイメージの複数のキーポイントおよび対応する記述子のうちの少なくとも一部を、平面ターゲットの複数のキーポイントおよび対応する記述子のうちの少なくとも一部と結合して、平面ターゲットのイメージに関するデータベース内の単一のデータセットを形成するステップを行うための手段とを含むデバイスである。
一部の態様によれば、開示されるのは、平面ターゲットを検出するためにモバイルデバイスによって使用するためのデータベースを作成するためのデバイス用のその上に格納されているプログラムコードを含む非一時的なコンピュータ可読ストレージメディアであって、基準座標系を有する平面ターゲットのイメージを受信するステップを行うためのプログラムコードと、平面ターゲットのイメージを処理するステップを行うためのプログラムコードであり、平面ターゲット内で複数のキーポイントを検出するステップ、ならびに、平面ターゲット内の複数のキーポイントの各々の周囲の記述子を特定し、それによって、平面ターゲットのイメージの複数のキーポイントおよび対応する記述子が得られるステップを行うためのプログラムコードを含む、処理するステップを行うためのプログラムコードと、第1のワープされたイメージを処理するステップを行うためのプログラムコードであり、平面ターゲットをワープして、第1のワープされた座標系を有する第1のワープされたイメージを形成するステップ、第1のワープされたイメージ内で複数のキーポイントを検出するステップ、第1のワープされたイメージの複数のキーポイントの各々の周囲の記述子を特定し、それによって、第1のワープされたイメージの複数のキーポイントおよび対応する記述子が得られるステップ、ならびに、第1のワープされたイメージの複数のキーポイントの座標を、第1のワープされた座標系と、基準座標系との間において変換するステップを行うためのプログラムコードを含む、処理するステップを行うためのプログラムコードと、第1のワープされたイメージの複数のキーポイントおよび対応する記述子のうちの少なくとも一部を、平面ターゲットの複数のキーポイントおよび対応する記述子のうちの少なくとも一部と結合して、平面ターゲットのイメージに関するデータベース内の単一のデータセットを形成するステップを行うためのプログラムコードとを含む非一時的なコンピュータ可読ストレージメディアである。
一部の態様によれば、開示されるのは、平面ターゲットを検出するためのモバイルデバイスにおける方法であって、鋭角での平面ターゲットのイメージを取り込んで、取り込まれたイメージを形成するステップであり、その鋭角が、平面ターゲットの平面から垂直なラインから測定される、ステップと、取り込まれたイメージから複数のキーポイントを検出するステップと、複数のキーポイントの各々の周囲の記述子を特定し、それによって、取り込まれたイメージからの複数の記述子を形成するステップと、取り込まれたイメージからの複数の記述子を、ワープされていないイメージの少なくとも1つのワープされたイメージに関する複数の記述子を含むデータベースと比較して、比較が得られるステップと、その比較から平面ターゲットを認識するステップとを含む方法である。
他の態様は、以降の詳細な説明から当業者にとって容易に明らかになるであろうということを理解されたい。以降の詳細な説明においては、様々な態様が、例として示され、説明されている。図面および詳細な説明は、例示的な性質のものであり、限定的なものではないと見なされるべきである。
図面を参照しながら、単なる例として、本発明の実施形態について説明する。
平面ターゲットに対する鋭角αを定義する図である。 本発明の一部の実施形態による平面ターゲットを示す図である。 本発明の一部の実施形態による平面ターゲットを示す図である。 本発明の一部の実施形態による、平面ターゲットをワープすることの例を示す図である。 本発明の一部の実施形態による、平面ターゲットをワープすることの例を示す図である。 本発明の一部の実施形態による、平面ターゲットをワープすることの例を示す図である。 本発明の一部の実施形態による、平面ターゲットをワープすることの例を示す図である。 本発明の一部の実施形態による、平面ターゲットから導出された様々なワープされたイメージを示す図である。 本発明の一部の実施形態による、平面ターゲットから導出された様々なワープされたイメージを示す図である。 本発明の一部の実施形態による、平面ターゲットから導出された様々なワープされたイメージを示す図である。 本発明の一部の実施形態による、平面ターゲットから導出された様々なワープされたイメージを示す図である。 カメラから見た様々な急な入射角での平面ターゲットを示す図である。 カメラから見た様々な急な入射角での平面ターゲットを示す図である。 カメラから見た様々な急な入射角での平面ターゲットを示す図である。 本発明の一部の実施形態による、平面ターゲット100を検出するためのデータベースをファイルするための前処理方法200を示す図である。
添付の図面と関連して以降で示されている詳細な説明は、本開示の様々な態様の説明として意図されており、本開示を実施することができる唯一の態様を表すことを意図されているものではない。本開示において説明されている各態様は、本開示の一例または例示として提供されているにすぎず、他の態様よりも好ましいまたは有利であると必ずしも解釈されるべきではない。この詳細な説明は、本開示の徹底的な理解を提供する目的で具体的な詳細を含んでいる。しかしながら、これらの具体的な詳細を伴わずに本開示を実施することができるということは、当業者にとって明らかであろう。一部の例においては、本開示のコンセプトをわかりにくくすることを避けるために、よく知られている構造およびデバイスがブロック図の形態で示されている。頭字語および他の記述用語は、便宜上、および明確にするために使用されているにすぎない場合があり、本開示の範囲を限定することを意図されているものではない。
図1は、平面ターゲット100に対する鋭角αを定義している。X軸、Y軸、およびZ軸を伴うデカルト座標系においては、平面ターゲット100は、X-Y平面において示される。面外回転角度αは、カメラ視野に沿ったライン110(すなわち、カメラレンズに垂直なライン)と、Z軸として示されている、平面ターゲット100に垂直なラインとの間における角度として定義される。
イメージは、面外回転角度αがゼロ度(0°)である場合には、ワープされていない。イメージは、面外回転角度αが0°よりも大きい場合には、ワープされている。すなわち、平面ターゲット100は、トップダウンビューとして提示される場合には、そのオリジナルのワープされていない次元を有したままである。イメージは、面外回転角度αが非常に小さい(たとえば、5°、10°、または15°未満である)場合には、ワープされていないと見なされることが可能である。前処理中に、平面ターゲット100のトップダウンビューに関して、複数のキーポイント130および記述子が導出される。平面ターゲット100は、ターゲットイメージとカメラとの間における面外回転角度αを、Z軸から1つまたは複数の軸を中心にしてゼロでない角度αで(たとえば、60°など、50°と65°との間で)回転させることによって、ワープされたイメージとして合成される。
遠近投影を使用して、または使用しないで、回転された平面ターゲットを投影することができる。遠近投影が使用される場合には、平面ターゲット100の前部が、より大きくなったように見える一方で、平面ターゲット100の後部が、より小さくなったように見え、それによって、正方形の平面ターゲットが、(たとえば、遠近投影を使用した場合には)台形のワープされたイメージになる。共通のビューどうしを結合するためには、およびメモリを節約するためには、遠近投影を使用する代わりに、正投影が使用される。正投影を用いると、イメージの前部および後部の相対的なサイズは変わらない。したがって、正方形の平面ターゲットは、ワープされたイメージにおいては平行四辺形になる。正投影を使用してワープすることは、アフィンワーピングと呼ばれ、これは、直線を保持する。アフィンワーピングは、平面ターゲットのワープされるビューの数の低減を可能にする。なぜなら、左および右への回転の結果、同じワープされたイメージが生成され、同じことが、上および下への回転についても生じるためである。したがって、共通のビューどうしが結合されて、単一のビューとなる。
様々な軸を中心にしてターゲットイメージを回転させることによって、複数の異なるワープされたイメージを形成することができる。やはり前処理中に、結果として生じるワープされたビューの各々に関して、別の数のキーポイント132(たとえば、それぞれ図6〜図9からの132A、132B、132C、132D)および記述子が導出される。角度αが小さい(たとえば、20°または30°未満である)限り、引き起こされるワーピングは小さく、導出されるキーポイント132および記述子は、ワープされていないターゲットイメージのキーポイント130および記述子にマッチするのに十分なだけ類似している。しかしながら、αが大きくなるにつれて、ますますワープされるビューに関して、キーポイント132と記述子とのますます異なるセットが導出されるようになり、ついには、(たとえば、60°を超える角度などの急角度からの)極度にワープされたビューの結果として生じる記述子がもはや、ターゲットビューから導出された記述子に適切にマッチしなくなるポイントに至る。
それまで、データベースは、1つまたは複数のワープされていないターゲットイメージからの記述子のみを伴って形成されていたが、そのデータベースは、急角度での(たとえば、65°と70°との間における、または70°と75°との間における鋭角での)ターゲットイメージの撮影されたカメライメージ内で検出された記述子を適切に表さなかった。本発明の一部の実施形態によれば、データベースは、斜視図を変更することまたは含めることを伴うまたは伴わない合成的にワープされたイメージなど、1つまたは複数のワープされたターゲットイメージの記述子を含む。データベースは、5°と35°との間の、35°と45°との間の、45°と55°との間の、および/または55°と75°との間の角度αだけワープまたは回転されたワープされたイメージのキーポイントおよび記述子を含むことができる。
ワープされたイメージの記述子を伴うデータベースは、モバイルデバイスにとって、ワープされていないイメージを伴うデータベースとまったく同じように見える。一部の実施形態においては、データベースは、1つまたは複数のワープされたターゲットイメージの記述子のみを含み、オリジナルのワープされていないターゲットイメージからの記述子を含まない。一部の実施形態においては、データベースは、1つまたは複数のワープされたターゲットイメージの記述子、およびオリジナルのワープされていないターゲットイメージの記述子を含む。いずれのケースにおいても、データベースを使用するモバイルデバイスは、そのデータベースが、ワープされたイメージを伴って、または伴わずに作成されたことを知る必要はない。しかしながら、データベースが、1つまたは複数のワープされたイメージを伴って作成された場合には、モバイルデバイスは、より傾斜したまたは鋭いカメラ角度で撮影されたイメージに対応するデータベース内のより多くの記述子を見つけ出すことができるであろう。したがって、データベースは、モバイルデバイスが、より鋭い角度で取り込まれたオブジェクトに対してマッチおよび認識をより堅牢に行うことを可能にすることができる。
図2および図3は、本発明の一部の実施形態による平面ターゲット100を示している。図2においては、0°の角度αからの平面ターゲット100のトップダウンビュー。良好な平面ターゲット100は、十分に分散されたセットだがランダムに配置されているキーポイント130を伴うランダムグラフィックス(すなわち、繰返しのパターンを伴わない)を含む。図3においては、同じ平面ターゲット100のキーポイント130のセットが、十字マークとして別個に示されている。キーポイント130は、十分に分散されている、およびランダムに分散されている、の両方である。
図4および図5A〜図5Cは、本発明の一部の実施形態による、平面ターゲット100をワープすることの例を示している。図4においては、X-Y平面における平面ターゲット100が、X軸、Y軸、およびZ軸を中心にした回転の軸とともに示されている。1つまたは2つの軸を中心にして平面ターゲット100を一定の度数だけ回転させることによって、平面ターゲット100をワープすることができる。たとえば、X軸を中心にして平面ターゲット100を回転させて上下の回転をもたらすことによって、ワープされたイメージを形成することができる。Y軸を中心にして平面ターゲット100を回転させて左右の回転をもたらすことによって、ワープされたイメージを形成することができる。X軸とY軸の両方を中心にして平面ターゲット100を回転させることによって、ワープされたイメージを形成することができる。さらに、X軸および/またはY軸ならびにZ軸を中心にして平面ターゲット100を回転させ、次いで、結果として生じるイメージを、ピボットポイントを中心にして時計回りのまたは反時計回りの方向に回転させることによって、ワープされたイメージを形成することができる。回転は、遠近投影を使用することを含むことができ、遠近投影では、回転されたイメージの前部がより大きく、回転されたイメージのより遠くへ行くほど、より小さく見える。あるいは、遠近感を除外することもでき、それによって、正投影を使用したアフィンワーピングによるワープされたイメージにおいては、遠近感は考慮されない。物理的なイメージおよび実際のカメラを用いて、ワープされたイメージを作成することができる。あるいは、遠近効果を含める、または除外するための数学的変換または数学的な回転によって、ワープされたイメージを作成することもできる。
図5Aにおいては、想像上のカメラに対するオリジナルの平面ターゲット100および様々な合成されたビューが示されている。Y軸を中心にした角度αyの左右の回転の結果、第1のワープされたイメージが生じる。X軸を中心にした角度αxの上下の回転の結果、第2のワープされたイメージが生じる。(たとえば、X軸またはY軸のいずれかを中心にしたαxy=60°の)回転、および(たとえば、Z軸を中心にしたβ=±45°の)ピボットの結果、第3のワープされたイメージが生じる。
斜視図を使用することによって遠近感が考慮される場合には、ワープされたイメージに関して2倍もの多くのキーポイント132が処理される必要がある。図5Bにおいて示されているように、キーポイントの1つのセット132A-右(この場合、「右」という用語は、右側からの斜視図を表す)、および対応する記述子が、右への回転から生じることが可能である。図5Cにおいて示されているように、キーポイントの別のセット132A-左(この場合、「左」という用語は、左側からの斜視図を表す)、および対応する記述子が、左への回転から生じることが可能である。ワープされたイメージの各々から、キーポイント132(たとえば、図6において示されているキーポイント132A)を検出することができ、対応する記述子を計算することができる。右側からの遠近イメージおよび左側からの遠近イメージが、Y軸を中心にした回転によって作成された。同様に、上側からの遠近イメージおよび下側からの遠近イメージは、X軸を中心にした回転によって作成されることが可能である。
各ビューは、遠近感が含まれているか否かを問わず、キーポイントと、各キーポイントに関する対応する記述子とのセットを提供する。データベースは、ワープされた各イメージからの記述子の完全なセットまたは枝刈りされた(pruned)セットを含むことができる。(遠近感を伴わない、または遠近感を示す)いずれのケースにおいても、データベース内で見つかった記述子を枝刈りすることは、モバイルデバイスのカメラおよびプロセッサにとって、平面イメージをマッチさせるためのより速いランタイムをもたらすことができる。
一部の実施形態においては、様々なイメージからのキーポイントおよび記述子(キーポイントおよび対応する記述子は、フィーチャと呼ばれることが可能である)からデータベースが形成される。本発明を具体化することを伴わないデータベースは、オリジナルのワープされていないイメージからのフィーチャだけを含む。本発明の実施形態を伴うデータベースは、少なくとも1つのワープされたまたは遠近ビューのイメージからのフィーチャを含む。
オリジナルのワープされていないイメージと、1つ、2つ、3つ、4つ、またはそれよりも多くのワープされたイメージとを伴ってデータベースを形成することができる。ワープされたイメージは、遠近感を考慮することを伴うこと、または伴わないことが可能である。あるいは、オリジナルのワープされていないイメージを伴わずに、その一方で1つ、2つ、3つ、4つ、またはそれよりも多くのワープされたイメージを伴ってデータベースを形成することもできる。たとえば、データベースは、(1)左側からの斜視図、(2)右側からの斜視図、(3)上側からの斜視図、および(4)下側からの斜視図という4つのイメージからの、枝刈りされている、または枝刈りされていない複数のフィーチャを含むことができる。データベースは、(1)オリジナルのワープされていないイメージ、(2)X軸を中心にして回転された非斜視図、および(3)Y軸を中心にして回転された非斜視図という3つのイメージからの複数のフィーチャを含むことができる。データベースは、(1)オリジナルのワープされていないイメージ、(2)X軸を中心にして(αx=20°で)回転された非斜視図、(3)X軸を中心にして(αx=45°で)回転された非斜視図、(4)Y軸を中心にして(αy=45°で)回転された非斜視図、および(5)Y軸を中心にして(αy=45°で)回転された非斜視図という5つのイメージからの複数のフィーチャを含むことができる。データベースは、(1)オリジナルのワープされていないイメージ、および(2)X軸またはY軸を中心にして回転された遠近感のないアフィンビューというイメージだけからの複数のフィーチャを含むことができる。イメージの他の組合せも可能である。
データベースは、ワープされていないイメージおよびワープされたイメージというわずか2つ、またはワープされたイメージ1つだけを含むことができる。ターゲットイメージから垂直な角度(図5Aからのαx=αy=0°)からのイメージは、オリジナルのワープされていないイメージと見なされる。遠近投影を使用した遠近ワーピングを用いると、オリジナルのイメージをこのトップダウンビューから考慮することもでき、それによって、長方形のターゲットイメージに関して長方形を形成するよりも、むしろエッジが湾曲される。ワープされたイメージは、垂直から所定の角度(たとえば、α=10°、20°、30°、または40°)だけ離れた角度で合成されることが可能である。
データベースは、上述のイメージの複数のデータベースを含むことができる。たとえば、データベースは、第1のターゲットイメージに関するワープされていないイメージおよびワープされたイメージを含むことができ、第2のターゲットイメージに関するワープされていないイメージおよびワープされたイメージを含むこともできる。
データベースは、単一の基準系にあることが可能である。たとえば、オリジナルのワープされていないイメージの基準系は、ワープされていないイメージとワープされたイメージの両方を表すために使用される共通の基準系として使用することができる。
図6〜図9は、本発明の一部の実施形態による、平面ターゲット100から導出された様々なワープされたイメージ120を示している。平面ターゲット100は、(たとえば、X-Y平面における)基準座標系と、特定されたキーポイント130のセットとを有する。以降の図においては、アフィンワーピングを使用することによって、遠近感が無視されている。図6においては、平面ターゲット100が、Y軸を中心にして左右方向に回転されており、その結果、平面ターゲット100がワープされて、第1のワープされたイメージ122が形成されている。第1のワープされたイメージ122は、第1のワープされた座標系を有している。この第1のワープされたイメージ122を使用して、キーポイント132Aが検出され、次いで、対応する記述子がキーポイント132Aから特定される。正投影を使用することによって遠近感が無視されている場合には、第1のワープされたイメージ122は、数学的に作成される。また、平面ターゲット100をワープする際に遠近感が無視されるので、第1のワープされたイメージ122は、平行な辺どうしを伴って、より縦長に見える。遠近投影を使用することによって遠近感が無視されなかった場合には、第1のワープされたイメージ122は、2つの平行な辺および2つの平行でない辺を伴って台形として見えることになる。
図7においては、平面ターゲット100が、X軸を中心にして上下方向に数学的に回転されており、その結果、平面ターゲット100がワープされて、第2のワープされた座標系を有する第2のワープされたイメージ124が形成されている。やはり、その第2のワープされたイメージ124に関して、キーポイント132Bが検出され、次いで、対応する記述子が特定される。正投影を使用した数学的変換において遠近感が無視されるので、第2のワープされたイメージ124は、4つの平行な辺を伴って、より横長に見える。やはり、遠近感が無視されなかった場合には、第2のワープされたイメージ124は、2つの平行な辺および2つの平行でない辺を伴って台形として見えることになる。
図8においては、平面ターゲット100が、中心点においてZ軸を中心にして反時計回りに、かつX軸を中心にして上下方向に数学的に回転されて、第3のワープされた座標系を有する第3のワープされたイメージ126が形成されている。その第3のワープされたイメージ126に関して、キーポイント132Cが検出され、次いで、対応する記述子が特定される。ここでは、第3のワープされたイメージ126の向かい合った辺どうしは、互いに平行であるが、隣接した辺に対しては必ずしも直角ではない。
図9においては、平面ターゲット100が、中心点においてZ軸を中心にして時計回りに、かつX軸を中心にして上下方向に回転されて、第4のワープされた座標系を有する第4のワープされたイメージ128が形成されている。やはり、その第4のワープされたイメージ128に関して、キーポイント132Dが検出され、記述子が特定される。
ここまで、前処理について論じてきた。数学的変換を使用して、以前のワープされたイメージを作成することができる。変換されたワープされたイメージから、キーポイントが特定される。それらのキーポイントのセットを組み合わせて、キーポイントの十分に分散された、およびランダムに分散されたセットなど、低減された数にすることができる。すべてのまたは一部のキーポイントに関して、そのキーポイントを表す記述子を特定することができる。これらのキーポイントおよび対応する記述子を、フィーチャとしてデータベース内に保存することができる。この前処理は、サーバまたは他のデバイスにおいて実行することができる。
次いで、デバイス上での使用について考える。デバイス上での使用は、モバイルデバイスが平面ターゲット100の実際のイメージを取り込んだ結果として生じる。これらの取り込まれるイメージにおいては、以降の図において示されているように、予想されるビューが取り込まれる。
図10〜図12は、カメラから見た様々な急な入射角での平面ターゲット100を示している。図10においては、平面ターゲット100は、60°の角度αでカメラから見られている。60°の死角を有するシステムは、カメラに対する平面ターゲット100の60°未満の鋭角αでキーポイント132を検出するが、60°超90°未満の鋭角では、キーポイント132がまったくまたはあまり検出されない結果となる。図11においては、平面ターゲット100は、70°の鋭角αでカメラから見られている。図12においては、平面ターゲット100は、77°の鋭角αでカメラから見られている。
本明細書において説明されている実施形態を伴わないキーポイント130の検出は、60°〜65°程度の角度αで機能することができる。一部の実施形態においては、本明細書において説明されている改善は、70°〜75°程度の急勾配の角度αでの記述子の検出を可能にする。すなわち、ワープされていないビューのみに関するキーポイントおよび記述子を含むデータベースは、ワープされたビューに関するキーポイントおよび記述子を含むデータベースよりも小さい死角を有する。ここでは、図10と図11との間におけるビュー角度αの差は、10°しかない。死角における同様の(60°から70°への)10°の変化は、検出が不可能である角度を(30°から20°へ)大幅に低減させ、これは33%の改善である。
図13は、本発明の一部の実施形態による、平面ターゲット100を検出するためのデータベースをファイルするための前処理方法200を示している。
210において、サーバなどのプロセッサが、平面ターゲットのイメージを受信する。平面ターゲット上のそれぞれのポイントは、基準座標系(たとえば、{x,y})によって記述されている。平面ターゲットは、しばしば正方形または長方形であるが、別の幾何学的形状(たとえば、平行四辺形、八角形、円、もしくは楕円)、または自由形式(たとえば、漫画のキャラクタの輪郭)であることも可能である。
220において、プロセッサは、平面ターゲット100のイメージを処理して、キーポイントと、対応する記述子とのセットを抽出する。詳細には、処理は222において開始し、224において完了する。
222において、プロセッサは、平面ターゲット100内で複数のキーポイント130を検出する。この時点で、それらの複数のキーポイント130を、十分におよびランダムに分散されている残りのキーポイント130のより小さいセットへと枝刈りして、必要とされるメモリおよび処理を軽減することができる。
224において、プロセッサは、平面ターゲット100内の(残りの)複数のキーポイント130の各々の周囲の記述子を特定し、それによって、平面ターゲット100のイメージの複数のキーポイント130および対応する記述子が得られる。一部の実施形態においては、キーポイント130を、ワープされたイメージ内で見つかったキーポイント130に基づいてさらに枝刈りして、低減された数のキーポイント130を得ることができる。一部の実施形態においては、キーポイントは、それらのキーポイントに関する記述子を導出する前に枝刈りされる。あるいは、キーポイントは、すべてのワープされていないイメージおよびワープされたイメージが処理されるまで枝刈りされない。
230において、プロセッサは、第1のワープされたイメージを処理して、記述子の別のセットを抽出する。詳細には、処理は232において開始し、234および246へ続き、次いで238において完了する。
232において、プロセッサは、平面ターゲットをワープして、または数学的に変換して、第1のワープされた座標系を有する第1のワープされたイメージを形成する。たとえば、平面ターゲットは、X軸および/またはY軸および/またはZ軸を中心にして回転される。第1のワープされたイメージは、第1のワープされた座標系(たとえば、{x',y'})を有し、それにより、第1のワープされた座標系におけるポイントが線形変換によって基準座標系に変換され、それによって軸回転の影響を逆転させることが可能である。数学的変換を使用して、{x,y}座標系におけるイメージのピクセルを{x',y'}座標系におけるワープされたイメージのピクセルに変換することができる。
234において、プロセッサが、第1のワープされたイメージ内で複数のキーポイント132(たとえば、132A)を検出する。やはり、キーポイント132を、残りのキーポイント132のセットへと枝刈りして、分散を改善すること、ならびに/または必要とされるメモリおよび処理を軽減することが可能である。
236において、プロセッサは、第1のワープされたイメージの(残りの)複数のキーポイント132の各々の周囲の記述子を特定し、それによって、第1のワープされたイメージの複数のキーポイントおよび対応する記述子が得られる。
238において、プロセッサは、第1のワープされたイメージの複数のキーポイント132の座標を、第1のワープされた座標系と、基準座標系との間において変換する。
230'において示されているように、プロセッサは、平面ターゲットの第2、第3、第4、またはそれ以上のワープされたイメージを同様の様式で(230〜238を参照して上述したように)処理することができる。たとえば、その処理を、第2、第3、および第4のイメージに関して繰り返す。ワープされていないイメージ、右側からの遠近イメージ、左側からの遠近イメージ、上側からのワープされた遠近イメージ、および下側からのワープされた遠近イメージからキーポイントを抽出することができる。プロセッサは、様々な1つまたは複数のワープされたイメージ(第1、第2、第3、および/または第4のワープされたイメージ)ならびにワープされていない平面ターゲットイメージから、重複しているキーポイント130およびキーポイント132を枝刈りすることができる。
様々なキーポイント132のロケーションは、平面ターゲットの基準座標系など、共通の座標系に変換される。240において、プロセッサは、第1のワープされたイメージの複数のキーポイント130および対応する記述子のうちの少なくとも一部を、平面ターゲットの複数のキーポイント132および対応する記述子のうちの少なくとも一部と結合して、平面ターゲットのイメージに関するデータベース内の単一のデータセットを形成する。
プロセッサは、枝刈りプロセスによって枝刈りされていないキーポイントおよび記述子を充填または供給するだけでよい。枝刈りプロセスは、当技術分野において知られているように、良好な分散を提供しない、または冗長であるキーポイント130およびキーポイント132を除去することができる。次いでプロセッサは、枝刈りされていないまたは残りの記述子を、別々の各キーポイントロケーションによってインデックス付けされているデータベースに保存することができる。したがって、1つのワープされたイメージ内で特定されたキーポイントであって、別のワープされたイメージ内ですでに特定されている、または平面ターゲットのトップダウンビュー内で特定されているキーポイントにマップまたは変換されるキーポイントは、たとえば、記述子どうしが同じであるか、または十分に類似している場合には、冗長なものとして枝刈りされて無視されることが可能である。
サーバ内などのプロセッサは、平面ターゲットのイメージを受信すること、その平面ターゲットのイメージ内でキーポイント130、132を検出すること、その平面ターゲットのイメージを1つまたは複数のワープされたイメージへとワープすること、そのワープされたイメージからキーポイントおよび記述子を特定すること、キーポイントを枝刈りすること、ワープされた座標系と、ワープされていない座標系との間において変換を行うこと、ならびにデータベースに対してローディング、充填、または供給を行うことのための手段として機能する。使用中のモバイルデバイスの視点からは、モバイルデバイスは、自分のデータベースが、ワープされていないイメージのみを充填されているか、1つもしくは複数のワープされたイメージのみを充填されているか、またはワープされていないイメージと、1つもしくは複数のワープされたイメージとの組合せを充填されているかを知ることはできない。すなわち、そのデータベースは、モバイルデバイスにとっては同じに見え、データベース内のワープされたイメージのフィーチャポイントを有している、または有していない同じアルゴリズムを実行する。しかしながら、ワープされたビューを用いると、モバイルデバイスは、より急勾配の角度でのフィーチャポイントの記述子を検出することができるであろう。
本明細書において説明されている方法は、アプリケーションに応じて様々な手段によって実装することができる。たとえば、これらの方法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組合せで実装することができる。ハードウェアでの実装形態に関しては、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書において説明されている機能を実行するように設計されている他の電子ユニット、またはそれらの組合せの中に実装することができる。
ファームウェアおよび/またはソフトウェアでの実装形態に関しては、これらの方法は、本明細書において説明されている機能を実行するモジュール(たとえば、手順、機能など)を用いて実装することができる。本明細書において説明されている方法を実装する際には、命令を有形に具体化する任意のマシン可読メディアを使用することができる。たとえば、ソフトウェアコードをメモリ内に格納して、プロセッサユニットによって実行することができる。メモリは、プロセッサユニット内に、またはプロセッサユニットの外部に実装することができる。本明細書において使用される際には、「メモリ」という用語は、任意のタイプの長期の、短期の、揮発性の、不揮発性の、または他のメモリを指し、いかなる特定のタイプのメモリ、またはいかなる特定の数のメモリ、または、メモリが格納されるいかなる特定のタイプのメディアにも限定されない。
ファームウェアおよび/またはソフトウェアで実装される場合には、これらの機能は、コンピュータ可読メディア上に1つまたは複数の命令またはコードとして格納することができる。例としては、データ構造をエンコードされたコンピュータ可読メディア、およびコンピュータプログラムをエンコードされたコンピュータ可読メディアが含まれる。コンピュータ可読メディアには、物理的なコンピュータストレージメディアが含まれる。ストレージメディアは、コンピュータによってアクセスすることができる任意の利用可能なメディアであることが可能である。限定ではなく、例として、そのようなコンピュータ可読メディアは、RAM、ROM、EEPROM、CD-ROM、もしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または、所望のプログラムコードを命令もしくはデータ構造の形態で格納するために使用されることが可能な、かつコンピュータによってアクセスされることが可能な他の任意のメディアを含むことができ、ディスク(disk)およびディスク(disc)は、本明細書において使用される際には、コンパクトディスク(CD: compact disc)、レーザーディスク(登録商標)(laser disc)、光ディスク(optical disc)、デジタル多用途ディスク(DVD: digital versatile disc)、フロッピー(登録商標)ディスク(floppy disk)、およびブルーレイディスク(blu-ray(登録商標) disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、その一方でディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読メディアの範囲内に含まれる。
コンピュータ可読メディア上での格納に加えて、命令および/またはデータは、通信装置内に含まれている伝送メディア上の信号として提供されることが可能である。たとえば、通信装置は、命令およびデータを示す信号を有するトランシーバを含むことができる。それらの命令およびデータは、特許請求の範囲において概説されている機能を1つまたは複数のプロセッサに実施させるように構成されている。すなわち、通信装置は、開示されている機能を実行するための情報を示す信号を伴う伝送メディアを含む。第1の時点においては、通信装置内に含まれている伝送メディアは、開示されている機能を実行するための情報の第1の部分を含むことができ、その一方で、第2の時点においては、通信装置内に含まれている伝送メディアは、開示されている機能を実行するための情報の第2の部分を含むことができる。
開示されている態様についてのここまでの説明は、いかなる当業者も本開示を作成または使用できるようにするために提供されている。これらの態様に対する様々な修正は、当業者にとって容易に明らかになり、本明細書において定義されている一般的な原理は、本開示の趣旨または範囲から逸脱することなく、他の態様に適用することができる。
100 平面ターゲット
110 ライン
120 ワープされたイメージ
122 第1のワープされたイメージ
124 第2のワープされたイメージ
126 第3のワープされたイメージ
128 第4のワープされたイメージ
130 キーポイント
132 キーポイント
132A キーポイント
132B キーポイント
132C キーポイント
132D キーポイント
200 前処理方法

Claims (38)

  1. 平面ターゲットを検出するために使用されるデータベースを作成するための方法であって、
    基準座標系を有する前記平面ターゲットのイメージを受信するステップと、
    前記平面ターゲットの前記イメージを処理するステップであって、
    前記平面ターゲット内で複数のキーポイントを検出するステップ、ならびに
    前記平面ターゲット内の前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記平面ターゲットの前記イメージの前記複数のキーポイントおよび対応する記述子が得られるステップを含む、処理するステップと、
    第1のワープされたイメージを処理するステップであって、
    前記平面ターゲットをワープして、第1のワープされた座標系を有する前記第1のワープされたイメージを形成するステップ、
    前記第1のワープされたイメージ内で複数のキーポイントを検出するステップ、
    前記第1のワープされたイメージの前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記第1のワープされたイメージの前記複数のキーポイントおよび対応する記述子が得られるステップ、ならびに
    前記第1のワープされたイメージの前記複数のキーポイントの座標を、前記第1のワープされた座標系と、前記基準座標系との間において変換するステップを含む、処理するステップと、
    前記第1のワープされたイメージの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を、前記平面ターゲットの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部と結合して、前記平面ターゲットの前記イメージに関する前記データベース内の単一のデータセットを形成するステップと
    を含む方法。
  2. 1つまたは複数のワープされたイメージを処理するステップをさらに含み、前記1つまたは複数のワープされたイメージのうちの各特定のワープされたイメージを処理するステップが、
    前記平面ターゲットをワープして、特定のワープされた座標系を有する前記特定のワープされたイメージを形成するステップと、
    前記特定のワープされたイメージ内で複数のキーポイントを検出するステップと、
    前記特定のワープされたイメージの前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記特定のワープされたイメージの前記複数のキーポイントおよび対応する記述子が得られるステップと、
    前記特定のワープされたイメージの前記複数のキーポイントの座標を、前記特定のワープされた座標系と、前記基準座標系との間において変換するステップと
    を含み、
    結合するステップが、前記1つまたは複数のワープされたイメージのうちの前記特定のワープされたイメージの各々の前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を、前記平面ターゲットの前記イメージに関する前記データベース内の前記単一のデータセットに結合するステップをさらに含む、請求項1に記載の方法。
  3. 前記平面ターゲットをワープするステップが、5°と35°との間の角度αだけワープするステップを含む、請求項1に記載の方法。
  4. 前記平面ターゲットをワープするステップが、35°と45°との間の角度αだけワープするステップを含む、請求項1に記載の方法。
  5. 前記平面ターゲットをワープするステップが、45°と55°との間の角度αだけワープするステップを含む、請求項1に記載の方法。
  6. 前記平面ターゲットをワープするステップが、55°と75°との間の角度αだけワープするステップを含む、請求項1に記載の方法。
  7. 結合するステップが、前記第1のワープされたイメージの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を枝刈りするステップ(pruning)を含む、請求項1に記載の方法。
  8. ワープするステップが、軸を中心にして前記平面ターゲットを数学的に回転させるステップを含む、請求項1に記載の方法。
  9. ワープするステップが、正投影を使用して前記平面ターゲットを数学的に回転させるアフィンワーピングを含む、請求項1に記載の方法。
  10. ワープするステップが、遠近投影を使用して前記平面ターゲットを回転させるステップを含む、請求項1に記載の方法。
  11. 平面ターゲットを検出するためにモバイルデバイスによって使用するためのデータベースを作成するためのデバイスであって、
    基準座標系を有するイメージを取り込むように構成されているカメラであり、前記イメージが前記平面ターゲットを含む、カメラと、
    前記カメラに結合されているプロセッサとを含み、前記プロセッサが、
    前記平面ターゲットの前記イメージを処理するステップであり、前記プロセッサが、
    前記平面ターゲット内で複数のキーポイントを検出するステップ、ならびに
    前記平面ターゲット内の前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記平面ターゲットの前記イメージの前記複数のキーポイントおよび対応する記述子が得られるステップを行うように構成されている、ステップと、
    第1のワープされたイメージを処理するステップであり、前記プロセッサが、
    前記平面ターゲットをワープして、第1のワープされた座標系を有する前記第1のワープされたイメージを形成するステップ、
    前記第1のワープされたイメージ内で複数のキーポイントを検出するステップ、
    前記第1のワープされたイメージの前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記第1のワープされたイメージの前記複数のキーポイントおよび対応する記述子が得られるステップ、ならびに
    前記第1のワープされたイメージの前記複数のキーポイントの座標を、前記第1のワープされた座標系と、前記基準座標系との間において変換するステップを行うように構成されている、ステップと、
    前記第1のワープされたイメージの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を、前記平面ターゲットの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部と結合して、前記平面ターゲットの前記イメージに関する前記データベース内の単一のデータセットを形成するステップとを行うように構成されている、デバイス。
  12. 前記プロセッサが、1つまたは複数のワープされたイメージを処理するようにさらに構成されており、前記プロセッサが、
    前記平面ターゲットをワープして、特定のワープされた座標系を有する前記特定のワープされたイメージを形成するステップと、
    前記特定のワープされたイメージ内で複数のキーポイントを検出するステップと、
    前記特定のワープされたイメージの前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記特定のワープされたイメージの前記複数のキーポイントおよび対応する記述子が得られるステップと、
    前記特定のワープされたイメージの前記複数のキーポイントの座標を、前記特定のワープされた座標系と、前記基準座標系との間において変換するステップとを行うように構成されていることによって、前記1つまたは複数のワープされたイメージの各特定のワープされたイメージを処理するように構成されており、
    結合するステップを行うように構成されている前記プロセッサが、前記1つまたは複数のワープされたイメージのうちの前記特定のワープされたイメージの各々の前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を前記平面ターゲットの前記イメージに関する前記データベース内の前記単一のデータセットに結合するステップを行うように構成されている前記プロセッサをさらに含む、請求項11に記載のデバイス。
  13. 結合するステップを行うように構成されている前記プロセッサが、前記第1のワープされたイメージの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を枝刈りするステップを行うように構成されている前記プロセッサを含む、請求項11に記載のデバイス。
  14. ワープするステップを行うように構成されている前記プロセッサが、正投影を使用して前記平面ターゲットを数学的に回転させるためにアフィンワープするステップを行うように構成されている前記プロセッサを含む、請求項11に記載のデバイス。
  15. 平面ターゲットを検出するためにモバイルデバイスによって使用するためのデータベースを作成するためのデバイスであって、
    基準座標系を有する前記平面ターゲットのイメージを受信するステップを行うための手段と、
    前記平面ターゲットの前記イメージを処理するステップを行うための手段であり、処理するステップが、
    前記平面ターゲット内で複数のキーポイントを検出するステップを行うための手段、ならびに
    前記平面ターゲット内の前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記平面ターゲットの前記イメージの前記複数のキーポイントおよび対応する記述子が得られるステップを行うための手段を含む、手段と、
    第1のワープされたイメージを処理するステップを行うための手段であり、処理するステップが、
    前記平面ターゲットをワープして、第1のワープされた座標系を有する前記第1のワープされたイメージを形成するステップを行うための手段、
    前記第1のワープされたイメージ内で複数のキーポイントを検出するステップを行うための手段、
    前記第1のワープされたイメージの前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記第1のワープされたイメージの前記複数のキーポイントおよび対応する記述子が得られるステップを行うための手段、ならびに
    前記第1のワープされたイメージの前記複数のキーポイントの座標を、前記第1のワープされた座標系と、前記基準座標系との間において変換するステップを行うための手段を含む、手段と、
    前記第1のワープされたイメージの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を、前記平面ターゲットの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部と結合して、前記平面ターゲットの前記イメージに関する前記データベース内の単一のデータセットを形成するステップを行うための手段とを含むデバイス。
  16. 1つまたは複数のワープされたイメージを処理するステップを行うための手段をさらに含み、前記1つまたは複数のワープされたイメージのうちの各特定のワープされたイメージを処理するための前記手段が、
    前記平面ターゲットをワープして、特定のワープされた座標系を有する前記特定のワープされたイメージを形成するステップを行うための手段と、
    前記特定のワープされたイメージ内で複数のキーポイントを検出するステップを行うための手段と、
    前記特定のワープされたイメージの前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記特定のワープされたイメージの前記複数のキーポイントおよび対応する記述子が得られるステップを行うための手段と、
    前記特定のワープされたイメージの前記複数のキーポイントの座標を、前記特定のワープされた座標系と、前記基準座標系との間において変換するステップを行うための手段とを含み、
    結合するステップを行うための前記手段が、前記1つまたは複数のワープされたイメージのうちの前記特定のワープされたイメージの各々の前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を、前記平面ターゲットの前記イメージに関する前記データベース内の前記単一のデータセットに結合するステップを行うための手段をさらに含む、請求項15に記載のデバイス。
  17. 結合するステップを行うための前記手段が、前記第1のワープされたイメージの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を枝刈りするステップを行うための手段を含む、請求項15に記載のデバイス。
  18. ワープするステップを行うための手段が、正投影を使用して前記平面ターゲットを数学的に回転させるアフィンワーピングを行うための手段を含む、請求項15に記載のデバイス。
  19. 平面ターゲットを検出するためにモバイルデバイスによって使用するためのデータベースを作成するためのデバイス用のその上に格納されているプログラムコードを含む非一時的なコンピュータ可読ストレージメディアであって、
    基準座標系を有する前記平面ターゲットのイメージを受信するステップを行うためのプログラムコードと、
    前記平面ターゲットの前記イメージを処理するステップを行うためのプログラムコードであり、
    前記平面ターゲット内で複数のキーポイントを検出するステップ、ならびに
    前記平面ターゲット内の前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記平面ターゲットの前記イメージの前記複数のキーポイントおよび対応する記述子が得られるステップを行うためのプログラムコードを含む、処理するステップを行うためのプログラムコードと、
    第1のワープされたイメージを処理するステップを行うためのプログラムコードであり、
    前記平面ターゲットをワープして、第1のワープされた座標系を有する前記第1のワープされたイメージを形成するステップ、
    前記第1のワープされたイメージ内で複数のキーポイントを検出するステップ、
    前記第1のワープされたイメージの前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記第1のワープされたイメージの前記複数のキーポイントおよび対応する記述子が得られるステップ、ならびに
    前記第1のワープされたイメージの前記複数のキーポイントの座標を、前記第1のワープされた座標系と、前記基準座標系との間において変換するステップを行うためのプログラムコードを含む、処理するステップを行うためのプログラムコードと、
    前記第1のワープされたイメージの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を、前記平面ターゲットの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部と結合して、前記平面ターゲットの前記イメージに関する前記データベース内の単一のデータセットを形成するステップを行うためのプログラムコードとを含む非一時的なコンピュータ可読ストレージメディア。
  20. 前記プログラムコードが、1つまたは複数のワープされたイメージを処理するステップを行うためのプログラムコードをさらに含み、前記1つまたは複数のワープされたイメージのうちの各特定のワープされたイメージが、
    前記平面ターゲットをワープして、特定のワープされた座標系を有する前記特定のワープされたイメージを形成するステップと、
    前記特定のワープされたイメージ内で複数のキーポイントを検出するステップと、
    前記特定のワープされたイメージの前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記特定のワープされたイメージの前記複数のキーポイントおよび対応する記述子が得られるステップと、
    前記特定のワープされたイメージの前記複数のキーポイントの座標を、前記特定のワープされた座標系と、前記基準座標系との間において変換するステップとを行うためのプログラムコードを含み、
    結合するステップを行うための前記プログラムコードが、前記1つまたは複数のワープされたイメージのうちの前記特定のワープされたイメージの各々の前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を、前記平面ターゲットの前記イメージに関する前記データベース内の前記単一のデータセットに結合するステップを行うためのプログラムコードをさらに含む、請求項19に記載の非一時的なコンピュータ可読ストレージメディア。
  21. 結合するステップを行うための前記プログラムコードが、前記第1のワープされたイメージの前記複数のキーポイントおよび前記対応する記述子のうちの少なくとも一部を枝刈りするステップを行うためのプログラムコードを含む、請求項19に記載の非一時的なコンピュータ可読ストレージメディア。
  22. ワープするステップを行うための前記プログラムコードが、正投影を使用して前記平面ターゲットを数学的に回転させるためにアフィンワープするステップを行うためのプログラムコードを含む、請求項19に記載の非一時的なコンピュータ可読ストレージメディア。
  23. 平面ターゲットを検出するためのモバイルデバイスにおける方法であって、
    鋭角での前記平面ターゲットのイメージを取り込んで、取り込まれたイメージを形成するステップであり、前記鋭角が、前記平面ターゲットの平面から垂直なラインから測定される、ステップと、
    前記取り込まれたイメージから複数のキーポイントを検出するステップと、
    前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記取り込まれたイメージからの複数の記述子を形成するステップと、
    前記取り込まれたイメージからの前記複数の記述子を、ワープされていないイメージの少なくとも1つのワープされたイメージに関する複数の記述子を含むデータベースと比較して、比較が得られるステップと、
    前記比較から前記平面ターゲットを認識するステップとを含む方法。
  24. 前記鋭角が、65°と70°との間である、請求項23に記載の方法。
  25. 前記鋭角が、70°と75°との間である、請求項23に記載の方法。
  26. 前記データベースが、前記ワープされていないイメージに関する、および前記ワープされていないイメージの前記少なくとも1つのワープされたイメージに関する複数の記述子を含む、請求項23に記載の方法。
  27. 前記少なくとも1つのワープされたイメージが、前記ワープされていないイメージの複数のワープされたイメージを含む、請求項23に記載の方法。
  28. 前記少なくとも1つのワープされたイメージに関する前記複数の記述子が、記述子の枝刈りされたセットを含む、請求項23に記載の方法。
  29. 前記少なくとも1つのワープされたイメージが、正投影を使用した前記平面ターゲットの数学的に回転されたビューであるアフィンワープされたイメージを含む、請求項23に記載の方法。
  30. 前記少なくとも1つのワープされたイメージが、5°と35°との間の角度αだけワープされた少なくとも1つのワープされたイメージを含む、請求項23に記載の方法。
  31. 前記少なくとも1つのワープされたイメージが、35°と45°との間の角度αだけワープされたワープされたイメージを含む、請求項23に記載の方法。
  32. 前記少なくとも1つのワープされたイメージが、45°と75°との間の角度αだけワープされたワープされたイメージを含む、請求項23に記載の方法。
  33. 平面ターゲットを検出するためのモバイルデバイスであって、
    鋭角での前記平面ターゲットのイメージを取り込んで、取り込まれたイメージを形成するステップであり、前記鋭角が、前記平面ターゲットの平面から垂直なラインから測定される、ステップを行うための手段と、
    前記取り込まれたイメージから複数のキーポイントを検出するステップを行うための手段と、
    前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記取り込まれたイメージからの複数の記述子を形成するステップを行うための手段と、
    前記取り込まれたイメージからの前記複数の記述子を、ワープされていないイメージの少なくとも1つのワープされたイメージに関する複数の記述子を含むデータベースと比較して、比較が得られるステップを行うための手段と、
    前記比較から前記平面ターゲットを認識するステップを行うための手段とを含むモバイルデバイス。
  34. 前記鋭角が、65°と70°との間である、請求項33に記載のモバイルデバイス。
  35. 前記鋭角が、70°と75°との間である、請求項33に記載のモバイルデバイス。
  36. 平面ターゲットを検出するためのモバイルデバイスであって、
    鋭角での前記平面ターゲットのイメージを取り込んで、取り込まれたイメージを形成するステップであり、前記鋭角が、前記平面ターゲットの平面から垂直なラインから測定される、ステップを行うためのカメラと、
    ワープされていないイメージの少なくとも1つのワープされたイメージに関する複数の記述子を含むデータベースを受信するように構成されている受信機と、
    前記カメラに、および前記受信機に結合されているプロセッサとを含み、前記プロセッサが、
    前記取り込まれたイメージから複数のキーポイントを検出するステップと、
    前記複数のキーポイントの各々の周囲の記述子を特定し、それによって、前記取り込まれたイメージからの複数の記述子を形成するステップと、
    前記取り込まれたイメージからの前記複数の記述子を前記データベースと比較して、比較が得られるステップと、
    前記比較から前記平面ターゲットを認識するステップとを行うように構成されている、モバイルデバイス。
  37. 前記鋭角が、65°と70°との間である、請求項36に記載のモバイルデバイス。
  38. 前記鋭角が、70°と75°との間である、請求項36に記載のモバイルデバイス。
JP2015536785A 2012-10-15 2013-09-18 急角度のもとでの平面ターゲットの検出 Expired - Fee Related JP6307511B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261714115P 2012-10-15 2012-10-15
US61/714,115 2012-10-15
US13/793,629 2013-03-11
US13/793,629 US9020982B2 (en) 2012-10-15 2013-03-11 Detection of planar targets under steep angles
PCT/US2013/060361 WO2014062336A1 (en) 2012-10-15 2013-09-18 Detection of planar targets under steep angles

Publications (3)

Publication Number Publication Date
JP2016500871A true JP2016500871A (ja) 2016-01-14
JP2016500871A5 JP2016500871A5 (ja) 2016-10-20
JP6307511B2 JP6307511B2 (ja) 2018-04-04

Family

ID=50476403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015536785A Expired - Fee Related JP6307511B2 (ja) 2012-10-15 2013-09-18 急角度のもとでの平面ターゲットの検出

Country Status (5)

Country Link
US (1) US9020982B2 (ja)
EP (1) EP2907081A1 (ja)
JP (1) JP6307511B2 (ja)
CN (1) CN104737181B (ja)
WO (1) WO2014062336A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101668802B1 (ko) * 2014-09-03 2016-11-09 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
US10685239B2 (en) * 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
CN116129228B (zh) * 2023-04-19 2023-07-18 中国科学技术大学 图像匹配模型的训练方法、图像匹配方法及其装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012102018A1 (ja) * 2011-01-25 2012-08-02 三菱電機株式会社 画像検索装置及び方法、画像処理装置及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK0500225T3 (da) * 1991-01-31 1996-02-05 Texas Instruments Inc System, fremgangsmåde og proces til computerstyret fremstilling af tredimensionale genstande udfra computerdata
US6175422B1 (en) * 1991-01-31 2001-01-16 Texas Instruments Incorporated Method and apparatus for the computer-controlled manufacture of three-dimensional objects from computer data
US5838820A (en) * 1997-04-30 1998-11-17 Bergman; Anthony J. Pattern recognition apparatus and method
US6134792A (en) * 1998-11-19 2000-10-24 Hunter Engineering Company Method and apparatus for determining wheel alignment optical target orientation parameters
US6763148B1 (en) 2000-11-13 2004-07-13 Visual Key, Inc. Image recognition methods
EP1599830A1 (en) 2003-03-06 2005-11-30 Animetrics, Inc. Generation of image databases for multifeatured objects
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7613357B2 (en) 2005-09-20 2009-11-03 Gm Global Technology Operations, Inc. Method for warped image object recognition
US8224127B2 (en) 2007-05-02 2012-07-17 The Mitre Corporation Synthesis of databases of realistic, biologically-based 2-D images
FR2931277B1 (fr) * 2008-05-19 2010-12-31 Ecole Polytech Procede et dispositif de reconnaissance invariante-affine de formes
CN101808230A (zh) * 2009-02-16 2010-08-18 杭州恒生数字设备科技有限公司 一种用于数字视频监控的统一坐标系
AU2010220015A1 (en) * 2009-03-03 2010-09-10 Fujifilm Corporation Image processing device and method, and program
US9135514B2 (en) * 2010-05-21 2015-09-15 Qualcomm Incorporated Real time tracking/detection of multiple targets
EP2668617A1 (en) * 2011-01-27 2013-12-04 Metaio GmbH Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
JP5822322B2 (ja) * 2011-09-12 2015-11-24 インテル・コーポレーション ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び３ｄディスプレイ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012102018A1 (ja) * 2011-01-25 2012-08-02 三菱電機株式会社 画像検索装置及び方法、画像処理装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
COZAR J R ET AL.: "Detection of arbitrary planar shapes with 3D pose", IMAGE AND VISION COMPUTING, vol. Vol. 19, JPN6017023474, 2001, pages Pages 1057-1070 *
佐志原めぐみ 外２名: "ＳＵＲＦを用いた３Ｄ回転にロバストな特徴点追跡手法", 電子情報通信学会２０１１年総合大会講演論文集 情報・システム２, JPN6017023473, 28 February 2011 (2011-02-28), pages 第170頁 *

Also Published As

Publication number Publication date
EP2907081A1 (en) 2015-08-19
CN104737181B (zh) 2019-05-14
US9020982B2 (en) 2015-04-28
CN104737181A (zh) 2015-06-24
WO2014062336A1 (en) 2014-04-24
JP6307511B2 (ja) 2018-04-04
US20140108466A1 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
CN110378900B (zh) 产品缺陷的检测方法、装置及系统
US10192145B2 (en) Method of providing image feature descriptors
US9031315B2 (en) Information extraction method, information extraction device, program, registration device, and verification device
US10671835B2 (en) Object recognition
JP6528764B2 (ja) 顔照合装置、方法、及び、記録媒体
CN102834845A (zh) 用于多摄像装置校准的方法与装置
US9147113B2 (en) Deformable surface tracking in augmented reality applications
Kiforenko et al. A performance evaluation of point pair features
KR20140014298A (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
Konishi et al. Real-time 6D object pose estimation on CPU
Rao et al. Harnessing motion blur to unveil splicing
Uchiyama et al. Toward augmenting everything: Detecting and tracking geometrical features on planar objects
US9129375B1 (en) Pose detection
US20170323149A1 (en) Rotation invariant object detection
CN110738273A (zh) 图像特征点的匹配方法、装置、设备及存储介质
Kechagias-Stamatis et al. Histogram of distances for local surface description
JP6307511B2 (ja) 急角度のもとでの平面ターゲットの検出
Halma et al. Single spin image-ICP matching for efficient 3D object recognition
JP2022519398A (ja) 画像処理方法、装置及び電子機器
JP5973767B2 (ja) 対応点探索装置、そのプログラム及びカメラパラメータ推定装置
Mishkin et al. Two-view matching with view synthesis revisited
JP2015032256A (ja) 画像処理装置およびそのデータベース構築装置
JP2007140729A (ja) 物品の位置及び姿勢を検出する方法および装置
Tybusch et al. Color-based and recursive fiducial marker for augmented reality
US9477890B2 (en) Object detection using limited learned attribute ranges

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180312

R150 Certificate of patent or registration of utility model

Ref document number: 6307511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees