JP6306274B1 - オブジェクト検出中の適応的なエッジ状の特徴の選択 - Google Patents

オブジェクト検出中の適応的なエッジ状の特徴の選択 Download PDF

Info

Publication number
JP6306274B1
JP6306274B1 JP2017542851A JP2017542851A JP6306274B1 JP 6306274 B1 JP6306274 B1 JP 6306274B1 JP 2017542851 A JP2017542851 A JP 2017542851A JP 2017542851 A JP2017542851 A JP 2017542851A JP 6306274 B1 JP6306274 B1 JP 6306274B1
Authority
JP
Japan
Prior art keywords
features
feature
edge
image
ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017542851A
Other languages
English (en)
Other versions
JP2018511858A (ja
Inventor
ラグラマン・クリシュナムールティ
ボージャン・ヴァーセル
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Application granted granted Critical
Publication of JP6306274B1 publication Critical patent/JP6306274B1/ja
Publication of JP2018511858A publication Critical patent/JP2018511858A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Abstract

画像中の注目オブジェクトを認識する方法は、画像内から特徴の第1のセットを抽出することを含む。次いで、特徴の第1のセットにおける抽出された各特徴は、エッジ状またはブロブ状のいずれかに分類される。特徴の第2のセットが第1のセットから取り出され、特徴の第2のセットに含まれるエッジ状の特徴の数が、抽出された特徴の第1のセットに含まれるブロブ状の特徴に対するエッジ状の特徴の相対数に基づく。特徴の第2のセットに従って、画像内の注目オブジェクトが検出される。

Description

関連出願の相互参照
本出願は、参照により本明細書に組み込まれる2015年2月18日に出願された「ADAPTIVE EDGE-LIKE FEATURE SELECTION DURING OBJECT DETECTION」という名称の米国特許出願第14/625,588号からの優先権の利益を主張する。
本開示は、一般にコンピュータビジョンベースのオブジェクト認識アプリケーションに関し、詳細には、限定はしないが、オブジェクト検出のために特徴データベースと比較するために、抽出された特徴を選択することに関する。
モバイル電話または他のモバイルプラットフォーム上で拡張現実(AR)を可能にするための課題は、オブジェクトをリアルタイムに検出して追跡する問題である。ARアプリケーションのためのオブジェクト検出には、非常に厳しい要件がある。それは、完全な6自由度を提供し、所与の座標系に対して絶対的な測定値を与え、非常に堅牢であり、リアルタイムに実行しなければならない。興味深いのは、コンピュータビジョン(CV)ベースの手法を使用して、カメラの位置および向き(ポーズ)を計算する方法であり、その方法は、カメラの視野内のオブジェクトを第1に検出すること、続いてそれを追跡することに依存する。一態様では、検出動作は、それらの特徴と、現実世界のオブジェクトに対応する、知られている特徴のデータベースとが比較されるように、デジタル画像内に含まれる特徴のセットを検出することを含む。特徴は、デジタル画像内の領域であって、その領域を取り巻くエリアと比較して明るさや色などの特性の点で異なる、領域を指すことができる。一態様では、特徴は、いくつかの特性が一定である、または所定の値の範囲内で変動する、デジタル画像の領域である。
特徴は、その形状に部分的に基づいて、ブロブ状またはエッジ状のいずれかと見なされ得る。ブロブ状の特徴は、オブジェクト上にかなり局所化され得、そのため、特徴の相関がより容易になる一方、エッジ状の特徴は、必ずしも局所化されるとは限らない。いくつかのタイプの特徴検出アルゴリズムは、処理時間を減らすために、あまりにもエッジ状と見なされる特徴を除外しようと試みる。たとえば、スケール不変特徴量変換(SIFT:Scale-invariant feature transform)アルゴリズムは、各特徴のヘッセ行列式の固有値を計算する。次いで、各特徴の固有値の比が固定しきい値と比較される。比が固定しきい値よりも高い場合、特徴はあまりにもエッジ状と見なされ、特徴は処分される。
だが、特徴豊かであるオブジェクトとそうではないオブジェクトの両方を検出するために同じ検出器(detector)を使用しようと試みたときに、問題が生じる。ロゴなどの特徴豊かではないオブジェクトは、大部分がエッジ状の特徴を含み、ブロブ状の特徴はあるとしても極めて少ない。これは、大部分のロゴが人工的であり、シャープな隅角および滑らかではないブロブを意図的に避けるためである。特徴検出器がより多くのエッジ状の特徴を許容するために「緩和された」場合、後続の特徴豊かなターゲットオブジェクトは、処理が合理的に許容し得るよりも多くの特徴をもたらし得る。すなわち、モバイル電話のCPUの計算能力が限られているため、あまりにも多くの特徴を含む画像中のオブジェクトを検出することは、不可能ではないとしても難しい。
本明細書で開示する実施形態は、画像中の注目オブジェクトを認識する方法に関し得る。本方法は、画像内から特徴の第1のセットを抽出するステップと、特徴の第1のセットに含まれる各特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断するステップとを含み得る。本方法はまた、第1のセットから取り出される特徴の第2のセットを決定するステップを含み得、特徴の第2のセットに含まれるエッジ状の特徴の数が、特徴の第1のセットに含まれるブロブ状の特徴に対するエッジ状の特徴の相対数に基づく。本方法は、特徴の第2のセットに従って画像内に注目オブジェクトが存在するかどうかを判断するステップをさらに含み得る。
本明細書で開示する実施形態は、画像中の注目オブジェクトを認識するためのデバイスに関し得る。本デバイスは、画像内から特徴の第1のセットを抽出し、特徴の第1のセットに含まれる各特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断するための命令を含み得る。本デバイスはまた、第1のセットから取り出される特徴の第2のセットを決定するための命令を含み得、特徴の第2のセットに含まれるエッジ状の特徴の数が、特徴の第1のセットに含まれるブロブ状の特徴に対するエッジ状の特徴の相対数に基づく。本デバイスは、特徴の第2のセットに従って画像内に注目オブジェクトが存在するかどうかを判断するための命令をさらに含み得る。
本明細書で開示する実施形態は、画像中の注目オブジェクトを認識するためのプログラムコードを記憶したコンピュータ可読媒体に関し得る。本媒体は、画像内から特徴の第1のセットを抽出するためのコードと、特徴の第1のセットに含まれる各特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断するためのコードとを含み得る。本媒体はまた、第1のセットから取り出される特徴の第2のセットを決定するためのコードを含み得、特徴の第2のセットに含まれるエッジ状の特徴の数が、特徴の第1のセットに含まれるブロブ状の特徴に対するエッジ状の特徴の相対数に基づく。本媒体は、特徴の第2のセットに従って画像内に注目オブジェクトが存在するかどうかを判断するためのコードをさらに含み得る。
本明細書で開示する実施形態は、画像中の注目オブジェクトを認識するための装置に関し得る。本装置は、画像内から特徴の第1のセットを抽出するための手段と、特徴の第1のセットに含まれる各特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断するための手段とを含み得る。本装置はまた、第1のセットから取り出される特徴の第2のセットを決定するための手段を含み得、特徴の第2のセットに含まれるエッジ状の特徴の数が、特徴の第1のセットに含まれるブロブ状の特徴に対するエッジ状の特徴の相対数に基づく。本装置は、特徴の第2のセットに従って画像内に注目オブジェクトが存在するかどうかを判断するための手段をさらに含み得る。
本開示の上記および他の態様、目的、および特徴は、添付の図面に関連して与えられる、様々な実施形態の以下の説明から明らかになるであろう。
本発明の非限定的かつ非網羅的な実施形態について、以下の図面を参照して説明する。図面において、別段に規定されていない限り、様々な図を通じて同様の参照番号は同様の部分を指す。
一実施形態における、ブロブ状の特徴およびエッジ状の特徴を示す図である。 多数のブロブ状の特徴および多数のエッジ状の特徴を含む例示的な特徴豊かな画像である。 あるとしても少数のブロブ状の特徴を含む例示的な特徴豊かではない画像である。 一実施形態における、画像中の注目オブジェクトを認識するプロセスを示すフローチャートである。 別の実施形態における、画像中の注目オブジェクトを認識するプロセスを示すフローチャートである。 一実施形態における、抽出された特徴をブロブ状またはエッジ状のいずれかに分類するプロセスを示すフローチャートである。 一実施形態における、因子αを計算するためにエッジ-ブロブ比rに適用される例示的な関数f()を示す図である。 一実施形態における、画像のグリッドソーティングを示す図である。 本明細書で説明するプロセスを実行することが可能な例示的なモバイルプラットフォームの機能ブロック図である。 例示的なオブジェクト認識システムの機能ブロック図である。
本明細書全体を通して「一実施形態」、「ある実施形態」、「一例」、または「ある例」への参照は、実施形態または例に関連して説明される特定の特徴、構造、または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な箇所における「一実施形態では」、または「ある実施形態では」という語句の出現は、必ずしもすべて同じ実施形態を指すわけではない。さらに、特定の特徴、構造、または特性は、1つまたは複数の実施形態において任意の適切な方法で組み合わせられ得る。本明細書に記載の任意の例または実施形態は、他の例または実施形態よりも好ましい、または有利であると解釈されるべきではない。
一実施形態では、モバイルプラットフォームまたはデバイスは、まずオブジェクトのデジタル画像をキャプチャまたは受信することによって、リアルタイムでターゲットオブジェクトを検出する。たとえば、モバイルプラットフォームに統合されたカメラがデジタル画像をキャプチャすることがあり、または画像が別個のプラットフォームによってキャプチャされ、本明細書で説明するように処理するためにモバイルプラットフォームに送られることがある。次いで特徴の第1のセットが、デジタル画像内から抽出される。一例では、特徴抽出は、スケール不変特徴量変換(SIFT)アルゴリズムなどの、ラプラシアンオブガウシアン(LoG)またはガウシアン差分(DoG)ベースの特徴検出器を適用することを含む。他の実施形態では、特徴は、加速セグメントテスト(FAST)、効率的高密度記述子(efficient dense descriptor)(DAISY)、または他のアルゴリズムからの特徴に従って判断され得る。特徴は、注目点または「キーポイント」、および注目点を囲む領域の記述を含み得る。記述は、特徴の「ブロブネス(blobness)」、すなわち、特徴がよりブロブ状であるか、それともエッジ状であるかを判断するために使用され得る。図1は、2つの例示的な特徴である、ブロブ状の特徴102およびエッジ状の特徴104を示す。図1に示すように、ブロブ状の特徴はより円形であるものと見なされ得、エッジ状の特徴はより楕円形である。一例では、特徴ごとにヘッセ行列式の固有値が計算される。最小固有値に対する最大固有値の比は、特徴のブロブネスの尺度として使用され得る。たとえば、固有値比(E_RATIO)は、次のように式1に従って計算され得る。
Figure 0006306274
したがって、図1に示すように、特徴102は、固有値λ1および固有値λ2を含み、固有値比は1(1.0)にほぼ等しい。固有値比が1.0に近いほど、特徴はよりブロブ状である。反対に、固有値比が1を上回る程度が大きくなるほど、特徴はよりエッジ状である。たとえば、特徴104は、1.0をはるかに上回る固有値比を有し、したがって、エッジ状の特徴と見なされる。
したがって、本発明の実施形態は、抽出された各特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断することを含む。一実施形態では、固有値比がしきい値と比較され得る。一実施形態では、しきい値は、1.0を上回る固定しきい値であり得る。他の実施形態では、しきい値は、画像、画像のセット、または他のデータに基づく動的しきい値であり得る。たとえば、マルチプルパスシステムは、すべての特徴について固有値を計算し得る。エッジ状の特徴およびブロブ状の特徴の固有値間の間隔が検出され得、間隔のエリア(area of separation)に従ってしきい値が決定され得る。しきい値の動的更新の異なる例では、明確な間隔をもたらす値が、以前使用されたしきい値とともに加重値として使用され得る。固有値比がしきい値よりも小さい特徴は、ブロブ状であると判断され、固有値比がしきい値よりも大きい特徴は、エッジ状であると判断される。
特徴がエッジ状またはブロブ状のいずれかに分類されると、エッジ-ブロブ比が計算される。すなわち、ブロブ状の特徴の数Nblobに対するエッジ状の特徴の数Nedgeの比(r)が、次のように計算される。
Figure 0006306274
エッジ-ブロブ比(r)は、さらなる処理のために維持すべきエッジ状の特徴の数を決定するために使用される。一例では、エッジ状の特徴の相対数が大きいほど、維持される抽出されたエッジ状の特徴の割合は大きい。同様に、エッジ状の特徴の相対数が小さいほど、維持される抽出されたエッジ状の特徴の割合は小さい。
このプロセスにより、画像の豊かさに基づいてオブジェクトの検出において可変数のエッジ状の特徴を使用することが可能になる。たとえば、図2Aは、多数のブロブ状の特徴および多数のエッジ状の特徴を含む特徴豊かな画像202を示す。図2Aの画像202は、ターゲットオブジェクト(すなわち、ヒョウ)を効果的かつ効率的に検出するために、ブロブ状の特徴を十分含んでいて、エッジ状の特徴がほとんど必要とされない。画像202などの画像の計算されたエッジ-ブロブ比rは、1.0未満ではなくても、1.0に近いことがある。したがって、抽出されたエッジ状の特徴のすべてではないにしても多数が処分されて、さらなるオブジェクト検出に使用されないことがある。
対照的に、図2Bは、特徴豊かではない画像203を示し、画像203は、あるとしても極めて少ないブロブ状の特徴を含む。一方、画像203は、多数のエッジ状の特徴を含む。したがって、エッジ-ブロブ比は非常に高い(たとえば、4.0以上)ことがある。この場合、抽出されたエッジ状の特徴のかなりの割合が、ターゲットオブジェクト(すなわち、身障者ロゴ)の検出において使用するために保持される。
図3は、一実施形態における、画像中の注目オブジェクトを認識するプロセス300を示すフローチャートである。プロセス300は、プロセスブロック305において始まり、画像内から特徴の第1のセットを抽出する。たとえば、特徴抽出は、特徴の第1のセットを抽出するために、LoGまたはDoGベースの特徴検出器を画像に適用することを含む。上記で紹介したように、いくつかの実施形態では、この特徴検出器は、SIFT、FAST、DAISY、または他の特徴検出アルゴリズムとともに決定され得る。
プロセス300は、次いでブロック310において、特徴の第1のセットに含まれる各特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断する。特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断することは、特徴の第1の固有値および第2の固有値を計算することと、第2の固有値に対する第1の固有値の比を計算することと、比をしきい値と比較することとを含み得る。
プロセス300は、次いでブロック315において、第1のセットから取り出される特徴の第2のセットを決定し、特徴の第2のセットに含まれるエッジ状の特徴の数が、特徴の第1のセットに含まれるブロブ状の特徴に対するエッジ状の特徴の相対数に基づく。特徴の第2のセットに含まれるエッジ状の特徴の数は、特徴の第1のセットに含まれるブロブ状の特徴の数に対するエッジ状の特徴の数の比の関数であり得る。いくつかの実施形態では、関数は、比が下限しきい値を下回るときに、特徴の第2のセットに含まれるエッジ状の特徴の数がゼロであり、比が上限しきい値を上回るときに、第1のセットのエッジ状の特徴がすべて第2のセットに含まれるような区分的関数(piecewise function)である。特徴の第2のセットに含まれるエッジ状の特徴の数は、比が下限しきい値と上限しきい値との間にあるときに、線形的に増加し得る。たとえば、下限しきい値および上限しきい値の範囲内の値で比が上昇するのに伴って線形的に増加する。特徴の第2のセットを判断することに関するさらなる詳細は、図4に関して以下でより詳細に説明する。
プロセス300は、次いでブロック320において、特徴の第2のセットに従って画像内に注目オブジェクトが存在するかどうかを判断する。注目オブジェクトが存在するかどうかを判断することは、特徴の第2のセットを使用して特徴データベースに照会することを含み得る。いくつかの実施形態では、プロセス300は、画像を複数の領域に区分し、特徴の第2のセットが複数の領域の間で分散されるように、特徴の第2のセットに含まれるべき特徴を第1のセットから選択する。いくつかの実施形態では、画像がカメラによりキャプチャされ、プロセス300は、画像に注目オブジェクトがあるとの判断に応答して、カメラのポーズを更新する。
図4は、別の実施形態における、画像中の注目オブジェクトを認識するプロセス400を示すフローチャートである。プロセス400は、プロセスブロック405において始まり、プロセスブロック405は、注目オブジェクトを含むこと、または含まないことがあるデジタル画像をキャプチャまたはさもなければ収集することを含む。一実施形態では、デジタル画像が、プロセス400を実行するプラットフォームまたはデバイスによってキャプチャされる。他の実施形態では、デジタル画像は、外部プラットフォームまたはデバイスによって生成され、プロセス400を実行するプラットフォームに送られるか、または当該プラットフォームによって受信される。たとえば、プロセス400は、別個に実装されたカメラから受信された画像の処理および表示を行うプラットフォームまたはデバイスによって実行され得る。次いで、プロセスブロック410は、画像から特徴の第1のセットを抽出することを含む。上述のように、特徴の第1のセットは、SIFT、FAST、DAISY、または他のアルゴリズムを利用することによって抽出され得る。次に、プロセスブロック415において、第1のセットの抽出された特徴は、ブロブ状またはエッジ状のいずれかに分類される。
図5は、抽出された特徴をブロブ状またはエッジ状のいずれかに分類する例示的なプロセス500を示すフローチャートである。プロセス500は、図4の処理ブロック415の1つの可能な実装形態である。プロセスブロック505では、第1のセットの抽出された特徴のうちの1つが選択される。次に、プロセスブロック510では、選択された特徴について固有値比(E_RATIO)が計算される。上述のように、固有値比を計算することは、まず、選択された特徴についてヘッセ行列式の固有値を計算し、次いで式1により固有値比を計算することを含み得る。決定ブロック515は次いで、計算された固有値比をしきい値と比較する。一実施形態では、比は固定であり、1.0よりも大きい。計算された固有値比がしきい値よりも小さい場合、プロセスブロック520は、選択された特徴をブロブ状に分類する。一方、計算された固有値比がしきい値よりも大きい場合、プロセスブロック525は、選択された特徴をエッジ状に分類する。
選択された特徴が分類されると、プロセス500は決定ブロック530に進み、分類が完了しているかどうかを判断する。一実施形態では、第1のセットの抽出された特徴の各々が分類されている場合、分類は完了している。そうである場合、プロセス500はブロック535で完了する。一方、決定ブロック530において、分類すべき抽出された特徴が残っていると判断された場合、プロセス500はプロセスブロック505に戻り、次の抽出された特徴が分類のために選択される。
プロセス500の代替または追加として、抽出された特徴を分類するためのプロセスは、抽出された特徴ごとに固有値比を計算し、次いで特徴を、それらの計算された固有値比に基づいて、順序正しく(たとえば、リスト)ソートすることを含み得る。したがって、ブロブ状の特徴は、ソートされたリストにおける、固有値比がしきい値を下回る特徴すべてであり得、エッジ状の特徴は、固有値比がしきい値を上回る特徴である。
次に図4のプロセス400に戻ると、プロセスブロック415が特徴をエッジ状またはブロブ状に分類し、次いでプロセスブロック420は、エッジ-ブロブ比を計算する。すなわち、ブロブ状の特徴の数Nblobに対するエッジ状の特徴の数Nedgeの比(r)が計算される。一実施形態では、エッジ-ブロブ比rは、上の式2に基づいて計算される。次いでプロセスブロック425は、エッジ-ブロブ比rに基づいて因子αを決定することを含む。因子αは、ターゲットオブジェクトの検出を試みる際にさらなる処理のために維持されるべき抽出されたエッジ状の特徴のパーセンテージを表す。
図6は、因子αを計算するためにエッジ-ブロブ比rに適用される例示的な関数f()を示す。図6に示すように、関数f(r)は区分的関数であり得る。すなわち、αは次のように計算され得る。
Figure 0006306274
式中、THLOWERは下限しきい値であり、THUPPERは上限しきい値である。一実施形態では、THLOWERは1.0にほぼ等しく、THUPPERは4.0にほぼ等しい。
したがって、図6に示すように、エッジ-ブロブ比rが下限しきい値THLOWERよりも小さい(すなわち、画像が、多数のブロブ状の特徴を有する特徴豊かなものである)場合、αはゼロ(すなわち、0.0%)であり、抽出されたエッジ状の特徴のいずれも、後続のオブジェクト検出において使用されない。反対に、エッジ-ブロブ比rが上限しきい値THUPPERよりも大きい場合、αは1.0(すなわち、100%)であり、抽出されたエッジ状の特徴のすべてが保持される。しきい値の間で、αは比rの上昇に伴って増加する。図6は、比rがしきい値の間にあるときにαが曲線に従って増加することを示す。一実施形態では、αは、比rが上限しきい値THUPPERに向かって上昇するのに伴って二次的に増加する。別の実施形態では、αは、比rがしきい値の間にあるときに線形的に増加する(すなわち、αはrに比例する)。
再び図4のプロセス400に戻ると、上記で説明したように、因子αが決定されると、プロセスブロック430は、第1のセットからいくつかのエッジ状の特徴を取り出し、それらを特徴の第2のセットに追加する。特徴の第2のセットに追加すべきエッジ状の特徴の数は、計算された因子αによって決定され、因子αと抽出されたエッジ状の特徴の数との積(すなわち、α・Nedge)として計算され得る。
次に、プロセスブロック435は、特徴の第2のセットにいくつかのブロブ状の特徴を追加することを含む。一実施形態では、抽出されたブロブ状の特徴のすべてが追加される。したがって、抽出された第1のセットから取り出されるべき、特徴の第2のセットに含まれるべき特徴の総数NTOTは、次のように表され得る。
NTOT=Nblob +α・Nedge 式4
一実施形態では、最低固有値比を有するエッジ状の特徴が、特徴の第2のセットに追加されるエッジ状の特徴である。したがって、より高い固有値比を有するα・Nedgeを上回る抽出されたエッジ状の特徴(すなわち、大部分のエッジ状の特徴)は処分されて、さらに使用されないことがある。
次に、プロセス400は、グリッドソーティングの随意のプロセスブロック440を含む。一実施形態では、使用すべき特徴の最大数が、設定可能なNMAX値に従って定められる。たとえば、いくつかの特徴ベースの検出システムは、利用可能な処理時間、およびシステムの所望の応答時間のうちの1つまたは複数に基づいて、割り振られる特徴バジェット(すなわち、NMAX値)を決定する。したがって、図7に示すように、画像702が、いくつかの領域704に区分され得、特徴の最大数NMAXに達するまで特徴706が複数の領域の間で分散されるように、特徴の第2のセットに含まれる選択される特徴が選択される。図7は、16個の領域に区分された画像702を示すが、画像702は、本開示の実施形態による、2以上を含む任意の数の領域に区分され得る。
次に、プロセス400のプロセスブロック445において、特徴の第2のセットを使用して特徴データベースが照会される。データベースに記憶されている特徴は、知られているターゲットオブジェクトのサンプル画像を撮影することによって、実行時前に構築されている。少なくとも、第2のセットの抽出された特徴のいくつかがデータベースに記憶された特徴と合致する場合、画像において注目オブジェクトが検出されていると判断される。一実施形態では、次いでカメラポーズが更新され得る。
図8は、本明細書に記載のプロセスを実行することが可能なモバイルプラットフォーム800の機能ブロック図である。一実施形態では、モバイルプラットフォーム800は、図3のプロセス300、図4のプロセス400、および図5のプロセス500などの、本明細書で説明するプロセスを使用したオブジェクト認識が可能なコンピュータである。モバイルプラットフォーム800は、カメラ802、ならびにディスプレイ822を含む任意のユーザインターフェース806を任意で含み得る。ディスプレイ822は、カメラ802によってキャプチャされた画像、または他のソースから受信された画像を表示することが可能である。ユーザインターフェース806はまた、キーパッド824、またはユーザが情報をモバイルプラットフォーム800に入力できる他の入力デバイスを含み得る。必要に応じて、キーパッド824は、タッチセンサ付きディスプレイ822に仮想キーパッドを統合することによって除去され得る。ユーザインターフェース806はまた、マイクロフォン826とスピーカ828とを含み得る。
モバイルプラットフォーム800はまた、カメラ802およびユーザインターフェース806(存在する場合)に接続され、またそれらと通信する、制御ユニット804を含む。制御ユニット804は、カメラ802から、および/またはネットワークアダプタ816から受信された画像を受け入れて、処理する。制御ユニット804は、処理ユニット808および関連メモリ814、ハードウェア810、ソフトウェア815、ならびにファームウェア812によって提供され得る。
制御ユニット804は、たとえば、必要に応じてディスプレイ822に所望のデータをレンダリングするためのゲームエンジンであり得る、グラフィックスエンジン820をさらに含み得る。処理ユニット808およびグラフィックスエンジン820は、明確にするために別々に示されているが、単一のユニットでもよく、かつ/または、処理ユニット808内で実行されているソフトウェア815内の命令に基づいて処理ユニット808に実装されてもよい。処理ユニット808、ならびにグラフィックスエンジン820は、必ずしも必要ないが、1つまたは複数のマイクロプロセッサ、組込みプロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得る。プロセッサおよび処理ユニットという用語は、特定のハードウェアではなくシステムによって実装される機能を説明する。さらに、本明細書で使用されるように、「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォーム800に関連付けられる他のメモリを含む、任意のタイプのコンピュータ記憶媒体を指し、任意の特定のタイプまたは数のメモリや、メモリが記憶されるタイプの媒体に限定されない。
プロセス300、400および500を含む本明細書に記載のプロセスは、用途に応じて様々な手段によって実装され得る。たとえば、これらのプロセスは、ハードウェア810、ファームウェア812、ソフトウェア815、またはそれらの任意の組合せで実装され得る。ハードウェア実装形態の場合、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載の機能を実行するように設計された他の電子ユニット、またはそれらの組合せ内に実装され得る。
ファームウェアおよび/またはソフトウェア実装形態の場合、プロセスは、本明細書に記載の機能を実行するモジュール(たとえば、プロシージャ、関数など)で実装され得る。命令を具体的に実施する任意のコンピュータ可読媒体は、本明細書に記載のプロセスを実装する際に使用され得る。たとえば、プログラムコードはメモリ814に記憶されて、処理ユニット808によって実行され得る。メモリは、処理ユニット808内に実装されてもよく、処理ユニット808の外部に実装されてもよい。
ファームウェアおよび/またはソフトウェアで実装される場合、機能は、コンピュータ可読媒体上に1つまたは複数の命令またはコードとして記憶されてもよい。この例には、データ構造により符号化された非一時的コンピュータ可読媒体、およびコンピュータプログラムにより符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体には、物理的コンピュータ記憶媒体が含まれる。記憶媒体は、コンピュータによってアクセスされ得る任意の入手可能な媒体であり得る。例として、限定はしないが、そのようなコンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するために使用され得、またコンピュータからアクセスされ得る他の任意の媒体を備え得、本明細書で使用する場合、ディスク(disk)およびディスク(disc)には、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピーディスク、およびブルーレイディスクが含まれ、ディスク(disk)は通常、データを磁気的に再生し、一方、ディスク(disc)はデータをレーザによって光学的に再生する。前記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
図9は、オブジェクト認識システム900の機能ブロック図である。図示されるように、オブジェクト認識システム900は、特徴データベース912との比較によって識別されるべきオブジェクト914の画像をキャプチャすることが可能なカメラ(現在の図には示されていない)を含む、例示的なモバイルプラットフォーム902を含む。
モバイルプラットフォーム902は、カメラによってキャプチャされた画像または別のソースから受信された画像を表示するためのディスプレイを含み得る。モバイルプラットフォーム902はまた、たとえば、衛星ビークル906、あるいはセルラータワー904またはワイヤレス通信アクセスポイント905を含む、位置を決定するための任意の他の適切なソースを含む、衛星測位システム(SPS)からの信号を使用してその緯度および経度を決定することに基づいて、航法のために使用され得る。モバイルプラットフォーム902はまた、モバイルプラットフォーム902の方位を決定するために使用され得る、デジタルコンパス、加速度計、またはジャイロスコープなどの、方位センサを含み得る。
本明細書で使用するモバイルプラットフォームは、セルラーまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナル航法デバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくは航法位置決め信号などの航法信号を受信することができる他の適したモバイルデバイスなどのデバイスを指す。「モバイルプラットフォーム」という用語は、衛星信号受信、支援データ受信、および/または位置関連処理がデバイスで発生するかパーソナル航法デバイス(PND)で発生するかにかかわらず、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、PNDと通信するデバイスを含むことも意図する。また、「モバイルプラットフォーム」は、インターネット、Wi-Fi、または他のネットワークを介するなどしてサーバと通信することが可能である、また、衛星信号受信、支援データ受信、および/または位置関連処理が、デバイスで、サーバで、またはネットワークに関連付けられる別のデバイスで発生するかにかかわらず、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含む、すべてのデバイスを含むことを意図する。さらに、「モバイルプラットフォーム」は、拡張現実(AR)、仮想現実(VR)、および/または複合現実(MR)アプリケーションが可能なすべての電子デバイスも含み得る。上記の任意の動作可能な組合せも「モバイルプラットフォーム」と考えられる。
衛星測位システム(SPS)は通常、エンティティが送信機から受信された信号に少なくとも部分的に基づいて地球上または地球の上方のエンティティの位置を判定するのを可能にするように位置する送信機のシステムを含む。そのような送信機は通常、設定された数のチップの繰返し擬似ランダム雑音(PN)コードでマークされた信号を送信し、地上ベースの制御局、ユーザ機器、および/または宇宙船上に位置してよい。特定の例では、そのような送信機は、地球周回衛星ビークル(SV)906に配置され得る。たとえば、全地球測位システム(GPS)、ガリレオ、グロナス、またはコンパスなどの全地球的航法衛星システム(GNSS)のコンステレーション内のSVは、コンステレーション内の他のSVによって送信されたPNコードから区別可能なPNコードでマークされた信号(たとえば、GPSにおけるように衛星ごとに異なるPNコードを使用するか、グロナスにおけるように異なる周波数上で同じコードを使用して)を送信することができる。
特定の態様によれば、本明細書に提示された技術はSPS用のグローバルシステム(たとえば、GNSS)に制限されない。たとえば、本明細書で提供する技術は、たとえば、日本の準天頂衛星システム(QZSS)、インドのインド地域航法衛星システム(IRNSS)、中国の北斗などのような様々な地域システム、ならびに/または、1つもしくは複数の全地球および/もしくは地域航法衛星システムと関連し得る、または場合によってはこれらとともに使用できるようにされ得る、様々な補強システム(たとえば、静止衛星型衛星航法補強システム(SBAS))に対して適用されてもよく、またはそれらのシステムにおいて使用できるようにされてもよい。限定ではなく例として、SBASは、広域補強システム(WAAS)、欧州静止衛星航法オーバーレイサービス(EGNOS)、多機能衛星補強システム(MSAS)、GPS支援静止補強ナビゲーションまたはGPSおよび静止補強ナビゲーションシステム(GAGAN)、ならびに/または同様のものなどの、完全性情報、微分補正などを提供する補強システムを含み得る。したがって、本明細書で使用する場合、SPSは1つもしくは複数の全地球および/もしくは地域航法衛星システムならびに/または補強システムの任意の組合せを含み得、またSPS信号はSPS信号、SPS様信号、および/またはそのような1つもしくは複数のSPSに関連する他の信号を含み得る。
位置決定技法は、セルラータワー904を含む、およびワイヤレス通信アクセスポイント905からの、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などの様々なワイヤレス通信ネットワークとともに実装され得るので、モバイルプラットフォーム902は位置決定のためのSPSでの使用に限定されない。さらに、モバイルプラットフォーム902は、セルラータワー904を介して、およびワイヤレス通信アクセスポイント905からの、様々なワイヤレス通信ネットワークを使用して、または、必要であれば衛星ビークル906を使用して、データベース912から参照画像および参照特徴などのデータを取得するために、1つまたは複数のサーバ908にアクセスすることができる。「ネットワーク」および「システム」という用語は、しばしば互換可能に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE)などであり得る。CDMAネットワークは、cdma2000、Wideband-CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装し得る。cdma2000は、IS-95、IS-2000、およびIS-856標準を含む。TDMAネットワークは、汎欧州デジタル移動電話方式(GSM(登録商標):Global System for Mobile Communications)、デジタル高度移動電話システム(D-AMPS:Digital Advanced Mobile Phone System)、または他の何らかのRATを実装し得る。GSM(登録商標)およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称のコンソーシアムからの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名前のコンソーシアムからの文書に記載されている。3GPP文書および3GPP2文書は、公に入手可能である。WLANは、IEEE 802.11xネットワークとすることができ、WPANは、Bluetooth(登録商標)ネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークとすることができる。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せとともに実施することができる。
図9に示されるように、システム900は、特徴データベース912との比較によって識別されるべきオブジェクト914の画像をキャプチャするモバイルプラットフォーム902を含む。図示されるように、モバイルプラットフォーム902は、たとえばセルラータワー904またはワイヤレス通信アクセスポイント905を介して、サーバ908に結合されたワイヤレスワイドエリアネットワーク(WWAN)などのネットワーク910にアクセスすることができ、サーバ908は、ターゲットオブジェクトおよびそれらの画像に関連する情報を記憶するデータベース912に接続されている。図9は1つのサーバ908を示しているが、複数のサーバ、ならびに複数のデータベース912が使用され得ることが理解されるべきである。モバイルプラットフォーム902は、サーバ908からデータベース912のうちの少なくとも一部分を取得して、ダウンロードされたデータをモバイルプラットフォーム902内のローカルデータベースに記憶することによって、図9に示されるように、オブジェクト検出自体を実行し得る。いくつかの実施形態では、モバイルプラットフォーム902は、サーバ908からデータベース912の代替または追加としてローカル特徴データベースを維持する。サーバ908から取得されたデータベースの一部分は、モバイルプラットフォームの測位システムによって決定されたモバイルプラットフォームの地理的位置に基づき得る。さらに、サーバ908から取得されたデータベースの一部分は、モバイルプラットフォーム902上のデータベースを必要とする具体的な適用例に依存し得る。モバイルプラットフォーム902は、プロセス400において上述したようにキャプチャされたクエリ画像から特徴を抽出して、第2のセットの特徴を、ローカルデータベースに記憶された特徴と照合し得る。クエリ画像は、カメラからのプレビューフレーム内の画像でもよく、カメラによってキャプチャされた画像でもよく、ビデオシーケンスから抽出されたフレームでもよい。オブジェクト検出は、クエリ特徴ごとに決定された信頼レベルに少なくとも部分的に基づき得、次いで異常値の除去に使用され得る。モバイルプラットフォームの地理的位置に基づいてデータベース912のわずかな部分をダウンロードすることと、モバイルプラットフォーム902上でオブジェクト検出を
実行することとによって、ネットワーク遅延の問題を回避することができ、オーバーザエア(OTA)帯域幅の使用量が、クライアント(すなわち、モバイルプラットフォーム)側のメモリ要件とともに減少される。しかしながら、クエリ画像自体またはクエリ画像から抽出された特徴のいずれかが、モバイルプラットフォーム902によってサーバ908に提供される場合、必要に応じて、オブジェクト検出はサーバ908(または他のサーバ)によって実行され得る。
処理ブロックのうちのいくつかまたはすべてが上述の各プロセスに表示される順序は、限定されるべきではない。むしろ、本開示の利益を有する当業者は、処理ブロックのうちのいくつかは、示されていない様々な順序で実行され得ることを理解するであろう。
当業者は、本明細書に開示された実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、エンジン、回路、およびアルゴリズムステップは、電子ハードウェアもしくは装置、コンピュータソフトウェア、または両方の組合せとして実装され得ることをさらに理解するであろう。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、エンジン、回路、およびステップが、上では概してそれらの機能に関して説明された。そのような機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装決定は本発明の範囲からの逸脱を引き起こすものと解釈されるべきではない。
本明細書に開示された実施形態への様々な修正が当業者には容易に明らかになり、本明細書で定義された一般原理は、本発明の趣旨または範囲から逸脱することなしに他の実施形態に適用され得る。したがって、本発明は、本明細書に示される実施形態に限定されることが意図されるものではなく、本明細書に開示された原理および新規の特徴に矛盾しない最も広い範囲を与えられるべきである。
102 ブロブ状の特徴、特徴
104 エッジ状の特徴、特徴
202 画像
203 画像
300 プロセス
400 プロセス
500 プロセス
702 画像
704 領域
706 特徴
800 モバイルプラットフォーム
802 カメラ
804 制御ユニット
806 ユーザインターフェース
808 処理ユニット
810 ハードウェア
812 ファームウェア
814 メモリ
815 ソフトウェア
816 ネットワークアダプタ
820 グラフィックスエンジン
822 ディスプレイ
824 キーパッド
826 マイクロフォン
828 スピーカ
900 オブジェクト認識システム
902 モバイルプラットフォーム
904 セルラータワー
905 ワイヤレス通信アクセスポイント
906 衛星ビークル、地球周回衛星ビークル(SV)
908 サーバ
910 ネットワーク
912 特徴データベース、データベース
914 オブジェクト

Claims (30)

  1. 画像中の注目オブジェクトを認識するコンピュータ実装方法であって、
    前記画像内から特徴の第1のセットを抽出するステップと、
    特徴の前記第1のセットに含まれる各特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断するステップと、
    特徴の前記第1のセットから取り出される特徴の第2のセットを決定するステップであって、特徴の前記第2のセットに含まれる前記エッジ状の特徴の数が、特徴の前記第1のセットに含まれるブロブ状の特徴に対するエッジ状の特徴の比に基づく、ステップと、
    特徴の前記第2のセットに従って前記画像中に前記注目オブジェクトがあるかどうかを判断するステップと
    を含む、コンピュータ実装方法。
  2. 前記画像中に前記注目オブジェクトがあるかどうかを判断するステップは、特徴の前記第2のセットを使用して特徴データベースに照会するステップを含む、請求項1に記載のコンピュータ実装方法。
  3. 前記画像内から特徴の前記第1のセットを抽出するステップは、スケール不変特徴量変換(SIFT)アルゴリズムを前記画像に適用するステップを含む、請求項1に記載のコンピュータ実装方法。
  4. 特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断するステップは、
    前記特徴の第1の固有値および第2の固有値を計算するステップと、
    前記第2の固有値に対する前記第1の固有値の比を計算するステップと、
    前記比をしきい値と比較するステップと
    を含む、請求項1に記載のコンピュータ実装方法。
  5. 特徴の前記第2のセットに含まれる前記エッジ状の特徴の前記数は、特徴の前記第1のセットに含まれるブロブ状の特徴の数に対するエッジ状の特徴の数の比の関数である、請求項1に記載のコンピュータ実装方法。
  6. 前記関数は、前記比が下限しきい値を下回るときに、特徴の前記第2のセットに含まれる前記エッジ状の特徴の前記数がゼロであり、前記比が上限しきい値を上回るときに、前記第1のセットの前記エッジ状の特徴がすべて前記第2のセットに含まれるような区分的関数である、請求項5に記載のコンピュータ実装方法。
  7. 特徴の前記第2のセットに含まれるエッジ状の特徴の前記数は、前記比が前記下限しきい値と前記上限しきい値との間にあるときに、線形的に増加する、請求項6に記載のコンピュータ実装方法。
  8. 前記画像を複数の領域に区分するステップと、
    特徴の前記第2のセットが前記複数の領域の間で分散されるように、特徴の前記第2のセットに含まれるべき前記特徴を前記第1のセットから選択するステップと
    をさらに含む、請求項1に記載のコンピュータ実装方法。
  9. カメラにより前記画像をキャプチャするステップと、
    前記画像中に前記注目オブジェクトがあるとの判断に応答して、前記カメラのポーズを更新するステップと
    をさらに含む、請求項1に記載のコンピュータ実装方法。
  10. 画像中の注目オブジェクトを認識するためのデバイスであって、
    キャプチャされた前記画像中の注目オブジェクトを認識するためのプログラムコードを記憶するように適合されたメモリと、
    前記メモリに接続された少なくとも1つの処理ユニットとを備え、前記プログラムコードは、前記少なくとも1つの処理ユニットに、
    前記画像内から特徴の第1のセットを抽出することと、
    特徴の前記第1のセットに含まれる各特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断することと、
    特徴の前記第1のセットから取り出される特徴の第2のセットを決定することであって、特徴の前記第2のセットに含まれる前記エッジ状の特徴の数が、特徴の前記第1のセットに含まれるブロブ状の特徴に対するエッジ状の特徴の比に基づく、決定することと、
    特徴の前記第2のセットに従って前記画像中に前記注目オブジェクトがあるかどうかを判断することと
    を行わせるように構成される、デバイス。
  11. 前記画像中に前記注目オブジェクトがあるかどうかを判断するための命令は、特徴の前記第2のセットを使用して特徴データベースに照会することを含む、請求項10に記載のデバイス。
  12. 前記画像内から特徴の前記第1のセットを抽出するための命令は、スケール不変特徴量変換(SIFT)アルゴリズムを前記画像に適用する命令を含む、請求項10に記載のデバイス。
  13. 特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断するための命令は、
    前記特徴の第1の固有値および第2の固有値を計算することと、
    前記第2の固有値に対する前記第1の固有値の比を計算することと、
    前記比をしきい値と比較することと
    を行うための命令を含む、請求項10に記載のデバイス。
  14. 特徴の前記第2のセットに含まれる前記エッジ状の特徴の前記数は、特徴の前記第1のセットに含まれるブロブ状の特徴の数に対するエッジ状の特徴の数の比の関数である、請求項10に記載のデバイス。
  15. 前記関数は、前記比が下限しきい値を下回るときに、特徴の前記第2のセットに含まれる前記エッジ状の特徴の前記数がゼロであり、前記比が上限しきい値を上回るときに、前記第1のセットの前記エッジ状の特徴がすべて前記第2のセットに含まれるような区分的関数である、請求項14に記載のデバイス。
  16. 特徴の前記第2のセットに含まれるエッジ状の特徴の前記数は、前記比が前記下限しきい値と前記上限しきい値との間にあるときに、前記比の上昇に伴って増加する、請求項15に記載のデバイス。
  17. 前記プログラムコードは、
    前記画像を複数の領域に区分することと、
    特徴の前記第2のセットが前記複数の領域の間で分散されるように、特徴の前記第2のセットに含まれるべき前記特徴を前記第1のセットから選択することと
    を行うための命令をさらに含む、請求項10に記載のデバイス。
  18. 前記プログラムコードは、
    カメラにより前記画像をキャプチャすることと、
    前記画像中に前記注目オブジェクトがあるとの判断に応答して、前記カメラのポーズを更新することと
    を行うための命令をさらに含む、請求項10に記載のデバイス。
  19. 画像中の注目オブジェクトを認識するためのプログラムコードを記憶したコンピュータ可読記憶媒体であって、前記プログラムコードは、
    前記画像内から特徴の第1のセットを抽出することと、
    特徴の前記第1のセットに含まれる各特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断することと、
    特徴の前記第1のセットから取り出される特徴の第2のセットを決定することであって、特徴の前記第2のセットに含まれる前記エッジ状の特徴の数が、特徴の前記第1のセットに含まれるブロブ状の特徴に対するエッジ状の特徴の比に基づく、決定することと、
    特徴の前記第2のセットに従って前記画像中に前記注目オブジェクトがあるかどうかを判断することと
    を行うための命令を含む、コンピュータ可読記憶媒体。
  20. 前記画像中に前記注目オブジェクトがあるかどうかを判断するための命令は、特徴の前記第2のセットを使用して特徴データベースに照会することを含み、前記画像内から特徴の前記第1のセットを抽出するための命令は、スケール不変特徴量変換(SIFT)アルゴリズムを前記画像に適用することを含む、請求項19に記載のコンピュータ可読記憶媒体。
  21. 特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断するための命令は、
    前記特徴の第1の固有値および第2の固有値を計算することと、
    前記第2の固有値に対する前記第1の固有値の比を計算することと、
    前記比をしきい値と比較することと
    を行うための命令を含む、請求項19に記載のコンピュータ可読記憶媒体。
  22. 特徴の前記第2のセットに含まれる前記エッジ状の特徴の前記数は、特徴の前記第1のセットに含まれるブロブ状の特徴の数に対するエッジ状の特徴の数の比の関数である、請求項19に記載のコンピュータ可読記憶媒体。
  23. 前記関数は、前記比が下限しきい値を下回るときに、特徴の前記第2のセットに含まれる前記エッジ状の特徴の前記数がゼロであり、前記比が上限しきい値を上回るときに、前記第1のセットの前記エッジ状の特徴がすべて前記第2のセットに含まれるような区分的関数である、請求項22に記載のコンピュータ可読記憶媒体。
  24. 前記画像を複数の領域に区分することと、
    特徴の前記第2のセットが前記複数の領域の間で分散されるように、特徴の前記第2のセットに含まれるべき前記特徴を前記第1のセットから選択することと
    を行う命令をさらに含む、請求項19に記載のコンピュータ可読記憶媒体。
  25. 画像中の注目オブジェクトを認識するための装置であって、
    前記画像内から特徴の第1のセットを抽出するための手段と、
    特徴の前記第1のセットに含まれる各特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断するための手段と、
    特徴の前記第1のセットから取り出される特徴の第2のセットを決定するための手段であって、特徴の前記第2のセットに含まれる前記エッジ状の特徴の数が、特徴の前記第1のセットに含まれるブロブ状の特徴に対するエッジ状の特徴の比に基づく、手段と、
    特徴の前記第2のセットに従って前記画像中に前記注目オブジェクトがあるかどうかを判断するための手段と
    を備える装置。
  26. 前記画像中に前記注目オブジェクトがあるかどうかを判断するための前記手段は、特徴の前記第2のセットを使用して特徴データベースに照会することを含み、前記画像内から特徴の前記第1のセットを抽出するための前記手段は、スケール不変特徴量変換(SIFT)アルゴリズムを前記画像に適用することを含む、請求項25に記載の装置。
  27. 特徴がブロブ状の特徴であるか、それともエッジ状の特徴であるかを判断するための前記手段は、
    前記特徴の第1の固有値および第2の固有値を計算するための手段と、
    前記第2の固有値に対する前記第1の固有値の比を計算するための手段と、
    前記比をしきい値と比較するための手段と
    を含む、請求項25に記載の装置。
  28. 関数は、前記比が下限しきい値を下回るときに、特徴の前記第2のセットに含まれる前記エッジ状の特徴の前記数がゼロであり、前記比が上限しきい値を上回るときに、前記第1のセットの前記エッジ状の特徴がすべて前記第2のセットに含まれるような区分的関数である、請求項25に記載の装置。
  29. 特徴の前記第2のセットに含まれる前記エッジ状の特徴の前記数は、前記比が前記下限しきい値と前記上限しきい値との間にあるときに、線形的に増加する、請求項28に記載の装置。
  30. 前記画像を複数の領域に区分するための手段と、
    特徴の前記第2のセットが前記複数の領域の間で分散されるように、特徴の前記第2のセットに含まれるべき前記特徴を前記第1のセットから選択するための手段と
    をさらに備える、請求項25に記載の装置。
JP2017542851A 2015-02-18 2016-02-16 オブジェクト検出中の適応的なエッジ状の特徴の選択 Expired - Fee Related JP6306274B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/625,588 2015-02-18
US14/625,588 US9684831B2 (en) 2015-02-18 2015-02-18 Adaptive edge-like feature selection during object detection
PCT/US2016/018097 WO2016133916A1 (en) 2015-02-18 2016-02-16 Adaptive edge-like feature selection during object detection

Publications (2)

Publication Number Publication Date
JP6306274B1 true JP6306274B1 (ja) 2018-04-04
JP2018511858A JP2018511858A (ja) 2018-04-26

Family

ID=55587334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017542851A Expired - Fee Related JP6306274B1 (ja) 2015-02-18 2016-02-16 オブジェクト検出中の適応的なエッジ状の特徴の選択

Country Status (5)

Country Link
US (1) US9684831B2 (ja)
EP (1) EP3259707A1 (ja)
JP (1) JP6306274B1 (ja)
CN (1) CN107209859A (ja)
WO (1) WO2016133916A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101991498B1 (ko) 2014-12-12 2019-06-20 에이에스엠엘 네델란즈 비.브이. 기판 모델 파라미터를 계산하고 리소그래피 처리를 제어하기 위한 방법 및 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181058B2 (en) 1999-12-13 2007-02-20 Gsi Group, Inc. Method and system for inspecting electronic components mounted on printed circuit boards
US7068828B2 (en) * 2001-11-29 2006-06-27 Gaiagene Inc. Biochip image analysis system and method thereof
US7146057B2 (en) 2002-07-10 2006-12-05 Northrop Grumman Corporation System and method for image analysis using a chaincode
US7116823B2 (en) 2002-07-10 2006-10-03 Northrop Grumman Corporation System and method for analyzing a contour of an image by applying a Sobel operator thereto
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
ATE515282T1 (de) * 2006-07-15 2011-07-15 Novo Nordisk As Medizinisches abgabesystem mit flexiblem blockierelement
US7831098B2 (en) 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
CN101359372B (zh) * 2008-09-26 2011-05-11 腾讯科技（深圳）有限公司 分类器的训练方法及装置、识别敏感图片的方法及装置
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8358855B2 (en) 2009-07-08 2013-01-22 Honeywell International Inc. Determining probabilities from compared covariance appearance models to detect objects of interest in images
JP5291605B2 (ja) * 2009-12-04 2013-09-18 日本放送協会 カメラ姿勢推定装置およびカメラ姿勢推定プログラム
CN101751559B (zh) * 2009-12-31 2012-12-12 中国科学院计算技术研究所 人脸皮肤斑痣点检测及利用皮肤斑痣识别人脸的方法
US8861864B2 (en) 2010-03-11 2014-10-14 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors
US8509526B2 (en) * 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
CN103003843B (zh) * 2010-05-28 2016-08-03 高通股份有限公司 用于跟踪具有动态变化部分的目标的数据集创建
US20120092329A1 (en) * 2010-10-13 2012-04-19 Qualcomm Incorporated Text-based 3d augmented reality
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
WO2013100779A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Generalized robust multichannel feature detector
US9986208B2 (en) * 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
TWI485632B (zh) * 2012-02-24 2015-05-21 Htc Corp 影像校準方法及影像校準系統
US9224200B2 (en) * 2012-04-27 2015-12-29 Parasite Technologies A/S Computer vision based method for extracting features relating to the developmental stages of Trichuris spp. eggs
EP2677464B1 (en) * 2012-05-16 2018-05-02 IMEC vzw Feature detection in numeric data

Also Published As

Publication number Publication date
CN107209859A (zh) 2017-09-26
US9684831B2 (en) 2017-06-20
EP3259707A1 (en) 2017-12-27
JP2018511858A (ja) 2018-04-26
US20160239708A1 (en) 2016-08-18
WO2016133916A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
US11263475B2 (en) Incremental learning for dynamic feature database management in an object recognition system
JP6144828B2 (ja) 動的に構築された環境地図データに基づくオブジェクト追跡
US9811731B2 (en) Dynamic extension of map data for object detection and tracking
US9633447B2 (en) Adaptable framework for cloud assisted augmented reality
US9031283B2 (en) Sensor-aided wide-area localization on mobile devices
US20120011119A1 (en) Object recognition system with database pruning and querying
US20120011142A1 (en) Feedback to improve object recognition
US20150095360A1 (en) Multiview pruning of feature database for object recognition system
JP2018513493A (ja) ポーズ決定のための非マッチング特徴に基づく視覚動き推定
JP6306274B1 (ja) オブジェクト検出中の適応的なエッジ状の特徴の選択
US9870514B2 (en) Hypotheses line mapping and verification for 3D maps

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180307

R150 Certificate of patent or registration of utility model

Ref document number: 6306274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees