JP2017508197A - オブジェクト認識システムにおける動的な特徴データベース管理のためのインクリメンタル学習 - Google Patents

オブジェクト認識システムにおける動的な特徴データベース管理のためのインクリメンタル学習 Download PDF

Info

Publication number
JP2017508197A
JP2017508197A JP2016546789A JP2016546789A JP2017508197A JP 2017508197 A JP2017508197 A JP 2017508197A JP 2016546789 A JP2016546789 A JP 2016546789A JP 2016546789 A JP2016546789 A JP 2016546789A JP 2017508197 A JP2017508197 A JP 2017508197A
Authority
JP
Japan
Prior art keywords
feature
features
extracted
feature database
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016546789A
Other languages
English (en)
Other versions
JP2017508197A5 (ja
Inventor
ラグラマン・クリシュナムーティ
ボヤン・ヴルチェル
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2017508197A publication Critical patent/JP2017508197A/ja
Publication of JP2017508197A5 publication Critical patent/JP2017508197A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Abstract

知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを動的に更新する方法は、画像を提供するステップと、キャプチャされた画像内から特徴の第1のセットを抽出するステップと、特徴の第1のセットと特徴データベースに記憶された特徴とを比較するステップとを含む。ターゲットオブジェクトが画像内に存在すると決定されると、特徴データベース内にまだ含まれていない第1のセットの抽出された特徴のうちの少なくとも1つが、特徴データベースに追加される。

Description

本開示は、一般にコンピュータビジョンベースのオブジェクト認識アプリケーションに関し、具体的には、排他的にではないが、特徴データベース管理に関する。
モバイル電話または他のモバイルプラットフォーム上で拡張現実(AR)を可能にするための課題は、オブジェクトをリアルタイムに検出して追跡する問題である。ARアプリケーションのためのオブジェクト検出には、非常に厳しい要件がある。それは、完全な6自由度を提供し、所与の座標系に対して絶対的な測定値を与え、非常に堅牢であり、リアルタイムに実行しなければならない。興味深いのは、コンピュータビジョン(CV)ベースの手法を使用して、カメラポーズを計算する方法であり、その方法は、カメラの視野内のオブジェクトを第1に検出すること、続いてそれを追跡することに依存する。一態様では、検出動作は、それらの特徴と、現実世界のオブジェクトに対応する、知られている特徴のデータベースとが比較されるように、デジタル画像内に含まれる特徴のセットを検出することを含む。特徴は、その領域を取り巻くエリアと比較して明るさや色などの特性の点で異なる、デジタル画像内の領域を指すことができる。一態様では、特徴は、いくつかの特性が一定である、または所定の値の範囲内で変動する、デジタル画像の領域である。
次いで、現実世界のオブジェクトが画像内に存在するかどうかを決定するために、抽出された特徴と、特徴データベース内に含まれる、知られている特徴とが比較される。したがって、視覚ベースのARシステムの動作における重要な要素は、特徴データベースの構成である。多くのシステムでは、特徴データベースは、様々な知られている視点から、知られているターゲットオブジェクトの複数のサンプル画像を撮影することによって、実行時前に構築されている。次いで、これらのサンプル画像から特徴が抽出されて、特徴データベースに追加される。しかしながら、一旦特徴データベースが作成されると、データベース内に含まれる特徴は静的なままであり、したがって、そのようなデータベースを使用するシステムの検出性能も静的なままである。
本開示の一態様によれば、知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを動的に更新する方法は、画像を提供するステップと、提供された画像内から特徴の第1のセットを抽出するステップと、特徴の第1のセットと特徴データベースに記憶された特徴とを比較するステップとを含む。ターゲットオブジェクトが画像内に存在すると決定されると、特徴データベース内にまだ含まれていない第1のセットの抽出された特徴のうちの少なくとも1つが、特徴データベースに追加される。
本開示の上記および他の態様、目的、ならびに特徴は、添付の図面に関連して与えられる、様々な実施形態の以下の説明から明らかになるであろう。
本発明の非限定的かつ非網羅的な実施形態を、以下の図面を参照して説明する。図面において、特に他に規定がない限り、様々な図を通じて同様の参照番号は同様の部分を指す。
特徴データベースを動的に更新するプロセスを示す流れ図である。 特徴データベースに追加されるべき候補特徴に基づいて、特徴データベースを統合するプロセスを示す流れ図である。 本明細書に記載のプロセスを実行することが可能なモバイルプラットフォームの機能ブロック図である。 オブジェクト認識システムの機能ブロック図である。
本明細書全体を通して「一実施形態」、「ある実施形態」、「一例」、または「ある例」への参照は、実施形態または例に関連して説明される特定の特徴、構造、または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な箇所における「一実施形態では」、または「ある実施形態では」という語句の出現は、必ずしもすべて同じ実施形態を指すわけではない。さらに、特定の特徴、構造、または特性は、1つまたは複数の実施形態において任意の適切な方法で組み合わせられ得る。本明細書に記載の任意の例または実施形態は、他の例または実施形態よりも好ましい、または有利であると解釈されるべきではない。
図1は、オブジェクト認識システムに含まれる特徴データベースを動的に更新するプロセス100を示す流れ図である。まず、処理ブロック105で、画像が提供される。たとえば、カメラ(図3のカメラ302など)を含むモバイルプラットフォームなどのデバイスは、オブジェクトのデジタル画像をキャプチャして、キャプチャされた画像を提供する。他の実施形態では、画像は、誰が、またはどのように画像がキャプチャされたかを参照せずに提供される。次いで、処理ブロック110は、提供されたデジタル画像内から特徴の第1のセットを抽出するステップを含む。一例では、特徴抽出は、特徴の第1のセットを抽出するために、スケール不変特徴量変換(SIFT)アルゴリズムなどの、ラプラシアンオブガウシアン(LoG)またはガウシアン差分(DoG)ベースの特徴検出器を、画像に適用するステップを含む。特徴は、関心のある点または「キーポイント」、および関心点を囲む領域の記述を含み得る。
次に、処理ブロック115で、特徴データベースは、抽出された特徴の第1のセットを使用して照会される。データベースに記憶されている特徴は、知られているターゲットオブジェクトのサンプル画像を撮影することによって、実行時前に構築されている。特徴データベースを照会するステップは、抽出された特徴の第1のセットのうちの少なくともいくつかが、データベースに記憶された特徴と一致するかどうかを決定するために、抽出された特徴と、特徴データベースに記憶された特徴とを比較するステップを含み得る。決定ブロック120は、提供された画像内でターゲットオブジェクトが成功裏に検出されたかどうかを決定するステップを含む。ポストジオメトリ内座層(post-geometry inliers)の数が第1のしきい値を上回る場合、また、それらの内座層間の最大再投影誤差が第2のしきい値を下回る場合、ターゲットオブジェクトの成功した検出が決定され得る。もちろん、本開示の教示に従って、他の知られている特徴ベースの検出方法が実装され得る。検出が成功しなかった場合、プロセス100はブロック160で終了する。しかしながら、決定ブロック120において、ターゲットオブジェクトの成功した検出が識別されると、プロセス100は処理ブロック125に進み、特徴データベースを更新するプロセスが開始される。一実施形態では、カメラポーズは、オブジェクトの検出が成功したときに更新され得る。
次に、処理ブロック125で、特徴の第2のセットが形成される。特徴の第2のセットは、特徴データベース内にまだ含まれていない第1のセットの抽出された特徴を含む。一実施形態では、特徴の第2のセットは、処理ブロック115で特徴データベースが照会されたときに対応関係が見出されなかった第1のセットのそれらの特徴を含む。第2のセットにどのような特徴も含まれていない(すなわち、第1のセットのすべての特徴について対応関係が見出された)場合、プロセス100はブロック160に進み得、プロセス100は終了する。代替実施形態では、以下でより詳細に説明するように、それらが後続の剪定プロセスで使用されるように、特徴の第2のセットは、関心のあるオブジェクトに属することが知られているすべての抽出された特徴を含む。次いで、処理ブロック130は、特徴データベースにその特徴を追加するかどうかを決定するために、第2のセットから特徴のうちの1つを選択するステップを含む。しかしながら、すべての抽出された特徴を特徴データベースに単に追加するのではなく、プロセス100は、データベースのサイズを制限して、追加されたそれらの特徴が連続検出の試みを支援することを確実にするために、どの特徴を特徴データベースに追加するかという点で選択的であり得る。
したがって、決定ブロック135は、選択された特徴にスコアを割り当てるステップと、そのスコアとスコアしきい値とを比較するステップとを含み得る。スコアが十分に高くない場合、選択された特徴は特徴データベースに追加されず、プロセス100は決定ブロック155にスキップする。一実施形態では、選択された特徴のスコアは、曲率の局所尺度、および/またはコーナー強度の尺度などの、特徴のある態様に基づく。別の実施形態では、選択された特徴のスコアは、特徴の「ブロブネス(blobness)」の尺度、すなわち、特徴がよりブロブ状であるか、またはエッジ状であるかであり得る。ブロブ状の特徴はより円形であるものと見なされ得、エッジ状の特徴はより楕円形である。この例を続けると、選択された特徴についてヘッセ行列の固有値が計算される。最小固有値に対する最大固有値の比は、特徴のブロブネスの尺度(すなわち、スコア)として使用され得る。たとえば、固有値の比(E_RATIO)は、次のように式1に従って計算され得る。
決定ブロック135で、選択された特徴のスコアが十分に高いと決定されると、決定ブロック140は、選択された特徴がターゲットオブジェクトに属するかどうかを決定する。抽出された特徴がターゲットオブジェクトに属するかどうかを決定するステップは、オブジェクト座標におけるそれらの抽出された特徴の位置(すなわち、ターゲットオブジェクトの他の知られている特徴に対する特徴の位置)を決定するステップを含み得る。抽出された特徴の位置を決定するステップは、画像座標内の特徴の知られている位置、知られているオブジェクトモデル(すなわち、特徴データベース)、および計算されたカメラポーズ(すなわち、ターゲットオブジェクトに対するカメラの位置および向き)に基づき得る。抽出された特徴は、オブジェクト座標におけるそれの位置がターゲットオブジェクト上にある場合、ターゲットオブジェクトに「属する」。抽出された特徴の測定された深度と、知られているカメラポーズとを含む代替ソリューション、または知られている背景特性に基づく代替オブジェクト区分化技法が可能である。
決定ブロック140で、選択された特徴はターゲットオブジェクトに属さないと決定されると、選択された特徴は特徴データベースに追加されず、プロセス100は決定ブロック155に進む。次に、決定ブロック145は、選択された特徴が、特徴データベース内にすでに含まれている特徴とは十分に異なるかどうかを決定するステップを含む。一実施形態では、選択された特徴のキーポイント位置が、すでに特徴データベース内にあるキーポイント位置としきい値位置量だけ異なる場合、選択された特徴は特徴データベース内の特徴とは異なる。選択された特徴はまた、選択された特徴の記述子が、特徴データベース内にすでにある記述子としきい値記述子量だけ異なる場合、特徴データベース内の特徴とは異なる場合がある。一実施形態では、特徴量データベースに追加するためにターゲットオブジェクトのすべての特徴が考慮されるように、しきい値位置量、しきい値記述子量のいずれか、またはその両方がゼロに設定され得る。選択された特徴が特徴データベース内にすでに含まれている特徴とは十分に異なると決定されると、処理ブロック150は、選択された特徴を特徴データベースに追加する。図1は、選択された特徴を特徴データベースに追加するための3つの基準(すなわち、特徴のスコアに基づいて、選択された特徴がターゲットオブジェクトに属しているかどうかに基づいて、および選択された特徴が特徴データベース内の特徴とは十分に異なるかどうかを決定するステップに基づいて)を示しているが、3つのすべての基準がプロセス100の各実装形態において実装される必要はない。たとえば、一実施形態では、プロセス100は、選択された特徴を特徴データベースに追加するかどうかを決定するために、選択された特徴のスコアがスコアしきい値よりも大きいかどうかを決定するステップだけを含み得る。別の例では、プロセス100は、決定ブロック140および145を含み得、決定ブロック135は含まない。
一旦選択された特徴が特徴データベースに追加されると、特徴データベースの更新が完了したかどうかを決定するために、プロセス100は決定ブロック155に進む。一実施形態では、特徴の第2のセットにおける特徴の各々が特徴データベースに追加するために考慮された場合、特徴データベースの更新が完了する。完了しない場合、第2のセットから次の特徴を選択するために、およびそれを特徴データベースに追加するかどうかを決定するために、プロセス100は処理ブロック130に戻る。プロセス100はブロック160で完了する。
したがって、本開示の実施形態は、同じターゲットオブジェクトの連続的な検出でオブジェクト検出性能を動的に向上させることを含む。提案されるプロセスは、深層学習またはニューラルネットワーク方法を含まず、したがって処理オーバーヘッドを減少させる。したがって、本明細書に記載されたプロセスは、まだ含まれていない抽出された特徴を特徴データベースに追加することによってターゲットオブジェクトが成功裏に検出されるたびに、ターゲットオブジェクトをより検出可能にすることができる。特徴データベースがクラウドベースであり、複数のユーザ間で共有される一実施形態では、特徴データベースの成功した検出および更新は、余分な労力なしに、彼らの利益になるように、すべてのユーザに利益をもたらし得る。
上述のように、特徴データベースを動的に更新する実施形態は、特徴データベースのサイズを減少(または維持)するために、特徴統合のプロセスとさらに組み合わせることができる。本明細書に記載の実施形態は、知られているオブジェクトのマルチビューのサンプル画像から抽出された同様の特徴を剪定することによって生成されたオブジェクト認識/検出のための特徴データベースを提供する。一般に、候補特徴は特徴データベース内に含まれる特徴と比較されて、次いでそこから同様の特徴のグループを表す派生特徴が生成されて、データベースに記憶される。次いで、同様の特徴のグループは、廃棄(すなわち、剪定)され得る。したがって、データベースは、管理不能なデータベースサイズを有する同様の特徴を含む問題を回避する。たとえば、図2は、特徴データベースに追加されるべき候補特徴に基づいて、特徴データベースを統合するプロセス200を示す流れ図である。
図示されるように、処理ブロック205はまず、特徴データベースに追加されるべき候補特徴を選択するステップを含む。一実施形態では、候補特徴は、プロセス100の処理ブロック150において特徴データベースに追加されるべき特徴の第2のセットから抽出された特徴である。次に、処理ブロック210において、この候補特徴に基づいて特徴の第3のセットが決定される。たとえば、処理ブロック210は、候補特徴の記述子と類似する記述子と、候補特徴のキーポイント位置と近接するキーポイント位置との両方を含む特徴を見つけるために、特徴データベースを調べるステップを含み得る。これらの一致した特徴は、次いで特徴の第3のセットに追加される。
一実施形態では、記述子は、1つの視点(画像)からキーポイントの発生を説明するL次元ベクトルである。したがって、2つの記述子の差(それ自体はL次元ベクトルである)が、ノルム/大きさの点で小さい場合、2つの記述子は類似している。したがって、処理ブロック210は、1つの記述子を別の記述子から減算して、結果と記述子距離しきい値とを比較することによって、2つの記述子が類似しているかどうかを決定するステップを含み得る(たとえば、|f1-fi|<descthであり、descthは記述子距離しきい値である)。キーポイント位置が近接しているかどうかを決定することは、キーポイント位置があらかじめ定義(または、設定)された座標系による(x,y,z)座標の3次元ベクトルであること以外は、上記と類似している(たとえば、|k1-ki|<dkptthであり、dkptthはキーポイント距離しきい値である)。
したがって、特徴の第3のセットは、その記述子が候補特徴の記述子と類似しており、また、そのキーポイント位置が候補特徴のキーポイント位置と近接している特徴のセットである。一実施形態では、特徴の第3のセットは候補特徴を含む。一旦特徴のこの第3のセットが決定されると、決定ブロック215および220は、候補特徴が再現可能および区別可能の両方かどうかを決定する。特徴の再現性は、同じ(または類似の)特徴が観察される視点の数を指し、一例では、単に特徴の第3のセットに含まれる特徴の数であり得る。一実施形態では、候補特徴の再現性を決定することは、候補特徴のキーポイント位置が複数の異なる視点から観察可能であるかどうかを決定することを含み、観察可能である場合、候補特徴のキーポイント位置が、候補特徴の記述と類似した記述子によって記述される視点の数を決定する。視点の数のこの決定は、候補特徴のキーポイント位置の分析、ならびに近接して位置するキーポイント(たとえば、キーポイント距離しきい値dkptth内)を含む点に留意されたい。したがって、再現性は、同じまたは近接して位置するキーポイントの類似の観察の数を数えることによって決定され得る。言い換えれば、異なるが、本質的に同じ場所に配置されているキーポイントに接続された類似の記述子は、同じキーポイントの2つの観測として数える。一旦定量化されると、次いで、候補特徴の再現性と固定再現性しきい値とが比較され得る(ri>rth?)。
特徴の区別性は、候補特徴とデータベース内にすでに含まれている他の特徴とを区別する能力を指す。一例では、区別性は、第3のセット内の特徴の数と、類似の記述子を有するデータベース内のすべての特徴の数との比として定量化され得る。候補特徴の区別性を決定することは、候補特徴のキーポイント位置(または、近接して位置するキーポイント)が、候補特徴の記述子と類似の記述子によって記述される、視点の第1の数を決定することを含み得る。次いで、キーポイント位置にかかわらず、候補特徴の記述子と類似する記述子を有する特徴データベース内のすべての特徴の第2の数が決定される。次いで、区別性は、この第1の数と第2の数との間の比として表され得る。一実施形態では、候補特徴の区別性が十分に高いかどうかを決定するために、区別性と、固定区別性しきい値とが比較される(di>dth?)。
決定ブロック220で、選択された特徴は区別可能ではないと決定される場合(たとえば、di<dth)、これは、区別性が低いため、候補特徴は特徴データベースに追加されるべきではないことを示している。決定ブロック215で、選択された特徴は再現可能ではないと決定される場合(たとえば、ri<rth)、これは、再現性が低いため、候補特徴は特徴データベースに追加されるべきではないことを示している。一実施形態では、再現性および/または区別性が低すぎる場合、特徴データベース内にすでに存在する同様の特徴が除去され得る。
しかしながら、候補特徴が再現可能および区別可能の両方であると決定されると、プロセス200は処理ブロック225に進み、少なくとも1つの派生特徴が生成されて、特徴データベースに追加される。派生特徴は特徴の第3のセットを表し、一例では、第3のセットに含まれる記述子の平均値である記述子を含み得る。
一例では、派生特徴は、第3のセットに含まれるすべての特徴を表す単一の特徴である。別の例では、処理ブロック225は、候補特徴のためのM数の派生特徴を生成するステップを含み、M数の派生特徴は、第3のセットの特徴をM数のクラスタにまとめて、次いでクラスタの中心を取ることによって生成される。
一旦派生特徴がデータベースに追加されると、次いで、第3のセットの特徴は廃棄され得る(すなわち、処理ブロック230)。一実施形態では、特徴を廃棄するステップは、それらを特徴データベースから除去するステップを含む。
図3は、本明細書に記載のプロセスを実行することが可能なモバイルプラットフォーム300の機能ブロック図である。一実施形態では、モバイルプラットフォーム300は、オブジェクト認識、および図1のプロセス100などのプロセスを用いた特徴データベース更新が可能なコンピュータである。たとえば、モバイルプラットフォーム300は、任意で、図1の処理ブロック105を参照して説明したような画像をキャプチャして提供するためのカメラ302を含み得る。モバイルプラットフォーム300はまた、カメラ302によってキャプチャされた画像を表示することが可能なディスプレイ322を含む、オプションのユーザインターフェース306を含み得る。ユーザインターフェース306はまた、キーパッド324、またはユーザが情報をモバイルプラットフォーム300に入力できる他の入力デバイスを含み得る。必要に応じて、キーパッド324は、タッチセンサ付きディスプレイ322に仮想キーパッドを統合することによって除去され得る。ユーザインターフェース306はまた、マイクロフォン326とスピーカ328とを含み得る。
モバイルプラットフォーム300はまた、カメラ302に接続され、カメラ302と通信する制御ユニット304と、存在する場合にはユーザインターフェース306とを含む。制御ユニット304は、カメラ302から、および/またはネットワークアダプタ316から受信された画像を受け入れて、処理する。制御ユニット304は、処理ユニット308および関連メモリ314、ハードウェア310、ソフトウェア315、ならびにファームウェア312によって提供され得る。
制御ユニット304は、たとえば、必要に応じてディスプレイ322に所望のデータをレンダリングするためのゲームエンジンであり得る、グラフィックスエンジン320をさらに含み得る。処理ユニット308およびグラフィックスエンジン320は、明確にするために別々に示されているが、単一のユニットでもよく、および/または、処理ユニット308内で実行されているソフトウェア315内の命令に基づいて処理ユニット308に実装されてもよい。処理ユニット308、ならびにグラフィックスエンジン320は、必ずしも必要ないが、1つまたは複数のマイクロプロセッサ、組込みプロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得る。プロセッサおよび処理ユニットという用語は、特定のハードウェアではなくシステムによって実装される機能を説明する。さらに、本明細書で使用されるように、「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォーム300に関連付けられる他のメモリを含む、任意のタイプのコンピュータ記憶媒体を指し、任意の特定のタイプまたは数のメモリや、メモリが記憶されるタイプの媒体に限定されない。
プロセス100および200を含む本明細書に記載のプロセスは、用途に応じて様々な手段によって実装され得る。たとえば、これらのプロセスは、ハードウェア310、ファームウェア312、ソフトウェア315、またはそれらの任意の組合せに実装され得る。ハードウェア実装形態の場合、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載の機能を実行するように設計された他の電子ユニット、またはこれらの組合せ内に実装され得る。
ファームウェアおよび/またはソフトウェア実装形態の場合、プロセスは、本明細書に記載の機能を実行するモジュール(たとえば、プロシージャ、関数等)で実装され得る。命令を具体的に実施する任意のコンピュータ可読媒体は、本明細書に記載のプロセスを実装する際に使用され得る。たとえば、プログラムコードはメモリ315に記憶されて、処理ユニット308によって実行され得る。メモリは、処理ユニット308内に実装されてもよく、処理ユニット308内の外部に実装されてもよい。
ファームウェアおよび/またはソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶され得る。例としては、データ構造で符号化された非一時的コンピュータ可読媒体、およびコンピュータプログラムで符号化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。例として、限定するものではないが、そのようなコンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは命令またはデータ構造の形式で所望のプログラムコードを記憶するために使用され得る、およびコンピュータによってアクセスされ得る、他の任意の媒体を備え得る。ディスク(disk)およびディスク(disc)は、本明細書で使用される場合、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスクおよびブルーレイディスクを含み、ディスク(disk)は通常データを磁気的に再生し、ディスク(disc)はレーザを用いて光学的にデータを再生する。前記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
図4は、オブジェクト認識システム400の機能ブロック図である。図示されるように、オブジェクト認識システム400は、特徴データベース412との比較によって識別されるべきオブジェクト414の画像をキャプチャすることが可能なカメラ(現在の図には示されていない)を含む、例示的なモバイルプラットフォーム402を含む。
モバイルプラットフォーム402は、カメラによってキャプチャされた画像を表示するためのディスプレイを含み得る。モバイルプラットフォーム402はまた、たとえば、衛星ビークル406、あるいはセルラータワー404またはワイヤレス通信アクセスポイント405を含む、位置を決定するための他の任意の適切なソースを含む、衛星測位システム(SPS)からの信号を使用してその緯度および経度を決定することに基づいて、航法のために使用され得る。モバイルプラットフォーム402はまた、モバイルプラットフォーム402の方位を決定するために使用され得る、デジタルコンパス、加速度計、またはジャイロスコープなどの、方位センサを含み得る。
本明細書で使用するモバイルプラットフォームは、セルラーまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナル航法デバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくは航法位置決め信号などの航法信号を受信することができる他の適したモバイルデバイスなどのデバイスを指す。「モバイルプラットフォーム」という用語は、衛星信号受信、支援データ受信、および/または位置関連処理がデバイスで発生するかパーソナル航法デバイス(PND)で発生するかにかかわらず、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、PNDと通信するデバイスを含むことも意図する。また、「モバイルプラットフォーム」は、インターネット、Wi-Fi、または他のネットワークを介するなどしてサーバと通信することが可能である、および、衛星信号受信、支援データ受信、および/または位置関連処理が、デバイスで、サーバで、またはネットワークに関連付けられる別のデバイスで発生するかにかかわらず、ワイヤレス通信デバイス、コンピュータ、ラップトップ等を含む、すべてのデバイスを含むことを意図する。さらに、「モバイルプラットフォーム」は、拡張現実(AR)、仮想現実(VR)、および/または複合現実(MR)アプリケーションが可能なすべての電子デバイスも含み得る。上記の任意の動作可能な組合せも「モバイルプラットフォーム」と考えられる。
衛星測位システム(SPS)は、典型的に、エンティティが、送信機から受信された信号に少なくとも部分的に基づいて、地球上の、または地球上空のそれらの位置を決定することを可能にするように配置された送信機のシステムを含む。そのような送信機は通常、設定された数のチップの繰返し擬似ランダム雑音(PN)コードでマークされた信号を送信し、地上ベースの制御局、ユーザ機器、および/または宇宙船上に位置してよい。特定の例では、そのような送信機は、地球周回衛星ビークル(SV)406に配置され得る。たとえば、全地球測位システム(GPS)、ガリレオ、グロナス、またはコンパスなどの全地球的航法衛星システム(GNSS)のコンステレーション内のSVは、コンステレーション内の他のSVによって送信されたPNコードから区別可能なPNコードでマークされた信号を送信することができる(たとえば、GPSにおけるように衛星ごとに異なるPNコードを使用するか、グロナスにおけるように異なる周波数上で同じコードを使用して)。
特定の態様によれば、本明細書に提示される技法は、SPSのためのグローバルシステム(たとえば、GNSS)に限定されない。たとえば、本明細書において提供される技法は、日本上空の準天頂衛星システム(QZSS)、インド上空のインド地域航法衛星システム(IRNSS)、中国上空の北斗等、ならびに/あるいは、1つまたは複数のグローバルおよび/または地域航法衛星システムに関連付けられ得る、あるいはそれらで使用するために可能にされ得る、様々な補強システム(たとえば、衛星ベースの補強システム(SBAS))などの様々な地域システムに適用されてもよく、様々な地域システムで使用するために可能にされてもよい。限定ではなく例として、SBASは、広域補強システム(WAAS)、欧州静止衛星航法オーバーレイサービス(EGNOS)、多機能衛星補強システム(MSAS)、GPS支援静止補強ナビゲーションまたはGPSおよび静止補強ナビゲーションシステム(GAGAN)、ならびに/または同様のものなどの、完全性情報、微分補正などを提供する補強システムを含み得る。したがって、本明細書で使用する場合、SPSは1つもしくは複数の全地球および/または地域航法衛星システムならびに/あるいは補強システムの任意の組合せを含み得、またSPS信号はSPS信号、SPS様信号、および/またはそのような1つもしくは複数のSPSに関連する他の信号を含み得る。
位置決定技法は、セルラータワー404を含む、およびワイヤレス通信アクセスポイント405からの、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などの様々なワイヤレス通信ネットワークとともに実装され得るので、モバイルプラットフォーム402は位置決定のためのSPSでの使用に限定されない。さらに、モバイルプラットフォーム402は、セルラータワー404を介して、およびワイヤレス通信アクセスポイント405からの、様々なワイヤレス通信ネットワークを使用して、または、必要であれば衛星ビークル406を使用して、データベース412から参照画像および参照特徴などのデータを取得するために、1つまたは複数のサーバ408にアクセスすることができる。「ネットワーク」および「システム」という用語は、しばしば互換可能に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE)などであり得る。CDMAネットワークは、cdma2000、Wideband-CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装し得る。cdma2000は、IS-95、IS-2000、およびIS-856標準を含む。TDMAネットワークは、グローバルシステムフォーモバイルコミュニケーションズ(GSM(登録商標))、デジタル先進移動電話システム(D-AMPS)、または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMA(登録商標)は、「第3世代パートナーシッププロジェクト」(3GPP)という名称のコンソーシアムからの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称のコンソーシアムからの文書に記載されている。3GPPおよび3GPP2文書は、公的に入手可能である。WLANは、IEEE 802.11xネットワークとすることができ、WPANは、Bluetooth(登録商標)ネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークとすることができる。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せとともに実施することができる。
図4に示されるように、システム400は、特徴データベース412との比較によって識別されるべきオブジェクト414の画像をキャプチャするモバイルプラットフォーム402を含む。図示されるように、モバイルプラットフォーム402は、たとえばセルラータワー404またはワイヤレス通信アクセスポイント405を介して、サーバ408に結合されたワイヤレスワイドエリアネットワーク(WWAN)などのネットワーク410にアクセスすることができ、サーバ408は、ターゲットオブジェクトおよびそれらの画像に関連する情報を記憶するデータベース412に接続されている。一実施形態では、モバイルプラットフォーム402は、ネットワーク410にアクセスするためのネットワークアダプタ(たとえば、図3のネットワークアダプタ316)を含む。図4は1つのサーバ408を示しているが、複数のサーバ、ならびに複数のデータベース412が使用され得ることが理解されるべきである。モバイルプラットフォーム402は、サーバ408からデータベース412の少なくとも一部を取得して、ダウンロードされたデータを、モバイルプラットフォーム402の内部のローカルデータベース(たとえば、図3のメモリ314および/またはファームウェア312)に記憶することによって、図4に示されるように、オブジェクト検出自体を実行することができる。サーバ408から取得されたデータベースの一部は、モバイルプラットフォームの測位システムによって決定されたモバイルプラットフォームの地理的位置に基づき得る。さらに、サーバ408から取得されたデータベースの一部は、モバイルプラットフォーム402上のデータベースを必要とする具体的な適用例に依存し得る。モバイルプラットフォーム402は、プロセス100に関して上述したように、キャプチャされたクエリ画像から特徴を抽出して、その特徴を特徴データベースに記憶されたそれらの特徴と一致させて、まだ特徴データベース内にない抽出された特徴で特徴データベースを更新することができる。クエリ画像は、カメラからのプレビューフレーム内の画像でもよく、カメラによってキャプチャされた画像でもよく、ビデオシーケンスから抽出されたフレームでもよい。オブジェクト検出は、クエリ特徴ごとに決定された信頼レベルに少なくとも部分的に基づき得、次いで異常値の除去に使用され得る。モバイルプラットフォームの地理的位置に基づいてデータベース412のわずかな部分をダウンロードすることと、モバイルプラットフォーム402上でオブジェクト検出を実行することとによって、ネットワーク遅延の問題を回避することができ、オーバーザエア(OTA)帯域幅の使用量が、クライアント(すなわち、モバイルプラットフォーム)側のメモリ要件とともに減少される。しかしながら、クエリ画像自体またはクエリ画像から抽出された特徴のいずれかが、モバイルプラットフォーム402によってサーバ408に提供される場合、必要に応じて、オブジェクト検出はサーバ408(または他のサーバ)によって実行され得る。
処理ブロックのうちのいくつかまたはすべてが上述の各プロセスに表示される順序は、限定されるべきではない。むしろ、本開示の利益を有する当業者は、処理ブロックのうちのいくつかは、示されていない様々な順序で実行され得ることを理解するであろう。
当業者は、本明細書に開示された実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、エンジン、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることをさらに理解するであろう。ハードウェアとソフトウェアとの、この互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、エンジン、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、システム全体に課される特定のアプリケーションおよび設計制約に依存する。当業者は、説明された機能を特定のアプリケーションごとに様々な方法で実施することができるが、そのような実装形態の決定は、本発明の範囲から逸脱させるものとして解釈されるべきではない。
本明細書に開示された実施形態への様々な修正が当業者には容易に明らかになり、本明細書で定義された一般原理は、本発明の趣旨または範囲から逸脱することなしに他の実施形態に適用され得る。したがって、本発明は、本明細書に示される実施形態に限定されることが意図されるものではなく、本明細書に開示された原理および新規の特徴に矛盾しない最も広い範囲を与えられるべきである。
100 プロセス
105 処理ブロック
110 処理ブロック
115 処理ブロック
120 決定ブロック
125 処理ブロック
135 決定ブロック
140 決定ブロック
155 決定ブロック
160 ブロック
200 プロセス
205 処理ブロック
210 処理ブロック
215 決定ブロック
220 決定ブロック
225 処理ブロック
230 処理ブロック
300 モバイルプラットフォーム
302 カメラ
304 制御ユニット
306 ユーザインターフェース
308 処理ユニット
310 ハードウェア
312 ファームウェア
314 関連メモリ
315 ソフトウェア
316 ネットワークアダプタ
320 グラフィックスエンジン
322 ディスプレイ
324 キーパッド
326 マイクロフォン
328 スピーカ
400 オブジェクト認識システム
402 モバイルプラットフォーム
404 セルラータワー
405 ワイヤレス通信アクセスポイント
406 地球周回衛星ビークル(SV)
408 サーバ
410 ネットワーク
412 特徴データベース
414 オブジェクト

Claims (25)

  1. 知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを動的に更新するコンピュータ実装方法であって、
    画像を提供するステップと、
    前記提供された画像から特徴の第1のセットを抽出するステップと、
    特徴の前記第1のセットと、前記特徴データベースに記憶された前記特徴とを比較するステップと、
    特徴の前記第1のセットに含まれる前記特徴のうちの少なくともいくつかが、前記特徴データベース内に含まれる前記特徴のうちの少なくともいくつかと相関するかどうかに基づいて、前記ターゲットオブジェクトが前記画像内に存在するかどうかを決定するステップと、相関する場合、
    前記特徴データベース内にまだ含まれていない前記第1のセットの前記抽出された特徴のうちの少なくとも1つを識別して、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加するステップと
    を備える、コンピュータ実装方法。
  2. 前記提供された画像内から特徴の前記第1のセットを抽出するステップが、スケール不変特徴量変換(SIFT)アルゴリズムを前記提供された画像に適用するステップを含む、請求項1に記載のコンピュータ実装方法。
  3. 前記少なくとも1つの抽出された特徴を前記特徴データベースに追加するステップが、前記少なくとも1つの特徴のスコアがスコアしきい値を超える場合、前記少なくとも1つの抽出された特徴だけを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
  4. 前記スコアが、曲率の局所尺度とコーナー強度の尺度とからなるグループから選択された前記抽出された特徴の態様に基づく、請求項3に記載のコンピュータ実装方法。
  5. 前記ターゲットオブジェクトが前記画像内に存在すると決定される場合、抽出された特徴が、前記ターゲットオブジェクトに属するかどうかを決定するステップをさらに備え、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加するステップが、前記抽出された特徴が前記ターゲットオブジェクトに属する場合、前記少なくとも1つの抽出された特徴だけを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
  6. 前記少なくとも1つの抽出された特徴を前記特徴データベースに追加するステップが、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる場合、前記少なくとも1つの抽出された特徴だけを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
  7. 前記少なくとも1つの抽出された特徴のキーポイント位置が、前記特徴データベース内のキーポイント位置とは第1のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項6に記載のコンピュータ実装方法。
  8. 前記少なくとも1つの抽出された特徴のキーポイント記述子が、前記特徴データベース内のキーポイント記述子とは第2のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項6に記載のコンピュータ実装方法。
  9. 知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを更新するためのプログラムコードを記憶したコンピュータ可読記憶媒体であって、前記プログラムコードが、
    提供された画像から特徴の第1のセットを抽出して、
    特徴の前記第1のセットと、前記特徴データベースに記憶された前記特徴とを比較して、
    特徴の前記第1のセットに含まれる前記特徴のうちの少なくともいくつかが、前記特徴データベース内に含まれる前記特徴のうちの少なくともいくつかと相関するかどうかに基づいて、前記ターゲットオブジェクトが前記画像内に存在するかどうかを決定して、相関する場合、
    前記特徴データベース内にまだ含まれていない前記第1のセットの前記抽出された特徴のうちの少なくとも1つを識別して、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する
    命令を備える、コンピュータ可読記憶媒体。
  10. 前記提供された画像内から特徴の前記第1のセットを抽出する前記命令が、スケール不変特徴量変換(SIFT)アルゴリズムを前記提供された画像に適用する命令を含む、請求項9に記載のコンピュータ可読記憶媒体。
  11. 前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記少なくとも1つの特徴のスコアがスコアしきい値を超える場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項9に記載のコンピュータ可読記憶媒体。
  12. 前記スコアが、曲率の局所尺度とコーナー強度の尺度とからなるグループから選択された前記抽出された特徴の態様に基づく、請求項11に記載のコンピュータ可読記憶媒体。
  13. 前記ターゲットオブジェクトが前記画像内に存在すると決定される場合、抽出された特徴が、前記ターゲットオブジェクトに属するかどうかを決定する命令をさらに備え、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記抽出された特徴が前記ターゲットオブジェクトに属する場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項9に記載のコンピュータ可読記憶媒体。
  14. 前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項9に記載のコンピュータ可読記憶媒体。
  15. 前記少なくとも1つの抽出された特徴のキーポイント位置が、前記特徴データベース内のキーポイント位置とは第1のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項14に記載のコンピュータ可読記憶媒体。
  16. 前記少なくとも1つの抽出された特徴のキーポイント記述子が、前記特徴データベース内のキーポイント記述子とは第2のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項14に記載のコンピュータ可読記憶媒体。
  17. 装置であって、
    知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを更新するためのプログラムコードを記憶するように適合されたメモリと、
    前記プログラムコードに含まれる命令にアクセスしてそれを実行するように適合された処理ユニットと
    を備え、前記命令が前記処理ユニットによって実行される場合、前記処理ユニットが前記装置に、
    カメラで画像をキャプチャして、
    前記キャプチャされた画像内から特徴の第1のセットを抽出して、
    特徴の前記第1のセットと、前記特徴データベースに記憶された前記特徴とを比較して、
    特徴の前記第1のセットに含まれる前記特徴のうちの少なくともいくつかが、前記特徴データベース内に含まれる前記特徴のうちの少なくともいくつかと相関するかどうかに基づいて、前記ターゲットオブジェクトが前記画像内に存在するかどうかを決定して、相関する場合、
    前記特徴データベース内にまだ含まれていない前記第1のセットの前記抽出された特徴のうちの少なくとも1つを識別して、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する
    ように指示する、装置。
  18. 前記キャプチャされた画像内から特徴の前記第1のセットを抽出する前記命令が、スケール不変特徴量変換(SIFT)アルゴリズムを前記キャプチャされた画像に適用する命令を含む、請求項17に記載の装置。
  19. 前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記少なくとも1つの特徴のスコアがスコアしきい値を超える場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項17に記載の装置。
  20. 前記スコアが、曲率の局所尺度とコーナー強度の尺度とからなるグループから選択された前記抽出された特徴の態様に基づく、請求項19に記載の装置。
  21. 前記装置に、前記ターゲットオブジェクトが前記画像内に存在すると決定される場合、抽出された特徴が、前記ターゲットオブジェクトに属するかどうかを決定するように指示する命令をさらに備え、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記抽出された特徴が前記ターゲットオブジェクトに属する場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項17に記載の装置。
  22. 前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項17に記載の装置。
  23. 前記少なくとも1つの抽出された特徴のキーポイント位置が、前記特徴データベース内のキーポイント位置とは第1のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項17に記載の装置。
  24. 前記少なくとも1つの抽出された特徴のキーポイント記述子が、前記特徴データベース内のキーポイント記述子とは第2のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項17に記載の装置。
  25. 前記キャプチャされた画像を取得するためのカメラをさらに備える、請求項17に記載の装置。
JP2016546789A 2014-01-28 2015-01-26 オブジェクト認識システムにおける動的な特徴データベース管理のためのインクリメンタル学習 Pending JP2017508197A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/166,620 2014-01-28
US14/166,620 US10083368B2 (en) 2014-01-28 2014-01-28 Incremental learning for dynamic feature database management in an object recognition system
PCT/US2015/012953 WO2015116545A1 (en) 2014-01-28 2015-01-26 Dynamically updating a feature database that contains features corresponding to a known target object

Publications (2)

Publication Number Publication Date
JP2017508197A true JP2017508197A (ja) 2017-03-23
JP2017508197A5 JP2017508197A5 (ja) 2018-02-22

Family

ID=52469327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016546789A Pending JP2017508197A (ja) 2014-01-28 2015-01-26 オブジェクト認識システムにおける動的な特徴データベース管理のためのインクリメンタル学習

Country Status (6)

Country Link
US (2) US10083368B2 (ja)
EP (1) EP3100210B1 (ja)
JP (1) JP2017508197A (ja)
KR (1) KR20160115932A (ja)
CN (1) CN105917361B (ja)
WO (1) WO2015116545A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965564B2 (en) 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
US20150095360A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Multiview pruning of feature database for object recognition system
US10083368B2 (en) 2014-01-28 2018-09-25 Qualcomm Incorporated Incremental learning for dynamic feature database management in an object recognition system
WO2015192246A1 (en) * 2014-06-19 2015-12-23 Bitlit Media Inc Method and system for identifying books on a bookshelf
US20160071319A1 (en) * 2014-09-09 2016-03-10 Schneider Electric It Corporation Method to use augumented reality to function as hmi display
US9965841B2 (en) 2016-02-29 2018-05-08 Schneider Electric USA, Inc. Monitoring system based on image analysis of photos
US10496694B2 (en) * 2016-03-21 2019-12-03 Hong Kong Applied Science and Technology Research Institute Company Limited Rating and advising for selection of augmented reality markers
US10853695B2 (en) 2016-06-30 2020-12-01 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell annotation with adaptive incremental learning
US10083369B2 (en) 2016-07-01 2018-09-25 Ricoh Company, Ltd. Active view planning by deep learning
CN106295660A (zh) * 2016-08-15 2017-01-04 厦门迈信物联科技股份有限公司 一种植物叶片精准特征数据提取方法
CN108228872A (zh) * 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 人脸图像去重方法和装置、电子设备、存储介质、程序
US11222081B2 (en) 2017-11-27 2022-01-11 Evoqua Water Technologies Llc Off-line electronic documentation solutions
US20200175384A1 (en) * 2018-11-30 2020-06-04 Samsung Electronics Co., Ltd. System and method for incremental learning
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
US11694088B2 (en) * 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11080558B2 (en) 2019-03-21 2021-08-03 International Business Machines Corporation System and method of incremental learning for object detection
CN110363150A (zh) * 2019-07-16 2019-10-22 深圳市商汤科技有限公司 数据更新方法及装置、电子设备和存储介质
US20210279606A1 (en) * 2020-03-09 2021-09-09 Samsung Electronics Co., Ltd. Automatic detection and association of new attributes with entities in knowledge bases
EP4184446A1 (en) * 2021-11-23 2023-05-24 Virnect Inc. Method and system for improving target detection performance through dynamic learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
WO2011081192A1 (ja) * 2009-12-28 2011-07-07 サイバーアイ・エンタテインメント株式会社 画像認識システム
US20120011142A1 (en) * 2010-07-08 2012-01-12 Qualcomm Incorporated Feedback to improve object recognition

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
JP2002334338A (ja) 2001-05-09 2002-11-22 National Institute Of Advanced Industrial & Technology 物体追跡装置及び物体追跡方法並びに記録媒体
US8705808B2 (en) 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
JP4613617B2 (ja) 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
KR100951890B1 (ko) 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
JP5261312B2 (ja) * 2009-07-30 2013-08-14 富士フイルム株式会社 画像解析装置、画像解析方法およびプログラム
TWI447658B (zh) 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
EP2569721A4 (en) 2010-05-14 2013-11-27 Datalogic Adc Inc SYSTEMS AND METHODS FOR OBJECT DETECTION USING A LARGE DATABASE
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
US20120011119A1 (en) 2010-07-08 2012-01-12 Qualcomm Incorporated Object recognition system with database pruning and querying
US9036925B2 (en) * 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
JP5719230B2 (ja) 2011-05-10 2015-05-13 キヤノン株式会社 物体認識装置、物体認識装置の制御方法、およびプログラム
US9424255B2 (en) 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
EP2786307A1 (en) 2011-11-29 2014-10-08 Layar B.V. Dynamically configuring an image processing function
CN104541290A (zh) 2012-07-23 2015-04-22 Metaio有限公司 提供图像特征描述符的方法
US10083368B2 (en) 2014-01-28 2018-09-25 Qualcomm Incorporated Incremental learning for dynamic feature database management in an object recognition system
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
WO2011081192A1 (ja) * 2009-12-28 2011-07-07 サイバーアイ・エンタテインメント株式会社 画像認識システム
US20120011142A1 (en) * 2010-07-08 2012-01-12 Qualcomm Incorporated Feedback to improve object recognition

Also Published As

Publication number Publication date
CN105917361B (zh) 2020-01-24
US11263475B2 (en) 2022-03-01
US20180357510A1 (en) 2018-12-13
WO2015116545A1 (en) 2015-08-06
US20150213325A1 (en) 2015-07-30
EP3100210B1 (en) 2019-09-18
KR20160115932A (ko) 2016-10-06
US10083368B2 (en) 2018-09-25
EP3100210A1 (en) 2016-12-07
CN105917361A (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
US11263475B2 (en) Incremental learning for dynamic feature database management in an object recognition system
JP6144828B2 (ja) 動的に構築された環境地図データに基づくオブジェクト追跡
US9811731B2 (en) Dynamic extension of map data for object detection and tracking
US20150095360A1 (en) Multiview pruning of feature database for object recognition system
US20120011119A1 (en) Object recognition system with database pruning and querying
US11276201B1 (en) Localizing an augmented reality device
US20160307334A1 (en) Non-matching feature-based visual motion estimation for pose determination
CN111832579A (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
US9870514B2 (en) Hypotheses line mapping and verification for 3D maps
JP6306274B1 (ja) オブジェクト検出中の適応的なエッジ状の特徴の選択
RU2759773C1 (ru) Способ и система определения местоположения пользователя

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190401

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191111