CN105917361B - 动态地更新含有对应于已知目标对象的特征的特征数据库 - Google Patents

动态地更新含有对应于已知目标对象的特征的特征数据库 Download PDF

Info

Publication number
CN105917361B
CN105917361B CN201580005049.9A CN201580005049A CN105917361B CN 105917361 B CN105917361 B CN 105917361B CN 201580005049 A CN201580005049 A CN 201580005049A CN 105917361 B CN105917361 B CN 105917361B
Authority
CN
China
Prior art keywords
feature
features
candidate
database
feature database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580005049.9A
Other languages
English (en)
Other versions
CN105917361A (zh
Inventor
R·克里希纳穆尔蒂
B·弗尔采利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105917361A publication Critical patent/CN105917361A/zh
Application granted granted Critical
Publication of CN105917361B publication Critical patent/CN105917361B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

一种动态地更新含有对应于已知目标对象的特征的特征数据库的方法包含：提供图像；从所捕获图像内提取第一组特征；以及将所述第一组特征与存储在所述特征数据库中的所述特征进行比较。如果确定目标对象存在于所述图像中，那么将所述第一组的所提取的特征中尚未包含于特征数据库中的至少一者添加到所述特征数据库。

Description

动态地更新含有对应于已知目标对象的特征的特征数据库
技术领域
本发明大体上涉及基于计算机视觉的对象辨识应用程序，且明确地但非排他地说，涉及特征数据库管理。
背景技术
在移动电话或其它移动平台上实现增强现实(AR)的一个难题是实时地检测和追踪对象的问题。用于AR应用程序的对象检测具有非常苛刻的要求：其必须提供完整的六个自由度，产生相对于给定坐标系的绝对测量值，非常稳固并且实时地运行。所关注的是使用基于计算机视觉(CV)的途径来计算相机姿势的方法，其依赖于首先检测并且随后在相机视图内追踪对象。在一个方面中，检测操作包含检测包含在数字图像内的一组特征，以便将那些特征与对应于现实世界对象的已知特征的数据库进行比较。特征可指数字图像中的一个区域，这个区域的属性(例如亮度或颜色)与所述区域周围的区是不同的。在一个方面中，特征是数字图像中的一个区域，在这个区域中一些属性是恒定的，或者在规定的值范围内变化。
接着将所提取的特征与特征数据库中包含的已知特征比较，以便确定图像中是否存在现实世界对象。因此，基于视觉的AR系统的操作中的一个重要要素是特征数据库的组成。在许多系统中，在运行时间之前建构特征数据库，建构的方式是通过从多种已知视点拍摄已知目标对象的多个样本图像。接着从这些样本图像中提取特征并将其添加到特征数据库。然而，一旦创建特征数据库，包含于数据库中的特征就保持静止，且因此使用此数据库的系统的检测性能也保持静止。
发明内容
根据本发明的一个方面，一种动态地更新含有对应于已知目标对象的特征的特征数据库的方法包含：提供图像；从所提供的图像内提取第一组特征；以及将所述第一组特征与存储在所述特征数据库中的特征进行比较。如果确定目标对象存在于所述图像中，那么将所述第一组的所提取的特征中尚未包含于特征数据库中的至少一者添加到所述特征数据库。
本发明的上述以及其它方面、目标和特征将从结合附图给出的各种实施例的以下描述中变得显而易见。
附图说明
参见以下图式描述本发明的非限制性和非穷尽性的实施例，其中除非另有指定，否则各图中相同的参考标号指代相同的部分。
图1是说明动态地更新特征数据库的过程的流程图。
图2是说明基于将添加到特征数据库的候选者特征来合并特征数据库的过程的流程图。
图3是能够执行本文中论述的过程的移动平台的功能框图。
图4是对象辨识系统的功能框图。
具体实施方式
贯穿本说明书对“一个实施例”、“一实施例”、“一个实例”或“一实例”的参考意味着结合所述实施例或实例描述的特定特征、结构或特性包含在本发明的至少一个实施例中。因此，贯穿本说明书在不同位置中出现短语“在一个实施例中”或“在一实施例中”未必都是指同一个实施例。此外，在一个或一个以上实施例中，特定特征、结构或特性可以任何合适方式组合。在此说明的任何实例或实施例不应被解释为比其它实例或实施例优选或有利。
图1是说明动态地更新包含于对象辨识系统中的特征数据库的过程100的流程图。首先，在过程框105中，提供图像。举例来说，装置(例如，包含相机(例如图3的相机302)的移动平台)捕获对象的数字图像，并提供所捕获图像。在其它实施例中，提供所述图像，而不参考谁或如何捕获所述图像。过程框110接着包含从所提供的数字图像内提取第一组特征。在一实例中，特征提取包含将基于高斯拉普拉斯(LoG)或高斯差异(DoG)的特征检测器，例如尺度不变特征变换(SIFT)算法，应用于所述图像以便提取第一组特征。特征可包含关注点或“关键点”，以及所述关注点周围的区的描述。
接下来，在过程框115中，使用第一组所提取的特征来查询特征数据库。通过拍摄已知目标对象的样本图像来在运行时前建构存储在数据库中的特征。查询特征数据库可包含将所提取的特征与存储在特征数据库中的特征进行比较，以确定所述第一组的所提取的特征中是否至少一些与存储在数据库中的特征匹配。决策框120包含确定是否已在所提供的图像中成功地检测到目标对象。如果后几何形状内围层的数目高于第一阈值，且如果那些内围层当中的最大再投影错误低于第二阈值，那么可决定目标对象的成功检测。当然，可根据本发明的教示实施其它基于已知特征的检测方法。如果检测不成功，那么过程100在框160处结束。然而，如果在决策框120中，已识别到目标对象的成功检测，那么过程100进行到过程框125，其中开始更新特征数据库的过程。在一个实施例中，在对象的成功检测后，可即刻更新相机姿势。
接下来，在过程框125中，形成第二组特征。所述第二组特征包含所述第一组的尚未包含于特征数据库中的所提取特征。在一个实施例中，第二组特征包含第一组的当在过程框115中查询特征数据库时未找到其对应性的那些特征。如果无特征包含于第二组中(即，对于第一组的所有特征，均找到对应性)，那么过程100可继续进行到框160，其中过程100结束。在替代实施例中，第二组特征包含已知属于所关注的对象的所有所提取特征，使得其用于后续修剪过程，如将在下文更详细地描述。过程框130接着包含从第二组选择所述特征中的一者，以确定是否将所述特征添加到特征数据库。然而，并非简单地将所有所提取的特征添加到特征数据库，而是过程100在将哪些特征添加到特征数据库的方面可为选择性的，以限制数据库的大小，且确保所添加的那些特征有助于连续检测尝试。
因此，决策框135可包含将得分指派给选定特征，并将所述得分与得分阈值进行比较。如果所述得分不够高，那么不将选定特征添加到特征数据库，且过程100跳到决策框155之前。在一个实施例中，选定特征的得分是基于所述特征的方面，例如曲率的局部量度和/或拐点强度的量度。在另一个实施例中，选定特征的得分可为特征的“成斑点性”的量度；也就是说，特征更像斑点还是更像边缘。类似斑点的特征可被视为较圆的一个特征，而类似边缘的特征较椭圆。继续本实例，为选定特征计算赫斯(Hessian)矩阵的本征值。最大本征值与最小本征值的比率可用作特征的成斑点性的量度(即，得分)。举例来说，可根据等式1来计算本征值比率(E_RATIO)，如下：
Figure BDA0001053369900000031
如果在决策框135中，确定选定特征的得分足够高，那么决策框140确定选定特征是否属于目标对象。决定所提取特征是否属于目标对象可包含确定那些所提取的特征在对象坐标中的位置(即，特征相对于所述目标对象的其它已知特征的位置)。确定所提取特征的位置可基于所述特征在图像坐标中的已知位置，已知对象模型(即，特征数据库)，以及所计算的相机姿势(即，相机相对于目标对象的位置和定向)。如果所提取特征在对象坐标中的位置加于目标对象上，那么所述所提取特征“属于”所述目标对象。包含所提取特征的测得深度和已知相机姿势的替代解决方案或基于已知背景特性的替代对象分段技术是可能的。
如果在决策框140中确定选定特征并不属于目标对象，那么不将选定特征添加到特征数据库，且过程100进行到决策框155。接下来，决策框145包含确定选定特征是否充分不同于已经包含于特征数据库中的特征。在一个实施例中，如果选定特征的关键点位置与已经在特征数据库中的关键点位置相差阈值位置量，那么选定特征不同于特征数据库中的特征。如果选定特征的描述符与已经在特征数据库中的描述符相差阈值描述符量，那么选定特征也可不同于特征数据库中的特征。在一个实施例中，可将阈值位置量、阈值描述符量或这两者设定成零，使得考虑目标对象中的所有特征来添加到特征数据库。如果确定选定特征充分不同于已经包含于特征数据库中的特征，那么过程框150将选定特征添加到特征数据库。尽管图1说明用于将选定特征添加到特征数据库的三个准则(即，基于特征的得分，基于选定特征是否属于目标对象，以及基于确定选定特征是否充分不同于特征数据库中的特征)，过程100的每一实施方案中无需实施所有三个准则。举例来说，在一个实施例中，过程100可仅包含确定选定特征的得分是否大于得分阈值，以便确定是否将选定特征添加到特征数据库。在另一实例中，过程100可包含决策框140和145，而不包含135。
一旦将选定特征添加到特征数据库，过程100就进行到决策框155，以确定特征数据库的更新是否完成。在一个实施例中，如果第二组特征中的特征中的每一者已被视为添加到特征数据库，那么特征数据库的更新完成。如果未完成，那么过程100返回到过程框130，以从第二组选择下一特征，且确定是否将其添加到特征数据库。过程100在框160处完成。
因此，本发明的实施方案包含用同一目标对象的连续检测来动态地改进对象检测性能。所提出的过程并不涉及深奥的学习或神经网络方法，且因此降低处理开销。因此，每当通过将尚未包含的所提取的特征添加到特征数据库来成功地检测到目标对象，本文所述的过程就可使所述目标对象较容易检测。在一个实施例中，其中特征数据库是基于云的且在多个用户当中共享，特征数据库的成功检测和更新可使所有用户受益，而无额外工作量。
动态地更新特征数据库的实施例，如上文所描述可另外与特征合并的过程组合，以便减小(或维持)特征数据库的大小。本文所论述的实施例提供用于对象辨识/检测的特征数据库，其是通过精简从已知对象的多视点样本图像提取的类似特征而产生。一般来说，将候选者特征与包含于特征数据库中的特征进行比较，接着从中产生表示类似特征群组的所导出特征，并将其存储在数据库中。接着可丢弃(即，精简)所述类似特征群组。因此，所述数据库避免了含有具有不可管理的数据库大小的类似特征的问题。举例来说，图2是说明基于将添加到特征数据库的候选者特征来合并特征数据库的过程200的流程图。
如图所示，过程框205包含首先选择待添加到特征数据库的候选者特征。在一个实施例中，所述候选者特征是从将在过程100的在过程框150中添加到特征数据库的第二组特征提取的特征。接下来，在过程框210中，基于此候选者特征确定第三组特征。举例来说，过程框210可包含检查特征数据库，以寻找包含与所述候选者特征的描述符类似的描述符以及与候选者特征的关键点位置接近的关键点位置两者的特征。接着将这些匹配的特征添加到第三组特征。
在一个实施例中，描述符是从一个视角(图像)描述关键点的出现的L维度向量。因此，如果两个描述符的差(其本身是L维度向量)在范数/量值方面较小，那么所述两个描述符类似。因此，过程框210可包含通过将一个描述符从另一描述符减去并将结果与描述符距离阈值进行比较(例如，|f1-fi|<descth，其中descth是描述符距离阈值)来确定两描述符是否类似。确定关键点位置是否接近类似于上文的描述，除了关键点位置是根据预定义(或设定)坐标系(例如，|k1-ki|<dkptth，其中dkptth是关键点距离阈值)的(x,y,z)坐标的3维向量。
因此，所述第三组特征是描述符类似于候选者特征的描述符并且关键点位置接近于候选者特征的关键点位置的特征集合。在一个实施例中，所述第三组特征包含候选者特征。一旦确定此第三组特征，决策框215和220就决定所述候选者特征是否是可重复且可辨别的。特征的可重复性是指其中观察到相同(或类似)特征的视点的数目，且在一个实例中，可仅仅为包含于第三组特征中的特征的数目。在一个实施例中，确定候选者特征的可重复性包含确定是否可从多个不同视点观察到候选者特征的关键点位置，且如果是的话，确定其中候选者特征的关键点位置是由类似于候选者特征的描述符的描述符来描述的视点的数目。注意，视点的数目的此确定包含候选者特征的关键点位置以及接近定位的关键点(例如，关键点距离阈值dkptth内)的分析。因此，可通过对相同或接近定位的关键点的类似观察结果的数目进行计数来确定可重复性。换句话说，附接到不同但基本上处于相同位置的关键点的计数作为同一关键点的两个观察结果。一旦定量，就可接着将候选者特征的可重复性与固定可重复性阈值进行比较(ri>rth？)。
特征的可辨别性是指在候选者特征与已经包含于数据库中的其它特征之间进行辨别的能力。在一个实例中，可将可辨别性定量为第三组中的特征的数目与数据库中具有类似描述符的所有特征的数目的比率。确定候选者特征的可辨别性可包含确定其中候选者特征(或接近定位的关键点)的关键点位置由类似于候选者特征的描述符的描述符来描述的视点的第一数目。接着，确定特征数据库中具有类似于候选者特征的描述符的描述符的所有特征的第二数目，不管关键点位置如何。接着可将可辨别性表示为此第一数目与所述第二数目之间的比率。在一个实施例中，将可辨别性与固定可辨别性阈值进行比较，以确定候选者特征的可辨别性是否足够高(di>dth？)。
如果在决策框220中确定选定特征是不可辨别的(例如，di<dth)，那么这指示归因于低可辨别性，不会将所述候选者特征添加到特征数据库。如果在决策框215中确定选定特征是不可重复的(例如，ri<rth)，那么这指示归因于低可重复性，不会将候选者特征添加到特征数据库。在一个实施例中，如果可重复性和/或可辨别性过低，那么可去除特征数据库已经中存在的类似特征。
然而，如果确定候选者特征可重复且可辨别，那么过程200进行到过程框225，其中产生至少一个所导出特征，并将其添加到特征数据库。所述所导出的特征表示第三组特征，且在一实例中，可包含作为包含于第三组中的描述符的平均值的描述符。
在一实例中，所导出的特征是表示包含于第三组中的所有特征的单个特征。在另一实例中，过程框225包含产生候选者特征的M个所导出特征，其中通过将第三组的特征一起群集成M个群集且接着取群集中心而产生所述M个所导出特征。
一旦将所导出的特征添加到数据库，接着可丢弃第三组的特征(即，过程框230)。在一个实施例中，丢弃特征包含将其从特征数据库去除。
图3是能够执行本文中论述的过程的移动平台300的功能框图。在一个实施例中，移动平台300是能够使用例如图1的过程100的过程来进行对象辨识和特征数据库更新的计算机。举例来说，移动平台300可任选地包含相机302，其用于捕获和提供如参考图1的过程框105所描述的图像。移动平台300还可包含任选的用户接口306，其包含能够显示相机302所捕获的图像的显示器322。用户接口306还可包含小键盘324或其它输入装置，用户可以通过所述输入装置输入信息到移动平台300中。视需要，可通过将虚拟小键盘集成到具有触摸传感器的显示器322中而排除小键盘324。用户接口306还可包含麦克风326和扬声器328。
移动平台300还包含控制单元304，其连接到相机302和用户接口306(如果存在的话)并且与其通信。控制单元304接受并处理从相机302和/或从网络适配器316接收的图像。控制单元304可通过处理单元308和相关联的存储器314、硬件310、软件315和固件312提供。
控制单元304可进一步包含图形引擎320，其可以例如是游戏引擎，用于在期望时在显示器322中渲染期望的数据。出于清楚起见分开说明处理单元308和图形引擎320，但是其可以是单个单元，和/或基于软件315中的指令在处理单元308中实施，软件315在处理单元308中运行。处理单元308以及图形引擎320可能(但不需要必然)包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)等等。术语处理器和处理单元描述通过系统而非特定的硬件实施的功能。此外，如本文中所使用，术语“存储器”指代任何类型的计算机存储媒体，其包含与移动平台相关联的长期、短期或其它存储器，且并不限于任何特定类型的存储器或特定数目个存储器，或特定类型的其上存储有存储器的媒体。
本文所描述的方法，包含过程100和200，可取决于应用，通过各种手段来实施。举例来说，这些过程可在硬件310、固件312、软件315或其任何组合中实施。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述功能的其它电子单元，或其组合内。
对于固件和/或软体实施方案，可使用执行本文中所描述的功能的模块(例如程序、功能等等)来实施所述过程。任何有形地体现指令的计算机可读媒体可用于实施本文所描述的过程。举例来说，程序代码可以存储于存储器315中并且通过处理单元308执行。存储器可以在处理单元308内部或外部实施。
如果以固件和/或软件实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含经编码具有数据结构的非暂时性计算机可读媒体以及编码有计算机程序的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用的媒体。作为实例而非限制，此计算机可读媒体可包括RAM、ROM、快闪存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体；如本文中所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
图4是对象辨识系统400的功能框图。如图所示，对象辨识系统400包含实例移动平台402，其包含能够捕获对象414的图像的相机(当前视图中未图示)，将通过与特征数据库412进行比较来识别所述对象。
移动平台402可以包含显示器，用以展示相机捕获的图像。移动平台402还可用于基于例如使用来自卫星定位系统(SPS)的信号确定其经纬度的导航，所述卫星定位系统包含卫星交通工具406，或任何其它用于确定位置的适当来源，包含蜂窝塔404或无线通信接入点405。移动平台402还可包含定向传感器，例如数字指南针、加速计或陀螺仪，其可用于确定移动平台402的定向。
如本文所使用，移动平台指代一种装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机，或能够接收无线通信和/或导航信号(例如导航定位信号)的其它合适的移动装置。术语“移动平台”还意在包含(例如)通过短程无线、红外线、有线连接或其它连接与个人导航装置(PND)通信的装置，而不管装置处或PND处是否发生卫星信号接收、辅助数据接收和/或定位相关处理。并且，“移动平台”意在包含所有能够(例如)经由因特网、WiFi或其它网络与服务器通信的装置，包含无线通信装置、计算机、膝上型计算机等，并且不管是在装置处、在服务器处还是在与网络相关联的另一装置处发生卫星信号接收、辅助数据接收和/或位置相关处理。另外，“移动平台”还可包含所有能够支持增强现实(AR)、虚拟现实(VR)和/或混合现实(MR)应用程序的电子装置。以上各项的任何可操作组合也视为“移动平台”。
卫星定位系统(SPS)通常包含发射器系统，其经定位以使得实体能够至少部分地基于从发射器接收到的信号来确定其在地球上或上方的位置。此发射器通常发射标记有设定数目个码片的重复伪随机噪声(PN)码的信号，且可位于基于地面的控制站、用户装备和/或宇宙飞船上。在特定实例中，此类发射器可位于地球轨道人造卫星(SV)406上。举例来说，全球导航卫星系统(GNSS)星群(例如，全球定位系统(GPS)、伽利略(Galileo)、格洛纳斯(Glonass)或指南针)中的SV可发射经标记有PN码的信号，所述PN码可区别于由星群中的其它SV发射的PN码(例如，如在GPS中，对于每一卫星使用不同PN码，或如在Glonass中，在不同频率上使用相同码)。
根据某些方面，本文中所提出的技术并不限于用于SPS的全球系统(例如，GNSS)。举例来说，本文中所提供的技术可应用于或以其它方式经启用以用于在各种地区性系统中使用，例如，日本上方的准天顶卫星系统(QZSS)、印度上方的印度地区性导航卫星系统(IRNSS)、中国上方的北斗卫星等，及/或可与一或多个全球的及/或地区性导航卫星系统相关联或以其它方式经启用以供一或多个全球的及/或地区性导航卫星系统使用的各种增强系统(例如，基于卫星的增强系统(SBAS))。作为实例而非限制，SBAS可包含提供完整性信息、差分校正等的增强系统，例如，广域增强系统(WAAS)、欧洲地球同步导航叠加服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助地理增强或GPS和地理增强导航系统(GAGAN)，和/或类似系统。因此，如本文所使用，SPS可包含一或多个全球和/或区域性导航卫星系统和/或增强系统的任何组合，且SPS信号可包含SPS、类似SPS和/或与此一或多个SPS相关联的其它信号。
移动平台402不限于与用于位置确定的SPS一起使用，因为位置确定技术可以配合多种无线通信网络实施，所述无线通信网络包含蜂窝塔404并且来自无线通信接入点405，例如无线广域网(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)。另外，移动平台402可使用各种无线通信网络经由蜂窝塔404且从无线通信接入点405，或使用人造卫星406(如果需要)来接入一或多个服务器408以从数据库412获得数据，例如参考图像和参考特征。术语“网络”与“系统”经常可互换使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)等等。CDMA网络可实施一或多个无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等。cdma2000包含IS-95、IS-2000和IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某种其它RAT。来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中描述了GSM和W-CDMA。cdma2000描述于来自名为“第3代合作伙伴计划2”(3GPP2)的联盟的文献中。3GPP和3GPP2文献是公开可用的。WLAN可为IEEE 802.11x网络，且WPAN可为蓝牙网络、IEEE 802.15x或某一其它类型的网络。所述技术还可结合WWAN、WLAN和/或WPAN的任何组合来实施。
如图4中示出，系统400包含移动平台402，其捕获将通过与特征数据库412进行比较来识别的对象414的图像。如所说明，移动平台402可接入网络410，例如无线广域网(WWAN)，例如经由蜂窝塔404或无线通信接入点405，其耦合到服务器408，所述服务器连接到存储与目标对象及其图像有关的信息的数据库412。在一个实施例中，移动平台402包含用于接入网络410的网络适配器(例如，图3的网络适配器316)。虽然图4展示一个服务器408，但是应理解可使用多个服务器以及多个数据库412。移动平台402可通过从服务器408获得数据库412的至少一部分并将所下载的数据存储在移动平台402内部的本地数据库(例如，图3中的存储器314和/或固件312)中来自行执行对象检测，如图4中所示。从服务器408获得的数据库的部分可基于如通过移动平台的定位系统确定的移动平台的地理位置。此外，从服务器408获得的数据库的部分可取决于需要移动平台402上的数据库的特定应用程序。移动平台402可从所捕获的查询图像提取特征，使所述特征与存储在特征数据库中的那些特征匹配，并用尚未在特征数据库中的所提取的特征来更新所述特征数据库，如关于过程100上文所描述。查询图像可为来自相机的预览帧中的图像或相机所捕获的图像，或从视频序列提取的帧。对象检测可至少部分地基于每一查询特征的确定置信级，所述置信级可接着用于离群值去除。通过基于移动平台的地理位置下载数据库412的较小部分并且在移动平台402上执行对象检测，可避免网络等待时间问题，并且空中(OTA)带宽使用以及客户端(即，移动平台)侧上的存储器要求减小。然而，如果需要，可通过服务器408(或其它服务器)执行对象检测，其中移动平台402将查询图像本身或从查询图像所提取的特征提供到服务器408。
过程框中的一些或全部在上文所论述的每一过程中出现的顺序不应当被认为是限制性的。而是，得益于本发明的所属领域的技术人员将理解，可以未说明的多种次序执行所述过程框中的一些。
所属领域的技术人员将进一步了解，结合本文所揭示的实施例描述的各种说明性逻辑块、模块、引擎、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的这种可互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、引擎、电路和步骤。将此功能性是实施为硬件还是软件取决于特定应用以及强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但这样的实施决策不应被解释为会引起脱离本发明的范围。
所属领域的技术人员将容易了解对本文所揭示的实施例的各种修改，且可在不脱离本发明的精神或范围的情况下，将本文定义的一般原理应用到其它实施例。因此，本发明无意限于本文中所展示的实施例，而应被赋予与本文中所揭示的原理和新颖特征相一致的最广泛范围。

Claims (22)

1.一种计算机实施的方法，包括：
由移动平台在图像内的对象检测期间从图像提取第一组特征；
将所述第一组特征与存储在对象识别系统的特征数据库中的特征进行比较；
基于包含于所述第一组特征中的所述特征中的一些与包含于所述特征数据库中的所述特征中的至少一些相关，来确定目标对象存在于所述图像中；
从在对象检测期间由所述图像提取的所述第一组特征识别候选者特征，所述候选者特征属于所述目标对象并且先前未包含在用于识别所述目标对象的特征数据库中；
使用与所述候选者特征相关联的描述符和关键点确定第二组特征，其中所述第二组特征包括所述候选者特征以及当确定至少一个特征具有的描述符类似于所述候选者特征的描述符并且具有位于所述候选者特征的关键点的位置的阈值距离内的位置的关键点时的从所述特征数据库选择的所述至少一个特征；
将得分指派给所述候选者特征，其中所述得分基于所述候选者特征的成斑点性量度，且其中所述成斑点性量度指示所述候选者特征是否像斑点；
基于指示所述候选者特征具有可重复性和可辨别性的确定，产生所述第二组特征的一或多个经导出的特征；及
通过下列中的一者来更新所述对象识别系统的所述特征数据库：
基于所述得分将所述候选者特征添加到所述特征数据库；或者
在所述特征数据库中将所述第二组特征替换为所述一或多个经导出的特征。
2.根据权利要求1所述的计算机实施的方法，其中从所提供的所述图像提取所述第一组特征包含将尺度不变特征变换SIFT算法应用于所提供的所述图像。
3.根据权利要求1所述的计算机实施的方法，其中将所述候选者特征添加到所述特征数据库包含仅在所述候选者特征的得分超过得分阈值的情况下，添加所述候选者特征。
4.根据权利要求3所述的计算机实施的方法，其中所述得分还基于所述候选者特征的从由以下组成的群组中选出的方面：曲率的局部量度和拐点强度的量度。
5.根据权利要求1所述的计算机实施的方法，其中基于所述候选者特征的关键点位置与已经包含于所述特征数据库中的特征的关键点位置相差超过阈值量，当所述候选者特征不同于已经包含于所述特征数据库中的特征时，所述候选者特征被添加到所述特征数据库。
6.根据权利要求1所述的计算机实施的方法，其中基于所述候选者特征的关键点描述符与已经包含于所述特征数据库中的特征的关键点描述符相差超过阈值量，当所述候选者特征不同于已经包含于所述特征数据库中的特征时，所述候选者特征被添加到所述特征数据库。
7.根据权利要求1所述的计算机实施的方法，其中当所述候选特征和所述至少一个特征的描述符值的差不超过描述符距离阈值时并且当所述候选者特征的关键点位置的坐标和所述至少一个特征的关键点位置的坐标的差不超过关键点距离阈值时，确定所述至少一个特征是所述第二组特征的成员。
8.一种上面存储有程序代码的非暂时性计算机可读媒体，所述程序代码包括用于以下操作的指令：
由移动平台在图像内的对象检测期间从图像提取第一组特征；
将所述第一组特征与存储在对象识别系统的特征数据库中的特征进行比较；
基于包含于所述第一组特征中的所述特征中的一些与包含于所述特征数据库中的所述特征中的至少一些相关，来确定目标对象存在于所述图像中；
从在对象检测期间由所述图像提取的所述第一组特征识别候选者特征，所述候选者特征属于所述目标对象并且先前未包含在用于识别所述目标对象的特征数据库中；
使用与所述候选者特征相关联的描述符和关键点确定第二组特征，其中所述第二组特征包括所述候选者特征以及当确定至少一个特征具有的描述符类似于所述候选者特征的描述符并且具有位于所述候选者特征的关键点的位置的阈值距离内的位置的关键点时的从所述特征数据库选择的所述至少一个特征；
将得分指派给所述候选者特征，其中所述得分基于所述候选者特征的成斑点性量度，且其中所述成斑点性量度指示所述候选者特征是否像斑点；
基于指示所述候选者特征具有可重复性和可辨别性的确定，产生所述第二组特征的一或多个经导出的特征；及
通过下列中的一者来更新所述对象识别系统的所述特征数据库:
基于所述得分将所述候选者特征添加到所述特征数据库；或者
在所述特征数据库中将所述第二组特征替换为所述一或多个经导出的特征。
9.根据权利要求8所述的非暂时性计算机可读媒体，其中用于从所提供的所述图像内提取所述第一组特征的所述指令包含用于将尺度不变特征变换SIFT算法应用于所提供的所述图像的指令。
10.根据权利要求8所述的非暂时性计算机可读媒体，其中用于将所述候选者特征添加到所述特征数据库的所述指令包含用于仅在所述候选者特征的得分超过得分阈值的情况下添加所述候选者特征的指令。
11.根据权利要求10所述的非暂时性计算机可读媒体，其中所述得分还基于所述候选者特征的从由以下组成的群组中选出的方面：曲率的局部量度和拐点强度的量度。
12.根据权利要求8所述的非暂时性计算机可读媒体，其中基于所述候选者特征的关键点位置与已经包含于所述特征数据库中的特征的关键点位置相差超过阈值量，当所述候选者特征不同于已经包含于所述特征数据库中的特征时，所述候选者特征被添加到所述特征数据库。
13.根据权利要求8所述的非暂时性计算机可读媒体，其中基于所述候选者特征的关键点描述符与已经包含于所述特征数据库中的特征的关键点描述符相差超过阈值量，当所述候选者特征不同于已经包含于所述特征数据库中的特征时，所述候选者特征被添加到所述特征数据库。
14.根据权利要求8所述的非暂时性计算机可读媒体，其中当所述候选特征和所述至少一个特征的描述符值的差不超过描述符距离阈值时并且当所述候选者特征的关键点位置的坐标和所述至少一个特征的关键点位置的坐标的差不超过关键点距离阈值时，确定所述至少一个特征是所述第二组特征的成员。
15.一种用于对象辨识的设备，其包含：
存储器；
处理器，与所述存储器连接并被配置为：
用相机捕获图像；
在所述图像内的对象检测期间从所捕获的所述图像内提取第一组特征；
将所述第一组特征与存储在对象识别系统的特征数据库中的特征进行比较；
基于包含于所述第一组特征中的所述特征中的至少一些与包含于所述特征数据库中的所述特征中的至少一些相关，来确定目标对象存在于所述图像中；
从在对象检测期间由所述图像提取的所述第一组特征识别候选者特征，所述候选者特征属于所述目标对象并且先前未包含在用于识别所述目标对象的特征数据库中；
使用与所述候选者特征相关联的描述符和关键点确定第二组特征，其中所述第二组特征包括所述候选者特征以及当确定至少一个特征具有的描述符类似于所述候选者特征的描述符并且具有位于所述候选者特征的关键点的位置的阈值距离内的位置的关键点时的从所述特征数据库选择的所述至少一个特征；
将得分指派给所述候选者特征，其中所述得分基于所述候选者特征的成斑点性量度，且其中所述成斑点性量度指示所述候选者特征是否像斑点；
基于指示所述候选者特征具有可重复性和可辨别性的确定，产生所述第二组特征的一或多个经导出的特征；及
通过下列中的一者来更新所述对象识别系统的所述特征数据库:
基于所述得分将所述候选者特征添加到所述特征数据库；或者
在所述特征数据库中将所述第二组特征替换为所述一或多个经导出的特征。
16.根据权利要求15所述的设备，其中所述处理器经配置以从所捕获的所述图像内提取所述第一组特征包含：所述处理器经配置以将尺度不变特征变换SIFT算法应用于所捕获的所述图像。
17.根据权利要求15所述的设备，其中所述处理器经配置以将所述候选者特征添加到所述特征数据库包含：所述处理器经配置以仅在所述候选者特征的得分超过得分阈值的情况下添加所述候选者特征。
18.根据权利要求17所述的设备，其中所述得分还基于所述候选者特征的从由以下组成的群组中选出的方面：曲率的局部量度和拐点强度的量度。
19.根据权利要求15所述的设备，其中基于所述候选者特征的关键点位置与已经包含于所述特征数据库中的特征的关键点位置相差超过阈值量，当所述候选者特征不同于已经包含于所述特征数据库中的特征时，所述候选者特征被添加到所述特征数据库。
20.根据权利要求15所述的设备，其中基于所述候选者特征的关键点描述符与已经包含于所述特征数据库中的特征的关键点描述符相差超过阈值量，当所述候选者特征不同于已经包含于所述特征数据库中的特征时，所述候选者特征被添加到所述特征数据库。
21.根据权利要求15所述的设备，其中当所述候选特征和所述至少一个特征的描述符值的差不超过描述符距离阈值时并且当所述候选者特征的关键点位置的坐标和所述至少一个特征的关键点位置的坐标的差不超过关键点距离阈值时，确定所述至少一个特征是所述第二组特征的成员。
22.根据权利要求15所述的设备，其进一步包括用以获取所捕获的所述图像的相机。
CN201580005049.9A 2014-01-28 2015-01-26 动态地更新含有对应于已知目标对象的特征的特征数据库 Expired - Fee Related CN105917361B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/166,620 US10083368B2 (en) 2014-01-28 2014-01-28 Incremental learning for dynamic feature database management in an object recognition system
US14/166,620 2014-01-28
PCT/US2015/012953 WO2015116545A1 (en) 2014-01-28 2015-01-26 Dynamically updating a feature database that contains features corresponding to a known target object

Publications (2)

Publication Number Publication Date
CN105917361A CN105917361A (zh) 2016-08-31
CN105917361B true CN105917361B (zh) 2020-01-24

Family

ID=52469327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580005049.9A Expired - Fee Related CN105917361B (zh) 2014-01-28 2015-01-26 动态地更新含有对应于已知目标对象的特征的特征数据库

Country Status (6)

Country Link
US (2) US10083368B2 (zh)
EP (1) EP3100210B1 (zh)
JP (1) JP2017508197A (zh)
KR (1) KR20160115932A (zh)
CN (1) CN105917361B (zh)
WO (1) WO2015116545A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965564B2 (en) 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
US20150095360A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Multiview pruning of feature database for object recognition system
US10083368B2 (en) 2014-01-28 2018-09-25 Qualcomm Incorporated Incremental learning for dynamic feature database management in an object recognition system
US9977955B2 (en) * 2014-06-19 2018-05-22 Rakuten Kobo, Inc. Method and system for identifying books on a bookshelf
US20160071319A1 (en) * 2014-09-09 2016-03-10 Schneider Electric It Corporation Method to use augumented reality to function as hmi display
US9965841B2 (en) 2016-02-29 2018-05-08 Schneider Electric USA, Inc. Monitoring system based on image analysis of photos
US10496694B2 (en) * 2016-03-21 2019-12-03 Hong Kong Applied Science and Technology Research Institute Company Limited Rating and advising for selection of augmented reality markers
US10853695B2 (en) 2016-06-30 2020-12-01 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell annotation with adaptive incremental learning
US10083369B2 (en) 2016-07-01 2018-09-25 Ricoh Company, Ltd. Active view planning by deep learning
CN106295660A (zh) * 2016-08-15 2017-01-04 厦门迈信物联科技股份有限公司 一种植物叶片精准特征数据提取方法
CN108228872A (zh) * 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 人脸图像去重方法和装置、电子设备、存储介质、程序
US11222081B2 (en) 2017-11-27 2022-01-11 Evoqua Water Technologies Llc Off-line electronic documentation solutions
US20200175384A1 (en) * 2018-11-30 2020-06-04 Samsung Electronics Co., Ltd. System and method for incremental learning
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11080558B2 (en) 2019-03-21 2021-08-03 International Business Machines Corporation System and method of incremental learning for object detection
CN110363150A (zh) * 2019-07-16 2019-10-22 深圳市商汤科技有限公司 数据更新方法及装置、电子设备和存储介质
US20210279606A1 (en) * 2020-03-09 2021-09-09 Samsung Electronics Co., Ltd. Automatic detection and association of new attributes with entities in knowledge bases
EP4184446A1 (en) * 2021-11-23 2023-05-24 Virnect Inc. Method and system for improving target detection performance through dynamic learning

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
JP2002334338A (ja) 2001-05-09 2002-11-22 National Institute Of Advanced Industrial & Technology 物体追跡装置及び物体追跡方法並びに記録媒体
US8705808B2 (en) 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
JP4613617B2 (ja) 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
KR100951890B1 (ko) 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
JP5261312B2 (ja) * 2009-07-30 2013-08-14 富士フイルム株式会社 画像解析装置、画像解析方法およびプログラム
JP5721233B2 (ja) * 2009-12-28 2015-05-20 サイバーアイ・エンタテインメント株式会社 画像認識システム
TWI447658B (zh) 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
CN103003814A (zh) 2010-05-14 2013-03-27 数据逻辑Adc公司 使用大型数据库进行对象识别的系统及方法
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
US20120011142A1 (en) * 2010-07-08 2012-01-12 Qualcomm Incorporated Feedback to improve object recognition
US20120011119A1 (en) 2010-07-08 2012-01-12 Qualcomm Incorporated Object recognition system with database pruning and querying
US9036925B2 (en) * 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
JP5719230B2 (ja) 2011-05-10 2015-05-13 キヤノン株式会社 物体認識装置、物体認識装置の制御方法、およびプログラム
US9424255B2 (en) 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
WO2013079098A1 (en) 2011-11-29 2013-06-06 Layar B.V. Dynamically configuring an image processing function
WO2014015889A1 (en) 2012-07-23 2014-01-30 Metaio Gmbh Method of providing image feature descriptors
US10083368B2 (en) 2014-01-28 2018-09-25 Qualcomm Incorporated Incremental learning for dynamic feature database management in an object recognition system
WO2016004330A1 (en) * 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation

Also Published As

Publication number Publication date
EP3100210B1 (en) 2019-09-18
CN105917361A (zh) 2016-08-31
US20180357510A1 (en) 2018-12-13
JP2017508197A (ja) 2017-03-23
US10083368B2 (en) 2018-09-25
EP3100210A1 (en) 2016-12-07
KR20160115932A (ko) 2016-10-06
US20150213325A1 (en) 2015-07-30
US11263475B2 (en) 2022-03-01
WO2015116545A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
CN105917361B (zh) 动态地更新含有对应于已知目标对象的特征的特征数据库
US9524434B2 (en) Object tracking based on dynamically built environment map data
US9811731B2 (en) Dynamic extension of map data for object detection and tracking
US20150095360A1 (en) Multiview pruning of feature database for object recognition system
US20120011119A1 (en) Object recognition system with database pruning and querying
US20120011142A1 (en) Feedback to improve object recognition
US20160307334A1 (en) Non-matching feature-based visual motion estimation for pose determination
US11276201B1 (en) Localizing an augmented reality device
US9870514B2 (en) Hypotheses line mapping and verification for 3D maps
JP6306274B1 (ja) オブジェクト検出中の適応的なエッジ状の特徴の選択

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200124

Termination date: 20210126