CN105164700B - 使用概率模型在视觉数据中检测对象 - Google Patents

使用概率模型在视觉数据中检测对象 Download PDF

Info

Publication number
CN105164700B
CN105164700B CN201280077632.7A CN201280077632A CN105164700B CN 105164700 B CN105164700 B CN 105164700B CN 201280077632 A CN201280077632 A CN 201280077632A CN 105164700 B CN105164700 B CN 105164700B
Authority
CN
China
Prior art keywords
probabilistic model
features
given
probability
given object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280077632.7A
Other languages
English (en)
Other versions
CN105164700A (zh
Inventor
G.萨克拉瓦拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Open Information Corporation
Original Assignee
Kai Wen Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kai Wen Co filed Critical Kai Wen Co
Priority to CN201911254619.4A priority Critical patent/CN110909825A/zh
Publication of CN105164700A publication Critical patent/CN105164700A/zh
Application granted granted Critical
Publication of CN105164700B publication Critical patent/CN105164700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Abstract

提供基于将特定对象匹配到对象的表示的匹配程序的输出的概率模型，其中该概率模型使对象存在的概率与匹配特征的数目相关。该概率模型被用于检测特定对象是否存在于接收的视觉数据中。

Description

使用概率模型在视觉数据中检测对象
背景技术
对象识别能够被执行以在图像中检测特定对象的存在。对象检测能够基于将图像中的特征与特定对象的表示的特征匹配，其中该表示能够是特定对象的模型。匹配程序可以在图像与对象的表示之间的匹配特征数目超过固定阈值的情况下指示特定对象在图像中。
附图说明
一些实施例参考下面附图来描述：
图1是依据一些实施方式的包含对象检测系统的示例布置的方块图；
图2是依据一些实施方式的对象识别程序的流程图；
图3是依据进一步实施方式的对象识别程序的流程图；
图4是依据一些实施方式的针对给定对象建立概率模型的过程的流程图；以及
图5是依据一些实施方式的可用在图3的对象识别程序中的几何一致程序的流程图。
具体实施方式
为了执行对象识别以在视觉数据(例如，图像、视频数据等)中检测对象的存在，对象识别程序能够从视觉数据中提取特征用于与对象的给定表示(例如模型)的相应特征比较。要在视觉数据中检测的对象的示例能够包含下面内容：照片、海报、产品包装(例如，盒子、瓶子、罐头等)、广告牌、建筑物、纪念碑、车辆、景观等等。
在视觉数据与对象的表示之间的匹配特征数目超过某一指定阈值的情况下，匹配被认为已经发生(换言之，对象被认为存在于视觉数据中)。对象的不同类型能够包含特征的不同数目，该特征可用于匹配到对象的相应表示。例如，对象的第一类型能够包含可用于匹配到对象的第一类型的表示的特征的第一数目，而对象的第二类型能够包含可用于匹配到对象的第二类型的表示的特征的第二、不同数目。
如果对象的这样类型不含有可用特征的足够数目以能够满足固定数目阈值，则针对匹配特征数目使用固定阈值来指示匹配特征数目是否指示成功匹配可以导致对象的一些类型被不可靠地检测。另一方面，针对匹配特征数目的固定阈值的使用可以在针对对象的其它类型执行对象识别时导致相对大的数目的误报(false positive)，对象的其它类型可以包含用于匹配的更大数目的可用特征。
虽然可以可能针对对象的对应不同类型人工地调谐阈值，但是这样的人工调谐过程可能是劳力密集的并且可能易受人为误差的影响。
依据一些实施方式，取代针对匹配特征数目使用固定阈值，概率模型能够被用在对象识别程序中以确定对象是否存在于视觉数据中。在随后的讨论中，对在图像中确定对象的存在进行参考。然而，在其它实施方式中，使用概率模型的对象识别程序能够被应用以在其它类型的视觉数据(诸如视频数据等等)中确定对象的存在。
概率模型使概率与匹配特征数目相关。该概率是对象存在于图像中的概率。通过使用概率模型，取代针对匹配特征数目指定固定阈值，能够代替地指定概率阈值。概率阈值能够针对对象不同的类型是相同的。
通过使用概率模型，对象识别程序是否已经在图像中检测到对象的确定基于概率阈值。多个概率模型能够被提供给对象的相应不同类型。
在一些实施方式中，为了确定特定对象是否在图像中，对象识别程序能够使用概率模型(对应于特定对象)将图像与对应对象之间的匹配数目转换为概率值。概率值能够与概率阈值相比以确定指示特定对象在图像中的匹配是否存在。
在替代实施方式中，对象识别程序能够使用概率模型将概率阈值转换为对应数目阈值，其中数目阈值指示匹配特征数目，在该匹配特征数目以上对象被认为存在于图像中。然后，图像与对应对象之间的匹配数目能够与数目阈值相比以确定匹配是否存在。
在后面实施方式中，针对对象的每个类型，相应概率模型能够使概率阈值与对应数目阈值相关。针对对象的不同类型，相应概率模型能够使概率阈值与不同数目阈值相关。通过针对对象的不同类型基于概率模型提供不同数目阈值而不是相同固定数目阈值，能够实现针对对象的不同类型的更可靠对象识别。
在一些示例中，针对对象的不同类型的多个数目阈值能够被存储在查找表或其它查找数据结构中。在尝试确定特定对象是否在图像中时，查找表或其它查找数据结构能够被访问以检索要在对象识别程序中使用的对应数目阈值。
虽然对针对对象的不同类型的多个概率模型的使用进行参考，但是注意的是，在替代实施方式中，一个概率模型能够被用于对象的多个不同类型。这样的实施方式中的概率模型的输入将会包含对象的类型的指示，并且概率模型然后能够使用该类型指示以执行概率值与匹配特征数目之间的相应转换。
在一些实施方式中，能够从图像中提取用于与对象的表示(例如模型)比较的特征能够是点特征。点特征指代从给定图像补丁(其能够具有预定义尺寸，诸如16x16栅格或其它尺寸)中提取的元素(被称为“描述符”)。在图像内，能够提取许多点特征，其能够与对象的表示中的参考点特征相比。点特征的示例包含SIFT(尺度不变特征变换)特征、SURF(加速稳健特征)等等。在其它示例中，取代使用点特征，能够使用特征的其它类型，诸如线特征、块特征等等。
在随后的讨论中，假定点特征被提取用于在图像中执行对象识别。标识在图像中的点特征与对象的表示中的点特征之间的匹配被称为标识点对应。虽然在随后的讨论中对匹配点特征进行参考，但是注意的是，类似的技术在其它实施方式中能够被应用到匹配特征的其它类型。
图1图解依据一些实施方式的对象识别系统100，其包含对象识别器102。对象识别系统100能够包含计算机或计算机的分布式布置。对象识别器102能够被实行在一个或多个处理器104上。对象识别器102能够访问被存储在存储介质(或多个存储介质)108中的概率模型106用于执行对象识别程序以在图像110中检测对象的存在。
图像110也能够被存储在存储介质(或多个存储介质)108中。在一些示例中，图像110能够从远程资源被对象识别系统100接收。一个这样的远程资源能够是远程系统112，其经过网络114被耦合到对象识别系统100。对象识别系统100能够通过对象识别系统100中的网络接口115经过网络114进行通信。远程系统112能够包含捕获图像110的照相机。在替代实施方式中，照相机能够是对象识别系统100的部分。
概率模型106能够由概率模型生成器103产生，该概率模型生成器103能够被实行在对象识别系统100的(一个或多个)处理器104上。在其它示例中，概率模型生成器103能够被实行在与对象识别器102不同的系统中。在这样的后面示例中，由概率模型生成器103生成的概率模型106能够从在其中概率模型生成器103实行的系统被对象识别系统100接收。
对象描述符数据库116也能够被存储在对象识别系统的存储介质(多个存储介质)108中。可替代地，对象描述符数据库116能够被存储在对象识别系统100外面的存储子系统中。对象描述符数据库116含有各种不同对象的模型。每个对象模型含有对应对象的描述符(其描述点特征或其它类型的特征)。
对象识别器102能够从图像110中提取点特征，并且能够将提取的点特征与对象描述符数据库116中的对象模型的对应点特征相比以确定特定对象(从由对象模型表示的对象之中)是否存在于图像110中。
图2是依据一些实施方式的能够被对象识别器102执行的过程。该过程(在202处)提供概率模型106。提供概率模型106能够包含：(1)在对象识别系统100中通过概率模型生成器103生成概率模型106，或者(2)从另一个系统通过对象识别系统100接收概率模型106。
图2的过程(在204处)进一步使用概率模型106来检测特定对象是否在图像110中。对象识别器102能够确定图像110与对象描述符数据库116中的对象的相应模型之间的点对应数目。如上面指出的，点对应指代图像110的点特征与如由对象模型表示的对象的对应点特征之间的匹配。
在一些实施方式中，对象识别器102能够使用相应概率模型106将点对应数目映射到概率值，该概率值然后能够与概率阈值相比。在概率值超过预定概率阈值的情况下能够指示匹配(指示在图像110中检测到对应对象)。
在替代实施方式中，针对特定对象，相应概率模型能够被用来将预定概率阈值映射到相应数目阈值。数目阈值指定点对应数目，在该点对应数目以上指示对象与图像110的匹配。为了检测特定对象是否存在于图像110中，将图像110与特定对象的对象模型之间的点对应数目与由概率模型映射的数目阈值相比，并且在点对应数目超过数目阈值的情况下指示匹配。
在进一步实施方式中，概率模型能够引入关于照相机姿态的信息。在这样的实施方式中，概率值与点对应数目之间的映射能够取决于照相机与对象的相对姿态而不同。
图3是依据进一步实施方式的能够由对象识别器102执行的过程。对象识别器102(在302处)接收图像110。然后，对象识别器102(在304处)从图像中提取点特征。
针对对象描述符数据库116中的多个对象模型中的每个执行图3的下面任务。针对相应对象的模型i，(在306处)从图像110中提取的点特征被匹配到对象描述符数据库116中的模型i中的描述符。针对每个模型i，在306处执行的匹配标识一组点对应。
然后，对象识别器102(在308处)标识该组中的点对应的子集，其中子集中的点对应是与对象的给定视图相一致的那些点对应。可能存在对应于捕获图像110的照相机的多个可能相对姿态(姿态能够通过距离和角度定义)的对象的多个可能视图。
该组点对应包含针对相应不同视图的点对应是可能的。该组点对应可以含有失配，从而导致与相应不同视图相一致的点对应的不同子集。在一些实施方式中，在308处标识的子集是最大子集，其是具有与对象的给定视图相一致的点对应的最大数目的子集。该最大子集和相关联的给定视图也将提供相对于对象的照相机姿态(例如，距离和角度)。
点对应的最大子集的标识能够使用几何一致性程序。假如在306处基于将图像110匹配到对象描述符数据库116中的模型i来识别该组点对应，则几何一致性技术尝试选择与对象的单个视图相一致的点对应的最大子集。
在一些示例中，几何一致性技术能够是RANSAC(随机采样一致)技术。下面关于图5来讨论示例RANSAC技术。
然后，对象识别器102(在310处)针对由模型i表示的对象的类型使用相应概率模型106(图1)以确定由模型i表示的对象在图像110中是否已经被检测到。如上面指出的，存在做出该确定的几个替代的技术。在一些实施方式中，对象识别器102能够使用相应概率模型106以将在308处标识的最大子集中的点对应数目映射为概率值，该概率值然后能够与概率阈值相比。在概率值超过概率阈值的情况下能够指示匹配。
在替代实施方式中，针对模型i，相应概率模型106能够被用来将预定概率阈值映射到相应数目阈值(在其以上指示匹配的点对应数目)。对象识别器102能够将在308处标识的最大子集中的点对应数目与对于模型i的数目阈值相比以确定是否存在匹配。在一些情况下，给定的概率阈值可能通过概率模型不可映射到数目阈值。在这样的情况下，对象在指定置信度的情况下可以被视为不可检测。
如果对象识别器(在312处)确定图像110与由模型i表示的对象之间的匹配在310处被指示，则过程能够停止。如果匹配不被指示，则图3的过程能够通过更新i(在314处)进行到对象描述符数据库116中的下一个模型。
图4描绘依据一些实施方式的针对对象的特定类型(被称为“训练对象”)来建立概率模型106的示例过程。该过程例如能够被图1的概率模型生成器103执行。能够针对对象的多个不同类型中的每个来反复图4的过程以建立相应概率模型。
在替代实施方式中，取代针对对象的不同类型建立不同概率模型，能够产生一个概率模型，其中该概率模型能够针对对象的不同类型来执行概率值与点对应的相应数目之间的不同转换。
在图4的过程中，概率模型生成器103(在400处)接收训练对象。(在402处)提取训练对象的点特征，并且这样提取的特征被存储在对象描述符数据库116中的训练对象的模型中。
图4的过程也(在404处)生成训练对象的许多模拟视图。模拟视图是对应于照相机相对于训练对象的不同姿态的视图。例如，透视或仿射翘曲(warp)能够被采用来计算模拟视图。
(在406处)从训练对象的模拟视图中的每个提取点特征。针对每个模拟视图提取的特征然后(在408处)被匹配到对象描述符数据库116中的对象模型。在408处执行的匹配使用在图3中描绘的对象识别程序的修改形式，如下面进一步解释的。在408处的匹配的输出产生各种统计，所述各种统计(在410处)被获得。统计的相应收集通过模拟视图中的每个到对象描述符数据库116中的对象模型的匹配而被输出。如下面进一步讨论的，这样的统计能够包含平均值和方差值。
在408处执行的匹配基于训练对象存在(因为模拟视图是含有训练对象的不同视图的图像)的标注数据(ground truth)。因此，在410处获得的统计是针对匹配的统计。
此外，在图4的过程中提供分离的子流程，其中匹配关于参考图像(在参考图像的库412中含有)来执行，该参考图像已知不包含训练对象。图4的过程(在414处)从参考图像中的每个提取点特征。针对每个参考图像，(在416处)将提取的特征匹配到对象描述符数据库116中的相应对象模型。在416处执行的匹配使用在图3中描绘的对象识别程序的修改形式，如下面进一步解释的。
(在418处)获得基于在416处将相应参考图像匹配到对象模型而输出的多个统计的相应收集。在416处执行的匹配基于如下标注数据：应当不存在到对象描述符数据库116中的对应对象的匹配。因此，在418处获得的统计是针对不匹配的统计。如下面进一步讨论的，这样的统计能够包含平均值和方差值。
在410和418处获得的统计然后(在420处)被组合以针对训练对象建立概率模型(下面进一步讨论)。在一些实施方式中，概率模型能够被用来(在422处)从概率阈值确定数目阈值，其中数目阈值能够被用在图2或3的对象识别程序中。计算的数目阈值然后(在424处)被存储用于后面使用。
在其中图2或3的对象识别程序执行与概率阈值的比较的替代实施方式中，任务422和424能够被忽略，而任务410、418和420仍然被执行。
下面依据一些实施方式讨论在420处建立的示例概率模型。概率模型具有下面随机变量：M(对象描述符数据库116中的对象的标注数据指数)、O(对象描述符数据库116中的对象的经验指数)、以及N(观察到与对象相一致的内点(inlier)数目)。能够为M和N指定(一个或多个)预定义值以指示没有对象(这样的预定义值的示例能够是-1或某一其它值)。
内点能够指代图像的点特征与对象的模型的点特征之间的点对应。N能够表示这样的点对应的数目。更一般地说，内点能够指代图像的特征与对象模型的特征之间的任何对应(匹配)。
标注数据指数M是对象描述符数据库116中的、表示实际在图像中的对象的模型的标识符。经验指数O是对象描述符数据库116中的、表示对象识别程序相信该程序正看到的对象的模型的标识符。
在图3中在308处应用的几何一致性程序输出针对O和N的值。概率模型能够被表示为条件概率P(M＝m|O＝m，N＝n)，其中概率模型提供照相机实际正看到对象(M＝m)的概率，给定测量O(＝m)以及N(＝n)。
应用贝叶斯定理两次，条件概率P(M＝m|O＝m，N＝n)能够被导出如下：
通过对M忽略分母中的第一项并且简化，获得下面：
其中
用于导出条件概率P(M＝m|O＝m，N＝n)的上面方程的每项下面被描述。
P(M＝m)是针对对象m的先验概率。这在一些示例中能够被假定针对所有对象相同。先验概率P(M＝m)表达在数据被接收之前关于对象m的概率的不确定性。
给定正确观察的对象m，P(N＝n|M＝m，O＝m)是得到n个内点的概率。该概率能够从在图4中在410处获得的对象m的模拟视图的统计来估计。在一些示例中，高斯分布能够被假定具有由用于从对象的模拟视图进行正确检测的内点的经验平均数目估计的平均值。方差也能够以这种方式来估计。在其它示例中，方差能够被设定等于平均值。将方差设定等于平均值是可接受的，因为这是泊松分布的限制。
给定上面情况，概率P(N＝n|M＝m，O＝m)被导出如下：
其中μ1(m)是用于对象m的正确匹配的内点的经验平均数目。在该示例中，μ1(m)连同对应的变量一起是在410处获得的统计。前面方程假定平均值等于方差。
P(O＝m|M＝m)是正确观察到对象m的概率。这能够从对象的模拟视图的统计(在410处获得)中估计。在一些示例中，概率能够仅是成功的检测的分数(换言之，模拟视图到相应对象模型的成功匹配数目与执行的总匹配数目的比率)。
P(M≠m)是针对对象m的先验概率P(M＝m)的补数。更具体地，P(M≠m)＝1-P(M＝m)。
P(N＝n|M≠m，O＝m)是针对与对象m的错误匹配获得n个内点的概率；换言之，在对象m事实上不在图像中时的概率。这能够从通过将参考图像与针对对象m的对象模型匹配(在418处获得)的统计来估计。该过程能够使用与上面指出的相同高斯模型以导出下面：
其中μ2(m)是针对与对象m的错误匹配的内点的经验平均数目。在前面示例中，μ2(m)连同相关联的方差一起能够是在418处获得的统计。前面方程假定平均值等于方差。
根据上面情况，概率模型提供对象m在图像中的概率与内点数目n之间的映射。如上面解释的，该映射能够被用来将针对对象的内点数目转换成为要与概率阈值相比的概率值，该概率阈值能够针对所有对象是相同的。可替代地，通过应用逆向映射，概率阈值能够被转换成为内点计数阈值，所述内点计数阈值对于每个模型是不同的。
图5是根据一些实施方式的几何一致性程序的流程图。图5描绘RANSAC(随机采样一致)技术。如上面讨论的，几何一致性程序在图3的对象识别程序中在308处被执行用于将图像匹配到由对象描述符数据库116的模型表示的对象。
(在502处)得分Best_Score被初始化为零(或某一其它初始值)。(在504处)选择p个(其中p能够是三或某一其它值)点对应的随机样本。该样本然后被用来诸如通过使用三点姿态技术生成上至三个候选照相机姿态。在三点姿态技术中，三个几何点能够产生照相机的多个姿态。
对于每个候选照相机姿态，下面针对每个点对应来执行。注意的是，点对应与图像中的点特征和由对象描述符数据库116的模型表示的对象中的匹配点特征相关联。(在506处)对象中的点特征的位置使用候选照相机姿态来再投影。再投影有效地修改要与候选照相机姿态相一致的对象中的点特征的位置。
(在508处)然后计算对象中的再投影点特征与图像中的对应点特征的观察位置之间的距离，其中该距离被称为再投影误差。(在510处)将再投影误差与误差阈值相比。该过程将与在误差阈值以下的再投影误差相关联的点对应标识为内点。
针对在随机样本(其具有p个点对应)中的其它点对应中的每个来重复任务506、508和510。
过程接着(在512处)计数具有在误差阈值以下的再投影误差的点对应的数目。该计数的数目是得分。如果计数的得分大于当前最佳得分Best_Score，则Best_Score(在514处)被更新到计数的得分。而且，与最高计数的得分相关联的候选照相机姿态至此(在516处)被记录。
前面任务被重复直到停止的标准(在518处)被确定已经被满足，其中停止的标准能够是最佳得分Best_Score超过预定义阈值，或者重复的指定数目已经被执行。如果停止的标准不被满足，则任务504至518被反复，其中任务504将会选择p个点对应的另一个随机样本。
在停止的标准被满足之后，则最佳的照相机姿态连同表示内点数目的对应计数的得分一起被确定(如在516处记录的)。
如上面指出的，在408或416处执行的匹配使用在图3中描绘的对象识别程序的修改形式。在修改的对象识别程序中，在图3中在308处执行的几何一致性程序使用零(或某一其它低值)的误差阈值，这将会导致在图5中描述的过程中的内点的更大数目的检测。
上面描述的模块(包含图1的对象识别器102和概率模型生成器103)的机器可读指令被加载用于在一个或多个处理器(诸如图1中的104)上实行。处理器能够包含微处理器、微控制器、处理器模块或子系统、可编程集成电路、可编程门阵列、或另一个控制或计算装置。
数据和指令被存储在相应存储装置中，该相应存储装置被实施为一个或多个计算机可读或机器可读存储介质。存储介质包含不同形式的存储器，其包含半导体存储器装置诸如动态或静态随机存取存储器(DRAM或SRAM)、可擦除和可编程只读存储器(EPROM)、电可擦除和可编程只读存储器(EEPROM)和闪速存储器；磁盘诸如固定磁盘、软盘和可移动磁盘；包含磁带的其它磁介质；光学介质诸如光盘(CD)或数字视频光盘(DVD)；或其它类型的存储装置。注意的是，上面讨论的指令能够被提供在一个计算机可读或机器可读存储介质上，或者可替代地，能够被提供在分布在可能具有多个节点的大系统中的多个计算机可读或机器可读存储介质上。这样的一个或多个计算机可读或机器可读存储介质被认为是物品(或制品)的部分。物品或制品能够指代任何制造的单个部件或多个部件。一个或多个存储介质能够位于运行机器可读指令的机器中，或者位于远程站点，机器可读指令能够从该远程站点经过网络被下载用于实行。
在前面描述中，许多细节被阐明来提供在本文中公开的主题的理解。然而，实施方式可以在没有这些细节中的一些或所有的情况下被实践。其它实施方式可以包含对上面讨论的细节的修改和变化。意在所附权利要求覆盖这样的修改和变化。

Claims (15)

1.一种用于对象识别的方法，包括：
由具有处理器的系统提供基于以下项的概率模型：
基于给定对象存在于所述给定对象的模拟视图中的标注数据而将所述给定对象匹配到所述给定对象的模拟视图的匹配程序的输出；和
基于已知参考图像不包括所述给定对象的标注数据而将所述给定对象匹配到所述参考图像的匹配程序的输出，
其中，在给定所述匹配程序的输出的情况下，所述概率模型提供对象存在于视觉数据中的概率；以及
由所述系统使用所述概率模型来检测特定对象是否实际存在于接收的视觉数据中。
2.如权利要求1所述的方法，其中提供概率模型包括在所述系统处建立概率模型。
3.如权利要求1所述的方法，其中提供概率模型包括在系统处从另一个系统接收概率模型。
4.如权利要求1所述的方法，其中将所述给定对象匹配到已知不包括所述给定对象的参考图像的匹配程序的输出包含对未匹配的统计。
5.如权利要求1所述的方法，其中所述给定对象的模拟视图是由处理器生成的并且对应于照相机相对于所述给定对象的不同姿态。
6.如权利要求1所述的方法，其中使用概率模型包括：
确定接收的视觉数据与对象的表示中的对应一个之间的匹配特征的数目；
响应于确定的匹配特征的数目，通过概率模型来计算概率值；以及
将概率值与预定概率阈值相比。
7.如权利要求1所述的方法，其中使用概率模型包括：
确定接收的视觉数据与对象的表示中的对应一个之间的匹配特征的数目；
响应于预定义概率阈值，通过概率模型来计算数目阈值；以及
将确定的匹配特征的数目与数目阈值相比。
8.如权利要求1所述的方法，进一步包括：
针对附加对象提供附加概率模型；以及
使用附加概率模型来检测附加对象是否存在于接收的视觉数据中。
9.如权利要求8所述的方法，其中使用概率模型来检测对象存在于相应视觉数据中采用概率阈值。
10.一种用于对象识别的物品，包括存储指令的至少一个机器可读存储介质，所述指令在执行时使系统：
接收给定对象；
将给定对象的特征匹配到所述给定对象的模拟视图的特征；
将所述给定对象的特征匹配到不包含所述给定对象的特征的参考图像的特征；以及
建立基于将所述给定对象的特征匹配到所述给定对象的模拟视图的特征的输出以及将所述给定对象的特征匹配到参考图像的特征的输出的概率模型，其中所述概率模型在对象识别程序中可用以确定对象是否在视觉数据中。
11.如权利要求10所述的物品，其中所述给定对象的模拟视图是由系统生成的并且对应于照相机相对于所述给定对象的不同姿态。
12.如权利要求10所述的物品，其中在给定了在给定对象和给定对象的模拟视图之间的匹配特征的数目以及在给定对象和不包括给定对象的特征的参考图像之间的匹配特征的数目的情况下，所述概率模型提供给定对象在视觉数据中的条件概率。
13.如权利要求10所述的物品，其中所述指令在执行时使系统进一步：
接收视觉数据；
确定视觉数据与对象的给定表示之间的匹配特征的数目；以及
使用概率模型和确定的匹配特征的数目来确定由给定表示所表示的对象是否存在于视觉数据中。
14.如权利要求13所述的物品，其中使用概率模型是基于概率阈值的。
15.一种用于对象识别的系统，包括：
至少一个处理器，用于：
提供基于将给定对象匹配到所述给定对象的模拟视图的匹配程序的输出和将给定对象匹配到已知不包括所述给定对象的参考图像的匹配程序的输出的概率模型，在给定了在对象和对象的模拟视图之间的匹配特征的数目以及在对象和不包括对象的特征的参考图像之间的匹配特征的数目的情况下，所述概率模型提供对象存在于视觉数据中的概率；以及
使用概率模型来检测特定对象是否存在于接收的视觉数据中。
CN201280077632.7A 2012-10-11 2012-10-11 使用概率模型在视觉数据中检测对象 Active CN105164700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911254619.4A CN110909825A (zh) 2012-10-11 2012-10-11 使用概率模型在视觉数据中检测对象

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/070159 WO2014056537A1 (en) 2012-10-11 2012-10-11 Using a probabilistic model for detecting an object in visual data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911254619.4A Division CN110909825A (zh) 2012-10-11 2012-10-11 使用概率模型在视觉数据中检测对象

Publications (2)

Publication Number Publication Date
CN105164700A CN105164700A (zh) 2015-12-16
CN105164700B true CN105164700B (zh) 2019-12-24

Family

ID=47177911

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911254619.4A Pending CN110909825A (zh) 2012-10-11 2012-10-11 使用概率模型在视觉数据中检测对象
CN201280077632.7A Active CN105164700B (zh) 2012-10-11 2012-10-11 使用概率模型在视觉数据中检测对象

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911254619.4A Pending CN110909825A (zh) 2012-10-11 2012-10-11 使用概率模型在视觉数据中检测对象

Country Status (4)

Country Link
US (6) US9594942B2 (zh)
EP (1) EP2907082B1 (zh)
CN (2) CN110909825A (zh)
WO (1) WO2014056537A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2907082B1 (en) * 2012-10-11 2018-07-18 OpenText Corporation Using a probabilistic model for detecting an object in visual data
CN102957800B (zh) 2012-11-12 2014-05-21 北京小米科技有限责任公司 一种移动终端待机方法及装置
US20140232748A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. Device, method and computer readable recording medium for operating the same
US10296814B1 (en) * 2013-06-27 2019-05-21 Amazon Technologies, Inc. Automated and periodic updating of item images data store
US9904744B2 (en) 2014-09-23 2018-02-27 International Business Machines Corporation Probabilistic simulation scenario design by using multiple conditional and nested probability distribution input functions
WO2016153479A1 (en) * 2015-03-23 2016-09-29 Longsand Limited Scan face of video feed
US10169684B1 (en) 2015-10-01 2019-01-01 Intellivision Technologies Corp. Methods and systems for recognizing objects based on one or more stored training images
JP6348093B2 (ja) * 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
JP6528723B2 (ja) * 2016-05-25 2019-06-12 トヨタ自動車株式会社 物体認識装置、物体認識方法及びプログラム
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
US20190035104A1 (en) * 2017-07-25 2019-01-31 Motionloft, Inc. Object detection and tracking
US10796452B2 (en) 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling
WO2019108250A1 (en) * 2017-12-03 2019-06-06 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
US10586350B2 (en) 2017-12-03 2020-03-10 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
US10665028B2 (en) * 2018-06-04 2020-05-26 Facebook, Inc. Mobile persistent augmented-reality experiences
US10521963B1 (en) * 2018-06-08 2019-12-31 Verizon Patent And Licensing Inc. Methods and systems for representing a pre-modeled object within virtual reality data
US10937150B2 (en) * 2018-06-28 2021-03-02 General Electric Company Systems and methods of feature correspondence analysis
CN113272713A (zh) * 2018-11-15 2021-08-17 奇跃公司 用于执行自改进的视觉测程法的系统和方法
CN111582305B (zh) * 2020-03-26 2023-08-18 平安科技（深圳）有限公司 生物特征识别方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101765019A (zh) * 2008-12-25 2010-06-30 北京大学 一种用于运动模糊和光照变化图像的立体匹配方法
WO2011161084A2 (en) * 2010-06-25 2011-12-29 Telefonica, S.A. Method and system for fast and robust identification of specific products in images

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850470A (en) * 1995-08-30 1998-12-15 Siemens Corporate Research, Inc. Neural network for locating and recognizing a deformable object
US5943435A (en) * 1997-10-07 1999-08-24 Eastman Kodak Company Body part recognition in radiographic images
US6618490B1 (en) * 1999-09-16 2003-09-09 Hewlett-Packard Development Company, L.P. Method for efficiently registering object models in images via dynamic ordering of features
US6597801B1 (en) * 1999-09-16 2003-07-22 Hewlett-Packard Development Company L.P. Method for object registration via selection of models with dynamically ordered features
US6741756B1 (en) * 1999-09-30 2004-05-25 Microsoft Corp. System and method for estimating the orientation of an object
US7280697B2 (en) * 2001-02-01 2007-10-09 California Institute Of Technology Unsupervised learning of object categories from cluttered images
US6829384B2 (en) * 2001-02-28 2004-12-07 Carnegie Mellon University Object finder for photographic images
US6493620B2 (en) * 2001-04-18 2002-12-10 Eaton Corporation Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
US7289662B2 (en) * 2002-12-07 2007-10-30 Hrl Laboratories, Llc Method and apparatus for apparatus for generating three-dimensional models from uncalibrated views
US6912298B1 (en) * 2003-08-11 2005-06-28 Adobe Systems Incorporation Object detection using dynamic probability scans
US7587064B2 (en) * 2004-02-03 2009-09-08 Hrl Laboratories, Llc Active learning system for object fingerprinting
US20050223031A1 (en) * 2004-03-30 2005-10-06 Andrew Zisserman Method and apparatus for retrieving visual object categories from a database containing images
US8345988B2 (en) * 2004-06-22 2013-01-01 Sri International Method and apparatus for recognizing 3-D objects
WO2006002320A2 (en) * 2004-06-23 2006-01-05 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
US8908766B2 (en) * 2005-03-31 2014-12-09 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US7548637B2 (en) * 2005-04-07 2009-06-16 The Board Of Trustees Of The University Of Illinois Method for detecting objects in an image using pair-wise pixel discriminative features
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
EP1897033A4 (en) * 2005-06-16 2015-06-24 Strider Labs Inc SYSTEM AND METHOD FOR RECOGNIZING 2D IMAGES USING 3D CLASS MODELS
US7545954B2 (en) * 2005-08-22 2009-06-09 General Electric Company System for recognizing events
US7865492B2 (en) * 2005-09-28 2011-01-04 Nokia Corporation Semantic visual search engine
US7519201B2 (en) * 2005-10-28 2009-04-14 Honda Motor Co., Ltd. Detecting humans via their pose
US20080260254A1 (en) * 2005-12-22 2008-10-23 Koninklijke Philips Electronics, N.V. Automatic 3-D Object Detection
US7840825B2 (en) 2006-10-24 2010-11-23 International Business Machines Corporation Method for autonomous dynamic voltage and frequency scaling of microprocessors
US20080112593A1 (en) * 2006-11-03 2008-05-15 Ratner Edward R Automated method and apparatus for robust image object recognition and/or classification using multiple temporal views
WO2008075359A2 (en) * 2006-12-21 2008-06-26 Yeda Research And Development Co. Ltd. Method and apparatus for matching local self-similarities
US7885794B2 (en) * 2007-11-30 2011-02-08 Xerox Corporation Object comparison, retrieval, and categorization methods and apparatuses
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US8090212B1 (en) * 2007-12-21 2012-01-03 Zoran Corporation Method, apparatus, and system for reducing blurring of an image using multiple filtered images
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
AU2008200966B2 (en) * 2008-02-28 2012-03-15 Canon Kabushiki Kaisha Stationary object detection using multi-mode background modelling
CN101251898B (zh) 2008-03-25 2010-09-15 腾讯科技（深圳）有限公司 一种肤色检测方法及装置
US8995758B1 (en) * 2008-06-20 2015-03-31 Google Inc. Classifying false positive descriptors
CN101359372B (zh) * 2008-09-26 2011-05-11 腾讯科技（深圳）有限公司 分类器的训练方法及装置、识别敏感图片的方法及装置
GB0818561D0 (en) * 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
AU2010209473B2 (en) 2009-01-28 2014-06-12 Bae Systems Plc Detecting potential changed objects in images
US20110235910A1 (en) * 2009-06-30 2011-09-29 Omri Soceanu Method circuit and system for matching an object or person present within two or more images
WO2011065952A1 (en) * 2009-11-30 2011-06-03 Hewlett-Packard Development Company, L.P. Face recognition apparatus and methods
CN102763123B (zh) * 2009-12-02 2015-03-25 高通股份有限公司 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
US8306314B2 (en) * 2009-12-28 2012-11-06 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of objects
US20110208685A1 (en) * 2010-02-25 2011-08-25 Hariraam Varun Ganapathi Motion Capture Using Intelligent Part Identification
US8565538B2 (en) * 2010-03-16 2013-10-22 Honda Motor Co., Ltd. Detecting and labeling places using runtime change-point detection
EP2561464B1 (en) * 2010-04-21 2018-12-26 BAE Systems PLC Classification of range profiles
US8532399B2 (en) * 2010-08-20 2013-09-10 Xerox Corporation Large scale image classification
US20120045132A1 (en) * 2010-08-23 2012-02-23 Sony Corporation Method and apparatus for localizing an object within an image
EP2423873B1 (en) 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane
CN102034274A (zh) * 2010-12-10 2011-04-27 中国人民解放军国防科学技术大学 3d点云序列中帧与帧之间对应关系的计算方法
KR101760258B1 (ko) * 2010-12-21 2017-07-21 삼성전자주식회사 얼굴 인식 장치 및 그 방법
EP2659335A4 (en) * 2010-12-29 2016-05-18 Thomson Licensing SYSTEM AND METHOD FOR RECOGNIZING GESTURES
JP5734460B2 (ja) * 2011-01-25 2015-06-17 テレコム・イタリア・エッセ・ピー・アー 画像を比較するための方法およびシステム
US8953888B2 (en) * 2011-02-10 2015-02-10 Microsoft Corporation Detecting and localizing multiple objects in images using probabilistic inference
US8942917B2 (en) * 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8594385B2 (en) * 2011-04-19 2013-11-26 Xerox Corporation Predicting the aesthetic value of an image
US8995775B2 (en) * 2011-05-02 2015-03-31 Facebook, Inc. Reducing photo-tagging spam
US9711182B2 (en) * 2011-06-07 2017-07-18 In Situ Media Corporation System and method for identifying and altering images in a digital video
CN102236798B (zh) * 2011-08-01 2012-12-05 清华大学 一种图像匹配方法及其装置
GB201113633D0 (en) * 2011-08-08 2011-09-21 Vision Semantics Ltd User-primed iterative discovery of object associations in distributed multi-source data
CN102509308A (zh) * 2011-08-18 2012-06-20 上海交通大学 基于混合动态纹理空时显著性检测的运动分割方法
US8824797B2 (en) * 2011-10-03 2014-09-02 Xerox Corporation Graph-based segmentation integrating visible and NIR information
US8866924B2 (en) * 2011-10-28 2014-10-21 Hewlett-Packard Development Company, L.P. Local image feature descriptors according to circular distribution information
EP2907082B1 (en) 2012-10-11 2018-07-18 OpenText Corporation Using a probabilistic model for detecting an object in visual data
US9665800B1 (en) * 2012-10-21 2017-05-30 Google Inc. Rendering virtual views of three-dimensional (3D) objects
WO2014086435A1 (en) * 2012-12-07 2014-06-12 Longsand Limited Matching a feature of captured visual data
US20160086334A1 (en) * 2013-03-26 2016-03-24 Nokia Technologies Oy A method and apparatus for estimating a pose of an imaging device
US9424461B1 (en) * 2013-06-27 2016-08-23 Amazon Technologies, Inc. Object recognition for three-dimensional bodies
US20150095360A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Multiview pruning of feature database for object recognition system
US10417552B2 (en) 2014-03-25 2019-09-17 Nanyang Technological University Curiosity-based emotion modeling method and system for virtual companions
WO2015192246A1 (en) * 2014-06-19 2015-12-23 Bitlit Media Inc Method and system for identifying books on a bookshelf
JP2018501556A (ja) * 2014-11-27 2018-01-18 ロングサンド リミテッド 複数のバイナリサポートベクターマシンによるクラスの事後確率の計算
CN107004002A (zh) * 2014-12-02 2017-08-01 隆沙有限公司 根据结构化数据项的集合生成非结构化搜索查询

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101765019A (zh) * 2008-12-25 2010-06-30 北京大学 一种用于运动模糊和光照变化图像的立体匹配方法
WO2011161084A2 (en) * 2010-06-25 2011-12-29 Telefonica, S.A. Method and system for fast and robust identification of specific products in images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Local Feature View Clustering for 3D Object Recognition;David G. Lowe 等;《Computer Vision and Pattern Recognition》;20030415;I682-688，第4节第2段，倒数第2段，第5节第3段，第6段，最后1段以及图1 *

Also Published As

Publication number Publication date
EP2907082A1 (en) 2015-08-19
US20170140242A1 (en) 2017-05-18
CN105164700A (zh) 2015-12-16
US9892339B2 (en) 2018-02-13
US10699158B2 (en) 2020-06-30
US20200293817A1 (en) 2020-09-17
US20180129907A1 (en) 2018-05-10
US11341738B2 (en) 2022-05-24
US20150278579A1 (en) 2015-10-01
EP2907082B1 (en) 2018-07-18
US9594942B2 (en) 2017-03-14
US20190362181A1 (en) 2019-11-28
US10417522B2 (en) 2019-09-17
CN110909825A (zh) 2020-03-24
WO2014056537A1 (en) 2014-04-17
US20220277543A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
CN105164700B (zh) 使用概率模型在视觉数据中检测对象
US10936911B2 (en) Logo detection
CN110473232B (zh) 图像识别方法、装置、存储介质及电子设备
CN111780764B (zh) 一种基于视觉地图的视觉定位方法、装置
US10248854B2 (en) Hand motion identification method and apparatus
US8885923B2 (en) Feature point selecting system, feature point selecting method and feature point selecting program
CN111795704A (zh) 一种视觉点云地图的构建方法、装置
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
US11145080B2 (en) Method and apparatus for three-dimensional object pose estimation, device and storage medium
US9076075B2 (en) Method and device for following an object in a sequence of at least two images
WO2013102488A1 (en) Method and system for comparing images
CN111428805B (zh) 显著性物体的检测方法、模型、存储介质及电子设备
CN111124863B (zh) 智能设备性能测试方法、装置及智能设备
CN116883636A (zh) 一种用于机器学习的图片的获取方法、装置、设备终端和可读存储介质
Bermudez et al. Comparison of natural feature descriptors for rigid-object tracking for real-time augmented reality
Winder Pipelines for Image Matching and Recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161009

Address after: Ontario, Canada

Applicant after: Open Information Corporation

Address before: Bracknell

Applicant before: LONGSAND LIMITED

CB02 Change of applicant information

Address after: Ontario, Canada

Applicant after: Kai Wen company

Address before: Ontario, Canada

Applicant before: Open Information Corporation

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant