CN102918545B - 用于视觉搜索稳定性的方法和装置 - Google Patents

用于视觉搜索稳定性的方法和装置 Download PDF

Info

Publication number
CN102918545B
CN102918545B CN201180025839.5A CN201180025839A CN102918545B CN 102918545 B CN102918545 B CN 102918545B CN 201180025839 A CN201180025839 A CN 201180025839A CN 102918545 B CN102918545 B CN 102918545B
Authority
CN
China
Prior art keywords
matching result
object matching
confidence
images match
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180025839.5A
Other languages
English (en)
Other versions
CN102918545A (zh
Inventor
高江
M·雅各布
P·施洛特尔
P·吕奥蒂南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102918545A publication Critical patent/CN102918545A/zh
Application granted granted Critical
Publication of CN102918545B publication Critical patent/CN102918545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

提供用于视觉搜索稳定性的各种方法。一种示例方法包括确定用于在视频帧中描绘的所捕获对象的多个图像匹配距离,其中每个图像匹配距离指示在所捕获对象与相应对象匹配结果之间的匹配质量。示例方法还包括:在候选池中包括在候选区域中具有图像匹配距离的对象匹配结果的指示;丢弃在非候选区域中具有图像匹配距离的对象匹配结果;以及分析在潜在候选区域中带有图像匹配距离的对象匹配结果以在候选池中包括在潜在候选区域中带有图像匹配距离的选择对象匹配结果的指示。也提供相似和有关示例方法以及示例装置。

Description

用于视觉搜索稳定性的方法和装置
技术领域
本发明的实施例总体涉及对象识别,并且更具体地涉及一种用于稳定视觉搜索的结果的方法和装置。
背景技术
随着数字相机变得越来越可用并且集成到移动计算和通信设备中,用于经由捕获的图像数据的数据录入的机会继续被利用并且演变。移动计算设备可以被配置成例如实时捕获图像数据并且关于所捕获的图像数据向用户提供功能。例如可以经由视觉搜索来分析图像数据以确定在图像数据中描绘的对象的身份(identity)。对象的身份可以采用文本数据的形式,该文本数据可以用来向用户提供标签反馈或者基于文本数据执行因特网的搜索。然而在一些情况下,由于摇晃的拍摄者、迥异的照明条件等,所以视觉搜索的结果作为多次迭代分析的结果可能不稳定并且有时不可靠。
发明内容
这里描述了提供用于视觉搜索稳定性和向用户的改进接口反馈的示例方法和示例装置。一种示例方法包括确定用于在视频帧中描绘的所捕获对象的多个图像匹配距离,其中每个图像匹配距离指示在所捕获对象与相应对象匹配结果之间的匹配质量。示例方法还包括:在候选池中包括在候选区域中具有图像匹配距离的对象匹配结果的指示;丢弃在非候选区域中具有图像匹配距离的对象匹配结果;以及分析在潜在候选区域中带有图像匹配距离的对象匹配结果以在候选池中包括在潜在候选区域中带有图像匹配距离的选择对象匹配结果的指示。
另一附加示例实施例是一种配置用于视觉搜索稳定性的装置。示例装置包括:至少一个处理器;以及包括计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置成利用至少一个处理器促使装置执行各种功能。可以促使示例装置执行确定在视频帧中描绘的所捕获对象的多个图像匹配距离,其中每个图像匹配距离指示在捕获的对象与相应对象匹配结果之间的匹配质量。也可以使示例装置执行:在候选池中包括在候选区域中具有图像匹配距离的对象匹配结果的指示;丢弃在非候选区域中具有图像匹配距离的对象匹配结果;并且分析在潜在候选区域中带有图像匹配距离的对象匹配结果,以在候选池中包括在潜在候选区域中带有图像匹配距离的选择对象匹配结果的指示。
另一示例实施例是一种包括计算机可读存储介质的计算机程序产品,计算机可读存储介质具有存储于其上的程序代码,其中执行程序代码促使装置执行各种功能。执行计算机程序代码可以促使装置执行确定在视频帧中描绘的所捕获对象的多个图像匹配距离,其中每个图像匹配距离指示在捕获的对象与相应对象匹配结果之间的匹配质量。执行计算机程序代码也可以使装置执行:在候选池中包括在候选区域中具有图像匹配距离的对象匹配结果的指示;丢弃在非候选区域中具有图像匹配距离的对象匹配结果;以及分析在潜在候选区域中带有图像匹配距离的对象匹配结果以在候选池中包括在潜在候选区域中带有图像匹配距离的选择对象匹配结果的指示。
另一示例装置包括包括用于确定在视频帧中描绘的所捕获对象的多个图像匹配距离的装置,其中每个图像匹配距离指示在捕获的对象与相应对象匹配结果之间的匹配质量。示例装置还可以包括:用于在候选池中包括在候选区域中具有图像匹配距离的对象匹配结果的指示的装置;用于丢弃在非候选区域中具有图像匹配距离的对象匹配结果的装置;以及用于分析在潜在候选区域中带有图像匹配距离的对象匹配结果以在候选池中包括在潜在候选区域中带有图像匹配距离的选择对象匹配结果的指示的装置。
附图说明
已经这样用一般术语描述本发明的实施例,现在将参照未必按比例绘制的以下附图:
图1a图示了根据本发明一个示例实施例的图像捕获事件;
图1b图示了根据本发明一个示例实施例的对象匹配结果表示的显示;
图2是根据本发明一个示例实施例的用于确定要提供的对象匹配结果的流程图;
图3图示了根据本发明一个示例实施例的图像匹配距离的排序图;
图4图示了根据一些示例实施例的潜在候选图像匹配距离的聚类;
图5a和5b图示了根据一些示例实施例的自适应阈值的应用;
图6是根据一些示例实施例的用于锁存对象匹配结果表示的显示的流程图;
图7是根据本发明一个示例实施例的用于视觉搜索稳定性的装置和相关联系统的框图;
图8图示了根据本发明一个示例实施例的配置用于视觉搜索稳定性的移动终端的框图;并且
图9是根据本发明一个示例实施例的用于视觉搜索稳定性的示例方法的流程图。
具体实施方式
现在下文将参照附图更完全描述本发明的示例实施例,在这些附图中示出了本发明的一些、但是并非所有实施例。实际上,本发明可以以许多不同形式来实现而不应解释为限于这里阐述的实施例;实际上,提供这些实施例从而本公开内容将满足适当的法律要求。相似标号通篇指代相似要素。根据本发明的一些示例实施例,术语“数据”、“内容”、“信息”和相似术语可以可互换地用来指代能够发送、接收、被操作和/或存储的数据。
如这里所用,术语‘电路’指代所有以下各项:(a)仅硬件的电路实现(例如在仅模拟和/或数字电路中的实现);(b)指代电路与软件(和/或固件)的组合、比如(如果适用):(i)指代(一个或多个)处理器的组合或者(ii)指代(一个或多个)处理器/软件的如下部分(包括(一个或多个)数字信号处理器)、软件和(一个或多个)存储器),这些部分一起工作以使得诸如移动电话或者服务器之类的装置执行各种功能;以及(c)指代诸如微处理器或者(一个或多个)微处理器的部分之类的电路,这些电路需要用于操作的软件或者固件、即使该软件或者固件在物理上并不存在。
“电路”的这一定义适用于在本申请中、包括在任何权利要求中对这一术语的所有使用。作为又一示例,如在本申请中所用,术语“电路”也涵盖如下实现,该实现仅为一个或者多个处理器和/或处理器的部分及其附带软件和/或固件。术语“电路”例如并且如果适用于特定权利要求要素则也将涵盖基带集成电路或者用于移动电话的应用处理器集成电路或者在服务器、蜂窝网络设备或者其它网络设备中的相似集成电路。
图1a图示了移动终端110执行的图像捕获事件。移动终端110可以被配置成包括图像捕获模块、诸如内置数字相机。根据各种示例实施例,图像捕获模块可以被配置成使捕获的当前景物(scene)显示于移动终端的显示器上。就这一点而言,带有图像捕获模块的移动终端110可以被配置成捕获视频帧,这些视频帧描绘图像捕获模块当前指向的景物。随着跨景物移动或者摇动移动终端110,对象可以实时或者接近实时进入所捕获的帧。根据各种示例实施例,对象的捕获图像可以由移动终端110存储和分析以在捕获视频帧时识别对象,这可以称为移动视觉搜索。在图1a中,移动终端110的图像捕获模块指向对象,该对象是陆标、比如埃菲尔铁塔。
图1b图示了可以在图像捕获事件期间在移动终端110的显示器120上提供的输出的示例。移动终端110已经捕获包括埃菲尔铁塔的视频帧130。经由对象识别过程,视频帧可以例如由移动终端110的处理器比对存储于移动终端的存储器中或者存储于别处的视觉搜索数据库来分析以识别在对象的捕获描绘与对象在数据库或者其它数据结构中的描述之间的对象识别匹配或者对象结果匹配。根据一些示例实施例,为了执行对象识别,包括对象描绘的视频帧可以分解成图像特征,并且可以例如在特征级执行与视觉搜索数据库的比较。如果发现在对象的捕获描绘与视觉搜索数据库内的数据之间的匹配,则可以确定对象的身份。作为结果,可以向用户提供关于识别的对象的信息。例如,如图1b中描绘的那样,可以向用户接口的显示器输出标签140,该标签提供对象的名称。在一些示例实施例中,可以使用对象的身份来执行因特网的搜索。在一些示例实施例中,可以经由身份信息向用户提供指向关于对象的有关信息的链接。
由于视点角度、照明、捕获设备的移动或者摇晃、捕获的图像中的噪声等可能对对象识别过程具有影响,所以在一些情况下,稳定匹配可能不能地获得。因而,对象识别可能在多个对象匹配结果之间闪变(flicker)或者迅速改变、在发现对象匹配结果、但是然后随之不能确定匹配结果或者可能提供误判对象匹配结果时迅速消失和再现。在一些情况下,多个对象匹配结果可以同样可能是基于分析的恰当匹配。在其中诸如标签之类的指示由于不一致匹配而迅速消失的情况下,用户可能不能在结果消失之前与结果交互。另外,可能出现误判结果,并且在一些情况下,即使在用户不再将图像捕获模块指向已知对象时仍然可能继续显示误判结果的指示。为了弥补这些和其它问题,本发明的一些示例实施例操作以实现视觉搜索稳定性。
根据各种示例实施例,视觉搜索过程可以包括确定多个图像匹配距离或者得分。就这一点而言,在捕获的视频帧中描绘的对象可以在可变程度上与在视觉搜索数据库中的多个对象匹配。就这一点而言,每个潜在对象匹配结果可以与图像匹配距离相关联。图像匹配距离可以指示在捕获的视频帧中描绘的对象与例如从视觉搜索数据库取得的相应对象匹配结果之间的匹配质量。
可以用多种方式确定图像匹配距离。例如根据一些示例实施例,图像匹配距离可以依赖于基于特征到特征的比较在捕获的视频帧中描绘的对象与数据库中的相应对象匹配结果之间发现的多个图像特征匹配。一些示例实施例可以实现如下技术和算法、比如基于内容的图像获取(CBIR)技术,也称之为按图像内容查询(QBIC)技术和基于内容的视觉信息获取(CBVIR)技术。在一些示例实施例中,低图像匹配距离可以指示相关联的对象匹配结果比带有高图像匹配距离的对象匹配结果更可能是恰当匹配。关于图3至图5描述的示例实施例在其中更低图像匹配距离比更高图像匹配距离更可能是恰当匹配的情境内考虑图像捕获距离。然而本领域技术人员将理解可以在其中更高值比更低值更可能是恰当匹配的上下文中实现本发明的示例实施例。
图2的流程图图示了用于通过分析图像匹配距离来确定稳定和准确结果的一种示例方法。在200,对于描绘对象的给定捕获的视频帧,可以确定多个图像匹配距离和相关联对象匹配结果。在205,可以例如按升序或者降序对多个图像匹配距离排序或者组织。就这一点而言,图3图示了按升序组合的多个图像匹配距离的图形。
图3图示了根据各种示例实施例的图像匹配距离分析的第一部分。图3的图形300包括待分析的图像匹配距离333a至333k。图形300可以基于非候选阈值305和候选阈值310这两个定义阈值划分成三个区域。在非候选阈值305以上的图像匹配距离(不良匹配)位于非候选区域315中并且未被考虑用于进一步分析,并且可以随它们的各对象匹配结果而丢弃。就这一点而言,因此可以丢弃并且不进一步考虑图像匹配距离333h至333k。具有在候选阈值310以下的匹配阈值的图像匹配距离(高质量匹配)位于候选区域330中,并且可以例如向候选池添加它们的相应对象匹配结果的指示而并不进一步加以考虑。
在非候选阈值305与候选阈值310之间的图像匹配距离可以驻留于潜在候选区域320中,并且这样可以进行这些距离的进一步分析以确定是否应当丢弃或者向候选池添加相关联对象匹配结果的指示。就这一点而言,图像匹配距离333b至333g因此可以经历进一步考虑和分析以确定应当丢弃这些值中的哪些值并且哪些值应当具有被添加到候选池的、它们的对象匹配结果的指示。
可以用多种方式确定并设置非候选阈值305和候选阈值310的水平。根据一些示例实施例,可能可以预先执行图像匹配距离的统计分析,以确定最频繁造成误判的距离范围。这一距离范围可以用来定义潜在候选区域320并且类似地定义候选阈值305和非候选阈值310。
再次参照图2,在210和215描述关于候选和非候选阈值的分析。在210,可以关于是否有任何图像匹配位于候选区域内(在候选阈值以下)进行确定,并且如果是这样,则可以在225向候选池添加与图像匹配距离相关联的对象匹配结果。如果图像匹配距离未位于候选区域内,则可以在215关于图像匹配距离是否位于非候选区域中进行确定。如果图像匹配距离位于非候选区域中,则在220丢弃相关联的图像匹配距离。然而如果图像匹配距离不在候选区域或者非候选区域中,则图像匹配距离可以在潜在候选区域中。
可以通过应用在230的并且在图4中描绘的聚类截止技术分析位于潜在候选区域中的图像匹配距离。参照图4,考虑图像匹配距离333b至333g。根据各种示例实施例,可以实现聚类算法,该算法迭代地考虑各种分组或者聚类中的每个图像匹配距离并且计算用于每个聚类的整体(holistic)距离。可以确定图像匹配距离的聚类,从而在聚类中的每个的整体距离之间存在例如最大间隙或者聚类距离增量。根据一些示例实施例,整体距离可以是在给定的聚类内的图像匹配距离的平均值。
图4描绘图像匹配距离的两个聚类的形成。第一聚类405包括匹配值333b至333d,这些匹配值定义第一聚类的整体距离410。第二聚类415包括图像匹配距离333e至333g,这些图像匹配距离定义第二聚类的整体距离420。第一聚类的整体距离410和第二聚类的整体距离420由聚类距离增量425分离。在第一聚类与第二聚类之间的分离可以定义聚类截止430,其中定义比其它聚类的聚类总距离更低的聚类总距离的图像匹配距离具有被包括在候选池中的它们各对象匹配结果的指示,并且丢弃或者忽略在具有更高整体距离的聚类中包括的图像匹配距离。换而言之,在已经定义聚类之后,图2的示例方法可以通过在225向候选池添加与在带有相对更低整体距离的聚类中包括的图像匹配距离相关联的对象匹配结果的指示、并且通过丢弃在具有相对更高整体距离的聚类中包括的图像匹配距离来继续。
再次参照图2,可以维护并且通过在235使用自适应阈值基于候选池的内容来更新所捕获对象的结果历史以确定是否应当向结果历史245添加对象匹配结果的指示,或者是否可以递增对象匹配结果的出现频率。图5a和图5b图示了基于是否已经定义结果历史或者是否在结果历史中包括对象匹配结果的先前存储的指示来应用自适应阈值。参照图5a,如果先前了定义结果历史,则更少约束的自适应阈值450可以用来识别在阈值以下的图像匹配距离,这些图像匹配距离可以具有被添加到结果历史的、它们的对象匹配结果指示。在一些示例实施例中,如果特定对象匹配结果已经存在于结果历史中,则可以针对对象匹配结果递增结果历史频率。图5a指示图像匹配距离333b将具有被添加到结果历史的其相关联对象匹配结果的指示,或者可以递增用于与图像匹配距离333b相关联的对象匹配结果的结果历史频率。图5b图示了其中将图像匹配距离应用于自适应阈值455的场景,其中尚未定义先前结果历史。由于无法依赖先前历史结果以用于候选池的后续分析,所以自适应阈值455可以比例如自适应阈值450更具约束性。关于图5b的图像匹配距离,可以向结果历史添加图像匹配距离333y,而可以未向结果历史添加与图像匹配距离333x和333z相关联的对象匹配结果的指示。
已经更新和维护结果历史,可以在240鉴于结果历史245的内容考虑候选池225。例如在一些示例实施例中,可以基于是否先前已经向结果历史245添加对象匹配结果的指示来确定用于候选池225中的对象匹配结果的置信度水平。在一些示例实施例中,结果历史可以包括与对象匹配结果在结果历史245中出现的次数相关联的频率。如果对象匹配结果存在于结果历史中,则可以递增相关联的置信度水平。例如,如果在结果历史中也包括带有最小图像匹配距离的对象匹配结果,则对象匹配结果可以视为稳定并且可以在250向用户接口提供或者输出结果。就这一点而言,可以使对象匹配结果的表示向用户接口输出。
如果在结果历史中未包括带有最小图像匹配距离(最好质量匹配)的对象匹配结果,或者如果来自候选池的两个对象匹配结果具有相同图像匹配距离,则可以在255基于结果历史确定和分析对象匹配结果的置信度水平。就这一点而言,例如可以基于对象匹配结果的结果历史频率确定对象匹配结果的置信度水平。在一些示例实施例中,基于置信度水平,可以选择具有如下置信度水平的对象匹配结果作为待向用户接口输出的对象匹配结果,该置信度水平超过与其它对象匹配结果的置信度水平之间的阈值差别。此外,如果例如两个或者更多对象匹配结果没有基于用于置信度水平的阈值差值区分它们本身,则可以在260提供多个对象匹配结果。例如,如果出现如下模式,在该模式中,存在于历史列表中的两个或者更多对象匹配结果一次或者多次循环作为最高匹配结果,则对象匹配结果可以具有相同或者相似图像匹配距离。就这一点而言,可以使多个对象匹配结果的表示有可能以分屏模式向用户接口的显示器输出。可以基于结果的置信度水平确定显示格式。另外根据一些示例实施例,每个对象匹配结果可以随信息链接的关联分层输出,用户例如可以探索该分级以确定多个对象匹配结果中的哪个对象匹配结果最可能恰当匹配。在一些示例实施例中,用户接口可以被配置成接收作为正确对象匹配结果的对对象匹配结果选择。
除了分析图像匹配距离以确定高质量和稳定对象匹配结果之外,也可以实现用于所提供结果的锁存机制。尽管结果例如由于图像捕获模块的略微移动而可能改变,锁存机制仍然可以允许用户与对象匹配结果交互持续给定的时间段以有助于用户进行选择。就这一点而言,根据一些示例实施例,来自加速度计的反馈可以用来确定用户是否已经简单地倾斜或者移动图像捕获设备以进行选择(例如触摸触屏或者推动按钮),并且如果检测到这样的移动,则先前确定的对象匹配结果可以保持于屏幕上。备选地,如果来自加速度计的反馈可能考虑到其它因素(比如正在捕获的图像)来指示已经移动图像捕获设备以指向不同点,则可以显示新确定的对象匹配结果并且可以从显示器去除先前确定的对象匹配结果。
根据各种示例实施例,尽管当前确定的对象匹配结果改变,基于结果存在于结果历史中或者包含于结果历史中的频率而视为稳定的先前确定的对象匹配结果仍然可以指示先前确定的对象匹配结果应当保持于屏幕上。就这一点而言,可以鉴于结果历史考虑结果的置信度水平以确定具有最高置信度水平的对象匹配结果应当保持显示于屏幕上。如上文描述的那样,结果历史缓冲多个结果并且可以用来确定是否先前确定新结果以保证置信度。根据一些示例实施例,利用结果缓冲可以减少或者消除可以由运动或者图像噪声所引起的误判。
如果发现当前确定的对象匹配结果具有比先前对象匹配结果更高的置信度水平,则应当从显示器去除先前确定的对象匹配结果,并且可以显示当前确定的对象匹配结果。就这一点而言,根据一些示例实施例,当用户移动图像捕获模块以指向不同对象时,可以更新当前确定的对象匹配结果从而避免先前确定的对象匹配结果在结果不再准确时继续显示。根据一些示例实施例,如果先前确定的对象匹配结果和当前确定的对象匹配结果二者相对于阈值具有不充分的置信度水平,则可以不显示这两个结果。另外,在一些示例实施例中,可以实现定时器,并且如果在定时器的持续时间期间没有当前确定的对象匹配结果被视为有效或者具有足够的置信度水平,则可以显示先前确定的对象匹配结果直至定时器流逝(elapse)。在一些示例实施例中,定时器持续时间可以由用户定义。
根据一些示例实施例,以这一方式实现定时器特征有助于用户与给定的结果交互而结果并未由于新确定而快速消失的能力。因而无需显示无置信度水平的误判结果而继续显示具有足够置信度的最近确定的结果。根据各种示例实施例,这一特征可以改进用户体验。
图6图示了用于实现锁存机制的一种示例方法,该锁存机制用于通过监视先前和当前确定的结果的置信度水平并且通过监视定时器是否已经流逝来锁存或者继续输出对象匹配结果的表示。图6的示例方法和相关联实施例可以例如与图2的示例方法结合实现。在一些示例实施例中,图6的示例方法和这里描述的锁存机制可以与图2的示例方法分开地并且独立地实现。这样,如这里描述的锁存机制可以与利用结果历史并且反复地确定下一对象匹配结果的任何类型的视觉搜索技术一起使用,从而至少生成先前确定的对象匹配结果并且生成后续当前确定的对象匹配结果。
在600,图6的示例方法包括存储先前确定的对象匹配结果、比如在图2的250提供的对象匹配结果。在605,可以关于新确定或者当前的对象匹配结果(当前结果)是否超过阈值置信度水平进行确定。在一些示例实施例中,如果图像匹配距离在某一阈值以下,或者如果与当前结果相关联的指示(例如图像匹配距离)存在于结果历史中,或者如果与当前结果相关联的在结果历史中出现的频率超过阈值,则当前对象匹配结果可能超过阈值置信度水平。如果当前结果具有足够的置信度水平(例如图像匹配距离在某一阈值以下、指示存在于结果历史中或者结果历史频率在阈值以上),则可以在610显示当前结果。如果当前结果相对于阈值具有不足够的置信度水平(例如图像匹配距离在某一阈值以上、指示不存在于结果历史中或者结果历史频率在阈值以下),则可以在615例如基于结果历史并且可能基于用于先前确定的对象匹配结果(先前结果)的历史结果频率来确定或者如果先前确定先前结果的置信度水平则考虑置信度水平。在620可以确定先前结果是否相对于相同或者不同阈值具有足够置信度水平。如果先前结果的置信度水平不充分(例如指示未存在于结果历史中或者结果历史频率在阈值以下),则可以在625中止先前确定的结果的显示并且也无需显示当前结果。如果先前结果具有足够的置信度水平(例如指示存在于结果历史中或者结果历史频率在阈值以下),则可以在630执行锁存定时器的校验以保证定时器尚未到期。如果定时器已经到期,则可以在635中止对结果的显示或者输出。然而如果定时器尚未到期,则可以在640继续显示先前结果。
上文以及在此总体提供的描述举例说明用于例如使用可以提高结果稳定性的技术来确定视觉搜索的结果的示例方法、示例装置和示例计算机程序产品。图7和图8描绘了示例装置,这些装置被配置成执行如这里描述的各种功能,这些功能包括关于图2、图6和图9的流程图的操作描述的功能。
现在参照图7,将本发明的一个示例实施例描绘为装置500。装置500可以实现为具有有线或者无线通信能力的通信设备或者可以包括装置500作为该通信设备的部件。在一些示例实施例中,装置500可以是通信设备、比如静止或者移动通信终端的一部分。作为静止通信终端,装置500可以是服务器、计算机、接入点(例如基站)、通信交换设备等的一部分或者具体化为服务器、计算机、接入点(例如基站)、通信交换设备等。作为移动设备,装置500可以是移动和/或无线通信节点、如比如移动和/或无线服务器、计算机、接入点、通信交换设备、手持设备(例如电话、便携式数字助理(PDA)、移动电视、游戏设备、相机、视频记录器、音频/视频播放器、收音机和/或全球定位系统(GPS)设备)、前述各项的组合等。无论通信设备类型如何,装置500都可以包括计算能力。
示例装置500包括处理器505、存储器设备510、输入/输出(I/O)接口506、通信接口515、图像捕获模块530、距离生成器540、距离分析器545和结果锁存器550或者与它们通信。处理器505可以具体化为用于实现本发明示例实施例的各种功能的各种装置,这些装置例如包括微处理器、协同处理器、控制器、专用集成电路比如ASIC(专用集成电路)、FPGA(现场可编程门阵列)或者硬件加速器、处理电路等。根据一个示例实施例,处理器505可以代表协调操作的多个处理器或者一个或者多个多芯处理器。另外,处理器505可以包括用于有助于执行这里描述的功能的多个晶体管、逻辑门、时钟(例如振荡器)、其它电路等。处理器505可以、但是不必包括一个或者多个附带数字信号处理器。在一些示例实施例中,处理器505被配置成执行存储器设备510中存储的指令或者可由处理器505访问的指令。处理器505可以被配置成操作从而处理器使装置500执行这里描述的各种功能。
无论是配置为硬件还是经由存储于计算机可读存储介质上的指令来配置或者通过其组合来配置,处理器505可以是在被相应地配置之时能够根据本发明的实施例执行操作的实体。因此,在其中处理器505实现为ASIC、FPGA等或者是ASIC、FPGA等的部分的示例实施例中,处理器505是用于进行这里描述的操作的具体配置的硬件。备选地,在其中处理器505具体化为计算机可读存储介质上存储的指令的执行器的示例实施例中,指令具体配置处理器505以执行这里描述的算法和操作。在一些示例实施例中,处理器505是如下具体设备(例如通信服务器或者移动终端)的处理器,通过经由用于执行这里描述的算法、方法和操作的执行指令进一步配置处理器505来配置该设备用于运用本发明的示例实施例。
存储器设备510可以是一个或者多个计算机可读存储介质,该计算机可读存储介质可以包括易失性和/或非易失性存储器。在一些示例实施例中,存储器设备510包括随机存取存储器(RAM),该RAM包括动态和/或静态RAM、片上或者片外高速缓存存储器等。另外,存储器设备510可以包括可以嵌入和/或可移除的非易失性存储器并且可以例如包括只读存储器、闪存、磁存储设备(例如硬盘、软盘驱动、磁带等)、光盘驱动和/或介质、非易失性随机存取存储器(NVRAM)等。存储器设备510可以包括用于暂时存储数据的高速缓存区域。就这一点而言,可以在处理器505内包括存储器设备510的一些或者全部。在一些示例实施例中,存储器设备510可以存储图像匹配数据库,该图像匹配数据库可以用于图像比较以确定图像匹配距离、匹配结果等。
另外,存储器设备510可以被配置成存储用于使得处理器505和示例装置500能够根据这里描述的本发明示例实施例实现各种功能的信息、数据、应用、计算机可读程序代码指令等。例如存储器设备510可以被配置成缓冲输入用于由处理器505处理的数据。此外或备选地,存储器设备510还可以被配置成存储用于由处理器505执行的指令。
I/O接口506可以是配置成对接处理器505与其它电路或者设备的、用硬件、软件或者硬件与软件的组合实施的任何设备、电路或者装置、比如通信接口515。在一些示例实施例中,处理器505可以经由I/O接口506来与存储器510对接。I/O接口506可以被配置成将信号和数据转换成可以由处理器505解析的形式。I/O接口506也可以执行输入和输出的缓冲以支持处理器505的操作。根据一些示例实施例,处理器505和I/O接口506可以组合成单个芯片或者集成电路,该芯片或者集成电路被配置成执行或者使装置500执行本发明的各种功能。
通信接口515可以是配置成从/向网络520和/或与示例装置500通信的任何其它设备或者模块接收和/或发送数据的、用硬件、计算机程序产品或者硬件与计算机程序产品的组合实施的任何设备或者装置。通信接口可以被配置成经由任何类型的有线或者无线连接并且经由任何类型的通信协议、比如支持蜂窝通信的通信协议传达信息。根据各种示例实施例,通信接口515被配置成支持如比如在例如使用演进UMTS(通用移动电信系统)地面无线电接入网络(e-UTRAN)空中接口的长期演进(LTE)环境中在蜂窝网络中发送和接收通信。就这一点而言,通信接口515可以被配置成支持例如基于LTE的网络中的设备到设备通信。处理器505也可以被配置成例如通过控制通信接口515内包括的硬件来有助于经由通信接口的通信。就这一点而言,通信接口515例如可以包括通信驱动器电路(例如支持例如经由光纤连接的有线通信的电路)、一个或者多个天线、发送器、接收器、收发器和/或支持硬件,该支持硬件例如包括用于启用通信的处理器。经由通信接口515,示例装置500可以按照设备到设备的方式和/或通过经由基站、接入点、服务器、网关、路由器等的间接通信来与各种其它网络实体通信。
在一些实施例中,装置500可以包括与用户接口525通信或者并入于用户接口525中的图像捕获模块530、如比如相机、视频/音频捕获模块。图像捕获移动站530也可以与处理器505直接或者间接通信。图像捕获模块530可以是用于捕获图像、视频/音频用于存储、显示、分析或者传送的任何装置。例如在其中图像捕获模块530是相机的示例实施例中,相机可以被配置成根据相机捕获的图像形成数字图像文件并且保存该数字图像文件。在视频模式中,图像捕获模块530可以被配置成定期捕获视频帧并且使描述视频帧的数据向处理器505可访问的位置、例如存储器设备510递送以用于分析。图像捕获模块530可以被配置成根据多个捕获设置来捕获媒体项。捕获设置例如可以包括焦距、缩放水平、透镜类型、孔径、快门定时、白平衡、颜色、样式(例如黑白色、深褐色等)、画面质量(例如像素计数)、闪光、红眼校正、日期、时间等。在一些实施例中,可以在捕获图像时获得捕获设置(例如缩放程度)的值并且在存储器设备、比如存储器设备510中与捕获的图像相关联地存储这些值。
图像捕获模块530可以包括为了根据捕获的图像创建数字图像而必需的所有硬件、比如透镜或者其它光学部件以及软件。媒体项捕获模块5330也可以包括为了提供各种媒体项目捕获功能、如比如图像缩放功能而必需的所有硬件、比如透镜或者其它光学部件以及软件。图像缩放功能可以包括用于在捕获图像之前或者之后放大或者缩小图像的能力。
在一些示例实施例中,图像捕获模块530可以仅包括为了查看图像而需要的硬件,而存储器设备、比如装置500的存储器设备510以为了根据捕获的图像创建数字图像而必需的软件形式存储用于由处理器505执行的指令。在一个示例实施例中,图像捕获模块530还可以包括辅助处理器505处理图像数据的处理器或者协处理器,以及用于压缩和/或解压图像数据的编码器和/或解码器。编码器和/或解码器例如可以根据联合图片专家组(JPEG)标准或者其它格式编码和/或解码。
示例装置500的距离生成器540、距离分析器545和结果锁存器550可以是部分或者全部用硬件、计算机程序产品或者硬件与计算机程序产品的组合实现的任何装置或者设备、比如实现用于配置示例装置500的存储指令的处理器505,存储被配置成实现这里描述的功能的可执行程序代码指令的存储器设备510,或者配置成实现如这里描述的距离生成器540、距离分析器545和结果锁存器550的功能的、硬件配置的处理器505。在示例实施例中,处理器505包括或者控制距离生成器540、距离分析器545和结果锁存器550。距离生成器540、距离分析器545和结果锁存器550可以部分或者全部实现为与处理器505相似、但是分离的处理器。就这一点而言,距离生成器540、距离分析器545和结果锁存器550可以与处理器505通信。在各种示例实施例中,距离生成器540、距离分析器545和结果锁存器550可以部分或者全部驻留于不同装置上,从而距离生成器540、距离分析器545和结果锁存器550的一些或者所有功能可以由第一装置执行并且距离生成器540、距离分析器545和结果锁存器550的其余功能可以由一个或者多个其它装置执行。
另外,装置500和处理器505可以被配置成经由距离生成器540执行以下功能。就这一点而言,距离生成器540可以被配置成使处理器505和/或装置500执行各种功能、比如关于图1a-6和图9描述的并且如这里总体描述的功能。
例如参照图9,距离生成器540可以被配置成在700确定用于在视频帧中描绘的所捕获对象的多个图像匹配距离。就这一点而言,每个图像匹配距离指示在所捕获对象与相应对象匹配结果之间的匹配质量。例如根据一些示例实施例,高质量匹配可以具有相对低的图像图片距离,而低质量匹配可以具有相对高的图像匹配距离。
另外,装置500和处理器505可以被配置成经由距离分析器545执行以下功能。就这一点而言,距离分析器545可以被配置成使处理器505和/或装置500执行各种功能,比如关于图1a-图6和图9描述的以及如这里总体描述的功能。
就这一点而言,距离分析器545可以被配置成在710在候选池中包括在候选区域中具有图像匹配距离的对象匹配结果的指示,并且在720丢弃在非候选区域中具有图像匹配距离的对象匹配结果。另外,距离分析器545可以被配置成在730在潜在候选区域中具有图像匹配距离的对象匹配结果以在候选池中包括在潜在候选区域中具有图像匹配距离的选择对象匹配结果的指示。在一些示例实施例中,距离分析器可以被配置成关于结果历史而分析在候选池中具有指示的对象匹配结果以识别选择的对象匹配结果。
在一些示例实施例中,距离分析器545可以被配置成通过至少部分基于第一聚类的整体聚类距离和第二聚类的整体聚类距离将潜在候选区域中的图像匹配距离聚类成第一聚类和第二聚类、丢弃在第二聚类中带有图像匹配距离的对象匹配结果并且在候选池中包括在第一聚类中具有图像匹配距离的对象匹配结果的指示来分析在潜在候选区域中具有图像匹配距离的对象匹配结果。此外或者备选地,在一些示例实施例中,距离分析器545可以被配置成至少部分基于是否已经定义用于捕获的对象的结果历史将第一自适应阈值或者第二自适应阈值应用于与在候选池中具有指示的匹配对象结果相关联的图像匹配距离,并且基于应用的第一或者第二阈值确定在结果历史中包括的对象匹配结果。备选地或此外,在一些示例实施例中,距离分析器545可以被配置成关于结果历史分析在候选池中指示的对象匹配结果的图像匹配距离以识别至少两个选择的图像匹配距离、至少部分基于至少两个选择的对象匹配结果的各结果历史频率确定至少两个选择的对象匹配结果的相应置信度水平并且使至少两个选择的对象匹配结果的表示向用户接口输出。在一些示例实施例中距离分析器545可以备选地或者附加地使信息链接分层的表示向用户接口输出至少两个选择的对象匹配结果。
另外,装置500和处理器505可以被配置成经由结果锁存器550执行以下功能。就这一点而言,结果锁存器550可以被配置成使处理器505和/或装置500执行各种功能、比如关于图1a-6和图9描述的并且如这里总体描述的功能。
结果锁存器550可以被配置成使选择的对象匹配结果的表示向用户接口输出作为先前对象匹配结果、确定当前选择的对象匹配结果、确定当前选择的对象匹配结果的置信度水平,并且部分地基于当前选择的对象匹配结果的置信度水平使当前选择的对象匹配结果的表示向用户接口输出。在一些示例实施例中,结果锁存器可以备选地或附加地被配置成使选择的对象匹配结果的表示向用户接口输出作为先前对象匹配结果、确定当前选择的对象匹配结果、确定先前对象匹配结果和当前选择的对象匹配结果的置信度水平并且至少部分基于当前选择的对象匹配结果的置信度水平、先前对象匹配结果的置信度水平和定时器的状态使先前对象匹配结果的表示向用户接口输出。
现在参照图8,提供根据本发明各种实施例的更具体示例装置。图8的示例装置是配置成在无线网络、比如蜂窝通信网络内通信的移动终端10。移动终端10可以被配置成执行如这里描述的移动终端110或者装置500的功能。更具体而言,可以使移动终端10经由处理器20执行关于图1a-图6和图9描述的功能。处理器20可以是类似于与例如I/O接口506一起的处理器505相似配置的集成电路或者芯片。另外,易失性存储器40和非易失性存储器42可以被配置成作为计算机可读存储介质支持处理器20的操作。
移动终端10也可以包括可以作为移动终端10的通信接口的一部分而包括的天线12、发送器14和接收器16。可以包括扬声器24、麦克风26、显示器28(该显示器可以是触屏显示器)和键区30作为用户接口的部分。移动终端10也可以包括可以以关于图像捕获模块530描述的方式配置的图像捕获模块32。
图2、图6和图9图示了根据本发明示例实施例的示例系统、方法和/或计算机程序产品的流程图。将理解可以通过各种手段实现流程图的每个操作和/或在流程图中的操作的组合。用于实现流程图的操作、在流程图中的操作的组合或者这里描述的本发明示例实施例的其它功能的装置可以包括硬件和/或计算机程序产品,该计算机程序产品包括计算机可读存储介质(如与描述传播信号的计算机可读传输介质对比),该计算机可读存储介质具有存储于其中的一个或者多个计算机程序代码指令、程序指令或者可执行计算机可读程序代码指令。就这一点而言,用于执行图2、图6和图9的操作和功能的程序代码指令可以存储于示例装置、比如示例装置500或者移动终端10的存储器设备、比如存储器设备510、易失性存储器40或者非易失性存储器42上,并且由处理器、比如处理器505或者处理器20执行。如将理解的那样,任何这样的程序代码指令可以从计算机可读存储介质加载到计算机或者其它可编程装置(例如处理器505、存储器设备510等)上以产生特定机器,从而特定机器变成用于实现在流程图的操作中指定的功能的装置。这些程序代码指令也可以存储于计算机可读存储介质中,该计算机可读存储介质可以引导计算机、处理器或者其它可编程装置以特定方式操作以由此生成特定机器或者特定制造品。存储于计算机可读存储介质中的指令可以产生制造品,其中该制造品变成用于实现在流程图的操作中指定的功能的装置。程序代码指令可以从计算机可读存储介质获取并且加载到计算机、处理器或者其它可编程装置中以配置计算机、处理器或者其它可编程装置以执行将在计算机、处理器或者其它可编程装置上或者由计算机、处理器或者其它可编程装置执行的操作。可以依次执行程序代码指令的取回、加载和执行,从而一次取回、加载并且执行一个指令。在一些示例实施例中,可以并行执行取回、加载和/或执行,从而一起取回、加载和/或执行多个指令。程序代码指令的执行可以产生计算机实现的过程,从而计算机、处理器或者其它可编程装置执行的指令提供用于实现在流程图的操作中指定的功能的操作。
因而,处理器执行与流程图的操作相关联的指令或者在计算机可读存储介质中存储与流程图的块或者操作关联的指令支持用于执行指定功能的操作的组合。也将理解流程图的一个或者多个操作和在流程图中的块或者操作的组合可以由执行指定功能的基于专用硬件的计算机系统和/或处理器实现或者由专用硬件与程序代码指令的组合实现。
从在前文描述和关联附图中呈现的教导中受益的、在这些发明涉及的领域中的技术人员将想到这里阐述的发明的许多修改和其它实施例。因此将理解本发明将不限于所公开的具体实施例并且修改和其它实施例旨在于包含于所附权利要求的范围内。另外,虽然前文描述和关联附图在单元和/或功能的某些示例组合的情境中描述示例实施例,但是应当理解不同的单元和/或功能组合可以由备选实施例提供而未脱离所附权利要求的范围。就这一点而言,例如如可以在一些所附权利要求中阐述的那样也设想与上文明确描述的单元和/或功能组合不同的单元和/或功能组合。虽然这里运用具体术语,但是仅在通用和描述意义上而不是出于限制的目的来使用它们。

Claims (28)

1.一种对象识别的方法,包括:
确定在视频帧中描绘的所捕获对象的多个图像匹配距离,每个图像匹配距离指示在所述捕获对象与相应对象匹配结果之间的匹配质量;
在候选池中包括在候选区域中具有图像匹配距离的所述对象匹配结果的指示;
丢弃在非候选区域中具有图像匹配距离的所述对象匹配结果;以及
分析在潜在候选区域中带有图像匹配距离的所述对象匹配结果,以在所述候选池中包括在所述潜在候选区域中带有图像匹配距离的选择对象匹配结果的指示。
2.根据权利要求1所述的方法,还包括:关于结果历史来分析在所述候选池中带有指示的所述对象匹配结果,以识别所选择的对象匹配结果。
3.根据权利要求2所述的方法,还包括:
使得所述选择的对象匹配结果的表示作为先前对象匹配结果输出到用户接口;
确定当前选择的对象匹配结果;
确定所述当前选择的对象匹配结果的置信度水平;以及
至少部分地基于所述当前选择的对象匹配结果的所述置信度水平使得所述当前选择的对象匹配结果的表示输出到所述用户接口。
4.根据权利要求2所述的方法,还包括:
使得所述选择的对象匹配结果的表示作为先前对象匹配结果输出到用户接口;
确定当前选择的对象匹配结果;
确定所述先前对象匹配结果的置信度水平和所述当前选择的对象匹配结果的置信度水平;以及
至少部分地基于所述当前选择的对象匹配结果的所述置信度水平、所述先前对象匹配结果的所述置信度水平以及定时器的状态而使得所述先前对象匹配结果的表示输出到所述用户接口。
5.根据权利要求1所述的方法,其中分析在所述潜在候选区域中带有图像匹配距离的所述对象匹配结果,以在所述候选池中包括在所述潜在候选区域中带有图像匹配距离的选择对象匹配结果的指示包括:
至少部分地基于第一聚类的整体聚类距离和第二聚类的整体聚类距离而将所述潜在候选区域中的所述图像匹配距离聚类成所述第一聚类和所述第二聚类;
丢弃在所述第二聚类中带有图像匹配距离的对象匹配结果;并且
在所述候选池中包括在所述第一聚类中带有图像匹配距离的对象匹配结果的指示。
6.根据权利要求1所述的方法,还包括:
至少部分地基于是否已经定义了所述捕获对象的结果历史而将第一自适应阈值或者第二自适应阈值应用于与在所述候选池中具有指示的所述对象匹配结果相关联的所述图像匹配距离;以及
基于所应用的第一阈值或者第二阈值确定用于包括在所述结果历史中的对象匹配结果。
7.根据权利要求1至6中的任一权利要求所述的方法,还包括:
关于结果历史分析在所述候选池中指示的所述对象匹配结果的所述图像匹配距离、以识别至少两个所选择的对象匹配结果;
至少部分地基于所述至少两个所选择的对象匹配结果的相应结果历史频率确定所述至少两个所选择的对象匹配结果的各置信度水平;以及
使得所述至少两个所选择的对象匹配结果的表示输出到用户接口。
8.根据权利要求7所述的方法,还包括使得信息链接的分层的表示输出到所述用户接口以用于所述至少两个所选择的对象匹配结果。
9.一种用于对象识别的设备,包括:
用于确定在视频帧中描绘的所捕获对象的多个图像匹配距离的装置,每个图像匹配距离指示在所述捕获对象与相应对象匹配结果之间的匹配质量;
用于在候选池中包括在候选区域中具有图像匹配距离的所述对象匹配结果的指示的装置;
用于丢弃在非候选区域中具有图像匹配距离的对象匹配结果的装置;以及
用于分析在潜在候选区域中带有图像匹配距离的所述对象匹配结果、以在所述候选池中包括在所述潜在候选区域中带有图像匹配距离的选择对象匹配结果的指示的装置。
10.根据权利要求9所述的设备,其中还包括用于关于结果历史来分析在所述候选池中带有指示的所述对象匹配结果、以识别所选择的对象匹配结果的装置。
11.根据权利要求10所述的设备,还包括:
用于使得所述选择的对象匹配结果的表示作为先前对象匹配结果输出到用户接口的装置;
用于确定当前选择的对象匹配结果的装置;
用于确定所述当前选择的对象匹配结果的置信度水平的装置;以及
用于至少部分地基于所述当前选择的对象匹配结果的所述置信度水平而使得所述当前选择的对象匹配结果的表示输出到所述用户接口的装置。
12.根据权利要求10所述的设备,还包括:
用于使得所述选择的对象匹配结果的表示作为先前对象匹配结果输出到用户接口的装置;
用于确定当前所选择的对象匹配结果的装置;
用于确定所述先前对象匹配结果的置信度水平和所述当前选择的对象匹配结果的置信度水平的装置;以及
用于至少部分地基于所述当前选择的对象匹配结果的所述置信度水平、所述先前对象匹配结果的所述置信度水平以及定时器的状态而使得所述先前对象匹配结果的表示输出到所述用户接口的装置。
13.根据权利要求9所述的设备,其中所述用于分析在所述潜在候选区域中带有图像匹配距离的所述对象匹配结果、以在所述候选池中包括在所述潜在候选区域中带有图像匹配距离的选择对象匹配结果的指示的装置包括:
用于至少部分地基于第一聚类的整体聚类距离和第二聚类的整体聚类距离而将所述潜在候选区域中的所述图像匹配距离聚类成所述第一聚类和所述第二聚类的装置;
用于丢弃在所述第二聚类中带有图像匹配距离的对象匹配结果的装置;以及
用于在所述候选池中包括在所述第一聚类中带有图像匹配距离的对象匹配结果的指示的装置。
14.根据权利要求9所述的设备,还包括:
用于至少部分地基于是否已经定义了所述捕获对象的结果历史而将第一自适应阈值或者第二自适应阈值应用于与在所述候选池中具有指示的所述对象匹配结果相关联的所述图像匹配距离的装置;以及
用于基于所应用的第一阈值或者第二阈值确定用于包括在所述结果历史中的对象匹配结果的装置。
15.根据权利要求9所述的设备,还包括:
用于关于结果历史分析在所述候选池中指示的所述对象匹配结果的所述图像匹配距离、以识别至少两个所选择的对象匹配结果的装置;
用于至少部分地基于所述至少两个所选择的对象匹配结果的相应结果历史频率确定所述至少两个所选择的对象匹配结果的各置信度水平的装置;以及
用于使得所述至少两个所选择的对象匹配结果的表示输出到用户接口的装置。
16.根据权利要求15所述的设备,还包括用于使得信息链接的分层的表示输出到所述用户接口以用于所述至少两个所选择的对象匹配结果的装置。
17.根据权利要求9至16中的任一权利要求所述的设备,其中所述设备包括移动终端;并且其中所述设备还包括:
用户接口电路,其被配置成有助于用户通过使用显示器来控制所述移动终端的至少一些功能;以及
显示电路,其被配置成显示所述移动终端的用户接口的至少一部分。
18.一种用于视觉搜索稳定性的方法,包括:
使得先前确定的对象匹配结果的表示作为先前对象匹配结果输出到用户接口;
确定当前对象匹配结果;
确定所述先前对象匹配结果的置信度水平和所述当前对象匹配结果的置信度水平;以及
至少部分地基于所述当前对象匹配结果的所述置信度水平和所述先前对象匹配结果的所述置信度水平而使得所述先前对象匹配结果的所述表示输出到所述用户接口。
19.根据权利要求18所述的方法,其中使得所述先前对象匹配结果的所述表示输出包括:使得所述先前对象匹配结果的所述表示至少部分地基于定时器的状态输出到所述用户接口。
20.根据权利要求19所述的方法,其中使得所述先前对象匹配结果的所述表示输出包括:使得所述先前对象匹配结果的所述表示在所述先前对象匹配结果的所述置信度水平超过阈值置信度水平并且所述定时器在定时器限度之内的情况下输出。
21.根据权利要求18所述的方法,其中确定所述先前对象匹配结果的所述置信度水平包括:基于是否在先前定义的结果历史中包括所述先前对象匹配结果来确定所述置信度水平。
22.根据权利要求18至21中的任一权利要求所述的方法,其中使得所述先前对象匹配结果的所述表示输出包括:使得所述先前对象匹配结果的所述表示在所述当前对象匹配结果的所述置信度水平未超过阈值置信度水平的情况下输出。
23.一种用于视觉搜索稳定性的设备,包括:
用于使得先前确定的对象匹配结果的表示作为先前对象匹配结果输出到用户接口的装置;
用于确定当前对象匹配结果的装置;
用于确定所述先前对象匹配结果的置信度水平和所述当前对象匹配结果的置信度水平的装置;以及
用于至少部分地基于所述当前对象匹配结果的所述置信度水平和所述先前对象匹配结果的所述置信度水平而使得所述先前对象匹配结果的所述表示输出到所述用户接口的装置。
24.根据权利要求23所述的设备,其中所述用于使得所述先前对象匹配结果的所述表示输出的装置包括:用于使得所述先前对象匹配结果的所述表示至少部分地基于定时器的状态输出到所述用户接口的装置。
25.根据权利要求24所述的设备,其中所述用于使得所述先前对象匹配结果的所述表示输出的装置包括:用于使得所述先前对象匹配结果的所述表示在所述先前对象匹配结果的所述置信度水平超过阈值置信度水平并且所述定时器在定时器限度之内的情况下输出的装置。
26.根据权利要求23所述的设备,其中所述用于确定所述先前对象匹配结果的所述置信度水平的装置包括:用于基于是否在先前定义的结果历史中包括所述先前对象匹配结果来确定所述置信度水平的装置。
27.根据权利要求23所述的设备,其中所述用于使得所述先前对象匹配结果的所述表示输出的装置包括:用于使得所述先前对象匹配结果的所述表示在所述当前对象匹配结果的所述置信度水平未超过阈值置信度水平的情况下输出的装置。
28.根据权利要求23至27中的任一权利要求所述的设备,其中所述设备包括移动终端;并且其中所述设备还包括:
用户接口电路,其被配置成有助于用户通过使用显示器来控制所述移动终端的至少一些功能;以及
显示电路,其被配置成显示所述移动终端的用户接口的至少一部分。
CN201180025839.5A 2010-04-15 2011-04-15 用于视觉搜索稳定性的方法和装置 Active CN102918545B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/761,271 US8548255B2 (en) 2010-04-15 2010-04-15 Method and apparatus for visual search stability
US12/761,271 2010-04-15
PCT/IB2011/051653 WO2011128880A2 (en) 2010-04-15 2011-04-15 Method and apparatus for visual search stability

Publications (2)

Publication Number Publication Date
CN102918545A CN102918545A (zh) 2013-02-06
CN102918545B true CN102918545B (zh) 2016-01-20

Family

ID=44788231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180025839.5A Active CN102918545B (zh) 2010-04-15 2011-04-15 用于视觉搜索稳定性的方法和装置

Country Status (4)

Country Link
US (1) US8548255B2 (zh)
EP (1) EP2558980B1 (zh)
CN (1) CN102918545B (zh)
WO (1) WO2011128880A2 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8627358B1 (en) 2010-08-16 2014-01-07 West Corporation Location-based movie identification systems and methods
US9036925B2 (en) * 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
US20120262540A1 (en) * 2011-04-18 2012-10-18 Eyesee360, Inc. Apparatus and Method for Panoramic Video Imaging with Mobile Computing Devices
US9087058B2 (en) * 2011-08-03 2015-07-21 Google Inc. Method and apparatus for enabling a searchable history of real-world user experiences
US9406090B1 (en) 2012-01-09 2016-08-02 Google Inc. Content sharing system
US9137308B1 (en) 2012-01-09 2015-09-15 Google Inc. Method and apparatus for enabling event-based media data capture
US20140310314A1 (en) * 2013-04-16 2014-10-16 Samsung Electronics Co., Ltd. Matching performance and compression efficiency with descriptor code segment collision probability optimization
WO2015125025A2 (en) 2014-02-10 2015-08-27 Geenee Ug Systems and methods for image-feature-based recognition
US10078636B2 (en) * 2014-07-18 2018-09-18 International Business Machines Corporation Providing a human-sense perceivable representation of an aspect of an event
US20160117632A1 (en) * 2014-10-23 2016-04-28 Toshiba Tec Kabushiki Kaisha Information processing apparatus, commodity sales system, and commodity sales method
CN106295489B (zh) * 2015-06-29 2021-09-28 株式会社日立制作所 信息处理方法、信息处理装置和视频监控系统
US10592550B2 (en) * 2017-10-13 2020-03-17 International Business Machines Corporation System and method for species and object recognition

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681430A (zh) * 2007-04-24 2010-03-24 诺基亚公司 运动和图像质量监视器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7872669B2 (en) 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
US7720291B2 (en) * 2004-02-17 2010-05-18 Corel Corporation Iterative fisher linear discriminant analysis
US7693683B2 (en) * 2004-11-25 2010-04-06 Sharp Kabushiki Kaisha Information classifying device, information classifying method, information classifying program, information classifying system
US20080071988A1 (en) 2006-09-17 2008-03-20 Nokia Corporation Adaptable Caching Architecture and Data Transfer for Portable Devices
US7885482B2 (en) * 2006-10-26 2011-02-08 Microsoft Corporation Coverage-based image relevance ranking
US20080270378A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, Apparatus and Computer Program Product for Determining Relevance and/or Ambiguity in a Search System
CN101609506B (zh) * 2008-06-20 2012-05-23 索尼株式会社 用于识别图像中的模型对象的装置及方法
KR101661269B1 (ko) 2008-09-02 2016-09-29 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 휴대용 디바이스 상의 이미지 주석
US8150169B2 (en) * 2008-09-16 2012-04-03 Viewdle Inc. System and method for object clustering and identification in video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681430A (zh) * 2007-04-24 2010-03-24 诺基亚公司 运动和图像质量监视器

Also Published As

Publication number Publication date
US20110255738A1 (en) 2011-10-20
WO2011128880A3 (en) 2011-12-29
WO2011128880A2 (en) 2011-10-20
EP2558980A4 (en) 2017-05-17
EP2558980B1 (en) 2018-08-22
US8548255B2 (en) 2013-10-01
CN102918545A (zh) 2013-02-06
EP2558980A2 (en) 2013-02-20

Similar Documents

Publication Publication Date Title
CN102918545B (zh) 用于视觉搜索稳定性的方法和装置
KR102079091B1 (ko) 단말기 및 그것의 이미지 처리 방법
EP3579544B1 (en) Electronic device for providing quality-customized image and method of controlling the same
US11151723B2 (en) Image segmentation method, apparatus, and fully convolutional network system
JP2022531639A (ja) ビデオへの情報埋め込み方法、コンピュータ機器及びコンピュータプログラム
CN103312959A (zh) 拍摄装置及拍摄装置控制方法
CN103262096A (zh) 基于有限上下文从视频序列中识别关键帧
CN102272673A (zh) 用于为本人自动拍摄照片的方法、装置和计算机程序产品
CN107808109B (zh) 一种二维码图像识别方法及移动终端
CN109213397B (zh) 数据处理方法、装置和用户端
CN103577520A (zh) 目标检索装置、目标检索方法以及计算机可读取记录介质
CN107016004A (zh) 图像处理方法及装置
CN106407868A (zh) 二维码扫描处理方法及移动终端
CN113935348A (zh) 一种二维码扫描方法、装置及电子设备
KR20200009922A (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
US20230222639A1 (en) Data processing method, system, and apparatus
TWI726525B (zh) 影像二值化方法與電子裝置
CN112712564A (zh) 相机的拍摄方法和装置、存储介质、电子装置
US8702001B2 (en) Apparatus and method for acquiring code image in a portable terminal
US10887525B2 (en) Delivery of notifications for feedback over visual quality of images
US9305200B2 (en) Information acquisition apparatus, information acquisition method, and non-transitory recording medium
US11622078B2 (en) Method and apparatus for image formation using preview images
JP2022525723A (ja) 動作情報識別方法、装置、電子機器及び記憶媒体
US20230147540A1 (en) Electronic device and image processing method thereof
WO2018170727A1 (en) Method and apparatus for determining pickup parameters and electronic equipment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160114

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj