CN104364799A - 通过借由用户选择来减小相机图像的区域的快速特征检测 - Google Patents

通过借由用户选择来减小相机图像的区域的快速特征检测 Download PDF

Info

Publication number
CN104364799A
CN104364799A CN201380029088.3A CN201380029088A CN104364799A CN 104364799 A CN104364799 A CN 104364799A CN 201380029088 A CN201380029088 A CN 201380029088A CN 104364799 A CN104364799 A CN 104364799A
Authority
CN
China
Prior art keywords
region
search
image
computer vision
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380029088.3A
Other languages
English (en)
Inventor
威廉·基思·霍内阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104364799A publication Critical patent/CN104364799A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明揭示一种用于使移动装置例如在检测特征和关键点时减少计算机视觉CV处理的设备和方法。本文中的实施例减小被搜索以检测特征和关键点的图像的搜索区域或图像数据量。实施例将完整图像的搜索区域限制到用户所关注的实际区域。这个减少会减小搜索区域、减少搜索时间、减少电力消耗并且将检测限制到用户所关注的区域。

Description

通过借由用户选择来减小相机图像的区域的快速特征检测
相关申请案的交叉参考
本申请案要求2012年6月8日提交的名称为“通过减小相机图像的区域的快速特征检测(Fast feature detection by reducing an area of a camera image)”的第13/492,686号美国申请案的权益，该申请案转让给本发明的受让人，并且以引用的方式明确地并入本文中。
技术领域
本发明总体上涉及用于计算机视觉(CV)处理的设备和方法，并且更具体来说涉及减小要使用CV算法针对关键点扫描以便确定特征的图像区域。
背景技术
各种应用得益于具有能够识别出图片中的对象和特征的机器或处理器。计算机视觉领域试图提供准许识别图像中的对象和特征的技术和/或算法，其中对象或特征可以通过识别一或多个关键点的描述符来表征。这些技术和/或算法还经常应用于面部辨识、对象检测、图像匹配、三维结构构造、立体匹配和/或运动追踪以及其它应用。总体上，对象或特征辨识可以包含识别图像中的关注点(也称为关键点和特征点)，以便进行特征识别、图像检索和/或对象辨识。
在检测到图像中的关键点之后，可以通过使用各种描述符来识别或描述所述关键点。举例来说，描述符可以表示图像中的内容的视觉特征，例如形状、颜色、纹理和/或旋转以及其它图像特性。可以接着将对应于关键点并且通过描述符表示的各个特征与来自已知对象的特征的数据库匹配。此些特征描述符越来越多地应用于实时对象辨识、3-D重构、全景拼接、机器人绘图、视频追踪和类似任务。关于关键点和特征检测方面的额外信息，请参照瓦达蒂(Vaddadi)等人于2011年12月8日公开的名称为“通过修剪特征、图像缩放和空间约束特征匹配的图像辨识算法的性能(Performance ofimage recognition algorithms by pruning features，image scaling，and spatially constrainedfeature matching)”的美国专利公开案2011/0299770，该案的全文以引用的方式并入本文中。
因此，需要改进特征检测技术。
发明内容
揭示一种用于使用触摸屏反馈来指示相机图像中的减小的所关注区域以便实现更快特征检测的设备和方法，从而减少电力消耗并且改进用户体验。
根据一些方面，揭示一种用于定义用于计算机视觉算法的搜索区域的方法，所述方法包括：显示由相机俘获的具有第一区域的图像；接收用户对所述图像的一部分的选择；和基于所述图像的所述部分定义用于计算机视觉算法的搜索区域；其中所述计算机视觉算法进行的搜索限于所述搜索区域内的一区域；并且其中与所述第一区域相比所述搜索区域减小。
根据一些方面，揭示一种用以定义用于计算机视觉算法的搜索区域的移动装置，所述移动装置包括：相机；用户输入装置；存储器；和处理器，其耦合到所述相机、所述用户输入装置和所述存储器；其中所述处理器经耦合以从所述相机接收图像、从所述用户输入装置接收用户输入和将数据加载和存储到所述存储器；并且其中所述存储器包括代码，所述代码当在所述处理器上执行时，用于：显示由相机俘获的具有第一区域的图像；经由所述输入装置接收用户对所述图像的一部分的选择；和基于所述图像的所述部分定义用于计算机视觉算法的搜索区域；其中所述计算机视觉算法进行的搜索限于所述搜索区域内的一区域；并且其中与所述第一区域相比所述搜索区域减小。
根据一些方面，揭示一种用以定义用于计算机视觉算法的搜索区域的移动装置，所述移动装置包括：用于显示具有第一区域的图像的装置；用于接收用户对所述图像的一部分的选择的装置；和用于基于所述图像的所述部分定义用于计算机视觉算法的搜索区域的装置；其中所述计算机视觉算法进行的搜索限于所述搜索区域内的一区域；并且其中与所述第一区域相比所述搜索区域减小。
根据一些方面，揭示一种包含存储在其上的程序代码的非暂时性计算机可读媒体，所述程序代码包括用于以下操作的代码：显示具有第一区域的图像；接收用户对所述图像的一部分的选择；和基于所述图像的所述部分定义用于计算机视觉算法的搜索区域；其中所述计算机视觉算法进行的搜索限于所述搜索区域内的一区域；并且其中与所述第一区域相比所述搜索区域减小。
应了解，通过下列详细描述，其它方面将对于所属领域的技术人员变得容易轻而易见，其中通过说明而展示和描述了各种方面。应将图式和详细描述视为说明性质的，而不是限制性的。
附图说明
将参照图式仅举例描述本发明的实施例。
图1展示了根据一些实施例的移动装置的模块。
图2展示了显示图像的移动装置。
图3展示了包含所显示的图像的一区域的默认搜索区域。
图4展示了在搜索之后可以在图像中检测到的关键点。
图5展示了与移动装置交互的用户。
图6-9展示了根据一些实施例的用移动装置的触摸屏显示器识别出的用户选定搜索区域内的特征和关键点。
图10展示了根据一些实施例的用以限制所显示的图像的搜索的方法。
具体实施方式
下文结合附图阐述的详细描述是意在作为对本发明的各种方面的描述，并且不意在表示可以实践本发明的仅有方面。提供本发明中所描述的每一方面仅仅是作为本发明的实例或说明，并且未必应将其理解为比其它方面优选或有利。详细描述包含具体细节，目的是为了提供对本发明的透彻理解。然而，所属领域的技术人员将明白，可以在没有这些具体细节的情况下实践本发明。在一些例子中，以框图形式展示众所周知的结构和装置，以免混淆本发明的概念。仅仅为了方便和清楚起见可以使用首字母缩写和其它描述性术语，并且所述首字母缩写和描述性术语不意在限制本发明的范围。
如本文中所使用，移动装置100，有时称为移动台(MS)或用户设备(UE)，例如蜂窝电话、移动电话或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或其它能够接收无线通信和/或导航信号的合适的移动装置。术语“移动台”还意在包含例如通过短程无线、红外线、有线连接或其它连接与个人导航装置(PND)通信的装置，不论卫星信号接收、辅助数据接收和/或位置相关处理是在装置处还是在PND处发生。而且，“移动台”意在包含所有能够例如经由因特网、WiFi或其它网络与服务器通信的装置，包含无线通信装置、计算机、膝上型计算机等，并且无论卫星信号接收、辅助数据接收和/或位置相关处理是在装置处、服务器处还是与网络相关联的另一装置处发生。上述各项的任何可操作组合也被视为“移动装置100”。然而，所属领域的技术人员将认识到，下文所描述的实施例可能不要求用移动装置100来进行操作。在至少一些实施例中，下文所描述的方法和/或功能可以在任何能够显示图像和接收用户输入的装置上实施。
随着移动和手持装置中的相机的分辨率增加，计算机视觉算法(举例来说)为了识别关键点210要搜索的数据量同样增加。这个大量数据导致检测时间更慢，并且电力消耗增加，而且会检测到错误的特征。另外，对于非常杂乱或者凌乱的图像，用户可能只对检测整个图像的有限部分中的特征感兴趣。进而，特征描述符(或等效物)的传输和/或存储可能会限制对象检测的计算速度和/或图像数据库的大小。在移动装置(例如，相机电话、移动电话、某些相机等)或分布式相机网络的情境中，可能会在节点之间传输信息(例如，包含图像和/或图像描述符)方面花费很多通信和电力资源。因此，特征描述符压缩可能对于减少存储、等待时间和传输较为重要。
本文中的实施例提供一种用于减少必须搜索的图像的区域或图像数据量的方法。实施例将整个图像的区域限制到用户所关注的实际区域。这个减少可以减少所搜索的区域、减少搜索时间、减少电力消耗和/或将检测限制到仅仅用户所关注的区域。
在一些实施例中，用户将其移动装置的相机指向其中有所关注的某物的场景。用户可以在发现模式中通过使用手指在移动装置的触摸屏上定义区域，并且围住所关注的对象(例如，城市中的建筑物、桌子上的物件或更大很多并且可能更杂乱的图像内的其它对象)。用户定义的区域可以是圆、自由样式的环或其它封闭形状。举例来说，在屏幕上展示遵照用户的手指轮廓的红线，作为用以指示用户已经绘制的位置的反馈。一旦完成了对象的轮廓，用户就在屏幕上敲击一次，以指示用户选择所关注的区域完毕。移动装置的处理器接受用户的敲击，然后从发现模式移动到检测模式。举例来说，装置可以通过将轮廓高亮从红色改变成绿色而指示模式变化。可以将用户提供的轮廓视为减少的所关注的区域。在一些实施例中，接着搜索所述图像中由用户选择的这个减少的所关注的区域以便检测关键点。用户所选择的减少的区域(第一区域)往往可能比向用户显示的整个图像小很多。举例来说，减少的区域可以小于完整图像区域的50％。因此，搜索减小大小的图像将花费时间量的至少一半和更少的资源，并且将使得检测更快很多并且更容易很多。此外，处理器仅搜索寻找用户所关注的特征。
图1展示了根据一些实施例的移动装置100的模块。移动装置100包含显示器110、处理器120、存储器130、用户输入装置140和相机150。处理器120耦合到显示器110，显示器110可以是在移动和手持装置上找到的各种显示器中的任一个。处理器120还耦合到存储器130，以将数据加载和存储到存储器130。存储器130含有用以执行本文中描述的方法和操作的指令。存储器130可以含有由用户输入装置140和相机150俘获的数据以及由处理器120计算的暂时数据。处理器120耦合到用户输入装置140，用户输入装置140可以是与显示器110集成的触摸屏、单独的触摸垫或控制杆、小键盘或其它输入装置。处理器120还耦合到相机150以接收由相机150俘获的图像。图像可以是静态图像或电影流，其可以由处理器120直接或间接保存到存储器130。
图2展示了显示图像的移动装置100。图像可以含有一或多个对象200，举例来说，建筑物、面部、人工对象、自然对象和/或风景。显示器110上的图像可以是动态的，直到用户拍了快照或者输入命令(例如，用横跨显示器110的手指手势，或者通过提供另一输入)或移动装置100先前已经俘获了图像或者将图像传送到移动装置100为止。
图3展示了包含所显示的图像的区域300的默认搜索区域。在现有技术系统中，对整个图像的区域300进行处理以寻找特征和关键点210。图4展示了在搜索之后可以在图像中检测到的关键点210的实例。关键点210覆盖在原始图像上。在这种情况下，大部分区域300没有任何特征或关键点210。通过如下所述选择和/或减小搜索区域320或用户定义的区域，可以减少对此区域300的处理。
根据实施例，用户选择图像的一或多个部分。在所展示的实例图像中，处理此区域300会导致处理没有任何特征或关键点210的巨大的区域。如果用户只对一些图像特征感兴趣，则现有技术系统仍然会处理区域300，并且因此扫描没有特征的图像部分和/或检测用户根本不感兴趣或者不太感兴趣的特征。举例来说，特定图像含有几栋建筑物和一张面部。现有技术系统扫描区域300，从而产生来自面部和几栋建筑物(对象200)的特征和关键点210，即使用户可能只对来自单个建筑物或其它对象的特征感兴趣也是如此。本文中描述的实施例不是扫描区域300，而是允许用户选择(举例来说)由用户定义的线310划界的一或多个子区域；只扫描(举例来说)基于选定子区域由用户定义的线310识别出的搜索区域320；并且排除对在搜索区域320外部但是在区域300内部的区域的处理，从而仅检测搜索区域320内部的特征和关键点210。
图5展示了与移动装置100交互的用户。在图5中，在显示器110上显示图像(例如，用移动装置100上的相机150俘获的图像)。用户使用触摸屏显示器或其它用户输入装置140选择图像的一区域或多个区域。
图6-9展示了根据一些实施例的用移动装置100的触摸屏显示器识别出的用户选定搜索区域320内的特征和关键点210。举例来说，在图6中，用户刚刚通过横跨用户输入装置140拖曳他的手指而绘制了两个用户定义的线310(以定义对应搜索区域320，其可以是由相机俘获的图像的两个分开的区)以圈出一或多个期望的对象。图7展示了在用户已经通过横跨图像拖曳他的手指完成套索搜索区域320而隔离两栋建筑物之后得出的搜索区域320。
替代地，处理可以限于仅一个搜索区域320，而不是两个搜索区域320，如图所示。替代地，处理可以允许用户定义多个搜索区域320，举例来说，两个、三个或更多个搜索区域320。在一些实施例中，用户可以选择搜索区域320中的第一个来处理，并且可以接着选择是否处理搜索区域320中的第二个，例如基于在搜索区域320中的第一个中是否识别出所关注的对象。搜索区域320消除了非选定区域中的特征检测和处理。在数学上，非选定区域是通过区域300与搜索区域320之间的空间差异定义的(例如，通过用户定义的线310定义的)一或多个区域。
图8和9分别展示了用户定义的线310和搜索区域320的交替集合。用户不是拖曳和套索搜索区域320，而是可以敲击圆的中心，从而创建一个指示用户定义的线310(并且因此定义搜索区域320)的固定半径的圆。用户可以使用两根手指用指捏技术来缩小或放大圆、椭圆或其它形状以产生搜索区域320。可以使用其它输入来定义搜索区域或调整先前输入的搜索区域320。在一些实施例中，可以将搜索区域320定义为封围的区域外部的区。举例来说，不是将搜索区域320输入到计算机视觉(CV)算法中，而是可以忽略搜索区域320，并且可以搜索搜索区域320外部的区域或者否则将搜索区域320外部的区域输入到CV算法中。
图10展示了根据一些实施例用于定义用于计算机视觉算法的搜索区域的方法400。在步骤410处，处理器120在移动装置100上显示由相机俘获的具有第一区域的图像。举例来说，所显示的图像可能是由移动装置100处的相机或者替代地由另一装置处的相机俘获的，并且可以包含一或多个关键点210和/或对象。显示图像可以在触摸屏上发生，并且具有第一区域。
在步骤420处，处理器120从用户接收对图像的一部分的选择(例如，通过用户定义的线310)。举例来说，处理器120可以从触摸屏接收用户输入，例如一或多个中心点、线段或闭环。此些用户定义的线310定义来自用户的选择。在步骤430处，处理器120基于用户选择来定义可能含有关键点210的至少一个搜索区域(例如，搜索区域320)。搜索区域320限于图像的第一区域内的区域。搜索区域320可以是用户绘制的圆、椭圆、多边形或自由形式的区域。在步骤440处，处理器120将搜索区域320提供到CV算法以检测关键点210、特征和/或对象。CV算法将搜索限制到搜索区域320。
CV算法可以本地地在处理器120上运行，或者远程地在单独的处理器(例如网络上的服务器)上运行。在CV算法部分地或完全地在远程服务器上运行的情况下，可以将上行链路信息(例如，第一区域和/或搜索区域320的定义)从移动装置100传送到服务器。举例来说，移动装置100可以传输关于搜索区域320和要在搜索期间忽略或者包含哪一或多个图像区段的上行链路信息。在一些实施例中，不传输用于不包含在搜索区域320中的区域300的部分的信息。例如服务器等远程装置可以执行计算机视觉算法的至少一部分。服务器可以搜索搜索区域320以寻找一或多个关键点210。服务器接着可以使用关键点210来辨识或识别一或多个特征和/或一或多个对象。接下来，服务器可以将下行链路信息(例如，一或多个识别出的关键点210、特征和/或对象)传送到移动装置100。
同样，可以通过移动装置100的处理器120上的CV算法来执行本文中描述的服务器的一些或所有功能。也就是说，处理器120可以完全地或部分地在移动装置100上执行计算机视觉算法。举例来说，计算机视觉算法可以基于关键点210识别对象的特征，并且接着至少部分地基于、辨识识别出的特征和将识别出的特征与对象的已知特征匹配。
如果移动装置100接收到一或多个关键点210，则在步骤450处，处理器120可以基于搜索结果(例如，关键点210)来辨识或识别至少一个特征和/或至少一个对象。在一些实施例中，可以使用识别出的特征和/或对象作为对AR(增强现实)应用的输入。处理器120可以起作用以至少部分地基于计算机视觉算法的结果操作AR应用，也可以在处理器120上执行计算机视觉算法。最后，处理器120可以至少部分地基于计算机视觉算法的结果在AR应用中显示所述一或多个关键点210、特征和/或对象。举例来说，AR应用可以使用关键点210和/或识别出的特征或对象在图像上锚定动画或计算机产生的图标、对象或字符，并且接着显示含有所述动画的合成图像。以此方式，当操作AR应用或另一类型的应用时，可以减少处理量和/或所消耗的电力。进而，AR应用的用户可以减少或以其它方式限制用于AR应用的搜索区域，或者可以相对于AR应用识别用户所关注的一个区或多个区。因此，举例来说，可以针对所关注的一个区或多个区确保AR应用提供的增强，或者使AR应用提供的增强限于那个区或那些区。
在一些实施例中，移动装置100上的显示器110(例如触摸屏显示器)充当用于显示具有第一区域的图像的装置。替代地，在一些实施例中，处理器120充当用于显示具有第一区域的图像的装置。在一些实施例中，处理器120和/或服务器运行计算机视觉算法、充当用于接收用户对图像的一部分的选择的装置，和/或充当用于基于图像的所述部分定义用于计算机视觉算法的搜索区域的装置。
可以依据应用由各种装置实施本文中描述的方法。举例来说，可以在硬件、固件、软件或其任何组合中实施这些方法。对于硬件实施方案，处理单元可以在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、其它经设计以执行本文中描述的功能的电子单元或其组合内实施。
对于固件和/或软件实施方案，可以用执行本文中描述的功能的模块(例如，程序、功能等等)来实施所述方法。在实施本文中描述的方法时，可以使用有形地体现指令的任何机器可读媒体。举例来说，软件代码可以存储在存储器中并且由处理器单元执行。存储器可以实施在处理器单元内部或处理器单元外部。如本文中所使用，术语“存储器”是指任何类型的长期、短期、易失性、非易失性、暂时性、非暂时性或其它存储器，并且将不限于任何特定类型的存储器或多个存储器，或存储器所存储在的媒体的类型。
如果在固件和/或软件中实施，则所述功能可以作为一或多个指令或代码存储在计算机可读媒体上。实例包含用数据结构编码的计算机可读媒体和用计算机程序编码的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例并且不作为限制，此计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或任何其它可以用于存储指令或数据结构的形式的期望的程序代码并且可以被计算机存取的媒体；本文中使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地再现数据，而光盘使用激光光学地再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。
除了存储在计算机可读媒体上之外，还可以在通信设备中包含的传输媒体上作为信号提供指令和/或数据。举例来说，通信设备可包含具有指示指令和数据的信号的收发器。指令和数据经配置以使得一或多个处理器实施权利要求书中概述的功能。也就是说，通信设备包含具有指示用以执行所揭示的功能的信息的信号的传输媒体。在第一时间，通信设备中包含的传输媒体可包含用以执行所揭示的功能的信息的第一部分，而在第二时间，通信设备中包含的传输媒体可包含用以执行所揭示的功能的信息的第二部分。
提供所揭示的方面的先前描述以使得任何所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易显而易见对这些方面的各种修改，且可在不脱离本发明的精神或范围的情况下将本文中所定义的一般原理应用于其它方面。

Claims (34)

1.一种用于定义用于计算机视觉算法的搜索区域的方法，所述方法包括：
显示由相机俘获的具有第一区域的图像；
接收用户对所述图像的一部分的选择；和
基于所述图像的所述部分定义用于计算机视觉算法的搜索区域；
其中所述计算机视觉算法进行的搜索限于所述搜索区域内的一区域；并且
其中与所述第一区域相比所述搜索区域减小。
2.根据权利要求1所述的方法，其进一步包括基于所述搜索的结果来辨识所述图像中的对象。
3.根据权利要求2所述的方法，其中所述搜索包括搜索所述搜索区域以寻找关键点。
4.根据权利要求3所述的方法，其中所述计算机视觉算法包括基于所述关键点来识别所述对象的特征，并且其中所述辨识至少部分地是基于将所述识别出的特征与所述对象的已知特征匹配。
5.根据权利要求1所述的方法，其进一步包括在移动装置上执行所述计算机视觉算法。
6.根据权利要求1所述的方法，其进一步包括向远程装置传输关于所述搜索区域的信息以执行所述计算机视觉算法的至少一部分，其中所述传输的信息不包括所述图像的在所述搜索区域外部的至少一部分。
7.根据权利要求1所述的方法，其进一步包括至少部分地基于所述计算机视觉算法的结果来操作增强现实应用。
8.根据权利要求1所述的方法，其中所述显示包括在触摸屏上显示所述图像，并且其中所述接收所述选择包括在所述触摸屏上接收输入。
9.根据权利要求1所述的方法，其中所述选择包括至少一个用户定义的线。
10.根据权利要求9所述的方法，其中所述搜索区域包括多边形。
11.根据权利要求9所述的方法，其中所述搜索区域包括圆。
12.根据权利要求9所述的方法，其中所述搜索区域包括自由形式的区域。
13.根据权利要求1所述的方法，其中接收所述选择包括接受所述用户的敲击。
14.根据权利要求1所述的方法，其中所述搜索区域包括所述图像的至少两个分开的区。
15.一种用以定义用于计算机视觉算法的搜索区域的移动装置，所述移动装置包括：相机；
用户输入装置；
存储器；和
处理器，其耦合到所述相机、所述用户输入装置和所述存储器；
其中所述处理器经耦合以从所述相机接收图像、从所述用户输入装置接收用户输入和将数据加载和存储到所述存储器；并且
其中所述存储器包括代码，所述代码当在所述处理器上执行时，用于：
显示由所述相机俘获的具有第一区域的图像；
经由所述输入装置接收用户对所述图像的一部分的选择；和
基于所述图像的所述部分定义用于计算机视觉算法的搜索区域；
其中所述计算机视觉算法进行的搜索限于所述搜索区域内的一区域；并且
其中与所述第一区域相比所述搜索区域减小。
16.根据权利要求15所述的移动装置，所述代码进一步包括用于基于所述搜索的结果辨识所述图像中的对象的代码。
17.根据权利要求16所述的移动装置，其中所述搜索包括搜索所述搜索区域以寻找关键点。
18.根据权利要求17所述的移动装置，其中所述计算机视觉算法包括基于所述关键点来识别所述对象的特征，并且其中所述辨识至少部分地是基于将所述识别出的特征与所述对象的已知特征匹配。
19.根据权利要求15所述的移动装置，所述代码进一步包括用于在移动装置上执行所述计算机视觉算法的代码。
20.根据权利要求15所述的移动装置，所述代码进一步包括用于向远程装置传输关于所述搜索区域的信息以执行所述计算机视觉算法的至少一部分的代码，其中所述传输的信息不包括所述图像的在所述搜索区域外部的至少一部分。
21.根据权利要求15所述的移动装置，所述代码进一步包括用于至少部分地基于所述计算机视觉算法的结果来操作增强现实应用的代码。
22.根据权利要求15所述的移动装置，其中所述搜索区域包括所述图像的至少两个分开的区。
23.根据权利要求15所述的移动装置，其中用于接受所述选择的代码包括用于绘制至少一个用户定义的线的代码。
24.根据权利要求15所述的移动装置，其中所述搜索区域包括圆。
25.根据权利要求15所述的移动装置，其中所述搜索区域包括自由形式的区域。
26.根据权利要求15所述的移动装置，其中用于接收所述选择的代码包括用于接收所述用户的敲击的代码。
27.一种用以定义用于计算机视觉算法的搜索区域的移动装置，所述移动装置包括：
用于显示具有第一区域的图像的装置；
用于接收用户对所述图像的一部分的选择的装置；和
用于基于所述图像的所述部分定义用于计算机视觉算法的搜索区域的装置；
其中所述计算机视觉算法进行的搜索限于所述搜索区域内的一区域；并且
其中与所述第一区域相比所述搜索区域减小。
28.根据权利要求27所述的移动装置，其中用于接受所述选择的装置包括用于绘制至少一个用户定义的线的装置。
29.根据权利要求27所述的移动装置，其中所述搜索区域包括圆。
30.根据权利要求27所述的移动装置，其中所述搜索区域包括自由形式的区域。
31.一种非暂时性计算机可读媒体，包含存储在其上的程序代码，所述程序代码包括用于以下操作的代码：
显示具有第一区域的图像；
接收用户对所述图像的一部分的选择；和
基于所述图像的所述部分定义用于计算机视觉算法的搜索区域；
其中所述计算机视觉算法进行的搜索限于所述搜索区域内的一区域；并且
其中与所述第一区域相比所述搜索区域减小。
32.根据权利要求31所述的非暂时性计算机可读媒体，其中所述用于接受所述选择的代码包括用于绘制至少一个用户定义的线的代码。
33.根据权利要求31所述的非暂时性计算机可读媒体，其中所述搜索区域包括圆。
34.根据权利要求31所述的非暂时性计算机可读媒体，其中所述搜索区域包括自由形式的区域。
CN201380029088.3A 2012-06-08 2013-05-01 通过借由用户选择来减小相机图像的区域的快速特征检测 Pending CN104364799A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/492,686 2012-06-08
US13/492,686 US20130328760A1 (en) 2012-06-08 2012-06-08 Fast feature detection by reducing an area of a camera image
PCT/US2013/039114 WO2013184253A1 (en) 2012-06-08 2013-05-01 Fast feature detection by reducing an area of a camera image through user selection

Publications (1)

Publication Number Publication Date
CN104364799A true CN104364799A (zh) 2015-02-18

Family

ID=48538039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380029088.3A Pending CN104364799A (zh) 2012-06-08 2013-05-01 通过借由用户选择来减小相机图像的区域的快速特征检测

Country Status (3)

Country Link
US (1) US20130328760A1 (zh)
CN (1) CN104364799A (zh)
WO (1) WO2013184253A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832502A (zh) * 2017-07-11 2020-02-21 美国西门子医学诊断股份有限公司 具有多个候选者的基于图像的管顶圆检测
CN112559790A (zh) * 2019-09-25 2021-03-26 株式会社美凯利 基于绘制进行图像搜索的方法、计算装置和存储介质
CN112673617A (zh) * 2018-09-10 2021-04-16 微软技术许可有限责任公司 针对图像的多区域检测

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US9299160B2 (en) 2012-06-25 2016-03-29 Adobe Systems Incorporated Camera tracker target user interface for plane detection and object creation
JP6040873B2 (ja) * 2013-06-17 2016-12-07 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
US20150016719A1 (en) * 2013-07-09 2015-01-15 Mediatek Inc. Methods of sifting out significant visual patterns from visual data
US20150089431A1 (en) * 2013-09-24 2015-03-26 Xiaomi Inc. Method and terminal for displaying virtual keyboard and storage medium
US10957108B2 (en) * 2019-04-15 2021-03-23 Shutterstock, Inc. Augmented reality image retrieval systems and methods

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040042661A1 (en) * 2002-08-30 2004-03-04 Markus Ulrich Hierarchical component based object recognition
CN101169827A (zh) * 2007-12-03 2008-04-30 北京中星微电子有限公司 一种对图像中的特征点进行跟踪的方法及装置
CN101464951A (zh) * 2007-12-21 2009-06-24 北大方正集团有限公司 图像识别方法及系统
US20100045800A1 (en) * 2005-12-30 2010-02-25 Fehmi Chebil Method and Device for Controlling Auto Focusing of a Video Camera by Tracking a Region-of-Interest
US20100260426A1 (en) * 2009-04-14 2010-10-14 Huang Joseph Jyh-Huei Systems and methods for image recognition using mobile devices
US20110299770A1 (en) * 2009-12-02 2011-12-08 Qualcomm Incorporated Performance of image recognition algorithms by pruning features, image scaling, and spatially constrained feature matching

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6058209A (en) * 1991-09-27 2000-05-02 E. I. Du Pont De Nemours And Company Method for resolving redundant identifications of an object
US7324081B2 (en) * 1999-03-02 2008-01-29 Siemens Aktiengesellschaft Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US7480422B2 (en) * 2005-10-14 2009-01-20 Disney Enterprises, Inc. Systems and methods for information content delivery relating to an object
US20070281734A1 (en) * 2006-05-25 2007-12-06 Yoram Mizrachi Method, system and apparatus for handset screen analysis
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US7995055B1 (en) * 2007-05-25 2011-08-09 Google Inc. Classifying objects in a scene
US20120154633A1 (en) * 2009-12-04 2012-06-21 Rodriguez Tony F Linked Data Methods and Systems
US8332429B2 (en) * 2010-06-22 2012-12-11 Xerox Corporation Photography assistant and method for assisting a user in photographing landmarks and scenes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040042661A1 (en) * 2002-08-30 2004-03-04 Markus Ulrich Hierarchical component based object recognition
US20100045800A1 (en) * 2005-12-30 2010-02-25 Fehmi Chebil Method and Device for Controlling Auto Focusing of a Video Camera by Tracking a Region-of-Interest
CN101169827A (zh) * 2007-12-03 2008-04-30 北京中星微电子有限公司 一种对图像中的特征点进行跟踪的方法及装置
CN101464951A (zh) * 2007-12-21 2009-06-24 北大方正集团有限公司 图像识别方法及系统
US20100260426A1 (en) * 2009-04-14 2010-10-14 Huang Joseph Jyh-Huei Systems and methods for image recognition using mobile devices
US20110299770A1 (en) * 2009-12-02 2011-12-08 Qualcomm Incorporated Performance of image recognition algorithms by pruning features, image scaling, and spatially constrained feature matching

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832502A (zh) * 2017-07-11 2020-02-21 美国西门子医学诊断股份有限公司 具有多个候选者的基于图像的管顶圆检测
CN110832502B (zh) * 2017-07-11 2023-09-05 美国西门子医学诊断股份有限公司 具有多个候选者的基于图像的管顶圆检测
CN112673617A (zh) * 2018-09-10 2021-04-16 微软技术许可有限责任公司 针对图像的多区域检测
CN112673617B (zh) * 2018-09-10 2023-03-24 微软技术许可有限责任公司 针对图像的多区域检测
CN112559790A (zh) * 2019-09-25 2021-03-26 株式会社美凯利 基于绘制进行图像搜索的方法、计算装置和存储介质

Also Published As

Publication number Publication date
US20130328760A1 (en) 2013-12-12
WO2013184253A1 (en) 2013-12-12

Similar Documents

Publication Publication Date Title
CN104364799A (zh) 通过借由用户选择来减小相机图像的区域的快速特征检测
US10580206B2 (en) Method and apparatus for constructing three-dimensional map
US9483113B1 (en) Providing user input to a computing device with an eye closure
US11409363B2 (en) Augmented reality hand gesture recognition systems
US9894115B2 (en) Collaborative data editing and processing system
US9530232B2 (en) Augmented reality surface segmentation
RU2580064C2 (ru) Регулируемый и прогрессивный уличный вид мобильного устройства
US9177224B1 (en) Object recognition and tracking
US9298970B2 (en) Method and apparatus for facilitating interaction with an object viewable via a display
US9880713B2 (en) Display control apparatus, display control method, and program
US9201585B1 (en) User interface navigation gestures
US20200311468A1 (en) Indoor localization using real-time context fusion of visual information from static and dynamic cameras
KR20150059466A (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US20150074573A1 (en) Information display device, information display method and information display program
US10810789B2 (en) Image display apparatus, mobile device, and methods of operating the same
US20140320404A1 (en) Image processing device, image processing method, and program
EP3461138A1 (en) Processing method and terminal
US9109921B1 (en) Contextual based navigation element
US20150153715A1 (en) Rapidly programmable locations in space
US11367249B2 (en) Tool for viewing 3D objects in 3D models
Liu et al. Fast camera motion estimation for hand-held devices and applications
KR101305947B1 (ko) 랩어라운드 영상을 이용한 로봇 원격 제어를 위한 방법 및 이를 위한 장치
EP4026092A1 (en) Scene lock mode for capturing camera images
JP6223371B2 (ja) ポインティング装置、ポインティング方法、及びプログラム
CN115756170A (zh) 一种基于增强现实设备的多设备交互系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150218

WD01 Invention patent application deemed withdrawn after publication