CN103535021A

CN103535021A - 自动对焦追踪

Info

Publication number: CN103535021A
Application number: CN201280019909.0A
Authority: CN
Inventors: C·W·斯维特三世; S·斯宾德拉戴茨
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2011-02-24
Filing date: 2012-02-24
Publication date: 2014-01-22
Anticipated expiration: 2032-02-24
Also published as: EP2679001A1; WO2012116347A1; KR20130124984A; US9077890B2; CN103535021B; US20120218456A1; JP2014510943A; KR101517315B1; JP6327858B2

Abstract

提出了用于支持扩增现实或其他计算机视觉应用的装置和方法。各实施例使得能在自然特征引擎和自动对焦引擎之间进行通信以提高引擎的准确性或减少引擎的处理时间。自动对焦引擎可将自动对焦窗口的位置和/或从前一自动对焦窗口到下一自动对焦窗口的位置改变传达给自然特征检测模块。自然特征检测模块使用所传达的信息限定最初的搜索区域和/或设置下一追踪搜索窗口。自然特征追踪模块可将从自然特征的前一位置到该自然特征的下一位置的改变传达给自动对焦引擎。自动对焦引擎使用该改变来设置下一自动对焦窗口。

Description

自动对焦追踪

相关申请的交叉引用

无。

背景技术

I．发明领域

本公开一般涉及用于扩增现实以及其他计算机视觉应用的装置和方法，并且更具体地，涉及将相机自动对焦与基于计算机视觉的识别和追踪相整合。

II.背景

扩增现实系统使用自然特征来作为一系列图像内用于摆放计算机生成的图标和图像的参考点。包括自然特征检测模块和自然特征追踪模块的自然特征处理引擎被用于寻找和跟踪这些参考点。移动设备可用此类扩增现实引擎来增强。许多移动设备还具有具备由自动对焦引擎提供的自动对焦能力的相机。自然特征引擎和自动对焦引擎两者都追踪从图像到图像之间的改变，然而，已知的系统并不能允许这些引擎之间进行通信。

在扩增现实中，准确跟踪被追踪的对象的移动和位置的追踪创造出显著改善的用户体验。因此，更多的努力被投入到改善追踪性能中。处理器中的对象追踪功能与在相机前端的自动对焦功能分开工作。自动对焦功能通常以硬件形式执行或者通过硬件加速来执行。自动对焦操作可得到对于改善自然特征检测和/或追踪而言有用的信息。类似地，自然特征检测和追踪可得到对于改善自动对焦功能而言有用的信息。

许多现有移动设备10包含相机和处理器。相机将图像提供给处理器，处理器可通过各种扩增现实技术来修改图像。处理器可发送控制信号触发以用于激活相机，而作为响应，相机将图像或图像序列提供给处理器用于图像处理。没有任何从自然特征处理中获得的信息被返回给相机以辅助获得改进的图像。也就是说，除了触发之外的控制信息不会从处理器流向相机。

在其他现有的移动设备10中，与自然特征检测和追踪相关联的图像处理同与自动对焦相关联的图像处理是不相关联的。图1示出了包含自然特征处理引擎110和自动对焦引擎300的已知系统，如划线400所示，两者不耦合且因此不传达信息。现有的移动设备10包含用作为自然特征处理引擎110以及也作为自动对焦引擎300的一个或多个处理器。自然特征处理引擎110包括自然特征检测模块120和自然特征追踪模块125。

一般来说，自然特征检测模块120和自然特征追踪模块125中的各操作并行工作，然而，对于特定的自然特征而言，这些操作看起来是顺序发生的，其中首先在图像内检测到自然特征，然后贯穿后续图像始终追踪该自然特征。该自然特征在图像内的位置由一分立的处理用于扩增现实模块130。每个图像经受通过自然特征检测模块120的处理以检测新的自然特征，并且还经受通过自然特征追踪模块125的处理以逐图像地跟踪已检测到的自然特征的移动。

如划线400处所示，自动对焦引擎300与自然特征处理引擎110没有通信并且可作为并行任务来运行。自动对焦引擎300可以硬件实现或者可以硬件和软件的组合实现。自动对焦引擎300实时或近实时运行以捕捉新图像。因此，存在对改进自然特征处理以及自动对焦两者的持续的需求。

简要概述

公开了一种用于将自然特征处理引擎与自动对焦引擎耦合的装置和方法。

根据一些方面，公开了一种用于计算机视觉的移动设备，该移动设备包括：自然特征处理引擎，其包括自然特征检测模块和自然特征追踪模块；以及自动对焦引擎，其耦合至所述自然特征处理引擎以传达信息以便设置包括自然特征窗口和/或自动对焦窗口中的至少一者的窗口的位置。

根据一些方面，公开了一种在计算机视觉中使用的移动设备中的方法，该方法包括：在图像内选择自动对焦窗口；在所选定的窗口上自动对焦；传达自动对焦窗口的位置；基于自动对焦窗口的位置限定自然特征检测的区域；以及在所限定的区域中寻找自然特征。

根据一些方面，公开了一种在计算机视觉中使用的移动设备中的方法，该方法包括：在第一图像内设置第一自动对焦窗口；在第二图像内设置第二自动对焦窗口；传达从所述第一自动对焦窗口到所述第二自动对焦窗口的改变；基于所述改变设置下一追踪搜索窗口；以及在所述下一追踪搜索窗口内追踪自然。

根据一些方面，公开了一种用在计算机视觉中使用的移动设备中的方法，该方法包括：追踪自然特征到第一图像内的第一位置；追踪该自然特征到第二图像内的第二位置；传达从所述第一位置到所述第二位置的改变；基于所述改变设置下一自动对焦窗口；以及在所述自动对焦窗口内自动对焦。

根据一些方面，公开了一种在计算机视觉中使用的移动设备，该移动设备包括：相机以及自动对焦引擎；以及处理器和存储器，存储器包括用于执行上述方法的代码。

根据一些方面，公开了一种在计算机视觉中使用的移动设备，该移动设备包括用于执行上述方法的装置。

根据一些方面，公开了一种包括存储于其上的程序代码的非易失性计算机可读存储介质，其包括用于执行上述方法的程序代码。

应理解，根据以下详细描述，其他方面对于本领域技术人员而言将变得明显，在以下详细描述中以解说方式示出和描述了各个方面。附图和详细描述应被认为在本质上是解说性而非限制性的。

附图简要说明

将参照附图仅作为示例来描述本发明的各实施例。

图1示出了包含不进行信息沟通的自然特征处理引擎和自动对焦引擎的已知系统。

图2示出了检测和追踪自然特征的自然特征处理引擎内的已知状态。

图3解说了包含建筑物和树的图像，其具有要被追踪的特征。

图4解说了覆盖在该图像上的自然特征。

图5解说了各个自然特征的位置。

图6解说了各个自然特征的位置在两幅图像之间的改变。

图7解说了从自然特征的前一位置到相同自然特征的下一位置的改变。

图8示出了图像内的自动对焦窗口。

图9示出了根据本发明的一些实施例的、包含进行信息沟通的自然特征处理引擎和自动对焦引擎的移动设备。

图10示出了根据本发明的一些实施例的、正被用于限定用来检测自然特征的区域的自动对焦窗口的位置。

图11示出了从前一自动对焦窗口到下一自动对焦窗口的位置改变。

图12示出了根据本发明的一些实施例的、基于从前一自动对焦窗口到下一自动对焦窗口的位置改变的幅度来设置下一追踪搜索窗口的大小。

图13示出了根据本发明的一些实施例的、基于从前一自动对焦窗口到下一自动对焦窗口的位置改变的方向来设置下一追踪搜索窗口的中心。

图14示出了根据本发明的一些实施例的、基于从自然特征的前一位置到该自然特征的下一位置的改变来设置前一自动对焦窗口到下一自动对焦窗口的位置（中心和/或大小）的改变。

图15示出了根据本发明的一些实施例的、用于基于自动对焦窗口的位置来限定用于自然特征检测的区域的方法。

图16示出了根据本发明的一些实施例的、用于基于前一和下一自动对焦窗口之间的改变来设置下一追踪搜索窗口的方法。

图17示出了根据本发明的一些实施例的、用于基于从自然特征的前一位置到下一位置的改变来设置下一自动对焦窗口的方法。

详细描述

以下结合附图阐述的详细描述旨在作为本公开的各种方面的描述，而无意代表可实践本公开的仅有方面。本公开中描述的每个方面是仅作为本公开的示例或解说而提供的，并且不应被必然地解释成优于或胜过其他方面。本详细描述包括具体细节，其目的在于提供对本公开的透彻理解。然而，对于本领域技术人员而言明显的是，本公开无需这些具体细节也可实践。在一些实例中，众所周知的结构和设备以框图形式示出以避免湮没本公开的概念。首字母缩写和其它描述性术语可能仅为方便和清楚而使用，且无意限定本公开的范围。

本文中所描述的位置确定技术可协同诸如无线广域网（WWAN）、无线局域网（WLAN）、无线个域网（WPAN）等各种无线通信网络来实现。术语“网络”和“系统”常被可互换地使用。WWAN可以是码分多址（CDMA）网络、时分多址（TDMA）网络、频分多址（FDMA）网络、正交频分多址（OFDMA）网络、单载波频分多址（SC-FDMA）网络、长期演进（LTE）等等。CDMA网络可实现诸如cdma2000、宽带CDMA（W-CDMA）等一种或多种无线电接入技术（RAT）。cdma2000包括IS-95、IS-2000和IS-856标准。TDMA网络可实现全球移动通信系统（GSM）、数字高级移动电话系统（D-AMPS）、或其他某种RAT。GSM和W-CDMA在来自名为“第三代伙伴项目”（3GPP）的联盟的文献中描述。Cdma2000在来自名为“第三代伙伴项目2”（3GPP2）的联盟的文献中描述。3GPP和3GPP2文献是公众可获取的。WLAN可以是IEEE802.11x网络，并且WPAN可以是蓝牙网络、IEEE802.15x、或其他某种类型的网络。这些技术也可结合WWAN、WLAN和/或WPAN的任何组合来实现。

卫星定位系统（SPS）典型地包括发射机系统，这些发射机定位成使得各实体能够至少部分地基于从这些发射机接收到的信号来确定自己在地球上或上方的位置。此类发射机通常发射用具有设定数目个码片的重复伪随机噪声（PN）码作标记的信号，并且可位于基于地面的控制站、用户装备和/或空间飞行器上。在特定示例中，此类发射机可位于环地轨道卫星飞行器（SV）上。例如，诸如全球定位系统（GPS）、Galileo（伽利略）、GLONASS（格洛纳斯）或Compass（北斗）等全球导航卫星系统（GNSS）的星座中的SV可发射用可与由该星座中的其它SV所发射的PN码区分开的PN码作标记的信号（例如，如在GPS中那样对每颗卫星使用不同PN码，或者如在GLONASS中那样在不同频率上使用相同的码）。根据某些方面，本文中给出的技术不限于全球SPS系统（例如，GNSS）。例如，可将本文中所提供的技术应用于各种地区性系统和/或各种扩增系统、或另行使之能在各种地区性系统和/或各种扩增系统中使用，这些地区性系统诸如举例而言有日本上空的准天顶卫星系统（QZSS）、印度上空的印度地区性导航卫星系统（IRNSS）、中国上空的北斗等，而这些扩增系统（例如，基于卫星的扩增系统（SBAS））可与一个或多个全球和/或地区性导航卫星系统相关联或另行使其能与之联用。作为示例而非限定，SBAS可包括提供完整性信息、差分校正等的（诸）扩增系统，诸如举例而言，广域扩增系统（WAAS）、欧洲对地静止导航覆盖服务（EGNOS）、多功能卫星扩增系统（MSAS）、GPS辅助式Geo（对地静止）扩增导航或GPS和Geo扩增导航系统（GAGAN）和/或类似系统。因此，如本文中所使用的，SPS可包括一个或多个全球和/或地区性导航卫星系统和/或扩增系统的任何组合，并且SPS信号可包括SPS信号、类SPS信号和/或与此一个或多个SPS相关联的其他信号。

如本文中所使用的，移动设备100有时又称移动站（MS）或用户装备（UE），诸如蜂窝电话、移动电话或其他无线通信设备、个人通信系统（PCS）设备、个人导航设备（PND）、个人信息管理器（PIM）、个人数字助理（PDA）、膝上型计算机或能够接收无线通信和/或导航信号的其他合适的移动设备。术语“移动站”还旨在包括诸如藉由短程无线、红外、有线连接、或其他连接与个人导航设备（PND）通信的设备——不管卫星信号接收、辅助数据接收、和/或位置相关处理是发生在该设备处还是在PND处。而且，移动站100旨在包括所有能够（诸如经由因特网、Wi-Fi、或其他网络）与服务器通信的设备，包括无线通信设备、计算机、膝上型计算机等，而不管卫星信号接收、辅助数据接收、和/或位置有关的处理是发生在该设备处、服务器处、还是与网络相关联的另一设备处。以上的任何可操作的组合也被认为是“移动站”。

与现有移动设备10不同，根据本发明的移动设备100允许自动对焦引擎300和自然特征处理引擎110之间的通信，如以下将描述的。类似于现有移动设备10，移动设备100包含存储器、一个或多个处理器（用作自然特征处理引擎110和自动对焦引擎300）、以及用户接口（诸如显示器、扬声器、触摸屏和/或按钮）。自然特征处理引擎110（也被称为基于计算机视觉的识别和追踪）包括自然特征检测模块120和自然特征追踪模块125。

图2示出了检测和追踪自然特征的自然特征处理引擎110内的已知状态。在自然特征检测模块120中，处理器在每幅图像内搜索新的或未检测的自然特征。一旦检测到自然特征，处理器就通过自然特征追踪模块120跟踪检测到的自然特征。一旦自然特征不再能够被跟踪到（例如，该自然特征不再位于图像内或者不再可分辨），则该自然特征被宣告丢失。

图3解说了包含建筑物和树210的图像，其具有要被追踪的特征。使用自然特征检测模块120，图像200可经受各种处理，包括例如隅角、线或边检测。图像200示出了树210在建筑物的旁边，建筑物具有侧面220和窗户230。接着，图像200可经受隅角检测。图4解说了覆盖在图像上的自然特征。在这个示例中，各个隅角被检测作为图像200中的自然特征（240,250,260）。

图5解说了各个自然特征的位置。接着，处理器尝试通过将自然特征与新位置相匹配来追踪自然特征（240,250,260）。匹配可以各种准则来执行，其得到与自然特征的相似度的某些衡量。例如，处理器可使用相关（例如，归一化互相关）来将自然特征与其新位置相匹配。处理器可将第一图像中的每个自然特征周围的网格内的像素与第二图像中的总网格位置中的像素相关联。例如，自然特征追踪模块125标识第一图像上的特定位置处的8×8像素网格。像素尺寸和位置所定义的区域可被称为自然特征检测窗口。一般来说，自然特征检测窗口显著小于自动对焦窗口，其中自然特征检测窗口包含少于200个像素，而自动对焦窗口包含多于200个像素。

处理速度与自然特征检测窗口所覆盖的大小直接相关；各自仅覆盖一小面积的较小的窗口能够被更快处理。其他像素尺寸也可用于于自然特征检测窗口。例如，追踪不是使用8×8正方形网格，而是可使用其他正方形或非正方形的固定尺寸网格大小（例如，4×4、10×10或16×16）或可变尺寸网格大小（例如，在尺寸取决于自然特征的特性的场合）。追踪将检查第二图像中由该8×8网格定义的相同位置。如果相关得到一个高结果，则在图像间没有发生移动，并且如所预期的，该自然特征的像素位置被预期为在第二图像上的相同位置处。如果相机正在线性和/或旋转移动，或者如果图像中的对象正相对于移动设备100移动，则自然特征会看上去在第一图像到第二图像之间移动了，如将在接下来的附图中示出的。在此情形中，如果自然特征检测窗口包含该自然特征，则高相关结果将发生在第二图像中的该新位置处。

图6解说了各个自然特征的位置在两幅图像之间的改变。在该图中，来自第一图像的各自然特征的位置（例如，位置240、250、260）被示出为与来自第二图像的相同的自然特征的位置（例如，位置240’、250’、260’）交迭。最有可能包含自然特征的自然特征检测窗口的“下一个”位置用撇号“’”指示符示出。在此情形中，大量、大部分或全部的自然特征可能看上去已向左下方移动。最有可能的是，相机已向右下方移动但被拍摄的实际对象没有移动。在任何情况下，通过将自然特征检测窗口移动到下一图像内的新位置，自然特征追踪模块125就可限制在相关区域上搜索时使用的处理，若非如此该相关区域本将更大。也就是说，根据一些实施例，每个自然特征检测窗口可以更小但仍然可在类似的或者更短的时间段内获得高相关结果。

图7解说了从自然特征的前一位置到相同自然特征的下一位置的改变。首先检测来自第一或前一图像的自然特征260的位置，随后对其进行追踪。随后自然特征的位置260’被追踪到第二或下一图像中的第二或下一位置。这一视在的移动可以是由于该自然特征实际地从图像到图像之间发生了移动和/或相机移动和/或旋转而引起的。

如上所述的，自然特征或一组自然特征常常看上去从一幅图像上的前一位置移动到下一幅图像上的下一位置。

移动设备100中的相机通常包含自动对焦引擎300，其基于检测到的对象锁定对焦。自动对焦引擎300可作用于一连续的模拟图像或者可作用于一数字图像以聚焦在该图像中由自动对焦窗口310所定义的区域上。从图像到图像之间，自动对焦窗口310可看上去在图像序列中移动。从这层意义上来说，自动对焦引擎300看上去在该图像序列内追踪对象。

根据本发明的一些实施例，移动设备100将相机的自动对焦引擎300与执行基于计算机视觉的识别和追踪的自然特征处理引擎110相集成。自动对焦引擎300和自然特征处理引擎110被允许沟通诸如自动对焦窗口310和/或自然特征的位置和/或位置改变之类的信息。自动对焦引擎300可使用来自自然特征处理引擎110的信息以更好地放置其自动对焦窗口310（即，框在图像内的位置）。类似地，自然特征处理引擎110可使用来自自动对焦引擎300的信息以更好地放置用于寻找自然特征的新位置的相关窗口。替代地，自然特征处理引擎110不考虑这一来自自动对焦引擎300的信息。

图8示出了图像200内的自动对焦窗口310。通常，自动对焦引擎300搜索整幅图像以寻找一个或数个对象（例如，一张或多张脸）。自动对焦引擎300随后在找到的对象周围显示自动对焦窗口310并且对找到的对象执行对焦。对于后续图像，自动对焦引擎300在下一幅图像中再次搜索整个图像区域以寻找对象，并且随后更新自动对焦窗口310的位置并且重新对相机进行对焦（如果必要的话）。

这样找到的对象可包含自然特征追踪模块125正跟踪的一个或数个自然特征。当搜索对象时，自动对焦引擎300可有利地使用自然特征处理引擎110所确定的图像内的位置来将搜索区域从整幅图像限制到在被检测和追踪的自然特征附近的区域。

图9示出了根据本发明的一些实施例的、包含进行信息沟通的自然特征处理引擎110和自动对焦引擎300的移动设备100。替代现有移动设备10中的孤立的引擎的是，移动设备100是耦合的，这允许自然特征处理引擎110和自动对焦引擎300单向或双向地传达信息，如沿直线405所示。

如410处所示，一些实施例允许自动对焦引擎300发送信息给自然特征处理引擎110，该信息指示图像内自动对焦窗口的当前大小和/或位置，如以下参照图10描述的。

如420处所示，一些实施例允许自动对焦引擎300发送信息给自然特征处理引擎110，该信息指示从前一自动对焦窗口到下一自动对焦窗口的大小改变和/或位置改变，如以下参照图11、12和13描述的。

如430处所示，一些实施例允许自然特征处理引擎110发送消息给自动对焦引擎300，该信息指示从自然特征和/或自然特征检测窗口的前一位置（例如，图6的270）到自然特征和/或自然特征检测窗口的下一位置（例如，270’）的改变，如以下参照图14描述的。

各实施例包括作为自动对焦引擎300和自然特征处理引擎110之间传达的信息的410、420和/或430中的至少一个或多个。例如，一些实施例仅传达410、420和/或430中的一个：（1）第一实施例传达410但不传达420或430；（2）第二实施例传达410但不传达410或430；以及（3）第三实施例传达430但不传达410或420。另外的示例传达410、420和430中的两个：（4）第四实施例传达410和420两者但不传达430；（5）第五实施例传达420和430两者但不传达410；以及（6）第六实施例传达410和430两者但不传达430。最后，又一些示例传达所有的三个：（7）第七实施例传达410、420以及430。因此，当实施例在自动对焦引擎和自然特征处理引擎之间传达信息时，一些实施例仅传达410、420或430中的一个，其他实施例传达410、420或430中的两个，而又一些其他实施例传达410、420或430中的全部三个。

所传达的此信息被用于设置自然特征窗口和/或自动对焦窗口的位置。例如，一些实施例仅传达在410处所示的信息以限定接下来的自然特征窗口的区域。其他实施例仅传达在420处所示的信息以改变接下来的自然特征窗口的中心位置。又一些其他实施例仅传达在430处所示的信息以改变接下来的（诸）自动对焦窗口的位置。如上所述，一些实施例实现410、420和430中的两个作为在耦合的自动对焦引擎300和自然特征处理引擎110之间传达的信息，而其他实施例实现410、420和430中的全部三个作为在耦合的自动对焦引擎300和自然特征处理引擎110之间传达的信息。在一些实施例中，自动对焦引擎300用作为从动方，且自然特征处理引擎110用作为其主控方。

自然特征处理引擎110用作为用于以自然特征处理引擎来检测和追踪图像中的自然特征的装置。自然特征检测模块120用作为用于检测自然特征的装置。自然特征追踪模块125用作为用于追踪自然特征的装置。一个或数个处理器可用作为用于执行自然特征处理引擎110的各功能中的每一个功能的装置，这些功能诸如有选择图像内的自动对焦窗口，基于自动对焦窗口的位置限定自然特征检测的区域，在所限定的区域内寻找自然特征，基于改变设置下一追踪搜索窗口，在下一追踪搜索窗口内追踪自然特征，追踪自然特征到第一图像内的第一位置，和/或追踪该自然特征到第二图像内的第二位置。

自动对焦引擎300用作为用于在图像中的自动对焦窗口中进行自动对焦的装置。一个或数个处理器可用作为执行自动对焦引擎300的各功能中的每一个功能的装置，这些功能诸如有在第一图像内设置第一自动对焦窗口，在第二图像内设置第二自动对焦窗口，基于改变设置下一自动对焦窗口，以及在自动对焦窗口内自动对焦。

这些处理器、引擎以及模块可分别地或组合地用作为用于在自动对焦引擎和自然特征处理引擎之间传达信息的装置。该信息可包括自动对焦窗口的位置、改变、从第一位置到第二位置的改变、从前一自动对焦窗口到下一自动对焦窗口的位置改变、和/或从自然特征的前一位置到自然特征的下一位置的改变。

图10示出了根据本发明的一些实施例的、正被用于限定用于检测自然特征的区域500的自动对焦窗口310的位置。如上面提到的，在410，自动对焦引擎300将关于图像内自动对焦窗口的当前大小和/或位置的信息发送给自然特征处理引擎110。进而，自然特征处理引擎110可通过允许自然特征检测窗口仅能存在于由到自动对焦窗口的边界的阈值距离所定义的区域500内来将其搜索区域限定于用于检测新的自然特征和/或追踪已检测到的自然特征的区域500。通过将检测和/或搜索限制于区域500，可使得本要使用的处理能力显著减少。在一些实施例中，这一阈值距离可以是零，而在其他实施例中，该阈值距离可允许要被追踪的自然特征检测窗口刚刚落在自动对焦窗口310之外。在其他实施例中，自动对焦引擎300可将标识单幅图像内的多个自动对焦窗口310的参数发送给自然特征处理引擎110。在这些实施例中，检测和/或追踪可被限定于由这多个自动对焦窗口310所定义的多个区域500。

图11示出了从前一自动对焦窗口310到下一自动对焦窗口330的位置改变。如以上参照420所讨论的，一些实施例允许自动对焦引擎300将关于从前一自动对焦窗口到下一自动对焦窗口的大小改变和/或位置改变的信息发送给自然特征处理引擎110。

图12示出了根据本发明的一些实施例的、基于从前一自动对焦窗口320到下一自动对焦窗口330的位置改变的幅度来设置下一追踪搜索窗口的大小（290′-S,290′-M,290′-L）。自然特征处理引擎110（更具体地，自然特征追踪模块125）可使用所指示的自动对焦窗口310位置的这一改变来确定如何将前一自然特征窗口290的大小改变为下一自然特征检测窗口290’。从前一自动对焦窗口320到下一自动对焦窗口330的位置的小幅度改变可被自然特征处理引擎110用于将下一自然特征追踪搜索窗口290’的大小限定为尺寸较小的窗口290’-S。中间或中等范围的改变可被用于将大小限定为中等大小的窗口290’-M。大的改变可被用于将大小限定为大窗口290’-L。自然特征的前一位置260被示出为位于窗口290′-S/M/L的每一者的中心处。如在所示的这一示例中那样，如果从前一自动对焦窗口320到下一自动对焦窗口330的位置改变的幅度很大，则自然特征的下一位置260’（当前未知且仍然有待追踪）将可能位于大窗口290′-L内部。

图13示出了根据本发明的一些实施例的、基于从前一自动对焦窗口320到下一自动对焦窗口330的位置改变的方向来设置下一追踪搜索窗口290′的中心。这一改变指示（被示为改变520）可辅助自然特征追踪模块125设置下一追踪搜索窗口290’。例如，如果没有改变520被指示或可用，则追踪窗口作为下一追踪搜索窗口290’-1可以自然特征260的前一位置为中心。在此情形中，下一追踪搜索窗口290’-1与前一追踪搜索窗口290同位。然而，如果改变520存在并且被提供给自然特征处理引擎110，则自然特征追踪模块125可基于下一自动对焦窗口330相比于前一自动对焦窗口330的方向和幅度来设置下一追踪搜索窗口290’-2。可类推地，自然特征的下一位置260’（此时该位置是未知并且仍然有待追踪的）将落在下一追踪搜索窗口290’-2内部。

图14示出了根据本发明的一些实施例的、基于从自然特征的前一位置260到该自然特征的下一位置260’的改变来设置前一自动对焦窗口320到下一自动对焦窗口330的位置（中心和/或大小）改变510。如上所提及的，自然特征处理引擎110将关于从自然特征的前一位置260和/或自然特征检测窗口290到自然特征的下一位置260’和/或自然特征检测窗口290’的改变的信息发送给自动对焦引擎300。该信息可包括自然特征260’和/或自然特征检测窗口290’的改变幅度和/或改变方向。自动对焦引擎300可使用改变幅度来加宽或缩窄下一自动对焦窗口330的大小。例如，大的改变幅度可指示较大的不确定性区域；因此，自动对焦引擎300可增大下一自动对焦窗口330的面积。类似地，小到接近于零的幅度可被自动对焦引擎300用于将下一自动对焦窗口330的大小保持恒定或者略微地减小自动对焦窗口的大小。替代地，自动对焦引擎300可使用改变方向来改变下一自动对焦窗口330的大小或移动其位置。例如，改变方向可改变下一自动对焦窗口330的中心点。替代地，改变方向可改变下一自动对焦窗口330的大小。例如，自然特征的位置260’或下一自然特征检测窗口290’的10像素的移动可将下一自动对焦窗口330在每个线性方向（即，上、下、左、右）上扩展10个像素。如果方向和幅度两者都可用，则自动对焦引擎300基于自然特征的位置260’在方向和幅度上的组合改变来改变下一自动对焦窗口330的中心和大小。

图15示出了根据本发明的一些实施例的、用于基于自动对焦窗口310的位置限定用于自然特征检测的区域的方法。在步骤600，移动设备100中的自动对焦引擎300在图像200内选择自动对焦窗口310。在步骤610，移动设备100的相机在选择自动对焦窗口310时执行自动对焦。在步骤620，自动对焦引擎300将自动对焦窗口310的位置传达给自然特征处理引擎110、自然特征检测模块120、和/或自然特征追踪模块125。接着，例如，在步骤630，自然特征追踪模块125基于自动对焦窗口310的位置限定用于自然特征检测的区域500。在一些情况下，使用一阈值来将区域500扩展或限制到大于或小于自动对焦窗口310的区域。在步骤640，自然特征检测模块120、和/或自然特征追踪模块125检测和/或追踪所限定的区域500内的自然特征。

图16示出了根据本发明的一些实施例的、用于基于前一和下一自动对焦窗口之间的改变来设置下一追踪搜索窗口的方法。在步骤700，移动设备100中的自动对焦引擎300在第一或前一图像200内设置第一或前一自动对焦窗口320。在选择第一自动对焦窗口320之后，在步骤710，自动对焦引擎300在第二或下一图像200内设置第二或下一自动对焦窗口330。在步骤720，自动对焦引擎300将从前一自动对焦窗口320到下一自动对焦窗口330的改变传达给自然特征处理引擎110、自然特征检测模块120、和/或自然特征追踪模块125。在步骤730，自然特征追踪模块125基于改变510设置下一追踪搜索窗口290’。在步骤740，自然特征追踪模块125在下一追踪搜索窗口290’内追踪一个或多个自然特征。

图17示出了根据本发明的一些实施例的、用于基于从自然特征的前一位置到下一位置的改变来设置下一自动对焦窗口330的方法。在步骤800，自然特征追踪模块125追踪来自第一或前一图像200内的第一或前一位置260的自然特征。在步骤810，自然特征追踪模块125追踪这些自然特征到第二或下一图像200内的第二或下一位置260’。在步骤820，自然特征追踪模块125将从前一位置260到下一位置260’的改变520传达给自动对焦引擎300。在步骤830，自动对焦引擎300基于改变520设置下一自动对焦窗口330。在步骤840，自动对焦引擎300在下一自动对焦窗口330内自动对焦。

以上实施例是关于实现追踪自然特征的扩增现实功能的移动设备来描述的。一般来说，这些方法和装置同样适用于使用与计算机视觉有关的技术的其他应用并且可从本文的教示中获益。例如，以上实施例可将追踪自然特征的功能用标记物追踪和/或手动追踪来替换或扩增。各实施例可追踪和聚焦于人为标记物（而不是自然特征），诸如张贴的QR码（快速响应码）。替代的，各实施例可追踪并聚焦于例如移动的手（而不是固定的自然特征或人为标记物）以捕捉来自用户的手势命令。这些实施例可提供具有或不具有扩增现实功能性的手势接口。

本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如，这些方法体系可在硬件、固件、软件、或其任何组合中实现。对于硬件实现，这些处理单元可以在一个或更多个专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理器件（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述功能的其他电子单元、或其组合内实现。

对于固件和/或软件实现，这些方法体系可用执行本文中描述的功能的模块（例如，规程、函数等等）来实现。任何有形地实施指令的机器可读介质可被用来实现本文中所描述的方法体系。例如，软件代码可存储于存储器中并由处理器单元执行。存储器可以实现在处理器单元内或在处理器单元外部。如本文所使用的，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其他存储器，且并不限于任何特定类型的存储器或特定数目的存储器或记忆存储在其上的介质类型。

如果以固件和/或软件实现，则各功能可作为一条或更多条指令或代码存储在计算机可读介质上。示例包括用数据结构编码的计算机可读介质和用计算机程序编码的计算机可读介质。计算机可读介质包括物理计算机存储介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质；如本文中所使用的盘（disk）和碟（disc）包括压缩碟（CD）、激光碟、光碟、数字多用碟（DVD）、软盘和蓝光碟，其中盘常常磁学地再现数据，而碟用激光光学地再现数据。上述的组合也应被包括在计算机可读介质的范围内。

除了存储在计算机可读介质上，指令和/或数据还可作为包括在通信装置中的传输介质上的信号来提供。例如，通信装置可包括具有指示指令和数据的信号的收发机。这些指令和数据被配置成致使一个或多个处理器实现权利要求中叙述的功能。即，通信装置包括具有指示用以执行所公开功能的信息的信号的传输介质。在第一时间，通信装置中所包括的传输介质可包括用以执行所公开功能的信息的第一部分，而在第二时间，通信装置中所包括的传输介质可包括用以执行所公开功能的信息的第二部分。

提供以上对所公开方面的描述是为了使得本领域任何技术人员皆能够制作或使用本公开。对这些方面的各种改动对本领域技术人员而言将是明显的，并且本文中所定义的普适原理可应用于其他方面而不会脱离本公开的精神实质或范围。

Claims

1.一种用于计算机视觉的移动设备，所述移动设备包括：

自然特征处理引擎，其包括自然特征检测模块和自然特征追踪模块；以及

自动对焦引擎，其耦合至所述自然特征处理引擎以传达信息以便设置包括自然特征窗口或自动对焦窗口中的至少一者的窗口的位置。

2.如权利要求1所述的移动设备，其特征在于，所述窗口包括在图像中具有有限区域的自然特征检测窗口。

3.如权利要求2所述的移动设备，其特征在于，所述信息指示自动对焦窗口的位置。

4.如权利要求1所述的移动设备，其特征在于，所述窗口包括下一追踪搜索窗口。

5.如权利要求4所述的移动设备，其特征在于，所述信息指示从前一自动对焦窗口到下一自动对焦窗口的位置改变。

6.如权利要求4所述的移动设备，其特征在于，所述信息包括所述改变的幅度，并且其中所述下一追踪搜索窗口是基于所述幅度设置的。

7.如权利要求4所述的移动设备，其特征在于，所述信息包括所述改变的方向，并且其中所述下一追踪搜索窗口是基于所述方向设置的。

8.如权利要求1所述的移动设备，其特征在于，所述窗口包括自动对焦窗口。

9.如权利要求8所述的移动设备，其特征在于，所述信息指示从自然特征的前一位置到所述自然特征的下一位置的改变。

10.如权利要求1所述的移动设备，其特征在于，还包括耦合至所述自然特征处理引擎的扩增现实模块。

11.一种在计算机视觉中使用的移动设备中的方法，所述方法包括：

使用自动对焦引擎在图像中的自动对焦窗口中自动对焦；

用自然特征处理引擎在所述图像内检测并追踪自然特征；以及

在所述自动对焦引擎和所述自然特征处理引擎之间传达信息。

12.如权利要求11所述的方法，其特征在于，传达信息包括传达所述自动对焦窗口的位置，并且所述方法还包括：

在所述图像内选择所述自动对焦窗口；

基于所述自动对焦窗口的位置限定自然特征检测的区域；以及

在所限定的区域内寻找自然特征。

13.如权利要求11所述的方法，其特征在于，传达信息包括传达改变，并且所述方法还包括：

在第一图像内设置第一自动对焦窗口；

在第二图像内设置第二自动对焦窗口，其中所述改变包括从所述第一自动对焦窗口到所述第二自动对焦窗口的改变；

基于所述改变设置下一追踪搜索窗口；以及

在所述下一追踪搜索窗口内追踪自然。

14.如权利要求11所述的方法，其特征在于，传达信息包括传达从第一位置到第二位置的改变，所述方法还包括：

追踪自然特征到第一图像内的所述第一位置；

追踪所述自然特征到第二图像内的所述第二位置；

基于所述改变设置下一自动对焦窗口；以及

在所述自动对焦窗口内自动对焦。

15.一种在计算机视觉中使用的移动设备，所述移动设备包括：

相机以及自动对焦引擎；以及

处理器和存储器，存储器包括用于以下操作的代码

使用自动对焦引擎在图像中的自动对焦窗口中自动对焦；

16.如权利要求15所述的移动设备，其特征在于，所述用于传达信息的代码包括用于传达所述自动对焦窗口的位置的代码，并且所述移动设备还包括用于以下操作的代码：

在所述图像内选择所述自动对焦窗口；

在所限定的区域内寻找自然特征。

17.如权利要求15所述的移动设备，其特征在于，所述用于传达信息的代码包括用于传达改变的代码，并且所述移动设备还包括用于以下操作的代码：

在第一图像内设置第一自动对焦窗口；

基于所述改变设置下一追踪搜索窗口；以及

在所述下一追踪搜索窗口内追踪自然。

18.一种用于计算机视觉的移动设备，所述移动设备包括：

相机以及自动对焦引擎；以及

处理器和存储器，存储器包括用于以下操作的代码

使用自动对焦引擎在图像中的自动对焦窗口中自动对焦；

19.如权利要求18所述的移动设备，其特征在于，所述用于传达信息的代码包括用于传达所述自动对焦窗口的位置的代码，并且所述移动设备还包括用于以下操作的代码：

在所述图像内选择所述自动对焦窗口；

在所限定的区域内寻找自然特征。

20.如权利要求18所述的移动设备，其特征在于，所述用于传达信息的代码包括用于传达改变的代码，并且所述移动设备还包括用于以下操作的代码：

在第一图像内设置第一自动对焦窗口；

基于所述改变设置下一追踪搜索窗口；以及

在所述下一追踪搜索窗口内追踪自然。

21.如权利要求18所述的移动设备，其特征在于，用于传达信息的代码包括用于传达从第一位置到第二位置的改变的代码，所述移动设备还包括用于以下操作的代码：

追踪自然特征到第一图像内的所述第一位置；

追踪所述自然特征到第二图像内的所述第二位置；

基于所述改变设置下一自动对焦窗口；以及

在所述自动对焦窗口内自动对焦。

22.一种在计算机视觉中使用的移动设备，所述移动设备包括：

用于使用自动对焦引擎在图像中的自动对焦窗口中自动对焦的装置；

用于用自然特征处理引擎在所述图像内检测并追踪自然特征的装置；以及

用于在所述自动对焦引擎和所述自然特征处理引擎之间传达信息的装置。

23.如权利要求22所述的移动设备，其特征在于，所述用于传达信息的装置包括用于传达所述自动对焦窗口的位置的装置，并且所述移动设备还包括：

用于在所述图像内选择所述自动对焦窗口的装置；

用于基于所述自动对焦窗口的位置限定自然特征检测的区域的装置；以及

用于在所限定的区域内寻找自然特征的装置。

24.如权利要求22所述的移动设备，其特征在于，所述用于传达信息的装置包括用于传达改变的装置，并且所述移动设备还包括：

用于在第一图像内设置第一自动对焦窗口的装置；

用于在第二图像内设置第二自动对焦窗口的装置，其中所述改变包括从所述第一自动对焦窗口到所述第二自动对焦窗口的改变；

用于基于所述改变设置下一追踪搜索窗口的装置；以及

用于在所述下一追踪搜索窗口内追踪自然的装置。

25.如权利要求22所述的移动设备，其特征在于，用于传达信息的装置包括用于传达从第一位置到第二位置的改变的装置，所述移动设备还包括：

用于追踪自然特征到第一图像内的所述第一位置的装置；

用于追踪所述自然特征到第二图像内的所述第二位置的装置；

用于基于所述改变设置下一自动对焦窗口的装置；以及

用于在所述自动对焦窗口内自动对焦的装置。

26.一种包括其上存储的程序代码的非易失性计算机可读存储介质，包括用于以下操作的程序代码：

使用自动对焦引擎在图像中的自动对焦窗口中自动对焦；

27.如权利要求26所述的非易失性计算机可读存储介质，其特征在于，所述用于传达信息的代码包括用于传达所述自动对焦窗口的位置的代码，并且所述非易失性计算机可读存储介质还包括用于以下操作的程序代码：

在所述图像内选择所述自动对焦窗口；

在所限定的区域内寻找自然特征。

28.如权利要求26所述的非易失性计算机可读存储介质，其特征在于，所述用于传达信息的代码包括用于传达改变的代码，并且所述非易失性计算机可读存储介质还包括用于以下操作的程序代码：

在第一图像内设置第一自动对焦窗口；

基于所述改变设置下一追踪搜索窗口；以及

在所述下一追踪搜索窗口内追踪自然特征。

29.如权利要求26所述的非易失性计算机可读存储介质，其特征在于，所述用于传达信息的代码包括用于传达改变的代码，并且所述非易失性计算机可读存储介质还包括用于以下操作的程序代码：

追踪自然特征到第一图像内的第一位置；

追踪所述自然特征到第二图像内的第二位置；

基于所述改变设置下一自动对焦窗口；以及

在所述自动对焦窗口内自动对焦。