CN102625981B - 用于在主设备和目标设备之间自动接口的方法和设备 - Google Patents

Abstract

主设备对目标设备成像并使用该图像来标识该目标设备。该主设备随后例如通过与目标设备配对来自动与所标识出的目标设备接口。该主设备可接收来自该目标设备的包括关于该目标设备的视觉外观的信息的广播数据，并将该广播数据用在对该目标设备的标识中。该主设备可检索与该目标设备有关的数据并显示该有关数据，此显示可以是在所显示的该目标设备的图像之上显示该数据。该主设备可提供用来控制该目标设备或被用于将数据传递给该目标设备的接口。

Description

用于在主设备和目标设备之间自动接口的方法和设备

相关申请的交叉引用

本申请要求2009年7月17日提交的美国临时申请No.61/226,552以及2009年7月17日提交的美国临时申请No.61/226,545的权益，这些临时申请已被转让给本申请受让人并通过援引明确纳入于此。

背景

无线设备正变得越来越普遍。与无线设备接口目前是相对较难或受限的过程。例如，使电子设备配对目前是复杂的任务，它要求用户在双方设备上均开启协议，随后请求发现，随后配对。此外，一些电子设备具有很少或没有内建的接口，从而使得很难与之交互。一般合意的显示屏价格和较小的设备尺寸是在每个无线设备上放置丰富接口的障碍。

随着无线设备使用的增加，在电子设备之间接口将会变得越加困难。例如，目前的电子设备通常包括与物理设备没有关联的无特异性设备名称，并且对用户而言易于混淆，例如，默认的电话蓝牙名称可能是NOK234B而且并不出现在该电话上。数目不断增加的有可能配对的无线设备将使得用户遭受的混淆越加严重。

因此，越来越需要能容易地且自然地与设备接口。

概述

主设备对目标设备成像并使用该图像来标识该目标设备。主设备随后例如通过与该目标设备配对来自动与所标识出的目标设备接口。主设备可检索与该目标设备有关的数据并显示该有关数据，此显示可以是在所显示的该目标设备的图像之上显示该数据。该主设备可提供用来控制该目标设备或被用于将数据传递给该目标设备的接口。

该主设备接收来自目标设备的广播数据，该广播数据包括关于该目标设备的视觉外观的信息。该主设备可显示该广播数据并基于对所显示的来自该目标设备的广播数据的选择来与该目标设备接口。该目标设备的图像可被用于过滤来自多个目标设备的广播数据以缩减由该主设备显示其广播数据的目标设备的数目。

附图简述

图1是解说了包括主设备和目标设备的无线连接的设备的示例系统的框图。

图2是解说了可自动地与目标设备接口的主设备的示例的框图。

图3是使该主设备与该目标设备接口的方法的流程图。

图4A和4B解说了主设备与目标设备接口，其中与目标设备有关的数据被显示在主设备上。

图5A和5B解说了主设备与目标设备接口并且该主设备的显示器用与该目标设备有关的数据进行了扩增。

图6A、6B、6C和6D解说了主设备与目标设备接口，其中在主设备上与该目标设备有关的扩增数据被显示在目标设备图像之上。

图7A和7B解说了主设备与具有有限接口能力的目标设备接口。

图8A和8B解说了主设备与目标设备接口，其中该主设备为该目标设备提供扩展的功能性。

图9A解说了主设备使用目标设备所广播的信息来标识多个同样的目标设备之一。

图9A、9B和9C解说了主设备被用于与两个目标设备接口。

图10A、10B和10C解说了主设备被用于发起两个目标设备之间的接口。

图11是主设备可对自己不可能与其配对或接口的被动目标成像并且该主设备检索并显示与该目标有关的数据的方法的流程图。

图12解说了主设备基于目标的图像自动地启动并显示应用。

图13A和13B解说了该主设备对被动目标成像并检索和显示关于该被动目标的信息。

图14A和14B解说了该主设备对被动目标成像并检索和显示与该被动目标有关的信息的另一个示例。

图15A、15B和15C解说了主设备对被动目标成像，检索与该目标有关的数据并将此数据传递给该主设备正在接口的目标设备。

详细描述

本文中描述的系统和方法使用例如用主设备拍摄的目标设备的图像来使该主设备与该目标设备配对或其它方式的接口自动化。该主设备可被用于提供与该目标设备有关的相关信息，例如，通过在该目标设备的图像上覆盖该信息来提供。该主设备可包括比存在于该目标设备中的交互能力优越的交互能力，并能使得能与该目标设备进行原本例如由于该目标设备有限的接口能力或没有接口能力而困难或不可能的交互。

图1是解说了包括主设备110和目标设备180的无线连接的设备的示例系统100的框图。作为示例，主设备110可以是移动电话或诸如超移动个人计算机(“UMPC”)之类的其他电子设备。在一个实施例中，主设备110可以是半移动或驻定的。例如，主设备110可位于固定或半固定的位置，例如，在商店里，其可被用于轻松地将新设备配对在一起。作为示例，该目标设备可以是诸如数码相机、音乐播放器、电视、数码相框之类的设备、或任何其它设备。另外，应领会目标设备180可以是便携式的，或者在某些情形中是相对或完全非便携的。主设备110包括相机112和显示器114。主设备110通过使用相机112对目标设备180成像——该目标设备180的图像180_图像可在显示器114中显示，并使用图像180_图像来标识目标设备180来与该目标设备180接口。在标识出了目标设备180的情况下，主设备110随后能自动地与目标设备180接口，如箭头116所解说的。主设备110也可在链路104上与举例而言诸如因特网之类的广域网等的网络102通信，该通信可被用于辅助标识目标设备180或与目标设备180接口。任选地，主设备110可通过网络102间接地与目标设备180接口116a。

图2是解说了主设备110的示例的框图。主设备110包括诸如相机112之类的用于成像的装置，以及用于与目标设备接口的装置，诸如用于经由无线 链路116(图1中所示)通信的无线接口130。主设备110还可包括用于感测运动的装置，诸如可以是加速计或陀螺仪的用来检测主设备110的运动的运动传感器118，其可被用于检测用作用户对主设备110的输入的手势。主设备110进一步包括用于标识目标设备180的装置，该装置可以是例如主设备控制单元120，其包括与含软件126的存储器124处于通信中的处理器122，并可进一步包括硬件128和固件129，并且可进一步包括诸如显示器或按键板152之类的用户接口150的各方面。相机112和无线接口130、以及运动传感器118(若其被使用)被连接至控制单元120。控制单元120包括图形引擎125，其被解说为在功能上与处理器122分离，但实际上可由处理器122执行。图形引擎125生成可被显示在例如目标设备180等的图像之上的扩增数据。将可理解，如本文中所使用的处理器能够但不一定需要包括一个或更多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)、及类似物。术语处理器意在描述由系统而非专用硬件实现的功能。此外，如本文所使用的术语“存储器”是指任何类型的计算机存储介质，包括与移动平台相关联的长期、短期、或其它存储器，而并不被限定于任何特定类型的存储器或特定数目的存储器、或其上存储记忆的介质的类型。

主设备110还包括用户接口150，其包括诸如显示器114之类的用于显示的装置，还有诸如按键板、触摸屏、或其它合适的触觉输入设备之类的用户输入设备152。诸如当主设备110是移动电话之类时，用户接口150还可包括扬声器154和话筒156。

无线接口130包括任何合适的天线132、接收机和发射机或是收发机，以使得主设备110能够在无线链路116上与一个或更多个目标设备通信。任选地，无线接口130还可具有处理能力以降低对处理器122的处理要求。

任选地，主设备110可包括诸如收发机之类的带有天线142的网络接口140，用于经由链路104在网络102上(图1中所示)通信。例如，主设备110可经由有线或无线通信链路提供去往其它网络102(例如，诸如因特网之类的广域网)的连通性。相应地，主设备110可使其它目标设备180(例如，Wi-Fi站)能接入网络102。网络接口140可协同诸如无线广域网(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)等包括蜂窝塔和来自无线通信接入 点的各种无线通信网络来实现。术语“网络”和“系统”往往被可互换地使用。WWAN可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)，等等。CDMA网络可实现诸如cdma2000、宽带CDMA(W-CDMA)等一种或更多种无线电接入技术(RAT)。cdma2000涵盖IS-95、IS-2000和IS-856标准。TDMA网络可实现全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)、或其它某种RAT。GSM和W-CDMA在来自名为“第三代伙伴项目”(3GPP)的联盟的文献中描述。cdma2000在来自名为“第三代伙伴项目2”(3GPP2)的联盟的文献中描述。3GPP和3GPP2文献是公众可获取的。WLAN可以是IEEE 802.11x网络，并且WPAN可以是蓝牙网络、IEEE802.15x、或其它某种类型的网络。这些技术也可联合WWAN、WLAN和/或WPAN的任何组合来实现。

主设备110可任选地包括用于向主设备110的一个或更多个组件供电的电池121。主设备110可包括移动手持机、个人数字助理、膝上型计算机、头戴式送受话器、车用免提设备、或任何其它电子设备中的至少一者。特别地，本文的教导可被纳入到各种各样的设备中(例如，在其内实现或由其执行)。例如，本文中教导的一个或更多个方面可被纳入到电话(例如，蜂窝电话)、个人数据助理(“PDA”)、UMPC、娱乐设备(例如，音乐或视频设备)、或任何其它纳入相机112的设备中。

本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如，这些方法体系可在硬件128、软件126、固件129、或其任何组合中实现。对于硬件实现，这些处理单元可以在一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子设备、设计成执行本文中所描述的功能的其它电子单元、或其组合内实现。

对于固件和/或软件实现，这些方法体系可用执行本文中描述的功能的模块(例如，规程、函数等等)来实现。任何有形地实施指令的机器可读介质可被用来实现本文中所描述的方法体系。存储器可以实现在处理单元内部或处理单元外部。如本文所使用的，术语“存储器”是指任何类型的长期、短期、易失 性、非易失性、或其它存储器，而并不限于任何特定类型的存储器或特定数目的存储器、或其上存储记忆的介质的类型。

例如，软件126代码可被存储在存储器124中并由处理器122执行并且可如本文中所描述地用来运行处理器并控制主设备110的操作。例如，存储在诸如存储器124之类的计算机可读介质中的程序代码可包括用于使用目标设备的图像来标识该目标设备的程序代码以及用于与所标识出的目标设备接口的程序代码。计算机可读介质可包括用于显示从目标设备接收到的广播数据并使用该广播数据来辅助标识要与之接口的该目标设备的程序代码。

如果在固件和/或软件中实现，则各功能可作为一条或更多条指令或代码存储在计算机可读介质上。示例包括用数据结构编码的计算机可读介质和用计算机程序编码的计算机可读介质。计算机可读介质包括物理计算机存储介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质能包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质；如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘常常磁性地再现数据，而碟用激光光学地再现数据。上述的组合也应被包括在计算机可读介质的范围内。

图3是将主设备110与目标设备180接口的方法的流程图。主设备110可通过“配对”来与目标设备接口，“配对”是设备藉以相互注册的过程。一旦配成对，设备通常只要落在射程以内并且处于活跃时就能够彼此通信，而无需重新执行该配对过程。为了方便引述，接口有时在本文中被称为配对，但应理解的是在本文中也构想了除配对以外的更多的接口形式。

如在图3中所解说的，使用主设备对待配对的目标设备成像(202)。目标设备的图像可被显示给用户以确保主设备正与合意的目标设备接口。该图像可使用相机生成为静止图像或者生成为视频。主设备从该图像标识该目标设备(204)。可基于该目标设备的视觉外观或基于诸如条形码或其它类型的标记之类的出现在目标设备上的可视标记物进行标识。可进一步基于来自目标设备180的广播信标进行标识，例如，基于标签或频率，其例如允许公开访问诸如 地理位置、地理取向、ID、或类别之类的受限信息，其中类别诸如是但不限于目标设备的类型(例如，数码相机、mp3播放器等)、子类别(例如，对准拍摄数码相机)、品牌(例如，索尼，诺基亚等)、内容体裁(例如，电影、歌曲等)，或其任何组合。主设备110可通过使用视觉外观、可视标记物、或获取自广播信标的信息从查找表中检索匹配来标识目标设备180。在一个实施例中，主设备110可使用可用的非视觉传感器来缩窄有可能项目的查找表，之后继以使用关键点特征或诸如线条之类的其它视觉参考来执行图像对照查找表的视觉匹配。该查找表例如可包括先前存储的消费电子工业设计的图像或此类设计的3维模型。该查找表可能例如存储在主设备110上，存储在目标设备180上或远程位置，例如，存储在经由链路104由网络102访问的服务器上(图1中所示)。

在一个实施例中，可基于由目标设备提供的视觉标识信息进行标识。例如，目标设备可广播关于该目标设备的视觉信息，藉此视觉信息该目标设备可被标识。目标设备可广播该目标设备看起来什么样或者例如当目标设备是如图9A中所解说的数码相框等时广播关于由该目标设备显示的图像的图像或信息，这在存在同样的目标设备时可能是很有用的。主设备110随后能对目标设备成像并将由主设备110拍摄的图像与例如当前显示在数码相框上的图像等的关于目标设备的广播信息相比较来标识该目标设备。例如，如图9A所解说的，主设备110能使用数码相框180A的工业设计来识别该目标设备。然而，假如有多个相似或同样的相框，例如，由相框180A和180B所解说的相同的工业设计，但各自显示不同的屏幕图像，那么用户将能在相机视野里选择一个(180A)，并且主设备110将能使用当前显示的图像来标识要与目标设备180A、180B中的哪个进行配对。可基于例如在数码相框等的情形中的所显示的静止图像、或基于所显示的视频来进行标识。对于基于视频的标识，可例如基于作为对视频在预定时间片段中“看起来什么样”的摘要的共享视频签名特征序列来作出匹配，或基于该视频在已知时间产生的一帧再加上比较了所选择的帧的每一侧上的选定数目个帧的纠错来作出匹配。这些技术可配合诸如计算机、膝上型计算机、蜂窝电话、音乐播放器等的其它目标设备使用。在一个实施例中，主设备110可显示由目标设备广播的信息的图像，用户可从中选择合意的目标设备来 与之接口，这样将为主设备110避免用主设备110对目标设备成像的需要。如果希望，则由主设备110拍摄的目标设备的图像可被用于过滤主设备110显示供用户选择的可配对目标设备的数目。

基于对目标设备的标识，主设备可确定是否可与目标设备接口，如在可任选步骤206中所解说的。主设备110可在显示器114中的目标设备180的图像上指示是否可与目标设备180接口并给予用户指示是否希望接口的机会。例如，目标设备180的图像可以带轮廓地或发光地显示在主设备110的显示器114中以指示可配对性。对目标设备图像的显示的扩增可包括从来自目标设备180的广播信标获得的信息。用户能选择配对、不配对、或隐藏目标设备的可配对性。可配对性可被隐藏例如一次、总是，或对特定类内的所有目标设备，例如对所有数码相框隐藏。

主设备110随后可自动地或响应于用户选择与目标设备接口或配对(208)。当一个以上可配对目标设备存在于图像中时，使用用户选择可能是有利的。作为示例，可基于打手势来进行用户选择，例如，其中不同的可配对目标设备基于手势被高亮显示，并且合意的目标设备一旦被高亮显示就被选中。另外，用户例如可指示希望配对，并且配对过程可以是自动的。在配对是自动的场合，可使用中间安全性步骤来确保用户希望与目标设备配对。可针对特定位置的特定设备来对配对进行最优化，例如，使用最低功率配对方法来延及主设备与目标设备之间的距离。此外，如果主设备与目标设备的相对位置改变，则配对方法可视需要自动改变。为了接口或配对，主设备和目标设备必须首先发现彼此，例如，通过进入可发现状态来发现彼此，其中在可发现状态中，设备通过交换发现消息来发现彼此。例如，主设备110可请求本地可配对目标设备进入发现模式。主设备110可发起该请求，例如，通过网络102来发起。网络可激励落在主设备110的区域中的任何可配对目标设备进入发现模式。替换地，主设备可首先标识合意目标设备180，随后发起发现请求，例如，通过网络102发起发现请求以请求落在主设备110的范围内的所有类似目标设备进入发现模式。一旦发现，诸设备就可以彼此配对。配对至少部分地是限制对特定设备的配对的安全性功能。例如，配对可包括消息交换，消息交换可包括口令认证方案，其中第一设备必须用口令(诸如4位数字，该数字往往是在工厂 中为设备设定的)来响应第二设备以防止未获授权或非合意的设备配对。在诸如蓝牙之类的联网协议中，发现和配对是分开的规程，但可一起执行。实际的配对能用任何当前的协议通过该协议的标准实践(例如，蓝牙，WiFi，IR……)来完成。

若希望，则可使用例如由图形引擎125提供的扩增数据来扩增显示在主设备110上的图像以指示目标设备的状态，例如，如在可任选步骤210中所解说地确认配对。另外，在可任选步骤214中与目标设备有关的数据可被显示在主设备上。

图4A和4B作为示例解说了将主设备110与目标设备180配对，在此情形中目标设备180是数码相机，其中在配对之后与目标设备180有关的数据被显示在主设备110上(214)。图4A解说了主设备110对目标设备180成像(202)，在此目标设备图像180_图像被显示在主设备110的显示器114中。基于目标设备图像180_图像，主设备110与目标设备180配对116并将与目标设备180有关的数据显示在主设备110的显示器114上，该数据在此情形中是由目标设备180拍摄的照片182，正如图4B中所解说的。由主设备110显示的与目标设备180有关的数据可由用户选择或可被自动显示。

与目标设备180有关的数据可以是关于目标设备的信息。例如，该数据可以与目标设备的历史或属性、描述怎样执行与目标设备有关的任务的帮助文件或其它此类数据有关。替换地，此有关数据可以来自目标设备，诸如是来自数码相机的照片、诸如音乐或电影之类的文件的列表、或其它存储在目标设备中的信息。另外，此有关数据可以是应用或与目标数据的接口。作为示例，图5A和5B解说了主设备110与USB闪速驱动器形式的目标设备180接口，并且该主设备110的显示用与目标设备180有关的数据180_数据进行了扩增。如在图5B中所解说的，在配对116之后，有关数据180_数据被显示，该数据可以是存储在闪速驱动器上的文件的列表或甚至打开存储在闪速驱动器上的文件。因此，当目标设备180自身没有用户接口时，主设备110可为目标设备180提供用户接口。

图6A、6B、6C和6D解说了主设备110与手表形式的目标设备180接口的另一示例，其中在主设备110上，与目标设备180有关的扩增数据180_数据被 显示在目标设备图像180_图像之上。如所解说的，此有关数据180_数据可由主设备110显示为与目标设备图像180_图像紧密对齐(图6A)、松散对齐(图6B)、或不对齐(图6C、6D)。如图6D所解说的，通过对图像180_图像使用关键点跟踪，随后将图形扩增锁定到该图像，来自目标设备180的有关数据就可以被显示在主设备180的整个显示之上。

主设备110可被用于提供与具有有限用户接口能力的目标设备的用户接口或仅仅简单地提供具有相对于目标设备的用户接口所允许的功能性而言扩展的功能性的用户接口。例如，图7A和7B解说了主设备110与具有有限的用户接口能力的目标设备180配对。图7A和7B中的目标设备180是MP3播放器的形式，其可能具有物理用户接口但没有用来提供图形用户界面(GUI)的屏幕。如图7A所示，主设备110通过对目标设备180成像来与该目标设备180配对。如图7B所示，在配对116之后，主设备110上与目标设备180有关的数据是能被用来例如允许MP3播放器的附加功能性的GUI。

图8A和8B解说了主设备110与目标设备180接口，在此主设备110提供扩展的功能性。图8A和8B中的目标设备180是mp3播放器的形式，其具有图形用户界面。如图8A中所示，主设备110通过对目标设备180成像来与该目标设备180配对。如图8B中所示，在配对116之后，主设备110上与目标设备180有关的数据是GUI，并且该界面提供扩展的功能性，诸如便于实现更容易的用户交互的触摸屏、更大的屏幕、允许更多用于自然的控制手势或提供附加的能力，诸如创建播放列表。

因此，与目标设备180有关的各种类型的数据可由主设备110显示。例如，该数据可以是被动的，诸如在图6A中所解说的信息之类，或是交互式的，诸如在图7B中所显示的音乐界面之类。此外，由目标设备或直接或通过诸如图1中所示的网络102之类的远程源所曝露的功能性可被显示。作为示例，在图5A、5B中，180_数据可来自网络102，而不是来自目标设备180本身。作为示例，当图5A中所示的USB闪速驱动器180被插入计算机中时，180_数据可在网络中被同步。当主设备110与该USB闪速驱动器180配对时，主设备110实际上可以与网络102中被同步的数据配对。在另一个示例中，MP3播放器功能性被扩展，在此MP3播放器上的数据的副本在网络102上。由于扩展的功能性(例 如，制作播放列表)在MP3播放器本身上或许是不可能的，因此主设备110可被用于在网络102上操纵该数据。一旦此交互完成(例如，新的播放列表制成)，网络102就与该MP3播放器(目标设备)180同步。若希望，则主设备110与目标设备180之间的交互可以在扩增呼叫之间持续。例如，所显示的扩增数据可以被保持在与其前次被查看时所呈现的相同的状态。此外，主设备110可提供向目标设备180提供命令或数据。换言之，目标设备180可通过与主设备110接口来被控制。数据可被存储在主设备110上、目标设备180上或远程位置，例如，经由网络102(图1)访问的服务器。

另外，主设备110也可与多个目标设备接口。例如，如图9A、9B和9C所解说的，主设备110被用于与两个目标设备接口，这两个目标设备解说为数码相机180和数码相框180A。主设备110可被用于从一个目标设备(例如，相机180)检索数据，并将该数据传递给另一目标设备，例如，数码相框180A。图9A解说了主设备110通过对相机180成像来与相机180配对。数码相框180A可能已经或随后以类似的方式被配对116A，如图9B中所示。图9B解说了在主设备110与相机180之间配对116之后，数据由主设备110从相机180接收并由主设备110显示。选中的数据随后可从主设备110被传递至第二目标设备，例如，数码相框180A，并可如图9C中所示地被显示或以其它方式被由该第二目标设备存储或使用。此数据传递可以是自动的或由用户交互引起的，包括通过触摸屏或由主设备110中诸如加速计或陀螺仪之类的运动传感器118检测到的用户手势来选择。为了使用手势来发起数据传递，可在先确定其中一个或更多个目标设备180、180A关于彼此和/或主设备110的相对位置，例如通过在对这两个目标设备180、180A成像之间使用运动传感器118来检测主设备110的位置上或取向上的改变来确定。替换地，可以使用像素流向跟踪来视觉地确定目标设备180、180A之间的关联性。

在一个实施例中，主设备110可用于通过与诸目标设备接口并发起诸目标设备之间的配对来辅助两个或更多目标设备之间的配对，这在目标设备的用户接口使得那些设备的直接配对很困难时会特别有用。例如，如图10A、10B和10C所解说的，主设备110被用于发起两个目标设备之间的接口，这两个目标设备被解说为数码相机180和数码相框180A。图10A解说了主设备110通过 对相机180成像来与相机180配对116。图10B示出了主设备110通过对数码相框180A成像来与解说为数码相框180A的标的目标设备配对116A。在这两个目标设备180、180A与主设备110配对的情况下，如图10C所解说的，主设备110可被用于发起这两个目标设备180、180A之间的配对116B。这两个目标设备180、180A的配对可以自动地，或响应于诸如通过主设备110的用户接口进行的选择之类的用户交互，在主设备110知晓目标设备180、180A的相对位置的场合通过目标设备180、180A之间的手势，或通过使用来自每个目标设备180、180A的协议规范来进行。目标设备180、180A之间的配对186可以在主设备110不在场时持续。

在另一个实施例中，如图11中所示的流程图所解说的，主设备110可对被动目标190即不能被配对或以其它方式接口的目标成像(302)，并且检索和显示与该目标有关的数据。主设备110可标识被动目标(304)并检索与所标识出的目标有关的数据并在主设备110上显示该数据(306)。被动目标190可以是任何能由主设备110的相机112注册的目标，包括不具连通性的设备，诸如手表、订书机、或汽车；具备未被利用的连通性的设备，例如，具有蓝牙的相机；诸如铅笔、石头或桌子之类的物体；诸如杂志、屏幕截图之类的印刷或数字媒体；诸如手腕或脚之类的身体部位；或其它注册的物体，诸如色彩或纹理。

被动目标190可从其视觉外观来标识。此标识可基于被动目标的具体图像，例如先前由用户拍摄的图像，该被动目标的纹理化3维模型，或一般类别的图像，诸如手表的一般图像，而不是特定品牌的手表。用户可提供附加信息来定义该图像，诸如把该图像标记为“手表”，或提供用于特定目标或目标类别的PIN。由用户提供的附加信息可被输入一次，例如在主设备110的训练期间，并且后续使用所输入信息的标识是自动的。另外，被动目标可包括被成像并用于例如按类别、子类别、品牌、体裁或其任何组合来缩窄标识搜索的视觉标记物。标识可由主设备110或例如通过网络102(图1)等远程地执行。显示在主设备110上的被动对象的图像可通过使用对该图像的扩增来表明该被动设备已被标识出，例如，通过使该被动对象发光或勾勒出该被动对象的轮廓。若希望，则用户可选择要标识的被动设备以及要显示的数据的类型。该数据可被自 动显示。对要标识的被动目标的选择可由用户执行一次，并且后续对该被动目标的成像导致自动标识。被动目标与所检索的数据之间的关系可以是由用户定义的或者外部地或自动地定义的。此外，该数据可被存储在主设备110上或远程源上并由主设备110例如在网络102(图1)上检索。有关数据可以是启动诸如日历应用的应用的形式。替换地，应用可基于被动目标的图像被检索或解锁。有关数据可以是与被动目标有关的信息，诸如指令或帮助信息。有关数据可基于被动目标的图像提供对该有关数据的访问或启动对该有关数据的下载。例如，对书的封面成像可自动地下载音频书或数字书。有关数据可以是任何媒体或者媒体的组合，并可包括但不限于二维或三维图像、动画、视频、声音、触觉反馈、或其它感官数据。

作为示例，用户可在主设备110内定义该用户的手表190的图像自动在主设备110上启动日历应用并显示该用户的日历，如图12所解说的。替换地，用户可个性化被动目标与所检索的数据之间的关系，诸如使用用户的结婚戒指的图像来打开用户的婚礼的图像。主设备110可通过包括对被动目标成像及输入设备名称和要与该被动目标相关的合意数据、随后由主设备110将此合意数据与该被动目标相关的过程来被训练成标识个人的被动目标，诸如用户的手表、戒指、订书机、汽车等。

另外，为被动目标190检索的有关数据可以外部地或自动地定义。例如，图13A和13B解说了主设备110对诸如不可配对的DVR之类的被动目标190成像的示例(图13A)，并且操作指令之类的操作指令192形式的有关数据从网络102被检索，并由主设备110自动显示(图13B)。此特定的DVR被标识出来，但不需要连接或配对也能从网络102获得这些操作指令或其它关于该特定DVR的信息。如图13B中所解说的，操作指令192可与该图像紧密对齐地显示。

图14A和14B解说了主设备110对被动目标190成像的示例，该被动目标诸如是电影的广告，并且在本示例中是Dark徽标(图14A)，并且与Dark有关的数据(192)被检索并显示。例如，如图14B中所示，Dark电影可被自动地检索并显示在主设备110上。替换地，可以显示其它与被成像的目标有关的信息，诸如Dark电影上映的地点和时间 等。若希望，则被动目标190的图像可基于视觉外观，例如，徽标本身，或可部分地或完全地基于视觉标记物194以辅助对该被动目标的标识。

在另一实施例中，主设备110可与可配对目标设备180接口并将获取自另一个目标设备的图像的数据提供给目标设备180，其中该另一个目标设备可以是可配对的或是被动的。在一个实施例中，可能有一个以上供获得数据的目标设备，和/或一个以上标的目标设备180。例如，如图15A、15B和15C所解说的，主设备110可对被动目标190(诸如Dark广告)成像(图15A)并如上所讨论地基于该被动目标的图像来标识和获得数据。用户可选择要传递给诸如电视(图15B)之类的配对(116)标的目标设备180的数据，并且该数据(例如，电影)被自动地传递给该目标设备180(图15C)。该数据可由主设备110检索并被传递给目标设备180，或者替换地，主设备110可向目标设备180提供指令以自行检索该数据。

因此，主设备110可用来基于一个或更多个被动或可配对目标设备的图像来向目标设备180传递命令。例如，主设备110可对特定品牌的跑鞋成像，随后对mp3播放器成像并响应于此自动将例如运动音乐等的特定播放列表下载至该mp3播放器。在一个实施例中，主设备110下载例如音乐等的数据，并将该数据传递给目标设备，或替换地指令该目标设备自行检索该数据。为进行多项选择，可将相机对准这些目标短暂的一段时间，或者用户可例如通过按压或保持按钮、或使用手势来指示开始或停止多项选择等来与图像交互。用户可在图像中选择目标设备，目标设备可被自动选择，或者用户可选择目标设备一次，并且后续选择是自动的。响应于多项选择发生的动作可以是用户定义的或外部定义的。

尽管出于指导目的结合具体实施例解说了本发明，但是本发明并不被限定于此。可作出各种适应性改编和改动而不会脱离本发明的范围。因此，所附权利要求的精神和范围不应当被限定于前面的描述。

Claims (39)

1.一种接口方法，包括：

用主设备对目标设备成像并将所述目标设备的图像显示在所述主设备上；

使用所述目标设备的所述图像来标识所述目标设备；

基于所述目标设备的标识通过所述主设备与所述目标设备接口；以及

在所述主设备上显示针对所述目标设备的用户界面用于用所述主设备控制所述目标设备,其中用于控制所述目标设备的针对所述目标设备的用户界面被显示在所述主设备上的所述目标设备的图像上。

2.如权利要求1所述的方法，其特征在于，进一步包括在所述主设备上显示与所述目标设备有关的数据。

3.如权利要求1所述的方法，其特征在于，进一步包括：

使用所述目标设备的所述图像来标识所述目标设备为可配对的；以及

将所述主设备与所述目标设备配对。

4.如权利要求1所述的方法，其特征在于，所述方法进一步包括：

通过所述主设备与标的设备接口；

其中与所述目标设备接口包括从所述目标设备检索有关数据；以及

将所述数据传递给所述标的设备。

5.如权利要求1所述的方法，其特征在于，进一步包括：

将所述主设备与所述目标设备配对；

将所述主设备与第二目标设备配对；以及

使用所述主设备来将所述目标设备与所述第二目标设备配对。

6.如权利要求1所述的方法，其特征在于，进一步包括：

接收来自所述目标设备的广播数据，所述广播数据包括关于所述目标设备的视觉外观的信息；

其中所述目标设备是通过将所述目标设备的所述图像与来自所述目标设备的所述广播数据作比较来被标识的。

7.如权利要求6所述的方法，其特征在于，所述关于目标设备的视觉外观的信息包括所述目标设备的图像和纹理化3维模型中的至少一者。

8.如权利要求1所述的方法，其特征在于，进一步包括：

接收来自多个目标设备的广播数据，所述广播数据包括关于所述目标设备的视觉外观的信息；

其中使用所述目标设备的图像来标识所述目标设备包括；

使用所述目标设备的所述图像来过滤所述广播数据以产生广播数据子集；

显示所述广播数据子集；

通过用户从所显示的广播数据的子集作出的选择来标识所述目标设备。

9.如权利要求1所述的方法，其特征在于，进一步包括通过所述主设备将所述目标设备与广域网接口。

10.一种接口方法，包括：

接收来自目标设备的广播数据，所述广播数据包括关于所述目标设备的视觉外观的信息，所述目标设备的视觉外观信息包括对所述目标设备成像所得的所述目标设备的图像；

在主设备上显示所述广播数据；

基于对所显示的来自所述目标设备的广播数据的选择来与所述目标设备接口；以及

在所述主设备上显示针对所述目标设备的用户界面用于用所述主设备控制所述目标设备，其中用于控制所述目标设备的针对所述目标设备的用户界面被显示在所述主设备上的所述目标设备的图像上。

11.如权利要求10所述的方法，其特征在于，所述广播数据包括关于由所述目标设备显示的图像的信息。

12.如权利要求10所述的方法，其特征在于，进一步包括：

用所述主设备对所述目标设备成像；以及

通过将所述目标设备的图像与所接收到的广播数据作比较来标识所述目标设备。

13.如权利要求10所述的方法，其特征在于，进一步包括通过所述主设备将所述目标设备与广域网接口。

14.一种接口装置，包括：

能作用于对目标设备成像的相机；

能够向和从所述目标设备发射和接收无线信号的无线收发机；

连接至所述相机和所述无线收发机的处理器；

连接至所述处理器的存储器；

耦合至所述处理器的数字显示器；

保持在所述存储器中并在所述处理器中运行以致使所述处理器使用由所述相机提供的图像来标识所述目标设备并通过所述无线收发机与所标识出的目标设备接口的软件、并在所述数字显示器上显示针对所述目标设备的用户界面用于控制所述目标设备，其中所述软件致使所述处理器在所述数字显示器上所显示的所述目标设备的图像上显示针对所述目标设备的用户界面用于控制所述目标设备。

15.如权利要求14所述的装置，其特征在于，其中与所述目标设备有关的数据被显示在所述数字显示器上。

16.如权利要求15所述的装置，其特征在于，与所述目标设备有关的数据由所述无线收发机从所述目标设备接收。

17.如权利要求15所述的装置，其特征在于，所述装置进一步包括耦合至所述处理器的网络接口收发机，其中与所述目标设备有关的数据由该网络接口收发机接收。

18.如权利要求14所述的装置，其特征在于，所述软件致使所述处理器使用所述目标设备的图像来标识所述目标设备为可配对的，并与所述目标设备配对。

19.如权利要求14所述的装置，其特征在于，所述软件致使所述处理器与标的设备接口，其中与所述目标设备接口包括通过从所述目标设备检索有关数据；以及通过所述无线收发机向所述标的设备发射所述数据。

20.如权利要求14所述的装置，其特征在于，所述软件致使所述处理器与所述目标设备配对，与第二目标设备配对，并且将所述目标设备与所述第二目标设备配对。

21.如权利要求14所述的装置，其特征在于，所述无线收发机接收来自所述目标设备的广播数据并将所述广播数据提供给所述处理器，所述广播数据包括关于所述目标设备的视觉外观的信息，所述软件致使所述处理器通过将由所述相机提供的所述图像与从所述目标设备接收到的所述广播数据作比较来标识所述目标设备。

22.如权利要求21所述的装置，其特征在于，所述关于目标设备的视觉外观的信息包括所述目标设备的图像和纹理化3维模型中的至少一者。

23.如权利要求14所述的装置，其特征在于，进一步包括耦合至所述处理器的数字显示器和耦合至所述处理器的用户接口，其中所述无线收发机接收来自多个目标设备的广播数据并将所述广播数据提供给所述处理器，所述广播数据包括关于所述目标设备的视觉外观的信息，所述软件致使所述处理器通过使用由所述相机提供的所述图像来过滤所述广播数据以产生广播数据子集、在所述数字显示器上显示所述广播数据子集、并且基于来自所述用户接口的输入从所述广播数据子集中标识所述目标设备来标识所述目标设备。

24.如权利要求14所述的装置，其特征在于，所述装置进一步包括耦合至所述处理器的网络接口收发机，其中所述软件致使所述处理器通过所述网络接口收发机将所述目标设备与广域网接口。

25.一种接口装置，包括：

能够向目标设备发射无线信号和从目标设备接收无线信号的无线收发机，所述无线收发机接收来自目标设备的广播数据，所述广播数据包括关于所述目标设备的视觉外观的信息，所述关于所述目标设备的视觉外观的信息包括对目标设备成像所得的所述目标设备的图像；

数字显示器；

用户接口；

连接至所述数字显示器和用户接口的处理器；

连接至所述处理器的存储器；以及

保持在所述存储器中并在所述处理器中运行以致使处理器在所述数字显示器上显示所述广播数据、并基于响应于所显示的广播数据来自所述用户接口的输入与所述目标设备接口的软件、并在所述数字显示器上显示针对所述目标设备的用户界面用于控制所述目标设备，其中所述软件致使所述处理器在所述数字显示器上所显示的所述目标设备的图像上显示针对所述目标设备的用户界面用于控制所述目标设备。

26.如权利要求25所述的装置，其特征在于，所述广播数据包括关于由所述目标设备显示的图像的信息。

27.如权利要求25所述的装置，其特征在于，所述无线收发机接收来自多个目标设备的广播数据，所述装置进一步包括能作用于对所述目标设备成像的相机，所述软件致使所述处理器将所述目标设备的图像与所接收到的广播数据作比较并使用由所述相机提供的所述图像来过滤该广播数据以产生广播数据子集；在所述数字显示器上显示所述广播数据子集。

28.如权利要求25所述的装置，其特征在于，所述装置进一步包括耦合至所述处理器的网络接口收发机，其中所述软件致使所述处理器通过所述网络接口收发机将所述目标设备与广域网接口。

29.一种在主设备与目标设备之间接口的系统，包括：

用于用所述主设备对目标设备成像的装置；

用于在所述主设备上显示所述目标设备的图像的装置；

用于使用所述目标设备的所述图像来标识所述目标设备的装置；

用于与所标识出的目标设备接口的装置；以及

用于显示针对所标识出的目标设备的用户界面，以用所述主设备控制所标识出的目标设备的装置，其中所述用于显示针对所述目标设备的用户界面用于用所述主设备控制所标识出的目标设备的装置在所述目标设备的图像上显示针对所标识出的目标设备的用户界面。

30.如权利要求29所述的系统，其特征在于，进一步包括用于获得与所述目标设备有关的数据的装置，其中所述用于显示所述目标设备的图像的装置显示所述与目标设备有关的数据。

31.如权利要求29所述的系统，其特征在于，所述用于接口的装置将所述主设备与所述目标设备配对。

32.如权利要求29所述的系统，其特征在于，所述用于与所标识出的目标设备接口的装置进一步与不同于所述目标设备的标的设备接口；所述系统进一步包括用于从所标识出的目标设备检索有关数据的装置；其中所述用于接口的装置将所检索到的数据传递给所述标的设备。

33.如权利要求29所述的系统，其特征在于，所述用于接口的装置将所述主设备与所述目标设备配对并将所述主设备与第二目标设备配对，所述系统进一步包括用于通过所述主设备将所述目标设备与所述第二目标设备配对的装置。

34.如权利要求29所述的系统，其特征在于，进一步包括：

用于接收来自所述目标设备的广播数据的装置，所述广播数据包括关于所述目标设备的视觉外观的信息；

其中所述用于标识目标设备的装置将所述目标设备的所述图像与来自所述目标设备的所述广播数据作比较。

35.如权利要求34所述的系统，其特征在于，所述关于目标设备的视觉外观的信息包括所述目标设备的图像和纹理化3维模型中的至少一者。

36.如权利要求29所述的系统，其特征在于，进一步包括：

用于接收来自多个目标设备的广播数据的装置，所述广播数据包括关于所述目标设备的视觉外观的信息；

其中所述用于标识目标设备的装置包括：

用于使用所述目标设备的所述图像来过滤所述广播数据以产生广播数据子集的装置，其中所述用于显示的装置显示所述广播数据子集；

用于基于所显示的广播数据子集来选择所述目标设备的装置。

37.如权利要求29所述的系统，其特征在于，进一步包括用于将所述目标设备接口到广域网的装置。

38.一种接口方法，包括：

使用目标设备的图像来标识所述目标设备，所述目标设备的图像是对所述目标设备成像所得的；

与所标识出的目标设备接口；以及

显示针对所标识出的目标设备的用户界面用于控制所标识出的目标设备，其中所述用于控制所标识出的目标设备的针对所标识出的目标设备的所述用户界面被显示在主设备上的所述目标设备的图像上。

39.一种接口设备，包括：

用于使用目标设备的图像来标识所述目标设备的装置，所述目标设备的图像是对所述目标设备成像所得的；

用于与所标识出的目标设备接口的装置；以及

用于显示针对所标识出的目标设备的用户界面用于控制所标识出的目标设备的装置，其中用于显示针对所标识出的目标设备的用户界面用于控制所标识出的目标设备的装置将针对所标识出的目标设备的所述用户界面显示在主设备上的所述目标设备的图像上。