CN104303181A - 相机导引的网络浏览 - Google Patents

Abstract

本文描述用于执行例如网络浏览等相机导引的浏览的系统和方法。如本文提供的用于操作相机导引的网络浏览器的方法包含：在与便携式装置相关联的显示器上显示网页；被动地检测与所述便携式装置相关联的相机的视场内的第一对象；以及响应于被动地检测所述相机的所述视场内的所述第一对象以与所述第一对象相关联的第一内容更改所述网页的至少一部分。

Description

相机导引的网络浏览

背景技术

无线通信技术的进步已大大增加如今无线通信装置的多用性。这些进步已使无线通信装置能够从简单的移动电话和寻呼机演变为能够执行广泛多种功能性(例如，多媒体记录和重放、事件调度、文字处理、电子商务等)的精细的计算装置。因此，如今无线通信装置的用户能够由单一便携式装置执行常规上需要多个装置或较大非便携式设备的广范围的任务。

举例来说，许多现代无线通信装置利用网络浏览器以便使用户能够存取和移动位于万维网上的内容。网络浏览器通常以网页的形式提供对内容的存取，网页由通常在网络上存取且由例如超文本标识语言(HTML)等标识语言界定的内容组成。因为移动通信装置在形状因数和可用输入装置方面变化，移动网络浏览器通常针对具有类似形状因数和输入功能性的特定装置或特定类别的装置(例如，智能电话、平板或膝上型计算机、个人数字助理等(PDA)等)设计。举例来说，各种移动网络浏览器促进经由相关联移动装置的触摸屏或数字小键盘进行导航。各种其它移动网络浏览器促进通过使用相关联移动装置的相机俘获经译码图像(例如，条形码或QR(快速响应)代码)而导航到特定位置(例如，网站或网页)。

各种无线通信装置额外或替代地利用扩增现实(AR)应用向用户呈现关于他或她的周围环境的信息。一般来说，运行AR应用的移动装置的相机俘获移动装置的周围环境的图像。此实况图像接着大体上实时连同叠加在图像上的扩增(例如，图形或其它信息)一起显示。举例来说，AR应用可经配置以检测相机的视场内的一或多个对象，检索与对象相关联的信息，且将检索到的信息叠加在显示上，所述显示展示相机图像的实况视图作为对应对象附近的扩增。

发明内容

本文描述用于操作相机导引的网络浏览器的方法的实例。所述方法包含：在与便携式装置相关联的显示器上显示网页；被动地检测与所述便携式装置相关联的相机的视场内的第一对象；以及响应于被动地检测所述相机的所述视场内的所述第一对象以与所述第一对象相关联的第一内容更改所述网页的至少一部分。

方法的实施方案可包含以下特征中的一或多者。第一内容包含与相机俘获的图像不同的内容。使用网络浏览器应用显示网页。使用对象辨识引擎被动地检测第一对象。对象辨识引擎实施为网络浏览器应用的计算机视觉插件。对象辨识引擎实施为网络浏览器应用的内嵌式组件。使用第一内容更改与网页相关联的一或多个帧。显示网页的至少一个静态内容区段和至少一个动态内容区段；被动地且自动地使用相机俘获至少一个图像并识别所述至少一个图像内的第一对象；以及获得第一内容，所述第一内容包含与第一对象相关联的动态网页内容，且在网页的所述至少一个动态内容区段内显示第一内容。被动地且自动地俘获所述至少一个图像包含根据取样速率俘获多个图像。获得网页支持相机导引的浏览的指示，且响应于所述指示激活相机。被动地检测相机的视场内的第二对象，且响应于被动地检测所述相机的所述视场内的所述第二对象以与所述第二对象相关联的第二内容更改所述网页的至少一部分。用第二内容代替第一内容。除第一内容外还显示第二内容。

本文描述用于操作网络浏览器的系统的实例。所述系统包含：便携式通信装置，其包含显示屏和相机；网络浏览器，其与便携式通信装置相关联且经配置以在便携式通信装置的显示屏上显示网页；以及对象辨识引擎，其与网络浏览器相关联，以通信方式耦合到相机，且经配置以被动地检测相机的视场内的第一对象。网络浏览器进一步经配置以响应于对象辨识引擎被动地检测第一对象而用与第一对象相关联的第一内容更改如显示屏上显示的网页的至少一部分。

系统的实施方案可包含以下特征中的一或多者。第一内容包含与相机俘获的图像不同的内容。对象辨识引擎包含网络浏览器的插件。对象辨识引擎是网络浏览器的内嵌式组件。网络浏览器经配置以用第一内容更改与网页相关联的一或多个帧。网络浏览器经配置以在显示屏上显示网页的至少一个静态内容区段和至少一个动态内容区段；对象辨识引擎经配置以指示相机被动地且自动地俘获至少一个图像并识别所述至少一个图像内的第一对象；且网络浏览器进一步经配置以响应于对象辨识引擎获得第一内容，所述第一内容包含与第一对象相关联的动态网页内容，且在显示屏上在网页的所述至少一个动态内容区段内显示第一内容。对象辨识引擎进一步经配置以被动地检测相机的视场内的第二对象；且网络浏览器进一步经配置以响应于被动地检测所述相机的所述视场内的所述第二对象以与所述第二对象相关联的第二内容更改所述网页的至少一部分。网络浏览器进一步经配置以用第二内容代替第一内容。网络浏览器进一步经配置以除第一内容外还显示第二内容。网络浏览器进一步经配置以获得网页支持相机导引的浏览的指示，且响应于所述指示激活相机。便携式通信装置包含智能电话。

本文描述用于操作相机导引的网络浏览器的系统的实例。所述系统包含：便携式装置，其具有相机和显示屏；静态显示装置，其以通信方式耦合到便携式装置，用于在便携式装置的显示屏处显示网页；计算机视觉装置，其以通信方式耦合到相机，用于被动地检测相机的视场内的第一对象；以及动态显示装置，其以通信方式耦合到静态显示装置和计算机视觉装置，用于响应于经由计算机视觉装置被动地检测第一对象以与第一对象相关联的第一内容更改所述网页的至少一部分。

系统的实施方案可包含以下特征中的一或多者。第一内容包含与相机俘获的图像不同的内容。用于使用第一内容更改与网页相关联的一或多个帧的装置。用于将网页分割为至少一个静态内容区段和至少一个动态内容区段的装置、用于指示相机被动地且自动地俘获至少一个图像的装置、用于识别所述至少一个图像内的第一对象的装置、用于获得第一内容的装置，所述第一内容包含与第一对象相关联的动态网页内容，以及用于在网页的所述至少一个动态内容区段内显示第一内容的装置。控制装置，其以通信方式耦合到相机，用于获得网页支持相机导引的浏览的指示且响应于所述指示激活相机。用于被动地检测相机的视场内的第二对象的装置，以及用于响应于被动地检测所述相机的所述视场内的所述第二对象以与所述第二对象相关联的第二内容更改所述网页的至少一部分的装置。

本文描述的计算机程序产品的实例驻留在处理器可执行计算机存储媒体上且包含经配置以致使处理器进行以下操作的处理器可执行指令：在与便携式装置相关联的显示屏上显示网页；被动地检测与便携式装置相关联的相机的视场内的第一对象；以及响应于被动地检测相机的视场内的第一对象以与第一对象相关联的第一内容更改所述网页的至少一部分。

计算机程序产品的实施方案可包含以下特征中的一或多者。第一内容包含与相机俘获的图像不同的内容。经配置以致使处理器更改与网页相关联的一或多个帧内的内容的指令。经配置以致使处理器显示网页的至少一个静态内容区段和至少一个动态内容区段的指令；经配置以致使处理器使用相机被动地且自动地俘获至少一个图像且识别所述至少一个图像内的对象的指令；以及经配置以致使处理器获得第一内容并在网页的所述至少一个动态内容区段内显示第一内容的指令，所述第一内容包含与第一对象相关联的动态网页内容。经配置以致使处理器获得网页支持相机导引的浏览的指示且响应于所述指示激活相机的指令。经配置以致使处理器被动地检测相机的视场内的第二对象且响应于被动地检测所述相机的所述视场内的所述第二对象以与所述第二对象相关联的第二内容更改所述网页的至少一部分的指令。

本文描述的项目和/或技术可提供以下能力的一或多者，以及未提及的其它能力。通过将计算机视觉检测和对象辨识并入到网络导航应用(例如，网络浏览器)中，可使所述应用更有效且直观。可提供简单、用户友好的控制机制以使用户能够导航到关于用户正查看的对象的上下文特定信息。可提供相机导引的浏览体验以允许在无额外应用的情况下且以减少的用户输入以无缝方式移动与一或多个网络位置相关联的内容。可提供其它能力，且并非根据本发明的每个实施方案必须提供所论述的能力的任一者(更不必说全部)。此外，有可能通过除所叙述手段以外的手段实现上文所叙述的效果，且所叙述的项目/技术可不一定产生所叙述的效果。

附图说明

图1是移动计算装置的组件的框图。

图2是用于操作相机导引的网络浏览器的系统的框图。

图3是用于经由模块化网络浏览器实施相机导引的浏览的系统的框图。

图4是说明图2和3的系统的实例操作的图。

图5-6是提供相机导引的网络浏览体验的相应过程的框流程图。

图7是计算机系统的实例的框图。

具体实施方式

本文描述用于例如网络浏览器等内容导航应用的相机辅助的操作的系统和方法。移动装置或与相机相关联的其它装置的用户在引导相机到装置周围的区域的同时在装置上运行网络浏览器应用。基于相机的视场内检测到的对象，动态地更改网络浏览器内显示的内容。这样做时，在浏览器应用本身或次级独立应用内向用户呈现与用户正查看的区域有关的内容，而不需要用户手动导航到所述内容。

本文描述的系统和方法经由一或多个移动装置12操作。这些移动装置包含(但不限于)个人数字助理(PDA)、智能电话、例如膝上型计算机、桌上型计算机或平板计算机等计算装置、汽车计算系统等，不论当前存在还是将来待开发。

参看图1，实例移动装置12包含无线收发器121，其在无线网络上经由无线天线122发送和接收无线信号123。收发器121通过无线收发器总线接口120连接到总线101。虽然在图1中展示为不同组件，但无线收发器总线接口120也可为无线收发器121的一部分。此处，移动装置12说明为具有单一无线收发器121。然而，移动装置12或者可具有多个无线收发器121和无线天线122来支持例如WiFi、码分多址(CDMA)、宽带CDMA(WCDMA)、长期演进(LTE)、蓝牙等多个通信标准。

通用处理器111、存储器140、数字信号处理器(DSP)112和/或专门处理器(未图示)也可用于整体或部分处理无线信号123。来自无线信号123的信息的存储使用存储器140或寄存器(未图示)执行。虽然图1中仅展示一个通用处理器111、DSP 112和存储器140，但这些组件中的任何组件的至少一者可由移动装置12使用。通用处理器111和DSP 112直接或通过总线接口110连接到总线101。另外，存储器140直接或通过总线接口(未图示)连接到总线101。总线接口110当实施时可与同其相关联的通用处理器111、DSP 112和/或存储器140集成或独立于这些组件。

存储器140包含存储功能作为一或多个指令或代码的非暂时性计算机可读存储媒体(或媒介)。可组成存储器140的媒体包含(但不限于)RAM、ROM、快闪存储器、磁盘驱动器等。存储器140存储的功能由通用处理器111、专用处理器或DSP 112执行。因此，存储器140是处理器可读存储器和/或计算机可读存储器，其存储经配置以致使处理器111和/或DSP 112执行所描述的功能的软件170(编程代码、指令等)。或者，移动装置12的一或多个功能可整体或部分实施在硬件中。

移动装置12进一步包含相机135，其俘获移动装置12附近的图像和/或视频。相机135包含光学系统160，其包含一或多个透镜，所述透镜总体界定从其俘获图像的相机135的视场。光学系统160的透镜和/或其它组件可容纳在移动装置12内和/或移动装置12外部，例如作为透镜附接件或类似物。光学系统160以通信方式与图像俘获单元162耦合。图像俘获单元162包含电荷耦合装置(CCD)和/或用以将光学图像转换为电信息的其它技术，所述电信息转移到移动装置12的一或多个处理实体，例如通用处理器111和/或DSP 112。

虽然此处的移动装置12包含一个相机135，但可使用多个相机135，例如沿着移动装置12的前侧安置的面朝前相机和沿着移动装置12的后侧安置的面朝后相机，其可彼此依赖地或独立地操作。相机135独立地或经由总线接口110连接到总线101。举例来说，相机135可经由总线101与DSP 112通信以便在相机135不具有独立图像处理器的情况下处理图像俘获单元162俘获的图像。另外，相机135可与例如麦克风(未图示)等其它组件相关联以用于俘获与给定所俘获视频片段相关联的音频。相机135可额外与通用处理器111和/或存储器140通信以产生或以其它方式获得与所俘获图像或视频相关联的元数据。与图像相关联或链接到图像的元数据含有关于图像的各种特性的信息。举例来说，元数据包含图像俘获的时间、日期和/或位置，图像维度或分辨率、俘获图像所用相机135和/或移动装置12的身份等。相机135所利用的元数据以例如可交换图像文件格式(EXIF)标签等适宜的格式产生和/或存储。相机135还可与无线收发器121通信以促进将相机135俘获的图像或视频发射到相关联通信网络内的一或多个其它实体。

接下来参看图2，用于操作相机导引的网络浏览器26的系统20包含相机135、对象辨识引擎22、动态内容存储装置24(其与网络浏览器26相关联而操作)。相机135、对象辨识引擎22和动态内容存储装置24如下文描述操作以提供与网络浏览器26相关联的改进的用户体验。

如图1中说明的相机135与移动装置12相关联。特定来说，相机135被容纳在移动装置12内或以通信方式利用例如通用串行总线(USB)、火线或音频/视频连接(例如，复合音频/视频连接、组件(RGB或YPbPr)音频/视频连接、高清晰度多媒体接口(HDMI)等)等有线连接或例如蓝牙、Wi-Fi等无线连接耦合到移动装置12。

相机135在相机135指向的方向上例如由相机135的用户或移动装置12俘获相机135周围的区域的图像。相机135俘获的图像提供到对象辨识引擎22，对象辨识引擎22检测并识别相机135的视场内的一或多个对象。此处，相机135和对象辨识引擎22操作以被动地检测相机135的视场内的对象。更特定来说，相机135经配置以被动地且自动地俘获对应于相机的视场的区域的图像而无来自移动装置12的用户的手动输入(或至少无重复手动输入，而是可能初始手动输入，例如连续模式俘获起始)，且对象辨识引擎22类似地经配置以在无主动用户输入的情况下识别这些图像内的对象。对象辨识引擎22至少部分由移动装置12实施，例如作为由通用处理器111执行并存储在存储器140上的软件组件。对象辨识引擎22可作为网络浏览器26的一部分实施，例如作为内建到网络浏览器26中的插件或模块，或其可为与移动装置12相关联的独立组件。对象辨识引擎22在网络浏览器26内的实施在下文进一步详细描述。

另外或作为替代，对象辨识引擎22可与一或多个网络实体(例如，经由无线收发器121)通信，所述网络实体至少部分实施对象辨识引擎22的功能性。举例来说，驻留在移动装置12上的对象辨识引擎22可与基于网络的视觉搜索服务、云计算服务等通信以辅助识别相机135的视场内的对象。此处，对象辨识引擎22利用已知参考对象的数据库来识别相机135的视场内的充分(即，在阈值置信度或相似度内)与数据库中的参考对象匹配的对象。数据库可为存储在移动装置12处且由对象辨识引擎22管理的本地数据库、存储在远程实体处且由对象辨识引擎22存取的网络数据库，或本地数据库与网络数据库的组合。

对象辨识引擎22可连续监视相机135的视场以试图检测视场内的对象。或者，为节省计算和/或网络资源，对象辨识引擎22可间断地对来自相机视场的图像取样。取样可以均一速率、非均一(随机、可变或自适应)速率，或在满足某些触发条件(例如，相机135的视场确定为已改变等)后执行。为此，对象辨识引擎22还可通过例如当相机图像将被取样时将相机135置于有源或加电状态且否则将相机135置于无源或断电状态而辅助管理相机135的功率和/或操作状态。

此处，对象辨识引擎22提供针对移动装置12的计算机视觉检测和对象辨识功能性。此功能性以与扩增现实(AR)系统中的检测机制类似的方式操作。举例来说，在AR系统中，检测是用于识别特定图像内的已知目标的计算机视觉过程。执行检测的实体配置有给定图像中的识别试图针对的参考或目标的集合。所述参考的集合由点(关键点)的集合组成，所述点以其在原始参考图像中的二维位置和针对每一关键点的描述符表示。描述符表示关于对应关键点的信息，例如关键点周围的亮度信息的梯度。作为替代，参考图像本身经存储并用作用于检测的模板。作为检测过程的结果，从经识别参考图像到输入图像产生点对应性。使用例如单应性等技术来产生表示两个图像之间的关系的位姿。此位姿信息随后用于额外操作，例如用于初始化新检测到的对象的跟踪。

在检测到相机135的视场中的对象后，即刻依照来自对象辨识引擎22的指示从动态内容存储装置24检索关于检测到的对象的内容(文本、音频、视频等)且经由网络浏览器26将其呈现给系统20的用户。网络浏览器26促进与一或多个网络或互联网络(例如，因特网)相关联的信息的导航。网络浏览器26实现使用例如触摸屏或触摸垫、数字小键盘、键盘、鼠标等常规输入机构在不同位置(例如，网站或页)之间导航。另外，网络浏览器26引导对象辨识引擎22辨识和报告相机135的视场内的对象(如上文论述)。这样做时，网络浏览器26使相机135能够基于从相机135的视场辨识的内容导引网络浏览活动。

如图2中进一步展示，与给定位置(例如，网站或网页)相关联的静态内容连同从动态内容存储装置24检索的动态内容(其对应于对象辨识引擎22检测到的对象)一起显示。如名称所暗示，与网站相关联的动态内容响应于相机135可见的对象中的改变而动态更新。更特定来说，在由对象辨识引擎22检测到相机135的视场内的对象后，网络浏览器经配置以用与检测到的对象相关联的内容更改(例如，代替或扩增)网页的至少一部分。在网页中添加动态内容结果，其中所述网页上显示的内容的一部分基于相机135的视场中的对象持续改变，借此使用户能够接收相对于当前正检视的对象的上下文特定信息，而不手动移动所述信息。此外，随着网页的内容经配置以基于相机135的视场动态改变，提供更直观的用户体验，因为用户可动态地获得相关内容而不执行例如打开专门应用、定位或扫描条形码或QR(快速响应)代码、执行例如按钮按压等手动输入，或手动将装置12引导到另一应用或浏览器等应用特定操作。代替于用户在网页内的链接上点击，网络浏览器26基于装置12指向的内容(即，对象辨识引擎22从相机135提供的图像辨识的内容)改变网页的内容。

如图2所示，网络浏览器26将静态网页内容与响应于经由对象辨识引擎22检测对象而检索到的动态网页内容组合。或者，给定网页可初始不含有静态内容，使得网页直到响应于激活相机导引的浏览或检测对象检索到动态内容后才有效显示任何信息。在任何情况下，可在响应于对象的检测检索和显示动态内容之前、期间或之后的任何时间与网页相关联而检索和显示静态内容。

为激活相机导引的浏览，将网络浏览器26自动或手动引导到网站或支持相机导引的浏览的其它位置。此位置可为因特网或较小网络或互联网络(例如，与建筑物或其它场所、封闭花园和/或因特网服务提供者(ISP)或网络运营商提供的其它提供者特定资源相关联的本地内联网)上的位置。另外，给定网站支持相机导引的浏览的能力可向网络浏览器26的用户指示使得用户可适当利用网站的此功能性。举例来说，在导航到支持相机导引功能性的网站后，网络浏览器26可即刻向用户提供网站“启用AR”或以其它方式能够支持经由相机135的导引浏览的警报或其它指示。或者，此指示可由网站本身提供。如果具有相机导引的浏览功能性的网站与实体位置相关联，那么网站的地址连同用于接入网站的任何其它指令(例如，网络证书、登录信息等)也可提供给存在于实体位置处的用户。

除了指示网站支持相机辅助的浏览的能力外，网络浏览器26和/或网站还可向用户提供关于使用相机135来导航与网站相关联的内容的指令。此信息可以任何适宜的方式给出，例如经由帮助文件或其它文档、交互式教程等。另外，网络浏览器26或网站可在导航网站以辅助用户存取与所述网站相关联的内容的同时向用户提供反馈。举例来说，如果在给定时刻未在相机135的视场内检测到对象，那么可向用户提供关于如何使用相机辅助的浏览系统20的指令。如果检测到对象但对象不清楚(例如，不可以至少阈值准确度辨别)，那么可向用户呈现改进相机135的图像质量以改进检测的建议，例如使相机135平稳、确保适当聚焦和照明等。

在网络浏览器26导航到所支持位置后，用户将相机135的视场引导到所关注的各个对象。网络浏览器26引导对象辨识引擎22检测相机135检视的对象，且经由动态内容存储装置24检索关于检测到的对象的信息(如上文描述)。如果检测到多个对象，那么与对象相关联的信息可经过滤和/或分类，随后以多种方式在网络浏览器26处呈现。举例来说，可基于例如距相机135的距离、对象识别置信度、由与网站相关联的内容提供者和动态内容存储装置24设定的预定加权准则等因素对检测到的对象加权。在对对象加权后，对应于对象的信息可经排序和/或布置使得关于检测到的对象的信息根据相应对象的加权以变化的可见度或显著程度置于动态网页内容内。或者，信息可经过滤使得单一检测到的对象或检测到的对象的有限子集根据其加权经选择以在动态网页内容内显示。举例来说，网络浏览器26可经配置以仅展示对应于最近对象、最接近相机视场的中心的对象或基于其它准则的最高经加权对象的信息。为此，可基于例如相机图像内的对象的大小、相机135的缩放因子、相机135的定向、对象的已知大小等计算或估计相机135与给定对象之间的距离。

如上文论述，网络浏览器26更新网页以显示从动态内容存储装置24获得的对应于被动检测到的对象的信息。与常规AR应用相比，实况相机图像不显示，而是改为用于控制由网络浏览器在网页上显示信息所针对的对象。另外，虽然动态内容存储装置24在图2中说明为单一实体，但多个动态内容存储装置24可由系统20采用。举例来说，可采用多个动态内容存储装置24，每一者对应于特定网站或网站的群组。另外，针对给定网站的动态内容存储装置24可由服务器或也向网络浏览器26提供对应于网站的静态内容的其它实体实施。

接下来参看图3，说明用于实施相机导引的浏览的系统30，其中如上文描述的对象辨识引擎22的功能性实施在与模块化网络浏览器26相关联的模块或插件内。网络浏览器26并入有计算机视觉检测和对象辨识以实现具有增加的直观性和使用容易度的网络导航。此处，计算机视觉和对象辨识功能性由与网络浏览器相关联的计算机视觉模块32实施，计算机视觉模块32提供与上文描述的对象辨识引擎22类似的功能性。此处，计算机视觉模块32经由计算机视觉插件实施在网络浏览器内，或者网络浏览器26的一些或全部计算机视觉和对象辨识功能性可直接内建(或内嵌)到网络浏览器26中，例如作为网络浏览器26的一或多个模块化软件组件。计算机视觉模块32提供的浏览器能力使与网络浏览器26相关联的相机135能够基于相机135的视场内辨识的内容导引所支持的网络位置内的网络浏览活动。

导引浏览由系统30响应于网络浏览器26针对所支持的网页或其它位置而起始。导航到此支持的位置可为手动动作(例如，用户动作(例如，点击到位置的链接、手动键入位置的地址、扫描指示位置的地址的条形码或QR代码等))或自动动作(例如，进入与网页相关联的地理位置、接入与网页相关联的通信网络等)的结果。此处，网络浏览器26支持经由用户控制模块34的手动导航。另外，用户控制模块34可用于启用或停用网络浏览器26的导引浏览功能性，且/或促进相对于网络浏览器26的其它用户动作。

与网络浏览器26存取的网页相关联的内容由网络浏览器26经由内容检索/再现模块36存取和显示。在支持导引浏览的网页的上下文内，所述网页的至少一部分经配置以基于相机135的视场内的对象改变。换句话说，由网络浏览器26经由内容检索/再现模块36再现的给定网页上显示的内容(如果所述网页经编程为如此)基于计算机视觉模块32检测到的对象改变。

支持相机导引的浏览的网页实施为具有内嵌在其中的控制的单一网页，所述控制经配置以经由计算机视觉模块32从相机135获得信息。这些控制通过与网页相关联的代码实施，所述代码以能够由网络浏览器26读取和解译的任何代码语言和/或协议(例如，JavaScript、Flash、HTML5等)给出。

基于计算机视觉模块32提供的信息，网页经由网络浏览器26被动地(即，无直接用户输入)识别所关注的对象，且在网页内加载与这些对象有关的内容。网页加载的内容由网络服务器或其它数据存储实体存储。此处，网页加载来自动态内容存储装置24的与所关注对象有关的内容，且网页内加载的内容经由网络浏览器26的内容检索/再现模块36获得和显示。虽然动态内容存储装置24在图2-3中说明为不用实体，但动态内容存储装置24不需要为不同内容存储装置，且可改为作为网络服务器或存储包含所支持网页或其它网络位置的动态上下文特定内容以及静态一般化内容的数据的其它实体的一部分实施。

网络浏览器26的相机导引操作的实例由图4说明。运行网络浏览器26的移动装置12主动(例如，通过用户输入)或被动(例如，通过自动动作)地将网络浏览器26引导到支持AR的网页52。网页52在移动装置12的显示屏50(此处安置在移动装置12的面朝后表面上)上显示。网页52含有静态内容54与动态内容56的组合。随着移动装置12移动，对象辨识引擎22(实施在网络浏览器26内或不同于网络浏览器26)检测安置在移动装置12的面朝前表面内的相机135的视场40内的对象42。响应于相机135的视场40内的对象42的改变，优选地实时或近似实时以极少(如果有的话)延迟更改网页52的动态内容56，以提供关于视场中的对象42的上下文特定信息。举例来说，在检测相机135的视场40内的第一对象42后，即刻与网页52相关联而显示包括关于第一对象42的动态内容56的第一内容。随后，在检测相机135的视场40内的第二对象42后，即刻以包括关于第二对象42的动态内容56的第二内容更改网页52的至少一部分。此更改可包含用第二内容代替第一内容(例如，在第二对象42代替相机135的视场40中的第一对象42的情况下)或除第一内容外还显示第二内容(例如，在第二对象42与第一对象42一起出现在相机135的视场40内的情况下)。其它更改也是可能的。

此处，动态内容56布置在网页52的一或多个不同区域内，例如网页52的帧内或网页52的其它以不同方式分割的区域内。然而，动态内容56可以任何适宜的方式或布置与静态内容54混合。

作为图4所示的技术的实例实施方案，博物馆可提供交互式移动网页，其通过配置网页以显示关于移动装置的相机所指向的展览中的对象的信息而提供对展览的“导引观光”。举例来说，在访问艺术博物馆后，智能电话用户将智能电话的网络浏览器导航到艺术博物馆的交互式移动网页。当用户浏览艺术博物馆的画廊时，用户将智能电话指向各种画作、照片或其它展览作品。当智能电话指向新展览作品时，展览作品被检测为在智能电话的面朝前相机的视场内。作为响应，智能电话的网络浏览器中的内容更新。如上所述，所有内容或内容的一部分(例如，帧或帧的一部分、网页的一部分等)可改变。

参看图5，进一步参看图1-4，提供相机导引的网络浏览体验的过程200包含所展示的阶段。然而，过程200仅为实例且不具有限制性。过程200可例如通过添加、移除、重新布置、组合和/或同时执行阶段而更改。对如所展示和描述的过程400的另外其它更改是可能的。

在阶段202处，在包含相机135的便携式装置12的显示屏50上显示网页52。此处，网页52由网络浏览器26显示，网络浏览器26由装置12处的通用处理器111实施，通用处理器111执行包括存储在存储器140上的处理器可执行程序代码的软件。

在阶段204处，在相机135的视场40内被动地检测第一对象42。此检测由对象辨识引擎22执行，对象辨识引擎22此处由计算机视觉模块32和/或网络浏览器26的其它组件实施。如上文论述，阶段204处执行的被动检测可通过经由相机135连续地或近似连续地周期性地(例如，根据取样速率)基于触发事件、连续模式选择/起始等自动俘获图像并识别这些图像内的第一对象42而执行。然而，在任何情况下，在无控制相机135对图像的俘获或图像内对象的检测的直接用户输入的情况下执行被动检测。如上所述，阶段204处执行的被动检测可基于网页52支持相机导引的浏览的指示例如通过响应于接收此指示激活相机135而起始。

在阶段206处，响应于在阶段204处被动检测第一对象42以第一内容更改网页52的至少一部分(例如，静态内容54和/或动态内容56)，所述第一内容包含与第一对象42相关联的动态内容56。此处，动态内容56由网络浏览器26的内容检索/再现模块36从动态内容存储装置24检索。动态内容存储装置24由存储与网页52相关联的静态内容54和动态内容56的服务器和/或不同实体实施。另外，如上所述，网页52内显示的第一内容包含不同于相机135俘获的图像的内容。阶段206处执行的更改可在网页52内作为整体发生，或者所述更改可限于网页52的一或多个区段，例如帧或类似物，如上文论述。

除了以上内容外，还可针对相机135的视场40内检测到的额外后续对象42执行和重复与阶段204和206处描述的操作类似的操作。举例来说，在以与第一对象42相关联的第一内容更改网页52后，可检测相机135的视场40内的第二对象42。响应于检测此第二对象42，可以与第二对象42相关联的第二内容更改网页的至少一部分。可通过用第二内容代替第一内容、用第二内容扩增第一内容，和/或足以将第二内容传达到移动装置12的用户的其它更改来执行此更改，如上文描述。

参看图6，进一步参看图1-4，提供相机导引的网络浏览体验的另一过程210包含所展示的阶段。然而，过程210仅为实例且不具有限制性。过程210可例如通过添加、移除、重新布置、组合和/或同时执行阶段而更改。对如所展示和描述的过程210的另外其它更改是可能的。

在阶段212处，显示由至少一个静态内容区段54和至少一个动态内容区段56组成的网页52。此处，网页52由网络浏览器26经由内容检索/再现模块36显示。

在阶段214处，由安置在移动装置12内或以其它方式与移动装置12相关联的相机135例如在无用户指示或直接用户输入的情况下被动地俘获至少一个图像。在阶段216处，使用与网络浏览器26相关联的计算机视觉模块32识别阶段214处被动地俘获的所述至少一个图像内的对象42。如上所述，计算机视觉模块32可实施为插件或实施为网络浏览器26的内嵌功能性。

在阶段218处，例如从动态内容存储装置24或与网页52相关联的服务器或存储实体获得与阶段216处识别的对象42相关联的网页内容。在阶段218处由网络浏览器26经由计算机视觉模块32和/或内容检索/再现模块36获得内容。

在阶段220处，由网络浏览器26的内容检索/再现模块36在网页52的所述至少一个动态内容区段56内显示阶段218处获得的内容。网页52的动态内容区段56可为网页52内的帧或网页52的以可由网络浏览器26解译的任何方式(例如，经由层叠样式表(CSS)、可扩展标识语言(XML)等)产生的经分割区段。

如图7中说明的计算机系统800可用于至少部分实施先前描述的计算机化装置的功能性。图7提供可执行各个其它实施例提供的方法(如本文描述)和/或可充当移动装置或其它计算机系统的计算机系统800的一个实施例的示意说明。图7提供各个组件的一般化说明，所述组件的任一者或全部可适当利用。图7因此广义上说明可如何以相对分离或相对较集中方式实施个别系统元件。

计算机系统800展示为包括可经由总线805电耦合(或可以其它方式通信，视需要)的硬件元件。硬件元件可包含一或多个处理器810，包含(不限于)一或多个通用处理器和/或一或多个专用处理器(例如，数字信号处理芯片、图形加速处理器等)；一或多个输入装置815，其可包含(不限于)鼠标、键盘等；以及一或多个输出装置820，其可包含(不限于)显示装置、打印机等。处理器810可包含例如智能硬件装置，例如比如由公司或制造的中央处理单元(CPU)、微控制器、ASIC等。也可利用其它处理器类型。

计算机系统800可进一步包含(和/或与之通信)一或多个非暂时性存储装置825，其可包括(不限于)本地和/或网络可接入存储装置；且/或可包含(不限于)磁盘驱动器、驱动器阵列、光学存储装置、固态存储装置(例如，随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，其可为可编程、快闪可更新的)等。此类存储

装置可经配置以实施任何适当数据存储，包含(不限于)各种文件系统、数据库结构等。

计算机系统800可能还包含通信子系统830，其可包含(不限于)调制解调器、网卡(无线或有线)、红外通信装置、无线通信装置和/或芯片组(例如，Bluetooth^TM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)等。通信子系统830可允许与网络(例如，下文描述的网络，仅举一例)其它计算机系统和/或本文描述的任何其它装置交换数据。在许多实施例中，计算机系统800将进一步包括(如此处)工作存储器835，其可包含RAM或ROM装置，如上文描述。

计算机系统800还可包括展示为当前位于工作存储器835内的软件元件，包含操作系统840、装置驱动器、可执行库，和/或其它代码(例如，一或多个应用程序845)，其可包括各个实施例提供的计算机程序，且/或可经设计以实施其它实施例提供的方法和/或配置其它实施例提供的系统(如本文描述)。仅借助实例，本文描述的一或多个过程可能实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令。此类代码和/或指令可用于配置和/或调适通用计算机(或其它装置)来根据所描述的方法执行一或多个操作。

这些指令和/或代码的集合可能存储在计算机可读存储媒体上，例如上文描述的存储装置825上。在一些情况下，存储媒体可能并入在计算机系统(例如，系统800)中，。在其它实施例中，存储媒体可能与计算机系统分离(例如，可装卸媒体，比如紧密光盘)，和/或提供在安装封装中，使得存储媒体可用于以其上存储的指令/代码编程、配置和/或调适通用计算机。这些指令可能采取可由计算机系统800执行的可执行代码的形式，和/或可能采取源和/或可安装代码的形式，所述源和/或可安装代码在计算机系统800上编译和/或安装后(例如，使用多种通常可用编译器、安装程序、压缩/解压缩实用程序等的任一者)，采取可执行代码的形式。

可根据特定需求作出实质变化。举例来说，也可能使用定制硬件，且/或特定元件可能实施在硬件、软件(包含便携式软件，例如小应用程序等)或两者中。此外，可采用到例如网络输入/输出装置等其它计算装置的连接。

可使用计算机系统(例如，计算机系统800)执行根据本发明的方法。此类方法的一些或所有程序可由计算机系统800响应于处理器810执行包含在工作存储器835中的一或多个指令的一或多个序列(其可能并入到操作系统840和/或其它代码(例如，应用程序845)中)而执行。此类指令可从例如存储装置825的一或多者等另一计算机可读媒体读取到工作存储器835中。仅借助实例，包含在工作存储器835中的指令的序列的执行可能致使处理器810执行本文描述的方法的一或多个程序。

如本文使用的术语“机器可读媒体”和“计算机可读媒体”指代参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统800实施的一实施例中，各种计算机可读媒体可能涉及提供向处理器810提供指令/代码以供执行，和/或可能用于存储和/或携载此类指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体是物理和/或有形存储媒体。此媒体可采取许多形式，包含(但不限于)非易失性媒体、易失性媒体和发射媒体。非易失性媒体包含(例如)光盘和/或磁盘，例如存储装置825。易失性媒体包含(不限于)动态存储器，例如工作存储器835。发射媒体包含(不限于)同轴电缆、铜线和光纤，包含包括总线805以及通信子系统830(和/或通信子系统830借以提供与其它装置的通信的媒体)的各个组件的电线。因此，发射媒体还可采取波的形式(包含(不限于)无线电、声波和/或光波，例如无线电波和红外数据通信期间产生的波)。

物理和/或有形计算机可读媒体的常见形式包含例如软盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、蓝光光盘、任何其它光学媒体、穿孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪-EPROM、任何其它存储器芯片或盒、如下文描述的载波，或计算机可从其读取指令和/或代码的任何其它媒体。

各种形式的计算机可读媒体可涉及将一或多个指令的一或多个序列携载到处理器810以供执行。仅借助实例，指令可初始携载在远程计算机的磁盘和/或光盘上。远程计算机可能将指令加载到其动态存储器中且将指令作为信号在发射媒体上发送以由计算机系统800接收和/或执行。根据本发明的各个实施例，这些信号(其可能呈电磁信号、声波信号、光学信号等的形式)均为上面可编码指令的载波的实例。

通信子系统830(和/或其组件)通常将接收所述信号，且总线805接着可能将所述信号(和/或由所述信号携载的数据、指令等)携载到处理器805可从其检索和执行指令的工作存储器835。工作存储器835接收的指令可任选地在处理器810执行之前或之后存储在存储装置825上。

上文论述的方法、系统和装置为实例。各种替代配置可视需要省略、替换或添加各种程序或组件。举例来说，在替代方法中，阶段可以不同于上文论述的次序执行，且可添加、省略或组合各个阶段。并且，相对于某些配置描述的特征可在各种其它配置中组合。所述配置的不同方面和元件可以类似方式组合。并且，技术进步，且因此许多元件为实例且不限制本发明或权利要求书的范围。

描述中给出特定细节以提供对实例配置(包含实施方案)的彻底理解。然而，可在没有这些特定细节的情况下实践配置。举例来说，已在无不必要细节的情况下展示众所周知的电路、过程、算法、结构和技术以免混淆所述配置。此描述仅提供实例配置，且不限制权利要求书的范围、适用性或配置。事实上，配置的先前描述将向所属领域的技术人员提供用于实施所描述的技术的实现性描述。可在不脱离本发明的精神或范围的情况下作出元件的功能和布置方面的各种改变。

配置可描述为过程，其描绘为流程图或框图。尽管每一者可将操作描述为循序过程，但许多操作可并行或同时执行。另外，操作的次序可重新布置。过程可具有图中未包含的额外步骤。此外，方法的实例可由硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合实施。当实施在软件、固件、中间件或微代码中时，用以执行必要任务的序代码或代码片段可存储在非暂时性计算机可读媒体(例如，存储媒体)中。处理器可执行所描述的任务。

如本文使用(包含在权利要求书中)，如项目的列表中使用的“或”(前言为“……的至少一者”)指示分隔性列表，使得例如“A、B或C的至少一者”的列表意味着A或B或C或AB或AC或BC或ABC(即，A和B和C)，或具有一个以上特征的组合(例如，AA、AAB、ABBC等)。

已描述若干实例配置，可在不脱离本发明的精神的情况下使用各种修改、替代构造和等效物。举例来说，以上元件可为较大系统的组件，其中其它规则可优先于或以其它方式修改本发明的应用。并且，可在考虑以上元件之前、期间或之后从事若干步骤。因此，以上描述不限制权利要求书的范围。

Claims (36)

1.一种用于操作相机导引的网络浏览器的方法，所述方法包括：

在与便携式装置相关联的显示器上显示网页；

被动地检测与所述便携式装置相关联的相机的视场内的第一对象；以及

响应于被动地检测所述相机的所述视场内的所述第一对象以与所述第一对象相关联的第一内容更改所述网页的至少一部分。

2.根据权利要求1所述的方法，其中所述第一内容包括不同于所述相机俘获的图像的内容。

3.根据权利要求1所述的方法，其中所述显示包括使用网络浏览器应用显示所述网页。

4.根据权利要求3所述的方法，其中被动地检测所述第一对象包括使用对象辨识引擎被动地检测所述第一对象。

5.根据权利要求4所述的方法，其中所述对象辨识引擎实施为所述网络浏览器应用的计算机视觉插件。

6.根据权利要求4所述的方法，其中所述对象辨识引擎实施为所述网络浏览器应用的内嵌式组件。

7.根据权利要求1所述的方法，其中所述更改包括使用所述第一内容更改与所述网页相关联的一或多个帧。

8.根据权利要求1所述的方法，其中：

所述显示包括显示所述网页的至少一个静态内容区段和至少一个动态内容区段；

被动地检测所述第一对象包括使用所述相机被动地且自动地俘获至少一个图像，且识别所述至少一个图像内的所述第一对象；且

所述更改包括获得所述第一内容，所述第一内容包括与所述第一对象相关联的动态网页内容，且在所述网页的所述至少一个动态内容区段内显示所述第一内容。

9.根据权利要求8所述的方法，其中被动地且自动地俘获所述至少一个图像包括根据取样速率俘获多个图像。

10.根据权利要求1所述的方法，其进一步包括：

获得所述网页支持相机导引的浏览的指示；以及

响应于所述指示激活所述相机。

11.根据权利要求1所述的方法，其进一步包括：

被动地检测所述相机的所述视场内的第二对象；以及

响应于被动地检测所述相机的所述视场内的所述第二对象以与所述第二对象相关联的第二内容更改所述网页的至少一部分。

12.根据权利要求11所述的方法，其中所述更改包括用所述第二内容代替所述第一内容。

13.根据权利要求11所述的方法，其中所述更改包括除所述第一内容外还显示所述第二内容。

14.一种用于操作网络浏览器的系统，所述系统包括：

便携式通信装置，其中安置有显示屏和相机，其中所述网络浏览器与所述便携式通信装置相关联且经配置以在所述便携式通信装置的所述显示屏上显示网页；以及

对象辨识引擎，其与所述网络浏览器相关联，以通信方式耦合到所述相机，且经配置以被动地检测所述相机的视场内的第一对象；

其中所述网络浏览器进一步经配置以响应于所述对象辨识引擎被动地检测所述第一对象而用与所述第一对象相关联的第一内容更改如所述显示屏上显示的所述网页的至少一部分。

15.根据权利要求14所述的系统，其中所述第一内容包括不同于所述相机俘获的图像的内容。

16.根据权利要求14所述的系统，其中所述对象辨识引擎包括所述网络浏览器的插件。

17.根据权利要求14所述的系统，其中所述对象辨识引擎是所述网络浏览器的内嵌式组件。

18.根据权利要求14所述的系统，其中所述网络浏览器经配置以用所述第一内容更改与所述网页相关联的一或多个帧。

19.根据权利要求14所述的系统，其中：

所述网络浏览器经配置以在所述显示屏上显示所述网页的至少一个静态内容区段和至少一个动态内容区段；

所述对象辨识引擎经配置以指示所述相机被动地且自动地俘获至少一个图像且识别所述至少一个图像内的所述第一对象；且

所述网络浏览器进一步经配置以响应于所述对象辨识引擎获得所述第一内容，所述第一内容包括与所述第一对象相关联的动态网页内容；且在所述显示屏上在所述网页的所述至少一个动态内容区段内显示所述第一内容。

20.根据权利要求14所述的系统，其中：

所述对象辨识引擎进一步经配置以被动地检测所述相机的所述视场内的第二对象；且

所述网络浏览器进一步经配置以响应于被动地检测所述相机的所述视场内的所述第二对象以与所述第二对象相关联的第二内容更改所述网页的至少一部分。

21.根据权利要求20所述的系统，其中所述网络浏览器进一步经配置以用所述第二内容代替所述第一内容。

22.根据权利要求20所述的系统，其中所述网络浏览器进一步经配置以除所述第一内容外还显示所述第二内容。

23.根据权利要求14所述的系统，其中所述网络浏览器进一步经配置以获得所述网页支持相机导引的浏览的指示，且响应于所述指示激活所述相机。

24.根据权利要求14所述的系统，其中所述便携式通信装置包括智能电话。

25.一种用于操作相机导引的网络浏览器的系统，所述系统包括：

便携式装置，其包括相机和显示屏；

静态显示装置，其以通信方式耦合到所述便携式装置，用于在所述便携式装置的所述显示屏处显示网页；

计算机视觉装置，其以通信方式耦合到所述相机，用于被动地检测所述相机的视场内的第一对象；以及

动态显示装置，其以通信方式耦合到所述静态显示装置和所述计算机视觉装置，用于响应于经由所述计算机视觉装置被动地检测所述第一对象以与所述第一对象相关联的第一内容更改所述网页的至少一部分。

26.根据权利要求25所述的系统，其中所述第一内容包括不同于所述相机俘获的图像的内容。

27.根据权利要求25所述的系统，其中所述动态显示装置包括用于使用所述第一内容更改与所述网页相关联的一或多个帧的装置。

28.根据权利要求25所述的系统，其中：

所述静态显示装置包括用于将所述网页分割为一个静态内容区段和至少一个动态内容区段的装置；

所述计算机视觉装置包括用于指令所述相机被动地且自动地俘获至少一个图像的装置，以及用于识别所述至少一个图像内的所述第一对象的装置；且

所述动态显示装置包括用于获得所述第一内容的装置，所述第一内容包括与所述第一对象相关联的动态网页内容，以及用于在所述网页的所述至少一个动态内容区段内显示所述第一内容的装置。

29.根据权利要求25所述的系统，其进一步包括控制装置，所述控制装置以通信方式耦合到所述相机，用于获得所述网页支持相机导引的浏览的指示且响应于所述指示激活所述相机。

30.根据权利要求25所述的系统，其中：

所述计算机视觉装置包括用于被动地检测所述相机的所述视场内的第二对象的装置；且

所述动态显示装置包括用于响应于被动地检测所述相机的所述视场内的所述第二对象以与所述第二对象相关联的第二内容更改所述网页的至少一部分的装置。

31.一种驻留在处理器可执行计算机存储媒体上的计算机程序产品，所述计算机程序产品包括经配置以致使处理器进行以下操作的处理器可执行指令：

在与便携式装置相关联的显示屏上显示网页；被动地检测与所述便携式装置相关联的相机的视场内的第一对象；以及

响应于被动地检测所述相机的所述视场内的所述第一对象以与所述第一对象相关联的第一内容更改所述网页的至少一部分。

32.根据权利要求31所述的计算机程序产品，其中所述第一内容包括不同于所述相机俘获的图像的内容。

33.根据权利要求31所述的计算机程序产品，其中所述经配置以致使所述处理器更改所述网页的至少一部分的指令包括经配置以致使所述处理器更改与所述网页相关联的一或多个帧内的内容的指令。

34.根据权利要求31所述的计算机程序产品，其中：

所述计算机程序产品进一步包括经配置以致使所述处理器显示所述网页的至少一个静态内容区段和至少一个动态内容区段的指令；

所述经配置以致使所述处理器被动地检测所述第一对象的指令包括经配置以致使所述处理器进行以下操作的指令：

使用所述相机被动地且自动地俘获至少一个图像，以及

识别所述至少一个图像内的对象；且

所述经配置以致使所述处理器更改所述网页的至少一部分的指令包括经配置以致使所述处理器进行以下操作的指令：

获得所述第一内容，所述第一内容包括与所述第一对象相关联的动态网页内容，以及

在所述网页的所述至少一个动态内容区段内显示所述第一内容。

35.根据权利要求31所述的计算机程序产品，其进一步包括经配置以致使所述处理器进行以下操作的处理器可执行指令：

获得所述网页支持相机导引的浏览的指示；以及响应于所述指示激活所述相机。

36.根据权利要求31所述的计算机程序产品，其进一步包括经配置以致使所述处理器进行以下操作的处理器可执行指令：

被动地检测所述相机的所述视场内的第二对象；以及响应于被动地检测所述相机的所述视场内的所述第二对象以与所述第二对象相关联的第二内容更改所述网页的至少一部分。