CN101553831A - 用于使用便携式设备查看虚拟数据库的方法、装置和计算机程序产品 - Google Patents

Abstract

一种用于将可视搜索系统与虚拟数据库组合以使得能够检索信息的装置，所述装置可以包括处理元件。所述处理元件可以被配置以便：接收对于包括对象的图像的指示；提供与所述图像中的对象相关联的标签列表，所述标签列表包括至少一个标签；接收对所述标签列表中的关键字的选择；以及基于所选择的关键字来提供补充信息。

Description

用于使用便携式设备查看虚拟数据库的方法、装置和计算机程序产品

技术领域

本发明的实施例总体上涉及移动可视搜索技术，并且更特别地涉及用于将可视搜索系统与虚拟数据库组合以使得能够信息检索的方法、设备、移动终端以及计算机程序产品。

背景技术

现代通信纪元已经带来了有线和无线网络的极大扩展。计算机网络、电视网络和电话网络在客户需求的推动下正在经历前所未有的技术扩展，同时提供了更好的信息传送的灵活性和直接性。

当前和未来的组网技术继续促进对于用户传送信息的容易度和方便性。其中存在对增加向用户传送信息的容易度和方便性的需求的一个方面涉及向诸如移动终端这样的电子设备的用户提供各种应用或软件。这些应用或软件可以由本地计算机、网络服务器或其它网络设备执行，或者由诸如像移动电话、移动电视、移动游戏系统、视频记录器、相机等的移动终端执行，或者甚至由移动终端和网络设备的组合执行。就此而言，各种应用和软件已经被开发，并且继续被开发，以便给予用户在固定或移动环境中实现任务、通信、自娱、聚集和/或分析信息等的稳健的能力。

随着对具有相机的移动电话的广泛使用，相机应用对于移动电话用户来说正在变得流行。基于图像匹配(识别)的移动应用当前正在出现，并且这一出现的例子是移动可视搜索系统。当前，存在具有各种范围和应用的移动可视搜索系统。然而，对于增加采用移动信息和数据服务来说，主要障碍仍然是可以执行这些应用的移动设备的有难度的和低效率的用户接口(UI)。由于有难度的和受限的用户接口，移动设备有时不能使用或最大地限制了其对信息检索的利用。

已经存在被实现用于使得移动设备更容易使用的很多方法，包括例如，用于利用数字键板敲入文本的自动辞典、语音识别以便激活应用、扫描代码以便链接信息、可折叠和便携式键板、数字化手写的无线笔、投影虚拟键盘的微型投影仪、基于接近度的信息标签，以及常规搜索引擎，等等。这些方法中的每一个都有缺点，例如，用于敲入并未存储在辞典中的较长文本或字词的增加的时间、由于外部噪声或多个谈话而导致的语音识别系统的不精确、能够仅识别具有代码并且在代码标签的特定接近度内的对象的有限灵活性、用于携带(便携式键盘)的额外装备、训练用于手写识别的设备、电池寿命的降低，等等。

假设相机的无处不在的性质，例如移动终端设备，可能需要开发一种向用户提供友好用户接口(UI)的可视搜索系统，以便使得能够访问信息和数据服务。

发明内容

本发明的示例性实施例的系统、方法、设备和计算机程序产品用于将可视搜索系统与虚拟数据库进行组合，以便使得能够信息检索。这些设计使得可视搜索系统能够与信息存储系统和信息检索系统集成，以便提供一种联合信息系统。本发明的联合信息系统可以提供例如用于在移动和其它应用中使用的百科全书功能性、所选择的兴趣点(POI)的旅游指南功能性、使用手册功能性、语言翻译和辞典功能性，以及包括书籍标题、公司信息、国家信息、医用药物信息等在内的一般信息功能性。

本发明的一个示例性实施例包括一种方法，所述方法包括：接收对于包括对象的图像的指示；提供标签列表，所述标签列表包括至少一个标签并且与所述图像中的对象相关联；接收对所述标签列表中的关键字的选择；以及基于所述关键字来提供补充信息。

在另一示例性实施例中，提供了一种计算机程序产品。所述计算机程序产品包括至少一个计算机可读存储介质，其中存储了计算机可读程序代码部分。所述计算机可读程序代码部分包括第一、第二、第三和第四可执行部分。所述第一可执行部分用于接收对于包括对象的图像的指示。所述第二可执行部分用于提供与所述图像中的对象相关联的标签列表。所述第三可执行部分用于接收对所述标签列表中的关键字的选择。所述第四可执行部分用于基于所述关键字来提供补充信息。

本发明的另一示例性实施例包括一种含有处理元件的装置，所述处理元件被配置以便：接收对于包括对象的图像的指示；提供标签列表，所述标签列表包括至少一个标签并且与所述图像中的对象相关联；接收对所述标签列表中的关键字的选择；以及基于所述关键字来提供补充信息。

本发明的实施例可以不要求用户以字词来描述搜索，相反，拍摄图片(或者将相机对准对象以便在相机的视野范围内放置对象)以及几次点击(或者甚至根本不点击，这被称为“零点击”)可以足以基于从与图片中的对象相关联的标签列表中选择的关键字来完成搜索，并且提供相应的补充信息。文中使用的术语“点击”指的是用于请求信息的任何用户操作，诸如点击按钮，点击链接，推动按键，将笔、手指或某种其它激活设备指向屏幕上的对象，或者在屏幕上手动输入信息。

附图说明

因而已经概括地描述了本发明，现在将参照附图，这些附图并不一定按比例绘制，并且其中：

图1是根据本发明的示例性实施例的联合移动信息系统的示意框图；

图2是根据本发明的示例性实施例的无线通信系统的示意框图；

图3是根据本发明的示例性实施例的移动可视搜索系统的示意框图；

图4是根据本发明的示例性实施例的虚拟搜索服务器和搜索数据库的示意框图；

图5是根据本发明的示例性实施例的系统体系结构的示意框图；以及

图6是根据本发明的示例性实施例的用于使得能够从移动设备的虚拟数据库进行信息检索的操作方法的流程图。

具体实施方式

现在将在下文中参照附图更充分地描述本发明的实施例，其中示出了本发明的一些而不是全部实施例。实际上，本发明可以以很多不同形式体现，并且不应当被解释为限于文中所阐明的实施例；相反，提供这些实施例从而使得本公开将满足可应用的法律要求。全文中相同的附图标记指的是相同的元件。

图1图示了将从本发明获益的移动终端(设备)10的框图。然而，应当理解，如图所示以及下文描述的移动终端仅是将从本发明获益的一种类型移动终端的图示，并且因此，不应当视为限制本发明的范围。虽然图示了移动终端10的几个实施例，并且在下文中将出于举例的目的而描述这几个实施例，但是其它类型的移动终端可以很容易采用本发明，例如便携式数字助理(PDA)、寻呼机、移动电视、膝上型计算机以及其它类型的语音和文本通信系统。此外，并不移动的设备也可以很容易地采用本发明的实施例。

另外，虽然本发明的方法的几个实施例由移动终端10实现或使用，但是该方法可以由移动终端之外的设备采用。此外，本发明的系统和方法将主要结合移动通信应用来描述。然而，应当理解，本发明的系统和方法可以既在移动通信行业中又在移动通信行业之外结合各种其它应用来利用。

移动终端10包括可操作与发射机14和接收机16通信的天线12。移动终端10进一步包括分别向发射机14提供信号以及从接收机16接收信号的装置，例如控制器20或其它处理元件。所述信号包括根据可应用的蜂窝系统的空中接口标准的信令信息，并且还包括用户语音和/或用户生成的数据。就此而言，移动终端10能够在一个或多个空中接口标准、通信协议、调制类型和接入类型下操作。借助于图示，移动终端10能够根据任何数目的第一、第二和/或第三代通信协议等来进行操作。例如，移动终端10能够根据包括IS-136(TDMA)、GSM和IS-95(CDMA)的第二代(2G)无线通信协议、包括宽带码分多址(WCDMA)、蓝牙(BT)、IEEE 802.11、IEEE 802.15/16和超宽带(UWB)技术的第三代(3G)无线通信协议来进行操作。移动终端进一步能够在包括AMPS以及TACS的窄带网络中操作。

要理解，控制器20包括用于实现移动终端10的音频和逻辑功能所需要的电路。例如，控制器20可以由数字信号处理器设备、微处理器设备和各种模数转换器、数模转换器以及其它支持电路组成。移动终端10的控制和信号处理功能根据这些设备各自的能力而在这些设备之间进行分配。因而，控制器20还可以包括在调制和传输之前卷积编码和交织消息的功能性。控制器20另外可以包括内部语音编码器，并且可以包括内部数据调制解调器。此外，控制器20可以包括操作可存储在存储器中的一个或多个软件程序的功能性。例如，控制器20能够操作连通性程序，例如常规Web浏览器。然后，连通性程序可以例如根据无线应用协议(WAP)来允许移动终端10传输和接收Web内容，例如基于位置的内容。

移动终端10还包括用户接口，用户接口包括输出设备，诸如常规耳机或扬声器24、振铃器22、扩音器26、显示器28，以及用户输入接口，它们都耦合到控制器20。允许移动终端10接收数据的用户输入接口可以包括允许移动终端10接收数据的任何数目的设备，例如键板30、触摸显示器(未示出)或其它输入设备。在包括键板30的实施例中，键板30可以包括常规数字键(0-9)和相关键(#、＊)以及用于操作移动终端10的其它键。可选地，键板30可以包括常规QWERTY键板。移动终端10进一步包括电池34(例如，振动电池组)，用于对操作移动终端10所需要的各种电路供电，以及视情况提供机械振动作为可检测的输出。

在示例性实施例中，移动终端10包括与控制器20通信的相机模块36。相机模块36可以是用于捕获图像或视频片段或视频流以便存储、显示或传输的任何装置。例如，相机模块36可以包括能够根据所看见的对象、所捕获的图像或来自所记录的视频数据的视频流而形成数字图像文件的数字相机。相机模块36能够捕获图像、读取或检测条形码以及其它基于代码的数据、OCR数据等。如此，相机模块36包括诸如镜头、传感器、扫描仪或其它光学设备在内的所有硬件，以及用于根据所捕获的图像或来自所记录的视频数据的视频流而创建数字图像文件和读取基于代码的数据、OCR数据等所需要的软件。可选地，相机模块36可以仅包括查看图像或视频流所需要的硬件，而移动终端10的存储设备40、42按照以下软件的形式来存储用于由控制器20执行的指令，即该软件是根据所捕获的图像或来自所记录的视频数据的视频流而创建数字图像文件所必需的。在示例性实施例中，相机模块36可以进一步包括诸如协处理器这样的处理元件以及编码器和/或解码器，所述处理元件帮助控制器20处理图像数据、视频流或基于代码的数据以及OCR数据，所述编码器和/或解码器用于压缩和/或解压缩图像数据、视频流、基于代码的数据、OCR数据等。编码器和/或解码器可以根据JPEG标准格式等来进行编码和/或解码。另外，或者可选地，相机模块36可以包括一个或多个视图，例如像第一人相机视图和第三人地图视图(map view)。

移动终端10可以进一步包括与控制器20通信的GPS模块70。GPS模块70可以是用于定位移动终端10的位置的任何装置。另外，GPS模块70可以是用于在由相机模块36所捕获或读取的图像中定位兴趣点(POI)(例如像商店、书店、餐厅、咖啡店、百货商店、产品、公司、博物馆、历史性地标等)以及可能具有条形码(或其它适当的基于代码的数据)的对象(设备)的位置的任何装置。如此，如文中所使用的兴趣点可以包括用户感兴趣的任何实体，诸如产品、其它对象等以及如上所述的地理地点。GPS模块70可以包括用于定位移动终端或图像中的POI的位置的所有硬件。可选地或另外，GPS模块70可以利用移动终端10的存储设备40、42来按照以下软件的形式存储用于由控制器20执行的指令，即该软件是用于确定移动终端或POI的图像的位置所必需的。另外，如图2中所公开的以及下文更充分的描述，GPS模块70能够利用控制器20，经由发射机14/接收机16向服务器(例如可视搜索服务器54和可视搜索数据库51)发射/接收位置信息，例如移动终端10的位置、一个或多个POI的位置和一个或多个基于代码的标签以及OCR数据标签的位置。

移动终端还可以包括诸如搜索模块68这样的搜索模块。搜索模块可以包括由控制器20(或者由在搜索模块的内部的协处理器(未示出))来执行的硬件和/或软件的任何装置，当移动终端10的相机模块指向(零点击)POI、基于代码的数据、OCR数据等的时候，或者当POI、基于代码的数据以及OCR数据等在相机模块36的视线中的时候，或者当POI、基于代码的数据、OCR数据等被相机模块捕获在图像中的时候，所述装置能够接收与兴趣点、基于代码的数据、OCR数据等(例如，用户感兴趣的任何物理实体)相关联的数据。在示例性实施例中，对于图像(其可以是所捕获的图像或仅是在相机模块36的视野内的对象)的指示可以由搜索模块68来分析关于在该图像的指示的内容上的可视搜索的性能，以便标识其中的对象。就此而言，图像(或者对象)的特征可以与(例如，来自可视搜索服务器54和/或可视搜索数据库51的)源图像相比较，以便尝试识别该图像。然后可以确定与该图像相关联的标签。标签可以包括上下文元数据或与对象相关联的其它类型的元数据信息(例如，位置、时间、POI的标识、徽标、个体等)。在序列号为11/592,460的标题为“ScalableVisual Search System Simplifying A ccess to Network and DeviceFunctionality”的美国申请中描述了采用能够利用标签(和/或生成标签或标签列表)的这样的可视搜索系统的一个应用，由此通过引用的方式将其全部内容合并于此。

搜索模块68(例如，在控制器20包括搜索模块68的实施例中经由控制器20)可以进一步被配置以便生成包括与对象相关联的一个或多个标签的标签列表。然后，标签可以被提供给用户(例如，经由显示器28)，并且可以从用户接收到对于与图像中的对象相关联的关键字的选择(例如，标签中的一个)。例如，如果用户希望关于该关键字的更详细的(补充的)信息，则他或她可以“点击”或以其它方式选择关键字。如此，关键字可以表示对象的标识或关于对象的主题，并且根据本发明的实施例的关键字的选择可以向用户提供补充信息，例如，关于所选择的关键字的百科全书文章。例如，用户可以仅利用他或她的相机电话指向POI，并且与图像(或图像中的对象)相关联的关键字的列表可以自动出现。就此而言，术语“自动”应当被理解成暗示不需要用户交互，以便生成和/或显示关键字的列表。如果用户期望关于该POI的更详细的信息，则用户可以在关键字中的一个上进行单击，并且对应于所选择的关键字的补充信息就可以被提供给用户。搜索模块可以负责控制相机模块36的至少一些功能，例如一个或多个相机模块图像输入、跟踪或感知图像运动、与搜索服务器通信从而获得与POI、基于代码的数据和OCR数据等相关联的有关信息，以及用于经由显示器28向移动终端10的用户显示适当的信息或经由扬声器24向移动终端10的用户通告适当的信息所必需的用户接口和机构。在示例性的可选实施例中，搜索模块68可以在相机模块36的内部。

搜索模块68还能够使得移动终端10的用户能够从与各个POI、基于代码的数据和/或OCR数据等有关的若干动作的列表中(例如，在菜单或子菜单中)的一个或多个动作中进行选择。例如，所述动作中的一个可以包括但不限于：在地理区域内搜索其它类似的POI(即，补充信息)。例如，如果用户将相机模块指向历史性地标或博物馆，则移动终端可以显示与该地标或博物馆有关的候选者列表或菜单(补充信息)，例如，在该地理区域中的其它博物馆、具有类似主题的其它博物馆、详细介绍POI的书籍、关于该地标的百科全书文章，等等。作为另一个例子，如果移动终端的用户将相机模块指向例如与产品或设备有关的条形码，则移动终端可以显示与该产品有关的信息列表，包括设备的使用手册、对象的价格、购买的最近位置等。与这些类似POI有关的信息可以被存储在存储器中的用户简档中。

现在参照图2，提供了将从本发明的实施例受益的一种类型的系统的图示。该系统包括多个网络设备。如图所示，一个或多个移动终端10可以各自包括用于向基站(BS)44或接入点(AP)62发射信号以及用于从基站(BS)44或接入点(AP)62接收信号的天线12。基站44可以是一个或多个蜂窝或移动网络的一部分，每个蜂窝或移动网络都包括用于操作网络所需的元件，例如移动交换中心(MSC)46。如本领域的技术人员所公知的，移动网络还可以被称为基站/MSC/互通功能(BMI)。在操作中，当移动终端10正在拨打和接收呼叫时，MSC 46能够路由到达和来自移动终端10的呼叫。当移动终端10正在进行呼叫时，MSC 46还可以提供到陆线中继线路(landline trunks)的连接。另外，MSC 46能够控制转发到达和来自移动终端10的消息，并且还可以控制转发到达和来自消息传递中心的用于移动终端10的消息。应当注意，尽管在图2的系统中示出了MSC 46，然而，MSC 46仅是示例性网络设备，并且本发明并不限于在采用MSC的网络中使用。

MSC 46可以耦合到数据网络，诸如局域网(LAN)、城域网(MAN)和/或广域网(WAN)。MSC 46可以直接耦合到数据网络。然而，在一个典型实施例中，MSC 46耦合到GTW 48，并且GTW 48耦合到诸如因特网50的WAN。进而，诸如处理元件(例如，个人计算机、服务器计算机等)的设备可以经由因特网50耦合到移动终端10。例如，如下文所解释的，处理元件可以包括与计算系统52(图2中示出了一个)、可视搜索服务器54(图2中示出了一个)、可视搜索数据库51等相关联的一个或多个处理元件，如下所述。

BS 44还可以耦合到信令GPRS(通用分组无线电业务)支持节点(SGSN)56。如本领域技术人员所已知的，SGSN 56通常能够实现用于分组交换业务的MSC 46的类似功能。类似于MSC 46，SGSN 56可以耦合到诸如因特网50的数据网络。SGSN 56可以直接耦合到数据网络。然而，在更典型的实施例中，SGSN 56耦合到分组交换核心网络，诸如GPRS核心网络58。然后，分组交换核心网络耦合到另外的GTW 48，诸如GTWGPRS支持节点(GGSN)60，并且GGSN 60耦合到因特网50。除了GGSN60之外，分组交换核心网络还可以耦合到GTW 48。此外，GGSN 60可以耦合到消息传递中心。就此而言，类似于MSC 46，GGSN 60和SGSN 56能够控制转发诸如MMS消息这样的消息。GGSN 60和SGSN 56还能够控制转发到达和来自消息传递中心的用于移动终端10的消息。

另外，通过将SGSN 56耦合到GPRS核心网络58和GGSN 60，诸如计算系统52和/或可视地图服务器54这样的设备可以经由因特网50、SGSN 56和GGSN 60而耦合到移动终端10。就此而言，诸如计算系统52和/或可视地图服务器54这样的设备可以通过SGSN 56、GPRS核心网络58和GGSN 60与移动终端10通信。通过直接或间接地将移动终端10和其它设备(例如，计算系统52、可视地图服务器54等)连接到因特网50，移动终端10可以诸如根据超文本传送协议(HTTP)与其它设备通信以及互相通信，由此实现移动终端10的各种功能。

尽管在此并未示出和描述每个可能的移动网络的每个元件，然而应当理解，移动终端10可以通过BS 44耦合到任何数目的不同网络中的一个或多个。就此而言，网络能够根据多个第一代(1G)、第二代(2G)、2.5G、第三代(3G)和/或未来移动通信协议等中的任何一个或多个来支持通信。例如，一个或多个网络能够根据2G无线通信协议IS-136(TDMA)、GSM和IS-95(CDMA)来支持通信。此外，举例来说，一个或多个网络能够根据2.5G无线通信协议GPRS、增强的数据GSM环境(EDGE)等来支持通信。进一步地，举例来说，一个或多个网络能够根据诸如采用宽带码分多址(WCDMA)无线电接入技术的通用移动电话系统(UMTS)网络这样的3G无线通信协议来支持通信。一些窄带AMPS(NAMPS)以及TACS网络也可以从本发明的实施例获益，就像双模或更高模式的移动台(例如，数字/模拟或TDMA/CDMA/模拟电话)。

移动终端10可以进一步耦合到一个或多个无线接入点(AP)62。AP62可以包括被配置以便根据例如像射频(RF)、蓝牙(BT)、Wibree、红外(IrDA)这样的技术或多种不同无线组网技术(包括诸如IEEE 802.11(例如，802.11a、802.11b、802.11g、802.11n等)的无线LAN(WLAN)技术、诸如IEEE 802.16的WiMAX技术和/或诸如IEEE 802.15的超宽带(UWB)技术，等等)中的任何一种技术来与移动终端10进行通信的接入点。

AP 62可以耦合到因特网50。类似于MSC 46，AP 62可以直接耦合到因特网50。然而，在一个实施例中，AP 62经由GTW 48间接耦合到因特网50。此外，在一个实施例中，BS 44可以被认为是另一个AP 62。如将理解的，通过直接或间接地将移动终端10和计算系统52、可视搜索服务器54和/或多个其它设备中的任何一个连接到因特网50，移动终端10可以相互通信、与计算系统52和/或可视搜索服务器54以及可视搜索数据库51等进行通信，由此实现移动终端10的各种功能，诸如向计算系统52发射数据、内容等和/或从其接收内容、数据等。

例如，可视搜索服务器54可以处理来自搜索模块68的请求，并且与用于存储并检索可视搜索信息的可视搜索数据库51进行交互。可视搜索服务器54可以通过如图3中公开并在下文详细描述的地图服务器96来提供地图数据等，其与一个或多个POI或基于代码的数据、OCR数据、一个或多个移动终端10的地理区域、场地或位置等有关。另外，可视搜索服务器54可以向移动终端的搜索模块68提供各种形式的与诸如POI的目标对象有关的数据。另外，可视搜索服务器54可以向搜索模块68提供与基于代码的数据、OCR数据等有关的信息。例如，如果可视搜索服务器从移动终端的搜索模块68接收到指示：相机模块检测、读取、扫描或捕获了条形码或任何其它代码(在此统称为基于代码的数据)的图像和/或OCR数据(例如，文本数据)，则可视搜索服务器54可以将所接收到的基于代码的数据和/或OCR数据与存储在兴趣点(POI)数据库74中的关联数据进行比较，并且向搜索模块提供例如用于给定产品的比较购物信息、购买能力和/或内容链接(诸如URL或Web页面)，以便经由显示器28进行显示。也就是说，基于代码的数据和OCR数据(相机模块由此来检测、读取、扫描或捕获图像)含有与比较购物信息、购买能力和/或内容链接等有关或相关联的信息。当移动终端接收到内容链接(例如URL)或任何其它所期望的信息(诸如文档、电视节目、音乐记录等)时，它可以利用其Web浏览器，经由显示器28来显示对应的Web页面，或者经由扩音器26来呈现音频格式下的期望信息。此外，可以以各种模式(例如，预览模式、最佳匹配模式和用户选择模式)来显示期望信息。在预览模式中，显示补充信息和补充信息的预览，其中在最佳匹配模式中仅显示与期望信息最佳匹配的补充信息，并且在用户选择模式中无预览地显示补充信息。此外，补充信息可以诸如经由电子邮件被传输给用户。另外，可视搜索服务器54可以经由地图服务器96，将所接收到的OCR数据(例如，关于由相机模块36所检测到的街道标志的文本)与相关联的数据(例如，在移动终端的地理区域中和/或在该街道标志的地理区域中的地图数据和/或方向)进行比较。应当指出，上面仅是可以与基于代码的数据和/或OCR数据相关联的数据的例子，并且就此而言，任何适当的数据都可以与在此描述的基于代码的数据和/或OCR数据相关联。

另外，可视搜索服务器54可以进行与由相机模块36捕获或获得的图像或视频片段(或者任何适当的媒体内容，包括但不限于文本数据、音频数据、图形动画、基于代码的数据、OCR数据、图片、照片等)的比较，并且确定这些图像或视频片段或者与这些图像或视频片段有关的信息是否被存储在可视搜索服务器54中。此外，可视搜索服务器54可以通过POI数据库74来存储与一个或多个目标对象有关的各种类型的信息，诸如可以与由相机模块36捕获或检测到的一个或多个图像或视频片段(或者其它媒体内容)相关联的POI。与一个或多个POI有关的信息可以被链接到一个或多个标签，例如，与由相机模块36捕获、检测、扫描或读取的实际对象相关联的标签。与一个或多个POI有关的信息可以被传输到移动终端10用于显示。

可视搜索数据库51可以存储相关的可视搜索信息，包括但不限于媒体内容，所述媒体内容包括但不限于文本数据、音频数据、图形动画、图片、照片、视频片段、图像及其相关联的元信息，例如像Web链接、地理位置数据(在此所指的地理位置数据包括但不限于针对诸如Web站点等各种媒体的地理标识元数据，并且该数据还可以由纬度和经度坐标、高度数据和地名组成)，用于快速和有效检索的上下文信息等。此外，可视搜索数据库51可以存储关于一个或多个POI的地理位置的数据，并且可以存储属于各种兴趣点的数据，包括但不限于POI的位置、与POI有关的产品信息等。可视搜索数据库51还可以存储基于代码的数据、OCR数据等，以及与基于代码的数据、OCR数据相关联的数据，包括但不限于产品信息、价格、地图数据、方向、Web链接等。可视搜索服务器54可以发射和接收来自可视搜索数据库51的信息，并且经由因特网50与移动终端10通信。同样，可视搜索数据库51可以与可视搜索服务器54通信，并且可选地或另外，可以直接经由WLAN、蓝牙、Wibree等传输或经由因特网50而与移动终端10通信。

在示例性实施例中，可视搜索数据库51可以包括可视搜索输入控制/接口98。可视搜索输入控制/接口98可以用作诸如企业主、产品制造商、公司等用户的接口，以便将他们的数据插入可视搜索数据库51。用于控制将数据插入可视搜索数据库51的方式的机制可以是灵活的，例如，可以基于位置、图像、时间等来插入被新插入的数据。用户可以经由可视搜索输入控制/接口98，将条形码或任何其它类型的代码(即，基于代码的数据)或与一个或多个对象、POI、产品等有关的OCR数据(以及附加信息)插入可视搜索数据库51。在示例性非限制实施例中，可视搜索输入控制/接口98可以位于可视搜索数据库51的外部。如在此所使用的，术语“图像”、“视频片段”、“数据”、“内容”、“信息”以及类似术语可以互换地用来指代能够根据本发明的实施例而被发射、接收和/或存储的数据。因而，任何这样的术语的使用都不应当被视为限制本发明的实施例的精神和范围。

尽管图2中未示出，然而除了将移动终端10通过因特网50耦合到计算系统52或者代替将移动终端10通过因特网50耦合到计算系统52，移动终端10和计算系统52可以互相耦合并且根据例如RF、BT、IrDA或多种不同有线或无线通信技术(包括LAN、WLAN、WiMAX和/或UWB技术)中的任何一种来通信。一个或多个计算系统52可以另外或可选地包括能够存储内容的可装卸存储器，所述内容之后可以被传送到移动终端10。此外，移动终端10可以耦合到一个或多个电子设备，诸如打印机、数字投影仪和/或其它多媒体捕获、产生和/或存储设备(例如，其它终端)。类似于计算系统52，移动终端10可以被配置以便根据诸如RF、BT、IrDA的技术或多种不同有线或无线通信技术(包括USB、LAN、WLAN、WiMAX和/或UWB技术)中的任何一种技术来与便携式电子设备通信。

参照图4，示出了服务器94的框图。如图4所示，服务器94(其可以充当或包括一个或多个可视搜索服务器54、POI数据库74、可视搜索输入控制/接口98、可视搜索数据库51)能够允许产品制造商、产品广告商、企业主、服务提供商、网络运营商等(经由接口95)输入与诸如POI这样的目标对象有关的相关信息以及与基于代码的数据相关联的信息和/或与OCR数据相关联的信息(例如，商品标签、Web页面、Web链接、黄页信息、图像、视频、联系信息、地址信息、诸如建筑物的路点(waypoints)的位置信息、场地信息、地图数据百科全书文章、博物馆指南、使用手册、警告、辞典、语言翻译以及任何其它适当的数据)，用于存储在存储器93中。

服务器94通常包括处理器97、连接到存储器93的控制器等以及接口95和用户输入接口91。处理器还可以连接到至少一个接口95或者用于发射和/或接收数据、内容等的其它装置。存储器可以包括易失性和/或非易失性存储器，并且能够存储与一个或多个POI、基于代码的数据以及如上所述的OCR数据有关的内容。存储器93还可以存储用于处理器的软件应用、指令等，以便根据本发明的实施例实现与服务器的操作相关联的步骤。就此而言，存储器可以含有(由处理器执行的)软件指令，用于存储、上载/下载POI数据、基于代码的数据、OCR数据以及与POI数据、基于代码的数据、OCR数据等相关联的数据，并且用于发射/接收去往/来自移动终端10和去往/来自可视搜索数据库以及可视搜索服务器的POI数据、基于代码的数据、OCR数据及其各自的关联数据。用户输入接口91可以包括允许用户输入数据、选择各种形式的数据并且操纵菜单或子菜单等的任何数目的设备。就此而言，用户输入接口包括但不限于操纵杆、键板、按钮、软键或其它输入设备。

可以以各种不同的方式来配置系统体系结构，包括例如：移动终端设备10和服务器94；移动终端设备10和一个或多个服务器群(server farm)；移动终端设备10(其进行多数处理)以及服务器94或一个或多个服务器群；移动终端设备10，其进行所有处理，并且仅接入服务器94以检索和/或存储数据(所有数据或仅一些数据，其余的数据存储在设备上)或者根本不接入服务器(让所有的数据都在设备上直接可用)；以及以ad-hoc方式交换信息的若干终端设备。

根据图5中所公开并且在下文详细描述的系统体系结构，移动终端设备10可以托管前端模块118和后端模块120这二者，它们分别可以是以硬件或软件或其组合来体现的任何装置或设备，用于分别实现前端模块118和后端模块120的各自的功能。前端模块118可以处理与移动终端(即键板30、显示器28、扩音器26和扬声器24)的用户的交互，并且将用户请求传送到后端模块120(即控制器20、存储器40，42、相机36和搜索模块68)。后端模块120可以实现上述大部分后端处理，而后端服务器94实现其余的后端处理。可选地，后端模块120可以实现所有的后端处理，并且仅接入服务器94以检索和/或存储数据(所有的数据或仅一些数据，其余的存储在终端存储器40、42中)。然而，在另一配置中(未示出)，后端模块120可以根本不接入服务器，而让所有的数据都在移动终端10上直接可用。

应当理解，图6中所示的流程图的每个块或步骤以及流程图中块的组合都可以通过各种装置来实现，诸如包括一个或多个计算机程序指令的硬件、固件和/或软件。例如，上述一个或多个过程可以通过计算机程序指令来体现。就此而言，体现上述过程的计算机程序指令可以由移动终端或服务器的存储设备来存储，并且由移动终端或服务器中的内置处理器来执行。如将理解的，任何这样的计算机程序指令都可以被加载到计算机或产生机器的其它可编程装置(即，硬件)上，从而使得在计算机或其它可编程装置(例如，硬件)上执行的指令意味着用于实现在流程图块或步骤中指定实现的功能。这些计算机程序指令还可以存储在计算机可读存储器中，其可以指导计算机或其它可编程装置以特定方式起作用，从而使得存储在计算机可读存储器中的指令产生包括实现在流程图块或步骤中指定的功能的指令装置的制品。计算机程序指令还可以被加载到计算机或其它可编程装置上，以便使得在计算机或其它可编程装置上实现一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令提供用于实现在系统中执行的功能的步骤。

上述功能可以以很多方式来实现。例如，可以采用用于实现上述每个功能的任何适当的装置来实现本发明。在一个实施例中，本发明的所有或部分元件通常在计算机程序产品的控制下操作。用于实现本发明的实施例的方法的计算机程序产品包括诸如非易失性存储介质的计算机可读存储介质，以及体现在计算机可读存储介质中的计算机可读程序代码部分(诸如一系列计算机指令)。

如图6所示，提供与图像中的对象有关的补充信息的示例性方法可以包括：在操作100处接收对于包括对象的图像的指示。对于图像的指示可以例如对应于所捕获的图像或相机视野中的图像。在操作101，可以提供与图像中的对象相关联的标签列表。标签列表可以包括至少一个标签。在操作102可以接收对于标签列表中的关键字的选择。该方法可以进一步包括在操作103处基于所选择的关键字来提供补充信息。在示例性实施例中，将关键字和补充信息发电子邮件到所标识的电子邮件接收方的任选操作104可以在操作103之后进行或替代操作103。应当理解，关于图6所描述的操作可以由移动终端或服务器的处理元件来执行。

在一个实施例中，操作103可以包括提供Web站点、文档、电视节目、无线电节目、音乐记录、参考手册、书籍、报纸文章、杂志文章或指南作为补充信息。可选地，补充信息可以包括与所选择的关键字有关的百科全书文章。补充信息可以以音频或视频格式来提供。

在一个示例性实施例中，可以这样提供补充信息，以便呈现包括补充信息的多个文档中的每个文档的一部分的预览。可选地，可以提供与高亮显示的文档相关联的信息的预览。作为另一备选方案，补充信息可以被呈现在列表中，由此用户可以在不被提供预览的情况下选择关键字。在另一示例性实施例中，可以仅向用户呈现基于对补充信息的搜索的结果的排名的最佳匹配结果。可以基于所选择的关键字来进行所述搜索。

在另一示例性实施例中，该方法可以包括：接收对于在包括补充信息的项目列表中的特定项目的选择，以及呈递该特定项目和信息，其表示在预定距离内接近于该图像中的对象的其它对象。如此，举例来说，本发明的实施例作为移动旅游或博物馆指南可以很有用，其中用户可以扫描或捕获与地标或博物馆展览相对应的对象的图像。地标或展览可以通过可视搜索来标识(例如，使用存储在与旅游或博物馆相关联的服务器中的源图像)，并且相关联的对应关键字可以在诸如标签列表中被标识和/或显示。可以向用户呈现列表格式下的关键字，用于选择将要提供给用户的补充信息。可选地或另外，还可以提供在预定距离内与该关键字或其它对象、地标、展览等有关的辅助信息。在示例性实施例中，可以提供(例如，可能由博物馆的馆长定制的)百科全书文章，或者使用上述电子邮件功能性可以提供机会来在用户的个人计算机上实现跟踪旅游。在另一可选的实施例中，可以基于与在远程位置所注意到的部分、机器或条件相关联的设备扫描来提供在线使用手册。因此，可以基于与所标识的对象有关的所选关键字来向用户提供指令、药物信息资料或其它信息。

在一些情况下，为了避免使用显示器(例如，对于在其它地方要求视觉注意(visual attention)的任务的性能)，可以提供可听指令作为补充或辅助信息。此外，可以将某些所标识的对象映射到特定的补充信息或文章。例如，可以将公司徽标映射到关于对应公司的文章；可以将历史性地标映射到描述了该历史性地标的历史的文章；可以将地标映射到关于该地标或该地标所位于的城市的文章；可以将书籍或艺术品映射到关于作者或艺术家和/或有关作品的文章；可以将国家标志映射到关于对应国家的文章或者映射到切换基于与该国家标志相关联的语言所提供的文章的语言的功能；可以将著名个人映射到关于该个人的对应文章；可以将技术设备映射到对应的使用手册；可以将医用药物映射到对应的药物信息资料；可以将电影海报或小配件映射到关于演员、电影或有关电影的文章；等等。这些文章可以是例如，描述了关键字或者关于关键字或对象的琐事问题的百科全书文章。

受益于在前述描述和相关联的附图中所提供的教导，本领域的技术人员将会想到属于本发明的在此所阐述的本发明的很多修改和其它实施例。因此，应当理解，本发明并不限于所公开的具体实施例，并且修改和其它实施例旨在被包括在所附权利要求的范围内。尽管在此采用了特定术语，然而它们仅在一般的和描述性的意义上使用，并无限制目的。

Claims (25)

1.一种方法，其包括：

接收对于包括对象的图像的指示；

提供与所述图像中的对象相关联的标签列表，所述标签列表包括至少一个标签；

接收对所述标签列表中的关键字的选择；以及

基于所选择的关键字来提供补充信息。

2.根据权利要求1所述的方法，其中提供补充信息包括：提供Web站点、文档、电视节目、无线电节目、音乐记录、参考手册、书籍、报纸文章、杂志文章或指南。

3.根据权利要求1所述的方法，其中提供补充信息包括：提供与所选择的关键字有关的百科全书文章。

4.根据权利要求1所述的方法，其中提供补充信息包括：提供音频或视频格式的信息。

5.根据权利要求1所述的方法，其中提供补充信息包括：提供包括所述补充信息的多个文档中的每个文档的一部分的预览。

6.根据权利要求1所述的方法，其中提供补充信息包括：仅提供基于对所述补充信息的搜索的结果的排名的最佳匹配结果，所述搜索是基于所选择的关键字来进行的。

7.根据权利要求1所述的方法，其进一步包括：接收对于在包括所述补充信息的项目列表中的特定项目的选择，以及呈递所述特定项目和信息，其表示在预定距离内接近于所述图像中的对象的其它对象。

8.根据权利要求1所述的方法，其中提供补充信息进一步包括：将所述关键字和补充信息发电子邮件到所标识的电子邮件接收方。

9.根据权利要求1所述的方法，其中接收对于所述图像的指示包括：接收对于所捕获的图像或相机视野中的图像的指示。

10.一种包括处理元件的装置，所述处理元件被配置以便：

接收对于包括对象的图像的指示；

提供与所述图像中的对象相关联的标签列表，所述标签列表包括至少一个标签；

接收对所述标签列表中的关键字的选择；以及

基于所选择的关键字来提供补充信息。

11.根据权利要求10所述的装置，其中所述处理元件进一步被配置以便：检索Web站点、文档、电视节目、无线电节目、音乐记录、参考手册、书籍、报纸文章、杂志文章或指南。

12.根据权利要求10所述的装置，其中所述处理元件进一步被配置以便：提供与所选择的关键字有关的百科全书文章。

13.根据权利要求10所述的装置，其中所述处理元件进一步被配置以便：提供包括所述补充信息的多个文档中的每个文档的一部分的预览。

14.根据权利要求10所述的装置，其中所述处理元件进一步被配置以便：仅提供基于对所述补充信息的搜索的结果的排名的最佳匹配结果，所述搜索是基于所选择的关键字来进行的。

15.根据权利要求10所述的装置，其中所述处理元件进一步被配置以便：接收对于在包括所述补充信息的项目列表中的特定项目的选择，以及呈递所述特定项目和信息，其表示在预定距离内接近于所述图像中的对象的其它对象。

16.根据权利要求10所述的装置，其中所述处理元件进一步被配置以便：将所述关键字和补充信息发电子邮件到所标识的电子邮件接收方。

17.一种包括至少一个计算机可读存储介质的计算机程序产品，所述至少一个计算机可读存储介质中存储了计算机可读程序代码部分，所述计算机可读程序代码部分包括：

第一可执行部分，用于接收对于包括对象的图像的指示；

第二可执行部分，用于提供与所述图像中的对象相关联的标签列表，所述标签列表包括至少一个标签；

第三可执行部分，用于接收对所述标签列表中的关键字的选择；以及

第四可执行部分，用于基于所选择的关键字来提供补充信息。

18.根据权利要求17所述的计算机程序产品，其中所述第四可执行部分包括：用于提供Web站点、文档、电视节目、无线电节目、音乐记录、参考手册、书籍、报纸文章、杂志文章或指南的指令。

19.根据权利要求17所述的计算机程序产品，其中所述第四可执行部分包括：用于提供与所选择的关键字有关的百科全书文章的指令。

20.根据权利要求17所述的计算机程序产品，其中所述第四可执行部分包括：用于提供包括所述补充信息的多个文档中的每个文档的一部分的预览的指令。

21.根据权利要求17所述的计算机程序产品，其中所述第四可执行部分包括：用于仅提供基于对所述补充信息的搜索的结果的排名的最佳匹配结果的指令，所述搜索是基于所选择的关键字来进行的。

22.根据权利要求17所述的计算机程序产品，其进一步包括第五可执行部分，用于接收对于在包括所述补充信息的项目列表中的特定项目的选择，以及呈递所述特定项目和信息，其表示在预定距离内接近于所述图像中的对象的其它对象。

23.根据权利要求17所述的计算机程序产品，其中所述第四可执行部分包括：用于将所述关键字和补充信息发电子邮件到所标识的电子邮件接收方的指令。

24.一种设备，其包括：

用于接收对于包括对象的图像的指示的装置；

用于提供与所述图像中的对象相关联的标签列表的装置，所述标签列表包括至少一个标签；

用于接收对所述标签列表中的关键字的选择的装置；以及

用于基于所选择的关键字来提供补充信息的装置。

25.根据权利要求24所述的设备，其中用于提供补充信息的装置包括：用于提供与所选择的关键字有关的百科全书文章的装置。

Images