CN101743541A

CN101743541A - 用于将基于代码的和光学字符识别技术集成到移动可视搜索中的方法、设备和计算机程序产品

Info

Publication number: CN101743541A
Application number: CN200880018794A
Authority: CN
Inventors: C·P·斯克罗特; 高江
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2007-04-24
Filing date: 2008-03-10
Publication date: 2010-06-16
Also published as: KR20100007895A; WO2008129373A3; WO2008129373A2; US20120027301A1; US20080267504A1; EP2156334A2

Abstract

提供一种用于在基于代码的搜索、光学字符识别(OCR)搜索与可视搜索之间切换的设备。该设备包括用于从设备的照相机或者其它单元接收媒体内容并且将这一媒体内容传送到切换器的媒体内容输入。此外，该设备包括能够从设备的单元接收元信息并且将元信息传送到切换器的元信息输入。切换器能够利用接收的媒体内容和元信息以在可视搜索算法、OCR算法与基于代码的算法之间选择和/或切换。

Description

用于将基于代码的和光学字符识别技术集成到移动可视搜索中的方法、设备和计算机程序产品

技术领域

本发明的实施例主要地涉及移动可视搜索技术，并且更具体地涉及用于将一个或者多个基于代码的标记系统以及一个或者多个光学字符识别(OCR)系统与一个或者多个可视搜索系统组合的方法、设备、移动终端和计算机程序产品。

背景技术

现代通信时代已经引起有线和无线网络的巨大扩张。计算机网络、电视网络和电话网络在提供信息传送的更多灵活性和即时性之时正在经历由消费者需求推动的前所未有的技术扩张。

目前和将来的联网技术继续有助于信息传送的简易性和用户的便利性。其中对增加信息传送的简易性和用户的便利性有需求的一个领域涉及将各种应用或者软件提供给电子设备如移动终端的用户。可以从本地计算机、网络服务器或者其它网络设备或者从诸如移动电话、移动电视、移动游戏系统、录像机、照相机等移动终端或者甚至从移动终端和网络设备的组合来执行应用或者软件。就这一点而言，已经开发并且继续开发各种应用和软件以便向用户给予在固定或者移动环境中执行任务、通信、自我娱乐、收集和/或分析信息等这些稳健能力。

随着具有照相机的移动电话的广泛使用，照相机应用正在变得受移动电话用户欢迎。基于图像匹配(识别)的移动应用当前正在涌现，并且这一涌现的例子是移动可视搜索。目前存在具有各种范围和应用的移动可视搜索系统。例如，在一类移动可视搜索系统如Point&Find系统(基于Nokia公司最近获取的PIXTO技术开发的)中，照相机电话的用户可以将他的/她的照相机电话指向在用户的周围区域中的对象以经由因特网访问向用户的照相机电话提供的与指向的对象关联的相关信息。

可以用来收集和/或分析信息的应用的另一例子是条形码读取器。尽管使用条形码已经有约半个世纪，但是与条形码的利用有关的发展近来已经随着新技术的引入而取得急剧飞跃。例如，新技术已经实现开发能够对细节越来越多的产品信息进行存储的条形码。已经运用条形码以提供通向有关站点如web页面的链接。例如，已经在(用URL)附着到有形对象的标记中运用条形码(例如考虑如下产品，在该产品上具有条形码，其中该条形码与产品的URL关联)。此外，已经开发如下条形码系统，这些系统超出典型一维(1D)条形码以提供多个类型的潜在复杂的二维(2D)条形码、ShotCode、Semacode、快速响应(QR)码、数据矩阵码等。随着与条形码用途和类型有关的改变，已经开发用于读取条形码的新设备。尽管有基于代码的研究和开发已经由来已久这一事实，但是目前尚未探索将基于代码的搜索集成到移动可视搜索系统中。

可以用来收集和/或分析信息的应用的另一例子是光学字符识别(OCR)系统。OCR系统能够将手写或者打字文本的图像翻译成机器可编辑文本或者将字符的图片翻译成代表它们的标准编码方案(例如ASCII或者Unicode)。同时，光学字符识别(OCR)系统目前没有与现有1D或者2D可视标记系统那样好地模块化。然而，OCR系统具有巨大潜力，因为文本如今普遍有用并且分布广泛。就这一点而言，对打印和部署1D和2D条形码标记的需要有所减少。OCR系统也可以应用于其中1D和2D条形码可能并不普遍或者存在的例如与标记、商品标签、产品等有关的许多不同场合和应用。此外，其中OCR正在变得有用的另一应用包括语言翻译。尽管注意到OCR研究和应用开发已经由来已久，但是目前尚未探索将OCR组合到移动可视搜索系统中。

假设移动终端设备中的照相机的普适性质，需要开发如下移动搜索系统，该系统将OCR组合或者集成到可以在具有照相机的移动电话上使用的移动可视搜索系统中以便增强用户的体验并且实现信息的更高效传送。此外，也需要将来的移动可视搜索应用能够以与诸如1D和2D条形码、QR码、Semacode、Shotcode等专门设计和模块化的基于代码的可视标记系统不同的方式扩展移动搜索能力。尽管期待专门设计和模块化的可视标记系统可以在将来维持某一市场份额，但是也可以预见许多仅利用这样的基于代码的系统的应用在未来将是不足的。假设通常可以将基于代码的可视标记系统模块化，那么存在对将这样的基于代码的标记系统与更普通的移动可视搜索系统组合的需要，这一组合又将允许蜂窝运营商、蜂窝服务提供商等的市场份额显著增加以及向用户提供执行任务、通信、自我娱乐、收集和/或分析信息这些文件能力。

尽管可视搜索系统与现有1D和/或2D标记系统以及OCR系统的集成对于将来的移动搜索业务至关重要，但是出现与以无缝方式组合不同算法和功能的方式有关的困难。也就是说，出现与为了使这些1D和/或2D标记系统、OCR系统和可视搜索系统能够一起恰当操作而应当应用架构和系统设计的方式有关的困难。

鉴于前述内容，需要创新设计以解答和解决前述困难并且指出将OCR以及不同类型的基于代码的标记系统组合和集成到包括标记和取回机制设计的移动可视搜索系统中的方式。

发明内容

本发明示例性实施例的系统、方法、设备和计算机程序产品涉及如下设计，这些设计支持将基于代码的搜索系统和OCR搜索系统与可视搜索系统组合以形成单个统一系统。这些设计包括但不限于基于上下文、基于检测、基于可视化、基于用户输入、基于统计处理和基于标记的设计。

这些设计实现将OCR和基于代码的功能(例如1D/2D条形码)集成到单个统一可视搜索系统中。本发明的示例性实施例允许单个如下平台和用户接口的益处，该平台和用户接口将搜索应用，即OCR搜索、基于代码的搜索和基于对象的可视搜索，集成到单个搜索系统中。本发明的统一可视搜索系统可以例如在将照相机电话指向文本时例如提供翻译或者百科全书功能(以及其它服务)，而在通过典型可视搜索系统将照相机电话指向对象(例如用户将照相机模块如照相机模块36指向天空以访问天气信息、指向饭店外观以获取评论或者指向汽车以获取规格和销售商信息)时使其它信息和服务可用。当指向1D或者2D码、OCR数据等时，本发明示例性实施例的统一搜索系统可以例如提供在代码或者OCR数据中嵌入的针对产品的比较购物信息、购买力或者内容链接。

在一个示例性实施例中，提供一种用于集成可视搜索、基于代码的搜索和OCR搜索的设备和方法。该设备和方法包括接收媒体内容、分析与媒体内容关联的数据并且选择多个算法之中的第一算法。该设备和方法还包括执行第一算法并且执行一个或者多个搜索而且接收与媒体内容对应的一个或者多个候选。

在另一示例性实施例中，提供一种用于集成可视搜索、基于代码的搜索和OCR搜索的设备和方法。该设备和方法包括接收媒体内容和元信息、接收一个或者多个搜索算法、执行一个或者多个搜索算法并且对媒体内容执行一个或者多个搜索而且收集对应结果。该设备和方法还包括接收结果并且基于一个或者多个因子对结果赋予优先级。

在另一示例性实施例中，提供一种用于集成可视搜索、基于代码的搜索和OCR搜索的设备和方法。该设备和方法包括：接收媒体内容和元信息，接收多个搜索算法，执行多个搜索算法之中的第一搜索算法，以及，检测与媒体内容关联的第一类型的一个或者多个标记。该设备和方法还包括确定第二类型和第三类型的一个或者多个标记是否与媒体内容关联，执行多个搜索算法之中的第二搜索算法并且检测与第二类型和第三类型的一个或者多个标记关联的数据而且接收一个或者多个候选。该设备和方法还包括将一个或者多个候选中包括与第二类型和第三类型的一个或者多个标记对应的数据的相应候选插入到一个或者多个候选中与第一类型的一个或者多个标记对应的相应候选，其中第一类型、第二类型和第三类型是不同的。

附图说明

已经这样一般性地描述本发明，现在参照未必按比例绘制的以下附图，并且在附图中：

图1是根据本发明一个示例性实施例的移动终端的示意框图；

图2是根据本发明一个示例性实施例的无线通信系统的示意框图；

图3是根据本发明一个示例性实施例的通过使用位置信息的具有1D/2D图像标记或者光学字符识别(OCR)系统的移动可视搜索系统的示意框图；

图4是根据本发明一个示例性实施例的通过使用上下文信息和规则来与1D/2D图像标记或者OCR系统集成的移动可视搜索系统的示意框图；

图5是用于利用位置信息来集成可视搜索、基于代码的搜索和OCR搜索的搜索模块的一个示例性实施例的示意框图；

图6是利用位置信息将可视搜索、基于代码的搜索和OCR搜索集成的搜索模块的操作方法的流程图；

图7是用于利用规则和元信息将可视搜索与基于代码的搜索和OCR搜索集成的搜索模块的一个替代示例性实施例的示意框图；

图8是利用规则和元信息将可视搜索与基于代码的搜索和OCR搜索集成的搜索模块的操作方法的流程图；

图9是用于利用图像检测将可视搜索、OCR搜索和基于代码的搜索集成的搜索模块的一个替代示例性实施例的示意框图；

图10是利用图像检测将可视搜索、OCR搜索和基于代码的搜索集成的搜索模块的操作方法的流程图；

图11是用于利用可视化引擎将可视搜索、基于代码的搜索和OCR搜索集成的搜索模块的一个替代示例性实施例的示意框图；

图12是利用可视化引擎将可视搜索、基于代码的搜索和OCR搜索集成的搜索模块的操作方法的流程图；

图13是用于利用用户的输入来集成可视搜索、基于代码的搜索和OCR搜索的搜索模块的一个替代示例性实施例的示意框图；

图14是用于利用用户的输入来集成可视搜索、基于代码的搜索和OCR搜索的搜索模块的操作方法的流程图；

图15是利用统计处理来集成可视搜索、基于代码的搜索和OCR搜索的搜索模块的一个替代示例性实施例的示意框图；

图16是利用统计处理来集成可视搜索、基于代码的搜索和OCR搜索的搜索模块的操作方法的流程图；

图17是用于将基于代码的标记和/或OCR标记嵌入到可视搜索结果中的搜索模块的一个替代示例性实施例的示意框图；以及

图18是用于将基于代码的标记和/或OCR标记嵌入到可视搜索结果中的搜索模块的操作方法的流程图。

具体实施方式

现在下文将参照其中示出本发明的一些、但是并非所有实施例的附图更完全地描述本发明的实施例。实际上，本发明可以用许多不同形式来体现而不应理解为限于这里阐述的实施例；实际上，提供这些实施例使得本公开内容将满足适用法律要求。同样标号通篇指代同样的单元。

图1图示了将从本发明中受益的移动终端10的框图。然而应当理解如图所示和下文描述的移动电话仅举例说明将从本发明中受益的一类移动终端、因此不应理解为限制本发明的范围。尽管出于举例目的而图示了并且下文将描述移动终端10的若干实施例，但是其它类型的移动终端如便携数字助理(PDA)、寻呼机、移动电视、膝上型计算机以及其它类型的语音和文本通信系统可以容易地运用本发明。另外，非移动的设备也可以容易地运用本发明的实施例。

此外，尽管本发明方法的若干实施例由移动终端10执行或者使用，但是该方法可以由非移动终端运用。另外，将主要结合移动通信应用来描述本发明的系统和方法。然而应当理解可以在移动通信业中和在移动通信业以外结合各种其它应用来利用本发明的系统和方法。

移动终端10包括与发射器14和接收器16可操作通信的天线12。移动终端10还包括分别向发射器14提供信号以及从接收器16接收信号的控制器20或者其它处理单元。信号包括根据适用蜂窝系统空中接口标准的信令信息并且也包括用户话音和/或由用户生成的数据。就这一点而言，移动终端10能够按照一个或者多个空中接口标准、通信协议、调制类型和接入类型来操作。举例而言，移动终端10能够根据多个第一代、第二代和/或第三代通信协议等中的任何协议来操作。例如，移动终端10能够根据第二代(2G)无线通信协议IS-136(TDMA)、GSM和IS-95(CDMA)或者第三代无线通信协议宽带码分多址(WCDMA)来操作。

理解到控制器20包括为了实施移动终端10的音频和逻辑功能而需要的电路。例如，控制器20可以包括数字信号处理器设备、微处理器设备以及各种模数转换器、数模转换器和其它支持电路。移动终端10的控制和信号处理功能根据它们的相对能力在这些设备之间来分配。控制器20因此也可以包括用于在调制和发送之前对消息和数据进行卷积编码和交织的功能。控制器20还可以包括内部音码器并且可以包括内部数据调制解调器。另外，控制器20可以包括用于操作可以存储于存储器中的一个或者多个软件程序的功能。例如，控制器20能够操作连接程序，常规Web浏览器。连接程序然后可以允许移动终端10例如根据无线应用协议(WAP)来发送和接收web内容，比如基于位置的内容。

移动终端10也包括用户接口，该用户接口包括全部耦合到控制器20的输出设备如常规耳机或者扬声器24、振铃器22、麦克风26、显示器28和用户输入接口。允许移动终端10接收数据的用户输入接口可以包括允许移动终端10接收数据的多个设备中的任何设备，比如小键盘30、触摸显示器(未示出)或者其它输入设备。在包括小键盘30的实施例中，小键盘30可以包括用于操作移动终端10的常规数字键(0-9)和有关键(#、*)以及其它键。取而代之，小键盘30可以包括常规QWERTY小键盘。移动终端10还包括用于向为了操作移动终端10而需要的各种电路供电以及可选地提供机械振动作为可检测的输出的电池34，比如振动电池组。

在一个示例实施例中，移动终端10包括与控制器20通信的照相机模块36。照相机模块36可以是用于捕获图像或者视频剪辑或者视频流以供存储、显示或者发送的任何装置。例如，照相机模块36可以包括能够根据视野中的对象、捕获的图像或者来自记录的视频数据的视频流来形成数字图像文件的数字照相机。照相机模块36能够捕获图像、读取或者检测1D和2D条形码、QR码、Semacode、Shotcode、数据矩阵码以及其它基于代码的数据、OCR数据等。这样，照相机模块36包括为了根据捕获的图像或者来自记录的视频数据的视频流来创建数字图像文件以及读取基于代码的数据、OCR数据等而必需的所有硬件如透镜、传感器、扫描仪或者其它光学设备以及软件。取而代之，照相机模块36可以仅包括为了查看图像或者视频流而需要的硬件，而移动终端10的存储器设备以为了根据捕获的图像或者来自记录的视频数据的视频流来创建数字图像文件而必需的软件形式存储用于由控制器20执行的指令。在一个示例实施例中，照相机模块36还可以包括辅助控制器20处理图像数据、视频流或者基于代码的数据以及OCR数据的处理单元如协同处理器以及用于压缩和/或解压图像数据、视频流、基于代码的数据、OCR数据等的编码器和/或解码器。编码器和/或解码器可以根据JPEG标准格式大牛股来编码和/或解码。除此之外或者和取而代之，照相机模块36可以包括一个或者多个视角，如例如第一人照相机视角和第三人地图视角。

移动终端10还可以包括与控制器20通信的GPS模块70。GPS模块70可以是用于对移动终端10的方位进行定位的任何装置。此外，GPS模块70可以是用于在照相机模块36捕获或者读取的图像中对兴趣点(POI)(如例如商店、书店、饭店、咖啡店、百货店、产品、企业等，它们可以具有附着到、即标记到这些POI的1D、2D条形码、QR代码、Semacode、Shotcode、数据矩阵码(或者其它适当的基于代码的数据)ORC数据等)的方位进行定位的任何装置。这样，如这里使用的兴趣点可以包括用户感兴趣的任何实体，比如产品和其它对象等。GPS模块70可以包括用于在图像中对移动终端或者POI的方位进行定位的所有硬件。除此之外或者取而代之，GPS模块70可以利用移动终端10的存储器设备以为了确定移动终端的方位或者POI的图像而必需的软件形式存储用于由控制器20执行的指令。此外，GPS模块70能够利用控制器20以经由发射器14/接收器16发送/接收位置信息(比如移动终端10的方位、一个或者多个POI的方位和一个或者多个基于代码的标记的方位)以及OCR数据标记到下文更完全描述的服务器，比如可视搜索服务器54和可视搜索数据库51。

移动终端也包括搜索模块，比如搜索模块68、78、88、98、108、118和128。搜索模块可以包括能够在移动终端10的照相机模块指向兴趣点(即用户感兴趣的物理实体)、基于代码的数据、OCR数据等时或者在POI、基于代码的数据和OCR数据等在照相机模块36的视线中时或者在POI、基于代码的数据、OCR数据等在图像中由照相机模块捕获时接收与POI、基于代码的数据、OCR数据等关联的数据的、由控制器20执行的硬件和/或软件中的任何装置。搜索模块能够与搜索服务器54交互，并且它负责控制照相机模块36的功能，比如照相机模块图像输入、跟踪或者感测图像运动、搜索与服务器通信以便获得与POI、基于代码的数据和OCR数据等关联的相关信息以及用于经由显示器28将适当结果显示给用户移动终端10的必需用户接口和机构。在一个示例替代实施例中，搜索模块。68、78、88、98、108、118和128可以在照相机模块36内部。

搜索模块68也使移动终端10的用户能够从与相应POI、基于代码的数据和/或OCR数据等相关的若干动作的列表中(例如菜单或者子菜单中)的一个或者多个动作中进行选择。例如，动作之一可以包括但不限于搜寻地理区域内的其它相似POI(即候选)。例如，如果用户将照相机模块指向由HONDA^TM制造的汽车(在本例中为POI)，则移动终端可以显示与诸如例如FORD^TM、CHEVROLET^TM等其它汽车制造商有关的候选列表或者菜单。作为另一例子，如果移动终端的用户将照相机模块指向例如与产品有关的1D或者2D条形码，则移动终端可以显示其它相似产品或者包含与这些相似产品有关的信息的URL的列表。与这些相似POI有关的信息可以在存储器中存储于用户简档中。

移动终端10还可以包括用户标识模块(UIM)38。UIM 38通常是具有内置于其中的处理器的存储器设备。UIM 38可以例如包括用户标识模块(SIM)、通用集成电路卡(UICC)、通用用户标识模块(UIM)、可移动用户标识模块(R-UIM)等。UIM 38通常存储与移动用户有关的信元。除了UIM 38之外，移动终端10还可以包括易失性存储器40，比如易失性随机存取存储器(RAM)，该RAM包括用于临时存储数据的高速缓存区。移动终端10也可以包括可以是嵌入和/或可以是可移动的其它非易失性存储器42。除此之外或者取而代之，非易失性存储器42还可以包括比如可从加利福尼亚州森尼维尔市的SanDisk公司或者加利福尼亚州费利蒙市的Lexar Media公司获得的EEPROM、闪存等。存储器可以存储由移动终端10用来实施移动终端10的功能的多条信息中的任何信息和数据。例如，存储器可以包括能够唯一标识移动终端10的标识符，比如国际移动设备标识(IMEI)码。

现在参照图2，提供对将从本发明中受益的一类系统的图示。该系统包括多个网络设备。如图所示，一个或者多个移动终端10可以各自包括用于向基站点或者基站(BS)44发送信号以及用于从基站点或者基站(BS)44接收信号的天线12。基站44可以是一个或者多个蜂窝或者移动网络的部分，其中各网络包括为了操作该网络而需要的单元，比如移动交换中心(MSC)46。如本领域技术人员众所周知，移动网络也可以称为基站/MSC/互作用功能(BMI)。在操作中，MSC 46能够在移动终端10进行和接收呼叫时对去往和来自移动终端10的呼叫寻路由。MSC 46也可以在移动终端10参与呼叫时提供通向陆线干线的连接。此外，MSC 46能够控制对去往和来自移动终端10的消息的转发并且也可以控制对用于移动终端10的去往和来自消息中心的消息的转发。应当足以虽然在图2的系统中示出了MSC 46，但是MSC 46仅为示例网络设备，并且本发明不限于在运用MSC的网络中使用。

MSC 46可以耦合到数据网络，比如局域网(LAN)、城域网(MAN)和/或广域网(WAN)。MSC 46可以直接耦合到数据网络。然而在一个典型实施例中，MSC 46耦合到GTW 48，并且GTW48耦合到WAN，比如因特网50。比如处理单元(例如个人计算机、服务器计算机等)这样的设备又可以经由因特网50耦合到移动终端10。例如，如下文说明的那样，处理单元可以包括与计算系统52(图2中所示计算系统52)、可视搜索服务器54(图2中所示可视搜索服务器54)、可视搜索数据库51等关联的一个或者多个处理单元，如下文说明的那样。

BS 44也可以耦合到信令GPRS(通用分组无线电服务)支持节点(SGSN)56。如本领域技术人员所知，SGSN 56通常能够执行与用于分组交换服务的MSC 46相似的功能。SGSN 56如同MSC 46那样可以耦合到数据网络，比如因特网50。SGSN 56可以直接耦合到数据网络。然而在一个更典型实施例中，SGSN 56耦合到分组交换核心网络，比如GPRS核心网络58。分组交换核心网络然后耦合到另一GTW 48，比如GTW GPRS支持节点(GGSN)60，并且GGSN60耦合到因特网50。除了GGSN 60之外，分组交换核心网络也可以耦合到GTW 48，GGSN 60也可以耦合到消息接发中心。就这一点而言，GGSN 60和SGSN 56如同MSC 46那样能够控制对消息如MMS消息的转发。GGSN 60和SGSN 56也能够控制对用于移动终端10的去往和来自消息接发中心的消息的转发。

此外，通过将SGSN 56耦合到GPRS核心网络58和GGSN 60，设备如计算系统52和/或可视地图服务器54可以经由因特网50、SGSN 56和GGSN 60耦合到移动终端10。就这一点而言，设备如计算系统52和/或可视地图服务器54可以跨越SGSN 56、GPRS核心网络58和GGSN 60来与移动终端10通信。通过将移动终端10和其它设备(例如计算系统52、可视地图服务器54等)直接或者间接连接到因特网50，移动终端10可以比如根据超文本传送协议(HTTP)与其它设备通信和相互通信以由此实现移动终端10的各种功能。

虽然这里没有示出和描述每个可能移动网络的每个单元，但是应当理解移动终端10可以通过BS 44耦合到多个不同网络中的任何一个或者多个网络。就这一点而言，一个或者多个网络能够支持根据多个第一代(1G)、第二代(2G)、2.5G、第三代(3G)和/或将来移动通信协议等中的任何一个或者多个移动通信协议的通信。例如，一个或者多个网络能够支持根据2G无线通信协议IS-136(TDMA)、GSM和IS-95(CDMA)的通信。又例如，一个或者多个网络能够支持根据2.5G无线通信协议GPRS、增强型数据GSM环境(EDGE)等的通信。又例如，一个或者多个网络能够支持根据3G无线通信协议(比如运用宽带码分多址(WCDMA)无线电接入技术的通用移动电话系统(UMTS)网络)的通信。如双模或者更高模式的移动站(例如数字/模拟或者TDMA/CDMA/模拟电话)应当的那样，一些窄带AMPS(NAMPS)以及TACS网络也可以从本发明的实施例中受益。

移动终端10还可以耦合到一个或者多个无线接入点(AP)62。AP 62可以包括配置成根据如下技术来与移动终端10通信的接入点，这些技术如例如是射频(RF)、蓝牙(BT)、Wibree、红外(IrDA)或者多个不同无线联网技术中的任何技术，这些联网技术包括无线LAN(WLAN)技术如IEEE 802.11(例如802.11a、802.11b、802.11g、802.11n等)、WiMAX技术如IEEE 802.16和/或超宽带(UWB)技术如IEEE 802.15等。AP 62可以耦合到因特网50。如同MSC 46那样，AP 62可以直接耦合到因特网50。然而在一个实施例中，AP 62经由GTW 48间接耦合到因特网50。另外在一个实施例中，BS 44可以视为另一AP 62。如将理解的那样，通过将移动终端10和计算系统52、可视搜索服务器54和/或多个其它设备中的任何设备直接或者间接连接到因特网50，移动终端10可以相互通信、与计算机系统52和/或可视搜索服务器54以及可视搜索数据库51等通信以由此实现移动终端10的各种功能，比如向计算系统52发送数据、内容等和/或从计算系统52接收内容、数据等。例如，可视搜索服务器处理来自搜索模块68的请求并且与可视搜索数据库51交互以便存储和取回可视搜索信息。可视搜索服务器54可以借助地图服务器95提供与一个或者多个移动终端10、一个或者多个POI或者基于代码的数据、OCR数据等的地理区域、位置或者方位有关的地图数据等。此外，可视搜索服务器54可以将涉及目标对象如POI的各种形式的数据提供给移动终端的搜索模块68。此外，可视搜索服务器54可以将涉及基于代码的数据、OCR数据等的信息提供给搜索模块68。例如，如果可视搜索服务器从移动终端的搜索模块68接收照相机模块检测到、读取到、扫描到或者捕获到1D、2D条形码、Semacode、Shotcode、QR码、数据矩阵码(这里统称为基于代码的数据)和/或OCR数据(例如文本数据)这一指示，则可视搜索服务器54可以比较接收的基于代码的数据和/或OCR数据与兴趣点(POI)数据库74中存储的关联数据并且例如将针对一个或者多个给定产品的比较购物信息、购买力和/或内容链接如URL或者web页面提供给搜索模块以经由显示器28来显示。也就是说，照相机模块在其中检测、读取、扫描或者捕获图像的基于代码的数据和OCR数据包含涉及比较购物信息、购买力和/或内容链接等的信息。当移动终端接收内容链接(例如URL)时，它可以利用它的web浏览器以经由显示器28显示对应web页面。此外，可视搜索服务器54可以经由地图服务器96比较接收的OCR数据(如例如在照相机模块36检测到的街道符号上的文本)与关联数据(比如在移动终端的地理区域中和/或在街道符号的地理区域中的地图数据和/或方向)应当指出上述仅为可以与基于代码的数据和/或OCR数据关联的数据例子并且就这一点而言任何适当数据可以与这里描述的基于代码的数据和/或OCR数据关联。

此外，可视搜索服务器54可以与照相机模块36捕获或者和获得的图像或者视频剪辑(或者任何适当媒体内容，包括但不限于文本数据、音频数据、图形动画、基于代码的数据、OCR数据、图片、照片等)进行比较并且确定这些图像或者视频剪辑或者与这些图像或者视频剪辑有关的信息存储于可视搜索服务器54中。另外，可视搜索服务器54可以借助POI数据库服务器54存储涉及一个或者多个目标对象(比如可以与照相机模块36捕获或者检测的一个或者多个图像或者视频剪辑(或者其它媒体内容)关联的POI)的各类信息。涉及一个或者多个POI的信息可以链接到一个或者多个标记，如例如在照相机模块36捕获、检测、扫描或者读取的物理对象上的标记。涉及一个或者多个POI的信息可以发送到移动终端10以供显示。另外，可视搜索数据库51可以存储用于快速和高效取回的相关可视搜索信息，包括但不限于媒体内容，该媒体内容包括但不限于文本数据、音频数据、图形动画、图片、照片、视频剪辑、图像及其关联元信息，如例如web链接、地理位置数据(这里称为地理位置数据，包括但不限于各种媒体的诸如web站点等地理标识元数据，并且这一数据也可以由维度和精度坐标、海拔数据和地名构成)、上下文信息等。另外，可视搜索数据库51可以存储与一个或者多个POI的地理位置有关的数据并且可以存储包括但不限于POI的位置、相对于POI的产品信息等与各种兴趣点有关的数据。可视搜索数据库51也可以存储基于代码的数据、OCR数据等以及与基于代码的数据关联的数据，OCR数据包括但不限于产品信息、价格、地图数据、web链接等。可视搜索服务器54可以发送和接收来自可视搜索数据库51的信息并且经由因特网50来与移动终端10通信。类似地，可视搜索数据库51可以与可视搜索服务器54通信并且除此之外或者取而代之还可以经由WLAN、蓝牙、Wibree等的发送直接地或者经由因特网50来与移动终端10通信。可视搜索输入控制/接口98适于作为用于诸如企业所有者、产品制造商、公司等用户的接口以将它们的数据插入到可视搜索数据库51中。用于控制数据插入到可视搜索数据库中的方式的机制可以是灵活的，例如可以基于位置、图像、时间等插入新的插入数据。用户可以经由可视搜索输入控制/接口98将涉及一个或者多个对象、POI、产品等的1D条形码、2D条形码、QR码、Semacode、Shotcode(即基于代码的数据)或者OCR数据(以及附加信息)插入到可视搜索数据库51中。在一个示例非限制实施例中，可视搜索输入控制/接口98可以位于可视搜索数据库外部。如这里使用的那样，术语“图像”、“视频剪辑”、“数据”、“内容”、“信息”和相似术语可以互换地用来指代能够根据本发明的实施例来发送、接收和/或存储的数据。因此，对这样的术语的使用不应理解为限制本发明的精神和范围。

虽然在图2中未示出，但是除了跨越因特网50将移动终端10耦合到计算系统52之外或者取而代之，移动终端10和计算系统52还可以相互耦合并且例如根据RF、BT、IrDA或者包括LAN、WLAN、WiMAX和/或UWB技术的多个不同有线或者无线通信技术中的任何通信技术来通信。除此之外或者取而代之，一个或者多个计算系统52还可以包括能够存储随后可以传送到移动终端10的内容的可移动存储器。另外，移动终端10可以耦合到一个或者多个电子设备，比如打印机、数字投影仪和/或其它多媒体捕获、产生和/或存储设备(例如其它终端)。如同计算系统52那样，移动终端10可以被配置成根据如下技术来与便携电子设备通信，这些技术如例如是RF、BT、IrDA或者多个不同有线或者无线通信技术中的任何通信技术，这些通信技术包括USB、LAN、WLAN、WiMAX和/或UWB技术。

参照图3，示出了服务器94的框图。如图3中所示，服务器94(这里也称为可视搜索服务器54、POI数据库74、可视搜索输入控制/接口98、可视搜索数据库51和可视搜索服务器54)能够允许产品制造商、产品广告商、企业所有者、服务提供商、网络运营商等输入涉及目标对象如POI的相关信息(经由接口95)以及与基于代码的数据关联的信息(如例如web链接或者产品信息)和/或与OCR数据关联的信息(如例如商品标签、web页面、web连接、黄页信息、图像、视频、联系人信息、地址信息、方位信息如建筑物的停留处、位置信息、地图数据和用于存储于存储器93中的任何其它适当数据)。服务器94一般包括连接到存储器93的处理器96、控制器等以及接口95和用户输入接口91。处理器也可以连接到至少一个接口95或者用于发送和/或接收数据、内容等的其它装置。存储器可以包括易失性和/或非易失性存储器并且如上所述能够存储涉及一个或者多个POI、基于代码的数据以及OCR数据的内容。存储器93也可以存储用于处理器进行根据本发明的实施例与服务器的操作关联的步骤的软件应用、指令等。就这一点而言，存储器可以包含用于存储、上传/下载POI数据、基于代码的数据、OCR数据以及与POI数据、基于代码的数据、OCR数据等关联的数据以及用于发送/接收去往/来自移动终端10和去往/来自可视搜索数据库以及可视搜索服务器的POI、基于代码的数据、OCR数据及其相应关联数据的软件指令(由处理器执行)。用户输入接口91可以包括允许用户输入数据、选择各种形式的数据并且导航菜单或者子菜单等的任何数目的设备。就这一点而言，用户输入接口包括但不限于一个或者多个操纵杆、小键盘、一个或者多个按钮、一个或者多个软键或者一个或者多个其它输入设备。

现在参照图4，提供一种用于集成基于代码的数据、OCR数据和可视搜索数据的系统。该系统包括与移动终端10以及可视搜索数据库51进行通信的可视搜索服务器54。可视搜索服务器54可以是能够存储地图服务器96中的地图数据、位置或者方位信息、POI数据库74中的POI数据以及图像或者视频剪辑或者任何其它数据(如例如其它类型的媒体类型)的任何设备或者装置如硬件或者软件。此外如上所述，可视搜索服务器54和POI数据库74也可以存储基于代码的数据、OCR数据等并且也能够存储与基于代码的数据和OCR数据关联的数据。另外，可视搜索服务器54可以包括用于实现或者执行包括执行软件指令在内的功能的处理器96(例如参见图3)。媒体内容包括但不限于可以与代表移动终端10的用户的存储于可视搜索服务器的存储器93中的用户简档对应的图像、视频剪辑、音频数据、文本数据、图形动画、照片、图片、基于代码的数据、OCR数据等。照相机模块36捕获、检测、读取、扫描其图像(提供给可视搜索服务器)的对象可以通过地图服务器96链接到与一个或者多个对象的位置有关的方位或者地理信息。类似地，可视搜索数据库51可以是能够存储与兴趣点、基于代码的数据、OCR数据等有关的信息的任何设备或者装置如硬件或者软件。可视搜索数据库51可以包括用于实现或者执行功能或者软件指令的处理器96(见图3)。媒体内容可以对应于代表移动终端10的用户的存储于存储器93中的用户简档。媒体内容可以经由可视搜索输入控制/接口98加载到可视搜索数据库51中并且代表用户如企业所有者、产品制造商、广告商和公司或者代表任何其它适当实体存储于可视搜索数据库中。此外，各种形式的信息可以与POI信息关联，比如涉及POI的方位、位置或者地理数据以及例如产品信息(包括但不限于产品标识、价格、数量、web链接、购买力、比较购物信息等)。如上所述，可视搜索广告商输入控制/接口98可以包含于可视搜索数据库51中或者可以位于可视搜索数据库51外部。

现在将参照图5-18描述本发明的示例性实施例，例如，其中提供用于将移动可视搜索数据与基于代码的数据如例如1D或者2D图像标记/条形码和/或OCR数据集成的搜索模块的某些单元。图5、图7、图9、图11、图13、图15和图17的搜索模块的一些单元可以例如运用于图1的移动终端10和/或图4的可视搜索服务器54上。然而应当注意图5、图7、图9、图11、图13、图15和图17的搜索模块也可以应用于移动和固定的各种其它设备上，因此本发明不应限于在设备(如图1的移动终端10或者图4的可视搜索服务器)上的应用，尽管下文将在移动终端中的应用背景中更具体地描述本发明的一个示例性实施例。下文通过例子而无限制性地给出这样的描述。例如，图5、图7、图9、图11、图13、图15和图17的搜索模块可以运用于照相机、录像机等上。另外，图5、图7、图9、图11、图13、图15和图17的搜索模块可以运用于移动终端10的设备、部件、单元或者模块上。也应当注意尽管图图5、图7、图9、图11、图13、图15和图17图示了搜索模块的配置例子，但是许多其它配置也可以用来实施本发明。

现在参照图5和图6，图示了通过利用位置信息将可视搜索技术与基于代码的搜索技术和OCR搜索技术集成的搜索模块的一个示例性实施例和操作流程图。搜索模块68可以是能够基于位置在可视搜索、基于代码的搜索与OCR搜索之间切换的包括硬件和/或软件的任何设备或者装置。例如，控制器20可以执行用于实现搜索模块68的功能的软件指令，或者搜索模块68可以具有执行用于基于位置在可视搜索、基于代码的搜索与OCR搜索之间切换的软件指令的内部协同处理器。媒体内容输入67可以是能够从移动终端的照相机模块36或者任何其它单元接收媒体内容的硬件和/或软件(由处理器如控制器20执行)的任何设备或者装置。

当移动终端10的照相机模块36指向媒体内容(包括但不限于一个或者多个图像、一个或者多个视频剪辑/视频数据、图形动画等)、比如检测、读取或者扫描的对象或者照相机模块36捕获对象的图像、即媒体内容(步骤600)时，搜索模块68可以经由元信息输入69确定对象的位置和/或利用由GPS模块70提供的移动终端10的位置(步骤601)(或者通过使用如下技术，这些技术比如是小区标识、三角测量或者用于标识对象位置的任何其它适当机制)以确定是否在可视搜索算法61、OCR算法62或者基于代码的算法63之间选择和/或切换并且随后执行该算法(步骤602和步骤603)。可以通过能够分别进行可视搜索、基于代码的搜索和OCR搜索的硬件和/或软件的任何装置实施和体现可视搜索算法61、OCR算法62或者基于代码的算法。算法切换器65可以是硬件和/或软件的任何装置并且可以用一个或者多个规则来限定，该规则用于确定给定的位置是否分配给可视搜索算法61、OCR算法62或者基于代码的算法63。例如，如果算法切换器65确定经由元信息输入69接收的媒体内容位置或者代之以移动终端10的位置在某个地区内、例如在加利福尼亚州奥克兰市室外，则算法切换器可以基于这一位置(即加利福尼亚州奥克兰市室外)确定可视搜索能力分配给这一位置并且启用搜索模块的可视搜索算法61。就这一点而言，搜索模块68能够搜索与照相机模块指向或者捕获的图像关联的信息。例如，如果照相机模块36捕获图像或者指向产品，比如由SONY^TM制造的立体声，则这一个图像可以经由媒体内容输入67提供给可视搜索服务器51，该服务器可以标识与立体声的图像关联的信息(即可以在列表中提供的候选)，如例如通向SONY^TM的web站点的链接，该web站点显示发送到移动终端的搜索模块用于在显示器28上显示的立体声、价格、产品规格特征等(步骤604)。应当指出与存储于可视搜索服务器51中的与照相机模块36指向和/或捕获的媒体内容(例如图像数据、视频数据)或者POI关联的任何数据可以在调用可视搜索算法61时提供给移动终端的搜索模块68并且显示于显示器28上。可视搜索服务器68也可以经由POI数据库74取回向搜索模块68提供的信息。

如果算法切换器65确定媒体内容67和/或移动终端的位置对应于另一地理区域，例如加利福尼亚州洛杉矶市，则算法切换器可以确定移动终端将例如在位于加利福尼亚州洛杉矶市的商店(例如书店、杂货店、百货店等)中例如获取由基于代码的算法63提供的基于代码的搜索。就这一点而言，搜索模块68能够在照相机模块36指向一个或者多个1D和/或2D标记如一个或者多个条形码、Semacode、Shotcode、QR码、数据矩阵码和任何其它适当的基于代码的数据中的任何数据时检测、读取或者扫描该数据。当照相机模块36指向基于代码的数据如1D和/或2D条形码并且搜索模块68检测、读取或者扫描1D和/或2D条形码时，与条形码关联、在条形码中标记或者嵌入的数据(比如针对产品的URL、价格、比较购物信息等)可以提供给可视搜索服务器54，该服务器可以对这一信息进行解码以及从存储器93和/或POI数据库74取回这一信息并且将这一信息发送到移动终端的搜索模块68用于在显示器28上显示。应当指出在基于代码的数据的标记或者条形码中关联的任何信息可以提供给可视搜索服务器、由可视搜索服务器取回并且提供给搜索模块68用于在显示器28上显示。

作为另一例子，算法切换器65也可以确定媒体内容67和/或移动终端的位置在地理区域或者地区的特定区域内，例如在给定地理地区的半径内的方形、球形、矩形或者其它基于邻近的形状内。例如，算法切换器65可以确定：当移动终端和/或媒体内容的位置在洛杉矶市区(与郊外和市郊成对比)内时，移动终端可以例如获得由OCR算法62提供的OCR搜索能力；而当确定媒体内容和/或移动终端的位置位于洛杉矶市区的郊外或者其市郊区域中时，移动终端可以例如获取由基于代码的算法63提供的基于代码的搜索。例如，当移动终端例如在位于洛杉矶市区的郊外中的具有基于代码的数据的商店或者其它物理实体(例如书店、杂货店或者百货店等)内时，移动终端10可以获得由OCR算法62提供的基于代码的搜索能力。另一方面，当移动终端或者媒体内容例如在洛杉矶(与郊外和市郊成对比)内时并且当照相机模块指向对象如例如街道符号上的文本数据时，搜索模块使用OCR来检测、读取或者扫描街道符号上(或者任何目标对象)上的文本数据，并且这一OCR信息提供给可视搜索服务器54，该服务器可以取回(经由地图服务器96)关联数据，如例如街道符号附近的地图数据和/或方向。

此外，算法切换器65可以确定：当移动终端和/或媒体内容的位置在除了用户的祖国以外的国度(例如法国)时，移动终端可以例如获得由OCR算法提供的OCR搜索能力。就这一点而言，对对象上的文本数据(例如法国街道符号具有法语书写的文本)的OCR搜索可以翻译成一个或者多个语言，如例如英语(或者用户的祖国中主流使用的语言(例如当用户的祖国为英国时为英语))。这一OCR信息(例如法语书写的文本数据)提供给可视搜索服务器54，该服务器可以取回关联数据，如例如法语文本数据到英语的翻译。就这一点而言，OCR算法62可以有利于国外旅行的旅游者。应当指出上述情形代表一个例子并且当调用OCR算法62时与扫描模块检测、读取或者扫描的OCR数据对应的任何适当数据可以提供给可视搜索服务器54、由可视搜索服务器54取回和发送到搜索模块用于在显示器28上显示。

此外，算法切换器65也可以分配默认识别算法/引擎，该算法/引擎将用于被标识为在限定地区以外的位置、即在算法交换器的规则中没有指定的地区。可以在搜索模块的存储器(未示出)内限定地区。例如，当算法切换器经由元信息输入69接收媒体内容67和/或移动终端的位置在加利福尼亚州以外(即在限定地区以外的位置)这一指示时，算法切换器65可以确定移动终端10例如经由可视搜索算法61获得可视搜索能力。换而言之，当算法切换器确定移动终端10或者媒体内容67的位置在限定地区以外时，算法切换器可以选择识别引擎如可视搜索算法61或者OCR算法62或者基于代码的算法63作为将由移动终端调用的默认搜索应用。

现在参照图7和图8，提供了用于利用规则和元信息将可视搜索(例如移动可视搜索)与基于代码的搜索和OCR搜索集成的搜索模块的一个示例性实施例和操作流程图。在搜索模块78中，算法切换器75可以经由媒体内容输入从照相机模块或者移动终端10的任何其它适当设备接收或者具有媒体内容(步骤800)。此外，在搜索模块78中，算法切换器65可以由规则集限定，这些规则确定将调用或者启用哪个识别引擎、即可视搜索算法61、OCR算法62和基于代码的算法63。就这一点而言，规则集可以由取得元信息作为输入的算法切换器75应用。规则集中的这些规则可以经由元信息输入49由运营商如网络运营商输入到算法切换器75中或者可以由使用移动终端的小键盘30的用户输入(步骤801)。另外，规则可以但是未必采用逻辑函数或者软件指令的形式。如上所述，在算法切换器75中限定的规则可以按照由运营商或者移动终端的用户输入的元信息来限定，并且元信息的例子包括但不限于地理位置、当日时间、季节、天气和移动终端用户的特性、产品段或者与现实世界属性或者特征关联的任何其它适当数据。

基于规则集中的元信息，算法切换器/规则引擎75可以计算如下输出，该输出确定可视搜索算法61、OCR算法62和基于代码的算法63之中的哪个算法应当由搜索模块使用(步骤802)。基于算法切换器75的输出，执行对应算法(步骤803)，并且创建与照相机模块36指向或者捕获的媒体内容有关的候选列表。例如，如果规则集中的元信息例如由天气信息构成，则算法切换器65可以确定应当应用移动可视搜索算法61。这样，当移动终端的用户将照相机例如指向天空时，与天空的信息(例如天空的图像)关联的信息提供给服务器如可视搜索服务器，54，该服务器确定是否有数据匹配于与天空关联的信息，而如果是这样，则可视搜索服务器54向搜索模块68提供将在显示器26上显示的候选列表(步骤805；见下文对可选步骤804的讨论)。这些候选可以包括针对用户周围区域的天气有关信息，如例如通向THE WEATHER CHANNEL^TM web站点的URL或者通向ACCWEATHER^TM web站点的URL。规则集中的元信息可以链接到可视搜索算法61、OCR算法62和基于代码的算法中的至少一个算法。作为另一例子，如果元信息由规则集中的地理位置数据构成，则运营商或者移动终端的用户可以将这一地理位置数据链接到基于代码的搜索算法。这样，当移动终端和/或媒体内容67的位置例如由GPS模块70确定并且提供给算法切换器75(见图1)时，算法切换器75可以确定应用可视搜索算法61、OCR算法62或者基于代码的算法63之一。在本例中假设算法切换器75应用基于代码的算法63。这样，如果位置信息例如标识超市，则规则可以指定当地理位置数据涉及超市时算法切换器可以启用基于代码的算法65，该算法允许移动终端10的照相机模块36检测、读取或者扫描1D和2D条形码等并且从可视搜索服务器54取回关联数据，比如价格信息、URL、比较购物信息和其它适当信息。

如果规则集中的元信息例如由产品段构成，则这一元信息可以链接到OCR算法62(或者可视搜索算法或者基于代码的算法)。就这一点而言，当用户将照相机模块指向产品如汽车(或者与用户有关的任何其它产品(例如POI))时，算法切换器65可以确定应当调用OCR算法62。这样，搜索模块68可以检测、读取或者扫描所指向的汽车的型号和/或机型并且由可视搜索服务器54提供候选列表。例如，候选可以由汽车销商、由HONDA^TM、FORD^TM等制造的型号或者机型构成。

应当指出在执行基于代码的算法63(如例如1D和2D图像标记算法)或者OCR算法62的情形中，可以生成与照相机模块36指向的和/或照相机模块检测、读取或者扫描的媒体内容67对应的一个或者多个候选。例如，当调用基于代码的算法并且照相机模块36指向条形码或者捕获条形码的图像时，与条形码关联的对应数据可以发送到可视搜索服务器，该服务器可以向搜索模块提供单个候选，如例如与条形码附着于其中的产品有关的URL，或者可视搜索辐射器可以提供诸如价格信息等单个候选。然而，根据本发明的示例实施例，当执行OCR算法或者基于代码的算法时，可以在照相机模块指向或者检测、扫描或者读取OCR数据或者基于代码的数据的图像时生成多个候选。例如，1D/2D条形码可以标记有价格信息、序列号、URL、与涉及目标产品(即用照相机模块指向的产品)与运送产品的附近商店关联的信息等，并且当这一信息由搜索模块发送到可视搜索服务器时，可视搜索服务器或者移动终端的算法切换器可以确定用于经由显示器28显示的相关或者关联数据。

基于在算法切换器65中限定的规则集，算法切换器65也可以基于移动终端或者媒体内容67(例如照相机模块36指向的目标对象或者捕获的对象图像)来确定应用哪个算法。也就是说，可以限定算法切换器65中的规则集使得在一个位置选择给定的搜索算法(例如可视搜索算法、OCR算法或者基于代码的算法之一)而在另一位置选择不同的搜索算法。例如，可以限定算法切换器65的规则使得在书店(即给定的位置)中将选择基于代码的算法使得照相机模块能够指向1D/2D条形码等(例如书籍上)而在例如书店以外的另一位置(即不同位置)在算法切换器中限定的规则可以调用和启用可视搜索算法61，由此使照相机模块能够指向目标对象(即POI)或者捕获目标对象的图像并且将涉及目标对象的信息发送到可视搜索服务器，该服务器可以将对应信息提供给移动终端的搜索模块。就这一点而言，搜索模块能够在各种搜索算法之间、即在可视搜索算法61、OCR算法62与基于代码的算法63之间切换。

在上文讨论的示例性实施例中，在算法切换器75中输入和实施的元信息可以是可视搜索系统中可用的元信息子集。例如，尽管元信息可以包括地理位置、当日时间、季节、天气、移动终端用户的特性、产品段等，但是算法切换器可以仅例如基于地理位置和产品段、即可视搜索系统上可用的元信息子集。算法切换器75能够连接或者访问移动终端上或者一个或者多个服务器或者数据库(如例如可视搜索服务器54和可视搜索服务器51)上的规则集。可以在移动终端的存储器中维护并且从可视搜索服务器或者可视搜索数据库51空中更新规则。

在一个替代示例性实施例中，提供可选第二遍可视搜索算法64。这一示例实施例解决其中已经通过基于代码的图像标记(例如1D/2D图像标记或者条形码)或OCR数据生成一个或者多个候选的情形。就这一点而言，可以在算法切换器75启用第二遍可视搜索算法64时检测、读取或者扫描附加标记。第二遍可视搜索算法64可以可选地与任何其它算法如可视搜索算法、OCR算法62和基于代码的算法63并行运行、在该其它算法之前或者之后运行。作为第二遍可视搜索算法64的应用例子，考虑其中照相机模块指向产品(例如媒体内容)可携式摄像机或者捕获该产品的图像的情形。可以限定在算法切换器75中限定的规则使得产品信息调用基于代码的算法63，该算法实现搜索模块78的基于代码的搜索，由此使照相机模块能够检测、读取或者扫描一个或者多个条形码(比如可携式摄像机上的条形码)从而使移动终端能够将与条形码有关的信息发送到可视搜索服务器54。可视搜索服务器可以向移动终端发送候选，比如与具有涉及可携式摄像机的信息的web页面有关的URL。此外，可以限定算法切换器75中的规则使得在运行基于代码的算法63之后第二遍可视搜索算法64由算法切换器75启用(或者代之以在基于代码的算法63之前或者与基于代码的算法63并行运行第二通信可视搜索算法64)，该切换器允许搜索模块78利用一个或者多个可视搜索能力(步骤804)。就这一点而言，可视搜索服务器54可以使用与可携式摄像机的检测或者捕获图像有关的信息以发现它的POI数据库74中的对应或者有关信息并且可以向搜索模块发送涉及可携式摄像机(例如媒体内容67)的一个或者多个其它候选用于在显示器28上显示(步骤805)。例如，可视搜索服务器54可以向搜索模块发送与销售可携式摄像机的附近商店有关的候选列表、涉及可携式摄像机的价格信息、可携式摄像机的规格等。

如上所述，第二遍可视搜索服务器64在基于代码的算法或者OCR算法提供单个候选时提供获得附加候选并且由此获得涉及目标对象(即POI)的附加信息的方式。应当指出以基于代码的算法63或者OCR算法62为基础获得的候选结果在运用时可以具有较基于第二遍可视搜索算法64获得的一个或者多个候选而言的优先级。这样，搜索模块68可以在第一候选列表(具有最高优先级)中显示从基于代码的算法63或者OCR算法获得的一个或者多个候选而在第二候选列表(具有低于第一候选列表的优先级)中显示作为第二遍可视搜索算法64的结果而获得的一个或者多个候选。取而代之，基于第二遍可视搜索算法64获得的结果或者一个或者多个候选可以与以基于代码的算法63或者OCR算法62为基础获得的结果或者一个或者多个候选组合以形成然后可以由搜索模块输出到显示器28的单个候选列表，该显示器可以按任何限定顺序或者优先级在单个列表中显示所有候选。例如，可以用比从第二遍可视搜索算法64获得的候选更高的优先级(在单个候选列表中)显示从基于代码的算法63或者OCR算法62获得的候选或者相反。

现在参照图9和图10，提供用于利用图像检测将可视搜索(例如移动可视搜索)与基于代码的搜索和OCR搜索集成的搜索模块的另一示例性实施例和操作流程图。在这一示例性实施例中，搜索模块88包括媒体内容输入67、检测器85、可视搜索算法61、OCR算法62和基于代码的算法63。媒体内容输入67可以是能够从移动终端10的照相机模块36、GPS模块或者任何其它适当单元接收媒体内容以及从可视搜索服务器54或者任何其它服务器或者数据库接收媒体内容的硬件和/或软件的任何设备或者装置。可视搜索算法61、OCR算法62和基于代码的算法63可以实施于分别能够进行可视搜索、OCR搜索和基于代码的搜索的硬件和/或软件(由处理器如例如控制器20执行)的任何设备或者装置中并且由该设备或者装置体现。检测器85可以是能够确定照相机模块36指向的或者照相机模块36将其作为图像来捕获的媒体内容类型(例如图像数据和/或视频数据)的硬件和/或软件(由处理器如控制器20执行)的任何设备或者装置。具体而言，检测器85能够确定媒体内容是否由基于代码的数据和/或OCR数据等构成。检测器能够检测、读取或者扫描媒体内容并且例如基于计算来确定媒体内容是基于代码的标记(条形码)和/或OCR数据(例如文本)(步骤900)。此外，即使当检测器85尚未完全读取媒体内容(例如具有条形码或者1D/2D标记的图像)中的数据时，检测器仍然能够确定媒体内容是否由基于代码的数据和/或OCR数据构成。就这一点而言，检测器85能够评估照相机模块指向的媒体内容或者照相机模块捕获的图像并且基于对媒体内容的检测来确定(或者估计)媒体内容是否(例如图像)是否看似基于代码的数据和/或文本。在其中检测器85确定媒体内容看似媒体内容由文本数据构成的情形中，检测器85能够以与上文讨论的方式相似的方式调用OCR算法62，该算法使搜索模块88能够进行OCR搜索并且从可视搜索服务器54接收候选列表(步骤901)。此外，如上所述，检测器85能够确定(或者估计)媒体内容是否看似基于代码的数据，例如检测器可以确定媒体内容具有表明一个或者多个1D/2D条形码的一个或者多个条形(而不读取媒体内容，例如图像中的条形码)并且以与上文讨论的方式相似的方式启用基于代码的搜索算法63使得搜索模块88能够进行基于代码的搜索并且从可视搜索服务器接收候选列表(步骤902)。如果检测器确定媒体内容67没有看似基于代码的数据(例如条形码)或者没有看似OCR数据(例如文本)，则检测器85以与如上文讨论的方式相似的方式调用可视搜索算法61，该算法使搜索模块88进行可视搜索并且从可视搜索服务器54接收候选列表(步骤903)。

检测器85进行的基于代码的数据检测可以基于图像编码系统(例如一个或者多个1D/2D图像编码系统)的性质、即设计这些系统(例如一个或者多个1D/2D图像编码系统)中的各系统用于可靠识别。检测器85可以将标记(例如条形码)位置用于信息从标记图像中的可靠提取。即使在其中有大量定向、照明变化和随机噪声的情形中仍然可以对多数标记图像准确地定位。例如，一个或者多个QR码具有用于可靠定位和对准的三个锚定记号。检测器85能够在媒体内容(例如图像/视频)中对这些锚定记号进行定位并且基于锚定标记的位置来确定媒体内容对应于基于代码的数据，比如基于代码的标记或者条形码。一旦检测器85检测到签名锚定记号，检测器将调用基于代码的算法63，该算法能够确定、验证或者确认媒体内容确实是诸如标记或者条形码等基于代码的数据。搜索模块可以将基于代码的数据(和/或与基于代码的数据关联的数据)发送到可视搜索服务器54，该服务器匹配对应数据(例如价格信息、产品的URL、产品规格等)与基于代码的数据并且将这一对应数据发送到搜索模块88以便移动终端10的显示器28上显示。参照对OCR数据等检测，检测算法85能够基于对媒体内容(例如图像和/或视频数据)的高频空间区域的评估和提取来确定媒体内容对应于OCR数据。例如可以通过将纹理滤波器应用于图像区域并且基于来自各区域的响应对区域进行分类以发现包含文本和字符的高频区域来完成对高频空间区域的提取。OCR算法62能够确认或者验证媒体内容由文本数据构成。

搜索模块能够通过使用搜索模块88的检测器85在可视搜索算法61、OCR算法62与基于代码的算法63之间迅速和高效地切换。例如，当照相机模块指向看似基于代码的数据的对象(即媒体内容)或者捕获该对象的图像时，检测器可以调用基于代码的算法63，而当时照相机模块随后指向或者捕获看似文本(例如书籍或者街道符号上的文本)的另一对象(即媒体内容)的图像时，检测器85能够从基于代码的算法63切换到OCR算法62。就这一点而言，搜索模块88不必同时运行或者执行算法61、62和63，这高效地利用处理速度(例如控制器20的处理速度)并且节约移动终端10上的存储器空间。

现在参照图11和图12，图示了使用可视化技术将可视搜索(例如移动可视搜索)与基于代码的数据(例如1D/2D图像标记或者条形码)和OCR数据集成的搜索模块的一个示例性实施例和涉及该搜索模块的操作的流程图。图11的搜索模块可以适应其中同时在对象(即POI)上使用多类标记的情形。例如，尽管OR码和2D标记(例如条形码)可以存在于相同对象上，但是这一对象也可以包含可视搜索编辑(即与目标对象如POI关联的任何数据，例如饭店、咖啡店等的URL)以便提供可能在QR码或者2D标记中没有包括的附加信息。搜索模块98能够使可视化引擎能够允许来自基于代码的数据(即例如上述QR码和2D标记)、OCR数据和可视搜索数据(即例如上述可视搜索标记)的信息都显示于移动终端的显示器28上。

搜索模块98包括媒体内容输入67和元信息输入81、可视搜索算法83、可视引擎87、检测到的OCR/基于代码的输出89、在可视搜索数据中嵌入的OCR/基于代码的数据输出101以及以上下文为基础的OCR/基于代码的数据输出103。媒体内容输入67可以是能够接收(和输出)来自移动终端的照相机模块36、GPS模块70或者任何其它单元的媒体内容以及从可视搜索服务器54或者任何其它服务器或者数据库发送的媒体内容的硬件和/或软件(由处理器如控制器20执行)的任何装置或者设备。媒体信息输入81可以是能够接收(或者输出)元信息(可以由移动设备10的用户经由小键盘30输入或者从服务器或者数据库如例如虚拟搜索服务器54接收该元信息)和可以由GPS模块70提供或者从服务器或者数据库如可视搜索服务器54接收的位置信息的硬件和/或软件(由处理器如控制器20执行)的任何设备或者装置。另外，可视搜索算法可以由能够进行可视搜索如移动可视搜索的硬件和/或软件(由处理器如控制器20执行)的任何设备或者装置实施和体现。可视化引擎87可以是能够从媒体内容输入、元信息输入和可视搜索算法接收输入的硬件和/或软件(由处理器如控制器20执行)的硬件和/或软件(由处理器如控制器20或者位于可视化引擎内部的协同处理器执行)的任何设备或者装置。可视化引擎87也能够利用来自媒体内容输入、元信息输入和可视搜索算法的接收输入以控制向检测到的OCR/基于代码的输出89、在可视搜索数据中嵌入的OCR/基于代码的数据输出101以及以上下文为基础的OCR/基于代码的数据输出103输出的数据。检测到的OCR/基于代码的输出89可以是能够从可视化引擎87接收可以发送到服务器如可视搜索服务器54的检测到的OCR数据和/或基于代码的数据的硬件和软件(由处理器如控制器20执行)的任何设备或者装置。此外，在可视化搜索数据中嵌入的OCR/基于代码的数据输出101可以是能够从可视化引擎87接收可以发送到服务器如可视搜索服务器54的在可视搜索数据中嵌入的OCR数据和/或基于代码的数据的硬件和软件(由处理器如例如控制器20执行)的任何设备或者装置。另外，以上下文为基础的OCR/基于代码的数据输出103可以是能够从可视化引擎87接收可以发送到服务器如可视搜索服务器54的以上下文(或者元信息)为基础的OCR数据和/或基于代码的数据的硬件和软件(由处理器如控制器20执行)的任何设备或者装置。

关于搜索模块98，当照相机模块36指向媒体内容(例如涉及目标对象即POI的图像或者视频)时或者当捕获图像可以与元信息(包括但不限于涉及地理位置、时间、天气、温度、季节、产品、客户段和任何其它相关信息的数据)提供给可视化引擎并行地经由媒体内容输入将媒体内容提供给可视化引擎时(步骤1100)。也与媒体内容和元信息输入到可视化引擎87并行可以将可视搜索算法83输入到可视化引擎87(步骤1101)。可视化引擎87可以使用可视搜索引擎83以基于媒体内容和元信息来实现可视搜索。可视化引擎也能够分别存储OCR算法62和基于代码的算法63并且执行这些算法以执行OCR搜索和基于代码的搜索。

如上所述，照相机模块指向或者捕获的媒体内容可以包含多类标记，例如基于代码的标记、OCR标记和可视标记。考虑如下情形，其中媒体内容是产品(可视搜索数据)如膝上型计算机的图像，并且在图像中包括与膝上型计算机的名称、它的制造商等有关的文本数据(OCR数据)以及与膝上型计算机有关的条形码信息(基于代码的数据)。产品的图像可以标记有、即关联于涉及在本例中为膝上型计算机的产品的信息。例如，膝上型计算机的图像可以链接或者标记到具有关于膝上型计算机的相关信息的URL。就这一点而言，当用户将照相机模块指向膝上型计算机或者捕获膝上型计算机的图像时，可视搜索服务器52例如可以向移动终端提供URL。此外，膝上型计算机上的文本可以标记有信息使得当照相机模块指向膝上型计算机时移动终端通过可视搜索服务器54接收关联信息，如例如膝上型计算机的制造商的URL。类似地，膝上型计算机上的条形码可以标记有与膝上型计算机关联的诸如等产品信息、价格等信息，这样可视搜索服务器54例如可以向移动终端提供这一产品和价格信息。移动终端的用户经由存储于移动终端10的存储器中的简档或者网络运营商(例如蜂窝通信提供商)可以分配元信息，从而基于元信息(即上下文信息)来调用和进行可视搜索算法83。此外，当可视化引擎87确定可视搜索结果没有包括基于代码的数据和/或基于OCR的数据时，可视化引擎87能够基于元信息来激活存储于其中的OCR算法62和/或基于代码的算法63。在上例中，可以将元信息分配为位置，如例如商店的位置，在该情况下将调用可视搜索算法以在商店内实现可视搜索能力。就这一点而言，可以限定和分配用于调用可视搜索算法的任何适当元信息。例如，可以基于关联或者连接的元信息(比如当日时间、天气、地理位置、温度、产品、客户段和任何其它信息)来调用通过使用可视搜索算法来实现的可视搜索能力。此外，当可视化引擎87在可视搜索算法83生成的可视搜索结果中没有检测到任何OCR和/或基于代码的数据时，可以将元信息例如分配为位置信息(例如商店的位置)，在该情况下可视化引擎87将接通和执行OCR算法和/或基于代码的算法以基于元信息进行OCR搜索和基于代码的搜索(即在本例中在该位置)。

在其中可视化引擎87评估元信息并且调用可视搜索算法以基于元信息对媒体内容(例如图像)进行可视搜索的情形中，可视化引擎可以检测对象中的多个标记组合和类型(步骤1102)。例如，如果可视化引擎87检测到对象(上例中的膝上型计算机)的OCR标记数据(例如文本)和基于代码的标记数据(条形码)，则可视化引擎可以将这一检测到的OCR数据(例如膝上型计算机的制造商的文本)和基于代码的数据(例如膝上型计算机上的条形码)输出到检测的OCR/基于代码的输出89，该输出能够将这一信息发送到服务器，比如可视搜索服务器54，该服务器可以匹配关联数据与OCR标记数据和基于代码的标记数据，并且这一关联数据(即候选人列表)(例如OCR标记数据的制造商的URL和基于代码的标记数据的价格信息)可以提供给移动终端用于在显示器28上显示(步骤1103)。

此外，用户可以例如利用可视搜索数据库51以链接与对象(例如POI)关联的一个或者多个标记。如上所述，可视搜索输入控制器98允许用户将涉及一个或者多个对象、POI、产品等的OCR数据和基于代码的数据(例如1D条形码、2D条形码、QR码、Semacode、Shotcode等)插入和存储到可视搜索数据51中(见图3和图4)。例如，用户(例如企业所有者)可以利用用户输入接口91的按钮或者键等以链接与对象(例如膝上型计算机)关联的OCR标记(例如基于文本的标记，如例如与对象(例如膝上型计算机)关联的URL的文本)和基于代码的标记(例如与膝上型计算机的价格信息对应的条形码)。一个或者多个OCR标记和一个或者多个基于代码的标记可以附着到也可以包含一个或者多个可视标记(即与涉及对象的可视搜索关联的标记)的对象(例如膝上型计算机)。

另外，用户可以使用用户输入接口91的按钮或者键等来创建与对象(例如膝上型计算机)关联的一个或者多个可视标记。例如，用户可以通过使用用户输入接口91的按钮或者键等通过将一个或者多个对象或者对象的图像与关联信息链接或者关联来创建可视标记(例如当对象或者对象的图像是膝上型计算机时，关联信息例如可以是涉及竞争者膝上型计算机的一个或者多个URL)。这样，当移动终端10的照相机模块36指向对象(例如膝上型计算机)或者捕获该对象的图像时，移动终端10可以取回关联于或者链接到对象的信息。OCR标记和基于代码的标记可以附着到也链接至一个或者多个可视标记(即与对象的可视搜索关联的标记)的对象(例如膝上型计算机)。就这一点而言，OCR标记和基于代码的标记可以嵌入于可视搜索结果中。例如，当可视化引擎87接收可视搜索算法83并且对对象进行可视搜索时，(一旦照相机模块36指向对象或者捕获对象的图像)，可视化引擎87可以接收与对象关联的数据，如例如可以具有一个或者多个OCR标记和一个或者多个基于代码的标记的对象的一个或者多个图像，并且对象本身可以链接到可视标记。以这一方式，一个或者多个OCR标记(例如与膝上型计算机的URL有关的文本数据)和一个或者多个基于代码的标记(例如与膝上型计算机的价格信息有关的条形码)嵌入于可视搜索结果(例如对象如例如膝上型计算机的一个或者多个图像)中。

可视化引擎87能够将可视搜索结果(例如膝上型计算机的一个或者多个图像)中嵌入的这一个或者多个OCR标记和基于代码的数据发送到在可视搜索数据中嵌入的OCR/基于代码的数据输出101(步骤1104)。在可视搜索数据中嵌入的OCR/基于代码的数据输出101可以将与一个或者多个OCR标记、一个或者多个基于代码的标记和一个或者多个可视标记关联的数据发送到服务器，比如可视搜索服务器54，该服务器可以匹配关联数据与OCR标记数据(例如涉及膝上型计算机的URL的文本)、基于代码的数据(例如膝上型计算机的价格信息)和可视搜索标记数据(例如竞争者膝上型计算机的web页面)，并且这一关联数据可以提供给移动终端用于在显示器28上显示(步骤1105)。就这一点而言，OCR数据、基于代码的数据和可视搜索数据可以并行显示于显示器28上。例如，可以在列中显示与OCR标记数据(例如涉及膝上型计算机的URL)关联的信息，而可以在不同的列中显示与基于代码的数据(与膝上型计算机关联的价格信息)关联的信息，并且另外可以在不同的列中显示与可视标记数据(例如竞争者膝上型计算机的web页面)关联的信息。

可选地，如果可视化引擎87在作为执行可视搜索算法的结果而生成的可视搜索结果中没有检测到任何标记数据，则移动终端10的用户可以选择将用于搜索候选的占位符(步骤1106)。就这一点而言，如果可视化引擎87检测到在可视搜索数据(例如一个或者多个对象的一个或者多个图像)中有OCR数据(例如文本数据)，则移动终端10的用户经由小键盘30可以选择OCR数据(例如文本数据)作为可视化引擎87可以向在可视搜索数据中嵌入的OCR/基于代码的数据输出101发送的占位符。取而代之，网络运营商(例如蜂窝通信提供商)可以包括可视化引擎87中的设置，该引擎自动选择将用作占位符的与产品的描述关联的关键字。例如，如果可视化引擎87在可视搜索结果中检测到书籍上的文本，例如书籍的标题HarryPotter和Order of The Phoenix^TM，用户(或者可视化引擎87)可以选择这一文本作为将向在可视搜索数据中嵌入的OCR/基于代码的数据输出101发送的占位符。在可视搜索数据中嵌入的OCR/基于代码的数据输出101能够将占位符(在本例中为书籍的文本(HarryPotter和Order of The Phoenix^TM))发送到服务器，如例如可视搜索服务器54，该服务器确定和标识是否有与可视搜索服务器中存储的文本关联的数据以及是否有关联数据、即候选列表(例如涉及与Harry Potter和Order of The Phoenix^TM书籍关联的电影的web站点和/或销售Harry Potter和Order of The Phoenix ^TM书籍的书店的web站点等)。可视搜索服务器54将这一数据(例如这些web站点)发送到移动终端10用于在显示器28上显示(步骤1107)。

除此之外或者取而代之，如果可视化引擎78在可视搜索结果中没有检测到任何标记数据，如例如OCR标记数据和/或基于代码的标记数据，然而可视化引擎87可以基于元信息(即上下文信息)来激活和接通存储于其中的OCR和基于代码的算法。如果可视化引擎87接收通过执行与一个或者多个对象的一个或者多个图像有关的可视搜索算法83来生成的搜索结果并且可视化引擎87基于分配的元信息来确定在搜索结果(即一个或者多个图像)中没有OCR和/或基于代码的标记数据，然而可视化引擎可以接通OCR和基于代码的搜索算法并且进行OCR和基于代码的搜索(步骤1108)。

例如，当将元信息分配为商店(例如)的位置时，可视化引擎87可以在GPS模块70将经由原信息输入81将表明移动终端10在商店内的位置信息发送到可视化引擎87时激活和执行OCR和基于代码的算法并且执行OCR和基于代码的搜索。就这一点而言，可视化引擎在照相机模块36指向具有OCR数据和/或基于代码的数据的一个或者多个对象或者拍摄该对象的图像时检测基于代码的数据(例如包含涉及产品(例如膝上型计算机)的价格信息的条形码)和基于OCR的数据(例如文本数据，如例如涉及产品(例如膝上型计算机)的URL)(应当指出可以将元信息分配为包括但不限于时间、天气、地理位置、位置、温度、产品或者任何其它适当信息在内的任何适当元信息)。这样，位置是元信息的一个例子。例如在上例中，可以将元信息分配为比如在上午7点与上午10点之间的当日时间，并且当处理器如控制器20经由元信息输入81向可视化引擎87发送在上午7点到上午10点这几个小时内的当前时间时，可视化引擎可以调用OCR/基于代码的数据算法。)可视化引擎87能够将OCR和基于代码的数据发送到以上下文为基础的OCR/基于代码的数据输出103(步骤1109)。以上下文为基础的OCR/基于代码的数据输出103可以将OCR和基于代码的数据发送到服务器，比如可视搜索服务器54，该服务器能够匹配与OCR数据(例如膝上型计算机的制造商的URL)和基于代码的标记数据(例如涉及膝上型计算机的(在条形码中嵌入)的价格信息)关联的数据，并且这一关联数据(即候选列表)可以提供给移动终端用于在显示器28上显示(步骤1110)。

鉴于前述内容，搜索模块98允许移动终端10同时(并行)显示与不同类型的标记有关的数据组合，这与示出来自从单个类型的一个或者多个标记(例如基于代码)的结果或者候选或者在涉及不同类型的标记的结果或者候选之间切换相反。

现在参照图13和图14，图示了用于利用用户的输入将可视搜索(例如移动可视搜索)与基于代码的搜索和OCR搜索集成的搜索模块的一个示例性实施例。搜索模块108能够使用移动终端的用户的输入以在可视搜索算法111、OCR算法113与基于代码的算法115之间选择和/或切换。媒体内容输入67可以是能够从移动终端的照相机模块36或者任何其它单元以及从服务器如可视搜索服务器54接收媒体内容的硬件和/或软件(由处理器如控制器20执行)的任何设备或者装置。键输入109可以是能够使用户将数据输入到移动终端中的硬件和/或软件的任何设备或者装置。键输入可以由在显示器等上呈现的一个或者多个菜单或者一个或者多个子菜单、小键盘、在显示器28上的触屏等构成。在一个示例性实施例中，键输入可以是小键盘30。用户输入107可以是能够向移动终端的算法切换器105输出与限定的输入有关的数据的硬件和/或软件的任何设备或者装置。算法切换器105可以利用一个或者多个限定的输入以在可视搜索算法11或者OCR算法113或者基于代码的算法115之间切换和/或选择该算法。例如，一个或者多个限定的输入可以链接到或者关联于可视搜索算法111或者OCR算法113或者基于代码的算法115中的一个或者多个算法。这样，当算法切换器105接收一个或者多个限定的输入时，该一个或者多个限定的输入可以触发算法切换器105在可视搜索算法111或者OCR算法113或者基于代码的算法115之间切换和/或选择这些算法之中的对应搜索算法。

在一个示例性实施例中，可以在移动终端的用户可选择的并且在显示器28上示出的一个或者多个菜单和/或子菜单中访问用户输入107。一个或者多个限定的输入包括但不限于移动终端的用户的手势(如这里指代的那样，手势可以是用身体的部分进行的或者结合口头交流来使用的非口头交流)、语音、触摸等。算法切换器105可以是能够从媒体内容输入67、键输入109和用户输入107接收数据以及在搜索算法如可视搜索算法111、OCR算法113与基于代码的算法115之间选择和/或切换的硬件和/或软件(由处理器如控制器20执行)的任何设备或者装置。算法切换器105具有话音识别能力。可视搜索算法111、OCR算法113与基于代码的算法115可以各自是能够分别进行可视搜索、OCR搜索和基于代码的搜索的硬件和/或软件(由处理器如控制器20执行)的任何设备或者装置。

在搜索模块108中，网络运营商或者蜂窝提供商可以例如用限定的输入来预先配置移动终端的用户输入107。除此之外或者和取而代之，移动终端的用户可以确定和分配用户输入17的输入。就这一点而言，用户可以利用用户输入107的小键盘30或者触摸显示器以分配用户输入107的如上所述可以在一个或者多个菜单和/或子菜单中选择的并且可以由算法切换器105用来在可视搜索算法111或者OCR算法113或者基于代码的算法115之间切换和/或选择该算法的输入(例如用户的手势、语音、触摸等)。

可选地，取代了使用用户输入107，为了选择使算法切换器105能够选择搜索算法111、113和115之一的限定输入，用户可以利用键输入109。就这一点而言，用户可以使用小键盘30来利用如下触屏上的选项(例如菜单/子菜单选项)和/或类型标准，他/她想要使用该选项或者类型标准以使算法切换器105能够在可视搜索算法111、OCR算法113与基于代码的算法115之间切换和/或选择。触屏选项和键入的标准可以充当命令或者可以由规则构成，该规则指示算法在搜索算法111、113与115之间切换和/或选择这些算法之一。

现在将出于示例目的而提供可以利用搜索模块108的方式例子。然而应当注意，不脱离本发明的精神和范围，搜索模块的各种其它实施和应用是可能的。考虑如下情形，其中移动终端10的用户将照相机模块36指向对象(即媒体内容)或者捕获对象的图像。与照相机模块36指向的和在图像中捕获的对象有关的数据可以由媒体内容输入来接收并且提供给算法切换器105(步骤1400)。用户可以经由用户输入107选择限定的输入(步骤1401)。例如，用户可以选择语音输入(见上文讨论)。就这一点而言，通过说话可以运用用户的语音以通知算法切换器105在搜索算法111、113与115之间切换和/或选择这些算法之一(步骤1402)(可选地，移动终端的用户可以利用键输入109以限定用于让算法切换器在可视搜索算法、OCR算法与基于代码的算法之间选择和/或切换的标准或者命令(步骤1403))(见下文讨论)。如果用户例如在购物中心中，则用户可以说出“在购物中心中使用基于代码的搜索”，这通知算法切换器105选择基于代码的算法115。算法切换器对基于代码的算法115的选择使搜索模块能够在购物中心中对照相机模块指向的或者在图像中捕获的对象以及其它对象进行基于代码的搜索。就这一点而言，基于代码的算法使搜索模块能够检测、读取或者扫描对象(例如产品)上的基于代码的数据，比如标记(例如条形码)。与标记关联的数据可以从搜索模块发送到可视搜索服务器，该服务器发现与标记关联的匹配数据并且将这一数据、即一个或者多个候选(例如价格信息、包含涉及产品的信息的web页面等)发送到搜索模块108用于在显示器28上显示(步骤1404)。以相似方式，用户也可以使用他的/她的语音以通知算法切换器105选择OCR算法113或者可视搜索算法111。例如，用户可以说出“在驾驶之时进行OCR搜索”而将照相机模块指向街道符号(或者例如“在图书馆中之时进行OCR搜索”)，这通知算法切换器105选择OCR算法并且使搜索模块108能够进行OCR搜索。就这一点而言，街道符号上的文本可以由搜索模块检测、读取或者扫描，并且与文本关联的数据可以提供给可视搜索服务器54，该服务器可以将对应数据、即一个或者多个候选(即与街道符号上的城市名或者图书馆中的书名有关的地图数据)发送到搜索模块用于在显示器28上显示。此外，用户可以说出(例如)“在沿街道步行之时进行可视搜索”，这指示算法切换器105选择可视搜索算法111，该算法使搜索模块108能够进行可视搜索，比如移动可视搜索。这样，搜索模块能够沿着街道捕获对象的图像(例如汽车的图像)并且将与对象关联的或者在对象上标记的数据提供给可视搜索服务器54，该服务器发现匹配关联数据(如果有的话)并且将这一关联数据、即一个或者多个候选(例如通向本地经销商的web链接等)发送到搜索模块用于在显示器28上显示。

算法切换器105可以运用话音识别技术来标识用户讲出的关键字以选择适当搜索算法111、113和115。在一种替代示例实施例中，这些关键字包括但不限于“代码”、“OCR”和“可视”。如果多类标记(例如基于代码的标记(例如条形码)、OCR标记、可视标记)在媒体内容如对象上或者链接到该媒体内容，则搜索模块108可以用来取回涉及各标记的信息。例如，用户可以利用用户输入107的输入如语音输入并且说出“进行基于代码的搜索并且进行OCR搜索以及可视搜索”，这指示算法切换器选择执行(并行或者依次)各搜索算法111、113和115，这使搜索模块能够对具有多类标记的单个对象进行可视搜索、OCR搜索和基于代码的搜索。

另外，用户可以选择用来指示算法切换器105在可视搜索算法111、OCR算法113与基于代码的算法115之间切换和/或选择和运行这些算法的用户输入107的手势输入。例如，可以将手势限定为在持有移动终端之时抬起用户的手部(或者任何其它适当手势，比如在持有移动终端之时挥手(示意问好))。该手势(即在本例中抬起持有移动终端的手部)可以链接到或者关联于可视搜索、OCR和基于代码的算法111、113和115中的一个或者多个算法。例如，抬手手势可以链接到可视搜索算法111。就这一点而言，算法切换器105经由媒体内容输入67接收媒体内容(例如书店的图像)，并且当用户抬起他的/她的手部(例如超过头部)时，算法切换器从用户输入107接收用于选择和运行或者执行可视搜索算法的指令。这使搜索模块调用可视搜索算法，该算法对书店进行可视搜索并且将与书店关联的数据(例如书店的名称)发送到服务器，比如可视搜索服务器54，该服务器匹配与商店关联的数据(例如商店的电话号码和/或web页面)(如果有的话)并且将这一关联数据、即一个或者多个候选提供给搜索模块用于在显示器28上显示。用户的手势可以由移动终端的运动传感器(未示出)检测。

取而代之，如上所述，移动终端10的用户可以利用键输入109以指示算法切换器105选择搜索算法111、113和115。就这一点而言，考虑如下情形，其中用户将照相机模块指向书店中的书籍或者捕获书店的图像(即媒体内容)。涉及书籍的数据可以经由媒体内容输入67提供给算法切换器105，并且用户可以利用小键盘30以键入“在书店中使用OCR搜索”(或者用户可以选择触摸显示器上的菜单中的选项以如例如在书店中使用OCR搜索)。键入的指令“在书店中使用OCR搜索”经由键输入109提供给算法切换器105，并且算法切换器使用这一指令以选择和运行或者执行OCR算法113。这使搜索模块能够运行OCR算法并且接收可以提供给可视搜索服务器54的涉及书籍的OCR数据(书籍的封面上的文本)，该服务器54发现对应的匹配信息(如果有的话)并且将这一匹配信息提供给搜索模块用于在显示器28上显示。

现在参照图15和图16，提供一种用于使用统计处理来集成可视搜索与基于代码的搜索和OCR搜索的搜索模块的一个示例性实施例和操作流程图。搜索模块118包括媒体内容输入67、元信息输入、OCR/基于代码的算法119、可视搜索算法121、集成器123、准确性分析器125、简洁/抽象水平分析器127、观众分析器129、统计集成分析器131和输出133。OCR/基于代码的算法119可以实施于能够进行OCR搜索和基于代码的搜索的硬件和/或软件(由处理器如例如控制器20执行)的任何设备或者装置中并且由该设备或者装置体现。可视搜索算法121可以实施于能够进行可视搜索如移动可视搜索的硬件和/或软件(由处理器如例如控制器20执行)的任何设备和/或装置中并且由该设备和/或装置体现。可以并行或者依次运行或者执行OCR/基于代码的算法119和可视搜索算法121。集成器123可以是能够经由媒体内容输入67接收媒体内容、经由元信息输入49接收元信息并且执行OCR/基于代码的算法和可视搜索算法以提供OCR和基于代码的搜索结果以及可视搜索结果的硬件和/或软件(由处理器如例如控制器20执行)的任何设备和/或装置。集成器123接收的数据可以存储于存储器(未示出)中并且输出到准确性分析器125、简洁/抽象分析器127和观众分析器129。

准确性分析器125可以是能够接收和分析从OCR/基于代码的算法119和可视搜索算法121生成的OCR搜索结果、基于代码的搜索结果和可视搜索结果的硬件和/或软件(由处理器如例如控制器20执行)的任何设备和/或装置。准确性分析器125能够将准确性数据传送到统计集成分析器131。简洁/抽象分析器127可以是能够接收和分析从OCR/基于代码的算法119和可视搜索算法121生成的OCR搜索结果、基于代码的搜索结果和可视搜索结果所产生的数据的简洁和抽象水平的硬件和/或软件(由处理器如例如控制器20执行)的任何设备和/或装置。简洁/抽象分析器能够将它的分析数据传送到统计集成分析器131。观众分析器127可以是能够接收、分析和确定从OCR/基于代码的算法119和可视搜索算法121生成的OCR搜索结果、基于代码的搜索结果和可视搜索结果的既定观众的硬件和/或软件(由处理器如例如控制器20执行)的任何设备和/或装置。观众分析器129也能够将与各OCR和基于代码的搜索结果的既定观众有关的数据以及可视搜索结果传送到统计集成器分析器131。

统计集成分析器131可以是能够从准确性分析器125、简洁/抽象分析器127和观众分析器129接收数据和结果的硬件和/或软件(由处理器如例如控制器20执行)的任何设备和/或装置。统计集成分析器131能够检查从准确性分析器、简洁/抽象分析器和观众分析器发送的数据并且确定从分别由OCR/基于代码的算法119和可视搜索算法121提供的OCR搜索、基于代码的搜索和可视搜索生成的各结果的统计准确性。统计集成分析器131能够使用准确性分析器结果、简洁/抽象分析器结构和观众分析器结果以将一个或者多个加权因子(例如与预定值相乘)应用于各OCR和基于代码的搜索结果以及可视搜索结果。就这一点而言，统计集成分析器131能够确定和分配准确性百分比给各OCR和基于代码的搜索结果以及可视搜索结果。例如，如果统计集成分析器131确定OCR结果在准确性0％到15％的范围内，则统计集成分析器131可以将相应百分比与值0.1(或者任何其它值)相乘，而如果统计集成分析器131确定基于代码的搜索结果在准确性16％到30％的范围内，则统计集成分析器131可以将相应百分比与0.5(或者任何其它值)相乘。

此外，如果统计集成分析器131例如确定可视搜索结果在准确性31％到45％的范围内，则统计集成分析器131可以将相应百分比与值1(或者任何其它值)相乘。统计集成分析器131也能够丢弃没有在预定准确性范围内的结果(应当指出如果结果没有非常不准确(例如将基于代码的搜索结果验证为不正确)则通常没有丢弃它们)。通常将准确性较低的结果处理成具有低优先级)。统计集成分析器131还能够对来自各OCR搜索、基于代码的搜索和可视搜索的结果赋予优先级或者排序。例如，如果统计集成分析器131确定来自OCR搜索的结果比来自基于代码的搜索的结果(后者这些结果比来自可视搜索的结果更准确)更准确，则统计集成分析器131可以生成如下列表，该列表首先包括OCR结果(例如最高优先级和较高准确性百分比)、继而是基于代码的结果(例如第二最高优先级以及第二最高准确性百分比)并且随后继而(即在列表的末尾)是可视搜索结果(例如最低优先级以及最低准确性百分比)。

另外，统计集成分析器131可以确定分别由OCR/基于代码的搜索算法119和可视搜索算法121生成的OCR搜索结果、基于代码的搜索结果和可视搜索结果之中的哪些搜索结果传送到输出133。该确定可以基于满足或者超过预定准确性水平的搜索结果。输出133可以是能够接收由统计集成分析器131提供的搜索结果(例如与媒体内容如书籍的图像关联的数据)并且用于将与这些结果关联的数据(例如书籍上的文本数据)发送到服务器如可视搜索服务器54的硬件和/或软件的任何设备或者装置，该服务器54确定在服务器54的存储器中是否有与搜索结果关联的匹配结数据而如果有的话则将匹配数据(即候选，如例如销售书籍的web页面)发送到搜索模块118用于在显示器28上显示。

现在将出于示例目的而提供搜索模块118可以操作的方式例子。例如，搜索模块118可以在各种其它情形中操作而不脱离本发明的精神和范围。考虑如下情形，其中用户将照相机模块36指向对象(例如等离子体电视)或者捕获该对象的(例如媒体内容的)图像或者视频剪辑。涉及对象的信息可以由照相机模块经由媒体内容输入67提供给集成器123并且存储于存储器(未示出)中。此外，诸如与媒体内容的性质(例如时间戳、所有者等)、移动终端的地理特性(例如当前位置或者海拔)、环境特性(例如当前天气或者时间)、用户的个人特性(例如母语或者职业)、用户的联机行为的特性有关的信息等元信息可以例如在移动终端的存储器如存储器40中存储于用户简档中或者由服务器如可视搜索服务器54提供给移动终端。元信息可以经由元信息输入49输入到集成器并且存储于存储器(未示出)中(步骤1600)。这一元信息可以链接到或者关联于OCR/基于代码的搜索算法119和/或可视搜索算法121。例如，元信息如当日时间可以链接到或者关联于可视搜索算法121，该算法可以使集成器123使用接收的可视搜索算法121在指定的当日时间期间基于对象、即等离子体电视实现可视搜索能力(例如检测、扫描或者读取附着或者链接到等离子体电视的可视标记)。此外，元信息可以例如关联或者链接到OCR算法119，该算法使集成器123能够接收和调用基于OCR的算法119以在移动终端在预先限定的位置如法国巴黎时对对象、即等离子体电视执行或者进行OCR搜索(例如检测、读取或者扫描等离子体电视上例如涉及制造商的文本)(步骤1601)。另外，元信息如例如位置可以关联或者链接到基于代码的算法119，并且当基于代码的算法119由集成器123接收时，集成器123可以执行基于代码的算法119以在移动终端10的用户在以基于代码的数据为主导的位置(例如商店，比如书店、杂货店、百货店等)时对等离子体电视进行基于代码的搜索(例如检测条形码)。应当注意可以并行执行或者运行OCR/基于代码的算法119和可视搜索算法121。

集成器123能够存储OCR搜索结果、基于代码的搜索结果和可视搜索结果并且将这些各种搜索结果输出到各准确性分析器125、简洁/抽象分析器127和观众分析器129(步骤1602)。准确性分析器125可以确定OCR搜索结果的准确性或者可靠性(例如等离子体电视上的文本的准确性)、基于代码的搜索结果的准确性或者可靠性(例如等离子体电视上的检测到的条形码的准确性)和可视搜索结果的准确性或者可靠性(例如链接到或者附着到等离子体电视的可视标记的准确性，这一可视标记可以例如包含与等离子体电视的web页面关联的数据)。准确性分析器125可以根据最高到最低准确性或者可靠性将分析的结果排序或者赋予优先级(步骤1603)。就这一点而言，可以将OCR搜索结果比基于代码的搜索结果排序更高(即例如如果OCR结果具有最高准确性)，后者这些结果可以比可视搜索结果排序更高(即如果基于代码的搜索结果比可视搜索结果更准确)。这一准确性数据如排序和/或一个或者多个优先级可以由准确性分析器提供给统计集成分析器131。

另外，简洁/抽象分析器127可以分析从集成器123接收的OCR搜索结果、基于代码的搜索结果和可视搜索结果并且基于简洁和抽象因子等将这些结果排序或者赋予优先级(步骤1604)(应当指出由于一些抽象因子更适合于不同观众而应用不同抽象因子。例如，在某一领域中有专长的个人可以优选处于更高抽象水平的描述，从而对搜索结果中的数据的简洁描述足够了，而在某一领域中经验较少的认识可能需要对搜索结果中的数据的更具体说明。在一个替代示例实施例中，具有高抽象水平的数据(即对搜索结果中的数据的简洁描述)可以比具有更低抽象水平的数据(即对搜索结果中的数据的更具体描述)排序更高或者更优先)，并且连接可以附着到具有高抽象水平的搜索结果，从而更具体信息可以与向统计抽象分析器131提供的搜索结果关联(见下文讨论)。例如，如果OCR搜索结果由100个文本字符构成，则可视搜索结果例如由具有涉及地图或者街道符号的数据的图像构成，而基于代码的搜索结果由1D条形码构成，简洁/抽象分析器127可以确定基于代码的搜索结果(即条形码)由更少数据(即搜索结果之中的最简洁形式(即最高抽象水平)的数据)构成。此外，简洁/抽象分析器127可以确定可视搜索结果(例如地图数据或者街道符号的数据)可以由比基于代码的搜索结果更多的数据但是比OCR搜索结果(例如100个文本字符)更少的数据组成。就这一点而言，简洁/抽象分析器127可以确定虚拟搜索结果由搜索结果之中的第二最简洁形式(即第二最高抽象水平)的数据构成并且OCR搜索结果由搜索结果之中的第三最简洁形式(即第三最高抽象水平)的数据构成。这样，简洁/抽象分析器127能够为这些搜索结果赋予优先级或者排序。例如，简洁/抽象分析器127可以(例如在列表中)将基于代码的搜索结果排序和/或安排优先级为第一(即最高优先级或者排序)、继而是可视搜索结果(即第二最高优先级或者排序)并且随后是OCR搜索结果(即最低优先级或者排序)。这些排序和/或优先级以及由简洁/抽象分析器127生成的任何其它排序和/或优先级可以提供给统计集成分析器131，该分析器可以利用这些排序和/或优先级以规定或者确定与搜索结果关联的数据将提供给输出133并且发送到可视搜索服务器54的顺序，该服务器可以匹配关联数据(如果有的话)(即候选，如例如价格信息、产品信息、地图、方向、web页面、黄页数据或者任何其它适当数据)与搜索结果并且将这一关联数据发送到搜索模块118用于以确定的顺序在显示器28上显示候选。例如，价格信息继而是产品信息等。

此外，观众分析器129能够确定各OCR搜索结果、基于代码的搜索结果和可视搜索结果的既定观众。在其中对象由等离子体电视构成的上例中，观众分析器129可以确定既定观众是移动终端10的用户。取而代之，例如观众分析器可以确定既定观众是用户的朋友等。例如，在其中观众分析器129确定OCR搜索结果的既定观众是用户的实例中，统计集成分析器131可以向OCR搜索结果分配比既定用于用户的朋友(或者任何其它既定观众)的可视搜索结果和/或既定用于用户的朋友(或者任何其它既定观众)的基于代码的搜索结果更高的优先级或者排序(步骤1605)。观众分析器可以将既定观众信息的排序和/或优先级发送到统计集成分析器131。

统计集成分析器131能够接收来自准确性分析器125的准确性结果、由简洁/抽象分析器127生成的排序和/或优先级以及与来自观众分析器129的搜索结果的既定观众有关的排序和/或优先级(步骤1606)。

统计集成分析器131能够确定从准确性分析器125、简洁/抽象分析器127和观众分析器129接收的所有数据的总体准确性以及评估与各搜索结果对应的数据重要性，并且在这一基础上，统计集成分析器能够将可视搜索结果、基于代码的搜索结果和OCR搜索结果重新赋予优先级和/或重新排序。例如可以使用与对应于一个或者多个搜索结果的数值指示符(例如50)相乘的加权因子如预定值(2)来向最准确和最重要的搜索结果分配最高排序或者最高百分比优先级值(例如100％)。另一方面，可以例如使用与对应于一个或者多个搜索结果的数值指示符(例如25)相乘的加权因子如预定值(2)来向准确性较低和重要性较低的搜索结果分配较低排序(优先级)或者较低百分比优先级值(例如50％)。应当注意可以在用户将照相机模块指向目标对象(即POI)时实时调节这些加权因子。假设不同搜索结果的性质如准确性和简洁性在用户将移动终端指向对象时随时间而改变，则相应地实时调节加权。统计集成分析器131可以将这些重新赋予优先级和/或重新排序的搜索结果提供给输出133，该输出将搜索结果发送到可视搜索服务器54。可视搜索服务器54确定是否有例如存储于POI数据库74中的与搜索结果匹配的关联数据，并且这一匹配数据(即候选)(如果有的话)发送到搜索模块118用于以与重新赋予优先级和/或重新排序的搜索结果对应的顺序在显示器28上显示。

现在参照图17和图18，提供用于将基于代码的标记和/或OCR标记添加和/或嵌入到可视搜索结果中的搜索模块的一个示例性实施例和操作流程图。搜索模块128包括媒体内容输入67、元信息输入、可视搜索算法121、OCR/基于代码的算法119、标记控制单元135、嵌入式设备143、嵌入式设备145、嵌入式设备147以及可选地包括码/串查找和翻译单元141。在一个示例性实施例中，码/串查找和翻译单元可以包括存储于查找表中的诸如文本字符等数据。

标记控制单元135可以是能够经由媒体内容输入67(例如从照相机模块36)接收媒体内容(例如对象的图像、与物理对象有关的事件视频、对象的数字照片、图形动画、音频(比如在物理对象附近的事件期间播放的音乐记录)等)、经由元信息输入49接收元信息、接收可视搜索算法121和OCR/基于代码的算法119的硬件和/或软件(由处理器如控制器20或者位于标记控制单元的协同处理器执行)的任何设备或者装置。如上所述，元信息可以包括但不限于地理位置数据、当日时间、季节、天气和移动终端用户的特性、产品段或者与现实世界属性或者特征关联的任何其它适当数据。这一元信息可以在用户的移动终端10上被预先配置、由可视搜索服务器54提供给移动终端10和/或由使用小键盘30的移动终端10的用户输入。标记控制单元35能够执行可视搜索算法121和OCR/基于代码的算法119。各元信息可以关联于或者链接到可视搜索算法121或者OCR/基于代码的算法119。就这一点而言，标记控制单元135可以利用用于确定执行可视搜索算法121或者OCR/基于代码的算法119之中的哪个算法的元信息。例如，元信息如天气可以关联或者链接到可视搜索算法，这样标记控制单元135可以例如在用户将照相机模块指向天空或者捕获天空的图像时执行可视搜索算法。元信息如商店的位置可以链接到基于代码的算法119，从而标记控制单元将例如在用户将照相机模块指向产品上的条形码时执行基于代码的搜索。元信息如图书馆的位置可以链接到OCR算法119，从而标记控制单元135将例如在用户将照相机模块执行书籍时执行基于OCR的搜索。码/串查找和翻译单元141可以是能够修改、替换或者翻译由OCR/基于代码的算法119生成的OCR数据(例如文本数据)和基于代码的数据(例如条形码)的硬件和/或软件(由处理器如控制器20或者位于码/串查找和翻译单元141内部的协同处理器执行)的任何设备或者装置。例如，码/串查找和翻译单元141能够将OCR/基于代码的算法119标识的文本翻译成一个或者多个语言(例如将文本翻译成法语或者英语)以及例如将基于代码的数据如条形码转换成其它形式的数据(例如将手提包上的条形码翻译成它的制造商，例如PRADA^TM)。

现在将参照例子描述搜索模块128。应当指出其中搜索模块可以操作的若干例子情形适用并且仅出于示例目的而提供本例。假设元信息由关联于或者链接到可视搜索算法121的产品信息构成。就这一点而言，当移动终端的用户例如将照相机模块36指向产品如可携式摄像机时，标记控制单元135可以接收与可携式摄像机(例如媒体内容)关联的数据并且接收和调用算法如例如可视搜索算法121以便对可携式摄像机进行可视搜索(步骤1800)。例如，标记控制单元135可以接收与照相机模块36捕获的可携式摄像机的图像有关的数据。与可携式摄像机的图像有关的数据可以包括在可携式摄像机的图像中嵌入的一个或者多个标记，例如可视标记(即与可视搜索关联的标记)，该标记与涉及可携式摄像机的信息(例如可以经由服务器如可视搜索服务器54访问的提供可携式摄像机的产品特征信息的web页面)关联(步骤1801)。标记控制单元135也可以检测到可携式摄像机的图像包括条形码(即基于代码的标记)和文本数据(即OCR数据)，比如可携式摄像机的制造商名称的文本(步骤1802)。基于上述检测，标记控制单元135可以调用基于代码的算法119以也对可携式摄像机进行基于代码的搜索(标记控制单元135也可以调用OCR算法119以对可携式摄像机进行OCR搜索(见下文讨论))(步骤1803)(可选地，码/串查找和翻译单元可以用数据如例如字符串替换、修改或者翻译基于代码的数据和文本数据(见下文讨论)(步骤1805))。这样，标记控制单元135可以确定将在可视搜索结果中包括涉及检测到的条形码的信息并且指示嵌入式设备143请求可视搜索结果包括或者嵌入涉及条形码的信息(取而代之，标记控制单元135可以确定将在可视搜索结果中包括涉及检测到的文本数据的信息并且通知嵌入式设备145请求可视搜索结果包括或者嵌入涉及文本数据的信息(见下文讨论))(步骤1805)。嵌入式设备143接收这一指令并且将对如下数据的请求发送到可视搜索服务器54，该数据与可携式摄像机的可视标记关联，比如涉及可携式摄像机的web页面(即候选)，该web页面具有涉及条形码的嵌入于其中的信息(例如可携式摄像机的价格信息)(取而代之，嵌入式设备145接收这一指令并且将对如下数据的请求发送到可视搜索服务器54，该数据与可携式摄像机的可视标记关联，比如涉及可携式摄像机的web页面(即候选)，该web页面具有涉及文本数据的嵌入于其中的信息(例如可携式摄像机的制造商名称)(见下文讨论))。可视搜索服务器54确定是否有与可视标记匹配或者关联的数据(存储于存储器如POI数据库74中)如web页面并且将具有价格信息(即嵌入于条形码中的信息)(或者具有制造商的名称)的这一web页面提供给搜索模块128的嵌入式设备143(或者嵌入式设备145)用于在显示器128上显示。就这一点而言，嵌入式设备143能够通知显示器28以示出web页面及其关联元信息，该web页面具有可携式摄像机的嵌入于web页面中的价格信息(取而代之，嵌入式设备145能够通知显示器28示出web页面，该web页面具有嵌入于web页面中的可携式摄像机制造商名称(见下文讨论))(步骤1806)。

嵌入设备143能够在它的存储器(未示出)中保存涉及条形码的信息(即基于代码的标记数据)(嵌入式设备145也能够在它的存储器(未示出)中保存涉及制造商的名称的信息(即OCR标记数据)(见下文))。这样，只要用户随后将照相机模块指向可携式摄像机，将在可视搜索服务器54向搜索模块128提供的用于在显示器28上显示的web页面中包括涉及可携式摄像机的价格信息(或者制造商的名称)。涉及web站点的价格信息(或者文本，比如制造商的名称)可以连同web页面一起永久提供、即每当指向照相机模块时或者直至在嵌入式设备143(或者嵌入式设备145)的存储器中改变或者删除设置(见下文讨论)(步骤1807)。

由于标记控制单元135也检测到可携式摄像机的图像包括文本数据(即OCR数据)，比如可携式摄像机的制造商名称的文本，所以标记控制单元135可以调用OCR算法119以也对可携式摄像机进行OCR搜索。就这一点而言，标记控制单元135可以确定将在可视搜索结果中包括涉及检测到的文本(OCR数据)的信息并且通知嵌入式设备145请求可视搜索结果包括或者嵌入涉及文本数据的信息，在本例中为在可视搜索结果中包括或者嵌入可携式摄像机制造商名称。嵌入式设备144接收这一指令并且将对如下数据的请求发送到可视搜索服务器54，该数据与可携式摄像机的可视标记关联，比如涉及可携式摄像机的web页面(即候选)，该web页面具有涉及检测到的文本的嵌入于其中的信息(例如制造商的名称)。可视搜索服务器54确定是否有与可视标记匹配或者关联的数据(存储于存储器如POI数据库中)如web页面并且将具有可携式摄像机的制造商名称的这一web页面提供给搜索模块128的嵌入式设备145用于在显示器28上显示。就这一点而言，嵌入式设备145能够指示显示器28示出web页面及其关联元信息，该web页面中嵌入有可携式摄像机的制造商名称。

嵌入式设备145能够在它的存储器(未示出)中保存涉及条形码的信息(即基于代码的标记数据)。这样，只要用户随后将照相机模块指向可携式摄像机，可以在可视搜索服务器54向搜索模块128提供的用于在显示器28上显示的web页面中包括可携式摄像机的制造商名称。涉及web站点的价格信息可以连同web页面一起永久提供、即每当指向照相机模块时或者直至在嵌入式设备145的存储器中改变或者删除设置。

另外，标记控制单元135可以检测可携式摄像机的图像中的附加文本数据(OCR数据)。就这一点而言，标记控制单元135可以例如利用由OCR算法119生成的OCR搜索结果以识别文本数据对应于可携式摄像机的零件号/序列号。标记控制单元135可以确定应当在可携式摄像机的可视搜索结果中包括涉及检测到的文本的信息(例如零件号/序列号)并且通知嵌入式设备146请求可视搜索结果包括或者嵌入涉及文本数据的信息，在本例中在可视搜索结果包括或者嵌入可携式摄像机的零件号/序列号。嵌入式设备147接收这一指令并且将对如下数据的请求发送到可视搜索服务器54，该数据与可携式摄像机的可视标记关联，比如涉及可携式摄像机的web页面(即候选)，该web页面具有涉及检测到的文本的嵌入于其中的信息(例如零件号/序列号)。可视搜索服务器54确定是否有与可携式摄像机的可视标记匹配或者关联的数据(存储于存储器如POI数据库74中)如web页面并且将具有可携式摄像机的零件号/序列号的这一web页面提供给搜索模块128用于在显示器28上显示。就这一点而言，搜索模块128能够指示显示器28示出具有可携式摄像机的零件号/序列号的web页面。

可以实时动态地替换或者更新向嵌入式设备147提供的在可视搜索结果(例如可携式摄像机的图像)中标识的一个或者多个标记(例如文本数据或者OCR数据和基于代码的标记，例如条形码)，如例如可携式摄像机的零件号/序列号。例如，如果移动终端的用户在可携式摄像机的零件号/序列号已经改变时在后续时机(例如在以后日期)将照相机模块指向可携式摄像机，则嵌入式设备147将请求可视搜索服务器54向它提供与可携式摄像机的新零件号/序列号关联的数据，并且新零件号/序列号在由搜索模块128的嵌入式设备147接收时提供给显示器28，该显示器示出可视搜索结果(即上例中的web页面)中嵌入的新零件号/序列号及其关联元信息。

嵌入式设备147能够实时动态地替换或者更新标记，比如OCR标记或者基于代码的标记，因为在嵌入式设备147标识可视搜索结果(例如可携式摄像机的图像)中的文本和基于代码的数据之后嵌入式设备147没有保存和取回在OCR/基于代码的算法119由标记控制单元135执行时起初检测到的标记(步骤1808)。实际上，当照相机模块随后指向可携式摄像机或者捕获可携式摄像机的图像时，嵌入式设备147访问可视搜索服务器以便获得与标记关联的新和/或更新信息。

在一个替代示例性实施例中，码/串查找和翻译单元141可以由标记控制单元135访问并且用来以存储于码/串查找和翻译单元141中的对应数据串(例如文本串)修改、替换和/或翻译OCR数据(例如文本数据)和基于代码的数据。例如在上例中，如果标记控制单元135检测到非英语语言的制造商名称的(在可携式摄像机的图像中的)文本(例如西班牙语文本)(即媒体内容)，则标记控制单元135能够执行OCR/基于代码的算法119并且从码/串查找和翻译单元141取回数据以将制造商名称的非英语语言(例如西班牙语)文本翻译成制造商名称的英语形式。就这一点而言，码/串查找和翻译单元141能够用英语版本对应内容的文本串替换非英语语言的文本串(或者通过执行OCR/基于代码的算法来标识的任何其它文本串)。此外，如果标记控制单元135在可携式摄像机的图像中检测到条形码(如在上例中那样)，则标记控制单元135能够执行OCR/基于代码的算法119并且从码/串查找和翻译单元141取回数据，该码/串查找和翻译单元可以用存储于码/串查找和翻译单元141中的一个或者多个其它串(如例如可携式摄像机的制造商(例如SONY_TM))替换条形码数据。存储于码/串查找和翻译单元141中的数据(例如文本串)可以链接到或者关联于OCR数据和基于代码的数据，并且这一链接或者关联可以适于作为如下触发器，该触发器也能够与让标记控制单元135修改、替换或者翻译作为执行OCR/基于代码的算法141的结果而标识的数据。

应当指出存储于码/串查找和翻译单元141中的替换串可以涉及将识别的字(作为执行OCR/基于代码的算法的结果来标识)翻译成另一语言(如上所述)和/或基于识别的字(作为执行OCR/基于代码的算法的结果来标识)来查找的内容和/或任何其它有关信息。例如，涉及动词变化、语法、定义、辞典内容、百科全书内容等的数据可以存储于码/串查找和翻译单元141中并且可以时域作为用于替换标识的OCR数据和/或基于代码的数据的一个或者多个串。一个或者多个串也可以包括但不限于码/串查找翻译单元141可以基于对OCR数据和/或基于代码的数据(例如条形码)的标识来标识的产品名称、产品信息、商标、型号/机型、制造商和/或任何其它关联属性。

移动终端10的用户也可以使用搜索模块128来创建链接到物理对象的一个或者多个标记，如例如基于代码的标记、OCR标记和可视标记。例如，用户可以将照相机模块指向对象如例如书籍或者捕获该对象的图像(即媒体内容)。书籍的图像可以经由媒体内容输入67提供给标记控制单元135。移动终端10的用户可以使用小键盘30来键入涉及书籍的元信息，比如价格信息、标题、作者的姓名、其中可以购书的web页面或者任何其它适当元信息并且例如将这一信息链接或者关联(即标记)到向标记控制单元135提供的OCR搜索(或者代之以基于代码的搜索或者可视搜索)。标记控制单元135可以代表用户存储这一信息(例如在用户简档中)或者经由输入/输出线147将这一信息传送到可视搜索服务器54和/或可视搜索数据库51。当照相机模块指向关联媒体内容即例如书籍或者捕获该媒体内容的图像时，通过将这一标记信息传送到可视搜索服务器54和可视搜索数据库51，可以向移动终端的一个或者多个用户提供与标记关联的信息。

这样，如果标记控制单元135随后接收媒体内容并且通过执行OCR/基于代码的算法119(或者可视搜索算法121)来执行OCR搜索(或者基于代码的搜索或者可视搜索)并且确定与书籍关联的数据在OCR搜索结果(或者基于代码的搜索结果或者可视搜索结果)内，则标记控制单元135可以向显示器28提供待示出的候选(例如书籍的名称、其中可以购书的web页面(例如BORDERS^TM的web站点、价格信息或者任何其它适当信息))列表。取而代之，当媒体内容(即书籍)与在可视搜索服务器54和/或可视搜索数据库51存储的关联数据匹配时，移动终端10的用户和/或其它移动终端10的用户可以从可视搜索服务器54和/或可视搜索数据库51接收候选(经由输入/输出线147)。

除此之外或者取而代之，还应当指出移动终端的用户可以利用OCR算法119(和/或可视搜索算法121)以生成OCR标记。例如，移动终端的用户可以将他的/她的照相机模块指向对象(例如书籍)或者捕获该对象的经由媒体内容输入67提供给标记控制单元135的图像。识别到对象(即书籍)的图像在它的封面上具有文本数据，标记控制单元135可以执行OCR算法119，并且标记控制单元135可以根据在书籍的封面上的文本数据中标识的它的标题来标注(即标记)书籍(此外，标记控制单元134可以标记书籍的封面上的检测到的文本以适于作为可以用来经由移动终端10的web浏览器联机搜索内容的关键字)。标记控制单元135可以代表用户存储这一数据(即书籍的标题)或者将这一信息传送到可视搜索服务器54和/或可视搜索数据库51，从而当一个或者多个移动终端的照相机模块36指向书籍或者捕获书籍的图像时，服务器54和/或数据库51可以将这一数据(即书籍的标题)提供给一个或者多个移动终端的用户。这节省移动终端的用户为了通过使用小键盘30等而人工输入元信息以便生成标记而需要的时间和精力。例如，当用户将照相机模块指向产品并且在产品上有已经包含涉及产品的信息的基于代码的标记时，这一信息也可以用来生成标记而无需用户人工输入数据。

当执行可视搜索算法121时，移动终端10的用户可以生成附加标记。例如，如果照相机模块36指向对象，如例如商店中的谷类食品盒，则涉及这一对象的信息可以经由媒体内容输入67提供给标记控制单元135。标记控制单元135可以执行可视搜索算法21，从而搜索模块128对谷类食品盒进行可视搜索。可视搜索算法可以生成可视结果，比如谷类食品盒的例如图像或者视频剪辑，并且在这一图像或者视频剪辑中可以包括向标记控制单元提供的诸如价格信息、谷类食品盒上的URL、产品名称(例如Cheerios^TM)、制造商的名称等其它数据。可视搜索结果中的这一数据如价格信息可以标记或者链接到可以代表用户存储于标记控制单元中的谷类食品盒图像或者视频剪辑，从而当移动终端的用户随后将他的照相机模块指向谷类食品盒或者捕获谷类食品盒的媒体内容(图像/视频剪辑)时，向显示器28提供信息(例如价格信息、URL等)。此外，这一信息可以传送到可以在用户将照相机模块指向谷类食品盒和/或捕获谷类食品盒的媒体内容(图像/视频剪辑)时向一个或者多个移动终端10的用户提供该信息的可视搜索服务器54和/或可视搜索数据库51。同样，这节省移动终端的用户为了通过使用小键盘30等人工输入元信息以便创建标记而需要的时间和精力。

如上所述，当移动终端10的用户从可视对象取回内容时可以使用由标记控制单元135生成的标记。此外，鉴于前述内容，应当指出用户可以通过使用搜索模块28从可视对象获得嵌入式基于代码的标记、获得向可视对象添加的OCR内容、基于位置和关键字(例如来自OCR数据获得内容并且通过使用基于关键字的过滤来消除多个选择。例如，当搜索涉及书籍的信息时，来自OCR搜索的输入可以包含可以如下信息如作者姓名和书籍标题，该信息可以用作为用于滤除无关信息的关键字。

本发明的示例性实施例有助于以向移动设备的用户提供更佳用户体验的统一和集成方式利用OCR搜索、基于代码的搜索和移动可视搜索。

应当理解可以通过各种装置如硬件、固件和/或包括一个或者多个计算机程序指令的软件来实施图6、图8、图10、图12、图14、图16和图18中所示流程图的各块或者步骤以及流程图中的块的组合。例如，上述一个或者多个过程可以由计算机程序指令体现。就这一点而言，体现上述过程的计算机程序指令可以由移动终端的存储器设备存储并且由移动终端中的内置处理器执行。如将认识到的那样，任何这样的计算机程序指令可以加载到计算机或者其它可编程装置(即硬件)上以产生机器，从而指令在计算机或者其它可编程装置(例如硬件)上执行以便实施在一个或者多个流程图块或者步骤中指定的功能。这些计算机程序指令也可以存储于计算机可读存储器中，该存储器可以指引计算机或者其它可编程装置以特定方式工作，从而存储于计算机可读存储器中的指令产生制造产品，该产品包括实施在一个或者多个流程图块或者步骤中指定的功能的指令装置。计算机程序指令也可以加载到计算机或者其它可编程装置上以造成在计算机或者其它可编程装置上进行一连串操作步骤以产生计算机实施的过程，从而在计算机或者其它可编程装置上执行的指令提供用于实施在系统中实现的指令的步骤。

可以用多种方式实现上述功能。例如，用于实现各上述功能的任何适当装置可以用来实现本发明。在一个实施例中，本发明的所有或者部分要素一般在计算机程序产品的控制之下操作。用于实现本发明实施例方法的计算机程序产品包括计算机可读存储介质(比如非易失性存储介质)和在计算机可读存储介质中体现的计算机可读程序码部分(比如一连串计算机指令)。

从前文描述和关联附图中呈现的教导中受益的在本发明涉及的领域中的技术人员将想到这里阐述的本发明的许多修改和其它实施例。因此将理解本发明并不限于公开的具体实施例并且将在所附权利要求书的范围内包括修改和其它实施例。虽然这里运用具体术语，但是在通用和描述的意义上而不是出于限制目的来使用它们。

Claims

1.一种方法，包括：

接收媒体内容；

分析与所述媒体内容关联的数据；

选择多个算法之中的第一算法；

执行所述第一算法并且根据所述第一算法执行一个或者多个搜索；以及

基于所述一个或者多个搜索来接收与所述媒体内容对应的一个或者多个候选。

2.根据权利要求1所述的方法，其中接收还包括接收元信息，并且分析还包括分析元信息。

3.根据权利要求2所述的方法，其中所述媒体内容包括现实世界中的一个或者多个对象，并且所述元信息包括所述媒体内容的特性、与终端关联的环境特性、与所述终端关联的地理特性以及与所述终端的用户关联的个人特性中的至少一个。

4.根据权利要求2所述的方法，其中所述元信息包括终端的位置或者所述媒体内容的位置中的至少一个。

5.根据权利要求4所述的方法，其中选择所述第一算法是基于所述位置。

6.根据权利要求1所述的方法，其中所述媒体内容包括图像、视频数据、图形动画、数字照片和音频数据中的至少一个。

7.根据权利要求1所述的方法，其中所述多个算法包括基于代码的搜索算法、光学字符识别(OCR)搜索算法和可视搜索算法。

8.根据权利要求2所述的方法，其中所述元信息包括限定用于在所述多个算法之中选择所述第一算法的标准的一个或者多个规则。

9.根据权利要求1所述的方法，还包括在接收一个或者多个候选之前执行所述多个算法之中的第二算法。

10.根据权利要求7所述的方法，还包括在接收媒体内容之前，确定所述媒体内容是否包括涉及基于代码的数据的属性，并且如果包括，则所述第一算法包括用于搜索与所述媒体内容关联的基于代码的数据的所述基于代码的搜索算法。

11.根据权利要求7所述的方法，还包括在接收所述媒体内容之前确定所述媒体内容是否包括涉及OCR数据的属性，并且如果包括，则所述第一算法包括用于搜索与所述媒体内容关联的OCR数据的所述OCR搜索算法。

12.根据权利要求7所述的方法，还包括在接收媒体内容之前：确定所述媒体内容是否包括涉及基于代码的数据的属性；

确定所述媒体内容是否包括涉及OCR数据的属性；以及

当所述媒体内容没有包括涉及基于代码的数据或者OCR数据的属性时，判决所述第一算法包括搜索所述媒体内容的可视属性的所述可视搜索算法。

13.根据权利要求1所述的方法，还包括在分析数据之前接收与终端用户的属性关联的一个或者多个限定输入，所述一个或者多个限定输入包括用于选择所述第一算法的规则。

14.根据权利要求13所述的方法，其中所述一个或者多个限定输入包括用户的语音、所述用户的手势、所述用户的触摸和由所述用户生成的输入数据中的至少一个。

15.根据权利要求2所述的方法，其中所述第一算法包括可视搜索算法并且还包括：

确定所述一个或者多个搜索是否标识与所述媒体内容关联的多个标记；

确定所述多个标记是否包括光学字符识别(OCR)标记、基于代码的标记或者可视标记，并且如果是：

则显示所述一个或者多个候选，其中所述一个或者多个候选包括与所述OCR标记关联的数据、与所述基于代码的标记关联的数据或者与可视标记关联的数据。

16.根据权利要求3所述的方法，其中所述一个或者多个候选中的各候选链接到所述一个或者多个对象、所述终端和所述用户并且对应于所需信息项。

17.一种方法，包括：

接收媒体内容和元信息；

执行一个或者多个搜索算法并且利用所述相应搜索算法对所述媒体内容执行一个或者多个搜索而且收集对应结果；以及

基于一个或者多个因子对所述结果赋予优先级。

18.根据权利要求17所述的方法，还包括：

接收所述赋予优先级的结果；

确定所述赋予优先级的结果的准确性；

对所述赋予优先级的结果重新赋予优先级；

将值分配给各所述重新赋予优先级的结果；以及

显示与一个或者多个所述重新赋予优先级的结果关联的一个或者多个候选。

19.根据权利要求18所述的方法，还包括以与所述重新赋予优先级的结果中的数据对应的顺序布置所述一个或者多个候选中的各候选。

20.根据权利要求18所述的方法，其中所述一个或者多个因子包括准确性数据、简洁和抽象数据以及与所述媒体内容关联的既定观众数据中的至少一个。

21.一种方法，包括：

接收媒体内容和元信息；

执行多个搜索算法之中的第一搜索算法并且检测与所述媒体内容关联的第一类型的一个或者多个标记；

确定第二类型和第三类型的一个或者多个标记是否与所述媒体内容关联；

执行所述多个搜索算法之中的第二搜索算法并且检测与所述第二类型和所述第三类型的一个或者多个标记关联的数据；

接收一个或者多个候选；以及

将所述一个或者多个候选中包括与所述第二类型和所述第三类型的一个或者多个标记对应的数据的相应候选插入到所述一个或者多个候选中与所述第一类型的一个或者多个标记对应的相应候选中，其中所述第一类型、第二类型和第三类型是不同的。

22.根据权利要求21所述的方法，其中所述第一搜索算法对应于可视搜索算法，所述第二算法对应于光学字符识别(OCR)搜索算法和基于代码的算法，并且其中所述第一类型、第二类型和第三类型的所述一个或者多个标记分别包括可视标记、OCR标记和基于代码的标记。

23.一种包括处理单元的设备，所述处理单元配置成：

接收媒体内容；

分析与所述媒体内容关联的数据；

选择多个算法之中的第一算法；

24.根据权利要求23所述的设备，其中所述处理单元还被配置成接收元信息并且分析所述元信息。

25.根据权利要求23所述的设备，其中所述媒体内容包括现实世界中的一个或者多个对象，并且所述元信息包括所述媒体内容的特性、与所述设备关联的环境特性、与所述终端关联的地理特性以及与所述设备的用户关联的个人特性中的至少一个。

26.根据权利要求23所述的设备，其中所述元信息包括所述设备的位置或者所述媒体内容的位置中的至少一个。

27.根据权利要求26所述的设备，其中所述选择所述第一算法是基于所述位置。

28.根据权利要求23所述的设备，其中所述多个算法包括基于代码的搜索算法、光学字符识别(OCR)搜索算法和可视搜索算法。

29.根据权利要求24所述的设备，其中所述元信息包括限定用于选择所述第一算法的标准的一个或者多个规则。

30.根据权利要求23所述的设备，其中所述处理单元还被配置成确定所述媒体内容是否包括涉及基于代码的数据的属性，并且如果包括，则所述第一算法包括搜索与所述媒体内容关联的基于代码的数据的所述基于代码的搜索算法。

31.根据权利要求28所述的设备，其中所述处理单元还被配置成确定所述媒体内容是否包括涉及OCR数据的属性，并且如果包括，则所述第一算法包括搜索与所述媒体内容关联的OCR数据的所述OCR搜索算法。

32.根据权利要求27所述的设备，其中所述处理单元还被配置成：确定所述媒体内容是否包括涉及基于代码的数据的属性；

确定所述媒体内容是否包括涉及OCR数据的属性；以及

当所述媒体内容没有包括涉及基于代码的数据或者OCR数据的属性时判决所述第一算法包括搜索所述媒体内容的可视属性的所述可视搜索算法。

33.根据权利要求23所述的设备，其中所述处理单元还被配置成接收与设备用户的属性关联的一个或者多个限定输入，所述一个或者多个限定输入包括用于选择所述第一算法的规则。

34.一种包括处理单元的设备，所述处理单元被配置成：

接收媒体内容和元信息；

基于一个或者多个因子对所述结果赋予优先级。

35.根据权利要求34所述的设备，包括处理单元，所述处理单元被配置成：

接收所述赋予优先级的结果；

确定所述赋予优先级的结果的准确性；

将所述赋予优先级的结果重新赋予优先级；

将值分配给各所述重新赋予优先级的结果；以及

36.一种包括处理单元的设备，所述处理单元被配置成：

接收媒体内容和元信息；

接收一个或者多个候选；以及

37.一种计算机程序产品，所述计算机程序产品包括至少一个计算机可读存储介质，所述计算机可读存储介质具有存储于其中的计算机可读程序码部分，所述计算机程序码部分包括：

第一可执行部分，用于接收媒体内容；

第二可执行部分，用于分析与所述媒体内容关联的数据；

第三可执行部分，用于选择多个算法之中的第一算法；

第四可执行部分，用于执行所述第一算法并且根据所述第一算法执行一个或者多个搜索；以及

第五可执行部分，用于基于所述一个或者多个搜索来接收与所述媒体内容对应的一个或者多个候选。