CN103814376A - 用于基于可用数据模式执行搜索的方法和装置 - Google Patents

Abstract

提供一种方案，其用于基于从可用传感器数据中的搜索项提取而执行搜索。该方案包括确定与至少一个设备关联的传感器数据，该传感器数据是从多个可用的数据模式中确定的。该方案还包括处理和/或促进处理传感器数据，以至少部分地致使为至少一个查询提取一个或多个搜索项。该方案还包括至少部分地基于与该至少一个设备关联的上下文信息、与该至少一个设备关联的用户简档信息，或它们的组合，来确定所述至少一个查询的一个或多个结果。

Description

用于基于可用数据模式执行搜索的方法和装置

背景技术

服务供应商和设备制造商（例如无线、蜂窝等）不断受到挑战，来例如通过提供令人满意的网络服务来向消费者提供价值和便利。手机视觉搜索是模式识别领域中的新模式；它建立在信息检索和视觉信息学的前提和研究上。十多年来，在台式机上的文本搜索和有线互联网搜索已经呈现出逐渐演变成具有很少约束的更加普遍和无处不在的访问信息的手段。随着移动设备的使用出现增加以及电信业务、传感器硬件的进步、和嵌入式软件平台的融合，在移动设备正在迅速成为普遍的移动技术的主要选择。

发明内容

因此，需要有一种方案用于基于从可用传感器数据中的搜索项目提取来执行搜索。

根据一个实施例，一种方法包括：确定与至少一个设备关联的传感器数据，该传感器数据是从多个可用的数据模式中确定的。该方法还包括处理和/或促进处理传感器数据，以至少部分地致使为至少一个查询提取一个或多个搜索项。该方法还包括至少部分地基于与该至少一个设备关联的上下文信息、与该至少一个设备关联的用户简档信息，或它们的结合，来确定所述至少一个查询的一个或多个结果。

根据另一个实施例，一种装置包括至少一个处理器，和包含用于一个或多个计算机程序的计算机程序代码的至少一个存储器，该至少一个存储器和该计算机程序代码被配置为，用该至少一个处理器，至少部分地使得该装置确定与至少一个设备关联的传感器数据，该传感器数据是从多个可用的数据模式中确定的。该装置还被使得处理和/或促进处理传感器数据，以至少部分地致使为至少一个查询提取一个或多个搜索项。该装置还被使得至少部分地基于与该至少一个设备关联的上下文信息、与该至少一个设备关联的用户简档信息，或它们的结合，来确定所述至少一个查询的一个或多个结果。

根据另一实施例，一种计算机可读存储介质承载一个或多个指令的一个或多个序列，当其由一个或多个处理器执行时，至少部分地使得装置确定与至少一个设备关联的传感器数据，该传感器数据是从多个可用的数据模式中确定的。该装置还被使得处理和/或促进处理传感器数据，以至少部分地致使为至少一个查询提取一个或多个搜索项。该装置还被使得至少部分地基于与该至少一个设备关联的上下文信息、与该至少一个设备关联的用户简档信息，或它们的结合，来确定所述至少一个查询的一个或多个结果。

根据另一实施例，一种装置包括部件，其用于确定与至少一个设备关联的传感器数据的部件，该传感器数据是从多个可用的数据模式中确定的。该装置还包括用于处理和/或促进处理传感器数据，以至少部分地致使为至少一个查询提取一个或多个搜索项的部件。该装置还包括用于至少部分地基于与该至少一个设备关联的上下文信息、与该至少一个设备关联的用户简档信息，或它们的结合，来确定所述至少一个查询的一个或多个结果的部件。

此外，对于本发明的多个示例性实施例，以下是适用的：一种方法，包括促进处理和/或处理（1）数据和/或（2）信息和/或（3）至少一个信号，该（1）数据和/或（2）信息和/或（3）至少一个信号至少部分地基于（或至少部分地来自于）本申请所公开的有关本发明任何实施例方法（或过程）的一种或任何组合。

对于本发明的多个示例性实施例，以下也同样适用：一种方法包括促进访问至少一个接口，其被配置为允许访问至少一个服务，该至少一个服务被配置为执行本申请所公开的网络或服务供应商方法（或过程）中的任何一个或任何组合。

对于本发明的多个示例性实施例，以下也同样适用：一种方法包括促进创建和/或促进修改（1）至少一个设备用户接口单元和/或（2）至少一个设备用户接口功能，该（1）至少一个设备用户接口单元和/或（2）至少一个设备用户接口功能至少部分地基于来自于本申请所公开的有关本发明任何实施例方法（或过程）的一个或任何组合的数据和/或信息，和/或来自于本申请所公开的有关本发明任何实施例方法（或过程）的一个或任何组合的至少一个信号。

对于本发明的多个示例性实施例，以下也同样适用：一种方法包括创建和/或修改（1）至少一个设备用户接口单元和/或（2）至少一个设备用户接口功能，该（1）至少一个设备用户接口单元和/或（2）至少一个设备用户接口功能至少部分地基于来自于本申请所公开的有关本发明任何实施例方法（或过程）的一个或任何组合的数据和/或信息，和/或来自于本申请所公开的有关本发明任何实施例方法（或过程）的一个或任何组合的至少一个信号。

在多个示例性实施例中，方法（或过程）可以在服务供应商侧或在移动设备侧被实现，或按照在服务提供商和移动设备之间的任何共享的方式通过在这两侧执行动作被实现。

对于多个示例实施例，以下是适用的：装置包括用于实现原始提交的权利要求1-10、21-30、和46-48的任何方法的部件。

简单地通过举例说明了一些具体实施例和实现方式，包括拟用于实施本发明的最佳方式，根据下面详细说明，本发明的其它方面、特征和优点是显而易见的。本发明还可以有其它和不同的实施例，并且其若干细节可以在多个明显方面进行修改，所有这些都不脱离本发明的精神和保护范围。因此，附图和描述在本质上被视为说明性的，而非限制性的。

附图说明

在以下附图中作为例子，而不是作为限制的方式示出本发明的实施例，其中：

图1是系统图，其能够根据一个实施例基于从可用传感器数据的搜索项提取来执行搜索；

图2是根据一个实施例的上下文/内容处理平台的组件图；

图3是流程图，其用于根据一个实施例基于从可用传感器数据中的搜索项提取来执行搜索；

图4A表示根据一个实施例被用于图3过程中的用户接口；

图4B表示根据多个实施例被用于图3过程中的用户接口；

图5A表示根据一个实施例边界框预处理扩展的例子；

图5B表示根据一个实施例边界框预处理扩展的流程图；

图6是能够被用于实现本发明实施例的硬件的图；

图7是能够被用于实现本发明实施例的芯片集；和

图8是能够被用于实现本发明的移动终端（例如手机）。

具体实施方式

用于基于从可用传感器数据中的搜索项提取来执行搜索的方法、装置和计算机程序的例子被公开。在下面的描述中，为了解释的目的，许多具体细节被阐述以便提供对本发明实施例的全面理解。然而，无需这些具体细节或者用等同配置本发明实施例可以被实现，这对本领域普通技术人员来说是显而易见的。在其他实例中，公知的结构和设备以框图的形式被示出，以避免不必要地模糊本发明的实施例。

如这里所使用的那样，术语上下文至少部分地指代所收集的所有的上下文数据、用户数据、和用户-设备交互数据（例如日期、时间、地点、活动、运动、位置、形态、时空单元等）收集，并且对于确定设备的当前状态和模式是特别有用的。此外，上下文信息可以通过分析有关用户或设备的历史数据来确定，以便使得能够实现在某种程度上对于期望的确定性或未来的设备状态或模式的预测手段。例如，如果观察到在白天的早晨用户经常访问一个特定的餐馆，根据这种倾向性（例如上午8点在该餐馆就餐），这些信息可以用于确定或定义有关该用户的上下文。因此，上下文信息的汇编可以被适当地分析，其中包括就附加数据和/或上下文模式进行参照，以用于使得能够相应地确定设备、设备用户或一个或多个其它关联用户和他们各自设备的上下文。

图1是一个系统图，其能够根据一个实施例基于从可用传感器数据中的搜索项提取进行搜索。OCR是从手写、打字或印刷文本的扫描图像到机器编码文本的机制或电子变换。OCR是使用在移动设备上的一个相当新的发展。移动视觉搜索也是模式识别领域的新范例；它建立在信息检索和视觉信息学的前提和研究上。十多年来，在台式机上的文本搜索和有线互联网搜索已经呈现出逐渐演变成具有很少约束的更加普遍和无处不在的访问信息的手段。随着移动设备的使用出现增加和电信业务、传感器硬件的进步，以及嵌入式软件平台的融合，在移动设备正在迅速成为普遍的移动技术的主要选择。

在配备了摄像头传感器、操作系统、图形处理单元和网络连接的移动设备功能的进步打开了高级的基于位置的服务，其允许用户通过使用主要兴趣点（“POI”）上下文数据和全球定位系统（“GPS”）生成位置信息的组合，在用于线移动搜索的增强浏览器中根据内容类型的不同种类来分析视觉内容和推断抽象。然而，对不同种类的内容（即条形码、OCR光学字符识别、二维平面物体和语音至文本）的识别不能被实时地以统一架构被实时实现。

问题也存在于最传统的文本区域检测算法，其检测字符并使用边界框来识别图像中的位置。一般来说，大多数算法作为OCR预处理阶段检测这些区域以获得改善和高效的检测。然而，由于OCR识别模块的位置碎片性，边界框（BBX）是不实际的。BBX描绘其中可能存在文本区域的区域，并向OCR输入该区域的坐标（x，y，宽，高）以用于识别。

对于名片来说，仅预处理文本区域是不够的，因为电话号码可能具有三块BBX，其导致对每个区域的分开的识别。一种方案是将输出的识别字符串串联起来形成句子。然而，这经常导致错误的结果。

存在对这样的能力需要，该能力能够对例如多个内容类型拍照或感应声音，并用最小文本条目来执行在线文本搜索。用户希望能够搜索信息，而无须使用视觉信息的高级抽象的文本字符串来描述所需信息。

为了解决这些问题并至少满足上述的需要，图1的系统100引入在移动设备领域增强OCR应用的能力。

系统100允许用户使用移动设备的传感器，诸如但不限于，GPS、光学和/或音频传感器，以基于音频、视觉或上下文位置线索，通过网页搜索在增强现实浏览器中实时地有效地访问信息。

如该图1所示，系统100包括用户设备（UE）101，其经由通信网络105连接到上下文/内容处理平台和社交网络服务107。该系统100还包括利用UE101或任何其它设备通过通信网络105可访问的搜索API109。

在一个或多个实施例中，通过将用户语音转换到文本，将视觉场景中检测到的对象转换为可搜索项，检测视觉场景中的文本（OCR），实时解码条形码等，系统100确定搜索所基于的数据。此框架允许通过与UE101关联的一个或多个传感器的传感器数据的多模态的入口点，和与关联于UE101和社会网络服务107中至少一个的用户的用户简档关联的模式识别引擎。该传感器数据可以被转换以便考虑到网页搜索，以确定从搜索API109提取的信息，该搜索API可以是增强现实浏览器。根据由一个或多个传感器111感测到的UE的地理位置，所得到的文本可以被变换为增强现实浏览器的显示器上的适当语言以用于网页搜索。

任何搜索和/或使用搜索API109的搜索结果的生产都基于对来自搜索API109的增强现实浏览器功能中的视觉场景的信息的交互、提取和抽象，搜索API109可操作地驻留在核心类型的模式识别处理单元内，其利用UE101的传感器111，传感器111例如是GPS、摄像机和音频传感器，以协助进一步限定高度抽象的搜索结果。搜索API109可以接收用户输入，诸如文本输入，和/或采用JPG图像格式（视觉）、视频、用户兴趣点（用户地理位置POI）、GPS数据以及用户语音（音频）形式的传感器数据，用户语音例如已被传感器111捕获。该传感器数据可以包含识别或转录的文本，其将被翻译成适当语言或者将被输入作为搜索的主题。

搜索API109例如可以支持图像相关的输入，诸如多行文本检测、条形码检测和对象检测，从而使得书籍封面、CD封面、名片、二维平面的营销材料和语音作为整体可以被识别、转录、翻译、显示给用户，成为可选择的，并且可作为输入，用于通过搜索API109的网页搜索引擎。

在一个或多个实施例中，从视觉场景中的交互、提取和抽象使用传感器111，以协助模式识别的自动加标签（高级文本标签）（例如根据图片检索系统词语索引袋或从OCR中提取的文本标签）。这旨在利用视觉和语音搜索以及由传感器111辅助的增强现实浏览器来例如确定位置。系统100也可以使用通过用户简档和用户语音可获得的数据来增强从视觉场景或语音输入中的数据提取，以及增强任何搜索结果。例如，用户可能会根据传感器111检测到的音频输入进行语音至文本搜索，结果是“关键字–‘黑天鹅’”的检索。根据从社交网络服务107或UE101处可获得的用户行为简档，例如联合通过传感器111确定的位置和上下文信息，系统可以除了针对给定关键词的简单的一对一匹配搜索结果外，推荐更多的信息。

举例来说，如果确定的位置是Leceister广场，则可以呈现在Leceister广场电影院处在这样的时刻上演“黑天鹅”的电影，其中所述这样的时刻为在与该搜索所确定时间有关的时刻，或在基于用户行为简档估计该用户在该区域内或可到达以观看电影的时刻。用户行为简档可用于将建议扩展至该区域（例如基于用户兴趣的意大利、牙买加、墨西哥）的餐馆和出租车（交通运输）电话号码、位置或任何其他行为建议，这些行为建议可能与UE101的位置、基于用户简档在特定时间的所估计位置有关，或者特别涉及该搜索，从而使得输出独立于传感器111所确定的传感器数据。这允许用户通用地搜索视觉场景、检测到的音频或地理位置，来发现与任何传感器数据有关的相关信息，该相关信息涉及可从社交网络服务107获得的用户行为简档。通过集成搜索API109与社交网络服务107的功能，POI位置可以基于用户的标注数据被更新，广告抵押品可以基于POI被推荐，可以执行文本搜索和用户类别概要分析，并且与社交网络服务107关联的联系人目录可以被更新以共享的自动标注的数据。

使用传感器111作为数据采集的手段和搜索输入缓解和自动化了视觉、音频和上下文提示（位置和用户行为）的用户输入，以在物理环境的增强浏览器中进行实时信息检索。

在一个或多个实施例中，上下文/内容处理平台103预先处理由传感器111感测的任何可能的文本输入，以协助进一步的定义OCR结果。例如，在对名片进行OCR处理的情况下，其中围绕电话号码所位于的可能的文本区域可以生成多个边界框，导致当单个搜索时多个BBX相对于想要的搜索（即针对整个电话号码）毫无疑义，预处理模块接收来自文本区域检测器的输入并根据文本行来使边界框成组以形成串联的边界框。

上下文/内容处理平台103在其预处理功能中支持多行文本检测，从而使得书籍封面、CD封面和名片作为整体可被识别、显示给用户、成为可选的，并且可以作为网络搜索引擎的输入。这种方法允许根据文本区域检测算法的边界框在由上下文/内容处理平台103进行OCR处理之前被分成组和合并起来。

在一个或多个实施例中，上下文/内容处理平台103对在相同文本行上的任何检测到的边界框合并和成组，以在OCR处理之前从一组边界框形成整个边界框或句子。例如，边界框可能按照格式（bx）=[x，y，宽，高]从文本检测算法输入。例如边界框可能是个矩形，其具有两个方向的长度，即x和y以及对应的宽度和高度。然而，应当指出的是，边界框可能是包围文本的任何形状，例如，它可能是正方形、三角形、圆形、椭圆形或任何多边形的，或弯曲的结构，包括圆弧与直的或弯曲的线的任意组合。上下文/内容处理平台103计算BBX的数量。上下文/内容处理平台103可以在四个方向[a，b，c，d]上扩展每个BBX。上下文/内容处理平台103还可以检测每个边界框的文本行。在预处理步骤中，上下文/内容处理平台103为每个边界框分配一个文本行号id。上下文/内容处理平台103还可以按照矩阵根据文本行来对BBX成组，通过文本行id来几何地合并和连接每个BBX。于是，上下文/内容处理平台103按照从图像顶部到底部的对成组后的BBX重新排列，并输出四个新的坐标系统和BBX的新号码。

在一个或多个实施例中，系统100允许用户从图像中提取信息，并以通过分析条形码（1D或2D）、二维平面对象，以及通过诸如通过OCR的文本输入或上述其他输入的最小的或无文本输入，来执行在线搜索。在该例子中，该图像是由传感器111输入的，传感器111可以是摄像机。输入图像被发送到上下文/内容处理平台103，在那里启动检测以识别在图像相中呈现的是哪种数据类型，例如条形码、文本、2D平面对象。内容被分析和/或预处理，内容的上下文信息以文本串的形式由上下文/内容处理平台103输出。

例如，参照由设备例如在搜索API109的增强现实场景中所显示的内容，经由传感器111的图像输入的条形码（ID和2D）、文本和2D平面方向分析被实时地完成。上下文/内容处理平台103可以具有多个处理区域或引擎，在那里执行对相关内容的识别。

例如，作为由上下文/内容处理平台103完成的任何处理的结果而产生的最终文本串可以是文本识别、2D平面对象识别或条形码识别引擎的产物。这种信息可以被用于通过搜索API109在线搜索相关信息或用于搜索数据库来查找匹配的已解码的条形码数字串。在这个上下文中，在基于从周围视觉信息中的提取而执行基于文本的搜索中，用户会自动得到帮助。

大多数传统的文本/图像处理系统是独立系统，重点在于仅解码条形码来定位数据库搜索或识别对象。这些系统的目的不是以统一方式结合专家系统以用于在线文本搜索。然而，上下文/内容处理平台确定适当的处理引擎以用于处理通过传感器111输入的图像，因为它区分各种数据类型并识别被配置为处理文本的处理引擎在操作上不同于被配置为处理条形码图像的处理引擎。

例如，文本识别包括预处理检测和OCR识别。具有多文本区域检测的文本区域定位和检测允许用户实时地在取景显示屏上选择相关的文本区域。通过检测和将条形码解码为文本数字串，条形码识别区分1D和2D条形码。2D平面识别检测在视觉场景（诸如显示在搜索API109的增强现实视图中的场景）的对象，将最低特征匹配至文本标签（即视觉对象的高级抽象）。上述文本/图像处理例子的每个种类可以有它自己的或所共享的相应处理引擎或系统，这些处理引擎或系统专用于专门的或共享类型的处理。

每个处理引擎或系统返回文本串，该文本串可以被用于使用搜索API109搜索相关信息。用户可以通过使用具有多种内容类型和多个专家识别引擎的统一框架来解码和推荐准备输入至搜索API109的关键字项，来得到即时信息。上下文/内容处理平台103处理每个监测器阶段和在每个相关专家系统或处理引擎之间的通信。

当确定适当的处理引擎时，上下文/内容处理平台103通知对于对象种类检测的置信度（confidence）=1和进度跟踪器（progress tracker）=1。例如，如果内容类型是已知的，则置信度值是1，并且如果它是未知的，则置信度是0。关于进度跟踪器，如果处理进度为完成，则该值是1，如果没有完成或超时，则该值为0。如果上下文/内容处理平台103产生置信度值=1并且内容的识别为假，则图像处理的请求可能超时并且“可能要求取消（cancel）事件”（进度跟踪器=0）。如果传感器111向上下文/内容处理平台103输入未知类型对象来进行评估，则该图像请求被“取消”（即置信度=0，进度跟踪器=0）。这种取消传回到上下文/内容处理平台103和客户端。在这种情况下没有任何图像处理的请求被实现，而结果集合是“空（NULL）”。

作为示例，系统100的通信网络105包括一个或多个网络，诸如数据网络、无线网络、电话网络、或它们的任意组合。可以设想，该数据网络可以是任何局域网（LAN）、城域网（MAN）、广域网（WAN）、公共数据网络（例如，因特网）、短程无线网络，或任何其它合适的分组交换网络，例如商用分组交换网络，私用分组交换网络（例如私用电缆或光纤网络等），或它们的任意组合。此外，无线网络例如可以是蜂窝网络，并且可以采用各种技术，包括增强型数据速率全球演进（EDGE）、通用分组无线业务（GPRS）、全球移动通信系统（GSM）、互联网协议多媒体子系统（IMS）、通用移动电信系统（UMTS）等、以及任何其他适当的无线介质，例如，全球微波接入互通（WiMAX）、长期演进（LTE）网络、码分多址（CDMA）、宽带码分多址（WCDMA）、无线保真（Wi-Fi）、无线局域网（WLAN）、蓝牙

、互联网协议（IP）数据广播、卫星、移动ad-hoc网络（MANET），和类似网络，或它们的任意组合。

UE101是任何类型的移动终端、固定终端或便携式终端，包括手机、站、单元、设备、多媒体电脑、多媒体平板电脑、互联网节点、通信器、台式电脑、笔记本电脑、笔记本电脑、上网本电脑、平板计算机、个人通信系统（PCS）设备、个人导航设备、个人数字助理（PDA）、音频/视频播放器、数码照相机/摄像机、定位装置、电视接收器、无线电广播接收器、电子书阅读器、游戏装置，或它们的任意组合，包括这些装置的附件和外围设备，或它们的任意组合。还可以设想的是，UE101可以支持任何类型的用户接口（诸如“可佩戴”电路等）。

作为例子，使用熟知的、新的或仍在开发的协议，UE101、上下文/内容处理平台103以及社交网络服务107彼此进行通信并与通信网络105的其他组件进行通信。在此上下文中，协议包括一组规则，其定义通信网络105中的网络节点如何基于通信链路上发送的信息彼此进行交互。该协议是在每个节点中的不同操作层处生效，从生成和接收各种类型的物理信号，到为发送这些信号选择链路，到格式化由这些信号指示的信息，到识别在计算机系统上执行的哪个软件应用程序发送或接收该信息。在开放系统互连（OSI）参考模型中描述了网络上用于交换信息的概念上不同的协议层。

在网络节点之间的通信通常通过交换离散数据分组来实现。每个分组通常包括（1）与特定协议相关联的报头信息，以及（2）跟在报头信息后并包含有可以独立于该特定协议而被处理的有效载荷信息。在一些协议中，分组包括（3）跟在有效载荷后并指示的有效载荷信息结束的尾部信息。报头信息包括诸如分组的源、目的地、有效载荷的长度，以及协议所使用的其他属性。通常，在有效负载中用于特定协议的数据包括用于与OSI参考模型的不同的更高层相关联的不同协议的报头和有效载荷信息。针对特定协议的报头信息通常指示包含在其有效载荷中的下一协议的类型。高层协议被认为是封装在较低层协议中。包含在穿越多个异构网络（例如互联网）的分组中的报头通常包括由OSI参考模型所定义的物理（层1）报头、数据链路（层2）报头、网络层（层3）报头和传输层（层4）报头，以及各种应用程序层（层5、层6和层7）报头。

图2是根据一个实施例的上下文/内容处理平台103的组件的图。作为例子，上下文/内容处理平台103包括一个或多个组件，用于基于从可用传感器数据的提取提供对检索项执行的搜索。可以设想的是这些组件的功能可被组合在一个或多个组件中或由同等功能的其他组件执行。在本实施例中，上下文/内容处理平台103包括控制逻辑201、通信模块203、内容处理模块205、上下文处理模块207、简档处理模块209、平面对象引擎211、1D条形码引擎213、文本引擎215、2D条码引擎217、未知对象类型检测器219，和搜索项/建议引擎221。

控制逻辑201与搜索API109通过通信模块203进行通信。例如，如果用户使用API启动搜索，其表明想要搜索在通过传感器111输入的图像和/或通过传感器输入的语音中找到的内容，则响应通过通信模块203通知给上下文/内容处理平台103的请求，控制逻辑201指示该内容处理模块205根据需要在处理该内容之前执行预处理，以基于该内容提取搜索项。预处理可以是一个过程，诸如上所述增强边界框来包围文本行。任何处理内容可以被发送到检索项/结果引擎221作进一步处理。

上下文处理模块207处理通过通信模块203传送给上下文/内容处理平台103的上下文信息，该信息涉及UE101和/或用户，包括但不局限于如上所述的位置、时间、温度等，其可以用于增强用于搜索的内容提取和/或抽象该搜索，以生成有关该内容和/或上下文的推荐。任何处理的内容可以被发送到搜索项/结果引擎221作进一步处理。简档处理模块209可以通过通信模块203访问与社交网络服务107和/或UE101关联的用户简档。简档处理模块209可以挖掘用户简档以确定用户简档信息，用户简档信息例如但不局限于行为倾向、兴趣和/或偏好，这可以被用于增强用于搜索的内容提取和/或抽象该搜索，以生成有关该内容、该上下文和/或用户简档信息的推荐。

平面对象引擎211、1D条形码引擎213、文本引擎215、2D条码引擎217和未知对象检测器219都是专门用于处理相应的内容类型。所以，如果内容处理模块205确定对于特定内容类型存在与适当引擎的匹配，则所处理内容被发送到适当引擎以进一步处理。如上面所讨论的，在各个实施例中，内容类型的确定和匹配可以基于置信度和进度值。如果内容类型是未知的，未知对象类型检测器可能会产生警告，来告知该对象类型是未知的，例如通过使所述处理超时，或者也可能依赖于未知内容类型的严重性，使得内容中的未知部分从任何进一步处理中被排除，从而使得可以针对至少可识别的内容类型来执行至少一部分搜索。

由任何模块或引擎生成的任何已处理的内容、上下文和/或用户简档信息接着由搜索项/结果引擎221进行处理。检索项/结果引擎221处理进入的内容、上下文和/或用户简档信息，以生成用于输入到网络浏览器的搜索项，该输入是自动的或是在搜索项生成后由用户输入。检索和/或结果可直接关联内容，或基于上下文和/或用户简档信息开发的所评估兴趣而与关联内容无关。搜索项/结果引擎221还使得结果被提供给与所生成搜索项有关的任何搜索，如上所述，其可能会呈现无缝地发生，而除了通过传感器111使得内容输入给UE101的用户和搜索API109外无需用户交互。

图3是一个过程的流程图，其用于根据一个实施例基于从可用传感器数据中的提取的搜索项执行搜索。在一个实施例中，上下文/内容处理平台103执行的过程300，并例如实现在如图6所示的包含处理器和存储器的芯片组中。在步骤301，上下文/内容处理平台103确定与至少一个UE101相关联的传感器数据。传感器数据从多个可用的数据模式中确定，诸如但不限于，光学、音频和/或文本。传感器数据可通过上述传感器111来检测。传感器111例如可以是照相机、麦克风、温度计、气压计、GPS等。传感器111，如果例如是光学，可以与关联于UE101和/或搜索API109的增强现实显示器相关联。增强现实显示器例如可以通过将该UE101指向物体来被使用，而过程300被实时执行，以根据由该增强现实显示器示出的内容生成搜索结果。

该过程继续到步骤303，其中上下文/内容处理平台103处理和/或促进处理传感器数据，以至少部分地致使提取用于至少一个查询的一个或多个搜索项。例如，传感器数据可以是包含文本的图像，该文本可以被处理以便用在搜索中，或者传感器数据可以是建筑物的图像，该图像可被处理以确定该建筑物的名称以作为搜索条目。可替代地，或者除了光输入之外，音频输入可以被处理并转换成文本，以从传感器数据中提取搜索项。另外，文本输入可以被直接使用，或考虑其它传感器数据和/或可用的上下文和用户简档数据而进行修改，以提取能够从文本输入中抽象出来的搜索项，以增强搜索、建议预期的搜索等。

该过程继续到步骤305，其中上下文/内容处理平台103至少部分地致使在传感器数据的一个或多个估计文本部分周围创建一个或多个边界框。如上所述，边界框可以是围绕估计文本区域的任何形状。然后，在步骤307中，上下文/内容处理平台103至少部分地致使对一个或多个边界框中的传感器数据执行光学字符识别。例如，如果传感器数据是包括一系列文本区域的图像，例如名片上的姓名和电话号码，边界框可被创建为围绕每一个估计的文本区域，例如，对于电话号码777-777-7777，边界框可能是三个分开的框。因为对每个单独的框执行OCR基本上是无用的，除了可能针对区域代码进行搜索，接着过程继续到步骤309，在此上下文/内容处理平台103处理和/或促进处理一个或多个边界框，以至少部分地致使扩展所述一个或多个边界框。扩展可能会在适合图像的任何方向。但是，如果图像是上下文/内容处理平台103确定的包括可以被解释为文本行的图像时，则过程继续到步骤311，其中上下文/内容处理平台103至少部分地致使扩展一个或多个边界框以包围文本行。例如，上下文/内容处理平台103针对每个边界框检测文本行，并为每个BBX分配文本行ID。上下文/内容处理平台103根据成阵列的文本行将BBX成组并且通过文本行编号ID用几何学合并和连接每一BBX。接着，上下文/内容处理平台103按照从图像顶部到底部的序列重新排列成组后的BBX，并输出新的四坐标系统和新的BBX编号。

接着，在步骤313，在其中有多个边界框剩余在图像中的情况下，例如一个边界框针对每个文本行，上下文/内容处理平台103确定提取所基于的一个或多个所选边界框。该过程继续到步骤315，其中上下文/内容处理平台103通过挖掘与社交网络服务107和/或UE101相关联的用户简档来确定包括该用户的一个或多个偏好和/或行为趋向的信息，以至少部分地致使基于该信息修改至少一个查询的一个或多个结果。

然后，在步骤317中，上下文/内容处理平台103至少部分地基于传感器数据所属的至少一个数据模式类型的可信度值，确定一个或多个可用处理引擎中的用于处理该传感器数据的处理引擎，其中该至少一个数据模式类型对应于该一个或多个可用处理引擎中的相应处理引擎。例如，上下文/内容处理平台103使用该内容处理模块205确定内容类型，并将该内容类型关联到专用于处理特定内容类型的处理引擎。然而，该处理引擎可能有能力处理多种内容类型，以便相对于针对每个已知内容类型的单独引擎具有更高资源使用率。

该过程继续到步骤319，其中上下文/内容处理平台103至少部分地基于与该至少一个设备相关联的上下文信息、与该至少一个设备相关联的用户简档信息，或它们的组合，确定至少一个查询的一个或多个结果。上下文/内容处理平台103也可以至少部分地基于与该至少一个设备相关联的用户简档信息，翻译传感器数据的至少一个查询的一个或多个结果。

图4A示出了一系列用户接口图401-407，根据各个实施例其用于图3的过程。用户界面401示出搜索API409。该搜索API409具有用于输入文本的域，以及可选的图像和语音输入按钮411和413。音频输入413被示为被选中状态。用户接口403示出了正在进行音频输入。音频输入可以是用户说出的，这样它可以被转换成文本，或其它音频输入，诸如可以被搜索的歌曲或其他声音。用户接口405示出上下文/内容处理平台103正在处理与任何检测到的上下文和/或用户简档信息相一致的所感应的数据。用户接口407示出由搜索API109输出的结果。在这个例子中，用户可以说出与电影“黑天鹅”有关的内容。搜索系统100将音频输入转换为可搜索的检索项“黑天鹅”，并考虑与该请求的时间和/或所感应位置有关的上下文信息，和/或考虑基于从关联用户简档中挖掘的信息的行为倾向，以建议该用户可能感兴趣的电影的电影场次和位置。

图4B示出了根据各个实施例用于图3的过程的一系列用户接口图401和419。用户接口401示出了搜索API409。该搜索API409具有用于输入文本的域，以及可选的图像和语音输入按钮411和413。图像输入411被示为被选中。用户接口401示出了所捕获的图像417，其示出一张名片，例如它是使用捕获按钮415捕获的。上下文/内容处理平台103执行上述边界框预处理步骤，并且输出名片421的图像，该图像具有已经被生成、处理和合并的边界框。根据示出输出图像的用户接口419，用户可以选择在图像421中的任何边界框，以用于输入到搜索中。该选择由指示器423表示，指示器423例如可以与用户接触或用于选择边界框以向搜索输入内容的其他部件相关联。

图5A示出了在名片501图像的上下文中进行边界框的预处理步骤的一个例子。然而，该预处理步骤可被用于其中将执行OCR的任何类型的图像。通过名片501的传感器111，图像被输入作为传感器数据。上下文/内容处理平台103指示内容处理模块205来处理名片501。内容处理模块205在估计的文本区域周围创建边界框503，并对边界框503中的区域执行OCR。接着，内容处理模块205处理边界框503和预测哪些区域是一整行文本。接着，内容处理模块205扩展边界框503来包括文本行以形成边界框505。如上面所述，边界框的扩展可以是任何方向，并且不限于图5A中的直线方向。例如，如果名片501的文本是倾斜的、弯曲的、圆形的等等，扩展可在任何方向上完成，以容纳任何格式或字体样式的文本。边界框505完全包围的文本行，从而使得分别以John Doe、公司和/或777-777-7777或作为一个整体进行的搜索可能生成相对于基于单个边界框503的搜索更有针对性的结果。从而，从任何选定边界框505中提取搜索。

图5B示出根据一个实施例用于图5A中出的边界框预处理步骤的过程550的流程图。过程550开始于步骤551，其中在传感器数据（例如上述从名片501上提取的图像）周围检测边界区域。该过程继续到步骤553，其中上下文/内容处理平台103搜索的图像垂直方向和水平方向，以检测边界框区域内的对象和可能的文本行。接着在步骤555，上下文/内容处理平台103将验证边界框之内检测到的文本行，并在步骤557中为检测到的边界框文本行分配指定行ID的索引号。

该过程继续执行到步骤559，其中上下文/内容处理平台103将被索引的边界框组成组，并在步骤561中通过索引行ID几何地合并/连接边界框。然后，在步骤563中，上下文/内容处理平台103迭代551-561的任一步骤来为每个文本行找到正确的边界框。接着，在步骤565，上下文/内容处理平台103以从传感器数据的顶部到传感器数据底部（即感应图像的顶部到底部）的序列重新排列成组的边界框。然后，在步骤567中，上下文/内容处理平台更新边界框计数和坐标。

这里所描述的基于从可用传感器数据中的搜索项提取来执行搜索的过程可以经由软件、硬件、固件或软件和/或固件和/或硬件的组合来有利地实现。例如，这里所描述的方法，可以经由（多个）处理器、数字信号处理（DSP）芯片、专用集成电路（ASIC）、现场可编程门阵列（FPGA）等有利地实现。用于实现所述功能的这种示例性硬件详述如下。

图6表示其上可实现本发明的计算机系统600。尽管参照特定设备或装置描述了计算机系统600，但可以设想图6中的其它设备或装置（例如网络单元，服务器等）可以应用所示的系统600的硬件或组件。计算机系统600是可被编程（例如通过计算机程序代码或指令），以如在此所述的那样基于从可用传感器数据的搜索项提取来执行搜索，并且可以包括通信机制，诸如总线610，用于在计算机系统600的其它内部和外部组件之间传递信息。信息（也被称为数据）被表示为可度量的物理量，典型的是电压，但在其它实施例中可包括如磁的、电磁、压力、化学、生物、分子、原子、亚原子和量子的相互作用等。例如，南北磁场、或零和非零电压，表示二进制数字的两个状态（0，1）。其他现象可以表示更高基数的数字。测量前多个同时发生的量子态的叠加表示量子位（量子比特）。一系列一个或多个数组成数字数据，其被用于表示用于字符的数字或代码。在某些实施例中，被称为模拟数据的信息由特定范围内几乎连续的可测量值表示。计算机系统600，或它的一部分组成用于实现基于从可用传感器数据的搜索项提取而执行搜索的一个或多个步骤的组件。

总线610包括一个或多个平行的信息导体，从而使得信息在耦合到总线610的设备间快速传递。用于处理信息的一个或多个处理器被耦合到总线610。

处理器（或多个处理器）602按照与基于从可用传感器数据的搜索项提取而执行搜索有关的计算机程序代码的指定，对信息执行一组操作。计算机程序代码是一组指令或提供指令的语句，以用于操作处理器和/或计算机系统实现指定功能。代码例如可以按照计算机程序语音来撰写，它可以编译成处理器的母语指令组。还可以直接使用母语指令组（例如机器语言）来撰写代码。这组操作包括从总线610取来信息和将信息置于总线610上。这组操作通常还包括比较两个或多个信息单元、移位信息单元、和合并两个或多个信息单元，诸如通过加法、乘法或像OR、异或操作OR（XOR）、和AND的逻辑操作。通过被称为指令的信息，例如一个或多个数字的操作码，向所述处理器表示可由处理器实现的这组操作的每个操作。由处理器执行的一系列操作，诸如一系列操作码，组成处理器指令，也被称为计算机系统指令或简单称为指令。处理器可以实现为机械的、电的、磁的、光的、化学的或量子组件，以及它们的组合。

计算机系统600还包括连接到总线610的存储器604。诸如随机存取存储器（RAM）或任何其他动态存储设备的存储器604保存信息，该信息包括用于基于从可用传感器数据的搜索项提取而执行搜索的处理器指令。动态存储器允许计算机系统600修改存储在其中的信息。RAM允许保存在被称为存储器地址的位置的信息单元独立于邻居地址的信息而被保存和获取。存储器604被处理器602用于保存在指令执行过程中的临时值。计算机系统600还包括只读存储器（ROM）606或耦合到总线610上的用于存储静态信息的任何其它静态存储器设备，所述静态信息包括不被计算机系统600修改的指令。某些存储器由易失性存储器组成，在掉电时它们会失去存储于其上的信息。还连接到总线610的是非易失性存储器（持久性）608，如磁盘、光盘或闪存卡，其用于存储即使计算机系统600关闭或掉电，仍然存在的信息，包含指令。

包括用于基于从可用传感器数据的搜索项提取而执行搜索的指令的信息被提供给总线610，以被来自外部输入设备612（诸如包含由人们操作的数字字母键的键盘、麦克风、红外（IR）远程控制、操纵杆、游戏垫、笔尖、触摸屏或传感器等）的处理器使用。传感器在它的附近检测状况，并将这些检测转换为与可用于在计算机系统600中表示信息的可测量物理现象兼容的物理表示。连接到总线610上主要用于与人们进行交互的其它外部设备包括显示设备614，诸如阴极射线管显示器（CRT）、液晶显示器（LCD）、发光二极管（LED）显示器、有机发光二极管（OLED）显示器、等离子屏幕或用于显示文本或图像的打印机，和指向设备616，诸如鼠标、轨迹球、光标方向键、或者运动传感器，用于控制在显示器614上呈现的小光标图像的位置并发布有关显示器614上呈现的通信单元相关联的命令。在某些实施例中，例如在其中计算机系统600自动执行所有功能而没有人工输入的实施例中，一个或多个外部设备612、显示设备614和指向设备616可以被省略。

在所示实施例中，诸如专用集成电路（ASIC）的专用硬件被耦合到总线610。专用硬件被配置为执行为了专用目的处理器602无法足够快地执行的操作。ASIC的例子包括用于生成显示器614的图像的图形加速卡、用于加密或解密通过网络发送的消息的加密板、语音识别、以及到特殊外部设备的接口，诸如机器人臂和医用扫描装置，其重复执行某些在硬件中更有效执行的复杂操作序列。

计算机系统600还包括耦合到总线610上的一个或多个通信接口670的实例。通信接口提供连接到多个外部设备的单向或双向通信，多个外部设备利用它们自己的处理器进行操作，诸如打印机，扫描仪和外部盘。一般来说，连接是通过与本地网络680连接的网络链路678，多个外部设备通过它们自己的处理器连接到本地网络680。例如，通信接口670可以是个人计算机上的并行端口或串行端口或通用串行总线（USB）端口。在某些实施例中，通信接口670是集成服务数字网络（ISDN）卡或数字用户线（DSL）卡或电话调制解调器，其为对应类型的电话线提供信息通信连接。在某些实施例中，通信接口670是线缆调制解调器，其将总线610上的信号转换为用于在同轴电缆上的通信连接的信号或用于光纤上的通信连接的光信号。作为另一个例子，通信接口可以是局域网（LAN）卡，以提供到兼容的LAN（诸如以太网）的数据通信连接。也可以实现无线链路。对于无线链路，通信接口670发送或接收或既发送又接收电的、声的或电磁的信号，包括红外和光信号，其载有诸如信号数据的信息流。例如，在无线手持设备中，诸如像蜂窝电话的移动电话中，通信接口670包括被称为无线收发器的无线电频带电磁发射器和接收器。在某些实施例中，通信接口670使得能够连接到通信网络105，以用于基于从UE101可用的传感器数据中的搜索项提取而执行搜索。

这里所述的术语“计算机可读介质”是指任何类型介质，其参与向处理器602提供信息，包括用于执行的指令。这种介质可采用任何形式，包括但不局限于计算机可读存储器介质（例如非易失性媒体，易失性媒体），和传输媒体。非瞬态媒体，诸如非易失性媒体例如包括光盘或磁盘，诸如存储器608。易失性媒体例如包括动态存储器604。传输媒体例如包括双绞线、同轴电缆、铜线、光纤、和穿越空间而无需线缆或电线的载波，诸如声波和电磁波，包括无线电、光和红外波。信号包括人造的以振幅、频率、相位、极性和其它通过传输媒体发送的物理属性表示的瞬态变量。计算机可读媒体的一般形式例如包括软盘，柔性盘，硬盘，磁带，任何其他磁性介质，在CD-ROM，CDRW，DVD，任何其它光学介质，穿孔卡片，纸带，光学标记片材，图案的任何其他物理媒体中的孔或其他的光学识别的标记，RAM，PROM，EPROM，FLASH-EPROM，EEPROM，闪速存储器，任何其它存储器芯片或盒式磁带，载波或计算机能够读取的任何其它介质。术语计算机可读存储介质在这里被用作指代除传输媒体外任何计算机可读介质。

编码在一个或多个有形介质上的逻辑包括计算机可读存储介质上的处理器指令和诸如ASIC620的专用硬件中的一个或两者。

网络链路678通常使用传输媒体通过一个或多个网络向使用或处理信息的其它设备提供信息。例如，网络链路678可通过局域网680向主机682，或向由互联服务供应商（ISP）操作的设备684提供连接。ISP设备684反过来通过公共、广域分组通信网络提供数据通信服务，该网络现在被通称为称为互联网690。

连接到互联网上被称为服务器主机692托管这样的过程，该过程提供服务以响应通过互联网接收到的信息。例如，服务器主机692托管这样的过程，其提供表示用于显示在显示器614上的视频数据600的信息。可以设想，系统600的组件可以按照各种配置被安置在其它计算机系统中，例如主机682和服务器692。

至少本发明的某些实施例涉及使用计算机系统600来实现这里所述的某些或所有技术。根据本发明一个实施例，这些技术由计算机系统600实现，以响应处理器602执行包含在存储器604中的一个或多个序列的一个或多个处理器指令。这些指令也被称为计算机指令、软件和程序代码，可以从诸如存储器设备608或网络链路678的另一个计算机可读介质上读入到存储器604中。对包含在存储器604中的指令序列的执行使得处理器602实现这里所述的一个或多个方法步骤。在可选实施例中，诸如ASIC620的硬件可被使用以替代软件或与软件相结合来实现本发明。从而，除非特别说明，这里的实施例并不局限于任何特定的硬件和软件组合。

在网络链路678和其它网络上通过通信接口600传输的信号将信息承载到计算机系统600，和承载来自从计算机系统600的信息。计算机系统600可以通过网络链路678和接口670通过网络680、690发送和接收信息，包括程序代码。在使用互联网690的实例中，在从计算机600发送的消息的请求下，服务器主机692通过互联网690、ISP设备684、局域网680和通信接口670发送具体应用的程序代码。当代码被接收到时，所接收的代码可由处理器602执行，或被保存到存储器604、存储设备608、或任何其它非易失性存储器中以用于以后执行，或者既执行又保存。在这种方式中，计算机系统600可按照载波上的信号的形式获得应用程序代码。

各种形式的计算机可读媒体可以参与将一个或多个序列的指令或数据或这两者加载到处理器602上用于执行。例如，指令和数据可以首先被承载在诸如主机682的远程计算机的磁盘上。远程计算机将指令和数据加载到它的动态存储器上，并使用调制解调器通过电话线发送指令和数据。计算机系统600本地的调制解调器在电话线上接收指令和数据，并使用红外发射器将指令和数据转换为在用作网络链路678的红外载波上的信号。用作通信接口670的红外探测器接收承载在红外信号中的指令和数据，并将表示指令和数据的信息置于总线610上。总线610将信息承载到存储器604，从那里处理器602获取它指令并使用与指令一起发送的某些数据执行指令。在由处理器602执行之前或之后，从存储器604接收到的指令和数据可选择地被保存于存储器设备608。

图7表示其上可实现本发明实施例的芯片组或芯片700。芯片组700可以被编程以基于从可用传感器数据中的搜索项提取来执行搜索，并例如包括参照图6所示的处理器和存储器组件，其被包含在一个或多个物理组（例如芯片）中。作为例子，物理组包括一个或多个材料、组件和/或在结构化集成（例如基板）上的线路的配置，以提供一个或多个特征，诸如物理强度、尺寸大小、和/或电交互限制。可以设想在某些实施例中，芯片组700可以在单个芯片中实现。还可以设想在某些实施例中，芯片组或芯片700可以实现为单个“片上系统”。还可以设想在某些实施例中，例如不使用单独的ASIC，而如这里所述的所有相关功能由处理器或处理器组实现。芯片组或芯片700或它的一部分组成部件，其用于执行一个或多个步骤，以提供有关可用功能的用户接口导航信息。芯片组或芯片700或它的一部分组成部件，用于实现基于从可用传感器数据的搜索项提取而执行搜索的一个或多个步骤。

在一个实施例中，芯片组或芯片700包括诸如总线701的通信机制，以用于在芯片组700的组件之间传递信息。处理器703具有到总线的连通性，以执行指令和处理例如保存在存储器705中的信息。处理器703可包括一个或多个处理核，每个核被配置为独立地执行。多核处理器使得能够在单个物理组中进行多个处理。多核处理器的例子包括两个、四个、八个、或更多数量的处理核。可替换地或附加地，处理器703还可包括一个或多个微处理器，其通过总线701被串联地配置为使得能够独立地执行指令、流水线和多线程。处理器703还可附加一个或多个专用组件来实现某种处理功能和任务，诸如一个或多个数字信号处理器（DSP）707，或一个或多个专用集成电路（ASIC）709。DSP707通常被配置为独立于处理器703实时地处理真实世界中的信号（例如声音）。类似地，ASIC709可以被配置为执行不易由通用处理器实现的专门功能。有助于这里所述的创造性功能的其它专用组件包括一个或多个现场可编程门阵列（FPGA）（未示出），一个或多个控制器（未示出），一个或多个其它专用计算机芯片。

在一个实施例中，芯片组或芯片700仅包含一个或多个处理器和支持和/或涉及和/或用于一个或多个处理器的某些软件和/或固件。

处理器703和附属组件必须通过总线701连接到存储器705。存储器705包括动态存储器（例如RAM、磁盘、可写入光盘等）和静态存储器（例如ROM、CD-ROM等），用于与保存可执行的指令，当指令被执行时实现这里所述的创造性的步骤，以基于从可用传感器数据中的搜索项提取来执行搜索。存储器705还保存有关创造性步骤执行的数据或由其生成的数据。

图8是用于通信的移动终端（例如手持设备）的示例性组件的图，其能够根据一个实施例运行于图1的系统中。在某些实施例中，移动终端801或它的一部分组成部件，以用于实现基于从可用传感器数据的搜索项提取而执行搜索的一个或多个步骤。通常，无线接收器通常以术语前端和后端特征来定义。接收器的前端包括所有射频（RF）电路，而后端包括所有基带处理电路。若本申请中所使用的那样，术语“电路”是指：（1）单纯硬件实现（诸如仅以模拟和/或数字电路实现）和（2）电路和软件（和/或固件）的结合（诸如，当适用于特定上下文中时，与处理器的结合，包括数字信号处理器、软件和存储器，它们一起工作使得诸如移动电话或服务器的装置实现各种功能）。“电路”的这种定义适用于在本申请（包括任一权利要求）中这个术语的所有使用场合。根据另一个例子，如本申请所使用那样和当可用于特定上下文中时，术语“电路”会覆盖单纯的处理器（或多个处理器）和它的（它们的）附带软件和/或固件的实现方式。当适用于上下文时，术语“电路”还将覆盖例如移动电话中的基带集成电路或应用程序处理器集成电路，或蜂窝网络设备或其他网络设备中的类似集成电路。

电话机的相关内部组件包括主控制器单元（MCU）803、数字信号处理器（DSP）805、和接收器/发射器单元，其包含麦克风增益控制单元和扬声器增益控制单元。主显示单元807向用户提供显示，以支持各种应用和移动终端功能，该移动终端功能实现或支持基于从可用传感器数据的搜索项提取而执行搜索中的步骤。显示单元807包括显示电路，其被配置为显示移动终端（例如移动电话机）的至少一部分用户接口。另外，显示单元807和显示电路被配置为促进用户控制移动终端的至少一部分功能。音频功能电路809包含麦克风811和麦克风放大器，其放大从麦克风811输出的语音信号。从麦克风811输出的放大后的语音信号被馈送到编码器/解码器（CODEC）813。

无线部件815放大功率并转换频率，以用来与通过天线817与包含在移动通信系统中的基站进行通信。如本领域熟知那样，功率放大器（PA）819和发射器/调制电路用来自PA819的输出可操作地响应MCU803，其中PA819耦合到双工器821或电路其或天线开关。PA819还耦合到电池接口和功率控制单元820。

在使用时，移动终端801的用户向着麦克风811讲话，她或他的语音连同检测到的任何背景噪音被转换成模拟电压。接着，通过模拟至数字转换器（ADC）823，模拟电压被转换成数字信号。控制单元803将数字信号路由到DSP805以在这里进行处理，诸如语音编码、信道编码、加密和内插。在一个实施例中，处理后的语音信号通过未单独示出的单元使用蜂窝传输协议被编码，所述蜂窝传输协议诸如增强型数据速率全球演进（EDGE）、通用分组无线业务（GPRS）、全球移动通信系统（GSM）、互联网协议多媒体子系统（IMS）、通用移动电信系统（UMTS）等，以及任何其它适当的无线介质，例如微波存取（WiMAX）技术、长期演进（LTE）网络、分码多重存取（CDMA）、宽带码分多址接入（WCDMA）、无线保真（WiFi）、卫星或它们的任意组合等。

接着，被编码的信号被路由到均衡器825，用于补偿在空中传输期间发生的频率依赖性损失，诸如相位和振幅失真。均衡比特流后，调制器827将信号与在RF接口829中生成的RF信号相合并。通过频率或相位调制，调制器827生成正弦波。为了准备用于发射的信号，上变频器831将来自调制器827的正弦波与由同步器833生成的另一个正弦波相合并，以获得所需要的发射频率。接着，通过PA819发送信号以将信号增加到适当的功率水平。在实际系统中，PA819充当可变增益放大器，它的增益由DSP805根据从网络基站接收的信息来控制。接着，信号在双工器821中被过滤并可选择地发送到天线耦合器835，以便匹配电阻，从而提供最大发射功率。最后，通过天线817将信号发送到基站。自动增益控制（AGC）可以被提供以控制接收器最后阶段的增益。信号在这里被转发到远程电话，远程电话可以是另一个蜂窝电话、任何其它移动电话或连接到公共交互电话网络（PSTN）上或其它电话网络的陆地线路。

发送给移动终端801的语音信号通过天线817被接收，并立即通过低噪音放大器（LNA）837被放大。当解调器841剥离RF而仅留下数字比特流时，下变频器839降低载波频率。接着，信号沿着均衡器825传送并由DSP805处理。数字模拟转换器（DAC）843转换信号并将生成的输出通过扬声器845发送到用户，这些全部受到主控制单元（MCU）803的控制，MCU803能够被实现作为中央处理器（CPU）。

MCU803从键盘847接收各种信号，包括输入信号。其他用户输入组件（例如麦克风811）相结合的键盘847和/或MCU803，包含用于管理用户输入的用户接口电路。MCU803运行用户接口软件，以促进用户控制移动终端801的至少某些功能，以基于从可用传感器数据中的搜索项提取而执行搜索。MCU803还分别向显示器807和语音输出切换控制器传送显示命令和切换命令。另外，MCU803与DSP805交换信息，并可以访问可选择地内含的SIM卡849和存储器851。另外，MCU803执行终端所需的各种控制功能。根据实施例，DSP805可以在语音信号上执行各种传统数字处理功能中的任何一个。另外，DSP805根据由麦克风检测到的信号确定本地环境的背景噪音水平并设置麦克风811的增益，以补偿移动终端801的用户的自然趋势。

CODEC813包含ADC823和DAC843。存储器851保存各种数据，包括呼入语音数据，并能够保存其它数据，包括例如通过全球互联网接收的音乐数据。软件模块可安置于RAM存储器、闪存、寄存器、或已知的任何形式的可写入存储器介质中。存储器设备851可以是但不局限于单个存储器，CD，DVD，ROM，RAM，EEPROM，光存储，磁盘存储器，闪速存储器的存储，或能够存储数字数据的其他任何非易失性存储介质。

可选地内含的SIM卡849载有例如重要信息，诸如蜂窝电话号码、载波提供服务、订购详情、和安全信息。SIM卡849主要服务用于识别在无线网络上的移动终端801。卡849还包含存储器，用于保存个人电话号码寄存器、文本消息、和用户指定的移动终端设置。

尽管已经结合许多实施例和实现方式描述了本发明，但本发明并不局限于此，而是覆盖落入后面权利要求的保护范围中的各种显而易见的修改和等同安排。尽管本发明的特征以权利要求中的某些结合来表示，但可以设想这些特征可以被安排成任何结合或顺序。

Claims (38)

1.一种方法，包括促进处理和/或处理（1）数据和/或（2）信息和/或（3）至少一个信号，所述（1）数据和/或（2）信息和/或（3）至少一个信号至少部分地基于以下：

与至少一个设备相关联的传感器数据，其中所述传感器数据是从多个可用数据模式中确定的；

对所述传感器数据的处理，其至少部分地致使为至少一个查询提取一个或多个搜索项；和

对所述至少一个查询的一个或多个结果的至少一个确定，其中所述确定至少部分地基于与所述至少一个设备关联的上下文信息、与所述至少一个设备关联的用户简档信息，或它们的结合。

2.如权利要求1的方法，其中所述（1）数据和/或（2）信息和/或（3）至少一个信号至少部分地基于以下：

对围绕所述传感器数据的一个或多个所估计文本部分的一个或多个边界框的创建；

对在所述一个或多个边界框内的传感器数据的光学字符识别；

对所述一个或多个边界框的处理，以至少部分地致使扩展所述一个或多个边界框；

对所述一个或多个边界框的扩展以包围文本行；和

一个或多个所选择的边界框，

其中所述提取至少部分地基于所选择的一个或多个边界框。

3.如权利要求2的方法，其中所述一个或多个边界框是通过每文本行几何地合并所确定的边界框而被扩展的。

4.如权利要求2-3的方法，其中所述一个或多个边界框被分配标识号，并按照从通过所述光学传感器感应的图像的顶部开始的顺序进行排序。

5.如权利要求2-4的方法，其中所述光学传感器与增强现实显示器关联。

6.如权利要求5的方法，其中关于由所述增强现实显示器所示出的内容而实时地检测和处理所述传感器数据。

7.如权利要求1-6的方法，其中所述至少一个查询的所述一个或多个结果是对所述传感器数据的变换，所述变换至少部分地基于与所述至少一个设备关联的用户简档信息。

8.如权利要求1-7的方法，其中所述（1）数据和/或（2）信息和/或（3）至少一个信号至少部分地基于以下：

通过挖掘所述用户简档而包含所述用户的一个或多个偏好和/或行为趋向的信息，以便至少部分地致使所述至少一个查询的所述一个或多个结果基于所述信息而被修改。

9.如权利要求1-8的方法，其中所述传感器数据是音频输入，并且所述音频输入被转换为文本信息。

10.如权利要求1-9的方法，其中所述（1）数据和/或（2）信息和/或（3）至少一个信号至少部分地基于以下：

对用于处理所述传感器数据的在一个或多个可用处理引擎中的一个处理引擎的至少一个确定，所述确定至少部分地基于置信度值，其中所述置信度值为所述传感器数据的与所述一个或多个可用处理引擎中相应处理引擎对应的至少一个数据处理类型。

11.一种装置，包括：

至少一个处理器；和

至少一个存储器，其包含有用于一个或多个程序的计算机程序代码，

所述至少一个存储器和所述计算机程序代码被配置为，用所述至少一个处理器，致使所述装置至少执行如下：

确定与至少一个设备关联的传感器数据，其中所述传感器数据是从多个可用数据模式中确定的；

处理和/或促进处理所述传感器数据，以至少部分地为至少一个查询提取一个或多个搜索项；以及

至少部分地基于与所述至少一个设备关联的上下文信息、与所述至少一个设备关联的用户简档信息，或它们的结合，来确定所述至少一个查询的一个或多个结果。

12.如权利要求11所述的装置，其中通过光学传感器来检测所述传感器数据，和所述装置被进一步致使：

至少部分地致使围绕所述传感器数据的一个或多个所估计文本部分，创建一个或多个边界框；

至少部分地致使对在所述一个或多个边界框内的传感器数据进行光学字符识别；

处理和/或促进处理所述一个或多个边界框，以至少部分地致使扩展所述一个或多个边界框；

至少部分地致使扩展所述一个或多个边界框以包围文本行；以及

确定一个或多个所选择的边界框，

其中所述提取至少部分地基于所选择的一个或多个边界框。

13.如权利要求12所述的装置，其中所述一个或多个边界框是通过每文本行几何地合并所确定的边界框而被扩展的。

14.如权利要求12-13所述的装置，其中所述一个或多个边界框被分配标识号，并按照从通过所述光学传感器感应的图像的顶部开始的顺序进行排序。

15.如权利要求12-14所述的装置，其中所述光学传感器与增强现实显示器关联。

16.如权利要求15所述的装置，其中关于由所述增强现实显示器所示出的内容实时地检测和处理所述传感器数据。

17.如权利要求11-16所述的装置，其中所述至少一个查询的所述一个或多个结果是对所述传感器数据的变换，所述变换至少部分地基于与所述至少一个设备关联的用户简档信息。

18.如权利要求11-17所述的装置，其中所述装置被进一步致使：

通过挖掘所述用户简档而确定包含所述用户的一个或多个偏好和/或行为趋向的信息，以便至少部分地致使所述至少一个查询的所述一个或多个结果基于所述信息而被修改。

19.如权利要求11-18所述的装置，其中所述传感器数据是音频输入，并且所述音频输入被转换为文本信息。

20.如权利要求11-19所述的装置，其中所述装置被进一步致使：

至少部分地基于置信度值，确定在一个或多个可用处理引擎中的至少一个处理引擎以用于处理所述传感器数据，其中所述置信度值为所述传感器数据的与所述一个或多个可用处理引擎中相应处理引擎对应的至少一个数据处理类型。

21.一种方法，包括：

确定与至少一个设备关联的传感器数据，其中所述传感器数据是从多个可用数据类型中确定的；

处理和/或促进处理所述传感器数据，以至少部分地为至少一个查询提取一个或多个搜索项；以及

至少部分地基于与所述至少一个设备关联的上下文信息、与所述至少一个设备关联的用户简档信息，或它们的组合，来确定所述至少一个查询的一个或多个结果。

22.如权利要求21所述的方法，其中传感器数据是通过光学传感器的，还包括：

至少部分地致使围绕所述传感器数据的一个或多个所估计文本部分，创建一个或多个边界框；

至少部分地致使对在所述一个或多个边界框内的所述传感器数据进行光学字符识别；

处理和/或促进处理所述一个或多个边界框，以至少部分地致使扩展所述一个或多个边界框；

至少部分地致使扩展所述一个或多个边界框以包围文本行；以及

确定一个或多个所选择的边界框，

其中所述提取至少部分地基于所选择的一个或多个边界框。

23.如权利要求22所述的方法，其中所述一个或多个边界框是通过每文本行几何地合并所确定的边界框而被扩展的。

24.如权利要求22-23所述的方法，其中所述一个或多个边界框被分配标识号，并按照从通过所述光学传感器感应的图像的顶部开始的顺序进行排序。

25.如权利要求22-24所述的方法，其中所述光学传感器与增强现实显示器关联。

26.如权利要求25所述的方法，其中关于由所述增强现实显示器所示出的内容实时地检测和处理所述传感器数据。

27.如权利要求21-26所述的方法，其中所述至少一个查询的所述一个或多个结果是对所述传感器数据的变换，所述变换至少部分地基于与所述至少一个设备关联的用户简档信息。

28.如权利要求21-27所述的方法，还包括：

通过挖掘所述用户简档而确定包含所述用户的一个或多个偏好和/或行为趋向的信息，以便至少部分地致使所述至少一个查询的所述一个或多个结果基于所述信息而被修改。

29.如权利要求21-28所述的方法，其中所述传感器数据是音频输入，并且所述音频输入被转换为文本信息。

30.如权利要求21-29所述的方法，还包括：

至少部分地基于置信度值，确定在一个或多个可用处理引擎中的至少一个处理引擎以用于处理所述传感器数据，其中所述置信度值为所述传感器数据的与所述一个或多个可用处理引擎中相应处理引擎对应的至少一个数据处理类型。

31.根据权利要求11-20所述的任何装置，其中所述装置是移动电话机，还包括：

用户接口电路和用户接口软件，其被配置为促进通过使用显示器对所述移动电话机的至少部分功能的用户控制，并被配置为响应用户输入；和

显示器和显示器电路，其被配置为显示所述移动电话机的至少一部分用户接口，所述显示器和显示电路被配置为促进对所述移动电话机至少部分功能的用户控制。

32.一种计算机可读存储介质，其承载有一个或多个序列的一个或多个指令，当其由一个或多个处理器执行时，使装置执行权利要求1-10或21-30中任何一个的方法。

33.一种装置，其包含有用于执行权利要求1-10或21-30中任何一个的方法的部件。

34.如权利要求33的装置，其中所述装置是移动电话机，还包括：

用户接口电路和用户接口软件，其被配置为促进通过使用显示器对所述移动电话机的至少部分功能的用户控制，并被配置为响应用户输入；和

显示器和显示器电路，其被配置为显示所述移动电话机的至少一部分用户接口，所述显示器和显示电路被配置为促进用户控制所述移动电话机的至少部分功能。

35.一种计算机程序产品，其包含一个或多个序列的一个或多个指令，当其由一个或多个处理器执行时，使装置执行权利要求1-10或21-30中任何一个的方法。

36.一种方法，包含促进访问至少一个接口，其中所述至少一个接口被配置为允许访问至少一个服务，所述至少一个服务被配置为执行权利要求1-10或21-30中任何一个的方法。

37.一种方法，包括至少部分地根据权利要求1-10或21-30中任何一种方法来促进处理和/或处理（1）数据和/或（2）信息和/或（3）至少一个信号。

38.一种方法，包括促进创建和/或促进修改（1）至少一个设备用户接口单元和/或（2）至少一个设备用户接口功能，所述（1）至少一个设备用户接口单元和/或（2）至少一个设备用户接口功能至少部分地基于权利要求1-10或21-30中任何一个的方法。

Images