CN104239382B - 用于内容检索的上下文智能标记 - Google Patents

Abstract

本发明的实施例涉及用于内容检索的上下文智能标记。根据本发明的实施例方法包括：在信息处理装置的用户输入装置处获得用户输入的搜索数据；访问上下文数据；基于上下文数据使用一个或多个处理器对用户输入的搜索数据进行优化；利用优化的用户输入的搜索数据，使用一个或多个处理器搜索存储的标记数据的存储库，以识别与一个或多个存储对象相匹配的一个或多个存储标记；以及使用一个或多个处理器返回搜索的一个或多个结果，所述一个或多个结果指示与存储的标记数据相关联的一个或多个存储对象。本发明还描述并要求保护了其他方面。

Description

用于内容检索的上下文智能标记

技术领域

本发明涉及信息处理的技术领域，具体地涉及用于内容检索的上下文智能标记。

背景技术

信息处理装置(“装置”)具有多种形式，例如膝上型计算装置、平板计算装置、智能电话、电子阅读器、MP3播放器等。这样的装置被配置用于媒体消费，并且用户通常在装置上存储“文件”，例如音乐、视频、图像、文档等(在下文中简称为“对象”)。

例如，通常装置的用户可能具有数千个分散跨越他或她的装置的对象(文件、图像、内容等)。与之相对应，随着云计算和远程存储的出现，用户可能具有分散跨越许多装置(例如膝上型计算机、平板计算机、智能电话、工作站等)和在(一个或多个)云存储装置中的对象。用户可以记住与他或她希望检索的对象有关的一些事物，但是用户经常发现仍然难以快速查找希望检索的对象。例如，许多装置创建帮助很小的媒体文件名(例如与由智能电话捕捉并且存储在本地智能电话上和存储在云中或其他网络连接装置中的数字图像相对应的编号)。即使在用户选择可记忆的文件名或存储文件夹的情况下，进行对象检索仍具有挑战性。通常对象分散遍布于一个和/或多个装置并且从检索的角度来看没有很好地组织对象。

发明内容

总之，一方面提供了一种方法，包括：在信息处理装置的用户装置处获得用户输入的搜索数据；访问上下文数据；基于上下文数据使用一个或多个处理器对用户输入的搜索数据进行优化；利用优化的用户输入的搜索数据，使用一个或多个处理器搜索存储的标记数据的存储库，以识别与一个或多个存储对象相匹配的一个或多个存储标记；以及使用一个或多个处理器返回搜索的一个或多个结果，所述一个或多个结果指示与存储的标记数据相关联的一个或多个存储对象。

另一方面提供了一种信息处理装置，包括：一个或多个用户输入装置；一个或多个处理器；存储器装置，其存储一个或多个处理器可访问的指令，该指令可由所述一个或多个处理器执行以进行如下操作：从一个或多个用户输入装置获得用户输入的搜索数据；访问上下文数据；基于上下文数据使用一个或多个处理器对用户输入的搜索数据进行优化；利用优化的用户输入的搜索数据，使用一个或多个处理器搜索存储的标记数据的存储库，以识别与一个或多个存储对象相匹配的一个或多个存储标记；以及使用一个或多个处理器返回搜索的一个或多个结果，所述一个或多个结果指示与存储的标记数据相关联的一个或多个存储对象。

进一方面提供了一种计算机程序产品，包括：存储介质，其包含计算机可读程序代码，所述计算机可读程序代码包括：被配置成获得用户输入的搜索数据的计算机可读程序代码；被配置成访问上下文数据的计算机可读程序代码；被配置成基于所述上下文数据使用一个或多个处理器对所述用户输入的搜索数据进行优化的计算机可读程序代码；被配置成利用优化的用户输入的搜索数据使用一个或多个处理器搜索存储的标记数据的存储库以识别与一个或多个存储对象相匹配的一个或多个存储标记的计算机可读程序代码；以及被配置成使用一个或多个处理器返回搜索的一个或多个结果的计算机可读程序代码，所述一个或多个结果指示与存储的标记数据相关联的一个或多个存储对象。

前述的描述是概要性的说明，从而会包含细节的简化、概括和省略；因此，本领域的技术人员能够理解概要仅仅是说明性的并且不意在以任何方式进行限制。

为了更好地理解实施方式以及实施方式的其他和另外的特征和优点，结合附图对以下说明进行参考。本发明的范围将在所附权利要求中指出。

附图说明

图1示出了信息处理装置电路的示例。

图2示出了信息处理装置电路的另一示例。

图3示出了创建对象的智能标记的示例方法。

图4示出了检索智能标记对象的示例方法。

图5示出了用于获得智能标记数据的示例方法。

图6示出了用于对对象的智能标记数据进行优化的示例方法。

图7示出了在考虑其他对象的情况下用于对对象的智能标记数据进行优化的示例方法。

图8示出了在考虑上下文数据的情况下对智能标记搜索查询进行优化的示例。

具体实施方式

容易理解，除所描述的示例实施方式之外，此处附图中的总体描述和实施方式的部件可以以多种不同的配置来布置和设计。因此，如在附图中表示的，对示例实施方式的以下更详细的描述并非意在限制实施方式要求保护的范围，而是仅代表示例实施方式。

在本说明书全文中，对“一个实施方式”或“实施方式”(等)的引用意味着结合实施方式所描述的特定特征、结构或特性包含在至少一个实施方式中。因此，在本说明书全文的各处所出现的短语“在一个实施方式中”或“在实施方式中”等未必都指代同一实施方式。

此外，在一个或多个实施方式中，可以以任何适当的方式对所描述的特征、结构或特性进行组合。在下面的描述中，提供了许多具体的细节以给出对实施方式的透彻的理解。然而，相关领域的技术人员将认识到，可以在不具有一个或多个具体细节的情况下，使用其他的方法、部件、材料等实施各种实施方式。在其他的实例中，未详细示出或描述公知的结构、材料或操作以避免混淆。

如本文进一步详述的那样，当用户试图查找他或她想要的对象时通常面临严重的挑战，并且快速查找对象通常面临加倍的挑战。这样的用户将极大地受益于下述检索机制，该检索机制基于用与“你将记住一年或更久时间的某件(某些)事物”有关的数据来标注对象的原则进行操作。当然对对象创建时间进行费力的规划也可以提供这样的功能(例如手工输入这类信息)，但是对对象创建时间的处理给用户带来了负担。例如，需要一个标记系统，该标记系统允许用户仅通过记得他或她自然记住的与对象有关的事物来查找他或她想要的查找的对象。一些非限制性示例包括用户记得去年冬天他或她与Bill和Ted在餐厅，或者记得对象是一份由特定公司致力于在2015年发布的与传感器有关的文档。此外，用户可能不记得(一个或多个)对象，而仅记得在某个地方保存了一些相关的对象，例如用户可能想要具有能力以查找与第一对象相似的对象(相同的人、相同的主题等)。

现在用户受限于他们的对象检索选择。例如，用户基本上限于仅通过文件名和/或修改文件的日期和/或某种类型文件的文件内的信息(例如包含在Microsoft WORD文档内的词)进行搜索。遗憾的是，从可用性的角度来看，这要么是完全无效的(例如视频文件上的文件名是机器生成的编号)，要么是令人厌烦的，因为这不是我们记住与对象有关的线索(并且不一定在对象中)的思维工作方式，尤其是在对象是非数据对象(图片、视频等)或者是用户没有创建的数据对象的情况下。

因此，本发明的实施方式提供了使用智能标记进行对象检索的能力。例如，本发明的实施方式允许语音(例如语音数据)用户在创建对象时创建包含与该对象相关联的元数据的标记。作为示例，考虑智能电话上的照相机应用程序。在实施方式中，当用户准备拍摄照片时(例如打开照相机应用程序)，实施方式询问用户他或她是否想要添加智能标记。如果用户想要添加智能标记，则实施方式允许智能标注，例如收集语音数据以为对象(例如照片)创建智能标记。

例如，如果用户碰巧拍摄Bob的50岁生日宴会的照片，则用户可以简单地说“Bob的50岁生日宴会”以提供语音输入，以便为待生成的对象即照片创建智能标记。然后这个信息被处理(例如使用语音到文本机构进行变换)并且存储为一个或多个分离的标记，该标记具有将其链接到对象(照片)的链接/命名规范。贯穿扩展这个总的主题来描述示例实施方式，例如提供针对视频、办公文件等创建的智能标记。此外，用于智能标记创建的数据源可以来源于许多源，并且以多种方式与多种对象相关联。如贯穿作为例子的本说明书所列举的那样，这些智能标记、它们的创建、使用、管理以及处理由各个实施方式提供，这极大地减轻了对象检索的任务。

参照附图将会最好地理解所示出的示例实施方式。下面的描述意在仅作为示例，并且仅示出了某些示例实施方式。

参照图1和图2，虽然在信息处理装置中可以利用各种其他电路、电路系统或部件，但是对于智能电话和/或平板电路200，图2示出的示例包括基于ARM的系统(片上系统)设计，其中软件和(一个或多个)处理器集成在单个芯片210中。内部总线等取决于不同的供应商，但是基本上所有的外围装置(220)都可以附接到单个芯片210。与图1示出的电路形成对照，平板电路200将处理器、存储器控制器和I/O控制器集线器全部集成到单个芯片210中。此外，基于ARM的系统200通常不使用SATA或PCI或LPC。公共接口例如包括SDIO和I2C。

存在(一个或多个)电力管理芯片230，例如电池管理单元BMU，该电力管理芯片230对例如经由可再充电电池240供应的电力进行管理，该可再充电电池240可以通过连接到电源(未示出)而再充电。在至少一个设计中，单个芯片如210用于提供类似BIOS的功能和DRAM存储器。

基于ARM的系统200通常包括WWAN收发器250和WLAN收发器260中的一个或多个，用于连接到各种网络如电信网络和无线基站。通常，基于ARM的系统200包括用于数据输入和显示的触摸屏270。基于ARM的系统200通常还包括各种存储装置，例如闪存280和SDRAM290。

图1就其部分而言描绘了信息处理装置电路、电路系统或部件的另一示例的框图。图1所描绘的示例可以对应于计算系统，例如由位于北卡罗来纳州莫里斯维尔的联想(美国)公司销售的THINKPAD系列个人计算机或其他装置。根据本文的描述可以明显看出，实施方式可以包括其他特征，或仅仅包括图1中示出的示例特征中的某些特征。

图1的示例包括所谓的芯片组110(一组一起工作的集成电路或芯片，芯片组)，该芯片组110具有可以根据制造商(例如INTEL、AMD、ARM等)而变化的体系结构。芯片组110的体系结构包括核与存储器控制组120以及I/O控制器集线器150，该I/O控制器集线器150经由直接管理接口(DMI)142或链路控制器144交换信息(例如数据、信号、命令等)。在图1中，DMI142是芯片到芯片的接口(有时被称为“北桥”与“南桥”之间的链路)。核与存储器控制组120包括经由前端总线(FSB)124交换信息的存储器控制器集线器126和一个或多个处理器122(例如单核或多核)；注意，组120的部件可以被集成在芯片中，该芯片代替传统的“北桥”式体系结构。

在图1中，存储器控制器集线器126与存储器140对接(例如为可被称为“系统存储器”或“存储器”的一类RAM提供支撑)。存储器控制器集线器126还包括用于显示装置192(例如CRT、平板、触摸屏等)的LVDS接口132。块138包括可以经由LVDS接口132(例如串行数字视频、HDMI/DVI、显示端口)支持的一些技术。存储器控制器集线器126还包括可以支持独立显卡136的PCI-Express接口(PCI-E)134。

在图1中，I/O集线器控制器150包括SATA接口151(例如用于HDD、SDD、180等)、PCI-E接口152(例如用于无线连接182)、USB接口153(例如用于诸如数字化仪、键盘、鼠标、照相机、电话、麦克风、存储装置、其他连接装置等的装置184)、网络接口154(例如LAN)、GPIO接口155、LPC接口170(用于ASIC171、TPM172、超级I/O173、固件集线器174、BIOS支持175以及诸如ROM177、闪存178和NVRAM179的各种类型的存储器176)、电力管理接口161、时钟发生器接口162、音频接口163(例如用于扬声器194)、TCO接口164、系统管理总线接口165以及可以包括BIOS168和启动代码190的SPI闪存166。I/O集线器控制器150可以包括千兆位以太网支持。

系统在通电时可以被配置成执行存储在SPI闪存166内的用于BIOS168的启动代码190，此后，在一个或多个操作系统和应用软件(例如存储在系统存储器140中)的控制下处理数据。操作系统可以存储在各种位置中的任何位置处，并且例如可以根据BIOS168的指令来访问。如本文所描述的，装置可以包括比图1的系统中示出的特征更少或更多的特征。

如本文所述，例如图1和图2中所述的信息处理装置可以提供智能标记功能。图1和图2中所述的示例装置是非限制性的示例，并且可以利用别的一个或多个装置。该装置可以在对象创建时、对象创建后或对象创建前提供智能标记。通篇描述了智能标记的关联、组织和使用，并且所给出的特定示例实质上是非限制性的。

图3中概述了智能标记创建的总体概况。在步骤310中，实施方式确定用户是否选择智能标注。这可以以多种方式实现。例如，参考用户使用智能电话的照相机应用程序拍摄照片的环境，实施方式可以在拍摄照片前，例如当启动照相机应用程序时询问用户。可替代地或此外，实施方式也可以在拍摄照片后向用户询问智能标注选项。如果用户不希望从事智能标注(一个或多个)对象，则可以在步骤320中进行正常处理(例如仅用常备文件名将照片保存在预定位置处)。

如果用户选择智能标注，则在步骤330中，实施方式可以访问数据以创建一个或若干个智能标记。在上述与照片有关的示例中，这可以包括捕捉用户的语音输入，但这绝非限制性的。也可以使用智能标记数据的其他来源，例如位置信息(例如来自装置的GPS)、时间信息(例如来自装置的时钟或日历应用程序)、上下文信息(例如用于类似对象的其他智能标记)。关于可用智能标记数据的丰富性和广泛性，本发明将给出各种示例。

在步骤340中，实施方式为对象(例如刚捕捉或待捕捉的照片)创建智能标记。如本文进一步所述，然后该智能标记如“Bob的50岁生日”与对象进行链接或以其他方式进行关联，使得在检索活动中可以提供定位功能。

因此，在办公文档的示例中，在最初保存时实施方式可以在步骤310中询问用户他或她想要如何描述该对象。或者，如果用户从电子邮件保存文件，则实施方式可以在步骤310中询问用户他或她想要如何描述该对象。然后，实施方式在步骤330和340中便于为所讨论的对象创建(一个或多个)智能标记，并且在步骤350中创建链接或关联，从而允许向用户提供高级检索选项。此外，一旦用户例如向第一相片提供了智能标记，实施方式就可以基于相似性度量自动地将相同或类似的智能标记提供给其他对象，例如在接下来x单位时间内在相同地点拍摄的所有其他相片可以携带相同的标记，因此不需要对每个相片重新标注。

例如，参照图4，实施方式可以提供搜索应用程序，该搜索应用程序允许用户输入元数据、亦即对应于智能标记的元数据，以减轻对象搜索和检索的负担。因此，实施方式允许用户在步骤410中启动检索应用程序并且简单地说“查找Bob的50岁生日的照片”。实施方式可以使用过滤，例如将不是作为搜索和检索所基于的那种数据的而仅将其输入当作与短语的关键词相关联的命令的某些词如“查找”移除。此外，实施方式可以对(一个或多个)输入使用分析，例如语音输入示例中的语言分析，以将所说的短语解析为多个组成部分。

如在步骤420中所指示的那样，实施方式可以允许用户提供多于一个的输入或连续的输入流。因此，随着用户添加更多的输入(例如说更多的词)，搜索变得更加优化。在这方面，应当意识到对象可以具有许多(例如几百或几千)与其相关联或相链接的智能标记。因此，在实施方式中，可以使用初始输入开始搜索，并且根据用户提供的输入的特性在步骤430中不断地对搜索进行优化。

如将会意识到的那样，这允许实施方式以匹配几千个对象(例如仅匹配“Bob的”)的搜索开始，并且将结果列表缩小到几百个对象(例如匹配“Bob的”和“50岁”二者)，并且进一步缩小到几十个对象(例如匹配“Bob的”和“50岁”和“生日”所有这些词)等。可选地，用户在步骤420和/或430中可以提供多于一个模式的输入。例如，实施方式还可以在结果列表缩小到最终几个对象的情形下，接收用于最终选择排序的手势(例如与用户的搜索特别相关的结果列表中的对象缩略图图标或预览上的手指输入)。应当理解的是，在查询中搜索的智能标记可以包括来自现有(传统的)元数据(例如通常与文件相关联的位置、日期等)的数据。如本文所述，用户还可以以打字的方式进行输入而不是以说的方式进行输入，或者可以对输入方法进行某种适当的组合。因此，实施方式提供了数据亦即智能标记的附加来源，其可以被搜索并用于检索链接的对象。

用于智能标记的语音数据

虽然本地和基于网络的搜索引擎是强大的，但是它们主要搜索文件名和其他元数据，这些可能不匹配用户对相应对象自然进行的思维。最终，许多搜索导致用户通过一般可应用的搜索命中的长列表进行搜索，或者完全放弃搜索。

因此实施方式基于在对象创建期间检测到的语音数据，利用“自然关联”智能标记的自动创建或提示收集。在一个实施方式中提供了一种机制，该机制用于通过对音频进行挖掘来自动建立可能的智能标记，该音频可以是在对象创建期间(例如记录带有音频的运动视频时)或在对象创建后(例如拍摄快照后)捕获的音频。

参照图5，在步骤510中创建对象后，实施方式可以在步骤520中分析对象的音频数据(例如视频文件的音频数据)，并且/或者在步骤540中在对象创建结束时，例如记录或拍快照结束时，向用户提示前n个标记选项和/或自动选择的一个作为智能标记。应当注意，可以另外或代替地进行步骤520中的分析，以在开始创建对象时提示用户和/或在对象创建结束时提示用户。然后，一旦对象完成，实施方式可以运行步骤520来自动将智能标记添加到用户创建的智能标记。

可以基于对确定哪一个或多个词对未来对象检索重要或相关的分析来识别和/或选择智能标记。如本文所述，可以使用多种技术。一个示例包括识别名字、事件或动词(或其组合)，其允许推断上下文以及由此而来的重要性。

作为示例，如果用户在视频中被记录说“这是Jimmy的第一个生日！”以及“他正在吹灭蜡烛”，则实施方式可以在步骤520中分析文件的音频部分，以识别要在步骤540中呈现给用户的智能标记选项。例如，实施方式可以提供第一智能标记选项“Jimmy的第一个生日”和第二智能标记选项“吹灭蜡烛”等。

如果智能标记例如基于相关性将要被自动选择作为分析的一部分，则实施方式可以向用户推荐单个智能标记(即所选择的智能标记)，可以将智能标记自动施加到对象，或者可以突出显示所选择的智能标记，例如供用户核准。

在实施方式中，机制可以减少步骤520中分析的数据或者区分该数据的优先次序。例如，自动记录可以优先挖掘视频记录的前x秒或最后x秒，或拍快照后的x秒，例如以便选择与对象创建相关的特定时间，这更可能捕捉到相关的音频以便创建智能标记。随着时间流逝，用户可以定制乃至学习何时提供语音数据，使得可以创建特别重要的智能标记。

如本文所述，实施方式可以补充用于创建智能标记的数据。例如，如果在步骤530中没有识别出可能的语音标记，则实施方式可以在步骤550中提示用户提供智能标记数据(例如语音输入)。实施方式可以提供附加分析，以确定发生了什么而阻止了合适的智能标记数据收集。例如，如果在步骤530中实施方式确定没有识别出智能标记选项，则实施方式可以确定在语音记录有效的情况下没有检测到语音记录或者检测到微弱的语音记录。实施方式可以分析这个过程，例如通过波束形成设置进行自动切换，以确保不是因为噪声消除的问题。作为这个分析的结果，实施方式可以自动调节设置(例如噪声消除)，或者可以向用户提供具有(一个或多个)如此建议的校正的提示。

对附加数据的提示可以发生在各种时间，例如，如上述示例所述，在步骤520中的音频分析后、在对象创建完结时、在对象创建前等。因此，向用户提示智能标记数据可以不依赖于实施方式不能自动建议智能标记，而是可以补充这个过程。

在这方面，例如作为在步骤550中针对智能标记数据提示用户的一部分，实施方式可以将装置试图获得智能标记数据的通知提供给用户。这样的通知可以具有多种形式，例如当语音记录开始和结束时有助于通知用户的听觉、触觉或屏幕上的反馈。这个通知可以包括在针对智能标记数据而对用户的分开的提示中，并且/或者可以在其他(一个或多个)时间发生，例如当装置自动记录语音数据时(例如在对象创建开始和结束时)。

类似地，实施方式可以访问附加数据以选择或推荐智能标记。作为示例，实施方式可以对跨越对象(例如在相似的时间和/或位置记录的视频文件或快照)的音频进行聚集挖掘。因此，可能发生的是，大部分相关智能标记出现在6个快照中的两个快照期间(在一系列的快照中，其中所有6个快照大约在相同的时间和位置拍摄)。在分析每个对象的智能标记数据之后，可以确定“Jimmy的第1个生日”是每个对象共有且相关的短语。然后，快照可以具有所施加或推荐(重新排序)的智能标记，例如“Jimmy的第1个生日_1”、“Jimmy的第1个生日_2”等。因此，例如在一系列快照中的最后一个之后，实施方式可以进行后对象创建分析，以便提供对智能标记数据的进一步分析。这向用户提供了能力以检查和编辑用于对象的(一个或多个)智能标记，乃至以前选择的智能标记。

当对象(例如照片文件)存储在中央存储库(例如云文件夹)中时，也可以使用这样的方法。因此，如果不同的装置共享类似的度量(例如时间和位置)以及自动捕获的智能标记，则实施方式可以跨越从这些不同装置(例如从多个智能电话)捕捉的文件进行挖掘。

强标记

各种实施方式可以利用多种数据源来形成并且优化智能标记。作为示例，作为对用户提供语音或其他输入作为对象的智能标记数据的来源的替代，或者除了这个过程之外，实施方式可以分析对象本身的数据。此外，实施方式可以处理智能标记数据以创建标记或“强”标记的优化集合。

作为示例，在创建对象(例如视频文件)后，可以对文件的音频进行分析以创建强标记。“强”标记是这样一种标记，该标记具有充分的描述性和选择性，使得除所讨论的对象(例如这个例子中的视频文件)外不会有很多匹配。为了确定用于选择强标记的描述性得分，例如通过例如经由使用命名实体识别(NER)过程确定相关的词和短语，实施方式可以在步骤620中通过分析来运行或以其他方式处理音频，以识别用于对象的智能标记。NER将音频映射到合适的名字如人名或地名，以及每个这样的名字的类型是什么(例如人、位置、组织)。

在步骤620中已经识别出对象的智能标记之后，实施方式可以在步骤630中对对象的智能标记进行排序，以便识别对象的强标记。例如，在视频过程中可以建立表格或其他组织结构，以记住每个NER项目的实例的数目。实施方式还可以通过语音识别处理视频，并且识别由视频所有者或装置用户所说的NER项目。视频所有者或装置用户可以是视频对象的创建者和/或视频对象的当前所有者。

通过对视频内具有最高计数的NER项目进行排序，并且/或者向所有者或装置用户所说的NER项目给予乘数，使得它们朝向起始处(具有较高的排名)移动，实施方式可以在步骤640中选择强标记。如本文进一步所述，然后实施方式可以使用每个NER项目对先前创建的视频进行搜索，以查看对特定对象而言NER项目的选择性如何。所选择的对象(例如视频)的数量越少，则该NER项目的选择性得分越高。

因此，通过获取更具选择性的项目并且将它们移动到更靠近起始处的位置(使它们排名更高)，实施方式可以重新设置NER项目的排序。因此，给定所使用的(一个或多个)分析方法和排序方法，通过选择具有最高排名的智能标记，这样一来就可以在步骤640中选择对象的强标记。

如本文所述，实施方式然后可以使用搜索应用程序，该搜索应用程序允许用户输入潜在的智能标记(或其部分)，并且随着用户添加更多的智能标记，搜索变得更优化。由于实施方式对智能标记加权重或提供用于(一个或多个)对象的(一个或多个)强标记，所以用户能够用最小的输入量(例如所说的词)获得预期的对象。这还可以用于减少对象的智能标记的数量，因为实施方式可以移除一些被识别为智能标记但是排名足够低而不保证保留的数据。

跨越对象的聚合标注

如图7所示，在各种时间，例如当在步骤710中创建每个新对象时，实施方式的处理(例如实时处理和/或作为后台处理的后处理)可以将在步骤720中已经选择的新对象的智能标记与现有对象的智能标记(包括强标记)进行比较。在步骤730中为了比较而选择的对象可以基于一个或多个相似性度量，例如与对象相关联的类似的时间和/或位置。因此在Bob的50岁生日宴会的示例中，在该时间帧和该位置内拍摄的所有的照片对象都可以组在一起，作为用于这种比较的“组”。除了或者代替上述给出的示例，还可以使用其他的相似性度量。

在步骤740中可以访问和分析组内的每个对象的智能标记。例如，实施方式可以在步骤740中分析其他对象的智能标记，以确定对象组的“最强”标记，并且/或者可以在步骤750中以某种方式对对象的各种智能标记的排名进行重新排序。“最强”标记具有充分的描述性和选择性，使得在“组”外不会有很多匹配。步骤740中的分析的性质可以为频率和/或权重相关性中之一。

例如，为了确定得分或排名，实施方式可以通过相关性分析如命名实体识别(NER)过程来运行每个智能标记。智能标记中的人、地点、位置、组织等的实例越多，则NER得分越高。

作为步骤740中的分析的一部分，实施方式还可以使用对象的强标记对先前创建的对象组进行搜索，以查看强标记的选择性如何。所选择的组的数量越少，则选择性得分越高。来自所讨论的组中的具有最高得分(例如结合NER和选择性得分)的智能标记可以当作该组的最强标记。类似地，可以基于这样的组分析对其他智能标记重新排序或重新排名。

因此在步骤750中，实施方式可以基于相似对象组来选择和/或重新排序智能标记(包括选择强标记)。然后，除对组内对象唯一的那些标记(强标记或智能标记)外，例如基于组分析确定的最强标记可以添加到所讨论的组内的每个对象。实施方式可以将这扩展为一旦对象存储在中心存储库(例如云文件夹)中就使用。因此实施方式可以跨越从不同装置(例如从多个智能电话)捕捉的对象进行挖掘(例如如果它们共享相似的度量如创建时间、位置等)以创建云组。实施方式可以使用云内的更大数量的对象重新创建新的最强云标记，并且将该标记添加到云组中的所有对象，例如作为一种全局最大最强的标记。

此外或者可替代地，可以以组聚焦的方式对智能标记进行分析，以选择(或重新选择)对象的强标记。因此，基于在步骤740中对对象组的分析，对象可以具有为之选择的强标记。考虑到这样的分析，先前所选择的强标记可以在步骤750处被修改，例如将新的强标记添加到先前分配了另一强标记的对象。应当理解的是，新的强标记可以选自对象的现有较弱标记(先前没有被选择作为强标记的智能标记)的列表，或者可以是全新的标记(即经由组分析识别的并且给定对象先前没有包括的智能标记)。

因此，实施方式可以利用从对象组分析收集的知识来进行关于智能标记的明智决定，包括智能标记的排序或排名和/或强标记的选择。再者，组可以基于单个装置，或者可以基于多个装置(例如在云组的示例中)。实施方式可以在各种时间例如在创建(捕捉、保存、下载、传递等)对象时实时地和/或在进行后处理或间歇步骤时(例如每日、每周等)提供这样的基于组的分析。

具有添加的上下文相关性的智能标记

参照图8，实施方式提供了一种强标记和较弱标记结合使用的方法，以及一种涉及机器置信因子和用户评级机制的评级系统。将许多弱形式的数据与强形式结合在一起的这种方法允许返回结果的显著更高的精确度，从而给予用户更少数量的结果以进行过滤，甚至少到不会返回错误的结果。

在实施方式中，对两种或更多类型的智能标记数据进行管理，例如对机器生成的智能标记数据和用户创建的智能标记数据进行管理。相关性可以根据特定搜索查询和对用户的推测来确定。

例如，取决于搜索查询中使用的词，实施例将会对指向智能标记存储库的查询中包含的智能标记的置信度进行评级。因此，如果用户提交了对特定日期拍摄的照片的搜索查询，则在照片对象的智能标记中具有日期信息的机器生成数据会具有高优先级(就相关性而言)。另一示例会利用查询中与用户的其他已知信息有关的相关性，其他已知信息例如用户库中存储的音乐和系统中用户的通讯录。

因此，例如如果用户具有大量的在近一个月内没有听过的特定艺术家的音乐，并且在用户的通讯录中用户还具有与艺术家的名字相同的外甥，那么在考虑到搜索查询的上下文的情况下，使用该名字亦即由艺术家和外甥共享的名字的查询可以给出不同的结果。亦即，搜索可以查找到与艺术家相关的对象如音乐文件、与外甥相关的对象如照片文件或者这两种类型都有的对象。

实施方式利用附加的上下文数据来为搜索提供添加的上下文相关性。例如，假定上周末在用户装置的日程表上存在指示外甥的生日宴会的事件。在搜索查询中除外甥的名字的关键词之外(可由用户提供)，现在实施方式具有一条附加的信息，用于辅助对对象的搜索查询。此外，如果用户提供“名字为A的照片”的搜索查询，则实施方式将具有许多条信息：1)用户查询名字A；2)用户已有一段时间没有听名字为A的艺术家；以及3)用户在查找照片(例如搜索并不是要“播放名字A”)。此外，实施方式至少具有两条与时间相关的信息，即1)外甥最近刚过生日(即上周日程表事件)和2)外甥是通讯录中的名字。这两个基于时间的项目和用户正在查找照片的事实致使实施方式更强地倾向于通讯录中的外甥，因此实施方式可以提供搜索，该搜索还隐含地添加日期范围(例如包括在生日的日期范围内创建或获得的对象)，连同用户提供的智能标记(即照片和名字A)。

因此，实施方式使用新的搜索标记如下：“名字A”、“照片”以及“名字A的生日的日期/时间”。因此，如图8所示，实施方式首先在步骤810中接收输入(例如用户所说的智能标记)以开始搜索查询。然后，实施方式在步骤820中访问附加数据，该附加数据对于推测输入的搜索标记数据的上下文有用。如本文所述，该上下文数据的来源可以包括通讯录数据、日程表数据等，但是不限于此。可以在装置上(例如用户搜索历史、购买历史等)访问附加数据，此外或可替代地，可以访问基于云的数据(例如可以访问云中的这个和/或相关用户的数据以为搜索添加上下文)。上下文数据可以是从装置应用程序和传感器中的一个或多个导出或获得的数据。例如，上下文数据可以包括位置数据或指示位置的数据、环境因子(例如温度、光、湿度等)、生物计量数据(例如使用传感器来检测或推测用户的情绪、血压、面部表情等)。此外，上下文数据涉及的对象可以为多种对象类型，例如可以是用户创建或使用的文件如文字处理文档、PDF文档、文本文档等。

在步骤820中获得附加上下文数据后，实施方式可以在步骤830中修改或优化搜索输入(例如将附加智能标记添加到搜索)。然后可以在步骤840中发出该优化的搜索，以搜索智能标记数据的存储库并且检索对象，该对象具有链接到该对象且与查询中使用的智能标记相匹配的智能标记。这个搜索再次可以是本地搜索(即限于用户装置的对象)，并且/或者可以包括其他装置(例如保存在云存储数据中的对象、链接到接收查询的装置的附加用户装置(例如在云账户中被链接))等。然后，实施方式在步骤850中将指示找到的与搜索相匹配的对象的结果返回给用户。当然，用户可以通过对结果进行排序、发出附加查询、对在步骤830中如何修改搜索查询进行修改等方式对结果进行优化。因此，这个过程可以在必要时重复，直到向用户返回匹配用户意图(亦即链接到用户意在查找的智能标记的特定对象)的结果列表为止。

本领域的普通技术人员将容易理解，各种实施方式或各种实施方式的某些特征可以实施为计算机程序产品，在该计算机程序产品中可由处理器执行的指令存储在计算机可读介质或装置可读介质上。可以利用一个或多个非信号装置可读介质的任何组合。非信号介质可以是存储介质。存储介质可以是任意非信号介质，例如电子的、磁的、光学的、电磁的、红外线的或半导体的系统、设备或装置，或前述的任何适当的组合。存储介质的更多的具体示例可以包括如下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式压缩磁盘只读存储器(CD-ROM)、光存储装置、磁存储装置，或前述的任何适当的组合。

可以使用任何适当的介质，包括但不限于无线、有线、光纤线缆、RF等或前述的任何适当的组合传输存储介质上的程序代码。

可以以一种或者多种编程语言的任何组合来编写用于执行操作的程序代码。程序代码可以完全在单个装置上执行、部分地在单个装置上执行、作为独立软件包部分地在单个装置上且部分地在另一装置上执行，或者完全地在其他装置上执行。在某些情况下，可以通过任何类型的连接或网络(包括局域网(LAN)或广域网(WAN)、个人局域网(PAN))来连接装置，或可以通过其他的装置(例如通过使用因特网服务提供商的因特网)或通过硬线连接(例如通过USB连接)来进行连接。

本文参照附图描述了多个方面，这些附图示出了根据各种示例实施方式的示例方法、装置和程序产品。将要理解的是，示出的动作和功能可以至少部分地由程序指令来实现。可以将这些程序指令提供给通用信息处理装置、专用信息处理装置或其他的可编程数据处理装置或信息处理装置的处理器，以产生一种机构，使得经由装置的处理器执行的指令能够实现指定的功能/动作。

程序指令还可以存储在装置可读介质中，该装置可读介质可以引导装置以特定的方式运行，以使得存储在装置可读介质中的指令能够生产一种制造产品，该产品包括实现指定的功能/动作的指令。

程序指令还可以加载到装置上，以使得待在装置上执行的一系列的操作步骤产生一种装置实现的方法，在装置上执行的指令提供用于实现指定的功能/动作的方法。

本发明提出的公开内容用于说明和描述的目的，而非意在穷举或限制。对本领域的技术人员来说，许多修改和变化是明显的。本发明中选择并描述的示例实施方式用于说明原理和实际应用，并且使得本领域其他技术人员能够理解本发明的具有各种修改的各种实施方式适合于预期的特定用途。

因此，尽管本文参考附图描述了说明性的示例实施方式，但是应当理解该描述不是限制性的，并且在不偏离本公开内容的范围或精神的情况下，本领域技术人员可以作出各种其他变化和修改。

Claims (14)

1.一种信息处理方法，包括：

在信息处理装置处获得用户输入的搜索数据；

访问上下文数据；

基于所述上下文数据使用一个或多个处理器对所述用户输入的搜索数据进行优化；

利用优化的用户输入的搜索数据，使用一个或多个处理器搜索存储的标记数据的存储库，以识别与一个或多个存储对象相匹配的一个或多个存储标记；以及

使用一个或多个处理器返回搜索的一个或多个结果，所述一个或多个结果指示与存储的标记数据相关联的一个或多个存储对象；

其中所述上下文数据包括从所述信息处理装置获得的上下文数据，以及从一个或多个其他装置获得的上下文数据；

所述一个或多个其他装置包括经由基于云的关联而相关联的一个或多个装置，所述一个或多个其他装置在云账户中被链接。

2.根据权利要求1所述的方法，其中，所述上下文数据包括从装置应用程序、传感器和具有指示位置的数据的元件中的一个或多个获得的数据。

3.根据权利要求1所述的方法，其中，存储的标记数据的存储库包括从用户输入导出的标记和从机器输入导出的标记中的一个或多个标记。

4.根据权利要求3所述的方法，其中，所述上下文数据影响所述一个或多个标记中的哪个标记在搜索中权重更高。

5.根据权利要求3所述的方法，其中，从用户输入导出的一个或多个标记从与对象数据分开提供的用户输入导出。

6.根据权利要求5所述的方法，其中，所述用户输入包括语音输入、文本输入、触摸和手势中的一个或多个。

7.根据权利要求1所述的方法，其中，所述一个或多个存储对象包括以下中的一个或多个：

存储在所述信息处理装置上的一个或多个对象；以及

存储在所述信息处理装置可访问的其他装置上的一个或多个对象。

8.一种信息处理装置，包括：

一个或多个用户输入装置；

一个或多个处理器；

存储器装置，其存储所述一个或多个处理器可访问的指令，所述指令可由所述一个或多个处理器执行以进行如下操作：

从所述一个或多个用户输入装置获得用户输入的搜索数据；

访问上下文数据；

基于所述上下文数据使用所述一个或多个处理器对所述用户输入的搜索数据进行优化；

利用优化的用户输入的搜索数据，使用所述一个或多个处理器搜索存储的标记数据的存储库，以识别与一个或多个存储对象相匹配的一个或多个存储标记；以及

使用所述一个或多个处理器返回搜索的一个或多个结果，所述一个或多个结果指示与存储的标记数据相关联的一个或多个存储对象；

其中所述上下文数据包括从所述信息处理装置获得的上下文数据，以及从一个或多个其他装置获得的上下文数据；

所述一个或多个其他装置包括经由基于云的关联而相关联的一个或多个装置，所述一个或多个其他装置在云账户中被链接。

9.根据权利要求8所述的信息处理装置，其中，所述上下文数据包括从装置应用程序、传感器和具有指示位置的数据的元件中的一个或多个获得的数据。

10.根据权利要求8所述的信息处理装置，其中，存储的标记数据的存储库包括从用户输入导出的标记和从机器输入导出的标记中的一个或多个标记。

11.根据权利要求10所述的信息处理装置，其中，所述上下文数据影响所述一个或多个标记中的哪个标记在搜索中权重更高。

12.根据权利要求10所述的信息处理装置，其中，从用户输入导出的一个或多个标记从与对象数据分开提供的用户输入导出。

13.根据权利要求12所述的信息处理装置，其中，所述用户输入包括语音输入、文本输入、触摸和手势中的一个或多个。

14.一种计算机存储介质，

所述存储介质包含计算机可读程序代码，所述计算机可读程序代码包括：

被配置成获得用户输入的搜索数据的计算机可读程序代码；

被配置成访问上下文数据的计算机可读程序代码；

被配置成基于所述上下文数据使用一个或多个处理器对所述用户输入的搜索数据进行优化的计算机可读程序代码；

被配置成利用优化的用户输入的搜索数据使用一个或多个处理器来搜索存储的标记数据的存储库以识别与一个或多个存储对象相匹配的一个或多个存储标记的计算机可读程序代码；以及

被配置成使用一个或多个处理器返回搜索的一个或多个结果的计算机可读程序代码，所述一个或多个结果指示与存储的标记数据相关联的一个或多个存储对象；

其中所述上下文数据包括从信息处理装置获得的上下文数据，以及从一个或多个其他装置获得的上下文数据；

所述一个或多个其他装置包括经由基于云的关联而相关联的一个或多个装置，所述一个或多个其他装置在云账户中被链接。

Images