CN107430617A - 经由任务连续体的查询公式化 - Google Patents

经由任务连续体的查询公式化 Download PDF

Info

Publication number
CN107430617A
CN107430617A CN201680016618.4A CN201680016618A CN107430617A CN 107430617 A CN107430617 A CN 107430617A CN 201680016618 A CN201680016618 A CN 201680016618A CN 107430617 A CN107430617 A CN 107430617A
Authority
CN
China
Prior art keywords
user
context
application
intervening components
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680016618.4A
Other languages
English (en)
Inventor
P·V·博尔扎
林俊彦
V·帕里克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107430617A publication Critical patent/CN107430617A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2425—Iterative querying; Query formulation based on the results of a preceding query
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种包括中介部件的架构，中介部件标识使用中的应用，并且收集和主动地监测来自使用中的应用的信息(例如，直接显示给用户的文本、嵌入在照片中的文本、歌曲的指纹等)，以推断用户的工作上下文。所推断的上下文继而可以被移交给应用之一，诸如浏览器(以不跨隐私屏障的形式)，以便通过优选的搜索提供方来提供所建议的查询的改进的排序。由于上下文被推断为概念，所以在没有用户许可的情况下不传送PII(个人可标识信息)，只有非常高级的上下文概念被提供给搜索引擎。

Description

经由任务连续体的查询公式化
背景技术
任务完成的效率通过用户完成其任务需要多少时间来测量。任务完成的一个主要促成因素是查询公式化。用户键入查询、查找结果、并且继而改进后续查询以找出理想结果所需要花费的时间越少，则越好。一种这样的极端情况是智能个人语音识别助理，其中用户不再需要在小型触摸键盘上键入查询，而只是说出查询。然而，由于各种原因(例如，隐私)，语音并不总是输入文本的优选方式。
人们使用多个桌面应用来完成单个任务。例如，如果用户正在研究学校的“跳舞”主题，则用户将使用第一应用来将事情写下来，并且使用第二应用(诸如浏览器)来搜索不同风格的舞蹈。然而，在已有系统中，两个应用彼此完全没有关联。第一应用不提供关于当存在从第一应用到第二应用的切换时用户可能会寻找的内容的浏览器隐含提示。用户在整体上感知任务。然而，由于应用通常没有关联，并且没有由操作系统(OS)以任何方式进行中介，所以计算系统并不知道用户的总体目标。
发明内容
下面给出简化的总结，以便提供对本文中描述的一些新颖实施方式的基本理解。这个总结不是复杂的综述，并且并非旨在标识关键/极重要的要素或界定其范围。其唯一目的是以简化的形式给出一些概念，作为稍后给出的更详细描述的序言。
所公开的架构包括中介部件(例如，作为操作系统(OS)的一部分的API(应用程序接口))，中介部件标识使用中的(engaged)应用——用户为了完成任务正在与之交互的应用(相对于休眠应用——用户没有为了完成任务而与之交互的应用)，并且收集和主动地监测来自使用中的应用的信息(例如，直接显示给用户的文本、嵌入在照片中的文本、歌曲的指纹等)，以推断用户的工作上下文。所推断的上下文可以被移交给应用之一，诸如浏览器(不跨隐私屏障的形式的所推断的上下文)，以通过优选的搜索提供方来提供所建议的查询的改进的排序。由于上下文被推断为概念，所以在没有用户许可的情况下不传送PII(个人可标识信息)，只有非常高级的上下文概念被提供给搜索引擎。
该架构实现了信号(例如，显示给用户的纯文本、从图像识别的文本、来自当前播放的歌曲的音频等)的捕获，并且将这些信号聚类成上下文概念。这些信号是帮助标识用户正在做什么的高级数据(例如，单词)。这种捕获信号的动作是时间性的，因为它可以不断地变化(例如，类似于上下文概念的观测平均值)。信号可以基于用户在时间T在做什么(以及用户从T-10直到时间T做了什么)而不断地变化。
当使用浏览器应用作为使用所捕获的信号的应用时，浏览器通过中介部件的中介API来与中介部件(例如，连续地、周期性地、按需地等)进行广播和接收，以取回最近的上下文概念。
当用户最终与浏览器交互或被预期要与浏览器交互(如可以被计算为经常发生和/或基于导致用户接下来与浏览器交互的顺序用户动作的历史而被计算)时，上下文概念与查询前缀一起被发送到搜索提供方。搜索引擎(例如，Microsoft Corporation的BingTM和CortanaTM(智能个人数字语音识别助理))使用上下文排序器来调整默认建议查询的默认排序，从而为该时间点产生更相关的建议查询。包括中介部件的功能的操作系统通过任何应用来跟踪被显示给用户的所有文本数据，并且然后进行聚类以(从上下文上)确定用户意图。
所推断的用户意图作为信号被发送给搜索提供方以改善查询建议的排序，使得由于查询建议与用户实际试图实现的内容更相关而能够相应地改进用户体验。该架构不限于文本，而是可以利用所显示的照片中的所识别的文本以及作为照片元数据的一部分提供的地理位置信息(例如，全球定位系统(GPS))。类似地，另一信号可以是当前播放的歌曲的音频指纹。
如所指出的，查询消歧被解决了，这归因于可以由各种应用利用以提高搜索相关性的上下文和共享的高速缓存，隐私被维护了，这是因为只有最少的足量信息从一个应用被发送到另一应用，并且所推断的用户上下文可以跨应用、部件和设备被共享。
例如，中介部件可以是OS的一部分、和/或与OS通信的单独的模块或部件。作为OS的一部分，中介部件标识设备上的使用中的非OS应用，并且收集和主动地监测来自使用中的应用的信息，以推断用户的工作上下文。然后，所推断的上下文可以以安全的方式被传递到诸如浏览器等应用之一，以便通过优选的搜索提供方来提供所建议的查询的改进的排序。
在又一实施方式中，该架构实现了跨用户设备的上下文推断。也就是说，上下文可以被推断为跨用户设备而不是仅在运行多个应用的单个设备上发生。例如，在可以包括诸如Windows PhoneTM、Surface ProTM平板电脑和XboxTM等两个或更多WindowsTM设备的设备的WindowsTM OS生态系统中，给定设备的OS收集并且监测来自给定设备上的使用中的非OS应用的信息，并且与其他设备的操作系统通信，以使得每个设备的OS能够具有其他生态系统设备的上下文的“全局意识”。然后可以计算这些单独的设备上下文以导出生态系统的全局用户上下文。
为了实现上述和相关目的，本文中结合以下描述和附图描述某些例示性方面。这些方面指示可以实践本文中公开的原理的各种方式，并且所有方面及其等同方案旨在涵盖于所要求保护的主题的范围内。在结合附图考虑时，从下面的详细描述中，其他优点和新颖特征将变得明显。
附图说明
图1示出了根据所公开的架构的系统。
图2示出了根据所公开的架构的备选系统。
图3示出了根据所公开的架构的经由任务的连续体的查询公式化的备选系统。
图4示出了根据所公开的架构的查询公式化系统，其使用笔记记录应用和浏览器应用来在笔记记录应用中生成相关查询建议和结果以用于完成任务。
图5示出了根据所公开的架构的笔记记录应用的视图，其显示出笔记记录应用中的搜索结果以用于完成任务。
图6示出了示出根据所公开的架构的音乐播放应用的视图，其示出了搜索结果604以用于完成任务。
图7示出了根据所公开的架构的、用于音乐播放应用生成相关查询建议和结果以用于完成任务的查询公式化的视图。
图8示出了根据所公开的架构的方法。
图9示出了根据所公开的架构的备选方法。
图10示出了根据所公开的架构的经由任务连续体来执行查询公式化的计算系统的框图。
具体实施方式
任务完成的效率通过用户完成其任务需要多少时间来测量。任务完成的一个主要促成因素是查询公式化—用户键入查询、查看结果、并且继而改进后续查询只为了找出理想结果所需要的时间越少，则越好。一个这样的极端情况是CortanaTM(采用自然话音识别的个人数字助理应用)，其中用户不再需要在小型触摸键盘上键入查询，而只是说出查询。然而，由于各种原因(例如，隐私)，语音并不总是输入文本的优选方式，并且这是其中所公开的架构有利的一个示例。
例如，人们通常使用多个桌面应用来完成单个任务。例如，如果用户正在为了学校作业而研究“跳舞”主题，则用户可以使用记笔记录工具(例如，OneNoteTM)来将事情写下来，并且使用浏览器(例如，Internet ExplorerTM)来搜索不同风格的舞蹈。换言之，在所使用的应用的序列中，保持重复的关键子任务是搜索web以查找信息。
在已有的实施方式中，两个应用彼此完全隔离(没有关联)；例如，笔记记录应用不提供关于当存在从笔记记录应用到浏览器应用的切换时用户正在做什么的浏览器隐含提示。
所公开的架构包括作为操作系统(OS)的一部分的中介部件(例如，API(应用程序接口))，中介部件标识使用中的应用，并且收集和主动地监测来自使用中的应用的信息(例如，直接显示给用户的文本、嵌入照片中的文字、歌曲的指纹等)以推断用户的工作上下文。然后，将所推断的上下文移交给应用之一，诸如浏览器(以不跨隐私屏障的形式)，以通过优选的搜索提供方来提供所建议的查询的改进的排序。由于上下文被推断为概念，所以在没有用户许可的情况下不传送PII(个人可标识信息)—只有非常高级的上下文概念被提供给搜索引擎。
该架构实现了信号(例如，显示给用户的纯文本、从图像识别的文本、来自当前播放的歌曲的音频等)的捕获，并且将这些信号聚类成上下文概念。这些信号是帮助标识用户正在做什么的高级数据(例如，单词)。这种捕获信号的动作是时间性的，因为它可以不断地变化(例如，类似于上下文概念的观测平均值)。信号可以基于用户在时间T在做什么(以及用户从T-10直到T时间做了什么)来不断地变化。
当使用浏览器应用作为使用所捕获的信号的应用时，浏览器通过中介部件的中介API来与中介部件(例如，连续地、周期性地、按需地等)进行通信，以取回最近的上下文概念。
所公开的架构至少减少了在使用已有的实施方式时，当在浏览器的地址/查询框中对查询进行公式化时用户另外产生的键入量。此外，可以为用户对模糊查询进行歧义消除。通过理解屏幕上显示的文本并且向浏览器提供信号，从而改善搜索体验，中介部件(例如，OS)成为所有其他应用和浏览器之间的中介方。在中介部件是OS的一部分的情况下，操作系统“意识到”用户整体上试图完成的任务，即使用户在不同的应用之间切换。
另外，所公开的架构捕获由同一用户在一个或多个设备上执行的多个并发任务之间的间隔(例如，在写电子邮件的同时听歌)。引入诸如使用中的和休眠的应用等概念，每个都可以促成实现分开的任务。在这种情况下，推断的上下文信号可以被分开并且作为阵列被发送到浏览器(或其他应用)，以作为附加数据进行处理以对查询公式化建议的排序调整进行改进。
此外，可以采用机器学习来生成用于提高查询公式化引擎的精度的用户角色。还可以基于操作系统上的应用之间的交互模式来实现用户到用户类型的分割(或分类)。用户可以通过几种不同的方式例如被分类为目标用户(例如，喜欢购物的用户、喜欢电影的用户等)，不时改变爱好的探索者用户等。此外，可以聚合来自多个用户(例如，当前用户的朋友)的上下文信号。可以采用用户的社交网络上下文信号来影响当前用户的搜索建议。
基本上，搜索不仅需要针对web结果，而且还需要针对在用户的个人云数据和其他来源中的搜索。对用户正在试图完成什么(总体任务)进行中间检测以及对用户为了成功完成任务而在任务的随后阶段需要的应用提出建议，是有利的。这可以被称为子任务预测。该系统不仅辅助紧接着的下一子任务，而且还对协助有助于实现用户的总体任务的未来的子任务的序列。
另外，所公开的架构不仅便于基于上下文信号来对搜索建议(作为用户类型)和web结果进行重新排序，而且有助于例如，针对广告、应用和/或优惠(coupon)进行重新排序。此外，通过基于上下文信号计算后续查询的可能性，可以提供在用户已经执行(甚至键入)查询之前预先取回web结果和即时答案。
考虑到存在增强，其中操作系统(或一些其他部件)利用之前由用户输入(或显示给用户)的文本增强了从笔记记录应用到浏览器应用的上下文切换。例如，用户可能刚刚输入了单词“跳舞”作为新创建的笔记记录文档的标题。然后，浏览器可以通过向用户提供相关的查询建议来利用该信息，甚至在用户在浏览器的地址/查询框中键入第一字符之前。示例建议可以包括“Waltz(华尔兹)”、“Tango(探戈)”或“Patrick Swayze”，所有这些都可以在用户在浏览器查询框中输入任何字符之前被呈现。此外，一旦用户输入若干字符，则可以基于输入的前缀和来自用户的笔记记录文档的文本来调整该建议。
虽然用户可以使用多个应用来实现目标，但是与其中应用没有关联并且没有以任何方式被中介(例如，通过操作系统(OS))的已有实施方式相对比，所公开的架构使得用户能够将任务作为整体感知，而不用关注与不同应用的交互。
上面描述的是笔记记录应用与浏览器之间的一种可能的交互。然而，这不应当被解释为限制，因为还有更多可能的情况，诸如：
-用户正在经由音乐应用(例如，Spotify或Xbox Music)听音乐，并且想要了解有关该艺术家的更多信息。然后用户切换到浏览器并且开始键入当前正在演奏该歌曲的艺术家的名字。艺术家和歌曲的名字已经作为音乐应用中的静态文本被显示给用户。然而，传统上，需要在浏览器查询框中再次输入文本，因为没有中介应用来对从一个应用到另一应用的上下文切换进行中介。所公开的架构通过为音乐应用和浏览器应用提供中介功能来解决这个问题。
-用户浏览通过在洛杉矶的环球影城主题公园拍摄的朋友的照片进行。“环球影城主题公园”的名字显示在主题公园门前拍摄的图像之一中。然后用户想要找出从西雅图到洛杉矶的机票价格。在已有的实施方式中，用户必须切换到浏览器并且在查询框中键入“环球影城主题公园”+“飞机票”，这是麻烦的。如果中介部件(例如，OS)在照片上执行光学字符识别(OCR)并且对从一个应用到另一应用的上下文切换进行中介，则这将是更容易的。所公开的架构通过为OCR应用和浏览器应用提供中介功能来解决这个问题。
-用户正在Xbox上玩Halo，并且然后切换到Xbox上(甚至Windows手机上)的浏览器，并且查询“作弊”。Windows生态系统应当已经推断出用户是指“Halo作弊”(不只是“作弊”)，因为用户只是在玩Halo游戏。通过在对查询进行公式化的同时提供上下文，搜索引擎能够向用户提供更相关的结果。所公开的架构通过提供用于导出游戏应用和游戏设备应用与浏览器应用之间的上下文的中介功能来解决这个问题。
-用户在iPod或iPhone上听音乐，并且然后在她的台式电脑上搜索艺术家。在这种情况下，上下文信息在云中被安全地共享。所公开的架构通过提供用于导出音乐应用与播放器设备之间的上下文的中介功能来实现云与设备之间的这种能力。
虽然已经关于Cortana和文本输入描述了用户输入，但是以下也在所公开的架构的考虑之内，用户与设备、OS和/或应用的交互可以是姿态启用的，由此用户采用一个或多个姿态用于交互。例如，姿态可以是自然用户接口(NUI)姿态。NUI可以被定义为使得用户能够以“自然”方式与设备交互的任何接口技术，而不受由诸如鼠标、键盘、遥控器等输入设备的人为约束。NUI方法的示例包括采用姿态的那些方法，其在本文中被广泛地定义为例如包括但不限于触觉和非触觉接口，诸如语音识别、触摸识别、面部识别、手写笔识别、空中姿态(例如，手部姿势和运动以及其他身体/肢体运动/姿势)、头部和眼睛跟踪、语音和话音话语、以及至少与视觉、话音、语音、姿势和触摸数据相关的机器学习。
NUI技术包括但不限于触敏显示器、语音和话音识别、意图和目标理解、使用深度相机(例如，立体相机系统、红外相机系统、彩色相机系统及其组合)的运动姿态检测、使用加速度计/陀螺仪的运动姿态检测、面部识别、3D显示、头部、眼睛和目光跟踪、沉浸式增强现实和虚拟现实系统(所有这些都提供更自然的用户接口)、以及用于使用电场感测电极(例如，脑电图(EEG))和其他神经生物反馈方法来感测脑部活动的技术。
这些备选的交互手段的使用也可以被捕获以作为最终为多个应用的单个设备或跨多个设备和应用确定用户上下文的信号。
所公开的架构实现了有益技术效果，包括但不限于改进了应用对于用户的可用性，加强了在将用户引导到对于给定应用可以使用或所需要的用于完成任务的参数的可靠性，通过不仅预期给定用户远至对于给定应用的数据输入时可能希望的内容而且跨应用和设备加快了任务完成而改进了用户效率，并且通过将下一或后续应用带入便于给定应用或后面应用完成子任务的给定状态而增加了用户交互性能。
现在参考附图，其中相同的附图标记始终用于指代相同的元件。在下面的描述中，为了说明的目的，阐述了很多具体细节以便提供其透彻的理解。然而，显然，这些新颖的实施方式可以在没有这些具体细节的情况下实践。在其他情况下，以框图形式示出了众所周知的结构和设备，以便于对其描述。意图是涵盖落入所要求保护的主题的精神和范围内的所有修改、等同物和备选。
图1示出了根据所公开的架构的系统100。系统100可以包括作为操作系统(OS)104的一部分的中介部件102。中介部件102可以被配置为标识使用中(E)的非OS应用(E-APPx，其中x是整数)106，并且收集和监测使用中的非OS应用106的信息108以推断用户上下文110。中介部件102被配置为从所推断的用户上下文110中导出高级概念112，并且将高级概念112传递到浏览器应用114以便于搜索结果116从搜索引擎118自动返回，其中搜索结果与所推断的用户上下文110相关。
一旦导出了用户上下文110，则可以采用自动建议来不仅为用户提供所建议的结果，而且还可以自动完成用户可以在诸如浏览器应用114等文档中输入的查询和其他文本。
系统100还可以包括被配置为执行存储器中的计算机可执行指令的至少一个硬件处理器，指令被执行以启用至少中介部件102。
图2示出了根据所公开的架构的备选系统200。系统100可以包括作为OS 104的一部分的中介部件102。中介部件102可以被配置为标识使用中(A)的和休眠(D)的非OS应用(E/D-APPx，其中x是整数)，并且收集和监测使用中的非OS应用(E-APPx)的信息108以推断用户上下文110。
在该实施方式中，包括机器学习部件204以生成用户角色(或简档)信息206。角色信息204可以随着用户进行到任务完成而动态地改变(或演进)，因为用户行为和应用交互可以随着子任务完成而改变。
然后，中介部件102可以从所推断的用户上下文110和角色信息206中导出高级概念112，并且继而将高级概念112传递到浏览器应用114，以便于搜索结果116从搜索引擎118自动返回，其中搜索结果与所推断的用户上下文110相关。
如前所述，一旦导出了用户上下文110，则可以采用自动建议来不仅为用户提供所建议的查询，而且还可以自动完成用户可以在诸如浏览器应用114等文档中输入的查询条目和其他文本。
换言之，系统100包括中介部件102，其可以是或可以不是操作系统(OS)104的一部分。中介部件102可以被配置为标识使用中的(例如，非OS)应用，并且收集和监测使用中的(例如，非OS)应用的信息以推断用户上下文110。中介部件102还可以被配置为从所推断的用户上下文110中导出高级概念112，并且将高级概念传递到浏览器应用114用于处理以自动返回与所推断的用户上下文110相关的搜索结果。
中介部件102基于在任何时间点收集和监测的使用中的(例如，非OS)应用的信息来推断在该时间点的用户上下文110。中介部件102基于在任何点时间收集和监测的使用中的(例如，非OS)应用的信息来推断在该时间点的用户上下文110。
浏览器应用114通过中介部件102与OS 104通信以取回最近的上下文概念。OS 104跟踪由使用中的(例如非OS)应用呈现的内容，并且聚类所呈现的内容以推断用户上下文110。所推断的用户上下文110被发送到一个或多个搜索提供方以改进查询建议的排序(在用户正在查询中键入时被呈现)。高级概念112的导出不存在个人可标识信息。系统100(和200)还可以包括被配置为生成用户角色信息206以增强查询公式化的机器学习部件204。
图3示出了根据所公开的架构的经由任务的连续体的查询公式化的备选系统300。当用户使用诸如OneNoteTM、WordTM、OutlookTM、PowerPointTM、Spotify TM等应用时，OS 104的中介部件102从数据流302捕获信号，数据流302诸如为文本流S1(例如，显示给用户的纯文本)、OCR流S2(例如，从图像识别的文本)、音频流S3(例如，来自当前播放的歌曲的所识别的音频)和其他流，然后在304将信号聚类成上下文概念(定义用户正在做什么和/或可以被预测为要做什么的高级词)。高级词的使用保留了用户隐私。
在304的聚类成一个或多个概念的这个步骤是时间性的，因为信号基于用户的紧接着的改变(例如，用户在时间T在做什么以及用户在诸如T-10的之前时间直到时间T做了什么)而不断地改变。
浏览器应用114可以通过中介部件102(例如，API)与OS 104(例如，连续地)通信以取回最近的上下文概念。备选地，浏览器应用114可以通过OS 104与中介部件102(例如，API)(例如，连续地)通信以取回最近的上下文概念。当用户最终使用浏览器应用114时，上下文概念与查询前缀一起被发送到搜索引擎118。搜索引擎118使用上下文排序器来调整默认建议查询的默认排序以产生更相关的建议查询。
浏览器应用114包括构建过程，构建过程不仅在文本被输入到查询字段的同时构建查询，而且还执行对于用户输入动作的自动完成和自动建议。
应当理解，在所公开的架构中，可以重新布置、组合、省略某些部件，并且可以包括附加部件。例如，如本文中在备选实施方式中所述，中介部件102可以是OS 104的一部分或者在OS 104外部。类似地，机器学习部件204可以是OS 104的一部分或者在OA 104外部。另外，搜索引擎118不需要是基于web的搜索引擎，而是也可以是用户设备本地的搜索引擎。
所公开的架构可以可选地包括使得用户能够选择或拒绝暴露个人信息的隐私部件。隐私部件实现了用户信息(诸如跟踪信息)以及可能已经获得的、维护的和/或可访问的个人信息的授权处理和安全处理。可以向用户提供对部分个人信息进行收集的通知以及选择加入或退出收集过程的机会。许可可以采取几种形式。选择加入许可可以施加于用户，以便在数据被收集之前采取确认动作。备选地，选择退出许可可以施加于用户，以便在数据被收集之前采取确认动作，用以防止收集数据。
图4到图7示出了在采用所公开的架构时浏览器用户接口和其他使用中的应用的各个阶段。
图4示出了根据所公开的架构的使用笔记记录应用402和浏览器应用114来在笔记记录应用402中生成相关查询建议404和结果406(类似于图1的结果116)用于完成任务的查询公式化系统400。在该示例中，用户408将搜索查询文本“跳舞”输入到安装在用户设备(并且具有中介部件104)的笔记记录应用402的搜索字段中。
笔记记录应用402将搜索查询“跳舞”发送到中介部件104，中介部件104可以是是操作系统102的一部分或者与操作系统102分开的模块。中介部件104将搜索查询传递到操作系统102，并且操作系统102将搜索查询“跳舞”传递到浏览器应用114。浏览器应用114还可以接收为了查询公式化而接收的高级概念信息，其包括“跳舞”查询。
如图所示，浏览器应用114将“跳舞”查询处理成查询(或搜索)，并且可以用最近的上下文概念来增强查询，查询和最近的上下文概念410都被发送到一个或多个搜索提供方412。
图5示出了根据所公开的架构的笔记记录应用402的视图500，其显示出笔记记录应用402中的搜索结果406以用于完成任务。在该示例中，笔记记录应用402还可以包括用户经由其来输入查询“跳舞”的搜索窗格502。结果窗格504显示经由中介部件接收到笔记记录应用402中的排序后的结果列表。因此，中介部件104便于使用在任何时间点导出的上下文概念来进行查询的无辅助公式化。
图6示出了根据所公开的架构的音乐播放应用602的视图600，其显示出搜索结果604以用于完成任务。在该示例中，在该特定时间的用户上下文(意向)还包括音乐播放应用602作为使用中的应用。因此，在前面的示例中，也可以针对该音乐播放应用602来对查询“跳舞”进行处理，作为所导出的上下文概念的一部分。
这里，音乐播放应用602可以包括用户播放列表和音乐部分604、当前音乐在其中被指示为播放的主窗口606、提供关于艺术家的附加内容的详细描述部分608、以及显示出一组排序的相关的艺术家的相关艺术家列表610。因此，中介部件104使用在任何时间点导出的上下文概念来促进查询的无辅助公式化，这可以包括用于完成任务的多个应用。
图7示出了根据所公开的架构的用于音乐播放应用602生成相关查询建议702和结果以用于完成任务的查询公式化的视图700。在这个示例中，用户选择“热舞配乐”进行播放并且开始播放。
所推断的用户上下文包括播放音乐，并且查询连同上下文概念通过中介部件104被传递到操作系统继而到浏览器应用114。浏览器应用114处理这种查询信息的组合并且提供一组排序的查询建议，其包括作为首位建议的“热舞”、以及诸如“华尔兹”和“PatrickSwayze”等其他相关和建议的查询。然后，这些建议的查询可以被用来生成音乐播放应用602的相关艺术家列表610。
本文中包括表示用于执行所公开的架构的新颖方面的示例性方法的一组流程图。虽然为了简化说明的目的，本文中例如以流程图表或流程图的形式示出的一种或多种方法被示出和描述为一系列动作，但是应当理解和明白方法不受动作的顺序的限制，因为一些动作可以根据其以不同的顺序进行和/或与本文中所示和所描述的其他动作同时进行。例如，本领域技术人员将理解和明白方法可以备选地被表示为诸如状态图中的一系列相关的状态或事件。而且，新颖的实施方式可能并非需要方法中所说明的所有动作。
图8示出了根据所公开的架构的方法。在800，收集和监测与完成任务相关的使用中的非OS应用的信息。在802，在完成任务期间在特定时间点从所收集和监测的信息中推断用户上下文。在804，从给定时间点的用户上下文中导出高级概念。在806，在预期另一使用中的非OS应用将使用高级概念来完成任务的情况下，将高级概念自动地传递到该另一使用中的非OS应用。
该方法还可以包括使用用户设备的操作系统来对高级概念的取回和到另一使用中的非OS应用的传递进行中介。该方法还可以包括聚类来自使用中的非OS应用的信息以导出高级概念。
该方法还可以包括跨应用和设备共享所推断的用户上下文。该方法还可以包括跟踪由使用中的非OS应用中的一个或多个呈现的内容，并且聚类内容以推断高级概念。该方法还可以包括执行以下动作：针对多个并发任务，收集和监测、推断、导出、以及取回和传递由用户在一个或多个用户设备上执行的多个并发任务。该方法还可以包括执行未来的子任务预测以预测要执行的新的子任务和可能要执行的未来的子任务。
图9示出了根据所公开的架构的备选方法。在900，收集和监测与完成任务相关的与使用中的应用相关联的信息，信息包括由使用中的应用在给定时间点呈现的与完成任务有关的内容。在902，在完成任务期间在给定时间点从上述信息连续推断用户上下文的实例。在904，从给定时间点的用户上下文的相应实例导出高级概念。在906，对在给定时间点来自另一使用中的应用的对于高级概念的请求进行服务，该请求使用该另一使用中的应用与一个或多个使用中的应用之间的中介程序而被服务。在908，在预期附加信息将辅助完成任务的情况下，基于高级概念经由另一使用中的应用来生成附加信息。
该方法还可以包括经由作为浏览器的另一使用中的应用来生成作为搜索结果的附加信息，搜索结果基于相应的所推断的用户上下文实例来在给定的时间点被排序。
该方法还可以包括：收集和监测休眠应用的信息；从给定时间点的休眠应用的信息推断用户上下文的实例；并且将休眠应用和使用中的应用的用户上下文的实例作为阵列发送到浏览器以便对搜索结果进行排序。
该方法还可以包括基于来自休眠应用和使用中的应用的信息的所推断的用户上下文实例来对搜索建议、web结果、广告、应用和奖励(rewards)重新排序。该方法还可以包括执行未来的子任务预测以预测要执行的新的子任务以及可能作为完成任务的一部分的要执行的未来的子任务。
如本申请中所使用的，术语“部件”旨在表示计算机相关实体，其是硬件、软件和有形硬件的组合、软件或执行中的软件。例如，部件可以是但不限于有形部件，诸如一个或多个微处理器、芯片存储器、大容量存储设备(例如，光驱、固态驱动器、磁存储介质驱动器等)、计算机、以及便携式计算和具有计算能力的设备(例如，蜂窝电话、平板计算机、智能电话等)。软件部件包括在微处理器上运行的进程、对象(使用方法维持变量和行为的状态的软件实体)、可执行文件、数据结构(存储在易失性或非易失性存储介质中)、模块(程序的一部分)、执行线程(可以独立地管理的最小指令序列)和/或程序。
作为说明，在服务器上运行的应用和服务器两者都可以是部件。一个或多个部件可以驻留在进程和/或执行线程内，并且部件可以被本地化在一个计算机上和/或分布在两个或更多个计算机之间。本文中可以使用单词“示例性”来表示用作示例、实例或例示。本文中描述为“示例性”的任何方面或设计不必被解释为比其他方面或设计优选或有利。
现在参考图10，示出了根据所公开的架构的经由任务连续体执行查询公式化的计算系统1000的框图。备选地或附加地，本文中描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如而非限制，可以使用的说明性的类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、应用特定标准产品(ASSP)、系统级芯片系统(SOC)、复杂可编程逻辑器件(CPLD)等，其中模拟、数字和/或混合信号和其他功能可以在基底中实施。
为了为其各个方面提供附加上下文，图10和以下描述旨在提供各方面可以其中被实施的合适的计算系统1000的简要的一般描述。虽然以上描述在可以在一台或多台计算机上运行的计算机可执行指令的一般上下文中，但是本领域技术人员将认识到，新颖的实施方式也可以与其他程序模块组合实现和/或被实现为硬件和软件的组合。
用于实施各个方面的计算系统1000包括具有微处理单元1004(也称为微处理器和处理器)的计算机1002、计算机可读存储介质(其中介质是数据可以电子地和/或光学地在其上被存储和获取的任何物理设备或材料)、诸如系统存储器1006(一个/多个计算机可读存储介质还包括磁盘、光盘、固态驱动器、外部存储器系统和闪存驱动器)、和系统总线1008。微处理单元1004可以是各种市售微处理器中的任何一种，诸如单处理器、多处理器、单核处理单元和多核处理单元和/或存储电路。此外，本领域技术人员将理解，新颖的系统和方法可以利用其他计算机系统配置来实践，包括小型计算机、大型计算机、以及个人计算机(例如，桌上型计算机、膝上型计算机、平板PC等)、手持计算设备、基于微处理器的或可编程的消费电子产品等，其中每个可以可操作地耦合到一个或多个相关联的设备。
计算机1002可以是在数据中心和/或计算资源(硬件和/或软件)中采用以支持用于便携式和/或移动计算系统的云计算服务的若干计算机之一，便携式和/或移动计算系统诸如为无线通信设备、蜂窝电话、以及其他支持移动的设备。云计算服务包括但不限于基础架构即服务、平台即服务、软件即服务、存储即服务、桌面即服务、数据即服务、安全即服务以及API(应用程序接口)即服务。
系统存储器1006可以包括计算机可读存储(物理存储)介质，诸如易失性(VOL)存储器1010(例如，随机存取存储器(RAM))和非易失性存储器(NON-VOL)1012(例如，ROM、EPROM、EEPROM等)。基本输入/输出系统(BIOS)可以存储在非易失性存储器1012中，并且包括诸如在启动期间便于数据和信号在计算机1002内的部件之间通信的基本例程。易失性存储器1010还可以包括用于缓存数据的高速RAM，诸如静态RAM。
系统总线1008提供用于系统部件的接口，包括但不限于系统存储器1006到微处理单元1004。系统总线1008可以是几种类型的总线结构中的任何一种，其可以使用各种市售总线架构中的任何一种进一步互连到存储器总线(具有或不具有存储器控制器)和外围总线(例如，PCI、PCIe、AGP、LPC等)。
计算机1002还包括机器可读存储子系统1014和存储接口1016，存储接口1016用于将存储子系统1014与系统总线1008以及其它期望的计算机部件和电路相接。例如，存储子系统1014(物理存储介质)可以包括硬盘驱动器(HDD)、磁软盘驱动器(FDD)、固态驱动器(SSD)、闪存驱动器和/或光盘存储驱动器(例如，CD-ROM驱动器、DVD驱动器)中的一个或多个。例如，存储接口1016可以包括诸如EIDE、ATA、SATA和IEEE 1394的接口技术。
一个或多个程序和数据可以存储在存储器子系统1006、机器可读和可移除存储器子系统1018(例如，闪存驱动器形状因子技术)和/或存储子系统1014(例如，光学、磁性、固态)中，其包括操作系统1020、一个或多个应用程序1022、其他程序模块1024、和程序数据1026。
操作系统1020、一个或多个应用程序1022、其他程序模块1024和/或程序数据1026可以包括图1的系统100的项和部件、图2的系统200的项和部件、图3的系统300的项和部件、图4到图7的各用户接口的项和部件、以及由图8到图9的流程图表示的方法。
通常，程序包括执行特定任务、功能或实施特定抽象数据类型的例程、方法、数据结构、其他软件部件等。例如，操作系统1020、应用1022、模块1024和/或数据1026中的全部或部分也可以被高速缓存在诸如易失性存储器1010和/或非易失性存储器等存储器中。应当理解，所公开的架构可以用各种市售操作系统或操作系统的组合来实施(例如，作为虚拟机)。
存储装置子系统1014和存储器子系统(1006和1018)用作用于数据、数据结构、计算机可执行指令等的易失性和非易失性存储的计算机可读介质。这样的指令在由计算机或其他机器执行时可以引起计算机或其他机器执行方法的一个或多个动作。计算机可执行指令包括例如使通用计算机、专用计算机或专用微处理器设备执行某些功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言等中间格式指令、或者甚至源代码。用于执行动作的指令可以存储在一个介质上，或者可以跨多个介质存储，使得指令共同出现在一个或多个计算机可读存储介质上，而不管所有指令是否在同一介质上。
一个或多个计算机可读存储介质排除传播的信号本身，可以由计算机1002访问，并且包括可移除和/或不可移除的易失性和非易失性的内部和/或外部介质。对于计算机1002，各种类型的存储介质提供任何合适的数字格式的数据存储。本领域技术人员应当理解，可以采用其他类型的计算机可读介质(诸如压缩驱动器、固态驱动器、磁带、闪存卡、闪存驱动器、墨盒等)用于存储用于执行所公开的架构的新颖方法(动作)的计算机可执行指令。
用户可以使用诸如键盘和鼠标等外部用户输入设备1028以及通过语音识别促进的语音命令与计算机1002、程序和数据交互。其他外部用户输入设备1028可以包括麦克风、IR(红外)遥控器、操纵杆、游戏垫、相机识别系统、触控笔、触摸屏、姿态系统(例如，眼睛运动、诸如与一个或多个手、一个或多个手指、一个或多个手臂、头相关的身体姿势等)等。用户可以使用诸如触摸板、麦克风、键盘等板载用户输入设备1030与计算机1002、程序和数据交互，其中计算机1002例如是便携式计算机。
这些和其他输入设备经由系统总线1008通过一个或多个输入/输出(I/O)设备接口1032连接到一个或多个微处理单元1004，但是可以通过诸如并行端口、IEEE 1394串行端口、游戏端口、USB端口、IR接口、短距离无线(例如，蓝牙)和其他个域网(PAN)技术等其他接口来连接。一个或多个I/O设备接口1032还便于使用输出外围设备1034，诸如打印机、音频设备、相机设备等，诸如声卡和/或板载音频处理能力。
一个或多个图形接口1036(通常也称为图形处理单元(GPU))在计算机1002与外部显示器1038(例如，LCD、等离子体)和/或板载显示器1040(例如，用于便携式计算机)之间提供图形和视频信号。图形接口1036也可以被制造为计算机系统板的一部分。
计算机1002可以使用经由有线/无线通信子系统1042到一个或多个网络和/或其他计算机的逻辑连接在网络环境(例如，基于IP)中操作。其他计算机可以包括工作站、服务器、路由器、个人计算机、基于微处理器的娱乐设备、对等设备或其他公共网络节点，并且通常包括相对于计算机1002描述的很多或全部元件。逻辑连接可以包括到局域网(LAN)、广域网(WAN)、热点等的有线/无线连接。LAN和WAN网络环境在办公室和公司中很常见，并且便于组建企业范围的计算机网络，诸如内联网，所有这些都可以连接到诸如因特网等全球通信网络。
当在网络环境中使用时，计算机1002经由有线/无线通信子系统1042(例如，网络接口适配器、板载收发器子系统等)连接到网络以与有线/无线网络、有线/无线打印机、有线/无线输入设备1044等通信。计算机1002可以包括用于通过网络建立通信的调制解调器或其他装置。在联网环境中，相对于计算机1002的程序和数据可以存储在远程存储器/存储设备中，其与分布式系统相关联。应当理解，所示出的网络连接是示例性的，并且可以使用在计算机之间建立通信链路的其他手段。
计算机1002可操作以使用诸如IEEE 802.xx标准系列等无线电技术与有线/无线设备或实体通信，诸如可操作地设置在与例如打印机、扫描仪、桌上型和/或便携式计算机、个人数字助理(PDA)、通信卫星、与无线可检测标签(例如，售货亭、报刊亭、洗手间)相关联的任何设备或位置以及电话的无线通信(例如，IEEE 802.11空中调制技术)中的无线设备。这至少包括用于热点的Wi-FiTM(用于保证无线计算机网络设备的互操作性)、WiMax和BluetoothTM无线技术。因此，通信可以是与传统网络一样的预定义结构，或者简单地是至少两个设备之间的自组织通信。Wi-Fi网络使用被称为IEEE 802.11x(a、b、g等)的无线电技术来提供安全、可靠、快速的无线连接。Wi-Fi网络可以用于将计算机彼此连接，连接到互联网，以及连接到有线网络(其使用IEEE 802.3相关技术和功能)。
所公开的架构可以被实施为一种系统，包括：用于收集和监测与任务的完成有关的非OS应用的信息的装置；用于在完成任务期间在特定时间点从所收集和监测的信息推断用户上下文的装置；用于从给定时间点的用户上下文导出高级概念的装置；以及用于在预期另一非OS应用将使用高级概念来完成任务的情况下，自动将高级概念传递给另一非OS应用的装置。
所公开的架构可以被实施为一种备选系统，包括：用于收集和监测与任务的完成有关的与使用中的应用相关联的信息的装置，信息包括由使用中的应用在给定时间点呈现的与任务的完成有关的内容；用于在完成任务期间在给定时间点从该信息连续推断用户上下文的实例的装置；用于从给定时间点的用户上下文的相应实例中导出高级概念的装置；用于对在给定时间点的来自另一使用中的应用的对于高级概念的请求进行服务的装置，该请求使用在另一使用中的应用与一个或多个使用中的应用之间的中介程序而被服务；以及在预期附加信息将辅助完成任务的情况下，基于高级概念经由另一使用中的应用来生成附加信息的装置。
以上已经描述的内容包括所公开的架构的示例。当然，不可能描述部件和/或方法的每种可想到的组合，但是本领域普通技术人员可以认识到很多另外的组合和排列是可能的。因此，新颖的架构旨在包含落在所附权利要求的精神和范围内的所有这样的替换、修改和变化。此外，如果在详细描述或权利要求书中使用术语“包括”，则该术语旨在以与术语“包含”类似的方式是包括性的，如“包含”在权利要求中被用作过渡性词语时所解释的。

Claims (15)

1.一种系统，包括：
作为操作系统(OS)的一部分的中介部件，所述中介部件被配置为标识使用中的非OS应用并且收集和监测所述使用中的非OS应用的信息以推断用户上下文，所述中介部件被配置为从所推断的所述用户上下文中导出高级概念并且将所述高级概念传递给浏览器应用用于处理，以自动返回与所推断的所述用户上下文相关的搜索结果；以及
至少一个硬件处理器，所述至少一个硬件处理器被配置为执行存储器中的计算机可执行指令，所述指令被执行以启用所述中介部件。
2.根据权利要求1所述的系统，其中所述中介部件基于在任何时间点收集和监测的所述使用中的非OS应用的所述信息来推断在该时间点的所述用户上下文。
3.根据权利要求1所述的系统，其中所述中介部件基于直到任何时间点收集和监测的所述使用中的非OS应用的所述信息来推断在该时间点的所述用户上下文。
4.根据权利要求1所述的系统，其中所述浏览器应用通过所述中介部件与所述OS通信以取回最近的上下文概念。
5.根据权利要求1所述的系统，其中所述OS跟踪由所述使用中的非OS应用呈现的内容并且聚类所呈现的所述内容以推断所述用户上下文。
6.根据权利要求1所述的系统，其中所推断的所述用户上下文被发送到一个或多个搜索提供方以改进查询建议的排序。
7.根据权利要求1所述的系统，其中所述高级概念的所述导出不存在个人可标识信息。
8.根据权利要求1所述的系统，还包括机器学习部件，所述机器学习部件被配置为生成用户角色信息以对查询公式化进行增进。
9.一种方法，包括动作：
收集和监测与由用户在用户设备上进行的任务的完成有关的使用中的非OS(操作系统)应用的信息；
在完成所述任务期间，在给定时间点从所收集和监测的所述信息推断用户上下文；
从所述给定时间点的所述用户上下文导出高级概念；以及
在预期另一使用中的非OS应用将使用所述高级概念来辅助完成所述任务的情况下，将所述高级概念自动取回并且传递给所述另一使用中的非OS应用。
10.根据权利要求9所述的方法，还包括使用所述用户设备的所述操作系统来对所述高级概念的所述取回和到所述另一使用中的非OS应用的所述传递进行中介。
11.根据权利要求9所述的方法，还包括聚类来自所述使用中的非OS应用的所述信息以导出所述高级概念。
12.根据权利要求9所述的方法，还包括跨应用和设备共享所推断的所述用户上下文。
13.根据权利要求9所述的方法，还包括跟踪由所述使用中的非OS应用中的一个或多个使用中的非OS应用呈现的内容并且聚类所述内容以推断所述高级内容。
14.根据权利要求9所述的方法，还包括执行动作：针对多个并发任务，收集和监测、推断、导出、以及取回和传递由所述用户在一个或多个用户设备上执行的所述多个并发任务。
15.根据权利要求9所述的方法，还包括执行未来子任务预测以预测要执行的新的子任务和可能要执行的未来子任务。
CN201680016618.4A 2015-03-18 2016-03-15 经由任务连续体的查询公式化 Pending CN107430617A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562134681P 2015-03-18 2015-03-18
US62/134,681 2015-03-18
US14/736,080 2015-06-10
US14/736,080 US10169467B2 (en) 2015-03-18 2015-06-10 Query formulation via task continuum
PCT/US2016/022401 WO2016149231A1 (en) 2015-03-18 2016-03-15 Query formulation via task continuum

Publications (1)

Publication Number Publication Date
CN107430617A true CN107430617A (zh) 2017-12-01

Family

ID=55637478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016618.4A Pending CN107430617A (zh) 2015-03-18 2016-03-15 经由任务连续体的查询公式化

Country Status (4)

Country Link
US (1) US10169467B2 (zh)
EP (1) EP3271832A1 (zh)
CN (1) CN107430617A (zh)
WO (1) WO2016149231A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092523B2 (en) 2005-02-28 2015-07-28 Search Engine Technologies, Llc Methods of and systems for searching by incorporating user-entered information
US9659099B2 (en) * 2011-03-14 2017-05-23 Amgine Technologies (Us), Inc. Translation of user requests into itinerary solutions
US11763212B2 (en) 2011-03-14 2023-09-19 Amgine Technologies (Us), Inc. Artificially intelligent computing engine for travel itinerary resolutions
US11941552B2 (en) 2015-06-25 2024-03-26 Amgine Technologies (Us), Inc. Travel booking platform with multiattribute portfolio evaluation
US10212249B1 (en) 2015-07-30 2019-02-19 Open Invention Network Llc Information management and customization based on user interests and previous transactions
US10049149B2 (en) 2015-09-29 2018-08-14 Oath Inc. Computerized system and method for search query auto-completion
US10860694B2 (en) 2017-02-13 2020-12-08 Tunego, Inc. Systems and methods for content metadata management
US11604858B2 (en) 2017-02-13 2023-03-14 Tunego, Inc. Media content management
US9836619B1 (en) * 2017-02-13 2017-12-05 Tunego, Inc. Digital vault for music owners
US12008086B2 (en) 2017-02-13 2024-06-11 Tunego, Inc. Media composition using non-fungible token (NFT) configurable pieces
US11250111B2 (en) 2017-02-13 2022-02-15 Tunego, Inc. Tokenized media content management
US11983253B2 (en) 2017-02-13 2024-05-14 Tunego, Inc. Non-fungible token (NFT) content identifier with split tracking
US11256788B2 (en) 2017-02-13 2022-02-22 Tunego, Inc. Tokenized media content management
US11687628B2 (en) 2017-02-13 2023-06-27 Tunego, Inc. Non-fungible token (NFT) authenticity protocol with fraud deterrent
US10754912B2 (en) * 2018-03-12 2020-08-25 Microsoft Technology Licensing, Llc Machine learning model to preload search results
US20200183884A1 (en) * 2018-12-06 2020-06-11 Microsoft Technology Licensing, Llc Content-aware search suggestions
US11392637B2 (en) 2019-07-10 2022-07-19 Tunego, Inc. Systems and methods for content metadata management
EP4027233A1 (en) * 2021-01-12 2022-07-13 Atos France Method, computer program, device for virtually assisting a user with a digital assistant
US11966448B2 (en) * 2022-09-08 2024-04-23 Microsoft Technology Licensing, Llc Instant search results

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7603349B1 (en) * 2004-07-29 2009-10-13 Yahoo! Inc. User interfaces for search systems using in-line contextual queries
CN101821759A (zh) * 2007-10-10 2010-09-01 雅虎公司 基于搜索上下文区别对待赞助搜索结果
CN102902822A (zh) * 2011-11-04 2013-01-30 微软公司 搜索查询上下文
US20130282749A1 (en) * 2012-04-23 2013-10-24 Yahoo! Inc. Instant search results with page previews

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6615312B1 (en) * 2000-02-29 2003-09-02 Western Digital Ventures, Inc. Method for processing file system service requests in a computer having an attached disk drive that can reproduce stream data and non-stream data
US7526425B2 (en) * 2001-08-14 2009-04-28 Evri Inc. Method and system for extending keyword searching to syntactically and semantically annotated data
US7716199B2 (en) 2005-08-10 2010-05-11 Google Inc. Aggregating context data for programmable search engines
US7836010B2 (en) 2003-07-30 2010-11-16 Northwestern University Method and system for assessing relevant properties of work contexts for use by information services
US8438147B2 (en) * 2003-09-29 2013-05-07 Home Box Office, Inc. Media content searching and notification
US7725485B1 (en) 2005-08-01 2010-05-25 Google Inc. Generating query suggestions using contextual information
US7627565B2 (en) 2006-01-31 2009-12-01 Northwestern University Organizing context-sensitive search results
US20080005068A1 (en) 2006-06-28 2008-01-03 Microsoft Corporation Context-based search, retrieval, and awareness
US8639896B2 (en) * 2006-08-02 2014-01-28 International Business Machines Corporation Locating and altering sensitive information in core dumps
US7949998B2 (en) * 2007-04-20 2011-05-24 Microsoft Corporation Programming framework for closed systems
US8539200B2 (en) * 2008-04-23 2013-09-17 Intel Corporation OS-mediated launch of OS-independent application
US8122069B2 (en) 2008-07-09 2012-02-21 Hewlett-Packard Development Company, L.P. Methods for pairing text snippets to file activity
US8452769B2 (en) 2008-09-19 2013-05-28 International Business Machines Corporation Context aware search document
US20110103391A1 (en) * 2009-10-30 2011-05-05 Smooth-Stone, Inc. C/O Barry Evans System and method for high-performance, low-power data center interconnect fabric
KR20130009754A (ko) * 2010-02-01 2013-01-23 점프탭, 인크. 통합형 광고 시스템
US8762374B1 (en) 2010-03-08 2014-06-24 Emc Corporation Task driven context-aware search
US9361387B2 (en) 2010-04-22 2016-06-07 Microsoft Technology Licensing, Llc Context-based services
US20150127473A1 (en) * 2010-06-11 2015-05-07 Doat Media Ltd. System and method for providing a bidding platform respective of a user intent
US8239363B2 (en) 2010-06-11 2012-08-07 Microsoft Corporation Query context selection using graphical properties
US8560562B2 (en) * 2010-07-22 2013-10-15 Google Inc. Predictive query suggestion caching
US20120269116A1 (en) 2011-04-25 2012-10-25 Bo Xing Context-aware mobile search based on user activities
US20140108445A1 (en) * 2011-05-05 2014-04-17 Google Inc. System and Method for Personalizing Query Suggestions Based on User Interest Profile
US8868590B1 (en) * 2011-11-17 2014-10-21 Sri International Method and system utilizing a personalized user model to develop a search request
US10984337B2 (en) 2012-02-29 2021-04-20 Microsoft Technology Licensing, Llc Context-based search query formation
US20130232552A1 (en) 2012-03-01 2013-09-05 Microsoft Corporation Automatic Context Sharing with Privacy
WO2013157015A2 (en) * 2012-04-16 2013-10-24 Chunilal Rathod Yogesh A method and system for display dynamic & accessible actions with unique identifiers and activities.
US20130282709A1 (en) 2012-04-18 2013-10-24 Yahoo! Inc. Method and system for query suggestion
US8959109B2 (en) 2012-08-06 2015-02-17 Microsoft Corporation Business intelligent in-document suggestions
US9305092B1 (en) * 2012-08-10 2016-04-05 Google Inc. Search query auto-completions based on social graph
US20140081994A1 (en) * 2012-08-10 2014-03-20 The Trustees Of Columbia University In The City Of New York Identifying Content for Planned Events Across Social Media Sites
US8893152B2 (en) * 2012-09-06 2014-11-18 Intel Corporation Application registration with a non-OS service
US20140075393A1 (en) 2012-09-11 2014-03-13 Microsoft Corporation Gesture-Based Search Queries
US9317585B2 (en) * 2013-03-15 2016-04-19 Google Inc. Search query suggestions based on personal information
WO2015015251A1 (en) * 2013-08-01 2015-02-05 Yogesh Chunilal Rathod Presenting plurality types of interfaces and functions for conducting various activities
US9642008B2 (en) * 2013-10-25 2017-05-02 Lookout, Inc. System and method for creating and assigning a policy for a mobile communications device based on personal data
US9201931B2 (en) * 2013-12-02 2015-12-01 Qbase, LLC Method for obtaining search suggestions from fuzzy score matching and population frequencies
US20150347423A1 (en) * 2013-12-04 2015-12-03 Go Daddy Operating Company, LLC Methods for completing a user search
US20150193447A1 (en) * 2014-01-03 2015-07-09 Microsoft Corporation Synthetic local type-ahead suggestions for search
US9934331B2 (en) * 2014-07-03 2018-04-03 Microsoft Technology Licensing, Llc Query suggestions
US9553997B2 (en) * 2014-11-01 2017-01-24 Somos, Inc. Toll-free telecommunications management platform
US11507624B2 (en) * 2014-11-18 2022-11-22 Yahoo Assets Llc Method and system for providing query suggestions based on user feedback
US10242106B2 (en) * 2014-12-17 2019-03-26 Excalibur Ip, Llc Enhance search assist system's freshness by extracting phrases from news articles
TWI599866B (zh) * 2015-01-29 2017-09-21 陳奕學 設備控制編程系統
US10373057B2 (en) * 2015-04-09 2019-08-06 International Business Machines Corporation Concept analysis operations utilizing accelerators

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7603349B1 (en) * 2004-07-29 2009-10-13 Yahoo! Inc. User interfaces for search systems using in-line contextual queries
CN101821759A (zh) * 2007-10-10 2010-09-01 雅虎公司 基于搜索上下文区别对待赞助搜索结果
CN102902822A (zh) * 2011-11-04 2013-01-30 微软公司 搜索查询上下文
US20130282749A1 (en) * 2012-04-23 2013-10-24 Yahoo! Inc. Instant search results with page previews

Also Published As

Publication number Publication date
US10169467B2 (en) 2019-01-01
US20160275194A1 (en) 2016-09-22
EP3271832A1 (en) 2018-01-24
WO2016149231A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
CN107430617A (zh) 经由任务连续体的查询公式化
US11803564B2 (en) Method and system for keyword search using messaging service
US10175860B2 (en) Search intent preview, disambiguation, and refinement
CN108369596B (zh) 个性化自然语言理解系统
CN114072832A (zh) 用于助理系统的基于记忆的对话推理和问答
KR101832693B1 (ko) 직관적 컴퓨팅 방법들 및 시스템들
US11164026B2 (en) Graphical user interface generation based on image analysis
WO2021077043A1 (en) Generating proactive content for assistant systems
CN110753927B (zh) 在计算设备之间同步访问控制
CN110364148A (zh) 自然助理交互
CN107615276A (zh) 用于媒体回放的虚拟助理
US20220391060A1 (en) Methods for displaying and providing multimedia resources
KR20160108348A (ko) 흉내 및 풍부한 멀티미디어로 응답하는 디지털 개인용 어시스턴트 상호작용 기법
KR20120127655A (ko) 직관적 컴퓨팅 방법들 및 시스템들
CN102436499A (zh) 系统级搜索用户界面的注册
CN110249325A (zh) 具有通信模型的输入系统
CN109918669A (zh) 实体确定方法、装置及存储介质
US20190079946A1 (en) Intelligent file recommendation
CN105378718A (zh) 针对嵌入式应用上下文中的搜索的查询意图表达
Wilson Age of Invisible Machines: A Practical Guide to Creating a Hyperautomated Ecosystem of Intelligent Digital Workers
US20230244712A1 (en) Type ahead search amelioration based on image processing
CN109408679A (zh) 智能管理应用程序的方法、装置、电子设备及存储介质
JP6998354B2 (ja) 検索に基づく収集支援方法およびコンピュータ装置
US11403534B2 (en) Acquiring entity webpage link based on topological relationship graph
CN105183180A (zh) 一种辅助用户使用输入法应用的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171201

RJ01 Rejection of invention patent application after publication