CN105009113A - 基于情境的无查询搜索 - Google Patents

基于情境的无查询搜索 Download PDF

Info

Publication number
CN105009113A
CN105009113A CN201380066508.5A CN201380066508A CN105009113A CN 105009113 A CN105009113 A CN 105009113A CN 201380066508 A CN201380066508 A CN 201380066508A CN 105009113 A CN105009113 A CN 105009113A
Authority
CN
China
Prior art keywords
search
user
contextual information
instruction
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380066508.5A
Other languages
English (en)
Inventor
M.A.谢赫特
N.马尔霍特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105009113A publication Critical patent/CN105009113A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9536Search customisation based on social or collaborative filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results

Abstract

本发明提供了用于发起无查询搜索的计算机可读介质、计算机系统和计算设备。在这方面,可以在无需用户输入查询的情况下发起搜索。在一个实施例中,所述方法包括辨识由用户提供的用于表明希望查看与所呈现的内容有关的一项或更多项搜索结果的搜索指示。可以在无需访问与搜索引擎相关联的网页的情况下实施这样的搜索指示。根据搜索指示,可以自动捕获与所呈现的内容有关的情境信息。随后,提供所捕获的情境信息以便发起针对与所述情境信息相对应的信息的搜索。接收并且呈现与情境信息相对应的搜索结果。

Description

基于情境的无查询搜索
背景技术
为了找到所期望的内容,计算机用户常常利用搜索服务。示例性的因特网搜索引擎在本领域内是众所周知的,例如一种熟知的商用引擎是由Redmond,Washington(雷德蒙,华盛顿)的Microsoft Corporation(微软公司)提供的BING搜索引擎。一般来说,为了利用搜索服务,用户首先打开web浏览器,并且导览到与特定搜索服务相关联的主页。随后,用户例如可以通过由搜索服务提供的搜索框输入搜索查询,以便获得所期望的搜索结果。在接收到与用户输入的搜索查询有关的搜索结果时,用户可以对结果进行筛选,以便找到所期望的信息。这样的搜索过程可能耗时并且低效,在用户无法具体清楚表达用以获得所期望的信息的搜索查询的情况下尤其是这样。
发明内容
本概要介绍将在后面的具体实施方式部分中进一步描述的促进无查询搜索的简化概念。本概要不意图标识出所要求保护的主题内容的必要特征,也不意图被用来限制所要求保护的主题内容的范围。
本申请描述了基于由用户提供的搜索指示来实施无查询搜索的示例性实施例。在一个示例性实施例中,用户可能正在通过用户计算设备查看内容。这样的内容可以是能够通过用户设备的显示屏幕来显示的任何内容。举例来说,用户设备可以在显示器上向用户显示文字内容,或者可以向用户播放视频和/或音频。用户设备随后可以接收来自用户的搜索指示,其表明利用情境信息发起搜索的意图。在接收到这样的搜索指示时,可以自动捕获情境信息并且利用情境信息来发起搜索。在这方面,用户可以查看与通过用户设备捕获的情境信息有关的搜索结果而无需输入用户搜索查询。
附图说明
下面将参照附图详细描述本发明的实施例,其中:
图1是适合于实施本发明的实施例的示例性计算设备的方框图。
图2是根据本发明的一个实施例的包括可用来实施无查询搜索的用户设备的示例性环境的示意图。
图3是示出了根据本发明的一个实施例的第一示例的示意图,其中与社交网络应用相关联地实施无查询搜索。
图4是示出了根据本发明的一个实施例的第二示例的示意图,其中与社交网络应用相关联地实施无查询搜索。
图5是示出了根据本发明的一个实施例的第三示例的示意图,其中与社交网络应用相关联地实施无查询搜索。
图6是示出了根据本发明的一个实施例的一个示例的示意图,其中与视频托管应用相关联地实施无查询搜索。
图7是示出了根据本发明的一个实施例的所显示的电视节目的一个示例的示意图。
图8是示出了根据本发明的一个实施例的发起无查询搜索的一个示例的示意图。
图9是示出了根据本发明的一个实施例的基于无查询搜索的实施而呈现的搜索结果的一个示例的示意图。
图10示出了根据本发明的实施例的促进无查询搜索的第一示例。
图11示出了根据本发明的实施例的促进无查询搜索的第二示例。以及
图12示出了根据本发明的实施例的促进无查询搜索的第三示例。
具体实施方式
通常来说,当用户想要搜索与用户正在查看的内容(例如正在观看电视节目、正在观看视频或视频剪辑、正在浏览web、正在阅读电子邮件、正在字处理文档上工作等等)有关的特定信息时,该用户在用户计算设备上打开web浏览器并且与搜索服务连接。用户可以通过输入搜索查询来对搜索引擎进行查询。可以通过与web浏览器和/或网页集成在一起或者作为工具栏与web浏览器一起运行的搜索框来输入这样的搜索查询,或者可以通过使用web浏览器作为平台以完成搜索的单独应用来输入这样的搜索查询。在任一种情况下,用户都人工输入搜索查询,这或者是通过键入搜索查询,或者是通过从他/她先前正在工作的任务中剪切和粘贴搜索查询。其他现有的技术可以允许用户通过激活用户设备的语音辨识功能(如果可用的话)以输入语音命令和/或语音输入来输入搜索查询,所述语音命令和/或语音输入由用户设备的搜索应用或者搜索服务转换成文字。
响应于接收到搜索查询,搜索服务可以在结果页面上返回并且向用户呈现搜索结果。如果用户想要修改搜索,则用户可以将经过修改的搜索查询输入到文字框中并且将经过修改的搜索查询提交给搜索引擎,搜索引擎随后将新的搜索结果返回给用户。一旦用户找到所期望的信息,他或她就退出搜索服务并且返回到他/她最初所实施的任务。如果用户需要查阅搜索结果或者实施另一项搜索,则用户必须在他/她的原始任务与搜索服务之间来回切换,因而扰乱了他或她的工作流程。
如果用户正在利用的用户设备并非容易地具有用以在用户利用该用户设备的同时促进例如通过web浏览器来搜索并且呈现搜索结果的功能,则情况变得更糟。例如假设用户正在观看电视并且对通过电视所呈现的演员或事件感兴趣。在这种情况下,用户通常将访问另一个用户设备(比如膝上型计算机或移动设备)、访问由搜索服务托管的网页(例如通过web浏览器)、制定用户查询、输入查询、以及筛选搜索结果。此外,如果用户对演员的姓名、事件或者可能有助于提供所期望的信息的其他细节不熟悉,则制定查询可能相当困难。
在另一个示例中,用户可能正在查看包括图像的内容(例如通过网页)。用户可能想要实施针对所述图像的搜索。为了实施搜索,用户可能需要知道如何描述图像,并且向搜索引擎提供图像的文字描述,这类似于前面所描述的搜索处理。可替换地,用户可以首先将图像保存到设备的本地存储器,随后将图像上载到允许基于内容的图像取回的搜索引擎。但是在这两种情况中,都需要用户经过若干步骤以便实施图像搜索。此外,例如移动电话之类的一些移动设备的存储器和/或功能能力有限,其可能不允许将来自因特网的图像存储到移动设备中,或者可能需要繁琐的规程来这样做。这些仅仅是在利用移动电话和其他客户端设备进行搜索方面所存在的困难的一些示例。
本发明的实施例针对促进无查询搜索,其允许在没有来自用户的附加输入的情况下响应于用户指示实施搜索。在这方面,本发明的各个方面允许向用户呈现与正由用户查看的内容有关的信息,而不需要用户制定和/或输入查询。也就是说,为了查看与正由用户查看的内容有关的数据,用户可以简单地提供这样的期望的指示,而不需要输入或提交例如文字查询之类的查询。在实施例中,仅利用由用户计算设备导出的情境信息来实施无查询搜索。
通常来说,用户设备通过显示屏幕向用户显示内容或者使得通过显示屏幕向用户显示内容。这样的内容可以是能够通过用户设备的显示屏幕显示的任何内容。举例来说,用户设备可以在显示器上向用户显示文字内容,或者可以向用户播放视频和/或音频。用户设备随后可以接收来自用户的搜索指示,其表明利用情境信息发起搜索的意图。在接收到这样的搜索指示时,可以捕获情境信息并且利用情境信息来发起搜索。在这方面,用户可以查看与通过用户设备捕获的情境信息有关的搜索结果而无需输入用户搜索查询。
这里所描述的本发明的实施例包括一种促进无查询搜索的计算机实施的方法。所述方法包括辨识由用户提供用于表明希望查看与所呈现的内容有关的搜索结果的搜索指示。在无需访问与搜索引擎相关联的网页的情况下实施这样的搜索指示。根据搜索指示,自动捕获与所呈现的内容有关的情境信息。自动提供情境信息以发起针对与所述情境信息相对应的信息的搜索。随后接收对应于情境信息的搜索结果。
在第二说明性实施例中,一个或更多计算机可读介质存储指令,所述指令在由处理器执行时配置所述处理器实施动作。所述动作包括检测搜索指示,所述搜索指示包括由用户与控制器相关联地实施的行动。响应于检测到搜索指示,自动获得与在检测到搜索指示的时间或者与其接近的时间所显示的媒体内容有关的情境信息。利用情境信息通过将情境信息至少自动传送到远程搜索服务来发起将要实施的搜索,所述远程搜索服务基于情境信息制定查询。接收与所获得的情境信息有关的搜索结果。
在第三说明性实施例中,用户设备包括:处理器;通信地耦合到处理器的存储器;以及被配置成显示内容的显示屏幕。用户设备还包括用以检测提供关于利用情境信息实施搜索的搜索指示的搜索检测器组件,其中所述搜索指示并不指定用于实施搜索的任何文字。用户设备还包括用以根据检测到搜索指示而自动捕获情境信息的情境捕获器组件,其中情境信息的至少一部分对应于检测到搜索指示的时间或者与其接近的时间。用户设备附加地包括用以使得呈现对应于情境信息的一项或更多项搜索结果的搜索呈现组件,其中与所显示的内容相关联地呈现所述一项或更多项搜索结果。
下面将描述多种不同的实现方式和实施例。下面的章节描述了适合于实施基于手势的搜索的示例性环境。下面的章节描述了基于手势的搜索技术的说明性方面。
可以在包括计算机代码或机器可用指令的计算机程序产品的一般情境中描述本发明的实施例的各个方面,所述代码或指令包括例如程序模块之类的由计算机或其他机器(比如个人数据助理或其他手持式设备)执行的计算机可执行指令。通常来说,包括例程、程序、对象、组件、数据结构等等的程序模块指的是实施特定任务或者实施特定抽象数据类型的代码。可以在多种系统配置中实践本发明的实施例,其中包括专用服务器、通用计算机、膝上型计算机、更加专业的计算设备等等。还可以在分布式计算环境中实践本发明,其中由通过通信网络链接在一起的远程处理设备来实施任务。
计算机可读介质包括可由数据库、处理器和各种其他联网计算设备读取的易失性和非易失性介质、可移除和不可移除介质以及所预期的介质。作为举例而非限制,计算机可读介质包括以用于存储信息的任何方法或技术实施的介质。所存储的信息的示例包括计算机可执行指令、数据结构、程序模块以及其他数据表示。介质示例包括而不限于:RAM、ROM、EEPROM、闪存和其他存储器技术、CD-ROM、数字通用盘(DVD)、全息介质和其他光盘存储装置,磁盒、磁带、磁盘存储装置和其他磁性存储设备。这些技术可以瞬时地、暂时地或者永久性地存储数据。
下面将描述可以在其中实施本发明的各个方面的示例性操作环境,以便提供对于本发明的各个方面的一般情境。首先参照图1,示出了用于实施本发明的实施例的示例性操作环境,并且一般地将其指定为计算设备100。计算设备100仅仅是适当的计算环境的一个示例,而不意图暗示关于本发明的使用或功能的范围的任何限制。计算设备100也不应被解释成关于所示出的任何一个组件或组件组合具有任何依赖性或要求。
计算设备100包括总线110,其直接或间接地耦合以下设备:存储器112,一个或更多处理器114,一个或更多呈现组件116,输入/输出(I/O)端口118,输入/输出组件120,以及说明性电源122。总线110可以表示一条或更多条总线(比如地址总线、数据总线或其组合)。虽然为了清楚起见用线条示出了图1的各个方框,但是在真实情况中对于各个组件的界定则没有这么明确,比方说所述线条更准确地将是灰色且模糊的。举例来说,可以把诸如显示设备之类的呈现组件视为I/O组件。此外,处理器具有存储器。发明人认识到这是本领域的本质,并且重申图1的图仅仅是说明可以与本发明的一个或更多实施例相结合地使用的示例性计算设备。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”、“平板”等类别之间不做区分,因为所有这些类别都被设想在图1的范围内并且指的是“计算设备”。
存储器112包括存储在易失性和/或非易失性存储器中的计算机可执行指令(未示出)。所述存储器可以是可移除的、不可移除的或者其某种组合。示例性的硬件设备包括固态存储器、硬驱动器、光盘驱动器等等。存储器112是计算机可读介质的一个示例。计算机可读介质包括至少两种类型的计算机可读介质,即计算机存储介质和通信介质。
计算机存储介质包括以用于存储信息(比如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实施的易失性和非易失性、可移除和不可移除的介质。计算机存储介质包括而不限于:相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、紧致盘只读存储器(CD-ROM)、数字通用盘(DVD)或其他光学存储装置,磁盒、磁带、磁盘存储装置或其他磁性存储设备,或者可以被用来存储信息以由计算设备访问的任何其他非传输介质。
与此相对,通信介质可以把计算机可读指令、数据结构、程序模块或其他数据具体实现在已调数据信号中,比如载波或其他传输机制。这里所定义的计算机存储介质不包括通信介质。
计算设备100包括与系统总线110耦合的一个或更多处理器114,其从例如存储器112或I/O组件120之类的各种实体读取数据。在一个实施例中,所述一个或更多处理器114执行计算机可执行指令,以便实施由所述计算机可执行指令定义的各种任务和方法。(多个)呈现组件116耦合到系统总线110,并且向用户或其他设备呈现数据指示。示例性的呈现组件116包括显示设备、扬声器、打印组件等等。
I/O端口118允许计算设备100通过逻辑方式耦合到包括I/O组件120在内的其他设备,其中一些可以是内建的。说明性的组件包括麦克风、操纵杆、游戏手柄、卫星碟、扫描仪、打印机、无线设备、键盘、笔、语音输入设备、触摸输入设备、触摸屏设备、交互式显示设备或者鼠标。I/O组件120还可以包括通信连接,其可以促进把计算设备100通信地连接到例如诸如其他计算设备、服务器、路由器等远程设备。
图2是可用来促进查看与内容中的项目有关的搜索结果的示例性环境200的示意图。环境200包括通过网络206彼此通信的用户设备202和搜索服务204。用户设备202和搜索服务204可以通过网络206或者网络的组合(未示出)进行通信,其可以包括任意数目的网络,比如例如局域网(LAN)、广域网(WAN)、因特网、蜂窝网络、点到点(P2P)网络、移动网络或者网络的组合。
图2中示出的网络环境200是一个适当的网络环境的示例,并不意图暗示关于在整个本文献中公开的本发明的实施例的使用或功能的范围的任何限制。示例性网络环境200也不应当被解释成关于其中所示出的任何单一组件或组件组合具有任何依赖性或要求。举例来说,用户设备202和搜索服务204可以被集成在单一组件(例如用户设备202)中,或者可以彼此直接通信。
用户设备202可以是能够发起无查询搜索的任何种类的一个或多个计算设备。举例来说,用户设备202可以是例如计算设备100之类的计算设备。用户设备202可以被实施成多种常规计算设备当中的任一种,比如例如台式计算机、笔记本或膝上型计算机、上网本、平板设备或平板计算机、表面计算设备、电子书阅读器设备、工作站、移动设备(例如智能电话、个人数字助理、车载导航设备等等)、游戏控制台、机顶盒、或者其某种组合。取决于用户设备的类型,用户设备例如可以包括触摸屏或其他显示器、键盘、鼠标、触摸板、滚卷球(roller ball)、滚动轮、图像捕获设备、音频输入设备、音频输出设备以及/或者任何其他输入或输出设备。
用户设备202可以包括特别能够在用户设备202的显示器上或者在与用户设备202相关联或与之连接的显示器上向用户显示内容的任意数目的应用。作为举例而非限制,应用可以包括桌面环境(例如图标、窗口、工具栏、文件夹、壁纸、桌面窗口小部件等等)、web浏览器、电子邮件客户端、字处理应用、电子数据表应用、语音记录应用、日历应用、新闻引用、文字消息传送客户端、媒体播放器应用、相册应用、地址簿应用、取景器应用、社交网络应用或者游戏。
在实施例中,用户设备202包括搜索检测器210、情境捕获器212和搜索结果呈现器214。在一些实施例中,所示出的组件/模块中的一个或更多可以被实施成独立应用。在其他实施例中,所示出的组件/模块中的一个或更多可以通过操作系统来实施,或者与运行在设备上的应用集成在一起。本领域普通技术人员将会理解的是,在图2中示出的组件/模块在性质和数目方面都是示例性的,并且不应当被解释成限制。在其实施例的范围内,可以采用任意数目的组件/模块来实现所期望的功能。此外,组件/模块可以位于任意数目的计算设备上。
用户设备202的搜索检测器210被配置成接收、辨识或者检测搜索指示。搜索指示指的是用以利用情境信息发起和/或实施搜索的任何指示。在这方面,利用用户设备202的用户可以通过多种方式中的任一种来提供搜索指示以便发起无查询搜索。照此,在无需访问被配置成接收用户查询的搜索应用或与搜索引擎相关联的网页的情况下实施搜索指示。
搜索指示可以包括而不限于:针对与用户设备相关联的触摸屏、触摸板、按钮的触摸输入;用户设备的运动;由用户设备的图像捕获设备检测到的身体运动;与用户设备相关联的组件(例如遥控器)的运动;通过鼠标或其他用户输入设备控制的光标的运动;以及/或者语音命令。
关于针对与用户设备相关联的触摸屏、触摸板、按钮等等的触摸输入,搜索检测器210可以被配置成检测这样的用户交互。也就是说,来自用户的一个或更多手指或者例如触笔或数字笔之类的定点设备的触摸输入可以提供搜索指示。举例来说,遥控器上的特定按钮(例如机械按钮或触摸按钮)如果被选择的话可以被配置成基于情境信息发起搜索。在另一个示例中,对于图标或链接的触摸输入可以基于情境信息发起搜索(例如工具栏或桌面上的图标等等)。
附加地或可替换地,搜索指示可以包括用户设备本身的运动。例如可以通过加速度计、姿态传感器、指南针等等来检测用户设备的运动。用户设备的运动可以表明用户发起与正在通过该用户设备呈现的内容有关的搜索的意图。可以使用任何预定的运动来表明搜索指示。
在附加的或可替换的实施例中,搜索检测器210可以被配置成例如利用用户设备的图像捕获设备来检测身体运动。在这方面,搜索指示可以包括用户的身体或者身体部位的运动,比如手指、手、头部、眼睛和/或手臂。这样的身体运动可以利用用户设备202的摄影机、其他图像捕获设备或者任何运动检测组件来检测。举例来说,用户设备可以是带有摄影机或其他运动检测接口的游戏设备,比如配置有KinectTM运动检测系统的Xbox®游戏控制台,二者都可以从Microsoft Corporation(Redmond,Washington)获得。用户设备可以接收并且解释该用户设备所接收到的图像或信号,以便确定用户正在实施何种运动。用户的运动可以提供希望基于与正由用户查看的内容相关联的情境信息实施搜索的指示。可以使用任何预定的运动来表明搜索指示。
类似地,搜索检测器210可以被配置成例如利用用户设备的图像捕获设备来检测与用户设备相关联的组件(例如遥控器)的运动。在这方面,搜索指示可以包括与用户设备相关联的组件的运动,比如遥控器、游戏控制器、定点器、操纵杆等等。这样的运动可以利用与用户设备202的组件相关联的摄影机、其他图像捕获设备或者任何运动检测组件(例如加速度计、陀螺仪等等)来检测。举例来说,用户设备可以是带有摄影机或其他运动检测接口的游戏设备。用户设备可以接收并且解释该用户设备所接收到的图像或信号,以便确定用户正在利用某一组件实施何种运动。所述组件的运动可以提供希望基于与正由用户查看的内容相关联的情境信息实施搜索的指示。可以使用任何预定的运动来表明搜索指示。
可替换地或附加地,搜索检测器210可以检测由耦合到用户设备202的鼠标、轨迹球或其他输入设备所控制的光标的运动。相应地,搜索检测器210可以检测由输入设备控制的光标的运动。此外,使用输入设备来选择图标、链接等等也可以用于提供搜索指示(例如选择工具栏或桌面上的图标、在图标上悬停等等)。
在一些实施例中,搜索指示可以表明或标识出搜索范围。举例来说,搜索指示可以表明用户感兴趣的正被显示的特定项目或内容(例如文字信息、图像信息、音频信息的视觉信息、视频信息等等)。这样的搜索范围可以更窄地集中于在无需用户提供查询的情况下由用户发起的搜索的范围。举例来说,搜索指示可以基本上界定正被显示的项目;触摸、覆盖或者叠盖正被显示的项目;或者通过其他方式提供用户感兴趣的特定项目或内容的指示。在一些示例中,运动可以定义搜索范围。举例来说,由运动定义的内容区段可以是基本上由所述运动(例如通常是圆形运动)界定的内容、由搜索指示触摸或叠盖的内容等等。在实施例中,所提供的搜索范围是非文字的。在这方面,用户并不表明将对于搜索利用的任何文字(例如,通过比如键盘、触摸输入等用户输入,以及/或者通过语音输入)。这样的非文字搜索范围可以表明用于指定搜索的图像或视频的一部分。
在一些实施例中,用户设备202可以在所显示的内容上显示由搜索指示定义的搜索范围的表示,以便向用户提供搜索范围的视觉反馈。所述搜索范围的表示例如可以包括围绕(多个)感兴趣的项目的线条、(多个)感兴趣的项目的突出显示视图以及/或者(多个)感兴趣的项目的放大镜视图。
情境捕获器212被配置成发起捕获或者获得可以利用来实施搜索的情境信息。情境信息指的是描述或表明与所呈现的内容相关联的情境的信息。在实施例中,在检测到搜索指示的时间或者与其非常接近的时间捕获情境信息。这样的情境信息可以涉及正由用户查看的所显示的内容、用户设备的用户以及/或者用户设备本身。
与正由用户设备呈现的所显示的内容相关联的情境信息可以涉及正被显示的内容(例如在检测到搜索指示的时间或者与其接近的时间)、被识别成特定搜索范围的内容或项目、接近所指定的搜索范围的内容、所显示的内容的标题、所显示的内容所处的统一资源定位符、正被显示的内容内的图像、与所显示的内容相关联的元数据(例如描述文字的元数据、描述音频媒体的元数据、描述视频媒体的元数据等等)、正被呈现的音频部分、正被呈现的视频部分、正被呈现的频道、在检测到搜索指示的时间或者与之接近的时间正被呈现的时间、位置或帧等等。
可以通过任何数目的方式获得与所显示的内容相关联的情境信息。在一些实施例中,情境捕获器212可以实施对象、图像、面部、音频或视频辨识,或者访问可以实施此类功能的另一个组件(例如用户设备或远程计算设备内的另一个组件)。作为另一个示例,情境捕获器212可以访问与所显示的内容相关联的元数据并且捕获此类元数据,或者可以访问具有与所显示的内容相关联的元数据的另一个组件。在其他实施例中,情境捕获器212可以附加地或可替换地捕获所显示的内容(例如图像、视频剪辑、文字等等)。
与用户设备相关联的情境信息例如可以涉及与用户设备、运行在用户设备上的应用或者用户设备的位置有关的信息。在这方面,情境捕获器212可以捕获情境信息,其中包括与被用来显示所显示的内容的应用有关的信息、与正由用户设备运行的其他应用相关联的信息(例如活跃应用)、用户设备的位置数据(例如利用GPS数据)等等。
与用户相关联的情境信息可以涉及任何用户数据,比如用户简档(例如用户人口统计学信息、用户偏好等等)、先前的用户搜索、用户联系人(例如社交网络联系人或好友、联系人的关系)、用户的位置(例如用户在房间中身处何处)、地址簿、联系人列表、日历、呼叫日志、从社交网络收集的社交数据、联系人、电话日志、文字消息日志、用户的隶属关系和成员关系、文件、图像、照片、电子邮件、或者存储在用户设备上或通过用户设备共享的任何其他内容或数据。情境信息还可以涉及第三方数据。在这方面,情境信息例如可以包括正由与当前用户相似(例如在网络联系人方面相似,或者在用于检测相似性的任何其他手段方面相似,比如过去的行动、人口统计学信息、所指定的用户兴趣等等)的用户所实施的活动、行动、搜索等等。举例来说,情境信息可以包括与当前用户相似的用户在类似的设定或情境中所做过的事情。这样的数据可以在本地获得,或者可以由第三方用户设备提供到搜索服务。
此外,与用户相关联的情境信息还可以涉及在搜索指示的时间或者与之接近的时间可以在正由用户使用的任何其他计算设备上捕获的情境信息。在这方面,假设用户正在请求与正在他或她的电视上呈现的电视节目相关联地实施搜索(例如通过机顶盒)。进一步假设用户正在观看该电视节目的同时在他或她的移动设备上实施因特网搜索。在这种情况下,情境捕获器212可以被配置成与其他用户计算设备进行通信,以便捕获与在用户提供搜索指示的时间或者与其接近的时间正由用户实施的其他行动相关联的情境信息,以便获得与正在特定设备上显示的内容有关的搜索结果。
仅作为举例,假设用户正在观看通过实况转播电视呈现的颁奖节目,并且正在为特定演员颁奖。进一步假设用户不认识该特定演员,但是想要知道关于该演员的更多信息,比如该演员出现在其中的演出或电影的列表。结果是,用户提供由搜索检测器210检测的搜索指示。在这种情况下,情境捕获器212可以捕获与实况转播电视节目相关联地显示的任何文字(例如演员的姓名)、与节目信息相关联的元数据、演员的图像、与实况转播电视节目相关联的音频、搜索指示的时间、实况转播电视节目的时间、在其上呈现实况转播电视节目的频道、用户标识符、用户在房间内的位置等等。此外,还可以捕获并且利用涉及正由用户在其他用户设备上实施的行动的信息,以便实施搜索。假设对于所述演员、电影和颁奖典礼的搜索结果被识别成是相关的。在一些情况下,向用户呈现所识别出的搜索结果。附加地或可替换地,可以向用户呈现所述三种不同类型的搜索结果,从而使得用户可以选择该用户最感兴趣的一种类型的搜索结果,从而导致显示与所选择的类型有关的搜索结果。可以根据相关性或其他排序机制在显示屏幕上放置所识别出的搜索结果和/或搜索结果类型。
如前所述,在一些情况下,搜索指示可以表明搜索范围,也就是说指定用户特别感兴趣的项目或内容。在这样的实施例中,情境捕获器212可以被配置成确定某一对象或内容是否与搜索指示相关联。在这方面,情境捕获器212确定或识别是否与搜索指示相关联地指定了内容。如果是的话,则情境捕获器212可以确定应当发起与所选择的内容或对象相关联的搜索,从而可以向用户显示相关的搜索结果。
在捕获到情境信息时,情境捕获器212可以向搜索服务204提供情境信息。举例来说,如所示,情境捕获器212可以利用网络206向搜索服务204提供情境信息。在其他实施例中,搜索服务204或其一部分可以和与之连接的用户设备或其他设备集成在一起,从而可以实施本地搜索。在一些实施例中,本地搜索可以包括具有感兴趣的内容的应用内的搜索。在其他实施例中,本地搜索可以包括整个用户设备的本地存储器或者用户设备的指定存储器或文件夹内的搜索。
在实施例中,搜索服务204包括查询制定器220和搜索引擎222。在一些实施例中,所示出的组件/模块中的一个或更多可以被实施成独立应用。在其他实施例中,所示出的组件/模块中的一个或更多可以通过操作系统来实施,或者与运行在设备上的应用集成在一起。本领域普通技术人员将会理解的是,在图2中示出的组件/模块在性质和数目方面都是示例性的,并且不应当被解释成限制。在其实施例的范围内,可以采用任意数目的组件/模块来实现所期望的功能。此外,组件/模块可以位于任意数目的计算设备上。举例来说,搜索引擎222可以利用一组计算设备来运作。
搜索服务204的查询制定器220被配置成利用例如通过用户设备的情境捕获器212所获得的情境信息来制定查询。在一些实施例中,查询制定器220可以实施内容辨识(或者访问可以实施内容辨识的另一个组件)。举例来说,在一些情况下,查询制定器214可以接收图像并且可以实施图像辨识,以便生成或制定适当的查询。被描述成由情境捕获器212实施的其他功能可以附加地或可替换地由查询制定器220实施。在制定查询时,查询制定器220可以利用所接收或确定的情境信息的全部或一部分。
搜索引擎222被配置成实施搜索以找到与情境信息或者从中制定的查询有关的搜索结果。搜索引擎222可以采用任意数目的计算设备、服务或引擎来识别与情境信息有关的搜索结果。搜索结果可以是与情境信息或者所制定的查询相关联的任何信息。在一些实施例中,搜索结果可以类似于由因特网搜索引擎提供的传统搜索结果,比如被认为与查询相关的链接集合。在其他实施例中,搜索结果可以是所提供的被认为是相关的信息。作为举例而非限制,搜索结果可以包括web结果、多媒体结果、音乐结果、来自用户的社交网络的推文或社交贴文、与当前所查看的媒体相关联的媒体的表示、与例如图像或视频之类的所显示的内容相关联的信息(例如男演员/女演员或其他电影项目的标识)、针对查看电影的选项、媒体(例如电影)的本地拷贝的指示、广告、类似的或有关的媒体内容、前述各项的组合等等。在一些情况下,可以通过非视觉手段(也就是说在具有或者不具有任何屏幕表示的情况下由设备大声朗读)返回搜索结果。在一些实施例中,搜索结果可以是行动指示,其可以被选择从而导致实施行动。举例来说,行动指示可以是:保存行动,其在被选择时保存所显示的内容或情境信息;购买行动,其在被选择时使得用户能够购买与所显示的内容相关联的项目;查看行动,其在被选择时导致显示关于所显示的内容或其一部分的附加信息;通信行动,其在被选择时导致传送信息(例如电子邮件、社交贴文、文字消息等等);等等。
可以认识到,搜索引擎222可以参考数据存储库或索引(例如本地和/或远程数据存储库或索引)以便识别、参考、查找或确定搜索结果。照此,搜索引擎222可以基于搜索指示利用所接收到的情境信息或者从中导出的查询来识别被认为对于用户是相关的有关搜索结果。在一些实施例中,搜索引擎222可以采取因特网搜索引擎的形式。举例来说,一种熟知的商用引擎是由Microsoft Corporation(Redmond,Washington)提供的BING搜索引擎。这样的搜索引擎222可以实施搜索或者通过访问其他组件或设备来促进搜索,以便获得相关的搜索结果。
在获得搜索结果时,搜索引擎222可以向用户设备202的搜索结果呈现器214提供搜索结果或其一部分。搜索结果呈现器214可以通过用户设备的显示屏幕呈现或者导致呈现搜索结果或其一部分。可以认识到,可以在显示屏幕内的任何方位或位置处显示搜索结果。在一些实施例中,可以通过以下方式显示搜索结果:在显示视图的顶部或其附近显示,在显示视图的中心处显示,在活跃窗口外部显示,与显示边缘相关联地显示,在基于所显示的内容的最优位置处显示,覆盖在所显示的内容上,与所显示的内容集成在一起等等。因此在一些情况下,搜索结果呈现器可以确定显示搜索结果的位置。
图3-9示出了使用无查询搜索实现方式的各种可能的使用情形。在图3-5中提供了与社交网络应用相关联的各种实现方式。首先,图3示出了一个示例,其中利用用户设备与社交网络应用(例如具有web功能的应用或者不具有web功能的应用)相关联地实施无查询搜索。假设用户正在使用运行在用户设备(比如膝上型计算机、平板设备或其他移动设备)上的社交网络应用。用户设备可以在用户设备的显示器上呈现社交网络内容300。所呈现的内容可以包括文字、图像、音频内容、视频内容等等。这里所描述的无查询搜索技术可适用于向用户显示或者通过其他方式呈现内容的任何应用。
现在假设用户对某位好友关于一首新近发行的歌曲的贴文302特别感兴趣,并且照此实施与贴文302相关联的搜索指示。这样的搜索指示例如可以是将手指保持或放置在所述贴文上、将光标悬停在所述贴文上、利用光标选择所述贴文等等。在辨识出与贴文302相关联的这样的搜索指示时,自动发起捕获情境信息。情境信息例如可以包括社交网络标识符、张贴所述歌曲的好友或联系人的姓名、所述歌曲的名称(其例如是通过所显示的内容或者元数据识别出的)等等。根据利用情境信息或者利用与之相关联地自动生成的查询的搜索,可以在用户设备处接收并且呈现各项搜索结果304。搜索结果304例如可以包括歌曲的名称、专辑名称、艺术家姓名、例如歌词之类的关于歌曲的其他信息、其他类似歌曲、去到具有所述歌曲的视频的链接、用以将歌曲例如下载到用户的音乐收藏中的链接(例如利用作为情境被捕获的用户标识符)等等。
图4示出了另一个示例,其中利用用户设备与社交网络应用(例如具有web功能的应用或者不具有web功能的应用)相关联地实施无查询搜索。假设用户正在使用运行在用户设备(比如膝上型计算机、平板设备或其他移动设备)上的社交网络应用。用户设备可以在用户设备的显示器上呈现社交网络内容400。所呈现的内容可以包括文字、图像、音频内容、视频内容等等。这里所描述的无查询搜索技术可适用于向用户显示或者通过其他方式呈现内容的任何应用。
现在假设用户对某位好友的关于由某位网络联系人张贴的照片的贴文402特别感兴趣,并且照此,实施与贴文402相关联的搜索指示。这样的搜索指示例如可以是将手指保持或放置在所述贴文上、将光标悬停在所述贴文上、利用光标选择所述贴文等等。在辨识出与贴文402相关联的这样的搜索指示时,自动发起捕获情境信息。情境信息例如可以包括图像数据(例如为图像指定或指派的标签)、张贴图像的用户、图像张贴的日期、图像张贴的时间、图像捕获的日期和/或时间、对于图像中的场景的辨识、对于图像中的个体的辨识(例如与网络联系人相关联地使用面部辨识)等等。根据对于情境信息或者与之相关联地自动生成的查询的搜索,可以在用户设备处接收并且呈现各项搜索结果404。搜索结果404例如可以包括关于(例如通过照片标签识别出的)Yosemite国家公园的信息、假期规划信息、与Yosemite国家公园相关联的广告/交易、假期规划、关于在照片中识别出的其他个体的信息等等。此外在一些实施例中,搜索结果可以包括附加的图像406。这样的图像在性质或主题内容方面可以与图像402类似,或者包含在图像402中所包括的个体中的一些或所有个体。
图5示出了另一个示例,其中利用用户设备与社交网络应用(例如具有web功能的应用或者不具有web功能的应用)相关联地实施无查询搜索。假设用户正在使用运行在用户设备(比如膝上型计算机、平板设备或其他移动设备)上的社交网络应用。用户设备可以在用户设备的显示器上呈现社交网络内容500。所呈现的内容可以包括文字、图像、音频内容、视频内容等等。这里所描述的无查询搜索技术可适用于向用户显示或者通过其他方式呈现内容的任何应用。
现在假设用户对任何特定贴文都不感兴趣,而是总体上对于可能对用户有用或者用户所感兴趣的信息感兴趣。相应地,用户实施通常与社交网络内容502相关联的搜索指示。这样的搜索指示例如可以是将手指保持或放置在应用或页面的边缘、选择图标或按钮等等。在辨识出与内容502相关联的这样的搜索指示时,自动发起捕获情境信息。情境信息例如可以包括贴文的内容、与所张贴的照片相关联的图像数据(例如元数据、所标记的用户等等)等等。假设所提取出的情境信息表明若干好友发出了关于特定公司的股票(即A公司)的贴文、由某位好友张贴的照片的位置(即Hawaii(夏威夷))、以及例如该用户对于旅行和投资感兴趣的用户信息。根据利用这样的情境信息或者利用与之相关联地自动生成的查询的搜索,可以在用户设备处接收并且呈现各项搜索结果504和506。举例来说,搜索结果504包括对于A公司的股票报价,并且搜索结果506包括与Hawaii有关的内容,比如旅游信息、状态信息、各处海滩等等。
现在转到图6,图6示出了一个示例,其中利用用户设备与视频托管应用(例如具有web功能的应用或者不具有web功能的应用)相关联地实施无查询搜索。假设用户正在使用运行在用户设备(比如膝上型计算机、平板设备或其他移动设备)上的视频托管应用600。用户设备可以在用户设备的显示器上呈现视频内容602。所呈现的内容可以包括文字、图像、视频、视频剪辑等等或者与之相关联。举例来说,用户可以在显示器上查看由web浏览器呈现的视频或视频剪辑,正如图6中所示出的那样。这里所描述的无查询搜索技术可适用于向用户显示或者通过其他方式呈现内容的任何应用。
现在假设用户对正由该用户查看的特定视频602感兴趣,并且照此,与视频602相关联地实施搜索指示。这样的搜索指示例如可以是将手指保持或放置在所述视频上、将光标悬停在所述视频上、利用光标选择所述视频等等。在辨识出与视频302相关联的这样的搜索指示时,自动发起捕获情境信息。情境信息例如可以包括(例如通过所显示的内容或元数据识别出的)视频的名称、视频张贴或视频捕获的时间/日期、张贴者的姓名或标识符等等。根据利用情境信息或者利用与之相关联地自动生成的查询的搜索,可以在用户设备处接收并且呈现各项搜索结果。作为举例,搜索结果604涉及关于所述视频的信息(例如视频的名称、男演员、女演员、歌手的姓名等等)以及其他类似的或有关的视频(例如类似歌曲的视频)。搜索结果606涉及来自用户的网络联系人的对视频602发表评论的贴文。搜索结果608涉及由用户的网络联系人选择或查看的视频。可以呈现任何类型的搜索结果,并且在图6中提供的那些搜索结果本质上仅仅是示例性的。举例来说,搜索结果可以包括与视频相关联的音频、针对购买视频或音频的选项、其他有关的视频或音频(例如通过张贴者、日期、演员、制作人、评分、主题内容等等相关)等等。
图7-9示出了与电视节目相关联地实施无查询搜索的一个示例。首先,图7示出了一个示例,其中通过显示屏幕704呈现电视节目702。例如可以通过与显示屏幕704相关联的机顶盒来促进这样的呈现。假设用户对于在颁奖典礼期间接受奖项的特定个体感兴趣。照此,如图8中所示,用户802通过提供运动来提供搜索指示,所述运动比如是基本上围住接受奖项的特定个体804。在辨识出与接受奖项的个体804相关联的这样的搜索指示时,自动发起捕获情境信息。情境信息例如可以包括电视节目、电视台、搜索指示的时间、电视节目的呈现时间、呈现电视节目的频道、用户的位置、用户标识符、用户的简档等等。根据利用情境信息或者利用与之相关联地自动生成的查询的搜索,可以在用户设备处接收并且呈现各项搜索结果904,正如图9中所示出的那样。搜索结果904例如可以包括奖项接受者的姓名、赢得奖项的角色、其他人的评论(例如批评家)、网络联系人的评论、关于颁奖节目的信息、关于其他奖项获得者的信息、关于先前的奖项获得者的信息、电影作品年表信息、与颁奖节目或奖项接受者相关联的图像、与颁奖节目或奖项接受者相关联的视频、用户所能访问的电影和/或电视节目(例如通过NETFLIX®、AMAZON®等等)、针对连接到(多项)社交网络馈送、聊天或群组的选项等等。如图9中所示,在一些实施例中,搜索结果可以占用显示屏幕的至少大部分。举例来说,电视节目902的尺寸已被缩小,从而可以突出显示搜索结果。在其他实施例中,可以在显示屏幕的更小部分(例如侧面板)上显示搜索结果,或者可以将其与电视节目内容集成在一起。
将参照图10-12描述用于实施无查询搜索的示例性方法。可以在计算机可执行指令的一般情境中描述这些示例性方法。通常来说,计算机可执行指令可以包括实施特定功能或者实施特定抽象数据类型的例程、程序、对象、组件、数据结构、规程、模块、函数等等。所述方法还可以被实践在分布式计算环境中,其中功能由通过通信网络或通信云链接在一起的远程处理设备实施。在分布式计算环境中,计算机可执行指令既可以位于本地计算机存储介质中也可以位于远程计算机存储介质中,所述计算机存储介质包括存储器存储设备。
所述示例性方法被示为代表一个操作序列的逻辑流程图中的方框集合,其可以通过硬件、软件、固件或者其组合来实施。对所述方法进行描述的顺序并不意图被解释成限制,并且可以按照任意顺序来组合任意数目的所描述的方法方框,以便实施所述方法或者替换的方法。此外,在不背离这里所描述的主题内容的精神和范围的情况下,可以从所述方法中省略单独的操作。在软件的情境中,方框代表计算机指令,该计算机指令在由一个或更多处理器执行时实施所记载的操作。
图10示出了基于搜索指示发起无查询搜索的示例性方法1000。为了易于说明,方法1000是在示例性用户设备的情境中描述的,但是并不限于利用这样的用户设备来实施。
在方框1002处,在显示器上显示内容。作为举例而非限制,可以在显示器上显示内容,比如用户设备202的显示器。所述内容可以被显示在应用内,比如web浏览器、电子邮件客户端或者用户设备上的任何其他应用。附加地或可替换地,可以由用户设备的媒体播放器播放例如视频或音频之类的内容。所述内容可以包括文字、图像、图片、音频内容、视频内容等等。
在方框1004处,检测搜索指示。所述搜索指示可以是一般搜索指示或者与所显示的特定项目或内容相关联的搜索指示。这样的搜索指示可以包括触摸屏或触摸板上的触摸输入、由图像捕获设备检测到的身体运动、由用户输入设备控制的光标的运动等等。
响应于检测到搜索指示,在1006处,捕获情境信息。可以利用用户设备或其他计算设备的各种组件来捕获这样的情境信息。作为举例,所捕获的情境信息可以包括:表明用户设备的位置的GPS数据;驻留在用户设备上或者远离用户设备的用户简档;正被访问或使用的网页或应用;用户设备上的先前的用户行动;接收到搜索指示的时间;在检测到搜索指示时所呈现的媒体内容的时间、帧或位置;所显示的媒体内容的指示(例如图像或视频的指示或表示);与所显示的内容相关联的元数据;社交网络贴文的作者;社交网络贴文的图像、内容中的个体等等。
在方框1008处,向搜索服务提供所捕获的情境信息或其一部分以便利用情境信息来实施搜索。在这方面,可以响应于搜索指示的完成自动使得实施利用情境信息的搜索。可以向与用户的用户设备分开的远程搜索服务发送情境信息。附加地或可替换地,可以在用户设备中实施本地搜索。
随后在方框1010处,从搜索服务接收一项或更多项搜索结果。所述一项或更多项搜索结果可以包括关于与搜索指示相关联地捕获的情境信息的内容。在用户设备的显示器上显示所述一项或更多项搜索结果。这在方框1012处示出。在显示屏幕内自动显示被识别成与搜索查询相关的搜索结果。照此,搜索服务可以向用户设备返回与情境信息相关的一项或更多项搜索结果,用户设备随后可以向用户呈现所述一项或更多项搜索结果。可以认识到,独立于用户打开web浏览器并且导览到搜索服务,向用户显示搜索结果。也就是说,可以在检测到搜索指示时显示搜索结果列表,即使在检测到搜索指示时web浏览器可能并没有打开或者并不是活跃的。在一些情况下,可以确定搜索结果的放置。在实施例中,用户可以与搜索结果进行交互,以便查看与之相关联的细节并且/或者细化搜索结果。举例来说,用户可以选择搜索结果以便查看关于所述搜索结果的更多数据。
可以显示搜索结果直到经过一段时间以及/或者发生某一事件为止。作为举例而非限制,搜索结果可以保持活跃或者显示在显示屏幕上,直到在没有使用搜索结果(例如用户查看、选择等等)的情况下经过了一段预定时间为止。作为另一个示例,可以接收隐藏或折叠(collapse)指示,这在不中断用户的工作流程的情况下有效地导致显示原始内容。
现在转到图11,图11示出了根据搜索指示实施无查询搜索的示例性方法1100。为了易于说明,在搜索服务的情境中描述方法1100,但是不限于在其中实施。
首先,在方框1102处,接收来自用户设备的情境信息。这样的情境信息例如可以包括:表明用户设备的位置的GPS数据;驻留在用户设备上或者远离用户设备的用户简档;用户设备上的先前的用户行动;接收到搜索指示的时间;在检测到搜索指示时所呈现的媒体内容的时间、帧或位置;所显示的媒体内容的指示(例如图像或视频的指示或表示);与所显示的内容相关联的元数据;社交网络贴文的作者;(多篇)社交网络贴文的图像、内容中的(多个)个体等等。
在方框1104处,基于所接收到的情境信息制定搜索查询。随后,在方框1106处,利用所生成的搜索查询实施或发起搜索,以便识别一项或更多项搜索结果。在实施例中,可以利用所制定的搜索查询实施因特网搜索。可以实施针对搜索结果的任意数目的搜索,例如针对web结果的搜索、针对图像的搜索、针对媒体的搜索、针对广告的搜索等等。如方框1108处所示,向用户设备提供所述一项或更多项搜索结果。
参照图12,图12示出了基于在呈现媒体内容时接收到的搜索指示发起无查询搜索的示例性方法1200。为了易于说明,在示例性用户设备的情境中描述方法1200,但是不限于利用这样的用户设备来实施。
在方框1202处,在显示器上显示媒体内容。作为举例而非限制,可以在显示器上显示媒体内容,比如用户设备202的显示器。所述媒体内容可以由用户设备的媒体播放器或者与机顶盒相关联的电视或者其他计算设备播放。所述媒体内容可以包括视频和/或音频媒体内容。
在方框1204处,检测搜索指示。所述搜索指示可以是一般搜索指示或者与所显示的特定项目或内容相关联的搜索指示。这样的搜索指示例如可以包括:触摸屏、触摸板或遥控器上的触摸输入;由图像捕获设备检测到的身体运动;以及/或者用户输入设备的运动。
在检测到搜索指示时,在1206处,自动捕获与所呈现的媒体内容有关的情境信息。可以利用或者通过访问用户设备或其他计算设备的各种组件来捕获这样的情境信息。作为举例,所捕获的情境信息可以包括:用户的位置;在搜索指示的时间或者与之接近的时间的媒体内容的时间、帧或位置;所显示的媒体内容的指示(例如图像或视频的指示或表示);与所显示的内容相关联的元数据等等。情境信息还可以包括与用户相关联的个人数据或者关于另一个用户设备获得的数据。
在方框1208处,向搜索服务提供关于所呈现的媒体内容的所捕获的情境信息或其一部分,以便利用情境信息来实施搜索。在这方面,可以响应于搜索指示的完成自动使得实施利用情境信息的搜索。可以向与用户的用户设备分开的远程搜索服务发送情境信息。举例来说,可以向传统的因特网搜索引擎发送情境信息,以便获得关于所呈现的媒体内容的更多信息,比如演员、媒体摘要或总览、其他有关媒体的指示等等。附加地或替换地,可以在用户设备中实施本地搜索,以便例如获得用户能够在本地访问的其他媒体(例如有关的媒体)的指示。
随后,在方框1210处,从搜索服务接收一项或更多项搜索结果。所述一项或更多项搜索结果可以包括关于与搜索指示相关联地捕获的情境信息的内容。在用户设备的显示器上显示所述一项或更多项搜索结果。这在方框1212处示出。在显示屏幕内自动显示被识别成与搜索查询相关的搜索结果。照此,搜索服务可以向用户设备返回与情境信息相关的一项或更多项搜索结果,用户设备随后可以向用户呈现所述一项或更多项搜索结果。可以认识到,独立于用户打开web浏览器并且导览到搜索服务,向用户显示搜索结果。也就是说,可以在检测到搜索指示时显示搜索结果列表,即使在检测到搜索指示时web浏览器可能并没有打开或者并不是活跃的。在一些情况下,可以确定搜索结果的放置。
这里所描述的任何方法的任何动作可以至少部分地由处理器或其他电子设备基于存储在一个或更多计算机可读介质上的指令来实施。
虽然以特定于结构特征和/或方法动作的语言描述了本发明,但是应当理解的是,本发明不一定受限于所描述的特定特征或动作。相反,所述特定特征和动作是作为实施本发明的示例性形式而公开的。

Claims (10)

1. 一种促进无查询搜索的计算机实施的方法,所述方法包括:
在利用计算机可执行指令配置的一个或更多处理器的控制下实施以下步骤:
 辨识由用户提供的用于表明希望查看与所呈现的内容有关的一项或更多项搜索结果的搜索指示,其中在无需访问与搜索引擎相关联的网页的情况下实施所述搜索指示;
 根据搜索指示,自动捕获与所呈现的内容有关的情境信息;
 自动提供情境信息以发起针对与所述情境信息相对应的信息的搜索;以及
 接收与情境信息相对应的一项或更多项搜索结果。
2. 权利要求1的方法,其还包括使得显示与情境信息相对应的所述一项或更多项搜索结果。
3. 权利要求2的方法,其中,所述一项或更多项搜索结果覆盖在所呈现的内容上。
4. 权利要求1的方法,其中,所述搜索指示包括:触摸屏、触摸板或遥控器上的触摸输入;由图像捕获设备检测到的身体运动;用户输入设备的运动;通过用户输入设备控制的光标的运动;由用户输入设备控制的选择;或者其组合。
5. 权利要求1的方法,其中,所述搜索指示是不包括所呈现的内容中的特定感兴趣的项目的一般搜索指示。
6. 权利要求1的方法,其中,所述情境信息包括与所呈现的内容、用户、由用户使用的用户设备、被认为与用户相似的第三方的行为或者其组合有关的信息。
7. 存储指令的一个或更多计算机可读介质,所述指令在由处理器执行时配置所述处理器实施包括以下动作的动作:
检测搜索指示,所述搜索指示包括在呈现媒体内容时由用户实施的行动;
响应于检测到搜索指示,自动获得与检测到搜索指示的时间或者与之接近的时间的媒体内容有关的情境信息;
利用情境信息通过将情境信息至少自动传送到远程搜索服务来发起将要实施的搜索,所述远程搜索服务基于情境信息制定查询;以及
接收与所获得的情境信息有关的一项或更多项搜索结果。
8. 权利要求7的介质,其中,所述动作还包括通过把所述一项或更多项搜索结果覆盖在显示媒体内容的显示屏幕上来呈现所述搜索的所述一项或更多项搜索结果。
9. 权利要求7的介质,其中,通过用户的运动来实施所述行动。
10. 权利要求8的介质,其中,通过由用户操作的遥控器来实施所述行动。
CN201380066508.5A 2012-12-18 2013-12-17 基于情境的无查询搜索 Pending CN105009113A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/718,202 US9483518B2 (en) 2012-12-18 2012-12-18 Queryless search based on context
US13/718202 2012-12-18
PCT/US2013/075625 WO2014099889A1 (en) 2012-12-18 2013-12-17 Queryless search based on context

Publications (1)

Publication Number Publication Date
CN105009113A true CN105009113A (zh) 2015-10-28

Family

ID=49917277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380066508.5A Pending CN105009113A (zh) 2012-12-18 2013-12-17 基于情境的无查询搜索

Country Status (5)

Country Link
US (2) US9483518B2 (zh)
EP (1) EP2936347A1 (zh)
CN (1) CN105009113A (zh)
BR (1) BR112015011726A2 (zh)
WO (1) WO2014099889A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544750B1 (en) 2012-01-17 2023-01-03 Google Llc Overlaying content items with third-party reviews
US9483518B2 (en) 2012-12-18 2016-11-01 Microsoft Technology Licensing, Llc Queryless search based on context
EP2972944A4 (en) * 2013-03-11 2016-11-02 Keypoint Technologies India Pvt Ltd CONTEXTUAL DISCOVERY
US9773023B2 (en) * 2013-04-25 2017-09-26 Autodesk, Inc. Image selection using automatically generated semantic metadata
US20150088923A1 (en) * 2013-09-23 2015-03-26 Google Inc. Using sensor inputs from a computing device to determine search query
US10873616B1 (en) * 2013-12-10 2020-12-22 Google Llc Providing content to co-located devices with enhanced presentation characteristics
US9792293B2 (en) * 2014-03-06 2017-10-17 International Business Machines Corporation Managing service access through social context
US9984166B2 (en) 2014-10-10 2018-05-29 Salesforce.Com, Inc. Systems and methods of de-duplicating similar news feed items
US10592841B2 (en) * 2014-10-10 2020-03-17 Salesforce.Com, Inc. Automatic clustering by topic and prioritizing online feed items
US10242047B2 (en) * 2014-11-19 2019-03-26 Facebook, Inc. Systems, methods, and apparatuses for performing search queries
US20160150038A1 (en) * 2014-11-26 2016-05-26 Microsoft Technology Licensing, Llc. Efficiently Discovering and Surfacing Content Attributes
KR20160065671A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 응답을 출력하는 디바이스 및 방법
US9940362B2 (en) * 2015-05-26 2018-04-10 Google Llc Predicting user needs for a particular context
US10685029B2 (en) * 2015-11-23 2020-06-16 Google Llc Information ranking based on properties of a computing device
US10628505B2 (en) * 2016-03-30 2020-04-21 Microsoft Technology Licensing, Llc Using gesture selection to obtain contextually relevant information
US9870623B2 (en) 2016-05-14 2018-01-16 Google Llc Segmenting content displayed on a computing device into regions based on pixels of a screenshot image that captures the content
US20180054461A1 (en) * 2016-08-16 2018-02-22 Lenovo (Singapore) Pte Ltd. Allowing access to false data
DE102016117476A1 (de) * 2016-09-16 2018-03-22 Connaught Electronics Ltd. Wiedergabe von rückwärtigen Bildern eines Gespanns
US10489472B2 (en) * 2017-02-13 2019-11-26 Facebook, Inc. Context-based search suggestions on online social networks
US10585923B2 (en) * 2017-04-25 2020-03-10 International Business Machines Corporation Generating search keyword suggestions from recently used application
US11132396B2 (en) * 2017-12-15 2021-09-28 Google Llc Methods, systems, and media for determining and presenting information related to embedded sound recordings
WO2019164484A1 (en) 2018-02-21 2019-08-29 Hewlett-Packard Development Company, L.P Response based on hierarchical models
US11132406B2 (en) * 2018-05-18 2021-09-28 Google Llc Action indicators for search operation output elements
CN111160995A (zh) * 2020-04-01 2020-05-15 支付宝(杭州)信息技术有限公司 一种根据目标对象的监测结果进行决策的方法和系统
US11954307B2 (en) 2020-12-04 2024-04-09 Samsung Electronics Co., Ltd. Visual selector for application activities
CN112579537A (zh) * 2020-12-17 2021-03-30 维沃移动通信有限公司 文件查找方法、文件查找装置、触控笔和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100070484A1 (en) * 2004-07-29 2010-03-18 Reiner Kraft User interfaces for search systems using in-line contextual queries
US20100241663A1 (en) * 2008-02-07 2010-09-23 Microsoft Corporation Providing content items selected based on context
US20110153653A1 (en) * 2009-12-09 2011-06-23 Exbiblio B.V. Image search using text-based elements within the contents of images
CN102395966A (zh) * 2009-04-14 2012-03-28 高通股份有限公司 用于使用移动装置进行图像辨识的系统和方法
US20120197857A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Gesture-based search

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6751606B1 (en) * 1998-12-23 2004-06-15 Microsoft Corporation System for enhancing a query interface
US20060168644A1 (en) * 2000-02-29 2006-07-27 Intermec Ip Corp. RFID tag with embedded Internet address
US20090132316A1 (en) * 2000-10-23 2009-05-21 Costar Group, Inc. System and method for associating aerial images, map features, and information
GB0026353D0 (en) * 2000-10-27 2000-12-13 Canon Kk Apparatus and a method for facilitating searching
US20030191753A1 (en) * 2002-04-08 2003-10-09 Michael Hoch Filtering contents using a learning mechanism
US7668816B2 (en) * 2002-06-11 2010-02-23 Microsoft Corporation Dynamically updated quick searches and strategies
US6980816B2 (en) * 2002-11-26 2005-12-27 Motorola, Inc. Contextual information management in wireless communications devices and methods therefor
US20050198567A1 (en) * 2004-01-29 2005-09-08 Vermeulen Bert M. Web navigation method and system
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8041713B2 (en) * 2004-03-31 2011-10-18 Google Inc. Systems and methods for analyzing boilerplate
US20070282797A1 (en) * 2004-03-31 2007-12-06 Niniane Wang Systems and methods for refreshing a content display
US9009153B2 (en) * 2004-03-31 2015-04-14 Google Inc. Systems and methods for identifying a named entity
US8612208B2 (en) * 2004-04-07 2013-12-17 Oracle Otc Subsidiary Llc Ontology for use with a system, method, and computer readable medium for retrieving information and response to a query
US20050283752A1 (en) * 2004-05-17 2005-12-22 Renate Fruchter DiVAS-a cross-media system for ubiquitous gesture-discourse-sketch knowledge capture and reuse
US7451152B2 (en) * 2004-07-29 2008-11-11 Yahoo! Inc. Systems and methods for contextual transaction proposals
US7958115B2 (en) * 2004-07-29 2011-06-07 Yahoo! Inc. Search systems and methods using in-line contextual queries
US7672543B2 (en) 2005-08-23 2010-03-02 Ricoh Co., Ltd. Triggering applications based on a captured text in a mixed media environment
US20060212415A1 (en) * 2005-03-01 2006-09-21 Alejandro Backer Query-less searching
US7487461B2 (en) * 2005-05-04 2009-02-03 International Business Machines Corporation System and method for issuing commands based on pen motions on a graphical keyboard
KR100715681B1 (ko) 2005-12-06 2007-05-09 한국전자통신연구원 센서 네트워크 기반 유비쿼터스 상황인지 에이전트 장치 및그 상황인지 방법
US20070143264A1 (en) * 2005-12-21 2007-06-21 Yahoo! Inc. Dynamic search interface
US20080045138A1 (en) 2006-05-01 2008-02-21 Microsoft Corporation Context information communications via a mobile device
WO2007134194A2 (en) * 2006-05-10 2007-11-22 Google Inc. Web notebook tools
US20080005067A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Context-based search, retrieval, and awareness
US8239480B2 (en) * 2006-08-31 2012-08-07 Sony Ericsson Mobile Communications Ab Methods of searching using captured portions of digital audio content and additional information separate therefrom and related systems and computer program products
US7693842B2 (en) * 2007-04-09 2010-04-06 Microsoft Corporation In situ search for active note taking
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US20080288452A1 (en) * 2007-05-15 2008-11-20 Yahoo! Inc. Service using referrer strings to improve advertisement targeting
US8190627B2 (en) 2007-06-28 2012-05-29 Microsoft Corporation Machine assisted query formulation
US8090738B2 (en) * 2008-05-14 2012-01-03 Microsoft Corporation Multi-modal search wildcards
US8504946B2 (en) * 2008-06-27 2013-08-06 Apple Inc. Portable device, method, and graphical user interface for automatically scrolling to display the top of an electronic document
KR101049820B1 (ko) * 2008-08-04 2011-07-15 삼성에스디아이 주식회사 이차 전지
US8321431B2 (en) * 2008-08-28 2012-11-27 Frogzog, Llc Iterative and interactive context based searching
US20100146012A1 (en) * 2008-12-04 2010-06-10 Microsoft Corporation Previewing search results for suggested refinement terms and vertical searches
US8315953B1 (en) 2008-12-18 2012-11-20 Andrew S Hansen Activity-based place-of-interest database
US20100205190A1 (en) * 2009-02-09 2010-08-12 Microsoft Corporation Surface-based collaborative search
US8498981B2 (en) * 2009-03-09 2013-07-30 Apple Inc. Search capability implementation for a device
CN102349087B (zh) * 2009-03-12 2015-05-06 谷歌公司 自动提供与捕获的信息例如实时捕获的信息关联的内容
US9875013B2 (en) * 2009-03-16 2018-01-23 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
WO2012142323A1 (en) 2011-04-12 2012-10-18 Captimo, Inc. Method and system for gesture based searching
US20110161005A1 (en) * 2009-12-31 2011-06-30 The Aerospace Corporation Systems and methods for end-to-end location and media content tracking
US20110191336A1 (en) * 2010-01-29 2011-08-04 Microsoft Corporation Contextual image search
US8694533B2 (en) * 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
US9542091B2 (en) * 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US8700655B2 (en) * 2010-11-08 2014-04-15 At&T Intellectual Property I, L.P. Systems, methods, and computer program products for location salience modeling for multimodal search
US8984562B2 (en) * 2011-01-13 2015-03-17 Verizon Patent And Licensing Inc. Method and apparatus for interacting with a set-top box using widgets
US10444979B2 (en) * 2011-01-31 2019-10-15 Microsoft Technology Licensing, Llc Gesture-based search
AU2011201674B1 (en) * 2011-04-14 2012-07-19 Limelight Networks, Inc. Advanced embed code
US20120268485A1 (en) * 2011-04-22 2012-10-25 Panasonic Corporation Visualization of Query Results in Relation to a Map
WO2012164802A1 (ja) * 2011-06-02 2012-12-06 パナソニック株式会社 重力補償装置及びそれを用いたリフト装置
US20130085848A1 (en) * 2011-09-30 2013-04-04 Matthew G. Dyor Gesture based search system
US8478777B2 (en) * 2011-10-25 2013-07-02 Google Inc. Gesture-based search
US20130106894A1 (en) * 2011-10-31 2013-05-02 Elwha LLC, a limited liability company of the State of Delaware Context-sensitive query enrichment
US20130106682A1 (en) * 2011-10-31 2013-05-02 Elwha LLC, a limited liability company of the State of Delaware Context-sensitive query enrichment
US9411830B2 (en) * 2011-11-24 2016-08-09 Microsoft Technology Licensing, Llc Interactive multi-modal image search
US9646313B2 (en) * 2011-12-13 2017-05-09 Microsoft Technology Licensing, Llc Gesture-based tagging to view related content
US8965897B2 (en) * 2012-02-29 2015-02-24 International Business Machines Corporation Intelligent product feedback analytics tool
US10984337B2 (en) 2012-02-29 2021-04-20 Microsoft Technology Licensing, Llc Context-based search query formation
US9916396B2 (en) * 2012-05-11 2018-03-13 Google Llc Methods and systems for content-based search
US9305093B2 (en) * 2012-09-27 2016-04-05 Intel Corporation Systems, methods, and computer program products for gesture-based search and discovery through a touchscreen interface
US9483518B2 (en) * 2012-12-18 2016-11-01 Microsoft Technology Licensing, Llc Queryless search based on context

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100070484A1 (en) * 2004-07-29 2010-03-18 Reiner Kraft User interfaces for search systems using in-line contextual queries
US20100241663A1 (en) * 2008-02-07 2010-09-23 Microsoft Corporation Providing content items selected based on context
CN102395966A (zh) * 2009-04-14 2012-03-28 高通股份有限公司 用于使用移动装置进行图像辨识的系统和方法
US20110153653A1 (en) * 2009-12-09 2011-06-23 Exbiblio B.V. Image search using text-based elements within the contents of images
US20120197857A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Gesture-based search

Also Published As

Publication number Publication date
WO2014099889A1 (en) 2014-06-26
BR112015011726A2 (pt) 2017-07-11
US20140172892A1 (en) 2014-06-19
US9977835B2 (en) 2018-05-22
US9483518B2 (en) 2016-11-01
EP2936347A1 (en) 2015-10-28
US20170068739A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
CN105009113A (zh) 基于情境的无查询搜索
US8566329B1 (en) Automated tag suggestions
CN110110203B (zh) 资源信息推送方法及服务器、资源信息展示方法及终端
CN110020411B (zh) 图文内容生成方法及设备
US11042590B2 (en) Methods, systems and techniques for personalized search query suggestions
US8510287B1 (en) Annotating personalized recommendations
US11080287B2 (en) Methods, systems and techniques for ranking blended content retrieved from multiple disparate content sources
US11899728B2 (en) Methods, systems and techniques for ranking personalized and generic search query suggestions
US20190361857A1 (en) Method and system for associating data from different sources to generate a person-centric space
KR20140107253A (ko) 관련 콘텐츠를 관찰하기 위한 제스처 기반 태깅 기법
US20170109339A1 (en) Application program activation method, user terminal, and server
US11232522B2 (en) Methods, systems and techniques for blending online content from multiple disparate content sources including a personal content source or a semi-personal content source
US11652866B2 (en) Generating collections of sets based on user provided annotations
US11836169B2 (en) Methods, systems and techniques for providing search query suggestions based on non-personal data and user personal data according to availability of user personal data
US20210304451A1 (en) Speech-based selection of augmented reality content for detected objects
US20210406965A1 (en) Providing travel-based augmented reality content relating to user-submitted reviews
EP4127971A1 (en) Speech-based selection of augmented reality content for detected objects
US10621237B1 (en) Contextual overlay for documents
US11397782B2 (en) Method and system for providing interaction driven electronic social experience
US20170097959A1 (en) Method and system for searching in a person-centric space
CN112020712A (zh) 视觉搜索的数字补充关联和检索
KR20150135059A (ko) 검색을 수행하는 방법 및 장치
KR20150097250A (ko) 태그 정보를 이용한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10437902B1 (en) Extracting product references from unstructured text
US20200112566A1 (en) Systems, methods and apparatuses for integrating a service application within an existing application

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151028

RJ01 Rejection of invention patent application after publication