CN109074374A - 使用手势选择获取上下文相关信息 - Google Patents

使用手势选择获取上下文相关信息 Download PDF

Info

Publication number
CN109074374A
CN109074374A CN201780020886.8A CN201780020886A CN109074374A CN 109074374 A CN109074374 A CN 109074374A CN 201780020886 A CN201780020886 A CN 201780020886A CN 109074374 A CN109074374 A CN 109074374A
Authority
CN
China
Prior art keywords
gesture
presented
additional information
information
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780020886.8A
Other languages
English (en)
Other versions
CN109074374B (zh
Inventor
S·G·诺德伯格
D·L·埃尔博根
M·J·帕滕
C·J·詹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109074374A publication Critical patent/CN109074374A/zh
Application granted granted Critical
Publication of CN109074374B publication Critical patent/CN109074374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

这里描述的是与使用手势来获得上下文相关信息有关的各种技术。提取由手势选择的区域内的内容。提取的内容和附加的上下文信息被打包，可选地消除歧义，并提供给搜索引擎。搜索引擎提供的结果被提供给用户以丰富用户体验。

Description

使用手势选择获取上下文相关信息
背景技术
常规系统通常要求用户明确地识别用户期望关于其的信息的文本。例如，在阅读关于天文学的文章时，用户识别文本(例如，“冥王星(Pluto)”)。然后，用户或者将所识别的文本复制到可由web浏览器访问的搜索引擎中和/或以其他方式明确地调用关于所识别的文本(“冥王星(Pluto)”)的搜索特征。这种常规系统对于非技术和/或新手用户来说是麻烦且不直观的。因此，常规系统可能导致用户沮丧。
发明内容
这里描述的是一种被配置为使用手势来获得上下文相关信息的系统。系统从选择对象的用户接收手势(例如，在触摸屏上圈出文本和/或选择以三维可视化显示的特定对象)，并且作为响应，获得关于该对象的上下文相关信息并向用户呈现关于该对象的上下文相关信息。
该系统包括提取组件，该提取组件被配置为从各种触摸(例如，触摸屏)和/或运动敏感系统接收手势。基于所接收的手势，提取组件提取由所接收的手势选择(例如，识别或定义)的区域内的对象(例如，文字文本、图像、视频和/或视觉表示)。然后，提取组件将提取的对象提供给识别组件。
识别组件被配置为识别附加信息(如果有的话)以与提取的对象打包以帮助消歧组件和/或搜索引擎获得上下文相关信息。附加信息可以包括例如关于观看体验和/或用户的信息。关于观看体验，识别组件可以提供物理地围绕呈现(例如，显示)的对象的信息、音频文件、页面数据、元数据、页面链接等。可选地，与提取对象一起打包的附加信息可以基于用户提供的偏好(例如，用户可以选择加入以提供关于用户的物理位置、用户的浏览历史、最近查看的网页和其它非个人可识别信息的信息)。识别组件将提取的对象和附加信息(如果有的话)打包。在一个示例性实施例中，识别组件将包提供给消歧组件。在另一示例性实施例中，识别组件将包提供给搜索引擎。
消歧组件被配置为解析打包的信息以识别一个或多个主导实体。在这样做时，消歧组件被配置为过滤掉诸如言语的语法冠词之类的上下文无关紧要的信息。因此，消歧组件可以消除打包信息的内容的歧义，以生成要提供给搜索引擎的搜索查询。该系统还可以包括呈现组件，该呈现组件被配置为将从搜索引擎接收的搜索结果呈现给用户。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
图1是示出用于使用手势来获得上下文相关信息的系统的功能框图。
图2示出了示例性实施例的示例性用户界面。
图3示出了示例性实施例的示例性用户界面。
图4示出了示例性实施例的示例性用户界面。
图5是示出用户使用虚拟现实可视化/操纵系统的图。
图6示出了示例性实施例的示例性用户界面。
图7是示出使用手势来获得上下文相关信息的示例性方法的流程图。
图8是示出使用手势来获得上下文相关信息的示例性方法的流程图。
图9是示出示例性计算系统的功能框图。
具体实施方式
现在参考附图描述与使用手势获得上下文相关信息有关的各种技术，其中相同的附图标记通篇用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个方面的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践这些方面。在其他实例中，以框图形式示出了公知的结构和设备，以便于描述一个或多个方面。此外，应该理解，被描述为由某些系统组件执行的功能可以由多个组件执行。类似地，例如，组件可以被配置为执行被描述为由多个组件执行的功能。
本主题公开内容支持执行或被配置为执行关于使用手势来获得上下文相关信息的各种动作的各种产品和过程。以下是一个或多个示例性系统和方法。
本主题公开的各方面涉及获得上下文相关信息以用于用户体验的技术问题。与解决该问题相关联的技术特征涉及提取由用户手势选择的区域内的对象(例如，内容)，基于提取的对象生成搜索查询，基于搜索查询从搜索引擎获得结果，并将结果呈现给用户。因此，这些技术特征的各方面展示了基于用户手势获得上下文相关信息以提高用户满意度从而丰富用户体验的技术效果。
这里描述的是与使用手势(例如，自然手势)来获得上下文相关信息有关的各种技术。提取由手势选择的区域内的对象(例如，内容)。提取的对象和附加的上下文信息被打包，可选地消除歧义，并提供给搜索引擎。搜索引擎提供的结果被提供给用户以丰富用户体验。
此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有说明或从上下文中清楚获知，否则短语“X使用A或B”旨在表示任何自然的包含性排列。也就是说，通过以下任何一种情况满足短语“X使用A或B”：X使用A；X使用B；或者X使用A和B二者。另外，本申请和所附权利要求中使用的词语“一”和“一个”通常应理解为表示“一个或多个”，除非另有说明或从上下文中清楚获知针对单数形式。
如本文所使用的，术语“组件”和“系统”以及其各种形式(例如，组件、系统、子系统等)旨在指代与计算机相关的实体，或者硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是在处理器上运行的进程、处理器、对象、实例、可执行文件、执行线程、程序和/或计算机。举例来说，在计算机上运行的应用程序和计算机都可以是组件。一个或多个组件可以驻留在进程和/或执行的线程内，并且组件可以位于一个计算机上和/或分布在两个或更多个计算机之间。此外，如本文所使用的，术语“示例性”旨在表示用作某事物的说明或示例，并且不旨在指示偏好。
“对象”旨在指代视觉表示，并且可以包括但不限于由虚拟现实可视化/操纵系统和/或其部分呈现的文本、图像、3D视觉表示。将参考两个场景讨论本主题公开：(1)触摸屏和(2)虚拟现实可视化/操纵系统。然而，本领域技术人员将认识到，本主题公开不限于这两个场景，并且本主题公开可以由利用手势来获得关于对象的上下文相关信息的任何合适的技术来使用。
参考图1，示出了用于使用手势来获得上下文相关信息的系统100。系统100被配置为从选择对象的用户接收手势，并且作为响应，获得关于对象的上下文相关信息并向用户呈现关于对象的上下文相关信息。利用单个自然手势，例如，在触摸屏上圈出文本和/或图像，可以向用户呈现关于带圆圈的文本和/或图像的大量上下文相关信息。
常规系统通常要求用户明确地识别用户期望其信息的文本。例如，在阅读关于天文学的文章时，用户将识别文本(例如，“冥王星”)并或者将所识别的文本复制到可由web浏览器访问的搜索引擎中和/或以其他方式明确地调用关于所识别的文本(“冥王星”)的搜索特征。这种常规系统对于非技术和/或新手用户来说是麻烦且不直观的。相比之下，系统100使用户能够使用自然手势隐含地获得上下文相关信息，例如在触敏显示器上圈出区域和/或通过虚拟现实可视化/操纵系统选择在三维可视化中显示的特定对象。
该系统包括提取组件110，其被配置成例如从各种触摸(例如，触摸屏)和/或运动敏感系统(例如，虚拟现实可视化/操纵系统)接收手势。在一个示例性实施例中，提取组件110可以从手势敏感显示器和/或从不同的显示器和传感器(未示出)接收手势，该手势敏感显示器可以是具有显示器和传感器的集成系统。在一个示例性实施例中，提取组件110可以经由虚拟现实可视化/操纵系统(未示出)接收手势。虚拟现实可视化/操纵系统可以包括加速度计/陀螺仪、3D显示器、头部、眼睛、凝视跟踪和/或沉浸式增强现实系统。手势可以选择呈现给用户的内容的一部分。
基于所接收的手势，提取组件110提取由所接收的手势选择(例如，定义)的区域内的对象(例如，文字文本、图像、视频和/或视觉表示)。然后，提取组件110将提取的对象提供给识别组件120。
例如，用户可以使用圆形运动做手势来指示用户期望上下文相关信息的呈现文本、图像和/或视觉表示的特定部分。虽然本文讨论了圆形运动，但是本领域技术人员将认识到，本主题公开内容可以利用可以确定用户选择性意图的任何合适的手势。
识别组件120被配置为识别附加信息(如果有的话)以与提取的对象一起打包以帮助消歧组件130和/或搜索引擎140获得上下文相关信息。附加信息可以包括用于智能地确定用户正在查看什么以及用户想要关于什么的信息的任何合适的信息，例如，关于观看体验和/或用户的信息。关于观看体验，识别组件120可以提供围绕呈现(例如，显示)的对象的信息、音频文件、页面数据、元数据、页面链接等。在一个示例中，与提取对象一起打包的附加信息可以基于用户提供的偏好。例如，用户可以选择加入以提供关于语言、机器、市场、用户的物理位置、用户的浏览历史、最近查看的网页以及其他非个人可识别信息的信息。
例如，用户可以做手势选择位于法国巴黎的艾菲尔铁塔的图像。根据诸如用户所在物理位置的上下文信息，系统100可以对于物理上位于美国的用户呈现与(1)法国或巴黎相关联的结果，或对于物理上位于巴黎的用户呈现与(2)艾菲尔铁塔相关联的结果。
如果有的话，识别组件120将提取的对象和附加信息打包，并且在一个示例性实施例中，将包提供给消歧组件130。在另一示例性实施例中，识别组件120将包直接提供给搜索引擎140。
消歧组件130被配置为解析打包的信息以识别一个或多个主导实体。在这样做时，消歧组件130可以过滤掉诸如言语的语法冠词、页脚等的上下文无关紧要的信息。消歧组件130因此可以消除打包信息的内容的歧义以生成要提供给搜索引擎140的搜索查询。
搜索引擎140可以基于消歧组件130提供的搜索查询来生成搜索结果。搜索引擎140可以将搜索结果提供给呈现组件150。呈现组件150被配置将搜索结果呈现给用户。在一个示例性实施例中，基于排名顺序接收并呈现多个结果。
转到图2和3，示出了示例性实施例的示例性用户界面200和300。用户界面200和300包括地址窗格210，其例如标识在第一内容窗格220中显示的网页的统一资源定位符(URL)。用户界面200和300还包括第二内容窗格230和广告窗格240。在一个示例性实施例中，在第二内容窗格230中呈现的内容与在第一内容窗格220中呈现的内容上下文相关，例如，与在第一内容窗格220中呈现的内容相关的图像或视频。
在一个示例中，在广告窗格240中呈现的信息与在第一内容窗格220中呈现的内容上下文无关。在另一示例中，在广告窗格240中呈现的信息与在第二内容窗格220中呈现的内容上下文相关。内容窗格220包括识别信息，包括“日期(Date)”、“标题(Title)”和“来自(By)”字段以及文本“这是关于冥王星的天文文章”。
参考图3，使用手势，用户已经选择了由手势区域250指示的文本的一部分。返回参考图1，继续参考图3，响应于该手势，系统100可以获得用于呈现给用户的上下文相关信息。首先，提取组件110可以识别并提取由所接收的手势选择的对象。在图3的示例中，由于手势区域250包括文本的一部分，因此可以将对象识别为文字文本“这是关于冥王星的天文学文章”的至少一部分。提取组件110可以将对象提供给识别组件120。
接下来，识别组件120可以将对象与附加信息一起打包，例如，第一内容窗格220的“日期”、“标题”和/或“来自”字段。另外，识别组件120可以包括在地址窗格210中标识的URL和在第二内容窗格230中呈现的信息(如果被确定为与对象上下文相关)。此外，广告窗格240中呈现的信息(如果由识别组件120确定为与对象上下文相关)可以包括在包中。识别组件120可以提供打包的提取的对象和附加信息(如果有的话)给消歧组件130。
消歧组件130可以解析打包的信息以识别一个或多个主导实体。在这样做时，消歧组件130可以过滤掉诸如言语的语法冠词之类的上下文无关紧要的信息。因此，消歧组件130可以消除打包信息的内容的歧义，以生成要提供给搜索引擎140的搜索查询。
搜索引擎140可以基于消歧组件130提供的搜索查询来生成搜索结果。搜索引擎140可以将搜索结果提供给呈现组件150。
呈现组件150可以将搜索结果呈现给用户。转到图4，示出了示例性实施例的示例性用户界面400。在图4的示例性实施例中，呈现组件150可以在结果窗格260中向用户呈现搜索结果。在该示例中，结果窗格260包括从搜索引擎140接收的关于冥王星的进一步信息：“冥王星是矮行星......”。
接下来参考图5，图500示出了使用投影图像530的虚拟现实可视化/操纵系统520的用户510。通过如弧540所示那样做手势，用户可以调用系统以获得上下文相关信息100以获得关于图像530的上下文相关信息。
转到图6，示出了示例性实施例的示例性用户界面600的用户界面600。在用户界面600中，用户已经选择了由手势片段610指示的文本的一部分。然而，手势片段610确实包括完整的圆形区域。在一个示例性实施例中，系统100可以使用跟踪提示来基于用户选择性意图来确定手势区域620。
图7和图8示出了与使用手势来获得上下文相关信息有关的示例性方法。尽管将方法示出并描述为按顺序执行的一系列动作，但应理解并意识到，方法不受序列顺序的限制。例如，一些动作可以以与本文描述的顺序不同的顺序发生。此外，动作可以与另一动作同时发生。此外，在一些情况下，可能不需要所有动作来实现本文描述的方法。
此外，本文描述的动作可以是计算机可执行指令，其可以由一个或多个处理器实现和/或存储在计算机可读媒介或介质上。计算机可执行指令可以包括例程、子例程、程序、执行的线程和/或类似物。此外，方法的动作的结果可以存储在计算机可读介质中，显示在显示设备上，和/或类似的。
参考图7，示出了使用手势来获得上下文相关信息的示例性方法700。在710处，例如从触摸和/或运动敏感系统接收选择对象的至少一部分的手势。在720处，基于所接收的手势，提取对象。例如，可以在由接收到的手势选择的区域内提取对象(例如，文字文本、图像的数字化和/或视觉表示的数字化)。
在730处，识别用于与所提取的对象一起打包的附加信息(如果有的话)。附加信息可以包括例如关于观看体验和/或用户的信息。关于观看体验，可以识别物理地围绕呈现(例如，显示)的对象的信息、音频文件、页面数据、元数据、页面链接等。在740处，将所提取的对象和所识别的附加信息(如果有的话)打包。
接下来，转到图8，示出了使用手势来获得上下文相关信息的示例性方法800。在810处，例如通过消歧组件130消除打包的提取对象和所识别的附加信息(如果有的话)的歧义。例如，可以解析打包的信息以识别一个或多个主导实体。在这样做时，可以过滤掉诸如言语的语法冠词之类的上下文无关紧要的信息。因此可以消除打包信息的内容的歧义以生成要提供给例如搜索引擎的搜索查询。
在820处，例如在搜索引擎140处提供搜索查询。在830处，例如从搜索引擎140接收搜索结果。在840处，将搜索结果呈现给用户。在一个示例性实施例中，结果可以通过显示提取的对象的相同显示器呈现给用户，例如，在结果窗格260中。在另一个示例性实施例中，可以通过与显示所提取的对象不同的显示器向用户显示结果，例如，物理上分开的显示器，例如第二计算机显示器、平板电脑的屏幕、智能电话的屏幕等。在又一示例性实施例中，可以经由虚拟现实可视化/操纵系统的画布呈现结果。在另一示例实施例中，结果通过单独的通信模态呈现给用户，例如，计算机生成的文本到语音(例如，可听地呈现给用户的结果)。
这里描述的是一种包括处理器和存储器的系统，该存储器包括提取组件，该提取组件被配置为接收选择呈现的内容的一部分的手势，并且基于所接收的手势，提取由接收到的手势选择的所呈现的内容的一部分内的对象。存储器还可以包括识别组件，该识别组件被配置为识别附加信息以与提取的对象打包以帮助获得上下文相关信息。该系统可以包括存储器，该存储器还包括消歧组件，该消歧组件被配置为解析打包的提取的对象和附加信息，过滤打包的提取的对象和附加信息以识别主导实体，并将过滤后的打包对象和附加信息作为搜索查询提供给搜索引擎。该系统可以包括存储器，该存储器还包括呈现组件，该呈现组件被配置为呈现响应于打包的提取的对象和附加信息而由搜索引擎生成的搜索结果。该系统可以包括其中通过显示器呈现搜索结果。该系统可以包括其中经由虚拟现实可视化/操纵系统呈现搜索结果。该系统可以包括其中对象包括由虚拟现实可视化操纵系统呈现的文本、图像或三维表示中的至少一个。该系统可以包括其中从触敏显示器接收手势。该系统可以包括其中从虚拟现实可视化操纵系统接收手势。该系统可以包括其中附加信息包括用户的物理位置、所呈现的对象周围的信息、音频文件、页面数据、元数据或页面链接中的至少一个。
描述了一种获得上下文相关结果的方法，该方法由至少一个计算设备执行。该方法可以包括接收选择正在呈现的对象的至少一部分的手势，基于接收到的手势提取对象，生成包括提取的对象的包，消除包的歧义以生成搜索查询，将搜索查询提供给搜索引擎，从搜索引擎接收搜索结果；并呈现搜索结果。该方法可以进一步包括识别用于与提取的对象打包的附加信息，其中该包还包括附加信息。该方法还可以包括：其中，附加信息包括用户的物理位置、围绕正在呈现的对象的信息、音频文件、页面数据、元数据或页面链接中的至少一个。该方法还可以包括其中从触敏显示器接收手势。该方法还可以包括其中：从虚拟现实可视化操纵系统接收手势。该方法还可以包括其中对象包括由虚拟现实可视化操纵系统呈现的文本、图像或三维表示中的至少一个。该方法还可以包括其中搜索结果由显示器或虚拟现实可视化/操纵系统中的至少一个呈现。
这里描述的是存储计算机可读指令的计算机存储介质，所述计算机可读指令在被执行时使得计算设备接收选择正在呈现的对象的至少一部分的手势，基于所接收的手势提取对象，识别要与提取的对象打包的附加信息，生成包括提取的对象和识别的附加信息的包，消除包的歧义以生成搜索查询，向搜索引擎提供搜索查询，从搜索引擎接收搜索结果；并呈现搜索结果。可以从虚拟现实可视化操纵系统接收手势。该对象可以包括由虚拟现实可视化操纵系统呈现的文本、图像或三维表示中的至少一个。附加信息可以包括用户的物理位置、围绕正在呈现的对象的信息、音频文件、页面数据、元数据或页面链接中的至少一个。
参考图9，示出了示例通用计算机或计算设备902(例如，台式机、膝上型计算机、平板计算机、手表、服务器、手持式的可编程消费者或工业电子设备、机顶盒、游戏系统、计算节点等)。例如，计算设备902可以用在系统中以使用手势来获得上下文相关信息。
计算机902包括一个或多个处理器920、存储器930、系统总线940、大容量存储设备950以及一个或多个接口组件970。系统总线940可通信地耦合至少上述系统成分。然而，应当意识到，在其最简单的形式中，计算机902可以包括耦合到存储器930的一个或多个处理器920，其执行存储在存储器930中的各种计算机可执行动作、指令和/或组件。例如，指令可以是用于实现被描述为由上面讨论的一个或多个组件执行的功能的指令或用于实现上述一个或多个方法的指令。
处理器920可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散的栅极或晶体管逻辑、分立硬件组件或设计用于执行本文所述的功能的其任何组合来实现。通用处理器可以是微处理器，但是可选地，处理器可以是任何处理器、控制器、微控制器或状态机。处理器920还可以实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、多核处理器、一个或多个微处理器结合DSP内核，或者任何其他这样的配置。在一个实施例中，处理器920可以是图形处理器。
计算机902可以包括各种计算机可读介质或以其他方式与各种计算机可读介质交互，以便于控制计算机902来实现所要求保护的主题的一个或多个方面。计算机可读介质可以是可由计算机902访问的任何可用介质，并且包括易失性和非易失性介质，以及可移动和不可移动介质。计算机可读介质可以包括两种不同且互斥的类型，即计算机存储介质和通信介质。
计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括存储设备，例如存储器设备(例如，随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)等)、磁存储设备(例如，硬盘、软盘、磁带盒、磁带等)、光盘(例如，光盘(CD)、数字通用光盘(DVD)等)和固态设备(例如，固态驱动器(SSD)、闪存驱动器(例如，卡、棒、钥匙驱动器)等)，或者存储计算机902可访问的所需信息而不传输或通信的任何其他类似媒介。因此，计算机存储介质排除已调制数据信号以及关于通信介质所描述的内容。
通信介质以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。术语“已调制数据信号”表示以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、RF、红外和其他无线介质的无线介质。
存储器930和大容量存储设备950是计算机可读存储介质的示例。取决于计算设备的确切配置和类型，存储器930可以是易失性的(例如，RAM)，非易失性的(例如，ROM、闪存等)或两者的某种组合。举例来说，基本输入/输出系统(BIOS)，包括在计算机902内的元件之间传送信息的基本例程，例如在启动期间可以存储在非易失性存储器中，而易失性存储器可以充当外部高速缓冲存储器以便于处理器920的处理等等。
大容量存储设备950包括可移动/不可移动、易失性/非易失性计算机存储介质，用于存储相对于存储器930的大量数据。例如，大容量存储设备950包括，但不限于一个或多个设备，例如磁盘或光盘驱动器、软盘驱动器、闪存、固态驱动器或记忆棒。
存储器930和大容量存储设备950可以包括或已经在其中存储了操作系统960、一个或多个应用程序962、一个或多个程序模块964和数据966。操作系统960用于控制和分配计算机902的资源。应用程序962包括系统和应用软件中的一者或两者，并且可以通过操作系统960通过存储在存储器930和/或大容量存储设备950中的程序模块964和数据966来利用资源管理来执行一个或多个动作。因此，应用程序962可以根据由此提供的逻辑将通用计算机902变成专用机器。在一个示例中，应用程序962包括密钥服务组件160。
可以使用标准编程和/或工程技术来实现所要求保护的主题的全部或部分，以产生软件、固件、硬件或其任何组合，以控制计算机实现所公开的功能。作为示例而非限制，系统100或其部分可以是应用程序962或者形成应用程序962的一部分，并且包括存储在存储器和/或大容量存储设备950中的一个或多个模块964和数据966，当由一个或多个处理器920执行时，可以实现其功能。
根据一个特定实施例，处理器920可以对应于片上系统(SOC)或类似体系结构，包括或者换句话说，在单个集成电路基板上集成硬件和软件。这里，处理器920可以包括一个或多个处理器以及至少类似于处理器920和存储器930的存储器等。传统处理器包括最少量的硬件和软件，并且广泛依赖于外部硬件和软件。相比之下，处理器的SOC实现方式更加强大，因为它在其中嵌入了硬件和软件，能够最小程度地依赖于外部硬件和软件或不依赖于外部硬件和软件来实现特定功能。例如，系统100和/或相关联的功能可以嵌入SOC体系结构中的硬件内。
计算机902还包括一个或多个接口组件970，其可通信地耦合到系统总线940并促进与计算机902的交互。举例来说，接口组件970可以是端口(例如，串行、并行、PCMCIA、USB、FireWire等)或接口卡(例如，声音、视频等)等。在一个示例实现方式中，接口组件970可以体现为用户输入/输出接口，以使用户能够通过一个或多个输入设备(例如，诸如鼠标、轨迹球、触控笔、触摸板、键盘、麦克风、操纵杆、游戏手柄、卫星天线、扫描仪、相机、其他计算机等的指示设备)将命令和信息输入到计算机902中，例如通过一个或多个手势或语音输入。在另一示例实现方式中，接口组件970可以体现为输出外围接口，以向显示器(例如，LCD、LED、等离子体等)、扬声器、打印机和/或其他计算机等提供输出。更进一步地，接口组件970可以体现为网络接口，以实现与其他计算设备(未示出)的通信，例如通过有线或无线通信链路。
以上描述的内容包括所要求保护的主题的各方面的示例。当然，出于描述所要求保护的主题的目的，不可能描述组件或方法的每个可想到的组合，但是本领域普通技术人员可以认识到，所公开的主题的许多其他组合和置换是可能的。因此，所公开的主题旨在涵盖落入所附权利要求的精神和范围内的所有这些改变、修改和变化。此外，在具体实施方式或权利要求中使用术语“包含”的程度上，该术语旨在以当在权利要求中用作过渡性词语时解释术语“包括”时类似于术语“包括”的方式是包含性的。

Claims (15)

1.一种系统，包括：
处理器；以及
存储器，包括：
提取组件，被配置为接收选择呈现内容的一部分的手势，并且基于所接收的手势，提取由所接收的手势选择的所述呈现内容的一部分内的对象；以及
识别组件，被配置为识别与所提取的对象一起打包的附加信息，以帮助获得上下文相关信息。
2.如权利要求1所述的系统，所述存储器还包括消歧组件，所述消歧组件被配置为解析打包的提取的对象和附加信息，过滤所述打包的提取的对象和附加信息以识别主导实体，并将过滤的打包的对象和附加信息作为搜索查询提供给搜索引擎。
3.如权利要求1所述的系统，所述存储器还包括呈现组件，所述呈现组件被配置为响应于所述打包的提取的对象和附加信息而呈现由搜索引擎生成的搜索结果。
4.如权利要求3所述的系统，其中，所述搜索结果是通过虚拟现实可视化/操纵系统来呈现的。
5.如权利要求1所述的系统，其中，所述对象包括由虚拟现实可视化操纵系统呈现的文本、图像或三维表示中的至少一个。
6.如权利要求1所述的系统，其中，所述手势是从触敏显示器接收的。
7.如权利要求1所述的系统，其中，所述手势是从虚拟现实可视化操纵系统接收的。
8.如权利要求1所述的系统，其中，所述附加信息包括用户的物理位置、所呈现的所述对象周围的信息、音频文件、页面数据、元数据或页面链接中的至少一个。
9.一种获得上下文相关结果的方法，所述方法由至少一个计算设备执行，所述方法包括：
接收选择正在呈现的对象的至少一部分的手势；
基于所接收的手势来提取所述对象；
生成包括所提取的对象的包；
消除所述包的歧义以生成搜索查询；
向搜索引擎提供所述搜索查询；
从所述搜索引擎接收搜索结果；以及
呈现所述搜索结果。
10.如权利要求9所述的方法，还包括：
识别用于与所提取的对象一起打包的附加信息，其中，所述包还包括所述附加信息。
11.如权利要求9所述的方法，其中，所述对象包括由虚拟现实可视化操纵系统呈现的文本、图像或三维表示中的至少一个。
12.如权利要求9所述的方法，其中，所述搜索结果是由显示器或虚拟现实可视化/操纵系统中的至少一个呈现的。
13.一种存储计算机可读指令的计算机存储介质，其在被执行时使计算设备：
接收选择正在呈现的对象的至少一部分的手势；
基于接收的手势提取所述对象；
识别要与提取的对象一起打包的附加信息；
生成包括所述提取的对象和识别的附加信息的包；
消除所述包的歧义以生成搜索查询；
向搜索引擎提供所述搜索查询；
从所述搜索引擎接收搜索结果；以及
呈现所述搜索结果。
14.如权利要求13所述的计算机存储介质，其中，所述手势是从虚拟现实可视化操纵系统接收的。
15.如权利要求13所述的计算机存储介质，其中，所述对象包括由虚拟现实可视化操纵系统呈现的文本、图像或三维表示中的至少一个。
CN201780020886.8A 2016-03-30 2017-03-27 使用手势选择获取上下文相关信息 Active CN109074374B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662315155P 2016-03-30 2016-03-30
US62/315,155 2016-03-30
US15/151,581 2016-05-11
US15/151,581 US10628505B2 (en) 2016-03-30 2016-05-11 Using gesture selection to obtain contextually relevant information
PCT/US2017/024220 WO2017172561A1 (en) 2016-03-30 2017-03-27 Using gesture selection to obtain contextually relevant information

Publications (2)

Publication Number Publication Date
CN109074374A true CN109074374A (zh) 2018-12-21
CN109074374B CN109074374B (zh) 2022-10-28

Family

ID=59961712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780020886.8A Active CN109074374B (zh) 2016-03-30 2017-03-27 使用手势选择获取上下文相关信息

Country Status (4)

Country Link
US (1) US10628505B2 (zh)
EP (1) EP3436977A1 (zh)
CN (1) CN109074374B (zh)
WO (1) WO2017172561A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190339837A1 (en) * 2018-05-04 2019-11-07 Oculus Vr, Llc Copy and Paste in a Virtual Reality Environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090058820A1 (en) * 2007-09-04 2009-03-05 Microsoft Corporation Flick-based in situ search from ink, text, or an empty selection region
US20110173574A1 (en) * 2010-01-08 2011-07-14 Microsoft Corporation In application gesture interpretation
US20120197857A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Gesture-based search
CN104157171A (zh) * 2014-08-13 2014-11-19 三星电子（中国）研发中心 一种点读系统及其方法
US20150015481A1 (en) * 2013-07-12 2015-01-15 Bing Li Gesture Recognition Systems
CN104462083A (zh) * 2013-09-13 2015-03-25 佳能株式会社 用于内容比较的方法、装置和信息处理系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20090113349A1 (en) 2007-09-24 2009-04-30 Mark Zohar Facilitating electronic commerce via a 3d virtual environment
US8650507B2 (en) 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US20110115702A1 (en) 2008-07-08 2011-05-19 David Seaberg Process for Providing and Editing Instructions, Data, Data Structures, and Algorithms in a Computer System
WO2010105246A2 (en) * 2009-03-12 2010-09-16 Exbiblio B.V. Accessing resources based on capturing information from a rendered document
US9201520B2 (en) 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
US8553981B2 (en) * 2011-05-17 2013-10-08 Microsoft Corporation Gesture-based visual search
US8996687B2 (en) * 2011-05-31 2015-03-31 At&T Intellectual Property I, L.P. Context-based computing framework
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
EP2783269B1 (en) * 2011-11-23 2018-10-31 Intel Corporation GESTURE INPUT WITH MULTIPLE VIEWS and DISPLAYS
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US10984337B2 (en) 2012-02-29 2021-04-20 Microsoft Technology Licensing, Llc Context-based search query formation
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US9916396B2 (en) * 2012-05-11 2018-03-13 Google Llc Methods and systems for content-based search
US9218685B2 (en) 2012-06-05 2015-12-22 Apple Inc. System and method for highlighting a feature in a 3D map while preserving depth
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US20140075393A1 (en) 2012-09-11 2014-03-13 Microsoft Corporation Gesture-Based Search Queries
US20140101606A1 (en) * 2012-10-09 2014-04-10 Microsoft Corporation Context-sensitive information display with selected text
US8977961B2 (en) 2012-10-16 2015-03-10 Cellco Partnership Gesture based context-sensitive functionality
US9483518B2 (en) * 2012-12-18 2016-11-01 Microsoft Technology Licensing, Llc Queryless search based on context
US20140267130A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
WO2017019684A1 (en) * 2015-07-27 2017-02-02 Datagrid Systems, Inc. Techniques for evaluating server system reliability, vulnerability and component compatibility using crowdsourced server and vulnerability data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090058820A1 (en) * 2007-09-04 2009-03-05 Microsoft Corporation Flick-based in situ search from ink, text, or an empty selection region
US20110173574A1 (en) * 2010-01-08 2011-07-14 Microsoft Corporation In application gesture interpretation
US20120197857A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Gesture-based search
US20150015481A1 (en) * 2013-07-12 2015-01-15 Bing Li Gesture Recognition Systems
CN104462083A (zh) * 2013-09-13 2015-03-25 佳能株式会社 用于内容比较的方法、装置和信息处理系统
CN104157171A (zh) * 2014-08-13 2014-11-19 三星电子（中国）研发中心 一种点读系统及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUYING ZHAO ET AL: "A novel interactive method of virtual reality system based on hand gesture recognition", 《2009 CHINESE CONTROL AND DECISION CONFERENCE》 *
武汇岳 等: "基于视觉的手势界面关键技术研究", 《计算机学报》 *

Also Published As

Publication number Publication date
WO2017172561A1 (en) 2017-10-05
US20170286552A1 (en) 2017-10-05
CN109074374B (zh) 2022-10-28
US10628505B2 (en) 2020-04-21
EP3436977A1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
US11609675B2 (en) Placement of objects in an augmented reality environment
US9870362B2 (en) Interactive data-driven presentations
US10417991B2 (en) Multi-display device user interface modification
US10402470B2 (en) Effecting multi-step operations in an application in response to direct manipulation of a selected object
US20190182563A1 (en) Method and apparatus for providing contents controlled or synthesized based on interaction of user
US9619519B1 (en) Determining user interest from non-explicit cues
US20170235582A1 (en) Systems and methods method for providing an interactive help file for host software user interfaces
US11568631B2 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
US20230012805A1 (en) Image template-based ar form experiences
US20210118232A1 (en) Method and System for Translating Air Writing To An Augmented Reality Device
US10387485B2 (en) Cognitive image search refinement
CN109074374A (zh) 使用手势选择获取上下文相关信息
US10732794B2 (en) Methods and systems for managing images
WO2019074775A1 (en) EXECUTION OF OPERATION BASED ON A CONTEXT
US9785650B2 (en) Flexible content display
CN109416638B (zh) 可定制的紧凑叠加窗口
CN110891120B (zh) 界面内容展示方法、装置及存储介质
WO2016101768A1 (zh) 终端以及基于触摸操作的搜索方法和装置
US10937127B2 (en) Methods and systems for managing text in rendered images
US20200218335A1 (en) Adapting a display of interface elements on a touch-based device to improve visibility
CN111095183A (zh) 用户界面中的语义维度
US11009969B1 (en) Interactive data input
EP3635527B1 (en) Magnified input panels
Datta Cross-Reality Re-Rendering: Manipulating between Digital and Physical Realities
CN112306598A (zh) 对话管理方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant