CN108700993A - 具有建议的搜索查询区域的键盘 - Google Patents

具有建议的搜索查询区域的键盘 Download PDF

Info

Publication number
CN108700993A
CN108700993A CN201680081882.6A CN201680081882A CN108700993A CN 108700993 A CN108700993 A CN 108700993A CN 201680081882 A CN201680081882 A CN 201680081882A CN 108700993 A CN108700993 A CN 108700993A
Authority
CN
China
Prior art keywords
computing device
input
instruction
search
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680081882.6A
Other languages
English (en)
Other versions
CN108700993B (zh
Inventor
M-S.崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202110539827.XA priority Critical patent/CN113391750A/zh
Publication of CN108700993A publication Critical patent/CN108700993A/zh
Application granted granted Critical
Publication of CN108700993B publication Critical patent/CN108700993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G06F16/3323—Query formulation using system suggestions using document space presentation or visualization, e.g. category, hierarchy or range presentation and selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90324—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/134—Hyperlinking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了一种计算设备，该计算设备包括存在敏感显示组件、至少一个处理器、以及存储器。存储器存储指令，该指令在被执行时使得至少一个处理器输出图形键盘用于显示，该图形键盘包括多个键和搜索元素，并且至少部分地基于从多个键选择一个或多个键来确定查询建议。该指令在被执行时进一步使得至少一个处理器接收选择搜索元素的输入的指示，并且响应于接收到输入的指示，输出更新后的图形键盘用于显示，该更新后的图形键盘包括与查询建议相关联的可选择链接。

Description

具有建议的搜索查询区域的键盘
背景技术
尽管能够同时执行几个应用，但是一些移动计算设备一次只能呈现单个应用的图形用户界面(Graphical User Interface，GUI)。为了同时与多个应用交互，移动计算设备的用户可能必须在不同的应用GUI之间切换。例如，移动计算设备的用户可能必须停止在消息传送应用中输入文本并提供使得设备切换到搜索应用以搜索在编写消息或以其他方式输入文本时使用的一条特定信息的输入。提供一些计算设备执行各种任务所需的几个输入可能是冗长的、重复的和耗时的。
发明内容
在一个示例中，一种方法包括：由移动计算设备输出图形键盘用于显示，该图形键盘包括多个键和搜索元素；至少部分地基于从多个键选择一个或多个键来确定查询建议。该方法还包括：由移动计算设备接收选择搜索元素的输入的指示；以及响应于接收到输入的指示，由移动计算设备输出更新后的图形键盘用于显示，该更新后的图形键盘包括与查询建议相关联的可选择链接。
在另一示例中，一种移动设备包括：存在敏感(presence-sensitive)显示组件；至少一个处理器；以及存储指令的存储器，该指令在被执行时使得至少一个处理器：输出图形键盘用于显示，该图形键盘包括多个键和搜索元素；至少部分地基于从多个键选择一个或多个键来确定查询建议；接收选择搜索元素的输入的指示；以及响应于接收到输入的指示，输出更新后的图形键盘用于显示，该更新后的图形键盘包括与查询建议相关联的可选择链接。
在另一示例中，一种计算机可读存储介质包括指令，该指令在被执行时使得计算设备的至少一个处理器：输出应用图形用户界面用于显示，该应用图形用户界面包括编辑区域、多个键以及搜索元素；至少部分地基于从多个键选择一个或多个键来确定查询建议；接收选择搜索元素的输入的指示；以及响应于接收到输入的指示，输出更新后的应用图形用户界面用于显示，该更新后的应用图形用户界面包括与查询建议相关联的可选择链接，其中可选择链接位于编辑区域与多个键之间。
在附图和以下描述中阐述了一个或多个示例的细节。根据说明书和附图以及根据权利要求，本公开的其他特征、目的和优点将是显而易见的。
附图说明
图1是示出根据本公开的一个或多个方面的被配置为呈现具有集成的搜索特征的图形键盘的示例计算设备的概念图。
图2是示出根据本公开的一个或多个方面的被配置为呈现具有集成的搜索特征的图形键盘的示例计算设备的框图。
图3是示出根据本公开的一个或多个技术的输出图形内容用于在远程设备处显示的示例计算设备的框图。
图4A-图4D是示出根据本公开的一个或多个方面的被配置为呈现具有集成的搜索特征的图形键盘的示例计算设备的示例图形用户界面的概念图。
图5A-图5F是示出根据本公开的一个或多个方面的被配置为呈现具有集成的搜索特征的图形键盘的示例计算设备的示例图形用户界面的概念图。
图6A-图6C是示出根据本公开的一个或多个方面的被配置为呈现具有集成的搜索特征的图形键盘的示例计算设备的示例图形用户界面的概念图。
图7是示出根据本公开的一个或多个方面的被配置为呈现具有集成的搜索特征的图形键盘的计算设备的示例操作的流程图。
图8是示出根据本公开的一个或多个方面的被配置为呈现具有集成的搜索特征的图形键盘的计算设备的示例操作的流程图。
具体实施方式
通常，本公开针对包括使得计算设备能够在用户在图形键盘的键处提供输入时在图形键盘的键附近显示建议的搜索查询的技术。例如，计算设备可以输出包括图形键盘的图形用户界面(GUI)。图形键盘可以例如基于在用户与图形键盘交互时从用户输入确定的文本来建议搜索查询。在一些示例中，除了分析文本之外，图形键盘还可以通过分析诸如用户的当前或近期任务、上下文或与图形键盘的先前交互的其他信息来生成建议的查询。因此，除了从用户输入推断的文本之外，建议的查询还可以与用户的当前或近期任务有关，并且可以响应于计算设备检测到的进一步键入或其他输入或动作而更新。
图形键盘可以在图形键盘内显示建议的查询，并且在一些示例中可以在具有当前输入焦点的特定文本字段或图形键盘的其他位置附近显示建议的查询。例如，图形键盘可以在图形键与用户当前正在键入的编辑区域之间显示建议的查询。这种布置可以使用户更容易停留在任务上并且容易查看，并提供附加输入以选择建议的查询。在GUI具有可以具有输入焦点的多于一个文本字段的情形中，图形键盘可以在具有输入焦点的特定文本字段上面并且在(多个)其他文本字段下面显示建议的查询。这种布置中的在文本字段之间创建的视觉空间可以减少用户关于哪个文本字段具有输入优先级的困惑。如果图形键盘检测到用户对建议的查询的选择，则图形键盘可以基于建议的查询执行搜索并在图形键盘内显示搜索结果，在一些示例中，用搜索结果替换图形键盘内的一些或所有键。这种图形键盘可以允许用户查看建议的查询并基于建议的查询来获得搜索结果，而不会在一些情况下导致用户失去焦点、切换任务或在应用用户界面之间切换。
在整个公开中，描述了其中只有在计算设备从计算设备的用户接收到对分析与计算设备和计算设备的用户相关联的信息(例如，上下文、位置、速度、搜索查询等)的许可时，计算设备和/或计算系统才分析该信息的示例。例如，在下面讨论的情形中，在计算设备或计算系统可以收集或可以利用与用户相关联的信息之前，可以向用户提供用于提供输入的机会，该输入用于控制计算设备和/或计算系统的程序或特征是否可以收集和利用用户信息(例如，关于用户的当前位置、当前速度等的信息)或者指示设备和/或系统是否可以和/或如何接收可能与用户有关的内容。另外，在由计算设备和/或计算系统存储或使用某些数据之前，可以以一种或多种方式处理某些数据，以便个人可识别信息被移除。例如，可以处理用户的身份，以便不能确定关于用户的个人可识别信息，或者可以概括其中获得位置信息的用户的地理位置(例如，概括为城市、邮政编码或州级)，以便不能确定用户的特定位置。因此，用户可以控制关于用户的信息如何被计算设备和计算系统收集和使用。
图1是示出根据本公开的一个或多个方面的被配置为呈现具有集成的搜索特征的图形键盘的示例计算设备110的概念图。计算设备110可以表示移动设备，诸如智能电话，平板计算机，膝上型计算机，计算机化手表，或可以输出图形键盘用于显示的任何其他类型的可穿戴和不可穿戴、移动或非移动计算设备。
计算设备110包括存在敏感显示器(Presence-Sensitive Display，PSD)112、用户界面(User Interface，UI)模块120和键盘模块122。模块120和122可以执行使用软件、硬件、固件或驻留在计算设备110中和/或在计算设备110处执行的硬件、软件和固件的混合来描述的操作。计算设备110的一个或多个处理器可以执行存储在计算设备110的存储器或其他非暂时性存储介质处的指令，以执行模块120和122的操作。计算设备110可以将模块120和122作为在底层硬件上执行的虚拟机来执行。模块120和122可以作为操作系统或计算平台的一个或多个服务来执行。模块120和122可以作为计算平台的应用层处的一个或多个可执行程序来执行。
计算设备110的PSD 112可以用作计算设备110的相应的输入和/或输出设备。可以使用各种技术来实施PSD 112。例如，PSD 112可以用作使用存在敏感输入屏幕(诸如电阻式触摸屏、表面声波触摸屏、电容式触摸屏、投射电容式触摸屏、压敏屏幕、声学脉冲识别触摸屏或另一存在敏感显示技术)的输入设备。PSD 112还可以用作使用任何一个或多个显示设备(诸如液晶显示器(Liquid Crystal Display，LCD)、点阵显示器、发光二极管(LightEmitting Diode，LED)显示器、有机发光二极管(Organic Light-Emitting Diode，OLED)、电子墨水或能够向计算设备110的用户输出可视信息的类似的单色或彩色显示器)的输出(例如，显示)设备。
PSD 112可以检测来自相应计算设备110的用户的输入(例如，触摸和非触摸输入)。PSD 112可以通过检测来自用户的一个或多个手势(例如，用户用手指或手写笔在PSD112的一个或多个位置处或附近触摸、指向和/或滑动)来检测输入的指示。PSD 112可以以用户界面(例如，用户界面114)的形式向用户输出信息，该用户界面可以与由计算设备110提供的功能相关联。这种用户界面可以与在计算设备110处执行或可从计算设备110访问的计算平台、操作系统、应用和/或服务(例如，电子消息应用、聊天应用、互联网浏览器应用、移动或桌面操作系统、社交媒体应用、电子游戏和其他类型的应用)相关联。例如，PSD 112可以呈现用户界面114，其如图1所示是在计算设备110处执行的聊天应用的图形用户界面并且包括在PSD 112的各个位置处显示的各种图形元素。
如图1所示，用户界面114是聊天用户界面。然而，用户界面114可以是包括具有集成的搜索特征的图形键盘(或访问具有集成的搜索特征的图形键盘的服务)的任何图形用户界面。用户界面114包括输出区域116A、图形键盘116B和编辑区域116C。计算设备110的用户可以在图形键盘116B处提供输入以在编辑区域116C内产生文本字符，其形成在输出区域116A内显示的电子消息的内容。在输出区域116A内显示的消息形成计算设备110的用户与不同计算设备的用户之间的聊天对话。
在一些示例中，区域116A是用于第一应用的用户界面，该第一应用与提供图形键盘116B的键盘应用分离并且不同。在这样的示例中，第一应用利用键盘应用的服务来进行某些输入和输出功能，包括文本和符号输入、文本和符号显示、文本和符号输入编辑、附件选择、进程调用(诸如拼写检查、字体和风格改变等)、发送和接收控制等。此外，键盘应用可以实施搜索功能，并且在一些示例中，向第一应用提供该搜索功能或该搜索功能的结果。
UI模块120管理用户与PSD 112和计算设备110的其他组件的交互。换句话说，UI模块120可以充当计算设备110的各种组件之间的中介，以基于由PSD 112检测到的用户输入进行确定，并响应于用户输入在PSD 112处生成输出。UI模块120可以从计算设备110的应用、服务、平台或其他模块接收指令以使得PSD 112输出用户界面(例如，用户界面114)。UI模块120可以在用户查看PSD 112处呈现的用户界面并与其交互时管理由计算设备110接收的输入，并响应于从正在处理用户输入的计算设备110的应用、服务、平台或其他模块接收到附加指令而更新用户界面。
键盘模块122表示在计算设备110处执行或可由计算设备110访问的应用、服务或组件，其为计算设备110提供具有集成的搜索特征的图形键盘。键盘模块122可以在以文本输入模式(其中键盘模块122类似于传统的图形键盘运行)操作或以搜索模式(其中键盘模块122执行各种集成的搜索功能)操作之间切换。
在一些示例中，键盘模块122可以是在计算设备110处执行的独立应用、服务或模块，并且在其他示例中，键盘模块122可以是控制设备110的操作的操作系统的子组件。例如，键盘模块122可以集成到在计算设备110处执行的聊天或消息传送应用中，而在其他示例中，键盘模块122可以是在任何时候应用或操作平台需要图形键盘输入功能时由计算设备110的应用或操作平台调用的独立应用或子例程。在一些示例中，计算设备110可以(例如，经由互联网)从服务提供商的应用库下载并安装键盘模块122。在其他示例中，键盘模块122可以被预加载作为计算设备110的操作系统的一部分。
当以文本输入模式操作时，计算设备110的键盘模块122可以执行用于文本输入的传统的图形键盘操作，诸如：生成图形键盘布局用于在PSD 112处显示，将PSD 112处的检测到的输入映射为对图形键的选择，基于所选择的键确定字符，或基于根据所选择的键而确定的字符来预测或自动校正单词和/或短语。
图形键盘116B包括显示为图形键118A的图形元素。键盘模块122可以向UI模块120输出指定用户界面114内的图形键盘116B的布局的信息。例如，信息可以包括指定图形键118A的位置、大小、颜色和其他特性的指令。基于从键盘模块122接收的信息，UI模块120可以使得PSD 112显示图形键盘116B作为用户界面114的一部分。
图形键118A的每个键可以与键内显示的相应字符(例如，字母、数字、标点符号或其他字符)相关联。计算设备110的用户可以在PSD 112的位置处提供输入，其中在该位置处显示图形键118A的一个或多个键以将内容(例如，字符、搜索结果等)输入到(例如，用于编写在输出区域116A内发送和显示的消息或者用于从图形键盘116B内输入计算设备110执行的搜索查询的)编辑区域116C中。键盘模块122可以从UI模块120接收指示与由PSD 112检测到的与图形键中的每一个的位置相关的输入相关联的位置的信息。使用空间和/或语言模型，键盘模块122可以将输入转换为对键的选择以及字符、单词和/或短语。
例如，PSD 112可以在计算设备110的用户在其中PSD 112呈现图形键118A的、PSD112的位置处或附近提供用户输入时检测用户输入。UI模块120可以从PSD 112接收由PSD112检测到的用户输入的指示，并向键盘模块122输出关于用户输入的信息。关于用户输入的信息可以包括由PSD 112检测到的一个或多个触摸事件的指示(例如，关于输入的位置和其他信息)。
基于从UI模块120接收到的信息，键盘模块122可以将在PSD 112处的检测到的输入映射为对图形键118A的选择，基于所选择的图形键118A确定字符，以及预测或自动校正基于与所选择的键118A相关联的字符而确定的单词和/或短语。例如，键盘模块122可以包括空间模型，该空间模型可以基于键118A的位置和关于输入的信息确定最可能被选择的一个或多个键118A。响应于确定最可能被选择的一个或多个键118A，键盘模块122可以确定一个或多个字符、单词和/或短语。例如，从PSD 112处的用户输入选择的一个或多个键118A中的每一个可以表示单个字符或键盘操作。键盘模块122可以确定基于一个或多个所选择的键118A而选择的字符序列。在一些示例中，键盘模块122可以将语言模型应用于字符序列，以基于对键118A的选择来确定用户试图输入的一个或多个最可能的候选字母、词素、单词和/或短语。
键盘模块122可以将字符序列和/或候选单词和短语发送到UI模块120，并且UI模块120可以使得PSD 112在编辑区域116C内将根据对一个或多个键118A的选择而确定的字符和/或候选单词呈现为文本。在一些示例中，当用作用于执行文本输入操作的传统键盘时，并且响应于在图形键118A处接收到用户输入(例如，当用户在图形键盘116B处键入以在编辑区域116C内输入文本时)，键盘模块122可以使得UI模块120在建议区域118B内将候选单词和/或短语显示为一个或多个可选择的拼写校正和/或可选择的单词或短语建议。
除了执行用于文本输入的传统的图形键盘操作之外，计算设备110的键盘模块122还提供集成的搜索能力。也就是说，键盘模块122可以以搜索模式操作，而不需要计算设备110的用户离开提供图形键盘116B(例如，到在计算设备110处执行或可从计算设备110访问的不同应用或服务)的用户界面114，在该搜索模式中键盘模块122可以调用搜索操作并在显示图形键盘116B的PSD 112的相同区域内呈现搜索结果。键盘模块122可以包括用于执行搜索功能的例程和/或可以包括用于与从键盘模块122接收搜索参数并返回搜索结果的单独搜索引擎或资源进行通信的接口。由键盘模块122调用的搜索功能可以搜索设备110的存储器和/或外部存储器。
如上所述，键盘模块122可以作为在计算设备110处执行的独立应用、服务或模块或作为其单个子组件、集成的子组件来执行。因此，如果键盘模块122形成在计算设备110处执行的聊天或消息传送应用的一部分，则键盘模块122可以向聊天或消息传送应用提供文本输入能力以及搜索能力。类似地，如果键盘模块122是在任何时候应用或操作平台需要图形键盘输入功能时由计算设备110的应用或操作平台调用的独立应用或子例程，则键盘模块122可以向调用应用或操作平台提供文本输入能力和搜索能力。
键盘模块122还可以以搜索模式操作。在一些示例中，当以搜索模式操作时，键盘模块122可以使得图形键盘116B包括搜索元素118C。搜索元素118C表示用于调用图形键盘116B的各种搜索特征中的一个或多个搜索特征的、图形键盘116B的可选择的元素。通过(例如，通过在显示搜索元素118C的位置处或PSD 112的区域内轻敲或做手势)选择搜索元素118C，用户可以使得计算设备110调用各种集成的搜索特征，而不必浏览(navigate to)在计算设备110处执行或可从计算设备110访问的单独的应用、服务或其他特征。
例如，UI模块120可以向键盘模块122输出指示计算设备110的用户可能已经选择了搜索元素118C的信息。响应于确定搜索元素118C被选择，键盘模块122可以转变为以搜索模式操作。当以搜索模式操作时，键盘模块122可以重新配置图形键盘116B以执行与主要归因于文本输入的操作相反的搜索特征。
例如，键盘模块122可以将建议区域118B配置为将建议的内容(例如，预测的搜索查询、预测的表情图示或所谓的“表情符号”、其他建议的内容或其他图标符号)作为搜索建议区域118B内的可选择的元素来呈现，而不是呈现键盘模块122从语言模型、词典或字典导出的预测字符、单词或短语、或其他主要语言信息。换句话说，计算设备110可以在建议区域118B内包括计算设备110确定可以帮助用户提供与电子通信相关的输入的建议的搜索相关内容，而不是在建议区域118B内提供来自字典的拼写或单词建议。
在其他示例中，键盘模块122可以将图形键盘116B配置为包括查询建议区域118D，该查询建议区域118D将建议的内容(例如，预测或建议的搜索查询、预测的表情图示、表情符号、其他图标符号和其他建议的内容)呈现为图形键118A上面的可选择的元素。换句话说，在一些示例中键盘模块122可以将图形键盘116B配置为包括位于编辑区域116C与图形键118A之间的查询建议区域118D。在图1所示的示例中，查询建议区域118D也位于建议区域118B附近(例如，邻近建议区域118B、在建议区域118B上面、在建议区域118B下面、在建议区域118B的一侧等)，该建议区域118B可以具有输入焦点。在可以不同地配置用户界面114的一些示例中，查询建议区域118D可以位于图形键118A与编辑区域116C之间，包括查询建议区域位于图形键下面和编辑区域上面的示例中。在更进一步的示例中，查询建议区域可以位于建议区域118B与编辑区域116C之间，包括查询建议区域位于建议区域下面和编辑区域上面的示例。图形用户界面的其他替换布置是可能的，包括查询建议区域不位于图形键与编辑区域之间或建议区域与编辑区域之间的布置。
在一些示例中，输入焦点意味着由计算设备110检测到的输入可以被输出到被指定为具有输入焦点的一个或多个特定用户界面组件。例如，当PSD112在其中PSD 112呈现图形键盘116B的、PSD 112的位置处或附近检测到用户输入时，UI模块120可以接收输入的指示并且可以向键盘模块输出关于输入的信息。在键盘模块122确定用户正在图形键118A处提供与字符串相对应的输入的一些示例中，键盘模块122可以使得UI模块120更新用户界面114以在用户界面114内包括该字符串。可以通过哪个(哪些)用户界面组件具有输入焦点来确定该字符串在用户界面内可以位于或显示在哪。用户界面114例如包括几个用户界面组件，其包括编辑区域116C、建议区域118B、搜索元素118C和输出区域116A。在建议区域118B具有输入焦点的示例中，计算设备110可以在建议区域118B内格式化并显示与输入相对应的字符串。
有时，在一些示例中，将没有用户界面组件具有输入焦点。在其他示例中，在给定时间仅有一个界面组件将具有输入焦点，并且可能仅允许或准予某些类型的用户界面组件(诸如文本框或编辑框)具有输入焦点。在一些示例中，计算设备110可以通过检测哪个获准的用户界面组件最后接收到用户的触摸输入来确定哪个用户界面组件具有输入焦点。换句话说，当PSD 112在与特定用户界面组件相对应的、PSD 112的位置处检测到用户输入时，计算设备110可以给予该用户界面组件输入焦点(如果其被允许或准予具有输入焦点)。在其他示例中，计算设备110通过检测哪个用户界面组件最后从光标接收到输入来确定哪个用户界面组件具有输入焦点。在其他示例中，计算设备110可以基于由在计算设备110上执行的应用所配置的设置来确定哪个用户界面组件具有输入焦点。对于一些用户界面组件，诸如编辑区域116C或建议区域118B，在一些示例中，闪烁光标119可以在界面组件内显示以提供指示其具有输入焦点的视觉暗示。
在图1中，PSD 112可以检测其中PSD 112呈现图形键118A的、PSD 112的位置处或附近的用户输入，并且向UI模块220输出由PSD 112检测到的用户输入的指示。UI模块120可以向键盘模块122输出关于输入的信息。响应于关于输入的信息，键盘模块122确定与输入相对应的字符串，然后使得UI模块120更新用户界面114以在建议区域118B中包括该字符串，该建议区域118B在图1中具有输入焦点。如图1的示例中所示，键盘模块122确定在与输入相对应的字符串，在该情况下，其为在建议区域118B中显示的“meatball sho”字符串。
键盘模块122还可以基于从UI模块120接收到的关于输入的信息来确定建议的查询。响应于从UI模块120接收到的关于输入的信息，键盘模块122可以确定建议的查询并使得UI模块120更新用户界面114以在查询建议区域118D中包括建议的查询。如图1的示例中所示，由键盘模块122生成的建议的查询可以包括“Meatball Shoppe”、“Meatball”和“Meatball recipe easy”。当PSD 112继续检测与呈现图形键118A的、PSD 112的位置相对应的用户输入时，关于附加输入的信息被键盘模块122接收，其中响应于附加输入，键盘模块122可以确定更新后的建议的查询。当确定更新后的建议的查询时，键盘模块122可以使得UI模块120更新用户界面114。
键盘模块122可以基于从UI模块120接收到的关于用户输入的信息来确定建议的查询，但是也可以基于用户正在与其交互的应用、用户活动的上下文、或者其某个组合来确定建议的查询。键盘模块122还可以基于关于用户的历史信息来确定建议的查询。例如，在一些示例中，搜索查询建议可以来自计算设备110上的聊天对话。文本消息“你想吃晚餐吗？”可能会建议“我附近的餐馆”查询；文本消息“你看过篮球比赛吗？”可能会建议职业篮球队的“球队名称”查询。根据本公开的一个或多个方面，当计算设备110可能正在显示建议的搜索查询时，图1中的图形键盘116B可以被认为处于搜索模式或建议模式。
在图1的示例中，用户可以可选地在显示建议的查询的、PSD 112的位置处提供输入。在一些示例中，响应于接收到选择建议的查询中的一个的输入的指示，键盘模块122可以获得与建议的查询相关联的信息，其可以涉及使用链接的内容作为搜索查询来调用搜索操作，或者以其他方式基于建议的查询来进行搜索信息。在其他示例中，响应于接收到选择建议的查询中的一个的输入的指示，键盘模块122可以获得与搜索查询相关联的信息而不调用搜索操作或执行搜索，例如当建议的查询直接指向信息项或指向设备110上的信息项(例如，文档或联系人)时。
在一些示例中，在正在进行搜索操作时，键盘模块122可以使得UI模块120更新用户界面114，并且可以使得UI模块120在搜索结果可用时进一步更新用户界面114。在一些示例中，键盘模块122可以使得UI模块120更新用户界面114，以便搜索结果被显示在图形键盘116B内。根据本公开的一个或多个方面，当搜索结果正在被显示时，图形键盘116B可以被认为处于结果模式。
通过呈现具有集成的搜索特征的图形键盘(诸如图1的图形键盘116B)，示例计算设备可以执行搜索操作，而无需用户离开用户正在与其交互的当前应用，并且用户不会失去焦点。在一些示例中，示例计算设备可以呈现从执行对建议的查询的搜索获得的搜索结果，然后当示例设备在屏幕上呈现它们时，用户可以查看搜索结果或与搜索结果交互。例如，用户可以提供附加输入或者与其他设备共享搜索结果或从搜索结果获得的信息，其中该附加输入使得计算设备将搜索结果或从搜索结果获得的信息合并到当前活动或任务中。根据本公开的技术还可以使得计算设备能够向用户输出或呈现建议的搜索查询，潜在地促进和简化用于执行搜索的过程。自动显示建议的搜索查询可以使得计算设备接收与搜索相关的更少的输入，因为可能需要更少的输入来使得设备基于自动呈现在图形键盘内的建议的查询来执行搜索。通过接收更少的输入，计算设备可以处理更少的用户输入，执行更少的操作，并且因此消耗更少的电力。
图2是示出根据本公开的一个或多个方面的作为被配置为呈现具有集成的搜索特征的图形键盘的示例计算设备的计算设备210的框图。下面将图2的计算设备210作为图1的计算设备110的示例来描述。图2仅示出了计算设备210的一个特定示例，并且计算设备210的许多其他示例可以在其他实例中使用，并且可以包括示例计算设备210中所包括的组件的子集，或者可以包括图2中未示出的附加组件。
如图2的示例中所示，计算设备210包括PSD 212、一个或多个处理器240、一个或多个通信单元242、一个或多个输入组件244、一个或多个输出组件246、以及一个或多个存储组件248。存在敏感显示器212包括显示组件202和存在敏感输入组件204。计算设备210的存储组件248包括UI模块220、键盘模块222、以及一个或多个应用模块224。键盘模块122可以包括空间模型(“Spatial Model，SM”)模块226、语言模型(“Language Model，LM”)模块228、以及搜索模块230。通信信道250可以互连组件212、240、242、244、246和248中的每一个以用于组件间通信(物理地、通信联络地和/或可操作地)。在一些示例中，通信信道250可以包括系统总线、网络连接、进程间通信数据结构、或用于通信传送数据的任何其他方法。
计算设备210的一个或多个通信单元242可以通过在一个或多个网络上发送和/或接收网络信号来经由一个或多个有线和/或无线网络与外部设备通信。通信单元242的示例包括网络接口卡(例如，诸如以太网卡)、光学收发器、射频收发器、GPS接收器、或可以发送和/或接收信息的任何其他类型的设备。通信单元242的其他示例可以包括短波无线电、蜂窝数据无线电、无线网络无线电以及通用串行总线(Universal Serial Bus，USB)控制器。
计算设备210的一个或多个输入组件244可以接收输入。输入的示例是触觉、音频、以及视频输入。在一个示例中，计算设备210的输入组件242包括存在敏感输入设备(例如，触敏屏幕、PSD)、鼠标、键盘、语音响应系统、摄像机、麦克风、或用于检测来自人或机器的输入的任何其他类型的设备。在一些示例中，输入组件242可以包括一个或多个传感器组件、一个或多个位置传感器(GPS组件、Wi-Fi组件、蜂窝组件)、一个或多个温度传感器、一个或多个移动传感器(例如，加速度计、陀螺仪)、一个或多个压力传感器(例如，气压计)、一个或多个环境光传感器、以及一个或多个其他传感器(例如，麦克风、相机、红外接近传感器、湿度计等)。举几个其他非限制性示例，其他传感器可以包括心率传感器、磁力计、葡萄糖传感器、湿度计传感器、嗅觉传感器、罗盘传感器、步进计数器传感器。
计算设备110的一个或多个输出组件246可以生成输出。输出的示例是触觉、音频、以及视频输出。在一个示例中，计算设备210的输出组件246包括PSD、声卡、视频图形适配器卡、扬声器、阴极射线管(cathode ray tube，CRT)监视器、液晶显示器(LCD)、或用于生成到人或机器的输出的任何其他类型的设备。
计算设备210的PSD 212可以类似于计算设备110的PSD 112，并且包括显示组件202和存在敏感输入组件204。显示组件202可以是PSD 212在其处显示信息的屏幕，并且存在敏感输入组件204可以检测显示组件202处和/或附近的对象。作为一个示例范围，存在敏感输入组件204可以检测对象，诸如在显示组件202的两英寸或更小的范围内的手指或手写笔。存在敏感输入组件204可以确定在其处检测到对象的、显示组件202的位置(例如，[x，y]坐标)。在另一示例范围中，存在敏感输入组件204可以检测离显示组件202六英寸或更小距离的对象，并且其他范围也是可能的。存在敏感输入组件204可以使用电容、电感、和/或光学识别技术确定由用户的手指选择的、显示组件202的位置。在一些示例中，存在敏感输入组件204还使用如关于显示组件202描述的触觉、音频、或视频刺激向用户提供输出。在图2的示例中，PSD 212可以呈现用户界面(诸如图1的用户界面114)。
虽然被示为计算设备210的内部组件，但是PSD 212还可以表示与计算设备210共享数据路径以用于发送和/或接收输入和输出的外部组件。例如，在一个示例中，PSD 212表示位于计算设备210的外部封装(例如，移动电话上的屏幕)内并且物理连接到计算设备210的外部封装的、计算设备210的内置组件。在另一示例中，PSD 212表示位于计算设备210的封装或外壳的外部并且与计算设备210封装或外壳物理分离的、计算设备210的外部组件(例如，与计算设备210共享有线和/或无线数据路径的监视器、投影仪等)。
计算设备210的PSD 212可以检测作为来自计算设备210的用户的输入的二维和/或三维手势。例如，PSD 212的传感器可以在PSD 212的传感器的阈值距离内检测用户的移动(例如，移动手、手臂、笔、手写笔等)。PSD 212可以确定移动的二维或三维矢量表示，并将矢量表示与具有多个维度的手势输入(例如，手波、捏、拍手、笔划等)相关联。换句话说，PSD212可以检测多维手势，而不需要用户在PSD 212输出用于显示的信息的屏幕或表面处或附近做手势。相反，PSD 212可以检测在传感器处或附近执行的多维手势，其中该传感器可以位于或可以不位于PSD 212输出用于显示的信息的屏幕或表面附近。
一个或多个处理器240可以实施功能和/或执行与计算设备210相关联的指令。处理器240的示例包括应用处理器，显示控制器，辅助处理器，一个或多个传感器集线器，以及被配置为用作处理器、处理单元、或处理设备的任何其他硬件。模块220、222、224、226、228和230可由处理器240操作以执行计算设备210的各种动作、操作、或功能。例如，计算设备210的处理器240可以检索并执行存储组件248存储的指令，该指令使得处理器240执行操作模块220、222、224、226、228和230。当由处理器240执行时，指令可以使得计算设备210在存储组件248内存储信息。
计算设备210内的一个或多个存储组件248可以存储用于在计算设备210的操作期间进行处理的信息(例如，计算设备210可以存储在计算设备210处的执行期间由模块220、222、224、226、228和230访问的数据)。在一些示例中，存储组件248是临时存储器，意味着存储组件248的主要目的不是长期存储。计算设备210上的存储组件248可以作为易失性存储器被配置用于对信息的短期存储，因此如果断电则不保留存储的内容。易失性存储器的示例包括随机存取存储器(Random Access Memory，RAM)、动态随机存取存储器(DynamicRandom Access Memory，DRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、以及本领域中已知的其他形式的易失性存储器。
在一些示例中，存储组件248还包括一个或多个计算机可读存储介质。在一些示例中，存储组件248包括一个或多个非暂时性计算机可读存储介质。存储组件248可以被配置为存储比通常由易失性存储器存储的更大的信息量。存储组件248还可以作为非易失性存储空间被配置用于对信息的长期存储并且在电源接通/断开循环之后保留信息。非易失性存储器的示例包括盘存储器、闪存、或电可编程存储器(Electrically ProgrammableMemory，EPROM)或电可擦除和可编程(Electrically Erasable And ProgrammableMemory，EEPROM)存储器的形式。存储组件248可以存储与模块220、222、224、226、228和230相关联的程序指令和/或信息(例如，数据)。存储组件248可以包括被配置为存储与模块220、222、224、226、228和230相关联的数据或其他信息的存储器。
UI模块220可以包括图1的计算设备110的UI模块120的所有功能，并且可以执行与UI模块120类似的操作，用于管理计算设备210在存在敏感显示器212处提供以用于处理来自用户的输入的用户界面(例如，用户界面114)。例如，计算设备210的UI模块220可以向键盘模块222查询键盘布局(例如，英语QWERTY键盘等)。UI模块220可以通过通信信道250将对键盘布局的请求发送到键盘模块222。键盘模块222可以接收请求并用与键盘布局相关联的数据回复UI模块220。UI模块220可以通过通信信道250接收键盘布局数据并使用该数据来生成用户界面。UI模块220可以通过通信信道250发送显示命令和数据，以使得PSD 212在PSD 212处呈现用户界面。
在一些示例中，UI模块220可以接收在PSD 212处检测到的一个或多个用户输入的指示，并且可以将关于用户输入的信息输出到键盘模块222。例如，PSD 212可以检测用户输入并将关于用户输入的数据发送到UI模块220。UI模块220可以基于检测到的输入生成一个或多个触摸事件。触摸事件可以包括表征用户输入的信息，诸如用户输入的位置分量(例如，[x，y]坐标)、时间分量(例如，接收到用户输入的时候)、力分量(例如，用户输入施加的压力量)、或关于用户输入的其他数据(例如，速度、加速度、方向、密度等)。
基于从用户输入生成的触摸事件的位置信息，UI模块220可以确定检测到的用户输入与图形键盘相关联。UI模块220可以将一个或多个触摸事件的指示发送到键盘模块222用于进一步解释。键盘模块22可以基于从UI模块220接收到的触摸事件确定检测到的用户输入表示对图形键盘的一个或多个键的初始选择。
应用模块224表示在计算设备210处执行并且可从计算设备210访问的所有各种单独的应用和服务，其可以依赖于具有集成的搜索特征的图形键盘。计算设备210的用户可以与图形用户界面交互，以使得计算设备210执行功能，其中该图形用户界面与一个或多个应用模块224相关联。应用模块224的许多示例可以存在并且包括健身应用、日历应用、个人助理或预测引擎、搜索应用、地图或导航应用、运输服务应用(例如，公共汽车或火车跟踪应用)、社交媒体应用、游戏应用、电子邮件应用、聊天或消息传送应用、互联网浏览器应用、或可以在计算设备210处执行的任何和所有其他应用。
键盘模块222可以包括图1的计算设备110的键盘模块122的所有功能，并且可以执行与键盘模块122类似的操作以用于提供具有集成的搜索特征的图形键盘。键盘模块222可以包括可以执行键盘模块222的功能的各种子模块，诸如SM模块226、LM模块228和搜索模块230。
SM模块226可以接收一个或多个触摸事件作为输入，并输出可能表示一个或多个触摸事件的字符或字符序列，以及指示一个或多个字符定义触摸事件的可能性或准确度的确定度或空间模型分数。换句话说，SM模块226可以将触摸事件推断为对键盘的一个或多个键的选择，并且可以基于对一个或多个键的选择输出字符或字符序列。
当键盘模块222以文本输入模式操作时，LM模块228可以接收字符或字符序列作为输入，并输出LM模块228从词典识别的一个或多个候选字符、单词或短语，作为LM模块228接收来作为给定语言上下文(例如，书面语言中的句子)的输入的字符序列的潜在替换。键盘模块222可以使得UI模块220在用户界面114的建议区域118B和118D处呈现候选单词中的一个或多个。
计算设备210的词典可以包括书面语言词汇表(例如，字典)内的单词列表。例如，词典可以包括单词(例如，标准字典中的单词和/或由用户或计算设备210添加到字典中的单词)的数据库。LM模块228可以在词典中执行对字符串的查找，以识别包括字符串的部分字符或所有字符的一个或多个字母、单词和/或短语。例如，LM模块228可以将语言模型概率或相似性系数(例如，Jaccard相似性系数)分配给位于计算设备210的词典处的一个或多个候选单词，其包括与输入的字符或字符序列相同的字符中的至少一些。分配给一个或多个候选单词中的每一个的语言模型概率指示候选单词通常被发现位于在单词序列之后、之前和/或之内的确定度或似然度，其中该单词序列(例如，句子)从在接收由LM模块228分析的当前字符序列之前和/或之后由存在敏感输入组件204检测到的文本输入生成。响应于确定一个或多个候选单词，LM模块228可以从具有最高相似系数的词典数据存储260A输出一个或多个候选单词。
键盘模块222的搜索模块230可以代表键盘模块222执行集成的搜索功能。也就是说，当键盘模块222(例如，基于文本输入分析自动地或者响应于计算设备210的用户选择用户界面114的可选择的搜索元素118C而手动地)被调用时，其可以以其中键盘模块222使得计算设备210能够从图形键盘116B内执行搜索功能的搜索模式操作。
当键盘模块222以搜索模式操作时，搜索模块230可以接收字符或字符序列或者其他信息作为输入，并输出搜索模块230基于输入来识别的一个或多个查询建议。搜索模块230接收来作为输入的信息可以包括字符或字符序列，并且在一些示例中，还可以包括关于用户正在使用的应用的当前状态的信息，以及诸如来自依赖于键盘模块122的应用的信息(例如，近期文本、图片、地理位置数据等)和与用户和计算设备210相关联的上下文信息的其他信息。搜索模块230可以使用该信息来生成一个或多个建议的查询。键盘模块222可以使得UI模块220在用户界面114的查询建议区域118D内呈现建议的查询中的一个或多个。
在一些示例中，搜索模型230可以进一步依赖于计算设备210的当前上下文以确定建议的查询。如本文所使用的，当前上下文指定在特定时间的计算设备(诸如计算设备210)和计算设备的用户的物理和/或虚拟环境的特性。此外，术语“上下文信息”用于描述计算设备可以用来定义计算设备和计算设备的用户可以在特定时间经历的虚拟和/或物理环境特性的任何信息。
上下文信息的示例很多并且可以包括：由计算设备210的传感器(例如，位置传感器、加速度计、陀螺仪、气压计、环境光传感器、接近传感器、麦克风和任何其他传感器)获得的传感器信息、由计算设备210的通信模块发送和接收的通信信息(例如，基于文本的通信、可听见的通信、视频通信等)、以及与在计算设备210处执行的应用相关联的应用使用信息(例如，与应用相关联的应用数据、互联网搜索历史、文本通信、语音和视频通信、日历信息、社交媒体帖子和相关信息等)。上下文信息的进一步示例包括从计算设备210外部的发送设备获得的信号和信息。
在一些示例中，计算设备210可以响应于不同类型的输入而发起搜索。例如，键盘模块222可以响应于在PSD 212在查询建议区域118D内呈现建议查询的位置处或其他地方检测到用户输入而发起搜索。该输入一般可以与用户选择所显示的建议的查询中的一个相对应。在另一示例中，在以搜索模式操作时，键盘模块222可以响应于在PSD 212呈现图形键118A的位置处检测到用户输入、随后在PSD 212呈现“返回”或“搜索”或“发送”键的位置处检测到输入而发起搜索。这样的输入一般可以与用户使用图形键盘116B键入搜索查询并且点击“返回”而不选择建议的搜索查询相对应。
响应于检测到使得计算设备210发起搜索的用户输入，键盘模块222内的搜索模块230可以执行搜索，其可以使得计算设备210通过(多个)通信单元242来通过公共或专用网络发送和接收信息。在一些示例中如果搜索结果变得可用，则然后搜索模块230或键盘模块222可以使得UI模块220通过在用户界面114中显示搜索结果信息来向用户呈现搜索结果信息。
图3是示出根据本公开的一个或多个技术的输出图形内容用于在远程设备处显示的示例计算设备的框图。一般，图形内容可以包括可以输出以用于显示的任何视觉信息，诸如文本、图像、一组运动图像，仅举一些例子。图3中所示的示例包括计算设备310、PSD 312、通信单元342、投影仪380、投影仪屏幕382、移动设备386、以及视觉显示组件390。在一些示例中，PSD 312可以是存在敏感显示器，如图1和2中所述。尽管为了示例的目的在图1和图2中将诸如计算设备310的计算设备示出为独立计算设备110，但其一般可以是包括用于执行软件指令的处理器或其他合适的计算环境并且例如不需要包括存在敏感显示器的任何组件或系统。
如图3的示例所示，计算设备310可以是包括如针对图2中的处理器240所描述的功能的处理器。在这样的示例中，计算设备310可以通过通信信道362A可操作地耦合到PSD312，该通信信道362A可以是系统总线或其他合适的连接。计算设备310还可以通过通信信道362B可操作地耦合到下面进一步描述的通信单元342，该通信信道362B也可以是系统总线或其他合适的连接。尽管在图3中将计算设备310作为示例单独示出，但其可以通过任意数量的一个或多个通信信道可操作地耦合到PSD 312和通信单元342。
在(诸如先前在图1和图2中由计算设备110所示出的)其他示例中，计算设备可以指便携式或移动设备，诸如移动电话(包括智能电话)、膝上型计算机等。在一些示例中，计算设备可以是台式计算机、平板计算机、智能电视平台、相机、个人数字助理(PersonalDigital Assistant，PDA)、服务器或大型机。
PSD 312可以包括显示组件302和存在敏感输入组件304。显示组件302可以例如从计算设备310接收数据并显示图形内容。在一些示例中，存在敏感输入组件304可以使用电容、电感和/或光学识别技术确定PSD 312处的一个或多个用户输入(例如，连续手势、多点触控手势、单点触控手势)并使用通信信道362A向计算设备310发送这样的用户输入的指示。在一些示例中，存在敏感输入组件304可以物理地位于显示组件302的顶部上，使得当用户将输入单元放置在由显示组件302显示的图形元素上时，存在敏感输入组件304所在的位置与图形元素被显示的、显示组件302的位置相对应。
如图3所示，计算设备310还可以包括通信单元342和/或可操作地与通信单元342耦合。通信单元342可以包括如图2所述的通信单元242的功能。通信单元342的示例可以包括网络接口卡、以太网卡、光学收发器、射频收发器、或可以发送和接收信息的任何其他类型的设备。这样的通信单元的其他示例可以包括蓝牙、3G和WiFi无线电、通用串行总线(USB)接口等。计算设备310还可以包括一个或多个其他设备(例如，输入设备、输出组件、存储器、存储设备)和/或可操作地与该一个或多个其他设备耦合，其中为了简洁和图示的目的，在图3中没有示出该一个或多个其他设备。
图3还示出了投影仪380和投影仪屏幕382。投影设备的其他这样的示例可以包括电子白板、全息显示组件以及用于显示图形内容的任何其他合适的设备。投影仪380和投影仪屏幕382可以包括一个或多个通信单元，其使得相应设备能够与计算设备310通信。在一些示例中，一个或多个通信单元可以使能投影仪380与投影仪屏幕382之间的通信。投影仪380可以从计算设备310接收包括图形内容的数据。投影仪380可以响应于接收到数据将图形内容投影到投影仪屏幕382上。在一些示例中，投影仪380可以使用光学识别或其他合适的技术确定投影仪屏幕处一个或多个用户输入(例如，连续手势、多点触控手势、单点触控手势)，并使用一个或多个通信单元向计算设备310发送这样的用户输入的指示。在这样的示例中，投影仪屏幕382可以是不必要的，并且投影仪380可以在任何合适的介质上投影图形内容，并使用光学识别或其他这样的合适的技术来检测一个或多个用户输入。
在一些示例中，投影仪屏幕382可以包括存在敏感显示器384。存在敏感显示器384可以包括如本公开所述的存在敏感显示器112和/或312的功能的子集或所有功能。在一些示例中，存在敏感显示器384可以包括附加功能。投影仪屏幕382(例如，电子白板)可以从计算设备310接收数据并显示图形内容。在一些示例中，存在敏感显示器384可以使用电容、电感和/或光学识别技术确定投影仪屏幕382处的一个或多个用户输入(例如，连续手势、多点触控手势、单点触控手势)并使用一个或多个通信单元向计算设备310发送这样的用户输入的指示。
图3还示出了移动设备386和视觉显示组件390。移动设备386和视觉显示组件390均可以包括计算和连接能力。移动设备386的示例可以包括电子阅读器设备、可转换笔记本设备、混合平板设备等。视觉显示组件390的示例可以包括其他设备，诸如电视、计算机监视器等。在一些示例中，视觉显示组件390可以是车辆驾驶舱显示器或(例如，在汽车、飞机或一些其他车辆中的)导航显示器。在一些示例中，视觉显示组件390可以是家庭自动化显示器或与计算设备310分离的一些其他类型的显示器。
如图3所示，移动设备386可以包括存在敏感显示器388。视觉显示组件390可以包括存在敏感显示器392。存在敏感显示器388、392可以包括如本公开所述的存在敏感显示器112、212和/或312的功能的子集或所有功能。在一些示例中，存在敏感显示器388、392可以包括附加功能。在任何情况下，存在敏感显示器392例如可以从计算设备310接收数据并显示图形内容。在一些示例中，存在敏感显示器392可以使用电容、电感和/或光学识别技术确定投影仪屏幕处的一个或多个用户输入(例如，连续手势、多点触控手势，单点触控手势)并使用一个或多个通信单元向计算设备310发送这样的用户输入的指示。
如上所述，在一些示例中，计算设备310可以输出图形内容用于在通过系统总线或其他合适的通信信道耦合到计算设备310的PSD 312处显示。计算设备310还可以输出图形内容用于在一个或多个远程设备(诸如投影仪380、投影仪屏幕382、移动设备386和视觉显示组件390)处显示。例如，计算设备310可以根据本公开的技术执行一个或多个指令以生成和/或修改图形内容。计算设备310可以将包括图形内容的数据输出到计算设备310的通信单元，诸如通信单元342。通信单元342可以将数据发送到一个或多个远程设备，诸如投影仪380、投影仪屏幕382、移动设备386和/或视觉显示组件390。以这种方式，计算设备310可以输出图形内容用于在一个或多个远程设备处显示。在一些示例中，远程设备中的一个或多个可以在被包括在相应远程设备中和/或可操作地耦合到相应远程设备的存在敏感显示器处输出图形内容。
在一些示例中，计算设备310可以不在可操作地耦合到计算设备310的PSD 312处输出图形内容。在其他示例中，计算设备310可以输出图形内容用于在通过通信信道362A耦合到计算设备310的PSD 312处以及在一个或多个远程设备处显示。在这样的示例中，图形内容可以基本上同时在每个相应设备处显示。例如，由于通信延时，可能引入将包括图形内容的数据发送到远程设备的一些延迟。在一些示例中，由计算设备310生成以及被输出以用于在PSD 312处显示的图形内容和可以与被输出以用于在一个或多个远程设备处显示的图形内容不同。
计算设备310可以使用任何合适的通信技术发送和接收数据。例如，计算设备310可以使用网络链路373A可操作地耦合到外部网络374。图3中所示出的远程设备中的每一个可以通过相应网络链路373B、373C或373D中的一个可操作地耦合到网络外部网络374。外部网络374可以包括网络集线器、网络交换机、网络路由器等，其可操作地相互耦合，从而提供图3所示出的计算设备310与远程设备之间的信息交换。在一些示例中，网络链路373A-373D可以是以太网、ATM或其他网络连接。这样的连接可以是无线和/或有线连接。
在一些示例中，计算设备310可以使用直接设备通信378可操作地耦合到图3中包括的一个或多个远程设备。直接设备通信378可以包括计算设备310通过其使用有线或无线通信直接与远程设备发送和接收数据的通信。也就是说，在直接设备通信378的一些示例中，计算设备310发送的数据在远程设备处被接收之前可能不被一个或多个附加设备转发，反之亦然。直接设备通信378的示例可以包括蓝牙、近场通信、通用串行总线、WiFi、红外线等。图3中所示出的一个或多个远程设备中的每一个可以通过通信链路376A-376D与计算设备310可操作地耦合。在一些示例中，通信链路376A-376D可以是使用蓝牙、近场通信、通用串行总线、红外线等的连接。这样的连接可以是无线和/或有线连接。
根据本公开的技术，在一些示例中，计算设备310可以使用外部网络374可操作地耦合到视觉显示组件390。计算设备310可以输出图形键盘用于在PSD 392处显示。例如，计算设备310可以将包括图形键盘的表示的数据发送到通信单元342。通信单元342可以使用外部网络374将包括图形键盘的表示的数据发送到视觉显示组件390。响应于使用外部网络374接收到数据，视觉显示组件390可以使得PSD 392输出图形键盘。响应于在PSD 392处接收到选择键盘中的一个或多个键的用户输入，视觉显示组件390可以使用外部网络374向计算设备310发送用户输入的指示。通信单元342可以接收用户输入的指示，并向计算设备310发送指示。
计算设备310可以确定一个或多个候选单词或建议的搜索查询，并且可以生成包括建议的搜索查询的更新后的图形用户界面，在一些示例中，该建议的搜索查询可以被包括在查询建议区域内。通信单元342可以接收更新后的图形用户界面的表示，并且可以将该表示发送到视觉显示组件390，使得视觉显示组件390可以使得PSD 392输出更新后的图形键盘，包括任何建议的搜索查询和/或查询建议区域。
图4A-图4D是示出根据本公开的一个或多个方面的被配置为呈现图形键盘的示例计算设备的示例图形用户界面的概念图。图4A-图4D示出了示例用户界面414；可以在其他实例或示例中使用或呈现图形用户界面的许多其他示例。用户界面414中的每一个可以对应于由来自图1-图3的计算设备110、210或310输出的图形用户界面。为了图示的目的，下面在图2的计算设备210的上下文内描述图4A-4D。
如图4A至图4D的示例所示出的，每个示例用户界面414形成来自应用模块224的聊天应用的聊天应用用户界面的一部分。用户界面414包括输出区域416A、编辑区域416C和图形键盘416B。输出区域416A和编辑区域416C都可以与在计算设备210上执行或可从计算设备210访问的应用或服务的用户界面相关联。被包括在图形键盘416B内的是显示为键418A的图形元素。还被包括在图形键盘416B内的是建议区域418B，其可以包括表示可选择的拼写校正和/或可选择的单词建议的建议的单词或其他信息以替换被包括在编辑区域416C内的字符串。另外，建议区域418B可以基于可以包括用户的当前活动、上下文、位置或情形的信息包括用户可能感兴趣的建议的查询。
还示出为被包括在图4A的示例中的图形键盘416B内的是搜索元素418C。在一些示例中，计算设备210可以接收选择搜索元素418C的用户输入的指示，并且作为响应，计算设备210可以使得图形键盘416B转变到根据本公开的一个或多个方面的搜索模式。在所示的示例中，搜索元素418C显示在图形键418A上面，但是它可以位于图形键盘416B内的其他地方。在其他示例中，搜索元素418C可以位于用户界面414内的其他地方，包括部分地或完全地在图形键盘416B外部。在其他示例中，搜索元素418C或以类似方式使用的组件可以实施为外部输入或硬件输入，诸如外部按钮、开关、或被配置为接收计算设备210的用户输入的其他硬件输入组件。
被包括在图形键418A内的是返回/搜索键402。在一些示例中，计算设备210可以通过将编辑区域416C中的字符串作为文本消息发送到另一设备来响应选择键402的输入的指示。计算设备210还可以使得编辑区域416C中的字符串被格式化并显示在输出区域416A内，在一些示例中，这可以表示该字符串作为文本消息被发送。例如，响应于在与键402相对应的、PSD112的位置处接收到用户输入，计算设备210可以更新用户界面414，以便在输出区域416A中呈现的是当计算设备接收到选择键402的输入的指示时在编辑区域416C中显示的文本。在其他情形下，诸如当图形键盘416B可以处于如根据本公开的一个或多个方面所述的搜索模式时，计算设备210可以通过使用例如当计算设备210接收到选择键402的输入的指示时在建议区域418B内显示的信息或文本来执行搜索，来响应选择返回/搜索键402的输入的指示。
尽管返回/搜索键402在图4A的示例中被示为单个图形键，但在其他示例中，键402可以被呈现或实施为多于一个键。在一个示例中，返回/搜索键402可替代地实施为离散图形返回键和离散图形搜索键。在其他示例中，图形键盘416B可以包括离散的图形返回键和离散的图形搜索键，但是可以不总是包括图形键盘416B内的两个键的图形表示。在更进一步的示例中，计算设备210可以仅在图形键盘416B处于根据本公开的一个或多个方面的搜索模式时显示离散图形搜索键。
参考图4A，计算设备210可以从朋友的设备接收电子通信或文本消息。计算设备210可以在输出区域416A中在用户界面414内输出朋友的文本消息的内容(“什么事？”)。然后计算设备210的键盘模块222可以接收选择图形键418A的输入的指示，并基于输入的指示确定如图4A所示计算设备210在编辑区域416C内格式化和显示的字符串(“Din”)。键盘模块222还可以基于输入的指示确定候选单词(“Dinner”、“Dine”和“Don”)。计算设备210可以在建议区域418B内格式化并显示这些候选单词。
现在参考图4B，计算设备210已经(至少部分地)响应于进一步的用户输入而更新了图4A中的用户界面414。在图4B中，计算设备210的键盘模块222可以接收选择附加图形键418A的输入的指示，并且基于输入确定计算设备210在编辑区域416C内格式化和显示的附加文本。键盘模块222还可以基于进一步的用户输入来预测一个或多个更新后的候选单词，并在建议区域418B内显示一个或多个更新后的候选单词。在图4B中，文本“Dinner to”显示在图4中的编辑区域416C中，候选单词“tonight”显示在编辑区域416B中。
键盘模块222还可以确定一个或多个建议的查询，并且如图4B所示，计算设备210可以在建议区域418B内格式化并显示建议的查询406(“我附近的餐馆”)。在其他示例中，计算设备210可以使得多个建议的查询显示在建议区域418B中或者在用户界面414的其他区域中。键盘模块222可以基于许多不同的信息源生成建议的搜索查询，包括用户输入、编辑区域416C中的信息、输出区域416A中的信息、当前时间、用户的上下文、应用状态、历史搜索和/或其他信息。
在一些示例中，计算设备210在用户已经键入句子结束标点符号或已经发送消息之后建议搜索查询。计算设备210以图4B中所示的方式或者以根据本公开的一个或多个方面的其他方式呈现建议的搜索查询。在一些示例中，计算设备210可以诸如通过提供视觉、音频、触觉、或物理指示或暗示提醒用户一个或多个建议的查询的可用性。例如，计算设备210可以通过搜索元素418C向用户提醒建议查询的可用性，其可以改变颜色、改变形状、动画、脉冲或以其他方式的改变来暗示建议的查询可用。在其他示例中，计算设备210可以使用用户界面414的其他方面来执行类似的功能，或者在其他示例中，计算设备210可以振动或提供一些其他物理指示。
计算设备210可以完全基于本地存储的信息确定建议区域418B中所示的建议的单词和建议的搜索查询，而不用访问网络上的信息或不用通过公共或专用网络发送关于用户活动(包括用户的当前或过去的动作或通信)的信息。在其他示例中，计算设备210可以使用通过公共或专用网络获得的信息以及可能通过公共或专用网络发送关于用户的信息(其可以包括关于用户的动作或通信的信息)来确定建议的单词和/或建议的搜索查询。
在一些示例中，设备上注释器可以用于生成建议的搜索查询，并且这样的注释器可以使用全局和本地模型来检测可搜索的文本或实体。全局模型可以包括无论用户的地理位置如何可以对搜索有用的实体，诸如知名人士(“Barack Obama”)。本地模型可以包括诸如用户附近的餐馆的实体，诸如计算设备210的位置附近的特定餐馆。建议的查询也可以基于确切的语言触发器，诸如触发“附近的餐馆”建议的查询的短语“让我们共进晚餐”。
在整个公开中，描述了其中只有在计算设备从计算设备的用户接收到对分析与计算设备和计算设备的用户相关联的信息(例如，上下文、位置、速度、搜索查询等)的许可时，计算设备和/或计算系统才分析该信息的示例。例如，在计算设备或计算系统可以收集或可以利用与用户相关联的信息之前，可以向用户提供用于提供输入的机会，该输入用于控制计算设备和/或计算系统的程序或特征是否可以收集和利用用户信息(例如，关于用户的当前位置、当前速度等的信息)或者指示设备和/或系统是否和/或如何可以接收可能与用户有关的内容。另外，在由计算设备和/或计算系统存储或使用某些数据之前，可以以一种或多种方式处理该数据，以便个人可识别信息被移除。例如，可以处理用户的身份，以使不能确定关于用户的个人可识别信息，或者可以概括其中获得位置信息的用户的地理位置(例如，概括为城市、邮政编码或州级)，以使不能确定用户的特定位置。因此，用户可以控制关于用户的信息如何被收集以及被计算设备和计算系统使用。
在图4B的示例中的建议区域418B内示出的、在建议查询406旁边的是搜索的类别404的图形符号，其可以标识可以与建议的查询406关联的搜索的类别。在该示例中，计算设备210可以使得显示类别404的图形符号以表示与搜索餐馆或食物有关的类别。可以可替代地显示表示其他搜索类别的符号。在其他示例中，多于一个搜索类别元素可以与建议的搜索查询相关联，并且在更进一步的示例中，可以不存在与一个或多个建议的搜索查询相关联(或与任何建议的搜索查询相关联)的搜索类别元素。在搜索查询保持未分类的情况下，计算设备210可以显示通用搜索类别元素(诸如放大镜)以将搜索查询指定为不与任何特定搜索类别相关联。
在图4C中，计算设备210已经响应于选择图形键118A的输入的指示(键盘模块222可以将其解释为文本串“今晚晚餐？”)、随后的选择“返回/搜索”键402的输入的指示更新了图4B的用户界面414。作为响应，计算设备210可以编写并向朋友的计算设备发送包括文本“今晚晚餐？”的文本消息。在图4C中，计算设备210可以更新用户界面414以在输出区域416A内包括“今晚晚餐？”的文本消息。计算设备210可以更新图4C中的用户界面414以从编辑区域416C清除文本，并且计算设备210还可以从建议区域418B移除建议的单词“tonight”。计算设备210可以继续在图4C的示例中的建议区域418B内显示建议的搜索查询406。
在图4D中，计算设备210已经(至少部分地)响应于检测到选择在图4C中的建议区域418B中显示的建议的搜索查询406(“我附近的餐馆”)的输入的指示更新了用户界面414(注意图4C中的用户的手的轮廓，其可以表示与建议的查询406相关联的用户的触摸输入)。响应于该输入，计算设备210可以基于建议的查询406执行搜索。建议的查询406可以是这样的链接，当由用户输入调用时，该链接将使得计算设备210使用链接的内容作为搜索查询来执行搜索操作。(在其他示例中，建议的查询链接可能不需要计算设备来执行搜索操作，诸如当链接直接指向信息项或项的位置，或者表示文档或其他资源的URL时)。在执行搜索之后，计算设备210可以输出由计算设备获得的一个或多个搜索结果(或其他信息)的文本和/或图形指示用于显示。在图4D所示的示例中，计算设备210使得搜索结果418E显示在图形键盘416B内。在这种情况下，搜索结果418E被呈现在建议区域418B下面，基本上替换了先前在图4C中显示的图形键418A。根据本公开的一些方面，图4D中的图形键盘416B可以被认为处于结果模式。
在图4D的示例中，键盘模块222可以使用建议的查询基于所选择的查询获得搜索结果，该搜索结果是或可以被格式化为键盘模块222使得计算设备210在图形键418A顶上显示为叠加(或显示为图形键的临时替换418A)的各个搜索卡418E。在一些示例中，搜索结果418E可以以轮播(carousel)格式呈现，以便用户可以在浏览搜索结果418E时向左或向右滑动410。计算设备210可以可替代地以其他格式或在图形键盘416B内的其他位置输出图4D的搜索结果。在其他示例中，计算设备210可以在用户界面414内的其他位置(包括部分地或完全地在图形键盘416B外部)输出搜索结果。在更进一步的示例中，计算设备210可以部分地或排他地将搜索结果作为音频信息来输出，和/或可以以触觉形式输出一些类型的搜索结果信息。
在图4D的示例中，计算设备210继续在图形键盘416B中呈现搜索元素418C和建议区域418B以及搜索结果418E，其中搜索元素418C和建议区域418B在搜索结果418E上面。在其他示例中，计算设备210可以使得搜索元素418C和建议区域418B中的任一个或两者在用户界面414内的其他位置处显示，或者从显示器移除。
图5A-图5F是示出根据本公开的一个或多个方面的被配置为呈现图形键盘的示例计算设备的示例图形用户界面的概念图。图5A-图5F示出了示例用户界面514；可以在其他实例或示例中使用或呈现用户界面的许多其他示例。用户界面514中的每一个可以与由来自图1-图3的计算设备110、210或310输出的图形用户界面相对应。为了图示的目的，下面在图2的计算设备210的上下文中描述图5A-图5F。
如图5A至图5F的示例中所示出的，每个示例用户界面514形成来自应用模块224的聊天应用的聊天应用用户界面的一部分。用户界面514包括输出区域516A、编辑区域516C和图形键盘516B。输出区域516A和编辑区域516C都可以与在计算设备210上执行或可从计算设备210访问的应用或服务(诸如结合图4A-图4D描述的聊天应用)的用户界面相关联。被包括在图形键盘516B中的是显示为键518A的图形元素。还被包括在图形键盘516B中的是建议区域518B和搜索元素518C。在所示的示例中，搜索元素518C显示在图形键518A上面，但是可以位于图形键盘516B内或外部的其他地方。在其他示例中，它可以位于用户界面514内的其他地方，或者在其他示例中，可以被实施为计算设备210的外部或硬件输入。
参考图5A，计算设备210可以与另一设备交换电子消息，并且计算设备210可以在输出区域516A中输出近期交换的消息的内容。计算设备210还可以在编辑区域518B中输出和格式化建议的查询。
在一些示例中，计算设备210可以接收选择搜索元素518C的输入的指示，并且响应于接收到选择搜索元素518C的输入的指示，计算设备210可以输出其中建议的搜索查询被显示的单独区域用于显示。例如，如图5A所示，键盘模块222可以接收在图形键盘516B内显示搜索元素518C的位置处检测到的用户输入的指示。响应于用户输入的指示，计算设备210可以将用户界面514更新为图5B中所示的用户界面，以便用户界面514包括查询建议区域518D。根据本公开的一个或多个方面，图5B的用户界面514中示出的图形键盘516B可以被认为处于搜索模式。在该示例中，搜索模式可以由查询建议区域518D的存在来表征。
在图5B的示例中，计算设备210可以将输入焦点改变为建议区域518B。输入焦点的这种改变可以通过在建议区域518B内示出的光标表示，并且在编辑区域516C内不存在光标。在图5B所示的示例中，计算设备210使得查询建议区域518D显示在建议区域518B上面，并且在编辑区域516C下面。该布置在建议区域518B与编辑区域516C之间创建一些视觉距离。在建议区域518B和编辑区域516C两者均是在不同时间可能潜在具有输入焦点的用户界面组件的情况下，该视觉距离可能会减少用户困惑。
在其他示例中，计算设备210可以将查询建议区域518D放置在图形键盘516B内的其他地方。在更进一步的示例中，计算设备210可以将查询建议区域518D放置在用户界面514内的其他地方，部分地或完全地在图形键盘516B外部。
在一些示例中，查询建议区域518D可以包括建议的搜索查询或其他信息，建议的搜索查询或其他信息中的每一个可以表示可以由计算设备210发起的可选择的搜索查询。在一些示例中，诸如当用户未在编辑区域516C或建议区域518B中输入任何文本时，可能不存在要显示的建议的查询。在其他示例中，当用户尚未在编辑区域516C或建议区域518B中输入任何文本时，计算设备210可以输出包括历史查询(由设备210执行的先前搜索)的建议的查询用于在查询建议区域518D内显示。在其他示例中，当用户未在编辑区域516C或建议区域518B中输入任何文本时，计算设备210可以基于用户的当前活动、应用、上下文、位置、情形或其他信息输出用户可能感兴趣的建议的查询用于在查询建议区域518D内显示。区域518D中的查询建议也可以至少部分地基于区域516A的元素的内容(诸如来自对话“今晚晚餐？”的内容(或来自可能填充516A区域的不同用户界面的类似内容和上下文))来生成。如图5B所示，计算设备210已经在查询建议区域518D中包括建议的查询“我附近的餐馆”。该建议的查询可以至少部分地基于输出区域516A中所示的聊天的主题。其他建议的查询，“快餐”和“电影时间”也可以在某种程度上基于在输出区域516A中示出的聊天的主题。
参考图5C，计算设备210的键盘模块222可以在键518A处接收轻敲或手势的指示，并且基于用户输入确定计算设备210在建议区域518B内格式化和显示的文本。例如，如图5C所示，计算设备210可以使得文本“meatball”(“肉丸”)显示在建议区域518B内。如图5C所示，计算设备210的键盘模块222还可以响应于用户输入而生成计算设备210在查询建议区域518D内格式化和显示的建议的查询。在图5C中的查询建议区域518D中示出的建议的查询可以至少部分地基于建议区域518B中所示的“meatball”文本，并且可以是关于该“meatball”文本的适当的建议查询。
参考图5D，计算设备210的键盘模块222可以继续在键518A处接收轻敲或手势的附加指示，并且可以基于附加用户输入继续确定计算设备210在建议区域518B内格式化和显示的附加文本。例如，如图5D所示，计算设备210可以使得文本“meatball sho”显示在建议区域518B内。如图5D所示，同样响应于附加用户输入，计算设备210的键盘模块222可以生成计算设备210在查询建议区域518D内格式化并显示的更新后的建议查询。在图5D中的查询建议区域518D中示出的建议查询可以至少部分地基于建议区域518B中所示的“meatballsho”文本，并且可以是关于该“meatball sho”文本的适当的建议查询。
在一些示例中，被认为比其他建议查询更有关的建议的查询可以显示在查询建议区域518D的顶部。例如，计算设备210可以执行模型，该模型基于文本输入和上下文信息为建议的查询中的每一个分配分数或概率。计算设备210可以基于所分配的分数和概率对查询进行排名。计算设备210可以在建议区域518D的顶部附近显示最高得分或最高概率查询，并且在底部附近显示更低分数或更低概率查询。在其他示例中，查询建议区域518D中示出的查询可以按感知到的相关性的降序列出。可以使用其他布置。在一些示例中，可以至少部分地由计算设备210来确定每个建议的查询的相关性，但是在其他示例中，可以在其他地方或由另一设备或其他设备(诸如由搜索引擎或其他服务)确定。
现在参考图5E，计算设备210可以接收选择建议的搜索查询的输入的指示，并且响应于接收到输入的指示，计算设备210可以基于建议的查询执行搜索信息。例如，如图5E所示，键盘模块222可以接收在查询建议区域518D内显示建议的搜索查询509的位置处检测到的用户输入的指示。响应于用户输入的指示，计算设备210可以执行与“Meatball Shoppe”(“肉丸商店”)建议的搜索查询509相对应的搜索，并且还可以更新用户界面514以指示正在执行搜索。当搜索结果可用时，计算设备210可以将用户界面514更新为图5F中所示的用户界面。
在图5F中，搜索结果518E示出在图形键盘516B内，并且在该示例中，搜索结果518E示出在建议区域518B下面，基本上替换了先前在图5E中示出的图形键518A。搜索结果518E可以以基于卡的形式呈现。在图5F的示例中，查询建议区域518D已经从用户界面514移除。在其他示例中，搜索结果可以以其他格式并且在图形键盘516B内的其他位置示出。在其他示例中，搜索结果可以部分地或完全地示出在图形键盘516B外部。在另外的示例中，搜索结果信息还可以部分地或排他地作为音频信息提供，这可以使得用户能够收听搜索结果信息中的至少一些。
在图5F的示例中，计算设备210继续在用户界面514中显示搜索元素518C和建议区域518B以及搜索结果518E，并且搜索元素518C和建议区域518B在搜索结果518E上面。在其他示例中，计算设备210可以从用户界面514移除这些元素中的任一个或两者，或者计算设备210可以在用户界面514内的其他位置处显示这些元素。在图5F的示例中，计算设备210将输入焦点返回到编辑区域516C。然而，来自结果518E的各个卡本身可以是链接，使得指示其选择的用户输入或手势可以链接到由卡指示的网站。此外，来自结果518E的卡可以被“拖动”(诸如由用户在卡的位置处触摸PSD)，并且在不抬起触摸手指的情况下，将手指移动到输出区域516A。这可以具有将卡复制到输出区域516A的上下文中的效果，诸如将其添加为聊天应用中的通信的可发送和可操作的(即，包括可选择链接)通信元素。还应注意，结果518E中的卡可以包括控件，使得用户可以通过输入或手势调用关于卡或卡内容的所选择的动作，例如复制、打开、发送、共享、地图、呼叫、消息、购买、预订等等。这些控件可以特定于各个搜索结果和卡(即，并非结果518E中的所有卡都需要提供相同的控件)。
图6A-图6C是示出根据本公开的一个或多个方面的被配置为呈现图形键盘的示例计算设备的示例图形用户界面的概念图。图6A-图6C示出了示例用户界面614；可以在其他实例或示例中使用或呈现图形用户界面的许多其他示例。用户界面614中的每一个可以与由来自图1至图3的计算设备110、210或310输出的图形用户界面相对应。为了图示的目的，下面在图2的计算设备210的上下文内描述图6A-图6C。
如图6A至图6C的示例中所示出的，每个示例用户界面614包括输出区域616A、编辑区域616C和图形键盘616B。输出区域616A和编辑区域616C都可以与在计算设备210上执行或可从计算设备210访问的应用或服务的用户界面相关联，诸如结合图4A-图4D和图5A-图5F描述的聊天应用。被包括在图形键盘616B内的是图形键618A、建议区域618B和搜索元素618C。
在图6A中，计算设备210的键盘模块222可以在键618A处接收轻敲或手势的指示，并且基于用户输入确定计算设备210在编辑区域616C内格式化和显示的文本串。例如，如图6A中所示，计算设备210可以使得文本串“What should I have for dinner to”在编辑区域616C内显示。在一些示例中，计算设备210可以在建议区域618B内格式化并显示一个或多个建议的单词，诸如建议区域618B中所示的建议的单词“tonight”。计算设备210的键盘模块222还可以响应于用户输入，生成计算设备210可以在建议区域618B内格式化和显示的建议的查询，诸如图6A中所示的“我附近的餐馆”建议的查询。在图6A中的查询建议区域618B中所示的任何建议的查询可以基于编辑区域616C中所示的文本，并且可以是该文本的适当的建议的查询。
现在参考图6B，计算设备210的键盘模块222可以继续在键618A处接收轻敲或手势的附加指示，并且基于用户输入确定计算设备210在编辑区域616C内格式化和显示的文本。在编辑区域616C中显示的文本可以是先前在图6A中显示的部分编写的文本消息的延续。根据一些聊天应用操作的方式，在一些示例中，计算设备210不在图6B所示的点处将该文本消息发送到另一个人的计算设备，并且直到计算设备210检测到选择键602(或者在其他示例中，“发送”键)的输入的指示才这样做。
在图6B的示例中，在计算设备210接收到选择键602的输入的指示之前，计算设备210接收选择搜索元素618C的输入的指示。在这种情形下，用户可以出于若干可能的原因在选择键602之前选择搜索元素618C。例如，用户可能希望编辑区域616C中显示的文本是搜索查询而不是文本消息，但可能错误地在编辑区域616C中输入了文本，而不是首先选择搜索元素618C并在建议区域618B中输入文本。可替代地，用户可能最初希望编辑区域616C中的文本是文本消息，但可能已经改变了他或她的想法并且决定执行搜索而不是提交文本作为聊天消息(或除了提交文本作为聊天消息以外还执行搜索)。可能有可替代的解释。
现在参考图6C，响应于选择搜索元素618C的输入的指示，计算设备210可以输出查询建议区域618D用于显示。在所示的示例中，计算设备210还将输入焦点改变到建议区域618B，并清除建议区域618B的任何文本或建议的查询。计算设备210在查询建议区域618D内格式化并显示多个建议的查询。在图6C的示例中，计算设备210基于编辑区域616C中的文本生成最上面显示的建议的查询，并且该建议的查询包含与编辑区域616C中的文本完全相同的文本。在一些示例中，在计算设备210进行任何文体或拼写校正或其他修改之后，文本可以用作查询建议区域618D中的建议的查询。计算设备还在查询建议区域618D内包括其他建议的查询，其可以与编辑区域616C中的文本有关或相关，并且可能与输出区域616A中的信息有关或相关。根据本公开的一个或多个方面，在一些示例中，图形键盘616B在图6C中可以被认为处于搜索模式。
在可以在某些方面与先前关于图6A-图6C描述的示例不同的另一个示例中，已经由计算设备210作为文本消息发送的字符串仍然可以用作建议的搜索查询。例如，参考图6B，计算设备210可以在检测到用户已经选择了搜索元素618C之前，响应于用户输入(例如，选择键602)而将图6B中的编辑区域616C中的文本作为聊天消息来发送。然后计算设备可以稍后检测选择搜索元素618C的输入的指示，并且响应于检测到该输入，计算设备210可以使得查询建议区域显示在用户界面614内。在这样的示例中，计算设备210可以在查询建议区域内显示与图6C中的查询建议区域618D中所示的建议的查询类似或相同的建议的查询。这些建议的查询可以包括利用来自聊天应用的最近聊天消息的确切文本而创建的建议的搜索查询，使得相同的文本能够用作搜索查询。在聊天应用中交换的最近和早期文本消息还可以提供足够的上下文以生成有用的其他建议的搜索查询。
图7是示出根据本公开的一个或多个方面的被配置为呈现图形键盘的计算设备的示例操作的流程图。图7中的过程可以由计算设备(诸如图1-图3中所示出的计算设备110、210或310)的一个或多个处理器执行。为了图示的目的，下面在图1的计算设备110的上下文内描述图7。
在图7的示例中，计算设备110可以输出图形用户界面用于显示。该图形用户界面可以包括一个或多个应用的用户界面。图形用户界面还可以包括图形键盘(702)。在一些示例中，应用可以是聊天应用，诸如结合图1描述的应用，但是其他应用，诸如健身、日历、个人助理、预测、地图、导航、跟踪、社交媒体、电子邮件、或游戏应用(或许多其他应用)也可以或可替代地与根据本公开的一个或多个方面的图形键盘一起使用。
图形键盘可以包括多个图形键、建议区域和搜索元素，诸如例如结合图1描述的。当图形键盘包括搜索元素(诸如图1中所示的搜索元素118C)时，计算设备110可以将与用户对搜索元素的选择相关联的输入解释为将图形键盘转变为根据本公开的一个或多个方面的搜索模式的请求。图形键盘还可以包括查询建议区域，诸如图1中所示的查询建议区域118D。查询建议区域118D可以选择性地显示在根据本公开的一个或多个方面的图形键盘内。
计算设备110可以基于用户与图形键盘内的一个或多个图形键的交互来确定一个或多个建议的单词和建议的搜索查询。例如，UI模块120可以检测PSD 112上的映射位置处的一个或多个输入，并且可以生成与来自用户的输入相对应的一个或多个触摸事件。键盘模块122可以包括空间模块，该空间模块可以基于触摸事件选择与用户输入相对应的一个或多个键。键盘模块122还可以包括语言模块，其可以标识词典内可以用于标识建议的单词的一个或多个单词。键盘模块122还可以使用该信息来生成建议的查询，但键盘模块122也可以使用附加信息。例如，键盘模块122还可以基于根据本公开的一个或多个方面的用户的当前活动、上下文、位置或情形来建立建议的查询。当计算设备110检测到与图形键盘内的对图形键的选择相对应的输入时，计算设备110可以更新建议的单词和/或建议的查询(704)。
计算设备110可以基于用户的输入或与计算设备110的交互来确定用户是否试图以搜索模式操作图形键盘。在一些示例中，计算设备110可以响应于检测到对在图形键盘内显示的搜索元素的选择(来自706的“是”路径)而确定用户试图以搜索模式操作图形键盘。搜索模式一般可以与图7中所示的子过程720相对应。但是在其他示例中，根据本公开的一个或多个方面的搜索模式可以涉及更多或更少或不同的操作。
计算设备110还可以确定是否已经接收到选择可以在建议区域内显示的建议的查询中的一个(如果有的话)的输入(708)。如果计算设备未检测到选择建议的查询的输入，则计算设备110响应于用户输入继续更新建议区域中的建议的查询(704)。如果计算设备110确实检测到选择建议区域中的建议的查询的输入，则计算设备110获得与所选择的建议的查询相关联的信息。在一些示例中，建议的查询是可选择链接，并且响应于计算设备110检测到选择建议的查询的输入，计算设备确定通过调用可选择链接而获得的信息。
在一些示例中，获得与所选择的建议的查询相对应的信息可以涉及使用所选择的建议的查询的内容作为搜索查询来调用搜索操作。在其他示例中，获得该信息可能不需要搜索操作。可能不会执行搜索操作的情形包括所选择的建议的查询直接指向信息项，或指向计算设备110上的信息项(例如，文档或联系人)的时候。当计算设备110确定通过调用与所选择的建议的查询相关联的可选择链接而获得的信息时，计算设备110可以输出所获得的信息用于显示(来自708的“是”路径)。
如果计算设备110检测到选择搜索元素的输入(来自706的“是”路径)，则计算设备110可以在用户界面内输出查询建议区域用于显示。在一些示例中，查询建议区域显示在图形键盘内，如图1所示。当计算设备110继续检测用户输入时，计算设备110可以格式化并显示可被更新的建议的搜索查询(712)。
如果计算设备110检测到选择建议的查询中的一个的输入(来自714的“是”路径)，则计算设备110可以执行与所选择的建议的查询相对应的搜索，并输出所请求的信息用于显示(718)。可替代地，如果计算设备110基于从用户输入确定的文本字符串检测到来自请求搜索的用户的输入(来自716的“是”路径)，则计算设备110可以执行与文本字符串相对应的搜索，并输出所请求的信息用于显示(718)。计算设备110可以继续监视用户输入并用建议的查询更新查询建议区域(来自716的“否”路径)。
在一些示例中，图7中所示的操作可以以不同的顺序执行或以不同的顺序呈现，但仍然与本公开的一个或多个方面一致。作为一个示例，操作706和708的顺序可以在图7中颠倒或者并行完成(其可能涉及对其他操作或其他操作的顺序的修改)，同时仍然保持与本公开的一个或多个方面一致。作为另一示例，操作714和716的顺序可以在图7中切换或并行地完成(其可以涉及对其他操作的修改或其他操作的顺序)，同时仍然保持与本公开的一个或多个方面一致。此外，根据本公开的一个或多个方面的过程可以用少于图7中所示的操作来实施。在其他示例中，根据本公开的一个或多个方面的过程可以用比图7中所示的操作更多或与图7中所示的操作不同的方式来实施。
图8是示出根据本公开的一个或多个方面的被配置为呈现图形键盘的计算设备的示例操作的流程图。图8的过程可以由计算设备(诸如图1-图3中所示出的计算设备110、210或310)的一个或多个处理器执行。为了图示的目的，下面在图1的计算设备110的上下文内描述图8。
在操作中，计算设备可以输出图形键盘用于显示(802)。例如，在计算设备110处执行的聊天应用可以调用键盘模块122(例如，与聊天应用分离的、计算设备110的独立应用或功能)以在PSD 112处呈现图形键盘116B。图形键盘116B可包括多个键和搜索元素。
计算设备110可以至少部分地基于从多个键选择一个或多个键来确定查询建议(804)。例如，键盘模块122可以接收关于在正在显示图形键盘116B的图形键118A的、PSD112的位置处检测到的触摸输入的信息。键盘模块122可以至少部分地基于该信息确定建议的查询。
计算设备110可以接收选择搜索元素的输入的指示(806)。例如，键盘模块122可以接收关于在正在显示搜索元素118C的、PSD 112的位置处检测到的触摸输入的信息。
响应于接收到输入的指示，计算设备110可以输出更新后的图形键盘用于显示，该更新后的图形键盘包括与查询建议相关联的可选择链接。例如，键盘模块122可以格式化并显示可选择链接，诸如图4B中所示的建议的查询406或图5B中的建议的查询508。
以下编号的条款可以示出本公开的一个或多个方面：
第1条。一种方法，包括：由移动计算设备输出图形键盘用于显示，该图形键盘包括多个键和搜索元素；至少部分地基于从多个键选择一个或多个键来确定查询建议；由移动计算设备接收选择搜索元素的输入的指示；以及响应于接收到输入的指示，由移动计算设备输出更新后的图形键盘用于显示，该更新后的图形键盘包括与查询建议相关联的可选择链接。
第2条。如第1条所述的方法，其中，该输入的指示是输入的第一指示，该方法还包括：由移动计算设备接收调用可选择链接的输入的第二指示；响应于接收到输入的第二指示，基于输入的第二指示确定通过调用可选择链接而获得的信息；以及由移动计算设备输出通过调用可选择链接而获得的信息用于显示。
第3条。如第2条所述的方法，其中，输出通过调用可选择链接而获得的信息包括在更新后的图形键盘内输出通过调用可选择链接而获得的信息。
第4条。如第3条所述的方法，其中，输出更新后的图形键盘包括输出进一步包括多个键的更新后的图形键盘，并且其中输出通过调用可选择链接而获得的信息包括通过用所述信息基本上替换多个键来输出该信息。
第5条。如第4条所述的方法，其中，输出通过调用可选择链接而获得的信息包括以可滚动的基于卡的格式输出信息。
第6条。如第2-5条所述的方法，其中，确定通过调用可选择链接而获得的信息包括通过使用被包括在可选择链接中的内容作为搜索查询而执行搜索操作来确定搜索结果信息。
第7条。如第1-6条所述的方法，其中，输出更新后的图形键盘包括输出进一步包括多个键并且具有位于多个键上面的可选择链接的更新后的图形键盘。
第8条。如第1-7条所述的方法，其中一个或多个键是键的第一集合，其中输入的指示是输入的第一指示，其中可选择链接是第一可选择链接，并且其中输出更新后的图形键盘包括输出进一步包括多个键的更新后的图形键盘，该方法还包括：至少部分地基于从多个键选择键的第二集合来确定更新后的查询建议；响应于确定更新后的查询建议，由移动计算设备输出进一步更新后的图形键盘用于显示，该进一步更新后的图形键盘包括与更新后的查询建议相关联的第二可选择链接；由移动计算设备接收调用第二可选择链接的输入的第二指示；响应于接收到输入的第二指示，基于输入的第二指示来确定搜索结果信息；以及由移动计算设备输出搜索结果信息用于显示。
第9条。如第1-8条所述的方法，其中输出更新后的图形键盘包括输出更新后的图形键盘作为应用图形用户界面的一部分，并且其中应用图形用户界面包括位于与查询建议相关联的可选择链接上面的编辑区域。
第10条。如第1-9条所述的方法，其中确定查询建议包括基于先前搜索确定包括历史查询建议的多个查询建议，并且其中输出更新后的图形键盘包括输出进一步包括与历史查询建议相关联的可选择链接的更新后的图形键盘。
第11条。一种移动设备，包括：存在敏感显示组件；至少一个处理器；存储器，存储指令，该指令在被执行时使得至少一个处理器：输出图形键盘用于显示，该图形键盘包括多个键和搜索元素；至少部分地基于从多个键选择一个或多个键来确定查询建议；接收选择搜索元素的输入的指示；以及响应于接收到输入的指示，输出更新后的图形键盘用于显示，该更新后的图形键盘包括与查询建议相关联的可选择链接。
第12条。如第11条所述的移动设备，其中，输入的指示是输入的第一指示，并且其中指令在被执行时进一步使得至少一个处理器：接收调用可选择链接的输入的第二指示；响应于接收到输入的第二指示，基于输入的第二指示来确定通过调用可选择链接而获得的信息；以及输出通过调用可选择链接而获得的信息用于显示。
第13条。如第12条所述的移动设备，其中，指令在被执行时进一步使得至少一个处理器通过至少在更新后的图形键盘内输出通过调用可选择链接而获得的信息来输出通过调用可选择链接而获得的信息。
第14条。如第13条所述的移动设备，其中，输出更新后的图形键盘用于显示进一步包括多个键，并且其中通过调用可选择链接而获得的信息通过用通过调用可选择链接而获得的信息基本上替换多个键而被输出。
第15条。如第11-14条所述的移动设备，其中一个或多个键是键的第一集合，其中输入的指示是输入的第一指示，并且其中可选择链接是第一可选择链接，其中输出更新后的图形键盘用于显示进一步包括多个键，并且其中指令在被执行时进一步使得至少一个处理器：至少部分地基于从多个键选择键的第二集合来确定更新后的查询建议；响应于确定更新后的查询建议，输出进一步更新后的图形键盘用于显示，该进一步更新后的图形键盘包括与更新后的查询建议相关联的第二可选择链接；接收调用第二可选择链接的输入的第二指示；响应于接收到输入的第二指示，基于输入的第二指示来确定搜索结果信息；以及输出搜索结果信息用于显示。
第16条。一种计算机可读存储介质，包括指令，该指令在被执行时使得计算设备的至少一个处理器：输出应用图形用户界面用于显示，该应用图形用户界面包括编辑区域、多个键和搜索元素；至少部分地基于从多个键选择一个或多个键来确定查询建议；接收选择搜索元素的输入的指示；响应于接收到输入的指示，输出更新后的应用图形用户界面用于显示，该更新后的应用图形用户界面包括与查询建议相关联的可选择链接，其中可选择链接位于编辑区域与多个键之间。
第17条。如第16条所述的计算机可读存储介质，其中输入的指示是输入的第一指示，并且其中指令在被执行时进一步使得至少一个处理器：接收调用可选择链接的输入的第二指示；响应于接收到输入的第二指示，基于输入的第二指示确定通过调用可选择链接而获得的信息；以及输出通过调用可选择链接而获得的信息用于显示。
第18条。如第17条所述的计算机可读存储介质，其中，指令在被执行时进一步使得至少一个处理器通过至少在编辑区域下面输出通过调用可选择链接而获得的信息来输出通过调用可选择链接而获得的信息。
第19条。如第18条所述的计算机可读存储介质，其中输出更新后的图形用户界面用于显示进一步包括多个键，并且其中通过调用可选择链接而获得的信息通过用通过调用可选择链接而获得的信息基本上替换多个键而被输出。
第20条。如第16-19条所述的计算机可读存储介质，其中一个或多个键是键的第一集合，其中输入的指示是输入的第一指示，并且其中可选择链接是第一可选择链接，其中输出更新后的图形用户界面用于显示进一步包括多个键，并且其中指令在被执行时进一步使得至少一个处理器：至少部分地基于从多个键选择键的第二集合来确定更新后的查询建议；响应于确定更新后的查询建议，输出进一步更新后的图形用户界面用于显示，该进一步更新后的图形用户界面包括与更新后的查询建议相关联的第二可选择链接；接收调用第二可选择链接的输入的第二指示；响应于接收到输入的第二指示，基于输入的第二指示来确定搜索结果信息；以及输出搜索结果信息用于显示。
第21条。一种系统，包括用于执行第1-10条所述的任何方法的装置。
第22条。一种计算设备，包括用于执行第1-10条所述的任何方法的装置。
在整个公开中，描述了其中只有在计算设备从计算设备的用户接收到对分析与计算设备和计算设备的用户相关联的信息(例如，上下文、位置、速度、搜索查询等)的许可时，计算设备和/或计算系统才分析该信息的示例。例如，在下面讨论的情形中，在计算设备或计算系统可以收集或可以利用与用户相关联的信息之前，可以向用户提供用于提供输入的机会，该输入用于控制计算设备和/或计算系统的程序或特征是否可以收集和利用用户信息(例如，关于用户的当前位置、当前速度等的信息)或者指示设备和/或系统是否可以和/或如何接收可能与用户有关的内容。另外，在由计算设备和/或计算系统存储或使用某些数据之前，可以以一种或多种方式处理该数据，以便个人可识别信息被移除。例如，可以处理用户的身份，以使不能确定关于用户的个人可识别信息，或者可以概括其中获得位置信息的用户的地理位置(例如，概括为城市、邮政编码或州级)，以使不能确定用户的特定位置。因此，用户可以控制关于用户的信息如何被计算设备和计算系统收集以及使用。
在一个或多个示例中，所描述的功能可以硬件、软件、固件、或其任何组合来实施。如果以软件实施，则可以将功能作为一个或多个指令或代码存储在计算机可读介质存储上或通过其发送，并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其与诸如数据存储介质的有形介质或者包括根据通信协议促进将计算机程序从一个地方传送到另一个地方的任何介质的通信介质相对应。以这种方式，计算机可读介质一般可以对应于(1)非暂时性的有形计算机可读存储介质，或(2)诸如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问的任何可用介质，以检索用于实施本公开中描述的技术的指令、代码和/或数据结构。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这样的计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM、或其他光盘存储器、磁盘存储器、或其他磁存储设备、闪存存储器、或可以用于以指令或数据结构的形式存储所需的程序代码并且可由计算机访问的任何其他介质。而且，任何连接都适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(Digital Subscriber Line，DSL)或无线技术(诸如红外线、无线电和微波)从网站、服务器或其他远程源发送指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外线、无线电和微波)都被包括在介质的定义中。然而，应该理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬态介质，而是针对非瞬态的有形存储介质。所使用的磁盘和光盘包括压缩光盘(Compact Disc，CD)、激光光盘、光学光盘、数字多功能光盘(Digital Versatile Disc，DVD)、软盘和蓝光光盘，其中磁盘通常磁性地再现数据，而光盘通过激光光学地再现数据。上述的组合也应被包括在计算机可读介质的范围内。
指令可以由一个或多个处理器(诸如一个或多个数字信号处理器(DigitalSignal Processor，DSP)、通用微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程逻辑阵列(Field Programmable Logic Array，FPGA)或其他等效的集成或离散逻辑电路)执行。因此，所使用的术语“处理器”可以指任何前述结构或适合于实施所描述的技术的任何其他结构。另外，在一些方面，可以在专用硬件和/或软件模块内提供所描述的功能。而且，这些技术可以完全在一个或多个电路或逻辑元件中实施。
本公开的技术可以在各种设备或装置(包括无线手机、集成电路(IntegratedCircuit，IC)或IC的集合(例如，芯片集合))中实施。在本公开中描述了各种组件、模块或单元以强调被配置为执行所公开的技术的设备的功能方面，但不一定需要由不同的硬件单元实现。而是，如上所述，各种单元可以结合合适的软件和/或固件在硬件单元中组合，或由互操作的硬件单元(包括如上所述的一个或多个处理器)的集合提供。
已经描述了各种示例。这些和其他示例可以在以下权利要求的范围内。

Claims (15)

1.一种方法，包括：
由移动计算设备输出图形键盘用于显示，所述图形键盘包括多个键和搜索元素；
至少部分地基于从多个键选择一个或多个键来确定查询建议；
由移动计算设备接收选择搜索元素的输入的指示；以及
响应于接收到输入的指示，由移动计算设备输出更新后的图形键盘用于显示，所述更新后的图形键盘包括与查询建议相关联的可选择链接。
2.如权利要求1所述的方法，其中，所述输入的指示是输入的第一指示，所述方法还包括：
由移动计算设备接收调用可选择链接的输入的第二指示；
响应于接收到输入的第二指示，基于输入的第二指示确定通过调用可选择链接而获得的信息；以及
由移动计算设备输出通过调用可选择链接而获得的信息用于显示。
3.如权利要求2所述的方法，其中，输出通过调用可选择链接而获得的信息包括在更新后的图形键盘内输出通过调用可选择链接而获得的信息。
4.如权利要求3所述的方法，其中，输出更新后的图形键盘包括输出进一步包括多个键的更新后的图形键盘，并且其中输出通过调用可选择链接而获得的信息包括通过用所述信息基本上替换多个键来输出所述信息。
5.如权利要求4所述的方法，其中，输出通过调用可选择链接而获得的信息包括以可滚动的基于卡的格式输出所述信息。
6.如权利要求2-5中的任一项所述的方法，其中，确定通过调用可选择链接而获得的信息包括通过使用被包括在可选择链接中的内容作为搜索查询而执行搜索操作来确定搜索结果信息。
7.如权利要求1-6中的任一项所述的方法，其中，输出更新后的图形键盘包括输出进一步包括多个键并且具有位于多个键上面的可选择链接的更新后的图形键盘。
8.如权利要求1-7中的任一项所述的方法，其中所述一个或多个键是键的第一集合，其中所述输入的指示是输入的第一指示，其中所述可选择链接是第一可选择链接，并且其中输出更新后的图形键盘包括输出进一步包括多个键的更新后的图形键盘，所述方法还包括：
至少部分地基于从多个键选择键的第二集合来确定更新后的查询建议；
响应于确定更新后的查询建议，由移动计算设备输出进一步更新后的图形键盘用于显示，所述进一步更新后的图形键盘包括与更新后的查询建议相关联的第二可选择链接；
由移动计算设备接收调用第二可选择链接的输入的第二指示；
响应于接收到输入的第二指示，基于输入的第二指示来确定搜索结果信息；以及
由移动计算设备输出搜索结果信息用于显示。
9.如权利要求1-8中的任一项所述的方法，其中输出更新后的图形键盘包括输出更新后的图形键盘作为应用图形用户界面的一部分，并且其中应用图形用户界面包括位于与查询建议相关联的可选择链接上面的编辑区域。
10.如权利要求1-9中的任一项所述的方法，其中确定查询建议包括基于先前搜索确定包括历史查询建议的多个查询建议，并且其中输出更新后的图形键盘包括输出进一步包括与历史查询建议相关联的可选择链接的更新后的图形键盘。
11.一种移动设备，包括：
存在敏感显示组件；
至少一个处理器；以及
存储器，其存储指令，所述指令在被执行时使得所述至少一个处理器：
输出图形键盘用于显示，所述图形键盘包括多个键和搜索元素；
至少部分地基于从多个键选择一个或多个键来确定查询建议；
接收选择搜索元素的输入的指示；以及
响应于接收到输入的指示，输出更新后的图形键盘用于显示，所述更新后的图形键盘包括与查询建议相关联的可选择链接。
12.根据权利要求11所述的移动设备，其中，所述输入的指示是输入的第一指示，并且其中所述指令在被执行时进一步使得所述至少一个处理器：
接收调用可选择链接的输入的第二指示；
响应于接收到输入的第二指示，基于输入的第二指示来确定通过调用可选择链接而获得的信息；以及
输出通过调用可选择链接而获得的信息用于在图形键盘内显示。
13.如权利要求12所述的移动设备，其中，输出更新后的图形键盘用于显示进一步包括多个键，并且其中通过调用可选择链接而获得的信息通过用通过调用可选择链接而获得的信息基本上替换多个键而被输出。
14.一种设备，包括用于执行权利要求1-10所述的任何方法的装置。
15.一种计算机可读存储介质，包括指令，所述指令在被执行时使得计算设备的至少一个处理器执行权利要求1-10所述的任何方法。
CN201680081882.6A 2016-04-20 2016-12-29 具有建议的搜索查询区域的键盘 Active CN108700993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110539827.XA CN113391750A (zh) 2016-04-20 2016-12-29 移动设备及其方法以及计算机可读存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/134,029 2016-04-20
US15/134,029 US10222957B2 (en) 2016-04-20 2016-04-20 Keyboard with a suggested search query region
PCT/US2016/069267 WO2017184220A1 (en) 2016-04-20 2016-12-29 Keyboard with a suggested search query region

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110539827.XA Division CN113391750A (zh) 2016-04-20 2016-12-29 移动设备及其方法以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108700993A true CN108700993A (zh) 2018-10-23
CN108700993B CN108700993B (zh) 2021-06-01

Family

ID=57838539

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110539827.XA Pending CN113391750A (zh) 2016-04-20 2016-12-29 移动设备及其方法以及计算机可读存储介质
CN201680081882.6A Active CN108700993B (zh) 2016-04-20 2016-12-29 具有建议的搜索查询区域的键盘

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110539827.XA Pending CN113391750A (zh) 2016-04-20 2016-12-29 移动设备及其方法以及计算机可读存储介质

Country Status (4)

Country Link
US (2) US10222957B2 (zh)
EP (1) EP3408733B1 (zh)
CN (2) CN113391750A (zh)
WO (1) WO2017184220A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113748406A (zh) * 2019-09-05 2021-12-03 坎大姆库拉提·沙布安 通过软键盘应用进行任务管理

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10976922B2 (en) * 2013-02-17 2021-04-13 Benjamin Firooz Ghassabian Data entry systems
US9721024B2 (en) * 2014-12-19 2017-08-01 Facebook, Inc. Searching for ideograms in an online social network
USD912682S1 (en) * 2016-03-29 2021-03-09 Beijing Sogou Technology Development Co., Ltd. Display screen or portion thereof with animated graphical user interface
US11494547B2 (en) * 2016-04-13 2022-11-08 Microsoft Technology Licensing, Llc Inputting images to electronic devices
US10078673B2 (en) 2016-04-20 2018-09-18 Google Llc Determining graphical elements associated with text
US10222957B2 (en) 2016-04-20 2019-03-05 Google Llc Keyboard with a suggested search query region
US9965530B2 (en) 2016-04-20 2018-05-08 Google Llc Graphical keyboard with integrated search features
US10140017B2 (en) 2016-04-20 2018-11-27 Google Llc Graphical keyboard application with integrated search
US10305828B2 (en) 2016-04-20 2019-05-28 Google Llc Search query predictions by a keyboard
US10664157B2 (en) 2016-08-03 2020-05-26 Google Llc Image search query predictions by a keyboard
US20180101599A1 (en) * 2016-10-08 2018-04-12 Microsoft Technology Licensing, Llc Interactive context-based text completions
US11907272B2 (en) * 2017-02-17 2024-02-20 Microsoft Technology Licensing, Llc Real-time personalized suggestions for communications between participants
WO2018176011A1 (en) * 2017-03-24 2018-09-27 Inmentis, Llc Social media system with navigable, artificial-intelligence-based graphical user interface with a multi-screen view
USD859453S1 (en) 2017-08-01 2019-09-10 Google Llc Display screen with an animated graphical user interface
US10482504B2 (en) * 2017-08-24 2019-11-19 William McMichael Systems and methods for analyzing input data and presenting information
USD874491S1 (en) * 2017-11-04 2020-02-04 Kika Tech (Cayman) Holdings Co., Limited Display screen with computer-generated graphical user interface
US11016957B2 (en) 2018-02-28 2021-05-25 Microsoft Technology Licensing, Llc Sensor data based query results
US20190347358A1 (en) * 2018-05-10 2019-11-14 Microsoft Technology Licensing, Llc Query Formulation Using Networked Device Candidates
US10762274B2 (en) * 2018-06-18 2020-09-01 International Business Machines Corporation Execution of an application using a specifically formatted input
US10901577B2 (en) 2018-07-17 2021-01-26 Google Llc Methods and systems for input suggestion
US10956507B2 (en) * 2018-08-16 2021-03-23 Rovi Guides, Inc. Reaction compensated result selection
CN111492346A (zh) * 2018-08-24 2020-08-04 谷歌有限责任公司 动态可配置的应用控制元素
KR20200113349A (ko) 2019-03-25 2020-10-07 삼성전자주식회사 전자 장치 및 멀티 태스킹 지원 방법
US11681718B2 (en) * 2019-03-29 2023-06-20 Apple Inc. Scoping a system-wide search to a user-specified application
US11379529B2 (en) 2019-09-09 2022-07-05 Microsoft Technology Licensing, Llc Composing rich content messages
WO2021050082A1 (en) * 2019-09-13 2021-03-18 Google Llc Text entry recommendations based on stored search results
USD936078S1 (en) * 2019-10-29 2021-11-16 Optum, Inc. Display screen or portion thereof with animated graphical user interface
US11422836B1 (en) * 2021-05-07 2022-08-23 Avaya Management L.P. User guidance from gaze information during a communication session while viewing a webpage
JP2023101113A (ja) * 2022-01-07 2023-07-20 オムロン株式会社 文字入力装置、文字入力方法、および、文字入力プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102612689A (zh) * 2009-10-28 2012-07-25 雅虎公司 用于将来自搜索的内容增加到文档或消息的机制
US20140280015A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Serving advertisements for search preview based on user intents
CN104156161A (zh) * 2014-08-05 2014-11-19 魏新成 在信息设备屏幕上进行点击取词搜索的系统和方法
CN104350454A (zh) * 2012-05-29 2015-02-11 诺基亚公司 使得搜索结果得到显示
US20160006856A1 (en) * 2014-07-07 2016-01-07 Verizon Patent And Licensing Inc. Messaging application with in-application search functionality

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104397A (en) 1997-06-30 2000-08-15 Sun Microsystems, Inc. Method and system for generating improved progress indicators
US7363295B2 (en) 2004-04-19 2008-04-22 Yahoo! Inc. Techniques for inline searching in an instant messenger environment
US8028250B2 (en) 2004-08-31 2011-09-27 Microsoft Corporation User interface having a carousel view for representing structured data
US7788248B2 (en) 2005-03-08 2010-08-31 Apple Inc. Immediate search feedback
US7590699B2 (en) 2005-06-23 2009-09-15 Microsoft Corporation Instant messaging with built-in search
US7676517B2 (en) 2005-10-14 2010-03-09 Microsoft Corporation Search results injected into client applications
US7925716B2 (en) 2005-12-05 2011-04-12 Yahoo! Inc. Facilitating retrieval of information within a messaging environment
US20070300177A1 (en) 2006-06-23 2007-12-27 Microsoft Corporation User interface for specifying multi-valued properties
US20080201434A1 (en) 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
US20080249764A1 (en) 2007-03-01 2008-10-09 Microsoft Corporation Smart Sentiment Classifier for Product Reviews
US20080244446A1 (en) 2007-03-29 2008-10-02 Lefevre John Disambiguation of icons and other media in text-based applications
CN101055582A (zh) * 2007-05-08 2007-10-17 魏新成 集成在中文输入法之中的搜索操作方法
CN101842787A (zh) * 2007-09-14 2010-09-22 谷歌公司 在查询结果中建议替选查询
US9086775B1 (en) 2008-07-10 2015-07-21 Google Inc. Minimizing software based keyboard
CN101876878A (zh) 2009-04-29 2010-11-03 深圳富泰宏精密工业有限公司 单词预测输入系统及方法
EP2312427B1 (en) 2009-10-13 2013-09-18 BlackBerry Limited User interface for a touchscreen display
US20110112824A1 (en) 2009-11-06 2011-05-12 Craig Peter Sayers Determining at least one category path for identifying input text
US20110191321A1 (en) 2010-02-01 2011-08-04 Microsoft Corporation Contextual display advertisements for a webpage
US9129012B2 (en) * 2010-02-03 2015-09-08 Google Inc. Information search system with real-time feedback
US8650210B1 (en) 2010-02-09 2014-02-11 Google Inc. Identifying non-search actions based on a search query
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US8621379B2 (en) 2010-03-12 2013-12-31 Apple Inc. Device, method, and graphical user interface for creating and using duplicate virtual keys
US8918734B2 (en) 2010-07-28 2014-12-23 Nuance Communications, Inc. Reduced keyboard with prediction solutions when input is a partial sliding trajectory
US8700653B2 (en) 2010-08-19 2014-04-15 Google Inc. Predictive query completion and predictive search results
WO2012048087A2 (en) 2010-10-06 2012-04-12 Citrix Systems, Inc. Mediating resource access based on a physical location of a mobile device
US10346479B2 (en) 2010-11-16 2019-07-09 Microsoft Technology Licensing, Llc Facilitating interaction with system level search user interface
US8515984B2 (en) 2010-11-16 2013-08-20 Microsoft Corporation Extensible search term suggestion engine
CN103827779B (zh) 2010-11-20 2017-06-20 纽昂斯通信有限公司 使用输入的文本访问和处理上下文信息的系统和方法
US20120146955A1 (en) 2010-12-10 2012-06-14 Research In Motion Limited Systems and methods for input into a portable electronic device
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US8583672B1 (en) * 2011-04-14 2013-11-12 Google Inc. Displaying multiple spelling suggestions
US9176944B1 (en) 2011-08-23 2015-11-03 Google Inc. Selectively processing user input
CN102955658B (zh) 2011-08-25 2017-03-22 腾讯科技（深圳）有限公司 交互界面中的页面切换方法及装置
WO2013054957A1 (en) 2011-10-13 2013-04-18 Lg Electronics Inc. Input interface controlling apparatus and method thereof
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US20130124490A1 (en) * 2011-11-10 2013-05-16 Microsoft Corporation Contextual suggestion of search queries
US9310888B2 (en) 2012-03-16 2016-04-12 Microsoft Technology Licensing, Llc Multimodal layout and rendering
US9685160B2 (en) 2012-04-16 2017-06-20 Htc Corporation Method for offering suggestion during conversation, electronic device using the same, and non-transitory storage medium
US20130285916A1 (en) 2012-04-30 2013-10-31 Research In Motion Limited Touchscreen keyboard providing word predictions at locations in association with candidate letters
US9460237B2 (en) 2012-05-08 2016-10-04 24/7 Customer, Inc. Predictive 411
US8484573B1 (en) 2012-05-23 2013-07-09 Google Inc. Predictive virtual keyboard
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
US9489293B2 (en) 2012-08-17 2016-11-08 Netapp, Inc. Techniques for opportunistic data storage
US20140115070A1 (en) 2012-10-22 2014-04-24 Nokia Corporation Apparatus and associated methods
US9305114B2 (en) * 2012-12-17 2016-04-05 Microsoft Technology Licensing, Llc Building long search queries
US10228819B2 (en) 2013-02-04 2019-03-12 602531 British Cilumbia Ltd. Method, system, and apparatus for executing an action related to user selection
US20140282203A1 (en) 2013-03-15 2014-09-18 Research In Motion Limited System and method for predictive text input
US9122376B1 (en) * 2013-04-18 2015-09-01 Google Inc. System for improving autocompletion of text input
US9626960B2 (en) 2013-04-25 2017-04-18 Nuance Communications, Inc. Systems and methods for providing metadata-dependent language models
US9529856B2 (en) 2013-06-03 2016-12-27 Google Inc. Query suggestion templates
US9613132B2 (en) * 2013-06-28 2017-04-04 Yandex Europe Ag Method of and system for displaying a plurality of user-selectable refinements to a search query
US20150100537A1 (en) 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US9461945B2 (en) 2013-10-18 2016-10-04 Jeffrey P. Phillips Automated messaging response
US9530416B2 (en) 2013-10-28 2016-12-27 At&T Intellectual Property I, L.P. System and method for managing models for embedded speech and language processing
KR102157264B1 (ko) 2013-10-30 2020-09-17 삼성전자주식회사 디스플레이 장치 및 그 ui 제공 방법
KR20150081181A (ko) 2014-01-03 2015-07-13 삼성전자주식회사 디스플레이 장치 및 이의 추천 문자 제공 방법
KR102225031B1 (ko) 2014-01-14 2021-03-09 엘지전자 주식회사 단말기 및 그 동작 방법
US10050926B2 (en) 2014-02-05 2018-08-14 Facebook, Inc. Ideograms based on sentiment analysis
US20150242086A1 (en) 2014-02-21 2015-08-27 Markport Limited Drag and drop event system and method
US9471570B2 (en) 2014-04-30 2016-10-18 Excalibur Ip, Llc Method and system for user selection of query suggestions
KR20150126213A (ko) 2014-05-02 2015-11-11 삼성전자주식회사 정보 검색 시스템 및 방법
KR102177607B1 (ko) 2014-05-16 2020-11-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9671956B2 (en) 2014-06-18 2017-06-06 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Presenting search term suggestions on graphical user interfaces
US9043196B1 (en) 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US20160034977A1 (en) 2014-08-01 2016-02-04 Yahoo! Inc. System and method for embedded search within messaging applications
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US10275152B2 (en) 2014-10-28 2019-04-30 Idelan, Inc. Advanced methods and systems for text input error correction
CN104503995A (zh) * 2014-12-04 2015-04-08 百度在线网络技术（北京）有限公司 输入法的实现方法和装置
US20160224524A1 (en) 2015-02-03 2016-08-04 Nuance Communications, Inc. User generated short phrases for auto-filling, automatically collected during normal text use
US10547571B2 (en) * 2015-05-06 2020-01-28 Kakao Corp. Message service providing method for message service linked to search service and message server and user terminal to perform the method
US10496275B2 (en) 2015-10-12 2019-12-03 Microsoft Technology Licensing, Llc Multi-window keyboard
US10140017B2 (en) 2016-04-20 2018-11-27 Google Llc Graphical keyboard application with integrated search
US10078673B2 (en) 2016-04-20 2018-09-18 Google Llc Determining graphical elements associated with text
US10222957B2 (en) 2016-04-20 2019-03-05 Google Llc Keyboard with a suggested search query region
US9965530B2 (en) 2016-04-20 2018-05-08 Google Llc Graphical keyboard with integrated search features
US10305828B2 (en) 2016-04-20 2019-05-28 Google Llc Search query predictions by a keyboard

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102612689A (zh) * 2009-10-28 2012-07-25 雅虎公司 用于将来自搜索的内容增加到文档或消息的机制
CN104350454A (zh) * 2012-05-29 2015-02-11 诺基亚公司 使得搜索结果得到显示
US20140280015A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Serving advertisements for search preview based on user intents
US20160006856A1 (en) * 2014-07-07 2016-01-07 Verizon Patent And Licensing Inc. Messaging application with in-application search functionality
CN104156161A (zh) * 2014-08-05 2014-11-19 魏新成 在信息设备屏幕上进行点击取词搜索的系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113748406A (zh) * 2019-09-05 2021-12-03 坎大姆库拉提·沙布安 通过软键盘应用进行任务管理
CN113748406B (zh) * 2019-09-05 2022-03-04 坎大姆库拉提·沙布安 通过软键盘应用进行任务管理

Also Published As

Publication number Publication date
WO2017184220A1 (en) 2017-10-26
CN108700993B (zh) 2021-06-01
US10222957B2 (en) 2019-03-05
EP3408733A1 (en) 2018-12-05
US9977595B2 (en) 2018-05-22
US20170308273A1 (en) 2017-10-26
EP3408733B1 (en) 2020-04-29
CN113391750A (zh) 2021-09-14
US20170308292A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
CN108700993A (zh) 具有建议的搜索查询区域的键盘
EP3479213B1 (en) Image search query predictions by a keyboard
KR102151683B1 (ko) 그래픽 키보드 내에서의 도형 심볼 검색
CN107305585B (zh) 由键盘作出的搜索查询预测
US10140017B2 (en) Graphical keyboard application with integrated search
EP3400539B1 (en) Determining graphical elements associated with text
US9946773B2 (en) Graphical keyboard with integrated search features
CN108701137A (zh) 键盘内的图标建议
CN108205376A (zh) 用于对话的图标符号预测
CN108701123A (zh) 图形键盘的动态键映射

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant