CN107305493A - 具有集成搜索的图形键盘应用 - Google Patents

具有集成搜索的图形键盘应用 Download PDF

Info

Publication number
CN107305493A
CN107305493A CN201710262085.4A CN201710262085A CN107305493A CN 107305493 A CN107305493 A CN 107305493A CN 201710262085 A CN201710262085 A CN 201710262085A CN 107305493 A CN107305493 A CN 107305493A
Authority
CN
China
Prior art keywords
search
keyboard
computing device
user
applications
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710262085.4A
Other languages
English (en)
Inventor
希瑟·卢波尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107305493A publication Critical patent/CN107305493A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238—Programmable keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90324—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90324—Query formulation using system suggestions
    • G06F16/90328—Query formulation using system suggestions using search space presentation or visualization, e.g. category or range presentation and selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及具有集成搜索的图形键盘应用。描述了计算设备，其包括处理器、至少存储有键盘应用的存储器和存在敏感显示器。一个或多个处理器执行键盘应用以输出包括多个键和搜索元素的图形键盘，接收对该搜索元素的选择的指示，并且响应于接收到对该搜索元素的选择的指示，在图形键盘内输出包括一个或多个所建议的搜索查询的查询建议区域。键盘应用还可以基于由计算设备检测到的用户输入的指示来确定搜索查询，基于搜索查询来调用搜索，响应于调用搜索而接收搜索结果，并且输出所述搜索结果的至少一部分的图形指示取代所述多个键的至少一部分。

Description

具有集成搜索的图形键盘应用
技术领域
本申请一般地涉及具有集成搜索的图形键盘应用。
背景技术
尽管能够同时执行多个应用，但一些移动计算设备一次只能呈现单个应用的图形用户界面(GUI)。为了同时与多个应用交互，移动计算设备的用户可能必须在不同的应用GUI之间切换。例如，移动计算设备的用户可能必须停止在消息接发应用中录入文本，并提供输入以使得设备切换到搜索应用以搜索在组合消息或以其他方式录入文本时使用的特定信息。
发明内容
在一个示例中，一种方法包括：通过在计算设备处执行的键盘应用来输出用于显示的包括多个键和搜索元素的图形键盘；通过键盘应用接收对搜索元素的选择的指示；并且响应于接收到对搜索元素的选择的指示，通过键盘应用输出包括一个或多个所建议的搜索查询的查询建议区域以在图形键盘内显示。该方法也可以包括：通过键盘应用基于由计算设备检测到的用户输入的指示来确定搜索查询；由键盘应用基于搜索查询调用搜索；响应于调用搜索，通过键盘应用接收搜索结果，并且通过键盘应用输出所述搜索结果的至少一部分的图形指示以在图形键盘内显示并且代替多个键的至少一部分。
在另一示例中，一种计算设备包括一个或多个处理器、存储包括键盘应用的一个或多个应用的存储器和存在敏感显示器。一个或多个处理器执行键盘应用以输出包括多个键和搜索元素的图形键盘用于由存在敏感显示器显示，接收对搜索元素的选择的指示，并且响应于接收到对搜索元素的指示的选择，输出包括一个或多个所建议的搜索查询查询建议区域，用于由存在敏感显示器在图形键盘内显示。该一个或多个处理器还可以执行键盘应用，以基于由计算设备检测到的用户输入的指示来确定搜索查询，基于搜索查询来调用搜索，响应于调用搜索，接收搜索结果，并且输出搜索结果的至少一部分的图形指示，以用于由存在敏感显示器在图形键盘内显示并代替多个键的至少一部分。
在另一示例中，编码有指令的计算机可读存储介质，所述指令在被执行时使得计算设备的一个或多个处理器输出包括多个键和搜索元素的图形键盘用于显示；接收对搜索元素的选择的指示；并且响应于接收到对搜索元素的选择的指示，输出包括一个或多个所建议的搜索查询的查询建议区域以在图形键盘内显示。该指令可以进一步使得该一个或多个处理器：基于由计算设备检测到的用户输入的指示来确定搜索查询；基于搜索查询调用搜索；响应于调用搜索，接收搜索结果，并且输出所述搜索结果的至少一部分的图形指示以在图形键盘内显示并且代替多个键的至少一部分。
在附图和下面的描述中阐述了一个或多个示例的细节。本公开的其他特征、目的和优点将从说明书和附图以及权利要求书中显而易见。
附图说明
图1是图示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的示例计算设备的概念图。
图2是图示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的示例计算设备的框图。
图3是图示出根据本公开的一个或多个技术的输出用于在远程设备处显示的图形内容的示例计算设备的框图。
图4是图示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的示例计算设备的示例图形用户界面414的概念图。
图5是图示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的计算设备的示例操作的流程图。
具体实施方式
一般来说，本公开涉及用于使得在计算设备处执行的键盘应用能够在键盘应用的图形键盘内执行搜索和显示搜索结果的技术。例如，用户可以与通过键盘应用在存在敏感屏幕(例如，触摸屏)上呈现的图形键盘进行交互。该交互可以与例如作为消息传递或发短信应用图形用户界面(GUI)的一部分的、不同于搜索应用的通信应用等相关联。如果用户有兴趣进行搜索，则用户可以选择所建议的搜索查询或提供搜索查询，并使键盘应用发起搜索(其可以可选地对存储在计算设备上的内容执行和/或由搜索引擎对存储在计算设备远程处的内容执行)。在一些示例中，计算设备可以将搜索结果在键盘应用内或通过键盘应用呈现为键盘的一部分或取代键盘的一部分(例如，取代图形键)。
通过提供包括具有集成搜索能力的图形键盘的GUI，示例计算设备可以为用户提供一种方式来快速获得与用户已经在图形键盘上提供的输入相关的搜索结果，而不必在几个不同的应用和应用GUI之间切换，或重新键入已经在图形键盘上输入的文本。以这种方式，本公开的技术可以减少获得搜索结果所需的时间量和用户输入的次数，这可以简化用户体验并且可以降低计算设备的功耗。
在整个本公开中，描述了示例，其中，只有在计算设备的用户提供分析信息的许可的情况下，应用、计算设备和/或计算系统才分析与计算设备和计算设备的用户相关联的信息(例如，在图形键盘上录入的文本、场境、位置、速度、搜索查询等)。例如，在下面讨论的情况下，在应用之前，计算设备或计算系统可以收集或者可以利用与用户相关联的信息，可以向用户提供机会以提供输入以控制应用、计算设备和/或计算系统是否可以收集和使用用户信息(例如，与在图形键盘等处录入的文本有关的信息)，或指示应用、设备和/或系统是否和/或如何可以接收可能与用户有关的内容。此外，某些数据可以在它被应用、计算设备和/或计算系统存储或使用之前以一种或多种方式处理，以便消除个人可识别信息。例如，可以对用户的身份进行处理，使得不能确定与用户有关的个人可识别信息，或者在获得位置信息(诸如城市、邮政编码或州级别)的情况下，可以泛化用户的地理位置，使得不能确定用户的具体位置。因此，用户可以控制如何收集与用户有关的信息和由计算设备和计算系统如何使用信息。
图1是图示出根据本公开的一个或多个方面的被配置为输出具有集成搜索特征的图形键盘的示例计算设备110的概念图。计算设备110可以表示诸如智能电话、平板计算机、膝上型计算机、计算机化手表、计算机化眼镜、计算机化手套或任何其他类型的便携式计算设备的移动设备。计算设备110的附加示例包括台式计算机、电视机、个人数字助理(PDA)、便携式游戏系统、媒体播放器、电子书阅读器、移动电视平台、汽车导航和娱乐系统、车辆(例如，汽车、飞行器或其他车辆)驾驶舱显示器或可以输出用于显示的图形键盘的任何其他类型的可穿戴和不可佩戴的移动或非移动计算设备。
计算设备110包括存在敏感显示器(PSD)112、用户界面(UI)模块120和键盘应用122。模块120和122可以执行使用驻留在计算设备110中和/或在计算设备110处执行的软件、硬件、固件或硬件、软件和固件的混合物描述的操作。例如，计算设备110的一个或多个处理器可以执行存储在计算设备110的存储器或其他非暂时性存储介质处的指令，以执行模块120和122的操作。计算设备110可以执行作为在底层硬件上执行的虚拟机的模块120和122。作为其他示例，模块120和122可以作为操作系统或计算平台的一个或多个服务执行，或者模块120和122可以作为计算平台的应用层处的一个或多个可执行程序来执行。
计算设备110的PSD 112可以用作计算设备110的相应输入和/或输出设备。可以使用各种技术来实现PSD 112。例如，PSD 112可用作使用存在敏感输入屏幕的输入设备，所述存在敏感输入屏幕例如是电阻式触摸屏、表面声波触摸屏、电容触摸屏、投影电容触摸屏、压敏屏幕、声学脉冲识别触摸屏或另一种存在敏感显示器技术。PSD 112也可以用作使用任何一个或多个显示设备的输出(例如，显示)设备，所述任何一个或多个显示装置诸如是液晶显示器(LCD)、点矩阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水或能够向计算设备110的用户输出可见信息的类似的单色或彩色显示器。
PSD 112可以检测来自计算设备110的用户的输入(例如，触摸和非触摸输入)。PSD112可以通过检测来自用户的一个或多个手势(例如，用户用手指或触控笔在PSD 112的一个或多个位置之处或附近触摸、指向和/或滑动)来检测输入。PSD 112可以以可以与计算设备110提供的功能相关联的用户界面(例如，用户界面114)的形式向用户输出信息。这样的用户界面可以与计算平台、操作系统、应用和/或在计算设备110处或从计算设备110执行或可访问的服务(例如，电子消息应用、聊天应用、互联网浏览器应用、移动或桌面操作系统、社交媒体应用、电子游戏和其他类型的应用)。例如，PSD 112可以呈现用户界面114，如图1所示，用户界面114是在计算设备110处执行的聊天应用的图形用户界面，并且包括在PSD112的各个位置处显示的各种图形元素。
尽管在图1中被示出为聊天用户界面，用户界面114可以是包括具有集成搜索特征的图形键盘的任何图形用户界面。在图1的示例中，用户界面114包括输出区域116A、图形键盘116B和文本编辑区域116C。计算设备110的用户可以在图形键盘116B处提供输入，以在编辑区域116C内产生形成在输出区域116A内显示的电子消息的内容的文本字符。显示在输出区域116A内的消息形成在计算设备110的用户和不同计算设备的用户之间的聊天对话。
UI模块120管理与PSD 112和计算设备110的其他组件的用户交互。换句话说，UI模块120可以充当计算设备110的各个组件之间的中介，以基于由PSD 112检测到的用户输入进行确定并且例如响应于用户输入在PSD 112处生成输出。UI模块120可以从应用、服务、平台或计算设备110的其他模块接收指令，以使PSD 112输出用户界面(例如，用户界面114)。UI模块120可以管理作为用户视图由计算设备110接收的输入，并且与在PSD 112处呈现的用户界面交互，并且响应于从在处理用户输入的应用、服务、平台或计算设备110的其他模块接收附加指令来更新用户界面。
键盘应用122表示在计算设备110处执行或可访问的应用、服务或组件，其向计算设备110提供具有集成搜索特征的图形键盘。键盘应用122可以在其中键盘应用122类似于传统图形键盘的文本录入模式中操作或其中键盘应用122执行各种集成搜索功能或与一个或多个搜索应用或功能交互的搜索模式中操作之间切换。例如，键盘应用122可以接收搜索查询或输出搜索结果以代替图形键盘116B的至少一部分(例如，代替多个图形键118A中的一个或多个键)而显示。
在一些示例中，键盘应用122可以是在计算设备110处执行的独立应用、服务或模块。在其他示例中，键盘应用122可以是充当用于其他应用或设备功能的服务的子组件或扩展。例如，键盘应用122可以被集成到在计算设备110处执行的聊天或消息传递应用内。作为另一示例，在任何应用或操作平台都需要图形键盘输入功能的任何时间，键盘应用122可以是由计算设备110的应用或操作平台调用的独立应用或子例程。在一些示例中，计算设备110可以从服务提供商的应用库(例如，可经由互联网访问的在线应用商店)下载并安装键盘应用122。在其他示例中，键盘应用122可以在计算设备110的生产期间被预加载。
当在文本录入模式下操作时，计算设备110的键盘应用122可以执行用于文本录入的传统的图形键盘操作，诸如：生成包括用于在PSD112处显示的多个图形键118A的图形键盘布局，将PSD 112处的检测到的输入映射到对图形键118A的选择，基于所选择的图形键118A确定字符，并且基于从所选择的图形键118A确定的字符来预测或自动校正字和/或短语。
图形键盘116B包括显示为图形键118A的图形元素。键盘应用122可向UI模块120输出指定图形键盘116B在用户界面114内的布局的信息。例如，该信息可以包括指定图形键118A的位置、大小、颜色、字符和其它特性的指令。基于从键盘应用122接收的信息，UI模块120可以使PSD 112显示图形键盘116B作为用户界面114的一部分。
图形键118A的每个键可以与键内显示的一个或多个相应字符(例如，字母、数字、标点符号或其他字符)相关联。计算设备110的用户可以在PSD 112的位置处提供输入，在该位置处显示一个或多个图形键118A以将内容(例如，字符、搜索结果等)输入到文本编辑区域116C(例如，用于撰写在输出区域116A内发送和显示的消息，或者用于从图形键盘116B输入计算设备110执行的搜索查询)。键盘应用122可以从UI模块120接收指示与每个图形键的位置相关的、与由PSD 112检测到的输入相关联的位置的信息。使用空间和/或语言模型，键盘应用122可以将输入转换为队键和字符、单词和/或短语的选择。
例如，当计算设备110的用户在其中PSD 112呈现图形键118A的、PSD 112的位置之处或附近提供输入时，PSD 112可以检测用户输入。UI模块120可以从PSD 112接收由PSD112检测到的用户输入的指示，并向键盘应用122输出与用户输入有关的信息。与用户输入有关的信息可以包括由PSD 112检测到的一个或多个触摸事件(例如，与输入有关的位置和其他信息)的指示。
基于从UI模块120接收到的信息，键盘应用122可将在PSD 112处检测到的用户输入映射到对图形键118A的选择，基于所选择的图形键118A确定字符，并且基于与所选择的图形键118A相关联的字符预测或自动校正所确定的字和/或短语。例如，键盘应用122可以包括空间模型，其可以基于键118A的位置和与输入有关的信息来确定最可能被选择的一个或多个图形键118A。响应于确定最可能被选择的一个或多个图形键118A，键盘应用122可以确定一个或多个字符、单词和/或短语。例如，从PSD 112处的用户输入中选择的一个或多个图形键118A中的每一个可以表示独立字符或键盘操作。键盘应用122可以基于一个或多个所选择的图形键118A确定所选择的字符序列。在一些示例中，键盘应用122可以将语言模型应用于字符序列，以基于对图形键118A的选择来确定用户正试图输入的一个或多个可能的候选字母、语素、单词和/或短语。
键盘应用122可以向UI模块120发送字符和/或候选词和短语的序列，并且UI模块120可以使PSD 112呈现从对一个或多个图形键118A的选择所确定的字符和/或候选词作为编辑区域116C内的文本。在一些示例中，当用作用执行文本录入操作的传统键盘时，响应于在图形键118A接收到用户输入(例如，当用户正在图形键盘116B处键入以在编辑区域116C内录入文本时)，键盘应用122可以使UI模块120将候选词和/或短语显示为建议区域118B内的一个或多个可选择的拼写修正和/或可选择的词或短语建议。
除了执行用于文本录入的传统的图形键盘操作之外，计算设备110的键盘应用122还提供集成的搜索能力。也就是说，键盘应用122可以在搜索模式(其中键盘应用122可执行搜索操作)中操作，并将搜索结果呈现在一个或多个可能的位置和格式中，诸如在显示图形键盘116B的PSD 112的相同区域内，而不是要求计算设备110的用户远离提供图形键盘116B和输出区域116A(例如，到在计算设备110处执行或在计算设备110处可访问的不同的应用或服务)的用户界面114导航。
如上所述，键盘应用122可以作为在计算设备110处执行的独立应用、服务或模块来执行，或者作为其单个的集成子组件来执行。例如，如果键盘应用122是应用或操作平台需要图形键盘输入功能的任何时候由计算设备110的应用或操作平台调用的独立应用或子例程，则键盘应用122可以提供具有文本录入功能以及搜索功能的调用应用或操作平台。
键盘应用122可以进一步在搜索模式下操作。在一些示例中，当在搜索模式下操作时，键盘应用122可以使图形键盘116B包括搜索元素118C。搜索元素118C表示图形键盘116B的可选元素，用于调用图形键盘116B的各种搜索特征中的一个或多个，诸如调用搜索模式。例如，通过选择搜索元素118C(例如，通过在显示搜索元素118C的PSD112的位置处或区域内轻拍或做手势)，用户可以使计算设备110调用各种集成搜索特征，而用户不必明确地导航到在计算设备110处执行或可访问的单独的应用、服务或其他特征。
UI模块120可以向键盘应用122输出指示计算设备110的用户可以具有所选择的搜索元素118C的信息。响应于确定搜索元素118C被选择，键盘应用122可以转换到在搜索模式下操作。在一些示例中，当键盘应用122在搜索模式下操作时，键盘应用122仍然可以经由图形键118A启用文本录入。
键盘应用122可以重新配置图形键盘116B以与主要归因于向文本编辑区域116C的文本录入的操作相反地执行搜索特征。例如，响应于接收到对搜索元素118C的选择，键盘应用122可以修改图形键盘116B以包括查询建议区域118D，其可以包括一个或多个所建议的查询。键盘应用122可以将建议区域118B配置为在建议区域118B内将所建议内容(例如，预测的搜索查询、预测的表情符或所谓的“表情符号(emojis)”或其他所建议的内容)作为可选择元素呈现，而不是键盘应用122从语言模型、词典或字典得到的预测的字符、单词或短语或其他主要是语言的信息。换句话说，计算设备110可以在建议区域118B内呈现计算设备110确定可以帮助用户提供与电子通信相关的输入的所建议的搜索相关内容，而不是提供来自建议区域118B内的字典的拼写或词语建议。在键盘应用122在选择搜索元素118C之前在建议区域118B中呈现所建议的搜索查询的示例中，在接收到对搜索元素118C的选择之后，键盘应用122可以将所建议的搜索查询包括为查询建议区域118D内的所建议的搜索查询之一。
作为另一示例，响应于接收到用户可能已经选择了搜索元素118C的指示，除了或代替键盘应用122从语言模型、辞典或词典中得到的预测的字符、字或短语或其他主要为语言的信息，键盘应用122可以配置建议区域118B呈现使用图形键118A输入的搜索查询。换句话说，在某些情况下，计算设备110可以在建议区域118B内呈现使用图形键118A输入的搜索查询，而不是在建议区域118B内提供来自字典的拼写或单词建议。
在一些示例中，键盘应用122可以配置建议区域118B以显示具有与预测字符、单词或短语不同格式的搜索查询，使得用户可以可视地区分搜索查询与预测字符、单词或短语。例如，键盘应用122可以配置建议区域118B以在显著的用户界面元素(例如文本框)附近或之内显示具有预定文本颜色、字体、字体大小等的搜索查询，以便相对于预测的字符、单词或短语可视地区分搜索查询。
替代或除了配置建议118B来呈现搜索查询，键盘应用122可以在图形键盘116B内包括查询建议区域118D。建议区域118D可以包括所建议的搜索查询作为图形键118A上方的可选元素。换句话说，在一些示例中，键盘应用122可以配置图形键盘116B以包括位于编辑区域116C和图形键118A之间的查询建议区域118D。在图1中所示的示例中，查询建议区域118D也位于可以具有输入焦点的建议区域118B的附近(例如，邻近、上方、下方、两侧等等)。在可以不同地配置用户界面114的一些示例中，查询建议区域118D可以位于图形键118A和编辑区域116C之间，包括在以下示例中：查询建议区域位于图形键下方并且位于编辑区域上方。在更进一步的示例中，查询建议区域可以位于建议区域118B和编辑区域116C之间，包括查询建议区域位于建议区域下方和编辑区域之上的示例。图形用户界面的其他替选布置是可能的，包括其中查询建议区域不位于图形键和编辑区域之间或在建议区域和编辑区域之间的布置。
在一些示例中，由计算设备110检测到的输入可被输出到指定为具有输入焦点的一个或多个特定用户界面组件。例如，由于PSD 112在其中PSD 112呈现图形键盘116B的PSD112的位置之处或附近检测用户输入，所以UI模块120可以接收输入的指示并且可以向键盘应用122输出与输入有关的信息。在其中键盘应用122确定用户正在与字符串相对应的图形键118A处提供输入的一些示例中，键盘应用122可以使UI模块120更新用户界面114以在用户界面114内包括该字符串。可以通过哪个用户界面组件具有输入焦点来确定该字符串可以在用户界面内何处定位或显示。例如，用户界面114包括几个用户界面组件，包括编辑区域116C、建议区域118B、搜索元素118C和输出区域116A。在建议区域118B具有输入焦点的示例中，计算设备110可以在建议区域118B内格式化并显示与输入相对应的字符串。
有时，在某些示例中，没有用户界面组件将具有输入焦点。在其他示例中，只有一个接口组件将在给定时间具有输入焦点，并且只有某些类型的用户界面组件可能被允许或有资格具有输入焦点，诸如文本框或编辑框。在一些示例中，计算设备110可以通过检测哪个有资格的用户界面组件最后接收到由用户输入的触摸来确定哪个用户界面组件具有输入焦点。换句话说，当PSD 112在与特定用户界面组件相对应的PSD 112的位置处检测到用户输入时，计算设备110可以向该用户界面组件给予输入焦点(如果它被允许或有资格具有输入焦点)。在其他示例中，计算设备110通过检测哪个用户界面组件最后接收到来自光标的输入来确定哪个用户界面组件具有输入焦点。在其他示例中，计算设备110可以基于由在计算设备110上执行的应用配置的设置来确定哪个用户界面组件具有输入焦点。在一些示例中，对于诸如编辑区域116C或建议区域118B的某些用户界面组件，闪烁光标119可以在界面组件内显示，以提供指示其具有输入焦点的视觉提示。
在搜索模式中，键盘应用122可以从UI模块120接收选择或尝试选择一个或多个图形键118A的用户输入的指示。键盘应用122可以包括空间模型、语言模型或两者，其可以基于键118A的位置确定与输入有关的信息和字符序列、基于对键118A的选择的用户最可能正尝试输入的一个或多个字母、语素、单词和/或短语。键盘应用122可以使UI模块120在建议区域118B内输出候选字母、语素、单词和/或短语作为搜索查询。在一些示例中，键盘应用122可以使得UI模块120例如通过下述方式输出多个候选字母、语素、单词和/或短语：扩展建议区域118B来呈现多个候选字母、语素、单词和/或短语作为独立的文本行。
键盘应用122可以从UI模块120接收指示搜索查询的完成的用户输入的指示，其可以与用户选择在PSD 112处显示的用户界面元素相对应，诸如图形键118A中的一个(例如，图1所示的RETURN/SEARCH键)；在建议区域118B处显示的候选字母、语素、单词和/或短语之一；等等。作为响应，键盘应用122可以将搜索查询确定为例如在用户输入时在建议区域118B处显示的指示搜索查询的完成的字母、语素、单词和/或短语，或在展开的建议区域118B中显示的所选择的一个或多个候选字母、语素、单词和/或短语。
键盘应用122可以基于用户输入来确定搜索查询。在一些示例中，用户输入可以包括对图形键盘116B的一个或多个图形键118A的选择。例如，键盘应用122可以从UI模块120接收与指示搜索查询的图形键盘116B相对应的PSD 112的位置处的用户输入的指示。作为另一示例，用户输入可以包括对包括在查询建议区域118D中的建议查询的选择。也就是说，键盘应用122可以从UI模块120接收与包括在查询建议区域118D中的所建议的搜索查询之一相对应的PSD 112的位置处的用户输入的指示。
在一些示例中，不是从UI模块120接收选择搜索元素118C以调用搜索模式的用户输入的指示，并且然后从UI模块120接收选择或尝试选择一个或多个图形键118A的用户输入的指示，键盘应用122可以基于输出区域116A、文本编辑区域116C或两者的内容来确定预测搜索查询。例如，如图1所示，输出区域116A是诸如消息传递或聊天应用的应用，并且图示出来自计算设备110的用户(在“YOU(你)”下)的通信以及来自另一计算设备的用户(在“FRIEND(朋友)”下)的通信。在其他示例中，输出区域116A可以是另一个应用用户界面，诸如笔记应用、web浏览器、搜索应用、地图应用、电子邮件应用、文本编辑器应用或图形键盘116B对其提供文本输入的任何其他应用。
在一些示例中，键盘应用122可以基于来自计算设备110的用户的通信的内容来确定预测的查询。例如，图1图示了作为“今晚晚餐”的来自计算装置110的用户的通信的内容。基于该通信的内容，键盘应用122已经确定了预测的搜索查询“餐馆”。通常，键盘应用122可以基于与计算设备相关联的用户的搜索历史、当前消息传递对话或计算设备的当前场境中的一个或多个来确定一个或多个所建议的查询。键盘应用122可将预测的搜索查询的指示输出到UI模块120，这可以使预测的搜索查询“餐馆”在建议区域118B和/或查询建议区域118D处输出。
在一些示例中，键盘应用122可以仅分析来自计算设备110的用户的通信内容以确定预测的搜索查询。换句话说，在一些示例中，键盘应用122可以避免分析来自另一计算设备的用户的通信内容以确定预测的搜索查询。在其他示例中，键盘应用122可以分析来自另一计算设备的用户(并由计算设备110接收)的通信的内容，以确定预测的搜索查询。
只有当计算设备从相应的计算设备的用户接收对于分析信息的许可时，计算设备110才可以基于来自计算设备110的用户的通信内容、来自其他计算设备的用户的通信内容或两者来确定预测的搜索查询。例如，在计算设备110可以收集或可以利用与计算设备110的用户或另一计算设备的用户相关联的信息之前，可以向用户提供用于提供输入，以控制计算设备110的程序或特征是否可以收集和使用用户信息(例如，与用户的当前位置、当前速度、文本对话等有关的信息)，或者指示计算设备110是否和/或如何可以接收可能与用户相关的内容的机会。此外，某些数据可以在被计算设备110存储或使用之前以一种或多种方式被处理，使得移除个人可识别信息。例如，可以对用户的身份进行处理，使得不能确定与用户有关的个人可识别信息，或者在获得位置信息(诸如城市、邮政编码或州级别)的情况下，可以泛化用户的地理位置，使得不能确定用户的特定位置。因此，用户可以控制如何收集与用户有关的信息并由计算设备110使用。
在一些示例中，键盘应用122可以向UI模块120传送指令，以使得以与预测的字符、单词或短语不同的视觉外观来显示预测的搜索查询。例如，键盘应用122向UI模块120传送指令以使得预测的搜索查询以预定的文本颜色、字体、字体大小等显示，或者在显著的用户界面元素(诸如文本框、下划线、图标或图片等)附近或之内显示，以在视觉上区分搜索查询与预测的字符、单词或短语。这可以允许计算设备110的用户容易地区分预测的搜索查询和预测的字符、单词或短语。
如果用户决定执行搜索，则用户可以选择建议区域118B或在建议区域118B处显示的预测搜索查询。键盘应用122可以从UI模块120接收对建议区域118B或在建议区域118B处显示的预测搜索查询的选择的指示，并且可以确定搜索查询是在建议区域118B处显示的预测搜索查询。在所建议的查询被包括在查询建议区域118D内的情况下，用户可以在与所建议的查询之一相关联的查询建议区域118D内的PSD122的位置处提供输入。键盘应用122可以确定与输入相关联的建议查询是用户希望执行的搜索查询。
然后，计算设备110可以将搜索查询传送到搜索系统。响应于接收到搜索查询，并且基于搜索查询的内容，搜索系统可以执行搜索。例如，搜索可以包括：网页的搜索；包括对象、事实和对象之间的关系的语义网络的搜索；图像搜索；视频搜索；定位到计算设备110的用户的位置的搜索；等等。搜索系统然后可以将至少一个搜索结果传送到计算设备110，并且计算设备110可以接收该至少一个搜索结果。搜索结果可能包括文本信息、图像、视频、超链接等。
计算设备110的键盘应用122可以接收搜索结果，并且使得UI模块120输出至少一部分搜索结果的视觉表示，以代替图形键盘116B的至少一部分。例如，键盘应用122可以使UI模块120输出至少一部分搜索结果的视觉表示以代替图形键118A的至少一些键。
在一些示例中，计算设备110的键盘应用122可以使得UI模块120将视觉表示输出为基于卡的用户界面元素。作为一个示例，基于卡的用户界面元素可以看起来类似于笔记卡，并且可以包括搜索结果的特定搜索结果的表示。特定搜索结果的表示可以包括例如文本、图片或图标等中的至少一个。
键盘应用122可以为搜索结果的每个相应搜索结果生成相应的基于卡的用户界面元素。键盘应用122可以使UI模块120一次输出用于显示的至少一个基于卡的用户界面元素，并且UI模块120可以被配置为响应于确定诸如滑动手势的用户手势而在相应的基于卡的用户界面元素之间切换。例如，键盘应用122可以从UI模块120接收在图形键盘内显示的搜索结果的部分内启动的滑动手势的指示，并作为响应输出搜索结果的不同部分的图形指示，用于在图形键盘内显示，并代替先前显示的搜索结果的部分。以这种方式，键盘应用122可以使用户能够在图形键盘116B内的搜索结果之间切换。
在一些示例中，键盘应用122可以被配置为基于从UI模块120接收到的用户输入的指示来确定对搜索结果的视觉表示的预定部分的选择。响应于确定选择，键盘应用122可以被配置为自动地在没有进一步的用户输入的情况下向UI模块120输出与搜索结果相关的信息的指示，UI模块120被配置为将与搜索结果相关的信息插入到文本编辑区域116C中。与搜索结果相关的信息可以包括例如文本、超链接、图像、图标等。以这种方式，计算设备110被配置为允许来自搜索结果的信息向文本编辑区域116C的单手势输入，使得能够容易且有效地将来自搜索结果的信息录入到对于其而言图形键盘116B在用于输入文本的应用。
以这种方式，本公开的技术可以使得计算设备能够向图形键盘提供集成的搜索特征，所述集成的搜索特征包括显示搜索结果的至少一部分的视觉表示，以代替图形键盘的至少一部分。进一步地，在一些示例中，视觉表示可以包括基于卡的用户界面元素，并且计算设备110可以被配置为响应于接收到诸如滑动手势的用户输入的指示，输出与基于搜索查询确定的不同搜索结果相对应的不同的基于卡的用户界面元素。另外，计算设备110可以被配置为基于用户输入来确定对搜索结果的至少一部分(例如，一个搜索结果)的视觉表示的预定部分的选择，并且自动地，而不需要进一步的用户输入，在与图形键盘116B相邻显示的文本编辑区域116C中插入与搜索结果的至少一部分(例如，一个搜索结果)相关的信息。
图2是图示出根据本公开的一个或多个方面的、作为被配置为呈现具有集成搜索特征的图形键盘的示例计算设备的计算设备210的框图。下面将描述作为图1的计算设备110的示例的图2的计算设备210。图2仅图示出了计算设备210的一个特定示例，并且计算设备210的许多其他示例可以在其他实例中使用，并且可以包括在示例计算设备210中包括的组件的子集，或者可以包括图2中未示出的附加组件。
如图2的示例中所示，计算设备210包括PSD 212、一个或多个处理器240、一个或多个通信单元242、一个或多个输入组件244、一个或多个输出组件246以及一个或多个存储组件248。存在敏感显示器212包括显示组件202和存在敏感输入组件204。计算设备210的存储组件248包括UI模块220、键盘应用222和一个或多个应用模块224。键盘应用222可以包括空间模型(“SM”)模块226、语言模型(“LM”)模块228和搜索模块230。应用模块224可以包括搜索应用232和消息传递应用234。通信信道250可以与组件212、240、242、244、246和248中的每一个互连，用于组件间通信(物理地、通信地和/或操作地)。在一些示例中，通信信道250可以包括系统总线、网络连接、进程间通信数据结构或用于通信数据的任何其它方法。
计算设备210的一个或多个通信单元242可以通过在一个或多个网络上传送和/或接收网络信号，经由一个或多个有线和/或无线网络与外部设备进行通信。通信单元242的示例包括网络接口卡(诸如，以太网卡)、光收发器、射频收发器、GPS接收器或可以发送和/或接收信息的任何其他类型的设备。通信单元242的其他示例可以包括短波无线电、蜂窝数据无线电、无线网络无线电以及通用串行总线(USB)控制器。
计算设备210的一个或多个输入组件244可以接收输入。输入示例是触觉、音频和视频输入。在一个示例中，计算设备210的输入组件242包括存在敏感输入设备(例如，触敏屏幕、PSD)、鼠标、键盘、语音响应系统、摄像机、麦克风或用于检测来自人或机器的输入的任何其他类型的设备。在一些示例中，输入组件242可以包括一个或多个传感器组件、一个或多个位置传感器(GPS组件、Wi-Fi组件，蜂窝组件)、一个或多个温度传感器、一个或多个运动传感器(例如，加速度计、陀螺仪)、一个或多个压力传感器(例如，气压计)、一个或多个环境光传感器以及一个或多个其他传感器(例如，麦克风、相机、红外接近传感器和湿度计等)。其他传感器可以包括心率传感器、磁力计、葡萄糖传感器、湿度计传感器、嗅觉传感器、罗盘传感器、台阶计数器传感器，此处仅仅给出了几个其他非限制性示例。
计算设备110的一个或多个输出组件246可以生成输出。输出示例是触觉、音频和视频输出。在一个示例中，计算设备210的输出组件246包括PSD、声卡、视频图形适配器卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或用于产生成到人或机器的输出的任何其他类型的设备。
计算设备210的PSD 212类似于计算设备110的PSD 112，并且包括显示组件202和存在敏感输入组件204。显示组件202可以是屏幕，在此，由PSD 212显示信息和存在敏感输入组件204可以检测显示组件202处和/或附近的对象。作为一个示例范围，存在敏感输入组件204可以检测诸如显示组件202的2英寸或更小之内的手指或触控笔的对象。存在敏感输入组件204可以确定检测到对象的显示组件202的位置(例如，[x，y]坐标)。在另一示例范围中，存在敏感输入组件204可以检测相对于显示组件202 6英寸或更小的对象，并且其他范围也是可能的。存在敏感输入组件204可以使用电容、电感和/或光学识别技术确定由用户的手指选择的显示组件202的位置。在一些示例中，存在敏感输入组件204还使用如关于显示组件202所描述的触觉、音频或视频刺激向用户提供输出。在图2的示例中，PSD 212可以呈现用户界面(诸如，图1的图形用户界面114)。
尽管被图示出为计算设备210的内部组件，但是PSD 212还可以表示外部组件，所述外部组件与计算设备210共享用于传送和/或接收输入和输出的数据路径。例如，在一个示例中，PSD 212表示位于计算设备210的外部包装(例如，移动电话上的屏幕)内并且物理连接到计算设备210的外部包装的计算设备210的内置组件。在另一示例中，PSD 212表示计算设备210的外部组件(例如，与计算设备210共享有线和/或无线数据路径的监视器、投影仪等)，所述外部组件位于计算设备210的包装或外壳外部并与其物理分离的位置。
计算设备210的PSD 212可以检测作为来自计算设备210的用户的输入的二维和/或三维手势。例如，PSD 212的传感器可以检测在PSD212的传感器的阈值距离内的用户的移动(例如，移动手、手臂、笔、触针等)。PSD 212可以确定移动的二维或三维向量表示，并将向量表示与具有多个维度的手势输入(例如，手波、夹点、拍手、笔触等)相关联。换句话说，PSD212可以检测多维手势，而不需要用户在PSD212输出信息以进行显示的屏幕或表面之处或附近做手势。相反，PSD212可以检测在传感器之处或附近执行的多维手势，所述传感器可以或可以不位于PSD 212输出信息以显示的屏幕或表面附近。
一个或多个处理器240可以实现功能和/或执行与计算设备210相关联的指令。处理器240的示例包括应用处理器、显示控制器、辅助处理器、一个或多个传感器集线器以及被配置为用作处理器、处理单元或处理设备的任何其他硬件。模块220、222、224、226、228、230、232和234可由处理器240操作以执行计算设备210的各种动作、操作或功能。例如，计算设备210的处理器240可以检索和执行存储组件248存储的指令，该指令使得处理器240执行操作模块220、222、224、226、228、230、232和234。这些指令在被处理器240执行时可能导致计算设备210将信息存储在存储组件248内。
计算设备210内的一个或多个存储组件248可以存储用于在计算设备210的操作期间进行处理的信息(例如，计算设备210可以存储由模块220、222、224、226、228、230、232，和234在计算设备210处的执行期间访问的数据)。在一些示例中，存储组件248是临时存储器，这意味着存储组件248的主要目的不是长期存储。可以将计算设备210上的存储组件248配置为将信息短期存储为易失性存储器，因此如果断电则不保留存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域中已知的其他形式的易失性存储器。
在一些示例中，存储组件248还包括一个或多个计算机可读存储介质。一些示例中的存储组件248包括一个或多个非暂时的计算机可读存储介质。存储组件248可以被配置为存储比通常由易失性存储器存储的更大量的信息。存储组件248可以进一步被配置为作为非易失性存储器空间长期存储信息，并且在电源接通/关闭循环之后保留信息。非易失性存储器的示例包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦可编程(EEPROM)存储器的形式。存储组件248可以存储与模块220、222、224、226、228、230、232和234相关联的程序指令和/或信息(例如，数据)。存储组件248可以包括被配置为存储与模块220、222、224、226、228、230、232和234相关联的数据或其他信息的存储器。
UI模块220可以包括图1的计算设备110的UI模块120的所有功能，并且可以执行与UI模块120类似的操作，用于管理计算设备210在存在敏感显示器212处提供的用于处理来自用户的输入的用户界面(例如，用户界面114)。例如，计算设备210的UI模块220可以查询键盘应用222用于键盘布局(例如，英语QWERTY键盘等)。UI模块220可以通过通信通道250向键盘应用222传送对键盘布局的请求。键盘应用222可以接收该请求并且向UI模块220回复与键盘布局相关联的数据。UI模块220可以通过通信通道250接收键盘布局数据，并使用数据来生成用户界面。UI模块220可以通过通信通道250传送显示命令和数据，以使PSD 212在PSD 212处呈现用户界面。
在一些示例中，UI模块220可以接收在PSD 212处检测到的一个或多个用户输入的指示，并且可以将与用户输入有关的信息输出到键盘应用222。例如，PSD 212可以检测用户输入并向UI模块220发送与用户输入有关的数据。UI模块220可以基于检测到的输入生成一个或多个触摸事件。触摸事件可以包括表征用户输入的信息，诸如用户输入的位置分量(例如，[x，y]坐标)、时间分量(例如，当接收到用户输入时)、力分量(例如，用户输入施加的压力的量)或与用户输入有关的其他数据(例如，速度、加速度、方向、密度等)。
UI模块220基于从用户输入生成的触摸事件的位置信息，可以确定检测到的用户输入与图形键盘相关联。UI模块220可以向键盘应用222发送一个或多个触摸事件的指示用于进一步解释。键盘应用222可以基于从UI模块220接收到的触摸事件来确定检测到的用户输入表示对图形键盘的一个或多个键的初始选择。
应用模块224表示在依赖具有集成的搜索特征的图形键盘的计算设备210处执行并可访问的所有各种单独的应用和服务。计算设备210的用户可以与和一个或多个应用模块224相关联的图形用户界面交互，以使计算设备210执行功能。尽管图2中将应用模块224示出为包括搜索应用232和消息传递应用234、应用模块224，应用模块224的许多示例也可以存在并且包括健身应用、日历应用、个人助理或预测引擎、搜索应用、地图或导航应用、运输服务应用(例如公共汽车或火车跟踪应用)、社交媒体应用、游戏应用、电子邮件应用、聊天或消息传递应用、互联网浏览器应用或可以在计算设备210处执行的任何和所有其他应用。
键盘应用222可以包括图1的计算设备110的键盘应用122的所有功能，并且可以执行与键盘应用122类似的操作，用于提供具有集成搜索特征的图形键盘。键盘应用222可以包括各种子模块，诸如SM模块226、LM模块228和搜索模块230，其可以执行键盘应用222的功能。
SM模块226可以接收一个或多个触摸事件作为输入，并且输出可能代表一个或多个触摸事件的字符或字符序列，以及确定度或空间模型分数，所述确定度或空间模型分数指示该一个或多个字符以何种可能和以何精度限定触摸事件。换句话说，SM模块226可以将触摸事件推断为对键盘的一个或多个键的选择，并且可以基于对一个或多个键的选择来输出字符或字符序列。
当键盘应用222以与搜索模式相反的文本录入模式操作时，LM模块228可以接收字符或字符序列作为输入，并且输出一个或多个候选字符、单词或短语，该一个或多个候选字符、单词或短语被LM模块228从词典中识别为LM模块228作为针对给定语言场境(例如，书面语言中的句子)的输入接收的字符序列的潜在替换。键盘应用222可以使UI模块220在用户界面114的建议区域118B和/或118D处呈现一个或多个候选词。
计算设备210的词典可以包括书面语言词汇表(例如，字典)内的单词列表。例如，词典可以包括单词的数据库(例如，标准字典中的单词和/或由用户或计算设备210添加到词典的单词)。LM模块228可以在词典中执行字符串的查找，以识别包括字符串的部分或全部字符的一个或多个字母，单词和/或短语，例如，LM模块228可以将语言模型概率或相似系数(例如，Jaccard相似系数)指派到位于计算设备210的词典处的一个或多个候选词，所述一个或多个候选词包括与输入的字符或字符序列相同的字符中的至少一些。指派给一个或多个候选词中的每一个的语言模型概率指示，候选词通常被发现定位于在接收由LM模块228分析的当前字符序列之前和/或之后从由存在敏感输入组件204检测到的文本输入生成的单词序列(例如，句子)之后、之前和/或之内的确定度或似然程度。响应于确定一个或多个候选词，LM模块228可以从具有最高相似系数的词典数据储存器260A输出一个或多个候选词。
键盘应用222的搜索模块230可以代表键盘应用222执行集成的搜索功能。也就是说，当被调用时(例如，响应于计算设备210的用户选择用户界面114的可选元素218C)，键盘应用222可以在搜索模式下操作，其中键盘应用222使计算设备210能够从图形键盘118A内执行搜索功能。
当键盘应用222在搜索模式下操作时，搜索模块230可以接收字符或字符序列或其他信息作为输入，并输出搜索模块230基于输入识别的一个或多个查询建议。搜索模块230作为输入接收的信息可以包括字符或字符序列，并且在一些示例中还可以包括与用户正在使用的应用的当前状态有关的信息，以及其他信息，诸如来自依赖于键盘应用222的应用(例如，最近的文本、图片和地理定位数据等)的信息和与用户和计算设备210相关联的场境信息。搜索模块230可以使用该信息来生成一个或多个所建议的查询。键盘应用222可以使UI模块220在用户界面114的查询建议区域118D内呈现所建议的查询中的一个或多个。
在一些示例中，搜索模型230还可以依赖于计算设备210的当前场境来确定所建议的查询。如本文所使用的，当前场境指定在特定时间计算设备(诸如计算设备210)和计算设备的用户的物理和/或虚拟环境的特性。此外，术语“场境信息”用于描述计算设备可以使用来限定计算设备和计算设备的用户可以在特定的时间经历的虚拟和/或物理环境特性的任何信息。
场境信息的示例是众多的，并且可以包括：计算设备210的传感器(例如，位置传感器、加速度计、陀螺仪、气压计、环境光传感器、接近传感器、麦克风和任何其他传感器)获得的传感器信息、由计算设备210的通信模块发送和接收的通信信息(例如，基于文本的通信、可听通信、视频通信等)以及与在计算设备210处执行的应用相关联的应用使用信息(例如，与应用相关的应用数据、互联网搜索历史、文本通信、语音和视频通信、日历信息、社交媒体帖子和相关信息等)。场境信息的进一步示例包括从计算设备210外部的传送设备获得的信号和信息。
在一些示例中，计算设备210可以响应于不同类型的输入来发起搜索。例如，键盘应用222可以响应于在PSD 212在查询建议区域118D或其他地方呈现所建议的查询的位置处检测到用户输入来发起搜索。该输入通常可以与用户选择所显示的建议查询之一相对应。在另一示例中，键盘应用222在搜索模式下操作时可以响应于在PSD 212呈现图形键118A的位置处检测到用户输入(随后在PSD 212呈现“返回”或者“搜索”或“发送”键的位置处检测到输入)而发起搜索。这样的输入通常可以与用户使用图形键盘116B键入搜索查询，并且在不选择所建议的搜索查询的情况下点击“返回”相对应。
响应于检测到使计算设备210发起搜索的用户输入，键盘应用222内的搜索模块230可以调用搜索。键盘应用222可以使用多种不同技术中的任何一种来调用搜索。例如，键盘应用222可以通过向搜索应用232发送搜索查询的指示来调用搜索。在这样的示例中，键盘应用222可以从搜索应用232接收搜索结果。作为另一示例，键盘应用222可以通过至少执行对存储在计算设备处的内容的搜索来调用搜索，使得搜索结果仅包括存储在计算设备处的信息。存储在计算设备处的信息包括以下中的一个或多个：接触信息、图像信息、音频信息、视频信息、消息历史信息、搜索历史信息(例如，输入到计算设备的先前搜索查询、与计算设备相关联的用户在使用不同的计算设备的情况下输入的先前搜索查询等)、应用使用信息(例如使用量、使用时间、使用位置、使用模式等)、设备使用信息(例如使用量、使用时间、使用地点、使用模式等)等。
在各种情况下，键盘应用222可以通过使用由当前在计算设备210处执行的不同的应用提供的搜索功能来调用搜索。例如，如果该不同的应用提供当前正由计算设备210显示的图形用户界面的至少一部分，则可以将该不同的应用视为当前正在计算设备210处执行。作为另一个示例，如果该不同的应用的至少一部分驻留在计算设备210的易失性存储器中，那么该不同的应用可以被视为当前在计算设备210处执行。在某些情况下，键盘应用222可向该不同的应用提供信息(例如，所输入的字符、表情符号(emoji)、搜索结果等)。例如，如果消息传递应用234除了消息传递功能之外还包括搜索功能，则键盘应用222可以向消息传递应用234提供搜索查询的指示，并从消息传递应用234接收搜索结果。例如，在键盘应用222利用通过该不同的应用提供的搜索功能的情况下，键盘应用222可以通过向当前在计算设备处执行的该不同的应用发送搜索查询来调用搜索。在这种情况下，键盘应用222可以从该不同的应用接收搜索结果。
作为另一示例，键盘应用222可以通过向远程搜索系统发送至少搜索查询的指示来调用搜索。例如，远程搜索系统可以是数据库、服务器系统、基于云的计算系统或能够执行搜索信息的任何其他系统。术语“远程”指示搜索系统与计算设备210不同且不包括在计算设备210内，但是可以由计算设备210经由例如通信单元242达到。在键盘应用222通过向远程系统发送搜索查询的指示来调用搜索的情况下，键盘应用222可以从远程搜索系统接收搜索结果。
虽然被描述为键盘应用222调用搜索的不同方式，但是键盘应用可以使用上述技术的任何组合来用于调用搜索。例如，键盘应用可以在还向远程搜索系统发送搜索查询的指示的同时执行对存储在计算设备处的内容的搜索。在这样的示例中，搜索结果可以包括存储在计算设备210处的信息和/或从远程搜索系统接收到的搜索结果。在一些示例中，无论键盘如何调用搜索，如果搜索结果变得可用，则键盘应用222然后可以通过在用户界面114中显示搜索结果信息来使UI模块220向用户呈现搜索结果信息。
键盘应用222可以使UI模块220呈现搜索结果信息的一部分。例如，如果存在比由计算设备210可以同时显示的搜索结果更多的搜索结果，则键盘应用222可以选择要输出的搜索结果的一部分用于显示。为了选择要输出的搜索结果的一部分，键盘应用222可以基于一个或多个标准对搜索结果进行排名。例如，键盘应用222可以对搜索结果进行排名，使得较高排名的搜索结果被确定为相对于较低排名的搜索结果与计算设备210的当前场境更相关。作为另一示例，键盘应用222可以对搜索结果进行排名，使得较高排名的搜索结果相对于较低排名的搜索结果基于用户的搜索历史被确定为与计算设备220的用户更相关。
图3是图示出根据本公开的一个或多个技术的输出用于在远程设备处显示的图形内容的示例计算设备的框图。通常，图形内容可以包括可以输出用于显示的任何视觉信息，诸如文本、图像、一组运动图像，此处仅举几个例子。图3所示的示例包括计算设备310、PSD312、通信单元342、移动设备386和视觉显示组件390。在一些示例中，PSD312可以是如图1-2所述的存在敏感显示器。尽管为了在图1号2中的示例的目的而被示出为单独的计算设备110，诸如计算设备310的计算设备通常可以是包括用于执行软件指令的处理器或其他合适的计算环境的任何组件或系统，并且例如不需要包括存在敏感显示器。
如图3的示例中所示，计算设备310可以是包括关于图2中的处理器240所描述的功能的处理器。在这样的示例中，计算设备310可以通过通信信道362A可操作地耦合到PSD312，通信信道362A可以是系统总线或其他合适的连接。计算设备310还可以通过通信信道362B可操作地耦合到通信单元342，下面将进一步描述，通信信道362B也可以是系统总线或其他合适的连接。尽管独立地示出为图3中的示例，计算设备310可以通过任何数目的一个或多个通信信道可操作地耦合到PSD 312和通信单元342。
在其他示例中，诸如先前通过图1-2中的计算设备110所示，计算设备可以指诸如移动电话(包括智能电话)、膝上型计算机等的便携式或移动设备。在一些示例中，计算设备可以是台式计算机、平板计算机、智能电视平台、相机、个人数字助理(PDA)、服务器或主机。
PSD 312可以包括显示组件302和存在敏感输入组件304。例如，显示组件302可以从计算设备310接收数据并显示图形内容。在一些示例中，存在敏感输入组件304可以使用电容、电感和/或光学识别技术来确定PSD 312处的一个或多个用户输入(例如，连续手势、多点触摸手势、单触摸手势)，并使用通信信道362A向计算设备310发送这样的用户输入的指示。在一些示例中，存在敏感输入组件304可以物理地定位在显示组件302的顶部，使得当用户将输入单元定位在由显示组件302显示的图形元素上时，存在敏感输入组件304的位置与显示图形元素的显示组件302的位置相对应。
如图3所示，计算设备310还可以包括通信单元342和/或可操作地与通信单元342耦合。通信单元342可以包括如图2所描述的通信单元242的功能。通信单元342的示例可以包括网络接口卡、以太网卡、光收发器、射频收发器或可以发送和接收信息的任何其他类型的设备。这样的通信单元的其他示例可以包括蓝牙、3G和WiFi无线电、通用串行总线(USB)接口等。计算设备310还可以包括为了简洁和说明的目的而在图3中未示出的一个或多个其他设备(例如，输入设备、输出组件、存储器、存储设备)和/或可操作地与其耦合。
图3还图示出了移动设备386和视觉显示组件390。移动设备386和视觉显示组件390可以各自包括计算和连接能力。移动设备386的示例可以包括电子阅读器设备、可转换笔记本设备、混合平板设备等。视觉显示组件390的示例可以包括诸如电视机、计算机监视器等的其他设备。在一些示例中，视觉显示组件390可以是车辆驾驶舱显示器或导航显示器(例如，在汽车、飞机或其他车辆中)。在一些示例中，视觉显示组件390可以是家庭自动化显示器或与计算设备310分离的某种其他类型的显示器。
如图3所示，移动设备386可以包括存在敏感显示器388。视觉显示组件390可以包括存在敏感显示器392。存在敏感显示器388、392可以包括如本公开所述的存在敏感显示器112、212和/或312的功能的子集或所有功能。在一些示例中，存在敏感显示器388、392可以包括附加功能。在任何情况下，例如，存在敏感显示器392可以从计算设备310接收数据并显示图形内容。在一些示例中，存在敏感显示器392可以使用电容、电感和/或光学识别技术确定在投影仪屏幕上的一个或多个用户输入(例如，连续手势、多点触摸手势、单触摸手势)，并使用一个或多个通信单元向计算设备310发送这样的用户输入的指示。
如上所述，在一些示例中，计算设备310可以输出用于在PSD 312处显示的图形内容，PSD 312通过系统总线或其他合适的通信信道耦合到计算设备310。计算设备310还可以输出用于在一个或多个远程设备(诸如移动设备386)和视觉显示组件390处显示的图形内容。例如，计算设备310可以根据本公开的技术执行一个或多个指令来生成和/或修改图形内容。计算设备310可以将包括图形内容的数据输出到诸如通信单元342的计算设备310的通信单元。通信单元342可以将数据发送到诸如移动设备386的一个或多个远程设备和/或视觉显示组件390。以这种方式，计算设备310可以输出用于在一个或多个远程设备处显示的图形内容。在一些示例中，一个或多个远程设备可以在包括在和/或可操作地耦合到相应远程设备的存在敏感显示器处输出图形内容。
在一些示例中，计算设备310可能不会在可操作地耦合到计算设备310的PSD 312处输出图形内容。在其他示例中，计算设备310可输出图形内容以用于在通过通信通道362A耦合到计算设备310的PSD312以及一个或多个远程设备处显示。在这样的示例中，图形内容可以在每个相应的设备处基本上同时显示。在一些示例中，由计算设备310生成并输出以用于在PSD 312处显示的图形内容可以与用于在一个或多个远程设备处显示的图形内容显示输出不同。
计算设备310可以使用任何合适的通信技术来发送和接收数据。例如，计算设备310可以使用网络链路373A可操作地耦合到外部网络374。图3所示的每个远程设备可以通过相应的网络链路373B或373C中的一个可操作地耦合到网络外部网络374。外部网络374可以包括可操作地互连的网络集线器、网络交换机、网络路由器等，从而提供计算设备310与图3所示的远程设备之间的信息交换。在一些示例中，网络链路373A至373C可以是以太网、ATM或其他网络连接。这样的连接可以是无线和/或有线连接。
在一些示例中，计算设备310可以使用直接设备通信378可操作地耦合到图3中包括的一个或多个远程设备。直接设备通信378可以包括计算设备310通过其使用有线或无线通信与远程设备直接发送和接收数据的通信。也就是说，在直接设备通信378的一些示例中，计算设备310发送的数据在远程设备处被接收之前可能不被一个或多个附加设备转发，反之亦然。直接设备通信378的示例可以包括蓝牙、近场通信、通用串行总线、WiFi、红外线等。图3中示出的一个或多个远程设备可以通过通信链路376A至376C与计算设备310可操作地耦合。在一些示例中，通信链路376A至376C可以是使用蓝牙、近场通信、通用串行总线、红外线等的连接。这样的连接可以是无线和/或有线连接。
根据本公开的技术，计算设备310可以使用外部网络374可操作地耦合到视觉显示组件390。计算设备310可以输出用于在PSD 312处显示的图形键盘。例如，计算设备310可以发送包括图形键盘的表示的数据到通信单元342。通信单元342可以使用外部网络374将包括图形键盘的表示的数据发送到视觉显示组件390。视觉显示组件390响应于使用外部网络374接收到数据可能使得PSD 312输出图形键盘。响应于在PSD 312处接收到用户输入以选择键盘中的一个或多个键，视觉显示设备130可以使用外部网络374向计算设备310发送用户输入的指示。通信单元342可以接收用户输入的指示，并将所述指示发送到计算设备310。
计算设备310可以基于用户输入来选择一个或多个键或用户界面元素(例如，所建议或预测的搜索查询)。计算设备310可以基于对一个或多个键或用户界面元素的选择来确定搜索查询。在一些示例中，计算设备310可以向搜索系统发送搜索查询。响应于接收搜索查询，基于搜索查询，搜索系统可以确定至少一个搜索结果。搜索系统可以将至少搜索结果传送到可以接收至少一个搜索结果的计算设备310。计算设备310可以输出包括经更新的图形键盘的经更新的图形用户界面的表示，其中显示搜索结果的至少一部分(例如，一个搜索结果)，而不是图形键盘的至少一部分(例如，图形键盘的至少一个图形键)。通信单元342可以接收经更新的图形用户界面的表示，并且可以将表示发送到视觉显示组件390，使得视觉显示组件390可以使PSD 312输出经更新的图形键盘，其包括显示的搜索结果的至少一部分(例如，一个搜索结果)而不是图形键盘的至少一部分(例如图形键盘的至少一个图形键)。
图4是图示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的示例计算设备的示例图形用户界面414的概念图。然而，在其他实例中可以使用图形用户界面的许多其他示例。图形用户界面414可以与分别由图1和2的计算设备110或210显示的图形用户界面相对应。下面在计算设备110的场境中描述图4。
图形用户界面414包括图形键盘416B的视图，其中多个键的至少一部分(在该示例中，所有的键)已被响应于搜索查询返回的搜索结果的至少一部分所替代。图形用户界面414包括输出区域416A、文本编辑区域416C和图形键盘416B。图形键盘416B包括建议区域418B、搜索元素418C和搜索结果区域418D。在图4所示的视图中，建议区域418B被配置为显示输入搜索查询“Sandwich Place(三明治广场)”。
搜索结果区域418D响应于搜索查询显示由计算设备110接收的至少一个搜索结果的视觉表示。在一些示例中，至少一个搜索结果的视觉表示可以是基于卡的用户界面元素420A。基于卡的用户界面元素420A可以看起来类似于笔记卡，并且可以包括搜索结果中的特定搜索结果的视觉表示。例如，特定搜索结果的表示可以包括文本、图片或图标等中的至少一个。例如，基于卡的用户界面元素420A包括指示对于搜索查询的答复的文本。在图4中，指示对于搜索查询的答复的文本包括餐厅名称(“Sandwich Place”)、餐厅评级(5星)、评论的数目(“1,821”)、地址(“123Address Way”)、餐厅类型(“三明治”)和图像(诸如三明治广场的图片)。
基于卡的用户界面元素420A包括第一预定部分422A和第二预定部分422B。基于卡的用户界面元素420A的第一预定部分422A(第一搜索结果的视觉表示)可以包括特定搜索结果的内容的表示，诸如文本、与特定搜索结果相关联的图像、与特定搜索结果相关联的图标等。在图4中，指示对于搜索查询的答复的文本包括餐厅名称(“Sandwich Place”)、餐厅评级(5星)，评论数目(“1,821”)、地址(“123Address Way”)、餐厅类型(“三明治”)和图像(诸如三明治广场的图片)。
在一些示例中，键盘模块122可以被配置为基于从UI模块120接收的在PSD 112处的用户输入的指示(例如，触摸事件的指示)来确定对第一预定部分422A的选择。响应于确定对第一预定部分422A的选择，键盘模块122可以被配置为在没有进一步的用户输入的情况下自动地向UI模块120输出与搜索结果相关的信息的指示，并且使UI模块120在文本编辑区域416C中插入与搜索结果相关的信息。以这种方式，键盘模块122被配置为允许将来自搜索结果的信息向文本编辑区域416C的单手势输入，使得能够容易且有效地将来自搜索结果的信息录入到正在使用图形键盘416B输入文字的应用。
例如，与搜索结果相关的信息可以包括与所选择的搜索结果相关的文本信息。例如，如图4所示，与所选择的搜索结果相关的信息包括对于搜索查询的文本答复(“SandwichPlace 123Address Way”)。在图4的示例中，与所选择的搜索结果相关的信息还包括到提供到Sandwich Place的方向的网站的超链接，其可以允许计算设备110的用户或另一计算设备的用户(例如，图1中的“FRIEND(朋友)”)当文本编辑区域416C中的内容被提交到输出区域416A之后，选择该超链接来访问到Sandwich Place的方向。在其他示例中，与所选择的搜索结果相关的信息可以包括图像(诸如，Sandwich Place的图像)、图标等
基于卡的用户界面元素420A还包括第二预定部分422B，其与除图形键盘416B之外的应用执行的一个或多个动作相关联。例如，第二预定部分422B包括与相应动作相关联的多个用户界面元素(例如，图标、图像、文本等)，其当由用户选择时，使得UI模块120将触摸事件输出到另一个应用模块以执行所指示的相应动作。
在图4的示例中，用户界面元素包括电话图标424A、导航图标424B和转到图标424C。电话图标424A与打开电话应用和呼叫Sandwich Place(即，与搜索结果相关联的机构)的动作相关联。导航图标424B与打开导航或地图应用以及检索到Sandwich Place(即，与搜索结果相关联的机构)的方向的动作相关联。转到图标424C与打开与在基于卡的用户界面元素420A(诸如，从其检索在搜索结果中的信息的搜索应用或网站)中显示的搜索结果相关的新应用的动作相关联。
响应于从PSD 112接收到触摸事件，UI模块120或键盘模块122可以确定对第二预定部分422B中的图标424A至424C中的一个的选择，并且可以向相关联的应用发送对图标424A至424C中的一个图标的选择的指示，该相关联的应用可以执行与所选择的图标424A至424C之一相关联的动作。以这种方式，除了允许将与搜索结果有关的信息插入到对于其而言图形键盘416B是用于输入文本的应用中，键盘模块122也可以向用户呈现到由其他应用执行的动作的快捷方式。
在一些示例中，计算设备110可以响应于搜索查询从搜索系统接收多于一个的搜索结果。键盘模块122可以为搜索结果的每个相应搜索结果生成相应的基于卡的用户界面元素。在一些示例中，键盘模块122可以使搜索结果区域418D显示多于一个搜索结果(例如，多于一个基于卡的用户界面元素420A)。例如，如图4所示，键盘模块122可以使得搜索结果区域418D显示第一基于卡的用户界面元素420A和第二基于卡的用户界面元素420B的一部分。第二基于卡的用户界面元素420B的所述部分的显示可以向计算设备110的用户可视地指示存在附加搜索结果，并且可以通过导航到第二基于卡的用户界面元素420B来查看。例如，键盘模块122可以响应于基于触摸事件确定用户手势(例如，在图4中的从右到左的滑动)，使得UI模块120从基于卡的用户界面元素420A切换到第二基于卡的用户界面元素420B。这样，键盘模块122可以使用户能够在图形键盘116B的搜索结果区域418D内的搜索结果之间切换。在一些示例中，键盘模块122可以使用户能够使用向不同方向(例如，左和右)的滑动来在基于卡的用户界面元素之间切换，并且基于卡的用户界面元素可以概念地布置在轮播(carousel)中。
图5是图示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的计算设备的示例操作的流程图。图5的操作可由诸如图1的计算设备110或图2的计算设备210计算设备的一个或多个处理器执行。为了说明的目的，下面在图1的计算设备110的场境中描述图5。
在操作中，计算设备110的键盘应用122可以输出包括多个键118A和搜索元素118C的图形键盘116B(500)。在各种情况下，图形键盘116B还可以包括建议区域118B、查询建议区域118D和/或搜索结果区域。在一些示例中，图形键盘116B可以是在计算设备110处执行的不同的应用的图形用户界面的一部分(例如，图形用户界面114的一部分)。也就是说，计算设备110的PSD 112可以为包括由键盘应用122输出的图形键盘116B的应用(诸如消息传递应用)显示图形用户界面114。
键盘应用122可以接收对包括在图形键盘116B内的搜索元素118C的选择的指示(502)。例如，用户可以在与搜索元素116C相关联的PSD 112的位置处提供输入。UI模块120可以向键盘应用122提供对搜索元素118C的选择的指示。
键盘应用122响应于接收到对搜索元素的选择的指示，可以输出包括一个或多个所建议的搜索查询的查询建议区域118D以供在图形键盘116B内显示(504)。键盘应用122可以基于计算设备110的场境、与计算设备110相关联的用户的搜索历史、在计算设备110处提供的文本输入(例如，如在用户界面114的文本编辑区域116C内显示的)、建议区域118B内包括的所建议查询、建议区域118B内的所建议单词等来确定作为一个或多个所建议的搜索查询要包括哪些查询。
键盘应用122可以基于由计算设备检测到的用户输入的指示来确定搜索查询(506)。例如，用户可以选择包括在查询建议区域118D内的所建议的搜索查询，可以从多个键118A中选择一个或多个键作为文本查询，或者说出短语作为查询。在用户选择所建议的搜索查询的情况下，键盘应用122确定所选择的搜索查询是搜索查询。在用户经由选择多个键118A的一部分提供查询或提供语音输入的情况下，键盘应用122基于所选择的键或语音输入来确定搜索查询。
一旦键盘应用122确定搜索查询，键盘应用122可以基于搜索查询来调用搜索(508)。为了调用搜索，键盘应用122可以直接执行搜索、请求安装在计算设备110处的搜索应用执行搜索、请求包括搜索功能的不同的应用执行搜索、请求远程搜索系统执行搜索、或其任何组合。在各种情况下，用户可以控制键盘应用122是否可以请求不同的应用，或者远程搜索系统执行搜索以限制特定搜索查询的分发。
无论键盘应用122如何调用搜索，响应于调用搜索，键盘应用122接收搜索结果(510)。可以从计算设备110本地的数据库或其他数据存储器接收搜索结果(例如，在键盘应用122执行对本地信息的搜索的情况下)，从在计算设备110处执行的不同的应用、从远程搜索接收系统或从其任何组合接收。
键盘应用122可以输出至少一部分搜索结果的图形指示用于在图形键盘116B内显示并代替多个键118A的至少一部分的(512)。在一些示例中，至少一个搜索结果的图形指示可以是基于卡的用户界面元素，其可以看起来类似于笔记卡，并且可以包括搜索结果中的特定搜索结果的视觉表示。键盘模块122可以使用户能够使用向不同方向(例如，左右)进行滑动而在基于卡的用户界面元素之间切换，并且基于卡的用户界面元素可以概念地被布置在轮播中。
以下编号的条款可以图示出本公开的一个或多个方面：
示例1.一种方法，包括：通过在计算设备处执行的键盘应用来输出用于显示的包括多个键和搜索元素的图形键盘；通过键盘应用接收对搜索元素的选择的指示；并且响应于接收到对搜索元素的选择的指示，通过键盘应用输出包括一个或多个所建议的搜索查询的查询建议区域以在图形键盘内显示；通过键盘应用基于由计算设备检测到的用户输入的指示来确定搜索查询；由键盘应用基于搜索查询调用搜索；响应于调用搜索，通过键盘应用接收搜索结果，并且通过键盘应用输出所述搜索结果的至少一部分的图形指示以在图形键盘内显示并且代替多个键的至少一部分。
示例2.根据示例1所述的方法，其中：调用所述搜索包括通过键盘应用向能够由所述计算设备执行的搜索应用发送所述搜索查询的指示，以及，所述搜索结果是从所述搜索应用接收的。
示例3.根据示例1-2中任一项所述的方法，其中：调用所述搜索包括通过所述键盘应用执行对存储在所述计算设备处的内容的搜索，并且所述搜索结果仅包括存储在计算设备处的信息。
示例4.根据示例3所述的方法，其中存储在计算设备处的信息包括接触信息、图像信息、音频信息、视频信息、消息历史信息、搜索历史信息、应用使用信息或设备使用信息。
示例5.根据示例1-4中任一项所述的方法，进一步包括：在执行所述键盘应用时，由所述计算设备执行不同的应用，其中当前在所述计算设备处执行的所述不同的应用输出当前显示的图形用户界面的至少一部分，其中，所述不同的应用包括搜索功能，并且其中，所述键盘应用向所述不同的应用提供信息用于在所述图形用户界面内显示，其中，调用所述搜索包括通过所述键盘应用向当前在所述计算设备上执行的所述不同的应用发送所述搜索查询，并且其中，所述搜索结果是由所述键盘应用从所述不同的应用接收的。
示例6.根据示例1-5中任一项所述的方法，其中：调用搜索包括将搜索查询的指示发送到远程搜索系统，以及所述搜索结果是从所述远程搜索系统接收的。
示例7，根据示例1-6中任一项所述的方法，其中调用所述搜索包括：由所述键盘应用执行对存储在所述计算设备处的内容的搜索；以及向远程搜索系统发送搜索查询的指示，并且其中所述搜索结果的至少一部分是从所述远程搜索系统接收的。
示例8.根据示例7所述的方法，进一步包括：通过所述键盘应用将搜索结果排名；并且通过所述键盘应用基于所述排名来选择搜索结果中要输出的部分。
示例9.根据示例1-8中任一项所述的方法，进一步包括：通过所述键盘应用接收对来自所述搜索结果的特定搜索结果的用户输入选择的指示；并且通过键盘应用来更新图形键盘以包括所述图形键盘的文本编辑区域内的所述特定搜索结果的指示以供显示。
示例10.根据示例1-9中任一项所述的方法，进一步包括：通过所述键盘应用接收在所述图形键盘内显示的所述搜索结果的所述部分内启动的滑动手势的指示；并且通过所述图形键盘输出所述搜索结果的不同部分的图形指示，以在图形键盘内显示并代替先前所显示的搜索结果的部分。
示例11.根据示例1-10中任一项所述的方法，其中由所述计算设备检测到的所述用户输入包括对所述多个键中的一个或多个键的选择，并且其中确定所述搜索查询包括基于对一个或多个键的选择来确定所述搜索查询。
示例12.根据示例1-11中任一项所述的方法，其中：由所述计算设备检测到的所述用户输入包括对在所述查询建议区域中包括的所述一个或多个所建议的搜索查询中的一个进行选择，并且所述搜索查询是由用户输入选择的一个或多个所建议的搜索查询之一。
示例13.根据示例1-12中任一项所述的方法，进一步包括：通过所述键盘应用，基于以下中的一个或多个来确定所述一个或多个所建议的查询：与所述计算设备相关联的用户的搜索历史、当前消息对话或计算设备的当前场境。
示例14.根据示例1-13中任一项所述的方法，进一步包括：在接收到对所述搜索元素的选择之前：由所述键盘应用且基于对所述多个键中的一个或多个键的先前选择确定所建议的查询；并且通过键盘应用在图形键盘的建议区域中输出所建议的查询用于显示。
示例15.根据示例14所述的方法，进一步包括：在接收到对所述搜索元素的选择的指示之后，通过键盘应用输出作为在查询建议区域中包括的一个或多个所建议查询之一的所建议的查询用于显示。
示例16.根据示例1-15中任一项的方法，其中所述键盘应用是从在线应用商店下载的。
示例17.根据示例1-16中任一项所述的方法，其中：所述键盘应用作为对当前在所述计算设备处执行的不同的应用的扩展执行，并且输出所述图形键盘以在所述不同的应用的图形用户界面内显示。
示例18.一种计算设备，包括：一个或多个处理器；存储包括键盘应用的一个或多个应用的存储器；以及，存在敏感显示器，其中，所述一个或多个处理器执行键盘应用以：输出用于由存在敏感显示器显示的包括多个键和搜索元素的图形键盘；接收对搜索元素的选择的指示；响应于接收到对搜索元素的指示的选择，输出包括一个或多个建议的搜索查询的查询建议区域用于由存在敏感显示器在图形键盘内显示；基于由计算设备检测到的用户输入的指示来确定搜索查询；基于搜索查询来调用搜索；响应于调用搜索，接收搜索结果；并且输出搜索结果的至少一部分的图形指示，以用于由存在敏感显示器在图形键盘内显示并代替多个键的至少一部分。
示例19.根据示例18所述的计算设备，其中所述一个或多个处理器在接收到对搜索元素的选择之前执行键盘应用：基于对多个键中的一个或多个键的先前选择来确定所建议的查询；并在所述图形键盘的建议区域中输出所建议的查询用于由存在敏感显示器显示。
示例20.根据示例19所述的计算设备，其中所述一个或多个处理器执行所述键盘应用，以在接收到对所述搜索元素的选择的指示后：输出作为查询建议区域中包括的一个或多个所建议查询之一的所建议查询，以由所述存在敏感显示器显示。
示例21.一种编码有指令的计算机可读存储介质，所述指令在被执行时使得计算设备的一个或多个处理器：输出包括多个键和搜索元素的图形键盘用于显示；接收对搜索元素的选择的指示；响应于接收到对搜索元素的选择的指示，输出包括一个或多个所建议的搜索查询的查询建议区域以在图形键盘内显示；基于由计算设备检测到的用户输入的指示来确定搜索查询；基于搜索查询调用搜索；响应于调用搜索，接收搜索结果；并且输出所述搜索结果的至少一部分的图形指示以在图形键盘内显示并且代替多个键的至少一部分。
示例22.一种包括用于执行示例1-17的任何方法的装置的系统。
示例23.一种计算设备，包括用于执行示例1-17的任何方法的装置。
示例24.一种包括用于执行示例1-17的任何方法的装置的计算机可读存储介质。
在整个本公开中，描述了示例，其中，只有当计算设备从计算设备的用户接收到分析信息的许可时，计算设备和/或计算系统才分析与计算设备和计算设备的用户相关联的信息(例如，场境、位置、速度、搜索查询等)的示例。例如，在下面讨论的情况下，在计算设备或计算系统可以收集或可以利用与用户相关联的信息之前，可以向用户提供机会以提供输入以控制计算设备和/或计算系统的程序或特征可以收集和使用用户信息(例如，与用户的当前位置、当前速度等相关的信息)，或者指示设备和/或系统是否和/或如何接收可能是与用户相关的内容。此外，在计算设备和/或计算系统存储或使用某些数据之前，可以以一种或多种方式处理该某些数据，从而消移除个人可识别信息。例如，可以对用户的身份进行处理，使得不能确定关于用户的个人可识别信息，或者在获得位置信息(诸如城市、邮政编码或州级别)的情况下，可以泛化用户的地理位置，使得不能确定用户的特定位置。因此，用户可以控制如何收集与用户有关的信息和该信息如何由计算设备和计算系统使用。
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则功能可以作为一个或多个指令或代码被存储在计算机可读介质上或通过计算机可读介质传送，并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其与诸如数据存储介质的有形介质相对应，或包括有助于例如根据通信协议将计算机程序从一个地方传递到另一个地方的任何介质的通信介质。以这种方式，计算机可读介质通常可以与以下各项相对应：(1)有形的计算机可读存储介质，其是非暂时的，或(2)诸如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、闪存或可以用于以指令或数据结构的形式存储所需程序代码并且可由计算机访问的任何其他介质。而且，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(诸如红外线、无线电和微波)从网站、服务器或其他远程源传送指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外线、无线电和微波)都包含在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它暂时性介质，而是涉及非暂时性有形存储介质。所使用的磁盘和光盘包括致密盘(CD)、激光盘、光盘、数字通用光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式重新产生数据，而光盘利用激光光学地重新产生数据。上述的组合也应包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，所述处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等同的集成或离散逻辑电路。因此，所使用的术语“处理器”可以指适于实现所述技术的任何前述结构或任何其他结构。此外，在一些方面，可以在专用硬件和/或软件模块内提供所描述的功能。而且，这些技术可以在一个或多个电路或逻辑元件中充分实现。
本公开的技术可以在包括无线手机、集成电路(IC)或IC的集合(例如，芯片集)的各种设备或装置中实现。本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开技术的设备的功能方面，但不一定需要由不同的硬件单元实现。相反，如上所述，各种单元可以被组合在硬件单元中，或者由包括如上所述的一个或多个处理器的互操作的硬件单元的集合结合合适的软件和/或固件来提供。
已经描述了各种示例。这些和其它示例在所附权利要求的范围内。

Claims (14)

1.一种方法，包括：
通过在计算设备处执行的键盘应用来输出用于显示的包括多个键的图形键盘；
通过所述键盘应用接收对来自所述多个键的一个或多个键的选择的指示；
通过所述键盘应用接收对由所述键盘应用在所述图形键盘内输出的搜索元素的选择的指示；
响应于接收到对所述搜索元素的所述选择的所述指示：
通过所述键盘应用根据基于对所述一个或多个键的所述选择确定的搜索查询来调用搜索；
响应于调用所述搜索，通过所述键盘应用接收搜索结果；以及
通过所述键盘应用输出用于在所述图形键盘内显示的所述搜索结果的至少一部分的图形指示以及查询建议区域，所述查询建议区域包括基于对所述一个或多个键的所述选择确定的一个或多个所建议的搜索查询，其中所述搜索结果的所述至少一部分的所述图形指示被输出以代替所述多个键的至少一部分。
2.根据权利要求1所述的方法，其中：
调用所述搜索包括通过所述键盘应用向能够由所述计算设备执行的搜索应用发送所述搜索查询的指示，以及
所述搜索结果是从所述搜索应用接收的。
3.根据权利要求1所述的方法，其中：
调用所述搜索包括由所述键盘应用执行对存储在所述计算设备处的内容的搜索，以及
所述搜索结果仅包括存储在所述计算设备处的信息。
4.根据权利要求1所述的方法，进一步包括：
在执行所述键盘应用时，由所述计算设备执行不同的应用，其中当前在所述计算设备处执行的所述不同的应用输出当前显示的图形用户界面的至少一部分，其中，所述不同的应用包括搜索功能，并且其中，所述键盘应用向所述不同的应用提供信息用于在所述图形用户界面内显示，
其中，调用所述搜索包括通过所述键盘应用向当前在所述计算设备处执行的所述不同的应用发送所述搜索查询，以及
其中，所述搜索结果是由所述键盘应用从所述不同的应用接收的。
5.根据权利要求1所述的方法，其中：
调用所述搜索包括将所述搜索查询的指示发送到远程搜索系统，以及
所述搜索结果是从所述远程搜索系统接收的。
6.根据权利要求1所述的方法，
其中调用所述搜索包括：
由所述键盘应用执行对存储在所述计算设备处的内容的搜索；以及
向远程搜索系统发送所述搜索查询的指示，以及
其中所述搜索结果的至少一部分是从所述远程搜索系统接收的。
7.根据权利要求6所述的方法，进一步包括：
通过所述键盘应用将搜索结果排名；以及
通过所述键盘应用基于所述排名来选择要输出的所述搜索结果的所述部分。
8.根据权利要求1-7中任一项所述的方法，进一步包括：
通过所述键盘应用接收对来自所述搜索结果的特定搜索结果的用户输入选择的指示；以及
通过所述键盘应用来更新所述图形键盘以包括所述图形键盘的文本编辑区域内的所述特定搜索结果的指示以供显示。
9.根据权利要求1-7中任一项所述的方法，进一步包括：
通过所述键盘应用接收在所述图形键盘内显示的所述搜索结果的所述部分内启动的滑动手势的指示；以及
通过所述图形键盘输出所述搜索结果的不同部分的图形指示，以在所述图形键盘内显示并代替先前所显示的搜索结果的所述部分。
10.根据权利要求1-7中任一项所述的方法，进一步包括：
通过所述键盘应用接收由所述计算设备检测到的用户输入的指示，所述用户输入选择由所述查询建议区域中包括的所述一个或多个所建议的搜索查询之一，以及
通过所述键盘应用基于由所述用户输入选择的所述一个或多个所建议的搜索查询来调用不同的搜索。
11.根据权利要求1-7中任一项所述的方法，进一步包括：
通过所述键盘应用，基于以下中的一个或多个来确定所述一个或多个所建议的查询：与所述计算设备相关联的用户的搜索历史、当前消息对话或所述计算设备的当前场境；以及
通过所述图形键盘应用在所述查询建议区域内输出所述一个或多个所建议的查询中的至少一个。
12.根据权利要求1-7中任一项所述的方法，进一步包括：
在接收到对所述搜索元素的所述选择的所述指示之后，通过所述键盘应用输出所建议的查询作为所述查询建议区域中包括的所述一个或多个所建议的查询之一以供显示。
13.根据权利要求1-7中任一项所述的方法，其中：
所述键盘应用作为对当前在所述计算设备处执行的不同的应用的扩展而执行，以及
所述图形键盘被输出用于在所述不同的应用的图形用户界面内显示。
14.一种计算设备，包括用于执行权利要求1-13中所述的方法中任一项的装置。
CN201710262085.4A 2016-04-20 2017-04-20 具有集成搜索的图形键盘应用 Pending CN107305493A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/134,319 2016-04-20
US15/134,319 US10140017B2 (en) 2016-04-20 2016-04-20 Graphical keyboard application with integrated search

Publications (1)

Publication Number Publication Date
CN107305493A true CN107305493A (zh) 2017-10-31

Family

ID=57794388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710262085.4A Pending CN107305493A (zh) 2016-04-20 2017-04-20 具有集成搜索的图形键盘应用

Country Status (5)

Country Link
US (2) US10140017B2 (zh)
CN (1) CN107305493A (zh)
DE (2) DE102017108324A1 (zh)
GB (1) GB2551253A (zh)
WO (1) WO2017184212A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763428A (zh) * 2018-05-24 2018-11-06 合肥亿腾工程咨询有限公司 一种基于搜索引擎的信息技术咨询系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3414650B1 (en) 2016-02-11 2022-03-30 Hyperkey, Inc. Social keyboard
US9939962B2 (en) * 2016-02-11 2018-04-10 Hyperkey, Inc. Enhanced keyboard including multiple application execution
US10976923B2 (en) 2016-02-11 2021-04-13 Hyperkey, Inc. Enhanced virtual keyboard
US10140017B2 (en) 2016-04-20 2018-11-27 Google Llc Graphical keyboard application with integrated search
US10305828B2 (en) 2016-04-20 2019-05-28 Google Llc Search query predictions by a keyboard
US10078673B2 (en) 2016-04-20 2018-09-18 Google Llc Determining graphical elements associated with text
US10222957B2 (en) 2016-04-20 2019-03-05 Google Llc Keyboard with a suggested search query region
US9965530B2 (en) 2016-04-20 2018-05-08 Google Llc Graphical keyboard with integrated search features
US10409488B2 (en) * 2016-06-13 2019-09-10 Microsoft Technology Licensing, Llc Intelligent virtual keyboards
US10664157B2 (en) 2016-08-03 2020-05-26 Google Llc Image search query predictions by a keyboard
US10409487B2 (en) * 2016-08-23 2019-09-10 Microsoft Technology Licensing, Llc Application processing based on gesture input
US20180101599A1 (en) * 2016-10-08 2018-04-12 Microsoft Technology Licensing, Llc Interactive context-based text completions
JP7005932B2 (ja) * 2017-04-28 2022-01-24 富士通株式会社 検索プログラム、検索装置及び検索方法
US10482504B2 (en) * 2017-08-24 2019-11-19 William McMichael Systems and methods for analyzing input data and presenting information
KR102355152B1 (ko) 2017-12-21 2022-01-25 삼성전자주식회사 콘텐트 검색을 위한 방법 및 그 전자 장치
WO2019212267A1 (en) * 2018-05-02 2019-11-07 Samsung Electronics Co., Ltd. Contextual recommendation
US11714955B2 (en) 2018-08-22 2023-08-01 Microstrategy Incorporated Dynamic document annotations
US11815936B2 (en) 2018-08-22 2023-11-14 Microstrategy Incorporated Providing contextually-relevant database content based on calendar data
US11682390B2 (en) 2019-02-06 2023-06-20 Microstrategy Incorporated Interactive interface for analytics
JP7263857B2 (ja) * 2019-03-14 2023-04-25 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム
US11347756B2 (en) 2019-08-26 2022-05-31 Microsoft Technology Licensing, Llc Deep command search within and across applications
US11379529B2 (en) 2019-09-09 2022-07-05 Microsoft Technology Licensing, Llc Composing rich content messages
US11853649B2 (en) * 2019-10-15 2023-12-26 Google Llc Voice-controlled entry of content into graphical user interfaces
US11561968B2 (en) * 2020-02-20 2023-01-24 Microstrategy Incorporated Systems and methods for retrieving relevant information content while typing
US11900046B2 (en) * 2020-08-07 2024-02-13 Microsoft Technology Licensing, Llc Intelligent feature identification and presentation
US11853381B2 (en) * 2020-11-13 2023-12-26 Google Llc Hybrid fetching using a on-device cache
US20220284050A1 (en) * 2021-03-03 2022-09-08 Kindred Soul Ltd. Method and system for retrieving coupons and surveys on a mobile device
US11790107B1 (en) 2022-11-03 2023-10-17 Vignet Incorporated Data sharing platform for researchers conducting clinical trials

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070088686A1 (en) * 2005-10-14 2007-04-19 Microsoft Corporation Search results injected into client applications
CN101183281A (zh) * 2007-12-26 2008-05-21 腾讯科技（深圳）有限公司 一种输入法中候选词的相关词输入的方法及系统
CN101329674A (zh) * 2007-06-18 2008-12-24 北京搜狗科技发展有限公司 一种提供个性化搜索的系统和方法
CN101571758A (zh) * 2009-06-04 2009-11-04 腾讯科技（深圳）有限公司 一种输入法系统、方法和装置
CN101593073A (zh) * 2009-07-10 2009-12-02 张向阳 一种集成在输入法中的广告呈现设备
CN101661490A (zh) * 2008-08-28 2010-03-03 国际商业机器公司 搜索引擎、其客户端及搜索网页的方法
CN102346557A (zh) * 2010-07-28 2012-02-08 腾讯科技（深圳）有限公司 一种输入法和输入法系统
CN102567433A (zh) * 2010-12-07 2012-07-11 中国电信股份有限公司 基于输入法的处理方法、装置和移动终端
CN103309460A (zh) * 2013-05-09 2013-09-18 靳友鹏 一种将文字输入法与搜索引擎融合使用的方法
US20140223372A1 (en) * 2013-02-04 2014-08-07 602531 British Columbia Ltd. Method, system, and apparatus for executing an action related to user selection
CN104133815A (zh) * 2013-05-02 2014-11-05 张岩 输入和搜索的方法及系统
CN104350449A (zh) * 2012-04-06 2015-02-11 谷歌公司 智能用户定制图形键盘
CN104503995A (zh) * 2014-12-04 2015-04-08 百度在线网络技术（北京）有限公司 输入法的实现方法和装置
CN104699744A (zh) * 2014-12-04 2015-06-10 百度在线网络技术（北京）有限公司 信息搜索方法及装置
CN105095426A (zh) * 2015-07-17 2015-11-25 百度在线网络技术（北京）有限公司 搜索结果处理方法及装置
CN105204617A (zh) * 2007-04-11 2015-12-30 谷歌股份有限公司 用于输入法编辑器集成的方法和系统
CN105224099A (zh) * 2015-09-17 2016-01-06 广州市久邦数码科技有限公司 一种基于输入法的搜索方法及其系统
US20160006856A1 (en) * 2014-07-07 2016-01-07 Verizon Patent And Licensing Inc. Messaging application with in-application search functionality
CN105308551A (zh) * 2013-05-31 2016-02-03 谷歌公司 用于连续手势输入的多图形键盘
CN105335415A (zh) * 2014-08-04 2016-02-17 北京搜狗科技发展有限公司 基于输入预测的搜索方法和输入法系统

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104397A (en) 1997-06-30 2000-08-15 Sun Microsystems, Inc. Method and system for generating improved progress indicators
US7599847B2 (en) 2000-06-09 2009-10-06 Airport America Automated internet based interactive travel planning and management system
US20090006543A1 (en) 2001-08-20 2009-01-01 Masterobjects System and method for asynchronous retrieval of information based on incremental user input
US7363295B2 (en) 2004-04-19 2008-04-22 Yahoo! Inc. Techniques for inline searching in an instant messenger environment
US8028250B2 (en) 2004-08-31 2011-09-27 Microsoft Corporation User interface having a carousel view for representing structured data
US7788248B2 (en) 2005-03-08 2010-08-31 Apple Inc. Immediate search feedback
US7590699B2 (en) 2005-06-23 2009-09-15 Microsoft Corporation Instant messaging with built-in search
US7925716B2 (en) 2005-12-05 2011-04-12 Yahoo! Inc. Facilitating retrieval of information within a messaging environment
US20070300177A1 (en) 2006-06-23 2007-12-27 Microsoft Corporation User interface for specifying multi-valued properties
WO2008011454A2 (en) 2006-07-18 2008-01-24 Chacha Search, Inc. Anonymous search system using human searchers
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US20080201434A1 (en) 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
US20080244446A1 (en) 2007-03-29 2008-10-02 Lefevre John Disambiguation of icons and other media in text-based applications
US8745018B1 (en) * 2008-07-10 2014-06-03 Google Inc. Search application and web browser interaction
CN101876878A (zh) 2009-04-29 2010-11-03 深圳富泰宏精密工业有限公司 单词预测输入系统及方法
US9367216B2 (en) 2009-05-21 2016-06-14 Sony Interactive Entertainment Inc. Hand-held device with two-finger touch triggered selection and transformation of active elements
EP2312427B1 (en) 2009-10-13 2013-09-18 BlackBerry Limited User interface for a touchscreen display
US20110112824A1 (en) 2009-11-06 2011-05-12 Craig Peter Sayers Determining at least one category path for identifying input text
US20110191321A1 (en) 2010-02-01 2011-08-04 Microsoft Corporation Contextual display advertisements for a webpage
US9129012B2 (en) 2010-02-03 2015-09-08 Google Inc. Information search system with real-time feedback
US8650210B1 (en) 2010-02-09 2014-02-11 Google Inc. Identifying non-search actions based on a search query
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US8621379B2 (en) 2010-03-12 2013-12-31 Apple Inc. Device, method, and graphical user interface for creating and using duplicate virtual keys
US9483175B2 (en) 2010-07-26 2016-11-01 Apple Inc. Device, method, and graphical user interface for navigating through a hierarchy
US8918734B2 (en) 2010-07-28 2014-12-23 Nuance Communications, Inc. Reduced keyboard with prediction solutions when input is a partial sliding trajectory
AU2011291549B2 (en) 2010-08-19 2015-03-19 Google Llc Predictive query completion and predictive search results
WO2012048087A2 (en) 2010-10-06 2012-04-12 Citrix Systems, Inc. Mediating resource access based on a physical location of a mobile device
US10346479B2 (en) 2010-11-16 2019-07-09 Microsoft Technology Licensing, Llc Facilitating interaction with system level search user interface
US8515984B2 (en) 2010-11-16 2013-08-20 Microsoft Corporation Extensible search term suggestion engine
KR20130143697A (ko) 2010-11-20 2013-12-31 뉘앙스 커뮤니케이션즈, 인코포레이티드 상황 키보드를 이용한 컴퓨팅 장치 상에서의 액션 수행
US9104992B2 (en) 2010-12-17 2015-08-11 Microsoft Technology Licensing, Llc Business application publication
US9111238B2 (en) 2010-12-17 2015-08-18 Microsoft Technology Licensing, Llc Data feed having customizable analytic and visual behavior
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US20120256840A1 (en) 2011-04-10 2012-10-11 Mahmoud Razzaghi Virtual keyboard
US9176944B1 (en) 2011-08-23 2015-11-03 Google Inc. Selectively processing user input
CN102955658B (zh) 2011-08-25 2017-03-22 腾讯科技（深圳）有限公司 交互界面中的页面切换方法及装置
EP2766801A4 (en) 2011-10-13 2015-04-22 Lg Electronics Inc INPUT INTERFACE CONTROL APPARATUS AND METHOD THEREOF
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US8914451B2 (en) 2012-02-17 2014-12-16 Blackberry Limited Electronic device configured with messaging composition interface
US9310888B2 (en) 2012-03-16 2016-04-12 Microsoft Technology Licensing, Llc Multimodal layout and rendering
US9685160B2 (en) 2012-04-16 2017-06-20 Htc Corporation Method for offering suggestion during conversation, electronic device using the same, and non-transitory storage medium
US20130285916A1 (en) 2012-04-30 2013-10-31 Research In Motion Limited Touchscreen keyboard providing word predictions at locations in association with candidate letters
US9460237B2 (en) 2012-05-08 2016-10-04 24/7 Customer, Inc. Predictive 411
US8484573B1 (en) 2012-05-23 2013-07-09 Google Inc. Predictive virtual keyboard
US9582146B2 (en) 2012-05-29 2017-02-28 Nokia Technologies Oy Causing display of search results
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
US20140115070A1 (en) 2012-10-22 2014-04-24 Nokia Corporation Apparatus and associated methods
US9305114B2 (en) 2012-12-17 2016-04-05 Microsoft Technology Licensing, Llc Building long search queries
WO2014139120A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Search intent preview, disambiguation, and refinement
US20140282203A1 (en) 2013-03-15 2014-09-18 Research In Motion Limited System and method for predictive text input
US9529856B2 (en) 2013-06-03 2016-12-27 Google Inc. Query suggestion templates
US9613132B2 (en) 2013-06-28 2017-04-04 Yandex Europe Ag Method of and system for displaying a plurality of user-selectable refinements to a search query
US20150100537A1 (en) 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US9461945B2 (en) 2013-10-18 2016-10-04 Jeffrey P. Phillips Automated messaging response
KR102157264B1 (ko) 2013-10-30 2020-09-17 삼성전자주식회사 디스플레이 장치 및 그 ui 제공 방법
KR20150081181A (ko) 2014-01-03 2015-07-13 삼성전자주식회사 디스플레이 장치 및 이의 추천 문자 제공 방법
KR102225031B1 (ko) 2014-01-14 2021-03-09 엘지전자 주식회사 단말기 및 그 동작 방법
US10050926B2 (en) 2014-02-05 2018-08-14 Facebook, Inc. Ideograms based on sentiment analysis
US20150242086A1 (en) 2014-02-21 2015-08-27 Markport Limited Drag and drop event system and method
US9471570B2 (en) 2014-04-30 2016-10-18 Excalibur Ip, Llc Method and system for user selection of query suggestions
KR20150126213A (ko) 2014-05-02 2015-11-11 삼성전자주식회사 정보 검색 시스템 및 방법
KR102177607B1 (ko) 2014-05-16 2020-11-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9671956B2 (en) 2014-06-18 2017-06-06 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Presenting search term suggestions on graphical user interfaces
US9043196B1 (en) 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US20160034977A1 (en) 2014-08-01 2016-02-04 Yahoo! Inc. System and method for embedded search within messaging applications
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US10275152B2 (en) 2014-10-28 2019-04-30 Idelan, Inc. Advanced methods and systems for text input error correction
US20160224524A1 (en) 2015-02-03 2016-08-04 Nuance Communications, Inc. User generated short phrases for auto-filling, automatically collected during normal text use
US10547571B2 (en) 2015-05-06 2020-01-28 Kakao Corp. Message service providing method for message service linked to search service and message server and user terminal to perform the method
US10496275B2 (en) * 2015-10-12 2019-12-03 Microsoft Technology Licensing, Llc Multi-window keyboard
US9965530B2 (en) 2016-04-20 2018-05-08 Google Llc Graphical keyboard with integrated search features
US10305828B2 (en) 2016-04-20 2019-05-28 Google Llc Search query predictions by a keyboard
US10078673B2 (en) 2016-04-20 2018-09-18 Google Llc Determining graphical elements associated with text
US10222957B2 (en) 2016-04-20 2019-03-05 Google Llc Keyboard with a suggested search query region
US10140017B2 (en) 2016-04-20 2018-11-27 Google Llc Graphical keyboard application with integrated search

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101283356A (zh) * 2005-10-14 2008-10-08 微软公司 注入到客户机应用程序的搜索结果
US20070088686A1 (en) * 2005-10-14 2007-04-19 Microsoft Corporation Search results injected into client applications
CN105204617A (zh) * 2007-04-11 2015-12-30 谷歌股份有限公司 用于输入法编辑器集成的方法和系统
CN101329674A (zh) * 2007-06-18 2008-12-24 北京搜狗科技发展有限公司 一种提供个性化搜索的系统和方法
CN101183281A (zh) * 2007-12-26 2008-05-21 腾讯科技（深圳）有限公司 一种输入法中候选词的相关词输入的方法及系统
CN101661490A (zh) * 2008-08-28 2010-03-03 国际商业机器公司 搜索引擎、其客户端及搜索网页的方法
CN101571758A (zh) * 2009-06-04 2009-11-04 腾讯科技（深圳）有限公司 一种输入法系统、方法和装置
CN101593073A (zh) * 2009-07-10 2009-12-02 张向阳 一种集成在输入法中的广告呈现设备
CN102346557A (zh) * 2010-07-28 2012-02-08 腾讯科技（深圳）有限公司 一种输入法和输入法系统
CN102567433A (zh) * 2010-12-07 2012-07-11 中国电信股份有限公司 基于输入法的处理方法、装置和移动终端
CN104350449A (zh) * 2012-04-06 2015-02-11 谷歌公司 智能用户定制图形键盘
US20140223372A1 (en) * 2013-02-04 2014-08-07 602531 British Columbia Ltd. Method, system, and apparatus for executing an action related to user selection
CN104133815A (zh) * 2013-05-02 2014-11-05 张岩 输入和搜索的方法及系统
CN103309460A (zh) * 2013-05-09 2013-09-18 靳友鹏 一种将文字输入法与搜索引擎融合使用的方法
CN105308551A (zh) * 2013-05-31 2016-02-03 谷歌公司 用于连续手势输入的多图形键盘
US20160006856A1 (en) * 2014-07-07 2016-01-07 Verizon Patent And Licensing Inc. Messaging application with in-application search functionality
CN105335415A (zh) * 2014-08-04 2016-02-17 北京搜狗科技发展有限公司 基于输入预测的搜索方法和输入法系统
CN104503995A (zh) * 2014-12-04 2015-04-08 百度在线网络技术（北京）有限公司 输入法的实现方法和装置
CN104699744A (zh) * 2014-12-04 2015-06-10 百度在线网络技术（北京）有限公司 信息搜索方法及装置
CN105095426A (zh) * 2015-07-17 2015-11-25 百度在线网络技术（北京）有限公司 搜索结果处理方法及装置
CN105224099A (zh) * 2015-09-17 2016-01-06 广州市久邦数码科技有限公司 一种基于输入法的搜索方法及其系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763428A (zh) * 2018-05-24 2018-11-06 合肥亿腾工程咨询有限公司 一种基于搜索引擎的信息技术咨询系统

Also Published As

Publication number Publication date
US20170308291A1 (en) 2017-10-26
DE102017108324A1 (de) 2017-10-26
DE202017104090U1 (de) 2017-08-09
WO2017184212A1 (en) 2017-10-26
US20170308247A1 (en) 2017-10-26
US10140017B2 (en) 2018-11-27
GB2551253A (en) 2017-12-13
GB201706161D0 (en) 2017-05-31

Similar Documents

Publication Publication Date Title
CN107305493A (zh) 具有集成搜索的图形键盘应用
EP3479213B1 (en) Image search query predictions by a keyboard
EP3400539B1 (en) Determining graphical elements associated with text
US9977595B2 (en) Keyboard with a suggested search query region
US9720955B1 (en) Search query predictions by a keyboard
JP6721703B2 (ja) グラフィカルキーボード内での図像シンボル検索
US9946773B2 (en) Graphical keyboard with integrated search features
CN108205376A (zh) 用于对话的图标符号预测
CN108701137A (zh) 键盘内的图标建议
KR20180102134A (ko) 키보드에 의한 자동 번역

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20171031

RJ01 Rejection of invention patent application after publication