CN108205376A - 用于对话的图标符号预测 - Google Patents

用于对话的图标符号预测 Download PDF

Info

Publication number
CN108205376A
CN108205376A CN201710906381.3A CN201710906381A CN108205376A CN 108205376 A CN108205376 A CN 108205376A CN 201710906381 A CN201710906381 A CN 201710906381A CN 108205376 A CN108205376 A CN 108205376A
Authority
CN
China
Prior art keywords
phrase
user
computing device
text
legend
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710906381.3A
Other languages
English (en)
Inventor
阿列克萨·格林伯格
塞巴斯蒂安·米柳斯
马修·谢里菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108205376A publication Critical patent/CN108205376A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及用于对话的图标符号预测。描述了一种计算设备，该计算设备输出包括多个键的图形键盘以显示，至少部分地基于从多个键的一个或多个键的选择的指示，确定电子通信的文本，并且至少部分地基于该文本，确定表征该文本的至少一部分的隐含的用户表达。该计算设备生成表示隐含的用户表达的一个或多个图标符号的短语，并且输出该短语的图形指示以在图形键盘内显示。

Description

用于对话的图标符号预测
技术领域
本申请涉及用于对话的图标符号预测。
背景技术
尽管能够同时执行多个应用，但一些移动计算设备一次只能呈现单个应用的图形用户界面(GUI)。移动计算设备的用户必须提供输入以在不同的应用GUI之间切换以完成特定的任务。例如，移动计算设备的用户必须停止在消息收发应用中输入文本，提供输入以使设备切换到搜索应用，并且在搜索应用的GUI处提供额外的输入以搜索用户希望用来完成编写消息或以其他方式在消息收发应用中输入文本的特定信息，诸如图标(iconographic)符号(例如，表情符号)。提供一些计算设备执行各种任务所需的若干输入会是乏味、重复和耗时的。
发明内容
总的来说，本公开涉及使计算设备能够自动地预测一个或多个图标符号的短语并且在图形键盘内显示预测的短语的技术，一个或多个图标符号的短语表示至少部分地基于通过图形键盘输入的文本推断的用户隐含的表达。例如，用户可以与通过键盘应用，在存在敏感屏(例如，触摸屏)处呈现的图形键盘交互。交互可以与通信应用，例如消息收发应用、短信应用等相关联。当用户键入作为电子对话的一部分的消息时，计算设备可以检测与图形键盘相关联的用户输入。键盘应用基于电子对话的词来识别用户表达、感情、情感或不是由电子对话的词字面上捕获的其他隐含的消息或情绪。换句话说，键盘应用可以表征电子对话的一部分。
键盘应用可以自动地生成和显示表征电子对话但不是由用在电子对话中的词字面上表达的一个或多个图标符号的建议的短语。用户可以选择建议的短语，从而使键盘应用插入和/或发送图标符号短语作为新消息或现有消息的一部分。在一些示例中，计算设备可以将建议的短语呈现为键盘的一部分或代替键盘的一部分(例如，代替图形键盘的词建议区域内的建议词)。
通过提供包括具有集成的图标符号短语预测的图形键盘的GUI，示例性计算设备可以为用户提供一种方式以快速地获得与用户已经在应用键盘处提供的输入相关的建议的图标符号短语，而不必在若干不同的应用和应用GUI之间切换、重新键入已经在图形键盘上输入的文本，或者自己想出相关的图标符号短语。以这种方式，本公开的技术可以减少获得图标符号短语所需的时间量和用户输入的数量，简化用户体验并且可以减少计算设备的功耗。
在一个示例中，描述了一种方法，包括在计算设备处执行的键盘应用输出包括多个键的图形键盘用于显示；所述键盘应用至少部分地基于从所述多个键的一个或多个键的选择的指示，确定电子通信的文本；所述键盘应用至少部分地基于所述文本，确定表征所述文本的至少一部分的隐含的用户表达。该方法进一步包括所述键盘应用生成表示所述隐含的用户表达的一个或多个图标符号的短语，以及所述键盘应用输出所述短语的图形指示以在所述图形键盘内显示。
在另一示例中，描述了一种计算设备，包括存在敏感显示组件、至少一个处理器和存储器。存储器存储与键盘应用相关联的指令，指令当被执行时，使至少一个处理器：输出包括多个键的图形键盘以在存在敏感显示组件处显示；并且至少部分地基于从所述多个键的一个或多个键的选择的指示，确定电子通信的文本。指令当被执行时，进一步使至少一个处理器至少部分地基于所述文本，确定表征所述文本的至少一部分的隐含的用户表达，生成表示所述隐含的用户表达的一个或多个图标符号的短语，以及输出所述短语的图形指示以在所述图形键盘内显示。
在另一示例中，描述了一种包括指令的计算机可读存储介质，当被执行时，使计算设备的至少一个处理器输出包括多个键的图形键盘用于显示；并且至少部分地基于来自从多个键的一个或多个键的选择的指示，确定电子通信的文本。指令当被执行时，进一步使至少一个处理器至少部分地基于所述文本，确定表征所述文本的至少一部分的隐含的用户表达，生成表示所述隐含的用户表达的一个或多个图标符号的短语，以及输出所述短语的图形指示以在所述图形键盘内显示
在另一示例中，描述了一种计算系统，包括用于输出包括多个键的图形键盘用于显示的装置；用于基于来自从多个键的一个或多个键的选择的指示，确定电子通信的文本的装置；用于至少部分地基于所述文本，确定表征所述文本的至少一部分的隐含的用户表达的装置。该计算系统方法进一步包括用于生成表示所述隐含的用户表达的一个或多个图标符号的短语的装置，以及用于输出所述短语的图形指示以在所述图形键盘内显示的装置。
在附图和下述描述中，阐述了一个或多个示例的细节。从描述和附图，以及从权利要求，本公开的其他特征、目的和优点将是显而易见的。
附图说明
图1是根据本公开的一个或多个方面，示出被配置为呈现具有基于集成的图标符号的预测的图形键盘的示例性计算设备的概念图。
图2是根据本公开的一个或多个方面，示出被配置为呈现具有基于图标符号的预测的图形键盘的示例性计算设备的框图。
图3是根据本公开的一个或多个技术，示出输出图形内容以在远程设备处显示的示例性计算设备的框图。
图4A-4E是根据本公开的一个或多个方面，示出被配置为呈现具有基于集成的图标符号的预测的图形键盘的示例性计算设备的示例图形用户界面的概念图。
图5是根据本公开的一个或多个方面，示出被配置为呈现具有基于集成的图标符号的预测的图形键盘的计算设备的示例性操作的流程图。
具体实施方式
图1是根据本公开的一个或多个方面，示出被配置为呈现具有基于集成的图标符号的预测的图形键盘的示例性计算设备110的概念图。虽然下文主要描述关于表情符号短语，但是本公开的技术同样适用于其他类型的图标符号短语。图标符号的一些示例包括但不一定限于表情符号、ASCII表情符号、特殊ASCII符号、动态和静态图像、贴纸等。
计算设备110可以表示移动设备，诸如智能电话、平板电脑、膝上型计算机、计算机化手表、计算机化眼镜、计算机手套或任何其他类型的便携式计算设备。计算设备110的另外的示例包括台式计算机、电视、个人数字助理(PDA)、便携式和非便携式游戏系统、媒体播放器、电子书阅读器、移动电视平台、汽车导航和娱乐系统、车辆(例如汽车、飞机或其他车辆)驾驶舱显示器，或可以输出图形键盘以显示的任何其他类型的可穿戴和不可穿戴、移动或不可移动计算设备。
计算设备110包括存在敏感显示器(PSD)112、用户界面(UI)模块120和键盘模块122。模块120和122可以执行使用驻留在计算设备110中和/或在其上执行的软件、硬件、固件或硬件、软件和固件的混合所描述的操作。计算设备110的一个或多个处理器可以执行在计算设备100的存储器或其他非瞬时存储介质处存储的指令以实现模块120和122的操作。计算设备110可以将模块120和122执行为在底层硬件上执行的虚拟机。模块120和122可以执行为操作系统或计算平台的一个或多个服务。模块120和122可以执行为计算平台的应用层处的一个或多个可执行程序。
计算设备110的PSD 112可以用作用于计算设备110的各个输入和/或输出设备。可以使用各种技术实现PSD 112。例如，使用存在敏感输入屏，诸如电阻式触摸屏、表面声波触摸屏、电容式触摸屏、投影电容触摸屏、压敏屏、声学脉冲识别触摸屏或另一存在敏感显示技术，PSD 112可以用作输入设备。使用任何一个或多个显示设备，诸如液晶显示器(LCD)、点阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水或能够向计算设备110的用户输出可见信息的类似的单色或彩色显示器，PSD 112也可以用作输出(例如显示器)设备。
PSD 112可以检测来自各个计算设备110的用户的输入(例如触摸或非触摸输入)。PSD112可以通过检测来自用户的一个或多个手势(例如，用户用手指或触控笔在PSD 112的一个或多个位置处或附近触摸、轻击和/或滑动)，检测输入的指示。PSD 112以用户界面(例如，用户界面114)的形式向用户输出信息，用户界面114可以与计算设备110提供的功能相关联。这种用户界面可以与在计算设备110处执行或可访问的计算平台、操作系统、应用和/或服务(例如，电子消息应用、聊天应用、因特网浏览器应用、移动或桌面操作系统、社交媒体应用、电子游戏和其他类型的应用)相关联。例如，PSD 112可以呈现用户界面114，如图1所示，其是在计算设备110处执行的聊天应用的图形用户界面，并且包括在PSD 112的各个位置处显示的各种图形元素。
如图1所示，用户界面114是聊天用户界面。然而，用户界面114可以是包括图形键盘的任何图形用户界面。用户接口114包括输出区域116A、图形键盘116B和编辑区域116C。计算设备110的用户可以在图形键盘116B处提供输入，以在编辑区域116C内产生形成在输出区域116A内显示的电子消息的内容的字符。显示在输出区域116A内的消息在计算设备110的用户和不同计算设备的用户之间形成聊天对话。
UI模块120管理与PSD 112和计算设备110的其他组件的用户交互。换句话说，UI模块120可以充当计算设备110的各个组件之间的中介，以基于由PSD 112检测到的用户输入做出决定，并且响应于用户输入，在PSD 112处产生输出。UI模块120可以接收来自计算设备110的应用、服务、平台或其他模块的指令，以使PSD 112输出用户界面(例如，用户界面114)。当用户查看并且与在PSD 112处呈现的用户界面交互时，UI模块120可以管理由计算设备110接收的输入，并且响应于从正在处理用户输入的计算设备的应用、服务、平台或其他模块接收附加指令，更新用户界面。
键盘模块122表示在计算设备110处执行或可访问的应用、服务或组件，其向计算设备110提供具有包括图标符号短语预测的集成搜索特征的图形键盘。键盘模块122可以在文本输入模式或搜索模式操作之间切换，在文本输入模式中键盘模块122类似于传统图形键盘，在搜索模式中键盘模块122执行各种集成搜索功能、图标符号短语预测、或具有基于一个或多个搜索和预测的搜索应用或功能的界面。
在一些示例中，键盘模块122可以是在计算设备110处执行的独立应用、服务或模块，以及在其他示例中，键盘模块122可以是子组件，诸如扩展，用作用于其他应用或设备功能的服务。例如，键盘模块122可以被集成到在计算设备110处执行的聊天或消息收发应用中，而在其他示例中，键盘模块122可以是应用或操作平台要求图形键盘输入功能时，随时由计算设备110的应用或操作平台调用的独立应用或子程序。键盘模块122可以是操作为独立键盘应用的子组件的键盘扩展。在一些示例中，计算设备110可以从服务提供商的应用或应用扩展库(例如，经由因特网)下载和安装键盘模块122。在其他示例中，可以在生产计算设备110期间，预加载键盘模块122。
当在文本输入模式下操作时，计算设备110的键盘模块122可以执行用于文本输入的传统的图形键盘操作，诸如，生成用于在PSD 112处显示的图形键盘布局、将在PSD 112处检测的输入映射到图形键的选择、基于所选择的键确定字符，或者基于从所选择的键确定的字符预测或自动校正词和/或文本短语。
图形键盘116B包括显示为图形键118A的图形元素。键盘模块122可向UI模块120输出指定图形键盘116B在用户界面114内的布局的信息。例如，该信息可以包括指定图形键118A的位置、大小、颜色和其它特征的指令。基于从键盘模块122接收的信息，UI模块120可以使PSD112将图形键盘116B显示为用户界面114的一部分。
图形键118A的每个键可以与在键内显示的一个或多个相应的字符(例如，字母、数字、标点符号或其他字符)相关联。计算设备110的用户可以在PSD 112的位置处提供输入，在该位置处显示一个或多个图形键118A以将内容(例如，字符、图标符号短语预测等)输入到编辑区域116C中(例如，用于编写在输出区域116A内发送和显示的消息或用于输入计算设备110从图形键盘116B内执行的搜索查询)。键盘模块122可以从UI模块120接收指示与相对于每个图形键的位置，由PSD 112检测的输入相关联的位置的信息。使用空间和/或语言模型，键盘模块122可以将输入转换成键和字符、词和/或短语的选择。
例如，当计算设备110的用户在PSD 112呈现图形键118A的PSD 112的位置处或附近提供用户输入时，PSD 112可以检测用户输入。用户可以在图形键118A处键入以在编辑区域116C处输入短语“终于大学毕业了，感觉真好”。UI模块120可以从PSD 112接收由PSD 112检测的用户输入的指示，并且向键盘模块122输出关于用户输入的信息。关于用户输入的信息可以包括由PSD 112检测的一个或多个触摸事件的指示(例如，关于输入的位置和其他信息)。
基于从UI模块120接收的信息，键盘模块122可以将在PSD 112处的检测的输入映射到图形键118A的选择，基于所选择的键118A确定字符，并且基于与所选择的键118A相关联的字符，预测或自动更正词和/或短语。例如，键盘模块122可以包括空间模型，其可以基于键118A的位置和关于输入的信息来确定所选择的最可能的一个或多个键118A是这些键。响应于确定最可能的一个或多个键118A被选择，键盘模块122可以确定一个或多个字符、词和/或短语。例如，从PSD 112处的用户输入选择的一个或多个键118A中的每一个可以表示单个字符或键盘操作。键盘模块122可以确定基于一个或多个所选择的键118A所选择的字符序列。在一些示例中，键盘模块122可以将语言模型应用于字符序列，以基于键118A的选择来确定用户正尝试输入的一个或多个最可能的候选字母、语素、词和/或短语。在图1的示例子中，键盘模块122可以确定字符序列对应于短语的字母“终于大学毕业了，感觉真好”。
键盘模块122可以向UI模块120发送字符序列和/或候选词和短语(例如，“终于大学毕业了，感觉真好”)，并且UI模块120可以使PSD 112呈现从一个或多个键118A的选择确定为编辑区域116C内的文本的字符和/或候选词。在一些示例中，当用作用于执行文本输入操作的传统键盘时，并且响应于接收图形键118A处的用户输入(例如，当用户正在图形键盘116B中键入以在编辑区域116C内输入文本时)，键盘模块122可以使UI模块120将候选词和/或短语显示为建议区域118B内的一个或多个可选拼写更正和/或可选择词或短语建议。
除了执行用于文本输入的传统的图形键盘操作之外，计算设备110的键盘模块122还提供包括图标符号短语预测的集成搜索能力。也就是说，不是要求计算设备110的用户导航离开提供图形键盘116B的用户界面114(例如，转到在计算设备110处执行或可访问的不同应用或服务)以使计算设备110执行搜索功能，而是键盘模块122可以在搜索模式下操作，其中键盘模块122可以基于在图形键盘116B处输入的文本来执行搜索、进行预测、推荐搜索查询、图像,、贴纸和图标符号短语，并且在一个或多个可能的位置和格式呈现搜索结果、预测以及建议，诸如显示图形键盘116B的PSD 112的相同区域内的结果。
如上所述，键盘模块122可以执行作为在计算设备110处执行的独立应用、服务或模块，或者作为其单个集成子组件。因此，如果键盘模块122形成在计算设备110处执行的聊天或消息收发应用的一部分，则键盘模块122可以向聊天或消息收发应用提供文本输入能力以及搜索能力。类似地，如果键盘模块122是应用或操作平台需要图形键盘输入功能的任何时候由计算设备110的应用或操作平台调用的独立应用或子例程，则键盘模块122可以为调用应用或操作提供文本输入能力和搜索能力。
在一些示例中，当在搜索模式下操作时，键盘模块122可以使图形键盘116B以包括搜索元素118C。搜索元素118C表示用于手动地调用图形键盘116B的各种搜索特征中的一个或多个的图形键盘116B的可选元素(例如，图标、图像、键盘键或其他图形元素)。例如，通过选择搜索元素118C(例如，通过在显示搜索元素118C的位置处或其PSD 112的区域内轻击或做手势)，用户可以使计算设备110显示一个或多个图标符号的预测短语，图标符号可能与电子通信的文本相关，而用户不必特意地导航至在计算设备110处执行或可从计算设备110访问的单独的应用、服务或其他特征。
在一些示例中，搜索元素118C可以被用作与搜索或预测特征相关联的状态的指示符。例如，如果键盘模块122预测可能与电子通信的文本相关的一个或多个图标符号的短语，则键盘模块122可以使搜索元素118C闪烁、跳动、改变颜色、移动或执行一些其他动画以指示识别到图标符号短语。在一些示例中，键盘模块122可以使搜索元素118C变形成与非图标符号图标(例如，放大镜图标)相反的图标符号图标(例如，表情图标)，以指示识别出一个或多个图标符号的短语，而不是指示识别出搜索查询或其他预测。
当在搜索模式下操作时，键盘模块122可以自动地执行各种搜索功能，无论图形键盘116B是否包括搜索元素118C。例如，键盘模块122可以预测搜索查询，推荐一个或多个图标符号的短语，或者基于键盘模块122从用户输入和由计算设备110获得的其他信息推断出的文本生成其他建议的内容，并且在图形键盘16B内显示建议的内容。例如，键盘模块122可以配置建议区域118B以将建议的内容(例如，一个或多个图标符号的预测短语)呈现为搜索元素118C内的可选择元素，以替代或附加键盘模块122从语言模型、词汇表或字典导出预测字符、文本词、文本短语或者其他主要的语言信息。换句话说，不是仅仅在建议区域118B内从字典提供拼写或单词建议，而是计算设备110可以在建议区域118B内包括建议的搜索相关内容，以替代或附加计算设备110(或与设备110通信或结合的其他设备)确定可以在当前时间(例如当提供与电子通信相关的输入时)帮助用户的所建议的文本内容。
键盘模块122可以执行表征电子通信的文本和/或使用图形键盘116B输入的文本的至少一部分的用户表达的自动预测。例如，键盘模块122可以推断由文本隐含但不一定在文本中声明的用户表达。从隐含的用户表达，键盘模块122可以生成表示隐含的用户表达的一个或多个图标符号的短语。以这种方式，键盘模块122可以使计算设备110为用户提供一种方式来快速地获得与用户已经在图形键盘118B处提供的输入相关(但不一定是直接替换)的一个或多个图标符号的短语，而不必在若干不同的应用或应用GUI之间切换，不必重新键入已经在图形键盘116B处输入的文本，或者不必自己想出相关的图标符号短语。
键盘模块122可以自动地生成并且显示生成的短语的图形指示(例如，在建议区域118B处或作为图形元素118C)。如果用户有兴趣使用一个或多个图标符号的短语(例如，通过将短语作为电子通信的一部分发送)，则用户能可选地在显示该短语的指示的PSD 112的位置处提供选择短语并且使键盘模块122将短语输入到编辑区域116C中，或者将短语作为电子通信的一部分的输入发送。在一些示例中，键盘模块122可以使UI模块120和PSD 112呈现该短语，取代图形键118A的一部分。
为了帮助说明键盘模块122如何自动地生成和显示图标符号的短语，现在参考用户界面114内所示的文本消息交换来描述技术。如图1所示，计算设备110的用户可以在用户界面114内与好友交换电子通信(例如，消息)。用户可以通过在显示键118A的PSD 112的位置处提供手势输入来开始对话，并且键盘模块122的空间和/或语言模型可以基于该输入来确定手势输入对应于用于输入短语“我的最后一次考试是今天”的键118A的选择。用户可以在键118A的返回键的位置处提供输入，并且作为响应，与用户界面114相关联的消息收发应用可以向与好友相关联的计算设备发送包括文本“我的最后一次考试是今天”的电子通信。在从与好友相关联的计算设备接收到包含文本“恭喜，我也是”的回复消息之后，消息收发应用可以在用户界面114内呈现回复的文本。计算设备110的用户可以提供用于将第二消息发送到好友的进一步输入，作为响应，与用户界面114相关联的消息收发应用可以向与好友相关联的计算设备发送包括文本“终于大学毕业了，感觉真好”的电子通信。
在键盘模块122接收到指示计算设备110的用户同意向键盘模块122提供关于用户的个人信息的访问的用户输入(例如，由计算设备110发送和接收的消息的文本)之后，键盘模块122可以至少部分地基于由计算设备110发送和接收的电子通信的文本来确定表征文本的至少一部分的隐含的用户表达，并且可以进一步生成表示隐含的用户表达的一个或多个图标符号的短语。例如，键盘模块122可以依赖于解析和分析在图形键盘116B处的输入的各种模型和/或文本分析引擎以检测用户是否在图形键盘116B处键入了可以通过也能以具体符号短语的形式传达的表达(例如，句子或短语)表征的东西。键盘模块122可以确定用户表达“是时候庆祝毕业”是表征在用户界面114中显示的消息的文本的用户表达。
键盘模块122可以仅在首次从用户接收明确许可之后分析用户的电子通信的文本。因此，用户可以完全控制键盘模块122如何收集和利用关于用户的信息。例如，在分析与计算设备110的用户相关联的通信的文本之前，键盘模块122可以使UI模块120经由UID 112呈现用户界面以请求用户选择框、轻击按钮、说明语音输入，或以其他方式为用户界面提供由键盘模块122解释为用于明确肯定同意键盘模块收集和利用用户的个人信息的特定输入。
键盘模块122可以依靠人工智能和机器学习技术来A)以置信度来确定表征和/或由文本隐含但不一定在文本中声明的用户表达，和/或B)生成表示文本中不一定声明的用户表达的一个或多个图标符号的短语。键盘模块122可以依赖于机器学习模型，包括人工神经网络、递归神经网络、长短期记忆(LSTM)模型、隐马尔可夫模型，或使用学习规则以一定确信程度确定在图形键盘116B处输入的文本是否与特定用户表达或图标符号短语相关的任何和所有其他类型的机器学习型模型。
例如，在LSTM模型的情况下，键盘模块122的LSTM模型可以最初在多个其他用户和多个其他设备的聊天对话中训练，以有信心地检测用户正在对话的内容可能与图标符号短语相关。LSTM模型可以依赖于计算设备110的场境信息、来自与计算设备110的用户会话的其他用户的文本或其他用户的计算设备的屏幕上的文本，以更有信心地确定用户正键入什么。
LSTM模型可以学习表征和/或隐含但不一定在文本中声明的用户表达。键盘模块122可以理解学习的文化、地域和多语言参考和场境，并且相应地更新其模型。例如，LSTM模型可以了解特定地理位置的用户何时可以表达情绪(例如，爱、希望、兴奋、恐惧、愤怒等)、动作(例如，购买、完成里程碑等等)、思想(例如，政治声明、评论等)或其他表达。对于不同的地理位置，LSTM模型可能具有用于解释用户何时表达情绪、动作、思想或其他类似表达的不同的规则。例如，键盘模块122的LSTM模型可以将诸如“考试”、“完成”和“恭喜”的词理解为用户和他或她的好友正在表达他们关于“大学毕业”的兴奋的指示，并且确定当其他设备的其他用户在文本对话中使用相似的词来表达有关类似事件的兴奋时，他们经常使用诸如“庆祝时间”和/或“毕业”的短语或术语。键盘模块122可以确定“是时候庆祝毕业”是表征在用户界面114中显示的消息的文本的用户表达。
键盘模块122可以将对话的文本或其一部分提供为LSTM模型的输入，并且将一个或多个预测的图标符号短语接收为输出。例如，LSTM模型可以依赖于将隐含的用户表达转换为图标符号短语预测的Objective-C库或其他翻译模型。最后，LSTM模型可以输出多个其他用户在谈及类似的用户表达时使用的一个或多个图标符号短语预测。例如，在确定“是时候庆祝毕业”是表征用户界面114中所示的消息的文本之后，键盘模块122可以确定表情符号短语(包括闹钟表情符号、派对庆祝表情符号和毕业帽表情符号)是形象地表示用户表达“是时候庆祝毕业”的图标符号短语。
键盘模块122可以输出模型从文本预测的一个或多个图标符号的短语的图形指示以在图形键盘116C内显示。例如，键盘模块122可以使搜索单元118C闪烁或变更格式、变更形状、变更颜色、移动或执行一些其他动画以指示生成了图标符号短语。另外或替代地，键盘模块122可以将图标符号短语输出为建议(例如，在建议区域118B处)、作为导向到键盘模块122基于用户表达生成的一个或多个图标符号短语的页面的键盘模块122的蓝色超链接(例如，下划线或不带下划线)的用户表达的文本，和/或与图标符号短语相关联的图标(例如，指示生成图标符号短语的通用表情符号)。
在图形键盘116B内自动呈现图标符号短语的指示之后，用户可以选择图标符号短语，并且使键盘模块122将图标符号短语输入为从计算设备110编写的消息的文本。例如，用户可以在显示建议区域118B的PSD 112的位置处提供轻击或滑动手势，并且响应于从UI模块120接收到轻击或滑动手势的指示，键盘模块122可以将图标符号短语插入编辑区域116C，或放弃将图标符号短语插入到编辑区域116C中，而是将图标符号短语自动地发送到新电子消息的正文中。
通过提供包括具有集成的图标符号短语预测的图形键盘的GUI，示例性计算设备可以为用户提供一种方式来快速地获得与用户已经在图形键盘处提供的输入相关的图标符号短语预测图形，而不必在若干不同的应用GUI之间切换，不必重新键入已经在图形键盘上输入的文本，或者不必自己想出相关的图标符号短语。换句话说，不同于要求用户退出聊天应用GUI并且在不同图标符号输入GUI处提供后续文本输入(例如，通过粘贴或重新键入先前在聊天应用处输入的文本)以搜索与先前在聊天应用处输入的主题相关的图标符号的其他计算设备，示例性计算设备自动预测图标符号短语并且提供用于选择的图标符号短语，而不需要用户提供超出他或她当键入初始聊天消息时最初键入的内容的任何额外输入。以这种方式，本公开的技术可以减少获得与聊天对话相关的图标符号短语预测所需的时间量和用户输入的数量，简化用户体验并且可以降低计算设备的功耗。
图2是根据本公开的一个或多个方面，示出被配置为呈现具有基于集成的图标符号的预测的图形键盘的示例性计算设备的框图。在下文中，图2的计算设备210被描述为图1的计算设备110的示例。图2仅示出计算设备210的一个示例，以及在其他实例中，可以使用计算设备210的许多其他示例，计算设备210可以包括图2中包括的组件的子集或可以包括图2中未示出的另外的组件。
如图2的示例中所示，计算设备210包括PSD 212、一个或多个处理器240、一个或多个通信单元242、一个或多个输入组件244、一个或多个输出组件246和一个或多个存储组件248。存在敏感显示器212包括显示组件202和存在敏感输入组件204。计算设备210的存储组件248包括UI模块220、键盘模块222和一个或多个应用模块224。键盘模块222包括空间模型(“SM”)模块226、语言模型(“LM”)模块228和搜索模块230。存储设备248还包括图标符号短语模型232(例如LSTM或其他机器学习模型)。通信信道250可以互连组件212、240、242、244、246和248的每一个以组件间通信(物理地、通信地和/或操作地)。在一些示例中，通信信道250可以包括系统总线、网络连接、进程间通信数据结构或传送数据的任何其他方法。
计算设备210的一个或多个通信单元242可以经由一个或多个有线和/或无线网络，通过在一个或多个网络上传送和/或接收网络信号，与外部设备通信。通信单元242的示例包括网络接口卡(例如，诸如以太网卡)、光收发器、射频收发器、GPS接收机或能发送和/或接收信息的任何其他类型的设备。通信单元242的其他示例可以包括短波无线电、蜂窝数据无线电、无线网络无线电以及通用串行总线(USB)控制器。
计算设备210的一个或多个输入组件244可以接收输入。输入的示例为触觉、音频和视频输入。在一个示例中，计算设备210的输入组件244包括存在敏感输入设备(例如触敏屏、PSD)、鼠标、键盘、声音响应系统、摄像机、麦克风、传感器或用于检测来自人或机器的输入的任何其他类型的设备。在一些示例中，输入组件244可以包括一个或多个传感器组件、一个或多个位置传感器(GPS组件、Wi-Fi组件、蜂窝组件)、一个或多个温度传感器、一个或多个运动传感器(例如加速度计、陀螺仪)、一个或多个压力传感器(例如气压表)、一个或多个环境光传感器以及一个或多个其他传感器(例如，麦克风、相机、红外接近度传感器、湿度计等)。仅举几例其他非限制性示例，其他传感器可以包括心率传感器、磁强计、葡萄糖传感器、湿度计传感器、嗅觉传感器、罗盘传感器、步进计数器传感器。
计算设备210的一个或多个输出组件246可以生成输出。输出的示例是触觉、音频和视频输出。在一个示例中，计算设备210的输出组件246可以包括PSD、声卡、视频图形适配器、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或用于生成对人或机器的输出的任何其他类型的设备。
计算设备210的PSD 212类似于计算设备110的PSD 112，并且包括显示组件202和存在敏感输入组件204。显示组件202可以是由PSD 212显示信息的屏幕。存在敏感输入组件204可以检测显示组件202处和/或附近的对象。如一个示例性范围，存在敏感输入组件204可以检测对象，诸如在显示组件202的2英寸或更小内的手指或触笔。存在敏感输入组件204可以检测显示组件202的位置(例如，(x，y)坐标)，在该位置，检测到该对象。在另一示例范围中，存在敏感输入组件204可以检测离显示组件202六英寸或更小的对象，以及其他范围也是可能的。存在敏感输入组件204可以使用电容、电感和/或光学识别技术，由用户的手指选择的显示组件202的位置。在一些示例中，存在敏感输入组件204还使用如参考显示组件202所述的触觉、音频或视频刺激，为用户提供输出。在图2的示例中，PSD 212呈现用户界面(诸如图1的图形用户界面114)。
尽管示为计算设备210的内部组件，PSD 212还可以表示与计算设备210共享用于传送和/或接收输入和输出的数据通路的外部组件。例如，在一个示例中，PSD 212表示位于计算设备210的外部封装内并且与其物理连接的计算设备210的内置组件(例如移动电话的屏幕)。在另一示例中，PSD 212表示位于计算设备210的封装或外壳外并且物理地与其分离的计算设备210的外部组件(例如与计算设备210共享有线和/或无线数据通路的监视器、投影仪等)。
计算设备210的PSD 212可以将二维和/或三维手势检测为来自计算设备210的用户的输入。例如，PSD 212的传感器可以检测在PSD 212的传感器的阈值距离内的用户的移动(例如，移动手、手臂、笔、触笔等)。PSD 212可以确定移动的二维或三维向量表示，并且将向量表示与具有多个维度的手势输入(例如，挥手、捏、轻拍、笔划等)关联。换句话说，PSD 212能检测多维手势而不需要用户在PSD 212输出信息用于显示的屏幕或表面处或附近做手势。替代地，PSD 212能检测在可以或可以不位于PSD 212输出信息用于显示的屏幕或表面附近的传感器处或附近执行的多维手势。
一个或多个处理器240可以实现功能性和/或执行与计算设备210相关联的指令。处理器240的示例包括应用处理器、显示控制器、辅助处理器、传感器集线器和被配置成充当处理器、处理单元或处理设备的任何其他硬件。模块220、222、224、226、228和230可以由处理器240使用来执行计算设备210的各种动作、操作或功能。例如，计算设备210的处理器240可以检索由存储组件248存储的指令，使处理器240执行模块220、222、224、226、228和230的操作。指令当由处理器240执行时，使计算设备210将信息存储在存储组件248内。
计算设备210内的一个或多个存储组件248可以存储信息，以在操作计算设备210期间处理(例如，计算设备210可以存储在计算设备210处执行期间由模块220、222、224、226、228和230访问的数据)。在一些示例中，存储组件248是临时存储器，是指存储组件248的主要目的不是长期存储。计算设备210上的存储组件248可以配置为易失性存储器，用于短期存储信息，因此，如果断电，则不保留所存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)和本领域已知的其他形式的易失性存储器。
在一些示例中，存储组件248包括一个或多个计算机可读存储介质。在一些示例中，存储组件248包括一个或多个非瞬时计算机可读存储介质。存储组件248可以被配置为存储比通常易失性存储器存储的更多的信息。存储组件248可以进一步被配置为非易失性存储器空间，用于长期存储信息并且在上电/断电周期后保留信息。非易失性存储器的示例包括磁硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。存储组件248可以与模型232和233以及模块220、222、224、226、228和230相关联的程序指令和/或信息(例如数据)。存储组件248可以包括被配置成存储与模型23和模块220、222、224、226、228和230相关联的数据或其他信息的存储器。
UI模块220可以包括图1的计算设备110的UI模块120的所有功能并且可以执行与UI模块120类似的操作，用于管理计算设备210在存在敏感显示器212处提供以处理来自用户的输入的用户界面(例如，用户界面114)。例如，计算设备210的UI模块220可以查询键盘模块222的键盘布局(例如，英语QWERTY键盘等)。UI模块220可以在通信信道250上，向键盘模块222传送对键盘布局的请求。键盘模块222可以接收该请求并且通过键盘布局相关联的数据回复UI模块220。UI模块220可以在通信信道250上接收键盘布局数据，并且使用该数据来生成用户界面。UI模块220可以在通信信道250上传送显示命令和数据，以使PSD 212在PSD212处呈现用户界面。
在一些示例中，UI模块220可以接收在PSD 212处检测的一个或多个用户输入的指示，并且可以将关于用户输入的信息输出到键盘模块222。例如，PSD 212可以检测用户输入并且将关于用户输入的数据发送到UI模块220。UI模块220可以基于检测的输入来生成一个或多个触摸事件。触摸事件可以包括表征用户输入的信息，诸如用户输入的位置分量(例如，[x，y]坐标)、时间分量(例如，接收到用户输入的时间)、力分量(例如，由用户输入施加的压力的量)或关于用户输入的其他数据(例如，速度、加速度、方向、密度等)。
UI模块220基于由用户输入生成的触摸事件的位置信息，确定所检测的用户输入与图形键盘相关联。UI模块220可以向键盘模块222发送一个或多个触摸事件的指示用于进一步解释。键盘模块222可以基于从UI模块220接收的触摸事件来确定所检测的用户输入表示图形键盘的一个或多个键的初始选择。
应用模块224表示可以在依赖于集成图标符号短语预测的图形键盘的计算设备210处执行并且可访问的所有各种单独的应用和服务。计算设备210的用户可以与一个或多个应用模块224相关联的图形用户界面交互，以使得计算设备210执行操作或实现功能。应用模块224的许多示例可以存在，并且包括健身应用、日历应用、个人助理或预测引擎、搜索应用、地图或导航应用、交通服务应用(例如，汽车或列车跟踪应用)、社交媒体应用、游戏应用、电子邮件应用、聊天或消息收发应用、互联网浏览器应用，或可以在计算设备210处执行的任何和所有其他应用。
键盘模块222可以包括图1的计算设备110的键盘模块122的所有功能并且可以执行与键盘模块122类似的操作，以提供集成搜索特征的图形键盘。键盘模块222可以包括各种子模块，诸如SM模块226、LM模块228和搜索模块230，其可以执行键盘模块222的功能。
SM模块226可以将一个或多个触摸事件接收为输入，并且输出可能表示一个或多个触摸事件的字符或字符序列，以及表示一个或多个字符有多可能或以怎样的精度定义触摸事件的确信度或空间模型得分。换句话说，SM模块226可以将触摸事件推断为选择键盘的一个或多个键，并且可以基于对一个或多个键的选择来输出字符或字符序列。
当键盘模块222在文本输入模式下操作时，LM模块228可以将字符或字符序列接收为输入，并且将LM模块228从词汇表识别的一个或多个候选字符、词或短语输出作为用于LM模块228接收为针对给定语言场境(例如，书面语言的句子)的输入的字符序列的潜在替换。键盘模块222可以使UI模块220在用户界面114的建议区域118B处呈现一个或多个候选词。
计算设备210的词汇表可以包括书面语言词汇(例如，字典)内的单词列表。例如，词汇表可以包括单词(例如，标准字典中的单词和/或用户或计算设备210添加到字典的单词)的数据库。LM模块228可以在词汇表中执行查找字符串，以识别包括字符串的部分或全部字符的一个或多个字母、单词和/或短语。例如，LM模块228可以向位于包括与输入的字符或字符序列相同的字符中的至少一些的计算设备210的词汇表的一个或多个候选词分配语言模型概率或相似度系数(例如，Jaccard相似度系数或其他相似度系数)。分配给一个或多个候选词中的每一个的语言模型概率表示在接收由LM模块228分析的当前字符序列之前和/或之后，通常在位于由存在敏感输入组件204检测的文本输入生成的单词序列(例如句子)之后、之前和/或内找到候选词的确信度或似然度。响应于确定一个或多个候选词，LM模块228可以从具有最高相似度系数的词汇表数据存储器260A输出一个或多个候选词。
键盘模块222的搜索模块230可以代表键盘模块222执行包括集成的图标符号短语预测的集成的搜索功能。也就是说，当被调用时(例如，手动地响应于计算设备210的用户选择用户界面114的可选元素118C或其他图标，或者自动地响应于确定表征文本输入的至少一部分的隐含的用户表达)，键盘模块222可以在搜索模式下操作，其中，键盘模块222使得计算设备210从图形键盘118A内执行搜索功能，诸如，预测和显示计算设备210的用户可能发现对当前会话相关的搜索查询和图标符号短语。
模型232表示“设备上”(例如，本地存储和执行的)模型，由搜索模块230使用以用于确定用户是否在图形键盘116B处键入作为对话的一部分的一些内容，或者调用应用模块224是否接收到能由图标符号短语表征的会话的通信的文本(例如，即时消息)。模型232可以将对话的文本接收为输入，并且作为响应，输出可以表征或以其他方式关联于会话的文本的一部分的一个或多个图标符号短语。在一些示例中，模型232可以将与图标符号短语预测相关联的得分输出为该短语与该对话相关的概率的指示。
如果分配给短语的得分满足阈值，则键盘模块222可以使UI模块220将图标符号短语的图形指示输出为建议输入。因为用户在特定时刻键入的内容会为模型提供在该确切时刻她所表达的内容的一些见解，所以键盘模块222能使用文本来提供最佳和最相关的图标符号短语来扩展自我表达。以这种方式，键盘模块222可以提供比简单使用单词或短语匹配来推荐精确匹配符号短语的其他系统更令人愉快和有用的图标符号短语。
搜索模块230可以基于先前电子通信的图标符号的短语，训练模型232。也就是说，可以离线训练模型232的学习部分，以产生由其他计算设备的用户输入或由计算设备210的用户输入的图标符号短语嵌入的规则。模型232的规则预测部分可以在文本输入上执行学习规则，以提供用于在文本输入中通过的图标符号短语预测。
与依赖在远程计算系统(例如，服务器)上执行的模型或引擎的其他传统搜索系统不同，模型232可以在计算设备210的一个或多个处理器处本地执行。通过依赖诸如模型232的设备上模型，搜索模块230可以执行对用户来说看起来近实时的执行图像符号短语预测，以避免当在图形键盘116B上键入时，中断或者落后于用户可能正在进行的文本会话。或者，搜索模块230可以依赖于远程执行的模型，如模型232。也就是说，搜索模块230可以访问云服务以通过将由图形键盘116B推断的文本和/或关于计算设备210的其他信息发送到云来获得图标符号短语预测，并且作为响应，接收一个或多个相关的图标符号短语预测。
在接收到用户明确同意存储和利用个人信息之后，搜索模块230可以在存储或利用个人之前，加密或以其他方式处理被分析的信息以移除用户的实际身份。例如，通过键盘模块处理信息，使得当被存储或发送到远程计算设备以处理时，移除任何个人身份信息。
搜索模块230可以响应于计算设备210的位置改变、在图形键盘116B处输入的语言改变，或由于用户通过计算设备210正在进行的电子对话的参与者的改变，自动地下载模型232的更新版本。作为示例，用于预测一个地理位置的图标符号短语的模型232的一个版本可能不适合用于或准确地用于预测不同地理位置中的图标符号短语(例如，由于两地之间的语言、习俗、文化等差异)。当用户以一种语言(例如，本地方言)交换文本时，搜索模块230可以使用一种模型，并且当交换不同语言(例如，家庭地点的方言)的文本时，使用不同的模型。当用户与另一个用户(例如，同事或朋友)交换文本时，搜索模块230使用一种模型，当与不同的用户(例如家庭成员)交换文本时，使用不同的模型。
响应于计算设备210的位置改变，搜索模块230可以自动下载新的本地模型232。例如，搜索模型230可以从通信单元242和/或输入组件232(例如，GPS接收机)中的一个或多个接收关于计算设备210的当前位置的信息。响应于确定当前位置不对应于与本地模型232相关联的位置，搜索模型230可以向远程计算系统查询用于当前位置的本地模型。当从远程计算系统接收用于当前位置的本地模型时，搜索模型230由用于当前位置的本地模型的副本替换先前的本地模型232。换句话说，在一些示例中，搜索模块230响应于确定计算设备210的当前位置从第一位置到第二位置的改变，从远程计算系统获得用于第二位置的图标符号短语预测的本地模型，并且可以由用于第二位置的本地模型替换先前的本地模型232。当其他计算设备位于计算设备的当前位置时，可以在由其他计算设备发送和接收的先前电子通信上训练本地模型232的新版本，而当其他计算设备位于计算设备的先前位置时，可以在由其他计算设备发送和接收的先前电子通信上，训练旧版本(即，由新版本替换的版本)。
搜索模块230可以解析在图形键盘116B中输入的文本，以使用模型232预测表示表征文本的至少一部分的隐含的用户表达的图标符号短语。例如，LM模块228可以基于键盘模块222从图形键118的选择推断的文本的至少一部分，确定来自LM模块228的词汇表的一个或多个单词。搜索模型230可以将一个或多个单词输入到模型232中。
模型232可以基于这些单词，确定分配给由模型232识别的用户表达的得分，该得分表示用户表达与一个或多个单词相关的概率。响应于确定分配给用户表达的得分满足阈值，模型232可以将用户表达识别为隐含的用户表达。换句话说，模型232可以避免推荐与隐含的用户表达相关联的预测图标符号短语，除非用户表达的得分满足阈值。以这种方式，当这种预测可能不与会话相关时，用户不会被图像符号短语预测所淹没。
模型232可以基于隐含的用户表达，从图标符号的可搜索短语的本地模型确定分配给图标符号的短语的得分，其表示图标符号的短语与隐含的用户表达相关的概率。换句话说，模型232可以将从文本推断的用户表达输入到用于确定图标符号短语的一个或多个规则中。规则可以输出一个或多个图标符号短语，每个图标符号短语具有表示该短语与用户表达有多匹配的自身得分。响应于确定分配给图标符号的短语的得分满足阈值，模型232可以将图标符号的该短语识别为将被推荐给用户的一个或多个图标符号的短语。
搜索模块230可以从模型232获得图标符号短语及其相应得分的指示。搜索模块230可以将得分与阈值比较。响应于确定分配给图标符号短语的得分满足阈值，搜索模块230可以将短语识别为适合于向用户推荐。
在一些示例中，搜索模型230(例如，依赖模型232)可以进一步依赖于计算设备210的当前场境来预测图标符号短语。如本文所使用的，当前场境在特定时间指定计算设备，诸如计算设备210和计算设备的用户的物理特性和/或虚拟环境。此外，术语“场境信息”用来描述能由计算设备使用来定义计算设备和计算设备的用户在特定的时间经历的虚拟和/或物理环境特性的任何信息。
场境信息的示例是众多的，并且可以包括：计算设备210的传感器(例如位置传感器、加速度计、陀螺仪、气压计、环境光传感器、接近传感器、麦克风和任何其他传感器)获得的传感器信息、由计算设备210的通信模块发送和接收的通信信息(例如，基于文本的通信、可听通信、视频通信等)(例如，包括在与计算设备210的用户的对话中，来自其他用户的文本，或其他用户的计算设备的屏幕上的文本)和与在计算设备210处执行的应用相关联的应用使用信息(例如，与应用相关联的应用数据、互联网搜索历史、文本通信、语音和视频通信、日历信息、社交媒体帖子和相关信息等)。场境信息的进一步示例包括从计算设备210外部的传送设备获得的信号和信息。
模型232可以依赖于包括与电子对话相关联的信息的场境信息，电子对话包括当用户在图形键盘116B处提供输入时用户编写的电子通信，以及由计算设备210发送或接收的一个或多个其他电子通信。例如，模型232可以基于场境信息(例如，与由计算设备210发送的先前消息相关联的文本或其他信息以及与由计算设备210接收的先前消息相关联的文本或其他信息)，由机器学习模型233修改分配给隐含的用户表达和/或图标符号短语的得分。在修改或改进得分并响应于确定得分满足阈值之后，模型232可以将用户表达和/或短语识别为与当前文本输入和/或当前场境相关。
图3是根据本公开的一个或多个技术，示出输出图形内容以在远程设备处显示的示例性计算设备的框图。通常，图形内容可以包括可以输出以显示的任何视觉信息，仅举几个例子，诸如文本、图像、运动图像组。图3所示的示例包括计算设备310、PSD 312、通信单元342、移动设备386和视觉显示组件390。在一些示例中，PSD312可以是如图1-2所述的存在敏感显示器。尽管为图1和2的示例目的，示为独立的计算设备110，诸如计算设备310的计算设备通常可以是包括用于执行软件指令的处理器或其他合适的计算环境的任何组件或系统，并且例如不需要包括存在敏感显示器。
如图3的示例中所示，计算设备310可以是包括参考图2中的处理器240所述的功能的处理器。在这些示例中，计算设备310可以通过可以是系统总线或其他合适的连接的通信信道362A，操作地耦合到PSD 312。计算设备310还可以通过也可以是系统总线或其他合适的连接的通信信道362B，操作地耦合到通信单元342，如下面进一步所述。尽管作为图3中的示例单独地示出，但计算设备310可以通过一个或多个通信信道中的任意多个，操作地耦合到PSD 312和通信单元342。
在其他示例中，诸如先前由图1-2中的计算设备110所示，计算设备可以是指便携式或移动设备，诸如移动电话(包括智能电话)、膝上型计算机等。在一些示例中，计算设备可以是台式计算机、平板电脑、智能电视平台、相机、个人数字助理(PDA)、服务器或大型机。
PSD 312可以包括显示组件302和存在敏感输入组件304。显示组件302可以例如从计算设备310接收数据并且显示图形内容。在一些示例中，存在敏感输入组件304可以使用电容、电感和/或光学识别技术，确定PSD 312处的一个或多个用户输入(例如，连续手势、多点触摸手势、单触摸手势)，并且使用通信信道362A，将这些输入的指示发送到计算设备310。在一些示例中，存在敏感输入组件304可以物理地位于显示组件302的上方，使得当用户将输入单元放在由显示组件302显示的图形元素上时，存在敏感输入组件304所处的位置对应于显示图形元素所在的显示组件302的位置。
如图3所示，计算设备310还可以包括和/或操作地耦合于通信单元342。通信单元342可以包括如图2所述的通信单元242的功能。通信单元342的示例可以包括网络接口卡、以太网卡、光收发器、射频收发器或能发送和接收信息的任何其他类型的设备。这些通信单元的其它示例可以包括蓝牙、3G和Wi-Fi无线电、通用串行总线(USB)接口等。为了简化和示例目的，计算设备310还可以包括和/或操作地耦合于在图3中未示出的一个或多个其他设备(例如，输入设备、输出组件、存储器、存储设备)。
图3还示出了移动设备386和视觉显示组件390。移动设备386和视觉显示组件390分别可以包括计算和连接能力。移动设备386的示例可以包括电子阅读器设备、可转换笔记本设备、混合平板设备等。视觉显示组件390的示例可以包括诸如电视机、计算机监视器等的其他设备。在一些示例中，视觉显示组件390可以是车辆驾驶舱显示器或导航显示器(例如，在汽车、飞机或其他车辆中)。在一些示例中，视觉显示组件390可以是家庭自动化显示器或与计算设备310分离的一些其他类型的显示器。
如图3所示，移动设备386可以包括存在敏感显示器388。视觉显示组件390可以包括存在敏感显示器392。存在敏感显示器388、392可以包括如本公开所述的存在敏感显示器112、212和/或312的功能的子集或所有功能。在一些示例中，存在敏感显示器388、392可以包括附加功能。在任何情况下，存在敏感显示器392例如可以从计算设备310接收数据并且显示图形内容。在一些示例中，存在敏感显示器392可以使用电容、电感和/或光学识别技术，确定投影仪屏幕处的一个或多个用户输入(例如，连续手势、多点触摸手势、单触摸手势)，并且使用一个或多个通信单元，将这些用户输入的指示发送到计算设备310。
如上所述，在一些示例中，计算设备310可以输出图形内容以在通过系统总线或其他合适的通信信道耦合到计算设备310的PSD 312处显示。计算设备310还可以输出图形内容以在一个或多个远程设备，诸如移动设备386和视觉显示组件390处显示。例如，根据本公开的技术，计算设备310可以执行生成和/或修改图形内容的一个或多个指令。计算设备310可以将包括图形内容的数据输出到诸如通信单元342的计算设备310的通信单元。通信单元342可将数据发送到一个或多个远程设备，诸如移动设备386和/或视觉显示组件390。以这种方式，计算设备310可以输出图形内容以在一个或多个远程设备处显示。在一些示例中，一个或多个远程设备可以在包括在各个远程设备中和/或与其操作地耦合的存在敏感显示器处输出图形内容。
在一些示例中，计算设备310可以不在操作地耦合到计算设备310的PSD 312处输出图形内容。在其他示例中，计算设备310可输出图形内容以在通过通信信道362A耦合到计算设备310的PSD 312处和一个或多个远程设备处显示。在这些示例中，可以在每个相应设备处基本上同时显示图形内容。在一些示例中，由计算设备310生成并且输出以在PSD 312处显示的图形内容可以不同于以在一个或多个远程设备处显示的图形内容显示输出。
计算设备310可以使用任何合适的通信技术发送和接收数据。例如，计算设备310可以使用网络链路373A操作地耦合到外部网络374。图3中所示的每个远程设备可以通过相应的网络链路373B或373C中的一个操作地耦合到网络外部网络374。外部网络374可以包括操作地互连由此提供图3中所示的计算设备310与远程设备之间的信息交换的网络集线器、网络交换机、网络路由器等。在一些示例中，网络链路373A-373C可以是以太网、ATM或其他网络连接。这些连接可以是无线和/或有线连接。
在一些示例中，计算设备310可以使用直接设备通信378操作地耦合到包括在图3中的一个或多个远程设备。直接设备通信378可以包括计算设备310使用有线或无线通信直接与远程设备发送和接收数据的通信。也就是说，在直接设备通信378的一些示例中，由计算设备310发送的数据在远程设备处被接收之前可能不被一个或多个附加设备转发，或反之亦然。直接设备通信378的示例可以包括蓝牙、近场通信、通用串行总线、Wi-Fi、红外线等。图3中示出的一个或多个远程设备可以通过通信链路376A-376C，与计算设备310操作地耦合。在一些示例中，通信链路376A-376C可以是使用蓝牙、近场通信、通用串行总线、红外线等的连接。这种连接可以是无线和/或有线连接。
根据本公开的技术，计算设备310可以使用外部网络377操作地耦合到视觉显示组件390。计算设备310可以输出图形键盘以在PSD392处显示。例如，计算设备310可以将包括图形键盘的表示的数据发送到通信单元342。通信单元342可以使用外部网络374将包括图形键盘的表示的数据发送到视觉显示组件390。视觉显示组件390响应于使用外部网络374接收数据，使PSD 392输出图形键盘。响应于在PSD 392接收用户输入以选择键盘的一个或多个键，视觉显示设备130可以使用外部网络374，将用户输入的指示发送到计算设备310。通信单元342可以接收用户输入的指示，并且将该指示发送到计算设备310。
计算设备310可以基于该用户输入来确定一个或多个键的选择。计算设备310可以基于对一个或多个键的选择来确定一个或多个单词。至少部分地基于一个或多个单词，计算设备310可以识别表征一个或多个单词的至少一部分的隐含的用户表达，并且可以基于隐含的用户表达来生成表示隐含的用户表达的一个或多个图标符号的短语。计算设备310可以输出表示计算设备预测该短语的图形指示以在图形键盘内显示。通信单元342可以接收更新的图形用户界面的表示，并且可以将表示发送到视觉显示组件390，使得视觉显示组件390可以使PSD392输出更新的图形键盘，包括表示计算设备生成一个或多个图标符号的短语的图形指示。
图4A-4E是根据本公开的一个或多个方面，示出被配置为呈现具有基于集成的图标符号的预测的图形键盘的示例性计算设备的示例图形用户界面的概念图。图4A-4E分别示出示例性图形用户界面414A-414E(统称为用户界面414)。然而，在其他实例中，可以使用图形用户界面的许多其他示例。每个图形用户界面414可以对应于分别由图1和图2的计算设备110或210显示的图形用户界面。在下文中，将在计算设备110的场境中描述图4A-4E。
图形用户界面414包括输出区域416A、编辑区域416C和图形键盘416B。图形键盘416B包括建议区域418B、多个键418A和搜索元素418C。
如图4A所示，计算设备110可以从与家庭成员相关联的设备接收电子通信(例如，文本消息)。计算装置110可以输出电子通信的内容以在输出区域416A内显示。消息的内容可能包括短语“简今年大学毕业”。
计算设备110的用户可以与图形键盘416B交互以编写对该消息的回复。例如，用户可以在一个或多个键418A处轻击或做手势来将回复键入为“哇！我还记得她在幼儿园的时候”。计算设备110的键盘模块122可以接收键418A处的轻击或手势的指示，并且基于用户输入来确定计算设备110在编辑区域416C内格式化和显示的文本。例如，当用户键入“幼儿园(kindergarten)”时，计算装置110可以使编辑区域416C显示“幼儿园”。此外，当用户在图形键418A处键入时，计算设备110的键盘模块122可以基于用户输入来预测一个或多个候选词，并且在建议区域418B内显示一个或多个候选词(例如，“kindergartens”、“kindergarten’s”和“kindergarteners”)。响应于检测图形键418A的“发送键”的选择，计算设备110可以编写并且向与家庭成员相关联的计算设备发送包括文本“哇！我还记得她在幼儿园的时候”的电子消息。如图4A所示，计算设备110可以输出电子消息的内容以在输出区域416A内显示。
在用户完成键入与电子通信相关联的文本之后，计算设备110的键盘模块122可以自动地推断用户已经完成打字并且作为响应，确定表征在来自家庭成员的消息/或由图形键盘416B编写的回复消息中所写的文本的至少一部分的隐含的用户表达。响应于确定与电子通信相关联的文本的结束，计算设备110的键盘模块122可以确定隐含的用户表达。例如，键盘模块122可以以一种或多种方式确定文本的结束。响应于确定文本中的最终字符是标点符号(例如，“？”、“。”、“！”或某些其他标点符号)，键盘模块122可以确定隐含的用户表达。换句话说，响应于确定图形键盘416B的一个或多个键的选择的最后一个键对应于与标点符号相关联的标点符号键，键盘模块122可以确定隐含的用户表达。响应于确定由用户选择的最终键是当被选择时触发计算设备110的聊天应用发送消息的“发送键”或“返回键”，计算设备110的键盘模块122可以确定隐含的用户表达。换句话说，响应于确定图形键盘416B的一个或多个键的选择的最后一个键对应于图形键盘416B的发送键以使计算设备110发送电子通信，键盘模块122可以确定隐含的用户表达。响应于确定自从选择最后键以来与图形键盘416B相关联的用户输入的暂停(例如，一秒或多秒时间)发生，或与文本相关联的单词数量(例如大于1的任何数量)超出单词阈值，计算设备110的键盘模块122可以确定隐含的用户表达。
响应于确定表征电子对话的文本的至少一部分的隐含的用户表达，键盘模块122可以进入搜索模式并且预测可能与文本相关的图标符号的短语。键盘模块122可以分析“简今年大学毕业”和“哇！我还记得她在幼儿园的时候”，并且推断出计算设备110的用户正在进行关于孩子成长的谈话。键盘模块122可以自动地关联其他计算设备的其他用户在谈论关于孩子或儿童成长时使用的一个或多个图标符号的短语。例如，键盘模块122可以确定显示为短语的表情符号短语导致图4C中的用户界面414C的搜索区域418D，并且可能被解释为其他计算机设备的用户谈论关于儿童成长时使用过的表示“孩子长得太快”。
在一些示例中，计算设备110可以修改多个键中的搜索键的视觉格式，以指示计算设备生成图标符号短语。例如，如图4B所示，搜索元素418C已经以搜索元素418C具有第一调色板的第一视觉格式显示改变成搜索元素418C被显示具有第二调色板的第二视觉格式。在其他示例中，计算设备110可以使搜索元素418C闪烁、移动、改变大小、从第一图标变形为第二不同图标，或者以某种其他方式变更，以提醒用户计算设备110基于图形键盘416B处的文本输入预测图标符号短语。
在一些示例中，计算设备110可以指示计算设备通过输出预测短语的文本或图形指示来预测图标符号短语。例如，计算设备110可将预测短语的文本或图形指示输出为图形键盘416B的建议区域418B内的建议，使得在建议区域418B内显示的图标符号短语被显示在语言、候选词或短语(例如，非搜索相关建议)中和之间。在其他示例中，计算设备110可以指示计算设备通过输出具有或不具有文本描述符的图标符号短语的代表性或通用性的图形元素(例如，图标)来生成文本或预测短语的图形指示。例如，如图4B所示，计算装置110可以输出具有文本“短语”的笑脸表情符号以指示键盘模块122产生预测短语。
在一些示例中，计算设备110可以在图形键盘的单独搜索区域内显示预测图标符号短语的图形指示。搜索区域可以不同于显示用于文本输入的建议词的图形键盘416B的建议区域418B。例如，搜索区域可以位于图形键418A和建议区域418C之间，或者搜索区域可以位于编辑区域416C或输出区域416A和建议区域418B之间。在一些示例中，计算设备110甚至可以用搜索区域替换建议区域418B。
图4C示出了响应于接收到图标符号的短语的图形指示的选择的指示，计算设备110可以显示的图标符号搜索区域的示例。换句话说，在检测到来自图4B的建议区域418B的短语建议的选择时，计算设备110可以在替换图形键盘416B的至少一部分的单独的搜索区域418D中显示在其中示出实际图标符号短语的用户界面414C。
用户可以在搜索区域418D处提供输入，以选择图标符号短语用于录入作为电子通信的一部分。在一些实例中，键盘模块122可以显示预测的隐含的用户表达并且将隐含的用户表达显示为用户搜索其他图标符号短语、贴图、图像、视频或与隐含的用户表达相关的其他内容的建议的搜索查询。此外，用户可以提供额外的输入来细化隐含的用户表达，以获得与由计算设备110自动找到的不同的图标符号短语或不同的搜索结果。
在显示一个或多个图标符号的短语的图形指示之后，计算设备110可以接收图标符号短语的图形指示的选择的指示，并且响应于接收到图形指示的选择的指示，计算设备110可以将短语输出作为电子通信的一部分。例如，如图4B所示，键盘模块122可以接收在建议区域418B内显示预测短语的位置处检测到的用户输入的指示。计算装置110响应于接收用户输入的指示，可以在编辑区域416C内输出预测短语以显示。
如图4D所示，用户可以在“发送键”处提供附加输入，以使计算设备110发送具有编辑区域416C的内容的消息。例如，如图4E所示，计算设备110可以向家庭成员设备输出具有预测短语的消息，并且在用户界面414E的输出区域416A内显示消息的内容。
图5是根据本公开的一个或多个方面，示出被配置为呈现具有基于集成的图标符号的预测的图形键盘的计算设备的示例性操作的流程图。图5的操作可以由计算设备可由计算设备，诸如图1的计算设备110或图2的计算设备210的一个或多个处理器执行。仅为了示例，在下文中，在图1的计算设备110的场境内描述图5。
在操作中，计算设备110可以输出用于显示的图形键盘(500)。例如，在计算设备110处执行的聊天应用可以调用键盘模块122(例如，与聊天应用分离的计算设备110的独立应用或功能)，以在PSD 112处呈现图形键盘116B。
计算设备110可以输出包括多个键的图形键盘以显示(500)。例如，键盘模块122可以使UI模块120在PSD 112处显示包括图形键盘116B的用户界面114。
计算设备110可以至少部分地基于从多个键中的一个或多个键的选择的指示来确定电子通信的文本(502)。例如，当计算设备110的用户在图形键盘116B处键入时，键盘模块122可以从PSD 112和UI模块120接收指示正在选择键盘116B的哪些键118A的数据。键盘模块122可以确定用户键入词“我的最后一次考试是今天”和“终于大学毕业了，感觉真好”。
计算设备110可以获得用户同意分析通信的文本(504)。例如，键盘模块122可以仅在首次接收到来自用户的明确许可之后分析用户的电子通信的文本。因此，用户可以完全控制键盘模块122如何收集和利用关于用户的信息。例如，在分析与计算设备110的用户相关联的通信的文本之前，键盘模块122可以使UI模块120经由UID 112呈现用户界面，该用户界面请求用户选择框、轻击按钮、声明语音输入、或以其他方式提供由键盘模块122解释为明确的肯定的同意键盘模块收集和利用用户的个人信息的特定输入。
计算设备110可以至少部分地基于文本来确定表征文本的至少一部分的隐含的用户表达(506)。例如，键盘模块122可以依赖于解析和分析在图形键盘116B处输入的文本的模型(诸如计算设备210的模型232)，以检测用户是否在图形键盘116B处键入能由以图标符号短语的形式传达的句子或短语表征的内容。键盘模块122可以确定用户表达“是时候庆祝毕业了”是其他计算设备的用户已经用来表征类似对话的用户表达。
计算设备110可以生成表示隐含的用户表达的一个或多个图标符号的短语(508)。例如，键盘模块122执行在推断的用户表达的词或文本中的关键字替换或文本短语替换，以自动生成表示用户表达的一个或多个符号的图标符号短语。在一些实例中，依赖于键盘模块122的模型可以确定当其他计算设备的用户正进行能由所确定的用户表达表征的谈话时通常使用的图标符号短语。
计算设备110可以输出短语的图形指示以在图形键盘内显示(510)。例如，键盘模块122可以通过用短语追加或替换具有由用户表达表征的短语的文本的部分来输出短语的图形指示。键盘模块122可以输出图标符号短语输出为建议(例如，在建议区域118B处)、作为导向到键盘模块122基于用户表达生成的一个或多个图标符号短语页面的蓝色超链接(例如，下划线或不带下划线)的用户表达的文本，和/或与图标符号短语相关联的图标(例如，指示生成图标符号短语的通用表情符号)。
下述编号的示例可以示出本公开的一个或多个方面：
条款1.一种方法，包括：在计算设备处执行的键盘应用输出包括多个键的图形键盘以显示；所述键盘应用至少部分地基于从所述多个键的一个或多个键的选择的指示，确定电子通信的文本；所述键盘应用至少部分地基于所述文本，确定表征所述文本的至少一部分的隐含的用户表达；所述键盘应用生成表示所述隐含的用户表达的一个或多个图标符号的短语；以及所述键盘应用输出所述短语的图形指示以在所述图形键盘内显示。
条款2.如条款1所述的方法，其中，响应于确定所述电子通信的文本的结束，确定所述隐含的用户表达。
条款3.如条款2所述的方法，进一步包括：响应于确定下述内容，所述键盘应用确定所述电子通信的文本结束：一个或多个键的选择的最后键对应于与标点符号相关联的标点符号键；一个或多个键的选择的最后键对应于发送所述电子通信的所述图形键盘的发送键；自选择最后键以来，暂停用户输入发生；或与所述文本相关联的单词数量超过单词阈值。
条款4.如条款1-3中的任一项所述的方法，进一步包括：响应于接收到一个或多个图标符号的短语的图形指示的选择的指示，所述键盘应用将一个或多个图标符号的短语输出为所述电子通信的一部分。
条款5.如条款4所述的方法，其中，将一个或多个图标符号的短语输出为所述电子通信的一部分包括用所述短语追加或替换所述文本的所述部分。
条款6.如条款1-5中的任一项所述的方法，其中，输出短语的图形指示包括将一个或多个图标符号的短语的图形指示输出为所述图形键盘的建议区域内的建议。
条款7.如条款1-6中的任一项所述的方法，其中，一个或多个图标符号的短语的图形指示包括图形元素，所述图形元素包括文本或图标中的至少一个，以指示所述计算设备生成一个或多个图标符号的短语。
条款8.如条款7所述的方法，其中，一个或多个图标符号的短语是来自多个图标符号短语的特定短语，每个图标符号短语表示所述隐含的用户表达，以及一个或多个图标符号的短语的图形指示进一步包括可选元素或从所述多个图标符号短语到附加短语的链接。
条款9.如条款1-8中的任一项所述的方法，其中，确定所述隐含的用户表达包括：所述键盘应用基于所述文本的至少一部分，确定一个或多个单词；所述键盘应用基于一个或多个单词，由可搜索用户表达的本地模型确定分配给特定用户表达的得分，所述得分表示所述特定用户表达与所述一个或多个单词相关的概率；以及响应于确定分配给所述特定用户表达的得分满足阈值，所述键盘应用将所述特定用户表达识别为隐含的用户表达。
条款10.如条款1-10中的任一项所述的方法，其中，生成一个或多个图标符号的短语包括：所述键盘应用基于所述隐含的用户表达，从图标符号的可搜索短语的本地模型确定分配给图标符号的特定短语的得分，所述得分表示所述图标符号的特定短语与所述隐含的用户表达相关的概率；以及响应于确定分配给所述图标符号的特定短语的得分满足阈值，所述键盘应用将所述图标符号的特定短语识别为一个或多个图标符号的短语。
条款11.如条款10所述的方法，其中，所述本地模型与所述计算设备的当前位置相关联。
条款12.如条款10或11所述的方法，进一步包括：所述键盘应用基于先前电子通信的图标符号短语，训练图标符号的可搜索短语的本地模型。
条款13.如条款12所述的方法，其中，当其他计算设备位于所述计算设备的当前位置时，由所述其他计算设备发送或接收所述先前的电子通信。
条款14.如条款10-13中的任一项所述的方法，其中，所述本地模型是第一本地模型，所述方法进一步包括：响应于确定所述计算设备的当前位置从第一位置到第二位置的改变，所述键盘应用从远程计算系统获得图标符号的可搜索短语的第二模型，所述第二模型与所述第二位置相关联；以及所述键盘应用由所述第二模型替代所述第一本地模型。
条款15.一种计算设备，包括：存在敏感显示组件、至少一个处理器和存储与键盘应用相关联的指令的存储器，指令当被执行时使至少一个处理器：输出包括多个键的图形键盘以在存在敏感显示组件处显示；至少部分地基于从所述多个键的一个或多个键的选择的指示，确定电子通信的文本；至少部分地基于所述文本，确定表征所述文本的至少一部分的隐含的用户表达；生成表示所述隐含的用户表达的一个或多个图标符号的短语；以及输出所述短语的图形指示以在所述图形键盘内显示。
条款16.如条款15所述的计算设备，其中，指令当被执行时使至少一个处理器：响应确定电子通信的文本的结束，确定隐含的用户表达。
条款17.如条款15-16中的任一项所述的计算设备，其中，键盘应用执行为不同应用的键盘扩展。
条款18.如条款15-17中的任一项所述的计算设备，其中，指令当被执行时，进一步使至少一个处理器：基于隐含的用户表达，由图标符号的可搜索短语的本地模型确定被分配给图标符号的特定短语的得分，该得分表示图标符号的特定短语与隐含的用户表达相关联的概率；响应确定被分配给图标符号的特定短语的得分满足阈值，将图标符号的特定短语识别为一个或多个图标符号的短语。
条款19.一种包括指令的计算机可读存储介质，指令当被执行时使计算设备的至少一个处理器：输出包括多个键的图形键盘以显示；至少部分地基于来自从多个键的一个或多个键的选择的指示，确定电子通信的文本；至少部分地基于所述文本，确定表征所述文本的至少一部分的隐含的用户表达；生成表示所述隐含的用户表达的一个或多个图标符号的短语；以及输出所述短语的图形指示以在所述图形键盘内显示。
条款20.如条款19所述的计算机可读存储介质，其中，指令当被执行时进一步使至少一个处理器：响应接收到短语的图形指示的选择的指示，将一个或多个图标符号的短语输出为电子通信的一部分。
条款21.一种系统，包括用于执行如条款1-14中的任一项所述的方法的装置。
条款22.一种计算设备，包括用于执行如条款1-14中的任一项所述的方法的装置。
条款22.一种包括指令的计算机可读存储介质，指令当被计算设备的至少一个处理器执行时，使至少一个处理器执行如条款1-14中的任一项所述的方法。
在一个或多个示例中，所述的功能可以以硬件，软件，固件或其任意组合实现。如果用软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或在计算机可读介质上传送并且由硬件处理单元执行。计算机可读介质可以包括对应于诸如数据存储介质的有形介质的计算机可读存储介质或通信介质，其包括便于例如根据通信协议，将计算机程序从一个地方传送到另一个地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)非瞬时的有形的计算机可读存储介质，或(2)诸如信号或载波的通信介质。数据存储介质可以是能由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中所述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这些计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、闪存或能被用来以指令或数据结构的形式存储所需程序代码并且能由计算机访问的任何其他介质。同时，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术，诸如红外线、无线电和微波，从网站、服务器或其他远程源传送指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术，诸如红外线、无线电和微波被包括在介质的定义中。然而，应理解到，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬时介质，而是指向非瞬时有形存储介质。如所使用的磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘，其中，磁盘通常以磁性方式再现数据，而光盘通过激光，光学地再现数据。以上的组合也应当包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等同的集成或分立逻辑电路。因此，如所使用的术语“处理器”可以指适于实现所述技术的任何前述结构或任何其它结构。此外，在一些方面，所述的功能可以在专用硬件和/或软件模块内提供。而且，这些技术能完全实现在一个或多个电路或逻辑元件中。
本公开的技术可以在各种设备或装置中实现，包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。在本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但不一定需要由不同硬件单元实现。相反，如上所述，各种单元可以组合在硬件单元中，或者由包括如上所述的一个或多个处理器的可互操作硬件单元的集合结合适当的软件和/或固件来提供。
已经描述了各个实施例。这些和其他示例在所附权利要求的范围内。

Claims (16)

1.一种方法，包括：
通过在计算设备处执行的键盘应用输出包括多个键的图形键盘用于显示；
通过所述键盘应用至少部分地基于从所述多个键的一个或多个键的选择的指示，确定电子通信的文本；
通过所述键盘应用至少部分地基于所述文本，确定表征所述文本的至少一部分的隐含的用户表达；
通过所述键盘应用生成表示所述隐含的用户表达的一个或多个图标符号的短语；以及
通过所述键盘应用输出所述短语的图形指示用于在所述图形键盘内显示。
2.如权利要求1所述的方法，其中，响应于确定所述电子通信的文本的结束，确定所述隐含的用户表达。
3.如权利要求2所述的方法，进一步包括：
响应于确定以下中的一个，通过所述键盘应用确定所述电子通信的文本结束：
一个或多个键的选择的最后键对应于与标点符号相关联的标点符号键；
一个或多个键的选择的最后键对应于发送所述电子通信的所述图形键盘的发送键；
自选择最后键以来，发生了暂停用户输入；或
与所述文本相关联的单词数量超过单词阈值。
4.如权利要求1所述的方法，进一步包括：
响应于接收到所述一个或多个图标符号的短语的图形指示的选择的指示，通过所述键盘应用将所述一个或多个图标符号的短语输出作为所述电子通信的一部分。
5.如权利要求4所述的方法，其中，将所述一个或多个图标符号的短语输出作为所述电子通信的一部分包括用所述短语追加或替换所述文本的所述部分。
6.如权利要求1所述的方法，其中，输出所述一个或多个图标符号的短语的图形指示包括将所述一个或多个图标符号的短语的图形指示输出作为所述图形键盘的建议区域内的建议。
7.如权利要求1所述的方法，其中，所述一个或多个图标符号的短语的图形指示包括图形元素，所述图形元素包括文本或图标中的至少一个，以指示所述计算设备生成所述一个或多个图标符号的短语。
8.如权利要求7所述的方法，其中，所述一个或多个图标符号的短语是来自多个图标符号短语的特定短语，所述多个图标符号短语的每一个表示所述隐含的用户表达，以及所述一个或多个图标符号的短语的图形指示进一步包括可选元素或从所述多个图标符号短语到附加短语的链接。
9.如权利要求1-8中的任一项所述的方法，其中，确定所述隐含的用户表达包括：
通过所述键盘应用基于所述文本的至少一部分，确定一个或多个单词；
通过所述键盘应用基于所述一个或多个单词，从可搜索用户表达的本地模型确定分配给特定用户表达的得分，所述得分表示所述特定用户表达与所述一个或多个单词相关的概率；以及
响应于确定分配给所述特定用户表达的所述得分满足阈值，通过所述键盘应用将所述特定用户表达识别为所述隐含的用户表达。
10.如权利要求1-8中的任一项所述的方法，其中，生成所述一个或多个图标符号的短语包括：
通过所述键盘应用基于所述隐含的用户表达，从图标符号的可搜索短语的本地模型确定分配给图标符号的特定短语的得分，所述得分表示所述图标符号的特定短语与所述隐含的用户表达相关的概率；以及
响应于确定分配给所述图标符号的特定短语的所述得分满足阈值，通过所述键盘应用将所述图标符号的特定短语识别为所述一个或多个图标符号的短语。
11.如权利要求10所述的方法，其中，所述本地模型与所述计算设备的当前位置相关联。
12.如权利要求10所述的方法，进一步包括：
通过所述键盘应用基于先前的电子通信的图标符号短语，训练所述图标符号的可搜索短语的本地模型。
13.如权利要求12所述的方法，其中，当其他计算设备位于所述计算设备的当前位置时，由所述其他计算设备发送或接收所述先前的电子通信。
14.如权利要求10所述的方法，其中，所述本地模型是第一本地模型，所述方法进一步包括：
响应于确定所述计算设备的当前位置从第一位置到第二位置的改变：
通过所述键盘应用从远程计算系统获得图标符号的可搜索短语的第二模型，所述第二模型与所述第二位置相关联；以及
通过所述键盘应用以所述第二模型替代所述第一本地模型。
15.一种计算设备，包括：
存在敏感显示组件；
至少一个处理器；以及
存储器，所述存储器存储与键盘应用相关联的指令，所述指令当被执行时，使所述计算设备的所述至少一个处理器执行如权利要求1-14中的任一项所述的方法。
16.一种包括指令的计算机可读存储介质，所述指令当被执行时，使计算设备的至少一个处理器执行如权利要求1-14中的任一项所述的方法。
CN201710906381.3A 2016-12-19 2017-09-29 用于对话的图标符号预测 Pending CN108205376A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/383,753 2016-12-19
US15/383,753 US20180173692A1 (en) 2016-12-19 2016-12-19 Iconographic symbol predictions for a conversation

Publications (1)

Publication Number Publication Date
CN108205376A true CN108205376A (zh) 2018-06-26

Family

ID=60043333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710906381.3A Pending CN108205376A (zh) 2016-12-19 2017-09-29 用于对话的图标符号预测

Country Status (5)

Country Link
US (1) US20180173692A1 (zh)
JP (1) JP2018101413A (zh)
CN (1) CN108205376A (zh)
DE (1) DE202017105673U1 (zh)
WO (1) WO2018118172A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276351A (zh) * 2019-06-28 2019-09-24 中国科学技术大学 多语言场景文本检测与识别方法
CN111208930A (zh) * 2020-01-20 2020-05-29 北京元心科技有限公司 一种键盘布局方法、装置、存储设备及终端设备
CN112639709A (zh) * 2018-08-31 2021-04-09 谷歌有限责任公司 用于在动态键盘接口内定位动画图像的方法和系统

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9043196B1 (en) 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US9678664B2 (en) 2015-04-10 2017-06-13 Google Inc. Neural network for keyboard input decoding
US10607152B2 (en) 2015-05-26 2020-03-31 Textio, Inc. Using machine learning to predict outcomes for documents
US10664157B2 (en) 2016-08-03 2020-05-26 Google Llc Image search query predictions by a keyboard
US11170768B2 (en) * 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance
US11003839B1 (en) * 2017-04-28 2021-05-11 I.Q. Joe, Llc Smart interface with facilitated input and mistake recovery
US10788900B1 (en) 2017-06-29 2020-09-29 Snap Inc. Pictorial symbol prediction
US11121991B2 (en) * 2017-07-03 2021-09-14 Mycelebs Co., Ltd. User terminal and search server providing a search service using emoticons and operating method thereof
US20190087466A1 (en) * 2017-09-21 2019-03-21 Mz Ip Holdings, Llc System and method for utilizing memory efficient data structures for emoji suggestions
US10685180B2 (en) * 2018-05-10 2020-06-16 International Business Machines Corporation Using remote words in data streams from remote devices to autocorrect input text
US20190379618A1 (en) * 2018-06-11 2019-12-12 Gfycat, Inc. Presenting visual media
US11422689B1 (en) * 2018-08-09 2022-08-23 Apple Inc. Detecting touch user interface on a display under partial wet conditions
US10891950B2 (en) 2018-09-27 2021-01-12 International Business Machines Corporation Graph based prediction for next action in conversation flow
US11140102B1 (en) * 2019-03-29 2021-10-05 Verizon Media Inc. Systems and methods for initiating communication between users based on machine learning techniques
USD912697S1 (en) 2019-04-22 2021-03-09 Facebook, Inc. Display screen with a graphical user interface
USD913313S1 (en) 2019-04-22 2021-03-16 Facebook, Inc. Display screen with an animated graphical user interface
USD914058S1 (en) 2019-04-22 2021-03-23 Facebook, Inc. Display screen with a graphical user interface
USD914051S1 (en) 2019-04-22 2021-03-23 Facebook, Inc. Display screen with an animated graphical user interface
USD913314S1 (en) 2019-04-22 2021-03-16 Facebook, Inc. Display screen with an animated graphical user interface
USD914049S1 (en) 2019-04-22 2021-03-23 Facebook, Inc. Display screen with an animated graphical user interface
USD930695S1 (en) 2019-04-22 2021-09-14 Facebook, Inc. Display screen with a graphical user interface
USD912693S1 (en) 2019-04-22 2021-03-09 Facebook, Inc. Display screen with a graphical user interface
US11182540B2 (en) * 2019-04-23 2021-11-23 Textio, Inc. Passively suggesting text in an electronic document
US10817142B1 (en) 2019-05-20 2020-10-27 Facebook, Inc. Macro-navigation within a digital story framework
US11388132B1 (en) * 2019-05-29 2022-07-12 Meta Platforms, Inc. Automated social media replies
US10757054B1 (en) 2019-05-29 2020-08-25 Facebook, Inc. Systems and methods for digital privacy controls
USD912700S1 (en) 2019-06-05 2021-03-09 Facebook, Inc. Display screen with an animated graphical user interface
USD914705S1 (en) 2019-06-05 2021-03-30 Facebook, Inc. Display screen with an animated graphical user interface
USD924255S1 (en) 2019-06-05 2021-07-06 Facebook, Inc. Display screen with a graphical user interface
USD914739S1 (en) 2019-06-05 2021-03-30 Facebook, Inc. Display screen with an animated graphical user interface
USD917533S1 (en) 2019-06-06 2021-04-27 Facebook, Inc. Display screen with a graphical user interface
USD916915S1 (en) 2019-06-06 2021-04-20 Facebook, Inc. Display screen with a graphical user interface
USD914757S1 (en) 2019-06-06 2021-03-30 Facebook, Inc. Display screen with an animated graphical user interface
USD918264S1 (en) 2019-06-06 2021-05-04 Facebook, Inc. Display screen with a graphical user interface
AU2020356289B2 (en) 2019-09-27 2023-08-31 Apple Inc. User interfaces for customizing graphical objects
CN111241398B (zh) * 2020-01-10 2023-07-25 百度在线网络技术（北京）有限公司 数据预取方法、装置、电子设备及计算机可读存储介质
US11209964B1 (en) * 2020-06-05 2021-12-28 SlackTechnologies, LLC System and method for reacting to messages
US11609640B2 (en) * 2020-06-21 2023-03-21 Apple Inc. Emoji user interfaces
US20220214801A1 (en) * 2021-01-06 2022-07-07 Typewise Ltd. Methods and systems for modifying user input processes
US11888797B2 (en) 2021-04-20 2024-01-30 Snap Inc. Emoji-first messaging
US11593548B2 (en) 2021-04-20 2023-02-28 Snap Inc. Client device processing received emoji-first messages
US11531406B2 (en) 2021-04-20 2022-12-20 Snap Inc. Personalized emoji dictionary
US20220382802A1 (en) * 2021-06-01 2022-12-01 Google Llc Smart suggestions for image zoom regions
US11726657B1 (en) 2023-03-01 2023-08-15 Daniel Pohoryles Keyboard input method, system, and techniques

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080244446A1 (en) * 2007-03-29 2008-10-02 Lefevre John Disambiguation of icons and other media in text-based applications
CN104394057A (zh) * 2013-11-04 2015-03-04 贵阳朗玛信息技术股份有限公司 表情推荐方法及装置
US20150100537A1 (en) * 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US20150120287A1 (en) * 2013-10-28 2015-04-30 At&T Intellectual Property I, L.P. System and method for managing models for embedded speech and language processing
US20150222586A1 (en) * 2014-02-05 2015-08-06 Facebook, Inc. Ideograms Based on Sentiment Analysis
CN104933113A (zh) * 2014-06-06 2015-09-23 北京搜狗科技发展有限公司 一种基于语义理解的表情输入方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09288666A (ja) * 1996-04-19 1997-11-04 Toshiba Corp 文字列予測方法及びこの文字列予測方法を用いた文書作成装置
JP2002014954A (ja) * 2000-06-28 2002-01-18 Toshiba Corp 中国語入力変換処理装置、中国語入力変換処理方法及び記録媒体
US7905898B2 (en) * 2003-08-15 2011-03-15 Stat Medical Devices, Inc. Adjustable lancet device and method
WO2007092532A2 (en) * 2006-02-06 2007-08-16 Portable Media Concepts, Inc. Digital video and music player belt buckles
JP5665160B2 (ja) * 2008-03-26 2015-02-04 パナソニックＩｐマネジメント株式会社 発光装置および照明器具
US8351788B2 (en) * 2010-07-14 2013-01-08 At&T Intellectual Property I, L.P. Digital light path labeling system with dual polarization quaternary phase-shift keying modulation
US20120146955A1 (en) * 2010-12-10 2012-06-14 Research In Motion Limited Systems and methods for input into a portable electronic device
JP2012185681A (ja) * 2011-03-04 2012-09-27 Nec Casio Mobile Communications Ltd 情報端末及びプログラム
JP5585695B2 (ja) * 2012-06-29 2014-09-10 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに情報処理システム、その制御方法、及びプログラム
US20140032443A1 (en) * 2012-07-25 2014-01-30 Marco Ossanna Guaranty Fund Apportionment in Default Auctions
KR102114314B1 (ko) * 2013-06-26 2020-05-25 삼성디스플레이 주식회사 유기발광 디스플레이 장치 및 그 제조방법
US9729875B2 (en) * 2013-07-08 2017-08-08 Sony Corporation Palette coding mode
JP6413391B2 (ja) * 2014-06-27 2018-10-31 富士通株式会社 変換装置、変換プログラム、及び変換方法
US9043196B1 (en) * 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US10824654B2 (en) * 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080244446A1 (en) * 2007-03-29 2008-10-02 Lefevre John Disambiguation of icons and other media in text-based applications
US20150100537A1 (en) * 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US20150120287A1 (en) * 2013-10-28 2015-04-30 At&T Intellectual Property I, L.P. System and method for managing models for embedded speech and language processing
CN104394057A (zh) * 2013-11-04 2015-03-04 贵阳朗玛信息技术股份有限公司 表情推荐方法及装置
US20150222586A1 (en) * 2014-02-05 2015-08-06 Facebook, Inc. Ideograms Based on Sentiment Analysis
CN104933113A (zh) * 2014-06-06 2015-09-23 北京搜狗科技发展有限公司 一种基于语义理解的表情输入方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112639709A (zh) * 2018-08-31 2021-04-09 谷歌有限责任公司 用于在动态键盘接口内定位动画图像的方法和系统
CN110276351A (zh) * 2019-06-28 2019-09-24 中国科学技术大学 多语言场景文本检测与识别方法
CN110276351B (zh) * 2019-06-28 2022-09-06 中国科学技术大学 多语言场景文本检测与识别方法
CN111208930A (zh) * 2020-01-20 2020-05-29 北京元心科技有限公司 一种键盘布局方法、装置、存储设备及终端设备

Also Published As

Publication number Publication date
JP2018101413A (ja) 2018-06-28
WO2018118172A1 (en) 2018-06-28
DE202017105673U1 (de) 2018-04-16
US20180173692A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
CN108205376A (zh) 用于对话的图标符号预测
EP3479213B1 (en) Image search query predictions by a keyboard
CN107305585B (zh) 由键盘作出的搜索查询预测
KR102151683B1 (ko) 그래픽 키보드 내에서의 도형 심볼 검색
EP3400539B1 (en) Determining graphical elements associated with text
EP3408733B1 (en) Keyboard with a suggested search query region
US10140017B2 (en) Graphical keyboard application with integrated search
CN108701137A (zh) 键盘内的图标建议
US9946773B2 (en) Graphical keyboard with integrated search features
CN106233312A (zh) 基于场境回复的自动动作
KR102204888B1 (ko) 키보드에 의한 자동 번역
CN108701123A (zh) 图形键盘的动态键映射

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180626

WD01 Invention patent application deemed withdrawn after publication