CN105683874B - 用于将绘文字用于文本预测的方法 - Google Patents

用于将绘文字用于文本预测的方法 Download PDF

Info

Publication number
CN105683874B
CN105683874B CN201480055018.XA CN201480055018A CN105683874B CN 105683874 B CN105683874 B CN 105683874B CN 201480055018 A CN201480055018 A CN 201480055018A CN 105683874 B CN105683874 B CN 105683874B
Authority
CN
China
Prior art keywords
emoji
words
prediction
user
language model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480055018.XA
Other languages
English (en)
Other versions
CN105683874A (zh
Inventor
J·A·格里夫斯
I·阿尔莫格
E·N·巴杰
J·H·库克
菲埃罗 M·加西亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105683874A publication Critical patent/CN105683874A/zh
Application granted granted Critical
Publication of CN105683874B publication Critical patent/CN105683874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Abstract

此处描述了用于将绘文字用于文本预测的技术。在一个或多个实现中，在与设备交互期间检测字符的输入。根据被配置成在考虑单词和短语的同时还考虑绘文字的语言模型来生成对应于检测到的字符的预测候选。该语言模型可利用将多个绘文字映射到对应单词的映射表。该映射表使得文本预测引擎能提供绘文字作为匹配单词的替代。另外地或替代地，文本预测引擎可被配置成将绘文字作为模型内的单词来进行分析并且为包括绘文字和单词两者的预测生成概率和候选排名。因用户而异的绘文字使用也可通过监视用户的键入活动来学习以将预测适配于用户对绘文字的特定使用。

Description

用于将绘文字用于文本预测的方法
技术领域
本发明涉及计算机交互技术，更具体地，涉及用于将绘文字用于文本预测的方法
背景技术
诸如移动电话、便携式和平板接收机、娱乐设备、手持导航设备等之类的计算设备被普遍实现为具有屏幕上键盘(例如，软键盘)，屏幕上键盘可被用于文本输入和/或与计算设备的其它交互。当用户将文本字符输入到文本框中、编辑文本、或以其它方式使用屏幕上键盘或类似输入设备来输入字符时，计算设备可应用自动纠正来自动地纠正误拼写和/或进行文本预测来基于输入字符预测和提供候选单词/短语。如今，用户越来越多地在网页、电子邮件、文本消息、以及其它通信中使用绘文字(emoji)。如此处所使用的绘文字指的是表意文字、笑容符、象形文字、表情图示、以及被用于替代文本单词或短语的其它的图形字符/表示。
在传统方法中，自动纠正和文本预测是使用关注于单词和短语的语言模型来生成的。传统语言模型不包括绘文字或适配于用户对于绘文字的使用。
因此，使用传统技术提供的文本预测候选不包括绘文字，这使得希望使用绘文字的用户更难以使用绘文字。由于用于浏览和为消息插入绘文字的现有技术可能是困难和耗时的，因此用户可能选择完全不在他们的消息中使用绘文字。另外，不正确或无意输入的绘文字不会被自动纠正工具识别或纠正。
发明内容
此处描述了用于将绘文字用于文本预测的技术。在一个或多个实现中，在与设备交互期间检测字符的输入。根据被配置成在考虑单词和短语的同时还考虑绘文字的语言模型来生成对应于检测到的字符的预测候选。该语言模型可利用将多个绘文字映射到对应单词的映射表。该映射表使得文本预测引擎能提供绘文字作为匹配单词的替代。另外地或替代地，文本预测引擎可被配置成将绘文字作为模型内的单词来进行分析并且为包括绘文字和单词两者的预测生成概率和候选排名。因用户而异的绘文字使用也可通过监视用户的键入活动来学习以将预测适配于用户对绘文字的特定使用。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
附图说明
参考附图来描述具体实施方式。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。
图1解说了其中可以实现用于文本预测的绘文字的各方面的示例操作环境。
图2解说了根据一个或多个实现的示例用户界面。
图3解说了根据一个或多个实现的包括绘文字的示例预测场景。
图4A解说了根据一个或多个实现的支持绘文字的语言模型的示例表示。
图4B解说了根据一个或多个实现的在多个语言模型词典之间的示例关系的表示。
图5描绘了根据一个或多个实现的其中提供了包括绘文字的文本预测的示例过程。
图6描绘了根据一个或多个实现的其中包括绘文字的文本预测被生成并经由用户界面呈现的示例过程。
图7描绘了包含了用于文本预测的绘文字的用户界面的示例。
图8描绘了用于与作为预测候选提供的绘文字交互的示例场景。
图9描绘了用于在单词和对应的绘文字之间来回切换的交互的示例场景。
图10描绘了用于根据需要显示与预测候选相关联的绘文字的交互的示例场景。
图11描绘了根据一个或多个实现的其中使用来自多个词典的评分数据的加权组合来选择包括绘文字的文本预测的示例过程。
图12描绘了可使用在包括绘文字的文本预测的一个或多个实现中的示例系统和设备。
具体实施方式
概览
传统地，自动纠正和文本预测是使用关注于单词和短语并且不包括绘文字或者适配于用户对绘文字的使用的语言模型来生成的。因此，使用传统技术提供的文本预测候选和自动纠正工具不考虑绘文字，这使得用户更难以在他们的通信中使用绘文字。
此处描述了用于将绘文字用于文本预测的技术。在一个或多个实现中，在与设备交互期间检测字符输入。根据被配置成在考虑单词和短语的同时还考虑绘文字的语言模型来生成对应于检测到的字符的预测候选。该语言模型可利用将多个绘文字映射到对应单词和短语的映射表。该映射表使得文本预测引擎能提供绘文字作为匹配单词的替代。另外地或替代地，文本预测引擎可被配置成将绘文字作为模型内的单词来进行分析并且为包括绘文字和单词两者的预测生成概率和候选排名。因用户而异的绘文字使用也可通过监视用户的键入活动来学习以将预测适配于用户对绘文字的特定使用。
在以下的讨论中，题为“操作环境”的章节描述了可根据针对文本预测的自适应语言模型的一个或多个实现来采用的示例环境和示例用户界面。题为“语言模型细节”的章节描述了支持绘文字的语言模型的示例细节。接着，题为“用于文本预测的绘文字细节”的章节描述了根据一个或多个实现的示例过程和用户界面。最后，题为“示例系统”的章节描述了可被用于针对包括绘文字的文本预测的一个或多个实现的示例系统和设备。
操作环境
图1解说了其中可以实现支持用于文本预测的绘文字的技术的各实施例的示例系统100。该示例系统100包括计算设备102，计算设备102可以是任何一个固定或移动设备或其组合，并且采用消费设备、计算机设备、便携式设备、通信设备、导航设备、媒体回放设备、娱乐设备、游戏设备、和/或电子设备等任何形式。例如，计算设备102可被实现为电视机客户端设备104、计算机106和/或连接到显示设备110以显示媒体内容的游戏系统108。替代地，计算设备可以是任何类型的便携式计算机、移动电话、或包括集成显示器114的便携式设备112。可以用各种组件来实现这些计算设备中的任一个，诸如处理器和存储设备、以及如下面参考图12所示的示例设备进一步描述的不同组件的任意组合。
计算设备102的集成显示器114或显示器设备110可以是触摸屏显示器，该触摸屏显示器被实现成感测触摸和手势输入，诸如显示在触摸屏显示器上的用户界面中的用户发起的字符、键、敲击、或选择符输入。替代地或附加地，计算设备的示例可包括其它各种输入机制和设备，诸如键盘、鼠标、屏幕上键盘、远程控制鼠标、游戏控制器、或任何其它类型的用户发起的和/或用户可选择的输入设备。
在各实现中，计算设备102可包括输入模块116，输入模块116检测和/或识别与各种不同类型的输入有关的输入传感器数据118，输入诸如屏幕上键盘字符输入、触摸输入和手势、基于相机的手势、控制器输入、以及其它用户选择的输入。输入模块116表示标识触摸输入和/或手势并使对应于该触摸输入和/或手势的操作被执行的功能。例如，输入模块116可被配置成识别所检测到的通过由用户的手(例如，使用触摸屏功能)与触摸屏显示器的交互而作出的手势。附加地或替代地，输入模块116可被配置成识别相机所检测到的手势，诸如用户的手的挥动、抓的手势、手臂位置、或其它经定义的手势。因此，触摸输入、手势、以及其它输入还可通过输入传感器数据118被识别为包括可用于区分输入模块116所识别的不同输入的属性(例如，移动、选择点、位置、速度、朝向等)。这一区分然后可用作从输入中标识手势并因此基于对手势的标识来标识要执行的操作的基础。
计算设备包括键盘输入模块120，键盘输入模块120可被实现为计算机可执行指令，诸如由一个或多个处理器执行以实现此处描述的各个实施例的软件应用或模块。键盘输入模块120表示用于提供和管理用于与计算设备120的键盘交互的屏幕上键盘。键盘输入模块120可被配置成导致屏幕上键盘的表示被选择性地在不同时间呈现，诸如在文本输入框、搜索控件、或其它文本输入控件被激活时。屏幕上键盘可被提供用于显示在外部显示器(诸如显示器设备110)上或集成显示器(诸如集成显示器114)上。另外，需要注意，硬件键盘/输入设备也可实现具有至少一些适用于此处所描述的技术的软键的可适配的“屏幕上”键盘。例如，作为外部设备提供或与计算设备102集成的硬件键盘可包含可被用于实现此处所描述的文本预测键的显示器设备、触摸键、和/或触摸屏。在这种情况下，键盘输入模块120可被提供作为硬件键盘/输入设备的设备驱动的组件。
键盘输入模块120可包括或以其它方式利用文本预测引擎122，文本预测引擎122表示用于处理和解释字符输入124以形成和提供对于对应于字符输入124的候选单词的预测。例如，屏幕上键盘可被选择性地展示在不同交互情形中供在文本输入框、口令输入框、搜索控件、数据表格、消息对话、或用户界面126的其它文本输入控件(诸如表格、HTML页面、应用UI、或促进用户输入字符输入124(例如，字母、数字、和/或其它字母数字字符以及绘文字)的文档)。
总的来说，文本预测引擎122确定最接近地匹配于被输入的字符输入124的一个或多个可能的候选。以此方式，文本预测引擎122可通过提供响应于用户所输入的字符输入124而被确定的一个或多个预测性单词或绘文字来促进文本输入。例如，文本预测引擎122所预测的单词/绘文字可被用于执行输入文本的自动校正、呈现一个或多个单词作为供用户选择来完成的候选、修改或改正输入文本、自动地改变对应于所预测的单词的屏幕上键盘的键的触摸敲击面积等等。
根据此处所描述的各技术，文本预测引擎122可被配置成包括或利用以上和以下所描述的一个或多个语言模型128。此外，一个或多个语言模型128可被配置成使用单词130和绘文字132两者来用于预测和自动纠正。在一种方法中，绘文字132可被映射到对应的单词并被展示或提供作为匹配单词的替代。另外地或替代地，文本预测引擎122可利用底层的支持绘文字的语言模型来在推导预测时作出包括作为候选的绘文字和/或考虑输入串中的绘文字的预测。
语言模型128还表示将文本预测引擎122所作的预测个别地适配以符合不同用户键入的不同方式的功能。另外，语言模型128可监视和收集关于设备的用户所作出的文本和/或绘文字输入的数据。监视和数据收集可跨设备地在不同交互场景中进行，其中可涉及不同应用、人(例如，联系人或目标)、文本输入机制、以及用于交互的其它上下文因素。在一种方法中，语言模型128被设计成将多个语言模型词典利用为可被用于基于字符输入124来预测下一单词或意图单词的单词、绘文字、以及对应的评分数据(例如，条件概率、单词计数、n元模型等等)的源。来自多个词典的单词和绘文字概率和/或其它评分数据可以各种方式被组合以对可能的候选(单词和绘文字)逐一排名并且选择候选中的至少一些作为对于给定输入的最有可能的预测。如以下将更详细描述的，应用于给定交互场景的多个词典可从普通人群词典、因用户而异的词典、和/或语言模型128所提供的一个或多个因交互而异的词典中选择。与用于文本预测的绘文字的这些和其它方面有关的进一步细节可结合以下附图找到。
图2一般地在200解说了根据一个或多个实施例的文本预测示例。所描绘的示例可由参照图1描述的计算设备102以及各个组件来实现。具体来说，图2描绘了可被输出以促进与计算设备102的交互的示例用户界面126。用户界面126表示可诸如由操作系统或其它应用程序提供的用于计算设备的任何合适的界面。如所描绘的，用户界面126可包括键盘202或以其它方式被配置成使用键盘202。在这一示例中，键盘202是可被呈现和/或输出供显示在合适的显示器设备上的屏幕上键盘。在一些情形中，键盘202可被包含作为应用的一部分并且出现在对应的用户界面126内以促进文本输入、导航、以及与应用的其它交互。另外地或替代地，当文本输入是恰当的时，键盘202的表示可被选择性地由键盘输入模块展示在用户界面126内。例如，在用户激活文本输入控件(诸如搜索控件、数据表单、或文本输入框)时，键盘202可选择性地出现。如所提到的，适当配置的硬件键盘还可被用于提供输入，该输入导致文本预测被确定并且被用于促进进一步的文本输入。
在至少一些实施例中，键盘输入模块120可导致来自文本预测引擎122的一个或多个适当的预测候选的表示经由用户界面被呈现。例如，文本预测条204或其它适当的用户界面控件或工具可被配置成呈现一个或多个适当的预测候选的表示。例如，预测的文本、单词、或短语的表示可使用合适的用户界面工具来显示，诸如所示出的预测条204、下拉框、滑出式元素、弹出框、简易提示(toast)消息窗口、或者列表框等等。预测候选可被提供作为当被选择时导致对应文本的输入的可选择元素(例如，键、按钮、点击区域)。用户可通过来自用户的手206的触摸输入的方式或以其它方式来与可选择元素交互以选择所显示的候选中的一个。另外地或替代地，文本预测引擎122所推导的预测候选可被用于输入文本的自动纠正、为键盘202的一个或多个键展开底层的点击区域、或以其它方式被用于促进字符输入和编辑。
图3一般地在300解说了根据一个示例交互场景的预测的呈现。具体来说，被配置成与搜索提供者交互的用户界面126被描绘为具有用于移动电话设备的屏幕上键盘302。界面包括文本消息输入框形式的文本输入控件304。在所描述的示例中，用户已与文本输入控件交互来输入对应于部分短语的字符“Running late be”。响应于这些字符的输入，文本预测引擎122可操作用于检测字符以确定一个或多个预测候选。当这一文本预测306发生时，键盘输入模块120可检测一个或多个预测候选可用并经由用户界面126呈现这些预测候选或以其它方式来使用这些预测候选。
作为示例而非限制，图3描绘了针对输入文本“Running late be”的各个预测选项被输出在出现在键盘上方的文本预测条308中。根据此处描述的技术，预测选项既包括单词130，也包括绘文字132。具体来说，选项“there”、“home”、房子绘文字、“happy”、笑脸绘文字、“here”、“in”、以及“at”被示出作为该输入文本的可能完成。在这一布置中，在预测条中，绘文字预测与单词预测穿插在一起。也设想了其它布置，其中绘文字和单词被依次呈现、以不同分组呈现、和/或经由用户界面的不同部分或以其它方式布置在用户界面内，其中的一些示例在本文的以下中被讨论。
在该示例场景中，各选项可被配置作为用户界面的可选择元素，这些可选择元素可操作用于导致经由文本预测条308呈现的对应的预测候选的插入以通过替换字符、完成字符、插入预测等来修改输入/检测的字符。因此，如果用户通过触摸或以其它方式选择“home”选项，则搜索输入框中的输入文本可根据被选择的选项自动地被完成为“Runninglate be home”。替代地，如果用户通过触摸或以其它方式选择房子绘文字选项，则搜索输入框中的输入文本可根据被选择的选项通过在“Running late be”后插入房子绘文字来自动完成。
图3进一步描绘了屏幕上键盘的绘文字键310。绘文字键310表示可提供用于与绘文字交互的各种功能的专用的键。例如，绘文字310可被操作用于展示绘文字拣选器以促进浏览和从可用的绘文字库中选择用于消息/文档的绘文字。以下结合图8讨论了关于绘文字拣选器的一些示例细节。
另外地或替代地，绘文字键310可被配置成根据需要展示用于消息或被选择的文本串的绘文字候选。具体来说，在消息的输入期间或者在选择之前输入的文本之后按下该绘文字键可表示用户想要查看和/或输入对应于该消息的绘文字。在一种方法中，按下并保持或双扣、或其它被指定的与绘文字键310的交互可导致与被选择或以其它方式被聚焦的消息/文本有关的对应的绘文字候选经由文本预测条308出现。用于消息的多个绘文字候选可被呈现。例如，如果输入了消息“I love you,kiss！”，则针对单词“love”的爱心绘文字和针对“kiss”的其中用爱心替代眼睛的脸部绘文字可响应于用于表示用户想要查看和/或输入可用绘文字的对绘文字键310的操作而被呈现。还设想了各种其它示例。
已考虑了示例环境，现在考虑对于支持绘文字的语言模型的一些细节的讨论来进一步解说各个方面。
语言模型细节
这一章节参照图4A和4B的示例表示讨论了采用用于可包含绘文字的文本预测的语言模型的各技术的细节。
图4A一般地在400描绘了根据一个或多个实现的语言模型的表示。如所示出的，语言模型128可包括或使用作出文本预测所依赖于的多个单个语言模型词典。具体来说，图4A中的语言模型128被解说为包含普通人群词典402、因用户而异的词典404、以及因交互而异的词典406。语言模型128可由文本预测引擎122来实现以将预测适配于单个的用户和交互。为此，语言模型128可被配置成监视用户如何键入、在用户动态“高速地”键入时学习用户键入的特征，基于输入字符使用多个词典来生成条件概率等等。另外，多个单个语言模型词典中的一个或多个可被适配以使用单词130和绘文字132两者，如图4A中所表示的。绘文字可基于绘文字到单词的直接映射、绘文字使用概率、因用户而异的绘文字使用等等而被合并在语言模型内。在自动纠正和/或预测方面，模型可以与单词相同的方式来处理绘文字。
语言模型词典一般被配置成将单词和绘文字与概率和/或其它适当的评分数据(例如，条件概率、评分、单词计数、n元模型数据、频率数据等等)相关联，这些概率和/或其它适当的评分数据可被用于对可能的候选单词进行逐一排名并且选择候选中的至少一些作为对于给定文本输入最可能的预测。语言模型128可基于用户和/或因交互而异地追踪键入活动以创建和维护对应的词典。词典中包含的单词、短语、以及绘文字还可与指示系统所收集的单词和短语被使用于的特定交互场景(例如，上下文)的各种使用参数相关联。使用参数可被用于定义不同交互场景，并且过滤或以其它方式组织数据以生成各个对应的语言模型词典。各个词典中的一个或多个的不同组合可随后被相应地应用于不同交互场景。
图4B一般地在408描绘了根据一个或多个实现的各语言模型词典之间的示例关系的表示。在这一方式中，普通人群词典402表示可在计算设备102上预定义和加载的适用于普通人群的词典。普通人群词典402反映基于众多用户的共同的键入活动的针对单词、短语、以及绘文字使用的概率和/或评分数据。在一个实现中，普通人群词典402由开发者使用关于用户的键入的大量历史训练数据来构建并且可被预加载在设备上。普通人群词典402被配置成作为跨用户和设备的预测的源。换言之，普通人群词典402可表示用户群体或社区整体的普遍使用并且不针对特定个人定制。普通人群词典402可表示对于选定语言的“已知”单词、短语、以及绘文字的整个集合，例如英语用户的普遍使用。
因用户而异的词典404基于个人的实际使用来推导。因用户而异的词典404反映用户在与设备的交互过程中键入的单词、短语、以及绘文字，自适应语言模型128被配置成学习和追踪这些键入的单词、短语、以及绘文字。普通人群词典中的现有单词和绘文字可被指派给因用户而异的词典作为用户的词汇(lexicon)的一部分。尚未包含在普通人群词典中的单词、短语、以及绘文字可在被用户使用时被自动添加到因用户而异的词典404中。因用户而异的词典可因此包括普通人群词典402的子集，如图4B中所表示的。因用户而异的词典404可表示基于个人实际使用(例如，因用户而异的使用)的单词、短语、以及绘文字针对每个个人定制的条件使用概率。
因交互而异的词典406表示针对对应交互场景的因交互而异的使用。例如，人们使用的单词和绘文字以及他们键入的方式在不同情况下发生变化。如所提到的，使用参数可被用于定义不同交互场景并且在不同交互场景之间区分。此外，语言模型128可被配置成维护和管理针对多个交互场景的对应的因交互而异的语言模型词典。如图4B中所表示的，因交互而异的词典406可各自表示具有对应于与计算设备的交互的相应上下文的单词、短语、绘文字、以及评分数据的因用户而异的词典404的子集。
具体来说，可使用可与用户的键入活动相关联的对应的使用参数来定义各种交互场景。例如，与交互期间输入的单词/短语/绘文字相关联的使用参数可指示交互的一个或多个特征，包括但不限于应用身份、应用类型、人(例如，联系人姓名或目标接收者ID)、一天中的时间、日期、地理位置或地点、一年或一季中的时间、设置、人的年龄、收藏项、购买历史、与输入文本相关联的相关主题、和/或使用的特定语言等等。可形成对应于这些示例使用参数中的一个或多个以及描述交互的上下文的其它使用参数的因交互而异的词典408。
作为示例而非限制，图4B表示对应于特定应用(消息、生产力、以及体育应用)、特定位置(家、办公室)、以及特定人(妈妈、配偶)的示例的因交互而异的词典。用户通信的方式可针对这些不同场景中的每一个发生变化并且语言模型128保持追踪不同交互的差异以相应地适配预测。还表示出了图4B中的示例词典之间的一些重叠，因为用户可能跨不同的设置采用相同的单词、短语、以及绘文字中的一些。
在一个实现中，不同语言(例如，英语、德语、西班牙语、法语等)的词典可被维护并且语言模型128可在每一种语言的基础上被应用来生成和提供包括绘文字的候选。不同语言的词典可被布置成包含每一种语言的基础上的单词和绘文字两者的概率/评分数据。绘文字使用可因此针对每一种语言来追踪并且绘文字预测可基于当前活动的语言而改变。不同语言的词典可被配置成基于所收集的使用数据(例如，针对每一种语言的全体人群词典)以及因用户而异的适配和因交互而异的使用(例如，针对各个用户的因语言而异的使用)逐语言地反映绘文字到单词和短语的映射。
在其中用户可在不同语言之间切换和/或可在单条消息中使用多种语言的多语言输入场景中，包括绘文字的预测可通过组合由针对不同语言的两个或更多个词典所反映的概率/评分数据来生成。在多语言场景中，包括针对输入的文本字符所预测的单词和绘文字的预测候选的列表可通过应用此处所描述的内插技术分别针对每一种语言生成。随后，可采用第二内插来将来自每一个因语言而异的列表的单个概率组合成公共列表。以此方式，被呈现给用户或以其它方式用于促进文本输入的单词和绘文字的预测可通过内插来自用户所使用的不同语言的多个词典的概率(或以其它方式组合评分数据)来反映多种语言。
如所提到的，绘文字可在语言模型128内被作为单词来对待。词典可因此反映绘文字使用的条件概率和/或其它评分数据，这些条件概率和/或其它评分数据可被用于将绘文字与单词一起逐一排名。对于给定输入场景，语言模型128推导根据相关性排序的最高排名的绘文字和单词。最高排名的绘文字和单词可经由如此处所描述的适合的用户界面一起呈现。所采用的条件概率和评分数据可通过收集、分析、以及审阅一群用户的共同的键入活动的单词和绘文字使用数据(包括指示与单词或消息混合的绘文字使用的使用数据)来生成和调整。随着越来越多的指示实际使用的数据被收集，条件概率和评分数据可被相应调整以反映实际使用和产生更准确的预测。模型可通过考虑如此处所描述的因用户而异和因交互而异的使用来进一步调整。对于语言模型128模型的调整可跨不同词典和/或在单个语言的基础上进行。
关于这些和其它方面的更多细节结合以下示例过程和细节来讨论。
用于文本预测的绘文字的细节
这一章节结合图5、6、和11的示例过程以及图7－10的中所解说的示例用户界面和场景描述了用于包括绘文字的预测的技术。在以下讨论的各部分中，可对结合图1－4B描述的示例操作环境、组件、语言模型、以及示例做出参考。可以使用硬件、固件或软件或其组合来实现以下描述的每一个过程的各方面。过程被示为一组框，它们指定由一个或多个设备执行的操作，不一定仅限于所示出的用于由相应的框执行操作的顺序。在至少一些实现中，各过程可由经适当配置的计算设备执行，诸如图1的示例计算设备102，它包括或利用文本预测引擎122或类似功能。
图5描绘了根据一个或多个实现的其中提供预测的过程500。在与设备交互期间检测字符输入(框502)。例如，字符可通过屏幕上键盘、硬件键盘、语音命令、或其它输入机制来输入。移动电话或其它计算设备102可被配置成检测和处理用于表示在经由设备输出的用户界面内输入的字符。
根据自适应语言模型生成对应于检测到的字符的包括一个或多个预测的绘文字的一个或多个预测候选(框504)并且采用一个或多个预测候选来促进进一步字符输入以供与设备的交互(框506)。可使用此处以上和以下描述的各种不同技术以任何适合的方式生成预测。例如，计算设备可包括被配置成实现如此处所描述的支持绘文字的语言模型128的文本预测引擎122。
在操作中，语言模型128可被应用于包括单词和绘文字的特定的输入字符以通过使用和/或组合一个或多个单个词典来确定对应的预测。语言模型128可建立不同详细程度的分层次的语言模型词典(例如，普通人群、用户、交互)，这些分层次的语言模型词典可被应用于不同时间和不同场景，诸如结合图4B呈现和描述的示例词典。替代地，单个词典可被用于多个不同场景。
如图4B中所示的分层次的语言模型词典可随时间通过监视和分析用户键入的单词和绘文字以及不同单词、绘文字、以及风格被用户使用于的上下文来针对每一个个体用户创建。最初，设备可被提供普通人群词典402，在关于用户的个人风格的足够数据被收集之前，依赖于该普通人群词典402来进行文本预测。当用户开始以各种方式与设备交互时，文本预测引擎122开始学习用户的个人风格。因此，反映用户的实际使用和风格的因用户而异的词典404可被构建。进一步，与关于用户的个人风格的数据相关联的使用参数可被用于产生一个或多个因交互而异的词典406，因交互而异的词典406与由使用参数所定义的特定交互场景有关。随着越来越多的关于用户的个人风格的数据变得可用，分层次的语言模型词典可变得越来越针对和定制于该户的风格。分层次的语言模型词典中的一个或多个词典可被应用以产生针对与设备的后续交互的文本预测。
为了推导预测，语言模型128被配置成针对不同交互场景选择性地使用层次中的各词典的不同组合以标识基于输入文本的候选并且对各个候选逐一排名。一般来说，用于对候选进行排名的评分或值可以指定方式通过数学地组合来自与给定交互场景相关联的各个词典的贡献来计算。来自多个词典的贡献可以各种方式来组合。在一个或多个实施例中，语言模型128被配置成使用计算与包含在多个词典中的单词相关联的评分数据的加权组合的排名或评分算法。
相应地，绘文字可以各种方式与文本预测和自动纠正合并在一起。在一个示例中，绘文字可经由映射表或其它合适的数据结构直接与单词相关。因此，当用户键入单词并且(基于映射表)与单词/短语直接相关的对应的绘文字可用时，该绘文字可被提供作为预测。例如，如果用户键入“love”，则可提供爱心绘文字作为用于替代love或插入在love后的候选。也可在每次对应单词被作为预测提供时显示绘文字。如以下提到的，如果单词仍然被形成并且绘文字预测被敲击，则被选择的绘文字可替换该单词。
另外，对于部分键入的单词和/或下一“单词”的预测的绘文字可基于在前输入来确定并作为候选提供。在这种情况下，用户可输入单词、部分单词、短语、或部分短语，而一个或多个绘文字可基于该输入根据此处所描述的语言模型来预测。例如，在键入“Meet mefor a”之后，文本输入模型可确定单词“beer”或“coffee”作为该短语的预测。在这种情况下，预测条或其它用户界面元素可被配置成展示文本“beer”和“coffee”以及对应于beer(啤酒)和coffee(咖啡)的绘文字。用户可随后选择文本或绘文字以插入该选择。在一种方法中，对应于预测的单词的绘文字可被紧跟该预测的单词显示在预测候选列表中。
如所提到的，绘文字的因用户而异的使用还可随时间被学习并可以与可被添加到用户的个人词汇的单词相同的方式被添加到因用户而异的词典。例如，如果用户频繁地使用特定短语和绘文字的组合，诸如“Crazy,Crazy”后面是惊吓的脸的绘文字，则这一组合可被添加到该用户的因用户而异的词典。随后，如果用户键入或部分键入“Crazy,Crazy”，则系统可自动提供该受惊吓的脸作为下一单词预测。
另外，可响应于与绘文字相关的被选择的单词或短语进行的用户交互来根据需要将绘文字展示为候选。这可发生在预测场景以及整个用户体验中。例如，当用户敲击映射到绘文字的单词(或以其它方式以用于选择该单词的制定方式与该单词交互)时，对应的绘文字可被展示作为该单词的替代候选。在一种方法中，用户可通过重复敲击在单词和绘文字之间来回切换。此外，如果用户敲击绘文字，他们可被提供等同的单词。如果不止一个绘文字被映射到一个单词并且用户敲击该绘文字，则其它绘文字可在基于排名的有序列表中被提供作为替代候选。多个绘文字可被同时展示或响应于连续敲击逐一展示。以下描述用于生成和使用包括绘文字的预测候选的各技术的进一步示例和细节。
图6描绘了根据一个或多个实现的其中包括绘文字的预测被生成并经由用户界面呈现的过程600。为文本输入场景生成包括单词候选和绘文字候选的预测候选(框602)。这可用任何适当的方式来发生。在一种方法中，如之前描述的，根据使用参数来定义交互场景。文本预测引擎122可被配置成基于使用参数将当前交互识别为与定义的交互场景匹配。为此，文本预测引擎122可通过查询应用、与操作系统交互、解析消息内容或文档内容、检查元数据等来收集或以其它方式获得关于当前交互的上下文信息。文本预测引擎122可基于收集的信息创建针对交互的一个或多个使用参数。随后，文本预测引擎122可采用语言模型128来标识要用于与所创建的使用参数相匹配的交互场景的一个或多个词典。
具体来说，使用来自语言模型128的概率来计算该交互场景的一个或多个预测。例如，语言模型词典可包含指示单词和绘文字使用的条件概率的评分数据。条件概率可基于n元单词模型，该n元单词模型为可被用于为预测的序列中的“n”个单词计算概率。例如，可实现三元(n＝3)或二元(n＝2)单词模型，当然还设想了具有更高阶数(n＝4,5,...,x)的模型。如所提到的，绘文字可在模型内被作为单词对待，并且相应地，可被构建到n元单词模型的条件概率中。排名分数可反映来自语言模型128所提供的各个词典中的任意两个或更多个的概率和/或其它适当的评分数据的组合。包括单词和绘文字的候选可基于从语言模型128推导的评分来逐一排名。
如所提到的，构想了各个不同和对应的因交互而异的词典。每个交互场景可与指示交互的上下文特征的一个或多个使用参数有关。交互场景一般根据用户的键入风格和行为可能发生变化的上下文特征来定义。此处所描述的语言模型技术底层的一个概念是用户键入不同单词并且键入风格在不同场景中发生变化。因此，不同词典可与不同交互场景相关联并且可连同不同交互场景来使用。
作为示例而非限制。不同交互场景可与以下相关：正被使用的应用或应用类型(例如，应用类别)、用户与其交互的个人或联系人、设备的地理位置(例如，城市、州、国家)和/或设置(例如，办公室、家、或学校)、根据主题关键词创建的主题(例如，超级碗、夏威夷、疯狂三月等)、基于时间的参数(例如，一天中的时间(日间/夜间)、一年中的时间(春、夏、秋、冬)、月份、假期)、不同语言(例如，英语、西班牙语、日语等)和/或以上描述的示例的组合。还可使用多个因语言而异的词典来生成多语言文本预测。相应地，对于单词和绘文字的预测可依赖于当前交互场景和对应的词典来推导，使得可响应于在不同上下文中的相同输入生成不同预测。
包括单词候选和绘文字候选两者的预测候选被呈现在所展示的用于文本输入场景的用户界面内(框604)。根据此处所描述的技术生成的文本预测候选可以各种方式来使用，方式包括但不限于作为预测候选展示以及被用于针对误拼写或不正确输入的术语/绘文字进行自动纠正。此外，利用预测候选的用户界面126可以各种方式来配置以利用包括绘文字132的预测和/或绘文字到单词的直接映射。一般来说，绘文字132可被作为单词130来对待并且可与单词候选一起被显示在用户界面126中。这可包括在预测条308中展示作为可选择项的绘文字来作为预测列表的一部分。在各个安排中，绘文字预测可与单词预测穿插在一起，绘文字可显示在单词预测之前或之后，绘文字和单词可被分别编组，和/或绘文字和单词可被提供在界面的不同的分开部分(例如，用于绘文字和单词预测的分开的预测条)。另外地，用户界面可被配置成支持通过触摸选择或其它指定的交互在绘文字和对应的单词之间来回互换。支持绘文字预测的用户界面的这些和其它方面的一些示例结合图7－10来描绘和描述。
具体来说，图7一般地在700示出被配置成经由示例预测条308呈现包括单词130和绘文字132的预测的示例用户界面126。在这一示例中，部分短语“Let’s grab”被呈现为被输入在文本输入控件702中的具有文本消息输入框文本形式的输入。响应于这一输入，可使用此处所描述的对应的词典和评分技术来生成预测候选。候选可被逐一排名并且可经由预测条308呈现数个最接近的匹配。
在这一示例中，在预测条308中，绘文字预测被显示为与单词候选穿插在一起。此处，绘文字包括直接匹配于预测的单词的绘文字，诸如对于lunch(午餐)的刀叉绘文字、对于coffee(咖啡)的咖啡绘文字、以及对于beer(啤酒)的啤酒绘文字。这些绘文字可经由映射表作为直接匹配而被推导出。在一个布置中，绘文字的直接匹配可在用户界面中被显示为紧跟对应的单词，如图7中所表示的。替代地，直接匹配可被显示在对应的单词之前。还设想了其它布置，其中绘文字的直接匹配连同对应的单词被一起显示。此外，绘文字可包括使用被选择的词典和评分/排名技术以与单词预测相同的方式生成为候选的一个或多个预测的绘文字。以此方式预测的绘文字可以或可以不直接匹配被预测的单词。作为示例，甜甜圈绘文字被显示在预测条中作为可使用所描述的技术生成的预测的绘文字的替代示例。
图7一般地在704示出也被配置成经由示例预测条308呈现包括单词130和绘文字132的预测的另一示例用户界面126。在这一情况中，预测条308包括绘文字预测部分706和单词预测部分708作为其中可作出对应预测的分开的不同部分。绘文字预测部分706可呈现并允许选择最高排名的绘文字候选，并且类似地，单词预测部分708可呈现并允许选择最高排名的单词候选。绘文字预测部分706和单词预测部分708可被配置成为分开的预测条，如图7中所表示的。虽然被示为彼此毗邻，但是不同部分可被展示在用户界面的不同位置处。两个部分可在为其生成预测的交互场景期间被同时地自动显示。另外地或替代地，用户可以能够通过选择指定的键、切换元素、或其它控件来选择性地切换其中的一个部分或两个部分的显示的开或关。在另一布置中，绘文字预测部分706和单词预测部分708可响应于用户选择交替显示在预测条308内。例如，单词预测部分708可被显示，而键盘的绘文字键、图标、或其它切换控件可被展示以允许用户选择切换到绘文字预测部分706。响应于用户选择绘文字切换控件，具有绘文字预测的绘文字预测部分706可被呈现以替代单词预测部分708。以此方式，用户可以能够在一般被在不同时间交替显示在界面中的相同位置处的绘文字预测部分706和单词预测部分708之间来回切换。
图8一般地在800处示出示例场景，其中被作为预测显示的绘文字可被用于访问附加的绘文字预测和/或绘文字选项。在这一情况中，绘文字被配置成促进用户界面126的导航以浏览和选择绘文字。导航可基于被呈现在用户界面中的预测的绘文字。类似的导航可响应于与已被输入(例如，在文本输入控件中或以其它方式)的绘文字的交互来发生以编辑/改变输入的绘文字为一个不同的绘文字。
在示例场景800中，在802呈现了对于刀叉绘文字的用户选择。该选择可通过在该绘文字上敲击、在该绘文字上按下并保持手指、或以其它方式来作出。响应于这一选择，绘文字拣选器804可被展示在用户界面126中。绘文字拣选器804可被呈现以替代键盘202，如图8中所示。另外地或替代地，绘文字拣选器804和键盘202可以水平或垂直拆分的布置的方式被同时显示和/或绘文字拣选器804可被叠放作为呈现在键盘表示之上的用户界面元素。绘文字拣选器804可包括用于显示和允许选择多个绘文字的绘文字导航部分806。绘文字拣选器804还可包括绘文字分类条808，该绘文字分类条808允许选择各个绘文字分类，诸如时间、笑容符、食物、假日、以及体育分类，如图8中所表示的。绘文字分类条808还包括切换开关标签“abc”，其可被选择以关闭绘文字拣选器804并切换回键盘202。
在一个实现中，绘文字导航部分806被配置成默认显示被确定为针对该输入场景的最高排名的绘文字候选的绘文字。此外，对应于来自文本预测引擎122的预测的绘文字的绘文字分类(未示出)可与其它示例分类一起被包括。另外地或替代地，绘文字拣选器804可被自动导航到对应于从预测批次中选择的绘文字的分类以发起与拣选器的交互。因此，响应于与被配置成访问绘文字拣选器的预测的绘文字的交互(诸如按下并保持预测的绘文字)，与预测的绘文字有关的多个绘文字可经由绘文字拣选器来呈现。
在其中采用了绘文字分类的布置中，当经由绘文字预测访问和展示绘文字拣选器804时，绘文字分类可被自动选择。用户可随后能够选择预测的绘文字中的一个和/或导航附加分类以从其它分类中的一个中选择绘文字(例如，来自除了预测的绘文字之外的拣选器中的绘文字选项)。然而，在所描绘的示例中，拣选器804被描绘为导航到对应于在802处被选择的刀叉绘文字的食物分类。在这一示例中，绘文字导航部分806可包括该分类中的预测的绘文字以及其它绘文字选项。因此，绘文字拣选器804可被配置成促进对预测的绘文字的选择以及响应于用户从预测条、输入控件、或用户界面126中的其它的绘文字呈现中选择一个绘文字的按需绘文字选项。
图9一般地在900处示出用于在单词和绘文字之间切换的示例场景。具体来说，如902处所示，诸如“lunch(午餐)”之类的单词130可被用户选择。在这一示例中，单词“lunch”被呈现为之前已被输入到界面126的文本输入控件中。响应于这一选择，单词130可被自动替换为对应的绘文字132，诸如图9中示出的刀叉绘文字。类似的，对904处所表示的绘文字的选择可导致该绘文字被自动替换为对应的单词130。因此，用户可容易地在单词和对应的绘文字之间来回切换。该绘文字切换功能可基于将绘文字映射到对应的单词和短语的映射表来实现。如果基于该映射，单词被映射到不止一个的绘文字，则连续的选择可导致不同绘文字选项被连续提供和/或被呈现作为文本输入控件中的备选。在提供了每一个绘文字选项后，下一次选择可返回到对应的单词。以此方式，用户可以能够在被映射到对应单词的绘文字列表中循环。
在一个实现中，指示符可被呈现在映射到绘文字的单词附近以向用户提供该单词存在可用的绘文字选项的指示。在一种方法中，手指悬停在单词附近或上方可导致指示符出现，诸如图9中表示的被配置成小的笑脸的指示符906。随后可通过选择单词或选择指示符本身来访问单词的绘文字选项。还设想了其它指示符，诸如其它图形、文本的颜色变化、高亮显示、或连同单词一起显示的微光等等。
另外地或替代地，对902处的单词130的选择可导致一个或多个对应的绘文字选项经由用户界面126中的选择元素出现。例如，在图9的示例中，对于被选择的单词“lunch”的三个可能的绘文字选项被描绘为出现在908处。选项可经由如所示出的预测条来出现或者经由用户界面中展示的另一选择元素来出现。例如，绘文字选项可经由滑出窗口呈现，该滑出窗口从文本输入控件、覆盖框、弹出元素或其它中滑出。用户可随后在各个绘文字选项之间选择以将单词“lunch”替换为所选择的绘文字。
显然，类似的技术可被用于在不同应用、文档、输入控件、用户界面、以及交互场景中用以在单词和绘文字之间来回切换。因此，此处刚刚描述的绘文字切换功能可跨设备/平台和/或在整个用户体验中实现。
图10一般地在1000处示出用于基于输入的字符按需选择绘文字的示例场景。此处，对于部分短语“Let’s Grab”的预测候选可再次被解说为经由预测条308出现。在这一示例中，预测是单词，然而如此处所讨论的，绘文字也可被包括。在这一示例中，在1002处表示了选择以导致对于被选择的单词的绘文字选项经由用户界面的按需呈现。在一个实现中，选择可通过用手指按住和保持单词来实行。也可采用其它技术来选择单词。对单词“lunch”的选择可导致包括针对lunch(午餐)的一个或多个绘文字的滑出窗口出现在1004。具体来说，滑出窗口包括被映射到午餐的刀叉绘文字。如果多个绘文字被映射到午餐，则滑出窗口的大小可扩大以容纳多个绘文字的显示或者绘文字可响应于连续敲击经由滑出窗口依次显示。还设想了其它元素和技术来按需显示绘文字。对应于预测的单词的绘文字的可用性可可选地通过结合图9讨论的指示符906来指示。
替代刚刚描述的启动滑出元素，选择1002处的单词可导致将预测条中的预测替换为针对输入场景预测的一个或多个绘文字。例如，在图10中的预测条308中出现的单词预测可响应于选择1002处的单词而被替换为1006处显示的针对短语“Let’s grab”的绘文字预测。替代地，在图10中的预测条308中出现的单词预测可响应于选择1002处的单词而被替换为1008处显示的穿插的单词和绘文字预测。
在另一布置中，对预测条本身和/或显示在预测条中的项的选择可使得用户能够通过连续的选择在不同的预测集之间来回切换和/或在其中循环。例如，用户可通过选择并保持预测条308或该条中呈现的项来选择切换操作。这一动作可导致对应预测的不同布置在每次按下并保持之后经由预测条308接连出现。例如，图10中示出的单词预测可响应于首次按下并保持而被替换为1008处的穿插的布置。随后的按下并保持可导致该穿插的布置被替换为1006处的多个绘文字布置。再次的按下并保持可返回到单词预测。
如果选择了特定项，在不同布置之间的循环可与被选择的项相关。因此，如果按下并保持发生在图10中所示的单词“lunch”处，则匹配于午餐的绘文字可被布置在预测条308中。换言之，映射到午餐的刀叉绘文字和如果合适的话的其它绘文字可经由预测条308来布置而不是经由1004处显示的滑出窗口来布置。再次的按下并保持选择可导致在1006和1008处显示的其它布置中循环并返回到最初的文本预测的布置。这一方法使得用户能够快速地访问并与不同预测布置交互，这些不同预测布置中的至少一些包括绘文字选项。用户可随后经由该布置来作出选择以导致被选择的单词或绘文字的输入。
图11描绘了其中使用来自多个词典的评分数据的加权组合来选择包括绘文字的预测候选的过程1100。基于一个或多个检测到的字符来标识要被用作为预测的源的一个或多个词典(框1102)。例如，可根据之前描述的支持绘文字的语言模型128来要为给定交互而应用的词典。例如，文本预测引擎122可根据与检测到的字符相匹配的一个或多个使用参数来标识词典。如果可用的话，因用户而异的和/或因交互而异的词典可被标识并由文本预测引擎122用作为生成预测时的组件。如果不可用，则文本预测引擎122可默认单独使用普通人群词典402。
使用与一个或多个词典中包含的单词相关联的评分数据的加权组合来将绘文字与单词一起逐一排名作为检测到的字符的预测候选(框704)。根据该排名选择一个或多个最高排名的绘文字和单词作为检测到的字符的预测候选(框706)。对候选的排名和选择可以各种方式来进行。总得来说，用于对预测候选进行排名的评分可通过组合来自多个词典的贡献来计算。例如，文本预测引擎122和语言模型128可被配置成实现计算评分数据的加权组合的排名或评分算法。加权组合可被设计成对来自普通人群词典和至少一个其它词典的预测进行内插。该其它词典可以是因用户而异的词典、因交互而异的词典、或者甚至是针对不同语言的另一个普通人群词典。
如所提到的，语言模型词典包含与用于文本预测的概率和/或其它合适的评分数据相关联的单词和绘文字。相关预测候选的列表可通过对从多个词典中推导出的针对被标识为文本字符的可能的预测候选的单词的各个评分或概率进行内插来从多个词典中生成。因此，组合的或适配的评分可被计算作为两个或更多个语言模型词典的各个评分组件的加权平均。组合的评分可被用于对候选逐一排名。随后可根据排名选择指定数量个在前的候选。例如，排名前五或前十的候选的列表可被生成以用于向用户呈现预测候选。对于自动纠正，具有最高评分的最可能候选可被选择并应用以执行自动纠正。预测和自动纠正将绘文字与单词一起考虑。
一般来说，此处所描述的对语言模型词典进行内插可通过以下公式来表示：
Sc＝W1S1+W2S2...WnSn
其中Sc是通过对来自每一个单个词典的由相应的内插权重W1,W2,...Wn所加权的评分S1,S2,...Sn求和来计算的组合的评分。以上的通用公式可被应用以从使用各种类型的评分数据的两个或更多个词典进行内插。作为示例而非限制，评分数据可包括概率、计数、频率等中的一个或多个。各个组件可从相应的词典中推导出。预定义或动态生成的权重可被分派给各个组件。因此，组合的评分通过对分别根据经分派的权重加权的各个组件进行求和来计算。
在一个实现中，可采用线性内插来组合来自两个词典的概率。来自两个源的概率的内插可通过以下公式表示：
Pc＝W1P1+W2P2
其中Pc是通过对来自每一个单个词典的由相应的内插权重W1,W2所加权的概率P1P2求和来计算的组合的概率。该线性内插方法还可根据以上的通用公式被扩展到两个以上的源。
被分派给公式的各个组件的内插权重可以各种方式来计算。例如，权重可以经验地确定并且被分派作为用于评分算法的各个权重参数。在一些实现中，权重参数可由用户配置以改变对不同词典的影响、选择性地开启/关闭自适应语言模型、或者以其它方式调整计算。
在至少一个实现中，内插权重可彼此依赖。例如，W2可被设置成1-W1，其中W1在0到1之间。对于以上示例，这导致以下的公式：
Pc＝W1P1+(1-W1)P2
另外地或替代地，权重参数可根据内插函数动态地调整。内插函数被设计为自动调整权重以便基于一个或多个加权因子改变为评分的不同组件的相对贡献。在前述等式中，这可通过动态地设置W1的值(W1的值改变与P1和P2两者相关联的权重)来进行。
作为示例，内插函数可被配置成考虑诸如总的可用用户数据的量(例如，总计数)、单个单词/绘文字的计数或频率、单词/绘文字有多近期地使用等等之类的因素。一般来说，随着为用户收集更多数据，权重可适配以增加各个用户的词汇的影响，并且还增加被更频繁使用的各个单词的影响。另外，被越近期使用的单词和绘文字的权重可被调整以增加该近期单词的影响。内插函数可采用跨设备和/或特定交互场景的与用户的键入活动相关联的总的计数和时序数据来相应地调整权重。因此，取决于被选择的交互场景和对应词典，可采用不同的权重。
因此，权重可基于收集的用户数据的总计数或其它的量的度量、候选的单个计数、和/或候选有多近期地被使用中的一个或多个来变化。在一种方法中，内插函数可被配置成在最小值和最大值(诸如0到0.5)之间适配W1的值。该值可根据被选择的具有给定斜率的线性等式来在最小值和最大值之间变化。
内插函数还可设置各个候选计数的阈值值。在阈值之下，W1的值可被设置为零。这使得在单词被考虑用于预测之前出现候选的最小数量个实例(例如，2个、3个、10个等)。使用该阈值可避免误拼写的和搞错的输入被立即用作为因用户而异的词汇的一部分。
为了考虑最近程度，W1的值可通过基于候选有多近期地被使用的倍数来调整。倍数的值可以基于最近期的出现或者指定数量个最近期出现(例如，最后10个或最后5个)的移动平均值。作为示例，倍数可基于特定候选被最后使用是在多少天或多少个月之前。倍数可增加被更近期输入的单词的概率/评分的贡献。例如，倍数1.2可被应用于前一个月中使用过的单词和绘文字，并且这一值可针对每一个额外的月减少直到对于在一年或更久之前使用的单词为值1。显然，各种其它值和时间窗口可被采用来实现考虑了最近程度的方案。还设想了考虑最近程度的其它技术，包括但不限于将基于最近程度的因子添加到内插等式中、根据随着最后出现的时间变长的衰减函数而对分派给单词的权重打折等等。
还可实现用于在指定的时间段之后移除旧候选的机制。这可以用各种方式来达成。在一种方法中，周期性的清除操作可标识已未被使用达一指定时间窗口(诸如一年或十八个月)的候选。被标识的单词和绘文字被从用户的定制词汇中移除。另一方法是在指定的时间窗口之后将权重设置为零。此处，可保留旧项目的数据(假定有足够的空间来这么做)，但是零权重避免了系统将旧单词用作为候选。如果用户开始再次使用该项，则单词或绘文字可与预先存在的历史一起被复活。当然，可用存储空间的量可确定多少键入活动被保留以及何时清理旧单词的数据。
一旦使用刚刚描述的技术对单词和绘文字进行了排名和选择，被选择的绘文字与被选择的单词一起被使用以促进文本输入(框1108)。例如，绘文字可经由之前讨论的各个用户界面被提供作为预测的候选。绘文字预测可与单词预测穿插在一起或者经由分开的用户界面元素来展示。绘文字还可被用于自动纠正。此外，将绘文字映射到单词的映射表可被用于促进将绘文字与对应单词一起表示并且在整个用户体验中在单词和绘文字之间容易地切换。
已描述了与用于文本预测的绘文字有关的一些示例细节和技术，现在考虑可被用于此处所描述的一个或多个实现中的示例系统。
示例系统和设备
图12示出了包括示例计算设备1200的示例系统1202，该示例计算设备802代表可以实现本文所述的各种技术的一个或多个计算系统和/或设备。计算设备1202可以是，例如，服务提供方的服务器、与客户端相关联的设备(例如，客户端设备)、片上系统、和/或任何其他合适的计算设备或计算系统。
所示的示例计算设备1202包括处理系统1204、一个或多个计算机可读介质1206、以及相互通信地耦合的一个或多个I/O接口1208。尽管没有示出，计算设备1202可进一步包括系统总线或将各种组件相互耦合的其它数据和命令传输系统。系统总线可以包括不同总线结构中的任一个或其组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线体系结构中的任一种的处理器或局部总线。也构想了各种其它示例，诸如控制和数据线。
处理系统1204表示使用硬件执行一个或多个操作的功能。因此，处理系统1204被示为包括可被配置为处理器、功能块等的硬件元件1210。这可包括在作为专用集成电路或使用一个或多个半导体构成的其它逻辑设备的硬件中的实现。硬件元件1210不受形成它们的材料或者其中利用的处理机制的限制。例如，处理器可以由半导体和/或晶体管(例如，电子集成电路(IC))构成。在这一上下文中，处理器可执行指令可以是可电子地执行的指令。
计算机可读介质1206被示为包括存储器/存储1212。存储器/存储1212表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储1212可包括易失性介质(如随机存取存储器(RAM))和/或非易失性介质(如只读存储器(ROM)、闪存、光盘、磁盘等等)。存储器/存储1212可包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如闪存、可移动硬盘驱动器、光盘等等)。计算机可读介质1206可以下面进一步描述的各种方式来配置。
输入/输出接口1208表示允许用户向计算设备1202输入命令和信息的功能，并且还允许使用各种输入/输出设备向用户和/或其他组件或设备呈现信息。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、用于语音操作的麦克风、扫描仪、触摸功能(例如，电容性的或被配置来检测物理接触的其它传感器)、照相机(例如，可采用可见或诸如红外频率的不可见波长来将不涉及触摸的移动检测为手势)，等等。输出设备的示例包括显示设备(例如，监视器或投影仪)、扬声器、打印机、触觉响应设备等等。计算设备1202可进一步包括用于实现有线和无线通信的各种组件，包括例如用于网络通信的网络接口卡和/或用于支持无线和/或移动通信的各个天线。设想了各种不同类型的天线，包括但不限于一个或多个Wi-Fi天线、全球导航卫星系统(GNSS)或全球定位系统(GPS)天线、蜂窝天线、近场通信(NFC)214天线、和/或蓝牙天线等等。因此，计算设备1202可以下面进一步描述的各种方式来配置以支持用户交互。
此处可以在软件、硬件元件或程序模块的一般上下文中描述各种技术。一般而言，此类模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、组件、数据结构等等。本文使用的术语“模块”、“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的各特征是平台无关的，从而意味着该技术可在具有各种处理器的各种商用计算平台上实现。
所描述的模块和技术的实现可以被存储在某种形式的计算机可读介质上或跨某种形式的计算机可读介质传输。计算机可读介质可包括可由计算设备1202访问的各种介质。作为示例而非限制，计算机可读介质可包括“计算机可读存储介质”和“通信介质”。
“计算机可读存储介质”指相对于仅信号传输、载波、或信号本身而言，允许对信息的存储的介质和/或设备。因此，计算机可读存储介质不包括信号承载介质或信号本身。计算机可读存储介质包括以适合于存储如计算机可读指令、数据结构、程序模块、逻辑元件/电路、或其他数据等的方法或技术来实现的诸如易失性和非易失性、可移动和不可移动介质和/或存储设备的硬件。该计算机可读存储介质的示例包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、硬盘、磁带盒、磁带、磁盘存储或其它磁存储设备、或者可适用于存储所需信息并可由计算机访问的其它存储设备、有形介质或制品。
“通信介质”指的是被配置为诸如经由网络向计算设备1202的硬件传输指令的信号承载介质。通信介质通常用诸如载波、数据信号、或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据。通信介质还包括任何信息传送介质。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线路连接，以及无线介质，诸如声学、RF、红外线和其他无线介质。
如先前所描述的，硬件元件1210和计算机可读介质1206代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑，其可在某些实施例中被采用来实现此处描述的技术的至少某些方面。硬件元件可包括集成电路或片上系统、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)，和用硅或其它硬件设备实现的组件。在此上下文中，硬件元件可以充当处理设备，该处理设备执行由该硬件元件以及用于存储供执行的指令的硬件设备(例如前面描述的计算机可读存储介质)所体现的指令、模块和/或逻辑所定义的程序任务。
前面的组合也可被采用来实现本文所述的各种技术。从而，软件、硬件、或程序模块(包括文本预测引擎122、自适应语言模型128、以及其它程序模块)可被实现为体现在某种形式的计算机可读介质和/或由一个或多个硬件元件1210体现的一个或多个指令和/或逻辑。计算设备1202可被配置成实现对应于软件和/或硬件模块的特定指令和/或功能。因此，将模块实现为可由计算设备1202执行为软件的模块可至少部分以硬件完成，例如，通过使用计算机可读存储介质和/或处理系统的硬件元件1210。指令和/或功能可以是一个或多个制品(例如，一个或多个计算设备1202和/或处理系统1204)可执行/可操作的，以实现此处描述的技术、模块、以及示例。
如在图12中进一步例示的，示例系统1200使得用于当在个人计算机(PC)、电视设备和/或移动设备上运行应用时的无缝用户体验的普遍存在的环境成为可能。服务和应用在所有三个环境中基本相似地运行，以便当使用应用、玩视频游戏、看视频等时在从一个设备转换到下一设备时得到共同的用户体验。
在示例系统1200中，多个设备通过中央计算设备互连。中央计算设备对于多个设备可以是本地的，或者可以位于多个设备的远程。在一个实施例中，中央计算设备可以是通过网络、因特网或其他数据通信链路连接到多个设备的一个或多个服务器计算机的云。
在一个实施例中，该互连架构使得功能能够跨多个设备来递送以向多个设备的用户提供共同且无缝的体验。多个设备的每一个可具有不同的物理要求和能力，且中央计算设备使用一平台来使得为设备定制且又对所有设备共同的体验能被递送到设备。在一个实施例中，创建目标设备的类，且使体验适应于设备的通用类。设备类可由设备的物理特征、用途类型或其他共同特性来定义。
在各种实现中，计算设备1202可采取各种各样不同的配置，诸如用于计算机1214、移动设备1216和电视机1218用途。这些配置中的每一个包括可具有一般不同的构造和能力的设备，并且因而计算设备1202可根据不同的设备类中的一个或多个来配置。例如，计算设备1202可被实现为计算机1214类的设备，该类包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等。
计算设备1202还可被实现为移动设备1216类的设备，该类包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备。计算设备1202还可被实现为电视机1218类的设备，该类包括在休闲观看环境中具有或连接到通常更大的屏幕的设备。这些设备包括电视机、机顶盒、游戏控制台等。
本文所描述的技术可由计算设备1202的这些各种配置来支持，且不限于在本文描述的各具体示例。这是通过在计算设备1202上包括文本预测模块122来示出的。文本预测模块122和其他模块的功能也可被全部或部分通过分布式系统的使用(诸如如下所述的经由平台1222通过“云”1220)来实现。
云1220包括和/或代表资源1222的平台1224。平台1222抽象云1220的硬件(如，服务器)和软件资源的底层功能。资源1224可包括可在计算机处理在位于计算设备1202远程的服务器上执行时使用的应用和/或数据。资源1224也可包括在因特网上和/或通过诸如蜂窝或Wi-Fi网络之类的订户网络上提供的服务。
平台1222可抽象资源和功能以将计算设备1202与其他计算设备相连接。平台1222还可用于抽象资源的缩放以向经由平台1224实现的资源1222所遇到的需求提供对应的缩放级别。因此，在互联设备的实施例中，本文描述的功能的实现可分布在系统1200上。例如，该功能可部分地在计算设备1202上以及经由抽象云1222的功能的平台1220来实现。
结语
尽管已经用对结构特征和/或方法动作专用的语言描述了本技术，但可以理解，所附权利要求书中的主题不必受公开的这些具体特征或动作的限制。相反，这些具体特征和动作是作为实现所要求保护的主题内容的示例形式而公开的。

Claims (10)

1.一种用于将绘文字用于文本预测的方法，包括：
检测与设备的图形用户界面的交互期间的字符的输入；
生成至少两个预测候选，所述至少两个预测候选包括根据语言模型对应于检测到的字符的一个或多个预测的绘文字以及与预测的绘文字相对应的至少一个单词；
将所述至少两个预测候选的表示呈现在显示在所述设备的图形用户界面上的预测条上；
采用所述至少两个预测候选来促进进一步的字符输入以供与所述设备的交互；以及
允许基于与所述语言模型相关联的直接将绘文字映射到单词的映射表，响应于触摸显示在所述设备的图形用户界面上的预测条中的单词或对应的绘文字在与所述设备的交互期间在绘文字和单词之间切换。
2.如权利要求1所述的方法，其特征在于，所述语言模型被配置成在个体的基础上将文本预测引擎所作出的预测适配于用户的键入风格，所述键入风格包括因用户而异的绘文字使用。
3.如权利要求1所述的方法，其特征在于，所述语言模型被设计成利用多个语言模型词典作为单词、绘文字、以及对应的评分数据的源，所述评分数据基于对一群用户的总体的键入活动的单词和绘文字使用数据的收集和分析来调节。
4.如权利要求1所述的方法，其特征在于，生成至少两个预测候选包括计算与包含在与所述语言模型相关联的多个词典中的单词和绘文字相关联的评分数据的加权组合以计算所述预测候选的评分。
5.如权利要求4所述的方法，其特征在于，生成一个或多个文本预测候选包括基于所计算的评分对包括单词和绘文字的预测候选逐一排名。
6.如权利要求1所述的方法，其特征在于，进一步包括因用户而异地收集关于绘文字使用的数据以为所述语言模型创建反映绘文字使用的因用户而异的词典。
7.如权利要求1所述的方法，其特征在于，生成至少两个预测候选包括基于所述语言模型的直接将绘文字映射到单词的映射表来将对应于预测的单词的一个或多个绘文字标识为预测候选。
8.如权利要求1所述的方法，其特征在于，允许基于与所述语言模型相关联的直接将绘文字映射到单词的映射表来在与所述设备的交互期间在绘文字和单词之间切换包括：
响应于对用于引起切换的特定单词的选择而在特定单词和对应的绘文字之间切换；以及
响应于对用于引起切换的特定绘文字的选择而在特定绘文字和对应的单词之间切换。
9.如权利要求1所述的方法，其特征在于，采用所述至少两个预测候选包括经由所述设备的用户界面呈现一个或多个预测候选的表示以供用户选择以自动地插入被选择的候选以通过替换或在检测到的字符后插入来修改检测到的字符。
10.如权利要求1所述的方法，其特征在于，采用至少两个预测候选包括经由连同所述设备的屏幕上键盘一起展示的预测条来呈现一个或多个预测候选的表示以供用户选择。
CN201480055018.XA 2013-10-03 2014-10-01 用于将绘文字用于文本预测的方法 Active CN105683874B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/045,461 US20150100537A1 (en) 2013-10-03 2013-10-03 Emoji for Text Predictions
US14/045,461 2013-10-03
PCT/US2014/058502 WO2015050910A1 (en) 2013-10-03 2014-10-01 Emoji for text predictions

Publications (2)

Publication Number Publication Date
CN105683874A CN105683874A (zh) 2016-06-15
CN105683874B true CN105683874B (zh) 2022-05-10

Family

ID=51871267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480055018.XA Active CN105683874B (zh) 2013-10-03 2014-10-01 用于将绘文字用于文本预测的方法

Country Status (5)

Country Link
US (1) US20150100537A1 (zh)
EP (1) EP3053009B1 (zh)
KR (1) KR102262453B1 (zh)
CN (1) CN105683874B (zh)
WO (1) WO2015050910A1 (zh)

Families Citing this family (286)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8074172B2 (en) 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9424246B2 (en) 2009-03-30 2016-08-23 Touchtype Ltd. System and method for inputting text into electronic devices
GB0905457D0 (en) 2009-03-30 2009-05-13 Touchtype Ltd System and method for inputting text into electronic devices
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US20130159919A1 (en) 2011-12-19 2013-06-20 Gabriel Leydon Systems and Methods for Identifying and Suggesting Emoticons
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10990270B2 (en) 2012-05-09 2021-04-27 Apple Inc. Context-specific user interfaces
US9459781B2 (en) 2012-05-09 2016-10-04 Apple Inc. Context-specific user interfaces for displaying animated sequences
US10613743B2 (en) * 2012-05-09 2020-04-07 Apple Inc. User interface for receiving user input
US9547425B2 (en) 2012-05-09 2017-01-17 Apple Inc. Context-specific user interfaces
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8989773B2 (en) 2013-01-29 2015-03-24 Apple Inc. Sharing location information among devices
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10430894B2 (en) 2013-03-21 2019-10-01 Khoros, Llc Gamification for online social communities
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015061700A1 (en) * 2013-10-24 2015-04-30 Tapz Communications, LLC System for effectively communicating concepts
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US10565219B2 (en) 2014-05-30 2020-02-18 Apple Inc. Techniques for automatically generating a suggested contact based on a received message
US10579212B2 (en) 2014-05-30 2020-03-03 Apple Inc. Structured suggestions
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US20150350118A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Canned answers in messages
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10382378B2 (en) 2014-05-31 2019-08-13 Apple Inc. Live location sharing
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
CN104063427A (zh) * 2014-06-06 2014-09-24 北京搜狗科技发展有限公司 一种基于语义理解的表情输入方法和装置
CN116243841A (zh) 2014-06-27 2023-06-09 苹果公司 尺寸减小的用户界面
US20160048492A1 (en) * 2014-06-29 2016-02-18 Emoji 3.0 LLC Platform for internet based graphical communication
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9043196B1 (en) * 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US9930167B2 (en) * 2014-07-07 2018-03-27 Verizon Patent And Licensing Inc. Messaging application with in-application search functionality
EP3195098A2 (en) 2014-07-21 2017-07-26 Apple Inc. Remote user interface
GB2528687A (en) * 2014-07-28 2016-02-03 Ibm Text auto-completion
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
EP3373122B1 (en) 2014-09-02 2022-04-06 Apple Inc. Reduced-size interfaces for managing alerts
JP2017527033A (ja) * 2014-09-02 2017-09-14 アップル インコーポレイテッド ユーザ入力を受信するためのユーザインタフェース
WO2016036481A1 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced-size user interfaces for dynamically updated application overviews
CN115623117A (zh) 2014-09-02 2023-01-17 苹果公司 电话用户界面
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10042445B1 (en) * 2014-09-24 2018-08-07 Amazon Technologies, Inc. Adaptive display of user interface elements based on proximity sensing
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10769607B2 (en) * 2014-10-08 2020-09-08 Jgist, Inc. Universal symbol system language-one world language
US10587541B2 (en) * 2014-12-02 2020-03-10 Facebook, Inc. Device, method, and graphical user interface for lightweight messaging
US20160180560A1 (en) * 2014-12-17 2016-06-23 Created To Love, Inc. Image insertion in a message
US9721024B2 (en) * 2014-12-19 2017-08-01 Facebook, Inc. Searching for ideograms in an online social network
US9558178B2 (en) * 2015-03-06 2017-01-31 International Business Machines Corporation Dictionary based social media stream filtering
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10055121B2 (en) 2015-03-07 2018-08-21 Apple Inc. Activity based thresholds and feedbacks
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10353542B2 (en) * 2015-04-02 2019-07-16 Facebook, Inc. Techniques for context sensitive illustrated graphical user interface elements
US20160306438A1 (en) * 2015-04-14 2016-10-20 Logitech Europe S.A. Physical and virtual input device integration
WO2016179087A1 (en) * 2015-05-01 2016-11-10 Ink Corp. Personalized image-based communication on mobile platforms
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
US11025565B2 (en) * 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
GB201510318D0 (en) * 2015-06-12 2015-07-29 Touchtype Ltd System and method for generating text predictions
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
GB201511887D0 (en) 2015-07-07 2015-08-19 Touchtype Ltd Improved artificial neural network for language modelling and prediction
US9588966B2 (en) * 2015-07-21 2017-03-07 Facebook, Inc. Data sorting for language processing such as POS tagging
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
JP5901828B1 (ja) * 2015-08-20 2016-04-13 株式会社Ｃｙｇａｍｅｓ 情報処理システム及びプログラム、並びにサーバ
CN105183316B (zh) * 2015-08-31 2018-05-08 百度在线网络技术（北京）有限公司 一种生成颜文字的方法和装置
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
CN113093955A (zh) 2015-09-09 2021-07-09 苹果公司 表情符号和预设回复
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US10203843B2 (en) 2015-09-21 2019-02-12 Microsoft Technology Licensing, Llc Facilitating selection of attribute values for graphical elements
US11138207B2 (en) 2015-09-22 2021-10-05 Google Llc Integrated dynamic interface for expression-based retrieval of expressive media content
US10303925B2 (en) 2016-06-24 2019-05-28 Google Llc Optimization processes for compressing media content
US10474877B2 (en) 2015-09-22 2019-11-12 Google Llc Automated effects generation for animated content
US20170083524A1 (en) * 2015-09-22 2017-03-23 Riffsy, Inc. Platform and dynamic interface for expression-based retrieval of expressive media content
US10379737B2 (en) * 2015-10-19 2019-08-13 Apple Inc. Devices, methods, and graphical user interfaces for keyboard interface functionalities
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US20170161238A1 (en) * 2015-12-04 2017-06-08 Gary Fang Emojis for redirecting user to desired websites
CN106855748A (zh) 2015-12-08 2017-06-16 阿里巴巴集团控股有限公司 一种信息输入方法、装置和智能终端
KR20180093040A (ko) 2015-12-21 2018-08-20 구글 엘엘씨 메시지 교환 스레드들에 대한 자동적인 제안들
WO2017112796A1 (en) 2015-12-21 2017-06-29 Google Inc. Automatic suggestions and other content for messaging applications
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10846475B2 (en) * 2015-12-23 2020-11-24 Beijing Xinmei Hutong Technology Co., Ltd. Emoji input method and device thereof
CN108701125A (zh) * 2015-12-29 2018-10-23 Mz知识产权控股有限责任公司 用于建议表情符号的系统和方法
US10025399B2 (en) * 2016-03-16 2018-07-17 Lg Electronics Inc. Watch type mobile terminal and method for controlling the same
CN107203261B (zh) * 2016-03-16 2022-05-24 Lg电子株式会社 手表型移动终端及其控制方法
US11494547B2 (en) * 2016-04-13 2022-11-08 Microsoft Technology Licensing, Llc Inputting images to electronic devices
US20170308289A1 (en) * 2016-04-20 2017-10-26 Google Inc. Iconographic symbol search within a graphical keyboard
US10140017B2 (en) 2016-04-20 2018-11-27 Google Llc Graphical keyboard application with integrated search
US10305828B2 (en) 2016-04-20 2019-05-28 Google Llc Search query predictions by a keyboard
US10078673B2 (en) 2016-04-20 2018-09-18 Google Llc Determining graphical elements associated with text
US10222957B2 (en) 2016-04-20 2019-03-05 Google Llc Keyboard with a suggested search query region
US20170308290A1 (en) * 2016-04-20 2017-10-26 Google Inc. Iconographic suggestions within a keyboard
US10168859B2 (en) 2016-04-26 2019-01-01 International Business Machines Corporation Contextual determination of emotion icons
US20170344224A1 (en) * 2016-05-27 2017-11-30 Nuance Communications, Inc. Suggesting emojis to users for insertion into text-based messages
WO2017209571A1 (en) * 2016-06-02 2017-12-07 Samsung Electronics Co., Ltd. Method and electronic device for predicting response
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
DK179374B1 (en) * 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
US10409488B2 (en) * 2016-06-13 2019-09-10 Microsoft Technology Licensing, Llc Intelligent virtual keyboards
GB201610984D0 (en) * 2016-06-23 2016-08-10 Microsoft Technology Licensing Llc Suppression of input images
US10360708B2 (en) * 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10664157B2 (en) * 2016-08-03 2020-05-26 Google Llc Image search query predictions by a keyboard
US10387461B2 (en) 2016-08-16 2019-08-20 Google Llc Techniques for suggesting electronic messages based on user activity and other context
US10546061B2 (en) * 2016-08-17 2020-01-28 Microsoft Technology Licensing, Llc Predicting terms by using model chunks
US11115463B2 (en) * 2016-08-17 2021-09-07 Microsoft Technology Licensing, Llc Remote and local predictions
US20180060312A1 (en) * 2016-08-23 2018-03-01 Microsoft Technology Licensing, Llc Providing ideogram translation
US10192551B2 (en) * 2016-08-30 2019-01-29 Google Llc Using textual input and user state information to generate reply content to present in response to the textual input
CN106372059B (zh) * 2016-08-30 2018-09-11 北京百度网讯科技有限公司 信息输入方法和装置
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10015124B2 (en) 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
JP6659910B2 (ja) 2016-09-20 2020-03-04 グーグル エルエルシー データへのアクセス許可を要求するボット
CN109952572B (zh) * 2016-09-20 2023-11-24 谷歌有限责任公司 基于消息贴纸的建议响应
WO2018053594A1 (en) * 2016-09-22 2018-03-29 Emoji Global Pty Limited Emoji images in text messages
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
KR101791930B1 (ko) * 2016-09-23 2017-10-31 (주)신성이노테크 문자입력 장치
US10185701B2 (en) 2016-10-17 2019-01-22 Microsoft Technology Licensing, Llc Unsupported character code detection mechanism
US11205110B2 (en) 2016-10-24 2021-12-21 Microsoft Technology Licensing, Llc Device/server deployment of neural network data entry system
US11321890B2 (en) * 2016-11-09 2022-05-03 Microsoft Technology Licensing, Llc User interface for generating expressive content
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
KR101858999B1 (ko) * 2016-11-28 2018-05-17 (주)헤르메시스 가상 키보드의 입력 보정 장치, 및 그 방법
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10417332B2 (en) * 2016-12-15 2019-09-17 Microsoft Technology Licensing, Llc Predicting text by combining attempts
US20180173692A1 (en) * 2016-12-19 2018-06-21 Google Inc. Iconographic symbol predictions for a conversation
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11520412B2 (en) * 2017-03-06 2022-12-06 Microsoft Technology Licensing, Llc Data input system/example generator
TWI754694B (zh) * 2017-03-21 2022-02-11 香港商阿里巴巴集團服務有限公司 通訊方法及裝置
US10902462B2 (en) 2017-04-28 2021-01-26 Khoros, Llc System and method of providing a platform for managing data content campaign on social networks
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10891485B2 (en) 2017-05-16 2021-01-12 Google Llc Image archival based on image categories
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) * 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10656793B2 (en) * 2017-05-25 2020-05-19 Microsoft Technology Licensing, Llc Providing personalized notifications
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10318109B2 (en) * 2017-06-09 2019-06-11 Microsoft Technology Licensing, Llc Emoji suggester and adapted user interface
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
CN107329585A (zh) * 2017-06-28 2017-11-07 北京百度网讯科技有限公司 用于输入文字的方法和装置
US10650095B2 (en) 2017-07-31 2020-05-12 Ebay Inc. Emoji understanding in online experiences
WO2019045441A1 (en) * 2017-08-29 2019-03-07 Samsung Electronics Co., Ltd. METHOD FOR PROVIDING MULTIMODAL PREDICTIONS BASED ON COGNITIVE SEMIOTICS AND ASSOCIATED ELECTRONIC DEVICE
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10346449B2 (en) 2017-10-12 2019-07-09 Spredfast, Inc. Predicting performance of content and electronic messages among a system of networked computing devices
US11570128B2 (en) 2017-10-12 2023-01-31 Spredfast, Inc. Optimizing effectiveness of content in electronic messages among a system of networked computing device
US10785222B2 (en) 2018-10-11 2020-09-22 Spredfast, Inc. Credential and authentication management in scalable data networks
US11050704B2 (en) 2017-10-12 2021-06-29 Spredfast, Inc. Computerized tools to enhance speed and propagation of content in electronic messages among a system of networked computing devices
US10999278B2 (en) 2018-10-11 2021-05-04 Spredfast, Inc. Proxied multi-factor authentication using credential and authentication management in scalable data networks
US11470161B2 (en) 2018-10-11 2022-10-11 Spredfast, Inc. Native activity tracking using credential and authentication management in scalable data networks
US10593087B2 (en) 2017-10-23 2020-03-17 Paypal, Inc. System and method for generating emoji mashups with machine learning
KR102054517B1 (ko) * 2017-11-15 2019-12-11 주식회사 비트바이트 인터렉티브 키보드 제공방법 및 그 시스템
US10691770B2 (en) * 2017-11-20 2020-06-23 Colossio, Inc. Real-time classification of evolving dictionaries
US10601937B2 (en) 2017-11-22 2020-03-24 Spredfast, Inc. Responsive action prediction based on electronic messages among a system of networked computing devices
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11061900B2 (en) 2018-01-22 2021-07-13 Spredfast, Inc. Temporal optimization of data operations using distributed search and server management
US10594773B2 (en) 2018-01-22 2020-03-17 Spredfast, Inc. Temporal optimization of data operations using distributed search and server management
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10970329B1 (en) * 2018-03-30 2021-04-06 Snap Inc. Associating a graphical element to media content item collections
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK179992B1 (en) 2018-05-07 2020-01-14 Apple Inc. DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11474978B2 (en) 2018-07-06 2022-10-18 Capital One Services, Llc Systems and methods for a data search engine based on data profiles
US10460235B1 (en) 2018-07-06 2019-10-29 Capital One Services, Llc Data model generation using generative adversarial networks
US11106870B2 (en) * 2018-08-28 2021-08-31 International Business Machines Corporation Intelligent text enhancement in a computing environment
CN112639709A (zh) * 2018-08-31 2021-04-09 谷歌有限责任公司 用于在动态键盘接口内定位动画图像的方法和系统
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10855657B2 (en) 2018-10-11 2020-12-01 Spredfast, Inc. Multiplexed data exchange portal interface in scalable data networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
KR20200054360A (ko) * 2018-11-05 2020-05-20 삼성전자주식회사 전자 장치 및 그 제어 방법
US10871877B1 (en) * 2018-11-30 2020-12-22 Facebook, Inc. Content-based contextual reactions for posts on a social networking system
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN110058776A (zh) * 2019-02-13 2019-07-26 阿里巴巴集团控股有限公司 Web页面的消息发布方法及装置和电子设备
KR102206604B1 (ko) * 2019-02-25 2021-01-22 네이버 주식회사 글자 인식 장치 및 이에 의한 글자 인식 방법
CN110083807B (zh) * 2019-03-12 2023-07-25 平安科技（深圳）有限公司 合同的修改影响自动预测方法、装置、介质及电子设备
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
US11521149B2 (en) 2019-05-14 2022-12-06 Yawye Generating sentiment metrics using emoji selections
US10931540B2 (en) 2019-05-15 2021-02-23 Khoros, Llc Continuous data sensing of functional states of networked computing devices to determine efficiency metrics for servicing electronic messages asynchronously
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11074408B2 (en) 2019-06-01 2021-07-27 Apple Inc. Mail application features
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
EP3769199B1 (en) * 2019-06-12 2023-09-06 Google LLC Dynamically exposing repetitively used data in a user interface
KR102103192B1 (ko) * 2019-07-03 2020-05-04 주식회사 비트바이트 인터렉티브 키보드 제공방법 및 그 시스템
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
AU2020356289B2 (en) * 2019-09-27 2023-08-31 Apple Inc. User interfaces for customizing graphical objects
CN110674330B (zh) * 2019-09-30 2024-01-09 北京达佳互联信息技术有限公司 表情管理的方法、装置、电子设备及存储介质
US11138386B2 (en) * 2019-11-12 2021-10-05 International Business Machines Corporation Recommendation and translation of symbols
US11295088B2 (en) 2019-11-20 2022-04-05 Apple Inc. Sanitizing word predictions
KR102340244B1 (ko) * 2019-12-19 2021-12-15 주식회사 카카오 인스턴트 메시징 서비스에서 이모티콘을 제공하는 방법, 이를 구현한 서버, 사용자 단말 및 어플리케이션
CN111310463B (zh) * 2020-02-10 2022-08-05 清华大学 试题难度预估方法、装置、电子设备和存储介质
CN113448430B (zh) * 2020-03-26 2023-02-28 中移(成都)信息通信科技有限公司 文本纠错的方法、装置、设备和计算机可读存储介质
US11818286B2 (en) * 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11604845B2 (en) 2020-04-15 2023-03-14 Rovi Guides, Inc. Systems and methods for processing emojis in a search and recommendation environment
US11775583B2 (en) * 2020-04-15 2023-10-03 Rovi Guides, Inc. Systems and methods for processing emojis in a search and recommendation environment
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US20220269354A1 (en) * 2020-06-19 2022-08-25 Talent Unlimited Online Services Private Limited Artificial intelligence-based system and method for dynamically predicting and suggesting emojis for messages
US11609640B2 (en) * 2020-06-21 2023-03-21 Apple Inc. Emoji user interfaces
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11181988B1 (en) 2020-08-31 2021-11-23 Apple Inc. Incorporating user feedback into text prediction models via joint reward planning
CN117193622A (zh) * 2020-09-09 2023-12-08 腾讯科技（深圳）有限公司 应用程序的界面显示方法、装置、设备及介质
US11128589B1 (en) 2020-09-18 2021-09-21 Khoros, Llc Gesture-based community moderation
US11438289B2 (en) 2020-09-18 2022-09-06 Khoros, Llc Gesture-based community moderation
US11610192B2 (en) * 2020-09-21 2023-03-21 Paypal, Inc. Graphical user interface language localization
KR20220041624A (ko) * 2020-09-25 2022-04-01 삼성전자주식회사 전자 장치의 이모지 추천 방법 및 그 전자 장치
CN112230811A (zh) * 2020-10-15 2021-01-15 科大讯飞股份有限公司 输入方法、装置、设备及存储介质
CN112804336B (zh) * 2020-10-29 2022-11-01 浙江工商大学 故障检测方法、装置、系统、计算机可读存储介质
US11627100B1 (en) 2021-10-27 2023-04-11 Khoros, Llc Automated response engine implementing a universal data space based on communication interactions via an omnichannel electronic data channel
US11924375B2 (en) 2021-10-27 2024-03-05 Khoros, Llc Automated response engine and flow configured to exchange responsive communication data via an omnichannel electronic communication channel independent of data source
US11438282B2 (en) 2020-11-06 2022-09-06 Khoros, Llc Synchronicity of electronic messages via a transferred secure messaging channel among a system of various networked computing devices
US11714629B2 (en) 2020-11-19 2023-08-01 Khoros, Llc Software dependency management
CN112684913B (zh) * 2020-12-30 2023-07-14 维沃移动通信有限公司 信息修正方法、装置及电子设备
US11531406B2 (en) * 2021-04-20 2022-12-20 Snap Inc. Personalized emoji dictionary
US11593548B2 (en) * 2021-04-20 2023-02-28 Snap Inc. Client device processing received emoji-first messages
US11888797B2 (en) * 2021-04-20 2024-01-30 Snap Inc. Emoji-first messaging
US11947581B2 (en) * 2021-05-18 2024-04-02 Accenture Global Solutions Limited Dynamic taxonomy builder and smart feed compiler
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11657558B2 (en) 2021-09-16 2023-05-23 International Business Machines Corporation Context-based personalized communication presentation
CN114531406A (zh) * 2021-12-30 2022-05-24 北京达佳互联信息技术有限公司 界面展示方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1384940A (zh) * 1999-11-05 2002-12-11 微软公司 以无模式输入将一种文本形式转换成另一种文本形式的语言输入体系结构
US20040156562A1 (en) * 2002-01-15 2004-08-12 Airtx, Incorporated. Alphanumeric information input method
US20090224867A1 (en) * 2008-03-07 2009-09-10 Palm, Inc. Context Aware Data Processing in Mobile Computing Device
US20120146955A1 (en) * 2010-12-10 2012-06-14 Research In Motion Limited Systems and methods for input into a portable electronic device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7119794B2 (en) * 2003-04-30 2006-10-10 Microsoft Corporation Character and text unit input correction system
US7697960B2 (en) * 2004-04-23 2010-04-13 Samsung Electronics Co., Ltd. Method for displaying status information on a mobile terminal
US20080059152A1 (en) * 2006-08-17 2008-03-06 Neustar, Inc. System and method for handling jargon in communication systems
CN100592249C (zh) * 2007-09-21 2010-02-24 上海汉翔信息技术有限公司 快速输入相关词的方法
US8756527B2 (en) * 2008-01-18 2014-06-17 Rpx Corporation Method, apparatus and computer program product for providing a word input mechanism
KR101564314B1 (ko) * 2008-10-06 2015-11-02 삼성전자주식회사 텍스트 입력방법 및 이를 적용한 디스플레이 장치
US20100131447A1 (en) * 2008-11-26 2010-05-27 Nokia Corporation Method, Apparatus and Computer Program Product for Providing an Adaptive Word Completion Mechanism
US8677236B2 (en) * 2008-12-19 2014-03-18 Microsoft Corporation Contact-specific and location-aware lexicon prediction
US20130104068A1 (en) * 2011-10-20 2013-04-25 Microsoft Corporation Text prediction key
US20130159919A1 (en) * 2011-12-19 2013-06-20 Gabriel Leydon Systems and Methods for Identifying and Suggesting Emoticons

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1384940A (zh) * 1999-11-05 2002-12-11 微软公司 以无模式输入将一种文本形式转换成另一种文本形式的语言输入体系结构
US20040156562A1 (en) * 2002-01-15 2004-08-12 Airtx, Incorporated. Alphanumeric information input method
US20090224867A1 (en) * 2008-03-07 2009-09-10 Palm, Inc. Context Aware Data Processing in Mobile Computing Device
US20120146955A1 (en) * 2010-12-10 2012-06-14 Research In Motion Limited Systems and methods for input into a portable electronic device

Also Published As

Publication number Publication date
EP3053009A1 (en) 2016-08-10
KR102262453B1 (ko) 2021-06-07
EP3053009B1 (en) 2021-07-28
WO2015050910A1 (en) 2015-04-09
KR20160065174A (ko) 2016-06-08
US20150100537A1 (en) 2015-04-09
CN105683874A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105683874B (zh) 用于将绘文字用于文本预测的方法
EP2972691B1 (en) Language model dictionaries for text predictions
EP2972690B1 (en) Text prediction based on multiple language models
US11720744B2 (en) Inputting images to electronic devices
US10156981B2 (en) User-centric soft keyboard predictive technologies
US20200278952A1 (en) Process and Apparatus for Selecting an Item From a Database
WO2016126434A1 (en) User generated short phrases for auto-filling, automatically collected during normal text use
US20150169537A1 (en) Using statistical language models to improve text input
AU2015200883A1 (en) Improved process and apparatus for selecting an item from a database

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant