CN109983430B - 确定包括在电子通信中的图形元素 - Google Patents

确定包括在电子通信中的图形元素 Download PDF

Info

Publication number
CN109983430B
CN109983430B CN201780069884.8A CN201780069884A CN109983430B CN 109983430 B CN109983430 B CN 109983430B CN 201780069884 A CN201780069884 A CN 201780069884A CN 109983430 B CN109983430 B CN 109983430B
Authority
CN
China
Prior art keywords
user
graphical
communication
electronic communication
current state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780069884.8A
Other languages
English (en)
Other versions
CN109983430A (zh
Inventor
瑞安·卡西迪
乌特卡什·斯里瓦斯塔瓦
安东·沃尔科夫
小约翰·帕特里克·麦格雷戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202211006361.8A priority Critical patent/CN115373566A/zh
Publication of CN109983430A publication Critical patent/CN109983430A/zh
Application granted granted Critical
Publication of CN109983430B publication Critical patent/CN109983430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Evolutionary Computation (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

与确定包括在由用户经由用户的计算设备所制定的电子通信中的图形元素(例如，表情符号、GIF、贴纸)，以及提供包括在电子通信中的图形元素有关的方法、装置和计算机可读介质。例如，可以提供经由用户的计算设备的显示器呈现给用户的图形元素，并且响应于指向图形元素中的一个的用户界面输入，可以将该图形元素结合在电子通信中。在各种实施方式中，电子通信是作为涉及用户和一个或多个附加用户的对话的部分所提交的通信。

Description

确定包括在电子通信中的图形元素
背景技术
个人利用各种电子通信彼此参与电子对话，各种电子通信诸如是电子邮件、富通信服务(RCS)消息、短消息服务(SMS)消息、多媒体消息服务(MMS)消息、过顶(OTT)聊天消息、社交网络消息等。此外，用户利用各种计算设备参与这样的对话，各种计算设备诸如是智能电话、平板电脑、可穿戴设备、汽车系统等。在许多情况下，除了文本内容之外或者代替文本内容，用户可以在一个或多个电子通信中包括图形元素。图形元素可以采用许多形式，该形式诸如是表情符号(emojis)、图形交换格式图像(GIF)、所谓的贴纸(其可以是策划的GIF、JPG等)等。一些图形元素在被显示时本身可以完全没有任何文本(例如，笑脸表情符号)，而其他图形元素在被显示时可以包括文本(例如，除了其他内容之外还包括图形文本的GIF)。
发明内容
本说明书涉及与确定包括在由用户经由用户的计算设备所制定的电子通信中的图形元素(例如，表情符号、GIF、贴纸)，以及提供包括在电子通信中的图形元素有关的方法、装置和计算机可读介质。例如，可以提供经由用户的计算设备的显示器呈现给用户的图形元素，并且响应于指向图形元素中的一个的用户界面输入，可以将该图形元素结合在电子通信中。在各种实施方式中，电子通信是作为涉及用户和一个或多个附加用户的对话的部分所提交的通信。
在一些实施方式中，提供的图形元素至少部分地基于由用户在制定提供包括的图形元素的电子通信时所提供的任何输入之外的一个或多个特征被确定。在那些实施方式中的一些实施方式中，在用户已经提供了包括在电子通信中的任何文本内容之前，和/或在用户已经提供了包括在电子通信中的任何其他内容之前，可以提供包括在电子通信中的图形元素。在一些实施方式中，可以提供图形元素以响应与电子通信有关的用户界面输入，用户界面输入诸如是用户选择“回复”界面元素以启动电子通信的制定和/或选择“内容建议”界面元素。
在一些实施方式中，除了由用户在制定电子通信时所提供的任何输入之外的特征可以包括以下中的一个或多个：电子通信将被提交到的对话的一个或多个先前提交的电子通信(例如，用户和/或其他用户的在先对话通信)的已提交的通信特征；指示参与对话的一个或多个用户的一个或多个动态用户状态(例如，位置、情绪)的当前状态的当前状态特征；和/或由用户在对话中、在其他对话中和/或在其他通信中对图形元素的历史使用。在一些实施方式中，图形元素可以附加地或替代地基于后续通信特征被确定，后续通信特征是基于由用户在制定提供了用于包括在电子通信的图形元素的电子通信时所提供的输入。
在一些实施方式中，基于响应于将一个或多个特征(例如，上述那些中的一个或多个)作为输入应用于训练过的机器学习模型而通过该训练过的机器学习模型所生成的输出，可以确定提供哪些用于包括在对话的电子通信中的图形元素。例如，可以将对话的提交电子通信的提交通信特征和参与对话的用户的当前状态作为输入提供给训练过的机器学习模型。可以基于输入通过模型生成输出，并且输出可以指示图形元素的一个或多个图形元素特征。基于具有与输出相匹配的图形元素特征的图形元素，输出可以被用来选择一个或多个图形元素，该图形元素被提供为用于潜在地包括在电子通信中。
在一些实施方式中，分析过去电子通信的语料库以确定图形元素与一个或多个特征(例如，上述那些中的一个或多个)之间的关系。例如，对于给定图形元素，可以分析语料库以确定包括给定图形元素的通信的一个或多个特征和/或在对先前提交的通信的回复中包括给定图形元素的那些先前提交的通信的一个或多个特征。在一些实施方式中，分析过去电子通信的语料库以确定对话的先前提交的通信与该对话的一个或多个后续通信之间的关系。作为一示例，可以分析语料库以确定包括提交通信的对话可能包括后续通信，该提交通信包括n元(n-gram)“晚餐”，该后续通信包括某些术语和/或具有某些图形元素特征的图形元素(例如，具有分配的“食物”特征的图形元素)。
如此处所描述的，从分析过去电子通信的语料库所学习的这些关系可以被利用来确定哪些图形元素被提供，以潜在地包括在为提交在对话中而编写的电子通信中。在一些实施方式中，经由基于电子通信的语料库生成适当的训练示例以及基于那些训练示例训练机器学习模型来有效地将关系嵌入训练过的机器学习模型中，可以实现确定关系。
上述中的一些和说明书的其他实施方式可以实现各种技术优点。例如，基于此处所描述的各种特征来确定和提供图形元素以呈现给用户的一些实施方式，可以增加呈现的图形元素与用户和/或对话的当前情境相关的可能性。这可以减轻用户在尝试定位相关图形元素时，浏览和/或显式搜索一连串不相关的可用图形元素的需要。这可以减少各种计算资源的使用，该计算资源诸如是渲染和/或检索不相关图形元素所需的计算设备的资源。作为另一示例，由于呈现的图形元素由用户选择以包括在对话的通信中，并且将相关的附加情境提供给通信，使得基于此处所描述的各种特征来确定和提供图形元素以呈现给用户的一些实施方式能够实现更简洁的对话。这可以消除对话的某些进一步通信的需要，否则将需要这些通信来提供附加情境，从而减少各种计算资源的使用，该计算资源诸如是视觉和/或可听地将进一步通信呈现给用户所需的计算设备的资源。可以实现附加的或替代的技术优点，诸如是本说明书中其他地方所描述的一个或多个。
在一些实施方式中，提供了由一个或多个处理器所进行的方法，方法包括接收作为对话的部分所提交的电子通信，对话包括用户和一个或多个附加用户。电子通信是基于用户界面输入，用户界面输入由一个或多个附加用户中的附加用户经由附加用户的附加用户计算设备的一个或多个用户界面输入设备所生成。方法还包括确定电子通信的至少一个通信特征，以及确定一个或多个图形元素的组，一个或多个图形元素用于包括在用户的将要作为对话的部分提交的后续电子通信中。在由用户为后续电子通信提供任何文本输入之前，确定图形元素的组包括：从候选图形元素中选择至少一个图形元素以包括在组中。选择图形元素是基于电子通信的至少一个通信特征。方法还包括，在由用户为后续电子通信提供任何文本输入之前，提供用于潜在包括在后续电子通信中的图形元素的组。图形元素的组被提供为经由用户的用户计算设备的显示器来呈现。
此处所公开的这些和其他技术实施方式可以可选地包括以下特征中的一个或多个。
在一些实施方式中，方法还包括识别用户界面与用户界面元素的交互，用户界面元素经由显示器被图形地呈现给用户，与电子通信的呈现相结合。在那些实施方式中的一些实施方式中，提供图形元素的组是响应于识别用户界面与用户界面元素的交互。
在一些实施方式中，至少一个通信特征是基于电子通信的多个术语中的一个或多个术语。在那些实施方式的一些版本中，至少一个通信特征还包括至少一个非文本特征，非文本特征至少部分地基于除电子通信的术语之外的一个或多个信号。在那些实施方式的一些其他版本中，方法还包括确定对话的附加电子通信的至少一个附加通信特征，并且进一步基于至少一个附加通信特征来选择图形元素。
在一些实施方式中，方法还包括确定至少一个当前状态特征，至少一个当前状态特征指示用户或附加用户的至少一个动态用户状态的当前状态，并且进一步基于当前状态特征来选择图形元素。在那些实施方式中的一些实施方式中，动态用户状态包括物理位置或情绪。
在一些实施方式中，方法还包括识别图形元素的历史使用特征，并且进一步基于历史使用特征来选择图形元素。在那些实施方式中的一些实施方式中，历史使用特征至少部分地基于用户对附加图形元素的过去使用，附加图形元素与图形元素共享一个或多个图形元素特征。
在一些实施方式中，基于至少一个通信特征来选择图形元素包括：基于至少一个通信特征来确定图形元素特征，图形元素特征被分配给图形元素并且被分配给多个附加图形元素；以及基于与未选择的一个或多个附加图形元素相比，图形元素与用户的更大程度的历史使用相关联，来选择图形元素代替一个或多个附加图形元素以包括在组中。在那些实施方式中的一些实施方式中，图形元素被包括在图形元素的内聚包中，并且图形元素的历史使用是基于用户对内聚包的图形元素的历史使用。
在一些实施方式中，基于至少一个通信特征来选择图形元素包括：将输入应用于被存储在一个或多个计算机可读介质中的训练过的机器学习模型，输入包括至少一个通信特征；通过模型并且基于输入，生成指示一个或多个图形元素特征的输出；以及基于被分配给图形元素的图形元素特征来选择图形元素。在那些实施方式的一些版本中，指示一个或多个图形元素特征的输出包括一个或多个术语，并且基于被分配给图形元素的图形元素特征来选择图形元素包括，基于图形元素由一个或多个术语中的至少一个术语索引，来选择图形元素。在那些实施方式的一些其他版本中，方法还包括：基于从过去的用户对话所导出的多个训练示例来生成训练过的机器学习模型，其中训练示例包括：基于对应的原始电子通信的通信特征的训练示例输入，以及基于对应的回复电子通信的文本的训练示例输出，对应的回复电子通信是对对应的原始电子通信的回复。生成训练过的机器学习模型可以包括，基于训练示例的训练示例输入的应用并且基于训练示例的训练示例输出的反向传播来训练训练过的机器学习模型。在那些实施方式的一些其他版本中，方法还包括：基于从过去的用户对话所导出的多个训练示例来生成训练过的机器学习模型，其中每个训练示例包括：基于对应的原始电子通信的通信特征的训练示例输入，以及基于对应的回复电子通信的图形元素特征的训练示例输出，对应的回复电子通信是对对应的原始电子通信的回复。生成训练过的机器学习模型可以包括，基于训练示例的训练示例输入的应用并且基于训练示例的训练示例输出的反向传播来训练训练过的机器学习模型。
在一些实施方式中，通信特征包括一个或多个术语，并且基于至少一个通信特征来选择图形元素包括，基于图形元素由一个或多个术语中的至少一个术语索引，来选择图形元素。
在一些实施方式中，方法还包括，在提供用于潜在包括在后续电子通信中的图形元素的组之后：接收由用户提供的后续电子通信的文本输入，文本输入是基于由用户经由用户计算设备的一个或多个用户界面输入设备所生成的用户界面输入；基于文本输入并且基于至少一个通信特征来确定修改的图形元素的组；以及提供用于潜在包括在后续电子通信中的修改的图形元素的组，与文本输入相结合。
在一些实施方式中，提供了由一个或多个处理器进行的方法，方法包括接收作为对话的部分所提交的电子通信，部分包括用户和一个或多个附加用户。电子通信是基于用户界面输入，用户界面输入由一个或多个附加用户中的附加用户经由附加用户的附加用户计算设备的一个或多个用户界面输入设备所生成。方法还包括：确定电子通信的至少一个通信特征；接收由用户提供的文本输入，文本输入用于用户的将要作为对话的部分提交的后续电子通信；以及确定一个或多个图形元素的组，一个或多个图形元素用于包括在后续电子通信中。确定图形元素的组包括：从候选图形元素中选择至少一个图形元素以包括在组中，其中选择图形元素是基于文本输入并且是基于至少一个通信特征；以及提供用于潜在包括在后续电子通信中的图形元素的组。图形元素的组被提供为经由用户的用户计算设备的显示器来呈现。
此处所公开的这些和其他技术实施方式可以可选地包括以下特征中的一个或多个。
在一些实施方式中，提供图形元素的组是响应于接收文本输入并且在没有明确地请求提供图形元素的进一步用户界面输入的情况下发生。
在一些实施方式中，通信特征包括一个或多个术语，并且基于至少一个通信特征来选择图形元素包括，基于图形元素由一个或多个术语中的至少一个术语索引，来选择图形元素。
在一些实施方式中，方法还包括确定至少一个当前状态特征，当前状态特征指示用户或附加用户的至少一个动态用户状态的当前状态，并且进一步基于当前状态特征来选择图形元素。
在一些实施方式中，提供了由一个或多个处理器进行的方法，方法包括接收由用户提供的内容，内容用于包括在将要作为对话的部分由用户提交的电子通信中。内容是基于由用户经由用户的计算设备的一个或多个用户界面输入设备所生成的用户界面输入。方法还包括确定内容的至少一个特征，以及确定用于包括在电子通信中的一个或多个图形元素的组。确定图形元素的组包括：从候选图形元素中选择至少一个图形元素以包括在组中，其中选择图形元素是基于与被分配给图形元素的至少一个图形元素特征相匹配的内容的特征；以及提供用于潜在包括在电子通信中的图形元素的组。图形元素的组被提供为经由用户的用户计算设备的显示器来呈现。
此外，一些实施方式包括一个或多个计算设备的一个或多个处理器，其中一个或多个处理器可操作为执行被存储在相关联的内存中的指令，并且其中指令被配置为使得进行任何前述方法。一些实施方式还包括存储可由一个或多个处理器执行为进行任何前述方法的计算机指令的一个或多个非暂时性计算机可读存储介质。
应该理解的是，此处被更详细地描述的前述概念和附加概念的所有组合被认为是此处所公开的主题的一部分。例如，出现在本公开结尾处的所要求保护的主题的所有组合被认为是此处所公开的主题的一部分。
附图说明
图1是可以实施此处所公开的实施方式的示例环境的框图。
图2示出在选择提供给用户的图形元素时使用图1的示例环境的组件的示例。
图3A示出具有显示对话示例的显示屏的示例客户端计算设备，该对话示例包括客户端计算设备的用户和多个附加用户；该对话包括来自两个附加用户中的每一个的提交电子通信。
图3B1、3B2和3B3示出图形元素如何被呈现给用户，以及如何被包括在由用户所提交的作为图3A的对话的部分的后续电子通信中的示例。
图3C示出图形元素可以如何被呈现给用户以潜在地包括在由用户所提交的作为图3A的对话的部分的后续通信中的另一示例。
图3D1和3D2示出图形元素可以如何被呈现给用户以潜在地包括在由用户所提交的作为图3A的对话的部分的后续通信中的又一示例。
图4示出图3A的示例客户端计算设备，并且示出对话的另一示例以及图形元素可以如何被呈现给用户以潜在地包括在由用户所提交的作为对话的部分的后续通信中的另一示例。
图5A是根据此处所公开的实施方式的示出提供包括在对话中的一组图形元素的示例方法的流程图。
图5B是示出图5A的流程图的一个框的示例的流程图。
图5C是示出图5A的流程图的一个框的另一示例的流程图。
图6是示出将特征分配给图形元素的示例方法的流程图。
图7是示出训练机器学习内容模型的示例方法的流程图。
图8示出计算设备的示例架构。
具体实施方式
本说明书涉及与确定包括在由用户经由用户的计算设备所制定的电子通信中的图形元素，以及提供包括在电子通信中的图形元素有关的技术特征。例如，可以提供经由计算设备的显示器呈现给用户的图形元素，并且响应于指向图形元素中的一个的用户界面输入，可以将该图形元素结合在电子通信中。
在一些实施方式中，提供的图形元素至少部分地基于由用户在制定提供了用于包括在电子通信的图形元素的电子通信时所提供的任何输入之外的一个或多个特征被确定。在那些实施方式中的一些实施方式中，在用户已经提供了包括在电子通信中的任何文本内容和/或任何其他内容之前，可以提供用于包括在电子通信中的图形元素。在一些实施方式中，响应于与电子通信有关的用户界面输入，可以提供图形元素。
在一些实施方式中，除了由用户在制定电子通信时所提供的任何输入之外的特征可以包括以下中的一个或多个：电子通信将被提交到的对话的一个或多个先前提交的电子通信的提交通信特征；指示参与对话的一个或多个用户的一个或多个动态用户状态的当前状态的当前状态特征；和/或由用户在对话中、在其他对话中和/或在其他通信中对图形元素的历史使用。在一些实施方式中，图形元素可以附加地或替代地基于后续通信特征被确定，后续通信特征是基于由用户在制定提供了用于包括在电子通信的图形元素的电子通信时所提供的输入。
在一些实施方式中，基于响应于将一个或多个特征(例如，上述那些中的一个或多个)作为输入应用于训练过的机器学习模型而通过该训练过的机器学习模型所生成的输出，可以确定提供哪些用于包括在对话的电子通信中的图形元素。可以基于输入通过模型生成输出，并且输出可以指示图形元素的一个或多个图形元素特征。基于具有与输出相匹配的图形元素特征的图形元素，输出可以被用来选择一个或多个图形元素，该图形元素被提供为用于潜在地包括在电子通信中。
在一些实施方式中，分析过去电子通信的语料库以确定图形元素与一个或多个特征(例如，上述那些中的一个或多个)之间的关系。在一些实施方式中，分析过去电子通信的语料库以确定对话的先前提交的通信与该对话的一个或多个后续通信之间的关系。
如此处所描述的，从分析过去电子通信的语料库所学习的这些关系可以被利用来确定哪些图形元素被提供以潜在地包括在对话中所提交的电子通信中。在一些实施方式中，经由基于电子通信的语料库生成适当的训练示例以及基于那些训练示例训练机器学习模型来有效地将关系嵌入训练过的机器学习模型中，可以实现确定关系。
上述中的一些和说明书的其他实施方式可以实现各种技术优点。例如，基于此处所描述的各种特征来确定和提供图形元素以呈现给用户的一些实施方式，可以增加呈现的图形元素与用户和/或对话的当前情境相关的可能性。这可以减轻用户在尝试定位相关图形元素时，浏览和/或显式搜索一连串不相关的可用图形元素的需要。这可以减少各种计算资源的使用，该计算资源诸如是渲染和/或检索不相关图形元素所需的计算设备的资源。作为另一示例，由于呈现的图形元素由用户选择以包括在对话的通信中，并且将相关的附加情境提供给通信，使得基于此处所描述的各种特征来确定和提供图形元素以呈现给用户的一些实施方式能够实现更简洁的对话。这可以消除对话的某些进一步通信的需要，否则将需要这些通信来提供附加情境，从而各种计算资源的使用，该计算资源诸如是减少视觉和/或可听地将进一步通信呈现给用户所需的计算设备的资源。可以实现附加的或替代的技术优点，诸如是本说明书中其他地方所描述的一个或多个。
在图1中，示出可以实施此处所公开的技术的示例环境。示例环境包括通信网络101，通信网络101可选地便于环境中的各种组件之间的通信。在一些实施方式中，通信网络101可以包括因特网、一个或多个内联网和/或一个或多个总线子系统。通信网络101可以可选地利用一个或多个标准通信技术、协议和/或进程间通信技术。
示例环境还包括客户端设备106A、附加客户端设备106B-N、电子通信系统110、图形元素系统120、内容模型训练引擎135和图形元素特征引擎137。示例环境还包括电子通信数据库152、图形元素数据库154、内容模型数据库156、用户状态模型数据库158和历史模型数据库160。
客户端设备106A-N的一些非限制性示例包括以下中的一个或多个：台式计算设备、膝上型计算设备、平板计算设备、移动电话计算设备、用户的车辆的计算设备(例如，车载通信系统、车载娱乐系统、车载导航系统)或者用户的包括计算设备的可穿戴装置(例如，用户的具有计算设备的手表、用户的具有计算设备的眼镜、虚拟或增强现实计算设备)。可以提供附加的和/或替代的客户端设备。在一些实施方式中，给定用户可以利用共同形成客户端设备的协同“生态系统”的多个客户端设备来与图形元素系统120的全部或各方面进行通信。然而，为了简洁起见，本公开中所描述的一些示例将集中于操作单个客户端设备的用户。
电子通信系统110、图形元素系统120、和/或引擎135和/或引擎137可以各自被实施在例如通过网络(例如，网络101和/或其他网络)进行通信的一个或多个计算设备中。电子通信系统110、图形元素系统120、以及引擎135和137是示例组件，经由它们可以实施此处所描述的系统和技术，和/或此处所描述的系统和技术可以与它们接合。它们可以各自包括用于存储数据和软件应用的一个或多个内存、用于访问数据和执行应用的一个或多个处理器、以及便于通过网络进行通信的其他组件。在一些实施方式中，电子通信系统110、图形元素系统120、和/或引擎135和/或引擎137可以包括图8的示例计算设备的一个或多个组件。由电子通信系统110、图形元素系统120、和/或引擎135和/或引擎137所进行的操作可以被分布在多个计算机系统。
在一些实施方式中，电子通信系统110、图形元素系统120、和/或引擎135和/或引擎137中的一个或多个的一个或多个方面可以被组合在单个系统中，和/或一个或多个方面可以被实施在客户端设备106A和/或一个或多个附加客户端设备106B-N上。例如，客户端设备106A可以包括图形元素系统120的一个或多个方面的实例，并且每个附加客户端设备106B-N也可以包括图形元素系统120的一个或多个方面的实例。作为另一示例，客户端设备106A和每个附加客户端设备106B-N可以各自包括电子通信系统110的实例(例如，电子通信系统110可以是在每个设备上被安装并且执行的应用)。作为又一示例，电子通信系统110和图形元素系统120的一个或多个方面可以被组合。
电子通信数据库152包括一个或多个存储介质，存储介质包括多个用户的过去对话的电子通信的全部或部分(例如，电子通信的提取的特征)。在一些实施方式中，电子通信数据库152由电子通信系统110来维护。例如，电子通信系统110可以包括一个或多个聊天系统，并且电子通信数据库152可以包括经由聊天系统所发送和/或接收的多个电子通信。作为另一示例，电子通信系统110可以包括一个或多个社交网络系统，并且电子通信数据库152可以包括经由社交网络系统所发送和/或接收的多个消息、帖子或其他电子通信。
如此处所使用的，“电子通信”或“通信”可以指电子邮件、文本消息(例如，RCS、SMS、MMS)、聊天消息、即时消息或作为对话的部分从用户发送到一组一个或多个附加用户的任何其他电子通信。在各种实施方式中，电子通信可以包括各种元数据，并且元数据可以可选地被在此处所描述的一个或多个技术利用。例如，诸如聊天消息的电子通信可以包括一个或多个发送方标识符、一个或多个接收方标识符、发送的日期、发送和/或接收电子通信的设备的类型等。
图形元素系统120确定并且提供潜在地包括在由用所提交的户作为对话的部分的电子通信中的图形元素组。为了方便起见，此处所描述的许多示例将相对于提供包括在电子通信中的图形元素给客户端设备106A的图形元素系统120来描述，其中电子通信是由用户经由客户端设备106A而编写，以作为涉及用户和附加客户端设备106B-N的附加用户的对话的部分被提交。应该理解的是，图形元素系统120(或它的其它实例)还可以向每个客户端设备106B-N提供包括在经由那些客户端设备106B-N编写的通信中的图形元素。
图形元素系统120可以确定为由用户所提交的作为对话的部分的电子通信而提供一组图形元素，并且确定该组图形元素可以是基于：对话的先前提交的电子通信的一个或多个提交通信特征和/或诸如此处所描述的一个或多个附加特征。在一些实施方式中，图形元素系统120可以独立于在生成作为对话的部分所提交的电子通信时由用户提供的任何文本输入，和/或独立于在生成作为对话的部分所提交的电子通信时由用户提供的任何其他内容，来确定和/或提供图形元素组。
在一些实施方式中，由图形元素系统120所确定和提供的图形元素包括一个或多个表情符号(emojis)、GIF、JPG和/或贴纸。可以从图形元素数据库154选择图形元素，图形元素数据库154被提供在一个或多个存储介质上。在一些实施方式中，图形元素数据库154被本地地提供在客户端设备106A上。在那些实施方式中的一些实施方式中，图形元素系统120全部地或部分地由客户端设备106A的一个或多个处理器来操作。在一些实施方式中，附加地或替代地提供远离客户端设备106A的图形元素数据库154的全部或部分和/或图形元素系统120的一个或多个方面。
图形元素数据库154可以为每个图形元素定义图形元素与一个或多个图形元素特征的关联，以及可选地定义一个或多个关联的权重。例如，每个图形元素可以由一个或多个相对应的图形元素特征和每个图形元素特征的权重来索引。图形元素的给定图形元素特征的权重指示给定图形元素特征与图形元素的关联有多强。例如，描绘鳄鱼的给定图形元素与“鳄鱼”的图形元素特征的关联，可以比与“动物”的图形元素特征的关联更强。
可以为图形元素定义各种图形元素特征。作为一示例，图形元素特征可以包括图形元素中所包括的内容的描述符。例如，包括鳄鱼的描绘的图形元素可以包括诸如“鳄鱼”描述符、“动物”描述符的描述符。此外，例如，可以提供非文本描述符，诸如是识别与图形元素相关联的实体的非文本描述符。作为另一示例，图形元素特征可以包括过去电子通信的语料库的电子通信的特征，其中图形元素被包括在那些电子通信中。例如，包括鳄鱼的描绘的图形元素可以包括“稍后见”的文本特征，该文本特征指示该图形元素至少有时共同出现在具有n元“稍后见”的电子通信中。作为另一示例，图形元素特征可以包括过去对话的语料库的电子通信的特征，其中在过去的对话中，那些电子通信在包括图形元素的后续电子通信之前。例如，包括鳄鱼的描绘的图形元素可以包括指示诸如“以后再聊”、“再见”等的“离开言论(departing remark)”的特征，该特征指示图形元素至少有时出现在对话中的这样的“离开言论”电子通信之后的电子通信中。作为又一示例，图形元素特征可以包括与图形元素相关联的用户状态的特征。例如，包括鳄鱼的描绘的图形元素可以包括特征，该特征指示该图形元素至少有时在对话的用户位于佛罗里达州或路易斯安那州时和/或当对话的用户具有“快乐”情绪时出现。
在一些实施方式中，可以由图形元素特征引擎137将一个或多个图形元素特征分配给图形元素。例如，图形元素特征引擎137可以将特征分配给给定图形元素，分配是基于对包括该图形元素的过去对话的分析和/或基于被(直接地或间接地)分配给内容模型数据库156的内容模型(下面被更详细地描述)中的该图形元素的那些特征。在一些实施方式中，图形元素的一个或多个图形元素特征可以附加地或替代地基于图形元素的图像分析被分配，可以由人类审阅者来分配，和/或可以利用其他技术被分配。
内容模型数据库156包括一个或多个存储介质，存储介质存储可选地被用在此处所描述的各种技术中的一个或多个内容模型。在一些实施方式中，一个或多个内容模型定义此处所描述的各种对话特征与图形元素的特征之间的关系。例如，内容模型可以定义对话的电子通信的通信特征与图形元素的一个或多个特征之间的关系。在一些实施方式中，一个或多个内容模型定义此处所描述的各种对话特征与文本的特征之间的关系。例如，内容模型可以定义对话的较早提交的电子通信的通信特征与对话的稍后提交的通信中所包括的文本的一个或多个特征之间的关系。例如，这样的内容模型可以被利用来识别由与文本的那些特征相对应的图形元素特征所索引或以其他方式与文本的那些特征相对应的图形元素特征相关联的图形元素。
在一些实施方式中，数据库156的内容模型包括一个或多个学习的内容模型，每个学习的内容模型由内容模型训练引擎135基于从电子通信数据库152的过去电子通信所导出的训练示例来训练。例如，数据库156的内容模型可以是训练过的机器学习模型，训练过的机器学习模型已经被训练以基于各种对话特征来预测图形元素的特征。例如，它可以基于训练示例被训练，每个训练示例包括训练示例输入和训练示例输出，训练示例输入包括对应对话的一个或多个较早提交的通信的特征，训练示例输出包括对应对话的稍后提交的通信中所包括的图形元素的特征(例如，对较早提交的通信中的对应的一个通信直接回复的稍后提交的通信)。
在各种实施方式中，图形元素系统120可以包括提交通信特征引擎122、用户状态引擎124、后续通信特征引擎126、历史使用引擎128、选择引擎130和/或呈现引擎132。用户状态引擎124可以可选地与用户状态模型数据库158的一个或多个用户状态模型进行通信。历史使用引擎128可以可选地与历史模型数据库160的一个或多个历史模型进行通信。在一些实施方式中，可以省略引擎122、124、126、128、130和/或132的全部或各方面。在一些实施方式中，可以组合引擎122、124、126、128、130和/或132的全部或各方面。在一些实施方式中，引擎122、124、126、128、130和/或132的全部或各方面可以被实施在与图形元素系统120分离的诸如客户端设备106A和/或电子通信系统110组件中。
提交通信特征引擎122确定对话中已经提交的一个或多个通信的一个或多个通信特征。例如，引擎122可以为对话中最近提交的通信、为对话中最近提交的通信的阈值数量、和/或为在相对于当前时间的阈值时间量内对话中提交的任何通信，来确定通信特征。
引擎122可以确定各种通信特征。例如，引擎122可以将提交的电子通信中的一个或多个n元确定为通信特征。例如，可以基于提交的电子通信中n元的术语频率(termfrequency)(即，n元在电子通信中出现的频率)和/或文档集合中n元的逆文档频率(inversedocument frequency)(即，n元在诸如电子通信集合的文档集合中出现的频率)来确定一个或多个n元。此外，例如，引擎122可以将一个或多个提交的电子通信中两个或多个n元的同现(co-occurrence)确定为通信特征，同现诸如是以特定顺序的同现(例如，在第二n元之前的第一n元)，以某个位置关系的同现(例如，在彼此的n术语或字符内)等。此外，例如，提交通信特征引擎122可以基于一个或多个自然语言处理标记或被应用于提交的电子通信的文本的其他标签(例如，词类(parts of speech)、命名实体、实体类型、语气)；基于特别在第一句、最末句或电子通信的其他部分中出现的文本；基于电子通信的元数据，诸如是电子通信被发送的时间、电子通信星期几被发送、对话中的参与者的数量、发送电子通信的设备的类型等，来确定一个或多个通信特征。此外，例如，引擎122可以确定被包括在一个或多个提交的电子通信中的图形元素的一个或多个图形元素特征。
作为通信特征的另一示例，引擎122可以确定与提交的电子通信情境相关的预测的文本建议(例如，图3C的文本建议194)，并且将那些文本建议用作通信特征。作为通信特征的又一示例，引擎122可以从一个或多个提交的电子通信的整体或者提交的电子通信的子集(例如，一个或多个段落、一个或多个句子、一个或多个词)确定一个或多个特征的嵌入向量。例如，引擎122可以将来自通信的一个或多个特征应用于已学习的词嵌入，并且通过词嵌入来确定被映射到词嵌入中的特征的值的嵌入向量。值的嵌入向量可以比应用的特征具有更低的维度。被利用来确定嵌入向量的特征可以包括一个或多个n元、被应用于一个或多个n元的标签、句法特征、语义特征、元数据特征和/或其他特征。
引擎122将确定的通信特征提供给选择引擎130，以由选择引擎130在确定图形元素时利用，该图形元素是为了包括在作为对话的部分被提交的后续通信中而提供的。
后续通信特征引擎126确定后续通信的一个或多个后续通信特征(如果有的话)。例如，在用户已经提供了要被包括在后续通信中的内容(例如，文本输入、图形元素)的情况下，引擎126可以确定该内容的特征。诸如上面相对于引擎122所描述的那些特征中的一个或多个特征的各种特征可以被确定。引擎126将确定的后续通信特征提供给选择引擎130，以由选择引擎130在确定图形元素时利用，该图形元素是为了包括在作为对话的部分被提交的后续通信中而提供的。
用户状态引擎124确定参与对话的一个或多个用户的一个或多个动态状态的一个或多个当前状态。在从用户获得适当的授权之后，用户状态引擎124可以确定用户的当前状态。在一些实施方式中，当前状态可以指示参与对话的一个或多个用户的位置。例如，当前状态可以指示正在制定作为对话的部分将被提交的后续通信的用户的当前位置。位置可以以各种粒度水平被定义，诸如是市、州、邮政编码、位置的类别(例如，家庭、餐馆、意大利餐馆、音乐会场地)。作为另一示例，当前状态可以指示对话中的一个或多个附加用户的当前位置，诸如是对话中最近提交通信的用户。
在一些实施方式中，当前状态可以指示参与对话的一个或多个用户的情绪的一个或多个类别和/或幅度。可以利用各种类别和/或幅度。例如，可以利用指示快乐、悲伤、中性、活跃、疲倦、紧张和/或其他用户状态的类别。在那些实施方式中的一些实施方式和/或其他实施方式中，用户状态引擎124还可以确定一个或多个情绪的幅度。例如，用户状态引擎124可以确定“快乐”的权重为“0.8”，“活跃”的权重为“0.7”，并且其他类别的权重为“0.0”。此外，例如，可以附加地和/或替代地利用更细粒度的类别，诸如是轻微快乐、中等快乐和非常快乐(例如，代替一般的“快乐”类别)。
在一些实施方式中，用户状态引擎124可以在确定一个或多个用户的情绪时利用对话的通信的内容。例如，用户状态模型数据库158可以包括情绪分类器模型，并且引擎124可以应用作为对模型的输入的来自对话的一个或多个通信的文本内容，并且基于输入通过模型生成由文本内容所指示的情绪的指示。作为另一示例，对话的提交通信中所包括的图形元素可以被映射到指示与那些图形元素相关联的情绪的图形元素特征。用户状态引擎124可以在确定情绪时利用这样的映射。
在一些实施方式中，用户状态引擎124使用除了对话的通信的内容之外的一个或多个指示符来确定一个或多个用户的情绪，诸如基于参与对话的至少一个用户的计算设备(例如，客户端设备106A-N中的一个)的一个或多个传感器(例如，相机、麦克风、键盘传感器、触摸屏传感器、心率传感器)的指示符。在那些实施方式中的一些实施方式中，用户状态引擎124基于将一个或多个用户状态指示符应用于用户状态模型数据库158的一个或多个训练过的分类器模型或其他训练过的机器学习模型，来确定情绪的类别和/或幅度。例如，由相机所捕捉的用户的一个或多个图像可以经过面部检测器并且进一步地经过面部表情分类器，面部表情分类器的输出指示面部表情是否是快乐、疲倦、悲伤和/或其他类别。用户状态引擎124可以至少部分地基于面部表情分类器的输出来确定情绪。作为另一示例，可以由用户状态引擎124将从与用户的客户端设备的用户界面输入设备中的一个输入设备相关联的传感器数据所确定的用户的打字速度应用于数据库158的用户状态模型，并且生成被利用来确定用户的情绪的输出。
在一些实施方式中，用户状态引擎124基于合成多个指示符来确定情绪。例如，用户状态引擎124可以将由相机所捕捉的用户的图像应用于第一分类器，第一分类器被训练为基于图像来预测情绪的类别，并且可以将心率传感器数据应用于第二分类器，第二分类器被训练为基于心率传感器数据来预测情绪的类别。用户状态引擎124可以在确定情绪时考虑两个分类器的输出。例如，用户状态引擎124可以对输出进行平均以确定情绪，在确定情绪时使用更大幅度的输出，和/或在确定情绪时以其他方式考虑和/或组合两个输出。
在一些实施方式中，用户状态引擎124确定指示对话中所涉及的多个用户的当前状态的当前状态特征。用户状态引擎124可以利用各种技术来确定指示多个用户的当前状态的当前状态特征。例如，用户状态引擎124可以确定第一用户的情绪的一个或多个类别和/或幅度，确定第二用户的情绪的一个或多个类别和/或幅度，并且基于两个用户的类别和/或幅度来确定组合情绪。例如，用户状态引擎124可以对两个用户的类别和幅度进行平均。可以利用确定当前状态特征的附加或替代技术，当前状态特征指示多个用户的用户状态。
在一些实施方式中，用户状态引擎124可以基于来自参与对话的用户所使用的一个或多个用户界面输入设备的传感器数据来确定当前状态特征。例如，当给定用户在对话中已经提供了打字输入时(例如，使用物理键盘或虚拟键盘)，可以基于打字输入的打字速度、对打字输入的一个或多个字符所施加的压力(例如，如由实施虚拟键盘的触摸屏所感测的)、开始提供打字输入的“延迟时间”(例如，当响应于其他内容提供打字输入时)和/或打字输入的其他感测特征，来确定给定用户的情绪。作为另一示例，当给定用户在对话中已经提供了语音输入时(例如，如由麦克风所感测的)，可以基于语气、音调变化、语调、重音、音高、音量、呼吸音量、呼吸频率、背景噪声水平、背景噪声类型和/或语音输入的其他特征，来确定给定用户的情绪。作为另一示例，用户状态引擎124可以基于来自麦克风的音频输入来确定给定用户的情绪，即使麦克风没有由给定用户使用来提供文本输入。例如，用户状态引擎124可以基于音频输入中的某些类型的声音(例如，笑声、哭泣、音乐)的存在和/或不存在、音频输入中的背景噪声水平、音频输入中的呼吸噪声水平、音频输入中的呼吸频率、音频输入中检测到的语音的各方面(例如，语调、重音)等，来确定情绪。
用户状态引擎124将确定的当前状态特征提供给选择引擎130用于由选择引擎130在确定图形元素时利用，该图形元素是为了包括在作为对话的部分将要提交的后续通信中而提供的。
历史使用引擎128在历史模型数据库160中存储与编写作为对话的部分将要提交的通信的用户的过去使用图形元素有关的历史使用特征。可以存储各种类型的历史使用特征。例如，历史使用引擎128可以存储以下的数量和/或频率：多个单独图形元素中的每一个的使用(例如，特定表情符号的使用的频率)；具有特定图形特征的图形元素的使用(例如，具有“快乐”图形元素特征的图形元素的使用的频率)；来自特定内聚包的图形元素的使用(在一些实施例中包括通过一个或多个共同特征被彼此链接或彼此统一的图形元素的内聚包；例如，来自由用户所安装的“定制”贴纸包的图形元素的使用的频率)。此外，历史使用特征可以可选地与指示历史使用的情境的情境信息相关联，诸如是与使用相关联的参与对话的用户；与使用相关联的位置、日期和/或时间等。例如，历史使用特征可以指示具有与涉及一个或多个其他用户组的对话相结合的特定图形特征的图形元素的使用的频率。
历史使用引擎128将历史使用特征提供给选择引擎130，以由选择引擎130在确定图形元素时使用，提供该图形元素用于包括在作为对话的部分将要提交的后续通信中。
选择引擎130利用由引擎122、124、126和/或128所提供的一个或多个特征，来确定图形元素组，该图形元素组是为了包括在作为对话的部分所提交的后续通信中而提供的。在一些实施方式中，选择引擎130利用来自每个引擎122、124、126和128的特征。在一些其他实施方式中，特征可以仅由引擎122、124、126和128的子集来提供(例如，一个或多个引擎可以被省略)，和/或选择引擎130可以仅利用所提供的特征的子集。
在一些实施方式中，选择引擎130基于提供的特征来选择包括在组中的一个或多个图形元素，该提供的特征与被分配给图形元素数据库154中的那些图形元素的一个或多个图形元素特征相匹配。在那些实施方式中的一些实施方式中，选择引擎130可以进一步基于选择的图形元素的匹配图形元素特征的权重来选择用于包括的图形元素。作为一示例，假设提交通信特征引擎122提供n元“晚餐”的通信特征，并且用户状态引擎124提供指示“快活”的当前状态的当前状态特征。选择引擎130可以选择具有图形元素特征的一个或多个图形元素，该图形元素特征包括n元“晚餐”和“快活”的当前状态，并且可以可选地基于那些图形元素的“晚餐”和“快活”的权重来选择它们。作为另一示例，假设提交通信特征引擎122提供与提交的电子通信(例如，提交的“再见”的电子通信)情境相关的“稍后见，鳄鱼”的预测的文本建议。选择引擎130可以选择由预测的文本建议的一个或多个术语所索引的图形元素，诸如是描绘鳄鱼并且由术语“鳄鱼”所索引的图形元素。
在一些实施方式中，选择引擎130可以将一个或多个提供的特征作为输入应用于内容模型数据库156的一个或多个内容模型，并且基于通过内容模型基于应用的输入所生成的输出，从数据库154选择一个或多个图形元素。例如，内容模型中的一个可以定义对话的提交通信特征与图形元素的一个或多个特征之间的关系。选择引擎130可以将由引擎122所提供的提交通信特征作为输入应用于内容模型，并且通过内容模型基于输入生成一个或多个图形元素特征的指示。选择引擎130可以利用生成的指示来选择一个或多个图形元素以包括在组中。作为另一示例，内容模型中的一个可以定义对话的较早提交的电子通信的通信特征与对话的稍后提交的通信中所包括的文本的一个或多个特征之间的关系。选择引擎130可以将各种接收的对话特征作为输入应用于模型，并且通过模型基于输入生成通常在对话的稍后通信中被提交的文本的特征的指示。选择引擎130可以基于具有与文本的特征相匹配的图形元素特征的图形元素，利用文本的特征来选择一个或多个图形元素以包括在组中。
呈现引擎132提供由选择引擎130所确定的用于包括在作为对话的部分所提交的电子通信中的图形元素组。提供图形元素组可以包括，例如，提供实际的图形元素或提供图形元素的指示。在一些实施方式中，呈现引擎132可以提供用于呈现的图形元素组，并且当生成通信的用户选择图形元素中的一个时，相对应的图形元素可以被包含在通信中。在一些实施方式中，响应于用户选择“回复”用户界面元素、“附加内容”用户界面元素，或者响应于指示希望在通信中包括图形元素的其他用户界面输入，可以提供和/或呈现图形元素组。
在一些实施方式中，呈现引擎132提供独立于在生成通信时经由用户的计算设备所提供的任何文本输入和/或其他内容而呈现的图形元素。在一些实施方式中，呈现引擎132基于由选择引擎130所确定的图形元素的分数来提供包括在回复中的图形元素。例如，在一些实施方式中，呈现引擎132可以基于图形元素的相关联的分数提供图形元素的突出呈现。例如，具有最能指示相关性的分数的图形元素可以被提供为最突出的呈现(例如，最顶部、最左边、和/或最大)。作为另一示例，当组中的一个或多个选择的图形元素的分数满足阈值时，可以提供图形元素组以自动地呈现或响应于某些第一用户界面输入，而当分数不满足阈值时，可能需要单独的用户界面输入。例如，如果分数满足阈值，则当用户选择“回复”界面元素时，可以向用户提供并且呈现图形元素组，而无需用户单独地选择明确征求建议的图形元素和/或其他附加内容的“附加内容”界面元素。然而，如果分数不满足阈值，则当用户选择回复界面元素时，可以不向用户提供并且呈现图形元素组。而是，在向用户提供和/或呈现图形元素组之前，可能需要选择单独的“附加内容”界面元素。
在一些实施方式中，呈现引擎132的一个或多个(例如，所有)方面可以由客户端设备106A和/或电子通信系统110来实施。在一些实施方式中，呈现引擎132仅提供组中的图形元素的指示，并且潜在地提供突出信息，并且客户端设备106A和/或电子通信系统110可以基于提供的数据生成图形元素组的显示。在一些实施方式中，呈现引擎132可以附加地提供生成显示所需的一些或所有数据。在那些实施方式中的一些实施方式中，任何提供的突出信息可以被包含在指示应该如何呈现显示的数据中。
现在参考图2，提供图1的组件的附加描述。在图2中，利用相对应的客户端设备106A-106N的用户界面输入设备106A1-106N1来生成作为对话的部分已经被提交的提交通信201。例如，客户端设备106B的用户可以利用用户界面输入设备106B1来提交作为对话的部分的提交通信201中的一个，该对话涉及客户端设备106B的用户、客户端设备106A的用户以及可选地一个或多个附加用户。
提交通信特征引擎122确定提交通信201的一个或多个提交通信特征222，并且将提交通信特征222提供给选择引擎130。
客户端设备106A的用户在提供包括在由用户作为对话的部分将要提交的后续电子通信中的后续内容203时，可选地利用用户界面输入设备106A1。例如，内容可以包括基于用户的口头或打字输入的文本。后续通信特征引擎126基于后续内容203确定一个或多个后续通信特征226，并且将后续通信特征226提供给选择引擎130。如此处所描述的，在一些实施方式中，用户可能还未提供包括在后续电子通信中的任何后续内容203，并且后续通信特征226可能未被确定或未被提供给选择引擎130。
用户状态引擎124基于提交通信201的内容，基于后续内容203，和/或基于相对应的客户端设备106A-106N的一个或多个传感器106A2-106N2，确定参与对话的一个或多个用户的当前状态特征224。用户状态引擎124在基于这样的输入确定当前状态特征224时，可以可选地利用数据库158的一个或多个用户状态模型。用户状态引擎124将当前状态特征224提供给选择引擎130。
历史使用引擎128基于历史模型数据库160的一个或多个历史模型将历史使用特征228提供给选择引擎130。
选择引擎130基于提供的特征222、224、226和228中的一个或多个来确定图形元素组207。在一些实施方式中，选择引擎130选择组207中的一个或多个图形元素，该选择是基于图形元素数据库154中那些图形元素每个具有与一个或多个提供的特征222、224、226和228相匹配的已分配的图形元素特征，。在一些实施方式中，附加地或替代地，选择引擎130选择组207中的一个或多个图形元素是基于将一个或多个提供的特征222、224、226和228作为输入应用于内容模型数据库156的一个或多个内容模型，通过内容模型基于输入生成输出，并且在图形元素数据库154中选择具有与生成的输出相匹配的已分配的图形元素特征的图形元素。
呈现引擎132提供图形元素组207，以经由客户端设备106A的用户界面输出设备106A3(例如，显示器)呈现给用户。
虽然图2示出每个引擎122、124、126和128向选择引擎130提供特征，但是在其他实施方式中，一个或多个引擎可以不向选择引擎130提供特征(例如，一个或多个引擎可以被省略)。
现在参考图3A-4，描述图形元素系统120的实施方式的各种示例。图3A、3B1、3B2、3B3、3C、3D1、3D2和4各自示出客户端设备106A和客户端设备106A的显示屏幕140(屏幕140可以是图2的用户界面输出设备106A3)。根据此处所公开的实施方式，各种图中的显示屏幕140显示图形用户界面，该图形用户界面具有涉及用户和一个或多个附加用户的对话的示例，以及具有图形元素可以如何被呈现给用户以包括在由用户作为对话的部分将要提交的后续电子通信中的示例。图形元素系统120的一个或多个方面可以被实施在客户端设备106A上和/或与客户端设备106A进行网络通信的一个或多个计算设备上。
图3A、3B1、3B2、3B3、3C、3D1、3D2和4的显示屏幕140进一步包括回复界面元素188和语音回复界面元素189，用户可以选择该回复界面元素188以经由虚拟键盘生成用户界面输入，用户可以选择该语音回复界面元素189经由麦克风生成用户界面输入。在一些实施方式中，用户可以经由麦克风生成用户界面输入而无需选择语音回复界面元素189。例如，在对话期间，对经由麦克风的可听用户界面输入的主动监视可以发生，以消除用户选择语音回复界面元素189的需要。在那些实施方式中的一些实施方式中和/或其他实施方式中，语音回复界面元素189可以被省略。此外，在一些实施方式中，回复界面元素188可以被附加地和/或替代地省略(例如，用户可以仅提供可听用户界面输入并且与建议的图形元素和/或文本建议进行交互)。图3A、3B1、3B2、3B3、3C、3D1、3D2和4的显示屏幕140还包括系统界面元素181、182、183，系统界面元素181、182、183可以由用户与之进行交互以使得客户端设备106A进行一个或多个动作。
在图3A中，在图形用户界面中显示客户端设备106A的用户与至少两个附加用户(鲍勃和汤姆)之间的对话的抄本。对话中的第一附加用户(鲍勃)已经提交了“明天一起吃晚餐怎么样？”的电子通信321，并且对话中的第二附加用户(汤姆)具有“我加入！”的电子通信322。
在图3A的示例中，提供回复界面元素188，用户可以选择该回复界面元素188以提供作为对话的部分将要提交的电子通信的内容。还提供附加内容界面元素187，用户可以选择该附加内容界面元素187以向用户呈现一组潜在包括在作为对话的部分将要提交的电子通信中的一个或多个图形元素。
图3B1、3B2和3B3示出响应于对附加内容界面元素187的选择，图形元素可以如何被呈现给用户，并且被包括在由用户作为图3A的对话的部分所提交的后续电子通信中的示例。
图3B1示出在用户已经选择了图3A中的附加内容界面元素187之后的图形界面。在图3B1中，响应于对附加内容界面元素187的选择，图形元素组191被呈现给用户。五个图形元素被包括在组191中，并且省略号也被显示在组191的右侧。在一些实施方式中，省略号可以被选择以查看附加图形元素，诸如也与情境相关但是不被包括在初始组中的那些图形元素和/或与情境不相关的那些图形元素(例如，以浏览所有可用的图形元素)。
组191中的一个或多个图形元素可以由选择引擎130基于此处所描述的各种特征来选择。例如，它们可以由选择引擎130基于由提交通信特征引擎122所提供的电子通信321和/或322的提交通信特征来选择。例如，基于在通信321中存在术语“晚餐”，提交通信特征可以包括“晚餐”的文本特征。在一些实施方式中，选择引擎130可以基于被分配了与“晚餐”的文本特征相匹配的图形元素特征(例如，晚餐和/或食物)的图形元素，来选择“披萨”和“汉堡包”图形元素。在一些实施方式中，选择引擎130可以选择“披萨”、“汉堡包”和/或“酒杯”图形元素是基于将“晚餐”文本特征应用于数据库156的一个或多个内容模型，以及基于将文本特征应用于内容模型而生成输出，该输出指示包括具有“晚餐”文本特征的提交通信的对话中的后续通信通常包括“食物”和“饮料”图形元素和/或“食物”和“饮料”文本。选择引擎130可以基于被分配了与输出的一个或多个方面相匹配的那些图形元素特征中的每一个，来选择“披萨”、“汉堡包”和“酒杯”图形元素。
作为另一示例，选择引擎130可以选择“OK手势”和“笑脸”图形元素，该选择基于将附加的或替代的提交通信特征应用于内容模型，以及基于将提交通信特征应用于内容模型而生成输出，该输出指示包括那些提交通信特征的对话中的后续通信通常包括“确认”和“快乐”图形元素和/或“确认”和“快乐”文本。选择引擎130可以基于“OK手势”图形元素被分配了“确认”的图形元素特征来选择“OK手势”图形元素，并且可以基于“笑脸”图形元素被分配了“快乐”图形元素特征来选择“笑脸”图形元素。
图3B2示出在用户已经选择了“OK手势”图形元素之后，然后选择了“披萨”图形元素，然后提供了“？”的进一步用户界面输入(例如，打字输入)的图形界面。响应于选择和进一步用户界面输入，选择的图形元素和进一步用户界面输入被顺序地填充在回复界面元素188中，以作为由用户所编写的后续通信的部分。图3B2中还提供提交界面元素193。
图3B3示出在用户已经选择了图3B2中的提交界面元素193以提交包括在对话中的在图3B1中所编写的后续通信之后的图形界面。在图3B3中，在图3B1中所编写的后续通信已经被提交并且被包括在对话中。这由现在包括后续通信332的图3B3中的对话的更新抄本来说明。
图3C示出图形元素可以如何被呈现给用户以潜在包括在由用户作为图3A的对话的部分将要提交的后续通信中的另一示例。在一些实施方式中，响应于对附加内容界面元素187的选择，可以呈现图3C的图形界面以代替图3B1的图形界面。在一些实施方式中，代替对附加内容界面元素187的选择，响应于对图3A中的回复界面元素188的选择可以呈现图3C的图形界面。
在图3C中，图形元素组191与图3B中所呈现的相同。但是，在图3C中，界面还包括虚拟键盘187以使得用户能够制定文本输入，并且包括与对话情境相关的文本建议194。例如，通过将提交通信特征应用于内容模型数据库156的一个或多个内容模型，以生成指示被包括在包括那些提交通信特征的对话中的后续通信中的文本的输出，可以生成文本建议194。在图3C中，用户可以使用键盘187来生成包括在要被提交的通信中的文本内容，用户可以选择文本建议194中的一个以作为内容包括在要被提交的通信中，和/或可以选择组191中的图形元素中的一个以作为内容包括。一旦用户已经制定了具有所希望内容的要被提交的通信，用户就可以利用提交界面元素193将其提交以包括在对话中。如此处所描述的，在一些实施方式中，一个或多个文本建议194可以被用作用于选择一个或多个图形元素191的特征。例如，至少部分地基于由短语“听起来不错”和/或术语“好的”来索引，可以选择“OK手势”图形元素和/或“快乐”图形元素。
图3D1和3D2示出图形元素可以如何被呈现给用户以潜在包括在由用户作为图3A的对话的部分所提交的后续通信中的又一示例。在一些实施方式中，响应于对图3A中的回复界面元素188的选择，可以呈现3D1的图形界面。在图3D中，用户已经使用了虚拟键盘187在要被提交在对话中的后续通信中提供“好的，我可以带些什么？”的文本输入。
图3D2示出在提供图3D1的文本输入之后，响应于用户对附加内容界面元素187的选择而可以被呈现的一组图形元素195的示例。图形元素组195基于选择还同时考虑基于“好的，我可以带些什么？”的文本输入的后续通信特征而不同于组191(图3B1、3B2、3C)。例如，选择引擎130可以在选择包括在组195中的图形元素时，利用由后续通信特征引擎126所提供的一个或多个后续通信特征。后续通信特征的这样的利用使得“酒杯”图形元素的显示突出性得到提升，并且使得新的“馅饼”和“沙拉”图形元素被包括在组195中。用户可以可选地选择一个或多个图形元素以在要被提交的通信中包括选择的图形元素，并且通过对提交界面元素193的选择来提交通信。
在一些实施方式中，在图3D1中提供“好的，我可以带些什么？”的文本输入之前，用户可以首先选择附加内容界面元素187并且被呈现图3B1、3B2、3C的组191。在那些实施方式中的一些实施方式中，响应于在图3D1中提供“好的，我可以带些什么？”的文本输入，基于对基于该文本输入的后续通信特征的考虑，可以用组195(图3D2)来取代组191。此外，在一些实施方式中，可以利用在用户编写后续通信期间来自其他用户作为对话的部分已提交的进一步提交通信，来更新提供的图形元素组(即，通过进一步考虑进一步提交通信的提交通信特征)。
图4示出图3A的示例客户端计算设备，并且示出对话的另一示例以及图形元素可以如何被呈现给用户以潜在包括在由用户作为对话的部分所提交的后续通信中的另一示例。在图4中，在图形用户界面中显示客户端设备106A的用户与至少一个附加用户(鲍勃)之间的对话的抄本。对话中的附加用户(鲍勃)已经提交了“以后再聊”的电子通信421。
用户已经使用了虚拟键盘187以在回复界面元素188中提供“稍后见”的文本输入，以作为要被作为对话的部分将要提交的后续电子通信的内容。一组图形元素197被呈现给用户，并且包括“鳄鱼”图形元素和“笑脸”图形元素。在一些实施方式中，在没有请求提供建议图形元素的明确的用户界面输入的情况下，组197可以被呈现给用户。在那些实施方式中的一些实施方式中，基于选择引擎130确定与组中的一个或多个图形元素相关联的分数满足阈值，可以提供组197。在一些实施方式中，选择引擎130可以基于通信421的提交通信特征，根据文本输入“稍后见”的后续通信特征，以及基于指示用户和鲍勃“快活”的用户的情绪和/或“鲍勃”的情绪，来确定组197。例如，“鳄鱼”图形元素可以用图形元素特征来索引，该图形元素特征指示它对于包括术语“稍后见”的后续通信具有很大的权重，对于包括诸如“以后再聊”的“离开言论”的提交通信具有很大的权重，以及对于“快活”情绪具有很大的权重。
图5A是根据此处所公开的实施方式的示出提供包括在对话中的一组图形元素的示例方法500的流程图。为了方便起见，参考进行操作的系统来描述流程图的操作。该系统可以包括各种计算机系统的各种组件，诸如是图形元素系统120的一个或多个组件。此外，虽然方法500的操作以特定顺序被示出，但是这并不意味着受限制。一个或多个操作可以被重新排序、省略或添加。
在框552，系统接收作为包括用户和一个或多个附加用户的对话的部分所提交的电子通信。
在框554，系统确定电子通信的一个或多个通信特征。例如，系统可以确定作为对话的部分已经被提交的一个或多个提交通信的一个或多个提交通信特征。此外，例如，系统可以附加地或替代地基于已经由用户提供以包括在作为对话的部分而提交的后续通信中的内容(如果有的话)，来确定一个或多个后续通信特征。
在可选的框556，系统确定一个或多个附加特征。例如，系统可以确定指示与参与对话的用户相关联的一个或多个动态状态的当前状态的当前状态特征。此外，例如，系统可以附加地或替代地确定指示一个或多个图形元素的历史使用的历史使用特征，确定指示用户的历史使用的历史使用特征。
在框558，系统确定一组包括在用户的后续通信中的图形元素。在一些实施方式中，系统进行框559以作为进行框558的部分。在框559，系统基于在框554所确定的通信特征，并且可选地基于在框556所确定的附加特征，来为该组选择一个或多个图形元素。在图5B和5C中示出框559的两个示例。
在框560，系统提供潜在包括在对话的后续通信中的图形元素组。
框552、554、556、558和560的多次迭代可以在对话期间发生，以使得图形元素能够适应可能在整个对话中发生的对话的情境中的各种变化。
图5B是更详细地示出方法500的框559的实施方式的示例的流程图。虽然图5B的流程图的操作以特定顺序被示出，但是这并不意味着受限制。一个或多个操作可以被重新排序、省略或添加。
在框562，系统识别与框554(图5)的一个或多个通信特征和/或框556(图5)的一个或多个附加特征相关联的图形元素，以及可选地对该图形元素进行评分。例如，系统可以识别由一个或多个特征所索引的图形元素(例如，包括相对应的被分配的图形元素特征)。系统可以基于与图形元素相关联的特征的数量，和/或基于被分配给匹配特征和图形元素之间的关联的可选权重，来对每个图形元素进行评分。
在框564，对于在框562所识别的一个或多个图形元素，系统确定用户的历史使用特征。历史使用特征可以是在图5的框556所确定的特征。例如，对于给定图形元素，系统可以确定：由用户使用给定图形元素的频率；由用户使用与给定图形元素共享一个或多个图形元素特征的所有图形元素的频率；和/或由用户使用来自给定图形元素所属的内聚图形元素包的图形元素的频率。
在框566，系统可选地基于历史使用特征对识别的图形元素进行评分。系统可以修改在框562所确定的可选分数，和/或可以基于历史使用特征生成新的分数。例如，与系统分配给不具有阈值程度的过去使用的其他图形元素相比，系统可以将更突出的分数分配给与至少阈值程度的过去使用相关联的图形元素。此外，例如，系统可以通过提升图形元素的分数来修改在框562所确定的可选分数，该图形元素的历史使用特征指示用户的至少阈值程度的过去使用。
在框568，系统可选地基于分数，选择一个或多个识别的图形元素。例如，系统可以选择N个最突出评分的图形元素以包括在被最初显示给用户的组中。可以基于各种因素来选择N，各种因素诸如是在其上提供图形元素的客户端设备的显示属性、分数本身(例如，仅选择具有满足阈值的分数的图形元素)等。
图5C是更详细地示出方法500的框559的实施方式的另一示例的流程图。虽然图5C的流程图的操作以特定顺序被示出，但是这并不意味着受限制。一个或多个操作可以被重新排序、省略或添加。
在框572，系统将通信特征和/或附加特征作为输入应用于训练过的机器学习模型。例如，训练过的机器学习模型可以嵌入对话的电子通信的特征与一个或多个图形元素特征和/或文本的一个或多个特征之间的关系。
在框574，系统通过模型基于在框572所应用的输入，生成指示一个或多个图形元素的输出。例如，输出可以指示一个或多个图形元素特征和/或文本的一个或多个特征。在一些实施方式中，输出还可以可选地指示一个或多个指示的特征的权重。
在框576，系统基于框574的输出，选择一个或多个图形元素。例如，系统可以选择由与框574的输出所指示的特征相对应的图形元素特征所索引或以其他方式相关联的图形元素。在一些实施方式中，输出中所指示的特征的可选权重可以被利用来选择一个或多个图形元素。例如，与具有较强权重的特征相关联的那些图形元素比仅与具有较弱权重的特征相关联的那些图形元素更可能被选择。例如，可以基于权重来确定每个图形元素的分数，该分数被利用来选择一些图形元素。在一些实施方式中，可以附加地或替代地基于如相对于图5B的框564和566所描述的历史使用特征来确定分数。
虽然图5B和图5C被示为不同的图，但是在一些实施方式中，图5B的一个或多个框以及图5C的一个或多个框都可以在方法500的框559的给定迭代中被进行。例如，可以基于图5B的框来选择一些图形元素，以及可以基于图5C的框来选择其他图形元素。此外，例如，可以组合基于图5B的框所生成的分数和基于图5C的框所生成的分数，并且利用组合的分数来选择基于图5B的框和图5C的框所识别的图形元素的子集。在其他实施方式中，框559的给定迭代可以仅包括图5B的框或者仅包括图5C的框。
图6是示出将特征分配给图形元素的示例方法600的流程图。为了方便起见，参考进行操作的系统来描述流程图的操作。该系统可以包括各种计算机系统的各种组件，诸如是图形元素特征引擎137。此外，虽然方法600的操作以特定顺序被示出，但是这并不意味着受限制。一个或多个操作可以被重新排序、省略或添加。
在框652，系统选择一个或多个图形元素。例如，系统可以选择单个图形元素或者可以选择一组图形元素。当系统选择图形元素组时，可以基于组中的图形元素全部属于相同内聚包，和/或基于组中的图形元素全部具有共同的一个或多个其他已经被分配的图形元素特征，来选择该组。
在框654，系统识别包括图形元素的对话的特征。例如，系统可以识别对话的通信的特征，其中图形元素被包括在那些通信中。此外，例如，系统可以附加地或替代地识别对话的通信的特征，其中图形元素没有被包括在那些通信中，而是被包括在对话的后续通信中。作为又一示例，系统可以附加地或替代地基于对话的通信来识别用户状态特征。
在框656，系统可选地确定特征的权重。例如，系统可以基于给定特征在对话中的出现数量来确定给定特征的权重。例如，对于描绘鳄鱼的图形元素，系统可以确定它与术语“稍后见”一起被包括在对话的500个通信中，并且它与术语“佛罗里达”一起被包括在对话的300个通信中。基于它与“稍后见”一起出现的通信数量比它与“佛罗里达”一起出现的通信数量大，可以为“稍后见”的特征确定比为“佛罗里达”的特征所确定的权重更大的权重。
在框658，系统将一个或多个特征和可选地一个或多个权重分配给图形元素。例如，系统可以将具有至少阈值权重的那些特征分配给图形元素。在一些实施方式中，特征可以可选地被分配有特征的参数的指示。例如，在特征是基于包括图形元素的通信的情况下，该特征可以被分配有该特征与包括图形元素的通信相关联的指示。例如，仅当特征被包括在为其提供用于包括的图形元素的通信中时，该特征可以被分配有指示该特征与图形元素相关的指示。此外，例如，在特征是基于对话的通信的情况下，其中图形元素被包括在对话的后续通信中，该特征可以被分配有该特征与对话的提交通信相关联的指示。例如，仅当特征被包括在对话的已经提交的通信中，并且图形元素被提供以包括在对话的后续通信中时，该特征可以被分配有指示该特征与图形元素相关的指示。
方法600的多次迭代可以被进行以将特征分配给各种不同的图形元素。
图7是示出训练机器学习内容模型的示例方法700的流程图。为了方便起见，参考进行操作的系统来描述流程图的操作。该系统可以包括各种计算机系统的各种组件，诸如是内容模型训练引擎135。此外，虽然方法700的操作以特定顺序被示出，但是这并不意味着受限制。一个或多个操作可以被重新排序、省略或添加。
在框752，系统选择一个或多个图形元素。例如，系统可以选择系统可用的所有图形元素或者系统可用的图形元素的子集。
在框754，系统识别包括图形元素的对话的特征。例如，系统可以识别对话的通信的特征，其中图形元素被包括在那些通信中。此外，例如，系统可以附加地或替代地识别对话的通信的特征，其中图形元素没有被包括在那些通信中，而是被包括在对话的后续通信中。作为又一示例，系统可以附加地或替代地基于对话的通信来识别用户状态特征。
在框756，系统基于对话特征并且基于图形元素的图形元素特征来生成训练示例。例如，每个训练示例可以包括：基于来自对话中的一个对话的特征的训练示例输入，以及基于被包括在对话中的一个或多个图形元素的图形元素特征的训练示例输出。
在框758，系统基于训练示例来训练机器学习模型。例如，系统可以基于训练示例的训练示例输入的应用并且基于训练示例的训练示例输出的反向传播来训练机器学习模型。
作为方法700的一个特定示例，假设具有输入层、多个隐藏层和输出层的机器学习模型，该输出层是256个不同图形元素特征的向量。
可以基于第一对话中的第一图形元素的存在来生成第一训练示例。第一训练示例的训练示例输入可以包括第一对话的一个或多个特征，诸如是包括第一图形元素的通信的通信特征和/或第一对话的一个或多个其他通信的通信特征。第一训练示例的训练示例输出可以是256个不同图形元素特征的矢量，其中每个图形元素特征的值基于那些图形元素特征的存储分配而被分配给第一图形元素。例如，如果第一图形元素仅分配了256个不同图形元素特征中的5个，则训练示例输出可以包括那5个图形元素特征的“1”(或其他“存在”值)，并且可以包括251个其他图形元素特征的“0”(或其他“缺失”值)。在一些实施方式中，“存在”值可以可选地基于例如第一图形元素的那5个图形元素特征的分配的对应权重而被加权。
可以基于第二对话中的第二图形元素的存在来生成第二训练示例。第二训练示例的训练示例输入可以包括第二对话的一个或多个特征，诸如是包括第一图形元素的通信的通信特征和/或第二对话的一个或多个其他通信的通信特征。第二训练示例的训练示例输出可以是256个不同图形元素特征的矢量，其中每个图形元素特征的值基于那些图形元素特征的存储分配而被分配给第二图形元素。例如，如果第二图形元素仅分配了256个不同图形元素特征中的4个，则训练示例输出可以包括那4个图形元素特征的“1”(或其他“存在”值)，并且可以包括252个其他图形元素特征的“0”(或其他“缺失”值)。在一些实施方式中，“存在”值可以可选地基于例如第二图形元素的那4个图形元素特征的分配的对应权重而被加权。
可以以类似的方式基于附加图形元素和/或对话来生成附加训练示例。一旦基于训练示例被训练，新的对话的特征就可以作为输入被应用于训练过的机器学习模型，并且输出通过模型基于应用的输入被生成。输出将包括256个不同图形元素特征中的每一个的值。每个值指示在考虑到新的对话的应用特征的情况下，对应图形元素特征与新的对话相关的可能性。然后，那些值可以被利用来选择一个或多个图形元素，该图形元素是为了包括在作为对话的部分将要提交的后续消息中而提供的。例如，假设256个值中的20个特定值满足阈值。可以选择被分配了那20个特定值的最大数量的图形元素。
图8是可以可选地被利用来进行此处所描述的技术的一个或多个方面的示例计算设备810的框图。在一些实施方式中，客户端计算设备、自动化助理120和/或其他组件中的一个或多个可以包括示例计算设备810的一个或多个组件。
计算设备810通常包括至少一个处理器814，处理器814经由总线子系统812与数个外围设备进行通信。这些外围设备可以包括存储子系统824、用户界面输出设备820、用户界面输入设备822和网络接口子系统816，存储子系统824包括例如内存子系统825和文件存储子系统826。输入和输出设备允许用户与计算设备810进行交互。网络接口子系统816提供到外部网络的接口，并且被耦接到其他计算设备中的对应接口设备。
用户界面输入设备822可以包括键盘，诸如鼠标、轨迹球、触摸板或图形输入板的定点设备，扫描仪，被结合到显示器中的触摸屏，诸如语音识别系统、麦克风的音频输入设备，和/或其他类型的输入设备。通常，术语“输入设备”的使用旨在包括将信息输入到计算设备810中或通信网络上的所有可能类型的设备以及方式。
用户界面输出设备820可以包括显示子系统、打印机、传真机或者诸如音频输出设备的非可视显示器。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平面面板设备、投影设备或者用于创建可见图像的一些其他机构。显示子系统还可以诸如经由音频输出设备提供非可视显示器。通常，术语“输出设备”的使用旨在包括将信息从计算设备810输出到用户或另一机器或计算设备的所有可能类型的设备以及方式。
存储子系统824存储程序和数据结构，程序和数据结构提供此处所描述的一些或所有模块的功能。例如，存储子系统824可以包括逻辑以进行图5A、5B、5C、6和/或7的方法的选择的方面。
这些软件模块通常由处理器814单独执行或者与其他处理器组合执行。存储子系统824中所使用的内存825可以包括数个内存，数个内存包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)830和存储固定指令的只读存储器(ROM)832。文件存储子系统826可以为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、CD-ROM驱动器、光学驱动器或者可移动介质盒。实施某些实施方式的功能的模块可以由文件存储子系统826存储在存储子系统824中，或者存储在由处理器814可访问的其他机器中。
总线子系统812提供用于使计算设备810的各种组件和子系统按预期彼此进行通信的机制。虽然总线子系统812被示意性地示为单个总线，但是总线子系统的替代实施方式可以使用多个总线。
计算设备810可以是各种类型，包括工作站、服务器、计算集群、刀片服务器、服务器场或者任何其他数据处理系统或计算设备。由于计算机和网络的不断变化的性质，图8中所描绘的计算设备810的描述仅旨在作为用于说明一些实施方式的目的的特定示例。计算设备810的许多其他配置可能具有比图8中所描绘的计算设备更多或更少的组件。
在此处所讨论的某些实施方式可以收集或使用关于用户的个人信息(例如，从其他电子通信所提取的用户数据、关于用户的社交网络的信息、用户的位置、用户的生物计量信息、以及用户的活动和人口统计信息)的情况下，向用户提供一个或多个机会以控制是否收集信息，是否存储个人信息，是否使用个人信息，以及如何收集、存储和使用关于用户的信息。也就是说，仅当从相关用户接收到明确授权以收集、存储和/或使用用户个人信息时，此处所讨论的系统和方法才收集、存储和/或使用用户个人信息。例如，向用户提供对程序或特征是否收集关于该特定用户或与程序或特征相关的其他用户的用户信息的控制。向被收集个人信息的每个用户呈现一个或多个选项以允许对与该用户相关的信息收集的控制，以提供关于是否收集信息以及关于要收集信息的哪些部分的许可或授权。例如，可以通过通信网络向用户提供一个或多个这样的控制选项。此外，一些数据在其被存储或被使用之前可以以一个或多个方式被处理，使得个人可识别信息被移除。作为一示例，用户的身份可以被处理，使得没有个人可识别信息可以被确定。作为另一示例，用户的地理位置可以被归纳到较大的区域，使得用户的特定位置不能被确定。
虽然此处已经描述和说明了多个实施方式，但是可以利用用于进行此处所描述的功能和/或获得结果和/或一个或多个优点的各种其他手段和/或结构，并且每个这样的变型和/或修改被认为是在此处所描述的实施方式的范围内。更一般地，此处所描述的所有参数、尺寸、材料和配置旨在是示例性的，并且实际参数、尺寸、材料和/或配置将取决于使用该教导的特定的一个或多个应用。本领域技术人员将认识到或者能够使用不超过常规的实验来确定此处所描述的具体实施方式的许多等同物。因此，应该理解的是，仅以示例的方式来呈现前述实施方式，并且在所附权利要求及其等同物的范围内，可以以不同于具体描述和要求保护的方式来实施该实施方式。本公开的实施方式涉及此处所描述的每个单独的特征、系统、物品、材料、套件和/或方法。此外，如果这样的特征、系统、物品、材料、套件和/或方法不相互矛盾，则两个或多个这样的特征、系统、物品、材料、套件和/或方法的任何组合被包括在本公开的范围。

Claims (20)

1.一种由一个或多个处理器实施的方法，其特征在于，包括：
接收作为对话的部分所提交的电子通信，所述对话包括用户和一个或多个附加用户，所述电子通信是基于用户界面输入，所述用户界面输入由所述一个或多个附加用户中的附加用户经由所述附加用户的附加用户计算设备的一个或多个用户界面输入设备所生成；
确定所述电子通信的至少一个通信特征，其中所述至少一个通信特征是基于所述电子通信的多个术语中的一个或多个术语；
确定指示所述用户的第一当前状态的第一当前状态特征和指示所述附加用户的第二当前状态的第二当前状态特征，其中所述第一当前状态包括所述用户的第一情绪，并且所述第二当前状态包括所述附加用户的第二情绪，其中确定所述第一当前状态特征和所述第二当前状态特征包括，基于所述电子通信并且基于所述用户的用户计算设备和所述附加用户计算设备的一个或多个传感器，确定所述第一情绪的幅度和所述第二情绪的幅度；
基于所述第一情绪的所述幅度和所述第二情绪的所述幅度来确定组合的当前状态特征；以及
确定一个或多个图形元素的组，所述一个或多个图形元素用于包括在所述用户的将要作为所述对话的部分提交的后续电子通信中，其中确定一个或多个图形元素的所述组包括：
在由所述用户为所述后续电子通信提供任何文本输入之前：
从候选图形元素中选择至少一个图形元素以包括在所述组中，其中选择所述至少一个图形元素是基于所述电子通信的所述至少一个通信特征以及基于所述组合的当前状态特征；以及
提供用于潜在包括在所述后续电子通信中的一个或多个图形元素的所述组，其中一个或多个图形元素的所述组被提供为经由所述用户的所述用户计算设备的显示器来呈现。
2.根据权利要求1所述的方法，其特征在于，还包括：
识别用户界面与用户界面元素的交互，所述用户界面元素经由所述显示器被图形地呈现给所述用户，与所述电子通信的呈现相结合；
其中提供一个或多个图形元素的所述组是响应于识别所述用户界面与所述用户界面元素的交互。
3.根据权利要求1所述的方法，其特征在于，所述至少一个通信特征包括以下中的至少一个：在所述电子通信的特定部分中出现的文本、所述电子通信被发送的时间、所述对话中的用户参与者的数量、或者被应用于所述电子通信的文本的标签。
4.根据权利要求1所述的方法，其特征在于，所述至少一个通信特征还包括至少一个非文本特征，所述非文本特征至少部分地基于除所述电子通信的所述术语之外的一个或多个信号。
5.根据权利要求1所述的方法，其特征在于，还包括：
确定所述对话的附加电子通信的至少一个附加通信特征；
其中选择所述至少一个图形元素是进一步基于所述至少一个附加通信特征。
6.根据权利要求1所述的方法，其特征在于，所述组合的当前状态特征附加地基于对所述第一情绪的所述幅度和所述第二情绪的所述幅度进行平均。
7.根据权利要求1所述的方法，其特征在于，基于所述用户计算设备和所述附加用户计算设备的所述一个或多个传感器来确定所述第一情绪的所述幅度和所述第二情绪的所述幅度包括，从一个或多个用户界面输入设备获得传感器数据，包括以下中的至少一个：所述用户在所述用户计算设备的输入设备中打字输入的速度、压力或延迟时间。
8.根据权利要求1所述的方法，其特征在于，还包括：
识别所述至少一个图形元素的历史使用特征，其中所述历史使用特征包括所述用户对所述至少一个图形元素和其他图形元素的过去使用的量或频率，所述其他图形元素与所述至少一个图形元素共享一个或多个图形元素特征，其中所述一个或多个图形元素特征包括以下中的至少一个：所述至少一个图形元素中的内容的描述符、与所述至少一个图形元素相关联的实体的标识符、包括所述至少一个图形元素的过去的电子通信的术语、或者与所述至少一个图形元素相关联的用户状态；
其中选择所述至少一个图形元素是进一步基于所述历史使用特征。
9.根据权利要求1所述的方法，其特征在于，基于所述至少一个通信特征来选择所述至少一个图形元素包括：
基于所述至少一个通信特征来确定图形元素特征，所述图形元素特征被分配给所述至少一个图形元素并且被分配给多个其他图形元素，其中所述图形元素特征包括被包括在所述至少一个图形元素中的内容的至少一个描述符；以及
基于与所述其他图形元素相比，所述至少一个图形元素与所述用户的更大程度的历史使用相关联，来选择所述至少一个图形元素以包括在所述组中。
10.根据权利要求9所述的方法，其特征在于，所述至少一个图形元素被包括在图形元素的内聚包中，并且其中所述至少一个图形元素的所述历史使用是基于所述用户对所述内聚包的所述图形元素的所述历史使用。
11.根据权利要求1所述的方法，其特征在于，基于所述至少一个通信特征来选择所述至少一个图形元素包括：
将输入应用于被存储在一个或多个计算机可读介质中的训练过的机器学习模型，所述输入包括所述至少一个通信特征；
通过所述训练过的机器学习模型并且基于所述输入，生成指示一个或多个图形元素特征的输出；以及
基于被分配给所述至少一个图形元素的所述一个或多个图形元素特征来选择所述至少一个图形元素。
12.根据权利要求11所述的方法，其特征在于，指示一个或多个图形元素特征的所述输出包括一个或多个术语，并且其中基于被分配给所述至少一个图形元素的所述图形元素特征来选择所述至少一个图形元素包括，基于所述至少一个图形元素由所述一个或多个术语中的至少一个术语索引，来选择所述至少一个图形元素。
13.根据权利要求11所述的方法，其特征在于，还包括：
基于从过去的用户对话所导出的多个训练示例来生成所述训练过的机器学习模型，每个所述训练示例包括：
基于对应的原始电子通信的通信特征的训练示例输入，以及
基于对应的回复电子通信的文本的训练示例输出，所述对应的回复电子通信是对所述对应的原始电子通信的回复；
其中生成所述训练过的机器学习模型包括，基于所述训练示例的所述训练示例输入的应用并且基于所述训练示例的所述训练示例输出的反向传播来训练所述训练过的机器学习模型。
14.根据权利要求11所述的方法，其特征在于，还包括确定指示所述用户或所述附加用户的第三当前状态的至少一个第三当前状态特征，其中所述第三当前状态包括所述用户的所述用户计算设备或所述附加用户的物理位置。
15.根据权利要求1所述的方法，其特征在于，所述至少一个通信特征包括所述一个或多个术语，并且其中基于所述至少一个通信特征来选择所述至少一个图形元素包括：
基于所述至少一个图形元素由所述一个或多个术语中的至少一个术语索引，来选择所述至少一个图形元素。
16.根据权利要求1所述的方法，其特征在于，还包括：
在提供用于潜在包括在所述后续电子通信中的一个或多个图形元素的所述组之后：
接收由所述用户提供的所述后续电子通信的文本输入，所述文本输入是基于由所述用户经由所述用户计算设备的一个或多个用户界面输入设备所生成的用户界面输入；
基于所述文本输入并且基于所述至少一个通信特征来确定修改的图形元素的组；以及
提供用于潜在包括在所述后续电子通信中的所述修改的图形元素的组，与所述文本输入相结合。
17.一种由一个或多个处理器实施的方法，其特征在于，包括：
接收作为对话的部分所提交的电子通信，所述对话包括用户和一个或多个附加用户，所述电子通信是基于用户界面输入，所述用户界面输入由所述一个或多个附加用户中的附加用户经由所述附加用户的附加用户计算设备的一个或多个用户界面输入设备所生成；
确定所述电子通信的至少一个通信特征，其中所述至少一个通信特征是基于所述电子通信的多个术语中的一个或多个术语；
接收由所述用户提供的文本输入，所述文本输入用于所述用户的将要作为所述对话的部分提交的后续电子通信；
确定指示所述用户的第一当前状态的第一当前状态特征和指示所述附加用户的第二当前状态的第二当前状态特征，其中所述第一当前状态包括所述用户的第一情绪，并且所述第二当前状态包括所述附加用户的第二情绪，其中确定所述第一当前状态特征和所述第二当前状态特征包括，基于所述电子通信并且基于所述用户的用户计算设备和所述附加用户计算设备的一个或多个传感器，确定所述第一情绪的幅度和所述第二情绪的幅度；
基于所述第一情绪的所述幅度和所述第二情绪的所述幅度来确定组合的当前状态特征；
确定一个或多个图形元素的组，所述一个或多个图形元素用于包括在所述后续电子通信中，其中确定一个或多个图形元素的所述组包括：
从候选图形元素中选择至少一个图形元素以包括在所述组中，其中选择所述至少一个图形元素是基于所述文本输入并且是基于所述至少一个通信特征和基于所述组合的当前状态特征；以及
提供用于潜在包括在所述后续电子通信中的一个或多个图形元素的所述组，其中一个或多个图形元素的所述组被提供为经由所述用户的所述用户计算设备的显示器来呈现。
18.根据权利要求17所述的方法，其特征在于，提供一个或多个图形元素的所述组是响应于接收所述文本输入并且在没有明确地请求提供图形元素的进一步用户界面输入的情况下发生，
其中所述通信特征包括所述一个或多个术语，并且其中基于所述至少一个通信特征来选择所述至少一个图形元素包括：
基于所述至少一个图形元素由所述一个或多个术语中的至少一个术语索引，来选择所述至少一个图形元素。
19.根据权利要求17所述的方法，其特征在于，所述组合的当前状态特征附加地基于对所述第一情绪的所述幅度和所述第二情绪的所述幅度进行平均。
20.一种由一个或多个处理器实施的方法，其特征在于，包括：
接收由用户提供的内容，所述内容用于包括在将要作为对话的部分由所述用户提交的电子通信中，所述内容是基于由所述用户经由所述用户的用户计算设备的一个或多个用户界面输入设备所生成的用户界面输入；
确定所述内容的至少一个特征；
确定指示所述用户的第一当前状态的第一当前状态特征和指示附加用户的第二当前状态的第二当前状态特征，其中所述第一当前状态包括所述用户的第一情绪，并且所述第二当前状态包括所述附加用户的第二情绪，其中确定所述第一当前状态特征和所述第二当前状态特征包括，基于所述电子通信并且基于所述用户的所述用户计算设备和所述附加用户计算设备的一个或多个传感器，确定所述第一情绪的幅度和所述第二情绪的幅度；
确定指示所述用户的至少一个动态用户状态的当前状态的组合的当前状态特征，其中所述动态用户状态包括所述用户的所述用户计算设备的物理位置，其中所述组合的当前状态特征是基于所述第一情绪的所述幅度和所述第二情绪的所述幅度；
确定用于包括在所述电子通信中的一个或多个图形元素的组，其中确定一个或多个图形元素的所述组包括：
从候选图形元素中选择至少一个图形元素以包括在所述组中，其中选择所述至少一个图形元素是基于与被分配给所述至少一个图形元素的至少一个图形元素特征相匹配的所述内容的所述特征并且是基于所述组合的当前状态特征；以及
提供用于潜在包括在所述电子通信中的一个或多个图形元素的所述组，其中一个或多个图形元素的所述组被提供为经由所述用户的所述用户计算设备的显示器来呈现。
CN201780069884.8A 2016-11-12 2017-09-21 确定包括在电子通信中的图形元素 Active CN109983430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211006361.8A CN115373566A (zh) 2016-11-12 2017-09-21 确定包括在电子通信中的图形元素

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/350,040 2016-11-12
US15/350,040 US10416846B2 (en) 2016-11-12 2016-11-12 Determining graphical element(s) for inclusion in an electronic communication
PCT/US2017/052713 WO2018089109A1 (en) 2016-11-12 2017-09-21 Determining graphical elements for inclusion in an electronic communication

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211006361.8A Division CN115373566A (zh) 2016-11-12 2017-09-21 确定包括在电子通信中的图形元素

Publications (2)

Publication Number Publication Date
CN109983430A CN109983430A (zh) 2019-07-05
CN109983430B true CN109983430B (zh) 2022-09-13

Family

ID=60037703

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780069884.8A Active CN109983430B (zh) 2016-11-12 2017-09-21 确定包括在电子通信中的图形元素
CN202211006361.8A Pending CN115373566A (zh) 2016-11-12 2017-09-21 确定包括在电子通信中的图形元素

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211006361.8A Pending CN115373566A (zh) 2016-11-12 2017-09-21 确定包括在电子通信中的图形元素

Country Status (5)

Country Link
US (1) US10416846B2 (zh)
EP (1) EP3538980A1 (zh)
JP (1) JP2019537110A (zh)
CN (2) CN109983430B (zh)
WO (1) WO2018089109A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502712A (zh) * 2015-09-07 2017-03-15 北京三星通信技术研究有限公司 基于用户操作的app改进方法和系统
WO2017112796A1 (en) 2015-12-21 2017-06-29 Google Inc. Automatic suggestions and other content for messaging applications
JP6638087B2 (ja) 2015-12-21 2020-01-29 グーグル エルエルシー メッセージ交換スレッド用の自動提案
US10387461B2 (en) 2016-08-16 2019-08-20 Google Llc Techniques for suggesting electronic messages based on user activity and other context
WO2018057541A1 (en) 2016-09-20 2018-03-29 Google Llc Suggested responses based on message stickers
CN109716727B (zh) 2016-09-20 2021-10-15 谷歌有限责任公司 获取访问与用户相关联的数据的许可的方法及系统
US10015124B2 (en) 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
US20200150780A1 (en) * 2017-04-25 2020-05-14 Microsoft Technology Licensing, Llc Input method editor
WO2018212822A1 (en) 2017-05-16 2018-11-22 Google Inc. Suggested actions for images
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US20190005548A1 (en) * 2017-06-29 2019-01-03 Tyler Peppel Audience-based optimization of communication media
US11631110B2 (en) * 2017-06-29 2023-04-18 Tyler Peppel Audience-based optimization of communication media
US11869039B1 (en) 2017-11-13 2024-01-09 Wideorbit Llc Detecting gestures associated with content displayed in a physical environment
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
US11043230B1 (en) * 2018-01-25 2021-06-22 Wideorbit Inc. Targeted content based on user reactions
US10970329B1 (en) * 2018-03-30 2021-04-06 Snap Inc. Associating a graphical element to media content item collections
US11496425B1 (en) * 2018-05-10 2022-11-08 Whatsapp Llc Modifying message content based on user preferences
US10572232B2 (en) * 2018-05-17 2020-02-25 International Business Machines Corporation Automatically converting a textual data prompt embedded within a graphical user interface (GUI) to a widget
US11089147B2 (en) * 2018-06-29 2021-08-10 Google Llc Systems, devices, and methods for generating messages
CN110138654B (zh) * 2019-06-06 2022-02-11 北京百度网讯科技有限公司 用于处理语音的方法和装置
CN110263197B (zh) * 2019-06-12 2023-11-28 腾讯科技（深圳）有限公司 一种图像搜索方法、装置、计算机设备和存储介质
WO2021006906A1 (en) * 2019-07-11 2021-01-14 Google Llc System and method for providing an artificial intelligence control surface for a user of a computing device
JP1658050S (zh) * 2019-10-11 2020-04-20
CA3152899A1 (en) 2019-12-23 2021-07-01 Myplanet Internet Solutions Ltd METHOD AND SYSTEM FOR RECOGNIZING USER INTENTION AND UPDATING A GRAPHIC USER INTERFACE
CN111158559B (zh) * 2019-12-30 2021-05-25 香港乐蜜有限公司 社交信息处理方法、装置和电子设备
CN111208930A (zh) * 2020-01-20 2020-05-29 北京元心科技有限公司 一种键盘布局方法、装置、存储设备及终端设备
CN112306224A (zh) * 2020-04-30 2021-02-02 北京字节跳动网络技术有限公司 人机交互方法、装置和电子设备
US11209964B1 (en) 2020-06-05 2021-12-28 SlackTechnologies, LLC System and method for reacting to messages
US11784961B2 (en) * 2020-10-30 2023-10-10 Honda Research Institute Europe Gmbh Social interaction opportunity detection method and system
CN115129225A (zh) * 2021-03-26 2022-09-30 北京小米移动软件有限公司 键盘工具栏显示方法、键盘工具栏显示装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101983396A (zh) * 2008-03-31 2011-03-02 皇家飞利浦电子股份有限公司 基于用户指令修改表示的方法
CN104202718A (zh) * 2014-08-05 2014-12-10 百度在线网络技术（北京）有限公司 一种向用户提供信息的方法与装置
CN105683874A (zh) * 2013-10-03 2016-06-15 微软技术许可有限责任公司 用于文本预测的绘文字
CN105814519A (zh) * 2013-12-12 2016-07-27 触摸式有限公司 将图像或标签输入到电子设备的系统和方法

Family Cites Families (163)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6092102A (en) 1997-10-24 2000-07-18 University Of Pittsburgh Of The Commonwealth System Of Higher Education System and method for notifying users about information or events of an enterprise
US7636750B2 (en) 2001-10-24 2009-12-22 Sprint Spectrum L.P. Method and system for controlling scope of user participation in a communication session
US7283992B2 (en) 2001-11-30 2007-10-16 Microsoft Corporation Media agent to suggest contextually related media content
US20040001099A1 (en) 2002-06-27 2004-01-01 Microsoft Corporation Method and system for associating actions with semantic labels in electronic documents
US7234117B2 (en) 2002-08-28 2007-06-19 Microsoft Corporation System and method for shared integrated online social interaction
US20110107223A1 (en) 2003-01-06 2011-05-05 Eric Tilton User Interface For Presenting Presentations
JP3669702B2 (ja) 2003-02-25 2005-07-13 松下電器産業株式会社 アプリケーションプログラムの予測方法及び移動体端末
CN102158431B (zh) 2003-05-16 2015-03-25 谷歌公司 提供和进行即时消息方法、机器可读介质及图形用户界面
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
WO2005125070A2 (en) 2004-06-14 2005-12-29 Semandex Networks, Inc. System and method for providing content-based instant messaging
US7720436B2 (en) 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US7603413B1 (en) 2005-04-07 2009-10-13 Aol Llc Using automated agents to facilitate chat communications
US7860319B2 (en) 2005-05-11 2010-12-28 Hewlett-Packard Development Company, L.P. Image management
US7512580B2 (en) 2005-08-04 2009-03-31 Sap Ag Confidence indicators for automated suggestions
US7747785B2 (en) 2006-04-14 2010-06-29 Microsoft Corporation Instant messaging plug-ins
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080120371A1 (en) 2006-11-16 2008-05-22 Rajat Gopal Relational framework for non-real-time audio/video collaboration
US8082151B2 (en) 2007-09-18 2011-12-20 At&T Intellectual Property I, Lp System and method of generating responses to text-based messages
US20090119584A1 (en) 2007-11-02 2009-05-07 Steve Herbst Software Tool for Creating Outlines and Mind Maps that Generates Subtopics Automatically
EP2223541A4 (en) 2007-12-17 2012-08-15 Play Megaphone SYSTEM AND METHOD FOR INTERACTION MANAGEMENT BETWEEN A USER AND AN INTERACTIVE SYSTEM
US20090282114A1 (en) 2008-05-08 2009-11-12 Junlan Feng System and method for generating suggested responses to an email
US8166019B1 (en) 2008-07-21 2012-04-24 Sprint Communications Company L.P. Providing suggested actions in response to textual communications
JP5273712B2 (ja) * 2008-08-11 2013-08-28 シャープ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US8391618B1 (en) 2008-09-19 2013-03-05 Adobe Systems Incorporated Semantic image classification and search
US20100228590A1 (en) 2009-03-03 2010-09-09 International Business Machines Corporation Context-aware electronic social networking
US9325661B2 (en) * 2009-03-30 2016-04-26 Avaya Inc. System and method for managing a contact center with a graphical call connection metaphor
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US20120131520A1 (en) 2009-05-14 2012-05-24 Tang ding-yuan Gesture-based Text Identification and Selection in Images
US9782527B2 (en) 2009-05-27 2017-10-10 Tc1 Llc Monitoring of redundant conductors
CN102667754A (zh) 2009-07-02 2012-09-12 乐宅睦有限公司 用于增强数字内容的系统和方法
US8572084B2 (en) 2009-07-28 2013-10-29 Fti Consulting, Inc. System and method for displaying relationships between electronically stored information to provide classification suggestions via nearest neighbor
US9128610B2 (en) 2009-09-30 2015-09-08 At&T Mobility Ii Llc Virtual predictive keypad
US8831279B2 (en) 2011-03-04 2014-09-09 Digimarc Corporation Smartphone-based methods and systems
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US8650210B1 (en) 2010-02-09 2014-02-11 Google Inc. Identifying non-search actions based on a search query
US8655965B2 (en) 2010-03-05 2014-02-18 Qualcomm Incorporated Automated messaging response in wireless communication systems
JP5733907B2 (ja) 2010-04-07 2015-06-10 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
US9929982B2 (en) 2010-04-08 2018-03-27 Microsoft Technology Licensing, Llc Designating automated agents as friends in a social network service
US20170098122A1 (en) 2010-06-07 2017-04-06 Affectiva, Inc. Analysis of image content with associated manipulation of expression presentation
US20120030289A1 (en) 2010-07-30 2012-02-02 Avaya Inc. System and method for multi-model, context-sensitive, real-time collaboration
US8781152B2 (en) 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
KR101722687B1 (ko) 2010-08-10 2017-04-04 삼성전자주식회사 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
US9936333B2 (en) 2010-08-10 2018-04-03 Microsoft Technology Licensing, Llc Location and contextual-based mobile application promotion and delivery
US9262517B2 (en) 2010-08-18 2016-02-16 At&T Intellectual Property I, L.P. Systems and methods for social media data mining
KR101753031B1 (ko) 2010-11-15 2017-06-30 엘지전자 주식회사 이동 단말기 및 이것의 메타데이터 설정 방법
US9066126B2 (en) * 2010-12-06 2015-06-23 Google Technology Holdings LLC Remote control apparatus, method and user interface system
KR101060753B1 (ko) 2011-01-04 2011-08-31 (주)올라웍스 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US20120179717A1 (en) 2011-01-11 2012-07-12 Sony Corporation System and method for effectively providing entertainment recommendations to device users
US8688698B1 (en) 2011-02-11 2014-04-01 Google Inc. Automatic text suggestion
US8938669B1 (en) 2011-03-15 2015-01-20 Google Inc. Inline user addressing in chat and document editing sessions
US20130262574A1 (en) 2011-03-15 2013-10-03 Gabriel Cohen Inline User Addressing in Chat Sessions
US8554701B1 (en) 2011-03-18 2013-10-08 Amazon Technologies, Inc. Determining sentiment of sentences from customer reviews
JP2012221480A (ja) * 2011-04-06 2012-11-12 L Is B Corp メッセージ処理システム
EP2523436A1 (en) 2011-05-11 2012-11-14 Alcatel Lucent Mobile device and method of managing applications for a mobile device
US8832284B1 (en) 2011-06-16 2014-09-09 Google Inc. Virtual socializing
US8589407B2 (en) 2011-06-17 2013-11-19 Google Inc. Automated generation of suggestions for personalized reactions in a social network
US8700480B1 (en) 2011-06-20 2014-04-15 Amazon Technologies, Inc. Extracting quotes from customer reviews regarding collections of items
US9245253B2 (en) 2011-08-19 2016-01-26 Disney Enterprises, Inc. Soft-sending chat messages
US8659667B2 (en) 2011-08-29 2014-02-25 Panasonic Corporation Recipe based real-time assistance for digital image capture and other consumer electronics devices
US9179278B2 (en) 2011-09-01 2015-11-03 Qualcomm Incorporated Systems and methods involving augmented menu using mobile device
US10102546B2 (en) 2011-09-15 2018-10-16 Stephan HEATH System and method for tracking, utilizing predicting, and implementing online consumer browsing behavior, buying patterns, social networking communications, advertisements and communications, for online coupons, products, goods and services, auctions, and service providers using geospatial mapping technology, and social networking
KR101402506B1 (ko) 2011-12-01 2014-06-03 라인 가부시키가이샤 인스턴트 메시징 어플리케이션을 이용한 대화형 정보제공 시스템 및 방법
GB2499395A (en) 2012-02-14 2013-08-21 British Sky Broadcasting Ltd Search method
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US20130346235A1 (en) 2012-06-20 2013-12-26 Ebay, Inc. Systems, Methods, and Computer Program Products for Caching of Shopping Items
US9191786B2 (en) 2012-06-27 2015-11-17 At&T Intellectual Property I, L.P. Method and apparatus for generating a suggested message to be sent over a network
KR20140011073A (ko) 2012-07-17 2014-01-28 삼성전자주식회사 텍스트 추천 방법 및 장치
KR101899817B1 (ko) 2012-08-01 2018-09-19 엘지전자 주식회사 이동단말기 및 그 제어 방법
US20140047413A1 (en) 2012-08-09 2014-02-13 Modit, Inc. Developing, Modifying, and Using Applications
KR102068604B1 (ko) 2012-08-28 2020-01-22 삼성전자 주식회사 휴대단말기의 문자 인식장치 및 방법
US9218333B2 (en) 2012-08-31 2015-12-22 Microsoft Technology Licensing, Llc Context sensitive auto-correction
US20140088954A1 (en) 2012-09-27 2014-03-27 Research In Motion Limited Apparatus and method pertaining to automatically-suggested emoticons
US10691743B2 (en) 2014-08-05 2020-06-23 Sri International Multi-dimensional realization of visual content of an image collection
US9299060B2 (en) 2012-10-12 2016-03-29 Google Inc. Automatically suggesting groups based on past user interaction
US20150286371A1 (en) 2012-10-31 2015-10-08 Aniways Advertising Solutions Ltd. Custom emoticon generation
US9244905B2 (en) 2012-12-06 2016-01-26 Microsoft Technology Licensing, Llc Communication context based predictive-text suggestion
US20140164506A1 (en) 2012-12-10 2014-06-12 Rawllin International Inc. Multimedia message having portions of networked media content
US20140171133A1 (en) 2012-12-18 2014-06-19 Google Inc. Query response
CN103067490B (zh) 2012-12-26 2015-11-25 腾讯科技（深圳）有限公司 移动终端通讯会话的通知方法、终端、服务器及系统
US20140189538A1 (en) 2012-12-31 2014-07-03 Motorola Mobility Llc Recommendations for Applications Based on Device Context
US8930481B2 (en) 2012-12-31 2015-01-06 Huawei Technologies Co., Ltd. Message processing method, terminal and system
KR20140091633A (ko) 2013-01-11 2014-07-22 삼성전자주식회사 모바일 장치에서의 상황 인지에 따른 추천 항목을 제공하기 위한 방법 및 이를 위한 모바일 장치
US20140237057A1 (en) 2013-02-21 2014-08-21 Genesys Telecommunications Laboratories, Inc. System and method for processing private messages in a contact center
JP6255646B2 (ja) * 2013-03-04 2018-01-10 株式会社Ｌ ｉｓ Ｂ メッセージシステム
US20140298364A1 (en) * 2013-03-26 2014-10-02 Rawllin International Inc. Recommendations for media content based on emotion
US8825474B1 (en) 2013-04-16 2014-09-02 Google Inc. Text suggestion output using past interaction data
US9177318B2 (en) 2013-04-22 2015-11-03 Palo Alto Research Center Incorporated Method and apparatus for customizing conversation agents based on user characteristics using a relevance score for automatic statements, and a response prediction function
US9923849B2 (en) 2013-05-09 2018-03-20 Ebay Inc. System and method for suggesting a phrase based on a context
US10599765B2 (en) 2013-06-27 2020-03-24 Avaya Inc. Semantic translation model training
US10162884B2 (en) 2013-07-23 2018-12-25 Conduent Business Services, Llc System and method for auto-suggesting responses based on social conversational contents in customer care services
US9161188B2 (en) 2013-08-22 2015-10-13 Yahoo! Inc. System and method for automatically suggesting diverse and personalized message completions
US9329692B2 (en) 2013-09-27 2016-05-03 Microsoft Technology Licensing, Llc Actionable content displayed on a touch screen
US8996639B1 (en) 2013-10-15 2015-03-31 Google Inc. Predictive responses to incoming communications
US20150127753A1 (en) * 2013-11-04 2015-05-07 Meemo, Llc Word Recognition and Ideograph or In-App Advertising System
KR20150071768A (ko) 2013-12-18 2015-06-29 에스케이하이닉스 주식회사 이미지 센서 및 그 제조방법
US10565268B2 (en) 2013-12-19 2020-02-18 Adobe Inc. Interactive communication augmented with contextual information
WO2015100362A1 (en) 2013-12-23 2015-07-02 24/7 Customer, Inc. Systems and methods for facilitating dialogue mining
US9817813B2 (en) 2014-01-08 2017-11-14 Genesys Telecommunications Laboratories, Inc. Generalized phrases in automatic speech recognition systems
US20150207765A1 (en) 2014-01-17 2015-07-23 Nathaniel Brantingham Messaging Service with Conversation Suggestions
AU2015214298B2 (en) 2014-02-10 2018-05-10 Google Llc Smart camera user interface
US10095748B2 (en) 2014-03-03 2018-10-09 Microsoft Technology Licensing, Llc Personalized information query suggestions
US9544257B2 (en) 2014-04-04 2017-01-10 Blackberry Limited System and method for conducting private messaging
US9213941B2 (en) 2014-04-22 2015-12-15 Google Inc. Automatic actions based on contextual replies
US10482163B2 (en) 2014-04-23 2019-11-19 Klickafy, Llc Clickable emoji
WO2016003469A1 (en) 2014-07-03 2016-01-07 Nuance Communications, Inc. System and method for suggesting actions based upon incoming messages
US9043196B1 (en) 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
EP2980733A1 (en) 2014-07-31 2016-02-03 Samsung Electronics Co., Ltd Message service providing device and method of providing content via the same
US10218652B2 (en) 2014-08-08 2019-02-26 Mastercard International Incorporated Systems and methods for integrating a chat function into an e-reader application
US10447621B2 (en) 2014-09-04 2019-10-15 Microsoft Technology Licensing, Llc App powered extensibility of messages on an existing messaging service
US10146748B1 (en) 2014-09-10 2018-12-04 Google Llc Embedding location information in a media collaboration using natural language processing
JP6561996B2 (ja) * 2014-11-07 2019-08-21 ソニー株式会社 情報処理装置、制御方法、および記憶媒体
US20160140477A1 (en) 2014-11-13 2016-05-19 Xerox Corporation Methods and systems for assigning tasks to workers
US9569728B2 (en) 2014-11-14 2017-02-14 Bublup Technologies, Inc. Deriving semantic relationships based on empirical organization of content by users
US20160179816A1 (en) 2014-12-22 2016-06-23 Quixey, Inc. Near Real Time Auto-Suggest Search Results
KR20160089152A (ko) * 2015-01-19 2016-07-27 주식회사 엔씨소프트 화행 분석을 통한 스티커 추천 방법 및 시스템
KR101634086B1 (ko) 2015-01-19 2016-07-08 주식회사 엔씨소프트 감정 분석을 통한 스티커 추천 방법 및 시스템
US20160226804A1 (en) 2015-02-03 2016-08-04 Google Inc. Methods, systems, and media for suggesting a link to media content
US20160224524A1 (en) 2015-02-03 2016-08-04 Nuance Communications, Inc. User generated short phrases for auto-filling, automatically collected during normal text use
US9661386B2 (en) 2015-02-11 2017-05-23 Google Inc. Methods, systems, and media for presenting a suggestion to watch videos
US10079785B2 (en) 2015-02-12 2018-09-18 Google Llc Determining reply content for a reply to an electronic communication
US10353542B2 (en) * 2015-04-02 2019-07-16 Facebook, Inc. Techniques for context sensitive illustrated graphical user interface elements
US9883358B2 (en) 2015-05-08 2018-01-30 Blackberry Limited Electronic device and method of determining suggested responses to text-based communications
US10909329B2 (en) 2015-05-21 2021-02-02 Baidu Usa Llc Multilingual image question answering
US10504509B2 (en) 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
KR20160148260A (ko) 2015-06-16 2016-12-26 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10274911B2 (en) 2015-06-25 2019-04-30 Intel Corporation Conversational interface for matching text of spoken input based on context model
US9712466B2 (en) 2015-11-10 2017-07-18 Wrinkl, Inc. Integrating actionable objects into an on-line chat communications platform
US10445425B2 (en) * 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US11025569B2 (en) 2015-09-30 2021-06-01 Apple Inc. Shared content presentation with integrated messaging
KR102393928B1 (ko) 2015-11-10 2022-05-04 삼성전자주식회사 응답 메시지를 추천하는 사용자 단말 장치 및 그 방법
US10129193B2 (en) 2015-11-17 2018-11-13 International Business Machines Corporation Identifying relevant content contained in message streams that appear to be irrelevant
KR102427833B1 (ko) * 2015-11-30 2022-08-02 삼성전자주식회사 사용자 단말장치 및 디스플레이 방법
US20170171117A1 (en) 2015-12-10 2017-06-15 International Business Machines Corporation Message Suggestion Using Dynamic Information
JP6638087B2 (ja) 2015-12-21 2020-01-29 グーグル エルエルシー メッセージ交換スレッド用の自動提案
WO2017112796A1 (en) 2015-12-21 2017-06-29 Google Inc. Automatic suggestions and other content for messaging applications
KR101712180B1 (ko) 2015-12-29 2017-03-06 라인 가부시키가이샤 메시지를 송수신하기 위한 컴퓨터로 읽을 수 있는 기록매체에 저장된 프로그램, 방법 및 장치
US9560152B1 (en) 2016-01-27 2017-01-31 International Business Machines Corporation Personalized summary of online communications
US11477139B2 (en) 2016-02-25 2022-10-18 Meta Platforms, Inc. Techniques for messaging bot rich communication
US20170250935A1 (en) 2016-02-25 2017-08-31 Facebook, Inc. Techniques for messaging bot app interactions
US20170250930A1 (en) 2016-02-29 2017-08-31 Outbrain Inc. Interactive content recommendation personalization assistant
US10831802B2 (en) 2016-04-11 2020-11-10 Facebook, Inc. Techniques to respond to user requests using natural-language machine learning based on example conversations
US10452671B2 (en) 2016-04-26 2019-10-22 Facebook, Inc. Recommendations from comments on online social networks
US9866693B2 (en) 2016-05-06 2018-01-09 Genesys Telecommunications Laboratories, Inc. System and method for monitoring progress of automated chat conversations
US20170344224A1 (en) * 2016-05-27 2017-11-30 Nuance Communications, Inc. Suggesting emojis to users for insertion into text-based messages
US9990128B2 (en) 2016-06-12 2018-06-05 Apple Inc. Messaging application interacting with one or more extension applications
US10254935B2 (en) 2016-06-29 2019-04-09 Google Llc Systems and methods of providing content selection
US10515393B2 (en) 2016-06-30 2019-12-24 Paypal, Inc. Image data detection for micro-expression analysis and targeted data services
US9807037B1 (en) 2016-07-08 2017-10-31 Asapp, Inc. Automatically suggesting completions of text
US10049310B2 (en) 2016-08-30 2018-08-14 International Business Machines Corporation Image text analysis for identifying hidden text
KR101961754B1 (ko) 2016-09-20 2019-03-25 구글 엘엘씨 봇 상호작용
US10015124B2 (en) 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
CN109716727B (zh) 2016-09-20 2021-10-15 谷歌有限责任公司 获取访问与用户相关联的数据的许可的方法及系统
WO2018057541A1 (en) 2016-09-20 2018-03-29 Google Llc Suggested responses based on message stickers
US11176931B2 (en) 2016-09-23 2021-11-16 Microsoft Technology Licensing, Llc Conversational bookmarks
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
US20180196854A1 (en) 2017-01-11 2018-07-12 Google Inc. Application extension for generating automatic search queries
US10146768B2 (en) 2017-01-25 2018-12-04 Google Llc Automatic suggested responses to images received in messages using language model
US10229427B2 (en) 2017-04-10 2019-03-12 Wildfire Systems, Inc. Virtual keyboard trackable referral system
US20180316637A1 (en) 2017-05-01 2018-11-01 Microsoft Technology Licensing, Llc Conversation lens for context
EP3619909B1 (en) 2017-05-05 2022-07-27 Liveperson, Inc. Dynamic response prediction for improved bot task processing
WO2018212822A1 (en) 2017-05-16 2018-11-22 Google Inc. Suggested actions for images
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101983396A (zh) * 2008-03-31 2011-03-02 皇家飞利浦电子股份有限公司 基于用户指令修改表示的方法
CN105683874A (zh) * 2013-10-03 2016-06-15 微软技术许可有限责任公司 用于文本预测的绘文字
CN105814519A (zh) * 2013-12-12 2016-07-27 触摸式有限公司 将图像或标签输入到电子设备的系统和方法
CN104202718A (zh) * 2014-08-05 2014-12-10 百度在线网络技术（北京）有限公司 一种向用户提供信息的方法与装置

Also Published As

Publication number Publication date
JP2019537110A (ja) 2019-12-19
US10416846B2 (en) 2019-09-17
US20180136794A1 (en) 2018-05-17
CN115373566A (zh) 2022-11-22
WO2018089109A1 (en) 2018-05-17
CN109983430A (zh) 2019-07-05
EP3538980A1 (en) 2019-09-18

Similar Documents

Publication Publication Date Title
CN109983430B (zh) 确定包括在电子通信中的图形元素
US11929072B2 (en) Using textual input and user state information to generate reply content to present in response to the textual input
US12093270B2 (en) Automatically augmenting message exchange threads based on tone of message
US11727220B2 (en) Transitioning between prior dialog contexts with automated assistants
US11030515B2 (en) Determining semantically diverse responses for providing as suggestions for inclusion in electronic communications
US20240103893A1 (en) Generating content endorsements using machine learning nominator(s)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant