CN112800218A - 基于消息分类自动扩增消息交换话题 - Google Patents

基于消息分类自动扩增消息交换话题 Download PDF

Info

Publication number
CN112800218A
CN112800218A CN202110053943.0A CN202110053943A CN112800218A CN 112800218 A CN112800218 A CN 112800218A CN 202110053943 A CN202110053943 A CN 202110053943A CN 112800218 A CN112800218 A CN 112800218A
Authority
CN
China
Prior art keywords
message
message exchange
score
search query
topic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110053943.0A
Other languages
English (en)
Inventor
戴维·科根
袁王庆
陈蔚
布赖恩·赫林
迈克尔·伊茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112800218A publication Critical patent/CN112800218A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/24765—Rule-based classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/063—Content adaptation, e.g. replacement of unsuitable content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及基于消息分类自动扩增消息交换话题。提供了基于在参与者之间交换的消息的检测的基调来自动扩充消息交换话题的方法、装置、系统和计算机可读介质。在各种实施方式中，可以确定参与者贡献给涉及一个或多个消息交换客户端的消息交换话题的消息。在各种实施方式中，可以计算与消息相关联的闲聊分数。在各种实施方式中，可以至少部分地基于闲聊分数，选择性地将对消息的会话响应或响应于基于消息生成的搜索查询的内容并入消息交换话题中。在一些实施方式中，还可以计算与消息相关联的搜索查询适合性分数。

Description

基于消息分类自动扩增消息交换话题
分案说明
本申请属于申请日为2016年12月26日的中国发明专利申请201611215880.X的分案申请。
技术领域
本公开涉及基于消息分类自动扩增消息交换话题。
背景技术
个人助理模块是安装在诸如智能电话、平板电脑、车辆导航系统、智能手表以及通用计算设备(例如，台式计算机、膝上型计算机)的计算设备上的软件处理，以向用户提供用户友好的界面以发出自然语言命令。用户经常使用他们的语音发出自然语言命令，但是个人助理模块也可以响应于其它模态，诸如各种形式的文本和/或图像输入。用户可以经由使用各种技术实现的消息交换话题，诸如文本消息、在线聊天(例如，即时消息、互联网中继聊天等)、社交网络话题、交互式语音响应等等，与个人助理模块和/或彼此通信。正在进行的消息交换话题通常限于文本(例如，键入或从语音输入产生)或其它数据，诸如用户有意和明确地并入消息交换话题中的图片。
发明内容
本公开总体上涉及用于利用响应于搜索查询的内容来自动扩增消息交换话题的方法、装置和计算机可读介质(暂时和非暂时的)，该搜索查询基于通过话题中的参与者提供的消息。将该内容自动包括在消息话题中益处可以在于，可以不需要用户手动使得执行搜索(例如，在搜索引擎上或者在用户设备上)。这可以降低用户设备交互的量以及计算资源的相关使用，例如，处理导致例如改变应用和/或使执行搜索。然而，在一些实例中，将该内容包括在消息话题中可能是不适当的，例如，当消息并不很好地适合作为搜索的主题时。将响应于基于这样的消息的搜索的内容自动包括在消息交换话题中可能未很好地使用计算资源。因此，为了解决该问题，在此描述的方法、装置和计算机可读介质(暂时和非暂时的)可以基于参与者之间交换的消息的分类，确定是否利用响应于搜索查询的内容自动扩增消息交换话题。更具体地，本文描述的技术涉及参与者(指向另一个参与者或者指向个人助理模块)贡献给消息交换话题的消息作为适合于或者不适合于搜索查询的分类，并且基于该分类，自动地和选择性地并入响应于从参与者的消息生成的搜索查询传达内容的响应。在一些示例中，如果消息被分类为不适合所谓搜索查询，则不传达响应于搜索查询的内容的响应(“聊天”或“会话”响应)可以被并入消息话题。更具体地，可以向参与者贡献给消息交换话题的消息被分配第一分数(“闲聊分数”)，其是消息用作搜索查询的不适合程度的指示，和/或第二分数(“搜索查询适合性分数”)，其是消息用作搜索查询的适合程度的指示。第一和第二分数可以被分别或者组合使用以确定消息的分类。基于一个或两个分数，消息交换话题可以被自动扩增，例如，代表参与消息交换话题的个人助理模块。
在一些实施方式中，可以提供计算机实现的方法，其包括以下步骤：从涉及一个或多个消息交换客户端的消息交换话题，确定参与者贡献给消息交换话题的消息；计算指示消息用作搜索查询的不适合程度的第一分数；以及至少部分地基于第一分数，选择性地将响应于基于消息生成的搜索查询的内容并入消息交换话题中。
在一些实施方式中，可以提供一种计算机实现的方法，其包括以下步骤：从涉及一个或多个消息交换客户端的消息交换话题，确定参与者贡献给消息交换话题的消息；计算与消息相关联的闲聊分数；以及至少部分地基于闲聊分数，选择性地将对消息的会话响应或响应于基于消息生成的搜索查询的内容并入消息交换话题中。
本文所公开的此方法和技术的其它实施方式可以各自可选地包括以下特征中的一个或多个。
在各种实施方式中，并入可以包括将响应插入到在给定客户端计算设备上操作的消息交换客户端的图形用户界面中显示的消息交换话题的记录单中。在各种实施方式中，计算闲聊分数可以包括将消息作为输入提供给机器学习模型，其中机器学习模型提供闲聊分数作为输出。在各种实施方式中，机器学习模型可以提供与消息相关联的搜索查询适合性分数作为输出。在各种实施方式中，该方法可以包括：将闲聊分数与搜索查询适合性分数进行比较；以及基于比较，选择性地将对消息的会话响应或响应于基于消息生成的搜索查询的内容并入消息交换话题中。
在各种实施方式中，可以在至少一个正向训练示例上训练机器学习模型。至少一个正向训练示例包括其中先前消息交换话题的一个或多个参与者，对先前消息交换话题的先前消息的会话响应的并入或响应于基于先前消息生成的先前搜索查询的内容的并入做出积极响应的实例。
在各种实施方式中，该方法还可以包括响应于搜索查询计算与内容相关联的搜索结果分数，其中，并入还基于搜索结果分数。在各种实施方式中，搜索结果分数可以至少部分地基于响应于搜索查询的一个或多个浮出的搜索结果的存在。在各种实施方式中，该方法可以包括至少部分地基于消息中提及的一个或多个已知实体或实体类型来计算与消息相关联的搜索查询适合性分数。
其它实施方式可以包括存储可由处理器执行以执行诸如上述方法中的一个或多个的方法的指令的非暂时性计算机可读存储介质。又一实现可以包括一种系统，其包括存储器和一个或多个处理器，处理器，可操作以执行存储在存储器中的指令，以实现单独或共同地执行诸如所描述的方法中的一个或多个的一个或多个模块或引擎。
应当理解，在此更详细地描述的前述概念和附加概念的所有组合被认为是本文所公开的主题的一部分。例如，出现在本公开内容结尾处的所要求保护的主题的所有组合被认为是本文所公开的主题的一部分。
附图说明
图1示出了根据各种实施方式的其中内容可以被自动并入消息交换话题的环境。
图2描绘根据各种实施方式的与所公开的技术相关联的示例处理流程。
图3和图4描绘了根据各种实施方式当实践所公开的技术时，示例性图形用户界面如何受到影响。
图5描绘示出根据各种实施方式的利用内容来扩增正在进行的消息交换的示例方法的流程图。
图6示意性地描绘计算机系统的示例架构。
具体实施方式
图1示出其中消息交换话题可以基于在用户之间交换的消息的检测到的“基调(tone)”(例如，闲聊对客观请求/问题)自动扩增内容的环境。示例环境包括多个客户端设备1061-N和知识系统102。知识系统102可以在例如通过网络进行通信的一个或多个计算机中实现。知识系统102是信息检索系统的示例，其中可以实现这里描述的系统、组件和技术和/或本文描述的系统、组件和技术可以与其对接。
用户可以经由客户端设备106与知识系统102交互。每个客户端设备106可以是通过一个或多个网络110，诸如局域网(LAN)或如因特网的广域网(WAN)，耦合到知识系统102的计算机。每个客户端设备106可以是例如台式计算设备、膝上型计算设备、平板计算设备、移动电话计算设备、用户车辆的计算设备(例如，车载通信系统、车载娱乐系统、车载导航系统)、独立语音命令设备或包括计算设备的用户可穿戴设备(例如，具有计算设备的用户手表、具有计算设备的用户眼镜)。可以提供附加和/或替代的客户端设备。给定用户可能将操作共同形成计算设备(其可以或可以不由用户拥有)的协调“生态系统”的多个计算设备。然而，为了简洁起见，本公开中描述的示例将集中于用户操作单个客户端设备106。
每个客户端设备106可以操作各种不同的应用，诸如消息交换客户端107和/或个人助理模块109。消息交换客户端107可以具有各种形式。在一些实施方式中，消息交换客户端107可以以短消息服务(“SMS”)和/或多媒体消息服务(“MMS”)客户端、在线聊天客户端(例如，即时消息器或“IRC”等)、与社交网络相关联的消息收发应用、用于与个人助理模块通信的接口等的形式。在一些实施方式中，消息交换客户端107可以在由网络浏览器(未示出)呈现的网页内实现。在各种情况下，由消息交换话题的参与者操作的两个客户端设备106可以运行不同的消息交换客户端107，然而其使用公共通信协议来促使通信。例如，客户端设备1061可以具有由安装的一个供应商分发的一个SMS应用，并且客户端设备106N可以具有由安装的另一供应商分发的另一SMS应用。
如在背景技术中所描述的，个人助理模块109可以采取安装在给定客户端计算设备106上的软件处理的形式，以提供用户友好的界面以用于用户发出自然语言命令。个人助理模块109可以由各种刺激来调用或“唤醒”，诸如用户说出被选择来激活个人助理模块109的一个或多个代码字。在本文描述的各种实施方式中，例如使用语音输入、文本输入等，用户可以在消息交换话题中与个人助理模块109通信。此外，个人助理模块109可以参与消息交换话题，该消息交换话题涉及在多个客户端设备106上操作并由多个参与者控制的多个消息交换客户端107。例如，并且如下面将更详细地描述的，响应于一个或多个参与者贡献给消息交换话题的一个或多个消息，个人助理模块109可以自动选择内容并将其并入消息交换话题中。
客户端设备106和知识系统102中的每一个可以包括用于存储数据和软件应用的一个或多个存储器、用于访问数据和执行应用的一个或多个处理器，以及促使通过网络进行通信的其它组件。由客户端设备106和/或知识系统102执行的操作可以分布在多个计算机系统上。知识系统102可以被实现为例如在通过网络彼此耦合的一个或多个位置中的一个或多个计算机上运行的计算机程序。
在各种实施方式中，知识系统102可以包括消息交换引擎120、个人助理引擎122、索引引擎126、信息引擎130、排名引擎134和替代查询建议引擎136。在一些实施方式中可以省略一个或多个引擎120、122、126、130、134和/或136。在一些实施方式中，可以组合引擎120、122、126、130、134和/或136中的一个或多个的全部或方面。在一些实施方式中，引擎120、122、126、130、134和/或136中的一个或多个可以在与知识系统102分离的组件中实现。在一些实施方式中，引擎120、122、126、130、134和/或136中的一个或多个或其任何操作部分可以在由客户端设备106执行的组件中实现。
在各种实施方式中，消息交换引擎120可以被配置为促使在由多个参与者控制的多个客户端设备106上操作的多个消息交换客户端107之间的消息交换话题。例如，消息交换引擎120可以维护消息和其它内容参与者在消息交换话题中彼此交换的全局“记录单(transcript)”。如本文所使用的，“记录单”可以指由消息交换话题中的一个或多个参与者交换和/或查看的文本、图像、声音和/或小程序的实况记录。在一些实施方式中，当参与者交谈时，消息交换话题的记录单可以被实时地或接近实时地更新。在单个参与者与个人助理模块109通信的情况下，记录单可以由个人助理模块109本地维护和/或由个人助理引擎122远程维护。
在各种实施方式中，个人助理引擎122可以包括用于处理语音输入的补充功能，例如使用基于语音的查询处理器，其基于可以存储在索引中的各种在线声学/语言、语法和/或动作模型。应当理解，在一些实施方式中，特别是当大多数客户端设备106是资源受限设备时，个人助理引擎122可以实现比每个客户端设备106本地的更复杂和计算资源密集的语音处理功能。应当还理解，当在本文中将动作描述为由个人助理模块109执行时，其可以或也可以不包括由个人助理引擎122执行的动作的一个或多个方面。
在一些实施方式中，可以采用多个个人助理引擎122，每个个人助理引擎122用作一个或多个个人助理模块109的在线对方。例如，在一些实施方式中，用户生态系统中的每个客户端设备106可以被配置为操作与用户相关联(例如，配置有用户的偏好，与相同的交互历史相关联等)的个人助理模块109的实例。取决于用户当时正在操作哪个设备，个人助理引擎122的单个的、以用户为中心的在线实例可以被个人助理模块109的这些多个实例中的每一个访问。
在一些实施方式中，可以支持在线和离线功能，例如，使得每当客户端设备106与在线服务通信时使用在线功能，而在不存在连接时使用离线功能。在其它实施方式中，可以将不同的动作或动作域分配给在线和离线功能，而在其它实施方式中，可以仅在离线功能未能充分处理特定语音输入时使用在线功能。然而，在其它实施方式中，可以不使用补充在线功能。
索引引擎126可以维护索引128以由知识系统102使用。索引引擎126例如使用常规和/或其它索引技术处理文档并更新索引128中的索引条目。例如，索引引擎126可以抓取诸如万维网的一个或多个资源，并且索引经由这种抓取访问的文档。作为另一示例，索引引擎126可以从诸如控制这样的文档的网络主机的一个或多个资源接收与一个或多个文档有关的信息，并基于这样的信息索引文档。文档是与文档地址相关联的任何数据。文档包括网页、文字处理文档、便携式文档格式(PDF)文档、图像、电子邮件、日历条目、视频和网络订阅等等。每个文档可以包括诸如例如：文本、图像、视频、声音、嵌入信息(例如元信息和/或超链接)的内容；和/或嵌入的指令(例如，ECMAScript实施方式，诸如JavaScript)。
信息引擎130可以维护另一个索引132，另一个索引132包括或促使访问非文档特定信息以由知识系统102使用。例如，知识系统102可以被配置为响应于出现以寻求特定信息的搜索查询而返回信息。如果用户搜索“Ronald Reagan的生日”，则知识系统102可以例如从信息引擎130接收例如日期“1911年2月6日”。该信息可以作为搜索结果的一部分被返回给用户，该搜索结果与从索引引擎126接收的文档分离。在各种实施方式中，索引132本身可以包含信息，或者它可以链接到一个或多个其它信息源，诸如在线百科全书、历书等等。在各种实施方式中，索引128或索引132可以包括查询(或查询项)与文档和/或信息之间的映射。
在本说明书中，词项“数据库”和“索引”将广泛地用于指代任何数据集合。数据库和/或索引的数据不需要以任何特定方式结构，并且它可以存储在一个或多个地理位置中的存储设备上。因此，例如，索引124、128和132可以包括多个数据集合，其中每一个可以被不同地组织和访问。
例如使用常规和/或其它信息检索技术，排名引擎134可以使用索引128和/或132来响应于搜索查询识别文档和其它信息。排名引擎134可以例如使用一个或多个排名信号来计算被识别为响应于搜索查询的文档和其它信息的分数。每个排名信号可以提供关于文档或信息本身、文档或信息与搜索查询之间的关系，和/或文档或信息与执行搜索的用户之间的关系的信息。
替代查询建议引擎136可以使用一个或多个信号和/或其它信息，诸如替代查询建议(未示出)的数据库和/或关于客户端设备106的用户的信息(例如，搜索历史、GPS位置、用户属性)，以生成替代查询建议，以与任何搜索结果一起提供给客户端设备106。当用户键入搜索查询的连续字符时，替代查询建议引擎136可以识别可能产生对用户有用的结果的替代查询。例如，假设客户端设备106位于芝加哥，并且已经键入字符“restaur”。替代查询建议引擎136可以基于指示客户端设备106在芝加哥的位置信号和指示用户对具有现场音乐的餐馆(restaurant)的偏好的查询历史信号，建议查询“具有现场音乐的芝加哥餐馆”。作为另一示例，对于已经键入“Ronald Reagan’s birt”的用户，替代查询建议引擎136可以例如使用诸如前缀匹配的技术，确定和建议替代查询，诸如“Ronald Reagan’s birthday”、“Ronald Reagan’s birthplace”、“Ronald Reagan’s birth control position”等。替代查询建议引擎136也可以提供其它建议，诸如部分形成的搜索查询的拼写校正版本。
在各种实施方式中，诸如消息交换引擎120或个人助理引擎122的在线组件或甚至客户端设备106本地的组件，诸如个人消息交换客户端107或个人助理模块109，可被配置为从涉及一个或多个消息交换客户端107的消息交换话题，确定参与者贡献给消息交换话题的消息。然后可以计算与消息相关联的第一分数或“闲聊分数”(或“ICS”)。至少部分地基于闲聊分数，消息的会话响应或者响应于基于消息生成的搜索查询的内容然后可以被选择性地并入消息交换话题中。
具有相对高的闲聊分数的消息可以是(由参与者引导到个人助理模块109和/或另一个参与者)的消息，其包括空闲聊天、非正式和/或平凡对话，所谓的“小谈话”、主观查询等。这样的消息可能不太适合于生成搜索查询，因为响应于这样的搜索查询的内容如果并入消息交换话题中则可能不是特别有帮助，例如，因为响应内容可能不是特别好聚焦的、有意义的和/或可能不特别与在消息交换话题上发生的对话的基调相关。换句话说，具有相对高的闲聊分数的消息可能不指示参与者获得利用其扩增消息交换话题的外部/客观信息的意图(显式或隐式)。可以向消息分配相对高的闲聊分数，例如，参与者向消息交换话题中的个人助理模块或另一个参与者说，诸如“嗨”、“你好吗？”、“你认为奥巴马如何？”、“你最喜欢的颜色是什么？”等等。
如上所述，参与者可以在个人助理模块109或者另一个参与者处引导具有相对高的闲聊分数的消息。在各种实施方式中，当这样的消息被引导到个人助理模块109时，可以例如通过个人助理模块109和/或消息交换引擎120来识别所谓的“会话响应”并将其并入消息交换话题。在一些实施方式中，可以通过例如使用“模糊(fuzzy)”搜索将消息与多个候选消息/会话响应对匹配来计算与消息相关联的闲聊分数。基于消息与候选消息/会话响应对匹配的程度，可以向每个匹配对分配分数。然后可以从最匹配消息的候选消息/会话响应对，例如，具有最高分数，确定闲聊分数。如果闲聊分数满足一个或多个阈值，或如下所述，超过第二或者“搜索查询适合性”分数满足一个或多个阈值的量(Δ)，则其可以被分类为不适合用于搜索查询，并且来自最佳匹配消息/会话响应对的会话响应例如通过个人助理模块109可以被并入消息交换话题中。
具有相对高的ICS的消息也可以由消息交换话题中的一个参与者引导到另一个参与者，而不是个人助理模块109。在一些实施方式中，可能发生如上所述的类似的分析。然而，代替将会话响应直接并入消息交换话题中，可以向另一参与者呈现一个或多个图形元件(例如，呈现的按钮)，其它参与者可以选择图形元件以使脚本化的自动响应被并入消息交换话题中。在其它实施方式中，可以简单地忽略参与者之间而不是参与者和个人助理模块之间的高ICS消息。
与具有相对高的闲聊分数的消息相反，具有相对高的搜索查询适合性分数的消息可以更适合于搜索查询的生成和提交，并且可以这样被分类。响应于从诸如消息生成的一个或多个搜索查询的内容可以非常适合于并入消息交换话题中，例如，因为它可以是良好聚焦的和/或相对可能与发生在消息交换话题上的会话的基调相关。可以被分配相对高的搜索查询适合性分数的消息的示例可以包括寻求(或至少可以相关于)客观信息的消息，诸如“谁是巴拉克奥巴马？”、“缅因州的首府是什么？”“我想知道汤姆布莱迪和谁结婚？”、“哪个明星在这部新电影中？”等等。
在一些实施方式中，可以训练一个或多个机器学习模型以接收一个或多个参与者消息作为输入，并输出闲聊分数和/或搜索查询适合性分数。基于这些分数，可以将各种内容选择性地并入消息交换话题中，例如用于显示在由话题中的参与者操作的一个或多个消息交换客户端所呈现的记录单中，或者例如通过独立语音命令设备可听地输出。在一些实施方式中，如果闲聊分数足够大于搜索查询分数的适合性，和/或如果闲聊分数满足预定阈值，则与最匹配消息的消息/会话响应对相关联的会话响应可以并入话题中。例如，如果用户说“你好”，则会话响应可以是“嗨”或“向你问好”。否则，响应于基于消息生成的搜索查询的内容可以被并入消息交换话题。
在一些实施方式中，可以使用从一个或多个先前的消息交换话题获得的消息语料库来训练一个或多个机器学习模型。例如，可以分析触发将内容并入消息交换话题中的参与者消息的一个或多个先前实例。负向训练示例可以包括其中内容被并入消息交换话题(例如，代表个人助理模块)，但是该内容被一个或多个参与者拒绝(或至少被忽略)的实例(例如，如检测到的参与者突然改变主题)。正向训练示例可以是例如通过在类似方向上引导后续会话和/或询问后续问题，参与者对所并入的内容做出积极响应的实例。在一些实施方式中，仅正向训练示例和/或仅负向训练示例可以用于训练一个或多个机器学习模型。
除了或代替将消息直接输入到一个或多个机器学习模型中作为输入之外，在各种实施方式中，消息的词项(或令牌)的各种排列可以用作输入。在一些实施方式中，例如，可以向一个或多个机器学习模型提供一对或多对词项/令牌作为输入。在一些实施方式中，一组或多组词项(例如，在类中)可以被提供作为输入。在其它实施方式中，自然语言处理器或其它类似组件可以以各种方式(例如，语音的部分、实体解析等)来注释消息，并且那些注释可以用作一个或多个机器学习模型的输入。
除了消息本身的属性之外，在计算闲聊和搜索查询适合性分数时可以考虑其它信号。在一些实施方式中，可以考虑关于参与者的一个或场境信号，诸如他们的位置、本地时间等。例如，可以向特定消息分配第一国家中的较高闲聊分数和第二国家中的较高搜索查询适合性分数。如果当参与者将消息贡献给消息交换话题时参与者位于第一国家中，则与如果参与者已经在第二国家相比，该消息可以接收到更高的闲聊分数。
在一些实施方式中，当计算搜索查询适合性分数时，可以考虑响应于使用消息生成的搜索查询的内容的特性。例如，响应于从消息生成的特定搜索查询的一些内容可以包括被突出(例如，在搜索引擎结果页面(“SERP”)的顶部)显示的一个或多个所谓的“浮出(surfaced)”的特征。浮出的内容可以包括对搜索查询(其可以或可以不在有机搜索结果上方显示，例如在框中)的直接回答、导航搜索结果、付费搜索结果等。当作为一个或多个搜索查询提交时，产生一个或多个浮出的特征的消息可以接收相对较高的搜索查询适合性分数。相反，如果响应内容未聚焦和/或不与消息交换话题的基调相关，则可以减少搜索查询适合性分数。在一些实施方式中，高搜索查询适合性分数可以影响闲聊分数，反之亦然。例如，如果响应于从消息生成的搜索查询的内容特别聚焦、流行和/或与消息交换话题的基调相关，则这可以降低消息仅仅是闲聊的可能性。
在消息的搜索查询适合性分数满足阈值或者消息的搜索查询适合性分数与其闲聊者分数之间的差异足够大的情况下，可以例如通过消息交换引擎120、个人助理引擎122、消息交换客户端107、个人助理模块109等来生成一个或多个搜索查询，并且将其提交到知识系统102的各种组件。响应于一个或多个搜索查询的内容，诸如文档和信息，可以从这些相同的各种组件中获得，包括但不限于索引引擎126和/或信息引擎130。在各种实施方式中，响应于一个或多个搜索查询的内容还可以包括从替代查询建议引擎136返回的替代查询建议。在一些实施方式中，响应于一个或多个搜索查询的内容可以在排名引擎134返回之前由排名引擎134排名。
基于响应内容，与响应内容相关联的各种项目，诸如图形元件(单词、图像、动画、小应用程序)、声音等，可以被并入两个或更多个用户操作的两个或更多个消息交换客户端107之间的消息交换话题。在消息交换话题的记录单对于一个或多个参与者(例如，相应的图形用户界面)可见的实施方式中，所并入的项目可以由一个或多个用户查看。相反，在纯可听/语音响应实施方式中，响应内容可以被可听地传递给参与者。
可以以各种方式将项目并入多个消息交换客户端107之间的消息交换话题中。在一些实施方式中，消息交换引擎120、个人助理引擎122和/或个人助理模块109可以请求参与消息交换话题的至少一个消息交换客户端107将与响应内容相关联的一个或多个图形元件插入在图形用户界面中显示的正在进行的消息交换话题的记录单。在一些情况下，图形元件可以并入由多于一个消息交换客户端107呈现的记录单中，诸如在由参与消息交换话题的所有消息交换客户端107呈现的记录单中。在一些实施方式中，可以简单地向每个消息交换客户端107提供响应内容，其然后可以选择将什么内容并入消息交换话题的记录单的版本中。或者，如上所述，组件120、122、107和/或109中的任何一个可以可听地将项目并入可听消息交换话题中。
可以将各种类型的图形元件并入消息交换话题的所呈现的记录单中。在一些实施方式中，一个或多个图形元件可以包括传达响应于由消息交换引擎120形成的搜索查询的信息的文本。假设第一参与者操作她的消息交换客户端107来向另一个参与者或者个人助理模块109提出问题，“合众国接纳的第一个州是什么？”。消息交换引擎120、个人助理模块109、个人助理引擎122或另一组件可以在用户请求时或自愿提交问题(或其变体)到索引引擎126和/或信息引擎130作为搜索查询。索引引擎126和/或信息引擎130可以提供响应于搜索查询的信息，诸如特拉华州(Delaware)是被美国接纳的第一个州的指示。还可以包括附加的响应信息，诸如特拉华州被接纳的日期，之后被接纳了什么州等。然后可以将这些信息中的一些或全部并入消息交换话题中，使得其被并入在例如由提出问题的用户操作的消息交换客户端107的图形用户界面中显示的记录单中。
除了或代替文本之外，在各种实施方式中，并入消息交换话题中的一个或多个图形元件可以包括响应于搜索查询传达内容的一个或多个图像。在上述场景中，例如，除了或替代关于特拉华州的文本之外，可以将特拉华州和/或其旗帜的图像并入消息交换话题中。
在许多情况下，响应于搜索查询的信息可能太笨拙(例如，太长、太多的细节等)以可行地并入消息交换话题而不中断会话的流。在这种情况下，可以选择总响应信息的子集(即，可以剔除总响应信息)用于并入话题中。在一些实施方式中，消息交换引擎120、个人助理引擎122和/或个人助理模块109可以选择用于并入消息交换话题的子集(或剔除响应信息)。在其它实施方式中，综合响应信息可以被提供给消息交换客户端107，并且消息交换客户端107可以执行剔除。在一些实施方式中，可以基于主机客户端设备106的屏幕尺寸剔除信息。在一些实施方式中，可以选择前N个搜索结果用于并入消息交换话题。N可以基于例如屏幕尺寸、用户偏好等来选择，或者可以被手动选择(例如，N可以被设置为五、十、二、一等)。
在一些实施方式中，知识系统102可以具有例如作为信息引擎130和/或另一组件的一部分的所谓的“知识库”，其包含已知实体(例如，人、地点、事物)、已知实体的属性(例如，类型、名称、年龄、位置等)以及已知实体之间的关系的记录。在一些实施方式中，这样的知识库可以例如在索引132中实现为图，其中节点表示实体(以及在一些情况下相关联的属性)并且边表示实体之间的关系的图，尽管这不是必需的。在一些这样的实现实施方式中，关于来自这样的知识库的实体的信息可以例如响应于由例如如上所述的消息交换引擎120形成和提交的搜索查询而对消息交换引擎120可用。
在一些实施方式中，例如通过消息交换引擎120、个人助理引擎122和/或信息引擎130可以使用知识库来识别在两个或更多个用户之间交换的一个或多个消息中提及的第一实体或实体类型作为消息交换话题的一部分。响应于与实体或实体类型相关的搜索查询的信息然后可以并入消息交换话题中。例如，假设用户向消息交换话题提交诸如“Babe Ruth是最好的！”的消息。“Babe Ruth”可以例如由信息引擎130基于存储在索引132中的知识库以及Babe Ruth的一个或多个属性和/或一个或多个相关实体，诸如他效力的一个或多个球队(例如，纽约洋基队)、他的家庭成员、他的队友、活跃的年龄、活着的岁数等等，来识别。然后，例如通过消息交换引擎120或个人助理引擎122、或者在客户端设备106本地处的消息交换客户端107或个人助理模块109，这些信息中的一个或多个可以被选择并且自动地(例如，作为一个或多个图形元件)并入消息交换话题中。例如，当用户在消息交换话题中提及BabeRuth时，关于Babe Ruth和/或其它棒球运动员的信息也可以并入话题中，使得它可由至少一个用户经由她的消息交换客户端107的用户界面进行消费。
在各种实施方式中，可以训练多级、嵌套机器学习模型(或更具体地，分类器)以区分闲聊和搜索查询适合性。来自诸如先前搜索和消息交换话题的来自源的训练数据的广泛集合可以用于训练第一级无监督机器学习模型(或分类器)，诸如图2中的242/244。来自这些机器学习模型的输出以及诸如搜索结果和注释查询的其它信号可以用于构建监督机器学习模型(或分类器)。例如，每次参与者将消息贡献给消息交换话题时，可以触发监督机器学习模型以产生闲聊分数(“ICS”)和搜索查询适合性分数(“SQSS”)。基于这些分数，输入消息可以被分组聚组为分层的几个置信水平中的一个或多个。排名功能然后可以利用ICS/SQSS以及来自响应于搜索查询的各种内容源的其它信号来选择最适于并入消息交换话题中的响应。
图2描绘可以由本公开的一些实施方式使用的一个非限制性示例处理流程。在该示例中，从消息交换话题识别的消息240可以用于向诸如ICS机器学习模型242和SQSS机器学习模型244的一个或多个机器学习模型提供输入。ICS机器学习模型242输出基于消息240的一个或多个属性计算的ICS。SQSS机器学习模型244输出基于消息240的一个或多个属性计算的SQSS。在一些实施方式中，消息240可以用作对一个或两个机器学习模型的逐字的输入。在其它实施方式中，除了或替代消息240本身之外，可以使用消息240的一个或多个属性(例如，注释、伴随信号等)作为用于一个或两个机器学习模型的输入。虽然机器学习模型242和244被单独描绘，但这并不意味着限制。在一些实施方式中，单个机器学习模型可以接收消息240作为输入并提供ICS和SQSS。
在一些实施方式中，可以在已知包括空闲聊天的消息交换话题消息的一个或多个语料库上训练ICS机器学习模型242，并且因此其可以用作积极训练正向训练示例。在一些实施方式中，ICS机器学习模型242也可以利用否定训练负定训练示例来训练，诸如已知适合于搜索查询生成和使用的消息交换话题消息。在其它实施方式中，可以使用除机器学习模型之外的技术来确定ICS。例如，在一些实施方式中，可以将消息240与多个消息/会话响应对进行比较，以例如使用模糊搜索技术来确定最佳匹配。更类似的消息240对于一个或多个消息/会话响应对，可以将更高的ICS分配给该消息。
在一些实施方式中，可以在已知适合于搜索查询的生成和提交的消息交换话题消息的一个或多个语料库上训练SQSS机器学习模型244，并且因此可以用作积极的训练正向训练示例。在一些实施方式中，SQSS机器学习模型244也可以利用否定训练负定训练示例来训练，诸如已知构成闲聊的消息交换话题消息。在一些实施方式中，可以使用过去搜索查询的语料库来训练SQSS机器学习模型244，其可以或可以不与过去的消息交换话题相关。产生特别聚焦的或强响应内容的过去的搜索查询可以用作积极的训练正向训练示例。产生未聚焦、无含义或无意义的响应内容的过去的搜索查询可以用作否定训练负定训练示例。
在一些实施方式中，在246处，可以将ICS机器学习模型242的输出ICS与一个或多个绝对阈值进行比较。如果满足这些绝对阈值，则该消息可以被分类为不适合用于搜索查询，并且可以将最佳匹配的会话响应并入消息交换话题中。在一些实施方式中，作为248的操作的一部分，可以将消息240与多个消息/会话响应对进行比较，以例如使用模糊搜索技术来确定最佳匹配。除了基于最接近的匹配来计算消息240的ICS，如果消息240与消息/会话响应对完全匹配或几乎完全匹配，则来自消息/会话响应对的会话响应可以被识别并且被并入消息240源自的消息交换话题中。然而，如果在246处ICS不满足一个或多个阈值，则可以在250处确定由SQSS机器学习模型244输出的ICS和SQSS之间的差(Δ)。如果ICS和SQSS之间的差满足一个或多个阈值，则该消息可以被分类为不适合用于搜索查询，并且返回在248处会话响应可以被识别并且被并入消息交换话题。
如果框250处的答案为否(并且该消息可以被分类为适合用于搜索查询)，则消息240和/或消息240的一个或多个属性(例如，注释、词项对等)或基于消息240生成的搜索查询可以被提供给知识系统120的各种组件，诸如索引引擎126和/或信息引擎130。这些组件可以产生响应内容(例如，搜索结果、替代查询建议、响应信息等)，然后在框252处被分析以确定其是否满足一个或多个阈值。如果答案是否，则可以参照248如上所述识别和并入最佳匹配的会话响应。例如，如果响应于搜索查询的搜索结果的流行度太低，则它可能不是特别有帮助或使消息交换话题参与者有兴趣将这些搜索结果的指示并入消息交换话题中。然而，如果框252处的答案为是，则在254处可以将响应内容的子集并入消息交换话题中。
图2中描绘的操作/组件仅是可以如何实现所公开的技术的一个示例。本文中考虑了许多变化。例如，在一些实施方式中，可以省略ICS机器学习模型242。可替选地，可以简单地将消息240与多个消息/会话响应对进行比较以确定最佳匹配。消息240和最佳匹配消息/会话响应对的消息之间的相似性可以简单地用作ICS。如果ICS满足一个或多个绝对阈值(246)，则会话响应可并入消息交换话题而无需进一步分析。如果ICS和SQSS之间的差(Δ)满足一个或多个阈值(250)，或者如果响应于基于消息240生成的搜索查询的内容不能满足一个或多个阈值(252)，则会话响应也可以并入消息交换话题中。附加地或可替选地，除了模糊匹配之外，可以提供一系列试探法来识别并且并入消息240的会话响应。
图3由特定用户(指定为“YOU”)操作的示例客户端设备306，其包括与在客户端设备306上操作的消息交换客户端(图3中未具体示出)相关联的图形用户界面360。图形用户界面360显示在操作客户端设备306的用户和安装在客户端设备306上的个人助理模块(“PAM”)之间的消息交换话题的记录单362。图形用户界面360还包括文本输入字段364，客户端设备306的操作者可以例如响应于个人助理模块的先前语句，使用该文本输入字段364将文本或其它内容输入消息交换话题中。
操作者首先询问个人助理模块“今天你好吗？”。这个问题(或者更一般地，“消息”)将不适合用作搜索查询，因为搜索结果可能不会生成非常有用或有意义。然而，该问题可能完全或至少非常接近地匹配一个或多个消息/会话响应对，诸如以下消息/会话响应对：<“今天怎么样？”、“我很好。你好吗？”>。因此，个人助理模块将会话响应“我很好。你怎么样？”贡献给记录单362。客户端设备306的操作者接下来响应“我更糟了”。再次，该消息不适合于搜索查询的生成和提交。相反，消息更可能匹配一个或多个消息/会话响应对，例如：“我很糟”、“让我知道有什么我可以做的，以改善你的一天”>。因此，个人助理模块贡献会话响应“让我知道有什么我可以做的，以改善你的一天。”
接下来，操作者询问个人助理模块“明天有什么议程？”。当用作诸如图2所示的机器学习模型的输入时，消息“明天有什么议程？”可能产生相对低的ICS和/或相对高的SQSS。附加地或可替选地，消息以单词“什么”开始并且包括单词“议程”的事实也可以导致(例如，经由一个或多个试探法)该消息被识别为适合用于生成和提交搜索查询。因此，该消息用于生成和提交到例如知识系统102或各个客户端设备106的各种组件的搜索查询，该搜索查询获得当前日后一天的操作者的日程表。个人助理模块然后将以回复形式的响应“您你在11:30AM和2:00PM安排了会议。和以及与苏在Sue在餐厅7686共饮”并入转录记录单中。
图4描绘了图3中所示的消息交换话题的继续。因此，除了在用户界面360中可见的记录单362的消息之外，所有组件是相同的。在个人助理模块关于明天操作者的日程表的最后消息(如上所述)之后，操作者询问“餐厅7686在哪？”。这样的消息，当例如被提供作为一个或多个机器学习模型(例如，242、244)的输入时，可以产生相对高的SQSS和相对低的ICS。另外或可替选地，在一些实施方式中，实体“餐馆7686”可针对上文所描述的知识库交叉参考以确定餐馆7686是已知实体。一般来说，在知识库中的消息中提及的实体的识别可以使得发起消息以接收比另外更高的SQSS。因此，关于餐馆7686的用户的问题可以接收相对高的SQSS。
在一些实施方式中，如果确定实体是不能与个人助理模块相关联的东西，则知识库中的实体的识别可以进一步提升SQSS。例如，假设消息交换话题参与者提出问题“你的会厌(epiglottis)在哪里？”。个人助理模块可以从知识库确定会厌是其可能不可能拥有的人体器官。因此，可以将相对高的SQSS分配给参与者的问题。响应于对应的搜索查询的内容(诸如关于会厌的信息)可以例如通过个人助理模块并入消息交换话题中。
回到图4，个人助理通过提供餐厅的地址来做出响应。操作员然后惊呼：“Darn！我希望我可以跳过。”当作为输入提供给一个或多个机器学习模型，如图2所示，该消息可以接收相对高的ICS和/或相对低的SQSS。因此，个人助理可以将该消息尽可能最佳地匹配到消息/会话响应对。例如，它可以不同程度地匹配以下消息/会话响应对：<“天哪！。*”、“对不起”>，<“Dang！。*”、“对不起”>，<“Drat！。*”、“对不起”>。因此，在该示例中，个人助理模块以“我很抱歉”的会话响应来响应。
图3-4被示为被实现为基于视觉的消息交换话题的一部分，但这并不意味着是限制性的。在各种实施例中，本文描述的技术可以应用于例如在独立语音响应设备上操作的参与者和个人助理模块之间的可听消息交换话题。
在本文描述的示例中，响应于基于消息交换话题内容形成的搜索查询的数据已经从与图1中的知识系统102相关联的各种源获得。然而，这并不意味着限制。响应数据也可以从其它来源提取。在一些情况下，搜索查询可以用于搜索用户个人的信息(假设用户首先提供许可)。例如，可以将可以至少部分地存储在客户端设备106上的用户自己的电子邮件、文本、日历条目、社交网络状态更新和其它类似信息用作潜在可搜索的源，针对其可以使用搜索查询来搜索。
现在参考图5，描述了扩增消息交换话题的一个示例方法500。为了方便，参考执行操作的系统来描述流程图的操作。该系统可以包括各种计算机系统的各种组件，包括本文所述的各种引擎。此外，尽管以特定顺序示出了方法500的操作，但这并不意味着限制。一个或多个操作可以被重新排序、省略或添加。
在框502处，系统可以从涉及一个或多个消息交换客户端(因此，一个或多个参与者)的消息交换话题获得参与者贡献给消息交换话题的消息。这可以包括参与者输入消息交换话题的任何消息，无论消息是指向参与消息交换话题的另一个参与者还是指向个人助理模块。例如，为了说明方法500的目的，假设用户提出问题“奥巴马总统多大？”
在框504处，可以计算与消息相关联的ICS。如上所述，在一些实施方式中，ICS可以由接收消息作为输入的机器学习模型(例如，242)提供。附加地或可替选地，在一些实施方式中，可以基于所考虑的消息与消息/会话响应对匹配的程度来计算ICS。在正在进行的说明中，消息“奥巴马总统多大”可以最好地匹配消息/会话响应对<“你多大了？”、“我[插入自从个人助理模块激活以来的年数]岁)>。这样的匹配将不可能产生特别高的ICS。
在框506处，其可在与框504的操作并行的一些实施方式中发生，可计算与消息相关联的SQSS。如上所述，在一些实施方式中，SQSS可以由接收消息作为输入的机器学习模型(例如，244)提供。在正在进行的说明中，消息“奥巴马总统多大”可以接收相对高的SQSS，因为例如其提及已知实体和/或是关于第三人的问题。在替代实施方式中，可以基于响应于基于消息自动生成并提交给各种源的一个或多个搜索查询的内容来生成SQSS。然而，在图5的实施方式中，搜索查询在框512处生成并在框514处提交。
在框508处，可将在框504处计算的ICS与在框506处计算的SQSS进行比较。如果两个值之间的Δ满足某一预定阈值(因此，该消息可以被分类为不适合用于搜索查询)，则系统可进行到框510，在此，与最匹配所考虑的消息的消息/会话响应对相关联的会话响应可以并入消息交换话题中。然而，如果框508处的答案为否(因此，该消息可以被分类为适合用于搜索查询)，则方法500可以进行到框512。在正在进行的示例中，与消息“总统奥巴马多大了”相关联的ICS可能小于其SQSS，因此方法500可以进行到框512。
在框512处，系统可以基于所考虑的消息生成搜索查询。如果消息被作为问题提出或者以其它方式已经是可用的搜索查询的形式，则消息可以简单地作为搜索查询被逐字提交给各种组件。然而，如果消息不是以适当的形式用作搜索查询，则可以应用各种自然语言处理技术、语句重写、实体解析等，以生成更适合于提交到各种来源的形式的搜索查询。在正在进行的示例中，消息“总统奥巴马多大”看起来非常适合用作搜索查询，并且实际上可能产生直接答案(例如，来自信息引擎130)。此外，可能存在与奥巴马总统的年龄相关或可能相关的多个搜索结果，诸如关于他的百科全书页面、在线传记、在线简报等等。
在框514处，系统可以例如通过向知识系统102的各种组件提交搜索查询并且作为响应接收内容来获得响应于搜索查询的内容。如从本公开应该清楚的，词项“搜索查询”不限于从用户到某种旨在返回响应文档的搜索引擎的有意类型的问题或陈述。相反，词项“搜索查询”更广泛地意指可以提交到知识系统102以产生响应内容的任何信息的一个或多个组件。如上所述，这些组件可以包括索引引擎126、信息引擎130和替代查询建议引擎136等等。在一些实施方式中，消息可以用于生成多个搜索查询，每个搜索查询针对知识系统102的不同组件定制，例如以提高响应内容的质量。
再参考图5，在框516处，系统可以将响应于搜索查询返回的内容的至少一个子集并入消息交换话题中。如上所述，客户端设备106或知识系统102的各种组件可以执行该操作。例如，消息交换引擎120和/或个人助理引擎122可以请求一个或多个消息交换客户端107将响应内容插入由每个消息交换客户端107可视呈现的记录单中。另外地或可替选地，响应内容可以由知识系统102的一个或多个组件提供给消息交换客户端107，并且可以由消息交换客户端107选择(即剔除)将并入消息交换话题中的响应内容。并且在一些实施方式中，并入的内容可以采取由个人助理模块“说”给参与者的可听内容的形式。在正在进行的示例中，诸如“巴拉克奥巴马XX岁”的语句可以并入消息交换话题中。
图6是示例计算机系统610的框图。计算机系统610通常包括至少一个处理器614，其经由总线子系统612与多个外围设备通信。这些外围设备可以包括存储子系统624，包括例如存储器子系统625和文件存储子系统626、用户界面输出设备620、用户界面输入设备622和网络接口子系统616。输入和输出设备允许用户与计算机系统610交互。网络接口子系统616提供到外部网络的接口并耦合到其它计算机系统中的相应接口设备。
用户界面输入设备622可以包括键盘、诸如鼠标、轨迹球、触摸板或图形输入板的指示设备、扫描仪、并入显示器中的触摸屏、诸如语音识别系统的音频输入设备、麦克风以及/或其它类型的输入设备。一般来说，词项“输入设备”的使用旨在包括将信息输入到计算机系统610或通信网络上的所有可能类型的设备和方式。
用户界面输出设备620可以包括显示子系统、打印机、传真机或诸如音频输出设备的非可视显示器。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于产生可见图像的一些其它机构。显示子系统还可以例如经由音频输出设备提供非视觉显示。一般来说，词项“输出设备”的使用旨在包括将信息从计算机系统610输出到用户或另一机器或计算机系统的所有可能类型的设备和方式。
存储子系统624存储提供本文所描述的一些或全部模块的功能的编程和数据结构。例如，存储子系统624可以包括执行方法500的所选方面的逻辑，和/或实现消息交换客户端107、个人助理模块109、消息交换引擎120、个人助理引擎122、索引引擎126、信息引擎130、排名引擎134和/或替代查询建议引擎136中的一个或多个。
这些软件模块通常由处理器614单独或与其它处理器组合执行。存储子系统624中使用的存储器625可以包括多个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)630和其中存储固定指令的只读存储器(ROM)632。文件存储子系统626可以为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、CD-ROM驱动器、光驱动器或可移动介质盒。实现某些实施方式的功能的模块可以由文件存储子系统626存储在存储子系统624中，或者存储在由处理器614可访问的其它机器中。
总线子系统612提供用于使计算机系统610的各种组件和子系统按照预期彼此通信的机制。虽然总线子系统612被示意性地示出为单个总线，但是总线子系统的替代实施方式可以使用多个总线。
计算机系统610可以是各种类型的，包括工作站、服务器、计算集群、刀片服务器、服务器群或任何其它数据处理系统或计算设备。由于计算机和网络的不断变化的性质，图6中描述的计算机系统610的描述仅意欲仅作为具体实例用于示出一些实施方式的目的。计算机系统610的许多其它配置可能具有比图6所示的计算机系统更多或更少的组件。
在本文描述的系统收集关于用户的个人信息或者可以利用个人信息的情况下，可以向用户提供控制程序或特征是否收集用户信息(例如，关于用户的社交网络、社交动作或活动、专业、用户的偏好或用户的当前地理位置)，或者控制是否和/或如何从内容服务器接收可能与用户更相关的内容的机会。此外，可以在存储或使用某些数据之前以一种或多种方式来处理这些数据，从而移除个人可识别信息。例如，可以对用户的身份进行处理，使得不能确定为用于用户的确定个人可识别信息，或者在获得地理位置信息的情况下，可以对用户的地理位置进行概括在获得地理位置信息的地方(例如城市、邮政编码或州级别)对用户的地理位置进行概括，使得不能确定用户的特定具体地理位置。因此，用户可以具有对如何收集关于用户和/或使用的信息的控制。
尽管本文已经描述和示出了若干实施方式，但是可以使用用于执行功能和/或获得结果和/或本文所述的一个或多个优点的各种其它装置和/或结构，这样的变化和/或修改被认为在本文所描述的实施方式的范围内。更一般地，本文所述的所有参数、尺寸、材料和构造意在是示例性的，并且实际参数、尺寸、材料和/或构造将取决于使用教导的具体应用或应用。本领域技术人员将认识到或者能够仅使用常规实验来确定本文所述的具体实施方式的许多等同物。因此，应当理解，前述实施方式仅以示例的方式给出，并且在所附权利要求及其等同物的范围内，可以以与具体描述和要求保护的方式不同的方式实现。本公开的实施方式涉及本文所述的每个单独的特征、系统、物品、材料、套件和/或方法。此外，如果这些特征、系统、制品、材料、套件和/或方法不相互矛盾，则两个或更多个此类特征、系统、制品、材料、套件和/或方法的任何组合包括在本公开的范围内。

Claims (20)

1.一种使用一个或多个处理器实现的方法，所述方法包括：
从涉及由消息交换话题中的多个参与者操作的多个消息交换客户端的所述消息交换话题，确定由第一参与者贡献给所述消息交换话题的消息，其中，所述消息由所述第一参与者引导至所述多个参与者中的第二参与者；
分析所述消息以计算与所述消息相关联的闲聊分数，其中，所述闲聊分数表示所述消息与已知为闲聊的在先会话内容之间的相似性；以及
基于所述闲聊分数，将图形元件并入到由所述第二参与者操作的所述消息交换客户端呈现的所述消息交换话题中，所述图形元件能够由所述第二参与者操作以将自动生成的会话响应并入到所述消息中。
2.根据权利要求1所述的方法，其中，所述并入包括：将所述图形元件插入到在所述第二消息交换客户端的图形用户界面中显示的所述消息交换话题的记录单中。
3.根据权利要求1所述的方法，其中，计算所述闲聊分数包括：提供所述消息作为机器学习模型的输入，其中，所述机器学习模型提供所述闲聊分数作为输出。
4.根据权利要求3所述的方法，其中，在至少一个正向训练示例上训练所述机器学习模型，其中，所述至少一个正向训练示例包括先前消息交换话题的一个或多个参与者对于所述先前消息交换话题的先前消息的会话响应的并入积极响应的实例。
5.根据权利要求1所述的方法，其中，所述并入基于所述闲聊分数与搜索查询适合性分数的比较。
6.根据权利要求5所述的方法，还包括分析所述消息以计算与所述消息相关联的所述搜索查询适合性分数，其中，所述搜索查询适合性分数表示所述消息与被引导到个人助理模块以使所述个人助理模块进行搜索的在先消息之间的相似性。
7.根据权利要求3所述的方法，其中，所述机器学习模型还提供与所述消息相关联的搜索查询适合性分数作为输出，其中，所述并入基于所述闲聊分数与搜索查询适合性分数的比较。
8.一种包括一个或多个处理器和存储指令的存储器的系统，所述指令响应于所述一个或多个处理器对所述指令的执行，使所述一个或多个处理器执行以下操作：
从涉及由消息交换话题中的多个参与者操作的多个消息交换客户端的所述消息交换话题，确定由第一参与者贡献给所述消息交换话题的消息，其中，所述消息由所述第一参与者引导至所述多个参与者中的第二参与者；
分析所述消息以计算与所述消息相关联的闲聊分数，其中，所述闲聊分数表示所述消息与已知为闲聊的在先会话内容之间的相似性；以及
基于所述闲聊分数，将图形元件并入到由被所述第二参与者操作的所述消息交换客户端呈现的所述消息交换话题中，所述图形元件能够由所述第二参与者操作以将自动生成的会话响应并入到所述消息中。
9.根据权利要求8所述的系统，还包括用于执行以下操作的指令：将所述图形元件插入到在所述第二消息交换客户端的图形用户界面中显示的所述消息交换话题的记录单中。
10.根据权利要求8所述的系统，其中，计算所述闲聊分数包括：提供所述消息作为机器学习模型的输入，其中，所述机器学习模型提供所述闲聊分数作为输出。
11.根据权利要求10所述的系统，其中，在至少一个正向训练示例上训练所述机器学习模型，并且其中，所述至少一个正向训练示例包括先前消息交换话题的一个或多个参与者对于所述先前消息交换话题的先前消息的会话响应的并入积极响应的实例。
12.根据权利要求8所述的系统，其中，所述并入基于所述闲聊分数与搜索查询适合性分数的比较。
13.根据权利要求12所述的系统，还包括用于执行以下操作的指令：分析所述消息以计算与所述消息相关联的所述搜索查询适合性分数，其中，所述搜索查询适合性分数表示所述消息与被引导到个人助理模块以使所述个人助理模块进行搜索的在先消息之间的相似性。
14.根据权利要求10所述的系统，其中，所述机器学习模型还提供与所述消息相关联的搜索查询适合性分数作为输出，其中，所述并入基于所述闲聊分数与搜索查询适合性分数的比较。
15.包括指令的至少一个非暂时性计算机可读介质，所述指令响应于一个或多个处理器对所述指令的执行，使所述一个或多个处理器执行以下操作：
从涉及由消息交换话题中的多个参与者操作的多个消息交换客户端的所述消息交换话题，确定由第一参与者贡献给所述消息交换话题的消息，其中，所述消息由所述第一参与者引导至所述多个参与者中的第二参与者；
分析所述消息以计算与所述消息相关联的闲聊分数，其中，所述闲聊分数表示所述消息与已知为闲聊的在先会话内容之间的相似性；以及
基于所述闲聊分数，将图形元件并入到由被所述第二参与者操作的所述消息交换客户端呈现的所述消息交换话题中，所述图形元件能够由所述第二参与者操作以将自动生成的会话响应并入到所述消息中。
16.根据权利要求15所述的至少一个非暂时性计算机可读介质，还包括用于执行以下操作的指令：将所述图形元件插入到在所述第二消息交换客户端的图形用户界面中显示的所述消息交换话题的记录单中。
17.根据权利要求15所述的至少一个非暂时性计算机可读介质，其中，计算所述闲聊分数包括：提供所述消息作为机器学习模型的输入，其中，所述机器学习模型提供所述闲聊分数作为输出。
18.根据权利要求17所述的至少一个非暂时性计算机可读介质，其中，在至少一个正向训练示例上训练所述机器学习模型，并且其中，所述至少一个正向训练示例包括先前消息交换话题的一个或多个参与者对于所述先前消息交换话题的先前消息的会话响应的并入积极响应的实例。
19.根据权利要求15所述的至少一个非暂时性计算机可读介质，其中，所述并入基于所述闲聊分数与搜索查询适合性分数的比较。
20.根据权利要求19所述的至少一个非暂时性计算机可读介质，还包括用于执行以下操作的指令：分析所述消息以计算与所述消息相关联的所述搜索查询适合性分数，其中，所述搜索查询适合性分数表示所述消息与被引导到个人助理模块以使所述个人助理模块进行搜索的在先消息之间的相似性。
CN202110053943.0A 2016-05-17 2016-12-26 基于消息分类自动扩增消息交换话题 Pending CN112800218A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/157,372 2016-05-17
US15/157,372 US10769155B2 (en) 2016-05-17 2016-05-17 Automatically augmenting message exchange threads based on tone of message
CN201611215880.XA CN107391521B (zh) 2016-05-17 2016-12-26 基于消息分类自动扩增消息交换话题

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201611215880.XA Division CN107391521B (zh) 2016-05-17 2016-12-26 基于消息分类自动扩增消息交换话题

Publications (1)

Publication Number Publication Date
CN112800218A true CN112800218A (zh) 2021-05-14

Family

ID=57750638

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201611215880.XA Active CN107391521B (zh) 2016-05-17 2016-12-26 基于消息分类自动扩增消息交换话题
CN202110053943.0A Pending CN112800218A (zh) 2016-05-17 2016-12-26 基于消息分类自动扩增消息交换话题

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201611215880.XA Active CN107391521B (zh) 2016-05-17 2016-12-26 基于消息分类自动扩增消息交换话题

Country Status (8)

Country Link
US (4) US10769155B2 (zh)
EP (1) EP3440560A1 (zh)
JP (2) JP6851397B2 (zh)
KR (3) KR102148444B1 (zh)
CN (2) CN107391521B (zh)
DE (2) DE102016125594A1 (zh)
GB (1) GB2557363A (zh)
WO (1) WO2017200575A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769155B2 (en) 2016-05-17 2020-09-08 Google Llc Automatically augmenting message exchange threads based on tone of message
US10257126B2 (en) * 2016-08-04 2019-04-09 International Business Machines Corporation Communication fingerprint for identifying and tailoring customized messaging
US10412038B2 (en) 2017-03-20 2019-09-10 International Business Machines Corporation Targeting effective communication within communities
US11176453B2 (en) * 2017-12-28 2021-11-16 Fujifilm Business Innovation Corp. System and method for detangling of interleaved conversations in communication platforms
US11322264B2 (en) * 2018-04-23 2022-05-03 DNAFeed Inc. Systems and methods for human-augmented communications
US11544374B2 (en) * 2018-05-07 2023-01-03 Micro Focus Llc Machine learning-based security threat investigation guidance
US11463441B2 (en) 2018-05-24 2022-10-04 People.ai, Inc. Systems and methods for managing the generation or deletion of record objects based on electronic activities and communication policies
US10565229B2 (en) 2018-05-24 2020-02-18 People.ai, Inc. Systems and methods for matching electronic activities directly to record objects of systems of record
US11924297B2 (en) 2018-05-24 2024-03-05 People.ai, Inc. Systems and methods for generating a filtered data set
KR102202139B1 (ko) * 2018-12-17 2021-01-12 지속가능발전소 주식회사 협력업체 공급망 리스크 분석 방법, 이를 수행하기 위한 기록매체
JP6624539B1 (ja) * 2019-10-01 2019-12-25 株式会社トレードワークス クラス分類と回帰分類を組み合わせたａｉチャットボットの構築方法
CN111158573B (zh) * 2019-12-26 2022-06-24 上海擎感智能科技有限公司 基于图片构架的车机交互方法、系统、介质及设备
US11356389B2 (en) * 2020-06-22 2022-06-07 Capital One Services, Llc Systems and methods for a two-tier machine learning model for generating conversational responses
US11405337B2 (en) * 2020-09-23 2022-08-02 Capital One Services, Llc Systems and methods for generating dynamic conversational responses using ensemble prediction based on a plurality of machine learning models
US11792141B2 (en) * 2021-01-12 2023-10-17 Meta Platforms Technologies, Llc Automated messaging reply-to
US11978445B1 (en) 2021-03-30 2024-05-07 Amazon Technologies, Inc. Confidence scoring for selecting tones and text of voice browsing conversations
US11776542B1 (en) * 2021-03-30 2023-10-03 Amazon Technologies, Inc. Selecting dialog acts using controlled randomness and offline optimization
US20220318283A1 (en) * 2021-03-31 2022-10-06 Rovi Guides, Inc. Query correction based on reattempts learning
US11507757B2 (en) * 2021-04-16 2022-11-22 Capital One Services, Llc Systems and methods for generating dynamic conversational responses based on historical and dynamically updated information
US11743215B1 (en) 2021-06-28 2023-08-29 Meta Platforms Technologies, Llc Artificial reality messaging with destination selection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060173985A1 (en) * 2005-02-01 2006-08-03 Moore James F Enhanced syndication
CN101438279A (zh) * 2004-10-28 2009-05-20 雅虎公司 包括信任网络的集成有用户判断的搜索系统和方法
CN102216941A (zh) * 2008-08-19 2011-10-12 数字标记公司 用于内容处理的方法和系统
CN102915342A (zh) * 2011-09-22 2013-02-06 微软公司 提供基于话题的搜索引导
US9015192B1 (en) * 2013-12-30 2015-04-21 Google Inc. Systems and methods for improved processing of personalized message queries

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3454897B2 (ja) 1994-01-31 2003-10-06 株式会社日立製作所 音声対話システム
JP4281899B2 (ja) 2003-03-14 2009-06-17 富士通株式会社 質問文書要約装置、質問応答検索装置、質問文書要約プログラム
US7496500B2 (en) * 2004-03-01 2009-02-24 Microsoft Corporation Systems and methods that determine intent of data and respond to the data based on the intent
US7917582B2 (en) 2004-07-27 2011-03-29 Siemens Enterprise Communications, Inc. Method and apparatus for autocorrelation of instant messages
US7848971B1 (en) 2006-02-28 2010-12-07 Intuit Inc. Integrated online chat within an income tax preparation product
JP5229782B2 (ja) 2007-11-07 2013-07-03 独立行政法人情報通信研究機構 質問応答装置、質問応答方法、及びプログラム
US8886234B2 (en) 2011-04-06 2014-11-11 Microsoft Corporation Techniques for unified messaging
JP5775466B2 (ja) 2012-01-13 2015-09-09 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 会話から雑談部分を抽出するための雑談抽出システム、方法、およびプログラム
JP5710581B2 (ja) 2012-12-18 2015-04-30 日本電信電話株式会社 質問応答装置、方法、及びプログラム
KR101821358B1 (ko) 2013-01-22 2018-01-25 네이버 주식회사 다자간 메신저 서비스를 제공하는 방법 및 시스템
US20150314454A1 (en) 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
JP5744150B2 (ja) 2013-10-17 2015-07-01 日本電信電話株式会社 発話生成装置、方法、及びプログラム
JP6280342B2 (ja) 2013-10-22 2018-02-14 株式会社Ｎｔｔドコモ 機能実行指示システム及び機能実行指示方法
JP6178208B2 (ja) 2013-10-28 2017-08-09 株式会社Ｎｔｔドコモ 質問分野判定装置及び質問分野判定方法
US9213941B2 (en) 2014-04-22 2015-12-15 Google Inc. Automatic actions based on contextual replies
CN103995872B (zh) 2014-05-21 2017-04-05 王青 一种在应用中基于场景展开讨论与聊天的方法与系统
US10445650B2 (en) * 2015-11-23 2019-10-15 Microsoft Technology Licensing, Llc Training and operating multi-layer computational models
US10769155B2 (en) 2016-05-17 2020-09-08 Google Llc Automatically augmenting message exchange threads based on tone of message

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101438279A (zh) * 2004-10-28 2009-05-20 雅虎公司 包括信任网络的集成有用户判断的搜索系统和方法
US20060173985A1 (en) * 2005-02-01 2006-08-03 Moore James F Enhanced syndication
CN102216941A (zh) * 2008-08-19 2011-10-12 数字标记公司 用于内容处理的方法和系统
CN102915342A (zh) * 2011-09-22 2013-02-06 微软公司 提供基于话题的搜索引导
US9015192B1 (en) * 2013-12-30 2015-04-21 Google Inc. Systems and methods for improved processing of personalized message queries

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
季翠 等: ""动词引出新支话题的语用功能研究"", 《中文信息学报》, vol. 28, no. 3, 15 May 2014 (2014-05-15), pages 22 - 27 *

Also Published As

Publication number Publication date
GB2557363A (en) 2018-06-20
JP2021012723A (ja) 2021-02-04
US20230394049A1 (en) 2023-12-07
US20220027377A1 (en) 2022-01-27
DE202016008217U1 (de) 2017-04-28
KR20190005194A (ko) 2019-01-15
WO2017200575A1 (en) 2017-11-23
JP2019521415A (ja) 2019-07-25
GB201620957D0 (en) 2017-01-25
US20200117672A1 (en) 2020-04-16
US11762865B2 (en) 2023-09-19
CN107391521B (zh) 2021-02-02
KR20200100874A (ko) 2020-08-26
US20170337199A1 (en) 2017-11-23
US11222030B2 (en) 2022-01-11
EP3440560A1 (en) 2019-02-13
CN107391521A (zh) 2017-11-24
US10769155B2 (en) 2020-09-08
KR20210018553A (ko) 2021-02-17
JP6980074B2 (ja) 2021-12-15
KR102249437B1 (ko) 2021-05-07
KR102216629B1 (ko) 2021-02-17
KR102148444B1 (ko) 2020-08-26
DE102016125594A1 (de) 2017-11-23
JP6851397B2 (ja) 2021-03-31

Similar Documents

Publication Publication Date Title
CN107391521B (zh) 基于消息分类自动扩增消息交换话题
US11552814B2 (en) Proactive provision of new content to group chat participants
US11470022B2 (en) Automated assistants with conference capabilities
CN110770694A (zh) 获得来自多个语料库的响应信息
JP6530573B1 (ja) メッセージ交換スレッドの拡張

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination