CN110313010B - 一种为结构化问题组织答案的方法及相应计算设备 - Google Patents

一种为结构化问题组织答案的方法及相应计算设备 Download PDF

Info

Publication number
CN110313010B
CN110313010B CN201780070374.2A CN201780070374A CN110313010B CN 110313010 B CN110313010 B CN 110313010B CN 201780070374 A CN201780070374 A CN 201780070374A CN 110313010 B CN110313010 B CN 110313010B
Authority
CN
China
Prior art keywords
structured
question
questions
answers
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780070374.2A
Other languages
English (en)
Other versions
CN110313010A (zh
Inventor
马修·沙利菲
雅各布·尼古拉斯·霍斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110313010A publication Critical patent/CN110313010A/zh
Application granted granted Critical
Publication of CN110313010B publication Critical patent/CN110313010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种用于在计算设备的通信应用中分组和组织结构化响应的系统和方法。可以基于通过机器学习训练的结构化问题模型来检测多个消息中的结构化问题。结构化问题可以是由结构化问题模型预测的问题，该问题具有少于阈值数量的可能的答案。对应于结构化问题的用户界面元素可包括结构化概要，该结构化概要包括存在于来自多个用户的多个消息中的结构化问题的一个或多个答案，和/或结构化响应模板，其中至少有一部分可能的答案被呈现并且可选择。一种命令，用于将所生成的图形用户界面元素包含在与通信应用相对应的图形用户界面中的通信会话的记录中。

Description

一种为结构化问题组织答案的方法及相应计算设备
相关申请的交叉引用
本申请要求2017年2月15日提交的序列号为15/433,587的美国申请的优先权。上述申请的全部公开内容通过引用结合于此。
背景技术
本文提供的背景描述是为了总体上呈现本公开的背景。目前所述发明人的工作，直到在本背景技术部分中描述的程度，以及在提交时可能不具有现有技术资格的描述的各方面，既不明确也不暗示地被认为是针对本公开的现有技术。
在典型的通信应用中，通信会话中的基于文本的消息(诸如即时消息、短消息服务消息、电子邮件消息或社交网络消息/发布)按时间顺序呈现在由计算设备显示的通信应用的图形用户界面中的列表中。通信会话可以包括在很长一段时间(几天，几周等)内发送的许多消息。为了使用户找到先前发送的感兴趣的消息，用户可能必须滚动消息列表，并浏览每个消息的内容以定位所需的消息(或消息集合)。在一些情况下，用户可能记得感兴趣的消息的大致日期/时间，其可以用于缩小用户感兴趣的消息的可能位置。尽管如此，即使当用户对感兴趣的消息的大致日期和时间有大概概念时，定位感兴趣的特定消息也可能是耗时且麻烦的过程。
用户可以利用通信应用来与一群人执行协作任务，诸如事件计划、共享和讨论某些主题，或者询问关于特定主题的建议或指导。在这种情况下，可以询问问题，并且每个用户可以给出答案。由于在典型通信应用中基于文本的消息的时间顺序呈现，用户可能难以快速找到用户的答案，或甚至跟踪每个用户是否已对问题做出响应。
发明内容
根据本公开的各种实施方式，公开了一种用于在计算设备处对通信应用中的结构化响应进行分组和组织的方法。该方法可以包括在运行通信应用的计算设备处接收与多个用户之间的通信会话相对应的多个消息。该方法还可以包括基于经由机器学习训练的结构化问题模型来检测多个消息中的结构化问题。结构化问题可以是由结构化问题模型预测的问题，其具有少于阈值的可能的答案的数量。可以生成对应于结构化问题的用户界面元素。用户界面元素可以包括以下中的至少一个：(i)结构化概要，其包括一个或多个对结构化问题的答案，该结构化问题存在于来自多个用户的多个消息中，以及(ii)结构化响应模板，其中可能的答案的至少一个子集被呈现并且可选择。该方法还可以包括输出命令以将所生成的用户界面元素包括在对应于通信应用的图形用户界面中的通信会话的记录中。
当使用该技术时，计算设备可以更有效率和有效果地操作，使用户能够定位特定消息或消息集。这提供了另一种搜索消息的方法，特别是当不知道何时收到特定消息时。此外，即使不是在相似时间发送的，也可以定位彼此链接或关联的消息群。
除了改善人机界面的可用性之外，该技术避免了屏幕的扩展使用以搜索消息，这可以减少电池和其他计算资源，尤其是在移动设备中可以限制这些资源的情况下。
该技术还改善了典型小屏幕的可用性，否则这将限制可以同时查看和搜索的消息的数量。
可选地，该方法还可以包括：在计算设备处基于结构化问题模型和结构化问题生成可能的答案的子集。
可选地，该方法还可以包括：在计算设备处，基于结构问题的内容确定可能的答案和可能的答案的数量，其中可能的答案存在于结构化问题。
可选地，该方法还可以包括：在计算设备处，基于结构化问题模型和结构化问题，确定可能的答案的数量；并且在计算设备处，将可能的答案的数量与阈值进行比较。
可选地，该方法还可以包括：在计算设备处，从特定用户接收用户对结构化响应模板中呈现的可能的答案的子集中的特定可能的答案的选择；并且响应于用户选择，在计算设备处生成对应于特定可能的答案的特定响应消息。
可选地，生成特定响应消息包括以下之一：(i)在通信会话中自动将特定响应消息发送给多个用户，以及(ii)在对应于通信应用的图形用户界面中插入特定响应消息，用于由特定用户编辑或发送。
可选地，其中结构化问题模型是基于标记的训练数据而被训练的分类器，标记的训练数据包括被标记为结构化问题的消息的正例，以及被标记为非结构化问题的消息的反例。
本公开还涉及一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质上存储有多个指令，当由一个或多个处理器执行时，使得一个或多个处理器执行本文描述的方法的操作。可选地，操作还包括：基于结构化问题模型和结构化问题生成可能的答案的子集。
可选地，其中，操作还包括：基于结构化问题的内容确定可能的答案和可能的答案的数量，其中可能的答案存在于结构化问题中。
可选地，操作还包括：基于结构化问题模型和结构化问题确定可能的答案的数量；以及将可能的答案的数量与阈值进行比较。
可选地，操作还包括：从特定用户接收结构化响应模板中呈现的可能的答案的子集中的特定可能的答案的用户选择；以及响应于用户选择，生成对应于特定可能的答案的特定响应消息。
可选地，生成特定响应消息包括以下之一：(i)在通信会话中自动将特定响应消息发送给多个用户，以及(ii)将特定响应消息插入对应于通信应用的图形用户界面中，用于由特定用户编辑或发送。
可选地，结构化问题模型是基于标记的训练数据而被训练的分类器，标记的训练数据包括被标记为结构化问题的消息的正例，以及被标记为非结构化问题的消息的反例。本公开还涉及一种计算设备，其包括运行用于第一用户的通信应用的一个或多个处理器，以及其上存储有多个指令的非暂时性计算机可读存储介质，当该介质由一个或多个处理器运行时，使一个或多个处理器执行本文描述的方法的操作。
可选地，操作还包括：基于结构化问题模型和结构化问题生成可能的答案的子集。
可选地，操作还包括：基于结构化问题的内容确定可能的答案和可能的答案的数量，其中可能的答案存在于结构化问题中。
可选地，操作还包括：基于结构化问题模型和结构化问题确定可能的答案的数量；以及将可能的答案的数量与阈值进行比较。
可选地，操作还包括：从特定用户接收结构化响应模板中呈现的可能的答案的子集中的特定可能的答案的用户选择；以及响应于用户选择，生成对应于特定可能的答案的特定响应消息。
可选地，生成特定响应消息包括以下之一：(i)在通信会话中自动将特定响应消息发送给多个用户，以及(ii)将特定响应消息插入对应于通信应用的图形用户界面中，用于由特定用户编辑或发送。
可选地，结构化问题模型是基于标记的训练数据而被训练的分类器，标记的训练数据包括被标记为结构化问题的消息的正例，以及被标记为非结构化问题的消息的反例。
应注意，上述任何特征可与本发明的任何特定方面或实施例一起使用。
根据下文提供的详细描述，本公开的其他应用领域将变得显而易见。应该理解的是，详细描述和具体示例仅用于说明的目的，并不旨在限制本公开的范围。
附图说明
通过详细说明和附图，将更全面地理解本公开，其中：
图1是根据本公开的一些实施方式的包括四个示例计算设备和示例服务器计算设备的示例计算系统的示图；
图2是图1的一个示例计算设备的功能框图；
图3是根据本公开的一些实施方式的示例图形用户界面的示图；
图4A是根据本公开的一些实施方式的另一示例图形用户界面的示图；
图4B是根据本公开的一些实施方式的另一示例图形用户界面的示图；
图5是根据本公开的一些实施方式的用于在通信应用中分组和组织结构化响应的示例方法的流程图；以及
图6是图2的示例结构化响应模块的功能框图。
具体实施方式
如上所述，在计算设备(例如移动电话)上运行的典型通信应用中的基于文本的消息(即时消息、短消息服务消息、电子邮件消息、社交网络消息/发布等)以时间顺序列表显示在图形用户界面中。这种通信应用的典型用途是与一群人执行协作任务，例如计划事件、共享和讨论某个主题，以及询问和回答问题。仅作为示例，可以询问问题，并且每个用户将在相对长的时间段内的不同时间提供对该问题的答案。
由于响应之间的时间差异，在每个用户都有机会响应之前，(不是答案或甚至与问题相关的)其他消息被发送到该群中并不罕见。此外，通常并非组中的所有用户在通信应用中同时处于活跃状态。因此，用户可以打开通信应用到群消息会话，群消息会话中呈现来自该群中的各种其他用户的大量未读消息。由于典型的通信应用中基于文本的消息的典型的时间顺序呈现，用户可能难以快速找到其他用户的答案和/或甚至跟踪每个用户是否已对问题做出响应。
此外，由于大多数移动电话的显示尺寸和通常分配给通信应用的计算设备的显示部分相对较小，用户还可能必须提供大量重复输入(例如，轻扫，按箭头或向上/向下翻页键)以滚过一长串消息，从而找到所有感兴趣的消息(例如，答案)。计算设备必须接收并处理每个用户输入，然后执行与每个用户输入相关联的功能。用户在感兴趣的消息(例如，问题和答案)之间来回滚动以便正确地解释问题的答案，或甚至识别该消息是特定问题的答案并不罕见。因此，计算设备可能必须从存储器检索并显示许多用户不感兴趣的消息，或重复相同的消息，这导致计算设备的功耗增加。此外，用户检索期望消息所需的用户输入数量的减少也可以致使计算资源的更有效地使用。
因此，本公开解决了各种技术问题，包括但不限于减少对计算设备的用户输入的数量以获得期望的结果/动作，减少计算设备的操作的数量(存储器检索等)以获得期望的结果/动作，增加计算资源的有效利用，减少计算设备的功耗，以及向用户有效地聚合和呈现信息。
本公开涉及用于在计算设备处的通信应用中对进行分组和组织结构化响应的自动化技术。执行通信应用的计算设备可以在通信会话中在多个用户之间接收多个基于文本的消息。评估基于文本的消息以在多个消息中检测结构化问题。仅作为示例，结构化问题是存在相对有限数量的可能的答案的问题，例如，多个可能的答案小于阈值的问题。结构化问题的检测可以基于已经通过机器学习(监督，无人监督等)训练的结构化问题训练模型。在一些方面，结构化问题的检测可以附加地或替代地基于对问题的响应，例如，当对问题的响应落入有限的一组选项时。
在检测到结构化问题时，计算设备生成对应于结构化问题的用户界面元素以显示给用户。用户界面元素可以采用不同的形式。在一些方面，用户界面元素可以包括结构化概要，结构化概要包括实际存在于来自多个用户的多个消息中的结构化问题的一个或多个答案，例如，问题的概述和从群中接收的答案。在其他方面，用户界面元素可以附加地或替代地包括结构化响应模板，其中呈现可能的答案的至少一个子集并且可以为用户选择，例如，为用户提供快速选择答案选项。
计算设备可以在对应于通信应用的图形用户界面中的通信会话的记录中输出包括生成的用户界面元素的命令。仅作为示例，计算设备可以在通信应用的图形用户界面中按时间顺序列表显示基于文本的消息。在一些方面，用户界面元素可以自动显示在通信应用的图形用户界面的一部分中。在附加的或其他的方面，响应于用户在图形用户界面中选择可选选项，用户界面元素可以显示在通信应用的图形用户界面的一部分中。可选选项可以例如通过切换开关来打开/关闭通信应用的结构化响应功能。
以这种方式，本公开可以提供一个或多个益处，包括但不限于，用于通信应用的用户界面更清洁、简洁，计算资源的使用更有效或减少计算资源的使用，减少计算设备的电量使用，以及减少用户输入数量以获得所需的结果。为了便于描述，将在发送和接收消息的通信应用的上下文中描述本公开的技术。然而，应当理解，本公开涉及用于传输、发布等的任何类型的通信应用，基于文本的消息包括但不限于即时消息应用、社交网络、电子邮件应用、公告板或其他邮件发布服务/网站。此外，特别考虑的是，如本文所使用的术语基于文本的消息可单独或与文本组合包括包含图片、图形、表情符号等的消息。
现在参考图1，示出了示例计算系统100的图。计算系统100可以被配置为在多个用户之间经由他们的计算设备实施通信网络。计算系统100可以包括根据本公开的一些实施方式的经由网络130进行通信的多个示例性计算设备110和示例性服务器120。
为了便于描述，在本申请中并且如图1所示，示出并描述了四个示例性计算设备110：与第一用户105A相关联的第一计算设备110A，与第二用户105B相关联的第二计算设备110B，与第三用户105C相关联的第三计算设备110C，和与第四用户105D相关联的第四计算设备110D。应当理解，计算设备110A-D中的每一个都可以发送和接收消息，因此取决于环境和正在讨论的特定消息，可以被描述为“发送”计算设备或“接收”计算设备(并且类似地，“发送”用户或“接收”用户)。因此，术语“计算设备110”在本文中应当用于指代任何计算设备110A-D，单独或组合。此外，本文使用的术语“用户105”不仅可以包括人类用户，还可以包括运行程序(例如，人工智能程序或其他形式的聊天机器人)的计算设备，该程序在通信应用中模拟人类用户将如何交谈。
虽然被示为移动电话(“智能”电话)，但每个计算设备110可以是任何类型的合适的计算设备，例如台式计算机、平板计算机、膝上型计算机，诸如眼镜的可穿戴计算设备、手表或其他珠宝，或包含计算设备的服装。图2中示出了示例计算设备110的功能框图。
计算设备110可以包括通信设备200、一个或多个处理器210、存储器220、显示设备230和结构化响应模块240。处理器210可以控制计算设备110的操作，包括实施本公开的至少一部分技术。这里使用的术语“处理器”旨在表示单个处理器和例如以并行或分布式架构一起操作的多个处理器。
通信设备200可以被配置为经由网络130与其他设备(例如，服务器120或其他计算设备110)通信。通信设备200的一个非限制性示例是收发器，但是其他形式硬件也在本公开的范围内。存储器220可以是被配置为存储信息的任何合适的存储介质(闪存、硬盘等)。例如，存储器220可以存储可由处理器210执行的一组指令，这组指令使得计算设备110执行操作，例如，诸如本公开的操作。显示设备230可以向用户105显示信息。在一些实施方式中，显示设备230可以包括触敏显示设备(诸如电容式触摸屏等)，尽管非触摸显示设备也在本公开的范围内。
结构化响应模块240可以执行与本公开的技术相关的多个功能。仅作为示例，结构化响应模块240可以包括一个或多个神经网络和/或其他训练模型，一个或多个神经网络和/或其他训练模型被配置为评估多个消息以检测其中讨论的结构化问题。此外，结构化响应模块240可以包括用于确定对结构化问题候选者的可能的答案的数量的模型。基于对结构化问题候选者的可能的答案的数量，结构化响应模块240可以检测和识别结构化问题、可能的答案和/或先前提供的对结构化问题的答案。结构化响应模块240还可以将对结构化问题候选者的可能的答案的数量与阈值进行比较，例如，以便检测结构化问题候选者实际上是否是结构化问题。
尽管被示为单独的元件，但是应当理解，结构化响应模块240可以部分或全部由处理器210和/或存储器220(例如，存储各种模型的参数的数据库)实施。结构化响应模块240及其功能在下面更全面地讨论。
应当理解，示例服务器计算设备120可以包括与计算设备110相同或相似的组件，并因此可以被配置为执行本公开的一些或所有技术，在下文将更全面地描述。此外，虽然本文在计算设备110的背景下描述了本公开的技术，但是具体考虑技术的每个特征可以由单独的计算设备110、一起操作的多个计算设备110、单独的服务器计算设备120、一起操作的多个服务器计算设备120以及一起操作的一个或多个计算设备110和一个或多个服务器计算设备120的组合来执行。因此，为了简单起见，在以下描述中，术语“计算设备110”应该被解释为包括所有这些各种选项，包括仅使用服务器计算设备120。
参考图3，示出了根据本公开的某些实施方式的、当运行通信应用时可以由示例性计算设备110的显示设备230显示的示例GUI 300。图示的GUI 300包括消息显示部分302和消息输入部分304。发送或接收的消息可以显示在消息显示部分302中，并且用户105可以例如通过虚拟键盘(未示出)或其他用户输入设备，在消息输入部分304中提供文本或其他输入。
计算设备110可以接收第一消息310。第一消息310包括可以例如包括诸如一个或多个词的文本的内容。在所示的示例中，第一消息310包括文本内容“下周哪一天吃晚餐？”第一消息310与“时间t”的时间戳相关联，并由第一用户105A经由发送计算设备110A(如用户标识符315所示的，例如，如图所示的带圆圈的“A”)发送。第一消息310可以显示在消息显示部分302中。与计算设备110A-D相关联的每个用户105A-D可以读取或以其他方式感知第一消息310的文本内容(例如，通过经由文本到语音功能来听取代表文本内容的音频输出)。在所示的示例中，用户105B(如用户标识符325所示)已经用如图所示的第二消息“我可以周二或周三”320进行了响应。
可以在时间t+2接收第三消息“我周三或周四”330，后面接着在时间t+4的第四消息“任何一天都好”340。可以在GUI 300中按时间顺序显示这些消息中的每一个，如图3所示。第三消息330由用户105C发送，且第四消息由用户105D发送，分别由用户标识符335、345指示。
如上所述，以时间顺序列表(例如，如图3所示)显示来自通信会话的消息310-340可能在某些情况下导致计算资源、可用显示空间和/或计算设备110的功耗的使用效率低。对于包括相对大量消息和/或具有相对长持续时间的通信会话而言，这可能尤其如此，因为这种通信会话对用户105有效地搜索来说往往更加困难。为了解决这些和其他问题，本公开涉及用于检测结构化问题并呈现用户界面元素的自动化技术，该用户界面元素呈现结构化问题的可能的答案的概述和/或结构化响应模板。
如图3所示，示例用户界面元素350可以包括结构化概要，结构化概要包括对结构化问题(“下周哪一天吃晚餐？”)310的一个或多个答案352。在所示示例中，一个或多个答案352包括“周二”、“周三”和“周四”，并且被组织在表格的列中，该列具有标签354(“日”)。结构化概要350还包括接收的答案概述356，其总结了在通信会话期间从用户105接收的答案。所接收的答案概述356被示出为被组织在表的另一列中，另一列具有标签358(“有空”)。此外，用户界面元素350可以包括可选择选项360，其在用户105选择时选择性地打开和关闭用户界面元素350。如上所述，用户界面元素350可以自动显示在图形用户界面300中，或者在用户105选择可选择选项360时显示。
观看示例用户界面元素350的用户105可以快速且容易地处理多个消息的内容以注意用户105已经提供了对结构化问题(“下周哪一天吃晚餐？”)310的多个答案。具体地，用户105可以查看结构化概要以注意两个用户105在周二有空，三个用户105在周三有空，并且一个用户105在周四有空。
现在参考图4A和4B，示出了根据本公开的某些实施方式的在运行通信应用时可由示例计算设备110的显示设备230显示的另一示例GUI 400。示例GUI 400包括与上面讨论的GUI 300类似的元素，并且相同的附图标记用于示出相同的元素。GUI 400还包括另一个示例用户界面元素450，下面将更全面地描述。
所示的GUI 400包括示例用户界面元素450，用户界面元素450包括结构化响应模板，其中呈现结构化问题(“下周哪一天吃晚餐？”)310的可能的答案452的至少一个子集。在所示的示例中，一个或多个答案452包括一周中的几天，并且被组织在表格中，该表格提供有对应于结构化问题310的标签454(“下一周哪一天吃晚餐？”)。一个或多个答案452中的每一个答案可以由用户105选择，例如，通过点击特定答案或选择可选择选项456(图示为可选择或“检查”框)，如下面更全面地描述的。此外，用户界面元素450可以包括可选择选项460，其在用户105选择时选择性地打开和关闭用户界面元素450。如上所述，用户界面元素450可以自动显示在图形用户界面300中，或者在用户105选择可选择选项460时显示。
如图4B所示，结构化响应模板450可以可选地包括接收到的答案概述458(类似于上面描述的接收的答案概述356)，答案概述458总结了在通信会话期间从用户105接收的答案。所接收的答案概述458被示出为被组织在表的另一列中，但是可以考虑其他格式。
另外或可替代地，在一些方面，可以基于从用户105接收的答案来修改结构化响应模板450。仅作为示例，并且如图4B所示，可以修改对结构化问题(“下周哪一天吃晚餐？”)310的可能的答案452(或其呈现)的子集以指示哪些可能的答案452不可用或没有被任何其他用户105选择。在所示的示例中，已经为许多可能的答案452提供了删除线元素459，以指示这些可能的答案452不是优选的/未被选择的。应当理解，可以考虑修改结构化响应模板450的其他方式(突出显示，改变颜色，改变字体、大小，从列表中移除特定可能的答案等)。
类似于用户界面元素350，查看示例用户界面元素450的用户105可以快速且容易地处理多个消息的内容以注意用户105已经向结构化问题(“下周哪一天吃晚餐？”)310提供了许多答案。具体地，用户105可以查看结构化响应模板450(图4B)以注意到有两个用户105周二有空，有三个用户105周三有空，一个用户105在周四有空。此外，用户105还可以基于标签454识别结构化问题(“下周哪一天吃晚餐？”)310。
如简要提及的，对一个或多个答案452的特定答案的选择可以使计算设备110自动生成并发送对应于所选答案的响应消息。仅作为示例，如果特定用户105(例如，第一用户105A)经由可选择选项456选择答案“周日”，则计算设备110可以生成响应消息(例如，包含文本“周日”或“用户A说‘周日’”。生成的响应消息可以在通信会话中自动传输给其他用户105，或者可以作为自动完成的消息(例如，在GUI 300的消息输入部分304中)被包括在内，用于由特定用户(用户105A)编辑和/或发送。
现在参考图5，公开了用于概括通信会话中的结构化响应的方法500。在510，计算设备110可以接收多个基于文本的消息(诸如消息310-340)，该消息对应于在计算设备110处执行的通信应用中在多个用户110(例如，第一用户110A、第二用户110B、第三用户110C和第四用户110D)之间的通信会话。计算设备110可以评估(520)消息310-340以确定是否已经询问了结构化问题。
如下面更全面地描述的，计算设备110可以基于结构化问题模型评估(520)消息作为结构化问题候选者。在一些方面，计算设备110可以确定(522)对于结构化问题候选者的可能的答案的数量，并且将该数量与阈值进行比较(524)。当可能的答案数量满足阈值时，结构化问题候选者可以被分类为结构化问题。相反，当可能的答案数量不满足阈值时，结构化问题候选者可以从作为结构化问题的分类中被排除。
在530，计算设备110可以检测多个消息中的结构化问题。当结构化问题候选者在530未被分类为结构化问题时，方法500可以返回到510或520，如图所示。当结构化问题候选者在530被分类为结构化问题时，计算设备110可以生成(540)对应于结构化问题的用户界面元素(例如，用户界面元素350、450)。在550，计算设备110可以输出命令以将所生成的用户界面元素(350、450)包括在图形用户界面(例如，GUI 300、400)中的通信会话的记录中，该图形用户界面对应于通信应用。
如上所述，用户界面元素可以采用各种形式，例如示例用户界面元素350、450。在一些方面，可以生成(542)用户界面元素以包括结构化概要，结构化概要包括出现在来自多个用户的多个消息中的对结构化问题的一个或多个答案，例如用户界面元素350。在其他方面，用户界面元素可以被生成(544)为结构化响应模板，其中可能的答案的至少一个子集被呈现并且是可选择的，例如用户界面元素450。
另外参考图6，示出了结构化响应模块240的示例组件。如上所述，结构化响应模块240可以(单独或与其他计算设备或其组件一起)执行与方法500相关的一个或多个功能。结构化响应模块240可以包括结构化问题模型600，结构化问题模型600可用于评估(520、522、524)消息310-340以检测结构化问题。结构化问题模型600可以包括神经网络或其他类型的模型，其通过机器学习来训练以检测和识别多个消息中的结构化问题。在一些方面，结构化问题模型600可以包括被训练以从标记的训练数据中识别结构化问题的机器学习分类器。在各种实施方式中，机器学习模型可以基于标记的训练数据来训练，该标记的训练数据包括多个消息，每个消息被标记为结构化问题或不是结构化问题。
结构化问题模型600可以基于许多因素或信号来检测结构化问题。仅作为示例，结构化问题模型600可以利用消息中存在的标点符号作为指示结构化问题的信号。例如，当结构化问题候选者消息包括问号时，结构化问题候选者更可能是结构化问题，因为问号表示问题。类似地，当存在标点符号但不是问号时，结构化问题候选者可能不是结构化问题，因为发送用户105包括不指示问题的标点符号。
作为另一个例子，结构化问题模型600可以利用消息中疑问词的存在作为指示结构化问题的信号。当结构化问题候选者消息包括疑问词(谁、何地、何时、何时、如何、为何等)时，结构化问题候选者更可能是结构化问题，因为这些词语指示了问题。类似地，结构化问题候选者中不存在疑问词可能是候选者不是结构化问题的信号。
在又一个或另外的示例中，结构化问题模型600可以利用指示消息中的有限项目/实体/选项的集合的单词的存在作为指示结构化问题的信号。仅作为示例，包括诸如“哪一天(What day)...”之类的单词的结构化问题候选者可以指示结构化问题，因为词“天(day)”指示有限的选项的集合(周日至周六)。相反，不包括指示有限项目的集合的单词(例如，“为什么？”和“你在做什么？”)的结构化问题候选者可以是候选者不是结构化问题的信号。上面讨论的每个信号可以单独使用，彼此组合使用，和/或与其他信号一起使用，以检测结构化问题。
在又一个或另外的示例中，结构化问题模型600可以利用消息文本中的有限选项选择的存在作为指示结构化问题的信号。仅作为示例，“你喜欢红色还是蓝色？”的结构化问题候选者可以指示结构化问题，因为单词“或”指示用户105可以选择响应该问题的选项。相比之下，结构化问题候选者不包括有限的选项选择(“你为什么喜欢蓝色？”)可能是候选者不是结构化问题的信号。
在另一替代或另外的示例中，结构化问题模型600可以将接收到的对消息(或问题)的响应用作指示结构化问题的信号。仅作为示例，结构化问题候选者“你想做什么？”最初可能不被归类为结构化问题。然而，当不同的用户提供响应(例如“晚餐”、“电影”、“我更喜欢晚餐”和“电影听起来不错！”)时，存在有限的选项集合来响应结构化候选者，结构化问题模型600可以将结构化问题候选者“你想做什么？”分类为结构化问题。因此，结构化问题候选者最初可以被分类为不是结构化问题，然后基于从中接收的响应重新分类为结构化问题。
对于结构化问题候选者，结构化问题模型600可以确定(522)结构化问题候选者的多个可能的答案(例如，通过利用下面讨论的可能的答案模型610)，并且将该数字与阈值进行比较(524)。可以以各种方式选择或确定阈值。仅作为示例，可以基于计算设备110的显示器230的大小来确定阈值。以这种方式，当结构化问题候选者的可能的答案的数量将难以在显示器230上正确显示时，结构化问题候选者可以归类为不是结构化问题。仅举例来说，结构化问题候选者“你的出生日期是什么？”可以指示有限的项目集合(即日期)，但是可能的答案的数量相对较大，因此结构化问题模型600可以将候选者归类为不是结构化问题。类似地，结构化问题候选者“你下周建议的日期是什么？”可能指示有限的项目集合(即下周日期)，其中可能的答案的数量相对较小(七个)，因此结构化问题模型600可以将候选者分类为结构化问题。考虑可以以各种其他方式确定阈值。
如上面简要提到的，结构化问题模型600可以包括可能的答案模型610，可能的答案模型610可以确定(522)结构化问题的多个可能的答案和实际可能的答案。可能的答案模型610可以包括神经网络或其他类型的模型，其通过机器学习来训练以检测和识别结构化问题的可能的答案。该模型可以利用各种信号进行确定。仅作为示例，指示消息中的有限项目/实体/选项的集合的词的存在是指示可能的答案是项目/实体/选项的信号。在又一个示例中，可以训练可能的答案模型610以检测通常仅有两个答案的二元问题(例如，“是”或“否”)。
此外，可能的答案模型600可以利用消息文本中存在的有限的选项选择作为指示结构化问题的可能的答案的信号。如上所述，结构化问题“你喜欢红色还是蓝色？”可指示可能的答案(“红色”或“蓝色”)，因为词“或”表示选项，用户105可以从选项中选择该问题的响应。上面讨论的每个信号可以单独使用，彼此组合使用，和/或与其他信号一起使用，以检测结构化问题的可能的答案。
在一些实施方式中，结构化问题模型600还可以包括标签模型620，标签模型620可以用于帮助生成用户界面元素，例如用户界面元素350、450。更具体地，标签模型620可以用于生成对应于结构化问题310并且可以被包括在用户界面元素中的标签(诸如上述标签354、454)。在一些方面，结构化问题本身可以被选择作为标签，例如图4A-B的用户界面元素450中所示。在其他方面，标签模型620可以从结构化问题导出标签(例如图3中的标签354)。仅作为示例，标签模型620可以确定指示结构化问题中存在的有限的项目/实体/选项(“日”)的集合的词或者可能的答案的类别，作为标签354、454。
如上所述，在一些实施方式中，计算设备110(例如，结构化问题模型600)可以聚集和概括从用户105接收的答案，以生成接收的答案概述356、458，用于显示在用户界面元素350、450中。在一些方面，可以进一步训练结构化问题模型600以确定响应于结构化问题的答案的消息。结构化问题模型600可以对训练数据进行训练，该训练数据包括标记为响应性答案(正例)和/或非响应性(反例)的消息集合，以确定指示响应性的消息的特征。
在一些方面，可以利用特定消息的发送时间(消息的发送时间)来确定它是否响应于结构化问题。仅作为示例，具有发送时间在结构化问题的发送时间之后不久的特定消息指示特定消息更可能响应于结构化问题。在另一示例中，可以利用特定消息的发送时间与用户105读取结构化问题的时间之间的差来确定消息是否响应。与上面的发送时间示例类似，可能是在估计第一用户已经读取结构化问题的时间(读取时间)之后不久的发送时间，由第一用户发送的特定消息可能指示特定消息更可能是响应结构化问题。
另外或可替代地，消息的内容可用于确定后面的消息是否响应于结构化问题。仅作为示例，对于包括指示类别或项目/对象/实体(例如，“日”或“颜色”)的集合的词的结构化问题，在目录或集合中包括指示特定成员/项目/对象的词(例如“周一”或“蓝色”)的后续消息可能更有可能响应先前的消息，并因此包括答案。在附加或替代方面，当经由结构化响应模板450提供答案时，发送答案消息的计算设备110可以包括答案标识符，该答案标识符可以由接收计算设备110检测以包括在接收到的答案概述356、458中。
应当理解，尽管各种不同模型(600-620)被描述为单独起作用的单独模型，但是本公开考虑计算设备110可以利用一些或所有模型(或其特征)的组合。此外，特别考虑的是，除非另有说明，否则所描述的每个特征和模型可以单独使用或以任何组合一起使用。
这里讨论的系统和方法不需要收集或使用用户个人信息。在本文讨论的某些实施方式可以收集或使用关于用户的个人信息(例如，用户数据、关于用户的社交网络的信息、用户的位置和时间、用户的生物识别信息、用户的活动和人口统计信息)的情况下，向用户提供控制是否收集个人信息，是否存储个人信息，是否使用个人信息，以及如何收集、存储和使用关于用户的信息的一个或多个机会。也就是说，这里讨论的系统和方法仅在接收到相关用户的明确授权时才收集、存储和/或使用用户个人信息。另外，某些数据可以在存储或使用之前以一种或多种方式处理，以便移除个人可识别信息。作为一个示例，可以处理用户的身份，以便不能确定个人可识别信息。作为另一示例，用户的地理位置可以被概括到更大的区域，使得不能确定用户的特定位置。
提供示例实施例以使本公开彻底，并且将向本领域技术人员充分传达范围。提出了许多具体细节，例如特定组件、设备和方法的示例，以提供对本公开的实施例的透彻理解。对于本领域技术人员来说显而易见的是，不是必须要采用特定细节，示例实施例可以以各种不同形式实施，并且两者都不应被解释为限制本公开的范围。在一些示例实施例中，未详细描述众所周知的过程、众所周知的设备结构和众所周知的技术。
这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。除非上下文另有明确说明，如这里所使用的，单数形式“一”、“一个”和“该”也可以包括复数形式。术语“和/或”包括一个或多个相关所列项目的任何和所有组合。术语“包含”、“包括”和“具有”是包含性的，并因此指定所述特征、整数、步骤、操作、元素和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、组件和/或其群组。除非被特别标识为执行顺序，否则本文描述的方法步骤、过程和操作不应被解释为必须要求它们以所讨论或说明的特定顺序执行。还应理解，可以采用另外的或替代的步骤。
尽管这里可以使用术语第一、第二、第三等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应受到这些术语的限制。这些术语可能仅用于将一个元件、组件、区域、层或部分与另一个区域、层或部分区分开。除非上下文明确指出，否则本文使用的诸如“第一”、“第二”和其他数字术语的术语不暗示次序或顺序。因此，在不脱离示例实施例的教导的情况下，下面讨论的第一元件、组件、区域、层或部分可以被称为第二元件、组件、区域、层或部分。
如这里所使用的，术语模块可以指代、作为一部分或包括：专用集成电路(ASIC)；电子电路；组合逻辑电路；现场可编程门阵列(FPGA)；处理器或处理器的分布式网络(共享、专用或群)和存储在运行代码或处理的网络集群或数据中心中；提供所述功能的其他合适组件；或者上述部分或全部的组合，例如在片上系统中。术语模块还可以包括存储器(共享、专用或群)，其存储由一个或多个处理器执行的代码。
如上所使用的术语代码可以包括软件、固件、字节代码和/或微代码，并且可以指代程序、例程、函数、类和/或对象。如上所使用的术语“共享”意味着可以使用单个(共享)处理器来执行来自多个模块的一些或所有代码。另外，来自多个模块的一些或所有代码可以由单个(共享)存储器存储。如上所使用的术语群表示可以使用一组处理器来执行来自单个模块的一些或所有代码。另外，可以使用一组存储器来存储来自单个模块的一些或所有代码。
本文描述的技术可以由一个或多个处理器执行的一个或多个计算机程序实施。计算机程序包括存储在非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括存储的数据。非暂时性有形计算机可读介质的非限制性示例是非易失性存储器、磁存储器和光存储器。
以上描述的一些部分根据对信息的操作的算法和符号表示来呈现本文描述的技术。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们工作的实质传达给本领域其他技术人员的手段。这些操作虽然在功能上或逻辑上描述，但应理解为由计算机程序实施。此外，还证明有时将这些操作安排称为模块或功能名称很方便而不失一般性。
除非从上面的讨论中明显地另外明确说明，否则应理解，在整个说明书中，利用诸如“处理”或“计算”或“算”或“确定”或“显示”等术语的讨论，是指计算机系统或类似的电子计算设备的动作和处理，其操作和转换在计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内表示为物理(电子)量的数据。
所描述的技术的某些方面包括以算法的形式在此描述的处理步骤和指令。应当注意，所描述的处理步骤和指令可以体现在软件、固件或硬件中，并且当以软件实施时，可以被下载以驻留在实时网络操作系统所使用的不同平台上并且可以从实时网络操作系统所使用的不同平台上操作。
本公开还涉及用于执行本文操作的装置。该装置可以为所需目的而专门构造，或者它可以包括由存储在计算机可读介质上的计算机程序选择性地激活或重新配置的通用计算机，该计算机程序可以由计算机访问。这样的计算机程序可以存储在有形计算机可读存储介质中，例如但不限于任何类型的盘，包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、专用集成电路(ASIC)，或适用于存储电子指令的任何类型的介质，并且每个都耦合到计算机系统总线。此外，说明书中提到的计算机可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。
本文呈现的算法和操作并非固有地与任何特定计算机或其他装置相关。各种通用系统也可以与根据本文的教导的程序一起使用，或者可以证明构造更专用的装置以执行所需的方法步骤是方便的。对于本领域技术人员来说，各种这些系统所需的结构以及等同的变化是显而易见的。另外，不参考任何特定编程语言描述本公开。应当理解，可以使用各种编程语言来实施如本文所述的本公开的教导，并且提供对特定语言的任何参考以用于公开本发明的实现和最佳模式。
本公开非常适合于多种拓扑上的各种计算机网络系统。在该领域内，大型网络的配置和管理包括存储设备和计算机，该存储设备和计算机通过例如因特网的网络通信地耦合到不同计算机和存储设备。
已经出于说明和描述的目的提供了实施例的前述描述。其并非旨在穷举或限制本公开。特定实施例的各个元件或特征通常不限于该特定实施例，而是在适用的情况下是可互换的并且可以在所选实施例中使用，即使没有具体示出或描述。也可以以一种或多种方式改变它。不应将这些变化视为脱离本公开，并且所有这些修改旨在包括在本公开的范围内。

Claims (24)

1.一种计算机实施的为结构化问题组织答案的方法，其特征在于，包括：
在运行通信应用的计算设备处接收与多个用户之间的通信会话相对应的多个消息；
在所述计算设备上，并且基于经由机器学习训练的结构化问题模型，检测所述多个消息中的所述结构化问题，所述结构化问题包括由所述结构化问题模型预测的问题，所述问题具有少于阈值数量的可能的答案的数量；
响应于检测到所述结构化问题，在所述计算设备处生成对应于所述结构化问题的用户界面元素，所述用户界面元素包括以下中的至少一个：(i)结构化概要，所述结构化概要包括对所述结构化问题的一个或多个答案，所述结构化问题存在于来自所述多个用户的所述多个消息中，和(ii)结构化响应模板，其中，所述可能的答案的至少一个子集被呈现并且可选择，并且，所述结构化概要和所述结构化响应模板还包括答案概述，所述答案概述总结了在通信会话期间从用户处接收到的答案，并将所述答案概述显示在与所述可能的答案不同的位置；和
在所述计算设备处输出命令，以将所生成的用户界面元素包括在对应于所述通信应用的图形用户界面中的所述通信会话的记录中。
2.如权利要求1所述的计算机实施的方法，其特征在于，还包括：
在所述计算设备处，基于所述结构化问题模型和所述结构化问题，生成所述可能的答案的所述子集。
3.如权利要求1所述的计算机实施的方法，其特征在于，还包括：
在所述计算设备处，基于所述结构化问题的内容确定所述可能的答案和所述可能的答案的数量，其中所述可能的答案存在于所述结构化问题中。
4.如权利要求1所述的计算机实施的方法，其特征在于，还包括：
在所述计算设备处，基于所述结构化问题模型和所述结构化问题，确定可能的答案的数量；和
在所述计算设备处，将可能的答案的数量与所述阈值数量进行比较。
5.如权利要求1所述的计算机实施的方法，其特征在于，还包括：
在所述计算设备处，从特定用户接收在所述结构化响应模板中呈现的所述可能的答案的子集中的特定可能的答案的用户选择；和
响应于所述用户选择，在所述计算设备处生成对应于特定可能的答案的特定响应消息。
6.如权利要求5所述的计算机实施的方法，其特征在于，生成所述特定响应消息包括以下之一：(i)在所述通信会话中自动向所述多个用户发送所述特定响应消息，和(ii)在对应于所述通信应用的图形用户界面中插入所述特定响应消息，用于由所述特定用户编辑或发送。
7.根据前述权利要求中任一项所述的计算机实施的方法，其特征在于，所述结构化问题模型是基于标记的训练数据而被训练的分类器，所述标记的训练数据包括被标记为结构化问题的消息的正例，以及被标记为非结构化问题的消息的反例。
8.如权利要求1所述的计算机实施的方法，其特征在于，还包括：从所述多个消息中确定响应性消息，其中，所述响应性消息包括来自所述多个用户之一的对所述结构化问题的所述可能的答案中的至少一个。
9.一种用于为结构化问题组织答案的计算设备，其特征在于，包括：
一个或多个处理器，运行用于第一用户的通信应用；和
非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上存储有多个指令，当由所述一个或多个处理器运行时，使所述一个或多个处理器执行操作，所述操作包括：
运行通信应用；
接收与多个用户之间的所述通信应用中的通信会话相对应的多个消息；
基于经由机器学习训练的结构化问题模型，检测所述多个消息中的所述结构化问题，所述结构化问题包括由所述结构化问题模型预测的问题，所述问题具有少于阈值数量的可能的答案的数量；
生成对应于所述结构化问题的用户界面元素，所述用户界面元素包括以下中的至少一个：(i)结构化概要，所述结构化概要包括一个或多个对所述结构化问题的答案，所述结构化问题存在于来自所述多个用户的所述多个消息中，和(ii)结构化响应模板，其中所述可能的答案的至少一个子集被呈现并且可选择，并且，所述结构化概要和所述结构化响应模板还包括答案概述，所述答案概述总结了在通信会话期间从用户处接收到的答案，并将所述答案概述显示在与所述可能的答案不同的位置；和
输出命令，以将所生成的用户界面元素包括在对应于所述通信应用的图形用户界面中的所述通信会话的记录中。
10.如权利要求9所述的计算设备，其特征在于，所述操作还包括：
基于所述结构化问题模型和所述结构化问题，生成所述可能的答案的所述子集。
11.如权利要求9所述的计算设备，其特征在于，所述操作还包括：
基于所述结构化问题的内容确定所述可能的答案和所述可能的答案的数量，其中所述可能的答案存在于所述结构化问题中。
12.如权利要求9所述的计算设备，其特征在于，所述操作还包括：
基于所述结构化问题模型和所述结构化问题确定可能的答案的数量；和
将可能的答案的数量与所述阈值数量进行比较。
13.如权利要求9所述的计算设备，其特征在于，所述操作还包括：
从特定用户接收在所述结构化响应模板中呈现的所述可能的答案子集中的特定可能的答案的用户选择；和
响应于所述用户选择，生成对应于特定可能的答案的特定响应消息。
14.如权利要求13所述的计算设备，其特征在于，生成所述特定响应消息包括以下之一：(i)在所述通信会话中自动将所述特定响应消息发送给所述多个用户，和(ii)将所述特定响应消息插入对应于所述通信应用的图形用户界面中，用于由所述特定用户编辑或发送。
15.如权利要求9至14中任一项所述的计算设备，其特征在于，所述结构化问题模型是基于标记的训练数据而被训练的分类器，所述标记的训练数据包括被标记为结构化问题的消息的正例，以及被标记为非结构化问题的消息的反例。
16.如权利要求9所述的计算设备，其特征在于，还包括：从所述多个消息中确定响应性消息，其中，所述响应性消息包括来自所述多个用户之一的对所述结构化问题的所述可能的答案中的至少一个。
17.一种非暂时性计算机可读存储介质，其特征在于，所述非暂时性计算机可读存储介质上存储有多个用于为结构化问题组织答案的指令，当由一个或多个处理器运行时，所述多个指令使得所述一个或多个处理器执行操作，所述操作包括：
运行通信应用；
接收与多个用户之间的所述通信应用中的通信会话相对应的多个消息；
检测所述多个消息中的所述结构化问题，所述结构化问题包括问题，对所述问题的可能的答案的数量少于阈值数量，其中所述检测是基于经由机器学习训练的结构化问题模型；
生成对应于所述结构化问题的用户界面元素，所述用户界面元素包括以下中的至少一个：(i)结构化概要，所述结构化概要包括一个或多个对所述结构化问题的答案，所述结构化问题存在于来自所述多个用户的所述多个消息中，和(ii)结构化响应模板，其中所述可能的答案的至少一个子集被呈现并且可选择，并且，所述结构化概要和所述结构化响应模板还包括答案概述，所述答案概述总结了在通信会话期间从用户处接收到的答案，并将所述答案概述显示在与所述可能的答案不同的位置；和
输出命令，以生成对应于所述通信应用的图形用户界面，其中所述多个消息和所述生成的用户界面元素显示在所述通信会话的记录中。
18.如权利要求17所述的非暂时性计算机可读存储介质，其特征在于，所述操作还包括：
基于所述结构化问题模型和所述结构化问题，生成所述可能的答案的所述子集。
19.如权利要求17所述的非暂时性计算机可读存储介质，其特征在于，所述操作还包括：
基于所述结构化问题的内容确定所述可能的答案和所述可能的答案的数量，其中所述可能的答案存在于所述结构化问题中。
20.根据权利要求17所述的非暂时性计算机可读存储介质，其特征在于，所述操作还包括：
基于所述结构化问题模型和所述结构化问题确定可能的答案的数量；和
将可能的答案的数量与所述阈值数量进行比较。
21.根据权利要求17所述的非暂时性计算机可读存储介质，其特征在于，所述操作还包括：
从特定用户接收在所述结构化响应模板中呈现的所述可能的答案的所述子集中的特定可能的答案的用户选择；和
响应于所述用户选择，生成对应于所述特定可能的答案的特定响应消息。
22.根据权利要求21所述的非暂时性计算机可读存储介质，其特征在于，生成所述特定响应消息包括以下之一：(i)在所述通信会话中自动向所述多个用户发送所述特定响应消息，和(ii)将所述特定响应消息插入对应于所述通信应用的所述图形用户界面中，用于由所述特定用户编辑或发送。
23.根据权利要求17至22中任一项所述的非暂时性计算机可读存储介质，其特征在于，所述结构化问题模型是基于标记的训练数据而被训练的分类器，所述标记的训练数据包括被标记为结构化问题的消息的正例，以及被标记为非结构化问题的消息的反例。
24.如权利要求17所述的非暂时性计算机可读存储介质，其特征在于，所述操作还包括：从所述多个消息中确定响应性消息，其中，所述响应性消息包括来自所述多个用户之一的对所述结构化问题的所述可能的答案中的至少一个。
CN201780070374.2A 2017-02-15 2017-10-31 一种为结构化问题组织答案的方法及相应计算设备 Active CN110313010B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/433,587 2017-02-15
US15/433,587 US11586341B2 (en) 2017-02-15 2017-02-15 Structured response summarization of electronic messages
PCT/US2017/059360 WO2018151775A1 (en) 2017-02-15 2017-10-31 Structured response summarization of electronic messages

Publications (2)

Publication Number Publication Date
CN110313010A CN110313010A (zh) 2019-10-08
CN110313010B true CN110313010B (zh) 2024-04-16

Family

ID=60473619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780070374.2A Active CN110313010B (zh) 2017-02-15 2017-10-31 一种为结构化问题组织答案的方法及相应计算设备

Country Status (3)

Country Link
US (1) US11586341B2 (zh)
CN (1) CN110313010B (zh)
WO (1) WO2018151775A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200133439A1 (en) * 2018-10-31 2020-04-30 International Business Machines Corporation Chat session dynamic user interface
US11960847B2 (en) * 2019-04-04 2024-04-16 Verint Americas Inc. Systems and methods for generating responses for an intelligent virtual
US11783223B2 (en) * 2019-06-01 2023-10-10 Apple Inc. Techniques for machine language model creation
US20200401878A1 (en) * 2019-06-19 2020-12-24 International Business Machines Corporation Collaborative real-time solution efficacy
US20240211682A1 (en) * 2021-05-28 2024-06-27 Microsoft Technology Licensing, Llc A personalized communication text compression system
US11929971B2 (en) * 2022-06-21 2024-03-12 Microsoft Technology Licensing, Llc Email threading based on machine learning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431479A (zh) * 2007-11-08 2009-05-13 华为技术有限公司 实现问答业务的方法、客户端和服务器
CN101834809A (zh) * 2010-05-18 2010-09-15 华中科技大学 一种互联网即时消息通讯系统
CN104834651A (zh) * 2014-02-12 2015-08-12 北京京东尚科信息技术有限公司 一种提供高频问题回答的方法和装置
CN105608100A (zh) * 2015-08-31 2016-05-25 南京酷派软件技术有限公司 信息提取方法和信息提取装置
CN105915439A (zh) * 2016-04-18 2016-08-31 百度在线网络技术（北京）有限公司 信息推送方法、装置及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8190999B2 (en) 2004-05-20 2012-05-29 International Business Machines Corporation System and method for in-context, topic-oriented instant messaging
US20080281922A1 (en) 2007-05-09 2008-11-13 Microsoft Corporation Automatic generation of email previews and summaries
US20080281927A1 (en) 2007-05-11 2008-11-13 Microsoft Corporation Summarization tool and method for a dialogue sequence
US7739261B2 (en) 2007-06-14 2010-06-15 Microsoft Corporation Identification of topics for online discussions based on language patterns
US8335827B2 (en) 2008-07-11 2012-12-18 Yuriy Mishchenko Systems and methods for exchanging information in a large group
KR101590766B1 (ko) 2009-06-26 2016-02-02 삼성전자주식회사 메시지를 그룹화하고 디스플레이하는 장치 및 방법
US20110040694A1 (en) * 2009-08-11 2011-02-17 JustAnswer Corp. Method and apparatus for expert quality control
US8701019B2 (en) 2011-03-24 2014-04-15 Facebook, Inc. Presenting question and answer data in a social networking system
US8560567B2 (en) 2011-06-28 2013-10-15 Microsoft Corporation Automatic question and answer detection
US9116984B2 (en) 2011-06-28 2015-08-25 Microsoft Technology Licensing, Llc Summarization of conversation threads
US8676913B1 (en) 2013-09-09 2014-03-18 LavaRipples, LLC Discussion-topic, social network systems
US20150088921A1 (en) * 2013-09-20 2015-03-26 Ebay Inc. Search guidance
US20150120680A1 (en) 2013-10-24 2015-04-30 Microsoft Corporation Discussion summary
US20150178392A1 (en) * 2013-12-20 2015-06-25 Chacha Search, Inc. Method and system of providing a search tool
US20160182430A1 (en) * 2014-12-17 2016-06-23 Microsoft Technology Licensing, Llc Optimizing view of messages based on importance classification
US10178057B2 (en) * 2015-09-02 2019-01-08 International Business Machines Corporation Generating poll information from a chat session
US10699215B2 (en) * 2016-11-16 2020-06-30 International Business Machines Corporation Self-training of question answering system using question profiles
US10878192B2 (en) * 2017-01-06 2020-12-29 Microsoft Technology Licensing, Llc Contextual document recall

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431479A (zh) * 2007-11-08 2009-05-13 华为技术有限公司 实现问答业务的方法、客户端和服务器
CN101834809A (zh) * 2010-05-18 2010-09-15 华中科技大学 一种互联网即时消息通讯系统
CN104834651A (zh) * 2014-02-12 2015-08-12 北京京东尚科信息技术有限公司 一种提供高频问题回答的方法和装置
CN105608100A (zh) * 2015-08-31 2016-05-25 南京酷派软件技术有限公司 信息提取方法和信息提取装置
CN105915439A (zh) * 2016-04-18 2016-08-31 百度在线网络技术（北京）有限公司 信息推送方法、装置及系统

Also Published As

Publication number Publication date
US11586341B2 (en) 2023-02-21
CN110313010A (zh) 2019-10-08
WO2018151775A1 (en) 2018-08-23
US20180232127A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
CN110313010B (zh) 一种为结构化问题组织答案的方法及相应计算设备
US11379529B2 (en) Composing rich content messages
US10509531B2 (en) Grouping and summarization of messages based on topics
US10257127B2 (en) Email personalization
US9792356B2 (en) System and method for supporting natural language queries and requests against a user's personal data cloud
Verma et al. Big data analytics: Challenges and applications for text, audio, video, and social media data
US11100438B2 (en) Project entity extraction with efficient search and processing of projects
US8972428B2 (en) Providing an answer to a question left unanswered in an electronic forum
US8769417B1 (en) Identifying an answer to a question in an electronic forum
US9600769B1 (en) In-message suggestion by personal knowledge graph constructed from user email data
CN111143681A (zh) 一种资讯推荐装置、方法、设备及系统
US11310182B2 (en) Group communication organization
US20170097966A1 (en) Method and system for updating an intent space and estimating intent based on an intent space
US20130018968A1 (en) Automatic profiling of social media users
Marr Key Business Analytics: The 60+ business analysis tools every manager needs to know
US20180109574A1 (en) Machine learning collaboration system and method
US20150113388A1 (en) Method and apparatus for performing topic-relevance highlighting of electronic text
US10560419B2 (en) Message presentation management in a social networking environment
WO2021154546A1 (en) Generating social proximity indicators for meetings in electronic schedules
US20170364830A1 (en) Machine learning for automated organization system and method
US20200202469A1 (en) System and method for selecting at least one preferred educational institution
US11392851B2 (en) Social network navigation based on content relationships
US20230004601A1 (en) Determining and generating search refiners for applications
Xinwei et al. Unleashing the power of social media data in business decision making: an exploratory study
Shivakumar Big Data–a big game changer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant