CN115578060A - 电子邮件摘要和完成检查 - Google Patents
电子邮件摘要和完成检查 Download PDFInfo
- Publication number
- CN115578060A CN115578060A CN202211203121.7A CN202211203121A CN115578060A CN 115578060 A CN115578060 A CN 115578060A CN 202211203121 A CN202211203121 A CN 202211203121A CN 115578060 A CN115578060 A CN 115578060A
- Authority
- CN
- China
- Prior art keywords
- message
- topic
- question
- answer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 18
- 230000001364 causal effect Effects 0.000 claims description 7
- 230000002996 emotional effect Effects 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 19
- 238000010606 normalization Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 3
- 230000000699 topical effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 238000010361 transduction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100327917 Caenorhabditis elegans chup-1 gene Proteins 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/06—Message adaptation to terminal or network requirements
- H04L51/063—Content adaptation, e.g. replacement of unsuitable content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/56—Unified messaging, e.g. interactions between e-mail, instant messaging or converged IP messaging [CPM]
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Computer Hardware Design (AREA)
- Operations Research (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开涉及电子邮件摘要和完成检查。计算系统被配置成检测消息题绪中的至少一个问题,并且确定消息题绪是否包括对至少一个问题做出响应的至少一个回答。由此,系统基于至少一个问题的检测和至少一个回答的确定而生成消息题绪的摘要;并且输出以向消息题绪的接收者显示消息题绪的摘要。输出可以涉及视觉地指示检测到的至少一个问题和/或视觉地指示对至少一个问题做出响应的至少一个回答。可以以与消息题绪的其余内容不同的方式视觉地指示检测到的至少一个问题和至少一个回答。
Description
技术领域
本公开涉及电子邮件摘要和完成检查。
背景技术
电子邮件和其它复杂的、非结构化的通信——诸如具有许多回复的论坛题绪(thread)——可能是复杂的并且难以解析和理解。例如,来回电子邮件创建信息、想法、问题和回答的长记录,阅读、搜索和解析这些信息、想法、问题和回答很麻烦,尤其是在已经发生很多来回之后将某人添加到题绪的情况下。
例如,电子邮件题绪可能从三个人在该题绪上开始。如果有问题,可以添加两个或更多个人来回答问题。如果他们不知道回答,他们可能变得无响应或退出电子邮件题绪,而其他人可能被添加。然后,电子邮件题绪可以成为数十个问题和数十个人的题绪。在这种类型的情况下,电子邮件题绪上的人可能很容易对最初询问的内容,需要处理的未决问题或未决动作项丢失关注。
为了以传统方式解决这些问题,诸如主持人或题绪的发起者等人将需要手动地解析整个电子邮件题绪或论坛题绪,手动地标识未决问题和/或动作项以确保所有问题和/或动作项都得到解决。手动过程是劳动密集型的并且可能无效。任何疏忽都可能容易导致关键信息难以访问或甚至丢失。
发明内容
本公开的方面提供一种自动地生成电子邮件题绪的总结的总结技术。所述技术可以管理电子邮件题绪中的大量问题和回答。所述技术可以总结电子邮件题绪的要旨(keyidea),标识电子邮件题绪中的所有问题,标识对问题的所有回答,调出关键的利益相关者以及其仍未解决的动作项,并允许自动地和手动地更新摘要。
一个方面涉及以不断更新的小部件形式向所述题绪的接收者提供电子邮件或其它题绪的摘要。或者,一旦题绪已结束,例如在一段时间不活动之后或通过对最终消息的情绪分析,可以将摘要作为摘要电子邮件或其它通知发送。题绪的摘要可以包括题绪的问题和要旨的摘要,以确保在题绪已结束之前已经回答所有相关问题。机器学习模型和标记/注释都可以用于标识电子邮件题绪中的问题和回答。
本文所描述的技术可以扩展为包括任何通信题绪的总结,例如具有复杂的多层结构的论坛,包括例如通过协作在线组进行的交流。
根据一个方面,用于管理消息题绪的系统包括存储器,所述存储器被配置成存储多个消息题绪的摘要;以及一个或多个处理器。所述一个或多个处理器被配置成:检测消息题绪中的至少一个问题;确定消息题绪是否包括对所述至少一个问题做出响应的至少一个回答;基于所述至少一个问题的检测和所述至少一个回答的确定而生成消息题绪的摘要;以及输出以向消息题绪的接收者显示消息题绪的摘要。该输出可以涉及视觉地指示检测到的所述至少一个问题和/或视觉地指示对所述至少一个问题做出响应的所述至少一个回答。可以以与消息题绪的其余内容不同的方式视觉地指示检测到的所述至少一个问题和所述至少一个回答。
检测到的所述至少一个问题可以通过横幅视觉地指示。对所述至少一个问题做出响应的所述至少一个回答可以通过横幅视觉地指示。摘要可以包括提示消息题绪的接收者指示所述至少一个回答是否可接受的调查。此处,摘要可以视觉地指示所述至少一个回答是否已被接受。摘要可以视觉地指示消息题绪中没有任何对应回答的任何问题。
消息题绪可以是电子邮件题绪,并且所述一个或多个处理器被配置成在小部件中显示电子邮件题绪的摘要。摘要可以被以允许接收者更新摘要的可编辑方式向接收者显示。此处,所述一个或多个处理器被配置成将更新的摘要存储在存储器中。
摘要可以标识以下中的一个或多个:询问所述至少一个问题的一方、提供对所述至少一个问题做出响应的所述至少一个回答的一方、由消息题绪产生的至少一个动作项,以及负责所述至少一个动作项的一方。摘要可以标识至少一个分叉消息题绪,所述至少一个分叉消息题绪具有与消息题绪的原始主题不同的主题。
所述一个或多个处理器可以被配置成基于以下中的一个或多个来映射消息题绪中的问题和回答:至少一个不常见的词、至少一个独特的字符,或至少一个独特的表情符号组合。所述一个或多个处理器可以被配置成基于以下中的一个或多个来映射消息题绪中的问题和回答:数字标识,其中任何问题以及其对应回答由相同数字标识;任何问题与其对应回答之间的接近度;具有因果关系的字符的接近度,或具有因果关系的相邻电子邮件的标识。所述一个或多个处理器可以被配置成基于以下中的至少一个或多个来确定消息题绪的结束:消息题绪的不活动时段,或消息题绪中的最终消息的情绪分析。所述一个或多个处理器可以被配置成标识至少一个分叉消息题绪,所述至少一个分叉消息题绪具有与消息题绪的原始主题不同的主题。此处,所述一个或多个处理器可以被配置成生成所述至少一个分叉消息题绪中的每一个的摘要。所述一个或多个处理器可以被配置成输出以向所述至少一个分叉消息题绪的接收者显示至少一个分叉消息题绪中的每一个的所生成摘要。
消息题绪可以是电子邮件题绪,并且系统可以是邮件交换服务器的一部分。所述一个或多个处理器可以进一步被配置成:响应于请求消息,发起对消息题绪中的至少一个问题的检测;并且将消息题绪的所生成的摘要作为回复发送到请求消息。所述一个或多个处理器可以进一步被配置成基于它们的主题关联多个消息题绪。所述一个或多个处理器可以进一步被配置成基于它们的主题合并多个消息题绪。此处,所述一个或多个处理器可以进一步被配置成:当在所合并的消息题绪中的一个中提交回复时,向所合并的消息题绪中的至少一个其余消息题绪发送相同的回复。
根据另一方面,提供一种管理消息题绪的方法。所述方法包括:由一个或多个处理器检测消息题绪中的至少一个问题;由所述一个或多个处理器确定消息题绪是否包括对所述至少一个问题做出响应的至少一个回答;由所述一个或多个处理器基于所述至少一个问题的检测和所述至少一个回答的确定而生成消息题绪的摘要;由所述一个或多个处理器将消息题绪的摘要存储在存储器中;以及由所述一个或多个处理器输出以向电子邮件消息的接收者显示消息题绪的摘要,所述输出包括:视觉地指示检测到的所述至少一个问题;视觉地指示对所述至少一个问题做出响应的所述至少一个回答;其中以与消息题绪的其余内容不同的方式视觉地指示检测到的所述至少一个问题和所述至少一个回答。
根据另一方面,用于总结通信应用的内容的系统包括一个或多个处理器,所述处理器被配置成:检测与通信应用相关联的对话中的至少一个问题;确定对话是否包括对至少一个问题做出响应的至少一个回答;基于所述至少一个问题的检测和所述至少一个回答的确定而生成对话的摘要;以及输出以显示对话的摘要,所述输出包括:视觉地指示检测到的所述至少一个问题;视觉地指示对至少一个问题做出响应的至少一个回答;其中以与对话的其余内容不同的方式视觉地指示检测到的所述至少一个问题和所述至少一个回答。对话可以从以下中的一个或多个中导出:论坛题绪、电子邮件题绪、计算机化会议记录、消息组交流、语音对话,或视频会议。
附图说明
图1说明根据本公开的方面的示例系统的功能图。
图2说明根据本技术的方面使用的转换器型架构。
图3A说明根据本公开的方面的具有调查的示例电子邮件题绪摘要。
图3B说明根据本公开的方面的具有另一调查的示例电子邮件题绪摘要。
图4说明根据本公开的方面的具有接受的回答的示例电子邮件题绪摘要。
图5说明根据本公开的方面的具有可编辑字段的示例电子邮件题绪摘要。
图6说明根据本公开的方面的通过数字标识来识别问题和回答的示例电子邮件题绪摘要。
图7说明根据本公开的方面的识别问题的内联回答的示例电子邮件题绪摘要。
图8说明根据本公开的方面的由于接近而将回答映射到问题的示例电子邮件题绪摘要。
图9说明根据本公开的方面的电子邮件格式的示例电子邮件题绪摘要。
图10说明根据本公开的方面的原始电子邮件题绪和分叉电子邮件题绪的示例电子邮件题绪摘要。
图11说明根据本公开的方面的邮件交换服务器的功能图。
图12说明根据本公开的方面的自组织电子邮件题绪摘要。
图13说明根据本公开的方面的示出用于管理电子邮件题绪的示例性方法的流程图。
图14说明根据本公开的方面的另一示例系统的功能图。
图15A说明根据本公开的方面的示出用于注释和总结电子邮件题绪的示例性方法的示例流程图。
图15B说明根据本公开的方面的示例带注释的初始电子邮件。
图15C说明根据本公开的方面的回复图15B的初始电子邮件的示例带注释的响应。
图15D说明根据本公开的方面的示例逐项摘要。
具体实施方式
现在将关于以下示例性系统和方法描述本发明技术。图1说明用于管理电子邮件题绪的系统100。系统100可以包括一个或多个处理器102以及用于存储数据的存储器104。在一个示例中,存储器104可以存储多个电子邮件题绪的摘要。
对于每个电子邮件题绪116,处理器102可以自动地生成电子邮件题绪的总结,并且经由网络108将电子邮件题绪的摘要118发送到用户的装置112。当用户110查看任何电子邮件题绪时,可以在用户的装置112的图形用户界面(GUI)114上向用户110显示电子邮件题绪的摘要118。这里,可以在呈现电子邮件题绪116的GUI的单独窗格、窗口或其它区域中呈现摘要。用户110可以是电子邮件题绪的接收者或参与者。电子邮件题绪的摘要118可以包括但不限于,电子邮件题绪116的一个或多个要旨120、在电子邮件题绪116中标识的问题122a、122b和问题的回答126、电子邮件题绪116的关键利益相关者(例如,参与者)134a、134b、134c,以及未决动作项136。以此方式,如果在电子邮件题绪摘要118上创建动作项136,则动作项可以由发起问题124定义为根(root)并且具有用于子问题122b的叶字段。为了确定动作项未决还是关闭,机器学习可以用于解析问题124、响应128和后续问题122b的情绪以及讨论的实体134a和134b以得出对话正在发生。另外,使用时间接近度和句子结构分析例如139表明最近响应在可接受的时间段内,以认为接收响应仍然可行。通过示例的方式,机器学习可以用于a)确定这种性质的响应之间的平均时间长度,以确定它是否可能仍然未决,以及b)寻找时间延长的指示,诸如“I will respond in 7days(我将在7天内回复)”或“John Smith is out of office until June 1(John Smith直到6月1日不在办公)”,以确定“未决”状态是否应保持不变。另外,可以使用注释,诸如“打盹”电子邮件或添加标记以指示未决/关闭状态。而且,如果最近响应包含问题,则可以确定所述对话仍然未决,或者替代地,如果超过时间接近度并且最近响应是陈述,或者如果注释指示动作项关闭,则动作项可以被视为关闭。
处理器102可以被配置成检测电子邮件题绪116中的一个或多个问题122a、122b。处理器102可以确定电子邮件题绪116是否包括对每个检测到的问题做出响应的一个或多个回答126。每个电子邮件中的问题和回答可以包括但不限于,文本、诸如笑脸的表情符号和图形。处理器102可以标识电子邮件题绪116中的所有问题和所有问题的回答。处理器102可以基于检测到的问题和回答而生成电子邮件题绪116的摘要118。
另外,处理器102可以标识电子邮件题绪116的关键利益相关者以及其仍未决的动作项。对于电子邮件题绪中的每个问题,处理器102可以标识询问所述问题的一方或另一利益相关者134a。处理器102可以标识提供对问题做出响应的回答的一方或另一利益相关者134b。处理器102可以标识由电子邮件题绪产生的至少一个动作项136。处理器102可以标识提供对问题做出响应的回答的一方或另一利益相关者134b。处理器102还可以标识至少一个动作项是否仍未决(活动)。电子邮件题绪的摘要118可以标识询问每个问题的利益相关者134a、回答每个问题的利益相关者134b、从电子邮件题绪产生的动作项136,以及负责动作项的利益相关者134c。可以将关键利益相关者标识为问题或任何子问题(例如,如通过情绪和句子结构分析确定)的发起者,或者向所述问题或子问题提供直接响应的任何实体。
此外,处理器102可以总结电子邮件题绪116的要旨120,并且忽略电子邮件题绪116的无关信息。为了总结要旨,系统可以采用诸如用于情绪分析、强调关键方面的注释、句子结构分析的机器学习模型来解析语句、标识查询,并且去除多余的语言(例如,“Soundsgood!(听起来不错!)”)以及基于注释的机器学习模型,注释被反馈到系统中以标识题绪的有关和相关部分并且呈现这些部分以用于动作。
处理器102可以输出以向电子邮件题绪116的一个或多个接收者显示电子邮件题绪116的摘要118。摘要118可以示出从电子邮件题绪中提取的所标识问题和对应回答。处理器102可以在电子邮件题绪的某些阶段向接收者显示电子邮件题绪的摘要118,以确保在电子邮件题绪已结束之前已经回答所有相关问题。
在一个示例中,处理器102可以基于机器学习模型而生成电子邮件题绪的摘要。通过示例的方式,模型可以采用转换器型架构、卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆(LSTM)网络或它们的组合。例如,机器学习模型可以采用转换器型机器学习架构,如在标题为“Attention-based sequence transduction neural networks(基于注意力的序列转导神经网络)”的美国专利No.10,452,978中讨论,其全部公开内容通过引用并入本文中。在一个示例中,机器学习模型可以基于文本到文本转换的T5。
可以训练机器学习模型以标识电子邮件题绪中的关键点,并且从电子邮件题绪提取问题和那些问题的回答。可以进一步训练机器学习模型以将问题映射到相关回答,即确定哪个回答对应于哪个问题。
仅通过示例的方式,在图2中呈现转换器架构。具体来说,图2的系统200可由一个或多个位置中的一个或多个计算机的处理器实施为计算机程序。系统200接收输入序列202并且处理输入序列202以将输入序列202转导成输出序列204。输入序列202在输入次序中的多个输入位置中的每一个处具有相应网络输入,并且输出序列204在输出次序中的多个输出位置中的每一个处具有相应网络输出。
系统200可以执行需要处理顺序输入以生成顺序输出的多种任务中的任一种。系统200包括基于注意力的序列转导神经网络206,基于注意力的序列转导神经网络又包括编码器神经网络208和解码器神经网络210。编码器神经网络208被配置成接收输入序列202并且生成输入序列中的每个网络输入的相应编码表示。编码表示是向量或其它有序的数值集合。然后,解码器神经网络210被配置成使用网络输入的编码表示来生成输出序列204。通常,编码器208和解码器210两者都是基于注意力的。在一些情况下,编码器或解码器都不包括任何卷积层或任何循环层。编码器神经网络208包括嵌入层(输入嵌入)212和一个或多个编码器子网络214的序列。编码器神经网络208可以具有N个编码器子网络214。
对于输入序列中的每个网络输入,嵌入层212被配置成将网络输入映射到嵌入空间中的网络输入的数值表示,例如,映射到嵌入空间中的向量。嵌入层212然后将网络输入的数字表示提供给编码器子网络214的序列中的第一子网络。嵌入层212可以被配置成将每个网络输入映射到网络输入的嵌入表示,并且然后将网络输入的嵌入表示与输入次序中的网络输入的输入位置的位置嵌入组合,例如求和或平均,以生成网络输入的组合的嵌入表示。在一些情况下,学习位置嵌入。如本文所使用,“学习”意味着在序列转导神经网络206的训练期间已经调整操作或值。在其它情况下,位置嵌入可以是固定的并且对于每个位置不同。
然后将组合的嵌入表示用作网络输入的数字表示。编码器子网络214中的每一个被配置成接收多个输入位置中的每一个的相应编码器子网络输入,并且生成多个输入位置中的每一个的相应子网络输出。由序列中的最后一个编码器子网络生成的编码器子网络输出然后用作网络输入的编码表示。对于序列中的第一编码器子网络,编码器子网络输入是由嵌入层212生成的数字表示,并且对于除了序列中的第一编码器子网络之外的每个编码器子网络,编码器子网络输入是序列中的前一个编码器子网络的编码器子网络输出。
每个编码器子网络214包括编码器自注意力子层216。编码器自注意力子层216被配置成接收多个输入位置中的每一个的子网络输入,并且对于输入次序中的每个特定输入位置,使用从特定输入位置处的编码器子网络输入导出的一个或多个查询,在输入位置处对编码器子网络输入应用注意力机制,以生成特定输入位置的相应输出。在一些情况下,注意力机制是如图所示的多头注意力机制。在一些实施方案中,编码器子网络214中的每一个还可以包括:残余连接层,所述残余连接层将编码器自注意力子层的输出与编码器自注意力子层的输入组合,以生成编码器自注意力残余输出;以及层归一化层,所述层归一化层将层归一化应用于编码器自注意力残余输出。这两个层在图2中统称为“添加和归一化”操作。
一些或全部编码器子网络还可以包括逐位置前馈层218,所述逐位置前馈层被配置成分别对输入序列中的每个位置进行操作。具体来说,对于每个输入位置,前馈层218被配置成接收输入位置处的输入并且将转换序列应用于输入位置处的输入以生成输入位置的输出。当包括残余和层归一化层时,由逐位置前馈层218接收的输入可以是层归一化层的输出,或者当不包括残余和层归一化层时,所述输入可以是编码器自注意力子层216的输出。对于每个输入位置,由层218应用的转换通常是相同的(但不同子网络中的不同前馈层可以应用不同转换)。
在编码器子网络214包括如所示的逐位置前馈层218的情况下,编码器子网络还可以包括:残余连接层,所述残余连接层将逐位置前馈层的输出与逐位置前馈层的输入组合,以生成编码器逐位置残余输出;以及层归一化层,所述层归一化层将层归一化应用于编码器逐位置残余输出。如上所述,这两个层也统称为“添加和归一化”操作。此层归一化层的输出然后可以用作编码器子网络214的输出。
一旦编码器神经网络208已经生成编码表示,解码器神经网络210被配置成以自回归方式生成输出序列。也就是说,通过以(i)解码表示和(ii)在输出次序中的输出位置之前的输出位置处的网络输出为条件在多个生成时间步长中的每一个处生成用于对应输出位置的网络输出,解码器神经网络210生成输出序列。具体来说,对于给定输出位置,解码器神经网络生成输出,所述输出定义在给定输出位置处的可能网络输出上的概率分布。然后,解码器神经网络可以通过从概率分布中采样或通过选择具有最高概率的网络输出来选择用于输出位置的网络输出。
因为解码器神经网络210是自动回归的,所以在每个生成时间步长,解码器网络210对在生成时间步长之前已经生成的网络输出,即,在输出次序中的对应输出位置之前的输出位置处的网络输出进行操作。在一些实施方案中,为了确保在推理和训练两者期间都是这种情况,在每个生成时间步长,解码器神经网络210将已经生成的网络输出右移一个输出次序位置(即,将一个位置偏移引入已经生成的网络输出序列)和(如将在下面更详细地描述)屏蔽某些操作,使得位置可以仅关注输出序列中直到并包括所述位置的位置(而不是后续位置)。尽管以下描述的其余部分描述当在给定输出位置处生成给定输出时,解码器210的各种组件对在给定输出位置之前的输出位置处的数据(而不对在任何其它输出位置处的数据)进行操作,但是应理解,这种类型的调节可以使用移位有效地实施。
解码器神经网络210包括嵌入层(输出嵌入)220、解码器子网络222的序列、线性层224和softmax层226。具体来说,解码器神经网络可以包括N个解码器子网络222。然而,尽管图2的示例示出包括相同数目的子网络的编码器208和解码器210,但是在一些情况下,编码器208和解码器210包括不同数目的子网络。嵌入层220被配置成在每个生成时间步长,对于在输出次序中的当前输出位置之前的输出位置处的每个网络输出,将网络输出映射到嵌入空间中的网络输出的数字表示。嵌入层220然后将网络输出的数字表示提供给解码器子网络序列中的第一子网络222。
在一些实施方案中,嵌入层220被配置成将每个网络输出映射到网络输出的嵌入表示,并且将网络输出的嵌入表示与输出次序中的网络输出的输出位置的位置嵌入组合,以生成网络输出的组合的嵌入表示。然后将组合的嵌入表示用作网络输出的数字表示。嵌入层220以与上面参考嵌入层212描述的相同方式生成组合的嵌入表示。
每个解码器子网络222被配置成在每个生成时间步长,接收用于在对应输出位置之前的多个输出位置中的每一个的相应解码器子网络输入,并且生成用于在对应输出位置之前的多个输出位置中的每一个的相应解码器子网络输出(或等效地,当输出序列已右移时,在直到并包括当前输出位置的位置处的每个网络输出)。具体来说,每个解码器子网络222包括两个不同的注意力子层:解码器自注意力子层228和编码器-解码器注意力子层230。每个解码器自注意力子层228被配置成在每个生成时间步长,接收用于在对应输出位置之前的每个输出位置的输入,并且对于特定输出位置中的每一个,使用从特定输出位置处的输入导出的一个或多个查询将注意力机制应用于对应位置之前的输出位置处的输入,以生成特定输出位置的更新表示。也就是说,解码器自注意力子层228应用屏蔽的注意力机制,使得它不注意或以其它方式处理不在输出序列中的当前输出位置之前的位置处的任何数据。
另一方面,每个编码器-解码器注意力子层230被配置成在每个生成时间步长,接收用于在对应输出位置之前的每个输出位置的输入,并且对于输出位置中的每一个,使用从输出位置的输入导出的一个或多个查询将注意力机制应用于输入位置处的编码表示,以生成输出位置的更新表示。因此,编码器-解码器注意力子层230将注意力应用于编码表示,同时解码器自注意力子层228将注意力应用于输出位置处的输入。
在图2的示例中,解码器自注意力子层228示为在解码器子网络222内的处理次序中在编码器-解码器注意力子层之前。然而,在其它示例中,解码器自注意力子层228可以在解码器子网络222内的处理次序中在编码器-解码器注意力子层230之后,或者不同子网络可以具有不同处理次序。在一些实施方案中,每个解码器子网络222包括在解码器自注意力子层228之后、在编码器-解码器注意力子层230之后,或在两个子层中的每一个之后的残余连接层,所述残余连接层将注意力子层的输出与注意力子层的输入组合以生成残余输出;层归一化层,所述层归一化层将层归一化应用于残余输出。这两个层插入两个子层中的每一个之后,两者都称为“添加和归一化”操作。
一些或全部解码器子网络222还包括逐位置前馈层232,所述逐位置前馈层被配置成以与来自编码器208的逐位置前馈层218类似的方式操作。具体来说,层232被配置成在每个生成时间步长:对于对应输出位置之前的每个输出位置,接收输出位置处的输入并且将转换序列应用于输出位置处的输入以生成输出位置的输出。当包括残余和层归一化层时,由逐位置前馈层232接收的输入可以是层归一化层(在子网络222中的最后一个注意力子层之后)的输出,或者当不包括残余和层归一化层时,所述输入可以是子网络222中的最后一个注意力子层的输出。在解码器子网络222包括逐位置前馈层232的情况下,解码器子网络还可以包括:残余连接层,所述残余连接层将逐位置前馈层的输出与逐位置前馈层的输入组合,以生成解码器逐位置残余输出;以及层归一化层,所述层归一化层将层归一化应用于解码器逐位置残余输出。这两个层也被统称为“添加和归一化”操作。此层归一化层的输出然后可以用作解码器子网络222的输出。
在每个生成时间步长,线性层224将学习的线性转换应用于最后一个解码器子网络222的输出,以便将最后一个解码器子网络222的输出投射到适当空间中,以供softmax层226处理。softmax层226然后将softmax函数应用于线性等224的输出,以在生成时间步长生成在可能的网络输出上的概率分布(输出概率)234。解码器210然后可以使用概率分布从可能的网络输出中选择网络输出。
可以使用大量的人类语言数据训练机器学习模型。在一个示例中,机器学习模型可以使用适合所需风格的特定示例摘要进行训练。例如,训练数据可以包括在每个电子邮件题绪的末尾具有所需摘要的电子邮件题绪。可以手动地准备所需摘要。
在另一示例中,机器学习模型可以使用通用示例进行训练。例如,机器学习模型可以用通用电子邮件文本题绪和在末尾标识电子邮件题绪中的问题和对应回答的摘要进行训练。
在另一示例中,机器学习模型可以使用无监督数据进行训练。例如,参考图3A的示例300,处理器102可以生成电子邮件题绪304中标识电子邮件题绪304中的问题和回答的摘要302,并且在最后提供调查306以收集来自电子邮件题绪的接收者的实时反馈。如果接收者认为已经回答问题,则调查306可以提示接收者回答。
调查306还可以呈现一个或多个输入字段308,以供接收者输入他/她的关于每个所标识回答的想法。例如,接收者可以在输入字段308中输入诸如“this answer is notrelevan(这个回答不相关)”或“this answer is wrong(这个回答错误)”的评论。接收者可以点击提交按钮310来提交调查结果。处理器102可以对接收者的反馈执行自然语言处理,并且基于接收者的反馈更新电子邮件题绪的摘要。
如图3B的示例320中所示,在电子邮件题绪322包括多个问题和回答的情况下,可以呈现GUI中的单独窗格323以在显示装置上显示摘要信息。此处,电子邮件题绪摘要324可以包括调查326,所述调查可以提示接收者指示每个检测到的回答是否可接受。对于每个检测到的回答,摘要326显示选项,诸如复选框328,以供接收者接受或拒绝回答。当标识与同一问题相关的多个回答时,摘要324可以请求接收者选择或标志应该接受哪个或哪些回答。当例如通过提交按钮330提交调查时,如果在复选框中未选择回答,则所述回答可能被视为拒绝、错误或不适当。另一方面,如果在复选框中选择回答,则所述回答可以被视为接受。
一旦提交调查结果,处理器102可以基于调查结果自动地更新摘要。处理器102可以通过移除拒绝的回答并且仅保留接受的回答来更新电子邮件题绪的摘要。例如,如图4中所示,更新的摘要418可以视觉地指示哪些回答已被接受。
在另一示例中,如果问题具有一个潜在回答,则一旦接收者指示潜在回答错误,则处理器102可以通过指示问题保持未决来更新电子邮件题绪的摘要。
在一个场境中,机器学习模型可以使用在图2和3中提交的调查结果中的任一个进行训练。
在另一示例中,参考图5,处理器102可以生成电子邮件题绪516的摘要,以可编辑形式将摘要呈现给接收者,使得接收者可以通过经由给他们的GUI手动地编辑摘要,如通过可编辑字段552所示。在完成后,接收者可以通过点击提交按钮560来提交编辑的摘要。处理器102可以被配置成将更新的摘要存储在存储器104中。编辑的摘要可以用作训练数据来训练机器学习模型。
在一个示例中,处理器102可以一次处理来自电子邮件题绪的一封电子邮件。当新电子邮件到达时,处理器102可以从电子邮件中检测新问题,并且从电子邮件中检测新回答。存储器104可以包括多个电子邮件题绪的摘要的现有语料库。处理器102可以标识与新电子邮件相关联的电子邮件题绪的现有摘要。现有摘要可以包括最新的电子邮件题绪的问题、回答和关键点。处理器102可以确定是否需要对现有摘要进行任何更新。例如,处理器102可以更新摘要以反映以下中的一个或多个:任何新检测到的问题、对任何现有问题做出响应的任何新回答、要旨、利益相关者和动作项,以及其它可能性。随着电子邮件题绪的继续,电子邮件题绪的摘要可能继续演变直到电子邮件题绪结束。
在一个示例中,处理器102可以被配置成基于以下中的一个或多个来映射电子邮件题绪中的问题和回答:至少一个不常见或独特的词,诸如产品名称、至少一个独特的字符或字符的组合,或至少一个独特的表情符号或表情符号的组合。例如,常见词、常见字符或常见表情符号的串联可以创建独特的词。
在一个示例中,处理器102可以基于内容相关性将回答映射到问题。在另一示例中,处理器102可以基于数字标识将回答映射到问题,其中通过相同数字标识任何问题以及其对应回答。参考图6,电子邮件题绪616中的问题可以由数字标识。问题的对应回答可能引用标识问题的相同数字。因此,处理器102生成电子邮件题绪616的摘要618,其中基于数字标识将回答映射到问题。
在又另一示例中,处理器102可以基于任何问题与其对应回答之间的接近度而将回答映射到问题。例如,参考图7,在电子邮件题绪716中,可以在具有问题的较早电子邮件内容中提供内嵌回答。处理器102可以基于它们的紧密接近度而映射问题和回答,并且相应地生成电子邮件题绪的摘要718。此处,通过示例的方式,紧密接近度可以在题绪中的2或3个其它顺序消息内,不超过题绪中的5个消息内,或一些其它数目的消息内。
在另一实例中,可以将来自较早电子邮件内容的问题复制并粘贴到新电子邮件中,并且可以紧邻问题提供回答,如在图8的电子邮件题绪816中所示。处理器102可以基于它们的紧密接近度而映射问题和回答,并且相应地生成摘要818。
另外,处理器102可以被配置成基于以下中的一个或多个来映射电子邮件题绪中的问题和回答:具有因果关系的字符的接近,以及具有因果关系的相邻电子邮件的标识。例如,如果新的电子邮件不包括任何问题,而先前电子邮件具有问题,则处理器102可以确定电子邮件之间的因果关系。在该实例中,新的电子邮件中的内容可以被视为与问题具有因果关系。因此,新的电子邮件中的内容可以被视为先前电子邮件中的问题的回答。在一个示例中,处理器102可以例如基于彼此具有因果关系的字符的接近度而根据启发式方法将回答映射到问题。
在另一示例中,可以通过标记或注释来标识电子邮件题绪的问题和回答。
当向接收者显示时,电子邮件题绪摘要可以视觉地指示任何检测到的问题,以及对问题做出响应的任何潜在回答。可以以与电子邮件题绪的其余内容不同的方式视觉地指示检测到的问题和回答。摘要还可以视觉地指示电子邮件题绪中没有任何对应回答的任何问题。
例如,参考图1,可以经由第一横幅137视觉地指示检测到的问题。第一横幅137可以位于检测到的问题周围。还可以经由第二横幅138视觉地指示对问题做出响应的回答。另一横幅139可以用于指示未回答的问题。已回答问题、回答和未回答问题的横幅可以不同。例如,对于已回答问题,横幅137可以是向下丝带。对于未回答问题,横幅139可以是弯曲的向下丝带。对于回答,横幅138可以是向上丝带。
可以在摘要区域中显示标志,以指示电子邮件题绪的状态。例如,如果摘要标识任何未回答问题和/或未决动作项,则可以在如图1中所示的摘要中显示警报标记130。在回答所有问题,和/或不存在任何未决动作项的情况下,可以在如图4中所示的摘要中显示翘拇指标志430。
在一个示例中,处理器102可以被配置成在如图1中所示的运行小部件140中显示电子邮件题绪的摘要。在电子邮件题绪正在进行时,或者甚至在电子邮件题绪结束时,电子邮件题绪的接收者可以随时访问运行小部件。在一个示例中,每当接收者查看任何电子邮件题绪116时,运行小部件140可以被显示在右手侧上。
替代地,参考图9,处理器102可以将电子邮件题绪916的摘要918作为单独的摘要电子邮件发送(或作为文本或其它通知发送到一个或多个用户)。
在一个示例中,如果在电子邮件题绪上存在活动,诸如新的电子邮件到达,则处理器102可以基于电子邮件题绪上的活动而更新电子邮件题绪的摘要918。摘要可以指示仍未回答的任何未决问题。
一旦处理器102确定电子邮件题绪已经结果,处理器102可以发送电子邮件格式的摘要,并且指示电子邮件题绪中的任何未回答问题或动作项。处理器102可以通过摘要通知接收者重新访问电子邮件题绪,以解决任何未回答问题(或可能受益于澄清的回答的问题)。
如果已回答每个问题并且电子邮件题绪不活动,则处理器102可以发出电子邮件题绪的摘要,指示已经讨论的所有内容。此处,非活动题绪可以包括在选定时间量内没有活动的题绪。这可以是一天或几天、一周或几周、一个月或几个月等。选定时间量可以取决于题绪的类型。例如,在电子邮件题绪中,可以在1或2周之后确定不活动,而在文本题绪或在线消息题绪中,可以在1至3天(或更多)或甚至不到24小时之后确定不活动。
在任何不活动的电子邮件题绪再次变为活动的情况下,处理器102可以从存储器检索电子邮件题绪的摘要,随着电子邮件题绪增长更新摘要,并且将更新的摘要存储到存储器。
在另一示例中,处理器102可以以定期基础诸如以每天基础以电子邮件、文本、聊天或其它格式发送电子邮件题绪的摘要,直到电子邮件题绪已经结束。在不活动的电子邮件题绪再次变为活动的情况下,处理器102可以开始以定期基础发送电子邮件题绪的摘要,直到电子邮件题绪再次变为不活动。
在一个示例中,处理器102可以被配置成基于以下中的至少一个或多个而确定电子邮件题绪的末尾或结论:电子邮件题绪的不活动时段和电子邮件题绪中的最终电子邮件的情绪分析。在一个示例中,处理器102可以基于电子邮件中呈现的表情符号或图形来执行情绪分析。
此外,响应于触发事件,处理器102可以发出电子邮件题绪的摘要。触发可以是自动的和/或手动的。例如,当系统标识已经在电子邮件中提出新问题并且以可定制的节奏生成通知时(例如,每日批处理、每次更新问题/电子邮件题绪等),触发可以是自动的。用户还可以通过用户输入手动地调用此功能,用户输入指示处理器总结电子邮件,其中结果表明发现哪些未决问题和关闭问题以及需要采取的行动,或者空白结果表明未找到任何问题。
参考图10,在一个示例中,处理器102可以标识至少一个分叉电子邮件题绪1016b,所述分叉电子邮件题绪具有与原始电子邮件题绪1016a的原始主题实质上不同的主题。处理器102可以基于在原始电子邮件题绪1016a的根电子邮件1017中呈现的原始内容而确认原始主题。处理器102可以通过确定呈现在其中的内容是否实质上偏离原始主题来标识分叉电子邮件题绪1016b。处理器102又可以为每个分叉电子邮件题绪生成个体摘要1018b。例如,分叉电子邮件题绪1016b的摘要1018b可以包括出现在分叉电子邮件题绪中的所有问题和回答。不同分叉电子邮件题绪可以包含不同的问题和回答,这些问题和回答相应地反映在分叉电子邮件题绪的个体摘要中。每个分叉电子邮件题绪的接收者可以是原始电子邮件题绪的接收者的子集,或者可以是与原始电子邮件题绪的接收者完全不同的群组。在一个示例中,处理器102可以被配置成输出以向每个分叉电子邮件题绪的一个或多个接收者显示每个分叉电子邮件题绪的所生成摘要。当题绪上的电子邮件地址集减少时,当呈现特定文本指示符时(例如“-Alice”或“Removing people from thread(从题绪中删除人员)”)两者,系统都可以检测到分叉。根据一个方面,将新的人员添加到题绪不会导致分叉。然而,可能存在移除一个或多个个体,然后将他们添加回题绪的情况。在这种实例中,可能存在临时分叉,并且如果发生这种情况,可以重新组合题绪。
关于原始电子邮件题绪1016a的摘要1018a,处理器102可以更新所述摘要1018a以指示源自其的任何分叉电子邮件题绪。例如,原始电子邮件题绪1016a的摘要1018a可以标识任何分叉电子邮件题绪,所述分叉电子邮件题绪具有与原始电子邮件题绪的原始主题偏离的不同主题。原始电子邮件题绪1016a的摘要1018a可以排除出现在分叉电子邮件题绪1016b中的问题和回答。
参考图11,系统100可以是邮件交换服务器1100的一部分。在一个示例中,邮件交换服务器1100可以是outlook邮件交换服务器。邮件交换服务器可以是公司1102的本地化邮件交换服务器,使得系统可以总结由公司的任何雇员1110编写或接收的任何电子邮件题绪。替代地,系统100可以是另一类型的通信服务的一部分,诸如聊天或文本服务,或在线消息传递平台。
参考图12,在一个示例中,可以在自组织基础上处置电子邮件题绪的总结。响应于请求电子邮件,处理器102可以被配置成生成电子邮件题绪的摘要。处理器102可以发送电子邮件题绪的所生成摘要作为对请求电子邮件的回复。例如,如果用户希望接收电子邮件题绪的摘要,则用户可以将电子邮件题绪转发到特定的预定电子邮件地址,诸如summarizer@sample.com,或者将以上电子邮件地址复制到电子邮件题绪上,如图12中所示。每当在这个电子邮件地址summarizer@sample.com接收到此请求时,处理器102可以通过检测电子邮件题绪中的问题和回答来生成电子邮件题绪1216的摘要1218。处理器102可以将电子邮件题绪的所生成摘要1218发送到用户,或电子邮件题绪的一个或多个接收者,或者发送所生成摘要作为对电子邮件题绪的回复。
在另一示例中,如果用户希望接收多个电子邮件题绪的聚合摘要,则用户可以将这些电子邮件题绪转发到特定的预定电子邮件地址,诸如summarizer@sample.com。每当在这个电子邮件地址summarizer@sample.com接收到此请求时,处理器102可以通过检测每个电子邮件题绪中的问题和回答来生成每个电子邮件题绪的摘要。处理器102可以聚合每个电子邮件题绪的摘要。聚合摘要可以包括在每个电子邮件题绪中的问题和回答。处理器102可以将聚合摘要发送到用户,或电子邮件题绪的一个或多个接收者,或者发送聚合摘要作为对用户请求的回复。例如,用户可以将多个电子邮件题绪附加到电子邮件,每个题绪可能具有在产品XYZ阶段部署时发生的不同错误,并将电子邮件发送到summarizer@sample.com。处理器102可以生成聚合摘要,所述聚合摘要标识在所有附加的电子邮件题绪中呈现的所有问题和回答。
在一个示例中,处理器102可以被配置成基于它们的主题关联多个电子邮件题绪。如果题绪的摘要和相应所有者在很大程度上重叠,则系统可以推荐个人电子邮件内重叠的题绪,并允许他们将电子邮件对话和摘要合并到单个题绪中。通过示例的方式,显著重叠可以包括至少25%至50%的所有者重叠。
在一个示例中,处理器102可以被配置成基于它们的主题合并多个电子邮件题绪。处理器102可以标识与相同主题相关的多个电子邮件题绪。此类电子邮件题绪可能被视为合并的。在一个示例中,处理器102可以提示用户指示如何处置合并的电子邮件题绪。在一个示例中,处理器102可以将合并的电子邮件题绪组合成巨大电子邮件题绪。在另一示例中,当在一个合并的电子邮件题绪中提交回复时,处理器102可以向合并的电子邮件题绪中的至少一个或所有其余电子邮件题绪发送相同的回复。
图13示出说明用于管理电子邮件题绪的过程的流程图。在1302处,存储器可以存储多个电子邮件题绪的摘要。在1304处,处理器102可以检测电子邮件题绪中的至少一个问题。在1306处,处理器102可以确定电子邮件题绪是否包括对至少一个问题做出响应的至少一个回答。在1308处,处理器102可以基于至少一个问题的检测和至少一个回答的确定而生成电子邮件题绪的摘要。在1310处,处理器102可以输出以向电子邮件题绪的接收者显示电子邮件题绪的摘要。摘要可以视觉地指示检测到的至少一个问题。摘要可以视觉地指示对至少一个问题做出响应的至少一个回答。可以以与电子邮件题绪的其余内容不同的方式视觉地指示检测到的至少一个问题和至少一个回答。
上述总结技术可以扩展到其它应用,诸如总结电子邮件题绪、会议纪要、讨论组交流以及其它可能性。
图14说明用于总结任何通信的内容的示例性系统1400。通信可能是复杂的和非结构化的,例如,包括许多回复。例如,通信可以是例如在具有复杂、多层结构的论坛中的通信题绪。通信的示例可以包括电子邮件题绪、讨论组交流和论坛题绪、语音对话和会议记录,以及其它可能性。
系统1400可以实施与系统100相同或相似的总结技术。例如,系统1400可以包括一个或多个处理器1402。处理器1402可以被配置成检测对话1416中的问题。对话可以从以下中的一个或多个中导出:论坛题绪、电子邮件题绪、会议记录、讨论组交流和语音对话。
处理器1402可以确定对话是否包括对问题做出响应的任何回答。处理器102可以总结对话中的问题和回答。处理器102可以基于检测到的问题和回答而生成对话的摘要1418。摘要1418可以包括对话的要旨1420、对话中讨论的问题1422和对应回答1426。处理器102可以以用户友好的方式输出以显示对话的摘要1418。摘要1418可以以与对话的其余内容不同的方式视觉地指示检测到的问题和回答。
在一个示例中,处理器1402可以被配置成在小部件1440中显示对话的摘要。或者,处理器1402可以发送对话的摘要作为单独的摘要电子邮件。例如,当用户浏览论坛题绪时,用户可以经由小部件1402或通过请求摘要电子邮件随时查看题绪的摘要。
在另一示例中,如果问题和回答出现在会议或视频会议中,则处理器1402可以被配置成执行音频或视频处理,生成会议的转录并且通过分析转录生成会议的摘要。会议的摘要可以包括问题和回答的对。例如,处理器102可以在第一时间戳,诸如以2分钟标志,标识发言者提出的问题,并且在第二时间戳,诸如以4分钟标志,标识第二发言者提出的问题的回答。处理器102可以基于时间、关键词和发言者标识问题的回答。例如,如果第二发言者在2分钟标志后立即使用与第一发言者相同的关键词发言,则第二发言人所呈现的内容可以被视为对问题的回答。如果可用,则摘要还可以包括发言者的姓名或其它标识符,诸如给定发言者的化身或其它标记,以及他们或其他人过去回答(包括在其它视频、电子邮件中或其它)的类似问题或回答作为参考/先例。
图15A说明示出用于注释和总结电子邮件题绪或电子邮件链的示例机器学习过程的示例流程图,其可以用于训练(或更新或验证)模型。一个或多个处理器(例如,处理器102或1402)可以接收电子邮件链1502,并且经由以下方法中的任何组合注释问题以及其回答,如图15B和15C中所说明:标记示例(注释)1504、机器学习1506或启发法1508。启发法1508可以包括编号的项目符号。机器学习1506可以使用启发法1508的输出和标记的示例1504作为训练来改进。可以从方法生成带注释的电子邮件链1510。基于带注释的电子邮件链1510,处理器102、1402可以使用一个或多个总结技术1512来创建逐项摘要1514。在图15D中说明示例逐项摘要1514。可以采用通用LLM,诸如T5。可以使用其它总结技术对LLM进行微调。此数据可以用于训练端到端(E2E)模型,所述E2E模型执行从电子邮件链1502到逐项摘要1514的图15A中所说明的过程。
图15B示出电子邮件题绪的示例带注释的初始电子邮件1520,并且图15C说明回复图15B的初始电子邮件1520的示例带注释的响应1540。初始电子邮件1520可以包括Question_1、Question_2和Action Item,其中每一个可以用不同颜色的框注释。例如,Question_1可以用第一框1522注释,Question_2可以用第二框1524注释,并且Action Item可以用第三框1526注释,其中每一个可以具有不同颜色、阴影或填充以区分或突出它们。它们的对应回答可以用具有相同特性的框注释。例如,在响应1540中,Question_1的部分回答可以用第一框1542注释,并且Question_2的回答可以用第二框1544注释。新问题Question_3可以用第三框1546注释,所述第三框可以具有与其它框不同的外观。
图15D说明通过训练模型生成的图15B和图15C的电子邮件题绪的示例逐项摘要1514。摘要1514可以标识在电子邮件题绪中提出的问题、如果有它们的对应回答以及任何动作项以及其相关摘要。一旦生成,则可以将逐项摘要提供到题绪中的一个或多个参与者。
系统100、1400可以是基于云的服务器系统。存储器104、1404可以是数据库,所述数据库存储可由一个或多个处理器102、1402访问的信息,包括但不限于:可以由处理器执行或以其它方式由处理器使用的指令和数据(例如,机器翻译模式、电子邮件题绪摘要的语料库信息和/或对话的摘要)。存储器可以是能够存储处理器可访问的信息的任何类型,包括计算装置可读介质。存储器是非暂时性介质,诸如硬盘驱动器、存储卡、光盘、固态盘等。系统可以包括前述的不同组合,由此指令和数据的不同部分存储在不同类型的介质上。指令可以是由处理器直接执行的任何指令集(诸如机器代码),或间接执行的任何指令集(诸如脚本)。例如,指令可以作为计算装置代码存储在计算装置可读介质上。在这方面,术语“指令”、“模块”和“程序”在本文中可以互换地使用。指令可以以目标代码格式存储以供处理器直接处理,或者以任何其它计算装置语言存储,包括按需解释或预先编译的独立源代码模块的脚本或集合。
处理器102、1402可以是任何常规处理器,诸如商业可获得的GPU、CPU、TPU等。替代地,每个处理器可以是专用装置,诸如ASIC或其它基于硬件的处理器。尽管图1和14在功能上将处理器、存储器说明为在同一框内,但是此类装置实际上可以包括可以或可以不存储在同一物理外壳内的多个处理器、计算装置,或存储器。类似地,存储器可以是位于与例如云计算系统中的处理器的外壳不同的外壳中的硬盘驱动器或其它存储介质。因此,对处理器或计算装置的参考将被理解为包括对可以或不可以并行运行的处理器或计算装置或存储器的集合的参考。处理器102、1402可以经由网络108、1408访问存储器104、1404。
用户装置112、1412可以包括计算系统和/或台式计算机。其它类型的用户装置112、1412包括平板计算机、上网本或其它类型的膝上型计算机、移动电话、可穿戴计算装置(例如,智能手表或头戴式显示装置)等。用户装置112、1412可以包括通常与诸如上述处理器和存储器的计算装置以及用于接收来自用户的输入并向用户呈现信息(例如,文本、图像和/或其它图形元素)的用户界面子系统结合使用的所有组件。用户接口子系统可以包括一个或多个用户输入(例如,至少一个前置(用户)摄像头、鼠标、键盘、触摸屏和/或麦克风)和一个或多个显示装置(例如,具有屏幕的监视器或可操作以显示信息(例如,文本、图像和/或其它图形元素)的任何其它电气装置)。诸如扬声器的其它输出装置还可以向用户提供信息。
系统100、1400可以经由一个或多个网络108、1408与用户装置112、1412通信。网络可以包括各种配置和协议,包括短程通信协议,诸如蓝牙TM、蓝牙LETM、互联网、万维网、内联网、虚拟专用网络、广域网、本地网络、使用一个或多个公司专有的通信协议的专用网络、以太网、Wi-Fi和HTTP,以及上述的各种组合。这种通信可以由能够向和从诸如调制解调器和无线接口的其它计算装置传输数据的任何装置促进。
尽管已经参考特定实施例描述本文中的技术,但是应当理解,这些实施例仅说明本技术的原理和应用。因此,应当理解,可以对说明性实施例进行多种修改并且可以设计其它布置,而不偏离由所附权利要求限定的本技术的精神和范围。
Claims (24)
1.一种用于管理消息题绪的系统,包括:
存储器,所述存储器被配置成存储多个消息题绪的摘要;以及
一个或多个处理器,所述一个或多个处理器被配置成:
检测消息题绪中的至少一个问题;
确定所述消息题绪是否包括对所述至少一个问题做出响应的至少一个回答;
基于所述至少一个问题的所述检测和所述至少一个回答的所述确定而生成所述消息题绪的摘要;以及
输出以向所述消息题绪的接收者显示所述消息题绪的所述摘要,包括:
视觉地指示检测到的所述至少一个问题;以及
视觉地指示对所述至少一个问题做出响应的所述至少一个回答,
其中,以与所述消息题绪的其余内容不同的方式视觉地指示检测到的所述至少一个问题和所述至少一个回答。
2.根据权利要求1所述的系统,其中,经由横幅视觉地指示检测到的所述至少一个问题。
3.根据权利要求1所述的系统,其中,经由横幅视觉地指示对所述至少一个问题做出响应的所述至少一个回答。
4.根据权利要求1所述的系统,其中,所述摘要包括提示所述消息题绪的所述接收者以指示所述至少一个回答是否能够接受的调查。
5.根据权利要求4所述的系统,其中,所述摘要视觉地指示所述至少一个回答是否已被接受。
6.根据权利要求1所述的系统,其中,所述摘要视觉地指示所述消息题绪中没有任何对应回答的任何问题。
7.根据权利要求1所述的系统,其中,所述消息题绪是电子邮件题绪,并且所述一个或多个处理器被配置成在小部件中显示所述电子邮件题绪的所述摘要。
8.根据权利要求1所述的系统,其中,所述摘要被以允许所述接收者更新所述摘要的可编辑方式向所述接收者显示,并且其中所述一个或多个处理器被配置成将所更新的摘要存储在所述存储器中。
9.根据权利要求1所述的系统,其中,所述摘要标识以下中的一个或多个:询问所述至少一个问题的一方、提供对所述至少一个问题做出响应的所述至少一个回答的一方、由所述消息题绪产生的至少一个动作项,以及负责所述至少一个动作项的一方。
10.根据权利要求1所述的系统,其中,所述摘要标识至少一个分叉消息题绪,所述分叉消息题绪具有与所述消息题绪的原始主题不同的主题。
11.根据权利要求1所述的系统,其中,所述一个或多个处理器被配置成基于以下一项或多项来映射所述消息题绪中的问题和回答:至少一个不常见的词、至少一个独特的字符以及至少一个独特的表情符号组合。
12.根据权利要求1所述的系统,其中,所述一个或多个处理器被配置成基于以下一项或多项来映射所述消息题绪中的问题和回答:数字标识,其中任何问题以及其对应回答由相同数字标识;任何问题与其对应回答之间的接近度;具有因果关系的字符的接近度;以及具有因果关系的相邻电子邮件的标识。
13.根据权利要求1所述的系统,其中,所述一个或多个处理器被配置成基于以下一项或多项来确定所述消息题绪的结束:所述消息题绪的不活动时段以及所述消息题绪中的最终消息的情绪分析。
14.根据权利要求1所述的系统,其中,所述一个或多个处理器被配置成标识至少一个分叉消息题绪,所述分叉消息题绪具有与所述消息题绪的原始主题不同的主题。
15.根据权利要求14所述的系统,其中,所述一个或多个处理器被配置成生成所述至少一个分叉消息题绪中的每一个的摘要。
16.根据权利要求15所述的系统,其中,所述一个或多个处理器被配置成输出以向所述至少一个分叉消息题绪的接收者显示所述至少一个分叉消息题绪中的每一个的所生成的摘要。
17.根据权利要求1所述的系统,其中,所述消息题绪是电子邮件题绪,并且所述系统是邮件交换服务器的一部分。
18.根据权利要求1所述的系统,其中,所述一个或多个处理器进一步被配置成:
响应于请求消息,发起所述消息题绪中的所述至少一个问题的所述检测,以及
发送所述消息题绪的所生成的摘要作为对所述请求消息的回复。
19.根据权利要求1所述的系统,其中,所述一个或多个处理器进一步被配置成基于它们的主题关联多个消息题绪。
20.根据权利要求1所述的系统,其中,所述一个或多个处理器进一步被配置成基于它们的主题合并多个消息题绪。
21.根据权利要求20所述的系统,其中,所述一个或多个处理器进一步被配置成:
当在所合并的消息题绪中的一个中提交回复时,向所合并的消息题绪中的至少一个其余消息题绪发送相同的回复。
22.一种用于管理消息题绪的方法,所述方法包括:
由一个或多个处理器检测消息题绪中的至少一个问题;
由所述一个或多个处理器确定所述消息题绪是否包括对所述至少一个问题做出响应的至少一个回答;
由所述一个或多个处理器基于所述至少一个问题的所述检测和所述至少一个回答的所述确定而生成所述消息题绪的摘要;
由所述一个或多个处理器将所述消息题绪的所述摘要存储在存储器中;以及
由所述一个或多个处理器输出,以向电子邮件消息的接收者显示所述消息题绪的所述摘要,包括:
视觉地指示检测到的所述至少一个问题;以及
视觉地指示对所述至少一个问题做出响应的所述至少一个回答,
其中,以与所述消息题绪的其余内容不同的方式视觉地指示检测到的所述至少一个问题和所述至少一个回答。
23.一种用于总结通信应用的内容的系统,包括:
一个或多个处理器,所述处理器被配置成:
检测与所述通信应用相关联的对话中的至少一个问题;
确定所述对话是否包括对所述至少一个问题做出响应的至少一个回答;
基于所述至少一个问题的所述检测和所述至少一个回答的所述确定而生成所述对话的摘要;以及
输出以显示所述对话的所述摘要,包括:
视觉地指示检测到的所述至少一个问题;以及
视觉地指示对所述至少一个问题做出响应的所述至少一个回答,
其中,以与所述对话的其余内容不同的方式视觉地指示检测到的所述至少一个问题和所述至少一个回答。
24.根据权利要求23所述的系统,其中,所述对话从以下一项或多项中导出:论坛题绪、电子邮件题绪、计算机化会议记录、消息组交流、语音对话以及视频会议。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/745,197 US20230370410A1 (en) | 2022-05-16 | 2022-05-16 | Email Summary and Completion Check |
US17/745,197 | 2022-05-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115578060A true CN115578060A (zh) | 2023-01-06 |
Family
ID=83691185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211203121.7A Pending CN115578060A (zh) | 2022-05-16 | 2022-09-29 | 电子邮件摘要和完成检查 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230370410A1 (zh) |
EP (1) | EP4280138A1 (zh) |
CN (1) | CN115578060A (zh) |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090157819A1 (en) * | 2007-12-12 | 2009-06-18 | Mark Carl Hampton | Live connection of email threads to discussion forum |
US8312095B2 (en) * | 2008-01-30 | 2012-11-13 | International Business Machines Corporation | Tracking interactive text-message communications |
US9116984B2 (en) * | 2011-06-28 | 2015-08-25 | Microsoft Technology Licensing, Llc | Summarization of conversation threads |
US10587539B2 (en) * | 2014-03-13 | 2020-03-10 | Microsoct Technology Licensing, LLC | Identifying relationships between message threads |
KR102448389B1 (ko) | 2017-05-23 | 2022-09-28 | 구글 엘엘씨 | 어텐션-기반의 시퀀스 변환 신경망 |
US10798029B2 (en) * | 2017-07-25 | 2020-10-06 | Freshworks, Inc. | System and apparatus for generation of multiple automated ephemeral chat messages |
US20190087391A1 (en) * | 2017-09-18 | 2019-03-21 | Microsoft Technology Licensing, Llc | Human-machine interface for collaborative summarization of group conversations |
US20190171693A1 (en) * | 2017-12-06 | 2019-06-06 | Microsoft Technology Licensing, Llc | Personalized presentation of messages on a computing device |
US10785185B2 (en) * | 2018-06-13 | 2020-09-22 | International Business Machines Corporation | Automated summary of digital group conversations |
US11240186B2 (en) * | 2019-05-22 | 2022-02-01 | Microsoft Technology Licensing, Llc | Identification of converged conversation threads |
US11683282B2 (en) * | 2019-08-15 | 2023-06-20 | Microsoft Technology Licensing, Llc | Method and system of synchronizing communications |
CN110855547B (zh) * | 2019-09-30 | 2022-06-10 | 华为终端有限公司 | 一种邮件合并方法及电子设备 |
US11914954B2 (en) * | 2019-12-08 | 2024-02-27 | Virginia Tech Intellectual Properties, Inc. | Methods and systems for generating declarative statements given documents with questions and answers |
US11657076B2 (en) * | 2020-04-07 | 2023-05-23 | American Express Travel Related Services Company, Inc. | System for uniform structured summarization of customer chats |
-
2022
- 2022-05-16 US US17/745,197 patent/US20230370410A1/en active Pending
- 2022-09-29 CN CN202211203121.7A patent/CN115578060A/zh active Pending
- 2022-10-12 EP EP22201086.0A patent/EP4280138A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4280138A1 (en) | 2023-11-22 |
US20230370410A1 (en) | 2023-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102478657B1 (ko) | 통신 및 콘텐츠로부터 확약 및 요청의 자동 추출 | |
JP6304345B2 (ja) | 電子会議システム | |
CN111641514B (zh) | 会议智能系统、用于会议智能的方法和存储介质 | |
US11063890B2 (en) | Technology for multi-recipient electronic message modification based on recipient subset | |
CN103635916B (zh) | 自动任务提取和日历条目 | |
US20180197088A1 (en) | Discovery, characterization, and analysis of interpersonal relationships extracted from unstructed text data | |
US20140379815A1 (en) | Aggregating message responses into topic-organized content | |
US11153532B1 (en) | Capturing and organizing team-generated content into a collaborative work environment | |
US20210342554A1 (en) | Automated narratives of interactive communications | |
US11765267B2 (en) | Tool for annotating and reviewing audio conversations | |
US20220156296A1 (en) | Transition-driven search | |
US10992488B2 (en) | System and method for an enhanced focus group platform for a plurality of user devices in an online communication environment | |
US20230129849A1 (en) | Smart workflow action-based checklist | |
CN115578060A (zh) | 电子邮件摘要和完成检查 | |
US20220254336A1 (en) | Method and system for enriching digital content representative of a conversation | |
US20230052123A1 (en) | System And Method For Creating An Intelligent Memory And Providing Contextual Intelligent Recommendations | |
US11989502B2 (en) | Implicitly annotating textual data in conversational messaging | |
US20230161778A1 (en) | Providing contact information and connection history with collaboration applications | |
US20230230586A1 (en) | Extracting next step sentences from a communication session | |
WO2023017528A1 (en) | System and method for creating an intelligent memory and providing contextual intelligent recommendations | |
US20230214782A1 (en) | Intelligent assistant that finds availability, coordinates and decides on meetings between 2 or more entities | |
WO2024118197A1 (en) | Generating summary data from audio data or video data in a group-based communication system | |
CN116579737A (zh) | 日程处理方法、装置、电子设备及存储介质 | |
JP2005056377A (ja) | コミュニケーション支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |