CN114503115A - 生成丰富的动作项目 - Google Patents

Abstract

提供计算机化系统用于自动地确定和提供诸如会议的事件的丰富的动作项目。通过基于上下文信息(诸如相关会议讨论)自动地修改或补充所述动作项目，可以首先确定动作项目，并且然后进行增强或澄清，以便更易于理解。通过确定动作项目的(一次或多次)出现的边界，可以通过澄清进一步增强动作项目，使得与所述动作项目无关或无助于用户理解的无关内容被淡化或排除向所述用户呈现。一些实施例包括具有用于接收用户反馈的功能的智能图形用户界面。所述反馈能够被用于重新配置逻辑单元，诸如机器学习模型，用于确定丰富的动作项目以提高准确性。

Description

生成丰富的动作项目

背景技术

计算机实现的技术能够辅助用户组织和完成任务，并且特别是执行由诸如会议的事件产生的动作项目。例如，一些技术(诸如任务列表或者待办事项列表应用)被配置为接收来自用户的手动输入，诸如会议记录、会议的主题或者会议的日期，并且在计算机存储器中存储所述输入，使得用户能够返回参考静态图形显示格式的信息。然而，除了需要来自用户的手动输入之外，这些技术的所存储的信息和用户界面功能也是受限的。通常，这样的解决方案不提供用于向用户智能地呈现动作项目的功能等。此外，计算技术的进步和现代计算设备的日益普及已经导致关于会议或事件的可用数据的急剧增加。但是常规的解决方案并没有跟上这些进步的步伐，并且也未能利用可用数据或者提供稳健的功能以便应对这些新挑战。

发明内容

提供该发明内容以简化的形式介绍对概念的选择，这些概念将在下文的具体实施方式中进一步描述。本发明内容并不旨在识别所要求保护的主题的关键特征或基本特征，也并不旨在用于辅助确定所要求保护的主题的范围。本公开的各方面涉及用于自动地确定和呈现诸如会议之类的事件的丰富的动作项目的计算机化系统。丰富的动作项目可以包括动作项目的指示和相关的会议内容或者对理解动作项目有用的上下文数据，并且其可以针对诸如会议出席者的特定用户而进行个性化。特别地，可以确定动作项目，并且然后进行增强或澄清，以便更易于理解。例如，一些实施例包括基于上下文信息来自动地修改或补充动作项目，诸如与动作项目相关的会议讨论，其可以在整个会议期间或者在先前的会议中发生，和/或外部数据，其例如可以位于事件出席者的用户设备上或者被存储在云中的公司服务器上。

另外，可以通过确定动作项目在会议对话中(一次或多次)出现的边界来自动地澄清动作项目，从而不强调或者排除向用户呈现与所述动作项目无关或者对用户理解没有帮助的无关内容。例如，动作项目常常被其他不相关的信息或者事件的抄本(transcription)中的非动作项目词语和字符序列嵌入或包围。因此，本公开的一些方面自动地检测和突出显示、提取或者以其他方式标记事件内容，以便指示作为动作项目的一部分的特定词语或字符序列。

在一些实施例中，可以提供智能图形用户界面，其包括改善用户体验的功能，诸如允许用户提供指示所呈现的项目是否实际上是动作项目的反馈的特征。基于该反馈，用于确定丰富的动作项目的逻辑单元或机器学习模型能够被重新训练或更新，从而确定和呈现给用户的未来丰富的动作项目更加准确。

附图说明

下文参考附图详细描述了本公开的各方面，其中，：

图1是适合用于实现本公开的实施例的示例性计算环境的框图；

图2是图示了根据本公开的实施例的用于生成和呈现丰富的动作项目的示例性系统架构的框图；

图3是根据实施例的图示了能够被用于生成动作项目和相关的丰富内容的模型或单个模型的层、并且图示了能够如何基于接收到的用户反馈来调谐模型或层的各个方面的示例性系统的框图；

图4是根据实施例的嵌入到事件上下文中的所呈现的动作项目的示意图；

图5A图示了根据实施例的可以被用于确定动作项目的、指示会议事件的内容的示例性屏幕截图；

图5B图示了根据实施例的基于来自图5A的会议内容指示动作项目或动作项目候选的列表的示例性屏幕截图；

图5C图示了根据实施例的、指示与向用户呈现动作项目相关的各种其他用户界面特征的示例性屏幕截图；

图6是根据实施例的用户界面的示例性屏幕截图；

图7是根据实施例的用户界面的示例性屏幕截图；

图8A图示了根据实施例的示例性动作项目候选和相关联的用户界面元素；

图8B是根据实施例的图示了图8A的用户选择能够如何用于训练或调谐相应的机器学习模型；

图9描绘了根据实施例的用于生成和提供丰富的动作项目的示例性过程；

图10描绘了根据实施例的用于经由用户界面生成和呈现动作项目的示例性过程；以及

图11是用于实现本公开的实施例的示例性计算设备的框图。

具体实施方式

本公开的各方面的主题在本文中被具体描述以满足法定要求。然而，描述自身并不旨在限制本专利的范围。相反，发明人已经设想到，结合其他现有或未来技术，所要求保护的主题也可以以其他方式体现，以包括与在本文档中所描述的那些相似的不同步骤或步骤组合。此外，尽管在本文中可以使用术语“步骤”和/或“块”来表示所采用的方法的不同元素，但是这些术语不应当被解释为暗示在本文中所公开的各个步骤之中或之间的任何特定次序，除非并且除了当明确描述了个体步骤的次序时。在本文中所描述的每种方法可以包括可以使用硬件、固件和/或软件的任意组合来执行的计算过程。例如，可以通过运行被存储在存储器中的指令的处理器来执行各种功能。所述方法也可以被体现为被存储在计算机存储介质上的计算机可用指令。所述方法可以由独立应用、服务或托管服务(独立或者与另一托管服务组合)或者另一产品的插件等来提供。

本公开的特定方面自动并且智能地确定和呈现事件(例如，会议、交互式研讨会、非正式聚会等)的丰富的动作项目。如在本文中所描述的“动作项目”可以包括在事件中指示的任务，所述任务被请求完成以促进与所述事件相关联的特定目标或目的。在各种情况下，动作项目可以经由人的命令或者其他请求而发出，以使另一人(或者他们自己)执行某种动作。在动作项目的说明性示例中，在关于对特定计算机应用的开发的会议期间，一个人可能说：“Bob，您今天可以对应用进行一轮调试吗？”，这是Bob今天执行调试操作以使应用准备好部署的动作项目。“丰富的”动作项目可以包括对动作项目和相关会议内容或者对理解所述动作项目有用的上下文信息的指示，并且其可以针对诸如会议出席者的特定用户进行个性化。特别地，可以确定动作项目，并且然后进行增强或澄清，以便更易于理解。例如，动作项目可能是“您下周做这个，好吗？”。可以通过澄清“您”是指会议的参与者John，并且“这个”是指基于被存储在用户设备或服务器上的过去对话的“项目X调试项目”的特定任务，来丰富所述动作项目。

手动记笔记或手动计算机用户输入以及用于会议或其他事件的CPU处理是耗时的，并且在许多情况下，重要的动作项目缺失、错误识别或者以某种方式不清楚。动作项目可能出于各种原因而缺失，诸如注意力不集中、对动作项目是什么的困惑以及沟通不畅等。人们与他人交谈和交互的方式有很多种，这可能导致动作项目无法被识别或不清楚。来自事件的动作项目常常是不完整的，因为它们缺少理解动作项目所需的重要上下文数据。例如，动作项目候选可能缺少信息，诸如关于负责完成动作项目的人员的信息、动作项目的截止日期、动作项目的发言人或者关于与动作项目相关联的特定任务的信息。事件内容(诸如会议的对话)往往会因各种缺失的部分而支离破碎，这使得不清楚动作项目真正指的是什么。例如，在会议中说出的短语可能不包括上下文，诸如动作项目到期的日期、谁正在发言、动作项目将由谁完成以及动作项目明确是什么。此外，动作项目可以被嵌入在各种其他文本中，从而使得难以识别实际的动作项目是什么。例如，句子可能是“我明天会发送文件，您可以随意地处理它”。用户和常规技术难以识别和呈现作为动作项目的该句子或者其他句子或字符序列的部分。

本公开的各个方面通过基于上下文数据和/或外部数据自动地修改或补充动作项目来弥补这些缺陷，所述上下文数据诸如是与动作项目相关的会议讨论，其可能在整个会议期间或者在先前会议中发生。该上下文数据对于理解动作项目可能是有用的，并且可以针对诸如会议出席者的特定用户进行个性化。特别地，可以自动地确定和增强或澄清动作项目以便更易于理解。本公开的各个方面可以确定动作项目候选的清晰度以便显示动作项目。

在一些实施例中，“上下文数据”可以表示在动作项目候选被说出/输入之前和/或之后说出或者以其他方式输入(例如，键入、通过电子邮件/通信等)的事件上下文。“事件上下文”能够包括或者包含在表示事件内容的事件内的所有(或者其中的一些)对话或话语(例如，对话、问题、笑声、动作项目)的音频或书面抄本的一个或多个部分(例如，句子或时间序列)。因此，例如，对于动作项目“我将满足它”，在抄本中该短语之前的句子可能是“John，您能满足模型设计的最后期限吗？”该事件上下文的上下文数据提供了强有力的推论：即John是“我将满足它”动作项目的发言人和负责人，并且“它”指的是动作项目的截止日期。使用该相同的说明，抄本中直接在动作项目候选之后的句子可能是“好的，我期待下周五听到它。”该上下文可能指示“下周五”是模型设计动作项目候选的截止日期。随后，在一些实施例中，用户界面或者其他图形显示格式可以指示动作项目候选和/或指示谁正在说/接收动作项目候选、到期日是何时和/或动作项目是什么的标签。例如，使用以上说明，最终显示的动作项目可能是“[John]将[在下周五之前完成模型设计]”。以这种方式，最终呈现的动作项目能够添加、移除、替换或者以其他方式改变最初呈现的动作项目候选与其他字符序列。

另外地或替代地，上下文数据能够指代所获得的任何远程或“外部上下文”，它不是实际事件(事件上下文)的抄本或内容的直接部分。例如，外部上下文可以是从用户设备(例如，经由日历工具插件、文本、社交媒体或者其他应用)、传感器(例如，生物特征传感器、地理定位传感器)、一个或多个服务器和/或其他远程数据存储(诸如数据库)取回的数据。这样的外部上下文能够被用作一个或多个信号来确定诸如动作项目到期日、谁正在发言、动作项目将由谁完成和/或动作项目清楚地是什么等信息。在示例中，使用上文的示例，对于包括动作项目“我将满足它”的事件抄本，事件上下文可能不指示是谁说的，但是来自会议参与者电话的文本消息可能显示：“John，我们将在1周内开会讨论您负责的模型设计，您能参加吗？”该外部上下文会是强烈的信号，表明动作项目候选的拥有者和发言人是John。

通过示例，由本公开的实施例所确定的初始动作项目候选可以是“我将满足它”。使用如在本文中所描述的自然语言处理和/或机器学习组件，可以确定该句子不清楚(例如，它低于阈值清晰度分数)。例如，这可以通过确定句子内不存在名称而只存在代词和/或没有识别日期而发生。因此，最初可能不清楚：谁正在发言或者以其他方式输入该句子，“它”指的是什么，“它”将在何时完成，以及由谁完成动作项目。在各种实施例中，响应于确定该候选低于清晰度分数，能够根据上下文数据来确定缺失数据，如上文所描述的。

本公开的各种实施例通过确定和呈现动作项目清晰所需的上下文数据的量来基于上下文数据自动地修改或补充动作项目。该确定能够基于生成清晰度分数。“清晰度分数”是指示特定动作项目基于一个或多个因素的清楚程度的分数，诸如“谁”陈述了办公室动作、动作项目“何时”到期等。例如，如果候选的动作项目清晰度分数低于阈值，则相对于分数高于阈值的候选动作项目呈现更多上下文。实际上，在一些实施例中，清晰度分数与所呈现的上下文数据的量成反比。清晰度分数越高，提供给例如用户界面的上下文数据量就越少。相反，在一些实施例中，清晰度分数越低，提供的上下文数据量越大。例如，动作项目候选“我会做这件事”的清晰度分数可能低于阈值。因此，在该动作项目候选之前和/或之后的抄本中的阈值数量的文本可以另外被呈现给用户界面。以这种方式，用户能够滚动浏览或者以其他方式查看更多抄本文本，以帮助识别相关联信息(例如，谁陈述了动作项目候选、到期日是何时、谁负责完成动作项目)。

在本公开的各种实施例中，通过确定动作项目在会议对话中(一次或多次)出现的边界来自动澄清动作项目，从而不强调或者排除向用户呈现与动作项目无关或者无助于用户理解的无关内容。如上文所描述的，各种技术和事件包含嵌入在其他不相关或非动作项目文本中的动作项目。这可能使得难以发现动作项目是什么。然而，一些实施例突出显示或者以其他方式确定动作项目是什么，即使它被嵌入在其他非动作项目文本中。例如，使用上文的说明，抄本的一部分可能显示“我明天会发送文件，您可以随意地处理它。”本公开的各种实施例可以呈现以下示例性显示文本，“我明天会发送文件，您可以随意地处理它”，这指示突出显示或者以其他方式呈现动作项目“我明天会发送文件”以便清楚动作项目是什么以及动作项目不是什么。例如，在该示例中，不是动作项目的文本不是粗体文本，而作为动作项目的文本是粗体文本。

在一些实施例中，可以提供智能图形用户界面，其包括改进用户体验的功能，诸如允许用户提供指示所呈现的项目是否实际上是动作项目的反馈的特征。例如，如果用户不了解动作项目是什么或者与动作项目相关联的其他信息(例如，发言人、拥有者)，则可能存在从用户接收反馈的逻辑单元。例如，机器学习模型可以使用这样的反馈作为额外的训练数据输入来改进预测。例如，动作项目可以被呈现在用户界面上并且用户能够选择指示所述动作项目不是动作项目的按钮或者其他GUI元素。然后，可以将其作为训练或调谐数据提供给机器学习系统，以便在未来的会话中不会将该相同的动作项目呈现为动作项目。替代地或另外地，用户能够查看动作项目的列表，而不是包含不是动作项目的内容的整个事件抄本。替代地或另外地，用户能够选择要呈现更多或更少的事件上下文。

现有技术具有各种功能缺陷。例如，各种事件和会议技术仅手动地接收静态数据(例如，会议的名称、其他注释)，并且至多可以显示具有不清楚的动作项目和不清楚的关联数据的会议抄本。例如，在许多计算机实现的聊天、基于会议的web应用、基于会议的应用或抄本中，常常不清楚陈述动作项目的人、负责完成动作项目的人、动作项目的到期日等。这些技术不会基于特定规则自动地确定动作项目和动作项目清晰度。相反，这些技术历来需要用户的手动输入，而不考虑提供在本文中所描述的特定功能以生成丰富的动作项目的任何智能或规则。

现有的应用或用户界面技术在其功能方面特别有缺陷。常规的事件解决方案(诸如聊天室或会议应用的用户界面)仅显示由用户所输入的整个事件的所有文本。这迫使冗长的用户任务手动地滚动线程或窗口以查看存在哪些动作项目或者穿过各个层以获得任何相关信息。这也迫使用户确定缺失的信息，诸如谁是完成动作项目的人、动作项目的日期、谁是发言人等。由于人为错误，这可能导致不准确，并且这种确定非常耗时。本公开的各种实施例改进了这些显示技术，因为它们能够例如经由单个用户界面仅显示动作项目(与整个事件抄本相反)或者减少对用户界面的深度探讨。另外，实施例允许呈现或确定其他上下文信息，诸如发言人是谁、谁需要完成动作项目、到期日等。因此，实施例通过生成丰富的动作项目来改进现有技术，这是当今技术所不具备的。

在功能缺陷的另一示例中，一些技术(诸如虚拟助手(例如，智能扬声器))未能阐明与动作项目相关联的信息(例如，谁是发言人、动作项目的到期日、谁需要执行动作项目)。尽管这些技术通常能够处理自然语言请求并且执行关键字识别，但是这些技术通常不能够确定动作项目并且使用上下文数据来阐明动作项目。尽管一些语音到文本技术能够解析文本以简单地输出文本，但是它们无法澄清动作项目，诸如动作项目的到期日和负责完成动作项目的人员。各种实施例改进了这些虚拟助手，因为它们能够使用上下文数据来阐明动作项目。

现有技术在计算机资源消耗(例如，CPU、存储器、I/O、网络延时)方面也是低效的。例如，现有技术要求事件的完整抄本要么通过网络传输到用户设备并且被呈现给用户界面，要么被存储到存储器设备，以便用户能够手动地解析数据内的相关信息。这样的抄本可以包括输入，诸如会议参与者的姓名、会议的时间、会议的名称以及所有会议内容。这会增加存储设备I/O(例如，非易失性磁盘上过多的物理读/写磁头移动)或者网络延时，因为每次用户输入这些数据时，请求都必须重复地到达存储设备以执行读/写操作，这是耗时、易于出错的，并且最终会磨损组件，例如读/写磁头。另外，在基于会话或网络的web应用中，每个用户输入可能需要针对网络协议(例如，TCP/IP)的分组生成成本(例如，输入标头信息)，这可能增加每次用户输入通过网络传输时的网络延时。另外，呈现用户界面、存储或传输事件的整个抄本可能消耗不必要的存储器量。

本公开的各种实施例通过改进计算设备的计算资源消耗来改进这些技术。例如，一些方面仅呈现、传输或者存储事件的动作项目(并且可能还有少量元数据和/或上下文数据)。例如，在确定动作项目之后，实施例能够通过计算机网络仅将动作项目(而不是整个会议抄本)传输到作为“拥有者”或负责执行动作项目的一方的用户的用户设备。以这种方式，降低了分组生成成本，因为只有动作项目通过网络来传输，这在一些情况下允许通过网络传输更多比特。在另一示例中，能够提供用户界面，其仅包括动作项目或者仅记录动作项目，而不是会议的整个抄本。以这种方式，存储器存储得到优化，并且I/O操作更少。

现在转向图1，提供了示出可以在其中采用本公开的一些实施例的示例性操作环境100的框图。应当理解，在本文中所描述的这种和其他布置仅作为示例来阐述。能够使用其他布置和元件(例如，机器、接口、功能、命令和功能分组)来补充或代替所示出的那些，并且为了清楚起见可以完全省略一些元件。此外，在本文中所描述的元件中的许多元件是功能实体，它们可以被实现为离散或分布式组件或者与其他组件结合，并且以任何合适的组合和位置来实现。在本文中被描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如，一些功能可以由运行被存储在存储器中的指令的处理器来执行。

在未示出的其他组件中，示例性操作环境100包括多个用户设备，诸如用户设备102a和102b至102n；多个数据源，诸如数据源104a和104b至104n；服务器106；传感器103a和107；以及网络110。应当理解，在图1中所示的环境100是一种合适的操作环境的示例。在图1中所示的组件中的每个组件可以经由任意类型的计算设备来实现，诸如结合图11所描述的计算设备1100。这些组件可以经由网络110相互通信，该网络110可以包括但不限于：一个或多个局域网(LAN)和/或广域网(WAN)。在示例性实现方式中，网络110包括互联网和/或蜂窝网络，以及各种可能的公共和/或专用网络中的任意网络。

应当理解，在本公开的范围内，可以在操作环境100内采用任意数量的用户设备、服务器和数据源。每个都可以包括在分布式环境中协作的单个设备或多个设备。例如，服务器106可以经由被布置在分布式环境中的多个设备来提供，这些设备共同提供在本文中所描述的功能。另外，未示出的其他组件也可以被包括在分布式环境内。

用户设备102a和102b至102n可以是操作环境100的客户端侧上的客户端设备，而服务器106可以在操作环境100的服务器侧上。服务器106能够包括被设计为结合用户设备102a和102b至102n上的客户端侧软件一起工作以实现在本公开中所讨论的特征和功能的任意组合的服务器侧软件。提供对操作环境100的该划分是为了例示说明合适的环境的一个示例，并且对于每个实现方式不要求服务器106和用户设备102a和102b至102n的任何组合保持为单独的实体。

用户设备102a和102b至102n可以包括用户能够使用的任意类型的计算设备。例如，在一个实施例中，用户设备102a至102n可以是关于在本文中的图11所描述的计算设备类型。通过示例而非限制，用户设备可以被体现为个人计算机(PC)、膝上型计算机、移动或移动设备、智能手机、平板计算机、智能手表、可穿戴计算机、个人数字助手(PDA)、音乐播放器或MP3播放器、全球定位系统(GPS)或设备、视频播放器、手持通信设备、游戏设备或系统、娱乐系统、车辆计算机系统、嵌入式系统控制器、相机、遥控器、条形码扫描仪、计算机化测量设备、器具、消费者电子设备、工作站或这些划定设备的任意组合，或者任何其他合适的计算机设备。

数据源104a和104b至104n可以包括数据源和/或数据系统，其被配置为使得数据对结合图2所描述的操作环境100或系统200的各种组成部分中的任意组成部分可用。(例如，在一个实施例中，一个或多个数据源104a至104n向图2的用户数据收集组件210提供(或者使其可用于访问)用户数据。)数据源104a和104b至104n可以与用户设备102a和102b至102n和服务器106分开，或者可以被并入和/或集成到那些组件中的至少一个组件中。在一个实施例中，数据源104a至104n中的一个或多个数据源包括一个或多个传感器103a、107，它们可以被集成到或者关联于(一个或多个)用户设备102a、102b或102n或服务器106中的一个或多个。结合图2的用户数据收集组件210进一步描述了由数据源104a至104n可用的感测用户数据的示例。

操作环境100能够被用于实现在图2中所描述的动作项目捕获系统200的组件中的一个或多个组件，包括用于自动提取动作项目的组件。操作环境100也能够被用于实现在图9(或图10)中所描述的过程流程900(或1000)的各方面。现在参考图2，结合图1，所提供的框图示出了适合用于实现本公开的实施例并且通常被指定为动作项目呈现系统200的示例性计算系统架构的各方面。动作项目呈现系统200仅表示合适的计算系统架构的一个示例。能够使用其他布置和元件来补充或替代所示的那些，并且为了清楚起见可以完全省略一些元件。此外，与操作环境100一样，在本文中所描述的元件中的许多元件是功能实体，它们可以被实现为分立或分布式组件或者与其他组件结合，并且以任何合适的组合和位置来实现。

示例性系统200包括结合图1所描述的网络110，并且其通信地耦合系统200的组件，包括用户数据收集组件210、会议监视器250、动作项目确定器260、丰富动作项目生成器280、反馈处理器270、用户数据收集组件210、呈现组件220和存储装置225。在一些实施例中，系统200可以包括一个或多个消费者应用290或者与其一起操作。这些组件可以被体现为一组编译的计算机指令或功能、程序模块、计算机软件服务或者在一个或多个计算机系统上执行的过程的布置，诸如结合图11所描述的计算设备1100。

在一个实施例中，由系统200的组件执行的功能与一个或多个个人助理应用、服务或例程相关联。特别地，这样的应用、服务或例程可以在一个或多个用户设备(诸如用户设备102a)、服务器(诸如服务器106)上操作，可以被分布在一个或多个用户设备和服务器上，或者在云中实现。此外，在一些实施例中，系统200的这些组件可以被分布在网络中，包括一个或多个服务器(诸如服务器106)和客户端设备(诸如用户设备102a)；在云中；或者可以驻留在用户设备上，诸如用户设备102a。此外，这些组件、由这些组件执行的功能或者由这些组件执行的服务可以在诸如操作系统层、应用层、(一个或多个)计算系统的硬件层等适当的抽象层实现。替代地或另外地，这些组件和/或者在本文中所描述的实施例的功能能够至少部分地由一个或多个硬件逻辑组件来执行。例如但不限于，能够使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)。另外，尽管本文针对示例性系统200中所示的特定组件描述了功能，但是设想到了，在一些实施例中，这些组件的功能能够跨其他组件共享或分布。

继续图2，用户数据收集组件210通常负责从一个或多个数据源(诸如图1的数据源104a和104b至104n)访问或接收(并且在一些情况下也识别)用户数据。在一些实施例中，用户数据收集组件210可以被用于促进针对会议监视器250和/或动作项目确定器260的特定用户(或者在一些情况下，包括众包数据的多个用户)的用户数据的积累。所述数据可以由用户数据收集组件210接收(或访问)，并且可选地累积、重新格式化和/或组合，并且被存储在一个或多个数据存储(例如存储装置225)中，其中，它可用于系统200的其他组件。例如，用户数据可以被存储在用户简档240中或者与用户简档240相关联，如在本文中所描述的。在一些实施例中，任何个人识别数据(即，具体识别特定用户的用户数据)要么不上传，要么以其他方式从一个或多个数据源与用户数据一起提供，而并不对其进行永久存储，和/或不可用于系统200的组件或子组件。在一些实施例中，用户可以选择加入或者退出由在本文中所描述的技术提供的服务和/或选择用户数据的哪些用户数据和/或哪些用户数据源将由这些技术使用。

可以从各种来源接收用户数据，其中，数据可以以各种格式获得。例如，在一些实施例中，经由用户数据收集组件210接收的用户数据可以经由一个或多个传感器来确定，所述传感器可以在一个或多个用户设备(诸如用户设备102a)、服务器(诸如服务器106)，和/或其他计算设备上或者与其相关联。如在本文中所使用的，传感器可以包括用于感测、检测或者以其他方式从数据源104a获得诸如用户数据的信息的功能、例程、组件或者其组合，并且可以被体现为硬件、软件或者这两者。通过示例而非限制，用户数据可以包括从一个或多个传感器感测或确定的数据(在本文中被称为传感器数据)，诸如(一个或多个)移动设备的位置信息、(一个或多个)用户设备的属性或特性(诸如设备状态、充电数据、日期/时间或者从诸如移动设备的用户设备取得的其他信息)、用户活动信息(例如：app使用；在线活动；搜索；语音数据，诸如自动语音识别；活动日志；通信数据，包括呼叫、文本、即时消息和电子邮件；网站帖子；与通信事件相关联的其他用户数据)，在一些实施例中，包括在一个以上用户设备上发生的用户活动、用户历史、会话日志、应用数据、联系人数据、日历和日程表数据、通知数据、社交网络数据、新闻(包括搜索引擎或社交网络上的热门或趋势项目)、在线游戏数据、电子商务活动(包括来自诸如

视频流送服务、游戏服务或Xbox

等在线账户的数据)、(一个或多个)用户账户数据(其可能包括来自与个人助理应用或服务相关联的用户偏好或设置的数据)、家庭传感器数据、设备数据、全球定位系统(GPS)数据、车辆信号数据、交通数据、天气数据(包括预报)、可穿戴设备数据、其他用户设备数据(其可能包括设备设置、简档、网络相关信息(例如，网络名称或ID、域信息、工作组信息、连接数据、Wi-Fi网络数据或配置数据、有关型号、固件或设备、设备配对的数据，诸如用户将手机与蓝牙耳机配对，或者其他网络相关信息))、陀螺仪数据、加速度计数据、支付或信用卡使用数据(其可能包括来自用户的PayPal账户的信息)、购买历史数据(例如，来自用户的Xbox Live、Amazon.com或eBay账户的信息)、可能被(一个或多个)传感器(或者其他检测器)组件感测到或者以其他方式检测到的其他传感器数据(包括源自与用户相关联的传感器组件的数据(包括场所、运动、取向、位置、用户访问、用户活动、网络访问、用户设备充电或者能够由一个或多个传感器组件提供的其他数据))、基于其他数据导出的数据(例如，能够从Wi-Fi、蜂窝网络或IP地址数据导出的位置数据)，以及可以如在本文中所描述地感测或确定的几乎任何其他数据源。

用户数据能够由用户数据收集组件210从与用户相关联的一个或多个传感器和/或计算设备接收。尽管设想到用户数据可以例如由传感器或者未示出的其他组件来处理，以便用户数据收集组件210可解释，但是在本文中所描述的实施例不将用户数据限制为处经理的数据并且可以包括原始数据。在一些实施例中，用户数据收集组件210或者系统200的其他组件可以根据接收到的用户数据来确定解释性数据。解释性数据对应于由系统200的组件用于解释用户数据的数据。例如，解释性数据能够被用于向用户数据提供上下文，其能够支持由系统200的组件或子组件做出的确定或推断，诸如来自位置的地点信息、来自用户语音的文本语料库(即，语音到文本)，或者口语理解的各方面。此外，设想到了，对于一些实施例，系统200的组件或子组件可以使用用户数据和/或用户数据与解释性数据相结合，以用于执行在本文中所描述的子组件的目标。

在一些方面中，可以在用户数据流或信号中提供用户数据。“用户信号”可以是来自对应数据源的用户数据的馈送或流。例如，用户信号可能来自智能手机、家庭传感器设备、智能扬声器、GPS设备(例如，用于位置坐标)、车辆传感器设备、可穿戴设备、用户设备、陀螺仪传感器、加速度计传感器、日历服务、电子邮件账户、信用卡账户或者其他数据源。在一些实施例中，用户数据收集组件210连续地、周期性地、当它变得可用时或者根据需要接收或访问用户相关数据。

继续图2，示例性系统200包括会议监视器250。会议监视器250通常负责确定和/或检测来自在线会议和/或面对面会议的会议特征，并且使会议特征可用于系统200的其他组件。例如，这样的被监视的活动可以是会议位置(例如，由用户设备的地理位置所确定的)、会议的主题、会议的受邀者、会议是否重复、相关的截止日期、项目等。在一些方面中，会议监视器250为特定会议以及为与该会议相关联的每个用户确定并且提供一组会议特征(诸如下文所描述的)。在一些方面中，会议可以是过去(或历史)会议或当前会议。此外，应当意识到，会议监视器250可以负责监视任意数量的会议，例如，与系统200相关联的每个在线会议。因此，可以使用与由会议监视器250确定的在线会议相对应的特征来分析多个会议并且确定对应的模式。

在一些实施例中，对会议监视器250的输入是在事件处的一个或多个用户的传感器数据和/或用户设备数据和/或来自会议邀请和/或电子邮件或者在会议处的用户的其他设备活动的上下文信息。在一些实施例中，这包括由用户数据收集组件210收集的用户数据(其能够经由用户简档240访问)。

会议活动监视器252经由一个或多个传感器(例如，麦克风、视频)、设备、聊天、呈现的内容等来监视用户活动。在一些实施例中，会议活动监视器252输出在会议期间发生的抄本或活动。例如，活动或内容可以加时间戳或者以其他方式与会议抄本相关联。在说明性示例中，会议活动监视器252可以指示会议开始和结束的时钟时间。在一些实施例中，会议活动监视器252监视来自与用户相关联的多个用户设备和/或来自与用户相关联的基于云的服务(诸如电子邮件、日历、社交媒体或类似信息源)的用户活动信息，并且其可以包括与事件的抄本或内容相关联的上下文数据。例如，电子邮件可以详细说明两个参与者之间的对话，通过描述会议的细节(诸如会议的目的)为会议抄本提供上下文。会议活动监视器252可以确定当前或近实时的用户活动信息，并且也可以确定历史用户活动信息，在一些实施例中，这可以基于随着时间收集用户活动的观察、访问过去活动的用户日志(诸如浏览历史记录)来确定。此外，在一些实施例中，会议活动监视器可以确定来自其他类似用户(即，众包)的用户活动(其可以包括历史活动)。

在一些实施例中，使用与用户设备相关的上下文信息，由会议活动监视器252通过检测和分析用户设备的特性来识别用户设备，诸如设备硬件、诸如OS的软件、网络相关的特性、经由设备访问的用户账户以及类似特性。例如，如先前所描述的，可以使用许多操作系统的功能来确定关于用户设备的信息，以提供关于硬件、OS版本、网络连接信息、安装的应用等的信息。在一些实施例中，可以为与用户相关联的每个设备来确定设备名称或标识(设备ID)。关于与用户相关联的所识别的用户设备的该信息可以被存储在与用户相关联的用户简档中，诸如被存储在用户简档240的(一个或多个)用户账户和(一个或多个)设备244中。在实施例中，用户设备可以被轮询、询问或者以其他方式分析以确定关于设备的上下文信息。该信息可以被用于确定设备的标签或标识(例如，设备ID)，从而可以识别一个用户设备上的用户活动并且将其与另一用户设备上的用户活动区分开。此外，如先前所描述的，在一些实施例中，用户可以陈述或者注册用户设备，诸如通过经由设备登录账户、在设备上安装应用、连接到询问设备的在线服务或者以其他方式将有关设备的信息提供到应用或服务。在一些实施例中，登录到与用户相关联的账户的设备(诸如

账户或NetPassport、电子邮件账户、社交网络等)被识别并且被确定为与用户相关联。

用户简档240可以包括关于会议参与者或出席者的获知信息、会议出席者的个人偏好等。用户简档240可以包括用户事件活动信息242。这可以包括出席者或发言人何时倾向于提及动作项目的指示(例如，经由先前会议中的模式识别)。例如，特定出席者可能总是在会议的最后5分钟内陈述动作项目。该信息能够被用于在整个会议期间进行预测，以确定陈述是否为动作项目。用户简档240也可以包括出席者或发言人如何提及动作项目。例如，历史会议事件可能指示特定用户总是在每个动作项目的结束之后陈述“让我们标记它”，以确保动作项目在注释中被标记为重要，否则完成。

在一些实施例中，用户事件活动信息242对应于事件的一个或多个参与者的历史行为的识别模式。这样的模式可能是或者包括：参与者说话的模式(例如，参与者A即使在发出命令时也总是开玩笑，使候选不太可能成为动作项目)，在事件的特定时间或时间窗口处提及动作项目的倾向，从不是任何动作项目的拥有者或发布任何动作项目的模式，始终是动作项目的拥有者或发送动作项目的模式，人们表达动作项目或者与他人交互的模式(例如，人员A是经理，总是在动作项目之前说“作业分配编号[x]…”，这是一种信号，表明之后的句子是动作项目)，用户的语言和风格，作为参与者之间的先前通信的对话历史(例如，聊天、电子邮件和文档)，等等。历史模式能够被用于预测候选动作项目是否确实是动作项目。例如，如果两个参与者之间的对话历史揭示下一即将举行的会议Y将在他们决定即将举行的事件Z的地点的地方，则会议Y处的短语“好的，John，让我们在Glendale举行吧”可能被确定为至少部分地基于关于事件和事件位置的对话历史的动作项目。在一些实施例中，被识别为参与者行为历史346的模式由一个或多个机器学习模型(例如，贝叶斯图、随机森林、线性回归等)来确定。

用户简档240能够包括用户偏好244，其通常包括与会议监视器250相关联的用户设置或偏好。通过示例而非限制，这样的设置可以包括关于用户希望明确监视或不监视的特定事件(和相关信息)的用户偏好或者被监视或不监视的事件的类别、众包偏好(诸如是否使用众包信息)，或者用户的事件信息是否可以作为众包数据而共享；关于哪些事件消费者可以消费用户的事件模式信息的偏好；以及阈值，和/或通知偏好，如在本文中所描述的。

在一些实施例中，用户简档240包括事件中每个参与者的参与者角色。参与者角色能够被用作帮助确定动作项目候选是否确实是动作项目的信号。这是因为特定陈述更有可能或者不太可能成为动作项目，这取决于发表陈述的参与者的角色。例如，如果高级或管理工程师提到“我们应当为该客户创建不同的设计”这句话可能是动作项目，而如果新员工做出同样的陈述，则它不一定是动作项目，因为典型的雇佣结构要求动作项目要么由权威人士说明，要么由权威人士批准。

在一些实施例中，用户简档240包括替代或额外的信息，诸如参与者的年龄、参与者的家庭成员和相关联的信息、参与者的地址等，用于帮助确定候选动作项目是否确实是动作项目。例如，如果已知发言人A有一个孩子Jane Doe在学校，并且发言人A说“我今天必须去接Jane Doe”，则这可以基于家庭成员数据选择性地不被选取作为动作项目。

上下文信息提取器/确定器254通常负责确定关于事件的上下文信息(例如，外部上下文)。该信息可能是元数据或者不是实际会议内容或有效负载自身的其他数据，而是描述了相关信息。例如，上下文信息可以包括谁出席或受邀参加会议、会议的主题、会议是否重复、会议的地点、会议的日期、其他项目或者其他项目之间的关系、有关受邀或实际会议出席者的信息(例如，公司角色、参与者是否来自同一家公司等)。

会议内容组装器256通常负责接收事件内容和相关的上下文信息，并且生成丰富的会议活动时间线。在一些实施例中，该时间线是包括标签和/或其他相关联内容的抄本。例如，时间线能够包括结构化数据(例如，数据库)，其包括记录，其中，每个记录包括每个对话的时间线和指示对话何时开始/停止的时间戳。记录能够替代地或额外地包括上下文信息或元数据，诸如关于事件的参与者或事件自身的信息(例如，事件的主题、文件、幻灯片或者用户简档240中的任意信息)。丰富的会议活动时间线可以是会议监视器250的输出。

动作项目确定器260通常负责从事件内容识别可能的动作项目。在一些实施例中，输入包括会议监视器250的输出(例如，来自传感器(麦克风、视频、用户活动等)、用户数据收集组件210和来自用户的用户简档240的用户数据和会议相关数据)。在一些实施例中，动作项目确定器260的输出是可能的动作项目和相关对应信息的列表，诸如上下文数据、相关文件、动作项目归属于谁或者谁必须完成动作项目、日期，等等。在一些实施例中，动作项目确定器260的输出包括结构化数据记录(例如，数据库记录)，其包括各种属性，诸如动作项目名称、属性(谁必须完成动作项目)、动作项目类别/类型、相关文件和/或要提供以提醒用户完成动作项目的内容。

会议内容澄清器261通常负责结构化或者清理会议内容(例如，抄本和上下文数据)。例如，能够利用词性(POS)标识符来标记句子，能够移除、替换和添加词语。在一些实施例中，会议内容澄清器261解析或者令牌化事件内容和/或其他外部信息(例如，由用户数据收集组件210接收的信息)并且重新构造该信息。在一些实施例中，事件内容是或者包括以自然语言写出的事件中所说的一切事物的次序和内容的文档或抄本。例如，事件内容能够是在会议的整个持续时间期间所说或所讲的一切事物的书面抄本。在一些实施例中，事件内容能够替代地或额外地包括在事件期间所说的一切事物的音频内容。在一些实施例中，会议内容澄清器261近乎实时地处理事件内容(例如，在会议期间陈述每个陈述时或陈述每个陈述之后不久)。替代地或另外地，在一些实施例中，会议内容澄清器在每个事件或会议已经结束之后处理事件内容。

在一些实施例中，会议内容澄清器261对来自内容的字符序列(例如，句子、词语)进行令牌化和拆分，并且将其他字符序列(例如，语义相似的词语)和/或标签(例如，词性)加入或连接到令牌化的字符序列。在一些实施例中，连接的字符序列是自然语言处理(NLP)组件或库的一部分，其中，每个内容都被解析成其词语，并且利用词性标识符来标记所述词语中的一些或每个词语。

在各种实施例中的“令牌化”或解析对应于将内容分割成词语、句子、符号、字符序列和/或内容的其他元素的计算机实现的过程。“句法”或句法属性是指内容的字符序列的结构(与语义或意义相反)，诸如句子的结构。这能够包括用于分析消息的规则集合，诸如词语和/或POS次序。例如，对于句子“女孩高兴地跳了起来”，句法可能对应词语次序，其中，结构为主谓宾(或者主语、动词、宾语等)。在各种实施例中，消息元素的POS被标记。

在一些实施例中，NLP导出半结构化或非结构化数据(例如，在图像文件中的数据、博客、帖子、网站、分类器模型的文本描述中的数据)的语义和句法内容。这与分析“结构化”数据(诸如数据库中的数据)形成对比。NLP能够被配置为解析内容以确定语义上下文(例如，通过将内容中的每个词语相对彼此以及相对训练数据进行分析来确定词语的含义)和句法上下文(例如，管理给定语言的句子结构的规则集)。NLP被配置为识别与数据集的一个或多个部分相关联的关键字、上下文信息和元数据标签。在特定实施例中，NLP分析被包含在数据集中的概要信息、关键字、文本描述，并且使用该信息中存在的句法和语义元素来识别兴趣上下文。句法和语义元素能够包括诸如词频、词义、文本字体、斜体、超链接、专有名称、名词短语、词性(例如，名词、副词、形容词等)和/或周围词语的上下文的信息。其他句法和语义元素也是可能的。

在一些实施例中，会议内容澄清器261从内容中移除冗余或重复的字符序列。这考虑到会议参与者口吃、结巴、嘟哝、不小心说出相同的事情，或者以其他方式提供冗余或重复数据。例如，会议参与者可能会说“我将...[因为有人插话而暂停]...好的，我将发送mmm文件。”在该示例中，会议内容澄清器261可以从字符序列中移除“我将”短语，因为它是冗余的(例如，其已经被陈述过)。

在一些实施例中，会议内容澄清器261将词语或词语集合替换、移除和/或添加到内容中的字符序列以使内容更易于处理。在一些实施例中，该组件使用上文关于NLP所描述的语义和句法分析。替代地或另外地，在一些实施例中，该组件使用词嵌入模型(例如，word-2-Vec、GloVe等)来确定语义相似的词。例如，会议内容澄清器能够将短语“我将确保您没有被阻止”修改为“[人][将]确保[人][没有]被阻止”。因此，序列结构组件218能够确定“我要去”在语义上类似于“我将”并且“不是”在语义上类似于“不是”并且进行对应的替换。此外，序列结构组件218能够确定“人”正在说话或者是句子的主语和/或宾语。

在一些实施例中，动作项目候选标识符262能够基于语法或者其他内容结构(例如，句子是否是命令)来确定候选。在一些实施例中，动作项目候选标识符262基于将可能在会议期间结束的候选或者是不相关的或不是事件的一部分的私人命令或请求来排除内容或动作项目候选。例如，陈述“我将在下一张幻灯片中结束对X的讨论”可能被排除在动作项目之外，因为它很可能在会议期间结束。在一些实施例中，动作项目候选标识符262确定内容的哪些部分是成为动作项目的候选。在一些实施例中，这发生在会议内容澄清器261的处理之后或者响应于该处理而发生。动作项目候选标识符262识别内容中字符序列中的模式或句法关系以定义针对动作项目的边界或截止。例如，使用以上例示说明，在自然语言序列归一化器确定字符序列为“人会确保人不被阻止”之后，能够通过候选标识符将其识别为候选以用于进一步处理。在一些实施例中，动作项目候选标识符262识别内容中的语言或自然中断，诸如句点、分号、何时发出命令等，以确定这些字符或命令之间的内容是用于进一步处理的候选。例如，如果事件内容总共有4个句子，并且4个句子中的3个句子是命令，则候选标识符223将3个句子命令识别为个体动作项目候选以用于进一步处理。

在一些实施例中，动作项目候选标识符262使用动作项目识别逻辑单元230来识别动作项目候选。动作项目识别逻辑单元230能够包括模式识别逻辑单元。模式识别逻辑单元可以包括规则、关联、条件、预测和/或分类模型，或者模式推断算法。动作项目识别逻辑单元230能够取决于特定的响应活动模式或者用于识别响应活动模式的机制而采取许多不同的形式，或者识别观察到的响应活动事件之间的特征相似性以确定与执行与用户命令相关联的任务相对应的模式。例如，动作项目识别逻辑单元230的一些实施例可以采用机器学习机制来确定特征相似性，或者其他统计测量来确定属于支持所确定的响应活动模式的示例性响应动作集合的响应活动事件，如下文进一步描述的。可以从会议监视器250接收事件活动，并且可以从动作项目候选标识符262的特征接收关于所识别出的相似特征的信息。

动作项目候选分类器264通常负责将动作项目候选分类为动作项目或非动作项目。在一些实施例中，该组件能够使用任何合适的模型或者一组模型或技术来进行预测，诸如随机森林模型、深度神经网络、贝叶斯网络或者任何其他合适的机器学习模型。在模型被监督的一些实施例中，例如，标签或分类目标是候选是否是动作项目。例如，在随机森林实施例中，每个叶节点可以指示候选是否是动作项目，这基于分支和根节点处的决定(例如，基于用户简档340内的提取值和上下文数据)。

在一些实施例中，动作项目候选分类器264根据会议的类型来检测或分类书面或音频抄本。例如，该组件能够分类事件是否是广播会议、教程、董事会会议等(例如，基于上下文数据信息)。替代地或另外地，动作项目候选分类器264另外地或替代地至少部分地基于事件的类型和/或上下文数据内的其他信息来计算动作项目将存在于内容内的概率。在一些实施例中，该概率被用于额外概率以指示特定候选是否确实是动作项目。例如，如果确定事件是教程或演讲，其中，在发言人与出席者之间很少或者没有反馈或对话，则可能预测事件将包含动作项目的概率很低(例如，低置信水平)。因此，在事件期间特别所陈述或所说的任何事情都可能被自动地加权或者以其他方式向低概率评分。

在一些实施例中，动作项目候选分类器264使用朴素贝叶斯或者其他贝叶斯网络模型来进行其预测。朴素贝叶斯算法是使用概率论和贝叶斯定理来预测文本标签的概率算法集合。例如，如果事件名称没有自动地提供会议的名称或主题，则事件类型检测器332可以使用朴素贝叶斯算法来推断或预测事件的主题或名称。在说明性示例中，语句“让我们进行更多轮次的跟踪和调试”可以被标记有“软件性能工程”等。贝叶斯网络图根据概率映射节点(例如，事件)之间的关系。这些图示出了特定事件的发生如何影响其他事件发生的概率。每个节点也有条件地独立于其非后代。这些图遵循贝叶斯定理的基本原理，被表示为：

其中，A和B是事件并且P(B)≠0。亦即，给定B的A的概率(P)＝给定A的B的概率乘以B的概率上所有的(A)的概率。有向无环图包括各种节点、有向边和条件概率表。例如，每个节点可以表示与事件相关联的上下文数据中的特征，使得概率是相互依赖的，诸如因为事件位置在X处的概率很高，所以事件的主题或事件名称372是Z的概率为Y，并且因为概率Y，所以参与者1、2和3将出席会议的概率为T。

在一些实施例中，动作项目候选分类器264将内容的部分(例如，动作项目候选、段落、句子、页面等)分类为具体的(该部分是动作项目的概率高)或者描述性的(例如，该部分是动作项目的概率低)。因此，该组件能够解析内容并且在存储器中将这些部分映射为可能或不可能是动作项目(例如，基于句法结构)。例如，没有任何命令或请求的句子或短语(例如，不是祈使句的句子)，诸如“项目X对于我们的客户而言是重要的”或者“上次的会议我们很开心”或者“我们自上次会议以来取得了很大进展”成为动作项目的可能性很小。相反，作为祈使句或者以其他方式包括命令或请求的句子或短语更可能是动作项目。祈使句被用于发出命令、提出请求或者提供建议。祈使句通常以句号或感叹号结尾或者具有其他句法属性，诸如主语后跟谓语，然后是宾语(例如，“John[主语]，请加入[谓语]项目[宾语]。”)。在一些实施例中，该组件能够在动作项目和那些看起来是动作项目但是不基于例如句法属性和/或历史(例如，参与者行为历史)的动作项目之间进行辨别。例如，陈述“您可以按下它”可能会基于列出了口语术语或口头短语的字典或其他数据结构标记为不是动作项目，这与动作项目相反。

在一些实施例中，动作项目候选分类器264使用预测模型，诸如隐马尔可夫模型(HMM)。HMM是一种计算工具，其用于表示观察序列上的概率分布。这些工具对时间序列数据进行建模。HMM增强了马尔可夫链。马尔可夫链是这样的模型：其提供了关于随机变量、状态的序列概率的洞察力，每个随机变量、状态从数据集中取值。这些数据集可以是词语、标签、符号等。马尔可夫链的假设是任何预测都仅基于当前状态，而不是当前状态之前的状态。当前状态之前的状态对未来状态没有影响。在各种情况下，感兴趣的事件是隐藏的，因为它们不能被直接观察到。例如，POS标签通常不会在文本中被观察到。相反，直接观察词语自身并且推断出POS标签(隐藏状态)。

HMM允许模型使用观察到的事件和隐藏事件两者，它们本质上是概率算法中的因果因素。HMM由以下组件来表示：一组N个状态Q＝q₁q₂…q_N，转移概率矩阵AA＝a₁₁…a_ij…a_NN，每个a_ij表示从状态i转移到状态j的概率，受限于

T观察序列O＝o₁o₂…o_T，每个观察都从词汇表V＝v₁，v₂，...v_T中提取，观察似然序列B＝b_i(o_t)，也被称为发射概率，每个表示观察o_t从状态i生成的概率和状态上的初始概率分布π＝π₁π₂...π_N。π_i是马尔可夫链从状态i开始的概率。一些状态j可能具有π_j＝0，意味着它们不可能是初始状态。

特定状态的概率仅仅取决于前一个状态，因此引入了马尔可夫假设：P(q_i|q₁...q_i-1)＝P(q_i|q_i-1)。输出观察o_i的概率仅取决于产生观察q_i的状态，而不取决于任何其他状态或者任何其他观察，由此导致输出独立项O(o_i|q₁...q...，q_r，o₁，...，o_i，...o_T)＝P(o_i|q_i)。这允许组件陈述给定观察o(例如，句子是命令的形式、会议的类型或者上下文数据中的任何其他值)，该算法能够找到Q状态的隐藏序列(例如，内容的一部分是否可能是动作项目)。在一些实施例中，动作项目分类器将所有计算出的特征和/或其他字符序列或上下文数据作为输入，并且分类或者以其他方式预测每个动作项目候选是否是动作项目。

在动作项目候选分类器264如何进行预测的说明性示例中，首先，会议内容澄清器261能够将整个抄本作为输入，以如上文所描述的重构抄本。作为响应，动作项目候选标识符262能够基于句子句法、排除规则来识别动作项目候选，和/或能够如上文所描述的从用户简档240或上下文数据中提取各种特征。作为响应，动作项目候选分类器264能够对事件进行分类(例如，经由朴素贝叶斯)，确定抄本中的部分或动作项目候选是否是动作项目的概率(例如，经由HMM)，并且然后最终分类是否候选动作项目确实是动作项目。例如，动作项目候选分类器264能够至少部分地基于参与者行为历史、参与者角色和特定会议中每个参与者的参与者偏好和/或用户简档240内的任何其他数据和其他上下文数据，来确定候选是否是具有特定置信水平的动作项目。

在一些实施例中，动作项目候选分类器264使用机器学习模型，诸如深度学习分类神经网络(例如，卷积神经网络(CNN)、循环神经网络(RNN)和变换器)。在特定实施例中，能够首先识别标签、类别或目标分类，诸如“动作项目”或“不是动作项目”。这些标签、类别或目标分类可以是硬的(例如，类的成员资格是二元“是”或“否”)或软的(例如，标签附有概率或可能性)。替代地或另外地，可以发生迁移学习。迁移学习是重新利用预先训练的模型来解决新的相关问题的概念。例如，为了检测动作项目而获得的置信水平能够被用于检测非动作项目。新数据集通常类似于用于预训练的原始数据集。因此，相同的权重能够被用于从新数据集中提取特征。在说明性示例中，原始数据集可以包括被分类为动作项目的会议参与者所作的陈述。也可能是参与者在发布动作项目时95％的时间都做出了该陈述。因此，经由迁移学习和对于新的传入数据集，用户可能不会做出该陈述。使用相同的权重，能够推断出所述陈述不是动作项目。

神经网络能够包括卷积层、池化层和完全连接层。在特定实施例中，机器学习模型神经网络可以被馈送或者接收由会议内容澄清器261和/或者在卷积层处的动作项目候选标识符262提供的输出作为输入。每个输入都能够被转换成值的2D输入向量阵列，诸如整数个一和零。每个值表示或描述输入的特定值和值的强度。例如，词语或字符序列能够利用一来表示，而其他词语或字符序列能够利用零来表示。卷积层利用一个或多个过滤器映射，每个过滤器映射表示输入的特征(例如，参与者角色344)。可能存在输入的各种特征，并且因此可能存在针对给定输入的各种线性堆叠的过滤器映射。过滤器映射也是值的数组，其表示值和权重的集合，其中，当值与对应值(例如，指示参与者行为历史的训练数据)或输入的对应部分中的值集相匹配时，其权重更高。所述卷积层包括使用每个过滤器映射来扫描或分析输入的每个部分的算法。因此，每个过滤器映射的每个值都与输入的每个部分中的对应值进行比较和匹配，并且根据相似性进行加权。在一些实施例中，所述卷积层执行线性函数或运算以通过将每个值与其自身值相乘并且然后执行每个乘积的求和函数来得到过滤器映射，然后将其除以输入特征中的值的总量。

在特定实施例中，所述池化层通过选取窗口大小(即，将在特征映射中分析的维度值的量)，并且选择特征映射中的所有值的最大值作为针对经修改的特征映射的仅有的输出，来减少维度或压缩每个特征映射。在一些实施例中，所述完全连接层将每个修改特征的每个值映射或投票到每个分类(即，候选是“动作项目”或者“不是动作项目”)。每个值的投票强度基于其权重或值分数。输出是一个分数(例如，浮点值，其中，1是100％匹配)，其指示给定输入或一组经修改的特征适配在特定定义类别(是动作项目或者不是动作项目)的概率。例如，输入可以包括一组文本，说明“我讲完一个笑话后让我们开始本次会议……Jake告诉John在星期一之前完成产品。”分类或标签类型可以是“动作项目”或者“不是动作项目”。在第一字符序列“我讲完一个笑话后让我们开始本次会议...”通过所述层中的每层馈送之后，所述输出可以包括针对每个分类类型的浮点值分数，其指示“动作项目：.21”，以及“不是动作项目：.90”，这指示该字符序列具有90％的概率不是动作项目。训练或调谐能够包括使在目标变量或输出(例如，.90)和预期输出(例如，100％)之间的损失函数最小化。因此，可能需要尽可能接近特定分类的100％置信度以减少预测误差。随着更多的训练输入和基线数据集被馈送到学习模型中，这可能随着时间而发生，从而能够以更高的预测概率发生分类。

在一些实施例中，动作项目候选分类器264至少部分地基于由会议监视器250取回的信息和/或用户简档240中的信息对动作项目候选进行分类。例如，动作项目候选分类器264能够从上下文信息确定器254接收上下文信息，其指示在当前会议之前讨论的动作项目Y的到期日X。然后，在当前会议期间，管理参与者John Doe可能说“好的，让我们明天开始做Y。”动作项目候选分类器264然后可以基于作为发言人的管理者和指示Y是动作项目并且具有到期日的先前信息来预测Y是动作项目。

在一些实施例中，动作项目分类器使用逻辑单元235。逻辑单元235可以包括规则、关联、条件、预测和/或分类模型，或者模式推断算法。逻辑单元235能够取决于特定的响应活动模式或者被用于识别响应活动模式的机制而采用许多不同的形式，或者识别观察到的响应活动事件之间的特征相似性以确定与执行与用户命令相关联的任务相对应的模式。例如，逻辑单元235的一些实施例可以采用机器学习机制来确定特征相似性，或者其他统计测量来确定动作项目候选是否是动作项目。

丰富的动作项目生成器280通常负责生成补充和/或修改动作项目的数据，以便澄清和提供针对动作项目的额外事件上下文。如在系统200的示例性实施例中所图示的，丰富的动作项目生成器280包括动作项目丰富282、动作项目上下文生成器286和丰富的动作项目组装器288。动作项目丰富282通常负责识别特定动作项目的内容和丰富所述动作项目。例如，动作项目丰富282的一些实施例识别指示动作项目的特定文本，并且确定和/或澄清与动作项目相关联的数据，诸如拥有者、发言人、到期日或者类似的相关信息。

在一些实施例中，动作项目丰富282包括动作项目边界生成器283和动作项目澄清器285。动作项目边界生成器283通常负责突出显示或者以其他方式定义在更大的文本主体内的动作项目边界(例如，动作项目的开始和结束词语)用于呈现。在一些实施例中，动作项目边界生成器283计算用于呈现的动作项目的开始和/或结束，其指示字符序列边界。例如，实施例可以指示在文本中“我明天将发送文件，您可以随意地处理它”，动作项目是“我将发送”。词语“我”可以被定义为针对动作项目的开始边界，并且词语“明天”可以被定义为结束边界，使得所显示的动作项目文本是“我明天将发送文件”。

在一些实施例中，对动作项目的开始和/或结束边界的识别包括使用一个或多个模型(例如，深度神经网络(DNN))，诸如CNN、递归神经网络(RNN)、递归神经网络)和/或自然语言处理组件(例如，会议内容澄清器261)。例如，识别校正开始可以包括在字符序列内识别动词或者其他词性或词语(例如，人名)，指示发起命令或祈使句(例如，工作、请、Johndoe)。这些指示动作项目的开始，诸如“John，请在星期五之前完成任务X”，其中，John是开始。在一些实施例中，识别正确结束可以包括识别自然语言中断标识符，诸如句点、问号、分号等。这些指示动作项目的结束。例如，使用上面的例示说明，“John，请在星期五之前完成任务X”可以在词语星期五之后直接包括句点，这指示基于句点的动作项目的结束。

在一些实施例中，第一模型被用于识别所呈现的文本的正确开始，而第二模型被用于识别所呈现的文本的正确结束。这些或其他模型技术能够一起进行若干个测试，以使一个网络基于测试来理解句子或者其他字符序列(例如，短语、段落)的含义。因此，模型的这些组合能够预测例如下一个句子是否是第一个句子的答案。在这些实施例中，学习句子或其他字符序列之间的关系，并且标签或分类可以是字符序列候选“是下一个句子”或者“不是下一个句子”。以这种方式，例如能够预测第一个句子是否是开始或跟随第二个句子的句子，或者所述句子是否是随机句子。这在某些情况下会是有用的，例如，会议参与者开始参与动作项目，被打断或者以其他方式参与其他主题的讨论，并且然后所述动作项目继续进行。以这种方式，实施例能够预测前两个字符序列彼此不适配。例如，抄本的一部分可能是：“Bob，我们星期五要开会，所以[第一字符序列]....稍等Jack，在您继续之前让我说....[第二字符序列]我是说Bob，让我们完成项目X[第三字符序列]。”因此，实施例能够预测第一字符序列和第三字符序列一起出现，这可以帮助指示“完成项目X”可能是动作项目的结束，而“Bob”是动作项目的开始。

在可以被用于定义动作项目的开始和/或结束的模型的示例性说明中，能够使用BERT模型或者其他类似模型。例如，BERT通过使用编码器一次或并行读取所有内容(即它是双向的)来生成语言模型，而不是从左到右读取文本。这允许模型基于其事件上下文来学习词语或其他字符序列的上下文。输入是令牌序列(例如，自然语言句子或其他字符序列)，它们首先被嵌入到向量中(例如，经由GloVe或者其他词语嵌入)，并且然后通过神经网络进行处理。所述输出是向量序列，其中，每个向量对应于具有相同索引的输入令牌。这些模型使用定向方案克服了预测下一词语或其他字符序列的典型语言模型。然而，定向方案固有地限制了上下文学习，因为它仅使用在词语或字符序列之前或之后的上下文。

在一些实施例中，定义动作项目的结束包括两个或更多个步骤的算法。可以识别第一现有标点符号或结束字符序列结束标识符(例如，句点、问号、分号等)以确定序列结束标识符左侧或之前的文本的字符序列长度。对于第二步骤，组件可以提取或复制在开始词语或其他字符序列的下一个或后续五个(或者其他预定数量)词语，并且将它们馈送通过DNN以确定第三(或其他预定数量)词语或其他字符序列是否是动作项目的结束位置。在各种实施例中，至少部分地基于预定词语的词性、其对应的经更新的显示文本长度和/或特定词语自身来完成第二步骤，所述特定词语可以是通常与命令或动作项目相关联的词语(例如，在“明天”之前完成动作项目的请求，其中，明天是动作项目的结束)。在各种情况下，动作项目候选越长，词语就越有可能被选取为在字符序列中较早的结束点，以便使所呈现的动作项目更短。相反，动作项目候选越长，词语就越有可能被选取为在字符序列中较晚的结束点，以便使所呈现的动作项目更长。例如，对于短语“Don，请今天拜访Jake”，能够基于所有结束候选词性、词语和长度来确定“拜访”、“Jake”还是“今天”是结束动作项目的最佳词语。鉴于字符序列的长度较短，“今天”是指示动作项目的结束的关键词，以及“今天”的词性，可以选取词语“今天”作为动作项目的结束边界，从而所呈现的动作项目是“Don，请今天拜访Jake。”

在一些实施例中，动作项目边界生成器283还执行去重。对动作项目的去重可以包括移除冗余或重复陈述的动作项目。例如，动作项目“在星期五之前完成Y”可能会在会议中陈述两次，并且因此可以移除其中的一个陈述。验证一致性和合并可以包括组合同一办公室动作的不同陈述版本。例如，第一动作项目可能是“Rex，让我们执行项目Y”。第二动作项目可能会说“所以是的......让我们继续努力完成项目Y。”这两个动作项目可以被合并为一个动作项目，这些动作项目以与这两种陈述一致的方式进行转换，诸如“Rex将执行项目Y”。在一些实施例中，动作项目澄清器使用去重逻辑单元237。在一些实施例中，词语嵌入模型(例如，Word2Vec或者其他结构)可以被用于指示陈述在语义上是否相似(例如，在联署距离内)。因此，当陈述在语义上类似时，则它们能够通过线性地组合或生成单个句子(例如，经由NLP)表示所有陈述来进行组合。

动作项目澄清器285通常负责生成清晰度分数并且澄清动作项目候选，诸如关于动作项目所指的内容、谁拥有动作项目(即，谁负责完成动作项目)、谁陈述该动作项目和/或动作项目何时到期。在一些实施例中，动作项目澄清器285接收具有适当边界或者开始和结束词语的动作项目候选作为输入，如上文关于动作项目边界生成器283所描述的。在一些实施例中，这可以基于由会议监视器250获得的上下文数据、用户简档240中的信息和/或由动作项目候选分类器264做出的分类来获得。在会议或其他事件期间做出的一些陈述是不完整的或者关于上下文的其余部分以其他方式不清楚。因此，动作项目丰富282能够使用上下文数据作为信号来澄清动作项目。例如，会议中的陈述可能会说“好的，从明天开始做X。”仅从该陈述来看，可能不清楚谁在说话以及谁应当从明天开始执行X。然而，会议监视器250从会议之前的聊天中获得的外部上下文数据可能指示Jane Doe应当执行X并且她的老板Alexis将在会议期间告诉她何时完成X。因此，Alexis可以是动作项目的拥有者，并且因此动作项目可以归于她。

在一些实施例中，动作项目澄清器285生成指示动作项目有多清楚的清晰度分数(例如，基于动作项目候选是否指示谁拥有动作项目、动作项目的到期日、谁陈述了动作项目等)。在一些实施例中，该分数是回归模型的一部分，在其中提供了连续分数或分数范围，例如，分数越高，候选越可能清楚，而分数越低，候选越可能不清楚。替代地，在一些实施例中，分数是分类模型的一部分，其中标签是类别并且置信度水平分数能够与标签相关联。在这些实施例中，标签能够是例如“清楚”或“不清楚”。

在一些实施例中，存在三个单独的模型，所述模型中的每个模型被用于确定谁拥有/陈述了动作项目、动作项目是什么以及动作项目何时到期。在一些实施例中，这三个模型是集成模型中集成学习的一部分。集成学习通过组合多个模型来帮助改进机器学习结果。亦即，各种元算法将多种机器学习技术组合到一个预测模型中，以便减少方差或装袋、偏差或提升，和/或改进预测或堆叠。以这种方式，例如，能够将“谁”、“什么”和“何时”三个分数中的每个分数组合起来做出预测。使用这三个分数，能够确定字符序列是否具有明确的对象，诸如名词、名称(指示“谁”)、时间指示符(例如，“明天”或者表示“何时”的其他日期)等。利用集成学习，与现有技术相比，使用相对小的训练数据集能够获得更好的预测性能。

在用于确定“谁”、“什么”和“哪里”的模型的说明性示例中，能够使用DNN、朴素贝叶斯、HMM和/或随机森林模型。例如，使用随机森林用于“谁”清晰度分数，对应于叶节点的分类标签可以是在上下文数据中所指示的每个会议出席者的姓名。在每个决策树内的至少一部分根节点和分支节点测试可能不同但是到达相同的叶节点。例如，两个叶节点可能是指示会议参与者的Bob和Jack。第一决策树的一个分支节点可以是动作候选是否具有特定的话语或短语，诸如“让我们点燃火…”，这可能指示Bob基于Bob的类似话语说出了这一点，如在过去会议的历史外部上下文数据中所指示的。因此，沿着树向下遍历可能是沿着通往Bob而不是Jack的路径向下。另外，不同的决策树可能具有特定语音识别指纹的分支节点测试，并且如果实时或语音记录的指纹与Bob相匹配，则可能选择Bob叶节点。然后，能够进行投票以查看在每个决策树中哪些叶节点被选择最多，使用该示例Bob已经被一致选择。在一些实施例中，能够为动作项目的拥有者、动作项目何时到期以及动作项目是什么执行类似的过程。

在一些实施例中，动作项目澄清器285能够将内容字符序列映射到发言人或负责以任何合适方式完成动作项目的人的身份。例如，在一些实施例中，语音识别组件能够被用于音频内容输入以将输入的音素映射到特定用户的已知或预定音素库(例如，如在上下文数据的用户行为历史内发现的)。因此，语音识别组件能够在用户简档240中记录每个用户的语音(例如，能够潜在地参加会议的每个用户)。以这种方式，能够预测由特定用户说出特定解析字符序列。替代地或另外地，映射或关联能够包括在每个字符序列旁边带有人名或其他标识符的书面抄本。在说明性示例中，动作项目澄清器285能够将会议的书面抄本作为输入。句子“我们需要在星期五之前完成草稿”可以被令牌化为个体词语，其中，句子的主语被标记(例如，我们)，句子的谓语被标记(例如，完成)，以及句子的宾语被识别(例如，草稿)，以及语义上下文，诸如“将在星期五之前完成动作项目草稿”，以及指示经理John说了这句话。

动作项目上下文生成器286通常负责确定和/或引起与动作项目相关联的特定量的事件上下文(和/或外部上下文)的呈现。为方便起见，可以向用户示出事件上下文，并且当用户仍不清楚与显示的动作项目相关联的信息时可能很有用。例如，即使在动作项目丰富282已经生成了所有必要的信息并且随后显示了动作项目之后，用户可能仍然不理解，例如，动作项目指的是什么或者谁拥有该动作项目。因此，用户能够向下滚动、打开窗口或者以其他方式查看事件抄本的其他部分以查看事件上下文从而确定该不清楚的信息。在一些实施例中，至少部分地基于关于动作项目丰富282的清晰度分数和/或其他功能(例如，动作项目候选的开始和结束边界)来确定要显示的特定量的事件上下文。例如，所显示的事件上下文的量可以与清晰度分数具有反比关系。亦即，指示动作项目候选清楚的清晰度分数越高，提供用于显示的上下文就越少。相反，指示动作项目候选不清楚的清晰度分数越低，提供的上下文就越多。在一些实施例中，如果清晰度分数超过阈值分数，则示出特定量的事件上下文。相反，如果清晰度分数低于阈值分数，则示出另一特定量的事件上下文。

丰富的动作项目组装器288通常负责生成动作项目的列表并且也可以提供相关信息，诸如事件上下文。例如，丰富的动作项目组装器288能够生成动作项目的列表，并且将其与动作项目丰富282确定的其他信息合并，诸如谁拥有动作项目、谁陈述了动作项目、动作项目何时到期以及动作项目是什么。在一些实施例中，丰富的动作项目组装器288另外地或替代地组装其他上下文数据，诸如文件、项目名称和/或其他相关联的信息。例如，会议可能已经包括POWERPOINT演示文稿，该演示文稿可能具有动作项目列表或者其他信息以用于显示。

在一些实施例中，丰富的动作项目生成器280使用丰富逻辑单元239。丰富逻辑单元239可以包括用于确定与动作项目相关的丰富内容的规则、关联、条件、预测和/或模型或模式推断算法。例如，取决于与动作项目、事件上下文和/或外部上下文信息相关联的特定任务，丰富逻辑单元239能够采取许多不同的形式。丰富逻辑单元239的一些实施例可以包括一个或多个模型、机器学习机制和/或其他统计测量以确定动作项目候选的边界、澄清动作项目和/或生成动作项目上下文，诸如上文结合丰富的动作项目生成器280或者其子组件(例如，关于动作项目边界生成器283和/或动作项目澄清器285所描述的机器学习模型)所描述的。在一些实施例中，丰富逻辑单元239能够被包含在图3的(一个或多个)清晰度模型/层308、图3的开始/结束模型/层303中或者由系统300以其他方式使用，如结合图3进一步描述的。

继续图2中的系统200，反馈处理器270通常负责捕获或者接收用户反馈，并且重新训练模型以更新模型或者以其他方式将反馈记录在存储器中。例如，根据一个实施例，提供用户界面，其中，用户能够选择按钮(或者以其他方式提供输入)，所述按钮指示所述动作项目不可理解(例如，就谁陈述了办公室动作或者谁拥有该办公室动作而言)或者根本不是动作项目。反馈处理器270可以记录所述反馈输入，并且利用所述反馈输入来重新配置特定逻辑单元或者重新训练或者以其他方式调谐用于生成丰富动作项目的特定的一个或多个模型。例如但不限于，在一些实施例中，可以经由反馈处理器270调谐或重新训练的(一个或多个)模型能够包括结合图2所描述的动作项目识别逻辑单元230或丰富逻辑单元239，或者以下关于图3进一步描述的动作项目预测模型/层302和/或(一个或多个)清晰度模型/层308。在说明性示例中，如果用户指示所显示的动作项目不是动作项目，则动作项目预测模型/层302能够使用该信息来确定较低的分数(或者其他置信水平)，从而在将来的时间，如果将相同或相似的动作项目候选提交为动作项目，则将其在置信度中标记为较低作为实际动作项目。在一些实施例中，反馈处理器270如结合图8A和图8B所描述的那样处理反馈。

示例性系统200也包括呈现组件220，其通常负责向用户呈现内容和相关信息，诸如与用户反馈相关的内容。呈现组件220可以包括在用户设备上、跨多个用户设备或者在云中的一个或多个应用或服务。例如，在一个实施例中，呈现组件220管理跨与用户相关联的多个用户设备向所述用户呈现内容。基于内容逻辑单元、设备特征和/或其他用户数据，呈现组件220可以确定在哪个(哪些)用户设备上呈现内容，以及呈现的上下文，诸如如何(或者以什么格式以及多少内容，这可能取决于用户设备或上下文)呈现、何时呈现。特别地，在一些实施例中，呈现组件220将内容逻辑单元应用于设备特征或者感测到的用户数据以确定内容呈现的各方面。

在一些实施例中，呈现组件220生成与由动作项目丰富282、动作项目上下文生成器286和/或丰富的动作项目组装器288生成的信息相关联的用户界面特征。这样的特征能够包括界面元素(诸如图形按钮、滑块、菜单、音频提示、警报、警告、振动、弹出窗口、通知栏或状态栏项目、应用内通知或者与用户交互的其他类似特征)、查询和提示。例如，呈现组件220能够呈现包括由动作项目丰富282确定的动作项目的突出显示边界的动作项目。呈现组件220能够另外地或替代地呈现其他缺失信息，诸如谁拥有动作项目，谁陈述了动作项目、动作项目的到期日以及动作项目指的是什么，如由动作项目丰富282所确定的。呈现组件220能够另外地或替代地呈现如由动作项目上下文生成器286确定的所需的特定量的上下文。呈现组件220能够将由丰富的动作项目组装器288组装的信息作为输入，并且使得在用户界面上呈现该信息。

在一些实施例中，与呈现组件220结合操作的个人助理服务或应用确定何时以及如何(例如，仅呈现动作项目或具有元数据的动作项目，而不是整个会议抄本)呈现内容。在这样的实施例中，包括内容逻辑单元的内容可以被理解为对呈现组件220(和/或个人助理服务或应用)推荐何时以及如何呈现通知，这可以被个人助理app或演示组件220覆盖。

继续图2，如先前所描述的，示例性系统200可以包括一个或多个消费者应用290或者与其结合操作。消费者应用290通常指代一个或多个计算机应用或服务，诸如在线/云应用或本地存储的应用，其消费或者利用由系统200确定的丰富的动作项目信息。具体地，消费者应用290可以接收针对特定用户的丰富的动作项目信息，并且向用户呈现、管理或安排动作项目的各方面。在一些实施例中，消费者应用290可以利用呈现组件220来向负责完成和/或陈述动作项目的用户(和/或作为会议参与者的其他用户)提供丰富的动作项目。消费者应用290的示例可以包括但不限于用于促进会议或通信的计算机应用或服务(例如，MICROSOFT

)；电子邮件、消息传递、聊天或电话；项目管理；日历或日程安排；以及任务列表或待办事项应用(例如，

)。在一些实施例中，消费者应用290可以访问丰富的动作项目(或者其内容的一部分)。

转向图3，提供了根据一些实施例的示例性系统300的框图，其图示了能够被用于生成丰富的动作项目和相关联数据的模型(或者单个模型的层)，以及能够如何基于接收反馈来调谐模型或层。在一些实施例中，图2的丰富的动作项目生成器280利用在图3中所图示的开始/结束模型/层306和/或(一个或多个)清晰度模型/层308，以预测或推断动作项目和/或者与动作项目相关联的丰富内容。同样地，在一些实施例中，图2的动作项目确定器260使用动作项目预测模型/层302进行预测或推断。动作项目预测模型/层302(例如，由动作项目候选分类器264)用于分类或者以其他方式预测一组字符是否是动作项目。对动作项目预测模型/层302的输入是一组字符序列，诸如存在动作项目和非动作项目两者的整个会议的抄本，其可以包括事件上下文。在一些实施例中，也可以提供外部上下文。在一些实施例中，动作项目预测模型/层302是CNN模型或者其他合适的机器学习模型。所述输出是动作项目候选304的集合或列表，以及上下文数据，这两种都是用于开始/结束模型/层306的输入。

开始/结束模型/层306(例如，由动作项目丰富282)用于确定动作项目候选的最佳开始和/或结束，诸如上文关于动作项目边界生成器283生成动作项目候选的边界所描述的。例如，开始/结束模型/层306能够采用所有的事件上下文并且利用具有更多事件上下文(例如，添加词)来补充动作项目候选，使得补充的信息现在是动作项目候选。替代地或另外地，该模型可以被用于从动作项目候选中移除字符序列，使得新的动作项目候选反映被移除的文本。在说明性示例中，开始/结束模型/层306能够使用动作项目候选“他将发送”以及事件上下文的其余部分来添加事件上下文，使得新的动作项目候选是“明天他将发送文件”，其中，“明天文件”是最初直接位于动作项目候选“他将发送”之后的事件上下文。以这种方式，“他”和“明天”标记了针对新的动作项目候选的边界，其中，“他”是动作项目候选的开始词语，并且“明天”是动作项目候选的结束词语。开始/结束模型/层306的输出是新的动作项目候选(例如，“明天他将发送文件)和经更新的上下文数据320-1，因为在一些实施例中一些上下文数据320现在可能已经成为动作项目候选。然而，在一些实施例中，上下文数据320-1是与上下文数据320相同的上下文数据。在一些实施例中，所述开始/结束模型/层是额外的机器学习模型或模型集，诸如深度学习机器学习模型来确定动作项目候选的边界。

组件(例如，动作项目丰富282)然后使用来自开始/结束模型/层306和(一个或多个)清晰度模型308的该输出信息来修改或补充具有至少部分完成或至少部分澄清在一个或多个动作项目候选内或者与其关联的任何缺失或未完成信息的新的动作项目候选。例如，使用上文说明的“明天他将发送文件”，可以生成清晰度分数，指示不清楚是谁做出该陈述以及谁拥有所述陈述。当上下文数据和(一个或多个)动作项目候选通过(一个或多个)清晰度模型/层308运行时，输出304-2能够包括做出该陈述并且拥有该陈述的(一个或多个)人的姓名，以及动作项目候选。例如，新的输出304-2可以包括动作项目候选304-1内的替换词，诸如“[John]：“明天[Jake]将发送文件”，指示John做出了陈述，而Jake是负责明天发送文件的人。替代地，在最终输出304-2处不需要提供嵌入在动作项目候选304-1中的替换词，而是能够与补充信息一起输出动作项目304-1。例如，使用上文的说明，输出“明天他将发送文件”能够利用诸如“John做出该陈述，Jake负责”之类的信息来补充，表示输出304-2。在一些实施例中，(一个或多个)清晰度模型/层能够是一个或多个机器学习模型，诸如集成模型，或者关于动作项目丰富282所描述的任何其他合适的模型。在一些实施例中，输出304-2是向计算设备呈现或显示的内容，诸如在用户界面内。

反馈310表示指示所呈现的动作项目是否确实是动作项目或者是否仍然存在缺失或不清楚的信息的任何用户反馈。由用户做出的、指示动作项目实际上不是(或者是)动作项目的输入被馈送到动作项目预测模型/层302。由用户做出的、指示仍然不清楚或缺失(或者动作项目是正确的)的信息(例如，动作项目的发言人、动作项目的拥有者、动作项目的到期日)的输入被馈送到(一个或多个)清晰度模型/层308。这些输入能够被用于对模型/层的额外的调谐或训练，以便从该用户反馈中学习。例如，响应于在用户界面上接收到对拇指向下图标的选择(表示所呈现的动作项目不是动作)，动作项目预测模型/层302能够被调谐以使得相同或相似的提交动作项目候选朝着实际为动作项目而得分较低(例如，置信水平较低)。

图4是根据一些实施例的嵌入到事件上下文400中的所呈现的动作项目404的示意图。在一些实施例中，事件上下文400在用户界面或显示文本内呈现，诸如在聊天室或者其他在线事件场所中。如在图4中所图示的，动作项目404“我们应该做它”可能显得很不清楚，诸如“谁”要做，以及“它”指的是什么。本公开的各种实施例能够使用其他事件上下文，诸如事件前上下文402(例如，在输入动作项目候选404之前输入的字符序列)和事件后上下文406(例如，在输入动作项目候选404之后输入的字符序列)。替代地或另外地，各种实施例能够使用外部上下文数据，诸如文本、电子邮件、日历数据等。例如，使用图4的例示说明，实施例(例如，经由BERT模型的动作项目丰富282)能够预测“它”是指基于由Mark和Emily所做的陈述402-2和402-1以及描述延时图表作为会议主题的外部电子邮件来结束延时图表。另外，实施例能够基于由Emily做出的陈述406-1来预测到期日是“本周”。

图5A图示了根据一些实施例的、指示会议事件的内容的示例性屏幕截图500。图5A表示在会议参与者或出席者之间的虚拟或者在线会议或聊天。屏幕截图500可以表示事件的所有事件上下文，诸如在事件期间说出或陈述的所有内容。这可以包括不指示动作项目的陈述或线程(诸如503和501)以及包括动作项目的陈述或线程(诸如505)。在一些实施例中，屏幕截图500(和/或500-1、500-2)或类似屏幕截图内的所有内容都被提供用于显示并且被包含在图2的输出304-2中，或者表示图2的动作项目丰富282的输出。在一些实施例中，屏幕截图500(和/或500-1、500-2)由图2的呈现组件220来生成。

图5B图示了根据一些实施例的、指示动作项目/动作项目候选的列表的示例性屏幕截图500-1。在一些实施例中，响应于接收到对按钮502的选择(例如，在图5A的屏幕截图500内)，列出每个动作项目以及事件上下文。例如，对于陈述或字符序列504，显示事件前上下文504-1以及动作项目候选504-2两者。如在陈述504内所图示的，动作项目候选504-2被突出显示，其示出动作项目的边界或动作项目开始和结束的位置。亦即，词语“我”开始动作项目504-2，并且词语“早晨”结束动作项目504-2。在一些实施例中，如上文所图示的，动作项目丰富282找到最佳边界，并且引起对边界的呈现，如在动作项目504-2中所图示的。例如，动作项目丰富282可以使用开始/结束模型/层306来定义和呈现突出显示的边界。突出显示可以包括叠加数据或者以其他方式改变字符序列的字体或格式，诸如在动作项目504-2中图示出的加粗字符序列。在一些实施例中，按钮502内的符号(1)指示在特定事件(或者特定事件的特定UI视图)内仅确定了1个动作项目，但是可以理解在特定视图内可以存在任意数量的动作项目。

图5C图示了根据一些实施例的、指示各种其他用户界面特征的示例性屏幕截图500-2。在一些情况下，陈述或其他字符序列不包括任何动作项目，诸如陈述520。因此，实施例能够接收对用户界面元素514(垃圾桶)的选择的指示，其指示用户输入指示相关联的陈述或字符序列不是动作项目。例如，用户一看到字符序列520，用户就能够将图形指针悬停在元素514上，此时显示提示“这不是动作项目”。用户然后能够选择元素514，此时实施例(例如，反馈处理器270)接收选择并且移除字符序列520和/或者以其他方式将字符序列520标记为不是动作项目。替代地，实施例也能够接收对用户界面元素512的选择的指示。响应于接收对元素512的选择的指示，这对应于指示相关联的陈述或字符序列是动作项目的用户输入，实施例(例如，反馈处理器270)能够将相关联的字符序列标记为动作项目。如下文更详细描述的，对用户界面元素514和512或类似元素的选择能够被用于训练机器学习系统。

响应于接收到对“隐藏上下文”特征516的选择的指示，实施例(例如，动作项目上下文生成器286)能够移除额外事件上下文以供显示。类似地，响应于接收到对“显示上下文”特征518的选择的指示，实施例(例如，动作项目上下文生成器286)能够添加事件上下文以供显示。这可能出现在例如用户仍然不清楚与动作项目相关联的信息(诸如动作项目的到期日等)的情况。替代地，用户可能仅想要查看动作项目候选或者仅查看包括动作项目候选的字符序列(例如，图5B的陈述504)，并且因此用户可能希望折叠或移除其他事件上下文。如上文所描述的，在一些实施例中，至少部分地基于动作项目候选的清晰度或清晰度分数来最初呈现或显示事件上下文的量。在此之后，用户仍然可以选择特征516和/或518来手动地调整所呈现的事件上下文。

图6是根据一些实施例的用户界面的示例性屏幕截图600。在一些实施例中，屏幕截图600包括图3的输出304-2的一些或全部。在一些实施例中，屏幕截图600包括系统200的最终输出，如有图2的呈现组件220所提供的。在一些实施例中，所述屏幕截图包含由图2的动作项目丰富282确定或提供的信息。图6图示了各种会议事件笔记和特定的用户界面元素。用户界面元素602表示被配置为接收用户已经手动添加的动作项目的字段或数据对象。为简单起见，未示出元素的文本。用户界面元素604表示实施例(例如，系统200)已经生成或者以其他方式从事件上下文隐式提取的动作项目。用户界面元素606是可选特征，其被配置为接收用户选择，所述用户选择指示确认动作项目是准确的和/或清楚的。替代地，在一些实施例中，用户界面元素606被用于扩展或示出更多上下文。在一些实施例中，如所图示出的上下文较少，例如，通过指示示出的较少上下文的删除线标记。

用户界面元素608是可选特征，其被配置为接收指示用户请求编辑动作项目内的文本或者与动作项目相关联的其他事件上下文的用户选择。因此，在一些实施例中，响应于接收到元素608已经被选择的指示，特定实施例可以使得动作项目候选604内的文本变为可编辑的。例如，在对元素608的选择之后，用户可以输入动作项目的拥有者、截止日期、发言人等。

用户界面元素610是可选特征，其被配置为接收指示用户反馈的用户选择，即动作项目实际上不是动作项目或其他信息(例如，发言人、拥有者等)不清楚。用户界面元素612是可选特征，其被配置为接收指示关于特定动作项目(例如，动作项目604)的用户反馈的用户选择。例如，响应于接收到对特征612的选择，一些实施例(例如，呈现组件220)可以引起对窗口、字段或其他元素的呈现，使得用户能够手动地输入关于对应动作项目的注释，诸如拥有者、发言人、截止日期等。用户界面元素614是被配置为接收手动用户输入的字段或其他对象，所述手动用户输入指示关于整个会议事件或所有动作项目列表的一般反馈。例如，用户界面元素614可以接收来自用户的自然语言输入，诸如“总体而言，动作项目是准确的”或者“注意：下一次会议是25日星期三”。在一些实施例中，对元素606、608、610、612和/或614的选择能够被实施例(例如，作为反馈310的反馈处理器270)用于训练或调谐一个或多个机器学习模型，这在下文详细地描述。

图7是根据一些实施例的用户界面的示例性屏幕截图700。在一些实施例中，屏幕截图700包括图3的输出304-2的一些或全部。在一些实施例中，屏幕截图700包括系统200的最终输出，如由图2的呈现组件220所提供的。在一些实施例中，屏幕截图700包含由图2的动作项目丰富282确定或提供的信息。图7图示了各种事件动作项目、上下文数据和特定用户界面元素。

用户界面元素702是可选择的并且被配置为响应于其选择而引起显示更多内容或事件内容。例如，响应于接收到对用户界面元素702的选择的指示，实施例可以导致除了动作项目706之外还可以显示更多的事件上下文，类似于事件上下文708(例如，在动作项目706被陈述之前和/或之后进行的陈述)。用户界面元素704是可选的，并且被配置为响应于其选择而引起显示较少的内容。例如，响应于接收到对用户界面元素704的选择的指示，实施例可以引起对屏幕截图700内的上下文数据708的移除，使得与该事件上下文相关联的仅有显示项目是动作项目710。

所呈现的动作项目710的标记指示其边界被突出显示(例如，如上文所描述地由动作项目丰富282生成的，加下划线和加粗)。以这种方式，用户能够快速地识别哪些文本对应于动作项目以及哪些文本不对应，因为非动作项目数据未被突出显示。在一些实施例中，与每个动作项目候选(例如，710、706)一起呈现的事件上下文的默认数量或量由对应的动作项目的清晰度分数来确定，如上文关于图2的动作项目上下文生成器286所描述的。例如，可以生成指示动作项目706没有缺失任何信息或者以其他方式清楚的高清晰度分数。作为响应，可以如在图7所图示地仅显示动作项目706。在另一示例中，可以生成指示动作项目710缺少信息或不清楚的低清晰度分数。作为响应，可以另外使得事件上下文708与动作项目710一起显示，如在图7中所图示的。

用户界面元素712是可选择的并且被配置为响应于其选择引起对事件上下文或其他内容的扩展。例如，响应于接收到对元素712的用户选择的指示，实施例(例如，呈现组件220)可以使得更多的事件上下文和/或动作项目被显示，诸如事件的整个抄本。例如，屏幕截图700可以表示在会议中识别的动作项目的列表以及其选择性生成的事件上下文，如上文所描述的。响应于对用户界面元素712的选择，实施例可以引起显示会议事件的整个抄本或相对于事件上下文的额外事件上下文，如作为接收到对元素702和/或704的选择的指示的结果所示的。

用户界面元素714、716和718表示针对特定动作项目706的不同用户反馈特征。相同的用户界面元素也被显示在其他对应的动作项目下，诸如动作项目710。在一些实施例中，用户界面元素714、716和718执行分别与图6的用户界面特征606、610和612相同或相似的功能。在一些实施例中，用户界面元素714另外地或替代地包括分别与图5的用户界面元素514和512相同或相似的功能。因此，实施例(例如，反馈处理器270)能够接收一个或多个选择的指示，所述选择指示动作项目清楚/不清楚或者以其他方式缺失信息和/或是/不是实际的动作项目。以这种方式，用户反馈(例如，反馈310)能够由一个或多个机器学习模型用于基于该信息对动作项目和/或要显示的事件上下文的量进行未来预测，如上文所描述的。

图8A图示了根据一些实施例的示例性动作项目候选以及相关联的用户界面元素。在一些实施例中，用户界面元素803、805和807表示或执行分别与图7的用户界面元素714、716和718和/或分别与图6的用户界面特征606、610和612相同的功能。在一些实施例中，用户界面元素803另外地或替代地包括分别与图5的用户界面元素514和512相同或相似的功能。因此，实施例(例如，反馈处理器270)能够接收对一个或多个选择的指示，所述选择指示动作项目801清楚/不清楚或者以其他方式缺失信息和/或是/不是实际的动作项目。以这种方式，用户反馈(例如，反馈310)能够被一个或多个机器学习模型用于基于该信息对动作项目和/或要显示的事件上下文的量进行未来预测，如上文所描述的。这样的用户反馈在图8B中被图示出，其是图示出能够如何使用图8A的用户选择来训练或调谐相应的机器学习模型的示意图。

响应于接收到对用户界面元素805的用户选择的指示，实施例(例如，呈现组件220)能够引起对窗口809的显示。随后，实施例能够在窗口809内接收对标记的用户选择，其写着“这不是动作项目”或者“这很难理解”。响应于接收到选择了“这不是动作项目”文本的指示(表示如在图8B中所图示的“负反馈”812)，然后通过神经网络806(其可以是任何机器学习模型)运行，使得能够调谐实施例或者以其他方式学习这一点以用于未来的预测804。例如，响应于该选择，实施例(例如，呈现组件220)可以使得动作项目801从显示中移除或者以其他方式未突出显示指示其是动作项目。这样的移除能够发生在最初指示动作项目801的同一会话期间或者用于未来会话。替代地或另外地，能够基于对元素805的选择对任何未来相似的动作项目候选朝向作为动作项目的概率较低进行评分。

以类似的方式，响应于接收到对用户界面元素803的用户选择的指示(表示如在图8B中所图示的“正反馈”814)，实施例(例如，呈现组件220)能够通过神经网络804运行选择，使得实施例能够被调谐或者以其他方式学习这一点以用于未来的预测804。正反馈810指示用户指示特定上下文确实是动作项目。例如，响应于该选择，实施例(例如，呈现组件220)可以使得动作项目801被保持以供显示或者以其他方式被突出显示指示其是动作项目(针对当前会话和未来会话两者)。替代地或另外地，任何未来相似的动作项目候选能够基于对元素803的选择朝着作为动作项目的更高概率进行评分。在一些实施例中，神经网络806表示图3的动作项目预测模型/层302。

响应于接收到对用户界面元素805的用户选择的指示，实施例(例如，呈现组件220)能够引起窗口809的显示。响应于接收到“这很难理解”文本被选择的指示(表示如在图8B中所图示的“负反馈”808)，然后该选择通过神经网络802(其可以是任何机器学习模型)运行，使得实施例能够被调谐或者以其他方式学习这一点以用于将来的预测804。例如，响应于该选择，实施例(例如，呈现组件220)可以使得动作项目801从显示中移除或者以某种方式被修改，诸如添加或替换信息(例如，动作项目拥有者的姓名、发言人的姓名、动作项目的截止日、动作项目真正是什么等)。这样的修改能够发生在最初显示动作项目801的同一会话期间或者用于未来会话。替代地或另外地，能够基于对元素805的选择以较低的清晰度分数对任何未来的相似动作项目候选进行评分。

以类似的方式，响应于接收到对用户界面元素803的用户选择的指示(表示如在图8B中所图示的“正反馈”810)，实施例(例如，呈现组件220)能够运行所述选择通过神经网络802，使得实施例能够被调谐或者以其他方式学习这一点以用于未来的预测804。正反馈810指示用户指示动作项目不难理解。例如，响应于该选择，实施例(例如，呈现组件220)可以使得动作项目801被保持以供显示或者以其他方式被突出显示指示其是清楚陈述的动作项目(例如，在当前会话或未来会话中)。替代地或另外地，能够基于对元素803的选择将任何未来的相似的动作项目候选朝着更高的清晰度分数进行评分。在一些实施例中，神经网络802表示图3的(一个或多个)清晰度模型/层308。

现在转到图9，根据一些实施例，用于提供丰富的动作项目的示例性过程900。过程900(和/或者在本文中所描述的任何功能)可以由包括硬件(例如，电路、专用逻辑单元、可编程逻辑单元、微代码)、软件(例如，在处理器上运行以执行硬件模拟的指令)、固件或者其组合的处理逻辑单元来执行。尽管在本公开中所描述的特定框以特定顺序以特定量引用，但是应当理解，任何框可以与任何其他框基本平行或者在任何其他框之前或之后出现。此外，可以存在比所图示的更多(或更少)的框。例如，在一些实施例中，过程900不包括框965。任何添加的框可以包括体现在本文中所描述的任何功能的框。计算机实现的方法、系统(其包括具有至少一个处理器和至少一个计算机可读存储介质的至少一个计算设备)和/或如在本文中所描述的计算机存储介质可以执行或者被使得执行过程900或者在本文中所描述的任何其他功能。在一些实施例中，框905至965中的一些或每个框可以是自动化的或者以其他方式以非手动方式发生(例如，没有肯定的用户设备请求)，这改进了现有技术，如上文所描述的。

根据框905，确定会议内容(例如，由会议监视器250)。例如，会议活动监视器252能够使用一个或多个传感器或其他组件来监视聊天、呈现的上下文或者抄本的一部分。上下文信息提取器/确定器254能够确定事件的上下文信息，诸如谁出席或受邀参加会议、会议的主题、会议的位置或者抄本或会议内容自身内的其他上下文或字符序列。然后，会议内容组装器256能够生成丰富的会议活动时间线，诸如包括每个对话的时间线和指示对话何时开始/停止的时间戳的标签或结构化数据。在框905的特定实施例中，从会议确定内容，这可以通过监视关于会议的会议信息来确定，诸如抄本信息，或者关于会议的其他信息，诸如出席者、会议主题和/或相关信息上下文信息。在一些实施例中，框905包括监视会议以确定一组会议内容。特别地，在一个实施例中，会议监视器可以接收在聊天或其他在线论坛中的每个用户输入的指示，这指示现场会议。

根据框915，(例如，由动作项目确定器260)确定一组动作项目候选。框915的实施例基于在框905中确定的会议内容信息来确定一组候选动作项目候选。例如，基于会议的会话和上下文数据，可以确定一组可能的动作项目。步骤915的一些实施例可以如结合动作项目候选分类器264(图2)所描述的那样执行。在框530的一些实施例中，能够首先澄清会议内容，诸如结合图2的会议内容澄清器261所描述的。在框530的一些实施例中，然后能够经由图2的动作项目候选标识符262来识别动作项目候选，并且然后经由动作项目候选分类器264来确定。在一些实施例中，步骤520的额外细节结合图2中的动作项目确定器260来描述。在一些实施例中，在框915处确定的动作项目能够包括动作项目候选(例如，由动作项目确定器260和/或丰富的动作项目生成器280确定)。在一些实施例中，能够使用存储装置225内的逻辑单元230(例如，经由CNN或者其他机器学习模型)来完成对动作项目候选的确定。

根据框925，生成动作项目的丰富内容。例如，生成诸如谁负责完成动作项目、动作项目的到期日、谁是动作项目的发言人以及动作项目具体是指什么等信息。在一些实施例中，框925由图2的动作项目丰富282执行，使得能够确定动作项目的边界和/或能够生成清晰度分数和相关联信息，如关于图2所描述的。在一些实施例中，能够使用存储装置225内的丰富逻辑单元239(例如，经由一个或多个机器学习模型)来完成动作项目的丰富内容的生成。

根据框935，生成动作项目上下文。在一些实施例中，在框935中所生成的上下文是任何上下文数据，诸如动作项目被嵌入其中或者以其他方式与之相关联的事件上下文。例如，返回参考图4，能够生成特定量的事件前上下文402和事件后上下文406以准备显示。在一些实施例中，所生成的动作项目上下文经由动作项目上下文生成器286发生，如上文关于图2所描述的。

根据框945，(例如，由丰富的动作项目组装器288)组装丰富的动作项目。例如，不仅可以组装动作项目，而且可以组装特定量的上下文(例如，由动作项目上下文生成器286确定)、动作项目的特定边界(例如，由动作项目边界生成器283确定)和/或各种缺失或不清楚的信息(例如，由动作项目澄清器285确定)，诸如动作项目的拥有者/发言人、动作项目的到期日等。例如，能够以结构化或标记的格式组装丰富的动作项目，所述格式包括上文所描述的数据或者被上文所描述的数据替换(例如，动作项目拥有者/发言人)。

根据框955，能够提供丰富的动作项目。在一些实施例中，提供所述动作项目包括在用户界面或其他显示的格式上根据框945生成所组装的丰富的动作项目。例如，框955能够包括关于图4、图5A、图5B、图5C、图6、图7和/或图8A生成类似的用户界面(或者在用户界面内的数据)。例如，可以在动作项目列表中提供具有适当突出显示的边界的动作项目，以及允许用户扩展或最小化可见事件上下文的量或提供反馈的可选特征。在一些实施例中，经由图2的呈现组件220执行根据框955的丰富的动作项目的提供。

根据框965，特定实施例更新丰富的动作项目相关逻辑单元。在一些实施例中，框965基于接收到用户反馈而发生。例如，根据框955提供丰富的动作项目之后，用户能够查看显示的丰富的动作项目，并且确定其实际上不是动作项目和/或所显示的动作项目的各方面仍然不清楚(例如，拥有者/发言人、到期日等)。因此，实施例能够接收指示该反馈的用户选择并且使用所述数据来更新丰富的动作项目。在一些实施例中，更新近乎实时地发生，使得该信息在最初提供丰富的动作项目的同一会话期间在后台更新。在一些实施例中，所述更新替代地或另外地发生在随后的会话中。在一些实施例中，由用户发布的反馈被一个或多个机器学习模型(例如，丰富逻辑单元239和/或动作项目识别逻辑单元230)用作训练或调谐数据，以便使后续预测更准确。例如，在一些实施例中，所述反馈能够表示反馈310，该反馈310被提供回图3的动作项目预测模型/层302和(一个或多个)清晰度模型/层308。在一些实施例中，框965包括如关于图2的反馈处理器270所描述的功能。

现在转到图10，根据一些实施例，用于生成用户界面的示例性过程1000。过程1000(和/或者在本文中所描述的功能中的任意功能)可以由包括硬件(例如，电路、专用逻辑单元、可编程逻辑单元、微代码)、软件(例如，在处理器上运行以执行硬件模拟的指令)、固件或者其组合的处理逻辑单元来执行。尽管本公开中描述的特定框以特定次序以特定量引用，但是应当理解，任何框可以与任何其他框基本平行或者在任何其他框之前或之后出现。此外，可以存在比所图示的更多(或更少的)框。例如，在一些实施例中，过程1000不包括框1006和/或1008。任何添加的框可以包括体现在本文中所描述的任何功能的框。计算机实现的方法、系统(包括具有至少一个处理器和至少一个计算机可读存储介质的至少一个计算设备)和/或如在本文中所描述的计算机存储介质可以执行或者被引起执行过程1000或者在本文中所描述的任何其他功能。在一些实施例中，框1004至1012中的一些或每个框可以是自动化的或者以其他方式以非手动方式发生(例如，没有肯定的用户设备请求)，这改进了现有技术，如上文所描述的。

根据框1002，(例如，由会议监视器250)检测事件或事件的一个或多个部分的指示。所述事件包括由一个或多个事件参与者或出席者在会议事件中提供(例如，讲述或键入)的自然语言内容。例如，所述事件能够是3个参与者的会议，并且能够检测到的会议事件的一部分是第一参与者的开场白。在一些实施例中，一个或多个用户设备、传感器或者其他设备被查询(例如，由会议监视器250)以确定会议已经开始或者将要开始，这可以是事件的指示。因此，当会议参与者开始参与讨论时或者当识别会议将开始的时间时，能够近乎实时地检测到所述事件的指示。例如，使用来自日历、文本或者其他数据的上下文数据，能够确定会议将在下午4点开始。因此，会议监视器250能够例如使得要发送到会议地点附近或者在线的麦克风设备的控制信号被激活，此时检测到或者响应于接收到会议的会议参与者的第一次发言将检测到会议事件。在一些实施例中，检测事件的“指示”包括检测何时开始。替代地或另外地，检测对事件的指示能够包括检测事件的至少一部分或者事件的抄本(例如，检测人何时发言以开始会议)。

在一些实施例中，当事件完成时，能够检测事件的完整抄本或副本。例如，设备可以记录整个会议事件并且管理员能够将会议事件上传到计算设备上，这使得自然语言文本被输出(例如，经由语音到文本)，此时所述抄本能够被检测到。出于例示说明目的和下文所描述的示例，会议活动的完整示例抄本可以如下：“......您周末过得如何。太好了…我们去钓鱼了。看来Bob要来了。好的，让我们开始吧，您还记得我们上次会议讨论了销售数据。本季度我们做得很好，但我们需要做更多。John，您的业务部门做得怎么样？我们很公平，利润为X。我们肯定需要改进。设置目标[电话响起，暂停]设置目标为下一季度的利润额为X。好的，Jack，我们给活动协调员打过电话吗？是的，但我没有找到他。好吧，这次给他发短信。有时他不接电话。实际上，我现在就给他发短信。Jake，在我忘记之前，我的女儿也需要从学校接走。您能做到吗？是的。”

根据框1004，(例如，由动作项目候选分类器264)能够确定一组动作项目候选。一些实施例能够根据与事件相关联的多个字符序列来计算一组动作项目候选。动作项目可以是在会议事件中指示的任务，所述任务被请求完成以促进与会议事件相关联的特定目标或目的。在一些实施例中，框1004包括经由自然语言处理对会议事件的抄本进行令牌化，以清理或者以其他方式提供针对预测动作项目的洞察(例如，通过会议内容澄清器261)。令牌化能够包括为多个字符序列生成词性标签。例如，使用上文的示例抄本，能够解析每个词语并且利用POS标识符进行标记(例如，“您[代词]周末[名次]过得[动词]如何[疑问代词]”)。以这种方式，句法或者其他短语结构能够被用于识别动作项目候选。例如，英语祈使句的典型句法在句首使用基本动词而没有主语。因此，在示例性抄本中，仅具有相似结构的句子或短语可能是“好吧，这次给他发短信”和“设置目标[电话响起，暂停]设置目标为下一季度的利润额为X”，“实际上，我现在就给他发短信。Jake，在我忘记之前，我的女儿也需要从学校接走。您能做到吗…”，这可能都被识别为候选。

在一些实施例中，框1004另外地或替代地包括(例如，由动作项目候选标识符262)排除可能在会议事件期间完成的动作项目候选和/或排除作为与会议事件无关的命令或请求的动作项目候选。例如，在示例性抄本中，“实际上，我现在就给他发短信”能够被排除，因为其很可能在会议期间完成。同样地，“您能[去学校接我女儿]”也能够被排除，因为其与会议无关。

在一些实施例中，框1004另外地或替代地包括从重复或冗余的动作项目候选中排除语言。例如，使用上文的示例性抄本，“设置目标[电话响起，暂停]设置目标为下一季度的利润额为X”能够被修改为“人员将尝试在下一季度销售X利润额”以移除“设置目标”，因为它被说了两次。在一些实施例中，框1004包括通过词语嵌入向量模型或语义模型处理抄本的字符序列。词语嵌入向量模型将自然语言字符改变为表示输入到机器学习模型中的数字向量(例如，关于图4所描述的)。以这种方式，向量能够作为对机器学习模型的输入。语义模型(诸如Word2Vec)能够包括通过删除、添加或者替换特定词语来重构动作项目候选的集合。所述重构指示澄清动作项目候选是什么。以这种方式，基于语义上下文来清理或者以其他方式添加、移除或替换语言。例如，使用示例性抄本，“设置目标[电话响起，暂停]设置目标为下一季度的利润额为X”能够被修改为“人员将尝试在下个季度销售X的利润额”。这种重构能够在各种实施例中针对上文所描述的示例性抄本的所有文本(或者仅识别出的动作项目候选)来完成以清理文本。如上文所描述的，在一些实施例中，所述重构基于使用自然语言处理组件来识别POS标签和语义上下文，并且至少部分地基于POS标签和语义上下文来重构动作项目集合。

根据框1006，(例如，由动作项目澄清器285)生成针对每个动作项目候选的清晰度分数。在一些实施例中，所述清晰度分数至少部分地指示每个动作项目候选内的缺失或不完整信息的量。在一些实施例中，框1006能够替代地确定与每个动作项目候选相关联的缺失或不完整信息。在一些实施例中，框1006包括或者之前/之后是计算一个或多个动作项目候选的边界，其包括确定一个或多个动作项目候选的开始词语以及确定一个或多个动作项目候选的结束词语。例如，使用上文来自示例性抄本的示例性动作项目候选，对于“好吧，这次给他发短信(Okay，give hime a text this time)”候选，开始边界可以是“给(give)”，结束边界可以是“时间(time)”。这能够被用于突出显示或者以其他方式生成包括边界和边界之间的所有字符的用户界面，使得可以将动作项目候选显示为“这次给他发短信”。以这种方式，例如，所述用户界面能够包括不表示动作项目候选的未突出显示的文本和表示动作项目候选的边界(以及边界之间的词语)的突出显示的文本。例如，返回参考图5B，动作项目504-2被突出显示，而其他事件上下文504-1未被突出显示。

在一些实施例中，动作项目边界的计算至少部分地基于通过一个或多个机器学习模型运行一个或多个动作项目候选。例如，所述候选能够通过关于图3所描述的开始/结束模型/层306运行，或者关于图2的动作项目澄清器285所描述的类似模型运行。

在一些实施例中，确定缺失或不完整信息包括确定负责完成动作项目候选的第一事件参与者在动作项目候选中缺失或者确定负责说明动作项目候选的第一会议参与者在动作项目候选中缺失，使得在框1012处的修改或补充包括提供第一事件参与者的名称或标识符。例如，在动作项目候选“这次给他发短信”中，可能不清楚是谁说的以及谁拥有它。因此，该动作项目可以利用做出该陈述的姓名和需要完成该陈述的人来补充。类似的示例和实施例是关于图2和图4的动作项目丰富282所描述的。

在一些实施例中，确定缺失或不完整信息包括确定第一动作项目候选未被直接陈述，使得在框1012处的修改或补充包括澄清动作项目候选是什么。例如，使用动作项目候选“这次给他发短信”，可能不清楚文本应当包含什么信息。因此，该动作项目候选能够例如包括以下信息“给他[事件协调员]发短信[询问建筑物明天是否可用]”。关于(一个或多个)清晰度模型308、图3和动作项目丰富282描述了其他示例。

在一些实施例中，与框1006相关联的清晰度分数或者其他清晰度确定至少部分地基于外部上下文和事件上下文。例如，使用上文的例示说明，在所述动作项目候选“给他[事件协调员]发短信[询问建筑物明天是否可用]”中的字符序列“事件协调员”可能是从示出本讨论涉及事件协调员的示例性抄本的事件前的上下文中推导出来的。在另一示例中，明天“询问建筑物是否可用”可能来自用户设备、电子邮件、社交媒体或者不是示例性抄本的任何其他信道上的文本的外部上下文。例如，框906的其他示例关于图4进行描述。

根据框1008，(例如，由动作项目上下文生成器286)确定针对每个动作项目候选的上下文数据。在一些实施例中，所述上下文数据包括不是每个动作候选的多个字符序列的至少一部分。例如，返回参考图4，不是动作项目候选404的字符序列是事件前上下文402(包括字符序列402-1)和事件后上下文406(包括字符序列406-1)。

在一些实施例中，所述上下文数据包括事件上下文和外部上下文中的至少一种。所述外部上下文不是多个字符序列(例如，会议抄本、会议聊天)的一部分，并且不在会议事件中说出或写出。换言之，所述外部上下文包括从抄本的外部导出的数据。例如，所述外部上下文数据能够包括来自用户设备的文本、来自社交媒体账户的数据、电子邮件内的数据、日历中的数据和/或来自文件的数据，所有这些都可能不是直接的会议抄本或者用户在事件处陈述/输入的实际内容。

在一些实施例中，所述事件上下文能够包括不是特定动作项目候选的抄本的一部分。在一些实施例中，所述事件上下文能够包括在抄本内的每个动作项目候选之前的第一组字符序列以及在每个动作项目候选之后的其他字符序列。例如，返回参考图4，这可以包括事件前上下文402和事件后上下文406。以这种方式，所述事件上下文也能够包括不是特定动作项目候选的抄本的一部分。

在一些实施例中，第一组字符序列和其他字符序列被并行处理(例如，基本上同时)以便生成清晰度分数。例如，能够使用BERT模型来执行此操作。

根据框1010，至少部分地基于上下文数据，利用要显示的数据来修改或补充动作项目候选。

在一些实施例中，这包括至少通过与每个动作项目候选相关联的补充信息、移除信息或替换信息来澄清一个或多个动作项目候选。例如，“补充”信息可以包括利用“动作项目拥有者：Jack....动作项目：文本询问建筑物是否可用”来补充动作项目候选“给他发短信”，以便指示谁拥有该动作项目并且清楚地陈述动作项目是什么。在一些实施例中，移除信息能够包括从动作项目候选中移除词语或其他字符序列，诸如移除字符序列“实际上，我现在就给他发短信”中的词语“实际上”，以更好地指示动作项目边界是什么。在一些实施例中，替换信息包括利用其他词语或字符序列替换动作项目候选内的词语或字符序列。例如，针对动作项目候选“给他发短信”，新的替换可以是“给[事件协调员]发短信[询问建筑物明天是否可用]”，其中，“他”被事件协调员替换。这样的补充、移除或替换能够针对需要清晰度的任何特征发生，诸如谁陈述了动作项目、动作项目的到期日、动作项目真正是什么和/或谁拥有动作项目。

在各种实施例中，框1010包括用至少部分地完成或者至少部分地澄清每个动作项目候选者之内(或者之外或者与之相关联)的缺失或不完整信息的数据来修改或补充一个或多个动作项目候选。这样的示例在上面关于补充、删除或替换的“给他发短信”示例进行了描述。这将关于图2和图4的、根据拥有者、发言人、动作项目和数据描述“我们应该做这点”短语对应于什么的动作项目丰富282进一步描述。在一些实施例中，利用数据修改或补充一个或多个动作项目候选包括确定哪个会议事件参与者负责完成动作项目候选或者确定哪个会议事件参与者负责陈述动作项目候选并且引起显示(在框1012处)指示会议事件参与者的标记。这在本文中也分别被称为动作项目的拥有者和发言人。在一些实施例中，利用数据修改或补充一个或多个动作项目候选包括确定缺少针对动作项目候选的到期日，确定到期日，以及引起在用户界面内显示(在框1012处)，指示到期日的标记。

根据框1012，至少部分地基于修改或补充，(例如，由呈现组件220)生成用户界面，其包括修改或补充的数据。在一些实施例中，框1012包括至少部分地基于如上文所描述的与每个动作项目候选相关联的补充信息、移除信息或替换信息来引起在计算设备的用户界面内显示补充的信息、尚未被移除的信息和/或替换的信息。例如，能够在用户界面内生成新的替换候选“给[事件协调员]发短信[询问建筑物明天是否可用]”，从而将“他”替换为“事件协调员”并且“他”因此不会在用户界面中生成。在该示例中，在用户界面中生成了“询问建筑物明天是否可用”的补充信息。例如，尚未被移除的信息是“发短信”，并且替换信息是“事件协调员”。

在一些实施例中，可以在框1012之前，至少部分地基于清晰度分数来(例如，由动作项目上下文生成器286)确定要在用户界面内显示的事件上下文的量。因此，框912能够包括在用户界面内生成特定量的上下文，例如参考图7和图6所描述的。

在一些实施例中，(例如，由反馈处理器270)能够接收对用户设备上的选择的指示。所述选择指示用户设备的用户不理解动作项目候选的至少一部分。基于所述选择，能够训练机器学习模型。在一些实施例中，所述训练包括修改所述清晰度分数。这些实施例是关于图8A、8B、图7、图5C、图6所示的示例和图3的反馈310进行描述的。

在一些实施例中，所述用户界面包括要在用户界面内显示的特定量的事件上下文。所述事件上下文能够包括抄本内的所有内容。这些实施例是关于在图8A、8B、图7、图5C、图6所图示的示例和图3的反馈310进行描述的。在一些实施例中，组件(例如，上下文生成器27)能够响应于对用户界面内的元素的用户选择而引起要显示的上下文量的调整。关于图7的元素702和704或者图5的元素516和518描述了这种情况的示例。

在一些实施例中，组件(例如，呈现组件220)可以接收对用户界面内的元素的选择的指示，其指示仅显示动作项目。作为响应，可以仅显示动作项目。例如，返回参考图5B，响应于对用户界面元素502的选择，显示动作项目的列表。在一些实施例中，至少部分地基于一个或多个动作项目的清晰度分数(框906)，引起显示事件上下文的特定部分。例如，如果清晰度分数高于阈值，则相对于清晰度分数低于阈值时显示更少量的事件上下文。这例如关于针对图7的动作项目710和706的清晰度分数来描述。在一些实施例中，组件(例如，反馈处理器270)接收指示注释或其他信息的用户反馈，以为一个或多个动作项目提供更多清晰度。这种情况的示例可以响应于对图7的用户界面元素718或图6的614的选择而发生。

已经描述了各种实现方式，现在描述适合于实现本公开的实施例的示例性计算环境。参考图11，提供了示例性计算设备并且通常被称为计算设备1100。计算设备1100只是合适的计算环境的一个示例，并不旨在暗示对本公开的实施例的使用范围或功能的任何限制。计算设备1100也不应当被解释为具有与所图示的组件中的任意一个或组合相关的任何依赖性或要求。

可以在计算机代码或机器可用指令的一般上下文中描述本公开的实施例，包括由计算机或其他机器(例如，个人数据助理、智能手机、平板PC或其他手持设备)执行的计算机可用或计算机可执行指令(例如程序模块)。通常，包括例程、程序、对象、组件、数据结构等的程序模块是指执行特定任务或实现特定抽象数据类型的代码。本公开的实施例可以在各种系统配置中实践，包括手持设备、消费者电子件、通用计算机、更专业的计算设备等。本公开的实施例也可以在分布式计算环境中实践，其中，任务由通过通信网络链接的远程处理设备执行。在分布式计算环境中，程序模块可以位于本地和远程计算机存储介质中，包括存储器存储装置。

参考图11，计算设备1100包括直接或间接耦合以下设备的总线10：存储器12，一个或多个处理器14，一个或多个呈现组件16，一个或多个输入/输出(I/O)端口18，一个或多个I/O组件20和说明性电源22。总线10表示可以是一个或多个总线(例如地址总线、数据总线或其组合)。尽管图11的各种块为了清楚起见用线示出，但实际上，这些块代表逻辑的、不一定是实际的组件。例如，可以将诸如显示设备的呈现组件视为I/O组件。此外，处理器具有存储器。发明人在此认识到这是本领域的本质，并重申图111的图仅说明可结合本公开的一个或多个实施例使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”等这样的类别之间没有区别，因为所有这些都被设想在图11的范围内并参考“计算设备”。

计算设备1100通常包括多种计算机可读介质。计算机可读介质可以是可由计算设备1100访问的任何可用介质，并且包括易失性和非易失性介质、可移动和不可移动介质。通过示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储信息(例如，计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能磁盘(DVD)或者其他光盘存储、盒式磁带、磁带、磁盘存储或其他磁存储装置，或者可用于存储所需信息且可由计算设备1100访问的任何其他介质。计算机存储介质不包括信号自身。通信介质通常在诸如载波或其他传输机制的已调制数据信号中体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。术语“已调制数据信号”表示以编码信号中的信息的方式设置或改变其一个或多个特性的信号。通过示例而非限制，通信介质包括有线介质，例如有线网络或直接有线连接，以及无线介质，例如声学、RF、红外和其他无线介质。以上任何内容的组合也应包括在计算机可读介质的范围内。

存储器12包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移除的、不可移除的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备1100包括一个或多个处理器14，其从诸如存储器12或I/O组件20等各种实体读取数据。呈现组件16向用户或其他设备呈现数据指示。在一些实现方式中，系统200的呈现组件220可以体现为呈现组件16。呈现组件的其他示例可以包括显示设备、扬声器、打印组件、振动组件等。

I/O端口18允许计算设备1100逻辑耦合到其他设备，包括I/O组件620，其中的一些可以内置。说明性组件包括麦克风、操纵杆、游戏手柄、卫星天线、扫描仪、打印机、无线设备等。I/O组件20可以提供自然用户界面(NUI)，用于处理由用户生成的空中姿势、语音或其他生理输入。在一些情况下，可以将输入传输到适当的网络元件以进行进一步处理。NUI可以实现语音识别、触摸和触笔识别、面部识别、生物特征识别、屏幕上和屏幕附近的手势识别、空中手势、头部和眼睛跟踪以及与计算设备1100上的显示器相关联的触摸识别的任意组合。计算设备1100可以配备有深度相机，例如立体相机系统、红外相机系统、RGB相机系统以及这些的组合，用于手势检测和识别。另外，计算设备1100可以配备有能够检测运动的加速度计或陀螺仪。加速度计或陀螺仪的输出可提供给计算设备1100的显示器以呈现沉浸式增强现实或虚拟现实。

计算设备1100的一些实施例可以包括一个或多个无线电24(或类似的无线通信组件)。无线电24发送和接收无线电或无线通信。计算设备1100可以是适于通过各种无线网络接收通信和媒体的无线终端。计算设备1100可以经由诸如码分多址(“CDMA”)、全球移动系统(“GSM”)或时分多址(“TDMA”)等无线协议进行通信，以与其他设备进行通信。无线电通信可以是短程连接、长程连接或短程和长程无线电信连接两者的组合。当我们提到“短”和“长”类型的连接时，我们并不是指两个设备之间的空间关系。相反，我们通常将短程和长程称为连接的不同类别或类型(即主要连接和次要连接)。通过示例而非限制，短程连接可以包括到提供对无线通信网络的访问的设备(例如，移动热点)的

连接，例如使用802.11协议的WLAN连接；与另一计算设备的蓝牙连接是短程连接或近场通信连接的第二示例。通过示例而非限制，长程连接可以包括使用CDMA、GPRS、GSM、TDMA和802.16协议中的一个或多个的连接。

在不背离以下权利要求的范围的情况下，所描绘的各种组件以及未示出的组件的许多不同布置是可能的。已经以说明性而非限制性的意图描述了本公开的实施例。在阅读本公开之后并且因为阅读本公开，替代实施例对于本公开的读者将变得显而易见。在不背离以下权利要求的范围的情况下，可以完成实现前述的替代方式。某些特征和子组合是有实用性的，并且可以在不参考其他特征和子组合的情况下被采用，并且被设想在权利要求的范围内。

以下实施例代表本文所设想的概念的示例性方面。以下实施例中的任何一个可以以多重依赖方式组合以依赖于一个或多个其他条款。此外，可以组合从属实施例的任何组合(例如，明确地依赖于先前条款的条款)，同时保持在本文所设想的各方面的范围内。以下条款本质上是示例性的而非限制性的：

条款1、一种计算机化系统，包括：一个或多个处理器；以及在其上存储有计算机可执行指令的计算机存储存储器，所述计算机可执行指令当由所述一个或多个处理器运行时实现一种方法，所述方法包括：检测对会议事件的指示，所述会议事件包括由一个或多个会议参与者在所述会议事件中提供的自然语言内容；根据与所述自然语言内容相关联的多个字符序列来计算或确定一个或多个动作项目，其中，动作项目是在所述会议事件中指示的、被请求完成以促进与所述会议事件相关联的特定目标或目的的任务；生成针对所述一个或多个动作项目中的每个动作项目的清晰度分数，所述清晰度分数至少部分地指示所述每个动作项目内的缺失或不完整信息的量；确定针对所述每个动作项目的上下文数据，所述上下文数据包括所述多个字符序列中不是所述每个动作项目的至少一部分；至少部分地基于对所述上下文数据的所述确定，利用至少部分地完成或者至少部分地澄清所述每个动作项目内的所述缺失或不完整信息的数据来修改或补充所述一个或多个动作项目；并且至少部分地基于利用所述数据对所述一个或多个动作项目的所述修改或补充，生成用户界面，所述用户界面显示与所述一个或多个动作项目相关联的修改或补充的数据。

条款2、根据条款1所述的系统，其中，所述上下文数据包括外部上下文数据，所述外部上下文数据不是所述多个字符序列的一部分并且在所述会议事件内未被说出或写出。

条款3、根据条款1所述的系统，所述方法还包括计算所述一个或多个动作项目的边界，其中，所述计算包括确定所述一个或多个动作项目的开始词语并且确定所述一个或多个动作项目的结束词语。

条款4、根据条款1所述的系统，其中，利用所述数据修改或补充所述一个或多个动作项目包括：确定哪个会议事件参与者负责完成动作项目或者确定哪个会议事件参与者负责陈述所述动作项目，并且在所述用户界面内生成指示所述会议事件参与者的标记。

条款5、根据条款1所述的系统，其中，利用所述数据修改或补充所述一个或多个动作项目包括：确定针对动作项目的到期日缺失，确定所述到期日，并且引起在所述用户界面内显示指示所述到期日的标记。

条款6、根据条款1所述的系统，所述方法还包括：至少部分地基于所述清晰度分数来确定要在所述用户界面内显示的事件上下文的量，其中，所述事件上下文包括所述会议事件的抄本。

条款7、根据条款1所述的系统，所述方法还包括：在用户设备上接收选择的指示，其中，所述选择指示所述用户设备的用户不理解动作项目的至少一部分；并且基于所述选择，训练机器学习模型，其中，所述训练包括修改针对所述动作项目或后续动作项目的所述清晰度分数。

条款8、一种计算机实现的方法，包括：检测对事件的指示，其中，所述事件包括由一个或多个事件参与者在所述事件中提供的自然语言内容；在与所述事件相关联的字符序列的抄本中计算一个或多个动作项目候选，其中，动作项目是在所述事件中指示的、被请求完成以促进与所述事件相关联的特定目标或目的的任务；确定与每个动作项目候选相关联的缺失或不完整信息；确定针对每个动作项目候选的上下文数据，所述上下文数据包括以下中的至少一项：事件上下文和外部上下文，所述事件上下文包括所述抄本中不是所述每个动作项目候选的至少一部分，所述外部上下文包括从所述抄本的外部导出的数据；至少部分地基于对所述上下文数据的所述确定，利用至少部分地完成或者至少部分地澄清在所述每个动作项目候选内的缺失或不完整信息的数据来修改或补充所述一个或多个动作项目候选；并且基于利用所述数据修改或补充所述一个或多个动作项目候选，引起对修改或补充数据的呈现。

条款9、根据条款8所述的方法，其中，所述事件上下文包括在所述抄本内的所述每个动作项目候选之前的第一组字符序列和在所述每个动作项目候选之后的其他字符序列，其中，所述第一组字符序列和所述其他字符序列被并行处理以生成清晰度分数。

条款10、根据条款8所述的方法，还包括：至少部分地基于通过一个或多个机器学习模型运行所述一个或多个动作项目候选，来计算所述一个或多个动作项目候选的边界。

条款11、根据条款8所述的方法，其中，确定缺失或不完整信息包括：确定负责完成动作项目候选的第一事件参与者在动作项目候选中缺失，或者确定负责陈述所述动作项目候选的所述第一事件参与者在所述动作项目候选中缺失，并且其中，所述修改或补充包括提供所述第一事件参与者的姓名或标识符。

条款12、根据条款8所述的方法，其中，确定缺失或不完整信息包括确定第一动作项目候选未被直接陈述，并且其中，所述修改或补充包括澄清所述动作项目候选是什么。

条款13、根据条款8所述的方法，还包括：使得在用户界面内显示对特定量的事件上下文的显示，所述事件上下文包括所述抄本内的所有所述内容。

条款14、根据权利要求13所述的方法，还包括：响应于对所述用户界面内的元素的用户选择而引起调整要显示的事件上下文的量。

条款15、一个或多个计算机存储介质，在所述计算机存储介质上体现有计算机可执行指令，所述计算机可执行指令当由一个或多个处理器运行时使得所述一个或多个处理器执行一种方法，所述方法包括：检测对事件的指示，其中，所述事件包括由一个或多个事件参与者在所述事件中提供的自然语言内容；在所述自然语言内容的多个字符序列中确定一个或多个动作项目候选，其中，动作项目是在所述事件中指示的、被请求完成以促进与所述事件相关联的特定目标或目的的任务；至少通过与每个动作项目候选相关联的补充信息、移除信息或替换信息来澄清所述一个或多个动作项目候选；并且至少部分地基于与每个动作项目候选相关联的所述补充信息、所述移除信息或所述替换信息，引起在计算设备的用户界面内显示：补充的信息、尚未被移除的信息、或者替换的信息。

条款16、根据条款15所述的计算机存储介质，其中，对所述一个或多个动作项目候选的所述澄清至少部分地基于外部上下文和事件上下文。

条款17、根据条款15所述的计算机存储介质，其中，对所述一个或多个动作项目候选的所述澄清包括突出显示所述动作项目候选的边界，使得所述用户界面包括不表示所述动作项目候选的未被突出显示的文本以及表示所述动作项目候选的所述边界的被突出显示的文本。

条款18、根据条款15所述的计算机存储介质，所述方法还包括接收对所述用户界面内的元素的选择的指示仅显示所述动作项目的指示。

条款19、根据条款15所述的计算机存储介质，所述方法还包括至少部分地基于所述一个或多个动作项目候选的清晰度分数来引起对事件上下文的特定部分的显示。

条款20、根据条款15所述的计算机存储介质，所述方法还包括接收指示注释或者其他信息的用户反馈，以提供针对所述一个或多个动作项目的更多清晰度。

Claims (15)

1.一种计算机化系统，包括：

一个或多个处理器；以及

在其上存储有计算机可执行指令的计算机存储存储器，所述计算机可执行指令当由所述一个或多个处理器运行时实现一种方法，所述方法包括：

检测对会议事件的指示，其中，所述会议事件包括由一个或多个会议参与者在所述会议事件中提供的自然语言内容；

根据与所述自然语言内容相关联的多个字符序列来确定一个或多个动作项目，其中，动作项目是在所述会议事件中指示的、被请求完成以促进与所述会议事件相关联的特定目标或目的的任务；

生成针对所述一个或多个动作项目中的每个动作项目的清晰度分数，其中，所述清晰度分数至少部分地指示在所述每个动作项目内的缺失或不完整信息的量；

确定针对所述每个动作项目的上下文数据，所述上下文数据包括所述多个字符序列中不是所述每个动作项目的至少一部分；

至少部分地基于对所述上下文数据的所述确定，利用至少部分地完成或者至少部分地澄清在所述每个动作项目内的所述缺失或不完整信息的数据来修改或补充所述一个或多个动作项目；以及

至少部分地基于利用所述数据对所述一个或多个动作项目的所述修改或补充，生成用户界面，所述用户界面显示与所述一个或多个动作项目相关联的修改或补充的数据。

2.根据权利要求1所述的系统，其中，所述上下文数据包括外部上下文数据，所述外部上下文数据不是所述多个字符序列的一部分并且在所述会议事件期间未被说出或写出。

3.根据权利要求1所述的系统，所述方法还包括计算所述一个或多个动作项目的边界，其中，所述计算包括确定所述一个或多个动作项目中的每个动作项目的开始词语并且确定所述一个或多个动作项目中的所述每个动作项目的结束词语。

4.根据权利要求1所述的系统，其中，利用数据修改或补充所述一个或多个动作项目包括：确定哪个会议事件参与者负责完成动作项目或者确定哪个会议事件参与者负责陈述所述动作项目，并且在所述用户界面内生成指示所述会议事件参与者的标记。

5.根据权利要求1所述的系统，其中，利用数据修改或补充所述一个或多个动作项目包括：确定针对动作项目的到期日缺失，确定所述到期日，并且引起在所述用户界面内显示指示所述到期日的标记。

6.根据权利要求1所述的系统，所述方法还包括：至少部分地基于所述清晰度分数来确定要在所述用户界面内显示的事件上下文的量，其中，所述事件上下文包括所述会议事件的抄本。

7.根据权利要求1所述的系统，所述方法还包括：

在用户设备上接收对选择的指示，其中，所述选择指示所述用户设备的用户不理解动作项目的至少一部分；以及

基于所述选择，训练机器学习模型，其中，所述训练包括修改针对所述动作项目或后续动作项目的所述清晰度分数。

8.一种计算机实现的方法，包括：

检测对事件的指示，其中，所述事件包括由一个或多个事件参与者在所述事件中提供的自然语言内容；

在与所述事件相关联的字符序列的抄本中计算一个或多个动作项目候选，其中，动作项目是在所述事件中指示的、被请求完成以促进与所述事件相关联的特定目标或目的的任务；

确定与每个动作项目候选相关联的缺失或不完整信息；

确定针对所述每个动作项目候选的上下文数据，所述上下文数据包括以下中的至少一项：事件上下文和外部上下文，其中，所述事件上下文包括所述抄本中不是所述每个动作项目候选的至少一部分，并且其中，所述外部上下文包括从所述抄本的外部导出的数据；

至少部分地基于对所述上下文数据的所述确定，利用至少部分地完成或者至少部分地澄清所述每个动作项目候选内的所述缺失或不完整信息的数据来修改或补充所述一个或多个动作项目候选；以及

基于利用所述数据来修改或补充所述一个或多个动作项目候选，引起对修改或补充的数据的呈现。

9.根据权利要求8所述的方法，其中，所述事件上下文包括在所述抄本内的所述每个动作项目候选之前的第一组字符序列和在所述每个动作项目候选之后的其他字符序列，其中，所述第一组字符序列和所述其他字符序列被并行处理以生成清晰度分数。

10.根据权利要求8所述的方法，还包括：至少部分地基于通过一个或多个机器学习模型运行所述一个或多个动作项目候选，计算所述一个或多个动作项目候选的边界。

11.根据权利要求8所述的方法，其中，所述确定缺失或不完整信息包括：确定负责完成动作项目候选的第一事件参与者在动作项目候选中缺失，或者确定负责陈述所述动作项目候选的所述第一事件参与者在所述动作项目候选中缺失，并且其中，所述修改或补充包括提供所述第一事件参与者的姓名或标识符。

12.根据权利要求8所述的方法，其中，所述确定缺失或不完整信息包括确定第一动作项目候选未被直接陈述，并且其中，所述修改或补充包括澄清所述动作项目候选是什么。

13.根据权利要求8所述的方法，还包括：引起对要在所述用户界面内显示的特定量的事件上下文的显示，其中，所述事件上下文包括所述抄本内的所有所述内容。

14.根据权利要求8所述的方法，还包括：响应于对所述用户界面内的元素的用户选择而引起调整要显示的所述事件上下文的量。

15.一个或多个计算机存储介质，在所述计算机存储介质上体现有计算机可执行指令，所述计算机可执行指令当由一个或多个处理器运行时使得所述一个或多个处理器执行一种方法，所述方法包括：

检测对事件的指示，其中，所述事件包括由一个或多个事件参与者在所述事件中提供的自然语言内容；

在所述自然语言内容的多个字符序列中确定一个或多个动作项目候选，其中，动作项目是在所述事件中指示的、被请求完成以促进与所述事件相关联的特定目标或目的的任务；

至少通过与所述一个或多个项目候选相关联的补充信息、移除信息或替换信息来澄清所述一个或多个动作项目候选；以及

至少部分地基于与所述一个或多个动作项目候选相关联的所述补充信息、所述移除信息或所述替换信息，引起在计算设备的用户界面内显示：补充的信息、尚未被移除的信息、或者替换的信息。

Images