CN109474763A - 一种基于语音、语义的ai智能会议系统及其实现方法 - Google Patents

Abstract

本发明公开了一种基于语音、语义的AI智能会议系统及其实现方法，会议系统包括：会议代理模块，会议代理模块用于处理会议音频传输、指令识别、声纹识别以及语音文字转换，还用于控制会议流程；会议管理模块，会议管理模块负责处理会议流程和会议内容，会议管理模块包括管理端和用户端；会议节点模块，会议节点模块可将参会人员的音频及声纹数据传递给会议代理模块，会议节点模块会采集参会人员的音频及声纹数据并送至会议代理模块进行相关业务处理；会议大屏，会议大屏为投屏终端。本发明通过智能语义技术能将过去会议流程管理只兼顾会议中的情况扩展到会议前和会议后，真正做到了全流程的智能会议处理。

Description

一种基于语音、语义的AI智能会议系统及其实现方法

技术领域

本发明涉及网络视频会议系统和电话会议系统领域，特别是关于一种基于语音、语义的AI智能会议系统及其实现方法。

背景技术

随着科学技术的发展，当前的会议系统采用了音频传输技术、数字控制技术、计算机软件技术、高保真可靠性技术等来解决会议的数据通信问题，尽管如此，会议系统关注的核心点还是会议设备。近些年会议系统出现网络化，也能提供更多的会议辅助功能例如电子白板、网页同步、程序共享、演讲稿同步、文件传输等辅助会议功能。

然而，当前的会议系统无论是整体系统还是设备方面都还只是停留在解决会议中的信息传输和会议流程问题。对于和会议前后相关的流程以及会议的内容管理都还是人工来进行处理，或者是通过人工整理后再辅以其他的系统软件来完成相关的流程。而对于一个现代企业来说，绝大多数的决策都是在会议中完成的，当前的大多数会议系统无法将会议内容资料做到实时的整理和分析处理，以及及时的对外发布，从而指导企业的管理帮助企业稳定发展。

另外对于会议管理者而言在会议前的准备和会议后的资料整理方面都存在极大的时间浪费，对于参会人员而言需要在会议中做大量的会议笔记，而这些会议笔记形式各样，非常不方便整理和检索。这些都是当前的会议系统没有解决的问题。

本方案提出一种基于语音和语义的AI智能会议系统及其实现方法。该系统采用人工智能的语音交互技术、声纹识别技术、语音文字转换技术、以及智能语义分析技术等人工智能手段来解决当前会议的整体管理问题。将过去需要在会前、会中、会后需要大量人力辅助完成的会议内容处理通过人工智能的方式自动完成，可以有效的提高会议质量、效率并帮助企业充分的挖掘会议资源从而促进企业的管理和生产优化。

发明内容

为了满足上述要求，本发明的一个目的在于提供一种基于语音、语义的AI智能会议系统，该系统可以解决当前会议的整体管理问题，并将过去需要在会前、会中、会后需要大量人力辅助完成的会议内容处理通过人工智能的方式自动完成，可以有效的提高会议质量、效率并帮助企业充分的挖掘会议资源从而促进企业的管理和生产优化。

本发明的第二个目的在于提出一种智能会议实现方法应用于上述基于语音、语义的AI智能会议系统。

为了实现上述目的，本发明采用以下技术方案：

一种基于语音、语义的AI智能会议系统，包括：

会议代理模块，会议代理模块用于处理会议音频传输、指令识别、声纹识别以及语音文字转换，还用于控制会议流程；

会议管理模块，会议管理模块负责处理会议流程和会议内容，会议管理模块包括管理端和用户端；

会议节点模块，会议节点模块可将参会人员的音频及声纹数据传递给会议代理模块，会议节点模块会采集参会人员的音频及声纹数据并送至会议代理模块进行相关业务处理；

会议大屏，会议大屏为投屏终端，可将会议表决结果实时投送到大屏显示结果。

进一步技术方案为，所述会议节点模块包括会议主节点以及会议从节点；

所述会议主节点设置在主会场，所述会议主节点用于采集会场参会人员的音频数据并传送至会议代理模块；

所述会议从节点是远程参会终端，所述会议从节点用于采集远程参会者的声纹和音频信息并传输至会议代理模块，可实时获取会议主节点参会音频信息。

进一步技术方案为，所述会议代理模块与数据库进行数据通讯，所述数据库用于存储参会人员的声纹特征，所述声纹特征与参会人员系统权限进行关联。

进一步技术方案为，在会议开始之前，所述会议代理模块通过声纹识别技术采集参会人员的语音信号进行声纹分析，所述会议代理模块根据不同声纹特征与所述数据库中数据匹配，按照匹配的结果中参会人员对应的权限执行权限内的指令；

在会议开始之后，所述会议代理模块通过识别出的不同声纹匹配所述数据库中存储的信息辨认发言人的身份。

进一步技术方案为，所述会议代理模块对接收到的音频进行自动归类，同时对所述音频内容进行语音识别，将语音转换的文字传输到所述会议管理模块和会议大屏。

进一步技术方案为，所述会议管理模块的管理端包括一个可视化的系统管理后台，所述管理端可以对会议属性进行设定；

所述管理端可对会议中产生的会议记录和会议报告进行管理；

所述会议管理模块的用户端包括设有客户端软件的移动设备终端，用于参会人员进行预定会议、接收会议通知、参加会议发言、进行会议表决。

进一步技术方案为，所述会议代理模块还可以用于将语音转换成文本信息，通过智能语义技术进行清洗、分类、提取核心实体标记并放入索引；

所述会议代理模块可根据会议议程及对应的会议模型生成会议报告，还可以根据智能语义技术将会议中议而未决或需要补充信息的内容抽取出来获得待定信息。

进一步技术方案为，所述会议代理模块还用于将会议报告以及待定信息发到相关的参会人员邮箱或会议节点模块。

进一步技术方案为，当会议主持人向发出会议结束指令，所述会议代理模块立即启动会议资料整理流程，根据会议中整理的相关参会人发言记录及会后补充信息自动的生成所述会议报告。

本发明还公开了一种智能会议实现方法，应用于上述任一项所述的基于语音、语义的AI智能会议系统，包括以下步骤：

准备环节，获取参会人员的声纹特征，配置参会人员权限并存储至数据库；

当会议开始之前，会议主持人进入所述会议主节点，所述会议代理模块会自动识别主持人声纹并执行会议启动指令，识别成功则开启会议管理模块以及会议大屏，启动其功能；所述会议管理模块将配置好的会议信息投放至所述会议大屏、客户端、会议从节点；

当会议开始之后，参会人员所述会议管理模块设定的会议流程，进行会议议程；所述会议从节点实时获取会议主节点的音频信息，所述会议节点模块实时将参会人员音频信息处理之后传输至会议管理模块和会议大屏；

当会议结束之后，所述会议代理模块生成会议报告并发送至参会人员邮箱。

相比于现有技术,本发明的有益效果在于：本发明通过智能语义技术能将过去会议流程管理只兼顾会议中的情况扩展到会议前和会议后，将会议前、会议中、会议后的文字、语音等内容都转化成机器能识别的文字，通过智能语义技术来对会议内容进行整理加工，能够根据会议的类型和会议主题，对会议中发言的产生的文字内容进行整体分析，保留和会议主题相关的发言内容，结合上下文信息，自动去除发言中的语气词，简化与会议主题无关的冗长发言内容，分析每个人的发言与主题的相关性和发言效率，结合会议流程形成智能化的会议报告，从而有效的将过去只能通过人分析思考后才能打通的流程快速打通。真正做到了全流程的智能会议处理。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

图1是本发明一种基于语音、语义的AI智能会议系统的具体组成方框图。

附图标记

CA 会议代理模块 CM 会议管理模块

CP 会议节点模块 CS 会议大屏

MCP 会议主节点 SCP 会议从节点

具体实施方式

本发明提供了一种基于语音、语义的AI智能会议系统及其实现方法，用于对会议全流程的智能处理。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示的方框图中，为一种基于语音、语义的AI智能会议系统的组成方框图，包括：

会议代理模块CA(Conference Agent)，会议代理模块CA用于处理会议音频传输、指令识别、声纹识别以及语音文字转换，还用于控制会议流程；

会议管理模块CM(Conference Mangerment)，会议管理模块CM负责处理会议流程和会议内容，会议管理模块CM包括管理端和用户端；

会议节点模块CP(Conference Point)，会议节点模块CP可将参会人员的音频及声纹数据传递给会议代理模块，会议节点模块CP会采集参会人员的音频及声纹数据并送至会议代理模块CA进行相关业务处理；

会议大屏CS(Conference Screen)，会议大屏CS为投屏终端，可将会议表决结果实时投送到大屏显示结果。

如图1所示的实施例中，所述会议节点模块CP包括会议主节点MCP(Master Pointof Conference)以及会议从节点SCP(Slave Point of Conference)；

所述会议主节点MCP设置在主会场，所述会议主节点MCP用于采集会场参会人员的音频数据并传送至会议代理模块CA；

所述会议从节点SCP是远程参会终端，所述会议从节点SCP用于采集远程参会者的声纹和音频信息并传输至会议代理模块CA，可实时获取会议主节点MCP参会音频信息。

具体的，会议节点模块CP也可以将其他远程会议从节点传来的语音进行播放供主会场的参会人收听。会议主节点MCP只能放在会议主会场，可以是一个实体的音响设备。会议从节点SCP可以有多个，方便移动端用户能远程接入会议，可以是远程PC终端或者是手机APP。

对应的，由于具备系统组成的四个模块，系统可以实现以下功能：

会议管理：会议召集人可通过会议管理模块CM或会议从节点SCP对会议议程进行设定，例如包括会议预定、会议签到、会议议程管理等。

会议预定：用户可通过所述会议管理模块CM用户端或会议从节点SCP对会议系统进行预定，所述会议管理模块CM将会议召集邮件发送到参会人的邮箱，由参会人通过邮件确认是否参会，参会人也可用过会议从节点SCP确认是否参会。会议开始前期参会人会收到由会议管理模块CM发出的会议开始通知，参会人也可通过关注智能会议公众号接收到由会议系统发出的参会通知。

会议签到：会议管理可设定会议是否需要签到，如会议需要签到则可采用会议主节点MCP或会议从节点SCP通道进行签到。其中会议主节点MCP采用声纹采集方式。当会议启动后，参会人可通过指令向会议主节点MCP发出“签到”指令，会议代理模块CA会根据指令人的声纹和系统进行匹配，当匹配上签到人声纹则帮参会人进行智能签到。参会人预先设定远程参会的情况下，也可以通过SCP进行远程会议签到。

议程管理：会议召集人可预先通过会议管理模块CM的用户端设定会议议程，包括设定签到、汇报、讨论、表决等各事项的顺序及时间控制。会议管理还可以设定会议主持人及会议每个议程的启动指令。

会议进度控制：每次会议开始前，会议代理模块CA会从会议管理模块CM拉取当前时段会议的议程，在会议中进行进度控制。会议启动由会议主持人发起，会议代理模块CA会自动识别主持人声纹并执行会议启动指令。

汇报流程：汇报属于顺序议程，会议主持人向会议主节点MCP发起汇报指令启动汇报流程、会议代理模块CA会根据会议节点模块CP传送过来的主持人语音进行声纹识别，识别成功则启动相应流程。会议代理模块CA会根据议程设定好的发言时间对发言人的汇报进行记录，并实时转换成文字进行存储。发言结束前两分钟进行语音提示，发言超时则不进行会议记录。

讨论流程：讨论属于随机讨论议程，由主持人向会议主节点MCP发起讨论流程指令启动讨论流程。会议代理模块CA会记录会议上所有已录声纹的讨论者发言，并根据议程的总时间进行控制，讨论结束前5分钟进行语音提示，讨论超时则不进行会议记录。

表决流程:会议主持人向会议主节点MCP发起表决流程指令启动表决流程。主持人可通过会议管理模块CM客户端设定表决选项。参会人可通过会议从节点SCP选择会议进入会议表决流程，在PC端或APP端进行记名或不记名表决。表决结果可实时在会议大屏CS上进行公示。

会议智能记录：会议代理模块CA将语音转换成文本信息，通过智能语义技术进行清洗、分类、提取核心实体标记等放入索引。后续可根据会议议程及对应的会议模型生成会议报告，也可以根据智能语义技术将会议中议而未决或需要补充信息的内容抽取出来，发到相关的参会人邮箱或会议从节点SCP，参会人可通过这两种方式对这些疑点进行会后信息补充。

智能会议报告：会议主持人向会议主节点MCP发起会议结束指令。会议代理模块CA立即启动会议资料整理流程，根据会议中整理的相关参会人发言记录及会后补充信息自动的生成标准格式的会议报告。

会议信息检索:通过智能语义技术将会议内容打上标记后，每个人可根据权限查询他关注的会议主题。

智能会议分析：参会人可根据权限向会议管理模块CM提出主题分析，会议管理模块CM通过智能语义技术将某个主题在不同会议上或同一类会议上的讨论结果进行分析，抽取出时间线分析出主题进展情况。也可以对单个会议做统计、例如会议本身得迟到情况、准时情况、延时情况、议程控制度情况。综合指标可以对全公司的会议做统计分析，以及全公司的议题统计，可基于上述统计做月报或年报统计。

智能会议报告发布：会议报告生成以后通过邮件接口将报告发往参会人邮箱，并得到参会人反馈回执存档。

如图1所示的实施例中，所述会议代理模块CA与数据库进行数据通讯，所述数据库用于存储参会人员的声纹特征，所述声纹特征与参会人员系统权限进行关联。

如图1所示的实施例中，在会议开始之前，所述会议代理模块CA通过声纹识别技术采集参会人员的语音信号进行声纹分析，所述会议代理模块CA根据不同声纹特征与所述数据库中数据匹配，按照匹配的结果中参会人员对应的权限执行权限内的指令。

在会议开始之后，所述会议代理模块CA通过识别出的不同声纹匹配所述数据库中存储的信息辨认发言人的身份。

在其他实施例中，所述会议代理模块CA对接收到的音频进行自动归类，同时对所述音频内容进行语音识别，将语音转换的文字传输到所述会议管理模块CM和会议大屏CS。

进一步技术方案为，所述会议管理模块CM的管理端包括一个可视化的系统管理后台，所述管理端可以对会议属性进行设定；

所述管理端可对会议中产生的会议记录和会议报告进行管理；让发起会议者和参会人了解会议规则，形成统一的会议机制。如对会议类型、会议议题、签到方式、会议时间、会议流程步骤、参会人员、会议表决方式进行设定。

所述会议管理模块CM的用户端包括设有客户端软件的移动设备终端，用于参会人员进行预定会议、接收会议通知、参加会议发言、进行会议表决。

在其他实施例中，所述会议代理模块CA还可以用于将语音转换成文本信息，通过智能语义技术进行清洗、分类、提取核心实体标记并放入索引；

所述会议代理模块CA可根据会议议程及对应的会议模型生成会议报告，还可以根据智能语义技术将会议中议而未决或需要补充信息的内容抽取出来获得待定信息。

在其他实施例中，所述会议代理模块CA还用于将会议报告以及待定信息发到相关的参会人员邮箱或会议节点模块CP。

如图1所示的实施例中，当会议主持人向发出会议结束指令，所述会议代理模块CA立即启动会议资料整理流程，根据会议中整理的相关参会人发言记录及会后补充信息自动的生成所述会议报告。

本发明还公开了一种智能会议实现方法，应用于上述任一项所述的基于语音、语义的AI智能会议系统，结合图1，方法包括以下步骤：

准备环节，获取参会人员的声纹特征，配置参会人员权限并存储至数据库；

当会议开始之前，会议主持人进入所述会议主节点MCP，所述会议代理模块CA会自动识别主持人声纹并执行会议启动指令，识别成功则开启会议管理模块CM以及会议大屏CS，启动其功能；所述会议管理模块CM将配置好的会议信息投放至所述会议大屏CS、客户端、会议从节点SCP；

当会议开始之后，参会人员所述会议管理模块CM设定的会议流程，进行会议议程；所述会议从节点SCP实时获取会议主节点MCP的音频信息，所述会议节点模块CP实时将参会人员音频信息处理之后传输至会议管理模块CM和会议大屏CS；

当会议结束之后，所述会议代理模块CA生成会议报告并发送至参会人员邮箱。

本发明还公开了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的智能会议实现方法。所述存储介质可以是前述网关设备的内部存储单元，例如网关设备的硬盘或内存。所述存储介质也可以是所述设备的外部存储设备，例如所述网关设备上配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。

综上所述，本发明通过智能语义技术能将过去会议流程管理只兼顾会议中的情况扩展到会议前和会议后，将会议前、会议中、会议后的文字、语音等内容都转化成机器能识别的文字，通过智能语义技术来对会议内容进行整理加工，能够根据会议的类型和会议主题，对会议中发言的产生的文字内容进行整体分析，保留和会议主题相关的发言内容，结合上下文信息，自动去除发言中的语气词，简化与会议主题无关的冗长发言内容，分析每个人的发言与主题的相关性和发言效率，结合会议流程形成智能化的会议报告，从而有效的将过去只能通过人分析思考后才能打通的流程快速打通。真正做到了全流程的智能会议处理。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其他各种相应的改变以及形变，而所有的这些改变以及形变应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种基于语音、语义的AI智能会议系统，其特征在于，包括：

会议代理模块，会议代理模块用于处理会议音频传输、指令识别、声纹识别以及语音文字转换，还用于控制会议流程；

会议管理模块，会议管理模块负责处理会议流程和会议内容，会议管理模块包括管理端和用户端；

会议节点模块，会议节点模块可将参会人员的音频及声纹数据传递给会议代理模块，会议节点模块会采集参会人员的音频及声纹数据并送至会议代理模块进行相关业务处理；

会议大屏，会议大屏为投屏终端，可将会议表决结果实时投送到大屏显示结果。

2.根据权利要求1所述的一种基于语音、语义的AI智能会议系统，其特征在于，所述会议节点模块包括会议主节点以及会议从节点；

所述会议主节点设置在主会场，所述会议主节点用于采集会场参会人员的音频数据并传送至会议代理模块；

所述会议从节点是远程参会终端，所述会议从节点用于采集远程参会者的声纹和音频信息并传输至会议代理模块，可实时获取会议主节点参会音频信息。

3.根据权利要求1所述的一种基于语音、语义的AI智能会议系统，其特征在于，所述会议代理模块与数据库进行数据通讯，所述数据库用于存储参会人员的声纹特征，所述声纹特征与参会人员系统权限进行关联。

4.根据权利要求3所述的一种基于语音、语义的AI智能会议系统，其特征在于，在会议开始之前，所述会议代理模块通过声纹识别技术采集参会人员的语音信号进行声纹分析，所述会议代理模块根据不同声纹特征与所述数据库中数据匹配，按照匹配的结果中参会人员对应的权限执行权限内的指令；

在会议开始之后，所述会议代理模块通过识别出的不同声纹匹配所述数据库中存储的信息辨认发言人的身份。

5.根据权利要求1所述的一种基于语音、语义的AI智能会议系统，其特征在于，所述会议代理模块对接收到的音频进行自动归类，同时对所述音频内容进行语音识别，将语音转换的文字传输到所述会议管理模块和会议大屏。

6.根据权利要求1所述的一种基于语音、语义的AI智能会议系统，其特征在于，所述会议管理模块的管理端包括一个可视化的系统管理后台，所述管理端可以对会议属性进行设定；

所述管理端可对会议中产生的会议记录和会议报告进行管理；

所述会议管理模块的用户端包括设有客户端软件的移动设备终端，用于参会人员进行预定会议、接收会议通知、参加会议发言、进行会议表决。

7.根据权利要求1所述的一种基于语音、语义的AI智能会议系统，其特征在于，所述会议代理模块还可以用于将语音转换成文本信息，通过智能语义技术进行清洗、分类、提取核心实体标记并放入索引；

所述会议代理模块可根据会议议程及对应的会议模型生成会议报告，还可以根据智能语义技术将会议中议而未决或需要补充信息的内容抽取出来获得待定信息。

8.根据权利要求7所述的一种基于语音、语义的AI智能会议系统，其特征在于，所述会议代理模块还用于将会议报告以及待定信息发到相关的参会人员邮箱或会议节点模块。

9.根据权利要求8所述的一种基于语音、语义的AI智能会议系统，其特征在于，当会议主持人向发出会议结束指令，所述会议代理模块立即启动会议资料整理流程，根据会议中整理的相关参会人发言记录及会后补充信息自动的生成所述会议报告。

10.一种智能会议实现方法，应用于权利要求1-9任一项所述的基于语音、语义的AI智能会议系统，其特征在于，包括以下步骤：

准备环节，获取参会人员的声纹特征，配置参会人员权限并存储至数据库；

当会议开始之前，会议主持人进入所述会议主节点，所述会议代理模块会自动识别主持人声纹并执行会议启动指令，识别成功则开启会议管理模块以及会议大屏，启动其功能；所述会议管理模块将配置好的会议信息投放至所述会议大屏、客户端、会议从节点；

当会议开始之后，参会人员所述会议管理模块设定的会议流程，进行会议议程；所述会议从节点实时获取会议主节点的音频信息，所述会议节点模块实时将参会人员音频信息处理之后传输至会议管理模块和会议大屏；

当会议结束之后，所述会议代理模块生成会议报告并发送至参会人员邮箱。