CN111405235A - 一种基于人工智能识别提取的视频会议方法和系统 - Google Patents

Abstract

本发明提出了一种基于人工智能识别提取的视频会议方法，包括如下步骤：S1，采集分析包括会议进程表在内的会议资料，确定会议进程表与其余会议资料的关联性信息，并编辑会议的事项表单，生成会议规则树；S2，确定所述会议规则树每个基本单元适用的信息提取识别规则，根据信息提取识别规则提取记录数据，并与会议规则树进行匹配，实现所述记录数据的整合以及填报；S3，生成并分发会议记录。并基于该方法生成对应系统，有利于在视频会议进行中，实现有效信息的自动提取以及数据化，进而自动生成、整合以及填报会议记录，避免了造假情况的发生，保证了会议记录的真实可靠性，本发明还在会给予主持人提示，有利于帮助主持人串场，以及调控会议节奏。

Description

一种基于人工智能识别提取的视频会议方法和系统

技术领域

本发明涉及视频会议跟踪记录技术领域，更具体地说是涉及一种基于人工智能识别提取的视频会议方法和系统。

背景技术

随着在线视频会议的普及，进行视频会议不可避免的会生成一系列的记录数据，例如会前会生成参会名单、会议进程表等；会议进行中或者会议后，要根据会议的实际过程，实时或者补充生成必要的记录数据，例如根据实际参会人员的签到情况生成参会人员记录；针对会议每项进程生成必要的会议记录，例如每项进程中各参会人的发言意见，对每项进程中的事项采集和对应的信息项的记录，以及表决结论的记录，会议中出示、验证的证件、文书或者样品等的记录；目前上述工作均需要安排人员手动完成。

虽然，现有的视频会议系统支持录音、录像，并具有发言内容自动转换成文本保存等功能，能够缓解工作人员的部分工作量，但是并不能智能化的自动匹配和生成上述记录数据，而是需要从录音、录像、保存的转换文本中进行有效信息的识别、提取、整合以及填报，该过程仍然会耗费大量的人力成本和时间成本，另外，由于上述工作是会议完成后进行的，容易与会议现场的实际情况产生偏差，导致参会方之间的争议，也存在人为造假的可能性。

因此，如何利用人工智能识别技术，在视频会议的会议进行中，实现有效信息的自动提取以及数据化，进而自动生成、整合以及填报会议记录，是本领域技术人员亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于人工智能识别提取的视频会议方法和系统，在会议开始前，支持上传包括会议进程表在内的各种会议信息，同时自动分析会议进程表与其余会议信息之间的关联性信息，用于编辑会议事项表单，进而生成会议规则树，利用人工智能识别技术获取会议进程生成的数据并整合填报，另外，还可以根据主持人的确定，实时的向参会人员展示会议进度，在会议结束后，将会议记录自动分发给参会方以及相关部门，以期利用人工智能识别技术，在视频会议的会议进行中，实现有效信息的自动提取以及数据化，自动生成、整合以及填报各项会议记录，同时帮助主持人调控会议节奏。

为了实现上述目的，本发明采用如下技术方案：

一种基于人工智能识别提取的视频会议方法，包括如下步骤：

S1，采集分析包括会议进程表在内的会议资料，确定会议进程表与其余会议资料的关联性信息，并编辑会议的事项表单，生成会议规则树；

S2，确定所述会议规则树每个基本单元适用的信息提取识别规则，根据信息提取识别规则提取记录数据，并与会议规则树进行匹配，实现所述记录数据的整合以及填报；

S3，生成并分发会议记录。

具体的，所述会议资料包括参会名单及其头像、会议进程表以及每项进程的时间长度、演示PPT、会议文档资料；其中，所述会议资料由参会人员在会议开始前上传，会议开始前上传参会人员进行会议所需的会议资料，为会议做准备工作，便于后续根据所述会议资料建立关联性信息，以及编辑会议事项表单。

具体的，所述S1的具体步骤为：由参会人员上传会议资料；提取所述会议资料中的关键词，将所述其余会议资料中的关键词与所述会议进程表进行匹配，确定所述其余会议资料与所述会议进程表的关联性信息，所述会议进程表记载整个会议的欲进行的全部进程，其余会议资料将在会议进程表中各个指定进程中参与使用，因此需要提取其余会议资料中的关键词，将关键词与会议进程表进行匹配，确定使用该其余会议资料的具体进程，进而建立关联，便于根据关联性信息确定会议进程表对应的具体事项；由于会议进程表中每一个进程包括若干具体事项，在会议开始前，依据关联性信息，进而编辑会议进程表中各个进程的事项表单；其中，所述事项表单包括信息项、表决项、展示项、验证项，所述事项表单为所述进程需要完成或者参考的具体事项，预先编辑每个进程对应的事项表单，便于参会者直观的接收当前进程涉及的全部事项，便于接收的同时也避免事项的遗漏；最后，以会议进程表中每个具体进程为一个基本单元，生成会议规则树，并映射每个所述进程对应的事项表单。

优选的，事项表单有手动、半自动以及自动三种编辑方式，便于参会人员根据需要自行选择；具体的，手动编辑事项表单，即参会人员在会议开始前手动输入各个进程对应的具体事项；半自动编辑事项表单为参会人员以会议进程表为基础，参照生成的关联性信息，在编辑事项表单时，点击所述会议进程表的某个具体进程，则可以自动调用将该进程涉及的关联性信息，将该关联性信息中的事项添加到事项表单，作为该进程对应的事项表单的一个具体事项；自动编辑方式以会议进程表为基础，根据会议类型，利用预先定义的模板，参照所述会议进程表对应的关联性信息，将模板与该关联性信息的具体资料进行匹配，全自动的生成事项表单。

优选的，所述会议规则树为有效信息的自动提取以及数据化、记录数据的自动生成整合及填报的主线，所述会议规则树中的每个基本单元包括所述会议进程表中的一个进程及其描述信息、所述进程对应的事项表单；其中，描述信息包括该进程的进程名称、进程时间段，生成会议规则树，有利于在会议进行时，与采集的记录数据进行匹配，完成记录数据的整合以及填报。

优选的，还包括如下步骤：根据所述会议进程表向参会者实时更新显示进度条，以及给主持人提供必要的主持提示，有利于参会人员了解会议进程，以便根据会议进度条对会议后续内容提早做安排，同时，也有利于主持人串场以及调控会议节奏，把握会议进行时间。

基于上述方法，设计如下系统：

一种基于人工智能识别提取的视频会议系统，包括：准备模块、记录数据处理模块、会议记录生成模块；其中，

所述准备模块用于采集分析包括会议进程表在内的会议资料，确定会议进程表与其余会议资料的关联性信息，并编辑会议的事项表单，生成会议规则树；

所述记录数据处理模块用于确定所述会议规则树每个基本单元适用的信息提取识别规则，根据信息提取识别规则提取记录数据，并与会议规则树进行匹配，实现所述记录数据的整合以及填报；

所述会议记录生成模块用于生成并分发会议记录。

具体的，所述会议资料包括参会名单及其头像、会议进程表以及每项进程的时间长度、演示PPT、会议文档资料；其中，所述会议资料由参会人员在会议开始前上传，会议开始前参会人员将会议所需的会议资料自行上传至本系统，为会议做准备工作，便于后续根据所述会议资料建立关联性信息，以及编辑会议事项表单。

具体的，所述准备模块的具体执行方式为：接收参会人员上传会议资料；提取所述会议资料中的关键词，将所述其余会议资料中的关键词与所述会议进程表进行匹配，确定所述其余会议资料与所述会议进程表的关联性信息，所述会议进程表记载整个会议的欲进行的全部进程，其余会议资料将在会议进程表中各个指定进程中参与使用，因此需要提取其余会议资料中的关键词，将关键词与会议进程表进行匹配，确定使用该其余会议资料的具体进程，进而建立关联，便于根据关联性信息确定会议进程表对应的具体事项；由于会议进程表中每一个进程包括若干具体事项，在会议开始前，依据关联性信息，进而编辑会议进程表中各个进程的事项表单；其中，所述事项表单包括信息项、表决项、展示项、验证项，所述事项表单为所述进程需要完成或者参考的具体事项，预先编辑每个进程对应的事项表单，便于参会者直观的接收当前进程涉及的全部事项，便于接收的同时也避免事项的遗漏；最后，以会议进程表中每个具体进程为一个基本单元，生成会议规则树，并映射每个所述进程对应的事项表单。

优选的，事项表单有手动、半自动以及自动三种编辑方式，便于参会人员根据需要自行选择；具体的，手动编辑事项表单，即参会人员在会议开始前手动输入各个进程对应的具体事项；半自动编辑事项表单为参会人员以会议进程表为基础，参照生成的关联性信息，在编辑事项表单时，点击所述会议进程表的某个具体进程，则可以自动调用将该进程涉及的关联性信息，将该关联性信息中的事项添加到事项表单，作为该进程对应的事项表单的一个具体事项；自动编辑方式以会议进程表为基础，根据会议类型，利用预先定义的模板，参照所述会议进程表对应的关联性信息，将模板与该关联性信息的具体资料进行匹配，全自动的生成事项表单。

优选的，所述会议规则树为有效信息的自动提取以及数据化、记录数据的自动生成整合及填报的主线，所述会议规则树中的每个基本单元包括所述会议进程表中的一个进程及其描述信息、所述进程对应的事项表单；其中，描述信息包括该进程的进程名称、进程时间段，生成会议规则树，有利于在会议进行时，与采集的记录数据进行匹配，完成记录数据的整合以及填报。

优选的，还包括显示模块，用于根据所述会议进程表向参会者实时更新显示进度条，以及给主持人提供必要的主持提示，有利于参会人员了解会议进程，以便根据会议进度条对会议后续内容提早做安排，同时，也有利于主持人串场以及调控会议节奏，把握会议进行时间。

本发明具有以下有益效果：

经由上述的技术方案可知，基于现有技术，本发明提出了一种基于人工智能识别提取的视频会议方法和系统，有利于在视频会议的会议进行中，实现有效信息的自动提取以及数据化，进而自动生成、整合以及填报会议记录，节省人力成本和时间成本的同时，避免了造假情况的发生，保证了会议记录的真实可靠性，同时，本发明向参会人员展示会议规则树以及会议进度条，有利于参会人员对会议进程有直观的掌握，另外，本发明还在会议进行中给予主持人提示，有利于帮助主持人串场，以及调控会议节奏。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一种基于人工智能识别提取的视频会议方法流程图；

图2为本发明一种基于人工智能识别提取的视频会议系统结构框图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了如下方法：

一种基于人工智能识别提取的视频会议方法，包括如下步骤：

首先，进行会议开始前的准备工作，由参会人员上传参加会议的人员名单，以及名单上人员对应的头像照片，会议进程表以及各项进程预计的完成时间，演示PPT，会议文档资料等，例如，一个关于产品采购招标的会议视频，参会人员包括：招标方甲、乙、丙，投标方丁、戊，由甲担任本次会议的主持人，在会议开始前需要上传甲、乙、丙、丁、戊五人的姓名以及对应的头像信息，该视频会议包括主持人宣布开始、招标方介绍采购要求、双方验证投标方的生产资质证件、投标方出示样品、投标方进行产品介绍和报价、双方自由问答、主持人请投标方退场、招标方举手表决等进程，因此，会议开始前由上述参会人员中任意一人上传该会议的全部进程即会议进程表，当然，每项进程均包括完成该进程所需的预计时间长度；另外，会议还需要利用PPT进行投标方的产品介绍，招标方在采购投标方产品时，需要参照采购要求书进行采购，投标方还需要向招标方展示资质证件扫描件，因此上述会议所需的演示PPT、会议文档资料均需要在会前由参会人员进行上传。

会议资料上传完成后，提取会议进程表、演示PPT、会议文档资料等会议资料中包含的关键词，并将演示PPT、会议文档资料等会议资料中包含的关键词与会议进程表中各个进程进行关联，例如，会议进程表中“招标方介绍采购要求”的进程，可以与“采购要求书”基于共同的关键词“采购要求”构成关联性信息；会议进程表中“双方验证投标方的生产资质证件”的进程可以与“资质证件扫描件”基于“资质证件”构成关联性信息；会议进程表中“投标方进行产品介绍和报价”则可以基于关键词“产品介绍和报价”与名称为“某产品介绍和报价”的PPT构成关联性信息。

在完成会议进程表与其余各个会议资料之间的关联后，基于获得的关联性信息，利用手动、半自动或者自动编辑的方式，编辑会议的事项表单，具体的，以会议进程表为基础，参照关联性信息，将完成各个进程所需的事项进行整理编辑，生成事项表单，事项表单包括信息项、表决项、展示项以及验证项；例如，在投标方进行产品介绍的进程中，要对照采购要求的若干事项，如产品的性能指标、能耗指标、价格、交货时间等记录投标方产品的各个指标的具体参数、价格数值、时间日期等信息项；在验证投标方的生产资质证件、投标方出示样品等进程中包含展示项；在招标方举手表决等进程中，包含表决项；因此需要将每个进程与对应的具体事项进行映射，生成事项表单。

为了便于参会人员按需选择，事项表单的编辑方式存在手动、半自动以及自动三种编辑方式，具体的，手动编辑就是由参会人员手动输入会议进程表每个进程对应的具体事项；半自动编辑以会议进程表为基础，在编辑事项表单时，参照会议进程表每个进程对应的关联性信息，参会人员只需打开会议进程表，并点击某一具体进程，例如“招标方介绍采购要求”这一进程，则可以基于关联性信息自动调用“采购要求书”，并从中抽取“性能指标、能耗指标、价格、交货时间”等事项添加到事项表单中，作为事项表单的信息项，当然，也可以从“采购要求书”中抽取关键词，由参会人员自主选择事项添加到事项表单；自动编辑依旧以会议进程表为基础，根据会议类型选择预先定义的模板，参照关联性信息，自动生成事项表单，例如，对于招标采购类型的会议，预先定义一个事项表单模板，该模板包含采购要求信息项、双方议价信息项、违约赔偿信息项、样品展示项、资质验证项、招标结果表决项等预设的事项，利用该模板与会议进程表匹配，发现该会议具有招标方介绍采购要求、双方验证投标方的生产资质证件、投标方出示样品、招标方举手表决等进程，则自动遴选模板中的采购要求信息项、样品展示项、资质验证项、招标结果表决项，进而，根据关联性信息，从“采购要求书”抽取“性能指标、能耗指标、价格、交货时间”等事项添加到事项表单，作为事项表单中的采购要求信息项，完成事项表单的全自动匹配生成。

通过上述方式获取会议进程表以及每个进程对应的事项表单，则可以生成会议规则树，具体的，会议规则树以会议进程表中每个进程为一个基本单元，每个基本单元包含该进程的名称、进程时间段等描述信息，同时包含该进程涉及的具体事项，便于在会议进行至相关进程时，自动调用和展示该进程映射的事项。

第二步，确定所述会议规则树每个基本单元适用的信息提取识别规则，根据信息提取识别规则提取记录数据，例如在“主持人宣布开始”这一进程中，使用的信息提取识别规则为进行参会人员人脸识别，将会议前准备工作时上传的人员名单以及对应的头像与采集的人脸进行比对，进而确定并记录会议实际到场参会者身份；在“招标方介绍采购要求”的进程中，确定信息提取识别规则为通过人脸识别结合声音特征识别确认识别提取当前发言方为具体的招标方甲，并通过语音文本转换，将甲的发言转换为文本，根据关键词匹配，从文本中筛选与“性能指标、能耗指标、价格、交货时间”等关键词匹配的发言文本进行记录；在“双方验证投标方的生产资质证件”的进程中，确定信息提取识别规则为视频物品识别，拍摄记录投标方手持证件原件的照片，作为事项表单中的验证项；“投标方出示样品”进程，确定信息提取识别规则为视频物品识别，拍摄记录样品的视频，作为事项表单中的展示项；在“投标方进行产品介绍和报价”的进程中，信息提取识别规则为通过人脸识别结合声音特征识别，确认识别提取针对的发言方为投标方乙，通过语音文本转换，将乙的发言转换为文本，通过关键词匹配，将与“性能指标、能耗指标、价格、交货时间”等关键词匹配的参数、价格数值、日期等信息填写到事件表单对应的信息项，以及对与关键词匹配的发言文本进行记录；在“双方自由问答”的进程中，信息提取识别规则为通过人脸识别结合声音特征识别，确认识别提取针对的发言方为招标方和投标方，通过语音文本转换，将各个发言方的发言转换为文本，从文本中筛选与“性能指标、能耗指标、价格、交货时间”等关键词匹配的发言文本进行记录；在“主持人请投标方退场”的进程中，适用的信息提取识别规则为进行参会者人脸识别，确认投标方身份的人员离开会场；在“招标方举手表决”的进程中，适用的信息提取识别规则为进行视频场景识别，拍摄记录举手视频画面，并且识别举手和未举手人数，作为表决项进行记录。

为了进一步优化上述技术特征，在视频会议进行过程，能够显示会议进程表，并由主持人确定会议进程，即由主持人手动点击进度条确认会议进程，也可以由系统自动对主持人的发言进行人脸识别以及语音语义识别，确认进程，根据主持人的确定，向所有参会人员实时更新会议进程表的进度条。

为了进一步优化上述技术特征，在视频会议进行过程，还能够给予主持人必要的主持提示，帮助主持人串场以及调控会议节奏，例如当某个进程超时时，则给主持人超时提示，提醒主持人加快会议节奏；在某个进程中，对应规则需要采集的事项或者发言记录没有获得有效的采集结果，则基于主持人缺项提示，例如在“招标方介绍采购要求”、“投标方进行产品介绍和报价”等环节，如果没有采集到的交货时间相关的发言记录或者信息项，则给予主持人缺项提示，并显示所缺项为信息项“交货时间”，提示参会者补充发言；如果某个进程不具备展开的先决条件时，则给予主持人合规提示，例如，参会人员与名单不符合或者人数不足、表决前监测到投标方没有完成退场等情况，则给予主持人合规提示，要求非人员名单线上的参会者立场、投标方立即退场。

根据上述过程，在完成一次招标采购类型的会议后，将提取的记录数据与会议规则树的各个基本单元中的进程以及事项进行匹配，进而实现所述记录数据的整合以及填报。

最后，自动生成会议记录，并将会议记录分发给参会方或者相关部门，例如，将实际参会名单以及事项表单的各个事项生成采购记录表单，自动上传给采购主管的部门进行审核；根据发言记录自动生成会议记录存档等。

如图2所示，本发明设计如下系统：

一种基于人工智能识别提取的视频会议系统，包括：准备模块1、记录数据处理模块2、会议记录生成模块3；其中，

准备模块1用于采集分析包括会议进程表在内的会议资料，确定会议进程表与其余会议资料的关联性信息，并编辑会议的事项表单，生成会议规则树；

具体的，由准备模块1进行会议开始前的准备工作，接收参会人员上传参加会议的人员名单，以及名单上人员对应的头像照片，会议进程表以及各项进程预计的完成时间，演示PPT，会议文档资料等，例如，一个关于产品采购招标的会议视频，参会人员包括：招标方甲、乙、丙，投标方丁、戊，由甲担任本次会议的主持人，在会议开始前需要上传甲、乙、丙、丁、戊五人的姓名以及对应的头像信息，该视频会议包括主持人宣布开始、招标方介绍采购要求、双方验证投标方的生产资质证件、投标方出示样品、投标方进行产品介绍和报价、双方自由问答、主持人请投标方退场、招标方举手表决等进程，因此，会议开始前由上述参会人员中任意一人上传该会议的全部进程即会议进程表，当然，每项进程均包括完成该进程所需的预计时间长度；另外，会议还需要利用PPT进行投标方的产品介绍，招标方在采购投标方产品时，需要参照采购要求书进行采购，投标方还需要向招标方展示资质证件扫描件，因此上述会议所需的演示PPT、会议文档资料均需要在会前由参会人员进行上传。

会议资料上传完成后，准备模块1先提取会议进程表、演示PPT、会议文档资料等会议资料中包含的关键词，并将演示PPT、会议文档资料等会议资料中包含的关键词与会议进程表中各个进程进行关联，例如，会议进程表中“招标方介绍采购要求”的进程，可以与“采购要求书”基于共同的关键词“采购要求”构成关联性信息；会议进程表中“双方验证投标方的生产资质证件”的进程可以与“资质证件扫描件”基于“资质证件”构成关联性信息；会议进程表中“投标方进行产品介绍和报价”则可以基于关键词“产品介绍和报价”与名称为“某产品介绍和报价”的PPT构成关联性信息。

在完成会议进程表与其余各个会议资料之间的关联后，准备模块1基于获得的关联性信息，支持手动、半自动或者自动编辑的方式，编辑会议的事项表单，具体的，以会议进程表为基础，参照关联性信息，将完成各个进程所需的事项进行整理编辑，生成事项表单，事项表单包括信息项、表决项、展示项以及验证项；例如，在投标方进行产品介绍的进程中，要对照采购要求的若干事项，如产品的性能指标、能耗指标、价格、交货时间等记录投标方产品的各个指标的具体参数、价格数值、时间日期等信息项；在验证投标方的生产资质证件、投标方出示样品等进程中包含展示项；在招标方举手表决等进程中，包含表决项；因此需要将每个进程与对应的具体事项进行映射，生成事项表单。

为了便于参会人员按需选择，事项表单的编辑方式存在手动、半自动以及自动三种编辑方式，具体的，手动编辑就是由参会人员手动输入会议进程表每个进程对应的具体事项；半自动编辑以会议进程表为基础，在编辑事项表单时，参照会议进程表每个进程对应的关联性信息，参会人员只需打开会议进程表，并点击某一具体进程，例如“招标方介绍采购要求”这一进程，则可以基于关联性信息自动调用“采购要求书”，并从中抽取“性能指标、能耗指标、价格、交货时间”等事项添加到事项表单中，作为事项表单的信息项，当然，也可以从“采购要求书”中抽取关键词，由参会人员自主选择事项添加到事项表单；自动编辑是通过准备模块1以会议进程表为基础，根据会议类型选择预先定义的模板，参照关联性信息，自动生成事项表单，例如，对于招标采购类型的会议，预先定义一个事项表单模板，该模板包含采购要求信息项、双方议价信息项、违约赔偿信息项、样品展示项、资质验证项、招标结果表决项等预设的事项，利用该模板与会议进程表匹配，发现该会议具有招标方介绍采购要求、双方验证投标方的生产资质证件、投标方出示样品、招标方举手表决等进程，则自动遴选模板中的采购要求信息项、样品展示项、资质验证项、招标结果表决项，进而，根据关联性信息，从“采购要求书”抽取“性能指标、能耗指标、价格、交货时间”等事项添加到事项表单，作为事项表单中的采购要求信息项，完成事项表单的全自动匹配生成。

通过上述方式获取会议进程表以及每个进程对应的事项表单，则可以生成会议规则树，具体的，会议规则树以会议进程表中每个进程为一个基本单元，每个基本单元包含该进程的名称、进程时间段等描述信息，同时包含该进程涉及的具体事项，便于在会议进行至相关进程时，自动调用和展示该进程映射的事项。

由记录数据处理模块2确定所述会议规则树每个基本单元适用的信息提取识别规则，根据信息提取识别规则提取记录数据，例如在“主持人宣布开始”这一进程中，使用的信息提取识别规则为进行参会人员人脸识别，将会议前准备工作时上传的人员名单以及对应的头像与采集的人脸进行比对，进而确定并记录会议实际到场参会者身份；在“招标方介绍采购要求”的进程中，确定信息提取识别规则为通过人脸识别结合声音特征识别确认识别提取当前发言方为具体的招标方甲，并通过语音文本转换，将甲的发言转换为文本，根据关键词匹配，从文本中筛选与“性能指标、能耗指标、价格、交货时间”等关键词匹配的发言文本进行记录；在“双方验证投标方的生产资质证件”的进程中，确定信息提取识别规则为视频物品识别，拍摄记录投标方手持证件原件的照片，作为事项表单中的验证项；“投标方出示样品”进程，确定信息提取识别规则为视频物品识别，拍摄记录样品的视频，作为事项表单中的展示项；在“投标方进行产品介绍和报价”的进程中，信息提取识别规则为通过人脸识别结合声音特征识别，确认识别提取针对的发言方为投标方乙，通过语音文本转换，将乙的发言转换为文本，通过关键词匹配，将与“性能指标、能耗指标、价格、交货时间”等关键词匹配的参数、价格数值、日期等信息填写到事件表单对应的信息项，以及对与关键词匹配的发言文本进行记录；在“双方自由问答”的进程中，信息提取识别规则为通过人脸识别结合声音特征识别，确认识别提取针对的发言方为招标方和投标方，通过语音文本转换，将各个发言方的发言转换为文本，从文本中筛选与“性能指标、能耗指标、价格、交货时间”等关键词匹配的发言文本进行记录；在“主持人请投标方退场”的进程中，适用的信息提取识别规则为进行参会者人脸识别，确认投标方身份的人员离开会场；在“招标方举手表决”的进程中，适用的信息提取识别规则为进行视频场景识别，拍摄记录举手视频画面，并且识别举手和未举手人数，作为表决项进行记录。

为了进一步优化上述技术特征，本系统还包括显示模块4，在视频会议进行过程，能够显示会议进程表，并由主持人确定会议进程，即由主持人手动点击进度条确认会议进程，也可以由系统自动对主持人的发言进行人脸识别以及语音语义识别，确认进程，根据主持人的确定，向所有参会人员实时更新会议进程表的进度条。

在视频会议进行过程，显示模块4还用于还能够给予主持人必要的主持提示，帮助主持人串场以及调控会议节奏，例如当某个进程超时时，则给主持人超时提示，提醒主持人加快会议节奏；在某个进程中，对应规则需要采集的事项或者发言记录没有获得有效的采集结果，则基于主持人缺项提示，例如在“招标方介绍采购要求”、“投标方进行产品介绍和报价”等环节，如果没有采集到的交货时间相关的发言记录或者信息想，则给予主持人缺项提示，并显示所缺项为信息项“交货时间”，提示参会者补充发言；如果某个进程不具备展开的先决条件时，则给予主持人合规提示，例如，参会人员与名单不符合或者人数不足、表决前监测到投标方没有完成退场等情况，则给予主持人合规提示，要求非人员名单线上的参会者立场、投标方立即退场。

根据上述过程，在完成一次招标采购类型的会议后，记录数据处理模块2将提取的记录数据与会议规则树的各个基本单元中的进程以及事项进行匹配，进而实现所述记录数据的自动整合以及填报。

最后，会议记录生成模块3用于自动生成会议记录，并将会议记录分发给参会方或者相关部门，例如，将实际参会名单以及事项表单的各个事项生成采购记录表单，自动上传给采购主管的部门进行审核；根据发言记录自动生成会议记录存档等。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于人工智能识别提取的视频会议方法，其特征在于，包括如下步骤：

S1，采集分析包括会议进程表在内的会议资料，确定会议进程表与其余会议资料的关联性信息，并编辑会议的事项表单，生成会议规则树；

S2，确定所述会议规则树每个基本单元适用的信息提取识别规则，根据信息提取识别规则提取记录数据，并与会议规则树进行匹配，实现所述记录数据的整合以及填报；

S3，生成并分发会议记录。

2.根据权利要求1所述的方法，其特征在于，所述会议资料包括参会名单及其头像、会议进程表以及每项进程的时间长度、演示PPT、会议文档资料；其中，所述会议资料由参会人员在会议开始前上传。

3.根据权利要求1所述的方法，其特征在于，所述S1的具体步骤为：由参会人员上传会议资料；提取所述会议资料中的关键词，将所述其余会议资料中的关键词与所述会议进程表进行匹配，确定所述其余会议资料与所述会议进程表的关联性信息，进而编辑会议进程表中各个进程的事项表单；生成会议规则树；其中，所述事项表单包括信息项、表决项、展示项、验证项。

4.根据权利要求1所述的方法，其特征在于，所述会议规则树中的每个基本单元包括所述会议进程表中的一个进程及其描述信息、所述进程对应的事项表单。

5.根据权利要求1所述的方法，其特征在于，还包括如下步骤：根据所述会议进程表向参会者实时更新显示进度条，以及给主持人提供必要的主持提示。

6.一种基于人工智能识别提取的视频会议系统，其特征在于，包括：准备模块（1）、记录数据处理模块（2）、会议记录生成模块（3）；其中，

所述准备模块（1）用于采集分析包括会议进程表在内的会议资料，确定会议进程表与其余会议资料的关联性信息，并编辑会议的事项表单，生成会议规则树；

所述记录数据处理模块（2）用于确定所述会议规则树每个基本单元适用的信息提取识别规则，根据信息提取识别规则提取记录数据，并与会议规则树进行匹配，实现所述记录数据的整合以及填报；

所述会议记录生成模块（3）用于生成并分发会议记录。

7.根据权利要求6所述的系统，其特征在于，所述会议资料包括参会名单及其头像、会议进程表以及每项进程的时间长度、演示PPT、会议文档资料；其中，所述会议资料由参会人员在会议开始前上传。

8.根据权利要求6所述的系统，其特征在于，所述准备模块（1）的具体执行方式为：接收参会人员上传会议资料；提取所述会议资料中的关键词，将所述其余会议资料中的关键词与所述会议进程表进行匹配，确定所述其余会议资料与所述会议进程表的关联性信息，进而编辑会议进程表中各个进程的事项表单；生成会议规则树；其中，所述事项表单包括信息项、表决项、展示项、验证项。

9.根据权利要求6所述的系统，其特征在于，所述会议规则树中的每个基本单元包括所述会议进程表中的一个进程及其描述信息、所述进程对应的事项表单。

10.根据权利要求6所述的系统，其特征在于，还包括显示模块（4），用于根据所述会议进程表向参会者实时更新显示进度条，以及给主持人提供必要的主持提示。

Images