CN115865876A - 用于会议一体机远程会议音频数据的管理系统及方法 - Google Patents

Abstract

本发明涉及会议管理技术领域，具体为用于会议一体机远程会议音频数据的管理系统及方法，所述系统包括受损影响分析模块，所述受损影响分析模块获取会议一体机中提前上传的会议材料，分析受损音频分析模块中音频信息的受损情况对后续会议内容的影响，得到受损内容影响值；预警管理模块，所述预警管理模块将受损内容影响值与数据库中预置的第一预设值进行比较，并根据比较结果选择相应的远程会议端口进行预警。本发明通过对会议端口对应的网络延迟情况进行监测，分析出现网络卡顿对应的时间区间内的音频信息对相应会议参与者的影响，根据影响情况选择合适的远程会议端口进行预警，确保远程会议有效开展，降低网络卡顿对远程会议的干扰。

Description

用于会议一体机远程会议音频数据的管理系统及方法

技术领域

本发明涉及会议管理技术领域，具体为用于会议一体机远程会议音频数据的管理系统及方法。

背景技术

通过电话或视频会议远程讨论问题的需求日益增加，但是多端口会议在进行的过程中，由于每个端口所处的网络环境是存在差异的，进而会议参与者无法通过自身所处的会议端口实时有效的兼顾到各个端口的信号情况，进而在会议过程中可能会出现某一会议端口受网络影响，出现卡顿现象，进而使得卡顿期间内接收其他端口会议参与者传递的音频或视频信息出现缺失或者接收的音频信息出现语速过快的现象，使得出现卡顿的会议参与者不能及时有效的了解到其他端口的会议参与者在卡顿期间内传递的信息，进而影响会议的有效进行；

现有的用于会议一体机远程会议音频数据的管理系统中，只是单纯的对会议过程中的音品信号及视频信号进行处理，使得音频信号与视频信号能够同步传输，但是无法有效解决会议召开过程中出现的卡顿情况对会议参与者的影响。

发明内容

本发明的目的在于提供用于会议一体机远程会议音频数据的管理系统及方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：用于会议一体机远程会议音频数据的管理方法，所述方法包括以下步骤：

S1、会议一体机会对参与远程会议的各个端口建立通信连接，在建立通信连接后会议一体机对会议内容进行实时录屏，并对每个端口在各个时间点对应通信网络的延迟情况进行监控，根据监控结果判断各个通信端口对应的通信状态是否卡顿；

S2、每隔第一单位时间获取一次远程会议过程中网络出现卡顿的端口内相应的卡顿时间区间，记为第一时间区间，所述第一单位时间为数据库中预制的常数；

S3、截取网络出现卡顿的端口内在第一时间区间内对应的录屏信息，记为第一录屏信息，截取网络未出现卡顿的任意一个端口内在第一时间区间内对应的录屏信息，记为第二录屏信息，对第一录屏信息及第二录屏信息进行分析，获取在第一时间区间内网络出现卡顿的端口音频信息的受损情况；

S4、获取会议一体机中提前上传的会议材料，分析S3中音频信息的受损情况对后续会议内容的影响，得到受损内容影响值；

S5、将受损内容影响值与数据库中预置的第一预设值进行比较，并根据比较结果选择相应的远程会议端口进行预警，

当受损内容影响值大于等于第一预设值时，则判定受损内容对后续会议的影响较大，获取第一时间区间内各个远程会议端口对应的音频内容，并分别反馈给相应的远程会议端口进行预警；

当受损内容影响值小于第一预设值时，则判定受损内容对后续会议的影响较小，在远程会议结束后，获取第一时间区间内的音频内容，并反馈给第一时间区间对应的网络出现卡顿的端口进行预警。

进一步的，所述S1中根据监控结果判断各个通信端口对应的通信状态是否卡顿的方法包括以下步骤：

S1.1、获取对每个端口在各个时间点对应通信网络的延迟情况的监控结果，所述监控结果为相应时间点对应的网络延迟信息，将第i个端口在时间点t对应通信网络的延迟情况的监控结果记为Tit；

S1.2、获取各个端口在时间点t分别对应的各个Tit，获取时间点t时对应的网络延迟信息参照值TCt，

当时间点t时远程会议中产生音频信息时，获取时间点t时远程会议中产生音频信息的各个端口对应网络延迟信息的最小值，记为min{Tit}，则TCt＝min{Tit}，

当时间点t时远程会议中未产生音频信息时，获取远程会议中时间点t之前最近一次产生音频信息时相应各个端口对应网络延迟信息的最小值，记为TC1t，则TCt＝TC1t；

S1.3、得到第i个端口在时间点t时对应的最大时延差Tit-TCt；

S1.4、将Tit-TCt与数据库中预置的第二预设值进行比较，

当Tit-TCt大于等于第二预设值时，则判定第i个端口在时间点t时出现卡顿，

当Tit-TCt小于第二预设值时，则判定第i个端口在时间点t时通信状态正常。

本发明从第i个端口在时间点t时对应的最大时延差进行考虑，进而判断出第i个端口在时间点t时相应的通信状态情况，不同时间点t时判断每个端口通信状态是否卡顿的参照值TCt是存在差异的。

进一步的，所述S3中对第一录屏信息及第二录屏信息进行分析的方法包括以下步骤：

S3.1、获取第一录屏信息及第二录屏信息；

S3.2、提取第一录屏信息中的音频信息，记为第一音频信息，提取第二录屏信息中的音频信息，记为第二音频信息；

S3.3、对第二音频信息进行文本转译，转译后内容包括多个文本转译语句，并将文本转译后得到的多个文本转译语句逐个录入到一个空白集合中，得到文本转译参照集合P，P＝{Py1，py2，...，pyn}，所述pyn表示第二音频信息经文本转译后的第n个文本转译语句，不同文本转译语句是根据音频信息中相邻两个关键词之间的停顿时长进行划分的，将音频信息中停顿时长大于等于第一阈值时的相邻两个关键词划分到不同的文本转译语句中，所述第一阈值为数据库中预置的常数；

S3.4、对第一音频信息进行文本转译，得到第一音频信息文本转译信息P1，P1包括0个或一个文本转译语句，当第一音频信息文本转译结果为空时，判定

；

S3.5、将P1与P进行比较，

当P中的Pyn1与P1的重合内容等于Pyn1时，则判定P中的Pyn1为P1中的一部分，

当P中的Pyn1与P1的重合内容不等于Pyn1且重合内容为Pyn1中的一部分或重合内容为空时，则判定文本转译语句Pyn1在P1中出现信息丢失，将P中的元素Pyn1进行标记，1≤n1≤n；

S3.6、将P中所有标记的元素信息进行汇总，得到音频丢失信息。

本发明对第一录屏信息及第二录屏信息进行分析的过程中，获取第一录屏信息及第二录屏信息，是为了后续提取第一音频信息及第二音频信息，并将第一音频信息及第二音频信息进行比较，准确获取第一时间区间内网络出现卡顿的端口的音频丢失信息；同时也为后续过程中将音频丢失信息与第一录屏信息中屏幕截图的文本信息进行比较提供了数据基础。

进一步的，所述S3中获取在第一时间区间内网络出现卡顿的端口音频信息的受损情况的方法包括以下步骤：

S31、获取第一录屏信息及音频丢失信息；

S3-2、根据第一录屏信息，获取第一时间区间内不同时间点对应的屏幕截图中的文本信息，将第一时间区间中时间点t1对应的屏幕截图中的文本信息记为Wt1；

S3-3、根据音频丢失信息，获取第一时间区间内，音频丢失信息中每个文本转译语句对应的时间区间，

将音频丢失信息中第j个文本转译语句对应的时间区间记为[tA1j，tA2j]，所述tA1j表示第j个文本转译语句在第一音频信息中出现的起始时间，tA2j表示第j个文本转译语句在第一音频信息中出现的终止时间；

S3-4、获取第一录屏信息中[tA1j，tA2j]内各个时间点分别对应屏幕截图中的文本信息，得到第j个对比文本信息，

当第一录屏信息中[tA1j，tA2j]内存在两个时间点对应屏幕截图中的文本信息相同时，则第j个对比文件信息中只保留较小时间点屏幕截图中的文本信息，

当第一录屏信息中[tA1j，tA2j]内存在两个时间点对应屏幕截图中的文本信息不相同时，则第j个对比文件信息中两个时间点对应屏幕截图中的文本信息均保留；

S3-5、将音频丢失信息中第j个文本转译语句与第j个对比文本信息进行比较，

当第j个对比文本信息中包含音频丢失信息中第j个文本转译语句时，则判定音频丢失信息中第j个文本转译语句对网络出现卡顿端口相应的用户造成第一类型影响，

当第j个对比文本信息中不包含音频丢失信息中第j个文本转译语句时，则判定音频丢失信息中第j个文本转译语句对网络出现卡顿端口相应的用户造成第二类型影响；

S3-6、将音频丢失信息中会对网络出现卡顿端口相应的用户造成第一类型影响的各个文本转译语句进行汇总，得到第一影响集合，将音频丢失信息中会对网络出现卡顿端口相应的用户造成第二类型影响的各个文本转译语句进行汇总，得到第二影响集合，

得到第一时间区间内网络出现卡顿的端口音频信息中受损音频信息集合，所述受损音频信息集合包括第一影响集合及第二影响集合。

本发明获取在第一时间区间内网络出现卡顿的端口音频信息的受损情况的过程中，考虑到音频虽然受损，但是网络出现卡顿的端口的会议参与者依旧能够看到相应的会议屏幕画面，如果会议屏幕画面中存在文字信息的话，依旧不完全影响的会议参与者对会议信息的获取，进而将音频丢失信息中第j个文本转译语句与第j个对比文本信息进行比较，能够进一步准确判断网络卡顿期间音频丢失信息对会议参与者的影响情况，得到第一影响集合和第二影响集合，为后续得到受损内容影响值提供了数据参照；第一类型影响和第二类型影响为后续过程中获取第一影响系数β1及第二影响系数β2提供了数据基础。

进一步的，所述S4中得到受损内容影响值的方法包括以下步骤：

S4.1、对受损音频信息集合中第一影响集合内的各个文本转译语句进行关键词提取，并将提取的关键词作为第一类型关键词，对受损音频信息集合中第二影响集合内的各个文本转译语句进行关键词提取，并将提取的关键词作为第二类型关键词；

S4.2、获取会议一体机中提前上传的会议材料，获取时间点tA1j对应屏幕截图中的文本信息在会议材料中的位置，记为第一材料位置，并将会议材料中第一材料位置之前的内容记为第一材料信息，将会议材料中第一材料位置及之后的内容记为第二材料信息；

S4.3、统计第k1个第一类型关键词在第一材料信息中出现的次数，记为DM1k1，

统计第k1个第一类型关键词在第二材料信息中出现的次数，记为DM2k1，

统计第k2个第二类型关键词在第一材料信息中出现的次数，记为DT1k2，

统计第k2个第二类型关键词在第二材料信息中出现的次数，记为DT2k2；

S4.4、得到受损内容影响值E，用k1Z表示第一类型关键词的总个数，用k2Z表示第二类型关键词的总个数，

当k1Z＝0且k2Z＝0时，E＝0；

当k1Z＝0且k2Z≠0时，

当k1Z≠0且k2Z＝0时，

当k1Z＝0且k2Z＝0时，

其中，β1为数据库中预置的第一影响系数，β2为数据库中预置的第二影响系数，β1≤β2；

当DM1k1+DM2k1＝0时，则判定F(DM1k1，DM2k1)＝0，

当DM1k1+DM2k1＞0时，则判定F(DM1k1，DM2k1)＝DM2k1/(DM1k1+DM2k1)；

当DT1k2+DT2k2＝0时，则判定F1(DT1k2，DT2k2)＝0，

当DT1k2+DT2k2＞0时，则判定F1(DT1k2，DT2k2)＝DT2k2/(DT1k2+DT2k2)。

本发明得到受损内容影响值的过程中，是为了对受损音频信息集合中的关键词对会议参与者的影响尽心量化，受损内容影响值越大，则第一时间区间内网络卡顿对会议造成的影响越大，同时对网络出现的卡顿的端口中会议参与者进行后续会议的影响越大；获取F(DM1k1，DM2k1)时，计算DM2k1/(DM1k1+DM2k1)，是考虑到会议进行过程中，相应关键词在第二材料信息中出现的次数DM2k1占据该关键词在会议材料中出现总次数(DM1k1+DM2k1)的比值，当比值越大，则说明该关键词在后续会议过程中需要讨论的重要性越高，进而该关键词在第一时间区间对会议参与者的影响越大，对会议参与者理解该关键词对应的会议内容时产生的阻碍越强。

进一步的，所述S5中第一时间区间内的音频内容为第二录屏信息中相应音频信息的各个文本转译语句构成的集合；

所述S5中第一时间区间内各个远程会议端口对应的音频内容表示第二录屏信息中每个远程会议端口发出的音频信息对应文本转译语句构成的集合，一个远程会议端口对应一个文本转译语句集合。

用于会议一体机远程会议音频数据的管理系统，所述系统包括以下模块：

端口监测模块，所述端口监测模块控制会议一体机会对参与远程会议的各个端口建立通信连接，在建立通信连接后会议一体机对会议内容进行实时录屏，并对每个端口在各个时间点对应通信网络的延迟情况进行监控，根据监控结果判断各个通信端口对应的通信状态是否卡顿；

网络异常阶段时间获取模块，所述网络异常阶段时间获取模块每隔第一单位时间获取一次远程会议过程中网络出现卡顿的端口内相应的卡顿时间区间，记为第一时间区间，所述第一单位时间为数据库中预制的常数；

受损音频分析模块，所述受损音频分析模块截取网络出现卡顿的端口内在第一时间区间内对应的录屏信息，记为第一录屏信息，截取网络未出现卡顿的任意一个端口内在第一时间区间内对应的录屏信息，记为第二录屏信息，对第一录屏信息及第二录屏信息进行分析，获取在第一时间区间内网络出现卡顿的端口音频信息的受损情况；

受损影响分析模块，所述受损影响分析模块获取会议一体机中提前上传的会议材料，分析受损音频分析模块中音频信息的受损情况对后续会议内容的影响，得到受损内容影响值；

预警管理模块，所述预警管理模块将受损内容影响值与数据库中预置的第一预设值进行比较，并根据比较结果选择相应的远程会议端口进行预警，

当受损内容影响值大于等于第一预设值时，则判定受损内容对后续会议的影响较大，获取第一时间区间内各个远程会议端口对应的音频内容，并分别反馈给相应的远程会议端口进行预警；

当受损内容影响值小于第一预设值时，则判定受损内容对后续会议的影响较小，在远程会议结束后，获取第一时间区间内的音频内容，并反馈给第一时间区间对应的网络出现卡顿的端口进行预警。

进一步的，所述端口监测模块根据监控结果判断各个通信端口对应的通信状态是否卡顿的过程中，

所述端口监测模块获取对每个端口在各个时间点对应通信网络的延迟情况的监控结果，所述监控结果为相应时间点对应的网络延迟信息，将第i个端口在时间点t对应通信网络的延迟情况的监控结果记为Tit；获取各个端口在时间点t分别对应的各个Tit，获取时间点t时对应的网络延迟信息参照值TCt，

当时间点t时远程会议中产生音频信息时，获取时间点t时远程会议中产生音频信息的各个端口对应网络延迟信息的最小值，记为min{Tit}，则TCt＝min{Tit}，

当时间点t时远程会议中未产生音频信息时，获取远程会议中时间点t之前最近一次产生音频信息时相应各个端口对应网络延迟信息的最小值，记为TC1t，则TCt＝TC1t；

所述端口监测模块得到第i个端口在时间点t时对应的最大时延差Tit-TCt；并将Tit-TCt与数据库中预置的第二预设值进行比较，

当Tit-TCt大于等于第二预设值时，则判定第i个端口在时间点t时出现卡顿，

当Tit-TCt小于第二预设值时，则判定第i个端口在时间点t时通信状态正常。

进一步的，所述预警管理模块中第一时间区间内的音频内容为第二录屏信息中相应音频信息的各个文本转译语句构成的集合；

所述预警管理模块中第一时间区间内各个远程会议端口对应的音频内容表示第二录屏信息中每个远程会议端口发出的音频信息对应文本转译语句构成的集合，一个远程会议端口对应一个文本转译语句集合。

与现有技术相比，本发明所达到的有益效果是：本发明通过对会议端口对应的网络延迟情况进行监测，快速识别出会议过程中出现网络卡顿对应的时间区间，并分析出现网络卡顿对应的时间区间内的音频信息对相应会议参与者的影响，根据影响情况选择合适的远程会议端口进行预警，确保远程会议有效开展，降低网络卡顿对远程会议的干扰。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明用于会议一体机远程会议音频数据的管理系统的结构示意图；

图2是本发明用于会议一体机远程会议音频数据的管理方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图2，本发明提供技术方案：用于会议一体机远程会议音频数据的管理方法，所述方法包括以下步骤：

S1、会议一体机会对参与远程会议的各个端口建立通信连接，在建立通信连接后会议一体机对会议内容进行实时录屏，并对每个端口在各个时间点对应通信网络的延迟情况进行监控，根据监控结果判断各个通信端口对应的通信状态是否卡顿；

所述S1中根据监控结果判断各个通信端口对应的通信状态是否卡顿的方法包括以下步骤：

S1.1、获取对每个端口在各个时间点对应通信网络的延迟情况的监控结果，所述监控结果为相应时间点对应的网络延迟信息，将第i个端口在时间点t对应通信网络的延迟情况的监控结果记为Tit；

S1.2、获取各个端口在时间点t分别对应的各个Tit，获取时间点t时对应的网络延迟信息参照值TCt，

当时间点t时远程会议中产生音频信息时，获取时间点t时远程会议中产生音频信息的各个端口对应网络延迟信息的最小值，记为min{Tit}，则TCt＝min{Tit}，

当时间点t时远程会议中未产生音频信息时，获取远程会议中时间点t之前最近一次产生音频信息时相应各个端口对应网络延迟信息的最小值，记为TC1t，则TCt＝TC1t；

S1.3、得到第i个端口在时间点t时对应的最大时延差Tit-TCt；

S1.4、将Tit-TCt与数据库中预置的第二预设值进行比较，

当Tit-TCt大于等于第二预设值时，则判定第i个端口在时间点t时出现卡顿，

当Tit-TCt小于第二预设值时，则判定第i个端口在时间点t时通信状态正常。

本实施例中网络卡顿时，音频信号对会议参与者的影响表现为：

(1)音频信息中突然出现语速过快的情况，进而使得会议参与者无法快速有效地识别音频信息中包含的文本信息；

(2)音频信息中出现信息缺失，无法接收到相应时间段内其他会议端口传递的音频信息。

S2、每隔第一单位时间获取一次远程会议过程中网络出现卡顿的端口内相应的卡顿时间区间，记为第一时间区间，所述第一单位时间为数据库中预制的常数；

本实施例中第一单位时间为5分钟；

S3、截取网络出现卡顿的端口内在第一时间区间内对应的录屏信息，记为第一录屏信息，截取网络未出现卡顿的任意一个端口内在第一时间区间内对应的录屏信息，记为第二录屏信息，对第一录屏信息及第二录屏信息进行分析，获取在第一时间区间内网络出现卡顿的端口音频信息的受损情况；

所述S3中对第一录屏信息及第二录屏信息进行分析的方法包括以下步骤：

S3.1、获取第一录屏信息及第二录屏信息；

S3.2、提取第一录屏信息中的音频信息，记为第一音频信息，提取第二录屏信息中的音频信息，记为第二音频信息；

S3.3、对第二音频信息进行文本转译，转译后内容包括多个文本转译语句，并将文本转译后得到的多个文本转译语句逐个录入到一个空白集合中，得到文本转译参照集合P，P＝{Py1，py2，...，pyn}，所述pyn表示第二音频信息经文本转译后的第n个文本转译语句，不同文本转译语句是根据音频信息中相邻两个关键词之间的停顿时长进行划分的，将音频信息中停顿时长大于等于第一阈值时的相邻两个关键词划分到不同的文本转译语句中，所述第一阈值为数据库中预置的常数；

S3.4、对第一音频信息进行文本转译，得到第一音频信息文本转译信息P1，P1包括0个或一个文本转译语句，当第一音频信息文本转译结果为空时，判定

；

S3.5、将P1与P进行比较，

当P中的Pyn1与P1的重合内容等于Pyn1时，则判定P中的Pyn1为P1中的一部分，

当P中的Pyn1与P1的重合内容不等于Pyn1且重合内容为Pyn1中的一部分或重合内容为空时，则判定文本转译语句Pyn1在P1中出现信息丢失，将P中的元素Pyn1进行标记，1≤n1≤n：

S3.6、将P中所有标记的元素信息进行汇总，得到音频丢失信息。

本实施例中当

时，则P中的Pyn1与P1的重合内容为空，则需要对P中的Pyn1进行标记，得到的音频丢失信息等于P；

所述S3中获取在第一时间区间内网络出现卡顿的端口音频信息的受损情况的方法包括以下步骤：

S3-1、获取第一录屏信息及音频丢失信息；

S3-2、根据第一录屏信息，获取第一时间区间内不同时间点对应的屏幕截图中的文本信息，将第一时间区间中时间点t1对应的屏幕截图中的文本信息记为Wt1；

S3-3、根据音频丢失信息，获取第一时间区间内，音频丢失信息中每个文本转译语句对应的时间区间，

将音频丢失信息中第j个文本转译语句对应的时间区间记为[tA1j，tA2j]，所述tA1j表示第j个文本转译语句在第一音频信息中出现的起始时间，tA2j表示第j个文本转译语句在第一音频信息中出现的终止时间；

S3-4、获取第一录屏信息中[tA1j，tA2j]内各个时间点分别对应屏幕截图中的文本信息，得到第j个对比文本信息，

当第一录屏信息中[tA1j，tA2j]内存在两个时间点对应屏幕截图中的文本信息相同时，则第j个对比文件信息中只保留较小时间点屏幕截图中的文本信息，

当第一录屏信息中[tA1j，tA2j]内存在两个时间点对应屏幕截图中的文本信息不相同时，则第j个对比文件信息中两个时间点对应屏幕截图中的文本信息均保留；

S3-5、将音频丢失信息中第j个文本转译语句与第j个对比文本信息进行比较，

当第j个对比文本信息中包含音频丢失信息中第j个文本转译语句时，则判定音频丢失信息中第j个文本转译语句对网络出现卡顿端口相应的用户造成第一类型影响，

当第j个对比文本信息中不包含音频丢失信息中第j个文本转译语句时，则判定音频丢失信息中第j个文本转译语句对网络出现卡顿端口相应的用户造成第二类型影响；

S3-6、将音频丢失信息中会对网络出现卡顿端口相应的用户造成第一类型影响的各个文本转译语句进行汇总，得到第一影响集合，将音频丢失信息中会对网络出现卡顿端口相应的用户造成第二类型影响的各个文本转译语句进行汇总，得到第二影响集合，

得到第一时间区间内网络出现卡顿的端口音频信息中受损音频信息集合，所述受损音频信息集合包括第一影响集合及第二影响集合。

S4、获取会议一体机中提前上传的会议材料，分析S3中音频信息的受损情况对后续会议内容的影响，得到受损内容影响值；

所述S4中得到受损内容影响值的方法包括以下步骤：

S4.1、对受损音频信息集合中第一影响集合内的各个文本转译语句进行关键词提取，并将提取的关键词作为第一类型关键词，对受损音频信息集合中第二影响集合内的各个文本转译语句进行关键词提取，并将提取的关键词作为第二类型关键词；

S4.2、获取会议一体机中提前上传的会议材料，获取时间点tA1j对应屏幕截图中的文本信息在会议材料中的位置，记为第一材料位置，并将会议材料中第一材料位置之前的内容记为第一材料信息，将会议材料中第一材料位置及之后的内容记为第二材料信息；

S4.3、统计第k1个第一类型关键词在第一材料信息中出现的次数，记为DM1k1，

统计第k1个第一类型关键词在第二材料信息中出现的次数，记为DM2k1，

统计第k2个第二类型关键词在第一材料信息中出现的次数，记为DT1k2，

统计第k2个第二类型关键词在第二材料信息中出现的次数，记为DT2k2；

S4.4、得到受损内容影响值E，用k1Z表示第一类型关键词的总个数，用k2Z表示第二类型关键词的总个数，

当k1Z＝0且k2Z＝0时，E＝0；

当k1Z＝0且k2Z≠0时，

当k1Z≠0且k2Z＝0时，

/>

当k1Z＝0且k2Z＝0时，

其中，β1为数据库中预置的第一影响系数，β2为数据库中预置的第二影响系数，β1≤β2；

当DM1k1+DM2k1＝0时，则判定F(DM1k1，DM2k1)＝0，

当DM1k1+DM2k1＞0时，则判定F(DM1k1，DM2k1)＝DM2k1/(DM1k1+DM2k1)；

当DT1k2+DT2k2＝0时，则判定F1(DT1k2，DT2k2)＝0，

当DT1k2+DT2k2＞0时，则判定F1(DT1k2，DT2k2)＝DT2k2/(DT1k2+DT2k2)。

S5、将受损内容影响值与数据库中预置的第一预设值进行比较，并根据比较结果选择相应的远程会议端口进行预警，

当受损内容影响值大于等于第一预设值时，则判定受损内容对后续会议的影响较大，获取第一时间区间内各个远程会议端口对应的音频内容，并分别反馈给相应的远程会议端口进行预警；

当受损内容影响值小于第一预设值时，则判定受损内容对后续会议的影响较小，在远程会议结束后，获取第一时间区间内的音频内容，并反馈给第一时间区间对应的网络出现卡顿的端口进行预警。

所述S5中第一时间区间内的音频内容为第二录屏信息中相应音频信息的各个文本转译语句构成的集合；

所述S5中第一时间区间内各个远程会议端口对应的音频内容表示第二录屏信息中每个远程会议端口发出的音频信息对应文本转译语句构成的集合，一个远程会议端口对应一个文本转译语句集合。

用于会议一体机远程会议音频数据的管理系统，所述系统包括以下模块：

端口监测模块，所述端口监测模块控制会议一体机会对参与远程会议的各个端口建立通信连接，在建立通信连接后会议一体机对会议内容进行实时录屏，并对每个端口在各个时间点对应通信网络的延迟情况进行监控，根据监控结果判断各个通信端口对应的通信状态是否卡顿；

网络异常阶段时间获取模块，所述网络异常阶段时间获取模块每隔第一单位时间获取一次远程会议过程中网络出现卡顿的端口内相应的卡顿时间区间，记为第一时间区间，所述第一单位时间为数据库中预制的常数；

受损音频分析模块，所述受损音频分析模块截取网络出现卡顿的端口内在第一时间区间内对应的录屏信息，记为第一录屏信息，截取网络未出现卡顿的任意一个端口内在第一时间区间内对应的录屏信息，记为第二录屏信息，对第一录屏信息及第二录屏信息进行分析，获取在第一时间区间内网络出现卡顿的端口音频信息的受损情况；

受损影响分析模块，所述受损影响分析模块获取会议一体机中提前上传的会议材料，分析受损音频分析模块中音频信息的受损情况对后续会议内容的影响，得到受损内容影响值；

预警管理模块，所述预警管理模块将受损内容影响值与数据库中预置的第一预设值进行比较，并根据比较结果选择相应的远程会议端口进行预警，

当受损内容影响值大于等于第一预设值时，则判定受损内容对后续会议的影响较大，获取第一时间区间内各个远程会议端口对应的音频内容，并分别反馈给相应的远程会议端口进行预警；

当受损内容影响值小于第一预设值时，则判定受损内容对后续会议的影响较小，在远程会议结束后，获取第一时间区间内的音频内容，并反馈给第一时间区间对应的网络出现卡顿的端口进行预警。

所述端口监测模块根据监控结果判断各个通信端口对应的通信状态是否卡顿的过程中，

所述端口监测模块获取对每个端口在各个时间点对应通信网络的延迟情况的监控结果，所述监控结果为相应时间点对应的网络延迟信息，将第i个端口在时间点t对应通信网络的延迟情况的监控结果记为Tit；获取各个端口在时间点t分别对应的各个Tit，获取时间点t时对应的网络延迟信息参照值TCt，

当时间点t时远程会议中产生音频信息时，获取时间点t时远程会议中产生音频信息的各个端口对应网络延迟信息的最小值，记为min{Tit}，则TCt＝min{Tit}，

当时间点t时远程会议中未产生音频信息时，获取远程会议中时间点t之前最近一次产生音频信息时相应各个端口对应网络延迟信息的最小值，记为TC1t，则TCt＝TC1t；

所述端口监测模块得到第i个端口在时间点t时对应的最大时延差Tit-TCt；并将Tit-TCt与数据库中预置的第二预设值进行比较，

当Tit-TCt大于等于第二预设值时，则判定第i个端口在时间点t时出现卡顿，

当Tit-TCt小于第二预设值时，则判定第i个端口在时间点t时通信状态正常。

所述预警管理模块中第一时间区间内的音频内容为第二录屏信息中相应音频信息的各个文本转译语句构成的集合；

所述预警管理模块中第一时间区间内各个远程会议端口对应的音频内容表示第二录屏信息中每个远程会议端口发出的音频信息对应文本转译语句构成的集合，一个远程会议端口对应一个文本转译语句集合。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.用于会议一体机远程会议音频数据的管理方法，其特征在于，所述方法包括以下步骤：

S1、会议一体机会对参与远程会议的各个端口建立通信连接，在建立通信连接后会议一体机对会议内容进行实时录屏，并对每个端口在各个时间点对应通信网络的延迟情况进行监控，根据监控结果判断各个通信端口对应的通信状态是否卡顿；

S2、每隔第一单位时间获取一次远程会议过程中网络出现卡顿的端口内相应的卡顿时间区间，记为第一时间区间，所述第一单位时间为数据库中预制的常数；

S3、截取网络出现卡顿的端口内在第一时间区间内对应的录屏信息，记为第一录屏信息，截取网络未出现卡顿的任意一个端口内在第一时间区间内对应的录屏信息，记为第二录屏信息，对第一录屏信息及第二录屏信息进行分析，获取在第一时间区间内网络出现卡顿的端口音频信息的受损情况；

S4、获取会议一体机中提前上传的会议材料，分析S3中音频信息的受损情况对后续会议内容的影响，得到受损内容影响值；

S5、将受损内容影响值与数据库中预置的第一预设值进行比较，并根据比较结果选择相应的远程会议端口进行预警，

当受损内容影响值大于等于第一预设值时，则判定受损内容对后续会议的影响较大，获取第一时间区间内各个远程会议端口对应的音频内容，并分别反馈给相应的远程会议端口进行预警；

当受损内容影响值小于第一预设值时，则判定受损内容对后续会议的影响较小，在远程会议结束后，获取第一时间区间内的音频内容，并反馈给第一时间区间对应的网络出现卡顿的端口进行预警。

2.根据权利要求1所述的用于会议一体机远程会议音频数据的管理方法，其特征在于：所述S1中根据监控结果判断各个通信端口对应的通信状态是否卡顿的方法包括以下步骤：

S1.1、获取对每个端口在各个时间点对应通信网络的延迟情况的监控结果，所述监控结果为相应时间点对应的网络延迟信息，将第i个端口在时间点t对应通信网络的延迟情况的监控结果记为Tit；

S1.2、获取各个端口在时间点t分别对应的各个Tit，获取时间点t时对应的网络延迟信息参照值TCt，

当时间点t时远程会议中产生音频信息时，获取时间点t时远程会议中产生音频信息的各个端口对应网络延迟信息的最小值，记为min{Tit}，则TCt＝min{Tit}，

当时间点t时远程会议中未产生音频信息时，获取远程会议中时间点t之前最近一次产生音频信息时相应各个端口对应网络延迟信息的最小值，记为TC1t，则TCt＝TC1t；

S1.3、得到第i个端口在时间点t时对应的最大时延差Tit-TCt；

S1.4、将Tit-TCt与数据库中预置的第二预设值进行比较，

当Tit-TCt大于等于第二预设值时，则判定第i个端口在时间点t时出现卡顿，

当Tit-TCt小于第二预设值时，则判定第i个端口在时间点t时通信状态正常。

3.根据权利要求1所述的用于会议一体机远程会议音频数据的管理方法，其特征在于：所述S3中对第一录屏信息及第二录屏信息进行分析的方法包括以下步骤：

S3.1、获取第一录屏信息及第二录屏信息；

S3.2、提取第一录屏信息中的音频信息，记为第一音频信息，提取第二录屏信息中的音频信息，记为第二音频信息；

S3.3、对第二音频信息进行文本转译，转译后内容包括多个文本转译语句，并将文本转译后得到的多个文本转译语句逐个录入到一个空白集合中，得到文本转译参照集合P，P＝{Py1，py2，...，pyn}，所述pyn表示第二音频信息经文本转译后的第n个文本转译语句，不同文本转译语句是根据音频信息中相邻两个关键词之间的停顿时长进行划分的，将音频信息中停顿时长大于等于第一阈值时的相邻两个关键词划分到不同的文本转译语句中，所述第一阈值为数据库中预置的常数；

S3.4、对第一音频信息进行文本转译，得到第一音频信息文本转译信息P1，P1包括0个或一个文本转译语句，当第一音频信息文本转译结果为空时，判定

S3.5、将P1与P进行比较，

当P中的Pyn1与P1的重合内容等于Pyn1时，则判定P中的Pyn1为P1中的一部分，

当P中的Pyn1与P1的重合内容不等于Pyn1且重合内容为Pyn1中的一部分或重合内容为空时，则判定文本转译语句Pyn1在P1中出现信息丢失，将P中的元素Pyn1进行标记，1≤n1≤n；

S3.6、将P中所有标记的元素信息进行汇总，得到音频丢失信息。

4.根据权利要求3所述的用于会议一体机远程会议音频数据的管理方法，其特征在于：所述S3中获取在第一时间区间内网络出现卡顿的端口音频信息的受损情况的方法包括以下步骤：

S3-1、获取第一录屏信息及音频丢失信息；

S3-2、根据第一录屏信息，获取第一时间区间内不同时间点对应的屏幕截图中的文本信息，将第一时间区间中时间点t1对应的屏幕截图中的文本信息记为Wt1；

S3-3、根据音频丢失信息，获取第一时间区间内，音频丢失信息中每个文本转译语句对应的时间区间，

将音频丢失信息中第j个文本转译语句对应的时间区间记为[tA1j，tA2j]，所述tA1j表示第j个文本转译语句在第一音频信息中出现的起始时间，tA2j表示第j个文本转译语句在第一音频信息中出现的终止时间；

S3-4、获取第一录屏信息中[tA1j，tA2j]内各个时间点分别对应屏幕截图中的文本信息，得到第j个对比文本信息，

当第一录屏信息中[tA1j，tA2j]内存在两个时间点对应屏幕截图中的文本信息相同时，则第j个对比文件信息中只保留较小时间点屏幕截图中的文本信息，

当第一录屏信息中[tA1j，tA2j]内存在两个时间点对应屏幕截图中的文本信息不相同时，则第j个对比文件信息中两个时间点对应屏幕截图中的文本信息均保留；

S3-5、将音频丢失信息中第j个文本转译语句与第j个对比文本信息进行比较，

当第j个对比文本信息中包含音频丢失信息中第j个文本转译语句时，则判定音频丢失信息中第j个文本转译语句对网络出现卡顿端口相应的用户造成第一类型影响，

当第j个对比文本信息中不包含音频丢失信息中第j个文本转译语句时，则判定音频丢失信息中第j个文本转译语句对网络出现卡顿端口相应的用户造成第二类型影响；

S3-6、将音频丢失信息中会对网络出现卡顿端口相应的用户造成第一类型影响的各个文本转译语句进行汇总，得到第一影响集合，将音频丢失信息中会对网络出现卡顿端口相应的用户造成第二类型影响的各个文本转译语句进行汇总，得到第二影响集合，

得到第一时间区间内网络出现卡顿的端口音频信息中受损音频信息集合，所述受损音频信息集合包括第一影响集合及第二影响集合。

5.根据权利要求4所述的用于会议一体机远程会议音频数据的管理方法，其特征在于：所述S4中得到受损内容影响值的方法包括以下步骤：

S4.1、对受损音频信息集合中第一影响集合内的各个文本转译语句进行关键词提取，并将提取的关键词作为第一类型关键词，对受损音频信息集合中第二影响集合内的各个文本转译语句进行关键词提取，并将提取的关键词作为第二类型关键词；

S4.2、获取会议一体机中提前上传的会议材料，获取时间点tA1j对应屏幕截图中的文本信息在会议材料中的位置，记为第一材料位置，并将会议材料中第一材料位置之前的内容记为第一材料信息，将会议材料中第一材料位置及之后的内容记为第二材料信息；

S4.3、统计第k1个第一类型关键词在第一材料信息中出现的次数，记为DM1k1，

统计第k1个第一类型关键词在第二材料信息中出现的次数，记为DM2k1，

统计第k2个第二类型关键词在第一材料信息中出现的次数，记为DT1k2，

统计第k2个第二类型关键词在第二材料信息中出现的次数，记为DT2k2；

S4.4、得到受损内容影响值E，用k1Z表示第一类型关键词的总个数，用k2Z表示第二类型关键词的总个数，

当k1Z＝0且k2Z＝0时，E＝0；

当k1Z＝0且k2Z≠0时，

当k1Z≠0且k2Z＝0时，

当k1Z＝0且k2Z＝0时，

其中，β1为数据库中预置的第一影响系数，β2为数据库中预置的第二影响系数，β1≤β2；

当DM1k1+DM2k1＝0时，则判定F(DM1k1，DM2k1)＝0，

当DM1k1+DM2k1＞0时，则判定F(DMIk1，DM2k1)＝DM2k1/(DM1k1+DM2k1)；

当DT1k2+DT2k2＝0时，则判定F1(DT1k2，DT2k2)＝0，

当DT1k2+DT2k2＞0时，则判定F1(DT1k2，DT2k2)＝DT2k2/(DT1k2+DT2k2)。

6.根据权利要求1所述的用于会议一体机远程会议音频数据的管理方法，其特征在于：所述S5中第一时间区间内的音频内容为第二录屏信息中相应音频信息的各个文本转译语句构成的集合；

所述S5中第一时间区间内各个远程会议端口对应的音频内容表示第二录屏信息中每个远程会议端口发出的音频信息对应文本转译语句构成的集合，一个远程会议端口对应一个文本转译语句集合。

7.用于会议一体机远程会议音频数据的管理系统，其特征在于，所述系统包括以下模块：

端口监测模块，所述端口监测模块控制会议一体机会对参与远程会议的各个端口建立通信连接，在建立通信连接后会议一体机对会议内容进行实时录屏，并对每个端口在各个时间点对应通信网络的延迟情况进行监控，根据监控结果判断各个通信端口对应的通信状态是否卡顿；

网络异常阶段时间获取模块，所述网络异常阶段时间获取模块每隔第一单位时间获取一次远程会议过程中网络出现卡顿的端口内相应的卡顿时间区间，记为第一时间区间，所述第一单位时间为数据库中预制的常数；

受损音频分析模块，所述受损音频分析模块截取网络出现卡顿的端口内在第一时间区间内对应的录屏信息，记为第一录屏信息，截取网络未出现卡顿的任意一个端口内在第一时间区间内对应的录屏信息，记为第二录屏信息，对第一录屏信息及第二录屏信息进行分析，获取在第一时间区间内网络出现卡顿的端口音频信息的受损情况；

受损影响分析模块，所述受损影响分析模块获取会议一体机中提前上传的会议材料，分析受损音频分析模块中音频信息的受损情况对后续会议内容的影响，得到受损内容影响值；

预警管理模块，所述预警管理模块将受损内容影响值与数据库中预置的第一预设值进行比较，并根据比较结果选择相应的远程会议端口进行预警，

当受损内容影响值大于等于第一预设值时，则判定受损内容对后续会议的影响较大，获取第一时间区间内各个远程会议端口对应的音频内容，并分别反馈给相应的远程会议端口进行预警；

当受损内容影响值小于第一预设值时，则判定受损内容对后续会议的影响较小，在远程会议结束后，获取第一时间区间内的音频内容，并反馈给第一时间区间对应的网络出现卡顿的端口进行预警。

8.根据权利要求7所述的用于会议一体机远程会议音频数据的管理系统，其特征在于：所述端口监测模块根据监控结果判断各个通信端口对应的通信状态是否卡顿的过程中，

所述端口监测模块获取对每个端口在各个时间点对应通信网络的延迟情况的监控结果，所述监控结果为相应时间点对应的网络延迟信息，将第i个端口在时间点t对应通信网络的延迟情况的监控结果记为Tit；获取各个端口在时间点t分别对应的各个Tit，获取时间点t时对应的网络延迟信息参照值TCt，

当时间点t时远程会议中产生音频信息时，获取时间点t时远程会议中产生音频信息的各个端口对应网络延迟信息的最小值，记为min{Tit}，则TCt＝min{Tit}，

当时间点t时远程会议中未产生音频信息时，获取远程会议中时间点t之前最近一次产生音频信息时相应各个端口对应网络延迟信息的最小值，记为TC1t，则TCt＝TC1t；

所述端口监测模块得到第i个端口在时间点t时对应的最大时延差Tit-TCt；并将Tit-TCt与数据库中预置的第二预设值进行比较，

当Tit-TCt大于等于第二预设值时，则判定第i个端口在时间点t时出现卡顿，

当Tit-TCt小于第二预设值时，则判定第i个端口在时间点t时通信状态正常。

9.根据权利要求7所述的用于会议一体机远程会议音频数据的管理系统，其特征在于：所述预警管理模块中第一时间区间内的音频内容为第二录屏信息中相应音频信息的各个文本转译语句构成的集合；

所述预警管理模块中第一时间区间内各个远程会议端口对应的音频内容表示第二录屏信息中每个远程会议端口发出的音频信息对应文本转译语句构成的集合，一个远程会议端口对应一个文本转译语句集合。

Images