CN112818708B - 多终端多语种视频会议的语音翻译实时处理系统与方法 - Google Patents

Abstract

本发明提出多终端多语种视频会议的语音翻译实时处理系统与方法。所述系统：终端接入子系统，用于接收多种不同类型的用户终端发送的第一语音信息；终端分组子系统，基于所述第一语音信息的属性对所述用户终端进行分组；分组翻译子系统，将每个所述分组中的用户终端发送的第一语音信息进行翻译，并输出第一语音翻译结果和第二文本翻译结果；翻译争端判定子系统，基于所述第二文本翻译结果进行翻译争端判定；所述争端摘要记录子系统基于所述翻译争端判定子系统的判定结果，生成并记录翻译争端摘要文件。本发明还提出一种用于多终端多语种视频会议的语音翻译实时处理方法。

Description

多终端多语种视频会议的语音翻译实时处理系统与方法

技术领域

本发明属于语音智能翻译技术领域，尤其涉及一种多终端多语种视频会议的语音翻译实时处理系统与方法。

背景技术

远程视频会议系统是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互相传送，达到即时且互动的沟通，以完成会议目的之系统设备。

在高端跨国多语种远程视频会议中，语言上的沟通障碍显而易见。于是人们迫切希望计算机能够具有更高的智能以充当克服人类语言障碍的中间角色，实现人与人之间的自由交流。这种由计算机系统实现的从一种自然语言的语音到另一种自然语言语音的翻译就是我们通常所说的语音翻译(Speech-to-Speech Translation)。跨国交流，对包括口译、笔译及本地化等在内的语言服务提出了大量的多样化的需求。

在远程视频会议中，切入人工智能，可以进行语音识别和人脸识别，实时地将与会者的发言语音转换成文字显示在大屏幕中，甚至进行多语种的转译，现有技术对此也有诸多报道。

在专利文献方面，中国发明专利申请CN202010838925.9提出一种网络会议处理方法，包括：接收网络会议的多媒体数据；根据所述多媒体数据在人机交互界面中呈现所述网络会议的内容，并在所述人机交互界面中呈现弹幕编辑入口；响应于在所述弹幕编辑入口中的弹幕编辑操作，呈现被输入的弹幕；响应于弹幕发送操作，在所述人机交互界面中呈现所述弹幕，以向所述网络会议的参会对象发送所述弹幕。该技术方案能够以资源集约的方式实现针对会议内容的深入和高效的互动，从而促进会议质量。

中国发明专利公开文本CN112115726A则公布一种机器翻译方法，方法包括：接收语音识别文本；对所述语音识别文本进行翻译，确定所述语音识别文本的至少一个语种的翻译文本；根据所述翻译文本的语种，将所述翻译文本写入对应语种的消息装置通道；接收目标终端发送的目标订阅消息，所述目标订阅消息包括目标语种信息；确定所述目标订阅消息对应的目标消息装置通道，所述目标消息装置通道中的翻译文本为所述目标语种信息对应语种的翻译文本；以及将所述目标终端接入所述目标消息装置通道，以使得所述目标终端获取所述目标消息装置通道中的翻译文本。由此，可以降低翻译成本，减少服务端的翻译压力。

然而，在重要国际会议中，口语语音翻译的实时度通常是第一考虑因素，因为需要满足会议的实际场景。但是，会议本身需要记录准确的语音原文，同时避免实时机器口语翻译产生的歧义甚至错误。现有技术对此并未给出有效的技术方案。

发明内容

为解决上述技术问题，本发明提出一种多终端多语种视频会议的语音翻译实时处理系统与方法。所述系统：终端接入子系统，用于接收多种不同类型的用户终端发送的第一语音信息；终端分组子系统，基于所述第一语音信息的属性对所述用户终端进行分组；分组翻译子系统，将每个所述分组中的用户终端发送的第一语音信息进行翻译，并输出第一语音翻译结果和第二文本翻译结果；翻译争端判定子系统，基于所述第二文本翻译结果进行翻译争端判定；所述争端摘要记录子系统基于所述翻译争端判定子系统的判定结果，生成并记录翻译争端摘要文件。

本发明还提出一种用于多终端多语种视频会议的语音翻译实时处理方法。

具体来说，在本发明第一个方面，提供一种多终端多语种视频会议的语音翻译实时处理系统，所述系统包括终端接入子系统、终端分组子系统、分组翻译子系统、翻译争端判定子系统、文本识别子系统以及争端摘要记录子系统；

所述终端接入子系统提供多个语音输入端口，用于接收多种不同类型的用户终端发送的第一语音信息；

所述终端分组子系统基于所述第一语音信息的属性对所述用户终端进行分组；

所述分组翻译子系统将每个所述分组中的用户终端发送的第一语音信息进行翻译，并输出第一语音翻译结果和第二文本翻译结果；

所述翻译争端判定子系统基于所述第二文本翻译结果进行翻译争端判定；

所述争端摘要记录子系统基于所述翻译争端判定子系统的判定结果，生成并记录翻译争端摘要文件；

所述翻译争端摘要文件包括所述第一语音信息本身、发送所述第一语音信息的用户终端识别号以及发送时间。

在本发明的上述技术方案中，所述分组翻译子系统包括第一语音翻译引擎组和第二文本翻译引擎组；

所述第一语音翻译引擎组包括多个第一语音翻译引擎，所述第一语音翻译引擎将所述第一语音信息翻译为目标语种的第一语音翻译结果；

所述第二文本翻译引擎组包括多个第二文本翻译引擎；

将每个所述第一语音翻译结果输入至多个第二文本翻译引擎，生成并输出对应于所述第一语音翻译结果的多个第二文本翻译结果；

所述第二文本翻译结果的语种与所述第一语音信息的语种相同。

所述文本识别子系统在满足预定条件时启动，具体的可参见后续具体实施例介绍。

在第一个方面的所述语音翻译实时处理系统的基础上，在本发明的第二个方面，提供一种用于多终端多语种视频会议的语音翻译实时处理方法，所述方法包括如下步骤：

S100：接收用户终端发送的第一语音信息；

S200：基于所述第一语音信息中包含的位置信息，对所述用户终端进行分组；

S300：基于所述用户终端的分组为用户终端分配第一语音翻译线程；

S400：将所述第一语音翻译线程输出的第一语音翻译结果发送至多个第二文本翻译线程；

S500：基于所述多个第二文本翻译线程输出的多个第二文本翻译结果，判断是否存在翻译争端；

如存在翻译争端，则进入步骤S600；否则，返回步骤S100；

S600：启动争端记录线程。

所述第一语音翻译线程用于将所述第一语音信息翻译为目标语种的第一语音翻译结果；

所述第二文本翻译线程用于将所述第一语音翻译结果翻译为对应于第一语音信息语种的第二文本翻译结果。

所述步骤S500具体包括：

基于所述多个第二文本翻译结果构建相似度矩阵，

基于所述相似度矩阵的稳定性判断是否存在翻译争端。

本发明的技术方案能够在不影响语音会议系统实时翻译输出的前提下，自动化的在后台实现语音翻译可能存在的歧义以及争论，并形成翻译争端文件记录下来，以备后续查勘，避免了人工介入。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种多终端多语种视频会议的语音翻译实时处理系统的主体架构图

图2是图1所述系统中获得第一语音信息的示意图

图3是图1所述系统中数据传输的控制流程图

图4是本发明一个实施例的一种用于多终端多语种视频会议的语音翻译实时处理方法的主体流程图

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述。

参见图1，是本发明一个实施例的一个实施例的一种多终端多语种视频会议的语音翻译实时处理系统的主体架构图。

在图1中，所述系统由多个子系统构成，包括终端接入子系统、终端分组子系统、分组翻译子系统、翻译争端判定子系统、争端摘要记录子系统以及文本识别子系统。

作为更具体的介绍，上述各个子系统功能如下：

所述终端接入子系统提供多个语音输入端口，用于接收多种不同类型的用户终端发送的第一语音信息；

所述终端分组子系统基于所述第一语音信息的属性对所述用户终端进行分组；

所述分组翻译子系统将每个所述分组中的用户终端发送的第一语音信息进行翻译，并输出第一语音翻译结果和第二文本翻译结果；

所述翻译争端判定子系统基于所述第二文本翻译结果进行翻译争端判定；

所述争端摘要记录子系统基于所述翻译争端判定子系统的判定结果，生成并记录翻译争端摘要文件；

所述翻译争端摘要文件包括所述第一语音信息本身、发送所述第一语音信息的用户终端识别号以及发送时间。

在本发明的各个实施例中，所述翻译争端判定子系统基于所述第二文本翻译结果进行翻译争端判定，具体包括：

所述翻译争端判定子系统获取所述分组翻译子系统输出的多个第二文本翻译结果；

基于所述多个第二文本翻译结果构建相似度矩阵；

判断所述相似度矩阵是否稳定；

如果不稳定，则所述判定结果为存在翻译争端。

若所述相似度矩阵稳定，则所述文本识别子系统满足预定的启动条件，启动后将所述第一语音信息本身转化为第一文本信息。

接下来参见图2-图3，进一步介绍本发明的技术方案的细节。

参见图2，所述第一语音信息本身为所述用户终端采集的用户即时输入语音序列；所述用户终端将所述用户即时输入语音序列嵌入位置信息后，作为所述第一语音信息发送至所述终端接入子系统。

所述位置信息包括所述用户终端发送所述第一语音信息时的地理位置信息、IP地址信息或者其组合。

在图2基础上，参见图3，所述终端分组子系统基于所述第一语音信息的属性对所述用户终端进行分组，具体包括：

所述终端分组子系统获取所述第一语音信息中嵌入的位置信息，根据所述位置信息确定所述第一语音信息的语种类别；

根据所述语种类别，对所述用户终端进行分组。

作为本发明的语音翻译方案保证实时性的前提，所述终端分组子系统基于所述用户终端采集的用户即时输入语音序列中包含的位置信息，确定所述第一语音信息的语种类别。

在本实施例中，所述用户即时输入语音序列已经至少包含位置信息，则可以基于预置的位置信息-语种对应关系数据库，直接判定出所述第一语音信息的语种类别。

这种判断和识别方式尤其适用于在特殊环境下的远程视频/语音会议，即参会者位于各自本地，通过远程语音系统参与会议的情形。

不同于现有技术需要采用复杂的语音识别等技术才能判断输入语种的情形，本实施例可以避免复杂识别导致的语音翻译识别和延迟。

在此基础上，所述终端分组子系统基于所述语种类别将所述移动终端进行分组，具体包括:

将语种类别相同的移动终端发送的用户即时输入语音序列分为同一组。

或者说，将位于同一IP段范围、同一地理位置范围的移动终端分为同一组，能够快速匹配后续的分组翻译子系统。

继续参见图3。

所述分组翻译子系统包括第一语音翻译引擎组和第二文本翻译引擎组；

所述第一语音翻译引擎组包括多个第一语音翻译引擎，所述第一语音翻译引擎将所述第一语音信息翻译为目标语种的第一语音翻译结果；

所述第二文本翻译引擎组包括多个第二文本翻译引擎；

将每个所述第一语音翻译结果输入至多个第二文本翻译引擎，生成并输出对应于所述第一语音翻译结果的多个第二文本翻译结果；

所述第二文本翻译结果的语种与所述第一语音信息的语种相同。

例如，在图3中，基于IP位置信息判定当前用户即时输入语音序列的语种为A，则所述分组翻译子系统为其分配第一语音翻译引擎为A→C，即将A语种的用户即时输入语音序列，翻译成C语种的第一语音翻译结果；

相应的，第二文本翻译引擎为C→A，即将前述C语种的第一语音翻译结果，翻译成A语种的第二文本翻译结果。

发明人注意到，语音文本识别和文本翻译技术的准确度远高于语音翻译，因此，在本发明中，通过第二文本翻译引擎实现反向翻译，从为后续的识别判断打下准确基础。

在上述翻译结果的基础上，

所述翻译争端判定子系统获取所述分组翻译子系统输出的多个第二文本翻译结果；

基于所述多个第二文本翻译结果构建相似度矩阵；

判断所述相似度矩阵是否稳定；

如果不稳定，则所述判定结果为存在翻译争端。

进一步的，作为更优选的实施方式，

若所述相似度矩阵稳定，则所述文本识别子系统将所述第一语音信息本身转化为第一文本信息；

计算所述第一文本信息与所述多个第二文本翻译结果的多个相似度值；若所有相似度值均低于预定标准值，则所述判定结果为存在翻译争端。

显然，本实施例的稳定性判断基于多相似性元素构成的矩阵稳定性判断，能够关注到整体与个别的差异，准确度更高。

在图1-图3基础上，图4是本发明一个实施例的一种用于多终端多语种视频会议的语音翻译实时处理方法的主体流程图。

在图4所述方法中，包括步骤S100-S600，各个步骤具体实现如下：

S100：接收用户终端发送的第一语音信息；

S200：基于所述第一语音信息中包含的位置信息，对所述用户终端进行分组；

S300：基于所述用户终端的分组为用户终端分配第一语音翻译线程；

S400：将所述第一语音翻译线程输出的第一语音翻译结果发送至多个第二文本翻译线程；

S500：基于所述多个第二文本翻译线程输出的多个第二文本翻译结果，判断是否存在翻译争端；

如存在翻译争端，则进入步骤S600；否则，返回步骤S100；

S600：启动争端记录线程。

所述第一语音翻译线程用于将所述第一语音信息翻译为目标语种的第一语音翻译结果；所述第二文本翻译线程用于将所述第一语音翻译结果翻译为对应于第一语音信息语种的第二文本翻译结果。

所述步骤S500具体包括：基于所述多个第二文本翻译结果构建相似度矩阵，基于所述相似度矩阵的稳定性判断是否存在翻译争端。

本发明的技术方案至少包括如下有益效果和改进：

(1)在满足(不干预)机器口语翻译的实时性的前提下，及时的识别出可能存在翻译争端；

(2)通过多相似度元素值构成的矩阵的稳定性进行争端识别，能够在整体结果上和个别结果上同时兼顾；

(3)基于接入终端的位置分组识别语种，能够快速适配翻译引擎，不影响数据传输和交互的实时性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种多终端多语种视频会议的语音翻译实时处理系统，所述系统包括终端接入子系统、终端分组子系统、分组翻译子系统、翻译争端判定子系统以及争端摘要记录子系统；

其特征在于：

所述终端接入子系统提供多个语音输入端口，用于接收多种不同类型的用户终端发送的第一语音信息；

所述终端分组子系统基于所述第一语音信息的属性对所述用户终端进行分组；

所述分组翻译子系统包括第一语音翻译引擎组和第二文本翻译引擎组；

所述第一语音翻译引擎组包括多个第一语音翻译引擎，所述第一语音翻译引擎将所述第一语音信息翻译为目标语种的第一语音翻译结果；

所述第二文本翻译引擎组包括多个第二文本翻译引擎；

将每个所述第一语音翻译结果输入至多个第二文本翻译引擎，生成并输出对应于所述第一语音翻译结果的多个第二文本翻译结果；

所述第二文本翻译结果的语种与所述第一语音信息的语种相同；

所述翻译争端判定子系统获取所述分组翻译子系统输出的多个第二文本翻译结果构建相似度矩阵，并基于所述相似度矩阵的稳定性进行翻译争端判定；

所述争端摘要记录子系统基于所述翻译争端判定子系统的判定结果，生成并记录翻译争端摘要文件；

所述翻译争端摘要文件包括所述第一语音信息本身、发送所述第一语音信息的用户终端识别号以及发送时间。

2.如权利要求1所述的一种多终端多语种视频会议的语音翻译实时处理系统，其特征在于：所述第一语音信息本身为所述用户终端采集的用户即时输入语音序列；

所述用户终端将所述用户即时输入语音序列嵌入位置信息后，作为所述第一语音信息发送至所述终端接入子系统。

3.如权利要求2所述的一种多终端多语种视频会议的语音翻译实时处理系统，其特征在于：所述位置信息包括所述用户终端发送所述第一语音信息时的地理位置信息、IP地址信息或者其组合。

4.如权利要求2或3所述的一种多终端多语种视频会议的语音翻译实时处理系统，其特征在于：

所述终端分组子系统基于所述第一语音信息的属性对所述用户终端进行分组，具体包括：所述终端分组子系统获取所述第一语音信息中嵌入的位置信息，根据所述位置信息确定所述第一语音信息的语种类别；

根据所述语种类别，对所述用户终端进行分组。

5.如权利要求1或2或3所述的一种多终端多语种视频会议的语音翻译实时处理系统，其特征在于：

所述翻译争端判定子系统基于所述第二文本翻译结果进行翻译争端判定，具体包括：

判断所述相似度矩阵是否稳定；

如果不稳定，则所述判定结果为存在翻译争端。

6.如权利要求5所述的一种多终端多语种视频会议的语音翻译实时处理系统，其特征在于：

所述系统还包括文本识别子系统；

若所述相似度矩阵稳定，则所述文本识别子系统将所述第一语音信息本身转化为第一文本信息；计算所述第一文本信息与所述多个第二文本翻译结果的多个相似度值；若所有相似度值均低于预定标准值，则所述判定结果为存在翻译争端。

7.一种用于多终端多语种视频会议的语音翻译实时处理方法，所述方法包括如下步骤：

S100：接收用户终端发送的第一语音信息；

S200：基于所述第一语音信息中包含的位置信息，对所述用户终端进行分组；

S300：基于所述用户终端的分组为用户终端分配第一语音翻译线程；

S400：将所述第一语音翻译线程输出的第一语音翻译结果发送至多个第二文本翻译线程；S500：基于所述多个第二文本翻译线程输出的多个第二文本翻译结果构建相似度矩阵，基于所述相似度矩阵的稳定性判断是否存在翻译争端；

若存在翻译争端，则进入步骤S600；否则，返回步骤S100；

S600：启动争端记录线程；

其中，所述第一语音翻译线程用于将所述第一语音信息翻译为目标语种的第一语音翻译结果；所述第二文本翻译线程用于将所述第一语音翻译结果翻译为对应于第一语音信息语种的第二文本翻译结果。