CN110210042A - 语音数据处理方法、系统、电子装置以及计算机可读存储介质 - Google Patents

Abstract

一种语音数据处理方法、系统、电子装置以及计算机可读存储介质，其中该方法包括：为该电子装置所在的翻译群组中的各语音设备分配对应的处理进程，每个该语音设备至少对应一个该处理进程；通过各该语音设备获取源语音数据；通过各该处理进程同步将各该源语音数据分别从原始语言处理为目的语言的目标语音数据；确定各该源语音数据各自对应的输出声道，并将各该目标语音数据通过各自对应的该输出声道进行输出，该输出声道不包括该源语音数据的来源声道。上述语音数据处理方法、系统、电子装置以及计算机可读存储介质可提高翻译效率以及产品粘性。

Description

语音数据处理方法、系统、电子装置以及计算机可读存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种语音数据处理方法、系统、电子装置以及计算机可读存储介质。

背景技术

同声传译，简称“同传”，又称“同声翻译”、“同步口译”，是指译员在不打断讲话者讲话的情况下，不间断地将内容口译给听众的一种翻译方式，同声传译员通过专用的设备提供即时翻译，这种方式适用于大型的研讨会和国际会议，通常由两名到三名译员轮换进行。目前同声传译主要依赖翻译人员倾听然后翻译并且发音，随着AI(ArtificialIntelligence，人工智能)技术的发展，AI同声传译将会逐渐取代人工翻译。市面上虽然也有一些翻译机，但在翻译时，采用的是类似于“turn by turn”的机制，用户只能轮流说话，也就是说，假设有两个用户A和B，在用户A说完话且对应的语音被识别并翻译后，用户B才能够说话，整个过程偏离正常人面对面的交流沟通，需要浪费大量的时间用于等待，翻译效率低且缺乏人性化。

发明内容

本申请实施例提供一种语音数据处理方法、系统、电子装置以及计算机可读存储介质，可用于提高翻译效率以及翻译产品的粘性。

本申请实施例一方面提供了一种语音数据处理方法，应用于电子装置，所述方法包括：

为所述电子装置所在的翻译群组中的各语音设备分配对应的处理进程，每个所述语音设备至少对应一个所述处理进程；

通过各所述语音设备获取源语音数据；

通过各所述处理进程同步将各所述源语音数据分别从原始语言处理为目的语言的目标语音数据；

确定各所述源语音数据各自对应的输出声道，并将各所述目标语音数据通过各自对应的所述输出声道进行输出，所述输出声道不包括所述源语音数据的来源声道。

本申请实施例一方面还提供了一种电子装置，包括：

分配模块，用于为所述电子装置所在的翻译群组中的各语音设备分配对应的处理进程，每个所述语音设备至少对应一个所述处理进程；

获取模块，用于通过各所述语音设备获取源语音数据；

处理模块，用于通过各所述处理进程同步将各所述源语音数据分别从原始语言处理为目的语言的目标语音数据；

输出模块，用于确定各所述源语音数据各自对应的输出声道，并将各所述目标语音数据通过各自对应的所述输出声道进行输出，所述输出声道不包括所述源语音数据的来源声道。

本申请实施例一方面还提供了一种翻译系统，所述装置包括：蓝牙耳机以及上述的电子装置；

其中，蓝牙耳机包括语音采集装置、语音播放装置、蓝牙信号收发装置以及处理芯片；

所述语音采集装置，用于拾取所述源语音数据；

所述处理芯片，用于将所述源语音数据压缩为所述压缩数据包，并通过所述蓝牙信号收发装置基于所述低功耗蓝牙协议将所述压缩数据包进行广播；

所述处理芯片，还用于解压通过所述蓝牙信号收发装置接收的来自所述电子装置的目标压缩数据包，并将解压所述目标压缩数据包得到的所述目标语音数据通过所述语音播放装置进行播放。

上述各实施例，通过为电子装置所在的翻译群组中的各语音设备分配对应的至少一个处理进程，利用分配的多个进程同步将通过各语音设备获取的源语音数据分别从原始语言处理为目的语言的目标语音数据，并将各目标语音数据通过各自对应的输出声道进行输出，实现了全双工的来自不同语音设备的语音数据的同步翻译，从而使得谈话双方或多方不必进行等待而是按照正常的方式进行交流，完美还原真实对话场景，使得翻译的过程更为人性化，因此可提高翻译效率和产品粘性。

附图说明

图1为本申请实施例提供的语音数据处理方法的应用环境图；

图2为本申请一实施例提供的语音数据处理方法的实现流程示意图；

图3为本申请另一示例提供的语音数据处理方法的实现流程示意图；

图4为图3所示实施例中语音数据处理方法的一应用示例图；

图5为图3所示实施例中语音数据处理方法的另一应用示例图；

图6为本申请另一示例提供的语音数据处理方法的实现流程示意图；

图7为图5所示实施例中语音数据处理方法的另一应用示例图；

图8为本申请一实施例提供的电子装置的结构示意图；

图9为本申请一实施例提供的电子装置的硬件结构示意图；

图10为本申请一实施例提供的翻译系统的结构示意图。

具体实施方式

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，为本申请实施例提供的语音数据处理方法的应用环境图。电子装置10与语音设备20通过数据线或者无线网络建立数据连接。其中电子装置10可以但不限于包括：具有数据传输和处理功能的便携式或非便携式翻译机，以及，手机、平板电脑、媒体播放器和智能穿戴设备(如：智能手表、智能眼镜等)等智能终端等计算机设备。语音设备20可以但不限于包括：具有语音数据拾取和播放功能的耳机，手机、平板电脑、媒体播放器和智能穿戴设备等智能终端，以及，其他类似设备。当语音设备20为耳机时，可以将一个耳机或者一对耳机作为一个语音设备。

电子装置10响应于触发的翻译任务，创建翻译群组，并根据用户数以及建立数据连接的语音设备20的数量，或者，用户的设置参数，确定翻译群组中的语音设备。根据实际需求，电子装置10可以作为该翻译群组中的语音设备(此时，电子装置10需要具有语音数据拾取和播放功能)，也可以不作为该翻译群组中的语音设备。

然后，电子装置10为该翻译群组中的各语音设备分配对应的处理进程，每个语音设备至少对应一个处理进程。之后，电子装置10通过各语音设备获取源语音数据，通过各处理进程同步将获取的各源语音数据分别从原始语言处理为目的语言的目标语音数据，然后确定各源语音数据各自对应的输出声道，并将各目标语音数据通过各自对应的输出声道进行输出。其中，输出声道不包括源语音数据的来源声道。

在图1中，电子装置10以手机为例，语音设备20以耳机为例，包括左耳机和右耳机。

上述电子装置10和语音设备20实现各自功能的具体过程可参考以下各实施例。

请参阅图2，为本申请一实施例提供的语音数据处理方法的实现流程示意图。该语音数据处理方法应用于图1中所示的电子装置，如图2所示，该语音数据处理方法主要包括以下步骤：

S101、为电子装置所在的翻译群组中的各语音设备分配对应的处理进程；

在执行翻译任务(即，处理任务)之前，电子装置与其他用于采集和播放语音数据的语音设备建立数据连接，以组建翻译群组。此外，电子装置还为翻译群组中的各个语音设备分配对应的处理进程，每个语音设备至少对应一个处理进程，以便在执行翻译任务时，通过处理进程同步对各语音设备传输的语音数据进行处理。

具体的，电子装置可以通过数据连接线或者无线网络，与上述语音设备建立数据连接。其中，无线网络可以但不限于蓝牙网络、WI-FI(无线保真网络)、NFC等近距离通信网络。当通过无线网络建立数据连接时，电子装置可以作为热点，从接入该热点的语音设备中选择至少一个设备作为翻译群组中的语音设备。

根据实际接入的语音设备的数量，电子装置也可以将自己作为翻译群组中的语音设备。例如：当检测到接入的语音设备只有一个时，或者，检测到翻译任务中谈话者的数量大于接入的语音设备时，电子装置将自己也配置为翻译群组中的语音设备；当检测到接入的语音设备大于一个时，或者，检测到翻译任务中谈话者的数量小于或等于接入的语音设备时，电子装置将接入的语音设备配置为翻译群组中的语音设备；或者，响应于用户的自定义操作，电子装置将自己配置为翻译群组中的语音设备。其中，翻译任务中的谈话者的数量可根据用户的自定义操作确定，或者，根据用户设置的语言对中语言的数量确定。

S102、通过翻译群组中的各语音设备获取源语音数据；

当翻译任务被触发时，电子装置向翻译群组中的各语音设备发送源语音数据的获取请求，或者，发送翻译任务开始的指令，以使得各语音设备根据该获取请求或指令，拾取各自用户的语音并发送给电子装置。

其中，翻译任务可基于用户按压电子装置中的预设物理或者虚拟按钮的操作触发，或者，基于用户在电子装置的触控屏进行的预设手势操作触发，或者，响应于用户的声控指令触发。预设的物理或者虚拟按钮以及预设手势可以根据用户的自定义操作设置。用户可以在电子装置提供的设置界面中，将其他功能按键设置为用于触发翻译任务的按钮，如：电源键、音量键等等。进一步的，用户还可以在该设置界面中设置触发方式以及预设手势对应的轨迹。

S103、通过各处理进程同步将各源语音数据分别从原始语言处理为目的语言的目标语音数据；

电子装置通过预分配给翻译群组中的各语音设备的处理进程，调用预设的语音识别和翻译引擎对获取的各源语音数据进行语音识别和翻译，以将其从原始语言处理为目的语言的目标语音数据。具体处理方式可以是先将语音数据转换为文本数据进行语言翻译，然后再将翻译后的文本数据转换为语音数据，或者，也可以是原始语言语音数据对目的语言的语音数据的直接翻译。

可以理解的，电子装置中预设有多种语音识别和翻译引擎，例如：百度、谷歌语音识别和翻译引擎。上述各语音识别和翻译引擎的数据库可以在电子装置本地也可以在云端服务器中，在实际应用中，电子装置可根据接入的网络的质量，自动选择在本地或云端服务器进行上述源语音数据的识别和翻译。

S104、确定各源语音数据各自对应的输出声道，并将各目标语音数据通过各自对应的输出声道进行输出。

为了实现语音数据的同步采集和同步播放，避免相互干扰，翻译群组中的每个语音设备分别对应一个声道，该声道包括输出声道和输入声道，输出声道播放的语音数据对应的语言和输入声道拾取的语音数据对应的语言不同。例如，假设语音设备为一对蓝牙耳机A和B，则通过蓝牙耳机A拾取用户A的语音，并播放翻译后的用户B的语音，同时，通过蓝牙耳机B拾取用户B的语音，并播放翻译后的用户A的语音。

电子装置中预设有翻译群组中的各语音设备与声道之间的对应关系，各语音设备在传输拾取的源语音数据一并传输各自的设备标识信息，电子装置根据上述对应关系和接收的设备标识信息，确定源语音数据对应的输入声道和输出声道。或者，各语音设备在传输拾取的源语音数据一并传输各自的设备标识信息及对应的声道标识信息，电子装置根据各语音设备传输的设备标识信息及对应的声道标识信息，确定源语音数据对应的输入声道和输出声道。其中，源语音数据的输出声道不包括源语音数据的来源声道。

可以理解的，在实际应用中，确定各源语音数据各自对应的输出声道的步骤可以在步骤S103：通过各处理进程同步将各源语音数据分别从原始语言处理为目的语言的目标语音数据之后进行，也可以在步骤S103之前进行，本实施例中不做具体限定。

本实施例中，通过为电子装置所在的翻译群组中的各语音设备分配对应的至少一个处理进程，利用分配的多个进程同步将通过各语音设备获取的源语音数据分别从原始语言处理为目的语言的目标语音数据，并将各目标语音数据通过各自对应的输出声道进行输出，实现了全双工的来自不同语音设备的语音数据的同步翻译，从而使得谈话双方或多方不必进行等待而是按照正常的方式进行交流，完美还原真实对话场景，使得翻译的过程更为人性化，因此可提高翻译效率和产品粘性。

请参阅图3，为本申请另一实施例提供的语音数据处理方法的实现流程示意图。该语音数据处理方法应用于图1中所示的电子装置，于本实施例中，电子装置不作为翻译群组中的语音设备。翻译群组中的语音设备为蓝牙设备。如图3所示，该语音数据处理方法主要包括以下步骤：

S201、为电子装置所在的翻译群组中的各语音设备分配对应的处理进程，每个语音设备至少对应一个处理进程；

于本实施例中，步骤S201与步骤S101相同，具体可参考图2所示实施例中步骤S101的相关描述，此处不再赘述。

S202、接收各语音设备基于低功耗蓝牙协议广播的压缩数据包，压缩数据包中包含源语音数据和源语音数据的来源声道的描述数据；

低功耗蓝牙(Bluetooth Low Energy，BLE)协议，或称蓝牙低能耗协议，是蓝牙技术联盟设计和销售的一种个人局域网技术。

具体的，当翻译任务(即，处理任务)被触发时，电子装置向翻译群组中的各语音设备发送源语音数据的获取请求，或者，发送翻译任务开始的指令。各语音设备根据该获取请求或指令，拾取各自用户的语音，按照预设的压缩率对拾取的语音数据进行极限压缩并封装为符合BLE协议标准的压缩数据包，然后将得到的压缩数据包基于BLE协议进行广播。其中，该压缩数据包中可以但不限于包括：源语音数据和源语音数据的来源声道的描述数据，该来源声道的描述数据例如可以是来源声道的身份标识信息，如：L为左声道，R为右声道，1为第一声道，2为第二声道等等。

其中，翻译任务可基于用户按压电子装置中的预设物理或者虚拟按钮的操作触发，或者，基于用户在电子装置的触控屏进行的预设手势操作触发，或者，响应于用户的声控指令触发。预设的物理或者虚拟按钮以及预设手势可以根据用户的自定义操作设置。用户可以在电子装置提供的设置界面中，将其他功能按键设置为用于触发翻译任务的按钮，如：电源键、音量键等等。进一步的，用户还可以在该设置界面中设置触发方式以及预设手势对应的轨迹。

进一步的，当语音设备为蓝牙耳机时，在通过步骤S202获取源语音数据之前，当处理任务被触发时，电子装置还可向各蓝牙耳机发送输出通道独占命令字，以使得蓝牙耳机的输出通道不输出预设应用发送的语音数据。也就是说，当蓝牙耳机连接上手机，且翻译APP(应用程序)在前台运行时，此时翻译APP会向蓝牙耳机下发一条输出通道独占命令字。当通道独占时，该蓝牙耳机只能用于翻译使用，不再会被第三方APP所打扰。当蓝牙耳机未收到该独占命令字时，它能够被当做正常普通蓝牙耳机使用。

S203、通过各处理进程同步分别将各源语音数据转换为原始语言的文本数据；

S204、将转换得到的文本数据翻译为目的语言的文本数据；

S205、当检测到目的语言的文本数据中出现预设符号时，将目的语言的文本数据转换为目标语音数据；

可选的，电子装置调用与预设的语言对中的语言各自对应的语音识别和翻译引擎，自动识别源语音数据对应的原始语言(或，语种)，并将各源语音数据实时转换为原始语言的文本数据。根据预设的语言对和识别的原始语言确定对应的目的语言，并将转换得到的文本数据实时翻译为目的语言的文本数据，同时对目的语言的文本数据中文字的句式和标点进行检测，当检测到出现预设符号时，将目的语言的文本数据导入TTS(Text ToSpeech从文本到语音)引擎中，得到目标语音数据。其中，预设符号可以但不限于包括：逗号、句号、问号等。语言对中包括至少两种语言。电子装置根据预设的语言对和识别的原始语言确定对应的目的语言，例如：假设语言对中包括的语言为英语、日语和汉语，将源语音数据分别输入英语、日语和汉语的语音识别和翻译引擎，并根据返回的翻译结果及置信度，确定源语音数据对应的原始语言，假设为英语，则根据语言对可确定源语音数据对应的目的语言为日语和汉语。像这样，通过自动识别语言可简化语言设置操作，进一步提高翻译操作的便捷性。

可选的，于本申请另一实施方式中，根据用户的自定义设置，设置翻译群组中的各语音设备与其拾取的源语音数据对应的原始语言之间的对应关系，并将该对应关系配置在电子装置中。电子装置根据各语音设备广播的压缩数据包中的设备标识信息，通过查找该对应关系，确定各源语音数据对应的原始语言以及目的语言。例如：假设耳机A、B和C分别对应英语、日语、汉语，则，耳机A拾取的源语音数据对应的原始语言为英语，对应的目的语言为日语和汉语；耳机B拾取的源语音数据对应的原始语言为日语，对应的目的语言为英语和汉语，以此类推。

进一步的，电子装置将识别的原始语言的文本数据和/或翻译后的目的语言的文本数据实时展示在显示屏中，以帮助用户了解翻译的内容。

S206、确定各源语音数据各自对应的输出声道，并将各目标语音数据通过各自对应的输出声道进行输出，输出声道不包括源语音数据的来源声道。

具体的，在确定各源语音数据各自对应的输出声道之前，在对各源语音数据进行语音识别和翻译的过程中，根据识别结果，确定各语音设备与各原始语言的对应关系，然后根据确定的对应关系，为各源语音数据确定至少一种目的语言。然后，于本步骤中，根据各语音设备与各原始语言的对应关系，来源声道的描述数据，以及，各源语音数据与目的语言的对应关系，确定各源语音数据各自对应的输出声道，然后为各目标语音数据分别生成目标压缩数据包，目标压缩数据包中包含目标语音数据和目标语音数据对应的输出声道的描述数据，之后，基于BLE协议将各目标压缩数据包进行广播。各语音设备根据该广播中的输出声道的描述数据，确定是否对该广播中的目标语音数据进行输出。

可选的，上述各语音设备与各原始语言的对应关系也可根据用户的自定义操作预先配置在电子装置中，在进行数据广播之前，电子装置根据预先配置的对应关系，确定各源语音数据各自对应的输出声道。

可选的，于本申请其他一实施方式中，语音设备广播的压缩数据包中还包含输出声道的描述数据，则确定各源语音数据各自对应的输出声道，并将各目标语音数据通过各自对应的输出声道进行输出，具体包括：根据各压缩数据包中的输出声道的描述数据，确定各源语音数据各自对应的输出声道；为各目标语音数据分别生成目标压缩数据包，目标压缩数据包中包含目标语音数据和目标语音数据对应的输出声道的描述数据；基于低功耗蓝牙协议将各目标压缩数据包进行广播。

可选的，电子装置在与翻译群组内的所有语音设备建立数据连接后，为各语音设备分配声道，然后根据在建立数据连接时获取的各语音设备的标识信息以及为各语音设备分配的声道的标识信息，生成各语音设备与各声道的对应关系表，并将生成的对应关系表发送给各语音设备。语音设备在将拾取的源语音数据压缩为压缩数据包时，根据该对应关系表确定自己对应的声道(即，来源声道)和其他语音设备对应的声道(即，输出声道)，然后将确定的来源声道和输入声道的标识信息作为来源声道和输入声道的描述数据一并封装在该压缩数据包中。通过让各语音设备自己确定输出声道，可以减小电子装置的运算量，进一步提高翻译的速度。

可以理解的，上述步骤可以通过电子装置中内置的翻译APP实现，该翻译APP在从休眠当中醒来会去轮询查找蓝牙设备，或者，在刚开启时也会去轮询查找当前是否有生效的蓝牙设备，或者，当有新的蓝牙设备接入时，也会去轮询，判断是否是用于翻译的蓝牙设备。然后对查找到的蓝牙设备进行身份确认，发送连接独占指令，并确认连接。然后，当触发翻译任务时，电子装置通过该翻译APP与接入的蓝牙设备进行数据交互，实现语音数据的同步识别和翻译，即，此时为多方翻译设备同时在工作的全双工状态。之后，当翻译任务结束时，电子装置通过翻译APP关闭同传并通知蓝牙设备关闭拾音，然后接受蓝牙设备返回的关闭成功的通知。其中，当检测到用户按压预设的用于结束翻译任务的物理或虚拟按钮时，确认结束翻译任务。

为进一步说明本实施中的语音数据处理方法，以图4为例，假设电子装置为手机，其不作为翻译组中的语音设备，翻译群组中的语音设备为一对TWS(True WirelessStereo，真正无线立体声蓝牙)耳机。用户a和用户b分别佩戴TWS耳机中的左耳机和右耳机，左耳机对应左声道，右耳机对应右声道。用户a用语言a说话，用户b用语言b说话。当用户a用语言a说话的时候，他佩戴的左耳机通过左声道将拾取的用户a的语音数据a，基于BLE协议传输到手机中的翻译APP，并在传输的数据包中标注语音数据a来自左声道。此时，翻译APP根据接收到数据包中的标注知道该数据包对应的语音数据a来自左声道，于是开启左声道进程，并通过左声道进程在翻译后台对语音数据a进行翻译，判断用户a说的是语言a，然后将其翻译成b语言，并且生成b语言的TTS发送给右耳机，以便通过右耳机对应的右声道为用户b播放。同理，当用户b同步说话时，用户b佩戴的右耳机拾取用户b的语言b的语音数据b，并基于BLE协议传输给翻译APP，翻译APP通过右声道进程对语音数据b同步进行翻译，得到语言a的TTS，并将语言a的TTS通过左耳机为用户a进行播放。其中，左耳机和右耳机可以同时工作。即，左耳机在拾取用户a的语言a的语音数据的同时，可以播放翻译成a语言的用户b的语音数据。左声道进程和右声道进程同步进行语音翻译操作。

为进一步说明本实施中的语音数据处理方法，以图5为例，假设电子装置为手机，不作为翻译组中的语音设备，翻译群组中的语音设备为3对耳机。用户a、用户b和用户c分别佩戴耳机A、B和C，并分别对应声道1、2和3。用户a用日语说话，用户b用韩语说话，用户c用英语说话。当用户a用日语说话的时候，耳机A通过声道1将拾取的用户a的语音数据a，基于BLE协议传输到手机中的翻译APP，并在传输的数据包中标注语音数据a来自声道1。此时，翻译APP根据接收到数据包中的标注知道该数据包对应的语音数据a来自声道1，于是开启声道进程1，并通过声道进程1对语音数据a进行翻译，判断用户a说的是日语，然后，根据预设的耳机A、B和C与其佩戴者用户a、b和c使用的语种的对应关系，确定目的语言为韩语和英语，将语音数据a由日语翻译为韩语和英语的TTS，并基于BLE协议将韩语的TTS和英语的TTS进行广播，其中广播的数据包中有对应TTS的输出声道的标注，以便耳机B根据韩语的TTS的数据包中输出声道的标注，在声道2将韩语的TTS为用户b播放，耳机C根据英语的TTS的数据包中输出声道的标注，分别在声道3将英语的TTS为用户c播放。同理，分别通过声道进行2和3同步对用户b和c的语音数据进行翻译。其中，耳机A、B和C与其佩戴者用户a、b和c使用的语种的对应关系可在翻译前根据用户的自定义操作配置在手机中。例如，在翻译开始前，可以在手机中输出语种配置界面，根据用户在该界面的操作，配置上述对应关系。或者，在翻译开始前，先通过耳机A、B和C分别拾取用户a、b和c的语音，并对拾取的语音进行识别，得到对应的语种，并据此构建上述对应关系。

可以理解的，当手机与翻译群组中的语音设备之间以一对一的传输方式，而非一对多的广播方式进行数据交互式时，手机可根据接收的数据包中的设备标识信息，以及预设的设备标识信息和声道的对应关系，确定接收的数据包中的语音数据的来源声道。此时，手机在传输翻译后的语音数据时，可不在传输的数据包中标注输出声道。

可以理解的，在实际应用中，一个用户(即，说话者)可以佩戴一个耳机，也可以佩戴一副(或，一对)耳机，佩戴一个耳机和佩戴一副耳机时，数据处理和传输的原理相同，只是在佩戴一副耳机时，将该副耳机的左右耳的设备标识信息在电子装置中进行绑定，以便于电子装置在进行数据处理和传输时将该副耳机的左右耳作为同一个数据交互对象。

本实施例未尽之细节，可参考其他实施例中的相关描述。

本实施例中，通过为电子装置所在的翻译群组中的各语音设备分配对应的至少一个处理进程，利用分配的多个进程同步将通过各语音设备获取的源语音数据分别从原始语言处理为目的语言的目标语音数据，并将各目标语音数据通过各自对应的输出声道进行输出，实现了全双工的来自不同语音设备的语音数据的同步翻译，从而使得谈话双方或多方不必进行等待而是按照正常的方式进行交流，完美还原真实对话场景，使得翻译的过程更为人性化，因此可提高翻译效率和产品粘性。

请参阅图6，为本申请另一实施例提供的语音数据处理方法的实现流程示意图。该语音数据处理方法应用于图1中所示的电子装置，于本实施例中，电子装置作为翻译群组中的语音设备。翻译群组中的语音设备为蓝牙设备。如图6所示，该语音数据处理方法主要包括以下步骤：

S301、为电子装置所在的翻译群组中的各语音设备分配对应的处理进程，每个语音设备至少对应一个处理进程；

于本实施例中，步骤S301与步骤S101和步骤S102相同，具体可参考图2所示实施例中步骤S101和图3所示实施例中步骤S102的相关描述，此处不再赘述。

S302、拾取源语音数据；

于本实施例中，电子装置作为翻译群组中的语音设备，因此，电子装置一方面通过内置的语音拾取装置(如，麦克风MIC)拾取源语音数据，同时接收各语音设备基于低功耗蓝牙协议广播的压缩数据包。

S303、接收各语音设备基于低功耗蓝牙协议广播的压缩数据包，该压缩数据包中包含源语音数据和源语音数据的来源声道的描述数据；

S304、通过各处理进程同步分别将各源语音数据转换为原始语言的文本数据；

S305、将转换得到的文本数据翻译为目的语言的文本数据；

S306、当检测到目的语言的文本数据中出现预设符号时，将目的语言的文本数据转换为目标语音数据；

S307、确定各源语音数据各自对应的输出声道，并将各目标语音数据通过各自对应的输出声道进行输出，输出声道不包括源语音数据的来源声道。

步骤S303至步骤S307与步骤S202至步骤S206类似，具体可参考图3所示实施例中的相关描述，此处不再赘述。步骤S302和步骤303可以同步进行。

进一步的，为各目标语音数据分别生成目标压缩数据包，并基于低功耗蓝牙协议将各目标压缩数据包进行广播，具体包括：当输出声道对应的语音设备为电子装置和至少一个蓝牙设备，或者，当输出声道对应的语音设备为至少两个蓝牙设备时，为各目标语音数据分别生成目标压缩数据包，并基于低功耗蓝牙协议将各目标压缩数据包进行广播。此时，将各目标语音数据通过各自对应的输出声道进行输出，还包括：当输出声道对应的语音设备为电子装置时，将目标语音数据通过电子装置的语音播放装置进行播放。例如：当一方为手机，一方为蓝牙耳机时，对于手机自己拾取的语音数据，手机需要在对其翻译转换为目标语音数据后，将其封装为目标压缩数据包并广播给蓝牙耳机；而对于蓝牙耳机拾取的语音数据，手机只需要将其翻译转换为目标语音数据后直接播放即可。

可以理解的，在实际应用中，一个用户可以佩戴一个耳机，也可以佩戴一副(或，一对)耳机，佩戴一个耳机和佩戴一副耳机时，数据处理和传输的原理相同，只是在佩戴一副耳机时，将该副耳机的左右耳的设备标识信息在电子装置中进行绑定，以便于电子装置在进行数据处理和传输时将该副耳机的左右耳作为同一个数据交互对象。

为进一步说明本实施中的语音数据处理方法，以图7为例，假设翻译群组中的语音设备为手机和一对蓝牙耳机。蓝牙耳机和手机建立数据连接后，蓝牙耳机的左耳机上的麦克风(mic)和手机的mic同时起作用，从而实现双工。蓝牙耳机基于BLE传输协议或者其他类似蓝牙协议与手机进行数据交互。当佩戴耳机的用户a用语言a说话时，蓝牙耳机的处理芯片或主芯片对蓝牙耳机的mic拾取的用户a的语音数据进行压缩，并传输到手机中的翻译APP，手机翻译APP检测到声音来自蓝牙耳机，启动耳机处理进程，并通过耳机处理进程经过解压、网络传输、语音识别、翻译之后，将语言b的翻译文字显示在手机上，并将语言b翻译文字转换为语音数据通过蓝牙耳机进行播放。根据实际需要，可以选择进行自动播放，当选择自动播放后，耳机处理进程通过TTS引擎将翻译文字转换成语音，并通过手机的喇叭自动播报。

于此同时，位于手机侧的用户b可以同步说语言b，翻译APP通过手机处理进程在后台同步执行翻译处理流程，并且将处理得到的TTS发送给蓝牙耳机，以同步在耳机佩戴者的耳朵里进行播放。

通过上述方法，可实现的效果为：手机侧用户一边说话，耳机佩戴者耳朵里一边播放翻译后音频，手机侧用户刚说完话，耳机佩戴者就已经完全接收完翻译语音。同理，耳机佩戴者说话，手机侧同时播放翻译后语音，佩戴者说完话手机侧用户也听完了翻译语音。从而实现无缝交流。像这样，当手机侧和耳机佩戴者同时说话时，耳机mic和手机mic同时工作，手机喇叭和耳机喇叭同时工作，从而可以实现争吵同传，翻译效率远超人类同声传译人员。并且，通过借用耳机作为翻译群组中的语音设备，还可以进一步节省硬件成本。

本实施例未尽之细节，可参考其他实施例中的相关描述。

本实施例中，通过为电子装置所在的翻译群组中的各语音设备分配对应的至少一个处理进程，利用分配的多个进程同步将通过各语音设备获取的源语音数据分别从原始语言处理为目的语言的目标语音数据，并将各目标语音数据通过各自对应的输出声道进行输出，实现了全双工的来自不同语音设备的语音数据的同步翻译，从而使得谈话双方或多方不必进行等待而是按照正常的方式进行交流，完美还原真实对话场景，使得翻译的过程更为人性化，因此可提高翻译效率和产品粘性。

请参阅图8，图8为本申请一实施例提供的电子装置的结构示意图。该电子装置可用于实现上述图2～图6所示的语音数据处理方法，具体例如可以是图1中的电子装置或该电子装置中的功能模块。该电子装置主要包括：

分配模块501，用于为电子装置所在的翻译群组中的各语音设备分配对应的处理进程，每个语音设备至少对应一个处理进程；

获取模块502，用于通过各所述语音设备获取源语音数据；

处理模块503，用于通过各所述处理进程同步将各所述源语音数据分别从原始语言处理为目的语言的目标语音数据；

输出模块504，用于确定各所述源语音数据各自对应的输出声道，并将各所述目标语音数据通过各自对应的所述输出声道进行输出，所述输出声道不包括所述源语音数据的来源声道

进一步的，该电子装置不作为该翻译群组中的语音设备，当该语音设备为蓝牙设备时，获取模块502还用于接收各该语音设备基于低功耗蓝牙协议广播的压缩数据包，该压缩数据包中包含该源语音数据和该源语音数据的来源声道的描述数据。

进一步的，该电子装置作为该翻译群组中的语音设备，当该语音设备为蓝牙设备时，获取模块502还用于拾取该源语音数据；以及，接收各该语音设备基于低功耗蓝牙协议广播的压缩数据包，该压缩数据包中包含该源语音数据和该源语音数据的来源声道的描述数据。

进一步的，当该语音设备为蓝牙耳机时，该电子装置还包括：

发送模块，用于当处理任务被触发时，向各该蓝牙耳机发送输出通道独占命令字，以使得该蓝牙耳机的输出通道不输出预设应用发送的语音数据。

进一步的，处理模块503还用于通过各该处理进程同步分别将各该源语音数据转换为该原始语言的文本数据；

将转换得到的文本数据翻译为该目的语言的文本数据；

当检测到该目的语言的文本数据中出现预设符号时，将该目的语言的文本数据转换为该目标语音数据。

进一步的，该电子装置还包括确定模块，用于根据各该语音设备与各该原始语言的对应关系，为各该源语音数据确定至少一种该目的语言；

则，输出模块504，还用于根据各该语音设备与各该原始语言的对应关系，该来源声道的描述数据，以及，各该源语音数据与该目的语言的对应关系，确定各该源语音数据各自对应的输出声道；

为各该目标语音数据分别生成目标压缩数据包，并基于该低功耗蓝牙协议将各该目标压缩数据包进行广播，该目标压缩数据包中包含该目标语音数据和该目标语音数据对应的该输出声道的描述数据。

输出模块504还用于当该输出声道对应的语音设备为该电子装置和至少一个该蓝牙设备时，或者，当该输出声道对应的语音设备为至少两个该蓝牙设备时，为各该目标语音数据分别生成目标压缩数据包，并基于该低功耗蓝牙协议将各该目标压缩数据包进行广播；

输出模块504还用于当该输出声道对应的语音设备为该电子装置时，将该目标语音数据通过该电子装置的语音播放装置进行播放。

进一步的，该压缩数据包中还包含该输出声道的描述数据，则输出模块504还用于根据各所述压缩数据包中的所述输出声道的描述数据，确定各所述源语音数据各自对应的输出声道；

为各该目标语音数据分别生成目标压缩数据包，并基于该低功耗蓝牙协议将各该目标压缩数据包进行广播，该目标压缩数据包中包含该目标语音数据和该目标语音数据对应的该输出声道的描述数据。

进一步的，输出模块504还用于当该输出声道对应的语音设备为该电子装置和至少一个该蓝牙设备时，或者，当该输出声道对应的语音设备为至少两个该蓝牙设备时，为各该目标语音数据分别生成目标压缩数据包，并基于该低功耗蓝牙协议将各该目标压缩数据包进行广播；

输出模块504还用于当该输出声道对应的语音设备为该电子装置时，将该目标语音数据通过该电子装置的语音播放装置进行播放。

上述各模块实现各自功能的具体过程可参考图1至图6所示实施例中的相关内容，此处不再赘述。

本实施例中，通过为电子装置所在的翻译群组中的各语音设备分配对应的至少一个处理进程，利用分配的多个进程同步将通过各语音设备获取的源语音数据分别从原始语言处理为目的语言的目标语音数据，并将各目标语音数据通过各自对应的输出声道进行输出，实现了全双工的来自不同语音设备的语音数据的同步翻译，从而使得谈话双方或多方不必进行等待而是按照正常的方式进行交流，完美还原真实对话场景，使得翻译的过程更为人性化，因此可提高翻译效率和产品粘性。

请参阅图9，图9为本申请一实施例提供的电子装置的硬件结构示意图。

本实施例中所描述的电子装置，包括：存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。其中，存储器601可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器601用于存储一组可执行程序代码。处理器602运行该计算机程序时，执行如上述图2至图7所示的语音数据处理方法。

进一步的，该电子装置还包括：声音采集装置603、声音播放装置604、至少一个输入设备605、至少一个输出设备606以及信号收发装置607。其中，声音采集装置603具体可以为麦克风。声音播放装置604具体可以为喇叭或扬声器等。输入设备605具体可为摄像头、触控面板、物理按键等等。输出设备606具体可为触控或非触控显示屏。信号收发装置607收发的信号可以但不限于包括：蓝牙、WI-FI，近距离通信、蜂窝网络等等。

上述存储器601、处理器602、声音采集装置603、声音播放装置604、至少一个输入设备605、至少一个输出设备606以及信号收发装置607电性相连，具体例如可以通过总线连接。

本实施例中，通过为电子装置所在的翻译群组中的各语音设备分配对应的至少一个处理进程，利用分配的多个进程同步将通过各语音设备获取的源语音数据分别从原始语言处理为目的语言的目标语音数据，并将各目标语音数据通过各自对应的输出声道进行输出，实现了全双工的来自不同语音设备的语音数据的同步翻译，从而使得谈话双方或多方不必进行等待而是按照正常的方式进行交流，完美还原真实对话场景，使得翻译的过程更为人性化，因此可提高翻译效率和产品粘性。

如图10所示，本实施例还提供了一种翻译系统，该系统包括：蓝牙耳机30以及电子装置10。电子装置10的结构具体如图8和图9所示。

蓝牙耳机30包括：语音采集装置31、语音播放装置32、蓝牙信号收发装置33以及处理芯片34。其中，语音采集装置31具体例如可以是麦克风或者其他可以用于拾取语音数据的装置，语音播放装置32具体例如可以是扬声器或者喇叭。

语音采集装置31，用于拾取源语音数据；

处理芯片34，用于将语音采集装置31拾取的源语音数据压缩为压缩数据包，并通过蓝牙信号收发装置33基于低功耗蓝牙协议将该压缩数据包进行广播；

处理芯片34，还用于解压通过蓝牙信号收发装置33接收的来自电子装置10的目标压缩数据包，并将解压该目标压缩数据包得到的目标语音数据通过语音播放装置32进行播放。

可以理解的，当目标压缩数据包通过广播的方式发送时，处理芯片34解压该目标压缩数据包，得到其中携带的输出声道的描述数据。根据该描述数据判断该输出声道是否与本机对应，若该输出声道与本机对应，则处理芯片34将目标语音数据通过语音播放装置32进行播放。若该输出声道与本机不对应，说明该目标语音数据不需要通过本机进行播放，则不对该目标压缩数据包中的目标语音数据进行播放并删除该目标压缩数据包及解压出的相关数据。

电子装置10和蓝牙耳机30实现各自功能的具体过程可以参考上述图1至9所示实施例中的相关内容，此处不再赘述。

本实施例还提供了一种计算机存储介质，具体为计算机可读存储介质，其上存储有计算机程序，该计算机程序在被处理器运行时，执行如上面图2至图7所述的语音数据处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本申请所提供的语音数据处理方法、语音数据处理系统、电子装置和计算机存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种语音数据处理方法，应用于电子装置，其特征在于，所述方法包括：：

为所述电子装置所在的翻译群组中的各语音设备分配对应的处理进程，每个所述语音设备至少对应一个所述处理进程；

通过各所述语音设备获取源语音数据；

通过各所述处理进程同步将各所述源语音数据分别从原始语言处理为目的语言的目标语音数据；

确定各所述源语音数据各自对应的输出声道，并将各所述目标语音数据通过各自对应的所述输出声道进行输出，所述输出声道不包括所述源语音数据的来源声道。

2.如权利要求1所述的方法，其特征在于，所述电子装置不作为所述翻译群组中的语音设备，当所述语音设备为蓝牙设备时，所述通过各所述语音设备获取源语音数据包括：

接收各所述语音设备基于低功耗蓝牙协议广播的压缩数据包，所述压缩数据包中包含所述源语音数据和所述源语音数据的来源声道的描述数据。

3.如权利要求1所述的方法，其特征在于，所述电子装置作为所述翻译群组中的语音设备，当所述语音设备为蓝牙设备时，所述通过各所述语音设备获取源语音数据包括：

拾取所述源语音数据；以及，

接收各所述语音设备基于低功耗蓝牙协议广播的压缩数据包，所述压缩数据包中包含所述源语音数据和所述源语音数据的来源声道的描述数据。

4.如权利要求2或3所述的方法，其特征在于，当所述语音设备为蓝牙耳机时，所述通过各所述语音设备获取源语音数据之前，还包括：

当处理任务被触发时，向各所述蓝牙耳机发送输出通道独占命令字，以使得所述蓝牙耳机的输出通道不输出预设应用发送的语音数据。

5.如权利要求1所述的方法，其特征在于，所述通过各所述处理进程同步将各所述源语音数据分别从原始语言处理为目的语言的目标语音数据，具体包括：

通过各所述处理进程同步分别将各所述源语音数据转换为所述原始语言的文本数据；

将转换得到的文本数据翻译为所述目的语言的文本数据；

当检测到所述目的语言的文本数据中出现预设符号时，将所述目的语言的文本数据转换为所述目标语音数据。

6.如权利要求2或3所述的方法，其特征在于，所述方法还包括：

根据各所述语音设备与各所述原始语言的对应关系，为各所述源语音数据确定至少一种所述目的语言；

则，所述确定各所述源语音数据各自对应的输出声道，并将各所述目标语音数据通过各自对应的所述输出声道进行输出，具体包括：

根据各所述语音设备与各所述原始语言的对应关系，所述来源声道的描述数据，以及，各所述源语音数据与所述目的语言的对应关系，确定各所述源语音数据各自对应的输出声道；

为各所述目标语音数据分别生成目标压缩数据包，并基于所述低功耗蓝牙协议将各所述目标压缩数据包进行广播，所述目标压缩数据包中包含所述目标语音数据和所述目标语音数据对应的所述输出声道的描述数据。

7.如权利要求6所述的方法，其特征在于，所述为各所述目标语音数据分别生成目标压缩数据包，并基于所述低功耗蓝牙协议将各所述目标压缩数据包进行广播，具体包括：

当所述输出声道对应的语音设备为所述电子装置和至少一个所述蓝牙设备时，或者，当所述输出声道对应的语音设备为至少两个所述蓝牙设备时，为各所述目标语音数据分别生成目标压缩数据包，并基于所述低功耗蓝牙协议将各所述目标压缩数据包进行广播；

所述将各所述目标语音数据通过各自对应的所述输出声道进行输出，还包括：

当所述输出声道对应的语音设备为所述电子装置时，将所述目标语音数据通过所述电子装置的语音播放装置进行播放。

8.如权利要求2或3所述的方法，其特征在于，所述压缩数据包中还包含所述输出声道的描述数据，则所述确定各所述源语音数据各自对应的输出声道，并将各所述目标语音数据通过各自对应的所述输出声道进行输出，具体包括：

根据各所述压缩数据包中的所述输出声道的描述数据，确定各所述源语音数据各自对应的输出声道；

为各所述目标语音数据分别生成目标压缩数据包，并基于所述低功耗蓝牙协议将各所述目标压缩数据包进行广播，所述目标压缩数据包中包含所述目标语音数据和所述目标语音数据对应的所述输出声道的描述数据。

9.如权利要求8所述的方法，其特征在于，所述为各所述目标语音数据分别生成目标压缩数据包，并基于所述低功耗蓝牙协议将各所述目标压缩数据包进行广播，具体包括：

当所述输出声道对应的语音设备为所述电子装置和至少一个所述蓝牙设备时，或者，当所述输出声道对应的语音设备为至少两个所述蓝牙设备时，为各所述目标语音数据分别生成目标压缩数据包，并基于所述低功耗蓝牙协议将各所述目标压缩数据包进行广播；

所述将各所述目标语音数据通过各自对应的所述输出声道进行输出，还包括：

当所述输出声道对应的语音设备为所述电子装置时，将所述目标语音数据通过所述电子装置的语音播放装置进行播放。

10.一种电子装置，其特征在于，所述装置包括：

分配模块，用于为所述电子装置所在的翻译群组中的各语音设备分配对应的处理进程，每个所述语音设备至少对应一个所述处理进程；

获取模块，用于通过各所述语音设备获取源语音数据；

处理模块，用于通过各所述处理进程同步将各所述源语音数据分别从原始语言处理为目的语言的目标语音数据；

输出模块，用于确定各所述源语音数据各自对应的输出声道，并将各所述目标语音数据通过各自对应的所述输出声道进行输出，所述输出声道不包括所述源语音数据的来源声道。

11.一种翻译系统，其特征在于，所述系统包括：蓝牙耳机以及如权利要求10所述的电子装置；

其中，蓝牙耳机包括语音采集装置、语音播放装置、蓝牙信号收发装置以及处理芯片；

所述语音采集装置，用于拾取所述源语音数据；

所述处理芯片，用于将所述源语音数据压缩为所述压缩数据包，并通过所述蓝牙信号收发装置基于所述低功耗蓝牙协议将所述压缩数据包进行广播；

所述处理芯片，还用于解压通过所述蓝牙信号收发装置接收的来自所述电子装置的目标压缩数据包，并将解压所述目标压缩数据包得到的所述目标语音数据通过所述语音播放装置进行播放。

12.一种电子装置，其特征在于，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；

其中，所述处理器运行所述计算机程序时，实现如权利要求1至9中的任一项所述的语音数据处理方法。

13.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器运行时，执行如权利要求1至9中任一项所述的语音数据处理方法。