CN110602338B - 音频处理方法、装置、系统、存储介质以及设备 - Google Patents

Abstract

本申请实施例提供一种音频处理方法、装置、系统、存储介质以及设备，其中，方法包括：从若干通道分别传输的音频数据中，确定出符合转发条件的通道；根据符合转发条件的通道，对各通道的音频传输标识进行更新；其中，音频传输标识包括转发状态标识和非转发状态标识；确定所述音频传输标识为转发状态标识的通道，并获取所述通道传送的FEC包。本申请实施例解决了转发的音频出现中断或者断断续续的问题，提高了用户的体验。对音频传输状态为转发状态标识的通道在传输音频数据丢包时，才传输FEC包，可减少无用的FEC包发送和无用的FEC编码，节省了服务器和客户端的计算开销和带宽开销。

Description

音频处理方法、装置、系统、存储介质以及设备

技术领域

本申请涉及VOIP的音频处理领域，特别是涉及一种音频处理方法、装置、系统、存储介质以及设备。

背景技术

VoIP(Voice over IP，IP承载语音)技术作为一种通过互联网进行音频处理的传输方法，广泛应用于多端语音会议、会议预约、会议录音和会议管理等领域。

在多端语音会议中，VoIP一般通过服务器接收M个客户端发送的M路音频，然后选择其中音量较大的N路音频作为活跃音频，再将N路音频转发给各个客户端，进而在多端同时发送有音频时，接听者可以收到音量较大的N路音频，进而降低带宽，过滤掉周围的环境干扰声音。

发明人在实现本申请的过程中，发现现有技术中存在如下问题：当传输的音频发生丢包时，接听音频的客户端将出现音频中断或者断断续续的情况，影响用户的体验。

发明内容

为克服相关技术中存在的问题，本申请提供了一种音频处理方法、装置、系统、存储介质以及设备，其能解决音频出现中断或者断断续续的问题。

根据本申请实施例的第一方面，提供一种音频处理方法，包括如下步骤：

从若干通道分别传输的音频数据中，确定出符合转发条件的通道；

根据符合转发条件的通道，对各通道的音频传输标识进行更新；其中，所述音频传输标识包括转发状态标识和非转发状态标识；

确定所述音频传输标识为转发状态标识的通道，并获取所述通道传送的FEC包。

在一个可选的实施例中，所述从若干通道分别传输的音频数据中，确定出符合转发条件的通道的步骤中，所述转发条件为音频数据的音量的平均值大小大于或等于预设值。

在一个可选的实施例中，所述根据符合转发条件的通道，对各通道对应的音频传输标识进行更新的步骤之后，还包括：对所述音频传输标识发生更新的通道对应的客户端，传输更新后的所述音频传输标识。

根据本申请实施例的第二方面，提供一种音频处理装置，包括：

通道确定模块，用于从若干通道分别传输的音频数据中，确定出符合转发条件的通道；

标识更新模块，用于根据符合转发条件的通道，对各通道的音频传输标识进行更新；其中，所述音频传输标识包括转发状态标识和非转发状态标识；

FEC包接收模块，用于确定所述音频传输标识为转发状态标识的通道，并获取所述通道传送的FEC包。

根据本申请实施例的第三方面，提供一种音频处理系统，包括：服务器，以及与服务器连接的多个客户端；

所述服务器被配置为从若干通道分别传输的音频数据中，确定出符合转发条件的通道；根据符合转发条件的通道，对各通道对应的音频传输标识进行更新；其中，所述音频传输标识包括转发状态标识和非转发状态标识；对音频传输标识发生更新的通道对应的客户端传输更新后的音频传输标识，并确定所述音频传输标识为转发状态标识的通道，且获取所述通道传送的FEC包；

所述客户端被配置为根据更新后的所述音频传输标识向服务器传输FEC包。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述任意一项所述的音频处理方法的步骤。

根据本申请实施例的第五方面，提供一种音频处理设备，包括储存器，处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的音频处理方法的步骤。

本申请实施例通过确定音频传输状态为转发状态标识的通道，并在所述通道传输的音频数据丢包时，同时传输FEC包，进而可获得完整的音频数据，解决了转发的音频出现中断或者断断续续的问题，提高了用户的体验。进一步地，对音频传输状态为转发状态标识的通道在传输音频数据丢包时，才传输FEC包，可减少无用的FEC包发送和无用的FEC编码，节省了服务器和客户端的计算开销和带宽开销。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

为了更好地理解和实施，下面结合附图详细说明本申请。

附图说明

图1为本申请实施例示出的音频处理方法的应用环境的示意框图；

图2为本申请实施例示出的音频处理方法的流程图；

图3为本申请实施例示出的各通道的音频传输标识进行更新的流程图；

图4为本申请实施例示出的音频处理装置的结构示意图；

图5为本申请实施例示出的标识更新模块的结构示意图；

图6为本申请实施例示出的音频处理系统的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

请参阅图1，其是本申请实施例示出的音频处理方法的应用环境的示意框图。

如图1所示，本实施例的音频处理方法的应用环境包括服务器100和与服务器通信连接的M个客户端200。所述服务器100可以是任何智能终端，例如，可以具体为计算机、手机、平板电脑、交互式智能平板。所述客户端200可以是任何智能终端，例如，可以具体为计算机、手机、平板电脑、交互式智能平板、PDA(Personal Digital Assistant，个人数字助理)、电子书阅读器、多媒体播放器、耳机、麦克风等。

所述服务器100用于执行本申请实施例的音频处理方法，具体的，服务器100通过M个通道分别与M个客户端连接，以从M个客户端200通过M个通道分别传输的音频数据中，确定出符合转发条件的通道；根据符合转发条件的通道，对各通道的音频传输标识进行更新；再确定所述音频传输标识为转发状态标识的通道，并获取所述通道传送的FEC包，其中M大于等于3。由于客户端所在用户的接听注意力有限，本实施例中，所述转发条件为音频数据的音量的平均值大小大于或等于预设值，所述预设值可以为将各个通道的音频数据的音量的平均值由大至小排序后的第N个值；通过对当前时间段内传输的音频数据中，确定出符合转发条件的通道，再在下一时间段内，符合转发条件的通道在传送音频数据发生丢包时，向服务器100发送FEC包，以使服务器100可获得完整的音频数据。

如图1所示，当M＝4，N＝1时，服务器100接收到客户端1、客户端2和客户端3和客户端4传送的音频数据中，确定出符合转发条件的通道对应的客户端1，则服务器将客户端1的音频数据转发给客户端2、客户端3和客户端4，当客户端1的音频数据发生丢包时，客户端1将根据音频数据生成FEC包，使服务器可以根据FEC包获得完整的音频数据进行转发。但是客户端1所在的用户自己不能收到自己发出的音频，因此，服务器又会从客户端2、客户端3和客户端4传送的音频数据中，重新确认出需要转发给其他客户端的音频并进行转发。因此，为避免服务器不断地确定需转发音频数据的客户端，同时考虑其他客户端接收音频数据的能力，可使N大于1小于等于3，以对转发音频的数量加以限制。

实施例1

请参阅图2，其为本申请实施例示出的音频处理方法的流程图，由图2可知，所述音频处理方法包括如下步骤：

步骤S301：从若干通道分别传输的音频数据中，确定出符合转发条件的通道。

所述音频数据为人类能够听到的所有的声音经过处理后可在设备中传送的数据，具体可以为用户发出的声音、也可以为录制的声音，乐器等声音。本申请实施例中，服务器中设置有多个通道，每个通道可对应连接一个客户端，每个客户端将用户发出的声音转换为可在设备中传输的音频数据后，通过对应的通道传输到所述服务器。

步骤S302：根据符合转发条件的通道，对各通道的音频传输标识进行更新；其中，所述音频传输标识包括转发状态标识和非转发状态标识。

所述转发状态标识为所述通道传输的音频数据将转发给其他通道接收的状态；所述非需转发状态为所述通道传输的音频数据将不会转发给其他通道接收的状态。所述转发状态标识和非转发状态标识均为设备可识别的符号标识，例如，可采用“0”和“1”这种设备容易识别的符号来分别表示转发状态标识和非转发状态标识，但是，转发状态标识和非转发状态标识可以根据需要进行设置，并不加以限定，例如，也可以将所述转发状态标识设置为1，将所述非转发标识设置为0。

步骤S303：确定所述音频传输标识为转发状态标识的通道，并获取所述通道传送的FEC包。

本申请实施例中，所述FEC包为各通道传输的音频数据丢包时，各通道对应的客户端根据所述音频数据生成的数据包；所述FEC包内包括音频数据以及冗余纠错码，以对丢包的音频数据进行纠错，使服务器可获得完整的音频数据。

本申请实施例通过确定音频传输状态为转发状态标识的通道，并在所述通道传输的音频数据丢包时，同时传输FEC包，进而可获得完整的音频数据，解决了转发的音频出现中断或者断断续续的问题，提高了用户的体验。进一步地，对音频传输状态为转发状态标识的通道在传输音频数据丢包时，才传输FEC包，可减少无用的FEC包发送和无用的FEC编码，节省了服务器和客户端的计算开销和带宽开销。

在一个示例性的实施例中，步骤S301中所述转发条件可以根据用户需要进行设定，在本申请实施例中，所述转发条件为音频数据的音量的平均值大小大于或等于预设值。在设定时间段内，一个通道传输的音频数据中将包括多个音频包，通过对所有音频包的音量求平均值，即为所述音频数据的音量的平均值。具体的，在设定时间内，从若干通道分别传输的音频数据中，分别获取各音频数据中的所有音频包，再分别计算各音频数据的音频包的音量的平均值大小，在所述平均值大小大于或等于预设值时，则所述平均值对应的通道为符合转发条件的通道；在所述平均值大小小于预设值时，则所述平均值对应的通道为不符合转发条件的通道。所述预设值可以为将各个通道的音频数据的音量的平均值由大至小排序后的第N个值，其中，N为整数。优选的，N大于1小于等于3。在多端会议中，当各客户端所在用户同时讲话而获取到多个通道的音频数据时，由于客户端所在用户的接听注意力有限，通过只接收音频数据的音量的平均值大小大于或等于预设值的通道传送的FEC包可降低带宽，减少无用的FEC包的发送和编码，过滤掉其他音频数据的干扰声音。

在一个示例性的实施例中，每个通道均存储有各自的音频传输标识，当从若干通道分别传输的音频数据中，确定出符合转发条件的通道后，需要根据所述符合转发条件的通道，对各通道的音频传输标识进行更新，以根据通道的音频传输标识来确定是否传输FEC包；而当确定出符合条件的通道后，由于在这些符合条件的通道中，有些通道存储的音频传输标识已经是转发状态标识即已经标识为符合条件的通道，那么针对这些通道的音频传输标识则不需要进行更新改动，以使这些通道继续保持传输FEC包；而有些通道的音频传输标识是非转发状态标识即标识为不符合条件的通道，此时，则需要将这些通道的音频传输标识由转发状态标识更新为非转发状态标识，以使这些通道更新为符合条件的通道，进而使这些通道可以传送FEC包。同理，对于不符合条件的通道中，有些通道存储的音频传输标识已经是非转发状态标识即已经标识为不符合条件的通道，那么针对这些通道的音频传输标识则不需要进行更新改动，以使这些通道继续保持不传输FEC包；而有些通道的音频传输标识是转发状态标识即标识为符合条件的通道，此时，则需要将这些通道的音频传输标识由非转发状态标识更新为转发状态标识，以使这些通道更新为不符合条件的通道，避免这些通道继续传送FEC包。具体的，请参阅图3，若将所述转发状态标识设置为0，将所述非转发标识设置为1，步骤S302中对各通道的音频传输标识进行更新的步骤，可以包括如下步骤：

步骤S3021：查询符合条件的通道的音频传输标识，在符合转发条件的通道的音频传输标识为1时，则发送标识更新信号将所述通道的音频传输标识更新为0；在符合转发条件的通道的音频传输标识为0时，则不发送标识更新信号。

步骤S3022：查询不符合条件的通道的音频传输标识，在不符合转发条件的通道的音频传输标识为0时，则发送标识更新信号将所述通道的音频传输标识更新为1，在不符合转发条件的通道的音频传输标识为1时，则不发送标识更新信号。

本申请实施例的转发状态标识和非转发状态标识可以根据需要进行设置，并不加以限定，例如，也可以将所述转发状态标识设置为1，将所述非转发标识设置为0。

通过分别查询符合条件的通道的音频传输标识和不符合条件的通道的音频传输标识，以对音频传输标识状态的通道进行更新，可减少对音频传输标识的改动，从而使符合转发条件的通道可以传输FEC包，使不符合转发条件的通道不再传输FEC包。

进一步地，步骤S303中所述确定音频传输标识为转发状态标识的通道包的步骤，包括：确定所述音频传输标识更新后为转发状态标识的通道，以及确定所述音频传输标识未更新但为转发状态标识的通道，进而使得无论是音频传输标识更新后为转发状态标识的通道，还是音频传输标识未更新但为转发状态标识的通道都能传输FEC包。

进一步地，为了实现将所述符合转发条件的通道传送的音频数据，转发给除传送所述音频数据的其他通道，通常需要存储符合转发条件的通道的标识信息，进而根据所述通道的标识信息，在所述通道传送音频数据时，将所述音频数据转发给除传送所述音频数据的其他通道。其中，所述通道的标识信息为设备可识别的符号标识，例如，可采用“00”或“01”这种设备容易识别的二进制符号或者其他进制符号来区分各通道。具体的，若将所述转发状态标识设置为0，将所述非转发标识设置为1，在步骤S302中根据所述符合转发条件的通道，对各通道的音频传输标识进行更新的步骤之后，还可以包括如下步骤：获取音频传输标识为0的通道的标识信息，并存储所述通道的标识信息。例如，若音频传输标识为0的通道有两个，这两个通道的标识信息为二进制符号00和01，则存储00和01这两个二进制符号，当这两个二进制符号对应的通道分别传送音频数据时，则将所述音频数据转发给除传送所述音频数据的其他通道。

在一个示例性的实施例中，步骤S303中根据符合转发条件的通道，对各通道对应的音频传输标识进行更新的步骤之后，还包括如下步骤：对所述音频传输标识发生更新的通道对应的客户端，传输更新后的所述音频传输标识，使客户端根据更新后的音频传输标识传输FEC包。具体的，若所述更新后的音频传输标识为转发状态标识，则所述客户端向服务器发送FEC包；若所述更新后的音频传输标识为非转发状态标识，则所述客户端暂停向服务器发送FEC包。对音频传输状态更新为非转发状态标识的通道在传输音频数据丢包时，不再传输FEC包，对音频传输状态为转发状态标识的通道在传输音频数据丢包时传输FEC包，可以减少无用的FEC包发送和无用的FEC编码，以节省服务器和客户端的计算开销和带宽开销。进一步地，在本申请实施例中，通过TCP的方式对所述音频传输标识发生更新的通道对应的客户端，传输更新后的所述音频传输标识。

实施例2

请参阅图4，本申请还提供一种音频处理装置400，包括：

通道确定模块401，用于从若干通道分别传输的音频数据中，确定出符合转发条件的通道；

标识更新模块402，用于根据符合转发条件的通道，对各通道的音频传输标识进行更新；其中，所述音频传输标识包括转发状态标识和非转发状态标识；

FEC包接收模块403，用于确定所述音频传输标识为转发状态标识的通道，并获取所述通道传送的FEC包。

本申请实施例通过确定音频传输状态为转发状态标识的通道，并在所述通道传输的音频数据丢包时，同时传输FEC包，进而可获得完整的音频数据，解决了转发的音频出现中断或者断断续续的问题，提高了用户的体验。进一步地，对音频传输状态为转发状态标识的通道在传输音频数据丢包时，才传输FEC包，可减少无用的FEC包发送和无用的FEC编码，节省了服务器和客户端的计算开销和带宽开销。

在一个示例性的实施例中，所述转发条件可以根据用户需要进行设定，在本申请实施例中，所述转发条件为音频数据的音量的平均值大小大于或等于预设值。在设定时间段内，一个通道传输的音频数据中将包括多个音频包，通过对所有音频包的音量求平均值，即为所述音频数据的音量的平均值。具体的，在设定时间内，从若干通道分别传输的音频数据中，分别获取各音频数据中的所有音频包，再分别计算各音频数据的音频包的音量的平均值大小，在所述平均值大小大于或等于预设值时，则所述平均值对应的通道为符合转发条件的通道；在所述平均值大小小于预设值时，则所述平均值对应的通道为不符合转发条件的通道。所述预设值可以为将各个通道的音频数据的音量的平均值由大至小排序后的第N个值，其中，N为整数。优选的，N大于1小于等于3。在多端会议中，当各客户端所在用户同时讲话而获取到多个通道的音频数据时，由于客户端所在用户的接听注意力有限，通过只接收音频数据的音量的平均值大小大于或等于预设值的通道传送的FEC包可降低带宽，减少无用的FEC包的发送和编码，过滤掉其他音频数据的干扰声音。

在一个示例性的实施例中，每个通道均存储有各自的音频传输标识，当从若干通道分别传输的音频数据中，确定出符合转发条件的通道后，需要根据所述符合转发条件的通道，对各通道的音频传输标识进行更新，以根据通道的音频传输标识来确定是否传输FEC包；而当确定出符合条件的通道后，由于在这些符合条件的通道中，有些通道存储的音频传输标识已经是转发状态标识即已经标识为符合条件的通道，那么针对这些通道的音频传输标识则不需要进行更新改动，以使这些通道继续保持传输FEC包；而有些通道的音频传输标识是非转发状态标识即标识为不符合条件的通道，此时，则需要将这些通道的音频传输标识由转发状态标识更新为非转发状态标识，以使这些通道更新为符合条件的通道，进而使这些通道可以传送FEC包。同理，对于不符合条件的通道中，有些通道存储的音频传输标识已经是非转发状态标识即已经标识为不符合条件的通道，那么针对这些通道的音频传输标识则不需要进行更新改动，以使这些通道继续保持不传输FEC包；而有些通道的音频传输标识是转发状态标识即标识为符合条件的通道，此时，则需要将这些通道的音频传输标识由非转发状态标识更新为转发状态标识，以使这些通道更新为不符合条件的通道，避免这些通道继续传送FEC包。请参阅图6，若将所述转发状态标识设置为0，将所述非转发标识设置为1，所述标识更新模块402可以包括：

第一更新模块4021，用于查询符合条件的通道的音频传输标识，在符合转发条件的通道的音频传输标识为1时，则发送标识更新信号将所述通道的音频传输标识更新为0；在符合转发条件的通道的音频传输标识为0时，则不发送标识更新信号。

第二更新模块4022，用于查询不符合条件的通道的音频传输标识，在不符合转发条件的通道的音频传输标识为0时，则发送标识更新信号将所述通道的音频传输标识更新为1，在不符合转发条件的通道的音频传输标识为1时，则不发送标识更新信号。

本申请实施例的转发状态标识和非转发状态标识可以根据需要进行设置，并不加以限定，例如，也可以将所述转发状态标识设置为1，将所述非转发标识设置为0。

通过分别查询符合条件的通道的音频传输标识和不符合条件的通道的音频传输标识，以对音频传输标识状态的通道进行更新，可减少对音频传输标识的改动，从而使符合转发条件的通道可以传输FEC包，使不符合转发条件的通道不再传输FEC包。

进一步地，FEC包接收模块403用于确定所述音频传输标识为转发状态标识的通道时，具体用于确定所述音频传输标识更新后为转发状态标识的通道，以及确定所述音频传输标识未更新但为转发状态标识的通道，进而使得无论是音频传输标识更新后为转发状态标识的通道，还是音频传输标识未更新但为转发状态标识的通道都能传输FEC包。

进一步地，为了实现将符合转发条件的通道传送的音频数据，转发给除传送所述音频数据的其他通道，通常需要存储符合转发条件的通道的标识信息，进而根据所述通道的标识信息，在所述通道传送音频数据时，将所述音频数据转发给除传送所述音频数据的其他通道。其中，所述通道的标识信息为设备可识别的符号标识，例如，可采用“00”或“01”这种设备容易识别的二进制符号或者其他进制符号来区分各通道的标识信息。具体的，所述标识更新模块402还可以包括存储模块(图中未示)，所述存储模块，获取音频传输标识为0的通道的标识信息，并存储所述通道的标识信息转发状态标识的通道。例如，若音频传输标识为0的通道有两个，这两个通道的标识信息为二进制符号00和01，则存储00和01这两个二进制符号，当这两个二进制符号对应的通道分别传送音频数据时，则将所述音频数据转发给除传送所述音频数据的其他通道。

所述FEC包接收模块403，用于确定音频传输标识为转发状态标识的通道包时，具体用于确定所述音频传输标识更新后为转发状态标识的通道，以及确定所述音频传输标识未更新但为转发状态标识的通道，进而使得无论是音频传输标识更新后为转发状态标识的通道，还是音频传输标识未更新但为转发状态标识的通道都能传输FEC包。

在一个示例性的实施例中，所述音频处理装置400还包括传输模块(图中未示)，所述传输模块用于对所述音频传输标识发生更新的通道对应的客户端，传输更新后的所述音频传输标识，使客户端根据更新后的音频传输标识传输FEC包。具体的，若所述更新后的音频传输标识为转发状态标识，则所述客户端向服务器发送FEC包；若所述更新后的音频传输标识为非转发状态标识，则所述客户端暂停向服务器发送FEC包。对音频传输状态更新为非转发状态标识的通道在传输音频数据丢包时，不再传输FEC包，对音频传输状态为转发状态标识的通道在传输音频数据丢包时传输FEC包，可以减少无用的FEC包发送和无用的FEC编码，以节省服务器和客户端的计算开销和带宽开销。进一步地，在本申请实施例中，通过TCP的方式对所述音频传输标识发生更新的通道对应的客户端，传输更新后的所述音频传输标识。

实施例3

请同时参阅图1和图6，本申请还提供一种音频处理系统，包括服务器100和多个与服务器连接的客户端200；

所述服务器100被配置为从若干通道分别传输的音频数据中，确定出符合转发条件的通道；根据符合转发条件的通道，对各通道对应的音频传输标识进行更新；其中，所述音频传输标识包括转发状态标识和非转发状态标识；对音频传输标识发生更新的通道对应的客户端200传输更新后的音频传输标识，并确定所述音频传输标识为转发状态标识的通道，且获取所述通道传送的FEC包；

所述客户端200被配置为根据更新后的所述音频传输标识向服务器传输FEC包。

本申请实施例通过确定音频传输状态为转发状态标识的通道，并在所述通道传输的音频数据丢包时，同时传输FEC包，进而可获得完整的音频数据，解决了转发的音频出现中断或者断断续续的问题，提高了用户的体验。进一步地，对音频传输状态为转发状态标识的通道在传输音频数据丢包时，才传输FEC包，可减少无用的FEC包发送和无用的FEC编码，节省了服务器和客户端的计算开销和带宽开销。

在一个示例性的实施例中，所述转发条件可以根据用户需要进行设定，在本申请实施例中，所述转发条件为音频数据的音量的平均值大小大于或等于预设值。在设定时间段内，一个通道传输的音频数据中将包括多个音频包，通过对所有音频包的音量求平均值，即为所述音频数据的音量的平均值。具体的，在设定时间内，从若干通道分别传输的音频数据中，分别获取各音频数据中的所有音频包，再分别计算各音频数据的音频包的音量的平均值大小，在所述平均值大小大于或等于预设值时，则所述平均值对应的通道为符合转发条件的通道；在所述平均值大小小于预设值时，则所述平均值对应的通道为不符合转发条件的通道。所述预设值可以为将各个通道的音频数据的音量的平均值由大至小排序后的第N个值，其中，N为整数。优选的，N大于1小于等于3。在多端会议中，当各客户端所在用户同时讲话而获取到多个通道的音频数据时，由于客户端所在用户的接听注意力有限，通过只接收音频数据的音量的平均值大小大于或等于预设值的通道传送的FEC包可降低带宽，减少无用的FEC包的发送和编码，过滤掉其他音频数据的干扰声音。

在一个示例性的实施例中，每个通道均存储有各自的音频传输标识，当从若干通道分别传输的音频数据中，确定出符合转发条件的通道后，需要根据所述符合转发条件的通道，对各通道的音频传输标识进行更新，以根据通道的音频传输标识来确定是否传输FEC包；而当确定出符合条件的通道后，由于在这些符合条件的通道中，有些通道存储的音频传输标识已经是转发状态标识即已经标识为符合条件的通道，那么针对这些通道的音频传输标识则不需要进行更新改动，以使这些通道继续保持传输FEC包；而有些通道的音频传输标识是非转发状态标识即标识为不符合条件的通道，此时，则需要将这些通道的音频传输标识由转发状态标识更新为非转发状态标识，以使这些通道更新为符合条件的通道，进而使这些通道可以传送FEC包。同理，对于不符合条件的通道中，有些通道存储的音频传输标识已经是非转发状态标识即已经标识为不符合条件的通道，那么针对这些通道的音频传输标识则不需要进行更新改动，以使这些通道继续保持不传输FEC包；而有些通道的音频传输标识是转发状态标识即标识为符合条件的通道，此时，则需要将这些通道的音频传输标识由非转发状态标识更新为转发状态标识，以使这些通道更新为不符合条件的通道，避免这些通道继续传送FEC包。若将所述转发状态标识设置为0，将所述非转发标识设置为1，所述服务器100被配置为根据预设条件对各客户端的音频传输状态进行更新时，具体被配置为：查询符合条件的通道的音频传输标识，在符合转发条件的通道的音频传输标识为1时，则发送标识更新信号将所述通道的音频传输标识更新为0；在符合转发条件的通道的音频传输标识为0时，则不发送标识更新信号；查询不符合条件的通道的音频传输标识，在不符合转发条件的通道的音频传输标识为0时，则发送标识更新信号将所述通道的音频传输标识更新为1，在不符合转发条件的通道的音频传输标识为1时，则不发送标识更新信号。

本申请实施例的转发状态标识和非转发状态标识可以根据需要进行设置，并不加以限定，例如，也可以将所述转发状态标识设置为1，将所述非转发标识设置为0。

通过分别查询符合条件的通道的音频传输标识和不符合条件的通道的音频传输标识，以对音频传输标识状态的通道进行更新，可减少对音频传输标识的改动，从而使符合转发条件的通道可以传输FEC包，使不符合转发条件的通道不再传输FEC包。

进一步地，所述服务器100被配置为确定所述音频传输标识为转发状态标识的通道时，具体被配置为确定所述音频传输标识更新后为转发状态标识的通道，以及确定所述音频传输标识未更新但为转发状态标识的通道，进而使得无论是音频传输标识更新后为转发状态标识的通道，还是音频传输标识未更新但为转发状态标识的通道都能传输FEC包。

进一步地，为了实现将符合转发条件的通道传送的音频数据，转发给除传送所述音频数据的其他通道，通常需要存储符合转发条件的通道的标识信息，进而根据所述通道的标识信息，在所述通道传送音频数据时，将所述音频数据转发给除传送所述音频数据的其他通道。其中，所述通道的标识信息为设备可识别的符号标识，例如，可采用“00”或“01”这种设备容易识别的二进制符号或者其他进制符号来区分各通道的标识信息。具体的，所述服务器100被配置为根据所述符合转发条件的通道，对各通道的音频传输标识进行更新之后，还被配置为获取音频传输标识为0的通道的标识信息，并存储所述通道的标识信息转发状态标识的通道。例如，若音频传输标识为0的通道有两个，这两个通道的标识信息为二进制符号00和01，则存储00和01这两个二进制符号，当这两个二进制符号对应的通道分别传送音频数据时，则将所述音频数据转发给除传送所述音频数据的其他通道。

在一个示例性实施例中，所述客户端200被配置为根据更新后的所述音频传输标识向服务器传输FEC包时，具体被配置为：对所述音频传输标识发生更新的通道对应的客户端，传输更新后的所述音频传输标识，使客户端根据更新后的音频传输标识传输FEC包。具体的，若所述更新后的音频传输标识为转发状态标识，则所述客户端向服务器发送FEC包；若所述更新后的音频传输标识为非转发状态标识，则所述客户端暂停向服务器发送FEC包。对音频传输状态更新为非转发状态标识的通道在传输音频数据丢包时，不再传输FEC包，对音频传输状态为转发状态标识的通道在传输音频数据丢包时传输FEC包，可以减少无用的FEC包发送和无用的FEC编码，以节省服务器和客户端的计算开销和带宽开销。进一步地，在本申请实施例中，通过TCP的方式对所述音频传输标识发生更新的通道对应的客户端，传输更新后的所述音频传输标识。

请参阅图6，下面具体阐述服务器100和M个客户端200的结构以及工作原理，其中M为整数。

每个客户端200均配置有客户端音频发送模块201，以与服务器的通道连接，用于向服务器100发送音频数据；每个客户端200还配置有客户端音频接收模块202，以与服务器的通道连接，用于接收服务器100转发的音频数据以及服务器100传送的通道的音频传输标识；每个客户端200还可以配置有客户端存储器(图中未示)，用于存储通道的音频传输标识；每个客户端200还可以配置有客户端处理器(图中未示)，用于根据服务器传输的更新的音频传输标识，向服务器传输FEC包。同理，服务器100内配置有用于与每个客户端200对应并进行数据传输的通道模块101，用于记录各通道模块101的通道标识信息的储存器102，以及用于执行本申请实施例的音频处理方法的处理器103。其中，每个通道模块101内分别配置有服务器音频发送模块1011和服务器音频接收模块1012，以及用于传输音频数据以及标识该通道的音频传输状态的传输标识模块1013。

每个客户端200通过各自的客户端音频发送模块201向服务器100发送音频数据，服务器100中与各客户端连接的通道模块101中的服务器音频接收模块1012接收所述音频数据，并通过传输标识模块1013传送到服务器100的处理器103中。所述处理器103从各客户端200通过分别传输的音频数据中，确定出符合转发条件的通道；根据符合转发条件的通道，对各通道的音频传输标识进行更新，从而将符合转发条件的通道的音频传输标识更新为转发状态标识，将不符合转发条件的通道的音频传输标识更新为非转发状态标识；同时，服务器100更新储存器102中的通道标识信息，以添加当前符合转发条件的通道标识信息和删除不符合转发条件的通道标识信息，以便及时将符合转发条件的通道传输的音频数据转发给其他通道。进一步地，所述处理器103还通过对音频传输标识发生更新的通道对应的客户端200，传输更新后的音频传输标识，客户端200通过客户端处理器根据更新后的所述音频传输标识向服务器传输FEC包，具体为若所述更新后的音频传输标识为转发状态标识，则所述客户端200向服务器100发送FEC包；若所述更新后的音频传输标识为非转发状态标识，则所述客户端200暂停向服务器100发送FEC包。而且，当音频传输标识为转发状态标识的客户端200传送的音频数据发生丢包时，该客户端200将根据音频数据生成FEC包，使服务器100可以根据FEC包对音频数据进行纠错，获得完整的音频数据。

实施例4

本申请还提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任一所述的音频处理方法的步骤。

本申请可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘储存器、CD-ROM、光学储存器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取储存器(SRAM)、动态随机存取储存器(DRAM)、其他类型的随机存取储存器(RAM)、只读储存器(ROM)、电可擦除可编程只读储存器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读储存器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

实施例5

本申请实施例还提供一种音频处理设备，所述音频处理设备可以是任何智能终端，例如，可以具体为计算机、手机、平板电脑、交互式智能平板、PDA(Personal DigitalAssistant，个人数字助理)、电子书阅读器、多媒体播放器等。在本申请实施例中，所述音频处理设备为服务器，所述服务器可以包括：多个通道模块101，至少一个储存器102，至少一个处理器103，至少一个通信总线(图中未示)。

其中，通信总线用于实现这些组件之间的连接通信。

其中，处理器103可以包括一个或者多个处理核心。处理器103利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在储存器102内的指令、程序、代码集或指令集，以及调用存储在储存器102内的数据，执行服务器的各种功能和处理数据。可选的，处理器103可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器103可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器103中，单独通过一块芯片进行实现。

其中，储存器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该储存器102包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。储存器102可用于存储指令、程序、代码、代码集或指令集。储存器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。储存器102可选的还可以是至少一个位于远离前述处理器103的存储装置。作为一种计算机存储介质的储存器102中可以包括操作系统、网络通信模块、用户接口模块以及智能交互平板的操作应用程序。

在图6所示的服务器中，所述通道模块101主要用于为客户端提供输入的接口，获取客户端传输的数据，所述通道模块101还可包括服务器音频发送模块1011和服务器音频接收模块1012，以及用于传输客户端200的音频数据以及标识该通道的音频传输状态的传输标识模块1013。而处理器103可以用于调用储存器102中存储的服务器的操作应用程序，并具体执行以下操作：

从若干通道分别传输的音频数据中，确定出符合转发条件的通道。

根据符合转发条件的通道，对各通道的音频传输标识进行更新；其中，所述音频传输标识包括转发状态标识和非转发状态标识。

确定所述音频传输标识为转发状态标识的通道，并获取所述通道传送的FEC包。

本申请实施例通过确定音频传输状态为转发状态标识的通道，并在所述通道传输的音频数据丢包时，同时传输FEC包，进而可获得完整的音频数据，解决了转发的音频出现中断或者断断续续的问题，提高了用户的体验。进一步地，对音频传输状态为转发状态标识的通道在传输音频数据丢包时，才传输FEC包，可减少无用的FEC包发送和无用的FEC编码，节省了服务器和客户端的计算开销和带宽开销。

在一个示例性的实施例中，所述转发条件可以根据用户需要进行设定，在本申请实施例中，所述转发条件为音频数据的音量的平均值大小大于或等于预设值。在设定时间段内，一个通道传输的音频数据中将包括多个音频包，通过对所有音频包的音量求平均值，即为所述音频数据的音量的平均值。具体的，在设定时间内，从若干通道分别传输的音频数据中，分别获取各音频数据中的所有音频包，再分别计算各音频数据的音频包的音量的平均值大小，在所述平均值大小大于或等于预设值时，则所述平均值对应的通道为符合转发条件的通道；在所述平均值大小小于预设值时，则所述平均值对应的通道为不符合转发条件的通道。所述预设值可以为将各个通道的音频数据的音量的平均值由大至小排序后的第N个值，其中，N为整数。优选的，N大于1小于等于3。在多端会议中，当各客户端所在用户同时讲话而获取到多个通道的音频数据时，由于客户端所在用户的接听注意力有限，通过只接收音频数据的音量的平均值大小大于或等于预设值的通道传送的FEC包可降低带宽，减少无用的FEC包的发送和编码，过滤掉其他音频数据的干扰声音。

在一个实施例中，若将所述转发状态标识设置为0，将所述非转发标识设置为1，所述处理器103还执行以下步骤：

查询符合条件的通道的音频传输标识，在符合转发条件的通道的音频传输标识为1时，则发送标识更新信号将所述通道的音频传输标识更新为0；在符合转发条件的通道的音频传输标识为0时，则不发送标识更新信号；

查询不符合条件的通道的音频传输标识，在不符合转发条件的通道的音频传输标识为0时，则发送标识更新信号将所述通道的音频传输标识更新为1，在不符合转发条件的通道的音频传输标识为1时，则不发送标识更新信号。

本申请实施例的转发状态标识和非转发状态标识可以根据需要进行设置，并不加以限定，例如，也可以将所述转发状态标识设置为1，将所述非转发标识设置为0。

通过分别查询符合条件的通道的音频传输标识和不符合条件的通道的音频传输标识，以对音频传输标识状态的通道进行更新，可减少对音频传输标识的改动，从而使符合转发条件的通道可以传输FEC包，使不符合转发条件的通道不再传输FEC包。

进一步地，所述处理器103执行确定音频传输标识为转发状态标识的通道包的步骤，可以包括如下步骤：确定所述音频传输标识更新后为转发状态标识的通道，以及确定所述音频传输标识未更新但为转发状态标识的通道，进而使得无论是音频传输标识更新后为转发状态标识的通道，还是音频传输标识未更新但为转发状态标识的通道都能传输FEC包。

进一步地，若将所述转发状态标识设置为0，将所述非转发标识设置为1，所述处理器103还执行以下步骤：

获取音频传输标识为0的通道的标识信息，并存储所述通道的标识信息。例如，若音频传输标识为0的通道有两个，这两个通道的标识信息为二进制符号00和01，则存储00和01这两个二进制符号，当这两个二进制符号对应的通道分别传送音频数据时，则将所述音频数据转发给除传送所述音频数据的其他通道。

在一个实施例中，所述处理器103还执行以下步骤：

对所述音频传输标识发生更新的通道对应的客户端，传输更新后的所述音频传输标识，使客户端根据更新后的音频传输标识传输FEC包。具体的，若所述更新后的音频传输标识为转发状态标识，则所述客户端向服务器发送FEC包；若所述更新后的音频传输标识为非转发状态标识，则所述客户端暂停向服务器发送FEC包。对音频传输状态更新为非转发状态标识的通道在传输音频数据丢包时，不再传输FEC包，对音频传输状态为转发状态标识的通道在传输音频数据丢包时传输FEC包，可以减少无用的FEC包发送和无用的FEC编码，以节省服务器和客户端的计算开销和带宽开销。进一步地，在本申请实施例中，通过TCP的方式对所述音频传输标识发生更新的通道对应的客户端，传输更新后的所述音频传输标识。

上述提供的音频处理设备可用于执行上述任意实施例提供的音频处理方法，具备相应的功能和有益效果。上述设备中各个组件的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种音频处理方法，其特征在于，包括如下步骤：

从与客户端对应的若干通道分别传输的音频数据中，确定出符合转发条件的通道；

根据所述符合转发条件的通道，对各通道的音频传输标识进行更新；其中，所述音频传输标识包括转发状态标识和非转发状态标识；所述转发状态标识为所述通道传输的音频数据将转发给其他通道接收的状态；所述非转发状态标识为所述通道传输的音频数据将不会转发给其他通道接收的状态；

确定所述音频传输标识为转发状态标识的通道，在所述转发状态标识的通道发生丢包时，获取所述转发状态标识的通道传送的FEC包；

确定所述音频传输标识为非转发状态标识的通道，在所述非转发状态标识的通道发生丢包时，所述非转发状态标识的通道不传送FEC包。

2.根据权利要求1所述的音频处理方法，其特征在于，所述从若干通道分别传输的音频数据中，确定出符合转发条件的通道的步骤中，所述转发条件为所述音频数据的音量的平均值大小大于或等于预设值。

3.根据权利要求1所述的音频处理方法，其特征在于，根据所述符合转发条件的通道，对各通道对应的音频传输标识进行更新的步骤之后，还包括：

对所述音频传输标识发生更新的通道对应的客户端，传输更新后的所述音频传输标识。

4.根据权利要求1所述的音频处理方法，其特征在于，所述确定音频传输标识为转发状态标识的通道包的步骤，包括：

确定所述音频传输标识更新后为转发状态标识的通道，以及

确定所述音频传输标识未更新但为转发状态标识的通道。

5.一种音频处理装置，其特征在于，包括：

通道确定模块，用于从与客户端对应的若干通道分别传输的音频数据中，确定出符合转发条件的通道；

标识更新模块，用于根据符合转发条件的通道，对各通道的音频传输标识进行更新；其中，所述音频传输标识包括转发状态标识和非转发状态标识；所述转发状态标识为所述通道传输的音频数据将转发给其他通道接收的状态；所述非转发状态标识为所述通道传输的音频数据将不会转发给其他通道接收的状态；

FEC包接收模块，用于确定所述音频传输标识为转发状态标识的通道，在所述转发状态标识的通道发生丢包时，获取所述转发状态标识的通道传送的FEC包；确定所述音频传输标识为非转发状态标识的通道，在所述非转发状态标识的通道发生丢包时，所述非转发状态标识的通道不传送FEC包。

6.一种音频处理系统，其特征在于，包括：服务器，以及与服务器连接的多个客户端；

所述服务器被配置为从与客户端对应的若干通道分别传输的音频数据中，确定出符合转发条件的通道；根据符合转发条件的通道，对各通道对应的音频传输标识进行更新；其中，所述音频传输标识包括转发状态标识和非转发状态标识；所述转发状态标识为所述通道传输的音频数据将转发给其他通道接收的状态；所述非转发状态标识为所述通道传输的音频数据将不会转发给其他通道接收的状态；所述服务器还被配置为对音频传输标识发生更新的通道对应的客户端传输更新后的音频传输标识，并确定所述音频传输标识为转发状态标识的通道，在所述转发状态标识的通道发生丢包时，获取所述转发状态标识的通道传送的FEC包，确定所述音频传输标识为非转发状态标识的通道，在所述非转发状态标识的通道发生丢包时，所述非转发状态标识的通道不传送FEC包；

所述客户端被配置为根据更新后的所述音频传输标识向所述服务器传输FEC包。

7.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4中任意一项所述的音频处理方法的步骤。

8.一种音频处理设备，其特征在于，包括储存器，处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的音频处理方法的步骤。

Images