CN103702002B - 语音流的处理方法和装置 - Google Patents

Abstract

本发明提供一种语音流的处理方法和装置，该方法包括：在接收到多个语音流时，根据每个该语音流中的时间戳，按照从小到大的顺序，依次对该多个语音流进行排序；将排序队列中排序为1对应的语音流发送给参与电话会议的用户终端，并将排序队列中排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言。

Description

语音流的处理方法和装置

技术领域

本发明涉及通信技术，尤其涉及一种语音流的处理方法和装置。

背景技术

目前，在电话会议中，电话会议平台会将实时接收到的语音流进行混音合成，并将合成后的语音发送给参与该电话会议的参与方，这样，对于参与该电话会议的参与方来说，就像在一个真实的物理会议室开会一样。

另外，对于电话会议而言，与真实的物理会议室的区别在于，参与方无法观察其他参与方的神态表情和动作，从而造成了在同一时刻只有一个参与方在有效发言时，其他参与方也在该时刻同时发言，进而对有效发言的参与方对应的语音流形成干扰，进而影响该电话会议的整体通话质量。

发明内容

本发明提供一种语音流的处理方法和装置，用于解决现有技术中电话会议中同一时刻多个用户发言而造成的通话质量较差的问题。

本发明的第一个方面是提供一种语音流的处理方法，包括：

在接收到多个语音流时，根据每个所述语音流中的时间戳，按照从小到大的顺序，依次对所述多个语音流进行排序；

将排序队列中排序为1对应的语音流发送给参与电话会议的用户终端，并将所述排序队列中排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言。

本发明的另一个方面是提供一种语音流的处理装置，包括：

接收模块，用于接收多个语音流；

排序处理模块，用于根据每个所述语音流中的时间戳，按照从小到大的顺序，依次对所述多个语音流进行排序；

发送模块，用于将排序队列中排序为1对应的语音流发送给参与电话会议的用户终端，并将所述排序队列中排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言。

本发明的技术效果是：通过在接收到多个语音流时，根据每个语音流中的时间戳，按照从小到大的顺序，依次对多个语音流进行排序，将排序队列中排序为1对应的语音流发送给参与电话会议的用户终端，并将该排序队列中排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言，从而保证了在电话会议中，同一时刻只有一个用户发言，解决了现有技术中电话会议中同一时刻多个用户发言而造成的通话质量较差的问题。

附图说明

图1为本发明语音流的处理方法的一个实施例的流程图；

图2为本实施例中RTP报文的报文头格式的示意图；

图3为本发明语音流的处理方法的另一个实施例的流程图；

图4为本发明语音流的处理方法的又一个实施例的流程图；

图5为本发明语音流的处理装置的一个实施例的结构示意图；

图6为本发明语音流的处理装置的另一个实施例的结构示意图。

具体实施方式

图1为本发明语音流的处理方法的一个实施例的流程图，如图1所示，本实施例的执行主体为电话会议平台，则该方法包括：

步骤101、在接收到多个语音流时，根据每个该语音流中的时间戳，按照从小到大的顺序，依次对该多个语音流进行排序。

步骤102、将排序队列中排序为1对应的语音流发送给参与电话会议的用户终端，并将该排序队列中排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言。

在本实施例中，该语音流可以是实时传送协议（Real-time Transport Protocol；简称：RTP）报文形式，且时间戳可以携带在该RTP报文的报文头中，具体的，图2为本实施例中RTP报文的报文头格式的示意图，如图2所示，该时间戳可以占32位，用来反映该RTP报文的第一个八位组的采样时刻。

在本实施例中，通过在接收到多个语音流时，根据每个语音流中的时间戳，按照从小到大的顺序，依次对多个语音流进行排序，将排序队列中排序为1对应的语音流发送给参与电话会议的用户终端，并将该排序队列中排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言，再丢弃除排序为1的其他排序的序号对应的语音流，从而保证了在电话会议中，同一时刻只有一个用户发言，解决了现有技术中电话会议中同一时刻多个用户发言而造成的通话质量较差的问题。

图3为本发明语音流的处理方法的另一个实施例的流程图，在上述图1所示实施例的基础上，如图3所示，步骤102之后，该方法还可以包括：

步骤103、在发送排序队列中排序为i对应的语音流过程中，若持续N次接收到排序队列中排序为j对应的语音流中的时间戳间隔小于预设时间间隔值，且在预设时间内没有接收到排序队列中排序为i+1对应的语音流，则将该j与该i+1的顺序进行替换，并在完成排序为i对应的语音流的发送后，将该排序为j对应的语音流发送给参与该电话会议的用户的用户终端。

其中，该j大于该i+1，i，j和N为整数。

优选地，该方法还可以包括：

步骤104、分别根据该排序的序号生成对应的提示信息，并将该提示信息发送给对应的语音流所对应的用户终端，以供对应的用户终端所属的用户在接收到对应的提示信息后发言。

更为优选地，该方法还可以包括：

丢弃除排序为1的其他排序的序号对应的语音流；或者，

在将排序为1对应的语音流发送给参与电话会议的用户终端之后，将其他排序的序号对应的语音流，按照排序的序号从小到大的顺序依次发送给参与该电话会议的用户终端。

在本实施例中，举例来说，根据语音流中的时间戳，按照从小到大的顺序，依次对该语音流进行排序，其排序顺序可以依次为甲乙丙丁四个用户发送的语音流，则依据顺序，依次将甲乙丙丁四个用户发送的语音流发送给参与电话会议的用户（即甲乙丙丁）的终端。另外，在甲用户发言的过程中，即电话会议平台在发送该甲用户对应的语音流过程中，若持续N次接收到丙用户对应的语音流中的时间戳间隔小于预设时间间隔值，且在预设时间内没有接收到乙用户对应的语音流，则说明丙用户一直不停的要求发言，从而将丙用户对应的顺序与乙用户对应的顺序进行替换，并在甲用户完成发言后，进行丙用户发言，即将丙用户对应的语音流发送给参与甲乙丙丁用户。

图4为本发明语音流的处理方法的又一个实施例的流程图，在上述图1所示实施例的基础上，如图4所示，步骤102之后，该方法还可以包括：

步骤105、在发送该排序队列中排序为i对应的语音流过程中，若持续N次接收到第一语音流中的时间戳间隔小于预设时间间隔值，且在预设时间内没有接收到该排序队列中排序为i+1对应的语音流，则在该排序队列中的该排序为i和排序为i+1之间增加一个对应该第一语音流的排序的序号，并在完成排序为i对应的语音流的发送后，将该第一语音流发送给参与该电话会议的用户的用户终端。

其中，该第一语音流不是该排序队列中排序的序号对应的语音流；该i和N为整数。

在本实施例中，以参加该电话会议的用户有10个为例，初始时，在指定时间内接收到4个用户的语音流，则根据语音流中的时间戳，按照从小到大的顺序，依次对该语音流进行排序，并依次按照获取的排序队列中排序的序号发送对应的语音流；当在发送排序队列中的排序的序号2对应的语音流的过程中，若除上述4个的用户之外的其他用户也需要发言时，例如：持续N次接收到第一语音流（即其他用户中的一个用户发言）中的时间戳间隔小于预设时间间隔值，且在预设时间内没有接收到该排序队列中排序为3对应的语音流，则在该排序队列中的排序为2和排序为3之间增加一个排序的序号，并在完成排序为2对应的语音流发送之后，将该第一语音流发送给参与该电话会议的用户的用户终端。另外，在完成第一语音流的发送之后，若没有突发情况（即上述第一语音流或者排序为j对应的语音流的情况），则依次发送排序为3和4的语音流。

另外，优选地，该方法还可以包括：

若发送该排序队列中排序为i对应的语音流的过程中，若接收到第二语音流，则在该排序队列中最后一个排序的序号后面增加该第一语音流对应的排序的序号。

其中，该第二语音流接收的次数小于该N，或者，该第二语音流持续N次接收但该第二语音流中的时间戳大于预设时间间隔值。

在本实施例中，以参加该电话会议的用户有10个为例，初始时，在指定时间内接收到4个用户的语音流，则根据语音流中的时间戳，按照从小到大的顺序，依次对该语音流进行排序，并依次按照获取的排序队列中排序的序号发送对应的语音流；当在发送排序队列中的排序的序号2对应的语音流的过程中，若除上述4个的用户之外的其他用户也需要发言时，若其他用户对应的语音流接收的次数小于N，或者，持续N次接收但该语音流中的时间戳大于预设时间间隔值，则在该排序队列中最后一个排序的序号后面增加该语音流对应的排序的序号，即在排序队列中的排序为4的后面增加一个与该语音流对应的排序的序号，例如：5。

更为优选地，该方法还可以包括：

步骤106、分别根据该排序的序号生成对应的提示信息，并将该提示信息发送给对应的语音流所对应的用户终端，以供对应的用户终端所属的用户在接收到对应的提示信息后发言。

更为优选地，该方法还可以包括：

丢弃除排序为1的其他排序的序号对应的语音流；或者，

在将排序为1对应的语音流发送给参与电话会议的用户终端之后，将其他排序的序号对应的语音流，按照排序的序号从小到大的顺序依次发送给参与该电话会议的用户终端。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图5为本发明语音流的处理装置的一个实施例的结构示意图，如图5所示，本实施例的装置包括：接收模块11、排序处理模块12和发送模块13；其中，接收模块11用于接收多个语音流；排序处理模块12用于根据每个该语音流中的时间戳，按照从小到大的顺序，依次对该多个语音流进行排序；发送模块13用于将排序队列中排序为1对应的语音流发送给参与电话会议的用户终端，并将排序队列中排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言。

本实施例的语音流的处理装置可以执行图1所示方法实施例的技术方案，其实现原理相类似，此处不再赘述。

在本实施例中，通过在接收到多个语音流时，根据每个语音流中的时间戳，按照从小到大的顺序，依次对多个语音流进行排序，将排序队列中排序为1对应的语音流发送给参与电话会议的用户终端，并将排序队列中排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言，再丢弃除排序为1的其他排序的序号对应的语音流，从而保证了在电话会议中，同一时刻只有一个用户发言，解决了现有技术中电话会议中同一时刻多个用户发言而造成的通话质量较差的问题。

图6为本发明语音流的处理装置的另一个实施例的结构示意图，在上述图5所示实施例的基础上，如图6所示，排序处理模块12还用于在该发送模块13在发送排序队列中排序为i对应的语音流过程中，若持续N次该接收模块11接收到排序队列中排序为j对应的语音流中的时间戳间隔小于预设时间间隔值，且在预设时间内没有接收到排序队列中排序为i+1对应的语音流，则将该j与该i+1的顺序进行替换；该发送模块13还用于在完成排序为i对应的语音流的发送后，将该排序为j对应的语音流发送给参与该电话会议的用户的终端；其中，该j大于该i+1，i，j和N为整数。

或者，排序处理模块12还用于在该发送模块13在发送该排序队列中排序为i对应的语音流过程中，若持续N次该接收模块11接收到第一语音流中的时间戳间隔小于预设时间间隔值，且在预设时间内没有接收到该排序队列中排序为i+1对应的语音流，则在该排序队列中的该排序为i和排序为i+1之间增加一个对应该第一语音流的排序的序号；该发送模块13还用于在完成排序为i对应的语音流的发送后，将该第一语音流发送给参与该电话会议的用户的用户终端；其中，该第一语音流不是该排序队列中排序的序号对应的语音流；该i和N为整数。

或者，排序处理模块12还用于在该发送模块13在发送该排序队列中排序为i对应的语音流过程中，若该接收模块11接收到第二语音流，则在该排序队列中最后一个排序的序号后面增加该第一语音流对应的排序的序号；其中，该第二语音流接收的次数小于该N，或者，该第二语音流持续N次接收但该第二语音流中的时间戳大于预设时间间隔值。

优选地，该装置还可以包括：生成模块14用于分别根据该排序的序号生成对应的提示信息；该发送模块13还用于将该提示信息发送给对应的语音流所对应的用户终端，以供对应的用户终端所属的用户在接收到对应的提示信息后发言。

更为优选地，该装置还可以包括：丢弃模块15用于丢弃除排序为1的其他排序的序号对应的语音流。

或者，发送模块13还用于在将排序为1对应的语音流发送给参与电话会议的用户终端之后，将其他排序的序号对应的语音流，按照排序的序号从小到大的顺序依次发送给参与该电话会议的用户终端。

本实施例的语音流的处理装置可以执行图3所示方法实施例的技术方案，其实现原理相类似，此处不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种语音流的处理方法，其特征在于，包括：

在接收到多个语音流时，根据每个所述语音流中的时间戳，按照从小到大的顺序，依次对所述多个语音流进行排序；

将排序队列中排序为1对应的语音流发送给参与电话会议的用户终端，并将所述排序队列中排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言；

所述方法还包括：在发送所述排序队列中排序为i对应的语音流过程中，若持续N次接收到所述排序队列中排序为j对应的语音流中的时间戳间隔小于预设时间间隔值，且在预设时间内没有接收到所述排序队列中排序为i+1对应的语音流，则将所述j与所述i+1的顺序进行替换，并在完成排序为i对应的语音流的发送后，将所述排序为j对应的语音流发送给参与所述电话会议的用户的用户终端；其中，所述j大于所述i+1，i，j和N为整数；

所述方法还包括：在发送所述排序队列中排序为i对应的语音流过程中，若持续N次接收到第一语音流中的时间戳间隔小于预设时间间隔值，且在预设时间内没有接收到所述排序队列中排序为i+1对应的语音流，则在所述排序队列中的所述排序为i和排序为i+1之间增加一个对应所述第一语音流的排序的序号，并在完成排序为i对应的语音流的发送后，将所述第一语音流发送给参与所述电话会议的用户的用户终端；其中，所述第一语音流不是所述排序队列中排序的序号对应的语音流。

2.根据权利要求1所述的方法，其特征在于，还包括：

若发送所述排序队列中排序为i对应的语音流的过程中，若接收到第二语音流，则在所述排序队列中最后一个排序的序号后面增加所述第一语音流对应的排序的序号；

其中，所述第二语音流接收的次数小于所述N，或者，所述第二语音流持续N次接收但所述第二语音流中的时间戳大于预设时间间隔值。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

分别根据所述排序的序号生成对应的提示信息，并将所述提示信息发送给对应的语音流所对应的用户终端，以供对应的用户终端所属的用户在接收到对应的提示信息后发言。

4.根据权利要求1所述的方法，其特征在于，在所述将排序为1对应的语音流发送给参与电话会议的用户终端，并将排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言之后，所述方法还包括：

丢弃除排序为1的其他排序的序号对应的语音流；或者，

在将排序为1对应的语音流发送给参与电话会议的用户终端之后，将其他排序的序号对应的语音流，按照排序的序号从小到大的顺序依次发送给参与所述电话会议的用户终端。

5.一种语音流的处理装置，其特征在于，包括：

接收模块，用于接收多个语音流；

排序处理模块，用于根据每个所述语音流中的时间戳，按照从小到大的顺序，依次对所述多个语音流进行排序；

发送模块，用于将排序队列中排序为1对应的语音流发送给参与电话会议的用户终端，并将所述排序队列中排序的序号分别发送给排序的序号对应的语音流所对应的用户终端，以供对应的用户终端所属的用户按照接收到的排序的序号进行发言；

所述排序处理模块还用于在所述发送模块在发送所述排序队列中排序为i对应的语音流过程中，若持续N次所述接收模块接收到所述排序队列中排序为j对应的语音流中的时间戳间隔小于预设时间间隔值，且在预设时间内没有接收到所述排序队列中排序为i+1对应的语音流，则将所述j与所述i+1的顺序进行替换；所述发送模块还用于在完成排序为i对应的语音流的发送后，将所述排序为j对应的语音流发送给参与所述电话会议的用户的用户终端；其中，所述j大于所述i+1，i，j和N为整数；

所述排序处理模块还用于在所述发送模块在发送所述排序队列中排序为i对应的语音流过程中，若持续N次所述接收模块接收到第一语音流中的时间戳间隔小于预设时间间隔值，且在预设时间内没有接收到所述排序队列中排序为i+1对应的语音流，则在所述排序队列中的所述排序为i和排序为i+1之间增加一个对应所述第一语音流的排序的序号；所述发送模块还用于在完成排序为i对应的语音流的发送后，将所述第一语音流发送给参与所述电话会议的用户的用户终端；其中，所述第一语音流不是所述排序队列中排序的序号对应的语音流。

6.根据权利要求5所述的装置，其特征在于，所述排序处理模块还用于在所述发送模块在发送所述排序队列中排序为i对应的语音流过程中，若所述接收模块接收到第二语音流，则在所述排序队列中最后一个排序的序号后面增加所述第一语音流对应的排序的序号；

其中，所述第二语音流接收的次数小于所述N，或者，所述第二语音流持续N次接收但所述第二语音流中的时间戳大于预设时间间隔值。

7.根据权利要求5或6所述的装置，其特征在于，还包括：

生成模块，用于分别根据所述排序处理模块处理的排序的序号生成对应的提示信息；

所述发送模块还用于将所述提示信息发送给对应的语音流所对应的用户终端，以供对应的用户终端所属的用户在接收到对应的提示信息后发言。

8.根据权利要求5所述的装置，其特征在于，还包括：

丢弃模块，用于丢弃除排序为1的其他排序的序号对应的语音流；或者，

所述发送模块还用于在将排序为1对应的语音流发送给参与电话会议的用户终端之后，将其他排序的序号对应的语音流，按照排序的序号从小到大的顺序依次发送给参与所述电话会议的用户终端。