CN104009991B - 音频通信系统和方法 - Google Patents

音频通信系统和方法 Download PDF

Info

Publication number
CN104009991B
CN104009991B CN201410232056.XA CN201410232056A CN104009991B CN 104009991 B CN104009991 B CN 104009991B CN 201410232056 A CN201410232056 A CN 201410232056A CN 104009991 B CN104009991 B CN 104009991B
Authority
CN
China
Prior art keywords
audio
server
terminal
media server
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410232056.XA
Other languages
English (en)
Other versions
CN104009991A (zh
Inventor
巩吉璋
李宜达
郭稷
蒋德为
胡建强
郭海宇
穆战松
曹小飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201410232056.XA priority Critical patent/CN104009991B/zh
Publication of CN104009991A publication Critical patent/CN104009991A/zh
Application granted granted Critical
Publication of CN104009991B publication Critical patent/CN104009991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种音频通信系统和方法,属于网络技术领域。该音频通信系统包括:第一媒体服务器、多个第二媒体服务器、多个混音服务器,多个第二媒体服务器用于当接收到音频流时,向第一媒体服务器发送音频流;第一媒体服务器用于当接收到多路音频流时,从多个混音服务器中选择指定的混音服务器,向指定的混音服务器发送多路音频流;指定的混音服务器用于对多路音频流进行混音处理,得到指定音频流,发送给第一媒体服务器;第一媒体服务器还用于向接收终端发送指定音频流,使得接收终端对指定音频流进行解码,得到音频数据。本发明配置多个用于进行混音处理的混音服务器,分担媒体服务器的处理压力,避免了对处理性能的影响,提高了音频通信质量。

Description

音频通信系统和方法
技术领域
本发明涉及网络技术领域,特别涉及一种音频通信系统和方法。
背景技术
随着移动通信技术和互联网技术的发展,音频通信的应用越来越广泛,不仅两个终端之间可以进行音频通信,两个以上的终端之间也可以进行音频通信。
将该两个以上的终端中的一个终端作为接收终端,其他的终端即为该接收终端对应的发送终端,在多个发送终端与该接收终端进行音频通信时,该多个发送终端分别将音频流发送给媒体服务器,该媒体服务器接收到多路音频流时,分别对该多路音频流进行解码,得到多个音频数据,将多个音频数据进行混音,得到混音数据,对该混音数据进行编码后,发送给该接收终端,该接收终端接收到编码后的混音数据时,进行解码后即可得到该混音数据。
其中,混音是指将不同来源的声音予以混合,整合至一个音轨的过程,将该多个音频数据进行混音时,可以将该多路音频流对应的声音混合到一个音轨中,使得后续该接收终端播放该混音数据时,该接收终端用户可以在同一音轨中听到多个发送终端用户的声音。
该媒体服务器用于多路音频流的接收、解码、混音、编码和发送,当该媒体服务器同时处理多个音频通信过程时,处理压力很大,容易影响该媒体服务器的处理性能。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种音频通信系统和方法。所述技术方案如下:
第一方面,提供了一种音频通信系统,所述音频通信系统包括:第一媒体服务器、多个第二媒体服务器、多个混音服务器,
所述多个第二媒体服务器用于当接收到关联的发送终端发送的音频流时,向所述第一媒体服务器发送所述音频流;
所述第一媒体服务器用于当接收到多个第二媒体服务器发送的多路音频流时,从多个混音服务器中,选择指定的混音服务器;
所述第一媒体服务器还用于向所述指定的混音服务器发送所述多路音频流;
所述指定的混音服务器用于当接收到所述多路音频流时,对所述多路音频流进行混音处理,得到指定音频流,发送给所述第一媒体服务器;
所述第一媒体服务器还用于当接收到所述指定音频流时,向关联的接收终端发送所述指定音频流,使得所述接收终端对所述指定音频流进行解码,得到音频数据。
第二方面,提供了一种音频通信方法,所述方法包括:
当多个第二媒体服务器接收到关联的发送终端发送的音频流时,向第一媒体服务器发送所述音频流;
当所述第一媒体服务器接收到所述多个第二媒体服务器发送的多路音频流时,从多个混音服务器中,选择指定的混音服务器;
所述第一媒体服务器向所述指定的混音服务器发送所述多路音频流;
当所述指定的混音服务器接收到所述多路音频流时,对所述多路音频流进行混音处理,得到指定音频流;
所述指定的混音服务器向所述第一媒体服务器发送所述指定音频流;
当所述第一媒体服务器接收到所述指定音频流时,向关联的接收终端发送所述指定音频流,使得所述接收终端对所述指定音频流进行解码,得到音频数据。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供的系统和方法,通过在音频通信系统中,配置多个用于进行混音处理的混音服务器,在多个终端进行音频通信时,第一媒体服务器从多个混音服务器中选择该指定的混音服务器,由该指定的混音服务器对多路音频流进行混音处理,以多个混音服务器分担媒体服务器的处理压力,避免了对混音服务器和媒体服务器的处理性能的影响,提高了音频通信质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种音频通信系统结构示意图;
图2是本发明实施例提供的一种音频通信方法的流程图;
图3是本发明实施例提供的一种音频通信方法的流程图;
图4是本发明实施例提供的一种音频通信系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例提供的一种音频通信系统结构示意图,参见图1,该音频通信系统包括多个终端、多个媒体服务器以及多个混音服务器。终端与该终端登录的媒体服务器之间通过网络连接,该多个媒体服务器与该多个混音服务器之间通过网络连接。进一步地,该多个媒体服务器可以构成分布式媒体服务器集群,该多个混音服务器可以构成分布式混音服务器集群,该分布式媒体服务器集群与该分布式混音服务器集群之间通过网络连接。
对于进行音频通信的多个终端,可以将其中一个终端作为接收终端,该接收终端登录的媒体服务器作为第一媒体服务器,其他终端作为发送终端,该发送终端登录的媒体服务器作为第二媒体服务器,则该第二媒体服务器与该发送终端关联,该第二媒体服务器用于接收该发送终端发送的音频流、向该发送终端指定的接收终端关联的第一媒体服务器发送接收到的音频流。
该第一媒体服务器与该接收终端关联,该第一媒体服务器用于接收第二媒体服务器发送的音频流、从多个混音服务器中选择指定的混音服务器、向指定的混音服务器发送接收到的音频流、接收指定的混音服务器返回的指定音频流、向该接收终端发送该指定音频流。另外,该媒体服务器还用于存储该接收终端的地址信息,根据该地址信息,向该接收终端发送该指定音频流。
该指定的混音服务器用于当接收到第一媒体服务器发送的音频流时,对该音频流进行混音处理,得到指定音频流,再将该指定音频流返回给该第一媒体服务器。
在该接收终端与多个发送终端进行音频通信时,该多个发送终端分别向该多个发送终端登录的第二媒体服务器发送单路音频流,每个第二媒体服务器在接收到单路音频流时,发送给该第一媒体服务器,该第一媒体服务器接收到多个第二媒体服务器发送的多路音频流时,从该多个混音服务器中,选择指定的混音服务器,向该指定的混音服务器发送该多路音频流,该指定的混音服务器接收到该多路音频流时,对该多路音频流进行混音处理,得到指定音频流,将该指定音频流发送给该第一媒体服务器,当该第一媒体服务器接收到该指定音频流时,发送给该接收终端,该接收终端接收到该指定音频流时,对该指定音频流进行解码,得到音频数据,实现了该接收终端与该多个发送终端之间的音频通信。
图2是本发明实施例提供的一种音频通信方法的流程图,参见图2,该方法包括:
201、当多个第二媒体服务器接收到关联的发送终端发送的音频流时,向第一媒体服务器发送该音频流。
202、当该第一媒体服务器接收到该多个第二媒体服务器发送的多路音频流时,从多个混音服务器中,选择指定的混音服务器。
203、该第一媒体服务器向该指定的混音服务器发送该多路音频流。
204、当该指定的混音服务器接收到该多路音频流时,对该多路音频流进行混音处理,得到指定音频流。
205、该指定的混音服务器向该第一媒体服务器发送该指定音频流。
206、当该第一媒体服务器接收到该指定音频流时,向关联的接收终端发送该指定音频流,使得该接收终端对该指定音频流进行解码,得到音频数据。
本发明实施例提供的方法,通过在音频通信系统中,配置多个用于进行混音处理的混音服务器,在多个终端进行音频通信时,第一媒体服务器从多个混音服务器中选择该指定的混音服务器,由该指定的混音服务器对多路音频流进行混音处理,以多个混音服务器分担媒体服务器的处理压力,避免了对混音服务器和媒体服务器的处理性能的影响,提高了音频通信质量。
可选地,该当第一媒体服务器接收到多个第二媒体服务器发送的多路音频流时,从多个混音服务器中,选择指定的混音服务器包括:
每个混音服务器按照第二预设周期,统计当前负载终端的数目,该当前负载终端包括正在进行音频通信的发送终端和接收终端;
每个混音服务器向该第一媒体服务器发送当前负载终端的数目;
该第一媒体服务器接收每个混音服务器的当前负载终端的数目;
当该第一媒体服务器接收到该多路音频流时,从该多个混音服务器中,选择当前负载终端的数目最小的混音服务器,作为该指定的混音服务器。
可选地,该方法还包括:
当该第一媒体服务器接收到该指定音频流时,将该指定音频流录制为音频文件。
可选地,该当指定的混音服务器接收到该多路音频流时,对该多路音频流进行混音处理,得到指定音频流包括:
当该指定的混音服务器接收到该多路音频流时,对该多路音频流进行解码,得到多路第一音频数据;
该指定的混音服务器对该多路第一音频数据进行混音,得到第二音频数据;
该指定的混音服务器对该第二音频数据进行编码,得到该指定音频流。
可选地,该当该指定的混音服务器接收到该多路音频流时,对该多路音频流进行解码,得到多路第一音频数据之前,该方法还包括:
该指定的混音服务器为该接收终端分配一个存储区域;
该指定的混音服务器确定该接收终端对应的多个发送终端;
该指定的混音服务器在该存储区域中,为该接收终端对应的每个发送终端分配一个缓冲区域。
可选地,该当该指定的混音服务器接收到该多路音频流时,对该多路音频流进行解码,得到多路第一音频数据包括:
当该指定的混音服务器接收到该多路音频流时,确定该多路音频流对应的多个发送终端的缓冲区域;
该指定的混音服务器将每一路音频流对应的音频数据包存储在对应的缓冲区域中;
该指定的混音服务器按照第一预设周期,从该接收终端的存储区域包括的多个缓冲区域中,获取多个音频数据包,对该多个音频数据包进行解码,得到该多路第一音频数据。
可选地,该第一预设周期与该多个发送终端向该多个第二媒体服务器发送音频流的周期相等。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
图3是本发明实施例提供的一种音频通信方法的流程图。该发明实施例的交互主体为接收终端、发送终端、第一媒体服务器、第二媒体服务器和指定的混音服务器,参见图3,该方法包括:
301、多个发送终端分别向该多个发送终端登录的第二媒体服务器发送音频流。
在本发明实施例中,一个终端登录一个媒体服务器,则该媒体服务器与该终端关联,可以与该终端进行信息交互。不同的终端可以登录不同的媒体服务器,也可以登录相同的媒体服务器,如为每个媒体服务器分配对应的地理区域,位于同一地理区域内的终端登录同一媒体服务器。进一步地,音频通信系统中包括多个终端以及分布式媒体服务器集群,该分布式媒体服务器集群中包括多个媒体服务器,且媒体服务器可以任意扩展,本发明实施例对该音频通信系统中的终端和媒体服务器的数目不做限定。
对于进行音频通信的多个终端,将其中一个终端作为接收终端,该接收终端登录的媒体服务器作为第一媒体服务器,其他终端作为发送终端,该发送终端登录的媒体服务器作为第二媒体服务器,则该多个发送终端中的每个发送终端获取音频流,向登录的第二媒体服务器发送获取到的音频流。
302、每个第二媒体服务器在接收到音频流时,将该音频流发送给该第一媒体服务器。
在本发明实施例中,对于每个第二媒体服务器,当该第二媒体服务器接收到音频流时,确定该接收终端登录的第二媒体服务器,向该第二媒体服务器发送该音频流。其中,该发送终端可以在发送该音频流之前或者发送该音频流的同时,向该第二媒体服务器发送至少一个接收终端的标识,当该第二媒体服务器接收到该至少一个接收终端的标识时,即可确定该至少一个接收终端,从而确定至少一个第一媒体服务器。其中,终端的标识可以为设备编号或者所使用的用户账号等,本发明实施例对此不做限定。
在实际应用过程中,在该步骤302之前,该多个终端中的任一终端可以主动发起对其他终端的音频通信。具体地,发起终端向该发起终端登录的发起媒体服务器发送音频通信请求,该音频通信请求携带至少一个对端终端的标识,当该发起媒体服务器接收到该音频通信请求时,根据该至少一个对端终端的标识,确定该至少一个对端终端登录的至少一个对端媒体服务器,向该至少一个对端媒体服务器发送该音频通信请求,当该发起媒体服务器接收到该至少一个对端媒体服务器的确认消息时,建立该发起媒体服务器与该至少一个对端媒体服务器的音频通信会议。那么,在后续过程中,当任一媒体服务器接收到关联的终端发送的音频流时,将该音频流发送给该音频通信会议中的其他媒体服务器。
举例来说,终端a1登录媒体服务器A2、终端b1登录媒体服务器B2、终端c1登录媒体服务器C2,对于终端a1和终端b1要发送给终端c1的音频流来说,终端c1为接收终端,终端a1和终端b1为发送终端,终端a1获取到音频流1时,将音频流1发送给媒体服务器A2,媒体服务器A2接收到音频流1时发送给媒体服务器C2,终端b1获取到音频流2时,将音频流2发送给媒体服务器B2,媒体服务器B2接收到音频流2时,也发送给媒体服务器C2。
需要说明的是,本发明实施例以多个发送终端与一个接收终端的音频通信过程为例进行说明,而实际上,在多个终端进行音频通信的过程中,一个发送终端对应多个接收终端,该第二媒体服务器在接收到该音频流时,可以确定多个第二媒体服务器,向该多个第二媒体服务器发送该音频流。例如终端a1、终端b1和终端c1进行音频通信的过程中,终端a1发送的音频流会发送给终端b1和终端c1,即终端b1和终端c1都是终端a1的发送终端。本发明实施例从接收终端的角度出发,仅关注于一个接收终端与多个发送终端之间的音频通信过程,而一个发送终端与多个接收终端之间的音频通信过程与此同理,在此不再赘述。
303、当该第一媒体服务器接收到该多个第二媒体服务器发送的多路音频流时,从多个混音服务器中,选择指定的混音服务器。
在本发明实施例中,当多个第二媒体服务器向该第一媒体服务器发送音频流时,该第一媒体服务器接收到多路音频流,此时需要对该多路音频流进行混音处理。
该音频通信系统中包括分布式混音服务器集群,该分布式混音服务器集群中包括多个混音服务器,该多个混音服务器采用分布式架构,均可用于对音频通信过程进行混音处理。且,该分布式混音服务器集群中的混音服务器可以任意扩展,提高了网络容量。当该第一媒体服务器接收到该多路音频流时,可以从该多个混音服务器中选择一个混音服务器,作为指定的混音服务器,由该指定的混音服务器对该多路音频流进行混音处理。
可选地,该第一媒体服务器获取每个混音服务器的当前负载终端的数目,从该多个混音服务器中,选择当前负载终端的数目最小的混音服务器,作为该指定的混音服务器。其中,混音服务器的当前负载终端包括该混音服务器正在进行混音处理的音频通信过程所对应的发送终端和接收终端。以混音服务器的当前负载终端的数目衡量该混音服务器当前的处理能力,可以认为混音服务器的当前负载终端的数目越小,该混音服务器的处理能力越强。因此,当该第一媒体服务器接收到该多路音频流时,从该多个混音服务器中,选择当前负载终端的数目最小的混音服务器,作为该指定的混音服务器。
相应的,每个混音服务器可以按照第二预设周期,统计当前负载终端的数目,并向该第一媒体服务器发送统计的数目,使得该第一媒体服务器可以获知每个混音服务器的当前负载终端的数目。进一步地,在实际应用过程中,每个混音服务器可以广播统计的当前负载终端的数目,使得每个媒体服务器都可以获知每个混音服务器的当前负载终端的数目,一旦一个媒体服务器接收到多路音频流时,即可根据每个混音服务器当前负载终端的数目,从该多个混音服务器中,选择当前负载终端的数目最小的混音服务器,作为该指定的混音服务器。其中,该第二预设周期可以由技术人员在开发时确定,或者在使用过程中根据当前的网络状况确定,本发明实施例对此不做限定。
本发明实施例采用了N-N多点部署方式,该分布式媒体服务器集群与该分布式混音服务器集群之间通过网络连接,多个媒体服务器与多个混音服务器相互配合,能够为多个音频通信过程进行混音处理,分担了媒体服务器的处理压力,避免了对媒体服务器和混音服务器的处理性能的影响。
304、该第一媒体服务器向该指定的混音服务器发送该多路音频流。为了对该多路音频流进行混音处理,该第一媒体服务器向该指定的混音服务器发送该多路音频流。
与由媒体服务器对多路音频流进行混音处理不同,在本发明实施例中,由多个混音服务器分别对多个多路音频流进行混音处理,以多个混音服务器分担媒体服务器的处理压力,避免了对混音服务器和媒体服务器的处理性能的影响。
基于步骤302的举例,媒体服务器C2接收到音频流1和音频流2时,即接收到多路音频流,则媒体服务器C2从多个混音服务器中,选择当前负载终端的数目最小的混音服务器D2,向混音服务器D2发送该多路音频流。
305、当指定的混音服务器接收到该多路音频流时,对该多路音频流进行解码,得到多路第一音频数据,对该多路第一音频数据进行混音,得到第二音频数据,对该第二音频数据进行编码,得到该指定音频流。
在本发明实施例中,当该指定的混音服务器接收到该多路音频流时,通过进行解码、混音和编码,对该多路音频流进行混音处理,得到指定音频流。
在进行音频通信的过程中,可能会由于网络状况不稳定导致音频流发生抖动,影响通信质量。而为了防止抖动,该指定的混音服务器接收到该多路音频流时,可以不立即对该多路音频流进行解码,而是将该多路音频流缓存一段时间后再进行解码。
具体地,该指定的混音服务器为该接收终端分配一个存储区域,确定该接收终端对应的多个发送终端,在该存储区域中,为该接收终端对应的每个发送终端分配一个缓冲区域。其中,该存储区域用于存储该接收终端的信息,如接收终端的标识、接收终端登录的第一媒体服务器的地址信息等等,本发明实施例对此不做限定。该缓冲区域用于存储对应的发送终端发送的音频流中的音频数据包,可以为JitterBuffer(抖动缓冲器),本发明实施例对此不做限定。
相应的,当指定的混音服务器接收到该多路音频流时,对该多路音频流进行解码,得到多路第一音频数据包括:当该指定的混音服务器接收到该多路音频流时,确定该多路音频流对应的多个发送终端的缓冲区域,将每一路音频流对应的音频数据包存储在对应的缓冲区域中,再按照第一预设周期,从该接收终端的存储区域包括的多个缓冲区域中,获取多个音频数据包,对该多个音频数据包进行解码,得到该多路第一音频数据。其中,该指定的混音服务器可以设定定时器,每隔该第一预设周期,该指定的混音服务器从该多个缓冲区域中获取多个音频数据包。另外,该指定的混音服务器可以从该接收终端的存储区域中获取该接收终端登录的第一媒体服务器的地址信息,以便在得到该指定音频流时,根据该地址信息,将该指定音频流发送给该第一媒体服务器,保证了指定音频流能够正确回传。
本发明实施例以一个接收终端为例进行说明,而对于多个接收终端来说,该指定的混音服务器可以为每个接收终端分配独立的存储区域,保证不同多路音频流的音频数据包之间互不干扰。则该指定的混音服务器每隔该第一预设周期,遍历每个接收终端的存储区域,从每个存储区域包括的多个缓冲区域中,获取多个音频数据包。
基于步骤304的举例,混音服务器D为终端a1分配存储区域1,在存储区域1中为终端b1和终端c1分配缓冲区域1-1和1-2,同样地,混音服务器D2为终端b1分配存储区域2,在存储区域2中为终端a1和终端c1分配缓冲区域2-1和2-2,还为终端c1分配存储区域3,在存储区域3中为终端a1和终端b1分配缓冲区域3-1和3-2。
其中,该第一预设周期可以由技术人员在开发时设定,而在实际应用过程中,该发送终端也按照周期发送音频流,则可以设定该第一预设周期与该发送终端发送音频流的周期相等,以避免音频流出现中断。
需要说明的是,本发明实施例以该指定的混音服务器在接收到该多路音频流之前,预先为多个发送终端分配缓冲区域为例进行说明,而实际上,该指定的混音服务器可以先为该接收终端分配一个存储区域,当该指定的混音服务器接收到该多路音频流时,确定该多路音频流对应的多个发送终端,再为该多个发送终端分配缓冲区域,将每一路音频流对应的音频数据包存储在对应的缓冲区域中,本发明实施例对此不做限定。
可选地,为了保证存储区域的利用率,该方法还包括:当该第一媒体服务器或者多个第二媒体服务器中的任一媒体服务器接收到关闭音频通信的请求时,向该指定的混音服务器发送关闭音频通信请求,该指定的混音服务器接收到该关闭音频通信请求时,回收分配的每个存储区域,以及每个存储区域中的多个缓冲区域,以便后续将空余的存储区域分配给其他的接收终端。
另外,该指定的混音服务器可以采用预设混音算法,对该多路第一音频数据进行混音,得到第二音频数据,该预设混音算法可以由技术人员预先设定或者在使用过程中进行更换,本发明实施例对此不做限定。
306、该指定的混音服务器向该第一媒体服务器发送该指定音频流。
307、当该第一媒体服务器接收到该指定音频流时,将该指定音频流发送给接收终端。
另外,当该第一媒体服务器接收到该指定音频流时,还可以将该指定音频流录制为音频文件,保存在该第一媒体服务器。该第一媒体服务器可以在每次接收到指定音频流时进行录制,以便该接收终端在该第一媒体服务器中查询每次录制的音频文件。
308、当该接收终端接收到该指定音频流时,对该指定音频流进行解码,得到音频数据,播放该音频数据。
在本发明实施例中,该指定的混音服务器得到该指定音频流时,向该第一媒体服务器发送该指定音频流,该第一媒体服务器再将该指定音频流转发给该接收终端,该接收终端接收到该指定音频流时,进行解码后即可得到音频数据,实现了该多个发送终端与该接收终端之间的音频通信,该接收终端得到该音频数据时可以播放该音频数据,使得该接收终端用户可以收听该音频数据。
基于步骤304的举例,混音服务器D2对该多路音频流进行混音处理后,得到指定音频流,向媒体服务器C2发送该指定音频流,媒体服务器接收到该指定音频流时,向终端c1发送该指定音频流,终端c1接收到该指定音频流时,进行解码后播放。
本发明实施例提供的方法,通过在音频通信系统中,配置多个用于进行混音处理的混音服务器,在多个终端进行音频通信时,第一媒体服务器从多个混音服务器中选择该指定的混音服务器,由该指定的混音服务器对多路音频流进行混音处理,以多个混音服务器分担媒体服务器的处理压力,避免了对混音服务器和媒体服务器的处理性能的影响。进一步地,该指定的混音服务器为接收终端分配存储区域,在该存储区域中为多个发送终端分配缓冲区域,当该指定的混音服务器接收到该多路音频流时,将每一路音频流对应的音频数据包存储在对应的缓冲区域中,按照第一预设周期,从该接收终端的存储区域包括的多个缓冲区域中,获取多个音频数据包,对该多个音频数据包进行解码,且该第一预设周期与发送终端发送音频流的周期相等,避免了由于网络状态不稳定而造成的音频抖动,避免了音频流出现中断,提高了音频通信质量。
图4是本发明实施例提供的一种音频通信系统结构示意图,参见图4,所述音频通信系统包括:第一媒体服务器401、多个第二媒体服务器402、多个混音服务器403,
该多个第二媒体服务器402用于当接收到关联的发送终端发送的音频流时,向该第一媒体服务器401发送所述音频流;
该第一媒体服务器401用于当接收到多个第二媒体服务器402发送的多路音频流时,从多个混音服务器403中,选择指定的混音服务器403;
该第一媒体服务器401还用于向该指定的混音服务器403发送该多路音频流;
该指定的混音服务器403用于当接收到该多路音频流时,对该多路音频流进行混音处理,得到指定音频流,发送给该第一媒体服务器401。
该第一媒体服务器401还用于当接收到该指定音频流时,向关联的接收终端发送该指定音频流,使得该接收终端对该指定音频流进行解码,得到音频数据。
本发明实施例提供的系统,通过在音频通信系统中,配置多个用于进行混音处理的混音服务器,在多个终端进行音频通信时,第一媒体服务器从多个混音服务器中选择该指定的混音服务器,由该指定的混音服务器对多路音频流进行混音处理,以多个混音服务器分担媒体服务器的处理压力,避免了对混音服务器和媒体服务器的处理性能的影响,提高了音频通信质量。
可选地,该混音服务器403包括:
数目统计模块,用于按照第二预设周期,统计当前负载终端的数目,该当前负载终端包括正在进行音频通信的发送终端和接收终端;
数目发送模块,用于向该第一媒体服务器401发送当前负载终端的数目;
相应的,该第一媒体服务器401包括:
数目接收模块,用于接收每个混音服务器403的当前负载终端的数目;
选择模块,用于当接收到该多路音频流时,从该多个混音服务器403中,选择当前负载终端的数目最小的混音服务器403,作为该指定的混音服务器403。
可选地,该第一媒体服务器401还用于当接收到该指定音频流时,将该指定音频流录制为音频文件。
可选地,该指定的混音服务器403包括:
解码模块,用于当接收到该多路音频流时,对该多路音频流进行解码,得到多路第一音频数据;
混音模块,用于对该多路第一音频数据进行混音,得到第二音频数据;
编码模块,用于对该第二音频数据进行编码,得到该指定音频流。
可选地,该指定的混音服务器403还包括:
第一分配模块,用于为该接收终端分配一个存储区域;
发送终端确定模块,用于确定该接收终端对应的多个发送终端;
第二分配模块,用于在该存储区域中,为该接收终端对应的每个发送终端分配一个缓冲区域。
可选地,该解码模块用于当接收到该多路音频流时,确定该多路音频流对应的多个发送终端的缓冲区域;将每一路音频流对应的音频数据包存储在对应的缓冲区域中;按照第一预设周期,从该接收终端的存储区域包括的多个缓冲区域中,获取多个音频数据包,对该多个音频数据包进行解码,得到该多路第一音频数据。
可选地,该第一预设周期与该多个发送终端向该多个第二媒体服务器402发送音频流的周期相等。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种音频通信系统,其特征在于,所述音频通信系统包括:第一媒体服务器、多个第二媒体服务器、多个混音服务器,
所述多个第二媒体服务器用于当接收到关联的发送终端发送的音频流时,向所述第一媒体服务器发送所述音频流;
所述第一媒体服务器用于当接收到所述多个第二媒体服务器发送的多路音频流时,从所述多个混音服务器中,选择指定的混音服务器;
所述第一媒体服务器还用于向所述指定的混音服务器发送所述多路音频流;
所述指定的混音服务器用于当接收到所述多路音频流时,对所述多路音频流进行混音处理,得到指定音频流,发送给所述第一媒体服务器;
所述第一媒体服务器还用于当接收到所述指定音频流时,向关联的接收终端发送所述指定音频流,使得所述接收终端对所述指定音频流进行解码,得到音频数据;
所述指定的混音服务器包括:
第一分配模块,用于为所述接收终端分配一个存储区域;
发送终端确定模块,用于确定所述接收终端对应的多个发送终端;
第二分配模块,用于在所述存储区域中,为所述接收终端对应的每个发送终端分配一个缓冲区域;
解码模块,用于当接收到所述多路音频流时,确定所述多路音频流对应的多个发送终端的缓冲区域;将每一路音频流对应的音频数据包存储在对应的缓冲区域中;按照第一预设周期,从所述接收终端的存储区域包括的多个缓冲区域中,获取多个音频数据包,对所述多个音频数据包进行解码,得到多路第一音频数据;
混音模块,用于对所述多路第一音频数据进行混音,得到第二音频数据;
编码模块,用于对所述第二音频数据进行编码,得到所述指定音频流;
所述混音服务器包括:
数目统计模块,用于按照第二预设周期,统计当前负载终端的数目,所述当前负载终端包括正在进行音频通信的发送终端和接收终端;
数目发送模块,用于向所述第一媒体服务器发送所述当前负载终端的数目;
相应的,所述第一媒体服务器包括:
数目接收模块,用于接收每个混音服务器的当前负载终端的数目;
选择模块,用于当接收到所述多路音频流时,从所述多个混音服务器中,选择当前负载终端的数目最小的混音服务器,作为所述指定的混音服务器。
2.根据权利要求1所述的系统,其特征在于,所述第一媒体服务器还用于当接收到所述指定音频流时,将所述指定音频流录制为音频文件。
3.根据权利要求1所述的系统,其特征在于,所述第一预设周期与所述多个发送终端向所述多个第二媒体服务器发送音频流的周期相等。
4.一种音频通信方法,其特征在于,所述方法包括:
多个混音服务器中的每个混音服务器按照第二预设周期,统计当前负载终端的数目,所述当前负载终端包括正在进行音频通信的发送终端和接收终端;
每个混音服务器向第一媒体服务器发送当前负载终端的数目;
所述第一媒体服务器接收每个混音服务器的当前负载终端的数目;
当多个第二媒体服务器接收到关联的发送终端发送的音频流时,向所述第一媒体服务器发送所述音频流;
当所述第一媒体服务器接收到所述多个第二媒体服务器发送的多路音频流时,从所述多个混音服务器中,选择当前负载终端的数目最小的混音服务器,作为指定的混音服务器;
所述第一媒体服务器向所述指定的混音服务器发送所述多路音频流;
所述指定的混音服务器为关联的接收终端分配一个存储区域,确定所述接收终端对应的多个发送终端,在所述存储区域中,为所述接收终端对应的每个发送终端分配一个缓冲区域;
当所述指定的混音服务器接收到所述多路音频流时,确定所述多路音频流对应的多个发送终端的缓冲区域,将每一路音频流对应的音频数据包存储在对应的缓冲区域中,按照第一预设周期,从所述接收终端的存储区域包括的多个缓冲区域中,获取多个音频数据包,对所述多个音频数据包进行解码,得到多路第一音频数据,对所述多路第一音频数据进行混音,得到第二音频数据,对所述第二音频数据进行编码,得到指定音频流;
所述指定的混音服务器向所述第一媒体服务器发送所述指定音频流;
当所述第一媒体服务器接收到所述指定音频流时,向所述接收终端发送所述指定音频流,使得所述接收终端对所述指定音频流进行解码,得到音频数据。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当所述第一媒体服务器接收到所述指定音频流时,将所述指定音频流录制为音频文件。
6.根据权利要求4所述的方法,其特征在于,所述第一预设周期与所述多个发送终端向所述多个第二媒体服务器发送音频流的周期相等。
CN201410232056.XA 2014-05-28 2014-05-28 音频通信系统和方法 Active CN104009991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410232056.XA CN104009991B (zh) 2014-05-28 2014-05-28 音频通信系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410232056.XA CN104009991B (zh) 2014-05-28 2014-05-28 音频通信系统和方法

Publications (2)

Publication Number Publication Date
CN104009991A CN104009991A (zh) 2014-08-27
CN104009991B true CN104009991B (zh) 2017-09-01

Family

ID=51370485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410232056.XA Active CN104009991B (zh) 2014-05-28 2014-05-28 音频通信系统和方法

Country Status (1)

Country Link
CN (1) CN104009991B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603880B (zh) * 2016-11-21 2021-06-15 深圳市潮流网络技术有限公司 一种编解码协同处理方法
CN109036431A (zh) * 2018-07-11 2018-12-18 北京智能管家科技有限公司 一种语音识别系统和方法
CN110910892A (zh) * 2018-09-17 2020-03-24 北京京东尚科信息技术有限公司 会议系统终端、音频数据处理方法和远程会议系统
CN111526386A (zh) * 2020-05-06 2020-08-11 北京三体云时代科技有限公司 基于副混屏设备的数据传输方法、装置及数据传输系统
CN112188144B (zh) * 2020-09-14 2023-03-24 浙江华创视讯科技有限公司 音频的发送方法及装置、存储介质和电子装置
CN113890659A (zh) * 2021-03-17 2022-01-04 广州市保伦电子有限公司 一种基于管道的音频广播方法
CN115643242B (zh) * 2022-10-13 2023-07-07 北京华建云鼎科技股份公司 一种多路音频数据处理方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004098125A1 (fr) * 2003-04-28 2004-11-11 Sheng An Wang Systeme de conference multimedia distribue fonde sur web ip
CN102694777A (zh) * 2011-03-24 2012-09-26 中国移动通信集团公司 基于ims的多媒体会议实现方法及其装置和系统
CN103051864A (zh) * 2012-12-26 2013-04-17 浙江元亨通信技术股份有限公司 移动视频会议方法及其系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101471804B (zh) * 2007-12-28 2011-08-10 华为技术有限公司 一种音频处理方法、系统和控制服务器
CN101547265B (zh) * 2008-10-20 2014-07-30 华为终端有限公司 一种3d音频会议的信号处理方法、设备以及系统
CN102404543B (zh) * 2010-09-13 2014-01-01 华为终端有限公司 级联会议中级联会场的处理方法、装置及级联会议系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004098125A1 (fr) * 2003-04-28 2004-11-11 Sheng An Wang Systeme de conference multimedia distribue fonde sur web ip
CN102694777A (zh) * 2011-03-24 2012-09-26 中国移动通信集团公司 基于ims的多媒体会议实现方法及其装置和系统
CN103051864A (zh) * 2012-12-26 2013-04-17 浙江元亨通信技术股份有限公司 移动视频会议方法及其系统

Also Published As

Publication number Publication date
CN104009991A (zh) 2014-08-27

Similar Documents

Publication Publication Date Title
CN104009991B (zh) 音频通信系统和方法
CN103384235B (zh) 多人会话时数据呈现的方法、服务器及系统
CN101707686B (zh) 一种移动终端之间共享视频的方法及系统
CN102594478B (zh) 利用多个无线网络连接控制广播多媒体的系统和方法
CN101453699B (zh) 一种广告播放方法和用户终端
CN101958909A (zh) 通过dsl连接提供的媒体的鉴权快速信道改变的方法和系统
CN102185856B (zh) 组队游戏中组队视频方法、装置及系统
CN105185391A (zh) 一种多用户音箱控制方法和装置
CN101895576A (zh) 一种具有较小启动时延的p2p分布式流媒体直播方法
CN103283205B (zh) 本地媒体再现
CN105872579A (zh) 流媒体直播方法、发布端、客户端及系统
WO2020114038A1 (zh) 网络分流方法及相关设备
CN104125221B (zh) Ims终端设备多软终端资源共享和应用协同装置及方法
CN110943977A (zh) 多媒体业务数据传输方法、服务端、设备及存储介质
CN105611219A (zh) 视频会议的处理方法及装置
CN106878384B (zh) 数据转发方法、其装置、蓝牙设备及音频传输方法
EP3504933A1 (en) Interworking between tetra and mcptt systems during end-to-end encrypted speech calls.
JP2002095065A (ja) 無線基地局、無線端末及びコンテンツプロバイダ
CN105743663A (zh) 一种数据传输装置和方法
US20090017787A1 (en) Charging method in poc service
CN105165033B (zh) 一种资源分配方法、装置及系统
CN103905483A (zh) 音视频共享方法、设备和系统
CN101291338B (zh) 一种媒体处理装置及方法
CN101072227A (zh) 一种视频广播系统中的发送系统、方法和接收系统
EP3672289A1 (en) Service scheduling method and device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20140827

Assignee: All kinds of fruits garden, Guangzhou network technology company limited

Assignor: Guangzhou Huaduo Network Technology Co., Ltd.

Contract record no.: 2015990000265

Denomination of invention: Audio communication system and method

License type: Exclusive License

Record date: 20150504

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
CB02 Change of applicant information

Address after: 511446 Guangzhou City, Guangdong Province, Panyu District, South Village, Huambo Business District Wanda Plaza, block B1, floor 28

Applicant after: Guangzhou Huaduo Network Technology Co., Ltd.

Address before: 510655, Guangzhou, Whampoa Avenue, No. 2, creative industrial park, building 3-08,

Applicant before: Guangzhou Huaduo Network Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210111

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511446 28th floor, block B1, Wanda Plaza, Wanbo business district, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right