CN111628992A - 一种多人通话控制方法、装置、电子设备及存储介质 - Google Patents

一种多人通话控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111628992A
CN111628992A CN202010452300.9A CN202010452300A CN111628992A CN 111628992 A CN111628992 A CN 111628992A CN 202010452300 A CN202010452300 A CN 202010452300A CN 111628992 A CN111628992 A CN 111628992A
Authority
CN
China
Prior art keywords
audio channel
uplink
uplink audio
mixing
downlink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010452300.9A
Other languages
English (en)
Other versions
CN111628992B (zh
Inventor
梁俊斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010452300.9A priority Critical patent/CN111628992B/zh
Publication of CN111628992A publication Critical patent/CN111628992A/zh
Application granted granted Critical
Publication of CN111628992B publication Critical patent/CN111628992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

本申请涉及通信技术领域，尤其涉及一种多人通话控制方法、装置、电子设备及存储介质，分别获取各路上行音频通道的声音信号，其中，每路上行音频通道、下行音频通道和通话参与终端一一对应；分别确定所述各路上行音频通道的丢包率；根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定所述各路上行音频通道的混音贡献度；根据所述各路上行音频通道的丢包率和混音贡献度，分别获得所述各路上行音频通道的目标重复多发倍数，这样，结合丢包率和混音贡献度，确定最终的目标重复多发倍数，实现了在保证多人通话的通话质量同时，降低了带宽消耗。

Description

一种多人通话控制方法、装置、电子设备及存储介质
技术领域
本申请涉及通信技术领域，尤其涉及一种多人通话控制方法、装置、电子设备及存储介质。
背景技术
实际中，经常会存在多人通话的场景，例如多方会议，但是由于人耳对同一时间来自不同声源的混合信号的辨识能力有限，因此通常需要对来自不同参与方的声音信号进行混音处理，以突出有限的几路声音，另外需要同时考虑通话质量，在实际应用中，多人通话的通话质量主要受网络丢包影响，由于传输网络的不稳定性导致传输过程出现丢包现象，造成接收端声音的卡顿和不连贯，相关技术中主要是采用重复多发方式来避免网络丢包，重复多发是将原始数据包复制多份并在不同时间间隔下发送到接收端，但是由于重复多发需要额外消耗带宽，如何有效控制重复多发倍数，减少带宽消耗同时保证通话质量是非常必要的。
发明内容
本申请实施例提供一种多人通话控制方法、装置、电子设备及存储介质，以保证多人通话质量同时并降低带宽消耗。
本申请实施例提供的具体技术方案如下：
本申请一个实施例提供了一种多人通话控制方法，包括：
分别获取各路上行音频通道的声音信号，其中，每路上行音频通道、下行音频通道和通话参与终端一一对应；
分别确定所述各路上行音频通道的丢包率；
根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定所述各路上行音频通道的混音贡献度；
根据所述各路上行音频通道的丢包率和混音贡献度，分别获得所述各路上行音频通道的目标重复多发倍数。
本申请另一个实施例提供了一种多人通话控制方法，包括：
获得目标重复多发倍数，其中，所述目标重复多发倍数是根据混音贡献度和丢包率确定的，所述混音贡献度和所述丢包率是服务器确定的，所述混音贡献度是所述服务器分别获取各路上行音频通道的声音信号后，根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定的所述各路上行音频通道的混音贡献度；
按照所述目标重复多发倍数发送声音信号。
本申请另一个实施例提供了一种多人通话控制装置，包括：
获取模块，用于分别获取各路上行音频通道的声音信号，其中，每路上行音频通道、下行音频通道和通话参与终端一一对应；
第一确定模块，用于分别确定所述各路上行音频通道的丢包率；
第二确定模块，用于根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定所述各路上行音频通道的混音贡献度；
控制模块，用于根据所述各路上行音频通道的丢包率和混音贡献度，分别获得所述各路上行音频通道的目标重复多发倍数。
本申请另一个实施例提供了一种多人通话控制装置，包括：
获得模块，用于获得目标重复多发倍数，其中，所述目标重复多发倍数是根据混音贡献度和丢包率确定的，所述混音贡献度和所述丢包率是服务器确定的，所述混音贡献度是所述服务器分别获取各路上行音频通道的声音信号后，根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定的所述各路上行音频通道的混音贡献度；
发送模块，用于按照所述目标重复多发倍数发送声音信号。
本申请另一个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种多人通话控制方法的步骤。
本申请另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种多人通话控制方法的步骤。
本申请实施例中，分别获取各路上行音频通道的声音信号，分别确定各路上行音频通道的丢包率，并确定各路上行音频通道的混音贡献度，进而根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数，通话参与终端可以按照目标重复多发倍数，来控制发送声音信号，这样，结合丢包率和混音贡献度，来确定最终的目标重复多发倍数，相较于仅采用丢包率，可以根据多人通话的特性，更加有针对性地控制各路上行音频通道的目标重复多发倍数，可以保证混音贡献度高的上行音频通道的抗丢包能力，并减少混音贡献度较低的上行音频通道的重复多发倍数，减少带宽消耗，从而可以在保证多人通话的通话质量，同时也节省了网络带宽的使用。
附图说明
图1为相关技术中多人服务器混音方案流程框图；
图2为相关技术中多人服务器选路方案流程框图；
图3为本申请实施例中多人通话控制方法的应用架构示意图；
图4为本申请实施例中一种多人通话控制方法流程图；
图5为本申请实施例提供的另一种多人通话控制方法的流程图；
图6为本申请实施例中服务器混音方案的流程框图；
图7为本申请实施例中服务器选路方案的流程框图；
图8为本申请实施例中的一种基于服务器混音方案的多人通话控制方法交互时序图；
图9为本申请实施例中的一种基于服务器选路方案的多人通话控制方法交互时序图；
图10为本申请实施例中一种多人通话控制装置结构示意图；
图11为本申请实施例中另一种多人通话控制装置结构示意图；
图12为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为便于对本发明实施例的理解，下面先对几个概念进行简单介绍：
多人通话：参与通话的多方通过不同的设备终端进行音频信号采集及各种音频处理，然后通过语音编码及网络传输打包，经过网络发送到音频混音设备，音频混音设备将语音编码数据解码后做声音的混合叠加处理，即混音处理，最后各参与通话的终端根据相应的混音信号进行声音播放，其中，音频混音设备可以为服务器。
音频通道：是与参与多人通话的通话参与终端一一对应的，在本申请实施例中，一个通话参与终端对应一路音频通道，具体可分为上行音频通道和下行音频通道，其中上行音频通道用于终端向服务器发送采集到的音频数据，而下行音频通道主要用于服务器向终端发送混音后的音频数据或是选路结果等信息。
丢包率：表示所丢失数据包数量占所发送数据包的比率，丢包率与数据包长度以及包发送频率相关，重复多发可以有效避免网络丢包导致接收端收不到相应数据包的问题，但是重复多发需要额外消耗带宽，因此，本申请实施例中主要是为了实现如何有效控制重复多发倍数，并同时保证通话质量。
重复多发：表示是将原始数据包复制多份并在不同时间间隔下发送到接收端。
混音贡献度：本申请实施例中可以采用混音信号跟踪预测和选路状态跟踪预测两种方式表示，本申请实施例中结合丢包率和混音贡献度，控制上行音频通道的重复多发倍数，目的是让不活跃的通道使用较低的重复多发倍数，较活跃或重要的通道给予较高的重复多发倍数，保证通话质量的同时，降低带宽消耗。
目标累计平滑值：在本申请实施例中，目标累计平滑值是针对所有下行音频信道而言，所有下行声音信号对应一个值，指对一定时间内所有下行音频通道的下行混音信号之和进行平滑处理得到的数值。
贡献累计平滑值：在本申请实施例中，贡献累计平滑值是针对每路上行音频信道而言，每路上行音频信道对应有各自的贡献累计平滑值。针对任意一路上行音频信道，该路上行音频信道在一定时间内对应的贡献累计平滑值，则是基于该路上行音频信道在该段时间内的声音信号在除对应的下行音频信道之外的其它下行音频信道在该段时间内的下行混音信号中的混音贡献确定的，对每个声音信号在除对应的下行音频通道以外的其它下行音频通道当前周期的下行混音信号中的累计混音贡献进行平滑处理即可。
选路状态：表示在服务器选路方案中，服务器是否选择某一路音频通道参与后续的混音处理。服务器一般会基于声音信号的能量或信噪比等语音特征信息对音频通道的选路进行判决，例如低能量或者低信噪比的通道会大概率不被选中，而能量较大且信噪比较高的通道信号将被选中。
脉冲编码调制(Pulse Code Modulation，PCM)：表示对模拟信号先抽样,再对样值幅度量化编码的过程，可以理解为是把一个时间连续、取值连续的模拟信号变换成时间离散、取值离散的数字信号后在信道中传输。
实际中，经常会需要多人通话的场景，但是由于人耳对同一时间来自不同声源的混合信号的辨识能力有限，通常情况下人耳只能识别4人以下同时说话声，当同一时刻说话人数达到或超过4人，则混音后的声音人耳难以辨别，感觉声音杂乱而听不清楚。为了解决这个问题，多人通话中的混音算法或者选路算法会对来自不同参与通话方的声音信号做加权处理或选路筛选处理，结果将突出有限的几路声音，避免一些非主要的或者干扰的声音信号混入进而影响人耳收听效果。例如选路算法方案中，50人通话，其中有10人同时发声，如果预设最大选路方数为3，则每一时刻只有3方的声音最终被选中，其余未被选中的通话数据将不被转发到接收客户端，因此在多人通话时需要进行混音处理，另外还需要同时考虑通话质量。
在实际应用中，多人通话的通话质量主要受网络丢包影响，由于传输网络的不稳定性导致传输过程出现丢包现象，造成接收端声音的卡顿和不连贯，使收听者体验很不好。相关技术中，为了抵抗网络丢包，通常采用的方法，包括：前向纠错(forward errorcorrection，FEC)、丢包隐藏(Packet Loss Concealment，PLC)、自动重传请求(AutomaticRepeat Request，ARQ)、重复多发等，其中，重复多发可以有效避免网络丢包导致接收端收不到相应数据包的问题，为便于理解下面先简单介绍下相关技术中，基于服务器的多人通话方案，主要包括两种：多人服务器混音方案和多人服务器选路方案。
1)参阅图1所示，为相关技术中多人服务器混音方案流程框图，可知相关技术中通话参与终端发送声音信号时，重复多发倍数仅仅取决于服务器接收丢包检测获得的丢包率，当丢包率较低则使用较低的重复多发倍数，相反，当丢包率较高则使用较高的重复多发倍数，以抵抗网络丢包。
2)参阅图2所示，为相关技术中多人服务器选路方案流程框图，如图2可知，服务器可以根据选路算法确定哪些上行音频通道将最终参与本次的通话，即被选路算法选中，以及确定哪些上行音频通道将最终不参与本次的通话，即未被选路算法选中，同样发送客户端的重复多发倍数仅仅取决于服务器检测到的丢包率，当丢包率较低则使用较低的重复多发倍数，相反，当丢包率较高则使用较高的重复多发倍数，以抵抗网络丢包。
但是，重复多发需要额外消耗带宽，重复多发倍数越高则抗丢包能力越强，但同时也带来带宽的增加，而相关技术中，发送端的重复多发倍数仅取决于服务器接收丢包率，与最终通过混音或选路方式发送到接收端并送入收听者耳朵的有效声音信号无关，也就是说，可能有些声音信号是不会被收听者最终听到的，但其可能使用了较高的重复多发倍数，这样，即使通过较高的重复多发倍数解决了上行音频通道的网络丢包，但如果该上行音频通道的最终混音贡献度小或者未被选路选中，不会最终被收听者听到，那重复多发抗丢包也是无效的且消耗网络带宽资源。当多人通话的通话参与终端较多时，例如数百上千方的超大型语音会议，这种网络带宽的消耗对于业务成本运营而言是很大的。因此，如何有效控制重复多发倍数，减少带宽消耗并同时保证通话质量，达到端到端较佳的主观体验效果，是值得研究的课题。
因此，为解决上述问题，本申请实施例中提出了一种多人通话控制方法，主要是针对多人通话的特殊应用场景，可以通过控制重复多发倍数，从而有效利用重复多发抗丢包，并降低带宽消耗，分别获取各路上行音频通道的声音信号，并分别确定各路上行音频通道的丢包率和混音贡献度，进而可以根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数，其中，上行音频通道的混音贡献度小于预设阈值时，目标重复多发倍数低于基于丢包率确定的第一重复多发倍数，这样，结合混音贡献度和丢包率，控制目标重复多发倍数，混音贡献度较低时目标重复多发倍数会低于仅基于丢包率确定的第一重复多发倍数，可以使得处于不活跃的上行音频通道使用较低的重复多发倍数，可以显著提升上行音频通道对应的通话参与终端的重复多发效率，在一定网络带宽消耗下尽可能提升整体多人通话质量和体验。
参阅图3所示，为本申请实施例中多人通话控制方法的应用架构示意图，包括多个终端100、服务器200。
终端100可以是智能手机、平板电脑、便携式个人计算机等任何智能设备，多个终端100既可以为通话的发送端，也可以为通话的接收端，多个终端100作为通话参与终端建立多人通话，终端100上可以安装有各种应用程序，参与通话用户可以通过终端100上的应用程序客户端，建立多人通话并互相通话。
服务器200能够为终端100提供各种网络服务，对于不同的应用程序，服务器200可以认为是相应的后台服务器，例如，有五个用户分别通过五个终端100进行语音聊天(其中图3中仅示出了三个终端100)，任意一个终端100都可以接收到其它终端100的声音信号，若此时用户A、用户B和用户C同时说话，服务器200接收到这三个用户对应的上行音频通道的声音信号，可以进行丢包检测和混音处理后，再通过网络发送给其它各路下行音频通道对应的接收端，并且本申请实施例中，服务器200还可以根据丢包检测确定的丢包率和混音处理确定的各路上行音频通道的混音贡献度，从而确定各路上行音频通道的目标重复多发倍数，并发送给终端100，进而终端100可以基于当前的目标重复多发倍数来发送声音信号。
又例如，服务器200接收到这三个用户对应的上行音频通道的声音信号后，确定丢包率并通过选路算法确定被选中的上行音频通道，将被选中的上行音频通道的声音信号发送给其它各路下行音频通道对应的接收端，接收端进行混音处理，并播放混音信号，并且，本申请实施例中，服务器200还可以根据丢包率和选路结果，即是否被选中，确定各路上行音频通道的目标重复多发倍数并发送给终端100。
其中，服务器200可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。
终端100与服务器200之间可以通过互联网相连，实现相互之间的通信。可选地，上述的互联网使用标准通信技术、协议，或者两者结合。互联网通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan AreaNetwork，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible Markup Language，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure SocketLayer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(VirtualPrivate Network，VPN)、网际协议安全(Internet Protocol Security，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
需要说明的是，本申请实施例中的多人通话控制方法中可以由服务器200根据丢包率和混音贡献度，确定出目标重复多发倍数后，发送给终端100，也可以服务器200确定出丢包率和混音贡献度后，将丢包率和混音贡献度发送给终端100，再由终端100根据丢包率和混音贡献度确定出目标重复多发倍数，本申请实施例中对此并不进行限制。
值得说明的是，本申请实施例中的应用架构图是为了更加清楚地说明本申请实施例中的技术方案，并不构成对本申请实施例提供的技术方案的限制，对于其它的应用架构和业务应用，本申请实施例提供的技术方案对于类似的问题，同样适用，本申请各个实施例中，以多人通话控制方法应用于图3所示的应用架构为例进行示意性说明。
基于上述实施例，参阅图4所示，为本申请实施例中一种多人通话控制方法流程图，应用于服务器，具体该方法包括：
步骤400：分别获取各路上行音频通道的声音信号，其中，每路上行音频通道、下行音频通道和通话参与终端一一对应。
本申请实施例中，由于声音信号是准稳态信号，在处理时常把声音信号分帧处理，每帧长度约20ms-30ms，在这一区间内把声音信号看作为稳态信号，通话参与终端不断采集通话成员的声音信号，并发送给服务器，服务器可以周期性计算丢包率和混音贡献度，其中，一个周期内的声音信号是指一段时间内产生的连续的若干帧声音信号，例如连续的3帧声音信号，也可以每一帧作为一个周期，在本申请实施例中不做具体限定。
并且本申请实施例中，每个通话参与终端既可以为发送端也可以为接收端，并且在多人通话场景，通话过程对应上行和下行过程，上行表示从发送端到服务器，下行表示从服务器到接收端，每个通话参与终端分别对应一路上行音频通道和一路下行音频通道，上行音频通道用于上行通话过程，下行音频通道用于下行通话过程。
步骤410：分别确定各路上行音频通道的丢包率，并根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定各路上行音频通道的混音贡献度。
执行步骤410时，具体包括：
S1、分别确定各路上行音频通道的丢包率。
在进行丢包率检测时，可以根据计算周期内接收到的声音信号数据包和对应通过上行音频通道发送的数据包，计算出所丢失数据包数量，并将所丢失数据包数量和所发送数据包的比值，作为对应上行音频通道的丢包率。
S2、根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定各路上行音频通道的混音贡献度。
本申请实施例中，混音贡献度表示上行音频通道的声音信号在下行混音信号的参与度，参与度即表示所有上行音频通道是否参与除对应下行音频通道之外的其它下行音频通道的混音处理，以及若参与混音处理其参与程度是多少，其中，任意一路下行音频通道的下行混音信号，可以是除该任意一路下行音频通道对应的上行音频通道之外的其它所有上行音频通道或其它部分上行音频通道的声音信号进行混音后获得。
例如，有三个通话参与终端，分别为终端1、终端2和终端2，并终端1对应上行音频通道11和下行音频通道12，终端2对应上行音频通道21和下行音频通道22，终端3对应上行音频通道31和下行音频通道32，即根据上行音频通道11的声音信号在下行音频通道22和下行音频通道32的参与度，计算上行音频通道11的混音贡献度，类似地，根据上行音频通道21的声音信号在下行音频通道12和下行音频通道32的参与度，计算上行音频通道21的混音贡献度，同样可以计算上行音频通道31的混音贡献度。
其中，针对服务器混音方案，则混音贡献度可以根据服务器进行混音处理后，获得的各个下行混音信号进行计算，在服务器混音方案中，可以采用混音算法确定各路上行音频通道的参与度，针对服务器选路方案，则混音贡献度可以根据服务器对各路上行音频通道的选路状态进行确定，被选中表示在接收端在进行混音处理获得的下行混音信号中混音贡献较大，未被选中即表示混音贡献较小，在服务器选路方案中，通过选路算法可以确定各路上行混音信号的参与度，未被选中则不参与下行音频通道的混音处理，被选中则会发送给下行音频通道参与其混音处理。
步骤420：根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数。
本申请实施例中根据丢包率和混音贡献度，计算目标重复多发倍数的过程，可以由服务器执行，也可以由终端执行，并不进行限制，具体执行步骤420时，可以分为以下两种执行方式：
第一种方式：由服务器执行，具体包括：
S1、根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数。
例如有A、B、C三个通话参与终端，通话参与终端A分别对应上行音频通道a1、下行音频通道a2，通话参与终端B分别对应上行音频通道b1、下行音频通道b2，通话参与终端C分别对应上行音频通道c1、下行音频通道c2，则计算上行音频通道a1的声音信号在下行音频通道b2和下行音频通道c2的下行混音信号中的混音贡献，占所有下行音频通道，即a2、b2和c2的下行混音信号的比例值，即为上行音频通道a1的混音贡献度，类似地可以计算出上行音频通道b1和上行音频通道c1的混音贡献度。
又例如，服务器通过选路算法，确定上行音频通道a1未被选中，上行音频通道b1和上行音频通道c1被选中，则a1的声音信号不会发送到下行音频通道b2和下行音频通道c2中，即可以理解为a1的声音信号的混音贡献度较低，服务器可以根据选路结果，分别计算上行音频通道a1、上行音频通道b1和上行音频通道c1的混音贡献度。
S2、分别将各路上行音频通道的目标重复多发倍数发送给对应上行音频通道的通话参与终端，以使各路上行音频通道的通话参与终端按照接收到的目标重复多发倍数，发送声音信号。
这样，由服务器计算出目标重复多发倍数后，再发送给通话参与终端，降低通话参与终端的计算复杂度，并且只需发送最终的目标重复多发倍数，还可以一定度降低带宽消耗。
进一步地，服务器还可以在任意一路上行音频通道的当前周期的目标重复多发倍数，相较上一周期确定的目标重复多发倍数发生变化时，才将该路上行音频通道的目标重复多发倍数发送给对应的通话参与终端，若未发生变化，也可以无需将当前周期的目标重复多发倍数发送给对应通话参与终端，通话参与终端可以继续采用之前接收到的目标重复多发倍数发送声音信号。
这样，在目标重复多发倍数发生变化时才发送给通话参与终端，可以提高效率，并降低网络带宽消耗。
第二种方式：由参与终端执行，具体包括：
分别将各路上行音频通道的丢包率和混音贡献度，发送给对应上行音频通道的通话参与终端，以使各路上行音频通道对应的通话参与终端，根据接收到的丢包率和混音贡献度，确定目标重复多发倍数，并按照确定的目标重复多发倍数，发送声音信号。
即本申请实施例中还可以由通话参与终端计算目标重复多发倍数，服务器只把丢包率和混音贡献度发送给通话参与终端，通话参与终端可以根据丢包率和混音贡献度计算目标重复多发倍数，这样，由通话参与终端进行计算，减少服务器的负担，并且通话参与终端还可以根据自身所需选择计算目标重复多发倍数的时机。
进而通话参与终端可以根据目标重复多发倍数，发送多个声音信号数据包，并且由于服务器计算丢包率和混音贡献度是周期性的，因此，通话参与终端的目标重复多发倍数也是不断更新的，当然通话参与终端可以基于之前的目标重复多发倍数，也可以基于最新的目标重复多发倍数控制声音信号数据包的发送次数，本申请实施例中并不进行限制，较佳的，通话参与终端基于最新的目标重复多发倍数控制声音信号数据包的发送次数。
进一步地，本申请实施例中，若当前周期任意一路上行音频通道的丢包率或混音贡献度与前一周期相比未发生变化，服务器也可以不发送，这时通话参与终端可以继续使用之前的目标重复多发倍数来发送声音信号，这样可以提高效率，降低通话参与终端的计算度，并且减少了交互次数，也可以降低网络带宽消耗。
本申请实施例中，服务器分别获取各路上行音频通道的声音信号，分别确定各路上行音频通道的丢包率，并确定各路上行音频通道的混音贡献度，进而根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数，通话参与终端可以按照其目标重复多发倍数来发送声音信号，这样，根据丢包率和混音贡献度，来确定最终的目标重复多发倍数，考虑多人通话的特性，针对不同上行音频通道的参与度，有效地控制目标重复多发倍数，可以使得参与度较低的上行音频通道采用较低的目标重复多发倍数，既可以保证通话质量，还可以一定度降低网络带宽消耗。
基于上述实施例，下面对上述步骤410中根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定各路上行音频通道的混音贡献度的实现方式进行具体说明，本申请实施例中基于服务器混音方案和服务器选路方案，则可以分为以下几种实施方式：
第一种实施方式：服务器混音方案。其中，在服务器混音方案中，服务器周期性根据每路上行音频通道的声音信号，分别获取每路下行音频通道的下行混音信号并发送给对应的通话参与终端，进而通话参与终端可以获取对应的下行混音信号，并播放下行混音信号。
具体包括：S1、分别确定各路上行音频通道在除对应的下行音频通道之外的其它下行音频通道的下行混音信号的混音权重。
本申请实施例中，混音方案都是基于时域上的处理，服务器进行解码获得时域上的声音信号后，可以采用混音算法，计算各路下行音频通道的下行混音信号，例如，以第i上行音频通道为例，第i上行音频通道在第j下行音频通道的下行混音信号的混音权重为Wij(t)，其中，i≠j，本申请实施例中还提供了几种不同的混音权重计算方法，下面进行举例说明：
方法一、平均权重法：将各路上行音频通道的PCM声音信号线性叠加后取平均，即混音权重Wij(t)＝1/M，其中，M为参与多人通话的有效语音方数。
方法二、对齐权重法：分别计算各路上行音频通道声音信号采样值的各自最大绝对值
Figure BDA0002507988260000141
以及计算各路下行音频通道的下行混音信号线性叠加后的最大绝对值
Figure BDA0002507988260000142
其中T为一帧下行混音信号的起始时刻，Δt为帧的长度，则混音权重为：
Figure BDA0002507988260000143
其中，Lj∈[1，MixedMaxj/TotalMaxj]，用来调整最终输出混音结果的值，若考虑到MixedMaxj可能大于极限值2Q-1-1，此时只能取Lj∈[1，(2Q-1-1)/TotalMaxj]，否则将导致溢出，也就是说Lj是一个避免混音后幅值超过2Q-1-1的数字范围的一个系数，Q表示声音信号编码的位数，一般为16位。
S2、根据确定的各混音权重和各个声音信号，分别确定各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，并分别获得各路下行音频通道的下行混音信号。
其中，各路下行音频通道的下行混音信号是将除对应的上行音频通道之外的其它上行音频通道的声音信号进行混音获得的。
具体地，针对任意一路上行音频通道，该路上行音频通道的声音信号在除对应的下行音频通道之外的某一路下行混音信号中的混音贡献，可表示为该路上行音频通道的声音信号以及相应混音权重的乘积。其中，混音贡献即可以为参与度，在某一路下行音频通道的混音贡献高表示该路上行音频通道的声音信号在该某一路下行音频通道的下行混音信号的参与度高，反之，混音贡献低即为参与度低。
以第i上行音频通道为例，则第i上行音频通道在第j下行音频通道的下行混音信号的混音贡献为：cij(t)＝Wij(t)*ai(t)。
第j下行音频通道的下行混音信号为：
Figure BDA0002507988260000151
其中，bj(t)是第j下行音频通道的下行混音信号，即向第j方的混音输出信号，ai(t)是第i路上行音频通道的声音信号。t表示时刻，M为参与多人通话的有效语音方数，Wij(t)为第i方输入的混音权重，即在计算第j个下行音频通道的下行混音信号时，第i路上行音频通道的声音信号对应的混音权重。
在本申请实施例中，对于第j路下行音频通道而言，其对应的下行混音信号是由除第j路上行音频通道的声音信号之外的其它上行音频通道的声音信号进行混音得到的，即将除i＝j时的上行音频通道之外剩余的M-1路上行音频通道的声音信号乘以对应的混音权重Wij(t)后进行叠加即可。
S3、根据各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，分别确定各路上行音频通道的混音贡献度。
本申请实施例中，考虑到在实际工程中，语音特征的即时计算结果会有较大的波动，所以可以做相应的平滑处理，避免参数波动下影响最终判决。因此在周期性计算每路上行音频通道的混音贡献度时，即可基于上一周期的计算结果，对当前周期的计算结果进行平滑处理，获得相应的混音贡献度。
则执行该步骤S3时，具体包括：
S3.1、根据第一预设参数、所有下行音频通道的上一周期下行混音信号的目标累积平滑值，以及各个下行混音信号，获得所有下行音频通道的当前周期下行混音信号的目标累积平滑值。
其中，所有下行音频通道第一周期下行混音信号的目标累计平滑值为各路下行音频通道第一周期下行混音信号之和或第一预设值。
例如，目标累积平滑值为ball(t)：
Figure BDA0002507988260000161
ball(t)为所有下行音频通道的当前周期下行混音信号的目标累计平滑值，ball(t-1)为所有下行音频通道的上一周期下行混音信号的目标累计平滑值，bj(t)为当前周期第j路下行音频通道的下行混音信号，M为参与通话的上行音频通道的数量，β为第一预设参数，其取值范围为(0,1)，所有下行音频通道下行混音信号之和即：
Figure BDA0002507988260000162
S3.2、根据第一预设参数、各路上行音频通道的上一周期对应的贡献累计平滑值，以及各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，分别获得各路上行音频通道的当前周期对应的贡献累计平滑值。
其中，各路上行音频通道的第一周期对应的贡献累计平滑值为，各路上行音频通道在除对应下行音频通道之外的其它下行音频通道的第一周期下行混音信号中的混音贡献或第二预设值。
例如，以第i上行音频通道为例，第i上行音频通道的贡献累计平滑值为：
Figure BDA0002507988260000163
其中，
Figure BDA0002507988260000164
为第i路上行音频通道的当前周期声音信号对应的贡献累计平滑值，
Figure BDA0002507988260000171
为第i路上行音频通道的上一周期声音信号对应的贡献累计平滑值，cij(t)为当前周期第i路上行音频通道的声音信号在第j路下行音频通道的下行混音信号中的混音贡献，i和j的取值范围都为1～M。
即贡献累计平滑值为第i上行音频通道的声音信号针对除第i下行音频通道之外的各下行音频通道的下行混音信号的。
S3.3、分别将各路上行音频通道对应的贡献累计平滑值和目标累积平滑值的比值，作为对应上行音频通道的混音贡献度。
例如，以第i路上行音频通道为例，该路上行音频通道的混音贡献度为：
Figure BDA0002507988260000172
进一步需要说明的是，本申请实施例中，第一周期对应的目标累计平滑值或贡献累计平滑值，可以为预设值，例如第一预设值和第二预设值设置为0，还可以将起始一定时间内均设置为预设值，例如，将前N个周期内的目标累计平滑值或是贡献累计平滑值设置为预设值；同样地，可以设置为各路下行音频通道第一周期下行混音信号之和，或在除对应下行音频通道之外的其它下行音频通道的第一周期下行混音信号中的混音贡献，也可以为针对前N周期的，本申请实施例中并不进行限制。
通过上述实施方式，可以获得各路上行音频通道的混音贡献度，进而可以有效避免某些上行音频通道的声音信号混音参与度较低的情况下仍采用较高的重复多发倍数，消耗较多网络带宽资源但并未得到相应通话质量提升的情况。
此外，需要说明的是，本申请实施例中服务器还可直接将各路上行音频通道的混音结果下发给对应的通话参与终端，由通话参与终端基于上述公式来计算混音贡献度。
第二种实施方式：服务器选路方案。在服务器选路方案中，服务器周期性根据各路上行音频通道的声音信号，确定各路上行音频通道的选路状态，并将表示被选中的选路状态对应的上行音频通道的声音信号发送给对应的通话参与终端，以使各通话参与终端获取对应下行音频通道的下行混音信号，即各通话参与终端接收到服务器发送的被选中的声音信号后，进行混音处理，获得其下行混音信号，最终播放下行混音信号。
则根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定各路上行音频通道的混音贡献度，具体包括：
S1、分别对各路上行音频通道的声音信号的语音特征信息进行分析，获得各路上行音频通道的选路状态。
其中选路状态用于表示是否选中上行音频通道的声音信号参与混音处理。并且本申请实施例中选路状态即可以为参与度。
具体地，服务器采用选路算法，确定各路上行音频通道的选中概率预测值，当预测到某一路上行音频通道的选中概率预测值大于某阈值时，即可确定该路上行音频通道对应的选路状态表示选中，即在当前周期进行混音时，该路上行音频通道的声音信号参与混音。反之，当预测到某一路上行音频通道的选中概率预测值不大于某阈值时，即可确定该路上行音频通道对应的选路状态表示未选中，即在当前周期进行混音时，该路上行音频通道的声音信号不参与混音。
其中，选路算法主要是基于声音信号的语音特征信息，例如，基于能量或信噪比等语音特征信息进行判决，进而例如低能量或者低信噪比的上行音频通道会大概率不被选中，而能量较大且信噪比较高的上行音频通道将被选中。这样，通过选路算法能有效地降低干扰或可被忽视的上行音频通道的声音信号最终不会出现在下行音频通道的下行混音信号里面，使最终混音后用户听到的是有限通道的有效声音信号。
例如，以第i上行音频通道为例，服务器选路方案的选路算法会输出第i上行音频通道是否被选中的判断结果，被选中定义结果si(t)＝1，不被选中定义结果si(t)＝0。
S2、分别根据各路上行音频通道的选路状态，确定各路上行音频通道的混音贡献度。
本申请实施例中，针对服务器选路方案，在计算混音贡献度时，基于上一周期的结果对当前周期的结果进行平滑处理，可以有效避免参数波动的影响，提高准确性。
具体基于不同的选路状态，可以分为以下两种情况：
第一种情况：分别针对各路上行音频通道，若上行音频通道的选路状态表示被选中，则基于第二预设参数，以及上行音频通道的上一周期对应的选路状态平滑值，获得上行音频通道的当前周期对应的选路状态平滑值，并将选路状态平滑值作为对应上行音频通道的混音贡献度。
例如，以第i上行音频通道为例，则第i上行音频通道的混音贡献度为：
if(si(t)＝＝1)then
Figure BDA0002507988260000191
其中，si(t)＝1＝1时，表示第i路上行音频通道被选中，
Figure BDA0002507988260000192
为上行音频通道的当前周期对应的选路状态平滑值，
Figure BDA0002507988260000193
为上行音频通道的上一周期对应的选路状态平滑值，α为第二预设参数，且取值范围为0～1，例如α＝0.1。
第二种情况：若上行音频通道的选路状态表示未选中，则基于第三预设参数，以及上行音频通道的上一周期对应的选路状态平滑值，获得上行音频通道的当前周期对应的选路状态平滑值，并将选路状态平滑值作为对应上行音频通道的混音贡献度。
例如，以第i上行音频通道为例，则第i上行音频通道的混音贡献度为：
if(si(t)＝＝0)then
Figure BDA0002507988260000194
其中，在si(t)＝0时，表示第i路上行音频通道未被选中，
Figure BDA0002507988260000195
为上行音频通道的上一周期对应的选路状态平滑值，
Figure BDA0002507988260000196
为上行音频通道的上一周期对应的选路状态平滑值，η为第三预设参数，且取值范围为0～1，例如η＝0.98。
其中，选路状态表示被选中时，上行音频通道的第一周期对应的选路状态平滑值为第三预设值，选路状态表示未被选中时，上行音频通道的第一周期对应的选路状态平滑值为第四预设值，并第二预设参数和第三预设参数的取值范围均为(0，1)，第三预设参数大于第二预设参数，例如，第三预设值和第四预设值为1。
并且同服务器混音方案类似，这里除了将第一周期的选路状态平滑值直接赋值之外，还可对前N个周期的也直接进行赋值，例如，在100帧之后才进入平滑过程，或者说100帧内会快速平滑，也就是说，在实际实现过程中会对一开始的一段时间进行特殊处理，比如直接赋值。
此外，需要说明的是，本申请实施例中服务器还可直接将各路上行音频通道的选路状态下发给对应的终端，由终端基于上述公式来计算选路状态平滑值，以确定混音贡献度，本申请实施例中并不进行限制。
进而基于上述实施例，本申请实施例中基于服务器混音方案或服务器选路方案，确定出混音贡献度后，可以结合丢包率和混音贡献度，计算目标重复多发倍数，相较于仅基于丢包率计算目标重复多发倍数，可以根据多人通话的特性，有针对性地控制重复多发倍数，让处于不活跃的上行音频通道使用较低的重复多发倍数，甚至不做多发处理，而对于参与度较高的，即混音贡献度较高的上行音频通道，给予较高的重复多发倍数，确保其抗丢包能力，可以显著提升上行音频通道的重复多发效率，避免发送端由于上行网络丢包影响所有收听者体验的问题，同时节省了网络带宽，节约了用户和运营商成本。则根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数，本申请实施例中提供了一种可能的实施方式：针对任意一路上行音频通道，上行音频通道的混音贡献度小于预设阈值，则减小基于丢包率确定的第一重复多发倍数，得到上行音频通道的目标重复多发倍数；若上行音频通道的混音贡献度大于预设阈值，则增大基于丢包率确定的第一重复多发倍数，得到上行音频通道的目标重复多发倍数。
具体地包括：1)分别根据各路上行音频通道的丢包率，以及预设丢包率和重复多发倍数的映射关系，确定对应上行音频通道的第一重复多发倍数，其中，丢包率越大对应的重复多发倍数越大。
本申请实施例中，可以预先设置丢包率和重复多发倍数的映射关系，例如，设置一个映射关系表，不同丢包率对应不同的重复多发倍数，又例如，还可以设置一个单调递增的线性函数，并不进行限制。
2)分别根据各路上行音频通道的混音贡献度，以及预设混音贡献度与重复多发倍数关联的单调递增函数，确定对应上行音频通道的第二重复多发倍数。
3)分别将各路上行音频通道对应的第一重复多发倍数和第二重复多发倍数的乘积，作为对应上行音频通道的目标重复多发倍数。
例如，以服务器混音方案为例，目标重复多发倍数为：
redi(t)＝f(ri(t))*red_orgi(t)
其中，redi(t)为第i路上行音频通道在当前周期的目标重复多发倍数，ri(t)为第i路上行音频通道在当前周期的混音贡献度，f(ri(t))为第二重复多发倍数，red_orgi(t)为第i路上行音频通道在当前周期的第一重复多发倍数(即基于丢包率计算的重复多发倍数)。
并且目标函数f(x)为单调递增函数，可以为线性或非线性单调递增函数，可以确保目标重复多发倍数随着混音贡献比例值提升而提升，其中混音贡献比例值即第i路上行音频通道的贡献累计平滑值与所有下行音频通道对应的目标累计平滑值的比值，也就是本申请实施例中的混音贡献度的一种表示方式。
又例如，以服务器选路方案为例，目标重复多发倍数为：
Figure BDA0002507988260000211
其中，redi(t)为第i路上行音频通道在当前周期的目标重复多发倍数，
Figure BDA0002507988260000213
为第i路上行音频通道在当前周期的选路状态平滑值，
Figure BDA0002507988260000212
为第二重复多发倍数，red_orgi(t)为第i路上行音频通道在当前周期的第一重复多发倍数。
并且，目标函数f(x)为单调递增函数，可以确保目标重复多发倍数随着选路状态平滑值提升而提升，其中选路状态平滑值是本申请实施例中的混音贡献度的另一种表示方式。
需要说明的是，在目标函数f(x)中的x(输入参数，在本申请实施例中为混音贡献度)为预设阈值时，此时f(x)＝1，即可保证redi(t)＝red_orgi(t)，此外，由于f(x)为单调递增函数，因此在x小于预设阈值时，即可保证redi(t)＜red_orgi(t)，在x大于预设阈值时，即可保证redi(t)＞red_orgi(t)，另外，当x大于预设阈值时，也可保持第一重复多发倍数不变，即redi(t)＝red_orgi(t)。
这样，可以有效避免某些上行音频通道的混音参与度低或不被选中的情况下，仍采用较高的重复多发倍数，消耗较多网络带宽但并未得到相应体验提升的现象。
基于相同的发明构思，本申请实施例中还提供一种多人通话控制方法的方法，应用于终端(即通话参与终端)，参阅图5所示，为本申请实施例提供的另一种多人通话控制方法的流程图，具体该方法包括：
步骤500：获得目标重复多发倍数，其中，目标重复多发倍数是根据混音贡献度和丢包率确定的，混音贡献度和丢包率是服务器确定的，混音贡献度是服务器分别获取各路上行音频通道的声音信号后，根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定的各路上行音频通道的混音贡献度。
其中，通话参与终端可以接收服务器发送的混音贡献度和丢包率，然后根据混音贡献度和丢包率计算目标重复多发倍数。
当然，也可以由服务器根据混音贡献度和丢包率计算出目标重复多发倍数，并将目标重复多发倍数发送给通话参与终端，本申请实施例中对于这两种方式并不进行限制。
另外，需要说明的是，对于目标重复多发倍数的具体计算方式，和上述实施例中服务器侧的多人通话控制方法中相应计算方式相同，这里就不再进行赘述了。
步骤510：按照目标重复多发倍数发送声音信号。
即通话参与终端可以按照目标重复多发倍数，复制多份声音信号数据包，并在不同时间间隔下发送到接收端。
这样，本申请实施例中，结合混音贡献度，对仅根据丢包率确定的原始重复多发倍数进行了调整，可以使得混音贡献度较低的上行音频通道的目标重复多发倍数，低于仅基于丢包率确定的原始重复多发倍数，进而通话参与终端，可以根据基于混音贡献度和丢包率共同确定的目标重复多发倍数，来重复多发声音信号，可以有针对性地控制目标重复多发倍数，保证通话质量并节省网络带宽。
基于上述实施例，下面采用一个具体应用场景对本申请实施例中多人通话控制方法进行具体说明，针对服务器混音方案和服务器选路方案，具体分为以下两种不同实施过程。
1)参阅图6所示，为本申请实施例中服务器混音方案的流程框图。
如图6所示，a)各与会方(即各通话参与终端)通过声音采集设备获取数字声音信号，并进行语音编码，重复多发会根据当前的目标重复多发倍数和时间间隔安排重复包的发送顺序，编码数据和重复包进行网络打包后传输到服务器。
b)服务器收到相关数据包并过滤部分多发包后进行语音解码，得到pcm线性声音信号，并根据混音算法进行多路上行音频通道的声音信号的混音处理，在混音处理过程中，各下行音频通道的下行混音信号为对除对应的上行音频通道的声音信号排除在外的其它上行音频通道的声音信号进行混音后获得的，各路下行音频通道对应的混音结果(即下行混音信号)经过服务器的二次语音编码并打包发送到各与会方。
c)各与会方接收服务器发送的语音二次编码的下行混音信号后进行解码，并进行播放。
这样，服务器经过混音算法可以根据需要对各上行音频通道的声音信号的幅值进行放大或衰减，为解决多通道同时发声导致最终用户听不清楚的问题，混音算法可以对判为干扰或者可被忽视的上行音频通道的声音信号进行信号衰减处理，使最终混音后用户听到的是有限通道的有效声音信号。
其中，本申请实施例中，目标重复多发倍数并不仅由服务器接收丢包率控制，还会受混音处理中混音信号跟踪预测(即本申请实施例中一种混音贡献度表示方式)来协同控制，图6中仅示出了服务器将丢包率和混音信号跟踪预测发送给上行音频通道对应的通话参与终端的一种示例，当然也可以服务器根据丢包率和混音信号跟踪预测计算出目标重复多发倍数后再发送给通话参与终端，当某一上行音频通道(与会方)的声音信号在最终下行混音信号的能量的占比较高时，则目标重复多发倍数可以保持甚至略高于仅基于丢包率的重复多发倍数；相反，当某一上行音频通道信号在最终下行混音信号的能量占比较低时，则目标重复多发倍数可以小于仅基于丢包率的重复多发倍数，甚至不做重复多发。
2)参阅图7所示，为本申请实施例中服务器选路方案的流程框图。
如图7所示，与多人服务器混音方案不同，选路方案不需要对各与会方发来的声音编码数据进行解码和二次编码，并且在发送端提取一些选路所需的语音特征，语音特征和语音码流(即声音信号)打包发送到服务器，服务器根据各上行音频通道的语音特征判决哪些上行音频通道将最终参与本次的通话，哪些上行音频通道将最终不参与本次的通话，被选中的上行音频通道的语音码流将转发至接收端，在接收端对多个被选中的上行音频通道的编码信号经过语音解码后进行混音处理，最终播放下行混音信号。
通过选路算法能有效地降低干扰或可被忽视的上行音频通道的声音信号最终不会出现在下行混音信号中，使最终混音后用户听到的是有限通道的有效声音信号。
其中，本申请实施例中，目标重复多发倍数并不仅由服务器接收丢包率控制，还会受选路状态跟踪预测(即本申请实施例中另一种混音贡献度表示方式)来协同控制，图7中仅示出了服务器将丢包率和选路状态跟踪预测发送给上行音频通道对应的通话参与终端的一种示例，当然也可以服务器根据丢包率和选路状态跟踪预测计算出目标重复多发倍数后再发送给通话参与终端，当某一上行音频通道(与会方)的声音信号选中概率预测值大于某阈值时，则目标重复多发倍数可以保持甚至略高于仅基于丢包率的重复多发倍数；相反，当某一上行音频通道的声音信号选中概率预测值小于某阈值时，目标重复多发倍数可以小于仅基于丢包率的重复多发倍数，甚至不做重复多发。
本申请实施例中，可以确保混音贡献度高的上行音频通道的抗丢包能力，保证其声音信号能传到接收端，而对于混音贡献度低的上行音频通道，降低其目标重复多发倍数，可以降低带宽消耗，可以有效避免某些上行音频通道混音参与度低或者不被选中的情况下仍采用较高的重复多发倍数，消耗较多网络带宽资源但并未得到相应体验提升的现象，从而实现了既保证通话质量，还可以降低带宽消耗的目的。
参阅图8所示，为本申请实施例中的一种基于服务器混音方案的多人通话控制方法交互时序图。该方法的具体实施流程如下：
步骤801：终端采集本地用户在参与通话时产生的声音信号。
步骤802：终端对采集到的声音信号进行语音编码。
步骤803：终端根据接收到的丢包率和混音贡献度确定目标重复多发倍数，并按照目标重复多发倍数发送声音信号。
步骤804：终端将编码后的声音信号打包发送给服务器。
步骤805：服务器对各路上行音频通道的声音信号进行丢包检测，将各路上行音频通道的丢包率返回给相应的终端。
步骤806：服务器对编码后的各路上行音频通道的声音信号进行解码。
步骤807：服务器将每个声音信号除对应的上行音频通道的声音信号以外的其它上行音频通道的声音信号进行混音，得到每路下行音频通道的下行混音信号。
步骤808：服务器根据每路上行音频通道的声音信号，在每个下行混音信号中的贡献，预测每路上行音频通道的混音贡献度，并将各路上行音频通道的混音贡献度返回给相应的终端。
步骤809：服务器对每路下行音频通道的下行混音信号进行二次语音编码。
步骤810：服务器将经过二次语音编码后的下行混音信号发送给相应的终端。
步骤811：终端对接收到的下行混音信号进行解码。
步骤812：终端播放下行混音信号。
其中，步骤808和步骤809在时序上并不进行限制。
参阅图9所示，为本申请实施例中的一种基于服务器选路方案的多人通话控制方法交互时序图。该方法的具体实施流程如下：
步骤901：终端采集本地用户在参与通话时产生的声音信号。
步骤902：终端对采集到的声音信号进行语音编码。
步骤903：终端根据接收到的丢包率和混音贡献度确定目标重复多发倍数，并按照目标重复多发倍数发送声音信号。
步骤904：终端将经过编码后的声音信号打包发送给服务器。
步骤905：服务器对各路上行音频通道的声音信号进行丢包检测，将各路上行音频通道的丢包率返回给相应的终端。
步骤906：服务器对每个声音信号的语音特征信息进行分析，获得每路上行音频通道的选路状态。
步骤907：服务器将每路上行音频通道的选路状态发送给相应的终端。
步骤908：终端根据对应的上行音频通道的选路状态对声音信号进行语音解码。
步骤909：终端根据每路上行音频通道的选路状态对除对应的上行音频通道外的其它上行音频通道的声音信号进行混音，获得下行混音信号。
步骤910：终端播放下行混音信号。
需要说明的是，本申请实施例中的图8和图9中仅仅示出了一个终端，实际上参与多人通话的终端有很多个，这里没有直接画出，但是各个终端的实现方式都基本相同。此外，图8和图9只是描述的是一个周期的执行过程，实际上这些步骤是需要循环的。
基于同一发明构思，本申请实施例中还提供了一种多人通话控制装置，该多人通话控制装置例如可以是前述实施例中的服务器，该多人通话控制装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例，参阅图10所示，本申请实施例中一种多人通话控制装置，具体包括：
获取模块1000，用于分别获取各路上行音频通道的声音信号，其中，每路上行音频通道、下行音频通道和通话参与终端一一对应；
第一确定模块1010，用于分别确定各路上行音频通道的丢包率；
第二确定模块1020，用于根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定各路上行音频通道的混音贡献度；
控制模块1030，用于根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数。
可选的，根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数时，控制模块1030具体用于：
根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数；
分别将各路上行音频通道的目标重复多发倍数发送给对应上行音频通道的通话参与终端，以使各路上行音频通道的通话参与终端按照接收到的目标重复多发倍数，发送声音信号。
可选的，根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数时，控制模块1030具体用于：
分别将各路上行音频通道的丢包率和混音贡献度，发送给对应上行音频通道的通话参与终端，以使各路上行音频通道对应的通话参与终端，根据接收到的丢包率和混音贡献度，确定目标重复多发倍数，并按照确定的目标重复多发倍数，发送声音信号。
可选的，根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定各路上行音频通道的混音贡献度时，第二确定模块1020具体用于：
分别确定各路上行音频通道在除对应的下行音频通道之外的其它下行音频通道的下行混音信号的混音权重；
根据确定的各混音权重和各个声音信号，分别确定各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，并分别获得各路下行音频通道的下行混音信号，其中，各路下行音频通道的下行混音信号是将除对应的上行音频通道之外的其它上行音频通道的声音信号进行混音获得的；
根据各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，分别确定各路上行音频通道的混音贡献度。
可选的，周期性根据每路上行音频通道的声音信号，分别获取每路下行音频通道的下行混音信号并发送给对应的通话参与终端；
根据各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，分别确定各路上行音频通道的混音贡献度时，第二确定模块1020具体用于：
根据第一预设参数、所有下行音频通道的上一周期下行混音信号的目标累积平滑值，以及各个下行混音信号，获得所有下行音频通道的当前周期下行混音信号的目标累积平滑值；
根据第一预设参数、各路上行音频通道的上一周期对应的贡献累计平滑值，以及各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，分别获得各路上行音频通道的当前周期对应的贡献累计平滑值；
分别将各路上行音频通道对应的贡献累计平滑值和目标累积平滑值的比值，作为对应上行音频通道的混音贡献度；
其中，所有下行音频通道第一周期下行混音信号的目标累计平滑值为各路下行音频通道第一周期下行混音信号之和或第一预设值；
各路上行音频通道的第一周期对应的贡献累计平滑值为，各路上行音频通道在除对应下行音频通道之外的其它下行音频通道的第一周期下行混音信号中的混音贡献或第二预设值。
可选的，根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定各路上行音频通道的混音贡献度时，第二确定模块1020具体用于：
分别对各路上行音频通道的声音信号的语音特征信息进行分析，获得各路上行音频通道的选路状态，其中选路状态用于表示是否选中上行音频通道的声音信号参与混音处理；分别根据各路上行音频通道的选路状态，确定各路上行音频通道的混音贡献度。
可选的，周期性根据各路上行音频通道的声音信号，确定各路上行音频通道的选路状态，并将表示被选中的选路状态对应的上行音频通道的声音信号发送给对应的通话参与终端，以使各通话参与终端获取对应下行音频通道的下行混音信号；
分别根据各路上行音频通道的选路状态，确定各路上行音频通道的混音贡献度时，第二确定模块1020具体用于：
分别针对各路上行音频通道，若上行音频通道的选路状态表示被选中，则基于第二预设参数，以及上行音频通道的上一周期对应的选路状态平滑值，获得上行音频通道的当前周期对应的选路状态平滑值，并将选路状态平滑值作为对应上行音频通道的混音贡献度；
若上行音频通道的选路状态表示未选中，则基于第三预设参数，以及上行音频通道的上一周期对应的选路状态平滑值，获得上行音频通道的当前周期对应的选路状态平滑值，并将选路状态平滑值作为对应上行音频通道的混音贡献度；
其中，选路状态表示被选中时，上行音频通道的第一周期对应的选路状态平滑值为第三预设值，选路状态表示未被选中时，上行音频通道的第一周期对应的选路状态平滑值为第四预设值，并第二预设参数和第三预设参数的取值范围均为(0，1)，第三预设参数大于第二预设参数。
可选的，根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数时，控制模块1030具体用于：
针对任意一路上行音频通道，若上行音频通道的混音贡献度小于预设阈值，则减小基于丢包率确定的第一重复多发倍数，得到上行音频通道的目标重复多发倍数；
若上行音频通道的混音贡献度大于预设阈值，则增大基于丢包率确定的第一重复多发倍数，得到上行音频通道的目标重复多发倍数。
可选的，根据各路上行音频通道的丢包率和混音贡献度，分别获得各路上行音频通道的目标重复多发倍数时，控制模块1030具体用于：
分别根据各路上行音频通道的丢包率，以及预设丢包率和重复多发倍数的映射关系，确定对应上行音频通道的第一重复多发倍数，其中，丢包率越大对应的重复多发倍数越大；
分别根据各路上行音频通道的混音贡献度，以及预设混音贡献度与重复多发倍数关联的单调递增函数，确定对应上行音频通道的第二重复多发倍数；
分别将各路上行音频通道对应的第一重复多发倍数和第二重复多发倍数的乘积，作为对应上行音频通道的目标重复多发倍数。
基于同一发明构思，本申请实施例中还提供了一种多人通话控制装置，该多人通话控制装置例如可以是前述实施例中的终端，该多人通话控制装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例，参阅图11所示，本申请实施例中一种多人通话控制装置，具体包括：
获得模块1100，用于获得目标重复多发倍数，其中，目标重复多发倍数是根据混音贡献度和丢包率确定的，混音贡献度和丢包率是服务器确定的，混音贡献度是服务器分别获取各路上行音频通道的声音信号后，根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定的各路上行音频通道的混音贡献度；
发送模块1110，用于按照目标重复多发倍数发送声音信号。
基于上述实施例，参阅图12所示为本申请实施例中电子设备的结构示意图。
本申请实施例提供了一种电子设备，该电子设备可以是前述实施例中的终端或服务器，该电子设备可以包括处理器1210(Center Processing Unit，CPU)、存储器1220、输入设备1230和输出设备1240等。
存储器1220可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器1210提供存储器1220中存储的程序指令和数据。在本申请实施例中，存储器1220可以用于存储本申请实施例中任一种多人通话控制方法的程序。
处理器1210通过调用存储器1220存储的程序指令，处理器1210用于按照获得的程序指令执行本申请实施例中任一种多人通话控制方法。
基于上述实施例，本申请实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意方法实施例中的多人通话控制方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种多人通话控制方法，其特征在于，包括：
分别获取各路上行音频通道的声音信号，其中，每路上行音频通道、下行音频通道和通话参与终端一一对应；
分别确定所述各路上行音频通道的丢包率；
根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定所述各路上行音频通道的混音贡献度；
根据所述各路上行音频通道的丢包率和混音贡献度，分别获得所述各路上行音频通道的目标重复多发倍数。
2.如权利要求1所述的方法，其特征在于，根据所述各路上行音频通道的丢包率和混音贡献度，分别获得所述各路上行音频通道的目标重复多发倍数，具体包括：
根据所述各路上行音频通道的丢包率和混音贡献度，分别获得所述各路上行音频通道的目标重复多发倍数；
分别将所述各路上行音频通道的目标重复多发倍数发送给对应上行音频通道的通话参与终端，以使所述各路上行音频通道的通话参与终端按照接收到的目标重复多发倍数，发送声音信号。
3.如权利要求1所述的方法，其特征在于，根据所述各路上行音频通道的丢包率和混音贡献度，分别获得所述各路上行音频通道的目标重复多发倍数，具体包括：
分别将所述各路上行音频通道的丢包率和混音贡献度，发送给对应上行音频通道的通话参与终端，以使所述各路上行音频通道对应的通话参与终端，根据接收到的丢包率和混音贡献度，确定目标重复多发倍数，并按照确定的目标重复多发倍数，发送声音信号。
4.如权利要求1所述的方法，其特征在于，根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定所述各路上行音频通道的混音贡献度，具体包括：
分别确定所述各路上行音频通道在除对应的下行音频通道之外的其它下行音频通道的下行混音信号的混音权重；
根据确定的各混音权重和各个声音信号，分别确定所述各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，并分别获得所述各路下行音频通道的下行混音信号，其中，所述各路下行音频通道的下行混音信号是将除对应的上行音频通道之外的其它上行音频通道的声音信号进行混音获得的；
根据所述各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，分别确定所述各路上行音频通道的混音贡献度。
5.如权利要求4所述的方法，其特征在于，周期性根据每路上行音频通道的声音信号，分别获取每路下行音频通道的下行混音信号并发送给对应的通话参与终端；
根据所述各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，分别确定所述各路上行音频通道的混音贡献度，具体包括：
根据第一预设参数、所有下行音频通道的上一周期下行混音信号的目标累积平滑值，以及各个下行混音信号，获得所有下行音频通道的当前周期下行混音信号的目标累积平滑值；
根据所述第一预设参数、所述各路上行音频通道的上一周期对应的贡献累计平滑值，以及所述各路上行音频通道的声音信号，在除对应的下行音频通道之外的其它下行音频通道的下行混音信号中的混音贡献，分别获得所述各路上行音频通道的当前周期对应的贡献累计平滑值；
分别将所述各路上行音频通道对应的贡献累计平滑值和目标累积平滑值的比值，作为对应上行音频通道的混音贡献度；
其中，所有下行音频通道第一周期下行混音信号的目标累计平滑值为各路下行音频通道第一周期下行混音信号之和或第一预设值；
所述各路上行音频通道的第一周期对应的贡献累计平滑值为，所述各路上行音频通道在除对应下行音频通道之外的其它下行音频通道的第一周期下行混音信号中的混音贡献或第二预设值。
6.如权利要求1所述的方法，其特征在于，根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定所述各路上行音频通道的混音贡献度，具体包括：
分别对所述各路上行音频通道的声音信号的语音特征信息进行分析，获得所述各路上行音频通道的选路状态，其中所述选路状态用于表示是否选中上行音频通道的声音信号参与混音处理；
分别根据所述各路上行音频通道的选路状态，确定所述各路上行音频通道的混音贡献度。
7.如权利要求6所述的方法，其特征在于，周期性根据各路上行音频通道的声音信号，确定各路上行音频通道的选路状态，并将表示被选中的选路状态对应的上行音频通道的声音信号发送给对应的通话参与终端，以使各通话参与终端获取对应下行音频通道的下行混音信号；
分别根据所述各路上行音频通道的选路状态，确定所述各路上行音频通道的混音贡献度，具体包括：
分别针对所述各路上行音频通道，若上行音频通道的选路状态表示被选中，则基于第二预设参数，以及所述上行音频通道的上一周期对应的选路状态平滑值，获得所述上行音频通道的当前周期对应的选路状态平滑值，并将所述选路状态平滑值作为对应上行音频通道的混音贡献度；
若上行音频通道的选路状态表示未选中，则基于第三预设参数，以及所述上行音频通道的上一周期对应的选路状态平滑值，获得所述上行音频通道的当前周期对应的选路状态平滑值，并将所述选路状态平滑值作为对应上行音频通道的混音贡献度；
其中，选路状态表示被选中时，所述上行音频通道的第一周期对应的选路状态平滑值为第三预设值，选路状态表示未被选中时，所述上行音频通道的第一周期对应的选路状态平滑值为第四预设值，并所述第二预设参数和所述第三预设参数的取值范围均为(0，1)，所述第三预设参数大于所述第二预设参数。
8.如权利要求1-7任一项所述的方法，其特征在于，根据所述各路上行音频通道的丢包率和混音贡献度，分别获得所述各路上行音频通道的目标重复多发倍数，包括：
针对任意一路上行音频通道，若所述上行音频通道的混音贡献度小于预设阈值，则减小基于丢包率确定的第一重复多发倍数，得到所述上行音频通道的目标重复多发倍数；
若所述上行音频通道的混音贡献度大于预设阈值，则增大基于丢包率确定的第一重复多发倍数，得到所述上行音频通道的目标重复多发倍数。
9.如权利要求8所述的方法，其特征在于，根据所述各路上行音频通道的丢包率和混音贡献度，分别获得所述各路上行音频通道的目标重复多发倍数，具体包括：
分别根据所述各路上行音频通道的丢包率，以及预设丢包率和重复多发倍数的映射关系，确定对应上行音频通道的第一重复多发倍数，其中，丢包率越大对应的重复多发倍数越大；
分别根据所述各路上行音频通道的混音贡献度，以及预设混音贡献度与重复多发倍数关联的单调递增函数，确定对应上行音频通道的第二重复多发倍数；
分别将所述各路上行音频通道对应的第一重复多发倍数和第二重复多发倍数的乘积，作为对应上行音频通道的目标重复多发倍数。
10.一种多人通话控制方法，其特征在于，包括：
获得目标重复多发倍数，其中，所述目标重复多发倍数是根据混音贡献度和丢包率确定的，所述混音贡献度和所述丢包率是服务器确定的，所述混音贡献度是所述服务器分别获取各路上行音频通道的声音信号后，根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定的所述各路上行音频通道的混音贡献度；
按照所述目标重复多发倍数发送声音信号。
11.一种多人通话控制装置，其特征在于，包括：
获取模块，用于分别获取各路上行音频通道的声音信号，其中，每路上行音频通道、下行音频通道和通话参与终端一一对应；
第一确定模块，用于分别确定所述各路上行音频通道的丢包率；
第二确定模块，用于根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定所述各路上行音频通道的混音贡献度；
控制模块，用于根据所述各路上行音频通道的丢包率和混音贡献度，分别获得所述各路上行音频通道的目标重复多发倍数。
12.如权利要求11所述的装置，其特征在于，所述控制模块具体用于：
针对任意一路上行音频通道，若所述上行音频通道的混音贡献度小于预设阈值，则减小基于丢包率确定的第一重复多发倍数，得到所述上行音频通道的目标重复多发倍数；
若所述上行音频通道的混音贡献度大于预设阈值，则增大基于丢包率确定的第一重复多发倍数，得到所述上行音频通道的目标重复多发倍数。
13.一种多人通话控制装置，其特征在于，包括：
获得模块，用于获得目标重复多发倍数，其中，所述目标重复多发倍数是根据混音贡献度和丢包率确定的，所述混音贡献度和所述丢包率是服务器确定的，所述混音贡献度是所述服务器分别获取各路上行音频通道的声音信号后，根据各个声音信号在各路下行音频通道的下行混音信号的参与度，确定的所述各路上行音频通道的混音贡献度；
发送模块，用于按照所述目标重复多发倍数发送声音信号。
14.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-9或10任一项所述方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-9或10任一项所述方法的步骤。
CN202010452300.9A 2020-05-26 2020-05-26 一种多人通话控制方法、装置、电子设备及存储介质 Active CN111628992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010452300.9A CN111628992B (zh) 2020-05-26 2020-05-26 一种多人通话控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010452300.9A CN111628992B (zh) 2020-05-26 2020-05-26 一种多人通话控制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111628992A true CN111628992A (zh) 2020-09-04
CN111628992B CN111628992B (zh) 2021-04-13

Family

ID=72261197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010452300.9A Active CN111628992B (zh) 2020-05-26 2020-05-26 一种多人通话控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111628992B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114448588A (zh) * 2022-01-14 2022-05-06 杭州网易智企科技有限公司 音频传输方法、装置、电子设备及计算机可读存储介质
CN117118956A (zh) * 2023-10-25 2023-11-24 腾讯科技（深圳）有限公司 音频处理方法、装置、电子设备及计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132837A1 (en) * 2005-12-08 2007-06-14 Samsung Electronics Co., Ltd Sound effect-processing method and device for mobile telephone
CN101252425A (zh) * 2008-04-09 2008-08-27 杭州华三通信技术有限公司 一种自动适应网络的丢包纠错方法和系统
CN101388831A (zh) * 2007-09-14 2009-03-18 华为技术有限公司 数据传输方法、节点及网关
CN102946298A (zh) * 2012-11-23 2013-02-27 电子科技大学 无线传感器网络中基于机会网络编码的数据重传方法
CN104469032A (zh) * 2014-10-30 2015-03-25 苏州科达科技股份有限公司 混音处理方法及系统
CN105007596A (zh) * 2015-08-13 2015-10-28 重庆大学 一种基于QoS的WSANs丢包判决器设计方法
CN107864084A (zh) * 2016-09-22 2018-03-30 腾讯科技（深圳）有限公司 数据包的传输方法和装置
CN108234790A (zh) * 2018-01-10 2018-06-29 网易（杭州）网络有限公司 多人语音通信方法、装置、终端设备和存储介质
CN108540500A (zh) * 2018-07-11 2018-09-14 Oppo（重庆）智能科技有限公司 多人通话的数据传输方法、装置、设备及存储介质
CN109474897A (zh) * 2019-01-10 2019-03-15 厦门大学 基于隐马尔可夫模型的车联网安全消息单跳协作广播方法
CN109996254A (zh) * 2017-12-30 2019-07-09 中国移动通信集团湖北有限公司 语音业务单通原因定位方法、装置、设备和介质
CN110890945A (zh) * 2019-11-20 2020-03-17 腾讯科技（深圳）有限公司 数据传输方法、装置、终端及存储介质
CN111048119A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 通话音频混音处理方法、装置、存储介质和计算机设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132837A1 (en) * 2005-12-08 2007-06-14 Samsung Electronics Co., Ltd Sound effect-processing method and device for mobile telephone
CN101388831A (zh) * 2007-09-14 2009-03-18 华为技术有限公司 数据传输方法、节点及网关
CN101252425A (zh) * 2008-04-09 2008-08-27 杭州华三通信技术有限公司 一种自动适应网络的丢包纠错方法和系统
CN102946298A (zh) * 2012-11-23 2013-02-27 电子科技大学 无线传感器网络中基于机会网络编码的数据重传方法
CN104469032A (zh) * 2014-10-30 2015-03-25 苏州科达科技股份有限公司 混音处理方法及系统
CN105007596A (zh) * 2015-08-13 2015-10-28 重庆大学 一种基于QoS的WSANs丢包判决器设计方法
CN107864084A (zh) * 2016-09-22 2018-03-30 腾讯科技（深圳）有限公司 数据包的传输方法和装置
CN109996254A (zh) * 2017-12-30 2019-07-09 中国移动通信集团湖北有限公司 语音业务单通原因定位方法、装置、设备和介质
CN108234790A (zh) * 2018-01-10 2018-06-29 网易（杭州）网络有限公司 多人语音通信方法、装置、终端设备和存储介质
CN108540500A (zh) * 2018-07-11 2018-09-14 Oppo（重庆）智能科技有限公司 多人通话的数据传输方法、装置、设备及存储介质
CN109474897A (zh) * 2019-01-10 2019-03-15 厦门大学 基于隐马尔可夫模型的车联网安全消息单跳协作广播方法
CN110890945A (zh) * 2019-11-20 2020-03-17 腾讯科技（深圳）有限公司 数据传输方法、装置、终端及存储介质
CN111048119A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 通话音频混音处理方法、装置、存储介质和计算机设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114448588A (zh) * 2022-01-14 2022-05-06 杭州网易智企科技有限公司 音频传输方法、装置、电子设备及计算机可读存储介质
CN114448588B (zh) * 2022-01-14 2024-01-23 杭州网易智企科技有限公司 音频传输方法、装置、电子设备及计算机可读存储介质
CN117118956A (zh) * 2023-10-25 2023-11-24 腾讯科技（深圳）有限公司 音频处理方法、装置、电子设备及计算机可读存储介质
CN117118956B (zh) * 2023-10-25 2024-01-19 腾讯科技（深圳）有限公司 音频处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111628992B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
JP3948904B2 (ja) エッジポイントミキシングを有する遠隔会議ブリッジ
CN111048119B (zh) 通话音频混音处理方法、装置、存储介质和计算机设备
US7567270B2 (en) Audio data control
US9246962B2 (en) Conference mixing using turbo-VAD
US20060067500A1 (en) Teleconferencing bridge with edgepoint mixing
US9628630B2 (en) Method for improving perceptual continuity in a spatial teleconferencing system
US7953069B2 (en) Device and method for estimating audiovisual quality impairment in packet networks
EP3111626B1 (en) Perceptually continuous mixing in a teleconference
CN111628992B (zh) 一种多人通话控制方法、装置、电子设备及存储介质
US9007416B1 (en) Local social conference calling
EP2375648B1 (en) Method, system and node device for realizing audio mixing of multi-path voice
US7945006B2 (en) Data-driven method and apparatus for real-time mixing of multichannel signals in a media server
EP2158753B1 (en) Selection of audio signals to be mixed in an audio conference
US20110235499A1 (en) System and method for echo suppression in web browser-based communication
CN111951813A (zh) 语音编码控制方法、装置及存储介质
CN113299299B (zh) 音频处理设备、方法及计算机可读存储介质
US20080059161A1 (en) Adaptive Comfort Noise Generation
CN117118956B (zh) 音频处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028507

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant