CN104469032A - 混音处理方法及系统 - Google Patents

混音处理方法及系统 Download PDF

Info

Publication number
CN104469032A
CN104469032A CN201410598252.9A CN201410598252A CN104469032A CN 104469032 A CN104469032 A CN 104469032A CN 201410598252 A CN201410598252 A CN 201410598252A CN 104469032 A CN104469032 A CN 104469032A
Authority
CN
China
Prior art keywords
passage
group
access
probable value
audio mixing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410598252.9A
Other languages
English (en)
Other versions
CN104469032B (zh
Inventor
王雪宁
凡超
张涛
熊锋
陈卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201410598252.9A priority Critical patent/CN104469032B/zh
Publication of CN104469032A publication Critical patent/CN104469032A/zh
Application granted granted Critical
Publication of CN104469032B publication Critical patent/CN104469032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种混音处理方法及系统,其中所述方法包括:接入步骤,将参与混音的设备接入到接入通道组,为每个接入的所述设备分配一个通道;预选步骤,从所述接入通道组中选择接入顺序靠前的通道接入预选通道组;计算概率步骤,计算所述预选通道组中各个通道有语音发言的概率值;踢出步骤,将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组,并从所述接入通道组中选择其他通道替换;排序步骤,将所述预选通道组中各个通道按照所述概率值的大小进行排序,使排序靠前的通道接入混音通道组;混音步骤,将所述混音通道组中各个通道的语音信号进行混音。本发明的混音处理方法及系统解决了现有技术的混音处理方法不能及时从与会终端中选择参与混音的发言终端,影响会议体验的技术问题。

Description

混音处理方法及系统
技术领域
本发明涉及混音处理技术领域,具体涉及一种混音处理方法及系统。
背景技术
随着通信网络及业务的发展,多方通话业务已经成为公共交换电信网/综合业务数字网、分组语音网和移动网必备的补充业务,同时在上述网络中会议电话或会议电视业务应用也越来越广泛。基本的语音业务仅涉及两个通话方,通话双方可互相听到对方的声音,而在多方通话业务和会议业务中,同时通话方可能不止两方,其中任意一方的语音信号都应可以被传送到所有其他通话方,而每一通话方都应同时可听到多个其他通话方的声音。为此,在多方通话和会议电话业务中通常需要进行混音处理,也即将多个通话方的语音信号混合起来,以便任意一个通话成员都可同时听到其他通话方的声音。
当通话方数量较多时,通常并不是将所有通话方的语音信号都混合起来,而是根据语音功率大小(语音信号的能量或幅度量度)以及混音优先级判定规则选择一些通话方的语音信号进行混合,并将混合后的声音传给所有通话方。在多方通话或会议电话/电视业务中,混音处理过程一般都涉及通话各方语音功率大小的计算、被混音通话方通道的确定、混音通道的语音信号混合以及混音后语音信号的传送等步骤。
目前,大多数视频会议平台系统都支持混音器,与会的一部分终端可以参与讨论发言。如何从所有与会终端中选择参与混音的终端,并且能够快速替换非发言终端,是影响会议体验的一个重要问题。现有技术的混音处理方法,主要是通过轮询的方式选择参与混音的终端。但是该方法存在反应时间慢、性能消耗大、被替换通道难以再次参与混音等缺陷。
发明内容
为此,本发明要解决的技术问题在于现有技术的混音处理方法不能及时从与会终端中选择参与混音的发言终端,影响会议体验,从而提出一种混音处理方法及系统来解决该问题。
为解决上述技术问题,本发明采用以下技术方案:
一种混音处理方法,包括:接入步骤,将参与混音的设备接入到接入通道组,为每个接入的所述设备分配一个通道;预选步骤,从所述接入通道组中选择接入顺序靠前的通道接入预选通道组;计算概率步骤,计算所述预选通道组中各个通道有语音发言的概率值;踢出步骤,将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组,并从所述接入通道组中选择其他通道替换;排序步骤,将所述预选通道组中各个通道按照所述概率值的大小进行排序,使排序靠前的通道接入混音通道组;混音步骤,将所述混音通道组中各个通道的语音信号进行混音。
优选地,循环执行所述计算概率步骤、所述踢出步骤、所述排序步骤。
优选地,在所述排序步骤中,所述将所述预选通道组中各个通道按照所述概率值的大小进行排序的步骤包括:判断所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内是否一直小于所述预选通道组中其他通道的概率值;当所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内一直小于所述预选通道组中其他通道的概率值时,将两个通道互换排序,否则保持排序不变。
优选地,所述预设的混音保持时间为1-10秒。
优选地,在所述踢出步骤中,所述将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组的步骤包括:判断所述预选通道组中的通道的所述概率值在预设的预选保持时间内是否一直为零;当所述预选通道组中的通道的所述概率值在预设的预选保持时间内一直为零时,将所述概率值一直为零的所述通道踢出到所述接入通道组,否则保持在所述预选通道组中。
优选地,所述预设的预选保持时间为0.1-5秒。
优选地,所述计算概率步骤包括:语音功率检测步骤,对所述预选通道组中各个通道进行语音功率检测,如果检测值大于或者等于上限功率参考值,则所述概率值为100%;如果检测值小于或者等于下限功率参考值,则所述概率值为0;如果检测值小于上限功率参考值并且大于下限功率参考值,则所述概率值为:(检测值-下限功率参考值)/(上限功率参考值-下限功率参考值)。
优选地,所述上限功率参考值为50-75分贝,所述下限功率参考值为15-25分贝。
优选地,所述语音功率检测步骤之后包括:语音激活检测步骤,对所述预选通道组中各个通道进行语音激活检测,如果有语音存在,则使所述概率值增加一个预设增量,增加后的所述概率值大于100%,则以100%计;否则,保持所述概率值不变。
优选地,所述预设增量为大于0小于100%的值。
优选地,所述语音激活检测步骤之后包括:累加步骤,将本次计算的所述频率值与上一次计算的所述频率值累加作为所述本次计算的所述频率值。
优选地,所述累加步骤之后包括:衰减步骤,将所述本次计算的所述频率值乘以一个数值大小为0至1之间的衰减因子。
优选地,在所述踢出步骤中,所述从所述接入通道组中选择其他通道替换的步骤包括:将所述接入通道组的各个通道按照接入顺序排队,从所述预选通道组踢出的通道排在队尾;第一次选择排序最前的通道替换,下一次选择排序+1的通道替换,直至队尾结束,返回队首重新开始。
基于相同的发明构思,本发明还提供一种混音处理系统,包括:接入模块,用于将参与混音的设备接入到接入通道组,为每个接入的所述设备分配一个通道;预选模块,用于从所述接入通道组中选择接入顺序靠前的通道接入预选通道组;计算概率模块,计算所述预选通道组中各个通道有语音发言的概率值;踢出模块,将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组,并从所述接入通道组中选择其他通道替换;排序模块,将所述预选通道组中各个通道按照所述概率值的大小进行排序,使排序靠前的通道接入混音通道组;混音模块,用于将所述混音通道组中各个通道的语音信号进行混音。
优选地,所述排序模块包括:混音保持判断模块,用于判断所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内是否一直小于所述预选通道组中其他通道的概率值;互换模块,用于当混音保持判断模块判断所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内一直小于所述预选通道组中其他通道的概率值时,将两个通道互换排序,否则保持排序不变。
优选地,所述踢出模块包括:预选保持判断模块,用于判断所述预选通道组中的通道的所述概率值在预设的预选保持时间内是否一直为零;踢出预选模块,用于当所述预选通道组中的通道的所述概率值在预设的预选保持时间内一直为零时,将所述概率值一直为零的所述通道踢出到所述接入通道组,否则保持在所述预选通道组中。
本发明的混音处理方法及系统的有益效果为:
本发明的混音处理方法及系统,由于包括:接入步骤,将参与混音的设备接入到接入通道组,为每个接入的所述设备分配一个通道;预选步骤,从所述接入通道组中选择接入顺序靠前的通道接入预选通道组;计算概率步骤,计算所述预选通道组中各个通道有语音发言的概率值;踢出步骤,将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组,并从所述接入通道组中选择其他通道替换;排序步骤,将所述预选通道组中各个通道按照所述概率值的大小进行排序,使排序靠前的通道接入混音通道组;混音步骤,将所述混音通道组中各个通道的语音信号进行混音。这样,通过接入通道组、预选通道组和混音通道组三级通道组进行混音竞争管理,能够快速选择发言终端并且降低性能消耗,保证视频会议中语音交互的流畅体验。
附图说明
为了使本发明的内容更容易被清楚的理解,下面根据本发明的具体实施例并结合附图,对本发明作进一步详细的说明,其中
图1是本发明实施例1的一种混音处理方法的示意图;
图2是本发明实施例2的一种混音处理方法的示意图;
图3是本发明实施例3的一种混音处理系统的示意图。
具体实施方式
实施例1
图1示出了本实施例的一种混音处理方法,所述方法包括:
接入步骤A,将参与混音的设备接入到接入通道组,为每个接入的所述设备分配一个通道。
预选步骤B,从所述接入通道组中选择接入顺序靠前的通道接入预选通道组。
计算概率步骤C,计算所述预选通道组中各个通道有语音发言的概率值,
踢出步骤D,将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组,并从所述接入通道组中选择其他通道替换。
排序步骤E,将所述预选通道组中各个通道按照所述概率值的大小进行排序,使排序靠前的通道接入混音通道组。
混音步骤F,将所述混音通道组中各个通道的语音信号进行混音。
循环执行计算概率步骤C、踢出步骤D、排序步骤E。
通过所述接入通道组、预选通道组和混音通道组三级通道组进行混音竞争管理,能够快速选择发言终端并且降低性能消耗,保证视频会议中语音交互的流畅体验。
优选地,计算概率步骤C具体包括以下步骤:
语音功率检测步骤,对所述预选通道组中各个通道进行语音功率检测,如果检测值大于或者等于上限功率参考值,则所述概率值为100%;如果检测值小于或者等于下限功率参考值,则所述概率值为0;如果检测值小于上限功率参考值并且大于下限功率参考值,则所述概率值为:(检测值-下限功率参考值)/(上限功率参考值-下限功率参考值)。所述上限功率参考值为50-75分贝,所述下限功率参考值为15-25分贝。作为优选的实施方式,所述上限功率参考值为54分贝,所述下限功率参考值为18分贝。
语音激活检测步骤,对所述预选通道组中各个通道进行语音激活检测,如果有语音存在,则使所述概率值增加一个预设增量,增加后的所述概率值大于100%,则以100%计;否则,保持所述概率值不变。所述预设增量为大于0小于100%的值。作为优选的实施方式,所述预设增量为30%。
累加步骤,将本次计算的所述频率值与上一次计算的所述频率值累加作为所述本次计算的所述频率值。
衰减步骤,将所述本次计算的所述频率值乘以一个数值大小为0至1之间的衰减因子。作为优选的实施方式,所述衰减因子为0.5。
将有语音发言的概率值基于语音功率检测和语音激活检测两个部分进行计算,既可以避免仅进行语音功率检测时,小声讲话会被功率大的杂音通道替换,例如关门声、桌椅移动声等;又可以避免仅进行计算语音激活检测,由于语音激活检测算法的准确度不高而导致误判。有个假定前提是,所有参与混音的设备的麦克风都按照同一标准校准过,即同样音量的音源被不同设备的麦克风采集到的音量是一样的。如果某个设备的功率较大,会被认为更有发言的愿望,所以先进行语音功率检测,再结合语音激活检测来计算有语音发言的概率值。另外,人讲话时会抑扬顿挫,音量高低起伏,将本次计算的所述频率值与上一次计算的所述频率值累加作为所述本次计算的所述频率值,这样可以保证有声音发言的通道维持一定的高概率。将所述本次计算的所述频率值乘以一个数值大小为0至1之间的衰减因子。这样,如果上一次所述频率值为100%,后面该通道中一直没有发言,但是累加后结果一直为100%,那么就无法被替换,通过衰减因子可以避免这一情况的发生。优选地,所述衰减因子为0.5。
优选地,在踢出步骤D中,
所述将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组的步骤包括:预选保持判断步骤,判断所述预选通道组中的通道的所述概率值在预设的预选保持时间内是否一直为零。踢出预选步骤,当所述预选通道组中的通道的所述概率值在预设的预选保持时间内一直为零时,将所述概率值一直为零的所述通道踢出到所述接入通道组,否则保持在所述预选通道组中。所述预设的预选保持时间为0.1-5秒。作为优选的实施方式,所述预设的预选保持时间为0.5秒。
所述从所述接入通道组中选择其他通道替换的步骤包括:将所述接入通道组的各个通道按照接入顺序排队,从所述预选通道组踢出的通道排在队尾;第一次选择排序最前的通道替换,下一次选择排序+1的通道替换,直至队尾结束,返回队首重新开始。
所述预设的预选保持时间可以减少误判,因为所述预选通道组中的某个通道在进行有语音发言的概率值的计算时处于讲话停顿中,那么就会错过该预选通道,可能导致该通道一直无法进入混音通道。同时所述预设的预选保持时间不能太长,如果时间太长,就会导致后面有语音发言的通道不能及时进入预选通道组,所以所述预设的预选保持时间既不能太短,也不能太长。
优选地,在排序步骤E中,
所述将所述预选通道组中各个通道按照所述概率值的大小进行排序的步骤包括:混音保持判断步骤,判断所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内是否一直小于所述预选通道组中其他通道的概率值。互换步骤,当所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内一直小于所述预选通道组中其他通道的概率值时,将两个通道互换排序,否则保持排序不变。这样可以避免在讲话停顿时被踢出混音通道组,降低误判率。所述预设的混音保持时间为1-10秒。作为优选的实施方式,所述预设的混音保持时间为5秒。
实施例2
下面结合具体实例,对实施例1中的混音处理方法进行进一步地详细描述,如图2所示。
首先,通过网络220接收需要参与混音的设备210的数据,并将参与混音的设备210的数据送入接入通道组230。为每个参与混音的设备210分配一个通道,例如,为参与混音的设备210分配通道0或者通道s或者通道m。接入通道组230的容量,即接入通道组230中的通道数可以为需要参与混音的设备210的总数。
然后,从接入通道组230中选择接入顺序靠前的通道接入预选通道组240。即第一次进入预选通道组240的是先接入到接入通道组230中的若干个通道,具体数量由预选通道组230的容量决定。
然后,对预选通道组240中各个通道计算有语音发言的概率值。需要对预选通道组240中的各个通道的数据进行解码,为每个通道分配一个解码器,再对解码的数据计算有语音发言的概率值。具体地,对预选通道组240中各个通道进行语音功率检测,如果检测值大于或者等于上限功率参考值,则所述概率值为100%;如果检测值小于或者等于下限功率参考值,则所述概率值为0;如果检测值小于上限功率参考值并且大于下限功率参考值,则所述概率值为:(检测值-下限功率参考值)/(上限功率参考值-下限功率参考值)。所述上限功率参考值为50-75分贝,所述下限功率参考值为15-25分贝。作为优选的实施方式,所述上限功率参考值为54分贝,所述下限功率参考值为18分贝。再对预选通道组240中各个通道进行语音激活检测,如果有语音存在,则使所述概率值增加一个预设增量,增加后的所述概率值大于100%,则以100%计;否则,保持所述概率值不变。所述预设增量为大于0小于100%的值。作为优选的实施方式,所述预设增量为30%。再将本次计算的所述频率值与上一次计算的所述频率值累加作为所述本次计算的所述频率值。最后将所述本次计算的所述频率值乘以一个数值大小为0至1之间的衰减因子。优选地,所述衰减因子为0.5。
然后,将预选通道组240中所述概率值为零的通道踢出到接入通道组230中,例如通道q的所述概率值为零,被从预选通道组240中踢出;从接入通道组230中选择其他通道替换。具体地,如果预选通道组240中的通道的所述概率值在预设的预选保持时间内一直为零,则将所述概率值一直为零的所述通道踢出到接入通道组230,否则保持在预选通道组240中。所述预设的预选保持时间为0.1-5秒。作为优选的实施方式,所述预设的预选保持时间为0.5秒。将接入通道组230的各个通道按照接入顺序排队,从预选通道组240踢出的通道排在队尾;第一次选择排序最前的通道替换,下一次选择排序+1的通道替换,直至队尾结束,返回队首重新开始。
然后,将预选通道组240中各个通道按照所述概率值的大小进行排序,例如,通道0排序第一,通道q次之,通道n排序末尾;使排序靠前的通道接入混音通道组250,混音通道组250的容量可以为预选通道组240容量的一半,例如预选通道组240容量为n个通道,混音通道组250的容量为n/2个通道。如果预选通道组240中接入混音通道组250的通道的概率值在预设的混音保持时间内一直小于预选通道组240中其他通道的概率值,则将两个通道互换排序,否则保持排序不变。所述预设的混音保持时间为1-10秒。作为优选的实施方式,所述预设的混音保持时间为5秒。使所述排序靠前的通道接入混音通道组250,即第一次接入混音通道组250的是预选通道组240中排序靠前的通道。当预选通道组240中接入混音通道组250的通道与预选通道组240中其他通道互换排序后,也就是说,预选通道组240中接入混音通道组250的所述概率值最小的通道的所述概率值小于预选通道组240中其他通道中所述概率值最大的通道的所述概率值,则将预选通道组240中接入混音通道组250的所述概率值最小的通道从混音通道组250中踢出,选择预选通道组240中其他通道中所述概率值最大的通道替换到混音通道组250中。
最后,将混音通道组250中各个通道的语音信号进行混音。将混音通道组250中的解码数据发送给混音前数据缓冲区260,混音器270读取数据并进行混音。然后写入混音后数据缓冲区280,根据编码的需要分配多路编码器290,将编码数据发送到网络220,完成混音功能。
实施例3
图3示出了本实施例的一种混音处理系统,所述系统包括接入模块310、预选模块320、计算概率模块330、踢出模块340、排序模块350和混音模块360。
接入模块310用于将参与混音的设备接入到接入通道组,为每个接入的所述设备分配一个通道。
预选模块320用于从所述接入通道组中选择接入顺序靠前的通道接入预选通道组。
计算概率模块330用于计算所述预选通道组中各个通道有语音发言的概率值,
踢出模块340用于将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组,并从所述接入通道组中选择其他通道替换。
排序模块350用于将所述预选通道组中各个通道按照所述概率值的大小进行排序,使排序靠前的通道接入混音通道组。
混音模块360用于将所述混音通道组中各个通道的语音信号进行混音。
循环执行计算概率模块330、踢出模块340、排序模块350。
通过所述接入通道组、预选通道组和混音通道组三级通道组进行混音竞争管理,能够快速选择发言终端并且降低性能消耗,保证视频会议中语音交互的流畅体验。
优选地,计算概率模块330具体包括:
语音功率检测模块,用于对所述预选通道组中各个通道进行语音功率检测,如果检测值大于或者等于上限功率参考值,则所述概率值为100%;如果检测值小于或者等于下限功率参考值,则所述概率值为0;如果检测值小于上限功率参考值并且大于下限功率参考值,则所述概率值为:(检测值-下限功率参考值)/(上限功率参考值-下限功率参考值)。所述上限功率参考值为50-75分贝,所述下限功率参考值为15-25分贝。作为优选的实施方式,所述上限功率参考值为54分贝,所述下限功率参考值为18分贝。
语音激活检测模块,用于对所述预选通道组中各个通道进行语音激活检测,如果有语音存在,则使所述概率值增加一个预设增量,增加后的所述概率值大于100%,则以100%计;否则,保持所述概率值不变。所述预设增量为大于0小于100%的值。作为优选的实施方式,所述预设增量为30%。
累加模块,用于将本次计算的所述频率值与上一次计算的所述频率值累加作为所述本次计算的所述频率值。
衰减模块,用于将所述本次计算的所述频率值乘以一个数值大小为0至1之间的衰减因子。作为优选的实施方式,所述衰减因子为0.5。
将有语音发言的概率值基于语音功率检测和语音激活检测两个部分进行计算,既可以避免仅进行语音功率检测时,小声讲话会被功率大的杂音通道替换,例如关门声、桌椅移动声等;又可以避免仅进行计算语音激活检测,由于语音激活检测算法的准确度不高而导致误判。有个假定前提是,所有参与混音的设备的麦克风都按照同一标准校准过,即同样音量的音源被不同设备的麦克风采集到的音量是一样的。如果某个设备的功率较大,会被认为更有发言的愿望,所以先进行语音功率检测,再结合语音激活检测来计算有语音发言的概率值。另外,人讲话时会抑扬顿挫,音量高低起伏,将本次计算的所述频率值与上一次计算的所述频率值累加作为所述本次计算的所述频率值,这样可以保证有声音发言的通道维持一定的高概率。将所述本次计算的所述频率值乘以一个数值大小为0至1之间的衰减因子。这样,如果上一次所述频率值为100%,后面该通道中一直没有发言,但是累加后结果一直为100%,那么就无法被替换,通过衰减因子可以避免这一情况的发生。
优选地,踢出模块340包括预选保持判断模块、踢出预选模块和轮询模块。所述预选保持判断模块用于判断所述预选通道组中的通道的所述概率值在预设的预选保持时间内是否一直为零。所述踢出预选模块用于当所述预选通道组中的通道的所述概率值在预设的预选保持时间内一直为零时,将所述概率值一直为零的所述通道踢出到所述接入通道组,否则保持在所述预选通道组中。所述预设的预选保持时间为0.1-5秒。作为优选的实施方式,所述预设的预选保持时间为0.5秒。所述轮询模块用于将所述接入通道组的各个通道按照接入顺序排队,从所述预选通道组踢出的通道排在队尾;第一次选择排序最前的通道替换,下一次选择排序+1的通道替换,直至队尾结束,返回队首重新开始。
所述预设的预选保持时间可以减少误判,因为所述预选通道组中的某个通道在进行有语音发言的概率值的计算时处于讲话停顿中,那么就会错过该预选通道,可能导致该通道一直无法进入混音通道。同时所述预设的预选保持时间不能太长,如果时间太长,就会导致后面有语音发言的通道不能及时进入预选通道组,所以所述预设的预选保持时间既不能太短,也不能太长。
优选地,排序模块350包括混音保持判断模块和互换模块。所述混音保持判断模块用于判断所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内是否一直小于所述预选通道组中其他通道的概率值;所述互换模块用于当所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内一直小于所述预选通道组中其他通道的概率值时,将两个通道互换排序,否则保持排序不变。
这样可以避免在讲话停顿时被踢出混音通道组,降低误判率。所述预设的混音保持时间为1-10秒。作为优选的实施方式,所述预设的混音保持时间为5秒。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (16)

1.一种混音处理方法,其特征在于,包括:
接入步骤,将参与混音的设备接入到接入通道组,为每个接入的所述设备分配一个通道;
预选步骤,从所述接入通道组中选择接入顺序靠前的通道接入预选通道组;
计算概率步骤,计算所述预选通道组中各个通道有语音发言的概率值;
踢出步骤,将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组,并从所述接入通道组中选择其他通道替换;
排序步骤,将所述预选通道组中各个通道按照所述概率值的大小进行排序,使排序靠前的通道接入混音通道组;
混音步骤,将所述混音通道组中各个通道的语音信号进行混音。
2.根据权利要求1所述的一种混音处理方法,其特征在于,循环执行所述计算概率步骤、所述踢出步骤、所述排序步骤。
3.根据权利要求2所述的一种混音处理方法,其特征在于,在所述排序步骤中,所述将所述预选通道组中各个通道按照所述概率值的大小进行排序的步骤包括:
判断所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内是否一直小于所述预选通道组中其他通道的概率值;
当所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内一直小于所述预选通道组中其他通道的概率值时,将两个通道互换排序,否则保持排序不变。
4.根据权利要求3所述的一种混音处理方法,其特征在于,所述预设的混音保持时间为1-10秒。
5.根据权利要求2所述的一种混音处理方法,其特征在于,在所述踢出步骤中,所述将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组的步骤包括:
判断所述预选通道组中的通道的所述概率值在预设的预选保持时间内是否一直为零;
当所述预选通道组中的通道的所述概率值在预设的预选保持时间内一直为零时,将所述概率值一直为零的所述通道踢出到所述接入通道组,否则保持在所述预选通道组中。
6.根据权利要求5所述的一种混音处理方法,其特征在于,所述预设的预选保持时间为0.1-5秒。
7.根据权利要求1-6任一项所述的一种混音处理方法,其特征在于,所述计算概率步骤包括:
语音功率检测步骤,对所述预选通道组中各个通道进行语音功率检测,如果检测值大于或者等于上限功率参考值,则所述概率值为100%;如果检测值小于或者等于下限功率参考值,则所述概率值为0;如果检测值小于上限功率参考值并且大于下限功率参考值,则所述概率值为:(检测值-下限功率参考值)/(上限功率参考值-下限功率参考值)。
8.根据权利要求7所述的一种混音处理方法,其特征在于,所述上限功率参考值为50-75分贝,所述下限功率参考值为15-25分贝。
9.根据权利要求7所述的一种混音处理方法,其特征在于,所述语音功率检测步骤之后包括:
语音激活检测步骤,对所述预选通道组中各个通道进行语音激活检测,如果有语音存在,则使所述概率值增加一个预设增量,增加后的所述概率值大于100%,则以100%计;否则,保持所述概率值不变。
10.根据权利要求9所述的一种混音处理方法,其特征在于,所述预设增量为大于0小于100%的值。
11.根据权利要求9或10所述的一种混音处理方法,其特征在于,所述语音激活检测步骤之后包括:
累加步骤,将本次计算的所述频率值与上一次计算的所述频率值累加作为所述本次计算的所述频率值。
12.根据权利要求11所述的一种混音处理方法,其特征在于,所述累加步骤之后包括:
衰减步骤,将所述本次计算的所述频率值乘以一个数值大小为0至1之间的衰减因子。
13.根据权利要求1-12任一项所述的一种混音处理方法,其特征在于,在所述踢出步骤中,所述从所述接入通道组中选择其他通道替换的步骤包括:
将所述接入通道组的各个通道按照接入顺序排队,从所述预选通道组踢出的通道排在队尾;
第一次选择排序最前的通道替换,下一次选择排序+1的通道替换,直至队尾结束,返回队首重新开始。
14.一种混音处理系统,其特征在于,包括:
接入模块,用于将参与混音的设备接入到接入通道组,为每个接入的所述设备分配一个通道;
预选模块,用于从所述接入通道组中选择接入顺序靠前的通道接入预选通道组;
计算概率模块,计算所述预选通道组中各个通道有语音发言的概率值;
踢出模块,将所述预选通道组中所述概率值为零的通道踢出到所述接入通道组,并从所述接入通道组中选择其他通道替换;
排序模块,将所述预选通道组中各个通道按照所述概率值的大小进行排序,使排序靠前的通道接入混音通道组;
混音模块,用于将所述混音通道组中各个通道的语音信号进行混音。
15.根据权利要求14所述的一种混音处理系统,其特征在于,所述排序模块包括:
混音保持判断模块,用于判断所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内是否一直小于所述预选通道组中其他通道的概率值;
互换模块,用于当混音保持判断模块判断所述预选通道组中接入所述混音通道组的通道的概率值在预设的混音保持时间内一直小于所述预选通道组中其他通道的概率值时,将两个通道互换排序,否则保持排序不变。
16.根据权利要求14或15所述的一种混音处理系统,其特征在于,所述踢出模块包括:
预选保持判断模块,用于判断所述预选通道组中的通道的所述概率值在预设的预选保持时间内是否一直为零;
踢出预选模块,用于当所述预选通道组中的通道的所述概率值在预设的预选保持时间内一直为零时,将所述概率值一直为零的所述通道踢出到所述接入通道组,否则保持在所述预选通道组中。
CN201410598252.9A 2014-10-30 2014-10-30 混音处理方法及系统 Active CN104469032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410598252.9A CN104469032B (zh) 2014-10-30 2014-10-30 混音处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410598252.9A CN104469032B (zh) 2014-10-30 2014-10-30 混音处理方法及系统

Publications (2)

Publication Number Publication Date
CN104469032A true CN104469032A (zh) 2015-03-25
CN104469032B CN104469032B (zh) 2017-06-16

Family

ID=52914365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410598252.9A Active CN104469032B (zh) 2014-10-30 2014-10-30 混音处理方法及系统

Country Status (1)

Country Link
CN (1) CN104469032B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613151A (zh) * 2017-08-11 2018-01-19 华迪计算机集团有限公司 一种用于会议代表之间互动的电话会议的混音方法及系统
CN109218542A (zh) * 2017-06-30 2019-01-15 南宁富桂精密工业有限公司 用于呼叫管理的方法、装置及计算机可读存储介质
CN111371957A (zh) * 2020-05-26 2020-07-03 腾讯科技(深圳)有限公司 一种冗余度控制方法、装置、电子设备和存储介质
CN111628992A (zh) * 2020-05-26 2020-09-04 腾讯科技(深圳)有限公司 一种多人通话控制方法、装置、电子设备及存储介质
CN114173011A (zh) * 2021-11-29 2022-03-11 河北远东通信系统工程有限公司 一种面向协同指挥媒体引擎的混音控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286664A1 (en) * 2004-06-24 2005-12-29 Jingdong Chen Data-driven method and apparatus for real-time mixing of multichannel signals in a media server
US20080165707A1 (en) * 2007-01-04 2008-07-10 Cisco Technology, Inc. Audio conferencing utilizing packets with unencrypted power level information
CN101488870A (zh) * 2009-02-25 2009-07-22 杭州华三通信技术有限公司 语音混音的实现方法、系统及设备
CN103050124A (zh) * 2011-10-13 2013-04-17 华为终端有限公司 混音方法、装置及系统
CN103988486A (zh) * 2011-12-13 2014-08-13 华为技术有限公司 在多方电话会议的混音中选择活动信道的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286664A1 (en) * 2004-06-24 2005-12-29 Jingdong Chen Data-driven method and apparatus for real-time mixing of multichannel signals in a media server
US20080165707A1 (en) * 2007-01-04 2008-07-10 Cisco Technology, Inc. Audio conferencing utilizing packets with unencrypted power level information
CN101488870A (zh) * 2009-02-25 2009-07-22 杭州华三通信技术有限公司 语音混音的实现方法、系统及设备
CN103050124A (zh) * 2011-10-13 2013-04-17 华为终端有限公司 混音方法、装置及系统
CN103988486A (zh) * 2011-12-13 2014-08-13 华为技术有限公司 在多方电话会议的混音中选择活动信道的方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218542A (zh) * 2017-06-30 2019-01-15 南宁富桂精密工业有限公司 用于呼叫管理的方法、装置及计算机可读存储介质
CN109218542B (zh) * 2017-06-30 2020-09-29 南宁富桂精密工业有限公司 用于呼叫管理的方法、装置及计算机可读存储介质
CN107613151A (zh) * 2017-08-11 2018-01-19 华迪计算机集团有限公司 一种用于会议代表之间互动的电话会议的混音方法及系统
CN111371957A (zh) * 2020-05-26 2020-07-03 腾讯科技(深圳)有限公司 一种冗余度控制方法、装置、电子设备和存储介质
CN111371957B (zh) * 2020-05-26 2020-08-25 腾讯科技(深圳)有限公司 一种冗余度控制方法、装置、电子设备和存储介质
CN111628992A (zh) * 2020-05-26 2020-09-04 腾讯科技(深圳)有限公司 一种多人通话控制方法、装置、电子设备及存储介质
CN111628992B (zh) * 2020-05-26 2021-04-13 腾讯科技(深圳)有限公司 一种多人通话控制方法、装置、电子设备及存储介质
CN114173011A (zh) * 2021-11-29 2022-03-11 河北远东通信系统工程有限公司 一种面向协同指挥媒体引擎的混音控制方法
CN114173011B (zh) * 2021-11-29 2024-03-19 河北远东通信系统工程有限公司 一种面向协同指挥媒体引擎的混音控制方法

Also Published As

Publication number Publication date
CN104469032B (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
CN104469032A (zh) 混音处理方法及系统
US7292543B2 (en) Speaker tracking on a multi-core in a packet based conferencing system
CN101473637B (zh) 音频混合
JP4231698B2 (ja) 多地点マルチメディア/音声システムの制御ユニット
CN101502089B (zh) 进行音频会议的方法、音频会议装置和编码器之间的切换方法
CN110070878B (zh) 音频码流的解码方法及电子设备
CN112104836A (zh) 一种音频服务器混音方法、系统、存储介质及设备
US7020257B2 (en) Voice activity identiftication for speaker tracking in a packet based conferencing system with distributed processing
CN111583942B (zh) 语音会话的编码码率控制方法、装置和计算机设备
CN112118264A (zh) 会议混音方法以及系统
CN110503981A (zh) 无参考音频客观质量评价方法、装置及存储介质
CN103500580B (zh) 混音处理方法及系统
CN102457700B (zh) 音频数据传输方法及系统
EP2158753B1 (en) Selection of audio signals to be mixed in an audio conference
US20170272375A1 (en) Jitter Buffer Apparatus and Method
CN109087656B (zh) 一种基于mcu的多媒体会议混音方法及装置
CN104767895B (zh) 一种用于分组声学回声消除的方法与设备
Yum et al. Video bandwidth allocation for multimedia teleconferences
US7058026B1 (en) Internet teleconferencing
CN112260982A (zh) 音频处理方法及设备
CN105141882A (zh) 一种显示控制方法及装置
US20080037750A1 (en) Floor control based mixing and switching of media
CN108109630B (zh) 一种音频的处理方法、装置和媒体服务器
CN113572898B (zh) 语音通话中的无声异常检测方法及对应的装置
CN111741177B (zh) 在线会议的混音方法、装置、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant