CN102065265A - 实现混音的方法、装置和系统 - Google Patents
实现混音的方法、装置和系统 Download PDFInfo
- Publication number
- CN102065265A CN102065265A CN2009102071848A CN200910207184A CN102065265A CN 102065265 A CN102065265 A CN 102065265A CN 2009102071848 A CN2009102071848 A CN 2009102071848A CN 200910207184 A CN200910207184 A CN 200910207184A CN 102065265 A CN102065265 A CN 102065265A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- place
- meeting
- audio
- sound channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000005236 sound signal Effects 0.000 claims abstract description 322
- 230000005540 biological transmission Effects 0.000 claims description 45
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 108010001267 Protein Subunits Proteins 0.000 claims 1
- 230000009977 dual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例公开了一种实现混音的方法、装置和系统，所述实现混音的方法包括：接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；在所述接收的音频信号中为各接收会场选择音频信号；根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。本发明适用于在多点会议中对基于声道的音频信号和基于音频对象的音频信号进行混音处理。
Description
技术领域
本发明涉及通信技术领域，特别涉及一种实现混音的方法、装置和系统。
背景技术
目前，随着通讯技术的发展，视讯会议得到了广泛的开展和应用。视讯会议可以理解为通常意义上的电视会议业务，通过多媒体通信手段，利用电视设备和通信网络召开会议，可以同时实现两地或多个地点之间的图像、语音、数据的交互功能。通常，视讯会议系统包括视讯终端设备、通信网络、多点控制单元(MCU，Multipoint Control Unit)等几部分。
传统的会议终端通常只有单声道或双声道，一般没有空间方位感，或者只能区分左右方位。下一代会议终端一般采用多屏方案，图像与真人大小相同，为了具有很强的临场感和沉浸感，一般要求有很强的声音方位感和空间感，传统的双声道已不能满足要求。为了体现较强的方位感和空间感，现有技术采用能够两种方案：一种是基于多声道的方式进行编码和传输；另外一种是基于音频对象的音频协议进行编码和传输，从而实现在增加较少码率的情况下，可以携带声音的方位和空间感。现有的MCU混音方法通常为基于声道的混音方案。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：
现有的基于声道的混音方法，在同一会议中只能兼容传统的会议终端，而对于基于多声道的下一代终端以及基于音频对象的下一代终端，不能实现兼容。
发明内容
本发明的实施例提供一种实现混音的方法、装置和系统，能够提高对不同会议终端的兼容性。
本发明实施例采用的技术方案为：
一种实现混音的方法，包括：
接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
在所述接收的音频信号中为各接收会场选择音频信号；
根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；
按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。
一种实现混音的装置，包括：
接收模块，用于接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
选择模块，用于在所述接收的音频信号中为各接收会场选择音频信号；
处理模块，用于根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；
发送模块，用于按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。
一种实现混音的系统，包括：多个发送会场和接收会场、多点控制单元，其中，
所述发送会场，用于向多点控制单元发送音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
所述多点控制单元，用于接收所述发送会场发送的音频信号，在所述接收的音频信号中为各接收会场选择音频信号，根据接收会场的类型对所选择的音频信号进行处理，按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；
所述接收会场，用于由所述多点控制单元接收所述经过处理的音频信号。
本发明实施例实现混音的方法、装置和系统，多点控制单元接收到各发送会场发送的基于声道的音频信号和基于音频对象的音频信号后，为各接收会场选择音频信号，根据接收会场的类型对所选择的音频信号进行处理，并将所述经过处理的音频信号分别向各接收会场发送。与现有技术相比，多点控制单元能够对基于声道的音频信号和基于音频对象的音频信号进行混音处理，从而在同一多点会议中兼容传统的会议终端、基于多声道的下一代终端以及基于音频对象的下一代终端，提高用户的体验质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的实现混音的方法流程图；
图2、图3为本发明实施例二提供的实现混音的方法流程图；
图4为本发明实施例二提供的将所选择的音频信号转换为与基于声道的接收会场声道数一致的音频信号的流程图；
图5为本发明实施例二提供的网真终端的音频呈现方式示意图；
图6为本发明实施例三提供的实现混音的装置结构示意图；
图7、图8为本发明实施例四提供的实现混音的装置结构示意图；
图9为本发明实施例五提供的实现混音的系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。
实施例一
本实施例提供一种实现混音的方法，如图1所示，所述实现混音的方法包括：
101、接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
102、在所述接收的音频信号中为各接收会场选择音频信号；
103、根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；
104、按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。
其中，同一个会场既可以发送音频信号，也可以接收音频信号，也就是说，发送会场和接收会场可以为同一个会场。
本发明实施例实现混音的方法，多点控制单元接收到各发送会场发送的基于声道的音频信号和基于音频对象的音频信号后，为各接收会场选择音频信号，根据接收会场的类型对所选择的音频信号进行处理，并将所述经过处理的音频信号分别向各接收会场发送。与现有技术相比，多点控制单元能够对基于声道的音频信号和基于音频对象的音频信号进行混音处理，从而在同一多点会议中兼容传统的会议终端、基于多声道的下一代终端以及基于音频对象的下一代终端，提高用户的体验质量。
实施例二
在本实施例中，多点会议系统中有多个发送会场和接收会场，所述发送会场包括基于声道的发送会场和基于音频对象的发送会场，所述发送会场发出的音频信号由MCU进行混音；其中，同一个会场既可以发送音频信号，也可以接收音频信号，也就是说，发送会场和接收会场可以为同一个会场。
如图2、图3所示，所述实现混音的方法包括：
201、MCU接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
其中，所述音频信号的类型根据发送会场的类型确定，若发送会场为基于声道的发送会场，则该发送会场发出的音频信号为基于声道的音频信号；若发送会场为基于音频对象的发送会场，则该发送会场发出的音频信号为基于音频对象的音频信号；所述基于声道的发送会场可以为基于单声道或多声道的发送会场，相应地，所述基于声道的音频信号可以为基于单声道或多声道的音频信号。
音频对象指的是将音源作为一个对象来看待，一个音频对象除了包括音频信号之外，还包括辅助信息，所述辅助信息中包括该音频对象的最大绝对能量、能量比值、空间信息、方位信息、不同播放方式及其对应参数等信息。
202、MCU在所述接收的音频信号中为各接收会场选择音频信号；
其中，所述MCU为各接收会场选择音频信号可以根据各音频信号的能量大小进行选择，具体选择过程可以包括：
202a、MCU分别计算基于声道的音频信号的能量和/或基于音频对象的音频信号的能量；
(1)计算基于声道的音频信号的能量
当所述声道为单声道时，所述基于声道的音频信号的能量即为该单声道的能量；
当所述声道为多声道时，分别计算各个声道的能量，然后取最大的声道能量作为该基于声道的音频信号的能量；或者取各个声道的能量的平均值作为该基于声道的音频信号的能量。
(2)计算基于音频对象的音频信号的能量
所述音频对象的辅助信息中携带最大绝对能量和该音频对象的能量比值，根据音频对象中最大绝对能量以及该音频对象的能量比值，来计算该音频对象的绝对能量。例如，最大绝对能量为Emax，音频对象S1、S2、S3的能量比值分别是a1、a2、a3，则这三个音频对象的绝对能量分别是Emax×a1、Emax×a2、Emax×a3。
202b、MCU根据所述基于声道的音频信号的能量和/或基于音频对象的音频信号的能量大小，为各接收会场选择音频信号能量较大的多个音频信号；其中，MCU为各接收会场选择的音频信号可以相同，也可以不同。
例如，多点会议系统中有A、B、C、D、E五个会场，所述五个会场既可以接收音频信号，也可以发送音频信号，A、B、C、D、E五个会场发出的音频信号对应为A1、B1、C1、D1、E1；MCU根据各会场发出的音频信号的能量大小选择出B1、C1、D1三个音频信号，由于各会场通常不接收自己会场发出的音频信号，因此，MCU为各会场选择的音频信号如表1所示：
| 接收会场 | 选择的音频信号 |
| A | B1、C1、D1 |
| B | C1、D1 |
| C | B1、D1 |
| D | B1、C1 |
| E | B1、C1、D1 |
表1
进一步地，为了实现多点会议中两个会场的私聊，对于需要进行私聊的两个会场发出的音频信号，只能由私聊的另外一方来选择，而不能被其它会场选择，因此，MCU为各会场选择的音频信号如表2所示：
| 接收会场 | 选择的音频信号 |
| A | B1、C1、D1 |
| B | A1、C1、D1 |
| C | D1 |
| D | C1 |
| E | C1、D1 |
表2
203、根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场可以为基于声道的接收会场或基于音频对象的接收会场；
(1)当所述接收会场为基于声道的接收会场时，如图2所示，所述根据接收会场的类型对所选择的音频信号进行处理包括：
203a、将所选择的音频信号转换为与接收会场声道数一致的音频信号；
如图4所示，所述将所选择的音频信号转换为与接收会场声道数一致的音频信号具体可以包括：
L1、判断所选择的音频信号的类型，若所选择的音频信号为基于声道的音频信号，执行步骤L2；若所选择的音频信号为基于音频对象的音频信号，执行步骤L3；
L2、将所述基于声道的音频信号转换成与所述接收会场声道数一致的信号；
所述基于声道的会场其声道数可以是单或多声道，对于多声道，一般是将麦克风放置于不同空间位置，然后对各个麦克风采集的信号各用一个声道进行编码，由于声道之间已经包含了空间信息，因此在接收会场用相同数目的扬声器进行播放时，就可以呈现出原始发送会场的声音空间信息。
例如，所述接收会场为双声道信号，MCU为该接收会场选择的基于声道的音频信号为单声道信号和三声道信号，则MCU将所述单声道信号同时复制到该接收会场的左声道和右声道，即左右声道信号内容相同；而对于所述三声道信号，MCU将第一声道信号复制到该接收会场的左声道，将第三声道信号复制到该接收会场的右声道，将第二声道信号乘上0.707的增益，然后同时加到该接收会场的左声道和右声道上，这样所述单声道信号和三声道信号都转换成了双声道信号。
L3、判断所述音频对象的辅助信息中是否携带与所述接收会场声道数一致的播放方式，若所述音频对象的辅助信息中携带与所述接收会场声道数一致的播放方式，执行步骤L4；若所述音频对象的辅助信息中没有携带与所述接收会场声道数一致的播放方式，执行步骤L5；
其中，所述音频对象的辅助信息中携带多种播放方式及其对应参数；所述播放方式指的是采用几声道进行播放，例如：双声道、5声道等，每种播放方式的参数表示所述音频对象在各个声道的能量分配情况，该能量分配可以随时间变化。
L4、根据所述辅助信息中相应播放方式的参数，将所述音频对象转换成与所述接收会场声道数一致的音频信号；
例如，所述接收会场为双声道，且所述辅助信息中携带双声道的播放方式，则MCU提取双声道的播放方式对应的参数，根据该参数将所述音频对象信号分配到该接收会场的左右声道上。
L5、根据所述音频对象的方位信息将所述音频对象转换成与接收会场声道数一致的信号，其中，所述方位信息在所述音频对象的辅助信息中携带。
例如，所述辅助信息中只有双声道的播放方式和5声道的播放方式，而所述接收会场为6声道，则MCU根据所述音频对象的方位信息将所述音频对象转换成6声道的音频信号。
其中，所述根据所述音频对象的方位信息将所述音频对象转换成与接收会场声道数一致的信号具体可以为：根据音频对象的方位和所述接收会场各个声道对应的扬声器的位置，确定与所述音频对象距离最近的扬声器；将所述基于音频对象的音频信号复制给与所述音频对象距离最近的扬声器对应的声道，而其它声道不赋予任何信号。
203b、基于所述接收会场的声道，对所述转换后的音频信号进行混音。
(2)当所述接收会场为基于音频对象的接收会场时，如图3所示，所述根据接收会场的类型对所选择的音频信号进行处理包括：
203c、根据接收会场的呈现方式，将所选择的音频信号转换成音频对象；
其中，所述根据接收会场的呈现方式，将所选择的音频信号转换成音频对象具体可以包括：
S1、根据接收会场的呈现方式，设定所选择的音频信号的呈现方式；
例如，如图5所示，为一种网真终端的音频呈现方式，图像显示屏幕由三个屏幕组合而成，在每个屏幕下方有两个扬声器，在屏幕两侧各有一个扬声器，共有8个扬声器。为了实现图像和声音的匹配，当屏幕中某个位置有人在发言时，由该位置下方附近的扬声器发出声音，从而实现声像匹配。在多点会议时，正在发言的会场可能并不是当前屏幕中显示的会场，此时该会场的声音可以分配到屏幕两侧的两个扬声器。例如，有三个音频信号s1、s2、s3被选择，其中音频信号s1对应的会场的视频信号正在被该接收会场观看，则可设定音频信号s1由屏幕下方的6个扬声器来播放，音频信号s2、s3对应的会场的视频信号当前并没有被观看，则可指定音频信号s2、s3分别由屏幕两侧的两个扬声器来播放。
S2、当所选择的音频信号为基于声道的音频信号时，根据所述设定的呈现方式，将所选择的音频信号转换成音频对象；
S3、当所选择的音频信号为基于音频对象的音频信号时，根据所述设定的呈现方式，对所述音频对象原来的相关参数进行修改，以满足所设定的呈现方式的要求。
203d、将所述转换后的音频对象合并为一个音频对象流。
204、按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。
本发明实施例实现混音的方法，多点控制单元接收到各发送会场发送的基于声道的音频信号和基于音频对象的音频信号后，为各接收会场选择音频信号，根据接收会场的类型对所选择的音频信号进行处理，并将所述经过处理的音频信号分别向各接收会场发送。与现有技术相比，多点控制单元能够对基于声道的音频信号和基于音频对象的音频信号进行混音处理，从而在同一多点会议中兼容传统的会议终端、基于多声道的下一代终端以及基于音频对象的下一代终端，提高用户的体验质量。
实施例三
本实施例提供一种实现混音的装置，如图6所示，所述实现混音的装置，包括：
接收模块61，用于接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
其中，所述音频信号的类型根据发送会场的类型确定，若发送会场为基于声道的发送会场，则该发送会场发出的音频信号为基于声道的音频信号；若发送会场为基于音频对象的发送会场，则该发送会场发出的音频信号为基于音频对象的音频信号；所述基于声道的发送会场可以为基于单声道或多声道的发送会场，相应地，所述基于声道的音频信号可以为基于单声道或多声道的音频信号。音频对象指的是将音源作为一个对象来看待，一个音频对象除了包括音频信号之外，还包括辅助信息，所述辅助信息中包括该音频对象的最大绝对能量、能量比值、空间信息、方位信息、不同播放方式及其对应参数等信息。
选择模块62，用于在所述接收的音频信号中为各接收会场选择音频信号；
处理模块63，用于根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；
发送模块64，用于按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。
其中，同一个会场既可以发送音频信号，也可以接收音频信号，也就是说，发送会场和接收会场可以为同一个会场。
本发明实施例实现混音的装置，多点控制单元接收到各发送会场发送的基于声道的音频信号和基于音频对象的音频信号后，为各接收会场选择音频信号，根据接收会场的类型对所选择的音频信号进行处理，并将所述经过处理的音频信号分别向各接收会场发送。与现有技术相比，多点控制单元能够对基于声道的音频信号和基于音频对象的音频信号进行混音处理，从而在同一多点会议中兼容传统的会议终端、基于多声道的下一代终端以及基于音频对象的下一代终端，提高用户的体验质量。
实施例四
如图7、图8所示，所述实现混音的装置，包括：
接收模块61，用于接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
其中，所述音频信号的类型根据发送会场的类型确定，若发送会场为基于声道的发送会场，则该发送会场发出的音频信号为基于声道的音频信号；若发送会场为基于音频对象的发送会场，则该发送会场发出的音频信号为基于音频对象的音频信号；所述基于声道的发送会场可以为基于单声道或多声道的发送会场，相应地，所述基于声道的音频信号可以为基于单声道或多声道的音频信号。音频对象指的是将音源作为一个对象来看待，一个音频对象除了包括音频信号之外，还包括辅助信息，所述辅助信息中包括该音频对象的最大绝对能量、能量比值、空间信息、方位信息、不同播放方式及其对应参数等信息。
选择模块62，用于在所述接收的音频信号中为各接收会场选择音频信号；
处理模块63，用于根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；
发送模块64，用于按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。
其中，同一个会场既可以发送音频信号，也可以接收音频信号，也就是说，发送会场和接收会场可以为同一个会场。
其中，所述选择模块62包括：
计算单元621，用于分别计算基于声道的音频信号的能量和/或基于音频对象的音频信号的能量；
选择单元622，用于根据所述基于声道的音频信号的能量和/或基于音频对象的音频信号的能量选择音频信号。所述选择单元622可以根据所述基于声道的音频信号的能量和基于音频对象的音频信号的能量大小，为各接收会场选择音频信号能量较大的多个音频信号；所述选择单元622为各接收会场选择的音频信号可以相同，也可以不同。
当所述接收会场为基于声道的接收会场时，如图7所示，所述处理模块63可以包括：
第一转换单元631，用于将所选择的音频信号转换为与接收会场声道数一致的音频信号；
混音单元632，用于基于所述接收会场的声道，对所述转换后的音频信号进行混音。
进一步，所述第一转换单元631可以包括：
第一判断子单元6311，用于判断所选择的音频信号的类型；
第一转换子单元6312，用于当所选择的音频信号为基于声道的音频信号时，将所述基于声道的音频信号转换成与所述接收会场声道数一致的信号；
第二判断子单元6313，用于当所选择的音频信号为基于音频对象的音频信号时，判断所述音频对象的辅助信息中是否携带与所述接收会场声道数一致的播放方式；
第二转换子单元6314，用于当所述音频对象的辅助信息中携带与所述接收会场声道数一致的播放方式时，根据所述辅助信息中相应播放方式的参数，将所述音频对象转换成与所述接收会场声道数一致的音频信号；
第三转换子单元6315，用于当所述音频对象的辅助信息中没有携带与所述接收会场声道数一致的播放方式时，根据所述音频对象的方位信息将所述音频对象转换成与接收会场声道数一致的信号，其中，所述方位信息在所述音频对象的辅助信息中携带。
当所述接收会场为基于音频对象的接收会场时，如图8所示，所述处理模块63可以包括：
第二转换单元633，用于根据接收会场的呈现方式，将所选择的音频信号转换成音频对象；
合并单元634，用于将所述转换后的音频对象合并为一个音频对象流。
进一步，所述第二转换单元633可以包括：
设定子单元6331，用于根据接收会场的呈现方式，设定所选择的音频信号的呈现方式；
第四转换子单元6332，用于当所选择的音频信号为基于声道的音频信号时，根据所述设定的呈现方式，将所选择的音频信号转换成音频对象；
修改子单元6333，用于当所选择的音频信号为基于音频对象的音频信号时，根据所述设定的呈现方式，对所述音频对象的参数进行修改。
本发明实施例实现混音的装置，多点控制单元接收到各发送会场发送的基于声道的音频信号和基于音频对象的音频信号后，为各接收会场选择音频信号，根据接收会场的类型对所选择的音频信号进行处理，并将所述经过处理的音频信号分别向各接收会场发送。与现有技术相比，多点控制单元能够对基于声道的音频信号和基于音频对象的音频信号进行混音处理，从而在同一多点会议中兼容传统的会议终端、基于多声道的下一代终端以及基于音频对象的下一代终端，提高用户的体验质量。
实施例五
本实施例提供一种实现混音的系统，如图9所示，所述实现混音的系统，包括：多个发送会场91和接收会场93、多点控制单元92，其中，
所述发送会场91，用于向多点控制单元92发送音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
所述多点控制单元92，用于接收所述发送会场91发送的音频信号，在所述接收的音频信号中为各接收会场93选择音频信号，根据接收会场93的类型对所选择的音频信号进行处理，按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场93发送，其中，所述接收会场93包括基于声道的接收会场和基于音频对象的接收会场；
所述接收会场93，用于由所述多点控制单元92接收所述经过处理的音频信号。
其中，同一个会场既可以发送音频信号，也可以接收音频信号，也就是说，发送会场和接收会场可以为同一个会场。
本发明实施例实现混音的系统，多点控制单元接收到各发送会场发送的基于声道的音频信号和基于音频对象的音频信号后，为各接收会场选择音频信号，根据接收会场的类型对所选择的音频信号进行处理，并将所述经过处理的音频信号分别向各接收会场发送。与现有技术相比，多点控制单元能够对基于声道的音频信号和基于音频对象的音频信号进行混音处理，从而在同一多点会议中兼容传统的会议终端、基于多声道的下一代终端以及基于音频对象的下一代终端，提高用户的体验质量。
本发明实施例提供的实现混音的装置和系统可以实现上述提供的方法实施例。本发明实施例提供的实现混音的方法、装置和系统可以适用于在同一多点会议中兼容传统的会议终端、基于多声道的下一代终端以及基于音频对象的下一代终端，但不仅限于此。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (16)
1.一种实现混音的方法，其特征在于，包括：
接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
在所述接收的音频信号中为各接收会场选择音频信号；
根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；
按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。
2.根据权利要求1所述的实现混音的方法，其特征在于，所述在所述接收的音频信号中为各接收会场选择音频信号具体为：
分别计算基于声道的音频信号的能量和/或基于音频对象的音频信号的能量；
根据所述基于声道的音频信号的能量和/或基于音频对象的音频信号的能量选择音频信号。
3.根据权利要求2所述的实现混音的方法，其特征在于，所述计算基于声道的音频信号的能量包括：
当所述声道为单声道时，所述基于声道的音频信号的能量即为该单声道的能量；
当所述声道为多声道时，分别计算各个声道的能量，取最大的声道能量作为该基于声道的音频信号的能量，或者取各个声道的能量的平均值作为该基于声道的音频信号的能量。
4.根据权利要求2所述的实现混音的方法，其特征在于，所述计算基于音频对象的音频信号的能量包括：
根据最大绝对能量和所述音频对象的能量比值，计算所述音频对象的绝对能量，其中，所述最大绝对能量和所述音频对象的能量比值在所述音频对象的辅助信息中携带。
5.根据权利要求1所述的实现混音的方法，其特征在于，当所述接收会场为基于声道的接收会场时，所述根据接收会场的类型对所选择的音频信号进行处理包括：
将所选择的音频信号转换为与接收会场声道数一致的音频信号；
基于所述接收会场的声道，对所述转换后的音频信号进行混音。
6.根据权利要求5所述的实现混音的方法，其特征在于，所述将所选择的音频信号转换为与接收会场声道数一致的音频信号包括：
判断所选择的音频信号的类型；
若所选择的音频信号为基于声道的音频信号，则将所述基于声道的音频信号转换成与所述接收会场声道数一致的信号；
若所选择的音频信号为基于音频对象的音频信号，则判断所述音频对象的辅助信息中是否携带与所述接收会场声道数一致的播放方式；
若所述音频对象的辅助信息中携带与所述接收会场声道数一致的播放方式，则根据所述辅助信息中相应播放方式的参数，将所述音频对象转换成与所述接收会场声道数一致的音频信号；
若所述音频对象的辅助信息中没有携带与所述接收会场声道数一致的播放方式，则根据所述音频对象的方位信息将所述音频对象转换成与接收会场声道数一致的信号，其中，所述方位信息在所述音频对象的辅助信息中携带。
7.根据权利要求6所述的实现混音的方法，其特征在于，所述根据所述音频对象的方位信息将所述音频对象转换成与接收会场声道数一致的信号包括：
根据音频对象的方位和所述接收会场各个声道对应的扬声器的位置，确定与所述音频对象距离最近的扬声器；
将所述基于音频对象的音频信号复制给与所述音频对象距离最近的扬声器对应的声道。
8.根据权利要求1所述的实现混音的方法，其特征在于，当所述接收会场为基于音频对象的接收会场时，所述根据接收会场的类型对所选择的音频信号进行处理包括：
根据接收会场的呈现方式，将所选择的音频信号转换成音频对象；
将所述转换后的音频对象合并为一个音频对象流。
9.根据权利要求8所述的实现混音的方法，其特征在于，所述根据接收会场的呈现方式，将所选择的音频信号转换成音频对象包括：
根据接收会场的呈现方式，设定所选择的音频信号的呈现方式；
当所选择的音频信号为基于声道的音频信号时，根据所述设定的呈现方式，将所选择的音频信号转换成音频对象；
当所选择的音频信号为基于音频对象的音频信号时，根据所述设定的呈现方式，对所述音频对象的参数进行修改。
10.一种实现混音的装置，其特征在于，包括：
接收模块，用于接收各发送会场发送的音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
选择模块，用于在所述接收的音频信号中为各接收会场选择音频信号；
处理模块，用于根据接收会场的类型对所选择的音频信号进行处理，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；
发送模块，用于按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送。
11.根据权利要求10所述的实现混音的装置，其特征在于，所述选择模块包括：
计算单元，用于分别计算基于声道的音频信号的能量和/或基于音频对象的音频信号的能量；
选择单元，用于根据所述基于声道的音频信号的能量和/或基于音频对象的音频信号的能量选择音频信号。
12.根据权利要求10所述的实现混音的装置，其特征在于，所述处理模块包括：
第一转换单元，用于将所选择的音频信号转换为与接收会场声道数一致的音频信号；
混音单元，用于基于所述接收会场的声道，对所述转换后的音频信号进行混音。
13.根据权利要求12所述的实现混音的装置，其特征在于，所述第一转换单元包括：
第一判断子单元，用于判断所选择的音频信号的类型；
第一转换子单元，用于当所选择的音频信号为基于声道的音频信号时，将所述基于声道的音频信号转换成与所述接收会场声道数一致的信号；
第二判断子单元，用于当所选择的音频信号为基于音频对象的音频信号时，判断所述音频对象的辅助信息中是否携带与所述接收会场声道数一致的播放方式；
第二转换子单元，用于当所述音频对象的辅助信息中携带与所述接收会场声道数一致的播放方式时，根据所述辅助信息中相应播放方式的参数，将所述音频对象转换成与所述接收会场声道数一致的音频信号；
第三转换子单元，用于当所述音频对象的辅助信息中没有携带与所述接收会场声道数一致的播放方式时，根据所述音频对象的方位信息将所述音频对象转换成与接收会场声道数一致的信号，其中，所述方位信息在所述音频对象的辅助信息中携带。
14.根据权利要求10所述的实现混音的装置，其特征在于，所述处理模块包括：
第二转换单元，用于根据接收会场的呈现方式，将所选择的音频信号转换成音频对象；
合并单元，用于将所述转换后的音频对象合并为一个音频对象流。
15.根据权利要求14所述的实现混音的装置，其特征在于，所述第二转换单元包括：
设定子单元，用于根据接收会场的呈现方式，设定所选择的音频信号的呈现方式；
第四转换子单元，用于当所选择的音频信号为基于声道的音频信号时，根据所述设定的呈现方式，将所选择的音频信号转换成音频对象；
修改子单元，用于当所选择的音频信号为基于音频对象的音频信号时，根据所述设定的呈现方式，对所述音频对象的参数进行修改。
16.一种实现混音的系统，其特征在于，包括：多个发送会场和接收会场、多点控制单元，其中，
所述发送会场，用于向多点控制单元发送音频信号，其中，所述音频信号包括基于声道的音频信号和基于音频对象的音频信号；
所述多点控制单元，用于接收所述发送会场发送的音频信号，在所述接收的音频信号中为各接收会场选择音频信号，根据接收会场的类型对所选择的音频信号进行处理，按照接收会场的类型，将所述经过处理的音频信号分别向各接收会场发送，其中，所述接收会场包括基于声道的接收会场和基于音频对象的接收会场；
所述接收会场，用于由所述多点控制单元接收所述经过处理的音频信号。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910207184A CN102065265B (zh) | 2009-11-13 | 2009-11-13 | 实现混音的方法、装置和系统 |
| EP10829475.2A EP2490426B1 (en) | 2009-11-13 | 2010-08-11 | Method, apparatus and system for implementing audio mixing |
| PCT/CN2010/075891 WO2011057511A1 (zh) | 2009-11-13 | 2010-08-11 | 实现混音的方法、装置和系统 |
| US13/469,782 US8773491B2 (en) | 2009-11-13 | 2012-05-11 | Method, apparatus, and system for implementing audio mixing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910207184A CN102065265B (zh) | 2009-11-13 | 2009-11-13 | 实现混音的方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102065265A true CN102065265A (zh) | 2011-05-18 |
| CN102065265B CN102065265B (zh) | 2012-10-17 |
Family
ID=43991193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910207184A Expired - Fee Related CN102065265B (zh) | 2009-11-13 | 2009-11-13 | 实现混音的方法、装置和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8773491B2 (zh) |
| EP (1) | EP2490426B1 (zh) |
| CN (1) | CN102065265B (zh) |
| WO (1) | WO2011057511A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102226944A (zh) * | 2011-05-25 | 2011-10-26 | 贵阳朗玛信息技术股份有限公司 | 混音方法及设备 |
| CN102436818A (zh) * | 2011-10-25 | 2012-05-02 | 浙江万朋网络技术有限公司 | 一种基于能量优先的服务器端选路混音方法 |
| CN103024339A (zh) * | 2012-10-11 | 2013-04-03 | 华为技术有限公司 | 一种基于视频源实现混音的方法和装置 |
| CN103050124A (zh) * | 2011-10-13 | 2013-04-17 | 华为终端有限公司 | 混音方法、装置及系统 |
| CN103369158A (zh) * | 2013-06-18 | 2013-10-23 | 华为技术有限公司 | 多方通话控制方法和相关设备及通信系统 |
| CN104167210A (zh) * | 2014-08-21 | 2014-11-26 | 华侨大学 | 一种轻量级的多方会议混音方法和装置 |
| CN104539816A (zh) * | 2014-12-25 | 2015-04-22 | 广州华多网络科技有限公司 | 一种多方语音通话的智能混音方法及装置 |
| CN105847096A (zh) * | 2016-05-12 | 2016-08-10 | 腾讯科技（深圳）有限公司 | 一种包含音频数据的通信方法、装置及系统 |
| CN108616800A (zh) * | 2018-03-28 | 2018-10-02 | 腾讯科技（深圳）有限公司 | 音频的播放方法和装置、存储介质、电子装置 |
| CN113257256A (zh) * | 2021-07-14 | 2021-08-13 | 广州朗国电子科技股份有限公司 | 一种语音处理方法、会议一体机、系统及存储介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9373335B2 (en) | 2012-08-31 | 2016-06-21 | Dolby Laboratories Licensing Corporation | Processing audio objects in principal and supplementary encoded audio signals |
| KR101514830B1 (ko) * | 2013-10-14 | 2015-04-23 | 주식회사 세나테크놀로지 | 블루투스 헤드셋의 멀티태스킹 시스템 |
| US10079941B2 (en) * | 2014-07-07 | 2018-09-18 | Dolby Laboratories Licensing Corporation | Audio capture and render device having a visual display and user interface for use for audio conferencing |
| CN105704423A (zh) * | 2014-11-24 | 2016-06-22 | 中兴通讯股份有限公司 | 语音输出方法及装置 |
| US10325610B2 (en) | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7257641B1 (en) * | 2000-03-30 | 2007-08-14 | Microsoft Corporation | Multipoint processing unit |
| BRPI0608945C8 (pt) * | 2005-03-30 | 2020-12-22 | Coding Tech Ab | codificador de áudio de multi-canal, decodificador de áudio de multi-canal, método de codificar n sinais de áudio em m sinais de áudio e dados paramétricos associados, método de decodificar k sinais de áudio e dados paramétricos associados, método de transmitir e receber um sinal de áudio de multi-canal codificado, mídia de armazenamento legível por computador, e, sistema de transmissão |
| US8482614B2 (en) * | 2005-06-14 | 2013-07-09 | Thx Ltd | Content presentation optimizer |
| EP1855455B1 (en) * | 2006-05-11 | 2011-10-05 | Global IP Solutions (GIPS) AB | Audio mixing |
| US7647229B2 (en) * | 2006-10-18 | 2010-01-12 | Nokia Corporation | Time scaling of multi-channel audio signals |
| CN100512422C (zh) * | 2006-11-23 | 2009-07-08 | 北京航空航天大学 | 多mcu视频会议系统中的混音方法 |
| US20080159507A1 (en) * | 2006-12-27 | 2008-07-03 | Nokia Corporation | Distributed teleconference multichannel architecture, system, method, and computer program product |
| EP3712888B1 (en) * | 2007-03-30 | 2024-05-08 | Electronics and Telecommunications Research Institute | Apparatus and method for coding and decoding multi object audio signal with multi channel |
| GB0710878D0 (en) * | 2007-06-06 | 2007-07-18 | Skype Ltd | Method of transmitting data in a communication system |
| CN101179693B (zh) * | 2007-09-26 | 2011-02-02 | 深圳市迪威视讯股份有限公司 | 一种会议电视系统的混音处理方法 |
| US8391513B2 (en) * | 2007-10-16 | 2013-03-05 | Panasonic Corporation | Stream synthesizing device, decoding unit and method |
| CN101466043B (zh) | 2008-12-30 | 2010-12-15 | 华为终端有限公司 | 一种多路音频信号处理的方法、设备及系统 |
-
2009
- 2009-11-13 CN CN200910207184A patent/CN102065265B/zh not_active Expired - Fee Related
-
2010
- 2010-08-11 EP EP10829475.2A patent/EP2490426B1/en active Active
- 2010-08-11 WO PCT/CN2010/075891 patent/WO2011057511A1/zh active Application Filing
-
2012
- 2012-05-11 US US13/469,782 patent/US8773491B2/en active Active
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102226944B (zh) * | 2011-05-25 | 2014-11-12 | 贵阳朗玛信息技术股份有限公司 | 混音方法及设备 |
| CN102226944A (zh) * | 2011-05-25 | 2011-10-26 | 贵阳朗玛信息技术股份有限公司 | 混音方法及设备 |
| US9456273B2 (en) | 2011-10-13 | 2016-09-27 | Huawei Device Co., Ltd. | Audio mixing method, apparatus and system |
| CN103050124A (zh) * | 2011-10-13 | 2013-04-17 | 华为终端有限公司 | 混音方法、装置及系统 |
| WO2013053336A1 (zh) * | 2011-10-13 | 2013-04-18 | 华为终端有限公司 | 混音方法、装置及系统 |
| CN103050124B (zh) * | 2011-10-13 | 2016-03-30 | 华为终端有限公司 | 混音方法、装置及系统 |
| CN102436818A (zh) * | 2011-10-25 | 2012-05-02 | 浙江万朋网络技术有限公司 | 一种基于能量优先的服务器端选路混音方法 |
| CN103024339A (zh) * | 2012-10-11 | 2013-04-03 | 华为技术有限公司 | 一种基于视频源实现混音的方法和装置 |
| CN103024339B (zh) * | 2012-10-11 | 2015-09-30 | 华为技术有限公司 | 一种基于视频源实现混音的方法和装置 |
| CN103369158A (zh) * | 2013-06-18 | 2013-10-23 | 华为技术有限公司 | 多方通话控制方法和相关设备及通信系统 |
| CN103369158B (zh) * | 2013-06-18 | 2016-01-13 | 华为技术有限公司 | 多方通话控制方法和相关设备及通信系统 |
| CN104167210A (zh) * | 2014-08-21 | 2014-11-26 | 华侨大学 | 一种轻量级的多方会议混音方法和装置 |
| CN104539816A (zh) * | 2014-12-25 | 2015-04-22 | 广州华多网络科技有限公司 | 一种多方语音通话的智能混音方法及装置 |
| CN104539816B (zh) * | 2014-12-25 | 2017-08-01 | 广州华多网络科技有限公司 | 一种多方语音通话的智能混音方法及装置 |
| CN105847096A (zh) * | 2016-05-12 | 2016-08-10 | 腾讯科技（深圳）有限公司 | 一种包含音频数据的通信方法、装置及系统 |
| CN105847096B (zh) * | 2016-05-12 | 2018-10-30 | 腾讯科技（深圳）有限公司 | 一种包含音频数据的通信方法、装置及系统 |
| CN108616800A (zh) * | 2018-03-28 | 2018-10-02 | 腾讯科技（深圳）有限公司 | 音频的播放方法和装置、存储介质、电子装置 |
| CN108616800B (zh) * | 2018-03-28 | 2021-04-09 | 腾讯科技（深圳）有限公司 | 音频的播放方法和装置、存储介质、电子装置 |
| CN113257256A (zh) * | 2021-07-14 | 2021-08-13 | 广州朗国电子科技股份有限公司 | 一种语音处理方法、会议一体机、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2490426A4 (en) | 2012-08-22 |
| US20120224023A1 (en) | 2012-09-06 |
| EP2490426B1 (en) | 2014-06-04 |
| EP2490426A1 (en) | 2012-08-22 |
| WO2011057511A1 (zh) | 2011-05-19 |
| US8773491B2 (en) | 2014-07-08 |
| CN102065265B (zh) | 2012-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102065265B (zh) | 实现混音的方法、装置和系统 | |
| CN102480671B (zh) | 视频通信中的音频处理方法和装置 | |
| JP2975687B2 (ja) | 第１局・第２局間に音声信号とビデオ信号とを送信する方法、局、テレビ会議システム、第１局・第２局間に音声信号を伝送する方法 | |
| US7667728B2 (en) | Video and audio conferencing system with spatial audio | |
| CN101022481A (zh) | 实现多点会议中私有会话的方法及装置 | |
| CN101478614A (zh) | 自适应音量调节的方法、装置及通信终端 | |
| JPS60229485A (ja) | テレビジヨン会議用通信装置 | |
| CN101502089A (zh) | 进行音频会议的方法、音频会议装置和编码器之间的切换方法 | |
| US7177413B2 (en) | Head position based telephone conference system and associated method | |
| CN102222503A (zh) | 一种音频信号的混音处理方法、装置及系统 | |
| CN101631032B (zh) | 实现多语言会议的方法、装置和系统 | |
| CN102457700B (zh) | 音频数据传输方法及系统 | |
| CN1578542B (zh) | 多点通信的会议单元和方法 | |
| CN102065266B (zh) | 突出视频会议现场氛围的方法和装置 | |
| CN106293603A (zh) | 音频输出系统和输出方法 | |
| Theile | On the performance of two-channel and multi-channel stereophony | |
| CN202818483U (zh) | 一种电视会议系统 | |
| CN112788489B (zh) | 控制方法、装置和电子设备 | |
| CN112565982B (zh) | 一种交互式音响及利用该音响的扩声方法 | |
| CN108389568B (zh) | 一种自动消人声的卡拉ok系统 | |
| CN219761292U (zh) | 多媒体教学系统 | |
| CN116782087B (zh) | 一种多功能录播设备 | |
| JPS6276958A (ja) | 音声伝送方式 | |
| Aoki et al. | Sound system for telecommunication with a large screen display | |
| CN116185329A (zh) | 多设备多声卡音频同步采集方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121017 Termination date: 20171113 |