CN106060450A - 一种视频会议的混音方法及装置 - Google Patents
一种视频会议的混音方法及装置 Download PDFInfo
- Publication number
- CN106060450A CN106060450A CN201610550653.6A CN201610550653A CN106060450A CN 106060450 A CN106060450 A CN 106060450A CN 201610550653 A CN201610550653 A CN 201610550653A CN 106060450 A CN106060450 A CN 106060450A
- Authority
- CN
- China
- Prior art keywords
- audio mixing
- audio
- resource
- code stream
- mixing resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明涉及混音领域，具体涉及一种视频会议的混音方法及装置。其中，方法包括：主混音资源接收辅助混音资源发送的音频码流，其中，辅助混音资源为一个或者多个，每个辅助混音资源用于对至少两个会场的音频码流进行混音；判断主混音资源是否满载；在判断出主混音资源满载的情况下，查询空闲的辅助混音资源；在查询到空闲的辅助混音资源的情况下，将主混音资源接收到的部分音频码流分配到空闲的辅助混音资源，由空闲的辅助混音资源对部分音频码流进行混音后，发送给主混音资源。通过本发明，解决了现有技术中能够接入混音的会场数量容易受到混音处理能力的限制的问题，实现可无限扩展的超大方数的会场的智能混音。
Description
技术领域
本发明涉及混音领域，具体涉及一种视频会议的混音方法及装置。
背景技术
智能混音，是多方视频会议采用的一种核心技术。其优势在于，在无需人机交互的条件下，能够由MCU平台自主选择最合适的若干个与会会场，将其声音混合并发送给所有与会会场，同时满足几点基本要求：一，用户无需申请或干预；二，交谈清晰流畅，无断续，无杂音；三，任意会场可随时插话；四，用户不会听到自己的声音。
云计算条件下，与传统的多级会议不同，所有的声音和图像码流都会送到数据中心的MCU平台进行处理和交换。随着视频应用场景的丰富，超大方数视频会议应用越来越多。如果沿用现有的智能混音技术，将全体会场的码流都上行放入同一个混音资源(本文内简称MP)处理，将会碰到如下瓶颈：为了兼容所有厂商的终端设备，无法预设终端音频上行时能够带上额外的音量或语音标签。这就意味着混音资源需要对全体会场均进行音频的解包解码和分析，评估是否要纳入真正混音队列。随着会场数的增加，混音资源的解码运算开销是线性增长的。视频会议是一种实时交互的系统，对混音的开销和引入的时延是有一定的限制的，一般来说完成全体会场一帧的音频码流分析，20毫秒是能够接受的上限。因此，智能混音的处理能 力可以纵向扩展(如使用更高性能的CPU或者DSP)，但存在明显的理论上限。
发明内容
本发明要解决的技术问题在于现有技术中能够接入混音的会场数量容易受到混音处理能力的限制，从而提供一种视频会议的混音方法及装置。
根据本发明的一方面，提供了一种视频会议的混音方法，包括：主混音资源接收辅助混音资源发送的音频码流，其中，所述辅助混音资源为一个或者多个，每个辅助混音资源用于对至少两个会场的音频码流进行混音；判断所述主混音资源是否满载；在判断出所述主混音资源满载的情况下，查询空闲的辅助混音资源；在查询到所述空闲的辅助混音资源的情况下，将所述主混音资源接收到的部分音频码流分配到所述空闲的辅助混音资源，由所述空闲的辅助混音资源对所述部分音频码流进行混音后，发送给所述主混音资源。
优选地，在未查询到所述空闲的辅助混音资源的情况下，创建新的辅助混音资源；将所述主混音资源接收到的部分音频码流分配到所述新的辅助混音资源，由所述新的辅助混音资源对所述部分音频码流进行混音后，发送给所述主混音资源。
优选地，所述方法还包括：所述辅助混音资源对各自负责的会场的音频码流进行声学预处理，根据处理后的结果将有效的音频码流进行标记；所述主混音资源通过所述标记对有效的音频码流进行混音和编码。
优选地，在所述主混音资源通过所述标记对有效的音频码流进行混音 和编码之后，所述方法还包括：所述主混音资源将除目标节点的音频码流之外的音频码流发送给所述目标节点，其中，所述目标节点为会场或者辅助混音资源。
优选地，所述方法还包括：所述辅助混音资源从接收到的音频码流中识别出真正参与混音的会场，其中，所述真正参与混音的会场为发出所述有效的音频码流的会场；将所述真正参与混音的会场的音频码流交由所述主混音资源进行混音处理。
根据本发明的另一方面，提供了一种视频会议的混音装置，包括：接收单元，设置在主混音资源上，用于接收辅助混音资源发送的音频码流，其中，所述辅助混音资源为一个或者多个，每个辅助混音资源用于对至少两个会场的音频码流进行混音；判断单元，用于判断所述主混音资源是否满载；查询单元，用于在判断出所述主混音资源满载的情况下，查询空闲的辅助混音资源；分配单元，用于在查询到所述空闲的辅助混音资源的情况下，将所述主混音资源接收到的部分音频码流分配到所述空闲的辅助混音资源，由所述空闲的辅助混音资源对所述部分音频码流进行混音后，发送给所述主混音资源。
优选地，所述装置还包括：创建单元，用于在未查询到所述空闲的辅助混音资源的情况下，创建新的辅助混音资源；其中，所述分配单元还用于将所述主混音资源接收到的部分音频码流分配到所述新的辅助混音资源，由所述新的辅助混音资源对所述部分音频码流进行混音后，发送给所述主混音资源。
优选地，所述装置还包括：处理单元，设置的所述辅助混音资源上，用于对所述辅助混音资源各自负责的会场的音频码流进行声学预处理，根据处理后的结果将有效的音频码流进行标记；混音单元，设置在所述主混音资源上，用于通过所述标记对有效的音频码流进行混音和编码。
优选地，所述装置还包括：发送单元，设置在所述主混音资源上，用于在所述主混音资源通过所述标记对有效的音频码流进行混音和编码之后，将除目标节点的音频码流之外的音频码流发送给所述目标节点，其中，所述目标节点为会场或者辅助混音资源。
优选地，所述装置还包括：识别单元，设置在所述辅助混音资源上，用于从接收到的音频码流中识别出真正参与混音的会场，其中，所述真正参与混音的会场为发出所述有效的音频码流的会场；切换单元，用于将所述真正参与混音的会场的音频码流交由所述主混音资源进行混音处理。
根据本发明实施例，通过采用音频资源的分布式部署，辅助混音资源负责会场音频的混音处理，主混音资源负责辅助混音资源的音频的混音处理，并在判断出主混音资源满载的情况下，查询空闲的辅助混音资源，将主混音资源接收到的部分音频码流分配到空闲的辅助混音资源，由空闲的辅助混音资源对部分音频码流进行混音后，发送给主混音资源，使得音频混音能力不受到单个混音资源的处理能力的限制，解决了现有技术中能够接入混音的会场数量容易受到混音处理能力的限制的问题，实现可无限扩展的超大方数的会场的智能混音。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中视频会议的混音方法的一个具体示例的流程图；
图2a至2d为本发明实施例1中视频会议的混音方法的混音过程的示意图；
图3为本发明实施例2中视频会议的混音装置的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和 操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种视频会议的混音方法，该方法可以用于云计算条件下的音频混音，需要说明的是，本发明实施例的下面所述的混音资源(包括主混音资源(Master-MP)和辅助混音资源(Slave-MP))可以是硬件的混音器，也可以是软件实现的混音资源，可以用于对音频进行混音和编码。其中，主混音资源可以从预先创建的混音资源中预先指定，在指定主混音资源之后，其它的混音资源统一称为辅助混音资源。
如图1所示，该方法包括：
步骤S101，主混音资源接收辅助混音资源发送的音频码流，其中，辅助混音资源为一个或者多个，每个辅助混音资源用于对至少两个会场的音频码流进行混音。
主混音资源可以有其负责的会场，接收这些会场的音频码流，也可以只接收辅助混音资源发送的音频码流。
步骤S102，判断主混音资源是否满载。
由于主混音资源存在上限，在接收音频码流的过程中，需要判断主混音资源是否已经满载，如果满载，容易导致混音结果出问题。
步骤S103，在判断出主混音资源满载的情况下，查询空闲的辅助混音资源。
为避免混音结果出问题，在主混音资源满载的情况下，查询是否存在空闲的辅助混音资源，以便于分担主混音资源的音频码流。其中，该空闲的辅助混音资源是指已经创建的但未承担音频混音和编码任务的混音资源。
步骤S104，在查询到空闲的辅助混音资源的情况下，将主混音资源接收到的部分音频码流分配到空闲的辅助混音资源，由空闲的辅助混音资源对部分音频码流进行混音后，发送给主混音资源。
由该空闲的辅助混音资源来承担主混音资源的部分音频码流的混音处理，并将处理后的音频码流发送回主混音资源。其中，分配出去的部分音频码流的数量可以预先设定，其数量至少大于等于2。
例如，当主混音资源的满载上限为100路音频码流，如果有101路音频码流接入，则可以分配3路音频码流给空闲的辅助混音资源，该空闲的 辅助混音资源对这两路音频码流进行混音之后，得到1路音频码流发送回主混音资源。主混音资源在分配出去3路音频码流之后，剩余98路，然后接收之前分配出去的音频码流混音后的1路音频码流，得到99路，小于满载上限。
根据本发明实施例，通过采用音频资源的分布式部署，辅助混音资源负责会场音频的混音处理，主混音资源负责辅助混音资源的音频的混音处理，并在判断出主混音资源满载的情况下，查询空闲的辅助混音资源，将主混音资源接收到的部分音频码流分配到空闲的辅助混音资源，由空闲的辅助混音资源对部分音频码流进行混音后，发送给主混音资源，使得音频混音能力不受到单个混音资源的处理能力的限制，解决了现有技术中能够接入混音的会场数量容易受到混音处理能力的限制的问题，实现可无限扩展的超大方数的会场的智能混音。
本实施例对单个混音资源MP的性能要求不高，且性能上限可以根据负载灵活配置，一般来说要求音频混音能力c>＝32即可(调度内生要求c远大于混音深度d)。同时，考虑到语音互动的有效性，真正的参与混音的会场数量(即混音深度d)一般设置为4-8。
优选地，在未查询到空闲的辅助混音资源的情况下，创建新的辅助混音资源；将主混音资源接收到的部分音频码流分配到新的辅助混音资源，由新的辅助混音资源对部分音频码流进行混音后，发送给主混音资源。
本实施例中，如果没有空闲的辅助混音资源，则需要创建新的辅助混音资源，由该新的辅助混音资源代替上述空闲的辅助混音资源。
主辅助混音资源在接收到会场的音频码流之后，都会对该音频码流进行声学预处理，主要包括降噪、静音检测、增益调整、人声识别、连续性识别等。在处理之后可以对音频码流打上预处理标记。由于主混音资源需要处理其负责的会场的音频以及辅助混音资源的音频，对于这些音频中的已预处理的音频(也即是打上预处理标记的音频码流)，则优先由主混音资源来处理，如果主混音资源满载，则查询空闲的辅助混音资源，或者创建新的辅助混音资源。
本实施例中，方法还包括：辅助混音资源对各自负责的会场的音频码流进行声学预处理，根据处理后的结果将有效的音频码流进行标记；主混音资源通过标记对有效的音频码流进行混音和编码。
辅助混音资源在对自己负责的会场的音频码流进行处理之后，识别出有效的音频码流，也即是有发言的会场的音频(其它会场只是在听，没有发声)，进行标记。主混音资源通过这些标记来识别有效的音频码流，对这些码流进行混音和编码，其它的音频码流虽然流入到主混音资源，但实际上并没有参与混音和编码。这样，虽然主混音资源中存在大量的音频码流，但大部分码流经参与混音候选排序，而不参与真正的混音和编码，能够大大降低数据处理量，基本不损耗平台的运算能力。
进一步地，在主混音资源通过标记对有效的音频码流进行混音和编码之后，方法还包括：主混音资源将除目标节点的音频码流之外的音频码流发送给目标节点，其中，目标节点为会场或者辅助混音资源。
在主混音资源对音频码流进行混音编码之后，需要广播给各会场。其 中，目标节点包括：主混音资源负责的会场或者辅助混音资源。对于主混音资源负责的某个会场，需要将其他会场(不包括该会场)的混音后的音频码流广播给该会场；对于辅助混音资源负责的会场，主混音资源将其他会场(不包括该辅助混音资源负责的会场)的音频码流发送给该辅助混音资源，由其广播给其负责的会场。
为了清楚地描述混音模式的过程，以一个简单的静态多图来说明每个会场和混音资源(MP)的对应关系。
当前会议已经创建了3个MP：Master-MP负责会场1和会场2，Slave-MP1有会场3和会场4，Slave-MP2有会场5和会场6。为了说明问题，没有考虑混音能力c的大小，而是使用了多个Slave-MP。
首先各MP将本MP中的会场的音频码流做混音，如图2a所示。
对于Slave-MP，将本身的音频码流发送至Master-MP进行混音，Slave-MP1发送全体会场的音频码流包括会场3和会场4的音频，Slave-MP2发送的音频码流包括会场5和会场6的音频，如图2b所示。
此时，对于Master-MP已经有会场1到会场6的所有声音，并进行混音，所以Master-MP把会场2到会场6的混音音频发送给会场1，将会场1和会场3到6的混音音频发送给会场2，这样会场1和会场2就都听到了除自身之外所有会场的声音了。同时，Master-MP将Slave-MP1发送来的音频剔除，再发送给Slave-MP1，此时发送的混音音频中包括会议1的会场1和会场2的音频以及会场5和会场6的音频。同理，发送给Slave-MP2的音 频包括会场1到会场4的音频，如图2c所示。
Slave-MP1收到码流后，也已经有了所有会场1到会场6的音频了，这样分别剔除本地会场3和会场4的音频后的混音音频分别发送给本地会场3和会场4，这样会场3收到的混音音频包括会场1和会场2以及会场4到会场6的混音音频，会场4收到是会场1到会场3以及会场5和会场6的混音音频。Slave-MP2也如法炮制，如图2d所示。
这样，整个全体会议的每个会场都能听到所有会议讨论的声音。
优选地，方法还包括：辅助混音资源从接收到的音频码流中识别出真正参与混音的会场，其中，真正参与混音的会场为发出有效的音频码流的会场；将真正参与混音的会场的音频码流交由主混音资源进行混音处理。
本实施例中，对于真正参与混音的会场，可以交由主混音资源直接进行处理，也即是，当辅助混音资源识别出其负责的会场有人发言，则将该会场后续的音频码流直接交由主混音资源来处理，以便于将有效的音频码流尽快合并到主混音资源。
具体地，Slave-MP对自身真正参与混音的会场进行二次标记，协商该会场后续交由Master-MP进行混音。若Master-MP已满载，则需要交换一个未参与真正混音的会场给该Slave-MP。同时，对于新创建的Slave-MP，必要时也执行一个交换动作。本实施例的目的在于将有效码流尽快合并到Master-MP，减少进入混音的触发条件，降低混音时延，同时降低Slave-MP的使用。由于Master-MP上参与混音的会场有连续性标示保护，所以 Slave-MP送上去的码流，并不会破坏原有交谈的连续性。
通过上述描述可知，本实施例可以实现如下技术效果：
1、由于采用分布式混音资源的部署(主混音资源和辅助混音资源的分配)对于超大方数的会议，能够实现容量无限扩容。
2、由于辅助混音资源可以分担混音处理的任务，这样，可以充分利用终端运算能力，减小平台负载。
3、同一种技术，解决大方数会议，级联会议和分组会议，技术得到复用，管理模型简单。
4、动态调整每个混音资源的处理码流内容，降低混音时延和系统开销。
5、对单个混音资源的运算能力要求不高，同时使用多个混音资源时可灵活分布在同一台或不同的处理器上。
实施例2
本施例提供一种视频会议的混音装置，该装置可以用于执行本发明实施例1的视频会议的混音方法，如图3所示，该装置包括：接收单元10、判断单元20、查询单元30和分配单元40。
接收单元10设置在主混音资源上，用于接收辅助混音资源发送的音频码流，其中，辅助混音资源为一个或者多个，每个辅助混音资源用于对至少两个会场的音频码流进行混音。
主混音资源可以有其负责的会场，接收这些会场的音频码流，也可以只接收辅助混音资源发送的音频码流。
判断单元20用于判断主混音资源是否满载。
由于主混音资源存在上限，在接收音频码流的过程中，需要判断主混音资源是否已经满载，如果满载，容易导致混音结果出问题。
查询单元30用于在判断出主混音资源满载的情况下，查询空闲的辅助混音资源。
为避免混音结果出问题，在主混音资源满载的情况下，查询是否存在空闲的辅助混音资源，以便于分担主混音资源的音频码流。其中，该空闲的辅助混音资源是指已经创建的但未承担音频混音和编码任务的混音资源。
分配单元40用于在查询到空闲的辅助混音资源的情况下，将主混音资源接收到的部分音频码流分配到空闲的辅助混音资源，由空闲的辅助混音资源对部分音频码流进行混音后，发送给主混音资源。
由该空闲的辅助混音资源来承担主混音资源的部分音频码流的混音处理，并将处理后的音频码流发送回主混音资源。其中，分配出去的部分音频码流的数量可以预先设定，其数量至少大于等于2。
例如，当主混音资源的满载上限为100路音频码流，如果有101路音频码流接入，则可以分配3路音频码流给空闲的辅助混音资源，该空闲的辅助混音资源对这两路音频码流进行混音之后，得到1路音频码流发送回主混音资源。主混音资源在分配出去3路音频码流之后，剩余98路，然后接收之前分配出去的音频码流混音后的1路音频码流，得到99路，小于满 载上限。
根据本发明实施例，通过采用音频资源的分布式部署，辅助混音资源负责会场音频的混音处理，主混音资源负责辅助混音资源的音频的混音处理，并在判断出主混音资源满载的情况下，查询空闲的辅助混音资源，将主混音资源接收到的部分音频码流分配到空闲的辅助混音资源，由空闲的辅助混音资源对部分音频码流进行混音后，发送给主混音资源，使得音频混音能力不受到单个混音资源的处理能力的限制，解决了现有技术中能够接入混音的会场数量容易受到混音处理能力的限制的问题，实现可无限扩展的超大方数的会场的智能混音。
优选地，装置还包括：创建单元，用于在未查询到空闲的辅助混音资源的情况下，创建新的辅助混音资源；其中，分配单元还用于将主混音资源接收到的部分音频码流分配到新的辅助混音资源，由新的辅助混音资源对部分音频码流进行混音后，发送给主混音资源。
本实施例中，如果没有空闲的辅助混音资源，则需要创建新的辅助混音资源，由该新的辅助混音资源代替上述空闲的辅助混音资源。
主辅助混音资源在接收到会场的音频码流之后，都会对该音频码流进行声学预处理，主要包括降噪、静音检测、增益调整、人声识别、连续性识别等。在处理之后可以对音频码流打上预处理标记。由于主混音资源需要处理其负责的会场的音频以及辅助混音资源的音频，对于这些音频中的已处理类的音频(也即是打上预处理标记的音频码流)，则优先由主混音资源来处理，如果主混音资源满载，则查询空闲的辅助混音资源，或者创建 新的辅助混音资源。
本实施例中，装置还包括：处理单元，设置的辅助混音资源上，用于对辅助混音资源各自负责的会场的音频码流进行声学预处理，根据处理后的结果将有效的音频码流进行标记；混音单元，设置在主混音资源上，用于通过标记对有效的音频码流进行混音和编码。
辅助混音资源在对自己负责的会场的音频码流进行处理之后，识别出有效的音频码流，也即是有发言的会场的音频(其它会场只是在听，没有发声)，进行标记。主混音资源通过这些标记来识别有效的音频码流，对这些码流进行混音和编码，其它的音频码流虽然流入到主混音资源，但实际上并没有参与混音和编码。这样，虽然主混音资源中存在大量的音频码流，但大部分码流经参与混音候选排序，而不参与真正的混音和编码，能够大大降低数据处理量，基本不损耗平台的运算能力。
进一步地，装置还包括：发送单元，设置在主混音资源上，用于在主混音资源通过标记对有效的音频码流进行混音和编码之后，将除目标节点的音频码流之外的音频码流发送给目标节点，其中，目标节点为会场或者辅助混音资源。
在主混音资源对音频码流进行混音编码之后，需要广播给各会场。其中，目标节点包括：主混音资源负责的会场或者辅助混音资源。对于主混音资源负责的某个会场，需要将其他会场(不包括该会场)的混音后的音频码流广播给该会场；对于辅助混音资源负责的会场，主混音资源将其他会场(不包括该辅助混音资源负责的会场)的音频码流发送给该辅助混音 资源，由其广播给其负责的会场。
优选地，装置还包括：识别单元，设置在辅助混音资源上，用于从接收到的音频码流中识别出真正参与混音的会场，其中，真正参与混音的会场为发出有效的音频码流的会场；切换单元，用于将真正参与混音的会场的音频码流交由主混音资源进行混音处理。
本实施例中，对于真正参与混音的会场，可以交由主混音资源直接进行处理，也即是，当辅助混音资源识别出其负责的会场有人发言，则将该会场后续的音频码流直接交由主混音资源来处理，以便于将有效的音频码流尽快合并到主混音资源。
具体地，Slave-MP对自身真正参与混音的会场进行二次标记，协商该会场后续交由Master-MP进行混音。若Master-MP已满载，则需要交换一个未参与真正混音的会场给该Slave-MP。同时，对于新创建的Slave-MP，必要时也执行一个交换动作。本实施例的目的在于将有效码流尽快合并到Master-MP，减少进入混音的触发条件，降低混音时延，同时降低Slave-MP的使用。由于Master-MP上参与混音的会场有连续性标示保护，所以Slave-MP送上去的码流，并不会破坏原有交谈的连续性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储资源、CD-ROM、光学存储资源等)上实施的计算机程序产品 的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理资源以产生一个机资源，使得通过计算机或其他可编程数据处理设备的处理资源执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储资源中，使得存储在该计算机可读存储资源中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予 以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种视频会议的混音方法，其特征在于，包括：
主混音资源接收辅助混音资源发送的音频码流，其中，所述辅助混音资源为一个或者多个，每个辅助混音资源用于对至少两个会场的音频码流进行混音；
判断所述主混音资源是否满载；
在判断出所述主混音资源满载的情况下，查询空闲的辅助混音资源；
在查询到所述空闲的辅助混音资源的情况下，将所述主混音资源接收到的部分音频码流分配到所述空闲的辅助混音资源，由所述空闲的辅助混音资源对所述部分音频码流进行混音后，发送给所述主混音资源。
2.根据权利要求1所述的方法，其特征在于，
在未查询到所述空闲的辅助混音资源的情况下，创建新的辅助混音资源；
将所述主混音资源接收到的部分音频码流分配到所述新的辅助混音资源，由所述新的辅助混音资源对所述部分音频码流进行混音后，发送给所述主混音资源。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述辅助混音资源对各自负责的会场的音频码流进行声学预处理，根据处理后的结果将有效的音频码流进行标记；
所述主混音资源通过所述标记对有效的音频码流进行混音和编码。
4.根据权利要求3所述的方法，其特征在于，在所述主混音资源通过所述标记对有效的音频码流进行混音和编码之后，所述方法还包括：
所述主混音资源将除目标节点的音频码流之外的音频码流发送给所述目标节点，其中，所述目标节点为会场或者辅助混音资源。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
所述辅助混音资源从接收到的音频码流中识别出真正参与混音的会场，其中，所述真正参与混音的会场为发出所述有效的音频码流的会场；
将所述真正参与混音的会场的音频码流交由所述主混音资源进行混音处理。
6.一种视频会议的混音装置，其特征在于，包括：
接收单元，设置在主混音资源上，用于接收辅助混音资源发送的音频码流，其中，所述辅助混音资源为一个或者多个，每个辅助混音资源用于对至少两个会场的音频码流进行混音；
判断单元，用于判断所述主混音资源是否满载；
查询单元，用于在判断出所述主混音资源满载的情况下，查询空闲的辅助混音资源；
分配单元，用于在查询到所述空闲的辅助混音资源的情况下，将所述主混音资源接收到的部分音频码流分配到所述空闲的辅助混音资源，由所述空闲的辅助混音资源对所述部分音频码流进行混音后，发送给所述主混音资源。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
创建单元，用于在未查询到所述空闲的辅助混音资源的情况下，创建新的辅助混音资源；
其中，所述分配单元还用于将所述主混音资源接收到的部分音频码流分配到所述新的辅助混音资源，由所述新的辅助混音资源对所述部分音频码流进行混音后，发送给所述主混音资源。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
处理单元，设置的所述辅助混音资源上，用于对所述辅助混音资源各自负责的会场的音频码流进行声学预处理，根据处理后的结果将有效的音频码流进行标记；
混音单元，设置在所述主混音资源上，用于通过所述标记对有效的音频码流进行混音和编码。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
发送单元，设置在所述主混音资源上，用于在所述主混音资源通过所述标记对有效的音频码流进行混音和编码之后，将除目标节点的音频码流之外的音频码流发送给所述目标节点，其中，所述目标节点为会场或者辅助混音资源。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
识别单元，设置在所述辅助混音资源上，用于从接收到的音频码流中识别出真正参与混音的会场，其中，所述真正参与混音的会场为发出所述有效的音频码流的会场；
切换单元，用于将所述真正参与混音的会场的音频码流交由所述主混音资源进行混音处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610550653.6A CN106060450B (zh) | 2016-07-13 | 2016-07-13 | 一种视频会议的混音方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610550653.6A CN106060450B (zh) | 2016-07-13 | 2016-07-13 | 一种视频会议的混音方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106060450A true CN106060450A (zh) | 2016-10-26 |
| CN106060450B CN106060450B (zh) | 2019-03-29 |
Family
ID=57185500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610550653.6A Active CN106060450B (zh) | 2016-07-13 | 2016-07-13 | 一种视频会议的混音方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106060450B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106534762A (zh) * | 2016-11-16 | 2017-03-22 | 深圳市捷视飞通科技股份有限公司 | 低延时分布式音频处理方法及系统 |
| CN108989590A (zh) * | 2017-05-31 | 2018-12-11 | 南宁富桂精密工业有限公司 | 电话会议连线方法、电话会议终端及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1543181A (zh) * | 2003-04-30 | 2004-11-03 | 华为技术有限公司 | 一种分布式混音处理方法 |
| CN103428102A (zh) * | 2013-08-06 | 2013-12-04 | 北京智谷睿拓技术服务有限公司 | 在分布式网络中实现动态负载平衡的方法和系统 |
| US20140050454A1 (en) * | 2012-08-17 | 2014-02-20 | Nokia Corporation | Multi Device Audio Capture |
| CN103686059A (zh) * | 2013-09-23 | 2014-03-26 | 广东威创视讯科技股份有限公司 | 分布式混音处理方法及系统 |
| CN104486518A (zh) * | 2014-12-03 | 2015-04-01 | 中国电子科技集团公司第三十研究所 | 一种带宽受限网络环境下的电话会议分布式混音方法 |
-
2016
- 2016-07-13 CN CN201610550653.6A patent/CN106060450B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1543181A (zh) * | 2003-04-30 | 2004-11-03 | 华为技术有限公司 | 一种分布式混音处理方法 |
| US20140050454A1 (en) * | 2012-08-17 | 2014-02-20 | Nokia Corporation | Multi Device Audio Capture |
| CN103428102A (zh) * | 2013-08-06 | 2013-12-04 | 北京智谷睿拓技术服务有限公司 | 在分布式网络中实现动态负载平衡的方法和系统 |
| CN103686059A (zh) * | 2013-09-23 | 2014-03-26 | 广东威创视讯科技股份有限公司 | 分布式混音处理方法及系统 |
| CN104486518A (zh) * | 2014-12-03 | 2015-04-01 | 中国电子科技集团公司第三十研究所 | 一种带宽受限网络环境下的电话会议分布式混音方法 |
Non-Patent Citations (1)
| Title |
|---|
| 蔡必强: "视频会议中混音技术研究", 《现代电子技术》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106534762A (zh) * | 2016-11-16 | 2017-03-22 | 深圳市捷视飞通科技股份有限公司 | 低延时分布式音频处理方法及系统 |
| CN106534762B (zh) * | 2016-11-16 | 2019-12-13 | 深圳市捷视飞通科技股份有限公司 | 低延时分布式音频处理方法及系统 |
| CN108989590A (zh) * | 2017-05-31 | 2018-12-11 | 南宁富桂精密工业有限公司 | 电话会议连线方法、电话会议终端及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106060450B (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105518620A (zh) | 一种网卡配置方法及资源管理中心 | |
| CN105139641A (zh) | 一种基于WiFi中继站的车辆调度方法及系统 | |
| CN102650950A (zh) | 一种支持多gpu虚拟化的平台架构及其工作方法 | |
| CN103200196B (zh) | 一种用户设备及访问目标间的接入访问方法、系统及装置 | |
| US20120166646A1 (en) | Method and apparatus for providing multi-level distributed computations | |
| CN106095601A (zh) | 一种多进程并发解算差分服务器系统及其实现方法 | |
| CN106060450A (zh) | 一种视频会议的混音方法及装置 | |
| WO2022247201A1 (zh) | 一种数据查询方法及装置 | |
| CN107742474A (zh) | 一种景区用智慧旅游路牌系统及其使用方法 | |
| CN112153697A (zh) | 一种多基站、高并发场景下的cors解算方法、播发方法及系统、cors系统 | |
| CN104901815A (zh) | 一种用户终端的分组方法、会议服务器、会议系统 | |
| CN110297658A (zh) | 功能组件共享方法、装置和计算机设备 | |
| CN108924577A (zh) | 基于直播的节目制作播出系统及方法 | |
| CN113992688A (zh) | 分布单元云端部署方法、设备、存储介质和系统 | |
| CN114697276A (zh) | 片上网络（NoC）中的广播交换机系统 | |
| CN106027365A (zh) | 一种信息交互的方法及装置 | |
| JP2013179634A (ja) | マルチ周波数ネットワークにおいてコンテンツを配信するための方法および装置 | |
| WO2021078058A1 (zh) | 资源调度方法、装置、设备及计算机可读存储介质 | |
| CN104253807B (zh) | 一种媒体资源控制方法及装置 | |
| WO2018049627A1 (zh) | 一种集群组呼处理方法、相关设备和系统 | |
| CN115361280B (zh) | 算力网络调用方法、装置、设备及存储介质 | |
| CN110149721A (zh) | 语音呼叫的方法、装置及系统 | |
| CN105812434B (zh) | 用户手持设备虚拟化后的业务链控制方法及装置 | |
| CN103733723B (zh) | 通用的多-无线电接入技术 | |
| CN114666170B (zh) | 分层分级的安全集散管控方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |