CN111200717A - 级联会议的混音方法、装置、电子设备及介质 - Google Patents

级联会议的混音方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111200717A
CN111200717A CN201911420353.6A CN201911420353A CN111200717A CN 111200717 A CN111200717 A CN 111200717A CN 201911420353 A CN201911420353 A CN 201911420353A CN 111200717 A CN111200717 A CN 111200717A
Authority
CN
China
Prior art keywords
conference
multipoint processing
processing units
processing unit
conference terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911420353.6A
Other languages
English (en)
Inventor
陆军
王胜柯
苏志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201911420353.6A priority Critical patent/CN111200717A/zh
Publication of CN111200717A publication Critical patent/CN111200717A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及视频会议技术领域，具体涉及级联会议的混音方法、装置、电子设备及介质，其中方法包括获取级联会议中各个会议终端的标识；所述标识用于表示会议终端对应的多点处理单元，所述级联会议包括多个级联的多点处理单元；根据各个会议终端的标识，将会议终端分发至对应的所述多点处理单元并触发各个所述多点处理单元开启混音。该方法利用级联会议中各个会议终端的标识将各个会议终端分发至对应的多点处理单元，同时在每个多点处理单元中开启混音，那么后续各个多点处理单元下挂的会议终端的音频码流就可以基于各自对应的多点处理单元所开启的混音器进行混音处理，可以提高音频码流的混音效率，从而避免了由于混音所导致的音频码流的延时。

Description

级联会议的混音方法、装置、电子设备及介质
技术领域
本发明涉及视频会议技术领域，具体涉及级联会议的混音方法、装置、电子设备及介质。
背景技术
视频会议是通过网络召开的会议，能为身在异地的与会者提供实时的音视频交流。视频会议的音频相对视频来说更加重要，因为如果只能看到视频而不能听到与会者的音频，那么信息交流就显得尤为困难。由于网络带宽的限制和网络环境的多变性，人们采用降低编码比特率和改善网络条件等办法获取高质量的语音和视频，同时人们希望视频会议能够模拟真实的会议环境，在有多人同时说话时，终端能同时听到每个人说话的声音。这就需要增加混音功能，所谓混音就是将不同的音频流在某个节点处通过线性叠加的方法混合成一个音频流，这样在播放时就达到模拟真实会议场景的目的。
对于单级会议，只需要一个混音器，进混音器的终端接收N-1路混音码流(剔除自己的一路码流)，没进混音器的终端接收N路码流(广播码流)。但是对于级联多级会议，由于多级级联会议所接入的会议终端较多，如果用单级的混音器，单个混音器将难以及时处理所有会议终端所产生的音频码流，导致级联会议的音频码流的延时较长。
发明内容
有鉴于此，本发明实施例提供了一种级联会议的混音方法、装置、电子设备及介质，以解决级联会议中由于单个混音器在混音时难以及时处理所有会议终端产生的音频码流所导致的音频码流的延时问题。
第一方面，在一个实施例中，提供一种级联会议的混音方法，包括：
获取级联会议中各个会议终端的标识；其中，所述标识用于表示所述会议终端对应的多点处理单元，所述级联会议包括多个级联的所述多点处理单元；
根据各个所述会议终端的标识，将所述会议终端分发至对应的所述多点处理单元并触发各个所述多点处理单元开启混音。
本发明实施例所述的级联会议的混音方法，利用级联会议中各个会议终端的标识将各个会议终端分发至对应的多点处理单元，同时在每个多点处理单元中开启混音，那么后续各个多点处理单元下挂的会议终端的音频码流就可以基于各自对应的多点处理单元所开启的混音器进行混音处理，可以提高音频码流的混音效率，从而避免了级联会议由于单个混音器在混音时难以及时处理所有会议终端所产生的音频码流所导致的音频码流的延时问题。
在另一个实施例中，所述根据各个所述会议终端的标识，将所述会议终端分发至对应的所述多点处理单元并触发各个所述多点处理单元开启混音，包括：
基于各个所述会议终端的标识，将所有所述会议终端划分为本级会议终端与非本级会议终端并开启本级的混音；
将所述非本级会议终端下发至对应的多点处理单元，以使得对应的多点处理单元对接收到的会议终端进行划分并开启混音。
本发明实施例所述的级联会议的混音方法，利用会议终端的标识将所有会议终端划分为本级会议终端与非本级会议终端，对于非本级会议终端在下发至对应的多点处理单元进行分组，通过递归分组的方式可以提高会议终端分组的效率。
在另一个实施例中，所述基于各个所述会议终端的标识，将所有所述会议终端划分为本级会议终端与非本级会议终端，包括：
依次判断各个所述会议终端的标识是否属于本级会议；
当所述会议终端的标识属于所述本级会议时，确定所述标识对应的所述会议终端为所述本级会议终端。
在另一个实施例中，所述将所述非本级会议终端下发至对应的多点处理单元，以使得所述对应的多点处理单元对接收到的会议终端进行划分并开启混音，包括：
利用所述会议终端的标识，确定本级的各个直属下级多点处理单元对应的会议终端；
将确定出的会议终端下发至所述直属下级多点处理单元并触发所述多点处理单元开启混音，以使得对应的直属下级多点处理单元对接收到的会议终端进行划分，直至所有所述会议终端下发至对应的多点处理单元为止。
在又一个实施例中，所述方法还包括：
获取待挂断的目标多点处理单元；
依次遍历所述级联会议中的多点处理单元，确定各个所述目标多点处理单元的所有下级目标多点处理单元；
清除所有所述下级目标多点处理单元下挂的会议终端以及所述目标多点处理单元下挂的会议终端。
本发明实施例所述的级联会议的混音方法，在挂断目标多点处理单元时，确定其所有的下级目标多点处理单元，通过清除所有下级目标多点处理单元以及多点处理单元下挂的会议终端，才能够将目标多点处理单元完全清除。
在又一个实施例中，所述清除所有所述下级目标多点处理单元下挂的会议终端以及所述目标多点处理单元下挂的会议终端，包括：
基于各个所述目标多点处理单元的所有下级目标多点处理单元的级联结构，确定所有下级目标多点处理单元的挂断顺序；
基于所述挂断顺序，依次清除所述下级目标多点处理单元下挂的会议终端；
清除所述目标多点处理单元下挂的会议终端。
第二方面，在一个实施例中，还提供一种级联会议的混音装置，包括：
获取模块，用于获取级联会议中各个会议终端的标识；其中，所述标识用于表示所述会议终端对应的多点处理单元，所述级联会议包括多个级联的所述多点处理单元；
会议终端分发模块，用于根据各个所述会议终端的标识，将所述会议终端分发至对应的所述多点处理单元并触发各个所述多点处理单元开启混音。
本发明实施例所述的级联会议的混音装置，利用级联会议中各个会议终端的标识将各个会议终端分发至对应的多点处理单元，同时在每个多点处理单元中开启混音，那么后续各个多点处理单元下挂的会议终端的音频码流就可以基于各自对应的多点处理单元所开启的混音器进行混音处理，可以提高音频码流的混音效率，从而避免了级联会议由于单个混音器在混音时难以及时处理所有会议终端所产生的音频码流所导致的音频码流的延时问题。
在另一个实施例中，所述会议终端分发模块，包括：
本级会议终端划分单元，用于基于各个所述会议终端的标识，将所有所述会议终端划分为本级会议终端与非本级会议终端并开启本级的混音；
非本级会议终端下发单元，用于将所述非本级会议终端下发至对应的多点处理单元，以使得所述对应的多点处理单元对接收到的会议终端进行划分并开启混音。
第三方面，在一个实施例中，提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的级联会议的混音方法。
本申请提供的电子设备，利用级联会议中各个会议终端的标识将各个会议终端分发至对应的多点处理单元，同时在每个多点处理单元中开启混音，那么后续各个多点处理单元下挂的会议终端的音频码流就可以基于各自对应的多点处理单元所开启的混音器进行混音处理，可以提高音频码流的混音效率，从而避免了级联会议由于单个混音器在混音时难以及时处理所有会议终端所产生的音频码流所导致的音频码流的延时问题。进一步地，在在各个会议终端分发至对应的多点处理单元时，利用会议终端的标识将所有会议终端划分为本级会议终端与非本级会议终端，对于非本级会议终端在下发至对应的多点处理单元进行分组，通过递归分组的方式可以提高会议终端分组的效率。另外，在挂断目标多点处理单元时，确定其所有的下级目标多点处理单元，通过清除所有下级目标多点处理单元以及多点处理单元下挂的会议终端，才能够将目标多点处理单元完全清除。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的级联会议的混音方法。
本发明实施例提供的计算机可读存储介质，利用级联会议中各个会议终端的标识将各个会议终端分发至对应的多点处理单元，同时在每个多点处理单元中开启混音，那么后续各个多点处理单元下挂的会议终端的音频码流就可以基于各自对应的多点处理单元所开启的混音器进行混音处理，可以提高音频码流的混音效率，从而避免了级联会议由于单个混音器在混音时难以及时处理所有会议终端所产生的音频码流所导致的音频码流的延时问题。进一步地，在在各个会议终端分发至对应的多点处理单元时，利用会议终端的标识将所有会议终端划分为本级会议终端与非本级会议终端，对于非本级会议终端在下发至对应的多点处理单元进行分组，通过递归分组的方式可以提高会议终端分组的效率。另外，在挂断目标多点处理单元时，确定其所有的下级目标多点处理单元，通过清除所有下级目标多点处理单元以及多点处理单元下挂的会议终端，才能够将目标多点处理单元完全清除。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例的级联会议的结构示意图；
图2是根据本发明实施例的级联会议的混音方法的流程图；
图3是根据本发明实施例的级联会议的混音方法的流程图；
图4是根据本发明实施例的本级与非本级会议终端的划分示意图；
图5是根据本发明实施例的直属下级多点处理单元的会议终端划分示意图；
图6是根据本发明实施例的级联混音的会议终端分布示意图；
图7是根据本发明实施例的级联会议的混音方法的流程图；
图8是根据本发明实施例的级联会议的混音装置的结构示意图；
图9是根据本发明实施例的会议终端分发模块的结构示意图；
图10是根据本发明实施例的级联会议的混音装置的结构示意图；
图11是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中所述的级联会议可以是2级级联，也可以是多级级联；可以是环形级联，也可以是树形级联等等，可以根据实际会议情况进行具体设置，在此对级联会议的具体级联数量以及级联方式并不做任何限制。
图1示出了本发明实施例中级联会议的一个具体结构，如图1所示的级联会议为3级级联，分别为1级、2级以及3级。其中，1级也可以称之为本级，即会议发起方。
对应于每一级会议均可以包括多个多点处理单元(Multi Control Unit，简称为MCU)，其中级联会议的级联方式可以用各个MCU的级联方式表示；每个MCU可以下挂一个或多个会议终端。请参见图1，1级包括1个MCU，2级包括3个MCU，各个MCU的索引号分别表示为mcuidx0，mcuidx1以及mcuidx2；3级包括6个MCU，各个MCU的索引号分别表示为mcuidx3、mcuidx4、mcuidx5、mcuidx6、mcuidx7以及mcuidx8。
在进行本发明实施例中的级联会议的混音方法的描述之前，对下文中出现的一些名词解释如下：
直属下级：以1级为例，2级为其直属下级；
直属下级多点处理单元：以1级会议的MCU为例，其直属下级多点处理单元包括mcuidx0，mcuidx1以及mcuidx2；以mucidx0为例，其直属下级多点处理单元包括mcuidx3以及mcuidx4。
下级多点处理单元：以1级会议的MCU为例，其下级多点处理单元包括mcuidx0，mcuidx1、mcuidx2、mcuidx3、mcuidx4、mcuidx5、mcuidx6、mcuidx7以及mcuidx8。
本发明实施例提供的级联会议的混音方法是采用级联混音的方式，即各级会议分别在各自进行混音过后将码流发送给其他会议，每一个会议都有混音器，并会把本地的终端加入混音器，不是本地的终端需要将终端发给其所述的会议去处理。其中，一个MCU及其下挂的会议终端称之为一个会议，以图1为例，将mcuidx0及其下挂的会议终端称之为一个会议。
根据本发明实施例，提供了一种级联会议的混音方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种级联会议的混音方法，可用于上述的多点处理单元，例如可以为会议发起方对应的多点处理单元。图2是根据本发明实施例的级联会议的混音方法的流程图，如图2所示，该流程包括如下步骤：
S11，获取级联会议中各个会议终端的标识。
其中，所述标识用于表示会议终端对应的多点处理单元，所述级联会议包括多个级联的多点处理单元。
具体地，该级联会议在开启会议时，对应的多点处理单元的级联架构确定，在各个会议终端入会时，就需要确定各个会议终端所对应的多点处理单元。其中，在各个会议终端入会时可以在其对应的会议信息中存储用于识别该会议终端对应的多点处理单元的标识。
本级(即，会议发起方)对应的多点处理单元可以访问各个会议终端对应的会议信息，就可以获取到相应的标识。其中，标识可以采用会议终端对应的MCU索引号表示，也可以采用其他标识符表示，只需要其能够标识会议终端对应的多点处理单元即可。
S12，根据各个会议终端的标识，将会议终端分发至对应的多点处理单元并触发各个多点处理单元开启混音。
本级(即，图1中的1级)对应的多点处理单元在获取到各个会议终端的标识之后，依据该标识将会议终端下发至对应的多点处理单元，且触发各个多点处理单元开启混音。即，在参与本地级联会议的多点处理单元中均开启混音，用于对接入该多点处理单元的会议终端的音频码流进行混音处理。具体地，请参见图1，以图1中的2级会议为例，2级会议包括3个MCU，分别是mcuidx0、mcuidx1以及mcuidx2，在2级会议的每个MCU中均开启混音。
本实施例所述的级联会议的混音方法，利用级联会议中各个会议终端的标识将各个会议终端分发至对应的多点处理单元，同时在每个多点处理单元中开启混音，那么后续各个多点处理单元下挂的会议终端的音频码流就可以基于各自对应的多点处理单元所开启的混音器进行混音处理，可以提高音频码流的混音效率，从而避免了级联会议由于单个混音器在混音时难以及时处理所有会议终端所产生的音频码流所导致的音频码流的延时问题。
在本实施例中提供了一种级联会议的混音方法，可用于上述的多点处理单元，例如可以为会议发起方对应的多点处理单元。图3是根据本发明实施例的级联会议的混音方法的流程图，如图3所示，该流程包括如下步骤：
S21，获取级联会议中各个会议终端的标识。
其中，所述标识用于表示会议终端对应的多点处理单元，所述级联会议包括多个级联的多点处理单元。
详细请参见图2所示实施例的S11，在此不再赘述。
S22，根据各个会议终端的标识，将会议终端分发至对应的多点处理单元并触发各个多点处理单元开启混音。
本级的多点处理单元基于各个会议终端的标识，将入会的各个会议终端进行下发，所谓的下发就是将各个会议终端归属至对应的多点处理单元。具体地，包括以下步骤：
S221，基于各个会议终端的标识，将所有会议终端划分为本级会议终端与非本级会议终端并开启本级的混音。
本级的多点处理单元首先将所有会议终端划分为本级会议终端与非本级会议终端，在划分出会议终端之后，在本级开启混音并将非本级会议终端下发至对应的多点处理单元。
例如，上述S221可以采用如下步骤表示：
(1)依次判断各个会议终端的标识是否属于本级会议。
本级的多点处理单元依次遍历各个会议终端的标识，以判断其是否属于本级会议。当属于本级会议时，执行步骤(2)；否则，确定该标识对应的会议终端为非本级会议终端。
(2)确定所述标识对应的会议终端为本级会议终端。
入会的各个会议终端及其对应的标识如下表所示：
表1会议终端及其对应的标识
会议终端 标识
MT1 19200
MT2 19200
MT3 19200-mcuidx0
MT4 19200-mcuidx0
MT9 19200-mcuidx0-mcuidx3
MT11 19200-mcuidx0-mcuidx4
MT5 19200-mcuidx1
MT13 19200-mcuidx1-mcuidx5
MT15 19200-mcuidx1-mcuidx6
MT17 19200-mcuidx2-mcuidx7
MT19 19200-mcuidx2-mcuidx8
如表1所示，标识19200标识本级的多点处理单元的标识；标识19200-mcuidx0表示本级的直属下级多点处理单元mcuidx0的标识；标识19200-mcuidx2-mcuidx7表示本级的下级多点处理单元mcuidx7的标识。即，在各个会议终端标识也可以确定出其对应的多点处理单元与其他多点处理单元之间的级联关系。
如图4所示，本级的多点处理单元将表1中的会议终端划分为本级会议终端与非本级会议终端。其中，标识为19200对应的会议终端为本级会议终端，其余均为非本级会议终端。因此，上述会议终端中本级会议终端包括MT1以及MT2，非本级会议终端为MT3、MT4、MT9、MT11、MT5、MT13、MT15、MT17以及MT19。
S222，将非本级会议终端下发至对应的多点处理单元，以使得对应的多点处理单元对接收到的会议终端进行划分并开启混音。
本级的多点处理单元将上述S221中确定出的非本级会议终端下发至其直属下级多点处理单元。那么，直属下级多点处理单元再基于各个会议终端的标识确定其对应的本级会议终端以及非本级会议终端，以实现会议终端的逐层下发。具体地，上述S222可以包括如下步骤：
(1)利用会议终端的标识，确定本级的各个直属下级多点处理单元对应的会议终端。
本级的多点处理单元可以知晓其直属下级多点处理单元，就可以在构建级联会议时就存储其直属下级多点处理单元的标识。那么，本级的多点处理单元可以利用其所存储的直属下级多点处理单元的标识，再次利用会议终端的标识确定本级的各个直属下级多点单元对应的会议终端，即从上述S221中确定出的非本级会议终端下发至对应的直属下级多点处理单元中。
(2)将确定出的会议终端下发至直属下级多点处理单元并触发多点处理单元开启混音，以使得对应的直属下级多点处理单元对接收到的会议终端进行划分，直至所有会议终端下发至对应的多点处理单元为止。
如图5所示，本级的多点处理单元将会议终端MT3、MT4、MT9以及MT11下发至多点处理单元mcuidx0，将会议终端MT5、MT13以及MT15下发至多点处理单元mcuidx1，将会议终端MT17以及MT19下发至多点处理单元mcuidx2。
在将各个会议终端下发之后，对应的多点处理单元在依据同样的方式会各个会议终端再次进行下发直至所有的会议终端下发完成。以多点处理单元mcuidx0为例，其在接收到MT3、MT4、MT9以及MT11会议终端之后，再次依据上述4个会议终端的标识将其划分为本级会议终端(MT3以及MT4)与非本级会议终端(MT9以及MT11)；然后，再确定mcuidx0的直属下级多点处理单元mcuidx3以及mcuidx4，将非本级会议终端(MT9以及MT11)下发至对应的直属下级多点处理单元，mcuidx3以及mcuidx4开启混音；即，将MT9下发至mcuidx3，将MT11下发至mcuidx4；mcuidx3以及mcuidx4再分别确认其是否具有直属下级多点处理单元，若不存在直属下级多点处理单元，则会议终端分发完成。其他多点处理单元对应的会议终端的分发类似，在此不再赘述。
如图6所示，图6示出了所有的会议终端下发完成的示意图。入会的每个会议终端均依据其标识下发至相应的多点处理单元中，同时在每个多点处理单元中开启混音，以使得该混音器能够对接入该多点处理单元的会议终端的音频码流进行混音。请参见图6，对于mcuidx0，其下挂的会议终端有MT3以及MT4，那么mcuidx0会开启混音，对会议终端MT3以及MT4所产生的音频码流进行混音处理后再发送给其他会议终端。即，在级联会议中，各个多点处理单元对下挂的会议终端所产生的音频码流进行混音处理后，再发送给其他会议终端，其他会议终端在接收到混音后的音频码流之后，就可以实现音频码流的播放。
本实施例所述的级联会议的混音方法，利用会议终端的标识将所有会议终端划分为本级会议终端与非本级会议终端，对于非本级会议终端在下发至对应的多点处理单元进行分组，通过递归分组的方式可以提高会议终端分组的效率。
在本实施例中提供了一种级联会议的混音方法，可用于上述的多点处理单元，图7是根据本发明实施例的级联会议的混音方法的流程图，如图7所示，该流程包括如下步骤：
S31，获取级联会议中各个会议终端的标识。
其中，所述标识用于表示会议终端对应的多点处理单元，所述级联会议包括多个级联的多点处理单元。
详细请参见图3所示实施例的S21，在此不再赘述。
S32，根据各个会议终端的标识，将会议终端分发至对应的多点处理单元并触发各个多点处理单元开启混音。
详细请参见图3所示实施例的S22，在此不再赘述。
S33，获取待挂断的目标多点处理单元。
本级的多点处理单元可以从外界获取到待挂断的目标多点处理单元的索引号，也可以是待挂断的目标多点处理单元向本级的多点处理单元发送挂断消息等等。
S34，依次遍历级联会议中的多点处理单元，确定各个目标多点处理单元的所有下级目标多点处理单元。
本级的多点处理单元在上述S33中获取到目标多点处理单元之后，可以在级联会议中查询到该目标多点处理单元，以及该目标多点处理单元的所有下级目标多点处理单元。
S35，清除所有下级目标多点处理单元下挂的会议终端以及目标多点处理单元下挂的会议终端。
本级的多点处理单元在上述S34中确定出各个目标多点处理单元的所有下级目标多点处理单元之后，清除所有下级目标多点处理单端下挂的所有会议终端以及目标多点处理单元下挂的会议终端。
作为本实施例的一种可选实施方式，上述S35可以包括如下步骤：
(1)基于各个目标多点处理单元的所有下级目标多点处理单元的级联结构，确定所有下级目标多点处理单元的挂断顺序。
以图6为例，本级的多点处理单元需要清除2级会议，那么确定出目标多点处理单元为mcuidx0、mcuidx1以及mcuidx2。再利用这些目标多点处理单元从图6所示的级联会议中确定各个目标多点处理单元的所有下级目标多点处理单元的级联结构，以确定所有下级母女多点处理单元的挂断顺序。其中，所述挂断顺序为从最底层开始依次向上清除会议终端，例如先清除3级会议中下挂的会议终端，再清除2级会议下挂的会议终端。
(2)基于挂断顺序，依次清除下级目标多点处理单元下挂的会议终端。
(3)清除目标多点处理单元下挂的会议终端。
以图6为例，具体的挂断二级会议(mcuidx0)，MT3，MT4，MT9，MT11在定制混音中。在1级会场里处理，首先找到2级会议(mcuidx0)的直属下级mcuidx3，再找mcuidx3的直属下级MCU，若无，则清除mcuidx3的MT9终端和该终端在1级会场混音中的数据；然后继续找2级会议(mcuidx0)的直属下级mcuidx4，再找mcuidx4的直属下级mcu(无)，这时才清掉mcuidx4的MT11终端和该终端在1级会场混音中的数据；最后，2级会议(mcuidx0)的直属下级mcu都遍历完成后，清理mcuidx0的MT3，MT4终端和该终端在1级会场混音中的数据。
本实施例所述的级联会议的混音方法，在挂断目标多点处理单元时，确定其所有的下级目标多点处理单元，通过清除所有下级目标多点处理单元以及多点处理单元下挂的会议终端，才能够将目标多点处理单元完全清除。
在本实施例中还提供了一种级联会议的混音装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种级联会议的混音装置，如图8所示，包括：
获取模块41，用于获取级联会议中各个会议终端的标识；其中，所述标识用于表示所述会议终端对应的多点处理单元，所述级联会议包括多个级联的所述多点处理单元；
会议终端分发模块42，用于根据各个所述会议终端的标识，将所述会议终端分发至对应的所述多点处理单元并触发各个所述多点处理单元开启混音。
作为本实施例的一种可选实施方式，如图9所示，所述的会议终端分发模块42包括：
本级会议终端划分单元421，用于基于各个所述会议终端的标识，将所有所述会议终端划分为本级会议终端与非本级会议终端并开启本级的混音；
非本级会议终端下发单元422，用于将所述非本级会议终端下发至对应的多点处理单元，以使得所述对应的多点处理单元对接收到的会议终端进行划分并开启混音。
本实施例中的级联会议的混音装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
在本实施例的另一些可选实施方式中，所述的本级会议终端划分单元421，包括：
判断子单元，用于依次判断各个所述会议终端的标识是否属于本级会议；
第一确定子单元，用于当所述会议终端的标识属于所述本级会议时，确定所述标识对应的所述会议终端为所述本级会议终端。
在本实施例的又一些可选实施方式中，所述的非本级会议终端下发单元422，包括：
第二确定子单元，用于利用所述会议终端的标识，确定本级的各个直属下级多点处理单元对应的会议终端；
下发子单元，用于将确定出的会议终端下发至对应的直属下级多点处理单元并触发所述多点处理单元开启混音，以使得对应的直属下级多点处理单元对接收到的会议终端进行划分，直至所有所述会议终端下发至对应的多点处理单元为止。
作为本实施例的一种可选实施方式，如图10所述，所述的级联会议的混音装置，还包括：
挂断获取模块43，用于获取待挂断的目标多点处理单元；
遍历模块44，用于依次遍历所述级联会议中的多点处理单元，确定所述目标多点处理单元的所有下级目标多点处理单元；
清除模块45，用于清除所有所述下级目标多点处理单元下挂的会议终端以及所述目标多点处理单元下挂的会议终端。
在本实施例的一些可选实施方式中，所述的清除模块45，包括：
确定单元，用于基于各个所述目标多点处理单元的所有下级目标多点处理单元的级联结构，确定所有下级目标多点处理单元的挂断顺序；
第一清除单元，用于基于所述挂断顺序，依次清除所述下级目标多点处理单元下挂的会议终端；
第二清除单元，用于清除所述目标多点处理单元下挂的会议终端。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
请参阅图11，图11是本发明可选实施例提供的一种电子设备的结构示意图，如图11所示，该电子设备可以包括：至少一个处理器51，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图8或9或10所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一级联会议的混音方法的步骤。
其中，通信总线52可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器54还可以包括上述种类的存储器的组合。
其中，处理器51可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本申请任一实施例中所示的级联会议的混音方法。
本申请实施例提供的电子设备，利用级联会议中各个会议终端的标识将各个会议终端分发至对应的多点处理单元，同时在每个多点处理单元中开启混音，那么后续各个多点处理单元下挂的会议终端的音频码流就可以基于各自对应的多点处理单元所开启的混音器进行混音处理，可以提高音频码流的混音效率，从而避免了级联会议由于单个混音器在混音时难以及时处理所有会议终端所产生的音频码流所导致的音频码流的延时问题。进一步地，在在各个会议终端分发至对应的多点处理单元时，利用会议终端的标识将所有会议终端划分为本级会议终端与非本级会议终端，对于非本级会议终端在下发至对应的多点处理单元进行分组，通过递归分组的方式可以提高会议终端分组的效率。另外，在挂断目标多点处理单元时，确定其所有的下级目标多点处理单元，通过清除所有下级目标多点处理单元以及多点处理单元下挂的会议终端，才能够将目标多点处理单元完全清除。
在一个实施例中，本申请还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的级联会议的混音方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本申请提供的计算机可读存储介质，利用级联会议中各个会议终端的标识将各个会议终端分发至对应的多点处理单元，同时在每个多点处理单元中开启混音，那么后续各个多点处理单元下挂的会议终端的音频码流就可以基于各自对应的多点处理单元所开启的混音器进行混音处理，可以提高音频码流的混音效率，从而避免了级联会议由于单个混音器在混音时难以及时处理所有会议终端所产生的音频码流所导致的音频码流的延时问题。进一步地，在在各个会议终端分发至对应的多点处理单元时，利用会议终端的标识将所有会议终端划分为本级会议终端与非本级会议终端，对于非本级会议终端在下发至对应的多点处理单元进行分组，通过递归分组的方式可以提高会议终端分组的效率。另外，在挂断目标多点处理单元时，确定其所有的下级目标多点处理单元，通过清除所有下级目标多点处理单元以及多点处理单元下挂的会议终端，才能够将目标多点处理单元完全清除。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种级联会议的混音方法，其特征在于，包括：
获取级联会议中各个会议终端的标识；其中，所述标识用于表示所述会议终端对应的多点处理单元，所述级联会议包括多个级联的所述多点处理单元；
根据各个所述会议终端的标识，将所述会议终端分发至对应的所述多点处理单元并触发各个所述多点处理单元开启混音。
2.根据权利要求1所述的方法，其特征在于，所述根据各个所述会议终端的标识，将所述会议终端分发至对应的所述多点处理单元并触发各个所述多点处理单元开启混音的步骤，包括：
基于各个所述会议终端的标识，将所有所述会议终端划分为本级会议终端与非本级会议终端并开启本级的混音；
将所述非本级会议终端分别下发至对应的多点处理单元，以使得对应的多点处理单元对接收到的会议终端进行划分并开启混音。
3.根据权利要求2所述的方法，其特征在于，基于各个所述会议终端的标识，将所有所述会议终端划分为本级会议终端与非本级会议终端，包括：
依次判断各个所述会议终端的标识是否属于本级会议；
当所述会议终端的标识属于所述本级会议时，确定所述标识对应的所述会议终端为所述本级会议终端。
4.根据权利要求2所述的方法，其特征在于，所述将所述非本级会议终端下发至对应的多点处理单元，以使得所述对应的多点处理单元对接收到的会议终端进行划分并开启混音的步骤，包括：
利用所述会议终端的标识，确定本级的各个直属下级多点处理单元对应的会议终端；
将确定出的会议终端下发至对应的直属下级多点处理单元并触发所述多点处理单元开启混音，以使得对应的直属下级多点处理单元对接收到的会议终端进行划分，直至所有所述会议终端下发至对应的多点处理单元为止。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
获取待挂断的目标多点处理单元；
依次遍历所述级联会议中的多点处理单元，确定所述目标多点处理单元的所有下级目标多点处理单元；
清除所有所述下级目标多点处理单元下挂的会议终端以及所述目标多点处理单元下挂的会议终端。
6.根据权利要求5所述的方法，其特征在于，所述清除所有所述下级目标多点处理单元下挂的会议终端以及所述目标多点处理单元下挂的会议终端的步骤，包括：
基于各个所述目标多点处理单元的所有下级目标多点处理单元的级联结构，确定所有下级目标多点处理单元的挂断顺序；
基于所述挂断顺序，依次清除所述下级目标多点处理单元下挂的会议终端；
清除所述目标多点处理单元下挂的会议终端。
7.一种级联会议的混音装置，其特征在于，包括：
获取模块，用于获取级联会议中各个会议终端的标识；其中，所述标识用于表示所述会议终端对应的多点处理单元，所述级联会议包括多个级联的所述多点处理单元；
会议终端分发模块，用于根据各个所述会议终端的标识，将所述会议终端分发至对应的所述多点处理单元并触发各个所述多点处理单元开启混音。
8.根据权利要求7所述的装置，其特征在于，所述会议终端分发模块，包括：
本级会议终端划分单元，用于基于各个所述会议终端的标识，将所有所述会议终端划分为本级会议终端与非本级会议终端并开启本级的混音；
非本级会议终端下发单元，用于将所述非本级会议终端下发至对应的多点处理单元，以使得所述对应的多点处理单元对接收到的会议终端进行划分并开启混音。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-6中任一项所述的级联会议的混音方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的级联会议的混音方法。
CN201911420353.6A 2019-12-31 2019-12-31 级联会议的混音方法、装置、电子设备及介质 Pending CN111200717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911420353.6A CN111200717A (zh) 2019-12-31 2019-12-31 级联会议的混音方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911420353.6A CN111200717A (zh) 2019-12-31 2019-12-31 级联会议的混音方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN111200717A true CN111200717A (zh) 2020-05-26

Family

ID=70747218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911420353.6A Pending CN111200717A (zh) 2019-12-31 2019-12-31 级联会议的混音方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN111200717A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040303A (zh) * 2020-12-09 2022-02-11 深圳海翼智新科技有限公司 一种音箱系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1885785A (zh) * 2006-07-04 2006-12-27 华为技术有限公司 Mcu级联系统和该系统的创建及通信方法
CN101471804A (zh) * 2007-12-28 2009-07-01 华为技术有限公司 一种音频处理方法、系统和控制服务器
US20110187814A1 (en) * 2010-02-01 2011-08-04 Polycom, Inc. Automatic Audio Priority Designation During Conference
CN102404543A (zh) * 2010-09-13 2012-04-04 华为终端有限公司 级联会议中级联会场的处理方法、装置及级联会议系统
CN110225293A (zh) * 2019-06-19 2019-09-10 苏州市科远软件技术开发有限公司 会议级联方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1885785A (zh) * 2006-07-04 2006-12-27 华为技术有限公司 Mcu级联系统和该系统的创建及通信方法
CN101471804A (zh) * 2007-12-28 2009-07-01 华为技术有限公司 一种音频处理方法、系统和控制服务器
US20110187814A1 (en) * 2010-02-01 2011-08-04 Polycom, Inc. Automatic Audio Priority Designation During Conference
CN102404543A (zh) * 2010-09-13 2012-04-04 华为终端有限公司 级联会议中级联会场的处理方法、装置及级联会议系统
CN110225293A (zh) * 2019-06-19 2019-09-10 苏州市科远软件技术开发有限公司 会议级联方法及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040303A (zh) * 2020-12-09 2022-02-11 深圳海翼智新科技有限公司 一种音箱系统

Similar Documents

Publication Publication Date Title
CN108234790B (zh) 多人语音通信方法、装置、终端设备和存储介质
CN110070878B (zh) 音频码流的解码方法及电子设备
CN101668163B (zh) 视讯会议中的点名方法和设备
CN113392607B (zh) 一种确定配置参数的方法及相关设备
CN111200717A (zh) 级联会议的混音方法、装置、电子设备及介质
CN104009991A (zh) 音频通信系统和方法
CN104469032B (zh) 混音处理方法及系统
CN113450797A (zh) 基于在线会议的音频处理方法、设备、存储介质及系统
CN112333050A (zh) 基于模拟会议性能测试方法、装置、设备及存储介质
CN107277640A (zh) 基于直播平台的互动方法、装置和存储介质
CN105227894A (zh) 一种视频会议的实现方法及多点控制单元
CN109309805B (zh) 一种视频会议的多窗口显示方法、装置、设备和系统
US11431855B1 (en) Encoder pools for conferenced communications
CN106534113B (zh) Ssh连接的建立方法及装置
CN108616760B (zh) 一种基于浏览器的直播方法、服务器、主播端和用户端
CN115378959A (zh) 数据发送方法、装置、电子设备和存储介质
CN110971923B (zh) 一种弹幕连接方法、存储介质、系统及客户端
CN112019356B (zh) 数字会议中的多类型单元id自动添加方法及处理终端
CN107424620B (zh) 一种音频解码方法和装置
CN107659830B (zh) 一种互动活动的接入方法、系统及终端设备
CN115473967A (zh) 音频会议的混音控制方法、装置、设备及存储介质
CN112738445B (zh) 多线路推流方法、装置、存储介质及电子设备
CN110933451A (zh) 一种直播连麦的方法及装置、电子设备、存储介质
CN115242757B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN113157243A (zh) 操作触发方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200526

RJ01 Rejection of invention patent application after publication