CN109714316B - 一种视联网的混音处理方法和一种视联网系统 - Google Patents

Abstract

本发明提供了一种视联网的混音处理方法和视联网系统，视联网包括视联网终端，视联网终端包括多个参会终端，该方法包括：参会终端接收重采样指令；根据重采样指令，识别待重采样的目标音频数据以及与目标音频数据对应的目标重采样参数；若目标音频数据包括混音频数据，则根据目标重采样参数，对混音频数据作重采样，得到第一目标混音数据；若目标音频数据包括单音频数据，则根据重采样指令，识别与单音频数据对应的音频采集线程；控制音频采集线程，依据与单音频数据对应的目标重采样参数，对单音频数据作重采样，得到重采样的单音频数据；将重采样的单音频数据，以及其他音频采集线程采集到的其他单音频数据，作混音处理，得到第二目标混音数据。

Description

一种视联网的混音处理方法和一种视联网系统

技术领域

本发明涉及视联网的技术领域，特别是涉及一种视联网的混音处理方法和一种视联网系统。

背景技术

视联网是网络发展的重要里程碑，是互联网的更高级形态，是一个实时网络，能够实现目前互联网无法实现的全网高清视频实时传输，将众多互联网应用推向高清视频化，高清面对面。最终将实现世界无距离，实现全球范围内人与人的距离只是一个屏幕的距离。

视联网设备可以包括视联网服务器，视联网交换机(包括以太网网关)，视联网终端等，而视联网终端最常用的功能是举行多人的视频会议。在多人的视频会议中，每个参会的视联网终端都可以发言，目前的混音方案只可以对多个视联网终端的多路音频数据进行混音。而在一个视联网终端同时使用多个音频接口来采集多路音频数据时，相关技术中，尚未提出对同一个终端的多路音频数据进行混音的技术方案。

发明内容

本发明实施例提供一种视联网的混音处理方法和一种视联网系统，以解决相关技术中难以对视联网终端采集的多路音频数据进行混音的问题。

为了解决上述问题，本发明实施例公开了一种视联网的混音处理方法，所述视联网包括视联网终端，所述视联网终端包括多个参会终端，每个参会终端具有多个音频接口，所述方法包括：

所述参会终端接收重采样指令；

所述参会终端根据所述重采样指令，识别待重采样的目标音频数据以及与所述目标音频数据对应的目标重采样参数，其中，所述目标音频数据包括单音频数据和/或混音频数据，其中，所述单音频数据为从所述参会终端的一个音频接口得到的一路音频数据，所述混音频数据为对至少两路单音频数据混音后得到的一路音频数据；

若所述目标音频数据包括所述混音频数据，则所述参会终端根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据；

若所述目标音频数据包括所述单音频数据，则所述参会终端根据所述重采样指令，识别与所述单音频数据对应的音频采集线程；所述参会终端控制所述音频采集线程，依据与所述单音频数据对应的所述目标重采样参数，对所述单音频数据作重采样，得到重采样的单音频数据；所述参会终端将所述重采样的单音频数据，以及其他音频采集线程采集到的其他单音频数据，作混音处理，得到第二目标混音数据。

本发明实施例还公开了一种视联网系统，所述视联网系统包括视联网终端，所述视联网终端包括多个参会终端，每个参会终端具有多个音频接口，所述参会终端包括：

第一接收模块，用于接收重采样指令；

第一识别模块，用于根据所述重采样指令，识别待重采样的目标音频数据以及与所述目标音频数据对应的目标重采样参数，其中，所述目标音频数据包括单音频数据和/或混音频数据，其中，所述单音频数据为从所述参会终端的一个音频接口得到的一路音频数据，所述混音频数据为对至少两路单音频数据混音后得到的一路音频数据；

第一重采样模块，用于若所述目标音频数据包括所述混音频数据，则根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据；

第二识别模块，用于若所述目标音频数据包括所述单音频数据，则根据所述重采样指令，识别与所述单音频数据对应的音频采集线程；

第二重采样模块，用于若所述目标音频数据包括所述单音频数据，则控制所述音频采集线程，依据与所述单音频数据对应的所述目标重采样参数，对所述单音频数据作重采样，得到重采样的单音频数据；

混音模块，用于若所述目标音频数据包括所述单音频数据，则将所述重采样的单音频数据，以及其他音频采集线程采集到的其他单音频数据，作混音处理，得到第二目标混音数据。

本发明实施例公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的视联网的混音处理的步骤。

本发明实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的视联网的混音处理的步骤。

本发明实施例包括以下优点：

这样，本发明实施例通过接收重采样指令，可以根据重采样指令来对来自一个音频接口的单音频数据进行重采样，此外，还可以根据重采样指令来对来自多个音频接口混音后的一路混音频数据进行重采样，并且，还可以对多路单音频数据进行混音处理，不仅实现了对对视联网终端采集的多路音频数据的混音处理，而且，能够对混音前或混音后的音频数据进行重采样处理，使得重采样后的单音频数据和/或混音频数据在输出设备上播放时，能够使其采样率与输出设备的频率相匹配，避免输出的混音频数据，或单音频数据无法被准确播放的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；

图1是本发明实施例的一种视联网的组网示意图；

图2是本发明实施例的一种节点服务器的硬件结构示意图；

图3是本发明实施例的一种接入交换机的硬件结构示意图；

图4是本发明实施例的一种以太网协转网关的硬件结构示意图；

图5是本发明实施例的一种视联网的混音处理方法实施例的步骤流程图；

图6是本发明实施例的一种视联网系统实施例的结构框图。

具体实施方式

为了使本发明实施例所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明实施例进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

视联网是网络发展的重要里程碑，是一个实时网络，能够实现高清视频实时传输，将众多互联网应用推向高清视频化，高清面对面。

视联网采用实时高清视频交换技术，可以在一个网络平台上将所需的服务，如高清视频会议、视频监控、智能化监控分析、应急指挥、数字广播电视、延时电视、网络教学、现场直播、VOD点播、电视邮件、个性录制(PVR)、内网(自办)频道、智能化视频播控、信息发布等数十种视频、语音、图片、文字、通讯、数据等服务全部整合在一个系统平台，通过电视或电脑实现高清品质视频播放。

为使本领域技术人员更好地理解本发明实施例，以下对视联网进行介绍：

视联网所应用的部分技术如下所述：

网络技术(Network Technology)

视联网的网络技术创新改良了传统以太网(Ethernet)，以面对网络上潜在的巨大视频流量。不同于单纯的网络分组包交换(Packet Switching)或网络电路交换(CircuitSwitching)，视联网技术采用Packet Switching满足Streaming需求。视联网技术具备分组交换的灵活、简单和低价，同时具备电路交换的品质和安全保证，实现了全网交换式虚拟电路，以及数据格式的无缝连接。

交换技术(Switching Technology)

视联网采用以太网的异步和包交换两个优点，在全兼容的前提下消除了以太网缺陷，具备全网端到端无缝连接，直通用户终端，直接承载IP数据包。用户数据在全网范围内不需任何格式转换。视联网是以太网的更高级形态，是一个实时交换平台，能够实现目前互联网无法实现的全网大规模高清视频实时传输，将众多网络视频应用推向高清化、统一化。

服务器技术(Server Technology)

视联网和统一视频平台上的服务器技术不同于传统意义上的服务器，它的流媒体传输是建立在面向连接的基础上，其数据处理能力与流量、通讯时间无关，单个网络层就能够包含信令及数据传输。对于语音和视频业务来说，视联网和统一视频平台流媒体处理的复杂度比数据处理简单许多，效率比传统服务器大大提高了百倍以上。

储存器技术(Storage Technology)

统一视频平台的超高速储存器技术为了适应超大容量和超大流量的媒体内容而采用了最先进的实时操作系统，将服务器指令中的节目信息映射到具体的硬盘空间，媒体内容不再经过服务器，瞬间直接送达到用户终端，用户等待一般时间小于0.2秒。最优化的扇区分布大大减少了硬盘磁头寻道的机械运动，资源消耗仅占同等级IP互联网的20％，但产生大于传统硬盘阵列3倍的并发流量，综合效率提升10倍以上。

网络安全技术(Network Security Technology)

视联网的结构性设计通过每次服务单独许可制、设备与用户数据完全隔离等方式从结构上彻底根除了困扰互联网的网络安全问题，一般不需要杀毒程序、防火墙，杜绝了黑客与病毒的攻击，为用户提供结构性的无忧安全网络。

服务创新技术(Service Innovation Technology)

统一视频平台将业务与传输融合在一起，不论是单个用户、私网用户还是一个网络的总合，都不过是一次自动连接。用户终端、机顶盒或PC直接连到统一视频平台，获得丰富多彩的各种形态的多媒体视频服务。统一视频平台采用“菜谱式”配表模式来替代传统的复杂应用编程，可以使用非常少的代码即可实现复杂的应用，实现“无限量”的新业务创新。

视联网的组网如下所述：

视联网是一种集中控制的网络结构，该网络可以是树型网、星型网、环状网等等类型，但在此基础上网络中需要有集中控制节点来控制整个网络。

如图1所示，视联网分为接入网和城域网两部分。

接入网部分的设备主要可以分为3类：节点服务器，接入交换机，终端(包括各种机顶盒、编码板、存储器等)。节点服务器与接入交换机相连，接入交换机可以与多个终端相连，并可以连接以太网。

其中，节点服务器是接入网中起集中控制功能的节点，可控制接入交换机和终端。节点服务器可直接与接入交换机相连，也可以直接与终端相连。

类似的，城域网部分的设备也可以分为3类：城域服务器，节点交换机，节点服务器。城域服务器与节点交换机相连，节点交换机可以与多个节点服务器相连。

其中，节点服务器即为接入网部分的节点服务器，即节点服务器既属于接入网部分，又属于城域网部分。

城域服务器是城域网中起集中控制功能的节点，可控制节点交换机和节点服务器。城域服务器可直接连接节点交换机，也可直接连接节点服务器。

由此可见，整个视联网络是一种分层集中控制的网络结构，而节点服务器和城域服务器下控制的网络可以是树型、星型、环状等各种结构。

形象地称，接入网部分可以组成统一视频平台(虚线圈中部分)，多个统一视频平台可以组成视联网；每个统一视频平台可以通过城域以及广域视联网互联互通。

视联网设备分类

1.1本发明实施例的视联网中的设备主要可以分为3类：服务器，交换机(包括以太网网关)，终端(包括各种机顶盒，编码板，存储器等)。视联网整体上可以分为城域网(或者国家网、全球网等)和接入网。

1.2其中接入网部分的设备主要可以分为3类：节点服务器，接入交换机(包括以太网网关)，终端(包括各种机顶盒，编码板，存储器等)。

各接入网设备的具体硬件结构为：

节点服务器：

如图2所示，主要包括网络接口模块201、交换引擎模块202、CPU模块203、磁盘阵列模块204；

其中，网络接口模块201，CPU模块203、磁盘阵列模块204进来的包均进入交换引擎模块202；交换引擎模块202对进来的包进行查地址表205的操作，从而获得包的导向信息；并根据包的导向信息把该包存入对应的包缓存器206的队列；如果包缓存器206的队列接近满，则丢弃；交换引擎模202轮询所有包缓存器队列，如果满足以下条件进行转发：1)该端口发送缓存未满；2)该队列包计数器大于零。磁盘阵列模块204主要实现对硬盘的控制，包括对硬盘的初始化、读写等操作；CPU模块203主要负责与接入交换机、终端(图中未示出)之间的协议处理，对地址表205(包括下行协议包地址表、上行协议包地址表、数据包地址表)的配置，以及，对磁盘阵列模块204的配置。

接入交换机：

如图3所示，主要包括网络接口模块(下行网络接口模块301、上行网络接口模块302)、交换引擎模块303和CPU模块304；

其中，下行网络接口模块301进来的包(上行数据)进入包检测模块305；包检测模块305检测包的目地地址(DA)、源地址(SA)、数据包类型及包长度是否符合要求，如果符合，则分配相应的流标识符(stream-id)，并进入交换引擎模块303，否则丢弃；上行网络接口模块302进来的包(下行数据)进入交换引擎模块303；CPU模块204进来的数据包进入交换引擎模块303；交换引擎模块303对进来的包进行查地址表306的操作，从而获得包的导向信息；如果进入交换引擎模块303的包是下行网络接口往上行网络接口去的，则结合流标识符(stream-id)把该包存入对应的包缓存器307的队列；如果该包缓存器307的队列接近满，则丢弃；如果进入交换引擎模块303的包不是下行网络接口往上行网络接口去的，则根据包的导向信息，把该数据包存入对应的包缓存器307的队列；如果该包缓存器307的队列接近满，则丢弃。

交换引擎模块303轮询所有包缓存器队列，在本发明实施例中分两种情形：

如果该队列是下行网络接口往上行网络接口去的，则满足以下条件进行转发：1)该端口发送缓存未满；2)该队列包计数器大于零；3)获得码率控制模块产生的令牌；

如果该队列不是下行网络接口往上行网络接口去的，则满足以下条件进行转发：1)该端口发送缓存未满；2)该队列包计数器大于零。

码率控制模块208是由CPU模块204来配置的，在可编程的间隔内对所有下行网络接口往上行网络接口去的包缓存器队列产生令牌，用以控制上行转发的码率。

CPU模块304主要负责与节点服务器之间的协议处理，对地址表306的配置，以及，对码率控制模块308的配置。

以太网协转网关：

如图4所示，主要包括网络接口模块(下行网络接口模块401、上行网络接口模块402)、交换引擎模块403、CPU模块404、包检测模块405、码率控制模块408、地址表406、包缓存器407和MAC添加模块409、MAC删除模块410。

其中，下行网络接口模块401进来的数据包进入包检测模块405；包检测模块405检测数据包的以太网MAC DA、以太网MAC SA、以太网length or frame type、视联网目地地址DA、视联网源地址SA、视联网数据包类型及包长度是否符合要求，如果符合则分配相应的流标识符(stream-id)；然后，由MAC删除模块410减去MAC DA、MAC SA、length or frame type(2byte)，并进入相应的接收缓存，否则丢弃；

下行网络接口模块401检测该端口的发送缓存，如果有包则根据包的视联网目地地址DA获知对应的终端的以太网MAC DA，添加终端的以太网MAC DA、以太网协转网关的MACSA、以太网length or frame type，并发送。

以太网协转网关中其他模块的功能与接入交换机类似。

终端：

主要包括网络接口模块、业务处理模块和CPU模块；例如，机顶盒主要包括网络接口模块、视音频编解码引擎模块、CPU模块；编码板主要包括网络接口模块、视音频编码引擎模块、CPU模块；存储器主要包括网络接口模块、CPU模块和磁盘阵列模块。

1.3城域网部分的设备主要可以分为2类：节点服务器，节点交换机，城域服务器。其中，节点交换机主要包括网络接口模块、交换引擎模块和CPU模块；城域服务器主要包括网络接口模块、交换引擎模块和CPU模块构成。

参照图5，示出了本发明实施例的一种视联网的混音处理方法实施例的步骤流程图，所述视联网包括视联网终端。

该视联网终端可以是通过视联网实现视频会议或监控等功能的终端，举例而言，该视联网终端可以是移动终端，例如，手机、平板电脑、个人数字助理、穿戴设备(如眼镜、手表等)等等。

其中，对于参加视频会议的视联网终端被称为参会终端，因此，所述视联网终端可以包括多个参会终端，且所述多个参会终端处于同一个视频会议中。每个参会终端可以配置有多个音频接口，每个音频接口具有匹配的音频接头，音频接口的类型包括但不限于：USB(Universal Serial Bus，通用串行总线)接口或TRS(Tip Ring Sleeve，头环套管)接头、卡农接口、HDIM(High Definition Multimedia Interface，高清多媒体界面)接口；此外，参会终端的音频接口还可以是复合接口，包括但不限于USB转卡农接口(即参会终端上不具有卡农接口，但是具备USB接口，通过将卡农接口与USB接口连接，从而构造USB转卡农接口)。

对于音频接口和匹配的音频接头而言，举例来说，参会终端可以具有USB接口，那么可以将麦克风的USB接头插入该参会终端的USB接口，从而使得参会终端能够利用麦克风来采集音频数据。

借助于上述视联网终端，所述方法具体可以包括如下步骤：

步骤501，所述参会终端接收重采样指令；

其中，所述参会终端处于视频会议中；

其中，该重采样指令表示对单音频数据和/或混音频数据进行重采样。

该重采样指令可以由参会终端用户对参会终端重采样操作，而触发该重采样指令，也可以由参会终端从控制终端侧接收该重采样指令，本发明对此并不限制。

另外，处于同一个视频会议中的参会终端可以为多个，从而进行多方视频会议。

在一个示例中，某个参会终端的用户可以通过对参会终端上安装的会议控制软件进行操作，来触发重采样指令，使得该参会终端可以接收参会终端用户触发的重采样指令。

在一个示例中，当该重采样指令表示对单音频数据进行重采样时，该重采样指令可以携带对应于该待采集的单音频数据的该参会终端的音频接口的第一预设标识信息(例如音频接口1、音频接口2)，或者携带对应于该待采集的单音频数据的音频采集线程的第二预设标识信息(例如音频采集线程1、音频采集线程2)。

需要说明的是，一个重采样指令可以表示对一路或多路单音频数据进行重采样，那么当表示对多路单音频数据进行重采样时，则需要携带用于采集多路单音频数据的多个音频接口的第一预设标识信息，或，多个音频采集线程的第二预设标识信息。

在另一个示例中，该重采样指令表示对混音频数据进行重采样时，则该重采样指令可以携带表示对混音频进行重采样的预设标志符，此外，还可以携带对应于该待采集的混音频数据的该参会终端的至少两个音频接口的第一预设标识信息的组合(例如音频接口1+音频接口2)，或者携带对应于该待采集的混音频数据的至少两个音频采集线程的第二预设标识信息的组合(例如音频采集线程1+音频采集线程2)。

此外，该重采样指令还可以携带对待重采样的目标音频数据的目标重采样参数，不同音频数据之间的目标重采样参数可以相同或不同。

例如，当该重采样指令表示对音频接口1、音频接口2的两路单音频数据分别进行重采样，以及对音频接口2和音频接口3的两路单音频数据混音后的混音频数据进行重采样，则该重采样指令可以包括音频接口1的第一预设标识信息，对应音频接口1的重采样参数1；音频接口2的第一预设标识信息，对应音频接口2的重采样参数2；混音频标志符，音频接口2的第一预设标识信息+音频接口3的第一预设标识信息，重采样参数3。

步骤502，所述参会终端根据所述重采样指令，识别待重采样的目标音频数据以及与所述目标音频数据对应的目标重采样参数；

其中，所述目标音频数据包括单音频数据和/或混音频数据；

那么根据步骤501的描述，参会终端可以根据重采样指令中携带的信息，而识别出待重采样的单音频数据和/或混音频数据，其中，所述单音频数据为从所述参会终端的一个音频接口得到的一路音频数据，所述混音频数据为对至少两路单音频数据混音后得到的一路音频数据(也就是从至少两个音频接口处得到的至少两路单音频数据混音得到的一路音频数据)。

其中，待重采样的不论是单音频数据，还是混音频数据，它们的数量都可以是多个。此外，混音频数据可以是任意两路单音频数据而混音得到的，因此，其中的任意一路单音频数据可以是重采样的单音频数据，也可以是本次不涉及重采样的其他支路的单音频数据，具体根据用户的重采样需求而灵活设置。

另外，需要说明的是，在本发明实施例中，参会终端配置有多个音频接口，每个音频接口都配置有对应的一个音频采集线程，且不同音频接口的音频采集线程不同，那么当使用某一个音频接口采集音频数据时，则启动该音频接口对应的音频采集线程来从该音频接口采集单音频数据。而在本发明实施例中，该参会终端存在至少两个音频接口处于音频采集状态，从而本发明实施例的方法可以对至少两个音频接口采集的至少两路单音频数据进行混音处理。所以，本发明实施例的前提背景是该参会终端运行有对应至少两个音频接口的至少两个音频采集线程。例如音频采集线程1正在从HDMI接口采集一路单音频数据，音频采集线程1正在从麦克风对应的USB接口采集另外一路单音频数据。

在具体实现时，音频采集线程从一个音频接口采集的单音频数据可以是PCM(脉冲编码调制，Pulse Code Modulation)数据，其是音频的原始数据。

步骤503，若所述目标音频数据包括所述混音频数据，则所述参会终端根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据；

继续以步骤501中的举例来说明，例如目标音频数据包括音频接口2和音频接口3混音后的混音频数据，那么该参会终端可以根据重采样指令中的与该混音频数据对应的重采样参数3，来对从音频接口2和音频接口3混音后的混音频数据(即，由音频接口2对应的音频采集线程2采集的音频数据2，以及音频接口3对应的音频采集线程3采集的音频数据3，混音后的音频数据)进行重采样，从而得到第一目标混音数据。

步骤504，若所述目标音频数据包括所述单音频数据，则所述参会终端根据所述重采样指令，识别与所述单音频数据对应的音频采集线程；所述参会终端控制所述音频采集线程，依据与所述单音频数据对应的所述目标重采样参数，对所述单音频数据作重采样，得到重采样的单音频数据；所述参会终端将所述重采样的单音频数据，以及其他音频采集线程采集到的其他单音频数据，作混音处理，得到第二目标混音数据。

继续以步骤501中的举例来说明，例如待采集的目标音频数据包括从音频接口1待采集的音频数据1，以及从音频接口2待采集的音频数据2，那么本发明实施例的参会终端可以根据该重采样指令中的第一预设标识信息或者第二预设标识信息，来识别分别用于对音频数据1采集的音频采集线程1，用于对音频数据2采集的音频采集线程2；然后，参会终端控制音频采集线程1，以重采样参数1来从音频接口1采集音频数据1，以及控制音频采集线程2，以重采样参数2来从音频接口2采集音频数据2，得到重采样的两组单音频数据，分别为音频数据1和音频数据2；另外，当所述参会终端还运行有除音频采集线程1和音频采集线程2之外的其他音频接口的音频采集线程时(例如音频接口3、音频接口4的两个音频采集线程)，则参会终端可以将对从音频接口1重采样的音频数据1、从音频接口2重采样的音频数据2、从音频接口3按照预设采样率3采样的音频数据3，从音频接口4按照预设采样率4采样的音频数据4，作混音处理，从而得到第二目标混音数据。

需要说明的是，在本发明实施例的方法对任意一路音频数据作重采样之前，本发明实施例的方法预先对每个音频接口配置有预设采样率，即在对任意一个音频接口的单音频数据进行采集时，都默认采用对该音频接口预先配置的采样率进行采样，而在本发明实施例中，由于用户对音频的采样率的需求变化，因此，可以对任意一个音频接口的采样率进行修改，修改后的采样率记载在重采样指令中，即该音频接口对应的重采样参数中。

此外，所述参会终端在将所述重采样的单音频数据，以及其他音频采集线程采集到的其他单音频数据，作混音处理，得到第二目标混音数据时，可以采样上述举例所述的，将所有运行的音频采集线程采集到的多路单音频数据，作混音处理，得到第二目标混音数据。

而在另一个实施例中，该参会终端也可以接收混音指令，该混音指令可以携带待混音的目标音频接口信息(例如音频接口的第一预设标识信息，或者音频采集线程的第二预设标识信息)，例如音频接口2的第一预设标识信息，以及音频接口3的第一预设标识信息。那么所述参会终端在执行将所述重采样的单音频数据，以及其他音频采集线程采集到的其他单音频数据，作混音处理，得到第二目标混音数据的步骤时，则可以根据该混音指令识别待混音的目标单音频数据(即从音频接口2重采样的音频数据2以及从音频接口3按照预设采样率3采集的音频数据3)，并将所述目标单音频数据(音频数据2和音频数据3)作混音处理，得到该第二目标混音数据。

例如，上述待重采样的目标音频数据包括这里的音频数据2和音频数据3的混音后的数据，那么在执行步骤503时，则可以根据与第二目标混音数据对应的目标重采样参数(即重采样参数3)，来对第二目标混音数据(即音频数据2和音频数据3的混音后的混音频数据)进行重采样，得到第一目标混音数据。

在具体实现时，不论第一目标混音数据，还是第二目标混音数据，它们的数据格式都可以是PCM数据。

另外，在对至少两路单音频数据进行混音之前，可以将待混音的至少两路单音频数据存储在缓冲区，然后，在缓冲区作混音处理，得到混音频数据。

这样，本发明实施例通过接收重采样指令，可以根据重采样指令来对来自一个音频接口的单音频数据进行重采样，此外，还可以根据重采样指令来对来自多个音频接口混音后的一路混音频数据进行重采样，并且，还可以对多路单音频数据进行混音处理，不仅实现了对对视联网终端采集的多路音频数据的混音处理，而且，能够对混音前或混音后的音频数据进行重采样处理，使得重采样后的单音频数据和/或混音频数据在输出设备上播放时，能够使其采样率与输出设备的频率相匹配，避免输出的混音频数据，或单音频数据无法被准确播放的问题。

可选地，当所述目标音频数据包括多个所述单音频数据时，不同单音频数据对应的目标重采样参数可以相同。

这样，可以将各个音频接口采集的多路单音频数据的采样率统一起来，便于对重采样后得到的这多路单音频数据进行混音处理，以及使得混音后的音频数据对应的所述采样率能够与混音后的音频数据的输出设备的输出频率相统一，避免输出的音频数据在输出设备无法被准确播放的问题。

可选地，在执行步骤503时，可以通过以下方式来实现：

若所述目标音频数据包括所述混音频数据，则所述参会终端对至少两个音频采集线程采集到的至少两路单音频数据作混音处理，得到所述混音频数据；所述参会终端根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据。

其中，所述至少两路单音频数据中的任意一路单音频数据可以是从重采样指令中涉及重采样的音频接口，根据重采样指令而重采样得到的单音频数据，也可以是重采样指令中未涉及重采样的音频接口，按照该音频接口的预设采样率而采集到的单音频数据。

而具体对哪些音频接口采集到的单音频数据作混音处理，可以根据接收到的混音指令而确定，具体参照上述实施例对混音指令实施例的描述，这里不再赘述。

可选地，所述方法还包括：

所述参会终端接收音频调节指令，其中，所述音频调节指令包括与至少两个音频采集线程分别对应的至少两个权重参数；

其中，该音频调节指令可以在参会终端对至少两路单音频数据作混音处理之前接收到。

所述参会终端根据所述至少两个权重参数，对所述至少两个音频采集线程采集到的至少两路单音频数据作加权处理；

在默认的混音规则中，在对至少两路单音频数据作混音处理时，对每个支路的单音频数据都做相同程度的音量衰减处理，不同支路的单音频数据的权重参数是相同的，例如待混音的两路单音频数据分别为从HDMI接口获取的单音频数据A和从与USB接口连接的麦克风获取的单音频数据B，那么进行默认的混音处理时，单音频数据A和单音频数据B分别对应的权重参数分别为0.5，即音频能量均衰减50％。

而在本发明实施例中，可以根据需要来灵活的调整待混音的各路单音频数据在混音后的混音频数据中的突出程度。

例如，待混音的音频数据为HDMI接口的音频采集线程1采集到的单音频数据，以及与麦克风连接的USB接口的音频采集线程2采集到的单音频数据。例如麦克风一侧没有人说话，即音频采集线程2侧未采集到任何音频数据。那么为了避免HDMI接口采集到的音频数据在混音时被衰减，本发明实施例的方法通过分析每个音频采集线程采集到的音频数据的波形图，可以识别到USB接口对应的音频采集线程2没有采集到任何单音频数据，那么可以触发音频调节指令，其中，该音频调节指令中将音频采集线程1的权重参数设置为1，将音频采集线程2的权重参数设置为0，那么采用重设后的两个权重参数来对两个音频采集线程采集到的两组单音频数据分别做加权处理，使得从HDMI接口采集到的音频数据在混音处理时，能量没有被衰减一半，而是和采集到的原始音频数据相同的，这样，可以避免混音后的混音频数据中的一个或多个支路的单音频数据被无意义作了能量衰减，造成输出的混音频数据不够清晰的问题。

所述参会终端对加权处理后的所述至少两路单音频数据作混音处理，得到所述混音频数据。

其中，这里的混音处理操作采用本领域的常规操作即可，这里不再赘述。

当然，上述权值参数为1、0是一个极端的举例，在其他示例中，可以根据视频会议中各个参会者对不同音频数据的收听需求，来对混音前的各个支路的单音频数据的权重参数进行灵活调节，例如音频调节指令中携带了对音频采集线程1配置的权重参数为0.7，对音频采集线程2配置的权重参数为0.3。

需要说明的是，待混音的多路单音频数据的权重参数之和为1。

另外，该音频调节指令可以由参会终端用户对参会终端进行音频调节操作，而触发该音频调节指令，也可以由参会终端从控制终端侧接收该音频调节指令，本发明对此并不限制。

这样，本发明实施例可以在各个参会终端进行视频会议时，可以对任意一个参会终端在对至少两路单音频数据作混音处理前，根据音频收听需求，来灵活的对混音前的至少两路单音频数据的混音的权重参数进行调整，从而在混音后的混音频数据中能够着重突出某一路单音频数据，而削弱某一路单音频数据，方便用户在混音频数据中分辨出不同的声音，例如来自不同音频接口的声音。

可选地，在一个实施例中，所述视联网终端还包括控制终端。

其中，该控制终端也是一种视联网终端，但是，该控制终端与参会终端的区别在于，该控制终端不参加视频会议。相反，该控制终端可以对该视频会议进行控制。

控制的内容包括但不限于对视联网终端的入会操作，使得该视联网终端成为参会终端；

对参加视频会议的参会终端进行退会操作，使得该参会终端恢复成未参加视频会议的视联网终端；

对参会终端进行发言控制，例如控制参会终端1、参会终端2、参会终端3可以发言，那么该参会终端1、参会终端2、参会终端3各自采集的音频数据都可以输出，使得除本参会终端之外的其他参会终端接收到该音频数据；

对参会终端控制其不可以发言，例如控制参会终端4不可以发言，则该参会终端4的音频接口虽然在采集音频，但是采集的音频数据不会输出到视频会议中，除参会终端4指之外的其他参会终端也是无法接收到该音频数据的；

对参会终端所使用的音频接口进行切换的操作；

对参会终端采集的音频数据的重采样设置操作，即触发上述重采样指令；

对参会终端作混音处理时，混音的调整操作，即触发上述混音指令；

对参会终端作混音处理时，音频调节的操作，即触发上述音频调节指令。

该控制终端可以安装有本发明实施例的会议控制软件，控制终端用户通过对该会议控制软件进行操作，可以对各个参会终端进行各种控制，达到对视频会议的统一控制的效果，相较于由各个参会终端自身控制自己的视频会议，可以避免操作紊乱。

可选地，在另一个实施例中，所述视联网包括视联网服务器，所述方法还包括：

若所述参会终端处于发言状态，则所述参会终端将所述第一目标混音数据或所述第二目标混音数据发送至所述视联网服务器；

其中，如上文所述，当参会终端不处于发言状态时，该参会终端的处于开启状态的音频接口对应的音频采集线程所采集的音频数据，或者混音后的混音频数据不会被其他参会终端接收到，只可以本地缓存。所以，在本实施例中，如果该参会终端处于发言状态，那么该参会终端可以将第一目标混音数据或所述第二目标混音数据发送至视联网服务器。

可选地，所述视联网服务器，将来自所述参会终端的所述第一目标混音数据或所述第二目标混音数据分发至与所述参会终端处于同一视频会议中的其他每个参会终端。

例如在本次视频会议中包括参会终端1、参会终端2和参会终端3，例如上述实施例的参会终端为参会终端1，那么该视联网服务器接收到参会终端1的第一目标混音数据，或，第二目标混音数据，或不需要作混音处理的单音频数据，就可以将第一目标混音数据，或，第二目标混音数据，或不需要作混音处理的单音频数据分发给本次视频会议中的参会终端2和参会终端3，从而使得参会终端2和参会终端3都可以输出该第一目标混音数据，或，第二目标混音数据，或不需要作混音处理的单音频数据，使得参会终端1侧的对各个音频采集接口采集到的音频混音后的混音频数据，或用户通过麦克风所说的话等，被视频会议中的另外两个参会终端侧的用户收听到。

可选地，混音处理后的混音频数据可以通过编码器的编码处理后，再发送至视联网服务器。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图6，示出了本发明实施例的一种视联网系统，所述视联网系统包括视联网终端，所述视联网终端包括多个参会终端61，每个参会终端具有多个音频接口，所述参会终端61包括：

第一接收模块601，用于接收重采样指令；

第一识别模块602，用于根据所述重采样指令，识别待重采样的目标音频数据以及与所述目标音频数据对应的目标重采样参数，其中，所述目标音频数据包括单音频数据和/或混音频数据，其中，所述单音频数据为从所述参会终端的一个音频接口得到的一路音频数据，所述混音频数据为对至少两路单音频数据混音后得到的一路音频数据；

第一重采样模块603，用于若所述目标音频数据包括所述混音频数据，则根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据；

第二识别模块604，用于若所述目标音频数据包括所述单音频数据，则根据所述重采样指令，识别与所述单音频数据对应的音频采集线程；

第二重采样模块605，用于若所述目标音频数据包括所述单音频数据，则控制所述音频采集线程，依据与所述单音频数据对应的所述目标重采样参数，对所述单音频数据作重采样，得到重采样的单音频数据；

混音模块606，用于若所述目标音频数据包括所述单音频数据，则将所述重采样的单音频数据，以及其他音频采集线程采集到的其他单音频数据，作混音处理，得到第二目标混音数据。

可选地，当所述目标音频数据包括多个所述单音频数据时，不同单音频数据对应的目标重采样参数相同。

可选地，所述第一重采样模块603包括：

混音子模块6031，用于若所述目标音频数据包括所述混音频数据，则对至少两个音频采集线程采集到的至少两路单音频数据作混音处理，得到所述混音频数据；

重采样子模块6032，用于根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据。

可选地，所述参会终端61还包括：

第二接收模块，用于接收音频调节指令，其中，所述音频调节指令包括与至少两个音频采集线程分别对应的至少两个权重参数；

处理模块，用于根据所述至少两个权重参数，对所述至少两个音频采集线程采集到的至少两路单音频数据作加权处理；

所述第一重采样模块603，还用于对所述处理模块加权处理后的所述至少两路单音频数据作混音处理，得到所述混音频数据；

所述混音模块606，还用于对所述处理模块加权处理后的所述至少两路单音频数据作混音处理，得到所述混音频数据。

可选地，所述视联网系统还包括视联网服务器62；

所述参会终端61还包括：

发送模块607，用于若所述参会终端处于发言状态，则将所述第一目标混音数据或所述第二目标混音数据发送至所述视联网服务器；

所述视联网服务器62，用于将来自所述参会终端的所述第一目标混音数据或所述第二目标混音数据分发至与所述参会终端处于同一视频会议中的其他每个参会终端。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种视联网的混音处理方法和一种视联网系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种视联网的混音处理方法，其特征在于，所述视联网包括视联网终端，所述视联网终端包括多个参会终端，每个参会终端具有多个音频接口，所述方法包括：

所述参会终端接收重采样指令，根据重采样指令对来自一个音频接口的单音频数据进行重采样，或对来自多个音频接口混音后的一路混音频数据进行重采样；

所述参会终端根据所述重采样指令，识别待重采样的目标音频数据以及与所述目标音频数据对应的目标重采样参数，其中，所述目标音频数据包括单音频数据和/或混音频数据，其中，所述单音频数据为从所述参会终端的一个音频接口得到的一路音频数据，所述混音频数据为对至少两路单音频数据混音后得到的一路音频数据；

若所述目标音频数据包括所述混音频数据，则所述参会终端根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据；

若所述目标音频数据包括所述单音频数据，则所述参会终端根据所述重采样指令，识别与所述单音频数据对应的音频采集线程；所述参会终端控制所述音频采集线程，依据与所述单音频数据对应的所述目标重采样参数，对所述单音频数据作重采样，得到重采样的单音频数据；所述参会终端将所述重采样的单音频数据，以及其他音频采集线程采集到的其他单音频数据，作混音处理，得到第二目标混音数据。

2.根据权利要求1所述的方法，其特征在于，当所述目标音频数据包括多个所述单音频数据时，不同单音频数据对应的目标重采样参数相同。

3.根据权利要求1所述的方法，其特征在于，所述若所述目标音频数据包括所述混音频数据，则所述参会终端根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据，包括：

若所述目标音频数据包括所述混音频数据，则所述参会终端对至少两个音频采集线程采集到的至少两路单音频数据作混音处理，得到所述混音频数据；

所述参会终端根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述参会终端接收音频调节指令，其中，所述音频调节指令包括与至少两个音频采集线程分别对应的至少两个权重参数；

所述参会终端根据所述至少两个权重参数，对所述至少两个音频采集线程采集到的至少两路单音频数据作加权处理；

所述参会终端对加权处理后的所述至少两路单音频数据作混音处理，得到所述混音频数据。

5.根据权利要求1所述的方法，其特征在于，所述视联网包括视联网服务器，所述方法还包括：

若所述参会终端处于发言状态，则所述参会终端将所述第一目标混音数据或所述第二目标混音数据发送至所述视联网服务器；

所述视联网服务器，将来自所述参会终端的所述第一目标混音数据或所述第二目标混音数据分发至与所述参会终端处于同一视频会议中的其他每个参会终端。

6.一种视联网系统，其特征在于，所述视联网系统包括视联网终端，所述视联网终端包括多个参会终端，每个参会终端具有多个音频接口，所述参会终端包括：

第一接收模块，用于接收重采样指令，根据重采样指令对来自一个音频接口的单音频数据进行重采样，或对来自多个音频接口混音后的一路混音频数据进行重采样；

第一识别模块，用于根据所述重采样指令，识别待重采样的目标音频数据以及与所述目标音频数据对应的目标重采样参数，其中，所述目标音频数据包括单音频数据和/或混音频数据，其中，所述单音频数据为从所述参会终端的一个音频接口得到的一路音频数据，所述混音频数据为对至少两路单音频数据混音后得到的一路音频数据；

第一重采样模块，用于若所述目标音频数据包括所述混音频数据，则根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据；

第二识别模块，用于若所述目标音频数据包括所述单音频数据，则根据所述重采样指令，识别与所述单音频数据对应的音频采集线程；

第二重采样模块，用于若所述目标音频数据包括所述单音频数据，则控制所述音频采集线程，依据与所述单音频数据对应的所述目标重采样参数，对所述单音频数据作重采样，得到重采样的单音频数据；

混音模块，用于若所述目标音频数据包括所述单音频数据，则将所述重采样的单音频数据，以及其他音频采集线程采集到的其他单音频数据，作混音处理，得到第二目标混音数据。

7.根据权利要求6所述的系统，其特征在于，当所述目标音频数据包括多个所述单音频数据时，不同单音频数据对应的目标重采样参数相同。

8.根据权利要求6所述的系统，其特征在于，所述第一重采样模块包括：

混音子模块，用于若所述目标音频数据包括所述混音频数据，则对至少两个音频采集线程采集到的至少两路单音频数据作混音处理，得到所述混音频数据；

重采样子模块，用于根据与所述混音频数据对应的所述目标重采样参数，对所述混音频数据作重采样，得到第一目标混音数据。

9.根据权利要求6所述的系统，其特征在于，所述参会终端还包括：

第二接收模块，用于接收音频调节指令，其中，所述音频调节指令包括与至少两个音频采集线程分别对应的至少两个权重参数；

处理模块，用于根据所述至少两个权重参数，对所述至少两个音频采集线程采集到的至少两路单音频数据作加权处理；

所述第一重采样模块，还用于对加权处理后的所述至少两路单音频数据作混音处理，得到所述混音频数据；

所述混音模块，还用于对加权处理后的所述至少两路单音频数据作混音处理，得到所述混音频数据。

10.根据权利要求6所述的系统，其特征在于，所述视联网系统还包括视联网服务器，所述参会终端还包括：

发送模块，用于若所述参会终端处于发言状态，则将所述第一目标混音数据或所述第二目标混音数据发送至所述视联网服务器；

所述视联网服务器，用于将来自所述参会终端的所述第一目标混音数据或所述第二目标混音数据分发至与所述参会终端处于同一视频会议中的其他每个参会终端。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述的视联网的混音处理的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的视联网的混音处理的步骤。

Images