CN109640028A - 一种将多个视联网终端和多个互联网终端进行组会的方法和装置 - Google Patents

Abstract

本发明实施例提供了一种将多个视联网终端和多个互联网终端进行组会的方法及相应的装置，所述方法和装置应用于视联网中，所述视联网与互联网通信连接，所述视联网中包括扩展多点控制服务器、视联网服务器及多个视联网终端，所述互联网中包括前端会控平台、多个互联网终端，前端会控平台用于创建组会，并将在创建组会时生成的请求组会数据报文发送至扩展多点控制服务器，扩展多点控制服务器对该请求组会数据报文进行解析后，与对应的多个互联网终端和多个视联网终端建立通信连接，并将互联网终端和视联网终端发送的视频数据进行混屏后再发送至各个互联网终端和视联网终端，解决了视联网内不能进行多终端视频通话的问题。

Description

一种将多个视联网终端和多个互联网终端进行组会的方法和 装置

技术领域

本发明涉及视联网技术领域，特别是涉及一种将多个视联网终端和多个互联网终端进行组会的方法以及相应的装置。

背景技术

在视频会议中，已经实现了让视联网会议终端和互联网会议终端进行一对一视频会议的功能，该一对一的可视电话是视联网侧的视联网终端与互联网侧的互联网终端通过对向的传输路径实现音视频的传送。但是若要实现两个以上视联网会议终端和两个以上互联网会议终端之间进行组会时，采用当前的一对一的可视电话技术则不能满足。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种多个视联网终端和多个互联网终端进行组会的方法及相应的装置。

为了解决上述问题，本发明实施例公开了一种将多个视联网终端和多个互联网终端进行组会的方法，所述方法应用于视联网中，所述视联网与互联网通信连接，所述视联网中包括扩展多点控制服务器、视联网服务器及多个视联网终端，所述互联网中包括前端会控平台、多个互联网终端，所述扩展多点控制服务器与所述视联网服务器、所述前端会控平台及所述互联网终端通信连接，所述视联网服务器与所述视联网终端通信连接，所述方法包括：

所述扩展多点控制服务器接收所述前端会控平台发送的请求组会数据报文，所述请求组会数据报文由所述前端会控平台在创建组会时生成，所述请求组会数据报文包括分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息；

所述扩展多点控制服务器针对所述请求组会数据报文，建立至少一个第一路径信息及至少一个第二路径信息；其中，所述第一路径信息为标识所述视联网终端MAC地址信息对应的第一视联网终端在视联网中与所述扩展多点控制服务器之间进行数据传输的路径；所述第二路径信息为标识所述互联网终端MAC地址信息对应的第一互联网终端在互联网中与所述扩展多点控制服务器之间进行数据传输的路径；

所述扩展多点控制服务器基于所述第一路径信息接收所述第一视联网终端采集的视联网视频数据，所述扩展多点控制服务基于所述第二路径信息接收所述第一互联网终端采集的互联网视频数据；

所述扩展多点控制服务器针对所述分屏指令信息，采用所述视联网视频数据及所述互联网视频数据生成混屏视频数据；

所述扩展多点控制服务器基于所述第一路径信息将所述混屏视频数据发送至所述第一视联网终端，基于所述第二路径信息将所述混屏视频数据发送至所述第一互联网终端。

优选地，所述请求组会数据报文中还包括至少一个发言终端MAC地址信息，所述发言终端MAC地址信息由所述前端会控平台在所述视联网终端MAC地址信息及所述互联网终端MAC地址信息中进行选择后确定。

优选地，在所述扩展多点控制服务器按照所述第一路径信息将所述混屏视频数据发送至所述第一视联网终端，基于所述第二路径信息将所述混屏视频数据发送至所述第一互联网终端的步骤后，还包括：

所述扩展多点控制服务器在所述第一视联网终端及所述第一互联网终端中确定与所述发言终端MAC地址信息对应的发言终端；

所述扩展多点控制服务器在所述第一路径信息及所述第二路径信息中确定与所述发言终端对应的第三路径信息；

所述扩展多点控制服务器基于所述第三路径信息接收所述发言终端采集并发送的第一音频数据；

所述扩展多点控制服务器判断所述发言终端MAC地址信息的个数是否为1；

若是，则所述扩展多点控制服务器将所述第一音频数据标记为第二音频数据，所述扩展多点控制服务器基于所述第一路径信息将所述第二音频数据发送至所述第一视联网终端，所述扩展多点控制服务器基于所述第二路径信息将所述第二音频数据发送至所述第一互联网终端；

若否，则所述扩展多点控制服务器将所述第一音频数据混音成第三音频数据，所述扩展多点控制器基于所述第一路径信息将所述第三音频数据发送至所述第一视联网终端，所述扩展多点控制器基于所述第二路径信息将所述第三音频数据发送至所述第一互联网终端。

优选地，所述扩展多点控制服务器将所述第一音频数据混音成第二音频数据的步骤，包括：

所述扩展多点控制服务器对每个所述第一音频数据解码成对应的原始音频数据，每个所述原始音频数据的数据格式一致；

所述扩展多点控制服务器将所述原始音频数据合并成一路混合音频数据；

所述扩展多点控制服务器将所述混合音频数据编码成第二音频数据。

优选地，所述扩展多点控制服务器针对所述请求组会数据报文建立至少一个第二路径信息及至少一个第二路径信息的步骤，包括；

所述扩展多点控制服务器对所述请求组会数据报文进行解析后获取所述分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息；

所述扩展多点控制服务器依据所述视联网终端MAC地址信息查找对应的第一视联网终端，依据所述互联网终端MAC地址信息查找对应的第一互联网终端；

所述扩展多点控制服务器针对所述第一视联网终端生成第一路径信息，针对所述第一互联网终端生成第二路径信息。

优选地，所述扩展多点控制服务器针对所述分屏指令信息，采用所述视联网视频数据及所述互联网视频数据生成混屏视频数据的步骤，包括：

所述扩展多点控制服务器将所述视联网视频数据解码成第一视频数据，

将所述互联网视频数据解码成第二视频数据，其中，所述第一视频数据及所述第二视频数据具有相同的数据格式；

所述扩展多点控制服务器针对所述分屏指令信息，确定所述第一视频数据及所述第二视频数据的目标长宽；

所述扩展多点控制服务器按照所述目标长宽，将所述第一视频数据及所述第二视频数据编码成帧结构的混屏视频数据

为了解决上述解决问题，本申请还提供了一种将多个视联网终端和多个互联网终端进行组会的装置，所述的装置应用于视联网中，所述视联网还与互联网通信连接，所述视联网中包括扩展多点控制服务器、视联网服务器及多个视联网终端，所述互联网中包括前端会控平台、多个互联网终端，所述扩展多点控制服务器与所述视联网服务器、所述前端会控平台及所述互联网终端通信连接，所述视联网服务器与所述视联网终端通信连接，所述装置位于所述扩展多点控制服务器中，包括：

通信模块，用于接收所述前端会控平台发送的请求组会数据报文，所述请求组会数据报文由所述前端会控平台在创建组会网站时生成，所述请求组会数据报文包括分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息；

路径信息生成模块，用于针对所述请求组会数据报文，建立至少一个第一路径信息及至少一个第二路径信息；其中，所述第一路径信息标识所述视联网终端MAC地址信息对应的第一视联网终端在视联网中与所述扩展多点控制服务器之间进行数据传输的路径；所述第二路径信息标识所述互联网终端MAC地址信息对应的第一互联网终端在互联网中与所述扩展多点控制服务器之间进行数据传输的路径；

视频数据存储模块，用于存储基于所述第一路径信息接收到的所述第一视联网终端采集的视联网视频数据，并用于存储基于所述第二路径信息接收到的所述第一互联网终端采集的互联网视频数据；

混屏模块，用于针对所述分屏指令信息，采用所述视联网视频数据及所述互联网视频数据生成混屏视频数据；

视联网通信模块；用于基于所述第一路径信息接收所述第一视联网终端采集的所述视联网视频数据，并用于基于所述第一路径信息将所述混屏视频数据发送至所述第一视联网终端；

互联网通信模块；用于基于所述第二路径信息接收所述第一互联网终端采集的所述互联网视频数据，并用于基于所述第二路径信息将所述混屏视频数据发送至所述第一互联网终端。

优选地，所述混屏模块还包括：

解码子模块，用于将所述视联网视频数据解码成第一视频数据，将所述互联网视频数据解码成第二视频数据，其中，所述第一视频数据及所述第二视频数据具有相同的数据格式；

目标长宽计算子模块，用于针对所述分屏指令信息，确定所述所述第一视频数据及所述第二视频数据的目标长宽；

编码子模块，用于按照所述目标长宽，将所述第一视频数据及所述第二视频数据编码成帧结构的混屏视频数据。

优选地，所述请求组会数据报文中还包括至少一个发言终端MAC地址信息，所述发言终端MAC地址信息由所述前端会控平台在所述视联网终端MAC地址信息及所述互联网终端MAC地址信息中进行选择后确定。

优选地，所述的装置还包括：

发言终端控制模块，用于在所述第一视联网终端及所述第一互联网终端中确定与所述发言终端MAC地址信息对应的发言终端，并用于在所述第一路径信息及所述第二路径信息中查找与所述发言终端对应的第三路径信息；

音频数据存储模块，用于存储基于所述第三路径信息接收到的所述发言终端采集并发送的第一音频数据；

判断模块，用于判断所述发言终端MAC地址信息的个数是否为1；

直转模块，用于在所述发言终端MAC地址信息的个数为1时，将所述第一音频数据标记为第二音频数据，并将所述第二音频数据发送至所述视联网通信模块及所述互联网通信模块，所述视联网通信模块用于将所述第二音频数据基于所述第一路径信息发送至所述第一视联网终端，所述互联网通信模块用于将所述第二音频数据基于第二路径信息发送至第一互联网终端。

混音模块，用于在所述发言终端MAC地址信息的个数大于1时，将所述第一音频数据混音成第二音频数据；其中，所述第二音频数据由所述视联网通信模块基于所述第一路径信息发送至所述第一视联网终端，所述第二音频数据还由所述互联网通信模块基于所述第二路径信息发送至所述第一互联网终端。

与现有技术相比，本发明实施例包括以下优点：

首先，本发明实施例应用视联网的特性，利用前端会控平台创建组会，并将在创建组会时生成的请求组会数据报文发送到扩展多点控制服务器，扩展多点控制服务器对请求组会数据报文进行解析后获取请求组会数据报文中的分屏指令信息、多个视联网终端MAC地址信息及多个互联网终端MAC地址信息，根据前述信息生成第一路径信息及第二路径信息，其中，第一路径信息是视联网终端MAC地址信息对应的第一视联网终端与扩展多点控制服务器之间的通信路径，第二路径信息是互联网终端MAC地址信息对应的第一互联网终端与扩展多点控制服务器之间的通信路径，在第一路径信息及第二路径信息生成后多个互联网终端及多个视联网终端就成功进行组会，扩展多点控制器接收视联网终端采集的视联网视频数据，并接收互联网终端采集的互联网视频数据，将视联网视频数据及互联网视频数据进行混屏后再发送到每个互联网终端及每个视联网终端。本申请通过在前端会控平台完成创建组会、在扩展多点控制服务器完成终端的入会、视频数据的混屏和转发的技术手段，解决了之前实现视联网会议终端与互联网会议终端只能进行一对一可视电话，不能实现两种以上类型的会议终端进行组会的问题，并且通过扩展多点控制服务器对各个终端发送的视频数据进行混屏后再转发到每个终端的技术手段，实现了在任何一个终端上都能显示组会中的所有终端的视频信息，满足了实际应用中需要多个视联网终端和多个互联网终端进行组会的需求。

其次，端会控平台生成的请求组会数据报文还可以包括一个或多个发言终端MAC地址信息。当为一个发言终端MAC地址信息时，表明其中的一个视联网终端或互联网终端是主席方，该主席方的音频数据就被允许发送至扩展多点控制服务器，扩展多点控制服务器再将该主席方的音频数据发送到每个视联网终端及每个互联网终端；当为多个发言终端MAC地址信息时，表明有多个视联网终端或互联网终端进行互动发言，参与互动发言的每个终端的音频数据被允许发送至扩展多点控制服务器，扩展多点控制服务器再将该发言方的音频数据混合成一路音频数据后再转发到每个视联网终端及每个互联网终端。因此，前端会控平台还可以根据组会情景，设置某一个视联网终端或某一个互联网终端为主席方进行发言，也可以在需要进行发言互动时，在视联网终端和互联网终端终设置多个发言方，这样在主席发言或互动发言时，扩展多点控制服务器只将主席方的音频或只将互动发言方的音频传送到组会内的终端，而其他终端的音频则不能被传送到组会内的每个终端，增强了本申请的实用性，满足了多点组会的多样性会议需求。

附图说明

图1是本发明的一种视联网的组网示意图；

图2是本发明的一种节点服务器的硬件结构示意图；

图3是本发明的一种接入交换机的硬件结构示意图；

图4是本发明的一种以太网协转网关的硬件结构示意图；

图5是本发明的一种将多个视联网终端和多个互联网终端进行组会的方法实施例1的步骤流程图；

图6是本发明的一种将多个视联网终端和多个互联网终端进行组会的方法实施例2的步骤流程图；

图7是本发明的一种将多个视联网终端和多个互联网终端进行组会的装置实施例3的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

视联网是网络发展的重要里程碑，是一个实时网络，能够实现高清视频实时传输，将众多互联网应用推向高清视频化，高清面对面。

视联网采用实时高清视频交换技术，可以在一个网络平台上将所需的服务，如高清视频会议、视频监控、智能化监控分析、应急指挥、数字广播电视、延时电视、网络教学、现场直播、VOD点播、电视邮件、个性录制(PVR)、内网(自办)频道、智能化视频播控、信息发布等数十种视频、语音、图片、文字、通讯、数据等服务全部整合在一个系统平台，通过电视或电脑实现高清品质视频播放。

为使本领域技术人员更好地理解本发明实施例，以下对视联网进行介绍：

视联网所应用的部分技术如下所述：

网络技术(NetworkTechnology)

视联网的网络技术创新改良了传统以太网(Ethernet)，以面对网络上潜在的巨大视频流量。不同于单纯的网络分组包交换(Packet Switching)或网络电路交换(CircuitSwitching)，视联网技术采用Packet Switching满足Streaming需求。视联网技术具备分组交换的灵活、简单和低价，同时具备电路交换的品质和安全保证，实现了全网交换式虚拟电路，以及数据格式的无缝连接。

交换技术(Switching Technology)

视联网采用以太网的异步和包交换两个优点，在全兼容的前提下消除了以太网缺陷，具备全网端到端无缝连接，直通用户终端，直接承载IP数据包。用户数据在全网范围内不需任何格式转换。视联网是以太网的更高级形态，是一个实时交换平台，能够实现目前互联网无法实现的全网大规模高清视频实时传输，将众多网络视频应用推向高清化、统一化。

服务器技术(ServerTechnology)

视联网和统一视频平台上的服务器技术不同于传统意义上的服务器，它的流媒体传输是建立在面向连接的基础上，其数据处理能力与流量、通讯时间无关，单个网络层就能够包含信令及数据传输。对于语音和视频业务来说，视联网和统一视频平台流媒体处理的复杂度比数据处理简单许多，效率比传统服务器大大提高了百倍以上。

存储器技术(Storage Technology)

统一视频平台的超高速存储器技术为了适应超大容量和超大流量的媒体内容而采用了最先进的实时操作系统，将服务器指令中的节目信息映射到具体的硬盘空间，媒体内容不再经过服务器，瞬间直接送达到用户终端，用户等待一般时间小于0.2秒。最优化的扇区分布大大减少了硬盘磁头寻道的机械运动，资源消耗仅占同等级IP互联网的20％，但产生大于传统硬盘阵列3倍的并发流量，综合效率提升10倍以上。

网络安全技术(Network Security Technology)

视联网的结构性设计通过每次服务单独许可制、设备与用户数据完全隔离等方式从结构上彻底根除了困扰互联网的网络安全问题，一般不需要杀毒程序、防火墙，杜绝了黑客与病毒的攻击，为用户提供结构性的无忧安全网络。

服务创新技术(Service Innovation Technology)

统一视频平台将业务与传输融合在一起，不论是单个用户、私网用户还是一个网络的总合，都不过是一次自动连接。用户终端、机顶盒或PC直接连到统一视频平台，获得丰富多彩的各种形态的多媒体视频服务。统一视频平台采用“菜谱式”配表模式来替代传统的复杂应用编程，可以使用非常少的代码即可实现复杂的应用，实现“无限量”的新业务创新。

视联网的组网如下所述：

视联网是一种集中控制的网络结构，该网络可以是树型网、星型网、环状网等等类型，但在此基础上网络中需要有集中控制节点来控制整个网络。

如图1所示，视联网分为接入网和城域网两部分。

接入网部分的设备主要可以分为3类：节点服务器，接入交换机，终端(包括各种机顶盒、编码板、存储器等)。节点服务器与接入交换机相连，接入交换机可以与多个终端相连，并可以连接以太网。

其中，节点服务器是接入网中起集中控制功能的节点，可控制接入交换机和终端。节点服务器可直接与接入交换机相连，也可以直接与终端相连。

类似的，城域网部分的设备也可以分为3类：城域服务器，节点交换机，节点服务器。城域服务器与节点交换机相连，节点交换机可以与多个节点服务器相连。

其中，节点服务器即为接入网部分的节点服务器，即节点服务器既属于接入网部分，又属于城域网部分。

城域服务器是城域网中起集中控制功能的节点，可控制节点交换机和节点服务器。城域服务器可直接连接节点交换机，也可直接连接节点服务器。

由此可见，整个视联网络是一种分层集中控制的网络结构，而节点服务器和城域服务器下控制的网络可以是树型、星型、环状等各种结构。

形象地称，接入网部分可以组成统一视频平台(虚线圈中部分)，多个统一视频平台可以组成视联网；每个统一视频平台可以通过城域以及广域视联网互联互通。

视联网设备分类

1.1本发明实施例的视联网中的设备主要可以分为3类：服务器，交换机(包括以太网网关)，终端(包括各种机顶盒，编码板，存储器等)。视联网整体上可以分为城域网(或者国家网、全球网等)和接入网。

1.2其中接入网部分的设备主要可以分为3类：节点服务器，接入交换机(包括以太网网关)，终端(包括各种机顶盒，编码板，存储器等)。

各接入网设备的具体硬件结构为：

节点服务器：

如图2所示，主要包括网络接口模块201、交换引擎模块202、CPU模块203、磁盘阵列模块204；

其中，网络接口模块201，CPU模块203、磁盘阵列模块204进来的包均进入交换引擎模块202；交换引擎模块202对进来的包进行查地址表205的操作，从而获得包的导向信息；并根据包的导向信息把该包存入对应的包缓存器206的队列；如果包缓存器206的队列接近满，则丢弃；交换引擎模202轮询所有包缓存器队列，如果满足以下条件进行转发：1)该端口发送缓存未满；2)该队列包计数器大于零。磁盘阵列模块204主要实现对硬盘的控制，包括对硬盘的初始化、读写等操作；CPU模块203主要负责与接入交换机、终端(图中未示出)之间的协议处理，对地址表205(包括下行协议包地址表、上行协议包地址表、数据包地址表)的配置，以及，对磁盘阵列模块204的配置。

接入交换机：

如图3所示，主要包括网络接口模块(下行网络接口模块301、上行网络接口模块302)、交换引擎模块303和CPU模块304；

其中，下行网络接口模块301进来的包(上行数据)进入包检测模块305；包检测模块305检测包的目地地址(DA)、源地址(SA)、数据包类型及包长度是否符合要求，如果符合，则分配相应的流标识符(stream-id)，并进入交换引擎模块303，否则丢弃；上行网络接口模块302进来的包(下行数据)进入交换引擎模块303；CPU模块204进来的数据包进入交换引擎模块303；交换引擎模块303对进来的包进行查地址表306的操作，从而获得包的导向信息；如果进入交换引擎模块303的包是下行网络接口往上行网络接口去的，则结合流标识符(stream-id)把该包存入对应的包缓存器307的队列；如果该包缓存器307的队列接近满，则丢弃；如果进入交换引擎模块303的包不是下行网络接口往上行网络接口去的，则根据包的导向信息，把该数据包存入对应的包缓存器307的队列；如果该包缓存器307的队列接近满，则丢弃。

交换引擎模块303轮询所有包缓存器队列，在本发明实施例中分两种情形：

如果该队列是下行网络接口往上行网络接口去的，则满足以下条件进行转发：1)该端口发送缓存未满；2)该队列包计数器大于零；3)获得码率控制模块产生的令牌；

如果该队列不是下行网络接口往上行网络接口去的，则满足以下条件进行转发：1)该端口发送缓存未满；2)该队列包计数器大于零。

码率控制模块208是由CPU模块204来配置的，在可编程的间隔内对所有下行网络接口往上行网络接口去的包缓存器队列产生令牌，用以控制上行转发的码率。

CPU模块304主要负责与节点服务器之间的协议处理，对地址表306的配置，以及，对码率控制模块308的配置。

以太网协转网关：

如图4所示，主要包括网络接口模块(下行网络接口模块401、上行网络接口模块402)、交换引擎模块403、CPU模块404、包检测模块405、码率控制模块408、地址表406、包缓存器407和MAC添加模块409、MAC删除模块410。

其中，下行网络接口模块401进来的数据包进入包检测模块405；包检测模块405检测数据包的以太网MAC DA、以太网MAC SA、以太网length or frame type、视联网目地地址DA、视联网源地址SA、视联网数据包类型及包长度是否符合要求，如果符合则分配相应的流标识符(stream-id)；然后，由MAC删除模块410减去MAC DA、MAC SA、length or frame type(2byte)，并进入相应的接收缓存，否则丢弃；

下行网络接口模块401检测该端口的发送缓存，如果有包则根据包的视联网目地地址DA获知对应的终端的以太网MAC DA，添加终端的以太网MAC DA、以太网协转网关的MACSA、以太网length or frame type，并发送。

以太网协转网关中其他模块的功能与接入交换机类似。

终端：

主要包括网络接口模块、业务处理模块和CPU模块；例如，机顶盒主要包括网络接口模块、视音频编解码引擎模块、CPU模块；编码板主要包括网络接口模块、视音频编码引擎模块、CPU模块；存储器主要包括网络接口模块、CPU模块和磁盘阵列模块。

1.3城域网部分的设备主要可以分为2类：节点服务器，节点交换机，城域服务器。其中，节点交换机主要包括网络接口模块、交换引擎模块和CPU模块；城域服务器主要包括网络接口模块、交换引擎模块和CPU模块构成。

2、视联网数据包定义

2.1接入网数据包定义

接入网的数据包主要包括以下几部分：目的地址(DA)、源地址(SA)、保留字节、payload(PDU)、CRC。

如下表所示，接入网的数据包主要包括以下几部分：

DA

SA

Reserved

Payload

CRC

其中：

目的地址(DA)由8个字节(byte)组成，第一个字节表示数据包的类型(例如各种协议包、组播数据包、单播数据包等)，最多有256种可能，第二字节到第六字节为城域网地址，第七、第八字节为接入网地址；

源地址(SA)也是由8个字节(byte)组成，定义与目的地址(DA)相同；

保留字节由2个字节组成；

payload部分根据不同的数据报的类型有不同的长度，如果是各种协议包的话是64个字节，如果是单组播数据包话是32+1024＝1056个字节，当然并不仅仅限于以上2种；

CRC有4个字节组成，其计算方法遵循标准的以太网CRC算法。

2.2城域网数据包定义

城域网的拓扑是图型，两个设备之间可能有2种、甚至2种以上的连接，即节点交换机和节点服务器、节点交换机和节点交换机、节点交换机和节点服务器之间都可能超过2种连接。但是，城域网设备的城域网地址却是唯一的，为了精确描述城域网设备之间的连接关系，在本发明实施例中引入参数：标签，来唯一描述一个城域网设备。

本说明书中标签的定义和MPLS(Multi-Protocol Label Switch，多协议标签交换)的标签的定义类似，假设设备A和设备B之间有两个连接，那么数据包从设备A到设备B就有2个标签，数据包从设备B到设备A也有2个标签。标签分入标签、出标签，假设数据包进入设备A的标签(入标签)是0x0000，这个数据包离开设备A时的标签(出标签)可能就变成了0x0001。城域网的入网流程是集中控制下的入网过程，也就意味着城域网的地址分配、标签分配都是由城域服务器主导的，节点交换机、节点服务器都是被动的执行而已，这一点与MPLS的标签分配是不同的，MPLS的标签分配是交换机、服务器互相协商的结果。

如下表所示，城域网的数据包主要包括以下几部分：

DA

SA

Reserved

标签

Payload

CRC

即目的地址(DA)、源地址(SA)、保留字节(Reserved)、标签、payload(PDU)、CRC。其中，标签的格式可以参考如下定义：标签是32bit，其中高16bit保留，只用低16bit，它的位置是在数据包的保留字节和payload之间。

基于视联网的上述特性，提出了本发明实施例的核心构思之一，遵循视联网的协议，利用前端会控平台创建组会，并在创建组会时生成请求组会数据报文，该请求组会数据报文被发送至扩展多点控制服务器，由扩展多点控制服务器根据请求组会数据报文与相应的多个视联网终端及多个互联网终端建立通讯连接，并将每个视联网终端及每个互联网终端发来的视频数据按照分屏模式进行混屏，将混屏后生成的混屏视频数据再转发到每个视联网终端及每个互联网终端，最终在每个视联网终端及每个互联网终端上均能看到其他所有终端的视频画面。解决了现有技术只能实现视联网终端和互联网终端进行一对一的视频会议的问题。

本申请所描述的前端会控平台可以理解为是一种使用java语言编写出来的前端会控平台，该平台可以设置在前端计算机上，通过该前端会控平台可以进行创建会议室、会议管理人员、参会方等操作，同时可以具有控制会议的开始结束，分屏模式设置等功能。

本申请所描述的扩展多点控制服务器(XMCU服务器)可以理解为是运行协转服务程序的后端计算机，可以与前端会控进行通信，也可以与互联网内的互联网终端及视联网内的视联网终端进行通信。

实施例一

参照图5，给出了本申请实施例1的一种将多个视联网终端和多个互联网终端进行组会的方法，所述方法应用于视联网中，所述视联网与互联网通信连接，所述视联网中包括扩展多点控制服务器、视联网服务器及多个视联网终端，所述互联网中包括前端会控平台、多个互联网终端，所述扩展多点控制服务器与所述视联网服务器、所述前端会控平台及所述互联网终端通信连接，所述视联网服务器与所述视联网终端通信连接，所述方法可以包括以下步骤：

步骤501，所述扩展多点控制服务器接收所述前端会控平台发送的请求组会数据报文，所述请求组会数据报文由所述前端会控平台在创建组会时生成，所述请求组会数据报文包括分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息；

在需要进行组会时，管理人员可以进入前端会控平台开始创建组会，创建组会时可以先将需要参会的视联网终端的MAC地址及互联网终端的MAC地址注册到前端会控平台，再根据参会的视联网终端数和互联网终端的总数选择分屏模式，之后，前端会控平台根据选择的分屏模式、视联网终端的MAC地址及互联网终端的MAC地址生成请求组会数据报文。该请求组会数据报文可以通过TCP/IP协议发送到扩展多点控制服务器。实际应用中，分屏模式可以预先设置在前端会控平台中，分屏模式可以包括三分屏模式、四分屏模式等，预先设置后，管理人员可以直接根据参会的终端总数直接选择分屏模式，方便快捷。

步骤502，所述扩展多点控制服务器针对所述请求组会数据报文，建立至少一个第一路径信息及至少一个第二路径信息；其中，所述第一路径信息标识所述视联网终端MAC地址信息对应的第一视联网终端在视联网中与所述扩展多点控制服务器之间进行数据传输的路径；所述第二路径信息为标识所述互联网终端MAC地址信息对应的第一互联网终端在互联网中与所述扩展多点控制服务器之间进行数据传输的路径。

实际应用中，扩展多点控制服务器在接收到前端会控平台发送来的请求组会数据报文后，可以根据请求数据报文信息建立与视联网终端MAC地址信息对应第一视联网终端的连接，以及建立与互联网终端MAC地址信息对应第一互联网终端的连接，扩展多点控制服务器可以理解为相当于组会内的所有终端的集合点，当第一路径信息及第二路径信息建立成功后，第一视联网终端及第一互联网终端就可以在扩展多点控制服务器处进行集合，第一视联网终端采集的视频数据与第一互联网终端采集的视频数据都发送给扩展多点控制服务器，相当于组会内的所有终端都入会了。

本申请中，第一视联网终端是为了区分视联网终端而设立的，应当理解为是需要参加组会的视联网终端，第一互联网终端是为了互联网终端而设立的，应当理解为是需要参加组会的互联网终端。

在本申请的一种优选实施方案中，步骤502具体可以包括以下子步骤：

子步骤S5021，所述扩展多点控制服务器对所述请求组会数据报文进行解析后获取所述分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息。

由于前端会控平台生成的请求组会数据报文是TCP/IP协议的数据报文，该请求组会数据报文包括content协议字段，其分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息就包含在这些content协议字段中，因而扩展多点控制服务器需要对请求数据报文进行解析，解析的过程具体可以是如下的方式：

扩展多点控制服务器分析出请求数据报文中的content协议字段，因content协议字段是XML结构的字符串，因而采用XML解析技术，将该content协议字段中的XML字段解析出来从而获取到了具有实际意义的分屏指令信息、多个视联网终端MAC地址信息及多个互联网终端MAC地址信息。当然，扩展多点控制服务器也可以采用其他现有的解析技术对请求数据报文解析，以获得具有实际意义是信息，本申请对具体的解析方式不作限制。

子步骤S5022，所述扩展多点控制服务器依据所述视联网终端MAC地址信息查找对应的第一视联网终端，依据所述互联网终端MAC地址信息查找对应的第一互联网终端。

通过解析获得视联网终端MAC地址信息及互联网终端MAC地址信息后，由于每一个MAC地址都对应一个终端所在的位置，因而扩展多点控制服务器可以通过该视联网终端MAC地址信息确定与之对应的某个视联网终端，可以通过该互联网终端MAC地址信息确定与之对应的某个互联网终端。

子步骤S5023，所述扩展多点控制服务器针对所述第一视联网终端生成第一路径信息，针对所述第一互联网终端生成第二路径信息。

对第一视联网终端及第一互联网终端完成确认后，扩展多点控制服务器可以将该视联网终端MAC地址信息、第一视联网终端的标识、互联网终端MAC地址信息、第一互联网终端的标识存放于Yate的架构的消息中，从而生成消息队列，这个消息队列被发送到相应的终端，终端再响应该消息队列，从而开通了第一视联网终端建立与扩展多点控制服务器的传输路径，以及开通了第一互联网终端与扩展多点控制服务器的传输路径，其中，第一视联网终端与扩展多点控制服务器的传输路径就作为第一路径信息，第一互联网终端与扩展多点控制服务器的传输路径就作为第二路径信息。

实际中，每个第一视联网终端对应一条第一路径信息，每个第一互联网终端对应一条第二路径信息，因而参会的终端都有专属于自己的数据传输路径。

步骤503，所述扩展多点控制服务器基于所述第一路径信息接收所述第一视联网终端采集的视联网视频数据，所述扩展多点控制服务基于所述第二路径信息接收所述第一互联网终端采集的互联网视频数据。

实际中，扩展多点控制服务器基于第一路径信息接收第一视联网终端采集的视联网视频数据时，采用的传输协议可以是视联网2002协议；扩展多点控制服务器基于第二路径信息接收第一互联网终端采集的互联网视频数据时，采用的传输协议可以是H323协议，H323协议标准提供了基于IP网络(包括Internet)的传送声音、视频和数据的基本标准。

通过扩展多点控制服务器可以统一接收组会内的每个终端采集的视频，由于利用视联网进行多终端组会时，若采用组会内的一个终端给其他终端均发送视频的方式，会占用较大的网络带宽和内存，使得视频组会传输速度慢，因而利用扩展多点控制服务器统一接收组会内的每个终端采集的视频的方式，可以将各个终端发送来的视频进行处理后再转发。

步骤504，所述扩展多点控制服务器针对所述分屏指令信息，采用所述视联网视频数据及所述互联网视频数据生成混屏视频数据。

因各个终端发来的视频数据都是单独的视频数据，扩展多点控制服务器需要对接收到的各个终端的视频整合成一路视频数据，整体打包发送到各个终端，这样每个终端都能在自己的屏幕上一次性看到所有终端的视频画面，达到视频多点会议的目的。

在本申请的一种优选实施方案中，步骤504具体可以包括以下子步骤：

子步骤S5041，所述扩展多点控制服务器将所述视联网视频数据解码成第一视频数据，将所述互联网视频数据解码成第二视频数据，其中，所述第一视频数据及所述第二视频数据具有相同的数据格式。

实际中，由于每个终端的硬件设备不一致，摄像头的采集分辨率不一致，会导致视频数据的编码格式不一致，需要对各个视频数据先解码成格式一致的视频数据，以便对视频数据进行重新整合。

例如，第一视频数据的格式是H264，第二视频数据的格式是H265，则将这些视频数据全部解码成YUV格式的视频数据。

子步骤S5042，所述扩展多点控制服务器针对所述分屏指令信息，确定所述第一视频数据及所述第二视频数据的目标长宽。

分屏指令信息是根据分屏模式而生成的，分屏模块可以有二分屏模式、三分屏模式等，目标长宽可以理解为每个终端采集的原视频在经扩展多点控制服务器混屏后能显示的长和宽。本子步骤的主要目的是将各个终端发来的视频数据按照分屏模式进行缩小，以便可以在每个终端上都能显示组会内终端的全部视频画面。

例如，分屏指令信息对应的是三分屏模式，可以理解为是3个终端进行组会，扩展多点控制服务器需要计算每一个终端的视频数据都在一个画面上进行显示时的长和宽，比如，要使3个终端发送来的视频都在一个屏幕上同时显示时，每个视频的长和宽可以是3*5，则将3*5作为目标长宽。

子步骤S5043，所述扩展多点控制服务器按照所述目标长宽，将所述第一视频数据及所述第二视频数据编码成帧结构的混屏视频数据。

目标长宽确定后，可通过图像合成的方式，将多个第一视频数据流及多个第二视频数据流的数据帧图像按照目标长宽合成新图像，将合成后的视频帧作为输入进行编码得到混屏视频数据，该混屏视频数据就是帧结构的混屏视频数据。

例如，解码后的每个视频数据都是YUV格式，通过图像合成的方式将每个视频数据按照目标长宽合成新图像合成新图像，新图像中每个视频数据的长宽就是目标长宽，然后将合成后的新图像的视频帧作为输入在进行编码得到混屏视频数据，该混屏视频数据的格式为H264，混屏视频数据中包括了每个终端发来的视频数据，使得所有终端的视频画面都能被全部展示在一个屏幕上，最终，对于用户来说，在屏幕上就能看到各个终端采集的视频画面。

需要说明的是，分屏模式可以根据参加组会的终端个数进行确定，终端个数越多，显示的每个终端的视频画面就越小，终端个数越少，显示的每个终端的视频画面就可以越大。

步骤505，所述扩展多点控制服务器基于所述第一路径信息将所述混屏视频数据发送至所述第一视联网终端，基于所述第二路径信息将所述混屏视频数据发送至所述第一互联网终端。

实际中，扩展多点控制服务器基于第一路径信息将混屏视频数据发送至第一视联网终端时，采用的传输协议可以为视联网2002协议；基于第二路径信息将混屏视频数据发送至第一互联网终端时，采用的传输协议可以是RTP协议，RTP协议是一种实时数据传输协议，本领域人员应当知道视联网2002协议及RTP协议都是一种视频传输实时协议，在实际应用中，也可以运用其他的实时传输协议进行视频数据传输，本申请不对具体的传输协议做限制。

视联网服务器经过步骤505后，各个终端都可以同时看到其他终端的视频画面，进而实现了多个视联网终端和多个互联网终端进行组会的目的。选择混屏，可以让组会内的所有终端都能看到其他终端的视频画面，而不会漏掉某个终端的视频画面。

本申请的前端会控平台相当于组会的前端控制平台，管理人员可以通过该前端会控平台进行会议的组建、参会终端的注册以及分屏模式的选择，这样提高了多点组会的可控性，扩展多点控制服务器相当于后端服务器，按照前端会控平台发送的请求组会数据报文，建立起与相应的第一视联网终端及第一互联网终端的通信路径，再将第一视联网终端及第一互联网终端发送的视频数据按照目标长宽进行重新编码后，打包为混屏视频数据发到到每个第一视联网终端及第一互联网终端，这样每个第一视联网终端及第一互联网终端上都能显示组会内的所有终端的视频画面，从而达到了多个视联网终端及多个互联网终端组会的目的，解决了现有技术中只能实现视联网终端和互联网终端一对一视频会议的问题，增强了视联网在视频组会方面的实用性。

实施例二

实际中，多点组会的会议场景有仅仅进行视频画面组会的组会模式、也有交流互动、主席发言、听课等互动发言组会模式，本申请实施例2以主席发言并交流互动的组会模式为场景，进行阐述。

参照图6，给出了本申请实施例2的一种将多个视联网终端和多个互联网终端进行组会的方法，所述方法应用于视联网中，所述视联网与互联网通信连接，所述视联网中包括扩展多点控制服务器、视联网服务器及多个视联网终端，所述互联网中包括前端会控平台、多个互联网终端，所述扩展多点控制服务器与所述视联网服务器、所述前端会控平台及所述互联网终端通信连接，所述视联网服务器与所述视联网终端通信连接，所述方法包括：

步骤601，所述扩展多点控制服务器接收所述前端会控平台发送的请求组会数据报文，所述请求组会数据报文由所述前端会控平台在创建组会时生成，所述请求组会数据报文包括分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息及至少一个发言终端MAC地址信息，所述发言终端MAC地址信息由所述前端会控平台在所述视联网终端MAC地址信息及所述互联网终端MAC地址信息中进行选择后确定。

前端会控平台在创建组会时，将需要参会的视联网终端的MAC地址及互联网终端的MAC地址注册到前端会控平台，根据会议要求，再选择其中一个视联网终端的MAC地址或其中一个互联网终端的MAC地址注册作为发言终端MAC地址进行注册，当然，也可以选择多个视联网终端的MAC地址或互联网终端的MAC地址作为注册到发言终端MAC地址中，完成组会创建后，生成的请求组会数据报文就包括了至少一个的发言终端MAC地址信息。

步骤602，所述扩展多点控制服务器针对所述请求组会数据报文，建立至少一个第二路径信息及至少一个第二路径信息；其中，所述第一路径信息标识所述视联网终端MAC地址信息对应的第一视联网终端在视联网中与所述扩展多点控制服务器之间进行数据传输的路径；所述第二路径信息为标识所述互联网终端MAC地址信息对应的第一互联网终端在互联网中与所述扩展多点控制服务器之间进行数据传输的路径。

实际中，该步骤可以参考实施例1的步骤502进行。

步骤603，所述扩展多点控制服务器基于所述第一路径信息接收所述第一视联网终端采集的视联网视频数据，所述扩展多点控制服务基于所述第二路径信息接收所述第一互联网终端采集的互联网视频数据。

实际中，该步骤可以参考实施例1的步骤503进行。

步骤604，所述扩展多点控制服务器针对所述分屏指令信息，采用所述视联网视频数据及所述互联网视频数据生成混屏视频数据。

实际中，该步骤可以参考实施例1的步骤504进行。

步骤605，所述扩展多点控制服务器基于所述第一路径信息将所述混屏视频数据发送至所述第一视联网终端，基于所述第二路径信息将所述混屏视频数据发送至所述第一互联网终端。

实际中，该步骤可以参考实施例1的步骤505进行。

步骤606，所述扩展多点控制服务器在所述第一视联网终端及所述第一互联网终端中确定与所述发言终端MAC地址信息对应的发言终端。

在组建起视频会议后，扩展多点控制服务器按照步骤606确定发言终端MAC地址信息对应的发言终端，因发言终端MAC地址信息是在视联网终端的MAC地址信息及互联网终端的MAC地址信息中进行选择的，因而发言终端也在第一视联网终端及所述第一互联网终端中确定。

步骤607，所述扩展多点控制服务器在所述第一路径信息及所述第二路径信息中确定与所述发言终端对应的第三路径信息。

实际中，视频数据的传输与音频数据的传输虽然使用相同的传输路径，但是由于二者采用的数据编码格式不一致，常常是分开传输，即视频数据与音频数据单独传输，在扩展多点控制服务器获取到视频数据后，可以根据发言终端的MAC地址信息主动接受发言终端的音频数据，而其他终端的音频数据则可以不接收，本申请的第三路径信息可以理解为是与第一路径信息、第二路径信息在命名上的区分，实际上，第三路径信息是在第一路径信息及第二路径信息进行选择后产生的。

步骤608，所述扩展多点控制服务器基于所述第三路径信息接收所述发言终端采集并发送的第一音频数据。

实际中，扩展多点控制服务器只能发言终端的音频数据，而未被标识为发言终端的其他终端的音频数据则不能向扩展多点控制服务器发送音频数据。

步骤609，所述扩展多点控制服务器判断所述发言终端MAC地址信息的个数是否为1，若是，则转步骤610，若否，则转步骤611。

步骤610，则所述扩展多点控制服务器将所述第一音频数据标记为第二音频数据，所述扩展多点控制服务器基于所述第一路径信息将所述第二音频数据发送至所述第一视联网终端，所述扩展多点控制服务器基于所述第二路径信息将所述第二音频数据发送至所述第一互联网终端。

发言终端MAC地址信息的个数是1，表明在组会中，只有一个发言终端，也可以理解为在组会中是主席方讲话的模式，仅仅需要将这个发言终端的音频数据直接转发到每个终端即可，因而，每个终端不仅能看到所有终端的视频画面，也能听到发言终端的发言。

步骤611，则所述扩展多点控制服务器将所述第一音频数据混音成第三音频数据，所述扩展多点控制器基于所述第一路径信息将所述第三音频数据发送至所述第一视联网终端，所述扩展多点控制器基于所述第二路径信息将所述第三音频数据发送至所述第一互联网终端。

发言终端MAC地址信息的个数不为1，则表明至少有2个发言终端，也可以理解为在组会中不仅有主席方、也有发言方，需要将主席方及发言方的音频都发送到各个终端，采取将所述第一音频数据混音成第三音频数据后再发送到各个终端的措施，可以提高音频数据发送的时效性，相比于将接受到的每个音频数据进行单独转发的方案，对每个音频数据整合成一个音频数据后再发送，可以提高音频数据传输的效率，在组会中避免了某一方发言音频的传输延迟、滞后或漏传的问题，提高了组会的工作效率。

本申请的一种优选实施方案的中，所述扩展多点控制服务器将所述第一音频数据混音成第三音频数据的步骤，具体可以包括以下子步骤：

子步骤a1，所述扩展多点控制服务器对每个所述第一音频数据解码成对应的原始音频数据，每个所述原始音频数据的数据格式一致。

实际中，由于每个终端的硬件设备不一致，录音设备的音频采样频率不一致，会导致音频数据的编码格式不一致，需要对各个音频数据先解码成格式一致的视频数据后，再对音频数据进行重新整合。

例如，第一个发言终端发送的音频数据是G711编码标准，第二发言终端发送的音频数据是G729编码标准，则将两个音频数据都解码成PCM的原始音频数据。

子步骤a2，所述扩展多点控制服务器将所述原始音频数据合并成一路混合音频数据。

各个音频数据格式一致后，就可以将格式不同的音频数据整合成一路格式相同的混合音频数据。

例如，将两路PCM的原始音频数据合并成一路PCM的原始音频数据，需要说明的是利用格式工厂等现有技术手段就能实现多路音频数据的合并，本申请不对具体的合并方式进行限制。

子步骤a3，所述扩展多点控制服务器将所述混合音频数据编码成第二音频数据。

得到格式相同的混合音频数据后，就可以采用一种编码格式对该混合音频数据再进行编码，从而形成第二音频数据。

例如，将一路PCM的原始音频数据按照G711编码标准进行编码，最终形成的第二音频数据为G711编码标准。

本申请的前端会控平台相当于组会的前端控制平台，管理人员可以通过该前端会控平台进行会议的组建、参会终端的注册、发言终端的注册以及分屏模式的选择，这样提高了发言模式下多点组会的可控性，扩展多点控制服务器按照前端会控平台发送的请求组会数据报文，建立起相应的第一视联网终端及第一互联网终端的通信路径，再将第一视联网终端及第一互联网终端发送的视频数据按照目标长宽进行重新编码后，打包为混屏视频数据发到到每个第一视联网终端及第一互联网终端，并且将发言终端采集的音频数据整合成一路音频数据发送到各个终端，这样每个第一视联网终端及第一互联网终端上既能显示组会内的所有终端的视频画面，也能收听发言终端的发言。从而达到了多个视联网终端及多个互联网终端组会的目的，解决了现有技术中只能实现视联网终端和互联网终端一对一视频会议的问题，增强了视联网在视频组会方面的实用性。

本申请的实施例，视频数据与音频数据是相分离传送的，也可以理解为音频数据与视频数据是分开传送的，因而采用本申请实施例2的技术方案，可以实现只允许发言终端的音频数据传输，而其他终端的音频数据不能进行传输的目的，可以适应更多的组会场景，更能满足多点组会时的多样化会议要求。

需要说明的是，在实际应用中，组会进行的过程中，也可以通过在前端会控平台删除发言终端MAC地址信息或新注册发言终端MAC地址信息，达到结束某个终端发言，或允许某个终端进行发言的目的，提高互动发言的可控性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例三

如图7所示，示出了本申请实施例3的一种将多个视联网终端和多个互联网终端进行组会的装置，所述的装置可以应用于视联网中，所述视联网还可以与互联网通信连接，所述视联网中包括扩展多点控制服务器、视联网服务器及多个视联网终端，所述互联网中包括前端会控平台、多个互联网终端，所述扩展多点控制服务器与所述视联网服务器、所述前端会控平台及所述互联网终端通信连接，所述视联网服务器与所述视联网终端通信连接，所述装置可以位于所述扩展多点控制服务器中，所述装置具体可以包括：

通信模块701，用于接收所述前端会控平台发送的请求组会数据报文，所述请求组会数据报文由所述前端会控平台在创建组会网站时生成，所述请求组会数据报文包括分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息；

路径信息生成模块702，用于针对所述请求组会数据报文，建立至少一个第一路径信息及至少一个第二路径信息；其中，所述第一路径信息为标识所述视联网终端MAC地址信息对应的第一视联网终端在视联网中与所述扩展多点控制服务器之间进行数据传输的路径；所述第二路径信息标识所述互联网终端MAC地址信息对应的第一互联网终端在互联网中与所述扩展多点控制服务器之间进行数据传输的路径；

视频数据存储模块703，用于存储基于所述第一路径信息接收到的所述第一视联网终端采集的视联网视频数据，并用于存储基于所述第二路径信息接收到的所述第一互联网终端采集的互联网视频数据；

混屏模块704，用于针对所述分屏指令信息，采用所述视联网视频数据及所述互联网视频数据生成混屏视频数据；

视联网通信模块705；用于基于所述第一路径信息接收所述第一视联网终端采集的所述视联网视频数据，并用于基于所述第一路径信息将所述混屏视频数据发送至所述第一视联网终端；

互联网通信模块706；用于基于所述第二路径信息接收所述第一互联网终端采集的所述互联网视频数据，并用于基于所述第二路径信息将所述混屏视频数据发送至所述第一互联网终端。

实际中，通信模块701可以与前端会控平台通过TCP/IP协议进行通信连接，路径信息生成模块702可以与通信模块701进行通信连接，视频数据存储模块703可以同时与视联网通信模块705、互联网通信模块706及混屏模块704通信连接，视联网通信模块705可以基于视联网协议与第一视联网终端通信连接，互联网通信模块706可以基于互联网协议与第一互联网终端通信连接。

作为本申请实施例的一种优选方案，所述混屏模块704还可以包括：

解码子模块，用于将所述视联网视频数据解码成第一视频数据，将所述互联网视频数据解码成第二视频数据，其中，所述第一视频数据及所述第二视频数据具有相同的数据格式；

目标长宽计算子模块，用于针对所述分屏指令信息，确定所述所述第一视频数据及所述第二视频数据的目标长宽；

编码子模块，用于按照所述目标长宽，将所述第一视频数据及所述第二视频数据编码成帧结构的混屏视频数据。

实际中，解码子模块可以与目标长宽计算子模块通信连接，目标长宽计算子模块可以与编码子模块通信连接。

作为本申请实施例的一种优选方案，所述请求组会数据报文中还包括至少一个发言终端MAC地址信息，所述发言终端MAC地址信息由所述前端会控平台在所述视联网终端MAC地址信息及所述互联网终端MAC地址信息中进行选择后确定。

请求组会数据报文可以包括发言终端MAC地址信息，可以根据会议要求指定组会中的互动发言方、主席发言方。

作为本申请实施例的一种优选方案，基于所述请求组会数据报文中还包括至少一个发言终端MAC地址信息，所述的装置还可以包括：

发言终端控制模块707，用于在所述第一视联网终端及所述第一互联网终端中确定与所述发言终端MAC地址信息对应的发言终端，并用于在所述第一路径信息及所述第二路径信息中查找与所述发言终端对应的第三路径信息；

音频数据存储模块708，用于存储基于所述第三路径信息接收到的所述发言终端采集并发送的第一音频数据；

判断模块709，用于判断所述发言终端MAC地址信息的个数是否为1；

直转模块710，用于在所述发言终端MAC地址信息的个数为1时，将所述第一音频数据标记为第二音频数据，并将所述第二音频数据发送至所述视联网通信模块705及所述互联网通信模块706，所述视联网通信模块705用于将所述第二音频数据基于所述第一路径信息发送至所述第一视联网终端，所述互联网通信模块706用于将所述第二音频数据基于第二路径信息发送至第一互联网终端。

混音模块711，用于在所述发言终端MAC地址信息的个数大于1时，将所述第一音频数据混音成第二音频数据；其中，所述第二音频数据由所述视联网通信模块705基于所述第一路径信息发送至所述第一视联网终端，所述第二音频数据还由所述互联网通信模块706基于所述第二路径信息发送至所述第一互联网终端。

实际中，发言终端控制模块707与路径信息生成模块702及通信模块701通信连接，音频数据存储模块708同时与视联网通信模块705、互联网通信模块706、判断模块709、直转模块710及混音模块711通信连接。

本申请的一种多个视联网终端和多个互联网终端进行组会的装置，可以在前端会控平台创建组会，完成各种设置，之后将创建组会时生成的请求组会数据报文发送到通信模块701，该请求组会数据报文就是TCP/IP协议的数据报文，路径信息生成模块702可以将请求数据报文进行解析后生成第一路径信息及第二路径信息，视联网通信模块705可以基于第一路径信息将视联网内的第一视联网终端采集的视联网视频数据发送到视频数据存储模块703，互联网通信模块706可以基于第二路径信息将互联网内的第一互联网终端采集的互联网视频数据发送到视频数据存储模块703，视频数据存储模块703可以将视联网视频数据和互联网视频数据发送至混屏模块704，混屏模块704可以针对分屏指令信息，按照目标长宽将视联网视频数据和互联网视频数据混屏成混屏视频数据，并将该混屏视频数据返回给视联网通信模块705及互联网通信模块706，视联网通信模块705及互联网通信模块706可以将混屏视频数据按照视联网协议发送到第一视联网终端，按照互联网协议发送到第一互联网终端，最终，每个视联网终端及互联网终端都能看到组会内所有终端采集的视频画面，实现了多个终端组会的目的。

实际中，该装置的前端会控平台还可以设置发言终端，发言终端控制模块707根据请求组会数据报文中的发言终端MAC地址信息确定发言终端，并在所述第一路径信息及所述第二路径信息中确定发言终端进行音频数据传输的第三路径信息，视联网通信模块705及互联网通信模块706进而根据第三路径信息接收发言终端的音频数据，在判断模块709判断发言终端MAC地址信息为1时，直转模块710可以直接将音频数据转发到视联网通信模块705及互联网通信模块706，在判断第发言终端MAC地址信息不为1时，混音模块711对音频数据进行混音后再发送到视联网通信模块705及互联网通信模块706。最终，每个视联网终端及互联网终端都能看到收听到发言终端的音频，而其他终端的音频则不能被传送到各个终端，实现了多个终端组会时对发言终端进行控制的目的，满足了组会的多样化需求。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种将多个视联网终端和多个互联网终端进行组会的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种将多个视联网终端和多个互联网终端进行组会的方法，其特征在于，所述方法应用于视联网中，所述视联网与互联网通信连接，所述视联网中包括扩展多点控制服务器、视联网服务器及多个视联网终端，所述互联网中包括前端会控平台、多个互联网终端，所述扩展多点控制服务器与所述视联网服务器、所述前端会控平台及所述互联网终端通信连接，所述视联网服务器与所述视联网终端通信连接，所述方法包括：

所述扩展多点控制服务器接收所述前端会控平台发送的请求组会数据报文，所述请求组会数据报文由所述前端会控平台在创建组会时生成，所述请求组会数据报文包括分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息；

所述扩展多点控制服务器针对所述请求组会数据报文，建立至少一个第一路径信息及至少一个第二路径信息；其中，所述第一路径信息为标识所述视联网终端MAC地址信息对应的第一视联网终端在视联网中与所述扩展多点控制服务器之间进行数据传输的路径；所述第二路径信息为标识所述互联网终端MAC地址信息对应的第一互联网终端在互联网中与所述扩展多点控制服务器之间进行数据传输的路径；

所述扩展多点控制服务器基于所述第一路径信息接收所述第一视联网终端采集的视联网视频数据，所述扩展多点控制服务基于所述第二路径信息接收所述第一互联网终端采集的互联网视频数据；

所述扩展多点控制服务器针对所述分屏指令信息，采用所述视联网视频数据及所述互联网视频数据生成混屏视频数据；

所述扩展多点控制服务器基于所述第一路径信息将所述混屏视频数据发送至所述第一视联网终端，基于所述第二路径信息将所述混屏视频数据发送至所述第一互联网终端。

2.根据权利要求1所述的方法，其特征在于，所述请求组会数据报文中还包括至少一个发言终端MAC地址信息，所述发言终端MAC地址信息由所述前端会控平台在所述视联网终端MAC地址信息及所述互联网终端MAC地址信息中进行选择后确定。

3.根据权利要求2所述的方法，其特征在于，在所述扩展多点控制服务器按照所述第一路径信息将所述混屏视频数据发送至所述第一视联网终端，基于所述第二路径信息将所述混屏视频数据发送至所述第一互联网终端的步骤后，还包括：

所述扩展多点控制服务器在所述第一视联网终端及所述第一互联网终端中确定与所述发言终端MAC地址信息对应的发言终端；

所述扩展多点控制服务器在所述第一路径信息及所述第二路径信息中确定与所述发言终端对应的第三路径信息；

所述扩展多点控制服务器基于所述第三路径信息接收所述发言终端采集并发送的第一音频数据；

所述扩展多点控制服务器判断所述发言终端MAC地址信息的个数是否为1；

若是，则所述扩展多点控制服务器将所述第一音频数据标记为第二音频数据，所述扩展多点控制服务器基于所述第一路径信息将所述第二音频数据发送至所述第一视联网终端，所述扩展多点控制服务器基于所述第二路径信息将所述第二音频数据发送至所述第一互联网终端；

若否，则所述扩展多点控制服务器将所述第一音频数据混音成第三音频数据，所述扩展多点控制器基于所述第一路径信息将所述第三音频数据发送至所述第一视联网终端，所述扩展多点控制器基于所述第二路径信息将所述第三音频数据发送至所述第一互联网终端。

4.根据权利要求3所述的方法，其特征在于，所述扩展多点控制服务器将所述第一音频数据混音成第二音频数据的步骤，包括：

所述扩展多点控制服务器对每个所述第一音频数据解码成对应的原始音频数据，每个所述原始音频数据的数据格式一致；

所述扩展多点控制服务器将所述原始音频数据合并成一路混合音频数据；

所述扩展多点控制服务器将所述混合音频数据编码成第二音频数据。

5.根据权利要求1所述的方法，其特征在于，所述扩展多点控制服务器针对所述请求组会数据报文建立至少一个第二路径信息及至少一个第二路径信息的步骤，包括；

所述扩展多点控制服务器对所述请求组会数据报文进行解析后获取所述分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息；

所述扩展多点控制服务器依据所述视联网终端MAC地址信息查找对应的第一视联网终端，依据所述互联网终端MAC地址信息查找对应的第一互联网终端；

所述扩展多点控制服务器针对所述第一视联网终端生成第一路径信息，针对所述第一互联网终端生成第二路径信息。

6.根据权利要求1所述的方法，其特征在于，所述扩展多点控制服务器针对所述分屏指令信息，采用所述视联网视频数据及所述互联网视频数据生成混屏视频数据的步骤，包括：

所述扩展多点控制服务器将所述视联网视频数据解码成第一视频数据，将所述互联网视频数据解码成第二视频数据，其中，所述第一视频数据及所述第二视频数据具有相同的数据格式；

所述扩展多点控制服务器针对所述分屏指令信息，确定所述第一视频数据及所述第二视频数据的目标长宽；

所述扩展多点控制服务器按照所述目标长宽，将所述第一视频数据及所述第二视频数据编码成帧结构的混屏视频数据。

7.一种将多个视联网终端和多个互联网终端进行组会的装置，其特征在于，所述的装置应用于视联网中，所述视联网还与互联网通信连接，所述视联网中包括扩展多点控制服务器、视联网服务器及多个视联网终端，所述互联网中包括前端会控平台、多个互联网终端，所述扩展多点控制服务器与所述视联网服务器、所述前端会控平台及所述互联网终端通信连接，所述视联网服务器与所述视联网终端通信连接，所述装置位于所述扩展多点控制服务器中，包括：

通信模块，用于接收所述前端会控平台发送的请求组会数据报文，所述请求组会数据报文由所述前端会控平台在创建组会网站时生成，所述请求组会数据报文包括分屏指令信息、多个视联网终端MAC地址信息、多个互联网终端MAC地址信息；

路径信息生成模块，用于针对所述请求组会数据报文，建立至少一个第一路径信息及至少一个第二路径信息；其中，所述第一路径信息标识所述视联网终端MAC地址信息对应的第一视联网终端在视联网中与所述扩展多点控制服务器之间进行数据传输的路径；所述第二路径信息标识所述互联网终端MAC地址信息对应的第一互联网终端在互联网中与所述扩展多点控制服务器之间进行数据传输的路径；

视频数据存储模块，用于存储基于所述第一路径信息接收到的所述第一视联网终端采集的视联网视频数据，并用于存储基于所述第二路径信息接收到的所述第一互联网终端采集的互联网视频数据；

混屏模块，用于针对所述分屏指令信息，采用所述视联网视频数据及所述互联网视频数据生成混屏视频数据；

视联网通信模块；用于基于所述第一路径信息接收所述第一视联网终端采集的所述视联网视频数据，并用于基于所述第一路径信息将所述混屏视频数据发送至所述第一视联网终端；

互联网通信模块；用于基于所述第二路径信息接收所述第一互联网终端采集的所述互联网视频数据，并用于基于所述第二路径信息将所述混屏视频数据发送至所述第一互联网终端。

8.根据权利要求7所述的装置，其特征在于，所述混屏模块还包括：

解码子模块，用于将所述视联网视频数据解码成第一视频数据，将所述互联网视频数据解码成第二视频数据，其中，所述第一视频数据及所述第二视频数据具有相同的数据格式；

目标长宽计算子模块，用于针对所述分屏指令信息，确定所述所述第一视频数据及所述第二视频数据的目标长宽；

编码子模块，用于按照所述目标长宽，将所述第一视频数据及所述第二视频数据编码成帧结构的混屏视频数据。

9.根据权利要求7所述的装置，其特征在于，所述请求组会数据报文中还包括至少一个发言终端MAC地址信息，所述发言终端MAC地址信息由所述前端会控平台在所述视联网终端MAC地址信息及所述互联网终端MAC地址信息中进行选择后确定。

10.根据权利要求9所述的装置，其特征在于，还包括：

发言终端控制模块，用于在所述第一视联网终端及所述第一互联网终端中确定与所述发言终端MAC地址信息对应的发言终端，并用于在所述第一路径信息及所述第二路径信息中查找与所述发言终端对应的第三路径信息；

音频数据存储模块，用于存储基于所述第三路径信息接收到的所述发言终端采集并发送的第一音频数据；

判断模块，用于判断所述发言终端MAC地址信息的个数是否为1；

直转模块，用于在所述发言终端MAC地址信息的个数为1时，将所述第一音频数据标记为第二音频数据，并将所述第二音频数据发送至所述视联网通信模块及所述互联网通信模块，所述视联网通信模块用于将所述第二音频数据基于所述第一路径信息发送至所述第一视联网终端，所述互联网通信模块用于将所述第二音频数据基于第二路径信息发送至第一互联网终端。

混音模块，用于在所述发言终端MAC地址信息的个数大于1时，将所述第一音频数据混音成第二音频数据；其中，所述第二音频数据由所述视联网通信模块基于所述第一路径信息发送至所述第一视联网终端，所述第二音频数据还由所述互联网通信模块基于所述第二路径信息发送至所述第一互联网终端。