CN106210764A - 一种多路多媒体流的合屏处理方法和系统 - Google Patents

Abstract

本发明实施例提供了一种多路多媒体流的合屏处理方法、一种合屏器、一种服务器和一种多路多媒体流的合屏处理系统，其中的方法具体包括：接收来自服务器的合屏指令及所述合屏指令对应的多路多媒体流数据；对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据；将所述目的多媒体流数据发送至所述服务器，以在接入所述服务器的终端上实时播放所述目的多媒体流数据。本发明实施例能够解决现有技术中合屏器都是通过物理接口直接采集，无法满足远端用户实时观看的问题。

Description

一种多路多媒体流的合屏处理方法和系统

技术领域

本发明涉及视频合屏技术领域，特别是涉及一种多路多媒体流的合屏处理方法、一种合屏器、一种服务器和一种多路多媒体流的合屏处理系统。

背景技术

视联网是以太网的更高级形态，是一个实时交换平台，其能够实现目前互联网无法实现的全网大规模高清视频实时传输，将众多网络视频应用推向高清化、统一化。

视联网服务器是视联网系统的核心设备，支持VMS5.0/V2V5.0视联网协议，用于实现视频业务的交换和服务。视联网服务器为嵌入式硬件设备，采用电路交换技术进行视频交换和通信，可支持大规模(亿万级)视频的实时转发传输。

然而现有的合屏器通常是通过物理接口直接采集，无法满足视联网终端对合屏画面实时观看的需求。

发明内容

本发明实施例所要解决的技术问题是提供一种多路多媒体流的合屏处理方法、一种合屏器、一种服务器和一种多路多媒体流的合屏处理系统，能够解决现有技术中合屏器都是通过物理接口直接采集，无法满足远端用户实时观看的问题。

为了解决上述问题，本发明公开了一种多路多媒体流的合屏处理方法，包括：

接收来自服务器的合屏指令及所述合屏指令对应的多路多媒体流数据；

对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据；

将所述目的多媒体流数据发送至所述服务器，以在接入所述服务器的终端上实时播放所述目的多媒体流数据。

优选地，所述对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据的步骤，包括：

依据预设的视频编解码协议对所述多路多媒体流数据进行解码，得到相应的多路原始流；

对所述多路原始流执行合屏操作，合并在一个画面中；

将合屏后的原始流依据所述视频编解码协议进行编码。

优选地，所述合屏指令中包括类型信息，所述方法还包括：

将合屏后的目的多媒体流数据封装为与所述类型信息相应的数据。

优选地，所述网络为视联网，所述类型信息为传输流；所述将合屏后的目的多媒体流数据封装为与所述类型信息相应的数据的步骤，包括：

依据传输流协议将所述合屏后的目的多媒体流数据组装为预设大小的数据包；

依据视联网协议对所述数据包进行封装，以生成符合视联网协议的网络数据包。

依据本发明的另一个方面，提供了一种多路多媒体流的合屏处理方法，包括：

接收来自多个终端经过采集编码得到的多路多媒体流数据；

向合屏器发送合屏指令、以及所述合屏指令对应的多路多媒体流数据；

接收所述合屏器返回的具有多画面的目的多媒体流数据。

优选地，所述方法还包括：

接收来自终端的点播请求；

向所述终端发送点播响应指令后，向所述终端下传所述点播请求对应的多媒体流数据。

依据本发明的又一个方面，提供了一种多路多媒体流的合屏处理方法，包括：

通过多个终端采集编码得到符合统一码率条件的多路多媒体流数据；

将所述多路多媒体流数据发送至服务器；

所述服务器向合屏器发送合屏指令，以及将所述多路多媒体流数据发送至所述合屏器；

所述合屏器对所述多路多媒体流数据进行合屏处理，得到具有多画面的目的多媒体流数据；

所述合屏器将所述目的多媒体流数据发送至所述服务器；

所述服务器将所述目的多媒体流数据发送至对应终端进行显示。

依据本发明的再一个方面，提供了一种合屏器，包括：

第一接收模块，用于接收来自服务器的合屏指令及所述合屏指令对应的多路多媒体流数据；

合屏模块，用于对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据；及

第一发送模块，用于将所述目的多媒体流数据发送至所述服务器，以在接入所述服务器的终端上实时播放所述目的多媒体流数据。

优选地，所述合屏模块，包括：

解码子模块，用于依据预设的视频编解码协议对所述多路多媒体流数据进行解码，得到相应的多路原始流；

合屏子模块，用于对所述多路原始流执行合屏操作，合并在一个画面中；

编码子模块，用于将合屏后的原始流依据所述视频编解码协议进行编码。

优选地，所述合屏指令中包括类型信息，所述合屏器还包括：

封装模块，用于将合屏后的目的多媒体流数据封装为与所述类型信息相应的数据。

优选地，所述网络为视联网，所述类型信息为传输流；所述封装模块，包括：

组装子模块，用于依据传输流协议将所述合屏后的目的多媒体流数据组装为预设大小的数据包；

封装子模块，用于依据视联网协议对所述数据包进行封装，以生成符合视联网协议的网络数据包。

依据本发明的再一个方面，提供了一种服务器，包括：

第二接收模块，用于接收来自多个终端经过采集编码得到的多路多媒体流数据；

第二发送模块，用于向合屏器发送合屏指令、以及所述合屏指令对应的多路多媒体流数据；及

第三接收模块，用于接收所述合屏器返回的具有多画面的目的多媒体流数据。

优选地，所述服务器还包括：

第四接收模块，用于接收来自终端的点播请求；

点播响应模块，用于向所述终端发送点播响应指令后，向所述终端下传所述点播请求对应的多媒体流数据。

依据本发明的再一个方面，提供了一种多路多媒体流的合屏处理系统，包括：终端、服务器、及合屏器；

其中，所述终端包括：

采集编码模块，用于通过多个终端采集编码得到符合统一码率条件的多路多媒体流数据；

第一多路数据发送模块，用于将所述多路多媒体流数据发送至服务器；

所述服务器包括：

第二多路数据发送模块，用于向合屏器发送合屏指令，以及将所述多路多媒体流数据发送至所述合屏器；

第一目的数据发送模块，用于将合屏后的目的多媒体流数据发送至对应终端进行显示；

所述合屏器包括：

合屏处理模块，用于对所述多路多媒体流数据进行合屏处理，得到具有多画面的目的多媒体流数据；

第二目的数据发送模块，用于将所述目的多媒体流数据发送至所述服务器。

与现有技术相比，本发明实施例包括以下优点：

本发明实施例在接收来自服务器的合屏指令及所述合屏指令对应的多路多媒体流数据后，对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据，再将所述目的多媒体流数据发送至所述服务器，以在接入所述服务器的终端上实时播放所述目的多媒体流数据。本发明实施例实现了在网络中的多路多媒体流数据的合屏操作，并将合屏后的目的多媒体流数据通过网络发送至各终端进行实时播放，从而解决了现有技术中合屏器都是通过物理接口直接采集，无法满足远端用户实时观看的问题。

附图说明

图1示出了本发明的一种多路多媒体流的合屏处理方法实施例一的步骤流程图；

图2示出了本发明的一种对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据的步骤流程图；

图3示出了本发明的一种多路多媒体流的合屏处理方法实施例三的步骤流程图；

图4示出了本发明的一种多路多媒体流的合屏处理方法实施例四的步骤流程图；

图5示出了本发明的一种多路多媒体流的合屏处理系统的结构示意图；

图6示出了本发明的一种应用于视频会议多方接入系统的结构示意图；

图7示出了本发明的一种合屏器的结构框图；

图8示出了本发明的一种服务器的结构框图；及

图9示出了本发明的一种多媒体流的合屏处理系统的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例可以应用于互联网、视联网或者物联网等任何形式的网络环境中，本发明实施例主要以在视联网中实现多路多媒体流的合屏处理方法为例进行说明，其它网络环境相互参照即可。

在视联网中，终端要全部入网授权，只有在入网授权后，才能与视联网服务器建立通信连接，以在自身与视联网服务器之间进行数据的接收和发送。

在实际应用中，可以基于视联网的技术架构实现终端的入网授权，在建设完整的视联网网络环境的前提下，终端的入网授权过程可以为，终端可分为视联网终端和互联网终端，其中，视联网终端可以直接通过连通线路的交换路由网络设备与视联网服务器建立网络连接；而互联网终端入网授权则需要部署网络协议转换服务器，该网络协议转换服务器的一端网卡可以通过视联网交换机连接视联网服务器，另一端网卡可以通过网络交换机连接互联网终端。通过上述方法建立了视联网终端和互联网终端与视联网服务器之间的连接，以此完成终端与视联网服务器之间的内外通信和数据传输。

视联网服务器可以用于对入网授权后的终端进行统一管理。例如，视联网服务器中可以维护所有终端的终端入网表，终端入网表中记录了终端的号码、名称、寻址地址等，视联网服务器只对终端入网表中已配置入网的终端进行控制调度。

本发明的多路多媒体流的合屏处理系统具体可以包括终端、视联网服务器、以及合屏器。在具体应用中，可用多个终端分别连接如导航仪、显微镜、心脑电图、电视、摄像头，麦克风等各种音视频源，以及对各音视频源的输入信号进行采集编码，以得到符合统一码率条件的多路多媒体流数据，各终端将多路多媒体流数据发送至视联网服务器；由视联网服务器向合屏器发送合屏指令，以及将多路多媒体流数据发送至合屏器；合屏器对多路多媒体流数据进行合屏处理后，将合屏后的目的多媒体流数据发送至视联网服务器，从而可以在接入视联网服务器的终端上进行显示；其中，合屏器实际上是具有合屏功能的终端或者服务器，本发明对于合屏器的使用范围不加以限制。

下面首先从合屏器侧详细说明本发明的一种多路多媒体流的合屏处理方法。

实施例一

参照图1，示出了本发明的一种多路多媒体流的合屏处理方法实施例一的步骤流程图，具体可以包括：

步骤101、接收来自服务器的合屏指令及所述合屏指令对应的多路多媒体流数据；

具体地，视联网服务器可以通过视联网协议向指定MAC(Media AccessControl，介质访问控制)地址的合屏器下发视联网指令，该视联网指令中可以包含有合屏指令，通过合屏指令通知该合屏器准备对接下来发送的多路多媒体流数据执行合屏操作。其中，合屏指令中可以包括两个字段，一个字段可用于告知合屏器需要解码的多媒体流数据的数目，另一个字段可用于告知合屏器要编码的多媒体流数据的数目。合屏器可以根据这两个字段打开硬件设备，然后创建对应数目的解码通道和编码通道以完成解码和编码的工作。例如，该指令会告诉合屏器首先打开8路解码和一路编码功能，然后将接收到的多路多媒体流数据执行解码、合屏、编码操作，最后根据指令中其他的字段标识(如类型信息)判断将合屏后的目的多媒体流数据打包成TS(Transport Stream，传输流)还是其他格式的流上传至视联网服务器。

在具体应用中，合屏器接收的多路多媒体流数据可以包括多种数据格式，例如，可以包括TS、ES(Elementary Streams，原始流)等格式的流数据，即可以混合接收各种格式的多媒体流数据，本发明对于接收的多媒体流数据的格式不加以限制。

此外，本发明实施例除了可以接收来自网络中的多路多媒体流数据之外，还可以接收来自本地的多路多媒体流数据，也即可以通过物理接口直接进行采集；本发明实施例对于需要进行合屏处理的多路多媒体流数据的来源不加以限制，可以来自网络、或者来自本地、或者来自网络和本地的混合均可。

步骤102、对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据；

同样的，本发明对于合屏后生成的目的多媒体流数据的格式也不加以限制，可以根据实际需要设置合屏后的多媒体流数据的格式，如TS、ES或者MPEG-4(Moving Picture Experts Group-4，动态图像专家组)等。

在实际应用中，合屏器可以将合屏后的目的多媒体流数据封装成符合当前网络协议的网络流，发送至服务器，以在当前网络中进行传输。

步骤103、将所述目的多媒体流数据发送至所述服务器，以在接入所述服务器的终端上实时播放所述目的多媒体流数据。

在本发明的一种应用示例中，手术示教终端可以将2路输入源发送给视联网服务器，由视联网服务器发送合屏指令以及这2路输入源给合屏器进行合屏，合屏器将合屏后的目的多媒体流数据回传给视联网服务器，视联网服务器可以根据多个终端对所述目的多媒体流数据的调度请求，实时下发至相应的终端进行显示。在具体应用中，多个终端在一个视频会议中，会出现同一时间多次与视联网服务器发生交互，提交请求和获取音视频流的情况，例如：手术室、示教室终端要接入多路音视频的输入输出，所有多路多媒体流数据会提交给视联网服务器进行汇总，再根据每个终端的调度请求，将终端所请求的多路多媒体流数据发送给合屏器进行合屏处理，视联网服务器接收合屏处理后的目的多媒体流数据并封装成网络流，实时下发网络流到终端进行显示。

综上，本发明实施例在接收来自服务器的合屏指令及所述合屏指令对应的多路多媒体流数据后，对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据，再将所述目的多媒体流数据发送至所述服务器，以在接入所述服务器的终端上实时播放所述目的多媒体流数据。本发明实施例实现了在网络中的多路多媒体流数据的合屏操作，并将合屏后的目的多媒体流数据通过网络发送至各终端进行实时播放，从而解决了现有技术中合屏器都是通过物理接口直接采集，无法满足远端用户实时观看的问题。

实施例二

本实施例的多路多媒体流的合屏处理方法在上述实施例一的基础上，进一步还可以包括如下可选技术方案。

参照图2，示出了本发明的一种对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据的步骤流程图，具体可以包括：

步骤201、依据预设的视频编解码协议对所述多路多媒体流数据进行解码，得到相应的多路原始流；

其中，对于视频编解码协议本发明不作具体限制，例如可以是H.264、MPEG-4等各种编解码协议。

原始流ES是直接从编码器出来的数据流，可以是编码过的视频数据流、音频数据流、或其它编码数据流的统称。

步骤202、对所述多路原始流执行合屏操作，合并在一个画面中；

步骤203、将合屏后的原始流依据所述视频编解码协议进行编码。

在本发明的一种优选实施例中，所述合屏指令中具体可以包括类型信息，所述方法还可以包括：将合屏后的目的多媒体流数据封装为与所述类型信息相应的数据。

具体地，假设所述类型信息为TS类型，即需要将合屏后的目的多媒体流数据封装为TS进行传输，则根据TS的协议将多媒体流数据进行打包。

优选地，为了使得合屏后的多媒体流数据可以在视联网中进行传输，还可以将合屏后的目的多媒体流数据依据视联网协议进行封装。

在本发明的一种应用示例中，由于一个TS数据包的大小为188字节，传输时需要传输大量的数据包，会造成带宽的浪费。为解决上述带宽的浪费问题，可以将视联网数据包的大小设置为1088字节，具体可以包括64字节的包头，以及1024字节的数据段，由于将TS包组装成大小为1088字节的视联网数据包，在传输时可以减少数据包的传输次数，从而减少带宽的浪费。

例如，本发明实施例可以在将TS包封装为视联网数据包时，首先封装64字节的视联网协议的包头，然后封装1024字节的数据段，该数据段具体可以包括：5个TS包(940字节)和第6个TS包开头的84个字节，再将第6个包剩下的数据放到下一个视联网数据包中继续组成另外一个1024数据段大小的包，依此类推。本发明将TS数据包组装为视联网数据包，使得合屏后的多媒体流数据可以在视联网中进行传输，而且还可以减少带宽资源的浪费。

对于ES的封装，可以直接将编码完的多路多媒体流数据按照1024个字节分成多个数据包，不够1024字节时则按原始数据大小，然后为每个数据包的包头加上视联网的协议即可。

本发明实施例可以对多种格式的多路多媒体流数据进行合屏操作，使得合屏处理方法简单灵活；此外，对合屏后的目的多媒体流数据进行组装和封装处理，使得目的多媒体流数据符合当前的网络协议，可以在当前网络中进行传输，并且减少带宽的浪费。

接下来从服务器侧详细说明本发明的一种多路多媒体流的合屏处理方法。

在实际应用中，所述服务器可以为视联网服务器，具体可以包括：通过所述视联网服务器的网口级联的多个视联网服务器；根据实际业务需要，如果有必要提升视联网服务器的视频传输和调度的整体性能，在部署视联网服务器时可考虑级联架构，以支撑其更大规范的手术医疗视频会议多方接入。例如，可以在视联网服务器上设置0和1两个网口，如不需要级联，单台服务器可通过0网口支持512个终端设备，如果需要级联架构则可占用1口进行服务器扩展，目前可级联255个视联网服务器，进而能够接入更多的终端。

实施例三

参照图3，示出了本发明的一种多路多媒体流的合屏处理方法实施例三的步骤流程图，具体可以包括：

步骤301、接收来自多个终端经过采集编码得到的多路多媒体流数据；

在本发明的一种应用示例中，在接入视联网服务器之后，连接导航仪、显微镜、心脑电图、电视、摄像头，麦克风等音视频源的各终端，在手术示教过程中可以采集视频信号和/或音频信号，得到多路多媒体流数据。

由于不同设备输出的视频信号和/音频信号码率和格式有可能不统一，需要通过终端进行编解码处理，将它们处理成统一码率的多路多媒体流数据。例如，手术示教终端处理2路输入信号源，一路是音频信号输入，一路是视频信号输入，需要将两路信号源分别编码为高解析度(HighDefinition，HD)和HD/4两路视频流。

各终端将采集到的音视频信号处理成统一码率的多路多媒体流数据，能够减少视联网服务器对于多路多媒体流数据的处理时间，从而保证多个终端显示的实时性。

步骤302、向合屏器发送合屏指令、以及所述合屏指令对应的多路多媒体流数据；

具体地，视联网服务器可以向指定MAC地址的合屏器发送合屏指令，通过合屏指令通知该合屏器准备对接下来发送的多路多媒体流数据执行合屏操作。例如，该指令会告诉合屏器首先打开8路解码和一路编码功能，然后将接收到的多路多媒体流数据执行解码、合屏、编码操作，最后根据指令中其他的字段标识(如类型信息)判断将合屏后的目的多媒体流数据打包成TS流还是其他格式的流上传至视联网服务器。

步骤303、接收所述合屏器返回的具有多画面的目的多媒体流数据。

在本发明的一种优选实施例中，可以将合屏后的目的多媒体流数据存储在视联网服务器中，例如，可以TS格式存储在视联网服务器中，以实现终端对于合屏后的目的多媒体流数据的点播功能。在实际应用中，本发明对应目的多媒体流数据的存储格式不加以限制。

具体地，对于实现合屏后的目的多媒体流数据的点播功能，可以包括以下步骤：

步骤A1、接收来自终端的点播请求；

步骤A2、向所述终端发送点播响应指令后，向所述终端下传所述点播请求对应的目的多媒体流数据。

在具体应用中，例如有一场手术示教是周一下午三点做的，可以将该手术示教的过程经过合屏处理后得到的目的多媒体流数据保存至视联网服务器，到周五有人需要观看这场手术示教时，就可以通过终端点播节目的形式观看到该手术示教的过程。

通过本发明实施例，在手术示教系统中视联网终端可以在屏幕上再现当时手术室里面所有仪器设备的图像数据，能够全方位的对此次手术进行再现教学。

实施例四

参照图4，示出了本发明的一种多路多媒体流的合屏处理方法实施例四的步骤流程图，具体可以包括：

步骤401、通过多个终端采集编码得到符合统一码率条件的多路多媒体流数据；

步骤402、将所述多路多媒体流数据发送至服务器；

在将多路多媒体流数据处理成统一码率的多路多媒体流数据后，终端可以将这些多路多媒体流数据发送给视联网服务器，以使视联网服务器依据这些多路多媒体流数据进行后续的处理操作。

步骤403、所述服务器向合屏器发送合屏指令，以及将所述多路多媒体流数据发送至所述合屏器；

步骤404、所述合屏器对所述多路多媒体流数据进行合屏处理，得到具有多画面的目的多媒体流数据；

步骤405、所述合屏器将所述目的多媒体流数据发送至所述服务器；

步骤406、所述服务器将所述目的多媒体流数据发送至对应终端进行显示。

终端可以将接收的多媒体流数据转换成视频和/或音频，并在屏幕上进行显示。

在本发明的一种应用示例中，把当前手术室的视频设置，如：把全景、术野、导航仪、显微镜、心脑电图、HIS(Hospital Information System，医院信息系统)、PACS(Picture Archiving and Communication Systems，医学影像信息系统)、电视、摄像头，麦克风等音视频源分别接入到各终端上，由各终端进行采集编码后得到符合统一码率条件的多路多媒体流数据，通过视联网协议发送给视联网服务器，视联网服务器再将收到的多路多媒体流数据通过指定的MAC地址发送至对应的视联网合屏器，该视联网合屏器对多路多媒体流数据进行解码然后合并成一路多画面的目的多媒体流数据并发送至视联网服务器，由视联网服务器转发至相应的视联网终端进行显示。

在本发明的另一种优选实施例中，所述终端还可以对不同类型信号源对应的目的多媒体流数据进行切换。

其中，不同类型信号源表示终端所采集的视频信号和/或音频信号的类型和来源都是不相同的，不同类型的信号源可用于区别不同的采集源。

终端在收看视频时，有时需要切换收看的视频，需要通过切换不同类型的信号源对应的目的多媒体流数据以在终端显示屏幕上显示不同的视频画面，由于在信号源的采集过程中，利用了不同的设备进行了视频信号和/或音频信号的采集，导致终端所采集的视频信号和/或音频信号的类型和来源都是不相同的，即不同类型的信号源。例如，在手术示教终端，需要经常性的切换手术进行的角度以能够完美的收看到手术进行的整个过程，就需要切换手术采集角度进而完成更理想的手术示教工作，这里，不同的采集角度可以对应不同类型的信号源。

实施例五

参照图5，示出了本发明提供的一种多路多媒体流的合屏处理系统的结构示意图，具体可以包括视联网服务器501和视联网终端502；其中，所述视联网终端502可以包括采集终端和合屏器；所述视联网终端502可以通过交换机设备和网线与所述视联网服务器501连接。

该实施例中视联网终端502直接通过交换机设备和网线连接视联网服务器501，其具体实施过程为，首先每台允许入网的视联网终端502都必须在视联网服务器501中注册，没有注册的视联网终端502无法入网，具体步骤如下：

步骤B1、视联网服务器501向它的端口发送查询包，视联网终端502接收到查询包后向视联网服务器501发送应答包，该应答包中包含了视联网终端502的注册信息，得到注册信息表，注册信息表中记录了终端的号码、名称、寻址地址等；

步骤B2、视联网服务器501收到视联网终端502发出的应答包后就知道哪个端口接入了哪个视联网终端502，然后在视联网服务器501内部的注册信息表里找到该视联网终端302的信息，向该视联网终端502发送入网命令，视联网终端502收到入网命令后就可以入网了，同时向视联网服务器501发送入网命令应答；

步骤B3、视联网服务器501接收到视联网终端502的入网命令应答就知道该视联网终端502已经入网，以后定时向这个端口发送状态查询包，检查该视联网终端502是否正常工作。

在视联网中段502入网后，视联网终端502用户发出请求数据给视联网服务器501，由视联网服务器501调度给需要接受的其他视联网终端502进行显示。

实施例六

参照6，示出了本发明的一种应用于视频会议多方接入系统的结构示意图，具体可以包括视联网服务器601、视联网交换机602、协议转换服务器603、网络交换机604和互联网终端605，所述协议转换服务器具体包括网卡一631和网卡二632；

其中，所述协议转换服务器603的网卡一631通过所述视联网交换机602与所述视联网服务器601连接，其网卡二632通过所述网络交换机604与所述互联网终端605连接。

对于互联网终端605接入视联网服务器601，需要利用协议转换服务器603作为中间协议转换的介质实现终端与服务器的连接，其具体实施过程可以为，首先每台允许入网的协议转化服务器603都在视联网服务器601中注册，协议转化服务器603的注册信息由协议转化服务器603的序列号(包括设备类型和设备标识信息)、下行端口数、掩码区间等固有信息，没有注册的协议转化服务器603无法入网，具体步骤如下：

步骤B1、视联网服务器601向它的每个端口发送查询包；

步骤B2、协议转化服务器603接收到查询包后，向视联网服务器601返回包含协议转化服务器603序列号的应答包；

步骤B3、视联网服务器601在注册信息表中查找与所述序列号对应的协议转换服务器603信息，所述协议转化服务器603信息具体可以包括协议转化服务器603的MAC地址和该协议转化服务器603下绑定的互联网终端605的MAC地址；

步骤B4、视联网服务器601向协议转化服务器603发送入网命令，入网命令中包含协议转化服务器603在视联网中的地址以及协议转化服务器603的MAC地址；

步骤B5、协议转化服务器603收到入网命令后返回应答，协议转化服务器603则接入了视联网；

步骤B6、视联网服务器601定时向入网的协议转化服务器603下发设备状态查询指令，检查该协议转化服务器603是否正常工作；

步骤B7、视联网服务器601将协议转化服务器603下绑定的互联网终端605MAC地址，以及互联网终端605MAC地址与待分配给互联网终端605的视联网地址映射，都通知该协议转化服务器603，进而互联网终端605就可以通过协议转化服务器603入网。

在互联网终端605接入视联网服务器601之后，互联网终端605用户可以发送请求数据至协议转换服务器603，由协议转换服务器603进行解析处理，并通过连通视联网服务器601的网卡一631端将指令发出，再由视联网服务器601进行视频信号和/或音频信号调度控制，将视频信号和/或音频信号发回给协议转换服务器603，有连接互联网的网卡二632发出给互联网终端605用户。

本发明中的协议转换服务器可以选用高性能的x86服务器，支持双网卡接入，并在服务器上安装部署网络协议转换服务端程序，而对于协议转换服务器具体的规格本发明在此不加以限制。

为使本领域技术人员更好地理解本发明，在此提供一种视频会议多方接入的应用示例，该应用示例涉及一种医疗视频会议系统，在医疗视频会议系统中，某医院将要开展一次手术示教活动，该活动有相应的专家在示教室内协助指导手术，并在异地以讲堂形式公开此次手术给初级医师提供学习机会；各地接入该手术示教活动的医疗视频会议系统并参加手术示教活动的医院示教室内均已部署视联网和手术示教的终端设备，由执行手术院方创建手术示教预约，并编辑本地显示模式等；

上述医疗视频会议系统的工作过程具体可以包括：

步骤S1、手术室内的终端或者其他设备进行手术视频信号和/或音频信号的采集，将采集到的视频信号和/或音频信号进行编码处理，得到符合条件的统一码率的多路多媒体流数据，并发送给视联网服务器；

步骤S2、视联网服务器接收到手术多路多媒体流数据后，发送至合屏器进行合屏处理得到相应的网络流，并将网络流发送到手术室和示教室的各个终端处理成音视频以在终端的显示屏幕上进行显示。

在本发明的一种优选实施例中，所述系统还可以包括录播服务器，以保存该手术的视频影像，方便后期终端用户的收看；各地场所的终端自动进行调度和显示。执行手术方可灵活自由的切换实时显示视频，而专家示教室和远程的讲堂可根据自己关注点切换不同的显示内容，并可以通过在示教室的终端接入摄像头和麦克风参与观看手术的同时给予知道建议和分析。

例如，根据手术示教终端的业务需求，视联网服务器将手术室、示教室所有终端的多路多媒体流数据，包括视频信号和/或音频信号，发送至合屏器经过合屏处理得到目的多媒体流数据之后，视联网服务器将所述目的多媒体流数据封装成网络流，再将要被录制的网络流通过录制指令等形式将该网络流发送给录播服务器，由录播服务器完成对于网络流的录制，得到相应的录制流，经过录制得到的录制流可以存储于录播服务器中，这样，终端用户在发送收看历史回放的请求时，录播服务器可以将该录制流分发给该终端以在屏幕上进行显示。

在本发明的一种应用示例中，可能有多个终端需要同时获得某个会议流程流畅的视频画面，需要视联网服务器控制会议流并发送给多个终端，在多个终端的显示屏幕上进行组播，即同时将同一音视频发送给多个终端，多个终端想要同时获取该会议流时必须知道该会议的会议号，因为视联网服务器可同时处理多个会议流，录制流由视联网服务器当作会议流向终端发出，当终端可通过一个会议号获取该流时，即可实现收看。

装置实施例一

参照图7，示出了本发明的一种合屏器的结构框图，具体可以包括：

第一接收模块710，用于接收来自服务器的合屏指令及所述合屏指令对应的多路多媒体流数据；

合屏模块720，用于对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据；及

第一发送模块730，用于将所述目的多媒体流数据发送至所述服务器，以在接入所述服务器的终端上实时播放所述目的多媒体流数据。

在本发明的一种优选实施例中，所述合屏模块720，具体可以包括：

解码子模块，用于依据预设的视频编解码协议对所述多路多媒体流数据进行解码，得到相应的多路原始流；

合屏子模块，用于对所述多路原始流执行合屏操作，合并在一个画面中；

编码子模块，用于将合屏后的原始流依据所述视频编解码协议进行编码。

在本发明的另一种优选实施例中，所述合屏指令中包括类型信息，所述合屏器还可以包括：

封装模块，用于将合屏后的目的多媒体流数据封装为与所述类型信息相应的数据。

在本发明的又一种优选实施例中，所述网络为视联网，所述类型信息为传输流；所述封装模块，具体可以包括：

组装子模块，用于依据传输流协议将所述合屏后的目的多媒体流数据组装为预设大小的数据包；

封装子模块，用于依据视联网协议对所述数据包进行封装，以生成符合视联网协议的网络数据包。

装置实施例二

参照图8，示出了本发明的一种服务器的结构框图，具体可以包括：

第二接收模块810，用于接收来自多个终端经过采集编码得到的多路多媒体流数据；

第二发送模块820，用于向合屏器发送合屏指令、以及所述合屏指令对应的多路多媒体流数据；及

第三接收模块830，用于接收所述合屏器返回的具有多画面的目的多媒体流数据。

在本发明的一种优选实施例中，所述服务器还可以包括：

第四接收模块，用于接收来自终端的点播请求；

点播响应模块，用于向所述终端发送点播响应指令后，向所述终端下传所述点播请求对应的多媒体流数据。

装置实施例三

参照图9，示出了本发明的一种多媒体流的合屏处理系统的结构框图，具体可以包括：

终端910、服务器920、及合屏器930；

其中，所述终端910具体可以包括：

采集编码模块911，用于通过多个终端采集编码得到符合统一码率条件的多路多媒体流数据；

第一多路数据发送模块912，用于将所述多路多媒体流数据发送至服务器；

所述服务器920具体可以包括：

第二多路数据发送模块921，用于向合屏器发送合屏指令，以及将所述多路多媒体流数据发送至所述合屏器；

第一目的数据发送模块922，用于将合屏后的目的多媒体流数据发送至对应终端进行显示；

所述合屏器930具体可以包括：

合屏处理模块931，用于对所述多路多媒体流数据进行合屏处理，得到具有多画面的目的多媒体流数据；

第二目的数据发送模块932，用于将所述目的多媒体流数据发送至所述服务器。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种多路多媒体流的合屏处理方法、一种合屏器、一种服务器和一种多路多媒体流的合屏处理系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种多路多媒体流的合屏处理方法，其特征在于，所述方法包括：

接收来自服务器的合屏指令及所述合屏指令对应的多路多媒体流数据；

对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据；

将所述目的多媒体流数据发送至所述服务器，以在接入所述服务器的终端上实时播放所述目的多媒体流数据。

2.如权利要求1所述的方法，其特征在于，所述对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据的步骤，包括：

依据预设的视频编解码协议对所述多路多媒体流数据进行解码，得到相应的多路原始流；

对所述多路原始流执行合屏操作，合并在一个画面中；

将合屏后的原始流依据所述视频编解码协议进行编码。

3.如权利要求1所述的方法，其特征在于，所述合屏指令中包括类型信息，所述方法还包括：

将合屏后的目的多媒体流数据封装为与所述类型信息相应的数据。

4.如权利要求3所述的方法，其特征在于，所述网络为视联网，所述类型信息为传输流；所述将合屏后的目的多媒体流数据封装为与所述类型信息相应的数据的步骤，包括：

依据传输流协议将所述合屏后的目的多媒体流数据组装为预设大小的数据包；

依据视联网协议对所述数据包进行封装，以生成符合视联网协议的网络数据包。

5.一种多路多媒体流的合屏处理方法，其特征在于，所述方法包括：

接收来自多个终端经过采集编码得到的多路多媒体流数据；

向合屏器发送合屏指令、以及所述合屏指令对应的多路多媒体流数据；

接收所述合屏器返回的具有多画面的目的多媒体流数据。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

接收来自终端的点播请求；

向所述终端发送点播响应指令后，向所述终端下传所述点播请求对应的多媒体流数据。

7.一种多路多媒体流的合屏处理方法，其特征在于，所述方法包括：

通过多个终端采集编码得到符合统一码率条件的多路多媒体流数据；

将所述多路多媒体流数据发送至服务器；

所述服务器向合屏器发送合屏指令，以及将所述多路多媒体流数据发送至所述合屏器；

所述合屏器对所述多路多媒体流数据进行合屏处理，得到具有多画面的目的多媒体流数据；

所述合屏器将所述目的多媒体流数据发送至所述服务器；

所述服务器将所述目的多媒体流数据发送至对应终端进行显示。

8.一种合屏器，其特征在于，所述合屏器包括：

第一接收模块，用于接收来自服务器的合屏指令及所述合屏指令对应的多路多媒体流数据；

合屏模块，用于对所述多路多媒体流数据执行合屏操作，得到具有多画面的目的多媒体流数据；及

第一发送模块，用于将所述目的多媒体流数据发送至所述服务器，以在接入所述服务器的终端上实时播放所述目的多媒体流数据。

9.如权利要求8所述的合屏器，其特征在于，所述合屏模块，包括：

解码子模块，用于依据预设的视频编解码协议对所述多路多媒体流数据进行解码，得到相应的多路原始流；

合屏子模块，用于对所述多路原始流执行合屏操作，合并在一个画面中；

编码子模块，用于将合屏后的原始流依据所述视频编解码协议进行编码。

10.一种服务器，其特征在于，所述服务器包括：

第二接收模块，用于接收来自多个终端经过采集编码得到的多路多媒体流数据；

第二发送模块，用于向合屏器发送合屏指令、以及所述合屏指令对应的多路多媒体流数据；及

第三接收模块，用于接收所述合屏器返回的具有多画面的目的多媒体流数据。

11.一种多路多媒体流的合屏处理系统，其特征在于，所述系统包括：终端、服务器、及合屏器；

其中，所述终端包括：

采集编码模块，用于通过多个终端采集编码得到符合统一码率条件的多路多媒体流数据；

第一多路数据发送模块，用于将所述多路多媒体流数据发送至服务器；

所述服务器包括：

第二多路数据发送模块，用于向合屏器发送合屏指令，以及将所述多路多媒体流数据发送至所述合屏器；

第一目的数据发送模块，用于将合屏后的目的多媒体流数据发送至对应终端进行显示；

所述合屏器包括：

合屏处理模块，用于对所述多路多媒体流数据进行合屏处理，得到具有多画面的目的多媒体流数据；

第二目的数据发送模块，用于将所述目的多媒体流数据发送至所述服务器。