CN103501321A - 远程多媒体网络传输平台 - Google Patents

Abstract

一种远程多媒体网络传输平台，包括SIP信令调度服务器、流媒体转发服务器、ICE分布式中间件和基于Hadoop的多媒体数据的分布式存储与分析系统，所述SIP信令调度服务器通过分布式的ICE中间件与流媒体转发服务器通信，所述流媒体转发服务器用于流媒体数据的接收与分发，所述基于Hadoop的多媒体数据的分布式存储与分析系统，用于存储流媒体转发服务器端保存并上传的多媒体数据；所述分布式存储与分析系统包括MapReduce分布式处理引擎，用于实现对存储在HDFS上的多媒体数据进行分布式的转码处理，即基于ffmpeg对多媒体数据进行格式的转换。本发明有效满足海量多媒体数据的存储以及分析、成本低、效率较高。

Description

远程多媒体网络传输平台

技术领域

本发明涉及一种远程多媒体网络传输系统平台。

背景技术

现有的多媒体网络传输平台构架简单，信令调度服务器和流媒体转发服务器是一对一的关系，两者协同工作，共同完成流媒体数据的调度与传输功能。这样的构架，能够满足轻数量级的传输任务，整个系统的负载取决于流媒体转发服务器的性能，流媒体转发服务器能够接入的设备数量是有限的，无法实现真正意义上的海量设备的接入和无限扩展能力。同时，随着多媒体网络传输的不断发展，多媒体数据的存储也变得非常重要，按照传统的存储方法，在设备端通常采用硬盘或者SD卡的本地存储，或者在服务器端进行集中存储。随之而来的问题，就是随着设备数量的增多，多媒体数据也越来越多，无论是硬盘或者SD卡，还是集中存储，都受到容量的限制，而且价格昂贵，扩展性不强。随着流媒体网络传输应用范围的不断扩大，为了实现更完善的管理，通常需要对多媒体数据的内容进行分析，传统的存储方法，无法实现存储和数据分析的一体化。综上所述，这就迫切需要一个新型的平台构架，实现大数量级的设备接入，同时满足海量多媒体数据的存储以及分析，采用最廉价的方式实现最高效的方案。

发明内容

为了克服已有多媒体网络传输平台的无法满足海量多媒体数据的存储以及分析、成本高、效率较低的不足,本发明提供了一种有效满足海量多媒体数据的存储以及分析、成本低、效率较高的远程多媒体网络传输平台。

本发明解决其技术问题所采用的技术方案是：

一种远程多媒体网络传输平台，包括SIP信令调度服务器、流媒体转发服务器、ICE分布式中间件和基于Hadoop的多媒体数据的分布式存储与分析系统，所述SIP信令调度服务器通过分布式的ICE中间件与流媒体转发服务器通信，所述流媒体转发服务器用于流媒体数据的接收与分发，所述基于Hadoop的多媒体数据的分布式存储与分析系统，用于存储流媒体转发服务器端保存并上传的多媒体数据；所述分布式存储与分析系统包括MapReduce分布式处理引擎，用于实现对存储在HDFS上的多媒体数据进行分布式的转码处理，即基于ffmpeg对多媒体数据进行格式的转换。

进一步，所述SIP调度服务器与多台流媒体转发服务器构成C-S框架关系，SIP调度服务器是这个C-S构架中的Server端，也就是服务器端，而多个流媒体转发服务器是这个构架中的Client端，即客户端。

更进一步，所述SIP调度服务器与流媒体转发服务器之间的通信协议采用用户数据报协议、传输控制协议或者SSL协议进行通讯。

所述ICE中间件包括Slice文件，所述Slice文件是一种用于使对象接口与其实现相分离的基础性抽象机制，所述Slice文件描述的是接口和类型，SIP调度服务器和流媒体转发服务器之间是相互调用的，所以需要定义服务器两端的接口，分别为RvMDSSched和RvMDS，然后在接口内部定义方法，这些就是分布式构架中Server端和Client能分别提供的service方法，Server提供的service包括，Client向Server的注册/心跳保活/注销，其中心跳保活的作用是流媒体转发服务器定时向SIP调度服务器报告自己的负载情况，SIP服务器做出调度决策；Client提供的service包括,传输通道的增加/删除/重启，给用户和接入设备开启和关闭会话。

所述流媒体转发服务器，用于实现流媒体数据从设备到用户端的传输，根据SIP服务器的权限管理，可以实现“类组播”的传输方式，即多个用户可以同时接收来自同一台设备的音视频数据，数据的分发都是在流媒体转发服务器端实现，接入的流媒体转发服务器定时将负载随着心跳包发送到SIP服务器端。

再进一步，所述基于Hadoop的多媒体数据的分布式存储与分析系统采用基于HDFS的存储方案，具体如下：

首先，用户通过客户端配置录像计划，并且存放入数据库，SIP调度服务器将这计划通过ICE通信传输给流媒体转发服务器，流媒体转发服务器将当前的时间跟录像计划时间进行匹配，如果满足，则按照，日期/设备编号/当前时间，这样的格式进行保存数据，在该平台中，保存的数据是H.264；在HDFS分布式文件系统中，每台流媒体转发服务器就是一个DFSClient，负责将数据上传HDFS，系统根据先前的配置进行自动冗余备份，在多媒体数据存储策略上，该系统采用将文件大小控制在最大文件块容限之内。

进一步，所述多媒体数据是H.264，在所述流媒体转发服务器保存的就是H.264文件，通过DFSClient上传到HDFS的文件也是该格式，使用ffmpeg，对存放在HDFS上的H.264文件进行转码，转成AVI格式。

本发明的技术构思为：该多媒体网络传输平台由SIP(SessionInitiation Protocol)信令调度服务器和流媒体转发服务器构成，以及将这两者构成分布式构架的ICE中间件。信令调度服务器基于SIP协议，SIP协议是由Internet工程任务组（Internet Engineering Task Force，IETF）制定的，是一个应用层控制信令协议，用于建立、修改、终止用户之间的会话，广泛用于音视频等多数据通信的会话场合，成为了一通用的标准。流媒体转发服务器协同配合SIP服务器，共同完成流媒体数据从设备端到用户端的传输。为了满足大数量级的设备接入，平台使用分布式的ICE中间件技术，一台SIP调度服务器，多台流媒体转发服务器的分布式构架。ICE支持面向对象的远程过程调用协议（Remote Procedure Call Protocol，RPC）编程，它为构建面向对象的客户-服务器应用提供了工具、应用程序编程接口（ApplicationProgramming Interface,API）和库支持。它的开发应用支持跨平台部署，多语言编程，所以，在该平台中，SIP服务器扮演ICE中服务器端的角色，流媒体转发服务器扮演客户端的角色，SIP服务器和流媒体转发服务器实现一对多的对应关系，正是一个分布式的构架，可以实现扩展。为了实现海量多媒体数据在服务器的存储，本系统提出了一种基于HDFS的存储方案。HDFS是Hadoop Distributed File System的简称，Hadoop是目前市场上主流的云计算框架之一，HDFS是构成它的分布式文件系统。HDFS提供了一个高度容错性和高吞吐量的海量数据存储解决方案，它可以提供自我修复的分布式的文件存储系统，具有高可扩展性，无需停机就可以实现动态的扩容，同时具有高可靠性，对数据进行自动的检测和复制，跟传统的集中存储相比，它的成本要低很多。构成Hadoop框架的另外一个部分是MapReduce引擎，它能满足分布式计算的需求。在多媒体网络传输平台中，除了实现海量多媒体数据的存储，也需要对这些数据进行线下分析，随着数据量的不断增大，单机处理能力受到严重的限制，如果采用MapReduce分布式模型，会大大提升处理的效率。

本发明的有益效果主要表现在：（1）实现SIP调度服务器和流媒体转发服务器的分布式构架，满足海量设备的接入需求；（2）在流媒体转发服务器端对流媒体数据进行保存，同时上传HDFS，实现多媒体数据的海量分布式存储；（3）使用Hadoop的MapReduce引擎，对保存于HDFS上的海量H.264数据进行分布式转码，提高转码效率，转码之后的视频文件可以满足用户普通播放器能够播放的需求。

附图说明

图1是SIP服务器和流媒体转发服务器构成的分布式传输系统的示意图。

图2是流媒体转发服务器设备Session工作流程图。

图3是流媒体转发服务器上传流媒体文件到HDFS存储系统的示意图。

图4是MapReduce自定义InputFormat读取数据帧的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种远程多媒体网络传输平台，该平台包括SIP信令调度服务器、流媒体转发服务器和ICE分布式中间件，以及基于Hadoop的多媒体数据的分布式存储与分析系统。所述SIP信令调度服务器通过分布式的ICE中间件与流媒体转发服务器通信，流媒体转发服务器用于流媒体数据的接收与分发，与SIP调服服务器构成可扩展的分布式多媒体调度与分发系统；所述基于HDFS的多媒体数据存储系统，用于存储流媒体转发服务器端保存并上传的多媒体数据；所述基于Hadoop的MapReduce分布式处理引擎，用于实现对存储在HDFS上的多媒体数据进行分布式的转码处理，即基于ffmpeg对多媒体数据进行格式的转换。

SIP调度服务器基于twisted框架，根据整个多媒体网络传输平台的业务需求，在SIP标准协议RFC3261上做出修改，协调客户端和设备端，最终实现流媒体数据的调度功能。在整个基于ICE分布式中间件的传输平台中，SIP调度服务器与多台流媒体转发服务器构成C-S框架关系，SIP调度服务器是这个C-S构架中的Server端，也就是服务器端，而多个流媒体转发服务器是这个构架中的Client端，即客户端。他们之间的通信协议是可选的，用户数据报协议（User DatagramProtocol，UDP）或者传输控制协议（Transmission Control Protocol，TCP），再或者是选择更具安全性的SSL协议进行通讯，只需要通过配置文件进行修改就可以实现。

ICE中间件中最重要的是Slice文件的编写，Slice(SpecificationLanguage for Ice)是一种用于使对象接口与其实现相分离的基础性抽象机制。因为Slice描述的是接口和类型，它是一种纯粹的描述性语言，因此无法用Slice语言来编写可执行语句。在多媒体网络传输平台中，SIP调度服务器和流媒体转发服务器之间是相互调用的，所以需要定义服务器两端的接口，分别为RvMDSSched和RvMDS，然后在接口内部定义方法，这些就是分布式构架中Server端和Client能分别提供的service方法，Server提供的service包括，Client向Server的注册/心跳保活/注销，其中心跳保活的作用是流媒体转发服务器定时向SIP调度服务器报告自己的负载情况，SIP服务器可以此做出调度决策。Client提供的service包括,传输通道的增加/删除/重启，给用户和接入设备开启和关闭会话。

流媒体转发服务器的功能就是实现流媒体数据从设备到用户端的传输，根据SIP服务器的权限管理，可以实现“类组播”的传输方式，也就是多个用户可以同时接收来自同一台设备的音视频数据，数据的分发都是在流媒体转发服务器端实现。主要采用的技术是socket的网络编程和多线程编程。同时，接入的流媒体转发服务器定时将负载随着心跳包发送到SIP服务器端。

为了实现多媒体数据的海量存储，该系统采用基于HDFS的存储方案。首先，用户通过客户端配置录像计划，并且存放入数据库，SIP调度服务器将这计划通过ICE通信传输给流媒体转发服务器，流媒体转发服务器将当前的时间跟录像计划时间进行匹配，如果满足，则按照，日期/设备编号/当前时间，这样的格式进行保存数据，在该平台中，保存的数据是H.264。在HDFS分布式文件系统中，每台流媒体转发服务器就是一个DFSClient，负责将数据上传HDFS，系统根据先前的配置进行自动冗余备份，达到容灾的效果。此外，因为HDFS文件系统中，文件块的最大值是64M，如果单个文件超过这个值，则系统会自动将其切割，将它们存储到不同的DataNode上。如果是仅存储多媒体数据的话，是没有问题的，但是涉及到之后多媒体数据的分布式处理，如果将大于64M的文件直接上传的话，一旦数据被分割，会对后面的分布式数据处理造成影响，所以在多媒体数据存储策略上，该系统采用将文件大小控制在最大文件块容限之内。

本系统的多媒体数据是H.264，在流媒体转发服务器保存的就是H.264文件，所以最终通过DFSClient上传到HDFS的文件也是该格式。该格式的数据不能在普通的播放器播放，需要特定的解码器进行解码并播放，对于用户来说，该方案会带来极大的不便。所以提出了基于Hadoop的MapReduce引擎进行分布式转码的解决方案，即使用ffmpeg，对存放在HDFS上的H.264文件进行转码，转成AVI格式，一方面是给用户提供了便捷，同时分布式的转码也极大的提高了效率。

本发明中，基于twisted框架实现SIP调度服务器，网络Socket和多线程技术实现流媒体转发服务器，使用ICE中间件技术实现SIP服务器和流媒体转发服务器的分布式构架。采用HDFS的分布式存储技术，实现海量多媒体数据在服务器端的存储，基于Hadoop的MapReduce引擎对存储在HDFS的多媒体数据进行分布式的转码处理。

针对远程多媒体网络传输平台的应用与业务需要，对整个系统的构架进行了创新的设计，基于ICE的分布式构架，基于HDFS的分布式存储系统，基于MapReduce引擎的分布式转码处理：

(1)SIP调度服务器是该分布式传输系统构架中的Server端：

SIP服务器基于Twisted网络编程框架，根据多媒体网络传输系统的需求，进行业务的定制，完成SIP通信的流程。

(2)流媒体转发服务器是该分布式传输系统构架中的Client端：

(a)系统采用RTP协议对多媒体数据进行传输，RTP应用层协议建立在UDP协议之上，所以流媒体转发服务器采用的是基于UDP的Socket网络编程技术，系统支持多用户和多设备接入，所以同时用到了多线程技术编程，涉及到多线程之间的同步技术，如何保护线程之间的共享资源。

(b)用户和设备端都处于局域网，所以处于公网的流媒体转发服务器无法主动搜索到用户或者设备，在流媒体转发服务器端实现NAT穿透。

(c)流媒体转发服务器会给每一个Session（用户或者设备）创建一个UDP的Socket链接。同时，给每一个Session会话创建一个定时器检测线程，跟踪Socket线程的状态，及时回收线程资源。

(d)流媒体转发服务器实现“类组播”的分发方式，也就是说有用户请求设备的时候，服务器首先接收来自设备端的RTP封装的多媒体数据，然后将它们传输给用户。

(3)采用ICE中间件完成SIP调度服务器和流媒体转发服务器之间分布式的构架。服务端和客户端都可以通过Proxy代理调用远端的service方法。

(4)在分布式的构架中，每台流媒体转发服务器在实现调度功能的同时，还需要实现对多媒体数据的存储。在流媒体转发服务端对H.264数据包进行处理之后，通过DFSClient将多媒体数据上传HDFS，实现多媒体数据的分布式海量存储。

(5)在数据上传HDFS之后，基于Hadoop的MapReduce引擎对这些多媒体数据进行分布式的线下分析。基于ffmpeg，对H.264进行分布式处理。数据的读取过程中，需要自定义InputFormat数据读取函数，从HDFS文件系统中读取H.264数据帧，传送给Map函数进行AVI转码。

软件实现步骤为：基于twisted框架，根据业务需求，设计SIP调度服务器；流媒体转发服务器的设计，实现流媒体数据从设备端到用户端的“类组播”分发，同时完成对各个Session的监测与维护，资源的回收等，还需要完成流媒体数据的存储；分布式ICE中间件Slice接口的定义与编译，在SIP调度服务器和流媒体转发服务器两端进行service方法的具体实现，完成两端的通信，包括注册、心跳包、通道的申请开辟与关闭等，最终构成分布式的构架；每台流媒体转发服务器都是一个DFSClient，通过DFSClient提供的API接口设计文件的上传程序，负责上传存储下来的H.264文件到HDFS，实现分布式的冗余容灾存储；基于Hadoop的MapReduce引擎对H.264数据进行分布式处理，首先需要设计InputFormat程序，从HDFS文件系统读取H.264二进制文件，数据以帧为单位，使用Hadoop pipes技术通过Socket将数据帧送到Map函数；最后是设计Map函数，将InputFormat程序发送过来的数据帧基于ffmpeg进行转码，生成AVI文件，新的文件保存到本地文件系统，需要重新上传HDFS。

SIP调度服务器和流媒体转发服务器组成的分布式构架为图1，流媒体转发服务器上传H.264文件到HDFS的构架为图3，使用MapReduce引擎对H.264文件进行转码操作的时候，自定义InputFormat读取数据帧的流程图为图4。

本实施例基于ICE分布式中间件实现。C-S构架中，SIP服务器是Server端，多个流媒体转发服务器是Client端。SIP服务器完成调度通信，流媒体转发服务器实现流媒体数据的传输与分发，同时完成对H.264数据包的处理，生成H.264文件。NameNode和多个DataNode共同组成Hadoop集群，流媒体转发服务器端安装DFSClient客户端，负责将保存于本地文件系统的H.264文件上传到HDFS，实现分布式的冗余存储。采用基于Hadoop的MapReduce引擎，对H.264文件进行分布式的转码处理。

分布式多媒体网络传输平台的构架如图1，这里涉及到SIP调度服务器的开发，流媒体转发服务的开发，ICE中间件的编程，利用ICE中间件构成C-S构架。Twisted网络编程框架是一种基于事件的网络编程框架，在SIP调度服务器中，在业务应用层需要继承sip.Base类，它封装实现了SIP协议，应用程序可以重载内部的方法来实现SIP通信的流程，包括REGISTER、SUBSCRIBE、OPTIONS、INVITE、NOTIFY、BYE这些基本消息类型的响应与处理。

流媒体转发服务器采用的是基于UDP的Socket网络编程技术，系统支持多用户和多设备接入，所以同时用到了多线程技术编程。用户和设备端都处于局域网，所以处于公网的流媒体转发服务器无法主动搜索到用户或者设备，必须是由终端先向流媒体转发服务器发送RTP数据，这样，服务器可以识别终端经过NAT穿透之后的公网地址。服务器得到用户的公网地址之后，可以将来自设备端的RTP数据传输到用户端。流媒体转发服务器会给每一个Session（用户或者设备）创建一个UDP的Socket链接，图2所示为设备Session的工作流程图。如果用户或者设备，也可能是网络出现意外情况，则链接会断开，如果不采取任何措施，则服务器端的资源会被浪费，对于每一个Session，终端需要定时向服务器发送RTP心跳包，一个作用是用于NAT穿透后识别终端的公网地址，另外一个作用就是检测设备或者用户的状态，属于Session的还有一个定时器，它专门负责检测是不是在特定的时间内有RTP心跳包上发，如果出现意外，则会在服务器端将属于该Session的资源释放掉，这样的设计策略会最大限度的节省资源和提高服务器端对资源的利用率。

利用ICE构成分布式构架，需要定义Slice接口，分别生成SIP服务器和流媒体转发服务器的方法，然后在两个服务器端的应用程序中重写这些基本的方法,也就是对应的服务器之间可以相互调用的service方法。流媒体转发服务器可以获取SIP调度服务器端的Proxy代理，以此来调用SIP调度服务器端的Service方法，同时，流媒体调度服务器通过SIP调度服务器中Register方法，将本地的Proxy代理传递给SIP调度服务器，这样，SIP调度服务器端也可以实现对流媒体转发服务器端Service方法的调用。

基于HDFS的海量分布式存储系统采用如图3的构架。首先需要在流媒体转发服务器上实现H.264在本地文件系统的保存，在写入H.264文件之前，需要对基于3984协议进行分包的RTP数据进行拆包和组成完整的数据帧。HDFS单个数据块的最大容限是64M，考虑到后续的分布式转码处理，所以将单个文件控制在最大容限之内。最后，通过DFSClient将多媒体数据上传HDFS，实现多媒体数据的分布式海量存储。要实现数据的冗余备份，需要对特定的配置文件进行配置，才能实现数据的自动冗余备份。

Hadoop底层文件系统是基于Java的，而ffmpeg的处理是基于C的，所以这里采用Hadoop pipes技术，使用Socket技术使java代码和C++代码进行通信，从底层文件系统读取H.264数据，通过Socket将序列化的byte数据传输给C++的Map函数。H.264属于二进制文件，这里需要自己定义InputFormat数据读取函数，读取H.264文件的工作流程图如图4所示。采用的策略是底层读取一帧数据，然后传输给Map函数，在Map端进行转码处理，即从H.264数据到AVI数据的转码。

本发明利用ICE中间件搭建了分布式的远程多媒体网络传输平台，平台由一台SIP调度服务器和多台流媒体转发服务器共同组成，可以实现动态的扩增，满足多媒体传输系统中海量设备的接入需求。基于HDFS实现海量多媒体数据的分布式存储，利用Hadoop的MapRedue引擎实现多媒体数据的分布式处理，极大的提高了效率，在数据不断增多的情况下，会更加体现优越性。

Claims (7)

1.一种远程多媒体网络传输平台，其特征在于：包括SIP信令调度服务器、流媒体转发服务器、ICE分布式中间件和基于Hadoop的多媒体数据的分布式存储与分析系统，所述SIP信令调度服务器通过分布式的ICE中间件与流媒体转发服务器通信，所述流媒体转发服务器用于流媒体数据的接收与分发，所述基于Hadoop的多媒体数据的分布式存储与分析系统，用于存储流媒体转发服务器端保存并上传的多媒体数据；所述分布式存储与分析系统包括MapReduce分布式处理引擎，用于实现对存储在HDFS上的多媒体数据进行分布式的转码处理，即基于ffmpeg对多媒体数据进行格式的转换。

2.如权利要求1所述的远程多媒体网络传输平台，其特征在于：所述SIP调度服务器与多台流媒体转发服务器构成C-S框架关系，SIP调度服务器是这个C-S构架中的Server端，也就是服务器端，而多个流媒体转发服务器是这个构架中的Client端，即客户端。

3.如权利要求2所述的远程多媒体网络传输平台，其特征在于：所述SIP调度服务器与流媒体转发服务器之间的通信协议采用用户数据报协议、传输控制协议或者SSL协议进行通讯。

4.如权利要求1～3之一所述的远程多媒体网络传输平台，其特征在于：所述ICE中间件包括Slice文件，所述Slice文件是一种用于使对象接口与其实现相分离的基础性抽象机制，所述Slice文件描述的是接口和类型，SIP调度服务器和流媒体转发服务器之间是相互调用的，所以需要定义服务器两端的接口，分别为RvMDSSched和RvMDS，然后在接口内部定义方法，这些就是分布式构架中Server端和Client能分别提供的service方法，Server提供的service包括，Client向Server的注册/心跳保活/注销，其中心跳保活的作用是流媒体转发服务器定时向SIP调度服务器报告自己的负载情况，SIP服务器做出调度决策；Client提供的service包括,传输通道的增加/删除/重启，给用户和接入设备开启和关闭会话。

5.如权利要求1～3之一所述的远程多媒体网络传输平台，其特征在于：所述流媒体转发服务器，用于实现流媒体数据从设备到用户端的传输，根据SIP服务器的权限管理，可以实现“类组播”的传输方式，即多个用户可以同时接收来自同一台设备的音视频数据，数据的分发都是在流媒体转发服务器端实现，接入的流媒体转发服务器定时将负载随着心跳包发送到SIP服务器端。

6.如权利要求1～3之一所述的远程多媒体网络传输平台，其特征在于：所述基于Hadoop的多媒体数据的分布式存储与分析系统采用基于HDFS的存储方案，具体如下：

首先，用户通过客户端配置录像计划，并且存放入数据库，SIP调度服务器将这计划通过ICE通信传输给流媒体转发服务器，流媒体转发服务器将当前的时间跟录像计划时间进行匹配，如果满足，则按照，日期/设备编号/当前时间，这样的格式进行保存数据，在该平台中，保存的数据是H.264；在HDFS分布式文件系统中，每台流媒体转发服务器就是一个DFSClient，负责将数据上传HDFS，系统根据先前的配置进行自动冗余备份，在多媒体数据存储策略上，该系统采用将文件大小控制在最大文件块容限之内。

7.如权利要求1～3之一所述的远程多媒体网络传输平台，其特征在于：所述多媒体数据是H.264，在所述流媒体转发服务器保存的就是H.264文件，通过DFSClient上传到HDFS的文件也是该格式，使用ffmpeg，对存放在HDFS上的H.264文件进行转码，转成AVI格式。

Images