CN104602044A - 一种rtmp流媒体公网直播系统及其设计方法 - Google Patents

Abstract

本发明公开了一种RTMP流媒体公网直播系统及其设计方法，属于视频管理系统。本发明的系统包括RTMP主播设备、网络交换设备、RTMP流媒体服务器和客户端，其中，主播设备采集线程采集音视频数据，并编码成高分辨率和低分辨率的H.264视频数据与AAC音频数据；主播设备连接到流媒体服务器,并将流媒体数据推送到流媒体服务器；流媒体服务器请求信令分析并进行流媒体分发：客户端显示。本发明的优点是主播设备具有动态开、关推流功能，在出现系统内架设多台RTMP主播设备，且上行带宽不足时，具有良好的带宽适应性。

Description

一种RTMP流媒体公网直播系统及其设计方法

技术领域

本发明涉及一种流媒体技术设计方法，具体地，尤其涉及一种RTMP流媒体公网直播系统及其设计方法。

背景技术

在流媒体直播系统中，正在直播的RTMP流媒体通过网络传输给用户，观看该直播流的用户可能随时接入该网络，因为RTMP协议对视频进行主动推送，当系统内主播设备数量增加时，每台开启的RTMP主播设备都会向指定IP的流媒体服务器进行推流，在一定条件下必然会出现系统公网上行带宽瓶颈问题，造成网络拥塞，无法进行直播，如果是ADSL网络情况下进行RTMP主播，网络拥塞问题更为严重。

目前，直播系统的架设通常采用如下几种方式去解决上述问题：

1.              RTMP主播设备发送一份流到流媒体服务器，再由流媒体服务器进行分发处理。

2.              降低主播设备视频编码码率、帧率、分辨率，以减少数据的传输。

3.              通过专网或租用更高带宽，直接解决数据的传输问题。

   但是，以上处理方法明显存在不足的地方：

A.   对于1的处理方法，可解决单个RTMP主播设备视频流的分发问题，但是当系统内主播设备数量增加到一定条件下，即使每台RTMP主播设备都仅发送一份流到流媒体服务器，也必将会造成网络拥塞。

B.   对于2的处理方法，当降低码率、帧率、分辨率时，一定会降低视频质量，并且当主播设备数量增加时，也必将造成网络拥塞。

对于3的处理方法，则会造成用户成本增加，而且也不能完全解决上述问题。

发明内容

本发明目的在于针对上述技术问题，在现有系统的基础上，提出一种RTMP流媒体公网直播系统的设计方法，同时本发明还公开了利用上述设计方法而得的流媒体公网直播系统。

本发明的流媒体公网直播系统包括RTMP主播设备、网络交换设备、RTMP流媒体服务器和客户端，其中，其中，网络交换设备一般不作特别要求。

本发明的RTMP流媒体公网直播系统的设计方法，包括以下步骤：

步骤1，主播设备采集线程采集音视频数据，并编码成高分辨率(主码流)和低分辨率(副码流)的H.264视频数据与AAC音频数据；

步骤2，主播设备连接到流媒体服务器,并将流媒体数据推送到流媒体服务器：

主播设备将编码后的音视频数据封装成符合RTMP协议的数据包，通过线程函数向服务器进行数据发送；

步骤3，流媒体服务器请求信令分析并进行流媒体分发：

当主播设备收到RTMP流媒体服务器发送的开始音视频发送信令时，音视频发送线程开始发送，并强制编码成I帧数据进行发送；当实时性要求不严格时，并不用去强制编码成I帧数据进行发送，I帧数据的检测由流媒体服务器进行处理，或者I帧数据的检测流媒体服务器也不用进行处理，直接由客户端解码器进行处理；

当主播设备收到RTMP流媒体服务器发送的停止音视频发送信令时，音视频发送线程停止发送，但RTMP连接并不断开，编码线程正常编码工作；当实时性要求不严格时，RTMP连接断开，编码线程正常编码工作，或者，RTMP连接断开，并将编码线程的编码工作关闭；

当RTMP流媒体服务器检测到网络带宽出现预设定阀值时，向主播设备发送编码副码流视频信令，主播设备收到信令后，编码器切换到编码副码流，并强制编码成I帧数据进行发送。当实时性要求不严格时，当主播设备收到服务器发送的编码副码流视频信令时，并不用去强制编码成I帧数据进行发送，I帧数据的检测由流媒体服务器进行处理，或直接由客户端解码器进行处理；

步骤4，客户端显示。

本发明提供的RTMP流媒体直播系统的设计方法可以解决系统上行带宽不足的问题。本发明具有以下优点：

1：主播设备采用RTMP协议，在公网上进行流媒体直播时，具有良好的网络穿透性。

2：主播设备具有动态编码功能，在出现网络丢包问题时，具有良好的编码自适应性。

3：特别是本发明的主播设备具有动态开、关推流功能，在出现系统内架设多台RTMP主播设备，且上行带宽不足时，具有良好的带宽适应性。

4：主播设备、流媒体服务器均采用RTMP协议，前端用户并不需要固定IP，使用ADSL便可无鏠接入主播设备，方便用户组网。

5：媒体流采用RTMP协议封装，能很好的适应IOS、Android等移动设备，并不需要另外安装APP客户端软件，在PC上也可通过网页进行音、视频浏览，也无需要另外安装PC客户端软件。

附图说明

图1是本发明实施例的系统原理结构示意图；

图2是本发明实施例的方法流程图；

图3是本发明实施例的网络通信模型原理结构示意图；

图4是本发明实施例的强制I帧编码模型原理结构示意图。

具体实施方案

以下结合附图对本发明的优选实施例进行说明，应当理解此处所描述的优选实施例仅用于说明和解释本发明并不用于限定本发明。

参见图1，本图意在从系统结构上对本实施例进行总体说明，所有RTMP主播设备101分别通过网络交换设备102—网线与RTMP流媒体服务器103相连，客户端104对RTMP主播设备流的访问，由RTMP流媒体服务器103进行分发处理。系统部署时，RTMP主播设备101与网络交换设备102位于家庭、学校、公司等流媒体发布系统内部，再通过ADSL或专网进行流媒体数据上传。流媒体服务器103位于运营商机房，客户端104位于能进行公网访问的各地。由图可知ADSL或专网的上行数据带宽将是系统瓶颈所在，当RTMP主播设备101的数量增加时，上行数据带宽压力也随着增大，如果此时简单采用扩充带宽的方式，运营成本将急剧增加。本发明处理方式说明如下：

1、所有RTMP主播设备101开始运行时都向RTMP流媒体服务器103进行注册、RTMP连接；

2、客户端104向RTMP流媒体服务器103发起直播请求时，RTMP流媒体服务器103分析请求信令，如确认所请求的RTMP主播设备101-1，检测网络带宽及预设定阀值，并向RTMP主播设备101-1发出直播请求。

3、RTMP主播设备101-1接收到流媒体服务器103的直播请求信令并进行分析，根据分析结果进行相应的流媒体直播。

4、如果RTMP主播设备101-1正在进行直播，RTMP主播设备101-2接收到客户端104的直播请求后，RTMP主播设备101-1停止向外推流，但保持RTMP连接，RTMP主播设备101-2启动向外推流。

在本实施例中，在流媒体直播过程中，根据是否存在用户视频请求接入、退出，对RTMP主播设备101进行向外推流的开启与关闭处理。 所以，本发明实施例提供的方法在不增加网络带宽的前提下，可以解决当系统内主播设备101数量增加时，出现公网上行带宽不足的瓶颈问题。

图2是本实施例的设计方法流程图,该方法包括以下步骤：

201、主播设备101采集音视频数据，并将数据编码成H.264与AAC格式；

     在进行媒体数据传输时，为了节省带宽，根据RTMP协议要求，将视频数据编码成H.264 （high profile）格式，音频数据编码成AAC格式，并为音视频数据分别打上时间戳，以便于进行媒体流直播时的音视频同步处理。视频编码过程中，可分别编码关键帧I帧及预测帧P帧，也可分别编码预定分辨率、帧率、码率的视频帧。

202、RTMP主播设备101连接到流媒体服务器103,并将流媒体数据推送到流媒体服务器103；

   RTMP主播设备101与流媒体服务器103通过RTMP协议以TCP方式长连接，RTMP主播设备101将音视频数据流按照RTMP协议所要求的方式分别进行数据打包，

#define RTMP_PACKET_TYPE_AUDIO              0x08

#define RTMP_PACKET_TYPE_VIDEO              0x09

#define RTMP_PACKET_TYPE_INFO               0x12

typedef struct RTMPPacket

{

    uint8_t m_headerType;

    uint8_t m_packetType;

    int m_nChannel;

    uint32_t m_nTimeStamp;

    int32_t m_nInfoField2;

    uint32_t m_nBodySize;

    uint32_t m_nBytesRead;

    char *m_body;

} RTMPPacket;

按照RTMP协议，将RTMP主播设备101编码后的音视频数据打包处理，并设置专门的线程函数进行流媒体的发送。

203、流媒体服务器103请求信令分析并进行流媒体分发；

流媒体服务器103收到用户接入请求后，先分析该请求的流是否已经向其正在发送流，如果没有向流媒体服务器103发送流，则先将该流请求转发给RTMP主播设备101，当RTMP主播设备101启动向流媒体服务器103推送RTMP流后，流媒体服务器103将此流分发给所请求的用户；如果有向流媒体服务器103发送流，则不必再将该流请求转发给RTMP主播设备101，流媒体服务器103直接将对应的RTMP流分发给所请求的用户。

204、客户端104显示；

首先由客户端104发起RTMP流接入请求，当客户端104在预设时间段之内收到该流，则客户端104向流媒体服务器103发送确认响应消息，以通知流媒体服务器客户端接收到流媒体服务器103发送的RTMP流；如果客户端104在预设时间段之内没有收到该视频帧，则客户端104向流媒体服务器103发送丢失响应消息，以通知流媒体服务器客户端没有接收到流媒体服务器103发送的RTMP流。

本实施例提供的方法，在流媒体直播过程中，接收用户的交互数据，获取与用户交互数据相匹配的媒体流，由于在直播过程中，不仅单纯地对媒体数据进行播放，还可以实现媒体直播系统与媒体接收用户间的数据交互。

图3是本发明实施例的网络通信模型原理结构示意图,以下将详细叙述上述步骤203中的信令交互过程：

301、用户请求接入网络，向RTMP主播设备101发出开始直播请求信令；

客户端104发送开始直播请求信令到流媒体服务器103，流媒体服务器103收到一个开始直播请求后，将该开始直播请求信令转发给相应的RTMP主播设备101。其中信令说明如下：

         typedef struct TLoginPkt {                       

  char UserName[20];      //用户名称

  char Password[20];      //用户密码

  char DevIP[20];         //要连接的设备

   Bool bLive;            //直播状态

   unsigned int UserCnt   //在线用户数

}TLoginPkt;

typedef enum TMsgID {

  Msg_StartStatus       = 1001, // RTMP发送状态

Msg_StopStatus        = 1002, // RTMP停止状态

  Msg_SetDevCfg         = 1003,//设备配置

  Msg_GetDevCfg         = 1004,//获取配置

  Msg_RTMPStartcfg      = 1005,//RTMP发送

  Msg_RTMPStopcfg       = 1006,//RTMP停止发送

}TMsgID;

如果分析TLoginPkt为在线用户请求视频直播接入，当分析出RTMP主播设备101的TMsgID号为1001，所请求用户的bLive = true时，则表示正在向流媒体服务器103推送RTMP流，当RTMP主播设备101分析收到的TMsgID号为1005时，则RTMP主播设备101忽略请求；所请求用户的bLive = flase时，则表示已经开始向流媒体服务器103推送RTMP流，但流媒体服务器103并没有向所请求的用户推送RTMP流。

如果分析TLoginPkt为新用户请求视频直播接入，当RTMP主播设备101分析接收到的TMsgID号为1005时，则表示向流媒体服务器103请求推送RTMP流。

302、接收流媒体服务器103发送的丢帧指示值，该丢帧指示值用于指示在该时间段内是否存在网络带宽超出预设定阀值；

         其中，RTMP主播设备101采样一个视频帧，对该视频帧进行H.264编码后上传到流媒体服务器103，而流媒体服务器103也是收到一个视频帧后，将该视频帧转发给客户端104。当客户端104在预设时间段之内收到该视频帧，则客户端104向流媒体服务器103发送确认响应消息，以通知流媒体服务器103其已接收到服务器103发送的视频帧。如果客户端104在预设时间段之内没有收到该视频帧，则客户端104向流媒体服务器103发送丢失响应消息，以通知流媒体服务器103其没有接收到流媒体服务器103发送的视频帧。

         当流媒体服务器103收到RTMP主播设备101发送的关键帧时，流媒体服务器103设置视频帧丢失个数的初始值，并将接收的关键帧转发给客户端104。当流媒体服务器103在当前接收的关键帧与下一个接收的关键帧之间的时间间隔内接收到客户端104发送的丢帧响应消息时，流媒体服务器103增加视频帧丢失个数，并且当流媒体服务器103收到RTMP主播设备101发送的下一个关键帧时，流媒体服务器103根据该视频帧丢失个数设置丢帧指示值，将该丢帧指示值发送给RTMP主播设备101。

         当RTMP主播设备101收到流媒体服务器103发送的视频丢帧指示值后，RTMP主播设备101的编码器相应的调整GOP、视频流码率、分辨率、帧率等编码参数，主播设备101的编码器切换到编码副码流，并强制编码成I帧数据进行发送。当实时性要求不严格时，当主播设备101收到服务器103发送的编码副码流视频信令时，并不用去强制编码成I帧数据进行发送，I帧数据的检测由流媒体服务器103进行处理，或直接由客户端104的解码器进行处理。

303、用户请求接入网络，向RTMP主播设备101发出开始强制编码I帧请求信令；

客户端104发送开始直播请求信令到流媒体服务器103，流媒体服务器103收到一个开始直播请求后，如果分析TLoginPk为新用户请求视频接入， 当分析出RTMP主播设备101的TMsgID号为1001时，则表示已经开始向流媒体服务器103推送RTMP流。当分析出RTMP主播设备的TMsgID号为1002时，则表示已经停止向流媒体服务器103推送RTMP流。此时，RTMP主播设备101强制编码I帧，并开始向流媒体服务器103发送。

如果分析TLoginPkt为在线用户请求视频接入，当分析出RTMP主播设备101的TMsgID号为1001、所请求用户的bLive = true时，则表示已经开始向流媒体服务器103推送RTMP流，RTMP主播设备101忽略请求。当分析出RTMP主播设备101的TMsgID号为1002时，则表示已经停止向流媒体服务器103推送RTMP流，此时，RTMP主播设备101强制编码I帧，并开始向流媒体服务器103发送。

如果分析TLoginPkt为在线用户请求视频接入，当分析出RTMP主播设备101的TMsgID号为1001、所请求用户的bLive = flase时，则表示已经开始向流媒体服务器103推送RTMP流，但服务器103并没有向所请求的用户推送RTMP流，此时，RTMP主播设备101强制编码I帧，并开始向流媒体服务器103发送。当分析出RTMP主播设备的TMsgID号为1002时，则表示已经停止向流媒体服务器103推送RTMP流，此时，RTMP主播设备101强制编码I帧，并开始向流媒体服务器103发送。

当实时性要求不严格时，并不用去强制编码成I帧数据进行发送，I帧数据的检测由流媒体服务器103进行处理，或者I帧数据的检测流媒体服务器103也不用进行处理，直接由客户端104的解码器进行处理。

304、用户请求退出网络，向RTMP主播设备101发出停止直播请求信令；

客户端104发送停止直播请求信令到流媒体服务器103，服务器103收到一个停止直播请求后，将该停止直播请求信令转发给相应的RTMP主播设备101。

如果分析TLoginPkt为在线用户请求视频停止，当分析出RTMP主播设备101的TMsgID号为1001、在线用户数UserCnt为1时，所请求用户的bLive = true时，则表示正在向流媒体服务器103推送RTMP流，当RTMP主播设备101分析收到的TMsgID号为1006时，则停止向流媒体服务器103推送RTMP流，但RTMP连接并不断开，编码线程正常编码工作；当实时性要求不严格时，RTMP连接断开，编码线程正常编码工作，或者，RTMP连接断开，并将编码线程的编码工作关闭；当所请求用户的bLive = flase时, 则RTMP主播设备101忽略请求。当在线用户数UserCnt为大于1时，当RTMP主播设备101分析收到的TMsgID号为1006时，则继续向流媒体服务器103推送RTMP流。如果分析出RTMP主播设备101的TMsgID号为1002时，当RTMP主播设备101分析收到的TMsgID号为1006时，则RTMP主播设备101忽略请求。

在本实施例中，在流媒体直播过程中，根据是否存在用户视频请求接入、进行RTMP流的推送开关处理；根据是否存在网络丢失视频帧，来进行强制生成I帧输出。 所以，本发明实施例提供的方法在不影响用户观看视频效果、不增加网络带宽的前提下，可以提高视频直播的效率，进而节省视频网络传输带宽。

图4是本发明实施例的强制I帧编码模型原理结构示意图,该方法包括：

401、采集视频数据，并将数据编码成H.264格式；

     在进行媒体数据传输时，为了节省带宽，将视频数据编码成H.264（high profile）格式。视频编码过程中，分别编码关键帧I帧及预测帧P帧，每隔一个预设定的GOP(Group of Pictures)值个数的视频帧生成一个I帧关键帧，即每隔GOP个P帧生成一个固定I帧。

402、如果存在用户视频请求接入，则要强制生成I帧关键帧；

因为新用户视频请求接入时，解码端必须接收到I帧作为参考帧才能对后续的视频帧进行解码播放。

403、如果不存在新用户接入网络，则每隔预设定值来生成一个固定I帧；

如果不存在新用户接入网络，则每隔预设定值来生成一个固定I帧。由于在同等视频效果的前提下，P帧的压缩比例要比I帧大很多，所以在没有新用户请求接入的时候，可以提高网络视频的压缩率，减少视频数据包的大小，从而降低网络视频传输的带宽压力。进一步地，判断是否存在新用户视频请求接入后，还应该包括：

判断预设定GOP值的该段时间内网络视频在线播放是否存在视频丢帧现象；

相应地，如果不存在新用户请求接入该网络视频，则将当前要生成的帧设置成为P帧，包括：

如果在该时间内存在网络丢失视频帧，且不存在新用户请求接入该网络视频，则将当前要生成的帧强制设置成I帧，并将GOP缩短为原来的一半且取整。在丢包的情况下，为了快速恢复视频，将GOP值减小，以便保证视频解码播放时在线用户的观看效果。

如果在该时间内不存在网络丢失视频帧，且不存在新用户请求接入该网络视频，则将当前要生成的帧设置成P帧，且GOP为预设定值。

在本实施例中，在流媒体直播过程中，每隔预设定GOP值个数的视频帧生成一个关键帧I帧，并根据是否存在新用户视频请求接入、是否存在网络丢失视频帧，来进行强制生成I帧并动态调整GOP的值。 所以，本发明实施例提供的方法在不影响用户观看视频效果的前提下，可以提高直播视频的压缩率，进而节省视频网络传输带宽。

以上结合具体实例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下，任何对本发明的技术方案做出的各种变型和改进，都将落入本发明的保护范围之内。

Claims (6)

1.一种RTMP流媒体公网直播系统设计方法，其特征在于：包括以下步骤：

步骤1，主播设备采集线程采集音视频数据，并编码成高分辨率和低分辨率的H.264视频数据与AAC音频数据；

步骤2，主播设备连接到流媒体服务器,并将流媒体数据推送到流媒体服务器；

步骤3，流媒体服务器请求信令分析并进行流媒体分发：

流媒体服务器收到用户接入请求后，先分析该请求的流是否已经向其正在发送流，如果没有向流媒体服务器发送流，则先将该流请求转发给主播设备，当主播设备启动向流媒体服务器推送RTMP流后，流媒体服务器将此流分发给所请求的用户；

如果已经在向流媒体服务器发送流，则不必再将该流请求转发给主播设备，流媒体服务器直接将对应的RTMP流分发给所请求的用户；

步骤4，客户端显示。

2.根据权利要求1所述的RTMP流媒体公网直播系统设计方法，其特征在于：所述步骤3包括：

当主播设备收到RTMP流媒体服务器发送的开始音视频发送信令时，音视频发送线程开始发送，并强制编码成I帧数据进行发送；当实时性要求不严格时，并不用去强制编码成I帧数据进行发送，I帧数据的检测由流媒体服务器进行处理，或者I帧数据的检测流媒体服务器也不用进行处理，直接由客户端解码器进行处理；

当主播设备收到RTMP流媒体服务器发送的停止音视频发送信令时，音视频发送线程停止发送，但RTMP连接并不断开，编码线程正常编码工作；当实时性要求不严格时，RTMP连接断开，编码线程正常编码工作，或者，RTMP连接断开，并将编码线程的编码工作关闭。

3.根据权利要求1所述的RTMP流媒体公网直播系统设计方法，其特征在于：所述步骤3还包括：RTMP流媒体服务器检测到网络带宽出现预设定阀值时，向主播设备发送编码副码流视频信令，主播设备收到信令后，编码器切换到编码副码流，并强制编码成I帧数据进行发送；

当实时性要求不严格时，当主播设备收到服务器发送的编码副码流视频信令时，并不用去强制编码成I帧数据进行发送，I帧数据的检测由流媒体服务器进行处理，或直接由客户端解码器进行处理。

4.根据权利要求2或3所述的RTMP流媒体公网直播系统设计方法，其特征在于：所述的强制I帧数据编码方法如下：

采集视频数据，将数据编码成H.264格式；如果存在用户视频请求接入，强制生成I帧关键帧；如果不存在新用户接入网络，则每隔预设定值来生成一个固定I帧。

5.根据权利要求4所述的RTMP流媒体公网直播系统设计方法，其特征在于：所述的强制I帧数据编码方法，进一步地，判断是否存在新用户视频请求接入后，还应该包括：

判断预设定GOP值的该段时间内网络视频在线播放是否存在视频丢帧现象；

相应地，如果不存在新用户请求接入该网络视频，则将当前要生成的帧设置成为P帧，包括：

如果在该时间内存在网络丢失视频帧，且不存在新用户请求接入该网络视频，则将当前要生成的帧强制设置成I帧，并将GOP缩短为原来的一半且取整；

如果在该时间内不存在网络丢失视频帧，且不存在新用户请求接入该网络视频，则将当前要生成的帧设置成P帧，且GOP为预设定值。

6.按权利要求1至5所述设计方法的RTMP流媒体公网直播系统，包括能实现前述设计方法的RTMP主播设备、网络交换设备、RTMP流媒体服务器和客户端。