CN111726651A - 一种基于hils协议的音视频流直播方法及系统 - Google Patents

Abstract

本发明公开了一种基于HILS协议的音视频流直播方法及系统，涉及流媒体传播处理技术领域；所述的法具体步骤如下：S1将服务端媒体流入切片格式定义为序列GOP；S2用内存读取替换磁盘读取；S3客户端与内容分发端建立HTTP长连接机制；本发明通过重新定义服务端对媒体输入流切片的格式，减小的单个切片的时长，相应减少了服务器端的编码器和流分割器生成一个GOP的时间，缩短客户端发起直播请求时的等待时间。

Description

一种基于HILS协议的音视频流直播方法及系统

技术领域

本发明公开一种基于HILS协议的音视频流直播方法及系统，涉及流媒体传播处理技术领域。

背景技术

当今直播应用中，HLS协议广泛应用于流媒体。HLS是由Apple公司提出的一种基于HTTP的流媒体网络传输协议，其工作原理就是把整个视频文件切分成不同的、小的基于HTTP的文件来下载，每次只下载一些。完整的HLS流媒体系统包含服务器端(Server)、内容分发端(Distirbution)以及客户端(Client)三部分。服务器组件负责获取媒体输入流，编码后，流切片器将传输流分成小片段然后保存为多个.ts文件，同时创建索引文件(Indexfile)保存为.m3u8文件,索引文件包含这些切片文件的引用，每一个切片文件生成后，索引文件都会进行更新。内容分发端用于通过HTTP向客户端发送媒体文件和索引文件。客户端负责发起视频流请求，获取索引文件(.m3u8),然后根据索引文件按序下载切片文件并进行解码播放。开始一个直播会话时，客户端会先发起请求，内容分发端会由此先返回一个一级索引文件，里面记录了二级索引文件(.m3u8)的地址，然后客户端再去下载二级索引文件。二级索引文件实际给出了当前时间直播的若干个切片个数，地址，时长等信息，一般默认的会有6个切片，单个切片时长为10秒。客户端根据切片地址下载ts文件，进行播放。直播模式下，新的ts文件不断生成，所以客户端实际是下载一次二级索引文件，然后下载ts文件，再下载二级索引文件(此时.m3u8文件已经被重写，记录的是新生成的ts文件的下载地址)，再下载新的ts文件,如此反复进行播放。

但是HLS并不是一个真正的实时的流媒体系统，这是因为对应于媒体输入流分段的大小和持续时间有一定潜在的时间延时。在客户端，至少在一个分段媒体文件被完全下载之后才能开始播放，而通常要求下载完两个媒体文件之后才开始播放以保证不同分段音视频之间的流畅度。此外，在客户端开始下载之前，必须等待服务器端的编码器和流分割器至少生成一个ts文件，服务器软件将接收的流每缓存一定时间后包装为一个新的ts文件，然后更新m3u8文件。这种方式理论上最小延时为一个ts文件的时长，一般为2-3个ts文件的时长。

故现发明一种基于HILS协议的音视频流直播方法及系统，以克服直播时出画慢，高延时，直播视频不流畅的问题。

发明内容

本发明针对现有技术的问题，提供一种基于HILS协议的音视频流直播方法及系统，所采用的技术方案为：一种基于HILS协议的音视频流直播方法，所述的方法具体步骤如下：

S1将服务端媒体流入切片格式定义为序列GOP；

S2用内存读取替换磁盘读取；

S3客户端与内容分发端建立HTTP长连接机制。

所述S1将服务端媒体流入切片格式定义为GOP的具体步骤如下：

S101服务端对HILS媒体流入以序列GOP为单位格式进行切片；

S102将一个序列GOP保存为一个切片；

S103用序列GOP代替ts切片文件。

所述S101服务端对HILS媒体流入以序列GOP为单位格式进行切片,并生成索引文件m3u8文件。

所述S2内存读取替换磁盘读取通过客户端将GOP切片写入内存实现。

所述S3客户端与内容分发端建立HTTP长连接机制的具体步骤如下：

S301客户端发起直播请求时与内容分发端建立HTTP长连接；

S302客户端通过长连接在直播中交替获取新的m3u8文件以及下载该文件中记录的若干切片。

一种基于HILS协议的音视频流直播系统，所述的系统具体包括格式定义模块、存储定义模块和机制建立模块：

格式定义模块：将服务端媒体流入切片格式定义为序列GOP；

存储定义模块：用内存读取替换磁盘读取；

机制建立模块：客户端与内容分发端建立HTTP长连接机制。

所述格式定义模块具体包括切片模块、保存模块和替换模块：

切片模块：服务端对HILS媒体流入以序列GOP为单位格式进行切片；

保存模块：将一个序列GOP保存为一个切片；

替换模块：用序列GOP代替ts切片文件。

所述切片模块服务端对HILS媒体流入以序列GOP为单位格式进行切片,并生成索引文件m3u8文件。

所述存储定义模块内存读取替换磁盘读取通过客户端将GOP切片写入内存实现。

所述机制建立模块具体包括连接建立模块和更新读取模块：

连接建立模块：客户端发起直播请求时与内容分发端建立HTTP长连接；

更新读取模块：客户端通过长连接在直播中交替获取新的m3u8文件以及下载该文件中记录的若干切片。

本发明的有益效果为：

1、直播画面秒开

通过重新定义服务端对媒体输入流切片的格式，减小的单个切片的时长，相应减少了服务器端的编码器和流分割器生成一个GOP的时间，缩短客户端发起直播请求时的等待时间；

2、直播超短延时

用户中途请求直播，客户端播放画面的时间与实际直播时间延时更短；

3、直播画面更流畅

通过更改切片存储方式、存储空间，以及更改客户端与内容分发端HTPP连接方式，避免了文件在磁盘中存取和HTTP中断、重连造成额外的时间开支，使得客户端获取GOP切片更加及时，直播画面更流畅，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是改进前后m3u8文件代码格式示意图；图2是改进前后m3u8文件对应切片队列示意图；图3是序列切片与ts文件切片关系的示意图；图4是切片写入方式变更的示意图；图5是HTTP短连接情形示意图；图6是本发明方法的流程图；图7是本发明系统的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

实施例一：

一种基于HILS协议的音视频流直播方法，所述的方法具体步骤如下：

S1将服务端媒体流入切片格式定义为序列GOP；

S2用内存读取替换磁盘读取；

S3客户端与内容分发端建立HTTP长连接机制；

在通过本发明方法实现音视频流直播工作时，首先按照S1将服务端媒体流入切片格式定义为序列GOP,对媒体输入流进行切片的格式处理以减小单个切片的时长，从而缩短客户端的等待时间，实现客户端直播秒出画的播放效果的同时，能够缩短客户端播放画面的时间域实际直接时间的延时，然后按照S2用内存读取替换磁盘读取，磁盘的存取速度往往是内存的几百分之一，因此将单个GOP直接写入内存减少了磁盘I/O，提高读取效率，最后按照S3在客户端与内容分发端建立HTTP长连接机制，客户端发起直播请求时，客户端和内容分发端之间首次建立用于传输HTTP数据的连接不会关闭，客户端再次访问内容分发端时，会继续使用这条建立好的连接，从而避免HTTP短连接不断中断、连接所耗费的时间，以及其带来的直播画面播放卡顿，流畅度不佳的缺陷；

进一步的，所述S1将服务端媒体流入切片格式定义为GOP的具体步骤如下：

S101服务端对HILS媒体流入以序列GOP为单位格式进行切片；

S102将一个序列GOP保存为一个切片；

S103用序列GOP代替ts切片文件；

当按照S1将服务端媒体流入切片格式定义为GOP时，HLS中的视频编码格式采用H.264协议，本发明方法按照S101以序列GOP为单位进行切片，一个序列就是一段内容差异不太大的图像编码后生成的一串数据流，以I帧开始，到下一个I帧结束；当运动变化比较少时，一个序列可以很长，因为运动变化少就代表图像画面的内容变动很小，所以编码时一个I帧跟着很多个P帧；当运动变化多时，可能一个序列就比较短，比如包含一个I帧跟着3、4个P帧；

HLS中一个ts文件包含多个序列，该ts文件的时长就是文件中包含的所有序列的时长和；本发明方法改变HLS服务端切片方式，将一个序列GOP按照S102保存为一个切片，单个序列的时长远远小于一个ts文件的时长，所以等待服务器端的编码器和流分割器生成一个GOP的时间极短，客户端下载一个GOP的时长也会比下载一个ts文件的时长缩减很多倍；

进一步的，所述S101服务端对HILS媒体流入以序列GOP为单位格式进行切片,并生成索引文件m3u8文件；

相应的一个m3u8文件的代码格式就会变成如图1(b)所示。

进一步的，所述S2内存读取替换磁盘读取通过客户端将GOP切片写入内存实现；

再进一步的，所述S3客户端与内容分发端建立HTTP长连接机制的具体步骤如下：

S301客户端发起直播请求时与内容分发端建立HTTP长连接；

S302客户端通过长连接在直播中交替获取新的m3u8文件以及下载该文件中记录的若干切片；

HLS是基于无状态协议HTTP实现的，原本的HLS协议中采用的是HTTP短连接，即客户端与服务器之间每进行一次HTTP操作，就建立一次连接，任务结束就中断连接，客户端按照S301发起直播请求时与内容分发端建立HTTP长连接，且改进之后的切片是一个个帧序列GOP，如图5所示，客户端每次请求一个GOP时如果继续采用原有的HTTP短连接，相对于原本的HLS，HTTP连接、中断的次数会很大程度的增加；每个序列中I帧之后的P帧个数是不确定的，造成每个I帧之间的间隔是不确定的，当间隔很短小于HTTP中断、重连所耗时间，就会影响播放质量，造成卡顿，服务器软件将接收的流每缓存一定时间后包装为一个新的ts文件，然后按照S302更新m3u8文件，实现最小延时为一个ts文件的时长，一般为2-3个ts文件的时长，从而保证播放质量、减少卡顿问题。

实施例二：

一种基于HILS协议的音视频流直播系统，所述的系统具体包括格式定义模块、存储定义模块和机制建立模块：

格式定义模块：将服务端媒体流入切片格式定义为序列GOP；

存储定义模块：用内存读取替换磁盘读取；

机制建立模块：客户端与内容分发端建立HTTP长连接机制；

在通过本发明系统实现音视频流直播工作时，首先利用格式定义模块将服务端媒体流入切片格式定义为序列GOP,对媒体输入流进行切片的格式处理以减小单个切片的时长，从而缩短客户端的等待时间，实现客户端直播秒出画的播放效果的同时，能够缩短客户端播放画面的时间域实际直接时间的延时，然后通过存储定义模块用内存读取替换磁盘读取，磁盘的存取速度往往是内存的几百分之一，因此将单个GOP直接写入内存减少了磁盘I/O，提高读取效率，最后通过机制建立模块在客户端与内容分发端建立HTTP长连接机制，客户端发起直播请求时，客户端和内容分发端之间首次建立用于传输HTTP数据的连接不会关闭，客户端再次访问内容分发端时，会继续使用这条建立好的连接，从而避免HTTP短连接不断中断、连接所耗费的时间，以及其带来的直播画面播放卡顿，流畅度不佳的缺陷；

进一步的，所述格式定义模块具体包括切片模块、保存模块和替换模块：

切片模块：服务端对HILS媒体流入以序列GOP为单位格式进行切片；

保存模块：将一个序列GOP保存为一个切片；

替换模块：用序列GOP代替ts切片文件；

当使用格式定义模块将服务端媒体流入切片格式定义为GOP时，HLS中的视频编码格式采用H.264协议，本发明系统利用切片模块以序列GOP为单位进行切片，一个序列就是一段内容差异不太大的图像编码后生成的一串数据流，以I帧开始，到下一个I帧结束；当运动变化比较少时，一个序列可以很长，因为运动变化少就代表图像画面的内容变动很小，所以编码时一个I帧跟着很多个P帧；当运动变化多时，可能一个序列就比较短，比如包含一个I帧跟着3、4个P帧；

HLS中一个ts文件包含多个序列，该ts文件的时长就是文件中包含的所有序列的时长和；本发明系统改变HLS服务端切片方式，将一个序列GOP通过保存模块保存为一个切片，单个序列的时长远远小于一个ts文件的时长，所以等待服务器端的编码器和流分割器生成一个GOP的时间极短，客户端下载一个GOP的时长也会比下载一个ts文件的时长缩减很多倍；

进一步的，所述切片模块服务端对HILS媒体流入以序列GOP为单位格式进行切片,并生成索引文件m3u8文件；

相应的一个m3u8文件的代码格式就会变成如图1(b)所示。

进一步的，所述存储定义模块S2内存读取替换磁盘读取通过客户端将GOP切片写入内存实现；

再进一步的，所述机制建立模块具体包括连接建立模块和更新读取模块：

连接建立模块：客户端发起直播请求时与内容分发端建立HTTP长连接；

更新读取模块：客户端通过长连接在直播中交替获取新的m3u8文件以及下载该文件中记录的若干切片；

HLS是基于无状态协议HTTP实现的，原本的HLS协议中采用的是HTTP短连接，即客户端与服务器之间每进行一次HTTP操作，就建立一次连接，任务结束就中断连接，客户端通过连接建立模块发起直播请求时与内容分发端建立HTTP长连接，且改进之后的切片是一个个帧序列GOP，如图5所示，客户端每次请求一个GOP时如果继续采用原有的HTTP短连接，相对于原本的HLS，HTTP连接、中断的次数会很大程度的增加；每个序列中I帧之后的P帧个数是不确定的，造成每个I帧之间的间隔是不确定的，当间隔很短小于HTTP中断、重连所耗时间，就会影响播放质量，造成卡顿，服务器软件将接收的流每缓存一定时间后包装为一个新的ts文件，然后通过更新读取模块更新m3u8文件，实现最小延时为一个ts文件的时长，一般为2-3个ts文件的时长，从而保证播放质量、减少卡顿问题。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于HILS协议的音视频流直播方法，其特征是所述的方法具体步骤如下：

S1将服务端媒体流入切片格式定义为序列GOP；

S2用内存读取替换磁盘读取；

S3客户端与内容分发端建立HTTP长连接机制。

2.根据权利要求1所述的基于HILS协议的音视频流直播方法，其特征是所述S1将服务端媒体流入切片格式定义为GOP的具体步骤如下：

S101服务端对HILS媒体流入以序列GOP为单位格式进行切片；

S102将一个序列GOP保存为一个切片；

S103用序列GOP代替ts切片文件。

3.根据权利要求2所述的基于HILS协议的音视频流直播方法，其特征是所述S101服务端对HILS媒体流入以序列GOP为单位格式进行切片,并生成索引文件m3u8文件。

4.根据权利要求3所述的基于HILS协议的音视频流直播方法，其特征是所述S2内存读取替换磁盘读取通过客户端将GOP切片写入内存实现。

5.根据权利要求4所述的基于HILS协议的音视频流直播方法，其特征是所述S3客户端与内容分发端建立HTTP长连接机制的具体步骤如下：

S301客户端发起直播请求时与内容分发端建立HTTP长连接；

S302客户端通过长连接在直播中交替获取新的m3u8文件以及下载该文件中记录的若干切片。

6.一种基于HILS协议的音视频流直播系统，其特征是所述的系统具体包括格式定义模块、存储定义模块和机制建立模块：

格式定义模块：将服务端媒体流入切片格式定义为序列GOP；

存储定义模块：用内存读取替换磁盘读取；

机制建立模块：客户端与内容分发端建立HTTP长连接机制。

7.根据权利要求6所述的基于HILS协议的音视频流直播系统，其特征是所述格式定义模块具体包括切片模块、保存模块和替换模块：

切片模块：服务端对HILS媒体流入以序列GOP为单位格式进行切片；

保存模块：将一个序列GOP保存为一个切片；

替换模块：用序列GOP代替ts切片文件。

8.根据权利要求7所述的基于HILS协议的音视频流直播系统，其特征是所述切片模块服务端对HILS媒体流入以序列GOP为单位格式进行切片,并生成索引文件m3u8文件。

9.根据权利要求8所述的基于HILS协议的音视频流直播系统，其特征是所述存储定义模块内存读取替换磁盘读取通过客户端将GOP切片写入内存实现。

10.根据权利要求9所述的基于HILS协议的音视频流直播系统，其特征是所述机制建立模块具体包括连接建立模块和更新读取模块：

连接建立模块：客户端发起直播请求时与内容分发端建立HTTP长连接；

更新读取模块：客户端通过长连接在直播中交替获取新的m3u8文件以及下载该文件中记录的若干切片。

Images