CN103354618B - 一种基于hls的多场景流媒体自适应直播方法 - Google Patents

Abstract

本发明为一种基于HLS的多场景流媒体自适应直播方法，其基于HTTP Live Streaming协议，实现了屏幕媒体流和视频媒体流的同步自适应直播；在直播过程中，服务器实时将屏幕数据和音频数据编码并封装成多种不同质量级别的屏幕媒体流，将视频数据和音频数据编码并封装成一种质量级别的视频媒体流，并对屏幕媒体流和视频媒体流进行切片，客户端采用一种平滑的带宽预测方法，根据单位HTTP/TCP吞吐量来进行网络实时可用带宽的预测，并综合考虑网络实时可用带宽、缓存大小与屏幕媒体流、视频媒体流的重要程度，请求与网络实时可用带宽相适应的媒体码流进行传输，实现了一种屏幕媒体流优先的多场景流媒体自适应直播方法。

Description

一种基于HLS的多场景流媒体自适应直播方法

技术领域

本发明属于多媒体直播领域，涉及到视音频的采集、编码、分片以及播放领域，特别是涉及到一种基于HLS的多场景流媒体自适应直播方法。

背景技术

计算机技术的发展、Internet普及以及网络带宽的飞速增长带来了多媒体技术的广泛应用，同时，网络教育/远程教育也已普遍被人们所接受。将教师的授课过程借助于视音频采集设备和网络直播技术，有利于开展网上教学。检索到的以下几篇与本发明相关的属于多媒体直播领域的专利，它们分别是：

1.中国专利201210012762.4，一种实现HLS客户端视频直播回看的方法及系统；

2.中国专利200910041686.8，自适应的数字家庭网络流媒体传输带宽预测方法；

在上述专利1中公开了一种实现HLS客户端视频直播回看的方法，包括：HLS客户端向流媒体调度网关MAP发送请求回看节目请求及回看节目的时间点；接收流媒体调度网关MAP根据时间点以及从存储模块中获取的相应索引文件动态生成的播放列表文件；根据播放列表文件向流分发模块请求视频段。本发明还公开了一种实现HLS客户端视频回看的系统，包括：流媒体调度网关MAP、流分发模块、存储模块。采用本发明，能够不改写HTTP服务器，在HLS客户端上实现视频回看，节约了网络构建成本，提高了用户体验度。

上述专利2中提供了一种自适应的数字家庭网络流媒体传输带宽预测方法，通过服务器向客户端发送包串进行测量得到初始传输带宽数值，并确定其数值上下限，以及用于该数值带宽的编码方案和编码率；然后服务器根据初始传输带宽数值、编码率和客户端反馈的解码率进行实际传输带宽的预测，并与初始带宽数值的上下限进行比较，确定是否进行下一次实际传输带宽数值的预测。本发明能实现对数字家庭网络中可用的初始传输带宽进行检测，并自适应地对数字家庭网络流媒体的实际传输带宽进行预测，使视频图像可以根据网络的带宽情况进行自适应编码并传输，更好地利用了有限的网络带宽。

根据上述查新，现有技术所存在的问题是，均没有考虑多场景和自适应流化直播技术，导致直播场景不全面、无法在对多个媒体流进行请求播放的情况下实现带宽自适应。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种基于HLS的多场景流媒体自适应直播方法，支持Windows/Linux下摄像头视频+音频和屏幕视频+音频的多个媒体源的流化直播，支持自适应于网络实时可用带宽的多个媒体流的实时传输。

为了实现上述目的，本发明采用的技术方案是：

一种基于HLS的多场景流媒体自适应直播方法，直播过程中，服务器实时将屏幕数据和音频数据编码并封装成多种不同质量级别的屏幕媒体流，将视频数据和音频数据编码并封装成一种质量级别的视频媒体流，并对屏幕媒体流和视频媒体流进行切片，客户端采用平滑的带宽预测方法，根据单位HTTP/TCP吞吐量来进行网络实时可用带宽的预测，请求与网络实时可用带宽相适应的媒体码流进行传输，在网络实时带宽不足以同时传输最低质量级别屏幕媒体流和视频媒体流的情况下，暂停视频媒体流的传输，从而实现了屏幕媒体流优先的多场景流媒体自适应直播。

与现有技术相比，本发明实现了直播场景全面化，能够在对多个媒体流进行请求播放的情况下实现带宽自适应。

附图说明

图1为本发明一种基于HLS的多场景流媒体自适应直播方法流程图。

图2为本发明中媒体流分片方法的详细策略图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

如附图1所示，本发明为一种基于HLS的多场景流媒体自适应直播方法，首先需要进行对视频、音频、屏幕数据进行采集，然后对采集后原始数据进行编码、封装输出不同质量级别的屏幕媒体流和一种质量级别的视频媒体流，并对媒体流进行切片和索引，将分片文件和索引文件存储到Web服务器中，并采用一种平滑的带宽预测方法和一种屏幕媒体流优先的多场景流媒体自适应直播方法协调客户端对多个媒体流的播放请求，使客户端可以实现视频媒体流和屏幕媒体流的自适应直播。

下面分步骤对本发明的技术方案进行详细叙述。

1、服务器对视音频屏幕数据的采集与编码

多场景直播包括视频数据、音频数据和屏幕数据的采集和编码。首先，获取采集设备对象，按一定速率从采集设备对象获取数据并由ffmpeg编码库进行编码。

1)视频数据采集

本发明中采用跨平台计算机视觉库OpenCV来采集视频数据，具体步骤如下：

Step1：获取摄像头对象，检查是否有摄像头，若返回成功，则继续下面步骤，否则结束；

Step2：设置摄像头对象采集参数，包括摄像头采集图像的像素宽和高；

Step3：检查参数是否正确，若正确，则继续下面步骤，否则结束；

Step4：按帧速率定时从摄像头对象采集图像数据，数据格式为RGB24，将RGB24数据进行颜色空间转换成YUV420P，并调用ffmpeg的编码函数进行编码；

Step5：重复Step4，直到收到停止的消息；

Step6：收到停止消息，销毁摄像头对象；

2)屏幕数据采集

本发明采用跨平台的QT开发平台来采集屏幕数据，具体步骤如下：

Step1：获取计算机屏幕对象，若返回成功，则继续下面步骤，否则结束；

Step2：获取计算机显示器屏幕对象大小；

Step3：定时从教师计算机屏幕对象采集屏幕图像数据，数据格式为RGB24，将RGB24数据进行颜色空间转换成YUV420P并进行缩放，并调用ffmpeg的编码函数进行编码；

Step4：重复Step3，直到收到停止的消息；

Step5：收到停止消息，销毁计算机屏幕对象；

3)音频数据采集

本发明采用跨平台的QT开发平台来采集音频数据，具体步骤如下：

Step1：获取采集声卡设备对象，若返回成功，则继续下面步骤，否则结束；

Step2：配置声卡采集对象采集参数，包括采集频率、声道、位宽等；

Step3：检查参数是否正确，若正确，则继续下面步骤，否则结束；

Step4：打开声卡设备，自动采集声音数据，并由ffmpeg进行编码；

Step5：重复Step4，直到收到停止的消息；

Step6：收到停止消息，销毁声卡采集对象；

4）采用ffmpeg对视频数据、音频数据、屏幕数据进行编码

本发明中采用ffmpeg对视频数据、音频数据、屏幕数据进行编码的具体步骤如下：

Step1：初始化编码参数，并检查参数是否正确，若正确，则继续下面步骤，否则返回失败；

Step2：分别打开视频数据、音频数据、屏幕数据对应的编码器，准备编码，其中屏幕有四个不同编码参数的编码器；

Step3：若输入为RGB24数据，将RGB24数据进行颜色空间转换成YUV420P，再由编码器进行编码，输出视频/屏幕H264数据帧；若输入为音频数据，则直接由编码器编码，输出音频AAC数据帧；

Step4：重复Step3，直到收到停止的消息；

Step5：收到停止消息，关闭编码器，销毁ffmpeg对象；

2、服务器生成视频媒体流和不同质量级别的屏幕媒体流

服务器将视频H264数据帧和音频AAC数据帧封装成Ts格式的视频媒体流，其码率为120Kbps，将不同码率的屏幕H264数据帧和音频AAC数据帧封装成四种不同码率的屏幕媒体流，即四种质量级别的Ts格式的屏幕媒体流，其中最高质量级别的屏幕媒体流码率为800Kbps，次高级屏幕媒体流码率为480Kbps，中级屏幕媒体流码率为240Kbps，低级屏幕媒体流码率为160Kbps。

3、服务器分割器对于屏幕媒体流/视频媒体流分片（图2所示）

切片的具体步骤为：

Step1：判断当前直播是否结束，若是，则结束直播；

Step2：读取一个Ts包；

Step3：判断当前分片的时间戳是否大于10秒，若是，进行Step4，若否执行Step2；

Step4：判断下一个数据帧是否为I帧或IDR帧，若是，则完成了一个10秒的Ts容器格式的媒体文件切片，执行Step2。

4、客户端带宽预测

根据单位HTTP/TCP吞吐量来进行网络实时可用带宽，预测过程中考虑历史带宽与当前带宽对未来带宽预测影响程度不同，采用指数平滑法来有效预测带宽；其中单位HTTP/TCP吞吐量的计算公式为：

TP=DSP/LP

其中TP为单位HTTP/TCP吞吐量，DSP为单位时间下载数据量，LP为单位时间长度；

根据分片i的单位HTTP/TCP吞吐量来进行分片i+1传输时的带宽方法描述如下，首先计算单位平均吞吐量，公式为：

${\mathrm{TP}}_{\mathrm{av}}(i,j)=\left\{\begin{array}{c}{\mathrm{\λTP}}_{\mathrm{av}}(i,j-1)+(1-\mathrm{\λ})\mathrm{TP}(i,j),i>1,j>1\\ \mathrm{TP}(i,j),i=1,j=1\end{array}\right.$

其中TP(i,j)是分片i的第j个单位吞吐量，单位时间设置为1秒，TP_av(i,j)是在分片i的第j个单位平均吞吐量，λ表示权重，假设分片i的最后一个单位吞吐量为TP(i,k)，则分片i+1传输时的带宽预测为TP_av(i,k)。

4、系统多视频源的自适应直播控制

Step1：客户端获取直播时的屏幕媒体流和视频媒体流的m3u8索引文件，初始化缓存大小buffer₁=0，可用带宽置为0；

Step2：先请求最低质量级别的屏幕媒体流，然后请求视频媒体流，当缓存大小达到阈值θ₁，客户端开始进行解码回放；

Step3：通过比较客户端缓存大小buffer_i与上下限阈值来进行屏幕媒体流码流质量级别选择，分以下几种情况：

当buffer_i<θ₁时，选择最低质量级别的屏幕媒体码流，并且当R_s1+R_v>TP_av(i,k)时，暂停视频媒体流的传输，确定传输码流质量级别后立刻进行数据传输请求；

当θ₁<buffer_i<θ₂时，若屏幕媒体流下调一个质量级别；若屏幕媒体流上调一个质量级别，否则保持原质量级别，确定传输码流质量级别后立刻进行数据传输请求；

当buffer_i>θ₂时，若屏幕媒体流上调一个质量级别，否则保持原质量级别，等待buffer_i-θ₂时间再进行数据传输请求；

Step4：直播结束前或客户端结束观看前，重复Step3，周期性地更新索引文件。

Claims (4)

1.一种基于HLS的多场景流媒体自适应直播方法，其特征在于，直播过程中，服务器实时将屏幕数据和音频数据编码并封装成多种不同质量级别的屏幕媒体流，将视频数据和音频数据编码并封装成一种质量级别的视频媒体流，并对屏幕媒体流和视频媒体流进行切片，客户端采用平滑的带宽预测方法，根据单位HTTP/TCP吞吐量来进行网络实时可用带宽的预测，请求与网络实时可用带宽相适应的媒体码流进行传输，在网络实时带宽不足以同时传输最低质量级别屏幕媒体流和视频媒体流的情况下，暂停视频媒体流的传输，从而实现了屏幕媒体流优先的多场景流媒体自适应直播，其中：

所述平滑的带宽预测方法，是根据单位HTTP/TCP吞吐量来预测带宽，预测过程中考虑历史带宽与当前带宽对未来带宽预测影响程度不同，采用指数平滑法来有效预测带宽；其中单位HTTP/TCP吞吐量的计算公式为：

TP＝DSP/LP

其中TP为单位HTTP/TCP吞吐量，DSP为单位时间下载数据量，LP为单位时间长度；

根据分片i的单位HTTP/TCP吞吐量来进行分片i+1传输时的带宽方法描述如下，首先计算单位平均吞吐量，公式为：

${\mathrm{TP}}_{\mathrm{av}}(i,j)=\left\{\begin{array}{c}{\mathrm{\&lambda;TP}}_{\mathrm{av}}(i,j-1)+(1-\mathrm{\&lambda;})\mathrm{TP}(i,j),i>1,j>1\\ \mathrm{TP}(i,j),i=1,j=1\end{array}\right.$

其中TP(i,j)是分片i的第j个单位吞吐量，单位时间设置为1秒，TP_av(i,j)是在分片i的第j个单位平均吞吐量，λ表示权重，假设分片i的最后一个单位吞吐量为TP(i,k)，则分片i+1传输时的带宽预测为TP_av(i,k)；

客户端在请求与网络实时可用带宽相适应的媒体码流进行传输时，综合考虑网络实时可用带宽、缓存大小与屏幕媒体流、视频媒体流的重要程度，具体步骤为：

首先给出方法步骤中用到的概念和定义，屏幕媒体流有四种质量级别的码流l₁,l₂,l₃,l₄，分别对应码率R_s1,R_s2,R_s3,R_s4，视频媒体流只有一种码流，其码率为Rv，屏幕媒体流分片i的传输码流级别为l_i，在进行第i+1个分片传输码流选择时客户端缓存大小为buffer_i，分片i的最终平均吞吐量，即网络实时可用带宽为TP_av(i,k)，客户端缓存大小的下限阈值为θ₁，上限阈值为θ₂；

Step1：客户端获取直播时的屏幕媒体流和视频媒体流的m3u8索引文件，初始化缓存大小buffer₁＝0，可用带宽置为0；

Step2：先请求最低质量级别的屏幕媒体流，然后请求视频媒体流，当缓存大小达到阈值θ₁，客户端开始进行解码回放；

Step3：通过比较客户端缓存大小buffer_i与上下限阈值来进行屏幕媒体流码流质量级别选择，分以下几种情况：

当buffer_i<θ₁时，选择最低质量级别的屏幕媒体码流，并且当R_s1+R_v>TP_av(i,k)时，暂停视频媒体流的传输，确定传输码流质量级别后立刻进行数据传输请求；

当θ₁<buffer_i<θ₂时，若屏幕媒体流下调一个质量级别；若屏幕媒体流上调一个质量级别，否则保持原质量级别，确定传输码流质量级别后立刻进行数据传输请求；

当buffer_i>θ₂时，若屏幕媒体流上调一个质量级别，否则保持原质量级别，等待buffer_i-θ₂时间再进行数据传输请求；

Step4：直播结束前或客户端结束观看前，重复Step3，周期性地更新索引文件。

2.根据权利要求1中所述基于HLS的多场景流媒体自适应直播方法，其特征在于，由ffmpeg编码库对所述屏幕数据、视频数据、音频数据进行编码，具体步骤如下：

Step1：初始化编码参数，并检查参数是否正确，若正确，则继续下面步骤，否则返回失败；

Step2：分别打开屏幕数据、音频数据、视频数据对应的编码器，准备编码，其中屏幕数据有四个不同编码参数的编码器；

Step3：若输入为RGB24数据，将RGB24数据进行颜色空间转换成YUV420P，再由编码器进行编码，输出视频/屏幕H264数据帧；若输入为音频数据，则直接由编码器编码，输出音频AAC数据帧；

Step4：重复Step3，直到收到停止的消息；

Step5：收到停止消息，关闭编码器，销毁ffmpeg对象。

3.根据权利要求1中所述基于HLS的多场景流媒体自适应直播方法，其特征在于，所述屏幕媒体流和视频媒体流的生成过程如下：

服务器将视频H264数据帧和音频AAC数据帧封装成Ts格式的视频媒体流，其码率为120Kbps，将不同码率的屏幕H264数据帧和音频AAC数据帧封装成四种不同码率的Ts格式屏幕媒体流，即四种质量级别的Ts格式屏幕媒体流，其中最高质量级别的屏幕媒体流码率为800Kbps，次高级屏幕媒体流码率为480Kbps，中级屏幕媒体流码率为240Kbps，低级屏幕媒体流码率为160Kbps。

4.根据权利要求1中所述基于HLS的多场景流媒体自适应直播方法，其特征在于，所述对屏幕媒体流和视频媒体流进行切片的具体步骤为：

Step1：判断当前直播是否结束，若是，则结束直播；

Step2：读取一个Ts包；

Step3：判断当前分片的时间戳是否大于10秒，若是，进行Step4，若否执行Step2；

Step4：判断下一个数据帧是否为I帧或IDR帧，若是，则完成了一个10秒的Ts容器格式的媒体文件切片，执行Step2。