CN105119890B - 一种流媒体实时播放方法 - Google Patents

Abstract

本发明公开了一种流媒体实时播放方法，包括服务器端媒体资源处理步骤、客户端处理步骤和快进快退处理策略步骤。所述服务器端媒体资源处理步骤，包括网络探针探测网络状态、媒体资源预处理、建立目录索引结构步骤。所述客户端处理步骤，包括客户端媒体资源下载播放、客户端自适应匹配网络状况和客户端合并视频切片步骤。经测试，选取多种网络环境下发媒体资源发现对于几十MB或者较小的文件，媒体资源下发效率相对于传统单线程下发方式可提升20%‑30%；对于几百MB，几G大小的媒体资源下发时效率可以提升60%左右。

Description

一种流媒体实时播放方法

技术领域

本发明涉及一种流媒体播放控制方法，属于信息处理领域。

背景技术

目前移动终端市场拥有率越来越高。通过移动终端观看音频/视频等富媒体信息的用户需求越来越高。当前主流媒体播放器通常需要在播放富媒体资源前先进行资源缓冲，媒体播放器一般在资源彻底缓冲完成或者仅当媒体资源缓冲到快进位置后才可以进行音视频媒体资源的播放。

在实现本发明的过程中，发明人发现现有技术至少存在以下不足：

（1）采用如上方式的媒体资源播放方法，如果待播放媒体资源较大或当用户快进快退操作较频繁时，用户打开媒体资源的等待时间就会较长。（2）同时在进行快进和后退功能时用户亦需要等待媒体资源的缓冲，极大程度上影响了用户的体验。

发明内容

本发明要解决的技术问题是针对上述不足，提供一种流媒体实时播放方法，采用本发明的播放方法，实现了以下目的：

1、根据网络实际情况自适应调整下载速度的高效数据下载。

2、快速定位快进快退资源位置，多线程高效缓存待播放媒体资源。

3、在网络状况受限的情况下，实现服务器与客户端间媒体资源高速传输、

流畅播放。

为解决以上问题，本发明采用以下技术方案：

一种流媒体实时播放方法，包括服务器端媒体资源处理步骤、客户端处理步骤和快进快退处理策略步骤。

以下是对上述技术方案的进一步改进：

所述服务器端媒体资源处理步骤，包括网络探针探测网络状态、媒体资源预处理、建立目录索引结构步骤。

所述网络探针探测网络状态步骤，服务器端开启守护进程通过固定频率向网络中发送icmp数据包探测的方式，根据icmp报文的应答时延计算网络平均时延来确定当前网络的拥塞状况。

所述网络探针探测网络状态步骤，网络探测方法采用对一段时间内的多点采样经过滤网络时延真实性后，几何平均时延的方式获得网络往返时延值。

所述媒体资源预处理步骤，通过网络探针探测后获取得到网络平均时延值后，在富媒体资源通过网络分发到客户终端设备前在服务器端需经过预处理过程将富媒体数据进行切割。

所述媒体资源预处理步骤，切割方式采用按照时长、切割后每段切片资源大小等策略进行切割操作；

切割后媒体资源的切片个数与网络优劣状态直接相关，网络状态较好时，减小切片个数，提高媒体资源播放时视频缓冲效率；当网络状态较差时，增加切片个数，使得每个切片的资源大小较小。

所述建立目录索引结构步骤，媒体资源预处理过程结束后，针对切割后的切片片段建立目录索引结构；建立好的目录索引结构记录了媒体资源切割过程中所参照的切割规则以及各个切片的详细信息。

所述快进快退处理策略步骤，当客户端接收到用户发出的快进/后退请求后，客户端首先根据用户快进快退的位置计算的出该快进快退时间点所对应的媒体资源起始时间位置；

然后客户端通过查询本地目录索引结构获取该起始时间应对应的切片片段；

在确认好起始播放的切片片段后，客户端判定本地是否已经下载完成该片段，如有则直接播放；否则客户端会启动多线程对该切片片段以及该切片片段后续的切片进行下载。

所述客户端处理步骤，包括客户端媒体资源下载播放、客户端自适应匹配网络状况和客户端合并视频切片步骤。

所述客户端媒体资源下载播放步骤，客户端媒体资源下载过程中，终端设备首先向服务器发送请求获取服务器端通过网络探针方式所得到的连接服务器与客户端间的网络状态参数，并启动初始线程下载服务器端存储的目录索引结构；

所述客户端自适应匹配网络状况步骤，客户端设备通过分析当前网络状况时延值td相较于之前测得的网络平均时延值tp之间的差值绝对值是否超过设定门限值θ，如果|td-tp|>θ,客户端则重新计算应启动的线程个数N以及调整未下载任务的重新划分；

所述客户端合并视频切片步骤，客户端在接到用户播放请求后会根据下载的目录索引结构重新对视频切片按序进行播放。

本发明基于媒体资源切割以及目录索引的媒体资源播放方法，具有以下优点：

1、通过视频切割技术结合建立目录索引结构的方法可以实现富媒体资源根据网络实际情况自适应调整下载速度的高效数据下载。

2、通过目录索引结构可以有效响应客户端快进请求，不需要等待媒体资源下载至快进点或者必须等待整个视频完整下载后才可以实现快进后退功能。满足用户实时在线播放流媒体资源的同时，可以快速进行媒体快进和后退的功能。

3、本方法对于媒体数据较大的资源可以将大任务进行分割为多个独立小任务，对于后续视频处理过程可以采用流水线方式同步处理，具有提升整个处理流程效率的优势。

4、经试验，选取多种网络环境下发媒体资源发现对于几十MB或者较小的文件，媒体资源下发效率相对于传统单线程下发方式可提升20%-30%；对于几百MB，几G大小的媒体资源下发时效率可以提升60%左右。

5、实测证明本方法对于较大文件通过文件切割，采用并发任务传输的方式可以有效的提高媒体资源下发效率，充分利用了网络的空闲资源。

下面结合附图和实施例对本发明做进一步说明。

附图说明

附图1本发明实施例中服务器端媒体资源处理过程示意图；

附图2 本发明实施例中客户端处理流程示意图；

附图3 本发明实施例中客户端快进快退功能处理流程示意图。

具体实施方式

实施例1

如图1、图2、图3所示，一种流媒体实时播放方法，采用如下步骤处理待分发传输的媒体资源数据。

一、服务器端媒体资源处理步骤

服务器端媒体资源处理过程如附图1所示，主要由3个模块组成：网络状态探测模块、预处理模块、建立目录索引模块；

如下按照媒体资源在服务器端处理过程的先后顺序分别介绍上述3个模块。

（1）网络探针探测网络状态

实施过程如附图1所示，服务器端开启守护进程通过固定频率向网络中发送icmp数据包探测的方式，根据icmp报文的应答时延计算网络平均时延来确定当前网络的拥塞状况；

选取采样频率大小与网络时延值计算的精确度有关，频率越大，抽样点数越多，计算的网络时延值会越精确；但抽样点数过多会给网络带来额外网络负担。取值过程中采样频率的取值需权衡网络压力、服务器压力以及时延精确度三者之间的关系，通常情况下服务器每隔5s-10s发送网络探测数据包即可满足时延计算精确度要求。

为排除网络状态的不稳定性，本方法中的网络探测方法采用对一段时间内的多点采样经过滤网络时延真实性后，几何平均时延的方式获得网络往返时延值。

本方法中随机选择抽样点数的方法为，设上文中采样间隔为10s发送一个采样数据包，则在每个采样的10s间隔内随机选择10s内的一个时间点发送网络探测数据包。

在收到网络返回的计算时延值后需过滤返回值的真实性，排除某一时间点因为短暂网络拥塞或者探测数据包丢失等引起的时延值计算不准确因素。对过滤后的数据包采用求几何平均值的方式计算平均时延。目前在相关文献中，对于计算网络时延值的方法中，采用随机采样抽点探测后并过滤网络返回值真实性后再计算几何平均值的方法比较少见。多数探测方法采用随机抽样检测后直接通过算术平均或者其他求平均值的方法计算网络时延平均值。这种方法相较本方法中采用过滤真实性的网络时延探测方法在精确度上存在劣势，没有充分考虑网络状态的突发情况。

（2）媒体资源预处理

通过步骤（1）中的网络探针探测后获取得到网络平均时延值后，在富媒体资源通过网络分发到客户终端设备前在服务器端需经过预处理过程将富媒体数据进行切割。

切割方式结合当前网络拥塞状态可采用类似按照时长、切割后每段切片资源大小等策略进行切割操作。

切割后媒体资源的切片个数与网络优劣状态直接相关，网络状态较好时，应减小切片个数，提高媒体资源播放时视频缓冲效率。当网络状态较差时，应增加切片个数，使得每个切片的资源大小较小，保证在媒体缓冲时可以快速下载每个切片，实现媒体资源流畅播放。

具体切片个数计算方法描述如下：设步骤（1）中计算得到网络平均时延用tp表示，经服务器切割模块预处理后分割得到的切片个数用C表示，在不考虑网络状态时按照预定切片大小或者预定切片时间进行切割所获得的切片个数用M表示，网络最后一次抽样获取得到的网络时延值用td表示。

则服务器端自适应匹配网络状态后，切片个数关系满足C=α*tp/td*M。

其中参数α为针对计算公式中对时延变化导致切片个数变化大小而设定的一个调节因子，在对媒体资源预处理切割过程中，如果需要对时延变化做出更灵敏反应，则可以设定α为一较大数值。如不需要过高灵敏度，则可以设定为一个较小数值。出于实际工程应用中，减轻智能终端以及服务器处理压力，α不宜设置为过大数值，在智能终端应用开发中设定α=0.8。

（3）建立目录索引结构

媒体资源预处理过程结束后，为便于服务器与客户端后续媒体资源信息处理流程，针对切割后的切片片段建立目录索引结构。

建立好的目录索引结构记录了媒体资源切割过程中所参照的切割规则以及各个切片的详细信息。例如切割方式按照时长还是大小，切割总块数，切割时长为多少（如果采用按照时长进行切割），切割大小为多少（如果采用按照大小进行切割），各个切割字视频的片段命名以及起始时长等信息。

二、客户端处理步骤

客户端处理步骤如附图2所示，客户端自服务器端获取得到网络平均时延，

网络当前时延等网络状态参数后，计算得到资源下载多线程个数，采用多线程方式并发下载媒体资源任务，最后合并所有切片恢复得到完整待下载资源。具体过程描述如下：

（1）客户端媒体资源下载播放

客户端媒体资源下载过程中，终端设备首先向服务器发送请求获取服务器端通过网络探针方式所得到的连接服务器与客户端间的网络状态参数（此过程在后续客户端下载过程中会每间隔固定时间就向服务器请求一次），并启动初始线程下载服务器端存储的目录索引结构。

在获取到网络连通状况和服务器端所建立的目录索引结构后，客户端根据当前网络状况以及切片个数计算得出客户端缓冲视频过程中所采用的多线程个数N。

客户端根据要建立的线程个数N将整个服务器端存储的切片片段分为与线程个数等同的N个独立下载任务。

客户端采用多线程方式自服务器下载媒体资源。线程个数N应反比于网络平均时延值tp。当tp数值较小时，代表网络状态良好，应创建更多线程进行同步下载切片片段；当tp数值较大时，代表当前网络状态较差，应减少创建的线程个数同步下载切片片段。

（2）客户端自适应匹配网络状况

媒体资源传输过程中，根据服务器端媒体资源处理步骤的步骤（1）中所描述探测方法，服务器端网络监测线程每间隔固定时间会自动通过网络探针监测网络状况，客户端每间隔固定时间tm会向服务器请求网络状态。客户端设备通过分析当前网络状况时延值td相较于之前测得的网络平均时延值tp之间的差值绝对值是否超过设定门限值θ，如果|td-tp|>θ,客户端则重新计算应启动的线程个数N以及调整未下载任务的重新划分。

门限值的选取是作为前后两次时延探测值是否标志着网络状态发生变化的标准，当两次时延探测值差值的绝对值如果大于门限值，代表着前后两个时间点网络的状态发生了较大变化，足以对网络下发数据包的效率产生影响，这时下发进程需自适应调整资源划分任务数。如果绝对值差值小于门限值，考虑网络时延状态具有突发性，不对资源下发任务进程进行调整，减小服务器处理压力。门限值为本方法中的自适应调整策略的触发阀值，实际工程实现中，由于服务器重新划分任务资源的处理压力以及客户端重建多线程下载任务处理压力较大，建议将门限值设置为相对当前平均时延值的一个较大值，建议设当前平均时延值为tp,则θ可取值为0.5*tp。即仅当网络时延相较当前平均时延增大或者减小0.5倍时才会做自适应策略调整。

（3）客户端合并视频切片

客户端在接到用户播放请求后会根据下载的目录索引结构重新对视频切片按序进行播放。如果客户端用户希望下载播放的媒体资源，则当客户端下载到所有视频切片后，客户端需要使用媒体资源合成工具将所有切片按照目录索引结构进行合并，恢复出原始媒体资源。

三、快进快退处理策略

快进快退功能实现过程如附图3所示，客户端根据快进快退时间点定位起

始播放片段后，对该片段及后续片段进行缓冲，而不是等待媒体资源缓冲至快进时间点后才开始播放。具体过程描述如下：

客户端快进快退功能：

当客户端接收到用户发出的快进/后退请求后，客户端首先根据用户快进快退的位置计算的出该快进快退时间点所对应的媒体资源起始时间位置。

然后客户端通过查询本地目录索引结构获取该起始时间应对应的切片片段。

在确认好起始播放的切片片段后，客户端判定本地是否已经下载完成该片段，如有则直接播放；否则客户端会启动多线程对该切片片段以及该切片片段后续的切片进行下载。

相较传统方法本发明的优势：

1、本方法中资源在下发前经过预处理流程，将整个媒体资源切片成多个媒体片段。下发过程中结合多线程并行下载，相较于传统单一线程下载整个媒体资源的方式提高了资源下发效率，可以充分利用网络的空闲资源。

2、本方法中服务器端使用网络探针探测网络当前状态。具体实现中，媒体下发策略（多线程个数）会自适应匹配网络状况，相较于传统资源下发方式，本方法具有对网络拥塞状态灵敏度高，对网络的不稳定性适应性强，适应范围广的优点。

3、快进快退功能，传统方法实现中需要等待媒体资源缓冲，只有当媒体资源缓冲到快进点时才可以开始播放。本方法中通过对原始媒体资源进行切片处理，在快进快退时，客户端可以通过快进快退进度定位起始下载切片，只需下载该切片后续的切片片段，无需等待媒体资源缓冲到该时间点。

实验室环境下，本方法分别测试了对于媒体资源为几十MB，几百MB，几G

级的媒体资源下发效率。

在设置服务器端网络探测数据包发送频率为每隔10s发送一个；不考虑网络状态时按照预定切片大小或者预定切片时间进行切割的基本切片个数M等于5；切片个数计算公式C=α*tp/td*M中的调节因子α=0.8；网络自适应调整策略触发门限值θ取值为0.5*tp，即平均时延值的一半时；网络状况随机。

经过实际测试，选取多种网络环境下发媒体资源发现对于几十MB或者较小的文件，媒体资源下发效率相对于传统单线程下发方式可提升20%-30%；对于几百MB，几G大小的媒体资源下发时效率可以提升60%左右。

实测证明本方法对于较大文件通过文件切割，采用并发任务传输的方式可以有效的提高媒体资源下发效率，充分利用了网络的空闲资源。

本领域技术人员应该认识到，上述的具体实施方式只是示例性的，是为了使本领域技术人员能够更好的理解本发明内容，不应理解为是对本发明保护范围的限制，以上实施例为最优化的技术方案，只要是根据本发明技术方案所作的改进，均落入本发明的保护范围。

Claims (1)

1.一种流媒体实时播放方法，其特征在于 ：包括服务器端媒体资源处理步骤、客户端处理步骤和快进快退处理策略步骤；

所述服务器端媒体资源处理步骤，包括网络探针探测网络状态、媒体资源预处理、建立目录索引结构步骤；

所述网络探针探测网络状态步骤，服务器端开启守护进程通过固定频率向网络中发送icmp 数据包探测的方式，根据 icmp 报文的应答时延计算网络平均时延来确定当前网络的拥塞状况；

所述网络探针探测网络状态步骤，网络探测方法采用对一段时间内的多点采样经过滤网络时延真实性后，几何平均时延的方式获得网络往返时延值；

所述媒体资源预处理步骤，通过网络探针探测后获取得到网络平均时延值后，在富媒体资源通过网络分发到客户终端设备前在服务器端需经过预处理过程将富媒体数据进行切割；

所述媒体资源预处理步骤，切割方式采用按照时长、切割后每段切片资源大小策略进行切割操作 ；服务器端自适应匹配网络状态后，切片个数关系满足 C=α*tp/td*M，α=0.8；所述建立目录索引结构步骤，媒体资源预处理过程结束后，针对切割后的切片片段建立目录索引结构 ；建立好的目录索引结构记录了媒体资源切割过程中所参照的切割规则以及各个切片的详细信息；

所述快进快退处理策略步骤，当客户端接收到用户发出的快进 / 后退请求后，客户端首先根据用户快进快退的位置计算的出该快进快退时间点所对应的媒体资源起始时间位置 ；然后客户端通过查询本地目录索引结构获取该起始时间应对应的切片片段 ；在确认好起始播放的切片片段后，客户端判定本地是否已经下载完成该片段，如有则直接播放 ；否则客户端会启动多线程对该切片片段以及该切片片段后续的切片进行下载；

所述客户端处理步骤，包括客户端媒体资源下载播放、客户端自适应匹配网络状况和客户端合并视频切片步骤；

所述客户端媒体资源下载播放步骤，客户端媒体资源下载过程中，终端设备首先向服务器发送请求获取服务器端通过网络探针方式所得到的连接服务器与客户端间的网络状态参数，并启动初始线程下载服务器端存储的目录索引结构 ；所述客户端自适应匹配网络状况步骤，客户端设备通过分析当前网络状况时延值 td相较于之前测得的网络平均时延值 tp 之间的差值绝对值是否超过设定门限值 θ，如果

|td-tp|>θ, 客户端则重新计算应启动的线程个数 N 以及调整未下载任务的重新划分 ；所述客户端合并视频切片步骤，客户端在接到用户播放请求后会根据下载的目录索引结构重新对视频切片按序进行播放；

所述门限值 θ设定为0.5*tp，即网络时延相较当前平均时延增大或者减小0.5倍时会做自适应策略调整。