CN105577645A - 基于代理的hls客户端装置及其实现方法 - Google Patents

Abstract

本发明涉及一种基于代理的HLS客户端装置，包括管理模块、代理模块和原生播放器模块，其中：所述管理模块用于向所述代理模块发出视频请求命令；所述代理模块基于所述视频请求命令向HLS流媒体服务器请求流媒体数据，接收所请求的流媒体数据并对其进行解析，以及将解析后得到的音视频流发送给所述原生播放器模块；以及所述原生播放器模块对所述音视频流进行硬解码并进行同步播放。本发明通过在HLS客户端中嵌入能灵活高效地支持HLS协议技术的代理模块，解决了原生播放器对HLS流媒体支持不足的缺陷，充分利用了原生播放器的硬件解码性能播放高清视频，增强了观看高清视频的用户体验。

Description

基于代理的HLS客户端装置及其实现方法

技术领域

本发明涉及多媒体通信领域，尤其涉及一种基于代理的HLS客户端装置及其实现方法。

背景技术

近年来，随着移动互联网的发展和移动设备的普及，流媒体业务成为移动互联网中最典型的应用。然而传统流媒体协议在互联网中受到不同程度的制约，因此产生了很多新的流媒体协议。其中，最具代表性的是苹果公司针对流媒体业务提出的HLS(HTTPLiveStreaming)。与传统流媒体协议(RTMP、RTSP、RTP等)相比，HLS具有实现简单、高效、可扩展、兼容性强、交互方便和低成本的优点。基于此，如何在嵌入式终端上，如手机，机顶盒等，实现高效稳定的HLS客户端成为人们竞相研究的热点。

目前终端上HLS协议实现方式有两种：一种是使用嵌入式系统平台内置的自带播放器，为支持高分辨率视频，解码一般都采用硬件加速的方式，但由于不同系统的实现方案参差不齐，有些方案对HLS协议的支持不够好，而此时开发人员无法对其进行修改，只能等待硬件厂商升级系统才能解决问题；还有一种是使用用户安装的第三方软件客户端，这种客户端一般情况下对HLS协议的支持比较好，但由于厂商不对外开放硬件解码接口，所以只能采用软解码的方式。但是如果仅仅使用软解码进行音视频的解码，难以支撑高分辨率视频。虽然嵌入式原生播放器能力越来越强，但用户对视频分辨率要求也越来越高，采用纯软件解码的方式，高清视频容易出现卡顿、马赛克等现象。

因此，如何充分利用嵌入式系统平台上高效的视频硬件解码性能，又能提高HLS协议支持的灵活性，成为亟待解决的难题。

发明内容

本发明的目的是提供一种能够克服上述缺陷的代理的HLS客户端装置及其实现方法。

在第一方面，本发明提供了一种基于代理的HLS客户端装置，包括管理模块、代理模块和原生播放器模块，其中：所述管理模块用于向所述代理模块发出视频请求命令；所述代理模块基于所述视频请求命令向HLS流媒体服务器请求流媒体数据，接收所请求的流媒体数据并对其进行解析，以及将解析后得到的音视频流发送给所述原生播放器模块；以及所述原生播放器模块对所述音视频流进行硬解码并进行同步播放。

优选地，所述代理模块包括：请求模块，用于与所述HLS流媒体服务器进行交互，向所述HLS流媒体服务器发出HTTP请求并在其响应后接收所请求的HLS流媒体数据；解析模块，用于对所述HLS流媒体数据进行解析，并将解析后得到的音视频流发送到分发模块；分发模块，用于向原生播放器分发所述音视频流。

优选地，所述解析模块对所述HLS流媒体数据进行解析包括：对流媒体协议进行协议解析，包括对HLS流媒体数据中的主级索引文件和媒体索引文件进行解析；以及根据传输流TS封装格式对HLS流媒体数据中的媒体片段进行解封装。

优选地，所述主级索引文件包含HLS流媒体数据的码率信息，所述解析模块还用于对所述媒体索引文件进行更新，其中：对于直播，若更新后的媒体索引文件有变化，则重新设置更新周期；若第一次更新后的媒体索引文件无变化，则在设定的等待时间后进行更新；若连续两次或更多次更新后的媒体索引文件无变化，则逐步增加所述设定的等待时间。对于点播，在所述码率信息发生变化后进行所述媒体索引文件的更新。

优选地，所述代理模块还用于向所述管理模块发出重定向消息，以便于所述管理模块基于该重定向消息重新发送视频请求命令；以及

所述解析模块还用于进行带宽估计、码率选择和资源监测。

在第二方面，本发明提供了一种基于代理的HLS客户端装置的实现方法，包括：发出视频请求命令；基于所述视频请求命令向HLS流媒体服务器请求流媒体数据，接收所请求的流媒体数据并对其进行解析，得到音视频流；以及对所述音视频流进行硬解码并进行同步播放。

优选地，基于所述视频请求命令向HLS流媒体服务器请求流媒体数据的步骤，具体为向所述HLS流媒体服务器发出HTTP请求并在其响应后接收所请求的HLS流媒体数据。

优选地，接收所请求的流媒体数据并对其进行解析的步骤包括：对流媒体协议进行协议解析，包括对HLS流媒体数据中的主级索引文件和媒体索引文件进行解析；以及根据传输流TS封装格式对HLS流媒体数据中的媒体片段进行解封装。

优选地，所述主级索引文件包含HLS流媒体数据的码率信息，所述解析模块还用于对所述媒体索引文件进行更新，其中：对于直播，若更新后的媒体索引文件有变化，则重新设置更新周期；若第一次更新后的媒体索引文件无变化，则在设定的等待时间后进行更新；若连续两次或更多次更新后的媒体索引文件无变化，则逐步增加所述设定的等待时间。对于点播，在所述码率信息发生变化后进行所述媒体索引文件的更新。

优选地，所述方法还包括：发出重定向消息，以便基于该重定向消息重新发送视频请求命令；以及进行带宽估计、码率选择和资源监测。

本发明通过在HLS客户端中嵌入能灵活高效地支持HLS协议技术的代理模块，解决了原生播放器对HLS流媒体支持不足的缺陷，充分利用了原生播放器的硬件解码性能播放高清视频，增强了观看高清视频的用户体验。

附图说明

图1是根据本发明实施例的基于代理的HLS客户端装置的系统框图；

图2是在图1的解析模块中进行TS封装解析的示例TS包格式的示意图；

图3是根据本发明实施例的基于代理的HLS客户端装置的工作流程图；

图4是图1中的代理模块的工作流程图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1是根据本发明实施例的基于代理的HLS客户端装置的系统框图参考附图1，根据本发明的客户端装置包括管理模块、原生播放器模块和代理模块，其中代理模块包括以下子模块：请求模块、解析模块和分发模块。管理模块负责客户端装置中其余模块的逻辑控制以及处理VCR视频命令，包括但不限于视频请求、播放、暂停、快进、快退、选时、切换字幕、退出等。同时，管理模块还负责各模块间的启动、等待、同步以及终止控制。原生播放器模块负责音视频的解码和播放。请理解，图1中的附图标记“原生播放器”与此处提到的“原生播放器模块”指同一模块。

在代理模块中，请求模块充当代理模块的网络接口，负责和HLS流媒体服务器交互，即向HLS服务器发出HTTP请求，在HLS服务器响应后获取HLS流媒体数据。例如，请求模块的媒体请求格式可以为URL(UniformResourceLocator)格式，其定位符指向HLS服务器上索引文件的地址。解析模块负责解析HLS流媒体数据，得到适合原生播放器播放的音视频数据，其功能包括流媒体协议解析、TS封装解析以及索引文件更新、算法等扩展功能。分发模块负责向原生播放器分发音视频数据。

下面，对该装置的关键模块的实现进行详细说明。

所述请求模块向HLS服务器发出HTTP请求，并接收HLS服务器响应后发送的流媒体数据。本领域技术人员应当理解，所述请求模块实则充当HTTP客户端，可自行编写该HTTP客户端的功能或者直接向其中移植成熟的库。

所述解析模块包含但不限于以下功能：流媒体协议解析、TS封装解析、索引文件更新以及带宽估计、码率选择和资源监测等等。

所述解析模块中流媒体协议解析是指对HLS流媒体里的M3U8索引文件(主级索引文件和媒体索引文件)进行解析，应严格按照HLS标准文档规定进行实现，其步骤如下：

1)解析主级索引文件

主级索引文件包含同一视频内容不同码率的媒体索引文件链接，以及各个码率对应的其他信息，例如包括码率值、平均码率值、视频分辨率、音视频编码码率等；

2)解析媒体索引文件

媒体索引文件包含该码率下各个视频段的链接以及其他信息，例如包括视频分段大小、序列号、播放类型、媒体段链接等。

下面参考图2对解析模块中TS的封装解析的基本原理进行描述，图2是在图1的解析模块中进行TS封装解析的示例TS包格式的示意图。

先简要介绍一下传输流(TransportStream，TS)中的TS包的结构，TS包由包头和净荷组成。包头一般为4Byte，例如包括8bit的同步字节，1bit的误码指示，1bit的单元起始指示，1bit的传输优先级，13bit的PID，2bit的加扰控制，2bit的AF控制以及4bit的连续性计数器。有条件编码的净荷例如为184Byte，有效负载的结尾通过填充适当大小的AF对齐，

解析模块中TS封装解析是指根据TS封装格式要求对媒体片段解封装，其中包括PAT表和PMT表的查找。首先，查找TS流中PID为0x0000的包，PID为0x0000的包负荷存着PAT(ProgramAssociationTable，节目关联表)表；PAT表定义了当前TS流中所有的节目，主要包含节目号码和每一个节目对应的PMT(ProgramMapTable，节目映射表)的PID号码。找到PAT表后，读取表中PMT表的PID。PMT表中包含了所有音视频、及其他数据的PID，由PMT表得到所需要的音视频PID，然后在接收TS流过程中不断过滤出当前音视频PID数据，便完成TS流的解析。

所述解析模块中索引文件更新部分，可以按照以下规则进行：

对于直播，若更新后的索引文件变化了，那么可以将更新周期设置为一个段长时间；若更新后的索引文件没有变化，那么可以第一次等待半个段长时间进行更新；若连续两次更新无变化，则可以等待一个半个段长时间进行更新。简言之，规则可以是：若更新后的媒体索引文件有变化，则重新设置更新周期；若第一次更新后的媒体索引文件无变化，则在设定的等待时间后进行更新；若连续两次或更多次更新后的媒体索引文件无变化，则逐步增加所述设定的等待时间。

1)对于点播，仅在发生码率变化后进行新的媒体索引文件的更新。

另外，如上所述，所述解析模块还用于进行带宽估计、码率选择、资源监测等。

所述分发模块起分发服务器作用，其通过内部网络将音视频以网络字节流形式传送给原生播放器。例如，分发模块可采用轻量级web服务器的形式，轻量级web服务器比如可以采用lighthttpd等等。

所述原生播放器模块是指原生系统自带的播放器，具备硬件解码、同步播放功能。在本客户端装置中具有以下作用：

1)对收到的音视频数据进行硬件解码

2)同步播放解码后的音视频数据

第二方面，附图3和附图4为根据本发明实施例的一种基于代理的HLS客户端装置的工作流程图，具体流程如下所述。

图3是根据本发明实施例的基于代理的HLS客户端装置的工作流程图，其具体流程为：

在步骤s301，管理模块启动后进行所需资源的初始化；

在步骤s302，管理模块向代理模块发出视频请求命令；

在步骤s303，管理模块等待代理模块的响应；

在步骤s304，管理模块判定代理模块发出消息的类型，若代理模块发出重定向消息，则重复s302步骤；若代理模块发出的不是重定向消息，则进入s305步骤；

在步骤s305，原生播放器接受来自代理装置的分发模块发出的视频数据；

在步骤s306，原生播放器调用硬件解码接口对接收到的视频数据进行硬解码；

在步骤s307，原生播放器同步播放视频；

在步骤s308，管理模块判定用户是否发出退出命令，若用户发出退出命令，则进入s309步骤；若用户没有发出退出命令，则重复s305步骤；

在步骤s309，管理模块接受用户的退出命令并向代理装置发出退出命令；

在步骤s3010，管理模块释放资源并退出。

图4是图1中的代理模块的工作流程图，其具体流程为：

在步骤s401，启动并对各模块进行初始化；

在步骤s402，接收到管理模块视频请求后，向其发送重定向命令，使原生播放器链接到代理模块；

在步骤s403，由请求模块向HLS服务器请求流媒体数据；

在步骤s404，代理装置接收到来自HLS服务器的流媒体数据后，由解析模块对其进行解析；

在步骤s405，代理装置将解析后的音视频流通过分发模块发送给原生播放器；

在步骤s406，监测是否有退出命令，若有退出命令，则进入s407步骤；若没有退出命令，则重复s403步骤；

在步骤s407，释放资源并退出。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明。所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于代理的HLS客户端装置，包括管理模块、代理模块和原生播放器模块，其中：

所述管理模块用于向所述代理模块发出视频请求命令；

所述代理模块基于所述视频请求命令向HLS流媒体服务器请求流媒体数据，接收所请求的流媒体数据并对其进行解析，以及将解析后得到的音视频流发送给所述原生播放器模块；以及

所述原生播放器模块对所述音视频流进行硬解码并进行同步播放。

2.根据权利要求1所述的装置，其中，所述代理模块包括：

请求模块，用于与所述HLS流媒体服务器进行交互，向所述HLS流媒体服务器发出HTTP请求并在其响应后接收所请求的HLS流媒体数据；

解析模块，用于对所述HLS流媒体数据进行解析，并将解析后得到的音视频流发送到分发模块；

分发模块，用于向原生播放器分发所述音视频流。

3.根据权利要求1所述的装置，其中，所述解析模块对所述HLS流媒体数据进行解析包括：

对流媒体协议进行协议解析，包括对HLS流媒体数据中的主级索引文件和媒体索引文件进行解析；以及

根据传输流TS封装格式对HLS流媒体数据中的媒体片段进行解封装。

4.根据权利要求3所述的装置，其中，所述主级索引文件包含HLS流媒体数据的码率信息，所述解析模块还用于对所述媒体索引文件进行更新，其中：

对于直播

若更新后的媒体索引文件有变化，则重新设置更新周期；

若第一次更新后的媒体索引文件无变化，则在设定的等待时间后进行更新；

若连续两次或更多次更新后的媒体索引文件无变化，则逐步增加所述设定的等待时间。

对于点播

在所述码率信息发生变化后进行所述媒体索引文件的更新。

5.根据权利要求1所述的装置，其中：

所述代理模块还用于向所述管理模块发出重定向消息，以便于所述管理模块基于该重定向消息重新发送视频请求命令；以及

所述解析模块还用于进行带宽估计、码率选择和资源监测。

6.一种基于代理的HLS客户端装置的实现方法，包括：

发出视频请求命令；

基于所述视频请求命令向HLS流媒体服务器请求流媒体数据，接收所请求的流媒体数据并对其进行解析，得到音视频流；以及

对所述音视频流进行硬解码并进行同步播放。

7.根据权利要求6所述的方法，其中：

基于所述视频请求命令向HLS流媒体服务器请求流媒体数据的步骤，具体为向所述HLS流媒体服务器发出HTTP请求并在其响应后接收所请求的HLS流媒体数据。

8.根据权利要求6所述的方法，其中，接收所请求的流媒体数据并对其进行解析的步骤包括：

对流媒体协议进行协议解析，包括对HLS流媒体数据中的主级索引文件和媒体索引文件进行解析；以及

根据传输流TS封装格式对HLS流媒体数据中的媒体片段进行解封装。

9.根据权利要求8所述的方法，其中，所述主级索引文件包含HLS流媒体数据的码率信息，所述方法还包括对所述媒体索引文件进行更新，其中：

对于直播

若更新后的媒体索引文件有变化，则重新设置更新周期；

若第一次更新后的媒体索引文件无变化，则在设定的等待时间后进行更新；

若连续两次或更多次更新后的媒体索引文件无变化，则逐步增加所述设定的等待时间。

对于点播

在所述码率信息发生变化后进行所述媒体索引文件的更新。

10.根据权利要求6所述的方法，还包括：

发出重定向消息，以便基于该重定向消息重新发送视频请求命令；以及

进行带宽估计、码率选择和资源监测。