CN104519372B - 一种流媒体播放的切换方法和系统 - Google Patents

Abstract

本发明公开了一种流媒体播放的切换方法和系统。方法包括步骤：从流媒体服务器下载并保存多个码率信息、对应码率的资源地址信息，对应多个码率信息创建多个线程，下载并解析多个码率资源的索引信息，流媒体播放过程中多个线程分别刷新对应码率资源索引信息的序列号，如果多个线程刷新出来的序列号不一致，根据各个码率资源的片段获取各个码率资源的基础时钟，并根据不同码率资源的基础时钟和对应的序列号偏差，根据不同码率的时间偏差切换到对应位置播放。系统包括Source模块、解析模块、解码器和输出模块。本发明解决了网络流媒体播放自适应动态切换过程中出现的音视频不同步、画面不连续的问题。本发明可广泛应用于各种流媒体播放的切换系统。

Description

一种流媒体播放的切换方法和系统

技术领域

本发明涉及一种流媒体播放技术，尤其涉及一种流媒体播放的切换方法，本发明还涉及一种流媒体播放的切换系统。

背景技术

随着流媒体技术的普及，越来越多流媒体协议提出自适应，所谓的自适应，即服务器将媒体打包成不同清晰度、不同分辨率，并且将这些内容通过一定协议呈现，终端设备使用对应协议，根据自身的网速、CPU、硬解性能进行动态切换不同码率、分辨率进行播放，以提高用户体验。

目前大部分终端设备播放网络流媒体都需要用户手动选择视频播放模式，不支持自动切换，其主要原因是因为不同分辨率流媒体数据编码格式、编码参数不同，客户端自动切换需要重新加载解码器，这样会造成音视频不同步，视频画面卡顿，出现杂音等现象；同时由于客户端和服务器数据访问存在延时，不同分辨率索引文件存在差异，无法准确建立索引关联，切换过程中，存在重复播播放已经观看过的，严重影响用户体验。

对于手动切换，操作不是很智能，而且在播放过程中，手动切换实际上是重置播放器，选择新地址进行播放，这样在切换过程中需要一定时间的缓冲等待时间，播放过程中受网络因素影响可能需要频繁缓冲，影响用户体验。

发明内容

为了解决上述技术问题，本发明的目的是提供一种能解决网络流媒体播放自适应切换过程中出现的音视频不同步、画面不连续问题的切换方法。

为了解决上述技术问题，本发明的目的是提供一种能解决网络流媒体播放自适应切换过程中出现的音视频不同步、画面不连续问题的切换系统。

本发明所采用的技术方案是：

一种流媒体播放的切换方法，其包括步骤：S1，解析并判断所要播放的流媒体是否为多码率，若为多码率，则执行步骤S2；S2，解析并获取每个码率对应资源的资源索引信息，并对应每个码率创建一个线程；S3，在流媒体播放需要进行码率切换时，每个线程分别刷新对应码率资源索引信息的序列号，如果多个线程刷新出来的序列号一致，则进入步骤S4，否则进入步骤S5；S4，直接切换到与当前网络速度匹配的码率资源或切换到所需的其它码率资源；S5，根据各个码率的序列号，计算出不同码率的具体时间偏差，在进行码率切换时，根据不同码率的具体时间偏差，切换到所要切换到码率的对应时间位置进行播放。

优选的，所述步骤S5具体包括子步骤：S51，下载各个码率资源的片段；S52，根据各个码率资源的片段获取各个码率资源的基础时钟；S53，根据不同码率资源的基础时钟和对应的序列号偏差，计算出不同码率播放的具体时间偏差；S54，根据当前网络速度，判断是否需要切换到其它码率播放；S55，根据不同码率播放的具体时间偏差，无缝切换到最佳码率上进行播放。

优选的，所述步骤S4具体包括子步骤：S41，在对应码率资源地址下载资源数据；S42，解析资源数据的编码格式；S43,使用对应的解码器对资源数据进行解码并输出播放。

优选的，其还包括步骤：S0，获取流媒体资源数据的编码格式，并根据编码格式预留用于缓冲不同编码格式流媒体资源数据的内存空间和用于解析流媒体资源的解码器。

优选的，所述步骤S0具体包括子步骤：S01，预下载部分流媒体资源数据，分析并获取流媒体资源数据的编码格式；S02，根据编码格式预留用于缓存不同编码格式流媒体资源数据的内存和用于解析流媒体资源的解码器，创建内存中存放流媒体资源的内存索引信息，所述内存索引信息包括分片长度和编码类型信息。

优选的，其还包括步骤：S6，下载流媒体资源数据分片到内存中，更新内存中的索引信息和数据读写指针，并且计算下载流媒体资源数据的大小和时间；S7，根据下载流媒体资源数据的大小和时间，判断是否需要切换到其他码率的地址上进行播放。

一种流媒体播放的切换系统，其用于实施一种流媒体播放的切换方法，其包括：Source模块，用于下载对应数据，所述对应数据包括多个码率信息、对应码率的资源地址信息；解析模块，用于解析流媒体资源的数据格式；解码器，用于对流媒体资源数据的解码操作；输出模块，用于流媒体资源的输出播放。

优选的，所述对应数据还包括：部分流媒体资源数据和/或流媒体资源数据的编码格式信息，所述解析模块解析流媒体资源数据的编码格式并为相应的流媒体资源数据预留解码器。

优选的，其还包括用于缓存多个编码格式流媒体资源分片的内存。

本发明的有益效果是：

本发明一种流媒体播放的切换方法通过创建对应线程，分别下载并跟踪多个码率资源的索引信息，通过索引信息中的序列号判断是否可以无缝切换，通过基础时钟确认不同码率之间对应的关系，保证切换过程中画面无缝播放，解决了网络流媒体播放自适应动态切换过程中出现的音视频不同步、画面不连续的问题。

另外，本发明还通过计算网络平均速度，实现切换最佳码率的选择；通过对不同编码格式流媒体资源的预处理，实现不同编码格式流媒体资源的无缝切换；通过预留用于缓存流媒体资源分片的内存，实现快速切换的同时减少内存碎片。

本发明可广泛应用于各种流媒体播放的切换系统。

本发明的另一个有益效果是：

本发明一种流媒体播放的切换系统通过Source模块和解析模块，实现对不同码率资源和/或不同编码格式的流媒体资源的预处理，进而实现不同码率资源切换过程中的无缝连接，提高了用户体验。

本发明可广泛应用于各种流媒体播放的切换系统。

附图说明

下面结合附图对本发明的具体实施方式作进一步说明：

图1是发明一种流媒体播放的切换方法对应的程序流程图；

图2是本发明一种实施例三种码率索引信息中序列号对应关系示意图；

图3是本发明一种实施例不同编码格式流媒体资源在内存中的存储示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明一种流媒体播放的切换方法包括两部分:

1.自适应流媒体数据不同码率资源下载算法的优化，适用于具有多码率的流媒体资源；

2.自适应流媒体数据不同编码格式资源切换算法的优化，适用于具有不同编码格式的流媒体资源。

自适应流媒体数据不同码率资源下载算法的优化，包括步骤：

S1，解析并判断所要播放的流媒体是否为多码率，若为多码率，则执行步骤S2；

S2，解析并获取每个码率对应资源的资源索引信息，并对应每个码率创建一个线程；

如图1所示，以机顶盒媒体播放器播放三种码率资源（高等码率High、中等码率Mid、低等码率Low）为例，详述工作过程。

当机顶盒媒体播放器接收到播放流媒体请求时，Source模块解析相关地址，根据地址格式采用相应协议发起连接请求，等待服务器响应，下载部分数据，预解析服务器返回的数据；如Http Live Streaming(HLS)协议返回m3u8文件，smooth streaming协议返回manifest文件，mpeg-dash返回mpd文件。播放器预解析数据源格式，动态加载解析器，并且选择分数较高的插件，当解析器匹配成功后，同时还能获取音视频的编码方式。

S3，如图2所示，在流媒体播放需要进行码率切换时，每个线程分别刷新对应码率资源索引信息的序列号，如果多个线程刷新出来的序列号一致，则进入步骤S4，否则进入步骤S5；

在本实施例中，对于多码率资源，Source模块下载完描述文档后，即可以知道自适应流的信息，此时，播放器首先将自适应流信息按照码率高低进行排序，默认选择中等码率Mid开始播放，这样可以避免最低码率Low是音频的情况，并且默认情况下，自动切换过程中不切换到只有音频的列表。

下面给出一个基于HLS协议自适应实例，机顶盒根据输入地址，首先下载出来的是索引信息playlist：

#EXTM3U

#EXT-X-STREAM-INF:PROGRAM-ID=1127167744,BANDWIDTH=400000

video_mid.m3u8

#EXT-X-STREAM-INF:PROGRAM-ID=1127167744,BANDWIDTH=1000000

video_high.m3u8

#EXT-X-STREAM-INF:PROGRAM-ID=1127167744,BANDWIDTH=20000

audio_only.m3u8

文件中描述了该流支持高清（高等码率High）、标清（中等码率Mid）和只有音频（低等码率Low）的三种不同方式进行播放，并且给出对应码率的资源地址；机顶盒获取此数据后，通过解析此文件，将地址按照码率信息进行排序，并保持每个地址的信息，然后选择中级码率对应的地址进行播放。

S4，直接切换到与当前网络速度匹配的码率资源或切换到所需的其它码率资源。优选的，所述步骤S4具体包括子步骤：S41，在对应码率资源地址下载资源数据；S42，解析资源数据的编码格式；S43,使用对应的解码器对资源数据进行解码并输出播放。

S5，根据各个码率的序列号，计算出不同码率的具体时间偏差，在进行码率切换时，根据不同码率的具体时间偏差，切换到所要切换到码率的对应时间位置进行播放。优选的，所述步骤S5具体包括子步骤：S51，下载各个码率资源的片段；S52，根据各个码率资源的片段获取各个码率资源的基础时钟；S53，根据不同码率资源的基础时钟和对应的序列号偏差，计算出不同码率播放的具体时间偏差；S54，根据当前网络速度，判断是否需要切换到其它码率播放；S55，根据不同码率播放的具体时间偏差，无缝切换到最佳码率上进行播放。

该实施例中，为了快速计算出网速，保证自动切换码率不出现音视频不同步，只有视频没有音频等情况，机顶盒根据自适应列表个数，创建对应线程个数同时下载每个列表中对应m3u8文件，同时解析m3u8文件中的EXT-X-MEDIA-SEQUENCE标签的值。每个线程重试三次刷新对应m3u8列表，如果每个线程刷新出来的序列号一致，表明此自适应流每个列表是同步的，自动切换过程中不会出现播放重复内容的情况；如果不一样（如图2所示），或者多次刷新出来出现偏差，说明每个播放列表中时间可能存在偏差，这时候，如果根据序列号自动切换，会出现不连续的情况，即观看的视频可能重复观看，或者跳跃观看，通常HLS协议中，每个TS片段推荐时长为10s，这样观看过程中重复观看效果十分不好。为了解决上述问题，机顶盒分别下载每个列表中的第一个TS片段并进行解析操作，获取TS片段中的PCR/PTS时间（基础时钟），并计算出每个列表中序列表号的具体偏差，通过这种改进，可以避免码率切换过程中，出现播放重复片段，造成音视频不同步，卡顿等情况。

相比常见媒体播放器，本方法有如下优点：

1、根据播放列表，将不同码率进行排序，首次播放选择中等码率进行播放，避开了音视频共存的情况，即最低码率只有音频没有视频。

2、首次播放过程中，创建对应线程，分别下载每个自适应流的索引信息，判断是直播或者点播。如果是直播，服务器经常存在编码效率问题，导致不同码率存在一定时间差，本方法改进通过序列号判断是否可以无缝切换，即当序列号不同时候，说明服务器编码有一定的先后，切换过程中可能会播放相同节目内容。

3、当序列号不一致，分别下载每个列表中的第一个TS片段部分数据，解析TS中的PCR（基础时钟）值，进行比较，进行序列号映射，如图2，Low playlist为低等码率播放列表序列号，Mid playlist为中等码率播放列表序列号，High playlist为高等码率播放列表序列号。Mid playlist的序列号每次比High playlist和Low playlist大，所以播完中等码率Mid第2序列号对应的内容后，自动切换要播放高等码率High第2序列号对应的内容，再次切换要播放中等码率Mid第4序列号对应的内容，否则自动切换由于时间不一致会造成卡顿。本方法通过最开始下载少部分数据，进行PCR/PTS（基础时钟）跟踪，确认不同码率之间对应的关系，保证切换过程中画面无缝播放。

4、由于媒体一开始播放无法准确的获取当前网速，所以一般客户端都需要播放一定时间后才能切换，本方法在下载数据计算PCR偏差过程中，就可以求得平均速度，可以很快获取当前系统的平均网络速度，快速切换到最佳码率上进行播放。

对于编码格式相同，码率不同的流媒体，切换过程中，可能出现音视频卡顿，不连续等情况。但对于编码格式不一样的流媒体，自动切换后，会直接出现无法播放的情况，如标清的采用mpeg2编码，高清的采用H.264编码，直接切换会造成无法播放，出现噪音等情况，而一般播放器是让用户手动切换，手动切换每次都要重新初始化播放器。即使是自动切换，每次切换还是要重新初始化播放器，这样会造成短暂的黑屏，用户体验不好。因此，作为本发明的一种改进方案，本发明还具备自适应流媒体数据不同编码格式资源切换算法的优化，除了上述步骤，其还包括步骤：S0，获取流媒体资源数据的编码格式，并根据编码格式预留用于缓冲不同编码格式流媒体资源数据的内存空间和用于解析流媒体资源的解码器。

优选的，所述步骤S0具体包括子步骤：S01，预下载部分流媒体资源数据，分析并获取流媒体资源数据的编码格式；S02，根据编码格式预留用于缓存不同编码格式流媒体资源数据的内存和用于解析流媒体资源的解码器，创建内存中存放流媒体资源的内存索引信息，所述内存索引信息包括分片长度和编码类型信息。

如图1所示，本实施例中，对于编码格式不同的情况，有部分流媒体资源，如smoothstreaming，mpeg-dash，其编码格式在对于的文档中已经描述出来，这样可以快速获取编码方式了；另一部分流媒体资源，可通过预先下载每一个流媒体资源中的部分数据，即可以知道媒体具体编码格式。为了达到快速切换不同编码方式，减少CPU开额外开销，具体解决方法如下：

1、机顶盒通过解析流媒体资源，可以知道流媒体采取哪种协议进行交互，部分协议其编码方式会在描述文档中给出；对于编码方式未知的多码率媒体流，通过预下载每种自适应流的部分数据，然后进行分析数据编码方式，即可知道数据具体编码格式。

2、机顶盒记录不同码率流媒体的编码格式，并且初始化对应的个数解析器，每个解析器模拟出一个program用来关联硬解解码接口，Source模块将不在播放的媒体状态置为空闲，这样对应的解码器实际上处于闲置状态。

优选的，其还包括步骤：S6，下载流媒体资源数据分片到内存中，更新内存中的索引信息和数据读写指针，并且计算下载流媒体资源数据的大小和时间；S7，根据下载流媒体资源数据的大小和时间，判断是否需要切换到其他码率的地址上进行播放。

为了让播放流畅，减少数据拷贝次数、CPU消耗和内存反复申请释放带来的开销，播放器初始化后，初始化一段内存用于缓存流媒体资源数据，播放切换过程中，记录数据开始位置和数据长度，循环利用循环内存从而减少内存碎片，图3描述了流媒体资源数据在内存中的分布，Video#1代表第一编码格式的流媒体资源分片，Video#2代表第二编码格式的流媒体资源分片，Video#3代表第三编码格式的流媒体资源分片。

该实施例中，机顶盒每下载完一个流媒体数据分片，更新循环内存中的索引信息，包括分片长度，类型信息，并且更新数据读写指针，并且计算下载数据大小和时间。通过下载数据大小和时间等因素判断是否需要切换到其他码率的地址上进行播放。解析器通过指针从共享内存中获取数据，按照如下格式进行解析，前面12字节用来指示数据信息，即4字节类型，4字节切片长度，4字节当前下载数据长度，后面跟原始数据。数据实际长度可以从协议报头中获取，当实际长度未知时候，默认长度为1514，实际长度保存在当前下载长度。解析器读取数据类型和长度后，选择对应的解析器获得原始数据，并且将数据通过硬件解码器，并且设置解码器将画面拉伸、压缩成屏显宽高比，这样自动切换非常平滑。机顶盒根据网络速度的变化，自动切换到不同码率，机顶盒根据文件类型，选择对应的解析器进行解封装并将数据注入对应硬解接口进行播放。通过上述算法改进，解决自适应流切换过程中，出现不连续、音视频不同步、反复初始化等问题，其总体流程如图1所示。

本发明一种流媒体播放的切换方法通过创建对应线程，分别下载并跟踪多个码率资源的索引信息，通过索引信息中的序列号判断是否可以无缝切换，通过基础时钟确认不同码率之间对应的关系，保证切换过程中画面无缝播放，解决了网络流媒体播放自适应动态切换过程中出现的音视频不同步、画面不连续的问题。

另外，本发明还通过计算网络平均速度，实现切换最佳码率的选择；通过对不同编码格式流媒体资源的预处理，实现不同编码格式流媒体资源的无缝切换；通过预留用于缓存流媒体资源分片的内存，实现快速切换的同时减少内存碎片。

本发明可广泛应用于各种流媒体播放的切换系统。

一种流媒体播放的切换系统，其用于实施一种流媒体播放的切换方法，其包括：Source模块，用于下载对应数据，所述对应数据包括多个码率信息、对应码率的资源地址信息；解析模块，用于解析流媒体资源的数据格式；解码器，用于对流媒体资源数据的解码操作；输出模块，用于流媒体资源的输出播放。

优选的，所述对应数据还包括：部分流媒体资源数据和/或流媒体资源数据的编码格式信息，所述解析模块解析流媒体资源数据的编码格式并为相应的流媒体资源数据预留解码器。

优选的，其还包括用于缓存多个编码格式流媒体资源分片的内存。

一种流媒体播放的切换系统的工作原理对应于一种流媒体播放的切换方法，在此不做累述。

本发明一种流媒体播放的切换系统通过Source模块和解析模块，实现对不同码率资源和/或不同编码格式的流媒体资源的预处理，进而实现不同码率资源切换过程中的无缝连接，提高了用户体验。

本发明可广泛应用于各种流媒体播放的切换系统。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.一种流媒体播放的切换方法，其特征在于，其包括步骤：

S1，解析并判断所要播放的流媒体是否为多码率，若为多码率，则执行步骤S2；

S2，解析并获取每个码率对应资源的资源索引信息，并对应每个码率创建一个线程；

S3，在流媒体播放需要进行码率切换时，每个线程分别刷新对应码率资源索引信息的序列号，如果多个线程刷新出来的序列号一致，则进入步骤S4，否则进入步骤S5；

S4，直接切换到与当前网络速度匹配的码率资源或切换到所需的其它码率资源；

S5，根据各个码率的序列号，计算出不同码率的具体时间偏差，在进行码率切换时，根据不同码率的具体时间偏差，切换到所要切换到码率的对应时间位置进行播放；

所述方法还包括步骤：

S0，获取流媒体资源数据的编码格式，并根据编码格式预留用于缓冲不同编码格式流媒体资源数据的内存空间和用于解析流媒体资源的解码器；

所述步骤S0具体包括子步骤：

S01，预下载部分流媒体资源数据，分析并获取流媒体资源数据的编码格式；

S02，根据编码格式预留用于缓存不同编码格式流媒体资源数据的内存和用于解析流媒体资源的解码器，创建内存中存放流媒体资源的内存索引信息，所述内存索引信息包括分片长度和编码类型信息。

2.根据权利要求1所述的一种流媒体播放的切换方法，其特征在于，所述步骤S5具体包括子步骤：

S51，下载各个码率资源的片段；

S52，根据各个码率资源的片段获取各个码率资源的基础时钟；

S53，根据不同码率资源的基础时钟和对应的序列号偏差，计算出不同码率播放的具体时间偏差；

S54，根据当前网络速度，判断是否需要切换到其它码率播放；

S55，根据不同码率播放的具体时间偏差，无缝切换到最佳码率上进行播放。

3.根据权利要求1所述的一种流媒体播放的切换方法，其特征在于，所述步骤S4具体包括子步骤：

S41，在对应码率资源地址下载资源数据；

S42，解析资源数据的编码格式；

S43,使用对应的解码器对资源数据进行解码并输出播放。

4.根据权利要求3所述的一种流媒体播放的切换方法，其特征在于，其还包括步骤：

S6，下载流媒体资源数据分片到内存中，更新内存中的索引信息和数据读写指针，并且计算下载流媒体资源数据的大小和时间；

S7，根据下载流媒体资源数据的大小和时间，判断是否需要切换到其他码率的地址上进行播放。