CN104394426B - 流媒体倍速播放方法和装置 - Google Patents

Abstract

本发明提供一种流媒体倍速播放方法和装置。首先接收终端发送的播放请求消息，播放请求消息中携带播放的倍速；然后根据播放的倍速，从音视频流中提取音视频帧；最后向终端发送提取的音视频帧，以使终端根据提取的音视频帧播放音视频，其中，根据播放的倍速，从音视频流中提取音视频帧，并向终端发送提取的音视频帧，无需增加每秒发送至终端的帧的数量，从而有效减少网络资源的浪费。

Description

流媒体倍速播放方法和装置

技术领域

本发明涉及视频数据播放技术，尤其涉及一种流媒体倍速播放方法和装置。

背景技术

随着宽带网络基础设施的改善，流媒体的应用越来越广泛。在流媒体应用中，流媒体服务器收到用户的播放请求后，从媒体文件中读出流媒体数据，包括视频和音频数据，向终端连续、实时地传送。在视频点播(Video On Demand，简称：VOD)应用中，终端还可以向流媒体服务器发出快进或后退的指令，观看当前画面之前或之后的内容。

流媒体文件通常非常大，因此需要对流媒体文件进行压缩，减少存储开销以及传输流媒体文件对传输带宽的要求；不同的压缩算法获得压缩效果不同，目前最常见压缩帧类型有I帧、P帧、B帧；I帧是关键帧，属于帧内压缩，是帧间压缩编码里的重要帧，解码时不需要参考其他帧可重构完整图像，压缩比通常为1:7；P帧为未来单项预测帧，只储存与之前一个已解压画面的差值，压缩比通常为1：20；B帧为双向预测帧，除了参考之前解压过了的画面外，也会参考后面一帧中的画面信息，压缩比通常为1：50。

现有技术快进快退播放视频数据的方案中，流媒体服务器接收终端的N倍速播放请求，并根据接收的N倍速播放请求，对应现有的发送速率的N倍发送数据包，例如：视频帧率为25帧/s，即帧间隔为40ms，终端请求2倍速播放，流媒体服务器收到请求后，以正常播放速率的2倍进行音视频传输，即，此时就需要调整播放速率为50帧/s，而同时终端同时需调整音视频帧率为50帧/s，即播放帧间隔为20ms，从而使得用户端可以播放2倍速的视频流。

通过上述方案，流媒体服务器需要提高视频帧率，也即增加每秒发送至终端的帧的数量，从而会造成网络资源的浪费。

发明内容

本发明实施例提供一种流媒体倍速播放方法和装置，以克服现有技术中造成网络资源浪费的问题。

本发明第一方面提供一种流媒体倍速播放方法，所述方法应用于流媒体服务器，所述方法包括：

接收终端发送的播放请求消息，所述播放请求消息中携带播放的倍速；

根据所述播放的倍速，从音视频流中提取音视频帧；

向所述终端发送提取的音视频帧，以使所述终端根据所述提取的音视频帧播放音视频。

在第一方面的第一种可能的实现方式中，所述根据所述播放的倍速，从音视频流中提取音视频帧之前，还包括：

根据时刻T对应的原始音视频流中的帧确定解码起始帧，根据所述解码起始帧确定解码音视频流，所述时刻T为接收所述播放请求消息的时刻；

所述根据所述播放的倍速，从音视频流中提取音视频帧，包括：

确定音视频帧率；

根据所述音视频帧率和所述播放的倍速确定待提取的音视频帧的数量为M，所述M为正整数；

从所述解码音视频流中提取M个音视频帧。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，从所述解码音视频流中提取M个音视频帧之后，还包括：

对提取的所述M个音视频帧进行编码，获得倍速音视频流；

向所述终端发送提取的音视频帧，以使所述终端根据所述提取的音视频帧播放音视频，包括：

向所述终端发送所述倍速音视频流，以使终端根据所述倍速音视频流播放倍速音视频。

结合第一方面的第一或第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述从所述解码音视频流中提取M个音视频帧，包括：

从所述解码音视频流中每间隔预设数值个帧提取一个音视频帧，直至提取M个音视频帧。

结合第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，所述根据时刻T对应的原始音视频流中的帧确定解码起始帧，根据所述解码起始帧确定解码音视频流，包括：

所述时刻T对应的原始音视频流中的帧为I帧，确定所述解码起始帧为所述I帧；

对所述原始音视频流中位于所述起始解码帧之后的帧进行解码，确定解码音视频流；

或者，

所述时刻T对应的所述原始音视频流中的帧不是I帧，确定所述解码起始帧为所述时刻T对应的帧之前或之后第一个I帧；

对所述原始音视频流中位于所述起始解码帧之后的帧进行解码，确定解码音视频流。

本发明第二方面提供一种流媒体倍速播放装置，包括：

接收模块，用于接收终端发送的播放请求消息，所述播放请求消息中携带播放的倍速；

提取模块，用于根据所述接收模块接收的所述播放的倍速，从音视频流中提取音视频帧；

发送模块，用于向所述终端发送所述提取模块提取的音视频帧，以使所述终端根据所述提取的音视频帧播放音视频。

在第二方面的第一种可能的实现方式中，还包括：确定模块，

用于在所述接收模块接收所述接收终端发送的播放请求消息之后，

根据时刻T对应的原始音视频流中的帧确定解码起始帧；

根据所述解码起始帧确定解码音视频流，所述时刻T为接收所述播放请求消息的时刻；

所述提取模块具体用于：

确定音视频帧率；

根据所述音视频帧率和所述接收模块接收的所述播放的倍速确定待提取的音视频帧的数量为M，所述M为正整数；

从所述确定模块确定的所述解码音视频流中提取M个音视频帧。

结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，还包括：编码模块，用于在所述提取模块从所述解码音视频流中提取M个音视频帧之后，对提取的所述M个音视频帧进行编码，获得倍速音视频流；

所述发送模块具体用于：

向所述终端发送所述编码模块获得的所述倍速音视频流，以使终端根据所述倍速音视频流播放倍速音视频。

结合第二方面的第一或第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述提取模块还用于：

从所述确定模块确定的所述解码音视频流中每间隔预设数值个帧提取一个音视频帧，直至提取M个音视频帧。

结合第二方面的第一种可能的实现方式，在第二方面的第四种可能的实现方式中，所述确定模块具体用于：

所述时刻T对应的原始音视频流中的帧为I帧，确定所述解码起始帧为所述I帧；

对所述原始音视频流中位于所述起始解码帧之后的帧进行解码，确定解码音视频流；

或者，

所述时刻T对应的所述原始音视频流中的帧不是I帧，确定所述解码起始帧为所述时刻T对应的帧之前或之后第一个I帧；

对所述原始音视频流中位于所述起始解码帧之后的帧进行解码，确定解码音视频流。

本发明中，首先接收终端发送的播放请求消息，播放请求消息中携带播放的倍速；然后根据播放的倍速，从音视频流中提取音视频帧；最后向终端发送提取的音视频帧，以使终端根据提取的音视频帧播放音视频，其中，根据播放的倍速，从音视频流中提取音视频帧，并向终端发送提取的音视频帧，无需增加每秒发送至终端的帧的数量，从而有效减少网络资源的浪费。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的流媒体倍速播放方法的流程图；

图2为本发明另一实施例提供的流媒体倍速播放方法的流程图；

图3为本发明实施例提供的流媒体倍速播放装置的结构示意图；

图4为本发明另一实施例提供的流媒体倍速播放装置的结构示意图；

图5为本发明又一实施例提供的流媒体倍速播放装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的流媒体倍速播放方法的流程图，如图1所示，本实施例的方法可以包括：

步骤101、接收终端发送的播放请求消息，所述播放请求消息中携带播放的倍速。

具体的，首先当终端需要进行倍速播放时，需要向流媒体服务器发送播放请求消息，所述播放请求消息中携带终端需要播放的倍速。

步骤102、根据所述播放的倍速，从音视频流中提取音视频帧；

具体的，在本发明一个实施例中，根据所述播放的倍速，从音视频流中提取音视频帧之前，还包括：需要对原始音视频流解码确定解码音视频流，最后从解码音视频流中提取音视频帧。

可选的，当流媒体服务器接收到终端发送的播放请求消息后，首先需要对原始音视频流进行解码，具体的解码过程为：

首先需要确定解码起始帧，即需要确定从哪一帧开始对原始音视频流进行解码，其中，一般情况下，流媒体视频流中包括的I帧、B帧和P帧，I帧无需参考其他帧便可独立进行解码，而B帧和P帧必须参考之间的I帧才可以进行解码，因此确定的解码起始帧必然为I帧。

具体的，如果接收播放请求消息的时刻T对应的原始音视频流中的帧为I帧，由于I帧可以无需参考其他帧便可以进行解码，因此确定此I帧为解码起始帧，并从此I帧开始，对位于所述I帧之后的原始音视频流进行解码，确定解码音视频流；如果接收播放请求消息的时刻T对应的原始音视频流中的帧不是I帧，也即为B帧或者P帧，由于B帧或者P帧必须参考此帧之前的I帧才可以进行解码，因此，此时确定的解码起始帧可以为B帧或者P帧之前最靠近的I帧，也可以为B帧或者P帧之后最靠近的I帧，并从B帧或者P帧最靠近的I帧开始，对位于所述I帧之后的原始音视频流进行解码，确定解码音视频流。

其中，如果为了保证终端观看视频的连续性，可以优先选择B帧或者P帧之前最靠近的I帧作为解码起始帧，如果终端对视频的连续性要求不高，可以选择B帧或者P帧之后最靠近的I帧，此处选择最靠近B帧或者P帧的I帧的原因为可以使得终端播放的视频不会发生突变，也即突然从一个画面跳到另外一个毫无相关的画面，从而导致用户的视觉体验比较差，当然，在实际应用中，如果对画面的播放也无要求的情况下，可以选择B帧或者P帧之后的任何一个I帧进行解码，本发明不对具体解码起始帧的位置加以限制，只要满足终端需求即可。

进一步的，所述根据所述播放的倍速，从音视频流中提取音视频帧，包括：

首先流媒体播放器需要确定播放的音视频帧率，即每秒传输给终端多个个帧，然后根据确定的音视频帧率以及接收到的终端发送的播放请求消息中的播放的倍速确定待提取的音视频帧的数量M，所述M为正整数，例如，当流媒体播放器确定的播放的音视频帧率为25帧/秒，终端发送的播放请求消息中的播放的倍速为2倍速，在现有技术中，发送至终端的音视频帧率就会变为50帧/秒，从而可以达到终端需求的倍速要求，而倍数增大音视频帧率会浪费带宽资源，因此，本发明实施例中，不会改变原始的音视频帧率，而是从需要向终端发送的50帧中重新选择25帧发送给终端，也即，上述的M为25，同理可知，当终端发送的播放请求消息中的播放的倍速为3倍速时，是从75帧中选择25帧发送给终端，从而有效节省了带宽资源，并能有效满足终端倍速的需求。

在解码音视频流中提取M个视频帧的方式可以为：从解码音视频流中所及提取M个帧，但这样的提取方式可能会使得终端播放的视频带给用户的视觉体验比较差。

优选的，为了使得终端达到更好的视觉效果，可以从所述解码音视频流中每间隔预设数值个帧提取M个音视频帧，具体的，假设终端请求的为N倍速播放，首先提取解码音视频流中的第一帧，然后从此帧开始每间隔N-1帧提取解码音视频流中的帧，即可得到M个音视频帧，其中可以以N-1为预设数值个帧进行提取，也可以以其他方式进行提取。

在本发明另一个实施例中，流媒体播放器还可以从原始音视频流中提取M个音视频帧，而这种提取的方式可能会使得终端的视觉效果不佳。

步骤103、向所述终端发送提取的音视频帧，以使所述终端根据所述提取的音视频帧播放音视频。

可选的，当流媒体服务器提取到M个音视频帧后，首选对提取到的M个音视频帧进行编码，获得倍速音视频流，然后向终端发送所述倍速音视频流，以使终端根据所述倍速音视频流播放倍速音视频。

其中，对提取到的M个音视频帧进行编码的方式与现有技术中相同，此处不再赘述，由于基于流媒体的视频流只有I帧、B帧和P帧，因此重采样编码I帧间隔可以根据网络状况、用户需求等方面进行合理设置；其中，I帧间隔可以设置为0，即全部重采样成I帧也可行。然后流媒体服务器可以采用RTSP等流媒体传输技术传输重采样编码后的音视频流。

理论上计算，N倍速播放情况下，如果其压缩比等参数与原来视频文件一致，其网络传输量将是传统N倍速播放的1/N。通常情况下，在I帧和P帧的压缩比分别为1：7和1：20，理论上计算，在同等4倍速播放条件下，将音视频重采样成I帧组成的音视频流，其网络传输量也是低于4倍速网络传输量，从而有效节省了带宽资源。

本发明实施例提供的流媒体倍速播放方法，首先接收终端发送的播放请求消息，播放请求消息中携带播放的倍速；然后根据播放的倍速，从音视频流中提取音视频帧；最后向终端发送提取的音视频帧，以使终端根据提取的音视频帧播放音视频，其中，根据播放的倍速，从音视频流中提取音视频帧，并向终端发送提取的音视频帧，无需增加每秒发送至终端的帧的数量，从而有效减少网络资源的浪费。

图2为本发明另一个实施例提供的流媒体倍速播放方法的流程图，如图2所示，本实施例的方法可以包括：

步骤201：终端向流媒体服务器请求点播或者回放音视频，此为正常播放模式，即播放速率为1。

步骤202：流媒体收到终端请求，连续读取流媒体文件并进行封装，采用RTSP等流媒体技术传输封装帧，并发送至终端。

步骤203：终端在时刻T向流媒体服务器请求流媒体服务N倍播放速率；

步骤204：流媒体服务器响应终端的请求，确定接收终端请求的时刻对应的帧为普通帧，因此检索靠近当前播放时间戳的前面一个I帧位置(即图2中的Fk(I)帧)，从此帧开始解码以保证音视频帧的完整性；以当前播放时间戳帧(即图2中的Fk+m帧)作为第一帧对解码后的音视频帧每间隔N-1帧提取一帧，并对提取的帧按照智能或者配置重采样参数(包括不限于关键帧间隔、压缩比、压缩质量等)编码成新音视流，优选的为了保证实时性和节省内存，可以采取将重采样编码的倍速音视频流编码后封装后立即发送给终端。

步骤205：终端发送倍速播放请求后收到流媒体数据，开始解码播放，并可使得播放帧率保持不变。

其中，图2中F_k(I)表示第k帧流媒体数据，括号中I表示关键帧；F_1′表示倍速播放后重采样的流媒体数据的第1帧流媒体数据。

本发明实施例提供的流媒体倍速播放方法，首先接收终端发送的点播或者回放音视频请求，并向终端发送正常播放的流媒体文件，然后在时刻T接收终端发送的N倍速播放请求消息，进一步的，查找时刻T之前最靠近的I帧，并从此帧解码音视频流，并从解码后的音视频流中每间隔N-1帧提取一帧，最后对提取的帧进行编码形成倍速音视频流，并发送至终端，最后终端根据接收到的倍速音视频流播放音视频，其中，根据播放的倍速N，从解码后的音视频流中每间隔N-1帧提取一帧，并对提取的帧进行编码，最后向终端发送提取的音视频帧，无需增加每秒发送至终端的帧的数量，从而有效减少网络资源的浪费。

图3为本发明实施例提供的流媒体倍速播放装置的结构示意图，所述装置包括：

接收模块301，用于接收终端发送的播放请求消息，所述播放请求消息中携带播放的倍速；

提取模块302，用于根据所述接收模块301接收的所述播放的倍速，从音视频流中提取音视频帧；

发送模块303，用于向所述终端发送所述提取模块302提取的音视频帧，以使所述终端根据所述提取的音视频帧播放音视频。

可选的，如图4所示，所述装置还包括：确定模块304，

用于在所述接收模块301接收所述接收终端发送的播放请求消息之后，

根据时刻T对应的原始音视频流中的帧确定解码起始帧；

根据所述解码起始帧确定解码音视频流，所述时刻T为接收所述播放请求消息的时刻；

所述提取模块302具体用于：

确定音视频帧率；

根据所述音视频帧率和所述接收模块301接收的所述播放的倍速确定待提取的音视频帧的数量为M，所述M为正整数；

从所述确定模块304确定的所述解码音视频流中提取M个音视频帧。

可选的，如图5所示，所述装置还包括：编码模块305，用于在所述提取模块302从所述解码音视频流中提取M个音视频帧之后，对提取的所述M个音视频帧进行编码，获得倍速音视频流；

所述发送模块303具体用于：

向所述终端发送所述编码模块305获得的所述倍速音视频流，以使终端根据所述倍速音视频流播放倍速音视频。

可选的，所述提取模块302还用于：

从所述确定模块304确定的所述解码音视频流中每间隔预设数值个帧提取M个音视频帧。

可选的，所述确定模块304具体用于：

所述时刻T对应的原始音视频流中的帧为I帧，确定所述解码起始帧为所述I帧；

对所述原始音视频流中位于所述起始解码帧之后的帧进行解码，确定解码音视频流；

或者，

所述时刻T对应的所述原始音视频流中的帧不是I帧，确定所述解码起始帧为所述时刻T对应的帧之前或之后第一个I帧；

对所述原始音视频流中位于所述起始解码帧之后的帧进行解码，确定解码音视频流。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种流媒体倍速播放方法，其特征在于，所述方法应用于流媒体服务器，所述方法包括：

接收终端发送的播放请求消息，所述播放请求消息中携带播放的倍速；

根据所述播放的倍速，从音视频流中提取音视频帧；

向所述终端发送提取的音视频帧，以使所述终端根据所述提取的音视频帧播放音视频；

其中，所述根据所述播放的倍速，从音视频流中提取音视频帧，包括：

确定音视频帧率；

根据所述音视频帧率和所述播放的倍速确定解码音视频流；

从解码音视频流中提取M个音视频帧，所述M为正整数，大小与所述音视频帧率相同。

2.根据权利要求1所述的方法，其特征在于，所述根据所述播放的倍速，从音视频流中提取音视频帧之前，还包括：

根据时刻T对应的原始音视频流中的帧确定解码起始帧，根据所述解码起始帧确定解码音视频流，所述时刻T为接收所述播放请求消息的时刻。

3.根据权利要求2所述的方法，其特征在于，从所述解码音视频流中提取M个音视频帧之后，还包括：

对提取的所述M个音视频帧进行编码，获得倍速音视频流；

所述向所述终端发送提取的音视频帧，以使所述终端根据所述提取的音视频帧播放音视频，包括：

向所述终端发送所述倍速音视频流，以使终端根据所述倍速音视频流播放倍速音视频。

4.根据权利要求2或3所述的方法，其特征在于，所述从所述解码音视频流中提取M个音视频帧，包括：

从所述解码音视频流中每间隔预设数值个帧提取一个音视频帧，直至提取M个音视频帧。

5.根据权利要求2所述的方法，其特征在于，所述根据时刻T对应的原始音视频流中的帧确定解码起始帧，根据所述解码起始帧确定解码音视频流，包括：

所述时刻T对应的原始音视频流中的帧为I帧，确定所述解码起始帧为所述I帧；

对所述原始音视频流中位于所述解码起始帧之后的帧进行解码，确定解码音视频流；

或者，

所述时刻T对应的所述原始音视频流中的帧不是I帧，确定所述解码起始帧为所述时刻T对应的帧之前或之后第一个I帧；

对所述原始音视频流中位于所述解码起始帧之后的帧进行解码，确定解码音视频流。

6.一种流媒体倍速播放装置，其特征在于，包括：

接收模块，用于接收终端发送的播放请求消息，所述播放请求消息中携带播放的倍速；

提取模块，用于根据所述接收模块接收的所述播放的倍速，从音视频流中提取音视频帧；

发送模块，用于向所述终端发送所述提取模块提取的音视频帧，以使所述终端根据所述提取的音视频帧播放音视频；

所述提取模块具体用于：

确定音视频帧率；

根据所述音视频帧率和所述接收模块接收的所述播放的倍速确定解码音视频流；

从解码音视频流中提取M个音视频帧，所述M为正整数，大小与所述音视频帧率相同。

7.根据权利要求6所述的装置，其特征在于，还包括：确定模块，

用于在所述接收模块接收所述接收终端发送的播放请求消息之后，

根据时刻T对应的原始音视频流中的帧确定解码起始帧；

根据所述解码起始帧确定解码音视频流，所述时刻T为接收所述播放请求消息的时刻。

8.根据权利要求7所述的装置，其特征在于，还包括：编码模块，用于在所述提取模块从所述解码音视频流中提取M个音视频帧之后，对提取的所述M个音视频帧进行编码，获得倍速音视频流；

所述发送模块具体用于：

向所述终端发送所述编码模块获得的所述倍速音视频流，以使终端根据所述倍速音视频流播放倍速音视频。

9.根据权利要求7或8所述的装置，其特征在于，所述提取模块还用于：

从所述确定模块确定的所述解码音视频流中每间隔预设数值个帧提取一个音视频帧，直至提取M个音视频帧。

10.根据权利要求7所述的装置，其特征在于，所述确定模块具体用于：

所述时刻T对应的原始音视频流中的帧为I帧，确定所述解码起始帧为所述I帧；

对所述原始音视频流中位于所述解码起始帧之后的帧进行解码，确定解码音视频流；

或者，

所述时刻T对应的所述原始音视频流中的帧不是I帧，确定所述解码起始帧为所述时刻T对应的帧之前或之后第一个I帧；

对所述原始音视频流中位于所述解码起始帧之后的帧进行解码，确定解码音视频流。