CN102075739B - 网络视频快进退平稳播放的方法和装置 - Google Patents

Abstract

本发明涉及一种网络视频快进退平稳播放的方法，其中包括步骤：根据原始视频流的质量和网络传输环境确定所述基准值；根据客户对网络视频快进退播放的平稳要求确定所述误差值；根据网络视频快进退播放要求抽取I帧；将抽取的I帧的数据量与基准值进行比较，得到比较结果；根据比较结果对所述抽取的I帧进行平滑处理；对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流。本发明还涉及一种网络视频快进退平稳播放的装置，本发明通过对I帧进行重新编码使得I帧的字节数大小基本一致，I帧的DTS、PTS间隔也基本一致，因此在网络传输、终端缓存、解码、显示所花的时间能保持一致，实现网络视频快进退播放时做到平稳、流畅播放。

Description

网络视频快进退平稳播放的方法和装置

技术领域

本发明涉及网络视频播放领域，更具体地说，涉及一种网络视频快进退平稳播放的方法和装置。

背景技术

在网络环境下，视频快进退播放时都无法做到平稳、流畅播放。现有的实现快进退的方法都是提取原始视频中的完整的I帧组成新的视频流，我们将原始视频流定义为A流，I帧视频流定义为B流，在正常速度播放时播放A流，快进退时播放B流。

现有的从A流中提取完整的I帧形成B流的方式有明显的缺点：由于每个I帧的数据量大小差异非常大，以一个3Mb的MPEG-2TS流为例，复杂的I帧可以达到160KB以上，而简单的I帧只有20K-30KB，这样网络传输每个I帧的时间不一样，各个I帧的DTS(解码时间戳：Decoding Time Stamp)和PTS(显示时间戳：Presentation Time Stamp)间隔不一致，在终端缓存大小、解码时间、显示时间间隔等都是不等长的，I帧流示意图如图1所示。具体的表现就是在网络视频快进退播放时，简单的I帧画面会很快显示而复杂的I帧需要较长的时间才能显示出来，给用户的感觉就是一会儿快，一会儿慢，很不流畅。

发明内容

本发明要解决的技术问题在于，针对现有技术的网络视频快进退播放时无法做到平稳、流畅播放的缺陷，提供一种通过对I帧进行重新编码实现网络视频快进退播放时做到平稳、流畅播放的网络视频快进退平稳播放的方法和装置。

本发明解决其技术问题所采用的技术方案是：构造网络视频快进退平稳播放的方法，其中包括步骤：S1、根据网络视频快进退播放要求抽取I帧；S2、将抽取的I帧的数据量与基准值进行比较，得到比较结果；S3、根据所述比较结果对所述抽取的I帧进行平滑处理；S4、对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流。

在本发明所述的网络视频快进退平稳播放的方法中，所述步骤S3包括：当所述比较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时，对所述抽取的I帧进行压缩处理使所述抽取的I帧的数据量与所述基准值之差小于误差值；当所述比较结果为所述基准值与所述抽取的I帧的数据量之差大于误差值时，对所述抽取的I帧进行填充处理使所述基准值与所述抽取的I帧的数据量之差小于误差值；否则直接使用所述抽取的I帧。

在本发明所述的网络视频快进退平稳播放的方法中，所述压缩处理方法包括最邻近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述抽取的I帧的尾部添加无效字符字节。

在本发明所述的网络视频快进退平稳播放的方法中，所述步骤S 1之前包括步骤：S0、根据原始视频流的质量和网络传输环境确定所述基准值；根据客户对网络视频快进退播放的平稳要求确定所述误差值。

在本发明所述的网络视频快进退平稳播放的方法中，所述步骤S 1包括：S11、根据网络视频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的理论抽取时间；S12、抽取最邻近所述理论抽取时间的相应的I帧。

本发明还构造一种网络视频快进退平稳播放的装置，其中包括：抽取模块：用于根据网络视频快进退播放要求抽取I帧；比较模块：用于将抽取的I帧的数据量与基准值进行比较，得到比较结果；平滑处理模块：用于根据所述比较结果对所述抽取的I帧进行平滑处理；以及组合模块：用于对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流。

在本发明所述的网络视频快进退平稳播放的装置中，所述平滑处理模块包括压缩单元：用于当所述比较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时，对所述抽取的I帧进行压缩使所述抽取的I帧的数据量与所述基准值之差小于误差值；填充单元：用于当所述比较结果为所述基准值与所述抽取的I帧的数据量之差大于误差值时，对所述抽取的I帧进行填充处理使所述基准值与所述抽取的I帧的数据量之差小于误差值；以及跳过单元：用于当比较结果为其他情况时，直接使用所述抽取的I帧。

在本发明所述的网络视频快进退平稳播放的装置中，所述压缩处理方法包括最邻近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述抽取的I帧的尾部添加无效字符字节。

在本发明所述的网络视频快进退平稳播放的装置中，所述网络视频快进退平稳播放的装置还包括：基准设定模块：用于根据原始视频流的质量和网络传输环境确定所述基准值；以及误差设定模块：用于根据客户对网络视频快进退播放的平稳要求确定所述误差值。

在本发明所述的网络视频快进退平稳播放的装置中，所述抽取模块包括：计算单元：用于根据网络视频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的理论抽取时间；以及临近抽取单元：用于抽取最邻近所述理论抽取时间的相应的I帧。

实施本发明的网络视频快进退平稳播放的方法和装置，具有以下有益效果：通过对I帧进行重新编码使得I帧的字节数大小基本一致，I帧的DTS、PTS间隔也基本一致，因此在网络传输、终端缓存、解码、显示所花的时间能保持一致，用户的体验效果就会非常平滑，实现网络视频快进退播放时做到平稳、流畅播放。

对I帧的重新编码方法使得I帧的数据量保持在基准值附近。多种压缩处理和填充处理方法供用户选择。可根据实际需要设定基准值和误差值。通过抽取最邻近理论抽取时间的I帧使得不会由于I帧本身的时间间隔不一造成网络视频快进退的不平稳播放。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是现有技术的传统I帧流示意图；

图2是采用本发明网络视频快进退平稳播放的方法的I帧流示意图；

图3是本发明的网络视频快进退平稳播放的方法的第一优选实施例的流程图；

图4是本发明的网络视频快进退平稳播放的方法的第二优选实施例的流程图；

图5是本发明的网络视频快进退平稳播放的方法的第三优选实施例的流程图；

图6是本发明的网络视频快进退平稳播放的装置的第一优选实施例的结构示意图；

图7是本发明的网络视频快进退平稳播放的装置的第二优选实施例的结构示意图；

图8是本发明的网络视频快进退平稳播放的装置的第三优选实施例的结构示意图；

图9是本发明的网络视频快进退平稳播放的装置的第四优选实施例的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图3所示，在本发明的网络视频快进退平稳播放的方法的第一优选实施例的流程图中，所述网络视频快进退平稳播放的方法开始于步骤300；步骤300之后进行到步骤301，根据网络视频快进退播放要求抽取I帧；随后，到下一步骤302，将抽取的I帧的数据量与基准值进行比较，得到比较结果；随后，到下一步骤303，根据所述比较结果对所述抽取的I帧进行平滑处理；随后，到下一步骤304，对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流；最后该方法结束于步骤305。采用本网络视频快进退平稳播放的方法时，首先根据网络视频的快进退播放要求即根据网络视频播放的速率和时间决定抽取的I帧的位置和数量，抽取I帧之后和预先设定的基准值极性比较，得出抽取的I帧数据量过大、过小或者合适的比较结果，根据上述比较结果对I帧进行数据处理，使所有抽取的I帧的数据量都在基准值附近以达到播放平滑的效果，最后对平滑处理后的I帧进行组合，形成用户需要得到的可平滑快进退播放的网络视频的I帧视频流。通过对I帧进行重新编码使得I帧的字节数大小基本一致，I帧的DTS、PTS间隔也基本一致，因此在网络传输、终端缓存、解码、显示所花的时间能保持一致，用户的体验效果就会非常平滑，实现网络视频快进退播放时做到平稳、流畅播放。

如图4所示，在本发明的网络视频快进退平稳播放的方法的第二优选实施例的流程图中，所述网络视频快进退平稳播放的方法开始于步骤400；步骤400之后进行到步骤401，根据原始视频流的质量和网络传输环境确定所述基准值；根据客户对网络视频快进退播放的平稳要求确定所述误差值；随后，到下一步骤402，根据网络视频快进退播放要求抽取I帧；随后，到下一步骤403，将抽取的I帧的数据量与基准值进行比较，得到比较结果；随后，到下一步骤404，根据所述比较结果对所述抽取的I帧进行平滑处理；随后，到下一步骤405，对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流；最后该方法结束于步骤406。基准值的提前设定，使得可以根据原始视频流的质量和网络传输环境决定基准值，例如对于3Mb的MPEG-2TS流，在网络传输环境好的情况下I帧的基准值设定为70KB，如网络传输环境比较差的情况下I帧的基准设定可为50KB或者更低；在网络传输环境好的情况下可以根据原始视频流的质量设当提高基准值，使得画面质量更好。误差值的提前设定，使得可以根据客户对网络视频快进退播放的平稳要求决定误差值，如用户对网络视频快进退播放的平稳要求高，则将误差值设的小一点，如用户对网络视频快进退播放的平稳要求不太高，则将误差值设的大一点，使尽可能多的I帧不需要重新编码而直接使用，减少了运算的复杂度，同时又不会影响用户的体验。

如图5所示，在本发明的网络视频快进退平稳播放的方法的第三优选实施例的流程图中，所述网络视频快进退平稳播放的方法开始于步骤500；步骤500之后进行到步骤501，根据网络视频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的理论抽取时间；随后，到下一步骤502，抽取最邻近所述理论抽取时间的相应的I帧；随后，到下一步骤503，将抽取的I帧的数据量与基准值进行比较，得到比较结果；随后，到下一步骤504，根据所述比较结果对所述抽取的I帧进行平滑处理；随后，到下一步骤505，对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流；最后该方法结束于步骤506。由于I帧本身的时间间隔不一，因此在抽取之前要根据I帧的抽取量设置统一的抽取I帧的时间间隔，从而计算每个I帧的理论抽取时间，相邻两个I帧之间的时间间隔应该是相等的；如理论抽取时间上没有I帧，则抽取最邻近该理论抽取时间的相应的I帧，保证抽取的I帧本身的时间间隔基本相同。这样通过抽取最邻近理论抽取时间的I帧使得不会由于I帧本身的时间间隔不一造成网络视频快进退的不平稳播放。

作为本发明的网络视频快进退平稳播放的方法的优选实施例，步骤S3包括：当所述比较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时，对所述抽取的I帧进行压缩处理使所述抽取的I帧的数据量与所述基准值之差小于误差值；当所述比较结果为所述基准值与所述抽取的I帧的数据量之差大于误差值时，对所述抽取的I帧进行填充处理使所述基准值与所述抽取的I帧的数据量之差小于误差值；否则直接使用所述抽取的I帧。通过抽取的I帧的数据量和基准值的差的比较后再编码，使得所有的I帧的数据量与基准值的差都在误差值的范围内。这种做法可以根据用户需要改变抽取的I帧的重新编码量，在用户允许的范围内尽可能减少重新编码的I帧，减少运算的复杂度，同时又可保证用户感觉网络视频可平稳的进行快进退播放。

作为本发明的网络视频快进退平稳播放的方法的优选实施例，所述压缩处理方法包括最邻近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述抽取的I帧的尾部添加无效字符字节。对于数据量较大的I帧，通过最邻近插值法、双线性内插值法或三次卷积法等差值算法进行压缩处理可以很好的对抽取的I帧进行压缩而尽可能减小对图像质量的损伤。对于数据量较小的I帧，通过在抽取的I帧的尾部添加无效字符字节，如“0”或“1”等使之数据量填充到基准值附近而对图像质量没有任何影响。

本发明还构造一种网络视频快进退平稳播放的装置，如图6所示，在本发明的网络视频快进退平稳播放的装置的第一优选实施例的结构示意图中，所述网络视频快进退平稳播放的装置包括抽取模块1、比较模块2、平滑处理模块3以及组合模块4。抽取模块1用于根据网络视频快进退播放要求抽取I帧；比较模块2用于将抽取的I帧的数据量与基准值进行比较，得到比较结果；平滑处理模块3用于根据所述比较结果对所述抽取的I帧进行平滑处理；组合模块4用于对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流。采用本网络视频快进退平稳播放的装置，首先抽取模块1根据网络视频的快进退播放要求即根据网络视频播放的速率和时间决定抽取的I帧的位置和数量，抽取I帧之后比较模块2将抽取的I帧的数据量和预先设定的基准值极性比较，得出抽取的I帧数据量过大、过小或者合适的比较结果，平滑处理模块3根据上述比较结果对I帧进行数据处理，使所有抽取的I帧的数据量都在基准值附近以达到播放平滑的效果，最后组合模块4对平滑处理后的I帧进行组合，形成用户需要得到的可平滑快进退播放的网络视频的I帧视频流。通过对I帧进行重新编码使得I帧的字节数大小基本一致，I帧的DTS、PTS间隔也基本一致，因此在网络传输、终端缓存、解码、显示所花的时间能保持一致，用户的体验效果就会非常平滑，实现网络视频快进退播放时做到平稳、流畅播放。

如图7所示，在本发明的网络视频快进退平稳播放的装置的第二优选实施例的结构示意图中，平滑处理模块3包括压缩单元31、填充单元32以及跳过单元33，压缩单元31用于当所述比较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时，对所述抽取的I帧进行压缩使所述抽取的I帧的数据量与所述基准值之差小于误差值；填充单元32用于当所述比较结果为所述基准值与所述抽取的I帧的数据量之差大于误差值时，对所述抽取的I帧进行填充处理使所述基准值与所述抽取的I帧的数据量之差小于误差值；跳过单元33用于当比较结果为其他情况时，直接使用所述抽取的I帧。通过抽取的I帧的数据量和基准值的差的比较后再编码(即压缩处理、填充处理或跳过)，使得所有的I帧的数据量与基准值的差都在误差值的范围内。这种做法可以根据用户需要改变抽取的I帧的重新编码量，在用户允许的范围内尽可能减少重新编码的I帧，减少运算的复杂度，同时又可保证用户感觉网络视频可平稳的进行快进退播放。

如图8所示，在本发明的网络视频快进退平稳播放的装置的第三优选实施例的结构示意图中，所述网络视频快进退平稳播放的装置还包括基准设定模块5和误差设定模块6，基准设定模块5用于根据原始视频流的质量和网络传输环境确定所述基准值；误差设定模块6用于根据客户对网络视频快进退播放的平稳要求确定所述误差值。基准设定模块5实现基准值的提前设定，使得可以根据原始视频流的质量和网络传输环境决定基准值，例如对于3Mb的MPEG-2TS流，在网络传输环境好的情况下I帧的基准值设定为70KB，如网络传输环境比较差的情况下I帧的基准设定可为50KB或者更低；在网络传输环境好的情况下可以根据原始视频流的质量设当提高基准值，使得画面质量更好。误差设定模块6实现误差值的提前设定，使得可以根据客户对网络视频快进退播放的平稳要求决定误差值，如用户对网络视频快进退播放的平稳要求高，则将误差值设的小一点，如用户对网络视频快进退播放的平稳要求不太高，则将误差值设的大一点，使尽可能多的I帧不需要重新编码而直接使用，减少了运算的复杂度，同时又不会影响用户的体验。

如图9所示，在本发明的网络视频快进退平稳播放的装置的第四优选实施例的结构示意图中，抽取模块1包括计算单元11和临近抽取单元12，计算单元11用于根据网络视频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的理论抽取时间，临近抽取单元12用于抽取最邻近所述理论抽取时间的相应的I帧。由于I帧本身的时间间隔不一，因此在抽取之前计算单元11要根据I帧的抽取量设置统一的抽取I帧的时间间隔，从而计算临近抽取单元12抽取每个I帧的理论抽取时间，相邻两个I帧之间的时间间隔应该是相等的；如理论抽取时间上没有I帧，则临近抽取单元12抽取最邻近该理论抽取时间的相应的I帧，保证抽取的I帧本身的时间间隔基本相同。这样通过抽取最邻近理论抽取时间的I帧使得不会由于I帧本身的时间间隔不一造成网络视频快进退的不平稳播放。

作为本发明的网络视频快进退平稳播放的装置的优选实施例，所述压缩处理方法包括最邻近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述抽取的I帧的尾部添加无效字符字节。对于数据量较大的I帧，通过最邻近插值法、双线性内插值法或三次卷积法等差值算法进行压缩处理可以很好的对抽取的I帧进行压缩而尽可能减小对图像质量的损伤。对于数据量较小的I帧，通过在抽取的I帧的尾部添加无效字符字节，如“0”或“1”等使之数据量填充到基准值附近而对图像质量没有任何影响。

如图1、2所示，图1为没有采用本发明的网络视频快进退平稳播放的方法和装置的网络视频快进退的I帧流示意图，从图中可以看出网络传输每个I帧的时间都不一样，各个I帧的DTS和PTS间隔不一致，在终端缓存大小、解码时间、显示时间间隔等都是不等长的，这样的I帧流的网络视频快进退时就会由于解码数据量的不一造成无法平稳流畅的播放。图2为采用了本发明的网络视频快进退平稳播放的方法和装置的网络视频快进退的I帧流示意图，经过重新编码后的I帧数据流，I帧的数据量大小基本一致，I帧的DTS、PTS间隔也基本一致，因此在网络传输、终端缓存、解码、显示所花的时间能保持一致，用户的体验效果就会非常平滑，实现网络视频快进退播放时做到平稳、流畅播放。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种网络视频快进退平稳播放的方法，其特征在于：包括步骤：

S0、根据原始视频流的质量和网络传输环境确定基准值；根据客户对网络视频快进退播放的平稳要求确定误差值；

S1、根据网络视频快进退播放要求抽取I帧；

S2、将抽取的I帧的数据量与基准值进行比较，得到比较结果；

S3、根据所述比较结果对所述抽取的I帧进行平滑处理；

S4、对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流；

所述步骤S3包括：

当所述比较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时，对所述抽取的I帧进行压缩处理使所述抽取的I帧的数据量与所述基准值之差小于误差值；

当所述比较结果为所述基准值与所述抽取的I帧的数据量之差大于误差值时，对所述抽取的I帧进行填充处理使所述基准值与所述抽取的I帧的数据量之差小于误差值；

否则直接使用所述抽取的I帧。

2.根据权利要求1所述的网络视频快进退平稳播放的方法，其特征在于：所述压缩处理方法包括最邻近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述抽取的I帧的尾部添加无效字符字节。

3.根据权利要求1所述的网络视频快进退平稳播放的方法，其特征在于：所述步骤S1包括：

S11、根据网络视频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的理论抽取时间；

S12、抽取最邻近所述理论抽取时间的相应的I帧。

4.一种网络视频快进退平稳播放的装置，其特征在于，包括：

抽取模块（1）：用于根据网络视频快进退播放要求抽取I帧；

比较模块（2）：用于将抽取的I帧的数据量与基准值进行比较，得到比较结果；

平滑处理模块（3）：用于根据所述比较结果对所述抽取的I帧进行平滑处理；以及

组合模块（4）：用于对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流；

所述网络视频快进退平稳播放的装置还包括：

基准设定模块（5）：用于根据原始视频流的质量和网络传输环境确定所述基准值；以及

误差设定模块（6）：用于根据客户对网络视频快进退播放的平稳要求确定误差值；

所述平滑处理模块（3）包括：

压缩单元（31）：用于当所述比较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时，对所述抽取的I帧进行压缩使所述抽取的I帧的数据量与所述基准值之差小于误差值；

填充单元（32）：用于当所述比较结果为所述基准值与所述抽取的I帧的数据量之差大于误差值时，对所述抽取的I帧进行填充处理使所述基准值与所述抽取的I帧的数据量之差小于误差值；以及

跳过单元（33）：用于当比较结果为其他情况时，直接使用所述抽取的I帧。

5.根据权利要求4所述的网络视频快进退平稳播放的装置，其特征在于，所述压缩处理方法包括最邻近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述抽取的I帧的尾部添加无效字符字节。

6.根据权利要求4所述的网络视频快进退平稳播放的装置，其特征在于，所述抽取模块（1）包括：

计算单元（11）：用于根据网络视频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的理论抽取时间；以及

临近抽取单元（12）：用于抽取最邻近所述理论抽取时间的相应的I帧。

Images