CN108933762A - 一种媒体流的播放处理方法及装置 - Google Patents

一种媒体流的播放处理方法及装置 Download PDF

Info

Publication number
CN108933762A
CN108933762A CN201710377784.3A CN201710377784A CN108933762A CN 108933762 A CN108933762 A CN 108933762A CN 201710377784 A CN201710377784 A CN 201710377784A CN 108933762 A CN108933762 A CN 108933762A
Authority
CN
China
Prior art keywords
image group
frame
media stream
image
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710377784.3A
Other languages
English (en)
Other versions
CN108933762B (zh
Inventor
薛笛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710377784.3A priority Critical patent/CN108933762B/zh
Publication of CN108933762A publication Critical patent/CN108933762A/zh
Application granted granted Critical
Publication of CN108933762B publication Critical patent/CN108933762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种媒体流的播放处理方法及装置，该方法包括：在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；传输所述第二图像组。通过本发明提供的媒体流的播放处理方法，可以维持播放器持续稳定播放，使播放器在异常状态结束后能自动恢复流畅播放，无需手动刷新或重置播放器。

Description

一种媒体流的播放处理方法及装置
技术领域
本发明涉及通信技术领域，尤其涉及一种媒体流的播放处理方法及装置。
背景技术
在视频直播过程中，会遇到很多异常状况，例如，推流端的接入网络质量差或网络中断、中央处理器资源占用过高、机器温度过热、系统崩溃、推流软件退后台(例如，手机直播过程中接电话)等。这些异常状况会导致观看端播放器产生严重卡顿、画面定格或黑屏，有些观看端播放器甚至在异常状况结束后都不能恢复，必须手动刷新或重置。
在现有技术中，针对因推流端的异常导致播放器无法自动恢复播放的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供一种媒体流的播放处理方法及装置，以解决因媒体流帧率过低或断流导致播放器无法自动恢复播放的问题。
第一方面，本发明实施例提供了一种媒体流的播放处理方法。该方法包括：在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；传输所述第二图像组。
第二方面，本发明实施例还提供一种媒体流的播放处理装置。该装置包括：补帧模块，用于在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；传输模块，用于传输所述第二图像组。
第三方面，本发明实施例还提供一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被执行时实现上述的媒体流的播放处理方法中的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的媒体流的播放处理方法中的步骤。
这样，本发明实施例中，通过在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；传输所述第二图像组。通过在第一图像组不满足播放端持续播放条件时，将来自媒体流的能够被独立解码的第一图像帧补入第一图像组，使得补入第一图像帧的第一图像组能够满足播放端持续播放条件，从而可以维持播放器持续稳定播放，使播放器在异常状态结束后能自动恢复流畅播放，无需手动刷新或重置播放器。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的媒体流播放系统的结构图；
图2是本发明实施例提供的媒体流的播放处理方法的流程图；
图3是本发明实施例提供的第一图像帧补入第一图像组的示意图；
图4是本发明又一实施例提供的第一图像帧补入第一图像组的示意图；
图5是本发明又一实施例提供的媒体流的播放处理方法的流程图；
图6是本发明实施例提供的媒体流的播放处理装置的结构图；
图7是本发明又一实施例提供的媒体流的播放处理装置的结构图；
图8是本发明实施例提供的电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于描述，以下对本发明实施例涉及的一些术语进行解释：
图像组：Group Of Pictures，简称为GOP，是指一组连续的、编码后的图像，以I帧开始，至下一个I帧结束。一个GOP中通常包括I帧、P帧和B帧，其中，P帧和B帧在GOP里具有严格的时间序列和参考关系。
帧内编码图像帧：Intra Coded Picture Frame，简称为I帧，也称为关键帧，编码时不依赖任何其他图像帧的数据。
前向预测编码图像帧：Predictive Coded Picture Frame，简称为P帧，仅包含上一帧的运动补偿残差信息，解码P帧图像需要依赖上一帧的数据。
双向预测编码帧：Bi-directional Interpolated Prediction Frame，简称为B帧，编码时既需要考虑与上一帧的差别信息，也需要考虑与下一帧的差别信息。
根据本发明实施例，提供了一种媒体流的播放处理方法，在待传输的图像组不满足播放端持续播放条件时，向其补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足播放端持续播放条件的图像组，以使播放端持续播放。
可选的，在本实施例中，上述媒体流的播放处理方法可以应用于如图1所示的由推流端01、服务器02、和观看端03所构成的硬件环境中。如图1所示，服务器02与推流端01、观看端03可以通过网络进行连接，上述网络包括但不限于：广域网、城域网或局域网。推流端01和观看端03可以是PC、手机、平板电脑等。
具体的，推流端01可以将编码后的媒体流推送至服务器02，服务器02可以将接收到的媒体流进行转码等处理，传输给观看端03，或者经由中间源、分发源、CDN节点等模块将媒体流分发给多个观看端03，从而使得多个观看端03可以将媒体流进行解码播放。本发明实施例的媒体流的播放处理方法可以由推流端01执行，也可以由服务器02执行。
可选的，本发明实施例中媒体流的播放处理方法可以在媒体流被分发之前执行，从而使得观看该媒体流的所有观看端均可以持续稳定播放。
需要说明的是，本发明具体实施例不管在哪个网元中执行都能够提高播放端持续播放的可能性。
需要说明的是，图1所示的硬件环境还可以根据需求包含其他的硬件模块，本发明实施例的媒体流的播放处理方法也可以由其他的硬件模块执行，本实施例对此不做限定。
参见图2，图2是本发明实施例提供的媒体流的播放处理方法的流程图，如图2所示，包括以下步骤：
步骤201、在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组。
本实施例中，在媒体流传输过程中，将媒体流编码成一个个的图像组依次进行传输，可选的，上述媒体流可以是符合H.264规范的媒体流。播放端持续播放条件可以是维持播放器稳定持续播放的条件，例如，维持播放器播放时不会出现黑屏、严重卡屏或是播放失败等无法自动恢复的问题。可选的，播放端持续播放条件可以是维持播放器持续稳定播放的帧率。
本实施例中，能够被独立解码的图像帧是指解码时无需依赖媒体流中其他图像帧的数据就能够解码出完整图像的图像帧。第一图像帧为媒体流中能够被独立解码的图像帧，例如，图像组中的关键帧。
例如，参见图1，若推流端01出现异常状况导致第一图像组帧率过低，则可以向第一图像组中补入第一图像帧，以使补入第一图像帧的第一图像组满足播放器持续稳定播放的条件。
步骤202、传输所述第二图像组。
具体的，本实施例可以在推流端01出现异常状况导致媒体流中的图像帧丢失时，通过向媒体流中补入能够被独立解码的图像帧，从而可以向播放器持续传输满足播放端持续播放条件的媒体流，维持播放器持续稳定播放。
本实施例中，当检测到缓存的待传输的第一图像组不满足所述播放端持续播放条件，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；传输所述第二图像组。通过在第一图像组不满足播放端持续播放条件时，将来自媒体流的能够被独立解码的第一图像帧补入第一图像组，使得补入第一图像帧的第一图像组能够满足播放端持续播放条件，从而可以维持播放器持续稳定播放，减少了由于暂时断流或是帧率过低引起的播放器无法修复的错误，使播放器在异常状态结束后能自动恢复流畅播放，无需手动刷新或重置播放器。
此外，由于能够维持播放器持续稳定播放，从而服务器无需不断地处理因播放器播放失败用户发送的各种刷新、访问等请求，减少了服务器的负担。
可选的，参见图1，上述步骤201和步骤202可以是在推流端01中执行，也可以是在服务器02中执行。具体的，可以在推流端01向服务器02传输第一图像组之前，先检测第一图像组是否满足播放端持续播放条件，在检测出第一预设图像组不满足播放端持续播放条件时，向第一图像组中补入第一图像帧，以使补入第一图像帧的第一图像组满足播放器持续稳定播放的条件，并将补入第一图像帧的第一图像组传输给服务器02。也可以在服务器02向观看端03传输第一图像组之前，先检测第一图像组是否满足播放端持续播放条件，在检测出第一预设图像组不满足播放端持续播放条件时，向第一图像组中补入第一图像帧，以使补入第一图像帧的第一图像组满足播放器持续稳定播放的条件，并将补入第一图像帧的第一图像组传输给观看端03。
可选的，本实施例可以通过比较第一图像组中相邻两个图像帧之间的平均时间间隔是否超过预设值来判断第一图像组是否满足播放端持续播放条件，例如，若第一图像组中相邻两个图像帧之间的平均时间间隔超过预设值，则确定第一图像组不满足播放端持续播放条件，若第一图像组中相邻两个图像帧之间的平均时间间隔未超过预设值，则确定第一图像组满足播放端持续播放条件。
可选的，本实施例也可以通过检测所述第一图像组的帧率是否小于预设帧率来判断第一图像组是否满足播放端持续播放条件。
具体的，本实施例的媒体流的播放处理方法还包括：在所述第一图像组的帧率小于预设帧率时，确定所述第一图像组不满足所述播放端持续播放条件；在所述第一图像组的帧率大于或等于所述预设帧率时，确定所述第一图像组满足所述播放端持续播放条件。
具体的，媒体流中的各个图像组分别对应一个播放时长，例如，1秒、2秒，甚至更长的时间(与不同的标准以及标准的演进相关)等。图像组中相邻两个图像帧的平均时间间隔，也即图像组的播放时长与图像组中图像帧的数量的比值。图像组的帧率可以是图像组中图像帧的数量与播放时长的比值，例如，媒体流中的各个图像组对应1秒的播放时长，第一图像组包括5个图像帧，则第一图像组中相邻两个图像帧的平均时间间隔为200ms，第一图像组的帧率为5帧/秒。
本实施例中，预设帧率可以根据实际情况进行设置，例如，5帧/秒、8帧/秒等。本实施例通过检测第一图像组的帧率的大小来判断是否需要向第一图像组中补帧，实现简单高效，并在第一图像组的帧率较低时向第一图像组中补帧，从而可以避免播放器播放时因帧率过低或是断流导致播放器播放失败。
在上述步骤201中，可选的，补入所述第一图像组的所述第一图像帧可以为：
从所述媒体流中提取并存储的图像帧；或
缓存的至少一个图像组中的图像帧。
本实施例可以将接收到的来自流媒体的能够被独立解码的图像帧存储至预设的存储空间，从而在需要向第一图像组补入图像帧时，可以直接从预设的存储空间中获取能够被独立解码的图像帧并补入第一图像组，操作便捷，效率较高。
而在实际情况中，在媒体流传输过程中通常会缓存至少一个图像组，如当前待传输的第一图像组。因此，本实施例也可以从缓存的至少一个图像组中获取能够被独立解码的图像帧并补入第一图像组，操作便捷，效率较高。而且相比于从预设的存储空间中获取能够被独立解码的图像帧并补入第一图像组，无需设置额外的存储空间。
本实施例中，可以采用缓存的至少一个图像组中的图像帧，而当缓存的图像组超过一个时，能够被独立解码的图像帧可能是一个，也可能是多个。当能够被独立解码的图像帧是一个时，则可以将该能够被独立解码的图像帧作为第一图像帧，当能够被独立解码的图像帧是多个时，则可以从多个能够被独立解码的图像帧中获取任意一个能够被独立解码的图像帧作为第一图像帧。
可选的，所述缓存的至少一个图像组中的图像帧中包括多个能够被独立解码的图像帧时，所述补入所述第一图像组的所述第一图像帧为：所述多个能够被独立解码的图像帧中任意一个能够被独立解码的图像帧。
本实施例中，若所述缓存的至少一个图像组中的图像帧中包括多个能够被独立解码的图像帧时，例如，第一图像组中的能够被独立解码的图像帧和位于第一图像组之后的图像组中的能够被独立解码的图像帧，则可以从多个能够被独立解码的图像帧中获取任意一个能够被独立解码的图像帧并补入第一图像组，例如，可以获取第一图像组中的能够被独立解码的图像帧并补入第一图像组，也可以获取位于第一图像组之后的图像组中的能够被独立解码的图像帧并补入第一图像组。
可选的，补入所述第一图像组的所述第一图像帧属于所述媒体流中位于所述第一图像组之后的图像组时，所述第一图像帧补入所述第一图像组的尾帧之后，否则补入所述第一图像组的起始帧之前。
由于媒体流中的各个图像组具有时序性，为了提高媒体流播放的连续性和流畅性，若第一图像帧属于所述媒体流中位于所述第一图像组之后的图像组，则将第一图像帧补入所述第一图像组的尾帧之后，若第一图像帧属于所述第一图像组，则将所述第一图像帧补入所述第一图像组的起始帧之前。
例如，预设帧率为5帧/秒，第一图像组包括I1P1B1三帧图像，若第一图像帧为媒体流中位于所述第一图像组之后的图像组的I2帧，则补入第一图像帧的第一图像组可以为I1P1B1I2I2，若第一图像帧为第一图像组的I1帧，则补入第一图像帧的第一图像组可以为I1I1I1P1B1。
以下以具体示例对本实施例进行说明：
当缓存中仅包括图像组1，其中，图像组1为当前待传输的图像组，图像组1包括I1P1B1三帧图像，参见图3，将图像组1的关键帧I1补入图像组1的起始帧之前。
当缓存中包括图像组1和图像组2，其中，图像组1为当前待传输的图像组，图像组2为图像组1之后的一个图像组，图像组1包括I1P1B1三帧图像，参见图4，将图像组2的关键帧I2补入图像组1的尾帧之后。
当缓存中包括图像组1、图像组2和图像组3时，其中，图像组1为当前待传输的图像组，图像组2为图像组1之后的一个图像组，图像组3为图像组2之后的一个图像组，图像组1包括I1P1B1三帧图像，参见图4，将图像组2的关键帧I2补入图像组1的尾帧之后。
可选的，在所述传输所述第二图像组之前，所述方法还包括：向所述第二图像组中不存在对应的音频帧的图像帧，补入静音帧；
相应的，所述传输所述第二图像组包括：将所述第二图像组中的各个图像帧和所述第二图像组中的各个图像帧对应的音频帧按照时间戳对齐传输。
具体的，媒体流通常包括视频流和音频流，为了使播放时视频流和音频流能够同步，视频流中各个图像帧和音频流的各个音频帧均设置有时间戳，从而可以根据时间戳同步播放图像帧和音频帧。
本实施例中，对于第二图像组中存在对应音频帧的图像帧，则可以将图像帧和音频帧按照时间戳对齐传输，而对于第二图像组中不存在对应的音频帧的图像帧，例如，补入第一图像组的第一图像帧，则可以补入静音帧，并将该静音帧和图像帧按照时间戳对齐传输。
需要说明的是，为了提高媒体流播放的流畅性，可以在启动媒体流传输后先缓存至少2个图像组，之后再进行图像组传输。
需要说明的是，上述实施例中的各个实现方式可以任意组合。
由上可知，本实施例通过在当前待传输的第一图像组帧率较低时向第一图像组中补入能够独立解码图像帧，得到满足预设帧率的第二图像组，从而可以维持播放器的持续稳定输出，减少由于暂时断流或是帧率过低引起的播放器无法修复的错误，使播放器在异常状态结束后能自动恢复流畅播放，无需手动刷新或重置播放器，极大地提升了视频直播的稳定性和观看体验，实现简单，成本较低，而且兼容性较好。
参见图5，图5是本发明又一实施例提供的媒体流的播放处理方法的流程图，如图5所示，包括以下步骤：
步骤501、缓存至少一个图像组。
可选的，为了提高媒体流播放的流畅性，本实施例可以在启动媒体流传输时，先缓存至少2个图像组。在缓存至少2个图像组后，在执行步骤502。
步骤502、检测缓存的至少一个图像组中当前待传输的第一图像组是否满足预设帧率。
本实施例中，若检测到所述第一图像组小于预设帧率，则执行步骤503。可选的，若检测到所述第一图像组大于或等于预设帧率，则可以直接传输所述第一图像组。
步骤503、检测是否接收到媒体流中位于所述第一图像组之后的图像组的I帧。
本实施例在第一图像组的帧率小于预设帧率时，检测是否接收到媒体流中位于所述第一图像组之后的图像组的I帧，其中，I帧为可解码的I帧，也即未被损坏的I帧。若检测到已接收到所述媒体流中位于所述第一图像组之后的图像组的I帧，执行步骤504，若检测到未接收到所述媒体流中位于所述第一图像组之后的图像组的I帧，执行步骤505。
步骤504、将位于所述第一图像组之后的图像组的I帧补入所述第一图像组的尾帧之后，得到满足所述预设帧率的第二图像组。
例如，预设帧率为5帧/秒，第一图像组包括I1P1B1三帧图像，若接收到媒体流中位于所述第一图像组之后的图像组的I2帧，则将I2帧补入第一图像组，补入I2帧的第一图像组可以为I1P1B1I2I2。
需要说明的是，本实施例也可以使补入I帧的第一图像组的帧率大于预设帧率。例如，上述补入I2帧的第一图像组也可以为I1P1B1I2I2I2I2。
可选的，若接收到多个位于第一图像组之后的图像组的I帧，此时可以优先获取第一图像组后一个图像组的I帧补入第一图像组。
步骤505、将所述第一图像组的I帧补入所述第一图像组的起始帧之前，得到满足所述预设帧率的第二图像组。
例如，预设帧率为5帧/秒，第一图像组包括I1P1B1三帧图像，若未接收到媒体流中位于所述第一图像组之后的图像组的I帧，则将第一图像组的I1帧补入第一图像帧，补入I1帧的第一图像组可以为I1I1I1P1B1。
步骤506、传输所述第二图像组。
需要说明的是，本实施例可以在未接收到媒体流中位于所述第一图像组之后的图像组的I帧时，可以将第一图像组的I帧补入第一图像组，得到满足预设帧率的第二图像组。传输时仅传输第二图像组的I帧并补静音帧，直至接收到媒体流中位于所述第一图像组之后的图像组的I帧后，在传输第二图像组其他的图像帧(例如，B帧和P帧)和音频包，以提高媒体流播放时的连续性和流畅性。
需要说明的是，本实施例在媒体流传输过程中重复执行上述步骤502至步骤506，直至媒体流传输结束。
需要说明的是，参见图1，上述步骤501至步骤506可以由推流端01执行，也可以由服务器02执行。
由上可知，本实施例通过将在当前待传输的图像组帧率较低时向待传输的图像组中补入I帧，得到满足预设帧率的待传输的图像组，从而可以维持播放器的持续稳定输出，减少由于暂时断流或是帧率过低引起的播放器无法修复的错误，使播放器在异常状态结束后能自动恢复流畅播放，无需手动刷新或重置播放器，极大地提升了视频直播的稳定性和观看体验，实现简单，成本较低，而且兼容性较好。
参见图6，图6是本发明实施提供的媒体流的播放处理装置的结构图，如图6所示，媒体流的播放处理装置600包括补帧模块601和传输模块602，其中：
补帧模块601，用于在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；
传输模块602，用于传输所述第二图像组。
可选的，参见图7，所述媒体流的播放处理装置600还包括：确定模块603，用于在所述第一图像组的帧率小于预设帧率时，确定所述第一图像组不满足所述播放端持续播放条件；在所述第一图像组的帧率大于或等于所述预设帧率时，确定所述第一图像组满足所述播放端持续播放条件。
可选的，补入所述第一图像组的所述第一图像帧为：从所述媒体流中提取并存储的图像帧；或缓存的至少一个图像组中的图像帧。
可选的，所述缓存的至少一个图像组中的图像帧中包括多个能够被独立解码的图像帧时，所述补入所述第一图像组的所述第一图像帧为：所述多个能够被独立解码的图像帧中任意一个能够被独立解码的图像帧。
可选的，所述补入所述第一图像组的所述第一图像帧属于所述媒体流中位于所述第一图像组之后的图像组时，所述第一图像帧补入所述第一图像组的尾帧之后，否则补入所述第一图像组的起始帧之前。
可选的，所述媒体流为符合H.264规范的媒体流，所述第一图像帧为关键帧。
可选的，所述补帧模块601还用于：向所述第二图像组中不存在对应的音频帧的图像帧，补入静音帧；
相应的，所述传输模块602具体用于：将所述第二图像组中的各个图像帧和所述第二图像组中的各个图像帧对应的音频帧按照时间戳对齐传输。
本实施例的媒体流的播放处理装置600能够执行前述任一方法实施例中的媒体流的播放处理方法，为避免重复，这里不再赘述。
本发明实施例的媒体流的播放处理装置600，通过补帧模块601在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；传输模块602传输所述第二图像组。通过在第一图像组不满足播放端持续播放条件时，将来自媒体流的能够被独立解码的第一图像帧补入第一图像组，使得补入第一图像帧的第一图像组能够满足播放端持续播放条件，从而可以维持播放器稳定播放，减少了由于暂时断流或是帧率过低引起的播放器无法修复的错误，使播放器在异常状态结束后能自动恢复流畅播放，无需手动刷新或重置播放器。
参见图8，图8是本发明实施提供的电子设备的结构图，如图8所示，电子设备800包括：至少一个处理器801、存储器802、至少一个网络接口804和用户接口803。电子设备800中的各个组件通过总线系统805耦合在一起。可理解，总线系统805用于实现这些组件之间的连接通信。总线系统805除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统805。
其中，用户接口803可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器802可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的系统和方法的存储器802旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器802存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统8021和应用程序8022。
其中，操作系统8021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序8022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序8022中。
在本发明实施例中，通过调用存储器802存储的程序或指令，具体的，可以是应用程序8022中存储的程序或指令，处理器801用于：在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；传输所述第二图像组。
上述本发明实施例揭示的方法可以应用于处理器801中，或者由处理器801实现。处理器801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器802，处理器801读取存储器802中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选的，处理器801还用于：在所述第一图像组的帧率小于预设帧率时，确定所述第一图像组不满足所述播放端持续播放条件；在所述第一图像组的帧率大于或等于所述预设帧率时，确定所述第一图像组满足所述播放端持续播放条件。
可选的，补入所述第一图像组的所述第一图像帧为：从所述媒体流中提取并存储的图像帧；或缓存的至少一个图像组中的图像帧。
可选的，所述缓存的至少一个图像组中的图像帧中包括多个能够被独立解码的图像帧时，所述补入所述第一图像组的所述第一图像帧为：所述多个能够被独立解码的图像帧中任意一个能够被独立解码的图像帧。
可选的，所述补入所述第一图像组的所述第一图像帧属于所述媒体流中位于所述第一图像组之后的图像组时，所述第一图像帧补入所述第一图像组的尾帧之后，否则补入所述第一图像组的起始帧之前。
可选的，所述媒体流为符合H.264规范的媒体流，所述第一图像帧为关键帧。
可选的，处理器801还用于：在所述传输所述第二图像组之前，向所述第二图像组中不存在对应的音频帧的图像帧，补入静音帧；
相应的，处理器801执行所述传输所述第二图像组包括：将所述第二图像组中的各个图像帧和所述第二图像组中的各个图像帧对应的音频帧按照时间戳对齐传输。
电子设备800能够执行上述任一方法实施例中的媒体流的播放处理方法，为避免重复，这里不再赘述。
本发明实施例的电子设备800，通过在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；传输所述第二图像组。通过在第一图像组不满足播放端持续播放条件时，将来自媒体流的能够被独立解码的第一图像帧补入第一图像组，使得补入第一图像帧的第一图像组能够满足播放端持续播放条件，从而可以维持播放器稳定播放，减少了由于暂时断流或是帧率过低引起的播放器无法修复的错误，使播放器在异常状态结束后能自动恢复流畅播放，无需手动刷新或重置播放器。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一个方法实施例中的媒体流的播放处理方法中的步骤。
在本发明的上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种媒体流的播放处理方法，其特征在于，包括：
在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；
传输所述第二图像组。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述第一图像组的帧率小于预设帧率时，确定所述第一图像组不满足所述播放端持续播放条件；
在所述第一图像组的帧率大于或等于所述预设帧率时，确定所述第一图像组满足所述播放端持续播放条件。
3.根据权利要求1所述的方法，其特征在于，补入所述第一图像组的所述第一图像帧为：
从所述媒体流中提取并存储的图像帧；或
缓存的至少一个图像组中的图像帧。
4.根据权利要求3所述的方法，其特征在于，所述缓存的至少一个图像组中的图像帧中包括多个能够被独立解码的图像帧时，所述补入所述第一图像组的所述第一图像帧为：
所述多个能够被独立解码的图像帧中任意一个能够被独立解码的图像帧。
5.根据权利要求1-4中任意一项所述的方法，其特征在于，补入所述第一图像组的所述第一图像帧属于所述媒体流中位于所述第一图像组之后的图像组时，所述第一图像帧补入所述第一图像组的尾帧之后，否则补入所述第一图像组的起始帧之前。
6.根据权利要求1-4中任意一项所述的方法，其特征在于，所述媒体流为符合H.264规范的媒体流，所述第一图像帧为关键帧。
7.根据权利要求1-4中任意一项所述的方法，其特征在于，在所述传输所述第二图像组之前，所述方法还包括：
向所述第二图像组中不存在对应的音频帧的图像帧，补入静音帧；
所述传输所述第二图像组包括：
将所述第二图像组中的各个图像帧和所述第二图像组中的各个图像帧对应的音频帧按照时间戳对齐传输。
8.一种媒体流的播放处理装置，其特征在于，包括：
补帧模块，用于在缓存的至少一个图像组中当前待传输的第一图像组不满足播放端持续播放条件时，向所述第一图像组中补入已接收到的来自媒体流的能够被独立解码的第一图像帧，得到满足所述播放端持续播放条件的第二图像组；
传输模块，用于传输所述第二图像组。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
确定模块，用于在所述第一图像组的帧率小于预设帧率时，确定所述第一图像组不满足所述播放端持续播放条件；在所述第一图像组的帧率大于或等于所述预设帧率时，确定所述第一图像组满足所述播放端持续播放条件。
10.根据权利要求8所述的装置，其特征在于，补入所述第一图像组的所述第一图像帧为：
从所述媒体流中提取并存储的图像帧；或
缓存的至少一个图像组中的图像帧。
11.根据权利要求10所述的装置，其特征在于，所述缓存的至少一个图像组中的图像帧中包括多个能够被独立解码的图像帧时，所述补入所述第一图像组的所述第一图像帧为：
所述多个能够被独立解码的图像帧中任意一个能够被独立解码的图像帧。
12.根据权利要求8-11中任意一项所述的装置，其特征在于，补入所述第一图像组的所述第一图像帧属于所述媒体流中位于所述第一图像组之后的图像组时，所述第一图像帧补入所述第一图像组的尾帧之后，否则补入所述第一图像组的起始帧之前。
13.根据权利要求8-11中任意一项所述的装置，其特征在于，所述媒体流为符合H.264规范的媒体流，所述第一图像帧为关键帧。
14.根据权利要求8-11中任意一项所述的装置，其特征在于，所述补帧模块还用于：向所述第二图像组中不存在对应的音频帧的图像帧，补入静音帧；
所述传输模块具体用于：将所述第二图像组中的各个图像帧和所述第二图像组中的各个图像帧对应的音频帧按照时间戳对齐传输。
CN201710377784.3A 2017-05-25 2017-05-25 一种媒体流的播放处理方法及装置 Active CN108933762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710377784.3A CN108933762B (zh) 2017-05-25 2017-05-25 一种媒体流的播放处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710377784.3A CN108933762B (zh) 2017-05-25 2017-05-25 一种媒体流的播放处理方法及装置

Publications (2)

Publication Number Publication Date
CN108933762A true CN108933762A (zh) 2018-12-04
CN108933762B CN108933762B (zh) 2020-12-04

Family

ID=64451438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710377784.3A Active CN108933762B (zh) 2017-05-25 2017-05-25 一种媒体流的播放处理方法及装置

Country Status (1)

Country Link
CN (1) CN108933762B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804579A (zh) * 2019-11-14 2021-05-14 上海哔哩哔哩科技有限公司 视频播放方法、装置、计算机设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1965587A (zh) * 2004-04-07 2007-05-16 高通股份有限公司 在允许时域分级的混合视频压缩中进行帧预测的方法和装置
CN101127919A (zh) * 2007-09-28 2008-02-20 中兴通讯股份有限公司 一种视频序列的编码方法
CN102378008A (zh) * 2011-11-02 2012-03-14 深圳市融创天下科技股份有限公司 一种减少播放等待时间的视频编码方法、装置及系统
WO2016036285A1 (en) * 2014-09-02 2016-03-10 Telefonaktiebolaget L M Ericsson (Publ) Video stream encoding using a central processing unit and a graphical processing unit
CN105847790A (zh) * 2015-01-16 2016-08-10 杭州海康威视数字技术股份有限公司 一种码流传输方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1965587A (zh) * 2004-04-07 2007-05-16 高通股份有限公司 在允许时域分级的混合视频压缩中进行帧预测的方法和装置
CN101127919A (zh) * 2007-09-28 2008-02-20 中兴通讯股份有限公司 一种视频序列的编码方法
CN102378008A (zh) * 2011-11-02 2012-03-14 深圳市融创天下科技股份有限公司 一种减少播放等待时间的视频编码方法、装置及系统
WO2016036285A1 (en) * 2014-09-02 2016-03-10 Telefonaktiebolaget L M Ericsson (Publ) Video stream encoding using a central processing unit and a graphical processing unit
CN105847790A (zh) * 2015-01-16 2016-08-10 杭州海康威视数字技术股份有限公司 一种码流传输方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
严丽娜: ""流媒体自适应播放系统的设计与实现"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804579A (zh) * 2019-11-14 2021-05-14 上海哔哩哔哩科技有限公司 视频播放方法、装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
CN108933762B (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN110636346B (zh) 一种码率自适应切换方法、装置、电子设备及存储介质
WO2020048429A1 (zh) 一种媒体资源获取的方法及装置
KR101624013B1 (ko) 에이치티티피 스트리밍에서 적응화를 위한 방법 및 장치
WO2016131223A1 (zh) 一种视频帧丢帧方法及视频发送装置
CN109618179A (zh) 超高清视频直播的快速起播方法及装置
US11632580B2 (en) Systems and methods for multi-video stream transmission
CN110582012B (zh) 视频切换方法、视频处理方法、装置及存储介质
CN110234031A (zh) 一种媒体播放的方法及装置
CN108881894B (zh) Vr多媒体的体验质量确定方法及装置
CN103260052A (zh) 自适应显示流
CN111698520A (zh) 一种多视角视频的播放方法、装置、终端及存储介质
CN111726657A (zh) 直播视频的播放处理方法、装置及服务器
CN111726641A (zh) 直播视频的播放处理方法、装置及服务器
CN113852824A (zh) 视频转码方法、装置、电子设备和存储介质
CN108156500B (zh) 多媒体数据时间修正方法、计算机装置、计算机可读存储介质
CN102196249A (zh) 监控数据回放方法及编码器、视频管理服务器
US10674188B2 (en) Playback apparatus, method of controlling playback apparatus, playback method and server apparatus
CN108933762A (zh) 一种媒体流的播放处理方法及装置
CN110012315A (zh) 一种视频播放方法、装置及电子设备
CN111372117B (zh) 一种视频播放方法、装置、电子设备及存储介质
CN110460875A (zh) 一种视频码率的切换方法、装置、电子设备及存储介质
CN115426501A (zh) 一种音视频码流时间校准方法及电子设备
CN112911390B (zh) 一种视频数据的播放方法及终端设备
CN112511887B (zh) 视频播放控制方法及相应的装置、设备、系统和存储介质
CN115361579A (zh) 视频送显方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant