CN109286857A

CN109286857A - 多媒体数据播放方法及装置

Info

Publication number: CN109286857A
Application number: CN201710591996.1A
Authority: CN
Inventors: 李敬来
Original assignee: TD Tech Ltd
Current assignee: TD Tech Ltd; TD Tech Chengdu Co Ltd
Priority date: 2017-07-19
Filing date: 2017-07-19
Publication date: 2019-01-29
Anticipated expiration: 2037-07-19
Also published as: CN109286857B

Abstract

本发明提供一种多媒体数据播放方法及装置，该方法包括：在接收到用户触发的取消静音操作时，获取第一音频数据的播放时间点；获取第一视频数据的播放时间点；若第一视频数据的播放时间点大于第一音频数据的播放时间点，则输出第一视频数据，且暂停输出第一音频数据。本发明提供的多媒体数据播放方法及装置，提高了多媒体数据播放的流畅性。

Description

多媒体数据播放方法及装置

技术领域

本发明涉及多媒体通信技术领域，尤其涉及一种多媒体数据播放方法及装置。

背景技术

观看多媒体节目，例如：电视节目，对于大多数用户而言，都已成为日常生活不可或缺的一部分，通常情况下，用户在观看多媒体节目之前，都需要选择某一播放器用于播放该多媒体节目。

多媒体节目的数据通常包括音频数据和视频数据，现有技术中，为了增加观看的效果，多数播放器在播放多媒体节目时，均采用音频数据和视频数据同步机制进行音频数据和视频数据的同步播放，以便人们同时获得听觉上和视觉上的感触，从而提高用户的体验感。通过在采用音频数据和视频数据同步机制播放多媒体节目之前，使得视频数据的播放点按照音频数据的播放点进行播放，从而实现音频数据与视频数据的同步播放。

在视频播放过程中，如果音视频数据的发送端执行了静音和取消静音的操作，在静音的时候，播放器正常播放视频数据，当取消静音的时候，播放器开始播放音频数据，此时该音频数据的RTP(Real-time Transport Protocol，实时传输协议)包对应的RTCP(Real-time Transport Control Protocol，实时传输控制协议)SR(Sender Report，发送端报告)中的参数与之前的不一致，则导致音频数据计算的播放点与视频数据计算的播放点不一致，从而使得多媒体节目播放出现卡顿或快进的现象，导致多媒体数据播放的流畅性不高。

发明内容

本发明提供一种多媒体数据播放方法及装置，以提高多媒体数据播放的流畅性。

本发明提供一种多媒体数据播放方法，应用于播放器，所述多媒体数据播放方法包括：

在接收到用户触发的取消静音操作时，获取第一音频数据的播放时间点；

获取第一视频数据的播放时间点；

若所述第一视频数据的播放时间点大于所述第一音频数据的播放时间点，则输出所述第一视频数据，且暂停输出所述第一音频数据。

在本发明一实施例中，所述输出所述第一视频数据，且暂停输出所述第一音频数据之后，还包括：

获取第二视频数据的播放时间点，所述第二视频数据为所述播放器在所述第一视频数据之后接收到的视频数据；

若所述第二视频播放时间点大于所述第一音频数据的播放时间点，则输出第二视频数据，且暂停输出所述第一音频数据；

若所述第二视频播放时间点小于或等于所述第一音频数据的播放时间点，则输出所述第二视频数据和所述第一音频数据。

在本发明一实施例中，所述获取第一音频数据的播放时间点，包括：

获取所述第一音频数据的第一实时传输控制协议RTCP发送端报告SR，所述第一RTCP SR中包含第一网络时间协议NTP时间和第一实时传输协议RTP时间，所述第一RTCP SR对应第一系统时间；

根据所述第一NTP时间、所述第一RTP时间、所述第一音频数据的实时传输协议RTP包的时间戳及NTP基准时间获取所述第一音频数据的播放时间点。

在本发明一实施例中，所述获取第一视频数据的播放时间点，包括：

获取所述第一视频数据的第二RTCP SR，所述第二RTCP SR中包含第二NTP时间和第二RTP时间，所述第二RTCP SR对应第二系统时间；

根据所述第二NTP时间、所述第二RTP时间、所述第一视频数据的RTP包的时间戳及所述NTP基准时间获取所述第一视频数据的播放时间点。

在本发明一实施例中，所述获取第二视频数据的播放时间点，包括：

获取所述第二视频数据对应的第三RTCP SR，所述第三RTCP SR中包括第三RTP时间；

根据所述第三RTP时间和所述第一RTP时间获取所述第二视频数据的播放时间点。

本发明实施例还提供一种多媒体数据播放装置，应用于播放器，所述多媒体数据播放装置包括：

第一获取单元，用于在接收到用户触发的取消静音操作时，获取第一音频数据的播放时间点；

第二获取单元，用于获取第一视频数据的播放时间点；

第一处理单元，用于若所述第一视频数据的播放时间点大于所述第一音频数据的播放时间点，则输出所述第一视频数据，且暂停输出所述第一音频数据。

在本发明一实施例中，还包括；

第三获取单元，用于获取第二视频数据的播放时间点，所述第二视频数据为所述播放器在所述第一视频数据之后接收到的视频数据；

第二处理单元，用于若所述第二视频播放时间点大于所述第一音频数据的播放时间点，则输出第二视频数据，且暂停输出所述第一音频数据；若所述第二视频播放时间点小于或等于所述第一音频数据的播放时间点，则输出所述第二视频数据和所述第一音频数据。

在本发明一实施例中，所述第一获取单元，具体用于获取所述第一音频数据的第一实时传输控制协议RTCP发送端报告SR，所述第一RTCP SR中包含第一网络时间协议NTP时间和第一实时传输协议RTP时间，所述第一RTCP SR对应第一系统时间；并根据所述第一NTP时间、所述第一RTP时间、所述第一音频数据的实时传输协议RTP包的时间戳及NTP基准时间获取所述第一音频数据的播放时间点。

在本发明一实施例中，所述第二获取单元，具体用于获取所述第一视频数据的第二RTCP SR，所述第二RTCP SR中包含第二NTP时间和第二RTP时间，所述第二RTCP SR对应第二系统时间；并根据所述第二NTP时间、所述第二RTP时间、所述第一视频数据的RTP包的时间戳及所述NTP基准时间获取所述第一视频数据的播放时间点。

在本发明一实施例中，所述第三获取单元，具体用于获取所述第二视频数据对应的第三RTCP SR，所述第三RTCP SR中包括第三RTP时间；并根据所述第三RTP时间和所述第一RTP时间获取所述第二视频数据的播放时间点。

本发明实施例提供的多媒体数据播放方法及装置，在接收到用户触发的取消静音操作时，通过获取第一音频数据的播放时间点和第一视频数据的播放时间点，并将第一音频数据的播放时间点和第一视频数据的播放时间点进行比较，若第一视频数据的播放时间点大于第一音频数据的播放时间点，则输出第一视频数据，且暂停输出第一音频数据，使得第一视频可以流畅地播放，可以防止视频在播放时出现卡顿的现象，从而提高了多媒体数据播放的流畅性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多媒体数据播放方法的应用场景图；

图2为本发明多媒体数据播放方法实施例一的流程图；

图3为本发明多媒体数据播放方法实施例二的流程示意图；

图4为本发明多媒体数据播放方法实施例三的流程示意图；

图5为本发明实施例提供的一种多媒体数据播放装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明实施例提供的一种多媒体数据播放方法的应用场景图，应用于播放器，请参见图1所示，播放器正常播放播放时间点为1、2、3及4的音频数据和播放时间点为1、2、3及4视频数据，在该过程中，视频数据和音频数据同时播放，在播放完播放时间点为4的音频数据和视频数据之后，用户执行了静音操作，此时，播放端只接收并播放播放时间为5的视频数据，在播放完播放时间为5的视频数据之后，用户执行了取消静音的操作，此时，播放器开始接收音频数据和视频数据。

下面，以具体的实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2为本发明多媒体数据播放方法实施例一的流程图，应用于播放器，该多媒体数据播放方法可以由多媒体数据播放装置执行，该多媒体数据播放装置可以独立设置，也可以集成在处理器中。请参见图2所示，该多媒体数据播放方法可以包括：

S201、在接收到用户触发的取消静音操作时，获取第一音频数据的播放时间点。

其中，第一音频数据为用户取消静音操作时，播放器接收到第一个音频数据，即为初始的音频数据。在本发明实施例中，请结合图1所示，第一音频数据即为用户取消静音操作之后，再次接收到的播放时间点为1的音频数据。示例的，在本发明实施例中，用户可以通过播放器上设置的声音按钮取消静音操作，当然，也可以通过其他方式取消静音操作，在此，对于用户如何触发取消静音操作，本发明实施例不做具体限制。

在获取到第一音频数据之后，就可以获取该第一音频数据对应的播放时间点。

S202、获取第一视频数据的播放时间点。

其中，第一视频数据为用户取消静音操作时，播放器接收到第一个视频数据，即为初始的视频数据。在本发明实施例中，请结合图1所示，第一视频数据即为用户取消静音操作之后，再次接收到的播放时间点为6的视频数据。

同样的，在获取到第一视频数据之后，就可以获取该第一视频数据对应的播放时间点。

需要说明的是，在本发明实施例中，在接收到用户触发的取消静音操作时，可以先获取第一音频数据的播放时间点，也可以先获取第一视频数据的播放时间点，当然，也可以同时获取第一音频数据的播放时间点和第一视频数据的播放时间点，在此，本发明实施例只是以先获取第一音频的数据播放点为例进行说明，但并不代表本发明仅局限于此。

S203、若第一视频数据的播放时间点大于第一音频数据的播放时间点，则输出第一视频数据，且暂停输出第一音频数据。

在分别获取到第一音频数据的播放时间点和第一视频数据的播放时间点之后，就可以将第一音频数据的播放时间点和第一视频数据的播放时间点进行比较，请结合图1所示，第一音频数据的播放时间为1，第一视频数据的播放时间为6，由于6大于1，则此时只输出第一视频数据，并暂停输出第一音频数据，使得第一视频可以流畅地播放，可以防止视频在播放时出现卡顿的现象，从而提高了多媒体数据播放的流畅性。

需要说明的是，在本发明实施例中，若第一视频数据的播放时间点小于等于第一音频数据的播放时间点，则同时输出第一视频数据和第一音频数据。

本发明实施例提供的多媒体数据播放方法，在接收到用户触发的取消静音操作时，通过获取第一音频数据的播放时间点和第一视频数据的播放时间点，并将第一音频数据的播放时间点和第一视频数据的播放时间点进行比较，若第一视频数据的播放时间点大于第一音频数据的播放时间点，则输出第一视频数据，且暂停输出第一音频数据，使得第一视频可以流畅地播放，可以防止视频在播放时出现卡顿的现象，从而提高了多媒体数据播放的流畅性。

基于图2对应的实施例，在图2对应的实施例的基础上，进一步地，本发明实施例提供了另一种多媒体数据播放方法，请参见图3所示，图3为本发明多媒体数据播放方法实施例二的流程示意图。

可选的，在本发明实施例中，S201获取第一音频数据的播放时间点，可以包括：

S2011、获取第一音频数据的第一RTCP SR。

其中，第一RTCP SR中包含第一NTP时间和第一RTP时间，第一RTCP SR对应第一系统时间。

在本发明实施例中，第一NTP时间是发送端发送第一音频数据对应的RTCP SR的系统时间，第一RTP时间是第一音频数据的采集时间，第一系统时间是播放器接收第一音频数据对应的RTCP SR的接收时间。可选的，发送端可以是服务器，也可以是终端。

S2012、根据第一NTP时间、第一RTP时间、第一音频数据的RTP包的时间戳及NTP基准时间获取第一音频数据的播放时间点。

在本发明实施例中，用户在取消静音操作之后，若播放器先接收到第一音频数据对应的RTCP SR，则NTP基准时间为第一音频数据对应的第一系统时间；若播放器先接收到第一视频数据对应的RTCP SR，则NTP基准时间为第一视频数据对应的第二系统时间。

在分别获取到第一NTP时间、第一RTP时间、第一音频数据的RTP包的时间戳及NTP基准时间之后，就可以根据：

第一音频数据的播放时间点＝(第一NTP时间-NTP基准时间)+(第一音频数据的RTP包的时间戳-第一RTP时间)/音频采样率获取第一音频数据的播放时间点。其中，音频采样率通常为8000。

同样的，在本发明实施例中，S202获取第一视频数据的播放时间点，可以包括：

S2021、获取第一视频数据的第二RTCP SR。

其中，第二RTCP SR中包含第二NTP时间和第二RTP时间，第二RTCP SR对应第二系统时间。

在本发明实施例中，第二NTP时间是发送端发送第一视频数据对应的RTCP SR的系统时间，第二RTP时间是第一视频数据的采集时间，第二系统时间是播放器接收第一视频数据对应的RTCP SR的接收时间。

S2022、根据第二NTP时间、第二RTP时间、第一视频数据的RTP包的时间戳及NTP基准时间获取第一视频数据的播放时间点。

在分别获取到第二NTP时间、第二RTP时间、第一视频数据的RTP包的时间戳及NTP基准时间之后，就可以根据：

第一视频数据的播放时间点＝(第二NTP时间-NTP基准时间)+(第一视频数据的RTP包的时间戳-第二RTP时间)/视频采样率获取第一视频数据的播放时间点。其中，视频采样率通常为90000。

基于图2对应的实施例，在图2对应的实施例的基础上，进一步地，本发明实施例提供了另一种多媒体数据播放方法，请参见图4所示，图4为本发明多媒体数据播放方法实施例三的流程示意图。

可选的，在本发明实施例中，S203输出第一视频数据，且暂停输出第一音频数据之后，还可以包括：

S204、获取第二视频数据的播放时间点。

其中，第二视频数据为播放器在第一视频数据之后接收到的视频数据。请结合图1所示，第二视频数据为播放点时间点为6的第一视频数据之后的下一个视频数据，可以看出，该第二视频数据的播放时间点为1。

可选的，在本发明实施例中，S204获取第二视频数据的播放时间点，包括：

获取第二视频数据对应的第三RTCP SR，第三RTCP SR中包括第三RTP时间；并根据第三RTP时间和第一RTP时间获取第二视频数据的播放时间点。

在本发明实施例中，第三NTP时间是发送端发送第二视频数据对应的RTCP SR的系统时间，第三RTP时间是第二视频数据的采集时间。

进一步地，根据第三RTP时间和第一RTP时间获取第二视频数据的播放时间点，具体可以包括：

确定第三RTP时间与初始音频RTP(即第一RTP时间)时间的差值，并除以视频采样率，就可以得到的第二视频数据的播放时间点。

S205、若第二视频播放时间点大于第一音频数据的播放时间点，则输出第二视频数据，且暂停输出第一音频数据。

在获取到第二视频数据的播放时间点之后，可以将第二视频数据的播放时间点和第一音频数据的播放时间点进行比较，若第二视频数据的播放时间点还是大于第一音频数据的播放时间点，则仍然只输出第二视频数据；之后，再接收第二视频数据之后的第三视频数据，并将第三视频数据的播放时间点与第一音频数据的播放时间点进行比较，其比较过程与第二视频数据类似，在此，本发明不再进行赘述。

S206、若第二视频播放时间点小于或等于第一音频数据的播放时间点，则输出第二视频数据和第一音频数据。

需要说明的是，S205和S206之间并无先后顺序，在S204之后，只选择S205或S206中的一个执行。

在实际应用过程中，用户在取消静音操作之后，播放器分别接收发送端发送的第一音频数据和第一视频数据，并获取第一音频数据和第一视频数据的播放时间点，请结合图1所示，可以看出，第一音频数据的播放时间为1，第一视频数据的播放时间为6，由于6大于1，此时播放器只输出第一视频数据，并暂停输出第一音频数据，使得第一视频可以流畅地播放；之后，再接收第二视频数据，并获取第二视频数据的播放时间点，并将第二视频数据的播放时间点与第一音频数据的播放时间点进行比较，此时，第二视频数据的播放时间为1，可见第二视频数据的播放时间点等于第一音频数据的播放时间点，播放器同时输出第二视频数据和第一音频数据，可以防止视频在播放时出现卡顿的现象，从而提高了多媒体数据播放的流畅性。

图5为本发明实施例提供的一种多媒体数据播放装置50的结构示意图，应用于播放器，请参见图5所示，该多媒体数据播放装置50可以包括：

第一获取单元501，用于在接收到用户触发的取消静音操作时，获取第一音频数据的播放时间点。

第二获取单元502，用于获取第一视频数据的播放时间点。

第一处理单元503，用于若第一视频数据的播放时间点大于第一音频数据的播放时间点，则输出第一视频数据，且暂停输出第一音频数据。

可选的，该多媒体数据播放装置50还可以包括；

第三获取单元504，用于获取第二视频数据的播放时间点，第二视频数据为播放器在第一视频数据之后接收到的视频数据。

第二处理单元505，用于若第二视频播放时间点大于第一音频数据的播放时间点，则输出第二视频数据，且暂停输出第一音频数据；若第二视频播放时间点小于或等于第一音频数据的播放时间点，则输出第二视频数据和第一音频数据。

可选的，第一获取单元501，具体用于获取第一音频数据的第一实时传输控制协议RTCP发送端报告SR，第一RTCP SR中包含第一网络时间协议NTP时间和第一实时传输协议RTP时间，第一RTCP SR对应第一系统时间；并根据第一NTP时间、第一RTP时间、第一音频数据的实时传输协议RTP包的时间戳及NTP基准时间获取第一音频数据的播放时间点。

可选的，第二获取单元502，具体用于获取第一视频数据的第二RTCP SR，第二RTCPSR中包含第二NTP时间和第二RTP时间，第二RTCP SR对应第二系统时间；并根据第二NTP时间、第二RTP时间、第一视频数据的RTP包的时间戳及NTP基准时间获取第一视频数据的播放时间点。

可选的，第三获取单元504，具体用于获取第二视频数据对应的第三RTCP SR，第三RTCP SR中包括第三RTP时间；并根据第三RTP时间和第一RTP时间获取第二视频数据的播放时间点。

本发明实施例所示的多媒体数据播放装置50可以执行上述多媒体数据播放方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种多媒体数据播放方法，其特征在于，应用于播放器，所述多媒体数据播放方法包括：

获取第一视频数据的播放时间点；

2.根据权利要求1所述的方法，其特征在于，所述输出所述第一视频数据，且暂停输出所述第一音频数据之后，还包括：

3.根据权利要求1所述的方法，其特征在于，所述获取第一音频数据的播放时间点，包括：

获取所述第一音频数据的第一实时传输控制协议RTCP发送端报告SR，所述第一RTCPSR中包含第一网络时间协议NTP时间和第一实时传输协议RTP时间，所述第一RTCP SR对应第一系统时间；

4.根据权利要求3所述的方法，其特征在于，所述获取第一视频数据的播放时间点，包括：

5.根据权利要求3所述的方法，其特征在于，所述获取第二视频数据的播放时间点，包括：

6.一种多媒体数据播放装置，其特征在于，应用于播放器，所述多媒体数据播放装置包括：

第二获取单元，用于获取第一视频数据的播放时间点；

7.根据权利要求6所述的装置，其特征在于，还包括；

8.根据权利要求6所述的装置，其特征在于，

所述第一获取单元，具体用于获取所述第一音频数据的第一实时传输控制协议RTCP发送端报告SR，所述第一RTCP SR中包含第一网络时间协议NTP时间和第一实时传输协议RTP时间，所述第一RTCP SR对应第一系统时间；并根据所述第一NTP时间、所述第一RTP时间、所述第一音频数据的实时传输协议RTP包的时间戳及NTP基准时间获取所述第一音频数据的播放时间点。

9.根据权利要求8所述的装置，其特征在于，

所述第二获取单元，具体用于获取所述第一视频数据的第二RTCP SR，所述第二RTCPSR中包含第二NTP时间和第二RTP时间，所述第二RTCP SR对应第二系统时间；并根据所述第二NTP时间、所述第二RTP时间、所述第一视频数据的RTP包的时间戳及所述NTP基准时间获取所述第一视频数据的播放时间点。

10.根据权利要求8所述的装置，其特征在于，

所述第三获取单元，具体用于获取所述第二视频数据对应的第三RTCP SR，所述第三RTCP SR中包括第三RTP时间；并根据所述第三RTP时间和所述第一RTP时间获取所述第二视频数据的播放时间点。