CN106921885A - 一种多媒体数据流的切换播放方法及装置 - Google Patents
一种多媒体数据流的切换播放方法及装置 Download PDFInfo
- Publication number
- CN106921885A CN106921885A CN201710120468.8A CN201710120468A CN106921885A CN 106921885 A CN106921885 A CN 106921885A CN 201710120468 A CN201710120468 A CN 201710120468A CN 106921885 A CN106921885 A CN 106921885A
- Authority
- CN
- China
- Prior art keywords
- data
- channel
- chained list
- decoder
- switching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003139 buffering effect Effects 0.000 claims abstract description 97
- 241001269238 Data Species 0.000 claims abstract description 27
- 238000002347 injection Methods 0.000 claims abstract description 13
- 239000007924 injection Substances 0.000 claims abstract description 13
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical group O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4335—Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例公开了一种多媒体数据流的切换播放方法及装置。该方法包括：将多媒体数据流中至少两个通道数据按照播放时间顺序，存入对应的至少两个数据缓冲链表；从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，注入解码器中解码；按帧播放记录当前播放帧播放完成后的当前播放时间戳；在当前播放帧播放完成后，将播放时间小于等于当前播放时间戳的各通道数据删除；接收切换播放通道指令，将待切换目标通道变更为当前播放通道，清空解码器中切换前的通道数据，将切换后的通道数据注入解码器，执行播放。实现在切换多媒体数据流的播放通道时，通道数据无卡顿的无缝衔接，保证通道数据平滑切换，提高多媒体数据流的播放效果。
Description
技术领域
本发明实施例涉及音视频处理技术，尤其涉及一种多媒体数据流的切换播放方法及装置。
背景技术
随着广大机顶盒用户对机顶盒播放功能的需求越来越大以及网络多音轨片源越来越多，为了提高广大用户使用机顶盒的体验和依赖度，这就对我们机顶盒播放过程中进行多音轨切换的功能提出了较高的要求。
现存的切换音轨的方案，从连续接收到的音频数据流中区分出不同音轨的音频数据，当前即将播放的为主音轨数据，其他音轨数据为非主音轨数据；随着播放的进行，将主音轨数据和非主音轨数据顺序存入缓冲区中，再从缓冲区中提取部分数据注入解码器，由解码器边解码边播放，同时清空缓冲区中的对应数据。
基于上述的音频播放技术存在的缺陷在于：如果在播放的过程中，当需要切换音轨时，由于缓冲区内的非主音轨数据已经被清除，而注入解码器的只有主音轨数据，所以只能重新自切换时间点从原始音频数据流中读入非主音轨数据到缓冲区，而后再注入解码器，这样会存在一段时间没有声音输出的情况。
发明内容
本发明实施例提供一种多媒体数据流的切换播放方法及装置，解决当前在切换多媒体数据流进行播放时存在卡顿的问题。
第一方面，本发明实施例提供了一种多媒体数据流的切换播放方法，该方法包括：
将多媒体数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中；
从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中；
通过所述解码器对注入的通道数据进行解码，按帧播放并记录当前播放帧播放完成后的当前播放时间戳；
在当前播放帧播放完成后，根据所述当前播放时间戳，将播放时间小于等于所述当前播放时间戳的各通道数据删除；
接收切换播放通道的指令，将待切换的目标通道变更为当前播放通道，清空解码器中切换前的通道数据，并根据当前播放时间戳从对应的数据缓冲链表中将切换后的通道数据注入解码器，返回执行播放操作。
进一步的，从当前播放通道所对应的数据缓冲链表中，获取待播放的设定帧通道数据，并注入到解码器中包括：
从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中的时间缓冲链表中；
相应的，在当前播放帧播放完成后，根据所述当前播放时间戳，将播放时间小于等于所述当前播放时间戳的各通道数据删除包括：
在当前播放帧播放完成后，根据所述当前播放时间戳，从时间缓冲链表中删除播放时间小于等于所述当前播放时间戳的当前播放通道数据，且从其他通道的数据缓冲链表中删除播放时间小于等于所述当前播放时间戳的其他通道数据。
进一步的，将多媒体数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中包括：
将多媒体数据流区分为视频数据流和音频数据流；
将所述音频数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中。
进一步的，所述设定帧大于或等于解码缓冲所需的帧数。
第二方面，本发明实施例还提供了一种多媒体数据流的切换播放装置，该装置包括：
数据存储模块，用于将多媒体数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中；
数据注入模块，用于从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中；
通道数据播放模块，用于通过所述解码器对注入的通道数据进行解码，按帧播放并记录当前播放帧播放完成后的当前播放时间戳；
通道数据删除模块，用于在当前播放帧播放完成后，根据所述当前播放时间戳，将播放时间小于等于所述当前播放时间戳的各通道数据删除；
播放通道切换模块，用于接收切换播放通道的指令，将待切换的目标通道变更为当前播放通道，清空解码器中切换前的通道数据，并根据当前播放时间戳从对应的数据缓冲链表中将切换后的通道数据注入解码器，返回执行播放操作。
进一步的，所述数据注入模块具体用于：
从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中的时间缓冲链表中；
相应的，所述通道数据删除模块具体用于：
在当前播放帧播放完成后，根据所述当前播放时间戳，从时间缓冲链表中删除播放时间小于等于所述当前播放时间戳的当前播放通道数据，且从其他通道的数据缓冲链表中删除播放时间小于等于所述当前播放时间戳的其他通道数据。
进一步的，所述数据存储模块具体用于：
将多媒体数据流区分为视频数据流和音频数据流；
将所述音频数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中。
进一步的，所述设定帧大于或等于解码缓冲所需的帧数。
本发明实施例通过将播放时间小于等于当前播放时间戳的各通道数据删除，即其他通道数据随着播放的进行同步删除，当接收切换播放通道的指令时，待切换的目标通道的第一帧数据即为即将播放的数据，实现了在切换多媒体数据流中的播放通道时，通道数据无卡顿的无缝衔接，保证了通道数据的平滑切换，提高了多媒体数据流的播放效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种多媒体数据流的切换播放方法的流程示意图；
图2是本发明实施例二提供的一种多媒体数据流的切换播放方法的流程示意图；
图3是本发明实施例三提供的一种多媒体数据流的切换播放方法的流程示意图；
图4是本发明实施例四提供的一种多媒体数据流的切换播放装置的结构示意图；
图5是本发明实施例四提供的一种多媒体数据流的切换播放装置的结构示意图；
图6是本发明实施例五提供的一种多媒体数据流的切换播放方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1是本发明实施例一提供的一种多媒体数据流的切换播放方法的流程图。本实施例的技术方案可以适用于切换多媒体数据流的播放通道的情况。该方法可以由本发明实施例提供的一种多媒体数据流的切换播放装置来执行，该装置可以采用软件和/或硬件的方式实现，一般集成于进行多媒体数据流播放的设备中，例如机顶盒或电视等。该方法具体包括如下操作：
S110、将多媒体数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中。
多媒体数据流可以是音频数据流、视频数据流或字幕数据流。示例性的，当多媒体数据流是音频数据流时，音频数据流中的至少两个通道数据可以是主音轨数据和非主音轨数据。主音轨数据可以是当前将要播放的音轨数据，非主音轨数据可以是当前不播放的音轨数据。非主音轨数据可以有多路数据来源，例如，当前主音轨数据是中文配音，非主音轨数据可以是英文配音、日文配音、韩语配音和西班牙配音等多种语言配音中的至少一种。将主音轨数据流按照播放时间顺序存入主音轨数据缓冲链表中，非主音轨数据流按照播放时间顺序存入非主音轨数据缓冲链表中。其中，主音轨数据缓冲链表和非主音轨数据缓冲链表可以存储在缓冲管理模块中。
S120、从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中。
当前播放通道所对应的数据缓冲链表可以是主音轨数据对应的主音轨数据缓冲链表，从该链表中提取设定帧数的主音轨数据，注入到解码器中，同时可以删除主音轨数据缓冲链表中注入到解码器的主音轨数据，释放主音轨数据缓冲链表的空间，为新的数据提供存储空间。此时，其他数据缓冲链表中的数据并不进行删除。设定帧数可以根据播放器的播放要求进行设定，例如，能够保证持续解码和播放一定时间所需的帧数。
S130、通过所述解码器对注入的通道数据进行解码，按帧播放并记录当前播放帧播放完成后的当前播放时间戳。
解码器对注入的主音轨数据进行解码，例如可以是解码器对注入的主音轨数据进行解压缩操作，以满足播放器播放的条件。主音轨数据的播放可以是逐帧数据进行播放，一帧数据的播放可能会持续一个小的时间段，每播放完成一帧数据对应一个时间节点，用时间戳记录该节点信息。用当前播放时间戳记录当前播放帧播放完成的时间，用时间戳记录时间信息便于存储和调用。当前播放时间戳的记录间隔可以是每播放一帧都进行记录，也可以是播放完设定数量帧之后记录当前播放帧的时间戳，例如，每播放三帧数据记录一次。
S140、在当前播放帧播放完成后，根据所述当前播放时间戳，将播放时间小于等于所述当前播放时间戳的各通道数据删除。
由于在当前播放帧播放完成之前会存在已经播放完成的数据存储，所以在当前播放帧播放完成后，需要对已经播放完成的数据存储进行清除，所以通过将播放时间小于等于当前播放时间戳的各通道数据删除。示例性的，将播放时间小于等于当前播放时间戳的主音轨数据和所有非主音轨数据删除，可以保证在接收到切换播放通道指令时，非主音轨数据的待播放帧数据仍然没有被清空，可立即注入解码器进行解码播放，达到无缝平滑切换的目的，解决了卡顿的问题。
S150、接收切换播放通道的指令，将待切换的目标通道变更为当前播放通道，清空解码器中切换前的通道数据，并根据当前播放时间戳从对应的数据缓冲链表中将切换后的通道数据注入解码器，返回执行播放操作。
切换播放通道的指令可以是用户触发的，也可以是片源的自身播放需要触发的。将待切换的目标通道变更为当前播放通道，例如可以是将主音轨数据切换为非主音轨数据，清空解码器中切换前待播放但未播放的主音轨数据。根据当前播放时间戳，从切换后的非主音轨数据缓冲链表中提取时间戳为当前播放时间戳的下一个时间戳的非主音轨数据，且满足设定帧数的要求，将该非主音轨数据注入解码器进行解码播放。
在上述切换的过程中，删除播放时间小于等于当前播放时间戳的各通道数据所需的时间一般在40ms之内，再加上音频数据注入解码器的时间，以及解码器启动音频播放所需的时间，整个过程切换播放通道的时间之和理论在100ms之内，所以人耳几乎听不出来发生了音轨切换。
本实施例在播放的过程中记录当前播放时间戳，并以此为依据对数据缓冲链表中的其他通道数据与播放过程进行同步清除，所以在切换通道数据时，能够迅速从缓冲区中将下一时间戳的数据注入解码器，解决当前在切换多媒体数据流进行播放时存在卡顿的问题，实现了在切换多媒体数据流中的播放通道时，通道数据无卡顿的无缝衔接，保证了通道数据的平滑切换，提高了多媒体数据流的播放效果。
实施例二
图2是本发明实施例二提供的一种多媒体数据流的切换播放方法的流程图。本发明实施例在上述实施例的基础上，进一步将从当前播放通道所对应的数据缓冲链表中，获取待播放的设定帧通道数据，并注入到解码器中的操作进行优化。
相应的，本实施例的方法包括：
S210、将多媒体数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中。
S220、从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中的时间缓冲链表中。
通过时间缓冲链表可以统计注入到解码器中的数据的缓冲大小，时间单位为毫秒。当前播放通道的数据，从缓冲区的数据缓冲链表中转移到时间缓冲链表中，这样数据缓冲链表的空间被释放，能够用于存储新的数据。其他通道的数据，仍然保留在相应通道的数据缓冲链表中。
S230、通过所述解码器对注入的通道数据进行解码，按帧播放并记录当前播放帧播放完成后的当前播放时间戳。
S240、在当前播放帧播放完成后，根据所述当前播放时间戳，从时间缓冲链表中删除播放时间小于等于所述当前播放时间戳的当前播放通道数据，且从其他通道的数据缓冲链表中删除播放时间小于等于所述当前播放时间戳的其他通道数据。
根据所述当前播放时间戳，从时间缓冲链表中删除播放时间小于等于所述当前播放时间戳的当前播放通道数据可以实现释放解码器的空间的目的，为注入新的数据提供空间。从其他通道的数据缓冲链表中删除播放时间小于等于所述当前播放时间戳的其他通道数据，可以保证在接收到切换播放通道指令时，数据缓冲链表中当前存储的数据包括了即将播放通道的第一帧待播放数据，达到无缝平滑切换的目的。
S250、接收切换播放通道的指令，将待切换的目标通道变更为当前播放通道，清空解码器中切换前的通道数据，并根据当前播放时间戳从对应的数据缓冲链表中将切换后的通道数据注入解码器，返回执行播放操作。
本实施例通过将注入到解码器中的数据存入时间缓冲链表中，并将小于等于当前播放时间戳的时间缓冲链表中的数据和数据缓冲链表中的数据删除，实现了待播放数据的存储和待切换数据的实时跟踪，保证在接收到切换播放通道指令时，数据缓冲链表中当前存储的数据包括了即将播放通道的第一帧待播放数据，达到无缝平滑切换的目的。
在本实施例的另一优选实施方式中，所述设定帧大于或等于解码缓冲所需的帧数。
解码器中存在播放水线，播放水线为解码器能够进行流畅播放所需的最小帧数，即，一般解码器中的数据需要达到一定数量，才会开始边解码边播放。因此设定帧需要大于或等于解码缓冲所需的帧数。
面对一种特殊的切换情况时，即用户由音轨A切换至音轨B，而后又立即切换回到音轨A的情况，若采用上述技术方案时，会发生解码器中音轨A的数据已经在第一次切换时删除，且数据缓冲链表中的数据也在注入解码器时删除，所以当用户又第二次切换回到音轨A时，需要重新从多媒体数据流中先缓冲数据再注入解码器，同样会存在一定的延时。所以，本发明实施例优选的，设定帧等于解码缓冲所需的帧数，即设定帧数越小越好。当设定帧足够小时，在面对由音轨A切换到音轨B，又马上由音轨B切换到音轨A这种情况时，可以保证解码器中的音频缓冲足够小，即由音轨A切换到音轨B时，被清除的解码器中的音轨A的数据足够少，当音轨B马上切换回音轨A的时候，音轨A虽然丢失了一段数据但是数据足够少，导致的延迟时间人耳几乎听不出。
实施例三
图3是本发明实施例三提供的一种多媒体数据流的切换播放方法的流程图。本发明实施例在上述实施例的基础上，进一步将多媒体数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中的操作优化为：将多媒体数据流区分为视频数据流和音频数据流；将所述音频数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中。
相应的，本实施例的方法包括：
S310、将多媒体数据流区分为视频数据流和音频数据流。
示例性的，多媒体数据流为网络多音轨片源，将多媒体数据流区分为视频数据流和音频数据流，视频数据流可以存储在视频数据缓冲链表中。视频数据流和音频数据流在时间上相互对应，用户在观看时，即可有顺畅的观赏感受。
S320、将所述音频数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中。
S330、从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中。
在从主音轨数据缓冲链表中提取待播放的设定帧的主音轨数据注入到解码器时，主音轨数据从缓冲区的主音轨数据缓冲链表中转移到音轨时间缓冲链表中；与此同时，与主音轨数据在播放时间上相对应的视频数据，从缓冲区的视频数据缓冲链表中转移到视频时间缓冲链表中。
S340、通过所述解码器对注入的通道数据进行解码，按帧播放并记录当前播放帧播放完成后的当前播放时间戳。
S350、在当前播放帧播放完成后，根据所述当前播放时间戳，将播放时间小于等于所述当前播放时间戳的各通道数据删除。
根据当前播放时间戳，从音轨时间缓冲链表中删除播放时间小于等于当前播放时间戳的音轨数据，从视频时间缓冲链表中删除播放时间小于等于当前播放时间戳的视频数据，并将音轨时间缓冲链表和视频时间缓冲链表中的无数据节点分别放入至少两个空闲节点链表中，以供新数据注入时使用。空闲节点链表、视频数据缓冲链表、主音轨数据缓冲链表、非主音轨数据缓冲链表、视频时间缓冲链表和音轨时间缓冲链表的描述如表1所示。
表1链表描述
S360、接收切换播放通道的指令，将待切换的目标通道变更为当前播放通道，清空解码器中切换前的通道数据，并根据当前播放时间戳从对应的数据缓冲链表中将切换后的通道数据注入解码器，返回执行播放操作。
本发明实施例通过将多媒体数据流区分为视频数据流和音频数据流，实现了在切换音频数据时，音频无卡顿，音视频数据同步播放。
实施例四
图4是本发明实施例四提供的一种多媒体数据流的切换播放装置的结构框图。该装置用于执行上述任意实施例所提供的一种多媒体数据流的切换播放方法。该装置包括：
数据存储模块410，用于将多媒体数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中；
数据注入模块420，用于从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中；
通道数据播放模块430，用于通过所述解码器对注入的通道数据进行解码，按帧播放并记录当前播放帧播放完成后的当前播放时间戳；
通道数据删除模块440，用于在当前播放帧播放完成后，根据所述当前播放时间戳，将播放时间小于等于所述当前播放时间戳的各通道数据删除；
播放通道切换模块450，用于接收切换播放通道的指令，将待切换的目标通道变更为当前播放通道，清空解码器中切换前的通道数据，并根据当前播放时间戳从对应的数据缓冲链表中将切换后的通道数据注入解码器，返回执行播放操作。
进一步的，所述数据注入模块420具体用于：
从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中的时间缓冲链表中；
相应的，所述通道数据删除模块440具体用于：
在当前播放帧播放完成后，根据所述当前播放时间戳，从时间缓冲链表中删除播放时间小于等于所述当前播放时间戳的当前播放通道数据，且从其他通道的数据缓冲链表中删除播放时间小于等于所述当前播放时间戳的其他通道数据。
进一步的，所述数据存储模块410具体用于：
将多媒体数据流区分为视频数据流和音频数据流；
将所述音频数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中。
进一步的，所述设定帧大于或等于解码缓冲所需的帧数。
本实施例提供的多媒体数据流的切换播放装置结构图如图5所示，还可以包括demux(demux，多路分配器)模块510、缓冲管理模块520和解码模块530。其中，demux模块510，可实现数据存储模块410中的将多媒体数据流区分为视频数据流和音频数据流的功能；缓冲管理模块520，可实现数据存储模块410、数据注入模块420、通道数据删除模块440和播放通道切换模块450的功能；解码模块530可实现通道数据播放模块430的功能。由demux模块510到缓冲管理模块520的数据为ES(Elementary Streams，原始流)数据，ES数据为只包含一种内容的数据流，如只含音频或只含视频。
本发明实施例四提供的多媒体数据流的切换播放装置，实现了在切换多媒体数据流中的播放通道时，通道数据无卡顿的无缝衔接，保证了通道数据的平滑切换，提高了多媒体数据流的播放效果。
本发明实施例所提供的多媒体数据流的切换播放装置可执行本发明任意实施例所提供的多媒体数据流的切换播放方法，具备执行方法相应的功能模块和有益效果。
实施例五
图6为本发明实施例五提供的一种多媒体数据流的切换播放方法的流程图，本实施例提供了一个优选实施例。
具体流程如下：
S601、启动播放多媒体数据流的播放器。
S602、demux操作。
demux操作是将多媒体数据流区分为视频数据流和音频数据流，并将音频数据流区分为主音轨数据和非主音轨数据。
S603、判断是否是音频数据流，若是，执行S605，若否，执行S604。
S604、把视频数据流注入到视频缓冲区。
S605、判断是否是主音轨数据，当是时，执行S608，当否时，执行S607。
S606、将一帧视频数据注入解码模块，在视频缓冲区中删除该帧数据，并将该帧数据的pts(presentation time stamp，显示时间戳)记录在视频pts链表中。
S607、把非主音轨数据注入到非主音轨缓冲区。
S608、把主音轨数据注入到主音轨缓冲区。
S609、将一帧主音轨数据注入解码模块，在主音轨缓冲区中删除该帧数据，并将该帧数据的pts记录在音轨pts链表中。
S610、记录回调pts。
将当前播放帧的主音轨数据的pts记录和视频数据的pts记录分别作为回调pts进行记录。
S611、判断是否是音频数据，当是时，执行S613，当否时，执行S612。
S612、清除视频pts链表中小于等于该回调pts的记录。
S613、判断是否是主音轨数据，当是时，执行S615，当否时，执行S614。
S614、清除非主音轨pts链表中小于等于该回调pts的记录。
S615、清除主音轨pts链表中小于等于该回调pts的记录。
本发明实施例通过删除视频pts链表、主音轨pts链表和非主音轨pts链表中小于等于回调pts的记录，在切换通道数据时，能够迅速从将回调pts记录的下一pts记录的数据注入解码器进行播放，实现了在切换多媒体数据流中的播放通道时，通道数据无卡顿的无缝衔接，保证了通道数据的平滑切换，提高了多媒体数据流的播放效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种多媒体数据流的切换播放方法，其特征在于，包括：
将多媒体数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中；
从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中；
通过所述解码器对注入的通道数据进行解码，按帧播放并记录当前播放帧播放完成后的当前播放时间戳；
在当前播放帧播放完成后，根据所述当前播放时间戳，将播放时间小于等于所述当前播放时间戳的各通道数据删除；
接收切换播放通道的指令，将待切换的目标通道变更为当前播放通道，清空解码器中切换前的通道数据，并根据当前播放时间戳从对应的数据缓冲链表中将切换后的通道数据注入解码器，返回执行播放操作。
2.根据权利要求1所述的方法，其特征在于，从当前播放通道所对应的数据缓冲链表中，获取待播放的设定帧通道数据，并注入到解码器中包括：
从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中的时间缓冲链表中；
相应的，在当前播放帧播放完成后，根据所述当前播放时间戳，将播放时间小于等于所述当前播放时间戳的各通道数据删除包括：
在当前播放帧播放完成后，根据所述当前播放时间戳，从时间缓冲链表中删除播放时间小于等于所述当前播放时间戳的当前播放通道数据，且从其他通道的数据缓冲链表中删除播放时间小于等于所述当前播放时间戳的其他通道数据。
3.根据权利要求1或2所述的方法，其特征在于，将多媒体数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中包括：
将多媒体数据流区分为视频数据流和音频数据流；
将所述音频数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中。
4.根据权利要求2所述的方法，其特征在于，所述设定帧大于或等于解码缓冲所需的帧数。
5.一种多媒体数据流的切换播放装置，其特征在于，包括：
数据存储模块，用于将多媒体数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中；
数据注入模块，用于从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中；
通道数据播放模块，用于通过所述解码器对注入的通道数据进行解码，按帧播放并记录当前播放帧播放完成后的当前播放时间戳；
通道数据删除模块，用于在当前播放帧播放完成后，根据所述当前播放时间戳，将播放时间小于等于所述当前播放时间戳的各通道数据删除；
播放通道切换模块，用于接收切换播放通道的指令，将待切换的目标通道变更为当前播放通道，清空解码器中切换前的通道数据，并根据当前播放时间戳从对应的数据缓冲链表中将切换后的通道数据注入解码器，返回执行播放操作。
6.根据权利要求5所述的装置，其特征在于，所述数据注入模块具体用于：
从当前播放通道所对应的数据缓冲链表中，提取待播放的设定帧通道数据，并注入到解码器中的时间缓冲链表中；
相应的，所述通道数据删除模块具体用于：
在当前播放帧播放完成后，根据所述当前播放时间戳，从时间缓冲链表中删除播放时间小于等于所述当前播放时间戳的当前播放通道数据，且从其他通道的数据缓冲链表中删除播放时间小于等于所述当前播放时间戳的其他通道数据。
7.根据权利要求5或6所述的装置，其特征在于，所述数据存储模块具体用于：
将多媒体数据流区分为视频数据流和音频数据流；
将所述音频数据流中至少两个通道数据按照播放时间顺序，分别存入对应的至少两个数据缓冲链表中。
8.根据权利要求6所述的装置，其特征在于，所述设定帧大于或等于解码缓冲所需的帧数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710120468.8A CN106921885B (zh) | 2017-03-02 | 2017-03-02 | 一种多媒体数据流的切换播放方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710120468.8A CN106921885B (zh) | 2017-03-02 | 2017-03-02 | 一种多媒体数据流的切换播放方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106921885A true CN106921885A (zh) | 2017-07-04 |
| CN106921885B CN106921885B (zh) | 2020-03-03 |
Family
ID=59461123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710120468.8A Active CN106921885B (zh) | 2017-03-02 | 2017-03-02 | 一种多媒体数据流的切换播放方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106921885B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107342098A (zh) * | 2017-07-20 | 2017-11-10 | 青岛海信电器股份有限公司 | 音频播放方法及装置 |
| CN107770599A (zh) * | 2017-10-27 | 2018-03-06 | 海信电子科技（深圳）有限公司 | 一种录制的音视频的播放方法、装置及存储介质 |
| CN109359216A (zh) * | 2018-08-27 | 2019-02-19 | 博康智能信息技术有限公司 | 一种基于时空循环构造的视频特征均匀散列存储方法 |
| CN109529336A (zh) * | 2018-11-20 | 2019-03-29 | 网易（杭州）网络有限公司 | 声音事件播放的控制方法、控制装置、存储介质与处理器 |
| CN109688460A (zh) * | 2018-12-24 | 2019-04-26 | 深圳创维－Rgb电子有限公司 | 一种数字电视画面的辅音输出方法、数字电视及存储介质 |
| CN111327923A (zh) * | 2018-12-13 | 2020-06-23 | 华为技术有限公司 | 一种音频流切换方法及装置 |
| CN111541925A (zh) * | 2020-04-30 | 2020-08-14 | 青岛海信宽带多媒体技术有限公司 | 一种显示设备及其显示方法 |
| CN113596545A (zh) * | 2021-07-21 | 2021-11-02 | 中央广播电视总台 | 音轨切换方法、装置、媒体播放设备和计算机存储介质 |
| CN113973233A (zh) * | 2021-10-22 | 2022-01-25 | 深圳小湃科技有限公司 | 多平台影片切换播放的优化方法、装置、设备及存储介质 |
| CN114302172A (zh) * | 2021-12-28 | 2022-04-08 | 威创集团股份有限公司 | 无缝切换方法、分布式拼接系统、存储介质及计算机设备 |
| US11995375B2 (en) | 2018-12-13 | 2024-05-28 | Huawei Technologies Co., Ltd. | Audio stream switching method and apparatus |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101702777A (zh) * | 2009-10-30 | 2010-05-05 | 深圳创维数字技术股份有限公司 | Iptv系统、音视频编码切换处理方法及设备 |
| CN102196312A (zh) * | 2010-03-02 | 2011-09-21 | 北大方正集团有限公司 | 音视频数据流的播放方法及装置 |
| CN102347042A (zh) * | 2010-07-28 | 2012-02-08 | Tcl集团股份有限公司 | 一种音轨切换方法、系统及音视频文件播放设备 |
| CN103780943A (zh) * | 2014-01-24 | 2014-05-07 | 华为技术有限公司 | 一种音轨切换的方法、设备及系统 |
| CN104505109A (zh) * | 2014-12-29 | 2015-04-08 | 珠海全志科技股份有限公司 | 多媒体播放器的音轨切换方法、系统及对应播放器和设备 |
| WO2016091011A1 (zh) * | 2014-12-12 | 2016-06-16 | 深圳Tcl数字技术有限公司 | 字幕切换方法及装置 |
-
2017
- 2017-03-02 CN CN201710120468.8A patent/CN106921885B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101702777A (zh) * | 2009-10-30 | 2010-05-05 | 深圳创维数字技术股份有限公司 | Iptv系统、音视频编码切换处理方法及设备 |
| CN102196312A (zh) * | 2010-03-02 | 2011-09-21 | 北大方正集团有限公司 | 音视频数据流的播放方法及装置 |
| CN102347042A (zh) * | 2010-07-28 | 2012-02-08 | Tcl集团股份有限公司 | 一种音轨切换方法、系统及音视频文件播放设备 |
| CN103780943A (zh) * | 2014-01-24 | 2014-05-07 | 华为技术有限公司 | 一种音轨切换的方法、设备及系统 |
| WO2016091011A1 (zh) * | 2014-12-12 | 2016-06-16 | 深圳Tcl数字技术有限公司 | 字幕切换方法及装置 |
| CN104505109A (zh) * | 2014-12-29 | 2015-04-08 | 珠海全志科技股份有限公司 | 多媒体播放器的音轨切换方法、系统及对应播放器和设备 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107342098A (zh) * | 2017-07-20 | 2017-11-10 | 青岛海信电器股份有限公司 | 音频播放方法及装置 |
| CN107342098B (zh) * | 2017-07-20 | 2019-11-26 | 青岛海信电器股份有限公司 | 音频播放方法及装置 |
| CN107770599A (zh) * | 2017-10-27 | 2018-03-06 | 海信电子科技（深圳）有限公司 | 一种录制的音视频的播放方法、装置及存储介质 |
| CN107770599B (zh) * | 2017-10-27 | 2020-11-20 | 海信电子科技（深圳）有限公司 | 一种录制的音视频的播放方法、装置及存储介质 |
| CN109359216A (zh) * | 2018-08-27 | 2019-02-19 | 博康智能信息技术有限公司 | 一种基于时空循环构造的视频特征均匀散列存储方法 |
| CN109529336A (zh) * | 2018-11-20 | 2019-03-29 | 网易（杭州）网络有限公司 | 声音事件播放的控制方法、控制装置、存储介质与处理器 |
| CN111327923B (zh) * | 2018-12-13 | 2021-08-20 | 华为技术有限公司 | 一种音频流切换方法及装置 |
| CN111327923A (zh) * | 2018-12-13 | 2020-06-23 | 华为技术有限公司 | 一种音频流切换方法及装置 |
| US11995375B2 (en) | 2018-12-13 | 2024-05-28 | Huawei Technologies Co., Ltd. | Audio stream switching method and apparatus |
| CN109688460A (zh) * | 2018-12-24 | 2019-04-26 | 深圳创维－Rgb电子有限公司 | 一种数字电视画面的辅音输出方法、数字电视及存储介质 |
| CN109688460B (zh) * | 2018-12-24 | 2021-05-18 | 深圳创维－Rgb电子有限公司 | 一种数字电视画面的辅音输出方法、数字电视及存储介质 |
| CN111541925B (zh) * | 2020-04-30 | 2021-09-14 | 青岛海信宽带多媒体技术有限公司 | 一种显示设备及其显示方法 |
| CN111541925A (zh) * | 2020-04-30 | 2020-08-14 | 青岛海信宽带多媒体技术有限公司 | 一种显示设备及其显示方法 |
| CN113596545A (zh) * | 2021-07-21 | 2021-11-02 | 中央广播电视总台 | 音轨切换方法、装置、媒体播放设备和计算机存储介质 |
| CN113973233A (zh) * | 2021-10-22 | 2022-01-25 | 深圳小湃科技有限公司 | 多平台影片切换播放的优化方法、装置、设备及存储介质 |
| CN114302172A (zh) * | 2021-12-28 | 2022-04-08 | 威创集团股份有限公司 | 无缝切换方法、分布式拼接系统、存储介质及计算机设备 |
| CN114302172B (zh) * | 2021-12-28 | 2023-08-18 | 威创集团股份有限公司 | 无缝切换方法、分布式拼接系统、存储介质及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106921885B (zh) | 2020-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106921885A (zh) | 一种多媒体数据流的切换播放方法及装置 | |
| DE69725365T2 (de) | Informationsaufzeichnungsmedium, Gerät zur Aufzeichnung auf demgleichen und Gerät zur Wiedergabe aus demgleichen | |
| CN103125123B (zh) | 再现装置、再现方法、集成电路、广播系统及广播方法 | |
| DE69934085T2 (de) | Rastergenaue editierung kodierter audiovisueller sequenzen | |
| US7359006B1 (en) | Audio module supporting audio signature | |
| US7738767B2 (en) | Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data | |
| JP3900050B2 (ja) | データ処理装置、ビデオカメラ及びデータ処理方法 | |
| DE60111722T2 (de) | Unterbrechung und fortsetzung von sendungen für erweitertes fernsehen | |
| JP4516682B2 (ja) | 映像記録再生装置 | |
| CN101331761B (zh) | 信息处理装置和信息处理方法 | |
| CN102347042B (zh) | 一种音轨切换方法、系统及音视频文件播放设备 | |
| CN101288298A (zh) | 提供即时重放的方法及系统 | |
| JP3594409B2 (ja) | Ｍｐｅｇオーディオ再生装置およびｍｐｅｇ再生装置 | |
| KR100529485B1 (ko) | 디지털 기록매체에 있어서의 애프터 레코딩 방법 및 장치 및그 디지털 기록 매체의 재생 방법 및 장치 | |
| CN104618673B (zh) | 一种基于nvr的多路录像同步回放控制方法和装置 | |
| CN112929713B (zh) | 数据同步方法、装置、终端及存储介质 | |
| CN107071549A (zh) | 单解码器下多播放器快速切换方法、装置及存储介质 | |
| JP3828053B2 (ja) | 受信されたマルチメディアデータを保存するバッファの容量を可変できるマルチメディアデータ復元装置及び方法 | |
| CN102098423B (zh) | 一种无缝文件采集方法及系统 | |
| JP2006287642A (ja) | Ｍｐｅｇコンテンツの同期再生方法、クライアント端末、ｍｐｅｇコンテンツの同期再生プログラム | |
| CN101179695A (zh) | 实现会议录播的方法、会议电视系统和终端 | |
| CN102110459B (zh) | 一种播放终端及其多媒体文件的播放方法和装置 | |
| JP2000165361A (ja) | パケット処理装置およびパケット処理方法 | |
| CN109068156A (zh) | 一种节目录制、播放方法及装置 | |
| JP2004040579A (ja) | デジタル放送受信装置、およびデジタル放送同期再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |