CN111601158B - 一种流媒体管道切音轨的优化方法及显示设备 - Google Patents

Abstract

本申请公开了一种流媒体管道切音轨的优化方法及显示设备，用以在显示设备中切换音轨时，通过复用原来的播放器管道，避免切管道引入的播放卡顿的问题。该方法包括：解封装模块在监听到协议解封装子模块发送的所述切音轨事件时，删除旧音轨的播放链，当协议解封装子模块下载所述新音频流媒体数据时，基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链，通过复用解封装模块中保存的输出旧音轨对应的第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块。

Description

一种流媒体管道切音轨的优化方法及显示设备

技术领域

本申请涉及流媒体播放技术领域，尤其涉及一种流媒体管道切音轨的优化方法及显示设备。

背景技术

Gstreamer是用来构建流媒体应用的开源多媒体框架。采用Gstreamer对多音轨的流媒体片源进行播放时，通常采用多路音轨同时下载的方案，基于选择器插件对多路音频同步处理，输出当前音轨对应的音频流媒体数据。此种方案虽然切音轨速度较快，但由于需要下载和解析多路音频流媒体数据，会增加播放器的内存和CPU占用，且并不符合认证机构仅下载一路音频的需求。

针对上述问题，如果采用仅下载一路音频流媒体数据的方案，当切音轨时，由于新下载的音频流媒体数据的格式发生变化，导致Gstreamer播放器会基于新的音频流媒体数据动态连接新的插件，进行切管道处理。

由于切管道时同时会断开当前视频已建立好的播放通路，从而会导致出现播放卡顿问题。如果因旧管道中的数据消耗不尽而导致管道切换失败，还会造成播放卡死的问题。

发明内容

有鉴于此，本申请提供一种流媒体管道切音轨的优化方法及显示设备，用以实现切音轨时不用切管道，避免播放卡顿。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请提供一种显示设备，包括：

显示器；

网络模块，用于从服务器浏览和/或下载服务内容；

基本流输出模块，用于将从服务内容中获取的基本流数据输出至解码器；

解封装模块，包括协议解封装子模块和格式解封装子模块；其中，

协议解封装子模块，用于在检测到播放器管道的切音轨开始事件时，删除协议解封装子模块内部的旧音轨对应的旧音频流媒体数据，向格式解封装子模块发送切音轨事件，断开与格式解封装子模块的管道连接，下载新音轨对应的新音频流媒体数据，针对所述新音频流媒体数据创建向所述格式解封装子模块输出的第一衬垫；

格式解封装子模块，用于针对从所述第一衬垫输出的新音频流媒体数据进行格式解封装得到新音频基本流数据；

解封装模块，用于在监听到协议解封装子模块发送的所述切音轨事件时，删除旧音轨的播放链，当协议解封装子模块下载所述新音频流媒体数据时，基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链，通过复用解封装模块中保存的输出旧音轨对应的第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块。

第二方面，本申请提供一种流媒体管道切音轨的优化方法，所述方法包括：

协议解封装子模块在检测到播放器管道的切音轨开始事件时，删除协议解封装子模块内部的旧音轨对应的旧音频流媒体数据，向格式解封装子模块发送切音轨事件，断开与格式解封装子模块的管道连接，下载新音轨对应的新音频流媒体数据，针对所述新音频流媒体数据创建向所述格式解封装子模块输出的第一衬垫；

格式解封装子模块针对从所述第一衬垫输出的新音频流媒体数据进行格式解封装得到新音频基本流数据；

解封装模块在监听到协议解封装子模块发送的所述切音轨事件时，删除旧音轨的播放链，当协议解封装子模块下载所述新音频流媒体数据时，基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链，通过复用解封装模块中保存的输出旧音轨对应的第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块。

在上述实施例中，显示设备可以在切换音轨时通过解封装模块删除旧音轨的播放链，当协议解封装子模块下载所述新音频流媒体数据时，基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链，通过复用解封装模块中保存的输出旧音轨对应的第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块，因此本申请可以仅下载单个音轨，在切音轨时通过复用原来的播放器管道，避免切管道引入的播放卡顿、卡死问题，同时缩短了切音轨的时长。

附图说明

图1A中示例性示出了显示设备200与控制100之间操作场景的示意图；

图1B中示例性示出了图1A中控制装置100的配置框图；

图1C中示例性示出了图1A中显示设备200的配置框图；

图1D中示例性示出了显示设备200存储器中操作系统的架构配置框图。

图2中示例性示出了下载多音轨的播放器管道结构示意图；

图3中示例性示出了下载一音轨的播放器管道结构示意图；

图4中示例性示出了一种流媒体管道切音轨的优化方法的处理流程图；

图5中示例性示出了本申请提供的播放器管道在切音轨时的交互示意图；

图6A中示例性示出了一种播放链的结构示意图；

图6B中示例性示出了另一种播放链的结构示意图；

图7中示例性示出了一种流媒体管道切音轨的完整处理流程图。

具体实施方式

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

本申请中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请中使用的术语“手势”，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。

图1A中示例性示出了显示设备200与控制装置100之间操作场景的示意图。如图1A所示，控制装置100和显示设备200之间可以有线或无线方式进行通信。

其中，控制装置100被配置为控制显示设备200，其可接收用户输入的操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起着用户与显示设备200之间交互的中介作用。如：用户通过操作控制装置100上频道加减键，显示设备200响应频道加减的操作。

控制装置100可以是遥控器100A，包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。

控制装置100也可以是智能设备，如移动终端100B、平板电脑、计算机、笔记本电脑等。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，通过直观的用户界面(UI)为用户提供各种控制。

示例性的，移动终端100B可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以使移动终端100B与显示设备200建立控制指令协议，通过操作移动终端100B上提供的用户界面的各种功能键或虚拟按钮，来实现如遥控器100A布置的实体按键的功能。也可以将移动终端100B上显示的音视频内容传输到显示设备200上，实现同步显示功能。

显示设备200可被实施为电视，可提供广播接收电视功能以及计算机支持功能的智能网络电视功能。显示设备示例的包括，数字电视、网络电视、智能电视、互联网协议电视(IPTV)等。

显示设备200，可以是液晶显示器、有机发光显示器、投影显示设备。具体显示设备类型、尺寸大小和分辨率等不作限定。

显示设备200还与服务器300通过多种通信方式进行数据通信。这里可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器300可以向显示设备200提供各种内容和互动。示例的，显示设备200可以发送和接收信息，例如：接收电子节目指南(EPG)数据、接收软件程序更新、或访问远程储存的数字媒体库。服务器300可以一组，也可以多组，可以一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。

图1B中示例性示出了控制装置100的配置框图。如图1B所示，控制装置100包括控制器110、存储器120、通信器130、用户输入接口140、输出接口150、供电电源160。

控制器110包括随机存取存储器(RAM)111、只读存储器(ROM)112、处理器113、通信接口以及通信总线。控制器110用于控制控制装置100的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。

示例性的，当检测到用户按压在遥控器100A上布置的按键的交互或触摸在遥控器100A上布置的触摸面板的交互时，控制器110可控制产生与检测到的交互相应的信号，并将该信号发送到显示设备200。

存储器120，用于在控制器110的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器120，可以存储用户输入的各类控制信号指令。

通信器130在控制器110的控制下，实现与显示设备200之间控制信号和数据信号的通信。如：控制装置100经由通信器130将控制信号(例如触摸信号或按钮信号)发送至显示设备200上，控制装置100可经由通信器130接收由显示设备200发送的信号。通信器130可以包括红外信号接口131和射频信号接口132。例如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至显示设备200。再如：射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至显示设备200。

用户输入接口140，可包括麦克风141、触摸板142、传感器143、按键144等中至少一者，从而用户可以通过语音、触摸、手势、按压等将关于控制显示设备200的用户指令输入到控制装置100。

输出接口150，通过将用户输入接口140接收的用户指令输出至显示设备200，或者，输出由显示设备200接收的图像或语音信号。这里，输出接口150可以包括LED接口151、产生振动的振动接口152、输出声音的声音输出接口153和输出图像的显示器154等。例如，遥控器100A可从输出接口150接收音频、视频或数据等输出信号，并且将输出信号在显示器154上显示为图像形式、在声音输出接口153输出为音频形式或在振动接口152输出为振动形式。

供电电源160，用于在控制器110的控制下为控制装置100各元件提供运行电力支持。形式可以为电池及相关控制电路。

图1C中示例性示出了显示设备200的硬件配置框图。如图1C所示，显示设备200中可以进一步包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、存储器260、用户接口265、视频处理器270、显示器275、音频处理器280、音频输入接口285、供电电源290。

调谐解调器210，通过有线或无线方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，用于从多个无线或有线广播电视信号中解调出用户所选择的电视频道的频率中所携带的音视频信号，以及附加信息(例如EPG数据)。

调谐解调器210，可根据用户选择，以及由控制器250控制，响应用户选择的电视频道的频率以及该频率所携带的电视信号。

调谐解调器210，根据电视信号的广播制式不同，可以接收信号的途径有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，可以数字调制方式或模拟调制方式；以及根据接收电视信号的种类不同，可以解调模拟信号和数字信号。

在其他一些示例性实施例中，调谐解调器210也可在外部设备中，如外部机顶盒等。这样，机顶盒通过调制解调后输出电视信号，经过外部装置接口240输入至显示设备200中。

通信器220，是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如显示设备200可将内容数据发送至经由通信器220连接的外部设备，或者，从经由通信器220连接的外部设备浏览和下载内容数据。通信器220可以包括WIFI模块221、蓝牙通信协议模块222、有线以太网通信协议模块223等网络通信协议模块或近场通信协议模块，从而通信器220可根据控制器250的控制接收控制装置100的控制信号，并将控制信号实现为WIFI信号、蓝牙信号、射频信号等。

检测器230，是显示设备200用于采集外部环境或与外部交互的信号的组件。检测器230可以包括图像采集器231，如相机、摄像头等，可以用于采集外部环境场景，以自适应变化显示设备200的显示参数；以及用于采集用户的属性或与用户交互手势，以实现显示设备与用户之间互动的功能。还可以包括光接收器232，用于采集环境光线强度，以自适应显示设备200的显示参数变化等。

在其他一些示例性实施例中，检测器230，还可以包括温度传感器，如通过感测环境温度，显示设备200可自适应调整图像的显示色温。示例性的，当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调；当温度偏低的环境时，可以调整显示设备200显示图像色温偏暖色调。

在其他一些示例性实施例中，检测器230，还可以包括声音采集器，如麦克风，可以用于接收用户的声音，如用户控制显示设备200的控制指令的语音信号；或者，可以采集用于识别环境场景类型的环境声音，实现显示设备200可以自适应环境噪声。

外部装置接口240，是提供控制器210控制显示设备200与外部设备间数据传输的组件。外部装置接口240可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。

其中，外部装置接口240可以包括：高清多媒体接口(HDMI)端子241、复合视频消隐同步(CVBS)端子242、模拟或数字分量端子243、通用串行总线(USB)端子244、组件(Component)端子(图中未示出)、红绿蓝(RGB)端子(图中未示出)等任一个或多个。

控制器250，通过运行存储在存储器260上的各种软件控制程序(如操作系统和各种应用程序)，来控制显示设备200的工作和响应用户的操作。

如图1C所示，控制器250包括随机存取存储器(RAM)251、只读存储器(ROM)252、图形处理器253、CPU处理器254、通信接口255、以及通信总线256。其中，RAM251、ROM252以及图形处理器253、CPU处理器254通信接口255通过通信总线256相连接。

ROM252，用于存储各种系统启动指令。如在接收到开机信号时，显示设备200电源开始启动，CPU处理器254运行ROM252中的系统启动指令，将存储在存储器260的操作系统拷贝至RAM251中，以开始运行启动操作系统。当操作系统启动完成后，CPU处理器254再将存储器260中各种应用程序拷贝至RAM251中，然后，开始运行启动各种应用程序。

图形处理器253，用于产生各种图形对象的屏幕图像，如图标、图像以及操作菜单等。图形处理器253可以包括运算器，用于通过接收用户输入各种交互指令进行运算，进而根据显示属性显示各种对象；以及包括渲染器，用于产生基于运算器得到的各种对象，将进行渲染的结果显示在显示器275上。

CPU处理器254，用于执行存储在存储器260中的操作系统和应用程序指令。以及根据接收的用户输入指令，来执行各种应用程序、数据和内容的处理，以便最终显示和播放各种音视频内容。

在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器，用于在显示设备预加载模式中执行显示设备200的一些初始化操作，和/或，在正常模式下显示画面的操作。多个或一个子处理器，用于执行在显示设备待机模式等状态下的一种操作。

通信接口255，可包括第一接口到第n接口。这些接口可以是经由网络被连接到外部设备的网络接口。

控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示的GUI对象的用户输入命令，控制器250便可以执行与由用户输入命令选择的对象有关的操作。

其中，该对象可以是可选对象中的任何一个，例如超链接或图标。该与所选择的对象有关的操作，例如显示连接到超链接页面、文档、图像等操作，或者执行与图标相对应的程序的操作。该用于选择GUI对象的用户输入命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者是与用户说出语音相对应的语音命令。

存储器260，用于存储驱动和控制显示设备200运行的各种类型的数据、软件程序或应用程序。存储器260可以包括易失性和/或非易失性存储器。而术语“存储器”包括存储器260、控制器250的RAM251和ROM252、或显示设备200中的存储卡。

在一些实施例中，存储器260具体用于存储驱动显示设备200中控制器250的运行程序；存储显示设备200内置的和用户从外部设备下载的各种应用程序；存储用于配置由显示器275提供的各种GUI、与GUI相关的各种对象及用于选择GUI对象的选择器的视觉效果图像等数据。

在一些实施例中，存储器260具体用于存储调谐解调器210、通信器220、检测器230、外部装置接口240、视频处理器270、显示器275、音频处理器280等的驱动程序和相关数据，从外部装置接口接收的外部数据(例如音视频数据)或用户接口接收的用户数据(例如按键信息、语音信息、触摸信息等)。

在一些实施例中，存储器260具体存储用于表示操作系统(OS)的软件和/或程序，这些软件和/或程序可包括，例如：内核、中间件、应用编程接口(API)和/或应用程序。示例性的，内核可控制或管理系统资源，以及其它程序所实施的功能(如所述中间件、API或应用程序)；同时，内核可以提供接口，以允许中间件、API或应用程序访问控制器，以实现控制或管理系统资源。

图1D中示例性示出了显示设备200存储器中操作系统的架构配置框图。该操作系统架构从上到下依次是应用层、中间件层和内核层。

应用层，系统内置的应用程序以及非系统级的应用程序都属于应用层，其负责与用户进行直接交互。应用层可包括多个应用程序，如NETFLIX应用程序、设置应用程序、媒体中心应用程序等。这些应用程序可被实现为Web应用，其基于WebKit引擎来执行，具体可基于HTML、层叠样式表(CSS)和JavaScript来开发并执行。

这里，HTML，全称为超文本标记语言(HyperText Markup Language)，是一种用于创建网页的标准标记语言，通过标记标签来描述网页，HTML标签用以说明文字、图形、动画、声音、表格、链接等，浏览器会读取HTML文档，解释文档内标签的内容，并以网页的形式显示出来。

CSS，全称为层叠样式表(Cascading Style Sheets)，是一种用来表现HTML文件样式的计算机语言，可以用来定义样式结构，如字体、颜色、位置等的语言。CSS样式可以直接存储与HTML网页或者单独的样式文件中，实现对网页中样式的控制。

JavaScript，是一种应用于Web网页编程的语言，可以插入HTML页面并由浏览器解释执行。其中Web应用的交互逻辑都是通过JavaScript实现。JavaScript可以通过浏览器，封装JavaScript扩展接口，实现与内核层的通信，

中间件层，可以提供一些标准化的接口，以支持各种环境和系统的操作。例如，中间件层可以实现为与数据广播相关的中间件的多媒体和超媒体信息编码专家组(MHEG)，还可以实现为与外部设备通信相关的中间件的DLNA中间件，还可以实现为提供显示设备内各应用程序所运行的浏览器环境的中间件等。

内核层，提供核心系统服务，例如：文件管理、内存管理、进程管理、网络管理、系统安全权限管理等服务。内核层可以被实现为基于各种操作系统的内核，例如，基于Linux操作系统的内核。

内核层也同时提供系统软件和硬件之间的通信，为各种硬件提供设备驱动服务，例如：为显示器提供显示驱动程序、为摄像头提供摄像头驱动程序、为遥控器提供按键驱动程序、为WIFI模块提供WiFi驱动程序、为音频输出接口提供音频驱动程序、为电源管理(PM)模块提供电源管理驱动等。

用户接口265，接收各种用户交互。具体的，用于将用户的输入信号发送给控制器250，或者，将从控制器250的输出信号传送给用户。示例性的，遥控器100A可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户接口265，再由用户接口265转送至控制器250；或者，遥控器100A可接收经控制器250处理从用户接口265输出的音频、视频或数据等输出信号，并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。

在一些实施例中，用户可在显示器275上显示的图形用户界面(GUI)输入用户命令，则用户接口265通过GUI接收用户输入命令。确切的说，用户接口265可接收用于控制选择器在GUI中的位置以选择不同的对象或项目的用户输入命令。

或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户接口265通过传感器识别出声音或手势，来接收用户输入命令。

视频处理器270，用于接收外部的视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理，可得到直接在显示器275上显示或播放的视频信号。

示例的，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2流(基于数字存储媒体运动图像和语音的压缩标准),则解复用模块将其进行解复用成视频信号和音频信号等。

视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。

图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。

帧率转换模块，用于对输入视频的帧率进行转换，如将输入的60Hz视频的帧率转换为120Hz或240Hz的帧率，通常的格式采用如插帧方式实现。

显示格式化模块，用于将帧率转换模块输出的信号，改变为符合诸如显示器显示格式的信号，如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。

显示器275，用于接收源自视频处理器270输出的图像信号，进行显示视频、图像以及菜单操控界面。例如，显示器可以显示来自调谐解调器210接收的广播信号中的视频，也可以显示来自通信器220或外部装置接口240输入的视频，还可以显示在存储器260中存储的图像。显示器275，同时显示显示设备200中产生且用于控制显示设备200的用户操控界面UI。

以及，显示器275可以包括用于呈现画面的显示屏组件以及驱动图像显示的驱动组件。或者，倘若显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。

音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等音频数据处理，得到可以在扬声器286中播放的音频信号。

示例性的，音频处理器280可以支持各种音频格式。例如MPEG-2、MPEG-4、高级音频编码(AAC)、高效AAC(HE-AAC)等格式。

音频输出接口285，用于接收源自音频处理器280输出的音频信号。例如，音频输出接口可以输出经由调谐解调器210接收的广播信号中的音频，也可以输出经由通信器220或外部装置接口240输入的音频，还可以输出在存储器260中存储的音频。音频输出接口285可包括扬声器286，或输出至外接设备的发生装置的外接音响输出端子287，如耳机输出端子。

在其他一些示例性实施例中，视频处理器270可以包括一个或多个芯片组成。音频处理器280，也可以包括一个或多个芯片组成。

以及，在其他一些示例性实施例中，视频处理器270和音频处理器280，可以为单独的芯片，也可以与控制器250一起集成在一个或多个芯片中。

供电电源290，用于在控制器250的控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以是安装在显示设备200内部的内置电源电路，也可以是安装在显示设备200外部的电源。

Gstreamer是用来构建流媒体应用的开源多媒体框架。GStreamer是把每个模块都看做是一个元件(element)，用户可以通过自己的需求把不同的elements排列组合，形成不同的管道(pipeline)。多个元件可组合为箱柜(bins)，箱柜可以进一步聚合，从而形成架构图。元件之间通过衬垫(pad)连接，元件的输入端是接收垫(sink pad)，连接该接收垫的上一个元件输出端是来源垫(source pad)。当管道是在播放状态时，缓冲的数据流(databuffers flow)从上一个元件的来源垫(source pad)流向下一个元素的接收垫(sinkpad)。衬垫(pad)有处理特殊数据的能力，一个pad能够限制数据流类型的通过。通常只有在两个衬垫许通过的数据类型一致的时候才能使两个元素之间的数据链建立成功。

在一些实施例中，采用Gstreamer对多音轨的流媒体片源进行播放时，通常采用多路音轨同时下载的方案，基于选择器元件对多路音频同步处理，输出当前音轨数据。

具体而言，如图2所示的下载多音轨的播放器管道结构示意图。Gstreamer的播放器管道中的下载元件和格式探测元件用于下载索引文件并探测索引文件的格式，然后协议解封装箱柜负责基于索引文件下载、解析全部的音视频的流媒体数据，其中音频流媒体数据中包含多路音频流媒体数据。

基于协议解封装箱柜中的每路音频流媒体数据的输出衬垫，播放器管道会连接相应的格式解封装元件、缓冲元件进行解封装得到基本流数据并缓存，之后播放器管道通过输入选择器元件(selector)选择一路视频和一路音频进行码流同步、输出。

输入选择器元件针对多路输入的音频基本流数据，仅保留当前选择的音轨数据，其他音轨数据进行同步丢弃。当切音轨时，输入选择器元件仅需切换新的音轨队列，同步丢弃其他音轨数据即可。

上述方案虽然切音轨速度较快，但由于需要下载和解析多路音频，会增加播放器的内存和CPU占用，且并不符合认证机构仅下载一路音频的需求。

在一些实施例中，如果采用仅下载一路音频的方案，如图3所示的下载一音轨的播放器管道结构示意图，其中协议解封装箱柜仅需提供所有音轨数目、以及当前音轨接口。由于协议解封装箱柜仅下载一路音轨，当切音轨后，需要协议解封装箱柜下载新的音轨数据时，协议解封装箱柜会输出新的音轨衬垫，解封装箱柜会基于上述衬垫动态选择新的格式解封装元件与协议解封装箱柜的该衬垫进行连接，同时整个解封装箱柜会输出新的音频输出衬垫，导致整个管道动态重建。

由于管道重建时，会断开当前视频已建立好的播放链，从而导致整个管道出现卡顿问题。如果因旧管道中的数据消耗不尽而导致切管切换失败，甚至会造成卡死的问题。

针对上述问题，本申请提供了一种流媒体管道切音轨的优化方法及显示设备，用以在显示设备中切音轨时，不切换管道，避免播放卡顿。具体方案请见以下实施例。

结合图1B中的显示设备来说，本申请的显示设备至少包括显示器，网络模块，用于从服务器浏览和/或下载服务内容；基本流输出模块，用于将从服务内容中获取的基本流数据输出至解码器；以及解封装模块，该解封装模块，包括协议解封装子模块和格式解封装子模块。

如图4所示，本申请的显示设备中提供执行一种流媒体管道切音轨的优化方法，所述方法包括步骤：

步骤401、协议解封装子模块在检测到播放器管道的切音轨开始事件时，删除协议解封装子模块内部的旧音轨对应的旧音频流媒体数据，向格式解封装子模块发送切音轨事件，断开与格式解封装子模块的管道连接，下载新音轨对应的新音频流媒体数据，针对所述新音频流媒体数据创建向所述格式解封装子模块输出的第一衬垫；

本申请的播放器管道切音轨交互示意图如图5所示。解封装模块中包括协议解封装子模块和格式解封装子模块，以及多缓冲元件。不同元件间通过衬垫连接。元件与模块之间通过精灵衬垫proxypad进行连接，例如音频箱柜和视频箱柜中的src衬垫需要通过精灵衬垫proxypad与缓冲元件进行连接，解封装模块中的src_0、src_1衬垫需要通过精灵衬垫proxypad与多缓冲元件进行连接。为了方便描述，这里将src衬垫和精灵衬垫proxypad的组合称为输出衬垫。

当协议解封装子模块在检测到播放器管道的切音轨开始事件时，需要删除协议解封装子模块内部的旧音频流媒体数据，之后，可以向格式解封装子模块发送切音轨事件，目的是通知格式解封装子模块准备切音轨。由于切换音轨可能导致新的音频流媒体数据与旧的音频流媒体数据的格式发生变化，因此协议解封装子模块断开与原有的格式解封装子模块的管道连接。如图5所示，原音轨audio_00对应在切换成音轨audio_01时，原音轨衬垫audio_00连接的格式解封装子模块mp4demux1需要断开连接，同时原音轨衬垫audio_00也被删除。

协议解封装子模块可以下载新音轨audio_01对应的新音频流媒体数据，针对所述新音频流媒体数据创建向所述格式解封装子模块输出的第一衬垫，例如图5中的衬垫audio_01，该第一衬垫audio_01用于与基于新音频流媒体数据的格式创建的解封装子模块mp4demux2进行连接。

步骤402、格式解封装子模块针对从所述第一衬垫输出的新音频流媒体数据进行格式解封装得到新音频基本流数据；

格式解封装子模块mp4demux2可以针对从所述第一衬垫audio_01输出的新音频流媒体数据进行格式解封装得到新音频基本流数据。格式解封装过程就是将原有的编码流媒体数据转换成基本编码数据，例如将MP4格式的流媒体数据转换成H264格式的基本流数据。

步骤403、解封装模块在监听到协议解封装子模块发送的所述切音轨事件时，删除旧音轨的播放链，当协议解封装子模块下载所述新音频流媒体数据时，基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链，通过复用解封装模块中保存的输出旧音轨对应的第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块。

通常为保证同步获取流媒体的音视频内容，播放器管道可以采用分组的策略创建不同的播放链。

以图3所示为播放器在同步下载一路视频，两路音频的分组策略为例，图6A中的group1为总分组，播放器基于协议解封装子模块输出的第一衬垫创建播放链，即chain1、chain2、chain3，当连接格式解封装子模块时，创建该链的新分组(子分组)，即group2、group3、group4，每个分组会基于格式解封装输出的衬垫创建新的播放链，即chain4、chain5、chain6。只有当所有分组、播放链可以向外输出时，播放器才对整个解封装箱柜进行衬垫输出，连接后续元件进行数据传送。

若用户基于图2所示的方案，仅选择一路音频进行下载，那么当切音轨时，管道需要先清空当前分组中的音频数据，还需要等当前分组中的视频数据消耗完毕后，才能创建新的音视频分组进行数据传送，即执行切管道的流程，从而会导致切换时间较长，出现播放卡顿等问题。

然而本实施例的解封装模块可以在监听到协议解封装子模块发送的所述切音轨事件时，首先保留原有的视频播放链，即chain1-group2-chain3这一条播放链。不进行管道切换，因此无需清除原视频数据。

然后解封装模块可以删除解封装模块内部的旧音频流媒体数据，设置所述旧音轨的播放链为已完成状态，删除旧音轨的播放链。如图6B所示，解封装模块删除协议解封装子模块adaptivedemux中的audio_00的播放链，即删除chain2-group3-chain4这一条播放链。设置该音轨播放链为已完成状态。

当协议解封装子模块下载部分所述新音频流媒体数据时，基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链。

首先基于所述第一衬垫，在所述旧音轨的播放链所在的总分组group1下建立新音轨链，即图6B中的chain5；然后，在所述新音轨链下建立所述新音频流媒体数据对应的子分组group4和播放链chain6；最后，将所述总分组下的所述新音轨链chain5及所述子分组group4和播放链chain6作为所述新音轨的播放链。

由于上述过程复用原有播放管道中的总分组，即group1，之后播放器再基于chain5创建后续的group4和chain6。可以视为继续使用播放器原有的管道，并且视频播放链没有被断开，避免了视频播放链的重建及管道切换的问题。

解封装模块通过复用解封装模块中保存的输出旧音轨对应的第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块。

具体来讲，在监听到协议解封装子模块发送的所述切音轨事件时，解封装模块可以将输出所述旧音轨的第二衬垫(如图5中的输出衬垫1)设置为未激活状态，当建立新音轨的播放链之后，基于新音频流媒体数据的媒体信息，创建新的格式解封装子模块和多缓冲元件，并进行连接。然后将解封装模块中的第二衬垫(如图5中的输出衬垫1)，设置为激活状态，使用所述第二衬垫(如图5中的输出衬垫1)将所述格式解封装子模块输出的所述新音频基本流数据audio_01转发至基本流输出模块。

因此本申请在切音轨场景中，通过播放器保留解封装模块原有的音频输出衬垫当解封装模块每次有动态增加的新的音频衬垫时，复用已有的音频输出衬垫，从而使外界感觉不到管道有变化，从而避免播放卡顿等问题。

在一个实施例中，本申请的显示设备中提供的流媒体管道切音轨的完整处理流程，如图7所示，所述方法包括步骤：

步骤701、播放器管道接收用户发送切音轨指令，获取指令中的目标音轨；

步骤702、播放器管道判断目标音轨与当前音轨是否相同，若是，则结束，若否，则转步骤703；

步骤703、播放器管道清空解码器的硬解码缓存，切换解码器的音视频同步模式；

硬解码缓存就是解码器中的缓存，音视频同步模式是因为当前音轨发送变化，短时间内没有音频基本流数据的注入，因此无法使用音视频同步注入的模式，可以改用其他模式，例如仅视频注入的同步模式。

步骤704、播放器管道基于目标音轨，调用目标音轨对应的音轨接口；

通常目标音轨对应有音轨接口的编号，因此播放器管道可以获取音轨接口的编号调用对应的音轨接口。

步骤705、播放器管道发起切音轨开始事件，通知协议解封装子模块清除缓存的旧音轨对应的旧音频流媒体数据；

步骤706、协议解封装子模块在删除旧音频流媒体数据后向格式解封装子模块发送切音轨事件；

步骤707、协议解封装子模块断开与格式解封装子模块的管道连接；

步骤708、解封装模块监听到协议解封装子模块发送的切音轨事件时，设置当前旧音轨的播放链为已完成状态，设置总分组为未完成状态，设置输出衬垫为未激活状态；

步骤709、协议解封装子模块基于当前管道时间下载新音轨对应的新音频流媒体数据；

步骤710、解封装模块基于新音频流媒体数据在原总分组下建立所述新音轨的播放链；

步骤711、解封装模块激活原输出衬垫，通过所述输出衬垫将新音频流媒体数据对应的音频基本流数据转发至基本流输出模块，向基本流输出模块发送切音轨完成事件；

步骤712、基本流输出模块判断新音轨格式是否与旧音轨相同，若是，则转步骤713；若否，则转步骤714；

步骤713、关闭旧音频解码器，基于新音频基本流数据生成新的音频解码器，转步骤714；

步骤714、判断音频基本流数据是否已过时，若是，则转步骤715，若否，则转步骤716；

步骤715、丢掉过时的音频基本流数据；

步骤716、将音频基本流数据注入解码器，播放新音轨。

基于上述实施例可见，显示设备可以在切换音轨时通过解封装模块删除旧音轨的播放链，当协议解封装子模块下载所述新音频流媒体数据时，基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链，通过复用旧音轨的输出衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块，因此本申请可以仅下载单个音轨，在切音轨时通过复用原来的播放器管道，避免切管道引入的播放卡顿、卡死问题，同时缩短了切音轨的时长。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器；

网络模块，用于从服务器浏览和/或下载服务内容；

基本流输出模块，用于将从服务内容中获取的基本流数据输出至解码器；

解封装模块，包括协议解封装子模块和格式解封装子模块；其中，

协议解封装子模块，用于在检测到播放器管道的切音轨开始事件时，删除协议解封装子模块内部的旧音轨对应的旧音频流媒体数据，向格式解封装子模块发送切音轨事件，断开与格式解封装子模块的管道连接，下载新音轨对应的新音频流媒体数据，针对所述新音频流媒体数据创建向所述格式解封装子模块输出的第一衬垫；

格式解封装子模块，用于针对从所述第一衬垫输出的新音频流媒体数据进行格式解封装得到新音频基本流数据；

解封装模块，用于在监听到协议解封装子模块发送的所述切音轨事件时，删除旧音轨的播放链，当协议解封装子模块下载所述新音频流媒体数据时，基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链，通过复用解封装模块中保存的输出旧音轨对应的第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块。

2.如权利要求1所述的显示设备，其特征在于，所述基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链，具体包括：

基于所述第一衬垫，在所述旧音轨的播放链所在的总分组下建立新音轨链；

当所述衬垫连接所述格式解封装子模块时，在所述新音轨链下建立所述新音频流媒体数据对应的子分组；

将所述总分组下的所述新音轨链及所述子分组作为所述新音轨的播放链。

3.如权利要求1所述的显示设备，其特征在于，所述通过复用解封装模块中保存的输出旧音轨对应的第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块，具体包括：

在监听到协议解封装子模块发送的所述切音轨事件时，将所述第二衬垫设置为未激活状态，当建立新音轨的播放链之后，将所述第二衬垫设置为激活状态，使用所述第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块。

4.如权利要求1所述的显示设备，其特征在于，所述删除旧音轨的播放链，具体包括：

在监听到协议解封装子模块发送的所述切音轨事件时，删除解封装模块内部的旧音频流媒体数据，设置所述旧音轨的播放链为已完成状态，删除旧音轨的播放链。

5.如权利要求1所述的显示设备，其特征在于，

所述解封装模块还用于，在监听到协议解封装子模块发送的所述切音轨事件时，保留视频的播放链，继续向基本流输出模块输出视频基本流数据。

6.一种流媒体管道切音轨的优化方法，其特征在于，所述方法包括：

协议解封装子模块在检测到播放器管道的切音轨开始事件时，删除协议解封装子模块内部的旧音轨对应的旧音频流媒体数据，向格式解封装子模块发送切音轨事件，断开与格式解封装子模块的管道连接，下载新音轨对应的新音频流媒体数据，针对所述新音频流媒体数据创建向所述格式解封装子模块输出的第一衬垫；

格式解封装子模块针对从所述第一衬垫输出的新音频流媒体数据进行格式解封装得到新音频基本流数据；

解封装模块在监听到协议解封装子模块发送的所述切音轨事件时，删除旧音轨的播放链，当协议解封装子模块下载所述新音频流媒体数据时，基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链，通过复用解封装模块中保存的输出旧音轨对应的第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块。

7.如权利要求6所述的方法，其特征在于，所述基于所述新音频流媒体数据在所述旧音轨的播放链所在的原总分组下建立新音轨的播放链，具体包括：

基于所述第一衬垫，在所述旧音轨的播放链所在的总分组下建立新音轨链；

当所述衬垫连接所述格式解封装子模块时，在所述新音轨链下建立所述新音频流媒体数据对应的子分组；

将所述总分组下的所述新音轨链及所述子分组作为所述新音轨的播放链。

8.如权利要求6所述的方法，其特征在于，所述通过复用解封装模块中保存的输出旧音轨对应的第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块，具体包括：

在监听到协议解封装子模块发送的所述切音轨事件时，将所述第二衬垫设置为未激活状态，当建立新音轨的播放链之后，将所述第二衬垫设置为激活状态，使用所述第二衬垫将所述格式解封装子模块输出的所述新音频基本流数据转发至基本流输出模块。

9.如权利要求6所述的方法，其特征在于，所述删除旧音轨的播放链，具体包括：

在监听到协议解封装子模块发送的所述切音轨事件时，删除解封装模块内部的旧音频流媒体数据，设置所述旧音轨的播放链为已完成状态，删除旧音轨的播放链。

10.如权利要求6所述的方法，其特征在于，所述方法还包括：

所述解封装模块在监听到协议解封装子模块发送的所述切音轨事件时，保留视频的播放链，继续向基本流输出模块输出视频基本流数据。

Images