CN117812379A - 一种显示设备及媒资的播放方法 - Google Patents

Abstract

本申请提供一种显示设备及媒资的播放方法，方法包括：响应于接收到Ginga应用的调用事件，控制切源模块将数字电视信号源切换至媒体信号；从数字电视媒资中提取出Ginga数据及解析Ginga数据以生成音频流和视频流；将音频流和视频流推送至接口对接后端并控制接口对接后端基于媒体服务客户端模块封装音频流和视频流；将封装后的音频流和视频流发送至媒体服务模块；控制显示器显示解码后的音频流和视频流。所述方法可以对接显示设备中的媒体框架，该媒体框架中兼容不同类型流媒体的播放流程，使Ginga应用嵌入到播放的媒资中，实现通过Ginga播放媒资的功能，解决数字电视的播放与Ginga应用之间存在音视频播放冲突的问题。

Description

一种显示设备及媒资的播放方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备及媒资的播放方法。

背景技术

GINGA数字电视中间件即Ginga中间件是南美洲地区多个国家联合制订的数字电视中间件标准，用于在数字电视广播中提供可与用户交互的多媒体内容，增进用户收看数字电视的体验。GINGA数字电视中间件抽象了不同数字电视硬件平台的硬件细节，为GINGA数字电视中间件应用程序开发者提供了统一的编程接口，使得符合GINGA数字电视中间件标准的应用程序可以运行在不同的数字电视硬件平台上。

Ginga应用中的信息资源的类型可以为纯视频类型、纯图像类型、纯音频类型、或音视频混合类型，Ginga应用支持的音频格式和视频格式本申请不作限定。当Ginga应用被调出后，用户可以在Ginga应用中选择将要播放的目标资源，通过Ginga应用实现服务及信息的交互功能。为了使已集成Ginga中间件服务的显示设备播放音频、视频或音视频等媒资，在一些实施例中，可以通过对接预设注入类接口如injector接口，以通过对接预设注入类接口实现支持基本码流ES的功能。

但是，大部分显示设备仅支持单路视频播放和单路音频播放，不同的DTV信号对应的Ginga资源不同，比如Ginga资源可以是音视频形式，或者音频形式，又或者视频形式，例如，音视频播放可以采用远程过程调用(Remote Procedure Call，RPC)的方式接入预设注入类接口实现码流播放，单音频播放时，由于DTV信号在播放时需要独占预设注入类接口，因此，需要针对单音频再集成预设注入类接口，这样就导致开发周期长，操作起来麻烦，且播放资源无法统一管理。也就是说，DTV的播放与Ginga应用之间存在音视频播放冲突问题。

发明内容

本申请一些实施例提供一种显示设备及媒资的播放方法，以解决数字电视DTV的播放与Ginga应用之间存在音视频播放冲突的问题。

第一方面，本申请一些实施例提供一种显示设备，包括：

显示器，被配置为显示用户界面；

声音播放器，被配置为播放音频数据；

控制器，包括切源模块、中间件模块、接口对接模块、媒体服务客户端模块和媒体服务模块；所述控制器被配置为：

在播放数字电视媒资时，响应于接收到Ginga应用的调用事件，控制切源模块将显示设备的数字电视信号源切换至媒体信号；所述媒体信号是基于Ginga应用播放的信号；

从所述数字电视媒资中提取出Ginga数据，以及通过中间件模块解析所述Ginga数据，以生成音频流和视频流；

通过接口对接模块将所述音频流和所述视频流推送至接口对接后端，以及，控制所述接口对接后端基于媒体服务客户端模块封装所述音频流和所述视频流；

将封装后的音频流和视频流通过所述媒体服务客户端模块发送至媒体服务模块，以通过所述媒体服务模块对封装的所述音频流和视频流执行解码；所述媒体服务模块兼容不同类型流媒体的播放流程；

控制所述显示器显示解码后的音频流和视频流。

在一些可行的实施方式中，所述控制器进一步被配置为：

监测所述音频流和/或所述视频流的播放进度；

响应于所述音频流和/或所述视频流的停止播放事件及Ginga应用的调用结束事件，控制所述切源模块将所述信号源切换至数字电视信号；

控制所述显示器播放数字电视的媒资。

在一些可行的实施方式中，所述控制器进一步被配置为：

基于所述媒体服务客户端对所述音频流和/或所述视频流的播放控制事件、所述音频流和/或所述视频流的推送事件发送至媒体服务模块；

通过所述媒体服务模块对所述播放控制事件和所述推送事件执行处理，生成播放控制事件；

将所述播放控制事件上报至所述媒体服务客户端，以实现所述媒体服务客户端与所述媒体服务模块之间的通信。

在一些可行的实施方式中，所述音频流和所述视频流采用推送模式注入至媒体服务模块，所述控制器进一步被配置为：

由软件开发工具包控制所述音频流和/或所述视频流注入至媒体服务模块中的底层播放器；

所述底层播放器根据所述音频流和/或所述视频流的播放情况返回解码缓冲状态和播放状态；

所述软件开发工具包根据所述解码缓冲状态和所述播放状态调整所述音频流和/或所述视频流的注入。

在一些可行的实施方式中，所述控制器进一步被配置为：

通过所述软件开发工具包调用所述接口对接后端；

响应于创建新的接口对接后端对象，在所述接口对接后端的内部将所述信号源切换至媒体信号；

响应于所述接口对接后端对象的调用完成事件，在所述接口对接后端的内部将所述信号源切换至数字电视信号。

在一些可行的实施方式中，所述控制器进一步被配置为：

在所述接口对接后端对象创建完成后，通过所述软件开发工具包设置所述音频流的音频源和所述视频流的视频源；

将所述音频源和所述视频源的设置信息发送至所述接口对接后端；

所述接口对接后端根据所述设置信息创建播放器对象并注册监听，以及将所述播放器对象与所述监听发送至所述媒体服务客户端；

通过所述软件开发工具包创建音频流和视频流；

响应于所述接口对接后端打开所述音频流和/或所述视频流，将对所述音频流和/或所述视频流的打开完成状态传输至所述媒体服务客户端，以及接收所述所述媒体服务客户端返回的回执状态；

所述软件开发工具包根据所述回执状态向所述接口对接后端写入所述音频流和/或所述视频流，以及通过所述接口对接后端将所述音频流和/或所述视频流推送至所述媒体服务客户端；

所述媒体服务客户端接收到所述音频流和/或所述视频流后，通过所述接口对接后端将所述音频流和/或所述视频流的准备完成事件返回至所述软件开发工具包；

所述软件开发工具包根据所述准备完成事件播放所述音频流和/或所述视频流，以及循环向所述接口对接后端写入所述音频流和/或所述视频流，并向所述媒体服务客户端推送所述音频流和/或所述视频流；

响应于所述音频流和/或所述视频流的播放完成事件，通过所述接口对接后端将所述播放完成事件返回至所述软件开发工具包；

所述软件开发工具包根据所述播放完成事件停止播放所述音频流和/或所述视频流。

在一些可行的实施方式中，所述控制器进一步被配置为：

通过所述软件开发工具包释放所述音频流和/或所述视频流；

生成对所述音频流和/或所述视频流的释放事件，以及将所述释放事件发送至所述接口对接后端；

所述接口对接后端根据所述释放事件取消所述音频流和/或所述视频流的播放，以及释放所述播放器对象并取消所述监听。

在一些可行的实施方式中，所述控制器进一步被配置为：

响应于对所述音频流和/或所述视频流的进度条拖动事件，停止对所述音频流和/或所述视频流的播放线程；

通过所述软件开发工具包将所述进度条拖动事件发送至所述接口对接后端，并通过所述接口对接后端将所述进度条拖动事件发送至所述媒体服务客户端；

在所述音频流和/或所述视频流的进度条拖动完成时，根据目标进度位置生成进度条拖动完成事件；

通过所述媒体服务客户端将所述进度条拖动完成事件和所述目标进度位置发送至所述接口对接后端，以及通过所述接口对接后端将所述进度条拖动完成事件和所述目标进度位置发送至所述软件开发工具包；

所述软件开发工具包根据所述进度条拖动完成事件在所述目标进度位置恢复对所述音频流和/或所述视频流的播放线程。

在一些可行的实施方式中，所述控制器进一步被配置为：

在播放数字电视媒资时，检测到所述Ginga数据仅为音频流，通过所述接口对接后端将音频源切换至媒体信号；

请求所述数字电视信号释放所述音频源；

通知所述Ginga应用启动所述音频流的播放流程；

所述音频流播放结束后，通过所述接口对接后端将音频源切换至数字电视信号，以及请求通过数字电视信号重新申请音频，以恢复数字电视中音频的播放。

第二方面，本申请一些实施例提供一种媒资的播放方法，可以应用于第一方面的显示设备，所述方法包括：

在播放数字电视媒资时，响应于接收到Ginga应用的调用事件，控制切源模块将显示设备的数字电视信号源切换至媒体信号；所述媒体信号是基于Ginga应用播放的信号；

从所述数字电视媒资中提取出Ginga数据，以及通过中间件模块解析所述Ginga数据，以生成音频流和视频流；

通过接口对接模块将所述音频流和所述视频流推送至接口对接后端，以及，控制所述接口对接后端基于媒体服务客户端模块封装所述音频流和所述视频流；

将封装后的音频流和视频流通过所述媒体服务客户端模块发送至媒体服务模块，以通过所述媒体服务模块对封装的所述音频流和视频流执行解码；

控制所述显示器显示解码后的音频流和视频流。

由以上技术方案可知，本申请一些实施例提供一种显示设备及媒资的播放方法，所述方法包括：在播放数字电视媒资时，响应于接收到Ginga应用的调用事件，控制切源模块将数字电视信号源切换至媒体信号；从数字电视媒资中提取出Ginga数据，以及通过中间件模块解析Ginga数据以生成音频流和视频流；通过接口对接模块将音频流和视频流推送至接口对接后端，以及控制接口对接后端基于媒体服务客户端模块封装音频流和视频流；将封装后的音频流和视频流通过媒体服务客户端模块发送至媒体服务模块；控制显示器显示解码后的音频流和视频流。所述方法可以对接显示设备中的媒体框架，该媒体框架中兼容不同类型流媒体的播放流程，使Ginga应用嵌入到播放的媒资节目中，实现通过Ginga应用播放媒资的功能，解决数字电视DTV的播放与Ginga应用之间存在音视频播放冲突的问题。

附图说明

为了更清楚地说明本申请一些实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请一些实施例提供的终端设备与控制设备之间操作场景的示意图；

图2为本申请一些实施例提供的终端设备的硬件配置框图；

图3为本申请一些实施例提供的控制设备的硬件配置框图；

图4为本申请一些实施例提供的终端设备中软件配置示意图；

图5为本申请一些实施例提供的显示设备执行媒资的播放方法的流程示意图；

图6为本申请一些实施例提供的Ginga应用播放器框架的示意图；

图7为本申请一些实施例提供的Ginga应用对接媒体服务中播放器的静态框架示意图；

图8为本申请一些实施例提供的Ginga流媒体播放应用场景示意图；

图9为本申请一些实施例提供的通过Ginga应用实现流媒体播放和停止的时序图；

图10为本申请一些实施例提供的显示设备执行拖动进度条时流媒体的处理流程示意图；

图11为本申请一些实施例提供的拖动流媒体播放的进度条时Ginga应用的流程示意图；

图12为本申请一些实施例提供的通过Ginga应用实现流媒体拖动进度条的时序图；

图13为本申请一些实施例提供的显示设备对音频流执行处理的流程示意图。

具体实施方式

为使本申请一些实施例的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请一些实施例技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请一些实施例中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请一些实施例的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请一些实施例中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为本申请一些实施例提供的终端设备与控制设备之间操作场景的示意图。如图1中示出，用户可通过移动终端300和控制设备100操作终端设备200。

在一些实施例中，控制设备100可以是遥控器，遥控器和终端设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线方式或其他有线方式来控制终端设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制终端设备200。

在一些实施例中，移动终端300可与终端设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。也可以将移动终端300上显示音视频内容传输到终端设备200上，实现同步显示功能。

如图1中还示出，终端设备200还与服务器400通过多种通信方式进行数据通信。可允许终端设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。

终端设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。

图2为本申请一些实施例提供的终端设备的硬件配置框图。

在一些实施例中，终端设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制终端设备的工作和响应用户的操作。控制器250控制终端设备200的整体操作。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。

在一些实施例中，用户接口280，为可用于接收控制输入的接口。

图3为本申请一些实施例提供的控制设备的硬件配置框图。如图3所示，控制设备100包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。

控制设备100被配置为控制终端设备200，以及可接收用户的输入操作指令，且将操作指令转换为终端设备200可识别和响应的指令，起到用户与终端设备200之间交互中介作用。

在一些实施例中，控制设备100可是一种智能设备。如：控制设备100可根据用户需求安装控制终端设备200的各种应用。

在一些实施例中，如图1所示，移动终端300或其他智能电子设备，可在安装操控终端设备200的应用之后，可以起到控制设备100类似功能。

控制器110包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器110用于控制控制设备100的运行和操作，以及内部各部件之间通信协作以及外部和内部的数据处理功能。

通信接口130在控制器110的控制下，实现与终端设备200之间控制信号和数据信号的通信。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。

用户输入/输出接口140，其中，输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。

在一些实施例中，控制设备100包括通信接口130和输入输出接口140中至少一者。控制设备100中配置通信接口130，如：WiFi、蓝牙、NFC等模块，可将用户输入指令通过WiFi协议、或蓝牙协议、或NFC协议编码，发送至终端设备200。

存储器190，用于在控制器的控制下存储驱动和控制控制设备100的各种运行程序、数据和应用。存储器190，可以存储用户输入的各类控制信号指令。

供电电源180，用于在控制器的控制下为控制设备100各元件提供运行电力支持。

图4为本申请一些实施例提供的终端设备中软件配置示意图，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)、应用程序框架(Application Framework)层(简称“框架层”)、安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序、时钟程序、相机应用等；也可以是第三方开发者所开发的应用程序。

框架层为应用程序层的应用程序提供应用编程接口(Aplication PogrammingIterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)、内容提供者(Content Provider)和视图系统(View System)等。

在一些实施例中，活动管理器用于：管理各个应用程序的生命周期以及通常的导航回退功能。

在一些实施例中，窗口管理器用于管理所有的窗口程序。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被访问时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，触摸传感器、压力传感器等)等。

在一些实施例中，内核层还包括用于进行电源管理的电源驱动模块。

在一些实施例中，图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。

以上实施例示出一种显示设备200的硬件/软件架构以及功能实现等内容。基于上述显示设备200，可以播放音频、视频等各种媒资。GINGA数字电视中间件即Ginga中间件是南美洲地区多个国家联合制订的数字电视中间件标准，用于在数字电视广播中提供可与用户交互的多媒体内容，增进用户收看数字电视的体验。GINGA数字电视中间件抽象了不同数字电视硬件平台的硬件细节，为GINGA数字电视中间件应用程序开发者提供了统一的编程接口，使得符合GINGA数字电视中间件标准的应用程序可以运行在不同的数字电视硬件平台上。

在一些应用场景中，部分显示设备200中集成了Ginga中间件服务，显示设备200中应用的运行均依赖于Ginga中间件服务提供的接口，例如，应用界面的渲染，媒资的播放等。Ginga中间件是基于ISDB-T制式的数字地面电视中间件标准，它可以增强数字电视的交互性，支持用户在观看数字电视(Digital Television，DTV)时，同时免费享受各种在线服务。

在一些实施例中，显示设备200在播放数字电视DTV节目时，用户可以通过点击与显示设备200配套的遥控器上的指定按键，或者UI界面上的指定控件来实现，以调出Ginga应用。。Ginga应用与当前播放的数字电视DTV信号相关，例如，用户在观看电影、电视剧等媒资时，可以通过调出Ginga应用来查看剧情介绍和角色介绍的相关信息。再如，用户在观看选举直播时，可以通过Ginga应用查看候选人信息并进行投票操作。

在一些实施例中，Ginga应用中的信息资源的类型可以为纯视频类型、纯图像类型、纯音频类型、或音视频混合类型，Ginga应用支持的音频格式和视频格式本申请不作限定。当Ginga应用被调出后，用户可以在Ginga应用中选择将要播放的目标资源，通过Ginga应用实现服务及信息的交互功能。

为了使已集成Ginga中间件服务的显示设备200播放音频、视频或音视频等媒资，在一些实施例中，可以通过对接预设注入类接口如injector接口，以通过对接预设注入类接口实现支持基本码流(Elementary Stream，ES)的功能。大部分显示设备仅支持单路视频播放和单路音频播放，不同的DTV信号对应的Ginga资源不同，比如Ginga资源可以是音视频形式，或者音频形式，又或者视频形式，例如，音视频播放可以采用远程过程调用(RemoteProcedure Call，RPC)的方式接入预设注入类接口实现码流播放，单音频播放时，由于DTV信号在播放时需要独占预设注入类接口，因此，需要针对单音频再集成预设注入类接口，这样就导致开发周期长，操作起来麻烦，且播放资源无法统一管理。也就是说，数字电视DTV的播放与Ginga应用之间存在音视频播放冲突的问题。

在一些实施例中，显示设备200中的系统平台已经实现了媒体框架播放音视频等媒资的功能，在此基础上，如果可以通过中间件集成到已有的媒资框架，将会便于显示设备平台模块的统一管理，直接调用媒体框架的媒资播放功能。

基于上述场景，为了解决数字电视DTV的播放与Ginga应用之间存在音视频播放冲突的问题，本申请一些实施例提供一种显示设备200，所述显示设备200可以通过MirakuloSDK对接显示设备200中的媒体框架，使Ginga应用嵌入到播放的媒资节目中，该媒体框架中兼容不同类型流媒体的播放流程，可以实现不同流媒体的播放，实现通过Ginga应用播放媒资的功能，进而解决数字电视DTV的播放与Ginga应用之间存在音视频播放冲突的问题。

为了便于对本申请一些实施例中技术方案的理解，下面结合一些具体实施例和附图对各个步骤进行详细说明。图5为本申请一些实施例提供的显示设备执行媒资播放方法的流程示意图，如图5所示，在一些实施例中，显示设备200在执行媒资的播放方法时，可以包括如下步骤S1-S5，具体内容如下：

步骤S1：在播放数字电视媒资时，响应于接收到Ginga应用的调用事件，显示设备200控制切源模块将显示设备的数字电视信号源切换至媒体信号。

在一些实施例中，Ginga应用可以通过Mirakulo SDK对接显示设备200中的媒体框架。图6为本申请一些实施例提供的Ginga应用播放器框架的示意图，如图6所示，Ginga应用播放器框架从上到下依次为Ginga中间件Mirakulo-GStreamer、接口对接后端Mediabackend、媒体服务客户端HMC-Client和媒体服务Media Service。媒体服务MediaService中可以部署有通信服务HMP-Service和媒体框架MediaGstreamer。其中，通信服务HMP-Service可以实现媒体服务客户端HMC-Client与媒体服务Media Service之间的通信，媒体框架MediaGstreamer中已部署有兼容不同类型流媒体的播放线程，通过Ginga中间件Mirakulo-Gstreamer依次调用接口对接后端Mediabackend、媒体服务客户端HMC-Client，基于媒体服务客户端HMC-Client与媒体服务Media Service的通信即可实现通过Ginga应用播放不同流媒体的媒资。

继续参见图6，Mirakulo-GStreamer即Ginga应用中间件，它可以基于构建媒资应用的开源多媒体框架Gstreamer创建媒资播放应用，其作用可以为控制媒资播放，例如，控制媒资的开始播放和停止播放等。Mirakulo-Gstreamer可以解析本地本将或网络在线的数据流，对其进行解复用后生成音频流和视频流，并将生成的音频流和视频流推动到Mediabackend层。Mediabackend层为接口对接后端，它可以基于媒体服务客户端HMC-Client对音频流和视频流进行封装，对上层Ginga中间件提供接口。HMC-Client即为媒体服务Media Service的客户端，媒体服务Media Service可以实现媒资的解码与显示。

在一些实施例中，Ginga应用对接媒体服务Media Service时，可以通过创建客户端Client实例的方式，创建播放器实例、传输媒资数据等功能，图7为本申请一些实施例提供的Ginga应用对接媒体服务中播放器的静态框架示意图，如图7所示，媒体服务MediaService中可以部署有各项接口与服务，例如，可以有对象绑定接口、媒资信息查询接口、调度接口、图像处理接口等。媒体服务客户端HMC-Client可以通过对象绑定接口与媒体服务Media Service交互，媒体服务客户端中可以部署有应用程序、相应的下载模式及Ginga应用等，通过调用媒体服务中的接口，可以对接媒体服务中的媒体框架，由于媒体框架中已实现各种流媒体的播放功能，因此，可以实现Ginga应用播放各种流媒体的功能。

在一些实施例中，显示设备200可以基于媒体服务客户端对音频流和/或视频流的播放控制事件、音频流和/或视频流的推送事件发送至媒体服务模块，之后通过媒体服务模块对播放控制事件和推送事件执行处理，生成播放控制事件，再将播放控制事件上报至媒体服务客户端，以实现媒体服务客户端与媒体服务模块之间的通信。

示例性的，Ginga应用通过Mirakulo SDK对接媒体框架时，可以通过Mirakulo SDK调用接口对接后端Mediabackend的接口，这样，Ginga应用就可以使用媒体服务客户端HMC-Client通过相关绑定的进程与媒体服务Media Service相互通信。例如，媒体服务客户端HMC-Client可以将播放控制的相关命令和音视频等流媒体数据通过通信服务HMP-Service传输至媒体服务Media Service，媒体服务Media Service可以将对媒资的播放相关事件通过通信服务HMP-Service上报至媒体服务客户端HMC-Client，以实现Ginga应用与媒体服务Media Service的交互。

为了通过Ginga应用播放媒资，在播放数字电视媒资时，响应于接收到Ginga应用的调用事件，显示设备200可以控制切源模块将显示设备200的数字电视信号源切换至媒体信号，其中，媒体信号是基于Ginga应用播放的信号。在一些实施例中，显示设备200可以监测音频流和/或视频流的播放进度，响应于音频流和/或视频流的停止播放事件及Ginga应用的调用结束事件，可以控制切源模块将信号源切换至数字电视信号，并控制显示器播放数字电视的媒资。

示例性的，当用户按下遥控器上的指定键时，显示设备200如电视会播放数字电视信号的电视节目，当用户按下预设按键调用Ginga应用时，显示设备200可以将当前的数字电视信号通过切源模块切换至基于Ginga应用播放的媒体信号。由于电视中已集成Ginga中间件，因此，电视中的应用都依赖于Ginga中间件提供的接口，例如，应用界面的渲染、流媒体的播放等。

在一些实施例中，切源控制可以由适配层完成，在启动流媒体播放前，可以切源到媒体信号如切源到media，在结束流媒体播放后再切源到数字电视信号DTV。在本申请实施例中，适配层还可以执行如下功能，适配层可以提供播放接口和事件上报，由软件开发工具包SDK根据适配层上报事件来控制播放play、拖动进度条seek、停止播放stop的时序。同时，适配层还可以提供视频输出控制接口，可以由软件开发工具包SDK传入视频大小及位置信息，实现Ginga应用内嵌于电视节目。步骤S1执行完成后，可以执行如下步骤S2。

步骤S2：显示设备200从数字电视媒资中提取出Ginga数据，以及通过中间件模块解析Ginga数据，以生成音频流和视频流。

在一些实施例中，对于已集成Ginga中间件服务的显示设备200，可以通过机顶盒或接收机等设备接收发射站发射的数字电视DTV信号，数字电视DTV信号以码流形式传输，码流中携带有Ginga数据，Ginga数据可以设置有特定的标记信息，以使显示设备200可以从码流中识别并提取出Ginga数据，再通过UI和/或声音播放器播放Ginga数据。其中，声音播放器可以是显示设备200内置的扬声器，也可以是通过HDMI等接口外接的功放，例如，可以为音响设备等。从数字电视媒资中提取出Ginga数据后，显示设备200可以通过中间件模块解析Ginga数据，以生成音频流和视频流。步骤S2执行完成后，可以执行如下步骤S3。

步骤S3：显示设备200通过接口对接模块将音频流和视频流推送至接口对接后端，以及，控制接口对接后端基于媒体服务客户端模块封装音频流和视频流。

生成音频流和视频流后，显示设备200可以通过接口对接模块将音频流和视频流推送至接口对接后端，之后，显示设备200可以控制接口对接后端基于媒体服务客户端模块封装音频流和视频流。在一些实施例中，可以由适配层提供对应的接口，由软件开发工具包SDK传入流类型，适配层封装参数传给媒体服务中的框架层如Media框架层，之后可以由Media框架层实现不同流类型的播放。步骤S3执行完成后，可以执行如下步骤S4。

步骤S4：显示设备200将封装后的音频流和视频流通过媒体服务客户端模块发送至媒体服务模块，以通过媒体服务模块对封装的音频流和视频流执行解码。

音频流和视频流封装完成后，显示设备200可以将封装后的音频流和视频流通过媒体服务客户端模块发送至媒体服务模块，以通过媒体服务模块对封装的音频流和视频流执行解码。其中，媒体服务模块兼容不同类型流媒体的播放流程，例如，已统一仅音频onlyaudio、仅视频only video、音视频audio&video等不同流类型的播放流程，这样，Ginga在对接Media框架层时，也可以实现不同流媒体的播放，方便对播放资源的统一管理，且兼容性和可扩展性强，便于后续维护。步骤S4执行完成后，可以执行如下步骤S5。

步骤S5：显示设备200控制显示器260显示解码后的音频流和视频流。

音频流和视频流解码完成后，显示设备200可以控制显示器260显示解码后的音频流和视频流。图8为本申请一些实施例提供的Ginga流媒体播放应用场景示意图，图8中的(1)为显示设备200中播放的流媒体示意图，图8中的(2)为嵌入Ginga应用后，通过Ginga应用播放流媒体的示意图，图8中的(3)为更换流媒体后播放新的流媒体的示意图。在本申请实施例中，通过Ginga应用可以播放多种流媒体格式，播放不同场景下的流媒体。

在一些实施例中，音频流和视频流可以采用推送模式注入至媒体服务模块，可以由软件开发工具包控制音频流和/或视频流注入至媒体服务模块中的底层播放器，之后底层播放器根据音频流和/或视频流的播放情况返回解码缓冲状态和播放状态，软件开发工具包再根据解码缓冲状态和播放状态调整音频流和/或视频流的注入。

示例性的，Ginga应用在对接媒体服务中的Media框架层时，音频流和视频流等流媒体的注入可以采用推送的模式，由软件开发工具包SDK控制流媒体的注入，Media框架层中底层播放器可以根据流媒体的播放情况，返回对应的解码缓存状态和播放状态，软件开发工具包SDK再根据返回的解码缓存状态和播放状态控制流媒体的注入。

下面对Ginga应用实现流媒体的播放、拖动进度条、停止播放等流程进行详细介绍。

在一些实施例中，显示设备200可以通过软件开发工具包调用接口对接后端，响应于创建新的接口对接后端对象，在接口对接后端的内部将信号源切换至媒体信号；响应于接口对接后端对象的调用完成事件，在接口对接后端的内部将信号源切换至数字电视信号。

为了通过Ginga应用实现流媒体播放和停止等流程，在一些实施例中，显示设备200可以在接口对接后端对象创建完成后，通过软件开发工具包设置音频流的音频源和视频流的视频源，并将音频源和视频源的设置信息发送至接口对接后端，之后接口对接后端根据设置信息创建播放器对象并注册监听，以及将播放器对象与监听发送至媒体服务客户端，并通过软件开发工具包创建音频流和视频流。响应于接口对接后端打开音频流和/或视频流，将对音频流和/或视频流的打开完成状态传输至媒体服务客户端，以及接收媒体服务客户端返回的回执状态，软件开发工具包根据回执状态向接口对接后端写入音频流和/或视频流，以及通过接口对接后端将音频流和/或视频流推送至媒体服务客户端。媒体服务客户端接收到音频流和/或视频流后，通过接口对接后端将音频流和/或视频流的准备完成事件返回至软件开发工具包，软件开发工具包根据准备完成事件播放音频流和/或视频流，以及循环向接口对接后端写入音频流和/或视频流，并向媒体服务客户端推送音频流和/或视频流。响应于音频流和/或视频流的播放完成事件，通过接口对接后端将播放完成事件返回至软件开发工具包，之后，软件开发工具包根据播放完成事件停止播放音频流和/或视频流。

示例性的，图9为本申请一些实施例提供的通过Ginga应用实现流媒体播放和停止的时序图，图9示例出软件开发工具包SDK、接口对接后端Mediabackend和媒体服务客户端HMC-Client的交互过程，当软件开发工具包SDK调用接口对接后端Mediabackend创建接口对接后端对象时，在接口对接后端Mediabackend的内部会切换到媒体信号如切源到media，当退出时，可以先调用停止播放指令，再调用释放；流媒体的指令，在接口对接后端Mediabackend的内部再切源到数字电视信号DTV。当流媒体播放完成后，显示设备200可以通过软件开发工具包释放音频流和/或视频流，并生成对音频流和/或视频流的释放事件，以及将释放事件发送至接口对接后端，之后接口对接后端根据释放事件取消音频流和/或视频流的播放，以及释放播放器对象并取消监听。具体通过Ginga应用实现流媒体播放和停止的时序可以参见图9，此处不再熬述。

图10为本申请一些实施例提供的显示设备执行拖动进度条时流媒体的处理流程示意图，如图10所示，在一些实施例中，响应于对音频流和/或视频流的进度条拖动事件，显示设备200可以停止对音频流和/或视频流的播放线程，之后通过软件开发工具包将进度条拖动事件发送至接口对接后端，并通过接口对接后端将进度条拖动事件发送至媒体服务客户端。在音频流和/或视频流的进度条拖动完成时，显示设备200可以根据目标进度位置生成进度条拖动完成事件，并通过媒体服务客户端将进度条拖动完成事件和目标进度位置发送至接口对接后端，以及通过接口对接后端将进度条拖动完成事件和目标进度位置发送至软件开发工具包，最后软件开发工具包根据进度条拖动完成事件在目标进度位置恢复对音频流和/或视频流的播放线程。

示例性的，图11为本申请一些实施例提供的拖动流媒体播放的进度条时Ginga应用的流程示意图，如图11所示，当拖动播放的流媒体数据的进度条时，需要先停止对音频流和/或视频流的播放线程，之后执行拖动进度条的流程，拖动完成后，媒体服务客户端会将拖动完成事件上报至软件开发工具包，同时拖动完成时会对应一个目标进度位置，软件开发工具包响应于拖动完成事件会在目标进度位置处恢复对流媒体的播放。

示例性的，图12为本申请一些实施例提供的通过Ginga应用实现流媒体拖动进度条的时序图，如图12所示，在软件开发工具包SDK、接口对接后端Mediabackend和媒体服务客户端HMC-Client的执行交互的过程中，显示设备200可以在接口对接后端对象创建完成后，通过软件开发工具包设置音频流的音频源和视频流的视频源，并将音频源和视频源的设置信息发送至接口对接后端。之后，在拖动进度条时，可以调用用于拖动流媒体进度的seek进程，同时，接口对接后端可以根据设置信息创建播放器对象并注册监听，以及将播放器对象与监听发送至媒体服务客户端，并通过软件开发工具包创建音频流和视频流。响应于接口对接后端打开音频流和/或视频流，可以将对音频流和/或视频流的打开完成状态传输至媒体服务客户端，以及接收媒体服务客户端返回的回执状态，软件开发工具包根据回执状态向接口对接后端写入音频流和/或视频流，以及通过接口对接后端将音频流和/或视频流推送至媒体服务客户端。

在按照目标目标进度位置拖动进度条后，媒体服务客户端HMC-Client可以将拖动进度条完成事件发送至接口对接后端Mediabackend，并由接口对接后端Mediabackend将拖动进度条完成事件发送至软件开发工具包SDK。软件开发工具包SDK接收到拖动进度条完成事件后，可以循环接口对接后端写入音频流和/或视频流，并向媒体服务客户端推送音频流和/或视频流。同时，响应于音频流和/或视频流的播放完成事件，通过接口对接后端将播放完成事件返回至软件开发工具包，之后，软件开发工具包根据播放完成事件停止播放音频流和/或视频流，并在停止之后执行释放播放器对象、取消监听等流程。

在上述拖动进度条的过程中，执行seek进程时需要先停止之前播放的数据线程，数据线程等待拖动进度条完成后在开始操作目标进度位置之后的流媒体数据。在一些实施例中，接口对接后端Mediabackend中可以有暂停pause流程，可以通过软件开发工具包SDK调用接口对接后端中的暂停功能，接口对接后端通过媒体服务客户端使用媒体服务中的暂停功能。接口对接后端中还可以有恢复resume流程，同样可以通过软件开发工具包SDK调用接口对接后端中的恢复功能，接口对接后端通过媒体服务客户端使用媒体服务中的恢复功能。接口对接后端中还可以设置有其他功能流程，可以根据实际需求设定，本申请对此不作具体限定。

图13为本申请一些实施例提供的显示设备对音频流执行处理的流程示意图，如图13所示，在播放数字电视媒资时，显示设备200检测到Ginga数据仅为音频流时，可以通过接口对接后端将音频源切换至媒体信号，之后请求数字电视信号释放音频源，再通知Ginga应用启动音频流的播放流程，音频流播放结束后，再通过接口对接后端将音频源切换至数字电视信号，以及请求通过数字电视信号重新申请音频，以恢复数字电视中音频的播放。

示例性的，显示设备200在播放单音频only audio时，电视的信号源仍然在数字电视信号DTV上，针对此场景，可以只释放数字电视信号DTV中的音频资源，Ginga应用通过接口对接后端的接口实现流媒体播放等功能。例如，在数字电视信号DTV的播放场景下，在播放Ginga应用内的音频前，接口对接后端MediaBackend会先将音频源Audio的源切到media，请求数字电视信号DTV对音频资源进行释放，资源释放完毕后，数字电视信号DTV通知Ginga应用，此时Ginga应用再启动流媒体的播放流程。播放结束后，接口对接后端MediaBackend再将音频源Audio的源切到数字电视信号dtv，请求数字电视信号DTV重新申请音频资源，恢复数字电视信号DTV中声音的播放。也就是说，显示设备200中播放的如果仅是音频类型，切源控制部分只切音频Audio的源，数字电视信号DTV中的视频video的播放不会受到影响。

由以上技术方案可知，上述实施例提供一种显示设备200，在播放数字电视媒资时，响应于接收到Ginga应用的调用事件，显示设备控制切源模块将数字电视信号源切换至媒体信号；从数字电视媒资中提取出Ginga数据，以及通过中间件模块解析Ginga数据，以生成音频流和视频流；通过接口对接模块将音频流和视频流推送至接口对接后端，以及，控制接口对接后端基于媒体服务客户端模块封装音频流和视频流；将封装后的音频流和视频流通过媒体服务客户端模块发送至媒体服务模块，以通过媒体服务模块对封装的音频流和视频流执行解码；控制显示器显示解码后的音频流和视频流。所述显示设备可以对接显示设备中的媒体框架，该媒体框架中兼容不同类型流媒体的播放流程，使Ginga应用嵌入到播放的媒资节目中，实现通过Ginga应用播放媒资的功能，解决数字电视DTV的播放与Ginga应用之间存在音视频播放冲突的问题。

基于上述显示设备200，本申请部分实施例还提供一种媒资的播放方法，所述方法可以应用于上述实施例中的显示设备200。在一些实施例中，所述媒资的播放方法可以包括如下内容：

在播放数字电视媒资时，响应于接收到Ginga应用的调用事件，显示设备200控制切源模块将显示设备的数字电视信号源切换至媒体信号；媒体信号是基于Ginga应用播放的信号；

显示设备200从数字电视媒资中提取出Ginga数据，以及通过中间件模块解析Ginga数据，以生成音频流和视频流；

显示设备200通过接口对接模块将音频流和视频流推送至接口对接后端，以及，控制接口对接后端基于媒体服务客户端模块封装音频流和视频流；

显示设备200将封装后的音频流和视频流通过媒体服务客户端模块发送至媒体服务模块，以通过媒体服务模块对封装的音频流和视频流执行解码；媒体服务模块兼容不同类型流媒体的播放流程；

显示设备200控制显示器260显示解码后的音频流和视频流。

由以上技术方案可知，上述实施例提供一种媒资的播放方法，通过该方法可以对接显示设备中的媒体框架，该媒体框架中兼容不同类型流媒体的播放流程，使Ginga应用嵌入到播放的媒资节目中，实现通过Ginga应用播放媒资的功能，解决数字电视DTV的播放与Ginga应用之间存在音视频播放冲突的问题。

本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，被配置为显示用户界面；

声音播放器，被配置为播放音频数据；

控制器，包括切源模块、中间件模块、接口对接模块、媒体服务客户端模块和媒体服务模块；所述控制器被配置为：

在播放数字电视媒资时，响应于接收到Ginga应用的调用事件，控制切源模块将显示设备的数字电视信号源切换至媒体信号；所述媒体信号是基于Ginga应用播放的信号；

从所述数字电视媒资中提取出Ginga数据，以及通过中间件模块解析所述Ginga数据，以生成音频流和视频流；

通过接口对接模块将所述音频流和所述视频流推送至接口对接后端，以及，控制所述接口对接后端基于媒体服务客户端模块封装所述音频流和所述视频流；

将封装后的音频流和视频流通过所述媒体服务客户端模块发送至媒体服务模块，以通过所述媒体服务模块对封装的所述音频流和视频流执行解码；所述媒体服务模块兼容不同类型流媒体的播放流程；

控制所述显示器显示解码后的音频流和视频流。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：

监测所述音频流和/或所述视频流的播放进度；

响应于所述音频流和/或所述视频流的停止播放事件及Ginga应用的调用结束事件，控制所述切源模块将所述信号源切换至数字电视信号；

控制所述显示器播放数字电视的媒资。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：

基于所述媒体服务客户端对所述音频流和/或所述视频流的播放控制事件、所述音频流和/或所述视频流的推送事件发送至媒体服务模块；

通过所述媒体服务模块对所述播放控制事件和所述推送事件执行处理，生成播放控制事件；

将所述播放控制事件上报至所述媒体服务客户端，以实现所述媒体服务客户端与所述媒体服务模块之间的通信。

4.根据权利要求1所述的显示设备，其特征在于，所述音频流和所述视频流采用推送模式注入至媒体服务模块，所述控制器进一步被配置为：

由软件开发工具包控制所述音频流和/或所述视频流注入至媒体服务模块中的底层播放器；

所述底层播放器根据所述音频流和/或所述视频流的播放情况返回解码缓冲状态和播放状态；

所述软件开发工具包根据所述解码缓冲状态和所述播放状态调整所述音频流和/或所述视频流的注入。

5.根据权利要求4所述的显示设备，其特征在于，所述控制器进一步被配置为：

通过所述软件开发工具包调用所述接口对接后端；

响应于创建新的接口对接后端对象，在所述接口对接后端的内部将所述信号源切换至媒体信号；

响应于所述接口对接后端对象的调用完成事件，在所述接口对接后端的内部将所述信号源切换至数字电视信号。

6.根据权利要求5所述的显示设备，其特征在于，所述控制器进一步被配置为：

在所述接口对接后端对象创建完成后，通过所述软件开发工具包设置所述音频流的音频源和所述视频流的视频源；

将所述音频源和所述视频源的设置信息发送至所述接口对接后端；

所述接口对接后端根据所述设置信息创建播放器对象并注册监听，以及将所述播放器对象与所述监听发送至所述媒体服务客户端；

通过所述软件开发工具包创建音频流和视频流；

响应于所述接口对接后端打开所述音频流和/或所述视频流，将对所述音频流和/或所述视频流的打开完成状态传输至所述媒体服务客户端，以及接收所述所述媒体服务客户端返回的回执状态；

所述软件开发工具包根据所述回执状态向所述接口对接后端写入所述音频流和/或所述视频流，以及通过所述接口对接后端将所述音频流和/或所述视频流推送至所述媒体服务客户端；

所述媒体服务客户端接收到所述音频流和/或所述视频流后，通过所述接口对接后端将所述音频流和/或所述视频流的准备完成事件返回至所述软件开发工具包；

所述软件开发工具包根据所述准备完成事件播放所述音频流和/或所述视频流，以及循环向所述接口对接后端写入所述音频流和/或所述视频流，并向所述媒体服务客户端推送所述音频流和/或所述视频流；

响应于所述音频流和/或所述视频流的播放完成事件，通过所述接口对接后端将所述播放完成事件返回至所述软件开发工具包；

所述软件开发工具包根据所述播放完成事件停止播放所述音频流和/或所述视频流。

7.根据权利要求6所述的显示设备，其特征在于，所述控制器进一步被配置为：

通过所述软件开发工具包释放所述音频流和/或所述视频流；

生成对所述音频流和/或所述视频流的释放事件，以及将所述释放事件发送至所述接口对接后端；

所述接口对接后端根据所述释放事件取消所述音频流和/或所述视频流的播放，以及释放所述播放器对象并取消所述监听。

8.根据权利要求5所述的显示设备，其特征在于，所述控制器进一步被配置为：

响应于对所述音频流和/或所述视频流的进度条拖动事件，停止对所述音频流和/或所述视频流的播放线程；

通过所述软件开发工具包将所述进度条拖动事件发送至所述接口对接后端，并通过所述接口对接后端将所述进度条拖动事件发送至所述媒体服务客户端；

在所述音频流和/或所述视频流的进度条拖动完成时，根据目标进度位置生成进度条拖动完成事件；

通过所述媒体服务客户端将所述进度条拖动完成事件和所述目标进度位置发送至所述接口对接后端，以及通过所述接口对接后端将所述进度条拖动完成事件和所述目标进度位置发送至所述软件开发工具包；

所述软件开发工具包根据所述进度条拖动完成事件在所述目标进度位置恢复对所述音频流和/或所述视频流的播放线程。

9.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：

在播放数字电视媒资时，检测到所述Ginga数据仅为音频流，通过所述接口对接后端将音频源切换至媒体信号；

请求所述数字电视信号释放所述音频源；

通知所述Ginga应用启动所述音频流的播放流程；

所述音频流播放结束后，通过所述接口对接后端将音频源切换至数字电视信号，以及请求通过数字电视信号重新申请音频，以恢复数字电视中音频的播放。

10.一种媒资的播放方法，应用于权利要求1-9任一项所述的显示设备，所述显示设备包括显示器、声音播放器和控制器，其特征在于，所述方法包括：

在播放数字电视媒资时，响应于接收到Ginga应用的调用事件，控制切源模块将显示设备的数字电视信号源切换至媒体信号；所述媒体信号是基于Ginga应用播放的信号；

从所述数字电视媒资中提取出Ginga数据，以及通过中间件模块解析所述Ginga数据，以生成音频流和视频流；

通过接口对接模块将所述音频流和所述视频流推送至接口对接后端，以及，控制所述接口对接后端基于媒体服务客户端模块封装所述音频流和所述视频流；

将封装后的音频流和视频流通过所述媒体服务客户端模块发送至媒体服务模块，以通过所述媒体服务模块对封装的所述音频流和视频流执行解码；

控制所述显示器显示解码后的音频流和视频流。