CN114401433A - 一种资源同步播放方法及显示设备 - Google Patents

一种资源同步播放方法及显示设备 Download PDF

Info

Publication number
CN114401433A
CN114401433A CN202110997833.XA CN202110997833A CN114401433A CN 114401433 A CN114401433 A CN 114401433A CN 202110997833 A CN202110997833 A CN 202110997833A CN 114401433 A CN114401433 A CN 114401433A
Authority
CN
China
Prior art keywords
playing
window
interface
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110997833.XA
Other languages
English (en)
Inventor
宋子全
庞秀娟
马晓燕
刘美玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202110997833.XA priority Critical patent/CN114401433A/zh
Publication of CN114401433A publication Critical patent/CN114401433A/zh
Priority to CN202280057404.7A priority patent/CN117859331A/zh
Priority to PCT/CN2022/096383 priority patent/WO2023024630A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开一种资源同步播放方法及显示设备,在接收到终端设备推送的待播数据时,根据所述待播数据的资源类型,以及播放界面的当前显示状态,确定所述播放界面的更新策略;其中,所述当前显示状态包括所述播放界面当前包括的播放窗口的数量,以及每个播放窗口对应的资源类型;在所述更新策略指示的目标播放窗口中加载播放所述待播数据。本申请既能避免媒体资源间的播放冲突,还支持用户通过多窗口同步浏览多项被推送的媒体资源,提升用户体验。

Description

一种资源同步播放方法及显示设备
技术领域
本发明涉及显示设备领域,尤其涉及一种资源同步播放方法及显示设备。
背景技术
在一些应用场景中,用户可以通过智能手机、PC等终端向显示设备发起投屏,从而将小屏终端中的图像、音频和视频等媒体资源推送到显示设备,实现大屏播放。目前显示设备仅支持被推送及播放单路投屏的媒体资源,例如显示设备当前正显示媒体资源A,此时若某智能手机向显示设备推送媒体资源B,则显示设备必须停止播放媒体资源A,然后 才能加载并起播媒体资源B,这种方式虽能避免媒体资源间的显示冲突,但无法满足用户 同步观看多个媒体资源的需求,应用场景受到局限。
发明内容
为解决背景技术中存在的问题,本发明提供一种资源同步播放方法及显示设备。
第一方面提供一种显示设备,包括:
显示器,用于显示用户界面;
通信器,用于与终端设备通信连接;
控制器,被配置为执行:
在接收到终端设备推送的待播数据时,根据所述待播数据的资源类型,以及播放界面的当前显示状态,确定所述播放界面的更新策略;其中,所述当前显示状态包括 所述播放界面当前包括的播放窗口的数量,以及每个播放窗口对应的资源类型;
在所述更新策略指示的目标播放窗口中加载播放所述待播数据。
第二方面提供一种资源同步播放方法,包括:
在接收到终端设备推送的待播数据时,根据所述待播数据的资源类型,以及播放界面的当前显示状态,确定所述播放界面的更新策略;其中,所述当前显示状态包括 所述播放界面当前包括的播放窗口的数量,以及每个播放窗口对应的资源类型;
在所述更新策略指示的目标播放窗口中加载播放所述待播数据。
本申请提供的技术方案中,终端设备与显示设备可以建立投屏连接,投屏连接成功后,终端设备即可向显示设备推送媒体数据,显示设备可以接收多个终端设备推送 的媒体数据,也可接收同一终端多次推送的媒体数据。显示设备接收到的多路媒体数 据被分配在同一播放界面的不同播放窗口中进行显示,作为一种示例,显示设备当前 正在播放视频A和音频B,即获取到当前显示状态为具有两个播放窗口,播放窗口1 对应视频类型,播放窗口2对应音频类型,例如此时显示设备又接收到视频B的投屏 推送,则可以新增一个播放窗口3显示视频B,或者将播放窗口1或播放窗口2替换 为显示视频B;又例如,显示设备接收到音频B的推送,由于播放窗口2正在播放音 频A,而声音功放一般仅支持播放单路音频数据,则播放窗口2可以停止播放音频A, 并被替换为播放音频B。
由此可见,投屏的资源类型和显示设备的当前显示状态都会影响播放界面的最终呈现,因此显示设备每接收一次推送,都需要检测投屏的资源类型以及当前显示状态, 从而为播放界面针对性地制定适配当前场景的更新策略,更新策略指示在哪一目标播 放窗口加载显示新接收的待播数据,还可涉及其他如窗口数量及布局调整等内容。本 申请既能避免媒体资源间的播放冲突,还支持用户通过多窗口同步浏览多项被推送的 媒体资源,提升用户体验。
附图说明
图1示出了根据一些实施例的显示设备的使用场景;
图2示出了根据一些实施例的控制装置100的硬件配置框图;
图3示出了根据一些实施例的显示设备200的硬件配置框图;
图4示出了根据一些实施例的显示设备200中软件配置图;
图5示例性示出了播放界面中包括多路视频窗口的UI示意图;
图6示例性示出了播放界面中包括音频窗口的UI示意图;
图7示例性示出了播放界面中包括图像窗口的UI示意图;
图8示例性示出了显示设备在显示图6的播放界面时,新接收一路视频推送后 UI更新示意图;
图9示例性示出了显示设备当前显示图6的播放界面,在新接收到一路视频推送时显示第一提示弹窗的示意图;
图10示例性示出了用户选定第一提示弹窗中的第一替换控件时UI更新示意图;
图11示例性示出了显示设备当前显示图5的播放界面,在新接收到一路视频推 送时显示第二提示弹窗的示意图;
图12示例性示出了用户选定第二提示弹窗中的第二替换控件时UI更新示意图;
图13(a)示例性示出了显示设备当前显示两路视频、一路图像时,新接收一路 音频推送时显示第三提示弹窗的示意图;
图13(b)示例性示出了用户选定图13(a)所示第三提示弹窗中的第二新增控 件时UI更新示意图;
图13(c)示例性示出了用户选定图13(a)所示第三提示弹窗中的第三替换控 件时UI更新示意图;
图14(a)示例性示出了显示设备当前显示三路视频、一路图像时,新接收一路 音频推送时显示第三提示弹窗的示意图;
图14(b)示例性示出了用户选定图14(a)所示第三提示弹窗中的第三替换控 件时UI更新示意图;
图15(a)示例性示出了显示设备显示一路视频、一路图像时,新接收一路图像 时的场景示意图;
图15(b)示例性示出了对图15(a)所示的播放界面进行更新后的UI示意图;
图16(a)示例性示出了显示设备当前显示一路视频、一路音频时,新接收一路 图像推送时显示第三提示弹窗的示意图;
图16(b)示例性示出了用户选定图16(a)所示第三提示弹窗中的第二新增控 件时UI更新示意图;
图16(c)示例性示出了用户选定图16(a)所示第三提示弹窗中的第三替换控 件时UI更新示意图;
图17(a)示例性示出了显示设备当前显示四路视频时,新接收一路图像推送时 显示第三提示弹窗的示意图;
图17(b)示例性示出了用户选定图17(a)所示第三提示弹窗中的第三替换控 件时UI更新示意图;
图18示例性示出了用户切换窗口焦点后的播放界面的示意图;
图19示例性示出了一种资源同步播放方法的流程图;
图20示例性示出了另一种资源同步播放方法的流程图。
具体实施方式
图1为根据实施例中显示设备的使用场景的示意图。如图1所示,显示设备200 还与服务器400进行数据通信,用户可通过智能设备300或控制装置100操作显示设 备200。
在一种示例性的实现方式中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过 无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制 面板输入等至少一种输入用户指令,来控制显示设备200。
在一种示例性的实现方式中,智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑,AR/VR设备等中的任意一种。
在一种示例性的实现方式中,也可以使用智能设备300以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。
在一种示例性的实现方式中,也可使用智能设备300和显示设备进行数据的通信。
在一种示例性的实现方式中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语 音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置 的语音控制装置来接收用户的语音指令控制。
在一种示例性的实现方式中,显示设备200还与服务器400进行数据通信。可允 许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。 服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群, 也可以是多个集群,可以包括一类或多类服务器。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示, 控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供 电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备 200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。显示设备200包 括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示 器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一种示例性的实现方式中控制器包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。
在一种示例性的实现方式中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、 图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一种示例性的实现方式中,显示器260可为液晶显示器、OLED显示器、以及 投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。
在一种示例性的实现方式中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太 网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一 种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和 数据信号的发送和接收。
在一种示例性的实现方式中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230 包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手 势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
在一种示例性的实现方式中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口 (CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多 个接口形成的复合性的输入/输出接口。
在一种示例性的实现方式中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整 体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控 制器250便可以执行与由用户命令选择的对象有关的操作。
在一种示例性的实现方式中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、 文档、图像等操作,或者执行与所述图标相对应程序的操作。
在一种示例性的实现方式中控制器包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU), RAMRandom Access Memory,RAM),ROM(Read-Only Memory,ROM),用于输入 /输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
在一种示例性的实现方式中,用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者, 用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识 别出声音或手势,来接收用户输入命令。
在一种示例性的实现方式中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转 换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采 用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显 示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项 卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一种示例性的实现方式中,用户接口280,为可用于接收控制输入的接口(如:显示设备本体上的实体按键,或其他等)。
参见图4,在一种示例性的实现方式中,将系统分为四层,从上至下分别为应用 程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内 核层。
在一种示例性的实现方式中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等;也可以 是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限 于以上举例。
框架层为应用程序层的应用程序提供应用编程接口 (application programminginterface,API)和编程框架。应用程序框架层包括一些预先 定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用 程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的 服务。
如图4所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提 供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(Activity Manager)用与和系统中正在运行的所有活动进行交互;位置管理器 (LocationManager)用于给系统服务或应用提供了系统位置服务的访问;文件包管 理器(PackageManager)用于检索当前安装在设备上的应用程序包相关的各种信息; 通知管理器(Notification Manager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一种示例性的实现方式中,内核层是硬件和软件之间的层。如图4所示,内核 层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、 WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力 传感器等)、以及电源驱动等。
以上实施例介绍了显示设备的硬件/软件架构以及功能实现等内容。在一些应用场 景中,终端设备可以向显示设备推送媒体数据,例如用户通过某些具备投屏功能的应用程序,将感兴趣的媒体资源投射到显示设备上进行大屏播放;或者终端设备与显示 设备通过某些协议建立投屏连接,比如DLNA(Digital Living Network Alliance,数字 生活网络联盟)协议等;又或者,终端设备与显示设备进行镜像投屏,从而将终端设 备当前正在显示的媒体数据镜像同步推送至显示设备端。
在一种示例性的实现方式中,用户在终端设备中播放媒体数据时,选择投屏推送时,可以从设备列表中选择用于播放该媒体数据的其他设备,而支持投屏功能的显示 设备会被识别并自动填加到设备列表中,用户从设备列表中选择显示设备后,即可将 媒体数据由终端设备投射到显示设备端进行播放。采用投屏方式推送媒体数据时,一 般需要终端设备与显示设备连接于同一Wifi网络,终端向显示设备推送媒体数据的方 式不限定。当然,在另一些技术中,投屏方式还可以跨网进行。本申请中对投屏的具 体方式不作限定。
在一种示例性的实现方式中,在终端设备与显示设备投屏连接成功之后,终端设备才能将媒体数据推送到显示设备,对于Web上每一个可用的媒体资源,如HTML 文档、图像、视频、音频和程序等,可由一个通用的URI(Uniform Resource Identifier, 统一资源标志符)进行资源定位,即URI相当于提供了一个定位资源的地址。可选地, 终端设备可将需要投屏的媒体数据的URI推送给显示设备,显示设备接收到URI后, 即可定位资源,进而下载及播放相应的媒体数据。其中,所述终端设备可以是智能手 机、平板电脑、智能穿戴设备(如智能手环等)、笔记本电脑等移动终端,也可是台 式电脑、智能电视等具有投屏及显示功能的设备。
在其他示例性的实现方式中,终端设备也可将媒体数据的URL(Uniform ResourceLocator,统一资源定位符),即媒体资源的网络地址推送给显示设备,以便显示设备 访问URL并下载媒体数据;又或者,终端设备也可直接将图像、视频流、音频流等 实时同步至显示设备端。
在一种示例性的实现方式中,显示设备若仅支持播放单路媒体资源,可选地,用户在发起投屏时,终端设备可生成一停止指令,向显示设备发送的投屏请求中携带有 该停止指令以及资源的URI/URL等投屏数据,显示设备接收投屏请求后,识别到投 屏请求中的停止指令,则先停止播放当前的在播资源,以释放被占用的播放资源,然 后再加载及播放投屏数据。可选地,或者终端设备不生成停止指令,而是直接向显示 设备推送投屏数据;显示设备接收到投屏数据时,由显示设备的控制器生成停止指令, 并将该停止指令下发给在播资源的播放器,从而控制在播资源的播放器关闭,停止播 放在播资源。对于仅支持单路资源播放的显示设备,若显示设备接收到终端推送的投 屏数据时,自身具有在播资源,则将导致用户不得不中断正在观看的媒体资源,才能 跳转到播放投屏资源,无法满足用户同步观看多个媒体资源的需求。
在一种示例性的实现方式中,可支持用户自定义显示设备是否具备多路资源同步播放能力,可选地,例如在显示设备的设置菜单中增添一播放能力设置页面,在该页 面中,用户可选择开启或关闭多路资源同步播放能力。若用户关闭多路资源同步播放 能力,即设置显示设备仅支持单路资源播放,则显示设备需要在关闭当前在播资源的 播放器,释放被占用的播放资源后,才能起播投屏数据;若用户开启多路资源同步播 放能力,则可另行新建一播放器去加载及播放投屏数据,可无需停掉当前在播资源的 播放。若用户始终未参与播放能力的定义和调整,可将多路资源同步播放能力默认设 置为开启状态。显示设备在启用多路资源同步播放功能后,可以接收单独一个终端设 备推送的一个或多个媒体资源,也可同时接收多个终端设备分别推送的一个或多个媒 体资源,从而适应更多的应用场景。
在一种示例性的实现方式中,终端设备在发送投屏请求之前,需要搜索附近可建立投屏连接的显示设备,在搜索到某一显示设备A时,终端设备可向显示设备A发 送查询指令,显示设备A接收并响应该查询指令后,查询并向终端设备反馈自身的资 源播放能力,使终端设备提前获知显示设备A是否支持多路资源同步播放。
在一种示例性的实现方式中,终端设备在向显示设备A发送投屏请求时,若获知显示设备A仅支持播放单路媒体资源,可选地,由终端设备生成停止指令,并使投屏 请求中同时携带停止指令以及投屏资源的URI/URL等数据,显示设备A接收到投屏 请求时,对投屏请求进行解析,分离出停止指令和投屏数据,若显示设备A当前具有 在播资源,则先响应停止指令,关闭当前在播资源的播放器,并重新创建新的播放器, 然后利用新的播放器加载及播放终端推送的投屏数据;若显示设备A当前无在播资 源,则直接创建播放器去加载及播放投屏数据。
在一种示例性的实现方式中,终端设备在向显示设备A发送投屏请求时,若获知显示设备A仅支持播放单路媒体资源,可选地,终端设备可先生成一停止指令,并将 停止指令发送给显示设备A;显示设备A在接收到停止指令时,检测自身当前是否有 在播资源,若显示设备A当前具有在播资源,则响应停止指令,关闭当前在播资源的 播放器,并向终端设备发送已停止消息;终端设备在接收到已停止消息时,将投屏数 据发送给显示设备A,显示设备A接收到投屏数据时,创建播放器去加载及播放该投 屏数据。显示设备A在接收到停止指令时,若检测到自身当前无在播资源,则向终端 设备发送投屏数据获取请求,终端设备A响应投屏数据获取请求,将投屏数据发送给 显示设备A,显示设备A利用创建的播放器加载及播放投屏数据。
在一种示例性的实现方式中,终端设备在向显示设备A发送投屏请求时,若获知显示设备A支持同步播放多路资源,则不生成停止指令,仅向显示设备A发送投屏 数据,显示设备A接收到投屏数据时,无论当前是否具有在播资源,都允许另行新建 一播放器去加载及播放投屏数据。
在一种示例性的实现方式中,用户向显示设备A发起投屏请求后,终端设备端可以无需考虑显示设备A是否支持多路资源同步播放,而仅向显示设备A发送投屏数 据,由显示设备A自身决策是否需要停止在播资源。显示设备A在接收到终端推送 的投屏数据时,首先查询自身的资源同步播放能力,若查询到自身不具备多路资源同 步播放能力(即仅支持单路资源播放),并且检测到当前具有在播资源,可由控制器 生成停止指令,并将该停止指令下发给在播资源对应的播放器1,从而关闭播放器1, 然后新建播放器2去加载及播放投屏数据;或者,显示设备A若查询到自身不具备多 路资源同步播放能力(即仅支持单路资源播放),并且检测到当前无在播资源,则无 需生成停止指令,直接新建播放器去加载及播放投屏资源。
在一种示例性的实现方式中,显示设备A在接收到终端推送的投屏数据时,若查询到自身具备多路资源同步播放能力,则无论当前是否具有在播资源,可选择另行新 建一路播放器去加载及播放投屏数据。
在一种示例性的实现方式中,终端设备在向显示设备推送投屏数据之前,也可主动访问显示设备,去识别显示设备当前具备的资源播放能力,可选地,显示设备端可 在相关投屏协议/服务内对其资源播放能力进行描述,作为一种示例,例如在rendererdevicedesc.xml文件中设置目标字段,目标字段例如为<modelDescription>multiplay</modelDescription>,若终端设备访问rendererdevicedesc.xml文件后读取到 具有目标字段,则获知显示设备具备多路资源同步播放能力,则终端设备不生成停止指令,直接推送投屏数据;若终端设备未读取到目标字段,相当于读取到目标字段为 空,则获知显示设备仅具备单路媒体资源播放能力,则终端设备端可生成停止指令, 通过停止指令去触发显示设备端停止播放当前的在播资源。
在一种示例性的实现方式中,也可在目标字段中设置标志位,终端设备通过访问目标字段并读取其中标志位的值,即可获知显示设备所具备的播放能力,例如标志位 的值被置为1时,即指示显示设备具备多路资源同步播放能力;若标志位的值被置为 0,即指示显示设备不具备多路资源同步播放能力,而仅支持单路媒体资源播放。
在一种示例性的实现方式中,终端设备推送的媒体资源,按照资源类型可分为即视频类型、音频类型和图像类型等,显示设备端可以利用视频播放器、音频播放器和 图像播放器等,从而实现按类播放,并且支持不同类型的播放器同时运行。
在一种示例性的实现方式中,为实现多路投屏播放,创建多个视频播放器,每个视频播放器可以对视频进行播放控制,包括但不限于视频音量、分辨率、倍速、播放 进度(例如暂停、seek、快进、快退)等方面的调节和控制。相应地,如图5的UI 示例,在显示设备的播放界面上,创建并显示多个对应于视频类型的播放窗口,每个 播放窗口显示一个视频播放器输出的视频画面。
在一种示例性的实现方式中,由于显示设备一般仅支持单路音频的输出及播放,毕竟同时输出多路音频会导致声音混合现象,使用户无法听清每个音频资源的声音, 因此无论显示设备被推送多少路音频资源,显示设备都仅运行一个音频播放器,例如 音频播放器当前正在播放音频资源1,若显示设备接收到音频资源2的推送,则音频 播放器需要停止播放音频资源1,而是替换为起播音频资源2,以避免音频资源间的 播放冲突。音频播放器可以对音频进行播放控制,包括但不限于音频音量、倍速、音 效、播放进度(例如暂停、seek、前进、后退)、歌曲切换、播放模式(单曲循环、随 机播放、顺序播放)等方面的调节和控制。相应地,如图6的UI示例,在显示设备 的播放界面上,仅创建一个对应于音频类型的播放窗口,该播放窗口可显示音频播放 信息,音频播放信息包括但不限于歌名、歌手、歌词、歌曲时长、播放进度条、暂停 /播放控件、背景图像等于音频有关的内容。当用户触发推送下一首歌曲的指令,则直 接在显示设备上切换为下一首歌曲的信息,以及切换为播放下一首歌曲。
需要说明的是,这里所述的音频播放器与功放是不同的概念,音频播放器为音频播放程序,相当于一个应用;而功放是硬件层次,提供输出音频的物理通道,功放可 包括内置功放和外部功放,内置功放为显示设备的扬声器,外部功放是显示设备通过 如蓝牙、HDMI等方式外接的功放设备,如音响、耳机等。
在一种示例性的实现方式中,终端设备可存储有本地图像,或者通过如壁纸应用、相册应用等APP下载及管理主题图像,可选地,终端设备本地或与图像有关的应用 可以相册形式保存图像,相册中包括至少一张图像,终端设备将相册推送给显示设备 后,显示设备创建图像播放器,图像播放器用于展示相册内的图像,以及按照指定的 展示模式对相册进行展示控制,所述展示模式包括但不限于向前切换图像、向后切换 图像、顺序展示图像、循环展示图像等。由于显示设备支持图像的动态切换,因此只 需创建一个图像播放器,即可实现图像的显示切换。相应地,如图7的UI示例,在 显示设备的播放界面上,仅创建一个对应于图像类型的播放窗口,该播放窗口与图像 播放器关联,播放窗口中每次仅展示单张图像,播放窗口中设置有切换控件,参照图 7,具体可包括向前切换控件和向后切换控件,用户选定向前切换控件,则切换为显 示当前图像的前一张图像;若用户选定向后切换控件,则切换为显示当前图像的后一 张图像,切换时可以按照相册中各图像的排序进行图像定位。
在一种示例性的实现方式中,用户可以手动操作图像窗口中的切换控件,按照指定的顺序(向前或向后)切换图像,若用户无操作,则保持当前图像的静态展示;或 者,还可设置按照相册排序自动轮播图像,例如相册内包括图像1、图像2和图像3, 则按照图像1→图像2→图像3→图像1→图像2→...的顺序循环展示;或者,还可按 照图像1→图像2→图像3将相册内的图像遍历展示一轮后,当前图像停留在末序的 图像3,用户可通过操作切换控件来切换图像。
在一种示例性的实现方式中,例如显示设备的图像窗口中当前展示一张风景图像A,此时显示设备接收到某终端设备推送的家庭相册B,则无需新建图像播放器和图 像窗口,控制原有的图像窗口停止显示风景图像A,而替换为加载显示新接收的家庭 相册B中的图像。可选地,可以将风景图像A与家庭相册B进行组合,得到投屏相 册,投屏相册的排序为风景图像A在前,家庭相册B依序排后,这样通过投屏相册 自循环播放或用户手动切换等形式,使用户还可浏览到之前被替换掉的风景图像A。
在一种示例性的实现方式中,显示设备可以维护一个投屏相册,并按照图像被推送的时间顺序,排序并存储投屏图像,在每次新推送的图像展示完毕后,可以自动循 环展示投屏相册中的历史图像,为用户提供更好的图像浏览体验。
在一种示例性的实现方式中,所述图像可以为静态图像,或者也可为动态图像。例如,可以从视频中截取一定时长的片段,并制作为动态图像;又例如,将连续多帧 图像进行动态拼接,得到如gif等格式的动图。
在一种示例性的实现方式中,如图5~图7的示例,对于任意类型的播放窗口,播放窗口中都可设置退出控件,支持用户随时退出某一路媒体资源的播放。例如,参照 图5,当用户选定视频4对应的播放窗口4中的退出控件,则视频4对应的视频播放 器会被释放,视频4被停止播放,同时播放窗口4会被销毁,播放界面中窗口总数由 原来的4个变更为3个,可以重新调整窗口布局,图5中原窗口布局为4个播放窗口 呈现“四宫格”阵列,调整后的窗口布局例如为播放窗口1和播放窗口2并行在上, 播放窗口3独自居中在下。
在一种示例性的实现方式中,每新增一路投屏或退出一路投屏时,播放界面中的窗口数量都会随之改变,因此可根据窗口数量、每个窗口的大小、屏幕分辨率等多重 因素,合理设定每个窗口的位置分布,从而给出适配于屏幕及当前播放场景的最佳窗 口布局,本实施例不作具体限定。
在一种示例中,参照图6,当用户选定音频对应的播放窗口2中的退出控件时, 音频播放器会被释放,当前被推送的音频停止播放,同时播放窗口2会被销毁,播放 界面中的窗口总数由2变1,仅余一个播放视频1的播放窗口1,此时可以将播放窗 口1切换为全屏模式。当再次接收到终端推送的音频数据时,需重新创建音频播放器 及对应的播放窗口。
在一种示例中,参照图7,若用户选定用于展示图像的播放窗口3中的退出控件,则图像播放器会被释放,当前被推送的图像/相册被停止展示,同时播放窗口3也会被 销毁,导致播放界面中的窗口总数由3变2,同样需要重新调整窗口布局,例如调整 为播放窗口1和播放窗口2呈上下/左右分布。后续接收到终端新推送的图像数据时, 需要重新创建图像播放器及对应的播放窗口。
在一种示例性的实现方式中,例如显示设备正在播放CCTV5直播的体育赛事, 此时突然接收到终端设备C推送的电影2,则创建两个播放窗口,播放窗口1显示 CCTV5的直播画面,播放窗口2显示电影2的视频流,因此在创建窗口时,可使播 放窗口2具有退出控件,播放窗口1无退出控件,即接受投屏前,用户初始观看的资 源无法退出,支持在用户退出各路投屏播放后,显示设备自动返回投屏前的播放频道, 或者使显示设备自动续播投屏前用户正观看的媒体资源。
在一种示例性的实现方式中,由于终端推送的视频和音频都具有预设总时长的要求,例如某歌曲预设总时长为4分钟,某电影的预设总时长为90分钟等,因此显示 设备可以监控每路投屏资源的播放进程,在检测到某一路投屏资源的播放进程达到终 点,即已播时长等于预设总时长,说明在此期间用户未主动退出该投屏资源的播放, 该投屏资源为自然播放结束,则将该投屏资源对应的视频/音频播放器释放,同时将其 对应的播放窗口销毁,从而彻底退出该路投屏。
在一种示例性的实现方式中,显示设备接收到的多路媒体数据被分配在同一播放界面的不同播放窗口中进行显示,例如显示设备当前正在显示视频1和音频1,即获 取到当前显示状态为具有两个播放窗口,播放窗口1对应视频类型,播放窗口2对应 音频类型,此时显示设备又接收到视频2的投屏推送,则例如可新增一个播放窗口3 显示视频2,或者,将播放窗口1或播放窗口2替换为显示视频2;又例如,显示设 备接收到音频2的推送,由于播放窗口2正在播放音频1,而声音功放一般仅支持播 放单路音频数据,则播放窗口2可以停止播放音频1,并被替换为播放音频2。
由此可见,投屏的资源类型和显示设备的当前显示状态都会影响播放界面的最终呈现,其中所述当前显示状态包括显示界面当前显示的播放窗口数量,以及每个播放 窗口对应的资源类型,例如图6的当前显示状态为{窗口1-视频;窗口2-音频}。
在一些示例性的实施方式中,显示设备每接收到一次推送,都需要检测投屏的资源类型以及当前显示状态,从而为播放界面针对性地制定适配当前播放场景的更新策 略,更新策略指示在哪一目标播放窗口加载显示新接收的待播数据,还可涉及其他如 窗口数量及布局调整等内容,从而既能避免媒体资源间的播放冲突,还支持用户通过 多窗口同步浏览多项被推送的媒体资源,提升用户体验。
在一种示例性的实现方式中,在显示设备启用多路资源同步播放功能后,显示设备可接收单独一个终端推送的多个媒体资源,或多个终端分别推送的一个或多个媒体 资源,即理论上显示设备的投屏路数无上限,但考虑到若要播放界面容纳较多的播放 窗口,则必然要压缩每个窗口的尺寸,则窗口显示的视频、音频播放信息和图像会被 同步压缩,压缩过度会用户无法看清楚媒体资源的内容和细节,观看体验差。对此, 本申请提供一预设上限值,预设上限值用于约束播放界面内允许显示播放窗口的最大 数量,预设上限值并不是越大越好,而是在取值尽量大的可能性下兼顾视觉观看效果, 本申请对预设上限值的取值不作限定,例如若预设上限值为4,则显示设备具备支持 4路媒体资源同步播放的能力。在具有预设上限值约束的基础上,下面将针对不同的 播放场景,提供相应的更新策略。
在一种示例性的实现方式中,若终端设备向显示设备推送的待播数据为视频类型,由于视频可以通过创建独立运行的视频播放器及窗口进行播放,而不是如音频类 型或图像类型需要共享同一个播放器和窗口,因此检测播放界面当前的播放窗口数量 是否小于预设上限值。
在一种示例性的实现方式中,一种更新策略被配置为:显示设备新接收到一路视频推送时,若当前的播放窗口数量小于预设上限值,则可在播放界面中创建并新增一 个用于目标播放窗口,用以显示新接收的待播数据,其他播放窗口的播放状态保持不 变,然后根据更新后的播放窗口总数,重新匹配播放界面的窗口布局。
作为一种示例,以显示设备当前显示图6所示的播放界面,预设上限值等于4为例,当前播放界面包括显示视频1的播放窗口1,以及播放音频1(同步显示音频1 的音频播放信息)的播放窗口2,此时显示设备接收到终端设备D新推送的视频2, 由于当前窗口数量未达上限,如图8所示,可直接创建并新增一个播放窗口3(即目 标播放窗口),并在播放窗口3中加载显示视频2,此时播放窗口1和播放窗口2的播 放状态保持不变,即播放窗口1仍保持播放视频1,播放窗口2仍保持播放音频1。 由于播放窗口总数由2更新为3,则需要重新调整窗口布局,在图8示例中,窗口布 局变化为播放窗口1和播放窗口2沿横向并排位于界面上部,播放窗口3单独居中位 于界面下部,整体呈现为类似于倒“品”字形布局。需要说明的是,在播放窗口总数 发生改变时,窗口布局的调整形式不限定。
可选地,可以预先设定不同播放窗口数量对应的布局模板,以预设上限值等于4为例,播放窗口数量为1时,布局模板比如设置为单窗口独占屏幕(即全屏显示); 播放窗口数量为2时,布局模板比如设置为双窗口并排或并列显示;播放窗口数量为 3时,布局模板比如设置为正“品”或倒“品”字形布局,三个窗口同行排布,三个 窗口同列排布,或者播放窗口1单独位于界面左部,播放窗口2和播放窗口3并列位 于界面右部,又或者播放窗口1和播放窗口2并列位于界面左部,播放窗口3单独位 于界面右部等;播放窗口数量为4时,布局模板比如设置为四宫格形式等。当窗口数 量发生改变时,调用更新后的播放窗口总数对应的局部模板,并按照布局模板排序显 示各个播放窗口,以及在各播放窗口中显示所关联的媒体数据。
可选地,前述排序显示例如是按照各路媒体数据被推送/被显示设备接收的时间进 行窗口排序;或者,按照资源类型进行优先级排序,例如显示设备接收到4路投屏推 送的媒体数据,其中两路为视频类型,一路为图像类型,一路为音频类型,则按照视 频>音频>图像的优先级排序,即播放窗口1和播放窗口2分别显示两路视频,播放 窗口3显示音频,其中播放窗口4显示图像,播放窗口1和播放窗口2属同一优先级, 可以按照媒体数据被推送/被接收的时间进行同级内部排序,音频和图像每种类型的窗 口最多只有一个。需要说明的是,窗口排序规则不限于本申请实施例的示例。
前述实施例是在播放界面内窗口未达上限数量时,利用新增的窗口去加载显示新接收的视频数据。在其他示例性的实现方式中,一种更新策略被配置为:显示设备新 接收到一路视频推送时,若当前的播放窗口数量小于预设上限值,则在播放界面上显 示第一提示弹窗,并根据用户通过第一提示弹窗的操作,对播放界面进行相应的更新。
在一种示例性的实现方式中,参照图9的示例,第一提示弹窗中包括新增控件和第一替换控件。若用户选定新增控件,则在播放界面中创建并新增一个目标播放窗口 (即播放窗口3),并在目标播放窗口中加载显示新接收的待播数据(视频2),其他 播放窗口(即播放窗口1和播放窗口2)的播放状态保持不变,以及,根据更新后的 播放窗口总数,重新匹配播放界面的窗口布局,即与前述实施例的新增机制下的更新 方式相同。
在一种示例性的实现方式中,所述第一替换控件是根据当前显示状态生成的,参照图6和图9的示例,当前显示状态为包括两个播放窗口,一个为视频窗口,一个为 音频窗口,则生成的第一替换控件包括两个子控件,分别为“替换视频窗口”和“替 换音频窗口”,用户可以根据观看倾向,选择保留哪一路媒体数据,替换哪一路媒体 数据,例如播放窗口2中的音频1用户已收听完毕,并且不想再重复收听,则可以选 定“替换音频窗口”,则被选中替换的播放窗口2即成为目标播放窗口,功放设备停 止播放音频1,播放窗口2停止显示音频播放信息,播放窗口2被替换为显示视频2, 播放窗口1的播放状态保持不变,替换后的UI更新如图10所示,更新为两路视频在 播。利用此替换机制更新播放界面时,播放界面内的窗口数量不发生改变,仅仅是其 中一个目标播放窗口显示的媒体数据被替换,因此无需调整窗口布局,该更新策略支 持用户将某路不感兴趣的在播资源替换为新推送资源,为播放界面内窗口显示提供更 多可行性,以及对播放场景/用户兴趣意向的适应性。
在一种示例性的实现方式中,一种更新策略被配置为:显示设备新接收到一路视频推送时,若当前的播放窗口数量等于预设上限值,这种场景就无法在播放界面上新 增窗口,则在播放界面上显示第二提示弹窗,并根据用户通过第二提示弹窗的操作, 对播放界面进行相应的更新。
在一种示例性的实现方式中,参照图5的示例,显示设备的当前显示状态为包括 4个播放窗口,分别显示视频1、视频2、视频3和视频4共四路视频,以预设上限值 等于4为例,在此播放场景下显示设备接收到终端设备E推送的视频5,由于播放窗 口总数已达上限,可显示如图11示例的第二提示弹窗,第二提示弹窗中包括取消控 件和第二替换控件。若用户选定取消控件,则自动取消本次投屏,即取消播放终端设 备E推送的视频5,播放界面也不发生更新。
在一种示例性的实现方式中,所述第二替换控件是根据当前显示状态生成的,参照图5和图11的示例,当前显示状态为包括四个视频窗口,则根据多路视频窗口的 排序,对应生成的第二替换控件包括四个子控件,分别为“替换第一路视频窗口”、“替 换第二路视频窗口”、“替换第三路视频窗口”和“替换第四路视频窗口”,在播放窗 口总数达到上限,并且用户不想取消播放当前新推送的媒体数据,则可以根据兴趣和 意向,从四路视频窗口中择一作为目标播放窗口,例如用户不想继续观看第三路视频, 即可选定“替换第三路视频窗口”子控件,则如图12所示,播放窗口3停止播放视 频3,而是被替换为播放视频5,播放窗口1、播放窗口2和播放窗口4的播放状态保 持不变。该实施例可保证播放窗口总数始终满足上限要求,通过替换机制,使新接收 到的投屏资源替换某一路旧媒体资源,避免新资源尚未起播就被取消播放的情况。
前述实施例在播放窗口总数达到上限时,通过第二提示弹窗询问是取消投屏或是进行资源置换。在其他示例性的实现方式中,还提供一种更新策略:显示设备新接收 到一路视频推送时,若当前的播放窗口数量等于预设上限值,则按照预设规则,从播 放界面当前的所有窗口中筛选出目标播放窗口,并使目标播放窗口停止播放原媒体数 据,替换为显示新接收的待播数据,其他播放窗口的播放状态保持不变。该实施例中, 当窗口数目达到上限时,不显示第二提示弹窗询问用户,而是根据预设规则自动筛选 出进行资源置换的目标播放窗口。
在一种示例性的实现方式中,例如所述预设规则为替换前一路投屏资源,以图5的播放场景为例,对于当前推送的视频5,其前一路被推送的是视频4,因此将视频4 对应的播放窗口4筛选为目标播放窗口,播放窗口4停止播放原视频4,被替换为加 载并起播视频5;又例如,所述预设规则为替换播放界面中当前最旧的媒体资源,即 多路资源中最早被推送的资源,即将播放窗口1替换为播放视频5;又例如,所述预 设规则还可从其他角度进行设置,例如替换播放量/热度最低的资源,替换视频时长最 短的资源,替换出现播放卡顿甚至黑屏的资源,等等。具体可根据实际应用场景对所 述预设规则进行设置及调整,本申请不作具体限定。
在上文中提到了对于音频类型和图像类型的媒体数据,多路音频数据共享同一个音频播放器及音频窗口,多路图像数据共享同一个图像播放器及图像窗口,为便于概 括及统一描述,本申请将多路同类媒体数据共享同一个播放器及窗口时对应的资源类 型命名为目标类型,目标类型为音频类型或图像类型。当显示设备接收到终端设备新 推送的目标类型的媒体资源时,更新策略与视频类型略有区别。
在一种示例性的实现方式中,若检测到终端设备新推送的待播数据属于目标类型,则进一步检测播放界面中是否具有对应于同一目标类型的目标播放窗口。若播放 界面中具有对应于同一目标类型的目标播放窗口,则停止播放该目标播放窗口当前播 放的原媒体数据,并被替换为播放待播数据,其他播放窗口的播放状态保持不变。以 图6作为示例,播放界面中播放窗口1播放视频1,播放窗口2播放音频1,此时显 示设备接收到终端设备推送的音频2,音频2属于目标类型中的音频类型,并且播放 界面中具有对应于音频类型的播放窗口2,则播放窗口2即为目标播放窗口,使播放 窗口2停止播放音频1,被替换为播放音频2及同步显示音频2的播放信息,播放窗 口1保持其播放状态不变。
在一种示例性的实现方式中,若播放界面中无对应于同一目标类型的目标播放窗口,则进一步检测播放界面当前包括的播放窗口数量是否小于预设上限值。若播放窗 口数量未达上限,则支持以新增机制更新播放界面,即在播放界面中创建并新增一个 目标播放窗口,在目标播放窗口中显示新接收的媒体数据,其他播放窗口的播放状态 保持不变,以及,根据更新后的播放窗口总数,重新匹配播放界面的窗口布局。以图 7作为示例,显示设备当前的播放界面中播放窗口1显示视频1,播放窗口2显示视 频2,播放窗口3显示图像,此时显示设备接收到终端设备F推送的音频1,播放界 面中当前无音频窗口,创建并新增播放窗口4,并在播放窗口4中显示被推送的音频 1的播放信息,以及控制功放同步起播音频1。
在一种示例性的实现方式中,若播放界面中无对应于同一目标类型的目标播放窗口,并且播放窗口数量未达上限,则显示第三提示弹窗。参照图13(a)的示例,该 示例中显示设备当前包括两路视频和一路图像,播放窗口1播放视频1、播放窗口2 播放视频2,播放窗口3播放图像,此时显示设备端接收到一路音频1的推送,此时 显示的第三提示弹窗包括第二新增控件和第三替换控件。若用户选定第二新增控件, 如图13(b)的示例,则创建并新增用于播放音频1的播放窗口4,并调整窗口布局 为四宫格形式。
在一种示例中,第三替换控件是根据当前显示状态生成的,包括“替换第一路视频窗口”、“替换第二路视频窗口”和“替换图像窗口”这三个子控件,用户通过第三 替换控件择一目标播放窗口,将目标播放窗口替换为播放音频1,其他窗口的播放状 态以及窗口布局保持不变。例如,用户选定“替换第一路视频窗口”子控件,如图13 (c)的示例,播放窗口1被选为目标播放窗口,则播放窗口1停止播放视频1,并被 替换为播放音频1。
在一种示例性的实现方式中,若播放界面中无对应于同一目标类型的目标播放窗口,并且播放窗口数量达到上限(以预设上限值等于4为例),则显示第三提示弹窗。 参照图14(a)的示例,该示例中显示设备当前包括三路视频和一路图像,播放窗口 1播放视频1、播放窗口2播放视频2,播放窗口3播放图像,播放窗口4播放视频3, 此时显示设备端接收到一路音频1的推送,此时显示的第三提示弹窗包括第二取消控 件和第三替换控件。若用户选定第二取消控件,则取消加载及播放音频1,播放界面 保持现状。第三替换控件是根据当前显示状态生成的,包括“替换第一路视频窗口”、 “替换第二路视频窗口”、“替换第三路视频窗口”和“替换图像窗口”这四个子控件, 用户通过第三替换控件择一目标播放窗口,将目标播放窗口替换为播放音频1,其他 窗口的播放状态以及窗口布局保持不变。例如,用户选定“替换图像窗口”子控件, 如图14(b)的示例,播放窗口3被选为目标播放窗口,则播放窗口1停止展示图像, 并被替换为播放音频1。
当然,当窗口数量达到上限时,也可不显示第三提示弹窗进行询问,而是按照前述预设规则,从当前播放界面中筛选出目标播放窗口,具体实现方式可参照前述视频 类型部分的实施例,此处不再赘述。显示设备接收到图像推送时播放界面的更新策略 与接收到音频推送时相同。
参照图15(a)的示例,显示设备当前显示一路视频和一路图像,播放窗口1播 放视频1,播放窗口2展示图像1,此时显示设备接收到终端设备K推送的图像2, 则将播放窗口2作为目标播放窗口,如图15(b)所示,使播放窗口2停止显示图像 1,并加载图像2于播放窗口2替换显示,播放窗口1的播放状态以及窗口布局保持 不变。
参照图16(a)的示例,显示设备当前在播一路视频和一路音频,播放窗口1播 放音频1,播放窗口2播放视频1,此时显示设备接收到终端设备A推送的图像1, 则显示第三提示弹窗。用户若选定第三提示弹窗中的第二新增控件,则如图16(b) 所示,创建并新增用于展示图像1的播放窗口3,以及对窗口布局进行调整。第三替 换控件包括“替换视频窗口”和“替换音频窗口”两个子控件,若用户选定了“替换 音频窗口”子控件,则停止播放音频1,播放窗口1停止显示音频1的播放信息,并 被替换为显示图像1,如图16(c)所示,此时播放界面更新为播放窗口1显示图像1, 播放窗口2显示视频1,窗口布局可保持不变。
参照图17(a)的示例,显示设备当前在播四路视频,播放窗口1显示视频1, 播放窗口2显示视频2,播放窗口3显示视频3,播放窗口4显示视频4,此时显示设 备接收到终端设备B推送的图像1,显示第三提示弹窗。用户若选定第三提示弹窗中 的第二取消控件,则显示设备取消显示图像1,播放界面保持现状。第三替换控件包 括“替换第一路视频窗口”、“替换第二路视频窗口”、“替换第三路视频窗口”和“替 换第四路视频窗口”四个子控件,若用户选定了“替换第二路视频窗口”子控件,则 如图17(b)所示,播放窗口2停止显示视频2,而被替换为加载显示图像1,播放窗 口1、播放窗口3和播放窗口4的播放状态以及窗口布局保持不变。
在一些实施例中,若显示设备通过终端推送的URI/URL来获取数据流,假设显 示设备当前显示上限四路视频,播放窗口1显示视频1,播放窗口2显示视频2,播 放窗口3显示视频3,播放窗口4显示视频4,此时显示设备接收到某终端推送的视 频5的URI,则参照图11,显示第二提示弹窗,若用户选定第二提示弹窗中的取消控 件,则显示设备无需利用URI来获取视频5的视频数据;若用户选定第二提示弹窗中 的“替换第四路视频窗口”子控件,则显示设备停止获取并接收视频4的视频流,通 过新接收到的URI定位视频5的资源,并将获取到的视频5的视频流加载显示于播放 窗口4中,从而完成播放窗口4的资源替换。
在一些示例性的实现方式中,用户可以通过操作遥控器来切换窗口焦点,可选地,显示设备可以对焦点窗口进行醒目显示,例如图18中是在焦点窗口上设置矩形的焦 点框,又例如可以对焦点窗口进行适当缩放,使用户能直观分辨焦点所在,如图18 所示,用户操作后播放窗口3具有焦点。
由于用户一般会从当前连接并可用的功放设备中选择一个目标功放来输出音频,因此显示设备一般仅支持单路音频播放。视频资源还可细分为纯视频资源和音视频资 源,纯视频资源仅有视频画面而无音频内容,音视频资源具有与视频画面同步的音频 内容,例如电影画面具有对应的人声台词,在多路资源以多窗口模式播放时,例如当 前包括3个视频窗口和1个音频窗口,若3个视频窗口中至少有一个播放音视频资源, 则相当于至少有两个播放窗口能播放声音,这就涉及到目标功放输出哪一路的问题。
在一种示例性的实现方式中,可参考实时窗口焦点来决策目标功放的输出,在接收到切换窗口焦点的操作时,获取当前焦点所在的窗口(为便于区分及描述,本申请 命名为第一播放窗口),并确定第一播放窗口当前播放的媒体数据(为便于区分及描 述,本申请命名为第一媒体数据)是否包含音频内容。对于音视频资源、纯音频资源、 具有背景音乐的图像等类型的媒体数据,均包含音频内容;对于纯视频资源、不具有 背景音乐的图像、纯文本等类型的媒体数据,则不包含音频内容。
在一种示例性的实现方式中,若当前焦点窗口在播的第一媒体数据包含音频内容,则控制目标功放输出该音频内容。若当前焦点窗口在播的第一媒体数据不包含音 频内容,则可以开启静音模式,或者控制目标功放跳转至播放第二播放窗口关联的音 频数据,第二播放窗口为当前显示有音频播放信息的播放窗口,即多路音频资源共享 的、唯一的音频窗口,即焦点窗口无法输出声音时,则保持静音或者输出音频播放器 当前播放的音频数据。
以图13(b)作为示例,更新后的播放界面中播放窗口1播放视频1、播放窗口2 播放视频2,播放窗口3播放图像,播放窗口4播放音频1,假设其中视频1为纯视 频资源,视频2为音视频资源。若当前焦点在播放窗口1,由于视频1无音频内容, 则播放窗口1继续播放视频1,目标功放无音频输出(相当于静音状态),或者,为避 免无声输出导致用户观看体验差,也可控制目标功放输出音频1;若当前焦点在播放 窗口2,由于视频2为音视频资源,即具有音频内容,因此控制目标功放输出视频2 包含的音频内容;若当前焦点在播放窗口3,由于纯图像无音频内容,可使播放窗口 3继续显示图像,目标功放或静音,或切换为输出音频1;若当前焦点在播放窗口4, 由于播放窗口4正在播放音频1,因此控制目标功放直接输出音频1。
在一种示例性的实现方式中,目标功放仅输出一个窗口资源具有的音频内容,例如目标功放正输出视频2的音频内容时,会停止输出音频1,若用户将焦点切换至播 放窗口4,则目标功放切换为输出音频1,停止输出视频2的音频内容,从而避免音 频间的播放冲突。
在其他示例性的实现方式中,音频输出不限于前述焦点控制模式,例如若播放界面当前存在音频窗口,则优先输出音频窗口关联的音频数据;又例如,若播放界面当 前无音频窗口,则优先输出音视频资源中的音频内容,当具有多路音视频资源时,例 如可优先输出最早被推送的一路音视频资源,或者优先输出最新一路的音视频资源。 多路资源同步播放场景下的音频输出控制方式不限于本申请实施例所述。
前述各项实施例及UI展示主要侧重于视频类型、音频类型和图像类型的资源, 在其他播放场景中,资源类型还可以是文本类型、图文类型等。可选地,对于文本类 型的资源,例如可以创建文本窗口进行展示,或者还可以浮层字幕的形式在播放界面 的上层滚动展示;对于图文类型的资源,例如可创建图文窗口进行展示。对于文本类 型和图文类型,若以窗口模式进行播放,则更新策略可以参照前述图像类型,这里不 再赘述。
需要说明的是,对于本申请中未提到的资源类型,可以根据不同类型资源的特性,采用相匹配的播放形式。另外,根据不同的播放场景、预设上限值设置、用户交互操 作、以及终端推送的类型多样的资源,制定适配的更新策略,并可对更新策略进行适 当变型和扩展,以实现更多应用场景下的可行性。本申请附图及实施例中涉及的UI 仅仅是示例性的,具体以实际设计和应用为准。
参照前述各项实施例的说明,在一种示例性的实现方式中,参照图19,本申请提供一种资源同步播放方法,所述方法的执行主体为显示设备中的控制器250,包括如 下程序步骤:
步骤So1,在接收到终端设备推送的待播数据时,根据所述待播数据的资源类型,以及播放界面的当前显示状态,确定所述播放界面的更新策略。其中,所述当前显示 状态包括播放界面当前包括的播放窗口的数量,以及每个播放窗口对应的资源类型。
步骤S02,在所述更新策略指示的目标播放窗口中加载播放所述待播数据。
参照前述各项实施例的说明,在一种示例性的实现方式中,参照图20,本申请还提供另一种更为细化的资源同步播放方法,包括如下程序步骤:
步骤S101,在接收到终端设备推送的待播数据时,检测所述待播数据的资源类型。若所述待播数据为视频类型,则执行支线逻辑一;若所述待播数据为音频或图像等目 标类型,则执行支线逻辑二。
支线逻辑一,包括步骤S102~步骤S106:
步骤S102,判断当前的播放窗口数量是否小于预设上限值。若步骤S102的判断 结果为是,则执行步骤S103和步骤S104,反之则执行步骤S105和步骤S106。即窗 口数量未达上限时,可执行窗口新增机制;若窗口数量已达上限,可执行窗口替换机 制,从而保证窗口数量始终不超预设上限值。
步骤S103,在所述播放界面中新增一个目标播放窗口,在所述目标播放窗口中加载播放所述待播数据,其他播放窗口的播放状态保持不变。
步骤S104,根据更新后的播放窗口总数,重新匹配所述播放界面的窗口布局。
步骤S105,获取用户选定的用于资源替换的目标播放窗口。
步骤S106,停止播放所述目标播放窗口被选定前的原媒体数据,使所述目标播放窗口被替换为显示所述待播数据,其他播放窗口的播放状态以及窗口布局保持不变。
支线逻辑二,包括步骤S107~步骤S113:
步骤S107,检测播放界面中是否具有对应于同一目标类型的目标播放窗口。若步骤S107的判断结果为是,则执行步骤S108,反之则执行步骤S109。
步骤S108,停止播放所述目标播放窗口当前播放的原媒体数据,使所述目标播放窗口被替换为显示所述待播数据,其他播放窗口的播放状态以及窗口布局保持不变。
步骤S109,判断当前的播放窗口数量是否小于预设上限值。若步骤S109的判断 结果为是,则执行步骤S110和步骤S111,反之则执行步骤S112和步骤S113。即窗 口数量未达上限时,可执行窗口新增机制;若窗口数量已达上限,可执行窗口替换机 制,从而保证窗口数量始终不超预设上限值。
步骤S110,在所述播放界面中新增一个目标播放窗口,在所述目标播放窗口中加载播放所述待播数据,其他播放窗口的播放状态保持不变。
步骤S111,根据更新后的播放窗口总数,调整所述播放界面的窗口布局。
步骤S112,获取用户选定的用于资源替换的目标播放窗口。
步骤S113,停止播放所述目标播放窗口被选定前的原媒体数据,使所述目标播放窗口被替换为显示所述待播数据,其他播放窗口的播放状态以及窗口布局保持不变。
在图20和图19示例的方法中,针对窗口的新增或替换,可通过显示提示弹窗进 行询问及支持用户选取资源替换的目标窗口,或者根据预设规则进行替换目标的筛选 等,具体实现方式可参照前文的相关描述说明,方法实施例中不再赘述。本申请各实 施例之间可相互参照和印证。
在一种示例性的实现方式中,本发明还提供一种计算机存储介质,该计算机存储介质可存储有程序,该程序执行时可包括前述各实施例中涉及的资源同步播放方法。 其中,计算机存储介质可为磁碟、光盘、只读存储记忆体(英文:Read-Only Memory, 简称ROM)或随机存储记忆体(英文:Random Access Memory,简称RAM)等。

Claims (10)

1.一种显示设备,其特征在于,包括:
显示器,用于显示用户界面;
通信器,用于与终端设备通信连接;
控制器,被配置为执行:
在接收到终端设备推送的待播数据时,根据所述待播数据的资源类型,以及播放界面的当前显示状态,确定所述播放界面的更新策略;其中,所述当前显示状态包括所述播放界面当前包括的播放窗口的数量,以及每个播放窗口对应的资源类型;
在所述更新策略指示的目标播放窗口中加载播放所述待播数据。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器被配置为按照如下方式确定所述播放界面的更新策略:
若所述播放界面当前包括的播放窗口的数量小于预设上限值,所述待播数据的资源类型为视频,则在所述播放界面中新增一个目标播放窗口,其他播放窗口的播放状态保持不变;
根据更新后的播放窗口总数,重新匹配所述播放界面的窗口布局。
3.根据权利要求1所述的显示设备,其特征在于,所述控制器被配置为按照如下方式确定所述播放界面的更新策略:
若所述播放界面当前包括的播放窗口的数量小于预设上限值,所述待播数据的资源类型为视频,则控制显示器在所述播放界面上显示第一提示弹窗;所述第一提示弹窗包括第一新增控件和根据所述当前显示状态生成的第一替换控件;
若接收到对所述第一新增控件的选定操作,在所述播放界面中新增一个目标播放窗口,其他播放窗口的播放状态保持不变,以及,根据更新后的播放窗口总数,重新匹配所述播放界面的窗口布局;
若获取到用户通过所述第一替换控件选择的目标播放窗口,停止播放所述目标播放窗口被选定前的原媒体数据,使所述目标播放窗口被替换为显示所述待播数据,其他播放窗口的播放状态保持不变。
4.根据权利要求1所述的显示设备,其特征在于,所述控制器被配置为按照如下方式确定所述播放界面的更新策略:
若所述播放界面当前包括的播放窗口的数量等于预设上限值,所述待播数据的资源类型为视频,则控制显示器在所述播放界面上显示第二提示弹窗;所述第二提示弹窗包括取消控件和根据所述当前显示状态生成的第二替换控件;
若接收到对所述取消控件的选定操作,取消播放所述待播数据,不更新所述播放界面;
若获取到用户通过所述第二替换控件选择的目标播放窗口,停止播放所述目标播放窗口被选定前的原媒体数据,使所述目标播放窗口被替换为显示所述待播数据,其他播放窗口的播放状态保持不变。
5.根据权利要求1所述的显示设备,其特征在于,所述控制器被配置为按照如下方式确定所述播放界面的更新策略:
若所述播放界面当前包括的播放窗口的数量等于预设上限值,所述待播数据的资源类型为视频,则按照预设规则,从所述播放界面当前的所有播放窗口中筛选出目标播放窗口;
停止播放所述目标播放窗口被选定前的原媒体数据,使所述目标播放窗口被替换为显示所述待播数据,其他播放窗口的播放状态保持不变。
6.根据权利要求1所述的显示设备,其特征在于,所述控制器被配置为按照如下方式确定所述播放界面的更新策略:
若所述待播数据的资源类型为目标类型,则检测所述播放界面中是否具有对应于同一目标类型的目标播放窗口;所述目标类型为音频或图像;
若所述播放界面中具有对应于同一目标类型的目标播放窗口,则停止播放所述目标播放窗口当前播放的原媒体数据,使所述目标播放窗口被替换为显示所述待播数据,其他播放窗口的播放状态保持不变。
7.根据权利要求6所述的显示设备,其特征在于,所述控制器被配置为按照如下方式确定所述播放界面的更新策略:
若所述播放界面中无对应于同一目标类型的目标播放窗口,则检测所述播放界面当前包括的播放窗口的数量是否小于预设上限值;
若所述播放界面当前包括的播放窗口的数量小于预设上限值,则在所述播放界面中新增一个目标播放窗口,其他播放窗口的播放状态保持不变,以及,根据更新后的播放窗口总数,重新匹配所述播放界面的窗口布局;
或者,若所述播放界面当前包括的播放窗口的数量等于预设上限值,则控制显示器在所述播放界面上显示第三提示弹窗,所述第三提示弹窗包括根据所述当前显示状态生成的第三替换控件;获取用户通过所述第三替换控件选择的目标播放窗口,停止播放所述目标播放窗口被选定前的原媒体数据,使所述目标播放窗口被替换为播放所述待播数据,其他播放窗口的播放状态保持不变。
8.根据权利要求1所述的显示设备,其特征在于,所述显示设备还包括内置功放或用于连接外部功放的接口,所述控制器还被配置为执行:
若所述待播数据的资源类型为音频,则在所述目标播放窗口中显示音频播放信息,以及,控制内置功放或外部功放同步播放音频数据;
和/或,在接收到切换窗口焦点的操作时,获取当前焦点所在的第一播放窗口,并确定所述第一播放窗口当前播放的第一媒体数据是否包含音频内容;
若所述第一媒体数据包含音频内容,控制内置功放或外部功放播放所述音频内容;
若所述第一媒体数据中不包含音频内容,则开启静音模式,或者,控制内置功放或外部功放跳转至播放第二播放窗口关联的音频数据;所述第二播放窗口为所述播放界面中当前显示有音频播放信息的播放窗口。
9.根据权利要求1所述的显示设备,其特征在于,所述控制器还被配置为执行:
在接收终端设备推送的待播数据之前,根据用户定义的多路资源同步播放能力,对应设置目标字段;
其中,所述目标字段用于使终端设备在推送待播数据之前,通过读取所述目标字段来查询显示设备是否具备多路资源同步播放能力;
所述目标字段还用于使终端设备在查询到显示设备具备多路资源同步播放能力时,将所述待播数据推送给显示设备;
所述目标字段还用于使终端设备在查询到显示设备不具备多路资源同步播放能力时,向显示设备发送停止指令,所述停止命令用于指示显示设备停止播放当前的媒体数据,以及,在接收到显示设备响应所述停止指令后反馈的已完成信息时,向显示设备推送所述待播数据。
10.一种资源同步播放方法,其特征在于,包括:
在接收到终端设备推送的待播数据时,根据所述待播数据的资源类型,以及播放界面的当前显示状态,确定所述播放界面的更新策略;其中,所述当前显示状态包括所述播放界面当前包括的播放窗口的数量,以及每个播放窗口对应的资源类型;
在所述更新策略指示的目标播放窗口中加载播放所述待播数据。
CN202110997833.XA 2021-08-27 2021-08-27 一种资源同步播放方法及显示设备 Pending CN114401433A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110997833.XA CN114401433A (zh) 2021-08-27 2021-08-27 一种资源同步播放方法及显示设备
CN202280057404.7A CN117859331A (zh) 2021-08-27 2022-05-31 显示设备、终端设备及内容显示方法
PCT/CN2022/096383 WO2023024630A1 (zh) 2021-08-27 2022-05-31 显示设备、终端设备及内容显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110997833.XA CN114401433A (zh) 2021-08-27 2021-08-27 一种资源同步播放方法及显示设备

Publications (1)

Publication Number Publication Date
CN114401433A true CN114401433A (zh) 2022-04-26

Family

ID=81225632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110997833.XA Pending CN114401433A (zh) 2021-08-27 2021-08-27 一种资源同步播放方法及显示设备

Country Status (1)

Country Link
CN (1) CN114401433A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915833A (zh) * 2022-06-24 2022-08-16 Vidaa国际控股(荷兰)公司 一种显示器控制方法及显示设备、终端设备
CN115567421A (zh) * 2022-09-20 2023-01-03 武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所) 一种机载设备态势集中监视系统
CN117156189A (zh) * 2023-02-27 2023-12-01 荣耀终端有限公司 投屏显示方法及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089886A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 無線伝送方法
CN104702870A (zh) * 2013-12-06 2015-06-10 中兴通讯股份有限公司 一种智能微型投影的多源控制方法及装置
CN106547469A (zh) * 2016-11-25 2017-03-29 北京恒泰实达科技股份有限公司 无线触控一体实现方法以及无线触控一体机
CN108920116A (zh) * 2018-06-12 2018-11-30 广州视源电子科技股份有限公司 投屏设备的控制方法、装置、设备及存储介质
CN111263233A (zh) * 2020-02-20 2020-06-09 腾讯科技(深圳)有限公司 电视多窗口处理方法、装置、计算机设备和存储介质
CN111552450A (zh) * 2020-04-30 2020-08-18 深圳市鸿合创新信息技术有限责任公司 一种投屏方法及装置
CN111552565A (zh) * 2020-04-26 2020-08-18 深圳市鸿合创新信息技术有限责任公司 一种多线程投屏方法和装置
CN111813362A (zh) * 2020-07-15 2020-10-23 锐捷网络股份有限公司 一种显示控制方法、装置、介质和设备
CN112584223A (zh) * 2020-12-04 2021-03-30 深圳创维-Rgb电子有限公司 基于电视的自适应分屏显示方法、装置、智能终端及介质
CN112788255A (zh) * 2021-01-27 2021-05-11 北京小米移动软件有限公司 无线投屏方法、装置和投屏主机
CN113115083A (zh) * 2020-01-10 2021-07-13 海信视像科技股份有限公司 显示设备及显示方法
CN113282260A (zh) * 2021-06-09 2021-08-20 深圳康佳电子科技有限公司 投屏控制方法、装置、智能终端及计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089886A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 無線伝送方法
CN104702870A (zh) * 2013-12-06 2015-06-10 中兴通讯股份有限公司 一种智能微型投影的多源控制方法及装置
CN106547469A (zh) * 2016-11-25 2017-03-29 北京恒泰实达科技股份有限公司 无线触控一体实现方法以及无线触控一体机
CN108920116A (zh) * 2018-06-12 2018-11-30 广州视源电子科技股份有限公司 投屏设备的控制方法、装置、设备及存储介质
CN113115083A (zh) * 2020-01-10 2021-07-13 海信视像科技股份有限公司 显示设备及显示方法
CN111263233A (zh) * 2020-02-20 2020-06-09 腾讯科技(深圳)有限公司 电视多窗口处理方法、装置、计算机设备和存储介质
CN111552565A (zh) * 2020-04-26 2020-08-18 深圳市鸿合创新信息技术有限责任公司 一种多线程投屏方法和装置
CN111552450A (zh) * 2020-04-30 2020-08-18 深圳市鸿合创新信息技术有限责任公司 一种投屏方法及装置
CN111813362A (zh) * 2020-07-15 2020-10-23 锐捷网络股份有限公司 一种显示控制方法、装置、介质和设备
CN112584223A (zh) * 2020-12-04 2021-03-30 深圳创维-Rgb电子有限公司 基于电视的自适应分屏显示方法、装置、智能终端及介质
CN112788255A (zh) * 2021-01-27 2021-05-11 北京小米移动软件有限公司 无线投屏方法、装置和投屏主机
CN113282260A (zh) * 2021-06-09 2021-08-20 深圳康佳电子科技有限公司 投屏控制方法、装置、智能终端及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915833A (zh) * 2022-06-24 2022-08-16 Vidaa国际控股(荷兰)公司 一种显示器控制方法及显示设备、终端设备
CN114915833B (zh) * 2022-06-24 2023-11-10 Vidaa国际控股(荷兰)公司 一种显示器控制方法及显示设备、终端设备
CN115567421A (zh) * 2022-09-20 2023-01-03 武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所) 一种机载设备态势集中监视系统
CN117156189A (zh) * 2023-02-27 2023-12-01 荣耀终端有限公司 投屏显示方法及电子设备

Similar Documents

Publication Publication Date Title
US20190110100A1 (en) Method for controlling multiple subscreens on display device and display device therefor
JP5056373B2 (ja) 情報処理装置及び情報処理方法
CN114401433A (zh) 一种资源同步播放方法及显示设备
US20120321277A1 (en) Method of providing key frames of video in mobile terminal
CN111405318B (zh) 视频展示方法、装置及计算机存储介质
JPWO2008117586A1 (ja) コンテンツ再生システム、コンテンツ再生・制御装置およびコンピュータプログラム
US11425466B2 (en) Data transmission method and device
CN113852870B (zh) 一种频道列表显示方法及显示设备
CN113590059A (zh) 一种投屏方法及移动终端
CN113965785A (zh) 一种资源同步播放方法及显示设备
CN113242444A (zh) 一种显示设备、服务器及媒资播放方法
CN114302204A (zh) 一种分屏播放方法及显示设备
US20240137617A1 (en) Video playing method and apparatus, and storage medium
CN117859331A (zh) 显示设备、终端设备及内容显示方法
CN113938634A (zh) 一种多路视频通话处理方法及显示设备
CN115119022A (zh) 一种跳过视频广告的控制方法及显示设备
CN114915810A (zh) 一种媒资推送方法及智能终端
KR20150117212A (ko) 디스플레이 장치 및 그 제어 방법
CN113938635A (zh) 一种多路视频通话处理方法及显示设备
CN115223521B (zh) 显示设备及接力设备展示方法
CN118283336A (zh) 一种显示设备及媒资数据播放方法
WO2024087824A9 (zh) 显示设备及用于显示设备的频道数据处理方法
CN115086722B (zh) 一种副屏内容的展示方法及显示设备
CN118283323A (zh) 一种显示设备及画面轮播的切换方法
CN115914763A (zh) 显示设备及多媒体资源播放方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination