CN117608426A - 显示设备及多应用同屏显示方法 - Google Patents

Abstract

本申请提供一种显示设备及多应用同屏显示方法，所述方法可以响应于多应用同屏显示的控制指令，接收控制指令中指示待显示悬浮应用的媒资数据，从媒资数据中读取显示屏向，再获取当前悬浮应用的运行数量，通过在基础应用的上层规划悬浮窗口，以在待显示悬浮应用对应的悬浮窗口中显示媒资数据。其中，基础应用为与悬浮应用建立数据互通关系，并且支持悬浮显示的应用，悬浮窗口的显示区域根据运行数量和显示屏向确定，悬浮窗口的窗口尺寸根据显示屏向与默认布局尺寸计算获得。所述方法可以使显示设备同时显示多个应用的应用界面，并且动态的调整多个应用界面的显示布局，同时多个应用之间可以通过跨进程消息传递执行交互操作。

Description

显示设备及多应用同屏显示方法

技术领域

本申请涉及显示技术领域，尤其涉及一种显示设备及多应用同屏显示方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、通信终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

显示设备还可以根据用户需要在智能终端中安装各种应用程序，例如，传统视频类应用、短视频等社交应用，以及漫画、看书等阅读应用。不同类型的应用可以支持不同的显示方式，例如部分应用可以横屏显示和竖屏显示。但是显示设备没有同时显示多个应用进行视频播放的逻辑，同一个显示设备通常不能同时显示多个应用的应用界面。通过设备的原生接口可以实现应用界面悬浮，但无法和下面的应用进行数据通信，需要依托于系统版本进行底层代码修改，局现性较大。

发明内容

本申请提供了一种显示设备及多应用同屏显示方法，以解决同一个显示设备不能同时显示多个应用的应用界面的问题。

第一方面，本申请提供一种显示设备，包括：显示器和控制器。其中，所述显示器被配置为显示用户界面；所述控制器被配置为执行以下程序步骤：

响应于多应用同屏显示的控制指令，接收所述控制指令中指示待显示悬浮应用的媒资数据；

从所述媒资数据读取显示屏向；

获取当前悬浮应用的运行数量，所述运行数量包括已显示悬浮应用的数量和待显示悬浮应用的数量；

在基础应用的上层规划悬浮窗口，所述基础应用为与悬浮应用建立数据互通关系，并且支持悬浮显示的应用；所述悬浮窗口的显示区域根据所述运行数量和所述显示屏向确定，所述悬浮窗口的窗口尺寸根据所述显示屏向与默认布局尺寸计算获得；

在所述待显示悬浮应用对应的悬浮窗口中显示所述媒资数据。

第二方面，本申请还提供一种多应用同屏显示方法，包括：

响应于多应用同屏显示的控制指令，接收所述控制指令中指示待显示悬浮应用的媒资数据；

从所述媒资数据读取显示屏向；

获取当前悬浮应用的运行数量，所述运行数量包括已显示悬浮应用的数量和待显示悬浮应用的数量；

在基础应用的上层规划悬浮窗口，所述基础应用为与悬浮应用建立数据互通关系，并且支持悬浮显示的应用；所述悬浮窗口的显示区域根据所述运行数量和所述显示屏向确定，所述悬浮窗口的窗口尺寸根据所述显示屏向与默认布局尺寸计算获得；

在所述待显示悬浮应用对应的悬浮窗口中显示所述媒资数据。

由以上技术方案可知，本申请提供的显示设备及多应用同屏显示方法可以响应于多应用同屏显示的控制指令，接收控制指令中指示待显示悬浮应用的媒资数据，从媒资数据中读取显示屏向，再获取当前悬浮应用的运行数量，通过在基础应用的上层规划悬浮窗口，以在待显示悬浮应用对应的悬浮窗口中显示媒资数据。其中，基础应用为与悬浮应用建立数据互通关系，并且支持悬浮显示的应用，悬浮窗口的显示区域根据运行数量和显示屏向确定，悬浮窗口的窗口尺寸根据显示屏向与默认布局尺寸计算获得。所述方法可以使显示设备同时显示多个应用的应用界面，并且动态的调整多个应用界面的显示布局，同时多个应用之间可以通过跨进程消息传递执行交互操作。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中显示设备与控制装置之间操作场景的示意图；

图2为本申请实施例中显示设备的硬件配置框图；

图3为本申请实施例中控制设备的硬件配置框图；

图4为本申请实施例中显示设备的软件配置示意图；

图5为本申请一些实施例提供的显示设备应用程序的图标控件界面示意图；

图6为本申请实施例中多应用同屏显示方法的流程示意图；

图7为本申请实施例中多应用同屏显示的界面示意图；

图8为本申请实施例中建立数据通信关系的流程示意图；

图9为本申请实施例中检测基础应用的界面状态的流程示意图；

图10为本申请实施例中显示3个悬浮应用的示意图；

图11为本申请实施例中显示2个悬浮应用的示意图；

图12为本申请实施例中显示4个悬浮应用的示意图；

图13为本申请实施例中计算窗口尺寸的流程示意图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请实施方式提供的显示设备可以具有多种实施形式，例如，可以是电视、智能电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)等。图1和图2为本申请的显示设备的一种具体实施方式。

图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

如图3，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。

显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。

通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。

检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

外部装置接口240可以包括但不限于如下：高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

如图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

基于上述显示设备200可以呈现具体的画面。例如，播放画面、控制界面以及其他应用程序界面等。根据应用程序的开发者或运营者，安装在显示设备200上的应用程序可以包括多种形式，例如，系统应用、第三方应用等。还可以按照应用程序所能够实现的功能，将安装在显示设备上的应用程序分为多个类型，例如，视频类应用、阅读类应用、游戏类应用等。

如图5所示，显示设备200的应用程序层可以包含至少一个应用程序可以在显示器中显示对应的图标控件，如：直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。

在一些实施例中，直播电视应用程序，可以通过不同的信号源提供直播电视。例如，直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及，直播电视应用程序可在显示设备200上显示直播电视信号的视频。

在一些实施例中，视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。例如，视频点播可以来自云存储的服务器端或来自包含已存视频节目的本地硬盘储存器等。

在一些实施例中，媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。例如，媒体中心，可以为不同于直播电视或视频点播，用户可通过媒体中心应用程序访问各种图像或音频所提供服务。

在一些实施例中，应用程序中心，可以提供储存各种应用程序。应用程序可以是一种游戏应用程序，或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序，将它们储存在本地储存器中，然后在显示设备200上运行。

在一些实施例中，显示设备200还可以与其他终端设备建立投屏连接，使显示设备200播放终端设备中的内容，例如通过某些具备投屏功能的应用程序，将感兴趣的视频投射到显示设备200上进行大屏播放。

显示设备200可以通过上述实施例中的任一方式，通过服务器400从对应的媒资库中获取目标媒资，并在线播放目标媒资。即在一些实施例中，在播放媒资项目的过程中，服务器400可以实时地从对应的媒资库中获取媒资数据，并通过解码、渲染等处理，持续形成媒资画面。

然而，显示设备200没有同时显示多个应用进行视频播放的逻辑，即同一个显示设备200通常不能同时显示多个应用的应用界面，无法满足用户多个应用同屏播放的需求。在一些实施例中，显示设备200可以通过原生接口实现应用界面悬浮，进而实现同屏显示多个应用的目的，即当用户想要同屏显示多个应用时，可以在其他应用的表面悬浮一个可移动的窗口，以便打开不同应用，例如，用户想要同时观看两种应用时，下层应用可以全屏播放，上层应用可以悬浮在下层应用上方的窗口中播放。

示例性的，以显示设备200辅助健身的场景为例。用户想要实现边学边练的目的，需要显示设备200同时显示预览自身动作画面，即摄像头捕捉用户自己健身的动作画面，以及显示健身视频画面。显示设备200可以将投屏的软件开发工具包集成到显示设备200中的健身应用中，健身应用可以理解为支持用户显示健身画面的相关应用，可以与显示设备200的摄像头结合，用户站在显示设备200前，摄像头捕捉用户的动作，通过健身应用显示用户的健身画面。在显示设备200接收到投屏指令后，下层的健身应用显示用户健身预览画面，上层应用可以悬浮显示在下层应用的上方，用于显示健身视频画面。

上述实施方案中，通过设备的原生接口实现多个应用同屏显示，由于多个应用是集成在一起的，维护过程中可能存在交互性和扩展性较差等问题，采用原生接口的方式实现应用界面悬浮的方案依赖于原生接口，在应用版本发生变化时，需要对底层代码进行修改，例如系统升级，应用维护成本较高。并且对于非触控型显示设备，在上层应用和下层应用分别显示不同应用界面时，无法通过遥控器或其他按键对应用界面进行控制，导致局限性较大。

为了解决同一个显示设备不能同时显示多个应用的应用界面的问题，本申请的部分实施例中还提供一种多应用同屏显示方法，应用于显示设备200，用于实现多应用同屏显示，并且可以动态的调整多个应用界面的显示布局。其中，能够应用所述多应用同屏显示方法的显示设备200包括：显示器260以及控制器250。所述显示器260被配置为显示用户界面。所述控制器250则被配置为执行上述多应用同屏显示方法，如图6所示，具体包括以下内容：

Si00，响应于多应用同屏显示的控制指令，接收所述控制指令中指示待显示悬浮应用的媒资数据。

显示设备200可以呈现应用程序界面，用于显示显示设备200中安装的应用程序，显示设备200运行过程中，用户可以通过输入控制指令，在应用程序界面中选择任一应用程序启动运行，使当前显示画面跳转至所启动的应用界面。根据显示设备的不同，用户可以通过控制装置100或者触摸屏触控等方式输入控制指令。

由于显示设备200存在多个应用，显示设备200可以播放不同应用提供的媒资数据，为了满足用户多个应用同屏播放的需求，可以接收用户输入的多应用同屏显示的控制指令，启动多应用同屏显示功能。即通过在基础应用的上层悬浮显示悬浮应用。其中，基础应用为支持悬浮的应用，可以理解为显示设备200最下层显示的应用，悬浮应用可以理解为基础应用上层的应用，待显示悬浮应用为未通过显示设备200显示的悬浮应用。例如，如图7所示，用户启动运行应用A，显示设备200全屏显示应用A的应用界面，此时，用户启动运行应用B，显示设备200在应用A的应用界面上层悬浮显示应用B的应用界面。上述实施方案中，应用A为基础应用，应用B为悬浮应用。

显示设备200同一屏幕可以叠加显示多个应用的应用界面，为了实现基础应用与悬浮应用之间的交互，需要建立基础应用与悬浮应用的数据互通关系，使得多个应用之间可以进行跨进程消息传递，执行相关交互操作，例如UI状态切换等。因此，接收到用户输入的多应用同屏显示的控制指令后，建立待显示悬浮应用与基础应用的数据互通关系。如图8所示，控制器250还被配置为执行如下步骤：

遍历显示设备的应用列表。其中，应用列表为显示设备200已部署的所有应用。

通过遍历显示设备200的应用列表，从所述应用列表中筛选出支持悬浮功能的应用，以作为所述待显示悬浮应用与所述基础应用。在一些实施例中，可以通过调取显示设备200数据库中的元数据信息，通过元数据信息遍历当前整机所有应用，筛选出支持悬浮功能的应用。

可以理解的是，待显示悬浮应用可以为一个，也可以为多个。当待显示悬浮应用为一个时，即为在显示设备200同一窗口可以同时显示两个应用，当待显示悬浮应用为多个时，即为在显示设备200同一窗口同时显示多个应用。

筛选出待显示悬浮应用与基础应用之后，绑定所述待显示悬浮应用与所述基础应用中的客户端服务，以建立所述待显示悬浮应用与所述基础应用的数据互通关系。

在一些实施例中，在建立悬浮应用与基础应用的数据互通关系时，还可以在基础应用启动后，绑定与其他应用的客户端服务，建立基础应用与其他应用的数据互通关系。数据互通关系建立成功后，基础应用可以与其他应用进行跨进程消息传递。

例如，可以将基础应用当前的界面状态通知至其他应用，其中，界面状态用于表征基础应用当前是否支持悬浮，其他应用接收到第一应用发送的通知消息后，可以根据该通知消息执行后续流程。例如，还可以监听其他应用的连接状态(启动)及断开状态(未启动)，记录当前悬浮应用的数量，并将当前悬浮应用的数量以及当前悬浮应用的显示屏向通知至其他应用。

在一些实施例中，所述界面状态可以包括支持悬浮的状态和不支持悬浮的状态，接收到用户输入的多应用同屏显示的控制指令后，还需要检测基础应用的界面状态，即检测基础应用是否支持悬浮显示，如图9所示，如果基础应用的界面状态为支持悬浮的状态，确定基础应用当前支持悬浮显示，控制器250可以在基础应用的上层创建待显示悬浮应用的悬浮窗口，在悬浮窗口中显示待显示悬浮应用的媒资数据。如果基础应用的界面状态为不支持悬浮的状态，控制器250可以控制显示器260全屏显示待显示悬浮应用的媒资数据。

在一些实施例中，基础应用的界面状态可以用不同的状态标识表示，示例性的，基础应用的状态标识和其表示的内容可以包括：“IDLE”表示准备中，当前不支持悬浮；“PREPARED”表示准备完成，当前支持悬浮；“FOCUS”表示准备完成，当前支持悬浮；“FINISH”表示界面退出，当前不支持悬浮；“ERROR”表示异常，当前不支持悬浮。

可以理解的是，针对不同的应用，界面状态的状态标识可能不同。示例性的，对于后台服务类应用，例如依赖无线网络通信技术等投屏应用，可以用“PREPARED”状态标识表示支持悬浮的状态。对于非后台服务类应用，例如依赖于启动界面的断网投屏等应用，其只有在特定页面下才能使用，可以用“FOCUS”状态标识表示支持悬浮的状态。需要说明的是，上述状态标识仅为示意性说明，并不构成对状态标识内容的限定。

在一些实施例中，在基础应用的上层悬浮显示悬浮应用之前，显示设备200可以在基础应用的上方显示操作提示界面，用于提示和引导用户如何进行多应用同屏显示操作。相应的，在基础应用的上层悬浮显示悬浮应用之后，可以发送悬浮回执通知基础应用已启动悬浮操作，悬浮回执可以理解为悬浮应用已成功实现悬浮显示的状态的回执信息。当基础应用接收到该悬浮回执后，可以根据悬浮回执退出操作提示界面。

显示设备200通过在基础界面的上层悬浮显示多个应用的应用界面，实现多应用同屏显示，不同应用在显示设备200上可以呈现不同的界面布局并展示不同的内容。例如，显示设备200运行短视频等应用时，短视频等应用的应用界面为竖向布局，即短视频等应用的显示屏向为竖屏，而显示设备200运行游戏等应用时，游戏等应用的应用界面为横向布局，即游戏等应用的显示屏向为竖屏。例如，显示设备200可以与终端设备建立投屏连接，显示终端设备投射的媒资数据，根据终端设备投射的媒资数据的不同，其在显示设备200上呈现的界面布局也不同。为了充分利用显示区域，显示设备200可以根据多个应用的显示屏向和数量动态的调整多个应用界面的显示布局。

S200，从所述媒资数据读取显示屏向。

为了规划多个应用界面的显示布局，响应于用户输入的多应用同屏显示的控制指令，接收控制指令中指示待显示悬浮应用的媒资数据，根据媒资数据确定显示屏向，其中，显示屏向包括横屏和竖屏。

在一些实施例中，为了确定应用的显示屏向，控制器250还被配置为执行如下步骤：

在所述媒资数据中提取画面帧图像。

检测所述画面帧图像的高度和宽度。

如果所述宽度大于或等于所述高度，确定所述显示屏向为横屏。

如果所述宽度小于所述高度，确定所述显示屏向为竖屏。

示例性的，以投屏为例，显示设备200与终端设备建立投屏连接，显示设备200接收终端设备发送的媒资数据，从媒资数据中提取画面帧图像，检测画面帧图像的尺寸，根据画面帧图像的尺寸可以识别显示屏向，当画面帧图像的宽度大于或等于画面帧图像的高度时，即宽高比例大于或等于1，确定显示屏向为横屏；当画面帧图像的宽度小于画面帧图像的高度时，即宽高比例小于1，确定显示屏向为竖屏。根据媒资数据识别显示屏向，进而可根据显示屏向在基础应用的上层创建悬浮窗口，使悬浮窗口与对应的悬浮应用保持一致的宽高比例和显示屏向。

需要说明的是，上述媒资数据可以在不同的应用环境中具有多个数据来源。例如，对于投屏过程，显示设备200可以根据投屏协议直接从终端设备获取媒资数据，即媒资数据是由终端设备将自身显示内容转化为视频流发送给显示设备200。显示设备200还可以根据投屏协议从终端设备分享的网络媒资播放链接获取媒资数据，即媒资数据是显示设备200从网络服务器中获取的视频流。

S300，获取当前悬浮应用的运行数量。

其中，所述运行数量包括已显示悬浮应用的数量和待显示悬浮应用的数量。确定待显示悬浮应用的显示屏向后，需要获取当前悬浮应用的运行数量，显示设备200可以在运行过程中周期性检测当前悬浮应用的运行数量，显示设备200还可以在判断当前悬浮窗口布局需要改变时执行对当前悬浮应用的运行数量进行检测。例如，显示设备200可以实时监听每个应用的运行状态，当检测到任一悬浮应用新启动或退出时，显示设备200可以执行检测当前悬浮应用的运行数量的步骤。

在一些实施例中，获取到当前悬浮应用的运行数量，需要判断当前已显示悬浮应用的数量是否达到显示设备200允许悬浮的最大悬浮应用数量。因此，控制器250还被配置为执行如下步骤：

获取悬浮应用阈值，所述悬浮应用阈值为显示设备200允许悬浮的最大悬浮应用数量。对于不同类型的显示设备200，其显示器260的屏幕尺寸信息不同，因此显示器260的屏幕能够显示的悬浮应用的数量也不同。例如，对于常规显示比例的智能电视，为了保证显示效果，其允许悬浮的最大悬浮应用数量为4，即可以支持同屏显示5个应用。

如果所述已显示悬浮应用的数量等于所述悬浮应用阈值，确定当前已显示悬浮应用的数量达到显示设备200允许悬浮的最大悬浮应用数量，控制显示器260显示提示信息，提示用户当前不可进行悬浮显示。

如果所述已显示悬浮应用的数量小于所述悬浮应用阈值，确定当前已显示悬浮应用的数量未达到显示设备200允许悬浮的最大悬浮应用数量，可以根据待显示悬浮应用的显示屏向以及当前悬浮应用的运行数量在基础应用的上层规划悬浮窗口。

S400，在基础应用的上层规划悬浮窗口。

在获取到当前悬浮应用的运行数量以及待显示悬浮应用的显示屏向后，可以进一步在基础应用的上层规划悬浮窗口。其中，所述基础应用为与悬浮应用建立数据互通关系，并且支持悬浮显示的应用。

显示设备200可以在获取到当前悬浮应用的运行数量和显示屏向后，可以通过在基础应用的上层添加悬浮窗口的方式，以基于运行数量和显示屏向规划布局方式。例如，如图10所示，当获取到显示设备200当前悬浮应用的运行数量为3个时，可以在基础应用的上层规划3个悬浮窗口，用于分别显示3个悬浮应用的应用界面。每个悬浮窗口可以根据其显示屏向具有固定的形状和比例，为了提高显示界面的美观度，每个悬浮窗口与显示屏260窗口边缘的距离可以是固定的，悬浮窗口上下间距也可以是固定的。

在一些实施例中，显示设备200可以按照显示屏向规划悬浮窗口。例如，如图11所示，当获取到显示设备200当前悬浮应用的运行数量为2个时，如果悬浮应用的显示屏向为横屏，悬浮窗口可以悬浮在基础应用上层的右上角。如果悬浮应用的显示屏向为竖屏，悬浮窗口可以悬浮在基础应用上层的左侧。

在一些实施例中，如果显示设备200显示悬浮窗口的数量较多时，可以按照悬浮应用的启动顺序，设置悬浮窗口的显示区域，例如，可以按照从左至右，从上至下的顺序设置悬浮窗口，如图10所示，如果显示设备200当前同屏显示4个应用，分别为应用A、应用B、应用C、应用D。其中，应用A为基础应用，应用B、应用C、应用D为基础应用上层的悬浮应用，此时，应用E启动，如图12所示，应用E的悬浮窗口显示在应用D的下方。

在一些实施例中，所述悬浮窗口的显示区域根据所述运行数量和所述显示屏向确定。所述悬浮窗口的窗口尺寸根据所述显示屏向与默认布局尺寸计算获得。如图13所示，控制器250还被配置为执行如下步骤：

根据所述运行数量和所述显示屏向，在所述基础应用的上层规划多个显示区域。

获取所述显示区域对应的默认布局尺寸。

根据所述显示屏向与所述默认布局尺寸计算窗口尺寸。

按照所述窗口尺寸创建悬浮窗口。

本实施例中，显示设备200可以按照悬浮应用的运行数量和显示屏向规划显示区域，通过获取显示区域对应的默认布局尺寸，根据显示屏向和默认布局尺寸调整悬浮窗口的窗口尺寸，在规划的显示区域中创建悬浮窗口，以使悬浮窗口与对应的悬浮应用保持一致的宽高比例和显示屏向。

在一些实施例中，所述窗口尺寸包括的窗口高度和窗口宽度，所述默认布局尺寸包括默认高度和默认宽度，控制器250还被配置为执行如下步骤：

如果所述显示屏向为横屏，确定所述窗口宽度为所述默认宽度，以及获取所述显示屏向的高宽比例，按照所述默认宽度和所述高宽比例计算所述窗口高度。

如果所述显示屏向为竖屏，确定所述窗口高度为所述默认高度，以及获取所述显示屏向的宽高比例，按照所述默认高度和所述宽高比例计算所述窗口宽度。

示例性的，如果显示屏向为横屏，即当前视频流为横屏，规划横屏的显示区域，获取该横屏的显示区域对应的默认布局尺寸，将默认宽度作为定宽，按照定宽对视频流进行比例缩放，并通过setLayoutParams动态设置悬浮窗口的尺寸；如果显示屏向为竖屏，即当前视频流为竖屏，规划竖屏的显示区域，获取该竖屏的显示区域对应的默认布局尺寸，将默认高度作为定高，按照定高对视频流进行比例缩放，并通过setLayoutParams动态设置悬浮窗口的尺寸。

悬浮窗口的窗口尺寸计算方式可以如下：

将视频流的宽记为VideoWidth，将视频流的高记为VideoHeight，如果VideoWidth≥VideoHeight，则父布局的宽为定宽，记为X，则父布局的高为X*VideoHeight/VideoWidth；如果VideoWidth＜VideoHeight，则父布局的高为定高，记为Y，则父布局宽为Y*VideoWidth/VideoHeight。其中，悬浮窗口的窗口宽度和窗口高度为父布局的宽和高。

在一些实施例中，显示设备200显示终端设备发送的投屏数据时，由于终端设备的横竖屏切换或遥控器菜单键切换时，悬浮窗口的窗口尺寸也需要调整，悬浮窗口的窗口尺寸计算方式还可以如下：

获取当前父布局的宽高，即当前悬浮窗口的宽高，分别记为ViewWidth，ViewHeight。

获取当前视频流的宽高，分别记为VideoWidth，VideoHeight。

如果ViewWidth≥ViewHeight，则判断视频流的宽高，如果VideoWidth≥VideoHeight，则父布局的高为定高，记为Y，则父布局的宽为Y*VideoHeight/VideoWidth，悬浮窗口的窗口宽度为Y*VideoHeight/VideoWidth，悬浮窗口的窗口高度为Y*VideoHeight*VideoHeight/VideoWidth/VideoWidth；如果VideoWidth＜VideoHeight，则父布局的高为定高，记为Y，则父布局高为Y*VideoWidth/VideoHeight，悬浮窗口的窗口宽度和窗口高度为父布局的宽和高。

如果ViewWidth＜ViewHeight，则判断视频流的宽高，如果VideoWidth≥VideoHeight，则父布局的宽为定宽，记为X，则父布局高为X*VideoHeight/VideoWidth，悬浮窗口的窗口宽度和窗口高度为父布局的宽和高；如果VideoWidth＜VideoHeight，则父布局的宽为定宽，记为X，则父布局的高为X*VideoWidth/VideoHeight，悬浮窗口的窗口宽度为X*VideoWidth*VideoWidth/VideoHeight/VideoHeight，悬浮窗口的窗口高度为X*VideoWidth/VideoHeight。

S500，在所述待显示悬浮应用对应的悬浮窗口中显示所述媒资数据。

创建悬浮窗口后，可以在待显示悬浮应用对应的悬浮窗口中显示媒资数据，实现多应用同屏显示。

在一些实施例中，由于多个应用显示在不同层级，当用户输入焦点指令时，可能会出现下层应用捕捉不到焦点指令的问题，焦点指令可以是用户通过显示设备200配套的遥控器发出的指令。为了保证所有应用都可以获取到焦点指令，通过将最上层显示的悬浮应用设置为焦点应用，即最上层显示的悬浮应用用于捕获焦点指令，由于基础应用与悬浮应用之间建立数据通信关系，最上层显示的悬浮应用捕获到焦点指令后，可以将焦点指令发送至基础应用，基础应用发送至其他悬浮应用。以使所有应用均可获取到焦点指令，并根据焦点指令执行相关操作，例如调节画面对比度等。

因此，在待显示悬浮应用悬浮显示在基础应用上层后，即待显示悬浮应用为最上层显示的悬浮应用，确定所述待显示悬浮应用为焦点应用，所述焦点应用用于捕捉所述用户界面中的焦点指令。并在所述焦点应用捕捉到所述用户界面中的焦点指令时，控制所述焦点应用将所述焦点指令发送至所述基础应用。在所述基础应用接收到所述焦点指令时，控制所述基础应用将所述焦点指令发送至其他悬浮应用，以使所有应用执行所述焦点指令。

在一些实施例中，显示设备200可以响应于断开指令，以退出断开指令中指示的悬浮应用对应的应用界面，即撤销悬浮应用对应的悬浮窗口，其中，断开指令可以是用户输入的断开指令，也可以是用户通过终端设备发起的断开投屏的操作。显示设备200接收目标悬浮应用的断开指令。位于最上层的悬浮应用捕捉到所述断开指令，通过悬浮应用与基础应用之间的数据互通关系，可以将所述断开指令发送至基础应用，基础应用接收到所述断开指令后，可以将断开指令发送至其他应用，使得目标悬浮应用接收到所述断开指令后，执行所述断开指令。在目标悬浮应用退出后，更新当前悬浮应用的运行数量，以按照更新后的运行数量在所述基础应用的上层重新规划悬浮窗口。即显示设备200撤销目标悬浮应用对应的悬浮窗口，并重新规划基础应用上层的悬浮窗口。

在一些实施例中，关闭指令并不局限于用户输入的方式，可能会由于其他原因，比如网络原因断开、冲突断开等情况导致应用关闭。因此，显示设备200在检测到应用与显示设备200连接异常后，即可以自动生成断开指令，以使显示设备200关闭应用。

针对于非用户主动关闭的情况，为了便于用户了解应用的关闭原因，在一些实施例中，断开指令中还可以携带有断开原因，显示设备200在执行断开指令时，从所述断开指令中解析断开原因，并根据断开原因控制显示器260显示对应的提示信息。

基于上述显示设备200，在本申请的部分实施例中还提供一种多应用同屏显示方法。包括：

S100，响应于多应用同屏显示的控制指令，接收所述控制指令中指示待显示悬浮应用的媒资数据。

S200，从所述媒资数据读取显示屏向。

S300，获取当前悬浮应用的运行数量。

其中，所述运行数量包括已显示悬浮应用的数量和待显示悬浮应用的数量。

S400，在基础应用的上层规划悬浮窗口。

其中，所述基础应用为与悬浮应用建立数据互通关系，并且支持悬浮显示的应用；所述悬浮窗口的显示区域根据所述运行数量和所述显示屏向确定，所述悬浮窗口的窗口尺寸根据所述显示屏向与默认布局尺寸计算获得。

S500，在所述待显示悬浮应用对应的悬浮窗口中显示所述媒资数据。

由以上技术方案可知，上述实施例提供的显示设备及多应用同屏显示方法可以响应于多应用同屏显示的控制指令，接收控制指令中指示待显示悬浮应用的媒资数据，从媒资数据中读取显示屏向，再获取当前悬浮应用的运行数量，通过在基础应用的上层规划悬浮窗口，以在待显示悬浮应用对应的悬浮窗口中显示媒资数据。其中，基础应用为与悬浮应用建立数据互通关系，并且支持悬浮显示的应用，悬浮窗口的显示区域根据运行数量和显示屏向确定，悬浮窗口的窗口尺寸根据显示屏向与默认布局尺寸计算获得。所述方法可以使显示设备同时显示多个应用的应用界面，并且动态的调整多个应用界面的显示布局，同时多个应用之间可以通过跨进程消息传递交互操作。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，被配置为显示用户界面；

控制器，被配置为：

响应于多应用同屏显示的控制指令，接收所述控制指令中指示待显示悬浮应用的媒资数据；

从所述媒资数据读取显示屏向；

获取当前悬浮应用的运行数量，所述运行数量包括已显示悬浮应用的数量和待显示悬浮应用的数量；

在基础应用的上层规划悬浮窗口，所述基础应用为与悬浮应用建立数据互通关系，并且支持悬浮显示的应用；所述悬浮窗口的显示区域根据所述运行数量和所述显示屏向确定，所述悬浮窗口的窗口尺寸根据所述显示屏向与默认布局尺寸计算获得；

在所述待显示悬浮应用对应的悬浮窗口中显示所述媒资数据。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器执行从所述媒资数据读取显示屏向，进一步被配置为：

在所述媒资数据中提取画面帧图像；

检测所述画面帧图像的高度和宽度；

如果所述宽度大于或等于所述高度，确定所述显示屏向为横屏；

如果所述宽度小于所述高度，确定所述显示屏向为竖屏。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：

检测基础应用的界面状态，所述界面状态包括支持悬浮的状态和不支持悬浮的状态；

如果所述界面状态为支持悬浮的状态，执行获取当前悬浮应用的运行数量的步骤；

如果所述界面状态为不支持悬浮的状态，控制所述显示器全屏显示所述待显示悬浮应用的媒资数据。

4.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：

遍历显示设备的应用列表；

从所述应用列表中筛选出支持悬浮功能的应用，以作为所述待显示悬浮应用与所述基础应用；

绑定所述待显示悬浮应用与所述基础应用中的客户端服务，以建立所述待显示悬浮应用与所述基础应用的数据互通关系。

5.根据权利要求1所述的显示设备，其特征在于，所述控制器执行获取当前悬浮应用的运行数量，进一步被配置为：

获取悬浮应用阈值；

如果所述已显示悬浮应用的数量等于所述悬浮应用阈值，控制显示器显示提示信息；

如果所述已显示悬浮应用的数量小于所述悬浮应用阈值，在基础应用的上层规划悬浮窗口。

6.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：

根据所述运行数量和所述显示屏向，在所述基础应用的上层规划多个显示区域；

获取所述显示区域对应的默认布局尺寸；

根据所述显示屏向与所述默认布局尺寸计算窗口尺寸；

按照所述窗口尺寸创建悬浮窗口。

7.根据权利要求6所述的显示设备，其特征在于，所述窗口尺寸包括的窗口高度和窗口宽度，所述默认布局尺寸包括默认高度和默认宽度，所述控制器进一步被配置为：

如果所述显示屏向为横屏，确定所述窗口宽度为所述默认宽度，以及获取所述显示屏向的高宽比例，按照所述默认宽度和所述高宽比例计算所述窗口高度；

如果所述显示屏向为竖屏，确定所述窗口高度为所述默认高度，以及获取所述显示屏向的宽高比例，按照所述默认高度和所述宽高比例计算所述窗口宽度。

8.根据权利要求1所述的显示设备，其特征在于，所述控制器执行在所述待显示悬浮应用对应的悬浮窗口中显示所述媒资数据的步骤之后，进一步被配置为：

确定所述待显示悬浮应用为焦点应用，所述焦点应用用于捕捉所述用户界面中的焦点指令；

在所述焦点应用捕捉到所述用户界面中的焦点指令时，控制所述焦点应用将所述焦点指令发送至所述基础应用；

控制所述基础应用将所述焦点指令发送至其他悬浮应用，以使所有应用执行所述焦点指令。

9.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：

接收目标悬浮应用的断开指令；

根据所述断开指令退出所述目标悬浮应用，以及将所述断开指令发送至所述基础应用；

更新当前悬浮应用的运行数量，以及按照更新后的运行数量在所述基础应用的上层规划悬浮窗口。

10.一种多应用同屏显示方法，其特征在于，包括

响应于多应用同屏显示的控制指令，接收所述控制指令中指示待显示悬浮应用的媒资数据；

从所述媒资数据读取显示屏向；

获取当前悬浮应用的运行数量，所述运行数量包括已显示悬浮应用的数量和待显示悬浮应用的数量；

在基础应用的上层规划悬浮窗口，所述基础应用为与悬浮应用建立数据互通关系，并且支持悬浮显示的应用；所述悬浮窗口的显示区域根据所述运行数量和所述显示屏向确定，所述悬浮窗口的窗口尺寸根据所述显示屏向与默认布局尺寸计算获得；

在所述待显示悬浮应用对应的悬浮窗口中显示所述媒资数据。