CN105308675A - 具有多任务处理的第二屏幕视图 - Google Patents

Abstract

本文描述利用计算设备执行的实施例，其中计算设备能够具有第一显示器和第二显示器。该设备也可以执行开窗系统。任意的应用程序在计算设备上执行。每一个这样的应用程序具有利用开窗系统管理的相应的应用程序窗口。可以从任意一个应用程序接收开始投影请求，并且开窗系统可以通过生成、显示和管理投影窗口来应答开始请求。应用程序可以经由投影窗口来生成和显示内容。响应于开始投影请求，与第一显示器和第二显示器有关的显示信息可以由开窗系统使用来显示投影窗口。来自应用程序的停止投影请求可以导致开窗系统终止投影窗口。

Description

具有多任务处理的第二屏幕视图

背景技术

一段时间以来，在计算的领域中，开窗（windowing）环境已能够给应用程序提供多个窗口。在控制与内容回放之间具有明显区别的应用程序有时使用多个窗口来在一个窗口中显示内容和在另一窗口中显示控制器（control）。例如，媒体播放器、幻灯片演示（presentation）应用程序、视频游戏和其他的应用程序已利用多个窗口将内容（显示或演示图形）的显示与用于控制内容的交互式图形控制器的显示分离开。这样的应用程序将被泛泛地称为演示应用程序。迄今为止，已开发演示类型应用程序来在特设基础上（onanadhocbasis）处理控制-演示分离。即，这些应用程序本身已利用将内容的演示与控制内容的控制器分离开的逻辑来开发。一些这样的应用程序需要复杂的场景处理逻辑，而这样的场景处理逻辑经常发生故障。

另外，已经知道如何利用一个计算设备来同时使用多个显示器。通常，多显示器设备的操作系统处理管理多个显示器的硬件细节并且可以提供不同的显示模式，诸如显示镜像或显示级联（concatenation）。再次，如果演示风格应用程序使用了多个显示器，则这些应用程序已在应用层上这样做了。每一个应用程序可以具有它自己的用于如何应付多个监控器的逻辑。再次，这样的逻辑能够是复杂的并且可能在某些使用情况和显示事件中发生故障。再次，这样的应用程序或系统可能不允许与投影或辅助显示器上的内容乃至其他应用程序交互。

下面讨论与系统管理的多显示器投影逻辑相关的技术。

发明内容

仅包括以下概述部分来介绍下面在具体描述部分中讨论的一些概念。这个概述部分不是全面的并且不打算来描绘所请求保护的主题的范畴，其中利用在结尾提出的权利要求书来阐明所请求保护的主题的范畴。

本文描述的是利用能够具有第一显示器和第二显示器的计算设备来执行的实施例。该设备也可以执行开窗系统。任意的应用程序执行在计算设备上。每一个这样的应用程序具有利用开窗系统来管理的相应的应用程序窗口。可以从任意一个应用程序接收开始投影请求，并且开窗系统可以通过生成、显示和管理投影窗口来应答该开始请求。应用程序可以经由投影窗口来生成和显示内容。响应于开始投影请求，与第一显示器和第二显示器有关的显示信息可以由开窗系统用于显示投影窗口。来自应用程序的停止投影请求可以导致开窗系统终止该投影窗口。

下面将参考结合附图所考虑的以下具体描述来解释许多附带的特征。

附图说明

从按照附图阅读的以下具体描述中将更好地了解目前的描述，其中类似的参考数字用于在附带的描述中指定类似的部分。

图1显示计算设备。

图2显示用于复制显示模式和扩展显示模式的示例显示输出。

图3显示开窗系统的示例实现方式。

图4显示与投影管理器的使用相关的通用进程。

图5显示主应用程序窗口和演示窗口。

图6显示用于在计算设备处于复制模式中时开始投影的进程。

图7显示用于在启动投影窗口以及目标显示器已具有从而显示的应用程序窗口时的进程。

图8显示用于应用程序结束投影的进程。

图9显示在其上面可以实现上述实施例的计算设备的细节。

具体实施方式

下面讨论的实施例涉及管理用于任意应用程序的辅助或投影视图或窗口，其具有由于多个显示器而得到的优势并在多个显示器上允许多任务处理。虽然这样的功能可能有利于演示应用程序，但是系统管理的投影窗口可以具有任何任意的使用并且可以显示如利用其相应的父应用程序所确定的任何内容。

图1显示计算设备100。计算设备100可以具有与之相连接的一个或多个显示器102。显示器102可以经由接口104与设备100连接。接口104可以是显示适配器、系统总线或在网络连接的显示器102的情况中可以是某种形式的网络接口卡。操作系统106可以管理显示器102的底层硬件细节并且向开窗系统108提供显示器102的抽象视图。

开窗系统可以部分地与操作系统106相集成或与操作系统106紧密耦合。出于本文的目的，这些组件之间的区别并不重要。开窗系统108可以具有在计算领域中已知的一些功能，诸如由用户利用各种类型的输入设备输入的输入事件（例如触摸/笔划、点击、键盘按键、鼠标拖曳等等）的处理。开窗系统108也管理应用程序窗口110，处理相关的事件或用户交互，诸如关闭窗口、移动窗口、调整窗口大小、渲染多个并发窗口、可能地提供对于应用程序而言非特定的背景和控制器等等。稍后参考图3来描述开窗系统的附加细节。

开窗系统108管理应用程序窗口110。应用程序窗口110对应于在计算设备100上执行并利用操作系统106来管理的各自进程。注意：每一个进程不需要具有窗口，并且每一个窗口不需要具有它自己独特的进程。一些进程可以具有多个应用程序窗口110。再次，窗口及其基本特征在计算的领域中是众所周知的并且无需进一步解释。在本文描述的实施例中，一些应用程序（例如，具有应用程序窗口110的进程）可以经由一个或多个应用程序编程接口（API）112等等来访问开窗系统108的服务或功能。

图2显示用于复制显示模式和扩展显示模式的示例显示输出。在图2的顶部，第一显示器102A和第二显示器102B连接到同一计算设备100。当开窗系统108处于复制模式中时，开窗系统108向计算设备100上的应用程序（或其他软件）提供似乎是单个的显示器。无论开窗系统108作为输出所渲染的是什么，都一式两份显示在两个显示器102A、102B上。

在扩展模式中，显示器102A、102B被看作跨越两个显示器而扩展的一个逻辑显示表面。可以实现各种形式的扩展模式。在一种形式中，显示器102A、102B被抽象成与单个显示器不可区分开的虚拟显示器130。所有的图形跨越这些显示器被桥接，并且个别显示器对于应用程序而言可能没有不同的可见性。另一种形式的扩展模式是将显示器部分地视为单个设备以及部分地视为多个设备。例如，用户壳（shell）或图形用户界面（GUI）可能具有不同的环境组件，诸如在每一个显示器上复制的任务栏或应用程序图标，但是同时这种形式的扩展模式可能给应用程序提供个别寻址这些显示器102A、102B的能力。出于本文的目的，“扩展模式”指的是几乎任何的系统提供的允许在不同的各自显示器上显示不同的应用程序窗口的多显示器模式。

图3显示开窗系统108的示例实现方式。开窗系统108具有应用程序管理器150、监控管理器152和投影管理器154。虽然组件形式（component-wise）责任划分对于软件开发和对于解释而言是便利的，但是可以使用任何的任意设计；特别的组件及其关系并不重要。说了这么多，应用程序管理器150是处理高级应用程序管理功能诸如开始和停止应用程序、安装应用程序、显示执行应用程序的标记、提供用于与应用程序交互和管理应用程序的用户工具等等的组件。

应用程序可以是具有能够交互式地移动、调整大小、从一个显示器移动到另一个显示器等等的主要窗口的一阶对象。在一个实施例中，应用程序管理器可以具有管理应用程序窗口110的布局的布局逻辑。例如，应用程序管理器（或布局管理器）可以允许用户交互式地插入应用程序窗口110、交互式地利用另一应用程序窗口来替换一个应用程序窗口110、在应用程序窗口110之间（例如，使用可移动划分器）同时重新分配显示空间、交互式地调整窗口的模式（mode）等等。总而言之，应用程序管理器150给用户提供用于多任务处理的多个应用程序窗口。

监控管理器152可以处理具有多个显示器102的硬件细节。监控管理器152可以作为针对显示功能提供抽象访问的服务来操作。例如，监控管理器152可以处理显示器的添加和移除（例如接通/关闭、连接/断开、启用/禁用）。监控管理器152也提供不同的显示模式，诸如扩展模式和复制模式。监控管理器152也可以给应用程序、应用程序管理器150和投影管理器154提供有关当前显示模式的信息、有关哪些显示器是可用的及其属性的信息以及其他信息。此外，监控管理器152可以按照投影管理器154所指示的在显示模式之间切换。

投影管理器154是允许应用程序使用窗口投影功能而不关心实现细节的组件。投影管理器154可以是通过API可访问的，其中API至少包括开始投影调用和停止投影调用。当应用程序需要投影窗口用于内容的演示风格显示时，应用程序可以使用投影管理器来开始投影。

图4显示与投影管理器154的使用相关的通用进程。初始地，在步骤170，应用程序调用API来请求投影管理器154提供被管理或被组织（curate）的投影窗口。在步骤172，如果有必要的话，作为开窗系统的一部分，投影管理器使用监控管理器152来切换到扩展显示模式。在步骤174，投影管理器向开窗系统（有可能，应用程序管理器）请求作为请求投影窗口的应用程序的子窗口而形成的新窗口。投影窗口是利用开窗系统和应用程序管理器管理的完全成熟的窗口对象。尽管如此，投影窗口的寿命和行为利用投影管理器154来管理或组织。

投影管理器154可以经历决策进程来确定将在两个（或更多）显示器之中的哪一个显示器上显示投影窗口。当从复制模式切换到扩展模式时，请求（投影）应用程序的主或主要窗口可以不与任一显示器相关联。因此，投影管理器154可以为用户决定哪一个显示器将显示主要应用程序窗口以及哪一个显示器将显示投影窗口。例如，投影管理器154可以考虑显示器类型（例如，投影仪）、显示器的大小、是否显示器具有与之相关联的输入（例如，触敏显示器）、以前的显示器使用等等。如稍后将讨论的，即使在只有一个显示器可用时或者在显示模式依照用户偏好而被锁定在复制模式中时，投影管理器154也将生成和管理投影窗口。

在已显示投影窗口之后，在步骤178，开窗系统及其组件开始以与任何其他的应用程序窗口非常类似的方式例如通过应答针对或影响主应用程序窗口、投影窗口或在投影已开始之后在这些显示器之中的一个或多个显示器上可能显示的其他应用程序窗口的用户输入来管理投影窗口。在这个时间期间，在投影窗口中显示的内容可以通过与主窗口或其用户界面元素诸如“播放”、“跳过”、“回退”、“停止”或非回放控制变种必要的任何其他控制器（例如，游戏控制器可以用于玩游戏，其中投影窗口在显示游戏图形）的用户交互来控制。

图5显示主应用程序窗口190和演示窗口192。图5的顶部对应于在演示窗口192的启动之前的时间；第二显示器102B的存在或状态是不确定的。图5的中间部分对应于在投影窗口192已显示之后的时间。应用程序窗口可以具有内部编程，以致在应用程序被指示进入演示模式时，显示控制器，并且在第二显示器102B上生成和显示或许部分地利用这些控制器来控制的演示窗口192。

同时，主应用程序窗口190和演示窗口192（应用程序的子窗口）是受用户操纵并利用应用程序管理器190来管理的对象。换句话说，在任何时间，用户可能改变哪些显示器是可用的、可以至/自任一显示器102A、102B添加或移除窗口等等。换言之，显示器102A、102B二者可以被视为与系统组织或管理的演示视图相结合来提供多任务处理用户界面。图5的较低部分反映在多任务处理活动之后任一显示器102A、102B的示例的可能外观。在其中任一情况或这两种情况中，能够由用户添加第一新的应用程序194或第二新的应用程序196。在一个实施例中，如果输入不能与显示器102B相关联，则可以限制或阻止其上的多任务处理。

图6显示用于在计算设备处于复制模式中时开始投影的进程。在步骤210，初始地计算设备处于复制模式中。在步骤212，应用程序发出开始投影调用。在步骤214，投影管理器询问监控管理器来确定：显示模式处于复制模式中。在步骤216，投影管理器记录指示显示模式在投影开始之前是“复制”的先前模式指示。在步骤218，投影管理器告诉监控管理器切换至扩展模式，并且在步骤220，投影管理器确定哪一个显示器是主要的以及哪一个显示器是辅助的，且相应地显示主应用程序窗口和投影窗口。

图7显示用于在启动投影窗口以及目标显示器已经具有从而显示的应用程序窗口时的进程。在步骤240，发出投影请求。在步骤242，如有必要或可能的话，切换到扩展模式并且制作有关此的标记。在步骤242，确定用于投影窗口的目标显示器。至于显示器选择，算法或试探法（heuristic）能够确定显示器偏好。例如，算法可以查看哪一个显示器具有用户输入。应用程序安排能够是指示用户的显示器偏好的另一线索。在步骤244，如果在目标显示器上已经具有应用程序，则应用程序管理器允许用户交互式地放置投影窗口（或者自动地放置投影窗口）。在步骤246之后的结果可能看起来类似于在图5的右下部分中的显示器102B（但是具有“app2”，预先存在的应用程序而非稍后添加的应用程序）。

图8显示用于应用程序结束投影的进程。在步骤270，相关的应用程序发出针对投影管理器的API的调用来停止投影。如果处于扩展模式中，则投影管理器可以检查其先前模式指示（依照步骤216，预投影复制/扩展模式），而如果先前模式是“复制”，则投影（管理器）可以指示监控管理器返回至复制模式。然而，如果具有用户已在任一显示器上执行多任务处理（或其他活动）的指示，则投影管理器可以选择将显示模式留在扩展模式中。例如，在步骤274，投影管理器可以检查以查看是否其他的应用程序窗口已被添加至任一显示器（例如，如图5的较低第三部分中所示的）。

虽然上面描述了两个显示器实施例，但是同样的实施例容易可扩展至任何数量的显示器。在一个实施例中，如果请求应用程序不是活动的应用程序，则演示激活请求可以被演示管理器拒绝。也可能的是：应用程序本身可以保证在发出投影调用之前它是活动的，或者可以具有独立的API。窗口管理器也是其中在需要时能够将投影限制于活动的应用程序的点。注意：活动的应用程序至少部分地由于多任务处理环境而是感兴趣的。

演示管理器可以具有与演示相关的其他调用。例如，可以提供调用来允许应用程序在显示器之间交换其演示窗口和主窗口。应用程序也可以查询有关第二显示器的存在或者能够在第二显示器变得可用时接收到通知。在一些实现方式中允许应用程序具有唯一一个演示窗口可能是实际的。在还一个实施例中，关闭主应用程序窗口也关闭其演示窗口（或者应用程序的所有非投影窗口，视情况而定）。

在一些实现方式或情况中，所投影的窗口可能能够接受输入但是不提供输入。即，开窗系统可能假定：在远程/第二屏幕上没有输入（例如，在关闭本地窗口时，远程窗口消失）。如果用户确实在远程/第二屏幕（例如，触控面板）上具有输入，则用户能够正如任何其他屏幕一样触摸该屏幕并与之交互。

图9显示在其上面可以实现上述实施例的计算设备100的细节。计算设备300可以具有用于显示的显示器102以及储存器302和处理器304。这些元素可以采用计算领域中所明白的方式协作。另外，输入设备306可以与计算设备300相集成或与之通信。显示器102可以是也充当输入设备的触敏显示器。计算设备300可以具有任何的形状因素或者可以用于任何类型的包含（encompassing）设备中。例如，触敏控制面板时常用于控制电器、机器人和其他机器。计算设备100可以采用手持设备诸如智能电话、平板计算机、游戏设备、服务器或其他设备的形式。

上面讨论的实施例和特征能够采用存储在易失性或非易失性计算机或设备可读设备中的信息的形式来实现。这被认为至少包括设备诸如光储存器（例如，光盘只读存储器（CD-ROM））、磁媒体、闪速只读存储器（ROM）或用于存储数字信息的设备。所存储的信息能够采用机器可执行指令（例如，编译的可执行二进制代码）、源代码、字节码或能够用于启用或配置计算设备来执行上面讨论的各种实施例的任何其他信息的形式。这也被认为至少包括易失性存储器诸如随机存取存储器（RAM）和/或在完成实施例的程序的执行期间存储信息诸如中央处理单元（CPU）指令的虚拟存储器以及存储允许程序或可执行文件被加载并被执行的信息的非易失性设备。能够在任何类型的包括便携式设备、工作站、服务器、移动无线设备等等的计算设备上执行这些实施例和特征。

Claims (10)

1.一种通过计算设备执行开窗系统而执行的方法，所述计算设备包括第一显示器、第二显示器、输入设备、处理器和储存器，所述方法包括：

在所述计算设备上执行任意的应用程序，每一个应用程序具有利用所述开窗系统来管理的相应的应用程序窗口；

从任意的应用程序接收开始投影的开始请求，并且通过所述开窗系统生成、显示和管理投影窗口来应答所述开始请求，所述应用程序经由所述投影窗口来生成和显示内容；

响应于所述开始请求，确定与第一显示器和第二显示器有关的显示信息，并且由所述开窗系统使用所述显示信息来显示所述投影窗口；以及

从所述应用程序接收停止投影的停止请求，并且通过所述开窗系统终止所述投影窗口来应答所述停止请求。

2.根据权利要求1所述的方法，其中所述显示信息指示是否显示器可用于投影。

3.根据权利要求2所述的方法，所述方法进一步包括：由所述开窗系统通过从复制模式切换至扩展模式并在没有在显示所述应用程序窗口的任何显示器上显示所述投影窗口来应答所述显示信息。

4.根据权利要求3所述的方法，进一步包括：存储指示所述开窗系统已从复制模式切换至扩展模式的切换信息。

5.根据权利要求4所述的方法，应答停止请求进一步包括：基于所述切换信息以及是否在演示所述投影窗口的同时具有用户活动，自动地确定是否从扩展模式切换至复制模式。

6.根据权利要求4所述的方法，其中应答停止请求进一步包括：确定是否在没有在显示所述应用程序窗口的显示器上显示其他的应用程序窗口，以及在如此确定时，在终止所述投影窗口时保持在扩展模式中。

7.根据权利要求2所述的方法，其中所述应用程序窗口和所述投影窗口二者包括利用所述开窗系统来管理的应用程序窗口，以致所述开窗系统允许所述应用程序窗口和所述投影窗口由所述计算设备的用户来交互式操纵，交互式操纵包括导致所述应用程序窗口与另一任意的应用程序的窗口分享其显示器并且导致所述投影窗口与另一任意的应用程序的窗口分享其显示器。

8.一种计算设备，包括一个或多个显示器、输入设备、处理器和储存器，所述储存器存储：

应用程序管理器，其在由所述处理器执行时管理利用所述处理器来执行的任意的应用程序的用户执行；

显示管理器，其管理用于所述计算设备的显示器；以及

投影管理器，其在被执行时管理用于所述应用程序的投影窗口，其中所述投影管理器使用所述显示管理器和所述应用程序管理器来生成和显示所述投影窗口。

9.根据权利要求8所述的计算设备，所述计算设备包括第一显示器和第二显示器，其中所述显示管理器能够在扩展模式和复制模式之间交替，所述扩展模式允许窗口个别地显示在第一显示器和第二显示器上，所述复制模式复制在第一显示器和第二显示器上显示的图形内容。

10.根据权利要求8所述的计算设备，其中所述投影管理器包括所述应用程序能够调用来交换显示器的应用程序编程接口（API）。