CN104796655A - Pc桌面显示之上的协同视频电话叠加 - Google Patents

Abstract

本发明涉及PC桌面显示之上的协同视频电话叠加。公开了一种用于从视频电话系统向与诸如PC的计算设备相关联的监视器呈现视频的系统和方法。利用色度键颜色来在该监视器中定义视频窗口并且该视频电话系统将在该窗口中叠加视频内容。鼠标指针即使在其处于视频叠加位置中也将继续是可见的并且继续能够对监视器中的包括视频布局的内容进行操控和控制。

Description

PC桌面显示之上的协同视频电话叠加

技术领域

本发明的领域一般涉及视频呼叫以及视频呼叫的显示。

背景技术

视频电话可以具有例如HDMI的视频输出端口，其可对外部监视器进行驱动。这允许终端用户体验到沉浸式视频会议，该沉浸式视频会议通过使用具有视频电话的常见的小显示器是不可能的。然而，由于预算和/或有限的桌面区域，大多数用户不大可能具有用于视频呼叫的专用监视器。可替代地，用户可能想要让视频电话共享已经可用的PC监视器。许多监视器具有两个或更多个视频输入，因此可以通过使用监视器控制在全屏PC和全屏视频之间进行切换。

可以使得视频设备能够接受PC输出并且将其连同视频一起进行显示。这可以通过对输出进行缩放来实现。此外，可以使得视频设备能够显示全屏PC和全屏视频。

可以使得全屏设备能够接受PC输出并且将其连同视频一起进行显示。这可以以两种模式来实现。第一模式可以是全屏视频模式。第二模式可以是在固定位置具有小的叠加(overlap)视频的全屏PC。

可以使得电话能够播放音频，并且可以使得伴随的PC能够接收相关联的视频流。PC还将对视频流进行解码并且将其在监视器上进行显示。电话和PC将配合地工作从而以单独的视频和音频展现来展现相应的视频呼叫。

发明内容

本发明的实施例因此可以包括一种用于从中间系统向与计算设备相关联的一个或多个监视器中的一个提供内容的方法，其中该计算设备可操作地链接到该中间系统并且该中间系统可操作地链接到所述一个或多个监视器中的一个，该方法包括由该中间系统向控制应用发送消息以在该计算设备的桌面上打开特定大小的窗口；由该控制应用在该计算设备的桌面上打开特定大小的窗口；由该控制应用将所打开的窗口的在桌面上的位置、大小、以及色度键信息发送到该中间系统；由该中间系统将内容叠加在该控制应用所发送的桌面上的位置之上；以及由该控制应用将所打开的窗口的更新的大小和位置信息发送到该中间系统。

本发明的实施例可以进一步包括一种用于呈现视频的系统，该系统包括与一个或多个监视器相关联的计算设备；包括控制应用的中间系统；以及控制应用，其中该中间系统被使得能够向该控制应用发送消息以便该控制应用在该计算设备的桌面上打开特定大小的窗口并且将内容叠加在该控制应用所发送的桌面位置之上；并且该控制应用被使得能够在计算设备的桌面上打开特定大小的窗口，将所打开的窗口的桌面位置、大小以及色度键信息发送到该中间系统，并且将所打开的窗口的更新的大小和位置信息发送到该中间系统。

本发明的实施例可以进一步包括一种用于从中间系统向监视器显示内容的方法，该方法包括由该中间系统经由网络连接向控制应用发送请求以在虚拟桌面架构服务器上的虚拟桌面环境中运行的桌面上打开特定大小的窗口；由该控制应用在该桌面上打开窗口；由该控制应用将所打开的窗口的大小、位置以及色度键信息经由网络连接发送到该中间系统；由该中间系统将内容叠加在该控制应用所发送的桌面上的位置之上；以及由该控制应用将所打开的窗口的更新的大小和位置信息经由网络连接发送到该中间系统。

附图说明

图1是协同视频电话叠加系统连接的系统示图。

图2是PC监视器上的视频叠加的示图。

图3示出了在电话叠加之前由控制应用所打开的空白窗口以及覆盖色度键的一部分的鼠标指针。

具体实施方式

视频呼叫在该视频呼叫的参与者被提供以更全面的体验的情况下更有效。实质上，这是通过向参与者提供他们处于同一房间中的感觉来实现的。存在许多有助于他们本身提供该感觉的方面。第一，视频应当呈现在足够大的显示器上使得其它参与者的躯干和眼睛以允许用户舒适地观看其它参与者的大小被示出。在多方呼叫中呈现参与者的舒适观看的挑战由于同一监视器的基板面(real estate)目前被分割以便同时显示不同参与者而增加。第二，用于视频呼叫的照相机应当被置于所呈现的视频上方。虽然这可能不是绝对的，但是对于要处于所呈现的视频的上方的照相机，允许用户眼睛的水平线保持眼神接触感知。第三，视频系统应当提供持续的高质量和低延迟的视频通道。最后的这个方面是不言自明的。不连贯的视频、同步不良的视频或者其它方面不适宜的视觉使质量视频呼叫体验降低。

一般地，视频装置或视频电话是被优化以提供持续的高质量和低延迟的视频的专用设备。在许多情况下，现代计算机可以支持可接受的视频呼叫性能。然而，在许多情形下，结果可能由于计算机被要求同时运行其它应用的事实而不是最优的。这在使用诸如H.264高配置(high-profile)或H.265的最新视频压缩标准时尤其如此。在许多情况下，视频电话系统或类似的装置相对于现代计算机具有优势，因为它是具有针对视频压缩和解压缩进行优化的应用特定的硬件(例如，ASIC)的专用设备。

然而，由于需要节省空间和大的显示面板的相对高的价格，视频电话一般不包括大的嵌入显示器。此外，使得视频电话紧凑的期望会导致视频电话照相机和显示器位于设备中不太理想的位置中。贯穿本说明书可以使用若干术语以应用于系统，该系统意在使得用户能够通过使用个性化的视频电话类型系统来参与视频会议。该术语意在应用于可能存在一些所讨论的大小和清楚问题的视频电话系统。视频电话是具有视频显示器的电话，其能够同时的视频和音频以用于实时地在人们之间进行通信。诸如“个人视频会议系统”的各种术语或者这里所使用的其它术语意在指代所描述的视频电话系统。

使得能够具有驱动外部监视器的诸如HDMI的视频输出的视频电话不能使得用户能够同时在监视器上看到视频呼叫和相关联的PC桌面。理解的是，其它类型的连接是可用的。其它连接可以包括DisplayPort,、DVI(数字视频接口)、VGA(视频图形阵列)或者诸如Thunderbolt的其它连接类型。使得能够接受PC输出并且对其进行显示的视频设备可以允许用户同时看到视频和PC，但是在缩小操控之后难以从PC读取文本。这可能是因为PC使用被呈现以匹配当前分辨率的TrueType字体。理解的是，TrueType字体是一种轮廓(outline)字体标准，其普遍用于MacOS和微软Windows操作系统二者上的字体。TrueType字体对字体如何以各种字体大小进行显示提供控制。另外，如果PC图像包括文本，则将其缩小(从而视频将适应)可能使得字体难以辨认。对于可接受PC输出并且以两种模式将其连同视频一起进行显示的视频设备，这些设备一般无法在显示PC桌面时示出大的视频窗口。另外，用户可能不具有足够的手段对视频窗口进行操控以在其覆盖用户期望访问的工具条或菜单项的情况下将其移开。而且，视频窗口会在鼠标指针恰好处于窗口后面时将其覆盖，这导致用户失去鼠标的追踪。理解的是，存在可以将内容叠加到半透明窗口上的一个或多个设备。然而，在这样的设备和解决方案中，不允许用户就像任意其它窗口那样对该窗口进行操控。该设备或解决方案可以允许控制应用对鼠标和键盘进行控制。该设备或解决方案因此可以呈现仅能够与桌面视频设备所呈现的GUI(图形用户接口)元素(element)进行交互的独特的鼠标指针。这样，视频的操控以及视频窗口内的光标的使用被严重限制，并且可能要求用户的特定动作以将鼠标和键盘的控制从一个控制设备，计算机或视频设备，切换至另一个。

仅播放音频的电话和接收并播放到来的视频流的PC可以是软件-客户端应用解决方案。这样的软件-客户端应用要求PC具有所有的视频编解码器。而且，软件客户端的另外的问题在于PC需要具有足够强大的CPU和/或具有视频压缩和解压缩HW加速器的PC。在PC上执行进一步的视频延迟优化(如本领域技术人员将理解的软件-客户端应用)，并且，如果PC的CPU由于其它应用而负载沉重，则视频会相应地滞后或者甚至丢帧。如所提到的，由于视频和音频由不同的设备呈现的事实，难以确保它们的同步。

本发明的实施例还可在诸如视频电话的物理视频设备为VDI客户端时应用。虚拟桌面架构(VDI)是一种以桌面为中心的服务，其在使用远程显示协议通过网络访问的远程服务器和/或刀片PC上存放(host)用户桌面环境。连接代理服务被用于将用户连接至它们被分配的桌面会话。对于用户而言，这意味着他们可从任意位置访问其桌面，而无需被捆绑到单个客户端设备。由于资源被集中，所以在工作位置之间移动的用户仍然可访问具有其应用和数据的相同的桌面环境。对于IT管理员而言，这意味着更集中、有效的客户端环境，其更易于维护并且能够更快地对用户和公司的变化的需求进行响应。本领域技术人员将理解本发明实施例中的VDI的使用。

可以使得视频电话能够共享用户已经可用的大的计算机监视器。该计算机监视器可以是与PC相关联的计算机监视器，或者是与本说明书中所讨论的其它监视器相关联的计算机监视器。用户可以在视频呼叫期间在使用计算机的同时利用该监视器。本发明的实施例允许用户方便地同时看到计算机监视器的桌面用户接口和功能以及由视频电话所呈现的视频二者。在一些实施例中，可以允许用户以与任意其它应用一致的方式对视频电话在PC监视器上所呈现的视频进行缩放、移动、隐藏和取消隐藏。本领域技术人员将理解可用于对监视器上的应用和其它可视化进行操控的技术。例如，可以利用若干键盘或鼠标技术。这提供了本发明实施例的可用性，尤其是在设置视频呼叫外观(appearance)的大小以适应监视器显示区域的绝大部分或大部分时。

在本发明的实施例中，方法和系统将具有能够连接至用户的PC的HDMI输入和可连接至监视器的HDMI输出。理解的是，其它类型的连接是可用的。其它连接可以包括DisplayPort,、DVI(数字视频接口)、VGA(视频图形阵列)或者诸如Thunderbolt的其它连接类型。本领域技术人员将理解使用这些其它连接类型以及这里出于示例的目的所使用的HDMI的本发明实施例的应用。如所提到的，监视器可以与PC或者提供计算桌面的其它计算设备相关联。计算设备是计算机，诸如允许计算机的桌面环境在一个系统(通常为PC，但是该概念同样应用于服务器)上远程运行、同时在单独的客户端设备上被显示的PC(个人/专业计算机)。本领域技术人员将理解本发明实施例对多种监视器类型功能的应用。视频电话系统被使得具有执行多种功能的控制应用。该控制应用(在这里也可以被称作内容应用或指南(companion)应用)将被使得能够检测视频电话系统何时连接至PC以及连接至哪个视频显示端口(如果存在多个端口)。当视频呼叫通过视频电话系统发起时，该视频电话系统将请求控制应用在相关联的PC监视器上打开空白窗口。该控制应用用颜色(预定义的或协商的)填充该窗口并且将颜色代码连同窗口位置和大小一起发送至视频电话。视频电话将把所呈现的视频呼叫叠加在控制应用所创建的空白窗口之上。该控制应用将用适当的颜色填充该窗口。该颜色可以是预定义的或者协商的。在任一种情况下，该颜色是被定义的颜色，其中预定义方面将导致定义的颜色或者协商将导致定义的颜色。该颜色被该系统用作色度键(chroma-key)。色度键合成或色度键控是用于基于色调(色度范围)而将(分层的)两个图像或视频流合成在一起的特殊效果/后期制作技术。该技术已在许多领域中被大量使用以从照片或视频的主题移除背景—特别是新闻播报、运动图片(motion picture)和视频游戏产业。使得顶层中的颜色范围透明，从而揭示出后面的另一图像。在本发明的实施例中，设备所提供的内容可以被认为处于后面。色度键控技术被普遍用于视频制作和后期制作中。该技术也被称作颜色键控、颜色分离叠加(CSO)、或者由用于诸如绿屏和蓝屏的具体的颜色相关变量的各种术语指代—色度键控可利用均匀且不同的任意颜色的背景来进行。

继续本发明的实施例，控制应用将关于PC监视器桌面中的窗口大小和位置对视频电话系统进行更新。该视频电话系统可以具有可将内容(如视频呼叫)叠加在从HDMI或内部VDI客户端到来的视频流之上的硬件单元。在当前实施例中，到来的视频流是PC桌面显示。视频电话系统将视频置于控制应用所指定的位置上。视频电话系统还将对视频进行适当缩放以适应窗口(但是PC显示不被缩放并且字体外观因此不被影响)。视频电话系统将检查控制应用所指定的区域内的多个像素的内容以检测色度键的数值。这在色度键由于颜色校正或其它原因被PC显示卡修改的情况下可能是必要的。视频电话系统将仅针对颜色等于色度键的数值的像素叠加视频内容。因此，鼠标指针即使在它处于视频叠加位置中时也将是可见的。这是因为鼠标指针将覆盖所选择的色度键使得视频电话系统将显示它而不是仅显示适当位置中的视频。在显示器或监视器没有PC的情况下，视频电话系统可以在整个显示器上呈现视频。

对于视频电话系统的控制应用将在叠加视频窗口处于焦点对准(infocus)时向视频电话系统发送鼠标点击坐标和按键(keypress)。这允许视频电话系统在叠加窗口内呈现用户接口控制。

本发明的实施例允许用户使用PC键盘和/或鼠标来控制电话所解码并呈现的视频的大小和位置。这种对显示器中的窗口进行操控的操作被本领域技术人员理解。实施例还允许用户在视频处于不方便的位置中的情况下将其迅速移开。这种对显示器中的窗口进行移动的操作被本领域技术人员理解。鼠标指针将不被视频覆盖，这允许全屏窗口或基本上全屏窗口被利用。实施例还允许用户与视频电话系统所呈现的用户接口进行交互，而无需PC控制应用的改变。不同于呈现其自己的UI(用户接口)的常规设备控制应用，这里所描述的实施例允许视频电话直接呈现其UI。因此，能够通过仅改变电话的固件(而不改变PC应用)来改变UI。实质上，本发明的实施例提供了视频电话所呈现的视频和个人计算机桌面的无缝用户接口整合。

图1是协同的视频电话叠加系统连接的系统示图。在系统100中，视频电话系统110连接至PC监视器120。PC监视器120可以具有安装的/嵌入的照相机130。视频电话系统110还连接至PC 140。视频电话系统110至PC 140和监视器110的视频连接190可以是HDMI连接。PC通过电话内部交换连接180至网络150(示出了网络连接而没有示出实际网络—该网络未示出)。连接180提供了计算设备/PC 140和视频电话系统110之间的通信通道。该连接180可以是以太网类型的连接。本领域技术人员将理解使得视频电话110能够与网络(图1中未示出)和计算设备/PC 140进行通信的其它连接类型和格式。视频电话110和计算设备/PC 140之间的视频连接190以及视频电话110和计算设备/PC 140之间的网络连接180提供了视频电话110和计算设备/PC 140之间的可操作链路。本领域技术人员将理解该实施例的示例性性质。例如，视频连接190和网络连接180可以被组合成提供视频电话110和计算设备/PC 140之间的通信以及从计算设备/PC 140向视频电话110的视频内容的发送二者的连接，其中打开的空白窗口例如填充有指定的色度键。与监视器120一起安装的照相机130也连接至电话110。键盘160和鼠标170被用于向PC 140提供输入。

视频会议电话110HDMI 180输出允许其在大的监视器上呈现视频。然而，如所提到的，用户可能不期望将整个监视器仅专用于视频呼叫。视频会议电话110被使得能够共享用户的现有的PC监视器120。视频会议电话110连接在用户的PC 140及其监视器120之间，从而能够在用户提供的监视器上在视频视图(view)、PC视图或组合视图之间进行切换。

图2是PC监视器上的视频叠加的示图。PC监视器200被用于在监视器的显示区域210上提供视频窗口220的显示。视频会议电话被使得能够将视频呼叫窗口220叠加在用户的PC桌面210之上。例如，典型的24英寸PC显示器具有足够的显示区域基板面以存放有意义大小的视频和PC应用。图3是PC监视器上的色度键叠加的示图。控制应用将呈现空白窗口(参见图3)并且在其之上呈现视频。这允许在大小、资源要求和复杂度上非常轻量级的控制应用。视频电话系统将对于新的视频呼叫已开始以及其原始分辨率如何对PC进行更新。控制应用将创建空白窗口并且关于其大小和位置对视频电话系统进行更新。该更新可以是连续或定期的。视频电话系统将在该准确的位置上呈现视频。当用户移动窗口220或者重新设置其大小(resize)时，视频电话系统将更新视频叠加大小和位置。这允许用户将视频窗口220移动并重新设置为优选的大小和位置，从而允许使用桌面的其余部分。本领域技术人员将理解本发明实施例中的呈现视频窗口。PC应用将验证其在连接至视频电话系统的监视器上呈现空的视频窗口。另外，在本发明的实施例中，控制应用可以向视频电话通知用户希望打开窗口以在视频呼叫中使用。在这样的实施例中，控制应用可以在桌面(例如，在windows中)上具有允许用户启动应用的托盘图标。理解的是，可以以其它方式使得托盘图标能够允许用户选择。当选择图标时，控制应用将在桌面上打开窗口并且关于所打开的窗口与视频电话进行通信，并且就像视频电话已请求打开它那样提供关于该窗口的相同信息。在这样的实施例中，用户被使得能够控制视频电话将在何时利用桌面向呼叫提供视频内容。

图3示出了在电话叠加之前由控制应用所打开的空白窗口以及覆盖色度键的一部分的鼠标指针。PC将用预定义的颜色填充空白窗口320并将颜色代码连同监视器桌面310中的窗口大小和位置一起发送至视频电话系统。视频电话系统将把所接收的颜色作为透明的对待并且将仅在PC颜色等于颜色键的像素中呈现视频。当PC鼠标指针处于视频窗口上面时，它覆盖所使用的特殊颜色。因此防止了视频电话系统在鼠标指针之上呈现视频。

除了视频之外或者代替该视频，视频电话在控制应用所创建的空白窗口之上所呈现的图像/视频还可以具有诸如改变布局、静音、参会等的用户接口控制。如之前所提及的，如果用户在窗口内进行点击，则控制应用将向视频电话发送点击事件位置。可以通过使用鼠标点击窗口内的图标或其它内容或者如本领域技术人员所理解的利用鼠标对窗口数据和内容所进行的任意其它一般可接受的操控来在窗口内创建事件。这允许视频电话检测其用户接口控制中的哪一个被用户选择并相应地作出反应。因此，在同一监视器上可存在PC所呈现的用户接口元素和视频电话所呈现的用户接口，它们以相同的方式被控制。遵循相同的原理，当控制应用空白窗口处于“焦点对准”时，其向视频电话发送所有的键盘点击事件。这将允许控制应用将视频窗口内的鼠标点击位置发送至视频电话系统。该视频电话系统能够检测用户何时按压了一个控制。

用于本发明的另一个重要的配置是在视频电话还作为虚拟桌面架构客户端时。在该模式中，PC显示器通过数据网络而不通过原生(raw)的视频物理接口(如HDMI/DVI/DP/VGA)到达被压缩的视频电话。在这种情况下，控制应用在远程VDI服务器上运行，该远程VDI服务器针对用户运行虚拟PC。在某种程度上，这比常规配置更令人感兴趣，因为在许多情况下VDI不能支持视频和音频呼叫的实时要求。

贯穿本说明书，展现了一种用于以允许用户以类似于用户如何与其它PC应用进行交互的方式对视频电话系统生成的内容进行操控和与之进行交互的方式在PC桌面之上组合可以包括视频、图形和用户接口元素的视频电话系统生成的内容的方法和系统。理解的是，该系统和方法可利用贯穿本说明书作为示例所讨论的诸如PC(个人计算机)以及在VDI上运行的虚拟PC的计算设备来应用。图1示出了利用去往计算设备/PC140的可操作连接以使得能够向视频电话110发送视频的本发明的实施例。虽然PC和视频电话系统在这里被用作适当的示例，但是本领域技术人员理解的是，无论是PC、虚拟PC还是能够在监视器上生成图形和视频内容的其它设备的任意类型的计算设备都完全适用于本发明的方法和系统。同样地，视频电话系统被用作使用本发明的方法和系统的示例，但是本领域技术人员将理解能够接收或生成内容以叠加在从PC或其它设备所生成的窗口上的任意中间装置或系统。虽然在图1中没有具体示出VDI环境，但是本领域技术人员理解如何利用所示出和讨论的实施例将视频内容通过去往物理计算设备或者VDI客户端所呈现的桌面的可操作链接提供至视频电话110。根据本发明的可以包括并利用VDI环境的实施例，虚拟PC将在具有用作VDI客户端的视频电话系统的VDI上运行。

另外，控制应用贯穿本说明书被称为向视频电话系统提供有关计算设备和窗口上的内容叠加的功能。该控制功能可以驻留在视频电话系统或PC上并且如这里所描述的那样工作。本发明的实施例包括控制应用以及如本领域技术人员所理解的一般与视频电话相关联的其它功能和硬件，而不管该控制应用驻留在何处。本领域技术人员将理解控制应用以任意设置方式的使用。

已出于说明和描述的目的展现了本发明的上述描述。其并非意在穷举或者将本发明限制为所公开的精确形式，并且鉴于以上教导其它修改和变型可以是可能的。实施例被选择和描述是为了对本发明的原则及其实际应用进行最佳解释以由此使得本领域技术人员能够以各种实施例以及适合于所预期的特定用途的各种修改来最佳地利用本发明。除了在范围上被现有技术限制，所附权利要求意在被理解为包括本发明的其它可替代实施例。

Claims (10)

1.一种用于从中间系统向与计算设备相关联的一个或多个监视器中的一个提供内容的方法，其中该计算设备可操作地链接到该中间系统并且该中间系统可操作地链接到所述一个或多个监视器中的一个，该方法包括：

由控制应用在该计算设备的桌面上打开特定大小的窗口，其中所打开的窗口填充有被定义的颜色；

由该控制应用将所打开的窗口的在桌面上的位置、大小以及色度键信息发送到该中间系统；

由该中间系统将内容叠加在该控制应用所发送的桌面上的位置之上；以及

由该控制应用将所打开的窗口的更新的大小和位置信息发送到该中间系统。

2.根据权利要求1所述的方法，其中该计算机设备包括至少一个用户接口机制，该方法进一步包括：

由该中间系统在所打开的窗口中呈现至少一个用户接口元素；以及

源自所述至少一个用户接口机制所创建的事件由该控制应用将具有事件位置数据的接口元素事件发送到该中间系统。

3.根据权利要求1所述的方法，该方法进一步包括将色度键值从该控制应用发送到该中间系统，该色度键值与被定义的颜色相关联。

4.一种用于呈现视频的系统，该系统包括：

与一个或多个监视器相关联的计算设备；

包括控制应用的中间系统；以及

控制应用；

其中：

该中间系统被使得能够关于在该计算设备的桌面上打开特定大小的窗口而与该控制应用通信并且将内容叠加在该控制应用所发送的桌面位置之上；并且

该控制应用被使得能够在计算设备的桌面上打开特定大小的窗口，将所打开的窗口的桌面位置、大小以及色度键信息发送到该中间系统，并且将所打开的窗口的更新的大小和位置信息发送到该中间系统，其中所打开的窗口填充有被定义的颜色。

5.根据权利要求4所述的系统，其中该计算机设备包括至少一个用户接口机制，其中该中间系统进一步被使得能够在所打开的窗口中呈现用户接口元素，并且源自所述至少一个用户接口所创建的事件将具有事件位置数据的接口元素事件发送到该中间系统。

6.根据权利要求4所述的系统，其中该控制应用进一步被使得能够在多个位置中检查所打开的窗口的指定区域内的像素内容以检测色度键值的数值，该色度键值与被定义的颜色相关联，并且其中该中间系统进一步被使得能够对色度改变进行补偿。

7.一种用于从中间系统向监视器显示内容的方法，其中该中间系统是嵌入有虚拟桌面架构客户端的视频电话，该方法包括：

关于在虚拟桌面架构服务器上的虚拟桌面环境中运行的桌面上打开特定大小的窗口而在该中间系统和控制应用之间发送通信；

由该控制应用在该桌面上打开窗口，其中所打开的窗口填充有被定义的颜色；

由该控制应用将所打开的窗口的大小、位置以及色度键信息经由网络连接发送到该中间系统；

由该中间系统将内容叠加在该控制应用所发送的桌面上的位置之上；以及

由该控制应用将所打开的窗口的更新的大小和位置信息经由网络连接发送到该中间系统。

8.根据权利要求7所述的方法，其中至少一个用户接口机制被使得能够与该桌面接口，该方法进一步包括：

由该中间系统在所打开的窗口中呈现至少一个用户接口元素；以及

源自所述至少一个用户接口机制所创建的事件由该控制应用将具有事件位置数据的接口元素事件发送到该中间系统。

9.根据权利要求7所述的方法，该方法进一步包括：

由中间应用检查所打开的窗口的指定区域内的多个像素内容以检测色度键值的数值，该色度键值与被定义的颜色相关联；以及

由该中间系统在检测到被该控制应用以该色度键填充的像素时对色度改变进行补偿。

10.根据权利要求7所述的方法，其中在该中间系统和控制应用之间发送通信的处理包括由该控制应用向中间应用通知在计算设备上打开了窗口。