CN114253648A - 一种远程应用虚拟化方法与装置 - Google Patents

Abstract

本申请公开了一种远程应用虚拟化方法与装置，通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据；根据所述应用窗口数据确定应用窗口的显示区域，根据所述虚拟机桌面数据确定虚拟机桌面显示区域；对目标区域进行透明化处理，其中，所述目标区域为所述应用窗口的显示区域以外的虚拟机桌面显示区域；通过预置的图像透明度混合算法将所述应用窗口数据中图像数据的透明度通道和终端桌面图像数据的透明度通道进行融合，以实现在虚拟机上运行的应用在终端上进行显示时，对除了应用窗口以外的虚拟机桌面透明化处理，并消除应用窗口的黑边，从而使得在虚拟机上运行应用的应用窗口也能够在终端上无缝显示。

Description

一种远程应用虚拟化方法与装置

技术领域

本申请涉及应用虚拟化技术领域，尤其涉及一种远程应用虚拟化方法与装置。

背景技术

目前国内的一些涉及国计民生的重点行业正逐步采用装有国产操作系统的国产终端完成日常办公的需求，但部分重要业务的应用只能在windows系统中运行无法在国产操作系统和国产终端上运行，从而会导致这些应用的使用困难，造成工作效率低下，严重的甚至无法正常工作。现有技术中可以将这类应用放在带有windows系统的远程虚拟机上运行，然后通过远程连接协议将应用返回到终端，使用户能够在终端也使用该应用程序。

但是，不能在终端运行的远程应用在虚拟机上进行虚拟化后，在终端上进行显示时无法像在终端上运行的应用一样在终端上无缝的显示，而是虚拟机的桌面图像与远程应用窗口一同在终端上进行显示，并且远程应用窗口的周边会产生黑边，会造成用户在终端上使用虚拟化后的程序时体验较差的问题。

发明内容

本申请的主要目的在于提供一种远程应用虚拟化方法与装置，旨在解决远程应用在虚拟机上进行虚拟化后，在终端上进行显示时无法像在终端上运行的应用一样在终端上无缝的显示的问题。

第一方面，本申请提供一种远程应用虚拟化方法，所述方法包括以下步骤：

通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据；

根据所述应用窗口数据确定应用窗口的显示区域，根据所述虚拟机桌面数据确定虚拟机桌面的显示区域；

对目标区域进行透明化处理，其中，所述目标区域为所述应用窗口的显示区域以外的虚拟机桌面显示区域；

通过预置的图像透明度混合算法将所述应用窗口数据中图像数据的透明度通道和终端桌面图像数据的透明度通道进行融合。

一些实施例中，所述通过预置的图像透明度混合算法将所述应用窗口数据中图像数据的透明度通道和终端桌面图像数据的透明度通道进行融合后，还包括：

对所述应用窗口的显示区域的背景进行柔和处理。

一些实施例中，所述对目标区域进行透明化处理后，还包括:

在所述目标区域增加鼠标穿透算法，以使鼠标能够对所述目标区域下的终端桌面进行点击操作。

一些实施例中，所述在所述目标区域增加鼠标穿透算法，以使鼠标能够对所述目标区域下的终端桌面进行点击操作，包括：

若检测到鼠标在所述目标区域进行预设操作，显示所述目标区域，并去掉所述鼠标穿透算法。

一些实施例中，所述根据所述应用窗口数据确定应用窗口的显示区域，根据所述虚拟机桌面数据确定虚拟机桌面的显示区域，包括：

根据所述应用窗口数据中的窗口坐标数据确定所述应用窗口的显示区域，根据所述虚拟机桌面坐标数据中的虚拟机桌面坐标数据确定所述虚拟机桌面的显示区域。

一些实施例中，在所述通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据之前，还包括：

所述终端通过所述远程桌面协议向虚拟机发送应用打开指令，以使所述虚拟机基于所述应用打开指令获取所述应用窗口数据，并使所述虚拟机发送所述应用窗口数据到所述终端。

一些实施例中，所述以使所述虚拟机基于所述应用打开指令获取所述应用窗口数据，包括：

使所述虚拟机根据所述应用打开指令打开对应的应用，记录所述应用窗口图像数据和应用窗口属性，并动态监控获取所述应用窗口坐标数据。

一些实施例中，所述以使所述虚拟机根据所述应用打开指令打开对应的应用，记录所述应用窗口图像数据和应用窗口属性，并动态监控获取所述应用窗口坐标数据后，还包括：

使所述虚拟机通过预置的枚举window窗口算法对所述应用窗口属性进行分析，若所述应用窗口属性中包括透明属性，则在所述应用窗口属性中增加遮挡属性。

一些实施例中，所述使所述虚拟机根据所述应用打开指令打开对应的应用，记录所述应用窗口图像数据和应用窗口属性，并动态监控获取所述应用窗口坐标数据后，还包括：

若所述虚拟机中包括多个应用窗口，使所述虚拟机通过预置的区域叠加算法将所有应用窗口进行区域叠加，获得叠加区域的坐标数据，并使所述虚拟机将所有应用窗口的窗口属性进行混合，获得混合后的窗口属性。

第二方面，本申请还提供一种远程应用虚拟化装置，所述装置包括：

接收模块，其用于通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据；

确定模块，其用于根据所述应用窗口数据确定应用窗口的显示区域，根据所述虚拟机桌面数据确定虚拟机桌面的显示区域；

处理模块，其用于对目标区域进行透明化处理，其中，所述目标区域为所述应用窗口的显示区域以外的虚拟机桌面显示区域；

融合模块，其用于通过预置的图像透明度混合算法将所述应用窗口数据中图像数据的透明度通道和终端桌面图像数据的透明度通道进行融合。

本申请提供一种远程应用虚拟化方法与装置，通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据；根据所述应用窗口数据确定应用窗口的显示区域，根据所述虚拟机桌面数据确定虚拟机桌面显示区域；对目标区域进行透明化处理，其中，所述目标区域为所述应用窗口的显示区域以外的虚拟机桌面显示区域；通过预置的图像透明度混合算法将所述应用窗口数据中图像数据的透明度通道和终端桌面图像数据的透明度通道进行融合，以实现在虚拟机上运行的应用在终端上进行显示时，对除了应用窗口以外的虚拟机桌面透明化处理，并消除应用窗口的黑边，使得在虚拟机上运行应用的应用窗口也能够在终端上无缝显示。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种远程应用虚拟化方法的流程示意图；

图2为远程应用虚拟化方法操作示意图；

图3为本申请实施例提供的一种远程应用虚拟化装置的示意性框图；

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本申请实施例提供一种远程应用虚拟化方法与装置。其中，该远程应用虚拟化装置可应用于计算机设备中，该计算机设备可以是笔记本电脑、台式电脑等电子设备。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请的实施例提供的一种远程应用虚拟化方法的流程示意图。

如图1所示，该方法包括步骤S1至步骤S4。

步骤S1、通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据。

示范性的，其中的远程桌面协议可以为噢易智能桌面协议OEIDP(OS EASYINTELLIGENT DESKTOP PROTOCOL)。OEIDP是一种远程桌面协议。与RDP(Remote DesktopProtocol远程桌面协议)相比，OEIDP协议拥有兼容多种音视频压缩算法，采用图像缓存、预处理技术降低终端性能、带宽要求，采用半虚拟化的声卡设备，降低声音延迟等功能。终端接收的应用窗口数据为在虚拟机上运行的远程应用的窗口数据，其中包括应用窗口图像数据、应用窗口属性(这里的属性主要是指窗口显示时的属性，例如透明度属性等)和应用窗口坐标数据等；终端接收的虚拟机的桌面数据包括虚拟机桌面图像数据、虚拟机桌面的属性和虚拟机桌面坐标等。可以理解的是本实施例中的终端可以为客户端。

作为值得说明的是，终端通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据之前，终端会接收到用户点击应用图标的操作，接收到点击操作后，终端通过远程桌面协议向虚拟机发送应用打开指令。使虚拟机在接受到终端发送的应用打开指令后会根据应用打开指令将对应的应用打开，应用打开后虚拟机对应用窗口数据中的应用窗口图像数据和应用窗口属性进行记录，因为窗口是可以移动的所以动态监控获取应用窗口坐标数据。在获取到应用窗口数据后虚拟机将应用窗口数据发送到终端，同时发送到终端的还包括虚拟机桌面数据。

进一步的，在获取到应用窗口数据中的应用窗口属性之后，通过虚拟机预置的枚举window窗口算法对应用窗口属性进行分析，若应用窗口属性中包括透明属性，则在应用窗口属性中增加遮挡属性。

作为一种优选的实施方式，虚拟机还可以通过枚举window窗口算法确定当前虚拟机中运行的这个应用的所有窗口，判断哪些窗口是有效窗口。比如隐藏窗口是不需要显示的，这种窗口要进行过滤。在过滤后留存的窗口是需要在终端上进行显示的窗口，其中留存的应用窗口可能包括多个，虚拟机通过预制的区域叠加region算法对需要所有需要显示的窗口进行region区域叠加，获得region叠加区域的坐标。并且因为枚举window窗口算法是一层一层进行枚举的，所以能够根据窗口枚举到的顺序确定留存的应用窗口中的在叠加时的叠加区域的顺序，例如三个窗口产生了叠加，根据枚举window窗口算法枚举到的算法确定哪一个应用窗口在最上层，哪一个窗口在第二层，哪一个窗口在最下层。并且留存的应用窗口有多个时需要将多个应用窗口的属性进行混合，获得混合后的窗口属性作为在最终的应用窗口属性发送到终端。其中region叠加区域的坐标可以是这个叠加区域四个角的坐标也可以是两个对角的坐标，可以用来确定叠加区域的位置和大小。

进一步的，在虚拟机向终端发送应用窗口数据以后还会通过MAP操作来保存应用窗口数据，在监控到应用窗口中的数据产生变化时将最新的应用窗口数据发送到通过远程桌面协议发送到终端。

步骤S2、根据所述应用窗口数据确定应用窗口的显示区域，根据所述虚拟机桌面数据确定虚拟机桌面的显示区域。

值得说明的是，应用窗口数据中包括应用窗口坐标数据，应用窗口坐标数据中包括应用窗口坐标数据，其中应用窗口的坐标数据可以是应用窗口四个角的坐标也可以是应用窗口两个顶角的坐标，根据应用窗口坐标数据就可以确定应用窗口在终端上显示的位置和显示的大小。同样的根据虚拟机桌面数据中的虚拟机桌面坐标数据就能够确定虚拟机桌面在终端的显示区域。

步骤S3、对目标区域进行透明化处理，其中，所述目标区域为所述应用窗口的显示区域以外的虚拟机桌面的显示区域。

具体的，如图2所示，在确定虚拟机桌面的显示区域和应用窗口的显示区域后，应用窗口是就能够确定应用窗口的显示区域以外的虚拟机桌面的显示区域，这片区域定义为目标区域。对目标区域进行透明化处理可以是将目标区域的属性中的透明属性参数拉满调整至最高，在透明化处理后的目标区域将不再显示虚拟机桌面的图像而是显示目标区域下方的终端桌面的图像，在终端桌面显示的就只包括应用窗口，其他位置都是终端桌面本身的画面。

进一步的，在对目标区域进行透明化处理后，利用GTK窗口(gtkwindow)和x11对鼠标事件进行处理，在目标区域也就是应用窗口显示区域以外的虚拟机桌面显示区域增加鼠标穿透算法，使鼠标能够对目标区域下的终端桌面进行点击操作。其中，x11表示位图显示的视窗系统，它是在Unix和类Unix操作系统，以及开放虚拟内存系统OpenVMS上建立图形用户界面的标准工具包和协议。

作为一种优选的实施方式，在目标区域也就是应用窗口显示区域以外的区域增加鼠标穿透算法，使鼠标能够对目标区域下的终端桌面进行点击操作的同时，如果终端检测到鼠标在目标区域进行预设操作，显示所述目标区域，并去掉所述鼠标穿透算法，使得在需要对虚拟机桌面进行一些设置时，能够唤出虚拟机桌面并能够对虚拟机桌面进行操作。例如，鼠标在目标区域进行预设操作可以为鼠标放在目标区域的时间操作预设时间，或者在目标区域双击鼠标右键等。

步骤S4、通过预置的图像透明度混合算法将所述应用窗口数据中图像数据的透明度通道和终端桌面图像数据的透明度通道进行融合。

具体的，如图2所示，窗口的大小并是实际看到的大小，还包括一部分黑色区域，通过对应用窗口图像和终端桌面进行融合处理，能够有效去除应用窗口显示时的黑边，达到在虚拟机上运行的应用窗口和在终端上运行的应用窗口一样，无缝的在终端桌面进行显示。预置的图像透明度混合算法为alpha blend显示融合算法，应用窗口数据中图像数据的透明度通道为应用窗口数据中图像数据的alpha通道，终端桌面图像数据的透明度通道为终端上的操作系统的界面UI数据的alpha通道。对应用窗口和终端进行显示融合后，就能够在消除应用窗口的黑色区域。但是应用窗口图像数据和终端图像数据进行融合后容易产生花屏现象，可以利用虚拟机为应用窗口属性中增加的遮挡属性，对应用窗口的显示区域的背景进行柔和处理来解决融合后产生的花屏现象。在经过对目标区域进行透明化处理以及将应用窗口图像数据和终端桌面图像数据进行显示融合后能够使在虚拟机上运行应用的应用窗口在终端桌面上无缝显示。

如图3所示，图3为本申请实施例提供的一种远程应用虚拟化装置的示意性框图。

如图3所示，该装置包括：接收模块、确定模块、处理模块和融合模块。

接收模块，其用于通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据；

确定模块，其用于根据所述应用窗口数据确定应用窗口的显示区域，根据所述虚拟机桌面数据确定虚拟机桌面的显示区域；

处理模块，其用于对目标区域进行透明化处理，其中，所述目标区域为所述应用窗口的显示区域以外的虚拟机桌面显示区域；

融合模块，其用于通过预置的图像透明度混合算法将所述应用窗口数据中图像数据的透明度通道和终端桌面图像数据的透明度通道进行融合。

其中，确定模块还用于：根据所述应用窗口数据中的窗口坐标数据确定所述应用窗口的显示区域，根据所述虚拟机桌面坐标数据中的虚拟机桌面坐标数据确定所述虚拟机桌面的显示区域。

其中，远程应用虚拟化装置还用于：对所述应用窗口的显示区域的背景进行柔和处理。

其中，远程应用虚拟化装置还用于：在所述目标区域增加鼠标穿透算法，以使鼠标能够对所述目标区域下的终端桌面进行点击操作。

其中，若检测到鼠标在所述目标区域进行预设操作，显示所述目标区域，并去掉所述鼠标穿透算法。

其中，远程应用虚拟化装置还用于：所述终端通过远程桌面协议向虚拟机发送应用打开指令，以使所述虚拟机基于所述应用打开指令获取所述应用窗口数据，并使所述虚拟机发送所述应用窗口数据到所述终端。

其中，远程应用虚拟化装置还用于：使所述虚拟机根据所述应用打开指令打开对应的应用，记录所述应用窗口图像数据和应用窗口属性，并动态监控获取所述应用窗口坐标数据。

其中，远程应用虚拟化装置还用于：使所述虚拟机通过预置的枚举window窗口算法对所述应用窗口属性进行分析，若所述应用窗口属性中包括透明属性，则在所述应用窗口属性中增加遮挡属性。

其中，远程应用虚拟化装置还用于：若所述虚拟机中包括多个应用窗口，使所述虚拟机通过预置的区域叠加算法将所有应用窗口进行区域叠加，获得叠加区域的坐标数据，并使所述虚拟机将所有应用窗口的窗口属性进行混合，获得混合后的窗口属性。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种远程应用虚拟化方法，其运行于终端，其特征在于，包括：

通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据；

根据所述应用窗口数据确定应用窗口的显示区域，根据所述虚拟机桌面数据确定虚拟机桌面的显示区域；

对目标区域进行透明化处理，其中，所述目标区域为所述应用窗口的显示区域以外的虚拟机桌面的显示区域；

通过预置的图像透明度混合算法将所述应用窗口数据中图像数据的透明度通道和终端桌面图像数据的透明度通道进行融合。

2.按照权利要求1所述的远程应用虚拟化方法，其特征在于，所述通过预置的图像透明度混合算法将所述应用窗口数据中图像数据的透明度通道和终端桌面图像数据的透明度通道进行融合后，还包括：

对所述应用窗口的显示区域的背景进行柔和处理。

3.按照权利要求1所述的远程应用虚拟化方法，其特征在于，所述对目标区域进行透明化处理后，还包括：

在所述目标区域增加鼠标穿透算法，以使鼠标能够对所述目标区域下的终端桌面进行点击操作。

4.按照权利要求3所述的远程应用虚拟化方法，其特征在于，所述在所述目标区域增加鼠标穿透算法，以使鼠标能够对所述目标区域下的终端桌面进行点击操作，包括：

若检测到鼠标在所述目标区域进行预设操作，显示所述目标区域，并去掉所述鼠标穿透算法。

5.按照权利要求1所述的远程应用虚拟化方法，其特征在于，所述根据所述应用窗口数据确定应用窗口的显示区域，根据所述虚拟机桌面数据确定虚拟机桌面的显示区域，包括：

根据所述应用窗口数据中的窗口坐标数据确定所述应用窗口的显示区域，根据所述虚拟机桌面坐标数据中的虚拟机桌面坐标数据确定所述虚拟机桌面的显示区域。

6.按照权利要求1所述的远程应用虚拟化方法，其特征在于，在所述通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据之前，还包括：

所述终端通过远程桌面协议向虚拟机发送应用打开指令，以使所述虚拟机基于所述应用打开指令获取所述应用窗口数据，并使所述虚拟机发送所述应用窗口数据到所述终端。

7.按照权利要求6所述的远程应用虚拟化方法，其特征在于，所述以使所述虚拟机基于所述应用打开指令获取所述应用窗口数据，包括：

使所述虚拟机根据所述应用打开指令打开对应的应用，记录所述应用窗口图像数据和应用窗口属性，并动态监控获取所述应用窗口坐标数据。

8.按照权利要求7所述的远程应用虚拟化方法，其特征在于，所述使所述虚拟机根据所述应用打开指令打开对应的应用，记录所述应用窗口图像数据和应用窗口属性，并动态监控获取所述应用窗口坐标数据后，还包括：

使所述虚拟机通过预置的枚举window窗口算法对所述应用窗口属性进行分析，若所述应用窗口属性中包括透明属性，则在所述应用窗口属性中增加遮挡属性。

9.按照权利要求7所述的远程应用虚拟化方法，其特征在于，所述使所述虚拟机根据所述应用打开指令打开对应的应用，记录所述应用窗口图像数据和应用窗口属性，并动态监控获取所述应用窗口坐标数据后，还包括：

若所述虚拟机中包括多个应用窗口，使所述虚拟机通过预置的区域叠加算法将所有应用窗口进行区域叠加，获得叠加区域的坐标数据，并使所述虚拟机将所有应用窗口的窗口属性进行混合，获得混合后的窗口属性。

10.一种远程应用虚拟化装置，其特征在于，包括：

接收模块，其用于通过远程桌面协议接收虚拟机发送的应用窗口数据和虚拟机桌面数据；

确定模块，其用于根据所述应用窗口数据确定应用窗口的显示区域，根据所述虚拟机桌面数据确定虚拟机桌面的显示区域；

处理模块，其用于对目标区域进行透明化处理，其中，所述目标区域为所述应用窗口的显示区域以外的虚拟机桌面显示区域；

融合模块，其用于通过预置的图像透明度混合算法将所述应用窗口数据中图像数据的透明度通道和终端桌面图像数据的透明度通道进行融合。

Images