CN116016480B - 基于虚拟桌面的流程自动化控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于虚拟桌面的流程自动化控制方法及系统，该方法包含：创建本机的虚拟桌面；建立主桌面和虚拟桌面之间的通信连接；从主桌面向虚拟桌面推送应用；在虚拟桌面自动执行推送的应用；将该应用的运行数据发送至主桌面。本发明的基于虚拟桌面的流程自动化控制方法及系统，基于连接本机子会话功能打开本机虚拟桌面，并建立连接通信协议后，调用引擎执行流程自动化应用，主桌面能够实时接收虚拟桌面返回的信息反馈数据，解决了远程桌面不能实现本机连接到本机的问题，不需要另外的设备就能够在本机上分身一个虚拟桌面，减少了大量的资金投入。且在虚拟桌面系统中运行的流程自动化应用还不会影响到主桌面系统上，工作效率有效增益。

Description

基于虚拟桌面的流程自动化控制方法及系统

技术领域

本发明涉及一种基于虚拟桌面的流程自动化控制方法及系统。

背景技术

随着网络技术的迅速发展和普及，人工智能占据了越来越重要的地位，日常办公处理工作内容重复且繁琐，期待着能够有更多的双手来分担处理工作上固定操作流程内容的解决方案。此时就需要一个能够帮你分担工作流程自动化的机器人助手，而且能够同时在本机的电脑上一起工作且不互相影响与干扰的产品，还要能够实时知道执行流程自动化的过程中出现的任何情况。

在许多情况下(如出差、在家办公等)员工都需要访问服务器上的应用和数据，这种趋势使得远程桌面技术迅速发展。微软公司首先推出RDP(远程桌面协议)，随后出现了VNC、Team Viewer、LogMeIn等经典远程桌面软件。从Windows Server 2012和Windows 8开始，远程桌面支持子会话的概念，这是绑定到用户现有会话的特殊环回远程桌面会话。

远程桌面协议(RDP)是一个多通道(multi-channel)的协议，让使用者(所在计算机称为用户端或本地计算机)连上提供微软终端机服务的计算机(称为服务端或远程计算机)。大部分的Windows版本都有用户端所需软件，有些其他操作系统也有这些用户端软件，例如Linux，FreeBSD，MacOSX，服务端计算机方面，则听取送到TCPport3389的数据。

现有远程虚拟桌面技术局限于不能自己连接自己，只能通过远程的方式连接到另一台设备，也不能通过远程的方式连接到当前本机电脑。虚拟桌面系统中存在不能直接和外部的主桌面程序进行数据通信，更不能接收返回的数据信息内容在主桌面程序中进行显示查看，也无法实现通过主桌面推送应用到虚拟桌面系统中进行流程自动化操作控制，包含在虚拟桌面系统中的键盘和鼠标的虚拟设备控制操作。

发明内容

本发明提供了一种基于虚拟桌面的流程自动化控制方法及系统解决上述提到的技术问题，具体采用如下的技术方案：

一种基于虚拟桌面的流程自动化控制方法，包含以下步骤：

创建本机的虚拟桌面；

建立主桌面和虚拟桌面之间的通信连接；

从主桌面向虚拟桌面推送应用；

在虚拟桌面自动执行推送的应用；

将该应用的运行数据发送至主桌面。

进一步地，通过启用本机子会话功能创建虚拟桌面。

进一步地，所述创建本机的虚拟桌面的具体方法为：

判断是否开启子会话；

在子会话已开启时启用本机子会话功能；

连接本机子会话创建本机虚拟桌面。

进一步地，所述建立主桌面和虚拟桌面之间的通信连接的具体方法为：

在所述创建本机的虚拟桌面的过程中添加连接桥启动计划，在所述创建本机的虚拟桌面之后，在虚拟桌面中自动启动连接桥程序，从而建立主桌面和虚拟桌面之间的通信连接。

进一步地，在所述创建本机的虚拟桌面之前，所述基于虚拟桌面的流程自动化控制方法还包含：

在主桌面使用WebSocket通信协议监听连接端口并创建通信连接服务；

在虚拟桌面中自动启动连接桥程序后，在主桌面和虚拟桌面之间建立WebSocket通信连接。

一种基于虚拟桌面的流程自动化控制系统，包含：

创建模块，用于创建本机的虚拟桌面；

通信模块，用于建立主桌面和虚拟桌面之间的通信连接；

推送模块，用于从主桌面向虚拟桌面推送应用；

执行模块，用于在虚拟桌面自动执行所述推送模块推送的应用。

发送模块，用于将该应用的运行数据发送至主桌面。

进一步地，所述创建模块通过启用本机子会话功能创建虚拟桌面。

进一步地，所述创建模块包含：

判断单元，用于判断是否开启子会话；

启动单元，用于在所述判断单元判断出子会话已开启时启用本机子会话功能；

连接单元，用于连接本机子会话创建本机虚拟桌面。

进一步地，所述创建模块还包含：

设置单元，用于在所述连接单元连接本机子会话创建本机虚拟桌面之前添加连接桥启动计划；

所述通信模块在所述创建模块创建本机的虚拟桌面后启动连接桥，从而建立主桌面和虚拟桌面之间的通信连接。

进一步地，所述基于虚拟桌面的流程自动化控制系统还包含：

WebSocket模块，用于在主桌面使用WebSocket通信协议监听连接端口并创建通信连接服务；

在所述通信模块在所述创建模块创建本机的虚拟桌面后启动连接桥，建立主桌面和虚拟桌面之间的WebSocket通信连接。

本发明的有益之处在于所提供的基于虚拟桌面的流程自动化控制方法及系统，基于连接本机子会话功能打开本机虚拟桌面，并建立连接通信协议后，调用引擎执行流程自动化应用，主桌面能够实时接收虚拟桌面返回的信息反馈数据，解决了远程桌面不能实现本机连接到本机的问题，也不需要有另外的设备就能够在本机上分身一个虚拟桌面即可本机化，这样就减少了大量的资金投入。且在虚拟桌面系统中运行的流程自动化应用还不会影响到主桌面系统上，工作效率有效增益。

附图说明

图1是本发明的一种基于虚拟桌面的流程自动化控制方法的示意图；

图2是本发明的使用WebSocket进行消息的处理与反馈的流程图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

如图1所示为本申请的一种基于虚拟桌面的流程自动化控制方法，包含以下步骤：S1:创建本机的虚拟桌面。S2:建立主桌面和虚拟桌面之间的通信连接。S3:从主桌面向虚拟桌面推送应用。S4:在虚拟桌面自动执行推送的应用。S5:将该应用的运行数据发送至主桌面。以下具体介绍上述步骤。

对于步骤S1:创建本机的虚拟桌面。

在本申请中，通过启用本机子会话功能创建虚拟桌面。创建本机的虚拟桌面的具体方法为：判断是否开启子会话。在子会话已开启时启用本机子会话功能。连接本机子会话创建本机虚拟桌面。

具体而言，通过使用WTSIsChildSessionsEnabled函数来判断是否已启用子会话，如果失败了返回False。解决此问题是部分电脑系统需要用管理员身份权限启用程序，再次打开子会话界面即可解决。在确认子会话功能已经开启的情况下，通过调用WTSEnableChildSessions函数启用本机子会话功能。然后，使用windows系统COM组件Microsoft RDP Client远程连接sdk连接localost本机，设置使用AxMsRdpClient9NotSafeForScripting连接本机子会话，连接后会跳出远程登录界面，输入当前用户账号密码就可以开启本机子会话的远程连接，就能成功创造出本机虚拟桌面程序，并完成虚拟桌面系统的登录。

对于步骤S2:建立主桌面和虚拟桌面之间的通信连接。

在本申请中，建立主桌面和虚拟桌面之间的通信连接的具体方法为：

在创建本机的虚拟桌面的过程中添加连接桥启动计划，在创建本机的虚拟桌面之后，在虚拟桌面中自动启动连接桥程序，从而建立主桌面和虚拟桌面之间的通信连接。这样，在创建本机的虚拟桌面之前，基于虚拟桌面的流程自动化控制方法还包含：在主桌面使用WebSocket通信协议监听连接端口并创建通信连接服务。在虚拟桌面中自动启动连接桥程序后，在主桌面和虚拟桌面之间建立WebSocket通信连接。

如图2所示为本申请的使用WebSocket进行消息的处理与反馈的流程图。具体而言，由主桌面程序使用WebSocket通信协议监听连接端口(服务端)，并创建通信连接服务。然后，在步骤S1创建本机的虚拟桌面的过程中，启动本机虚拟桌面程序时添加“windows任务计划：用户登录系统时到对应目录启动连接桥程序”。在登录虚拟桌面系统后，任务计划即刻启动连接桥程序，虚拟桌面系统中连接桥程序就会打开连接端口(客户端)会与主桌面程序(服务端)进行通信建立连接完成。根据本技术的基于WebSocket的实时反馈消息方法包括：建立提供服务的WebSocket服务连接与消息缓存，客户端通过在WebSocket连接的预设接口创建心跳轮询链接，用以实时监听推送的消息，并将监听到的消息反馈。其中，约定WebSocket通信的json格式。客户端定时向服务器轮询查询推送消息。服务端向WebSocket消息缓存推送消息。客户端轮询时存在消息缓存就会将消息缓存数据推送给客户端。客户端分析消息数据并处理。

对于步骤S3:从主桌面向虚拟桌面推送应用。

主桌面程序通过通信连接(服务端)推送应用文件路径，被本机虚拟桌面的连接端口(客户端)接收。

对于步骤S4:在虚拟桌面自动执行推送的应用。

在虚拟桌面中自动启动连接桥程序，主桌面和虚拟桌面之间建立WebSocket通信连接之后，同时启动应用执行引擎进程。应用执行引擎采用的技术是基于底层Lua语言为基础，自主研发的新一代“Fox语言”引擎，能够模拟键盘和鼠标实现像人手一样的操作电脑、并有一定的图像文字识别算法和软件界面控件元素的操作等能力。

本机虚拟桌面的连接端口接收到推送的应用文件路径时，启动引擎进程执行该路径下的应用文件。可以理解的是，主桌面程序(服务端)推送应用暂停/继续指令，被本机虚拟桌面系统中的通信连接端口(客户端)接收，虚拟桌面就会对引擎进程执行暂停/继续的控制。当主桌面程序(服务端)推送应用停止指令，被本机虚拟桌面系统中的通信连接端口(客户端)接收，就会对引擎进程执行停止的控制。

在本申请中，使用SendInput API发送键盘与鼠标模拟操作。SendInput可以将指定的鼠标键盘消息插入到系统消息队列，从而实现对鼠标键盘的模拟。此函数模拟按键操作，将一些消息插入键盘或鼠标的输入流中。Windows对它进行处理，生成相应的WM_KEYDOWN或WM_KEYUP事件，这些事件与普通键盘输入一起进入应用程序的消息循环，它们不仅可以转换为WM_CHAR消息，还可以转换为其它(诸如加速键)等消息。

对于步骤S5:将该应用的运行数据发送至主桌面。

应用运行过程中会把应用信息反馈到虚拟桌面的连接端口(客户端)推送信息数据到主桌面的通信连接(服务端)，最终主桌面程序(服务端)接收并显示应用数据信息。比如，应用在运行过程中会把调试输出的日志信息内容(或者出现的异常日志内容)反馈到连接端口(客户端)，进而并推送信息数据到主桌面程序(服务端)，主桌面接收并显示应用数据信息。而主桌面程序(服务端)推送应用停止指令，被本机虚拟桌面系统中的通信连接端口(客户端)接收，就会对引擎进程执行停止的控制，并反馈“运行结束”字样信息到连接端口(客户端)并推送信息数据到主桌面程序(服务端)接收显示。

上述的基于虚拟桌面的流程自动化控制方法，解决了远程桌面不能实现本机连接到本机的问题，也不需要有另外的设备就能够在本机上分身一个虚拟桌面即可本机化，这样就减少了大量的资金投入。且在虚拟桌面系统中运行的流程自动化应用还不会影响到主桌面系统上，工作效率有效增益。与现有虚拟机系统比，虽然也是本机化，但它是一个模拟完整的操作系统，数据存储隔离。且存在着占用本机系统的大量资源，CPU、内存、显存和硬盘空间等，而虚拟桌面仅仅只是分身了一个操作桌面，并不会对系统造成负担。

综上所述，仅仅实现虚拟桌面本机化就已经能够得到的两大有益效果：一个是能够减少资金投入，不需要另外购置设备；另一个是能够减少硬件资源被大量占用导致本机系统执行效率变慢的问题。

本申请还揭示一种基于虚拟桌面的流程自动化控制系统，用于执行前述的基于虚拟桌面的流程自动化控制方法。基于虚拟桌面的流程自动化控制系统包含：创建模块、通信模块、推送模块、执行模块和发送模块。创建模块用于创建本机的虚拟桌面。通信模块用于建立主桌面和虚拟桌面之间的通信连接。推送模块用于从主桌面向虚拟桌面推送应用。执行模块用于在虚拟桌面自动执行推送模块推送的应用。发送模块用于将该应用的运行数据发送至主桌面。

具体而言，创建模块通过启用本机子会话功能创建虚拟桌面。创建模块包含：判断单元、启动单元、连接单元和设置单元。判断单元用于判断是否开启子会话。启动单元用于在判断单元判断出子会话已开启时启用本机子会话功能。连接单元用于连接本机子会话创建本机虚拟桌面。设置单元用于在连接单元连接本机子会话创建本机虚拟桌面之前添加连接桥启动计划。通信模块在创建模块创建本机的虚拟桌面后启动连接桥，从而建立主桌面和虚拟桌面之间的通信连接。

具体而言，基于虚拟桌面的流程自动化控制系统还包含：

WebSocket模块，用于在主桌面使用WebSocket通信协议监听连接端口并创建通信连接服务。

在通信模块在创建模块创建本机的虚拟桌面后启动连接桥，建立主桌面和虚拟桌面之间的WebSocket通信连接。

本申请的基于虚拟桌面的流程自动化控制系统的具体细节参考前述的基于虚拟桌面的流程自动化控制方法中的说明，此处不再赘述。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (4)

1.一种基于虚拟桌面的流程自动化控制方法，其特征在于，包含以下步骤：

创建本机的虚拟桌面；

建立主桌面和虚拟桌面之间的通信连接；

从主桌面向虚拟桌面推送应用；

在虚拟桌面自动执行推送的应用；

将该应用的运行数据发送至主桌面；

通过启用本机子会话功能创建虚拟桌面；

所述创建本机的虚拟桌面的具体方法为：

判断是否开启子会话；

在子会话已开启时启用本机子会话功能；

连接本机子会话创建本机虚拟桌面；

所述建立主桌面和虚拟桌面之间的通信连接的具体方法为：

在所述创建本机的虚拟桌面的过程中添加连接桥启动计划，在所述创建本机的虚拟桌面之后，在虚拟桌面中自动启动连接桥程序，从而建立主桌面和虚拟桌面之间的通信连接。

2.根据权利要求1所述的基于虚拟桌面的流程自动化控制方法，其特征在于，

在所述创建本机的虚拟桌面之前，所述基于虚拟桌面的流程自动化控制方法还包含：

在主桌面使用WebSocket通信协议监听连接端口并创建通信连接服务；

在虚拟桌面中自动启动连接桥程序后，在主桌面和虚拟桌面之间建立WebSocket通信连接。

3.一种基于虚拟桌面的流程自动化控制系统，其特征在于，包含：

创建模块，用于创建本机的虚拟桌面；

通信模块，用于建立主桌面和虚拟桌面之间的通信连接；

推送模块，用于从主桌面向虚拟桌面推送应用；

执行模块，用于在虚拟桌面自动执行所述推送模块推送的应用；

发送模块，用于将该应用的运行数据发送至主桌面；

所述创建模块通过启用本机子会话功能创建虚拟桌面；

所述创建模块包含：

判断单元，用于判断是否开启子会话；

启动单元，用于在所述判断单元判断出子会话已开启时启用本机子会话功能；

连接单元，用于连接本机子会话创建本机虚拟桌面；

所述创建模块还包含：

设置单元，用于在所述连接单元连接本机子会话创建本机虚拟桌面之前添加连接桥启动计划；

所述通信模块在所述创建模块创建本机的虚拟桌面后启动连接桥，从而建立主桌面和虚拟桌面之间的通信连接。

4.根据权利要求3所述的基于虚拟桌面的流程自动化控制系统，其特征在于，

所述基于虚拟桌面的流程自动化控制系统还包含：

WebSocket模块，用于在主桌面使用WebSocket通信协议监听连接端口并创建通信连接服务；

在所述通信模块在所述创建模块创建本机的虚拟桌面后启动连接桥，建立主桌面和虚拟桌面之间的WebSocket通信连接。