CN115361580B - 一种rpa机器人运行的屏幕画面录制方法 - Google Patents

Abstract

本发明公开了一种RPA机器人运行的屏幕画面录制方法，包括RPA机器人，在RPA机器人设置录制配置信息，当RPA机器人自动化运行任务，根据录制配置信息对屏幕画面进行录制。本发明可以对RPA机器人运行的状态进行视频录制，在无人值守的运行场景下，能够实时监控任务的运行情况，对于运行出错的场景，能够帮助用户更好的定位和发现问题，增强对突发和异常场景的兼容性，提高应用的健壮性。

Description

一种RPA机器人运行的屏幕画面录制方法

技术领域

本发明涉及RPA技术领域，具体涉及一种RPA机器人运行的屏幕画面录制方法。

背景技术

RPA的全称为机器人流程自动化(Robotic Process Automation)，主要的功能就是将工作信息与业务交互通过机器人来按照自先设计的流程去执行，无人值守可24小时不停的工作，在解放人力的同时也面临一些挑战：应用能否完全按照设计的流程去运行？比如，在网络环境或者其他不可控因素下，导致界面某个元素加载超时，以致于应用异常终止，因无人值守，不能及时的了解当时终止时的电脑画面，从而不知道从哪里下手来完善流程，严重影响定时任务、调度任务等场景下的运行效率。

发明内容

本发明的目的在于，提供一种RPA机器人运行的屏幕画面录制方法。本发明可以对RPA机器人运行的状态进行视频录制，能够帮助用户更好的定位和发现RPA机器人的运行问题，而且屏幕录制不会占用太多的磁盘空间。

本发明提供的技术方案如下：一种RPA机器人运行的屏幕画面录制方法，包括RPA机器人，在RPA机器人设置录制配置信息，当RPA机器人自动化运行任务，根据录制配置信息对屏幕画面进行录制，所述配置信息包括录制RPA机器人运行状态的视频、录制时长、视频时长以及存储文件的阈值；

录制时，根据录制配置信息中的录制时长来录制视频，同时在RPA机器人中设置监控线程，监控线程定时轮询获取本次RPA机器人运行任务时录制的视频文件，当产生一个视频文件时，将该视频文件推送到视频队列中，每当视频队列中新增一个视频文件，判断视频队列头部的视频文件是否需要删除，判断方式是先判断队列里的视频数量，然后计算除队头以外剩下视频的总时长，若总视频时长大于的录制时长，则将队头视频文件直接删除，否则需要等下一段视频完成之后再做一次校验；

录制结束后，根据RPA机器人运行状态或需要的录制时长对视频文件进行裁剪或合并，裁剪或合并完成后，将原始视频文件删除，保留裁剪或合并的新视频文件，然后新视频文件存储在存储文件中，同时判断存储文件中总的视频文件大小是否超过存储文件的阈值，若超过则删除最先录制的视频文件。

上述的RPA机器人运行的屏幕画面录制方法，所述RPA机器人运行状态包括运行成功、运行失败和运行取消。

前述的RPA机器人运行的屏幕画面录制方法，在录制结束后，根据RPA机器人运行状态选择保留或删除视频文件。

前述的RPA机器人运行的屏幕画面录制方法，在录制之前，先获取存储文件所处存储磁盘的剩余空间，若存储磁盘的剩余空间小于阈值时，则不进行录制。

前述的RPA机器人运行的屏幕画面录制方法，同时在录制之前，还获取存储文件已录制的总视频大小，若总的视频大小超过存储文件的阈值时，则删除最先录制的视频。

前述的RPA机器人运行的屏幕画面录制方法，根据需要的录制时长对视频文件进行裁剪或合并时，若视频队列中最后的视频文件的视频时长大于录制时长，则对视频文件进行裁剪，获取符合录制时长的视频文件，再将其余视频文件删除；若视频队列中最后的视频文件的视频时长小于录制时长，则继续依次读取视频队列中的视频文件，直到视频文件相加的时长满足录制时长所需或者视频文件全部读取完成，然后将符合要求的视频文件进行合并，合并完成后，将原始视频流删除，保留合并后的新视频文件。

前述的RPA机器人运行的屏幕画面录制方法，若RPA机器人自动化运行任务失败或运行取消，则进行异常类错误处理。

前述的RPA机器人运行的屏幕画面录制方法，所述异常类错误处理包括如下步骤：

步骤1、设置消息处理模块，用于触发全局错误处理；

步骤2、设置全局任务队列，存储待执行RPA应用的任务信息；

步骤3、设置监听线程，监听线程监听全局任务队列；

步骤4、在某个RPA应用运行结果为异常退出时，监听线程监听回传的任务状态，开启异常处理通知；

步骤5、调用服务端接口，获取步骤4中开启的异常处理通知，构成全局错误列表；

步骤6、消息处理模块根据全局错误列表依次触发全局错误处理。

前述的RPA机器人运行的屏幕画面录制方法，所述消息处理模块为邮件处理通知模块、即时通讯软件消息通知模块和/或指定应用执行模块。

前述的RPA机器人运行的屏幕画面录制方法，所述邮件处理通知模块使用第三方库MailKit的SmtpClient创建smtp连接，通过用户设置的登陆和授权码相关信息，连接并通过Send方法发送异常处理通知信息到指定邮箱；

所述即时通讯软件消息通知模块将需要发送的异常处理通知消息组装成平台需要的json格式，通过RestSharp库创建一个http请求对象，将用户设置的webhook地址和密钥传入，调用Excute方法采用Post的方式发送到对应通讯软件的服务端，服务端将收到的信息再转发到用户设置的即时通讯软件的客户端；

所述指定应用执行模块在触发全局错误处理时，选择执行指定的RPA应用。

与现有技术相比，本发明可以对RPA机器人运行的状态进行视频录制，在无人值守的运行场景下，能够实时监控任务的运行情况，对于运行出错的场景，能够帮助用户更好的定位和发现问题，增强对突发和异常场景的兼容性，提高应用的健壮性；本发明通过监控线程实现边录制边删除的方案，以及运行前根据用户自身PC磁盘情况设置的自动清理逻辑，在不违背用户录制意愿的前提下，更好的帮助用户节省磁盘空间，保证视频能够正确录制。本发明的屏幕画面录制可帮助用户精确的定位问题，从而不断地完善应用，保证应用在各种运行场景下，都能够顺利的运行完成，真正发挥出RPA的运行效率。此外，本发明将RPA机器人自动化运行任务结果的异常处理通知填充到全局错误列表中，然后设置消息处理模块，消息处理模块根据全局错误列表依次触发全局错误处理，以此本发明的全局错误处理，不需要针对每个应用都设置一遍异常处理步骤，降低了开发和维护的成本；本发明可以支持多种形式和多种软件的触发，能够满足大部分的办公应用场景，让用户能随时随地的了解RPA应用是否异常，且能及时处理。本发明还可以通过执行指定RPA应用，可以对执行的出错应用做一些数据回滚或者报警类的处理，在处理方式上更加的灵活和高效。

附图说明

图1是RPA机器人中设置录制配置信息的示意图；

图2是RPA机器人运行状态的示意图；

图3是视频录制的查看方式示意图；

图4是实施例2的流程示意图；

图5是邮件处理通知模块设置示意图；

图6是即时通讯软件消息通知模块设置示意图；

图7是指定应用执行模块设置示意图。

具体实施方式

下面结合实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例1：一种RPA机器人运行的屏幕画面录制方法，包括RPA机器人，该RPA机器人为影刀机器人，可通过网页下载安装，所述RPA机器人由指令集，流程设计器，结果调试器，流程管理器，全局变量管理器以及工具栏组成。

指令集：用于存放管理RPA指令，用户可以选择需要的指令通过双击或者拖拽的方式添加到流程设计器，进行自由设计。

流程设计器：为用户提供可视化RPA流程编辑平台。

结果调试器：用于显示程序错误信息，日志信息以及其他调试数据。

流程管理器：管理RPA流程以及Python脚本等流程文件。

全局变量管理器：管理全局变量。

工具栏：包含了流程编排、调试功能和智能录制等功能。

本实施例中，先在影刀RPA机器人设置录制配置信息，当影刀RPA机器人自动化运行任务，根据录制配置信息对屏幕画面进行录制，所述配置信息包括录制RPA机器人运行状态的视频、录制时长、视频时长以及存储文件的阈值；

配置信息的设置如图1所示：

(1)所述RPA机器人运行状态包括运行成功、运行失败和运行取消。本实施例中默认自动录制“运行失败”的“最后30秒”(视频时长)的运行回放，即本次RPA自动化应用(后面简称应用)运行成功，则会将录制的视频删除，若用户想录制每次的应用，则可设置为“每次运行”，视频时长也可自行调节；

(2)所示配置信息还包括在手动执行任务和/或热键触发时不录制，默认勾选，即认为用户手动运行的应用或者通过键盘按键触发的应用不是“无人值守”的状态，即不需要录制，如果该种触发方式也需要录制，可不勾选该选项；

(3)本实施例中，所述存储文件的阈值是在录制的视频文件大小共超过5GB时，自动清理更早的视频文件，这是因为视频文件一般较大，对于长时间运行的应用，需要占用较大的存储空间，而有些录制视频随着时间的推移，有效价值也会变小，此时用户可以选择本地允许存储最大的视频空间，当超过这个空间会按录制的时间，由远及近将超过存储空间的部分进行自动清理。

(4)存储文件地址为用户设置的录屏文件存储地址，此信息跟随PC配置，可避免不同PC因为盘符问题导致无法存储的情况。

在需要对运行回放的视频进行查看是，在RPA机器人的运行日志处会记录所有触发应用的开始时间、触发方式、运行结果等信息。对于运行失败的可在运行结果的问号处通过“点击查看”定位到本次任务的视频文件，如图2所示，也可通过右键菜单，选择运行回放查看，如图3所示。

本实施例中，每次RPA机器人启动前，根据录制配置信息，动态确定是否启动录制，录制使用第三方的ffmpeg录制工具，在初次录制时，会从服务端下载该工具(即秉承可插拔的特性，只有当用户真正需要时，才为其下载)

下载完成后，通过System.Diagnostics下的Process类启动ffmpeg进程，参数通过json文件配置(包括帧率、每段视频的录制时长等)，在开启录制之前会有一些前置校验：

a.通过System.IO的DriveInfo类来获取获取存储文件所处存储磁盘剩余空间，当存储空间剩余不足50M时，此次将不在录制；

b.通过读取用户配置的存储路径，获取存储文件已录制的总视频大小，若总的视频大小超过存储文件的阈值时，则额外开启一个线程来来删除最先录制的视频文件；

录制时，根据录制配置信息中的录制时长(录制时长可以根据用户所需进行自主设置)来录制视频，同时RPA机器人通过Task.Factory.StartNew方法开启一个TaskCreationOptions.LongRunning(任务创建选项.运行)类型的长时间运行的监控线程，该监控线程定时(10s)轮询获取本次RPA机器人运行任务时录制的视频文件，当产生一个视频文件时，将该视频文件推送到视频队列(CommunicationQueue队列)中，每当视频队列中新增一个视频文件，判断视频队列头部的视频文件是否需要删除，判断方式是先判断队列里的视频数量，然后计算除队头以外剩下视频的总时长，若总视频时长大于的录制时长，则将队头视频文件直接删除，否则需要等下一段视频完成之后再做一次校验；

实施例中，视频时长的获取通过System.Diagnostics(系统诊断)下的Process类启动ffmpeg进程，参数传入i接具体的文件，读取标准输出流，通过正则表达式：Duration:(.*？),start:(.*？),bitrate:(\\d*)kb\\/s匹配出该视频的时间。

录制结束后，通过向Process的StandardInput(标准输入)中写入一个‘q’，即可正确退出录屏，退出后，根据RPA机器人运行状态或需要的录制时长对视频文件进行裁剪或合并，裁剪或合并完成后，将原始视频文件删除，保留裁剪或合并的新视频文件，处理逻辑如下：

a.开启一个新的线程(处理可能耗时较长，新线程不会影响主线程继续执行下次任务的运行)，处理本次产生的视频文件；

b.若本次运行成功且用户选择只录制运行失败的场景，会将本次运行记录全部删除；即根据RPA机器人运行状态选择保留或删除视频文件。

c.根据用户需要保存的视频时长，读取最后一段视频文件的时长，若时长大于用户需要保存的视频时长，则通过Process类启动ffmpeg进程，传入参数-nostdin-y-ss指定开始截取的时间,-to指定截取的时长，指定最后的输出文件为cut.mp4，在将其他的视屏文件删除，保留最终视频文件；

若视频队列中最后的视频文件的视频时长小于录制时长，则继续依次读取视频队列中的视频文件，直到视频文件相加的时长满足录制时长所需或者视频文件全部读取完成，然后将符合要求的视频文件进行合并，合并完成后，将原始视频流删除，保留合并后的新视频文件。合并的方式是通过Process类启动ffmpeg进程，传入参数-i指定带拼接的文件名称，-filter_complex指定输入文件的数量、视频文件和音频文件的数量。

然后新视频文件存储在存储文件中，同时判断存储文件中总的视频文件大小是否超过存储文件的阈值，若超过则删除最先录制的视频文件。

综上所述，本发明可以对RPA机器人运行的状态进行视频录制，在无人值守的运行场景下，能够实时监控任务的运行情况，对于运行出错的场景，能够帮助用户更好的定位和发现问题，增强对突发和异常场景的兼容性，提高应用的健壮性；本发明通过监控线程实现边录制边删除的方案，以及运行前根据用户自身PC磁盘情况设置的自动清理逻辑，在不违背用户录制意愿的前提下，更好的帮助用户节省磁盘空间，保证视频能够正确录制。本发明的屏幕画面录制可帮助用户精确的定位问题，从而不断地完善应用，保证应用在各种运行场景下，都能够顺利的运行完成，真正发挥出RPA的运行效率。

实施例2：本实施例在实施例1的基础上，若RPA机器人自动化运行任务失败或运行取消，则进行异常类错误处理，如图4所示，包括如下步骤：

步骤1、设置消息处理模块，用于触发全局错误处理；

所述消息处理模块为邮件处理通知模块、即时通讯软件消息通知模块和/或指定应用执行模块。

如图5所示，所述邮件处理通知模块在触发全局错误处理时，将异常处理通知进行发送至指定邮箱，设置多个接收邮件的账户，用户可配置由影刀RPA机器人发送，也可自定义邮箱发送。

如图6所示，所述即时通讯软件消息通知模块在触发全局错误处理时，将异常处理通知进行发送至相关的告警通知群。本实施例支持主流的办公通讯软件，包括钉钉、飞书、企业微信，可在各类软件的pc客户端获取webhook地址，获取该地址之后，即可向相关的告警通知群自动推送消息。

如图7所示，所述指定应用执行模块在触发全局错误处理时，选择执行指定的RPA应用，该指定的RPA应用可以对执行的出错应用做一些数据回滚或者报警类的处理，在处理方式上更加的灵活和高效。

步骤2、设置全局任务队列，存储待执行RPA应用的任务信息；所述全局任务队列是在RPA机器人的程序封装PriorityBlockingCollection(优先级阻塞收集)类，内部组合了一个BlockingCollection(阻塞集合)类型的线程安全的全局任务队列，激活的RPA应用都会进入到该队列中排队执行。

在程序启动之初，会初始化该全局任务队列，全局任务队列里存放任务信息(TaskInfo)，任务信息包括任务id、任务名称、任务类型(触发器类型)、创建时间、是否排队执行(由于应用运行是单线程模型，即每次只能运行一个应用，所以需要排队执行，当任务不选择排队执行且此时刚好有任务在运行，则会直接将其状态修改为失败，不再执行)等；

步骤3、设置监听线程，监听线程监听全局任务队列；

步骤4、在某个RPA应用运行结果为异常退出时，监听线程监听回传的任务状态，开启异常处理通知；具体是，监听线程获取任务，通过AutoResetEvent(自动重置事件)信号量控制，当一个应用运行结束之后，调用ContinueWith设置好的回调方法，当回传的任务状态Isfaulted(有缺陷)是True的时候，会调用HandleTaskError(处理错误任务)方法来处理开启的异常处理通知。

步骤5、调用服务端接口，获取步骤4中开启的异常处理通知，构成全局错误列表；实施例中，当获取到的信息不为空时，遍历获取到的信息，根据不同的ErrorHandingKind(错误处理)类型，来添加到类型为IErrorHandingRule(错误处理规则)的列表当中，得到全局错误列表；

步骤6、消息处理模块根据全局错误列表依次触发全局错误处理。

若是邮箱触发，则使用第三方库MailKit的SmtpClient创建smtp连接，通过用户设置的登陆和授权码相关信息，连接并通过Send方法发送消息到指定邮箱；

若是即时通讯软件触发的方式，则是将需要发送的异常处理通知消息组装成平台需要的json格式，通过RestSharp库创建一个http请求对象，将用户设置的webhook地址和密钥传入，调用Excute方法采用Post的方式发送到对应通讯软件的服务端，服务端将收到的信息再转发到用户设置的即时通讯软件的客户端。

若是指定应用执行模块触发，则将RPA应用的任务信息组装后，添加到BlockingCollection全局任务队列中等待排队执行。

通过以上方式，本发明将RPA应用运行结果的异常处理通知填充到全局错误列表中，然后设置消息处理模块，消息处理模块根据全局错误列表依次触发全局错误处理，以此本发明的全局错误处理，不需要针对每个应用都设置一遍异常处理步骤，降低了开发和维护的成本；本发明可以支持多种形式和多种软件的触发，能够满足大部分的办公应用场景，让用户能随时随地的了解RPA应用是否异常，且能及时处理。本发明还可以通过执行指定RPA应用，可以对执行的出错应用做一些数据回滚或者报警类的处理，在处理方式上更加的灵活和高效。

Claims (8)

1.一种RPA机器人运行的屏幕画面录制方法，包括RPA机器人，在RPA机器人设置录制配置信息，当RPA机器人自动化运行任务，根据录制配置信息对屏幕画面进行录制，其特征在于：所述配置信息包括录制RPA机器人运行状态的视频、录制时长、视频时长以及存储文件的阈值；

录制时，根据录制配置信息中的录制时长来录制视频，同时在RPA机器人中设置监控线程，监控线程定时轮询获取本次RPA机器人运行任务时录制的视频文件，当产生一个视频文件时，将该视频文件推送到视频队列中，每当视频队列中新增一个视频文件，判断视频队列头部的视频文件是否需要删除，判断方式是先判断队列里的视频数量，然后计算除队头以外剩下视频的总时长，若总视频时长大于的录制时长，则将队头视频文件直接删除，否则需要等下一段视频完成之后再做一次校验；

录制结束后，根据RPA机器人运行状态或需要的录制时长对视频文件进行裁剪或合并，裁剪或合并完成后，将原始视频文件删除，保留裁剪或合并的新视频文件，然后新视频文件存储在存储文件中，同时判断存储文件中总的视频文件大小是否超过存储文件的阈值，若超过则删除最先录制的视频文件；

在录制结束后，根据RPA机器人运行状态选择保留或删除视频文件；

根据需要的录制时长对视频文件进行裁剪或合并时，若视频队列中最后的视频文件的视频时长大于录制时长，则对视频文件进行裁剪，获取符合录制时长的视频文件，再将其余视频文件删除；若视频队列中最后的视频文件的视频时长小于录制时长，则继续依次读取视频队列中的视频文件，直到视频文件相加的时长满足录制时长所需或者视频文件全部读取完成，然后将符合要求的视频文件进行合并，合并完成后，将原始视频流删除，保留合并后的新视频文件。

2.根据权利要求1所述的RPA机器人运行的屏幕画面录制方法，其特征在于：所述RPA机器人运行状态包括运行成功、运行失败和运行取消。

3.根据权利要求1所述的RPA机器人运行的屏幕画面录制方法，其特征在于：在录制之前，先获取存储文件所处存储磁盘的剩余空间，若存储磁盘的剩余空间小于阈值时，则不进行录制。

4.根据权利要求1所述的RPA机器人运行的屏幕画面录制方法，其特征在于：同时在录制之前，还获取存储文件已录制的总视频大小，若总的视频大小超过存储文件的阈值时，则删除最先录制的视频。

5.根据权利要求2所述的RPA机器人运行的屏幕画面录制方法，其特征在于：若RPA机器人自动化运行任务失败或运行取消，则进行异常类错误处理。

6.根据权利要求5所述的RPA机器人运行的屏幕画面录制方法，其特征在于：所述异常类错误处理包括如下步骤：

步骤1、设置消息处理模块，用于触发全局错误处理；

步骤2、设置全局任务队列，存储待执行RPA应用的任务信息；

步骤3、设置监听线程，监听线程监听全局任务队列；

步骤4、在某个RPA应用运行结果为异常退出时，监听线程监听回传的任务状态，开启异常处理通知；

步骤5、调用服务端接口，获取步骤4中开启的异常处理通知，构成全局错误列表；

步骤6、消息处理模块根据全局错误列表依次触发全局错误处理。

7.根据权利要求6所述的RPA机器人运行的屏幕画面录制方法，其特征在于：所述消息处理模块为邮件处理通知模块、即时通讯软件消息通知模块和/或指定应用执行模块。

8.根据权利要求7所述的RPA机器人运行的屏幕画面录制方法，其特征在于：所述邮件处理通知模块使用第三方库MailKit的SmtpClient创建smtp连接，通过用户设置的登陆和授权码相关信息，连接并通过Send方法发送异常处理通知信息到指定邮箱；

所述即时通讯软件消息通知模块将需要发送的异常处理通知消息组装成平台需要的json格式，通过RestSharp库创建一个http请求对象，将用户设置的webhook地址和密钥传入，调用Excute方法采用Post的方式发送到对应通讯软件的服务端，服务端将收到的信息再转发到用户设置的即时通讯软件的客户端；

所述指定应用执行模块在触发全局错误处理时，选择执行指定的RPA应用。