CN118114231A - 一种rpa机器人自动化操作密码的安全防护方法和系统 - Google Patents

Abstract

本发明提供一种RPA机器人自动化操作密码的安全防护方法和系统，涉及RPA机器人技术领域，包括：加密管理RPA机器人自动化过程中涉及的账户密码；基于用户行为数据和密码框数据训练深度神经网络模型；基于Agent调用端采集当前用户行为数据和密码框数据，通过深度神经网络模型判断当前操作阶段是否需要输入密码以及密码框的位置；当判断结果为需要输入密码时，锁定密码框外的键盘和鼠标操作，Agent调用端调用管理控制台获取密文及临时密钥，将原始密码传输至智能终端设备；智能终端设备自动将原始密码填充至密码框中。本发明确保RPA执行器、第三方实施者或是项目承建者无法看到账户密码，提高密码安全性。

Description

一种RPA机器人自动化操作密码的安全防护方法和系统

技术领域

本发明涉及RPA机器人技术领域，尤其涉及一种RPA机器人自动化操作密码的安全防护方法和系统。

背景技术

近几年，随着数智化技术的突飞猛进，结合了人工智能的机器人流程自动化（Robotic Process Automation, RPA）和智能流程自动化（Intelligent ProcessAutomation, IPA）在各行各业得到了广泛深入的应用，所涉及自动化智能化的业务系统，管理系统，财务系统，资金系统，银行、证券、基金、保险等系统平台越来越多，其中自动化智能化过程中的密码安全防护则成为当前技术实现的痛点和难点。

当前，针对RPA智能化过程中密码的安全防护，目前没有完善的安全防护方法，其主要的安全防护方法是涉及到的密码会加密存储，RPA执行器获得解密后的密码并自动输入，实现账户登录，比如网银U盾的密码和U盾账户的密码的自动化输入，RPA执行器自动在密码输入框中输入网银U盾的密码和U盾账户的密码明文，或者调用相关接口解密加密的密码，再自动将密码明文输入到相应的密码框。

现有的针对RPA自动化操作密码的安全措施，主要是存储时的密码是加密态，使用时是明文态，解决不了RPA自动化操作账户的密码安全防护问题，RPA执行器或者作为第三方的RPA实施方或承建方，必须要获取到账户密码明文，或者通过调用接口拿到密码明文，才能进行RPA自动化操作密码，无法从本质上避免账户密码信息的泄露或被第三方获取到，尤其是涉及的账户密码应用系统种类多，账户数比较的情况下，风险急剧增加，比如网银U盾的密码，网银账户密码，RPA自动化操作密码过程中，现有方案必须获取账号登录对应的密码明文，RPA自动化操作密码等登录才能正常成功，否则无法进行后续RPA的自动化运行。

如现有的RPA自动化操作密码存在以下场景：（1）RPA执行器必须要知道自动化操作账户的密码明文；（2）作为第三方的RPA实施方或承建方，需要知道对应账户的密码明文；（3）密码如果是明文方式配置保存，或密文可显示明文，容易被恶意方获取；（4）调用对应的密码解密或输入接口即可在任何地方输出明文。针对上述几种场景和情况，现有的RPA自动化操作密码的安全措施是无法避免给第三方密码明文，安全隐患和风险会比较大。所涉及到各种账号密码容易被泄露，容易被恶意方非法利用，存在的主要风险点包括网络拦截、日志记录、脚本泄露、内部人员滥用、恶意软件、配置错误等，从而给企业数据安全带来风险，涉及到资金交易等方面的，还会影响企业资金的安全。

因此，如何实现一种在RPA自动化操作密码过程中，RPA执行器、第三方实施方案或承建方无需获取账户密码明文，即可完成账户密码RPA自动化登录等相关操作，使账户对应的密码由属主自行维护，降低各种账号密码的泄露风险，使RPA自动化操作密码过程中的密码更安全、更可靠、更可控，避免非属主接触及乱用，降低数据泄露风险，成为亟待解决的问题。

发明内容

针对上述问题，本发明提供了一种RPA机器人自动化操作密码的安全防护方法和系统，通过分析用户的行为习惯来判断是否需要输入密码，以及确定密码输入框的具体位置和密码框特征库匹配，同时结合相应的设备实现对相关账户密码的调用和使用。该操作过程中确保RPA执行器、第三方实施者或是项目承建者无法看到账户密码，并能够控制账户密码的使用范围，降低数据泄露，资金被盗用等安全隐患的发生，提升数据安全和治理的管理效能。

为实现上述目的，本发明提供了一种RPA机器人自动化操作密码的安全防护方法，包括：管理控制台管理RPA机器人自动化过程中涉及的账户密码，通过加密卡对密码进行加密管理；

基于用户行为数据和密码框数据训练深度神经网络模型，获得训练好的深度神经网络模型；

基于Agent调用端采集当前用户行为数据和密码框数据，通过训练好的所述深度神经网络模型判断当前操作阶段是否需要输入密码以及密码框的位置；

当判断结果为需要输入密码时，锁定所述密码框外的键盘和鼠标操作，防止非授权的自动输入尝试，Agent调用端调用所述管理控制台获取密文及临时密钥，并解密所述密文为原始密码传输至智能终端设备；

所述智能终端设备自动将原始密码填充至密码框中，密码输完后自动关闭当前锁定状态，RPA机器人进行其他节点的操作。

作为本发明的进一步改进，所述用户行为数据，包括用户点开的界面地址、用户操作的控件和用户触发的事件类型；

所述密码框数据，包括界面上所有密码框的句柄、ID、名称、类型、深度、层级、坐标、父子类和兄弟节点。

作为本发明的进一步改进，基于用户行为数据和密码框数据训练深度神经网络模型，获得训练好的深度神经网络模型；包括：

对采集的用户行为数据和密码框数据进行预处理和标记，将用户打开界面到关闭或离开界面的整个操作过程作为一个独立样本，每个独立样本的标签指示是否需要输入密码，如果需要，对应标记该独立样本密码框的对应位置，获得数据集；

将所述数据集随机分为训练集、验证集和测试集；

基于训练集训练深度神经网络模型，首先，分别对用户行为数据通过单层线性编码层进行编码获得用户行为特征，对用户行为数据进行位置编码获得位置编码特征并添加到所述用户行为特征后获得完整用户行为特征，对密码框数据通过多层感知器进行编码获得密码框特征；

其次，合并所述完整用户行为特征和密码框特征，输入到由多个自注意力编码层组成的结构中；

深度神经网络模型通过两个不同的特征解码器分别输出是否需要输入密码和密码框的位置；

通过所述验证集验证当前神经网络模型的输出结果的正确率；

迭代训练获取最终的深度神经网络模型用户行为模型，并通过所述测试集检验深度神经网络模型的性能。

作为本发明的进一步改进，对采集的用户行为数据和密码框数据进行预处理和标记，包括：

对所述用户行为数据，将网址转换为ASCII码，将用户交互的控件类型和所有事件类型转换为数字代码，便于数据被网络模型学习；

对所述密码框数据，将界面上的所有密码框数据转换成数字编码，便于数据被网络模型学习。

作为本发明的进一步改进，

基于Agent调用端收集的实时用户行为模式数据和密码框数据，在线调整学习好的所述深度神经网络模型，针对不同的特定用户具有更好的泛化性能及鲁棒性。

作为本发明的进一步改进，

所述智能终端设备存储有管理控制台签发的数字证书以及私钥；

所述智能终端设备中内置专用CPU芯片，CPU芯片生成所需的安全密钥，对密钥执行数字签名及验证操作，确保密钥安全，同时进行模拟键盘输入；

作为本发明的进一步改进，Agent调用端调用所述管理控制台获取密文及临时密钥，并解密所述密文为原始密码传输至智能终端设备，包括：

光标定位在当前账户的密码框；

Agent调用端锁定除当前光标所在密码框之外的区域；

Agent调用端调用智能终端设备的自动输入密码接口，Agent调用端校验智能终端设备输入密码过程中密码对应应用账号或序列号是否一致、密码长度是否一致，以及密码框特征是否与预训练的特征匹配；

Agent调用端调用管理控制台服务端密码解密接口，管理控制台服务端将加密管理的密码解密为原始密码，并与Agent调用端协商临时密钥，再通过临时密钥加密原始密码为密文发送Agent调用端；

Agent调用端通过所述临时密钥解密所述密文得到原始密码传给所述智能终端设备，智能终端设备将原始密码自动输出到光标定位的所述密码框中。

本发明还提供了一种RPA机器人自动化操作密码的安全防护方法的系统，实现如权利要求1~7任一项所述的RPA机器人自动化操作密码的安全防护方法，其特征在于，运行在虚拟主机或实体主机上，包括：智能终端设备及与其连接的USBServer一体化设备，所述USBServer一体化设备连接管理控制台，所述智能控制台连接用户行为模式与密码框特征库，所述用户行为模式与密码框特征库连接Agent调用端；

所述管理控制台，用于：

维护和管理RPA自动化过程中涉及的账户密码；

所述智能终端设备，用于：

存储所述管理控制台签发的数字证书以及私钥，生成所需的安全加密密钥，并对数字证书系统中的密钥执行数字签名及验证操作，确保密钥安全；

所述Agent调用端，运行在RPA运行环境中，用于：

实现所述智能终端设备的远程调用，并映射成本地串口服务；

采集用户行为模式和密码框的特征，包括用户点开的界面地址、用户操作的控件、用户触发的事件类型，以及包括密码框的句柄、ID、名称、类型、深度、层级、坐标、父子类和兄弟节点；

在除密码框之外区域内的键盘和鼠标处于锁定状态下，所述Agent调用端调用所述智能终端设备自动输出密码到指定的密码框；

所述USBServer一体化设备，用于：

实现所述智能终端设备的远程挂载和卸载，承载所述管理控制台和所述用户行为模式与密码框特征库，并内置加密卡进行账户密码加密存储和传输；

所述用户行为模式与密码框特征库，用于：

存储所述Agent调用端采集到的用户行为模式数据和密码框数据，以及存储训练好的深度神经网络模型。

与现有技术相比，本发明的有益效果为：

本发明通过实现RPA（机器人流程自动化）在处理密码操作时的安全保护措施，确保RPA执行器无法访问密码的明文信息，同时也保证RPA操作人员或任何第三方无法获取密码明文。该方法依赖于预先学习的深度神经网络模型，以判断是否需要输入密码及其密码框具体位置以及与预训练的密码框模型特征是否匹配；仅当模型确认需要输入密码时，智能终端设备才会自动将密码填充至指定的密码输入框中。此外，系统会锁定密码输入框外的键盘和鼠标操作，防止非授权的自动输入尝试，并且只有深度神经网络模型识别出的密码输入框才能触发智能终端的自动输入功能。最终在RPA自动化操作的密码管理过程中，提高了密码的安全性。

本发明密码在存储阶段会通过加密卡进行加密处理，保证其安全性。在使用阶段，密码依然以密文形式存在，且只有当特定的密码输入框特征被预训练的深度神经网络模型匹配成功时，才能输入密码；这一流程确保了密码在RPA自动化操作过程中的安全性、可靠性和可控性，有效避免了密码的非法使用、数据盗窃等安全风险，从而降低了数据泄露和资金被非法盗用的风险，提高了企业在数据安全和管理方面的治理效能。

附图说明

图1为本发明一种实施例公开的RPA机器人自动化操作密码的安全防护方法示意图；

图2为本发明一种实施例公开的RPA机器人自动化操作密码的安全防护系统示意图；

图3为本发明一种实施例公开的深度神经网络模型训练网络结构图；

图4为本发明一种实施例公开的RPA自动化操作密码安全防护逻辑示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

如图2所示，本发明通过软硬件结合的方式实现RPA自动化操作密码安全防护，硬件部分主要有智能终端设备和USBServer一体化设备（主要包含USBHUB控制器，主控主板，加密卡）。软件部分采用B/S架构与C/S架构混合应用，包括：管理控制台（包含控制台前端，控制台服务后端），用户行为模式与密码框特征库，Agent调用端。所有软硬件一体化设备运行在虚拟主机或者实体主机上。

如图1所示，本发明提供的RPA机器人自动化操作密码的安全防护方法，包括：

S1、管理控制台管理RPA机器人自动化过程中涉及的账户密码，通过加密卡对密码进行加密管理；

其中，管理控制台的功能包括：账户密码的加密处理、密钥和证书的管理、系统账户的角色与权限设定、网络以及系统整体的管理。此外，还涉及到对操作模式、特征选取以及模型参数的配置管理，以及智能终端配置的管理等；

S2、基于用户行为数据和密码框数据训练深度神经网络模型，获得训练好的深度神经网络模型；

其中，

用户行为数据，包括用户点开的界面地址、用户操作的控件和用户触发的事件类型；

密码框数据，包括界面上所有密码框的句柄、ID、名称、类型、深度、层级、坐标、父子类和兄弟节点。

进一步的，

对采集的用户行为数据和密码框数据进行预处理和标记，将用户打开界面到关闭或离开界面的整个操作过程作为一个独立样本，每个独立样本的标签指示是否需要输入密码，如果需要，对应标记该独立样本密码框的对应位置，获得数据集；

将数据集随机分为训练集、验证集和测试集；

基于训练集训练深度神经网络模型，首先，分别对用户行为数据通过单层线性编码层进行编码获得用户行为特征，对用户行为数据进行位置编码获得位置编码特征并添加到用户行为特征后获得完整用户行为特征，对密码框数据通过多层感知器进行编码获得密码框特征；

其次，合并完整用户行为特征和密码框特征，输入到由多个自注意力编码层组成的结构中；

深度神经网络模型通过两个不同的特征解码器分别输出是否需要输入密码和密码框的位置；

通过验证集验证当前神经网络模型的输出结果的正确率；

迭代训练获取最终的深度神经网络模型，并通过测试集检验深度神经网络模型的性能。

更进一步的，对采集的用户行为数据和密码框数据进行预处理和标记，包括：

对用户行为数据，将网址转换为ASCII码，将用户交互的控件类型和所有事件类型转换为数字代码，便于数据被网络模型学习；

对密码框数据，将界面上的所有密码框数据转换成数字编码，便于数据被网络模型学习。

具体的，深度神经网络模型的结构图如图3所示，实现待输入密码框特征学习的主要步骤为：

第一步，使用Agent调用端采集大量用户行为数据和密码框特征。其中用户行为数据主要包括：用户点开的界面地址、用户操作的控件、用户触发的事件类型（如点击、填写、拖动等）。密码框特征包括：界面上所有密码框的句柄、ID、名称、类型、深度、层级、坐标、父子类和兄弟节点等信息。

第二步，涉及对收集的数据进行预处理和标记。具体来说，这包括将网址转换为ASCII码、将用户交互的控件类型和所有事件类型转换为数字代码，这样做主要是为了便于数据被网络模型学习。此外，界面上的所有密码输入框特征也会被转换成数字编码。本发明将用户打开界面到关闭或离开界面的整个操作过程作为一个单独的样本。这个样本的标签将指示是否需要输入密码，如果需要，密码输入框的位置是什么。最后，收集到的数据集将被随机分为训练集（80%）、验证集（5%）和测试集（15%）。

第三步，利用收集到的真实用户行为数据和密码框的特征信息对深度神经网络模型进行预训练。该模型的详细架构展示在图2中。模型开始时，分别对用户行为信息和界面信息进行编码，其中用户行为信息通过单层线性编码层进行编码，而界面信息则通过多层感知器（MLP）进行编码。为了处理用户的一系列行为操作，这里添加了位置编码特征并加在编码后的用户行为特征上。接着，将这两种特征进行合并，并输入到由多个自注意力编码层组成的结构中。最终，模型通过两个不同的特征解码器输出结果，这些解码器也是基于多层感知器（MLP）。模型的输出包括两个部分：一是预测是否需要执行输入密码的操作（这一任务被设定为一个二分类问题），二是确定密码框在界面中的确切位置（这一任务被设定为一个回归问题，旨在预测待输入密码框的位置）。

本发明还基于Agent调用端收集的实时用户行为模式数据和密码框数据，在线调整学习好的深度神经网络模型，针对不同的特定用户具有更好的泛化性能及鲁棒性。

S3、基于Agent调用端采集当前用户行为数据和密码框数据，通过深度神经网络模型判断当前操作阶段是否需要输入密码以及密码框的位置；

其中，

仅当深度神经网络模型确认需要输入密码时，智能终端设备才会自动将密码填充至指定的密码输入框中。

进一步的，

包括根据用户行为数据判断是否需要输入密码，根据密码框数据判断密码框是否为预训练的密码框特征库中的密码框，若是，则判断密码框的位置。

S4、当判断结果为需要输入密码时，锁定密码框外的键盘和鼠标操作，防止非授权的自动输入尝试，Agent调用端调用管理控制台获取密文及临时密钥，并解密密文为原始密码传输至智能终端设备；

其中，

智能终端，一种USB Key设备，主要用于存储管理控制台签发的数字证书以及私钥。这些设备内置专门的CPU芯片，能够生成所需的安全加密密钥，并对数字证书系统中的密钥执行数字签名及验证操作，确保密钥安全。它们体积小，携带和使用都非常方便。其核心功能是进行签名验签和模拟键盘输入。这些设备不仅可以直接与物理主机连接，还可以通过USBServer设备连接。

进一步的，

光标定位在当前账户的密码框；

Agent调用端锁定除当前光标所在密码框之外的区域；

Agent调用端调用智能终端设备的自动输入密码接口，Agent调用端校验智能终端设备输入密码过程中密码对应应用账号或序列号是否一致、密码长度是否一致；

Agent调用端调用管理控制台服务端密码解密接口，管理控制台服务端将加密管理的密码解密为原始密码，并与Agent调用端协商临时密钥，再通过临时密钥加密原始密码为密文发送Agent调用端；

Agent调用端通过临时密钥解密密文得到原始密码传给智能终端设备，智能终端设备将原始密码自动输出到光标定位的密码框中。

更进一步的，本发明实现密码框区域外锁定键鼠操作的主要步骤为：

第一步，在RPA运行环境中安装Agent并启动本地Web服务。

第二步，RPA自动化操作密码时光标定位在对应账户的密码框。

第三步，通过HTTP RestFull调用Agent服务，并与管理控制台后端服务进行交互。

第四步，Agent服务自动挂载智能终端设备并映射成本地串口虚拟设备。

第五步，Agent服务调用服务端对应的密码框特征匹配库，匹配成功则锁定除当前光标所在密码框之外的区域。密码框之外的区域，禁止键盘和鼠标任何操作。

第六步，Agent调用端调用智能终端设备的自动输入密码接口。

第七步，Agent校验智能终端设备输入密码过程中密码对应应用，以及账号或序列号是否一致，密码长度是否一致等，此过程智能终端设备模拟真实的物理键盘和鼠标。

第八步，Agent调用取管理控制台服务端密码解密接口。

第九步，管理控制台服务端解密密码为明文，并和Agent端进行协商出仅使用一次的临时密钥，服务端用协商密钥加密原始密码为密文发送给Agent端。

第十步，Agent用协商好的加密密钥解密密文，并把原始密码传给智能终端设备，智能终端设备则模拟键盘自动输出到当前光标所在密码框中，密码输完后自动关闭当前锁定状态。

本发明涉及密码算法，加解密方式等内容，则是采用密码学中标准通用、高效安全的算法和实现方式，不涉及密码算法发明或密码相关理论创新和创造。

S5、智能终端设备自动将原始密码填充至密码框中，密码输完后自动关闭当前锁定状态，RPA机器人进行其他节点的操作。

其中，

智能终端设备存储有管理控制台签发的的数字证书和私钥；

智能终端设备中内置CPU芯片，CPU芯片生成所需的安全加密密钥，对密钥执行数字签名及验证操作，确保密钥安全；

智能终端设备基于密钥，对加密管理的密码自动生成密码明文，并模拟键盘进行输入。

如图2所示，本发明还提供了一种RPA机器人自动化操作密码的安全防护方法的系统，运行在虚拟主机或实体主机上，包括：智能终端设备及与其连接的USBServer一体化设备，USBServer一体化设备连接管理控制台，智能控制台连接用户行为模式与密码框特征库，用户行为模式与密码框特征库连接Agent调用端；

管理控制台，用于：

维护和管理RPA自动化过程中涉及的账户密码；

智能终端设备，用于：

存储管理控制台签发的数字证书，生成所需的安全加密密钥，并对数字证书系统中的密钥执行数字签名及验证操作，确保密钥安全；

Agent调用端，运行在RPA运行环境中，用于：

实现智能终端设备的远程调用，并映射成本地串口服务；

采集用户行为模式和密码框的特征，包括用户点开的界面地址、用户操作的控件、用户触发的事件类型，以及包括密码框的句柄、ID、名称、类型、深度、层级、坐标、父子类和兄弟节点；

在除密码框之外区域内的键盘和鼠标处于锁定状态下，Agent调用端调用智能终端设备自动输出密码到指定的密码框；

其中，RPA运行环境是指RPA自动化操作密码的各种系统Windows系统，Linux系统以及移动终端平台等。虚拟主机和实体主机是承载和运行Agent和RPA运行环境的虚拟化和物理主机设施。

USBServer一体化设备，用于：

实现智能终端设备的远程挂载和卸载，承载管理控制台和用户行为模式与密码框特征库，并内置加密卡进行账户密码加密存储和传输；

用户行为模式与密码框特征库，用于：

存储Agent调用端采集到的用户行为模式数据和密码框数据，以及存储训练好的深度神经网络模型。

离线学习阶段，可依据采集到的用户行为数据以及密码框数据训练训练好的深度神经网络模型，使其能够同时完成以下两个任务：当前是否需要执行输入密码行为以及密码框在屏幕中的位置定位。同时，我们也能够实现在线网络模型学习。模型部署之后也能够依据Agent收集的实时信息，微调学习好的模型使其针对不同的特定用户具有更好的泛化性能及鲁棒性。

如图4所示，本发明还提供了RPA自动化操作密码安全防护逻辑示意图，其中，管理控制台服务管理端（服务的调度，鉴权等）；管理控制台后端（后端逻辑，路由，与前端和接口调用方交互等）；管理控制台前端（显示和相关功能的管理和交互等）；Agent调用端（与服务端服务交互，与智能终端交互，与本地系统交互）；智能终端设备（自动解密账户密码并输出到密码框）；后端主要服务（加密卡，USBHUB调用，智能终端调用，模型调用）

实施例

一个RPA自动化工商银行自动支付提单机器人，其中涉及到网银账户和密码自动输入，自动登录等RPA自动化密码操作的过程，RPA软件使用第三方厂商的设计器和执行器，RPA机器人需要自动输入网银账户密码，自动登录，自动填单等，自动给某员工通过工商银行支付一批10元的费用。本场景以IE11浏览器，Windows10为验证环境。

前置条件：Windows10系统已安装第三方RPA设计器和执行器与Agent服务调用端（RPA运行环境），部署好USBServer一体化设备，以及前端交互和后端服务调用平台搭建（管理控制台），用户行为模式和密码框特征学习模型已经收敛可用，智能终端设备也已经插到了USBServer一体化设备上，并做了配置和授权。账户密码属主已经在管理控制台维护对应的账户密码，密码已经经加密卡加密存储到数据库中。

主要步骤：

1、用RPA设计器设计工商银行自动支付提单机器人相关流程节点和编排逻辑；

2、设计RPA自动输入密码节点时，光标移到密码输入框；

3、填入调用Agent服务自动输入密码接口的地址，用户密码，序列号，账号等信息；

5、20到60秒后智能终端设备挂载成功，并映射成本地串口服务，模拟成物理键盘；

6、Agent服务调用管理控制台服务端已经收敛可用的模型和特征库；

7、当用户的操作流程和界面信息被输入到预训练的深度神经网络模型中后，如果模型指出需要输入密码，并提供了密码框的具体位置，同时进行多重验证，如检查网银账户和序列号等信息后同样匹配，那么将创建一个置顶的窗口。这个窗口会锁定密码框以外的所有区域，使得在密码框外的任何键盘或鼠标操作都无法执行；

8、Agent自动调用智能终端设备，在密码框输入对应密码；

9、密码输入完成后，退出锁定状态，RPA既可进行其他节点的设计操作。

本发明的优点：

本发明通过实现RPA（机器人流程自动化）在处理密码操作时的安全保护措施，确保RPA执行器无法访问密码的明文信息，同时也保证RPA操作人员或任何第三方无法获取密码明文。该方法依赖于预先学习的深度神经网络模型，以判断是否需要输入密码及其密码框具体位置；仅当模型确认需要输入密码时，智能终端设备才会自动将密码填充至指定的密码输入框中。此外，系统会锁定密码输入框外的键盘和鼠标操作，防止非授权的自动输入尝试，并且只有深度神经网络模型识别出的密码输入框才能触发智能终端的自动输入功能。最终在RPA自动化操作的密码管理过程中，提高了密码的安全性。

本发明密码在存储阶段会通过加密卡进行加密处理，保证其安全性。在使用阶段，密码依然以密文形式存在，且只有当特定的密码输入框特征被预训练的深度神经网络模型匹配成功时，才能输入密码；这一流程确保了密码在RPA自动化操作过程中的安全性、可靠性和可控性，有效避免了密码的非法使用、数据盗窃等安全风险，从而降低了数据泄露和资金被非法盗用的风险，提高了企业在数据安全和管理方面的治理效能。

本发明采用深度学习，在学习RPA自动化密码输入过程中，重点在于分析用户行为模式和识别密码输入框的关键特征。这包括详细了解用户的操作步骤，以及密码输入框的各种属性，如控件的句柄、ID、名称、类型、层级深度、坐标位置、与其他元素的相对距离，以及其在页面结构中的父子关系和兄弟节点关系等。此外，还需考虑与之相关的应用特征，包括账户信息、序列号等上下文数据。通过这种多角度、多方法的综合分析，实现对密码输入框控件的精确识别、定位和匹配。

本发明采用HooK的方式注入学习到的应用和密码框等控件，并在整个屏幕上置顶锁定一个窗体，只允许键盘和鼠标在密码框中操作，其他区域键盘和鼠标全部锁定并置灰。不允许其他任何方式的操作，以及程序调用。避免非法调用智能终端设备输出密码。

本发明密码输入采用可编程硬件模拟物理键盘进行密码自动输入，并结合加密卡，进行密码加密，同时除密码属主可以管理自己的密码，RPA自动化操作密码整个过程中，任何非属主都无法获取密码，密码处于加密或不可见，不可调用的状态。使密码更安全，更可靠，密码泄露的概率和风险窗口更小。

本发明极大的提升了密码的安全性，RPA自动化操作密码整个过程，密码是加密或可不见，除属主可以管理密码，其他任何第三方都不可获取其原始密码，包含不限RPA执行器，RPA实施人员，系统管理员等。禁止任何非模式和特征匹配到的密码框的密码自动输入调用。

本发明降低了企业敏感数据泄露风险，敏感数据可能存在的超范围使用，非授权使用等，提升涉及到RPA资金业务方向的自动化操作过程中的资金安全，降低资金管理风险。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种RPA机器人自动化操作密码的安全防护方法，其特征在于，包括：

管理控制台管理RPA机器人自动化过程中涉及的账户密码，通过加密卡对密码进行加密管理；

基于用户行为数据和密码框数据训练深度神经网络模型，获得训练好的深度神经网络模型；

基于Agent调用端采集当前用户行为数据和密码框数据，通过训练好的所述深度神经网络模型判断当前操作阶段是否需要输入密码以及密码框的位置；

当判断结果为需要输入密码时，锁定所述密码框外的键盘和鼠标操作， Agent调用端调用所述管理控制台获取密文及临时密钥，并解密所述密文为原始密码传输至智能终端设备；

所述智能终端设备自动将原始密码填充至密码框中，密码输完后自动关闭当前锁定状态。

2.根据权利要求1所述的RPA机器人自动化操作密码的安全防护方法，其特征在于：所述用户行为数据，包括用户点开的界面地址、用户操作的控件和用户触发的事件类型；

所述密码框数据，包括界面上所有密码框的句柄、ID、名称、类型、深度、层级、坐标、父子类、兄弟节点以及是否是密码框。

3.根据权利要求1所述的RPA机器人自动化操作密码的安全防护方法，其特征在于：基于用户行为数据和密码框数据训练深度神经网络模型，获得训练好的深度神经网络模型，包括：

对采集的用户行为数据和密码框数据进行预处理和标记，将用户打开界面到关闭或离开界面的整个操作过程作为一个独立样本，每个独立样本的标签指示是否需要输入密码，如果需要，对应标记该独立样本密码框的对应位置，获得数据集；

将所述数据集随机分为训练集、验证集和测试集；

基于训练集训练深度神经网络模型，首先，分别对用户行为数据通过单层线性编码层进行编码获得用户行为特征，对用户行为数据进行位置编码获得位置编码特征并添加到所述用户行为特征后获得完整用户行为特征，对密码框数据通过多层感知器进行编码获得密码框特征；

其次，合并所述完整用户行为特征和密码框特征，输入到由多个自注意力编码层组成的结构中；

深度神经网络模型通过两个不同的特征解码器分别输出是否需要输入密码和密码框的位置；

通过所述验证集验证当前神经网络模型的输出结果的正确率；

迭代训练获取训练好的深度神经网络模型，并通过所述测试集检验深度神经网络模型的性能。

4.根据权利要求1所述的RPA机器人自动化操作密码的安全防护方法，其特征在于：对采集的用户行为数据和密码框数据进行预处理和标记，包括：

对所述用户行为数据，将网址转换为ASCII码，将用户交互的控件类型和所有事件类型转换为数字代码；

对所述密码框数据，将界面上的所有密码框数据转换成数字编码。

5.根据权利要求1所述的RPA机器人自动化操作密码的安全防护方法，其特征在于：

基于Agent调用端收集的实时用户行为模式数据和密码框数据，在线调整学习好的所述深度神经网络模型。

6.根据权利要求1所述的RPA机器人自动化操作密码的安全防护方法，其特征在于：

所述智能终端设备存储有所述管理控制台签发的数字证书以及私钥；

所述智能终端设备中内置专用CPU芯片，CPU芯片生成所需的安全密钥，对密钥执行数字签名及验证操作，确保密钥安全，同时进行模拟键盘输入；

所述智能终端设备基于所述密钥，对加密管理的密码自动解密加密后的密文，并进行键盘模拟输入。

7.根据权利要求1所述的RPA机器人自动化操作密码的安全防护方法，其特征在于：Agent调用端调用所述管理控制台获取密文及临时密钥，并解密所述密文为原始密码传输至智能终端设备，包括：

光标定位在当前账户的密码框；

Agent调用端锁定除当前光标所在密码框之外的区域；

Agent调用端调用智能终端设备的自动输入密码接口，Agent调用端校验智能终端设备输入密码过程中密码对应应用账号或序列号是否一致、密码长度是否一致，以及密码框特征是否与预训练的特征匹配；

Agent调用端调用管理控制台服务端密码解密接口，管理控制台服务端将加密管理的密码解密为原始密码，并与Agent调用端协商临时密钥，再通过临时密钥加密原始密码为密文发送Agent调用端；

Agent调用端通过所述临时密钥解密所述密文得到原始密码传给所述智能终端设备，智能终端设备将原始密码自动输出到光标定位的所述密码框中。

8.一种RPA机器人自动化操作密码的安全防护系统，用于实现如权利要求1~7任一项所述的RPA机器人自动化操作密码的安全防护方法，其特征在于，运行在虚拟主机或实体主机上，包括：智能终端设备及与其连接的USBServer一体化设备，所述USBServer一体化设备连接管理控制台，所述智能控制台连接用户行为模式与密码框特征库，所述用户行为模式与密码框特征库连接Agent调用端；

所述管理控制台，用于：

维护和管理RPA自动化过程中涉及的账户密码；

所述智能终端设备，用于：

存储所述管理控制台签发的数字证书以及私钥，生成所需的安全加密密钥，并对数字证书系统中的密钥执行数字签名及验证操作，确保密钥安全；

所述Agent调用端，运行在RPA运行环境中，用于：

实现所述智能终端设备的远程调用，并映射成本地串口服务；

采集用户行为模式和密码框的特征，包括用户点开的界面地址、用户操作的控件、用户触发的事件类型，以及包括密码框的句柄、ID、名称、类型、深度、层级、坐标、父子类和兄弟节点；

在除密码框之外区域内的键盘和鼠标处于锁定状态下，所述Agent调用端调用所述智能终端设备自动输出密码到指定的密码框；

所述USBServer一体化设备，用于：

实现所述智能终端设备的远程挂载和卸载，承载所述管理控制台和所述用户行为模式与密码框特征库，并内置加密卡进行账户密码加密存储和传输；

所述用户行为模式与密码框特征库，用于：

存储所述Agent调用端采集到的用户行为模式数据和密码框数据，以及存储训练好的深度神经网络模型。