CN115905767B

CN115905767B - 基于固定候选框目标检测算法的网页登录方法及系统

Info

Publication number: CN115905767B
Application number: CN202310021133.6A
Authority: CN
Inventors: 廖万里; 金卓; 林春莲; 黄健朗; 肖飞; 刘金朝
Original assignee: Zhuhai Kingsware Information Technology Co Ltd
Current assignee: Zhuhai Kingsware Information Technology Co Ltd
Priority date: 2023-01-07
Filing date: 2023-01-07
Publication date: 2023-06-02
Anticipated expiration: 2043-01-07
Also published as: CN115905767A

Abstract

本发明公开了基于固定候选框目标检测算法的网页登录方法及系统，所述方法包括以下步骤：以网页固定元素框作为检测模型训练的先验框和训练数据，通过损失函数训练出登录相关元素的检测模型；检测模型检测出网页登录页面截图中登录的相关元素位置信息；调用训练好的检测模型，将检测结果的信息反馈给RPA自动登录系统；RPA自动登录系统通过解析得到的检测结果，自动在相应的位置填入相关信息进行登录。本发明以网页自有的元素框自动生成候选框，此种方式生成的候选框不会存在太多的冗余框，可有效解决正负样本严重不平衡的问题，避开人为设定超参数尺度和长宽比的高要求，同时可以有效减少模型的计算量，提高运行速率。

Description

基于固定候选框目标检测算法的网页登录方法及系统

技术领域

本发明涉及网站登录验证领域，特别涉及基于固定候选框目标检测算法的网页登录方法及系统。

背景技术

现大多数网站在使用时都需要进行登录验证，最常用的自动化方式是通过RPA查找需要填写用户名和密码的元素，模拟人的行为自动登录，但存在以下缺陷：

现有方式实现登录需要针对不同的网页的结构，寻找需要用到的元素，配置对应的RPA登录脚本，当需要登录的页面较多时，整个过程会比较繁琐。

传统目标检测算法在设计候选框时，常采用Anchor机制，即为设置不同的尺度(scale)和长宽比(aspect ratio)，即可得到基于anchor的多个anchor box，使得网络可直接在此基础上进行目标分类及边界框坐标回归，可有效提高网络目标召回能力，对于小目标检测来说提升非常明显。但Anchor机制中，需要人为设定超参数，尺度(scale)和长宽比(aspect ratio)，需要较强的先验知识，而且冗余框非常之多，一张图像内的目标毕竟是有限的，基于每个anchor设定大量anchor boxes会产生大量的easy-sample，即完全不包含目标的背景框，这会造成正负样本严重不平衡问题。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供基于固定候选框目标检测算法的网页登录方法。

本发明的另一目的在于提供基于固定候选框目标检测算法的网页登录系统。

本发明的目的通过以下的技术方案实现：

基于固定候选框目标检测算法的网页登录方法，包括以下步骤：

以网页固定元素框作为检测模型训练的先验框和训练数据，通过损失函数训练出登录相关元素的检测模型；检测模型检测出网页登录页面截图中登录的相关元素位置信息；

调用训练好的检测模型，将检测结果的信息反馈给RPA自动登录系统；

RPA自动登录系统通过解析得到的检测结果，自动在相应的位置填入相关信息进行登录。

所述基于固定候选框目标检测算法的网页登录方法，还包括数据预处理步骤：基于Python第三方库selenium中的webdriver函数，通过加载chrome浏览器的driver.exe实现启动chrome浏览器并打开指定网站；通过lxml库和xml库构造dom树获取所有元素的xpath、page_source函数获取网站的源码，再由find_element_by_xpath函数和get_attribute函数筛选出关闭弹窗的元素并进行点击操作；然后筛选出相关元素作为标签并把位置信息记录到标签文档，其他带框元素则作为otherbox标签作记录。

所述检测模型采用了由Fast-RCNN和FCN结合一起的Mask-RCNN网络架构，主干网络采用ResNet-101提取特征，并由此得到五层特征图，所述特征图是以FPN的方式自下而上、自上而下以及横向连接地把低层特征空间信息和高层特征语义信息融合得出；对融合后的特征图中的每个点设定ROI区域，从而获得多个ROI区域，再通过分类和回归过滤得到一部分ROI区域，也就是RPN网络；接着对ROI区域执行ROI Align操作，将原图和特征图的像素对应起来，再将特征图和固定的特征对应起来；最后对这些ROI区域进行多类别分类、候选框回归和引入FCN生成Mask，完成目标检测任务。

所述自下而上就是深度卷积网络的前向提取特征的过程，自上而下则是对最后卷积层的特征图进行上采样的过程，横向连接则是融合深层的卷积层特征和浅层卷积特征的过程。这也就是为什么对小物体也有很好的检测效果，它融合了深层卷积层的高级别特征和浅层卷积层的低级别特征。

所述训练好的检测模型的训练服务经过交叉熵损失权重计算，其中计算了RPNbox的分类损失、框偏移损失，以及物品准确边界的损失，结合起来作为最终的损失，其算法评估主要通过训练过程中训练集和验证集的损失变化和登录所需输入框的准确率判断。

所述训练好的检测模型结合网页自有的多元素特点，用网页自有的元素框代替传统默认生成的固定先验框，即固定候选框，将每个训练图片的固定候选框作为其对应的anchorboxes作用到RPN网络。

所述相关元素包括用户名、密码、验证码、登录按钮、注册、忘记密码。

本发明的另一目的通过以下的技术方案实现：

基于固定候选框目标检测算法的网页登录系统，包括基于固定候选框的目标检测模型训练模块、图像检测模块、RPA自动登录系统；其中，基于固定候选框的目标检测模型训练模块是以网页固定元素框作为模型训练的先验框和训练数据，通过损失函数训练出能够准确检测出登录相关元素，图像检测模块调用训练好的检测模型，将检测结果的位置信息返回，RPA自动登录系统首先是传递需要检测的网页图片到图像检测模块，根据其返回的结果，解析得到登录元素的位置信息，然后通过获取到的位置信息，在网页上找到需要填写的元素框并填入相应的登录内容，完成登录。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明实现RPA与AI结合，通过AI的方式寻找登录元素，由AI告诉RPA所需登录元素的位置信息，再由RPA自动执行操作进行网页登录。结合网页页面多元素且每个元素都有对应位置的特点，本发明设计固定候选框目标检测算法，检测出登录页面所需的用户名、密码、登录按钮、注册、忘记密码等的位置信息，将该信息传递到RPA中，可完成全流程自动化的操作。

2、本发明设计的固定候选框检测算法，避开人为设定超参数尺度(scale)和长宽比(aspect ratio)的高要求，以网页自有的元素框自动生成候选框，此种方式生成的候选框不会存在太多的冗余框，可有效避开正负样本严重不平衡的问题，同时可以有效减少模型的计算量，提高运行速率。

3、本发明通过采用固定候选框的方式，有效提高了模型的训练速度和损失函数的收敛速度。

4、本发明智能登录组件获取元素的方式是动态的，界面升级不会导致登录失败，版本适应性强。

5、本发明登录元素检测模型和验证码识别模型均是以接口的方式与RPA进行交互。底层模型的升级优化对整个智能登录组件不影响，灵活性高。

6、本发明基于视觉特征实现RPA的操作逻辑符合操作人员的思维逻辑，有利于人员更好地开发。

7、本发明智能登录组件采用AI的方式检测登录元素，无需受限于登录元素位置信息的影响。而且登录界面视觉特征具有一致性，当检测元素服务找到相应位置时， RPA可以实现登录逻辑的统一处理，不止针对配置过的网站，对于新的网站界面，也可实现智能登录。

附图说明

图1为检测模型的数据集构造示意图。

图2为检测模型的网络结构示意图。

图3为RPN结构的工作流程图。

图4为修改anchor box前的训练损失曲线图。

图5为修改anchor box后的训练损失曲线图。

图6为图像检测模块的工作示意图。

图7为RPA智能登录组件业务架构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1-7，基于固定候选框目标检测算法的网页登录方法，其目的是准确检测出网页登录页面截图中登录的相关元素位置信息，比如用户名、密码、登录按钮、注册、忘记密码等，将检测结果的信息反馈给RPA，RPA通过解析得到的检测结果，自动在相应的位置填入相关信息进行登录，实现整个过程的自动化登录，无需人为介入。整个过程包含了三大模块：基于固定候选框的目标检测模型训练服务、图像检测服务、RPA自动登录系统。

基于固定候选框的目标检测服务主要是以网页固定元素框作为模型训练的先验框和训练数据，通过损失函数训练出能够准确检测出登录相关元素的模型。图像检测服务主要是调用训练好的检测模型，将检测结果的位置信息返回。RPA自动登录系统首先是传递需要检测的网页图片到图像检测服务，根据其返回的结果，解析得到登录元素的位置信息，然后通过获取到的位置信息，在网页上找到需要填写的元素框并填入相应的登录内容，完成登录。

一、基于固定候选框的目标检测模型训练服务

基于固定候选框的目标检测模型训练服务主要包括数据预处理、模型网络结构、关键技术点和算法评估模块。

1、数据预处理

数据预处理主要在模型训练之前对数据进行分析和处理，清洗脏数据和保证训练数据分布平衡。

基于Python第三方库selenium中的webdriver函数，通过加载chrome浏览器的driver.exe实现启动chrome浏览器并打开指定网站。由于存在一些网站需要点击关闭一些弹窗或者点击某些按钮才会显示登录窗口位置，因此通过lxml库和xml库构造dom树获取所有元素的xpath、page_source函数获取网站的源码，再由find_element_by_xpath函数和get_attribute函数筛选出关闭弹窗的元素并进行点击操作。然后通过一系列判断逻辑筛选出输入账号、密码、验证码、注册、忘记密码等元素作为标签并把位置信息记录到标签文档，其他带框元素则作为otherbox标签作记录。

检测模型的数据集构造如图1所示。

2、模型网络结构

本发明的检测模型采用了由Fast-RCNN和FCN结合一起的Mask-RCNN网络架构，主干网络采用ResNet-101提取特征，并由此得到五层特征图，以FPN的方式自下而上、自上而下以及横向连接地把低层特征空间信息和高层特征语义信息融合出特征图；对融合后的特征图中的每个点设定ROI区域，从而获得多个ROI区域，再通过分类和回归过滤得到一部分ROI区域，也就是RPN网络；接着对ROI区域执行ROIAlign操作，将原图和特征图的像素对应起来，再将特征图和固定的特征对应起来；最后对这些ROI区域进行多类别分类、候选框回归和引入FCN生成Mask，完成目标检测任务。模型网络结构如图2所示。

3、关键技术点

本发明主要用于检测登录网站中的用户名、密码、登录按钮等元素的位置信息，而这些元素的特征和元素框的大小差异不大，为了更好地区分开这些框元素，并且使得到的元素位置信息更为准确，筛选ROI区域获得候选框的步骤起到至关重要的作用。

原始模型中，对于每张图片，都会根据不同的尺度(scale)和长宽比(aspectratio)，生成固定的先验框。例如scale= (32, 64, 128, 256, 512),aspect ratio=（0.5,1, 2），有3中不同的长宽比，则生成固定的先验框数量为261888，计算如下：

anchor boxes 的作用是将这261888个框传给RPN网络, 让 RPN 判断其中哪些anchor boxes 可能存在目标，并进一步回归坐标，得到region proposals 输给后面的网络。模型回归的目标是真实 boxes 与 anchor boxes 之间坐标的偏移量。将偏移量和anchor boxes 的坐标带入预先设定的公式中，就得到了最终预测的boxes坐标。计算公式如下：

其中G代表的是真实框，A代表的是先验框anchor box，dw、dh为宽高的偏移量，其中Ax，Ay为anchor box的中心点坐标，Aw，Ah为anchor box在对应原图的相对宽高；Gx指真实框的横坐标，Gy指真实框的纵坐标，Gw指真实框的宽，Gh指真实框的高。

如图3所示，针对这一流程，本发明首先结合网页自有的多元素特点，用网页自有的元素框代替传统默认生成的固定先验框，即固定候选框，将每个训练图片的固定候选框作为其对应的anchorboxes作用到RPN网络。

本发明通过用网页自有的元素框代替anchor boxes的过程，可有效减少模型的计算量，加快模型的收敛速度。

4、算法评估

本发明的模型训练服务经过交叉熵损失权重计算，其中计算了RPN box的分类损失、框偏移损失，以及物品准确边界的损失，结合起来作为最终的损失。算法评估主要通过训练过程中训练集和验证集的损失变化和登录所需输入框的准确率判断。如图4所示，替换anchor boxes前的训练集和验证集呈现损失波动大，不稳定的情况，图4中，曲线A为验证集的损失值，曲线B为训练集的损失值。如图5所示，替换后训练集和验证集中的损失呈现不断下降，且波动稳定，在第180个epoch就已经基本收敛，图5中，曲线A为验证集的损失值，曲线B为训练集的损失值。如表1所示，用同样的数据训练同样的epoch，替换后的模型训练时长缩短了3h，训练速度提高了30%。

二、登录元素图像检测服务

登录元素识别服务主要由网站登录元素识别接口构成，如图6所示。用户把需要登录的网站图片传入识别接口服务，服务调用识别模型识别网站图片的输入账号、输入密码、输入验证码和验证码图片等元素的位置，并将模型结果返回给RPA。

三、RPA智能登录系统

RPA智能登录系统主要有3个服务构成，如图7 所示，分别是RPA服务、登录元素检测服务、验证码服务。RPA服务提供了与AI和页面进行交互的功能，模拟人工完成登录的操作；登录元素检测服务主要用于检测出页面登录框的位置，为RPA提供用户名、密码、登录按钮等的位置信息；验证码服务提供验证码识别功能，包括数字+英文的验证码、计算验证码、滑块验证码等

智能登录组件作为RPA智能登录系统的核心组件，其输入有网址、登录账号、登录密码以及保存验证码图片路径。智能登录组件实现打开网站登录页面后生成截图并传入登录元素检测服务接口，检测解析返回输入账号框、输入密码框、输入验证码和验证码图片的位置信息，验证码识别服务接收RPA对验证码图片位置信息的截图后识别返回验证码结果，再由RPA利用位置信息实现账号、密码和验证码的输入，最后点击登录按钮实现网站登录。

RPA智能登录系统与普通RPA的区别点在于RPA智能登录系统缩短RPA的代码量以及适用多个不同的登录网站，提高了泛化能力。

首先，智能登录系统所识别的输入框是借由AI模型预测出框的坐标位置，再利用RPA实现登录操作，而RPA可以依据对象句柄网页元素抓取来实现抓屏操作页面，而句柄是指操作系统内存里指向某个结构体的指针，如在Windows中设立句柄是由于内存管理的需要，操作系统也需要知道每个应用程序的内存位置，因此Windows用句柄来记载数据地址的变更。句柄标识了应用程序中不同类型的对象实例，如窗口、按钮、图标、滚动条、输出设备、控件或者文件等。同时，Windows也提供了相关的API来获取这些窗口句柄，如FindWindow（获取窗口句柄）、EnumWindows和EnumChildWindows（获取所有顶层窗口以及它们的子窗口）等函数。

涉及到的英文名词含义如下：

RPA：RPA是Robotic Process Automation的缩写，它译为机器人流程自动化，指用软件机器人实现业务处理的自动化，是以“模拟人”的方式进行业务操作，它可以帮助企业处理很多重复的、规则固定的、繁琐的流程作业。这是继工业机器人之后，近年来在办公领域开始备受关注的流程自动化机器人软件。采用RPA技术之后，对于公司的后台业务自动化，业务处理的正确性、工作效率的提高、甚至于业务的扩大化都很有裨益。

Anchor：在目标检测任务中，输入图像经过骨干网络提取得到特征图，该图上的每个像素点，即为anchor锚点。以每个anchor为中心点，人为设置不同的尺度(scale)和长宽比(aspect ratio)，即可得到基于anchor的多个anchor box，用以框定图像中的目标，这就是Anchor机制。

RPN：RPN是Region Proposal Network的缩写，其本质是基于滑窗的无类别object检测器，输入是任意尺度的图像，输出是一系列矩形候选区域。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.基于固定候选框目标检测算法的网页登录方法，其特征在于，包括以下步骤：

数据预处理步骤：基于Python第三方库selenium中的webdriver函数，通过加载chrome浏览器的driver.exe实现启动chrome浏览器并打开指定网站；通过lxml库和xml库构造dom树获取所有元素的xpath、page_source函数获取网站的源码，再由find_element_by_xpath函数和get_attribute函数筛选出关闭弹窗的元素并进行点击操作；然后筛选出相关元素作为标签并把位置信息记录到标签文档，其他带框元素则作为otherbox标签作记录；

所述检测模型采用了由Fast-RCNN和FCN结合的Mask-RCNN网络架构，主干网络采用ResNet-101提取特征，并由此得到五层特征图，所述特征图是以FPN的方式自下而上、自上而下以及横向连接地把低层特征空间信息和高层特征语义信息融合得出；对融合后的特征图中的每个点设定ROI区域，获得多个ROI区域，通过分类和回归过滤得到一部分ROI区域，获得RPN网络；对ROI区域执行ROI Align操作，将原图和特征图的像素对应起来，再将特征图和固定的特征对应起来；最后对这些ROI区域进行多类别分类、候选框回归和引入FCN生成Mask，完成目标检测任务；

调用训练好的检测模型，将检测结果的信息反馈给RPA自动登录系统；所述训练好的检测模型结合网页自有的多元素特点，用网页自有的元素框代替传统默认生成的固定先验框，即固定候选框，将每个训练图片的固定候选框作为其对应的anchorboxes作用到RPN网络；

2.根据权利要求1所述基于固定候选框目标检测算法的网页登录方法，其特征在于，所述自下而上是深度卷积网络的前向提取特征的过程，自上而下是对最后卷积层的特征图进行上采样的过程，横向连接是融合深层的卷积层特征和浅层卷积特征的过程。

3.根据权利要求1所述基于固定候选框目标检测算法的网页登录方法，其特征在于，所述训练好的检测模型的训练服务经过交叉熵损失权重计算，包括计算RPN box的分类损失、框偏移损失，以及物品准确边界的损失，结合起来作为最终的损失，算法评估通过训练过程中训练集和验证集的损失变化和登录所需输入框的准确率判断。

4.根据权利要求1所述基于固定候选框目标检测算法的网页登录方法，其特征在于，所述相关元素包括用户名、密码、验证码、登录按钮、注册、忘记密码。

5.根据权利要求1所述基于固定候选框目标检测算法的网页登录方法，其特征在于，所述RPA自动登录系统所识别的输入框是利用AI模型预测出框的坐标位置，再利用RPA实现登录操作，而RPA依据对象句柄网页元素抓取来实现抓屏操作页面，而句柄是指操作系统内存里指向某个结构体的指针，用句柄来记载数据地址的变更；通过句柄标识应用程序中不同类型的对象实例，所述对象实例包括窗口、按钮、图标、滚动条、输出设备、控件或者文件；同时，Windows提供相关的API来获取窗口句柄，所述相关的API包括获取窗口句柄、获取所有顶层窗口以及所述顶层窗口的子窗口。

6.基于固定候选框目标检测算法的网页登录系统，其特征在于：用于实现权利要求1至5中任一项权利要求所述网页登录方法；包括基于固定候选框的目标检测模型训练模块、图像检测模块、RPA自动登录系统；其中，基于固定候选框的目标检测模型训练模块是以网页固定元素框作为模型训练的先验框和训练数据，通过损失函数训练出检测出登录相关元素的检测模型，图像检测模块调用训练好的检测模型，将检测结果的位置信息返回，RPA自动登录系统传递需要检测的网页图片到图像检测模块，根据返回的结果，解析得到登录元素的位置信息，然后通过获取到的位置信息，在网页上找到需要填写的元素框并填入相应的登录内容，完成登录。