CN115097987A - 图形界面弹窗处理方法及电子设备 - Google Patents
图形界面弹窗处理方法及电子设备 Download PDFInfo
- Publication number
- CN115097987A CN115097987A CN202210822057.4A CN202210822057A CN115097987A CN 115097987 A CN115097987 A CN 115097987A CN 202210822057 A CN202210822057 A CN 202210822057A CN 115097987 A CN115097987 A CN 115097987A
- Authority
- CN
- China
- Prior art keywords
- popup
- picture
- window
- picture set
- graphical interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 145
- 238000012549 training Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 37
- 238000007781 pre-processing Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 9
- 230000000295 complement effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000004801 process automation Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及一种图形界面弹窗处理方法及电子设备，通过获获取图形界面图片；采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗；采用第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮；通过RPA执行所述弹窗关闭按钮，关闭所述弹窗。能够采用针对弹窗的训练数据获取目标检测模型，以此实现对图形界面图片中的弹窗位置以及弹窗关闭位置的快速检测，无需人工，可以自动准确、快速地解析图形界面里的弹窗主体位置和关闭按钮位置，无需软件系统底层数据，而是直接仿照人的方式，从图形界面中获取信息。能够在保证检测性能的情况下，提高检测速度，极大地减少计算量。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种图形界面弹窗处理方法及电子设备。
背景技术
机器人流程自动化(Robotic process automation，也称为RPA)，是一种通过模拟人工手动操作键鼠、键盘等工具，自动处理规则清晰、批量化的高频业务的技术。它适用于企业内具有明确业务规则、结构化输入和输出的操作流程，例如读取邮件、对账汇总、检查文件、生成文件和报告等枯燥、重复、标准化的工作，都可以让RPA机器人代为完成。
RPA能够轻松集成在任何系统上，跨系统处理数据。不仅简化了操作流程，提高了数据处理效率和准确度，还可有效避免人为失误，规避业务流程中数据被人为篡改的风险。通过RPA可以减轻员工的工作量，将员工从枯燥、重复的数据搬运中释放出来，让他们专注于更具创造性的工作，成长为复合型人才，更好地利用数据，为企业创造更多价值。
其中，在终端设备的图形界面上，采用机器人流程自动化技术可以模拟人执行重复的图形界面操作，减轻工作人员的负担。然而，在流程运行过程中可能会遇见异常情况，比如很常见的弹窗，这时需要人去操作，处理弹窗，才能继续运行流程。具体的，需要人为找到弹窗主体位置和关闭按钮位置，以此进行弹窗关闭操作，实现一次弹窗的关闭处理流程，此过程需要花费几秒的时间。而在实际中，可能会出现若干次弹窗，人为需要多次进行上述弹窗关闭处理，降低了工作效率，造成了人力的额外浪费。
发明内容
为了解决上述问题，本申请采用了如下技术方案：。
本申请一方面，提出一种第一检测模型的生成方法，包括如下步骤：
采集若干张第一图片并进行预处理，得到第一弹窗预处理图片集；
采集若干张不含弹窗的第二图片进行预处理，得到第一图片集；
将所述第一弹窗预处理图片集加载于所述第一图片集上，得到第一图片集合，以所述第一图片集合作为模型训练数据，训练得到所述第一检测模型。
作为本申请的一种可选实施方案，可选地，采集若干张不含弹窗的第二图片进行预处理，得到第一图片集，包括：
预设第一缩放比例；
将每张不含弹窗的第二图片，按照所述第一缩放比例进行缩放，得到若干第一缩放图片；
将若干所述第一缩放图片集合为第一图片集，并将所述第一图片集作为背景。
作为本申请的一种可选实施方案，可选地，将所述第一弹窗预处理图片集加载于所述第一图片集上，得到第一图片集合，以所述第一图片集合作为模型训练数据，训练得到所述第一检测模型，包括：
预设第一加载规则；
将所述第一弹窗预处理图片集，根据第一加载规则加载于作为背景的所述第一图片集上，得到所述第一图片集合；
对所述第一图片集合进行缩放预处理，得到具有弹窗位置标记的第一图片集合，将所述具有弹窗位置标记的第一图片集合作为所述第一检测模型的模型训练数据，训练得到所述第一检测模型。
本申请另一方面，提出一种第二检测模型的生成方法，包括如下步骤：
采集若干张关闭键图片并进行预处理，得到关闭键预处理图片集；
采集若干张不包含关闭键的弹窗图片并进行预处理，得到第二弹窗预处理图片集；
将所述关闭键预处理图片集加载于所述第二弹窗预处理图片集上，得到第二图片集合，以所述第二图片集合作为模型训练数据，训练得到所述第二检测模型。
作为本申请的一种可选实施方案，可选地，采集若干张不包含关闭键的弹窗图片并进行预处理，得到第二弹窗预处理图片集，包括：
采集若干张互为补充的弹窗图片和图形界面图片，并抠除关闭键，得到若干不包含关闭键的第二弹窗图片集；
根据预设缩放比例，对每张所述不包含关闭键的第二弹窗图片集进行缩放处理，得到第二弹窗缩放图片集；
将所述第二弹窗缩放图片集作为背景处理，得到所述第二弹窗预处理图片集。
作为本申请的一种可选实施方案，可选地，将所述关闭键预处理图片集加载于所述第二弹窗预处理图片集上，得到第二图片集合，以所述第二图片集合作为模型训练数据，训练得到所述第二检测模型，包括：
预设第二加载规则；
将所述关闭键预处理图片集，根据所述第二加载规则加载于作为背景的所述第二弹窗预处理图片集上，得到所述第二图片集；
对所述第二图片集进行缩放处理，得到具有关闭键位置标记的第二图片集合，将所述具有关闭键位置标记的第二图片集合作为所述第二检测模型的模型训练数据，训练得到所述第二检测模型。
本申请另一方面，还提出一种图形界面弹窗处理方法，包括如下步骤：
获取图形界面图片；
采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗；
采用第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮；
通过RPA执行所述弹窗关闭按钮，关闭所述弹窗。
作为本申请的一种可选实施方案，可选地，所述采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗，包括：
预设缩放比例；
根据所述预设缩放比例，对所述图形界面图片进行缩放，得到图形缩放图片；
输出并保存所述图形缩放图片。
作为本申请的一种可选实施方案，可选地，所述采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗，还包括：
获取所述图形缩放图片；
将所述图形缩放图片输入所述第一检测模型，采用所述第一检测模型对所述图形缩放图片进行弹窗检测，获得所述图形缩放图片中的弹窗图像；
根据所述弹窗图像，标记出弹窗位置。
作为本申请的一种可选实施方案，可选地，所述采用第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮，包括：
根据所述弹窗位置，将所述弹窗从所述图形界面图片中抠除；
获取抠除的所述弹窗，并将其输入所述第二检测模型；
采用所述第二检测模型对所述弹窗进行关闭键位置检测，获得并标记出所述弹窗中的弹窗关闭按钮。
作为本申请的一种可选实施方案，可选地，所述通过RPA执行所述弹窗关闭按钮，关闭所述弹窗，包括：
将所述弹窗中的弹窗关闭按钮，发送至RPA；
所述RPA根据预设关闭执行程序，执行所述弹窗关闭按钮，关闭所述弹窗；
输出执行结果。
本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的图形界面弹窗处理方法。
本申请另一方面，还提出一种计算机储存介质，其上存储有计算机程序，所述程序被处理器执行时实现所述的图形界面弹窗处理方法。
本申请另一方面，还提出一种实现所述的图形界面弹窗处理方法的装置，包括：
图片获取模块，用于获取图形界面图片；
第一检测模块，用于采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗；
第二检测模块，用于采用第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮；
执行模块，用于通过RPA执行所述弹窗关闭按钮，关闭所述弹窗。
本发明的技术效果：
本申请通过获获取图形界面图片；采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗；采用第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮；通过RPA执行所述弹窗关闭按钮，关闭所述弹窗。能够采用针对弹窗的训练数据获取目标检测模型，以此实现对图形界面图片中的弹窗位置以及弹窗关闭位置的快速检测，无需人工，可以自动准确、快速地解析图形界面里的弹窗主体位置和关闭按钮位置，无需软件系统底层数据，而是直接仿照人的方式，从图形界面中获取信息。能够在保证检测性能的情况下，提高检测速度，极大地减少计算量。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为本发明第一检测模型的生成步骤示意图；
图2示出为本发明第二检测模型的生成步骤示意图；
图3示出为本发明图形界面弹窗处理方法的实施流程示意图；
图4示出为本发明实施例4的装置的应用系统组成示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
实施例1
本申请采用针对弹窗的训练数据进行训练，获取目标检测模型，以此实现对图形界面图片中的弹窗位置以及弹窗关闭位置的快速检测并获取，无需人工，可以自动准确、快速地解析图形界面里的弹窗主体位置和关闭按钮位置，无需软件系统底层数据，而是直接仿照人的方式，从图形界面中获取信息。能够在保证检测性能的情况下，提高检测速度，极大地减少计算量。
本技术的实施，首先需要采用第一检测模型，对图形界面图片进行检测，获得所述图形界面图片中的弹窗；其次，通过第二检测模型对弹窗进行检测，获得所述弹窗中的弹窗关闭按钮。
通过两次的模型检测，分别获得图形界面图片中的弹窗和弹窗中的弹窗关闭按钮，就可以最终通过RPA执行所述弹窗关闭按钮，关闭所述弹窗，实现自动化的图形界面弹窗处理。
一、第一检测模型的生成
如图1所示，首先，本申请提出一种第一检测模型的生成方法，包括如下步骤：
S100、采集若干张第一图片并进行预处理，得到第一弹窗预处理图片集；
模型训练需要采集大量前期的准备数据，本实施例中，对图形界面图片进行检测的第一检测模型的生成，同样需要大量用于训练的图片数据作为训练基础。
首先，采集若干张第一图片并进行预处理，得到第一弹窗预处理图片集。在本实施例中，第一图片为干净的弹窗图片，即不含有任何其他窗口的弹窗图片，采集a张(本实施例的a、b等数值，具体由用户进行设定，本实施例不限定其数量，只要满足训练用即可)第一图片，并对第一图片进行预处理。预处理主要是对第一图片进行背景扣除处理，得到纯净的弹窗图片。将所有的第一图片都进行预处理后，集合并保存为所述第一弹窗预处理图片集。
S200、采集若干张不含弹窗的第二图片进行预处理，得到第一图片集；
因为第一弹窗预处理图片集为扣除背景的图片，且为纯净的弹窗图片。因此，本处，需要再准备作为背景且不含弹窗的图片集合，即采集若干张不含弹窗的第二图片进行预处理，得到第一图片集。
本实施例，作为本申请的一种可选实施方案，可选地，采集若干张不含弹窗的第二图片进行预处理，得到第一图片集，包括：
预设第一缩放比例；
缩放比例，即分辨率的大小缩放。因为弹窗图片等具有一定的分辨率，为了节省计算能力，本实施例采用将图片的分辨率进行缩放，使其在保证分辨率的条件下，还能够用于图片数据处理。本实施，第一缩放比例将根据用户对所选择的第二图片的大小进行适应性缩放调整，第二图片的分辨率可以直接通过软件机器人或者终端查看，需要缩放的比例，具体缩小还是放大，由用户自行决定，本实施例不做具体限制。
将每张不含弹窗的第二图片，按照所述第一缩放比例进行缩放，得到若干第一缩放图片；
在本实施例，需要采集若干张不包含弹窗的图形界面图片(第二图片)，即没有弹窗的图形界面图片，采集后，通过所述第一缩放比例，对第二图片的分辨率进行缩放，得到所述第一缩放图片。比如，采集b张不包含弹窗的图形界面的图片，缩放到预设的c种分辨率如[2560，1440]，[2048，1152]，[2048，1080]，[1920，1440]，[1920，1200]，[1920，1080]，[1856，1392]，[1792，1344]，[1680，1050]，[1600，1200]，[1600，900]，[1440，900]，[1400，1050]，[1366，768]，[1360，768]，[1280，1024]，[1280，960]，[1280，800]，[1280，767]，[1280，720]，[1280，600]，[1152，864]，[1024，768]，[800，600]，得到共b*c张图片，将其设定为第一图片集，并作为背景。
缩放处理完毕，将所有的所述第一缩放图片集合进行集合并保存为第一图片集，并将所述第一图片集作为背景，准备和S100中扣除背景的第一弹窗预处理图片集进行图片加载。
S300、将所述第一弹窗预处理图片集加载于所述第一图片集上，得到第一图片集合，以所述第一图片集合作为模型训练数据，训练得到所述第一检测模型。
在步骤S100和步骤200准备好制作训练第一检测模型的基础数据后，本步骤，开始叠加图片、制备第一检测模型的模型训练数据。具体来讲，以所述第一图片集作为背景，将干净的所述第一弹窗预处理图片集，加载在所述背景图集上，进行比例缩放即分辨率缩放处理，得到有弹窗以及弹窗位置标注的图形界面图片，即模型训练数据图片。
作为本申请的一种可选实施方案，可选地，将所述第一弹窗预处理图片集加载于所述第一图片集上，得到第一图片集合，以所述第一图片集合作为模型训练数据，训练得到所述第一检测模型，包括：
预设第一加载规则；第一加载规则，即将第一弹窗预处理图片集加载于背景图集上的逻辑实施规则。具体将两种图片进行加载、叠加处理的规则、实施方法比如图片贴设处理，由用户进行设定即可。
将所述第一弹窗预处理图片集，根据第一加载规则加载于作为背景的所述第一图片集上，得到所述第一图片集合；本处，在将第一弹窗预处理图片集和第一图片集进行加载的具体过程中，以第一图片集为背景，将第一弹窗预处理图片集中的弹窗贴在背景上，以此实现加载处理。具体处理时，可以对任意d个位置的图片的进行贴设、加载，本实施例不限制具体的加载数量。也可以将所有的弹窗，一一对应将其贴在一个背景图片上。将所有经过贴设、叠加处理的图片进行集合，得到训练图片数据的前期数据即第一图片集合。
对所述第一图片集合进行缩放预处理，得到具有弹窗位置标记的第一图片集合，将所述具有弹窗位置标记的第一图片集合作为所述第一检测模型的模型训练数据，训练得到所述第一检测模型。
同样，为了节省计算能力，本处依旧对第一图片集合进行分辨率处理，本处的缩放预处理，具体由用户根据分辨率大小设定缩放比例，本处不进行限制。比如按照缩放比例e次(比如正态分布，0.5～2.0倍)进行缩放，得到第一图片集合。根据上述叠加处理步骤，可以得到a*b*c*d*e(如1000*1000*20*20*20＝8*10^9)张大量而且有效的训练数据即第一图片集合。
第一检测模型的模型训练数据，即第一图片集合，模型训练数据得到之后，即可将其用于第一检测模型的训练生成。
通过训练数据生成训练模型的技术比较成熟，比如通过卷积神经网络进行深度学习的方式获取学习(训练)模型，因此，本实施例可以采用深度学习方法进行模型训练，也可以采用其他可以生成训练模型的方式，具体由用户具体进行实施。
第一检测模型的模型训练数据，即第一图片集合有了之后，可以采用训练神经网络以及对应的训练规则等，将训练数据输入模型进行如卷积神经深度学习训练，得到对应的第一检测模型。
深度学习技术，是采用深度学习的方式对训练数据等进行训练而获得对应的训练模型，为公知技术，本处不进行赘述。上述采集弹窗图片的数量、第一图片集和第二图片集的数量等，本实施例不做限制。根据用户所选择的项目方案进行设定，只要可以满足方案的模型实施即可。
第一检测模型得到之后，可以利用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗。具体使用时，第一检测模型配置可以配置在软件机器人RPA中或者单独构成功能模块，比如采用RPA获取并处理得到图形缩放图片后，将图形缩放图片输入RPA，利用第一检测模型对图形缩放图片进行弹窗检测，直接获得所述图形缩放图片中的弹窗图像。此时，机器人流程自动化即RPA软件，将图形界面图片输入本系统，得到了图形界面图片中的每个弹窗的窗体位置。
二、第二检测模型的生成
第二检测模型主要对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮。第二检测模型同样需要构建训练数据，通过训练数据建立第二检测模型。第二检测模型的生成与第一检测模型比较类似，其中涉及到的相同技术描述，本实施例不再赘述。
如图2所示，本申请另一方面，提出一种第二检测模型的生成方法，包括如下步骤：
S400、采集若干张关闭键图片并进行预处理，得到关闭键预处理图片集；
第二检测模型主要获得弹窗中的弹窗关闭按钮，因此在训练生成模型时，需要采用具备关闭键的图片数据进行训练。
首先，采集一定数量比如a张干净的关闭键图像，并进行预处理。干净的关闭键图像，即该图片中仅仅标识为弹窗的关闭键图像，不再包含其他多余的图像。
采集完毕，进行预处理，采用如抠去背景的方式，将关闭键图片中存在的背景扣除，得到干净的关闭键图像。
S500、采集若干张不包含关闭键的弹窗图片并进行预处理，得到第二弹窗预处理图片集；
步骤S400得到的是纯净关闭键图片数据，同样对其进行叠加、加载处理，得到模型训练数据。
作为本申请的一种可选实施方案，可选地，采集若干张不包含关闭键的弹窗图片并进行预处理，得到第二弹窗预处理图片集，包括：
采集若干张互为补充的弹窗图片和图形界面图片，并抠除关闭键，得到若干不包含关闭键的第二弹窗图片集；首先，需要准备若干张不包含关闭键的弹窗图片。该弹窗图片可以是b1张干净的弹窗图片和b2张任意图形界面图片(因为弹窗图片比较少，所以需要任意图形界面图片进行补充)。其中，当弹窗图片数量充足，可以不需要多余的图形界面图片进行填充，具体由用户在实际操作时进行确定。弹窗图片预处理，同样采用扣除的方式，将每张弹窗图片的关闭键扣除，得到若干不包含关闭键的第二弹窗图片集，进行集合并保存。
根据预设缩放比例，对每张所述不包含关闭键的第二弹窗图片集进行缩放处理，得到第二弹窗缩放图片集；同样，为了节省算力，对第二弹窗图片集中的每张图片的分辨率进行缩放，比如加以一定的随机缩放比例c次(比如正态分布，0.5～2.0倍)，将缩放处理后的若干图片集合为第二弹窗缩放图片集并进行保存。
将所述第二弹窗缩放图片集作为背景处理，得到所述第二弹窗预处理图片集。得到的第二弹窗预处理图片集，将作为关闭键预处理图片集的加载背景图片进行使用。
S600、将所述关闭键预处理图片集加载于所述第二弹窗预处理图片集上，得到第二图片集合，以所述第二图片集合作为模型训练数据，训练得到所述第二检测模型。
将所述关闭键预处理图片集加载于所述第二弹窗预处理图片集上，得到第二检测模型的训练数据，通过深度学习，即可得到对应的训练模型。
作为本申请的一种可选实施方案，可选地，将所述关闭键预处理图片集加载于所述第二弹窗预处理图片集上，得到第二图片集合，以所述第二图片集合作为模型训练数据，训练得到所述第二检测模型，包括：
预设第二加载规则；此处的加载方式同样由用户进行具体操作，本实施例不进行限制。
将所述关闭键预处理图片集，根据所述第二加载规则加载于作为背景的所述第二弹窗预处理图片集上，得到所述第二图片集；将干净的关闭键贴在背景上，即将所述关闭键预处理图片集中的图片根据一对一或者其他方式贴设、加载于所述第二弹窗预处理图片集的图片上，得到第二图片集。
对所述第二图片集进行缩放处理，得到具有关闭键位置标记的第二图片集合，将所述具有关闭键位置标记的第二图片集合作为所述第二检测模型的模型训练数据，训练得到所述第二检测模型。
叠加处理后，对任意d1个位置的图片，加以一定的随机缩放比例e次(比如正态分布，0.5～2.0倍)，即可得到a1*(b1+b2)*c*d1*e(如300*(1000+9000)*20*20*20＝2.4*1010)张大量而且有效的训练图片集合数据，即第二图片集合。
采用深度学习的技术，对第二图片集进行深度学习训练，得到第二检测模型。
得到第二检测模型后，可以通过第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮。
三、利用第一检测模型和第二检测模型对图形界面弹窗进行处理
得到上述第一检测模型和第二检测模型后，即可利用第一检测模型和第二检测模型对图形界面弹窗进行自动化检测、关闭处理。
如图3所示，本申请另一方面，还提出一种图形界面弹窗处理方法，包括如下步骤：
S700、获取图形界面图片；
图形界面图片，即显示在终端设备比如计算机窗口上的界面图片，可以通过机器人流程自动化(RPA)软件等，将终端设备如计算机页面上的图形界面进行截图，以此获得所述图形界面图片。
本实施例，RPA的具体应用软件类型，本实施例不进行限制。
找到图形界面图片后，需要捕捉、寻找图形界面图片中的弹窗进行关闭。本实施例，通过上述第一检测模型和第二检测模型，分别从图形界面图片中获取弹窗以及从弹窗中获取弹窗中的关闭按钮。
S800、采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗；
第一检测模型具备对弹窗的自动识别功能(见上述第一检测模型的生成和使用原理)，将第一检测模型配置在RPA中，在RPA获取图形界面图片后，机器人流程自动化软件将图形界面图片输入第一检测模型，经过检测得到图形界面图片中的弹窗。
在本技术实施时，同样的，为了节省算力，首先对RPA获取的图形界面图片的分辨率进行缩放处理。作为本申请的一种可选实施方案，可选地，所述采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗，包括：
预设缩放比例；
根据所述预设缩放比例，对所述图形界面图片进行缩放，得到图形缩放图片；
输出并保存所述图形缩放图片。
因为检测模型运行的计算量与输入图像的尺寸成正比。本实施例，由于整体弹窗比较大，为了可以保持检测性能，极大地减少计算量。对图形界面图片进行缩放处理，缩放后，弹窗仍然是可以清楚分辨。因此根据所述预设缩放比例，对所述图形界面图片进行缩放，得到图形缩放图片此时将原图进行较大尺度的缩小(比如1920*1080缩小到320*180，缩小了6*6＝36倍)，再检测整体弹窗，不但可以保持检测性能，还可以减少计算量。
本实施例，对所述图形界面图片进行缩放的比例，将由用户具体进行设定。缩放处理后，得到图形缩放图片，并将图形缩放图片输出并保存，可以选择保存在RPA中。
得到第一检测模型后，即可在RPA获获取图形界面图片后，利用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗。作为本申请的一种可选实施方案，可选地，所述采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗，还包括：
获取所述图形缩放图片；
将所述图形缩放图片输入所述第一检测模型，采用所述第一检测模型对所述图形缩放图片进行弹窗检测，获得所述图形缩放图片中的弹窗图像；
根据所述弹窗图像，标记出弹窗位置。
RPA将所述图形缩放图片输入所述第一检测模型，经过第一检测模型检测，获得所述图形缩放图片中的弹窗图像，通过该弹窗图像，即可得到图形界面图片中的每个弹窗的窗体位置，用于进一步寻找关闭按钮的位置。
S900、采用第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮；
弹窗检测出来后，可以通过第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮。
本实施例，由于关闭按钮可能很小，而弹窗主体本身不大(比如400*300)，因此可以不缩放。
具体实施时，作为本申请的一种可选实施方案，可选地，所述采用第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮，包括：
根据所述弹窗位置，将所述弹窗从所述图形界面图片中抠除；本实施例，在进行检测前，根据每个弹窗的窗体位置，将其抠出(由于位置可能有些许不准，可以适当放大一点，比如多抠10％)并进行保存。然后，开始对弹窗进行检测，获得其中的关闭按钮。
获取抠除的所述弹窗，并将其输入所述第二检测模型；抠除的所述弹窗，可以通过软件机器人进行执行，将其输入第二检测模型，开始对弹窗中的关闭键位置进行检测。
采用所述第二检测模型对所述弹窗进行关闭键位置检测，获得并标记出所述弹窗中的弹窗关闭按钮。第二检测模型对所述弹窗进行关闭键位置检测，获得并标记出所述弹窗中的弹窗关闭按钮，得到每个弹窗的关闭按钮位置(即对应弹窗关闭按钮)。第二检测模型对弹窗中的关闭键进行识别、检测的原理，参见上述第二检测模型的生成机制，本实施例不再赘述。
得到弹窗关闭按钮后，即可采用RPA根据弹窗的关闭按钮位置进行操作，处理每个弹窗，将弹窗进行关闭。
在上述弹窗获取以及弹窗关闭按钮的获取阶段中，计算量与两阶段图像大小成正比，而两阶段图像均不大，因此计算量可以得到极大减小。
S1000、通过RPA执行所述弹窗关闭按钮，关闭所述弹窗。
作为本申请的一种可选实施方案，可选地，所述通过RPA执行所述弹窗关闭按钮，关闭所述弹窗，包括：
将所述弹窗中的弹窗关闭按钮，发送至RPA；
所述RPA根据预设关闭执行程序，执行所述弹窗关闭按钮，关闭所述弹窗；RPA接收到所述弹窗中的弹窗关闭按钮，即可执行预设关闭执行程序，将软件机器人的虚拟光标移动到弹窗的关闭按钮位置，模拟人为关闭弹窗的行为，实现自动化的弹窗处理效果。
处理完毕，输出执行结果。
弹窗关闭按钮获取后，机器人流程自动化软件RPA已经知道该弹窗中关闭键按钮的具体位置，此时RPA，即可选择适当的关闭按钮根据位置进行自动点击处理弹窗，关闭后，输出结果并继续工作。
即，根据检测的弹窗数量进行自动化关闭点击操作，实时在线进行图形界面的弹窗监控和自动化处理。
采用上述构建的第一检测模型和第二检测模型，分别获取图形界面图片中的弹窗和弹窗中的关闭键位置，再通过机器人流程自动化(RPA)软件根据每个弹窗的关闭按钮位置(即对应弹窗关闭按钮)，进行关闭按钮位置自动化关闭操作，处理每个弹窗，将弹窗进行关闭。实现了机器人流程自动化模拟人为关闭弹窗的行为，达到自动化的弹窗处理效果。采用上述方案，对于出现的若干次弹窗，不再需要人为多次进行上述弹窗关闭处理，大大提高了工作效率，避免了人力浪费。
需要说明的是，尽管以作为示例介绍了如上第一检测模型和第二检测模型的训练获取步骤，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据实际应用场景灵活设定训练数据集和深度学习训练方法，只要可以按照上述技术方法实现本申请的检测模型的技术原理即可。
实施例2
本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的图形界面弹窗处理方法。
电子设备的设备类型，本实施例不进行限制，比如计算机等。程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述图形界面弹窗处理方法的流程。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的处理系统中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种图形界面弹窗处理方法、装置和处理系统所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行溯源系统的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
实施例3
本申请另一方面，还提出一种计算机储存介质，其上存储有计算机程序，所述程序被处理器执行时实现所述的图形界面弹窗处理方法。
本领域技术人员可以理解，实现上述实施例图形界面弹窗处理方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
实施例4
如图3所示，基于实施例1的实施原理，本申请另一方面，还提出一种实现上述所述的图形界面弹窗处理方法的装置，包括：
第一检测模块，用于采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗；
第二检测模块，用于采用第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮；
RPA，用于获获取图形界面图片，以及根据预设关闭执行程序执行所述弹窗关闭按钮，关闭所述弹窗。
显然，本领域的技术人员应该明白，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述图形界面弹窗处理方法的实施例的流程。上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (12)
1.一种图形界面弹窗处理方法，其特征在于，包括如下步骤：
获取图形界面图片；
采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗；
采用第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮；
通过RPA执行所述弹窗关闭按钮，关闭所述弹窗。
2.根据权利要求1所述的图形界面弹窗处理方法，其特征在于，所述采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗，包括：
预设缩放比例；
根据所述预设缩放比例，对所述图形界面图片进行缩放，得到图形缩放图片；
输出并保存所述图形缩放图片。
3.根据权利要求1所述的图形界面弹窗处理方法，其特征在于，所述采用第一检测模型对所述图形界面图片进行检测，获得所述图形界面图片中的弹窗，还包括：
获取所述图形缩放图片；
将所述图形缩放图片输入所述第一检测模型，采用所述第一检测模型对所述图形缩放图片进行弹窗检测，获得所述图形缩放图片中的弹窗图像；
根据所述弹窗图像，标记出弹窗位置。
4.根据权利要求3所述的图形界面弹窗处理方法，其特征在于，所述采用第二检测模型对所述弹窗进行检测，获得所述弹窗中的弹窗关闭按钮，包括：
根据所述弹窗位置，将所述弹窗从所述图形界面图片中抠除；
获取抠除的所述弹窗，并将其输入所述第二检测模型；
采用所述第二检测模型对所述弹窗进行关闭键位置检测，获得并标记出所述弹窗中的弹窗关闭按钮。
5.根据权利要求1所述的图形界面弹窗处理方法，其特征在于，所述通过RPA执行所述弹窗关闭按钮，关闭所述弹窗，包括：
将所述弹窗中的弹窗关闭按钮，发送至RPA；
所述RPA根据预设关闭执行程序，执行所述弹窗关闭按钮，关闭所述弹窗；
输出执行结果。
6.一种权利要求1-5任一项中所述图形界面弹窗处理方法的第一检测模型的生成方法，其特征在于，包括如下步骤：
采集若干张第一图片并进行预处理，得到第一弹窗预处理图片集；
采集若干张不含弹窗的第二图片进行预处理，得到第一图片集；
将所述第一弹窗预处理图片集加载于所述第一图片集上，得到第一图片集合，以所述第一图片集合作为模型训练数据，训练得到所述第一检测模型。
7.根据权利要求6所述的第一检测模型的生成方法，其特征在于，采集若干张不含弹窗的第二图片进行预处理，得到第一图片集，包括：
预设第一缩放比例；
将每张不含弹窗的第二图片，按照所述第一缩放比例进行缩放，得到若干第一缩放图片；
将若干所述第一缩放图片集合为第一图片集，并将所述第一图片集作为背景。
8.根据权利要求6所述的第一检测模型的生成方法，其特征在于，将所述第一弹窗预处理图片集加载于所述第一图片集上，得到第一图片集合，以所述第一图片集合作为模型训练数据，训练得到所述第一检测模型，包括：
预设第一加载规则；
将所述第一弹窗预处理图片集，根据第一加载规则加载于作为背景的所述第一图片集上，得到所述第一图片集合；
对所述第一图片集合进行缩放预处理，得到具有弹窗位置标记的第一图片集合，将所述具有弹窗位置标记的第一图片集合作为所述第一检测模型的模型训练数据，训练得到所述第一检测模型。
9.一种权利要求1-5任一项中所述图形界面弹窗处理方法的第二检测模型的生成方法，其特征在于，包括如下步骤：
采集若干张关闭键图片并进行预处理，得到关闭键预处理图片集；
采集若干张不包含关闭键的弹窗图片并进行预处理，得到第二弹窗预处理图片集；
将所述关闭键预处理图片集加载于所述第二弹窗预处理图片集上，得到第二图片集合，以所述第二图片集合作为模型训练数据，训练得到所述第二检测模型。
10.根据权利要求9所述的第二检测模型的生成方法，其特征在于，采集若干张不包含关闭键的弹窗图片并进行预处理，得到第二弹窗预处理图片集，包括：
采集若干张互为补充的弹窗图片和图形界面图片，并抠除关闭键，得到若干不包含关闭键的第二弹窗图片集；
根据预设缩放比例，对每张所述不包含关闭键的第二弹窗图片集进行缩放处理，得到第二弹窗缩放图片集；
将所述第二弹窗缩放图片集作为背景处理，得到所述第二弹窗预处理图片集。
11.根据权利要求9所述的第二检测模型的生成方法，其特征在于，将所述关闭键预处理图片集加载于所述第二弹窗预处理图片集上，得到第二图片集合，以所述第二图片集合作为模型训练数据，训练得到所述第二检测模型，包括：
预设第二加载规则；
将所述关闭键预处理图片集，根据所述第二加载规则加载于作为背景的所述第二弹窗预处理图片集上，得到所述第二图片集；
对所述第二图片集进行缩放处理，得到具有关闭键位置标记的第二图片集合，将所述具有关闭键位置标记的第二图片集合作为所述第二检测模型的模型训练数据，训练得到所述第二检测模型。
12.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至5中任意一项所述的图形界面弹窗处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210822057.4A CN115097987A (zh) | 2022-07-13 | 2022-07-13 | 图形界面弹窗处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210822057.4A CN115097987A (zh) | 2022-07-13 | 2022-07-13 | 图形界面弹窗处理方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115097987A true CN115097987A (zh) | 2022-09-23 |
Family
ID=83296227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210822057.4A Pending CN115097987A (zh) | 2022-07-13 | 2022-07-13 | 图形界面弹窗处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115097987A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945341A (zh) * | 2012-10-23 | 2013-02-27 | 北京奇虎科技有限公司 | 一种拦截弹窗的方法和装置 |
| CN108628657A (zh) * | 2018-05-09 | 2018-10-09 | 深圳壹账通智能科技有限公司 | 弹窗处理方法、装置、计算机设备及存储介质 |
| CN111258914A (zh) * | 2020-02-26 | 2020-06-09 | 广州虎牙科技有限公司 | 自动化用例测试的弹窗处理方法、装置、设备及存储介质 |
| CN112286781A (zh) * | 2019-07-23 | 2021-01-29 | 百度时代网络技术（北京）有限公司 | 自动化测试方法、装置、设备和存储介质 |
| CN113469294A (zh) * | 2021-09-02 | 2021-10-01 | 杭州实在智能科技有限公司 | 一种rpa机器人中图标检测方法及其系统 |
-
2022
- 2022-07-13 CN CN202210822057.4A patent/CN115097987A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945341A (zh) * | 2012-10-23 | 2013-02-27 | 北京奇虎科技有限公司 | 一种拦截弹窗的方法和装置 |
| CN108628657A (zh) * | 2018-05-09 | 2018-10-09 | 深圳壹账通智能科技有限公司 | 弹窗处理方法、装置、计算机设备及存储介质 |
| CN112286781A (zh) * | 2019-07-23 | 2021-01-29 | 百度时代网络技术（北京）有限公司 | 自动化测试方法、装置、设备和存储介质 |
| CN111258914A (zh) * | 2020-02-26 | 2020-06-09 | 广州虎牙科技有限公司 | 自动化用例测试的弹窗处理方法、装置、设备及存储介质 |
| CN113469294A (zh) * | 2021-09-02 | 2021-10-01 | 杭州实在智能科技有限公司 | 一种rpa机器人中图标检测方法及其系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102014377B1 (ko) | 학습 기반 수술동작 인식 방법 및 장치 | |
| US20200202226A1 (en) | System and method for context based deep knowledge tracing | |
| CN107392125A (zh) | 智能模型的训练方法/系统、计算机可读存储介质及终端 | |
| CN112857268A (zh) | 对象面积测量方法、装置、电子设备和存储介质 | |
| EP2225636A2 (en) | Assisting failure mode and effects analysis of a system comprising a plurality of components | |
| CN111183437A (zh) | 判别装置以及机器学习方法 | |
| CN107766316B (zh) | 评价数据的分析方法、装置及系统 | |
| CN111738080A (zh) | 一种人脸检测和对齐的方法及装置 | |
| CN113900654A (zh) | 基于程序语言教学实践平台的代码抄袭检测方法及系统 | |
| CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN113269213A (zh) | 训练集的获取方法、装置及电子设备 | |
| CN116416513A (zh) | 信息获取方法、装置、电子设备及计算机可读存储介质 | |
| CN109833025A (zh) | 一种视网膜的异常检测方法、装置、设备和存储介质 | |
| CN112149828B (zh) | 基于深度学习框架的算子精度检测方法和装置 | |
| CN115097987A (zh) | 图形界面弹窗处理方法及电子设备 | |
| CN109118163B (zh) | 自动输入审批意见的方法、装置、计算机设备及存储介质 | |
| CN106373121A (zh) | 模糊图像识别方法和装置 | |
| Harvey et al. | User-centric evaluation of semi-automated road network extraction | |
| CN115908977A (zh) | 一种图像数据标注方法、装置、电子设备及存储介质 | |
| CN114663975A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| US11443266B2 (en) | Machine learning method and machine learning apparatus performing learning relating to work process | |
| CN112288696B (zh) | 一种辅助质检方法、装置、电子设备及存储介质 | |
| CN111859985B (zh) | Ai客服模型测试方法、装置、电子设备及存储介质 | |
| CN112036441A (zh) | 机器学习物体检测结果的反馈标注方法和装置、存储介质 | |
| JPH11175692A (ja) | 関節の動きデータ収集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220923 |
|
| RJ01 | Rejection of invention patent application after publication |