CN111638879B - 克服像素点定位限制的系统、方法、装置及可读存储介质 - Google Patents

Abstract

本发明提供了一种克服像素点定位限制的系统、方法、装置及可读存储介质，本发明以OCR技术与相对位置适配技术为核心，来解决RPA机器人在C/S端配置时元素定位的问题。可以在PRA机器人C/S端应用的初次配置上，大大降低配置时间，从而提升了开发效率。并且避免了因为像素变化而导致的功能失效问题。

Description

克服像素点定位限制的系统、方法、装置及可读存储介质

【技术领域】

本发明涉及计算机文字处理技术领域，尤其涉及一种基于RPA本地客户端设置的，克服像素点定位限制的系统、方法、装置及可读存储介质。

【背景技术】

目前的RPA技术，在B/S端可以通过页面元素标签完成定位问题，然而对于C/S端，普遍上对于精确位置定位只能选择捕捉像素点的方式进行定位。而通过像素点定位位置存在诸多的问题，例如在测试端的屏幕像素与生产端的屏幕像素不一致，那么这个不一致的问题就会导致RPA的定位偏离，丧失设计好的功能。如果客户更换了显示器，同样会产生像素变化的问题，那么此前所设计的功能均会因此产生很大的负面影响。此外，在通过像素点位置进行RPA初期功能配置的时候，也会非常的繁琐，需要保证每一次的位置是准确的，并且需要频繁的在各个位置进行点击，大大降低了配置效率。因此，就目前市场上的RPA产品，在C/S端的RPA初次配置时，对个人用户或是开发者来讲，都会遇到配置效率低下的问题。

因此，有必要研究一种克服像素点定位限制的系统、方法、装置及可读存储介质来应对现有技术的不足，以解决或减轻上述一个或多个问题。

【发明内容】

有鉴于此，本发明提供了一种克服像素点定位限制的系统、方法、装置及可读存储介质，本发明以OCR技术与相对位置适配技术为核心，来解决RPA机器人在C/S端配置时元素定位的问题。可以在PRA机器人C/S端应用的初次配置上，大大降低配置时间，从而提升了开发效率。并且避免了因为像素变化而导致的功能失效问题。

一方面，本发明提供一种克服像素点定位限制系统，所述系统基于RPA本地客户端设置，所述系统包括：

图像信息获取模块，用于获得目标操作界面的截图和屏幕分辨率；

标注框处理模块，用于对目标操作界面中需要操作的目标进行框选标注；

编号处理模块，对框选标注对象生成唯一顺序的id编号；

标记处理模块，通过对截图中标注框进行识别，并在标注框的中心点处生成标记点；

坐标处理模块，对标注框和标记点进行相对坐标计算，并根据屏幕分辨率进行适应性缩放；

RPA配置模块，用于对RPA机器人的C/S端进行配置。

如上所述的方面和任一可能的实现方式，进一步提供一种克服像素点定位限制的方法，所述方法包括以下步骤：

S1：通过截屏和数据读取，获得目标操作界面的图像信息；

S2：在图像信息中对目标元素进行标注框处理；

S3：对标注框进行编号处理；

S4：对标注框进行图像识别并进行标记处理；

S5：对标记处理的标注框进行相对坐标计算；

S6：根据S1中的图像信息进行相对坐标缩放；

S7：对RPA机器人的C/S端进行配置。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1中截屏获得目标操作界面的图像信息为截图。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1中数据读取获得目标操作界面的图像信息为目标操作界面的屏幕分辨率。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2具体为将需要操作的目标进行框选标注。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3具体为：根据框选标注对象的顺序，生成唯一对应的顺序id编号，所述id编号内容应具有唯一性，不可重复，id编号包括1、2、3....、A、B、C....和Ⅰ、Ⅱ、....。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4具体为：通过OCR图像识别技术对截图中标注框进行识别，并在标注框的中心点处生成标记点。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S7具体为：同步使用者屏幕分辨率后，将标记点相对坐标缩放为使用者实际分辨率的实际坐标，之后对RPA机器人的C/S端进行配置。

如上所述的方面和任一可能的实现方式，进一步提供所述装置包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的克服像素点定位限制的处理程序，所述克服像素点定位限制的处理程序被所述处理器执行时实现如所述的克服像素点定位限制方法的步骤。

如上所述的方面和任一可能的实现方式，进一步提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有克服像素点定位限制的处理程序，所述克服像素点定位限制的处理程序被处理器执行时实现如所述的克服像素点定位限制方法的步骤。

与现有技术相比，本发明可以获得包括以下技术效果：

1、本发明以OCR技术与相对位置适配技术为核心，提升了C/S端配置效率，并且突破了因使用端分辨率不同所造成的限制；

2、本发明通过OCR技术对屏幕中内容进行框选识别，一次可标注多个位置；

3、本发明通过经过标注位置与屏幕分辨率相对位置计算，得到标注内容的通用相对位置；

4、本发明在应用的延展性上得到了提升，在配置的过程中也提升了用户的体验和配置效率。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一个实施例提供的在标注框的中心点处生成标记点示意图；

图2是本发明一个实施例提供的获取标记点相对坐标的示意图；

图3是本发明一个实施例提供的克服像素点定位限制的方法流程图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

本发明提供一种基于RPA本地客户端设置的，克服像素点定位限制系统、方法、装置及可读存储介质。

一种克服像素点定位限制系统，所述系统基于RPA本地客户端设置，所述系统包括：

图像信息获取模块，用于获得目标操作界面的截图和屏幕分辨率；

标注框处理模块，用于对目标操作界面中需要操作的目标进行框选标注；

编号处理模块，对框选标注对象生成唯一顺序的id编号；

标记处理模块，通过对截图中标注框进行识别，并在标注框的中心点处生成标记点；

坐标处理模块，对标注框和标记点进行相对坐标计算，并根据屏幕分辨率进行适应性缩放；

RPA配置模块，用于对RPA机器人的C/S端进行配置。

一种克服像素点定位限制的方法，所述方法包括以下步骤，如图3所示：

S1：通过截屏和数据读取，获得目标操作界面的图像信息；

S2：在图像信息中对目标元素进行标注框处理；

S3：对标注框进行编号处理；

S4：对标注框进行图像识别并进行标记处理；

S5：对标记处理的标注框进行相对坐标计算；

S6：根据S1中的图像信息进行相对坐标缩放；

S7：对RPA机器人的C/S端进行配置。

所述S1中截屏获得目标操作界面的图像信息为截图，数据读取获得目标操作界面的图像信息为目标操作界面的屏幕分辨率。

所述S2具体为将需要操作的目标进行框选标注。

所述S3具体为：根据框选标注对象的顺序，生成唯一对应的顺序id编号，所述id编号内容应具有唯一性，不可重复，id编号包括1、2、3....、A、B、C....和Ⅰ、Ⅱ、....。

所述S4具体为：通过OCR图像识别技术对截图中标注框进行识别，并在标注框的中心点处生成标记点。

所述S7具体为：同步使用者屏幕分辨率后，将标记点相对坐标缩放为使用者实际分辨率的实际坐标，之后对RPA机器人的C/S端进行配置。

一种克服像素点定位限制装置，所述装置包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的克服像素点定位限制的处理程序，所述克服像素点定位限制的处理程序被所述处理器执行时实现如所述的克服像素点定位限制方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有克服像素点定位限制的处理程序，所述克服像素点定位限制的处理程序被处理器执行时实现如所述的克服像素点定位限制方法的步骤。

本发明的目的是解决RPA机器人在C/S端上定位效率低，且泛化能力差的问题。从而提高了C/S端初次配置速度，加强了配置后RPA延展能力。主要体现在以下几个方面：

1、本发明以OCR技术与相对位置适配技术为核心，提升了C/S端配置效率，并且突破了因使用端分辨率不同所造成的限制。

2、该技术方法主要提供如下机制来实现RPA机器人在C/S端对初次配置定位时效率的提升。

a)通过OCR技术对屏幕中内容进行框选识别，一次可标注多个位置。

b)经过标注位置与屏幕分辨率相对位置计算，得到标注内容的通用相对位置。

c)针对C/S端，该发明突破了现有RPA技术中，在首次配置后，对于其他分辨率不同状况下的限制。提出了OCR技术结合相对位置适配的方法。在应用的延展性上得到了提升，在配置的过程中也提升了用户的体验和配置效率。

本发明所述方法其实现步骤具体如下：

S1:对目标操作界面进行截图。

S2:将需要操作的目标进行框选标注。

S3:根据框选标注对象的顺序，生成顺序id编号。(例id＝1,2,3,......n),使用者可自行调整id内容(注意：id内容应具有唯一性，即不可重复)；

具体的：通过OCR技术对截图中标注框进行识别，并在标注框的中心点处生成标记点，如图1所示。

S4:根据截图的长(X)和宽(Y),标记点距离截图上边界距离(y),与左边界距离(x)得到标记点相对坐标(x/X,y/Y)，如图2所示。

S5:同步使用者屏幕分辨率后，将标记点相对坐标缩放为使用者实际分辨率的实际坐标(如实施例1)，之后对RPA机器人的C/S端进行配置。

实施例1：

已知id＝1的标记点相对坐标为(0.2,0.5)，捕获屏幕1的分辨率为:900x600，屏幕2的分辨率为:1920x1080。

则：根据屏幕1分辨率缩放后的标记点(id＝1)坐标为(0.2x900,0.5x600)，即(180,300)；

根据屏幕1分辨率缩放后的标记点(id＝1)坐标为(0.2x1920,0.5x1080)，即(384,540)。

以上对本申请实施例所提供的克服像素点定位限制系统、方法、装置及可读存储介质，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。

Claims (4)

1.一种克服像素点定位限制的方法，其特征在于，所述方法包括以下步骤：

S1:对目标操作界面进行截图；

S2:将需要操作的目标进行框选标注；

S3:根据框选标注对象的顺序，生成顺序id编号，id＝1,2,3,......n,使用者可自行调整id内容，id内容应具有唯一性，即不可重复；

具体的：通过OCR技术对截图中标注框进行识别，并在标注框的中心点处生成标记点；

S4:根据截图的长(X)和宽(Y),标记点距离截图上边界距离(y),与左边界距离(x)得到标记点相对坐标(x/X,y/Y)；

S5:同步使用者屏幕分辨率后，将标记点相对坐标缩放为使用者实际分辨率的实际坐标，之后对RPA机器人的C/S端进行配置。

2.一种克服像素点定位限制系统，所述系统基于RPA本地客户端设置，通过上述权利要求1所述的方法，其特征在于，所述系统包括：

图像信息获取模块，用于获得目标操作界面的截图和屏幕分辨率；

标注框处理模块，用于对目标操作界面中需要操作的目标进行框选标注；

编号处理模块，对框选标注对象生成唯一顺序的id编号；

标记处理模块，通过对截图中标注框进行识别，并在标注框的中心点处生成标记点；

坐标处理模块，对标注框和标记点进行相对坐标计算，并根据屏幕分辨率进行适应性缩放；

RPA配置模块，用于对RPA机器人的C/S端进行配置。

3.一种克服像素点定位限制装置，其特征在于，所述装置包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的克服像素点定位限制的处理程序，所述克服像素点定位限制的处理程序被所述处理器执行时实现如权利要求1所述的克服像素点定位限制方法的步骤。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有克服像素点定位限制的处理程序，所述克服像素点定位限制的处理程序被处理器执行时实现如权利要求1所述的克服像素点定位限制方法的步骤。