CN117689729A - 页面控件定位方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及一种页面控件定位方法、装置、设备及介质，该方法包括：获取包含至少一个页面控件的页面截图；依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；采用所述目标分割图像进行形态学处理，得到目标特征图像；基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息，从而解决了现有技术中页面控件难以定位的问题，减少页面控件定位所消耗资源，进而能够减少性能上的消耗。

Description

页面控件定位方法、装置、设备及介质

技术领域

本申请涉及应用程序技术领域，尤其涉及一种页面控件定位方法、装置、设备及介质。

背景技术

应用程序(Application，APP)通常包含有一个或多个页面控件，以供用户点击，实现人机交互。其中，页面控件是指APP页面上的控件。在项目测试过程中，通常需要检测APP当前页面上，所有的控件均可正常点击，并且验证其功能点击跳转正常，目前主要是通过获取控制属值，来定位控件在页面上具体位置，以实现自动化点击。

但是，对于一般普通的安卓APP，如安卓系统的第三方平台开发的电视(TV)端应用程序，通常会有一些非安卓系统原生的控件，无法通过控件属性定位到控件在页面中的位置，如对于具有H5标签属性的按钮或者自定义图片类型的按钮而言，无法通过控件属性定位到控件在页面中的位置，因此也无法准确地实现自动化点击；又如，对于益智类游戏App而言，由于是基于不同的游戏引擎平台进行开发的，页面上的控件并不能通过获取控件属性性来的方式来定位控件在当前页面的位置，如益智类游戏App页面上的“登录”按钮并不能通过获取控件唯一编码(Identity Document，ID)的方式，来定位“登录”按钮这个控件在当前页面的位置。现有相关技术解决此类无法通过控件属性定位控件在页面上具体位置的问题，主要是通过图片对比的方式进行解决，即先把页面上控件的小图截取下来，再通过图片对比的方式，在整个页面上进行匹配，若发现相似度达到90％以上图片，则认为找到了该控件的位置，并记录下相关坐标位置(x，y)，基于记录的坐标位置(x，y)实现自动化点击操作，但是此方法在匹配过程中耗时较长，消耗较多的中央处理器(Central ProcessingUnit，CPU)资源，存在CPU消耗大的问题。

发明内容

鉴于此，本申请提供了一种页面控件定位方法、装置、设备及介质，以解决现有技术中页面控件难以定位的问题，减少页面控件定位所消耗的资源，减少性能消耗。

第一方面，本申请提供了一种页面控件定位方法，包括：

获取包含至少一个页面控件的页面截图；

依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；

采用所述目标分割图像进行形态学处理，得到目标特征图像；

基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

可选的，依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像，包括；

对所述页面截图进行灰度化，得到所述页面截图对应的灰度图像；

基于所述灰度图像进行图像降噪操作，得到目标去噪图像；

采用所述目标去噪图像进行图像二值化，得到图像二值化信息；

采用所述图像二值化信息，生成包含所述页面控件元素和背景元素的所述目标分割图像。

可选的，采用所述目标分割图像进行形态学处理，得到目标特征图像，包括：

基于所述目标分割图像中的页面控件元素进行膨胀操作，得到控件扩宽图像；

依据所述控件扩宽图像进行控件区域填充，得到所述目标特征图像。

可选的，所述基于所述目标分割图像中的页面控件对象进行膨胀操作，得到控件扩宽图像，包括：

对所述页面控件元素的图像边界进行像素扩展，得到所述页面控件对应的图像扩展像素信息；

基于所述图像扩展像素信息，结合所述目标分割页面的像素信息，确定背景区域像素信息，所述背景区域像素信息为所述目标分割页面中背景元素对应的像素信息；

采用所述图像扩展像素信息和所述背景区域像素信息，生成所述控件扩宽图像。

可选的，所述依据所述控件扩宽图像进行控件区域填充，得到所述目标特征图像，包括：

采用所述控件扩宽图像进行控件轮廓识别，得到所述页面控件对应的控件轮廓信息；

基于所述控件轮廓信息采用预设颜色进行区域填充，得到页面控件对应的填充图像信息；

采用所述填充图像信息和非填充图像信息，生成所述目标特征图像，所述非填充图像信息为所述控件扩宽图像中非页面控件对应的图像信息。

可选的，所述基于所述灰度图像进行图像降噪操作，得到目标去噪图像，包括：

利用预设的图像降噪算法，确定所述灰度图像对应的相似像素信息；

采用所述相似像素信息对所述灰度图像进行去噪，得到初始去噪图像；

对所述初始去噪图像进行对比度校正，得到所述目标去噪图像。

可选的，获取包含至少一个页面控件的页面截图，包括：

确定应用程序的操作界面；

若所述操作界面包含有所述页面控件，则基于所述操作界面进行截图，得到所述页面截图。

可选的，所述基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息，包括：

调用预设的图像检测算法，获取所述目标特征图像中的轮廓点坐标信息；

依据所述轮廓坐标点信息进行轮廓特征计算，得到所述页面控件对应的轮廓特征信息；

采用所述轮廓特征信息确定所述控件页面位置信息。

第二方面，本申请提供了一种页面控件定位装置，包括：

页面截图获取模块，用于获取包含至少一个页面控件的页面截图；

图像预处理模块，用于依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；

目标特征图像模块，用于采用所述目标分割图像进行形态学处理，得到目标特征图像；

控件位置识别模块，用于基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

第三方面，本申请提供了一种电子设备，包括：至少一个通信接口；与所述至少一个通信接口相连接的至少一个总线；与所述至少一个总线相连接的至少一个处理器；与所述至少一个总线相连接的至少一个存储器，其中，所述处理器被配置为：

获取包含至少一个页面控件的页面截图；

依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；

采用所述目标分割图像进行形态学处理，得到目标特征图像；

基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

第四方面，本申请还提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如本申请上述任一项所述的页面控件定位方法的步骤。

本申请实施例提供的上述技术方案在获取到包含有页面控件的页面截图后，通过图像预处理，得到页面截图对应的目标分割图像，并采用目标分割图像进行形态学处理，得到目标特征图像，随后基于该目标特征图像进行控件位置识别，以精准识别出页面控件在页面上的具体位置，得到页面控件对应的控件页面位置信息，从而解决了现有技术中因无法获取控件属性所导致的页面控件难以定位的问题，与现有相关技术采用图片对比方式相比，本申请实施例无需预先截取控件的小图进行对比，能够有效减少资源的消耗，降低硬件性能消耗。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种页面控件定位方法的步骤流程示意图；

图2为本申请实施例提供的一种页面控件定位方法的步骤流程示意图；

图3为本申请示例中的一种初始去噪图像的示意图；

图4为本申请示例中将初始去噪图像调整为目标去噪图像的示意图；

图5为本申请示例中利用目标去噪图像生成目标分割图像的示意图；

图6为本申请示例中利用目标分割图像生成控件扩宽图像的示意图；

图7为本申请示例中利用控件扩宽图像生成目标特征图像的示意图；

图8为本申请实施例提供的一种页面控件定位装置的结构框图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。

参照图1，示出了本申请实施例提供的一种页面控件定位方法的步骤流程示意图。如图1所示，本申请实施例提供页面控件定位方法具体可以包括如下步骤：

步骤110，获取包含至少一个页面控件的页面截图。

其中，页面截图可以是指应用程序当前页面的截图，如可以是安卓(Android)手机上启动指定游戏界面的页面截图；该页面截图可以通过屏幕截图的方式来获取到，如在应用程序启动后，可以通过预先设置的设备截屏库minicap来实现手机屏幕截图，以获取到该应用程序当前显示的游戏界面对应的页面截图，该页面截图可以包含有一个或多个页面控件，本实施例对此不作限制。

步骤120，依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；

具体而言，本实施例在获取到页面截图后，对该页面截图进行图像预处理，以去除该页面截图中的噪声，并在去噪的同时最大程度保持页面截图的图像细节特征，以基于图像细节特征生成页面截图对应的目标分割图像。该目标分割图像是指图像预处理后所得到的图像，具体可以包含有页面控件对应的页面控件元素和背景元素；需要说明的是，背景元素是指目标分割图像中除了页面控件元素之外的其他图像元素，具体可以包含有页面截图中除了页面控件之外的其他页面区域对应的图像元素。

步骤130，采用所述目标分割图像进行形态学处理，得到目标特征图像；

具体的，本实施例在得到目标分割图像后，可以采用该该目标分割图像进行形态学处理，以对该目标特征图像中的页面控件元素进行形态学操作，使得页面控件元素的轮廓边缘向外扩张，并基于页面控件元素的轮廓边缘向外扩张后的像素信息生成目标特征图像，使得目标特征图像中页面控件元素的轮廓更加清晰，以便后续可以利用该目标特征图像识别出页面控件具体位置，即执行步骤140。

步骤140，基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

具体的，本实施例在得到目标特征图像后，可以通过预设的图像检测算法对该目标特征图像进行检测，以根据图像检测结果获取该目标特征图像中各页面控件轮廓上所有点的坐标(x，y)，并可将获取到的坐标(x，y)作为轮廓点坐标信息，以依据该轮廓点坐标信息计算出轮廓特征信息，从而可以采用该轮廓特征信息识别出页面控件在页面中的相对位置，得到控件页面位置信息，实现精准定位页面控件具体位置。其中，控件页面位置信息可以用于确定页面控件在页面中的相对位置，具体可以包含有用于确定页面控件的相对位置的各种信息，如可以包含有页面控件的轮廓质心的坐标，本实施例对此不作具体限制。

可见，本申请实施例在获取到包含页面控件的页面截图后，通过依据页面截图进行图像预处理，得到页面截图对应的目标分割图像，并采用目标分割图像进行形态学处理，得到目标特征图像，随后基于该目标特征图像进行控件位置识别，以精准识别出页面控件在页面上的具体位置，得到页面控件对应的控件页面位置信息，从而解决了现有技术中因无法获取控件属性所导致的页面控件难以定位的问题，与现有相关技术采用图片对比方式相比，本实施例利用该目标特征图像精准定位出页面控件在页面上的具体位置，不用预先截取控件小图进行对比，能够有效地减少资源消耗。

在本申请的一些可选实施例中，在应用程序启动后，可以通过检测应用程序当前展示的操作界面是否包含有页面控件，确定是否需要识别该操作界面中页面控件的位置；若应用程序当前展示的操作界面不包含有页面控件，则可以确定不需要识别稿操作界面中页面控件的位置，从而无需对该操作界面进行截图，降低资源消耗；若当前展示的操作界面包含有页面控件，则可以该基于该操作界面进行截图，得到包含有页面控件的页面截图，以便后续可以基于该页面截图直接通过图像处理方式定位出页面控件具体位置，相对于现有相关技术采用图片对比方式确定控件位置，耗时会更时会更加短，对于性能上的消耗也会更小。可选的，本实施例依据获取包含至少一个页面控件的页面截图，具体可以包括：确定应用程序的操作界面；若所述操作界面包含有所述页面控件，则基于所述操作界面进行截图，得到所述页面截图。

进一步而言，本实施例在得到页面截图后，可以基于该页面截图进行图像灰度化处理，以将页面截图转换为灰度图像，利用灰度图像中的信息识出页面控件具体位置，从而提高页面控件位置识别的运算速度，能够有效减少页面控件位置识别的耗时。可选的，本实施例依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像，具体可以包括：对所述页面截图进行灰度化，得到所述页面截图对应的灰度图像；基于所述灰度图像进行图像降噪操作，得到目标去噪图像；采用所述目标去噪图像进行图像二值化，得到图像二值化信息；采用所述图像二值化信息，生成包含所述页面控件元素和背景元素的所述目标分割图像。

下面对本申请实施例进行示例性说明，但需要注意的是，本申请实施可以具有以下所描述的特征，但以下描述并不构成对本申请实施例保护范围的限制。

参照图2，为本申请可选实施例提供的一种页面控件定位方法的步骤流程示意图。如图2所示，本申请实施例提供的页面控件定位方法可以包括如下步骤：

步骤210，确定应用程序的操作界面；

具体而言，本实施例在应用程序启动后，可以检测应用程序当前展示的操作界面，并可判断该操作界面是否包含有页面控件，以确定是否需要识别该操作界面中页面控件的位置；若操作界面不包含页面控件，则可以确定不需要识别该操作界面中页面控件的位置，进而可以不对该操作界面进行截屏，以节省资源；而在操作界包含有页面控件的情况下，可以确定需要对该操作界面中页面控件的位置，随后可跳转到步骤220执行，以利用页面截图直接通过图像处理方式定位出页面控件具体位置。

步骤220，若所述操作界面包含有所述页面控件，则基于所述操作界面进行截图，得到页面截图；

步骤230，对所述页面截图进行灰度化，得到所述页面截图对应的灰度图像；

具体而言，应用程序的操作界面通常是五颜六色的，通过截图方式获取到操作界面对应的页面截图通常是彩色图像，而彩色图像中的每个像素颜色通常是由红(Red，R)、绿(Green，G)、蓝(Blue，B)这三个分量来决定，且每个分量的取值范围都在0-255之间，这样对计算机设备而言，彩色图像的一个像素点就会有256*256*256种颜色的变化范围，即彩色图像的一个像素点就会有16777216种颜色的变化范围。由于灰度图像是R、G、B分量相同的一种特殊彩色图像，对计算机来说，灰度图像的一个像素点的变化范围只有0-255这256种颜色变化范围，通过使用灰度图像力的信息即可实现图像识别，因此本实施例在得到页面截图后，通过对页面截图进行灰度化，以将页面截图从彩色图像转换为灰度图像，实现图像的灰度化处理，以便后续灰度图像中的信息识出页面控件具体位置，从而能够避免因彩色图像的信息含量过大而导致图像识别的运算速度慢问题，能够有效提高运算速度。

步骤240，基于所述灰度图像进行图像降噪操作，得到目标去噪图像；

其中，目标去噪图像可以是指图像降噪操作执行完后所生成的图像。具体的，本实施例在得到灰度图像后，可以基于该灰度图像进行图像降噪操作，如可以利用预先设置好的图像降噪算法对该灰度图像进行降噪操作，以去除图像中的噪声，同时可以最大程度上保持图像的细节特征，使得降噪操作后生成的目标去噪图像可以在最大程度上保留有灰度图像的细节特征。

在本申请的一些可选实施例中，基于所述灰度图像进行图像降噪操作，得到目标去噪图像，具体可以包括如下子步骤：

子步骤2401，利用预设的图像降噪算法，确定所述灰度图像对应的相似像素信息；

子步骤2402，采用所述相似像素信息对所述灰度图像进行去噪，得到初始去噪图像；

子步骤2403，对所述初始去噪图像进行对比度校正，得到所述目标去噪图像。

其中，预设的图像降噪算法可以是指预先设置好的用于去除图像中噪声的算法，如可是非局部均值(Non Local Mean，NL-Means)算法，也可以是他用于图像处理和降噪的算法，本实施例对此不作限制。具体而言，本实施例为了充分利用灰度图像中的信息，在得到灰度图像后，可以利用该预设的图像降噪算法对该灰度图像中的所有像素进行计算，得到该灰度图像对应的相似像素信息，以可利用该相似像素信息去除该灰度图像中的噪声，从而可以利用整张灰度图像中的冗余信息去除噪声，同时可以最大限度地减少原始特征的损失，生成初始去噪图像，使得初始去噪图像应该平坦的地方光滑且边缘得到保护而不模糊，能够在去噪的同时能最大程度得保持图像的细节特征。

本申请实施例在得到初始去噪图像后，可以通过对该初始去噪图像进行颜色空间的标准化，以调整初始去噪图像的对比度，实现图像对比度校正，生成目标去噪图像。示例性的，在得到如图3所示的初始去噪图像后310，可以采用预设的伽马(Gamma)校正法对初始去噪图像310进行颜色空间的标准化，即对利用该Gamma校正法对初始去噪图像310进行颜色空间的归一化，如图4所示，以调节图像的对比度，从而可以将对比度调整后所得到的图像确定目标去噪图像320，降低图像局部的暗与亮变化所造成的影响，同时可以抑制噪音的干扰。

步骤250，采用所述目标去噪图像进行图像二值化，得到图像二值化信息；

具体而言，本实施例在得到目标去噪图像后，可以将该目标去噪图像中的像素点的灰度值设置为第一灰度值或第二灰度值，以将整个目标去去噪图像呈现出只有第一灰度值和第二灰度值对应颜色的视觉效果，得到图像二值化信息，以便后续可以利用该图像二值化信息生成目标分割图像。其中，图像二值化信息可以包含有第一灰度值和第二灰度值，具体可以用于生成目标分割图像；目标分割图像可以包含目标分割元素和背景元素；目标分割元素可以是指图像中所需要分割出来的图像对象元素，如可以是页面控件元素，该页面控件元素可以是指页面截图中所需要分割出来的页面控件对应的图像元素；背景元素可以是指图像中不需要分割出来背景图对应的元素。

步骤260，采用所述图像二值化信息，生成包含所述页面控件元素和背景元素的所述目标分割图像；

具体的，本实施例在得到图像二值化信息后，可以采用该图像二值化信息生成页面截图对应的目标分割图像，以便后续可以利用该目标分割图像进行形态学处理，进而能够更好的识别出目标特征图像中的页面控件位置。

示例性的，结合上述示例，在第一灰度值为0，第二灰度值为255的情况下，在得到的目标去噪图像320后，可以将该目标去噪图像320上的像素点的灰度值设置为0或255，得到只包含有0和255的图像二值化信息，随后可基于该图像二值化信息生成页面截图对应的目标分割图像330，如图5所示，使得将整个目标分割图像330呈现出明显的只有黑和白的视觉效果，以便后续可以利用该目标分割图像330将页面控件元素和背景元素分离。例如，可以利用阈值产生算法产生一个阈值，或者可以自定义一个阈值，以利用阈值对目标分割图像进行分割，从而可以将目标分割图像中的页面控件元素和背景元素分离出来，本申请实施例对此不作限制。

步骤270，采用所述目标分割图像进行形态学处理，得到目标特征图像；

在本申请的一个可选实施例中，可以通过膨胀操作对目标分割图像中的页面控件元素进行膨胀处理，以通过结构元素膨胀处理方式对该目标分割图像中页面控件元素对应的区域进行膨胀，并可通过区域填充的方式不断地应该图像的补集对膨胀的结果进行约束，得到目标特征图像。可选的，本实施例采用所述目标分割图像进行形态学处理，得到目标特征图像，具体可以包括如下子步骤：

子步骤2701，基于所述目标分割图像中的页面控件元素进行膨胀操作，得到控件扩宽图像；

子步骤2702，依据所述控件扩宽图像进行控件区域填充，得到所述目标特征图像。

具体而言，本申请实施例在得到目标分割图像后，可以基于该目标分割图像，在页面控件元素的图像边界上进行像素扩展，以通过在图像边界上扩展像素来扩展目标分割图像中页面控元素，得到页面控件对应的图像扩展像素信息，从而可以基于图像扩展像素信息生成控件扩宽图像。在本申请的一些可选实施例中，基于所述目标分割图像中的页面控件对象进行膨胀操作，得到控件扩宽图像，具体可以包括：对所述页面控件元素的图像边界进行像素扩展，得到所述页面控件对应的图像扩展像素信息；基于所述图像扩展像素信息，结合所述目标分割页面的像素信息，确定背景区域像素信息，所述背景区域像素信息为所述目标分割页面中背景元素对应的像素信息；采用所述图像扩展像素信息和所述背景区域像素信息，生成所述控件扩宽图像。

例如，结合上述例子，在得到目标分割图像330后，可以通过膨胀操作，基于目标分割图像330中每个像素的领域，将该目标分割图像330中每个像素的像素指设置为邻域中所有像素中的最大值，如在目标分割图像为二值图像的情况下，若任何相邻像素的值为1，则输出像素也可以被设置为1，从而可以在页面控件元素的图像边界上扩展目标分割图像中页面控元素，得到页面控件对应的图像扩展像素信息，随后可基于该图像扩展像素信息，结合目标分割页面的像素信息，确定出背景区域像素信息，以采用图像扩展像素信息和背景区域像素信息生成控件扩宽图像340，如图6所示。

本实施例在生成控件扩宽图像后，可以识别该控件扩宽图像中的轮廓，并可对该轮廓内内容进行区域填充，以基于区域填充后的信息生成目标特征图像。可选的，本申请实施例依据所述控件扩宽图像进行控件区域填充，得到所述目标特征图像，具体可以包括：采用所述控件扩宽图像进行控件轮廓识别，得到所述页面控件对应的控件轮廓信息；基于所述控件轮廓信息采用预设颜色进行区域填充，得到页面控件对应的填充图像信息；采用所述填充图像信息和非填充图像信息，生成所述目标特征图像，所述非填充图像信息为所述控件扩宽图像中非页面控件对应的图像信息。其中，填充图像信息可以是指采用预设颜色进行区域填充后所生成的页面控件图像信息。

具体而言，本实施例可以通过对控件扩宽图像进行图像扫描，如可以从控件扩宽图像的左上角开始，按从左到右，从上到下的顺序进行扫描，以通过图像扫描的方式找到页面控件轮廓的像素点，随后可基于页面控件轮廓的像素点进行轮跟踪，得到页面控件对应的控件轮廓信息，从而可以基于该控件轮廓信息采用预设颜色进行区域填充，如可以基于该控件轮廓信息调用图像处理函数drawContours，以运用图像处理函数drawContours对页面控件轮廓内的内容进行颜色填充，进而可以基于颜色填充后的图像信息生成目标特征图像。其中，颜色填充后的图像信息包含有填充图像信息和非填充图像信息。

示例性的，在预设颜色为纯白色的情况下，结合上述例子，在生成控件扩宽图像340后，可以通过调用预先设置的图像轮廓提取函数进行轮廓跟踪，如调用跨平台计算机视觉库opencv中提供的图像轮廓提取函数findContours进行轮廓跟踪，得到页面控件对应的控件轮廓信息，从而可以基于该控件轮廓信息调用图像处理函数drawContours对轮廓内内容进行纯白色填充，以运用图像处理函数drawContours对页面控件轮廓内的内容进行颜色填充，进而可以基于颜色填充后的图像信息生成目标特征图像350，如图7所示。

其中，图像轮廓提取函数findContours可以从控件扩宽图像340的左上角开始，按从左到右，从上到下的顺序进行扫描，以通过图像扫描的方式识别出页面控件对应的控件轮廓信息。具体的，在扫描找到控件扩宽图像340中的第一个白色像素点的时候，可以将该白色像素点标记为轮廓的一部分，随后图像轮廓提取函数findContours可以从该白色像素点开始，搜索与此像素相邻的其它白色像素，这个过程一直持续到回到开始的那个像素点，形成了一个闭环轮廓返回，得到一个页面控件对应的控件轮廓信息。在第一个轮廓处理完毕后，即在得到控件扩宽图像340的第一个页面控件对应的控件轮廓信息后，可以通过图像轮廓提取函数findContours继续进行图像扫描，寻找下一个白色像素点，以通过递归搜索方式，查找出控件扩宽图像340中所有页面控件对应的控件轮廓信息，以基于控件扩宽图像340中所有页面控件对应的控件轮廓信息采用图像处理函数drawContours进行颜色填充，得到目标特征图像350，以便后续可以利用该目标特征图像350精准定位出控件在页面上的具体位置，继而实现自动化点击。

步骤280，基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

进一步而言，本实施例在得到目标特征图像后，可以通过预设的图像检测算法，对该目标特征图像进行检测，以获取该目标特征图像中的轮廓点坐标信息，并可根据该轮廓坐标点信息计算出轮廓的特征，以根据计算出的轮廓的特征识别出页面控件具体的位置，从而可以根据识别出的页面控件具体的位置生成该页面控件对应的控件页面位置信息。可选的，本申请实施例基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息，具体可以包括：调用预设的图像检测算法，获取所述目标特征图像中的轮廓点坐标信息；依据所述轮廓坐标点信息进行轮廓特征计算，得到所述页面控件对应的轮廓特征信息；采用所述轮廓特征信息确定所述控件页面位置信息。

其中，图像检测算法可以包含有用于提取目标特征图像中的轮廓点坐标信息的算法，如可以包含有跨平台计算机视觉库opencv中提供的图像轮廓提取函数findContours和用于计算轮廓矩的计算函数moments，以利用图像轮廓提取函数findContours和计算函数moments来获取页面控件轮廓的相对坐标值，作为目标特征图像中的轮廓点坐标信息，从而可以基于页面控件轮廓的相对坐标值计算出轮廓特征信息，以便后续可以采用该轮廓特征信息确定出控件页面位置信息

具体的，图像轮廓提取函数findContours可以用于获取页面控件轮廓上所有点的坐标(x,y)，以作为目标特征图像中的轮廓点坐标信息。在图像轮廓提取函数findContours获取到页面控件轮廓上所有点的坐标(x,y)后，可以基于页面控件轮廓上所有点的坐标(x,y)，通过计算函数moments可以计算页面控件轮廓的特征，如中心、面积等，并可将该计算函数moments所返回的数据作为轮廓特征信息，以利用该轮廓特征信息确定控件页面位置信息，如在计算函数moments所返回的数据包括第一键m00、第二键m10、第三键m01的情况下，可以利用第一键m00对应的值、第二键m10对应的值以及第三键m01对应的值确定出页面控件具体位置，如可以通过：可以通过第一键m00对应的值、第二键m10对应的值以及第三键m01对应的值计算轮廓的质心坐标，如质心X坐标值为m10/m00,质心X坐标值为m01/m00，进而可以基于轮廓的质心坐标确定页面控件在整张页面截图中的相对位置，如此便可以进行更加有效的自动点击，不用预先截取控件小图进行对比，相对于图片对比的方式，耗时会更短，扩大自动化点击场景的范围，能大大提高自动化点击的覆盖率和精准率，降低页面控件位置识别对于资源的消耗，达到节约资源的目的。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。

如图8所示，本申请实施例还提供了一种页面控件定位装置，包括如下模块：

页面截图获取模块810，用于获取包含至少一个页面控件的页面截图；

图像预处理模块820，用于依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；

目标特征图像模块830，用于采用所述目标分割图像进行形态学处理，得到目标特征图像；

控件位置识别模块840，用于基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

可选的，图像预处理模块820可以包括：

灰度化子模块，用于对所述页面截图进行灰度化，得到所述页面截图对应的灰度图像；

降噪操作子模块，用于基于所述灰度图像进行图像降噪操作，得到目标去噪图像；

图像二值化子模块，用于采用所述目标去噪图像进行图像二值化，得到图像二值化信息；

目标分割图像子模块，用于采用所述图像二值化信息，生成包含所述页面控件元素和背景元素的所述目标分割图像。

可选的，目标特征图像模块830包括：

膨胀操作子模块，用于基于所述目标分割图像中的页面控件元素进行膨胀操作，得到控件扩宽图像；

区域填充子模块，用于依据所述控件扩宽图像进行控件区域填充，得到所述目标特征图像。

可选的，所述膨胀操作子模块包括：

对像素扩展单元，用于所述页面控件元素的图像边界进行像素扩展，得到所述页面控件对应的图像扩展像素信息；

背景区域像素单元，用于基于所述图像扩展像素信息，结合所述目标分割页面的像素信息，确定背景区域像素信息，所述背景区域像素信息为所述目标分割页面中背景元素对应的像素信息；

控件扩宽图像单元，用于采用所述图像扩展像素信息和所述背景区域像素信息，生成所述控件扩宽图像。

可选的，所述区域填充子模块包括：

轮廓识别单元，用于采用所述控件扩宽图像进行控件轮廓识别，得到所述页面控件对应的控件轮廓信息；

区域填充单元，用于基于所述控件轮廓信息采用预设颜色进行区域填充，得到页面控件对应的填充图像信息；

目标特征图像单元，用于采用所述填充图像信息和非填充图像信息，生成所述目标特征图像，所述非填充图像信息为所述控件扩宽图像中非页面控件对应的图像信息。

可选的，所述降噪操作子模块包括：

相似像素信息单元，用于利用预设的图像降噪算法，确定所述灰度图像对应的相似像素信息；

图像去噪单元，用于采用所述相似像素信息对所述灰度图像进行去噪，得到初始去噪图像；

对比度校正单元，用于对所述初始去噪图像进行对比度校正，得到所述目标去噪图像。

可选的，页面截图获取模块810包括：

操作界面确定子模块，用于确定应用程序的操作界面；

页面截图子模块，用于在所述操作界面包含有所述页面控件的情况下，基于所述操作界面进行截图，得到所述页面截图。

可选的，所述控件位置识别模块包括：

轮廓点坐标信息获取子模块，用于调用预设的图像检测算法，获取所述目标特征图像中的轮廓点坐标信息；

轮廓特征计算子模块，用于依据所述轮廓坐标点信息进行轮廓特征计算，得到所述页面控件对应的轮廓特征信息；

控件页面位置确定子模块，用于采用所述轮廓特征信息确定所述控件页面位置信息。

在具体实现中，上述页面控件定位装置可以集成在电子设备中，使得该电子设备作为页面控件定位设备，通过获取到包含有页面控件的页面截图后，以依据获取到的页面截图进行图像预处理，得到目标分割图像，并采用该目标分割图像进行形态学处理，得到目标特征图像，随后基于该目标特征图像进行控件位置识别，以精准识别出页面控件在页面上的具体位置，得到页面控件对应的控件页面位置信息，从而解决了现有技术中因无法获取控件属性所导致的页面控件难以定位的问题，与现有相关技术采用图片对比方式相比，本申请实施例无需预先截取控件的小图进行对比，能够有效减少资源的消耗，降低硬件性能消耗。

本实施例还提供一种电子设备，包括至少一个通信接口；与所述至少一个通信接口相连接的至少一个总线；与所述至少一个总线相连接的至少一个处理器；与所述至少一个总线相连接的至少一个存储器，其中，所述处理器被配置为：获取包含至少一个页面控件的页面截图；依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；采用所述目标分割图像进行形态学处理，得到目标特征图像；基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

需要说明的是，本实施例提供的电子设备可以是由两个或多个物理实体构成，也可以是一个物理实体构成，如电子设备可以是个人计算机(Personal Computer，PC)、电脑、服务器等，本申请实施例对此不作具体限制。

例如，如图9所示，本申请实施例提供提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，存储器113，用于存放计算机程序；处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的页面控件定位方法的步骤，包括：获取包含至少一个页面控件的页面截图；依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；采用所述目标分割图像进行形态学处理，得到目标特征图像；基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的页面控件定位方法的步骤。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤和/或操作的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种页面控件定位方法，其特征在于，包括：

获取包含至少一个页面控件的页面截图；

依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；

采用所述目标分割图像进行形态学处理，得到目标特征图像；

基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

2.根据权利要求1所述的方法，其特征在于，依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像，包括；

对所述页面截图进行灰度化，得到所述页面截图对应的灰度图像；

基于所述灰度图像进行图像降噪操作，得到目标去噪图像；

采用所述目标去噪图像进行图像二值化，得到图像二值化信息；

采用所述图像二值化信息，生成包含所述页面控件元素和背景元素的所述目标分割图像。

3.根据权利要求1所述的方法，其特征在于，采用所述目标分割图像进行形态学处理，得到目标特征图像，包括：

基于所述目标分割图像中的页面控件元素进行膨胀操作，得到控件扩宽图像；

依据所述控件扩宽图像进行控件区域填充，得到所述目标特征图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标分割图像中的页面控件对象进行膨胀操作，得到控件扩宽图像，包括：

对所述页面控件元素的图像边界进行像素扩展，得到所述页面控件对应的图像扩展像素信息；

基于所述图像扩展像素信息，结合所述目标分割页面的像素信息，确定背景区域像素信息，所述背景区域像素信息为所述目标分割页面中背景元素对应的像素信息；

采用所述图像扩展像素信息和所述背景区域像素信息，生成所述控件扩宽图像。

5.根据权利要求3所述的方法，其特征在于，所述依据所述控件扩宽图像进行控件区域填充，得到所述目标特征图像，包括：

采用所述控件扩宽图像进行控件轮廓识别，得到所述页面控件对应的控件轮廓信息；

基于所述控件轮廓信息采用预设颜色进行区域填充，得到页面控件对应的填充图像信息；

采用所述填充图像信息和非填充图像信息，生成所述目标特征图像，所述非填充图像信息为所述控件扩宽图像中非页面控件对应的图像信息。

6.根据权利要求2所述的方法，其特征在于，所述基于所述灰度图像进行图像降噪操作，得到目标去噪图像，包括：

利用预设的图像降噪算法，确定所述灰度图像对应的相似像素信息；

采用所述相似像素信息对所述灰度图像进行去噪，得到初始去噪图像；

对所述初始去噪图像进行对比度校正，得到所述目标去噪图像。

7.根据权利要求2所述的方法，其特征在于，获取包含至少一个页面控件的页面截图，包括：

确定应用程序的操作界面；

若所述操作界面包含有所述页面控件，则基于所述操作界面进行截图，得到所述页面截图。

8.根据权利要求1至7任一所述的方法，其特征在于，所述基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息，包括：

调用预设的图像检测算法，获取所述目标特征图像中的轮廓点坐标信息；

依据所述轮廓坐标点信息进行轮廓特征计算，得到所述页面控件对应的轮廓特征信息；

采用所述轮廓特征信息确定所述控件页面位置信息。

9.一种页面控件定位装置，其特征在于，包括：

页面截图获取模块，用于获取包含至少一个页面控件的页面截图；

图像预处理模块，用于依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；

目标特征图像模块，用于采用所述目标分割图像进行形态学处理，得到目标特征图像；

控件位置识别模块，用于基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

10.一种电子设备，其特征在于，包括至少一个通信接口；与所述至少一个通信接口相连接的至少一个总线；与所述至少一个总线相连接的至少一个处理器；与所述至少一个总线相连接的至少一个存储器，其中，所述处理器被配置为：

获取包含至少一个页面控件的页面截图；

依据所述页面截图进行图像预处理，得到所述页面截图对应的目标分割图像；

采用所述目标分割图像进行形态学处理，得到目标特征图像；

基于所述目标特征图像进行控件位置识别，得到所述页面控件对应的控件页面位置信息。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的页面控件定位方法的步骤。