CN109189290A - 点击区域识别方法、装置和计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种点击区域识别方法、装置和计算机可读存储介质，属于电子技术领域。所述方法包括：对显示的第一界面进行截图，得到目标图像；确定所述目标图像的轮廓图形成的多个第一区域；从所述多个第一区域中选择一个第一区域作为第二区域；点击所述第二区域；当点击所述第二区域后显示的界面与所述第一界面不同时，确定所述第二区域是点击区域。本发明的点击区域识别过程简单便捷，无需依赖界面的构建框架，而是可以通过图像处理方式来识别点击区域，从而不仅可以提高点击区域的识别效率和识别准确率，而且具有更广泛的适用性。

Description

点击区域识别方法、装置和计算机可读存储介质

技术领域

本发明涉及电子技术领域，特别涉及一种点击区域识别方法、装置和计算机可读存储介质。

背景技术

随着电子技术的发展，诸如智能手机、平板电脑、智能导航仪等终端已经越来越普及，越来越多的在终端中使用的应用也逐渐被开发出来。为了保证这些应用的可操作性，通常需要对这些应用进行测试。其中，识别应用的应用界面中的点击区域是较为必要的测试之一。

通常，识别应用界面中的点击区域时，可以先通过系统平台提供的自动化框架来获取应用界面的层级结构，再通过该自动化框架对该层级结构中每个元素的可见性和可点击性进行判定，然后将该层级结构中可见且可点击的元素确定为该应用界面中的点击区域。

然而，上述识别方式中识别应用界面中的点击区域的过程繁琐，用时较长，导致点击区域的识别效率较低。并且，上述识别方式必须依赖于系统平台提供的自动化框架，无法用于不是以该自动化框架构建的应用界面，因而不具备通用性。

发明内容

本发明实施例提供了一种点击区域识别方法、装置和计算机可读存储介质，可以解决相关技术中点击区域的识别效率较低且识别方式不具备通用性的问题。所述技术方案如下：

第一方面，提供了一种点击区域识别方法，所述方法包括：

对显示的第一界面进行截图，得到目标图像；

确定所述目标图像的轮廓图形成的多个第一区域；

从所述多个第一区域中选择一个第一区域作为第二区域；

点击所述第二区域；

当点击所述第二区域后显示的界面与所述第一界面不同时，确定所述第二区域是点击区域。

可选地，所述确定所述目标图像的轮廓图形成的多个第一区域，包括：

确定所述目标图像的轮廓图的轮廓点；

将所述目标图像划分为多个子区域；

判断所述多个子区域是否均已进行第一标记；

当所述多个子区域中存在未进行第一标记的子区域时，从所述多个子区域中未进行第一标记的子区域中选择一个子区域作为目标子区域；如果所述目标子区域中不包含轮廓点，则对所述目标子区域进行第一标记，返回所述判断所述多个子区域是否均已进行第一标记的步骤；如果所述目标子区域中包含轮廓点，则确定所述目标子区域中包含的轮廓点形成的第一区域，在确定出所述目标子区域中包含的所有轮廓点形成的第一区域后，对所述目标子区域进行第一标记，返回所述判断所述多个子区域是否均已进行第一标记的步骤；

当所述多个子区域均已进行第一标记时，对确定出的所有第一区域去重，得到多个第一区域。

可选地，所述确定所述目标子区域中包含的轮廓点形成的第一区域，在确定出所述目标子区域中包含的所有轮廓点形成的第一区域后，对所述目标子区域进行第一标记，包括：

判断所述目标子区域中包含的所有轮廓点是否均已进行第二标记；

当所述目标子区域中包含的所有轮廓点中存在未进行第二标记的轮廓点时，根据所述目标子区域中未进行第二标记的轮廓点确定轮廓线；根据所述轮廓线围成的区域确定第一区域，并对组成所述轮廓线的所有轮廓点进行第二标记，返回所述判断所述目标子区域中包含的所有轮廓点是否均已进行第二标记的步骤；

当所述目标子区域中包含的所有轮廓点均已进行第二标记时，对所述目标子区域进行第一标记。

可选地，所述根据所述目标子区域中未进行第二标记的轮廓点确定轮廓线，包括：

从所述目标子区域中未进行第二标记的轮廓点中选择一个轮廓点，将选择出的轮廓点添加到连续轮廓点集中；

令选择出的轮廓点为第一轮廓点，判断与所述第一轮廓点相邻的像素点中是否存在第二轮廓点，所述第二轮廓点为不在所述连续轮廓点集中的轮廓点；

当与所述第一轮廓点相邻的像素点中存在第二轮廓点时，将与所述第一轮廓点相邻的第二轮廓点添加到所述连续轮廓点集中；令与所述第一轮廓点相邻的第二轮廓点为第一轮廓点，返回所述判断与所述第一轮廓点相邻的像素点中是否存在第二轮廓点的步骤；

当与所述第一轮廓点相邻的像素点中不存在第二轮廓点时，将所述连续轮廓点集中包括的所有轮廓点组成轮廓线。

可选地，所述根据所述轮廓线围成的区域确定第一区域，包括：

将所述轮廓线围成的区域的外接矩形确定为第一区域。

可选地，所述从所述多个第一区域中选择一个第一区域作为第二区域，包括：

当所述多个第一区域中存在未被点击的第一区域时，从所述多个第一区域中的未被点击的第一区域中选择一个第一区域作为第二区域。

可选地，所述从所述多个第一区域中选择一个第一区域作为第二区域，包括：

当所述多个第一区域均已被点击时，从所述多个第一区域中随机选择一个第一区域作为第二区域；或者，

当所述多个第一区域均已被点击时，确定与所述第一界面关联的第二界面，所述第二界面为点击所述多个第一区域中的一个第一区域后能够显示的界面；当所述第二界面中存在未被点击的区域时，从所述多个第一区域中选择点击后能够显示所述第二界面的一个第一区域作为第二区域。

可选地，所述从所述多个第一区域中选择一个第一区域作为第二区域之前，还包括：

根据所述多个第一区域确定所述第一界面的界面标识；

判断存储的至少一个界面信息中是否存在目标界面信息，所述至少一个界面信息中的每个界面信息包括界面标识、区域的位置及对应的点击状态，所述目标界面信息为包括有所述第一界面的界面标识的界面信息；

当所述至少一个界面信息中存在所述目标界面信息时，对于所述多个第一区域中的第三区域，当所述目标界面信息包括的所述第三区域的位置对应的点击状态为未点击时，确定所述第三区域未被点击，当所述目标界面信息包括的所述第三区域的位置对应的点击状态为已点击时，确定所述第三区域已被点击，所述第三区域为所述多个第一区域中的任一第一区域；

当所述至少一个界面信息中不存在所述目标界面信息时，获取所述多个第一区域的位置，将所述多个第一区域的位置对应的点击状态设为未点击，将所述第一界面的界面标识、所述多个第一区域的位置及对应的点击状态确定为一个界面信息并进行存储，返回所述判断存储的至少一个界面信息中是否存在目标界面信息的步骤；

相应地，所述点击所述第二区域之后，还包括：

将所述目标界面信息包括的所述第二区域的位置对应的点击状态设为已点击。

第二方面，提供了一种点击区域识别装置，所述装置包括：

截图模块，用于对显示的第一界面进行截图，得到目标图像；

第一确定模块，用于确定所述目标图像的轮廓图形成的多个第一区域；

选择模块，用于从所述多个第一区域中选择一个第一区域作为第二区域；

点击模块，用于点击所述第二区域；

第二确定模块，用于当点击所述第二区域后显示的界面与所述第一界面不同时，确定所述第二区域是点击区域。

可选地，所述第一确定模块包括：

确定单元，用于确定所述目标图像的轮廓图的轮廓点；

划分单元，用于将所述目标图像划分为多个子区域；

判断单元，用于判断所述多个子区域是否均已进行第一标记；

触发单元，用于当所述多个子区域中存在未进行第一标记的子区域时，从所述多个子区域中未进行第一标记的子区域中选择一个子区域作为目标子区域；如果所述目标子区域中不包含轮廓点，则对所述目标子区域进行第一标记，触发所述判断单元判断所述多个子区域是否均已进行第一标记；如果所述目标子区域中包含轮廓点，则确定所述目标子区域中包含的轮廓点形成的第一区域，在确定出所述目标子区域中包含的所有轮廓点形成的第一区域后，对所述目标子区域进行第一标记，触发所述判断单元判断所述多个子区域是否均已进行第一标记；

去重单元，用于当所述多个子区域均已进行第一标记时，对确定出的所有第一区域去重，得到多个第一区域。

可选地，所述触发单元包括：

判断子单元：用于判断所述目标子区域中包含的所有轮廓点是否均已进行第二标记；

触发子单元，用于当所述目标子区域中包含的所有轮廓点中存在未进行第二标记的轮廓点时，根据所述目标子区域中未进行第二标记的轮廓点确定轮廓线；根据所述轮廓线围成的区域确定第一区域，并对组成所述轮廓线的所有轮廓点进行第二标记，触发所述判断子单元判断所述目标子区域中包含的所有轮廓点是否均已进行第二标记；

标记子单元，用于当所述目标子区域中包含的所有轮廓点均已进行第二标记时，对所述目标子区域进行第一标记。

可选地，所述触发子单元用于：

从所述目标子区域中未进行第二标记的轮廓点中选择一个轮廓点，将选择出的轮廓点添加到连续轮廓点集中；

令选择出的轮廓点为第一轮廓点，判断与所述第一轮廓点相邻的像素点中是否存在第二轮廓点，所述第二轮廓点为不在所述连续轮廓点集中的轮廓点；

当与所述第一轮廓点相邻的像素点中存在第二轮廓点时，将与所述第一轮廓点相邻的第二轮廓点添加到所述连续轮廓点集中；令与所述第一轮廓点相邻的第二轮廓点为第一轮廓点，返回所述判断与所述第一轮廓点相邻的像素点中是否存在第二轮廓点的步骤；

当与所述第一轮廓点相邻的像素点中不存在第二轮廓点时，将所述连续轮廓点集中包括的所有轮廓点组成轮廓线。

可选地，所述触发子单元用于：

将所述轮廓线围成的区域的外接矩形确定为第一区域。

可选地，所述选择模块包括：

第一选择单元，用于当所述多个第一区域中存在未被点击的第一区域时，从所述多个第一区域中的未被点击的第一区域中选择一个第一区域作为第二区域。

可选地，所述选择模块包括：

第二选择单元，用于当所述多个第一区域均已被点击时，从所述多个第一区域中随机选择一个第一区域作为第二区域；或者，

第三选择单元，用于当所述多个第一区域均已被点击时，确定与所述第一界面关联的第二界面，所述第二界面为点击所述多个第一区域中的一个第一区域后能够显示的界面；当所述第二界面中存在未被点击的区域时，从所述多个第一区域中选择点击后能够显示所述第二界面的一个第一区域作为第二区域。

可选地，所述装置还包括：

第三确定模块，用于根据所述多个第一区域确定所述第一界面的界面标识；

判断模块，用于判断存储的至少一个界面信息中是否存在目标界面信息，所述至少一个界面信息中的每个界面信息包括界面标识、区域的位置及对应的点击状态，所述目标界面信息为包括有所述第一界面的界面标识的界面信息；

第四确定模块，用于当所述至少一个界面信息中存在所述目标界面信息时，对于所述多个第一区域中的第三区域，当所述目标界面信息包括的所述第三区域的位置对应的点击状态为未点击时，确定所述第三区域未被点击，当所述目标界面信息包括的所述第三区域的位置对应的点击状态为已点击时，确定所述第三区域已被点击，所述第三区域为所述多个第一区域中的任一第一区域；

触发模块，用于当所述至少一个界面信息中不存在所述目标界面信息时，获取所述多个第一区域的位置，将所述多个第一区域的位置对应的点击状态设为未点击，将所述第一界面的界面标识、所述多个第一区域的位置及对应的点击状态确定为一个界面信息并进行存储，触发所述判断模块判断存储的至少一个界面信息中是否存在目标界面信息；

相应地，所述装置还包括：

设置模块，用于将所述目标界面信息包括的所述第二区域的位置对应的点击状态设为已点击。

第三方面，提供了一种点击区域识别装置，所述装置包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序代码，所述处理器执行所述程序代码时实现上述第一方面所述的点击区域识别方法。

第四方面，提供了一种计算机可读存储介质，所述存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的点击区域识别方法的步骤。

本发明实施例提供的技术方案至少可以带来以下有益效果：

在本发明实施例中，先对显示的第一界面进行截图，得到目标图像，然后确定目标图像的轮廓图形成的多个第一区域，从而可以快速地将第一界面中具有较大可点击概率的区域识别出来。之后，从该多个第一区域中选择一个第一区域作为第二区域，并点击第二区域，当点击第二区域后显示的界面与第一界面不同时，确定第二区域是点击区域。整体识别过程简单便捷，无需依赖界面的构建框架，而是可以通过图像处理方式来识别点击区域，从而不仅可以提高点击区域的识别效率和识别准确率，而且具有更广泛的适用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的第一种点击区域识别方法的流程图；

图2是本发明实施例提供的第二种点击区域识别方法的流程图；

图3是本发明实施例提供的一种确定点击区域的操作的流程图；

图4是本发明实施例提供的一种目标界面信息的示意图；

图5是本发明实施例提供的第四种点击区域识别方法的流程图；

图6是本发明实施例提供的一种点击区域识别装置的结构示意图；

图7是本发明实施例提供的另一种点击区域识别装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在对本发明实施例进行详细地解释说明之前，先对本发明实施例的应用场景予以说明。

本发明实施例应用于点击区域识别场景，具体可以应用于对应用的应用界面中的点击区域进行识别的场景，当然，也可以应用于其他的点击区域识别场景，本发明实施例对此不作限定。

例如，测试人员可以对安装在终端中的应用进行测试，具体可以对该应用的应用界面中的点击区域进行识别，以遍历该应用的应用界面中所有的点击区域，得到该应用的点击区域集合。

接下来对本发明实施例提供的点击区域识别方法予以说明。

图1是本发明实施例提供的一种点击区域识别方法的流程图。参见图1，该方法包括：

步骤101：对显示的第一界面进行截图，得到目标图像。

步骤102：确定目标图像的轮廓图形成的多个第一区域。

步骤103：从该多个第一区域中选择一个第一区域作为第二区域。

步骤104：点击第二区域。

步骤105：当点击第二区域后显示的界面与第一界面不同时，确定第二区域是点击区域。

在本发明实施例中，先对显示的第一界面进行截图，得到目标图像，然后确定目标图像的轮廓图形成的多个第一区域，从而可以快速地将第一界面中具有较大可点击概率的区域识别出来。之后，从该多个第一区域中选择一个第一区域作为第二区域，并点击第二区域，当点击第二区域后显示的界面与第一界面不同时，确定第二区域是点击区域。整体识别过程简单便捷，无需依赖界面的构建框架，而是可以通过图像处理方式来识别点击区域，从而不仅可以提高点击区域的识别效率和识别准确率，而且具有更广泛的适用性。

可选地，确定目标图像的轮廓图形成的多个第一区域，包括：

确定目标图像的轮廓图的轮廓点；

将目标图像划分为多个子区域；

判断该多个子区域是否均已进行第一标记；

当该多个子区域中存在未进行第一标记的子区域时，从该多个子区域中未进行第一标记的子区域中选择一个子区域作为目标子区域；如果目标子区域中不包含轮廓点，则对目标子区域进行第一标记，返回判断多个子区域是否均已进行第一标记的步骤；如果目标子区域中包含轮廓点，则确定目标子区域中包含的轮廓点形成的第一区域，在确定出目标子区域中包含的所有轮廓点形成的第一区域后，对目标子区域进行第一标记，返回判断多个子区域是否均已进行第一标记的步骤；

当该多个子区域均已进行第一标记时，对确定出的所有第一区域去重，得到多个第一区域。

可选地，确定目标子区域中包含的轮廓点形成的第一区域，在确定出目标子区域中包含的所有轮廓点形成的第一区域后，对目标子区域进行第一标记，包括：

判断目标子区域中包含的所有轮廓点是否均已进行第二标记；

当目标子区域中包含的所有轮廓点中存在未进行第二标记的轮廓点时，根据目标子区域中未进行第二标记的轮廓点确定轮廓线；根据该轮廓线围成的区域确定第一区域，并对组成该轮廓线的所有轮廓点进行第二标记，返回判断目标子区域中包含的所有轮廓点是否均已进行第二标记的步骤；

当目标子区域中包含的所有轮廓点均已进行第二标记时，对目标子区域进行第一标记。

可选地，根据目标子区域中未进行第二标记的轮廓点确定轮廓线，包括：

从目标子区域中未进行第二标记的轮廓点中选择一个轮廓点，将选择出的轮廓点添加到连续轮廓点集中；

令选择出的轮廓点为第一轮廓点，判断与第一轮廓点相邻的像素点中是否存在第二轮廓点，第二轮廓点为不在该连续轮廓点集中的轮廓点；

当与第一轮廓点相邻的像素点中存在第二轮廓点时，将与第一轮廓点相邻的第二轮廓点添加到连续轮廓点集中；令与第一轮廓点相邻的第二轮廓点为第一轮廓点，返回判断与第一轮廓点相邻的像素点中是否存在第二轮廓点的步骤；

当与第一轮廓点相邻的像素点中不存在第二轮廓点时，将连续轮廓点集中包括的所有轮廓点组成轮廓线。

可选地，根据轮廓线围成的区域确定第一区域，包括：

将该轮廓线围成的区域的外接矩形确定为第一区域。

可选地，从多个第一区域中选择一个第一区域作为第二区域，包括：

当该多个第一区域中存在未被点击的第一区域时，从该多个第一区域中的未被点击的第一区域中选择一个第一区域作为第二区域。

可选地，从多个第一区域中选择一个第一区域作为第二区域，包括：

当该多个第一区域均已被点击时，从该多个第一区域中随机选择一个第一区域作为第二区域；或者，

当该多个第一区域均已被点击时，确定与第一界面关联的第二界面，第二界面为点击该多个第一区域中的一个第一区域后能够显示的界面；当第二界面中存在未被点击的区域时，从该多个第一区域中选择点击后能够显示第二界面的一个第一区域作为第二区域。

可选地，从多个第一区域中选择一个第一区域作为第二区域之前，还包括：

根据多个第一区域确定第一界面的界面标识；

判断存储的至少一个界面信息中是否存在目标界面信息，该至少一个界面信息中的每个界面信息包括界面标识、区域的位置及对应的点击状态，目标界面信息为包括有第一界面的界面标识的界面信息；

当该至少一个界面信息中存在目标界面信息时，对于该多个第一区域中的第三区域，当目标界面信息包括的第三区域的位置对应的点击状态为未点击时，确定第三区域未被点击，当目标界面信息包括的第三区域的位置对应的点击状态为已点击时，确定第三区域已被点击，第三区域为多个第一区域中的任一第一区域；

当该至少一个界面信息中不存在目标界面信息时，获取该多个第一区域的位置，将该多个第一区域的位置对应的点击状态设为未点击，将第一界面的界面标识、该多个第一区域的位置及对应的点击状态确定为一个界面信息并进行存储，返回判断存储的至少一个界面信息中是否存在目标界面信息的步骤；

相应地，点击第二区域之后，还包括：

将目标界面信息包括的第二区域的位置对应的点击状态设为已点击。

上述所有可选技术方案，均可按照任意结合形成本发明的可选实施例，本发明实施例对此不再一一赘述。

图2是本发明实施例提供的一种点击区域识别方法的流程图。参见图2，该方法包括：

步骤201：对显示的第一界面进行截图，得到目标图像。

需要说明的是，第一界面是所测试的应用的所有应用界面中正在屏幕上显示的应用界面。

值得注意的是，在步骤201之前，可以先通过自动化测试框架启动需要测试的应用，以显示该应用的应用界面。

需要说明的是，自动化测试框架用于提供最基础的自动化测试功能，该自动化测试功能可以包括启动应用、模拟触摸操作来点击或操作被测试对象、模拟鼠标和键盘等输入设备来点击或操作被测试对象等，本发明实施例对此不作限定。

步骤202：确定目标图像的轮廓图形成的多个第一区域。

需要说明的是，目标图像的轮廓图可以用于呈现目标图像中包含的图形的轮廓。

另外，第一区域是第一界面上具有较大可点击概率的区域，即第一区域有较大可能是点击区域，有较小可能是非点击区域。

值得说明的是，为了方便用户对应用界面中的点击区域的识别和点击，应用界面中的点击区域的外观往往会设计为不同形状的图形，因而本发明实施例中通过对第一界面截图所得的目标图像的轮廓图来确定第一界面中的多个第一区域，能够较为快速地将第一界面中具有较大可点击概率的区域识别出来，从而便于后续据此对第一界面中的点击区域的识别。

具体地，步骤202的操作可以包括如下步骤(1)-步骤(5)：

(1)确定目标图像的轮廓图的轮廓点。

需要说明的是，轮廓点是所有组成该轮廓图中的轮廓线的像素点。

具体地，可以先获取目标图像的轮廓图，再将该轮廓图中组成轮廓线的所有像素点均确定为轮廓点。

例如，可以通过canny算法对目标图像进行处理，得到目标图像的轮廓图，再将该轮廓图中组成轮廓线的所有像素点(即所有白色的像素点)均确定为轮廓点。

(2)将目标图像划分为多个子区域。

需要说明的是，子区域是将目标图像进行划分后所得到的独立的区域。

另外，对目标图像的划分可以是均匀划分，也可以是不均匀划分。对目标图像划分所得到的子区域的数量和形状等可以根据使用需求进行预先设置，本发明实施例对此不做限定。

例如，可以将目标图像均匀地划分为多个方格，每个方格的大小可以为20像素×20像素，每个方格即为一个子区域。

(3)判断该多个子区域是否均已进行第一标记。

需要说明的是，第一标记用于指示已经完成第一区域的识别的子区域。也即是，当某个子区域已进行第一标记时，表明已经完成对这个子区域中的第一区域的识别，当某个子区域未进行第一标记时，表明尚未完成对这个子区域中的第一区域的识别。

另外，当该多个子区域中存在未进行第一标记的子区域时，可以继续执行如下步骤(4)来确定第一区域；当该多个子区域均已进行第一标记时，可以继续执行如下步骤(5)来确定第一区域。

(4)从该多个子区域中未进行第一标记的子区域中选择一个子区域作为目标子区域；如果目标子区域中不包含轮廓点，则对目标子区域进行第一标记，返回步骤(3)；如果目标子区域中包含轮廓点，则确定目标子区域中包含的轮廓点形成的第一区域，在确定出目标子区域中包含的所有轮廓点形成的第一区域后，对目标子区域进行第一标记，返回步骤(3)。

需要说明的是，当目标子区域中不包含轮廓点时，表明目标子区域中不存在第一区域，因而可以对目标子区域进行第一标记；当目标子区域中包含轮廓点时，表明目标子区域中存在第一区域，因而可以确定目标子区域中包含的轮廓点形成的第一区域。

其中，确定目标子区域中包含的轮廓点形成的第一区域，在确定出目标子区域中包含的所有轮廓点形成的第一区域后，对目标子区域进行第一标记的操作可以包括如下步骤A-步骤C：

步骤A：判断目标子区域中包含的所有轮廓点是否均已进行第二标记。

需要说明的是，第二标记用于指示已经确定出所形成的第一区域的轮廓点。也即是，当某个轮廓点已进行第二标记时，表明已经确定出这个轮廓点形成的第一区域，当某个轮廓点未进行第二标记时，表明尚未确定出这个轮廓点形成的第一区域。

步骤B：当目标子区域中包含的所有轮廓点中存在未进行第二标记的轮廓点时，根据目标子区域中未进行第二标记的轮廓点确定轮廓线；根据该轮廓线围成的区域确定第一区域，并对组成该轮廓线的所有轮廓点进行第二标记，返回步骤A。

需要说明的是，当目标子区域中包含的所有轮廓点中存在未进行第二标记的轮廓点时，表明目标子区域中存在尚未确定出所形成的第一区域的轮廓点，因而可以根据目标子区域中未进行第二标记的轮廓点确定轮廓线，并根据该轮廓线围成的区域确定第一区域。

其中，根据目标子区域中未进行第二标记的轮廓点确定轮廓线的操作可以为：从目标子区域中未进行第二标记的轮廓点中选择一个轮廓点，将选择出的轮廓点添加到连续轮廓点集中；令选择出的轮廓点为第一轮廓点，判断与第一轮廓点相邻的像素点中是否存在第二轮廓点，第二轮廓点为不在该连续轮廓点集中的轮廓点；当与第一轮廓点相邻的像素点中存在第二轮廓点时，将与第一轮廓点相邻的第二轮廓点添加到该连续轮廓点集中，令与第一轮廓点相邻的第二轮廓点为第一轮廓点，返回判断与第一轮廓点相邻的像素点中是否存在第二轮廓点的步骤；当与第一轮廓点相邻的像素点中不存在第二轮廓点时，将该连续轮廓点集中包括的所有轮廓点组成轮廓线。

需要说明的是，将该连续轮廓点集中包括的所有轮廓点组成轮廓线之后，可以清空该连续轮廓点集中包括的所有轮廓点，以便进行下一轮的轮廓线确定操作。

例如，当目标子区域中包含的所有轮廓点中存在未进行第二标记的轮廓点时，可以从目标子区域中未进行第二标记的轮廓点中选择一个轮廓点a，并将轮廓点a添加到连续轮廓点集中，此时该连续轮廓点集为{a}。之后，判断与轮廓点a相邻的像素点中是否存在不在该连续轮廓点集中的轮廓点，假设与轮廓点a相邻的像素点中存在轮廓点b，则将轮廓点b添加到该连续轮廓点集中，此时该连续轮廓点集为{a，b}。之后，判断与轮廓点b相邻的像素点中是否存在不在该连续轮廓点集中的轮廓点，假设与轮廓点b相邻的像素点中存在轮廓点c，则将轮廓点c添加到该连续轮廓点集中，此时该连续轮廓点集为{a，b，c}。依次类推，持续向该连续轮廓点集中添加轮廓点。假设向该连续轮廓点集中添加轮廓点f后，与轮廓点f相邻的轮廓点都在该连续轮廓点集中，则将该连续轮廓点集{a，b，c，…，f}中包括的所有轮廓点组成轮廓线，即将轮廓点a、轮廓点b、轮廓点c、……、轮廓点f组成轮廓线。

值得注意的是，由于轮廓线太短时通常不能围成一个区域，所以在执行根据该轮廓线围成的区域确定第一区域，并对组成该轮廓线的所有轮廓点进行第二标记，返回步骤A的操作之前，可以当组成该轮廓线的轮廓点的数量大于或等于预设数量时，再执行根据该轮廓线围成的区域确定第一区域，并对组成该轮廓线的所有轮廓点进行第二标记，返回步骤A的操作；而当组成该轮廓线的轮廓点的数量小于预设数量时，直接对组成该轮廓线的所有轮廓点进行第二标记，返回步骤A。

需要说明的是，预设数量可以预先进行设置，如预设数量可以为3、4、5等，本发明实施例对此不作限定。

其中，根据该轮廓线围成的区域确定第一区域的操作可以为：将该轮廓线围成的区域的外接矩形确定为第一区域。当然，也可以根据该轮廓线围成的区域，通过其它方式确定第一区域，例如，可以对该轮廓线围成的区域进行分割或填充等来得到第一区域，本发明实施例对此不作限定。

步骤C：当目标子区域中包含的所有轮廓点均已进行第二标记时，对目标子区域进行第一标记。

需要说明的是，当目标子区域中包含的所有轮廓点均已进行第二标记时，表明已经确定出目标子区域中包含的所有轮廓点形成的第一区域，因而可以对目标子区域进行第一标记。

(5)对确定出的所有第一区域去重，得到多个第一区域。

需要说明的是，去重是一种去除掉确定出的所有第一区域中重复的第一区域的操作。

具体地，当确定出的所有第一区域中的任意两个第一区域之间的距离小于预设距离时，删除这两个第一区域中的一个第一区域，保留另一个第一区域；或者，当确定出的所有第一区域中的任意两个第一区域之间的距离小于预设距离，且这两个第一区域中的一个第一区域未包含另一个第一区域时，删除这两个第一区域中的一个第一区域，保留另一个第一区域。当然，也可以通过其它方式对确定出的所有第一区域去重，得到多个第一区域，本发明实施例对此不作限定。

需要说明的是，预设距离可以预先进行设置，本发明实施例对此不作限定。

值得说明的是，对确定出的所有第一区域去重可以使得后续从第一区域中识别点击区域时，避免对点击区域的重复识别，从而可以减少耗时，节省处理资源，使得点击区域的识别过程更加高效。

为了便于理解，下面结合图3来对上述步骤202进行说明。参见图3，步骤202具体可以包括如下步骤2021-步骤2034。

步骤2021：确定目标图像的轮廓图的轮廓点。

步骤2022：将目标图像划分为多个子区域。

步骤2023：判断该多个子区域是否均已进行第一标记。

如果否，执行步骤2024-步骤2033。

如果是，执行步骤2034。

步骤2024：从该多个子区域中未进行第一标记的子区域中选择一个子区域作为目标子区域。

步骤2025：判断目标子区域中是否包含轮廓点。

如果否，执行步骤2026。

如果是，执行步骤2027-步骤2033。

步骤2026：对目标子区域进行第一标记，返回步骤2023。

步骤2027：判断目标子区域中包含的所有轮廓点是否均已进行第二标记。

如果否，执行步骤2028-步骤2032。

如果是，执行步骤2033。

步骤2028：从目标子区域中未进行第二标记的轮廓点中选择一个轮廓点，将选择出的轮廓点添加到连续轮廓点集中，令选择出的轮廓点为第一轮廓点。

步骤2029：判断与第一轮廓点相邻的像素点中是否存在第二轮廓点，第二轮廓点为不在该连续轮廓集中的轮廓点。

如果是，执行步骤2030。

如果否，执行步骤2031-步骤2032。

步骤2030：将与第一轮廓点相邻的第二轮廓点添加到该连续轮廓点集中；令与第一轮廓点相邻的第二轮廓点为第一轮廓点，返回步骤2029。

步骤2031：将该连续轮廓点集中包括的所有轮廓点组成轮廓线。

步骤2032：将该轮廓线围成的区域的外接矩形确定为第一区域，并对组成该轮廓线的所有轮廓点进行第二标记，返回步骤2027。

步骤2033：对目标子区域进行第一标记，返回步骤2023。

步骤2034：对确定出的所有第一区域去重，得到多个第一区域。

需要说明的是，通过上述步骤202确定出目标图像的轮廓图形成的多个第一区域，即确定出第一界面中的多个第一区域后，可以继续执行如下步骤203-步骤205来从该多个第一区域中识别点击区域。

步骤203：从该多个第一区域中选择一个第一区域作为第二区域。

具体地，可以从该多个第一区域中随机选择一个第一区域作为第二区域。或者，可以当该多个第一区域中存在未被点击的第一区域时，从该多个第一区域中的未被点击的第一区域中选择一个第一区域作为第二区域；当该多个第一区域均已被点击时，通过如下两种方式中的任意一种方式来从该多个第一区域中选择一个第一区域作为第二区域。

第一种方式，从该多个第一区域中随机选择一个第一区域作为第二区域。

第二种方式，确定与第一界面关联的第二界面，第二界面为点击该多个第一区域中的一个第一区域后能够显示的界面；当第二界面中存在未被点击的区域时，从该多个第一区域中选择点击后能够显示第二界面的一个第一区域作为第二区域。

需要说明的是，第二界面为与第一界面不同的界面。

值得说明的是，在第一界面中的多个第一区域均已被点击的情况下，先确定与第一界面关联且存在未被点击的区域的第二界面，然后再从第一界面中的多个第一区域中选择点击后能够显示第二界面的一个第一区域作为第二区域，如此，后续对第二区域进行点击后，就可以从第一界面跳转到第二界面，以继续对第二界面中未被点击的区域进行点击区域判定。

进一步地，在步骤203之前，可以判断第一界面中的多个第一区域中是否存在未被点击的第一区域，也即是，可以确定该多个第一区域中已被点击的第一区域和未被点击的第一区域，具体可以通过如下步骤(6)-步骤(9)实现。

(6)根据该多个第一区域确定第一界面的界面标识。

需要说明的是，界面的界面标识用于唯一标识该界面。

具体地，可以获取该多个第一区域中每个第一区域的位置和尺寸，确定该多个第一区域的位置和尺寸的HASH(散列)值，将该HASH值确定为第一界面的界面标识。当然，也可以根据该多个第一区域，通过其它方式确定第一界面的界面标识，本发明实施例对此不作限定。

(7)判断存储的至少一个界面信息中是否存在目标界面信息，该至少一个界面信息中的每个界面信息包括界面标识、区域的位置及对应的点击状态，目标界面信息为包括有第一界面的界面标识的界面信息。

需要说明的是，由于目标界面信息为包括有第一界面的界面标识的界面信息，所以目标界面信息中包括有第一界面中的区域的位置及对应的点击状态，因而根据目标界面信息可以确定该多个第一区域中已被点击的第一区域和未被点击的第一区域。

(8)当该至少一个界面信息中存在目标界面信息时，对于该多个第一区域中的第三区域，当目标界面信息包括的第三区域的位置对应的点击状态为未点击时，确定第三区域未被点击，当目标界面信息包括的第三区域的位置对应的点击状态为已点击时，确定第三区域已被点击，第三区域为该多个第一区域中的任一第一区域。

例如，第一界面的界面标识为001，图4为该至少一个界面信息中包括的目标界面信息。假设第一界面中的多个第一区域为区域1、区域2、区域3和区域4，且区域1的位置为位置1，区域2的位置为位置2，区域3的位置为位置3，区域4的位置为位置4，由于图4所示的目标界面信息中位置1对应的点击状态为未点击、位置2对应的点击状态为已点击、位置3对应的点击状态为未点击、位置4对应的点击状态为已点击，所以据此可知该多个第一区域中的区域1未被点击、区域2已被点击、区域3未被点击、区域4已被点击。

(9)当该至少一个界面信息中不存在目标界面信息时，获取该多个第一区域的位置，将该多个第一区域的位置对应的点击状态设为未点击，将第一界面的界面标识、该多个第一区域的位置及对应的点击状态确定为一个界面信息并进行存储，返回步骤(7)。

需要说明的是，当该至少一个界面信息中不存在目标界面信息时，可以根据第一界面的界面标识、该多个第一区域的位置及对应的点击状态生成一个新的界面信息并存储，此时返回步骤(7)之后，此前生成并存储的这个新的界面信息就是目标界面信息，如此，即可根据目标界面信息来确定该多个第一区域中已被点击的第一区域和未被点击的第一区域。

值得说明的是，本发明实施例中，根据存储的至少一个界面信息可以快速且准确地判断第一界面中的多个第一区域中每个第一区域是否已被点击，判断效率较高，从而可以提高点击区域的识别效率。

其中，判断第二界面中是否存在未被点击的区域的操作与上述判断第一界面中的多个第一区域中是否存在未被点击的第一区域的操作类似，本发明实施例对此不再赘述。

步骤204：点击第二区域。

需要说明的是，点击第二区域的操作可以通过自动化测试框架来实现。

进一步地，在步骤204之后，还可以将存储的至少一个界面信息中的目标界面信息包括的第二区域的位置对应的点击状态设为已点击，以实现对该至少一个界面信息的更新，保证该至少一个界面信息的准确性。

步骤205：当点击第二区域后显示的界面与第一界面不同时，确定第二区域是点击区域。

进一步地，当点击第二区域后显示的界面与第一界面相同时，确定第二区域不是点击区域。

需要说明的是，当点击第二区域后显示的界面与第一界面不同时，表明点击第二区域后产生了响应，即从第一界面跳转到了另一个界面，因而此时第二区域是点击区域。而当点击第二区域后显示的界面与第一界面相同时，表明点击第二区域后没有产生响应，即没有发生界面跳转，因而此时第二区域不是点击区域。

其中，判断点击第二区域后显示的界面是否与第一界面相同时，可以获取点击第二区域后显示的界面的界面标识，以及获取第一界面的界面标识；当点击第二区域后显示的界面的界面标识与第一界面的界面标识不同时，确定点击第二区域后显示的界面与第一界面不同；当点击第二区域后显示的界面的界面标识与第一界面的界面标识相同时，确定点击第二区域后显示的界面与第一界面相同。

其中，获取点击第二区域后显示的界面的界面标识的操作与获取第一界面的界面标识的操作类似，本发明实施例对此不再赘述。

需要说明的是，当第二区域是点击区域时，可以将第二区域加入到点击区域集合中。

另外，在点击第二区域后显示了一个界面后，所显示的界面即可被称为第一界面，此时可以返回步骤201来继续识别所显示的界面中的点击区域。

值得注意的是，通常对识别完一个应用中所有的点击区域的时间是可估计的，所以为了避免点击区域识别过程因一些异常原因而陷入死循环，测试人员可以预先设置测试时长。在执行完步骤205之后可以确定从开始进行测试到步骤205结束时所用的时长，并判断该时长是否大于或等于该测试时长；当该时长大于或等于测试时长时，则结束点击区域识别操作；当该时长小于该测试时长时，就返回步骤201继续进行点击区域识别操作。

另外，在结束点击区域识别操作之后可以输出点击区域集合，以及获取对所测试的应用的遍历覆盖率并输出，该遍历覆盖率为在点击区域识别过程中所测试的应用运行的代码的数量与所测试的应用的所有代码的数量的比值。

值得说明的是，本发明实施例提供的点击区域识别方法，整体识别过程简单便捷，无需依赖界面的构建框架，而是可以通过图像处理方式来识别点击区域，从而不仅可以提高点击区域的识别效率和识别准确率，而且具有更广泛的适用性，能够支持跨平台移植。

为了便于理解，下面结合图5来对上述步骤201-步骤205进行说明。参见图5，上述步骤201-步骤205具体可以包括如下步骤20101-步骤20116：

步骤20101：对显示的第一界面进行截图，得到目标图像。

步骤20102：确定目标图像的轮廓图形成的多个第一区域。

步骤20103：根据该多个第一区域确定第一界面的界面标识。

步骤20104：判断存储的至少一个界面信息中是否存在目标界面信息，目标界面信息为包括有第一界面的界面标识的界面信息。

如果是，执行步骤20105、步骤20107-步骤20115。

如果否，执行步骤20106。

步骤20105：对于该多个第一区域中的第三区域，当目标界面信息包括的第三区域的位置对应的点击状态为未点击，确定第三区域未被点击，当目标界面信息包括的第三区域的位置对应的点击状态为已点击，确定第三区域已被点击，第三区域为多个第一区域中的任一第一区域。

步骤20106：获取该多个第一区域的位置，将该多个第一区域的位置对应的点击状态设为未点击，将第一界面的界面标识、该多个第一区域的位置及对应的点击状态确定为一个界面信息并进行存储，返回步骤20104。

步骤20107：判断该多个第一区域中是否存在未被点击的第一区域。

如果是，执行步骤20108、步骤20110-步骤20115。

如果否，执行步骤20109-步骤20115。

步骤20108：从该多个第一区域中的未被点击的第一区域中选择一个第一区域作为第二区域。

步骤20109：从该多个第一区域中随机选择一个第一区域作为第二区域。或者，确定与第一界面关联的第二界面，第二界面为点击多个第一区域中的一个第一区域后能够显示的界面；当第二界面中存在未被点击的区域时，从该多个第一区域中选择点击后能够显示第二界面的一个第一区域作为第二区域。

步骤20110：点击第二区域。

步骤20111：将目标界面信息包括的第二区域的位置对应的点击状态设为已点击。

步骤20112：判断点击第二区域后显示的界面与第一界面是否相同。

如果是，执行步骤20113、步骤20115。

如果否，执行步骤20114-步骤20115。

步骤20113：将第二区域加入非点击区域集合中。

步骤20114：将第二区域加入点击区域集合中。

步骤20115：判断从开始进行测试到当前时间所经过的时长是否大于或等于预设的测试时长。

如果是，执行步骤20116。

如果否，返回步骤20101。

步骤20116：结束点击区域识别操作，输出点击区域集合，以及获取遍历覆盖率并输出。

在本发明实施例中，先对显示的第一界面进行截图，得到目标图像，然后确定目标图像的轮廓图形成的多个第一区域，从而可以快速地将第一界面中具有较大可点击概率的区域识别出来。之后，从该多个第一区域中选择一个第一区域作为第二区域，并点击第二区域，当点击第二区域后显示的界面与第一界面不同时，确定第二区域是点击区域。整体识别过程简单便捷，无需依赖界面的构建框架，而是可以通过图像处理方式来识别点击区域，从而不仅可以提高点击区域的识别效率和识别准确率，而且具有更广泛的适用性。

图6是本发明实施例提供的一种点击区域识别装置，参见图6，该装置包括：截图模块601，第一确定模块602，选择模块603，点击模块604和第二确定模块605；

截图模块601，用于对显示的第一界面进行截图，得到目标图像；

第一确定模块602，用于确定目标图像的轮廓图形成的多个第一区域；

选择模块603，用于从该多个第一区域中选择一个第一区域作为第二区域；

点击模块604，用于点击第二区域；

第二确定模块605，用于当点击第二区域后显示的界面与第一界面不同时，确定第二区域是点击区域。

可选地，第一确定模块602包括：

确定单元，用于确定目标图像的轮廓图的轮廓点；

划分单元，用于将目标图像划分为多个子区域；

判断单元，用于判断该多个子区域是否均已进行第一标记；

触发单元，用于当该多个子区域中存在未进行第一标记的子区域时，从该多个子区域中未进行第一标记的子区域中选择一个子区域作为目标子区域；如果目标子区域中不包含轮廓点，则对目标子区域进行第一标记，触发判断单元判断该多个子区域是否均已进行第一标记；如果目标子区域中包含轮廓点，则确定目标子区域中包含的轮廓点形成的第一区域，在确定出目标子区域中包含的所有轮廓点形成的第一区域后，对目标子区域进行第一标记，触发判断单元判断该多个子区域是否均已进行第一标记；

去重单元，用于当该多个子区域均已进行第一标记时，对确定出的所有第一区域去重，得到多个第一区域。

可选地，触发单元包括：

判断子单元：用于判断目标子区域中包含的所有轮廓点是否均已进行第二标记；

触发子单元，用于当目标子区域中包含的所有轮廓点中存在未进行第二标记的轮廓点时，根据目标子区域中未进行第二标记的轮廓点确定轮廓线；根据该轮廓线围成的区域确定第一区域，并对组成该轮廓线的所有轮廓点进行第二标记，触发判断子单元判断目标子区域中包含的所有轮廓点是否均已进行第二标记；

标记子单元，用于当目标子区域中包含的所有轮廓点均已进行第二标记时，对目标子区域进行第一标记。

可选地，触发子单元用于：

从目标子区域中未进行第二标记的轮廓点中选择一个轮廓点，将选择出的轮廓点添加到连续轮廓点集中；

令选择出的轮廓点为第一轮廓点，判断与第一轮廓点相邻的像素点中是否存在第二轮廓点，第二轮廓点为不在该连续轮廓点集中的轮廓点；

当与第一轮廓点相邻的像素点中存在第二轮廓点时，将与第一轮廓点相邻的第二轮廓点添加到该连续轮廓点集中；令与第一轮廓点相邻的第二轮廓点为第一轮廓点，返回判断与第一轮廓点相邻的像素点中是否存在第二轮廓点的步骤；

当与第一轮廓点相邻的像素点中不存在第二轮廓点时，将该连续轮廓点集中包括的所有轮廓点组成轮廓线。

可选地，触发子单元用于：

将该轮廓线围成的区域的外接矩形确定为第一区域。

可选地，选择模块603包括：

第一选择单元，用于当该多个第一区域中存在未被点击的第一区域时，从该多个第一区域中的未被点击的第一区域中选择一个第一区域作为第二区域。

可选地，选择模块603包括：

第二选择单元，用于当该多个第一区域均已被点击时，从该多个第一区域中随机选择一个第一区域作为第二区域；或者，

第三选择单元，用于当该多个第一区域均已被点击时，确定与第一界面关联的第二界面，第二界面为点击该多个第一区域中的一个第一区域后能够显示的界面；当第二界面中存在未被点击的区域时，从该多个第一区域中选择点击后能够显示第二界面的一个第一区域作为第二区域。

可选地，该装置还包括：

第三确定模块，用于根据该多个第一区域确定第一界面的界面标识；

判断模块，用于判断存储的至少一个界面信息中是否存在目标界面信息，该至少一个界面信息中的每个界面信息包括界面标识、区域的位置及对应的点击状态，目标界面信息为包括有第一界面的界面标识的界面信息；

第四确定模块，用于当该至少一个界面信息中存在目标界面信息时，对于该多个第一区域中的第三区域，当目标界面信息包括的第三区域的位置对应的点击状态为未点击时，确定第三区域未被点击，当目标界面信息包括的第三区域的位置对应的点击状态为已点击时，确定第三区域已被点击，第三区域为多个第一区域中的任一第一区域；

触发模块，用于当该至少一个界面信息中不存在目标界面信息时，获取多个第一区域的位置，将该多个第一区域的位置对应的点击状态设为未点击，将第一界面的界面标识、该多个第一区域的位置及对应的点击状态确定为一个界面信息并进行存储，触发判断模块判断存储的该至少一个界面信息中是否存在目标界面信息；

相应地，该装置还包括：

设置模块，用于将目标界面信息包括的第二区域的位置对应的点击状态设为已点击。

在本发明实施例中，先对显示的第一界面进行截图，得到目标图像，然后确定目标图像的轮廓图形成的多个第一区域，从而可以快速地将第一界面中具有较大可点击概率的区域识别出来。之后，从该多个第一区域中选择一个第一区域作为第二区域，并点击第二区域，当点击第二区域后显示的界面与第一界面不同时，确定第二区域是点击区域。整体识别过程简单便捷，无需依赖界面的构建框架，而是可以通过图像处理方式来识别点击区域，从而不仅可以提高点击区域的识别效率和识别准确率，而且具有更广泛的适用性。

需要说明的是：上述实施例提供的点击区域识别装置在点击区域识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的点击区域识别装置与点击区域识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图7是本发明实施例提供的一种点击区域识别装置的结构示意图。该装置可以为终端700，该终端700可以是：智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端700包括有：处理器701和存储器702。

处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的点击区域识别方法。

在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。

外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。

定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。

加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。

光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。

接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种点击区域识别方法，其特征在于，所述方法包括：

对显示的第一界面进行截图，得到目标图像；

确定所述目标图像的轮廓图形成的多个第一区域；

从所述多个第一区域中选择一个第一区域作为第二区域；

点击所述第二区域；

当点击所述第二区域后显示的界面与所述第一界面不同时，确定所述第二区域是点击区域。

2.如权利要求1所述的方法，其特征在于，所述确定所述目标图像的轮廓图形成的多个第一区域，包括：

确定所述目标图像的轮廓图的轮廓点；

将所述目标图像划分为多个子区域；

判断所述多个子区域是否均已进行第一标记；

当所述多个子区域中存在未进行第一标记的子区域时，从所述多个子区域中未进行第一标记的子区域中选择一个子区域作为目标子区域；如果所述目标子区域中不包含轮廓点，则对所述目标子区域进行第一标记，返回所述判断所述多个子区域是否均已进行第一标记的步骤；如果所述目标子区域中包含轮廓点，则确定所述目标子区域中包含的轮廓点形成的第一区域，在确定出所述目标子区域中包含的所有轮廓点形成的第一区域后，对所述目标子区域进行第一标记，返回所述判断所述多个子区域是否均已进行第一标记的步骤；

当所述多个子区域均已进行第一标记时，对确定出的所有第一区域去重，得到多个第一区域。

3.如权利要求2所述的方法，其特征在于，所述确定所述目标子区域中包含的轮廓点形成的第一区域，在确定出所述目标子区域中包含的所有轮廓点形成的第一区域后，对所述目标子区域进行第一标记，包括：

判断所述目标子区域中包含的所有轮廓点是否均已进行第二标记；

当所述目标子区域中包含的所有轮廓点中存在未进行第二标记的轮廓点时，根据所述目标子区域中未进行第二标记的轮廓点确定轮廓线；根据所述轮廓线围成的区域确定第一区域，并对组成所述轮廓线的所有轮廓点进行第二标记，返回所述判断所述目标子区域中包含的所有轮廓点是否均已进行第二标记的步骤；

当所述目标子区域中包含的所有轮廓点均已进行第二标记时，对所述目标子区域进行第一标记。

4.如权利要求3所述的方法，其特征在于，所述根据所述目标子区域中未进行第二标记的轮廓点确定轮廓线，包括：

从所述目标子区域中未进行第二标记的轮廓点中选择一个轮廓点，将选择出的轮廓点添加到连续轮廓点集中；

令选择出的轮廓点为第一轮廓点，判断与所述第一轮廓点相邻的像素点中是否存在第二轮廓点，所述第二轮廓点为不在所述连续轮廓点集中的轮廓点；

当与所述第一轮廓点相邻的像素点中存在第二轮廓点时，将与所述第一轮廓点相邻的第二轮廓点添加到所述连续轮廓点集中；令与所述第一轮廓点相邻的第二轮廓点为第一轮廓点，返回所述判断与所述第一轮廓点相邻的像素点中是否存在第二轮廓点的步骤；

当与所述第一轮廓点相邻的像素点中不存在第二轮廓点时，将所述连续轮廓点集中包括的所有轮廓点组成轮廓线。

5.如权利要求3或4所述的方法，其特征在于，所述根据所述轮廓线围成的区域确定第一区域，包括：

将所述轮廓线围成的区域的外接矩形确定为第一区域。

6.如权利要求1所述的方法，其特征在于，所述从所述多个第一区域中选择一个第一区域作为第二区域，包括：

当所述多个第一区域中存在未被点击的第一区域时，从所述多个第一区域中的未被点击的第一区域中选择一个第一区域作为第二区域。

7.如权利要求1所述的方法，其特征在于，所述从所述多个第一区域中选择一个第一区域作为第二区域，包括：

当所述多个第一区域均已被点击时，从所述多个第一区域中随机选择一个第一区域作为第二区域；或者，

当所述多个第一区域均已被点击时，确定与所述第一界面关联的第二界面，所述第二界面为点击所述多个第一区域中的一个第一区域后能够显示的界面；当所述第二界面中存在未被点击的区域时，从所述多个第一区域中选择点击后能够显示所述第二界面的一个第一区域作为第二区域。

8.如权利要求6或7所述的方法，其特征在于，所述从所述多个第一区域中选择一个第一区域作为第二区域之前，还包括：

根据所述多个第一区域确定所述第一界面的界面标识；

判断存储的至少一个界面信息中是否存在目标界面信息，所述至少一个界面信息中的每个界面信息包括界面标识、区域的位置及对应的点击状态，所述目标界面信息为包括有所述第一界面的界面标识的界面信息；

当所述至少一个界面信息中存在所述目标界面信息时，对于所述多个第一区域中的第三区域，当所述目标界面信息包括的所述第三区域的位置对应的点击状态为未点击时，确定所述第三区域未被点击，当所述目标界面信息包括的所述第三区域的位置对应的点击状态为已点击时，确定所述第三区域已被点击，所述第三区域为所述多个第一区域中的任一第一区域；

当所述至少一个界面信息中不存在所述目标界面信息时，获取所述多个第一区域的位置，将所述多个第一区域的位置对应的点击状态设为未点击，将所述第一界面的界面标识、所述多个第一区域的位置及对应的点击状态确定为一个界面信息并进行存储，返回所述判断存储的至少一个界面信息中是否存在目标界面信息的步骤；

相应地，所述点击所述第二区域之后，还包括：

将所述目标界面信息包括的所述第二区域的位置对应的点击状态设为已点击。

9.一种点击区域识别装置，其特征在于，所述装置包括：

截图模块，用于对显示的第一界面进行截图，得到目标图像；

第一确定模块，用于确定所述目标图像的轮廓图形成的多个第一区域；

选择模块，用于从所述多个第一区域中选择一个第一区域作为第二区域；

点击模块，用于点击所述第二区域；

第二确定模块，用于当点击所述第二区域后显示的界面与所述第一界面不同时，确定所述第二区域是点击区域。

10.如权利要求9所述的装置，其特征在于，所述第一确定模块包括：

确定单元，用于确定所述目标图像的轮廓图的轮廓点；

划分单元，用于将所述目标图像划分为多个子区域；

判断单元，用于判断所述多个子区域是否均已进行第一标记；

触发单元，用于当所述多个子区域中存在未进行第一标记的子区域时，从所述多个子区域中未进行第一标记的子区域中选择一个子区域作为目标子区域；如果所述目标子区域中不包含轮廓点，则对所述目标子区域进行第一标记，触发所述判断单元判断所述多个子区域是否均已进行第一标记；如果所述目标子区域中包含轮廓点，则确定所述目标子区域中包含的轮廓点形成的第一区域，在确定出所述目标子区域中包含的所有轮廓点形成的第一区域后，对所述目标子区域进行第一标记，触发所述判断单元判断所述多个子区域是否均已进行第一标记；

去重单元，用于当所述多个子区域均已进行第一标记时，对确定出的所有第一区域去重，得到多个第一区域。

11.如权利要求10所述的装置，其特征在于，所述触发单元包括：

判断子单元：用于判断所述目标子区域中包含的所有轮廓点是否均已进行第二标记；

触发子单元，用于当所述目标子区域中包含的所有轮廓点中存在未进行第二标记的轮廓点时，根据所述目标子区域中未进行第二标记的轮廓点确定轮廓线；根据所述轮廓线围成的区域确定第一区域，并对组成所述轮廓线的所有轮廓点进行第二标记，触发所述判断子单元判断所述目标子区域中包含的所有轮廓点是否均已进行第二标记；

标记子单元，用于当所述目标子区域中包含的所有轮廓点均已进行第二标记时，对所述目标子区域进行第一标记。

12.如权利要求11所述的装置，其特征在于，所述触发子单元用于：

从所述目标子区域中未进行第二标记的轮廓点中选择一个轮廓点，将选择出的轮廓点添加到连续轮廓点集中；

令选择出的轮廓点为第一轮廓点，判断与所述第一轮廓点相邻的像素点中是否存在第二轮廓点，所述第二轮廓点为不在所述连续轮廓点集中的轮廓点；

当与所述第一轮廓点相邻的像素点中存在第二轮廓点时，将与所述第一轮廓点相邻的第二轮廓点添加到所述连续轮廓点集中；令与所述第一轮廓点相邻的第二轮廓点为第一轮廓点，返回所述判断与所述第一轮廓点相邻的像素点中是否存在第二轮廓点的步骤；

当与所述第一轮廓点相邻的像素点中不存在第二轮廓点时，将所述连续轮廓点集中包括的所有轮廓点组成轮廓线。

13.如权利要求11或12所述的装置，其特征在于，所述触发子单元用于：

将所述轮廓线围成的区域的外接矩形确定为第一区域。

14.如权利要求9所述的装置，其特征在于，所述选择模块包括：

第一选择单元，用于当所述多个第一区域中存在未被点击的第一区域时，从所述多个第一区域中的未被点击的第一区域中选择一个第一区域作为第二区域。

15.如权利要求9所述的装置，其特征在于，所述选择模块包括：

第二选择单元，用于当所述多个第一区域均已被点击时，从所述多个第一区域中随机选择一个第一区域作为第二区域；或者，

第三选择单元，用于当所述多个第一区域均已被点击时，确定与所述第一界面关联的第二界面，所述第二界面为点击所述多个第一区域中的一个第一区域后能够显示的界面；当所述第二界面中存在未被点击的区域时，从所述多个第一区域中选择点击后能够显示所述第二界面的一个第一区域作为第二区域。

16.如权利要求14或15所述的装置，其特征在于，所述装置还包括：

第三确定模块，用于根据所述多个第一区域确定所述第一界面的界面标识；

判断模块，用于判断存储的至少一个界面信息中是否存在目标界面信息，所述至少一个界面信息中的每个界面信息包括界面标识、区域的位置及对应的点击状态，所述目标界面信息为包括有所述第一界面的界面标识的界面信息；

第四确定模块，用于当所述至少一个界面信息中存在所述目标界面信息时，对于所述多个第一区域中的第三区域，当所述目标界面信息包括的所述第三区域的位置对应的点击状态为未点击时，确定所述第三区域未被点击，当所述目标界面信息包括的所述第三区域的位置对应的点击状态为已点击时，确定所述第三区域已被点击，所述第三区域为所述多个第一区域中的任一第一区域；

触发模块，用于当所述至少一个界面信息中不存在所述目标界面信息时，获取所述多个第一区域的位置，将所述多个第一区域的位置对应的点击状态设为未点击，将所述第一界面的界面标识、所述多个第一区域的位置及对应的点击状态确定为一个界面信息并进行存储，触发所述判断模块判断存储的至少一个界面信息中是否存在目标界面信息；

相应地，所述装置还包括：

设置模块，用于将所述目标界面信息包括的所述第二区域的位置对应的点击状态设为已点击。

17.一种计算机可读存储介质，所述存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-8所述的任一项方法的步骤。