CN107845113B - 目标元素定位方法、装置以及用户界面测试方法、装置 - Google Patents

Abstract

本发明公开了一种目标元素的定位方法、装置以及用户界面测试方法、装置。其中，获取目标元素的目标图像和被测对象的被测图像；对目标图像和被测图像进行图像分析，以确定目标元素在被测对象中的位置。由此，通过将图像分析技术应用到在被测对象中对目标元素进行定位的方案中，能够高效地实现对被测对象中的目标元素的精准定位，进一步提高测试的效率。

Description

目标元素定位方法、装置以及用户界面测试方法、装置

技术领域

本发明涉及自动化测试领域，特别涉及一种在被测对象中对目标元素进行定位的方法、装置以及用户界面测试方法、装置。

背景技术

随着移动终端技术的迅速发展，移动终端不断推陈出新。相应地，新款产品的测试任务也就不断加大。与传统手工测试相比，自动化测试具有节省人力、时间、硬件资源、提高工作效率和判断精准性等优点，正在被逐渐地引入到被测对象的测试工作中。而在自动化测试中，对目标元素进行定位是比较重要且困难的。

目前的自动化测试框架(例如，Appium)能够通过采用多种定位方式或途径实现对目标元素的定位，如通过文字定位、ID定位、Name定位、XPath定位等。然而，现有的对目标元素进行定位的方法仍然存在诸多限制，在某些情况下，如对于某些动态绘制的元素、或者使用定制浏览器内核的页面中的元素等，仍然会出现找不到目标元素的问题，无法精准确定目标元素的位置。

因此，仍然需要一种能够高效、精准地对目标元素进行定位的方案。

发明内容

本发明的目的是提供一种目标元素定位方法、装置和用户界面测试方法、装置，其能够高效、精准地对目标元素进行定位。

根据本发明的一个方面，提供了一种在被测对象中对目标元素进行定位的方法，包括：图像获取步骤，获取目标元素的目标图像和被测对象的被测图像；以及图像分析步骤，对目标图像和被测图像进行图像分析，以确定目标元素在被测对象中的位置。

由此，通过一种或多种图像分析技术对获取的图像进行分析，能够高效、精准地对目标元素进行定位。

优选地，图像分析步骤可以包括：图像匹配步骤，基于表征目标图像的目标图像特征和被测图像中包含的查询图像特征，确定被测图像中与目标图像相匹配的匹配图像特征区域，匹配图像特征区域具有与目标图像特征相匹配的查询图像特征。

由此，以图像特征为基础对两图像进行匹配分析，提高定位的精准性。

优选地，图像分析步骤还包括：从目标图像中提取目标图像特征；以及/或者从被测图像中提取查询图像特征。

这样，根据具体应用，分别提取图像特征，以便于进行图像匹配。

优选地，图像分析步骤还可以包括：定位步骤，基于匹配图像特征区域在被测图像中的位置，确定目标元素在被测对象中的位置。

由此，通过图像匹配，实现目标元素在被测对象中的定位。

优选地，目标图像特征可以是目标图像中多个目标特征点之间的相对位置关系，匹配图像特征区域可以是基于被测图像中多个查询特征点定义的区域，多个查询特征点之间的相对位置关系与目标图像中多个特征点之间的相对位置关系相匹配，计算匹配图像特征区域的中心点在被测对象的图像中的坐标，作为目标元素在被测对象的坐标位置。

由此，以目标特征点之间的相对位置关系作为目标图像特征，特征识别较为简单。以匹配图像特征区域的中心点坐标作为目标元素的坐标，能够确保所确定的目标元素坐标在被测对象上，从而在后续的测试中基于该坐标进行的点击等操作能够实现对目标元素的响应操作。根据本发明的另一方面，还提供了一种用户界面测试方法，包括：定位步骤，以用户界面为被测对象，使用根据上述在被检对象中对目标元素进行定位的方法，确定目标元素在用户界面中的位置；测试步骤，基于位置执行对应于目标元素的操作，以测试目标元素的功能。

由此，基于目标元素的位置，可以快速执行对应与目标元素的点击或查询等操作，实现测试目的。

另外，在测试过程中还可以确定被测对象中目标元素的状态，基于状态判断目标元素是否可用。

这样，在目标元素的状态为可用(例如可用于点击、搜索等操作)时，能够方便地测试目标元素的功能，而在目标元素的状态为不可用(例如，不可用于点击、搜索等操作)时，执行其他测试。

根据本发明的另一方面，还提供了一种在被测对象中对目标元素进行定位的装置，包括：图像获取装置，用于获取目标元素的目标图像和被测对象的被测图像；以及图像分析装置，用于对目标图像和被测图像进行图像分析，以确定目标元素在被测对象中的位置。

优选地，图像分析装置可以包括：图像匹配装置，用于基于表征目标图像的目标图像特征和被测图像中包含的查询图像特征，确定被测图像中与目标图像相匹配的匹配图像特征区域，其中，匹配图像特征区域具有与目标图像特征相匹配的查询图像特征。

优选地，图像分析装置还可以包括：目标图像提取装置用于从目标图像中提取目标图像特征，查询图像特征提取装置用于从被测图像中提取查询图像特征。

优选地，图像分析装置还可以包括：定位子装置，基于匹配图像特征区域在被测图像中的位置，确定目标元素在被测对象中的位置。

优选地，目标图像特征是目标图像中多个目标特征点之间的相对位置关系，匹配图像特征区域是基于被测图像中多个查询特征点定义的区域，多个查询特征点之间的相对位置关系与目标图像中多个特征点之间的相对位置关系相匹配，计算匹配图像特征区域的中心点在被测对象的图像中的坐标，作为目标元素在被测对象的坐标位置。

根据本发明的又一方面，还提供了一种用户界面测试装置，包括：定位装置，以用户界面为被测对象，使用根据权利要求1-5中任何一项的方法，确定目标元素在用户界面中的位置；测试子装置，用于基于位置执行对应于目标元素的操作，以测试目标元素的功能。

另外，测试装置还可以包括状态确定装置，用于确定被测对象中目标元素的状态；以及可用性判断装置，用于基于状态判断目标元素是否可用。

根据本发明的又一方面，还提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行上述的方法。

根据本发明的又一方面，还提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行上述的方法。

通过本发明的目标元素定位方案以及用户界面测试方案，创新地将图像识别技术应用到对被测对象中的目标元素进行定位的方案中，能够高效、精准地实现对目标元素的定位。该定位方案能够被应用于诸如用户界面测试等多种测试方案中，通过在测试中根据本发明的定位方法得到的目标元素在被测对象中的位置而执行对应于目标元素的操作，以测试目标元素的功能，由此，确保测试中目标元素定位的精确度以及测试效率。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明一个实施例的在被测对象中对目标元素进行定位的方法的示意性流程图。

图2示出了根据本发明另一个实施例的在被测对象中对目标元素进行定位的方法的示意性流程图。

图3示出了根据本发明一个实施例的用户界面测试的方法的示意性流程图。

图4示出了根据本发明的一个测试应用例。

图5示出了图4所示应用例的匹配效果图。

图6示出了根据本发明一个实施例的定位装置的示意性框图。

图7示出了根据本发明一个实施例的测试装置的示意性框图。

图8示出了根据本发明一个实施例的计算设备的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

如前所述，为了能够高效、精准地对目标元素进行定位，本发明提出了一种在被测对象中对目标元素进行定位的方案。该方案可以实现为一种在被测对象中对目标元素进行定位的方法。图1示出了根据本发明一个实施例的在被测对象中对目标元素进行定位的方法的示意性流程图。

如图1所示，首先，在步骤S111，获取目标元素的目标图像。

这里，目标元素可以包含一定的信息内容，其可以是任意的图形、文字、图片、动画或其组合，也可以是诸如按钮、文本框、进度条、组件等页面元素。

目标图像可以是通过多种路径得到的，例如摄像装置拍摄的、通过截屏功能截取的、或者图形处理软件处理得到的等等。目标图像可以是任意格式的图像，可以是静态图像也可以是动态图像，例如BMP、TIFF、EPS、JPEG、GIF、PSD、PDF等等。一个目标图像中可以包括一个或多个目标元素。

目标图像可以被预先存储在各种存储器件，例如各种硬盘、软盘、光盘或数据库中，在需要使用目标图像时，在步骤S111中，可以从上述存储器件中获取目标图像。在具体应用中，也可以在需要使用目标图像时，根据上述的路径实时获取目标图像。

然后，在步骤S112，获取被测对象的被测图像。

这里，被测对象可以是任意待测试的对象，例如，可以是网页页面、应用界面(UI)、程序页面或其他形式的被测对象等等，本发明对此不做限制。

被测图像是与被测对象相对应的图像，可以是通过与上述目标图像的获取路径相同或相似的方式得到的。

在具体应用中，也可以基于被测对象实时获取被测图像。在一个优选实施例中，以用户界面(UI)为被测对象，在UI自动化测试过程中，显示的界面内容有可能是滚动的或实时变化的，此时，需要基于变化的用户界面，有针对性地获取用户界面的被测图像。为了提高测试效率，优选地，被测图像可以是由执行测试的工具通过执行截屏功能(例如可以使用截屏函数)截取得到的。

上述步骤S111和步骤S112的执行顺序是为了更清楚地描述本发明，应该明白，对本发明而言，上述步骤的顺序可以调换，也可以同时执行，其执行顺序对本发明并无影响。

在步骤S120，对目标图像和被测图像进行图像分析，以确定目标元素在被测对象中的位置。

这里，可以通过任意合适的图像分析技术，通过对目标图像和被测图像的内容、特征、结构、关系、纹理及灰度等进行分析，基于图像所提供的一个或多个信息，确定目标元素在被测对象中的位置。

这样，创新地将图像识别和分析技术应用到在被测对象中对目标元素进行定位的方法中，以快速、准确地实现对目标元素的定位。

本发明中，可以优选地以图像特征为基础进行图像分析，从而快速、准确地实现对目标元素的定位。图2示出了根据本发明另一实施例的在被测对象中对目标元素进行定位的方法的示意性流程图。

如图2所示，首先，与图1所述的步骤相同或相似，在步骤S111，获取目标元素的目标图像；步骤S112，获取被测对象的被测图像。如前所述，这两步骤可以调换执行顺序，也可以是同时执行的。

然后，在步骤S121，基于表征目标图像的目标图像特征和被测图像中包含的查询图像特征，确定被测图像中与目标图像相匹配的匹配图像特征区域，其中，匹配图像特征区域中具有与目标图像特征相匹配的查询图像特征。

这里，目标图像特征是用以表征目标图像的全部或部分图像特征，其可以是图像的颜色特征、纹理特征、形状特征、空间位置特征等。优选地，图像特征可以是关于点特征、线特征、面特征或其组合。例如，当目标元素是由预定数量个图形组合而成时，目标图像特征可以是各个图形的中心点或各个中心点之间的相对位置关系。

查询图像特征是被测图像中包含的用以表征被测图像的全部或部分图像特征，与目标图像特征相似，查询图像特征也可以是如上所述的颜色、纹理、形状、空间位置等特征。

目标图像特征和/或查询图像特征可以预先存储在各种存储器件中，并可以与其对应的图像关联存储。在上述获取图像的步骤中，也可以关联地获取图像对应的图像特征。

本发明中，目标图像特征和/或查询图像特征优选地可以是图像分析过程中分别从其相应的图像中提取的。例如，可以从目标图像中提取目标图像特征，或者从被测图像中提取查询图像特征。优选地，在具体应用中，目标图像特征可以是预先与目标图像关联存储的，查询图像特征可以是在定位过程中针对实时获取的被测图像而实时提取的。

基于获取或提取的方式得到的目标图像特征和/或查询图像特征，可以确定被测图像中与目标图像特征相匹配的查询图像特征作为匹配图像特征，进一步地通过匹配图像特征确定匹配图像特征区域或其相关信息，例如可以包括匹配图像特征区域的形状、面积或其在被测图像中的位置等等。

然后，在步骤S122，可以基于匹配图像特征区域在被测图像中的位置，确定目标元素在被测对象中的位置。

通过前述的步骤可知，目标元素与目标图像是对应的，被测对象与被测图像是对应的，而目标图像特征与匹配图像特征区域是对应匹配的，这样，匹配图像特征区域在被测图像中的位置可以视为目标元素在被测对象中的位置，由此，通过对匹配图像特征区域的定位即可确定目标元素在被测对象中的位置。

在一个优选实施例中，目标图像特征可以是目标图像中多个目标特征点之间的相对位置关系，匹配图像特征区域可以是基于被测图像中多个查询特征点定义的区域，多个查询特征点之间的相对位置关系与目标图像中多个特征点之间的相对位置关系相匹配。

这里，多个目标特征点可以是目标图像中所包含的多个图形的图形中心点或其它表征目标图像的特征点。目标图像特征可以是指这多个目标特征点，也可以是多个目标特征点之间的相对位置关系。例如，三个(或其它数量)目标特征点的相对方向、相对距离、或其连线所形成的形状等等。

被测图像中包含多个查询图像特征点，确定被测图像中与多个目标图像特征点相匹配的多个查询图像特征点，即多个匹配图像特征点，这多个匹配图像特征点定义的区域为匹配图像特征区域。该匹配图像特征区域可以是由多个匹配图像特征点的点区域所组成的区域，也可以是由多个匹配图像特征点连线所围成的区域，也可以是以多个匹配图像特征点的中心点为中心的任意图形区域，或相比于该区域放大或缩小预定比例的区域。在一个优选实施例中，匹配图像特征区域可以是多个匹配图像特征所围成的区域。

匹配图像特征区域可以具有一定的形状(规则或不规则，例如，圆、矩形、不规则多边形等等)，其位置可以是由区域中心点确定的。例如，该区域是矩形时，矩形的中心点的位置视为该区域的位置。此时，可以计算匹配图像特征区域的中心点在被测图像中的坐标，该中心点的坐标即可作为目标元素在被测对象的坐标位置。

由此，以目标特征点之间的相对位置关系作为目标图像特征，特征识别较为简单。以匹配图像特征区域的中心点坐标作为被测对象的坐标，能够确保所确定的被测对象坐标在被测对象上，从而在后续的测试中基于该坐标进行的点击等操作能够实现对被测对象的响应操作。

本发明可以通过一种跨平台的计算机视觉库(如：Opencv，Open Source ComputerVision Library)、多种方式或多种图像特征提取或匹配算法来进行图像分析。例如，可以基于SIFT(Scale-Invariant Feature Transform)算法来提取图像特征。SIFT具有尺度不变形的等优点，即使图像的尺寸和旋转角度发生变化，仍然能够取得很好的提取效果。也可以基于FLAA(Fast Library for Approximate Nearest Neighbors)算法来进行匹配。图像特征提取或图像特征匹配的方法可以采用现有技术中的任意算法，在此不再赘述。

另外，在提取图像特征之前，也可以先对获取的图像进行预处理，例如，增加对比度、去掉模糊和噪声、修正几何畸变等等，以突出图像特征，便于图像特征的提取。

这样，通过创新地将图像分析技术应用到在被测对象中对目标元素进行定位的方案中，能够有效、精准地实现对目标元素的定位。

本发明的在被测对象中对目标元素进行定位的方案可以应用于多种测试方案中，在本发明的一个优选实施例中可以以用户界面为被测对象，被测图像是基于用户界面同比截取的，如此，上述定位方案也可以应用到用户界面的测试中，以便于在测试中实现在用户界面上对目标元素的精确定位，确保测试效率。

图3示出了根据本发明一个实施例的用户界面测试方法的示意性流程图。

如图3所示，在步骤S310，可以基于上述的在被测对象中对目标元素进行定位的方法，确定目标元素在用户界面中的位置。

这里的位置可以是基于图像坐标或图像像素点或颜色值的位置。在一个优选实施例中，可以是指目标元素在用户界面中的坐标位置。其中，该坐标可以是以用户界面中心为原点、以界面水平方向为横轴、以界面垂直方向为纵轴的坐标。

在步骤S320，基于位置(例如坐标位置)执行对应于目标元素的操作，以测试目标元素的功能。对应于目标元素的操作可以是但不限于是点击、输入、滑动等操作。该操作可以是人工执行的，也可以是由预定测试工具自动执行的。

由此，通过将本发明的定位方案应用到用户界面测试方案中，高效、精准地确定目标元素在用户界面的位置，从而在后续的测试中基于目标元素的位置进行的点击等操作能够实现对被测对象的响应操作。

另外，用户界面的操作区域部分可能存在不可操作的目标元素(例如灰色的按钮)，即使确定了目标元素的位置仍然不能方便地测试其功能。因此，在测试过程中，还可以确定被测对象中目标元素的状态，基于状态判断目标元素是否可用。优选地，该过程可以是在步骤S310和步骤S320之间进行的。

这里的状态可以是指被测对象中目标元素是动态的还是静态的，也可以是指目标元素的颜色状态(如不可点击的灰色状态，还是可点击的红色或其它颜色状态)等等。被测对象中目标元素的状态还可以是其他合适的状态指标，本发明对此不做限制。

在目标元素为可用时，在步骤S320中可以执行对应于目标元素的操作，而在目标元素不可用时，暂时不执行对应于该目标元素的操作，而执行其他操作，例如可以进行其他测试或检查目标元素不可用的原因等等。

由此，为用户界面测试提供更多的方案，以便于能够顺利实现对目标元素的功能的测试。

为了更好地理解本发明的技术方案，如下将结合附图4-5及实施例详细描述本发明的测试方案的具体实现。

图4示出了根据本发明的一个测试应用例。图5示出了图4所示应用例的匹配效果图。其中，用户界面为被测对象，该测试过程可以是由任意终端或测试工具实现的。

如图4所示，测试开始，在步骤S411获取用户界面的被测图像，在步骤S412获取目标元素的目标图像。

被测图象和/或目标图像的获取顺序可以调换执行，如先执行步骤S411再执行步骤S412，或者先执行步骤S412再执行步骤S411，也可以同时执行，其执行顺序对本发明并无影响。

在步骤S420，基于获取的目标图像或被测图像，分别获取或提取相应的目标图像特征或被测图像中所包含的查询图像特征。

目标图像可以如图5左上角所示的目标图像1，其可以分为四个区块。为使特征识别较为简单，可以以各个区块各自具有的一个特定点作为目标特征点，以目标特征点之间的相对位置关系作为目标图像特征。例如，可以以各个区块的中心点(图中仅示意性地标注出右上角的区块的中心点)作为目标特征点11，还可以以图像中其它点作为目标特征点，例如线条端点、交叉点等等。

目标图像特征可以是目标图像中的四个目标特征点或其相对位置关系。

被测图像可以是图5右下角所示的被测图像2，被测图像2中可以包括多种元素，例如文字或多种不同的图形，并且都可以具有特征点。可以获取或提取被测图像2中所包含的全部或部分查询图像特征。

在步骤S430，基于目标图像特征和查询图像特征，确定用户界面中与目标图像相匹配的匹配图像特征区域，其中，匹配图像特征区域具有与目标图像特征相匹配的查询图像特征。

如图5所示，使用引线3将目标图像1中的四个目标特征点与被测图像2中四个匹配特征点21(与目标特征点相匹配的四个查询特征点)相连接，这四个匹配特征点21或其相对位置关系可以视为匹配图像特征，其所围成的矩形框22的区域可以视为匹配图像特征区域。由此，通过图像特征匹配，以确定被测图像2上的“分类”按钮与目标图像相匹配，确定被测图像中的匹配图像特征区域。

需要理解的是，图5所示的匹配效果图中，以引线3表示目标特征点与匹配特征点的匹配关系，具体应用中，该引线可以是其它表现形式，也可以无引线存在。

在步骤S440，计算匹配图像特征区域的中心点坐标。

这里的坐标例如可以是以真实环境中的终端设备的屏幕坐标或虚拟空间中的虚拟屏幕坐标为衡量基准进行计算的，也可以以图像的像素点或其它计算方式计算区域的中心点坐标，本发明对此不作限制。

以匹配图像特征区域的中心点坐标作为被测对象的坐标，能够确保所确定的被测对象坐标在被测对象上，从而在后续的测试中基于该坐标进行的点击等操作能够实现对被测对象的响应操作。

在步骤S450，输出匹配图像特征区域的中心点坐标，以将中心点坐标告知系统或测试人员，以便于进行后续的测试操作。

在步骤S460，确定被测对象中目标元素的状态。

在步骤S470，基于得到的中心点坐标以及目标元素的状态，执行对应于目标元素的操作，以测试目标元素的功能。

至此，结束本次用户界面测试流程。

由此，通过将上述的定位方法应用到用户界面的测试方案中，实现对用户界面上的目标元素的精准定位，以便于测试目标元素的功能，由此高效、精准地实现测试目的。

至此，已经结合图1至图5及实施例详细说明了本发明的定位方案和测试方案。另外，本发明的上述方法可以是分别由一种在被测对象中对目标元素进行定位的装置和用户界面测试装置实现的。

图6是示出了根据本发明一实施例的定位装置的示意性框图。其中，定位装置600的功能模块可以由实现本发明原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图6所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

图6所示的定位装置600可以用来实现图1-2所示的在被测对象中对目标元素进行定位的方法，下面仅就定位装置600可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文结合图1-2的描述，这里不再赘述。

如图6所示，定位装置600可以包括图像获取装置610和图像分析装置620。

图像获取装置610可以用于获取目标元素的目标图像和被测对象的被测图像。

图像分析装置620可以用于对目标图像和被测图像进行图像分析，以确定目标元素在被测对象中的位置。

优选地，图像分析装置620可以包括图像匹配装置621。

图像匹配装置621可以用于基于表征目标图像的目标图像特征和被测图像中包含的查询图像特征，确定被测图像中与目标图像相匹配的匹配图像特征区域，其中，匹配图像特征区域具有与目标图像特征相匹配的查询图像特征。

优选地，图像分析装置还可以包括目标图像特征提取装置622和查询图像特征提取装置623。

目标图像特征提取装置622可以用于从目标图像中提取目标图像特征，查询图像特征提取装置623可以用于从被测图像中提取查询图像特征。

优选地，图像分析装置还可以包括定位子装置624。

定位子装置624可以基于匹配图像特征区域在被测图像中的位置，确定目标元素在被测对象中的位置。

在一个优选实施例中，目标图像特征是目标图像中多个目标特征点之间的相对位置关系，匹配图像特征区域是基于被测图像中多个查询特征点定义的区域，多个查询特征点之间的相对位置关系与目标图像中多个特征点之间的相对位置关系相匹配。

可选地，图像分析装置还可以包括计算装置(图中未示出)，以计算匹配图像特征区域的中心点在被测对象的图像中的坐标，作为目标元素在被测对象的坐标位置。

另外，以用户界面为被测对象，本发明还提供了一种用于实现本发明的用户界面测试方法的用户界面测试装置。图7示出了根据本发明一个实施例的用户界面测试装置的示意性框图。

如图7所示，本发明的用户界面测试装置(简称测试装置)700可以报定位装置710和测试子装置720。

定位装置710可以使用本发明的在被测对象中对目标元素进行定位的方法，确定目标元素在用户界面中的位置。

测试子装置720可以用于基于上述位置执行对应于目标元素的操作，以测试目标元素的功能。

由此，通过将本发明的对目标元素进行定位的方案应用到用户界面测试中，快速、精确地实现对界面上的目标元素的定位，以便于能够快速、准确的测试目标元素的功能，提高测试效率。

优选地，测试装置700还可以包括状态确定装置730和可用性判断装置740。

状态确定装置730可以用于确定被测对象中目标元素的状态。可用性判断装置740可以基于状态确定装置确定的被测对象中目标元素的状态判断目标元素是否可用。

可选地，测试子装置720基于对目标元素的可用性判断结果确定是否执行对应于目标元素的操作。

本发明的上述方案可以是通过一种计算设备实现的。图8示出了根据本发明一个实施例的计算设备的示意性框图。如图8所示，该计算设备800可以包括处理器810以及存储器820。存储器820上可以存储有可执行代码，当可执行代码被处理器810执行时，使处理器810执行本发明的在被测对象中对目标元素进行定位的方法和用户界面测试方法。

上文中已经参考附图详细描述了根据本发明的目标元素的自动定位方法、装置及计算设备。通过本发明的目标元素定位方案以及用户界面测试方案，创新地将图像识别技术应用到对被测对象中的目标元素进行精确定位的方案中。通过这种定位技术，能够在应用程序的UI自动化测试中根据目标元素的定位位置执行对应的目标元素的操作，以实现测试目标元素的功能的目的。由此，提高自动化测试的精确度以及测试效率。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种在被测对象中对目标元素进行定位的方法，包括：

图像获取步骤，获取所述目标元素的目标图像和所述被测对象的被测图像；

图像分析步骤，对所述目标图像和所述被测图像进行图像分析，以确定所述目标元素在所述被测对象中的位置，

所述图像分析步骤包括图像匹配步骤：基于表征所述目标图像的目标图像特征和所述被测图像中包含的查询图像特征，确定所述被测图像中与所述目标图像相匹配的匹配图像特征区域，所述匹配图像特征区域具有与所述目标图像特征相匹配的查询图像特征，

所述目标图像特征是所述目标图像中多个目标特征点之间的相对位置关系，所述匹配图像特征区域是基于所述被测图像中多个查询特征点定义的区域，所述多个查询特征点之间的相对位置关系与所述目标图像中多个目标特征点之间的相对位置关系相匹配，

其中，目标元素由多个图形组合而成，目标特征点是各个图形的中心点。

2.根据权利要求1所述的方法，其中，所述图像分析步骤还包括：

从所述目标图像中提取所述目标图像特征；以及/或者

从所述被测图像中提取所述查询图像特征。

3.根据权利要求1或2所述的方法，其中，所述图像分析步骤还包括：

定位步骤，基于所述匹配图像特征区域在所述被测图像中的位置，确定所述目标元素在所述被测对象中的位置。

4.根据权利要求3所述的方法，还包括，

计算所述匹配图像特征区域的中心点在所述被测图像中的坐标，作为所述目标元素在所述被测对象的坐标位置。

5.一种用户界面测试方法，包括：

定位步骤，以所述用户界面为被测对象，使用根据权利要求1-4中任何一项所述的方法，确定目标元素在所述用户界面中的位置；

测试步骤，基于所述位置执行对应于所述目标元素的操作，以测试所述目标元素的功能。

6.根据权利要求5所述的方法，还包括：

确定所述被测对象中所述目标元素的状态；

基于所述状态判断所述目标元素是否可用。

7.一种在被测对象中对目标元素进行定位的装置，包括：

图像获取装置，用于获取所述目标元素的目标图像和所述被测对象的被测图像；

图像分析装置，用于对所述目标图像和所述被测图像进行图像分析，以确定所述目标元素在所述被测对象中的位置，

所述图像分析装置包括：图像匹配装置，用于基于表征所述目标图像的目标图像特征和所述被测图像中包含的查询图像特征，确定所述被测图像中与所述目标图像相匹配的匹配图像特征区域，所述匹配图像特征区域具有与所述目标图像特征相匹配的查询图像特征，

所述目标图像特征是所述目标图像中多个目标特征点之间的相对位置关系，所述匹配图像特征区域是基于所述被测图像中多个查询特征点定义的区域，所述多个查询特征点之间的相对位置关系与所述目标图像中多个目标特征点之间的相对位置关系相匹配，

其中，目标元素由多个图形组合而成，目标特征点是各个图形的中心点。

8.根据权利要求7所述的装置，其中，所述图像分析装置还包括：

目标图像特征提取装置，用于从所述目标图像中提取所述目标图像特征；以及/或者

查询图像特征提取装置，用于从所述被测图像中提取所述查询图像特征。

9.根据权利要求7或8所述的装置，其中，所述图像分析装置还包括：

定位子装置，基于所述匹配图像特征区域在所述被测图像中的位置，确定所述目标元素在所述被测对象中的位置。

10.根据权利要求9所述的装置，其中，

所述目标图像特征是所述目标图像中多个目标特征点之间的相对位置关系，所述匹配图像特征区域是基于所述被测图像中多个查询特征点定义的区域，所述多个查询特征点之间的相对位置关系与所述目标图像中多个特征点之间的相对位置关系相匹配，所述图像分析装置还包括：

计算装置，用于计算所述匹配图像特征区域的中心点在所述被测对象的图像中的坐标，作为所述目标元素在所述被测对象的坐标位置。

11.一种用户界面测试装置，包括：

定位装置，以所述用户界面为被测对象，使用根据权利要求1-4中任何一项所述的方法，确定目标元素在所述用户界面中的位置；

测试子装置，用于基于所述位置执行对应于所述目标元素的操作，以测试所述目标元素的功能。

12.根据权利要求11所述的装置，还包括：

状态确定装置，用于确定所述被测对象中所述目标元素的状态；

可用性判断装置，基于所述状态判断所述目标元素是否可用。

13.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-6中任何一项所述的方法。

14.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至6中任何一项所述的方法。

Images