CN110162362A - 动态控件位置检测与测试方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种动态控件位置检测方法及装置、动态控件的测试方法及装置、计算机设备及存储介质，该方法包括：获取目标应用在待测分辨率下输出的待测图像；确定所述目标应用中的关联静态控件在待测图像中的基准位置，关联静态控件是目标应用中与待测动态控件关联的静态控件；根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位。如此，仅需对同一目标应用在参考分辨率下的静态控件和动态控件进行标记即可准确确定在其它分辨率下的位置。

Description

动态控件位置检测与测试方法、装置、设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其是涉及一种动态控件位置检测方法及装置、动态控件的测试方法及装置、计算机设备以及存储介质。

背景技术

随着信息技术的日益发展，各类应用的类型和功能也随之越来越丰富，并使得用户能够在各种不同的电子设备上进行使用。

应用中通常均会包括设置有静态控件和动态控件的用户交互界面(UserInterface，UI)，以游戏类应用为例，同一游戏应用的UI界面上通常会布置动态控件(如实现技能的控件)和静态控件(如实现界面缩放的控件)。而不同电子设备的分辨率通常不同，同一应用中的UI界面适配不同分辨率的电子设备时UI界面中的控件的位置会发生变化，在一些应用场景中通常需要分别确定不同分辨率下的UI界面中的静态控件和动态控件的位置。

发明内容

本发明实施例提供一种动态控件位置检测方法及装置、动态控件的测试方法及装置、计算机设备以及存储介质，能够高效、精确地检测动态控件在目标应用中的位置。

本发明实施例的技术方案是这样实现的：

第一方面，提供一种动态控件位置检测方法，包括：获取目标应用在待测分辨率下输出的待测图像；确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，所述关联静态控件是所述目标应用中与待测动态控件关联的静态控件；根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置。

第二方面，提供一种动态控件位置检测装置，包括：获取模块，用于获取目标应用在待测分辨率下输出的待测图像；基准确定模块，用于确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，所述关联静态控件是所述目标应用中与待测动态控件关联的静态控件；参数确定模块，用于据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；位置模块，用于根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置。

第三方面，提供一种动态控件的测试方法，包括：获取目标应用在待测分辨率下输出的待测图像；基于所述目标应用中与待测动态控件对应的关联静态控件在待测图像中的基准位置、在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述目标应用中待测动态控件在所述待测图像中的位置；模拟对应所述位置的点击操作，并发送给所述目标应用；获取所述目标应用通过所述待测动态控件响应所述点击操作的结果。

第四方面，提供一种动态控件的测试装置，包括：接收模块，用于获取目标应用在待测分辨率下输出的待测图像；位置确定模块，用于基于所述目标应用中与待测动态控件对应的关联静态控件在待测图像中的基准位置、在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述目标应用中待测动态控件在所述待测图像中的位置；点击模块，用于模拟对应所述位置的点击操作，并发送给所述目标应用；测试结果模块，用于获取所述目标应用通过所述待测动态控件响应所述点击操作的结果。

第五方面，提供一种计算机设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，实现本发明任一实施例所提供的动态控件位置检测方法、或实现本发明任一实施例所提供的动态控件的测试方法。

第六方面，提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任一实施例所提供的动态控件位置检测方法、或实现本发明任一实施例所提供的动态控件的测试方法。

本发明实施例中，获取目标应用在待测分辨率下输出的待测图像，确定所述待测动态控件在所述待测图像中的位置，通过关联静态控件在所述待测图像中的基准位置、所述待测动态控件与所述关联静态控件在参考分辨率的参考图像中的位置关系、和所述参考图像与所述待测图像对应的变换尺度，即可确定所述目标应用中的待测动态控件在所述待定分辨率下的位置，提升了对目标应用在不同分辨率下的动态控件的位置标记的效率，且位置的检测的准确性不受待测动态控件的尺寸的影响，效率和准确性高。

附图说明

图1为实施本发明实施例所提供动态控件位置检测方法的应用架构图；

图2为本发明一实施例中动态控件位置检测方法的应用场景示意图；

图3为本发明另一实施例中动态控件位置检测方法的应用场景示意图；

图4为本发明一实施例提供的动态控件位置检测方法的流程图；

图5为本发明一实施例提供的动态控件位置检测方法中参考点的确定示意图；

图6为本发明一实施例提供的动态控件位置检测方法中参考点的设置示意图；

图7为本发明另一实施例提供的动态控件位置检测方法的流程图；

图8为本发明另一实施例提供的动态控件位置检测方法中确定关联静态控件的流程图；

图9为本发明另一实施例提供的动态控件位置检测方法中推算待测动态控件的流程图；

图10为本发明另一实施例提供的动态控件位置检测方法中校准待测动态控件位置的流程图；

图11为本发明一实施例中动态控件位置检测装置的硬件结构示意图；

图12为本发明一实施例中动态控件的测试方法的流程示意图；

图13为本发明另一实施例中动态控件的测试方法的流程示意图；

图14为本发明另一实施例中动态控件的测试装置的硬件结构示意图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)用户交互界面(User Interface，UI)，是人机进行交互和信息交换的媒介，用于实现信息的内部形式与人操作动作之间的转换。

2)静态控件，在应用的UI界面中控件内的内容，如包括图案、图层颜色等不会发生变化的UI控件，如游戏类应用中的用于缩放界面的放大镜控件，在不同游戏场景界面中放大镜控件内的放大镜图案不会发生变化；再如游戏应用中的用于控制射击的攻击控件，在不同游戏场景界面中攻击控件内的“剑”的图案不会发生变化。

3)动态控件，在应用的UI界面中控件内的内容，如包括图案、图层颜色等会发生变化的UI控件，其中，以游戏应用为例，控件内的内容会发生变化可以是指随着游戏的进度而发生变化，或根据不同游戏用户所属的级别不同而发生变化、或根据游戏用户所购买的不同游戏装备而发生变化等。如游戏类应用中的技能控件，该技能控件内的图案可以根据游戏的进度而由“+”的图案变换成为“手”的图案，当技能控件内的图案为“+”的图案时表示点击后可以对人物角色进行升级，当技能控件内的图案为“手”的图案时表示点击后可以实现恢复功能；再如游戏应用中的地图控件，该地图控件内包括道路图形和位于道路图形中的标识点图形，该地图控件内的图案中标识点图形随着对应表征的对象的位置变化在道路图形中的位置可以发生变化，该对象可以是游戏中的道具或游戏角色等。

本发明实施例提供动态控件位置检测方法、动态控件的测试方法、实施动态控件位置检测方法的动态控件位置检测装置、实施动态控件的测试方法的动态控件的测试装置和计算机设备、以及存储用于实现动态控件位置检测方法或动态控件的测试方法的可执行计算机程序的存储介质。其中，基于所述动态控件位置检测方法实现的动态控件的测试方法可以与所述动态控件位置检测方法的实施环境相同，就动态控件位置检测方法的实施而言，本发明实施例提供终端侧和/或服务器侧实施的方案，将对动态控件位置检测的示例性实施场景进行说明。

如图1所示，为实现本发明实施例提供的动态控件位置检测方法的一个可选的应用场景示意图，该应用场景的架构包括基于网络通信连接的第一终端100、第二终端200和服务器300。第一终端100和第二终端200为分辨率不同的电子设备，如第一终端100和第二终端200可以分别为不同分辨率的手机终端、第一终端100为手机终端和第二终端200为分辨率不同的PC终端，第一终端100为个人计算机终端和第二终端200为分辨率不同的手机终端等。以第一终端100对应的分辨率为参考分辨率，第二终端200对应的分辨率为待定分辨率为例，通过第一终端100运行所述目标应用时进行截图，可以获得目标应用在参考分辨率下的参考图像，通过第二终端200运行所述目标应用时进行截图，可以获得目标应用在待定分辨率下的待测图像，用户可以对第一终端100获取的参考图像中的静态控件和动态控件进行位置标记并获得标记结果。服务器300从第一终端100获取带有标记结果的参考图像，服务器300根据参考图像中的静态控件进行不同的尺度变换获取控件模板，并根据控件模板、参考图像中的静态控件和动态控件之间的位置关系，确定待测动态控件在待测图像中的位置。

其中，目标应用可以是其内部的UI中设置有静态控件和动态控件的各类应用。以目标应用为游戏应用为例，基于图像识别的游戏应用的UI测试，需要根据图像识别UI界面中各控件的位置，之后再根据具体的测试流程点击UI界面中各控件，从而完成待定的游戏UI测试任务。请参阅图2，以该目标应用为游戏应用A为例，将16:9分辨率下游戏应用A的UI界面图像作为参考图像，对参考图像中静态控件A11、A12和动态控件A21、A23、A24、A25之间的位置进行手动标注，基于静态控件A11、A12进行不同的尺度变换分别得到对应控件模板，可以将游戏应用A在32:15分辨率下的UI界面图像作为第一待定分辨率下的待测图像，根据匹配的控件模板对应的变换尺度和参考图像中的静态控件A11、A12和动态控件A21、A23、A24之间的位置关系，确定在32:15分辨率下的UI界面中静态控件和动态控件的位置，根据所确定的静态控件和动态控件的位置，可实现在32:15分辨率下进行游戏UI测试。将游戏应用A在16:10分辨率下的UI界面图像作为第二待定分辨率下的待测图像，根据匹配的控件模板对应的变换尺度和参考图像中的静态控件A11、A12和动态控件A21、A23、A24之间的位置关系，确定在16:10分辨率下的UI界面中静态控件和动态控件的位置，根据所确定的静态控件和动态控件的位置可实现在16:10分辨率下的游戏UI测试。

仍以目标应用为游戏应用为例，基于图像识别的游戏应用的联机控制，也可以根据图像识别UI界面中各控件的位置，将用户在第一终端中对UI界面中的控件的点击转换为对第二终端中UI界面中的控件的点击，从而实现对游戏应用的联机控制。请参阅图3，以该目标应用为游戏应用B为例，将16:9分辨率下游戏应用B的UI界面图像作为参考图像，对参考图像中的静态控件B11和动态控件B21、B23、B24、B25的位置进行手动标注，基于静态控件B11、B12进行不同的尺度变换分别得到对应控件模板，可以将游戏应用B在32:15分辨率下的UI界面图像作为第一待定分辨率下的待测图像，根据匹配的控件模板对应的变换尺度和参考图像中静态控件B11和动态控件B21、B23、B24、B25之间的位置关系，确定在32:15分辨率下的UI界面图像中静态控件和动态控件的位置，根据所确定的静态控件和动态控件的位置，可实现将用户在16:9分辨率下对游戏应用B中控件的点击转换为对32:15分辨率下游戏应用B中对应控件的点击，达到联机控制的目的。将游戏应用B在16:10分辨率下的UI界面图像作为第二待定分辨率下的待测图像，根据匹配的控件模板对应的变换尺度和参考图像中静态控件B11和动态控件B21、B23、B24、B25之间的位置关系，确定在16:10分辨率下的UI界面中静态控件和动态控件的位置，根据所确定的静态控件和动态控件的位置，可实现将用户在16:10分辨率下对游戏应用B中控件的点击转换为对16:10分辨率下游戏应用B中对应控件的点击，达到联机控制的目的。

请参阅图4，为本发明一实施例提供的动态控件位置检测方法的流程示意图，可应用于图1所示的服务器，需要说明的是，该服务器也可以是终端等其它计算机设备，将结合下面的步骤进行说明。

步骤101，获取目标应用在待测分辨率下输出的待测图像。

应用是指为完成某项或多项特定工作的计算机程序。目标应用是指包括设置有静态控件和动态控件的用户交互界面(User Interface，UI)的应用，以通过本发明实施例所提供的动态控件位置检测方法可以确定所述目标应用在不同分辨率下的UI界面中动态控件的位置。获取目标应用在待测分辨率下输出的待测图像，可以是获取该待定分辨率的终端在运行所述目标应用时对UI界面的截图图像。如此，可以在不需要事先确定终端的分辨率的前提下，通过获取终端运行所述目标应用时对UI界面的截图，即可获得目标应用在待定分辨率下的待测图像。

步骤103，确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，所述关联静态控件是所述目标应用中与待测动态控件关联的静态控件。

待测动态控件可以是目标应用的UI界面中的任意动态控件。与待测动态控件对应的关联静态控件，可以是指针对每一待测动态控件分别确定与其之间的位置关系满足设定条件的静态控件作为对应的关联静态控件，也可以是指针对多个待测动态控件确定与其之间的位置满足设定条件的静态控件作为共同的对应的关联静态控件。确定所述目标应用中与待测动态控件关联的静态控件，通常是根据所述目标应用在参考分辨率下的参考图像中静态控件与动态控件之间的位置关系确定，如，根据所述参考图像中静态控件与动态控件之间的位置关系，确定与所述待测动态控件之间的距离最近的静态控件作为所述待测动态控件的关联静态控件。

所述确定与待测动态控件对应的关联静态控件在所述待测图像中的基准位置，可以是根据预先设置的控件模板对待测图像进行检测，根据与控件模板的匹配结果确定所述关联静态控件在所述待测图像中的基准位置；也可以是基于深度学习的目标检测方法，确定所述关联静态控件在所述待测图像中的基准位置。

步骤105，根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数。

参考分辨率是指从任意分辨率下所选定的一个分辨率，通过该目标应用在参考分辨率下UI界面中控件的布局，也即所述待测动态控件与所述关联静态控件的位置关系进行标注，以自动确定该目标应用在其它分辨率下UI界面中控件的布局，也即所述待测动态控件与所述关联静态控件分别在所述待测图像中的位置。参考图像是指基于目标应用在参考分辨率下的终端运行时获得的UI界面图像。其中，所述参考图像与所述待测图像对应的变换尺度，是指所述目标应用的UI界面图像中的控件在参考图像中的尺寸与在待测图像中的尺寸之间的转换系数。以静态控件为例，所述参考图像与所述待测图像对应的变换尺度可以是指根据关联静态控件在参考图像中的位置变换至待测图像时，关联静态控件对应在参考图像的尺寸与在待测图像中的尺寸之间的转换系数。所述待测动态控件为所述待测图像中的位置参数，是指能够表征待测动态控件在所述待测图像中位置的参数，主要包括所述待测动态控件在所述待测图像中的坐标、尺寸等。

步骤107，根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置。

这里，基准位置是指所述目标应用中的关联静态控件在所述待测图像中的位置。位置参数是指根据参考图像中所述待测动态控件与所述关联静态控件的位置关系、和所述参考图像和所述待测图像对应的变换尺度所确定的能够表征待测动态控件在所述待测图像中位置的参数。通过基准位置和位置参数确定待测动态控件在待测图像中的位置，是指通过确定静态关联控件在所述待测图像中基准位置，再根据将参考图像中的待测动态控件与关联静态控件之间的位置关系根据变换尺度进行转换得到的位置参数，确定待测动态控件在所述待测图像中的位置。

上述实施例中，通过获取目标应用在待测分辨率下输出的待测图像，确定所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置；根据在参考分辨率下的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像与所述待测图像对应的变换尺度，再结合基准位置，确定所述待测动态控件在所述待测图像中的位置，如此，仅需对同一目标应用在参考分辨率下的参考图像中的静态控件和动态控件进行标记，从而大大减少了手动标记的工作量，节约了人工成本；位置的确定结果的准确性不受待测动态控件的大小的影响，当目标应用的版本更新升级时，也仅需对升级后的参考分辨率下的参考图像中的静态控件和动态控件进行再次标记即可，位置确定的准确性高，且便于维护。

在一些实施例中，步骤103，所述确定所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置，包括：基于控件模板对所述目标应用中所述待测图像进行检测，确定所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置。

其中，所述控件模板由参考分辨率下的参考图像中所述关联静态控件进行尺度变换得到。控件模板是指预先建立的静态控件的模板。参考分辨率是指从任意分辨率下所选定的一个分辨率，通过该目标应用在参考分辨率下UI界面中控件的布局的标记，以自动确定该目标应用在其它分辨率下UI界面中控件的布局。参考图像则是指基于目标应用在参考分辨率下的终端运行时获得的UI界面图像。待测动态控件可以是指UI界面中的任意动态控件。关联静态控件，可以是针对每一待测动态控件分别确定与其之间的位置满足设定条件的静态控件作为关联静态控件，也可以是针对多个待测动态控件确定与其之间的位置同时满足设定条件的静态控件作为共同的关联静态控件。

每一控件模板对应一个变换尺度。通过目标应用的静态控件在参考图像中的位置所得到的控件模板，确定目标应用的静态控件在待定分辨率下的待测图像中的基准位置，再根据该基准位置以及对应控件模板的变换尺度，确定所述待测动态控件在所述待测图像中的位置。这里，基于控件模板对所述目标应用中所述待测图像进行检测，确定所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置，包括：基于控件模板对所述目标应用中所述待测图像进行检测，根据控件模板在待测图像中的匹配位置确定与待测动态控件对应的关联静态控件在所述待测图像中的基准位置。其中，控件模板是指由参考分辨率下的参考图像中所述待测动态控件对应的关联静态控件进行尺度变换得到，在一个可选的实施例中，与所述待测动态控件对应的关联静态控件是指与所述待测动态控件之间的距离最小的静态控件。如此，通过使用不同变换尺度的多个控件模板对待测图像进行检测和匹配，根据控件模板在待测图像中的匹配位置定位关联静态控件的位置，可以为推断待测动态控件在待测图像中的位置提供更为准确的计算参数和简化计算流程。

在一些实施例中，所述基于控件模板对所述目标应用中所述待测图像进行检测，包括：将所述关联静态控件在所述参考图像中的位置确定为参考位置，根据所述参考位置确定所述目标应用中所述待测图像的检测区域；基于控件模板对所述待测图像的检测区域进行检测。

这里，通过设置的控件模板对待测图像进行检测时，首先通过在待测图像中设置检测区域，以减少控件模板对待测图像进行检测的范围，也可以提高检测的准确性。可选的，可以通过待测动态控件对应的关联静态控件在参考图像中的位置作为参考图像，根据所述参考图像确定所述待测图像的检测区域。如，关联静态控件在参考图像中的位置用(x，y，w，h)表示，其中，x表示所述关联静态控件的左顶点的横坐标，y表示所述关联静态控件的左顶点的纵坐标，w表示所述关联静态控件的宽度，h表示所述关联静态控件的高度。以位置(x，y，w，h)作为参考位置，以参考位置为中心进行一定范围的扩大而确定待测图像中的检测区域。

在一些实施例中，所述参考位置携带有所述关联静态控件的长度参数和宽度参数、以及所包括顶点的坐标参数，包括：将所述顶点向靠近所述待测图像的边缘的方向平移设置距离，将所述长度参数和所述宽度参数分别增加设置比例，根据平移后的所述顶点的坐标、以及增加设置比例后的所述长度参数和所述宽度参数确定所述待测图像的检测区域。

在确定所述待测图像的检测区域时，以参考位置为中心进行一定范围的扩大，可以是将关联静态控件的顶点向靠近待测图像的边缘的方向进行平移，并将所述关联静态控件的长度和宽度进行设置比例的增加。这里，设置距离和设置比例可以根据待测图像的长度和宽度确定。可选的，仍以关联静态控件在参考图像中的参考位置(x，y，w，h)表示为例，根据所述参考位置(x，y，w，h)，可以确定(x-0.05W,y–0.05H,w+0.10W,h+0.10H)为待测图像中的检测区域，其中W为待测图像的宽度，H为待测图像的高度，也即，将关联静态控件的左顶点向左平移0.05W，且向上平移0.05H，并将关联静态控件的宽度增加0.10W，且长度增加0.10H。

在一些实施例中，所述根据平移后的所述顶点的坐标、以及增加设置比例后的所述长度参数和所述宽度参数确定所述待测图像的检测区域之后，还包括：当确定所述检测区域超出所述待测图像的范围时，对所述设置距离和所述设置比例进行调整并重新确定检测区域，直至所述检测区域满足设定的条件。

这里，设定的条件是指对待测图像的检测区域设定的检测条件，以确保检测区域的合理性。当确定所述检测区域超出所述待测图像的范围时，需要对所述设置距离和所述设置比例进行调整以调整和重新确定检测区域的范围，直至所述检测区域满足要求。以根据参考位置(x，y，w，h)，确定所述待测图像中(x-0.05W,y–0.05H,w+0.10W,h+0.10H)为检测区域为例，若x-0.05W小于0时，表明检测区域的左侧范围超出了待测图像，则可以将检测区域的左上角横坐标设置为0；若y–0.05H小于0时，表明检测区域的上侧范围超出了待测图像，则可以将检测区域的左上角纵坐标设置为0；若x+w+0.05W大于W，表明检测区域的右侧范围超出了待测图像，则可以将检测区域的宽度设置为0.95W–x；若y+h+0.05H大于H，表明检测区域的下侧范围超出了待测图像，则可以将检测区域的高度设置为0.95H–y。

在一些实施例中，所述基于控件模板对所述目标应用中所述待测图像进行检测之前，还包括：确定与所述待测动态控件对应的所述关联静态控件在所述参考图像中的尺寸；将所述关联静态图像基于所述尺寸按照不同的变换尺度进行变换，分别建立与所述不同的变换尺度对应的控件模板。

这里，对关联静态图像按照不同的变换尺度进行变换得到分别与所述变换尺度对应的多个控件模板。其中，变换尺度可以根据目前不同类型终端所包含的不同分辨率与参考分辨率之间的关系而确定的。可选的，以参考分辨率为常用手机终端的16:9分辨率为例，根据不同类型终端所包含的不同分辨率与16:9分辨率之间的关系，可以确定变换尺度包括如下：0.70、0.75、0.80、0.85、0.90、0.95、1.00、1.05、1.10、1.15、1.20，相应的，可以根据关联静态控件建立与所述变换尺度分别对应的11张控件模板。

在一些实施例中，所述步骤105，根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数之前，包括：通过所述多个控件模板分别对所述待测图像进行检测；当确定至少一控件模板在所述待测图像中的匹配位置的相似度高于阈值时，将符合相似度符合条件的控件模板确定为匹配控件模板；

根据所述匹配控件模板对应的变换尺度作为所述参考图像与所述待测图像对应的变换尺度。

通过设置的控件模板对待测图像进行检测时，通过不同的变换尺度的控件模板分别与待测图像进行匹配，如果其中一个控件模板与待测图像的匹配位置的相似度高于阈值时，表示该控件模板为与当前待定分辨率对应的匹配控件模板；或者，如果其中多个控件模板均与待测图像的匹配位置的相似度高于阈值时，可以选择其中相似度最高的控件模板为与当前待定分辨率对应的匹配控件模板，如此，在无需事先知晓该待测图像对应的分辨率的情况下，也可以方便地确定所述参考图像与所述待测图像对应的变换尺度；而且，也可以方便地确定所述参考图像与多个待定分辨率下的待测图像分别对应的变换尺度，从而能够适用于更多复杂的应用场景。

在一些实施例中，所述基于控件模板对所述目标应用中所述待测图像进行检测，确定所述目标应用中与所述待测动态控件对应的关联静态控件在所述待测图像中的基准位置，包括：通过所述多个控件模板分别对所述待测图像进行检测；当确定至少一控件模板在所述待测图像中的匹配位置的相似度高于阈值时，将符合相似度条件的控件模板确定为匹配控件模板；

将所述匹配控件模板在所述待测图像中的相应匹配位置，确定为所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置。

这里，通过设置的控件模板对待测图像进行检测时，在待测图像分别进行多个不同的变换尺度的控件模板进行匹配，如果其中一控件模板与待测图像的匹配位置的相似度高于阈值时，表示该控件模板为与当前待定分辨率对应的匹配控件模板，或者，如果其中多个控件模板均与待测图像的匹配位置的相似度高于阈值时，可以选择其中相似度最高的控件模板为与当前待定分辨率对应的匹配控件模板，可以将该匹配控件模板在所述待测图像中的相应匹配位置作为所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置，如此，通过建立控件模板并将控件模板与待测图像进行匹配的方式，可以快速准确的确定该关联静态控件在待测图像中的位置。其次，在确定该关联静态控件在待测图像中的位置的同时，根据匹配控件模板对应的变换尺度，可以准确的确定参考图像与待测图像对应的变换尺度，在无需事先知晓待测图像所对应的分辨率的情况下，便于根据所述变换尺度而进一步确定待测动态控件在所述待测图像中的位置参数。

在一些实施例中，所述方法还包括：当确定所述控件模板在所述待测图像中的匹配位置的相似度均低于阈值时，继续获取新的目标应用在待测分辨率下输出的待测图像以确定所述待测动态控件的位置。

这里，通过设置的控件模板对待测图像进行检测时，在待测图像分别进行多个不同的变换尺度的控件模板进行匹配，如果控件模板与待测图像的匹配位置的相似度均低于阈值时，则表示待测图像中没有匹配的静态控件，如此，相应丢弃所述待测图像，并返回获取目标应用在待测分辨率下输出的待测图像的步骤，以重新获取新的目标应用在待测分辨率下输出的待测图像，通过重新获取待定分辨率下的下一张待测图像，根据新的待测图像对待测动态控件在待测图像中的位置进行确定。

在一些实施例中，所述根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数，包括：根据所述参考图像中，所述关联静态控件的目标参考点与所述待测动态控件的关联参考点之间的参考距离、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测图像中所述目标参考点与所述关联参考点之间的目标距离；

根据所述参考图像中所述待测动态控件的尺寸、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测图像中所述待测动态控件的目标尺寸。

这里，在参考图像中，所述待测动态控件和对应的关联静态控件上分别设置多个位置参考点，根据位置参考点之间的关系，从关联静态控件上的多个位置参考点选定目标参考点，从待测动态控件上的多个位置参考点选定与目标参考点对应的关联参考点，根据在参考图像中，目标参考点与关联参考点之间的参考距离、以及所述参考图像和所述待测图像对应的变换尺度，可以计算得到在待测图像中，所述目标参考点与所述关联参考点之间的目标距离，也即，在待测图像中待测动态控件与关联静态控件之间的相对位置关系。根据在参考图像中待测动态控件的尺寸、以及参考图像和待测图像对应的变换尺度，可以确定待测图像中所述待测动态控件的目标尺寸，也即待测动态控件在待测图像中的尺寸。

在一些实施例中，所述根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置，包括：

根据所述基准位置，确定所述待测图像中所述关联静态控件的所述目标参考点的第一位置；根据所述第一位置和所述目标距离，确定所述待测图像中所述待测动态控件的所述关联参考点的第二位置；

根据所述第二位置和所述目标尺寸，确定所述待测动态控件在所述待测图像中的位置。

这里，根据关联静态控件在待测图像中的基准位置，确定关联静态控件的目标参考点在待测图像中的第一位置，也即，确定目标参考点在待测图像中的位置；根据所述第一位置和所述目标距离，确定所述待测图像中所述待测动态控件的所述关联参考点的第二位置，也即，确定关联参考点在待测图像中的位置；根据所述第二位置和所述目标尺寸，确定所述待测动态控件在所述待测图像中的位置，也即，根据关联参考点在待测图像中的位置和待测动态控件的尺寸，确定待测动态控件在待测图像中的位置。

请参阅图5，以参考图像中关联静态控件的目标参考点为右下顶点M、待测动态控件的关联参考点为左侧边中点N为例，根据参考图像中关联静态控件的目标参考点与待测动态控件的关联参考点之间的参考距离H1，以及匹配控件模板的对应变换尺度，可以确定在待测图像中关联静态控件的目标参考点与待测动态控件的关联参考点之间的目标距离H2，再结合静态关联控件在待测图像中的基准位置，所确定的关联静态控件的所述目标参考点在待测图像中的第一位置，可以确定待测动态控件的关联参考点在待测图像中的第二位置，进而可以根据待测动态控件在待测图像中的目标尺寸确定待测动态控件在待测图像中的位置。

如此，通过于参考图像中待测动态控件和关联静态控件上设置参考点，根据参考点先确定待测动态控件在待测图像中的基准坐标点，再结合待测动态控件在待测图像中的目标尺寸，可以准确推算确定待测动态控件在待测图像中的位置，从而可以简化位置确定流程。

在一些实施例中，所述确定所述关联静态控件的目标参考点在所述待测图像中的第一位置之前，包括：在所述参考图像中，对应所述待测动态控件和所述关联静态控件上设置位置参考点；根据所述待测动态控件和所述关联静态控件之间的位置参考点之间的距离值，将距离值符合要求的位置参考点，确定为所述关联静态控件的目标参考点与所述待测动态控件的关联参考点，并将所述符合要求的距离值确定为所述参考距离。

这里，通过参考图像中待测动态控件和关联静态控件上设置参考点时，可以于待测动态控件和关联静态控件上分别设置多个位置参考点，根据参考图像中待测动态控件的位置参考点和关联静态控件的位置参考点中，任意两个位置参考点之间的距离值，选取符合要求的关联静态控件的目标参考点和待测动态控件的关联参考点，并将关联静态控件的目标参考点和待测动态控件的关联参考点之间的距离值作为参考距离。其中，符合要求的距离值所对应的位置参考点，是指在参考图像中，待测动态控件的位置参考点和关联静态控件的位置参考点之间，任意两个位置参考点之间的距离值中，距离值最小的两个位置参考点。需要说明的是，符合要求的距离值对应的位置参考点还可以是根据其它条件确定，如位置参考点之间的连线为水平线的两个位置参考点等。

在一些实施例中，所述在所述参考图像中，对应所述待测动态控件和所述关联静态控件上设置位置参考点，包括：在所述参考图像中，对应所述待测动态控件和所述关联静态控件上的指定位置分别设置多个位置参考点，所述指定位置包括控件的外轮廓线和中心。

这里，于参考图像中待测动态控件和关联静态控件上设置参考点时，分别于待测动态控件和关联静态控件上的不同指定位置，如待测动态控件和关联静态控件的外轮廓线和中心等位置设置位置参考点，以便于从多个位置参考点的集合中，选取到更合适的符合要求的距离值对应的位置参考点作为关联静态控件的目标参考点和待测动态控件的关联参考点。

请参阅图6，以分别于参考图像中待测动态控件和关联静态控件上设置9个参考点为例，也即，分别于待测动态控件和关联静态控件的四个顶点、四条边的中点以及中心设置位置参考点，分别计算待测动态控件和关联静态控件之间的任意两个位置参考点之间的距离，并将最小的距离值对应的两个位置参考点分别作为关联静态控件的目标参考点和待测动态控件的关联参考点，如关联静态控件的左侧边中点N为关联静态控件的目标参考点，待测动态控件的右下顶点M为待测动态控件的关联参考点。

在一些实施例中，所述确定所述待测动态控件在所述待测图像中的位置之后，包括：确定当前获得的位置结果的数量满足设定范围时，据所述位置结果的方差是否小于阈值以对所述位置结果进行筛选，将筛选后的所述位置结果的均值作为所述待测动态控件在所述待测图像中的位置。

这里，确定待测动态控件在待测图像中的位置之后，保存控件位置，并判断当前获得的位置结果的数量是否满足设定范围，若否，则等待下一张待测图像对应得到的位置结果；若是，则进一步根据当前得到的多个位置结果进行计算和筛选，以对待测动态控件在所述待测图像中的位置进行校准。其中，根据当前得到的多个位置结果进行计算和筛选可以包括：计算所述位置结果的均值和方差，若方差大于阈值，则去掉位置结果中偏离平均位置最大的一次位置结果并重新计算位置结果的均值和方差，直至方差小于阈值，并将此时的所述位置结果的平均值作为所述待测动态控件校准后的位置。如此，可以进一步确保对不同分辨率下待测图像中控件位置的计算精度。

为了能够对本发明实施例所提供的动态控件位置检测方法的实现流程更加清楚的理解，请参阅图7，下面以一可选的具体示例为例对动态控件位置检测方法的流程进行说明，将动态控件位置检测方法分为准备阶段和实施阶段两个阶段，包括如下步骤：

S11，获取参考分辨率下的参考图像；如参考分辨率为16:9分辨率，通过屏幕分辨率为16:9的终端运行目标应用时对UI界面进行截图，获取16:9分辨率下的参考图像。

S12，基于参考图像对待测动态控件和关联静态控件的位置进行标记，得到标记结果；其中，根据标记结果可以确定关联静态控件在参考图像中的位置和尺寸，由此，可以根据关联静态控件在参考图像中尺寸进行不同的变换尺度的变换而得到设置的控件模板；可以根据关联静态控件在参考图像中的位置进行扩展而得到待测图像中的检测区域。根据标记结果可以确定关联静态控件的目标参考点在参考图像中的位置、以及关联静态控件的目标参考点与待测动态控件的关联参考点在参考图像中的参考距离，由此，可以根据关联静态控件的目标参考点的位置而得到目标参考点在待测图像中的位置；可以根据参考距离而得到关联参考点在待测图像中的位置。

S13，获取待定分辨率下的待测图像；如待定分辨率可以为其它分辨率，通过屏幕分辨率为其它分辨率的终端运行目标应用时对UI界面进行截图，获取其它分辨率下的待测图像。

S14，确定关联静态控件在待测图像中的基准位置；通过控件模板对待测图像的检测区域进行检测，根据控件模板与检测区域的匹配相似度确定匹配控件模板，并根据匹配控件模板与检测区域的匹配位置作为所述关联静态控件在目标应用中待测图像中的基准位置。

S15，推测待测关联动态控件在待测图像中的位置；其中，通过关联静态控件在待测图像中的基准位置，可以确定关联静态控件的目标参考点在待测图像中的第一位置；且根据参考图像的标记结果中的目标参考点与关联参考点之间的位置关系，可以确定关联参考点在待测图像中的第二位置；再根据待测动态控件在待测图像中的尺寸和匹配控件模板对应的变换尺度，可以确定待测动态控件在待测图像中的尺寸；根据第二位置和待测动态控件在待测图像中的尺寸，可以推测待测关联动态控件在待测图像中的位置。

S16，统计位置结果并进行校准，得到所述待测动态控件在所述待测图像中的校准后的位置；其中，通过获得多张待测图像并计算多个位置结果的平均结果，提升计算精度。

上述实施例所提供的动态控件位置检测方法中，步骤S11～S12可以为准备阶段，步骤S13～S16可以为实施阶段。

请结合参阅图8，所述步骤S14，确定关联静态控件在待测图像中的基准位置，包括如下步骤：

S141，确定与待测动态控件对应的关联静态控件；其中，基于参考图像的标记结果，找到在参考图像中与待测动态控件之间距离最近的静态控件作为对应的关联静态控件。

S142，设定检测区域；其中，根据静态控件在参考图像中的位置(x,y,w,h)，将待测图像中的位置(x-0.05W,y–0.05H,w+0.10W,h+0.10H)作为静态控件在待测图像中的检测区域，x表示关联静态控件的左上顶点的横坐标，y表示关联静态控件的左上顶点的纵坐标，w表示关联静态控件的宽度，h表示关联静态控件的高度，W为待测图像的宽度，H为待测图像的高度。

S143，检查检测区域；检查检测区域的符合性，确保检测区域在待测图像内部。如果x-0.05W小于0，则检测区域的左上角横坐标设为0；如果y–0.05H小于0，则检测区域左上角横坐标设为0；如果x+w+0.05W大于W，则检测区域的宽度设为0.95W-x；如果y+h+0.05H大于H，则检测区域的高度设为0.95H–y。

S144，获得控件模板；其中，将参考图像中的关联静态控件按照不同的变换尺度进行变换，形成与所述变换尺度分别对应的控件模板，变换尺度包括0.70、0.75、0.80、0.85、0.90、0.95、1.00、1.05、1.10、1.15和1.20。

S145，通过控件模板匹配确定关联静态控件的位置；其中，在待测图像的检测区域进行多尺度的控件模板匹配，如果最匹配位置的相似度低于阈值，则表示待测图像中没有对应的关联静态控件，输入下一张图像。如果最匹配位置的相似度高于阈值，则将此位置作为关联静态控件在待测图像中的位置，并且将匹配的控件模板尺度作为关联静态控件由16:9分辨率到待测图像分辨率的变换尺度。

请结合参阅图9，所述步骤S15，推测待测关联动态控件在待测图像中的位置，包括如下步骤：

S151，设置参考点；其中，在参考图像中，在待测动态控件和关联静态控件的位置上分别设置9个位置参考点，分别为左上点、左中点、左下点、右上点、右中点、右下点、中上电、中下点和中心点，如图6所示。

S152，确定目标参考点和关联参考点；其中，计算所有待测动态控件上的参考点与所有关联静态控件上的参考点之间的距离，找到参考点之间的最小距离，作为待测动态控件与所有关联静态控件之间的参考距离，并记录下最小距离的参考点的位置，分别作为关联静态控件的目标参考点和待测动态控件的关联参考点。如图5所示，关联静态控件的右下顶点M与待测动态控件的左侧边中点N分别为目标参考点和关联参考点。

S153，推算待测动态控件的关联参考点的坐标；其中，首先在待测图像中找到关联静态控件上目标参考点的位置。之后，根据待测图像中待测动态控件和关联静态控件之间的距离，推算出所述待测图像中待测动态控件的关联参考点的坐标，作为待测动态控件上关联参考点的位置，如图5所示。在推算待测图像中待测动态控件上的关联参考点的坐标时，根据参考图像中两个参考点之间的最小距离H1乘以参考图像与待测图像对应的变换尺度进行确定。参考图像与待测图像对应的变换尺度与匹配的控件模板对应的变换尺度相同。

S154，推算待测动态控件的位置；其中，首先计算待测动态控件在待测图像中的宽高。待测动态控件的宽高为16:9分辨率下待测动态控件的宽高乘以参考图像与待测图像对应的变换尺度得到。之后，根据关联参考点在待测动态控件上的位置，计算待测动态控件的左上角的坐标点，从而获取所述待测图像中待测动态控件的位置。

请结合参阅图10，所述步骤S16，统计位置结果并进行校准，得到所述待测动态控件在所述待测图像中的校准后的位置，包括如下步骤：

S161，得到待测动态控件的位置结果；

S162，判断位置结果的数量是否大于阈值；若否，则执行步骤S168，保存位置结果并返回S161；若是，则执行步骤S163；

S163，计算位置平均值和方差；

S164，判断方差是否大于设定值；若是，则执行步骤S169，去掉偏离平均值最大的位置，并返回步骤S163；若否，则执行步骤S165；

S165，根据位置平均值校准待测动态控件的位置结果。

本发明上述实施例所提供的动态控件位置检测方法，仅需对同一目标应用在参考分辨率下的参考图像中的静态控件和动态控件的位置进行标记，通过提供所述参考图像中所述关联静态控件进行尺度变换得到的控件模板，即可准确确定所述参考图像与所述待测图像对应的变换尺度，从而可以确定所述目标应用中的待测动态控件在其它分辨率下的位置，减少了手动标记的工作量，节约了人工成本；且待测动态控件的位置的确定结果的准确性不受待测动态控件的大小的影响，当目标应用的版本进行更新升级时，也仅需对升级后的参考图像中的静态控件和动态控件进行再次标记即可，位置确定的准确性高，且便于维护。

本发明实施例的另一方面，提供动态控件位置检测装置可以采用终端或服务器等计算机设备实施的实施例，就实施该动态控件位置检测方法的动态控件位置检测装置的硬件结构而言，请参阅图11，为本发明实施例提供的动态控件位置检测装置的一个可选的硬件结构示意图，包括：至少一个处理器901、存储器902、至少一个网络接口904和用户接口906。动态控件位置检测装置中的各个组件通过总线系统905耦合在一起。可以理解的，总线系统905用于实现这些组件之间的连接通信。总线系统905除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图11中将各种总线都标为总线系统。

其中，用户接口906可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器902可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandom Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static RandomAccess Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类别的存储器。

本发明实施例中的存储器902用于存储各种类别的数据以支持动态控件位置检测装置的操作。这些数据的示例包括：用于在动态控件位置检测装置上操作的任何可执行程序，如操作系统和应用程序；控件模板；参考分辨率下的参考图像等；其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。其中应用程序可以包含各种应用程序，例如，目标应用、媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例提供的动态控件位置检测方法的动态控件位置检测装置可以包含在应用程序中。

上述本发明实施例揭示的方法可以应用于处理器901中，或者由处理器901实现。处理器901可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器901可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用的处理器901可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的动态控件位置检测方法的实现步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，动态控件位置检测装置可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)，用于执行前述方法。

在示例性实施例中，请继续参阅图11，本发明一实施例提供的动态控件位置检测装置包括：获取模块11、基准确定模块13和参数确定模块15和位置模块17。其中，所述获取模块11，用于获取目标应用在待测分辨率下输出的待测图像；所述基准确定模块13，用于确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，所述关联静态控件是所述目标应用中与待测动态控件关联的静态控件；所述参数确定模块15，用于据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；所述位置模块17，用于根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置。

在一些实施例中，所述基准确定模块13，具体用于基于控件模板对所述目标应用中所述待测图像进行检测，确定所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置。

在一些实施例中，所述基准确定模块13，具体用于将所述关联静态控件在所述参考图像中的位置确定为参考位置，根据所述参考位置确定所述目标应用中所述待测图像的检测区域；基于控件模板对所述待测图像的检测区域进行检测。

在一些实施例中，所述参考位置携带有所述关联静态控件的长度参数和宽度参数、以及所包括顶点的坐标参数，所述基准确定模块13，还用于将所述顶点向靠近所述待测图像的边缘的方向平移设置距离，将所述长度参数和所述宽度参数分别增加设置比例，根据平移后的所述顶点的坐标、以及增加设置比例后的所述长度参数和所述宽度参数确定所述待测图像的检测区域。

在一些实施例中，所述基准确定模块13，还用于在所述根据平移后的所述顶点的坐标、以及增加设置比例后的所述长度参数和所述宽度参数确定所述待测图像的检测区域之后，还包括：当确定所述检测区域超出所述待测图像的范围时，对所述设置距离和所述设置比例进行调整并重新确定检测区域，直至所述检测区域满足设定的条件。

在一些实施例中，所述装置还包括模板建立模块12，用于在所述基于控件模板对所述目标应用中所述待测图像进行检测之前，确定与所述待测动态控件对应的所述关联静态控件在所述参考图像中的尺寸；将所述关联静态图像基于所述尺寸按照不同的变换尺度进行变换，分别建立与所述不同的变换尺度对应的控件模板。

在一些实施例中，所述基准确定模块13，具体用于通过所述多个控件模板分别对所述待测图像进行检测；当确定至少一控件模板在所述待测图像中的匹配位置的相似度高于阈值时，将符合相似度条件的控件模板确定为匹配控件模板；将所述匹配控件模板在所述待测图像中的相应匹配位置，确定为所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置。

在一些实施例中，所述基准确定模块13，还用于当确定所述控件模板在所述待测图像中的匹配位置的相似度均低于阈值时，继续获取新的目标应用在待测分辨率下输出的待测图像以确定所述待测动态控件的位置。

在一些实施例中，所述参数确定模块15包括距离单元和尺寸单元，所述距离单元，用于根据所述参考图像中，所述关联静态控件的目标参考点与所述待测动态控件的关联参考点之间的参考距离、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测图像中所述目标参考点与所述关联参考点之间的目标距离；所述尺寸单元，用于根据所述参考图像中所述待测动态控件的尺寸、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测图像中所述待测动态控件的目标尺寸。

在一些实施例中，所述位置模块17包括第一位置单元、第二位置单元和确定单元，其中，所述第一位置单元，用于根据所述基准位置，确定所述待测图像中所述关联静态控件的所述目标参考点的第一位置。所述第二位置单元，用于根据所述第一位置和所述目标距离，确定所述待测图像中所述待测动态控件的所述关联参考点的第二位置。所述确定单元，用于根据所述第二位置和所述目标尺寸，确定所述待测动态控件在所述待测图像中的位置。

在一些实施例中，所述参数确定模块15还包括参考点确定单元，用于在所述参考图像中，对应所述待测动态控件和所述关联静态控件上设置位置参考点；根据所述待测动态控件的位置参考点和所述关联静态控件的位置参考点之间的距离值，将距离值符合要求的位置参考点，确定为所述关联静态控件的目标参考点与所述待测动态控件的关联参考点，并将所述符合要求的距离值确定为所述参考距离。

在一些实施例中，所述参考点确定单元，用于在所述参考图像中，所述待测动态控件和所述关联静态控件上的指定位置分别设置多个位置参考点，所述指定位置包括控件的外轮廓线和中心。

在一些实施例中，所述装置还包括校准模块18，用于在所述确定所述待测动态控件在所述待测图像中的位置之后，确定当前获得的位置结果的数量满足设定范围时，根据所述位置结果的方差是否小于阈值以对所述位置结果进行筛选，将筛选后的所述位置结果的均值作为所述待测动态控件在所述待测图像中的位置。

需要说明的是：上述实施例提供的动态控件位置检测装置在进行动态控件位置检测时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的动态控件位置检测装置与动态控件位置检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例另一方面，还提供了一种动态控件的测试方法，用于对目标应用的UI界面中的控件进行点击测试以完成特定的测试任务。请参阅图12，所述动态控件的测试方法包括：

步骤201，获取目标应用在待测分辨率下输出的待测图像。

这里，获取目标应用在待测分辨率下输出的待测图像，可以是获取该待定分辨率的终端在运行所述目标应用时对UI界面的截图图像。如此，可以在不需要事先确定终端的分辨率的前提下，通过获取终端运行所述目标应用时对UI界面的截图，即可获得目标应用在待定分辨率下的待测图像。

步骤203，基于所述目标应用中与待测动态控件对应的关联静态控件在待测图像中的基准位置、在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述目标应用中待测动态控件在所述待测图像中的位置。

参考分辨率是指从任意分辨率下所选定的一个分辨率，通过该目标应用在参考分辨率下UI界面中控件的布局，也即参考图像中所述待测动态控件与所述关联静态控件的位置关系进行标注，结合所确定的关联静态控件在待测图像中的基准位置、以及所述参考图像和所述待测图像对应的变换尺度，以自动确定该目标应用在其它分辨率下UI界面中控件的布局，也即所述目标应用中待测动态控件在所述待测图像中的位置。参考图像则是指基于目标应用在参考分辨率下的终端运行时获得的UI界面图像。其中，所述参考图像与所述待测图像对应的变换尺度，是指所述目标应用的UI界面图像中的控件在参考图像中的尺寸与在待测图像中的尺寸之间的转换系数。

需要说明的是，所述基于所述目标应用中与待测动态控件对应的关联静态控件在待测图像中的基准位置、在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述目标应用中待测动态控件在所述待测图像中的位置，可以是采用本发明任一实施例所提供的动态控件位置检测方法获得的控件在待测图像中的位置。

步骤205，模拟对应所述位置的点击操作，并发送给所述目标应用。

这里，模拟对应所述位置的点击操作，是指模拟用户交互而对相应控件进行点击的操作。

步骤207，获取所述目标应用通过所述待测动态控件响应所述点击操作的结果。

本发明实施例中，通过模拟对应所述位置的点击操作，并发送给所述目标应用，获取所述目标应用通过所述待测动态控件响应所述点击操作的结果，是指通过自动确定目标应用的UI界面中的控件位置，预先设定好对目标应用的UI界面的测试流程，根据特定的测试流程模拟依次对相应控件的点击，从而完成对目标应用的UI界面的测试任务。所述点击操作的结果可以是正常响应对应控件的点击而实现相应控件的功能、或者是不能正常响应对应控件的点击而实现相应控件的功能。上述实施例中，通过识别所述目标应用在待定分辨率下的待测图像中的控件的位置，再根据设定的测试流程点击对应的控件，根据模拟点击控件的对应响应结果而实现对所述目标应用的UI界面在待定分辨率下的测试任务。

以目标应用为游戏应用A为例，请再次参阅图2，其中静态控件A11、A12可以是游戏应用A中的放大镜和攻击，动态控件A21、A23、A24、A25可以是地图和技能等。在对游戏应用A进行UI界面测试中，请参阅图13，为本发明一可选实施例所提供的动态控件的测试方法的流程示意图，动态控件的测试是对UI界面测试的一个重要部分，实施本发明实施例提供的动态控件的测试方法的系统架构包括第一终端、第二终端和服务器，所述动态控件的测试方法包括：

步骤S21，第一终端发送游戏应用A在16:9分辨率下的参考图像到服务器；该第一终端的分辨率为16:9分辨率的终端，第一终端运行游戏应用A时对UI界面进行截图，将16:9分辨率作为参考分辨率，对UI界面的截图中静态控件和动态控件的位置进行标记得到参考图像，并将所述参考图像发送给服务器；

步骤S22，第二终端发送游戏应用A在待定分辨率下的待测图像给服务器；第二终端可以是其它任意的未知分辨率的终端，第二终端运行游戏应用A时对UI界面进行截图，将该UI界面的截图作为待定分辨率下的待测图像，并将所述待测图像发送给服务器。

步骤S23，服务器确定目标应用中的关联静态控件在待测图像中的基准位置；服务器可以通过设置的控件模板对待测图像进行检测，通过检测以确定匹配的控件模板的方式确定关联静态控件在待测图像中的基准位置；或者，也可以是通过训练后的神经网络模型对所述关联静态控件在待测图像中的位置进行预测，根据预测结果确定关联静态控件在待测图像中的基准位置。

步骤S24，服务器根据基准位置、待测动态控件与关联静态控件在参考图像中的位置关系、以及变换尺度，确定待测动态控件在待测图像中的位置；变换尺度是指参考图像与待测图像对应的变换尺度，可以通过采用分别与不同变换尺度对应的控件模板对待测图像进行检测，通过确定匹配的控件模板从而根据所述匹配的控件模板对应的变换尺寸作为所述参考图像与待测图像对应的变换尺度；或者，在已知待定分辨率的情况下，可以根据参考分辨率和待定分辨率的关系以确定所述变换尺度。

步骤S25，服务器返回控件位置给第二终端。

步骤S26，第二终端执行点击，得到测试结果。第二终端根据服务器返回的控件位置，根据设定的测试流程对所述目标应用的UI界面图像中的相应控件执行点击操作，根据点击后的响应得到所述目标应用在待定分辨率下的UI界面测试结果。

上述实施例中，针对待定分辨率为图2中所示的32:15分辨率而言，可以通过本发明实施例所提供的动态控件位置检测方法，服务器根据游戏应用A在16:9分辨率下控件位置的标记，确定游戏应用A在32:15分辨率下的控件的位置返回给待定分辨率的第二终端，第二终端再根据所确定的控件的位置对32:15分辨率下的UI界面按照特定的测试流程进行点击测试，实现对游戏应用A对应在32:15分辨率下的UI界面测试任务。

本发明实施例另一方面，还提供实施该动态控件的测试方法的动态控件的测试装置，所述动态控件的测试方法的实施侧与所述动态控件位置检测方法的实施侧可以相同，如同为图13中所示的服务器；也可以不同，如动态控件位置检测方法的实施侧为图13中所示的服务器，而动态控件的测试方法的实施侧可以为待定分辨率的第二终端。就实施动态控件的测试方法的动态控件的测试装置的硬件结构而言，请参阅图14，为本发明实施例所提供的动态控件的测试装置的一个可选的硬件结构示意图，包括：至少一个处理器801、存储器802、至少一个网络接口804和用户接口806。动态控件的测试装置中的各个组件通过总线系统805耦合在一起。可以理解的，总线系统805用于实现这些组件之间的连接通信。总线系统805除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图14中将各种总线都标为总线系统。

其中，用户接口806可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器802可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandom Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static RandomAccess Memory)。本发明实施例描述的存储器802旨在包括但不限于这些和任意其它适合类别的存储器。

本发明实施例中的存储器802用于存储各种类别的数据以支持动态控件位置检测装置的操作。这些数据的示例包括：用于在动态控件的测试装置上操作的任何可执行程序，如操作系统和应用程序；控件位置等；其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。其中应用程序可以包含各种应用程序，例如，目标应用、媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例提供的动态控件的测试方法的动态控件的测试装置可以包含在应用程序中。

上述本发明实施例揭示的方法可以应用于处理器801中，或者由处理器801实现。处理器801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器801可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用的处理器801可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的动态控件的测试方法的实现步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，动态控件的测试装置可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)，用于执行前述方法。

在示例性实施例中，请继续参阅图14，本发明一实施例提供的动态控件的测试装置，动态控件的测试装置包括接收模块21、位置确定模块23、点击模块25及测试结果模块27。所述接收模块21，用于获取目标应用在待测分辨率下输出的待测图像；所述位置确定模块23，用于基于所述目标应用中与待测动态控件对应的关联静态控件在待测图像中的基准位置、在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述目标应用中待测动态控件在所述待测图像中的位置；所述点击模块25，用于模拟对应所述位置的点击操作，并发送给所述目标应用；所述测试结果模块27，用于获取所述目标应用通过所述待测动态控件响应所述点击操作的结果。

需要说明的是：上述实施例提供的动态控件的测试装置在进行动态控件的测试时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的动态控件的测试装置与动态控件的测试方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例另一方面，还提供了一种存储介质，如图11所示的包括可执行计算机程序的存储器902、或如图14所示的包括可执行计算机程序的存储器802，上述计算机程序可由处理器执行，以完成本发明实施例所提供的动态控件位置检测方法、或动态控件的测试方法的步骤。可读存储介质可以是磁性随机存取存储器(FRAM)、只读内存(ROM)、可编程只读存储器(PROM)、非易失性只读存储器(EPROM)、带电可插可编程只读存储器(EEPROM)、闪存(Flash Memory)、磁表面存储器、光盘、或光盘只读存储器(CD-ROM)等存储器；也可以是包括由上述存储器之一或任意组合的各种设备，如计算机设备。

综上所述，通过根据在参考分辨率的参考图像中待测动态控件与关联静态控件的位置关系、以及所述参考图像与所述待测图像对应的变换尺度，再结合关键静态控件在待测图像中的基准位置，确定所述待测动态控件在所述待测图像中的位置，如此，仅需对同一目标应用在参考分辨率下的参考图像中的静态控件和动态控件进行标记，从而大大减少了手动标记的工作量，节约了人工成本；待测动态控件的位置的确定结果的准确性与所述待测动态控件的尺寸大小无关，因而结果的准确性不受待测动态控件的大小的影响，当目标应用的版本更新升级时，也仅需对升级后的参考分辨率下的参考图像中的静态控件和动态控件进行再次标记即可，位置确定的准确性高，且便于维护。通过根据对待测图像中的控件位置的自动识别，可以根据控件的位置进行点击测试，实现对任意其它分辨率下的用户交互界面的点击测试，能够提升测试效率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种动态控件位置检测方法，其特征在于，包括：

获取目标应用在待测分辨率下输出的待测图像；

确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，所述关联静态控件是所述目标应用中与待测动态控件关联的静态控件；

根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；

根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置。

2.如权利要求1所述的方法，其特征在于，所述确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，包括：

基于控件模板对所述目标应用中所述待测图像进行检测，确定与待测动态控件对应的关联静态控件在所述待测图像中的基准位置。

3.如权利要求2所述的方法，其特征在于，所述基于控件模板对所述目标应用中所述待测图像进行检测，包括：

将所述关联静态控件在所述参考图像中的位置确定为参考位置，根据所述参考位置确定所述目标应用中所述待测图像的检测区域；

基于控件模板对所述待测图像的检测区域进行检测。

4.如权利要求3所述的方法，其特征在于，所述参考位置携带有所述关联静态控件的长度参数和宽度参数、以及所包括顶点的坐标参数；

所述根据所述参考位置确定所述目标应用中所述待测图像的检测区域，包括：

将所述顶点向靠近所述待测图像的边缘的方向平移设置距离，将所述长度参数和所述宽度参数分别增加设置比例；

根据平移后的所述顶点的坐标、以及增加设置比例后的所述长度参数和所述宽度参数确定所述待测图像的检测区域。

5.如权利要求2所述的方法，其特征在于，所述基于控件模板对所述目标应用中所述待测图像进行检测之前，还包括：

确定与所述待测动态控件对应的所述关联静态控件在所述参考图像中的尺寸；

将所述关联静态图像基于所述尺寸按照不同的变换尺度进行变换，分别建立与所述不同的变换尺度对应的控件模板。

6.如权利要求5所述的方法，其特征在于，所述基于控件模板对所述目标应用中所述待测图像进行检测，确定所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置，包括：

通过所述多个控件模板分别对所述目标应用中所述待测图像进行检测；

当确定至少一控件模板在所述待测图像中的匹配位置的相似度高于阈值时，将符合相似度条件的控件模板确定为匹配控件模板；

将所述匹配控件模板在所述待测图像中的相应匹配位置，确定为所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置。

7.如权利要求1所述的方法，其特征在于，所述根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数，包括：

根据所述参考图像中，所述关联静态控件的目标参考点与所述待测动态控件的关联参考点之间的参考距离、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测图像中所述目标参考点与所述关联参考点之间的目标距离；

根据所述参考图像中所述待测动态控件的尺寸、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测图像中所述待测动态控件的目标尺寸。

8.如权利要求7所述的方法，其特征在于，包括：所述根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置，包括：

根据所述基准位置，确定所述待测图像中所述关联静态控件的所述目标参考点的第一位置；根据所述第一位置和所述目标距离，确定所述待测图像中所述待测动态控件的所述关联参考点的第二位置；

根据所述第二位置和所述目标尺寸，确定所述待测动态控件在所述待测图像中的位置。

9.如权利要求7所述的方法，其特征在于，所述确定所述关联静态控件的目标参考点在所述待测图像中的第一位置之前，包括：

在所述参考图像中，对应所述待测动态控件和所述关联静态控件上设置位置参考点；

根据所述待测动态控件的位置参考点和所述关联静态控件的位置参考点之间的距离值，将距离值符合要求的位置参考点，确定为所述关联静态控件的目标参考点与所述待测动态控件的关联参考点，并将所述符合要求的距离值确定为所述参考距离。

10.如权利要求1至9中任一项所述的方法，其特征在于，所述确定所述待测动态控件在所述待测图像中的位置之后，包括：

确定当前获得的位置结果的数量满足设定范围时，根据所述位置结果的方差是否小于阈值以对所述位置结果进行筛选，将筛选后的所述位置结果的均值作为所述待测动态控件在所述待测图像中的位置。

11.一种动态控件的测试方法，包括：

获取目标应用在待测分辨率下输出的待测图像；

基于所述目标应用中与待测动态控件对应的关联静态控件在待测图像中的基准位置、在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述目标应用中待测动态控件在所述待测图像中的位置；

模拟对应所述位置的点击操作，并发送给所述目标应用；

获取所述目标应用通过所述待测动态控件响应所述点击操作的结果。

12.一种动态控件位置检测装置，其特征在于，包括：

获取模块，用于获取目标应用在待测分辨率下输出的待测图像；

基准确定模块，用于确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，所述关联静态控件是所述目标应用中与待测动态控件关联的静态控件；

参数确定模块，用于据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；

位置模块，用于根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置。

13.一种动态控件的测试装置，其特征在于，包括：

接收模块，用于获取目标应用在待测分辨率下输出的待测图像；

位置确定模块，用于基于所述目标应用中与待测动态控件对应的关联静态控件在待测图像中的基准位置、在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述目标应用中待测动态控件在所述待测图像中的位置；

点击模块，用于模拟对应所述位置的点击操作，并发送给所述目标应用；

测试结果模块，用于获取所述目标应用通过所述待测动态控件响应所述点击操作的结果。

14.一种计算机设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；

其中，所述处理器用于运行所述计算机程序时，实现权利要求1至10任一项所述的动态控件位置检测方法、或实现权利要求11所述的动态控件的测试方法。

15.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至10任一项所述的动态控件位置检测方法、或实现权利要求11所述的动态控件的测试方法。