CN114064512A - 界面测试方法、装置、系统、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种界面测试方法、装置、计算机设备和存储介质。涉及测试技术领域，可用于金融科技领域。方法包括：向待测试设备发送解除指令，以使待测试设备响应于解除指令解除安全控件对界面防截屏的控制，待测试设备为安装目标应用程序的设备；接收待测试设备发送的针对解除指令的解除反馈信息；响应于解除反馈信息向待测试设备发送界面测试指令，以使得待测试设备响应于界面测试指令执行针对目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；接收待测试设备发送的界面图像数据后，根据界面图像数据确定针对目标应用程序的界面测试结果。采用本方法能够提高界面测试精度。

Description

界面测试方法、装置、系统、计算机设备和存储介质

技术领域

本申请涉及测试技术领域，特别是涉及一种界面测试方法、装置、系统、计算机设备和存储介质。

背景技术

软件开发中，应用界面的设计和开发也是重要的一个环节。通常的，应用界面是根据设计师提供的视觉图而开发出来的。在开发出应用界面后，还需要对该界面进行测试，以检测其是否与相应的视觉图中是否一致。

相关界面测试方法中，都是通过人工进行肉眼检测，而人工很难区分出应用界面与视觉图上对应的元素之间存在的细微偏差，因此界面测试的精度较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高界面测试精度的界面测试方法、装置、系统、计算机设备和存储介质。

第一方面，本申请提供了一种界面测试方法，所述方法包括：

向待测试设备发送解除指令，以使所述待测试设备响应于所述解除指令解除安全控件对界面防截屏的控制，所述待测试设备为安装目标应用程序的设备；

接收所述待测试设备发送的针对所述解除指令的解除反馈信息；

响应于所述解除反馈信息向所述待测试设备发送界面测试指令，以使得所述待测试设备响应于所述界面测试指令执行针对所述目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

接收所述待测试设备发送的所述界面图像数据后，根据所述界面图像数据确定针对所述目标应用程序的界面测试结果。

在其中一个实施例中，所述根据所述界面图像数据确定针对所述目标应用程序的界面测试结果，包括：

获取与所述待测试设备相匹配的界面标准信息；

根据所述界面图像数据与所述界面标准信息的比对结果，得到针对所述目标应用程序的界面测试结果。

在其中一个实施例中，所述方法还包括：

在所述界面测试结果表征所述目标应用程序未通过测试的情况下，根据所述界面测试结果创建问题清单，并向目标设备发送所述问题清单，所述问题清单用于提示对所述目标应用程序进行调整。

在其中一个实施例中，所述问题清单中包括所述界面图像数据与所述界面标准信息的比对结果，以使所述目标设备响应于所述问题清单，根据所述比对结果对所述目标应用程序进行调整。

在其中一个实施例中，所述方法还包括：

响应于针对所述问题清单的处理操作，重复执行对所述目标应用程序进行界面测试处理，直至所述目标应用程序的界面测试结果表征所述目标应用程序通过测试为止，并根据所述问题清单、所述针对所述问题清单的处理操作、以及所述待测试设备的设备信息、所述目标应用程序的界面测试结果，生成测试报告。

第二方面，本申请还提供了一种界面测试方法，所述方法包括：

接收测试设备发送的解除指令后，响应于所述解除指令解除安全控件对界面防截屏的控制；

向所述测试设备发送针对所述解除指令的解除反馈信息；

接收所述测试设备发送的界面测试指令后，响应于所述界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

向所述测试设备发送所述界面图像数据，以使所述测试设备根据所述界面图像数据得到针对所述目标应用程序的界面测试结果。

第三方面，本申请还提供了一种界面测试系统，所述系统包括测试设备及至少一个待测试设备，所述待测试设备为安装待测试的目标应用程序的设备；

所述测试设备用于向所述待测试设备发送解除指令；

所述待测试设备用于在接收到所述解除指令后，响应于所述解除指令解除安全控件对界面防截屏的控制，并向所述测试设备发送解除反馈信息；

所述测试设备还用于在接收到所述待测试设备发送的所述解除反馈信息后，向所述待测试设备发送界面测试指令；

所述待测试设备还用于在接收到所述界面测试指令后，响应于所述界面测试指令执行界面测试，并在测试过程中截屏得到界面图像数据，将所述界面图像数据发送至所述测试设备；

所述测试设备还用于在接收到所述待测试设备发送的所述界面图像数据后，根据所述界面图像数据确定针对所述目标应用程序的界面测试结果。

第四方面，本申请还提供了一种界面测试装置。所述装置包括：

第一发送模块，用于向待测试设备发送解除指令，以使所述待测试设备响应于所述解除指令解除安全控件对界面防截屏的控制，所述待测试设备为安装目标应用程序的设备；

接收模块，用于接收所述待测试设备发送的针对所述解除指令的解除反馈信息；

第二发送模块，用于响应于所述解除反馈信息向所述待测试设备发送界面测试指令，以使得所述待测试设备响应于所述界面测试指令执行针对所述目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

确定模块，用于接收所述待测试设备发送的所述界面图像数据后，根据所述界面图像数据确定针对所述目标应用程序的界面测试结果。

在其中一个实施例中，所述确定模块，还用于：

获取与所述待测试设备相匹配的界面标准信息；

根据所述界面图像数据与所述界面标准信息的比对结果，得到针对所述目标应用程序的界面测试结果。

在其中一个实施例中，所述装置还包括：

处理模块，用于在所述界面测试结果表征所述目标应用程序未通过测试的情况下，根据所述界面测试结果创建问题清单，并向目标设备发送所述问题清单，所述问题清单用于提示对所述目标应用程序进行调整。

在其中一个实施例中，所述问题清单中包括所述界面图像数据与所述界面标准信息的比对结果，以使所述目标设备响应于所述问题清单，根据所述比对结果对所述目标应用程序进行调整。

在其中一个实施例中，所述装置还包括：

报告模块，用于响应于针对所述问题清单的处理操作，重复执行对所述目标应用程序进行界面测试处理，直至所述目标应用程序的界面测试结果表征所述目标应用程序通过测试为止，并根据所述问题清单、所述针对所述问题清单的处理操作、以及所述待测试设备的设备信息、所述目标应用程序的界面测试结果，生成测试报告。

第五方面，本申请还提供了一种界面测试装置，所述装置包括：

第一接收模块，用于接收测试设备发送的解除指令后，响应于所述解除指令解除安全控件对界面防截屏的控制；

第一发送模块，用于向所述测试设备发送针对所述解除指令的解除反馈信息；

第二接收模块，用于接收所述测试设备发送的界面测试指令后，响应于所述界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

第二发送模块，用于向所述测试设备发送所述界面图像数据，以使所述测试设备根据所述界面图像数据得到针对所述目标应用程序的界面测试结果。

第六方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以上任一项界面测试方法。

第七方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一项界面测试方法。

第八方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以上任一项界面测试方法。

上述界面测试方法、装置、系统、计算机设备和存储介质，可以向待测试设备发送解除指令，以使待测试设备响应于解除指令解除安全控件对界面防截屏的控制，待测试设备为安装目标应用程序的设备，并接收待测试设备发送的针对解除指令的解除反馈信息后，响应于解除反馈信息向待测试设备发送界面测试指令，以使得待测试设备响应于界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据。接收待测试设备发送的界面图像数据后，根据界面图像数据确定针对目标应用程序的界面测试结果。基于本申请实施例提供的界面测试方法、装置、系统、计算机设备和存储介质，测试设备可以通过解除指令指示待测试设备解除安全控件对于防截屏的控制后，通过界面测试指令控制待测试设备执行对目标应用程序的界面测试，并在测试过程截屏得到界面图像数据，以使得测试设备可以根据界面图像数据得到针对目标应用程序的界面测试结果，也即可以实现对于部署安全控件的应用程序界面的自动化测试，避免人眼观测的误差，可以提高界面测试精度及界面测试效率。

附图说明

图1为一个实施例中界面测试方法的应用环境图；

图2为一个实施例中界面测试方法的流程示意图；

图3为一个实施例中界面测试方法的流程示意图；

图4为一个实施例中界面测试方法的流程示意图；

图5为一个实施例中界面测试装置的结构框图；

图6为一个实施例中界面测试方法的示意图；

图7为一个实施例中界面测试装置的结构框图；

图8为一个实施例中界面测试装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的界面测试方法，可以应用于如图1所示的应用环境中。其中，测试设备102通过网络与至少一个待测试设备104(图1中以一个待测试设备104为例，实际上本申请实施例中对于待测试设备104的个数不做具体限定)进行通信，其中待测试设备104中安装有待进行测试的目标应用程序。测试设备102通过向待测试设备104发送解除指令，控制待测试设备104解除安全控件对于界面防截屏的控制后，向待测试设备104发送界面测试指令，以控制待测试设备104根据界面测试指令对目标应用程序进行操作，并在操作过程中截屏得到界面图像数据。测试设备102从待测试设备104获取界面图像数据后，可以根据界面图像数据执行针对目标应用程序的界面测试。其中，测试设备102和待测试设备104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。或者，也可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种界面测试方法，以该方法应用于图1中的测试设备102为例进行说明，包括以下步骤：

步骤202，向待测试设备发送解除指令，以使待测试设备响应于解除指令解除安全控件对界面防截屏的控制，待测试设备为安装目标应用程序的设备。

本申请实施例中，待测试设备的数量可以为一个，也可以为多个，本申请实施例对待测试设备的数量不做具体限定，以下以一个待测试设备为例对本申请实施例加以说明。示例的，在待测试设备为多个的情况下，该多个待测试设备的种类、型号可以各不相同，例如：待测试设备可以为多款不同品牌和/或不同分辨率的显示器和/或手机等显示设备，可以并行实现对目标应用程序在不同品牌和/或不同分辨率等设备中进行自动化界面测试。

待测试设备安装的目标应用程序中可以包括安全控件，例如：安全键盘等控件。由于安全控件对界面防截屏的控制，待测试设备无法对目标应用程序的界面进行截屏。测试设备可以响应于针对界面测试的启动操作，向待测试设备发送解除指令，该解除指令可以用于指示待测试设备解除安全控件对界面防截屏的控制。待测试设备接收到解除指令后，可以响应于解除指令解除安全控件对界面防截屏的控制，例如：待测试设备可以响应于解除指令向安全控件发送防截屏模式关闭指令，以使得安全控件在接收到该防截屏模式关闭指令后，关闭防截屏模式。

步骤204，接收待测试设备发送的针对解除指令的解除反馈信息。

本申请实施例中，待测试设备在解除安全控件对界面防截屏的控制后，可以向测试设备发送解除指令对应的解除反馈信息，该解除反馈信息可以用于表征待测试设备已解除安全控件对界面防截屏的控制，或者在待测试设备未开启防截屏模式的情况下，该解除反馈信息可以用于表征待测试设备无需解除界面防截屏。

步骤206，响应于解除反馈信息向待测试设备发送界面测试指令，以使得待测试设备响应于界面测试指令执行针对目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据。

本申请实施例中，测试设备接收到待测试设备针对解除指令的解除反馈信息后，可以根据该解除反馈信息确定待测试设备已解除对界面防截屏的控制，也即待测试设备可以执行截屏操作，则可以向待测试设备发送界面测试指令，该界面测试指令可以包括模拟的用于控制待测试设备遍历跳转各应用界面的操作指令以及执行截屏操作的截屏指令。

待测试设备在接收到测试设备发送的界面测试指令后，响应于界面测试指令遍历跳转各应用界面，并在跳转到任一应用界面的情况下，执行截屏操作，得到该应用界面对应的界面图像数据，并反馈界面图像数据至测试设备。

步骤208，接收待测试设备发送的界面图像数据后，根据界面图像数据确定针对目标应用程序的界面测试结果。

本申请实施例中，测试设备接收到待测试设备发送的界面图像数据后，可以确定各界面图像数据是否符合开发要求，例如：可以将界面图像数据与开发的设计标准进行比较，进而根据比较结果得到针对目标应用程序的界面测试结果。

上述界面测试方法，可以向待测试设备发送解除指令，以使待测试设备响应于解除指令解除安全控件对界面防截屏的控制，待测试设备为安装目标应用程序的设备，并接收待测试设备发送的针对解除指令的解除反馈信息后，响应于解除反馈信息向待测试设备发送界面测试指令，以使得待测试设备响应于界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据。接收待测试设备发送的界面图像数据后，根据界面图像数据确定针对目标应用程序的界面测试结果。基于本申请实施例提供的界面测试方法，测试设备可以在通过解除指令指示待测试设备解除安全控件对于防截屏的控制后，通过界面测试指令控制待测试设备执行对目标应用程序的界面测试，并在测试过程截屏得到界面图像数据，以使得测试设备可以根据界面图像数据得到针对目标应用程序的界面测试结果，也即可以实现对于部署安全控件的应用程序界面的自动化测试，避免人眼观测的误差，可以提高界面测试精度及界面测试效率。

在一个实施例中，如图3所示，步骤208中，根据界面图像数据确定针对目标应用程序的界面测试结果，可以包括：

步骤302，获取与待测试设备相匹配的界面标准信息；

步骤304，根据界面图像数据与界面标准信息的比对结果，得到针对目标应用程序的界面测试结果。

本申请实施例中，在得到待测试设备发送的界面图像数据后，可以根据待测试设备的设备信息获取与待测试设备相匹配的界面标准信息，其中待测试设备的设备信息可以包括待测试设备的分辨率、型号、品牌等信息。示例的，在不同分辨率的待测试设备中同一元素在界面中的展示位置存在些许差异，故不同分辨率的待测试设备对应不同的设计标准，在得到界面图像数据后，可以获取与待测试设备相匹配的界面标准信息与界面图像数据进行比较。

界面标准信息为设计标准对应的文档和/或图像等信息。示例性的，界面标准信息可以包括元素、元素的位置、元素的色值、元素的尺寸等信息，可以通过对界面图像数据进行图像识别，识别出界面图像数据中包含的元素、及各元素在界面图像数据中的位置、尺寸、各元素的色值的等信息，与界面标准信息中对应的元素信息进行比对，根据比对结果得到针对目标应用程序的界面测试结果。例如：在二者的对比结果为二者之间差异满足测试要求(例如：差异小于阈值的差异阈值)的情况下，可以确定界面图像数据对应的界面通过测试，否则确定该界面图像数据对应的界面未通过测试。

基于本申请实施例提供的界面测试方法，可以便于发现目标应用程序在不同设备上的适配问题，可极大的减轻目前手动执行界面测试的工作量，减少界面测试误差，提高界面测试效率。

在一个实施例中，上述方法还可以包括：

在界面测试结果表征目标应用程序未通过测试的情况下，根据界面测试结果创建问题清单，并向目标设备发送问题清单，问题清单用于提示对目标应用程序进行调整。

本申请实施例中，在测试结果表征目标应用程序未通过测试的情况下，测试设备可以根据界面测试结果创建问题清单，并发送问题清单至目标设备。其中，问题清单可以包括未通过测试的界面标识、及界面未通过测试的原因，用户可以从目标设备上查看问题清单，并根据问题清单定位目标应用程序中待调整的界面，进而对目标应用程序中待调整的界面进行手动调整。

在一个实施例中，问题清单中包括界面图像数据与界面标准信息的比对结果，以使目标设备响应于问题清单，根据比对结果对目标应用程序进行调整。

本申请实施例中，问题清单中还可以包括界面图像数据与界面标准信息的比对结果，例如：色值的差异、位置的差异、尺寸的差异等，进而目标设备可以根据该比对结果对该界面图像数据对应的界面进行自动化的调整，相对于人手动对界面进行调整，可以提高对界面调整的效率及调整精度。

在一个实施例中，上述方法还可以包括：

响应于针对问题清单的处理操作，重复执行对目标应用程序进行界面测试处理，直至目标应用程序的界面测试结果表征目标应用程序通过测试为止，并根据问题清单、所述针对问题清单的处理操作、以及待测试设备的设备信息、目标应用程序的界面测试结果，生成测试报告。

本申请实施例中，针对问题清单的处理操作可以包括用户或目标设备响应于问题清单对目标应用程序的界面调整操作。测试设备可以跟踪针对问题清单的处理操作，在完成针对目标应用程序的界面调整后，可以将待测试设备中安装的目标应用程序更新为调整后的目标应用程序，执行前述界面测试、生成问题清单等操作，直至针对目标应用程序的界面测试结果表征目标应用程序通过测试为止，停止测试，并可以汇总前述界面测试过程中的问题清单以及针对各问题清单的处理操作、目标应用程序在各界面测试过程中的界面测试结果、以及待测试设备的设备，生成测试报告，并可以响应于用户针对测试报告的查询或者导出操作，查询及导出对标测试过程中发现的问题、处理操作等，以可以通过测试报告为后续评估提供数据支撑。

本申请实施例提供的界面测试方法克服了采用肉眼观察的界面测试方式存在的测试误差，提供了一种可精确到像素级别的界面测试方法。界面测试过程采用自动化测试方法驱动测试执行，由于目标应用程序中部分用户交互过程中涉及安全键盘、有防截屏控制的界面，本申请实施例支持处理此类界面，可避免人工干预界面测试过程，提高界面测试效率。

在一个实施例中，如图4所示，提供了一种界面测试方法，以该方法应用于图1中的待测试设备104为例进行说明，包括以下步骤：

步骤402，接收测试设备发送的解除指令后，响应于解除指令解除安全控件对界面防截屏的控制；

步骤404，向测试设备发送针对解除指令的解除反馈信息。

本申请实施例中，测试设备可以向待测试设备发送解除指令，待测试设备接收到解除指令后，可以响应于该解除指令解除安全控件对界面防截屏的控制(具体过程参照前述实施例相关描述即可，本申请实施例在此不再赘述)。并在解除安全控件对界面防截屏的控制后，向测试设备发送解除反馈信息。

在待测试设备中不存在对界面防截屏的控制的情况下，待测试设备也可以向测试设备发送对应的解除反馈信息。

步骤406，接收测试设备发送的界面测试指令后，响应于界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

步骤408，向测试设备发送界面图像数据，以使测试设备根据界面图像数据得到针对目标应用程序的界面测试结果。

本申请实施例中，测试设备接收到待测试设备发送的解除反馈信息后，可以向待测试设备发送针对目标应用程序的界面测试指令，该目标应用程序为安装于待测试设备中且待进行界面测试的应用程序。

待测试设备接收到界面测试指令后，可以响应于界面测试指令遍历跳转目标应用程序的各应用界面，并在跳转到任一应用界面的情况下，执行截屏操作，得到该应用界面对应的界面图像数据，并反馈界面图像数据至测试设备，以使得测试设备可以根据界面图像数据执行针对目标应用程序的界面测试(具体界面测试过程可以参照前述实施例的相关描述部分，本申请实施例中对此不再赘述)。

上述界面测试方法，待测试设备可以接收测试设备发送的解除指令后，响应于解除指令解除安全控件对界面防截屏的控制，向测试设备发送针对解除指令的解除反馈信息。并在接收测试设备发送的界面测试指令后，响应于界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据，向测试设备发送所述界面图像数据，以使测试设备根据界面图像数据得到针对目标应用程序的界面测试结果。基于本申请实施例提供的界面测试方法，测试设备可以通过解除指令指示待测试设备解除安全控件对于防截屏的控制后，通过界面测试指令控制待测试设备执行对目标应用程序的界面测试，并在测试过程截屏得到界面图像数据，以使得测试设备可以根据界面图像数据得到针对目标应用程序的界面测试结果，也即可以实现对于部署安全控件的应用程序界面的自动化测试，避免人眼观测的误差，可以提高界面测试精度及界面测试效率。

在一个实施例中，参照图5，本申请实施例提供了一种界面测试系统500，该界面测试系统500包括测试设备502及至少一个待测试设备504，待测试设备504为安装待测试的目标应用程序的设备；

测试设备502用于向待测试设备504发送解除指令；待测试设备504用于在接收到解除指令后，响应于解除指令解除安全控件对界面防截屏的控制，并向测试设备502发送解除反馈信息；测试设备502还用于在接收到待测试设备504发送的解除反馈信息后，向待测试设备504发送界面测试指令；待测试设备504还用于在接收到界面测试指令后，响应于界面测试指令执行界面测试，并在测试过程中截屏得到界面图像数据，将界面图像数据发送至测试设备502；测试设备502还用于在接收到待测试设备504发送的界面图像数据后，根据界面图像数据确定针对待测试应用程序的界面测试结果。

本申请实施例中，测试设备502与待测试设备504的数据交互过程、以及测试设备502和待测试设备504在界面测试过程中执行的具体操作参照前述实施例的相关描述部分即可，本申请实施例在此不再赘述。

基于本申请实施例提供的界面测试系统，测试设备可以通过解除指令指示待测试设备解除安全控件对于防截屏的控制后，通过界面测试指令控制待测试设备执行对目标应用程序的界面测试，并在测试过程截屏得到界面图像数据，以使得测试设备可以根据界面图像数据得到针对目标应用程序的界面测试结果，也即可以实现对于部署安全控件的应用程序界面的自动化测试，避免人眼观测的误差，可以提高界面测试精度及界面测试效率。

为使本领域技术人员更好的理解本申请实施例，以下通过具体示例对本申请实施例加以说明。

参照图6所示，本申请实施例提供的界面测试系统可以包括测试设备和至少一个待测试设备，待测试设备中可以包括数据采集模块、数据预处理模块、数据比对模块、问题跟踪模块、测试报告模块组成。

其中，数据采集模块，可以在通过自动化测试驱动测试执行的过程中，采集待测试设备中目标应用程序的各个界面图像数据，并将界面图像数据命名、归档。在采集界面图像数据之前，可以通过解除指令控制待测试测试解除安全键盘等安全控件对于界面防截屏的控制。

数据预处理模块，可以通过计算直方图、归一化等预处理方式对界面图像数据进行预处理，得到预处理后的界面图像数据(以下提及的界面图像数据均为预处理后的图像数据)，并传递预处理图像至数据比对模块。

数据对比模块，可以采用第三方工具(例如：markman等)或者图像识别方法，对界面图像数据进行识别，识别出每个界面图像数据中的各元素，以及各元素的长、宽、高等尺寸信息、位置信息、与其他元素的间距、像素值，以及色值等元素信息。获取与待测试设备相匹配的界面标准信息，与界面图像数据的元素信息进行比对，得到针对目标应用程序的界面测试结果。

针对市面上多款不同品牌/分辨率的显示器/手机等设备，可以通过selenium、Monkey、Appium、Airtest等界面自动化测试手段在数据比对模块中进行兼容性测试，便于发现目标应用程序不同设备上的适配问题，可极大的减轻目前手工测试的工作量，减少测试误差，提高测试效率。需要说明的是，如果设备之间的图像传递，是加密处理的，需要先截取到加密的界面图像数据或者加密的界面图像数据的数据流，调用与加密相匹配的解密算法进行解密，提取到界面图像数据进行数据比对。

在数据比对过程中，可以将界面图像数据对应的元素信息与界面标准信息(界面的设计标准)进行对比，得到二者间的差异信息，并对差异信息进行标示，记录该界面图像数据对应的界面所对应的差异信息。例如：可采用直方图的相关性、卡方、交叉核、巴氏距离等多种算法计算相似度，如果同时满足多种算法的相似度要求，则认为验证通过。

本申请实施例中，不仅可验证界面的色值、间距等视觉效果，还可以验证界面的整体布局、页面跳转逻辑、相关文案等信息是否与预期标准一致。其中，针对整体布局的测试可以通过将界面图像数据与标准图像通进行相似度对比实现；针对页面跳转逻辑的测试可以通过从界面标题、界面中元素的标识(比如按钮、输入框、提示框等)中识别是否出现对应的元素来实现；针对文案的测试可以通过获取到界面元素内的文案内容，与标准文案进行对比实现。

需要说明的是，对比过程可根据需要配置单图对比或者多图批量对比验证，本申请实施例对此不做具体限定，可以提升界面测试效率。

问题跟踪模块，可以根据数据对比模块发现的差异信息、界面图像数据、待测试设备的设备信息等信息创建问题清单，并将问题清单上传至目标设备，该目标设备可以为安装用于解决目标应用程序问题的系统的设备。目标设备可以将问题清单转给对应的人员进行处理，或者也可以根据开发规范根据差异信息自动对目标应用程序进行调整，并在完成针对问题清单的处理后，继续重复前述界面测试步骤，直至目标应用程序通过界面测试为止。

测试报告模块可以在目标应用程序通过界面测试后，出具测试报告。汇总测试解决的问题和测试结果等信息，支持查询及导出测试过程中发现的问题、解决历史记录，便于后评估使用。

本申请实施例提供的界面测试系统，可以解决界面测试中通过肉眼无法发现细微色值、像素级别差异的问题，并在界面测试过程中涉及防截屏处理，以及系统间传递图片涉及加密的测试场景进行自动化的界面测试，可以提高测试结果，降低人力成本，提高测试效率。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的界面测试方法的界面测试装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个界面测试装置实施例中的具体限定可以参见上文中对于界面测试方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种界面测试装置，包括：第一发送模块702、接收模块704、第二发送模块706和确定模块708，其中：

第一发送模块702，用于向待测试设备发送解除指令，以使所述待测试设备响应于所述解除指令解除安全控件对界面防截屏的控制，所述待测试设备为安装目标应用程序的设备；

接收模块704，用于接收所述待测试设备发送的针对所述解除指令的解除反馈信息；

第二发送模块706，用于响应于所述解除反馈信息向所述待测试设备发送界面测试指令，以使得所述待测试设备响应于所述界面测试指令执行针对所述目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

确定模块708，用于接收所述待测试设备发送的所述界面图像数据后，根据所述界面图像数据确定针对所述目标应用程序的界面测试结果。

基于本申请实施例提供的界面测试系统，测试设备可以通过解除指令指示待测试设备解除安全控件对于防截屏的控制后，通过界面测试指令控制待测试设备执行对目标应用程序的界面测试，并在测试过程截屏得到界面图像数据，以使得测试设备可以根据界面图像数据得到针对目标应用程序的界面测试结果，也即可以实现对于部署安全控件的应用程序界面的自动化测试，避免人眼观测的误差，可以提高界面测试精度及界面测试效率。

在一种可能的实现方式中，所述确定模块708，还用于：

获取与所述待测试设备相匹配的界面标准信息；

根据所述界面图像数据与所述界面标准信息的比对结果，得到针对所述目标应用程序的界面测试结果。

在其中一个实施例中，所述装置还包括：

处理模块，用于在所述界面测试结果表征所述目标应用程序未通过测试的情况下，根据所述界面测试结果创建问题清单，并向目标设备发送所述问题清单，所述问题清单用于提示对所述目标应用程序进行调整。

在其中一个实施例中，所述问题清单中包括所述界面图像数据与所述界面标准信息的比对结果，以使所述目标设备响应于所述问题清单，根据所述比对结果对所述目标应用程序进行调整。

在其中一个实施例中，所述装置还包括：

报告模块，用于响应于针对所述问题清单的处理操作，重复执行对所述目标应用程序进行界面测试处理，直至所述目标应用程序的界面测试结果表征所述目标应用程序通过测试为止，并根据所述问题清单、所述针对所述问题清单的处理操作、以及所述待测试设备的设备信息、所述目标应用程序的界面测试结果，生成测试报告。

在一个实施例中，如图8所示，提供了一种界面测试装置，包括：第一接收模块802、第一发送模块804、第二接收模块806和第二发送模块808，其中：

第一接收模块802，用于接收测试设备发送的解除指令后，响应于所述解除指令解除安全控件对界面防截屏的控制；

第一发送模块804，用于向所述测试设备发送针对所述解除指令的解除反馈信息；

第二接收模块806，用于接收所述测试设备发送的界面测试指令后，响应于所述界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

第二发送模块808，用于向所述测试设备发送所述界面图像数据，以使所述测试设备根据所述界面图像数据得到针对所述目标应用程序的界面测试结果。

基于本申请实施例提供的界面测试系统，测试设备可以通过解除指令指示待测试设备解除安全控件对于防截屏的控制后，通过界面测试指令控制待测试设备执行对目标应用程序的界面测试，并在测试过程截屏得到界面图像数据，以使得测试设备可以根据界面图像数据得到针对目标应用程序的界面测试结果，也即可以实现对于部署安全控件的应用程序界面的自动化测试，避免人眼观测的误差，可以提高界面测试精度及界面测试效率。

上述界面测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种界面测试方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

向待测试设备发送解除指令，以使所述待测试设备响应于所述解除指令解除安全控件对界面防截屏的控制，所述待测试设备为安装目标应用程序的设备；

接收所述待测试设备发送的针对所述解除指令的解除反馈信息；

响应于所述解除反馈信息向所述待测试设备发送界面测试指令，以使得所述待测试设备响应于所述界面测试指令执行针对所述目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

接收所述待测试设备发送的所述界面图像数据后，根据所述界面图像数据确定针对所述目标应用程序的界面测试结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取与所述待测试设备相匹配的界面标准信息；根据所述界面图像数据与所述界面标准信息的比对结果，得到针对所述目标应用程序的界面测试结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在所述界面测试结果表征所述目标应用程序未通过测试的情况下，根据所述界面测试结果创建问题清单，并向目标设备发送所述问题清单，所述问题清单用于提示对所述目标应用程序进行调整。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

响应于针对所述问题清单的处理操作，重复执行对所述目标应用程序进行界面测试处理，直至所述目标应用程序的界面测试结果表征所述目标应用程序通过测试为止，并根据所述问题清单、所述针对所述问题清单的处理操作、以及所述待测试设备的设备信息、所述目标应用程序的界面测试结果，生成测试报告。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

接收测试设备发送的解除指令后，响应于所述解除指令解除安全控件对界面防截屏的控制；

向所述测试设备发送针对所述解除指令的解除反馈信息；

接收所述测试设备发送的界面测试指令后，响应于所述界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

向所述测试设备发送所述界面图像数据，以使所述测试设备根据所述界面图像数据得到针对所述目标应用程序的界面测试结果。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

向待测试设备发送解除指令，以使所述待测试设备响应于所述解除指令解除安全控件对界面防截屏的控制，所述待测试设备为安装目标应用程序的设备；

接收所述待测试设备发送的针对所述解除指令的解除反馈信息；

响应于所述解除反馈信息向所述待测试设备发送界面测试指令，以使得所述待测试设备响应于所述界面测试指令执行针对所述目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

接收所述待测试设备发送的所述界面图像数据后，根据所述界面图像数据确定针对所述目标应用程序的界面测试结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取与所述待测试设备相匹配的界面标准信息；根据所述界面图像数据与所述界面标准信息的比对结果，得到针对所述目标应用程序的界面测试结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在所述界面测试结果表征所述目标应用程序未通过测试的情况下，根据所述界面测试结果创建问题清单，并向目标设备发送所述问题清单，所述问题清单用于提示对所述目标应用程序进行调整。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

响应于针对所述问题清单的处理操作，重复执行对所述目标应用程序进行界面测试处理，直至所述目标应用程序的界面测试结果表征所述目标应用程序通过测试为止，并根据所述问题清单、所述针对所述问题清单的处理操作、以及所述待测试设备的设备信息、所述目标应用程序的界面测试结果，生成测试报告。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

接收测试设备发送的解除指令后，响应于所述解除指令解除安全控件对界面防截屏的控制；

向所述测试设备发送针对所述解除指令的解除反馈信息；

接收所述测试设备发送的界面测试指令后，响应于所述界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

向所述测试设备发送所述界面图像数据，以使所述测试设备根据所述界面图像数据得到针对所述目标应用程序的界面测试结果。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

向待测试设备发送解除指令，以使所述待测试设备响应于所述解除指令解除安全控件对界面防截屏的控制，所述待测试设备为安装目标应用程序的设备；

接收所述待测试设备发送的针对所述解除指令的解除反馈信息；

响应于所述解除反馈信息向所述待测试设备发送界面测试指令，以使得所述待测试设备响应于所述界面测试指令执行针对所述目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

接收所述待测试设备发送的所述界面图像数据后，根据所述界面图像数据确定针对所述目标应用程序的界面测试结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取与所述待测试设备相匹配的界面标准信息；根据所述界面图像数据与所述界面标准信息的比对结果，得到针对所述目标应用程序的界面测试结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在所述界面测试结果表征所述目标应用程序未通过测试的情况下，根据所述界面测试结果创建问题清单，并向目标设备发送所述问题清单，所述问题清单用于提示对所述目标应用程序进行调整。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

响应于针对所述问题清单的处理操作，重复执行对所述目标应用程序进行界面测试处理，直至所述目标应用程序的界面测试结果表征所述目标应用程序通过测试为止，并根据所述问题清单、所述针对所述问题清单的处理操作、以及所述待测试设备的设备信息、所述目标应用程序的界面测试结果，生成测试报告。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

接收测试设备发送的解除指令后，响应于所述解除指令解除安全控件对界面防截屏的控制；

向所述测试设备发送针对所述解除指令的解除反馈信息；

接收所述测试设备发送的界面测试指令后，响应于所述界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

向所述测试设备发送所述界面图像数据，以使所述测试设备根据所述界面图像数据得到针对所述目标应用程序的界面测试结果。

本申请提供的界面测试方法和装置可用于金融科技领域，也可用于除金融科技领域之外的任意领域，比如人工智能领域、大数据领域等，本申请对界面测试方法和装置的应用领域不做限定。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种界面测试方法，其特征在于，所述方法包括：

向待测试设备发送解除指令，以使所述待测试设备响应于所述解除指令解除安全控件对界面防截屏的控制，所述待测试设备为安装目标应用程序的设备；

接收所述待测试设备发送的针对所述解除指令的解除反馈信息；

响应于所述解除反馈信息向所述待测试设备发送界面测试指令，以使得所述待测试设备响应于所述界面测试指令执行针对所述目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

接收所述待测试设备发送的所述界面图像数据后，根据所述界面图像数据确定针对所述目标应用程序的界面测试结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述界面图像数据确定针对所述目标应用程序的界面测试结果，包括：

获取与所述待测试设备相匹配的界面标准信息；

根据所述界面图像数据与所述界面标准信息的比对结果，得到针对所述目标应用程序的界面测试结果。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述界面测试结果表征所述目标应用程序未通过测试的情况下，根据所述界面测试结果创建问题清单，并向目标设备发送所述问题清单，所述问题清单用于提示对所述目标应用程序进行调整。

4.根据权利要求3所述的方法，其特征在于，所述问题清单中包括所述界面图像数据与所述界面标准信息的比对结果，以使所述目标设备响应于所述问题清单，根据所述比对结果对所述目标应用程序进行调整。

5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：

响应于针对所述问题清单的处理操作，重复执行对所述目标应用程序进行界面测试处理，直至所述目标应用程序的界面测试结果表征所述目标应用程序通过测试为止，并根据所述问题清单、所述针对所述问题清单的处理操作、以及所述待测试设备的设备信息、所述目标应用程序的界面测试结果，生成测试报告。

6.一种界面测试方法，其特征在于，所述方法包括：

接收测试设备发送的解除指令后，响应于所述解除指令解除安全控件对界面防截屏的控制；

向所述测试设备发送针对所述解除指令的解除反馈信息；

接收所述测试设备发送的界面测试指令后，响应于所述界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

向所述测试设备发送所述界面图像数据，以使所述测试设备根据所述界面图像数据得到针对所述目标应用程序的界面测试结果。

7.一种界面测试系统，其特征在于，所述系统包括测试设备及至少一个待测试设备，所述待测试设备为安装待测试的目标应用程序的设备；

所述测试设备用于向所述待测试设备发送解除指令；

所述待测试设备用于在接收到所述解除指令后，响应于所述解除指令解除安全控件对界面防截屏的控制，并向所述测试设备发送解除反馈信息；

所述测试设备还用于在接收到所述待测试设备发送的所述解除反馈信息后，向所述待测试设备发送界面测试指令；

所述待测试设备还用于在接收到所述界面测试指令后，响应于所述界面测试指令执行界面测试，并在测试过程中截屏得到界面图像数据，将所述界面图像数据发送至所述测试设备；

所述测试设备还用于在接收到所述待测试设备发送的所述界面图像数据后，根据所述界面图像数据确定针对所述目标应用程序的界面测试结果。

8.一种界面测试装置，其特征在于，所述装置包括：

第一发送模块，用于向待测试设备发送解除指令，以使所述待测试设备响应于所述解除指令解除安全控件对界面防截屏的控制，所述待测试设备为安装目标应用程序的设备；

接收模块，用于接收所述待测试设备发送的针对所述解除指令的解除反馈信息；

第二发送模块，用于响应于所述解除反馈信息向所述待测试设备发送界面测试指令，以使得所述待测试设备响应于所述界面测试指令执行针对所述目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

确定模块，用于接收所述待测试设备发送的所述界面图像数据后，根据所述界面图像数据确定针对所述目标应用程序的界面测试结果。

9.一种界面测试装置，其特征在于，所述装置包括：

第一接收模块，用于接收测试设备发送的解除指令后，响应于所述解除指令解除安全控件对界面防截屏的控制；

第一发送模块，用于向所述测试设备发送针对所述解除指令的解除反馈信息；

第二接收模块，用于接收所述测试设备发送的界面测试指令后，响应于所述界面测试指令执行目标应用程序的界面测试，并在测试过程中截屏得到界面图像数据；

第二发送模块，用于向所述测试设备发送所述界面图像数据，以使所述测试设备根据所述界面图像数据得到针对所述目标应用程序的界面测试结果。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images