CN110297758A - 用户界面自动化测试方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明涉及测试技术领域，揭露了一种用户界面自动化测试方法、装置及计算机可读存储介质。该方法包括：录制用户的操作过程视频，利用图像识别算法确定用户操作对应的用户界面、页面元素，并确定页面元素对应的控件、控件对应的事件，生成测试数据，根据测试数据配置测试用例，自动生成测试脚本。该方法有效避免了测试人员手动编写测试脚本，降低了测试需求变更时测试脚本的维护成本，解决了动画、非原生控件无法定位的问题。

Description

用户界面自动化测试方法、装置及计算机可读存储介质

技术领域

本发明涉及测试技术领域，尤其涉及一种用户界面自动化测试方法、装置及计算机可读存储介质。

背景技术

用户界面(User Interface，UI)测试主要目的是测试用户界面的功能模块的布局是否合理，整体风格是否一致等，传统的用户界面测试通常采用人工测试，人工测试需要耗费大量的时间和人力，而且工作枯燥乏味，慢慢的市面上出现了用户界面自动化测试工具，但是因测试需求变更太快导致自动化测试脚本维护成本过高，且对于某些特殊页面元素如动画、非原生控件没办法定位，同时需要测试人员有一定的编码能力。因此，如何实现自动生成测试脚本，降低测试脚本的维护成本，解决特殊页面元素无法定位的问题，已经成为一个亟待解决的技术问题。

发明内容

鉴于以上内容，有必要提出一种用户界面自动化测试方法、装置及计算机可读存储介质，其主要目的在于实现自动生成测试脚本，降低测试需求变更时测试脚本的维护成本，解决动画、非原生控件无法定位的问题。

为实现上述目的，本发明提出一种用户界面自动化测试装置，该装置包括存储器和处理器，所述存储器上存储有用户界面自动化测试程序，所述用户界面自动化测试程序被所述处理器执行时实现如下步骤：

测试数据获取步骤：录制用户的操作过程视频，在所述视频中截取用户操作的用户界面的图片以及所述用户界面的图片中包含的页面元素的图片，利用图片识别算法确定所述页面元素对应的控件及控件对应的事件，生成测试数据，并建立所述用户界面与页面元素的映射关系，所述测试数据包含用户界面、用户界面中的页面元素、页面元素对应的控件、控件对应的事件；

测试用例配置步骤：根据所述测试数据配置测试用例；

测试脚本生成步骤：利用预先确定的编程语言描述所述测试用例的执行过程以生成测试模板，编译所述测试模板生成测试脚本；

测试脚本执行步骤：根据所述测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置，调用所述控件对应的事件，执行所述事件对应的测试操作。

可选的，所述用户界面自动化测试程序被所述处理器执行时还实现如下步骤：

测试脚本维护步骤：将所述用户界面的图片的版本号加载至所述映射关系中，当用户界面发生变化时，根据新版本的用户界面自动生成新的测试脚本。

可选的，所述测试数据获取步骤还包括：

将所述用户界面的图片存储至预先确定的第一图片库中，将所述页面元素的图片存储至预先确定的第二图片库中。

可选的，所述测试脚本生成步骤还包括：

验证所述测试脚本是否存在语法和编写方面的错误，若验证不通过，则将错误信息记录到日志表中，并弹出修改提示框，提示用户修改所述测试脚本，若验证通过，则生成最终的测试脚本。

可选的，所述根据测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置包括：

根据所述测试脚本中的控件的名称参数确定待测试的页面元素，从所述预先确定的第二图片库中获取所述页面元素的图片；

根据所述用户界面与页面元素的映射关系获取所述待测试的页面元素对应的用户界面，从所述预先确定的第一图片库中获取所述用户界面的图片；

通过图片识别算法，比对获取的所述页面元素的图片和所述用户界面的图片，确定所述页面元素在所述用户界面中的位置。

为实现上述目的，本发明提出一种用户界面自动化测试方法，该方法包括：

测试数据获取步骤：录制用户的操作过程视频，在所述视频中截取用户操作的用户界面的图片以及所述用户界面的图片中包含的页面元素的图片，利用图片识别算法确定所述页面元素对应的控件及控件对应的事件，生成测试数据，并建立所述用户界面与页面元素的映射关系，所述测试数据包含用户界面、用户界面中的页面元素、页面元素对应的控件、控件对应的事件；

测试用例配置步骤：根据所述测试数据配置测试用例；

测试脚本生成步骤：利用预先确定的编程语言描述所述测试用例的执行过程以生成测试模板，编译所述测试模板生成测试脚本；

测试脚本执行步骤：根据所述测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置，调用所述控件对应的事件，执行所述事件对应的测试操作。

可选的，该用户界面自动化测试方法还包括：

测试脚本维护步骤：将所述用户界面的图片的版本号加载至所述映射关系中，当用户界面发生变化时，根据新版本的用户界面自动生成新的测试脚本。

可选的，所述测试数据获取步骤还包括：

将所述用户界面的图片存储至预先确定的第一图片库中，将所述页面元素的图片存储至预先确定的第二图片库中。

可选的，所述根据测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置包括：

根据所述测试脚本中的控件的名称参数确定待测试的页面元素，从所述预先确定的第二图片库中获取所述页面元素的图片；

根据所述用户界面与页面元素的映射关系获取所述待测试的页面元素对应的用户界面，从所述预先确定的第一图片库中获取所述用户界面的图片；

通过图片识别算法，比对获取的所述页面元素的图片和所述用户界面的图片，确定所述页面元素在所述用户界面中的位置。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有用户界面自动化测试程序，所述用户界面自动化测试程序可被一个或者多个处理器执行，以实现上述任一项所述的用户界面自动化测试方法的步骤。

相较现有技术，本发明通过录制用户的操作过程视频，利用图像识别算法确定用户操作对应的用户界面、页面元素，并确定页面元素对应的控件、控件对应的事件，生成测试数据，根据测试数据配置测试用例，自动生成测试脚本，有效避免了测试人员手动编写脚本，降低了测试需求变更时测试脚本的维护成本，解决了动画、非原生控件无法定位的问题。

附图说明

图1为本发明用户界面自动化测试装置一实施例的硬件结构图。

图2为图1中的用户界面自动化测试程序一实施例的功能模块图。

图3为本发明用户界面自动化测试方法一实施例的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

如图1所示，为本发明用户界面自动化测试装置一实施例的硬件结构图。在本实施例中，用户界面自动化测试装置1包括存储器11、处理器12及摄像单元13，该存储器11中存储有用户界面自动化测试程序10，所述用户界面自动化测试程序10可被所述处理器12执行。

存储器11包括内存及至少一种类型的可读存储介质。内存为用户界面自动化测试装置1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是用户界面自动化测试装置1的内部存储单元，例如该用户界面自动化测试装置1的硬盘；在另一些实施例中，该非易失性存储介质也可以是用户界面自动化测试装置1的外部存储设备，例如用户界面自动化测试装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于用户界面自动化测试装置1的操作系统和各类应用软件，例如存储本发明一实施例中的用户界面自动化测试程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述用户界面自动化测试装置1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行用户界面自动化测试程序10等。

本实施例中，摄像单元13用于录制用户的操作过程视频。

可选的，所述用户界面自动化测试装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在用户界面自动化测试装置1中处理的信息以及用于显示可视化的用户界面。

图1仅示出了具有组件11-12以及用户界面自动化测试程序10的用户界面自动化测试装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对用户界面自动化测试装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在本发明的一实施例中，所述用户界面自动化测试程序10被所述处理器12执行时实现如下测试数据获取步骤、测试用例配置步骤、测试脚本生成步骤及测试脚本执行步骤。

测试数据获取步骤：录制用户的操作过程视频，在所述视频中截取用户操作的用户界面的图片以及所述用户界面的图片中包含的页面元素的图片，利用图片识别算法确定所述页面元素对应的控件及控件对应的事件，生成测试数据，并建立所述用户界面与页面元素的映射关系，所述测试数据包含用户界面、用户界面中的页面元素、页面元素对应的控件、控件对应的事件；

其中，页面元素包括用户界面上的按钮、图片、文字框图、动画等，每个页面元素对应一个控件。

用户的操作包括鼠标单击、鼠标右键点击、鼠标拖拽、文本框输入操作等，控件对应的鼠标事件包括鼠标操作的控件、鼠标的操作方式，控件对应的键盘事件包括输入操作的文本框、文本框中输入的内容。

在本发明的一个实施例中，所述测试数据获取步骤还包括：

将所述用户界面的图片存储至预先确定的第一图片库中，将所述页面元素的图片存储至预先确定的第二图片库中。

其中，将用户界面大图的名称命名为用户界面的界面名称，用户界面中的各个控件分别对应的页面元素小图的名称命名为控件的名称，将用户界面图片存储至预先确定的第一图片库中，将页面元素图片存储至预先确定的第二图片库中，第一图片库与第二图片库可以是相同的图片库，也可以是不相同的图片库。

BUTTON类型控件对应click事件，TEXT类型控件对应send_keys事件。

所述映射关系可以是一对多的映射关系。

在一个实施例中，所述映射关系可以用表格的形式表示：

界面名称为Login的用户界面与id分别为1、2、3的三个页面元素建立映射关系，id为1的页面元素对应的控件名称为：userName_text，控件类型为:TEXT(文本框类型)，页面元素图片存储地址为：http://a/b/c。

测试用例配置步骤：根据所述测试数据配置测试用例；

其中，测试用例是测试的标准，是测试脚本的设计规格说明书，指导测试的实施，测试用例包括场景、测试步骤、测试数据及预期结果。以下是Login的测试用例的示例：

测试脚本生成步骤：利用预先确定的编程语言描述所述测试用例的执行过程以生成测试模板，编译所述测试模板生成测试脚本；

在本实施例中，所述预先确定的编程语言可以是Python语言，也可以是Java语言，本发明对此不做进一步的限定。

所述测试用例的执行过程包括读取所述测试用例的内容，执行测试用例中的判断逻辑。

在本发明的一个实施例中，所述测试脚本生成步骤还包括：

验证所述测试脚本是否存在语法和编写方面的错误，若验证不通过，则将错误信息记录到日志表中，并弹出修改提示框，提示用户修改所述测试脚本，若验证通过，则生成最终的测试脚本。

测试脚本执行步骤：根据所述测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置，调用所述控件对应的事件，执行所述事件对应的测试操作。

在本发明的一个实施例中，所述根据测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置包括：

根据所述测试脚本中的控件的名称参数确定待测试的页面元素，从所述预先确定的第二图片库中获取所述页面元素的图片；

根据所述用户界面与页面元素的映射关系获取所述待测试的页面元素对应的用户界面，从所述预先确定的第一图片库中获取所述用户界面的图片；

通过图片识别算法，比对获取的所述页面元素的图片和所述用户界面的图片，确定所述页面元素在所述用户界面中的位置。

在本发明的一个实施例中，所述用户界面自动化测试程序10被所述处理器12执行时还实现如下步骤：

测试脚本维护步骤：将所述用户界面的图片的版本号加载至所述映射关系中，当用户界面发生变化时，根据新版本的用户界面自动生成新的测试脚本。

测试需求变更很快，每次变更后，执行原来的测试脚本已经失效了，当用户界面发生变化时，根据新版本的用户界面执行测试数据获取步骤、测试用例配置步骤及测试脚本生成步骤自动生成新的测试脚本。

如图2所示，为图1中的用户界面自动化测试程序10一实施例的功能模块图。在本实施例中，用户界面自动化测试程序10包括测试数据获取模块110、测试用例配置模块120、测试脚本生成模块130及测试脚本执行模块140。

所述测试数据获取模块110，用于录制用户的操作过程视频，在所述视频中截取用户操作的用户界面的图片以及所述用户界面的图片中包含的页面元素的图片，利用图片识别算法确定所述页面元素对应的控件及控件对应的事件，生成测试数据，并建立所述用户界面与页面元素的映射关系，所述测试数据包含用户界面、用户界面中的页面元素、页面元素对应的控件、控件对应的事件；

其中，页面元素包括用户界面上的按钮、图片、文字框图、动画等，每个页面元素对应一个控件。

用户的操作包括鼠标单击、鼠标右键点击、鼠标拖拽、文本框输入操作等，控件对应的鼠标事件包括鼠标操作的控件、鼠标的操作方式，控件对应的键盘事件包括输入操作的文本框、文本框中输入的内容。

在本发明的一个实施例中，所述测试数据获取模块110还用于：

将所述用户界面图片存储至预先确定的第一图片库中，将所述页面元素图片存储至预先确定的第二图片库中。

其中，将用户界面大图的名称命名为用户界面的界面名称，用户界面中的各个控件分别对应的页面元素小图的名称命名为控件的名称，将用户界面图片存储至预先确定的第一图片库中，将页面元素图片存储至预先确定的第二图片库中，第一图片库与第二图片库可以是相同的图片库，也可以是不相同的图片库。

BUTTON类型控件对应click事件，TEXT类型控件对应send_keys事件。

所述映射关系可以是一对多的映射关系。

在一个实施例中，所述映射关系可以用表格的形式表示：

界面名称为Login的用户界面与id分别为1、2、3的三个页面元素建立映射关系，id为1的页面元素对应的控件名称为：userName_text，控件类型为:TEXT(文本框类型)，页面元素图片存储地址为：http://a/b/c。

所述测试用例配置模块120，用于根据所述测试数据配置测试用例。

其中，测试用例是测试的标准，是测试脚本的设计规格说明书，指导测试的实施，测试用例包括场景、测试步骤、测试数据及预期结果。以下是Login的测试用例的示例：

所述测试脚本生成模块130，用于利用预先确定的编程语言描述所述测试用例的执行过程以生成测试模板，编译所述测试模板生成测试脚本。

在本实施例中，所述预先确定的编程语言可以是Python语言，也可以是Java语言，本发明对此不做进一步的限定。

所述测试用例的执行过程包括读取所述测试用例的内容，执行测试用例中的判断逻辑。

在本发明的一个实施例中，所述测试脚本生成模块130还用于验证所述测试脚本是否存在语法和编写方面的错误，若验证不通过，则将错误信息记录到日志表中，并弹出修改提示框，提示用户修改所述测试脚本，若验证通过，则生成最终的测试脚本。

所述测试脚本执行模块140，用于根据所述测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置，调用所述控件对应的事件，执行所述事件对应的测试操作。

在本发明的一个实施例中，所述测试脚本执行模块140根据测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置包括：

根据所述测试脚本中的控件的名称参数确定待测试的页面元素，从所述预先确定的第二图片库中获取所述页面元素的图片；

根据所述用户界面与页面元素的映射关系获取所述待测试的页面元素对应的用户界面，从所述预先确定的第一图片库中获取所述用户界面的图片；

通过图片识别算法，比对获取的所述页面元素的图片和所述用户界面的图片，确定所述页面元素在所述用户界面中的位置。

可选的，所述用户界面自动化测试程序10还包括测试脚本维护模块150。

所述测试脚本维护模块150，用于将所述用户界面的图片的版本号加载至所述映射关系中，当用户界面发生变化时，根据新版本的用户界面自动生成新的测试脚本。

测试需求变更很快，每次变更后，执行原来的测试脚本已经失效了，当用户界面发生变化时，根据新版本的用户界面执行测试数据获取模块110、测试用例配置模块120及测试脚本生成模块130自动生成新的测试脚本。

如图3所示，为本发明用户界面自动化测试方法一实施例的流程图。

在本发明的一个实施例中，所述用户界面自动化测试方法包括步骤S11、S12、S13及S14。

步骤S11：测试数据获取模块110录制用户的操作过程视频，在所述视频中截取用户操作的用户界面的图片以及所述用户界面的图片中包含的页面元素的图片，利用图片识别算法确定所述页面元素对应的控件及控件对应的事件，生成测试数据，并建立所述用户界面与页面元素的映射关系，所述测试数据包含用户界面、用户界面中的页面元素、页面元素对应的控件、控件对应的事件；

其中，页面元素包括用户界面上的按钮、图片、文字框图、动画等，每个页面元素对应一个控件。

用户的操作包括鼠标单击、鼠标右键点击、鼠标拖拽、文本框输入操作等，控件对应的鼠标事件包括鼠标操作的控件、鼠标的操作方式，控件对应的键盘事件包括输入操作的文本框、文本框中输入的内容。

在本发明的一个实施例中，所述测试数据获取步骤还包括：

将所述用户界面的图片存储至预先确定的第一图片库中，将所述页面元素的图片存储至预先确定的第二图片库中。

其中，将用户界面大图的名称命名为用户界面的界面名称，用户界面中的各个控件分别对应的页面元素小图的名称命名为控件的名称，将用户界面图片存储至预先确定的第一图片库中，将页面元素图片存储至预先确定的第二图片库中，第一图片库与第二图片库可以是相同的图片库，也可以是不相同的图片库。

BUTTON类型控件对应click事件，TEXT类型控件对应send_keys事件。

所述映射关系可以是一对多的映射关系。

在一个实施例中，所述映射关系可以用表格的形式表示：

界面名称为Login的用户界面与id分别为1、2、3的三个页面元素建立映射关系，id为1的页面元素对应的控件名称为：userName_text，控件类型为:TEXT(文本框类型)，页面元素图片存储地址为：http://a/b/c。

步骤S12：测试用例配置模块120根据所述测试数据配置测试用例；

测试用例是测试的标准，是测试脚本的设计规格说明书，指导测试的实施，测试用例包括场景、测试步骤、测试数据及预期结果。以下是Login的测试用例的示例：

步骤S13：测试脚本生成模块130利用预先确定的编程语言描述所述测试用例的执行过程以生成测试模板，编译所述测试模板生成测试脚本。

在本实施例中，所述预先确定的编程语言可以是Python语言，也可以是Java语言，本发明对此不做进一步的限定。

所述测试用例的执行过程包括读取所述测试用例的内容，执行测试用例中的判断逻辑。

可选的，所述步骤S13还包括：

验证所述测试脚本是否存在语法和编写方面的错误，若验证不通过，则将错误信息记录到日志表中，并弹出修改提示框，提示用户修改所述测试脚本，若验证通过，则生成最终的测试脚本。

步骤S14：测试脚本执行模块140根据所述测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置，调用所述控件对应的事件，执行所述事件对应的测试操作。

在本发明的一个实施例中，所述根据测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置包括：

根据所述测试脚本中的控件的名称参数确定待测试的页面元素，从所述预先确定的第二图片库中获取所述页面元素的图片；

根据所述用户界面与页面元素的映射关系获取所述待测试的页面元素对应的用户界面，从所述预先确定的第一图片库中获取所述用户界面的图片；

通过图片识别算法，比对获取的所述页面元素的图片和所述用户界面的图片，确定所述页面元素在所述用户界面中的位置。

在本发明的一个实施例中，所述用户界面自动化测试方法还包括如下步骤：

步骤S15：测试脚本维护模块150将所述用户界面的图片的版本号加载至所述映射关系中，当所述用户界面发生变化时，根据新版本的用户界面自动生成新的测试脚本。

测试需求变更很快，每次变更后，执行原来的测试脚本已经失效了，当用户界面发生变化时，根据新版本的用户界面执行步骤S11、S12及S13自动生成新的测试脚本。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种用户界面自动化测试装置，其特征在于，该装置包括存储器和处理器，所述存储器上存储有用户界面自动化测试程序，所述用户界面自动化测试程序被所述处理器执行时实现如下步骤：

测试数据获取步骤：录制用户的操作过程视频，在所述视频中截取用户操作的用户界面的图片以及所述用户界面的图片中包含的页面元素的图片，利用图片识别算法确定所述页面元素对应的控件及控件对应的事件，生成测试数据，并建立所述用户界面与页面元素的映射关系，所述测试数据包含用户界面、用户界面中的页面元素、页面元素对应的控件、控件对应的事件；

测试用例配置步骤：根据所述测试数据配置测试用例；

测试脚本生成步骤：利用预先确定的编程语言描述所述测试用例的执行过程以生成测试模板，编译所述测试模板生成测试脚本；

测试脚本执行步骤：根据所述测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置，调用所述控件对应的事件，执行所述事件对应的测试操作。

2.如权利要求1所述的用户界面自动化测试装置，其特征在于，所述用户界面自动化测试程序被所述处理器执行时还实现如下步骤：

测试脚本维护步骤：将所述用户界面的图片的版本号加载至所述映射关系中，当用户界面发生变化时，根据新版本的用户界面自动生成新的测试脚本。

3.如权利要求1所述的用户界面自动化测试装置，其特征在于，所述测试数据获取步骤还包括：

将所述用户界面的图片存储至预先确定的第一图片库中，将所述页面元素的图片存储至预先确定的第二图片库中。

4.如权利要求1所述的用户界面自动化测试装置，其特征在于，所述测试脚本生成步骤还包括：

验证所述测试脚本是否存在语法和编写方面的错误，若验证不通过，则将错误信息记录到日志表中，并弹出修改提示框，提示用户修改所述测试脚本，若验证通过，则生成最终的测试脚本。

5.如权利要求3所述的用户界面自动化测试装置，其特征在于，所述根据测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置包括：

根据所述测试脚本中的控件的名称参数确定待测试的页面元素，从所述预先确定的第二图片库中获取所述页面元素的图片；

根据所述用户界面与页面元素的映射关系获取所述待测试的页面元素对应的用户界面，从所述预先确定的第一图片库中获取所述用户界面的图片；

通过图片识别算法，比对获取的所述页面元素的图片和所述用户界面的图片，确定所述页面元素在所述用户界面中的位置。

6.一种用户界面自动化测试方法，其特征在于，所述用户界面自动化测试方法包括：

测试数据获取步骤：录制用户的操作过程视频，在所述视频中截取用户操作的用户界面的图片以及所述用户界面的图片中包含的页面元素的图片，利用图片识别算法确定所述页面元素对应的控件及控件对应的事件，生成测试数据，并建立所述用户界面与页面元素的映射关系，所述测试数据包含用户界面、用户界面中的页面元素、页面元素对应的控件、控件对应的事件；

测试用例配置步骤：根据所述测试数据配置测试用例；

测试脚本生成步骤：利用预先确定的编程语言描述所述测试用例的执行过程以生成测试模板，编译所述测试模板生成测试脚本；

测试脚本执行步骤：根据所述测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置，调用所述控件对应的事件，执行所述事件对应的测试操作。

7.如权利要求6所述的用户界面自动化测试方法，其特征在于，所述用户界面自动化测试方法还包括：

测试脚本维护步骤：将所述用户界面的图片的版本号加载至所述映射关系中，当用户界面发生变化时，根据新版本的用户界面自动生成新的测试脚本。

8.如权利要求6所述的用户界面自动化测试方法，其特征在于，所述测试数据获取步骤还包括：

将所述用户界面的图片存储至预先确定的第一图片库中，将所述页面元素的图片存储至预先确定的第二图片库中。

9.如权利要求8所述的用户界面自动化测试方法，其特征在于，所述根据测试脚本中的控件的名称参数和所述用户界面与页面元素的映射关系确定待测试的页面元素在其对应的用户界面中的位置包括：

根据所述测试脚本中的控件的名称参数确定待测试的页面元素，从所述预先确定的第二图片库中获取所述页面元素的图片；

根据所述用户界面与页面元素的映射关系获取所述待测试的页面元素对应的用户界面，从所述预先确定的第一图片库中获取所述用户界面的图片；

通过图片识别算法，比对获取的所述页面元素的图片和所述用户界面的图片，确定所述页面元素在所述用户界面中的位置。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有用户界面自动化测试程序，所述用户界面自动化测试程序可被一个或者多个处理器执行，以实现如权利要求6至9任一项所述的用户界面自动化测试方法的步骤。