CN116521522A - 列控ui自动测试工具 - Google Patents

Abstract

本发明的列控UI自动测试工具，包括RDP工具、坐标配置工具、测试框架，RDP工具通过RDP通讯技术远程连接被测系统；在测试框架启动后向测试框架提供从被测系统UI获取的图像和语音，并根据测试框架的键鼠操作命令操作被测系统UI，向坐标配置工具提供被测系统UI截图；坐标配置工具仅在测试开始前，根据截图生成测试脚本所需的XML格式的坐标配置文件时使用；测试框架包含BuiltIn、XML和自定义3个库，基于图像和文字识别算法进行图像定位，进而驱动和确认被测UI设备的响应，实现自动化的UI测试。本发明技术优势如下：提供了可自动化完成人机交互的方法并以此为基础实现了自动化测试。

Description

列控UI自动测试工具

技术领域

本发明适用于针对轨道交通领域的列控信号系统等有人机交互界面(UserInterface，简称UI)的设备进行自动化测试。

背景技术

在轨道交通领域，列控信号系统是安全级别要求最高的设备，无论是对这些设备进行开发还是变更，都需要通过大量测试来验证这些设备的功能与安全性符合预期。但由于目前还无法自动化的识别UI界面，针对其中带有UI界面的设备的测试仍然以人工测试为主，在测试过程中由测试人员人工观察UI界面来判断测试是否通过。但人工测试存在主要存在以下问题：

1.测试人员对UI界面的观察、反应、判断，以及对UI界面的人工输入等操作都需要一定的时间，完成所有的测试则需要更长的时间，且由于人的能力限制，这些时间很难大幅缩短，因此测试效率很难提高。

2.人工测试时由于测试量大，长时间盯着屏幕观看会产生视觉疲劳，可能造成对UI界面显示的错误判断，导致测试无效，降低了测试的准确率和可信度。

3.在回归测试时，需要测试人员重复之前的测试，但由于人是会经常犯错的，可能会在执行过程中犯各种类型的错，因此人工测试很难保证每次回归测试的一致性。

4.在手工测试的时候，往往会出现测试人员在测试时候虽然发现了缺陷，但由于时间过得太长，或者缺陷报告中操作步骤描述不清楚，或者其他因素，在给开发人员定位问题的时候不能重现，因此手工测试很难保证测试的一致性和可重复性。

5.由于人的能力限制，人工测试很难完成一些特殊类型的测试，如并发测试、疲劳性测试、强度测试、遍历性测试等，例如执行用户登录/登出的操作上万次，试图发现程序会不会出现空指针异常或者内存泄漏的问题。如果让测试人员采用人工测试方法来完成几乎是不可能的。

6.如果需要检测UI界面是否符合对应的图像显示规范，例如判别某个图标RGB值、像素值是否符合要求时，靠测试人员肉眼观察也是无法完成的。

发明内容

本发明目的是提供一种能对列控信号系统的UI进行自动识别及操作的，可代替人工对列控信号系统等有UI界面的设备进行测试的自动化测试工具。

本发明提供了一种列控UI自动测试工具，所述测试工具包括3个独立部分：RDP工具、坐标配置工具、测试框架，

所述RDP工具是一个可单独运行的程序，通过RDP通讯技术远程连接被测系统；在测试框架启动后即可向所述测试框架提供从被测系统UI获取的图像和语音，并根据测试框架的键鼠操作命令操作被测系统UI，向坐标配置工具提供被测系统UI截图；

所述坐标配置工具仅在测试开始前，根据截图生成测试脚本所需的XML格式的坐标配置文件时使用；

所述测试框架包含BuiltIn、XML和自定义这3个库，主要功能是基于图像和文字识别算法进行图像定位，进而驱动和确认被测UI设备的响应，实现自动化的UI测试，并自动生成测试记录和测试报告。

本发明技术效果如下：提供了可自动化完成人机交互的方法并以此为基础实现了自动化测试，可代替测试人员人工对轨道交通领域的列控信号系统等有UI界面的设备进行自动化测试。

附图说明

图1为本发明的测试工具构成；

图2为本发明图像识别算法中的模板匹配算法示意图；

图3为本发明联锁UI界面匹配右向信号机的结果；

图4为本发明的模板库；

图5为本发明坐标配置工具的工作流程；

图6为本发明坐标配置工具的智能识别结果；

图7为本发明坐标配置工具对联锁标准站智能识别后的图像；

图8为本发明坐标配置工具对联锁标准站智能识别后的标识和坐标的列表；

图9为本发明坐标配置工具输出的坐标配置文件；

图10为本发明的新建测试工程；

图11为本发明的新建测试套件；

图12为本发明的新建测试案例；

图13为本发明的测试库导入和配置文件路径设置；

图14为本发明的关键字说明；

图15为本发明的联锁测试脚本；

图16为本发明的测试运行界面；

图17为本发明的测试报告；

图18为本发明的测试记录。

具体实施方式

下面结合具体实施例对本发明进行详细的说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应该指出的是，本发明说明书中所指的既有情况，并不代表其已是公开的现有技术，只是为了便于在此基础上阐明本发明的关键技术和创新之处。

本发明是基于Windows平台的一款测试软件，包括3个独立部分：RDP工具、坐标配置工具、测试框架，如图1所示。其中RDP工具是一个可单独运行的程序，通过RDP(RemoteDesktopProtocol)通讯技术远程连接被测系统，运行RDP工具可立即看到被测系统UI并听到被测系统语音，也可以通过键鼠操作该UI。在测试框架启动后即可向测试框架提供从被测系统UI获取的图像和语音，并根据测试框架的键鼠操作命令操作被测系统UI，向坐标配置工具提供被测系统UI截图。坐标配置工具同样是一个可单独运行的程序，它仅在测试开始前，根据截图生成测试脚本所需的XML格式的坐标配置文件时使用。测试框架则是本发明的核心，包含BuiltIn、XML和自定义的3个库，主要功能是基于图像和文字识别算法进行图像定位，进而驱动和确认被测UI设备的响应，实现自动化的UI测试，并自动生成测试记录和测试报告。

本发明的自动测试工具较大地提高了对UI设备的测试效率，其主要包含如下工作过程：

1、坐标配置：坐标配置用来标识列控信号系统UI界面上的固定的关键图像名称及其位置坐标，例如信号机、区段、道岔、各类信息窗、按钮名称及其坐标。坐标配置的目的是为了在测试中通过坐标找到对应的图像进行图像识别或者点击等鼠标操作。

2、测试脚本编辑：测试脚本需要调用关键字编写。一个关键字就是一个方法或者一个函数，基础的关键字一般由测试库提供好，也可通过一些关键字的组合来定义新的关键字。本发明已经提供了很多用于图像、文字语音识别及UI操作的关键字，可以基于已提供的关键字定义更复杂的关键字，也可以通过增加新的测试库定义新的关键字。在调用关键字组装成测试语句后，再将多个这样的测试语句组合在一起便形成测试脚本。采用关键字的优势是不需要测试人员去学习某一种开发语言，只需要使用这些关键字就可以完成自动化的测试。

3、测试执行：本发明采用基于关键字驱动的自动化测试框架，即通过导入所需的测试库，应用测试库提供的关键字或自己定义的关键字编写测试用例，同时管理并执行测试脚本，以实现自动化测试。

测试脚本主要包含以下部分：

3.1)图像及语音获取：通过RDP实时访问被测设备UI界面并获取UI界面图像及语音信息。

3.2)图像及语音识别：通过图像处理库、语音处理库、文字处理库等测试库提供的关键字对获取的图像进行图像(含文字)、语音识别，查找并匹配所期待的图像、文字、语音是否出现。

3.3)UI操作：通过RDP模拟测试人员的人工操作，对被测设备的UI进行自动化的操作。

3.4)验证：验证获取的图像及语音是否满足预期，满足则测试通过或者继续，不满足则测试失败并立刻终止。

4、测试记录及测试报告生成：自动记录测试过程中的所有关键信息，包括所有关键字的执行记录及结果，并在测试结束后生成测试记录及测试报告。

本发明和被测设备的UI界面的交互通过RDP工具完成。RDP协议开启一个专用的网络通道，用于在列控UI自动测试工具和被测列控设备UI(可以多个)之间来回发送数据。可以访问被测设备UI，获取UI显示图像及语音，并能在被测设备UI上移动、点击鼠标键盘操作等，就如实际坐在桌面计算机前一样。

本发明采用了RobotFramework测试框架，是一款用Python编写的一个完全基于关键字测试驱动的功能自动化测试框架，如图1所示。能够导入需要的测试库，然后基于这些测试库提供的关键字编写测试用例，或基于这些关键字编写新的关键字之后再编写测试用例进行测试。该框架利用测试库提供的关键字与被测系统进行交互。可以直接与系统通信，例如可以用socket库直接与被测系统进行网络通信。也可以使用其他工具作为驱动程序，例如与被测系统UI界面采用RDP协议软件进行交互。

本发明使用了3个测试库，分别是BuiltIn库，XML库和一个自定义库。其中BuiltIn库和XML库是RobotFramework的标准库，自定义库是自己开发的用于图形、文字和语音处理的库。

BuiltIn提供了最通用和最常用的关键字，包括为编写脚本需要的语法结构，以及很多常见方法和能够控制RobotFramework运行状态的关键字，例如提供类似IF、ELSE、FOR等内置关键字来实现各种逻辑功能，还提供了可用于验证(例如ShouldBeEqual,ShouldContain)，转换(例如ConvertToInteger)和各种其他目的(例如Log,Sleep,RunKeywordIf,SetGlobalVariable)的关键字。

XML库用于解析、生成、验证和修改XML文件，本发明采用XML格式文件保存坐标配置，在测试时通过XML库来解析。

自定义库用于操控RDP工具从被测设备获取UI图像、文字和语音等信息并识别、判断，也同时用于通过RDP工具操作被测设备UI。例如操控RDP工具从联锁UI界面获取图像，判断某个信号机文字编号附近的信号机显示是否为红灯，点击信号机附近的按钮，再判断信号机是否显示绿灯，同时识别联锁的语音提示和报警，将语音转换为文字并判断是否符合预期。

本发明的自定义库功能是通过以下技术方案实现的：

图像识别：列控信号系统UI界面普遍是由规则且标准的区段、信号机、道岔、功能按钮等图像构成，因此图像识别采用的主要方法是模板匹配。模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配(相似)部分的技术。具体是在要检测的图像上，从左到右，从上到下遍历这一幅图像，从上到下计算模板与重叠子图像的像素匹配度，如果匹配的程度越大，这说明相同的可能性越大，如图2所示。本发明对匹配到的图像会用方框标识并在方框右上角显示模板名称，如图3所示为对某个站的联锁UI界面匹配右向信号机的结果。本发明已经提供了用于轨交信号系统UI界面测试的常用模板，如图4所示，如果没有所需的模板可以截图增加或更换。

文字识别：本发明所使用到的文字识别功能基于easyOCR开发，easyOCR是一个用于从图像中提取文本的Python模块,它是一种通用的OCR，可以读取各种图像当中的文本信息，支持中英文数字等列控系统UI界面常出现的文字符号。除了在自定义库中使用easyOCR，坐标配置工具也使用了easyOCR，用于完成文字识别及文字坐标的提取，并把文字及对应坐标生成XML配置文件。配置文件用于在测试时进行定位，例如在测试时如果需要搜索文字周边的其他图像进行模板匹配，或者用鼠标点击某文字或周边的某个按钮等操作时提供定位信息。

语音识别：本发明的语音识别功能基于微软提供的软件开发包SpeechSDK开发。SpeechSDK是一个语音识别的二次开发平台，其中包含了语音识别引擎相关组件。

本发明自动测试工具的通常使用方式如下：

步骤1—坐标配置：通过坐标配置工具完成，坐标配置流程如图5所示。点击“导入图片”导入被测列控信号系统UI界面截图，对UI界面测试相关的各图像、文字进行框选并标识。其中文字部分可以采用智能识别，即工具自动识别UI界面的所有文字并标识出并获取坐标，智能识别结果如图6所示。图中被识别出的文字会加上矩形框作为标识，后方的表格是识别的文字及其坐标列表，可手动编辑修改。智能识别文字会有一定的错误率，一般在智能识别之后需要进行人工审核，如发现错误需要手动校正，如果有未被识别的文字需要人工框选并标记。

步骤2—测试脚本编辑：调用BuiltIn、XML库和自定义库提供的关键字编写测试脚本。测试脚本一般根据测试规范及测试案例编写，目的是验证UI界面显示的图像信息是否满足预期，例如排列一条进路后信号灯应该由红灯变为绿灯，否则测试不通过。

步骤3—测试执行：分为执行模型和调试模式，在调试模式时测试也能正常执行，但会在测试框架log框打印更多调试信息，如图16所示，一般在测试失败时使用该模式。

步骤4—测试记录及测试报告生成：测试框架会自动记录测试脚本的运行情况并在测试结束后给出测试报告。测试记录主要记录每个测试关键字的运行情况及测试结果，测试报告是所有测试脚本的运行结果统计。

优选实施例

下面通过本发明以测试联锁标准站的一个测试案例为实施例，对列控UI自动测试工具作进一步地详细描述。

联锁设备是指控制车站的道岔、进路和信号，并实现它们之间联锁关系的设备。标准站是为了方便测试而人工设计的一个站型。联锁的操作表示层为一个控显机，一般为工控机，有1个或多个显示屏，每个显示屏分辨率一般为1920*1080，配有键盘和鼠标。采用本发明完成测试的流程如下：

1)步骤1—坐标配置：选择被测联锁的标准站，打开坐标配置工具，读入联锁UI界面站场截图，一般通过截取整个联锁UI界面获取，点击“导入图片”导入截图，点击“智能识别”坐标配置工具将自动识别站场图像，标识出可识别的各类标识信息及对应的左上角和右下角的坐标信息，如图7所示。在软件自动标识的基础上，可支持人工检查和增删修改。

手动拖动鼠标，框选需要标定的按钮、文字、编号等各类标识，在框选标识后对应的坐标会自动出现在如图7所示列表中，随后输入所选的标识名称即可。如图8所示。

点击“输出文件”后指定文件位置，该工具将输出XML坐标配置文件，如图9所示。该配置文件包含所有标定的各类测试相关的按钮、编号等标识的位置，位置坐标为该标识的左上角和右下角在屏幕上的XY坐标值。

2)步骤2—测试脚本编辑：启动RobotFramework，单击File弹出菜单，创建项目点击File->NewProject，如图10所示。右击Project，在弹出的菜单中选择NewSuite，如图11所示。右击Suite，在弹出的菜单中选择NewTestCase，如图12所示。

单击Project，在加载测试库，由于BuiltIn是内置库，会默认加载，联锁UI测试工具需要设置加载XML库和自定义测试库CBILib，点击Import导入，如图13所示。针对联锁UI的自动化测试中需要设置的模板图库路径、XML配置文件路径等变量，如图13所示。

做完以上设置即可基于所有加载的测试库提供的关键字编写测试案例，查看各测试库提供的关键字可以按F5键，在弹出的对话框中查看，如图14所示。按照测试案例调用所提供的关键词编写测试案例，测试案例如图15所示。

3)步骤3—测试执行：测试执行前需要首先建立RDP，才能实时从联锁控显机获得UI界面，才能开始执行测试脚本。如果有多个测试脚本形成测试列表，在测试执行时，勾选左侧测试脚本列表里需要测试的脚本，选择“Run”选项卡上的“Start”和“Debug”开始运行执行或者调试，如图16所示。

4)步骤4—测试记录及测试报告生成：测试脚本运行结束后，点击“Report”和“Log”，如图16所示，以获取测试脚本运行后的测试报告及测试记录，如图17和18所示。

本发明的有益效果在于：

本发明可代替测试人员完成对列控信号系统UI界面的观察、反应、判断，以及对UI界面的各类操作，有效的解决了列控信号系统在涉及到需要进行人机交互的测试时不得不依赖人工测试的问题。

本发明相比人工测试反应更迅速，执行各类操作效率更高，大幅提高了测试效率，降低了测试成本。本发明不会因为测试量大而产生疲劳，保证了较高的测试的准确率和可信度。本发明通过脚本执行测试保证了每次回归测试的一致性；通过本发明的自动化测试一旦发现问题，在排除测试代码、测试数据、对需求误解的错误外，其结果是可以信任的，因为它里面没有人的主观意识的参与。本发明可以无休止的进行测试工作，适合完成一些特殊类型的测试，如疲劳性测试、强度测试、遍历性测试、并发测试等。本发明还可以通过图像分析处理精确的检测UI界面是否符合对应的图像显示规范。

以上所述仅为本发明方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种列控UI自动测试工具，所述测试工具包括3个独立部分：RDP工具、坐标配置工具、测试框架，

所述RDP工具是一个可单独运行的程序，通过RDP通讯技术远程连接被测系统；在测试框架启动后即可向所述测试框架提供从被测系统UI获取的图像和语音，并根据测试框架的键鼠操作命令操作被测系统UI，向坐标配置工具提供被测系统UI截图；

所述坐标配置工具仅在测试开始前，根据截图生成测试脚本所需的XML格式的坐标配置文件时使用；

所述测试框架包含BuiltIn、XML和自定义这3个库，主要功能是基于图像和文字识别算法进行图像定位，进而驱动和确认被测UI设备的响应，实现自动化的UI测试，并自动生成测试记录和测试报告。

2.根据权利要求1所述的自动测试工具，其特征在于，所述测试框架采用了RobotFramework测试框架，是一款用Python编写的一个完全基于关键字测试驱动的功能自动化测试框架，能够导入需要的测试库，然后基于这些测试库提供的关键字编写测试用例，或基于这些关键字编写新的关键字之后再编写测试用例进行测试；该框架利用测试库提供的关键字与被测系统进行交互。

3.根据权利要求2所述的自动测试工具，其特征在于，其中BuiltIn库和XML库是RobotFramework的标准库，自定义库是自己开发的用于图形、文字和语音处理的库。

4.根据权利要求3所述的自动测试工具，其特征在于，所述XML库用于解析、生成、验证和修改XML文件，本发明采用XML格式文件保存坐标配置，在测试时通过XML库来解析。

5.根据权利要求3所述的自动测试工具，其特征在于，所述自定义库用于操控所述RDP工具从被测设备获取UI图像、文字和语音等信息并识别、判断，也同时用于通过RDP工具操作被测设备UI。

6.根据权利要求4或5所述的自动测试工具，其特征在于，所述自动测试工具的通常使用方式如下：

步骤1—坐标配置，通过所述坐标配置工具导入被测列控信号系统的UI界面截图，对UI界面测试相关的图像、文字进行框选并标识；

步骤2—测试脚本编辑，调用BuiltIn、XML库和自定义库提供的关键字编写测试脚本；

步骤3—测试执行，分为执行模型和调试模式，在调试模式时测试也能正常执行；

步骤4—测试记录及测试报告生成，所述测试框架会自动记录测试脚本的运行情况并在测试结束后给出测试报告；测试记录主要记录每个测试关键字的运行情况及测试结果，测试报告是所有测试脚本的运行结果统计。

7.根据权利要求2所述的自动测试工具，其特征在于，测试脚本需要调用关键字编写，一个关键字就是一个方法或者一个函数，基础的关键字一般由测试库提供好，也可通过一些关键字的组合来定义新的关键字；

所述自动测试工具提供了很多用于图像、文字语音识别及UI操作的关键字，可以基于已提供的关键字定义更复杂的关键字，也可以通过增加新的测试库定义新的关键字；

在调用关键字组装成测试语句后，再将多个这样的测试语句组合在一起便形成测试脚本。