CN211554929U - 基于Android OS的人机交互界面自动化识别系统 - Google Patents

Abstract

一种基于Android OS的人机交互界面自动化识别系统，所述系统包括：待测娱乐系统主机；测试执行器，所述测试执行器用于对所述待测娱乐系统主机执行一个或多个测试用例并评估测试结果；以及远程服务器，所述远程服务器与所述测试执行机相连。

Description

基于Android OS的人机交互界面自动化识别系统

技术领域

本实用新型专利涉及汽车领域，具体而言，涉及汽车内人机交互界面的自动化识别领域。

背景技术

随着汽车保有量的增加，消费类电子的快速发展，车载娱乐系统也在不断地推陈出新、适应广大消费者的多样化需求。车载娱乐系统正逐渐向智能手机靠拢，试图取代驾驶员在车内对智能手机的一系列操作，将所有的车内手机使用场景都移植到娱乐系统主机上，扮演一个方便好用的车内智能主机的角色。对于消费者而言，无论是手机屏幕还是车载娱乐系统屏幕，都是一块信息显示屏。大尺寸、感官性好的屏幕意味着单位时间内可以显示更多的信息，并可以呈现更好的视觉效果。因此，UIUE（User Interface & UserExperience）在具备大尺寸屏幕的车载娱乐系统主机上变得格外重要，它直观体现了该主机厂的内饰风格与智能系统设计语言。

具备复杂车联网功能又包含着丰富人机交互界面的车载娱乐系统，普遍采用迭代的软件开发模式，不断修正车机售后问题，并向市场陆续推出新功能新亮点。在这样的开发背景下，各主机厂需要一套稳定、高效、适用性高的自动化测试方案，以替代过去所有测试均由人来执行的方法。传统的人工测试方法有以下几个弊端：1. 人力资源投入大；2. 重复性劳动多；3. 测试人员质素直接影响测试结果，优秀的测试能力不可复制；4. 无法满足软件快速迭代导致的验证及时性与充分性。

发明内容

因此，针对上述问题，本专利提出了一种本发明专利目标提出了一种基于AndroidOS的人机交互界面自动化识别系统，利用Android OS原生的自动化处理应用Automate，实现娱乐系统主机的所有人机交互界面识别和比对，对该娱乐系统主机软件进行全功能覆盖的黑盒测试。

按照本申请的一些实施例公开了一种基于Android OS的人机交互界面自动化识别系统，所述系统包括：待测娱乐系统主机；测试执行器，所述测试执行器用于对所述待测娱乐系统主机执行一个或多个测试并评估测试结果；以及远程服务器，所述远程服务器与所述测试执行机相连。

按照本申请的一些实施例所公开的人机交互界面自动化识别系统，其中：所述测试执行器通过控制器区域网络（CAN）总线与所述待测娱乐系统主机互联，以用于从所述待测娱乐系统主机获取测试输出图像。

按照本申请的一些实施例所公开的人机交互界面自动化识别系统，其中：所述测试执行器通过ADB工具连接至所述待测娱乐系统主机，以用于将测试指令及测试用例推送到所述待测娱乐系统主机。

按照本申请的一些实施例所公开的人机交互界面自动化识别系统，其中：所述测试执行器通过USB连接至所述待测娱乐系统主机，以用于将测试指令及测试用例推送到所述待测娱乐系统主机。

按照本申请的一些实施例所公开的人机交互界面自动化识别系统，其中：所述测试执行器中存储有标准图像，通过将待测娱乐系统主机反馈的所述测试输出图像与所述标准图像进行比较，计算所述图像之间的相似度比，如果所述相似度比高于预定阈值，则测试通过；如果所述相似度比低于预定阈值，则测试失败。

按照本申请的一些实施例所公开的人机交互界面自动化识别系统，其中：如果所述测试失败，则所述人机交互界面自动化识别系统自动截图所述测试输出图像并存储所述测试的运行数据。

按照本申请的一些实施例所公开的人机交互界面自动化识别系统，其中：所述测试输出图像及所述运行数据可被上传到所述远程服务器。

按照本申请的一些实施例所公开的人机交互界面自动化识别系统，其中：所述测试执行器执行完成所有测试后，所述人机交互界面自动化识别系统自动生成测试报告。

按照本申请的一些实施例所公开的人机交互界面自动化识别系统，其中：获取所述待测娱乐系统主机的所述测试输出图像是通过Android系统内原生程序Automate完成的。

按照本申请的一些实施例所公开的人机交互界面自动化识别系统，其中：所述待测娱乐系统主机还可与USB外接设备相连，以供完成不同测试。

本专利引入图像对比方式，通过判断人机交互界面的正确性来实现车载娱乐系统各功能的自动化测试，无需植入测试软件，对车载娱乐系统自身运行效率零负担零影响，简易更改后可适配于不同平台产品。

附图说明

从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。

图1示出了根据本公开的实施例的人机交互界面自动化识别系统的框图。

具体实施方式

出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的电池以及安全电池系统，并且可以在其中实施这些相同或相似的原理，任何此类变化皆不背离本专利申请的真实精神和范围。

如图1中示出，人机交互界面自动化识别系统包括测试执行机、控制器区域网络（CAN）总线适配器、ADB(Android Debug Bridge)工具、USB连接、继电器等。人机交互界面自动化识别系统通过测试执行机来对车辆娱乐系统主机做出测试，其中测试执行机通过无线网络连接至远程通信服务器（未示出）。在该系统中，ADB工具是Android系统内为调试Android设备所自带的原生调试工具，其可用于完成测试执行机与娱乐系统主机之间的连接。同时还利用了Android系统内的自带的原生Automate工具，其用于在一定触发条件下执行某类功能，在本文中，其用于在测试用例执行后截图测试输出结果。在该系统中，通过ADB工具，测试执行器向娱乐系统主机发送测试指令，以实现系统与娱乐系统主机之间的通信。在备选的实施例中，测试执行器也可以利用USB连接实现系统与娱乐系统主机之间的通信。利用控制器区域网络（CAN）总线实时获取当前娱乐系统主机的内部运行数据。同时为了完成测试，娱乐系统主机可以连接至USB外接设备，诸如图像显示测量计等。该USB外接设备可实时监控测试过程中的车辆总线、娱乐系统主机状态，截取娱乐系统主机的内部运行数据。

在实现测试执行器与娱乐系统主机的通信之后，测试执行器从远程服务器获取本次测试任务所要完成的测试用例，其可包括娱乐功能测试用例、性能测试用例、安全性测试用例、兼容性测试用例等。通过ADB/USB连接将其推送至娱乐系统主机，娱乐系统主机按照指令顺序地执行所推送的相应测试用例，同时娱乐系统主机按照测试用例在显示屏上产生相应输出。

在人机交互界面自动化识别系统的测试执行器内预先存储有针对相应测试用例的标准输出图像库，其可作为评价输出结果的参考。同时人机交互界面自动化识别系统通过Automate工具在测试指令运行过程中自动截图相应测试用例进行时的输出图像。测试执行器通过CAN总线获取娱乐系统主机的显示屏上的人机交互界面截图，并将该截图与系统中存储的标准输出图像库中的图像进行比较。依据该比较结果计算出输出图像相似度比。在系统中可以设置有相似度比阈值，诸如95%、90%等。如果所得图像相似度比高于阈值，则系统自动判定该项测试通过；否则，系统认为该项测试步骤失败，并自动保存此娱乐系统主机截图、在此测试中的娱乐系统主机的内部运行数据等数据及日志。同时所述测试结果数据及日志被上传至远程服务器。通过将测试结果上传至远程服务器，相关操作人员可以在任何地点通过远程登录服务器查看结果。

待所有待测测试用例完成后，人机交互界面自动化识别系统根据所有测试结果自动生成相应的测试报告，其包括测试用例数量、每项测试的结果、耗时、及包括截图、数据及日志的附件。对于结果为失败的测试用例，报告将会将附件及相关数据包一同上传。

本公开提出的人机交互界面自动化识别系统适用于所有基于Android OS开发的娱乐系统主机。在不需要对娱乐系统主机“打桩”（即，不需要植入不同测试软件）的情况下，利用Android原生的自带ADB工具、Automate工具，通过图像比对的方式，实现自动化测试运行。同时所有测试用例储存于远程服务器，便于操作人员修改、维护、同步测试用例。并且可以通过无线网络将测试用例同时下发至多个测试执行器，实现了并发一对多的自动化测试方案。操作人员也可以定制测试用例，满足不同程度的测试深度需求。完成测试后，系统可自动生成测试报告，用户可在本地端和云端查看报告与相关附件。本人机交互界面自动化识别系统适用于不同平台的Android娱乐系统主机，仅需对功能差异点进行针对性测试用例进行修改，即可快速进行测试。

最后应说明的是，以上实施例仅用以说明本实用新型的技术方案，而非对其限制。尽管参照前述实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本实用新型各实施例技术方案的范围。

Claims (10)

1.一种基于Android OS的人机交互界面自动化识别系统，其特征在于，所述系统包括：

待测娱乐系统主机；

测试执行器，所述测试执行器用于对所述待测娱乐系统主机执行一个或多个测试并评估测试结果；以及

远程服务器，所述远程服务器与所述测试执行机相连。

2.根据权利要求1所述的人机交互界面自动化识别系统，其特征在于：

所述测试执行器通过控制器区域网络（CAN）总线与所述待测娱乐系统主机互联，以用于从所述待测娱乐系统主机获取测试输出图像。

3.根据权利要求2所述的人机交互界面自动化识别系统，其特征在于：

所述测试执行器通过ADB工具连接至所述待测娱乐系统主机，以用于将测试指令及测试用例推送到所述待测娱乐系统主机。

4.根据权利要求2所述的人机交互界面自动化识别系统，其特征在于：

所述测试执行器通过USB连接至所述待测娱乐系统主机，以用于将测试指令及测试用例推送到所述待测娱乐系统主机。

5.根据权利要求3或4中任一项所述的人机交互界面自动化识别系统，其特征在于：

所述测试执行器中存储有标准图像，通过将待测娱乐系统主机反馈的所述测试输出图像与所述标准图像进行比较，计算所述图像之间的相似度比，如果所述相似度比高于预定阈值，则测试通过；如果所述相似度比低于预定阈值，则测试失败。

6.根据权利要求5所述的人机交互界面自动化识别系统，其特征在于：

如果所述测试失败，则所述人机交互界面自动化识别系统自动截图所述测试输出图像并存储所述测试的运行数据。

7.根据权利要求6所述的人机交互界面自动化识别系统，其特征在于：

所述测试输出图像及所述运行数据可被上传到所述远程服务器。

8.根据权利要求7所述的人机交互界面自动化识别系统，其特征在于：

所述测试执行器执行完成所有测试后，所述人机交互界面自动化识别系统自动生成测试报告。

9.根据权利要求2所述的人机交互界面自动化识别系统，其特征在于：

获取所述待测娱乐系统主机的所述测试输出图像是通过Android系统内原生程序Automate完成的。

10.根据权利要求1所述的人机交互界面自动化识别系统，其特征在于：

所述待测娱乐系统主机还可与USB外接设备相连，以供完成不同测试。

Images