CN115580894A - 多设备通用自动化测试方法及系统 - Google Patents

多设备通用自动化测试方法及系统 Download PDF

Info

Publication number
CN115580894A
CN115580894A CN202211225961.3A CN202211225961A CN115580894A CN 115580894 A CN115580894 A CN 115580894A CN 202211225961 A CN202211225961 A CN 202211225961A CN 115580894 A CN115580894 A CN 115580894A
Authority
CN
China
Prior art keywords
test
testing
equipment
configuration file
actions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211225961.3A
Other languages
English (en)
Inventor
廖覃露
李红建
姜海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Network Technology Co Ltd
Original Assignee
Sichuan Changhong Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Network Technology Co Ltd filed Critical Sichuan Changhong Network Technology Co Ltd
Priority to CN202211225961.3A priority Critical patent/CN115580894A/zh
Publication of CN115580894A publication Critical patent/CN115580894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及物联网设备测试领域，具体涉及一种多设备通用自动化测试方法及系统，实现了对多种物联网设备的自动化测试，提高了测试的通用性。技术方案包括：本发明多设备通用自动化测试方法，包括：根据设备的通讯方式，将设备抽象为具有上线、离线、发现、连接、断连、发送数据以及接收数据功能的虚拟设备，并将各种通讯方式封装成统一接口，统一接口与虚拟设备通信；将待测设备通过统一接口接入测试系统，基于测试配置文件对虚拟设备进行自动化测试；测试动作由动作函数库提供，函数库包含有所有用于测试的动作，并可动态识别并加载未包含在系统库中但符合编写规范的额外动作库。本发明适用于多设备通用自动化测试。

Description

多设备通用自动化测试方法及系统
技术领域
本发明涉及物联网设备测试领域，具体涉及一种多设备通用自动化测试方法及系统。
背景技术
随着物联网技术发展，出现大量基于各种通讯协议的物联网设备，如果针对每一种设备进行单独测试，存在测试功能重复度高、测试维护复杂、学习成本高、通用性低、执行效率低、人工测试学习成本高、测试执行不可靠等诸多问题。
发明内容
本发明的目的是提供一种多设备通用自动化测试方法及系统，实现了对多种物联网设备的自动化测试，提高了测试的通用性，以及测试效率。
本发明采取如下技术方案实现上述目的，多设备通用自动化测试方法，包括：
根据设备的通讯方式，将设备抽象为具有上线、离线、发现、连接、断连、发送数据以及接收数据功能的虚拟设备，并将各种通讯方式封装成统一接口，统一接口与虚拟设备通信；
将待测设备通过统一接口接入测试系统，基于测试配置文件对虚拟设备进行自动化测试；所述自动化测试中的测试动作由动作函数库提供，函数库包含有所有用于测试的动作，并可动态识别并加载未包含在系统库中但符合编写规范的额外动作库，将一个或多个动作进行组合完成一个测试流程，每个动作执行成功后会自动下一个动作，一个完整的测试流程使用一个测试配置文件进行描述，系统通过读取配置文件进行自动化测试；
所述测试配置文件包括：设备通讯方式、测试过程中传入动作函数的数据、测试动作、测试顺序、失败重试次数、重试动作范围、动作超时时间、测试过程的界面提示、测试过程中由动作执行可获取到的数据、全局变量数据的预期值、前端界面显示项与全局变量数据的绑定关系、测试过程出现异常后的分支执行流程。
所述通讯方式包括BLE蓝牙通讯、Wi-Fi通讯、串口通讯以及Zigbee通讯。
进一步的是，测试过程中涉及到的数据以及参数的具体数值在测试开始前提前写入或在测试过程中由配置规则和测试动作动态生成。
每个测试流程中的动作根据待测试设备实际情况、配置文件中的内容设置输入参数及执行参数进行灵活的测试，并可输出测试结果数据供测试流程使用，测试流程根据配置的触发条件自动开始执行。
进一步的是，所述触发条件包括：扫描到符合配置要求的无线设备、串口收到配置内定义的来自设备的内容输出、测试系统ping通配置内定义的IP地址以及人工点击前端界面按钮。
进一步的是，根据配置文件内容，前端界面可实时显示测试过程中产生的数据，并可根据配置文件中定义实时生成界面按钮，当某些测试动作中需要人工确认时，人工通过界面按钮控制必要的测试过程。
进一步的是，每个测试动作独立判断测试是否成功，或将执行结果想全局变量输出，与配置文件中定义的输出预期值进行比较，根据比较结果判断测试是否成功。
进一步的是，该方法还包括在测试过程使用日志进行测试记录，测试记录包括：测试信息、配置文件加载信息、测试运行环境信息、与设备的交互通讯内容、测试动作产生的信息及输入、输出数据、测试过程逻辑流程信息以及人工操作内容。
多设备通用自动化测试系统，包括测试流程控制模块，所述测试流程控制模块基于测试配置文件对设备进行自动化测试；所述自动化测试中的测试动作由动作函数库提供，函数库包含有所有用于测试的动作，并可动态识别并加载未包含在系统库中但符合编写规范的额外动作库，将一个或多个动作进行组合完成一个测试流程，每个动作执行成功后会自动下一个动作，一个完整的测试流程使用一个测试配置文件进行描述，系统通过读取配置文件进行自动化测试；
所述测试配置文件包括：设备通讯方式、测试过程中传入动作函数的数据、测试动作、测试顺序、失败重试次数、重试动作范围、动作超时时间、测试过程的界面提示、测试过程中由动作执行可获取到的数据、全局变量数据的预期值、前端界面显示项与全局变量数据的绑定关系、测试过程出现异常后的分支执行流程。
进一步的是，该系统还包括日志模块与前端界面，所述前端界面用于根据配置文件内容，实时显示测试过程中产生的数据，并可根据配置文件中定义实时生成界面按钮，当某些测试动作中需要人工确认时，人工通过界面按钮控制必要的测试过程；所述日志模块用于在测试过程使用日志进行测试记录，测试记录包括：测试信息、配置文件加载信息、测试运行环境信息、与设备的交互通讯内容、测试动作产生的信息及输入、输出数据、测试过程逻辑流程信息以及人工操作内容。
本发明的有益效果为：
本发明根据设备的通讯方式，将设备抽象为具有上线、离线、发现、连接、断连、发送数据以及接收数据功能的虚拟设备，并将各种通讯方式封装成统一接口，统一接口与虚拟设备通信，这样待测设备接入后，测试过程针对虚拟设备进行操作，极大的提高了测试的通用性；
测试过程涉及的数据以及参数的具体数值在测试开始前提前写入或在测试过程中由配置规则和测试动作动态生成，提高了测试灵活性；
多种触发条件，保障了测试流程的顺利执行；
在测试过程中，提供了人工控制的界面按钮，提高了自动化测试的可靠性；
提供多种测试结果的判定，提高了测试结果的准确性。
附图说明
图1为本发明实施例提供的多设备通用自动化测试的系统结构框图；
图2为本发明实施例提供的将设备抽象为虚拟设备的示意图；
图3为本发明实施例提供的测试流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明将各种设备通讯方式进行抽象统一为相同操作方式，定义一套标准的应用通讯规范，将设备接入测试系统后，基于测试配置文件，对测试过程进行自动化、模块化测试，由前端界面显示测试过程及结果，并由日志系统记录测试过程，具体方案如下。
本发明多设备通用自动化测试方法，包括：
根据设备的通讯方式，将设备抽象为具有上线、离线、发现、连接、断连、发送数据以及接收数据功能的虚拟设备，并将各种通讯方式封装成统一接口，统一接口与虚拟设备通信；具体抽象过程如图2所示，将通讯方式包括BLE蓝牙通讯、Wi-Fi通讯、串口通讯以及Zigbee通讯的物联网设备抽象为虚拟设备，测试流程控制对虚拟设备进行操作；
将待测设备通过统一接口接入测试系统，基于测试配置文件对虚拟设备进行自动化测试；所述自动化测试中的测试动作由动作函数库提供，函数库包含有所有用于测试的动作，并可动态识别并加载未包含在系统库中但符合编写规范的额外动作库，将一个或多个动作进行组合完成一个测试流程，每个动作执行成功后会自动下一个动作，一个完整的测试流程使用一个测试配置文件进行描述，系统通过读取配置文件进行自动化测试；
所述测试配置文件包括：设备通讯方式、测试过程中传入动作函数的数据、测试动作、测试顺序、失败重试次数、重试动作范围、动作超时时间、测试过程的界面提示、测试过程中由动作执行可获取到的数据、全局变量数据的预期值、前端界面显示项与全局变量数据的绑定关系、测试过程出现异常后的分支执行流程。
所述通讯方式包括BLE蓝牙通讯、Wi-Fi通讯、串口通讯以及Zigbee通讯。
测试过程中涉及到的数据以及参数的具体数值在测试开始前提前写入或在测试过程中由配置规则和测试动作动态生成。
每个测试流程中的动作根据待测试设备实际情况、配置文件中的内容设置输入参数及执行参数进行灵活的测试，并可输出测试结果数据供测试流程使用，测试流程根据配置的触发条件自动开始执行。
所述触发条件包括：扫描到符合配置要求的无线设备、串口收到配置内定义的来自设备的内容输出、测试系统ping通配置内定义的IP地址以及人工点击前端界面按钮。
根据配置文件内容，前端界面可实时显示测试过程中产生的数据，并可根据配置文件中定义实时生成界面按钮，当某些测试动作中需要人工确认时，人工通过界面按钮控制必要的测试过程。
每个测试动作独立判断测试是否成功，或将执行结果想全局变量输出，与配置文件中定义的输出预期值进行比较，根据比较结果判断测试是否成功。
本发明多设备通用自动化测试方法还包括在测试过程使用日志进行测试记录，测试记录包括：测试信息、配置文件加载信息、测试运行环境信息、与设备的交互通讯内容、测试动作产生的信息及输入、输出数据、测试过程逻辑流程信息以及人工操作内容。
多设备通用自动化测试系统，如图1所示，包括测试流程控制模块，所述测试流程控制模块基于测试配置文件对设备进行自动化测试；所述自动化测试中的测试动作由动作函数库提供，函数库包含有所有用于测试的动作，并可动态识别并加载未包含在系统库中但符合编写规范的额外动作库，将一个或多个动作进行组合完成一个测试流程，每个动作执行成功后会自动下一个动作，一个完整的测试流程使用一个测试配置文件进行描述，系统通过读取配置文件进行自动化测试；
所述测试配置文件包括：设备通讯方式、测试过程中传入动作函数的数据、测试动作、测试顺序、失败重试次数、重试动作范围、动作超时时间、测试过程的界面提示、测试过程中由动作执行可获取到的数据、全局变量数据的预期值、前端界面显示项与全局变量数据的绑定关系、测试过程出现异常后的分支执行流程。
该系统还包括日志模块与前端界面，所述前端界面用于根据配置文件内容，实时显示测试过程中产生的数据，并可根据配置文件中定义实时生成界面按钮，当某些测试动作中需要人工确认时，人工通过界面按钮控制必要的测试过程；所述日志模块用于在测试过程使用日志进行测试记录，测试记录包括：测试信息、配置文件加载信息、测试运行环境信息、与设备的交互通讯内容、测试动作产生的信息及输入、输出数据、测试过程逻辑流程信息以及人工操作内容。
本发明实施例提供测试流程如图3所示，具体包括：
步骤1、测试系统加载扩展函数库；
步骤2、加载配置文件；
步骤3、根据配置文件创建全局数据变量，创建前端界面，从动作函数库加载动作；
步骤4、等待条件触发自动化测试流程；
步骤5、触发自动化测试流程，传入执行参数，输入数据；
步骤6、执行测试动作1；
步骤7、判断测试动作1是否执行成功，若否，则进入步骤8，若是，则进入步骤9；
步骤8、判断是否达到重试次数上限，若是则测试失败，结束；若否，则进入步骤6；
步骤9、输出参数到全局变量；
步骤10、判断数据是否满足预期值，若否，则进入步骤8；若是，则进入步骤11；
步骤11、判断是否还有未执行的测试动作，若否，则测试完成；若是，则继续测试动作2到n；动作2-动作n的测试流程与动作1一致。
综上所述，本发明实现了对多种物联网设备的自动化测试，极大地提高了测试的通用性，进一步提高了测试效率。

Claims (10)

1.多设备通用自动化测试方法，其特征在于，包括：
根据设备的通讯方式，将设备抽象为具有发送数据与接收数据功能的虚拟设备，并将各种通讯方式封装成统一接口，统一接口与虚拟设备通信；
将待测设备通过统一接口接入测试系统，基于测试配置文件对虚拟设备进行自动化测试；所述自动化测试中的测试动作由动作函数库提供，函数库包含有所有用于测试的动作，并可动态识别并加载未包含在系统库中但符合编写规范的额外动作库，将一个或多个动作进行组合完成一个测试流程，每个动作执行成功后会自动下一个动作，一个完整的测试流程使用一个测试配置文件进行描述，系统通过读取配置文件进行自动化测试；
所述测试配置文件包括：设备通讯方式、测试过程中传入动作函数的数据、测试动作、测试顺序、失败重试次数、重试动作范围、动作超时时间、测试过程的界面提示、测试过程中由动作执行可获取到的数据、全局变量数据的预期值、前端界面显示项与全局变量数据的绑定关系、测试过程出现异常后的分支执行流程。
2.根据权利要求1所述的多设备通用自动化测试方法，其特征在于，所述虚拟设备还具有上线、离线、发现、连接以及断连功能。
3.根据权利要求1所述的多设备通用自动化测试方法，其特征在于，测试过程中涉及到的数据以及参数的具体数值在测试开始前提前写入或在测试过程中由配置规则和测试动作动态生成。
4.根据权利要求1所述的多设备通用自动化测试方法，其特征在于，每个测试流程中的动作根据待测试设备实际情况、配置文件中的内容设置输入参数及执行参数进行灵活的测试，并可输出测试结果数据供测试流程使用，测试流程根据配置的触发条件自动开始执行。
5.根据权利要求4所述的多设备通用自动化测试方法，其特征在于，所述触发条件包括：扫描到符合配置要求的无线设备、串口收到配置内定义的来自设备的内容输出、测试系统ping通配置内定义的IP地址以及人工点击前端界面按钮。
6.根据权利要求1所述的多设备通用自动化测试方法，其特征在于，根据配置文件内容，前端界面可实时显示测试过程中产生的数据，并可根据配置文件中定义实时生成界面按钮，当某些测试动作中需要人工确认时，人工通过界面按钮控制必要的测试过程。
7.根据权利要求1所述的多设备通用自动化测试方法，其特征在于，每个测试动作独立判断测试是否成功，或将执行结果想全局变量输出，与配置文件中定义的输出预期值进行比较，根据比较结果判断测试是否成功。
8.根据权利要求1所述的多设备通用自动化测试方法，其特征在于，该方法还包括在测试过程使用日志进行测试记录，测试记录包括：测试信息、配置文件加载信息、测试运行环境信息、与设备的交互通讯内容、测试动作产生的信息及输入、输出数据、测试过程逻辑流程信息以及人工操作内容。
9.多设备通用自动化测试系统，其特征在于，包括测试流程控制模块，所述测试流程控制模块基于测试配置文件对设备进行自动化测试；所述自动化测试中的测试动作由动作函数库提供，函数库包含有所有用于测试的动作，并可动态识别并加载未包含在系统库中但符合编写规范的额外动作库，将一个或多个动作进行组合完成一个测试流程，每个动作执行成功后会自动下一个动作，一个完整的测试流程使用一个测试配置文件进行描述，系统通过读取配置文件进行自动化测试；
所述测试配置文件包括：设备通讯方式、测试过程中传入动作函数的数据、测试动作、测试顺序、失败重试次数、重试动作范围、动作超时时间、测试过程的界面提示、测试过程中由动作执行可获取到的数据、全局变量数据的预期值、前端界面显示项与全局变量数据的绑定关系、测试过程出现异常后的分支执行流程。
10.根据权利要求9所述的多设备通用自动化测试系统，其特征在于，该系统还包括日志模块与前端界面，所述前端界面用于根据配置文件内容，实时显示测试过程中产生的数据，并可根据配置文件中定义实时生成界面按钮，当某些测试动作中需要人工确认时，人工通过界面按钮控制必要的测试过程；所述日志模块用于在测试过程使用日志进行测试记录，测试记录包括：测试信息、配置文件加载信息、测试运行环境信息、与设备的交互通讯内容、测试动作产生的信息及输入、输出数据、测试过程逻辑流程信息以及人工操作内容。
CN202211225961.3A 2022-10-09 2022-10-09 多设备通用自动化测试方法及系统 Pending CN115580894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211225961.3A CN115580894A (zh) 2022-10-09 2022-10-09 多设备通用自动化测试方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211225961.3A CN115580894A (zh) 2022-10-09 2022-10-09 多设备通用自动化测试方法及系统

Publications (1)

Publication Number Publication Date
CN115580894A true CN115580894A (zh) 2023-01-06

Family

ID=84585242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211225961.3A Pending CN115580894A (zh) 2022-10-09 2022-10-09 多设备通用自动化测试方法及系统

Country Status (1)

Country Link
CN (1) CN115580894A (zh)

Similar Documents

Publication Publication Date Title
US7296190B2 (en) Parallel text execution on low-end emulators and devices
CN110362490B (zh) 融合iOS与Android移动应用的自动化测试方法及系统
CN107678949B (zh) 实现嵌入式设备不同通信方式的自动化测试方法
CN106126414B (zh) 应用软件测试方法和系统
CN109739769A (zh) Bootrom加载功能自动化测试方法及装置
US7469359B2 (en) Method and apparatus for testing communication software
CN112231206A (zh) 应用程序测试的脚本编辑方法、计算机可读存储介质及测试平台
CN114578790A (zh) 一种无人机飞控自动测试方法、系统、设备和介质
CN111984533B (zh) 一种软件自动化测试系统及方法
CN113821433A (zh) 云手机应用程序的测试方法、装置、设备、介质及产品
CN113127329B (zh) 脚本调试方法、装置及计算机存储介质
CN115580894A (zh) 多设备通用自动化测试方法及系统
CN113051115A (zh) 芯片ft与eqc一体化测试方法及系统
CN111856241A (zh) 一种芯片量产平台系统及其实现方法
CN115656788B (zh) 一种芯片测试系统、方法、设备及存储介质
CN113947047B (zh) 用于验证待测设计的接口连接方法及相关设备
CN115657637A (zh) 机器人电动门测试方法、设备及存储介质
US7519719B2 (en) Automatic creation of protocol dependent control path for instrument application
CN114925516A (zh) 一种自动建模并仿真的方法和装置
CN113032196A (zh) 一种芯片测试方法及装置
KR102005718B1 (ko) 상황정보 병기형 실사용 기반 모바일단말 스크립트 생성 방법
JP2002189617A (ja) 評価システム、及び評価方法
CN113449425B (zh) 一种执行机构验证方法、电子设备及存储介质
AU2023201696B2 (en) Method and device for determining coverage in HIL testing, and storage medium
CN110334015B (zh) 一种白盒测试方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination