CN108470000B - 通讯终端软件自动测试方法、系统及介质 - Google Patents
通讯终端软件自动测试方法、系统及介质 Download PDFInfo
- Publication number
- CN108470000B CN108470000B CN201810181050.2A CN201810181050A CN108470000B CN 108470000 B CN108470000 B CN 108470000B CN 201810181050 A CN201810181050 A CN 201810181050A CN 108470000 B CN108470000 B CN 108470000B
- Authority
- CN
- China
- Prior art keywords
- test
- result
- module
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 249
- 238000004891 communication Methods 0.000 title claims abstract description 47
- 238000012795 verification Methods 0.000 claims abstract description 65
- 238000003062 neural network model Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010998 test method Methods 0.000 claims 2
- 238000013522 software testing Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开一种通讯终端软件自动测试方法，包括：训练用于软件自动测试的神经网络模型；自动测试模块获取测试文件，并根据测试文件对应的测试用例生成测试步骤；根据测试步骤对通讯终端进行测试，获取实际结果，并将测试步骤和实际结果传输给神经网络模型；神经网络模型将测试步骤作为输入，输出预期结果；判断实际结果与预期结果是否一致；若是，测试成功；若否，测试失败，神经网络模型发送预期结果至自动测试模块，自动测试模块对测试失败可能原因进行细化验证，生成细化验证结果。本发明通过自动测试模块模拟对通讯终端软件的操作,并对通讯终端软件运行状态进行监控，结合神经网络模型的预测结果进行分析比较，实现通讯终端软件的自动测试。
Description
技术领域
本发明涉及通讯软件测试技术领域，具体涉及一种通讯终端软件自动测试方法、系统及介质。
背景技术
通讯终端，如今已经成为人们日常生活中不可或缺的交流工具。随着通讯终端设备的迅速发展，其对应的软件版本迭代日益频繁。随之而来的是大量的软件测试需求。
目前，在通讯终端软件测试领域中，多采用人工测试的方式进行软件版本的验证。通过人工对需要测试的通讯终端进行环境配置、测试、测试结果分析等，以检查软件版本功能是否可实现，是否存在BUG。这种测试方式需要极大的人工成本、效率低下，并且需要测试人员具备良好的问题分析能力才可实现。
发明内容
本发明的目的在于提供一通讯终端自动测试方法、系统及介质，能够实现通讯终端软件的自动测试，降低软件测试所需人工成本。
为了解决上述技术问题，本发明采用的技术方案为：
一种通讯终端软件自动测试方法，包括：
训练用于软件自动测试的神经网络模型；
自动测试模块获取测试文件，并根据所述测试文件生成测试步骤；
自动测试模块根据所述测试步骤对通讯终端进行测试，获取实际测试结果，并将所述测试步骤和实际测试结果传输给所述神经网络模型；
所述神经网络模型将所述测试步骤作为输入值，输出预期测试结果；
所述神经网络模型判断所述实际测试结果与所述预期测试结果是否一致；
若是，则判断测试成功；
若否，则判断测试失败，神经网络模型发送所述预期测试结果至自动测试模块，所述自动测试模块对所述测试失败可能原因进行细化验证，生成细化验证结果。
进一步地，所述训练用于软件自动测试的神经网络模型，具体为：
从测试样本集中选取训练样本集，根据所述训练样本集中包括的样本训练得到神经网络模型；
所述样本包括测试步骤和测试结果，
根据所述神经网络模型将所述测试步骤作为输入，输出预期结果；
判断所述预期结果与所述测试结果是否一致，
根据与测试结果不一致的预期结果以及对应的测试步骤反馈并更新神经网络模型。
进一步地，该方法还包括：建立用于存储所述细化验证结果和与其对应的测试步骤的细化验证数据库。
进一步地，所述自动测试模块对所述测试失败可能原因进行细化验证，生成细化验证结果，之后，还包括：
所述自动测试模块将所述细化验证结果传输给神经网络模型，所述神经网络模型判断所述细化验证结果与所述预期结果是否一致；
若是，则确定所述神经网络模型预测成功，建立所述测试步骤与所述细化验证结果关联，并存储至所述细化验证数据库；
若否，则确定所述神经网络模型预测失败，建立所述测试步骤对应的所述预期结果与所述细化验证结果关联并存储，通知人工进行失败原因分析，并根据分析结果更新所述神经网络模型。
进一步地，所述根据所述测试文件生成测试步骤，之后，还包括：
所述自动测试模块判断所述测试步骤在所述细化验证数据库中是否已存储有对应的细化验证结果；
若是，则所述自动测试模块进行细化验证；
若所述细化验证失败，则测试结束，
若所述细化验证成功，则继续所述自动测试模块根据所述测试步骤对通讯终端进行测试的步骤；
若否，则继续所述自动测试模块根据所述测试步骤对通讯终端进行测试的步骤。
进一步地，所述自动测试模块获取测试文件，具体为：
监控模块实时监控测试文件发布服务器的文件系统；
当所述监控模块检测到所述文件系统新增或变更测试文件时，下载所述测试文件至本地；
发送所述测试文件对应的本地路径至自动测试模块。
相应地，本发明还公开一种通讯终端软件自动测试系统，包括：自动测试模块、神经网络模块、浏览器驱动模块和系统驱动模块；所述自动测试模块分别与所述浏览器驱动模块、所述系统驱动模块和所述神经网络模块电连接，所述自动测试模块用于根据接收到的测试文件生成对应的测试步骤，并在所述系统驱动模块根据所述测试步骤进行测试后获取实际测试结果，以及在神经网络模型根据所述测试步骤生成的预期结果与所述实际测试结果不一致时，对所述测试步骤进行细化验证，生成细化验证结果；所述神经网络模块用于根据训练样本集生成神经网络模型，并根据测试结果对神经网络模型进行更新；所述浏览器驱动模块用于驱动网页浏览器。
进一步地，本系统还包括：监控模块和通知模块；所述监控模块和所述自动测试模块电连接，用于监控版本发布服务器的文件变化情况；所述通知模块和所述神经网络模块电连接，用于获取实际测试结果，并将所述实际测试结果实时存储及相应地通知。
相应地，本发明还公开一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至7任一项所述一种通讯终端软件自动测试方法的步骤。
本发明的有益效果在于：通过训练用于自动测试的神经网络模型，并根据软件自动测试的实际测试结果与神经网络模型生成的预期结果进行比对分析，在实际测试结果与预期结果不一致时通过自动模块进行细化验证。可以实现通讯终端软件的自动测试，从而降低通讯终端软件测试所需人工成本。
附图说明
图1为本发明公开的一种通讯终端软件测试方法的流程示意图；
图2为本发明实施例的流程示意图；
图3为本发明公开的一种通讯终端软件测试系统的结构示意图。
具体实施方式
下面参照附图对本发明的示例性实施方式进行详细描述。对示例性实施方式的描述仅仅是出于示范的目的，而绝不是对本发明及其应用或用法的限制。
本发明最关键的构思在于：通过自动测试模块模拟对通讯终端进行操作，对通讯终端软件运行过程进行监控，并对结果进行分析，结合神经网络模型的测试结果预测，实现通讯终端软件的自动测试。
实施例
请参照图1和图2，本实施例提供一种通讯终端软件测试方法的具体实施场景，包括：
通过日常工作的积累形成测试样本集，该测试样本集包含测试用例对应的测试步骤和测试结果。根据该测试样本集以神经网络模型可识别的文件格式形成训练样本集，根据训练样本集中的样本训练得到神经网络模型的基准模型。优选地，在神经网络模型的训练过程中，根据基准模型将测试样本中的测试步骤作为输入，输出预期结果；判断预期结果与测试样本中的测试结果是否一致。根据与测试结果不一致的预期结果以及对应的测试步骤对基准模型进行更新、调整。将输出的预期结果与测试结果的一致率达到阈值的基准模型作为用于软件自动测试的神经网络模型。
建立用于存储自动测试模块生成的细化验证结果和与其对应的测试步骤的细化验证数据库。其中，细化验证为测试步骤的细化测试。例如，自动测试模块在通过tftp进行软件升级时，首先输入tftp地址，然后对软件进行升级，属于功能性的验证。而细化验证则是细化的测试，如判断tftp服务器是否可达、文件是否下载成功、设备是否进行版本烧写等，通过细化验证判断软件测试失败的具体出错步骤。
然后，监控模块实时监控测试文件发布服务器的文件系统，当监控模块检测到该文件系统新增或变更测试文件时，将更新的测试文件下载到本地，并将该测试文件对应的本地路径发送至自动测试模块，触发自动测试模块进行自动测试。
自动测试模块获取到测试文件对应的本地路径后，自动测试模块遍历通讯终端所支持的测试文件。其中，测试文件包含通讯终端自动测试所需软件升级文件以及该升级文件对应的测试方式和测试步骤。自动测试模块根据测试文件确定测试步骤，并根据测试步骤查找细化验证数据库。判断该测试步骤是否已经存储有对应的细化验证结果。若是，则自动测试模块进行细化验证。若该次细化验证的实际验证结果与已存储细化验证结果不一致，则判断细化验证失败，测试结束。监控模块继续监控版本发布服务器，等待下一次版本测试。若该次细化验证的实际验证结果与已存储细化验证结果一致，则判断细化验证成功，自动测试模块开始对通讯终端进行软件自动测试；若自动测试模块根据测试步骤没有查找到对应的细化验证结果，则直接开始对通讯终端进行软件自动测试。
通讯终端完成软件测试后，输出软件测试结果至自动测试模块。自动测试模块获取到实际测试结果后，将测试步骤和实际测试结果传输给神经网络模型。神经网络模型将该测试步骤作为输入值，输出预期结果。并判断实际测试结果与该预期结果是否一致。若是，则判断测试成功，通讯终端软件自动测试结束；若否，则判断测试失败，神经网络模型发送预期测试结果至自动测试模块，自动测试模块对测试失败可能进行细化验证，并生成细化验证结果。然后，自动测试模块将细化验证结果发送至神经网络模型。
神经网络模型在获取到细化验证结果后，判断该细化验证结果与预期结果是否一致；若是，则判断测试成功，建立测试步骤与该细化验证结果关联，并存储至细化验证数据库；若否，则建立测试步骤对应的预期测试结果与细化验证结果关联并存储。同时，通知人工对该项软件自动测试神经网络模型预测失败的原因进行分析，并根据分析结果对神经网络模型进行更新调整。
本发明的一种通讯终端软件自动测试方法与现有技术相比，可实现通讯终端软件功能的自动化测试，降低了通讯终端软件功能测试所需的人工成本。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种通讯终端软件自动测试方法，包括：
训练用于软件自动测试的神经网络模型；
自动测试模块获取测试文件，并根据所述测试文件生成测试步骤；
自动测试模块根据所述测试步骤对通讯终端进行测试，获取实际测试结果，并将所述测试步骤和实际测试结果传输给所述神经网络模型；
所述神经网络模型将所述测试步骤作为输入值，输出预期测试结果；
所述神经网络模型判断所述实际测试结果与所述预期测试结果是否一致；
若是，则判断测试成功；
若否，则判断测试失败，神经网络模型发送所述预期测试结果至自动测试模块，所述自动测试模块对所述测试失败可能原因进行细化验证，生成细化验证结果；
所述训练用于软件自动测试的神经网络模型，具体为：从测试样本集中选取训练样本集，根据所述训练样本集中包括的样本训练得到神经网络模型；所述样本包括测试步骤和测试结果，根据所述神经网络模型将所述测试步骤作为输入，输出预期结果；判断所述预期结果与所述测试结果是否一致，根据与测试结果不一致的预期结果以及对应的测试步骤反馈并更新神经网络模型；
所述自动测试模块获取测试文件，具体为：监控模块实时监控测试文件发布服务器的文件系统；当所述监控模块检测到所述文件系统测试文件有新增或改变时，下载所述测试文件至本地；发送所述测试文件对应的本地路径至自动测试模块；
还包括：建立用于存储所述细化验证结果和与其对应的测试步骤的细化验证数据库；
所述自动测试模块对所述测试失败可能原因进行细化验证，生成细化验证结果，之后，还包括：
所述自动测试模块将所述细化验证结果传输给神经网络模型，所述神经网络模型判断所述细化验证结果与所述预期结果是否一致；
若是，则确定所述神经网络模型预测成功，建立所述测试步骤与所述细化验证结果关联，并存储至所述细化验证数据库；
若否，则确定所述神经网络模型预测失败，建立所述测试步骤对应的所述预期结果与所述细化验证结果关联并存储，通知人工进行失败原因分析，并根据分析结果更新所述神经网络模型。
2.如权利要求1所述的一种通讯终端软件自动测试方法，其特征在于，根据所述测试文件生成测试步骤，之后，还包括：
所述自动测试模块判断所述测试步骤在所述细化验证数据库中是否已存储有对应的细化验证结果；
若是，则所述自动测试模块进行细化验证；
若所述细化验证失败，则测试结束，
若所述细化验证成功，则继续所述自动测试模块根据所述测试步骤对通讯终端进行测试的步骤；
若否，则继续所述自动测试模块根据所述测试步骤对通讯终端进行测试的步骤。
3.如权利要求1所述的一种通讯终端软件自动测试方法的通讯终端软件自动测试系统，其特征在于，包括：自动测试模块、神经网络模块、浏览器驱动模块和系统驱动模块；所述自动测试模块分别与所述浏览器驱动模块、所述系统驱动模块和所述神经网络模块电连接，所述自动测试模块用于根据接收到的测试文件生成对应的测试步骤，并在所述系统驱动模块根据所述测试步骤进行测试后获取实际测试结果，以及在神经网络模型根据所述测试步骤生成的预期结果与所述实际测试结果不一致时，对所述测试步骤进行细化验证，生成细化验证结果；所述神经网络模块用于根据训练样本集生成神经网络模型，并根据测试结果对神经网络模型进行更新；所述浏览器驱动模块用于驱动网页浏览器。
4.如权利要求3所述的一种通讯终端软件自动测试方法的通讯终端软件自动测试系统，其特征在于，还包括：监控模块和通知模块；所述监控模块和所述自动测试模块电连接，用于监控版本发布服务器的文件变化情况；所述通知模块和所述神经网络模块电连接，用于获取实际测试结果，并将所述实际测试结果实时存储及相应地通知。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至2任一项所述一种通讯终端软件自动测试方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810181050.2A CN108470000B (zh) | 2018-03-06 | 2018-03-06 | 通讯终端软件自动测试方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810181050.2A CN108470000B (zh) | 2018-03-06 | 2018-03-06 | 通讯终端软件自动测试方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108470000A CN108470000A (zh) | 2018-08-31 |
| CN108470000B true CN108470000B (zh) | 2024-05-03 |
Family
ID=63264169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810181050.2A Active CN108470000B (zh) | 2018-03-06 | 2018-03-06 | 通讯终端软件自动测试方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108470000B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636786B (zh) * | 2018-12-11 | 2022-11-22 | 嘉楠明芯(北京)科技有限公司 | 一种图像识别模块的验证方法和装置 |
| CN111026664B (zh) * | 2019-12-09 | 2020-12-22 | 遵义职业技术学院 | 基于ann的程序检测方法和检测系统及应用 |
| CN111143220B (zh) * | 2019-12-27 | 2024-02-27 | 中国银行股份有限公司 | 一种软件测试的训练系统及方法 |
| CN111178512B (zh) * | 2019-12-31 | 2023-04-18 | 中科南京人工智能创新研究院 | 器件运行神经网络的测试方法及装置 |
| CN112395205B (zh) * | 2020-12-03 | 2024-04-26 | 中国兵器工业信息中心 | 一种软件测试系统及方法 |
| CN115543773A (zh) * | 2022-08-17 | 2022-12-30 | 睿智合创(北京)科技有限公司 | 一种测试结果自动比对方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6587995B1 (en) * | 2000-04-19 | 2003-07-01 | Koninklijke Philips Electronics N.V. | Enhanced programmable core model with integrated graphical debugging functionality |
| CN101556550A (zh) * | 2009-05-22 | 2009-10-14 | 北京星网锐捷网络技术有限公司 | 一种自动化测试日志分析方法和装置 |
| CN105843743A (zh) * | 2016-04-11 | 2016-08-10 | 南京邮电大学 | 一种特殊自动化测试用例实际输出结果正确性的验证方法 |
| CN106502895A (zh) * | 2016-10-21 | 2017-03-15 | 郑州云海信息技术有限公司 | 一种自动化测试信息生成装置及方法 |
| CN107273286A (zh) * | 2017-06-02 | 2017-10-20 | 携程计算机技术（上海）有限公司 | 针对任务应用的场景自动化测试平台及方法 |
-
2018
- 2018-03-06 CN CN201810181050.2A patent/CN108470000B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6587995B1 (en) * | 2000-04-19 | 2003-07-01 | Koninklijke Philips Electronics N.V. | Enhanced programmable core model with integrated graphical debugging functionality |
| CN101556550A (zh) * | 2009-05-22 | 2009-10-14 | 北京星网锐捷网络技术有限公司 | 一种自动化测试日志分析方法和装置 |
| CN105843743A (zh) * | 2016-04-11 | 2016-08-10 | 南京邮电大学 | 一种特殊自动化测试用例实际输出结果正确性的验证方法 |
| CN106502895A (zh) * | 2016-10-21 | 2017-03-15 | 郑州云海信息技术有限公司 | 一种自动化测试信息生成装置及方法 |
| CN107273286A (zh) * | 2017-06-02 | 2017-10-20 | 携程计算机技术（上海）有限公司 | 针对任务应用的场景自动化测试平台及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108470000A (zh) | 2018-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108470000B (zh) | 通讯终端软件自动测试方法、系统及介质 | |
| CN109302522B (zh) | 测试方法、装置以及计算机系统和介质 | |
| CN107688530B (zh) | 软件测试方法及装置 | |
| CN111459794A (zh) | 通信网络测试方法、装置、计算机设备和存储介质 | |
| CN106598835B (zh) | 一种应用的测试方法及装置、系统 | |
| CN109740222B (zh) | 一种针对汽车网联化场景的测试装置和系统 | |
| CN111045944A (zh) | 回归测试方法、装置、系统及计算机可读存储介质 | |
| CN111913886A (zh) | 手机app自动化测试方法、装置、设备及存储介质 | |
| CN103973858B (zh) | 移动终端的自动测试系统 | |
| CN111026645A (zh) | 用户界面自动化测试方法、装置、存储介质及电子设备 | |
| CN111786855B (zh) | 一种网卡的压力测试方法、装置、电子设备及存储介质 | |
| CN110908702B (zh) | 一种版本切换方法、版本切换装置、计算机设备及存储介质 | |
| CN103678130A (zh) | 自动化性能测试方法及测试平台 | |
| CN110031746B (zh) | 芯片测试远程监控方法、装置、计算机设备和存储介质 | |
| CN112241360A (zh) | 一种测试用例生成方法、装置、设备及存储介质 | |
| CN108306787B (zh) | 一种应用监测方法及相关设备 | |
| WO2019114209A1 (zh) | 自动化测试分析方法、系统、应用服务器及计算机可读存储介质 | |
| CN112540924A (zh) | 接口自动化测试方法、装置、设备及存储介质 | |
| CN112286825A (zh) | 智能座舱的屏幕测试方法、装置及电子设备 | |
| CN112835808A (zh) | 接口测试方法、装置、计算机设备及存储介质 | |
| CN111338951A (zh) | 无线智能家电检测方法及系统 | |
| CN111399862A (zh) | Windows缺失驱动的批量安装方法、装置和计算机设备 | |
| CN108540344B (zh) | 一种路由器升级测试方法及系统 | |
| CN112770108B (zh) | 性能的测试方法、装置、系统及计算机可读存储介质 | |
| CN113505059A (zh) | 页面监控方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |