CN107229562A - 一种测试报告自动统计分析方法及装置 - Google Patents

一种测试报告自动统计分析方法及装置 Download PDF

Info

Publication number
CN107229562A
CN107229562A CN201610176404.5A CN201610176404A CN107229562A CN 107229562 A CN107229562 A CN 107229562A CN 201610176404 A CN201610176404 A CN 201610176404A CN 107229562 A CN107229562 A CN 107229562A
Authority
CN
China
Prior art keywords
test
report
statistical analysis
test data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610176404.5A
Other languages
English (en)
Inventor
徐敏
韩焕明
李文超
苏政晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Tianjin Co Ltd
Original Assignee
Spreadtrum Communications Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Tianjin Co Ltd filed Critical Spreadtrum Communications Tianjin Co Ltd
Priority to CN201610176404.5A priority Critical patent/CN107229562A/zh
Publication of CN107229562A publication Critical patent/CN107229562A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种测试报告自动统计分析方法及装置，所述方法包括：接收来自测试终端的测试数据；将所述测试数据存储在数据库；对所述测试数据进行分析，并生成测试报告。本发明能够自动汇总测试数据，自动生成报告，自动按照业务需求进行分析，为测试人员节省了时间。

Description

一种测试报告自动统计分析方法及装置
技术领域
本发明涉及测试系统技术领域，尤其涉及一种测试报告自动统计分析方法及装置。
背景技术
对于类似手机的电子产品在出厂前必须进行一系列功能测试，以检验该手机的功能是否能正常操作。通常，所述测试主要包括手动测试及自动化测试，手动测试就是由人去一个一个的输入用例，然后观察结果。自动化测试是在计算机上运行自动化测试程序，并完成测试结果的自动获取与判断，最终得出该测试程序的测试结果。
在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：
随着测试项目的不断增多，对于测试结果的汇总、统计、分析，还是由测试人员手工完成，对于不同测项，测试数据和关注点也不一样，内容较多，特别是月报和阶段性报告，由测试人员手动汇总势必占用较多时间。此外，测试结果总数据会逐渐增大，查询和处理的时间也比较长，到一定节点需要优化其架构以支撑更多业务。
发明内容
本发明提供的一种测试报告自动统计分析方法及装置，能够自动汇总测试数据，自动生成报告，自动按照业务需求进行分析，为测试人员节省了时间。
第一方面，本发明提供一种测试报告自动统计分析方法，所述方法包括：
接收来自测试终端的测试数据；
将所述测试数据存储在数据库中；
对所述测试数据进行分析，并生成测试报告。
可选地，所述测试报告包括基准测试报告、故障模块分布报告、故障趋势报告、版本分类报告。
可选地，所述测试终端的测试数据包括自动化测试数据及手动测试数据。
可选地，所述测试报告为HTML格式或Excel格式。
第二方面，本发明提供一种测试报告自动统计分析装置，所述装置包括：
接收单元，用于接收来自测试终端的测试数据；
存储单元，用于将所述测试数据存储在数据库中；
生成单元，用于对所述测试数据进行分析，生成测试报告。
可选地，所述测试报告包括基准测试报告、故障模块分布报告、故障趋势报告、版本分类报告。
可选地，所述测试终端的测试数据包括自动化测试数据及手动测试数据。
可选地，所述测试报告为HTML格式或Excel格式。
本发明实施例提供的一种测试报告自动统计分析方法及装置，能够自动汇总测试数据，自动生成报告，自动按照业务需求对测试数据进行分析，为测试人员节省了时间。
附图说明
图1为本发明一实施例测试报告自动统计分析方法的流程图；
图2为本发明另一实施例测试报告自动统计分析方法的流程图；
图3为本发明一实施例测试报告自动统计分析装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种测试报告自动统计分析方法，如图1所示，所述方法包括：
S11、接收来自测试终端的测试数据；
S12、将所述测试数据存储在数据库中；
S13、对所述测试数据进行分析，并生成测试报告。
本发明实施例提供的一种测试报告自动统计分析方法，能够自动汇总测试数据，自动生成测试报告，为测试人员节省了时间。此外，按照不同角色的人的需求对测试数据进行统计分析以获得满足具体角色的人员的需求的测试报告。
本发明提供的一种测试报告自动统计分析方法，它以一个Web形式面向测试人员，包括了自动和手动两大测项，可灵活添加具体测项内容，自动汇总测试结果，生成详细测试报告，针对不同测项自动统计分析问题趋势，可随时查看。
可选地，所述测试报告包括基准测试报告、故障模块分布报告、故障趋势报告、版本分类报告。
可选地，所述测试终端的测试数据包括自动化测试数据及手动测试数据。
可选地，所述测试报告为HTML格式或Excel格式。
本发明提供的测试报告自动统计分析方法的具体流程图如附图2所示，
1、进入测试，不同测试分为两大类，自动测项和手动测项，自动测项下包含由自动化测试工具或框架进行测试的结果，手动测项包含了不能自动化实现和目前没有自动化测试的测项的结果。
2、将测试结果数据提交到数据库，对于自动化测项部分，系统直接对接自动切换到相应测试数据源，自动化测试工具或框架测试过程中会与服务器通信，将测试结果数据实时发送给服务器，服务器接收到测试结果数据后，自动处理、加工测试结果数据，将所述测试结果数据保存到数据库中。对于黑盒手动测试结果，可由测试人员在系统中手动填写测试结果，然后将所述测试结果数据上传至服务器，服务器将该数据插入到数据库中。
3、对数据库中的测试数据进行统计分析，生成测试报告。服务器接收并统一存储测试数据，并对该测试数据进行分析，其中分析的内容包括故障趋势图、柱状图、故障模块等。具体地，所述测试报告可以包括基准测试报告、故障模块分布报告、故障趋势报告、版本分类报告等。
其中基准测试报告主要描述单次测试中，测试用例（Case）的测试失败情况，记录该测试失败是否是真正的故障，并记录故障类型。例如，单次测试共测试100条Case，其中20条测试用例测试失败，但只有5条测试失败是真正的故障，测试人员可以直接查看这5条测试失败的具体情况和对应时间段日志文件，分析故障，并提出Bug。
故障区域分布报告主要描述缺陷在不同功能模块出现的情况，这些信息有助于开发人员分析为什么缺陷会集中出现在某个功能模块。例如，故障主要由某一固定操作触发，那么就要分析是否是后端功能设计不合理。
故障模块分布报告主要描述各类故障在不同功能模块的比例情况，例如本机程序崩溃（Native Crash）、应用程序无响应（ANR）、（调制解调器异常）Modem Assert、系统异常（Sysdump）等异常占各功能模块异常的百分比。这些信息有助于评估测试和产品的现状：如果关键功能模块的Bug比例过高，则直接暂停测试进度，应停止测试考虑让开发人员先修复严重故障。
故障趋势报告主要描述一段时间内的相同项目不同版本的故障情况。在这里不同测项报告的内容，可能包含了测试人员关注的具体功能问题、项目管理人员关注的影响项目验收的故障问题、阶段性项目质量趋势等，有效满足项目中不同角色的关注点。
例如对于Sanity(健全)测试，根据自动化框架的测试数据，可以按照不同项目生成每次测试的具体故障列表，异常列表，测试时长，版本测试数量。黑盒测试人员可以根据具体的故障和异常列表来具体排查Bug。此外可以根据不同版本自动统计分析故障问题，分析出一段时间内的故障数和异常数，来横向对比系统版本是否健全。通过测试报告还可以自动跟踪Bug状态，列出当前不同项目Block测试的严重Bug是否解决，对应的测试Owner及研发Owner是谁，根据这些报告内容来决定是否可以开展下一阶段测试。目前系统还包括了回归测试，CTS测项，APPIOT(第三方应用兼容性)测项，MLM(多国语言)测试等，都进行了故障分析，都根据测项需求展示不同类型测试报告。
4、查阅报告，测试人员可以直接在Web端查看测试报告，具体包括查看测试信息，查看测试详情，测试概述，测试条目及数据，故障情况，故障发生时间，测试图表等；还可以查看问题分析，包括系统不同版本不同时间区间的故障趋势图、柱状图、故障状态等。
5、导出报告， 由测试人员导出HTML和Excel格式报告，并自动发送报告邮件。
本发明实施例还提供一种测试报告自动统计分析装置，如图3所示，所述装置包括：接收单元31，用于接收来自测试终端的测试数据；存储单元32，用于将所述测试数据存储在数据库；生成单元33，用于对所述测试数据进行分析，生成测试报告。
本发明实施例提供的一种测试报告自动统计分析装置，能够自动汇总测试数据，自动生成测试报告，为测试人员节省了时间。此外，按照不同角色的人的需求对测试数据进行统计分析以获得满足具体角色的人员的需求的测试报告。
可选地，所述测试报告包括基准测试报告、故障模块分布报告、故障趋势报告、版本分类报告。
可选地，所述测试终端的测试数据包括自动化测试数据及手动测试数据。
可选地，所述测试报告为HTML格式或Excel格式。
本发明提供的一种测试报告自动统计分析装置的具体工作流程如附图2所述，在此不再赘述。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种测试报告自动统计分析方法，其特征在于，包括：
接收来自测试终端的测试数据；
将所述测试数据存储在数据库中；
对所述测试数据进行分析，并生成测试报告。
2.根据权利要求1所述的测试报告自动统计分析方法，其特征在于，
所述测试报告包括基准测试报告、故障模块分布报告、故障趋势报告、版本分类报告。
3.根据权利要求1所述的测试报告自动统计分析方法，其特征在于，所述测试终端的测试数据包括自动化测试数据及手动测试数据。
4.根据权利要求1-3中任一项所述的测试报告自动统计分析方法，其特征在于，所述测试报告为HTML格式或Excel格式。
5.一种测试报告自动统计分析装置，其特征在于，包括：
接收单元，用于接收来自测试终端的测试数据；
存储单元，用于将所述测试数据存储在数据库中；
生成单元，用于对所述测试数据进行分析，生成测试报告。
6.根据权利要求5所述的测试报告自动统计分析装置，其特征在于，
所述测试报告包括基准测试报告、故障模块分布报告、故障趋势报告、版本分类报告。
7.根据权利要求5所述的测试报告自动统计分析装置，其特征在于，所述测试终端的测试数据包括自动化测试数据及手动测试数据。
8.根据权利要求5-7中任一项所述的测试报告自动统计分析装置，其特征在于，所述测试报告为HTML格式或Excel格式。
CN201610176404.5A 2016-03-25 2016-03-25 一种测试报告自动统计分析方法及装置 Pending CN107229562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610176404.5A CN107229562A (zh) 2016-03-25 2016-03-25 一种测试报告自动统计分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610176404.5A CN107229562A (zh) 2016-03-25 2016-03-25 一种测试报告自动统计分析方法及装置

Publications (1)

Publication Number Publication Date
CN107229562A true CN107229562A (zh) 2017-10-03

Family

ID=59931921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610176404.5A Pending CN107229562A (zh) 2016-03-25 2016-03-25 一种测试报告自动统计分析方法及装置

Country Status (1)

Country Link
CN (1) CN107229562A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240919A (zh) * 2018-08-20 2019-01-18 郑州云海信息技术有限公司 一种测试数据量统计系统及方法
CN109857639A (zh) * 2018-12-28 2019-06-07 曙光信息产业(北京)有限公司 一种信号测试结果分析和报告生成的方法及系统
CN109902012A (zh) * 2019-02-28 2019-06-18 苏州浪潮智能科技有限公司 一种自动化生成服务器测试报告的方法及装置
CN110297755A (zh) * 2018-03-23 2019-10-01 龙芯中科技术有限公司 一种软件测试方法和装置
CN110471899A (zh) * 2018-05-11 2019-11-19 懿谷智能科技(上海)有限公司 一种实验室测试报告生成系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1466058A (zh) * 2002-06-24 2004-01-07 华为技术有限公司 通用测试报告的实现方法
US7836346B1 (en) * 2007-06-11 2010-11-16 Oracle America, Inc. Method and system for analyzing software test results
CN103530230A (zh) * 2013-10-11 2014-01-22 珠海金山网络游戏科技有限公司 报告自动生成方法及自动生成系统
CN105095165A (zh) * 2014-05-08 2015-11-25 北大方正集团有限公司 测试分析报告生成方法和测试分析报告生成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1466058A (zh) * 2002-06-24 2004-01-07 华为技术有限公司 通用测试报告的实现方法
US7836346B1 (en) * 2007-06-11 2010-11-16 Oracle America, Inc. Method and system for analyzing software test results
CN103530230A (zh) * 2013-10-11 2014-01-22 珠海金山网络游戏科技有限公司 报告自动生成方法及自动生成系统
CN105095165A (zh) * 2014-05-08 2015-11-25 北大方正集团有限公司 测试分析报告生成方法和测试分析报告生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梅文华 等: "《军工产品研制技术文件编写范例》", 31 January 2016, 国防工业出版社 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297755A (zh) * 2018-03-23 2019-10-01 龙芯中科技术有限公司 一种软件测试方法和装置
CN110297755B (zh) * 2018-03-23 2023-09-12 龙芯中科技术股份有限公司 一种软件测试方法和装置
CN110471899A (zh) * 2018-05-11 2019-11-19 懿谷智能科技(上海)有限公司 一种实验室测试报告生成系统及方法
CN109240919A (zh) * 2018-08-20 2019-01-18 郑州云海信息技术有限公司 一种测试数据量统计系统及方法
CN109240919B (zh) * 2018-08-20 2022-03-22 郑州云海信息技术有限公司 一种测试数据量统计系统及方法
CN109857639A (zh) * 2018-12-28 2019-06-07 曙光信息产业(北京)有限公司 一种信号测试结果分析和报告生成的方法及系统
CN109902012A (zh) * 2019-02-28 2019-06-18 苏州浪潮智能科技有限公司 一种自动化生成服务器测试报告的方法及装置

Similar Documents

Publication Publication Date Title
CN107229562A (zh) 一种测试报告自动统计分析方法及装置
US11062212B2 (en) Outage prevention in an electric power distribution grid using smart meter messaging
WO2019237118A1 (en) Business-aware intelligent incident and change management
CN109947746A (zh) 一种基于etl流程的数据质量管控方法和系统
CN112152823B (zh) 网站运行错误监控方法、装置及计算机存储介质
CN103631713A (zh) Erp软件自动化测试系统及方法
CN103902542A (zh) 一种测试环境中数据库的运维方法及系统
CN112036704A (zh) 电力设备故障管理系统
CN112241360A (zh) 一种测试用例生成方法、装置、设备及存储介质
CN107220178A (zh) 一种服务器诊断测试结果准实时展现的方法
CN110134053B (zh) 一种配变故障停电快速响应的监控配置方法、装置及设备
JP2010182015A (ja) 品質管理システムおよび品質管理装置および品質管理プログラム
CN111782345B (zh) 容器云平台日志收集及分析告警方法
CN110119325A (zh) 服务器故障处理方法、装置、设备及计算机可读存储介质
CN105099801A (zh) 信息管理系统的测试系统和测试环境模拟方法
CN103348557A (zh) 现场响应系统
US20040034614A1 (en) Network incident analyzer method and apparatus
CN109933533B (zh) 一种可视化数据测试方法、装置、设备及可读存储介质
EP1269388A1 (en) A knowledge system and methods of business alerting and business analysis
CN108270040B (zh) 电池模组管理方法及系统
Krishnan et al. Empirical evaluation of reliability improvement in an evolving software product line
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
KR101288535B1 (ko) 통신 시스템 모니터링 방법 및 이를 위한 장치
CN111698711A (zh) 公网无线通信通道故障智能诊断的分析方法及分析系统
CN105137776A (zh) 计量自动化终端控制辅助系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171003

RJ01 Rejection of invention patent application after publication