CN101082876A - 软件自动测评工具包 - Google Patents

软件自动测评工具包 Download PDF

Info

Publication number
CN101082876A
CN101082876A CN 200610021044 CN200610021044A CN101082876A CN 101082876 A CN101082876 A CN 101082876A CN 200610021044 CN200610021044 CN 200610021044 CN 200610021044 A CN200610021044 A CN 200610021044A CN 101082876 A CN101082876 A CN 101082876A
Authority
CN
China
Prior art keywords
testing
software
tool
test
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200610021044
Other languages
English (en)
Inventor
李志蜀
袁德森
王莉
陈震秋
金虎
孙继荣
殷锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SICHUAN HUAZHI IMFORMATION TECHNOLOGY Co Ltd
Sichuan University
Original Assignee
SICHUAN HUAZHI IMFORMATION TECHNOLOGY Co Ltd
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SICHUAN HUAZHI IMFORMATION TECHNOLOGY Co Ltd, Sichuan University filed Critical SICHUAN HUAZHI IMFORMATION TECHNOLOGY Co Ltd
Priority to CN 200610021044 priority Critical patent/CN101082876A/zh
Publication of CN101082876A publication Critical patent/CN101082876A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

软件自动测评工具包属计算机软件开发的监测系统。根据被测软件生命周期中的不同阶段采用相对独立的测评工具，包括软件测试框架实现工具、单元测试工具、集成测试的优化工具和软件可靠性评测工具。单元测试工具是指任意指定路径自动生成测试数据的白盒测试和测试用例集约简技术。集成测试的优化工具是基于组件依赖的测试优化模型。软件可靠性评测工具是采用数据仓库来收集和存储失效数据并基于基因表达式编程来构建软件可靠性预测模型，分析多模型的评测结果，给出完善的定性和定量可靠性分析报告。本发明解决了目前商用测试工具和本地软件工程需求之间的不完全匹配的矛盾，为研发和测试人员提供有力的工具，保证开发软件的高质量。

Description

软件自动测评工具包
所属技术领域
本发明涉及一种提高计算机运行质量的方法，属计算机软件开发的监测系统，具体是软件自动测评工具包。
背景技术
软件自动测评的研发是软件工程领域的一个研究难题，目前国际上只有Microsoft、IBM、MI、Segue等公司有较完善的商用产品，包括捕获/回放工具、Web测试工具、性能测试工具、测试管理工具、源码测试工具等等。这些工具一般由开发公司通过测试定制的方式为客户提供专项服务。并且这些工具主要建立在国外长期软件工程开发积累的基础上，对测试使用人员的专业知识要求较高，而且多数引进的测试工具不能兼顾本地化软件开发，不能很好地融合到国内软件工程中。
发明内容
本发明的目的是提供一种功能完善，适用国内软件开发市场的软件测评工具，它不要求测试人员必须具有高水平的专业知识。
本发明的目的是这样达到的：
一种软件自动测评工具包，其特征在于：对被测软件生命周期中的不同阶段，采用相对独立的测评工具，包括软件测试框架实现工具、单元测试工具、集成测试的优化工具和软件可靠性评测工具。所述单元测试工具是指任意指定路径自动生成测试数据的白盒测试和测试用例集约简技术。所述集成测试的优化工具，是基于组件依赖的测试优化模型。所述软件可靠性评测工具是采用数据仓库来收集和存储失效数据，并基于基因表达式编程来构建软件可靠性预测模型，分析多模型的评测结果，给出完善的定性和定量可靠性分析报告。
任意指定路径自动生成测试数据的白盒测试是利用Gupta方法建立谓词函数的线性约束系统，在求解该线性系统之前进行相容性判定分析，所述测试用例集约简技术是指采用程序切片，分析程序的I/O关系，然后利用I/O关系对黑盒测试用例集进行约简，最后证明约简后的测试用例集和原来的测试用例集具有相同的错误检测能力。
集成测试的优化工具是基于组件依赖的测试优化模型，是指该模型首先分析和描述了组件间复杂的依赖关系，然后借助组件间的依赖关系对组件进行分组，即利用组件的事件驱动传递依赖关系，构建出系统的“基本关键组件集”，赋予最高优先级；借助组件间的程序依赖关系，找出与这些基本关键组件密切相关的其它较关键组件，构建出“相关关键组件集”，赋予次高优先级；余下的组件赋予最低的测试优先级。
程序切片是分析程序的I/O关系是对所有的输出变量y  分析其静态后向切片，确定影响该输出变量的所有输入变量，得到各输出变量的I/O关系，所述利用I/O关系对黑盒测试用例集进行约简是指对I/O关系自身进行约简后进行关联性分析，划分成若干个彼此独立的相关组；接着对各相关组分别进行处理：仅对每个输出涉及到的输入变量进行组合覆盖，进而利用组内元素的关联性通过公共元素进行水平拼接；最后再把各个相关组的结果进行水平拼接。
本发明具有以下优点：
1.能从开发人员和测试人员的需求角度考虑问题，解决目前商用测试工具和本地软件工程需求之间的不完全匹配的矛盾，为研发和测试人员提供有力的工具，保证开发软件的高质量。
2.从软件工程整个流程中开发测试并行、自动生成测试用例、集成测试优化、自动收集和处理失效数据到最后依据不同的评判准则和模型给出定性和定量的评测报告，整合了当前时新的测试驱动开发理论、测试用例生成和约简规则、组件依赖以及自动桩生成原理、数据挖掘思想和模型选择依据等。软件评测工具技术含量高，更有生命力，更符合软件工程的发展。
3.软件评测工具包将显著提高系统开发效率，缩短了软件的开发周期，降低了开发成本和开发风险，对测试人员的专业要求大大降低，尤其是通过集成测试的优化，将在保证软件质量的同时极大地减轻测试人员的负担。这是目前很多自动化测试工具没有的。
4.软件评测工具的界面和语言更符合用户的要求，更能使用户产生满意感。
具体实施方式
本发明从软件工程角度，针对被测软件生命周期中不同阶段，开发出一系列相对独立的评测工具。包括软件测试框架实现工具，单元测试工具，集成测试的优化工具和软件可靠性评测工具。
在单元测试工具中，针对白盒测试过程中确定测试数据的成本较高而且费时，为任意指定路径自动生成测试数据是白盒测试的关键。利用Gupta方法建立谓词函数的线性约束系统，在求解该线性系统之前进行相容性判定分析，即当系统无解的时候分析究竟是由于线性化谓词函数带来的还是真的路径不可行。通过改进了的相容性判定分析算法，然后对相容的线性约束系统引入基因表达式进行求解。
测试用例集约简技术就是从大量的输入数据中精心挑选出少数有代表性的测试数据，使得采用这些测试数据能够达到最佳的测试效果，高效地把隐藏的故障揭露出来，是软件测试的关键。
首先，利用程序切片，分析程序的I/O关系：为了不损失任何信息，对所有的输出变量y分析其静态后向切片，确定影响该输出变量的所有输入变量，得到各输出变量的I/O关系；
然后利用I/O关系对黑盒测试用例集进行约简：对I/O关系自身进行约简后进行关联性分析，划分成若干个彼此独立的相关组；接着对各相关组分别进行处理：仅对每个输出涉及到的输入变量进行组合覆盖，进而利用组内元素的关联性通过公共元素进行水平拼接；最后再把各个相关组的结果进行水平拼接。
最后证明约简后的测试用例集和原来的测试用例集具有相同的错误检测能力。
在集成测试的优化工具中针对大型复杂软件集成测试中耗时太多、分析复杂等不足，提出了一种基于组件依赖的测试优化模型并开发出相应的优化工具。该模型首先分析和描述了组件间复杂的依赖关系，然后借助组件间的依赖关系对组件进行分组，即利用组件的事件驱动传递依赖关系，构建出系统的“基本关键组件集”，赋予最高优先级；借助组件间的程序依赖关系，找出与这些基本关键组件密切相关的其它较关键组件，构建出“相关关键组件集”，赋予次高优先级；余下的组件赋予最低的测试优先级。通过有级别地选择测试组件集，达到合理分配测试资源的目的。
软件可靠性评测工具中通过分析软件开发整个流程，采用数据仓库思想来收集和存储失效数据，并基于基因表达式编程知识来构建软件可靠性预测模型，并分析多模型的评测结果，给出完善的定性和定量可靠性分析报告。
在该工具包中，各相应独立的测评工具具有各自独立的特点：
1.集成测试的优化工具：既考虑到了组件与组件之间的复杂的执行关系，同时又考虑了组件内部程序间更小粒度的耦合关系，更精确地刻画了软件的复杂不确定性的执行行为。从测试工程上看，该方法在保证软件质量的同时，减少了测试组件数量，避免了组件的反复测试，提高了测试效率，降低了测试成本。
2.软件可靠性评测工具：采用基于基因表达式编程知识构建的软件可靠性预测模型，更能仿真被测软件动态不确定性的开发过程，多模型从不同角度来度量，也使最终的可靠性值更完善，给出的详尽的评估报告，从定性和定量角度描述软件的可靠性，能更有说服力，能为管理人员的决策提供更有力的证据。
3.单元测试工具包：能对任意路径指定路径自动生成测试数据：如果该路径不可行，能够马上得出结论；如果该路径可行，即使在指定的路径上存在非线性谓词函数，只需要一次求解线性约束系统，就能为指定路径自动生成测试数据。利用程序切片得到I/O关系进而对测试用例集约简，可以在保持错误检测能力的前提下，可以得到最优化的约简测试用例集。

Claims (4)

1、一种软件自动测评工具包，其特征在于：对被测软件生命周期中的不同阶段，采用相对独立的测评工具，包括软件测试框架实现工具、单元测试工具、集成测试的优化工具和软件可靠性评测工具，所述单元测试工具是指任意指定路径自动生成测试数据的白盒测试和测试用例集约简技术，所述集成测试的优化工具，是基于组件依赖的测试优化模型，所述软件可靠性评测工具是采用数据仓库来收集和存储失效数据，并基于基因表达式编程来构建软件可靠性预测模型，分析多模型的评测结果，给出完善的定性和定量可靠性分析报告。
2、如权利要求1所述的软件自动测评工具包，其特征在于：所述任意指定路径自动生成测试数据的白盒测试是利用Gupta方法建立谓词函数的线性约束系统，在求解该线性系统之前进行相容性判定分析，所述测试用例集约简技术是指采用程序切片，分析程序的I/O关系，然后利用I/O关系对黑盒测试用例集进行约简，最后证明约简后的测试用例集和原来的测试用例集具有相同的错误检测能力。
3、如权利要求1所述的软件自动测评工具包，其特征在于：所述集成测试的优化工具是基于组件依赖的测试优化模型，是指该模型首先分析和描述了组件间复杂的依赖关系，然后借助组件间的依赖关系对组件进行分组，即利用组件的事件驱动传递依赖关系，构建出系统的基本关键组件集，赋予最高优先级；借助组件间的程序依赖关系，找出与这些基本关键组件密切相关的其它较关键组件，构建出相关关键组件集，赋予次高优先级；余下的组件赋予最低的测试优先级。
4、如权利要求1或2所述的软件自动测评工具包，其特征在于：所述程序切片，分析程序的I/O关系是对所有的输出变量y分析其静态后向切片，确定影响该输出变量的所有输入变量，得到各输出变量的I/O关系，所述利用I/O关系对黑盒测试用例集进行约简是指对I/O关系自身进行约简后进行关联性分析，划分成若干个彼此独立的相关组；接着对各相关组分别进行处理：仅对每个输出涉及到的输入变量进行组合覆盖，进而利用组内元素的关联性通过公共元素进行水平拼接；最后再把各个相关组的结果进行水平拼接。
CN 200610021044 2006-05-30 2006-05-30 软件自动测评工具包 Pending CN101082876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200610021044 CN101082876A (zh) 2006-05-30 2006-05-30 软件自动测评工具包

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200610021044 CN101082876A (zh) 2006-05-30 2006-05-30 软件自动测评工具包

Publications (1)

Publication Number Publication Date
CN101082876A true CN101082876A (zh) 2007-12-05

Family

ID=38912459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200610021044 Pending CN101082876A (zh) 2006-05-30 2006-05-30 软件自动测评工具包

Country Status (1)

Country Link
CN (1) CN101082876A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984416A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 一种测试用例的生成方法及装置
CN102004661A (zh) * 2010-06-09 2011-04-06 电子科技大学 一种通用的数据驱动的软件和系统可靠性模型及参数优化方法
CN101499005B (zh) * 2008-01-28 2012-08-29 株式会社日立制作所 软件开发支援装置、其程序以及方法
CN102937932A (zh) * 2011-08-16 2013-02-20 中国银联股份有限公司 集成异构测试工具的自动化测试装置及方法
CN103488482A (zh) * 2013-09-16 2014-01-01 深圳市龙视传媒有限公司 一种生成测试用例的方法和装置
CN103559122A (zh) * 2013-10-14 2014-02-05 西安交通大学 基于程序行为切片的测试案例约减方法
CN106502678A (zh) * 2016-10-30 2017-03-15 合肥微匠信息科技有限公司 一种软件开发过程可靠性预检测方法
CN109344441A (zh) * 2018-09-04 2019-02-15 四川大学 一种翻立领三维数字化定制方法
CN109976994A (zh) * 2017-12-27 2019-07-05 航天信息股份有限公司 Java项目的白盒测试方法、装置、计算机设备
US10635577B2 (en) 2017-04-07 2020-04-28 International Business Machines Corporation Integration times in a continuous integration environment based on statistical modeling
CN111949532A (zh) * 2020-08-10 2020-11-17 上海熙菱信息技术有限公司 一种基于契约测试下的风险应对的测试策略
CN114546845A (zh) * 2022-02-14 2022-05-27 重庆长安汽车股份有限公司 一种功能安全软件工具链的鉴定方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499005B (zh) * 2008-01-28 2012-08-29 株式会社日立制作所 软件开发支援装置、其程序以及方法
CN102004661A (zh) * 2010-06-09 2011-04-06 电子科技大学 一种通用的数据驱动的软件和系统可靠性模型及参数优化方法
CN101984416A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 一种测试用例的生成方法及装置
CN101984416B (zh) * 2010-11-02 2014-12-10 中兴通讯股份有限公司 一种测试用例的生成方法及装置
CN102937932B (zh) * 2011-08-16 2015-08-19 中国银联股份有限公司 集成异构测试工具的自动化测试装置及方法
CN102937932A (zh) * 2011-08-16 2013-02-20 中国银联股份有限公司 集成异构测试工具的自动化测试装置及方法
CN103488482A (zh) * 2013-09-16 2014-01-01 深圳市龙视传媒有限公司 一种生成测试用例的方法和装置
CN103559122B (zh) * 2013-10-14 2016-04-27 西安交通大学 基于程序行为切片的测试案例约减方法
CN103559122A (zh) * 2013-10-14 2014-02-05 西安交通大学 基于程序行为切片的测试案例约减方法
CN106502678A (zh) * 2016-10-30 2017-03-15 合肥微匠信息科技有限公司 一种软件开发过程可靠性预检测方法
US10635577B2 (en) 2017-04-07 2020-04-28 International Business Machines Corporation Integration times in a continuous integration environment based on statistical modeling
US11080180B2 (en) 2017-04-07 2021-08-03 International Business Machines Corporation Integration times in a continuous integration environment based on statistical modeling
CN109976994A (zh) * 2017-12-27 2019-07-05 航天信息股份有限公司 Java项目的白盒测试方法、装置、计算机设备
CN109344441A (zh) * 2018-09-04 2019-02-15 四川大学 一种翻立领三维数字化定制方法
CN111949532A (zh) * 2020-08-10 2020-11-17 上海熙菱信息技术有限公司 一种基于契约测试下的风险应对的测试策略
CN114546845A (zh) * 2022-02-14 2022-05-27 重庆长安汽车股份有限公司 一种功能安全软件工具链的鉴定方法
CN114546845B (zh) * 2022-02-14 2024-05-24 重庆长安汽车股份有限公司 一种功能安全软件工具链的鉴定方法

Similar Documents

Publication Publication Date Title
CN101082876A (zh) 软件自动测评工具包
Turver et al. An early impact analysis technique for software maintenance
US10185649B2 (en) System and method for efficient creation and reconciliation of macro and micro level test plans
CN110232024B (zh) 软件自动化测试框架及测试方法
Al Dallal Object-oriented class maintainability prediction using internal quality attributes
Siegmund et al. Scalable prediction of non-functional properties in software product lines
Felderer et al. Integrating risk-based testing in industrial test processes
Planning The economic impacts of inadequate infrastructure for software testing
Mendling et al. Understanding the occurrence of errors in process models based on metrics
US20090192868A1 (en) Method and System for Analyzing Performance of a Wind Farm
CN111444106B (zh) 一种对软件可测试需求的分析方法及系统
Galinac Grbac et al. A quality cost reduction model for large-scale software development
Zaid et al. Issues in software cost estimation
Ghosh et al. Comparative study of the factors that affect maintainability
Hryszko et al. Cost effectiveness of software defect prediction in an industrial project
Braeuer et al. Measuring maintainability of OO-Software-Validating the IT-CISQ quality model
Bucci et al. Metrics and tool for system assessment
Kuipers et al. Monitoring the quality of outsourced software
Cheikhi et al. Investigation of the Relationships Between the Software Quality Models of the ISO 9126 Standard: An Empirical Study Using the Taguchi Method.
Mohacsi et al. AI-based enhancement of test models in an industrial model-based testing tool
Ginocchi et al. Sensitivity Analysis and Power Systems: Can We Bridge the Gap? A Review and a Guide to Getting Started. Energies 2021, 14, 8274
Sun et al. Evaluation and Measurement of Software Testing Process Quality Applicable to Software Testing Laboratory
CN118011990B (zh) 基于人工智能的工业数据品质监控与提升系统
Sacha Evaluation of expected software quality: A customer’s viewpoint
Schanz A taxonomy of modular grime in design patterns

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication