CN103279831B - 用于评价软件测试质量和开发能力的管理系统实现方法 - Google Patents

Abstract

用于评价软件测试质量和开发能力的管理系统实现方法，涉及软件测试管理领域。本发明由数据采集系统、算法管理系统、预算管理系统、报告管理系统组成。通过对软件测试计划和测试数据的采集，使用特定的算法，对软件测试环节的质量和预算进行评估。本发明将数据采集环节、算法配置环节、预算配置环节、报告生成环节相互独立，可以针对不同的软件测试项目配置不同的算法和预算管理，可以与现有技术的所有测试工具配合使用，针对软件工业化生产企业和领域提供持续改善应用软件开发和测试质量的工具，具有安全可靠，快速推广，维护简便的特点。

Description

用于评价软件测试质量和开发能力的管理系统实现方法

技术领域

本发明涉及软件测试管理领域，尤其是第三方测试和验收测试中通过用于评价软件测试质量和开发能力的管理系统实现方法可以有效的持续改善软件的开发能力和软件测试质量，使得软件生命周期中的开发环节和测试环节不断得到优化。

背景技术

现有技术中，在软件生命周期的管理方面以IBM公司的Rational系列产品和惠普公司的QualityCenter为代表，其中Rational系列产品包括需求分析产品、设计和构建产品、软件质量保证产品、软件配置管理产品、过程和项目管理产品，IBM公司的产品系列适用于软件开发的团队管理软件从需求分析开始，经过设计构建，白盒测试，软件配置，直到按照项目形成产品的过程；其中惠普公司的QualityCenter产品是一个基于Web的测试管理工具，可以组织和管理应用程序测试流程的所有阶段，包括指定测试需求、计划测试、执行测试和跟踪缺陷。

涉及软件测试领域的国内技术和专利有CN200610021044.8软件自动评测工具包，其主要功能是根据被测软件生命周期中的不同阶段采用相对独立的测评工具，包括软件测试框架实现工具、单元测试工具、集成测试的优化工具和软件可靠性评测工具。

随着软件产业逐步成熟化和规模化，软件开发的模式和软件需求模式都发生了重大变化，以单纯的工具形式和工具包的形式能够管理针对某一特定客户特质开发的专用软件，但是针对电信，金融等规模大，软件质量要求高，软件功能升级快速的企业和大型的软件开发企业，以及需要使用第三方软件测试的企业，工具包的形式和国外诸如IBM公司和惠普公司的产品系列都存在无法评价软件测试质量和开发能力的不足，无法达到持续改善软件开发队伍工作和软件测试队伍工作的目的，无法对软件测试项目在评价的基础上达成以天为单位的预算管理。

本发明针对软件产业的规模化发展和工业化进程，为适应电信、金融等为代表需要不断设计更新应用软件的企业能够持续改善应用软件开发和测试质量所提出；为适应第三方软件测试企业能够持续改善软件测试质量水平并根据软件测试数据对软件开发提出建设性建议所提出；为了在软件测试环节能够有效控制预算所提出。

发明内容

针对上述现有技术中存在的问题，本发明的目的是提供用于评价软件测试质量和开发能力的管理系统实现方法，该方法由测试计划适配器、需求采集器、测试用例采集器、用例执行数据采集器、成品缺陷采集器组成数据采集系统；由算法基本元素定义器、算法公式生成器、算法表生成器组成算法管理系统；由测试预算采集器、测试预算分配器、预算阀值定义器、告警生成器组成预算管理系统；由报表内容定义器、个人工作质量评估器、项目组工作质量评估器组成报告管理系统。其中数据采集系统规定了完成算法、预算管理、数据展示所需要采集的数据类型和数据接口；算法管理系统包含系统内置的算法表和用户自定义算法表，可设置针对不同项目或不同项目组使用不同的算法表；预算管理系统将测试预算中的可见成本和不可预见的浮动成本分解到天，以每天实际发生的费用进行比较，可以设定偏离幅度的值，达到偏离值系统发送相应的警示信息；报告管理系统负责以报表的形式以排序的方法展示算法表的计算结果，包括开发质量评估表、需求编写质量评估表、需求分解质量评估表、用例编写质量评估表、测试执行质量评估表、开发项目组质量评估表、测试项目组质量评估表。用于评价软件测试质量和开发能力的管理系统实现方法，用以满足软件工业化生产过程中对软件测试队伍的工作质量进行评价，并且通过对测试数据的归纳和计算可以快速定位应用软件的问题点，快速定位问题点责任，使得软件开发过程和软件测试过程得到持续改善，同时通过对测试项目预算以天为单位的跟踪管理，可以使得测试项目顺利完成得到更好的保障。本发明具有安全可靠，快速推广，维护简便，运营费用低廉，普遍适用的特点，可以和目前现有技术的所有测试工具及测试管理工具配合使用。

为了实现上述的发明目的，本发明的技术方案以如下方式实现：

用于评价软件测试质量和开发能力的管理系统实现方法由数据采集系统、算法管理系统、预算管理系统、报告管理系统组成；数据采集系统由测试计划适配器、需求采集器、测试用例采集器、用例执行数据采集器、成品缺陷采集器组成；算法管理系统由算法基本元素定义器、算法公式生成器、算法表生成器组成；预算管理系统由测试预算采集器、测试预算分配器、预算阀值定义器、告警生成器组成；报告管理系统由报表内容定义器、个人工作质量评估器、项目组工作质量评估器组成，其主要步骤为：

1)数据采集

①由数据采集系统的测试计划适配器，采集测试计划并将测试计划分解成项目名称、项目预算、需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理并存储到本地数据库，采集的方法包括从第三方测试工具导入和人工录入，其中项目预算包含人力成本、设备成本、环境成本、浮动预算成本、项目工期。

②由数据采集系统的需求采集器，采集软件开发文档中的需求书并存储到本地数据库，并将需求书与需求编写负责人对应，采集的方法包括从第三方测试工具导入和人工录入。

③由数据采集系统的需求采集器，采集分解的需求并存储到本地数据库，并将分解的需求与需求分解负责人对应，采集的方法包括从第三方测试工具导入和人工录入，根据项目规模差异需求分解负责人可以是多个不同的自然人，用需求分解负责人1到需求分解负责人M表示，根据项目的复杂度差异，同一个需求分解负责人对应多个分解的需求，用分解的需求1到分解的需求N表示。

④由数据采集系统的测试用例采集器，采集测试用例并存储到本地数据库，并将测试用例与测试用例编写人对应，由于一个分解的需求只能对应一个测试用例编写人，因此测试用例采集器直接将测试用例通过测试用例编写人与分解的需求相对应，采集的方法包括从第三方测试工具导入和人工录入，一个分解的需求对应一个测试用例编写人对应多个测试用例，用测试用例1到测试用例K表示。

⑤由数据采集系统的用例执行数据采集器，采集用例执行数据并存储到本地数据库，并将用例执行数据分解成用例执行次数、用例通过次数、缺陷报告、缺陷等级，采集的方法包括从第三方测试工具导入和人工录入，测试执行人对应测试用例，测试用例对应用例执行次数、用例通过次数、缺陷报告、缺陷等级，并将缺陷报告与测试执行人对应，测试执行人与测试用例逐一对应，测试执行人1到测试执行人K根据测试计划分工可以是多个不同的自然人也可以是同一个自然人。

⑥由数据采集系统的成品缺陷采集器，采集成品缺陷并存储到本地数据库，并将成品缺陷分解成成品缺陷报告和成品缺陷等级，采集的方法包括从第三方测试工具导入和人工录入，成品缺陷的概念是软件已经部署到生产环境后发现的软件缺陷。

2)算法管理

①由算法管理系统的算法基本元素定义器，定义完成开发质量评估、需求编写质量评估、需求分解质量评估、用例编写质量评估、测试执行质量评估所需要的基本计算元素，算法基本元素定义器默认的算法基本元素定义如下所示：

用于测试执行质量评估所需要的算法基本元素包括成品缺陷报告、测试用例、成品缺陷等级、缺陷报告、用例要求执行次数、用例执行次数、用例通过次数，其中用例要求执行次数由测试项目经理在算法基本元素定义器进行手工输入，作为对测试执行工作的统一要求，算法基本元素定义器根据缺陷报告统计每个测试执行人的缺陷报告次数；

用于用例编写质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、分解的需求、测试用例，算法基本元素定义器根据测试用例统计每个测试用例编写人编写的测试用例数；

用于需求分解质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、测试用例、分解的需求、需求书，算法基本元素定义器根据分解的需求统计每个需求分解负责人编写的分解的需求数；

用于需求编写质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、测试用例、分解的需求、需求书，算法基本元素定义器根据需求书自动统计需求书功能点数，需求书作为开发和测试应用软件的基本文档，编写规范中明确要求以独立章节说明每一个功能点，因此计算机程序可以很容易统计出需求书功能点数；

用于开发质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、缺陷报告、缺陷等级、需求书，算法基本元素定义器根据缺陷报告统计相同缺陷报告次数。

②由算法管理系统的算法公式生成器，定义完成开发质量评估、需求编写质量评估、需求分解质量评估、用例编写质量评估、测试执行质量评估所需要的算法公式，算法公式生成器默认的算法公式如下所示：

用于测试执行质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；.

ii.计算个体测试执行人的测试执行工作量采用如下公式1：

iii.当Q等于0时，计算个体测试执行人的测试执行质量评估值采用如下所示公式2，测试执行质量评估值是测试执行人违规和出错的次数，数值越大说明测试执行质量越差：

iii.当Q等于1时，计算个体测试执行人的测试执行质量评估值采用如下所示公式3，测试执行质量评估值是测试执行人违规和出错的次数，数值越大说明测试执行质量越差：

。

用于用例编写质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；

ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0；

iii.计算个体测试用例编写人的工作量采用如下所示公式4：

iv.当Q等于1时，计算个体测试用例编写人的用例编写质量评估值采用如下所示公式5，用例编写质量评估值是用例编写人违规和出错的次数，数值越大说明测试用例编写人编写测试用例的用例编写质量越差，公式5中当n等于0时用例编写质量评估值初值设定为0：

v.当Q等于0时，R等于0时，计算个体测试用例编写人的用例编写质量评估值采用上述公式5；

vi．当Q等于0时，R等于1时，计算个体测试用例编写人的用例编写质量评估值采用如下所示公式6：

。

用于需求分解质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；

ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0；

iii.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；

iv.计算个体需求分解负责人的工作量采用如下公式7：

iv.当Q等于1时，计算个体需求分解负责人的需求分解质量评估值采用如下公式8，需求分解质量评估值是需求分解负责人违规和出错的次数，数值越大说明需求分解负责人编写“分解的需求”的需求分解质量越差，公式8中当n等于0时需求分解质量评估值初值设定为0：

v.当Q等于0，R等于1时，计算个体需求分解负责人的需求分解质量评估值采用上述公式8；

vi.当Q等于0，R等于0，S等于0时，计算个体需求分解负责人的需求分解质量评估值采用上述公式8；

vii当Q等于0，R等于0，S等于1时，计算个体需求分解负责人的需求分解质量评估值采用如下公式9：

。

用于需求编写质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；

ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0；

iii.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；

iv.计算个体需求编写负责人的工作量采用如下公式10：

v.当Q等于1时，计算个体需求编写负责人的需求编写质量评估值采用如下公式11，需求编写质量评估值是需求编写负责人违规和出错的次数，数值越大说明需求编写负责人编写需求书的需求编写质量越差，公式11中当n等于0时需求编写质量评估值初值设定为0：

vi.当Q等于0，R等于1时，计算个体需求编写负责人的需求编写质量评估值采用上述公式11；

vii.当Q等于0，R等于0，S等于1时，计算个体需求编写负责人的需求编写质量评估值采用上述公式11；

viii.当Q等于0，R等于0，S等于0时，计算个体需求编写负责人的需求编写质量评估值采用如下公式12：

。

用于开发质量评估所需要的算法公式步骤为：

i.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；

ii.当S等于0时，计算软件开发商开发质量评估值采用如下公式13，开发质量评估值是软件开发商开发软件所产生的缺陷和缺陷等级的总计值，数值越大表示软件开发商的软件开发能力越差：

iii.当S等于1时，计算软件开发商开发质量评估值采用如下公式14：

。

③由算法管理系统的算法表生成器读取数据采集系统中测试计划适配器存储的项目名称及项目名称对应的需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理；由算法表生成器读取算法公式生成器中的公式，包括公式1到公式14，生成算法表生成器默认公式集，测试项目经理有权限在算法表生成器默认公式集的基础上进行变更生成用户自定义公式集；测试项目经理有权限在算法表生成器为自己管理的测试项目指定相应的公式集，公式集包含用来计算测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值的整套公式，算法表生成器最终完成项目名称、需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理与算法表生成器默认公式集的对应关系，从而生成算法表。

3)预算管理

①由预算管理系统的测试预算采集器，读取数据采集系统的测试计划适配器所存储的项目预算，，其中项目预算包含人力成本、设备成本、环境成本、浮动预算成本、项目工期。

②由预算管理系统的测试预算分配器将项目预算分配到天，分配项目预算的公式采用如下公式15，分配到天的项目预算定名为每天计划内测试预算：

。

③由预算管理系统的预算阀值定义器完成预算阀值的定义，方法是由测试项目经理输入每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值允许的范围，预算阀值包括黄色告警预算阀值和红色告警预算阀值，预算阀值定义器默认的黄色告警预算阀值为30%，预算阀值定义器默认的红色告警预算阀值为50%，预算阀值定义器计算每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值采用如下公式16：

。

④由预算管理系统的告警生成器读取每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值，当偏离值达到黄色告警预算阀值，告警生成器将项目在系统内做黄色告警标记，并通过外接邮件服务器和短信网关向测试项目经理发送成本超出预算30%的黄色告警信件和短信；当偏离值达到红色告警预算阀值，告警生成器将项目在系统内做红色告警标记，并通过外接邮件服务器和短信网关向测试项目经理发送成本超出预算50%的红色告警信件和短信。

4)报告管理

①由报告管理系统的报表内容定义器定义不同系统使用者根据不同角色所能够查询的报表内容，角色分为需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理；能够选择的报表内容包括测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值；报表内容定义器默认的角色和可查询的报表对应关系为，需求编写负责人可以查看需求编写工作量、需求编写质量评估值，需求分解负责人可以查看需求分解工作量、需求分解质量评估值，测试用例编写人可以查看用例编写工作量、用例编写质量评估值，测试执行人可以查看测试执行工作量、测试执行质量评估值，测试项目经理可以查看测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值。

②由报告管理系统的个人工作质量评估器对每个测试执行人的测试执行质量评估值进行排序，由报告管理系统的个人工作质量评估器对每个测试用例编写人的用例编写质量评估值进行排序，由报告管理系统的个人工作质量评估器对每个需求分解负责人的需求分解质量评估值进行排序，由报告管理系统的个人工作质量评估器对每个需求编写负责人的需求编写质量评估值进行排序；排序的目的是督促整个测试团队不断改进工作质量，方便管理者对工作水平最差的人员给予及时的培训或者调整工作岗位，方便管理者对工作水平最好的人员给予奖励。

③由报告管理系统的项目组工作质量评估器对每个项目组所有的测试执行人的测试执行质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组所有的测试用例编写人的用例编写质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组所有的需求分解负责人的需求分解质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组所有的需求编写负责人的需求编写质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组对应的开发商的开发质量评估值进行排序；排序的目的是督促测试项目组之间的评比，方便管理者对工作质量好的项目组给予奖励，对工作质量差的项目组进行调整。

④由报告管理系统的项目组工作质量评估器对每个项目组每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值进行排序，方便管理者对测试预算管理好的项目组给予奖励，对测试预算管理差的项目组给予培训或者调整。

上述的用于评价软件测试质量和开发能力的管理系统实现方法的结构特征在于由数据采集系统、算法管理系统、预算管理系统、报告管理系统组成，独立的算法管理系统方便系统的使用者进行算法的变更和调整，生成用户自定义的算法和用户自定义的算法表，并且生成用户自定义的算法和算法表的过程并不影响用于评价软件测试质量和开发能力的管理系统实现方法本身的运行状态，由测试项目经理在算法管理系统的算法表生成器，将算法表对应到项目名称后，算法表生效，对应到项目名称的算法表可以是算法表生成器默认的算法表也可以是用户自定义算法表；独立的报告管理系统方便系统的使用者根据不同的系统用户角色定义不同的报表，报表的定义过程不影响用于评价软件测试质量和开发能力的管理系统实现方法本身的运行状态。

上述的用于评价软件测试质量和开发能力的管理系统实现方法的结构特征在于由数据采集系统、算法管理系统、预算管理系统、报告管理系统组成；数据采集系统由测试计划适配器、需求采集器、测试用例采集器、用例执行数据采集器、成品缺陷采集器组成，主要完成测试计划数据的采集，需求书和分解的需求的采集，测试用例的采集，缺陷报告的采集，缺陷等级的采集，用例执行次数的采集，用例通过次数的采集，成品缺陷报告采集，成品缺陷等级的采集；算法管理系统由算法基本元素定义器、算法公式生成器、算法表生成器组成，主要完成算法基本元素的定义、算法公式的确定、算法表的确定，用于评价软件测试质量和开发能力的管理系统实现方法的测试项目经理用户可以在算法表生成器制定用户自定义算法表，可以将算法表与项目名称做对应关系配置；预算管理系统由测试预算采集器、测试预算分配器、预算阀值定义器、告警生成器组成，主要完成测试预算数据的采集，测试预算分解到每天计划内测试预算的工作，同时计算每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值并监控该偏离值是否超出预算阀值的设定值，当达到告警条件的情况下，触发邮件服务器和短信网关向测试项目经理发送告警信息和告警邮件；报告管理系统由报表内容定义器、个人工作质量评估器、项目组工作质量评估器组成，主要完成报表内容的定义，个人工作质量评估值的排序，项目组工作质量评估值的排序。

本发明由于采用了上述的用于评价软件测试质量和开发能力的管理系统实现方法，通过测试相关数据的收集，可以对开发质量，需求编写质量，需求分解质量，用例编写质量，测试执行质量进行评估，可以对测试项目预算进行管理。本发明用以满足软件工业化生产过程中对软件测试队伍的工作质量进行评价，并且通过对测试数据的归纳和计算可以快速定位应用软件的问题点，快速定位问题点责任，使得软件开发过程和软件测试过程得到持续改善，同时通过对测试项目预算以天为单位的跟踪管理，可以使得测试项目顺利完成得到更好的保障。

下面结合附图和具体实施方式对本发明作进一步说明。

附图说明

图1为本发明的原理结构图；

图2为本发明的测试计划采集图；

图3为本发明的需求采集图；

图4为本发明的测试用例采集图；

图5为本发明的用例执行数据采集图；

图6为本发明的成品缺陷采集图；

图7为本发明的测试执行质量和用例编写质量的算法基本元素定义图；

图8为本发明的需求分解质量和需求编写质量的算法基本元素定义图；

图9为本发明的开发质量算法基本元素定义图；

图10为本发明的测试执行质量评估流程图；

图11为本发明的用例编写质量评估流程图；

图12为本发明的需求分解质量评估流程图；

图13为本发明的需求编写质量评估流程图；

图14为本发明的开发质量评估流程图；

图15为本发明的算法表生成图。

具体实施方式

参看图1至图15，用于评价软件测试质量和开发能力的管理系统实现方法由数据采集系统A、算法管理系统B、预算管理系统C、报告管理系统组成D；数据采集系统A由测试计划适配器1、需求采集器2、测试用例采集器3、用例执行数据采集器4、成品缺陷采集器组成5；算法管理系统B由算法基本元素定义器6、算法公式生成器7、算法表生成器8组成；预算管理系统C由测试预算采集器12、测试预算分配器13、预算阀值定义器14、告警生成器组成15；报告管理系统D由报表内容定义器9、个人工作质量评估器10、项目组工作质量评估器11组成，其主要步骤为：

1)数据采集

①参看图2，由数据采集系统A的测试计划适配器1，采集测试计划并将测试计划分解成项目名称18、项目预算19、需求编写负责人20、需求分解负责人21、测试用例编写人22、测试执行人23、测试项目经理24并存储到本地数据库16，采集的方法包括从第三方测试工具导入和人工录入，其中项目预算包含人力成本25、设备成本26、环境成本27、浮动预算成本28、项目工期29。

②参看图3，由数据采集系统A的需求采集器2，采集软件开发文档中的需求书30并存储到本地数据库16，并将需求书30与需求编写负责人20对应，采集的方法包括从第三方测试工具导入和人工录入。

③参看图3，由数据采集系统A的需求采集器2，采集分解的需求31并存储到本地数据库16，并将分解的需求31与需求分解负责人21对应，采集的方法包括从第三方测试工具导入和人工录入，根据项目规模差异需求分解负责人21可以是多个不同的自然人，用需求分解负责人1到需求分解负责人M表示，根据项目的复杂度差异，同一个需求分解负责人21对应多个分解的需求31，用分解的需求1到分解的需求N表示。

④参看图4，由数据采集系统A的测试用例采集器3，采集测试用例32并存储到本地数据库16，并将测试用例32与测试用例编写人22对应，由于一个分解的需求31只能对应一个测试用例编写人22，因此测试用例采集器3直接将测试用例22通过测试用例编写人22与分解的需求31相对应，采集的方法包括从第三方测试工具导入和人工录入，一个分解的需求31对应一个测试用例编写人22对应多个测试用例32，用测试用例1到测试用例K表示。

⑤参看图5，由数据采集系统A的用例执行数据采集器4，采集用例执行数据33并存储到本地数据库16，并将用例执行数据33分解成用例执行次数34、用例通过次数35、缺陷报告36、缺陷等级37，采集的方法包括从第三方测试工具导入和人工录入，测试执行人23对应测试用例32，测试用例32对应用例执行次数34、用例通过次数35、缺陷报告36、缺陷等级37，并将缺陷报告36与测试执行人23对应，测试执行人23与测试用例32逐一对应，测试执行人1到测试执行人K根据测试计划分工可以是多个不同的自然人也可以是同一个自然人。

⑥参看图6，由数据采集系统A的成品缺陷采集器5，采集成品缺陷38并存储到本地数据库，并将成品缺陷38分解成成品缺陷报告39和成品缺陷等级40，采集的方法包括从第三方测试工具导入和人工录入，成品缺陷38的概念是软件已经部署到生产环境后发现的软件缺陷。

2)算法管理

①参看图7至图9，由算法管理系统B的算法基本元素定义器6，定义完成开发质量评估、需求编写质量评估、需求分解质量评估、用例编写质量评估、测试执行质量评估所需要的基本计算元素，算法基本元素定义器默认的算法基本元素定义如下所示：

用于测试执行质量评估所需要的算法基本元素包括成品缺陷报告39、测试用例32、成品缺陷等级40、缺陷报告36、用例要求执行次数48、用例执行次数、用例通过次数，其中用例要求执行次数48由测试项目经理在算法基本元素定义器进行手工输入，作为对测试执行工作的统一要求，算法基本元素定义器6根据缺陷报告统计每个测试执行人的缺陷报告次数41；

用于用例编写质量评估所需要的算法基本元素包括成品缺陷报告39、成品缺陷等级40、分解的需求31、测试用例32，算法基本元素定义器6根据测试用例32统计每个测试用例编写人22编写的测试用例数42；

用于需求分解质量评估所需要的算法基本元素包括成品缺陷报告39、成品缺陷等级40、测试用例32、分解的需求31、需求书30，算法基本元素定义器6根据分解的需求31统计每个需求分解负责人21编写的分解的需求数43；

用于需求编写质量评估所需要的算法基本元素包括成品缺陷报告39、成品缺陷等级40、测试用例32、分解的需求31、需求书30，算法基本元素定义器根据需求书30自动统计需求书功能点数44，需求书作为开发和测试应用软件的基本文档，编写规范中明确要求以独立章节说明每一个功能点，因此计算机程序可以很容易统计出需求书功能点数44；

用于开发质量评估所需要的算法基本元素包括成品缺陷报告39、成品缺陷等级40、缺陷报告36、缺陷等级37、需求书30，算法基本元素定义器根据缺陷报告36统计相同缺陷报告次数45。

②参看图10至图14由算法管理系统B的算法公式生成器7，定义完成开发质量评估、需求编写质量评估、需求分解质量评估、用例编写质量评估、测试执行质量评估所需要的算法公式，算法公式生成器默认的算法公式如下所示：

参看图10，用于测试执行质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；.

ii.计算个体测试执行人的测试执行工作量采用如下公式1：

iii.当Q等于0时，计算个体测试执行人的测试执行质量评估值采用如下所示公式2，测试执行质量评估值是测试执行人违规和出错的次数，数值越大说明测试执行质量越差：

iii.当Q等于1时，计算个体测试执行人的测试执行质量评估值采用如下所示公式3，测试执行质量评估值是测试执行人违规和出错的次数，数值越大说明测试执行质量越差：

。

参看图11，用于用例编写质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；

ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0；

iii.计算个体测试用例编写人的工作量采用如下所示公式4：

iv.当Q等于1时，计算个体测试用例编写人的用例编写质量评估值采用如下所示公式5，用例编写质量评估值是用例编写人违规和出错的次数，数值越大说明测试用例编写人编写测试用例的用例编写质量越差，公式5中当n等于0时用例编写质量评估值初值设定为0：

v.当Q等于0时，R等于0时，计算个体测试用例编写人的用例编写质量评估值采用上述公式5；

vi．当Q等于0时，R等于1时，计算个体测试用例编写人的用例编写质量评估值采用如下所示公式6：

。

参看图12，用于需求分解质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；

ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0；

iii.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；

iv.计算个体需求分解负责人的工作量采用如下公式7：

iv.当Q等于1时，计算个体需求分解负责人的需求分解质量评估值采用如下公式8，需求分解质量评估值是需求分解负责人违规和出错的次数，数值越大说明需求分解负责人编写“分解的需求”的需求分解质量越差，公式8中当n等于0时需求分解质量评估值初值设定为0：

v.当Q等于0，R等于1时，计算个体需求分解负责人的需求分解质量评估值采用上述公式8；

vi.当Q等于0，R等于0，S等于0时，计算个体需求分解负责人的需求分解质量评估值采用上述公式8；

vii当Q等于0，R等于0，S等于1时，计算个体需求分解负责人的需求分解质量评估值采用如下公式9：

。

参看图13，用于需求编写质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；

ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0；

iii.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；

iv.计算个体需求编写负责人的工作量采用如下公式10：

v.当Q等于1时，计算个体需求编写负责人的需求编写质量评估值采用如下公式11，需求编写质量评估值是需求编写负责人违规和出错的次数，数值越大说明需求编写负责人编写需求书的需求编写质量越差，公式11中当n等于0时需求编写质量评估值初值设定为0：

vi.当Q等于0，R等于1时，计算个体需求编写负责人的需求编写质量评估值采用上述公式11；

vii.当Q等于0，R等于0，S等于1时，计算个体需求编写负责人的需求编写质量评估值采用上述公式11；

viii.当Q等于0，R等于0，S等于0时，计算个体需求编写负责人的需求编写质量评估值采用如下公式12：

。

参看图14，用于开发质量评估所需要的算法公式步骤为：

i.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；

ii.当S等于0时，计算软件开发商开发质量评估值采用如下公式13，开发质量评估值是软件开发商开发软件所产生的缺陷和缺陷等级的总计值，数值越大表示软件开发商的软件开发能力越差：

iii.当S等于1时，计算软件开发商开发质量评估值采用如下公式14：

。

③参看图1和图15，由算法管理系统B的算法表生成器8读取数据采集系统A中测试计划适配器1存储的项目名称18及项目名称18对应的需求编写负责人20、需求分解负责人21、测试用例编写人22、测试执行人23、测试项目经理24；由算法表生成器8读取算法公式生成器7中的公式，包括公式1到公式14，生成算法表生成器8默认公式集46，测试项目经理24有权限在算法表生成器8默认公式集46的基础上进行变更生成用户自定义公式集；测试项目经理24有权限在算法表生成器8为自己管理的测试项目指定相应的公式集，公式集包含用来计算测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值的整套公式；算法表生成器8最终完成项目名称18、需求编写负责人20、需求分解负责人21、测试用例编写人22、测试执行人23、测试项目经理24与算法表生成器8默认公式集46的对应关系，从而生成算法表47。

3)预算管理

①参看图1和图2由预算管理系统C的测试预算采集器12，读取数据采集系统A的测试计划适配器1所存储的项目预算19，其中项目预算19包含人力成本25、设备成本26、环境成本27、浮动预算成本28、项目工期29。

②由预算管理系统C的测试预算分配器13将项目预算分配到天，分配项目预算的公式采用如下公式15，分配到天的项目预算定名为每天计划内测试预算：

。

③由预算管理系统C的预算阀值定义器14完成预算阀值的定义，方法是由测试项目经理24输入每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值允许的范围，预算阀值包括黄色告警预算阀值和红色告警预算阀值，预算阀值定义器默认的黄色告警预算阀值为30%，预算阀值定义器默认的红色告警预算阀值为50%，预算阀值定义器计算每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值采用如下公式16：

。

④由预算管理系统C的告警生成器15读取每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值，当偏离值达到黄色告警预算阀值，告警生成器15将项目在系统内做黄色告警标记，并通过外接邮件服务器和短信网关向测试项目经理24发送成本超出预算30%的黄色告警信件和短信；当偏离值达到红色告警预算阀值，告警生成器15将项目在系统内做红色告警标记，并通过外接邮件服务器和短信网关向测试项目经理发送成本超出预算50%的红色告警信件和短信。

4)报告管理

①参看图1，由报告管理系统D的报表内容定义器9定义不同系统使用者根据不同角色所能够查询的报表内容，角色分为需求编写负责人20、需求分解负责人21、测试用例编写人22、测试执行人23、测试项目经理24；能够选择的报表内容包括测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值；报表内容定义器9默认的角色和可查询的报表对应关系为，需求编写负责人20可以查看需求编写工作量、需求编写质量评估值，需求分解负责人21可以查看需求分解工作量、需求分解质量评估值，测试用例编写人22可以查看用例编写工作量、用例编写质量评估值，测试执行人23可以查看测试执行工作量、测试执行质量评估值，测试项目经理24可以查看测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值。

②参看图1由报告管理系统D的个人工作质量评估器10对每个测试执行人23的测试执行质量评估值进行排序，由报告管理系统的个人工作质量评估器10对每个测试用例编写人22的用例编写质量评估值进行排序，由报告管理系统的个人工作质量评估器10对每个需求分解负责人21的需求分解质量评估值进行排序，由报告管理系统的个人工作质量评估器10对每个需求编写负责人20的需求编写质量评估值进行排序；排序的目的是督促整个测试团队不断改进工作质量，方便管理者对工作水平最差的人员给予及时的培训或者调整工作岗位，方便管理者对工作水平最好的人员给予奖励。

③由报告管理系统D的项目组工作质量评估器11对每个项目组所有的测试执行人23的测试执行质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统D的项目组工作质量评估器11对每个项目组所有的测试用例编写人22的用例编写质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统D的项目组工作质量评估器11对每个项目组所有的需求分解负责人21的需求分解质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统D的项目组工作质量评估器11对每个项目组所有的需求编写负责人20的需求编写质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统D的项目组工作质量评估器11对每个项目组对应的开发商的开发质量评估值进行排序；排序的目的是督促测试项目组之间的评比，方便管理者对工作质量好的项目组给予奖励，对工作质量差的项目组进行调整。

④由报告管理系统D的项目组工作质量评估器11对每个项目组每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值进行排序，方便管理者对测试预算管理好的项目组给予奖励，对测试预算管理差的项目组给予培训或者调整。

Claims (1)

1.用于评价软件测试质量和开发能力的管理系统实现方法，其特征在于该管理系统由数据采集系统、算法管理系统、预算管理系统、报告管理系统组成；数据采集系统由测试计划适配器、需求采集器、测试用例采集器、用例执行数据采集器、成品缺陷采集器组成；算法管理系统由算法基本元素定义器、算法公式生成器、算法表生成器组成；预算管理系统由测试预算采集器、测试预算分配器、预算阀值定义器、告警生成器组成；报告管理系统由报表内容定义器、个人工作质量评估器、项目组工作质量评估器组成，其主要步骤为：

1)数据采集

①由数据采集系统的测试计划适配器，采集测试计划并将测试计划分解成项目名称、项目预算、需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理并存储到本地数据库，采集的方法包括从第三方测试工具导入和人工录入，其中项目预算包含人力成本、设备成本、环境成本、浮动预算成本、项目工期；

②由数据采集系统的需求采集器，采集软件开发文档中的需求书并存储到本地数据库，并将需求书与需求编写负责人对应，采集的方法包括从第三方测试工具导入和人工录入；

③由数据采集系统的需求采集器，采集分解的需求并存储到本地数据库，并将分解的需求与需求分解负责人对应，采集的方法包括从第三方测试工具导入和人工录入，根据项目规模差异当需求分解负责人是多个不同的自然人时，用需求分解负责人1到需求分解负责人M表示，根据项目的复杂度差异，同一个需求分解负责人对应多个分解的需求，用分解的需求1到分解的需求N表示；

④由数据采集系统的测试用例采集器，采集测试用例并存储到本地数据库，并将测试用例与测试用例编写人对应，由于一个分解的需求只能对应一个测试用例编写人，因此测试用例采集器直接将测试用例通过测试用例编写人与分解的需求相对应，采集的方法包括从第三方测试工具导入和人工录入，一个分解的需求对应一个测试用例编写人对应多个测试用例，用测试用例1到测试用例K表示；

⑤由数据采集系统的用例执行数据采集器，采集用例执行数据并存储到本地数据库，并将用例执行数据分解成用例执行次数、用例通过次数、缺陷报告、缺陷等级，采集的方法包括从第三方测试工具导入和人工录入，用例执行人对应测试用例，测试用例对应用例执行次数、用例通过次数、缺陷报告、缺陷等级，并将缺陷报告与测试执行人对应，用例执行人与测试用例逐一对应，用例执行人1到用例执行人K根据测试计划分工可以是多个不同的自然人也可以是同一个自然人；

⑥由数据采集系统的成品缺陷采集器，采集成品缺陷并存储到本地数据库，并将成品缺陷分解成成品缺陷报告和成品缺陷等级，采集的方法包括从第三方测试工具导入和人工录入，成品缺陷的概念是软件已经部署到生产环境后发现的软件缺陷；

2)算法管理

①由算法管理系统的算法基本元素定义器，定义完成开发质量评估、需求编写质量评估、需求分解质量评估、用例编写质量评估、测试执行质量评估所需要的基本计算元素，算法基本元素定义器默认的算法基本元素定义如下所示：

用于测试执行质量评估所需要的算法基本元素包括成品缺陷报告、测试用例、成品缺陷等级、缺陷报告、用例要求执行次数、用例执行次数、用例通过次数，其中用例要求执行次数由测试项目经理在算法基本元素定义器进行手工输入，作为对测试执行工作的统一要求，算法基本元素定义器根据缺陷报告统计每个测试执行人的缺陷报告次数；

用于用例编写质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、分解的需求、测试用例，算法基本元素定义器根据测试用例统计每个测试用例编写人编写的测试用例数；

用于需求分解质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、测试用例、分解的需求、需求书，算法基本元素定义器根据分解的需求统计每个需求分解负责人编写的分解的需求数；

用于需求编写质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、测试用例、分解的需求、需求书，算法基本元素定义器根据需求书自动统计需求书功能点数量，需求书作为开发和测试应用软件的基本文档，编写规范中明确要求以独立章节说明每一个功能点，因此计算机程序可以很容易统计出需求书功能点数量；

用于开发质量评估所需要的算法基本元素包括成品缺陷报告、成品缺陷等级、缺陷报告、缺陷等级、需求书，算法基本元素定义器根据缺陷报告统计相同缺陷报告次数；

②由算法管理系统的算法公式生成器，定义完成开发质量评估、需求编写质量评估、需求分解质量评估、用例编写质量评估、测试执行质量评估所需要的算法公式，算法公式生成器默认的算法公式如下所示：

用于测试执行质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；

ii.计算个体测试执行人的测试执行工作量采用如下公式1：

iii.当Q等于0时，计算个体测试执行人的测试执行质量评估值采用如下所示公式2，测试执行质量评估值是测试执行人违规和出错的次数，数值越大说明测试执行质量越差：

iii.当Q等于1时，计算个体测试执行人的测试执行质量评估值采用如下所示公式3，测试执行质量评估值是测试执行人违规和出错的次数，数值越大说明测试执行质量越差：

用于用例编写质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；

ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0；

iii.计算个体测试用例编写人的工作量采用如下所示公式4：

iv.当Q等于1时，计算个体测试用例编写人的用例编写质量评估值采用如下所示公式5，用例编写质量评估值是用例编写人违规和出错的次数，数值越大说明测试用例编写人编写测试用例的用例编写质量越差，公式5中当n等于0时用例编写质量评估值初值设定为0：

v.当Q等于0时，R等于0时，计算个体测试用例编写人的用例编写质量评估值采用上述公式5；

vi．当Q等于0时，R等于1时，计算个体测试用例编写人的用例编写质量评估值采用如下所示公式6：

用于需求分解质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；

ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0；

iii.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；

iv.计算个体需求分解负责人的工作量采用如下公式7：

iv.当Q等于1时，计算个体需求分解负责人的需求分解质量评估值采用如下公式8，需求分解质量评估值是需求分解负责人违规和出错的次数，数值越大说明需求分解负责人编写“分解的需求”的需求分解质量越差，公式8中当n等于0时需求分解质量评估值初值设定为0：

v.当Q等于0，R等于1时，计算个体需求分解负责人的需求分解质量评估值采用上述公式8；

vi.当Q等于0，R等于0，S等于0时，计算个体需求分解负责人的需求分解质量评估值采用上述公式8；

vii当Q等于0，R等于0，S等于1时，计算个体需求分解负责人的需求分解质量评估值采用如下公式9：

用于需求编写质量评估所需要的算法公式步骤为：

i.定义包含系数Q，成品缺陷报告与测试用例进行关键字比较，当成品缺陷报告中的关键字包含在测试用例中则Q等于1，当成品缺陷报告中的关键字不包含在测试用例中则Q等于0；

ii.定义包含系数R，成品缺陷报告与分解的需求进行关键字比较，当成品缺陷报告中的关键字包含在分解的需求中则R等于1，当成品缺陷报告中的关键字不包含在分解的需求中则R等于0；

iii.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；

iv.计算个体需求编写负责人的工作量采用如下公式10：

v.当Q等于1时，计算个体需求编写负责人的需求编写质量评估值采用如下公式11，需求编写质量评估值是需求编写负责人违规和出错的次数，数值越大说明需求编写负责人编写需求书的需求编写质量越差，公式11中当n等于0时需求编写质量评估值初值设定为0：

vi.当Q等于0，R等于1时，计算个体需求编写负责人的需求编写质量评估值采用上述公式11；

vii.当Q等于0，R等于0，S等于1时，计算个体需求编写负责人的需求编写质量评估值采用上述公式11；

viii.当Q等于0，R等于0，S等于0时，计算个体需求编写负责人的需求编写质量评估值采用如下公式12：

用于开发质量评估所需要的算法公式步骤为：

i.定义包含系数S，成品缺陷报告与需求书进行关键字比较，当成品缺陷报告中的关键字包含在需求书中则S等于1，当成品缺陷报告中的关键字不包含在需求书中则S等于0；

ii.当S等于0时，计算软件开发商开发质量评估值采用如下公式13，开发质量评估值是软件开发商开发软件所产生的缺陷和缺陷等级的总计值，数值越大表示软件开发商的软件开发能力越差：

iii.当S等于1时，计算软件开发商开发质量评估值采用如下公式14：

③由算法管理系统的算法表生成器读取数据采集系统中测试计划适配器存储的项目名称及项目名称对应的需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理；由算法表生成器读取算法公式生成器中的公式，包括公式1到公式14，生成算法表生成器默认公式集，测试项目经理有权限在算法表生成器默认公式集的基础上进行变更生成用户自定义公式集；测试项目经理有权限在算法表生成器为自己管理的测试项目指定相应的公式集，公式集包含用来计算测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值的整套公式，算法表生成器最终完成项目名称、需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理与算法表生成器默认公式集的对应关系，从而生成算法表；

3)预算管理

①由预算管理系统的测试预算采集器，读取数据采集系统的测试计划适配器所存储的项目预算，其中项目预算包含人力成本、设备成本、环境成本、浮动预算成本、项目工期；

②由预算管理系统的测试预算分配器将项目预算分配到天，分配项目预算的公式采用如下公式15，分配到天的项目预算定名为每天计划内测试预算：

③由预算管理系统的预算阀值定义器完成预算阀值的定义，方法是由测试项目经理输入每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值允许的范围，预算阀值包括黄色告警预算阀值和红色告警预算阀值，预算阀值定义器默认的黄色告警预算阀值为30%，预算阀值定义器默认的红色告警预算阀值为50%，预算阀值定义器计算每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值采用如下公式16：

④由预算管理系统的告警生成器读取每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值，当偏离值达到黄色告警预算阀值，告警生成器将项目在系统内做黄色告警标记，并通过外接邮件服务器和短信网关向测试项目经理发送成本超出预算30%的黄色告警信件和短信；当偏离值达到红色告警预算阀值，告警生成器将项目在系统内做红色告警标记，并通过外接邮件服务器和短信网关向测试项目经理发送成本超出预算50%的红色告警信件和短信；

4)报告管理

①由报告管理系统的报表内容定义器定义不同系统使用者根据不同角色所能够查询的报表内容，角色分为需求编写负责人、需求分解负责人、测试用例编写人、测试执行人、测试项目经理；能够选择的报表内容包括测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值；报表内容定义器默认的角色和可查询的报表对应关系为，需求编写负责人可以查看需求编写工作量、需求编写质量评估值，需求分解负责人可以查看需求分解工作量、需求分解质量评估值，测试用例编写人可以查看用例编写工作量、用例编写质量评估值，测试执行人可以查看测试执行工作量、测试执行质量评估值，测试项目经理可以查看测试执行工作量、测试执行质量评估值、用例编写工作量、用例编写质量评估值、需求分解工作量、需求分解质量评估值、需求编写工作量、需求编写质量评估值、开发质量评估值；

②由报告管理系统的个人工作质量评估器对每个测试执行人的测试执行质量评估值进行排序，由报告管理系统的个人工作质量评估器对每个测试用例编写人的用例编写质量评估值进行排序，由报告管理系统的个人工作质量评估器对每个需求分解负责人的需求分解质量评估值进行排序，由报告管理系统的个人工作质量评估器对每个需求编写负责人的需求编写质量评估值进行排序；排序的目的是督促整个测试团队不断改进工作质量，方便管理者对工作水平最差的人员给予及时的培训或者调整工作岗位，方便管理者对工作水平最好的人员给予奖励；

③由报告管理系统的项目组工作质量评估器对每个项目组所有的测试执行人的测试执行质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组所有的测试用例编写人的用例编写质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组所有的需求分解负责人的需求分解质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组所有的需求编写负责人的需求编写质量评估值进行加权平均，并将结果以项目组进行排序；由报告管理系统的项目组工作质量评估器对每个项目组对应的开发商的开发质量评估值进行排序；排序的目的是督促测试项目组之间的评比，方便管理者对工作质量好的项目组给予奖励，对工作质量差的项目组进行调整；

④由报告管理系统的项目组工作质量评估器对每个项目组每天实际发生的测试成本与每天计划内测试预算比较产生的偏离值进行排序，方便管理者对测试预算管理好的项目组给予奖励，对测试预算管理差的项目组给予培训或者调整。