CN110069409A - 一种软件质量评估方法及系统 - Google Patents
一种软件质量评估方法及系统 Download PDFInfo
- Publication number
- CN110069409A CN110069409A CN201910296884.2A CN201910296884A CN110069409A CN 110069409 A CN110069409 A CN 110069409A CN 201910296884 A CN201910296884 A CN 201910296884A CN 110069409 A CN110069409 A CN 110069409A
- Authority
- CN
- China
- Prior art keywords
- parameter
- defect
- software
- released
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例提供了一种软件质量评估方法及系统,该方法应用于自动化测试平台,包括:利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数;通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数;根据所获得的第一类参数、第二类参数与预先设定的标准值进行比较得到评估结果。应用本发明实施例提供的软件质量评估方法能够对待发布软件的质量进行评估。
Description
技术领域
本发明涉及计算机应用技术领域,特别涉及一种软件质量评估方法及系统。
背景技术
运营商为了满足用户的各种需求,通常会根据用户的需求来开发软件,并将开发好的软件进行发布,比如,运营商为了满足用户的聊天需求,则会开发能够实现聊天需求的软件并进行发布,相应的,用户则可以安装运营商发布的相应软件来实现自身的需求。
实际应用中,运营商初次开发的软件会存在各种缺陷,此时,如果直接将开发的软件进行发布,由于软件自身存在的缺陷则会影响用户的使用效果,用户体验差,因而,则需要对开发的软件的质量进行评估,在软件的质量不满足发布标准时对软件进行完善,在软件的质量满足发布标准之后才进行发布,以此来保证用户体验。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种软件质量评估方法及系统。所述技术方案如下:
第一方面,提供了一种软件质量评估方法,应用于自动化测试平台,所述方法包括:
利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数;
通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数;
将所述第一类参数、所述第二类参数与预先设定的标准值进行比较,得到评估结果。
可选的,所述利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数的步骤,包括:
利用测试用例对待发布软件进行测试,确定成功通过测试的测试用例的个数;
根据成功通过测试的测试用例的个数和用于进行测试的测试用例的个数计算测试通过率;
根据用于进行测试的测试用例的个数和所述自动化测试平台存储的测试用例的个数计算测试覆盖率;
将计算得到的测试通过率和测试覆盖率作为所述第一类参数。
可选的,在所述将计算得到的测试通过率和测试覆盖率作为所述第一类参数的步骤之前,还包括:
逐行扫描用于实现所述待发布软件功能的代码,确定每一行代码是否存在缺陷;
根据所确定的缺陷得到千行代码缺陷数;
相应的,所述将计算得到的测试通过率和测试覆盖率作为所述第一类参数的步骤,包括:
将计算得到的测试通过率、测试覆盖率以及所得到的千行代码缺陷数作为所述第一类参数。
可选的,通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数的步骤,包括:
通过通信接口向所述需求管理工具发送数据获取指令;
接收所述需求管理工具基于所述数据获取指令发送的需求缺陷数和重开缺陷数;
根据所述需求缺陷数和所述重开缺陷数计算需求缺陷比和重开缺陷比,并将计算得到的需求缺陷比和重开缺陷比作为所述第二类参数。
可选的,所述接收所述需求管理工具基于所述数据获取指令发送的需求缺陷数和重开缺陷数步骤之后,还包括:
接收所述需求管理工具基于所述数据获取指令发送的遗漏缺陷数;
相应的,所述根据所述需求缺陷数和所述重开缺陷数计算需求缺陷比和重开缺陷比,并将计算得到的需求缺陷比和重开缺陷比作为所述第二类参数的步骤,包括:
根据所述需求缺陷数、所述重开缺陷数以及所述遗漏缺陷数计算需求缺陷比、重开缺陷比以及遗漏缺陷比,并将计算得到的需求缺陷比、重开缺陷比以及遗漏缺陷比作为所述第二类参数。
可选的,其特征在于,所述将所述第一类参数、所述第二类参数与预先设定的标准值进行比较,得到评估结果的步骤,包括:
针对所述第一类参数和第二类参数中包含的每一参数,以时间为横坐标、该参数为纵坐标,绘制该参数对应的曲线,并以该参数对应的标准值为纵坐标,绘制该参数对应的标准线;
根据每一参数对应的曲线与标准线之间的位置关系,得到评估结果。
可选的,所述将所述第一类参数、所述第二类参数与预先设定的标准值进行比较,得到评估结果的步骤,包括:
获取预先为所述第一类参数和第二类参数中每一参数分配的权值和贡献度,其中,每一参数的权值表示该参数在所述第一类参数和第二类参数包括的各个参数中的重要程度,每一参数的贡献度表示该参数在评估所述待发布软件质量时的重要程度;
对所获取的权值和贡献度进行加权计算得到所述待发布软件的质量得分;
将所述质量得分与预先设定的标准值进行比较得到评估结果。
可选的,在所述将所述第一类参数、所述第二类参数与预先设定的标准值进行比较,得到评估结果的步骤之后,还包括:
在所述评估结果表征所述待发布软件不满足发布条件时,输出所述待发布软件不满足发布条件的提示信息。
第二方面,提供了一种软件质量评估系统,所述系统包括:自动化测试平台和需求管理工具,其中,
所述自动化测试平台包括:
测试模块,用于利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数;
通信模块,用于通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数;
比较模块,用于根据所获得的第一类参数、第二类参数与预先设定的标准值进行比较得到评估结果。
可选的,所述测试模块,具体用于:
利用测试用例对待发布软件进行测试,确定成功通过测试的测试用例的个数;
根据成功通过测试的测试用例的个数和用于进行测试的测试用例的个数计算测试通过率;
根据用于进行测试的测试用例的个数和所述自动化测试平台存储的测试用例的个数计算测试覆盖率;
将计算得到的测试通过率和测试覆盖率作为所述第一类参数。
可选的,所述测试模块,还用于:
逐行扫描用于实现所述待发布软件功能的代码,确定每一行代码是否存在缺陷;
根据所确定的缺陷得到千行代码缺陷数;
将计算得到的测试通过率、测试覆盖率以及所得到的千行代码缺陷数作为所述第一类参数。
可选的,所述通信模块,具体用于:
通过通信接口向所述需求管理工具发送数据获取指令;
接收所述需求管理工具基于所述数据获取指令发送的需求缺陷数和重开缺陷数;
根据所述需求缺陷数和所述重开缺陷数计算需求缺陷比和重开缺陷比,并将计算得到的需求缺陷比和重开缺陷比作为所述第二类参数。
可选的,所述通信模块,还用于:
接收所述需求管理工具基于所述数据获取指令发送的遗漏缺陷数;
根据所述需求缺陷数、所述重开缺陷数以及遗漏缺陷数计算需求缺陷比、重开缺陷比以及遗漏缺陷比,并将计算得到的需求缺陷比、重开缺陷比以及遗漏缺陷比作为所述第二类参数。
可选的,所述比较模块,具体用于:
针对所述第一类参数和第二类参数中包含的每一参数,以时间为横坐标、该参数为纵坐标,绘制该参数对应的曲线,并以该参数对应的标准值为纵坐标,绘制该参数对应的标准线;
根据每一参数对应的曲线与标准线之间的位置关系,得到评估结果。
可选的,所述比较模块,还用于:
获取预先为所述第一类参数和第二类参数中每一参数分配的权值和贡献度,其中,每一参数的权值表示:该参数在所述第一类参数和第二类参数包括的各个参数中的重要程度,每一参数的贡献度表示:该参数在评估所述待发布软件质量时的重要程度;
对所获取的权值和贡献度进行加权计算得到所述待发布软件的质量得分;
将所述质量得分与预先设定的标准值进行比较得到评估结果。
可选的,所述自动化测试平台还包括:
输出模块,用于在所述评估结果表征所述待发布软件不满足发布条件时,输出所述待发布软件不满足发布条件的提示信息。
本发明实施例提供的软件质量评估方法及系统,能够利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数,并通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数,最后利用所获得的参数对待发布软件的质量进行评估。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种软件质量评估的场景示意图;
图2为本发明实施例提供的一种软件质量评估方法的流程示意图;
图3为本发明实施例提供的一种获得第一类参数的流程示意图;
图4为本发明实施例提供的一种获得第二类参数的流程示意图;
图5为本发明实施例提供的一种自动化测试平台的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种软件质量评估方法,该方法可以应用于图1所示的系统框架中。该系统框架包括自动化测试平台和需求管理工具。自动化测试平台通过通信接口与需求管理工具进行通信连接,实现自动化测试平台与需求管理工具之间的数据交互。需求管理工具用于建立软件所要实现的需求,开发人员根据该需求进行开发,得到实现该需求的待发布软件,并上传需求管理工具。自动化测试平台获取需求管理工具中的待发布软件,并能够自动利用自身存储的测试用例对待发布软件进行测试,并将测试结果发送至需求管理工具。自动化测试平台根据该测试结果得到用于评估所述待发布软件质量的第一类参数,需求管理工具根据该测试结果得到用于评估所述待发布软件质量的第二类参数。自动化测试平台再通过通信接口从需求管理工具获得该第二类参数,将所述第一类参数、所述第二类参数与预先设定的标准值进行比较,最后得到评估结果。
下面将结合具体实施方式,对图2所示的处理流程进行详细的说明,内容可以如下:
步骤200,利用测试用例对待发布软件进行测试,获得用于评估待发布软件质量的第一类参数。
上述测试用例是指为测试代码而编制的一组测试输入、执行条件以及预期结果,以便测试代码路径或核实代码是否满足某个特定需求。比如,用于进行登录的测试用例,执行该测试用例时会打开软件登录界面,并在用户名存在、密码正确的情况下进行登录。
在实施中,自动化测试平台会存储多种测试用例用于测试待发布软件的功能,针对每一个测试用例,利用该测试用例进行测试得到的测试结果与预期结果相同则表明待发布软件成功通过测试,而当测试结果与预期结果不同时,则表明待发布软件的功能存在缺陷。
具体的,参见图3可以利用以下步骤31-34来获得用于评估所述待发布软件质量的第一类参数:
步骤31,利用测试用例对待发布软件进行测试,确定成功通过测试的测试用例的个数。
步骤32,根据成功通过测试的测试用例的个数和用于进行测试的测试用例的个数计算测试通过率。
测试通过率也就是成功通过测试的测试用例的个数与用于进行测试的测试用例的个数之间的比值,测试通过率越高则表明软件的质量越好。
步骤33,根据用于进行测试的测试用例的个数和自动化测试平台存储的测试用例的个数计算测试覆盖率。
自动化测试平台存储的测试用例通常包括:自动测试用例和手动测试用例。
自动测试用例是自动化测试平台能够利用自动测试用例自主完成测试的测试用例;比如,可以将需要重复多次用于进行测试的用例实现自动化以提高测试效率。
而手动用例则需要测试人员的参与才能完成的测试用例,也就是,需要测试人员主观因素才能完成的测试用例;比如,用于建议一个页面的布局是否正确的测试用例,页面的布局则需要测试人员主观去确定是否正确。
测试覆盖率是指进行测试的测试用例的个数与自动化测试平台存储的测试用例的个数之间的比值。测试覆盖率越高则表明自动测试用例所占的比例越高。
步骤34,将计算得到的测试通过率和测试覆盖率作为第一类参数。
为了能够进一步提高待发布软件质量评估结果的准确性,在实施中,还可以通过以下步骤A1-A2来计算千行代码缺陷数,从而进一步规范实现待发布软件功能的代码,提高待发布软件的可靠性:
步骤A1,逐行扫描用于实现待发布软件功能的代码,确定每一行代码是否存在缺陷。
在实施中,可以逐行扫描代码的格式是否规范、是否存在潜在的缺陷、注释数量是否合适以及循环关系之间是否正确等。
步骤A2,根据所确定的缺陷得到千行代码缺陷数。
千行代码缺陷数也就是扫描出的缺陷的数量与代码行数之间的比值再乘以1000得到的数值,千行代码缺陷数越小则表明代码越规范、可靠性越高。通过获取代码的规范情况,避免了只利用缺陷数和自动化测试通过率来反应当前软件质量时忽略了潜在没有检测到的代码问题,并且反映代码规范情况更加直观。
为了提高计算千行代码缺陷数的计算效率,在实施中,可以为不同缺陷设置不同的严重等级;比如,格式是否规范的缺陷可能并不影响代码功能的实现,可以将此类缺陷设置为低级缺陷,而循环关系之间出现错误则会导致代码功能出现错误,则可以将此类缺陷设置为严重缺陷。相应的,在计算千行代码缺陷数时,则可以只统计严重缺陷的数量,利用严重缺陷的数量来计算千行代码缺陷数。
相应的,上述步骤34将计算得到的测试通过率和测试覆盖率作为第一类参数的步骤,包括:
将计算得到的测试通过率、测试覆盖率以及所得到的千行代码缺陷数作为所述第一类参数。
步骤210,通过通信接口从需求管理工具获得用于评估待发布软件质量的第二类参数。
通信接口可以理解为用于自动化测试平台与需求管理工具进行交互的接口,具体的,可以为能够实现通信接口功能的代码。
利用通信接口实现自动化测试平台与需求管理工具之间的信息交互,则无需测试人员去分别统计自动化测试平台与需求管理工具中用于评价待发布软件质量的参数,提高统计效率。
参见图4,可以利用一下步骤41-43来获得用于评估待发布软件质量的第二类参数:
步骤41,通过通信接口向需求管理工具发送数据获取指令。
自动化测试平台每利用测试用例对待发布软件进行测试之后,会将测试结果发送给需求管理工具,测试结果包括通过测试用例和未通过测试用例。需求管理工具会根据测试结果来统计待发布软件存在的各个缺陷的数量;基于此,当自动化测试平台需要对待发布软件的质量进行评估并向需求管理工具发送数据获取指令时,需求管理工具则能够将各个缺陷的数量发送给自动化测试平台。
步骤42,接收需求管理工具基于数据获取指令发送的需求缺陷数和重开缺陷数。
在实施中,上述各个缺陷包括:需求缺陷以及重开缺陷。
其中,需求缺陷是指需要实现的需求本身所存在的缺陷以及在对待发布软件进行测试时检测出的缺陷。具体的,需求本身所存在的缺陷可以包括:需求本身是否违背客观规律、需求是否符合业务逻辑等缺陷。
需求管理工具在根据自动化测试平台发送的测试结果确定待发布软件存在的缺陷之后,会通知开发人员对缺陷进行修复,自动化测试平台会继续对缺陷修复后的待发布软件进行测试并得到测试结果,当需求管理工具根据测试结果确定上一次通知开发人员进行修复的某一个缺陷还存在的情况下,则表明开发人员并未能够修复该缺陷,该缺陷则需要继续被修复,此时,该缺陷即被称为重开缺陷。
步骤43,根据需求缺陷数和重开缺陷数计算需求缺陷比和重开缺陷比,并将计算得到的需求缺陷比和重开缺陷比作为第二类参数。
上述需求缺陷数以及重开缺陷数之和即为总缺陷数;相应的,需求缺陷比则为需求缺陷数与总缺陷数的比值;重开缺陷数则为重开缺陷数与总缺陷数的比值。需求缺陷比以及重开缺陷比的值越小则表明待发布软件的质量越好。
第二类参数也就是根据需求管理工具统计的缺陷情况而确定的参数。在另一种实施方式中,也可以由需求管理工具根据需求缺陷数和重开缺陷数计算需求缺陷比和重开缺陷比,而自动化测试平台直接通过通信接口从获得从需求管理工具获得需求缺陷比和重开缺陷比,即第二类参数。
在实施中,需求管理工具在根据自动化测试平台的测试结果统计缺陷情况时,可能会遗漏一些隐藏的缺陷,即为遗漏缺陷。比如,遗漏缺陷包括:安装缺陷、配置文件缺陷、网页安全缺陷以及判断顺序/逻辑缺陷等。
基于此,需求管理工具在根据自动化测试平台的测试结果统计缺陷之后,需求管理工具会进一步检测是否存在遗漏缺陷,如果存在遗漏缺陷,需求管理工具在向自动化测试平台发送需求缺陷数和重开缺陷数之后,还会向自动化测试平台发送遗漏缺陷数;
此时,自动化测试平台会再次接收到需求管理工具基于数据获取指令发送的遗漏缺陷数;并在接收到遗漏缺陷数之后,根据需求缺陷数、重开缺陷数以及遗漏缺陷数计算需求缺陷比、重开缺陷比以及遗漏缺陷比,并将计算得到的需求缺陷比、重开缺陷比以及遗漏缺陷比作为第二类参数。
此种情况下,总缺陷数则为需求缺陷数、重开缺陷数以及遗漏缺陷数之和;相应的,遗漏缺陷比则为遗漏缺陷数与总缺陷数的比值。
步骤220,将第一类参数、第二类参数与预先设定的标准值进行比较得到评估结果。
在实施中,一种情况下,可以分别将每一个参数与该参数的标准值进行比较,确定各个参数是否全部达到了该参数对应的标准值,从而评估待发布软件的质量是否满足发布条件。而为了能够清楚、直观的确定参数和该参数对应的标准值之间的大小关系,可以通过绘制曲线的方式进行比较。
具体的,可以利用以下步骤B1-B2来得到评估结果。
步骤B1,针对第一类参数和第二类参数中包含的每一参数,以时间为横坐标、该参数为纵坐标,绘制该参数对应的曲线,并以该参数对应的标准值为纵坐标,绘制该参数对应的标准线。
步骤B2,根据每一参数对应的曲线与标准线之间的位置关系,得到评估结果。
达到标准的参数越多则表明待发布软件的质量越好,在实施中,可以设置当所有参数均达到标准值后,得到待发布软件满足发布条件的评估结果;也可以设置达到标准值的参数的数量达到设定的数量之后,得到待发布软件满足发布条件的评估结果。
另一种情况下,为了提高评估效率,可以利用获得的各个参数来计算待发布软件的质量得分,通过比较质量得分与标准值进行比较从而确定待发布软件是否满足发布条件。具体的,可以利用以下步骤C1-C3来得到评估结果,
步骤C1,获取预先为第一类参数和第二类参数中每一参数分配的权值和贡献度。
其中,每一参数的权值表示:该参数在第一类参数和第二类参数包括的各个参数中的重要程度,每一参数的贡献度表示:该参数在评估待发布软件质量时的重要程度。
每一个参数的重要程度是不同的,比如,测试覆盖率仅仅表示自动测试用例所占的比例,对评估结果的影响较小,也就是测试覆盖率的重要程度则低于其他各个参数的重要程度,因而,测试覆盖率的权值低于其他参数的权值。
一种实现方式中,针对每一个参数,该参数的贡献度可以根据该参数的值来确定,比如,测试通过率越高则表明待发布软件的质量越好,那么,则可以设置测试通过率越高,测试通过率的贡献度越高。
在实施中,可以设置各个参数的贡献度的最高值相同,比如,贡献度的最高值均为100;一种情况下,针对参数的值越大表明待发布软件的质量越好的参数,可以将该参数的标准值对应贡献度设置为贡献度最高值与预设比例之间的乘积,比如,预设比例为60%,那么该参数的标准值对应贡献度则为60;该参数所能达到的最大值对应贡献度的最高值100,以此来建立线性关系。
另一种情况下,针对参数的值越小表明待发布软件的质量越好的参数,可以将该参数的标准值对应贡献度设置为贡献度最高值与预设比例之间的乘积,比如,预设比例为60%,那么该参数的标准值对应贡献度则为60;该参数所能达到的最小值对应贡献度的最高值100,以此来建立线性关系。
在评估待发布软件的过程中,通过建立的线性关系来确定各个参数的贡献度。
步骤C2,对所获取的权值和贡献度进行加权计算得到待发布软件的质量得分。
比如,第一参数和第二参数中包含的参数有:测试通过率、测试覆盖率、需求缺陷比以及重开缺陷比;预先为各个参数分配的权值依次为:0.3、0.1、0.35和0.25;各个参数的贡献度依次为:80、75、60、50;那么质量得分则为:0.3×80+0.1×75+0.35×60+0.25×50=65。
步骤C3,将质量得分与预先设定的标准值进行比较得到评估结果。
通过比较质量得分与标准值来确定待发布软件是否满足发布条件,进而得到评估结果。具体的,当质量得分高于标准值时则表明待发布软件满足发布条件,反之当质量得分低于标准值是则表明待发布软件不满足发布条件。
利用各个参数与标准值进行比较能够自行判断待发布软件的质量是否满足发布条件,进行待发布软件质量监督。
当待发布软件不满足发布条件时,为了能够使得开发人员及时获的评估结果,进而能够及时对待发布软件进行完善,在实施中,可以在评估结果表征待发布软件不满足发布条件时,输出待发布软件不满足发布条件的提示信息,用以提示开发人员。具体的,提示信息可以以邮件的形式发送给开发人员,也可以以短信息的形式发送给开发人员。
本发明实施例中,能够利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数,并通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数,最后利用所获得的参数对待发布软件的质量进行评估。本实施例利用通信接口实现自动化测试平台与需求管理工具之间的信息交互,则无需测试人员去分别统计自动化测试平台与需求管理工具中用于评价待发布软件质量的参数,能够提高评估效率,并且平台能够利用各个参数与标准值进行比较,自动判断待发布软件的质量是否满足发布条件,与传统的人工判断相比,效率更高,准确度也更高。
基于相同的技术构思,本发明实施例还提供了一种软件质量评估系统,所述系统包括:自动化测试平台和需求管理工具,如图5所示,所述自动化测试平台包括:
测试模块500,用于利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数;
通信模块510,用于通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数;
比较模块520,用于根据所获得的第一类参数、第二类参数与预先设定的标准值进行比较得到评估结果。
可选的,所述测试模块500,具体用于:
利用测试用例对待发布软件进行测试,确定成功通过测试的测试用例的个数;
根据成功通过测试的测试用例的个数和用于进行测试的测试用例的个数计算测试通过率;
根据用于进行测试的测试用例的个数和所述自动化测试平台存储的测试用例的个数计算测试覆盖率;
将计算得到的测试通过率和测试覆盖率作为所述第一类参数。
可选的,所述测试模块500,还用于:
逐行扫描用于实现所述待发布软件功能的代码,确定每一行代码是否存在缺陷;
根据所确定的缺陷得到千行代码缺陷数;
将计算得到的测试通过率、测试覆盖率以及所得到的千行代码缺陷数作为所述第一类参数。
可选的,所述通信模块510,具体用于:
通过通信接口向所述需求管理工具发送数据获取指令;
接收所述需求管理工具基于所述数据获取指令发送的需求缺陷数和重开缺陷数;
根据所述需求缺陷数和所述重开缺陷数计算需求缺陷比和重开缺陷比,并将计算得到的需求缺陷比和重开缺陷比作为所述第二类参数。
可选的,所述通信模块510,还用于:
接收所述需求管理工具基于所述数据获取指令发送的遗漏缺陷数;
根据所述需求缺陷数、所述重开缺陷数以及遗漏缺陷数计算需求缺陷比、重开缺陷比以及遗漏缺陷比,并将计算得到的需求缺陷比、重开缺陷比以及遗漏缺陷比作为所述第二类参数。
可选的,所述比较模块520,具体用于:
针对所述第一类参数和第二类参数中包含的每一参数,以时间为横坐标、该参数为纵坐标,绘制该参数对应的曲线,并以该参数对应的标准值为纵坐标,绘制该参数对应的标准线;
根据每一参数对应的曲线与标准线之间的位置关系,得到评估结果。
可选的,所述比较模块520,还用于:
获取预先为所述第一类参数和第二类参数中每一参数分配的权值和贡献度,其中,每一参数的权值表示:该参数在所述第一类参数和第二类参数包括的各个参数中的重要程度,每一参数的贡献度表示:该参数在评估所述待发布软件质量时的重要程度;
对所获取的权值和贡献度进行加权计算得到所述待发布软件的质量得分;
将所述质量得分与预先设定的标准值进行比较得到评估结果。
可选的,所述自动化测试平台还包括:
输出模块,用于在所述评估结果表征所述待发布软件不满足发布条件时,输出所述待发布软件不满足发布条件的提示信息。
本发明实施例中,能够利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数,并通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数,最后利用所获得的参数对待发布软件的质量进行评估。本实施例利用通信接口实现自动化测试平台与需求管理工具之间的信息交互,则无需测试人员去分别统计自动化测试平台与需求管理工具中用于评价待发布软件质量的参数,能够提高评估效率,并且平台能够利用各个参数与标准值进行比较,自动判断待发布软件的质量是否满足发布条件,与传统的人工判断相比,效率更高,准确度也更高。
需要说明的是:上述实施例提供的软件质量评估系统在评估待发布软件时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的软件质量评估系统与软件质量评估方法的实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种软件质量评估方法,其特征在于,应用于自动化测试平台,所述方法包括:
利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数;
通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数;
将所述第一类参数、所述第二类参数与预先设定的标准值进行比较,得到评估结果。
2.如权利要求1所述的方法,其特征在于,所述利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数的步骤,包括:
利用测试用例对待发布软件进行测试,确定成功通过测试的测试用例的个数;
根据成功通过测试的测试用例的个数和用于进行测试的测试用例的个数计算测试通过率;
根据用于进行测试的测试用例的个数和所述自动化测试平台存储的测试用例的个数计算测试覆盖率;
将计算得到的测试通过率和测试覆盖率作为所述第一类参数。
3.如权利要求2所述的方法,其特征在于,在所述将计算得到的测试通过率和测试覆盖率作为所述第一类参数的步骤之前,还包括:
逐行扫描用于实现所述待发布软件功能的代码,确定每一行代码是否存在缺陷;
根据所确定的缺陷得到千行代码缺陷数;
相应的,所述将计算得到的测试通过率和测试覆盖率作为所述第一类参数的步骤,包括:
将计算得到的测试通过率、测试覆盖率以及所得到的千行代码缺陷数作为所述第一类参数。
4.如权利要求1所述的方法,其特征在于,通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数的步骤,包括:
通过通信接口向所述需求管理工具发送数据获取指令;
接收所述需求管理工具基于所述数据获取指令发送的需求缺陷数和重开缺陷数;
根据所述需求缺陷数和所述重开缺陷数计算需求缺陷比和重开缺陷比,并将计算得到的需求缺陷比和重开缺陷比作为所述第二类参数。
5.如权利要求4所述的方法,其特征在于,所述接收所述需求管理工具基于所述数据获取指令发送的需求缺陷数和重开缺陷数步骤之后,还包括:
接收所述需求管理工具基于所述数据获取指令发送的遗漏缺陷数;
相应的,所述根据所述需求缺陷数和所述重开缺陷数计算需求缺陷比和重开缺陷比,并将计算得到的需求缺陷比和重开缺陷比作为所述第二类参数的步骤,包括:
根据所述需求缺陷数、所述重开缺陷数以及所述遗漏缺陷数计算需求缺陷比、重开缺陷比以及遗漏缺陷比,并将计算得到的需求缺陷比、重开缺陷比以及遗漏缺陷比作为所述第二类参数。
6.如权利要求1~4任一项所述的方法,其特征在于,所述将所述第一类参数、所述第二类参数与预先设定的标准值进行比较,得到评估结果的步骤,包括:
针对所述第一类参数和第二类参数中包含的每一参数,以时间为横坐标、该参数为纵坐标,绘制该参数对应的曲线,并以该参数对应的标准值为纵坐标,绘制该参数对应的标准线;
根据每一参数对应的曲线与标准线之间的位置关系,得到评估结果。
7.如权利要求1所述的方法,其特征在于,所述将所述第一类参数、所述第二类参数与预先设定的标准值进行比较,得到评估结果的步骤,包括:
获取预先为所述第一类参数和第二类参数中每一参数分配的权值和贡献度,其中,每一参数的权值表示该参数在所述第一类参数和第二类参数包括的各个参数中的重要程度,每一参数的贡献度表示该参数在评估所述待发布软件质量时的重要程度;
对所获取的权值和贡献度进行加权计算得到所述待发布软件的质量得分;
将所述质量得分与预先设定的标准值进行比较得到评估结果。
8.如权利要求1所述的方法,其特征在于,在所述将所述第一类参数、所述第二类参数与预先设定的标准值进行比较,得到评估结果的步骤之后,还包括:
在所述评估结果表征所述待发布软件不满足发布条件时,输出所述待发布软件不满足发布条件的提示信息。
9.一种软件质量评估系统,其特征在于,所述系统包括:自动化测试平台和需求管理工具,其中,所述自动化测试平台包括:
测试模块,用于利用测试用例对待发布软件进行测试,获得用于评估所述待发布软件质量的第一类参数;
通信模块,用于通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数;
比较模块,用于将所述第一类参数、所述第二类参数与预先设定的标准值进行比较得到评估结果。
10.如权利要求9所述的系统,其特征在于,所述比较模块,具体用于:
针对所述第一类参数和第二类参数中包含的每一参数,以时间为横坐标、该参数为纵坐标,绘制该参数对应的曲线,并以该参数对应的标准值为纵坐标,绘制该参数对应的标准线;
根据每一参数对应的曲线与标准线之间的位置关系,得到评估结果。
11.如权利要求9所述的系统,其特征在于,所述自动化测试平台还包括::
输出模块,用于在所述评估结果表征所述待发布软件不满足发布条件时,输出所述待发布软件不满足发布条件的提示信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910296884.2A CN110069409A (zh) | 2019-04-12 | 2019-04-12 | 一种软件质量评估方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910296884.2A CN110069409A (zh) | 2019-04-12 | 2019-04-12 | 一种软件质量评估方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110069409A true CN110069409A (zh) | 2019-07-30 |
Family
ID=67367591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910296884.2A Pending CN110069409A (zh) | 2019-04-12 | 2019-04-12 | 一种软件质量评估方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110069409A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110955591A (zh) * | 2019-10-18 | 2020-04-03 | 文思海辉智科科技有限公司 | 系统性能评估方法、装置、计算机设备和存储介质 |
CN111752833A (zh) * | 2020-06-23 | 2020-10-09 | 南京领行科技股份有限公司 | 一种软件质量体系准出方法、装置、服务器及存储介质 |
CN112035337A (zh) * | 2020-05-29 | 2020-12-04 | 广州番禺职业技术学院 | 一种软件开发能力与测试能力分析方法及装置 |
CN112988567A (zh) * | 2021-01-26 | 2021-06-18 | 广州番禺职业技术学院 | 一种众包测试自动化评估方法及装置 |
CN113342634A (zh) * | 2020-03-02 | 2021-09-03 | 北京沃东天骏信息技术有限公司 | 软件质量评估的方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109062817A (zh) * | 2018-10-15 | 2018-12-21 | 网宿科技股份有限公司 | 自动化测试方法及系统 |
-
2019
- 2019-04-12 CN CN201910296884.2A patent/CN110069409A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109062817A (zh) * | 2018-10-15 | 2018-12-21 | 网宿科技股份有限公司 | 自动化测试方法及系统 |
Non-Patent Citations (4)
Title |
---|
华文瑞等: "软件产品测试应把握四个环节", 《科技风》 * |
林连进: "《软件测试技术》", 31 August 2018, 北京理工大学出版社 * |
王俐: "缺陷分析在软件系统测试中的应用", 《铁路通信信号工程技术》 * |
郭英君等: "一种软件过程质量的度量方法", 《计算机工程与应用》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110955591A (zh) * | 2019-10-18 | 2020-04-03 | 文思海辉智科科技有限公司 | 系统性能评估方法、装置、计算机设备和存储介质 |
CN113342634A (zh) * | 2020-03-02 | 2021-09-03 | 北京沃东天骏信息技术有限公司 | 软件质量评估的方法和装置 |
CN112035337A (zh) * | 2020-05-29 | 2020-12-04 | 广州番禺职业技术学院 | 一种软件开发能力与测试能力分析方法及装置 |
CN111752833A (zh) * | 2020-06-23 | 2020-10-09 | 南京领行科技股份有限公司 | 一种软件质量体系准出方法、装置、服务器及存储介质 |
CN111752833B (zh) * | 2020-06-23 | 2022-08-26 | 南京领行科技股份有限公司 | 一种软件质量体系准出方法、装置、服务器及存储介质 |
CN112988567A (zh) * | 2021-01-26 | 2021-06-18 | 广州番禺职业技术学院 | 一种众包测试自动化评估方法及装置 |
CN112988567B (zh) * | 2021-01-26 | 2022-02-15 | 广州番禺职业技术学院 | 一种众包测试自动化评估方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110069409A (zh) | 一种软件质量评估方法及系统 | |
CN104717337B (zh) | 一种批量测试手机应用的方法及其使用的设备 | |
CN107478455B (zh) | 一种适用于威布尔分布型产品的定时截尾可靠性试验方法 | |
CN109885499B (zh) | 一种机器人自动化测试系统及测试方法 | |
CN114935703B (zh) | 一种变频组件自动测试方法、装置及系统 | |
CN113760718A (zh) | 自动化测试方法及装置 | |
CN113561853A (zh) | 燃料电池系统在线故障诊断方法及装置 | |
US8935116B2 (en) | Method and apparatus for testing a wind turbine installation | |
CN209000871U (zh) | 一种晶圆测试系统 | |
CN103378992B (zh) | 家庭总线系统的总线数据测试方法及装置 | |
CN113300912B (zh) | 一种设备测试方法、装置及电子设备 | |
CN113485157B (zh) | 晶圆仿真测试方法、装置及晶圆测试方法 | |
CN112461473B (zh) | 一种ct探测器核心部件的高加速寿命试验方法 | |
CN115473831B (zh) | 一种物联网芯片的可靠性校验方法及系统 | |
CN117558660B (zh) | 一种半导体晶圆检测设备控制工作站的管理方法及系统 | |
CN105207840B (zh) | 一种网络终端用户掉线频次检测系统及方法 | |
CN108052423A (zh) | 服务器的测试方法与装置 | |
CN110046067A (zh) | 接口测试方法及装置 | |
CN116743644B (zh) | 一种自动测试方法、系统、装置和介质 | |
CN115878477A (zh) | 报错信息处理方法、装置、设备及介质 | |
CN115633370A (zh) | 一种用于ota测试系统的tis快速测试方法 | |
CN116915651A (zh) | 网络设备自动化测试方法、装置、电子设备和存储介质 | |
CN114968791A (zh) | 一种检测方法及装置 | |
CN117763797A (zh) | 一种基于数据校准的电压穿越控制仿真方法及系统 | |
CN117407307A (zh) | 一种基于形式化验证的低代码应用正确性验证方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |