CN110647345B - 一种针对应用开发的指标测算方法和系统 - Google Patents
一种针对应用开发的指标测算方法和系统 Download PDFInfo
- Publication number
- CN110647345B CN110647345B CN201910818970.5A CN201910818970A CN110647345B CN 110647345 B CN110647345 B CN 110647345B CN 201910818970 A CN201910818970 A CN 201910818970A CN 110647345 B CN110647345 B CN 110647345B
- Authority
- CN
- China
- Prior art keywords
- development
- index
- calculating
- development data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本说明书公开一种针对应用开发的指标测算方法及系统。可以先确定针对软件开发的指标测算需求,具体该需求中可以包括针对开发项目组、开发端、测试端、以及运维端中的至少一个被测对象;此后便可以从为不同对象记录开发数据的DevOps开发平台中,获取用于对被测对象进行指标测算的开发数据,从而可以根据与指标测算需求对应的指标测算方式,通过获取到的开发数据对被测对象进行指标测算。
Description
技术领域
本文件涉及计算机技术领域,尤其涉及一种针对应用开发的指标测算方法和系统。
背景技术
随着各类计算机终端的发展,为满足各种不同需求,开发出了多种多样的应用软件(简称软件),且随着需求的不断变化,还会对已有软件进行不断地改进和维护。而在软件开发的过程中,就需要开发项目组中的开发端、测试端、以及运维端等多方合作完成。
在实际应用中,如何对软件开发过程进行监督,成为提高软件开发效率的手段,所以就需要提供一种方案,针对软件开发可以实现较为有效的监督。
发明内容
本说明书实施例提供一种针对应用开发的指标测算方法和系统,用于在软件开发时,可以实现较为有效的监督,从而在一定程度上提高软件开发效率。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例采用下述技术方案:
第一方面,提出了一种针对应用开发的指标测算方法,包括:
确定针对软件开发的指标测算需求,所述指标测算需求中包括被测对象,所述被测对象包括开发项目组、开发端、测试端、以及运维端中的至少一个;
从DevOps开发平台记录的开发数据集中,获取用于对所述被测对象进行指标测算的开发数据,所述开发数据集是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算。
第二方面,提出了一种针对应用开发的指标测算系统,需求确定模块、数据获取模块、以及指标测算模块,其中,
所述需求确定模块,用于确定针对软件开发的指标测算需求,所述指标测算需求中包括被测对象,所述被测对象包括开发项目组、开发端、测试端、以及运维端中的至少一个;
所述数据获取模块,用于从DevOps开发平台记录的开发数据集中,获取用于对所述被测对象进行指标测算的开发数据,所述开发数据集是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
所述指标测算模块,用于确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算。
第三方面,提出了一种电子设备,该电子设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
确定针对软件开发的指标测算需求,所述指标测算需求中包括被测对象,所述被测对象包括开发项目组、开发端、测试端、以及运维端中的至少一个;
从DevOps开发平台记录的开发数据集中,获取用于对所述被测对象进行指标测算的开发数据,所述开发数据集是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算。
第四方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
确定针对软件开发的指标测算需求,所述指标测算需求中包括被测对象,所述被测对象包括开发项目组、开发端、测试端、以及运维端中的至少一个;
从DevOps开发平台记录的开发数据集中,获取用于对所述被测对象进行指标测算的开发数据,所述开发数据集是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算。
由以上实施例提供的技术方案可见,可以先确定针对软件开发的指标测算需求,具体该需求中可以包括针对开发项目组、开发端、测试端、以及运维端中的至少一个被测对象;此后便可以从为不同对象记录开发数据的DevOps开发平台中,获取用于对被测对象进行指标测算的开发数据,从而可以根据与指标测算需求对应的指标测算方式,通过获取到的开发数据对被测对象进行指标测算。
在软件开发过程中,利用DevOps合作关系能够快捷、频繁的实现软件开发,本方案在基于DevOps合作关系的DevOps开发平台中,针对软件开发中不同对象的开发行为,对应记录成各自的开发数据。在需要对不同被测对象进行指标测算时,就可以直接从开发平台中获取用于对被测对象进行指标测算的开发数据,从而实现指标测算。可见,在DevOps开发平台中根据不同对象的开发行为,对应记录开发数据,则可以对被测对象实现较为有效的软件开发监督,也可以在一定程度上提高软件开发效率。
附图说明
为了更清楚地说明本说明书实施例或现有的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的针对应用开发的指标测算方法的流程示意图;
图2为本说明书实施例提供DevOps开发平台的示意图;
图3为本说明书实施例提供的针对应用开发的指标测算系统的结构图;
图4为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本说明书的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书中各实施例提供的技术方案。
实施例1
本说明书实施例提供一种针对应用开发的指标测算方法,在软件开发时,可以实现较为有效的监督,从而在一定程度上提高软件开发效率。具体流程示意图如图1所示,包括:
步骤102:确定针对软件开发的指标测算需求,该指标测算需求中包括被测对象。
在本说明书中,软件开发可以是包括软件开发、软件测试、软件运维等多个开发步骤的过程,在这个过程中实现软件从开发、测试、到上线部署等操作。在实际应用中,为实现软件开发,可以组建一个开发项目组,该组内可以包括开发端、测试端、和运维端,而通常各端的工作可以由具体的开发人员担任,则开发项目组就可以是多人团队。在实际中,相同开发人员可以身兼多职,比如某个开发人员既负责开发工作、又负责运维工作,等。
指标测算需求,可以是在软件开发时,对某个被测对象进行指标测算的需求,所以在指标测算需求中就可以包括被测对象,而被测对象则可以包括开发项目组、开发端、测试端、以及运维端中的至少一个,也即软件的开发项目组可以作为一个相对独立的被测对象,而开发项目组内的开发端、测试端、以及运维端也均可以作为一个相对独立的被测对象。
除了被测对象,指标测算需求还可以指代为实现指标测算所需的开发数据。在实际软件开发时,一般会产生大量的开发数据。具体,针对开发项目组,在开发过程中可以产生需求交付周期,也即从需求分析到需求上线的时间间隔,比如,针对某个软件会确定出新的需求,并基于该需求进行开发,并将开发后的功能上线。一般地,在确定出包含被测对象的指标测算需求后,后续步骤中则可以将被测对象的开发数据全部或随机部分获取到。而为了满足特定的指标测算需求,可以在生成指标测算需求时,加入特定开发数据项,也即在一种实施方式中,指标测算需求中还可以包括与被测对象对应的特定开发数据项。
进一步地,开发数据项就可以对应开发数据,比如需求交付周期就可以是一个开发数据项,而对应的开发数据就可以是n小时、n天等。在实际应用中,若指标测算需求未包括被测对象对应的特定开发数据项,则可以获取该被测对象对应的全部开发数据,若包括了特定的开发数据项,则可以获取特定开发数据项对应的开发数据。
步骤104:从DevOps开发平台记录的开发数据集中,获取用于对被测对象进行指标测算的开发数据。
DevOps(Development和Operations的组合词)是一种重视“软件开发人员(Dev)”和“IT运维技术人员(Ops)”之间沟通合作的关系或模式。传统的软件开发项目组将开发、测试、运维分别设为各自分离的部门,使得开发、测试和运维相对独立。比如开发项目组在接收到软件需求后,由于一个需求内通常包含多个子功能,具体比如为实现该软件需求需要有多个按键,则传统的开发方式需要先由开发端将多个按键全部开发完成后,将该软件需求的开发成果交付给测试端,再由测试端全部测试完成后,交付给运维端,从而完成更新上线。
而基于DevOps模式进行开发后,开发端可以在开发出一个按键后,便交给测试端、以及运维端,从而完成更新上线,无需像传统的方式,开发下游需要等待开发上游较长的时间,进而使得开发项目组内的这三端,在DevOps模式的指导下,能够实现更有效的沟通与协作,提高软件的开发效率。故,DevOps经常被描述为“开发团队与运营团队之间更具协作性、更高效的关系”。由于团队间协作关系的改善,整个组织的效率因此得到提升,伴随频繁变化而来的生产环境的风险也能得到降低。
如图3所示,为DevOps开发平台的示意图,针对DevOps模式,通常可以存在一个DevOps开发平台,对软件的开发过程起到整体管控的作用,这个开发平台一般可以由是一个系统实现,开发端、测试端、运维端作为一个开发项目组内的成员,可以依托与这个开发平台进行开发工作。比如,开发人员可以提交代码到该平台、由该平台以代码为基础进行测试,并由该平台执行软件的部署上线,同时在这个过程中,可以对开发行为进行记录而得到开发数据,且监控步骤之间的时间间隔。所以该DevOps开发平台,可以在软件开发过程中,起到整体管控的作用,而根据开发行为记录的开发数据就可以作为指标测算的基础。另外,该DevOps开发平台可以对多个开发项目组同时进行管控,也即DevOps开发平台可以记录多个开发项目组的开发数据,这里的开发数据也就包括了每个开发项目组的开发数据,以及每个开发项目组内,每个开发端、每个测试端、以及每个运维端的开发数据,所以就可以组成较为全面的开发数据集。
针对DevOps开发平台记录开发数据而言,不同的开发行为可以对应不同的记录方式,比如可以根据不同的开发行为,记录时间、次数、等级、占比等。则在一种实施方式中,为了得到满足指标测试要求的各种开发数据,可以为不同的被测对象预先设置对应的数据记录方式,从而使得DevOps开发平台在软件开发中,可以为不同的对象记录开发数据,得到开发数据集。这里的数据记录方式,可以是直接根据开发行为进行记录,比如时间、次数等,也可以根据开发行为进行数值转换,比如等级、生产率、占比等。也即开发数据集,可以是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果。
则本步骤,就可以从DevOps开发平台记录的开发数据集中,获取到指标测算需求中用于对被测对象进行指标测算的开发数据。在前述步骤中已经介绍,在确定出包括被测对象的指标测算需求后,后续步骤中则可以将被测对象的开发数据全部或随机部分获取到,若指标测算需求还包括被测对象对应的特定开发数据项,则可以根据该特定开发数据项,从DevOps开发平台记录的开发数据集中,获取用于对被测对象进行指标测算的开发数据。
而在实际应用中,对被测对象进行指标测算时,可以只根据被测对象自身的开发数据,也可以综合被测对象和同类对象的开发数据。也即,用于对被测对象进行指标测算的开发数据,可以包括被测对象的开发数据、以及同类对象的开发数据。
比如,若要对某个开发项目组进行指标测算,可以只获取该开发项目的开发数据并进行指标测算,也可以获取该开发项目组、以及其他开发项目组的开发数据,利用包括多个开发项目组的开发数据,对这个开发项目组进行指标测算。又如,某个开发项目组内有5个开发人员,若要对第一个开发人员进行指标测算,则可以只获取这个开发人员的开发数据,也可以获取全部5个开发人员的开发数据,再对这个第一个开发人员进行指标测算。
这里,针对不同的被测对象,可以根据被测对象的不同开发行为,记录成多种开发数据,下面根据实际的应用场景进行介绍:
针对开发项目组,DevOps开发平台可以根据整个项目组的开发行为,记录得到不同的开发数据,比如可以但不限于包括需求交付周期、交付后人均缺陷等级、以及缺陷修复周期。
具体地,
需求交付周期可以是对于开发项目组,记录从需求分析到需求上线的时间间隔;
交付后人均缺陷等级,可以是记录开发项目组交付应用后的人均缺陷等级,具体,缺陷等级可以分别1至4级,这里的分级可以人为确定,也可以是根据预设关系而确定(比如网络延迟严重对应什么缺陷等级、数据读取失败对应什么缺陷等级),可以设定4级最严重,1级最不严重,1到4级设加权值分别为8、5、3、0.5,通过∑(缺陷等级×对应权值)得到交付后人均缺陷等级。
缺陷修复周期,可以记录确认为缺陷到完成修复的时间间隔。
针对开发端,DevOps开发平台可以根据开发端的开发行为,记录得到不同的开发数据,比如可以但不限于包括代码生产率、代码扫描问题数、单元测试覆盖率、集成通过率、交付前缺陷数、以及交付后缺陷数等。
具体地,
代码生产率,可以是根据开发人员每日提交的代码变更集,统计新增和变更的代码行数A;基于代码变更集关联的开发任务的开始和完成时间,统计开发时间B,将A除以B得到代码生产率并记录;
代码扫描问题等级,可以根据平台中的代码扫描工具,对提交的代码中的问题根据预先设定的对应关系进行分级,实际可分4个级别,4级最严重,1到4级可以设加权值分别为8、5、3、0.5,将∑(问题等级×对应权值)的结果记录成代码扫描问题等级。
单元测试覆盖率,可以根据自动化单元测试工具提供的覆盖率数据,统计代码提交人员的覆盖率,再除以提交次数,记录得到开发人员的单元测试覆盖率。
集成通过率,根据持续集成工具提供的结果数据,统计触发集成人员的通过次数,再除以集成次数,记录得到开发人员的集成通过率。
交付前缺陷等级,根据软件交付前缺陷的归属数据,统计归属开发人员的缺陷等级,记录问题的严重程度,实际可分4个级别,4级最严重,1到4级可以设加权值分别为8、5、3、0.5,将∑(缺陷等级×对应权值)的结果记录成交付前缺陷等级。
交付后缺陷等级,根据软件交付给测试端后缺陷的归属数据,统计归属开发人员的缺陷等级,记录问题的严重程度,实际可分4个级别,4级最严重,1到4级可以设加权值分别为8、5、3、0.5,将∑(缺陷等级×对应权值)的结果记录成交付后缺陷等级。
针对测试端,DevOps开发平台可以根据测试端的测试行为,记录得到不同的开发数据,比如可以但不限于包括测试用例生产率、发现缺陷数、交付后缺陷数,等。
具体地,
测试用例生产率,可以根据测试人员提交的测试用例,统计测试用例中的测试步骤数A,基于测试用例编写任务的开始和完成时间,统计编写时间B,将A除以B得到测试用例生产率。
发现缺陷等级,可以统计测试人员人工测试发现的,以及其编写的自动化测试用例发现的缺陷等级,可按严重程度分4个级别,4级最严重,1到4级设加权值分别为8、5、3、0.5,将∑(缺陷等级×对应权值)的结果记录成发现缺陷等级。
交付后缺陷等级,根据交付给运维端后缺陷的归属数据,统计归属测试人员的缺陷等级,可按严重程度分4个级别,4级最严重,1到4级设加权值分别为8、5、3、0.5,将∑(缺陷等级×对应权值)的结果记录成交付后缺陷等级。
针对运维端,DevOps开发平台可以根据运维端的运维行为,记录得到不同的开发数据,比如可以但不限于包括运维问题反馈周期、非缺陷问题解决周期、反馈问题中缺陷占比,等。
具体地,
运维问题反馈周期,可以统计从接收运维问题到反馈给开发项目组的时间间隔,再除以运维问题的数量,得到并记录平均的运维问题反馈周期。
非缺陷问题解决周期,可以统计从接收运维问题到运维人员解决问题的时间间隔,再除以需要由运维人员解决(未反馈给开发项目组)的运维问题的数量,得到并记录平均的非缺陷问题解决周期。
反馈问题中缺陷占比,可以统计运维人员反馈给开发项目组的运维问题数A和确认为缺陷的运维问题数B,将B除以A得到并记录反馈问题中缺陷占比。
步骤106:确定与指标测算需求对应的指标测算方式,并根据获取到的开发数据,对该被测对象进行指标测算。
在前述步骤中,已经获取到用于对被测对象进行指标测算的开发数据,则本步骤就可以基于这些开发数据,对被测对象进行指标测算。具体地,不同的指标测算需求可以对应不同的指标测算方式,针对不同的被测对象,就可以有不同的指标测算方式,针对不同的开发数据,也可以有不同的指标测算方式。例如,针对开发项目组,和开发项目组内的不同端,由于开发数据的不同,自然对应了不同的指标测算方式。
所以,本步骤就可以先确定与指标测算需求对应的指标测算方式。具体地,由于指标测算需求中可以包括不同的被测对象,则可以分别确定针对不同被测对象的指标测算方式。比如,针对开发项目组,开发数据可以是需求交付周期、交付后人均缺陷等级、以及缺陷修复周期,由于这三个开发数据的值均是越小越好,所以指标测算方式就可以是将这三个开发数据的值相加,从而就可以通过将获取到的开发数据中的数值之和,对开发项目组进行指标测算。
类似地,针对开发端、测试端、以及运维端,也可以通过上述开发数据的值相加的方式。或者分别将开发数据的值越小越好的部分相加、并将开发数据的值越大越好的部分相加,得到两个数值,作为指标测算结果。比如,针对测试端,测试用例生产率对应的值越高越好,而发现缺陷等级、交付后缺陷等级则是越低越好,所以就可以将测试用例生产率作为针对测试端的一个指标测算结果,而将发现缺陷等级、交付后缺陷等级的和,作为另一个指标测算结果。
而在实际应用中,对开发数据进行数值转换可以是一种较为合理的指标测算方式。则在一种实施方式中,为了得到更合理的指标测算结果,确定与指标测算需求对应的指标测算方式,并根据获取到的开发数据,对该被测对象进行指标测算,可以包括:确定与指标测算需求对应的指标测算方式,该指标测算方式中可以包括针对开发数据的量化转换方式;根据获取到的开发数据、以及对应的量化转换方式,对被测对象进行指标测算。
比如,量化转换方式,可以是两个数值相除,将除得的数作为指标测算结果。具体比如,针对开发端而言,代码生产率、单元测试覆盖率、集成通过率,这几个开发数据的值越大则可以表明开发效率较高,而代码扫描问题等级、交付前缺陷等级、和交付后缺陷等级,这几个开发数据的值越小则可以表明开发效率较高,据此则可以分别将两部分的值相加得到X和Y,进而可以用X除以Y进行指标测算,得到结果越大,则可以表明开发效率较高。
在实际应用中,还可以对开发数据进行另一种量化转换,比如归一化,归一化可以是一种无量纲处理手段,使物理系统数值的绝对值变成某种相对值关系。在前文已经介绍,获取用于对被测对象进行指标测算的开发数据时,开发数据可以包括被测对象的开发数据、以及同类对象的开发数据。则在本步骤中,根据获取到的开发数据、以及对应的量化转换方式,对被测对象进行指标测算,可以包括:根据获取到的被测对象和同类对象的开发数据、以及对应的量化转换方式,对被测对象进行指标测算。
具体地,在本应用场景中,对被测对象进行指标测算时,可以结合该被测对象的其他同类被测对象,从而得到较为合理的指标测算结果,而指标测算方式中包括的针对开发数据的量化转换方式,就可以包括归一化的方式。比如,针对某个开发项目组的需求交付周期,可以将多个开发项目组的该开发数据排序,确定最大值A和最小值B,量化转换方式就可以是(A-该开发项目组的需求交付周期)/(A-B),据此对被测对象进行指标测算。类似地,针对开发端、测试端和运维端,也可以对应不同的量化转换关系。
在实际应用中,被测对象可能会对应多个开发数据,而不同开发数据对于体现被测对象的指标具有不同的作用,比如,针对开发项目组而言,需求交付周期,可能比交付后人均缺陷等级和缺陷修复周期更重要,或者随着开发项目的进行,缺陷修复周期可能更为重要,所以为了能够更加合理的对被测对象进行指标测算,可以为不同开发数据预设不同的权重占比,并且可以根据实际需求,随时变化权重占比,从而更好的体现被测对象的指标测算结果。
则在一种实施方式中,确定与指标测算需求对应的指标测算方式,并根据获取到的开发数据,对该被测对象进行指标测算,可以包括:确定与指标测算需求对应的指标测算方式,该指标测算方式中可以包括针对不同开发数据分别对应的量化转换方式和权重占比;根据获取到的不同开发数据、以及分别对应的量化转换方式和权重占比,对被测对象进行指标测算。
比如,针对开发项目组而言,需求交付周期的权重占比是40%,交付后人均缺陷等级和缺陷修复周期的权重占比均为30%,据此,可以为开发项目组测算更为合理的指标结果。具体比如可以将需求交付周期的值乘以40%,并将交付后人均缺陷等级和缺陷修复周期均乘以30%,将这三个值,或者三个值的和,作为开发项目组的指标测算结果。
则在一种实施方式中,就可以根据开发数据分别对应的权重占比,利用乘积之和的方式,测算出一个综合性较强的指标测算结果,也即,根据获取到的不同开发数据、以及分别对应的量化转换方式和权重占比,对被测对象进行指标测算,可以包括:根据不同开发数据分别对应的量化转换方式,生成开发数据量化值;根据不同开发数据量化值与对应权重占比的乘积之和,对被测对象进行指标测算。
根据前文的介绍,可以结合同类对象的开发数据进行综合测算,所以在这种实施方式中,根据获取到的不同开发数据、以及分别对应的量化转换方式和权重占比,对被测对象进行指标测算,也可以包括:根据获取到的被测对象和同类对象的开发数据、以及分别对应的量化转换方式和权重占比,对被测对象进行指标测算。也即将上述两种方式进行结合。
结合后可以根据下表1至表4,分别对开发项目组、开发端、测试端、和运维端进行指标测算:
表1
表2
表3
表4
由上表可见,针对开发项目组、开发端、测试端和运维端,均可以有对应的量化转换方式、以及不同开发数据对应的权重占比,根据量化转换方式,可以得到对应的开发数据量化值,并将开发数据量化值与各自权重占比的乘积之和,对被测对象进行指标测算,据此则可以较为准确的反映出被测对象在开发软件时的工作质量。也即,该指标测算结果可以作为实际工作中对工作质量的量化考评结果。
在表中出现了不同的量化转换方式,比如针对运维端中,非缺陷问题解决周期、以及反馈问题中缺陷占比,量化转换分别是(A-该人员的非缺陷问题解决周期)/(A-B),和(该人员的反馈问题中缺陷占比-B)/(A-B)。出现这种情况是为了使得指标测算结果可以代表一个正向的结果。在前文已经介绍,一些开发数据的值越高表示开发效率越高、质量越好,而另一些则值越低表示开发效率越高、质量越好。所以为了使全部的开发数据量化值可以代表一个正向的结果,指开发数据量化值均为越高越好。
比如针对上述非缺陷问题解决周期这一开发数据,期望值尽量低,A作为最大值,则A-运维人员的非缺陷问题解决周期,则越大越好。而针对反馈问题中缺陷占比,缺陷占比越大,则在一定程度上说明运维人员排查缺陷的能力越强,则期望越高越好,所以运维人员的反馈问题中缺陷占比-B,则越大越好。类似的运维问题反馈周期与非缺陷问题解决周期相似,则可以使运维人员的这三个开发数据量化值均为越高越理想,从而使得开发数据量化值与各自权重占比的乘积之和也是越高越好,进而可以据此对运维人员进行有效的量化考核。针对其他被测对象亦如此。
在实际应用中,为了让被测对象得知指标测算结果,还可以将指标测算结果发送给被测对象,比如通过预设电子邮件的方式,利用邮箱将指标测算结果发送给对应的被测对象。另外,还可以将指标测算结果发送到指定位置,比如可以在DevOps开发平台内的指定位置,该指定位置可以将指标测算结果进行公示,以便全部被测对象可以查阅。
在实际应用中,可以根据固定的时间周期,触发该方法执行,也即该方法还可以包括:根据预设时间周期,执行针对应用开发的指标测算方法。比如,预设时间周期可以是一天或五天,则可以在每天工作结束、或每天0:00或每周工作结束后,对全部或部分的被测对象进行指标测算。
由以上实施例提供的技术方案可见,可以先确定针对软件开发的指标测算需求,具体该需求中可以包括针对开发项目组、开发端、测试端、以及运维端中的至少一个被测对象;此后便可以从为不同对象记录开发数据的DevOps开发平台中,获取用于对被测对象进行指标测算的开发数据,从而可以根据与指标测算需求对应的指标测算方式,通过获取到的开发数据对被测对象进行指标测算。
在软件开发过程中,利用DevOps合作关系能够快捷、频繁的实现软件开发,本方案在基于DevOps合作关系的DevOps开发平台中,针对软件开发中不同对象的开发行为,对应记录成各自的开发数据。在需要对不同被测对象进行指标测算时,就可以直接从开发平台中获取用于对被测对象进行指标测算的开发数据,从而实现指标测算。可见,在DevOps开发平台中根据不同对象的开发行为,对应记录开发数据,则可以对被测对象实现较为有效的软件开发监督,也可以在一定程度上提高软件开发效率。
实施例2
基于相同的构思,本说明书实施例2提供了一种针对应用开发的指标测算系统,在软件开发时,可以实现较为有效的监督,从而在一定程度上提高软件开发效率。该系统的结构示意图如图3所示,包括:需求确定模块202、数据获取模块204、以及指标测算模块206,其中,
需求确定模块202,可以用于确定针对软件开发的指标测算需求,该指标测算需求中可以包括被测对象,被测对象可以包括开发项目组、开发端、测试端、以及运维端中的至少一个;
数据获取模块204,可以用于从DevOps开发平台记录的开发数据集中,获取用于对被测对象进行指标测算的开发数据,该开发数据集可以是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
指标测算模块206,可以用于确定与指标测算需求对应的指标测算方式,并根据获取到的开发数据,对被测对象进行指标测算。
在一种实施方式中,指标测算需求中还包括与被测对象对应的特定开发数据项,则
需求确定模块202,可以用于:
根据特定开发数据项,从DevOps开发平台记录的开发数据中,获取被测对象的开发数据。
在一种实施方式中,指标测算模块206,可以用于:
确定与指标测算需求对应的指标测算方式,指标测算方式中包括针对开发数据的量化转换方式;
根据获取到的开发数据、以及对应的量化转换方式,对被测对象进行指标测算。
在一种实施方式中,指标测算模块206,可以用于:
确定与指标测算需求对应的指标测算方式,该指标测算方式中具体包括针对不同开发数据分别对应的量化转换方式和权重占比;
根据获取到的不同开发数据、以及分别对应的量化转换方式和权重占比,对被测对象进行指标测算。
在一种实施方式中,指标测算模块206,可以用于:
根据不同开发数据分别对应的量化转换方式,生成开发数据量化值;
根据不同开发数据量化值与对应权重占比的乘积之和,对被测对象进行指标测算。
在一种实施方式中,指标测算模块206,还可以用于:
将指标测算结果发送给被测对象,和\或将指标测算结果发送到指定位置。
在一种实施方式中,系统可以根据预设时间周期,执行如实施例1介绍的针对应用开发的指标测算方法。
由以上实施例提供的系统可见,
可以先确定针对软件开发的指标测算需求,具体该需求中可以包括针对开发项目组、开发端、测试端、以及运维端中的至少一个被测对象;此后便可以从为不同对象记录开发数据的DevOps开发平台中,获取用于对被测对象进行指标测算的开发数据,从而可以根据与指标测算需求对应的指标测算方式,通过获取到的开发数据对被测对象进行指标测算。
在软件开发过程中,利用DevOps合作关系能够快捷、频繁的实现软件开发,本方案在基于DevOps合作关系的DevOps开发平台中,针对软件开发中不同对象的开发行为,对应记录成各自的开发数据。在需要对不同被测对象进行指标测算时,就可以直接从开发平台中获取用于对被测对象进行指标测算的开发数据,从而实现指标测算。可见,在DevOps开发平台中根据不同对象的开发行为,对应记录开发数据,则可以对被测对象实现较为有效的软件开发监督,也可以在一定程度上提高软件开发效率。
图4是本说明书的一个实施例电子设备的结构示意图。在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成针对应用开发的指标测算系统。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
确定针对软件开发的指标测算需求,所述指标测算需求中包括被测对象,所述被测对象包括开发项目组、开发端、测试端、以及运维端中的至少一个;
从DevOps开发平台记录的开发数据集中,获取用于对被测对象进行指标测算的开发数据,该开发数据集可以是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算。
上述如本说明书图3所示实施例提供的针对应用开发的指标测算系统执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(CentralProcessing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图3所示实施例提供的针对应用开发的指标测算系统在图4所示实施例的功能,本说明书实施例在此不再赘述。
本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图3所示实施例中针对应用开发的指标测算系统执行的方法,并具体用于执行:
确定针对软件开发的指标测算需求,所述指标测算需求中包括被测对象,所述被测对象包括开发项目组、开发端、测试端、以及运维端中的至少一个;
从DevOps开发平台记录的开发数据集中,获取用于对被测对象进行指标测算的开发数据,该开发数据集可以是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算。
上述实施例阐明的系统、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上系统时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品,该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本文件范围之内。
Claims (7)
1.一种针对应用开发的指标测算方法,其特征在于,包括:
确定针对软件开发的指标测算需求,所述指标测算需求中包括被测对象,所述被测对象包括开发项目组、开发端、测试端、以及运维端中的至少一个;
从DevOps开发平台记录的开发数据集中,获取用于对所述被测对象进行指标测算的开发数据,所述开发数据集是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算;
所述确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算,包括:
确定与所述指标测算需求对应的指标测算方式,所述指标测算方式中包括针对开发数据的量化转换方式;
根据获取到的开发数据、以及对应的量化转换方式,对所述被测对象进行指标测算;或
确定与所述指标测算需求对应的指标测算方式,所述指标测算方式中包括针对不同开发数据分别对应的量化转换方式和权重占比;
根据不同开发数据分别对应的量化转换方式,生成开发数据量化值;
根据不同开发数据量化值与对应权重占比的乘积之和,对所述被测对象进行指标测算。
2.如权利要求1所述的方法,其特征在于,所述指标测算需求中还包括与所述被测对象对应的特定开发数据项,则
从DevOps开发平台记录的开发数据集中,获取用于对所述被测对象进行指标测算的开发数据,包括:
根据所述特定开发数据项,从DevOps开发平台记录的开发数据集中,获取用于对所述被测对象进行指标测算的开发数据。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
将指标测算结果发送给所述被测对象,和\或
将指标测算结果发送到指定位置。
4.如权利要求1所述的方法,其特征在于,根据预设时间周期,执行针对应用开发的指标测算方法。
5.一种针对应用开发的指标测算系统,其特征在于,包括:需求确定模块、数据获取模块、以及指标测算模块,其中,
所述需求确定模块,用于确定针对软件开发的指标测算需求,所述指标测算需求中包括被测对象,所述被测对象包括开发项目组、开发端、测试端、以及运维端中的至少一个;
所述数据获取模块,用于从DevOps开发平台记录的开发数据集中,获取用于对所述被测对象进行指标测算的开发数据,所述开发数据集是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
所述指标测算模块,用于确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算;
所述指标测算模块,具体用于:
确定与所述指标测算需求对应的指标测算方式,所述指标测算方式中包括针对开发数据的量化转换方式;
根据获取到的开发数据、以及对应的量化转换方式,对所述被测对象进行指标测算;或
确定与所述指标测算需求对应的指标测算方式,所述指标测算方式中包括针对不同开发数据分别对应的量化转换方式和权重占比;
根据不同开发数据分别对应的量化转换方式,生成开发数据量化值;
根据不同开发数据量化值与对应权重占比的乘积之和,对所述被测对象进行指标测算。
6.一种电子设备,其特征在于,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
确定针对软件开发的指标测算需求,所述指标测算需求中包括被测对象,所述被测对象包括开发项目组、开发端、测试端、以及运维端中的至少一个;
从DevOps开发平台记录的开发数据集中,获取用于对所述被测对象进行指标测算的开发数据,所述开发数据集是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算;
所述处理器执行以下具体操作:
确定与所述指标测算需求对应的指标测算方式,所述指标测算方式中包括针对开发数据的量化转换方式;
根据获取到的开发数据、以及对应的量化转换方式,对所述被测对象进行指标测算;或
确定与所述指标测算需求对应的指标测算方式,所述指标测算方式中包括针对不同开发数据分别对应的量化转换方式和权重占比;
根据不同开发数据分别对应的量化转换方式,生成开发数据量化值;
根据不同开发数据量化值与对应权重占比的乘积之和,对所述被测对象进行指标测算。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
确定针对软件开发的指标测算需求,所述指标测算需求中包括被测对象,所述被测对象包括开发项目组、开发端、测试端、以及运维端中的至少一个;
从DevOps开发平台记录的开发数据集中,获取用于对所述被测对象进行指标测算的开发数据,所述开发数据集是在软件开发中,通过为不同对象预设的数据记录方式,对不同对象开发行为的记录结果;
确定与所述指标测算需求对应的指标测算方式,并根据获取到的开发数据,对所述被测对象进行指标测算;
所述电子设备执行以下具体操作:
确定与所述指标测算需求对应的指标测算方式,所述指标测算方式中包括针对开发数据的量化转换方式;
根据获取到的开发数据、以及对应的量化转换方式,对所述被测对象进行指标测算;或
确定与所述指标测算需求对应的指标测算方式,所述指标测算方式中包括针对不同开发数据分别对应的量化转换方式和权重占比;
根据不同开发数据分别对应的量化转换方式,生成开发数据量化值;
根据不同开发数据量化值与对应权重占比的乘积之和,对所述被测对象进行指标测算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910818970.5A CN110647345B (zh) | 2019-08-30 | 2019-08-30 | 一种针对应用开发的指标测算方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910818970.5A CN110647345B (zh) | 2019-08-30 | 2019-08-30 | 一种针对应用开发的指标测算方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110647345A CN110647345A (zh) | 2020-01-03 |
CN110647345B true CN110647345B (zh) | 2022-10-14 |
Family
ID=68991406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910818970.5A Active CN110647345B (zh) | 2019-08-30 | 2019-08-30 | 一种针对应用开发的指标测算方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110647345B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460681A (zh) * | 2017-02-20 | 2018-08-28 | 阿里巴巴集团控股有限公司 | 一种风险管控方法及装置 |
CN109388376A (zh) * | 2018-09-29 | 2019-02-26 | 平安科技(深圳)有限公司 | 软件开发风险评估方法、装置、设备及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8776007B2 (en) * | 2010-05-07 | 2014-07-08 | Accenture Global Services Limited | Assessment of software code development |
US9952961B2 (en) * | 2015-09-29 | 2018-04-24 | International Business Machines Corporation | Assessing risk of software commits to prioritize verification resources |
-
2019
- 2019-08-30 CN CN201910818970.5A patent/CN110647345B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460681A (zh) * | 2017-02-20 | 2018-08-28 | 阿里巴巴集团控股有限公司 | 一种风险管控方法及装置 |
CN109388376A (zh) * | 2018-09-29 | 2019-02-26 | 平安科技(深圳)有限公司 | 软件开发风险评估方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110647345A (zh) | 2020-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110764993A (zh) | 自动化测试方法及终端设备 | |
CN111062580A (zh) | 一种工作人员与目标项目的匹配方法及电子设备 | |
CN111522728A (zh) | 自动化测试用例的生成方法、电子设备及可读存储介质 | |
CN112668869A (zh) | 一种监控软件开发过程的方法、装置、终端及存储介质 | |
CN114355094B (zh) | 基于多源信息的产品可靠性薄弱环节综合评估方法和装置 | |
CN114996127A (zh) | 固态硬盘固件模块智能化测试方法及系统 | |
CN108920601B (zh) | 一种数据匹配方法及装置 | |
CN110647345B (zh) | 一种针对应用开发的指标测算方法和系统 | |
CN111858377B (zh) | 测试脚本的质量评价方法、装置、电子设备及存储介质 | |
CN112527573B (zh) | 一种接口测试方法、装置及存储介质 | |
CN112286790A (zh) | 一种全链路测试方法、装置、设备和存储介质 | |
CN112052070A (zh) | 应用容器化评估方法、装置、电子设备及存储介质 | |
CN109388564B (zh) | 一种测试方法、装置及电子设备 | |
CN113225218A (zh) | 一种话单质量的核查方法和装置 | |
CN111984519A (zh) | 一种用于业务系统的测试方法及其装置 | |
CN115167842A (zh) | 业务的可视化开发方法、装置、系统、电子设备及介质 | |
CN112486808B (zh) | 一种系统测试方法、装置、电子设备及存储介质 | |
CN115168860A (zh) | 一种等保合规测评方法、装置及计算设备 | |
CN112182502A (zh) | 合规审核方法、装置和设备 | |
CN110704300A (zh) | Tpc-ds自动化测试方法以及tpc-ds测试系统 | |
CN110825632A (zh) | 云计算资源计量数据测试方法、系统、装置及电子设备 | |
CN116070972B (zh) | 汽车零部件抽检的方法、装置、电子设备及存储介质 | |
CN112380125B (zh) | 测试案例的推荐方法、装置、电子设备及可读存储介质 | |
CN109242262A (zh) | 服务插件质量检测的方法、装置、服务器及可读存储介质 | |
CN113535584B (zh) | 一种流程测试方法、平台、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |