CN107168879B - 集中配置管理系统测试报告的生成方法及装置 - Google Patents
集中配置管理系统测试报告的生成方法及装置 Download PDFInfo
- Publication number
- CN107168879B CN107168879B CN201710369731.7A CN201710369731A CN107168879B CN 107168879 B CN107168879 B CN 107168879B CN 201710369731 A CN201710369731 A CN 201710369731A CN 107168879 B CN107168879 B CN 107168879B
- Authority
- CN
- China
- Prior art keywords
- test
- management system
- module
- configuration management
- centralized configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种集中配置管理系统测试报告的生成方法及装置。该方法包括:检测集中配置管理系统的代码是否已更新;若检测到集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,多个待测试操作系统由集中配置管理系统配置;获取多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例;逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果;基于多个测试结果生成测试报告。通过本申请,解决了相关技术中测试报告难以从整体上反映测试情况的问题。
Description
技术领域
本申请涉及系统测试技术领域,具体而言,涉及一种集中配置管理系统测试报告的生成方法及装置。
背景技术
Puppet是一种Linux、Unix平台的集中配置管理系统,使用Ruby语言,可管理配置文件、用户、cron任务、软件包、系统服务等。Puppet把这些系统实体称之为资源,Puppet的设计目标是简化对这些资源的管理以及妥善处理资源间的依赖关系。
在实际生产环境中,将Puppet的资源封装成模块来完成环境的部署。同其他代码一样,模块也需要进行测试才能够保证其功能的正确性。通常情况下,会采用手工方式来进行测试,整理Bug,修复最后上线使用。但是手工方式的效率相对很低,会降低整个产品迭代上线的速度,因此引入自动化测试。在整个自动化测试的过程中,会自动完成相关用例的执行,收集执行的结果并整理成一份可读性较强的测试报告来反馈测试的情况。
Puppet官方网站提供了一种开源的自动化测试化工具Beaker,可用来调度虚拟测试环境来完成自动化测试。Beaker是基于Rspec的开发套件,Rspec在执行完成后执行结果可以通过标准输出,Json,Xml甚至输出一份Html文件来进行保存和展示。本文将Rspec输出的Json结果进行了保存,统计分析,最后渲染成一份可读性强的报告,克服Rspec报告可读性不强的缺点,同时实现报告的可订阅功能。在相关技术里面有描述到,Beaker是基于Rspec的开发套件,Rspec可支持Json,Xml,Html这几种类型的报告。在现有的方案里面,经常使用到的就是利用Rspec来输出一份Html报告。然而,在Rspec报告中可以比较直观的反应单个用例的执行结果,但是在一次自动化测试的过程中,需要的不仅仅是单个用例的测试情况。通常情况下,需要整体上了解测试的情况。总结Rspec测试报告,有如下几方面的不足:没有整体上反应测试的情况,报告主要针对单个用例进行分析,不进行整体的统计分析;报告的可读性不好。对于json格式和xml格式的报告,对普通用户来说是完全不可读的,而其输出的html报告,把所有信息都糅合在一份报告中,很难理出用户关心的内容,尤其是执行错误的报告信息。在Beaker测试过程中,会多次执行Rspec命令,输出多份测试报告,现有技术暂时没有提供方式能够整合多份测试报告的结果。
针对相关技术中测试报告难以从整体上反映测试情况的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种集中配置管理系统测试报告的生成方法及装置,以解决相关技术中测试报告难以从整体上反映测试情况的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种集中配置管理系统测试报告的生成方法。该方法包括:检测集中配置管理系统的代码是否已更新;若检测到所述集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,所述多个待测试操作系统由所述集中配置管理系统配置;获取所述多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例;逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果;基于所述多个测试结果生成测试报告。
进一步地,基于所述多个测试结果生成测试报告包括:对所述多个测试结果进行分析,得到第一目标数据信息和第二目标数据信息,其中,所述第一目标数据信息中至少包括:测试用例的数量、测试失败的数量和测试成功的数量,所述第二目标数据信息中至少包括:每个待测试操作系统中每个模块的测试信息和对待测试操作系统中模块测试失败的信息;将所述第一目标数据信息和所述第二目标数据信息填充至预设模板中,生成所述测试报告。
进一步地,逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果之前,所述方法还包括:生成与每个待测试操作系统中每个模块对应的目标文件夹,其中,所述目标文件夹用于存储对应的模块的测试结果;确定每个目标文件夹的存储路径。
进一步地,逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果包括:确定当前正在执行测试用例的模块;基于所述当前正在执行测试用例的模块调整其测试结果指向的目标文件夹;将对当前正在执行测试用例的模块的测试结果逐条写入指向的所述目标文件夹下。
进一步地,在获取每个待测试操作系统中每个模块对应的测试用例之前,所述方法还包括:获取更新后的所述集中配置管理系统的代码;将所述集中配置管理系统的代码逐次同步至缓存区中;在获取每个待测试操作系统中每个模块对应的测试用例之后,所述方法还包括:将所述缓存区中更新后的代码移动至工作区,根据所述测试用例和所述更新后的代码对对应的模块进行测试,其中,所述工作区是所述集中配置管理系统的代码执行时的目录。
进一步地,所述集中配置管理系统的代码包括多个分支代码,将所述集中配置管理系统的代码逐次同步至缓存区中包括:确定待同步至所述缓存区中的当前分支代码;判断在所述缓存区中是否存在以所述当前分支代码命名的文件夹;如果在所述缓存区中不存在以所述当前分支代码命名的文件夹,在所述缓存区中创建以当前分支代码命名的文件夹,并将所述当前分支代码同步至所述缓存区中以所述当前分支代码命名的文件夹下。
为了实现上述目的,根据本申请的另一方面,提供了一种集中配置管理系统测试报告的生成装置。该装置包括:检测单元,用于检测集中配置管理系统的代码是否已更新;确定单元,用于若检测到所述集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,所述多个待测试操作系统由所述集中配置管理系统配置;第一获取单元,用于获取所述多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例;测试单元,用于逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果;生成单元,用于基于所述多个测试结果生成测试报告。
进一步地,所述生成单元包括:分析模块,用于对所述多个测试结果进行分析,得到第一目标数据信息和第二目标数据信息,其中,所述第一目标数据信息中至少包括:测试用例的数量、测试失败的数量和测试成功的数量,所述第二目标数据信息中至少包括:每个待测试操作系统中每个模块的测试信息和对待测试操作系统中模块测试失败的信息;填充模块,用于将所述第一目标数据信息和所述第二目标数据信息填充至预设模板中,生成所述测试报告。
进一步地,所述装置还包括:第二获取单元,用于在获取每个待测试操作系统中每个模块对应的测试用例之前,获取更新后的所述集中配置管理系统的代码;同步单元,用于将所述集中配置管理系统的代码逐次同步至缓存区中;所述装置还包括:移动单元,用于在获取每个待测试操作系统中每个模块对应的测试用例之后,将所述缓存区中更新后的代码移动至工作区,根据所述测试用例和所述更新后的代码对对应的模块进行测试,其中,所述工作区是所述集中配置管理系统的代码执行时的目录。
进一步地,所述集中配置管理系统的代码包括多个分支代码,所述同步单元包括:确定模块,用于确定待同步至所述缓存区中的当前分支代码判断模块,用于判断在所述缓存区中是否存在以所述当前分支代码命名的文件夹;同步模块,用于在所述缓存区中不存在以所述当前分支代码命名的文件夹的情况下,在所述缓存区中创建以当前分支代码命名的文件夹,并将所述当前分支代码同步至所述缓存区中以所述当前分支代码命名的文件夹下。
为了实现上述目的,根据本申请的另一方面,提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行上述任意一项所述的集中配置管理系统测试报告的生成方法。
为了实现上述目的,根据本申请的另一方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述任意一项所述的集中配置管理系统测试报告的生成方法。
为了实现上述目的,根据本申请的另一方面,提供了一种终端,包括:一个或多个处理器,存储器,显示装置以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行上述任意一项所述的集中配置管理系统测试报告的生成方法。
通过本申请,采用以下步骤:检测集中配置管理系统的代码是否已更新;若检测到集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,多个待测试操作系统由集中配置管理系统配置;获取多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例;逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果;基于多个测试结果生成测试报告,解决了相关技术中测试报告难以从整体上反映测试情况的问题。通过在检测到集中配置管理系统的代码已更新时,触发对待测试操作系统进行测试,并基于测试得到的多个测试结果生成测试报告,进而达到了生成的测试报告可以从整体上反映测试情况的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的集中配置管理系统测试报告的生成方法的流程图;
图2是根据本申请实施例提供的集中配置管理系统测试报告的生成方法中缓存区结构的示意图;
图3是根据本申请实施例提供的集中配置管理系统测试报告的生成方法中代码从缓存区搬运到工作区的示意图;
图4是根据本申请实施例提供的集中配置管理系统测试报告的生成方法中测试用例结构图;
图5是根据本申请实施例提供的集中配置管理系统测试报告的生成方法中测试结果保存目录的示意图;
图6是根据本申请实施例提供的集中配置管理系统测试报告的生成方法中软链接结构的示意图;
图7是根据本申请实施例提供的集中配置管理系统测试报告的生成方法中测试结果样式的示意图;
图8是根据本申请实施例提供的集中配置管理系统测试报告的生成方法中第一目标数据信息的示意图;
图9是根据本申请实施例提供的集中配置管理系统测试报告的生成方法中第二目标数据信息的示意图;以及
图10是根据本申请实施例提供的集中配置管理系统测试报告的生成装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:
Vagrant:一个基于Ruby的工具,用于创建和部署虚拟化开发环境。它使用Oracle的开源VirtualBox虚拟化系统,使用Chef创建自动化虚拟环境。
Beaker:Puppet Labs中一款开源的自动化测试工具,用于测试大型复杂的puppet系统。它可以通过本地的虚拟主机或者云平台来搭建测试环境,一旦测试环境运行起来,Beaker可以用重复的方式来执行测试用例。
ERB:Embedded RuBy是Ruby的一项功能,允许开发者很方便的根据模板生成任何类型任何数量的文本。模板本身与Ruby代码合并,通过文本中嵌入的变量来进行替换和控制,使得模板很容易编写和维护。
Git:一个开源的分布式版本控制系统,可以有效、高速的处理从很小到非常大的项目版本管理。
实施例1
根据本申请的实施例,提供了一种集中配置管理系统测试报告的生成方法。
图1是根据本申请实施例的集中配置管理系统测试报告的生成方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,检测集中配置管理系统的代码是否已更新。
本申请的实施例中,一旦集中配置管理系统(Puppet)中的代码发生变化(即检测到集中配置管理系统的代码已更新),检测到更新后利用Beaker来进行自动化测试,,在本申请实施例中的预先在Gitlab上配置了一个钩子(Hook),利用Gitlab的钩子(Hook)功能,每次有代码提交会发送一个Post请求给测试机,触发自动化测试。在本步骤中判断集中配置管理系统的代码发生变化,即为检测集中配置管理系统的代码是否已更新。
步骤S102,若检测到集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,多个待测试操作系统由集中配置管理系统配置。
在本申请中的待测试操作系统由集中配置管理系统配置。一旦检测到集中配置管理系统的代码已更新,由集中配置管理系统配置的操作系统的相关配置就会发生变化,因此,需要对其进行测试,因此,若检测到集中配置管理系统的代码已更新,则确定需要根据集中配置管理系统的代码进行测试的操作系统,将其作为待测试操作系统,这里确定多个待测试操作系统的原因是因为集中配置管理系统可以应用于不同的操作系统。
步骤S103,获取多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例。
由于每个待测试操作系统中包括多个模块,在对每个操作系统进行测试时会将具体的模块进行拆分,针对具体的模块采用对应的测试用例,因此一次测试完成需要运行多组测试用例。因此,在检测到集中配置管理系统的代码已更新后,需要获取多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例。
可选地,为了避免正在进行的测试代码被后面提交的测试代码所覆盖,在本申请实施例提供的集中配置管理系统测试报告的生成方法中,在获取每个待测试操作系统中每个模块对应的测试用例之前,该方法还包括:获取更新后的集中配置管理系统的代码;将集中配置管理系统的代码逐次同步至缓存区中;在获取每个待测试操作系统中每个模块对应的测试用例之后,该方法还包括:将缓存区中更新后的代码移动至工作区,根据测试用例和更新后的代码对对应的模块进行测试,其中,工作区是集中配置管理系统的代码执行时的目录。
例如,在测试机收到来自于Gitlab的消息时,在本申请实施例中同步Gitlab上的代码到测试机的缓存区,在正式开始测试时,将代码从缓存区移动到工作区,根据测试用例和更新后的代码对对应的模块进行测试。
可选地,在本申请实施例提供的集中配置管理系统测试报告的生成方法中,集中配置管理系统的代码包括多个分支代码,将集中配置管理系统的代码逐次同步至缓存区中包括:确定待同步至缓存区中的当前分支代码;判断在缓存区中是否存在以当前分支代码命名的文件夹;如果在缓存区中不存在以当前分支代码命名的文件夹,在缓存区中创建以当前分支代码命名的文件夹,并将当前分支代码同步至缓存区中以当前分支代码命名的文件夹下。
例如,在缓存区里,以代码分支为名创建文件夹,在文件夹里面存放了此分支的代码。缓存区结构的示意图,如图2所示。例如有4个分支代码在缓存区中,分别为BRANCH_A、BRANCH_B、BRANCH_C和BRANCH_D,代码的更新分为两种情况:当前更新的分支代码还在缓存区中,这种情况表明此分支的代码还未来得及测试,又有新的提交,此时新提交的代码会去覆盖已经存在的代码。例如BRANCH_A已经存在缓存区,当有程序继续向BRANCH_A提交代码时,此时新的代码会覆盖BRANCH_A这个目录。当前更新的分支代码在缓存区不存在,此时会以当前分支为名创建文件夹,并且把当前分支的代码同步到此文件夹。如果图2中所示的BRANCH_D之前不存在,假如当前更新的分支为BRANCH_D,则创建BRANCH_D文件夹,然后将代码同步到此文件夹中。
当在工作区的执行的任务测试完毕之后,将缓存区中最早缓存的代码移动到工作区,执行测试任务。如图3所示,代码从缓存区搬运到工作区,左边虚线框表示被移动的文件夹在执行移动操作后就不再出现在缓存区。
步骤S104,逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果。
在多个操作系统上需要分别执行测试用例,例如10个操作系统,测试用例有100条,10个操作系统每个都需要把这100条测试用例运行一次,因此需要运行100*10=100次。在进行用例设计时,将测试用例根据具体的功能来进行分组,例如10条测试用例测试网络相关功能,4条用例防火墙操作等等。如图4所示,在执行测试用例时,依次在宿主机上开启测试虚拟机,例如Debian7,然后按照模块(网络模块,防火墙模块)依次再执行测试用例,每次执行测试用例后会返回当前测试用例的执行结果。
可选地,为了将测试结果进行有序组织,在本申请实施例提供的集中配置管理系统测试报告的生成方法中,逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果之前,该方法还包括:生成与每个待测试操作系统中每个模块对应的目标文件夹,其中,目标文件夹用于存储对应的模块的测试结果;确定每个目标文件夹的存储路径。逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果包括:确定当前正在执行测试用例的模块;基于当前正在执行测试用例的模块调整其测试结果指向的目标文件夹;将对当前正在执行测试用例的模块的测试结果逐条写入指向的目标文件夹下。
在测试过程中,每执行一个测试用例时,都会产生一个当前测试用例的测试结果。为了在后期整理结果时方便知道某个测试结果是具体某台操作系统中执行某个模块中的测试用例产生的。在本申请实施例中在具体用例执行时,在本申请实施例中设置一个总的调度模块,该调度模块负责调度具体的测试操作系统执行具体的测试用例。而具体的执行依靠的是执行测试用例,同时报告也是这个测试用例产生的。
在本申请中将测试用例与测试结果进行设置关联。具体地,调度模块在开始执行时,会根据需要执行的操作系统及模块初始化一个文件夹。例如图4中需要在Debian7,Debian8,Debian9中分别执行网络模块,防火墙模块以及文件权限模块。将初始化出来一个如图5所示的目录结构。例如,测试结果保存目录为Reports文件夹,初始化完成之后在Reports目录下将会根据测试的操作系统类型,初始化出Debian7,Debian8,Debian9三个目录,然后在Debian7,Debian8,Debian9三个目录下分别会存在Network,Filewall以及FilePermission三个文件。在调度模块开始调度某个虚拟机开始执行用例时,调度模块会做执行两件任务,第一,调度模块会在此操作系统对应的文件目录创建一个指向文件夹的软链接,在本申请实施例中将此软链接命名为LinkMachine。当现在需要开始在Debian7虚拟机执行时,将LinkMachine指向Debian7目录,此时的效果是,当访问Reports/LinkMachine时,实际访问的是Reports/Debian7目录。第二,调度模块会在Reports/Debian7中创建一个指向文件的软链接,将其命名为LinkModule,例如现在测试的是Network模块中的测试用例,则LinkModule指向Network文件。此时当访问Reports/LinkMachine/LinkModule这个文件,实际上访问的是Reports/Debian7/Network文件,如图6所示。
顶层模块在每次调度执行时,会根据当前运行的测试系统和模块更改指针指向,例如执行Debian8操作系统中的Firewall模块,则会将LinkMachine指向Debian8文件夹,将LinkModule指向Firewall文件。具体执行测试的实例只需要将测试结果逐条写入到Reports/LinkMachine/LinkModule文件中。
需要说明的是,为了减小了系统性能的开销,提升测试处理效率,在本申请实施例中也可以将测试生成的测试结果直接作为一个变量保存起来。
步骤S105,基于多个测试结果生成测试报告。
根据多个测试结果整理出一份可视化程度高的测试报告。生成的测试报告可以从整体上反映测试情况的效果。
可选地,在本申请实施例提供的集中配置管理系统测试报告的生成方法中,基于多个测试结果生成测试报告包括:对多个测试结果进行分析,得到第一目标数据信息和第二目标数据信息,其中,第一目标数据信息中至少包括:测试用例的数量、测试失败的数量和测试成功的数量,第二目标数据信息中至少包括:每个待测试操作系统中每个模块的测试信息和对待测试操作系统中模块测试失败的信息;将第一目标数据信息和第二目标数据信息填充至预设模板中,生成测试报告。
具体地,测试完成之后,测试结果将会被组织成如图7的形式,每个模块中的测试用例执行结果将会保存在对应的模块文件中,例如,在Debian7中执行Network模块中的N_Case_1的结果将会被保存在Debian7目录下的Network文件中,记录成N_Caseresult_1这一条记录。结果统计从测试系统和模块两个维度进行统计,扫描某个操作系统例如Debian7目录下所有的文件,然后逐条读取文件中的执行结果。整体上统计此次执行总共的用例数,执行失败数和成功数。并且分模块来整理成功失败的用例数,对于失败的用例还会将失败的原因进行统计。
根据上述汇总的数据渲染出一份直观的测试报告。可以采用静态网页是展示报告的形式,会将静态网页制作成一个报告的模板,在测试完成之后,将数据填充在模板中则可渲染出测试报告。
在本申请实施例中的静态网页主要包括两个页面,一个是信息总览页面,至少包括测试用例的总数,成功多少,失败多少。另一个则为各个操作系统下的详细测试信息,里面至少包括具体模块的测试信息,失败用例的信息。如图8所示,图8为本申请实施例生成的测试报告的示意图。
在本申请中的预设模板是利用上述的静态网页,将一些数据提取出来,然后更换成Ruby ERB的语法。可以将上述的操作系统,测试用例执行情况制作成如图9所示的预设模板。图9中的is_success,passed这些都是ERB模板变量。
在每次测试完成之后,利用汇总的测试数据,填充到上述的预设模板中,例如is_success=”失败”,passed=120填充到模板中,即可渲染成本申请实施例中的测试报告。通过上述操作,实现了整理自动化测试的结果,包括执行失败和成功的统计条目,失败用例对应模块或者接口的相关信息,用于后续问题的跟进和调试。
在本申请实施例中利用Beaker-rspec作为核心的测试技术,在此基础上以Vagrant作为测试的载体来运行测试,解决多个操作系统的测试问题。通过新增或者修改模块,提交到Git之后自动触发测试的运行,在测试过程中根据不同的操作系统来对测试结果进行归类。最终进行汇总和分析,渲染成一份可读性强且包含调试信息的测试报告,进而达到了生成的测试报告可以从整体上反映测试情况的效果。
综上所述,本申请实施例提供的集中配置管理系统测试报告的生成方法,通过检测集中配置管理系统的代码是否已更新;若检测到集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,多个待测试操作系统由集中配置管理系统配置;获取多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例;逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果;基于多个测试结果生成测试报告,解决了相关技术中测试报告难以从整体上反映测试情况的问题。通过在检测到集中配置管理系统的代码已更新时,触发对待测试操作系统进行测试,并基于测试得到的多个测试结果生成测试报告,进而达到了生成的测试报告可以从整体上反映测试情况的效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例2
本申请实施例还提供了一种集中配置管理系统测试报告的生成装置,需要说明的是,本申请实施例的集中配置管理系统测试报告的生成装置可以用于执行本申请实施例所提供的用于集中配置管理系统测试报告的生成方法。以下对本申请实施例提供的集中配置管理系统测试报告的生成装置进行介绍。
图10是根据本申请实施例的集中配置管理系统测试报告的生成装置的示意图。如图10所示,该装置包括:检测单元10、确定单元20、第一获取单元30、测试单元40和生成单元50。
具体地,检测单元10,用于检测集中配置管理系统的代码是否已更新。
确定单元20,用于若检测到集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,多个待测试操作系统由集中配置管理系统配置。
第一获取单元30,用于获取多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例。
测试单元40,用于逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果。
生成单元50,用于基于多个测试结果生成测试报告。
本申请实施例提供的集中配置管理系统测试报告的生成装置,通过检测单元10检测集中配置管理系统的代码是否已更新;确定单元20若检测到集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,多个待测试操作系统由集中配置管理系统配置;第一获取单元30获取多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例;测试单元40逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果;生成单元50基于多个测试结果生成测试报告,解决了相关技术中测试报告难以从整体上反映测试情况的问题。通过在检测到集中配置管理系统的代码已更新时,触发对待测试操作系统进行测试,并基于测试得到的多个测试结果生成测试报告,进而达到了生成的测试报告可以从整体上反映测试情况的效果。
可选地,在本申请实施例提供的集中配置管理系统测试报告的生成装置中,生成单元50包括:分析模块,用于对多个测试结果进行分析,得到第一目标数据信息和第二目标数据信息,其中,第一目标数据信息中至少包括:测试用例的数量、测试失败的数量和测试成功的数量,第二目标数据信息中至少包括:每个待测试操作系统中每个模块的测试信息和对待测试操作系统中模块测试失败的信息;填充模块,用于将第一目标数据信息和第二目标数据信息填充至预设模板中,生成测试报告。
可选地,在本申请实施例提供的集中配置管理系统测试报告的生成装置中,该装置还包括:第二获取单元,用于在获取每个待测试操作系统中每个模块对应的测试用例之前,获取更新后的集中配置管理系统的代码;同步单元,用于将集中配置管理系统的代码逐次同步至缓存区中;其中,该装置还包括:移动单元,用于在获取每个待测试操作系统中每个模块对应的测试用例之后,将缓存区中更新后的代码移动至工作区,根据测试用例和更新后的代码对对应的模块进行测试,其中,工作区是集中配置管理系统的代码执行时的目录。
可选地,在本申请实施例提供的集中配置管理系统测试报告的生成装置中,集中配置管理系统的代码包括多个分支代码,同步单元包括:确定模块,用于确定待同步至缓存区中的当前分支代码;判断模块,用于判断在缓存区中是否存在以当前分支代码命名的文件夹;同步模块,用于在缓存区中不存在以当前分支代码命名的文件夹的情况下,在缓存区中创建以当前分支代码命名的文件夹,并将当前分支代码同步至缓存区中以当前分支代码命名的文件夹下。
所述集中配置管理系统测试报告的生成装置包括处理器和存储器,上述检测单元10、确定单元20、第一获取单元30、测试单元40和生成单元50等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来生成集中配置管理系统测试报告。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述集中配置管理系统测试报告的生成方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述集中配置管理系统测试报告的生成方法。
本发明实施例提供了一种终端,包括:一个或多个处理器,存储器,显示装置以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行所述的集中配置管理系统测试报告的生成方法。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:检测集中配置管理系统的代码是否已更新;若检测到所述集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,所述多个待测试操作系统由所述集中配置管理系统配置;获取所述多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例;逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果;基于所述多个测试结果生成测试报告。
基于所述多个测试结果生成测试报告包括:对所述多个测试结果进行分析,得到第一目标数据信息和第二目标数据信息,其中,所述第一目标数据信息中至少包括:测试用例的数量、测试失败的数量和测试成功的数量,所述第二目标数据信息中至少包括:每个待测试操作系统中每个模块的测试信息和对待测试操作系统中模块测试失败的信息;将所述第一目标数据信息和所述第二目标数据信息填充至预设模板中,生成所述测试报告。
逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果之前,所述方法还包括:生成与每个待测试操作系统中每个模块对应的目标文件夹,其中,所述目标文件夹用于存储对应的模块的测试结果;确定每个目标文件夹的存储路径。
逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果包括:确定当前正在执行测试用例的模块;基于所述当前正在执行测试用例的模块调整其测试结果指向的目标文件夹;将对当前正在执行测试用例的模块的测试结果逐条写入指向的所述目标文件夹下。
在获取每个待测试操作系统中每个模块对应的测试用例之前,所述方法还包括:获取更新后的所述集中配置管理系统的代码;将所述集中配置管理系统的代码逐次同步至缓存区中;在获取每个待测试操作系统中每个模块对应的测试用例之后,所述方法还包括:将所述缓存区中更新后的代码移动至工作区,根据所述测试用例和所述更新后的代码对对应的模块进行测试,其中,所述工作区是所述集中配置管理系统的代码执行时的目录。
所述集中配置管理系统的代码包括多个分支代码,将所述集中配置管理系统的代码逐次同步至缓存区中包括:确定待同步至所述缓存区中的当前分支代码;判断在所述缓存区中是否存在以所述当前分支代码命名的文件夹;如果在所述缓存区中不存在以所述当前分支代码命名的文件夹,在所述缓存区中创建以当前分支代码命名的文件夹,并将所述当前分支代码同步至所述缓存区中以所述当前分支代码命名的文件夹下。本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个操作系统,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种集中配置管理系统测试报告的生成方法,其特征在于,包括:
检测集中配置管理系统的代码是否已更新;
若检测到所述集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,所述多个待测试操作系统由所述集中配置管理系统配置;
获取所述多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例;
逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果;
基于所述多个测试结果生成测试报告,
在获取每个待测试操作系统中每个模块对应的测试用例之前,所述方法还包括:获取更新后的所述集中配置管理系统的代码;将所述集中配置管理系统的代码逐次同步至缓存区中;在获取每个待测试操作系统中每个模块对应的测试用例之后,所述方法还包括:将所述缓存区中更新后的代码移动至工作区,根据所述测试用例和所述更新后的代码对对应的模块进行测试,其中,所述工作区是所述集中配置管理系统的代码执行时的目录。
2.根据权利要求1所述的方法,其特征在于,基于所述多个测试结果生成测试报告包括:
对所述多个测试结果进行分析,得到第一目标数据信息和第二目标数据信息,其中,所述第一目标数据信息中至少包括:测试用例的数量、测试失败的数量和测试成功的数量,所述第二目标数据信息中至少包括:每个待测试操作系统中每个模块的测试信息和对待测试操作系统中模块测试失败的信息;
将所述第一目标数据信息和所述第二目标数据信息填充至预设模板中,生成所述测试报告。
3.根据权利要求1所述的方法,其特征在于,逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果之前,所述方法还包括:
生成与每个待测试操作系统中每个模块对应的目标文件夹,其中,所述目标文件夹用于存储对应的模块的测试结果;
确定每个目标文件夹的存储路径。
4.根据权利要求3所述的方法,其特征在于,逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果包括:
确定当前正在执行测试用例的模块;
基于所述当前正在执行测试用例的模块调整其测试结果指向的目标文件夹;
将对当前正在执行测试用例的模块的测试结果逐条写入指向的所述目标文件夹下。
5.根据权利要求1所述的方法,其特征在于,所述集中配置管理系统的代码包括多个分支代码,将所述集中配置管理系统的代码逐次同步至缓存区中包括:
确定待同步至所述缓存区中的当前分支代码;
判断在所述缓存区中是否存在以所述当前分支代码命名的文件夹;
如果在所述缓存区中不存在以所述当前分支代码命名的文件夹,在所述缓存区中创建以当前分支代码命名的文件夹,并将所述当前分支代码同步至所述缓存区中以所述当前分支代码命名的文件夹下。
6.一种集中配置管理系统测试报告的生成装置,其特征在于,包括:
检测单元,用于检测集中配置管理系统的代码是否已更新;
确定单元,用于若检测到所述集中配置管理系统的代码已更新,确定多个待测试操作系统,其中,所述多个待测试操作系统由所述集中配置管理系统配置;
第一获取单元,用于获取所述多个待测试系统中的每个待测试操作系统中每个模块对应的测试用例;
测试单元,用于逐次采用每个测试用例对对应的模块进行测试,得到多个测试结果;
生成单元,用于基于所述多个测试结果生成测试报告,
所述装置还包括:第二获取单元,用于在获取每个待测试操作系统中每个模块对应的测试用例之前,获取更新后的所述集中配置管理系统的代码;同步单元,用于将所述集中配置管理系统的代码逐次同步至缓存区中;
所述装置还包括:移动单元,用于在获取每个待测试操作系统中每个模块对应的测试用例之后,将所述缓存区中更新后的代码移动至工作区,根据所述测试用例和所述更新后的代码对对应的模块进行测试,其中,所述工作区是所述集中配置管理系统的代码执行时的目录。
7.根据权利要求6所述的装置,其特征在于,所述生成单元包括:
分析模块,用于对所述多个测试结果进行分析,得到第一目标数据信息和第二目标数据信息,其中,所述第一目标数据信息中至少包括:测试用例的数量、测试失败的数量和测试成功的数量,所述第二目标数据信息中至少包括:每个待测试操作系统中每个模块的测试信息和对待测试操作系统中模块测试失败的信息;
填充模块,用于将所述第一目标数据信息和所述第二目标数据信息填充至预设模板中,生成所述测试报告。
8.根据权利要求6所述的装置,其特征在于,所述集中配置管理系统的代码包括多个分支代码,所述同步单元包括:
确定模块,用于确定待同步至所述缓存区中的当前分支代码;
判断模块,用于判断在所述缓存区中是否存在以所述当前分支代码命名的文件夹;
同步模块,用于在所述缓存区中不存在以所述当前分支代码命名的文件夹的情况下,在所述缓存区中创建以当前分支代码命名的文件夹,并将所述当前分支代码同步至所述缓存区中以所述当前分支代码命名的文件夹下。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至5中任意一项所述的集中配置管理系统测试报告的生成方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述的集中配置管理系统测试报告的生成方法。
11.一种终端,其特征在于,包括:一个或多个处理器,存储器,显示装置以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求1至5中任意一项所述的集中配置管理系统测试报告的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710369731.7A CN107168879B (zh) | 2017-05-23 | 2017-05-23 | 集中配置管理系统测试报告的生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710369731.7A CN107168879B (zh) | 2017-05-23 | 2017-05-23 | 集中配置管理系统测试报告的生成方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107168879A CN107168879A (zh) | 2017-09-15 |
CN107168879B true CN107168879B (zh) | 2020-03-10 |
Family
ID=59820402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710369731.7A Active CN107168879B (zh) | 2017-05-23 | 2017-05-23 | 集中配置管理系统测试报告的生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107168879B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109101680B (zh) * | 2018-06-26 | 2022-11-25 | 飞腾信息技术有限公司 | 基于GitLab-CI的FPGA原型自动验证方法及系统 |
CN109726089A (zh) * | 2018-08-17 | 2019-05-07 | 平安普惠企业管理有限公司 | 测试报告生成方法、设备、装置及计算机可读存储介质 |
CN109491916B (zh) * | 2018-11-12 | 2022-03-25 | 北京东土科技股份有限公司 | 一种操作系统的测试方法、装置、设备、系统和介质 |
CN109800119A (zh) * | 2018-12-25 | 2019-05-24 | 深圳市元征科技股份有限公司 | 一种产品功能测试方法及装置 |
CN111400159A (zh) * | 2018-12-29 | 2020-07-10 | 北京奇虎科技有限公司 | 测试报告处理方法、装置、电子设备及计算机存储介质 |
CN109992506B (zh) * | 2019-03-18 | 2024-05-31 | 平安科技(深圳)有限公司 | 调度测试方法、装置、计算机设备和存储介质 |
CN109933770A (zh) * | 2019-03-20 | 2019-06-25 | 浪潮商用机器有限公司 | 一种测试报告生成方法、系统及电子设备和存储介质 |
CN111078543B (zh) * | 2019-12-02 | 2023-07-07 | 贝壳技术有限公司 | 系统动态化测试方法及测试装置 |
CN116541270B (zh) * | 2023-03-27 | 2024-01-02 | 深圳国家金融科技测评中心有限公司 | 一种操作系统的适配验证测试方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090199047A1 (en) * | 2008-01-31 | 2009-08-06 | Yahoo! Inc. | Executing software performance test jobs in a clustered system |
CN102999423B (zh) * | 2012-11-15 | 2016-03-02 | 华为技术有限公司 | 一种多核测试的方法和装置 |
GB2517717A (en) * | 2013-08-29 | 2015-03-04 | Ibm | Testing of combined code changesets in a software product |
CN105183644B (zh) * | 2015-08-20 | 2017-10-24 | 上海斐讯数据通信技术有限公司 | 一种多任务集成自动化测试系统及方法 |
CN105205003A (zh) * | 2015-10-28 | 2015-12-30 | 努比亚技术有限公司 | 一种基于集群化系统的自动化测试方法和装置 |
-
2017
- 2017-05-23 CN CN201710369731.7A patent/CN107168879B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107168879A (zh) | 2017-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107168879B (zh) | 集中配置管理系统测试报告的生成方法及装置 | |
US9703694B2 (en) | Techniques for testing software | |
US20190294536A1 (en) | Automated software deployment and testing based on code coverage correlation | |
US20190294531A1 (en) | Automated software deployment and testing based on code modification and test failure correlation | |
CN106708740B (zh) | 脚本测试方法及装置 | |
US20130263090A1 (en) | System and method for automated testing | |
US20200341752A1 (en) | Electronic apparatus and method for controlling thereof | |
CN108897571B (zh) | 程序打包部署方法、装置、系统、电子设备及存储介质 | |
CN108776643B (zh) | 一种基于版本控制流程的目标代码合并控制方法及系统 | |
CN113051155A (zh) | 一种自动化测试平台的控制系统和控制方法 | |
CN113778898B (zh) | 用户界面自动化测试方法、装置、电子设备及存储介质 | |
CN112835924A (zh) | 实时计算任务处理方法、装置、设备及存储介质 | |
WO2019056720A1 (zh) | 自动化测试用例管理方法、装置、设备及存储介质 | |
CN107704389B (zh) | 一种页面测试方法及装置 | |
CN107480050B (zh) | 一种自动测试更新包的测试方法 | |
US11550697B2 (en) | Cross jobs failure dependency in CI/CD systems | |
CN114185874A (zh) | 一种基于大数据的建模方法、装置、开发框架及设备 | |
Donszelmann et al. | ART ATLAS Release Tester using the Grid | |
US20190361800A1 (en) | Managing resources used during a development pipeline | |
CN111881056A (zh) | 一种自动化测试框架及测试方法 | |
US11892941B2 (en) | Self-learning application test automation | |
US20210349808A1 (en) | Source quality check service | |
US11720348B2 (en) | Computing node allocation based on build process specifications in continuous integration environments | |
US11809897B2 (en) | Chained triggering of builds in continuous integration environments | |
CN115048083A (zh) | 组件的可视化方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |