CN107844424A - 基于模型的测试系统及方法 - Google Patents
基于模型的测试系统及方法 Download PDFInfo
- Publication number
- CN107844424A CN107844424A CN201711133461.6A CN201711133461A CN107844424A CN 107844424 A CN107844424 A CN 107844424A CN 201711133461 A CN201711133461 A CN 201711133461A CN 107844424 A CN107844424 A CN 107844424A
- Authority
- CN
- China
- Prior art keywords
- model
- test
- case
- coverage rate
- rate analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3676—Test management for coverage analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Abstract
本发明提供了基于模型的测试系统及方法,涉及航空电子系统测试技术领域,包括:基于测试需求,根据原设计模型数据生成测试用例模型,根据测试用例模型生成配置文件,在适配的测试平台上加载配置文件并执行测试用例模型,获取测试结果信息,根据测试结果信息,将未通过测试需求的测试用例模型管理为测试缺陷记录,将互相对应的测试需求和测试用例模型进行关联,建立映射关系,根据映射关系计算需求覆盖率分析结果,根据测试用例模型计算测试用例覆盖率分析结果,根据测试缺陷记录计算缺陷覆盖率分析结果。本发明可以提高航电系统测试的工作效率、管理效率和自动化程度,降低错误率。
Description
技术领域
本发明涉及航空电子系统测试技术领域,尤其是涉及基于模型的测试系统及方法。
背景技术
现阶段综合航电系统的架构复杂、使用场景繁多、数据量巨大。综合航电系统仿真试验是一项复杂的系统工程,需要进行全面的、严谨的系统测试分析和设计。在以往的航空电子系统研制过程中,往往由于周期、进度的原因而忽略了对综合测试的分析和设计,传统方法采用人工方式构建测试用例,简单地将系统详细设计文件和ICD(Interface ControlDocument,接口控制文件)转换成综合程序作为测试的依据,由测试人员在座舱中完全由人工进行座舱画面检查、接口数据检查和分析判断,测试项目可能存在不完整、不全面。传统测试手段无法提供统一的设计、测试数据来源,通常仅考虑对ICD设计的继承与验证,无法追溯和验证设计上游的架构设计、行为逻辑设计结果,无法满足目前综合航电对可追溯测试验证的需求。且将文档作为设计和测试部门间的数据交流模式,难以统一测试数据来源且基于文本描述生成地综合程序具有二义性,测试结果难以重复重现和追溯,手工测试中大量枯燥地重复操作使得工作效率低、随意性大,出错地可能性也会增大。测试人员将面对大量的重复性工作量,在这样的条件下进行测试方案设计,除了效率低下,容易出错之外,要保证需求、文档、测试用例和测试结果的一致性和准确性更加困难。对整个航电系统而言,传统测试系统已经难以对系统功能和性能要求实现覆盖性测试。
发明内容
有鉴于此,本发明的目的在于提供基于模型的测试系统及方法,以提高工作效率、管理效率和自动化程度,降低错误率。
第一方面,本发明实施例提供了一种基于模型的测试系统,其中,包括:
模型生成单元,用于基于测试需求,根据原设计模型数据生成测试用例模型;
配置文件生成单元,与所述模型生成单元相连,用于根据所述测试用例模型生成配置文件;
测试单元,与所述配置文件生成单元相连,用于在适配的测试平台上加载所述配置文件并执行所述测试用例模型,获取测试结果信息;
结果管理单元,与所述测试单元相连,用于根据所述测试结果信息,将未通过所述测试需求的所述测试用例模型管理为测试缺陷记录;
映射单元,与所述结果管理单元相连,用于将互相对应的所述测试需求和所述测试用例模型进行关联,建立映射关系;
需求覆盖率分析单元,与所述映射单元相连,用于根据所述映射关系计算需求覆盖率分析结果;
用例覆盖率分析单元,与所述结果管理单元相连,用于根据所述测试用例模型计算测试用例覆盖率分析结果;
缺陷覆盖率分析单元,与所述结果管理单元相连,用于根据所述测试缺陷记录计算缺陷覆盖率分析结果。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述原设计模型数据是通过原数据解析单元得到的,所述原数据解析单元,与所述模型生成单元相连,用于:
对行为逻辑模型建模工具的接口API进行解析,获取行为逻辑模型数据;
对接口设计工具的API进行解析,获取接口设计模型数据;
根据所述行为逻辑模型数据和所述接口设计模型数据得到所述原设计模型数据。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述测试用例模型包括功能测试用例模型,所述模型生成单元包括:
基于所述测试需求,读取行为逻辑模型数据中的所有用例,并根据每个所述用例生成对应的功能测试项目;
依次遍历每个所述用例下的顺序图,并根据所述顺序图生成从属于所述功能测试项目的场景用例;
依次遍历每个所述顺序图的顺序分支结构,并根据所述顺序分支结构生成从属于所述场景用例的所述功能测试用例模型。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述测试用例模型还包括接口测试用例模型,所述模型生成单元还包括:
基于所述测试需求,读取接口设计模型数据中的所有信号级信息;
根据所述信号级信息对所述顺序图进行遍历,获取所述顺序图中以所述信号级信息为激励的片段用例;
根据所述信号级信息的参数类型和所述片段用例生成所述接口测试用例模型。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述需求覆盖率分析单元包括:
根据所述映射关系对所述测试需求进行解析,获取需求条目;
选择待分析的型号模型,并在所述型号模型下,基于所述映射关系对所述测试用例模型所覆盖的所述需求条目进行计数,得到第一数量;
在所述型号模型下,对当前全部的所述需求条目进行计数,得到第二数量;
统计所述第一数量在所述第二数量中所占的比率,得到需求覆盖率;
将所述需求覆盖率按照表格和饼图的方式进行展现,得到所述需求覆盖率分析结果。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述测试用例覆盖率分析结果包括接口测试用例覆盖率分析结果,所述测试用例模型为接口测试用例模型,所述用例覆盖率分析单元包括接口测试用例覆盖率分析单元,所述接口测试用例覆盖率分析单元与所述结果管理单元相连,用于:
选择待分析的设备;
在所述待分析的设备下,从所述测试结果信息中统计已完成执行的所述接口测试用例模型的数量,得到第三数量;
在所述设备下,对当前全部的所述接口测试用例模型进行计数,得到第四数量;
统计所述第三数量在所述第四数量中所占的比率,得到接口测试用例覆盖率;
将所述接口测试用例覆盖率按照表格和饼图的方式进行展现,得到所述接口测试用例覆盖率分析结果。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述测试用例覆盖率分析结果还包括功能测试用例覆盖率分析结果,所述测试用例模型为功能测试用例模型,所述用例覆盖率分析单元还包括功能测试用例覆盖率分析单元,所述功能测试用例覆盖率分析单元与所述结果管理单元相连,用于:
选择待分析的型号;
在所述待分析的型号下,从所述测试结果信息中统计已完成执行的所述功能测试用例模型的数量,得到第五数量;
在所述待分析的型号下,对当前全部的所述功能测试用例模型进行计数,得到第六数量;
统计所述第五数量在所述第六数量中所占的比率,得到功能测试用例覆盖率;
将所述功能测试用例覆盖率按照表格和饼图的方式进行展现,得到所述功能测试用例覆盖率分析结果。
结合第一方面,本发明实施例提供了第一方面的第七种可能的实施方式,其中,所述缺陷覆盖率分析单元包括:
选择待测设备;
在所述待测设备下,对所述测试缺陷记录进行计数,得到第七数量;
在所述待测设备下,对当前全部的所述测试用例模型进行计数,得到第八数量;
统计所述第七数量在所述第八数量中所占的比率,得到缺陷覆盖率;
将所述缺陷覆盖率按照表格和饼图的方式进行展现,得到所述缺陷覆盖率分析结果。
第二方面,本发明实施例还提供一种基于模型的测试方法,其中,包括:
基于测试需求,根据原设计模型数据生成测试用例模型;
根据所述测试用例模型生成配置文件;
在适配的测试平台上加载所述配置文件并执行所述测试用例模型,获取测试结果信息;
根据所述测试结果信息,将未通过所述测试需求的所述测试用例模型管理为测试缺陷记录;
将互相对应的所述测试需求和所述测试用例模型进行关联,建立映射关系;
根据所述映射关系计算需求覆盖率分析结果;
根据所述测试用例模型计算测试用例覆盖率分析结果;
根据所述测试缺陷记录计算缺陷覆盖率分析结果。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,所述原设计模型数据是通过以下方法得到的:
对行为逻辑模型建模工具的接口API进行解析,获取行为逻辑模型数据;
对接口设计工具的API进行解析,获取接口设计模型数据;
根据所述行为逻辑模型数据和所述接口设计模型数据得到所述原设计模型数据。
本发明实施例带来了以下有益效果:本发明提供的基于模型的测试系统及方法,通过模型生成单元基于测试需求,根据原设计模型数据生成测试用例模型,配置文件生成单元根据测试用例模型生成配置文件,测试单元在适配的测试平台上加载配置文件并执行测试用例模型,获取测试结果信息,结果管理单元根据测试结果信息,将未通过测试需求的测试用例模型管理为测试缺陷记录,映射单元将互相对应的测试需求和测试用例模型进行关联,建立映射关系,需求覆盖率分析单元根据映射关系计算需求覆盖率分析结果,用例覆盖率分析单元根据测试用例模型计算测试用例覆盖率分析结果,缺陷覆盖率分析单元根据测试缺陷记录计算缺陷覆盖率分析结果。本发明可以提高航电系统测试的工作效率,同时为测试系统提供了对测试用例模型、测试结果信息以及测试缺陷记录的统一管理,并基于此提供了测试用例的覆盖率分析功能,有效的提高了管理效率和自动化程度,降低错误率。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的基于模型的测试系统示意图;
图2为本发明实施例二提供的原数据解析单元工作原理示意图;
图3为本发明实施例三提供的模型生成单元工作原理示意图;
图4为本发明实施例四提供的基于模型的测试方法流程图。
图标:
110-模型生成单元;120-配置文件生成单元;130-测试单元;140-结果管理单元;150-映射单元;160-需求覆盖率分析单元;170-用例覆盖率分析单元;180-缺陷覆盖率分析单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现阶段综合航电系统仿真试验是一项复杂的系统工程,需要进行全面的、严谨的系统测试分析和设计。在以往的航空电子系统研制过程中,往往由于周期、进度的原因而忽略了对综合测试的分析和设计,传统方法采用人工方式构建测试用例,简单地将系统详细设计文件和ICD转换成综合程序作为测试的依据,由测试人员在座舱中完全由人工进行座舱画面检查、接口数据检查和分析判断,测试项目可能存在不完整、不全面。传统测试手段无法提供统一的设计、测试数据来源,通常仅考虑对ICD设计的继承与验证,无法追溯和验证设计上游的架构设计、行为逻辑设计结果,无法满足目前综合航电对可追溯测试验证的需求。且将文档作为设计和测试部门间的数据交流模式,难以统一测试数据来源且基于文本描述生成地综合程序具有二义性,测试结果难以重复重现和追溯,手工测试中大量枯燥地重复操作使得工作效率低、随意性大,出错地可能性也会增大。测试人员将面对大量的重复性工作量,在这样的条件下进行测试方案设计,除了效率低下,容易出错之外,要保证需求、文档、测试用例和测试结果的一致性和准确性更加困难。对整个航电系统而言,传统测试系统已经难以对系统功能和性能要求实现覆盖性测试。
基于此,本发明实施例提供的基于模型的测试系统及方法,可提高工作效率、管理效率和自动化程度,降低错误率。
为便于对本实施例进行理解,首先对本发明实施例所公开的基于模型的测试系统进行详细介绍。
实施例一:
图1为本发明实施例一提供的基于模型的测试系统流程图。
参照图1,基于模型的测试系统包括如下单元:
模型生成单元110,用于基于测试需求,根据原设计模型数据自动生成测试用例模型;
具体的,原设计模型数据为在前期设计中得到的航空电子系统的行为逻辑模型数据和接口设计模型数据。基于航空电子系统的实际情况制定的测试需求,根据行为逻辑模型数据和接口设计模型数据自动生成测试用例模型,测试用例模型包括接口测试用例模型和功能测试用例模型。
除了根据原设计模型数据生成测试用例模型,还可以新建测试用例。新建测试用例是基于SysML(Systems Modeling Language,系统建模语言)描述的工具编辑界面,并提供对已自动生成的测试用例复制、粘贴、再编辑的功能,从而实现新建测试用例。
配置文件生成单元120,与模型生成单元110相连,用于根据测试用例模型生成配置文件;
测试单元130,与配置文件生成单元120相连,用于在适配的测试平台上加载配置文件并执行测试用例模型,获取测试结果信息;
具体的,在不同测试环境下,读取测试平台的基本信息,通过测试用例模型生成与适配的测试平台相匹配的配置文件,以确保测试用例模型的可执行性,大大提升测试阶段的自动化水平。配置文件生成后,将配置文件加载到适配的测试平台,通过解析适配的测试平台环境接口,驱动适配的测试平台,读取用例配置文件,从而完成执行测试用例模型,获取测试结果信息的过程。
结果管理单元140,与测试单元130相连,用于根据测试结果信息,将未通过测试需求的测试用例模型管理为测试缺陷记录;
具体的,结果管理单元140通过记录测试用例模型、待测设备,上传测试的执行结果,定义测试结果是否通过等方式对测试结果信息进行管理,同时,以测试用例模型已执行但对应的测试结果未通过测试需求的为依据,创建测试缺陷记录。也就是说,测试结果信息可分为以下几种情况:测试用例模型的执行结果(是否已经完成执行)、已完成执行的测试用例模型的通过结果(测试结果是否满足测试需求)以及上述各种情况下对应的测试用例模型的数量。
映射单元150,与结果管理单元140相连,用于将互相对应的测试需求和测试用例模型进行关联,建立映射关系;
具体的,基于映射关系可以获知测试结果信息与测试需求和测试用例模型这三方面数据的前后关联和统一的对应关系,有助于数据的分析、管理和查询的准确性、高效性。
需求覆盖率分析单元160,与映射单元150相连,用于根据映射关系计算需求覆盖率分析结果;
具体的,需求覆盖率分析单元160的分析计算方式为:基于映射关系,在型号模型下,统计测试用例模型所覆盖的测试需求条目数占当前型号模型总测试需求的比率。
用例覆盖率分析单元170,与结果管理单元140相连,用于根据测试用例模型计算测试用例覆盖率分析结果;
具体的,用例覆盖率分析单元170包括接口测试用例覆盖率分析单元170和功能测试用例覆盖率分析单元170,分别用来统计接口测试用例覆盖率分析结果和功能测试用例覆盖率分析结果。
缺陷覆盖率分析单元180,与结果管理单元140相连,用于根据测试缺陷记录计算缺陷覆盖率分析结果。
具体的,缺陷覆盖率分析单元180对某一待测设备执行未通过的测试用例模型的数目与该待测设备执行的测试用例模型的总数之比进行统计。
上述需求覆盖率分析结果、接口测试用例覆盖率分析结果、功能测试用例覆盖率分析结果和缺陷覆盖率分析结果均通过表格及图形化的方式呈现。
本发明实施例通过载入原设计模型数据生成相应的测试用例模型,可以大大提高航电系统测试环节产生用例的工作效率,降低传统手工方式更易出错的可能性;通过生成与测试平台相匹配的配置文件,可以提升自动化水平和环境适配性;建立映射关系以及根据测试结果信息实现了对测试用例模型、测试执行结果和测试缺陷记录的统一管理,同时,基于此并提供了多种覆盖率分析功能,具有提高管理效率的优势,同时能够避免同数据多种含义出现的可能,减少各种数据传递的出错率,明确用例结果对需求和设计数据的覆盖率。
实施例二:
图2为本发明实施例二提供的原数据解析单元工作原理示意图。
原设计模型数据是通过原数据解析单元得到的,原数据解析单元,与模型生成单元110相连,并通过如下步骤获取原设计模型数据:
首先,对行为逻辑模型建模工具的API(Application Programming Interface,应用程序编程接口)进行解析,获取行为逻辑模型数据;其次,对接口设计工具的API进行解析,获取接口设计模型数据;最后,根据行为逻辑模型数据和接口设计模型数据得到原设计模型数据。
具体的,如图2所示,原设计模型数据包括逻辑模型数据和接口设计模型数据,其中行为逻辑模型数据是基于SysML描述的顺序图,接口设计模型数据则包括系统、设备、消息和信号等信息。首先,通过解析行为逻辑模型建模工具的API和接口设计工具的API,以获取逻辑模型数据和接口设计模型数据;然后,将逻辑模型数据和接口设计模型数据转换为可读的数据格式,并整理为原设计模型数据。
实施例三:
图3为本发明实施例三提供的模型生成单元工作原理示意图。
测试用例模型包括功能测试用例模型和接口测试用例模型。
其中,参照图3,通过模型生成单元110生成功能测试用例模型的方式包括如下内容:
首先,基于测试需求,读取行为逻辑模型数据中的所有用例,并根据每个用例生成对应的功能测试项目;其次,依次遍历每个用例下的顺序图,并根据顺序图生成从属于功能测试项目的场景用例;最后,依次遍历每个顺序图的顺序分支结构,并根据顺序分支结构生成从属于场景用例的功能测试用例模型。
具体的,以“惯性对准”用例为用例介绍功能测试用例模型的生成方式。如图3所示,左上侧的矩形内表示有行为逻辑模型数据中的用例和顺序图数据,中间的图形表示根据行为逻辑模型数据中的某一顺序图抽象出的顺序分支结构,右侧为生成的功能测试用例模型的层级结构。生成过程中,提取“惯性对准”用例作为功能测试项目,然后提取“惯性对准”用例的多个顺序图作为功能测试的多个场景用例,对每个顺序图进行遍历,根据顺序图将路径的激励、执行顺序及最终的预期输出或状态生成该路径对应的功能测试用例,从起始点到终止点的任一条路径作为一个场景(即功能测试用例),并放在树形结构的场景用例节点下。这里的功能测试用例等同于功能测试用例模型。
通过模型生成单元110生成接口测试用例模型的方式包括如下内容:
首先,基于测试需求,读取接口设计模型数据中的所有信号级信息;其次,根据信号级信息对顺序图进行遍历,获取顺序图中以信号级信息为激励的片段用例;最后,根据信号级信息的参数类型和片段用例生成接口测试用例模型。
具体的,读取接口设计模型数据中的型号下的所有设备、消息及信号信息,针对其中的信号级信息对顺序图进行检索,获取与该信号相关的消息控件,并截取顺序图中以该信号为激励的一个输入输出内的一个片段作为片段用例,索引与该信号相关联的所有片段用例,片段用例中包含了与该信号相关的系统内部设备之间或系统内部设备与外部之间的交互过程。信号级信息的参数类型分为枚举值类型和连续值类型。其中,在信号级信息为枚举型类型时,对片段用例采用默认值法或遍历枚举法激励生成接口测试用例模型;在信号级信息为连续值类型时,对片段用例采用默认值法、随机值法、边界值法或异常值法激励生成接口测试用例模型。依次遍历接口测试用例模型中的对应所有信号级信息的全部顺序图,以此保证生成的接口测试用例模型是完整的。
进一步的,覆盖率分析结果包括上述提到的需求覆盖率分析结果、接口测试用例覆盖率分析结果、功能测试用例覆盖率分析结果和测试用例覆盖率分析结果。接下来分别对此进行详细描述。
覆盖率分析结果为需求覆盖率分析结果。需求覆盖率分析单元160通过如下过程获取需求覆盖率分析结果:
第一,根据映射关系对测试需求进行解析,获取需求条目;第二,选择待分析的型号模型,并在型号模型下,基于映射关系对测试用例模型所覆盖的需求条目进行计数,得到第一数量;第三,在型号模型下,对当前全部的需求条目进行计数,得到第二数量;第四,统计第一数量在第二数量中所占的比率,得到需求覆盖率;第五,将需求覆盖率按照表格和饼图的方式进行展现,得到需求覆盖率分析结果。
覆盖率分析结果为接口测试用例覆盖率分析结果。接口测试用例覆盖率分析单元通过如下过程获取接口测试用例覆盖率分析结果:
第一,选择待分析的设备;第二,在待分析的设备下,从测试结果信息中统计已完成执行的接口测试用例模型的数量,得到第三数量;第三,在设备下,对当前全部的接口测试用例模型进行计数,得到第四数量;第四,统计第三数量在第四数量中所占的比率,得到接口测试用例覆盖率;第五,将接口测试用例覆盖率按照表格和饼图的方式进行展现,得到接口测试用例覆盖率分析结果。
覆盖率分析结果为功能测试用例覆盖率分析结果。功能测试用例覆盖率分析单元通过如下过程获取功能测试用例覆盖率分析结果:
第一,选择待分析的型号;第二,在待分析的型号下,从测试结果信息中统计已完成执行的功能测试用例模型的数量,得到第五数量;第三,在型号下,对当前全部的功能测试用例模型进行计数,得到第六数量;第四,统计第五数量在第六数量中所占的比率,得到功能测试用例覆盖率;第五,将功能测试用例覆盖率按照表格和饼图的方式进行展现,得到功能测试用例覆盖率分析结果。
覆盖率分析结果为缺陷覆盖率分析结果。缺陷覆盖率分析单元180通过如下过程获取缺陷覆盖率分析结果:
第一,选择待测设备;第二,在待测设备下,对测试缺陷记录进行计数,得到第七数量;第三,在待测设备下,对当前全部的测试用例模型进行计数,得到第八数量;第四,统计第五数量在第六数量中所占的比率,得到缺陷覆盖率;第五,将缺陷覆盖率按照表格和饼图的方式进行展现,得到缺陷覆盖率分析结果。
具体的,通过将已执行但未通过测试需求的测试用例模型转换为测试缺陷记录,也就是说,测试缺陷记录是以测试用例模型已执行但未满足测试需求的记录为依据而创建的,测试缺陷记录包含缺陷的严重程度、优先级和状态等信息。
另外,除以上各实施例的描述外,基于模型的测试系统还提供导入、导出测试数据的功能。导入数据支持XML(Extensible Markup Language,可扩展标记语言)文件,导出数据文件支持XML文件和Word文件。XML文件的信息有该型号中UUT(Unit Under Test,被测试模块)管理、测试执行记录、测试需求关联、测试覆盖率分析、测试缺陷及缺陷分析数据。导出Word文件(即生成测试报告)是通过调用文档模板及数据库中的业务数据实现测试报告的自动生成的。
实施例四:
图4为为本发明实施例四提供的基于模型的测试方法流程图。
参照图4,本发明实施例还提供了基于模型的测试方法,包括如下步骤:
步骤S110,基于测试需求,根据原设计模型数据生成测试用例模型;
步骤S120,根据测试用例模型生成配置文件;
步骤S130,在适配的测试平台上加载配置文件并执行测试用例模型,获取测试结果信息;
步骤S140,根据测试结果信息,将未通过测试需求的测试用例模型管理为测试缺陷记录;
步骤S150,将互相对应的测试需求和测试用例模型进行关联,建立映射关系;
步骤S160,根据映射关系计算需求覆盖率分析结果;
步骤S170,根据测试用例模型计算测试用例覆盖率分析结果;
步骤S180,根据测试缺陷记录计算缺陷覆盖率分析结果。
进一步的,基于模型的测试方法中,原设计模型数据是通过以下方法得到的:
对行为逻辑模型建模工具的接口API进行解析,获取行为逻辑模型数据;
对接口设计工具的API进行解析,获取接口设计模型数据;
根据行为逻辑模型数据和接口设计模型数据得到原设计模型数据。
本发明实施例带来了以下有益效果:本发明提供的基于模型的测试系统及方法,通过模型生成单元基于测试需求,根据原设计模型数据生成测试用例模型,配置文件生成单元根据测试用例模型生成配置文件,测试单元在适配的测试平台上加载配置文件并执行测试用例模型,获取测试结果信息,结果管理单元根据测试结果信息,将未通过测试需求的测试用例模型管理为测试缺陷记录,映射单元将互相对应的测试需求和测试用例模型进行关联,建立映射关系,需求覆盖率分析单元根据映射关系计算需求覆盖率分析结果,用例覆盖率分析单元根据测试用例模型计算测试用例覆盖率分析结果,缺陷覆盖率分析单元根据测试缺陷记录计算缺陷覆盖率分析结果。本发明可以提高航电系统测试的工作效率,同时为测试系统提供了对测试用例模型、测试结果信息以及测试缺陷记录的统一管理,并基于此提供了测试用例的覆盖率分析功能,有效的提高了管理效率和自动化程度,降低错误率。
本发明实施例所提供的基于模型的测试方法,其实现原理及产生的技术效果和前述系统实施例相同,为简要描述,基于模型的测试方法实施例部分未提及之处,可参考前述系统实施例中相应内容。
本发明实施例还提供一种电子设备,包括存储器、处理器,存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例提供的基于模型的测试方法的步骤。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例的基于模型的测试方法的步骤。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明实施例所提供的进行基于模型的测试方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于模型的测试系统,其特征在于,包括:
模型生成单元,用于基于测试需求,根据原设计模型数据生成测试用例模型;
配置文件生成单元,与所述模型生成单元相连,用于根据所述测试用例模型生成配置文件;
测试单元,与所述配置文件生成单元相连,用于在适配的测试平台上加载所述配置文件并执行所述测试用例模型,获取测试结果信息;
结果管理单元,与所述测试单元相连,用于根据所述测试结果信息,将未通过所述测试需求的所述测试用例模型管理为测试缺陷记录;
映射单元,与所述结果管理单元相连,用于将互相对应的所述测试需求和所述测试用例模型进行关联,建立映射关系;
需求覆盖率分析单元,与所述映射单元相连,用于根据所述映射关系计算需求覆盖率分析结果;
用例覆盖率分析单元,与所述结果管理单元相连,用于根据所述测试用例模型计算测试用例覆盖率分析结果;
缺陷覆盖率分析单元,与所述结果管理单元相连,用于根据所述测试缺陷记录计算缺陷覆盖率分析结果。
2.根据权利要求1所述的基于模型的测试系统,其特征在于,所述原设计模型数据是通过原数据解析单元得到的,所述原数据解析单元,与所述模型生成单元相连,用于:
对行为逻辑模型建模工具的接口API进行解析,获取行为逻辑模型数据;
对接口设计工具的API进行解析,获取接口设计模型数据;
根据所述行为逻辑模型数据和所述接口设计模型数据得到所述原设计模型数据。
3.根据权利要求1所述的基于模型的测试系统,其特征在于,所述测试用例模型包括功能测试用例模型,所述模型生成单元包括:
基于所述测试需求,读取行为逻辑模型数据中的所有用例,并根据每个所述用例生成对应的功能测试项目;
依次遍历每个所述用例下的顺序图,并根据所述顺序图生成从属于所述功能测试项目的场景用例;
依次遍历每个所述顺序图的顺序分支结构,并根据所述顺序分支结构生成从属于所述场景用例的所述功能测试用例模型。
4.根据权利要求3所述的基于模型的测试系统,其特征在于,所述测试用例模型还包括接口测试用例模型,所述模型生成单元还包括:
基于所述测试需求,读取接口设计模型数据中的所有信号级信息;
根据所述信号级信息对所述顺序图进行遍历,获取所述顺序图中以所述信号级信息为激励的片段用例;
根据所述信号级信息的参数类型和所述片段用例生成所述接口测试用例模型。
5.根据权利要求1所述的基于模型的测试系统,其特征在于,所述需求覆盖率分析单元包括:
根据所述映射关系对所述测试需求进行解析,获取需求条目;
选择待分析的型号模型,并在所述型号模型下,基于所述映射关系对所述测试用例模型所覆盖的所述需求条目进行计数,得到第一数量;
在所述型号模型下,对当前全部的所述需求条目进行计数,得到第二数量;
统计所述第一数量在所述第二数量中所占的比率,得到需求覆盖率;
将所述需求覆盖率按照表格和饼图的方式进行展现,得到所述需求覆盖率分析结果。
6.根据权利要求1所述的基于模型的测试系统,其特征在于,所述测试用例覆盖率分析结果包括接口测试用例覆盖率分析结果,所述测试用例模型为接口测试用例模型,所述用例覆盖率分析单元包括接口测试用例覆盖率分析单元,所述接口测试用例覆盖率分析单元与所述结果管理单元相连,用于:
选择待分析的设备;
在所述待分析的设备下,从所述测试结果信息中统计已完成执行的所述接口测试用例模型的数量,得到第三数量;
在所述设备下,对当前全部的所述接口测试用例模型进行计数,得到第四数量;
统计所述第三数量在所述第四数量中所占的比率,得到接口测试用例覆盖率;
将所述接口测试用例覆盖率按照表格和饼图的方式进行展现,得到所述接口测试用例覆盖率分析结果。
7.根据权利要求1所述的基于模型的测试系统,其特征在于,所述测试用例覆盖率分析结果还包括功能测试用例覆盖率分析结果,所述测试用例模型为功能测试用例模型,所述用例覆盖率分析单元还包括功能测试用例覆盖率分析单元,所述功能测试用例覆盖率分析单元与所述结果管理单元相连,用于:
选择待分析的型号;
在所述待分析的型号下,从所述测试结果信息中统计已完成执行的所述功能测试用例模型的数量,得到第五数量;
在所述待分析的型号下,对当前全部的所述功能测试用例模型进行计数,得到第六数量;
统计所述第五数量在所述第六数量中所占的比率,得到功能测试用例覆盖率;
将所述功能测试用例覆盖率按照表格和饼图的方式进行展现,得到所述功能测试用例覆盖率分析结果。
8.根据权利要求1所述的基于模型的测试系统,其特征在于,所述缺陷覆盖率分析单元包括:
选择待测设备;
在所述待测设备下,对所述测试缺陷记录进行计数,得到第七数量;
在所述待测设备下,对当前全部的所述测试用例模型进行计数,得到第八数量;
统计所述第七数量在所述第八数量中所占的比率,得到缺陷覆盖率;
将所述缺陷覆盖率按照表格和饼图的方式进行展现,得到所述缺陷覆盖率分析结果。
9.一种基于模型的测试方法,其特征在于,包括:
基于测试需求,根据原设计模型数据生成测试用例模型;
根据所述测试用例模型生成配置文件;
在适配的测试平台上加载所述配置文件并执行所述测试用例模型,获取测试结果信息;
根据所述测试结果信息,将未通过所述测试需求的所述测试用例模型管理为测试缺陷记录;
将互相对应的所述测试需求和所述测试用例模型进行关联,建立映射关系;
根据所述映射关系计算需求覆盖率分析结果;
根据所述测试用例模型计算测试用例覆盖率分析结果;
根据所述测试缺陷记录计算缺陷覆盖率分析结果。
10.根据权利要求9所述的基于模型的测试方法,其特征在于,所述原设计模型数据是通过以下方法得到的:
对行为逻辑模型建模工具的接口API进行解析,获取行为逻辑模型数据;
对接口设计工具的API进行解析,获取接口设计模型数据;
根据所述行为逻辑模型数据和所述接口设计模型数据得到所述原设计模型数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711133461.6A CN107844424B (zh) | 2017-11-15 | 2017-11-15 | 基于模型的测试系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711133461.6A CN107844424B (zh) | 2017-11-15 | 2017-11-15 | 基于模型的测试系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107844424A true CN107844424A (zh) | 2018-03-27 |
CN107844424B CN107844424B (zh) | 2019-03-01 |
Family
ID=61678834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711133461.6A Active CN107844424B (zh) | 2017-11-15 | 2017-11-15 | 基于模型的测试系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107844424B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108776631A (zh) * | 2018-05-31 | 2018-11-09 | 康键信息技术(深圳)有限公司 | 服务器、获取兼容性测试设备的方法及存储介质 |
CN108920374A (zh) * | 2018-07-11 | 2018-11-30 | 郑州云海信息技术有限公司 | 一种快速统计需求测试覆盖率的方法及系统 |
CN109542784A (zh) * | 2018-11-19 | 2019-03-29 | 中国银行股份有限公司 | 一种测试案例检查方法及装置 |
CN109669436A (zh) * | 2018-12-06 | 2019-04-23 | 广州小鹏汽车科技有限公司 | 一种基于电动汽车的功能需求的测试用例生成方法和装置 |
CN109828919A (zh) * | 2019-01-18 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 测试报告自动生成方法、装置、计算机设备及存储介质 |
CN110874317A (zh) * | 2018-08-31 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 一种生成、使用测试用例的方法及其服务器、终端 |
CN111964724A (zh) * | 2020-08-18 | 2020-11-20 | 中电科仪器仪表有限公司 | 一种基于面向仪器的测试描述模型的描述方法及装置 |
CN112084111A (zh) * | 2020-09-10 | 2020-12-15 | 广州小鹏汽车科技有限公司 | 一种数据处理方法、系统和装置 |
CN112363948A (zh) * | 2020-11-30 | 2021-02-12 | 深圳市六度人和科技有限公司 | 接口测试方法、装置、电子设备及存储介质 |
CN112631918A (zh) * | 2020-12-25 | 2021-04-09 | 坤泰车辆系统(常州)有限公司 | 软件自动化测试验证的方法 |
CN112667507A (zh) * | 2020-12-28 | 2021-04-16 | 上海科梁信息工程股份有限公司 | 一种嵌入式软件需求管理方法、系统及电子设备 |
CN112784417A (zh) * | 2021-01-25 | 2021-05-11 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种基于SysML的航电分布式联合仿真方法及系统 |
CN112988565A (zh) * | 2021-01-25 | 2021-06-18 | 杭州衣科云科技有限公司 | 接口自动化测试方法、装置、计算机设备及存储介质 |
CN113360132A (zh) * | 2020-03-05 | 2021-09-07 | 北京车和家信息技术有限公司 | 实车测试数据的分析方法及装置 |
CN113608099A (zh) * | 2020-05-28 | 2021-11-05 | 杭州芯讯科技有限公司 | 集成电路测试方法与系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101894058A (zh) * | 2010-05-31 | 2010-11-24 | 北京航空航天大学 | 针对自动测试系统的测试覆盖性自动分析方法及其装置 |
CN102467448A (zh) * | 2010-11-16 | 2012-05-23 | 安凯(广州)微电子技术有限公司 | 一种测试用例的测试方法及系统 |
CN102521700A (zh) * | 2011-12-13 | 2012-06-27 | 广东电网公司信息中心 | 电网信息化评测快速测试系统 |
CN106446412A (zh) * | 2016-09-26 | 2017-02-22 | 杭州杉石科技有限公司 | 一种航空电子系统基于模型的测试方法 |
-
2017
- 2017-11-15 CN CN201711133461.6A patent/CN107844424B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101894058A (zh) * | 2010-05-31 | 2010-11-24 | 北京航空航天大学 | 针对自动测试系统的测试覆盖性自动分析方法及其装置 |
CN102467448A (zh) * | 2010-11-16 | 2012-05-23 | 安凯(广州)微电子技术有限公司 | 一种测试用例的测试方法及系统 |
CN102521700A (zh) * | 2011-12-13 | 2012-06-27 | 广东电网公司信息中心 | 电网信息化评测快速测试系统 |
CN106446412A (zh) * | 2016-09-26 | 2017-02-22 | 杭州杉石科技有限公司 | 一种航空电子系统基于模型的测试方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108776631A (zh) * | 2018-05-31 | 2018-11-09 | 康键信息技术(深圳)有限公司 | 服务器、获取兼容性测试设备的方法及存储介质 |
CN108920374A (zh) * | 2018-07-11 | 2018-11-30 | 郑州云海信息技术有限公司 | 一种快速统计需求测试覆盖率的方法及系统 |
CN110874317A (zh) * | 2018-08-31 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 一种生成、使用测试用例的方法及其服务器、终端 |
CN110874317B (zh) * | 2018-08-31 | 2023-06-20 | 创新先进技术有限公司 | 一种生成、使用测试用例的方法及其服务器、终端 |
CN109542784A (zh) * | 2018-11-19 | 2019-03-29 | 中国银行股份有限公司 | 一种测试案例检查方法及装置 |
CN109669436A (zh) * | 2018-12-06 | 2019-04-23 | 广州小鹏汽车科技有限公司 | 一种基于电动汽车的功能需求的测试用例生成方法和装置 |
CN109669436B (zh) * | 2018-12-06 | 2021-04-13 | 广州小鹏汽车科技有限公司 | 一种基于电动汽车的功能需求的测试用例生成方法和装置 |
CN109828919A (zh) * | 2019-01-18 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 测试报告自动生成方法、装置、计算机设备及存储介质 |
CN113360132A (zh) * | 2020-03-05 | 2021-09-07 | 北京车和家信息技术有限公司 | 实车测试数据的分析方法及装置 |
CN113360132B (zh) * | 2020-03-05 | 2023-12-19 | 北京车和家信息技术有限公司 | 实车测试数据的分析方法及装置 |
CN113608099B (zh) * | 2020-05-28 | 2023-09-08 | 杭州芯讯科技有限公司 | 集成电路测试方法与系统 |
CN113608099A (zh) * | 2020-05-28 | 2021-11-05 | 杭州芯讯科技有限公司 | 集成电路测试方法与系统 |
CN111964724A (zh) * | 2020-08-18 | 2020-11-20 | 中电科仪器仪表有限公司 | 一种基于面向仪器的测试描述模型的描述方法及装置 |
CN111964724B (zh) * | 2020-08-18 | 2022-10-28 | 中电科思仪科技股份有限公司 | 一种基于面向仪器的测试描述模型的描述方法及装置 |
CN112084111A (zh) * | 2020-09-10 | 2020-12-15 | 广州小鹏汽车科技有限公司 | 一种数据处理方法、系统和装置 |
CN112363948A (zh) * | 2020-11-30 | 2021-02-12 | 深圳市六度人和科技有限公司 | 接口测试方法、装置、电子设备及存储介质 |
CN112363948B (zh) * | 2020-11-30 | 2024-04-09 | 深圳市六度人和科技有限公司 | 接口测试方法、装置、电子设备及存储介质 |
CN112631918A (zh) * | 2020-12-25 | 2021-04-09 | 坤泰车辆系统(常州)有限公司 | 软件自动化测试验证的方法 |
CN112631918B (zh) * | 2020-12-25 | 2024-04-23 | 坤泰车辆系统(常州)有限公司 | 软件自动化测试验证的方法 |
CN112667507A (zh) * | 2020-12-28 | 2021-04-16 | 上海科梁信息工程股份有限公司 | 一种嵌入式软件需求管理方法、系统及电子设备 |
CN112988565A (zh) * | 2021-01-25 | 2021-06-18 | 杭州衣科云科技有限公司 | 接口自动化测试方法、装置、计算机设备及存储介质 |
CN112784417A (zh) * | 2021-01-25 | 2021-05-11 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种基于SysML的航电分布式联合仿真方法及系统 |
CN112988565B (zh) * | 2021-01-25 | 2024-01-02 | 杭州衣科信息技术股份有限公司 | 接口自动化测试方法、装置、计算机设备及存储介质 |
CN112784417B (zh) * | 2021-01-25 | 2024-03-22 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种基于SysML的航电分布式联合仿真方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107844424B (zh) | 2019-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107844424A (zh) | 基于模型的测试系统及方法 | |
CN110764753B (zh) | 一种业务逻辑代码生成方法、装置、设备及存储介质 | |
CN104866426B (zh) | 软件测试综合控制方法及系统 | |
CN111722839B (zh) | 一种代码生成方法、装置、电子设备及存储介质 | |
CN101996131A (zh) | 基于xml封装关键字的gui自动测试方法及自动测试平台 | |
US20120150820A1 (en) | System and method for testing data at a data warehouse | |
US7926024B2 (en) | Method and apparatus for managing complex processes | |
WO2022199179A1 (zh) | 一种设备的剩余寿命预测模型建模系统及方法、预测系统 | |
Baker et al. | Foundational concepts for model driven system design | |
CN108984393A (zh) | 一种单元测试代码自动生成方法及装置 | |
CN109614315A (zh) | 一种数据同步测试用例的自动生成方法及系统 | |
CN107451112A (zh) | 表格工具数据检查方法、装置、终端设备及存储介质 | |
CN108460068A (zh) | 报表导入导出的方法、装置、存储介质及终端 | |
CN115858336A (zh) | 测试向量生成方法及装置、计算设备和存储介质 | |
CN111190814A (zh) | 软件测试用例的生成方法、装置、存储介质及终端 | |
CN106950850A (zh) | 一种数字化仪控系统动态可靠性集成分析方法 | |
CN116305556A (zh) | 一种基于可视化建模及运行管理的航天器评估工具库系统 | |
CN115454826A (zh) | 回归测试方法、装置、电子设备以及存储介质 | |
CN114064469A (zh) | 接口自动化测试方法及存储介质 | |
Offutt et al. | An industrial study of applying input space partitioning to test financial calculation engines | |
CN107273293A (zh) | 大数据系统性能测试方法、装置及电子设备 | |
CN114647568A (zh) | 自动化测试方法、装置、电子设备及可读存储介质 | |
Liu | Integrating process mining with discrete-event simulation modeling | |
Naumenko et al. | Formal Methods of FPGA Project Verification Flow | |
CN116069318B (zh) | 一种智能应用的快速构建部署方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |