CN103914353A - 结合软件可靠性测试与硬件可靠性试验的联合试验方法 - Google Patents

结合软件可靠性测试与硬件可靠性试验的联合试验方法 Download PDF

Info

Publication number
CN103914353A
CN103914353A CN201410155961.XA CN201410155961A CN103914353A CN 103914353 A CN103914353 A CN 103914353A CN 201410155961 A CN201410155961 A CN 201410155961A CN 103914353 A CN103914353 A CN 103914353A
Authority
CN
China
Prior art keywords
software
hardware
test
section
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410155961.XA
Other languages
English (en)
Other versions
CN103914353B (zh
Inventor
艾骏
王金辉
陆民燕
刘洋
尹琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201410155961.XA priority Critical patent/CN103914353B/zh
Publication of CN103914353A publication Critical patent/CN103914353A/zh
Application granted granted Critical
Publication of CN103914353B publication Critical patent/CN103914353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明是一种结合软件可靠性测试与硬件可靠性试验的联合试验方法,用于软硬件系统可靠性测试。本方法分析软硬件系统,构造硬件可靠性试验剖面和软件可靠性测试剖面;软、硬件场景正交获得系统任务场景,并确定系统任务场景执行概率;建立软件可靠性测试剖面和硬件场景剖面是否关联的关系矩阵;对每个系统任务场景,结合硬件环境应力试验剖面和相关联的软件可靠性测试剖面生成阶段子剖面;同一系统任务的阶段子剖面组织成为一个周期子剖面,将周期子剖面按照试验循环周期组织生成最终的联合试验剖面;根据联合试验剖面生成试验用例进行试验。本发明试验结果能更准确地进行系统可靠性鉴定,能发现传统的可靠性试验中不能发现的系统失效。

Description

结合软件可靠性测试与硬件可靠性试验的联合试验方法
技术领域
本发明应用于软硬件系统的可靠性试验领域,具体是一种结合软件可靠性测试与硬件可靠性试验的联合试验方法。
背景技术
随着国防武器装备和航空航天设备信息化程度的不断提高,软硬件系统特别是嵌入式系统的应用越来越广泛,对此类系统的可靠性研究越来越重视。由于软硬件系统的软件与硬件结合越来越紧密,难以简单的将系统分为软件部分和硬件部分,因此在进行系统可靠性研究时,不仅仅单纯地关心硬件可靠性或软件可靠性,而是软硬件结合在一起时的系统可靠性。通过硬件可靠性试验和软件可靠性试验分离的形式进行可靠性鉴定不适用于复杂的软硬件系统,因此,需要结合软件可靠性测试与硬件可靠性试验进行系统联合试验。
目前国内外在系统可靠性研究过程中,通常分别对硬件可靠性试验剖面和软件可靠性测试剖面进行构造。硬件可靠性试验剖面构造借鉴GJB899A-2009《可靠性鉴定与验收试验》和MIL-HDBK-781A《工程、研制、鉴定及生产的可靠性试验方法、计划和环境》等标准,在进行硬件可靠性试验时,只在关键的测试点进行简单的软件功能操作,关注重点在不同综合环境应力下硬件工作情况。在传统软件可靠性测试中常用的测试剖面有Musa软件操作剖面,
Markov软件测试剖面,软件场景剖面等,在测试过程中通常不会从系统的角度综合考虑软件运行环境,也不会考虑系统硬件状态对软件测试的影响。
参照MIL-HDBK-781A和GJB899A-2009标准构造硬件可靠性试验剖面,根据受试产品现场使用和任务环境特征来确定可靠性验证试验的综合环境条件及其与时间的关系,包括:A电应力施加情况;B湿度应力;C温度应力;D振动应力;E上、下限和标称值施加五部分。根据标准的附录要求,硬件可靠性试验剖面的构造过程是:首先确定硬件任务剖面,其次确定硬件场景剖面,然后根据这两种剖面得到试验剖面,最后按照一定的规则将多个试验剖面合并为一个综合环境应力试验剖面。对设计执行一种任务的设备,试验剖面与硬件任务剖面和硬件场景剖面是一一对应关系。对设计执行多项任务的设备,则应按照一定的规则将多个试验剖面合并,最后综合得出一个典型的综合环境应力试验剖面。综合环境应力试验剖面是直接供可靠性试验用的环境参数与时间的关系图。其中硬件任务剖面侧重描述任务特性参数,而硬件场景剖面侧重描述设备在使用过程中主要的环境参数与时间的关系,试验剖面是直接供试验用的环境参数与时间的关系图,是按照一定的规则对硬件场景剖面进行处理后得到的。
软件可靠性测试剖面是对软件使用条件的定义,即软件的输入按照时间的分布情况或在软件输入范围内的出现概率分布。软件可靠性测试剖面是用来描述软件的实际使用情况的。软件测试剖面的生成过程是根据系统软件被使用或被操作的过程,结合软件完成任务或实现功能,综合输入输出及相关概率信息得到的。常用的软件可靠性测试剖面主要有两种:Musa可靠性测试剖面和基于Markov过程的软件可靠性测试剖面。Musa操作剖面主要是通过自顶向下构建客户剖面、用户剖面、系统模式剖面、功能剖面和操作剖面这五个步骤,最终得到一个树状结构。树状结构的每个叶结点代表一个操作,同时标示操作出现的概率,形成完整的操作剖面。测试依据概率选择完成某项功能的操作,并依据操作相应输入变量的取值区间,随机选取变量值,将各个变量按顺序组合,最终形成一系列输入变量的有序序列,从而得到合理的测试用例。Markov链表示的操作剖面实质上是具有概率迁移特征的有限状态机模型,用Markov过程来描述软件的使用过程,任何下一个发生的事件只和当前的状态有关,不涉及历史信息,因此软件的操作剖面可表示为有穷状态、离散参数的Markov链,而软件可靠性就是软件一次使用过程中不发生失效的概率。
软硬件系统是通过组织软硬件进行关联交互,完成某些功能或任务的一种软硬件结合密切的复杂系统。随着软硬件系统复杂度的提高,软硬件系统除了存在纯硬件失效和纯软件失效外,还存在软硬件相关性失效,此类失效通过传统的硬件可靠性试验和软件可靠性测试难以被发现。
发明内容
本发明针对传统的系统可靠性试验采用硬件可靠性试验和软件可靠性测试独立进行,并不能有效发现软硬件相关性失效,从而试验结果无法准确进行系统可靠性鉴定工作的问题,提出了一种结合软件可靠性测试与硬件可靠性试验的联合试验方法。
本发明提出的一种结合软件可靠性测试与硬件可靠性试验的联合试验方法,包括步骤1~步骤8。
步骤1:分析软硬件系统,分析内容包括:a)确认软硬件系统需求说明书与研制任务书是否一致;b)确定试验覆盖的软件功能以及功能相关的软件输入输出情况;c)确定试验覆盖的任务场景以及场景相关的环境应力情况;d)确认软硬件系统已经开发完成,处于待测状态。
步骤2:构造硬件可靠性试验剖面。
步骤3:构造软件可靠性测试剖面。
步骤4:确定软硬件系统任务场景及其执行概率;
软件任务和硬件任务进行正交获得系统任务,第i个软件任务和第j个硬件任务对应的系统任务的执行概率为PMCij,第i个软件任务的第k个软件场景和第j个硬件任务的第g个硬件场景对应的系统任务场景的执行概率为PSCkg
PMCij=PMsi*PMHj;PSCkg=PSSk*PSHg*PMCij
其中,PMSi表示第i个软件任务的执行概率,PMHj表示第j个硬件任务的执行概率,PSSk表示第i个软件任务的第k个软件场景的执行概率,PSHg表示第j个硬件任务的第g个硬件场景的执行概率。
步骤5:确定关系矩阵R,关系矩阵R的行是软件可靠性测试剖面,列是硬件场景剖面,当软件可靠性测试剖面和硬件场景剖面相关联时,元素的值为1,否则元素的值为0。
步骤6:生成阶段子剖面。根据关系矩阵R,找到软硬件系统任务场景对应硬件场景剖面相关联的所有软件可靠性测试剖面,将找到的软件可靠性测试剖面与软硬件系统任务场景对应,根据当前软硬件系统任务场景中环境应力函数关系构造硬件环境应力试验剖面,结合硬件环境应力试验剖面和找到的软件可靠性测试剖面生成阶段子剖面,并由软硬件系统任务场景的执行概率和试验周期时长确定阶段子剖面的试验时长。
步骤7:构造软硬件系统可靠性联合试验剖面。重复步骤6,生成所有系统任务场景的阶段子剖面,将所有阶段子剖面按照系统任务分类,同一系统任务的阶段子剖面组织成为一个周期子剖面。将周期子剖面按照试验循环周期组织,最终完成CHSRTP的构造。
步骤8:进行软硬件系统可靠性联合试验,其中试验用例根据所构建的软硬件系统可靠性联合试验剖面生成。
在步骤8进行联合试验时,测试用例数量结合一次系统任务的加权时间来确定,加权时间根据被测软硬件系统不同任务的时间乘以任务权重,再相加得到。
本发明与现有技术相比,具有以下明显的优势:
本发明提出的软硬件系统可靠性联合试验剖面,是以软硬件系统任务场景为基础进行构造的,更真实地体现了系统的实际使用情况。联合试验的实施结合了软件可靠性测试和硬件可靠性试验方法,区别于传统的软、硬件可靠性试验单独进行的模式,能够真实地模拟系统工作状态,收集的试验结果更加有效,从而更准确地进行系统可靠性鉴定。此外,通过软硬件系统联合试验,能够发现传统的可靠性试验中不能发现的系统失效。
附图说明
图1是本发明方法的软硬件系统可靠性联合试验剖面构造的流程图;
图2是本发明方法的系统任务场景分析图;
图3是本发明方法联合试验环境搭建方式图;
图4是本发明实施例进行联合试验的控制系统示意图;
图5是本发明实施例中硬件综合环境应力试验剖面的一个实例图;
图6是本发明实施例中软件任务剖面的一个实例图;
图7是本发明实施例中软件场景剖面的一个实例图;
图8是本发明实施例中软件可靠性测试剖面的一个实例图;
图9是本发明实施例中阶段子剖面的一个实例图;
图10是本发明实施例中周期子剖面的一个实例图;
图11是本发明实施例的联合试验剖面的示意图;
图12是本发明实施例的联合试验环境搭建的示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图对本发明作进一步的详细和深入描述。
本发明针对目前系统可靠性试验过程中存在的不足,在借鉴软、硬件可靠性试验剖面构造方法的基础上,从系统真实任务场景出发构造准确描述软硬件系统运行情况的软硬件系统可靠性联合试验剖面,根据剖面编制联合测试用例,试验过程中同时进行软件可靠性测试和硬件可靠性试验,实现软硬件系统可靠性联合试验。软硬件系统可靠性联合试验综合准确地考虑软硬件系统运行情况,能够尽可能发现系统失效,从而准确鉴定系统可靠性。
本发明提出结合软件可靠性测试与硬件可靠性试验的联合试验方法,是在软硬件系统任务场景分析的基础上,综合硬件可靠性试验剖面和软件可靠性测试剖面,构造反映系统真实工作情况的软硬件系统可靠性联合试验剖面(CHSRTP);基于联合试验剖面生成的测试用例,使用综合环境应力和软件输入同时施加的方式,开展软硬件系统可靠性联合试验。
本发明结合软件可靠性测试与硬件可靠性试验的联合试验方法主要由两部分内容构成:软硬件系统可靠性联合试验剖面构造和软硬件系统可靠性联合试验实施。
软硬件系统可靠性联合试验是根据系统工作过程中,系统所处的真实物理环境和实际人为使用的统计规律进行随机测试,联合试验剖面包含所有物理环境和操作使用的统计信息,对剖面构造过程中以及剖面中所用的相关性信息进行如下明确的定义:
定义1:软硬件系统任务场景就是在综合环境中,由系统软件处理一个或多个指令序列来完成的基本工作元。
定义2:软硬件系统可靠性联合试验剖面(简称CHSRTP)是由一个或多个周期子剖面构成的,每个周期子剖面描述软硬件系统一个或多个任务场景中系统所处的综合环境应力情况和系统工作相应的软件输入信息。
CHSRTP的构造过程如图1所示,主要包括七大步骤:软硬件系统分析01、硬件可靠性试验剖面构造02、软件可靠性测试剖面构造03、软硬件系统任务场景分析04、确定关系矩阵05、生成阶段子剖面06以及生成周期子剖面07。需要在软件需求设计文档、系统技术要求文档和软硬件系统使用情况分析的基础上,分别构造软件可靠性测试剖面和综合环境应力试验剖面,软件可靠性测试剖面可根据实际情况构造Musa操作剖面或Markov过程剖面,硬件可靠性试验剖面主要参考MIL-HDBK-781A和GJB899A-2009标准进行构造。接下来根据软、硬件场景,分析得出软硬件系统任务场景,并确定剖面对应关系矩阵R。然后根据剖面对应关系矩阵R,结合软件可靠性测试剖面和硬件可靠性试验剖面,生成描述软硬件系统场景的阶段子剖面。将所有阶段子剖面按照软硬件系统任务进行分类组合,形成周期子剖面。将周期子剖面按照试验要求的循环周期组织,得到CHSRTP。下面详细介绍本发明方法的每一步骤。
步骤1:分析软硬件系统。软硬件系统分析01是指对联合试验剖面描述的对象进行分析,包含被测软硬件系统属性、功能、状态以及用户。这些信息可以通过阅读相关文档获得,例如研制任务书、需求说明书和系统技术要求文档等;还可以查阅相关资料,例如书籍、标准规范等。对软硬件系统的主要分析内容有:a)确认软硬件系统需求说明书与研制任务书是否一致;b)分析系统软件功能需求,确定试验覆盖的软件功能以及功能相关的软件输入输出情况;c)分析系统技术要求文档,确定试验覆盖任务场景以及场景相关环境应力情况;d)确认软硬件系统已经开发完成,处于待测状态。
步骤2:构造硬件可靠性试验剖面。硬件可靠性试验剖面构造02是构造综合环境参数-时间关系图,首先通过参考系统技术要求文档和软硬件系统任务场景,分析得到系统硬件相关的任务,确定硬件任务剖面;其次通过对系统硬件工作环境分析,基于任务剖面绘制相应的硬件场景剖面;然后确定硬件场景剖面中的环境参数,得到硬件场景剖面数据表,所述的环境参数包括温度、振动、温度和输入电压等以及它们相应的持续时间;最后对硬件场景剖面数据表进行简化,得到试验剖面数据表,根据试验剖面数据表绘制试验剖面,按照一定的规则将多个试验剖面合并,确定综合环境应力试验剖面,也就是硬件可靠性试验剖面。
步骤3:构造软件可靠性测试剖面。软件可靠性测试剖面构造03是构造软件操作剖面,首先通过软件需求文档和软件设计说明文档等,分析得系统软件相关的任务,确定软件任务剖面;其次通过细化软件功能,识别所有可能的运行并建立运行与功能之间的联系,并在软件任务剖面的基础上,确定软件场景剖面;最后分析所有场景中,系统软件运行相关的输入变量与输入状态,计算每个运行子类的执行概率,确定软件可靠性测试剖面。
步骤4:分析软硬件系统任务场景。软硬件系统任务场景分析04指包含系统任务场景及其执行概率信息的确定过程,其中系统任务场景由软件场景和硬件场景结合分析得到。相应的系统任务场景发生概率由软件场景执行概率和硬件场景执行概率进行加权计算得到,如图2所示。
图2中,MSi表示第i个软件任务,PMSi表示第i个软件任务的执行概率,MHj表示第j个硬件任务,PMHj表示第j个硬件任务的执行概率。SSk表示第i个软件任务的第k个软件场景,PSSk表示第i个软件任务的第k个软件场景的执行概率。SHg表示第j个硬件任务的第g个硬件场景,PSHg表示第j个硬件任务的第g个硬件场景的执行概率。将软、硬件任务进行正交,可以获得软硬件系统任务,并由软、硬件任务的执行概率计算得到软硬件系统任务的执行概率,例如由第i个软件任务和第j个硬件任务得到系统任务MCij,MCij对应的执行概率为PMCij,PMCij=PMsi*PMHj。将软件场景和硬件场景正交得到软硬件系统任务场景,并由软件场景和硬件场景的执行概率计算得到软硬件系统任务场景的执行概率。例如,由第i个软件任务的第k个软件场景SSk和第j个硬件任务的第g个硬件场景SHg得到系统任务MCij的一个系统任务场景SCkg,SCkg的执行概率为PSCkg,PSCkg=PSSk*PSHg*PMCij
步骤5:确定关系矩阵R。确定关系矩阵05指确定描述软件可靠性测试剖面与综合环境应力试验剖面对应关系的分析。根据软硬件系统任务场景分析过程,可以确定组成系统任务场景的软件场景和硬件场景,将同一系统任务场景中所包含的软件可靠性测试剖面和硬件环境应力试验剖面关系通过矩阵的方式进行描述。
关系矩阵R的行是软件可靠性测试剖面TP1~TPi,列是硬件场景剖面(对应阶段子剖面),元素取值1或0。数值1代表相应的软可靠性测试剖面和硬件场景剖面相关联,即在某一阶段子剖面中描述软件完成相关剖面的功能场景,同时处于相应的综合环境应力试验剖面描述的环境场景中;0代表相应的软件可靠性测试剖面和硬件场景剖面无关联。具体元素的值根据分析系统的相关技术文档确定。
步骤6:生成阶段子剖面。生成阶段子剖面06是指综合软件可靠性测试剖面和硬件综合环境应力试验剖面进行构造描述系统任务场景的剖面。对于一个软硬件系统任务场景,按照关系矩阵R,找到与该系统任务场景对应的硬件场景剖面相关联的所有软件可靠性测试剖面。根据当前系统任务场景中环境应力函数关系构造硬件环境应力试验剖面,然后将构造的硬件环境应力试验剖面和从关系矩阵R中找到的软件可靠性测试剖面结合,生成阶段子剖面,并由软硬件系统任务场景的概率和试验周期时长确定阶段子剖面的试验时长。
步骤7:构造软硬件系统可靠性联合试验剖面。生成周期子剖面07是指将阶段子剖面按照系统任务情况进行分类组合,得到描述系统任务的一个或多个阶段子剖面集合。所生成的周期子剖面就是软硬件系统可靠性联合试验剖面。本步骤中重复步骤6,生成所有系统任务场景的阶段子剖面,将所有阶段子剖面按照系统任务分类,同一系统任务相关的阶段子剖面组织成为一个周期子剖面。将周期子剖面按照试验循环周期组织,最终完成CHSRTP的构造。
步骤8:实施软硬件系统可靠性联合试验,包括步骤8.1~步骤8.3。
步骤8.1:软硬件系统可靠性联合试验准备工作。1)成立联合试验项目组。通过试验方和委托方协调,指派联合试验负责人,制定试验计划,完成以下工作:a)明确试验人员工作职责;b)明确试验目的;c)做好日常工作计划和安排。2)制定联合试验计划。联合试验计划书有统筹规划整个试验实施的作用,内容主要包括:a)联合试验项目简介;b)试验所需软硬件设施;c)试验所需人力资源及分配情况;d)试验内容及步骤;e)试验规模及工作量分析;f)试验进度计划;g)风险分析。3)编制试验用例。试验用例是根据联合试验剖面生成的,描述软硬件系统完成一个完整工作过程的用于指导试验的文档。4)生成试验脚本。试验脚本是由试验用例转换而来,所描述的内容与试验用例一致,但是试验脚本可以被测控试验台识别加载,实现自动化测试。5)搭建试验环境。联合试验环境包括硬件试验环境和软件测试平台,硬件试验环境根据试验要求和剖面描述,选择合适的综合环境应力试验箱;软件测试平台保证系统软件正常运行,包括软件、硬件、网络、数据库、测试工具等。
步骤8.2:执行软硬件系统可靠性联合试验,主要包括三项内容:试验运行、收集数据和试验停止。
1)试验运行。在准备工作就绪后,通过搭建好的联合试验环境实施软硬件系统可靠性联合试验,自动或手动执行编制好的试验脚本或试验用例。同时使用试验环境中的相关工具自动记录系统软件输出信息,作为后期数据分析的原始依据。此外在试验过程中,需要编写完整的试验日志,内容包括试验编号、试验用例编号、试验人员、试验执行时间和遇到问题描述等。
2)收集数据。联合试验数据是软硬件系统可靠性评估的基础,需要对数据的收集、保存、分析和处理制定相应规程,从而完整准确地记录联合试验过程中的失效数据。主要记录的数据内容有:a)失效时间,记录发生一次失效所累积经历的时间;b)失效间隔时间,记录本次失效与上一次失效的间隔时间;c)分组时间失效,记录某个时间段内发生的失效次数;d)分组时间累积失效,记录某个时间段内的累积失效数。在记录以上可靠性数据时,每个试验记录必须包含以下信息:a)试验时间;b)试验用例编号;c)试验用例执行过程中的所有试验结果,包括试验时发生的故障;d)试验人员信息。
3)试验停止。达到以下任一条件,终止试验:a)当联合试验达到规定的条件时;b)试验过程中,被测系统可靠性已经达不到要求时;c)试验规模超出预期,无法继续进行时。
步骤8.3:试验结果分析主要采用数理统计的方法进行可靠性分析或故障分析,利用概率论模型研究故障与时间的关系,得出其故障时间概率分布情况,分析过程有:a)数据收集和整理;b)经验分布函数或可靠性观测值计算;c)分布拟合;d)分布参数估计;e)可靠性参数计算;f)计算故障率平均寿命可靠度。通过对联合试验数据的分析,将试验结果以试验报告的形式进行记录,根据要求给出软硬件系统可靠性鉴定结果或进行评估,为提高系统可靠性提出合理建议。
本发明中的CHSRTP真实反映了软硬件系统在所有的任务场景中,外部环境应力和软件输入激励随时间的变化情况,通过其中包含的环境应力信息,系统软件输入信息,综合全面地描述了软硬件系统的真实工作情况。
软硬件系统可靠性联合试验实施主要包括试验环境搭建和试验实施及试验结果收集。如图3所示为搭建的实验环境,被测系统位于综合环境应力实验箱中,并通过I/O接口与测控试验台通信,测控试验台通过I/O接口控制被测系统的陪试件及电源。
本发明结合某过程控制系统作为实例来说明本发明联合试验方法的可行性和有效性。该控制系统软件加载在逻辑盒的DSP芯片中,通过系统加电或控制面板开关按钮启动。该控制系统以逻辑盒为控制核心,在系统软件的支持下,实现全过程控制;对压力、转速和其他电机速度实现闭环实时调节;显示过程指示信号和参数;异常告警及处理;以及地面自检测等功能。维护系统自检测(BIT)必须在控制系统软件启动后,由自检测装置面板的“继续”按钮产生非屏蔽中断才能自动进入BIT检测流程,同时输出检测项目和对应检测结果。过程控制为实时控制过程,软件按周期方式执行,根据规定的处理方式,完成对所有输入状态信息采集,获得对输出的控制信息,经过控制计算输出控制信号到电控端口对系统元件进行控制。控制系统交联关系如图4所示。如图4所示,逻辑盒和控制面板分别连接1号电机控制器、2号电机控制器和电源变换器,1号电机控制器连接1号电机电源,2号电机控制器连接2号电机电源,电源变换器连接电源转换盒和滤波器,BITE自检盒连接逻辑盒,控制面板和逻辑盒之间相连。针对本实例控制系统的联合试验过程如下:
A.首先对控制系统进行分析。
1)控制系统的用户为控制操作员,用户类型单一,系统具有确定的使用流程。
2)控制系统软件的运行可以分为模式1和模式2。模式1下主要执行自检任务和数据维护任务;模式2下主要执行过程控制任务。
3)控制系统软件的运行状态主要有初始状态、维护BIT和过程控制状态。其中控制系统模式1只在载体地面状态下工作,模式2只在载体空中巡航状态下工作。
B.硬件可靠性试验剖面构造。
根据该系统相关技术文档说明,可以知道载体任务包括:地面阶段和空中巡航阶段两种。则被测系统硬件可靠性剖面的任务剖面如表1所示。
表1过程控制系统硬件任务剖面
任务阶段 持续时间(min)
地面 360
空中巡航 1080
该系统的工作环境有冷天、标准天、热天三种情况,其中在空中巡航任务中,又分高空巡航、中空巡航、低空巡航三种情况,因此基于上述任务剖面构造被测系统硬件可靠性剖面的场景剖面如表2所示。
表2过程控制系统硬件场景剖面
场景阶段 持续时间(min)
地面冷天 60
地面标准天 60
地面热天 60
冷天高空巡航 60
冷天中空巡航 60
冷天低空巡航 60
标准天高空巡航 60
标准天中空巡航 60
标准天低空巡航 60
热天高空巡航 60
热天中空巡航 60
热天低空巡航 60
硬件场景涉及的环境应力有湿度应力、电应力、温度应力和振动应力,硬件场景剖面由环境剖面数据表绘制而来,根据硬件场景剖面绘制的环境剖面数据如表3所示。
表3过程控制系统环境剖面数据表
根据环境剖面数据表,可以绘制综合环境应力试验剖面,如图5所示。
C.软件可靠性测试剖面构造。
通过软件需求文档和软件设计说明文档等,分析得系统软件相关的任务有地面任务和空中任务,根据软件的真实使用情况,确定软件任务的执行概率,如图6所示,执行空中任务的概率为0.3,执行地面任务的概率为0.7。
通过细化软件功能,识别所有可能的运行并建立运行于功能之间的联系,确定基于软件任务剖面的软件场景剖面如图7所示。
分析所有软件场景中软件运行相关的输入变量与输入状态,计算每个运行子类的发生概率,确定软件可靠性测试剖面TP1~TP6,如表4所示。
表4过程控制系统软件可靠性测试剖面
表4中,TP1和TP2对应图7所示地面任务,TP3~TP6对应图7所示空中任务,无异常自检的测试剖面如图8所示。
D.软硬件系统任务场景分析。
通过上述B、C过程中的分析,已经明确软、硬件场景信息,据此可以正交分析得到被测系统的任务场景信息,如表5所示。
表5过程控制系统任务场景
E.确定关系矩阵R。
由表5中软、硬件场景对应关系,可以得到关系矩阵R:
R = 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1 1 1
关系矩阵R中的列代表了表2的硬件场景剖面,每一列表示一种硬件场景剖面;行代表了表4的软件可靠性测试剖面,每一行表示一种软件可靠性测试剖面;矩阵中数字1表示相应的软硬件剖面相关联,即在某一阶段子剖面中描述软件完成相关剖面描述的功能场景,同时处于相应的综合环境应力试验剖面描述的环境场景中;数字0表示相应的软硬件剖面无关联。
F.生成阶段子剖面。
根据关系矩阵R,可以实现软件可靠性测试剖面与硬件环境应力试验剖面的对应,如图9所示。图9为关系矩阵R某一列所描述的情形,最上方对应系统任务场景中相关联的软件可靠性测试剖面编号,下方为系统任务场景相关的综合环境应力情况。图9中,TPi、TPj、…表示软件可靠性测试剖面,Ope1~ope4表示某个软件可靠性测试剖面中的操作,Input表示输入的参数。
G.生成CHSRTP。
生成所有系统任务场景相关的阶段子剖面,将所有阶段子剖面按照系统任务分类,同一系统任务相关的阶段子剖面组织成为一个周期子剖面,如图10所示。图10的剖面描述了系统冷天任务周期中的所有系统场景(虚线划分不同的场景),从左至右依次为:地面不加电不工作、地面自检、中空训练/使用、低空训练/使用、高空训练/使用。其中最上方软件测试剖面TP1~TP3指在冷天任务中不同场景下所包含的软件可靠性测试剖面,下方四个综合环境应力坐标系分别描述湿度、电应力、温度、振动在冷天任务中根据不同场景随时间的变化情况。
将周期子剖面按照试验循环周期组织,生成CHSRTP,如图11所示。
H.搭建试验环境。
控制系统可靠性联合试验环境设置为:被测系统放置于环境试验箱中,系统与试验箱外部电源和必要的陪试件连接,如图12所示,通过仿真测控试验台进行监控和测试。测控试验台能够根据测试用例,模拟相应的信号量提供给被测系统,满足系统运行条件;能够向被测系统输入操作指令并收集系统的输出情况。
I.确定试验时长。
根据系统完成不同任务时间以及各种任务所占的比重,得到一次系统任务的加权时间如表6所示。
表6控制系统任务时间分析表
自检时间(min) 训练时间(min) 使用时间(min) 加权时间tq(min)
5 96 30 30.34
由于CHSRTP描述的是系统所有任务场景下的工作情况,而实际使用的时候并不是要执行所有任务,所以引入了系统任务加权时间tq,也即时间加权平均值,tq是根据不同任务的时间乘以任务权重,再相加得到的。
控制系统可靠性联合试验规定了MTBF(平均故障间隔时间)的最低可接受值θ1为500h,采用表7方案,联合试验的总时长为T=610(h)。
表7控制系统验证测试统计方案表
α、β、α’、β’、θ0、θ1均是可靠性验证/评估用的数学模型里的参数,用数学模型进行可靠性验证和评估主要计算过程就是参数估计。
J.生成测试用例。
控制系统可靠性联合试验测试用例根据软硬件系统联合试验剖面生成,测试用例根据测控试验台要求,转化为测试脚本。测试用例数量结合一次系统任务的加权时间和所给出的联合试验总时长来进行确定。
K.试验结果收集及分析。
测控试验台根据加载的测试用例,实时收集被测系统的输出结果和状态数据,测控试验台自动记录的数据形式与加载测试脚本相同,并与每条操作对应。
通过对联合试验的结果与传统可靠性试验结果对比,使用传统可靠性试验未发现任何系统失效,但是通过联合试验发现4个系统失效,如表8所示。
表8控制系统联合试验结果对比表
序号 系统失效 传统可靠性试验 联合试验
1 开关开失效 未发现 发现(第128分钟)
2 自检失效 未发现 发现(第1194分钟)
3 开关关失效 未发现 发现(第1986分钟)
4 电容击穿失效 未发现 发现(第23060分钟)
通过对试验结果的对比分析,由于在系统可靠性联合试验剖面中,结合了软件可靠性测试剖面和硬件可靠性试验剖面,更真实地反映了系统的工作情况,同时在联合试验过程中,参考联合试验剖面生成的测试用例,采用了在施加综合环境应力条件的同时,进行软件操作的方式开展可靠性试验,得到了更准确有效的试验数据。如果采用传统可靠性试验的结果进行可靠性鉴定,则该控制系统是能够通过可靠性验收的。而采用联合试验的结果进行可靠性鉴定,则该控制系统不能通过可靠性验收。由此可见,系统可靠性联合试验对准确进行系统可靠性鉴定工作有重要作用。

Claims (1)

1.一种结合软件可靠性测试与硬件可靠性试验的联合试验方法,其特征在于,包括如下步骤:
步骤1:分析软硬件系统,分析内容包括:a)确认软硬件系统需求说明书与研制任务书是否一致;b)确定试验覆盖的软件功能以及功能相关的软件输入输出情况;c)确定试验覆盖的任务场景以及场景相关的环境应力情况;d)确认软硬件系统已经开发完成,处于待测状态;
步骤2:硬件可靠性试验剖面构造;
步骤3:软件可靠性测试剖面构造;
步骤4:确定软硬件系统任务场景及其执行概率;
软件任务和硬件任务进行正交获得系统任务,第i个软件任务和第j个硬件任务对应的系统任务的执行概率为PMCij,第i个软件任务的第k个软件场景和第j个硬件任务的第g个硬件场景对应的系统任务场景的执行概率为PSCkg
PMCij=PMsi*PMHj;PSCkg=PSSk*PSHg*PMCij
其中,PMSi表示第i个软件任务的执行概率,PMHj表示第j个硬件任务的执行概率,PSSk表示第i个软件任务的第k个软件场景的执行概率,PSHg表示第j个硬件任务的第g个硬件场景的执行概率;
步骤5:确定关系矩阵R,关系矩阵R的行是软件可靠性测试剖面,列是硬件场景剖面,当软件可靠性测试剖面和硬件场景剖面相关联时,元素的值为1,否则元素的值为0;
步骤6:生成阶段子剖面,具体是:根据关系矩阵R,找到软硬件系统任务场景对应硬件场景剖面相关联的所有软件可靠性测试剖面,将找到的软件可靠性测试剖面与软硬件系统任务场景对应,根据当前软硬件系统任务场景中环境应力函数关系构造硬件环境应力试验剖面,结合硬件环境应力试验剖面和找到的软件可靠性测试剖面生成阶段子剖面,并由软硬件系统任务场景的执行概率和试验周期时长确定阶段子剖面的试验时长;
步骤7:构造软硬件系统可靠性联合试验剖面,具体是:重复步骤6,生成所有系统任务场景的阶段子剖面,将所有阶段子剖面按照系统任务分类,同一系统任务的阶段子剖面组织成为一个周期子剖面,将周期子剖面按照试验循环周期组织,得到软硬件系统可靠性联合试验剖面;
步骤8:进行软硬件系统可靠性联合试验,其中试验用例根据所构建的软硬件系统可靠性联合试验剖面生成。
CN201410155961.XA 2014-04-17 2014-04-17 结合软件可靠性测试与硬件可靠性试验的联合试验方法 Active CN103914353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410155961.XA CN103914353B (zh) 2014-04-17 2014-04-17 结合软件可靠性测试与硬件可靠性试验的联合试验方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410155961.XA CN103914353B (zh) 2014-04-17 2014-04-17 结合软件可靠性测试与硬件可靠性试验的联合试验方法

Publications (2)

Publication Number Publication Date
CN103914353A true CN103914353A (zh) 2014-07-09
CN103914353B CN103914353B (zh) 2016-11-23

Family

ID=51040056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410155961.XA Active CN103914353B (zh) 2014-04-17 2014-04-17 结合软件可靠性测试与硬件可靠性试验的联合试验方法

Country Status (1)

Country Link
CN (1) CN103914353B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699603A (zh) * 2014-12-22 2015-06-10 工业和信息化部电子第五研究所 软硬件系统的可靠性测试方法和系统
CN105159827A (zh) * 2015-08-21 2015-12-16 北京航空航天大学 一种面向gui软件的可靠性加速测试方法
CN105446164A (zh) * 2015-11-27 2016-03-30 中国人民解放军63908部队 一种半实物仿真测试系统
CN105897485A (zh) * 2016-06-06 2016-08-24 北京航天发射技术研究所 一种基于can总线的流程的安全模拟方法及系统
CN106776268A (zh) * 2016-11-04 2017-05-31 中国航空综合技术研究所 一种基于剖面映射的显控软硬件系统可靠性试验激励方法
CN106802158A (zh) * 2017-01-18 2017-06-06 中国气象局气象探测中心 一种漂流观测仪测试评估方法
CN109408360A (zh) * 2018-08-03 2019-03-01 中国人民解放军63928部队 一种软件可靠性评估方法和系统
CN109782751A (zh) * 2017-11-14 2019-05-21 通用汽车环球科技运作有限责任公司 用于自主系统性能和基准测试的方法和设备
CN109933047A (zh) * 2019-03-22 2019-06-25 北京航空航天大学 一种软硬件混合系统的联合可靠性试验剖面构造方法
CN109946536A (zh) * 2019-01-17 2019-06-28 北京航空航天大学 一种基于opc技术的可靠性综合试验系统
CN110096426A (zh) * 2019-03-15 2019-08-06 北京航空航天大学 一种环境载荷条件下软件测试剖面建立方法
CN110345986A (zh) * 2019-06-11 2019-10-18 北京航空航天大学 一种基于随机共振和任务迁移的多应力测试方法
CN112395200A (zh) * 2020-11-25 2021-02-23 电信科学技术第十研究所有限公司 一种软件可靠性操作剖面概率的确定方法及装置
CN112463591A (zh) * 2020-11-12 2021-03-09 武汉市农业科学院 农业物联网系统评价方法、装置、设备及存储介质
CN108897680B (zh) * 2018-06-20 2021-04-06 北京航空航天大学 一种基于soa的软件系统操作剖面构造方法
CN113190457A (zh) * 2021-05-17 2021-07-30 中国船舶工业综合技术经济研究院 面向网络化系统的软件可靠性测评方法
CN113407428A (zh) * 2021-06-22 2021-09-17 贵州理工学院 人工智能系统的可靠性评估方法、装置和计算机设备
CN113779776A (zh) * 2021-08-23 2021-12-10 中国电力科学研究院有限公司 电网调度应用的测试剖面建模方法、系统、设备及介质
CN115827453A (zh) * 2022-12-01 2023-03-21 中国兵器工业信息中心 网络化软件系统可靠性测试剖面构造和测试用例生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662841B (zh) * 2012-04-01 2014-11-05 北京航空航天大学 一种软硬件结合的可靠性综合试验剖面构造方法
CN102708016B (zh) * 2012-05-17 2015-08-12 工业和信息化部电子第五研究所 基于任务剖面的软硬件可靠性测试方法及系统

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699603B (zh) * 2014-12-22 2017-08-04 工业和信息化部电子第五研究所 软硬件系统的可靠性测试方法和系统
CN104699603A (zh) * 2014-12-22 2015-06-10 工业和信息化部电子第五研究所 软硬件系统的可靠性测试方法和系统
CN105159827A (zh) * 2015-08-21 2015-12-16 北京航空航天大学 一种面向gui软件的可靠性加速测试方法
CN105159827B (zh) * 2015-08-21 2017-09-19 北京航空航天大学 一种面向gui软件的可靠性加速测试方法
CN105446164A (zh) * 2015-11-27 2016-03-30 中国人民解放军63908部队 一种半实物仿真测试系统
CN105446164B (zh) * 2015-11-27 2018-05-11 中国人民解放军63908部队 一种半实物仿真测试系统
CN105897485A (zh) * 2016-06-06 2016-08-24 北京航天发射技术研究所 一种基于can总线的流程的安全模拟方法及系统
CN105897485B (zh) * 2016-06-06 2019-04-19 北京航天发射技术研究所 一种基于can总线的流程的安全模拟方法及系统
CN106776268B (zh) * 2016-11-04 2019-12-24 中国航空综合技术研究所 一种基于剖面映射的显控软硬件系统可靠性试验激励方法
CN106776268A (zh) * 2016-11-04 2017-05-31 中国航空综合技术研究所 一种基于剖面映射的显控软硬件系统可靠性试验激励方法
CN106802158A (zh) * 2017-01-18 2017-06-06 中国气象局气象探测中心 一种漂流观测仪测试评估方法
CN109782751A (zh) * 2017-11-14 2019-05-21 通用汽车环球科技运作有限责任公司 用于自主系统性能和基准测试的方法和设备
CN108897680B (zh) * 2018-06-20 2021-04-06 北京航空航天大学 一种基于soa的软件系统操作剖面构造方法
CN109408360A (zh) * 2018-08-03 2019-03-01 中国人民解放军63928部队 一种软件可靠性评估方法和系统
CN109946536A (zh) * 2019-01-17 2019-06-28 北京航空航天大学 一种基于opc技术的可靠性综合试验系统
CN110096426A (zh) * 2019-03-15 2019-08-06 北京航空航天大学 一种环境载荷条件下软件测试剖面建立方法
CN109933047B (zh) * 2019-03-22 2020-10-27 北京航空航天大学 一种软硬件混合系统的联合可靠性试验剖面构造方法
CN109933047A (zh) * 2019-03-22 2019-06-25 北京航空航天大学 一种软硬件混合系统的联合可靠性试验剖面构造方法
CN110345986B (zh) * 2019-06-11 2020-08-25 北京航空航天大学 一种基于随机共振和任务迁移的多应力测试方法
CN110345986A (zh) * 2019-06-11 2019-10-18 北京航空航天大学 一种基于随机共振和任务迁移的多应力测试方法
CN112463591A (zh) * 2020-11-12 2021-03-09 武汉市农业科学院 农业物联网系统评价方法、装置、设备及存储介质
CN112395200A (zh) * 2020-11-25 2021-02-23 电信科学技术第十研究所有限公司 一种软件可靠性操作剖面概率的确定方法及装置
CN112395200B (zh) * 2020-11-25 2024-04-02 电信科学技术第十研究所有限公司 一种软件可靠性操作剖面概率的确定方法及装置
CN113190457A (zh) * 2021-05-17 2021-07-30 中国船舶工业综合技术经济研究院 面向网络化系统的软件可靠性测评方法
CN113407428A (zh) * 2021-06-22 2021-09-17 贵州理工学院 人工智能系统的可靠性评估方法、装置和计算机设备
CN113779776A (zh) * 2021-08-23 2021-12-10 中国电力科学研究院有限公司 电网调度应用的测试剖面建模方法、系统、设备及介质
CN113779776B (zh) * 2021-08-23 2024-01-30 中国电力科学研究院有限公司 电网调度应用的测试剖面建模方法、系统、设备及介质
CN115827453A (zh) * 2022-12-01 2023-03-21 中国兵器工业信息中心 网络化软件系统可靠性测试剖面构造和测试用例生成方法
CN115827453B (zh) * 2022-12-01 2023-09-08 中国兵器工业信息中心 网络化软件系统可靠性测试剖面构造和测试用例生成方法

Also Published As

Publication number Publication date
CN103914353B (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN103914353A (zh) 结合软件可靠性测试与硬件可靠性试验的联合试验方法
CN112052608B (zh) 一种作战推演仿真与效能评估一体化集成方法
US20210019251A1 (en) Capability test method based on joint test support platform
Simon et al. Benchmarking gas path diagnostic methods: a public approach
CN104461896B (zh) 基于可信属性的航天系统关键软件评价方法
Park et al. An experimental investigation on relationship between PSFs and operator performances in the digital main control room
CN109492256B (zh) 一种动态系统状态概率映射矩阵多向搜索方法
CN107357977A (zh) 基于二阶盲辨识的线性结构工作模态参数识别方法及装置
EP2500791A1 (en) System and method of simulating input/output modules in a control system
CN107315889A (zh) 仿真引擎的性能测试方法及存储介质
CN115135463A (zh) 工业系统的预测模型学习方法、装置和系统
CN109918791A (zh) 一种核电站数字化主控室操纵员人因可靠性分析方法
KR20190052742A (ko) 감시 진단 장치를 탑재한 발전소 시뮬레이터
CN106294174A (zh) 测试充分性的多维度度量方法及装置
CN110362939B (zh) 基于Monte carlo的网络靶场装备体系可靠性建模系统及方法
Mouaffo et al. Controlled experiments comparing fault-tree-based safety analysis techniques
Digel et al. DO QUALITATIVE EXPERIMENTS ON FUNCTIONAL RELATIONSHIPS FOSTER COVARIATIONAL THINKING?
CN110796243A (zh) 一种连续型运行监测数据模拟发生方法及装置
CN104516858A (zh) 一种非线性动力学行为分析的相图矩阵方法
RU2449336C2 (ru) Способ моделирования процессов четырехуровневого управления техническими средствами и система для его осуществления
Canham Operability Testing of Command, Control, Communications, Computers, and Intelligence (C4I) Systems
CN111667149A (zh) 面向大型科技工程、仿真和专家评估的体系效能评估方法
Diaconeasa et al. Discrete dynamic event tree uncertainty quantification in the ADS-IDAC dynamic PSA software platform
Galkin et al. The new approach to monitor the workflow management system ProdSys2/PanDA of the ATLAS experiment at LHC by using methods and techniques of visual analytics
Chi et al. A simulation-based decision support system for forest fire fighting

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant