CN110569197A - 一种用于软件可信性评估的可信证据分析与度量方法 - Google Patents

一种用于软件可信性评估的可信证据分析与度量方法 Download PDF

Info

Publication number
CN110569197A
CN110569197A CN201910865517.XA CN201910865517A CN110569197A CN 110569197 A CN110569197 A CN 110569197A CN 201910865517 A CN201910865517 A CN 201910865517A CN 110569197 A CN110569197 A CN 110569197A
Authority
CN
China
Prior art keywords
credible
evidence
software
requirement
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910865517.XA
Other languages
English (en)
Other versions
CN110569197B (zh
Inventor
漆莲芝
郭兴林
周昱瑶
张谊
颜运强
高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
COMPUTER APPLICATION INST CHINA ENGINEERING PHYSICS ACADEMY
Original Assignee
COMPUTER APPLICATION INST CHINA ENGINEERING PHYSICS ACADEMY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by COMPUTER APPLICATION INST CHINA ENGINEERING PHYSICS ACADEMY filed Critical COMPUTER APPLICATION INST CHINA ENGINEERING PHYSICS ACADEMY
Priority to CN201910865517.XA priority Critical patent/CN110569197B/zh
Publication of CN110569197A publication Critical patent/CN110569197A/zh
Application granted granted Critical
Publication of CN110569197B publication Critical patent/CN110569197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3676Test management for coverage analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/40Transformation of program code
    • G06F8/41Compilation
    • G06F8/44Encoding
    • G06F8/445Exploiting fine grain parallelism, i.e. parallelism at instruction level

Abstract

本发明公开了一种用于软件可信性评估的可信证据分析与度量方法,包括以下步骤:基于软件研制文档与标准的软件可信需求的获取;基于软件可信特性的软件可信证据模型的构建;基于证据模型设计软件可信评估证据体系;基于粒度标准的软件可信需求的分解;软件可信需求与证据源追溯关系的建立;软件可信需求优先级的确定;软件可信需求实现的分析与判定;软件可信证据直接度量元的采集与软件可信证据间接度量元的度量。本发明基于软件可信证据模型,通过可信需求驱动的证据分析与判定方法开展证据数据采集、度量,保证了用于软件可信性评估的证据数据的准确性与客观性,从而提高了软件可信性评估结果的可靠性。

Description

一种用于软件可信性评估的可信证据分析与度量方法
技术领域
本发明涉及一种软件可信性评估方法,尤其涉及一种用于软件可信性评估的可信证据分析与度量方法。
背景技术
软件可信性关注软件使用层面的综合化的质量属性及其保障形式,涉及多个质量属性的综合与平衡,研制动态行为及其结果总是符合人们预期的可信软件是当前面临的巨大挑战。而评估软件的可信性,需依赖对软件可信性进行度量的证据,证据的分析与度量属于软件度量范畴,是软件工程的一个重要组成部分。
基于证据的软件工程试图从客观数据的角度解决问题;证据作为建立软件可信、支持软件可信评估的基础要素,是软件可信性评估非常重要且基础的组成部分。通过证据数据度量软件的可信性,可以实现基于证据的、自底向上的软件可信性评估。
目前,在软件可信性评估的工程应用实践中,缺乏软件可信证据分析、判定与度量的具体方法指导,证据的分析、判定与度量往往基于评估人员的主观经验,导致用于软件可信性评估的证据数据的准确性与客观性无法保证,从而影响软件可信性评估结果的可靠性。
发明内容
本发明的目的就在于为了解决上述问题而提供一种用于软件可信性评估的可信证据分析与度量方法。
本发明通过以下技术方案来实现上述目的:
一种用于软件可信性评估的可信证据分析与度量方法,包括以下步骤:
步骤1、基于软件研制文档与标准的软件可信需求的获取:包括基于软件研制文档获取软件显性需求、基于需求分析方法获取软件隐含需求、基于研制标准提取软件需求的可信原则;软件显性需求、软件隐含需求与可信原则结合构成覆盖软件可信特性与子特性的软件可信需求;
步骤2、基于软件可信特性的软件可信证据模型的构建:软件可信证据模型的证据数据结构定义为一个三元组,分别是证据标识、证据度量目标、证据间接度量元;证据间接度量元定义为一个二元组,分别为证据直接度量元及间接度量元的度量方法;证据直接度量元定义为一个二元组,分别是证据度量目标的可量化问题要求的所有证据数据值、证据度量目标的可量化问题要求的实际证据数据值,间接度量元的度量方法为满足证据度量目标的可量化问题要求的实际证据数据值与满足证据度量目标的可量化问题要求的所有证据数据值之比;
步骤3、基于证据模型设计软件可信评估证据体系:每一可信子特性由三类证据支撑,分别是:可信需求定义类证据、可信需求设计类证据、可信需求测试类证据;
步骤4、基于粒度标准的软件可信需求的分解:依据软件可信特性、子特性与可信需求的映射关系,定义软件可信需求分解的粒度,实施可信需求分解获得可追溯证据源的可信需求项;其中,根据需要对追溯测试用例的可信需求项实施再分解,使其能够追溯到测试用例;
步骤5、软件可信需求与证据源追溯关系的建立:建立包括软件需求项、软件设计项、软件测试用例的证据源与按粒度分解后的软件可信需求项的追溯关系,具体是:软件可信需求项与软件需求项1:1追溯,软件可信需求项与设计项1:1追溯,可信需求项与测试用例1:n追溯;
步骤6、软件可信需求优先级的确定:软件可信需求优先级级别为高、中、低三个级别,具体为:高级别的可信需求:不满足会导致人员死亡或严重伤害、产品毁坏或严重损坏、任务失败、重大经济损失及环境严重损害的需求;中级别的可信需求:不满足会导致人员的中等程度伤害、产品的中等程度损坏、任务延误或降级、经济的中等程度损失、环境的中等程度损害的需求;低级别的可信需求:不满足不足以导致人员伤害、产品轻度损坏、经济损失、环境损害,但是会导致非计划性维护的需求;
步骤7、软件可信需求实现的分析与判定:依据可信需求与证据源的追溯及可信需求的内容,以证据度量目标为判断依据制定判定策略、判定准则判断软件可信需求的实现,包括软件可信需求定义的实现、软件可信需求设计的实现以及软件可信需求测试的实现;
步骤8、软件可信证据直接度量元的采集与软件可信证据间接度量元的度量:依据步骤2的证据直接度量元定义,步骤7的判定结果采集证据的直接度量元数据;根据步骤2的间接度量元度量方法,实施间接度量元度量,完成可信需求定义类证据度量、可信需求设计类证据度量、可信需求测试类证据度量,至此完成可信证据分析与度量。
作为优选,所述步骤1中,依据包括但不限于软件研制任务书、合同的软件研制类文档获取软件显性需求,依据软件需求分析方法包括但不限于FMEA、FTA的方法获得软件隐含需求,参照包括但不限于GJB/Z 102A、GJB 1091、GJB 2041、GJB/Z 141的相关软件需求分析、设计、测试标准提取软件可信原则;依据软件研制标准提取的可信原则覆盖软件运行、容错和容失效、危险命令处理、接口、数据及系统资源与时间约束,将软件需求与可信原则结合构成覆盖软件可信特性、子特性的可信需求。
作为优选,所述步骤2中,软件可信证据模型定义如下:
EvidenceModel={Evidence1,···,Evidencei,···,Evidencen}
Evidencei表示第i个子属性的可信证据,其具体表示为:
EdIDi表示第i个证据的标识,EdDescriptioni描述了第i个证据的度量目标,表示第i个证据的第j个间接度量元,其值通过度量方法EdMeasure得到,具体表示为:
表示为第i个证据的第j个直接度量元,它进一步由一个二元组表示:
表示满足第i个度量目标可量化问题j要求的所有证据数据值,表示满足第i个度量目标可量化问题j的要求的实际证据数据值:
作为优选,所述步骤3中,为每一可信子特性下各证据定义度量目标、设计证据的可量化问题、定义可量化问题的间接度量元与直接度量元,各类证据具体内容包括但不限于以下内容:
A、可信需求定义类证据与可信需求设计类证据:
(1)度量目标为对应可信子特性定义或设计的完整性、正确性与充分性;
(2)各度量目标对应的间接度量元为对应可信子特性定义和设计的完整率、正确率与充分率;
(3)各间接度量元对应的直接度量元为对应可信子特性的可信需求项总数、对应可信子特性定义或设计的完整的可信需求项数目、定义或设计正确的可信需求项数目、定义或设计充分的可信需求项数目;
B、可信需求测试类证据:
(1)度量目标为对应可信子特性测试的完整性、有效性与符合性;
(2)各度量目标对应的间接度量元为对应可信子特性测试的完整率、有效率与符合率;
(3)各间接度量元对应直接度量元为对应可信子特性的可信需求项总数、对应可信测试的完整的可信需求项数目、有效的可信需求项数目、符合的可信需项数目;
上述三类证据的间接度量方法均是满足可信子特性可信需求项的直接度量元数值与可信子特性下所有可信需求项数值之比。
作为优选,所述步骤4中,可信需求分解粒度与具体的软件可信特性与子特性相关,软件可信特性包括但不限于可用性、可靠性、安全性、实时性、可生存性与可维护性,可用性的子特性包括功能适合性、功能准确性、互操作性;可靠性的子特性包括成熟性、容错性;安全性的子特性包括数据保密性、防危性;实时性的子特性包括及时性;可维护性的子特性包括易分析性;可生存性的子特性包括健壮性;
各子特性对应可信需求的分解粒度标准定义如下:
(1)功能适合性可信需求划分粒度是具体的不能再分解的子功能项的正常实现情况;
(2)功能准确性可信需求划分粒度是具体的子功能项的数据计算准确性要求或数据处理精度要求;
(3)功能互操作性可信需求划分粒度是具体的与指定系统交互的接口的实现情况。
(4)可靠性的成熟性可信需求划分粒度是具体的成熟性要求或避免软件失效的策略;
(5)可靠性的容错性可信需求划分粒度是具体的容错处理规则或容错策略;
(6)安全性的数据保密性可信需求划分粒度是软件保护信息和数据不被非法访问的具体策略;
(7)安全性的防危性的可信需求划分是具体的避免灾难后果的策略;
(8)实时性的及时性可信需求划分是在规定时间完成处理操作的具体要求;
(9)可生存性健壮性的可信需求划分粒度是在临界负载条件下软件完成规定功能或维持性能的具体要求;
(10)可维护性易分析性的可信需求划分粒度是具体的易分析性要求。
作为优选,所述步骤8中,针对步骤2所述可信需求定义类证据、可信需求设计类证据、可信需求测试类证据的分析与判定策略与准则的方法所示:
可信需求定义类证据的分析与判定:依据可信需求项与软件需求项的追溯、可信需求项与软件需求项的具体内容,对需求定义的正确性、完整性与充分性实施判定:
(1)判定策略:通过包括但不限于检查、确认与评审的方法,验证软件包括但不限于设计说明的文档中需求定义的客观证据;
(2)判定准则:需求项定义无错误即定义正确、需求项定义无缺漏即需求定义完整、需求定义无冗余即定义充分;
可信需求设计类证据的分析与判定:依据可信需求项与软件设计项的追溯、可信需求项及软件设计项的具体内容,对需求设计的正确性、完整性与充分性实施判定:
(1)判定策略:通过包括但不限于检查、确认与评审的方法,验证软件包括但不限于设计说明的文档中需求设计的客观证据;
(2)判定准则:需求项设计无错误即设计正确、需求项设计无缺漏即设计完整、需求设计无冗余即设计充分;
可信需求测试类证据的分析与判定:依据可信需求项与测试用例的追溯、可信需求项与测试用例的内容,从可信需求测试的完整性、有效性与符合性三个方面判断软件需求测试的实现:
(1)判定策略:采用包括但不限于检查、确认与评审的方法,验证包括但不限于软件测试用例的测试客观证据;
(2)判定准则:
①测试完整性判定:测试完整性判定属于粗粒度判定,判断可信需求项是否进行测试覆盖,即针对可信需求项进行了测试需求分析与测试设计则判定为测试完整;
②测试有效性判定,属于细粒度判定,分为三种情况:
对于高优先级的可信需求项,测试设计实现对可信需求项正常、异常、边界条件全覆盖或者未覆盖用例占全部设计测试用例的比例在10%以内,则判定为测试有效;无法判定为测试有效的情形判定为测试无效;
对于中优先级的可信需求项,测试设计实现对可信需求正常、异常、边界条件全覆盖或者未覆盖用例占全部设计的测试用例的比例在20%以内,则判定为测试有效;无法判定为测试有效的情形判定为测试无效;
对于低优先级的可信需求项,测试设计实现对可信需求正常、异常、边界条件全覆盖或者未覆盖用例占全部设计的测试用例的比例在30%以内,则判定为测试有效;无法判定为测试有效的情形判定为测试无效;
③测试符合性判定,属于细粒度判定,基于测试有效性判定,符合性判定准则如下:
测试有效且针对该可信需求项设计的全部测试用例通过,则判定为符合;
测试有效时,不存在致命或严重问题且存在一般问题的用例数占全部设计用例的10%以内;
测试有效时,不存在致命或严重问题且存在轻微问题的用例数占全部设计用例的30%以内;
其中测试不符合判定如下:
当测试有效时,其它不能判定为符合性有效的情形,则判定为不符合;
当测试无效时,判定为不符合。
本发明的有益效果在于:
本发明基于软件可信证据模型,通过可信需求驱动的证据分析与判定方法开展证据数据采集、度量,避免了主观定性评估方法结果不准确不可靠的问题,保证了用于软件可信性评估的证据数据的准确性与客观性,从而提高了软件可信性评估结果的可靠性;本方法能为基于证据的软件可信性评估提供输入,达到定量评估软件可信性水平的目的。
附图说明
图1是本发明所述用于软件可信性评估的可信证据分析与度量方法的流程示意图;
图2是本发明所述软件可信需求获取方法的流程示意图;
图3是本发明所述可信需求与证据源追溯的流程示意图。
具体实施方式
下面结合附图对本发明作进一步说明:
如图1、图2和图3所示,本发明所述用于软件可信性评估的可信证据分析与度量方法,包括以下步骤:
步骤1、基于软件研制文档与标准的软件可信需求的获取:包括基于软件研制文档获取软件显性需求、基于需求分析方法获取软件隐含需求、基于研制标准提取软件需求的可信原则;软件显性需求、软件隐含需求与可信原则结合构成覆盖软件可信特性与子特性的软件可信需求。
如图2所示,本步骤中,依据包括但不限于软件研制任务书、合同的软件研制类文档获取软件显性需求,依据软件需求分析方法包括但不限于FMEA、FTA的方法获得软件隐含需求,参照包括但不限于GJB/Z 102A、GJB 1091、GJB 2041、GJB/Z 141的相关软件需求分析、设计、测试标准提取软件可信原则;依据软件研制标准提取的可信原则覆盖软件运行、容错和容失效、危险命令处理、接口、数据、系统资源与时间约束,将软件需求与可信原则结合构成覆盖软件可信特性、子特性的可信需求。
步骤2、基于软件可信特性的软件可信证据模型的构建:软件可信证据模型的证据数据结构定义为一个三元组,分别是证据标识、证据度量目标、证据间接度量元;证据间接度量元定义为一个二元组,分别为证据直接度量元及间接度量元的度量方法;证据直接度量元定义为一个二元组,分别是证据度量目标的可量化问题要求的所有证据数据值、证据度量目标的可量化问题要求的实际证据数据值,间接度量元的度量方法为满足证据度量目标的可量化问题要求的实际证据数据值与满足证据度量目标的可量化问题要求的所有证据数据值之比。
本步骤中,软件可信证据模型定义如下:
EvidenceModel={Evidence1,···,Evidencei,···,Evidencen}
Evidencei表示第i个子属性的可信证据,其具体表示为:
EdIDi表示第i个证据的标识,EdDescriptioni描述了第i个证据的度量目标,表示第i个证据的第j个间接度量元,其值通过度量方法EdMeasure得到,具体表示为:
表示为第i个证据的第j个直接度量元,它进一步由一个二元组表示:
表示满足第i个度量目标可量化问题j要求的所有证据数据值,表示满足第i个度量目标可量化问题j的要求的实际证据数据值:
步骤3、基于证据模型设计软件可信评估证据体系:每一可信子特性由三类证据支撑,分别是:可信需求定义类证据、可信需求设计类证据、可信需求测试类证据。
本步骤中,为每一可信子特性下各证据定义度量目标、设计证据的可量化问题、定义可量化问题的间接度量元与直接度量元,各类证据具体内容包括但不限于以下内容:
A、可信需求定义类证据与可信需求设计类证据:
(1)度量目标为对应可信子特性定义或设计的完整性、正确性与充分性;
(2)各度量目标对应的间接度量元为对应可信子特性定义和设计的完整率、正确率与充分率;
(3)各间接度量元对应的直接度量元为对应可信子特性的可信需求项总数、对应子特性定义或设计的完整的可信需求项数目、定义或设计正确的可信需求项数目、定义或设计充分的可信需求项数目;
B、可信需求测试类证据:
(1)度量目标为对应可信子特性测试的完整性、有效性与符合性;
(2)各度量目标对应的间接度量元为对应可信子特性测试的完整率、有效率与符合率;
(3)各间接度量元对应直接度量元为对应可信子特性的可信需求项总数、对应可信测试的完整的可信需求项数目、有效的可信需求项数目、符合的可信需项数目;
上述三类证据的间接度量方法均是满足可信子特性可信需求项的直接度量元数值与可信子特性下所有可信需求项数值之比。
上述各类证据具体内容如下表1、表2和表3所示:
表1:可信需求定义类证据设计示例
表2:可信需求设计类证据设计示例
表3:可信需求测试类证据设计示例
步骤4、基于粒度标准的软件可信需求的分解:依据软件可信特性、子特性与可信需求的映射关系,定义软件可信需求分解的粒度,实施可信需求分解获得可追溯证据源的可信需求项;其中,根据需要对追溯测试用例的可信需求项实施再分解,使其能够追溯到测试用例。
本步骤中,可信需求分解粒度与具体的软件可信特性与子特性相关,软件可信特性包括但不限于可用性、可靠性、安全性、实时性、可生存性与可维护性,可用性的子特性包括功能适合性、功能准确性、互操作性;可靠性的子特性包括成熟性、容错性;安全性的子特性包括数据保密性、防危性;实时性的子特性包括及时性;可维护性的子特性包括易分析性;可生存性的子特性包括健壮性;
各子特性对应可信需求的分解粒度标准定义如下:
(1)功能适合性可信需求划分粒度是具体的不能再分解的子功能项的正常实现情况;
(2)功能准确性可信需求划分粒度是具体的子功能项的数据计算准确性要求或数据处理精度要求;
(3)功能互操作性可信需求划分粒度是具体的与指定系统交互的接口的实现情况。
(4)可靠性的成熟性可信需求划分粒度是具体的成熟性要求或避免软件失效的策略;
(5)可靠性的容错性可信需求划分粒度是具体的容错处理规则或容错策略;
(6)安全性的数据保密性可信需求划分粒度是软件保护信息和数据不被非法访问的具体策略;
(7)安全性的防危性的可信需求划分是具体的避免灾难后果的策略;
(8)实时性的及时性可信需求划分是在规定时间完成处理操作的具体要求;
(9)可生存性健壮性的可信需求划分粒度是在临界负载条件下软件完成规定功能或维持性能的具体要求;
(10)可维护性易分析性的可信需求划分粒度是具体的易分析性要求。
步骤5、如图3所示,软件可信需求与证据源追溯关系的建立:建立包括软件需求项、软件设计项、软件测试用例的证据源与按粒度分解后的软件可信需求项的追溯关系,具体是:软件可信需求项与软件需求项1:1追溯,软件可信需求项与设计项1:1追溯,可信需求项与测试用例1:n追溯。
步骤6、软件可信需求优先级的确定:软件可信需求优先级级别为高、中、低三个级别,具体为:高级别的可信需求:不满足会导致人员死亡或严重伤害、产品毁坏或严重损坏、任务失败、重大经济损失及环境严重损害的需求;中级别的可信需求:不满足会导致人员的中等程度伤害、产品的中等程度损坏、任务延误或降级、经济的中等程度损失、环境的中等程度损害的需求;低级别的可信需求:不满足不足以导致人员伤害、产品轻度损坏、经济损失、环境损害,但是会导致非计划性维护的需求;
步骤7、软件可信需求实现的分析与判定:依据可信需求与证据源的追溯及可信需求的内容,以证据度量目标为判断依据制定判定策略、判定准则判断软件可信需求的实现,包括软件可信需求定义的实现、软件可信需求设计的实现以及软件可信需求测试的实现;
步骤8、软件可信证据直接度量元的采集与软件可信证据间接度量元的度量:依据步骤2的证据直接度量元定义,步骤7的判定结果采集证据的直接度量元数据;根据步骤2的间接度量元度量方法,实施间接度量元度量,完成可信需求定义类证据度量、可信需求设计类证据度量、可信需求测试类证据度量,至此完成可信证据分析与度量。
本步骤中,针对步骤2所述可信需求定义类证据、可信需求设计类证据、可信需求测试类证据的分析与判定策略与准则的方法所示:
可信需求定义类证据的分析与判定:依据可信需求项与软件需求项的追溯、可信需求项与软件需求项的具体内容,对需求定义的正确性、完整性与充分性实施判定:
(1)判定策略:通过包括但不限于检查、确认与评审的方法,验证软件包括但不限于设计说明的文档中需求定义的客观证据;
(2)判定准则:需求项定义无错误即定义正确、需求项定义无缺漏即需求定义完整、需求定义无冗余即定义充分;
可信需求设计类证据的分析与判定:依据可信需求项与软件设计项的追溯、可信需求项及软件设计项的具体内容,对需求设计的正确性、完整性与充分性实施判定:
(1)判定策略:通过包括但不限于检查、确认与评审的方法,验证软件包括但不限于设计说明的文档中需求设计的客观证据;
(2)判定准则:需求项设计无错误即设计正确、需求项设计无缺漏即设计完整、需求设计无冗余即设计充分;
可信需求测试类证据的分析与判定:依据可信需求项与测试用例的追溯、可信需求项与测试用例的内容,从可信需求测试的完整性、有效性与符合性三个方面判断软件需求测试的实现:
(1)判定策略:采用包括但不限于检查、确认与评审的方法,验证包括但不限于软件测试用例的测试客观证据;
(2)判定准则:
①测试完整性判定:测试完整性判定属于粗粒度判定,判断可信需求项是否进行测试覆盖,即针对可信需求项进行了测试需求分析与测试设计则判定为测试完整;
②测试有效性判定,属于细粒度判定,分为三种情况:
对于高优先级的可信需求项,测试设计实现对可信需求项正常、异常、边界条件全覆盖或者未覆盖用例占全部设计测试用例的比例在10%以内,则判定为测试有效;无法判定为测试有效的情形判定为测试无效;
对于中优先级的可信需求项,测试设计实现对可信需求正常、异常、边界条件全覆盖或者未覆盖用例占全部设计的测试用例的比例在20%以内,则判定为测试有效;无法判定为测试有效的情形判定为测试无效;
对于低优先级的可信需求项,测试设计实现对可信需求正常、异常、边界条件全覆盖或者未覆盖用例占全部设计的测试用例的比例在30%以内,则判定为测试有效;无法判定为测试有效的情形判定为测试无效;
③测试符合性判定,属于细粒度判定,基于测试有效性判定,符合性判定准则如下:
测试有效且针对该可信需求项设计的全部测试用例通过,则判定为符合;
测试有效时,不存在致命或严重问题且存在一般问题的用例数占全部设计用例的10%以内;
测试有效时,不存在致命或严重问题且存在轻微问题的用例数占全部设计用例的30%以内;
其中测试不符合判定如下:
当测试有效时,其它不能判定为符合性有效的情形,则判定为不符合;当测试无效时,判定为不符合。
下面用表4-表9进一步说明:
表4:可信需求定义类证据与设计类证据判定示例
表5:可信需求定义类证据度量示例
表6:可信需求设计类证据度量示例
表7:可信需求测试类证据(完整性、有效性)判定示例
表8:可信需求测试类证据(符合性)判定示例
表9:可信需求测试类证据度量示例
上述实施例只是本发明的较佳实施例,并不是对本发明技术方案的限制,只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案,均应视为落入本发明专利的权利保护范围内。

Claims (6)

1.一种用于软件可信性评估的可信证据分析与度量方法,其特征在于:包括以下步骤:
步骤1、基于软件研制文档与标准的软件可信需求的获取:包括基于软件研制文档获取软件显性需求、基于需求分析方法获取软件隐含需求、基于研制标准提取软件需求的可信原则;软件显性需求、软件隐含需求与可信原则结合构成覆盖软件可信特性与子特性的软件可信需求;
步骤2、基于软件可信特性的软件可信证据模型的构建:软件可信证据模型的证据数据结构定义为一个三元组,分别是证据标识、证据度量目标、证据间接度量元;证据间接度量元定义为一个二元组,分别为证据直接度量元及间接度量元的度量方法;证据直接度量元定义为一个二元组,分别是证据度量目标的可量化问题要求的所有证据数据值、证据度量目标的可量化问题要求的实际证据数据值,间接度量元的度量方法为满足证据度量目标的可量化问题要求的实际证据数据值与满足证据度量目标的可量化问题要求的所有证据数据值之比;
步骤3、基于证据模型设计软件可信评估证据体系:每一可信子特性由三类证据支撑,分别是:可信需求定义类证据、可信需求设计类证据、可信需求测试类证据;
步骤4、基于粒度标准的软件可信需求的分解:依据软件可信特性、子特性与可信需求的映射关系,定义软件可信需求分解的粒度,实施可信需求分解获得可追溯证据源的可信需求项;其中,根据需要对追溯测试用例的可信需求项实施再分解,使其能够追溯到测试用例;
步骤5、软件可信需求与证据源追溯关系的建立:建立包括软件需求项、软件设计项、软件测试用例的证据源与按粒度分解后的软件可信需求项的追溯关系,具体是:软件可信需求项与软件需求项1:1追溯,软件可信需求项与设计项1:1追溯,可信需求项与测试用例1:n追溯;
步骤6、软件可信需求优先级的确定:软件可信需求优先级级别为高、中、低三个级别,具体为:高级别的可信需求:不满足会导致人员死亡或严重伤害、产品毁坏或严重损坏、任务失败、重大经济损失及环境严重损害的需求;中级别的可信需求:不满足会导致人员的中等程度伤害、产品的中等程度损坏、任务延误或降级、经济的中等程度损失、环境的中等程度损害的需求;低级别的可信需求:不满足不足以导致人员伤害、产品轻度损坏、经济损失、环境损害,但是会导致非计划性维护的需求;
步骤7、软件可信需求实现的分析与判定:依据可信需求与证据源的追溯及可信需求的内容,以证据度量目标为判断依据制定判定策略、判定准则判断软件可信需求的实现,包括软件可信需求定义的实现、软件可信需求设计的实现以及软件可信需求测试的实现;
步骤8、软件可信证据直接度量元的采集与软件可信证据间接度量元的度量:依据步骤2的证据直接度量元定义,步骤7的判定结果采集证据的直接度量元数据;根据步骤2的间接度量元度量方法,实施间接度量元度量,完成可信需求定义类证据度量、可信需求设计类证据度量、可信需求测试类证据度量,至此完成可信证据分析与度量。
2.根据权利要求1所述的用于软件可信性评估的可信证据分析与度量方法,其特征在于:所述步骤1中,依据包括但不限于软件研制任务书、合同的软件研制类文档获取软件显性需求,依据软件需求分析方法包括但不限于FMEA、FTA的方法获得软件隐含需求,参照包括但不限于GJB/Z 102A、GJB1091、GJB 2041、GJB/Z 141的相关软件需求分析、设计、测试标准提取软件可信原则;依据软件研制标准提取的可信原则覆盖软件运行、容错和容失效、危险命令处理、接口、数据及系统资源与时间约束,将软件需求与可信原则结合构成覆盖软件可信特性、子特性的可信需求。
3.根据权利要求1所述的用于软件可信性评估的可信证据分析与度量方法,其特征在于:所述步骤2中,软件可信证据模型定义如下:
EvidenceModel={Evidence1,···,Evidencei,···,Evidencen}
Evidencei表示第i个子属性的可信证据,其具体表示为:
EdIDi表示第i个证据的标识,EdDescriptioni描述了第i个证据的度量目标,表示第i个证据的第j个间接度量元,其值通过度量方法EdMeasure得到,具体表示为:
表示为第i个证据的第j个直接度量元,它进一步由一个二元组表示:
表示满足第i个度量目标可量化问题j要求的所有证据数据值,表示满足第i个度量目标可量化问题j的要求的实际证据数据值:
4.根据权利要求1所述的用于软件可信性评估的可信证据分析与度量方法,其特征在于:所述步骤3中,为每一可信子特性下各证据定义度量目标、设计证据的可量化问题、定义可量化问题的间接度量元与直接度量元,各类证据具体内容包括但不限于以下内容:
A、可信需求定义类证据与可信需求设计类证据:
(1)度量目标为对应可信子特性定义或设计的完整性、正确性与充分性;
(2)各度量目标对应的间接度量元为对应子特性定义和设计的完整率、正确率与充分率;
(3)各间接度量元对应的直接度量元为对应可信子特性的可信需求项总数、对应可信子特性定义或设计的完整的可信需求项数目、定义或设计正确的可信需求项数目、定义或设计充分的可信需求项数目;
B、可信需求测试类证据:
(1)度量目标为对应可信子特性测试的完整性、有效性与符合性;
(2)各度量目标对应的间接度量元为对应可信子特性测试的完整率、有效率与符合率;
(3)各间接度量元对应直接度量元为对应可信子特性的可信需求项总数、对应可信测试的完整的可信需求项数目、有效的可信需求项数目、符合的可信需项数目;
上述三类证据的间接度量方法均是满足可信子特性可信需求项的直接度量元数值与可信子特性下所有可信需求项数值之比。
5.根据权利要求1所述的用于软件可信性评估的可信证据分析与度量方法,其特征在于:所述步骤4中,可信需求分解粒度与具体的软件可信特性与子特性相关,软件可信特性包括但不限于可用性、可靠性、安全性、实时性、可生存性与可维护性,可用性的子特性包括功能适合性、功能准确性、互操作性;可靠性的子特性包括成熟性、容错性;安全性的子特性包括数据保密性、防危性;实时性的子特性包括及时性;可维护性的子特性包括易分析性;可生存性的子特性包括健壮性;
各子特性对应可信需求的分解粒度标准定义如下:
(1)功能适合性可信需求划分粒度是具体的不能再分解的子功能项的正常实现情况;
(2)功能准确性可信需求划分粒度是具体的子功能项的数据计算准确性要求或数据处理精度要求;
(3)功能互操作性可信需求划分粒度是具体的与指定系统交互的接口的实现情况。
(4)可靠性的成熟性可信需求划分粒度是具体的成熟性要求或避免软件失效的策略;
(5)可靠性的容错性可信需求划分粒度是具体的容错处理规则或容错策略;
(6)安全性的数据保密性可信需求划分粒度是软件保护信息和数据不被非法访问的具体策略;
(7)安全性的防危性的可信需求划分是具体的避免灾难后果的策略;
(8)实时性的及时性可信需求划分是在规定时间完成处理操作的具体要求;
(9)可生存性健壮性的可信需求划分粒度是在临界负载条件下软件完成规定功能或维持性能的具体要求;
(10)可维护性易分析性的可信需求划分粒度是具体的易分析性要求。
6.根据权利要求1所述的用于软件可信性评估的可信证据分析与度量方法,其特征在于:所述步骤8中,针对步骤2所述可信需求定义类证据、可信需求设计类证据、可信需求测试类证据的分析与判定策略与准则的方法所示:
可信需求定义类证据的分析与判定:依据可信需求项与软件需求项的追溯、可信需求项与软件需求项的具体内容,对需求定义的正确性、完整性与充分性实施判定:
(1)判定策略:通过包括但不限于检查、确认与评审的方法,验证软件包括但不限于设计说明的文档中需求定义的客观证据;
(2)判定准则:需求项定义无错误即定义正确、需求项定义无缺漏即需求定义完整、需求定义无冗余即定义充分;
可信需求设计类证据的分析与判定:依据可信需求项与软件设计项的追溯、可信需求项及软件设计项的具体内容,对需求设计的正确性、完整性与充分性实施判定:
(1)判定策略:通过包括但不限于检查、确认与评审的方法,验证软件包括但不限于设计说明的文档中需求设计的客观证据;
(2)判定准则:需求项设计无错误即设计正确、需求项设计无缺漏即设计完整、需求设计无冗余即设计充分;
可信需求测试类证据的分析与判定:依据可信需求项与测试用例的追溯、可信需求项与测试用例的内容,从可信需求测试的完整性、有效性与符合性三个方面判断软件需求测试的实现:
(1)判定策略:采用包括但不限于检查、确认与评审的方法,验证包括但不限于软件测试用例的测试客观证据;
(2)判定准则:
①测试完整性判定:测试完整性判定属于粗粒度判定,判断可信需求项是否进行测试覆盖,即针对可信需求项进行了测试需求分析与测试设计则判定为测试完整;
②测试有效性判定,属于细粒度判定,分为三种情况:
对于高优先级的可信需求项,测试设计实现对可信需求项正常、异常、边界条件全覆盖或者未覆盖用例占全部设计测试用例的比例在10%以内,则判定为测试有效;无法判定为测试有效的情形判定为测试无效;
对于中优先级的可信需求项,测试设计实现对可信需求正常、异常、边界条件全覆盖或者未覆盖用例占全部设计的测试用例的比例在20%以内,则判定为测试有效;无法判定为测试有效的情形判定为测试无效;
对于低优先级的可信需求项,测试设计实现对可信需求正常、异常、边界条件全覆盖或者未覆盖用例占全部设计的测试用例的比例在30%以内,则判定为测试有效;无法判定为测试有效的情形判定为测试无效;
③测试符合性判定,属于细粒度判定,基于测试有效性判定,符合性判定准则如下:
测试有效且针对该可信需求项设计的全部测试用例通过,则判定为符合;
测试有效时,不存在致命或严重问题且存在一般问题的用例数占全部设计用例的10%以内;
测试有效时,不存在致命或严重问题且存在轻微问题的用例数占全部设计用例的30%以内;
其中测试不符合判定如下:
当测试有效时,其它不能判定为符合性有效的情形,则判定为不符合;
当测试无效时,判定为不符合。
CN201910865517.XA 2019-09-12 2019-09-12 一种用于软件可信性评估的可信证据分析与度量方法 Active CN110569197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910865517.XA CN110569197B (zh) 2019-09-12 2019-09-12 一种用于软件可信性评估的可信证据分析与度量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910865517.XA CN110569197B (zh) 2019-09-12 2019-09-12 一种用于软件可信性评估的可信证据分析与度量方法

Publications (2)

Publication Number Publication Date
CN110569197A true CN110569197A (zh) 2019-12-13
CN110569197B CN110569197B (zh) 2022-11-11

Family

ID=68779747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910865517.XA Active CN110569197B (zh) 2019-09-12 2019-09-12 一种用于软件可信性评估的可信证据分析与度量方法

Country Status (1)

Country Link
CN (1) CN110569197B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045951A (zh) * 2019-12-17 2020-04-21 上海创远仪器技术股份有限公司 基于无线电业务模型实现无线电应用软件质量测试效果分析处理的方法
CN111444106A (zh) * 2020-04-09 2020-07-24 中国人民解放军国防科技大学 一种对软件可测试需求的分析方法及系统
CN111581104A (zh) * 2020-05-11 2020-08-25 雷涛 一种基于DevOps研发运营一体化的度量方法
CN111586186A (zh) * 2020-05-12 2020-08-25 南通大学 一种道路雾架构环境下车辆结点信任值计算方法
CN111666571A (zh) * 2020-05-29 2020-09-15 中国工程物理研究院计算机应用研究所 一种信息安全控制措施的效能分析方法
CN114564415A (zh) * 2022-04-29 2022-05-31 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 软件自主性评估方法、装置、设备、介质和程序产品
CN115189957A (zh) * 2022-07-18 2022-10-14 浙江大学 一种工业控制系统主动可加载的访问控制引擎
CN116109215A (zh) * 2023-04-13 2023-05-12 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 可信数控系统的可信性量化评估方法、装置和计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604288A (zh) * 2009-07-10 2009-12-16 北京航空航天大学 一种基于测试数据的软件质量评价方法
CN101763304A (zh) * 2009-12-31 2010-06-30 合肥工业大学 一种基于证据理论的不确定型软件可信性评估方法
CN102799531A (zh) * 2012-07-26 2012-11-28 浪潮电子信息产业股份有限公司 一种基于层次分析理论的软件测试方法
US20140075004A1 (en) * 2012-08-29 2014-03-13 Dennis A. Van Dusen System And Method For Fuzzy Concept Mapping, Voting Ontology Crowd Sourcing, And Technology Prediction
CN104461896A (zh) * 2014-12-18 2015-03-25 北京轩宇信息技术有限公司 基于可信属性的航天系统关键软件评价方法
CN107038111A (zh) * 2016-02-04 2017-08-11 华东师范大学 一种软件可信性量化评估与设计方法
CN109947652A (zh) * 2019-03-26 2019-06-28 中山大学 一种软件缺陷预测的改进排序学习方法
CN110147322A (zh) * 2019-04-19 2019-08-20 北京航空航天大学 一种基于软件网络的缺陷数据集构建与处理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604288A (zh) * 2009-07-10 2009-12-16 北京航空航天大学 一种基于测试数据的软件质量评价方法
CN101763304A (zh) * 2009-12-31 2010-06-30 合肥工业大学 一种基于证据理论的不确定型软件可信性评估方法
CN102799531A (zh) * 2012-07-26 2012-11-28 浪潮电子信息产业股份有限公司 一种基于层次分析理论的软件测试方法
US20140075004A1 (en) * 2012-08-29 2014-03-13 Dennis A. Van Dusen System And Method For Fuzzy Concept Mapping, Voting Ontology Crowd Sourcing, And Technology Prediction
CN104461896A (zh) * 2014-12-18 2015-03-25 北京轩宇信息技术有限公司 基于可信属性的航天系统关键软件评价方法
CN107038111A (zh) * 2016-02-04 2017-08-11 华东师范大学 一种软件可信性量化评估与设计方法
CN109947652A (zh) * 2019-03-26 2019-06-28 中山大学 一种软件缺陷预测的改进排序学习方法
CN110147322A (zh) * 2019-04-19 2019-08-20 北京航空航天大学 一种基于软件网络的缺陷数据集构建与处理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张鼎周: "基于属性质量库的软件可信性评估方法", 《电子质量》 *
李海峰等: "基于灰色系统理论的软件可靠性综合评价框架", 《北京航空航天大学学报》 *
王平涛: "基于连续时间贝叶斯网络的可信软件风险预测研究", 《中国博士学位论文全文数据库》 *
石莉等: "基于软件质量模型构建软件可信性评估系统", 《淮北师范大学学报(自然科学版)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045951A (zh) * 2019-12-17 2020-04-21 上海创远仪器技术股份有限公司 基于无线电业务模型实现无线电应用软件质量测试效果分析处理的方法
CN111045951B (zh) * 2019-12-17 2023-09-29 上海创远仪器技术股份有限公司 基于无线电业务模型实现无线电应用软件质量测试效果分析处理的方法
CN111444106A (zh) * 2020-04-09 2020-07-24 中国人民解放军国防科技大学 一种对软件可测试需求的分析方法及系统
CN111444106B (zh) * 2020-04-09 2023-09-01 中国人民解放军国防科技大学 一种对软件可测试需求的分析方法及系统
CN111581104A (zh) * 2020-05-11 2020-08-25 雷涛 一种基于DevOps研发运营一体化的度量方法
CN111586186A (zh) * 2020-05-12 2020-08-25 南通大学 一种道路雾架构环境下车辆结点信任值计算方法
CN111666571A (zh) * 2020-05-29 2020-09-15 中国工程物理研究院计算机应用研究所 一种信息安全控制措施的效能分析方法
CN114564415A (zh) * 2022-04-29 2022-05-31 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 软件自主性评估方法、装置、设备、介质和程序产品
CN114564415B (zh) * 2022-04-29 2022-08-16 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 软件自主性评估方法、装置、设备、介质和程序产品
CN115189957A (zh) * 2022-07-18 2022-10-14 浙江大学 一种工业控制系统主动可加载的访问控制引擎
CN115189957B (zh) * 2022-07-18 2023-09-29 浙江大学 一种工业控制系统主动可加载的访问控制引擎
CN116109215A (zh) * 2023-04-13 2023-05-12 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 可信数控系统的可信性量化评估方法、装置和计算机设备

Also Published As

Publication number Publication date
CN110569197B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN110569197B (zh) 一种用于软件可信性评估的可信证据分析与度量方法
Falco et al. Governing AI safety through independent audits
US9047164B2 (en) Calculating defect density by file and source module
US8214364B2 (en) Modeling user access to computer resources
Brotby Information security governance: a practical development and implementation approach
Nair et al. Classification, structuring, and assessment of evidence for safety--a systematic literature review
CN106528828A (zh) 一种基于多维度校验规则的数据质量检测方法
CN102073823A (zh) 一种基于缺陷分析的软件可信性评价方法
Izurieta et al. An industry perspective to comparing the sqale and quamoco software quality models
Sullivan et al. From the inside looking out: a management perspective on human rights
CN106920022B (zh) 卷烟工业控制系统的安全脆弱性评估方法、系统及设备
Amusuo et al. Reflections on software failure analysis
Li et al. Interest of defect technical debt: An exploratory study on apache projects
CN110471912B (zh) 一种员工属性信息校验方法、装置及终端设备
Schroeder et al. Unveiling anomalies and their impact on software quality in model-based automotive software revisions with software metrics and domain experts
KR102304231B1 (ko) 계층 구조를 이용한 컴플라이언스 관리 체계 지원 시스템 및 그 방법
CN114757556A (zh) 汽车行业信息安全体系可信赖度评估方法及评估系统
CN102279793A (zh) 一种基于熵的构件可信度量方法
CN102708041A (zh) 一种软件可信性质最小测试用例数的计算方法
CN112615812A (zh) 一种信息网络统一漏洞多维度安全情报收集分析管理系统
CN111798102A (zh) 数据监管方法、系统、计算机设备以及可读存储介质
Jung et al. Prioritizing cloud service threats for succession to information security management system
Kaya The Impact of Economic Growth on Carbon Emission
Fabisiak et al. COMPARATIVE ANALYSIS OF INFORMATION SECURITY ASSESSMENT AND MANAGEMENT METHODS.
Matsumura et al. Analyzing factors of defect correction effort in a multi-vendor information system development

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant