CN110245067A - 安全关键软件自动化基于需求的测试实例生成系统和方法 - Google Patents

安全关键软件自动化基于需求的测试实例生成系统和方法 Download PDF

Info

Publication number
CN110245067A
CN110245067A CN201910175783.XA CN201910175783A CN110245067A CN 110245067 A CN110245067 A CN 110245067A CN 201910175783 A CN201910175783 A CN 201910175783A CN 110245067 A CN110245067 A CN 110245067A
Authority
CN
China
Prior art keywords
model
test
test case
software
demand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910175783.XA
Other languages
English (en)
Other versions
CN110245067B (zh
Inventor
李萌
M.R.杜尔林
萧洁恩
I.奥利维拉
郁涵
A.M.德康托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN110245067A publication Critical patent/CN110245067A/zh
Application granted granted Critical
Publication of CN110245067B publication Critical patent/CN110245067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273—Test methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3604—Software analysis for verifying properties of programs
    • G06F11/3608—Software analysis for verifying properties of programs using formal methods, e.g. model checking, abstract interpretation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3676—Test management for coverage analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/368—Test management for test version control, e.g. updating test cases to a new software version
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/35—Creation or generation of source code model driven
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

一种自动化的基于需求的测试实例生成方法包括构建从软件设计模型架构信息推导出的软件架构模型、将需求模型分配到软件架构模型的块/算子中、以及从软件架构来生成配置成在软件架构中的不同等级可执行的组件级基于需求的测试实例。组件级基于需求的测试实例生成方法包括接收以层级数据流图表示的软件架构连同分配的需求模型；选择软件组件中的一个；通过基于选择的测试策略将测试目标或约束中的至少一个自动附连到对应软件架构模型块/算子来基于选择的组件建立中间测试模型；以及利用测试生成器来生成人类和机器可读的测试实例以用于进一步自动转换成测试可执行文件和测试审查制品。还公开了用于实现该方法的系统和非暂时性计算机可读介质。

Description

安全关键软件自动化基于需求的测试实例生成系统和方法
优先权的要求
本专利申请要求作为在35 U.S.C. § 120下的序列号为14/947,633的2015年11月20日提交的、题为“System and Method for Safety-Critical Software AutomatedRequirements-based Test Case Generation”的美国专利申请的部分继续案（现在为美国专利NO. TBD；2018年MM月DD日发布）的优先权的益处，其完整公开通过引用结合于本文中。
背景技术
认证标准（例如对于航空软件的DO-178B/C）要求诸如航空软件的安全关键软件针对认证目标被严格检验。测试是检验过程的基本部分。来自需求的手动测试实例生成特别对于复杂、大型的软件是困难和费时的。
从高级软件需求推导出的自动生成的测试实例和/或测试过程能够帮助降低由手动测试实例生成和审查活动引入的成本。能够通过测试引导器在关联的低级设计实现上运行从规范生成的那些测试实例和/或测试过程。
常规测试工具和/或模型不能够在设计模型中的不同等级生成基于需求的测试实例。不能够在处于设计中的多等级的组件上直接运行由常规工具产生的所生成的测试实例。
发明内容
本发明提供如下技术方案：
技术方案1. 一种用于自动化的基于需求的测试实例生成的方法，所述方法包括：
在基于模型的开发工具中构建软件架构模型，从软件设计模型的架构信息自动推导出所述软件架构模型；
将需求模型分配到软件架构模型的不同组件中；
测试实例生成器单元从所述软件架构模型的一个或多个等级来生成组件级基于需求的测试实例；以及
所生成的基于需求的测试实例被配置成在软件架构中的不同等级是可执行的。
技术方案2. 如技术方案1所述的方法，包括通过将对应的受监测或受控制的变量与不同模块的相应模块的输入端口和输出端口中的至少一个相连接来分配所述需求模型。
技术方案3. 如技术方案1所述的方法，包括所述测试实例生成器单元生成集成级测试实例，并且应用所述集成级测试实例，以检验代码模块是否符合所分配的需求。
技术方案4. 如技术方案1所述的方法，包括：
接收从软件设计推导出的采用层级数据流图形式的所述软件架构模型连同所分配的需求模型，所述层级数据流图包括映射到所述软件设计中的对应组件的一个或多个块/算子；
从所述软件设计来选择软件组件中的一个以用于测试实例生成；以及
通过将至少一个测试目标和测试约束自动附连到对应软件架构模型块/算子来基于所选择的组件建立中间测试模型。
技术方案5. 如技术方案4所述的方法，包括基于测试生成的等级来选择所述软件组件。
技术方案6. 如技术方案1所述的方法，包括根据从以下策略的列表选择的至少一个策略来生成所述测试实例：需求覆盖策略、逻辑条件覆盖策略、输入掩蔽策略、数据完整性分析策略、事件策略、列表策略、分解和方程策略、等价类策略、边界值分析策略、鲁棒性策略和定时策略。
技术方案7. 如技术方案4所述的方法，包括：
通过对所述中间测试模型执行模型检查、定理证明、约束求解和可达性解析方法中的至少一个来生成基于需求的测试实例；以及
将所生成的测试实例转化为用于测试执行的测试脚本并且转化为用于审查的测试制品。
技术方案8. 一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有指令，所述指令在由处理器运行时使所述处理器执行用于自动化的基于需求的测试实例生成的方法，所述方法包括：
构建软件架构模型，从软件设计模型的架构信息自动推导出所述软件架构模型；
将需求模型分配到软件架构模型的不同块/算子中；
从所述软件架构模型的一个或多个等级来生成组件级基于需求的测试实例；以及
所生成的基于需求的测试实例被配置成在软件架构中的不同等级是可执行的。
技术方案9. 如技术方案8所述的非暂时性计算机可读介质，包括使所述处理器通过将对应受监测或受控制的变量与不同模块的相应模块的输入端口或输出端口相连接来分配所述需求模型的指令。
技术方案10. 如技术方案8所述的非暂时性计算机可读介质，包括使所述处理器生成集成级测试实例并且应用所述集成级测试实例以检验代码模块是否符合所分配的需求的指令。
技术方案11. 如技术方案8所述的非暂时性计算机可读介质，包括使所述处理器执行下列动作的指令：
接收从软件设计推导出的采用层级数据流图形式的所述软件架构模型连同所分配的需求模型，所述层级数据流图包括映射到所述软件设计中的对应组件的一个或多个块/算子；
从所述软件设计来选择所述软件组件中的一个以用于测试实例生成；以及
通过将至少一个测试目标和测试约束自动附连到对应软件架构模型块/算子来基于所选择的组件建立中间测试模型。
技术方案12. 如技术方案10所述的非暂时性计算机可读介质，包括使所述处理器根据从以下策略的列表选择的至少一个策略来生成所述测试实例：需求覆盖策略、逻辑条件覆盖策略、输入掩蔽策略、数据完整性分析策略、事件策略、列表策略、分解和方程策略、等价类策略、边界值分析策略、鲁棒性策略和定时策略。
技术方案13. 如技术方案11所述的非暂时性计算机可读介质，包括使所述处理器执行下列动作的指令：
通过对所述中间测试模型执行模型检查、定理证明、约束求解和可达性解析方法中的至少一个来生成基于需求的测试实例；以及
将所生成的测试实例转化为用于测试执行的测试脚本并且转化为用于审查的测试制品。
技术方案14. 一种用于自动化的基于需求的测试实例生成的系统，所述系统包括：
基于模型的开发工具，所述基于模型的开发工具包括配置成运行指令的控制处理器，所述控制处理器被连接到通信链路；
用来自动生成测试实例的组件级测试实例生成器单元。
技术方案15. 如技术方案14所述的系统，包括配置成运行指令的所述控制处理器，所述指令使所述控制处理器执行下列动作：
从软件设计来推导出软件架构模型；
将需求模型分配到软件架构模型的不同块/算子中；
生成组件级基于需求的测试实例。
技术方案16. 如技术方案15所述的系统，包括配置成运行指令的所述控制处理器，所述指令使所述控制处理器生成集成级测试实例并且应用所述集成级测试实例以检验代码模块是否符合所述软件架构模型和所分配的需求模型。
技术方案17. 如技术方案15所述的系统，包括配置成运行指令的所述控制处理器，所述指令使所述控制处理器执行下列动作：
接收从软件设计推导出的采用层级数据流图形式的所述软件架构模型连同所分配的需求模型，所述层级数据流图包括映射到所述软件设计中的对应组件的一个或多个块/算子；
从所述软件设计来选择所述软件组件中的一个以用于测试实例生成；以及
通过将至少一个测试目标和测试约束自动附连到对应软件架构模型块/算子来基于所选择的组件建立中间测试模型。
技术方案18. 如技术方案6所述的方法，所述输入掩蔽策略包括掩蔽修改条件/判定覆盖（MC/DC）以允许输入条件的多于一个输入在单独对中改变。
技术方案19. 如技术方案12所述的非暂时性计算机可读介质，所述输入掩蔽策略包括掩蔽修改条件/判定覆盖（MC/DC）以允许输入条件的多于一个输入在单独对中改变。
技术方案20. 如技术方案15所述的系统，所述生成组件级基于需求的测试实例包括允许输入条件的多于一个输入在单独对中改变的输入掩蔽策略。
附图说明
图1示出根据实施例、用于自动化的基于需求的测试实例生成的系统；
图2示出根据实施例、用于软件测试的过程；
图3A-3D示出根据实施例、从软件设计自动推导出的软件架构模型；
图4示出根据实施例、用于组件级测试实例生成的过程；
图5示出根据实施例的需求模型；
图6示出根据实施例、具有附连的测试目标的需求模型；
图7示出根据实施例、具有附连的测试目标的逻辑条件覆盖模型；
图8A-8B示出根据实施例、具有附连的测试目标的输入掩蔽模型；
图9示出根据实施例的测试脚本生成和审查过程；
图10示出根据实施例的示范软件架构设计和关联的需求可溯性信息；
图11示出根据实施例的示范单元级测试脚本；以及
图12示出根据实施例的示范集成级测试脚本。
具体实施方式
根据实施例，系统和方法从软件设计架构连同需求模型一起自动创建软件架构模型，以便基于所提出的软件架构模型来使多等级架构的基于需求的测试实例生成自动化。
根据实施例，使用基于模型的开发（MBD）工具采用层级数据流图的表示来构建软件架构模型以及其需求分配。与常规MBD工具（其传统上用于低级设计）相反，实施MBD工具从软件设计架构自动创建软件架构模型，并且对于系统级或高级需求生成对应的测试实例。
实施系统和方法能够实现组件级基于需求的测试实例生成，以便自动生成对于在软件架构中的不同等级的组件的测试实例。
图1示出根据实施例、用于自动化的基于需求的测试实例生成的系统100。系统100包括控制处理器110，其运行计算机指令131以控制系统及其组件的操作。可执行指令能够被存储在数据存储130中，其还能够存储由系统生成和存取的数据。控制处理器110能够位于计算机或服务器中，并且经由通信链路120来被互连到各种组件。通信链路可以是内部总线、电子通信网络等。系统100能够从安全关键软件的系统和/或高级需求132来生成测试实例。
图2示出根据实施例、用于自动化软件测试的过程200。过程200从软件设计模型推导出软件架构模型134。在基于模型的开发工具150环境中基于设计模型的架构信息来构建（步骤205）软件架构模型。根据一些实现，这个软件架构模型能够被自动创建。通过将对应的受监测/受控制变量（例如图1的VAR1-VAR19）与组件的输入/输出端口相连接，将需求模型分配（步骤210）到软件架构模型中的不同模块中。根据一些实施例，在步骤205，能够添加用于需求模型中的所有输出变量的输入端口。通过添加用于所有输出变量的输入端口，测试实例生成器能够在一次运行中生成测试实例的输入和预期的输出。
组件级测试实例生成器单元140能够使用具有分配的需求的软件架构模型来生成（步骤215）单元/模块级基于需求的测试实例。测试实例生成器单元140还能够生成（步骤220）集成级测试实例，以检验代码组件或集成是否符合分配的需求。
图3A-3D示出根据实施例、基于软件设计架构作为层级数据流图建立的软件架构模型300。软件设计中的每个组件，组件1、组件2、组件3、组件4是具有输入和输出端口的软件架构模型中的块/算子（block/operator）。软件架构模型中的块/算子与彼此连接，并且能够具有多层子块/子算子。将需求模型REQ12、REQ13、REQ14、REQ15分配到软件架构模型中，并且连接到输入和输出端口。建立过程是自动的、系统的和模块化的。层级数据流从对软件设计的需求来提供良好可视化和简易可溯性。
图4示出根据实施例、用于组件级测试实例生成的过程400。过程400基于接收（步骤405）的具有分配的需求模型的采用层级数据流图形式的自动创建的软件架构模型。基于测试生成的等级来选择（步骤410）软件设计中的软件组件中的一个或多个，并且对应软件架构模型块/算子被用于测试实例生成。通过将测试约束和测试目标附连到对应软件架构模型块/算子，基于所选择的组件来建立（步骤415）中间测试模型。附连测试目标，以满足在需求级的某些覆盖准则，诸如需求覆盖（例如所有需求被激活）、逻辑条件覆盖（例如在某个等级激活需求中的逻辑条件）等。测试约束被附连到模型，以约束受监测/受控制变量范围，并且确保生成的测试实例没有违反需求。
自动测试实例生成策略（即，附连测试目标和约束）能够基于需求的一般形式。在自然结构英语语言中，需求的形式能够被表达为：
<前提表达式>意味着<结果表达式>，
其中<前提表达式>是关于受监测变量的逻辑表达式；
以及<结果表达式>是关于受控制变量的逻辑表达式。
图5示出根据实施例的需求模型500（当通过Simulink来表达时）。需求模型包括前提表达式510和结果表达式520。向逻辑块530提供这些表达式，其基于表达式状态（即，A ==> B）来意味着输出信号540。为了使需求成立，输出信号必须为1或“真”（true）。自动测试实例生成器单元140对此进行接收，并且由此根据一个或多个策略（例如需求覆盖策略、逻辑条件覆盖策略、输入掩蔽策略、数据完整性分析策略、事件策略、列表策略、分解和方程策略、等价类策略、边界值分析策略、鲁棒性策略、定时策略等）来生成测试实例。实施例并不局限于此，并且用于测试实例生成的其他策略处于本公开的考虑范围之内。
需求覆盖策略包括对各需求生成一个测试实例，其中必须以前提表达式为真来满足需求。这通过插入测试目标和约束并且运行测试生成引擎（其能够驱动输入序列以实现测试目标）进行。
以举例的方式，测试目标的插入能够使用来自所选择的基于模型的开发工具（例如，从Simulink可得到的Simulink 设计验证器（Design Verifier）块）中的商业设计检验器块资料库的测试目标和测试条件块进行。测试生成引擎能够用来得出输入，以实现测试目标。图6示出根据实施例、具有所附连测试目标的需求模型600。测试目标块610（采用圆圈内的“O”所表示）由设计检验器来分析，以查找使其前提表达式（其属于布尔类型）为真的变量值指配VAR21、VAR22的组合。测试条件块620（采用圆圈内的“C”所表示）使设计检验器将“意味着”块的输出保持为真。“意味着”块的真输出信号是关于满足需求REQ27的指示。对受监测和受控制变量的值指配由设计检验器自动生成。
能够实现逻辑条件覆盖（LCC）策略，以实现逻辑方程条件的功能覆盖。通过仅改变那个条件而对可能影响结果的所有其他条件保持为固定，逻辑方程中的各条件证明对逻辑方程的结果具有影响。考虑表1中的示例，其示出两个变量的逻辑条件覆盖，其中两个布尔值（a和b）是所列布尔算子的条件。表1指示测试实例是实现LCC覆盖所需的（√）还是不需要的（x）。当前提表达式具有这些算子中的一个算子时，对标记有（√）的对应组合的每个生成测试实例，并且这对任何数量的操作数可一般化。
表1
图7示出根据实施例、具有所附连测试目标的逻辑条件覆盖模型700。这个LCC模型基于具有附加测试目标和条件块710、720、730的模式的需求模型600。为了生成测试实例，测试目标块根据表1中的所使用布尔算子和相应实例来附连。在运行测试生成引擎之后，生成一组测试实例，以满足逻辑条件覆盖。还检查每个所生成的测试实例，以便发现它“激活”哪些需求—激活意指可满足性端口740的输出信号必须为1或“真”。
输入掩蔽策略能够实现掩蔽修改条件/判定覆盖（MC/DC）。掩蔽MC/DC通过保证与唯一原因相同的各逻辑算子的最小测试实例来满足单独影响的定义，并且对于满足安全关键软件开发标准（例如DO-178B/C）的MC/DC目标是可接受的。掩蔽表示关于对逻辑构造的特定输入能够隐藏对构造的其他输入的影响的概念。例如，对与算子的假输入掩蔽所有其他输入，以及对或算子的真输入掩蔽所有其他输入。对MC/DC的掩蔽方式允许一个以上输入在单独对中发生改变，只要感兴趣条件示为影响判定结果的值的唯一条件。但是，需要判定的内部逻辑的分析表明，感兴趣条件是引起判定结果的值发生改变的唯一条件。
图8A-8B示出根据实施例、具有附连的测试目标的输入掩蔽模型策略800。输入掩蔽模型800中所示出的每个子表达式对应于开始于前提表达式的输入条件的信号/块路径，涉及受监测变量VAR23、VAR24、VAR25，并且结束于表示受监测表达式的结果的信号。从这个模型，测试实例能够被自动生成，由自动测试实例生成器单元140关联到需求REQ28，并且转化成输出测试脚本。
输入掩蔽测试生成策略根据下列步骤来附连测试目标：
对于前提表达式的每个基本命题（输入条件），获得包含这个命题的所有子表达式的集合S，除了命题本身之外。然后，对于集合S中的每个表达式：（1）如果子表达式的顶级运算为与门，则通过其在S中的否定（negation）来替代这个表达式；（2）创建表达式e，其是S中的所有表达式和上述的基本命题的结合；以及（3）创建必须使表达式e为真的测试目标。
数据完整性分析策略能够分析出现在需求中一个或多个变量并且选择测试目标以测试特定变量的物理或功能范围内的不同的点。测试目标的选择能够基于例如变量类型。在一个实现中，数值变量能够在其最小值、最大值、边界等上被测试；并且枚举和布尔变量能够在所有可能的值和/或状态上被测试。
事件策略能够确保每个事件能够被触发至少一次。此策略还能够查明一个事件没有被连续触发。生成的事件测试实例和过程能够触发特定事件并且验证具有其他输入条件的输出保持恒定。
列表策略能够分析出现在需求中的列表变量和算子并且选择测试目标以测试列表的不同属性。例如，此策略能够确定列表操作是否在列表的不同位置发生，并且确保至少以最小和最大列表长度测试每个列表变量。
分解和方程策略能够分析需求内的函数和/或方程。在一些实现中这些函数/方程能够是未定义的。能够通过分析这些函数或方程的输入和/或输出参数以及定义的函数或方程中易于出错的点来选择测试目标。
等价类策略、边界值分析策略以及鲁棒性策略能够各自分析需求中的不等式（inequality）并且基于能够由不等式引入的等价类划分来选择测试目标。等价类策略能够选择用于每个一般等价类的一个或多个测试目标；边界值分析策略能够选择在每两个等价类之间的边界的一个或多个测试目标；以及鲁棒性策略能够选择用于异常等价类的一个或多个测试目标。
定时策略能够分析需求中的一个或多个定时算子并且选择测试目标以测试时间间隔中的不同的点—诸如，例如超前触发和/或滞后触发。能够考虑到事件使得事件并不总是在时间间隔中被触发。
再次参考图4，在测试约束和测试目标的附连之后，过程400以测试实例生成器单元140生成测试实例136（步骤420）继续进行。测试实例生成器单元能够对中间测试模型执行模型检查、定理证明、约束求解和可达性解析方法，以生成测试实例，以便满足测试目标和/或检测不可达测试目标。
模型检查和定理证明方法能够各自利用形式方法工具，所述形式方法工具分别基于检查针对需求的测试目标的否定的满足的模型检查或定理证明技术。如果未被满足，则能够生成反例，所述反例能够被用于生成测试实例；如果被满足，则特定测试目标是不可达的。
约束求解方法能够使用约束求解器和/或优化工具来求解测试目标中的约束以寻找可行解作为测试实例。如果约束被识别为不可行的，则对应测试目标是不可达的。
可达性解析方法能够将需求的集合建模为组合离散转移和动态的混合模型（如果需求是状态性的（stateful））。然后模型能够被分析以寻找从最初状态的可行路径以达到测试目标，其中在寻找路径期间估计和/或解析地求解动态。如果识别了可行路径，则其能够被用于生成测试实例；如果没有可行路径能够达到测试目标，则将测试目标识别为不可达的。
再次参考图4，将生成的测试实例转化（步骤425）成用于测试执行的测试脚本以及用于认证的测试审查制品（artifact）。组件级测试生成方法的优点在于，该方法灵活地为在软件架构中的不同等级的组件自动生成基于需求的测试实例，以实现适当的需求级覆盖准则。根据实施例，能够生成可适用于单元/模块级测试以及集成级测试的测试实例。
图9示出根据实施例、用于脚本生成和测试制品审查的过程900。通过过程900所生成的中间格式905能够是由人类和/或机器可读的。过程900对上面描述的组件级测试实例进行操作。从测试实例来生成（步骤905）中间格式。该中间格式能够指示输入和预计的输出信息。中间格式还能够指示测试实例追溯的需求、测试实例满足的测试目标以及从其推导出测试目标的参考。中间信息能够被用来手动或自动进行测试审查。从中间信息来生成（步骤910）认证制品。中间信息能够被用于生成（步骤915）适合在不同测试环境中运行的可执行测试脚本。测试脚本还能够自动地被写回（步骤920）到需求和测试管理工具（例如IBM®Rational® DOORS®）。
图10-12共同示出根据实施例的端对端实现的图示。图10示出根据实施例的示范软件架构设计模型1000和关联的需求可溯性信息。软件架构模型能够被构建（图2，步骤205）为Simulink模型（图3A-3D）。软件设计模型软件架构设计中的每个块被转换成Simulink中的软件架构模型中的具有相同接口和架构信息的块。软件架构模型中的每个块还基于图10的需求可溯性信息来被分配有需求模型的集合。例如，图3D中，基于图10中的信息，四个需求模型（1010）被分配到组件2。类似地，块1020指示组件1的需求可溯性信息；块1030指示组件3的需求可溯性信息；以及块1040指示组件4的需求可溯性信息。在图3A-3D中示出的软件架构模型然后被用于生成在软件架构中的不同等级的基于需求的测试实例。
用户能够选择“组件2”块（图4，步骤410）来生成在这个单元级的测试实例并且选择输入掩蔽测试策略。根据实施例，测试目标和约束块将在步骤415被自动附连到“组件2”块内部的所有需求模型。在步骤420调用Simulink设计验证器并且在步骤425转化测试实例之后，将生成满足输入掩蔽测试策略的所有测试目标和约束的测试实例。
图11示出根据实施例的示范单元级测试脚本1100。这个单元级测试脚本是在对于“组件2”的单元级的生成的测试实例的示例。生成测试实例，以能够在SCADE测试环境中在设计中的“组件2”块上运行。用户备选地能够选择包括在图4的组件1-4的集成级块（步骤410），以生成集成级测试实例。根据实施例，测试目标和约束块在步骤415被自动附连到集成级块内部的所有需求模型。在步骤420调用Simulink设计验证器并且在步骤425转化测试实例之后，将生成满足输入掩蔽测试策略的所有测试目标和约束的测试实例。
图12示出根据实施例的示范集成级测试脚本1200。这个测试脚本是对于生成的集成级测试实例的一个示例。生成测试实例，以便能够在SCADE测试环境中在设计中的集成级块上运行。
根据实施例，自动创建层级数据流图（即，软件架构模型连同需求模型）以捕获需求和设计信息。这个层级数据流图被用于生成在软件架构中的不同等级的基于需求的测试实例。根据实施例，系统设计信息被用于建立层级数据流图，其中在层级数据流图的模块内部分配需求模型。需求分配基于来自设计信息的需求模块可溯性信息。测试目标和约束能够根据用户选择的测试策略来被附连到软件架构模型。自动测试实例生成基于层级数据流图，以便生成在设计架构中的不同等级的基于需求的测试实例，所述测试实例满足测试目标和约束。生成的测试实例能够被直接运行在处于设计中的多等级的组件上。
根据一些实施例，非易失性存储器或计算机可读介质（例如寄存器存储器、处理器高速缓存、RAM、ROM、硬盘驱动器、闪速存储器、CD ROM、磁介质等）中存储的计算机程序应用可包括代码或者可执行指令，其在被运行时可指导和/或使控制器或处理器执行本文中讨论的、诸如用于上面描述的自动化的基于需求的测试实例生成的方法。
计算机可读介质可以是非暂时性计算机可读介质，包括除了暂时的、传播的信号之外的所有形式和类型的存储器和所有计算机可读介质。在一个实现中，非易失性存储器或计算机可读介质可以是外部存储器。
虽然在本文中描述了特定硬件和方法，但是要注意，根据本发明的实施例可提供任何数量的其他配置。因此，虽然已经示出、描述和指出本发明的基本新颖特征，但是将理解的是，可由本领域技术人员进行所示出的实施例的形式和细节方面及其操作方面的各种省略、置换和改变，而没有背离本发明的精神和范围。从一个实施例到另一个实施例的元件的置换也被充分预期和考虑。本发明仅关于附于其的权利要求书以及其中的记载的等同物来被限定。
部件列表
100 系统
110 控制处理器
120 通信链路
130 数据存储
131 计算机指令
132 高级需求
134 软件架构模型
136 测试实例
140 测试实例生成器单元
150 基于模型的开发工具
300 软件架构模型
VAR1至VAR19 变量
REQ12至REQ15 需求模型
组件1至组件4 组件
500 需求模型
510 前提表达式
520 结果表达式
530 逻辑块
540 输出信号
600 需求模型
610 测试目标块
620 测试条件块
VAR20至VAR22 变量
REQ27 需求
700 逻辑条件覆盖模型
710 条件块
720 条件块
730 条件块
740 可满足性端口
800 输入掩蔽模型策略
VAR23至VAR25 变量
REQ28 需求
1000 软件架构设计模型
1010 块
1020 块
1030 块
1040 块
REQ1至REQ11 需求模型
REQ16至REQ26 需求模型
1100 单元级测试脚本
1200 集成级测试脚本

Claims (10)

1.一种用于自动化的基于需求的测试实例生成的方法，所述方法包括：
在基于模型的开发工具中构建软件架构模型，从软件设计模型的架构信息自动推导出所述软件架构模型；
将需求模型分配到软件架构模型的不同组件中；
测试实例生成器单元从所述软件架构模型的一个或多个等级来生成组件级基于需求的测试实例；以及
所生成的基于需求的测试实例被配置成在软件架构中的不同等级是可执行的。
2.如权利要求1所述的方法，包括通过将对应的受监测或受控制的变量与不同模块的相应模块的输入端口和输出端口中的至少一个相连接来分配所述需求模型。
3.如权利要求1所述的方法，包括所述测试实例生成器单元生成集成级测试实例，并且应用所述集成级测试实例，以检验代码模块是否符合所分配的需求。
4.如权利要求1所述的方法，包括：
接收从软件设计推导出的采用层级数据流图形式的所述软件架构模型连同所分配的需求模型，所述层级数据流图包括映射到所述软件设计中的对应组件的一个或多个块/算子；
从所述软件设计来选择软件组件中的一个以用于测试实例生成；以及
通过将至少一个测试目标和测试约束自动附连到对应软件架构模型块/算子来基于所选择的组件建立中间测试模型。
5.如权利要求4所述的方法，包括基于测试生成的等级来选择所述软件组件。
6.如权利要求1所述的方法，包括根据从以下策略的列表选择的至少一个策略来生成所述测试实例：需求覆盖策略、逻辑条件覆盖策略、输入掩蔽策略、数据完整性分析策略、事件策略、列表策略、分解和方程策略、等价类策略、边界值分析策略、鲁棒性策略和定时策略。
7. 如权利要求4所述的方法，包括：
通过对所述中间测试模型执行模型检查、定理证明、约束求解和可达性解析方法中的至少一个来生成基于需求的测试实例；以及
将所生成的测试实例转化为用于测试执行的测试脚本并且转化为用于审查的测试制品。
8.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有指令，所述指令在由处理器运行时使所述处理器执行用于自动化的基于需求的测试实例生成的方法，所述方法包括：
构建软件架构模型，从软件设计模型的架构信息自动推导出所述软件架构模型；
将需求模型分配到软件架构模型的不同块/算子中；
从所述软件架构模型的一个或多个等级来生成组件级基于需求的测试实例；以及
所生成的基于需求的测试实例被配置成在软件架构中的不同等级是可执行的。
9.如权利要求8所述的非暂时性计算机可读介质，包括使所述处理器通过将对应受监测或受控制的变量与不同模块的相应模块的输入端口或输出端口相连接来分配所述需求模型的指令。
10.如权利要求8所述的非暂时性计算机可读介质，包括使所述处理器生成集成级测试实例并且应用所述集成级测试实例以检验代码模块是否符合所分配的需求的指令。
CN201910175783.XA 2015-11-20 2019-03-08 安全关键软件自动化基于需求的测试实例生成系统和方法 Active CN110245067B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/947,633 US9940222B2 (en) 2015-11-20 2015-11-20 System and method for safety-critical software automated requirements-based test case generation
US15/916660 2018-03-09
US15/916,660 US20180196739A1 (en) 2015-11-20 2018-03-09 System and method for safety-critical software automated requirements-based test case generation

Publications (2)

Publication Number Publication Date
CN110245067A true CN110245067A (zh) 2019-09-17
CN110245067B CN110245067B (zh) 2023-09-22

Family

ID=58699700

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202210276124.7A Pending CN114996115A (zh) 2015-11-20 2016-11-18 安全关键软件自动化基于需求的测试实例生成系统和方法
CN201611015902.8A Active CN107066375B (zh) 2015-11-20 2016-11-18 安全关键软件自动化基于需求的测试实例生成系统和方法
CN201910175783.XA Active CN110245067B (zh) 2015-11-20 2019-03-08 安全关键软件自动化基于需求的测试实例生成系统和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202210276124.7A Pending CN114996115A (zh) 2015-11-20 2016-11-18 安全关键软件自动化基于需求的测试实例生成系统和方法
CN201611015902.8A Active CN107066375B (zh) 2015-11-20 2016-11-18 安全关键软件自动化基于需求的测试实例生成系统和方法

Country Status (7)

Country Link
US (2) US9940222B2 (zh)
JP (1) JP6307140B2 (zh)
CN (3) CN114996115A (zh)
BR (2) BR102016026988A2 (zh)
CA (2) CA2948250C (zh)
FR (1) FR3044126B1 (zh)
GB (1) GB2545800A (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940222B2 (en) * 2015-11-20 2018-04-10 General Electric Company System and method for safety-critical software automated requirements-based test case generation
US10025696B2 (en) 2016-02-09 2018-07-17 General Electric Company System and method for equivalence class analysis-based automated requirements-based test case generation
US20180165180A1 (en) * 2016-12-14 2018-06-14 Bank Of America Corporation Batch File Creation Service
JP6556786B2 (ja) 2017-05-17 2019-08-07 矢崎総業株式会社 端子
CN107729226A (zh) * 2017-07-13 2018-02-23 中科院合肥技术创新工程院 基于业务流的测试用例自动生成系统及方法
CN107729256A (zh) * 2017-11-16 2018-02-23 郑州云海信息技术有限公司 一种项目需求和测试用例的关联方法及系统
EP3493051A1 (en) * 2017-11-30 2019-06-05 The MathWorks, Inc. System and methods for evaluating compliance of implementation code with a software architecture specification
DE102018003142A1 (de) 2017-12-13 2019-06-13 The Mathworks, Inc. Automatische Einstellung von Multitasking-Konfigurationen für ein Codeprüfsystem
EP3572945A1 (en) * 2018-03-09 2019-11-27 General Electric Company System and method for safety-critical software automated requirements-based test case generation
CN108595318B (zh) * 2018-03-31 2021-05-14 西安电子科技大学 Rfc制导的ssl/tls实现中数字证书验证模块的差异测试方法
CN108427554B (zh) * 2018-05-14 2023-09-08 华南理工大学 一种表驱动的云模式软件自动构造方法及系统
WO2020015837A1 (de) * 2018-07-20 2020-01-23 Siemens Aktiengesellschaft Verfahren und anordnung zur bereitstellung, überprüfung und optimierung eines automatisierungsprogramms
US10585779B2 (en) 2018-07-30 2020-03-10 General Electric Company Systems and methods of requirements chaining and applications thereof
CN109344059B (zh) * 2018-09-20 2023-04-11 天津龙拳风暴科技有限公司 一种服务器压力测试方法及装置
US11138089B2 (en) 2018-12-19 2021-10-05 International Business Machines Corporation Performance benchmark generation
CN109815147B (zh) * 2019-01-21 2022-06-24 深圳乐信软件技术有限公司 测试案例生成方法、装置、服务器和介质
EP3722942B1 (en) * 2019-04-10 2023-03-22 The Boeing Company Running integration tests using unit tests
US11620454B2 (en) * 2020-02-05 2023-04-04 Hatha Systems, LLC System and method for determining and representing a lineage of business terms and associated business rules within a software application
CN111539099A (zh) * 2020-04-17 2020-08-14 北京航空航天大学 一种基于程序变异的Simulink模型验证方法
CN111679941A (zh) * 2020-05-31 2020-09-18 西南电子技术研究所（中国电子科技集团公司第十研究所） 自动识别仪器型号映射仪器指令实现仪器互换的方法
US11200069B1 (en) 2020-08-21 2021-12-14 Honeywell International Inc. Systems and methods for generating a software application
US11144436B1 (en) 2020-10-19 2021-10-12 Bank Of America Corporation System for testing an application with dynamically linked security tests
CN112231164B (zh) * 2020-12-11 2021-08-27 鹏城实验室 处理器验证方法、设备及可读存储介质
EP4050489A1 (en) * 2021-02-24 2022-08-31 The Boeing Company Automatic generation of integrated test procedures using system test procedures
CN113010152A (zh) * 2021-03-24 2021-06-22 中广核工程有限公司 一种核电厂安全级软件设计系统和方法
CN112905486B (zh) * 2021-03-26 2022-07-08 建信金融科技有限责任公司 一种服务集成测试方法、装置和系统
CN113282498B (zh) * 2021-05-31 2024-04-05 深圳赛安特技术服务有限公司 测试用例的生成方法、装置、设备及存储介质
CN115525532A (zh) * 2021-06-25 2022-12-27 华为云计算技术有限公司 一种测试用例选择方法及相关装置
CN117555812B (zh) * 2024-01-11 2024-05-17 北京捷科智诚科技有限公司 一种云平台自动化测试方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020103731A1 (en) * 1999-11-22 2002-08-01 Ray F. Barnard System and method for project preparing a procurement and accounts payable system
US20090055795A1 (en) * 2007-08-23 2009-02-26 Finlayson Ronald D System to Monitor and Maintain Balance of Factory Quality Attributes Within a Software Factory Operating Environment
JP2012226652A (ja) * 2011-04-21 2012-11-15 Toshiba Corp テスト仕様作成支援装置、方法及びプログラム
CN104978275A (zh) * 2015-07-16 2015-10-14 北京航空航天大学 一种面向do-178c软件测试过程的目标验证及证据模型提取方法
US20170147482A1 (en) * 2015-11-20 2017-05-25 General Electric Company System and method for safety-critical software automated requirements-based test case generation
CN107727411A (zh) * 2017-10-30 2018-02-23 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评场景生成系统及方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5390325A (en) 1992-12-23 1995-02-14 Taligent, Inc. Automated testing system
US6681383B1 (en) 2000-04-04 2004-01-20 Sosy, Inc. Automatic software production system
US7272752B2 (en) 2001-09-05 2007-09-18 International Business Machines Corporation Method and system for integrating test coverage measurements with model based test generation
CA2393043A1 (en) 2002-07-11 2004-01-11 Luiz Marcelo Aucelio Paternostro Formal test case definitions
US20050043913A1 (en) 2003-08-19 2005-02-24 Rex Hyde Method of determining the level of structural coverage testing of test cases which are written for a program that does not provide for structural coverage testing
US7478365B2 (en) 2004-01-13 2009-01-13 Symphony Services Corp. Method and system for rule-based generation of automation test scripts from abstract test case representation
US7392509B2 (en) 2004-04-13 2008-06-24 University Of Maryland Method for domain specific test design automation
JP2006024006A (ja) 2004-07-08 2006-01-26 Denso Corp テストケース生成装置、テストケース生成プログラム、モデルベース開発プログラム、ソースコード生成妥当性診断装置、ソースコード生成妥当性診断プログラム、およびモデルベース開発方法。
US7865339B2 (en) 2004-07-12 2011-01-04 Sri International Formal methods for test case generation
US7979849B2 (en) 2004-10-15 2011-07-12 Cisco Technology, Inc. Automatic model-based testing
US8392873B2 (en) 2005-01-26 2013-03-05 Tti Inventions C Llc Methods and apparatus for implementing model-based software solution development and integrated change management
US7752606B2 (en) * 2005-08-10 2010-07-06 Capital One Financial Corporation Software development tool using a structured format to generate software code
KR101222860B1 (ko) 2005-09-01 2013-01-16 삼성전자주식회사 광픽업장치
US7716254B2 (en) 2005-09-12 2010-05-11 Infosys Technologies Ltd. System for modeling architecture for business systems and methods thereof
US7853906B2 (en) 2006-03-22 2010-12-14 Nec Laboratories America, Inc. Accelerating high-level bounded model checking
US20080056210A1 (en) 2006-06-14 2008-03-06 Toshiba America Research, Inc. Moving Networks Information Server
DE102006050112A1 (de) 2006-10-25 2008-04-30 Dspace Digital Signal Processing And Control Engineering Gmbh Verfahren zur Erstellung einer Anforderungsbeschreibung für ein eingebettetes System
US7644334B2 (en) * 2006-11-27 2010-01-05 Honeywell International, Inc. Requirements-based test generation
US8041554B1 (en) 2007-06-06 2011-10-18 Rockwell Collins, Inc. Method and system for the development of high-assurance microcode
US8423879B2 (en) 2008-05-14 2013-04-16 Honeywell International Inc. Method and apparatus for test generation from hybrid diagrams with combined data flow and statechart notation
US8307342B2 (en) 2008-05-14 2012-11-06 Honeywell International Inc. Method, apparatus, and system for automatic test generation from statecharts
JP5412510B2 (ja) 2008-05-19 2014-02-12 ジョンソン コントロールズ テクノロジー カンパニー １個のソフトウェアの少なくとも一部を検証するためにテストケースを自動的に形成する方法
JP2009294846A (ja) * 2008-06-04 2009-12-17 Denso Corp テストケース生成装置、テストケース生成プログラム、およびテストケース生成方法
US8260479B2 (en) 2008-12-09 2012-09-04 Honeywell International Inc. Modular software architecture for an unmanned aerial vehicle
US20100192128A1 (en) 2009-01-27 2010-07-29 Honeywell International Inc. System and methods of using test points and signal overrides in requirements-based test generation
US20110083121A1 (en) 2009-10-02 2011-04-07 Gm Global Technology Operations, Inc. Method and System for Automatic Test-Case Generation for Distributed Embedded Systems
US9298598B2 (en) * 2010-03-22 2016-03-29 Red Hat, Inc. Automated visual testing
US8849626B1 (en) 2010-06-23 2014-09-30 Iowa State University Research Foundation, Inc. Semantic translation of stateflow diagrams into input/output extended finite automata and automated test generation for simulink/stateflow diagrams
WO2012049816A1 (ja) 2010-10-14 2012-04-19 日本電気株式会社 モデル検査装置、方法及びプログラム
CN102136047A (zh) 2011-02-25 2011-07-27 天津大学 一种基于形式化及统一软件模型的软件可信工程方法
US8645924B2 (en) 2011-06-06 2014-02-04 Fujitsu Limited Lossless path reduction for efficient symbolic execution and automatic test generation
US8893087B2 (en) 2011-08-08 2014-11-18 Ca, Inc. Automating functionality test cases
US9063673B2 (en) * 2011-08-30 2015-06-23 Uniquesoft, Llc System and method for implementing application code from application requirements
US9360853B2 (en) 2011-09-19 2016-06-07 Dspace Gmbh Exchange of files and meta-information between system design tools and behavior modeling tools and/or simulators for the creation of ECU software
CN102693134B (zh) 2012-05-25 2014-11-19 南京邮电大学 一种基于统一建模语言的传感网软件建模平台开发方法
US9971676B2 (en) 2012-08-30 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for state based test case generation for software validation
KR101408870B1 (ko) 2012-11-06 2014-06-17 대구교육대학교산학협력단 Ｕｍｌ ｓｄ로부터 ｍｃｃｆｇ를 기반으로 하는 다단계 테스트 케이스 생성장치 및 방법
US9747079B2 (en) 2014-12-15 2017-08-29 General Electric Company Method and system of software specification modeling
CN104991863B (zh) * 2015-07-14 2017-11-03 株洲南车时代电气股份有限公司 一种基于功能块图测试模型自动生成测试用例的方法
CN105068927A (zh) * 2015-08-04 2015-11-18 株洲南车时代电气股份有限公司 基于关键字驱动的城轨传动控制单元自动化测试方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020103731A1 (en) * 1999-11-22 2002-08-01 Ray F. Barnard System and method for project preparing a procurement and accounts payable system
US20090055795A1 (en) * 2007-08-23 2009-02-26 Finlayson Ronald D System to Monitor and Maintain Balance of Factory Quality Attributes Within a Software Factory Operating Environment
JP2012226652A (ja) * 2011-04-21 2012-11-15 Toshiba Corp テスト仕様作成支援装置、方法及びプログラム
CN104978275A (zh) * 2015-07-16 2015-10-14 北京航空航天大学 一种面向do-178c软件测试过程的目标验证及证据模型提取方法
US20170147482A1 (en) * 2015-11-20 2017-05-25 General Electric Company System and method for safety-critical software automated requirements-based test case generation
CN107066375A (zh) * 2015-11-20 2017-08-18 通用电气公司 安全关键软件自动化基于需求的测试实例生成系统和方法
CN107727411A (zh) * 2017-10-30 2018-02-23 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评场景生成系统及方法

Also Published As

Publication number Publication date
GB2545800A (en) 2017-06-28
CN107066375A (zh) 2017-08-18
CA3035176A1 (en) 2019-09-09
US20180196739A1 (en) 2018-07-12
US9940222B2 (en) 2018-04-10
FR3044126A1 (fr) 2017-05-26
CN110245067B (zh) 2023-09-22
CA2948250A1 (en) 2017-05-20
FR3044126B1 (fr) 2022-01-14
JP2017097862A (ja) 2017-06-01
CN114996115A (zh) 2022-09-02
CA2948250C (en) 2020-05-26
JP6307140B2 (ja) 2018-04-04
BR102016026988A2 (pt) 2017-07-18
BR102019004568A2 (pt) 2019-10-01
CN107066375B (zh) 2022-03-01
US20170147482A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
CN110245067A (zh) 安全关键软件自动化基于需求的测试实例生成系统和方法
Dutta et al. Detecting flaky tests in probabilistic and machine learning applications
US7007251B2 (en) Database mining system and method for coverage analysis of functional verification of integrated circuit designs
Wang et al. Architecture-based software reliability modeling
Devroey et al. Towards statistical prioritization for software product lines testing
Lonetti et al. Emerging software testing technologies
Sharvia et al. Model-based dependability analysis: State-of-the-art, challenges, and future outlook
Tappler et al. Time to learn–learning timed automata from tests
CN107025170A (zh) 用于设计模型的基于覆盖的自动化的测试用例增广的系统和方法
Pakonen et al. User-friendly formal specification languages-conclusions drawn from industrial experience on model checking
Chowdhury et al. CyFuzz: A differential testing framework for cyber-physical systems development environments
Badri et al. Evaluating the effect of control flow on the unit testing effort of classes: An empirical analysis
Arnold et al. An Application of SMC to continuous validation of heterogeneous systems
Morán et al. Testing MapReduce programs: A systematic mapping study
Sadri‐Moshkenani et al. Survey on test case generation, selection and prioritization for cyber‐physical systems
Baresi et al. Test oracles for simulink-like models
Bensalem et al. What, indeed, is an achievable provable guarantee for learning-enabled safety-critical systems
Daoudagh et al. Assessment of access control systems using mutation testing
Kriouile et al. Using a formal model to improve verification of a cache-coherent system-on-chip
Fitzgerald et al. Validation support for distributed real-time embedded systems in vdm++
Koprda et al. Modelling, simulation and monitoring the use of LabVIEW
Di Pompeo et al. An Efficient Performance-Driven Approach for HW/SW Co-Design
Beringer et al. Verification of AUTOSAR software architectures with timed automata
Erkkinen et al. Verification, validation, and test with model-based design
Saini Software testing for embedded systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant