CN105814546A - 用于辅助对算法链的检验和验证的方法和系统 - Google Patents

用于辅助对算法链的检验和验证的方法和系统 Download PDF

Info

Publication number
CN105814546A
CN105814546A CN201480066956.XA CN201480066956A CN105814546A CN 105814546 A CN105814546 A CN 105814546A CN 201480066956 A CN201480066956 A CN 201480066956A CN 105814546 A CN105814546 A CN 105814546A
Authority
CN
China
Prior art keywords
data
algorithm
module
chain
algorithm chain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480066956.XA
Other languages
English (en)
Other versions
CN105814546B (zh
Inventor
亚历山大·科特恩科夫
大卫·维古鲁
安东尼·维瓦瑞斯
奥利维尔·赫伯特
克里斯多夫·培尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MBDA France SAS
Original Assignee
MBDA France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MBDA France SAS filed Critical MBDA France SAS
Publication of CN105814546A publication Critical patent/CN105814546A/zh
Application granted granted Critical
Publication of CN105814546B publication Critical patent/CN105814546B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/362—Software debugging
    • G06F11/3636—Software debugging by tracing the execution of the program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44589—Program code verification, e.g. Java bytecode verification, proof-carrying code

Abstract

一种用于辅助对算法链的检验和验证的方法和系统。所述系统(1)包括：算法链的数据准备模块(2)，所述数据准备模块(2)提供自动数据捕获，所述数据包括算法链的接口数据和内部算法数据中的至少一部分；用于对函数规则进行自动检验的模块(3)；用于通过学习算法链的约束和算法准则并考虑由人工操作员执行的验证来进行建模的学习模块(5)；以及用于使用统计学习手段自动检测算法链的错误和函数问题的模块(7)。

Description

用于辅助对算法链的检验和验证的方法和系统
技术领域
本发明涉及用于辅助对算法链的检验和验证的方法和系统。
背景技术
在本发明的范围之内，算法链应理解为意味着一组算法，该组算法一起协同合作并处理多个数据以便实现一种或多种特定功能，尤其是装载有所述算法链的用户设备的一种或多种特定功能。
本发明可应用于在例如导弹上的设备或抛射体中嵌入的算法链，或者甚至应用于在将算法链装载在用户设备上之前的非嵌入式算法链。
尤其是因为牵涉更正错误和调整准则方面的大幅增加，以及因为多个不同的算法模块之间的大量互相作用，使得检验和验证算法链(或演算法链)是非常复杂并且代价大的任务。该复杂性同样在调度检验和验证算法链的任务方面造成了困难。
由于这样的复杂性，就必须由具有算法链的深入知识的人工操作员来进行人为的干涉。由人工操作员对要被进行分析的全部参数和数据进行全面检验是一个长期的、沉闷的或甚至是不可能的过程。此外，人工操作员也不是绝对正确的并且不可能分析全部的相关参数。
因此，作为单个人工操作员的责任，检验和验证算法链的传统方案并不令人满意。
发明内容
本发明的目的是要克服上述缺陷。本发明涉及一种用于辅助检验和验证算法链的方法，该方法对人工操作员提供辅助。
为此，根据本发明，所述方法显著地在于它包括：
a)为算法链准备数据的步骤，该步骤自动捕获数据，该数据包括以下数据中的至少一部分：算法链的接口数据和内部算法数据；
b)对函数规则进行自动检验的步骤；
c)用于通过学习算法链的约束和算法准则、考虑由人工操作员进行的验证和所捕获的数据来进行建模的学习步骤；以及
d)用于使用统计学习手段自动检测算法链中的错误或函数问题的步骤。
根据本发明的方法使得能够改进并简化对复杂算法(例如在航空学领域中使用的这些算法)的验证。尤其是，所述方法使得能够辅助人工操作员更快速地检测被检验的算法链中的错误(特别是算法中通过运算过程中的异常现象所显示出的设计和实施故障)和运算问题，这使得能够降低算法链的函数验证的延迟和成本。
根据本发明，在前期步骤中，算法链的数据集被存储在备份文件中并且步骤a)在于读取所述备份文件并创建与在所述备份文件中包括的数据相关的查询。
所述方法还包括以单独或结合形式进行的以下各特征或各步骤中的至少一部分：
-步骤b)被配置为能够检测对规则的违反并且能够检测是否必须通过人工操作员来检验要素；
-步骤d)使用统计学习手段来进行数据相关性分析以便确定算法链的算法输出中的变化的一般规则，并且如果检测到算法输出与预定输出相比的变化大于给定阈值，则发出警报；
-步骤d)对算法链的算法结果中的变化进行分析以便在必要时检测不连续性和异常变化；
-所述方法包括对识别出的可疑的(或有问题的)测试例进行分类的附加步骤e)；
所述方法还包括对度量进行限定并显示所述度量的步骤。
有利地，步骤c)还被配置为：
-进行对相关联的代码和所述算法链的函数结构进行的分析；
-使用由人工操作员提供的显著的测试例来进行学习过程；以及
-识别相关的和可疑的测试例，并且至少将识别出的可疑测试例呈现给人工操作员。
本发明尤其使得能够：
-更有效地检测由所述算法链中的算法所使用的数据流中的错误；
-辅助负责验证的人工操作员分析所述数据；以及
-增加验证阶段的可靠性。
本发明还涉及一种用于辅助对算法链的检验和运算验证的系统。
根据本发明，所述系统包括由专家系统协调的至少以下模块：
-用于为所述算法链准备数据的模块，其自动捕获数据，该数据包括以下数据中的至少一部分：所述算法链的接口数据和内部算法数据；
-用于对函数规则进行自动检验的模块；
-用于通过学习算法链的约束和算法准则、考虑由人工操作员进行的验证来进行建模的学习模块；以及
-用于使用统计学习手段自动检测算法链中的错误或运算问题的模块。
有利地，所述系统还包括：
-其中对所述算法链的数据进行存储的一组备份文件，所述数据准备模块被配置为读取所述备份文件并创建与在所述备份文件中包含的所述数据相关的查询；以及/或者
-用于对来自所述数据准备模块的数据进行显示的单元；以及/或者
-使得人工操作员能够录入数据的数据录入单元；以及/或者
-对来自用于检测错误的模块的结果进行呈现的单元；以及/或者
-用于对识别出的可疑(或有问题的)测试例进行分类的模块。
附图说明
附图中的单个附图，图1，将针对本发明是如何能实现的给出清晰的理解。
图1为根据本发明的系统的框图。
具体实施方式
图1所示的根据本发明的系统1旨在辅助检验和运算验证算法链。
根据本发明，系统1包括至少以下由专家系统(未示出)协调的模块：
-用于为算法链准备数据的模块2，该模块2被形成以便自动捕获以下数据中的至少一些数据：算法链的接口数据和内部算法数据；
-用于对函数规则进行自动检验的模块3，该模块3通过(用于传输数据的)链路4被连接到数据准备模块2；
-学习模块5，该学习模块5通过(用于传输数据的)链路6连接到所述检验模块3并被形成以便通过学习算法链的约束和算法准则、考虑由人工操作员执行的验证以及由数据准备模块2所捕获的数据来进行建模；以及
-检测模块7，该检测模块7通过(用于传输数据的)链路8连接到所述学习模块5并被形成以便使用统计学习手段自动检测算法链中的错误和运算问题。
系统1进一步包括一组备份文件9，该组备份文件9中存储有算法链的数据。数据准备模块2被配置为读取所述备份文件并且创建与包含在所述备份文件中的数据相关的查询，如双箭头10所示。
所述系统1进一步包括：
-显示单元11，该显示单元11通过链路12连接到数据准备模块2并被形成以(通过例如在(未示出的)屏幕上示出它们或打印它们)显示来自数据准备模块2的数据，使得人工操作员能够注意到所述数据；以及
数据录入单元13，该数据录入单元13使人工操作员能够将数据录入在系统1中，并且更特定地录入在学习模块5(由图1中通过链路14所示)中，并且特别地由人工操作员来执行验证。
包括执行自动运算的多个模块(或电机)的系统1还辅助检验和验证算法链(这显示出规律性和重复性现象)。
所述系统1尤其使得能够改进并简化对特别是在航空学领域中使用的复杂算法的验证。该系统1使得能够辅助人工操作员更快速地检测算法链中的错误(尤其是在运算中通过异常现象所显示出的算法中的设计和实现错误)和运算问题，这使得能够降低算法链的函数验证中的延迟和成本。
算法链的数据准备模块2使得能够捕获与分析相关的以及在执行算法链时所产生的接口数据和/或内部算法数据。在执行算法链(或演算法链)时，数据集(已经被输入/输出的数据以及算法的相关内部数据)被存储在备份文件组9的备份文件(例如以下类型的文件：csv、XML、数据库等)中。数据准备模块2适于读取所述文件并创建与包含在所述备份文件中的数据相关的多个不同智能查询。
此外，由于推理模块(未示出)的原因，检验模块(或规则模块)3使得能够检验多项简单的运算规则。该系统的用户负责在规则字典中编写简单的运算规则。由于专家系统和推理模块的原因，模块3结合多项规则以便确定是否存在对该多项规则中的一项或多项的任何违反或者是否一些元素需要通过负责测试的人工操作员来检验。
此外，来自人工智能领域的学习模块5允许通过学习约束和算法准则来进行建模。所述学习模块5使得能够利用在通过人工操作员对多个场景进行验证期间所获得的经验，以便逐渐地使所述任务自动化。
为了达到此目的，所述学习模块5是在对所涉算法链的运算结构的分析以及对代码的分析的基础上，使用用于将风险量化的度量，其中风险是指代码的一种或另一种子函数或一部分是运算问题的根源。
为了执行模块5的学习，人工操作员必须(尤其通过录入单元13)提供一组准则上的一组显著的测试例和约束(通过例如指示出是否场景是在没有故障的情况下发生的或哪些方面有故障等)。在由人工操作员执行(手动的)运算验证的时候，该指示可以交互地发生。由于所述测试基础和算法的一组输入/输出(以及尤其是模块2的数据)，模块5适于识别问题(或可疑)测试例，并且适于(例如通过下述的信息呈现单元19或通过显示单元11)向用户显示相关的和/或可疑的测试例。
学习模块5可包括基于以下多个特征之一的手段：
支持向量机(SVM)；
“推进”；
用于监督式或非监督式学习的神经网络；
决策树；
统计方法，例如高斯混合模型；
逻辑回归；以及
线性判别分析。
此外，由于使用统计学习技术(或手段)，用于自动检测错误的模块7检测算法链中潜在的错误。所考虑的统计模块创建所涉数据(尤其是从算法链中捕获的数据)的相关性以便确定算法的输出的演化(或变化)的一般规则。如果识别出算法的输出中有与预定输出相比过大的变化，(尤其通过例如经由链路16被连接到检测模块7的警报单元15)则向人工操作员发出警报。该模块7使得能够分析算法的结果中的变化以便检测不连续性或看上去异常的变化。
此外，系统1还包括用于对可疑(或问题的)测试例进行分类的模块17。
当系统1识别出一组问题测试例时，分类模块17(分类模块17通过链路18接收所述多个测试例)将所述多个测试例组织为多个组。所述多个组被设计以便依据相似的运算误差对多个测试例进行分组。这样使得能够通过创建对场景的量化预分析而不会使系统1的用户(通过使用例如经由链路20被连接到分类模块17的显示单元19将所述多个组呈现给系统1的用户)被过大量的测试例所淹没。依据多个结果的相关性和度量对多个结果进行排序，并按照该方式进行呈现。
应该注意到本发明与惯用方法不同，这使得能够通过逻辑证明源代码满足所有所限定的运算要求。系统1确实使得能够利用用户经验以便简化对未经证明的代码的验证。
为了加速在诊断阶段由人工操作员进行的分析，系统1包括负责限定度量和负责智能显示所述度量的模块。
因此，系统1将能够以相关的方式关联大量信息的一组模块和业务相结合，以及尤其是：
-在由算法链中的算法所产生的数据中直接示出的信息；
-通过对所述数据进行自动后处理所计算的信息；
-来自对数据和代码的结构的分析的先验信息；以及/或者
-来自学习过程的信息：通过与负责验证任务的人工操作员进行交互来学习(学习检验过程)并且学习算法行为上的可预测现象，其中该算法存在这样的可预测现象。
因此，所述系统1尤其使得能够：
-更加有效地检测算法链中的算法所使用的数据流中的错误；
-辅助负责验证的人工操作员分析所述数据；以及
-提高验证阶段的可靠性。

Claims (12)

1.一种用于辅助对算法链的检验和运算验证的方法，所述方法包括一系列步骤，所述一系列步骤至少包括：
-前期步骤，在所述前期步骤中，当执行所述算法链时，所述算法链的数据集被存储在备份文件中；
a)为所述算法链准备数据的步骤，所述步骤自动捕获数据，所述数据包括以下数据中的至少一部分：所述算法链的接口数据和内部算法数据；步骤a)在于读取所述备份文件并创建与在所述备份文件中包含的数据相关的查询；
b)对函数规则进行自动检验的步骤；
c)用于通过学习所述算法链的约束和算法准则、考虑由人工操作员进行的验证以及所捕获的数据来进行建模的学习步骤；以及
d)使用统计学习手段自动检测所述算法链中的错误或函数问题的步骤；所述步骤d)使用统计学习手段来进行所述数据的相关性分析以便确定所述算法链的算法输出中变化的一般规则，并且如果检测到算法输出与预定输出相比的变化大于给定阈值，则发出警报。
2.根据权利要求1所述的方法，其特征在于，所述步骤b)被配置为能够检测对规则的违反并且能够检测是否必须通过人工操作员来检验要素。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤c)被配置为：
-进行对相关联代码和所述算法链的函数结构的分析；
-使用由人工操作员提供的显著测试例来进行学习过程；以及
-识别相关的和可疑的测试例并且将识别出的至少所述可疑测试例呈现给所述人工操作员。
4.根据前述权利要求中任一项所述的方法，其特征在于，所述步骤d)对所述算法链的算法结果中的变化进行分析以便在必要时检测不连续性和异常变化。
5.根据前述权利要求中任一项所述的方法，其特征在于，所述方法包括对识别出的可疑测试例进行分类的附加步骤e)。
6.根据前述权利要求中任一项所述的方法，其特征在于，所述方法包括对度量进行限定并且显示所述度量的步骤。
7.一种用于辅助对算法链的检验和运算验证的系统，所述系统(1)包括其中对所述算法链的数据进行存储的一组备份文件(9)、以及由专家系统协调的至少以下模块：
-用于为所述算法链准备数据的数据准备模块(2)，其自动捕获数据，所述数据包括以下数据中的至少一部分：所述算法链的接口数据和内部算法数据；所述数据准备模块(2)被配置为读取所述备份文件并创建与在所述备份文件中包含的数据相关的查询；
-用于对函数规则进行自动检验的模块(3)；
-用于通过学习所述算法链的约束和算法准则、考虑由人工操作员进行的验证和所捕获的数据来进行建模的学习模块(5)；以及
-用于使用统计学习手段自动检测所述算法链中的错误或运算问题的模块(7)；所述模块(5)使用统计学习手段来进行所述数据的相关性分析以便确定所述算法链的算法输出中的变化的一般规则，如果检测到算法输出与预定输出相比的变化大于给定阈值，则发出警报。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括用于对来自所述数据准备模块(2)的数据进行显示的单元(11)。
9.根据权利要求7或8所述的系统，其特征在于，所述系统还包括使得人工操作员能够录入数据的数据录入单元(13)。
10.根据权利要求7至9中任一项所述的系统，其特征在于，所述系统还包括用于对来自用于检测错误的模块(7)的结果进行呈现的单元(19)。
11.根据权利要求7至10中任一项所述的系统，其特征在于，所述系统还包括用于对识别出的可疑测试例进行分类的模块(17)。
12.一种包括算法链和如权利要求7至11中任一项所限定的系统(1)的组件。
CN201480066956.XA 2013-12-10 2014-12-03 用于辅助对算法链的检验和验证的方法和系统 Expired - Fee Related CN105814546B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR13/02881 2013-12-10
FR1302881A FR3014576B1 (fr) 2013-12-10 2013-12-10 Procede et systeme d'aide a la verification et a la validation d'une chaine d'algorithmes
PCT/FR2014/000258 WO2015086916A1 (fr) 2013-12-10 2014-12-03 Procédé et système d'aide à la vérification et à la validation d'une chaîne d'algorithmes

Publications (2)

Publication Number Publication Date
CN105814546A true CN105814546A (zh) 2016-07-27
CN105814546B CN105814546B (zh) 2018-08-31

Family

ID=50721823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480066956.XA Expired - Fee Related CN105814546B (zh) 2013-12-10 2014-12-03 用于辅助对算法链的检验和验证的方法和系统

Country Status (9)

Country Link
US (1) US9921944B2 (zh)
EP (1) EP2884393B1 (zh)
CN (1) CN105814546B (zh)
ES (1) ES2733514T3 (zh)
FR (1) FR3014576B1 (zh)
IL (1) IL246063B (zh)
PL (1) PL2884393T3 (zh)
RU (1) RU2669686C1 (zh)
WO (1) WO2015086916A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299054B (zh) * 2018-09-30 2020-09-15 维沃移动通信有限公司 一种数据统计方法及终端设备
CN109766262B (zh) * 2018-12-15 2022-05-06 深圳壹账通智能科技有限公司 接口数据处理方法、自动化测试方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571828A (zh) * 2009-06-11 2009-11-04 北京航空航天大学 基于约束分析和模型检验的代码安全漏洞检测方法
US20090328002A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Analysis and Detection of Responsiveness Bugs
CN102231133A (zh) * 2011-07-05 2011-11-02 上海交通大学 基于重写逻辑的并发实时程序验证的优化处理系统及其方法
WO2012163986A1 (en) * 2011-05-31 2012-12-06 Airbus Operations Gmbh Method and device for predicting the condition of a component or system, computer program product

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642472A (en) * 1994-05-20 1997-06-24 Lucent Technologies Inc. Software discovery system
US8065250B2 (en) * 2000-02-16 2011-11-22 Adaptive Technologies, Inc. Methods and apparatus for predictive analysis
US7412439B2 (en) * 2004-01-07 2008-08-12 International Business Machines Corporation Method for statistics management
WO2008108084A1 (ja) * 2007-03-02 2008-09-12 Panasonic Corporation 再生装置、システムｌｓｉ、初期化方法
US8424082B2 (en) * 2008-05-08 2013-04-16 Google Inc. Safely executing an untrusted native code module on a computing device
US9449281B2 (en) * 2008-12-31 2016-09-20 Sap Se Statistical machine learning
US20100281469A1 (en) * 2009-04-30 2010-11-04 Nec Laboratories America, Inc. Symbolic predictive analysis for concurrent programs
US8726254B2 (en) * 2009-06-20 2014-05-13 Microsoft Corporation Embedded annotation and program analysis
US20120089873A1 (en) * 2010-08-17 2012-04-12 Nec Laboratories America, Inc. Systems and methods for automated systematic concurrency testing
US20120151271A1 (en) * 2010-12-10 2012-06-14 Nec Laboratories America, Inc. Mat-reduced symbolic analysis
US8776057B2 (en) * 2011-06-02 2014-07-08 Fujitsu Limited System and method for providing evidence of the physical presence of virtual machines
CN103455313B (zh) * 2012-05-31 2017-03-22 国际商业机器公司 用于关联被测系统的输入消息与输出消息的方法和设备
US9026853B2 (en) * 2012-07-31 2015-05-05 Hewlett-Packard Development Company, L.P. Enhancing test scripts
US20140279770A1 (en) * 2013-03-15 2014-09-18 REMTCS Inc. Artificial neural network interface and methods of training the same for various use cases
US9582395B2 (en) * 2013-03-14 2017-02-28 Netflix, Inc. Critical systems inspector
US9652733B2 (en) * 2013-07-10 2017-05-16 George Kevin Hoffman Systems and methods for measuring and tracking radio-frequency identification tags
WO2015047278A1 (en) * 2013-09-26 2015-04-02 Intel Corporation Methods and apparatus to validate translated guest code in a dynamic binary translator
US9338013B2 (en) * 2013-12-30 2016-05-10 Palantir Technologies Inc. Verifiable redactable audit log
US9817737B2 (en) * 2014-09-16 2017-11-14 Spirent Communications, Inc. Systems and methods of building sequenceable test methodologies
US9727365B2 (en) * 2015-04-12 2017-08-08 At&T Intellectual Property I, L.P. End-to-end validation of virtual machines
US10176426B2 (en) * 2015-07-07 2019-01-08 International Business Machines Corporation Predictive model scoring to optimize test case order in real time
US10229038B2 (en) * 2016-03-15 2019-03-12 International Business Machines Corporation Generating reusable testing procedures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090328002A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Analysis and Detection of Responsiveness Bugs
CN101571828A (zh) * 2009-06-11 2009-11-04 北京航空航天大学 基于约束分析和模型检验的代码安全漏洞检测方法
WO2012163986A1 (en) * 2011-05-31 2012-12-06 Airbus Operations Gmbh Method and device for predicting the condition of a component or system, computer program product
CN102231133A (zh) * 2011-07-05 2011-11-02 上海交通大学 基于重写逻辑的并发实时程序验证的优化处理系统及其方法

Also Published As

Publication number Publication date
RU2669686C1 (ru) 2018-10-12
US9921944B2 (en) 2018-03-20
EP2884393A1 (fr) 2015-06-17
US20160314059A1 (en) 2016-10-27
FR3014576A1 (fr) 2015-06-12
WO2015086916A1 (fr) 2015-06-18
FR3014576B1 (fr) 2018-02-16
PL2884393T3 (pl) 2019-10-31
EP2884393B1 (fr) 2019-04-17
IL246063B (en) 2019-03-31
ES2733514T3 (es) 2019-11-29
CN105814546B (zh) 2018-08-31
IL246063A0 (en) 2016-07-31

Similar Documents

Publication Publication Date Title
Lin et al. What do you see? Evaluation of explainable artificial intelligence (XAI) interpretability through neural backdoors
EP2924579B1 (en) Event correlation
CN105474577B (zh) 用于监测系统性能和可用性的系统和方法
JP6141471B2 (ja) システムの可用性を解析するための方法、装置、当該装置を含むシステム、並びに、上記方法を実施するためのコンピュータプログラム
KR20190041912A (ko) 바이너리 기반 보안 취약점 탐색 시스템, 그 방법 및 프로그램
Bartocci et al. Localizing faults in Simulink/Stateflow models with STL
Zhonglin et al. An improved method of acquiring basis path for software testing
Wahono et al. Neural network parameter optimization based on genetic algorithm for software defect prediction
CN111190804A (zh) 一种云原生系统的多层次的深度学习日志故障检测方法
Punitha et al. Software defect prediction using software metrics-A survey
US20170257304A1 (en) Systems and methods for monitoring system performance and availability
CN105814546A (zh) 用于辅助对算法链的检验和验证的方法和系统
KR101834247B1 (ko) 전장용 소프트웨어 안전성 분석 방법 및 장치
Nishiura et al. Improving faulty interaction localization using logistic regression
CN117061318A (zh) 故障诊断方法、装置、设备、介质及产品
US8849626B1 (en) Semantic translation of stateflow diagrams into input/output extended finite automata and automated test generation for simulink/stateflow diagrams
Liu Polynomial-time verification of diagnosability of fuzzy discrete event systems
CN115129504B (zh) 基于云边端一体化的智慧电网数据处理方法及服务器
de la Vara et al. A proposal for the classification of methods for verification and validation of safety, cybersecurity, and privacy of automated systems
Li et al. Automatically generating functional scenarios from SOFL CDFD for specification inspection
Han et al. A heuristic model-based test prioritization method for regression testing
KR20220151650A (ko) 대용량 고속 스트림 데이터로부터 예측 분석들을 동적으로 발생시키기 위한 알고리즘적 학습 엔진
CN112925806A (zh) 基于关联规则的性能退化特征参数提取方法、系统、介质及设备
Deng et al. A method for reliability detection of automated guided vehicle based on timed automata
Ye et al. Information-theoretic syndrome evaluation, statistical root-cause analysis, and correlation-based feature selection for guiding board-level fault diagnosis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180831

Termination date: 20201203