CN118035023A - 一种虚实样机差异性与置信度评估方法 - Google Patents

Abstract

本发明涉及一种虚实样机差异性与置信度评估方法，属于电数字数据处理领域，包括：将虚实样机需考核的项目分为功能差异性考核项目和数据差异性考核项目。针对功能差异性，对每项功能采用黑盒测试的方法，验证其对应的触发条件下否能正确执行。针对数据差异性，对不同特征类型的输出数据，选择合适的数据一致性检验方法，计算得到一致性检验结果；将输出数据考核结果通过统一量化方法，转换为可聚合计算的值。建立系统评估的指标体系，确定各底层输出数据对于系统的置信度的影响权重并将统一量化结果带入计算得出系统各层级以及整体置信度评估结果。本发明实现了虚实样机各底层数据的差异性分析和样机系统置信度的评估，量化了样机的准确程度。

Description

一种虚实样机差异性与置信度评估方法

技术领域

本发明属于电数字数据处理领域，具体涉及一种虚实样机差异性与置信度评估方法。

背景技术

虚实融合系统综合集成试验在仿真领域被广泛应用和拓展。尽管实物试验可以获得最真实的性能数据，但由于经费限制、环境条件限制，为此需要利用更经济的系统样机仿真试验技术代替实物进行试验，获取试验数据。

在装备的工程研制阶段，为验证各系统间的匹配性、性能指标的合理性以及总体性能指标的可达性，各分系统以虚实(数学、实物、半实物)样机的形式，提供设计成果，接入总体层面的虚实融合综合仿真平台，并根据任务剖面，开展总体层面的全系统联合仿真试验。在开展综合实验之前，围绕虚实样机可信程度，需要进行虚实样机差异性与置信度评估，以确认虚实样机在何种程度上可反应对应实体的行为特性，从而为虚实融合系统综合集成试验提供支撑。

现有的评估方法具有如下缺陷：1、传统的仿真结果一致性研究大多面向数据，不能覆盖非数据类输出行为特性的一致性分析，而这类行为特性通常比数据更加直观地反映虚实样机与实物的差异。2、对于数据差异性考核结果，由于输出数据类型的不同，需使用不同的验证思路和方法，因此得到的数据一致性检验结果的区间、幅值、表达方式等也各不相同，达不到置信度综合评估所需要的标准化值要求。以往做法通常采用专家经验为主的模糊判断法等来评价各数据检验结果，得到可合并计算的值，具有较强主观性，可重复性、可验证性较差。

发明内容

为克服现有技术的不足，本发明提供一种虚实样机差异性与置信度评估方法，对虚实样机需考核的项目分为功能差异性考核项目和数据差异性考核项目。针对功能差异性，对每项功能应达到的指标采用黑盒测试的方法，验证其每个功能在其对应的触发条件下否能正确执行。针对数据差异性，对不同特征类型的输出数据，选择合适的数据一致性检验方法，计算得到一致性检验结果；将输出数据考核结果通过统一量化方法，转换为可聚合计算的值。建立系统评估的指标体系，确定各底层输出数据对于系统的置信度的影响权重并将统一量化结果带入计算得出系统各层级以及整体置信度评估结果。本发明实现对虚实样机仿真结果与对应的实体一致程度的评估。

为达到上述目的，本发明采用如下技术方案：

一种虚实样机差异性与置信度评估方法，包括如下步骤：

步骤1：根据虚实样机差异性待评估项目，将虚实样机的行为特性进行分类，分为功能差异性考核项目和数据差异性考核项目，用于分别进行虚实样机的功能输出特性评估和虚实样机的数据输出特性评估；

步骤2：进行虚实样机的功能输出特性评估；

步骤3：进行虚实样机的数据输出特性评估，根据数据的输出是否与时间有关，将数据分为随机数据和时序数据两类，采用不同检验方法对随机数据进行一致性检验，采用不同检验方法对时序数据进行一致性检验；对随机数据进行一致性检验的检验方法为t检验或F检验，对时序数据进行一致性检验的检验方法为TIC法或灰色关联分析法；

步骤4：将不同检验方法得到的结果转化为可统一量化差异程度的结果，通过对各类检验方法的结果特点进行识别，构造转换函数对结果进行转换，实现不同检验方法的结果的统一量化转换；

步骤5：在完成一致性检验后，基于层次分析法，得到各输出的数据的要素对上一层级节点置信度的影响权重，并基于各层级节点的置信度和权重，计算得到虚实样机组成的系统样机整体的置信度。

进一步地，所述步骤2中，当进行虚实样机的功能输出特性评估时，虚实样机作为设计结果的数字化表达，考核其功能差异性，即是考虑对其在数字空间应具备的各项功能进行完整覆盖测试。虚实样机由分系统设计部门提供，在进行仿真运行的功能差异性考核时，其内部参数和逻辑无从得知。此时可将虚实样机看作一个黑盒，不再考虑其内部逻辑结构和内部特性。因此，可采用黑盒测试的方法，验证其每个功能在其对应的触发条件下否能正确执行。具体包括如下步骤：

步骤2.1针对功能差异性考核项目，结合虚实样机的功能设计要求对每项功能应达到的指标进行梳理，形成功能测试清单；可选的，根据试验任务不同，虚实样机在数字空间应具备的功能范围及粒度与完整设计结果的要求可能有所差别，功能测试清单可根据应用目的或试验大纲中对虚实样机应具备的功能要求进行合理梳理和简略。

步骤2.2按照功能设计要求，对功能测试清单每项功能点设计合理的测试用例；可选的，通过等价类划分、边界值分析、因果图、判定表驱动法、比较法等设计方法，设计测试用例；可选的，根据在样机模型的创建过程中是否已完成正确性检查、静态代码检查、动态代码运行检查等，在设计测试用例时，可考虑除正向测试外，加入错误边界、无效输入等测试。

步骤2.3按照测试用例，在仿真试验平台中搭建测试环境，设置初始化参数，进行虚实样机的功能仿真测试；根据测试用例设计情形和条件，构建仿真环境，设置初始参数和运行配置，在运行过程中触发待测事件，观察并记录仿真结果；可选的，根据评估需要进行多次重复运行试验。

步骤2.4根据虚实样机的功能设计要求，对功能测试清单中每个功能点的测试结果进行结果评判。可选的，采取“一致”、“不一致”和“可接受”、“不接受”两个维度的主观评判法进行评价：“一致”和“不一致”是通过观察对虚实样机某一功能输出结果与设计要求是否一致的直观判断，为功能性考核结果的第一维度评价。“可接受”和“不接受”是当第一维度评价为“不一致”时，验证人员或用户对某一功能性考核结果的第二维度评价，判断待评价功能能否满足本次仿真试验目的，不一致的具体因素是否可能会影响本次仿真试验结果，决定是否继续使用该模型完成本次仿真试验任务。

进一步地，所述步骤3包括：

当进行虚实样机数据输出特性评估时，不同分系统的虚实样机的输出数据类型、特征不一，对应的一致性检验方法需与其匹配。因此，首先需将输出数据根据数据特征分类，再选择合适的一致性检验方法得到输出数据与参考数据的一致性结果。根据输出类型及特征，可分为随机数据和时序数据两类。针对两类数据，需分别选择合适的数据一致性检验方法。

随机数据指的是虚实样机的输出跟时间没有关系的仿真数据。随机数据的检验方法关注仿真数据和参考数据的统计特征的一致性，根据行业领域工程实现规律，参考数据具有不同形态，需要根据虚实样机的设计要求提供的参考数据不同形态综合考虑适用的检验方法。当参考数据为设计要求，要求输出结果应满足确定的某一理论分布时，一致性分析问题转化为检验仿真输出的数据样本是否服从某一理论分布的单样本检验问题；当参考数据为一组给出的以往实际试验的数据样本时，一致性分析问题可转化为比较仿真数据样本和实际数据样本总体是否一致的双样本检验问题。假设样本符合某分布函数F，若分布函数F是未知数据特征的分布函数，则适合用非参数方法进行一致性检验；若是已知的特殊分布函数，则可以应用参数方法进行一致性检验。

时序数据的验证方法一般要求仿真时序数据与参考时序数据的时序一致，关注时序数据的距离接近性与形状相似性，一般又可以将其细分为绝对度量方法与相对度量方法；绝对度量方法验证结果一般与数据量级相关，相对度量一般值域在确定的区间。

进一步地，所述步骤4包括：不同数据类型采用不同的检验方法，需将各类方法的结果转化为可统一量化差异程度的结果。通过对各类检验方法的结果特点进行识别，构造合适的转换函数，可实现不同数据差异性考核结果的统一量化转换。构造转换函数的形式并不唯一，即分析结果向统一量化结果转换的方式并不唯一。在选择转换函数时，对转换函数进行充分检验。通过选择不同的一致性检验方法对同一组输出数据进行一致性分析，再比较通过不同的转换函数得到的统一量化结果的差值，可以反映构造的转换函数是否合理：差值越小，说明统一量化的结果反映的数据一致性越相近，构造的转换函数合理；反之，差值越大，说明构造的转换函数不合理。

进一步地，所述步骤5中，在系统工程中，虚实样机可组建为一个可分形递归的复杂系统，一个组件可包括多个关键输出参数，一个系统可包括多个组件。组件某一输出可信，不代表组件可信，组件可信，也不代表整个系统可信，需要进行综合评估。

采用层次分析法将复杂的系统逐级分解，对每一层级的参数按照相关影响因素构造判断矩阵，从顶层向下计算判断矩阵得出某层次因素对上一层级的影响程度。确定各底层输出数据对于系统的置信度的影响权重后，将统一量化结果带入计算得出系统各层级以及整体的置信度评估结果。

本发明与现有技术相比的有益效果在于：

(1)传统的仿真结果一致性研究大多面向数据，不能覆盖非数据类输出行为特性的一致性评估，而这类行为特性通常比数据更加直观地反映虚实样机与实物的差异。本发明将样机输出行为特性分为仿真功能输出和仿真数据输出，提出各自对应的评估方法，可解决虚实样机差异性考核中非数据类输出难以评估的问题，为考核不同分系统的虚实样机的行为特性提供方法支撑。

(2)对于数据差异性考核结果，由于输出数据类型的不同，需使用不同的验证思路和方法，因此得到的数据一致性检验结果的区间、幅值、表达方式等也各不相同，达不到置信度综合评估所需要的标准化值要求。以往做法通常采用专家经验为主的模糊判断法等来评价各数据检验结果，得到可合并计算的值，具有较强主观性，可重复性、可验证性较差。本发明通过构造转换函数的方式，对各不同方法的结果进行转换归一，从而解决不同数据检验结果的统一问题，并提出一种对转换函数是否合理的检验方法，以验证转换函数本身的可靠性。

附图说明

图1为本发明的一种虚实样机差异性与置信度评估方法的流程图；

图2为本发明的功能特性考核结果主观评判法的说明图；

图3为本发明的某舵机系统评估指标体系层次分析树。

具体实施方式

下面结合附图对本发明做进一步详细的描述。

如图1所示，本发明的一种虚实样机差异性与置信度评估方法，包括如下步骤：

步骤一：根据虚实样机差异性待评估项目，将虚实样机的行为特性进行分类，分为功能差异性考核项目和数据差异性考核项目，分别进行虚实样机的功能输出特性评估和虚实样机的数据输出特性评估；

步骤二：进行虚实样机的功能输出特性评估，包括：

(1)针对功能差异性考核项目，结合虚实样机的功能设计要求对每项功能应达到的指标进行梳理，形成包括多项功能点的功能测试清单；

(2)按照虚实样机的功能设计要求，对功能测试清单每项功能点设计合理的测试用例；

(3)按照测试用例，在仿真试验平台中搭建测试环境，设置初始化参数，进行虚实样机的功能仿真测试，获得功能测试结果；

(4)根据虚实样机的功能设计要求，对功能测试结果进行评判。如图2所示，采取“一致”、“不一致”和“可接受”、“不接受”两个维度的主观评判法进行评价，而判断待评价功能是否满足本次仿真试验目的、不一致的具体因素是否可能会影响本次仿真试验结果，并决定是否继续使用该虚实样机完成后续评估内容。

步骤三：进行虚实样机的数据输出特性评估，根据输出是否与时间有关，将数据分为随机数据和时序数据两类，分别选择合适的数据一致性检验方法进行一致性检验，具体包括：

(1)针对数据差异性考核项目，结合虚实样机的设计要求和其提供的参考数据，形成输出数据清单；

(2)对输出数据清单中的各项输出数据是否与时间有关进行特征识别，明确输出数据清单中的各项输出数据是随机数据还是时序数据，从而形成不同特征类型的输出数据；

(3)对不同特征类型的输出数据，结合虚实样机的设计要求和参考数据，选择合适的数据一致性检验方法，采用t检验、F检验、Z检验等对随机数据进行一致性检验，采用TIC法、灰色关联分析法、功率谱分析法等方法对时序数据进行一致性检验；

(4)将仿真试验得到的输出数据和虚实样机的设计要求提供的参考数据带入数据一致性检验方法中，计算得到一致性检验结果。

步骤四：将不同检验方法得到的结果转化为可统一量化差异程度的结果，通过对各类检验方法的结果特点进行识别，构造合适的转换函数对结果进行转换，实现数据的不同的一致性检验结果的统一量化转换，具体包括：

(1)通过选择不同的数据的一致性检验方法分别对同一组输出数据和参考数据进行一致性分析，得到各自的一致性检验结果；

(2)对构造的转换函数进行统一量化转换，得到转换后的一致性检验结果；

(3)对不同的转换函数得到的统一量化转换后的一致性检验结果相减后取绝对值，得到的差值可以反映构造的转换函数是否合理：差值越小，说明统一量化转换后的结果反映的数据一致性越相近，构造的转换函数合理；差值越大，说明构造的转换函数越不合理。

步骤五：在完成一致性检验后，基于层次分析法，得到各输出数据的要素对上一层级节点置信度的影响权重，并基于各层级节点的置信度和权重，计算得到虚实样机组成的系统样机置信度。

层次分析法的判断矩阵常采用1-9标度法和指数标度法，以图3所示的某舵机系统置信度评估为例，层次分析法的具体步骤为：

(1)构造判断矩阵；以舵机控制系统置信度S11为例，首先根据主PWM(脉冲宽度调制)控制信号K11、功率管开关状态K12对舵机控制系统置信度S11的重要性，将舵机控制系统置信度S11的层进行两两比较，构造判断矩阵A11。采用相同方法，构造各层判断矩阵Amn，m，n分别为矩阵的行数和列数。

(2)计算各因素的权重分配；对给定的判断矩阵Amn，计算每一行各元素的乘积，再采用求根法求解特征向量，最后，由权重向量求得最大特征根。

(3)权重向量的一致性检验；由(2)求得的权重向量是否可靠，需要经过进一步一致性检验，得到差值CR。当CR<0.1时，认为判断矩阵Amn可以接受，CR越小，一致性越好。当CR>0.1时，应当修正判断矩阵Amn。

(4)层次总权重的计算；根据各判断矩阵Amn赋予的权重，带入各底层的数据差异性考核结果进行加权的相乘后再相加，得到舵机控制系统的整体置信度。

(5)通过构建系统置信度的层次关系，并逐层赋予各子层级对上一层级的系统的置信度的影响权重，最终基于底层各输出参数的差异性计算结果，通过相乘后再相加计算得到系统整体的置信度。

具体地，如图3所示，S0层代表舵机系统置信度，舵机系统置信度包括舵机控制系统置信度、舵机伺服系统置信度、舵机状态检测置信度；舵机控制系统置信度、舵机伺服系统置信度、舵机状态检测置信度构成S1层；舵机控制系统置信度包括PWM控制信号、功率开关管状态；舵机伺服系统置信度包括转子位置信号、相电流；舵机状态检测置信度包括舵面位置信号检测、转速检测、电流检测；PWM控制信号、功率开关管状态、转子位置信号、相电流、舵面位置信号检测、转速检测、电流检测构成K0层。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种虚实样机差异性与置信度评估方法，其特征在于，包括如下步骤：

步骤1：根据虚实样机差异性待评估项目，将虚实样机的行为特性进行分类，分为功能差异性考核项目和数据差异性考核项目，用于分别进行虚实样机的功能输出特性评估和虚实样机的数据输出特性评估；

步骤2：进行虚实样机的功能输出特性评估；

步骤3：进行虚实样机的数据输出特性评估，根据数据的输出是否与时间有关，将数据分为随机数据和时序数据两类，采用不同检验方法对随机数据进行一致性检验，采用不同检验方法对时序数据进行一致性检验；对随机数据进行一致性检验的检验方法为t检验或F检验，对时序数据进行一致性检验的检验方法为TIC法或灰色关联分析法；

步骤4：将不同检验方法得到的结果转化为可统一量化差异程度的结果，通过对各类检验方法的结果特点进行识别，构造转换函数对结果进行转换，实现不同检验方法的结果的统一量化转换；

步骤5：在完成一致性检验后，基于层次分析法，得到各输出的数据的要素对上一层级节点置信度的影响权重，并基于各层级节点的置信度和权重，计算得到虚实样机组成的系统样机整体的置信度。

2.根据权利要求1所述的一种虚实样机差异性与置信度评估方法，其特征在于，所述步骤2包括：

步骤2.1针对功能差异性考核项目，结合虚实样机的功能设计要求，对每项功能应达到的指标进行梳理，形成包括多项功能点的功能测试清单；

步骤2.2按照虚实样机的功能设计要求，对功能测试清单的每项功能点设计测试用例；

步骤2.3按照测试用例，在仿真试验平台中搭建测试环境，设置初始化参数，进行虚实样机的功能仿真测试；

步骤2.4根据虚实样机的功能设计要求，对功能仿真测试的功能测试结果进行评判，得出功能性考核结果。

3.根据权利要求2所述的一种虚实样机差异性与置信度评估方法，其特征在于，所述步骤3包括：

步骤3.1针对数据差异性考核项目，结合虚实样机的设计要求及其提供的参考数据，形成输出数据清单；

步骤3.2对输出数据清单中的各项输出数据是否与时间有关进行特征识别，明确输出数据清单中的各项输出数据是随机数据还是时序数据，从而形成不同特征类型的输出数据；

步骤3.3对不同特征类型的输出数据，结合虚实样机的设计要求和参考数据，选择数据的一致性检验方法；

步骤3.4将仿真试验得到的输出数据和虚实样机的设计要求提供的参考数据带入数据的一致性检验方法中，计算得到一致性检验结果。

4.根据权利要求3所述的一种虚实样机差异性与置信度评估方法，其特征在于，所述步骤4包括：

通过选择不同的数据的一致性检验方法分别对同一组输出数据和参考数据进行一致性检验，得到各自的一致性检验结果；

使用构造的转换函数对一致性检验结果进行统一量化转换，得到转换后的一致性检验结果；

对不同的转换函数得到的统一量化转换后的一致性检验结果相减后取绝对值，得到的差值反映构造的转换函数是否合理：差值越小，说明统一量化转换后的一致性检验结果反映的数据的一致性越相近，构造的转换函数越合理；差值越大，说明构造的转换函数越不合理。

5.根据权利要求4所述的一种虚实样机差异性与置信度评估方法，其特征在于，所述步骤5包括：

步骤5.1构造判断矩阵；

步骤5.2计算各层级节点的权重分配，获得权重向量；

步骤5.3进行权重向量的一致性检验；

步骤5.4确定各层级节点的权重；

步骤5.6将某层级节点下属各节点的权重与统一量化转换后的一致性检验结果分别相乘后再相加，得到该层级节点所代表的分系统样机置信度；

步骤5.7将各分系统样机的节点的权重与各分系统样机置信度相乘后再相加，得到虚实样机组成的系统样机整体的置信度。