CN111143981A - 虚拟试验模型验证系统及方法 - Google Patents

Abstract

本发明公开的一种虚拟试验模型验证系统及方法，包括构建层次化指标体系；对输入至底层指标节点的试验数据和仿真数据进行相应指标的验证，得到评估量化值；对顶层指标节点和中间层指标节点的相应关联子指标利用权重计算方法计算权重；根据底层指标的评估量化值和各个指标节点的权重值，依次向上递归计算，最后得到对待测模型的验证结果。本发明提供模型验证的方法及手段，缩短模型验证周期，提高虚拟试验验证效率，使用户在输入试验模型的有关数据后能得到对该模型的定量评估结果，提高了虚拟试验模型验证系统的使用重复率。

Description

虚拟试验模型验证系统及方法

技术领域

本发明属于虚拟试验技术领域，涉及一种虚拟试验模型验证系统及方法。

背景技术

现代信息技术等高新技术的快速发展及其在军事测试、航空航天、设备自动化和智能化领域的广泛应用，推动了现代化设备试验与测试技术向着集成化、体系化、虚拟化、智能化和数字化的方向发展。在这过程中，虚拟试验已经成为一种重要的技术研究手段。虚拟试验的具体优点如下：

1)虚拟试验技术能够大幅度减少甚至避免真实试验，降低了试验费用、试验风险和开发成本，缩短了试验准备周期。

2)虚拟试验技术可被灵活应用，试验环境基本不受时空等因素的影响制约，具有良好的复用性，可操作性强。

3)虚拟试验技术能提供完备的维护功能，允许试验者对其中的模型、环境等进行改进维护，缩短了试验台的维护时间，减少了维护费用。

虚拟试验中用到了数学建模技术、计算机仿真技术、多媒体技术以及虚拟现实技术，是一种对实物的映射。

模型是虚拟试验分析和研究的基础，对于虚拟试验的成功与否有着不可忽视的作用。故在进行虚拟试验之前，应对模型进行性能试验和验证评估，保证试验模型的正确性和可信度，这样既可以节省试验时间，提高试验效率，避免不必要的浪费，也可在此基础上得到具有可信度和实际应用价值的试验结果，虚拟试验才能真正发挥作用。

因此，提供一种体系化、自动化的虚拟试验模型验证系统及方法是本领域技术人员亟待解决的技术问题。

发明内容

本发明针对现有技术中存在的问题，提出一种虚拟试验模型验证系统及方法，提供模型验证的方法及手段，缩短模型验证周期，提高虚拟试验验证效率，使用户在输入试验模型的有关数据后能得到对该模型的定量评估结果。

为实现上述目的其具体方案如下：

一种虚拟试验模型验证方法，包括如下步骤：

构建层次化指标体系，构建模型评估任务中待测模型指标树的指标节点，并建立指标节点间的关联，自底而上包括底层指标节点、中间层指标节点和顶层指标节点；

底层指标节点计算，对输入至底层指标节点的试验数据和仿真数据进行相应指标的验证，得到评估量化值；

指标权重计算，对顶层指标节点和中间层指标节点的相应关联子指标利用权重计算方法计算权重；

综合验证，根据底层指标的评估量化值和各个指标节点的权重值，依次向上递归计算，最后得到对待测模型的验证结果。

优选的，利用QMap数据结构对指标树及每个指标节点内容进行保存，用指标节点指针作为QMap表的键，用结构体作为对应键的值，所述结构体内存储相应指标节点的设置参数以及指标信息。

优选的，底层指标节点计算具体包括：

获取待测指标的试验数据与模型仿真数据，并进行异常值剔除；

利用静态数据验证方法或动态数据验证方法对仿真数据和试验数据进行计算，得到底层指标节点验证结果。

优选的，所述静态数据验证方法包括U检验方法、T检验方法和参数估计方法；所述动态数据仿真方法包括时域分析方法和频域分析方法，其中时域分析方法包括TIC方法和灰色关联系数法，频域分析法包括周期图法。

优选的，指标权重计算过程中的权重计算方法包括层次分析法和环比系数法，将权重值保存至子指标的QMap结构体中。

优选的，综合验证过程中，还包括模型评估任务的保存步骤，模型评估任务保存为XML文件格式，XML文件中的信息包括指标名称，父指标名称、指标类型、指标权重和指标得分，具体步骤包括：

将顶层指标作为XML文件的根元素，保存待测模型的名称、权重、模型评估得分以及计算相应子指标选择的方法；

遍历顶层指标的下一层子指标，将相应子指标的信息存入XML文件，若子指标还有下一层子指标，则保存当前指标层被遍历到的指标节点，以该节点为父节点，遍历下一层的子指标，并在XML文件中为父节点添加子指标的指标信息；

当前指标节点无下一层子指标时，将某指标的所有叶子子指标遍历完毕后，回到上一指标层，继续遍历上一指标层的其他子指标分支，重复上面的过程，直到回到顶层指标的下一层指标，直至遍历完毕，保存结束。

本发明还提供了一种虚拟试验模型验证系统，包括验证任务构建模块、验证任务管理模块和模型评估模块；

所述验证任务构建模块，用于执行层次化指标体系构建、底层指标计算和指标权重计算的步骤；

所述验证任务管理模块，用于对评估任务进行新建、保存、另存、关闭、打开、删除五个操作；

所述模型评估模块，用于完成底层指标计算和指标权重计算后，模型评估模块依次向上递归计算，最后得到对待测模型的验证结果。

优选的，所述验证任务构建模块包括底层指标计算单元，用于执行底层指标计算操作；所述底层指标计算单元包括底层指标的编辑界面，试验数据与模型仿真数据载入编辑界面，并在编辑界面进行验证算法设置进行指标验证，显示评估量化值。

优选的，所述验证任务构建模块还包括指标权重计算单元，用于执行指标权重计算操作；所述指标权重计算单元包括指标节点编辑界面，在指标节点编辑界面选择子指标权重计算方法并显示；权重计算完成后，权重值存储在相应子指标在QMap表中的结构体中。

优选的，所述验证任务构建模块在构建层次化指标体系时将指标信息保存到QMap表中；所述验证任务管理模块以遍历指标树中指标节点的方式将 QMap表中存储的指标信息保存至XML文件。

本发明相较现有技术具有以下有益效果：

本发明能及时、直观地对试验模型进行功能验证，验证虚拟试验中的仿真模型的性能是否满足试验要求；本发明可以节省试验时间，提高试验效率，避免不必要的浪费，还能减少开发和应用虚拟试验平台的风险；本发明还有利于提高虚拟试验系统的可重用性，推动虚拟试验软件的整体质量管理，促进对虚拟试验技术、模型验证技术、评估精度等问题的深入研究。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明提供的虚拟试验模型验证方法的模型评估流程图；

图2是本发明提供的虚拟试验模型验证系统的总体结构图；

图3是本发明提供的层次化指标体系示意图；

图4是本发明提供的底层指标计算功能流程图；

图5是本发明提供的底层指标编辑界面示意图；

图6是本发明提供的指标权重计算流程图示意图；

图7是本发明提供的判断矩阵未通过一致性检验提示示意图；

图8是本发明提供的中间层指标的环比系数法界面；

图9是本发明提供的验证任务管理模块流程图；

图10是本发明提供的保存验证任务流程图；

图11是本发明提供的模型评估模块运行流程图；

图12是本发明实施例提供的飞行器模型评估指标体系。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1-2，本实施例提供一种虚拟试验模型验证方法，基于实物数据和模型数据的对比，为用户提供评估试验模型的平台，使用户可自主对模型的可信度进行评估。

S1、构建层次化指标体系

构建模型评估任务中待测模型指标树的指标节点，并建立指标节点间的关联，自底而上包括底层指标节点、中间层指标节点和顶层指标节点。在对模型进行验证评估前，用户需对每一个待验证模型建立一套合适的可信度评估指标体系。指标体系是对验证模型各类指标间关系的有序组织，是通过分层提取验证模型的各个特性，而得到的描述指标间相关性的有向图。除顶层指标，指标体系中的每一个指标都有权重，根据权重，通过从指标树的叶子节点逐层加权可以逐步求取最顶层指标的评估结果，得到对验证模型的整体评价。

指标是对验证模型某种特性的度量。在评价过程中不依赖其他指标，可以直接计算的指标称为性能指标(MOP,Measure of Performance)，依赖其他指标的指标称为效能指标(MOE，Measure of Efficiency)。

虚拟试验模型验证软件中的层次化指标构建部分主要提供添加指标节点、删除指标节点、编辑指标节点、创建指标关联、删除指标关联等功能。

建立指标体系是创建评估任务的起点，用户在系统提供的可视化界面中建造指标树，并能在指标树中可以添加指标，删除指标、编辑指标信息、创建指标关联，删除指标关联。指标关联的创建需要符合以下条件：指标关联中的子指标在与父指标相邻的下一层级中；指标树的叶子结点须是性能指标；而性能指标只能是叶子结点。在规定好指标体系中各指标的关联关系后，用户通过验证算法开发模块得出叶子节点的评估结果。用户选中一个父指标后选择其子指标权重计算方法，将得出其所有子指标对父指标的贡献程度。

参见图3，顶层指标节点和中间层指标节点没有样本数据可供参考，此类指标主要是结合指标权重计算功能，计算各自子指标的权重。而底层指标节点即指标树的叶子结点是一类有样本数据的节点，此类指标主要是能利用试验样本数据和待测模型的仿真数据，结合底层指标计算功能，给出自身的定量评估结果，为模型评估奠定基础。

利用QMap数据结构，实现对指标树及其每个指标节点内容的保存。QMap 以“键—值”的形式保存数据，在使用的时候可以通过提供的键标示得到想要的数据。为方便定位每一个指标节点，用指标节点指针作为QMap表的键，以结构体作为对应的值。结构体内存储有关于该节点的设置以及指标信息。建立QMap表与构建指标体系同步。

S2、底层指标节点计算

参见图4，对输入至底层指标节点的试验数据和仿真数据进行相应指标的验证，得到评估量化值。该部分主要是为用户提供验证底层指标的手段和方法，涉及虚拟试验模型的数据和相应实物试验数据的输入、数据预处理和指标计算。底层待测指标的试验数据与模型数据是来自本地的文件，需要用户自主选择。为方便用户精准地定位所需的数据，软件还支持用户从数据集中筛选出若干记录。

在利用数据集进行指标计算前，为消除粗大误差带来的影响，需要对数据进行预处理。数据预处理中的误差剔除方法选择异常值去除法。异常值去除法是判断输入样本数据中与其余数据相比明显不一样的数据为异常值，基于统计学原理的莱伊特和格拉布斯法剔除异常值。

本实施例从静态数据和动态数据两方面考虑对比验证算法。静态数据可视为随机变量的实现，一般采用的是统计分析方法；动态数据通常以时间序列为表示形式，本实施例主要是从时域、频域进行分析。

选择统计学分析方法中的U检验、T检验、F检验(方差齐次检验)、点估计方法来定量验证评估指标树叶子结点。

1、统计学方法

1.1U检验方法

将被测指标的真实试验数据和仿真数据看做两个独立的样本，由预先给定的显著性水平a，查u界值双侧表，得u_a。其中u_a为由t界值＝双侧表中得到的a分位点，用户有0.01，0.05，0.1三个显著性水平a可选，利用U检验进行验证，判断两个样本是否来自同一个总体，即是否可以用该模型的仿真数据代替真实数据，从而验证模型的可信度。

但U检验得出的是定性结果，只能判断试验数据的总体和仿真数据的总体的数学期望是否有显著差异，如何将定性结果转为定量结果也是需要研究的问题。

若两个样本的总体存在较大差异，则证明该模型的相应指标给出的仿真数据可信度差，无法代替真实数据；若两个总体的数学期望的差异在接收域内，可看做一个总体，则需要考虑将这种差异转化为(0,100]内的定量结果，综合分析下，采用公式实现结果转化。

1.2T检验方法

假如样本数量较小(n<30)，且总体标准差未知，则可以利用T检验进行检验。T检验是利用t分布理论对来自正态分布或近似正态分布总体的样本进行差异性检验的一种方法。

T检验的分类包括单样本t检验、配对样本t检验、两个独立样本t检验。其中两个独立样本t检验是比较两个样本各自的独立总体的平均数，判断两者是否有显著差异。

提供给用户有0.01，0.05，0.1三个显著性水平。同样将被测指标的真实试验数据和仿真数据看做两个独立的样本，利用T检验进行验证，达到验证评估该性能指标的目的。

与U检验相同，T检验给出的是定性结果，仍需要将其转化为[0,100]定量结果，方便评估结果的加权计算。

若两个总体的数学期望的差异在接收域内，则利用公式转化。

1.3参数估计法

参数(parameter)是表征总体某方面的概率特性的量值。当这个量值未知时，从总体抽取一个随机样本，用某种方法对这个未知参数进行估计就是参数估计(parameterestimation)。

点估计与区间估计都可以给出未知参数的估计，估计的准确度都依赖于取样的质量。但点估计需要的信息少，得到的估计值也比较粗略，而区间估计需要的信息更多，除了样本，还需要知道总体或者样本的某些数字特征的分布形式，得到的结果是包含置信水平的一个区间。由于在实际操作中，被评估指标提供的信息很少，所以这里选择点估计。本实施例选择极大似然估计法，但该方法需要知道样本的分布才可以确定p(x_i|θ)，其中p(x_i|θ)为类条件概率，表示在θ的前提下，x_i出现的概率。因此，本方法为用户提供了三种常见随机变量分布可供选择，主要有正态分布、均匀分布和指数分布。

先分别利用被测指标的试验数据和仿真数据进行点估计，得到各自总体的参数估计量θ_试和θ_仿，以试验数据得出的估计量作为标准，对仿真数据的估计量进行评估，进而得到对该模型指标的评估结果。评估计算公式如下，至此就可以得出对指标的定量评估结果。

2、时域分析方法

在虚拟试验模型验证评估过程中，模型有可能提供一系列采样时间序列，要检验模型的可信度就要检验模型的时间序列样本与实际系统的时间序列样本的总体一致性。如果两组样本来自同一总体，则说明在某置信水平下，实物试验结果和模型结果是一致的。其最大优点是未涉及复杂的统计原理，只通过简单的数值运算即可得出关于仿真模型可信度的结论，结果直观明了，计算简便，适用于小样本序列。

2.1TIC方法

TIC方法，即Theil不等式系数法，是在相同的输入条件下，以实测样本和模型样本计算得到的TIC系数为检验指标，依据该指标来衡量实测样本与其模型结果的一致性，以此来评估试验模型。

TIC方法在样本容量越小时检验结果越准确，本实施例支持用户选择每段 TIC包含的样本数目，避免样本数目过大带来的检验误差。可供选择的分数段为[1,10]。同时系数阈值作为判断两组数据有无显著差异的界线对检验结果也有着很大影响。为适应实际中各种不同的需求，提供了0.3、0.4、0.5三种TIC 系数阈值。

由上述可知，TIC方法只能给出定性检验结果，所以仍需要一种转化方法将其转化为[0,100]的定量结果，便于模型评估结果的综合分析。

假如TIC系数ρ(x,y)大于所设阈值，则说明两组数值有显著差异；假如 TIC系数ρ(x,y)小于所设阈值，则说明两者的差异在接收域内，此时需要对差异的大小进行量化，将其转化为评估得分。故可用公式进行计算量化。

2.2灰色关联系数法

用于表征两个系统中的各子系统(或因素)的关联性的量度，称为关联度。在系统发展过程中，若两个因素变化的态势是一致的，即同步变化程度较高，即可谓二者关联程度较高；反之，则二者关联度小较低。因此，灰色关联度分析为一个系统发展变化的态势提供了量化的度量，非常适合动态的历程分析。该方法的优点是对样本的数据量没有严格要求，不要求样本数据具有某些典型分布规律。

模型指标给出的是试验样本数据和仿真数据，并且样本数量很大，如何利用两组数据用灰色关联分析法得出该指标的定量得分是一个较为复杂的问题，这里以某一模型的位置数据为例，进行分析。将实物的位置数据作为标准，构建参考数据列。因为样本数量多，且考虑到数据是随着时间变化，故可取实物的每一行数据作为仿真数据对应行数据的参考序列。将实物的位置数据和模型的位置仿真数据利用区间值法进行无量纲化，之后逐个计算每个被评价参数数列与参考序列对应元素的绝对差值。得出绝对差值中的最大数和最小数。然后依据公式计算每条样本参数序列与参考序列对应元素的关联系数，这里取关联系数为0.5，最后得到位置数据的各项参数关联系数值。之后利用公式得到每条样本的关联度。因为关联度值越接近于1，说明数据序列的关联性越大，两者也越接近。

3、频域分析方法

频域分析法是在频域范围内对样本数据进行分析，主要是利用频谱分析方法，而频谱分析方法用于可信度验证的基本思想是：如果两个随机过程的概率分布一致，则它们的频谱特性必然保持一致。换言之，如果模型输出序列与真实系统输出序列本质上是一致的，即使谱估计方法本身精度不高，得到的谱估计值不十分准确，用同一种谱估计方法得出的谱估计值应该也是一致的。本实施例选择的频谱估计法是周期图法。周期图法是一种信号功率谱密度估计方法，由于数据序列的离散傅里叶变换具有周期性，所以其功率谱也具有周期性。

虚拟试验模型验证过程中，需要求出指标的实际试验数据与模型数据的谱估计值，然后进行两者的比较，两者差异越大，则越说明模型数据可靠度越低，模型本身可信度也越低，将这种差异用[0,100]内的某数表示，可以定量的表现模型指标的可信度。

S3、指标权重计算

参见图6，在建立层次化指标后，为确定虚拟试验模型的整体可信度，需要确定模型的所有子指标的权重，定量表达每个指标的重要性，才对来自不同指标的信息进行分析综合。在确定底层的性能指标的定量评价结果后，对其进行加权计算便可得到其父指标的得分，自下而上，最终得到对模型的验证评估结果。但是除去底层的性能指标有可量化的样本数据，其他顶层以及中间层指标没有可收集的数据作为指标权重计算的依据，所以采用指标权重计算中间层和/或顶层指标。

3.1层次分析法

该方法是在层次化指标体系的基础上根据指标间的隶属关系，将所有指标归为不同的层次而形成的分析方法。在每一层次上，将各指标的下层子指标相对自己进行两两重要性比较，将比较的结果构造成一个判断矩阵。

矩阵为判断矩阵，其中a_ij代表的是第i个子指标对第j个子指标的重要性，采用相对尺度可以减少性质不同的各指标相互比较的困难，提高准确度。

算法步骤：

第一步，计算判断矩阵每一行元素的乘积

第二步，计算每一行元素乘积的n次方根

第三步，将n次方根进行归一化处理，即得每一个子指标的权重(特征向量)W＝(w₁,w₂,...,w_n)^T；

第四步，求得最大特征值：

第五步，判断矩阵的一致性检验：一致性检验是为了使判断矩阵符合逻辑性，如当A比B的影响明强，而B比C的影响稍强，则A一定比C的影响强。这才符合逻辑一致性，否则判断就会有矛盾。

一致性检验：

CI＝0时，说明判断矩阵符合逻辑一致性；CI 越大，说明判断矩阵的不一致性越严重。

随机一致性指标RI：根据RI与子指标数量n的关系选取取RI的值。

一致性比率(用于确定判断矩阵的不一致性的容许范围)，

当 CR＜0.1时，说明判断矩阵的不一致性程度在容许范围内，此时A的特征向量可作为权向量。

对指标进行两两比较并进行一致性检验可以逐步削弱评估过程的主观性，从而客观描述指标间的关系。

3.2环比系数法

环比系数法又称DARE法(Decision Alternative Ratia Evaluation System)，是一种通过对比方案中各因素的重要性来评价模型的方法。环比系数法适用于系统中各个指标之间存在明显的可比关系的情况。指标间可能直接对重要性进行比较，并能准确地评定功能重要度值。

第一步，将待评价指标的所有子指标按照功能相近、重要性的原则，顺序存储；

第二步，自上而下，将相邻的两个指标的重要度对比评分，作为重要度比值，并存储；

第三步，修正重要度比值；

第四步，将修正重要度值进行归一化处理即得各指标权重值。

有上述六种方法可知，底层指标主要是通过实物数据和模型数据的对比得出评估结果，考虑到样本数据的格式类型各不相同，本实施例从静态数据和动态数据两方面考虑对比验证算法，静态数据对比采用的是统计分析方法中的U检验法、T检验法、参数估计法；动态数据则是从时域、频域两方面进行定量分析，采用了TIC方法、灰色关联系数法和周期图法。本实施例进行了定量化研究，并对其进行了验证分析，证明其实用性和适用性。

S4、综合验证

根据底层指标的评估量化值和各个指标节点的权重值，依次向上递归加权计算，最后得到对待测模型的验证结果。

下面实施例提供了一种虚拟试验模型验证系统，包括验证任务构建模块、验证任务管理模块和模型评估模块；

所述验证任务构建模块，用于执行层次化指标体系构建、底层指标计算和指标权重计算的步骤；所述验证任务管理模块，用于对评估任务进行新建、保存、另存、关闭、打开、删除五个操作；所述模型评估模块，用于完成底层指标计算和指标权重计算后，模型评估模块依次向上递归计算，最后得到对待测模型的验证结果。

参见图5，在底层指标计算单元的底层指标的编辑界面体现，用户通过双击节点进入编辑界面，该界面除包括指标名设置、基本属性的展示、父指标信息、该节点的描述信息和当前状态的显示，验证算法设置部分则是为用户计算底层指标提供方法。该部分提供了上文提到的六种验证评估方法，并给与用户每种方法及其参数适当的解释说明，图5(a)图是整体的编辑界面，(b) 图为验证算法设置板块的算法设置部分，用户在选择不同的计算方法后显示不同的界面，以U检验方法为例，界面会给出该方法的说明和适用说明，并给出内部参数选择部分，指导用户合理的选择计算方法。(c)图为样本数据载入界面，用户选择本地文件，并可以根据实际需求筛选数据。其他处理方法部分是数据预处理部分。用户在设置好后，点击节点评估按钮，系统给出计算结果，并显示出来。

指标权重计算单元中子指标权重设置部分是指标权重计算模块在系统中的体现，该部分提供给用户专家指派法、层次分析法、环比系数法三种方法，用户可以自行选择。下面仍以中间层指标1为例，向大家展示每种方法的界面。点击权重计算按钮后，权重值便分别存储在三个子指标在QMap表中的结构体中。同时同一父指标的所有指标的权重和应为1，当用户给出了不合理值时，系统将给出提示，用户需要重新赋值。

参见图7，用户选择层次分析法时的显示界面，该界面显示了中间层指标 1的三个子指标构成的3*3的判断矩阵，用户将两两比较的结果填入矩阵后，点击权重计算按钮后，系统将根据层次分析法计算出子指标的权重，同样将结果存入QMap表中。为了实现判断矩阵中a_ji＝1/a_ij，在用户确定a_ij后，系统自动给出a_ji，保证对角线数值互为倒数。用户给出的判断矩阵还需要通过一致性检验，否则系统将给出提示，用户需要重新构造判断矩阵。

参见图8为用户选择环比系数法时，中间层指标1的对应界面。系统只给出重要度比值一栏，用户在确定上下元素的重要度比值后，点击权重计算按钮，系统将利用环比系数法得出各个子指标的权重值。

在评估任务管理模块中，用户可对评估任务进行新建、保存、另存、关闭、打开、删除五个操作，具体可见流程图9。

用户选择新建任务后，系统就会启动层次化指标构建模块，在用户第一次保存验证任务或者选择另存为操作时，系统会弹出文件保存对话框，让用户选择本地保存路径以及文件名。本文中选择以XML作为验证任务描述文件的格式，因为XML是用于标记电子文件使其具有结构性的语言，正好满足评估任务指标树的层次化结构需求。同时该语言不受编程语言和操作系统的限制，方便系统之间的数据交互。

打开文件操作就是用户选择本地的XML文件，系统解析XML文件，将其转化为主界面的层次化指标体系展现给用户。

当用户对已经进行过保存或者另保存的文件在进行保存操作时，系统默认保存路径为原来的路径，且文件名不变，只是用新文件替代原来的文件。

当用户选择删除评估任务时，是指将建立的层次化指标体系从主界面清空，并不删除文件。而关闭评估任务则是除去以上操作的另外一种操作，用户点击关闭评估任务时将直接关闭软件界面。

其中为实现保存、另保存和打开文件功能，需要将指标树、各指标节点的参数设置以及指标信息保留下来。指标树的核心就是指标之间的父子隶属关系，只有将这层关系保存下来才能完整复原模型评估任务。前文在构建层次化指标体系时将指标信息保存到QMap表中，故保存与另保存功能的实现就是研究如何将QMap中存储的信息完整描述并保存到文件中。本实施例中选择将模型评估任务保存为XML文件格式。图10表现了如何将用户建立的评估任务以XML的格式保存下来。

存储的QMap表的信息主要是表中对应指标节点结构体中的信息，本实施例中存入到XML文件中的信息主要有指标名称，父指标名称、指标类型、指标权重和指标得分。Index[i]中存储的是指标树第i层被遍历到的指标节点。

该保存功能先是将顶层指标作为XML文件的根元素，保存待测模型的名称、权重、模型评估得分以及计算其子指标选择的方法。之后遍历顶层指标的下一层子指标，将该子指标的信息存入XML，若子指标还有下一层子指标，则保存当前指标层被遍历到的指标节点，以该节点为父节点，转而遍历下一层的子指标，并在XML文件中为父节点添加子元素，以此类推，直到最下面一层。将某指标的所有叶子子指标遍历完毕后，回到上一层，继续遍历上一层指标，重复上面的过程，直到回到顶层指标的下一层指标，遍历完毕后，保存工作就结束了。以图3层次化指标体系示意图中的指标体系为例，解释说明保存的过程，将该层次化指标体系保存下来，遍历的指标节点的顺序如图11所示。

下面以飞行器模型为实例，验证本文中开发的虚拟试验模型验证方法与系统的实用性。

针对装载固体火箭发动机，机动发射的大型飞行器的特点，可以将飞行器模型分为制导控制系统和弹体模型两部分。飞行器的制导控制系统一般由探测机构、制导计算装置和执行机构组成，功能是利用探测装置测量飞行器与特定目标或基准的位置偏差，按照制导指令，引导飞行器克服各种干扰因素自动飞向目标。制导控制系统由制导系统和控制系统两部分组成，制导系统主要是完成目标探测、形成导引指令和控制导航系统追踪目标，其导引特性可分为攻角指令、过载指令、侧滑角指令和倾侧角指令；而控制系统是稳定飞行器机体，控制飞行器姿态。而飞行器的弹体在空中飞行时其运动很特殊，其一是弹体是变质量物体，其二是弹体在空中飞行的环境是空间变的，同时也是时变的，环境带来的干扰也是难以预测的，因此弹体模型有一个很复杂的非线性时变模型。可以得到飞行器模型的评估指标体系，参见图12。

底层指标计算：

在进行指标评估前，先根据评估指标的数据特点和验证算法的适用性对指标进行计算方法分类，可以缩短计算时间，提高计算效率。各底层指标的验证算法选择如表1所示，

表1底层指标验证算法选择

在此基础上，对21个底层指标进行定量评估，这里以导航装置的准确性为例，对指标计算过程进行描述，其他指标类似。

双击节点进入该节点的编辑界面，选择TIC系数方法，并导入飞行器模型的飞行数据和理论数据，选择TIC每段样本数为5，TIC系数阈值为0.3。计算得到的TIC系数见表，由表可知TIC系数的最大值为0.002352， TIC_max＝0.002352＜0.3，说明飞行数据曲线和理论数据曲线拟合地很好。

表2 TIC分段系数

为了求取准确性指标的定量得分，首先利用表2中X,Y,Z数据的均值TIC 系数和公式得出各项得分，s_X＝99.502，s_Y＝99.501， s_Z＝99.493。然后确定各项参数的权重，飞行数据中weight_X＝weight_Y＝weight_Z，所以准确性指标的得分为99.4986。用户点击节点评估按钮后，系统将给出定量评估结果。

权重确定：

选择环比系数法进行子指标权重计算，根据环比系数法原理可得到导引性能子指标各项参数的数值，具体见表3，由表可知攻角精度的权重为0.585，过载精度的权重为0.293，侧滑角精度的权重值为0.098，倾侧角精度的权重为0.024。虚拟试验模型验证软件给出权重计算结果，对比计算结果和系统结果，发现两者相差无几。类比导引性能子指标权重的计算过程，可以得到所有指标的权重。

表3导引性能子指标的各项参数值

指标计算与权重计算是两个独立的过程，而中间层指标和顶层指标的计算则依赖于其子指标的权重和评估得分。

综合验证：

根据这些计算得到的底层指标的评估量化值和各个指标的权重值，依次向上递归综合，最后能够获得对飞行器模型的综合验证值，具体计算过程如下：

计算弹体模型指标的评估值：

s_弹体＝0.23×66.2183+0.23×62.5426+0.18×62.8348+0.18×50.648+0.18×50＝59.0419

计算轨道控制指标的评估值：

s_轨道＝0.41×98.2721+0.4×98.3041+0.19×64.9067＝91.9455

计算姿态控制指标的评估值：

s_姿态＝0.33×62.7382+0.34×59.3666+0.33×79.5395＝67.1363

计算控制系统的评估值：

s_控制＝0.5×67.1363+0.5×91.9455＝79.5409

计算导航装置性能的评估值：

s_导航＝0.27×99.6599+0.32×98.9387+0.41×99.4986＝99.3629

计算导引性能的评估值：

s_导引＝0.29×62.8348+0.27×50.7588+0.22×59.7493+0.22×62.5426＝58.8312

计算探测装置性能的评估值：

s_探测＝0.27×76.4626+0.22×87.5892+0.28×80.6258+0.23×69.6542＝78.5102

计算制导系统的评估值：

s_制导＝0.35×78.5102+0.35×58.8312+0.3×99.363＝77.8784

计算飞行器模型的评估值：

s_飞行器＝0.36×77.8784+0.32×79.5409+0.32×59.0419＝72.3827

最后获得飞行器模型的综合性能指标评估得分，为72.3827。

虚拟试验模型验证系统给出了待测模型的整个评估过程及结果，方便用户直接定位待测模型中的薄弱环节，及时进行修整改进，可以缩短查找问题的时间，提高完善模型的效率。

以上对本发明所提供的一种虚拟试验模型验证系统及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种虚拟试验模型验证方法，其特征在于，包括如下步骤：

构建层次化指标体系，构建模型评估任务中待测模型指标树的指标节点，并建立指标节点间的关联，自底而上包括底层指标节点、中间层指标节点和顶层指标节点；

底层指标节点计算，对输入至底层指标节点的试验数据和仿真数据进行相应指标的验证，得到评估量化值；

指标权重计算，对顶层指标节点和中间层指标节点的相应关联子指标利用权重计算方法计算权重；

综合验证，根据底层指标的评估量化值和各个指标节点的权重值，依次向上递归计算，最后得到对待测模型的验证结果。

2.根据权利要求1所述的一种虚拟试验模型验证方法，其特征在于，利用QMap数据结构对指标树及每个指标节点内容进行保存，用指标节点指针作为QMap表的键，用结构体作为对应键的值，所述结构体内存储相应指标节点的设置参数以及指标信息。

3.根据权利要求1所述的一种虚拟试验模型验证方法，其特征在于，底层指标节点计算具体包括：

获取待测指标的试验数据与模型仿真数据，并进行异常值剔除；

利用静态数据验证方法或动态数据验证方法对仿真数据和试验数据进行计算，得到底层指标节点验证结果。

4.根据权利要求3所述的一种虚拟试验模型验证方法，其特征在于，所述静态数据验证方法包括U检验方法、T检验方法和参数估计方法；所述动态数据仿真方法包括时域分析方法和频域分析方法，其中时域分析方法包括TIC方法和灰色关联系数法，频域分析法包括周期图法。

5.根据权利要求2所述的一种虚拟试验模型验证方法，其特征在于，指标权重计算过程中的权重计算方法包括层次分析法和环比系数法，将权重值保存至子指标的QMap结构体中。

6.根据权利要求1所述的一种虚拟试验模型验证方法，其特征在于，综合验证过程中，还包括模型评估任务的保存步骤，模型评估任务保存为XML文件格式，XML文件中的信息包括指标名称，父指标名称、指标类型、指标权重和指标得分，具体步骤包括：

将顶层指标作为XML文件的根元素，保存待测模型的名称、权重、模型评估得分以及计算相应子指标选择的方法；

遍历顶层指标的下一层子指标，将相应子指标的信息存入XML文件，若子指标还有下一层子指标，则保存当前指标层被遍历到的指标节点，以该节点为父节点，遍历下一层的子指标，并在XML文件中为父节点添加子指标的指标信息；

当前指标节点无下一层子指标时，将某指标的所有叶子子指标遍历完毕后，回到上一指标层，继续遍历上一指标层的其他子指标分支，重复上面的过程，直到回到顶层指标的下一层指标，直至遍历完毕，保存结束。

7.一种根据权利要求1-6中任一项所述的虚拟试验模型验证方法的虚拟试验模型验证系统，其特征在于，包括验证任务构建模块、验证任务管理模块和模型评估模块；

所述验证任务构建模块，用于执行层次化指标体系构建、底层指标计算和指标权重计算的步骤；

所述验证任务管理模块，用于对评估任务进行新建、保存、另存、关闭、打开、删除五个操作；

所述模型评估模块，用于完成底层指标计算和指标权重计算后，模型评估模块依次向上递归计算，最后得到对待测模型的验证结果。

8.根据权利要求7所述的一种虚拟试验模型验证系统，其特征在于，所述验证任务构建模块包括底层指标计算单元，用于执行底层指标计算操作；所述底层指标计算单元包括底层指标的编辑界面，试验数据与模型仿真数据载入编辑界面，并在编辑界面进行验证算法设置进行指标验证，显示评估量化值。

9.根据权利要求7所述的一种虚拟试验模型验证系统，其特征在于，所述验证任务构建模块还包括指标权重计算单元，用于执行指标权重计算操作；所述指标权重计算单元包括指标节点编辑界面，在指标节点编辑界面选择子指标权重计算方法并显示；权重计算完成后，权重值存储在相应子指标在QMap表中的结构体中。

10.根据权利要求7所述的一种虚拟试验模型验证系统，其特征在于，所述验证任务构建模块在构建层次化指标体系时将指标信息保存到QMap表中；所述验证任务管理模块以遍历指标树中指标节点的方式将QMap表中存储的指标信息保存至XML文件。

Images