CN107766668A - 一种基于神经网络的复杂仿真模型验证方法 - Google Patents

一种基于神经网络的复杂仿真模型验证方法 Download PDF

Info

Publication number
CN107766668A
CN107766668A CN201711038908.1A CN201711038908A CN107766668A CN 107766668 A CN107766668 A CN 107766668A CN 201711038908 A CN201711038908 A CN 201711038908A CN 107766668 A CN107766668 A CN 107766668A
Authority
CN
China
Prior art keywords
mrow
msub
data
sim
obs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711038908.1A
Other languages
English (en)
Other versions
CN107766668B (zh
Inventor
周玉臣
马萍
方可
杨明
赵开斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201711038908.1A priority Critical patent/CN107766668B/zh
Publication of CN107766668A publication Critical patent/CN107766668A/zh
Application granted granted Critical
Publication of CN107766668B publication Critical patent/CN107766668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于神经网络的复杂仿真模型验证方法，本发明涉及复杂仿真模型验证方法。本发明的目的是为了解决现有传统验证方法对于大数据集的处理效率低，复杂仿真模型的验证指标众多，数据量大以及分析评估人员的工作量大的问题。一：建立数据样本集；二：获得客观相似性分析结果；三：获得基于规则与知识的相似性评估等级；四：构成训练样本集；五：训练样本集归一化处理；六：对BP神经网络进行训练，得到训练好的BP神经网络；七：对有类标签的测试样本子集进行测试，若测试结果无法达到要求，则重新对BP神经网络的拓扑结构进行设计，重新执行六，直到测试结果准确率达到分析准确率的要求为止。本发明用于计算机仿真模型验证与可信度评估领域。

Description

一种基于神经网络的复杂仿真模型验证方法
技术领域
本发明涉及复杂仿真模型验证方法。
背景技术
仿真技术广泛应用于航天、航空、航海、电力、核能、通信等诸多领域。校核、验证与验收(Verification，Validation and Accreditation，VV&A)贯穿于复杂仿真模型研发的全生命周期，模型验证能够确保对系统中缺陷与错误的早期检测，及时解决各研发阶段所暴露出的问题，从而保证仿真模型的可信性与正确性，降低仿真模型的应用风险。
例如，飞行器仿真模型是一类典型的复杂仿真模型，在飞行器设计中，由于外场试验成本高，具有破坏性、不可重复等特点，很难大量的重复进行真实飞行试验进行方案优化、分析等，一般采用系统仿真技术进行辅助设计。开发六自由度的飞行器制导控制仿真模型，利用部分飞行器外场飞行试验数据对模型进行验证，在确认模型可信的前提下，即可利用仿真模型部分的代替外场飞行试验，进行系统分析、设计优化、性能评估等工作。从而极大的减少外场飞行试验的次数，提高设计研发进度，降低研发成本。早期的导弹研发中，美国奈基-I防空导弹研制进行了1000多次发射试验，苏联B-750防空导弹研制进行了数百次发射试验，其耗资是惊人的。英国“警犬”低空导弹的研制工程采用仿真技术，交替地进行仿真试验和靶场飞行试验，只发射了92枚导弹就完成了该项研制任务，其中的79次发射是专门用于校验模型的。在爱国者、罗兰特、尾刺三个型号的导弹研制过程中，通过采用仿真技术，使靶试实弹数减少了30-60％，研制费用节省了10-40％，研制周期缩短了30-40％。
在对飞行器制导控制仿真模型进行模型验证中，一般选择仿真模型的重要输出指标进行验证，典型模型验证指标包括飞行器三维位置(X/Y/Z三个方向)、三维速度、姿态(俯仰角/偏航角/滚转角)等数据，这些验证指标的数据与飞行时间有关，覆盖了飞行器飞行的整个阶段，表现为时间序列的形式；数据相似性分析是模型验证的主要手段，通过比较相同条件下仿真模型输出与参考系统(真实系统或者相似系统)输出之间的相似性程度，可以获得相应的仿真输出的可信程度。传统的模型验证是以评估人员为核心实施的，在验证方法选择、输出的验证等方面均离不开验证人员的参与。面对复杂仿真模型，其结构复杂，需要对系统整体输出与子系统的输出进行验证；需要验证的指标数量众多，同时需要对不同条件下的数据进行相似性分析。传统验证方法对于大数据集的处理效率低，不完整的模型验证工作又会增加仿真应用的风险。
对于仿真时间序列与参考时间序列，采用单一的相似性度量方法很难快速准确的获得数据的相似性等级。复杂仿真模型系统整体输出与子系统输出众多，验证指标众多，大量数据的分析很难采用传统的模型验证方法实现。分析人员选择相似性分析方法无疑会导致成本增加，且效率较低。
复杂武器装备仿真系统，飞行器制导控制仿真模型、导弹系统仿真模型、电磁轨道炮全弹道仿真模型、复杂交通调度系统、航空管制系统等均属于复杂仿真模型的范畴。
发明内容
本发明的目的是为了解决现有传统验证方法对于大数据集的处理效率低，复杂仿真模型的验证指标众多，数据量大以及分析评估人员的工作量大的问题，而提出一种基于神经网络的复杂仿真模型验证方法。
一种基于神经网络的复杂仿真模型验证方法具体过程为：
步骤一：建立数据样本集：
每一个数据样本包含一个仿真时间序列和一个参考时间序列，仿真时间序列和参考时间序列二者的时序一一对应；
参考时间序列来自真实物理系统的试验测试结果；
仿真时间序列来自与真实物理系统对应的仿真模型的运行结果，仿真模型与真实物理系统的运行初始条件一致；
仿真时间序列表示为Qsim＝{(t1，Qsim,1),(t2,Qsim,,2),…,(ti,Qsim,,i),…(tN,Qsim,,N)}，参考时间序列表示为Qobs＝{(t1,Qobs,1),(t2,Qobs,2),…,(ti,Qobs,i),…(tN,Qobs,N)}，
其中Qsim,,i与Qobs,i分别表示仿真输出与参考输出在第i个时刻点ti的数值；1≤i≤N，N表示时间序列中数据的长度，共采集了N个时刻的数据；
步骤二：采用相似性度量方法对步骤一数据样本集中每组仿真时间序列和参考时间序列的相似性进行分析，获得每组仿真时间序列和参考时间序列的客观相似性分析结果；
相似性度量方法包括平均绝对误差、均方误差、相对均方根误差、相对平均绝对误差、夹角余弦、皮尔曼相关系数、灰色关联分析、Theil’s不等式系数法和切比雪夫距离；
步骤三：采用群组决策方法对步骤一数据样本集中的每组仿真时间序列和参考时间序列进行分析，获得每组仿真时间序列和参考时间序列的基于规则与知识的相似性评估等级；
步骤四：将步骤二得到的每组仿真时间序列和参考时间序列的客观相似性分析结果和步骤三得到的每组仿真时间序列和参考时间序列的基于知识与规则的相似性评估等级构成训练样本集，训练样本集表示为矩阵形式；
步骤五：采用非线性归一化方法对训练样本集进行归一化处理，得到归一化处理后的训练样本集；
步骤六：将归一化处理后的训练样本集中85％作为神经网络训练样本子集，剩余15％作为神经网络测试样本子集，将神经网络训练样本子集输入BP神经网络，利用误差反向传播算法对BP神经网络进行训练，得到训练好的BP神经网络；
步骤七：利用训练好的BP神经网络对有类标签的测试样本子集进行测试，若测试结果无法达到分析准确率的要求，则重新对BP神经网络的拓扑结构进行设计，重新执行步骤六，直到BP神经网络对有类标签的测试集测试结果的准确率达到分析准确率的要求为止。
本发明的有益效果为：
本发明设计的一种基于神经网络的复杂仿真模型验证方法，能够适用于不同类型的时序数据的相似性分析；同时，该方法能够适用于大数据集的处理，以满足复杂仿真模型验证指标众多的需求。
以神经网络为代表的智能化学习方法为设计通用的时序数据相似性分析方法提供了可行的解决途径，神经网络具有强大的非线性映射能力；通过有监督的学习，可以实现对仿真数据与参考数据间相似性的分析。利用高性能计算机，基于神经网络的复杂仿真模型验证方法可以实现对大数据集的快速分析，显著的减少数据分析人员与领域专家的参与，满足复杂仿真模型的验证指标众多，解决了数据量大带来的处理效率低以及分析评估人员的工作量大的问题。该方法具有学习能力，综合了不同数据相似性度量方法的度量结果，适用于大数据集的处理，提高了处理效率。
(1)本发明提出的一种基于神经网络的复杂仿真模型验证方法，将传统模型验证方法与神经网络相结合，实现了一种具有学习能力的智能化仿真模型验证方法；基于神经网络的复杂仿真模型验证方法能够学习训练样本集中相似性分析结果与相似性等级之间的映射关系，这一学习过程既是对训练样本的特征提取，也综合了分析人员的基于知识与规则的相似性等级评估过程。
(2)本发明提出的一种基于神经网络的复杂仿真模型验证方法综合了不同相似性度量方法的结果，能够全面的刻画仿真数据与参考数据间的相似性程度；其相似性评估过程不需要数据分析人员和领域专家的参与，能够利用大数据集，对复杂仿真模型的输出量进行验证。基于神经网络的复杂仿真模型验证方法，能够显著减少分析人员在大数据集相似性分析过程中的参与程度，极大的提高复杂仿真模型的验证效率。
根据实施例一记载的模型验证神经网络的相似性等级评估误差是指神经网络输出的相似性等级与有标记样本的相似性等级之间的误差。评估误差的统计结果如表3所示。相应的柱状图统计如图5所示。从统计结果与柱状图中可以看出，模型验证神经网络的评估准确度达到了89.04％，同时，几乎全部的样本集的等级评估误差集中于-1到1之间(99.70％)，这也表明基于神经网络的复杂仿真模型验证方法分析结果准确，算法稳定性较好。
附图说明
图1为本发明提出的基于神经网络的复杂仿真模型验证方法示意图，横坐标为Alpha，Alpha为飞行器攻角，单位为弧度rad；纵坐标为时间，单位为s；
图2为本发明提出的模型验证神经网络训练与应用过程示意图；
图3为本发明采用的BP神经网络拓扑结构示意图；
图4为本发明提出的基于神经网络的复杂仿真模型验证方法的BP神经网络训练过程流程图；
图5为本发明实施案例的模型验证神经网络等级评估误差统计结果图。
具体实施方式
具体实施方式一：本实施方式的一种基于神经网络的复杂仿真模型验证方法具体过程为：
图1为本发明提出的基于神经网络的复杂仿真模型验证方法示意图，本发明方法的核心在一个能够实现相似性分析结果到相似性等级映射的神经网络。首先利用k种相似性分析方法对仿真时间序列与参考时间序列的相似性进行分析，之后利用数据归一化方法将所有的相似性分析结果的值域限定在一定的范围内，进而将其作为神经网络的输入。训练好的神经网络可以将归一化后的相似性分析结果映射为相似性等级。
由于神经网络综合了不同的相似性度量方法，其度量结果比采用单一的验证方法(相似性度量方法)要准确。此外，基于神经网络的复杂仿真模型验证方法避免了由分析人员选择验证方法进行相似性分析这一环节，减少了分析人员的参与，能够很好的适用于具有大数据集的复杂仿真模型验证。
基于神经网络的复杂仿真模型验证方法的难点在于神经网络的训练过程，图2为针对本发明的复杂仿真模型验证方法，给出的基于IDEF0(ICAM Definition for FunctionModeling)描述的模型验证神经网络训练与应用过程，包括建立数据样本集、数据样本集的多准则相似性分析、基于群组决策的相似性等级评估、数据归一化、神经网络的训练、神经网络的应用等。
步骤一：建立数据样本集：
每一个数据样本包含一个仿真时间序列和一个参考时间序列，仿真时间序列和参考时间序列二者的时序一一对应；
参考时间序列(也简称为参考数据)来自真实物理系统的试验测试结果(指真实存在的系统实物，如真实的武器装备、飞行器等，当真实物理系统为飞行器时，对应的复杂仿真模型为六自由度飞行器仿真模型)；
仿真时间序列(也简称为参考仿真)来自与真实物理系统对应的仿真模型(一般具有非线性、强烈的耦合性、涌现性等特点，如复杂武器装备仿真系统，飞行器制导控制仿真模型、导弹系统仿真模型、电磁轨道炮全弹道仿真模型、复杂交通调度系统、航空管制系统等均属于复杂仿真模型的范畴)的运行结果，仿真模型与真实物理系统的运行初始条件一致；
对于六自由度飞行器仿真模型验证，典型的仿真时间序列包括飞行器位置、速度、姿态等数据；参考数据指来自外场飞行器飞行试验的位置、速度、姿态等信息，仿真模型与真实物理系统的运行初始条件一致；仿真时间序列表示为Qsim＝{(t1,Qsim,1),(t2,Qsim,,2),…,(ti,Qsim,,i),…(tN,Qsim,,N)}，参考时间序列表示为Qobs＝{(t1,Qobs,1),(t2,Qobs,2),…,(ti,Qobs,i),…(tN,Qobs,N)}，
其中Qsim,,i与Qobs,i分别表示仿真输出与参考输出在第i个时刻点ti的数值；1≤i≤N，N表示时间序列中数据的长度，共采集了N个时刻的数据；
示例1：典型的仿真时间序列与参考时间序列可以表示为如下形式，或者如表1所示。
Qsim＝{(5,10.19),(6,35.10),…,(21,894.56),…(33,103)}
Qobs＝{(5,36.28),(6,36.28),…,(21,926.37),…(33,110.92)}
表1仿真时间序列与参考时间序列
步骤二：采用相似性度量方法对步骤一数据样本集中每组仿真时间序列和参考时间序列的相似性进行分析，获得每组仿真时间序列和参考时间序列的客观相似性分析结果；
相似性度量方法包括平均绝对误差(Mean Absolute Error,MAE)、均方误差(MeanSquare Error,MSE)、相对均方根误差(Relative Root Mean Square Error,RRMSE)、相对平均绝对误差(Relative Mean Absolute Error,RMAE)、夹角余弦、皮尔曼相关系数、灰色关联分析、Theil’s不等式系数法(Theil’s Inequality Coefficient,TIC)和切比雪夫距离(Chebyshev Distance)等。
步骤三：采用群组决策方法对步骤一数据样本集中的每组仿真时间序列和参考时间序列进行分析，获得每组仿真时间序列和参考时间序列的基于规则与知识的相似性评估等级；
步骤四：将步骤二得到的每组仿真时间序列和参考时间序列的客观相似性分析结果和步骤三得到的每组仿真时间序列和参考时间序列的基于知识与规则的相似性评估等级构成训练样本集，训练样本集表示为矩阵形式；
步骤五：采用非线性归一化方法对训练样本集进行归一化处理，得到归一化处理后的训练样本集；
步骤六：将归一化处理后的训练样本集中85％作为神经网络训练样本子集，剩余15％作为神经网络测试样本子集，将神经网络训练样本子集输入BP神经网络，利用误差反向传播算法对BP神经网络进行训练，得到训练好的BP神经网络；
复杂仿真模型验证神经网络一般由输入层、隐层和输出层组成，隐层为一层或者多层，每个隐层中又包含Nh个神经元；采用误差反向传播算法(Back Propagation)进行训练的神经网络又称为BP神经网络；在BP神经网络中，层与层之间的神经元是全连接，层内部的神经元之间无连接；BP神经网络结构可以采用如图3所示的结构来描述。Nh取值为正整数；
误差反向传播算法，在训练网络时，根据给定的输入向量初值经过神经网络计算出输出值，把这个输出值和期望输出值做比较，如果输出未能得到期望的输出，则逐层递归地计算实际输出与期望输出之间的误差，以此调节神经元连接权值。BP算法把学习过程分为两个阶段：第一阶段正向传播过程，给出输入信息通过输入层经隐含层处理并计算每个神经元的实际输出值；第二阶段反向过程，若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值(即误差)，以便根据此差值调节权值。利用误差反向传播算法对仿真模型验证神经网络进行训练的过程如图4所示。
具体步骤如下
步骤6.1首先对复杂仿真模型验证神经网络的权值、阈值、训练精度、最大迭代次数进行初始化；
步骤6.2取训练样本，传输至复杂仿真模型验证神经网络的输入层；
步骤6.3计算各层神经元的输出；
步骤6.4获得神经网络的输出误差；
步骤6.5对所有的训练样本的输出误差进行统计，计算平均误差；
步骤6.6判断是否若满足精度要求，若满足则迭代结束，则输出复杂仿真模型验证神经网络；否则，执行步骤6.7；
步骤6.7判断是否达到迭代次数，若达到迭代次数，则重新执行步骤7.1；若未达到迭代次数，则按照一定的规则调整神经网络的权值与阈值，重新执行步骤7.2计算误差。
步骤七：利用训练好的BP神经网络对有类标签的测试样本子集进行测试，若测试结果无法达到分析准确率的要求(如分析准确率在80％以上)，则重新对BP神经网络的拓扑结构(隐层的层数，以及每个隐层中包含神经元个数；)进行设计，重新执行步骤六，直到BP神经网络对有类标签的测试集测试结果的准确率达到分析准确率的要求为止。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤二中平均绝对误差(Mean Absolute Error,MAE)、均方误差(Mean Square Error,MSE)、相对均方根误差(Relative Root Mean Square Error,RRMSE)、相对平均绝对误差(Relative MeanAbsolute Error,RMAE)、夹角余弦、皮尔曼相关系数、灰色关联分析、Theil’s不等式系数法(Theil’s Inequality Coefficient,TIC)和切比雪夫距离(Chebyshev Distance)具体表达式为：
(1)平均绝对误差(Mean Absolute Error,MAE)方法计算公式为：
MAE为采用平均绝对误差对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；Qobs,i为仿真模型输出在第i个时刻点ti的数值，Qsim,i为真实物理系统验证输出在第i个时刻点ti的数值，N表示时间序列中数据的长度，共采集了N个时刻的数据；MAE取值范围最小值为0，最大值为+∞，最优值为0；最优值是指仿真时间序列与参考时间序列完全相同时，二者的计算结果；
(2)均方误差(Mean Square Error,MSE)方法计算公式为：
MSE为采用均方误差对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；MSE取值范围最小值为0，最大值为+∞，最优值为0；最优值是指仿真时间序列与参考时间序列完全相同时，二者的计算结果；
(3)相对平均绝对误差(Relative Mean Absolute Error,RMAE)方法计算公式为：
RMAE为采用相对平均绝对误差对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；为真实物理系统输出时间序列绝对值的均值；RMAE取值范围最小值为0，最大值为+∞，最优值为0；最优值是指仿真时间序列与参考时间序列完全相同时，二者的计算结果；
(4)相对均方根误差(Relative Root Mean Square Error,RRMSE)方法计算公式为：
RRMSE为采用相对均方根误差对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；RRMSE取值范围最小值为0，最大值为+∞，最优值为0；
(5)夹角余弦(Cosine Similarity,也称为余弦相似度)方法计算公式为：
cosθ为采用夹角余弦对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；cosθ取值范围最小值为0，最大值为1，最优值为0；
(6)皮尔曼相关系数方法计算公式为：
Sc为采用皮尔曼相关系数对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；μQsim为仿真时间序列Qsim的均值，μQobs为参考时间序列Qobs的均值，σQsim为对仿真时间序列Qsim的方差，σQobs为参考时间序列Qobs的方差，E[x]表示中括号中的式子x期望；Sc取值范围最小值为-1，最大值为1，最优值为1；
(7)灰色关联分析法(Grey Relational Analysis，GRA)计算公式为：
γ为采用灰色关联分析法对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；max[x]与min[x]分别为对x求最大值与最小值，ρ表示调节系数，一般取0～1；γ取值范围最小值为0，最大值为1，最优值为1。
(8)Theil’s不等式系数法(Theil’s Inequality Coefficients，TIC)计算公式为：
τ为采用Theil’s不等式系数法对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；τ取值范围最小值为0，最大值为1，最优值为0。
(9)切比雪夫距离计算公式为：
Cheb＝max|Qobs-Qsim| (9)
Cheb为采用切比雪夫距离对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；Cheb取值范围最小值为0，最大值为+∞，最优值为0。
相似性度量方法计算公式如表2所示；
表2相似性度量方法
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤三中采用群组决策方法对步骤一数据样本集中的每组仿真时间序列和参考时间序列进行分析，获得每组仿真时间序列和参考时间序列的基于规则与知识的相似性评估等级；具体过程为：
相似性程度与相似性评估等级对应关系采用如下描述的规则：
若SE,k(Qobs,Qsim)∈[0.9,1]，则SL,k(Qobs,Qsim)＝I
若SE,k(Qobs,Qsim)∈[0.8,0.9]，则SL,k(Qobs,Qsim)＝II
若SE,k(Qobs,Qsim)∈[0.7,0.8)，则SL,k(Qobs,Qsim)＝III
若SE,k(Qobs,Qsim)∈[0.6,0.7)，则SL,k(Qobs,Qsim)＝IV
若SE,k(Qobs,Qsim)∈[0,0.6)，则SL,k(Qobs,Qsim)＝V
SE,k(Qobs,Qsim)表示第k位数据分析人员或专家确定评定的仿真时间序列Qsim与参考时间序列Qobs的相似性程度，SL,k(Qobs,Qsim)表示第k位数据分析人员或专家评定的仿真时间序列Qsim与参考时间序列Qobs的相似性评估等级；
相似性程度与相似性评估等级对应关系
不同的专家个人偏好、专业、经验等不尽相同，制定的规则不尽相同，因此对P位数据分析人员或专家评定仿真时间序列和参考时间序列的相似性评估等级进行加权平均，获得每组仿真时间序列和参考时间序列的基于规则与知识的相似性评估等级；
SPL(Qobs,Qsim)表示P位数据分析人员或专家对数据样本进行共同分析获得的每组仿真时间序列和参考时间序列的基于规则与知识的相似性等级，SL,k(Qobs,Qsim)表示第k位数据分析人员或专家评定的仿真时间序列和参考时间序列的相似性评估等级，F(x)表示对括号中的式子x进行四舍五入，取整数，式子x为
示例2：
采用5位专家对同一组仿真数据与参考进行分析，得到了五个相似性等级{2,3,3,2,3}，则最终的等级
即该组数据的相似性等级为III级。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述第k位数据分析人员或专家评定的仿真时间序列Qsim与参考时间序列Qobs的相似性评估等级SL,k(Qobs,Qsim)的具体求解过程为：
(1)邀请P位数据分析人员或专家，每位数据分析人员或专家根据不同的数据样本组，选择一种相似性度量方法，根据相似性度量值得到相似性程度SE,k(Qobs,Qsim)；
(2)根据相似性程度SE,k(Qobs,Qsim)确定仿真时间序列和参考时间序列的相似性等级SL,k(Qobs,Qsim)。
示例3：
例如专家1选择切比雪夫距离作为评价准则，制定If-Then描述的规则。
IfCheb(Qobs,Qsim)∈[0,1]，Then SE,k(Qobs,Qsim)∈[0.9,1]
If Cheb(Qobs,Qsim)∈(1,10]，Then SE,k(Qobs,Qsim)∈[0.8,0.9)
If Cheb(Qobs,Qsim)∈(10,20]，Then SE,k(Qobs,Qsim)∈[0.7,0.8)
If Cheb(Qobs,Qsim)∈(20,50]，Then SE,k(Qobs,Qsim)∈[0.6,0.7)
If Cheb(Qobs,Qsim)∈(50,+∞)，Then SE,k(Qobs,Qsim)∈[0,0.6)
(2)根据相似性程度SE,k(Qobs,Qsim)确定仿真时间序列和参考时间序列的相似性等级SL,k(Qobs,Qsim)；
通过专家制定的评价准则与相似性等级划分，可以通过连续推理，获得仿真数据与参考数据基于规则的相似性等级；
示例4：
例如仿真时间序列与参考时间序列的切比雪夫距离为8，通过下面两条规则进行连续推理，即可获得该组仿真时间序列与参考时间序列的相似性等级为II级。
If Cheb(Qobs,Qsim)∈(1,10]，Then SE,k(Qobs,Qsim)∈[0.8,0.9)
If SE,k(Qobs,Qsim)∈[0.8,0.9)，Then SL,k(Qobs,Qsim)＝II
相似性度量值是指客观相似性分析结果，例如示例4中一组仿真时间序列与参考时间序列的切比雪夫距离为8；相似性程度是通过IF-Then规则得到的区间数，例如示例4中的[0.8,0.9)；相似性等级是相似性程度的离散化，例如示例4中的II级。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤四中将步骤二得到的每组仿真时间序列和参考时间序列的客观相似性分析结果和步骤三得到的每组仿真时间序列和参考时间序列的基于知识与规则的相似性评估等级构成训练样本集，训练样本集表示为矩阵形式；具体过程为：
对M组仿真时间序列和参考时间序列分别进行步骤二与步骤三的分析，则构成M个训练样本，M个训练样本构成如下矩阵：
其中Vij表示第i个数据样本采用第j种相似性度量方法获得的相似性分析结果，SiPL表示群组决策获得的第i个数据数据样本的相似性评估等级，即有类标签的第i个数据样本；1≤i≤M；
示例5:
采用步骤2中的9种方法对3组仿真时间序列与参考时间序列进行分析，得到如下的矩阵形式的训练样本.
上面矩阵中，前九列数据为客观的相似性分析结果，但是其值域差距很大，无法直接判别样本相似性程度，在后续神经网络的训练与测试中，作为神经网络的输入；最后一列数据为样本的相似性等级标签，其中1表示相似性程度最高，5表示相似性程度最差，在后续神经网络的训练与测试中，作为神经网络的输出。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤五中采用非线性归一化方法对训练样本集进行归一化处理，得到归一化处理后的训练样本集；
通过归一化处理，可以提高步骤七中神经网络训练的速度和精度；
其中传统的最小最大归一化方法(式11)如下所示：
式中，Qmin-max为采用最小最大归一化方法的处理结果，Q为样本集中任意一种度量方法的相似性分析结果；Qmin为该度量方法的所有相似性分析结果的最小值，Qmax采用该度量方法的所有相似性分析结果的最大值。
标准归一化方法(式12)如下所示：
式中，Qstd为采用标准归一化方法的处理结果；μQ采用同一种度量方法的所有相似性分析结果的均值，σQ采用同一种度量方法的所有相似性分析结果的方差。
最小最大归一化方法与标准归一化方法为现有技术，本发明采用了式(13)所述的非线性归一化方法。
本发明采用一种新型非线性的归一化方法，这种归一化方法结合了幂函数与最小最大化归一化方法，能够很好的提高样本在输入空间上的分散性。
非线性归一化方法：
式中，Qmin-max为采用归一化方法的处理结果，Q表示任意一个数据样本采用某一种相似性度量方法的相似性分析结果；Qmin为选取该相似性度量方法对所有数据样本相似性分析结果的最小值，Qmax为选取该相似性度量方法对所有数据样本相似性分析结果的最大值，α为调节系数，通过调整α可以使训练集的数据分散更为均匀；
示例6：
对于示例5中的矩阵，第一列的最大值Qmax为3023，最小值Qmin为0.2561，采用式(13)进行归一化，取α＝0.3，得到结果为
若采用式(11)进行归一化，其结果为
显然，式(13)归一化的结果均匀散布在[0,1]区间上，而式(11)归一化结果则集中在0或者1附近。对于神经网络训练来说，数据分布均匀更容易收敛。因此在每一列的数据中，选择合适的调节系数α进行处理，避免每一列数据分布过于集中，可以获得如下的结果。
注意，这里仅仅提供了一个三个样本的数据，在实际操作中，样本数量会是相当庞大的，若每一列的数据过于集中，则影响神经网络的训练效率与性能，本发明使用的归一化方法则可在一定程度上使样本数据分布更为均匀。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述α取0-200。
其它步骤及参数与具体实施方式一至六之一相同。
采用以下实施例验证本发明的有益效果：
本实施例一种基于神经网络的复杂仿真模型验证方法具体是按照以下步骤制备的：
为评估本发明方法的性能及应用，验证发明方法的有效性，并使本发明的目的、技术方案和有益效果更加清楚，下面使用本发明提出的方法，利用飞行器六自由度仿真模型数据进行神经网络的训练与测试。
(1)收集与整理了不同初始条件下的飞行器飞行位置、速度、加速度、攻角、侧滑角、俯仰角、偏航角、滚转角等验证指标的仿真数据与参考数据共计675组；
(2)利用基于知识与规则的相似性等级评估方法，邀请多位数据分析人员及专家对所有数据进行样本标记；
(3)在训练过程中，为了进一步提高分类性能，采用了提前终止策略，将所有的有标记训练样本随机划分为神经网络训练样本子集(575组)与性能测试样本子集(100组)，采用BP算法进行训练；
(4)利用测试样本集对用于模型验证的神经网络进行测试。
用于复杂仿真模型验证的神经网络相似性等级评估误差是指神经网络输出的相似性等级与有标记样本的相似性等级之间的误差。评估误差的统计结果如表3所示。相应的柱状图统计如图5所示。从统计结果与柱状图中可以看出，模型验证神经网络的评估准确度达到了89.04％，同时，几乎全部的样本集的等级评估误差集中于-1到1之间(99.70％)，这也表明基于神经网络的复杂仿真模型验证方法分析结果准确，算法稳定性较好。
表3神经网络分类结果
综上所述，基于神经网络的复杂仿真模型验证方法不需要数据分析人员选择相似性分析方法，而是采用多种数据分析方法对仿真时间序列与参考时间序列的相似性进行分析，进而利用神经网络进行综合。借助于高性能计算机强大的计算能力，可以对大数据集进行快速分析，从而实现对复杂仿真模型的验证。
本发明提出的基于神经网络的复杂仿真模型验证方法可以应用于多种领域的复杂仿真模型评估，例如导弹系统仿真模型的验证、电磁轨道炮全弹道仿真模型的验证、复杂交通调度系统的验证、航空管制系统的验证等。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种基于神经网络的复杂仿真模型验证方法，其特征在于：所述方法具体过程为：
步骤一：建立数据样本集：
每一个数据样本包含一个仿真时间序列和一个参考时间序列，仿真时间序列和参考时间序列二者的时序一一对应；
参考时间序列来自真实物理系统的试验测试结果；
仿真时间序列来自与真实物理系统对应的仿真模型的运行结果，仿真模型与真实物理系统的运行初始条件一致；
仿真时间序列表示为Qsim＝{(t1,Qsim,1),(t2,Qsim,,2),…,(ti,Qsim,,i),…(tN,Qsim,,N)}，参考时间序列表示为Qobs＝{(t1,Qobs,1),(t2,Qobs,2),…,(ti,Qobs,i),…(tN,Qobs,N)}，
其中Qsim,,i与Qobs,i分别表示仿真输出与参考输出在第i个时刻点ti的数值；1≤i≤N，N表示时间序列中数据的长度，共采集了N个时刻的数据；
步骤二：采用相似性度量方法对步骤一数据样本集中每组仿真时间序列和参考时间序列的相似性进行分析，获得每组仿真时间序列和参考时间序列的客观相似性分析结果；
相似性度量方法包括平均绝对误差、均方误差、相对均方根误差、相对平均绝对误差、夹角余弦、皮尔曼相关系数、灰色关联分析、Theil’s不等式系数法和切比雪夫距离；
步骤三：采用群组决策方法对步骤一数据样本集中的每组仿真时间序列和参考时间序列进行分析，获得每组仿真时间序列和参考时间序列的基于规则与知识的相似性评估等级；
步骤四：将步骤二得到的每组仿真时间序列和参考时间序列的客观相似性分析结果和步骤三得到的每组仿真时间序列和参考时间序列的基于知识与规则的相似性评估等级构成训练样本集，训练样本集表示为矩阵形式；
步骤五：采用非线性归一化方法对训练样本集进行归一化处理，得到归一化处理后的训练样本集；
步骤六：将归一化处理后的训练样本集中85％作为神经网络训练样本子集，剩余15％作为神经网络测试样本子集，将神经网络训练样本子集输入BP神经网络，利用误差反向传播算法对BP神经网络进行训练，得到训练好的BP神经网络；
步骤七：利用训练好的BP神经网络对有类标签的测试样本子集进行测试，若测试结果无法达到分析准确率的要求，则重新对BP神经网络的拓扑结构进行设计，重新执行步骤六，直到BP神经网络对有类标签的测试集测试结果的准确率达到分析准确率的要求为止。
2.根据权利要求1所述一种基于神经网络的复杂仿真模型验证方法，其特征在于：所述步骤二中平均绝对误差、均方误差、相对均方根误差、相对平均绝对误差、夹角余弦、皮尔曼相关系数、灰色关联分析、Theil’s不等式系数法和切比雪夫距离的具体表达式为：
(1)平均绝对误差方法计算公式为：
<mrow> <mi>M</mi> <mi>A</mi> <mi>E</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>|</mo> </mrow>
MAE为采用平均绝对误差对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；Qobs,i为仿真模型输出在第i个时刻点ti的数值，Qsim,i为真实物理系统验证输出在第i个时刻点ti的数值，N表示时间序列中数据的长度，共采集了N个时刻的数据；MAE取值范围最小值为0，最大值为+∞，最优值为0；最优值是指仿真时间序列与参考时间序列完全相同时，二者的计算结果；
(2)均方误差方法计算公式为：
<mrow> <mi>M</mi> <mi>S</mi> <mi>E</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
MSE为采用均方误差对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；MSE取值范围最小值为0，最大值为+∞，最优值为0；最优值是指仿真时间序列与参考时间序列完全相同时，二者的计算结果；
(3)相对平均绝对误差方法计算公式为：
<mrow> <mi>R</mi> <mi>M</mi> <mi>A</mi> <mi>E</mi> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>|</mo> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>|</mo> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mi>M</mi> <mi>A</mi> <mi>E</mi> </mrow> <mover> <mrow> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> </mrow> </msub> <mo>|</mo> </mrow> <mo>&amp;OverBar;</mo> </mover> </mfrac> </mrow>
RMAE为采用相对平均绝对误差对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；为真实物理系统输出时间序列绝对值的均值；RMAE取值范围最小值为0，最大值为+∞，最优值为0；最优值是指仿真时间序列与参考时间序列完全相同时，二者的计算结果；
(4)相对均方根误差方法计算公式为：
<mrow> <mi>R</mi> <mi>R</mi> <mi>M</mi> <mi>S</mi> <mi>E</mi> <mo>=</mo> <mfrac> <msup> <mrow> <mo>&amp;lsqb;</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> </mrow> <mn>0.5</mn> </msup> <mrow> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>|</mo> </mrow> </mfrac> </mrow>
RRMSE为采用相对均方根误差对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；RRMSE取值范围最小值为0，最大值为+∞，最优值为0；
(5)夹角余弦方法计算公式为：
<mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> </mrow> </msub> </mrow> <mrow> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> </mrow> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> </mrow> </msub> <mo>|</mo> </mrow> </mfrac> </mrow>
cosθ为采用夹角余弦对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；cosθ取值范围最小值为0，最大值为1，最优值为0；
(6)皮尔曼相关系数方法计算公式为：
<mrow> <mi>S</mi> <mi>c</mi> <mo>=</mo> <mfrac> <mrow> <mi>E</mi> <mo>&amp;lsqb;</mo> <mrow> <mo>(</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> </mrow> </msub> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> </mrow> </msub> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mrow> <msub> <mi>&amp;sigma;</mi> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> </mrow> </msub> </msub> <msub> <mi>&amp;sigma;</mi> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> </mrow> </msub> </msub> </mrow> </mfrac> </mrow>
Sc为采用皮尔曼相关系数对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；为仿真时间序列Qsim的均值，为参考时间序列Qobs的均值，为对仿真时间序列Qsim的方差，为参考时间序列Qobs的方差，E[x]表示中括号中的式子x期望；Sc取值范围最小值为-1，最大值为1，最优值为1；
(7)灰色关联分析法计算公式为：
<mrow> <mi>&amp;gamma;</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mfrac> <mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>N</mi> </munder> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>|</mo> <mo>+</mo> <mi>&amp;rho;</mi> <munder> <mi>max</mi> <mi>N</mi> </munder> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>|</mo> <mo>+</mo> <mi>&amp;rho;</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>N</mi> </munder> <mo>|</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>|</mo> </mrow> </mfrac> </mrow>
γ为采用灰色关联分析法对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；max[x]与min[x]分别为对x求最大值与最小值，ρ表示调节系数，取0～1；γ取值范围最小值为0，最大值为1，最优值为1；
(8)Theil’s不等式系数法计算公式为：
<mrow> <mi>&amp;tau;</mi> <mo>=</mo> <mfrac> <msqrt> <mrow> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mrow> <msqrt> <mrow> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msubsup> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> <mo>,</mo> <mi>i</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> <mo>+</mo> <msqrt> <mrow> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msubsup> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mo>,</mo> <mi>i</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> </mrow> </mfrac> </mrow>
τ为采用Theil’s不等式系数法对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；τ取值范围最小值为0，最大值为1，最优值为0；
(9)切比雪夫距离计算公式为：
Cheb＝max|Qobs-Qsim|
Cheb为采用切比雪夫距离对步骤一中数据样本集中的仿真数据和参考数据的相似性进行分析，获得的客观相似性分析结果；Cheb取值范围最小值为0，最大值为+∞，最优值为0。
3.根据权利要求2所述一种基于神经网络的复杂仿真模型验证方法，其特征在于：所述步骤三中采用群组决策方法对步骤一数据样本集中的每组仿真时间序列和参考时间序列进行分析，获得每组仿真时间序列和参考时间序列的基于规则与知识的相似性评估等级；具体过程为：
相似性程度与相似性评估等级对应关系采用如下描述的规则：
若SE,k(Qobs,Qsim)∈[0.9,1]，则SL,k(Qobs,Qsim)＝I
若SE,k(Qobs,Qsim)∈[0.8,0.9]，则SL,k(Qobs,Qsim)＝II
若SE,k(Qobs,Qsim)∈[0.7,0.8)，则SL,k(Qobs,Qsim)＝III
若SE,k(Qobs,Qsim)∈[0.6,0.7)，则SL,k(Qobs,Qsim)＝IV
若SE,k(Qobs,Qsim)∈[0,0.6)，则SL,k(Qobs,Qsim)＝V
SE,k(Qobs,Qsim)表示第k位数据分析人员或专家确定评定的仿真时间序列Qsim与参考时间序列Qobs的相似性程度，SL,k(Qobs,Qsim)表示第k位数据分析人员或专家评定的仿真时间序列Qsim与参考时间序列Qobs的相似性评估等级；
对P位数据分析人员或专家确定仿真时间序列和参考时间序列的相似性评估等级进行加权平均，获得每组仿真时间序列和参考时间序列的基于规则与知识的相似性评估等级；
<mrow> <msub> <mi>S</mi> <mrow> <mi>P</mi> <mi>L</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>F</mi> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mi>P</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>P</mi> </munderover> <msub> <mi>S</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>(</mo> <mrow> <msub> <mi>Q</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>s</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>Q</mi> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> </mrow> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
SPL(Qobs,Qsim)表示P位数据分析人员或专家对数据样本进行共同分析获得的每组仿真时间序列和参考时间序列的基于规则与知识的相似性等级，SL,k(Qobs,Qsim)表示第k位数据分析人员或专家评定的仿真时间序列和参考时间序列的相似性评估等级，F(x)表示对括号中的式子x进行四舍五入，取整数。
4.根据权利要求3所述一种基于神经网络的复杂仿真模型验证方法，其特征在于：所述第k位数据分析人员或专家评定的仿真时间序列Qsim与参考时间序列Qobs的相似性评估等级SL,k(Qobs,Qsim)的具体求解过程为：
(1)邀请P位数据分析人员或专家，每位数据分析人员或专家根据不同的数据样本组，选择一种相似性度量方法，根据相似性度量值得到相似性程度SE,k(Qobs,Qsim)；
(2)根据相似性程度SE,k(Qobs,Qsim)确定仿真时间序列和参考时间序列的相似性等级SL,k(Qobs,Qsim)。
5.根据权利要求4所述一种基于神经网络的复杂仿真模型验证方法，其特征在于：所述步骤四中将步骤二得到的每组仿真时间序列和参考时间序列的客观相似性分析结果和步骤三得到的每组仿真时间序列和参考时间序列的基于知识与规则的相似性评估等级构成训练样本集，训练样本集表示为矩阵形式；具体过程为：
对M组仿真时间序列和参考时间序列分别进行步骤二与步骤三的分析，则构成M个训练样本，M个训练样本构成如下矩阵：
其中Vij表示第i个数据样本采用第j种相似性度量方法获得的相似性分析结果，SiPL表示群组决策获得的第i个数据数据样本的相似性评估等级，即有类标签的第i个数据样本；1≤i≤M。
6.根据权利要求5所述一种基于神经网络的复杂仿真模型验证方法，其特征在于：所述步骤五中采用非线性归一化方法对训练样本集进行归一化处理，得到归一化处理后的训练样本集；
非线性归一化方法如下所示：
<mrow> <msub> <mi>Q</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>-</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mi>&amp;alpha;</mi> <mi>Q</mi> </mrow> </msup> <mo>-</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;Q</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> </msup> </mrow> <mrow> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;Q</mi> <mi>max</mi> </msub> </mrow> </msup> <mo>-</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;Q</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> </msup> </mrow> </mfrac> </mrow>
式中，Qmin-max为采用归一化方法的处理结果，Q表示任意一个数据样本采用某一种相似性度量方法的相似性分析结果；Qmin为选取该相似性度量方法对所有数据样本相似性分析结果的最小值，Qmax为选取该相似性度量方法对所有数据样本相似性分析结果的最大值，α为调节系数。
7.根据权利要求6所述一种基于神经网络的复杂仿真模型验证方法，其特征在于：所述α取0-200。
CN201711038908.1A 2017-10-31 2017-10-31 一种基于神经网络的复杂仿真模型验证方法 Active CN107766668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711038908.1A CN107766668B (zh) 2017-10-31 2017-10-31 一种基于神经网络的复杂仿真模型验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711038908.1A CN107766668B (zh) 2017-10-31 2017-10-31 一种基于神经网络的复杂仿真模型验证方法

Publications (2)

Publication Number Publication Date
CN107766668A true CN107766668A (zh) 2018-03-06
CN107766668B CN107766668B (zh) 2020-05-15

Family

ID=61270095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711038908.1A Active CN107766668B (zh) 2017-10-31 2017-10-31 一种基于神经网络的复杂仿真模型验证方法

Country Status (1)

Country Link
CN (1) CN107766668B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108609202A (zh) * 2018-06-15 2018-10-02 广州博进信息技术有限公司 飞行颠簸预测模型建立方法、预测方法及系统
CN110119097A (zh) * 2019-04-08 2019-08-13 上海机电工程研究所 武器系统半实物仿真数据相似性检验方法
CN110245443A (zh) * 2019-06-21 2019-09-17 中国人民解放军63892部队 一种基于映射函数的多类型输出仿真模型可信度综合评估方法
CN111209709A (zh) * 2019-12-24 2020-05-29 国网浙江省电力有限公司金华供电公司 一种基于人工神经网络的pcm阻值预测方法
CN111553375A (zh) * 2019-02-08 2020-08-18 Sap欧洲公司 使用变换以验证计算机视觉质量
CN111581764A (zh) * 2019-02-18 2020-08-25 中国科学院深圳先进技术研究院 一种模型精度评价方法
CN112288394A (zh) * 2020-10-29 2021-01-29 中国民用航空总局第二研究所 管制员排班试验验证系统
CN113673031A (zh) * 2021-08-11 2021-11-19 中国科学院力学研究所 应变响应与深度学习融合的柔性飞艇服役攻角识别方法
CN113887125A (zh) * 2021-08-31 2022-01-04 哈尔滨工业大学 一种复杂仿真系统运行有效性评估方法
CN113887125B (zh) * 2021-08-31 2024-06-04 哈尔滨工业大学 一种复杂仿真系统运行有效性评估方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615810A (zh) * 2015-01-20 2015-05-13 北京航空航天大学 一种基于函数型数据分析的仿真模型验证方法
US20160357889A1 (en) * 2015-06-04 2016-12-08 Synopsys, Inc. Simulation modeling frameworks for controller designs
US20160364645A1 (en) * 2015-06-12 2016-12-15 Xerox Corporation Learning mobility user choice and demand models from public transport fare collection data
CN107038306A (zh) * 2017-04-14 2017-08-11 哈尔滨工业大学 一种基于自适应遗传算法的最优拉丁超立方试验设计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615810A (zh) * 2015-01-20 2015-05-13 北京航空航天大学 一种基于函数型数据分析的仿真模型验证方法
US20160357889A1 (en) * 2015-06-04 2016-12-08 Synopsys, Inc. Simulation modeling frameworks for controller designs
US20160364645A1 (en) * 2015-06-12 2016-12-15 Xerox Corporation Learning mobility user choice and demand models from public transport fare collection data
CN107038306A (zh) * 2017-04-14 2017-08-11 哈尔滨工业大学 一种基于自适应遗传算法的最优拉丁超立方试验设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李刚 等: "基于神经网络的复杂仿真系统验证方法", 《计算机仿真》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108609202A (zh) * 2018-06-15 2018-10-02 广州博进信息技术有限公司 飞行颠簸预测模型建立方法、预测方法及系统
CN111553375B (zh) * 2019-02-08 2024-04-05 Sap欧洲公司 使用变换以验证计算机视觉质量
CN111553375A (zh) * 2019-02-08 2020-08-18 Sap欧洲公司 使用变换以验证计算机视觉质量
CN111581764A (zh) * 2019-02-18 2020-08-25 中国科学院深圳先进技术研究院 一种模型精度评价方法
CN110119097B (zh) * 2019-04-08 2021-08-17 上海机电工程研究所 武器系统半实物仿真数据相似性检验方法
CN110119097A (zh) * 2019-04-08 2019-08-13 上海机电工程研究所 武器系统半实物仿真数据相似性检验方法
CN110245443B (zh) * 2019-06-21 2023-08-18 中国人民解放军63892部队 一种基于映射函数的导弹仿真模型可信度综合评估方法
CN110245443A (zh) * 2019-06-21 2019-09-17 中国人民解放军63892部队 一种基于映射函数的多类型输出仿真模型可信度综合评估方法
CN111209709B (zh) * 2019-12-24 2023-08-29 国网浙江省电力有限公司金华供电公司 一种基于人工神经网络的pcm阻值预测方法
CN111209709A (zh) * 2019-12-24 2020-05-29 国网浙江省电力有限公司金华供电公司 一种基于人工神经网络的pcm阻值预测方法
CN112288394A (zh) * 2020-10-29 2021-01-29 中国民用航空总局第二研究所 管制员排班试验验证系统
CN112288394B (zh) * 2020-10-29 2024-04-19 中国民用航空总局第二研究所 管制员排班试验验证系统
CN113673031A (zh) * 2021-08-11 2021-11-19 中国科学院力学研究所 应变响应与深度学习融合的柔性飞艇服役攻角识别方法
CN113673031B (zh) * 2021-08-11 2024-04-12 中国科学院力学研究所 应变响应与深度学习融合的柔性飞艇服役攻角识别方法
CN113887125A (zh) * 2021-08-31 2022-01-04 哈尔滨工业大学 一种复杂仿真系统运行有效性评估方法
CN113887125B (zh) * 2021-08-31 2024-06-04 哈尔滨工业大学 一种复杂仿真系统运行有效性评估方法

Also Published As

Publication number Publication date
CN107766668B (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN107766668A (zh) 一种基于神经网络的复杂仿真模型验证方法
CN104712542B (zh) 一种基于物联网的往复压缩机敏感特征提取与故障诊断方法
CN102496069B (zh) 基于模糊层次分析法的电缆多状态安全运行评估方法
CN106355151A (zh) 一种基于深度置信网络的三维sar图像目标识别方法
CN107463094A (zh) 一种不确定信息下多无人机空战动态博弈方法
CN107247259A (zh) 基于神经网络的k分布海杂波形状参数估计方法
CN104215935B (zh) 一种基于决策加权融合的雷达炮弹目标识别方法
CN106295153A (zh) 一种基于孪生支持向量机的航空发动机气路故障诊断方法
CN107909206A (zh) 一种基于深层结构循环神经网络的pm2.5预测方法
CN103778441B (zh) 一种基于DSmT和HMM的序列飞机目标识别方法
CN103984936A (zh) 用于三维动态目标识别的多传感器多特征融合识别方法
CN110245443A (zh) 一种基于映射函数的多类型输出仿真模型可信度综合评估方法
CN106022287A (zh) 一种基于深度学习与字典表示的跨年龄人脸验证方法
CN106197886A (zh) 液压缸内泄漏故障诊断评估方法
CN106227718A (zh) 基于cnn的陆空通话语义一致性校验方法
CN108108887A (zh) 一种基于多维数据的物联网旅游出行指数的智能评估模型
CN107832982A (zh) 一种基于大数据旅游出行评估模型区域适旅指数计算方法
CN105893947A (zh) 基于多局部相关特征学习的两视角人脸识别方法
CN107832789A (zh) 基于平均影响值数据变换的特征加权k近邻故障诊断方法
CN105956798A (zh) 一种基于稀疏随机森林的配网设备运行状态评估方法
CN102968553B (zh) 一种飞行器着陆风险评测方法
CN108229557A (zh) 一种具有标签的神经网络的加速训练方法及系统
CN107064177A (zh) 基于自适应模糊推理的超宽带土壤信号含水量识别方法
CN110988263B (zh) 一种基于改进的Stacking模型的车辆尾气浓度估计方法
CN103150476B (zh) 一种基于数据站场的系统效能评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant