CN103150476B - 一种基于数据站场的系统效能评估方法 - Google Patents

Abstract

本发明公开了一种基于数据站场的系统效能评估方法，属于仿真技术领域。该方法步骤为：1、分析待评价系统的各项性能指标；针对不同系统设计方案，由各子系统中获得各性能指标的仿真数据；2、为每个系统设计方案下的每个子系统均构建一个信息矩阵，将属于同一子系统和同一系统设计方案的仿真数据放入对应的信息矩阵中，同时信息矩阵中还存储子系统属性和方案属性；建立信息矩阵的检索目录；3、建立评估方法集合；根据检索目录从矩阵中检索出各性能指标的仿真数据，使用评估方法集合中的各评估方法分别进行评估，设定评估方法集合中各评估方法的权重，将各评估方法对应的评估结果加权组合获得最终系统评估结果。本发明适用于对系统效能进行动态评估。

Description

一种基于数据站场的系统效能评估方法

技术领域

本发明属于仿真技术领域，具体涉及一种基于数据站场的系统效能评估方法。

背景技术

在军事领域，现代化的武器系统具有研制投资大、周期长、训练和演习花费巨大等特点，为缩短研制周期、减少研制经费，可以通过系统效能评估分析来为武器系统研制和设计过程提出最佳理论指导。

当各系统或子系统采用不同的分配部署时，会产生不同的系统设计方案。系统效能评估就是对系统设计方案的评估分析。通过进行系统效能评估，可以协调系统的各项性能指标，优选系统设计方案。

在常规系统效能评估方法中，在对火控系统进行评估时，需要先建立系统指标体系。如图2所示，对于火控系统，基于信息流程的划分，系统效能应该包含四个子效能，即信息获取效能、信息处理效能、信息利用效能、信息保障效能，每个子效能又由多个反映该效能的能力表征组成，每个能力表征由1个或多个性能指标来反映，从而形成了系统指标体系。其中，系统指标体系中各性能指标的仿真数据通过当前方案下的火控系统仿真系统得到，根据其所反映的能力表征进行分类，因此各仿真数据之间并不独立。对于当前方案，在进行系统评估时，所需评价的系统效能、子效能或者能力表征应为指标体系中已列出的各效能与能力表征，根据效能——子效能——能力表征——性能指标的关系，直接将对应性能指标的仿真数据选出，采用诸如模糊综合评价法、效用函数法、灰色白化函数法等评价方法可以获得评估结果。

在实际中可能涉及对于指标体系中未列出的效能与能力表征进行评估，其也可能由指标体系中的性能指标所反映，例如对于图2示出的火控系统，想评价系统的时效性，指标主要包含系统反应时间和网络传输时延等，在图2的指标体系中相应的性能指标分散在各个能力表征中，评估时，则首先需要找到各性能指标所属的能力表征，再查找、提取相应性能指标的仿真数据，可见仿真数据依赖于其固有分类，缺乏独立性，系统评估不够灵活。

目前，随着科技现代化的脚步逐渐加快，武器系统的规模越来越大，其通常由多个子系统组成。例如图1示出的火控系统，其包括9个子系统，分别为目标生成子系统、预警子系统、火控子系统、火控网中心子系统、火力子系统、环境信息子系统、仿真综合管理子系统、方预案生成子系统以及效能评估子系统。对于由多个子系统组成的武器系统，在对其进行系统效能评估时，就有了对子系统的评估的必要，而指标体系的建立如果不是按照子系统性能加以分解的，而是按照系统性能分解时，则所有性能指标是分散在各子系统中的，例如，目标捕获能力对应的预警时间和平均发现目标概率分别来自预警子系统和目标子系统。如果希望对某个子系统进行效能评估，却无法获知各性能指标的仿真数据的子系统来源，则不能直接利用已建立的指标体系结构获得与该子系统相关的所有性能指标。

可见提出一种能够满足上述动态评估的系统评价方法对于复杂系统的效能评估意义重大。

发明内容

有鉴于此，本发明目的是提供一种基于数据站场的系统效能评估方法，使用该方法能够突破指标体系中的效能或者能力的限制，对系统进行更灵活的评估；同时可以评估各子系统的效能。

为达到上述目的，本发明的技术方案包括如下步骤：

步骤1、对于待评价系统，根据系统的功能，分析系统的各项性能指标；以不同的系统设计方案进行系统分配部署并进行系统仿真；针对每个系统设计方案，由各子系统中获得各性能指标的仿真数据；

步骤2、为每个系统设计方案下的每个子系统均构建一个信息矩阵，根据步骤1获得的所有仿真数据按照子系统和系统设计方案来源，将属于同一子系统和同一系统设计方案的仿真数据放入对应的信息矩阵中，同时信息矩阵中还存储子系统属性数据和方案属性数据；并建立信息矩阵的检索目录；

步骤3、建立评估方法集合；当评价子系统效能时，根据检索目录从子系统对应的信息矩阵中检索出各性能指标的仿真数据；当评价任意系统效能时，选取反映该系统效能的性能指标，根据检索目录从信息矩阵中检索出选取的各性能指标的仿真数据；

然后，使用评估方法集合中的各评估方法针对所找到的各性能指标的仿真数据进行计算，得到各评估方法对应的评估结果，设定评估方法集合中各评估方法的权重，将各评估方法对应的评估结果加权组合获得最终系统评估结果。

进一步地，上述步骤2中，信息矩阵的构建方法为：

对于第i个系统设计方案，假设第j个子系统包括属性集其中指使用第i个系统设计方案的第j个子系统的属性集合，集合中的分别表示子系统的t个属性取值，第i个系统设计方案的第j个子系统的性能指标的仿真数据集合其中表示第一个性能指标的仿真数据，共有s种取值，表示第二个性能指标的仿真数据，

共有s种取值，若性能指标的仿真数据不足s种取值，则使用其所有取值的平均值进行补充，以此类推，该集合包含了n个性能指标的仿真数据；对和进行行匹配列合并运算，得：

第i个系统设计方案的属性集用矩阵表示为其中pⁱ指第i个系统设计方案的属性集，集合中的分别表示第i个系统设计方案的m个属性取值，将pⁱ与式（1）进行行匹配列合并运算，得：

式（2）记为第i个系统设计方案下第j个子系统的信息矩阵。

进一步地，对于步骤2获得的信息矩阵，建立检索目录，该检索目录记录了每个性能指标在哪个信息矩阵中的哪一行，以及各信息矩阵与子系统和系统设计方案的对应关系；

步骤3中，当评价任意系统效能时，根据检索目录从信息矩阵中提取整行的信息；

步骤3中，当评价子系统效能时，根据检索目录获取待评估子系统的整个信息矩阵，从信息矩阵中提取信息。

进一步地，步骤3中的各评估方法的权重设定方法为：

设评估方法集合中有b种评估方法，第i种评估方法的漂移度为p_i，

i＝1,2,…,b，则第i种评估方法的权重为，

${\mathrm{\ω}}_i=\frac{\underset{1\≤i\≤b}{\max }{p}_i+\underset{1\≤i\≤b}{\min }{p}_i-p_i}{\underset{i=1}{\overset{b}{\mathrm{\Σ}}}(\underset{1\≤i\≤b}{\max }{p}_i+\underset{1\≤i\≤b}{\min }{p}_i-p_i)}$

其中，max表示取最大值，min表示取最小值。

进一步地，步骤2中对建立的每个信息矩阵进行剔除奇异值与无用值的操作。

有益效果：

1、本发明提出了一种基于数据站场的系统效能评估方法，针对现阶段系统效能评估时只能对所划指标体系中的固有效能与能力进行评估的缺陷，通过依据系统评价指标建立数据站场立方体模型，立方体中的仿真数据具有方案号以及所属子系统的标记，这使得仿真数据独立性提高，方便单独提取各指标仿真的仿真数据，这样不仅能够针对所划指标体系中没有的效能或者能力进行评估，同时可以评价各子系统的效能，实现了系统的动态评估。

2、本发明在构建了系统评估数据站场立方体模型的基础上，通过选取相应的评估方法，并提出了基于漂移度的权重整合思想，从而实现了系统效能的动态评估，评估可以根据不同需求、不同层面进行，使得评估决策更灵活更有意义。

附图说明

图1火控系统的子系统示意图；

图2火控系统指标体系；

图3数据站场立方体构建流程

图4数据站场立方体形象示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明是按照以下技术方案实现的：一种基于数据站场的系统效能评估方法，具体步骤为：

步骤1、对于待评价系统，根据系统的功能，分析系统的各项性能指标；以不同的系统设计方案（以下简称方案）进行系统分配部署并进行系统仿真；针对每个方案，由各子系统中获得各性能指标的仿真数据。

本步骤中，根据系统功能分析出的性能指标尽量覆盖全面，分析出的性能指标适用于各种系统设计方案。对于图1示出的火控系统，本步骤会分析出图2最右侧一竖行的各项性能指标。

步骤2、针对每个子系统的每种方案均构建一个信息矩阵，根据步骤1获得的所有仿真数据按照子系统和方案来源，将属于同一子系统和同一方案的仿真数据放入对应的信息矩阵中，同时信息矩阵中还存储子系统属性数据和方案属性数据。对所建立的每个信息矩阵进行剔除奇异值与无用值的操作，并建立信息矩阵的检索目录。

所有信息矩阵建立完毕后，将第i个方案关于所有子系统的信息矩阵组合，进而得出第i个方案关于整个系统的信息矩阵；组合每个方案的关于整个系统的矩阵获得形象如图4所示的数据站场立方体。这里所述的“组合”并非将小矩阵组成大矩阵，而是为了形象化的体现数据站场立方体而进行的虚拟组合。在图4中，对于方案i的信息矩阵Pⁱ，其中各子系统相关指标的仿真数据形象地化作图中正方体小方块，可以看出在该数据站场立方体中，由于各指标的仿真数据具有方案属性数据以及子系统属性数据，因此用户可根据需要找到各指标仿真，这样不仅能够针对所划指标体系中没有的效能或者能力进行评估，同时可以评价各子系统的效能。

本步骤中，所建立的每个信息矩阵进行剔除奇异值与无用值的操作可以采用现有的矩阵求精方法。由于上述获得的信息矩阵数据容量极为庞大，它包含了许多无用数据，因此本实施例中对上述构建的信息矩阵进行了数据求精操作，目的是降低数据站场的维度，减小站场立方体的规模。

在本实施例中针对火控系统仿真数据矩阵，可以采用投影变换与选择变换对信息矩阵进行冗余数据清洗处理，任意矩阵通过上述两种变换形式都可以进行精简，投影变换使得矩阵列规模减少，而选择变换使得矩阵行规模减少。在实际的处理中，使用剔除奇异值与无用值的各类矩阵处理方法均可以使用。

步骤3、系统评估：在进行系统评估时，首先建立包括多种评估方法的评估方法集合，然后确定所需评价的系统效能或者子系统效能。当评价子系统效能时，根据检索目标从子系统对应的信息矩阵中检索出各性能指标的仿真数据；当评价任意系统效能时，选取反映该系统效能的性能指标，根据检索目标从信息矩阵中检索出选取的各性能指标的仿真数据。

然后，使用评估方法集合中的各评估方法针对所找到的各性能指标的仿真数据进行计算，得到各评估方法对应的评估结果，设定评估方法集合中各评估方法的权重，将各评估方法对应的评估结果加权组合获得最终系统评估结果。

本步骤在进行系统评估时采用了组合评价模型，评估方法集合可以采用模糊综合评价方法、效用函数方法、灰色白化函数法三种方法相结合的形式来对系统性能进行客观全面的评估，组合评估模型能够弥补了单一评估方法的过于主观或者客观的缺点，又能更好的根据不同方法评价结果反映出系统的真实性能。在实际应用时，以各评估方法针对系统效能的适用程度来设定各评估方法的权重。

本实施例采用了基于漂移度的组合评价模型，具体为：计算各评估方法的漂移度，设方法集中有b种评估方法，第i种评价方法的漂移度为p_i，则第i种评估方法权重为：

${\mathrm{\ω}}_i=\frac{\underset{1\≤i\≤b}{\max }{p}_i+\underset{1\≤i\≤b}{\min }{p}_i-p_i}{\underset{i=1}{\overset{b}{\mathrm{\Σ}}}(\underset{1\≤i\≤b}{\max }{p}_i+\underset{1\≤i\≤b}{\min }{p}_i-p_i)}(i=\mathrm{1,2},...,b)---\left(3\right)$

最后通过加权得出系统评估结果。

其中漂移度的计算如下：由于各评估方法的评估结果的表达可能为等级或者数值的形式，为能够使表达形式统一，将各评估结果进行数值化和标准化处理，并计算评估结果的平均值为最终评估结果，将该最终评估结果作为各种方法评价结论漂移性测度的参照系，计算数值化和标准化处理后的各评估方法的评估结果与最终评估结果的相关系数r，其中相关系数的计算是以单一评估结果的不同样本数据计算不同的最终评价结果、然后依据现有的统计学相关系数计算方法得出r，漂移度p=1-r；漂移度p的大小表征了评估方法对最终评估结果的影响力度，漂移度大的评估方法影响力度较小，因此赋予较小的权重，漂移度较小的评估方法影响力度较大，因此赋予较大的权重。

上述公式（3）是在管理学领域应用较广泛的评估方法权重的计算公式，经实验验证，使用该公式得出的组合评价结果的优势是：该结果较其他组合评价模型得到的结果更为可靠，且与客观实际更加相符合。由于在本实施例中的系统评估中，同样存在不同的评估方法，不同评估方法对于最终评估结果的影响力度各个不同，也存在相对于标准化参照系的漂移度的问题，因此将管理学领域的评估方法权重公式应用到本发明中是可行的，而且经过实验验证，这种组合评价模型的优势依然存在。

至此，本流程结束。

在上述流程中，针对步骤2中的信息矩阵：每个子系统可能包含诸多属性项，其中一些属性项可能仅仅有一个取值，例如子系统的名称（可以序号表示）、材料（同样可以序号表示）、质量和体积等属性，其取值唯一，则称该类属性为单值属性，单值属性的取值记为单值属性数据；而另一些属性项又可能有两个或者两个以上的数据取值，例如各类仿真结果数据、运算数据、探测数据等，此类属性为多值属性，多值属性的取值记为多值属性数据，在子系统中，多值属性数据为每个子系统在各方案的仿真过程中获得的性能指标的仿真数据。对于仿真方案来说，其同样包单值属性以及多值属性，单值属性为方案号、仿真时间、有无优化部署（以0或者1表示）和有无优化分配（以0或者1表示）等。

为了在从信息矩阵中提取多值属性时，方便地将效能估计所需的单值属性也一并提取出来。本实施例给出了一种较佳的信息矩阵建立方式，即采用行匹配列合并运算来建立信息矩阵。具体来说，信息矩阵的建立过程如下：

仿真系统采用第i个方案，假设第j个子系统包括单值属性数据集其中指使用第i个方案所获得的第j个子系统的单值属性数据集合，使用集合中的分别子系统的名称（可以序号表示）、材料（同样可以序号表示）、质量和体积等t个属性，第i个方案所获得的第j个子系统的多值属性数据集合该集合即各性能指标的仿真数据集合，表示第一个性能指标的仿真数据，共有s种取值，表示第二个性能指标的仿真数据，共有s种取值，以此类推，该集合包含了n类多值属性数据，即该子系统包括n个性能指标。若某类性能指标的仿真数据不足s种取值，则使用其所有取值的平均值进行补充。

对进行行匹配列合并运算，得：

第i个方案的单值属性数据的集合可用矩阵表示为其中pⁱ指第i个方案的单值属性数据集合，集合中的分别表示方案号、仿真时间、有无优化部署（以0或者1表示）和有无优化分配（以0或者1表示）等m个属性，则第i个方案的单值属性加入到使用第i个方案时，第j个子系统的矩阵中使用行匹配列合并运算，获得如下：

式（2）记为第i个方案关于第j个子系统的信息矩阵。

同理获得第i个方案关于所有子系统的信息矩阵，将第i个方案关于所有子系统的信息矩阵组合，进而得出第i个方案关于整个系统的信息矩阵。

根据上述方法，构建每个方案关于整个系统的信息矩阵，合并各方案的信息矩阵构建数据站场立方体。

通过上述过程所建立的信息矩阵中虽然存在大量冗余信息，但它每一行都是完整的，每一行性能指标的仿真数据均具有其子系统属性数据和方案属性数据，这大大降低了数据间的依赖性，以方便各性能指标的单独提取和使用。

那么在使用这种信息矩阵时，首先建立检索目录。建立方式可以为：检索目录记录每个性能指标在哪个信息矩阵中的哪一行，以及各信息矩阵与子系统和系统设计方案的对应关系。

当评价子系统效能时，根据检索目录获取待评估子系统的整个信息矩阵，从信息矩阵中提取信息。提取时，可以提取某个方案的信息矩阵，或者提取全部方案的信息矩阵，从而进行方案效能评估和比较。

当评价任意系统效能时，选取反映该系统效能的性能指标，根据检索目录从信息矩阵中提取该性能指标对应的整行信息。整行信息中包含仿真数据、方案属性数据和子系统属性数据，从而满足效能评估时对数据的需求。

可见，本发明能满足不同层面、不同角度的系统分析需求，能更灵活地像“搭积木”的形式构建数据评估指标模型。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于数据站场的系统效能评估方法，其特征在于，具体步骤为：

步骤1、对于待评价系统，根据系统的功能，分析系统的各项性能指标；以不同的系统设计方案进行系统分配部署并进行系统仿真；针对每个系统设计方案，由各子系统中获得各性能指标的仿真数据；

步骤2、为每个系统设计方案下的每个子系统均构建一个信息矩阵，根据步骤1获得的所有仿真数据按照子系统和系统设计方案来源，将属于同一子系统和同一系统设计方案的仿真数据放入对应的信息矩阵中，同时信息矩阵中还存储子系统属性数据和方案属性数据；所有信息矩阵建立完毕后，基于矩阵求精方法求出每个信息矩阵进行剔除奇异值与无用值的操作，并建立信息矩阵的检索目录；

所述步骤2中，信息矩阵的构建方法为：

对于第i个系统设计方案，假设第j个子系统包括属性数据集其中指使用第i个系统设计方案的第j个子系统的属性数据集合，集合中的分别表示子系统的t个属性数据取值，第i个系统设计方案下的第j个子系统的性能指标的仿真数据的集合表示为其中第一行表示第一个性能指标的仿真数据，共有s种取值，表示第二个性能指标的仿真数据，共有s种取值，若性能指标的仿真数据不足s种取值，则使用其所有取值的平均值进行补充，以此类推，该集合包含了n个性能指标的仿真数据；对和进行行匹配列合并运算，得：

第i个系统设计方案的属性数据集用矩阵表示为其中pⁱ指第i个系统设计方案的属性数据集，集合中的分别表示第i个系统设计方案的m个属性数据取值，将pⁱ与式(1)进行行匹配列合并运算，得：

式(2)记为第i个系统设计方案下第j个子系统的信息矩阵；

该方法包括：建立检索目录，该检索目录记录了每个性能指标在哪个信息矩阵中的哪一行，以及各信息矩阵与子系统和系统设计方案的对应关系；当评价任意系统效能时，根据检索目录从信息矩阵中提取整行的信息；当评价子系统效能时，根据检索目录获取待评估子系统的整个信息矩阵，从信息矩阵中提取信息；

步骤3、建立评估方法集合；当评价子系统效能时，根据检索目录从子系统对应的信息矩阵中检索出各性能指标的仿真数据；当评价任意系统效能时，选取反映该系统效能的性能指标，根据检索目录从信息矩阵中检索出选取的各性能指标的仿真数据；

然后，使用评估方法集合中的各评估方法针对所找到的各性能指标的仿真数据进行计算，得到各评估方法对应的评估结果，设定评估方法集合中各评估方法的权重，将各评估方法对应的评估结果加权组合获得最终系统评估结果；

所述步骤3中的各评估方法的权重设定方法为：

设评估方法集合中有b种评估方法，第i种评估方法的漂移度为p_i，i＝1,2,…,b，则第i种评估方法的权重为，

${\mathrm{\ω}}_i=\frac{\underset{1\≤i\≤b}{max}{p}_i+\underset{1\≤i\≤b}{min}{p}_i-p_i}{\underset{i=1}{\overset{b}{\Σ}}(\underset{1\≤i\≤b}{max}{p}_i+\underset{1\≤i\≤b}{min}{p}_i-p_i)}$

其中，max表示取最大值，min表示取最小值。