CN117215848A

CN117215848A - 一种飞机测试数据分析模型的评价指标体系与优化方法

Info

Publication number: CN117215848A
Application number: CN202311183040.XA
Authority: CN
Inventors: 向胜华; 莫文静; 董静怡; 宋宇晨; 任毅; 王强开; 吴晓华
Original assignee: Chengdu Aircraft Industrial Group Co Ltd; Harbin Institute of Technology Shenzhen
Current assignee: Chengdu Aircraft Industrial Group Co Ltd; Harbin Institute of Technology Shenzhen
Priority date: 2023-09-14
Filing date: 2023-09-14
Publication date: 2023-12-12

Abstract

本发明公开了一种飞机测试数据分析模型的评价指标体系与优化方法，属于数据分析技术领域，所述的评价指标体系包括模型数据评估、模型性能评估和模型适用性评估。评价指标体系的优化方法包括：确定各评价指标及其量化值；对不同单位和量纲的评价指标进行归一化处理；通过判定模型贡献度的方法自动分析计算每个评价指标的权重；为每个目标分配权重，计算综合性飞机测试数据分析模型的评价指标。本发明建立的评价指标体系及优化方法可以在不同指标之间进行权衡，找到一个平衡的解决方案，能够更好地满足现实问题中的多种需求和限制，加强评价指标体系的可解释性，综合性的评估模型质量。

Description

一种飞机测试数据分析模型的评价指标体系与优化方法

技术领域

本发明涉及数据分析领域，具体涉及一种飞机测试数据分析模型的评价指标体系与优化方法。

背景技术

飞机测试数据分析结果是评价飞机各传感器精度在飞行状态下是否符合规范的重要依据。为尽可能全面地挖掘飞机测试数据中的信息，目前已积累了较多飞机测试数据分析模型，大体上可分为用于实现分类和回归两大类。模型的质量将会较大程度上影响数据分析结果，影响后续科研或生产工作的质量与效率，为避免由于模型质量差而导致的种种负面影响，构建一套飞机测试数据分析模型的评价指标体系以帮助相关工作人员公正、有效、正确的评价模型是非常有必要的。

目前，对于工业大数据分析模型的评价多侧重于采用ROC曲线、CH指数、确定系数等指标对模型准确性进行分析，评价指标较为单一。如公开号为CN113095680A，公开日为2021年07月09日，名称为电力大数据模型的评价指标体系与构建方法，其技术方案为：本申请提供了一种电力大数据模型的评价指标体系与构建方法。该评价指标体系包括多个一级评价维度，一部分一级评价维度下包括多个二级评价标签，各二级评价标签下包括多个三级评价因子，另一部分一级评价维度下包括多个三级评价因子。采用本方案建立的评价指标体系选取典型的菜单式指标体系架构，共有三层指标，评价指标体系评价因素比较丰富，采用本方案的评价指标体系对现有的电力大数据模型进行评价，更能准确地评价电力大数据模型的优劣。

上述方案评价指标单一，指标体系的可解释性不强，综合性的评估质量较低，不适用于飞机测试数据分析模型的质量评价领域。

发明内容

本发明旨在解决现有技术中存在的上述问题，提出一种飞机测试数据分析模型的评价指标体系与优化方法。

为了实现上述发明目的，本发明的技术方案如下：

一种飞机测试数据分析模型的评价指标体系，其特征在于，该评价指标体系包括模型数据评估、模型性能评估和模型适用性评估；

进一步的，模型数据评估包括数据的标准型和数据集成的自动性评估，数据的标准型包括数据范围符合度和数据类型符合度；数据集成的自动性是指模型具备的将来自不同来源的数据组合到一起的能力；

进一步的，模型性能评估包括模型正确性、模型运行能力和模型泛化能力的评估；模型正确性的评价指标为AUC和正确率；模型运行能力的评价指标包括模型运行用时，磁盘占用率、CPU占用率和内存占用率；模型泛化能力指标包括泛化误差值；

进一步的，模型适用性评估是指通过TOPSIS模型对评价对象与理想化目标的接近程度进行排序，以排序结果得到模型适用性的优劣。

进一步的，模型正确性评估是通过输入多组测试数据，将对应的AUC与正确率求均值，最终的精准性为AUC和正确率乘以各自权重再相加，再通过回归评价参数来衡量回归模型精准性。

进一步的，模型运行能力评估是通过选择多组测试数据，计算其磁盘占用率、CPU占用率和内存占用率，再用各指标得分乘以各自权重得到评价结果。

进一步的，泛化误差值等于偏差值加上方差值再加上噪声值，设在一个训练集D上模型f对测试样本x的预测输出为f(x；D)，那么模型对测试样本x的期望预测为：

预测与真实标记的误差称为偏差(bias)，即：

其中为输出结果，y为真实结果。

进一步的，所述的通过TOPSIS模型对评价对象与理想化目标的接近程度进行排序，以排序结果得到模型适用性的优劣包括：

1)指标同向化、标准化，并通过熵权法得到权重向量W及标准化矩阵P；

2)得到加权后的规范化矩阵Z，Z由P与W相乘后得到：

Z＝(z_ij)_n*m＝(p_ij*w_j)；

3)确定正、负理想解；

4)计算各样本距离正、负理想解的距离：

5)计算各评价对象与最优方案的贴近程度：

本发明还提供了一种飞机测试数据分析模型的评价指标体系优化方法，基于上述的一种飞机测试数据分析模型的评价指标体系，包括如下步骤：

确定各评价指标及其量化值；

对不同单位和量纲的评价指标进行归一化处理；

通过判定模型贡献度的方法自动分析计算每个评价指标的权重；

为每个目标分配权重，计算综合性飞机测试数据分析模型的评价指标。

进一步的，所述的通过判定模型贡献度的方法自动分析计算每个评价指标的权重包括：

将模型应用到N个飞行测试数据集中，得到N个样本的评价指标结果为：

其中D为指标数目，计算P的协方差矩阵R，其中，P^T为转置矩阵，公式如下：

计算R的特征向量矩阵M以及特征矩阵N，公式如下：

RM＝MN；

根据矩阵N和M，计算输入数据的贡献率Q_d作为各个评价指标的权重。

进一步的，输入数据的贡献率Q_d其计算公式如下：

进一步的，所述的为每个目标分配权重，计算综合性飞机测试数据分析模型的评价指标，其计算公式如下：

其中，a_d为第d个指标的归一化结果。

综上所述，本发明具有以下优点：

本发明提出了一种飞机测试数据分析模型的评价指标体系，通过模型数据评估、模型性能评估和模型适用性评估三个方面对飞机测试数据分析模型的数量进行评价。同时，本发明还针对该评价指标体系进行了多目标优化处理，在不同指标之间进行权衡，找到一个平衡的解决方案，能够更好地满足现实问题中的多种需求和限制，加强评价指标体系的可解释性，综合性的评估模型质量。

附图说明

图1为本发明飞机预测数据分析模型评价体系总体框架图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

领域专业人员可以根据指定场景的需求选取相应的指标评价模型质量，但是由于飞机测试数据的规模大，且需要保证飞机的安全性等特征，飞机测试数据分析模型的评价指标往往需要满足多个评价指标，在保证模型性能的基础上，也同样需要保证模型的效率和实时性。因此，针对飞机测试数据分类和回归模型，本发明构建了如图1所示的飞机测试数据分析模型评价指标体系。该评价体系分为模型数据评估、模型性能评估和模型适用性评估三大部分。

模型数据评估包括数据的标准性和数据集成的自动性，其中数据的标准性包括数据范围符合度和数据类型符合度，数据类型包括整型、浮点型、字符型和布尔型，数据范围与数据类型有关，数据类型的错误将会导致模型不能正常工作，按照模型输入数据类型与范围要求处理飞机测试数据并输入，观察能否使模型正常工作进行验证，评价结果为“合格”或“不合格”。数据集成的自动性是指模型具备的将来自不同来源的数据组合到一起的能力，飞机测试数据来自多个子系统携带的多种传感器，飞机测试数据分析需具备数据集成功能才能更全面地对数据进行分析，提高数据的可利用率，将来自多个传感器的测试数据输入模型，安装模型说明，将数据集成后，数据特征提取以及特征选择前的数据维度和前后十行数据进行输出，以确定模型是否具备自动数据集成的能力，评价结果为“合格”或“不合格”。

模型性能评估包括模型正确性、模型运行能力和模型泛化能力。

其中分类模型的正确性评价指标为AUC和准确率。AUC(Area Under Curve)被定义为ROC曲线下的面积。其中，ROC曲线全称为受试者工作特征曲线(receiver operatingcharacteristic curve)，它是根据一系列不同的二分类方式(分界值或决定阈)，以真阳性率(敏感性)为纵坐标，假阳性率(1-特异性)为横坐标绘制的曲线。由于ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好，该评价标准更客观。正确率同样为数值，为分类正确数与总数的比值乘以百分之百。输入多组测试数据对该模型准确性进行评估，将AUC与正确率求均值，最终的精准性为AUC和正确率乘以各自权重再相加，根据具体需要进行权重的设置。

通过回归评价参数—确定系数(R-square，R²)来衡量回归模型精准性，R²是统计学里常用的统计量，为回归平方和与总离差平方和的比值，表示总离差平方和中可以由回归平方和解释的比例，用于衡量模型预测值对于真值拟合的好坏程度，数值介于负无穷到一之间，理想状态下R²为1，工程中越接近1则拟合效果越好。计算公式见下式(4-1)。

其中，y为模型的真值，为模型的预测值，为整体真值数据的均值。

模型运行能力的评价指标包括模型运行用时，磁盘占用率、CPU占用率和内存占用率，选择多组测试数据进行测试，评价结果为各指标得分乘以各自权重，评分标准以及权重由具体需要而定。

模型泛化能力指标为泛化误差值，泛化误差值等于偏差值加上方差值再加上噪声，在一个训练集D上模型f对测试样本x的预测输出为f(x；D)，那么模型对测试样本x的期望预测为公式(4-2)：

偏差考察模型本身拟合能力，预测与真实标记的误差称为偏差(bias)，即:

其中为输出结果，y为真实结果。

输入测试数据噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，噪声代表的是数据质量为模型结果造成的影响，噪声值根据实际需要进行设置。

模型适用性依据TOPSIS(Technique for Order Preference by Similarity toan Ideal Solution)模型进行判断，中文叫做“逼近理想解排序方法”，是根据评价对象与理想化目标的接近程度进行排序的方法，是一种距离综合评价方法。基本思路是通过假定正、负理想解，测算各样本与正、负理想解的距离，得到其与理想方案的相对贴近度(即距离正理想解越近同时距离负理想解越远)，进行各评价对象的优劣排序。具体步骤如下：

(1)将各评价指标同向化、标准化并得到权重。这部分与熵权法结合，通过熵权法得到各个评价指标的权重，同时避免主观因素影响，得到权重向量W及标准化矩阵P。

(2)得到加权后的规范化矩阵Z，Z由P与W相乘后得到：

Z＝(z_ij)_n*m＝(p_ij*w_j)； (4-4)

其中，n为规范化矩阵Z的行数，m为规范化矩阵Z的列数，z_ij为规范化矩阵Z的第i行、第j列的值，p_ij为标准化矩阵P的第i行、第j列的值，w_j表示权重向量W的第j个权重值。

(3)确定正、负理想解。正理想解指各指标都达到样本中最好的值，负理想解指各指标都为样本中最差的值。

(4)计算各样本距离正、负理想解的距离。

n为样本数量。(4-5)

(5)计算各评价对象与最优方案的贴近程度。正其中的取值范围为[0,1]，越接近1表明样本评分越好。

该飞机预测数据分析模型评价体系总体框架如图1所示。

然而，飞机测试数据分析模型的评价指标往往是相互矛盾的。例如，提高准确度(模型性能)可能会导致降低效率(运行能力)。本专利设计了一种飞机测试数据分析模型的评价指标体系的多目标优化方法，可以在不同指标之间进行权衡，找到一个平衡的解决方案，能够更好地满足现实问题中的多种需求和限制，加强评价指标体系的可解释性，综合性的评估模型质量。具体实施方案步骤如下：

(1)确定指标及其量化值：首先根据飞行测试数据分析的场景需要确定待评价的指标以及各指标的量化值，即对指标进行度量和计算。

(2)归一化指标：对于不同单位和量纲的指标，需要进行归一化处理，将其转化为无量纲指标或相对数值，以便进行比较。

(3)计算每个指标的权重：评价指标的重要性程度影响着对模型评价的结果，因此，设计一种通过判定模型贡献度的方法自动分析各个指标的权重。

首先，将模型应用到N个飞行测试数据集中，得到N个样本的评价指标结果为：

计算R的特征向量矩阵M以及特征矩阵N，公式如下：

RM＝MN； (4-9)

根据矩阵N和M，计算输入数据的贡献率Q_d作为各个指标的权重。其计算公式如下：

(4)为每个目标分配权重，计算综合性飞机测试数据分析模型的评价指标，即：

其中，a_d为第d个指标的归一化结果。得分越大，模型质量越高。

本发明通过建立的上述评价指标体系，能够全方位多角度的对飞机测试数据分析模型的模型数据、模型性能以及模型的适用性进行评估，所述的评价指标客观且有可信度。

实施例1

选择某飞机飞行数据回归模型进行验证，根据标注选择合适的数据作为输入，验证模型的数据标准性，经验证，数据范围与类型均与标注相符合，模型具备自动集成能力。

将真实飞行数据处理为相应格式输入模型验证模型性能，根据具体的应用场景，计算表征模型正确性、模型运行能力和模型泛化能力的各个评价指标，根据多目标优化方法，获得综合性飞机测试数据分析模型的评价指标得分。

设置综合性飞机测试数据分析模型的评价指标得分的限值，对模型功能进行验证。对模型功能进行验证，基于专家经验知识，当得分大于0.8时，证明模型质量较好。经验证，模型精度与运行能力均符合要求。

在实际应用中，该分析模型运行状态较好，与验证结果相符。由此可知，该评价体系能够客观、有效的对模型进行评价，上述实验证明了该发明的有效性。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims

1.一种飞机测试数据分析模型的评价指标体系，其特征在于，该评价指标体系包括模型数据评估、模型性能评估和模型适用性评估；

模型数据评估包括数据的标准型和数据集成的自动性评估，数据的标准型包括数据范围符合度和数据类型符合度；数据集成的自动性是指模型具备的将来自不同来源的数据组合到一起的能力；

模型性能评估包括模型正确性、模型运行能力和模型泛化能力的评估；模型正确性的评价指标为AUC和正确率；模型运行能力的评价指标包括模型运行用时，磁盘占用率、CPU占用率和内存占用率；模型泛化能力指标包括泛化误差值；

模型适用性评估是指通过TOPSIS模型对评价对象与理想化目标的接近程度进行排序，以排序结果得到模型适用性的优劣。

2.根据权利要求1所述的一种飞机测试数据分析模型的评价指标体系，其特征在于，模型正确性评估是通过输入多组测试数据，将对应的AUC与正确率求均值，最终的精准性为AUC和正确率乘以各自权重再相加，再通过回归评价参数来衡量回归模型精准性。

3.根据权利要求1所述的一种飞机测试数据分析模型的评价指标体系，其特征在于，模型运行能力评估是通过选择多组测试数据，计算其磁盘占用率、CPU占用率和内存占用率，再用各指标得分乘以各自权重得到评价结果。

4.根据权利要求1所述的一种飞机测试数据分析模型的评价指标体系，其特征在于，泛化误差值等于偏差值加上方差值再加上噪声值，设在一个训练集D上模型f对测试样本x的预测输出为f(x；D)，那么模型对测试样本x的期望预测为：

预测与真实标记的误差称为偏差(bias)，即：

其中为输出结果，y为真实结果。

5.根据权利要求1所述的一种飞机测试数据分析模型的评价指标体系，其特征在于，所述的通过TOPSIS模型对评价对象与理想化目标的接近程度进行排序，以排序结果得到模型适用性的优劣包括：

2)得到加权后的规范化矩阵Z，Z由P与W相乘后得到：

Z＝(z_ij)_n*m＝(p_ij*w_j)；

3)确定正、负理想解；

4)计算各样本距离正、负理想解的距离：

5)计算各评价对象与最优方案的贴近程度：

6.一种飞机测试数据分析模型的评价指标体系的优化方法，基于上述权利要求1-5任意一项所述的一种飞机测试数据分析模型的评价指标体系，其特征在于，包括如下步骤：

确定各评价指标及其量化值；

对不同单位和量纲的评价指标进行归一化处理；

7.根据权利要求6所述的一种飞机测试数据分析模型的评价指标体系的优化方法，其特征在于，所述的通过判定模型贡献度的方法自动分析计算每个评价指标的权重包括：

计算R的特征向量矩阵M以及特征矩阵N，公式如下：

RM＝MN；

根据矩阵N和M，通过计算输入数据的贡献率Q_d作为各个评价指标的权重。

8.根据权利要求7所述的一种飞机测试数据分析模型的评价指标体系的优化方法，其特征在于，输入数据的贡献率Q_d其计算公式如下：

9.根据权利要求8所述的一种飞机测试数据分析模型的评价指标体系的优化方法，其特征在于，所述的为每个目标分配权重，计算综合性飞机测试数据分析模型的评价指标，其计算公式如下：

其中，a_d为第d个指标的归一化结果。