CN112989702B - 一种装备性能分析与预测的自学习方法 - Google Patents

Abstract

本发明提供了一种装备性能分析与预测的自学习方法，包括以下步骤：S1、数据读取模块，获取历史设备数据集和目标设备数据集；S2、构建自学习模块，基于深度学习或传统的机器学习算法，搭建一个装备性能分析与预测的自学习模型，该模型从历史设备数据中学习知识和技能，迁移应用到目标设备中；S3、构建性能预测模块，根据已训练好的自学习模块对目标设备进行性能分析与预测。本发明所述的一种装备性能分析与预测的自学习方法能够从历史任务中学习知识，迁移应用到新任务中，在目标设备缺少性能数据标签的情况下，也可以在较短时间内对其性能做出高精度的预测，为装备的智能设计与优化提供了新的思路和实践办法。

Description

一种装备性能分析与预测的自学习方法

技术领域

本发明属于装备性能预测技术领域，尤其是涉及一种装备性能分析与预测的自学习方法。

背景技术

近年来智能制造已席卷工业、能源、电力等行业，日益成为未来制造业发展的重大趋势和核心内容；电工装备、机械装备等装备行业作为制造业的重点领域，目前也正在向着大数据进发，尤其装备性能的分析与优化一直是国内外研究的热点。研究者们将BP(BackPropagation)神经网络、决策树(Decision Tree,DT)和支持向量机(Support VectorMachine,SVM)等传统机器学习方法应用到装备性能分析与优化中，在一定程度上实现了对目标装备性能的优化分析，但在进行性能预测时大多都是基于同分布假设，且需要大量标注数据，有些情况下，数据标注成本较高或很难实现；此外在实际中，对于不同结构的某种装备，较易获得的数据是历史装备积累的设计参数及标签数据(通过数值模拟或实验得到的性能数据)和目标装备的设计参数，使用历史装备数据，由于数据分布的差异导致模型预测效果比较差，对新数据集进行标注，存在计算耗时长和所需计算资源多等问题。

发明内容

有鉴于此，本发明旨在提出一种装备性能分析与预测的自学习方法，以解决了传统机器学习算法在目标设备没有性能数据标签时不能很好的训练模型的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种装备性能分析与预测的自学习方法，包括以下步骤：

S1、数据读取模块，获取历史设备数据集和目标设备数据集；

S2、构建自学习模块，搭建装备性能分析与预测的自学习模型，该模型从历史设备数据中学习知识和技能，迁移应用到目标设备中；

S3、构建性能预测模块，根据已训练好的自学习模块对目标设备进行性能分析与预测。

进一步的，步骤S2中，自学习模型的实现方法包括:

基于特征迁移的装备自学习方法，通过空间映射，将历史设备和目标设备的数据特征提取到特征空间中，以达到设计参数特征层面的对齐，进而实现数据知识在不同设备上的迁移应用。

进一步的，基于特征迁移的装备自学习方法具体执行步骤为：

A1、输入向量x＝x_h+x_t，其中x_h代表历史装备设计参数向量，x_t代表目标装备设计参数向量；

A2、将向量x_h和x_t映射到特征空间中，实现不同装备数据在特征层面的自适应，经参数提取网络f＝G_f(x；θ_f)生成具有相同分布的N维参数特征向量，其过程表示为：G_f(x；W,b)＝sigmoid(Wx+b)，式中sigmoid为参数提取网络的激活函数，W和b为当前层的权重和偏置；

A3、x_h所对应的向量通过回归预测网络G_y(x；θ_y)获得性能预测值y，性能预测值y∈Y，Y为有限集，代表回归预测的标签空间；x_h和x_t对应的参数特征向量都经过设备区分网络得到每个输入的设备区分结果d，设备区分标签d＝{0，1}代表数据来自于历史装备还是目标装备，计算回归预测损失函数，若采用负对数似然作为损失函数，则回归预测网络的网络损失值表示为

若采用负对数似然作为损失函数，则设备区分网络的损失值表示为

在网络训练和反向传播过程中，根据链式求导法则，求得各个参数的梯度更新公式，分别为：

其中μ为网络学习率；

A4、在参数提取网络和设备区分网络之间加入一个梯度反转层，使得两个网络优化目标有所不同，从而形成一种对抗学习的关系，最终使预测模型整体达到最优状态，输出目标装备性能预测值y。

进一步的，步骤S2中，自学习模型的实现方法包括:

基于深度神经网络的装备自学习方法，通过研究各层神经元所提取特征的通用性与特定性，经过对神经网络的预训练和微调，进而实现从历史数据中学习知识和特征迁移应用到新任务中。

进一步的，基于深度神经网络的装备自学习方法具体执行步骤为：

B1、使用历史装备数据集训练一个N层卷积神经网络，学习历史装备的数据和特征，训练好的网络记作netA；

B2、利用步骤B1中网络netA的前n层权值初始化另一个新的N层卷积神经网络netB，对netB后N-n层的参数进行随机初始化，产生的网络为netAnB；

B3、使用目标装备数据集对netAnB进行进一步的训练，更新各层的权值，其中迁移过来的前n层参数也要经过微调，即将训练得到的误差反向传播到前n层，调整他们以适应新的任务，使得网络参数适应目标装备的数据。

进一步的，卷积神经网络的训练过程包括两个阶段，具体为：

阶段一为数据由低层次向高层次传播的阶段，即前向传播阶段。在前向传播过程中，输入的数据经过多层卷积层的卷积和池化处理，卷积层中的每一种输出的特征图x_j有：

其中M_j表示选择的输入特征图组合，k_ij是输入的第i种特征图和输出的第j种特征图之间的连接所用的卷积核,b_j是第j种特征图对应的偏置,f是激活函数，提取出特征向量，其中通过下采样层的池化操作，下采样层的每一种输出的特征图x_j′有：

其中down表示下采样，β_j′是乘性偏置，b_j′是加性偏置，能够降低数据的维度，避免过拟合，最后将特征向量传入全连接层中，得出分类识别的结果，当网络的输出值与目标值之间的误差小于期望值时，输出结果；

另一阶段为当误差大于期望值时，将误差从高层次向底层次逐层的返回进行传播训练，若使用平方误差代价函数，则误差函数表示为

c是标签的维度,

表示第n个样本的标签的第k维，

是第n个样本在网络中输出值的第k维，然后进行权值更新，即反向传播阶段，目的为通过训练样本和期望值来调整网络权值，其中，对于权值的更新采用梯度下降法，梯度下降法更新权值的公式如下：

其中η为网络学习率。

相对于现有技术，本发明所述的一种装备性能分析与预测的自学习方法具有以下有益效果：

(1)本发明所述的一种装备性能分析与预测的自学习方法解决了传统机器学习方法应用在装备性能预测方面必须基于同分布假设、需大量标注数据等限制问题，减少了对目标设备标注数据的依赖，以及能够应对标注数据的不对称性；

(2)本发明所述的一种装备性能分析与预测的自学习方法能够提高模型预测时的稳定性和可泛化性，即便在目标设备数据集比较大的时候也是如此，为装备的智能设计与优化提供了新的思路和实践办法；

(3)本发明所述的一种装备性能分析与预测的自学习方法能够做到持续学习，让神经网络得以保留在历史任务中所学到的知识，通过历史数据的不断累积，不断增加样本标签数量，从而实现更精准的预测；

(4)本发明所述的一种装备性能分析与预测的自学习方法可以实现跨任务、跨领域的自主学习，能够从历史数据中学习知识和特征，并迁移应用到新任务中，解决了不同类型装备设计过程中数据特征迁移难的问题；

(5)本发明所述的一种装备性能分析与预测的自学习方法能够对装备的性能快速验证，得到初步的性能值然后进行分析，可以大大降低计算工作量，节省时间成本；

(6)本发明所述的一种装备性能分析与预测的自学习方法使用深度学习，自动化的提取更具表现力的特征，以及满足了工程实际应用中的端到端需求。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的一种装备性能分析与预测的自学习方法流程图；

图2为本发明实施例所述的基于特征迁移来实现装备自学习的流程图；

图3为本发明实施例所述的基于特征迁移实现装备自学习中的参数特征提取流程图；

图4为本发明实施例所述的基于深度神经网络各层特征的可迁移性来实现装备自学习的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，一种装备性能分析与预测的自学习方法，包括以下步骤：

S1、数据读取模块，获取历史设备数据集和目标设备数据集，其中历史设备指已有的装备，其设计参数与对应的性能数据均已知；目标设备指需要算法学习新知识的装备，其设计参数已知，性能数据部分或全部未知；

S2、构建自学习模块，基于深度学习或传统的机器学习算法，搭建一个装备性能分析与预测的自学习模型，由于历史设备和目标设备之间数据特征虽存在较大差异，但有所关联，设置神经网络结构，搭建装备性能分析与预测的自学习模型，该模型从历史设备数据中学习知识和技能，迁移应用到目标设备中，从而完成对预测网络的训练；

S3、构建性能预测模块，根据已训练好的自学习模块对目标设备进行性能分析与预测。

步骤S2中，自学习模型的实现方法包括：

基于特征迁移的装备自学习方法，通过空间映射，将历史设备和目标设备的数据特征提取到特征空间中，以达到设计参数特征层面的对齐，进而实现数据知识在不同设备上的迁移应用。

如图2和图3所示，基于特征迁移的装备自学习方法具体执行步骤为：

A1、输入向量x＝x_h+x_t，其中x_h代表历史装备设计参数向量，x_t代表目标装备设计参数向量；

A2、将向量x_h和x_t映射到特征空间中，实现不同装备数据在特征层面的自适应，经参数提取网络f＝G_f(x；θ_f)生成具有相同分布的N维参数特征向量，其过程表示为：G_f(x；W，b)＝sigmoid(Wx+b)，式中sigmoid为参数提取网络的激活函数，W和b为当前层的权重和偏置；

A3、x_h所对应的向量通过回归预测网络G_y(x；θ_y)获得性能预测值y，性能预测值y∈Y，Y为有限集，代表回归预测的标签空间；x_h和x_t对应的参数特征向量都经过设备区分网络得到每个输入的设备区分结果d，设备区分标签d＝{0，1}代表数据来自于历史装备还是目标装备，计算回归预测损失函数，若采用负对数似然作为损失函数，则回归预测网络的网络损失值表示为

若采用负对数似然作为损失函数，则设备区分网络的损失值表示为

在网络训练和反向传播过程中，根据链式求导法则，求得各个参数的梯度更新公式，分别为：

其中μ为网络学习率；

A4、在参数提取网络和设备区分网络之间加入一个梯度反转层，使得两个网络优化目标有所不同，从而形成一种对抗学习的关系，最终使预测模型整体达到最优状态，输出目标装备性能预测值y。

在训练阶段网络的优化目标主要包括以下三部分：①对于参数生成网络，提供一个特征向量，使得回归预测损失函数值L_y最小化，设备区分网络损失函数值L_d最大化，即输入数据经过参数生成网络映射到特定维度的特征空间后，使得回归预测网络能够对来自于历史设备的参数准确预测的同时，设备区分网络无法区分出来其归属于哪个设备；②对于设备区分网络，其优化目标为设备区分损失函数值L_d最小化，即尽可能的判别出参数所归属的设备；③对于回归预测网络，其优化目标是回归预测损失函数值L_y最小化，即对来自于历史设备的参数尽量实现准确的回归预测。由于参数生成网络和设备区分网络在区分设备方面优化目标相反，故在两个网络之间加入了梯度反转层，使得设备区分过程中所损失的梯度值在反向传递到参数特征提取网络前自动取反，从而形成彼此对抗学习的关系，不断更新优化参数提取网络和设备区分网络，最终使网络达到一种平衡的状态，实现对目标设备性能的准确预测；

对于网络模型的搭建，在PyTorch编程环境下，可基于LSTM(Long Short-TermMemory，长短期记忆神经网络)及其改进或组合算法实现，也可基于改进的transformer算法实现。对于参数提取网络，架构是由4层LSTM/transformer组成，对于每一层的输出，使用了attention(注意力机制)和dropout(退出机制)，最后一层使用了一个全连接的形式。对于设备区分网络，架构是由3层LSTM/transformer组成，最后一层同样使用了一个全连接的形式。对于回归预测网络，为了使模型做出更精确的预测，可采用LightGBM(LightGradient Boosting Machine，基于决策树算法的梯度提升框架)，在训练过程中不断添加新的决策树，新添加的决策树更加关注预测错误的样本，并且能够使模型预测结果向误差梯度下降方向前进，内部采用了基于直方图的决策树算法以及使用带深度限制的叶节点生长策略，具有较高的训练效率并且支持并行化学习。

步骤S2中，自学习模型的实现方法包括:

基于深度神经网络的装备自学习方法，通过研究各层神经元所提取特征的通用性与特定性，经过对神经网络的Pre-training(预训练)+Fine-tuning(微调)，进而实现从历史数据中学习知识和特征迁移应用到新任务中，在深度学习中，前面几层网络学习到的是通用的特征，随着网络层次的加深，后面的网络更偏重于学习任务特定的特征；因此可先在一个数据集上根据历史任务训练一个神经网络，然后将学习到的通用特征调整迁移到目标网络，并使用新的任务对目标网络重新进行训练，由于迁移的特征具有通用性(在历史任务和目标任务都有效)，则在这个过程会实现自学习的目的。

如图4所示，基于深度神经网络的装备自学习方法具体执行步骤为：

B1、使用历史装备数据集训练一个N层卷积神经网络，学习历史装备的数据和特征，训练好的网络记作netA；

B2、利用步骤B1中网络netA的前n层权值初始化另一个新的N层卷积神经网络netB，对netB后N-n层的参数进行随机初始化，产生的网络为netAnB；

B3、使用目标装备数据集对netAnB进行进一步的训练，更新各层的权值，其中迁移过来的前n层参数也要经过微调，即将训练得到的误差反向传播到前n层，调整他们以适应新的任务，使得网络参数适应目标装备的数据。

卷积神经网络的训练过程包括两个阶段，具体为：

阶段一为数据由低层次向高层次传播的阶段，即前向传播阶段。在前向传播过程中，输入的数据经过多层卷积层的卷积和池化处理，卷积层中的每一种输出的特征图x_j有：

其中M_j表示选择的输入特征图组合，k_ij是输入的第i种特征图和输出的第j种特征图之间的连接所用的卷积核,b_j是第j种特征图对应的偏置,f是激活函数，提取出特征向量，其中通过下采样层的池化操作，下采样层的每一种输出的特征图x_j′有：

其中down表示下采样，β_j′是乘性偏置，b_j′是加性偏置，能够降低数据的维度，避免过拟合，最后将特征向量传入全连接层中，得出分类识别的结果，当网络的输出值与目标值之间的误差小于期望值时，输出结果；

另一阶段为当误差大于期望值时，将误差从高层次向底层次逐层的返回进行传播训练，若使用平方误差代价函数，则误差函数表示为

c是标签的维度,

表示第n个样本的标签的第k维，

是第n个样本在网络中输出值的第k维，然后进行权值更新，即反向传播阶段，目的为通过训练样本和期望值来调整网络权值，其中，对于权值的更新采用梯度下降法，梯度下降法更新权值的公式如下：

其中η为网络学习率。

实施例如下，以电机为例，对装备性能分析与预测自学习的实现进行实例说明。首先进行数据读取，建立历史装备数据集和目标装备数据集。采用三个不同的永磁同步电机，分别对三个电机依次编号。电机1选取日本Toyota混合动力轿车中的Prius2010电机，结构为48槽8极数，内置V型永磁体；电机2选取与电机1差异不大的日本Toyota混合动力轿车中的Prius2004电机，结构为48槽8极数，内置V型永磁体；电机3选取实验室中电机，结构为36槽6极，内置一字型永磁体，电机3结构在极对数、槽数、绕组等方面与前两电机差距较大。选取定子槽口宽度、永磁体宽度、永磁体厚度、槽高、气隙长度、极弧系数等电机设计参数作为输入变量，选取电机效率和齿槽转矩两个参数作为输出值，即预测性能参数。选取MAPE(Mean Absolute Percentage Error，平均绝对百分比误差)作为预测精度的评价指标，可表示为

其中M为样本数量，y_i为预测值，y′为实际值，MAPE取值范围是[0，+∞]，当MAPE大于100％时则表示模型是劣质模型，MAPE值越小，则说明预测模型准确度越高。电机1的设计参数及对应的性能数据均已知，电机2和电机3的设计参数已知，但性能数据部分或全部未知。在使用自学习方法对电机2性能进行预测时，可进行相似电机(电机1-电机2)的实验，此时电机1的数据对应历史设备数据集，电机2的数据对应目标设备数据集；在对电机3性能进行预测时，可进行差异电机(电机1-电机3)的实验，此时电机1的数据对应历史设备数据集，电机3的数据对应目标设备数据集。将自学习方法应用在电机2的性能数据预测分析时，可知由于电机2与电机1的结构较为相似，预测值会逐渐逼近真实值，有较高的预测精度。将自学习方法应用在电机3的性能数据预测分析时，虽然电机1和电机3结构差异较大，可能预测精度有轻微下降，但自学习的预测趋势和预测值也会逐渐逼近真实值，在处理差异较大的数据时也能够表现出良好的预测性能。在自学习过程中，从历史数据中学习知识和特征，并迁移应用到新任务中，实现电机自学习的目标，对电机2和电机3均能够实现较好的性能预测。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种装备性能分析与预测的自学习方法，其特征在于，包括以下步骤：

S1、数据读取模块，获取历史设备数据集和目标设备数据集；

S2、构建自学习模块，搭建装备性能分析与预测的自学习模型，该模型从历史设备数据中学习知识和技能，迁移应用到目标设备中；

自学习模型的实现方法包括:

基于特征迁移的装备自学习方法，通过空间映射，将历史设备和目标设备的数据特征提取到特征空间中，以达到设计参数特征层面的对齐，进而实现数据知识在不同设备上的迁移应用；

基于特征迁移的装备自学习方法具体执行步骤为：

A1、输入向量x＝x_h+x_t，其中x_h代表历史装备设计参数向量，x_t代表目标装备设计参数向量；

A2、将向量x_h和x_t映射到特征空间中，实现不同装备数据在特征层面的自适应，经参数提取网络f＝G_f(x；θ_f)生成具有相同分布的N维参数特征向量，其过程表示为：G_f(x；W,b)＝sigmoid(Wx+b)，式中sigmoid为参数提取网络的激活函数，W和b为当前层的权重和偏置；

A3、x_h所对应的向量通过回归预测网络G_y(x；θ_y)获得性能预测值y，性能预测值y∈Y，Y为有限集，代表回归预测的标签空间；x_h和x_t对应的参数特征向量均经过设备区分网络得到每个输入的设备区分结果d，设备区分标签d＝{0,1}代表数据来自于历史装备还是目标装备，计算回归预测损失函数，若采用负对数似然作为损失函数，则回归预测网络的网络损失值表示为

若采用负对数似然作为损失函数，则设备区分网络的损失值表示为

在网络训练和反向传播过程中，根据链式求导法则，求得各个参数的梯度更新公式，分别为：

其中μ为网络学习率；

A4、在参数提取网络和设备区分网络之间加入一个梯度反转层，使得两个网络优化目标有所不同，从而形成一种对抗学习的关系，最终使预测模型整体达到最优状态，输出目标装备性能预测值y；

S3、构建性能预测模块，根据已训练好的自学习模块对目标设备进行性能分析与预测。

2.根据权利要求1所述的一种装备性能分析与预测的自学习方法，其特征在于，步骤S2中，自学习模型的实现方法包括:

基于深度神经网络的装备自学习方法，通过研究各层神经元所提取特征的通用性与特定性，经过对神经网络的预训练和微调，进而实现从历史数据中学习知识和特征迁移应用到新任务中。

3.根据权利要求2所述的一种装备性能分析与预测的自学习方法，其特征在于：基于深度神经网络的装备自学习方法具体执行步骤为：

B1、使用历史装备数据集训练一个N层卷积神经网络，学习历史装备的数据和特征，训练好的网络记作netA；

B2、利用步骤B1中网络netA的前n层权值初始化另一个新的N层卷积神经网络netB，对netB后N-n层的参数进行随机初始化，产生的网络为netAnB；

B3、使用目标装备数据集对netAnB进行进一步的训练，更新各层的权值，其中迁移过来的前n层参数也要经过微调，即将训练得到的误差反向传播到前n层，调整他们以适应新的任务，使得网络参数适应目标装备的数据。

4.根据权利要求3所述的一种装备性能分析与预测的自学习方法，其特征在于：卷积神经网络的训练过程包括两个阶段，具体为：

阶段一为数据由低层次向高层次传播的阶段，该阶段一为前向传播阶段；在前向传播过程中，输入的数据经过多层卷积层的卷积和池化处理，卷积层中的每一种输出的特征图x_j有：

其中M_j表示选择的输入特征图组合，k_ij是输入的第i种特征图和输出的第j种特征图之间的连接所用的卷积核；b_j是第j种特征图对应的偏置,f是激活函数，提取出特征向量，其中通过下采样层的池化操作，下采样层的每一种输出的特征图x_j′有：

其中down表示下采样，β_j′是乘性偏置，b_j′是加性偏置，能够降低数据的维度，避免过拟合，最后将特征向量传入全连接层中，得出分类识别的结果，当网络的输出值与目标值之间的误差小于期望值时，输出结果；

另一阶段为当误差大于期望值时，将误差从高层次向底层次逐层的返回进行传播训练，若使用平方误差代价函数，则误差函数表示为

c是标签的维度,

表示第n个样本的标签的第k维，

是第n个样本在网络中输出值的第k维，然后进行权值更新，即反向传播阶段，目的为通过训练样本和期望值来调整网络权值，其中，对于权值的更新采用梯度下降法，梯度下降法更新权值的公式如下：

其中η为网络学习率。

Images