CN112613603A - 基于限幅器的神经网络训练方法及其应用 - Google Patents

Abstract

本发明公开了一种基于限幅器的神经网络训练方法及其应用，所述神经网络训练方法包括：将实验数据作为训练集训练神经网络；通过训练后的神经网络预测未知状况下待预测量的值；设定限幅器的上下限，将超过限幅器上限的预测结果改为限幅器的上限，将低于限幅器下限的预测结果改为限幅器的下限，将修改后的结果纳入训练集；通过新训练集重新训练神经网络；神经网络预测结果均在限幅器上下限范围内则结束训练，否则建立新训练集，重新训练神经网络，重复直到神经网络预测结果均在限幅器上下限范围内。本发明具有在实验数据较少的情况下建立较高预测精度神经网络的优点。

Description

基于限幅器的神经网络训练方法及其应用

技术领域

本发明属于人工神经网络预测技术领域，涉及神经网络的训练方法，特别涉及一种基于限幅器的神经网络训练方法及其应用。

背景技术

目前，许多物理化学性质测量难度大，测量成本高，且实验所得的数据为离散点，难以满足工业需求；物理化学性质的研究思路基本为通过实验数据建立其理论计算模型。相对于传统的预测模型，人工神经网络具有非线性处理能力强、预测精度高的优点，在物理化学性质预测方面得到了广泛的应用。应用神经网络时，需要利用大量实验数据对神经网络进行训练对不同状态下的特征进行学习，预测所需要的物理化学性质。

然而，对于许多物质来讲，其物理化学性质数据较少，通过小数据集训练的神经网络会存在预测精度低的问题。如何通过有限实验数据训练获得预测精度较高的神经网络是亟需解决的技术问题。

发明内容

本发明的目的在于提供一种基于限幅器的神经网络训练方法及其应用，以解决上述存在的一个或多个技术问题。本发明的方法能够改善小数据集训练所得的神经网络预测精度低的问题，提高训练所得神经网络预测的精度。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于限幅器的神经网络训练方法，包括以下步骤：

步骤1，采用预获取的实验数据作为训练集，对待训练的神经网络进行训练，获得训练后的神经网络；其中，所述实验数据包括预测所需特征量及待预测量的实验数据；

步骤2，通过训练后的神经网络预测未知状况下待预测量的值，获得预测结果；

步骤3，设定限幅器的上下限，通过限幅器确定步骤2获得的预测结果的合理性；其中，若预测结果均在限幅器上下限范围内，则训练结束；否则更改限幅器上下限范围外的预测结果，获得新的训练集并跳转执行步骤4；

步骤4，通过新的训练集重新训练神经网络，获得新的训练后的神经网络并跳转执行步骤5；

步骤5，基于步骤4获得的训练后的神经网络，重复步骤2和步骤3。

本发明的进一步改进在于，步骤3中，所述否则更改限幅器上下限范围外的预测结果，获得新的训练集的具体步骤包括：

将超过限幅器上限的预测结果改为限幅器的上限，将低于限幅器下限的预测结果改为限幅器的下限；

将修改后的结果纳入训练集成为新的训练集。

本发明的进一步改进在于，所述神经网络的输出为归一化值。

本发明的进一步改进在于，所述神经网络的输入为影响待预测量的预测所需特征量，输出为待预测量。

本发明的进一步改进在于，步骤4中，在利用新的训练集重新训练神经网络时，非实验数据对所述神经网络结构和参数的影响权重乘以一个小于1的系数。

本发明的进一步改进在于，步骤1或步骤4中，所述神经网络在训练过程中，根据选择的损失函数，采用优化算法对神经网络内部参数进行优化。

本发明的一种基于限幅器的神经网络训练方法的应用，用于天然气压缩因子的预测。

本发明的进一步改进在于，预测所需特征量包括：温度、压力以及天然气中甲烷、乙烷、丙烷、丁烷、戊烷、己烷、庚烷、辛烷八种组分的含量；待预测量为天然气的压缩因子；

所述神经网络为前向神经网络，包括输入层、隐藏层和输出层；其中，每个层内均有多个神经元，神经元具有各自的偏置、权重与激活函数，层内部各个神经元之间相互独立；从输入层输入的特征值，经过各个隐藏层的计算最终达到输出层；

对前向神经网络的输出进行归一化处理，归一化处理的表达式为：

式中，X为输入的初始值，X_min和X_max分别为所有输入的最小值和最大值，x为输入的归一化值；

神经网络每层之间的传递公式为：

式中，

为具有m个神经元的第k+1层中第j个神经元对于上一层也即具有n个神经元的第k层第i个神经元a_i ^k的权重，b_j ^k+1为第k+1层中第j个神经元的偏置，

为第k+1层中第j个神经元的输出；

采用的激活函数为ReLU或Tanh函数，表达式为：

或

式中，

为第k+1层中第j个神经元的输出，a_j ^k+1为激活函数的函数值。

本发明的进一步改进在于，采用误差函数作为优化目标，误差函数为：

式中，MSE为均方误差，f(x)为神经网络的输出值，Y为实际值；M为全体数据的个数。

在进行误差计算后，通过优化算法调整神经网络的结构和权重。

本发明的进一步改进在于，限幅器的上限、下限，分别为1.66、0.36。

与现有技术相比，本发明具有以下有益效果：

本发明同现有方法相比，具有在实验数据较少的情况下建立较高预测精度神经网络的优点；具体地，本发明通过预设所预测值的理论范围，可以使神经网络在训练时除了少量的实验数据以外获得其他可支持训练的信息；同时，本发明技术方案根据理论范围对神经网络的输出进行修正，并将修正后的值与实验数据一同放入训练集，重复多次直至神经网络的输出全部符合预测值的理论范围，可以充分发挥无标签数据的价值，使神经网络在其预测输入特征在训练集的范围之外的数据点时，预测值相对于每一个输入特征有着相对正确的变化趋势，尤其当实验数据较少且预测值与输入特征之间的关系可看待为近似的递增的凸函数或递减的凹函数时(类似对数函数)；另外，本发明可以极大地提高预测的精度至传统神经网络的数倍甚至数十倍。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中，前馈神经网络的结构示意图；

图2是本发明实施例中，基于限幅器的神经网络训练方法的流程示意图；

图3是本发明实施例中，本发明方法与传统前向神经网络的预测效果对比示意图。

具体实施方式

为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。

请参阅图1和图2，本发明实施例提供了一种基于限幅器的神经网络训练方法，应用该方法可以改善小数据集训练所得的神经网络预测精度低的问题，提高神经网络预测的精度。所述的神经网络训练方法具体包括以下步骤：

步骤1，将含有预测所需要的特征量及待预测量的实验数据作为训练集训练神经网络；

步骤2，通过训练后的神经网络预测未知状况下待预测量的值；

步骤3，设定限幅器的上下限，通过限幅器确定预测结果的合理性并更改不合理结果；其中，具体方法可以为将超过限幅器上限的预测结果改为限幅器的上限，将低于限幅器下限的预测结果改为限幅器的下限，并将修改后的结果纳入训练集；

步骤4，通过新训练集重新训练神经网络；

步骤5，重复步骤2，如果神经网络预测结果均在限幅器上下限范围内，则结束训练；否则返回步骤3。

本发明的又一实施例中，所述神经网络的输出为归一化值。

本发明的又一实施例中，所述神经网络的输入为影响待预测量的特征量，输出为待预测量。

本发明的又一实施例中，在利用新训练集重新训练神经网络时，非实验数据对所述神经网络结构和参数的影响权重乘以一个小于1的系数。

本发明的又一实施例中，所述神经网络在训练过程中，所述神经网络在训练过程中通过损失函数作为模型质量的评价标准，并通过优化算法优化神经网路内部各个参数。直到获得足够高的预测精度。

本发明的又一实施例中，所述限幅器的上限和下限可根据实验数据范围进行确定。

本发明实施例的基于限幅器的神经网络训练方法的应用，应用于天然气压缩因子的预测具体包括：通过10个特征，包括温度、压力以及天然气中甲烷、乙烷、丙烷、丁烷、戊烷、己烷、庚烷、辛烷八种组分的含量，预测天然气的压缩因子。

前向神经网络由输入层、隐藏层、输出层组成，每个层内有多个神经元，神经元具有自己的偏置、权重与激活函数，如图1所示。从输入层输入特征值，经过各个隐藏层的计算最终达到输出层，层内部各个神经元之间相互独立。

对前向神经网络的输出进行归一化处理，从而使误差不会随着输出量的增大而增大。归一化处理的公式如下：

式中，X为输入的初始值，X_min和X_max分别为所有输入的最小值和最大值，x为输入的归一化值

神经网络每层之间的传递公式为

式中，

为具有m个神经元的第k+1层中第j个神经元对于上一层也即具有n个神经元的第k层第i个神经元a_i ^k的权重，b_j ^k+1为第k+1层中第j个神经元的偏置，

为第k+1层中第j个神经元的输出；

采用的激活函数为ReLU或Tanh函数：

式中，

为第k+1层中第j个神经元的输出，a_j ^k+1为激活函数的函数值。

在神经网络初始化随机的各项参数后，进行前向运算。

本发明实施例采用以下的误差函数作为优化目标

式中，MSE为均方误差，f(x)为神经网络的输出值，Y为实际值；M为全体数据的个数。在进行误差计算后，通过优化算法调整神经网络的结构和权重。

基于限幅器的神经网络训练方法应用流程如图2所示，包括：对于天然气的压缩因子，本发明实施例根据现有实验数据的最大值及最小值作为限幅器的上限和下限，最大值为1.66，最小值为0.36。

请参图3，图3比较了本发明的方法与传统神经网络训练方法得到的神经网络的预测结果，该图中横坐标为原始数据值，纵坐标为通过传统神经网络和本发明所预测的值，对于各个数据点而言，越靠近对角线(即预测值和实验值相等)精度越好，可以看出本发明的技术方案可以有效地提升神经网络的预测性能。

综上，本发明公开了基于限幅器的神经网络训练方法，方法包括以下步骤：将含有预测所需要的特征量及待预测量的实验数据作为训练集训练神经网络；通过训练后的神经网络预测未知状况下待预测量的值；设定限幅器的上下限，通过限幅器确定预测结果的合理性，并将超过限幅器上限的预测结果改为限幅器的上限，将低于限幅器下限的预测结果改为限幅器的下限，并将修改后的结果纳入训练集；通过新训练集重新训练神经网络；如果神经网络预测结果均在限幅器上下限范围内，则结束训练，否则继续利用限幅器更改预测结果，建立新训练集，重新训练神经网络，重复此过程，直到神经网络预测结果均在限幅器上下限范围内。本发明同现有方法相比，具有在实验数据较少的情况下建立较高预测精度神经网络的优点。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种基于限幅器的神经网络训练方法，其特征在于，包括以下步骤：

步骤1，采用预获取的实验数据作为训练集，对待训练的神经网络进行训练，获得训练后的神经网络；其中，所述实验数据包括预测所需特征量及待预测量的实验数据；

步骤2，通过训练后的神经网络预测未知状况下待预测量的值，获得预测结果；

步骤3，设定限幅器的上下限，通过限幅器确定步骤2获得的预测结果的合理性；其中，若预测结果均在限幅器上下限范围内，则训练结束；否则更改限幅器上下限范围外的预测结果，获得新的训练集并跳转执行步骤4；

步骤4，通过新的训练集重新训练神经网络，获得新的训练后的神经网络并跳转执行步骤5；

步骤5，基于步骤4获得的训练后的神经网络，重复步骤2和步骤3。

2.根据权利要求1所述的一种基于限幅器的神经网络训练方法，其特征在于，步骤3中，所述否则更改限幅器上下限范围外的预测结果，获得新的训练集的具体步骤包括：

将超过限幅器上限的预测结果改为限幅器的上限，将低于限幅器下限的预测结果改为限幅器的下限；

将修改后的结果纳入训练集成为新的训练集。

3.根据权利要求1所述的一种基于限幅器的神经网络训练方法，其特征在于，所述神经网络的输出为归一化值。

4.根据权利要求1所述的一种基于限幅器的神经网络训练方法，其特征在于，所述神经网络的输入为影响待预测量的预测所需特征量，输出为待预测量。

5.根据权利要求1所述的一种基于限幅器的神经网络训练方法，其特征在于，步骤4中，在利用新的训练集重新训练神经网络时，非实验数据对所述神经网络结构和参数的影响权重乘以一个小于1的系数。

6.根据权利要求1所述的一种基于限幅器的神经网络训练方法，其特征在于，步骤1或步骤4中，所述神经网络在训练过程中，根据选择的损失函数，采用优化算法对神经网络内部参数进行优化。

7.一种权利要求1所述的基于限幅器的神经网络训练方法的应用，其特征在于，用于天然气压缩因子的预测。

8.根据权利要求7所述的应用，其特征在于，预测所需特征量包括：温度、压力以及天然气中甲烷、乙烷、丙烷、丁烷、戊烷、己烷、庚烷、辛烷八种组分的含量；待预测量为天然气的压缩因子；

所述神经网络为前向神经网络，包括输入层、隐藏层和输出层；其中，每个层内均有多个神经元，神经元具有各自的偏置、权重与激活函数，层内部各个神经元之间相互独立；从输入层输入的特征值，经过各个隐藏层的计算最终达到输出层；

对前向神经网络的输出进行归一化处理，归一化处理的表达式为：

式中，X为输入的初始值，X_min和X_max分别为所有输入的最小值和最大值，x为输入的归一化值；

神经网络每层之间的传递公式为：

式中，

为具有m个神经元的第k+1层中第j个神经元对于具有n个神经元的第k层第i个神经元a_i ^k的权重，b_j ^k+1为第k+1层中第j个神经元的偏置，

为第k+1层中第j个神经元的输出；

采用的激活函数为ReLU或Tanh函数，表达式为：

Tanh：

或Re LU:

式中，

为第k+1层中第j个神经元的输出，a_j ^k+1为激活函数的函数值。

9.根据权利要求8所述的应用，其特征在于，采用误差函数作为优化目标，误差函数为：

式中，MSE为均方误差，f(x)为神经网络的输出值，Y为实际值；M为全体数据的个数；

在进行误差计算后，通过优化算法调整神经网络的结构和权重。

10.根据权利要求8所述的应用，其特征在于，限幅器的上限、下限分别为1.66、0.36。

Images