CN113064220A - 基于非线性自回归神经网络的能见度测量系统及测量方法 - Google Patents

Abstract

本申请涉及图像识别应用领域，尤其涉及基于非线性自回归神经网络的能见度测量系统及测量方法，系统包括输入层模块、隐藏层模块、输出层模块、延时机制模块和反馈调节机制模块；输入层至少五个神经元，每个神经元是一个可观测的指标，分别表示温度、相对湿度、PM2.5浓度、风速以及前向散射光强的观测数据；输入层用于接收模型外部输入的信息和模型的动态m阶延时输出，输入层的神经元个数取决于输入信息的维度，本申请模拟能见度值与影响能见度值的各项因素之间的非线性函数关系。事实上，能见度值与各影响因素之间是非线性的、复杂的关系，非线性自回归神经网络可以自动学习和推断输入数据中隐含的复杂的非线性关系。

Description

基于非线性自回归神经网络的能见度测量系统及测量方法

技术领域

本申请涉及图像识别应用领域，尤其涉及一种基于非线性自回归神经网络的能见度测量系统及测量方法。

背景技术

现有的能见度测量方法主要有基于视频图像的测量方法、散射式和透射式能见度仪。基于视频图像的方法存在拍摄的图像不清晰、目标物不好选择、摄像机标定不易等问题，难以大规模应用。透射式能见度仪的光路长，发射器与接收器的对准困难；安装、保养等费用也非常昂贵，难以普及。

常用的前向散射式能见度仪是通过散射光强来估计大气消光系数来反演能见度值。其假定大气消光系数等于散射系数，并根据一定角度方向上的散射系数来表示总散射系数，忽略了吸收系数以及粒子间的相互作用，但是在雨、雾、沙尘暴等特殊天气下，能见度低，对散射粒子的尺寸敏感，多次散射等也会影响到测量结果。

发明内容

为解决现有技术中存在的上述问题，考虑到能见度的值在清晨、中午和傍晚等区间存在一定的规律性变化，且能见度短时间内不会出现巨大的差值，本申请使用非线性自回归神经网络，综合能见度相关的几种可观测因素，温度，相对湿度，PM2.5浓度，风速等气象观测指标以及前向散射光强，建立各种观测指标与能见度值的反馈神经网络模型。

为实现上述技术效果，本申请的技术方案如下：

一种基于非线性自回归神经网络的能见度测量系统，包括输入层模块、隐藏层模块、输出层模块、延时机制模块和反馈调节机制模块；其中

输入层模块：构造至少五个神经元，每一个神经元是一个可观测的指标，分别表示温度、相对湿度、PM2.5浓度、风速以及前向散射光强的观测数据；输入层用于接收模型外部输入的信息（即采集的观测指标数据）和模型的动态m阶延时输出，输入层的神经元个数取决于输入信息的维度，在本方案中输入维度是温度、相对湿度、PM2.5浓度、风速及前向散射光强这五种观测数据。

隐藏层模块：包括n个神经元，代表使用n个非线性激活函数来逼近非线性函数，通过调节输入层模块和隐藏层模块中神经元的连接权重w1，实现输入神经元自由组合；隐藏层模块的作用是学习连接权重w1来控制隐藏神经元对输入信息的敏感程度，输入层的输出作为隐藏层的输入，其中每个神经元都有各自的输入和输出；

其中，考虑到神经元的净输入不仅与当前的输入加权和有关，还与上一次净输入及加权输入有关，静态的激活函数可能会对特征学习带来负面的影响，因此需要能够自动学习并根据输入信号使用不同非线性变换的动态激励函数。隐藏层模块使用改进的ReLu激活函数对隐藏层的输入进行自适应非线性激活，其函数表达式如下：

其中z是神经元的输出， x是隐藏层模块中的神经元的输入， α是神经网络会自动学习调整的参数；

输出层模块：单个神经元输出值的激活函数选择恒等函数f(x) = x，恒等函数的输出等于输入，也就是说输出神经元的输出等于输入，不做任何转化，如果选用了其他激活函数，那么需要根据选择的激活函数对输出值进行反向转化才能得到能见度值，上式中x为输出层模块的输入，输出神经元的输出值即为预测的能见度值；通过调节隐藏层模块和输出层模块中神经元的连接权重w2，实现n个隐藏层神经元的组合无限逼近任意非线性函数，最后由输出神经元输出模型预测的能见度值，同时也要将输出值传入输入层模块进行反馈调节。

延时机制模块：包括模型外部输入延时和模型输出延时，增加对历史数据的记忆能力，动态对历史数据的影响做调整。

反馈调节机制模块：对输出层的输出值进行精度评估，根据情况对模型的延时进行调整。

一种基于非线性自回归神经网络的能见度测量方法，包括如下步骤：

步骤一、设置数据存储格式：每一个样本至少包括温度，相对湿度，PM2.5浓度，风速，前向散射光强，能见度参考值六项指标，按时间顺序收集历史观测样本，按预设格式存储。

进一步地，预设格式为CSV文件、TXT、MAT。

步骤二、数据标准化处理：读取存储数据，输入数据X=（温度，相对湿度，PM2.5浓度，风速，前向散射光强），参考输出值Y=能见度参考值；由于输入数据的温度、相对湿度、PM2.5浓度、风速、前向散射光强等指标的性质不同，具有不同的量纲和数量级，会影响到模型的训练，因此需要对温度、相对湿度、PM2.5浓度、风速和前向散射光强进行标准化处理，通过Z-Score标准化处理将输入数据按比例缩放到一个小的特定区间，消除数据之间的差异性，加速神经网络权重参数的收敛。

进一步地，在对数据进行Z-Score标准化之前，计算每种输入数据的以下信息，1）每种输入数据的均值μ，2）每种输入数据的标准差σ，3）每个样本输入数据的观测值x；再将以上三个值代入Z-Score的公式：

，即可得标准化处理后的输入值。

步骤三、模型构造：构造非线性自回归神经网络模型，并初始化模型参数，x_t表示t时刻的输入数据，输入延时阶数为n；y_t表示上述神经网络的输出，m是输出延时阶数，该模型的输出与输入关系式为：

其中，函数f为非线性自回归神经网络模拟的非线性函数；

步骤四、模型训练：实现输入层到输出层的非线性映射；采用RTRL（Real-TimeRecurrent Learning）算法作为非线性自回归神经网络的权值自适应调整算法，它是标准BP算法的简单扩展，分为正向传播和反向传播两个过程，在正向传播过程中，根据输入数据和初始化权重值w，计算输出值y以及y与给定参考值Y之间的损失值，如果损失值不在给定的范围内则进行反向传播的过程；否则停止权重w的更新学习；反向传播将输出以某种形式通过隐藏层向输入层逐层反传，并将误差分摊给各层的所有神经元，从而获得各层神经元的误差信号，此误差信号即作为修正各神经元权值w的依据。

进一步地，RTRL算法的权重推导公式为：

其中，w表示非线性自回归神经网络的所有连接权重，当计算的是输入层到隐藏层的权值自适应调整算法时，式中w为w1，当计算的是隐藏层到输出层的权值自适应调整算法时，式中w为w2，η是学习速率，e是参考输出值Y与实际输出值y的差值，即参考能见度值与预测能见度值的差值，上标T表示矩阵转置。

再进一步地，损失值使用非线性自回归模型的输出值y_t与给定的输出参考值Y_t的均方误差RMSE，其计算公式如下：

若RMSE小于给定的阈值T_RMSE，这说明模型的精度已达标，停止训练，保存模型参数；若RMSE大于给定的阈值T_RMSE，说明模型精度不达标，需要继续通过反向传播进行反馈调节。

步骤五、模型评估：采用十折交叉验证评估模型的预测性能，既可以在一定程度上减小过拟合，还可以从有限的数据中获取尽可能多的有效信息。

步骤六、使用保存的模型进行能见度实时预测。

本申请的创新在于：

1、本申请使用了改进的非线性自回归神经网络，来模拟能见度值与影响能见度值的各项因素之间的非线性函数关系。事实上，能见度值与各影响因素之间是非线性的、复杂的关系，非线性自回归神经网络可以自动学习和推断输入数据中隐含的复杂的非线性关系。

2、本申请的隐藏层神经元使用动态激励函数，自适应非线性激活，避免了静态激励函数可能会对特征学习能力带来负面的影响，有利于提高神经网络模型的精度。

3、本申请的动态神经网络在非线性问题的时间序列预测方面有着优秀的记忆功能。在一天内，能见度的值在清晨、中午和傍晚等区间存在一定的规律性变化，使用非线性自回归神经网络，可以自动分析当前的时间序列信息、各个输入因素的主次影响以及隐藏神经元的权重的等，综合考虑了各种天气条件，弥补了前向散射式能见度仪的缺点，尤其是雨、雾、沙尘暴等特殊天气下，散射光强对粒子的尺寸敏感从而引起的低能见度值测量的误差。

附图说明

图1为基于非线性自回归神经网络的能见度测量系统结构示意图。

图2基于非线性自回归神经网络的能见度测量方法流程图，其中NARX表示非线性自回归。

具体实施方式

实施例1

如图1所示，一种基于非线性自回归神经网络的能见度测量系统，包括输入层模块、隐藏层模块、输出层模块、延时机制模块和反馈调节机制模块；其中

输入层模块：构造至少五个神经元，每一个神经元是一个可观测的指标，分别表示温度、相对湿度、PM2.5浓度、风速以及前向散射光强的观测数据；输入层用于接收模型外部输入的信息（即采集的观测指标数据）和模型的动态m阶延时输出，输入层的神经元个数取决于输入信息的维度，在本方案中输入维度是温度、相对湿度、PM2.5浓度、风速及前向散射光强这五种观测数据。

隐藏层模块：包括n个神经元，代表使用n个非线性激活函数来逼近非线性函数，通过调节输入层模块和隐藏层模块中神经元的连接权重w1，实现输入神经元自由组合；隐藏层模块的作用是学习连接权重w1来控制隐藏神经元对输入信息的敏感程度，输入层的输出作为隐藏层的输入，其中每个神经元都有各自的输入和输出；

其中，考虑到神经元的净输入不仅与当前的输入加权和有关，还与上一次净输入及加权输入有关，静态的激活函数可能会对特征学习带来负面的影响，因此需要能够自动学习并根据输入信号使用不同非线性变换的动态激励函数。隐藏层模块使用改进的ReLu激活函数对隐藏层的输入进行自适应非线性激活，其函数表达式如下：

其中z是神经元的输出， x是隐藏层模块中的神经元的输入，α是神经网络会自动学习调整的参数；

输出层模块：单个神经元输出值的激活函数选择恒等函数f(x) = x，恒等函数的输入等于输出，也就是说输出神经元的输入等于输出，不做任何转化如果选用了其他激活函数，那么需要根据选择的激活函数对输出值进行反向转化才能得到能见度值，上式中x为输出层模块的输入，输出神经元的输出值即为预测的能见度值；通过调节隐藏层模块和输出层模块中神经元的连接权重w2，实现n个隐藏层神经元的组合无限逼近任意非线性函数，最后由输出神经元输出模型预测的能见度值，同时也要将输出值传入输入层模块进行反馈调节。

延时机制模块：包括模型外部输入延时和模型输出延时，增加对历史数据的记忆能力，动态对历史数据的影响做调整。

反馈调节机制模块：对输出层的输出值进行精度评估，根据情况对模型的延时进行调整。

实施例2

如图2所示，一种基于非线性自回归神经网络的能见度测量方法，包括如下步骤：

步骤一、设置数据存储格式：每一个样本至少包括温度，相对湿度，PM2.5浓度，风速，前向散射光强，能见度参考值六项指标，按时间顺序收集历史观测样本，按预设格式存储。

进一步地，预设格式为CSV文件、TXT、MAT。

步骤二、数据标准化处理：读取存储数据，输入数据X=（温度，相对湿度，PM2.5浓度，风速，前向散射光强），参考输出值Y=能见度参考值；由于输入数据的温度、相对湿度、PM2.5浓度、风速、前向散射光强等指标的性质不同，具有不同的量纲和数量级，会影响到模型的训练，因此需要对温度、相对湿度、PM2.5浓度、风速和前向散射光强进行标准化处理，通过Z-Score标准化处理将输入数据按比例缩放到一个小的特定区间，消除数据之间的差异性，加速神经网络权重参数的收敛。

进一步地，在对数据进行Z-Score标准化之前，计算每种输入数据的以下信息，1）每种输入数据的均值μ，2）每种输入数据的标准差σ，3）每个样本输入数据的观测值x；再将以上三个值代入Z-Score的公式：

，即可得标准化处理后的输入值。

步骤三、模型构造：构造非线性自回归神经网络模型非线性自回归，并初始化模型参数，x_t表示t时刻的输入数据，输入延时阶数为n；y_t表示上述神经网络的输出，m是输出延时阶数，该模型的输出与输入关系式为：

其中，函数f为非线性自回归神经网络模拟的非线性函数；

步骤四、模型训练：实现输入层到输出层的非线性映射；采用RTRL（Real-TimeRecurrent Learning）算法作为非线性自回归神经网络的权值自适应调整算法，它是标准BP算法的简单扩展，分为正向传播和反向传播两个过程，在正向传播过程中，根据输入数据和初始化权重值w，计算输出值y以及y与给定参考值Y之间的损失值，如果损失值不在给定的范围内则进行反向传播的过程；否则停止权重w的更新学习；反向传播将输出以某种形式通过隐藏层向输入层逐层反传，并将误差分摊给各层的所有神经元，从而获得各层神经元的误差信号，此误差信号即作为修正各神经元权值w的依据。

RTRL算法的权重推导公式为：

其中，w表示非线性自回归神经网络的所有连接权重，当计算的是输入层到隐藏层的权值自适应调整算法时，式中w为w1，当计算的是隐藏层到输出层的权值自适应调整算法时，式中w为w2，η是学习速率，e是参考输出值Y与实际输出值y的差值，即参考能见度值与预测能见度值的差值，上标T表示矩阵转置。

损失值使用非线性自回归模型的输出值y_t与给定的输出参考值Y_t的均方误差RMSE，其计算公式如下：

若RMSE小于给定的阈值T_RMSE，这说明模型的精度已达标，停止训练，保存模型参数；若RMSE大于给定的阈值T_RMSE，说明模型精度不达标，需要继续通过反向传播进行反馈调节。

步骤五、模型评估：采用十折交叉验证评估模型的预测性能，既可以在一定程度上减小过拟合，还可以从有限的数据中获取尽可能多的有效信息。

步骤六、使用保存的模型进行能见度实时预测。

实施例3

在实施例2的基础上，本实施例进行具体说明：

采集能见度预测所需的相关参数的历史数据，包括温度，相对湿度，PM2.5浓度，风速，前向散射光强，能见度参考值等。

对采集到的温度，相对湿度，PM2.5浓度，风速，前向散射光强等数据进行Z-Score 标准化处理，计算每种数据的均值μ和标准差σ，再代入Z-Score标准化公式：

，得到归一化后的数据

。

构造非线性自回归神经网络预测模型。输出层构造5个神经元，负责接收模型外部输入的n阶延时数据和模型输出层的m阶延时输出。隐藏层神经元个数可根据模型训练过程手动调节，其中隐藏层神经元激活函数使用改进的ReLu激活函数，动态的自适应非线性激活。输出层构造一个神经元，用于计算模型的输出并将其反馈给输入层。采用RTRL算法作为权值自适应调整算法，均方误差RMSE作为性能评估指标。

非线性自回归神经网络模型训练与测试。采用十折交叉验证评估模型的预测性能。将标准化后的数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验，每次试验都会得出相应的准确率，取这10次的结果的准确率的平均值作为对算法精度的估计。然后进行多次10折交叉验证，再求其均值，作为最终的模型预测准确率。

保存训练好的模型，用于对能见度进行实时预测。

Claims (7)

1.一种基于非线性自回归神经网络的能见度测量系统，其特征在于：包括输入层模块、隐藏层模块、输出层模块、延时机制模块和反馈调节机制模块；其中

输入层模块：用于接收模型外部输入的信息和模型的动态m阶延时输出，输入层的神经元个数取决于输入信息的维度，其中m为输出延时阶数，m为自然数；输入层模块包括至少五个神经元，每一个神经元是一个可观测的指标，分别表示温度、相对湿度、PM2.5浓度、风速以及前向散射光强的观测数据；

隐藏层模块：通过调节输入层模块和隐藏层模块中神经元的连接权重w1，实现输入神经元自由组合；隐藏层模块包括n个神经元，代表使用n个非线性激活函数来逼近非线性函数；

输出层模块：通过调节隐藏层模块和输出层模块中神经元的连接权重w2，实现n个隐藏层神经元的组合无限逼近任意非线性函数，并输出模型预测的能见度值，同时也要将输出值传入输入层模块进行反馈调节；

延时机制模块：包括模型外部输入延时和模型输出延时，增加对历史数据的记忆能力，动态对历史数据的影响做调整；

反馈调节机制模块：对输出层的输出值进行精度评估，根据情况对模型的延时进行调整。

2.根据权利要求1所述的基于非线性自回归神经网络的能见度测量系统，其特征在于：隐藏层模块使用改进的ReLu激活函数对隐藏层的输入进行自适应非线性激活，其函数表达式如下：

其中z是神经元的输出， x是隐藏层模块中的神经元的输入，α是神经网络会自动学习调整的参数。

3.一种基于非线性自回归神经网络的能见度测量方法，其特征在于：包括如下步骤：

步骤一、设置数据存储格式：每一个样本至少包括温度，相对湿度，PM2.5浓度，风速，前向散射光强，能见度参考值六项指标，按时间顺序收集历史观测样本，按预设格式存储；

步骤二、数据标准化处理：读取存储数据，输入数据X=（温度，相对湿度，PM2.5浓度，风速，前向散射光强），参考输出值Y=能见度参考值；对温度、相对湿度、PM2.5浓度、风速和前向散射光强进行标准化处理，通过Z-Score标准化处理将输入数据按比例缩放到一个小的特定区间，消除数据之间的差异性，加速神经网络权重参数的收敛；

步骤三、模型构造：构造非线性自回归神经网络模型，并初始化模型参数，x_t表示t时刻的输入数据，输入延时阶数为n；y_t表示上述神经网络的输出，m是输出延时阶数，该模型的输出与输入关系式为：

其中，函数f为非线性自回归神经网络模拟的非线性函数，

为t-n时刻的输入，

为t-m时刻的输出；

步骤四、模型训练：实现输入层到输出层的非线性映射；采用RTRL算法作为非线性自回归神经网络的权值自适应调整算法，分为正向传播和反向传播两个过程，在正向传播过程中，根据输入数据和初始化权重值w，计算输出值y以及y与给定参考值Y之间的损失值，如果损失值不在给定的范围内则进行反向传播的过程；否则停止权重w的更新学习；反向传播将输出以某种形式通过隐藏层向输入层逐层反传，并将误差分摊给各层的所有神经元，从而获得各层神经元的误差信号，此误差信号即作为修正各神经元权值w的依据；

步骤五、模型评估：采用十折交叉验证评估模型的预测性能；

步骤六、使用保存的模型进行能见度实时预测。

4.根据权利要求3所述的基于非线性自回归神经网络的能见度测量方法，其特征在于：预设格式为CSV文件、TXT文件或MAT文件中的一种。

5.根据权利要求3所述的基于非线性自回归神经网络的能见度测量方法，其特征在于：步骤二中标准化处理是指计算每种输入数据的以下信息，每种输入数据的均值μ、每种输入数据的标准差σ、每个样本输入数据的观测值x；再将每种输入数据的均值μ、每种输入数据的标准差σ、每个样本输入数据的观测值x这三个值代入Z-Score的公式：

即可得标准化处理后的输入值。

6.根据权利要求3所述的基于非线性自回归神经网络的能见度测量方法，其特征在于：RTRL算法的权重推导公式为：

其中，

为“定义为”的意思，w表示非线性自回归神经网络的所有连接权重，当计算的 是输入层到隐藏层的权值自适应调整算法时，式中w为w1，w1为输入层模块和隐藏层模块中 神经元的连接权重，当计算的是隐藏层到输出层的权值自适应调整算法时，式中w为w2， w2 为隐藏层模块和输出层模块中神经元的连接权重，η是学习速率，e是参考输出值Y与实际输 出值y的差值，即参考能见度值与预测能见度值的差值，e_t为当前时刻的差值，d_xy表示对y求 偏导数，上标T表示矩阵转置，y_t表示神经网络的输出，t表示t时刻，m是输出延时阶数，t-m 是指t-m时刻。

7.根据权利要求6所述的基于非线性自回归神经网络的能见度测量方法，其特征在于：损失值使用非线性自回归模型的输出值y_t与给定的输出参考值Y_t的均方误差RMSE，其计算公式如下：

若RMSE小于给定的阈值T_RMSE，这说明模型的精度已达标，停止训练，保存模型参数；若RMSE大于给定的阈值T_RMSE，说明模型精度不达标，需要继续通过反向传播进行反馈调节。

Images