CN111754046A

CN111754046A - 面向结构化数据的深度卷积线性条件随机场的实现方法

Info

Publication number: CN111754046A
Application number: CN202010627948.5A
Authority: CN
Inventors: 余化鹏; 冯世杰; 罗喆; 常永鑫
Original assignee: Chengdu University
Current assignee: Chengdu University
Priority date: 2020-07-02
Filing date: 2020-07-02
Publication date: 2020-10-09

Abstract

本发明公开了一种面向结构化数据的深度卷积线性条件随机场的实现方法，应用在具有上下文联系的结构化数据预测场景，如空气质量预测，本方法基于深度卷积神经网络实现，当数据集的量级上升时，可以灵活的更改模型的结构用以适配当前数量的数据，模型训练的速度与典型的条件随机场相比有明显的提升，同时改善了预测的效果，预测结果更加准确。

Description

面向结构化数据的深度卷积线性条件随机场的实现方法

技术领域

本发明涉及神经网络预测技术，特别是一种面向结构化数据的深度卷积线性条件随机场的实现方法。

背景技术

城市的空气质量与人民的生活息息相关，城市随着人类文明和经济的发展，空气污染愈发严重。如何改善空气质量、合理进行大气环境质量预测预警变得越来越重要，根据空气质量预测，采取相应措施如带口罩，规划出行安排，保护自己免受空气污染物的侵害。

传统的空气质量预测方法一般仅考虑把原始数据作为预测模型的特征，而原始数据并不能充分体现数据的统计学特性，如集中趋势和离散趋势，这必然严重影响预测结果的准确性。因此，现有技术出现了利用条件随机场进行预测的方式，其考虑了上下文标记间的转移概率，以序列化形式进行全局参数优化和解码。线性条件随机场应用于具有上下文联系的数据的预测与分类；具有时间关联性、部分空间关联性以及上下文语义等的结构化数据预测，均可使用线性条件随机场进行预测分类。

但，对不同数量量级的数据进行训练及预测时，传统的CRF实现算法(如CRF++)无法调整自身来提升模型效果，以及在数据数量庞大时，传统的条件随机场实现算法(如CRF++)无法发挥所有数据的潜力。

发明内容

本发明的发明目的在于：针对现有技术进行空气质量预测时，传统的CRF实现算法(如CRF++)无法调整自身来提升模型效果、无法发挥所有数据的潜力的问题，提供一种面向结构化数据的深度卷积线性条件随机场的实现方法。

为了实现上述目的，本发明采用的技术方案为：

一种面向结构化数据的深度卷积线性条件随机场的实现方法，包括如下步骤：

S1训练出最优模型(最优模型为根据训练集训练出来的最优的模型)，具体包括步骤S11-S15：

S11采集多个站点的污染物数据；污染物数据包括气象数据和车流数据以及污染物的污染浓度；

S12采用线性函数归一化将污染物数据进行预处理，将得到的气象加车流列表与相对应的污染浓度列表作为训练集；

S13构建两个输出张量不同的深度卷积神经网络；两个张量分别代表线性条件随机场的状态特征函数与转移特征函数的输出结果；

S14采用极大似然的方法构建损失函数；

S15将训练集输入到两个构建好的神经网络中，输出两个特定纬度的不同张量；将张量代入线性条件随机场的损失函数中迭代优化，得到最优模型的模型参数；

S2将待测站点的气象数据和车流数据输入所述最优模型，得到待测站点污染物的污染浓度。

一种面向结构化数据的深度卷积线性条件随机场的实现方法，应用在具有上下文联系的结构化数据预测场景，如空气质量预测，本方法基于深度卷积神经网络实现，当数据集的量级上升时，可以灵活的更改模型的结构用以适配当前数量的数据，模型训练的速度与典型的条件随机场相比有明显的提升，同时改善了预测的效果，预测结果更加准确。

优选的，所述步骤S11包括：

监测每个监测站点的污染物数据，每个站点隔一定时间测试一次周围的气象、车流以及污染物的污染浓度，将站点检测的数据按照时间顺序填入表格；其中气象为风速、风向、温度、湿度、气压，车流为N种不同车型的数量,N大于0。

优选的，所述车流为10种不同车型的数量。

优选的，所述步骤S12包括：

采用线性函数归一化对污染物的气象数据和车流数据进行等比例缩放，转换为[0,1]的范围内，采用公式如下：

x_norm＝x-x_min/x_max-x_min

x_norm为归一化后的数据，x为污染物数据，x_min是污染物数据中的最小值，x_max是污染物数据中的最大值；

预处理后得到一个15×1320维的气象加车流列表，即训练数据，设为X；另一个相对应的污染浓度列表为1×1320维，即标签，设为Y；

将气象加车流列表及相对应的污染浓度列表分为训练集和测试集；其中，训练集的X1为15×1200(数据量×维度)，Y1为1×1200；测试集的X2为15×120，Y2为1×120。

优选的，所述步骤S13包括：

采用连续帧标注的线性条件随机场，计算条件概率：

状态特征函数h(y_k+1；X)和特征转移函数g(y_k,y_k+1；X)，都通过深度神经网络来构建；将训练集输入两个深度卷积神经网络，分别得到两个函数关于数据x的相关输出，用特定维数的张量表示；关于归一化因子Z(x)采用递归的方式实现。

优选的，所述步骤S14所述损失函数：

-logP(y₁,...,y_n|X)X＝(x₁,...,x_n)

计算损失函数等于

优选的，所述步骤S15中，采用梯度下降的方法进行迭代优化，采用循环的方式实现迭代优化的过程，并设置循环停止条件：

|l_i-1-l_i|＜ε

其中，l_i-1和l_i分别为第(i-1)次和第i次优化结果，ε为任意正实数。

优选的，所述步骤S2包括：

S21在测试集上，使用训练后得到的最优参数Θ，神经网络输出状态特征函数和特征转移函数，从而算出条件随机场P(Y|X)；

S22根据S21求出的条件随机场P(Y|X)，输入序列X2，利用维特比算法计算条件概率最大的PM10污染浓度序列y^*:

一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上任一项所述的方法。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明的一种面向结构化数据的深度卷积线性条件随机场的实现方法，应用在具有上下文联系的结构化数据预测场景，如空气质量预测，本方法基于深度卷积神经网络实现，当数据集的量级上升时，可以灵活的更改模型的结构用以适配当前数量的数据，模型训练的速度与典型的条件随机场相比有明显的提升，同时改善了预测的效果，预测结果更加准确。

附图说明

图1为本发明的流程图示意图。

图2为深度卷积神经网络的模块结构图。

图3为迭代优化流程图。

图4为本发明提供的电子设备的结构示意图。

具体实施方式

下面结合附图，对本发明作详细的说明。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

如图1，一种面向结构化数据的深度卷积线性条件随机场的实现方法，包括：

1.采集污染物数据，包括：1a)在重庆环保局中选择2019年6月1号到6月5号的PM10的每个监测站点的污染物数据，监测范围以1.5米为半径，总共有11个站点。

1b)每个站点每小时测试一次周围的气象(风速、风向、温度、湿度、气压)、车流(十种不同车型的数量)以及污染物PM10的污染浓度。

1c)将站点监测的数据按照时间顺序填入excle表中。

2.将数据做预处理，并分为训练集和测试集，其中测试集的数据为渝中区站点所测的数据，其他站点数据作为训练集。

2a)采用线性函数归一化对污染物的气象数据和车流数据进行等比例缩放，转换为[0,1]的范围内，采用公式如下：

x_norm＝x-x_min/x_max-x_min

2b)得到一个15×1320维的气象加车流列表，即训练数据，设为X；另一个相对应的污染浓度列表为1×1320维，即标签，设为Y。

2c)将2b)中的列表分为训练集(X1为15×1200，Y1为1×1200)和测试集(X2为15×120，Y2为1×120)。

3.根据线性条件随机场的原理，采用一维CNN神经网络，构建两个输出张量不同的深度卷积神经网络，如图2。构建神经网络，按如下步骤：

3a)线性条件随机场主要应用于连续帧标注，计算条件概率：

P(y₁,...,y_n|X),X＝(x₁,...,x_n)

y₁和y_n是连续帧中每一帧的标签，x₁和x_n是第一个和第n个数据，X是数据的合集。上述条件概率是指数族分布；在条件随机场中，输出之间的关联只发生在相邻位置，并且这种关联是指数加性的。综上，条件概率可以写为：

其中，Z(x)是归一化因子，h(y_k+1；X)是状态特征函数，g(y_k,y_k+1；X)是特征转移函数。

3b)由于神经网络基于数据拥有强大的拟合能力，深度神经网络由三层一维卷积模块和一层全连接模块构成，用该神经网络构建状态特征函数h(y_k+1；X)和特征转移函数g(y_k,y_k+1；X)。

4.为了可以使用深度学习框架训练，需要构建一个可导的损失函数。

4a)采用极大似然的方法构建损失函数：

-logP(y₁,...,y_n|X)X＝(x₁,...,x_n)

作为损失函数，计算出它等于：

状态特征函数h与转移特征函数g使用深度卷积神经网络构建，归一化因子Z(x)使用递归的方法实现，得到一个可导的损失函数。

5.如图3，将训练集输入到两个构建好的神经网络中，输出两个特定维度的不同张量，再将它们代入线性条件随机场的损失函数中迭代优化。

5a)将训练集数据输入到已构建好的神经网络中，得到两个不同张量，即状态特征函数和状态转移函数。

5b)将步骤4中构建得到的损失函数作为优化目标，采用梯度下降的方法迭代优化。采用循环的方式实现迭代优化的过程，并设置循环停止条件：|l_i-1-l_i|＜ε，l_i-1和l_i分别为第(i-1)次和第i次优化结果，ε为任意正实数。

5c)根据5b)可得出最优化的模型参数。

6.将测试集输入到最优模型中得到预测的PM10浓度标签，按如下步骤进行：

6a)在训练集上通过深度神经网络和迭代函数得到模型的最优化参数Θ；

6b)在测试集上，使用训练后得到的最优参数Θ，神经网络输出状态特征函数和特征转移函数，从而算出条件随机场P(Y|X)；

6c)根据6b)求出的条件随机场P(Y|X)，输入序列X2，利用维特比算法计算条件概率最大的PM10污染浓度序列:

传统CRF++的方法准确率为83.81％，本发明方法在污染物PM10效果上获得了90.58％的较高精度。

如图4所示，根据本发明示例性实施例的电子设备(例如具备程序执行功能的计算机服务器)，其包括至少一个处理器，电源，以及与所述至少一个处理器通信连接的存储器和输入输出接口；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一实施例所公开的方法；所述输入输出接口可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据；电源用于为电子设备提供电能。

本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种面向结构化数据的深度卷积线性条件随机场的实现方法，其特征在于，包括如下步骤：

S1训练出最优模型，具体包括步骤S11-S15：

S14采用极大似然的方法构建损失函数；

2.根据权利要求1所述的方法，其特征在于，所述步骤S11包括：

3.根据权利要求2所述的方法，其特征在于，所述车流为10种不同车型的数量。

4.根据权利要求3所述的方法，其特征在于，所述步骤S12包括：

x_norm＝x-x_min/x_max-x_min

将气象加车流列表及相对应的污染浓度列表分为训练集和测试集；其中，训练集的X1为15×1200，Y1为1×1200；测试集的X2为15×120，Y2为1×120。

5.根据权利要求4所述的方法，其特征在于，所述步骤S13包括：

采用连续帧标注的线性条件随机场，计算条件概率：

6.根据权利要求5所述的方法，其特征在于，所述步骤S14所述损失函数：

-logP(y₁,...,y_n|X)X＝(x₁,...,x_n)

计算损失函数等于

7.根据权利要求6所述的方法，其特征在于，所述步骤S15中，采用梯度下降的方法进行迭代优化，采用循环的方式实现迭代优化的过程，并设置循环停止条件：

|l_i-1-l_i|＜ε

8.根据权利要求7所述的方法，其特征在于，所述步骤S2包括：

9.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的方法。