CN114648180B

CN114648180B - 一种基于能源行业生产数据进行实时动态预测的方法

Info

Publication number: CN114648180B
Application number: CN202210547142.4A
Authority: CN
Inventors: 刘昊松; 陈鹏; 袁洪波
Original assignee: CLP Cloud Digital Intelligence Technology Co Ltd
Current assignee: Zhongdian Cloud Computing Technology Co ltd
Priority date: 2022-05-20
Filing date: 2022-05-20
Publication date: 2022-10-28
Anticipated expiration: 2042-05-20
Also published as: CN114648180A

Abstract

本发明公开了一种基于能源行业生产数据进行实时动态预测的方法，本发明是将预设能源行业的生产数据进行数据解析和特征标准化处理，通过根据历史生产数据统计需要进行异常告警的时刻，形成训练集的标注结果，然后基于标注结果训练业务逻辑的回归分析的因变量，最终得到预设能源行业的预测分析预警模型，并通过预测分析预警模型对该预设能源行业的未来一段时间的生产情况进行实时预警，从而提前分析预测未来运行状况，如有异常可以提前做出调整，避免延迟效应，继而有效解决现有不能很好地对能源行业的生产情况进行有效预测的问题。

Description

一种基于能源行业生产数据进行实时动态预测的方法

技术领域

本发明涉及能源技术领域，特别是涉及一种基于能源行业生产数据进行实时动态预测的方法。

背景技术

当前，大数据技术与机器学习应用受到了广泛关注，但是现有的能源行业并不能有效实现对生成情况进行有效预测。以电力行业燃烧发电为例，煤炭、生物质燃烧发电过程中，蒸汽压力对发电功率造成直接影响，而主蒸汽压力直接由火焰燃烧情况决定。在燃料燃烧的控制过程中，若当前时刻发现发电功率、主蒸汽压产生波动下降，则需增加燃料量、风量以便增强燃烧，使得压力上升。然而这一过程中，因为是当前时刻人工发现压力下降需要提升，才增加燃料量与进风量，而这一动作执行后所增加的燃料需要延迟进入炉膛燃烧，后续才能引起气压升高，因此上述的操作过程，会有一段明显的延迟反应。

发明内容

本发明提供了一种基于能源行业生产数据进行实时动态预测的方法，以解决现有技术中不能很好地对能源行业的生产情况进行有效预测的问题。

本发明提供了一种基于能源行业生产数据进行实时动态预测的方法，该方法包括：获取预设能源行业生产过程中所产生的生产数据，并对所述生产数据进行数据解析和特征标准化处理；按照业务逻辑对解析和特征标准化处理后的历史生产数据进行统计，根据历史生产数据统计需要进行异常告警的时刻，并形成训练集的标注结果，基于所述标注结果训练该业务逻辑的回归分析的因变量；通过对所述预设能源行业中各个业务逻辑的标注结果训练对应业务逻辑的回归分析的因变量，得到所述预设能源行业的预测分析预警模型，通过所述预测分析预警模型对该预设能源行业的未来预设时间段内的生产情况进行实时预警，以对所述预设能源行业的生产进行实时指导。

可选地，通过所述预测分析预警模型对该预设能源行业的未来预设时间段内的生产进行实时预警，包括：通过所述预测分析预警模型，按照当前时刻，根据业务逻辑周期进行时间序列预测，以预测业务指标未来预设时间段内是否存在预警情况，如果存在则进行预警。

可选地，所述时间序列预测是根据最新数据进行实时修正的，通过实时修正所述时间序列预测，以实现所述预测分析预警模型的实时动态更新。

可选地，所述时间序列预测是基于Plpython实现，按照Python语言实现auto.arima的过程计算系统参数返回使得AIC/BIC最小的阶数参数p、d、q的值，并保存记录，用于每次训练时更新Arima的参数。

可选地，将历史生产数据中的指标、标注结果按照业务逻辑进行时间对齐，整理出具有实际物理意义的完整且能够进行逻辑回归分析的数据表，以供后续查询和训练使用。

可选地，所述将预设能源行业生产过程中所产生的生产数据存储到分布式数据库中之后，对所述分布式数据中所存储的生产数据进行数据解析和特征标准化处理之前，所述方法包括：

将GreenPlum作为大数据存储查询体系，接入所述分布式数据库，以对所述分布式数据中所存储的生产数据进行数据解析和特征标准化处理。

可选地，所述方法还包括：对所述预测分析预警模型的预警进行正确性判断，并将预设周期段内判定为正确的预警数据进一步对所述预测分析预警模型进行训练，以提高所述预测分析预警模型预警的准确性。

可选地，所述预设能源行业为以下中的一种或多种：燃烧发电行业、水力发电行业、风力发电行业和太阳能发电行业。

可选地，当所述预设能源行业为燃烧发电行业时，所述通过所述预测分析预警模型对该预设能源行业的未来预设时间段内的生产进行实时预警，包括：

通过所述预测分析预警模型来根据当前的生产的平均功率和压力数据，并结合历史生产的平均功率和压力数据逻辑的回归分析的因变量，确定当前燃烧发电的未来预设时间段内是否构成预警，如果是则进行预警。

可选地，当确定当前燃烧发电的未来预设时间段内不构成预警，则时间对齐燃料量和风量。

本发明有益效果如下：

本发明是将预设能源行业的生产数据进行数据解析和特征标准化处理，通过根据历史生产数据统计需要进行异常告警的时刻，形成训练集的标注结果，然后基于标注结果训练业务逻辑的回归分析的因变量，最终得到预设能源行业的预测分析预警模型，并通过预测分析预警模型对该预设能源行业的未来一段时间的生产情况进行实时预警，从而提前分析预测未来运行状况，如有异常可以提前做出调整，避免延迟效应，继而有效解决现有不能很好地对能源行业的生产情况进行有效预测的问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的一种基于能源行业生产数据进行实时动态预测的方法的流程示意图；

图2是本发明实施例提供的另一种基于能源行业生产数据进行实时动态预测的方法的流程示意图。

具体实施方式

以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

为了解决现有在发现压力下降需要提升后，才增加燃料量与进风量，而增加的燃料需要延迟进入炉膛燃烧，后续才能引起气压升高，而造成明显的延迟反应等问题，本发明实施例提供了一种基于能源行业生产数据进行实时动态预测的方法，参见图1，该方法包括：

S101、获取预设能源行业生产过程中所产生的生产数据，并对所述生产数据进行数据解析和特征标准化处理；

具体实施时，本发明实施例是将所获取的生产数据存储到分布式数据库中，在具体存储时，可以根据所获取的生产数据的类型来将生产数据存储到对应的分布式数据库中，例如，将燃料传输所产生的生产数据存储到分布式数据库中的第一数据库中，而将能源行业的用电数据存储到分布式数据库中的第二数据库中，等等，本发明实施例通过对生产数据的分布式存放，可以便于后续对生产数据的解析、特征标准化处理等等，当然具体的存放形式是可以根据实际需要进行存放的，本发明对此不作具体限定。

在完成对生产数据的分布式存放后，本发明实施例需要进一步对所述分布式数据中所存储的生产数据进行数据解析和特征标准化处理，以备后续训练模型以及其他调取使用。

需要说明的是，由于分布式数据库中具备并行能力，能够高效率实现，所以本发明实施例是将所获取的生产数据存储到分布式数据库中。

具体实施时，本发明实施例是将预设能源行业生产过程中所产生的生产数据存储到分布式数据库中，将分布式数据库系统GreenPlum（底层为Postgresql集群）作为大数据存储查询体系，接入所述分布式数据库，以对所述分布式数据中所存储的生产数据进行数据解析和特征标准化处理。从而实现分布对所存储的生产数据进行数据解析和特征标准化处理，提高处理效率，以满足不同的数据处理需求。

S102、按照业务逻辑对解析和特征标准化处理后的历史生产数据进行统计，根据历史生产数据统计需要进行异常告警的时刻，并形成训练集的标注结果，基于所述标注结果训练该业务逻辑的回归分析的因变量；

具体来说，本发明实施例是基于业务逻辑来对生产数据进行统计和标注，本发明实施例中的业务逻辑可以是基于各种业务指标来划分的，具体该业务指标可以是达到某一设定的温度条件的指标，或者是维持某一空气洁净度的指标，等等。具体本领域技术人员可以根据需要进行任意设置。

S103、通过对所述预设能源行业中各个业务逻辑的标注结果训练对应业务逻辑的回归分析的因变量，得到所述预设能源行业的预测分析预警模型，通过所述预测分析预警模型对该预设能源行业的未来预设时间段内的生产情况进行实时预警，以对所述预设能源行业的生产进行实时指导。

也即，本发明实施例是通过对各个业务逻辑进行标注结果训练，最终得到该预设能源行业的预测分析预警模型，并通过该预测分析预警模型来对未来预设时间段内的生产情况进行实时预警，从而提前分析预测未来运行状况，如有异常可以提前做出调整，避免延迟效应，实现对预设能源行业的生产进行实时指导，继而有效解决现有不能很好地对能源行业的生产情况进行有效预测的问题。

需要说明的是，本发明实施例中的预设能源行业可以是燃烧发电行业、水力发电行业、风力发电行业和太阳能发电行业，当然也可以是其他各种生成能源的行业。

具体实施时，本发明实施例中，通过所述预测分析预警模型对该预设能源行业的未来预设时间段内的生产进行实时预警，包括：通过预测分析预警模型，按照当前时刻，根据业务逻辑周期进行时间序列预测，以预测业务指标未来预设时间段内是否存在预警情况，如果存在则进行预警。

即，本发明实施例中的预测分析预警模型是根据业务逻辑周期进行时间序列预测，来预测业务指标未来预设时间段内是否存在预警情况。

具体本发明实施例中的时间序列预测是基于Plpython实现，按照Python语言实现auto.arima的过程计算系统参数返回使得AIC/BIC最小的阶数参数p、d、q（即时间序列模型需要的阶数参数）的值，并保存记录，用于每次训练时更新Arima的参数。

也就是说，本发明实施例对于时间序列预测一直是根据最新数据修正p、d、q参数值，即，本发明实施例的计算方法是从历史数据中循环p、d、q参数值，算出AIC/BIC最小的p、q记录下来，d的值一般为1，例如，对10*10阶，就是p、q的取值范围分别是0到10，计算100个值获得最小AIC/BIC，并将对应的p、q值记录下来。

也就是说，本发明实施例中的时间序列预测是根据最新数据进行实时修正的，而本发明实施例通过实时修正该时间序列预测，能够实现对预测分析预警模型的实时动态更新，从而使得本发明实施例中的预测分析预警模型具备了动态训练的可行性，时刻能够根据新增数据训练新的参数出来再进行时间序列训练推荐，最终使得本发明实施例所述的方法能够更为准确地进行预警。

换而言之，本发明实施例中的模型可以一直根据最新数据进行训练修正最佳pdq参数的值，所以本发明实施例的模型是不同于现有的模型的。

简单来说，本发明是在一段时间的历史数据训练完成后，未来持续产生更新数据，基于新数据对历史数据的预测结果进行校准，并按照时间的推移持续保持新数据的训练，以确保每次推理时使用的模型里被训练的数据更加接近当前情况（即：今天的外界情况跟昨天的训练数据相似，但夏天的环境跟冬天的训练数据不相似）。

针对在较大数据情况下做一次p、d、q定阶计算往往比较耗时，本发明实施例通过预设的高效率的自动定阶代码来为动态训练提供了可能性以及运行环境，在本发明实施例的自动定阶代码下，可以对当前数据前一天的数据一直更新训练获得其pdq，从而有效避免时间序列预测的系统误差，提高模型预测的准确性。

需要说明的是，本发明实施例中时间序列预测：Arima模型即移动平均自回归模型。时间序列分析法是根据过去数据的变化趋势预测未来的发展，具体计算出未来某时间段的数值，即系数p、d、q。

具体实施时，本发明实施例中的自动定阶代码为：

create table testa(ts int,v float);

truncate testa

[1.1,2.2,3.3,4.4,5,5.6,5.2,4.8,6.2,7.1,6.1,5.1]

insert into testa values

(1,1.1),

(2,2.2),

(3,3.3),

(4,4.4),

(5,5),

(6,5.6),

(7,5.2),

(8,4.8),

(9,6.2),

(10,7.1),

(11,6.1),

(12,5.1);

--chown -R postgres:postgres /mnt

--su postgres

--cd /mnt

--wget https://bootstrap.pypa.io/pip/3.6/get-pip.py

--python3 get-pip.py

--pip3 install pandas

--pip3 install statsmodels

create extension plpython3u;

CREATE OR REPLACE FUNCTION arima_pdq(tablename text,tsname text,colname text,pmax int,qmax int) RETURNS text AS

$BODY$

from statsmodels.tsa.arima_model import ARIMA

import pandas as pd

import numpy

query_v = "select " + colname + " from " + tablename + " order by " +tsname

r_v = plpy.execute(query_v)

list_v = []

for iter_v in r_v:

list_v.append(float(iter_v[colname]))

data = pd.DataFrame({'v':list_v})

data['v'] = data['v'].astype(float)

p_record = 0

q_record = 0

v_record = None

for p in range(pmax + 1):

for q in range(qmax + 1):

try:

v_tmp = ARIMA(data, (p, 1, q)).fit().bic

if not numpy.isnan(v_tmp):

if v_record is None:

v_record = v_tmp

p_record = p

q_record = q

else:

if v_tmp < v_record:

v_record = v_tmp

p_record = p

q_record = q

except:

continue

return str(p_record)+',1,'+str(q_record)

$BODY$

LANGUAGE plpython3u;

select arima_pdq('testa','ts','v',10,10)

本发明实施例中的自动定阶代码如上使用plpython实现，对比单机python代码在同样服务器性能下，单机python代码实现8万条数据的10*10阶自动定阶计算需要24小时以上，plpython得益于postgresql底层的进程级并行，不到10分钟；3*3阶单机python需要1小时，plpython只用19秒。

所以本发明实施例的自动定阶代码具有高效率，进而为动态训练提供了可能性以及运行环境。

具体实施时，本发明实施例中的计算方法就是根据历史生产数据中循环p，q的值，算出AIC/BIC最小的p，q记录下来，d的值一般为1就行了。所谓10*10阶，就是p，q的取值范围分别是0到10，计算100个值看谁的AIC/BIC最小。

在具体实施时，本发明实施例所述方法还包括：将历史生产数据中的指标、标注结果按照业务逻辑进行时间对齐，整理出具有实际物理意义的完整且能够进行逻辑回归分析的数据表，以供后续查询和训练使用。

需要说明的是，本发明实施例在对所述预测分析预警模型的预警进行正确性判断，并将预设周期段内判定为正确的预警数据进一步对所述预测分析预警模型进行训练，以提高所述预测分析预警模型预警的准确性。

具体实施时，当所述预设能源行业为燃烧发电行业时，所述通过所述预测分析预警模型对该预设能源行业的未来预设时间段内的生产进行实时预警，包括：通过所述预测分析预警模型来根据当前的生产的平均功率和压力数据，并结合历史生产的平均功率和压力数据逻辑的回归分析的因变量，确定当前燃烧发电的未来预设时间段内是否构成预警，如果是则进行预警，而当确定当前燃烧发电的未来预设时间段内不构成预警，则时间对其燃料量和风量。

下面将结合图2，以燃烧发电为例来对本发明实施例所述的方法进行详细的解释和说明：

本发明主要基于能源行业做出分布式数据库结合机器学习的体系来实现预警分析的，本发明实施例所述的方法包括：

使用GreenPlum作为大数据存储查询体系，接入能源行业OPC数据；

外部程序实现进程调度，包括OPC数据实时接入、数据解析、特征标准化；

按照业务逻辑对历史数据进行统计，根据历史数据情况统计判断需要异常告警的时刻，并形成训练集的标注结果（用于逻辑回归分析的因变量）；

按照当前时刻，根据业务逻辑周期进行时间序列预测，采用Arima算法基于Madlib（基于Postgresql/GreenPlum的机器学习引擎，实现了各种类别的机器学习方法，调用方法与SQL函数相似）实现，预测业务指标（用于逻辑回归的自变量）未来一段时间的数值。其中时间序列预测自动定阶段基于Plpython实现，按照Python语言实现auto.arima的过程计算系统参数返回使得AIC/BIC最小的p、d、q的值，并保存记录，用于每次训练时更新Arima的参数；

历史数据中的指标、标注结果按照业务逻辑进行时间对齐，整理出具有实际物理意义的完整可进行逻辑回归分析的数据表；

基于Madlib定时完成逻辑回归训练（如每五分钟训练一次），且完成后续推理预测。

例如，使用历史数据预测未来时刻的结果，通过大数据分析当前时刻前150秒的平均功率、压力，判断是否已构成预警条件，若不构成预警，则时间对齐燃料量、风量，使用当前日期前一天的历史数据计算时间序列模型的PDQ，当前时刻，使用时间序列模型预测未来150秒的燃料量、风量。对历史数据进行逻辑回归模型训练，预测的燃料量、风量形成特征数据，进行逻辑回归预测，产生预测未来150秒的分析结果，并完成统计。

总体来说，本发明实施例是通过对各个业务逻辑进行标注结果训练，最终得到该预设能源行业的预测分析预警模型，并通过该预测分析预警模型来对未来预设时间段内的生产情况进行实时预警，从而实现对预设能源行业的生产进行实时指导。继而有效解决了现有不能很好地对能源行业的生产情况进行有效预测的问题。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims

1.一种基于能源行业生产数据进行实时动态预测的方法，其特征在于，包括：

获取预设能源行业生产过程中所产生的生产数据，并对所述生产数据进行数据解析和特征标准化处理；

按照业务逻辑对解析和特征标准化处理后的历史生产数据进行统计，根据历史生产数据统计需要进行异常告警的时刻，并形成训练集的标注结果，基于所述标注结果训练该业务逻辑的回归分析的因变量；

通过对所述预设能源行业中各个业务逻辑的标注结果训练对应业务逻辑的回归分析的因变量，得到所述预设能源行业的预测分析预警模型，通过所述预测分析预警模型对该预设能源行业的未来预设时间段内的生产情况进行实时预警，以对所述预设能源行业的生产进行实时指导；

通过所述预测分析预警模型对该预设能源行业的未来预设时间段内的生产进行实时预警，包括：

通过所述预测分析预警模型，按照当前时刻，根据业务逻辑周期进行时间序列预测，以预测业务指标未来预设时间段内是否存在预警情况，如果存在则进行预警；

所述时间序列预测是根据最新数据进行实时修正的，通过实时修正所述时间序列预测，以实现所述预测分析预警模型的实时动态更新；

所述时间序列预测是基于Plpython实现，按照Python语言实现auto.arima的过程计算系统参数返回使得AIC/BIC最小的阶数参数p、d、q的值，并保存记录，用于每次训练时更新Arima的参数；

将历史生产数据中的指标、标注结果按照业务逻辑进行时间对齐，整理出具有实际物理意义的完整且能够进行逻辑回归分析的数据表，以供后续查询和训练使用；

所述获取预设能源行业生产过程中所产生的生产数据之后，对所述生产数据进行数据解析和特征标准化处理之前，所述方法包括：

将预设能源行业生产过程中所产生的生产数据存储到分布式数据库中，将GreenPlum作为大数据存储查询体系，接入所述分布式数据库，以对所述分布式数据中所存储的生产数据进行数据解析和特征标准化处理；

所述方法还包括：对所述预测分析预警模型的预警进行正确性判断，并将预设周期段内判定为正确的预警数据进一步对所述预测分析预警模型进行训练，以提高所述预测分析预警模型预警的准确性；

当所述预设能源行业为燃烧发电行业时，所述通过所述预测分析预警模型对该预设能源行业的未来预设时间段内的生产进行实时预警，包括：

通过所述预测分析预警模型来根据当前的生产的平均功率和压力数据，并结合历史生产的平均功率和压力数据逻辑的回归分析的因变量，确定当前燃烧发电的未来预设时间段内是否构成预警，如果是则进行预警；

所述预设能源行业为燃烧发电行业。

2.根据权利要求1所述的方法，其特征在于，

当确定当前燃烧发电的未来预设时间段内不构成预警，则时间对齐燃料量和风量。