CN115964636B - 基于机器学习和动态阈值的燃气流量异常检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器学习和动态阈值的燃气流量异常检测方法及系统。该方法首先对燃气流量计上传的标况累积流量数据进行重采样、插值、差分等操作，构建标况流量增量序列数据集，通过在流量使用特征中融合日期信息加强对特征的提取，并使用卷积自编码网络技术挖掘流量使用特征。最后根据卷积自编码网络生成标况流量增量重构序列，使用动态重构误差阈值技术完成对流量异常值的检测。本发明基于燃气流量使用数据，通过机器学习方法提取燃气流量使用特征，并基于该特征完成流量异常值检测，具有精度高、可扩展性强等特点，可以即使捕捉异常信息，为相关人员提供指导。

Description

基于机器学习和动态阈值的燃气流量异常检测方法及系统

技术领域

本发明涉及数据异常检测领域，尤其涉及一种基于机器学习和动态阈值的燃气流量异常检测方法及系统。

背景技术

随着经济社会的不断发展和进步，在绿色环保理念的推动下，使用绿色清洁能源的理念越来越深入人心。其中，天然气的计量发展和使用是当下社会经济发展和提升环境质量，推动绿色环保的必然要求和重要趋势。相比较传统的煤炭污染，天然气不论是作为能源的优势还是在绿色环保方面都脱颖而出。正是由于天然气这种明显优势，它被广泛地应用在社会发展中的各行各业。

因表具故障或者人为因素，会导致燃气流量计的流量出现异常，及时发现这类异常可以及时进行巡检干预。传统的针对流量的异常检测方法往往只是简单的通过设定阈值进行异常的检测，其中阈值的设定需要专业人员参与。然而传统的异常检测方法并不能发现流量序列中存在的深层次的异常信息。另一方面，针对不同的表具数据，传统的异常检测方法设定的阈值往往是固定的，并不能针对特定的使用情况进行自动调整，因此传统检测方法可能存在更大的偏差。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于机器学习和动态阈值的燃气流量异常检测方法及系统，可有效解决上述问题。

本发明具体采用的技术方案如下：

第一方面，本发明提供了一种基于机器学习和动态阈值的燃气流量异常检测方法及系统，其包括以下步骤：

S1、对所有燃气用户的燃气流量计上传的标况累计流量序列分别进行均值重采样，并以线性插值方式填充空缺值，再对标况累计流量重采样序列进行一阶差分，得到不同燃气流量计各自对应的标况流量增量序列；

S2、针对S1中得到的所有标况流量增量序列，分别以天为单位从中提取出日增量序列X_i，并针对每条日增量序列生成时间信息编码C_i，每条日增量序列以及对应的时间信息编码构成一个训练样本；任意一天的的时间信息编码包括这一天属于星期几的第一编码信息以及这一天是否为节假日的第二编码信息；

S3、利用S2中得到的训练样本集合，以基于一维卷积的自编码网络模型为机器学习模型进行训练，使其能够以日增量序列和时间信息编码为输入，生成重构序列；所述基于一维卷积的自编码网络模型由第一CNN卷积层、池化层、上采样层、第二CNN卷积层、第三CNN卷积层和全连接层级联而成；

S4、针对目标燃气用户和需要进行异常检测的目标时段，从其对应的燃气流量计上传的数据中提取并处理生成目标时段内的标况流量增量序列；将目标时段内的标况流量增量序列按照与所述训练样本相同的构建方式生成其中每一天的日增量序列和时间信息编码，再通过S3训练后得到的自编码网络模型生成目标时段内的重构序列；计算目标时段内的重构序列与目标时段内的标况流量增量序列之间的误差序列，利用固定长度的滑窗对误差序列进行扫描，每个滑窗内分别通过指数加权移动平均误差分布进行动态阈值检测，判断是否存在超过动态阈值的序列异常值，若存在则视为在异常值对应时刻存在燃气流量异常情况。

作为上述第一方面的优选，所述S1具体包括以下子步骤：

S11、获取每个燃气用户的燃气流量计采集的原始标况累计流量序列，并对其进行均值重采样，生成具有固定间隔Δt的重采样流量序列m为重采样之后的序列长度；均值重采样过程中将原始序列中流量值缺失的重采样点置为空值；

S12、对S11中得到的重采样流量序列Q中的空值点通过线性插值进行补全，以空值点两侧的流量值均值填充至空值点，从而得到重采样流量插值序列Q′；

S13、对S12得到的重采样插值序列Q′进行一阶差分，得到标况流量增量序列D＝(d₁,d₂,…,d_m)，其中d_j为流量计在一个重采样时间间隔内的标况累计流量增加量，j＝1,2,…,m；所有燃气用户的标况流量增量序列D构成序列数据集。

作为上述第一方面的优选，所述S2具体包括以下子步骤：

S21、针对序列数据集中的每一条标况流量增量序列，以天为单位从中提取一系列长度为h的日增量序列，日期i对应的日增量序列为X_i；

S22、针对S21中提取的每条日增量序列X_i，判断其对应的日期i属于星期几以及是否为节假日，然后通过独热编码生成有日期i属于星期几的第一编码信息以及日期i是否为节假日的第二编码信息/>组成的时间信息编码C_i；

S23、将每条日增量序列X_i以及对应的时间信息编码C_i构成一个训练样本，所有训练样本构成训练样本集合。

作为上述第一方面的优选，所述S3具体包括以下子步骤：

S31、将训练样本集合中的训练样本输入基于一维卷积的自编码网络模型中，对于任一训练样本其中维度1×h的日增量序列X_i先输入至第一CNN卷积层中，使用u个宽度为l1的一维卷积核和u个宽度为l2的一维卷积核分别对其进行卷积操作；其中一个宽度为l的一维卷积核的卷积操作过程表示为：

其中，l＝l1或l2；为第一CNN卷积层中宽度为l的一维卷积核的输出，其维度为1×h；/>是宽度为l的一维卷积核进行卷积操作时的可学习参数矩阵，/>为偏置项参数，f为Relu激活函数；

将第一CNN卷积层中2u个一维卷积核的卷积结果进行组合，得到2×h的第一卷积结果；

S32、将S31中得到的第一卷积结果输入至池化层中，进行最大池化操作后再输入至上采样层中进行上采样操作，输出2×h的上采样结果O_s；

S33、将S32中上采样操作输出的上采样结果O_s输入至第二CNN卷积层中，使用u个宽度为l1的一维卷积核和u个宽度为l2的一维卷积核分别对O_s进行卷积操作；其中一个宽度为l的一维卷积核的卷积操作过程表示为：

其中，l＝l1或l2；为第二CNN卷积层中宽度为l的一维卷积核的输出，其维度为1×h；/>是宽度为l的一维卷积核进行卷积操作时的可学习参数矩阵，/>为偏置项参数，f为Relu激活函数；

将第二CNN卷积层中2u个一维卷积核的卷积结果进行组合，得到2×h的第二卷积结果；

S34.将S33中得到的第二卷积结果输入至第三CNN卷积层中，使用1个宽度为1的一维卷积核对/>进行卷积操作，过程表示为：

其中为第三CNN卷积层的输出，其维度为1×h；/>是宽度为1的一维卷积核进行卷积操作时的可学习参数矩阵，/>为偏置项参数，f为Relu激活函数；

S35、将第三CNN卷积层输出的第三卷积结果和日期信息编码中的第一编码信息第二编码信息/>拼接，输入至全连接层中，该全连接层的隐藏层单元数为h，过程表示为：

其中为全连接层的输出，即自编码网络模型对每天日增量序列X_i的重构序列，w_d是全连接网络的可学习参数矩阵，b_d为偏置项参数；

S36、以X_i与的均方根误差作为损失函数，利用所述训练样本集合不断迭代训练基于一维卷积的自编码网络模型，最小化网络对X_i与/>的损失值，当达到迭代终止条件时，停止训练，训练得到的自编码网络模型能够以日增量序列X_i和时间信息编码/>和/>为输入，生成重构序列/>

作为上述第一方面的优选，所述S4具体包括以下子步骤：

S41、针对需要进行异常检测的目标燃气用户，根据获取其对应的燃气流量计上传的标况累计流量序列，再根据需要进行异常检测的目标时段从中提取相应子序列并按照S1中相同的均值重采样、线性插值补全和一阶差分处理后形成目标时段内的标况流量增量序列D＝(d₁,d₂,…,d_m′)，m′代表目标时段经过重采样后的流量值总数；再将提取的序列按照S1和S2中构建训练样本相同的方式生成其中每一天的日增量序列X_i和时间信息编码C_i，i∈[1,n′]，n′＝m′/h表示目标时段的总天数；

S42、将n′天的日增量序列X_i和时间信息编码C_i分别输入S3中训练后得到的自编码网络模型中，得到每天的重构序列将n′天的重构序列/>按序拼接，形成标况流量增量重构序列/>m′＝n′×h代表目标时段经过重采样后的流量值总数；

S43、计算目标时段内的标况流量增量序列D与标况流量增量重构序列的序列重构绝对误差e＝[e₁,e₂,…,e_m′]，其中/>

S44、对序列重构绝对误差e进行指数加权滑动平均(exponential weightedmoving average,EWMA)操作，得到重构序列EWMA误差利用滑窗从重构序列EWMA误差e^s中提取滑窗内误差序列，其中第i个滑窗内误差序列为i∈[1,m/w]，w为滑窗宽度，相邻两个滑窗之间没有重叠；

S45、针对S44中提取的每个滑窗内误差序列首先在数值倍数选择范围[a,b]中遍历数值倍数z，并针对每个数值倍数z计算动态异常误差阈值/>其中为/>的均值，/>为/>的标准差，然后再从所有z对应的ε中选择出最佳动态异常误差阈值/>选择原则为：

其中 |e_a|为/>中异常点数量，所述异常点为序列值超过ε的点，E_seq为/>中存在的连续异常点子序列个数，所述连续异常点子序列中连续的异常点数量至少为两个；

S46、遍历重构序列EWMA误差e^s中的每一个滑窗内误差序列判断/>中是否有序列值超过/>对应的最佳动态异常误差阈值/>若/>中存在超过/>的序列值则将其作为异常点并判断对应时刻存在燃气流量异常情况；全部遍历完毕后，输出异常检测结果。

作为上述第一方面的优选，所述的时间间隔Δt取1h，所述日增量序列的长度为24。

作为上述第一方面的优选，所述基于一维卷积的自编码网络模型中，第一CNN卷积层和第二CNN卷积层中，取16，宽度l1取3，宽度l2取5。

作为上述第一方面的优选，所述S44中，滑窗宽度w取168。

作为上述第一方面的优选，所述S45中，数值倍数选择范围[a,b]为[2.5,12.5]，遍历该范围时的间隔取0.5。

第二方面，本发明提供了一种基于卷积自编码网络和动态阈值的燃气流量异常检测系统，其包括：

序列数据获取模块，用于对所有燃气用户的燃气流量计上传的标况累计流量序列分别进行均值重采样，并以线性插值方式填充空缺值，再对标况累计流量重采样序列进行一阶差分，得到不同燃气流量计各自对应的标况流量增量序列；

训练样本构建模块，用于针对序列数据获取模块中得到的所有标况流量增量序列，分别以天为单位从中提取出日增量序列X_i，并针对每条日增量序列生成时间信息编码C_i，每条日增量序列以及对应的时间信息编码构成一个训练样本；任意一天的的时间信息编码包括这一天属于星期几的第一编码信息以及这一天是否为节假日的第二编码信息；

模型训练模块，用于利用训练样本构建模块中得到的训练样本集合，训练基于一维卷积的自编码网络模型，使其能够以日增量序列和时间信息编码为输入，生成重构序列；所述基于一维卷积的自编码网络模型由第一CNN卷积层、池化层、上采样层、第二CNN卷积层、第三CNN卷积层和全连接层级联而成；

异常检测模块，用于针对目标燃气用户和需要进行异常检测的目标时段，从其对应的燃气流量计上传的数据中提取并处理生成目标时段内的标况流量增量序列；将目标时段内的标况流量增量序列按照与所述训练样本相同的构建方式生成其中每一天的日增量序列和时间信息编码，再通过模型训练模块训练后得到的自编码网络模型生成目标时段内的重构序列；计算目标时段内的重构序列与目标时段内的标况流量增量序列之间的误差序列，利用固定长度的滑窗对误差序列进行扫描，每个滑窗内分别通过指数加权移动平均误差分布进行动态阈值检测，判断是否存在超过动态阈值的序列异常值，若存在则视为在异常值对应时刻存在燃气流量异常情况。

相对于现有技术而言，本发明提出的基于机器学习和动态阈值的燃气流量异常检测方法及系统，具有如下有益效果：

1、本发明基于燃气流量使用数据，通过机器学习方法提取燃气流量使用特征，并基于该特征完成流量异常值检测，具有精度高、可扩展性强等特点，可以即使捕捉异常信息，为相关人员提供指导。

2、本发明通过建立融合了时间信息的卷积自编码网络，更好地实现了对用户流量使用特征的提取。

3、本发明方法通过动态阈值方法综合考虑用户的不同用气状态，阈值会随着使用场景的不同进行动态的调整，能更好地对异常序列进行识别，提高了检测结果的准确性。

附图说明

图1为本发明方法的流程图；

图2为本发明训练用于提取用户流量使用特征的卷积自编码网络示意图；

图3为本发明与对照方法的实验结果对比图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

如图1所示，本发明提供了一种基于机器学习和动态阈值的燃气流量异常检测方法及系统，该方法首先对燃气流量计上传的标况累积流量数据进行重采样、线性插值插值、一阶差分等操作，从而构建为标况流量增量序列数据集。利用该标况流量增量序列数据集可训练一个机器学习模型，从而通过在流量使用特征中融合日期信息加强对特征的提取，并使用机器学习模型挖掘流量使用特征。最后根据卷积自编码网络生成标况流量增量重构序列，使用动态重构误差阈值技术完成对流量异常值的检测。

在本发明的一个较佳实施例中，上述基于机器学习和动态阈值的燃气流量异常检测方法具体包括S1～S4步骤，下面对各步骤的具体实现方式进行展开描述。

S1、对所有燃气用户的燃气流量计上传的标况累计流量序列分别进行均值重采样，并以线性插值方式填充空缺值，再对标况累计流量重采样序列进行一阶差分，得到不同燃气流量计各自对应的标况流量增量序列。

在本发明的实施例中，上述步骤S1具体包括以下子步骤：

S11、获取每个燃气用户的燃气流量计采集的原始标况累计流量序列，并对其进行均值重采样，生成具有固定间隔Δt的重采样流量序列m为重采样之后的序列长度；均值重采样过程中将原始序列中无流量值的重采样点置为空值；

S12、对S11中得到的重采样流量序列Q中的空值点通过线性插值进行补全，以空值点两侧的流量值均值填充至空值点，从而得到重采样流量插值序列Q′；

S13、对S12得到的重采样插值序列Q′进行一阶差分，得到标况流量增量序列D＝(d₁,d₂,…,d_m)，其中d_j为流量计在一个重采样时间间隔内的标况累计流量增加量，j＝1,2,…,m；所有燃气用户的标况流量增量序列D构成序列数据集。

燃气流量计上传的标况累计流量序列，因各种原因会存在大量数据缺失，因此对其进行重采样可以改善序列数据的质量。本实施例中，采用的均值重采样方法是将时间间隔Δt内的所有原始流量值进行平均作为重采样后流量值的一种做法，具体而言生成的重采样流量序列t_k+1-t_k＝Δt，其中重采样流量值/>n′为介于t_k和t_k+1时间内原始标况累计流量值的数量，若t_k和t_k+1时间区间内无流量值，则置为空值。

上述重采样的固定间隔Δt可根据实际进行优化调整，本实施例中采用Δt为1小时，因此每一天的序列都以一小时为间隔重采样，重采样的值记为一个小时内所有流量值的均值，一天的日序列包含了24个重采样后的流量值。

需要说明的是，上述S1中用来构建形成序列数据集的所有燃气用户的燃气流量计上传的标况累计流量序列，可以是在线采集的，也可是离线的历史数据，对此不作限制。

S2、针对S1中得到的所有标况流量增量序列，分别以天为单位从中提取出日增量序列X_i，并针对每条日增量序列生成时间信息编码C_i，每条日增量序列以及对应的时间信息编码构成一个训练样本；任意一天的的时间信息编码包括这一天属于星期几的第一编码信息以及这一天是否为节假日的第二编码信息。

在本发明的实施例中，上述步骤S2具体包括以下子步骤：

S21、针对序列数据集中的每一条标况流量增量序列，以天为单位从中提取一系列长度为h的日增量序列，日期i对应的日增量序列为X_i。

本发明的实施例中，第i天的流量增量序列可表示为X_i＝[d_i×h-h+1,d_i×h-h+2,…,d_i×h],∈[1,n]，n表示从一条标况流量增量序列中提取的日增量序列数量，h为经时间间隔Δt重采样后每天的流量值数量。由于前述重采样以1小时为间隔，因此以天为单位提取的日增量序列长度h为24，即包含24小时的标况流量增量值。

S22、针对S21中提取的每条日增量序列X_i，判断其对应的日期i属于星期几以及是否为节假日，然后通过独热(One-hot)编码生成有日期i属于星期几的第一编码信息以及日期i是否为节假日的第二编码信息/>组成的时间信息编码C_i。

S23、将每条日增量序列X_i以及对应的时间信息编码C_i构成一个训练样本，所有训练样本构成训练样本集合。

为了便于模型进行训练，可按照传统的模型训练数据集的做法，将训练样本集合分割为训练部分和测试部分，这属于现有技术，不再具体展开描述。

S3、利用S2中得到的训练样本集合，以基于一维卷积的自编码网络模型为用于检测的机器学习模型，训练该基于一维卷积的自编码网络模型，使其能够以日增量序列和时间信息编码为输入，生成重构序列；所述基于一维卷积的自编码网络模型由第一CNN卷积层、池化层、上采样层、第二CNN卷积层、第三CNN卷积层和全连接层级联而成。如图2所示，展示了该基于一维卷积的自编码网络模型的具体结构，其中的卷积层1、卷积层2和卷积层3分别代表第一CNN卷积层、第二CNN卷积层、第三CNN卷积层。

在本发明的实施例中，上述步骤S3具体包括以下子步骤：

S31、将训练样本集合中的训练样本输入基于一维卷积的自编码网络模型中，对于任一训练样本其中维度1×h的日增量序列X_i先输入至第一CNN卷积层中，使用u个宽度为l1的一维卷积核和u个宽度为l2的一维卷积核分别对其进行卷积操作；其中一个宽度为l的一维卷积核的卷积操作过程表示为：

其中，l＝l1或l2；为第一CNN卷积层中宽度为l的一维卷积核的输出，其维度为1×h；/>是宽度为l的一维卷积核进行卷积操作时的可学习参数矩阵，/>为偏置项参数，f为Relu激活函数。

将第一CNN卷积层中2u个一维卷积核的卷积结果进行组合，得到2×h的第一卷积结果；

S32、将S31中得到的第一卷积结果输入至池化层中，进行最大池化操作后再输入至上采样层中进行上采样操作，输出2×h的上采样结果O_s；

S33、将S32中上采样操作输出的上采样结果O_s输入至第二CNN卷积层中，使用u个宽度为l1的一维卷积核和u个宽度为l2的一维卷积核分别对O_s进行卷积操作；其中一个宽度为l的一维卷积核的卷积操作过程表示为：

其中，l＝l1或l2；为第二CNN卷积层中宽度为l的一维卷积核的输出，其维度为1×h；/>是宽度为l的一维卷积核进行卷积操作时的可学习参数矩阵，/>为偏置项参数，f为Relu激活函数。

需要特别说明的是，在日增量序列X_i经过一维卷积核的卷积操作后，其维度应当保持不变，即依然是1×h维。因此，为了保持输入输出的维度不变，上述第一CNN卷积层中的一维卷积核需要加入padding操作。

将第二CNN卷积层中2u个一维卷积核的卷积结果进行组合，得到2×h的第二卷积结果。

S34.将S33中得到的第二卷积结果输入至第三CNN卷积层中，使用1个宽度为1的一维卷积核对/>进行卷积操作，过程表示为：

其中为第三CNN卷积层的输出，其维度为1×h；/>是宽度为1的一维卷积核进行卷积操作时的可学习参数矩阵，/>为偏置项参数，f为Relu激活函数。

需要特别说明的是，由于一维卷积核的卷积操作会改变输出向量的维度，因此上述各CNN卷积层中可对一维卷积核加入padding操作，使得各卷积层中的卷积结果满足相应要求。

S35、将第三CNN卷积层输出的第三卷积结果和日期信息编码中的第一编码信息/>第二编码信息/>拼接，输入至全连接层中，该全连接层的隐藏层单元数为h，过程表示为：

其中为全连接层的输出，即自编码网络模型对每天日增量序列X_i的重构序列，w_d是全连接网络的可学习参数矩阵，b_d为偏置项参数。

上述基于一维卷积的自编码网络模型中，第一CNN卷积层和第二CNN卷积层中需要采用不同宽度的一维卷积核进行卷积，以便于提取不同时间长度的信息。在本实施例中，经过优化，取16，宽度l1取3，宽度l2取5。即第一CNN卷积层和第二CNN卷积层中，需要用16个宽度为3的一维卷积核和16个宽度为5的一维卷积核进行卷积，再对卷积结果进行融合。

S36、以X_i与的均方根误差RMSE作为损失函数，利用前述训练样本集合不断迭代训练基于一维卷积的自编码网络模型，最小化网络对X_i与/>的损失值，当达到迭代终止条件时，停止训练，训练得到的自编码网络模型能够以日增量序列X_i和时间信息编码/>和/>为输入，生成重构序列/>

需要说明的是，自编码网络模型的训练属于现有技术，可将训练样本数据集中的训练部分用于对模型进行训练，而测试部分则用于对模型进行验证。迭代终止条件可设置为达到最大训练轮数或者模型收敛。在本发明的实施例中，迭代终止条件可设置为迭代轮次达到150次或者损失函数值小于0.1。

S4、针对目标燃气用户和需要进行异常检测的目标时段，从其对应的燃气流量计上传的数据中提取并处理生成目标时段内的标况流量增量序列；将目标时段内的标况流量增量序列按照与所述训练样本相同的方式生成其中每一天的日增量序列和时间信息编码，再通过S3训练后得到的自编码网络模型生成目标时段内的重构序列；计算目标时段内的重构序列与目标时段内的标况流量增量序列之间的误差序列，利用固定长度的滑窗对误差序列进行扫描，每个滑窗内分别通过指数加权移动平均误差分布进行动态阈值检测，判断是否存在超过动态阈值的序列异常值，若存在则视为在异常值对应时刻存在燃气流量异常情况。

在本发明的实施例中，上述步骤S4具体包括以下子步骤：

S41、针对需要进行异常检测的目标燃气用户，根据获取其对应的燃气流量计上传的标况累计流量序列，再根据需要进行异常检测的目标时段从中提取相应子序列并按照S1中相同的均值重采样、线性插值补全和一阶差分处理后形成目标时段内的标况流量增量序列D＝(d₁,d₂,…,d_m′)，m′代表目标时段经过重采样后的流量值总数；再将提取的序列按照S1和S2中构建训练样本相同的方式生成其中每一天的日增量序列X_i和时间信息编码C_i，i∈[1,n′]，n′＝m′/h表示目标时段的总天数。

需要说明的是，此处的目标燃气用户是具体需要进行异常检测的用户，可根据实际的检测需求进行指定。另外，需要进行异常检测的目标时段也可根据实际的检测需要进行指定，由于本发明中的模型的而输入是日增量序列，因此目标时段一般以天为单位进行指定，一共n′天，n′为不小于1的整数。目标燃气用户对应的燃气流量计上传的标况累计流量序列中，目标时段范围内的这部分序列记为后续需要进行异常检测的对象。对于这一段目标时段内的标况累计流量序列，将其处理为标况流量增量序列、日增量序列X_i和时间信息编码C_i的具体过程可参照前述S1和S2中构建训练样本时的做法，对此不作展开说明。

S42、将n′天的日增量序列X_i和时间信息编码C_i分别输入S3中训练后得到的自编码网络模型中，得到每天的重构序列i∈[1,n′]。将n′天的重构序列/>按序拼接，形成标况流量增量重构序列/>m′＝′×h代表目标时段经过重采样后的流量值总数，/>是由n′天的重构序列/>组成的，即/>为第1天的重构序列，为第2天的重构序列，以此类推。

S43、计算目标时段内的标况流量增量序列D与标况流量增量重构序列的序列重构绝对误差e＝[e₁,e₂,…,e_m′]，其中e中的每个元素是由D与/>中对应位置的元素的绝对差值，即/>

S44、对序列重构绝对误差e进行指数加权滑动平均(exponential weightedmoving average,EWMA)操作，得到重构序列EWMA误差利用滑窗从重构序列EWMA误差e^s中提取滑窗内误差序列，其中第i个滑窗内误差序列为i∈[1,m/w]，w为滑窗宽度，相邻两个滑窗之间没有重叠。

需说明的是，上述EWMA方法属于现有技术，其中的超参数为衰减率，具体取值可根据实际情况进行优化。在本实施例中，衰减率β优选取14。

上述滑窗宽度w需要根据实际的数据情况进行优化，在本发明的实施例中优选取168。

S45、针对S44中提取的每个滑窗内误差序列首先在数值倍数选择范围[a,b]中遍历数值倍数z，并针对每个数值倍数z计算动态异常误差阈值/>其中为/>的均值，/>为/>的标准差，然后再从所有z对应的ε中选择出最佳动态异常误差阈值/>选择原则为：

其中 为每个滑窗内误差序列/>的均值，/>为每个滑窗内误差序列/>的标准差，表示当前滑窗内误差序列/>内满足e^s<的非异常点的均值，表示当前滑窗内误差序列/>内满足e^s<的非异常点的标准差。|e_a|为/>中异常点数量，异常点为序列值超过ε的点即满足序列值/>的点，E_seq为/>中存在的连续异常点子序列个数。需说明的是，此处连续异常点子序列中连续的异常点数量至少为两个，即/>中如果存在两个或两个以上连续的满足e^s≥ε的异常点，则视为是一段连续异常点子序列。

S46、遍历重构序列EWM误差e^s中的每一个滑窗内误差序列判断/>中是否有序列值超过/>对应的最佳动态异常误差阈值/>若/>中存在超过/>的序列值则将其作为异常点并判断对应时刻存在燃气流量异常情况；全部滑窗内误差序列/>遍历完毕后，输出全部的异常检测结果。

需说明的是，上述数值倍数选择范围[a,b]需要根据实际的数据情况进行优化，在本发明的实施例中优选取[a,b]为[2.5,12.5]，且在遍历该范围时的间隔取0.5，即依次计算z＝2.5,3.0,3.5,…,12.5对应的动态异常误差阈值ε，再从中选择出最佳动态异常误差阈值

另外，基于与上述实施例中提供的一种基于机器学习和动态阈值的燃气流量异常检测方法相同的发明构思，本发明的另一较佳实施例中提供了一种基于卷积自编码网络和动态阈值的燃气流量异常检测系统，该检测系统包括以下功能模块：

序列数据获取模块，用于对所有燃气用户的燃气流量计上传的标况累计流量序列分别进行均值重采样，并以线性插值方式填充空缺值，再对标况累计流量重采样序列进行一阶差分，得到不同燃气流量计各自对应的标况流量增量序列；

训练样本构建模块，用于针对序列数据获取模块中得到的所有标况流量增量序列，分别以天为单位从中提取出日增量序列X_i，并针对每条日增量序列生成时间信息编码C_i，每条日增量序列以及对应的时间信息编码构成一个训练样本；任意一天的的时间信息编码包括这一天属于星期几的第一编码信息以及这一天是否为节假日的第二编码信息；

模型训练模块，用于利用训练样本构建模块中得到的训练样本集合，训练基于一维卷积的自编码网络模型，使其能够以日增量序列和时间信息编码为输入，生成重构序列；所述基于一维卷积的自编码网络模型由第一CNN卷积层、池化层、上采样层、第二CNN卷积层、第三CNN卷积层和全连接层级联而成；

异常检测模块，用于针对目标燃气用户和需要进行异常检测的目标时段，从其对应的燃气流量计上传的数据中提取并处理生成目标时段内的标况流量增量序列；将目标时段内的标况流量增量序列按照与所述训练样本相同的构建方式生成其中每一天的日增量序列和时间信息编码，再通过模型训练模块训练后得到的自编码网络模型生成目标时段内的重构序列；计算目标时段内的重构序列与目标时段内的标况流量增量序列之间的误差序列，利用固定长度的滑窗对误差序列进行扫描，每个滑窗内分别通过指数加权移动平均误差分布进行动态阈值检测，判断是否存在超过动态阈值的序列异常值，若存在则视为在异常值对应时刻存在燃气流量异常情况。

由于上述基于机器学习和动态阈值的燃气流量异常检测方法解决问题的原理与本发明上述实施例的基于卷积自编码网络和动态阈值的燃气流量异常检测系统相似，因此该实施例中系统的各模块具体实现形式未尽之处亦可参见上述S1～S4所示方法部分的具体实现形式，重复之处不再赘述。

另外需要说明的是，上述实施例提供的系统中，各模块在被执行是相当于是按序执行的程序模块，因此其本质上是执行了一种数据处理的流程。且所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的各实施例中，所述方法和系统中对于步骤或者模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或步骤可以结合或者可以集成到一起，一个模块或者步骤亦可进行拆分。

下面本发明将进一步通过一个具体实例，来展示上述实施例中基于机器学习和动态阈值的燃气流量异常检测方法及系统在具体实例上的详细实现过程，以便于理解本发明的实质。

实施例

本实施例步骤与具体实施方式相同，在此不再进行赘述。下面就部分实施过程和实施结果进行展示：

本实施例所用的原始数据为浙江苍南仪表集团股份有限公司提供的真实燃气流量使用数据。随机选取其中3个表具，表具1，2，3分别包含17287，17182，16626条流量记录。按照本发明前述S1～S4所示的方法进行数据处理，并输入模型中进行训练，最后使用训练好的模型进行流量异常检测。

为了验证本发明技术方案的技术效果，通过人工添加异常点方法向流量序列数据中添加异常点，异常值的计算公式如下：

其中，等号右侧的x为原始数据，等号左侧的x为添加的异常点数据，mean,var为滑动窗口平均值和方差，为总体均值，/>

为了便于叙述，将本发明前述S1～S4所示的方法称为ConvAE&Date，同时为了展示本发明中引入时间信息编码C_i的作用，将ConvAE&Date中的自编码网络模型的输入改为仅采用日增量序列X_i，而缺失时间信息编码C_i，其余做法与S1～S4所示的方法一致，由此形成的方法称为方法ConvAE。在本实施例中，ConvAE&Date和ConvAE的部分参数选择如下：时间间隔Δt取1小时，日增量序列长度为24小时。u取16，宽度l1和l2分别取3和5。模型训练的迭代终止条件设置为迭代轮次达到150次或者损失函数值小于0.1。指数加权滑动平均时的衰减率β取14，滑窗宽度w取168。[a,b]中遍历数值倍数z时的间隔s取0.5，范围下限a为2.5，范围上限b为12.5。

本实施例的实验将ConvAE和ConvAE&Date与若干传统预测方法进行了比较，作为对照的预测方法有：(1)OCSVM：支持向量机是一类对数据进行二元分类的广义线性分类器；(2)Isolation Forest是一个基于Ensemble的快速异常检测方法；(3)Autoencoder(AE)是多层神经网络的一种非监督式学习算法。实验以检测结果的精确率(precision)、召回率(recall)和F1值(f1 score)作为检测评估指标。

实验结果如图3所示，以表具1的检测结果为例，本发明的方法ConvAE，在F1值的表现上分别比OCSVM和AE高出14.3％，11.4％；此外本发明的方法ConvAE&Date在F1值的表现上分别比OCSVM，Isolation Forest和AE高出57.2％，35.2％，53.2％。可见本发明提出的一种基于机器学习和动态阈值的燃气流量异常检测方法及系统的有效性。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (8)

1.一种基于机器学习和动态阈值的燃气流量异常检测方法，其特征在于，包括以下步骤：

S1、对所有燃气用户的燃气流量计上传的标况累计流量序列分别进行均值重采样，并以线性插值方式填充空缺值，再对标况累计流量重采样序列进行一阶差分，得到不同燃气流量计各自对应的标况流量增量序列；

S2、针对S1中得到的所有标况流量增量序列，分别以天为单位从中提取出日增量序列X_i，并针对每条日增量序列生成时间信息编码C_i，每条日增量序列以及对应的时间信息编码构成一个训练样本；任意一天的时间信息编码包括这一天属于星期几的第一编码信息以及这一天是否为节假日的第二编码信息；

S3、利用S2中得到的训练样本集合，以基于一维卷积的自编码网络模型为机器学习模型进行训练，使其以日增量序列和时间信息编码为输入，生成重构序列；所述基于一维卷积的自编码网络模型由第一CNN卷积层、池化层、上采样层、第二CNN卷积层、第三CNN卷积层和全连接层级联而成；

S4、针对目标燃气用户和需要进行异常检测的目标时段，从其对应的燃气流量计上传的数据中提取并处理生成目标时段内的标况流量增量序列；将目标时段内的标况流量增量序列按照与所述训练样本相同的构建方式生成其中每一天的日增量序列和时间信息编码，再通过S3训练后得到的自编码网络模型生成目标时段内的重构序列；计算目标时段内的重构序列与目标时段内的标况流量增量序列之间的误差序列，利用固定长度的滑窗对误差序列进行扫描，每个滑窗内分别通过指数加权移动平均误差分布进行动态阈值检测，判断是否存在超过动态阈值的序列异常值，若存在则视为在异常值对应时刻存在燃气流量异常情况；

所述S2具体包括以下子步骤：

S21、针对所有标况流量增量序列中的每一条标况流量增量序列，以天为单位从中提取一系列长度为h的日增量序列，日期i对应的日增量序列为X_i；

S22、针对S21中提取的每条日增量序列X_i，判断其对应的日期i属于星期几以及是否为节假日，然后通过独热编码生成有日期i属于星期几的第一编码信息以及日期i是否为节假日的第二编码信息/>组成的时间信息编码C_i；

S23、将每条日增量序列X_i以及对应的时间信息编码C_i构成一个训练样本，所有训练样本构成训练样本集合；

所述S4具体包括以下子步骤：

S41、针对需要进行异常检测的目标燃气用户，获取其对应的燃气流量计上传的标况累计流量序列，再根据需要进行异常检测的目标时段从中提取相应子序列并按照S1中相同的均值重采样、线性插值补全和一阶差分处理后形成目标时段内的标况流量增量序列D＝(d₁,d₂,…,d_m′)，m′代表目标时段经过重采样后的流量值总数；再将提取的序列按照S1和S2中构建训练样本相同的方式生成其中每一天的日增量序列X_i和时间信息编码C_i，i∈[1,n′]，n′＝m′/h表示目标时段的总天数；

S42、将n′天的日增量序列X_i和时间信息编码C_i分别输入S3中训练后得到的自编码网络模型中，得到每天的重构序列将n′天的重构序列/>按序拼接，形成标况流量增量重构序列/>m′＝n′×h代表目标时段经过重采样后的流量值总数；

S43、计算目标时段内的标况流量增量序列D与标况流量增量重构序列的序列重构绝对误差e＝[e₁,e₂,…,e_m′]，其中/>

S44、对序列重构绝对误差e进行指数加权滑动平均EWMA操作，得到重构序列EWMA误差利用滑窗从重构序列EWMA误差e^s中提取滑窗内误差序列，其中第i′个滑窗内误差序列为/>w为滑窗宽度，相邻两个滑窗之间没有重叠；m为重采样之后的序列长度；

S45、针对S44中提取的每个滑窗内误差序列首先在数值倍数选择范围[a,b]中遍历数值倍数z，并针对每个数值倍数z计算动态异常误差阈值/>其中/>为/>的均值，/>为/>的标准差，然后再从所有z对应的ε中选择出最佳动态异常误差阈值选择原则为：

其中 |e_a|为/>中异常点数量，所述异常点为序列值超过ε的点，E_seq为/>中存在的连续异常点子序列个数，所述连续异常点子序列中连续的异常点数量至少为两个；

S46、遍历重构序列EWMA误差e^s中的每一个滑窗内误差序列判断/>中是否有序列值超过/>对应的最佳动态异常误差阈值/>若/>中存在超过/>的序列值则将其作为异常点并判断对应时刻存在燃气流量异常情况；全部遍历完毕后，输出异常检测结果。

2.如权利要求1所述的基于机器学习和动态阈值的燃气流量异常检测方法，其特征在于，所述S1具体包括以下子步骤：

S11、获取每个燃气用户的燃气流量计采集的原始标况累计流量序列，并对其进行均值重采样，生成具有固定间隔Δt的重采样流量序列m为重采样之后的序列长度；均值重采样过程中将原始标况累计流量序列中流量值缺失的重采样点置为空值；

S12、对S11中得到的重采样流量序列Q中的空值点通过线性插值进行补全，以空值点两侧的流量值均值填充至空值点，从而得到重采样流量插值序列Q′；

S13、对S12得到的重采样流量插值序列Q′进行一阶差分，得到标况流量增量序列D＝(d₁,d₂,…,d_m)，其中d_j为燃气流量计在一个重采样时间间隔内的标况累计流量增加量，j＝1,2,…,m；所有燃气用户的标况流量增量序列D构成序列数据集。

3.如权利要求1所述的基于机器学习和动态阈值的燃气流量异常检测方法，其特征在于，所述S3具体包括以下子步骤：

S31、将训练样本集合中的训练样本输入基于一维卷积的自编码网络模型中，对于任一训练样本其中维度1×h的日增量序列X_i先输入至第一CNN卷积层中，使用u个宽度为l1的一维卷积核和u个宽度为l2的一维卷积核分别对其进行卷积操作；其中一个宽度为l的一维卷积核的卷积操作过程表示为：

其中，l＝l1或l2；为第一CNN卷积层中宽度为l的一维卷积核的输出，其维度为1×h；/>是宽度为l的一维卷积核进行卷积操作时的可学习参数矩阵，/>为偏置项参数，f为Relu激活函数；

将第一CNN卷积层中2u个一维卷积核的卷积结果进行组合，得到2u×h的第一卷积结果；

S32、将S31中得到的第一卷积结果输入至池化层中，进行最大池化操作后再输入至上采样层中进行上采样操作，输出2u×h的上采样结果O_s；

S33、将S32中上采样操作输出的上采样结果O_s输入至第二CNN卷积层中，使用u个宽度为l1的一维卷积核和u个宽度为l2的一维卷积核分别对O_s进行卷积操作；其中一个宽度为l的一维卷积核的卷积操作过程表示为：

其中，l＝l1或l2；为第二CNN卷积层中宽度为l的一维卷积核的输出，其维度为1×h；是宽度为l的一维卷积核进行卷积操作时的可学习参数矩阵，/>为偏置项参数，f为Relu激活函数；

将第二CNN卷积层中2u个一维卷积核的卷积结果进行组合，得到2u×h的第二卷积结果/>

S34.将S33中得到的第二卷积结果输入至第三CNN卷积层中，使用1个宽度为1的一维卷积核对/>进行卷积操作，过程表示为：

其中，为第三CNN卷积层的输出，其维度为1×h；/>是宽度为1的一维卷积核进行卷积操作时的可学习参数矩阵，/>为偏置项参数，f为Relu激活函数；

S35、将第三CNN卷积层输出的第三卷积结果和时间信息编码中的第一编码信息/>第二编码信息/>拼接，输入至全连接层中，该全连接层的隐藏层单元数为h，过程表示为：

其中为全连接层的输出，即自编码网络模型对每条日增量序列X_i的重构序列，w_d是全连接网络的可学习参数矩阵，b_d为偏置项参数；

S36、以X_i与的均方根误差作为损失函数，利用所述训练样本集合不断迭代训练基于一维卷积的自编码网络模型，最小化网络对X_i与/>的损失值，当达到迭代终止条件时，停止训练，训练得到的自编码网络模型以日增量序列X_i和时间信息编码C_i为输入，生成重构序列

4.如权利要求2所述的基于机器学习和动态阈值的燃气流量异常检测方法，其特征在于，所述的固定间隔Δt取1小时，所述日增量序列的长度为24。

5.如权利要求3所述的基于机器学习和动态阈值的燃气流量异常检测方法，其特征在于，所述基于一维卷积的自编码网络模型中，第一CNN卷积层和第二CNN卷积层中，一维卷积核个数取16，宽度l1取3，宽度l2取5。

6.根据权利要求1所述的一种基于机器学习和动态阈值的燃气流量异常检测方法，其特征在于，所述S44中，滑窗宽度w取168。

7.如权利要求1所述的基于机器学习和动态阈值的燃气流量异常检测方法，其特征在于，所述S45中，数值倍数选择范围[a,b]为[2.5,12.5]，遍历该范围时的间隔取0.5。

8.一种基于卷积自编码网络和动态阈值的燃气流量异常检测系统，用于实现如权利要求1所述的基于机器学习和动态阈值的燃气流量异常检测方法，其特征在于，包括：

序列数据获取模块，用于对所有燃气用户的燃气流量计上传的标况累计流量序列分别进行均值重采样，并以线性插值方式填充空缺值，再对标况累计流量重采样序列进行一阶差分，得到不同燃气流量计各自对应的标况流量增量序列；

训练样本构建模块，用于针对序列数据获取模块中得到的所有标况流量增量序列，分别以天为单位从中提取出日增量序列X_i，并针对每条日增量序列生成时间信息编码C_i，每条日增量序列以及对应的时间信息编码构成一个训练样本；任意一天的时间信息编码包括这一天属于星期几的第一编码信息以及这一天是否为节假日的第二编码信息；

模型训练模块，用于利用训练样本构建模块中得到的训练样本集合，训练基于一维卷积的自编码网络模型，使其以日增量序列和时间信息编码为输入，生成日增量序列的重构序列；所述基于一维卷积的自编码网络模型由第一CNN卷积层、池化层、上采样层、第二CNN卷积层、第三CNN卷积层和全连接层级联而成；

异常检测模块，用于针对目标燃气用户和需要进行异常检测的目标时段，从其对应的燃气流量计上传的数据中提取并处理生成目标时段内的标况流量增量序列；将目标时段内的标况流量增量序列按照与所述训练样本相同的构建方式生成其中每一天的日增量序列和时间信息编码，再通过模型训练模块训练后得到的自编码网络模型生成目标时段内的重构序列；计算目标时段内的重构序列与目标时段内的标况流量增量序列之间的误差序列，利用固定长度的滑窗对误差序列进行扫描，每个滑窗内分别通过指数加权移动平均误差分布进行动态阈值检测，判断是否存在超过动态阈值的序列异常值，若存在则视为在异常值对应时刻存在燃气流量异常情况。