CN109685240B - 一种基于lstm深度学习的95598话务工单预测与异动预警方法 - Google Patents

一种基于lstm深度学习的95598话务工单预测与异动预警方法 Download PDF

Info

Publication number
CN109685240B
CN109685240B CN201811247204.XA CN201811247204A CN109685240B CN 109685240 B CN109685240 B CN 109685240B CN 201811247204 A CN201811247204 A CN 201811247204A CN 109685240 B CN109685240 B CN 109685240B
Authority
CN
China
Prior art keywords
learning
prediction
model
data
work order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811247204.XA
Other languages
English (en)
Other versions
CN109685240A (zh
Inventor
罗欣
张爽
沈皓
景伟强
朱蕊倩
魏骁雄
陈博
麻吕斌
葛岳军
陈奕汝
钟震远
叶红豆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Zhejiang Huayun Information Technology Co Ltd
Marketing Service Center of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Zhejiang Huayun Information Technology Co Ltd
Marketing Service Center of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Zhejiang Huayun Information Technology Co Ltd, Marketing Service Center of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN201811247204.XA priority Critical patent/CN109685240B/zh
Publication of CN109685240A publication Critical patent/CN109685240A/zh
Application granted granted Critical
Publication of CN109685240B publication Critical patent/CN109685240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于LSTM深度学习的95598话务工单预测与异动预警方法，涉及一种电力话务工单分析方法。目前人为通过同比、环比数值、增幅数值来确定异动阀值，不能实时、准确、科学地设定阀值，导致监控预警、问题定位、趋势预测能力不足。本发明基于LSTM神经网络深度学习技术，通过建立科学的指标异动预测模型，研究各项指标的数理关系，实现短期话务工单置信异动预测与智能预警应用。本技术方案更高效、更精益、更智能地从大量指标中取得指标分析预警，提高客服指标分析与质量管控的工作效率。弥补传统曲线拟合建模需要定期模型修正的不足，支持在线实时动态学习预测与预警分析，提升日常指标的监控预警、问题定位、趋势预测能力。

Description

一种基于LSTM深度学习的95598话务工单预测与异动预警 方法
技术领域
本发明涉及一种电力话务工单分析方法，尤其涉及一种基于LSTM 深度学习的95598话务工单预测与异动预警方法。
背景技术
如何短期预测话务工单异动预警成为95598日常分析工作重点和难点之一，历来依靠人工检阅数据、手工清理数据进行指标预测等方式已严重跟不上发展需求，分析模式单一、效率低下、及时性差且浪费人力资源。目前人为通过同比、环比数值、增幅数值来确定异动阀值，不能实时、准确、科学地设定阀值，导致监控预警、问题定位、趋势预测能力不足。
发明内容
本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于LSTM深度学习的95598话务工单预测与异动预警方法，以达到提高工作效率的目的。为此，本发明采取以下技术方案。
一种基于LSTM深度学习的95598话务工单预测与异动预警方法，其特征在于包括以下步骤：
1)获取分时话务数据和日工单数据；
2)对获取的样本数据进行分类；
3)获取训练样本；
4)根据输入一段时序的话务工单量，LSTM神经网络深度学习，优化创建话务工单预测模型；在进行LSTM神经网络深度学习前，通过对某一时刻的话务工单理论预测值与话务工单真实值进行异动预判，通过置信异动系数来辅助判定，如果超过异动系数则表明该时刻话务工单发生异动现象，则该时刻增量模型学习时需对输入时间序列数据进行处理，发生异动时刻的话务工单数据被替换为上一轮该时刻的话务工单理论值，以避免时间序列增量学习异动数据导致预测结果理论值准确性偏低的情况；
5)根据获取的分时话务数据和日工单数据，对在线话务工单数据库采样；
6)获取预测样本；
7)根据输入一段时序的话务工单量，通过话务工单预测模型进行话务工单预测；
8)将步骤7)得到的预测结果输出。
本技术方案基于LSTM神经网络深度学习技术，通过建立科学的指标异动预测模型，研究各项指标的数理关系，实现短期话务工单置信异动预测与智能预警应用。更高效、更精益、更智能地从大量指标中取得指标分析预警，提高客服指标分析与质量管控的工作效率。弥补传统曲线拟合建模需要定期模型修正的不足，支持在线实时动态学习预测与预警分析，提升日常指标的监控预警、问题定位、趋势预测能力。实现远程工作站接派单坐席、抢修资源调度、日常质检坐席与指标分析专员等多方面实现技术创新代替人力密集，达到减人增效的目的。
解决在时间序列学习预测过程中非正常异动突增话务工单数据对模型干扰而导致预测趋势变形问题，在时间序列学习预测过程中进行数据降噪，避免非正常异动突增话务工单数据剧烈波动影响预测模型。
作为优选技术手段：步骤4)包括以下子步骤：
401)定义学习模型参数，包括正则参数，迭代次数、学习速率、神经网络层数；
402)创建学习模型；
403)输入一段时序的话务工单量；
404)数据归一处理；
405)训练数据向量化，将一定时间序列的输入与目标输出按照已定义的学习模型参数进行向量数组实例化；
406)依次按供电单位、24小时或日类型、业务细分种类迭代学习；
407)判断是否小于学习迭代次数；若到达迭代次数，则进入步骤 411)，否则，进入步骤408)；
408)实时同步记录学习进度，包括当前学习次数、学习时间间隔；
409)LSTM网络随机梯度下降分组学习，进行偏向与权重学习更新；
410)分组学习完成重新初始化向量索引，返回步骤407)；
411)完成学习任务，将学习模型回写数据库。
作为优选技术手段：在步骤406)中，日类型包括工作日、周末、节假日；采用“一类一模型”的方式建立多个模型，以保证各个模型有针对性学习各自数据趋势轨迹以提高话务工单预测准确性。
作为优选技术手段：在步骤402)中，根据话务工单数据特征与预测业务需求，采用LSTM深度学习建模，设计LSTM神经网络模型结构与模型参数；
在LSTM深度学习算法结构设置中，设置6层网络结构，输入层神经元 10个，隐藏层神经元数分别为200、100、200、100，输出目标为1，并选用tanh非线性函数作为隐含层的激活函数，以identity函数为输出层激活函数。
作为优选技术手段：在步骤404)中，对各维度的时间序列样本输入数据进行归一化处理，将样本数据规范化至[0,1]的范围，当在数据预测过程中对目标输出进行反归一化，则计算公式如下：
式中：xi表示时间序列第i时刻的输入，x表示所有时间序列输入，yi表示归一化目标值。
作为优选技术手段：在步骤409)中，LSTM神经网络深度学习训练采用随机梯度下降算法对所有参数进行统一训练，以调整隐含层参数并最终获得输出层参数；
LSTM神经网络深度学习训练目的是找到能最小化二次损失函数C(w， b)的权重和偏向；
其中权重w和偏向b的更新规则方程如下：
其中Xk为所有话务工单学习训练样本中取第k个输入最小采样块，m 为所有话务工单学习训练样本分割最小采样块总数，η为学习步长，l表示所在网络层，为损失函数C(w，b)基于权重w微积分偏导，/>为损失函数C(w，b)基于偏向b微积分偏导。
作为优选技术手段：在步骤401)中，通过在模型训练与预测过程中比对损失函数下降曲线趋势和准确率来权衡话务工单预测模型参数设置。
作为优选技术手段：Batch大小设置为30，迭代次数取值108；结合图中损失函数与准确率趋势，学习速率设置为0.01；正则参数设置为0.001；隐藏层的激活函数选择tanh函数；动量系数为0.95。
作为优选技术手段：在步骤4)中，设置的异动系数为20％；异动预警阀值公式如下：
ywarn=ytheory×(1+δwarn)
其中ywarn表示公式中定义的话务工单置信异动区间，ytheory表示话务工单理论预测值，则δwarn表示置信异动系数。。
有益效果：
一、本技术方案基于深度学习技术，通过建立科学的指标异动预测模型，研究各项指标的数理关系，实现短期话务工单置信异动预测与智能预警应用。更高效、更精益、更智能地从大量指标中取得指标分析预警，提高客服指标分析与质量管控的工作效率。弥补传统曲线拟合建模需要定期模型修正的不足，支持在线实时动态学习预测与预警分析，提升日常指标的监控预警、问题定位、趋势预测能力。实现远程工作站接派单坐席、抢修资源调度、日常质检坐席与指标分析专员等多方面实现技术创新代替人力密集，达到减人增效的目的。
二、解决在时间序列学习预测过程中非正常异动突增话务工单数据对模型干扰而导致预测趋势变形问题，在时间序列学习预测过程中进行数据降噪，避免非正常异动突增话务工单数据剧烈波动影响预测模型。
三、解决了地域差异、业务差异、日时段峰谷及周末节假日差异等客观因素对话务工单预测的影响，攻克时间序列学习预测过程中非正常异动突增话务工单数据对模型干扰而导致预测趋势变形等技术难点，实现面向95598的时间序列预测与智能异动预警相结合的综合辅助支撑技术，弥补传统曲线拟合建模需要定期模型修正的不足，支持在线实时动态学习预测与预警分析，提升日常指标的监控预警、问题定位、趋势预测能力；
四、可以以主流开源的DL4j深度学习技术突破口，所有功能实现组件式封装，扩展性较好，适应性强，同时对模型训练过程进行统一监控，所有建模参数功能实现可以通过前台页面配置完成，减少开发人员压力，提升需求响应及时性；
五、本技术方案作为基于LSTM深度学习算法的话务工单预测与异动分析技术，融合电力话务分时峰谷与业务差异化明细特点，并可进行需求个性化定制，话务预测功能具有24小时动态预测、实时模型学习修正、准确预判话务异动等特点，工单预测功能可具有实时模型学习修正和准确预判工单异动特点，同时具有日、周、月三个时间频度，涉及业务工单数据根据国家电网95598业务类型分类，包括故障报修、业务咨询、投诉、举报、建议、意见、服务申请、表扬，同时这些业务细分。直观性好，准确性高。
附图说明
图1是本发明的流程图。
图2是本发明的基于LSTM深度学习算法的话务工单预测模型结构图。
图3是本发明的训练过程中不同学习速率与损失函数对比结果图。
图4是本发明的训练过程中不同学习速率与准确率对比结果图。
图5是本发明的不同正则参数(L2)与损失函数对比结果图。
图6是本发明的训练过程中不同学习速率与准确率对比结果图。
图7是本发明的训练过程中不同激活函数与准确率对比结果图。
图8是本发明的训练过程中不同动量系数与准确率对比结果图。
图9是本发明的未经修正的话务学习预测异动预警图。
图10是本发明的经修正的话务学习预测异动预警图。
图11是本发明的训练过程中损失函数与准确率关系图。
图12是本发明的近100天话务预测趋势图。
图13是本发明的用电异常核实工单预测异动趋势图。
图14是本发明的话务预测与异动预警功能界面图。
图15是本发明的工单预测与异动预警功能界面。
图16是LSTM神经网络细胞的结构原理图。
具体实施方式
以下结合说明书附图对本发明的技术方案做进一步的详细说明。
如图1所示，本发明包括以下步骤：
1)获取分时话务数据和日工单数据；
2)对获取的样本数据进行分类；
3)获取训练样本；
4)根据输入一段时序的话务工单量，LSTM神经网络深度学习，优化创建话务工单预测模型；在进行LSTM神经网络深度学习前，通过对某一时刻的话务工单理论预测值与话务工单真实值进行异动预判，通过置信异动系数来辅助判定，如果超过异动系数则表明该时刻话务工单发生异动现象，则该时刻增量模型学习时需对输入时间序列数据进行处理，发生异动时刻的话务工单数据被替换为上一轮该时刻的话务工单理论值，以避免时间序列增量学习异动数据导致预测结果理论值准确性偏低的情况；其包括以下子步骤：
401)定义学习模型参数，包括正则参数，迭代次数、学习速率、神经网络层数等；
402)创建学习模型；
403)输入一段时序的话务工单量；
404)数据归一处理；
405)训练数据向量化，将一定时间序列的输入与目标输出按照已定义的学习模型参数进行向量数组实例化；
406)依次按供电单位、24小时或日类型、业务细分种类迭代学习；
407)判断是否小于学习迭代次数；若到达迭代次数，则进入步骤 411)，否则，进入步骤408)；
408)实时同步记录学习进度，包括当前学习次数、学习时间间隔；
409)LSTM网络随机梯度下降分组学习，进行偏向与权重学习更新；
410)分组学习完成重新初始化向量索引，返回步骤407)；
411)完成学习任务，将学习模型回写数据库；
5)根据获取的分时话务数据和日工单数据，对在线话务工单数据库采样；
6)获取预测样本；
7)根据输入一段时序的话务工单量，通过话务工单预测模型进行话务工单预测；
8)将步骤7)得到的预测结果输出。
本发明通过基于LSTM深度学习的话务工单预测算法模型、话务工单预测模型的机器学习训练、模型参数最优配置策略、话务工单预测与异动预警实现四个关键环节完成的一种基于LSTM深度学习算法的95598话务工单预测与异动预警方法，构建面向95598的时间序列预测与智能异动预警相结合的综合辅助支撑技术，提高95598指标分析与质量管控的工作效率。
以下就具体步骤作详细说明：
(1)基于LSTM深度学习的话务工单预测算法模型：该过程实现根据话务工单数据特征与预测业务需求，采用LSTM深度学习建模，设计LSTM 神经网络模型结构与模型参数。
在LTSM深度学习算法结构设置方面，本技术方案设置6层网络结构，输入层神经元10个，隐藏层神经元数分别为200、100、200、100，输出目标为1，并选用tanh非线性函数作为隐含层的激活函数，以identity函数为输出层激活函数。
如图2所示，{d,y}表示输入变量和输出变量，其中d[d0,d2,..., d9]，d0,...,d9分别表示t时,t-1时,...,t-9时话务量，y为t+1 时输出话务量或者t日,t-1日,...,t-9日工单量，y为t+1日输出工单量。mi、fi、wi和bi分别表示第i层神经元的数量、激活函数、权重和偏向；li表示第i层神经元的输出，也是li层神经元的输入；l0表示预测模型的输入l0[d0,d2,...,d9]，预测模型的输出是末层神经元的输出 l5的y。每一层的输出li与输入li-1、fi、wi和bi的关系如公式(1)所示：
li=fi(wili-1+bi)
(1)
(2)话务工单预测模型的深度学习训练：该过程根据上述话务工单预测模型实现训练样本数据分类及归一处理、随机梯度下降学习训练策略优化来完成深度学习训练。95598话务数据受单位地域差异、24小时段及工作日与非工作日等客观因素差异明显，同时工单数据还需考虑各业务子类间的差异；因此话务数据按照供电单位、24小时制、日类型(工作日、周末、节假日)多种维度进行样本数据分类，工单数据则按照供电单位、业务分类、日类型(工作日、周末、节假日)多种维度进行样本数据分类。
充分考虑到学习训练过程中激活函数sigmoid和tanh函数的特性，减少数据训练过程中的时间消耗和资源占用，则在机器学习训练过程对各维度的时间序列样本输入数据进行归一化处理，将样本数据规范化至[0,1] 的范围，当在数据预测过程中对目标输出进行反归一化，则计算公式如下：
式中：xi表示时间序列第i时刻的输入，x表示所有时间序列输入，yi表示归一化目标值。
话务工单预测模型的机器学习训练采用随机梯度下降算法 (StochasticGradient Descent)对所有参数进行统一训练，以调整隐含层参数并最终获得输出层参数。
话务工单预测模型学习训练目的是找到能最小化二次损失函数C(w， b)的权重和偏向。其中权重w和偏向b的更新规则方程如下：
其中Xk为所有话务工单学习训练样本中取第k个输入最小采样块，m 为所有话务工单学习训练样本分割最小采样块总数，η为学习步长，l表示所在网络层，为损失函数C(w，b)基于权重w微积分偏导，/>为损失函数C(w，b)基于偏向b微积分偏导。
(3)模型参数最优配置策略：该过程实现在有限的硬件资源条件下对模型所涉及的关键参数进行最优配置，通过在模型训练与预测过程中比对损失函数下降曲线趋势和准确率来权衡模型参数设置。为了更好适应实际应用，通过多次实验测试获得更好的性能参数。根据实验反复验证， Batch大小设置为30，准确率相对稳定。其中1个Epoch表示所有的训练样本数据全部通过网络训练一次。具体的模型参数配置见表1所示。
表1 LSTM深度学习模型训练参数
从图3-4可以看出，不同的学习速率对损失函数和准确率影响明显， Epoch值达到108左右损失函数趋于稳定，则迭代次数(iterations)取值 108；同时结合图中损失函数与准确率趋势，则学习速率设置为0.01。
从图5-6可以看出，不同L2正则参数对损失函数影响相对明显，但对准确率影响相对较少，则正则参数(L2)设置为0.001。
如图7所示，不同的激活函数对准确率影响明显，从图趋势可以看出隐藏层的激活函数应该选择tanh函数。
如图8所示，不同动量系数对准确率影响相对较少，则动量系数采用默认设置为0.95，则有利于更快的性能来递归神经网络模型。
(4)话务工单预测与异动预警实现：该过程根据上述深度学习模型实现话务工单预测与制定异动预警算法，同时针对时间序列学习预测过程中非正常异动突增话务工单数据对模型干扰而导致预测趋势变形情况，制定动态判断与学习修正策略。
通过上述机器学习训练的话务工单预测模型，可实现话务工单随着时间自适应学习进行动态智能预测，但目标输出的话务工单数据只能作为理论预测值，将预测值上限与下限作为合理置信区间，根据实际业务需求设置异动预警系数，则异动预警阀值公式如下：
ywarn=ytheory×(1δwarn)
(5)
其中ywarn表示公式中定义的话务工单置信异动区间，ytheory表示话务工单理论预测值，则δwarn表示置信异动系数，默认取20％。
基于时间序列不断学习预测过程中，避免非正常异动突增话务工单数据对模型干扰而导致预测趋势变形情况，需要对样本预测数据进行自动修正处理。
如图9所示，某单位某日11点至18点出现话务明显突增，如果在机器学习预测过程依旧话务突增数据作为输入样本数据，则会出现图4所示13 点至17点的理论预测值与预警阀值曲线明显变形，从而影响话务异动自动预警诊断。通过对话务突增明显的数据进行理论值自动修正，可采取昨日同时段同单位的理论预测值作为该异动修正值，如图10所示13点至17点的理论预测值与预警阀值曲线显示正常。
为避免时间序列增量学习异动数据导致预测结果理论值准确性偏低的情况，即在时间序列学习预测过程中进行数据降噪，避免非正常异动突增话务工单数据剧烈波动影响预测模型。通过对某一时刻的话务工单理论预测值ytheory与话务工单真实值yteue进行异动预判，通过上述所提到的置信异动系数δwarn来辅助判定，如果超过异动系数则表明该时刻话务工单发生异动现象，则该时刻增量模型学习时需对输入时间序列数据进行处理，发生异动时刻的话务工单数据被替换为上一轮该时刻的话务工单理论值，这样可以避免时间序列增量学习异动数据导致预测结果理论值准确性偏低，具体见上述话务工单预测与异动预警实现内容。
为保证话务工单预测准确性，即如何面对各单位、各时段、工作日/ 非工作日、各业务子类等多重维度数据差异明显情况下保证话务工单预测准确性。本技术方案综合考虑与技术研究，其中话务数据按照供电单位、 24小时制、日类型(工作日、周末、节假日)多种维度进行样本数据分类，工单数据则按照供电单位、业务分类、日类型(工作日、周末、节假日) 多种维度进行样本数据分类。采用“一类一模型”的思路保证各个模型有针对性学习各自数据趋势轨迹，累计机器自动建模5万余个。
为解决系统自动建模数量与性能瓶颈技术问题，即机器自动累计建模 5万多个则对硬件的内存和CPU带来极大的考验，在业务要求上保证在一定频率内输出预测结果。在有限的硬件资源条件下对模型所涉及的关键参数进行最优配置，通过在模型训练与预测过程中比对损失函数下降曲线趋势和准确率来权衡模型参数设置，具体见上述模型参数最优配置策略实现。
举例说明：在对某地市公司7点时段近150天话务样本机器学习训练过程发现损失函数得分与训练准确率之间的存在紧密关联关系，如图11所示，损失函数得分随着迭代次数的增加而趋于稳定，训练的准确率会随着训练迭代次数的增加而逐步增加，最终稳定的训练准确性预测结果为91.08％左右。
如表2所示，使用准确率P，平均绝对百分比误差EMAPE分析评价指标对某地市公司工作日与非工作日话务预测结果进行评价。从表中数据可以看出总体预测结果符合预期结果，预测准确率在90.19％以上，这其中并未排除不可预见人为因素引起话务波动，导致模型预测结果发生偏移。
表2话务工作日与非工作预测结果对比
以上可知，本技术方案：一是解决了地域差异、业务差异、日时段峰谷及周末节假日差异等客观因素对话务工单预测的影响，攻克时间序列学习预测过程中非正常异动突增话务工单数据对模型干扰而导致预测趋势变形等技术难点，实现面向95598的时间序列预测与智能异动预警相结合的综合辅助支撑技术，弥补传统曲线拟合建模需要定期模型修正的不足，支持在线实时动态学习预测与预警分析，提升日常指标的监控预警、问题定位、趋势预测能力；二是以主流开源的DL4j深度学习技术突破口，所有功能实现组件式封装，扩展性较好，适应性强，同时对模型训练过程进行统一监控，所有建模参数功能实现可以通过前台页面配置完成，减少开发人员压力，提升需求响应及时性；
三是它作为基于LSTM深度学习算法的话务工单预测与异动分析技术，融合电力话务分时峰谷与业务差异化明细特点，并进行需求个性化定制，话务预测功能具有24小时动态预测、实时模型学习修正、准确预判话务异动等特点，具体功能界面见图14话务预测与异动预警功能界面；工单预测功能具有实时模型学习修正和准确预判工单异动特点，同时具有日、周、月三个时间频度，涉及业务工单数据根据国家电网95598业务类型分类，包括故障报修、业务咨询、投诉、举报、建议、意见、服务申请、表扬。同时这些业务细分有418种，如表3所示，具体功能界面见图15工单预测与异动预警功能界面。
表3 95598业务细分种类对应表
单位:项
而这一关键技术在实际应用主要表现为以下三方面：(1)基于深度学习技术，通过建立科学的指标异动预测模型，研究各项指标的数理关系，实现短期话务工单置信异动预测与智能预警应用。更高效、更精益、更智能地从大量指标中取得指标分析预警，提高客服指标分析与质量管控的工作效率。(2)弥补传统曲线拟合建模需要定期模型修正的不足，支持在线实时动态学习预测与预警分析，提升日常指标的监控预警、问题定位、趋势预测能力。(3)实现远程工作站接派单坐席、抢修资源调度、日常质检坐席与指标分析专员等多方面实现技术创新代替人力密集，达到减人增效的目的。
以下就LSTM网络深度学习技术作概述
长短期记忆神经网络(LSTM)是一种改进的时间序列循环神经网络 (RecurrentNeural Network，RNN)，由Sepp Hochreiter和Juergen Schmidhuber提出了循环网络的一种变体，带有所谓长短期记忆单元，可 以解决梯度消失的问题。LSTM可以学习时间序列长短期依赖信息，由于 神经网络中包含时间记忆单元，因此适用于处理和预测时间序列中的间隔 和延迟事件。
LSTM将信息存放在循环网络正常信息流之外的门控单元中。这些单元可以存储、写入或读取信息，就像计算机内存中的数据一样。单元通过门的开关判定存储哪些信息，以及何时允许读取、写入或清除信息。LSTM 网络的记忆功能就是由各层的阀门节点实现的。阀门有3类：遗忘门、输入门和输出门。输入门从外部接受新的输入并处理新来的数据；遗忘门决定何时忘记输出结果，从而为输入序列选择最佳时间延迟；输出门将计算所有结果并为LSTM网络单元生成输出；这些阀门可以打开或关闭，用于将判断模型网络的记忆态(之前网络的状态)在该层输出的结果是否达到阈值从而加入到当前该层的计算中。如图1中所示，阀门节点利用sigmoid 函数将网络的记忆态作为输入计算；如果输出结果达到阈值则将该阀门输出与当前层的计算结果相乘作为下一层的输入；如果没有达到阈值则将该输出结果遗忘掉。每一层包括阀门节点的权重都会在每一次模型反向传播训练过程中更新。
这些门依据接收到的信号而开关，而且与神经网络的节点类似，它们会用自有的权重集对信息进行筛选，根据其强度和导入内容决定是否允许信息通过。这些权重就像调制输入和隐藏状态的权重一样，会通过循环网络的学习过程进行调整。也就是说，记忆单元会通过猜测、误差反向传播、用梯度下降调整权重的迭代过程学习何时允许数据进入、离开或被删除。
如图16所示，将输入时间序列表示为X＝(x1，x2，...，xn)，存储单元的隐藏状态为H＝(h1，h2，...，hn)，输出时间序列为Y＝ (y1，y2，...，yn)，LSTM神经网络的计算如下：
ht＝H(Whxxt+Whhxt-1+bh)
式中：ht表示t时刻隐藏单元状态的输出，Whx表示时间序列输入xt到隐藏单元状态ht之间的权重向量，Whh表示隐藏单元状态ht与ht-1之间的权重向量，ht-1表示t前一时刻的隐藏单元状态输出，bh表示隐藏单元状态输出ht的偏差。
pt＝Whyyt-1+by
式中：Why表示隐藏单元状态ht到输出时间序列yt-1之间的权重向量， yt-1表示t前一时刻输出时序数据，pt表示t时刻目标预测输出，by表示目标预测输出pt的偏差。
进一步分解，其中隐藏单元状态在下面的公式中计算：
it＝σ(Wixxt+Whhht-1+Wicct-1+bi)
式中：it输入阀门，Wix表示时间序列输入xt到输入阀门it之间的权重向量，Whh表示隐藏单元状态ht与ht-1之间的权重向量，Wic表示输入阀门it到cell状态输出ct-1之间的权重向量，bi表示输入阀门it的偏差。
ft＝σ(Wfxxt+Whhht-1+Wfcct-1+bf)
式中：ft遗忘阀门，Wfx表示时间序列输入xt到遗忘阀门ft之间的权重向量，Wfc表示遗忘阀门ft到cell状态输出ct-1之间的权重向量，bf表示遗忘阀门ft的偏差，σ表示sigmoid函数。
ct＝ft*ct-1+it*g(Wcxxt+Whhht-1+Wccct-1bc
式中：ct表示cell状态输出，ct-1表示前一时刻cell状态输出，Wcx表示时间序列输入xt到前一时刻cell状态输出ct-1之间的权重向量，Wcc表示cell状态输出ct到前一时刻cell状态输出ct-1之间权重向量，bc表示 cell状态输出ct的偏差，g为sigmoid函数范围为[-2，2]。
ot＝σ(Woxxt+Whhht-1+Wocct-1+bo)
式中：ot表示输出阀门，Wox表示时间序列输入xt到输出阀门ot之间的权重向量，Woc表示输出阀门ot之间的权重向量到cell状态输出ct的权重向量，bo表示输出阀门ot的偏差。
ht＝ot*h(ct)
式中：*表示两个向量或矩阵的标量乘积，h为sigmoid函数范围为 [-1，1]。
对于目标函数，使用由以下公式表示平方损失函数：
附图1所示的一种基于LSTM深度学习的95598话务工单预测与异动预警方法是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行等同修改，均在本方案的保护范围之列。

Claims (5)

1.一种基于LSTM深度学习的95598话务工单预测与异动预警方法，其特征在于包括以下步骤：
1)获取分时话务数据和日工单数据；
2)对获取的样本数据进行分类；
3)获取训练样本；
4)根据输入一段时序的话务工单量，LSTM神经网络深度学习，优化创建话务工单预测模型；在进行LSTM神经网络深度学习前，通过对某一时刻的话务工单理论预测值与话务工单真实值进行异动预判，通过置信异动系数来辅助判定，如果超过异动系数则表明该时刻话务工单发生异动现象，则该时刻增量模型学习时需对输入时间序列数据进行处理，发生异动时刻的话务工单数据被替换为上一轮该时刻的话务工单理论值，以避免时间序列增量学习异动数据导致预测结果理论值准确性偏低的情况；设置的异动系数为20％；异动预警阀值公式如下：
ywarn＝ytheory×(1+δwarn)
其中ywarn表示公式中定义的话务工单置信异动区间，ytheory表示话务工单理论预测值，则δwarn表示置信异动系数；
401)定义学习模型参数，包括正则参数，迭代次数、学习速率、神经网络层数；
402)创建学习模型；
403)输入一段时序的话务工单量；
404)数据归一处理；
405)训练数据向量化，将一定时间序列的输入与目标输出按照已定义的学习模型参数进行向量数组实例化；
406)依次按供电单位、24小时或日类型、业务细分种类迭代学习；
407)判断是否小于学习迭代次数；若到达迭代次数，则进入步骤411)，否则，进入步骤408)；
408)实时同步记录学习进度，包括当前学习次数、学习时间间隔；
409)LSTM网络随机梯度下降分组学习，进行偏向与权重学习更新；
410)分组学习完成重新初始化向量索引，返回步骤407)；
411)完成学习任务，将学习模型回写数据库；
5)根据获取的分时话务数据和日工单数据，对在线话务工单数据库采样；
6)获取预测样本；
7)根据输入一段时序的话务工单量，通过话务工单预测模型进行话务工单预测；
8)将步骤7)得到的预测结果输出；
在步骤402)中，根据话务工单数据特征与预测业务需求，采用LSTM深度学习建模，设计LTSM神经网络模型结构与模型参数；
在LTSM深度学习算法结构设置中，设置6层网络结构，输入层神经元10个，隐藏层神经元数分别为200、100、200、100，输出目标为1，并选用tanh非线性函数作为隐含层的激活函数，以identity函数为输出层激活函数；
在步骤406)中，日类型包括工作日、周末、节假日；采用“一类一模型”的方式建立多个模型，以保证各个模型有针对性学习各自数据趋势轨迹以提高话务工单预测准确性；并通过在模型训练与预测过程中比对损失函数下降曲线趋势和准确率来权衡模型参数设置，以在有限的硬件资源条件下对模型所涉及的关键参数进行最优配置；
融合电力话务分时峰谷与业务差异化明细特点，并可进行需求个性化定制，话务预测功能具有24小时动态预测、实时模型学习修正、准确预判话务异动特点，工单预测功能可具有实时模型学习修正和准确预判工单异动特点，同时具有日、周、月三个时间频度，涉及业务工单数据根据国家电网95598业务类型分类，包括故障报修、业务咨询、投诉、举报、建议、意见、服务申请、表扬，并将业务细分。
2.根据权利要求1所述的一种基于LSTM深度学习的95598话务工单预测与异动预警方法，其特征在于：在步骤404)中，对各维度的时间序列样本输入数据进行归一化处理，将样本数据规范化至[0,1]的范围，当在数据预测过程中对目标输出进行反归一化，则计算公式如下：
式中：xi表示时间序列第i时刻的输入，x表示所有时间序列输入，yi表示归一化目标值。
3.根据权利要求1所述的一种基于LSTM深度学习的95598话务工单预测与异动预警方法，其特征在于：在步骤409)中，LSTM神经网络深度学习训练采用随机梯度下降算法对所有参数进行统一训练，以调整隐含层参数并最终获得输出层参数；
LSTM神经网络深度学习训练目的是找到能最小化二次损失函数C(w，b)的权重和偏向；
其中权重w和偏向b的更新规则方程如下：
其中Xk为所有话务工单学习训练样本中取第k个输入最小采样块，m为所有话务工单学习训练样本分割最小采样块总数，η为学习步长，l表示所在网络层，为损失函数C(w，b)基于权重w微积分偏导，/>为损失函数C(w，b)基于偏向b微积分偏导。
4.根据权利要求1所述的一种基于LSTM深度学习的95598话务工单预测与异动预警方法，其特征在于：在步骤401)中，通过在模型训练与预测过程中比对损失函数下降曲线趋势和准确率来权衡话务工单预测模型参数设置。
5.根据权利要求4所述的一种基于LSTM深度学习的95598话务工单预测与异动预警方法，其特征在于：Batch大小设置为30，迭代次数取值108；结合图中损失函数与准确率趋势，学习速率设置为0.01；正则参数设置为0.001；隐藏层的激活函数选择tanh函数；动量系数为0.95。
CN201811247204.XA 2018-10-24 2018-10-24 一种基于lstm深度学习的95598话务工单预测与异动预警方法 Active CN109685240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811247204.XA CN109685240B (zh) 2018-10-24 2018-10-24 一种基于lstm深度学习的95598话务工单预测与异动预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811247204.XA CN109685240B (zh) 2018-10-24 2018-10-24 一种基于lstm深度学习的95598话务工单预测与异动预警方法

Publications (2)

Publication Number Publication Date
CN109685240A CN109685240A (zh) 2019-04-26
CN109685240B true CN109685240B (zh) 2023-10-13

Family

ID=66185695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811247204.XA Active CN109685240B (zh) 2018-10-24 2018-10-24 一种基于lstm深度学习的95598话务工单预测与异动预警方法

Country Status (1)

Country Link
CN (1) CN109685240B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569591B (zh) * 2019-09-03 2022-10-28 西北工业大学 基于Bi-LSTM的敏捷开发需求变更预测方法
CN110601764A (zh) * 2019-09-16 2019-12-20 西南交通大学 一种基于光学辅助的射频调制格式识别方法
CN110570048A (zh) * 2019-09-19 2019-12-13 深圳市物语智联科技有限公司 基于改进在线深度学习的用户需求预测方法
CN110796317B (zh) * 2019-12-02 2022-11-01 武汉理工大学 一种基于需求预测的城市出租车调度方法
CN111047094A (zh) * 2019-12-12 2020-04-21 国网浙江省电力有限公司 一种基于深度学习算法的抄表数据异常分析方法
CN111277710A (zh) * 2020-01-17 2020-06-12 国家电网有限公司客户服务中心 话务量预测方法、系统、计算机设备及存储介质
CN111369048B (zh) * 2020-03-02 2022-08-12 贵州电网有限责任公司 一种话务量预测方法
CN112598443A (zh) * 2020-12-25 2021-04-02 山东鲁能软件技术有限公司 一种基于深度学习的线上渠道业务数据处理方法及系统
CN112381629B (zh) * 2021-01-15 2021-08-27 中智关爱通(南京)信息科技有限公司 用于订单调度的方法、电子设备和存储介质
CN113011928A (zh) * 2021-04-02 2021-06-22 深圳市中深伟业科技有限公司 一种基于深度学习的客服预警分析系统
CN113448808B (zh) * 2021-08-30 2021-11-12 北京必示科技有限公司 一种批处理任务中单任务时间的预测方法、系统及存储介质
CN113935524A (zh) * 2021-10-09 2022-01-14 广西电网有限责任公司北海供电局 基于长短时记忆网络的工单数量预测方法
CN114398235A (zh) * 2022-01-14 2022-04-26 建信金融科技有限责任公司 基于融合学习和假设检验的内存回收趋势预警装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960252A (zh) * 2017-03-08 2017-07-18 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测方法
CN107239852A (zh) * 2017-05-05 2017-10-10 南京邮电大学 一种基于深度学习的电量消耗预测方法
CN107769972A (zh) * 2017-10-25 2018-03-06 武汉大学 一种基于改进的lstm的电力通信网设备故障预测方法
CN107844915A (zh) * 2017-11-29 2018-03-27 信雅达系统工程股份有限公司 一种基于话务预测的呼叫中心的自动排班方法
CN107977740A (zh) * 2017-11-23 2018-05-01 海南电网有限责任公司 一种现场运维智能调度方法
WO2018161723A1 (zh) * 2017-03-08 2018-09-13 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测系统
CN108629503A (zh) * 2018-04-28 2018-10-09 南通大学 一种基于深度学习的出租车上车需求量的预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6384065B2 (ja) * 2014-03-04 2018-09-05 日本電気株式会社 情報処理装置、学習方法、及び、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960252A (zh) * 2017-03-08 2017-07-18 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测方法
WO2018161723A1 (zh) * 2017-03-08 2018-09-13 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测系统
CN107239852A (zh) * 2017-05-05 2017-10-10 南京邮电大学 一种基于深度学习的电量消耗预测方法
CN107769972A (zh) * 2017-10-25 2018-03-06 武汉大学 一种基于改进的lstm的电力通信网设备故障预测方法
CN107977740A (zh) * 2017-11-23 2018-05-01 海南电网有限责任公司 一种现场运维智能调度方法
CN107844915A (zh) * 2017-11-29 2018-03-27 信雅达系统工程股份有限公司 一种基于话务预测的呼叫中心的自动排班方法
CN108629503A (zh) * 2018-04-28 2018-10-09 南通大学 一种基于深度学习的出租车上车需求量的预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张一农 ; 刘伯龙 ; 王文婷 ; .基于神经网络的客服中心话务量预测模型.吉林大学学报(信息科学版).2011,(第02期),全文. *

Also Published As

Publication number Publication date
CN109685240A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109685240B (zh) 一种基于lstm深度学习的95598话务工单预测与异动预警方法
CN108280551B (zh) 一种利用长短期记忆网络的光伏发电功率预测方法
CN109784471A (zh) 一种基于多预测模型的95598话务工单预测与异动预警方法
Kankal et al. Modeling and forecasting of Turkey’s energy consumption using socio-economic and demographic variables
CN111047094A (zh) 一种基于深度学习算法的抄表数据异常分析方法
CN112488415A (zh) 基于经验模态分解和长短时记忆网络的电力负荷预测方法
CN111626785A (zh) 一种基于结合注意力的cnn-lstm网络基金价格预测方法
CN111639783A (zh) 一种基于lstm神经网络的线损预测方法及系统
CN111131424A (zh) 一种基于emd和多变量lstm相结合的服务质量预测方法
CN112381320A (zh) 一种社区人员流量预测方法、系统、存储介质及设备
CN111680786A (zh) 一种基于改进权重门控单元的时序预测方法
Yang et al. Simulation-based transfer function modeling for transient analysis of general queueing systems
Luthuli et al. Short term load forecasting using artificial intelligence
CN114819395A (zh) 一种基于长短期记忆神经网络和支持向量回归组合模型的行业中长期负荷预测方法
Alabas et al. A comparison of the performance of artificial intelligence techniques for optimizing the number of kanbans
Sen Time series prediction based on improved deep learning
CN115017970A (zh) 一种基于迁移学习的用气行为异常检测方法及系统
CN114662795A (zh) 基于emd-arima-lstm模型的天然气负荷预测方法及系统
CN114239990A (zh) 一种基于时间序列分解和lstm的时间序列数据预测方法
CN114757330A (zh) 基于lstm的城市瞬时用水量预测方法
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
Nguyen et al. Non-stationary time series prediction using one-dimensional convolutional neural network models
Raheem et al. Forecasting foreign exchange rate: Use of FbProphet
Wang et al. Cloud computing and extreme learning machine for a distributed energy consumption forecasting in equipment-manufacturing enterprises
Jahan et al. Prediction model using recurrent neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210129

Address after: 310007 No. 8 Huanglong Road, Hangzhou, Zhejiang, Xihu District

Applicant after: STATE GRID ZHEJIANG ELECTRIC POWER Co.,Ltd.

Applicant after: Marketing service center of State Grid Zhejiang Electric Power Co.,Ltd.

Applicant after: ZHEJIANG HUAYUN INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 310007 No. 8 Huanglong Road, Hangzhou, Zhejiang, Xihu District

Applicant before: STATE GRID ZHEJIANG ELECTRIC POWER Co.,Ltd.

Applicant before: STATE GRID ZHEJIANG ELECTRIC POWER COMPANY LIMITED ELECTRIC POWER Research Institute

Applicant before: ZHEJIANG HUAYUN INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant