CN112184320B - 一种基于ai的商业网站运维数据的智能运营检测和运维的方法 - Google Patents

一种基于ai的商业网站运维数据的智能运营检测和运维的方法 Download PDF

Info

Publication number
CN112184320B
CN112184320B CN202011071775.XA CN202011071775A CN112184320B CN 112184320 B CN112184320 B CN 112184320B CN 202011071775 A CN202011071775 A CN 202011071775A CN 112184320 B CN112184320 B CN 112184320B
Authority
CN
China
Prior art keywords
data
model
predicted
lstm
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011071775.XA
Other languages
English (en)
Other versions
CN112184320A (zh
Inventor
成俊杰
王浩栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focus Technology Co Ltd
Original Assignee
Focus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focus Technology Co Ltd filed Critical Focus Technology Co Ltd
Priority to CN202011071775.XA priority Critical patent/CN112184320B/zh
Publication of CN112184320A publication Critical patent/CN112184320A/zh
Application granted granted Critical
Publication of CN112184320B publication Critical patent/CN112184320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种商业网站运维数据基于AI的智能运营检测和运维的方法，1)根据网站流量数据点击量和供应商收到买家询盘量这两个特征数据用长短期记忆人工神经网络模型LSTM去和询盘量进行学习拟合；2)使用python工具包sklearn里的MinMaxScaler对数据进行归一化；3)将数据作为训练集去训练整个LSTM模型，用一年至二年时间的数据用作为测试集验证模型的表现性；4)使用Keras框架去建立整个深度神经网络模型，使用人工智能算法深度学习模型去拟合走势。主要通过模型学习网站流量和咨询数之间的关系并通过训练好的模型去预测咨询数变化趋势，以及在此基础上的预警模型，提供能在咨询量发生大幅变化前就发出报警的系统。

Description

一种基于AI的商业网站运维数据的智能运营检测和运维的 方法
技术领域
本发明涉及商业网站运营运维数据的监测方法，尤其是对商业网站数据进行人工智能深度学习算法领域，以及传统统计学。
背景技术
针对一些对买家卖家提供双向服务的平台，往往卖家咨询信息的数量或称询盘量是平台方比较看重的一个重要运营指标。询盘量不仅反映了买家卖家的一个活跃度，更加从一定程度上反映了整个网站的运营状况。所以如何能提前预测出询盘量大幅的变化会对整个运营团队有很大的指导帮助，这也是整个发明的一个初衷。
深度学习作为机器学习中的一个新的领域，它让机器学习更加接近了人工智能这个目标。而深度神经网络模型可以通过对历史数据的训练拟合而发现其中的变化规律，从而达到了一个预测的未来趋势的目的。而此项发明中一个很重要的部分就是选取了LSTM长短期记忆人工神经网络，LSTM实质上是一种时间循环神经网络。而其中一个最显著的特征就是，LSTM区块中有一个门控单元，它能够决定输入值是否重要到能被记住及能不能被输出。
长短期记忆网络(Long-Short Term Memory,LSTM)适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
LSTM的表现通常比时间递归神经网络及隐马尔科夫模型(HMM)更好，比如用在不分段连续手写识别上。LSTM还普遍用于自主语音识别，2013年运用TIMIT自然演讲数据库达成17.7％错误率的纪录。作为非线性模型，LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。
LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络，文献或其他资料中LSTM区块可能被描述成智能网络单元，因为它可以记忆不定时间长度的数值，区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。采用四个S函数单元，第一个函数依情况可能成为区块的input；另三个会经过gate决定input是否能传入区块，第二个为input gate，如果这里产出近似于零，将把这里的值挡住，不会进到下一层。第三个是forget gate，当这产生值近似于零，将把区块里记住的值忘掉。第四个也就是input为output gate，他可以决定在区块记忆中的input是否能输出。
发明内容
本发明目的是，解决现有技术的不足，在现有技术背景下，提出一种基于商业网站运营运维数据中的询盘量，如实施例中参考中国制造网MIC的运营运维数据和MIC询盘量，利用深度神经网络训练以周为维度，尤其是利用LSTM长短期记忆人工神经网络，建立特征是运营运维数据里的页面浏览量PV和询盘量的模型，然后根据这个模型预测下一周的询盘量。
在预测出下周询盘量之后与本周真实询盘做差，就可以得到变化值。最后一步就是根据所有的变化值，利用箱型图的原理计算整体的上下界限，并把超过界限的预警值选出来。
本发明的技术方案是：一种商业网站运维数据基于AI的智能运营检测和运维的方法和系统，
步骤一，确定模型需要的特征，确定数据颗粒度，选取建模需要的数据长度；主要是根据网站流量数据点击量(PV)和供应商收到买家询盘量这两个特征数据用长短期记忆人工神经网络模型LSTM去和询盘量进行学习拟合；
步骤二，深度学习模型一般需要对数据进行归一化，把数据归一至0到1之间；
步骤三，把数据拆分，训练集用来训练模型，测试集用来验证模型表现性；将数据作为训练集去训练整个LSTM模型，用一年至二年时间的数据用作为测试集验证模型的表现性；这里预测步长为2到4步，也就是说采用两至四周的数据去预测下一或下二周；
步骤四，选择深度学习里的多维度LSTM模型去训练时间序列数据的训练集，并确定神经网络的层数；使用Keras框架去建立整个LSTM模型，这里设置了第一层是LSTM层，第二层为一个全连接神经网络层；
步骤五，对hidden_layer,dropout,learning_rate,epoch等参数进行调优；
步骤六，对调优后的模型在测试集上测试，对比拟合效果，若效果不佳则重复步骤五；
步骤七，把最优模型存储下来，后续使用；
步骤八，选取需要用模型拟合的时间段，并对该时间段进行一步预测；
步骤九，用预测后的数据和前一天的真实值做差，既可以得到变化值。得到变化值之后确定这组变化值的上下四分位从而得到四分位距。之后用上分位去q1减去1.5倍的四分位距IQR得到他的下边缘，同理用q3加上1.5倍的四分位距得到上边缘。报警边界即上下边缘；
步骤十，利用模型进行未来时间段一步预测，得到t+1的数据；
步骤十一，用预测的t+1询盘量减去现在t的询盘量，得到预计的变化值；
步骤十二，用之前确定的报警边界去对比变化值，边界内不触发警报，超过边界触发警报；
步骤十三，如果发生报警，回溯整个模型，对比特征项历史数据然后确定可能引起异常的特征项。
本发明中还用到了箱型图的原理去设置报警系统。具体原理首先确定上下四分位数(Q3和Q1)，之后计算四分位距IQR(Q3-Q1)。异常值被定义为小于Q1－1.5IQR或大于Q3+1.5IQR的值，所以我们就可以用这个原理去设计一个对异常值报警的系统。具体流程图请见附图(图1)。
为了最小化训练误差，采用梯度下降法(Gradient descent)：应用时序性倒传递算法，可用来依据错误修改每次的权重。梯度下降法在递回神经网络(RNN)中主要的问题初次在1991年发现，就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM区块时，误差也随着倒回计算，从output影响回input阶段的每一个gate，直到这个数值被过滤掉。因此正常的倒传递类神经是一个有效训练LSTM区块记住长时间数值的方法。
本发明基于商业咨询平台网站运营运维数据，使用人工智能算法深度学习模型去拟合收到咨询数的走势。主要通过模型学习网站流量和咨询数之间的关系并通过训练好的模型去预测咨询数变化趋势，以及在此基础上进行预警模型的开发，提供一种能在咨询量发生大幅变化前就发出报警的系统。
有益效果:本发明提出了一种基于商业网站运营运维数据中的询盘量，即基于现有咨询平台网站运营运维数据，使用人工智能算法深度学习模型去拟合收到咨询数的走势：利用深度神经网络训练以周为维度，建立特征是运营运维数据里的页面浏览量PV和询盘量的模型，然后根据这个模型预测下一周的询盘量。在预测出下周询盘量之后与本周真实询盘做差，就可以得到变化值。最后一步就是根据所有的变化值，利用箱型图的原理计算整体的上下界限，并把超过界限的预警值选出来。能提前预测出询盘量大幅的变化会对整个运营团队有大的指导帮助。本发明通过模型学习网站流量和咨询数之间的关系并通过训练好的模型去预测咨询数变化趋势，以及在此基础上进行预警模型的开发，提供一种能在咨询量发生大幅变化前就发出报警的系统。
附图说明
图1为本发明具体流程图；
图2为本发明采用两周的数据去预测下一周的数据结构图；
图3为本发明采用LSTM结构的循环神经网络。
具体实施方式
LSTM网络和一层全连接神经网络：：LSTM是一种循环神经网络的变种，也可以说是一个加强版的组件被放在了循环神经网络中。具体地说，就是把循环神经网络中隐含层的小圆圈换成长短时记忆的模块。
结合图3，横穿上部的线就是状态单元c，它表示内部记忆。而横穿下部的线就是LSTM中的隐藏状态h，f,i,o,g都是围绕LSTM解决梯度消失问题的。i是控制输入的参数，f是控制遗忘的参数，o是控制输出门的参数，而g就是控制隐藏状态的参数。具体的前向传播运算公式见下；
现在知道了前向传播的公式后，我们便可以通过反向传播去计算每个节点梯度，从而达到更新参数的目的，这也是模型训练的主要原理。具体的计算公式见下：这个模块的样子如图3所示：
i＝σ(Wiht-1+UiXt)
f＝σ(Wfht-1+Ufxt)
o＝σ(Woht-1+Uoxt)
g＝tanh(Wght-1+Ugxt)
Figure GDA0003702134150000051
mt＝tanh(ct)
Figure GDA0003702134150000052
yt＝Wyhht+by
Figure GDA0003702134150000053
Figure GDA0003702134150000054
Figure GDA0003702134150000055
Figure GDA0003702134150000056
Figure GDA0003702134150000057
Figure GDA0003702134150000058
Figure GDA0003702134150000059
Figure GDA00037021341500000510
由此可得对参数的梯度。
实施例：
在Keras中实现使用LSTM结构的循环神经网络。
步骤一，本发明收集焦点科技股份有限公司旗下中国制造网MIC的网站流量数据点击量(PV)和供应商收到买家询盘量这两个特征用长短期记忆人工神经网络模型LSTM去和询盘量进行学习拟合，统计时间从2011年1月1号开始到2013年12月31号结束，颗粒度为周。
步骤二，使用python工具包sklearn里的MinMaxScaler对数据进行归一化
步骤三，将2011年1月1日到2012年12月31号的数据作为训练集去训练整个LSTM模型，用2013年1月1日到2013年12月31日的数据用作为测试集验证模型的表现性。这里预测步长为2步，也就是说采用两周的数据去预测下一周。可以参照附图(图2)的结构。
步骤四，使用Keras框架去建立整个LSTM模型，这里设置了第一层是LSTM层，第二层为一个全连接神经网络层。
步骤五，使用Wandb调参可视化框架对整个模型的hidden_layer,dropout,learning_rate,epoch等参数进行调参，选取在训练集误差(这里的误差定义为均值绝对误差MAE)最小的参数设定。
步骤六，使用模型在测试集上进行拟合，计算模型在拟合测试集之后产生的均值绝对误差MAE，结合整个拟合图像来判断拟合效果
步骤七，选取最优的模型存储下来，用来预测。整个模型参数更新建议6个月左右，或者是开始出现连续预测偏差比较大。
步骤八，选择需要预测的时间段，这里我选取的是2011年1月1日至2020年6月1日的数据进行一步预测，直接调用之前存储的keras框架模型进行预测。
步骤九，通过上一步可以得到预测值，同样根据图2的结构，假如询盘量x3是预测出来的值，那么就用x3预测值减去询盘x2的真实值，这样就可以得到具体的变化值。然后对这些变化值使用numpy工具包里的percentile这个功能找出所有变化值里的四分位数，计算四分位距IQR。然后根据上下边缘的计算方式得到整个报警界限。用来计算报警戒线的数据长度越长那么整个报警界限越能够反应出真是的数据变化效果，所以报警戒线也需要在一段时间内重新更新一遍。
步骤十，用之前存储的模型去预测未来时间段t+1，需要注意提前准备好步长要求的数据。在这里我预测了中国制造网2020年6月1日之后的那一周的询盘量。
步骤十一，用模型预测出t+1的询盘量和t时刻的询盘量进行做差，得到预测变化值。
步骤十二，如果上述预测变化值在之前计算出的报警界限内的话，趋势变化即属于正常，反之，超过了报警戒线系统就会发出报警，那么证明有一定的异常出现。
步骤十三，通过报警日期，回溯上两个步长的所有特征项数据，对比之前特征项历史数据，做统计学的分布假设检验，如果在置信区间之外，那么证明次特征项数据是异常数据，即可让运营运维人员根据数据逻辑检查系统漏洞。
以上所述仅为本发明的实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均以包含在本发明的保护范围之内。

Claims (3)

1.一种基于AI的商业网站运维数据的智能运营检测和运维的方法，其特征是，
1）根据网站流量数据点击量PV和供应商收到买家询盘量这两个特征数据用长短期记忆人工神经网络模型 LSTM 去和询盘量进行学习拟合；
2）使用python工具包sklearn里的MinMaxScaler 对数据进行归一化；
3）将数据作为训练集去训练整个LSTM模型，用一年至二年时间的数据用作为测试集验证模型的表现性；这里预测步长为2到4步，也就是说采用两至四周的数据去预测下一或下二周；
4）使用Keras框架去建立整个深度神经网络模型，这里设置第一层是LSTM层，第二层为一个全连接神经网络层；
5）使用Wandb调参可视化框架对整个模型的hidden_layer, dropout, learning_rate, epoch参数进行调参，选取在训练集误差最小的参数设定，这里的误差定义为均值绝对误差MAE；
6）使用模型在测试集上进行拟合，计算模型在拟合测试集之后产生的均值绝对误差MAE，结合整个拟合图像来判断拟合效果；
7）选取最优的模型存储下来，用来预测；
8）选择需要预测的时间段，直接调用之前存储的Keras框架模型进行预测；
9）通过上一步得到预测值；
10）用之前存储的模型去预测未来时间段t+1，提前准备好步长要求的数据；
11）用模型预测出t+1的询盘量和t时刻的询盘量进行做差，得到预测变化值；
12）如果上述预测变化值在之前计算出的报警界限内的话，趋势变化即属于正常，反之，超过了报警戒线系统就会发出报警，那么证明有一定的异常出现；
13）通过报警日期，回溯上两个步长的所有特征项数据，对比之前特征项历史数据，做统计学的分布假设检验，如果在置信区间之外，那么证明次特征项数据是异常数据，即可让运营运维人员根据数据逻辑检查系统漏洞。
2.根据权利要求1所述的方法，其特征是，步骤9）中，假如询盘量x3是预测出来的值，那么就用x3预测值减去询盘x2的真实值，这样就得到具体的变化值；然后对这些变化值使用numpy工具包里的percentile 这个功能找出所有变化值里的四分位数，计算四分位距IQR；然后根据上下边缘的计算方式得到整个报警界限。
3.根据权利要求1所述的方法，其特征是，用来计算报警戒线的数据长度越长那么整个报警界限越能够反应出真是的数据变化效果，所以报警戒线需要在一段时间内重新更新一遍。
CN202011071775.XA 2020-10-09 2020-10-09 一种基于ai的商业网站运维数据的智能运营检测和运维的方法 Active CN112184320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011071775.XA CN112184320B (zh) 2020-10-09 2020-10-09 一种基于ai的商业网站运维数据的智能运营检测和运维的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011071775.XA CN112184320B (zh) 2020-10-09 2020-10-09 一种基于ai的商业网站运维数据的智能运营检测和运维的方法

Publications (2)

Publication Number Publication Date
CN112184320A CN112184320A (zh) 2021-01-05
CN112184320B true CN112184320B (zh) 2022-07-22

Family

ID=73948365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011071775.XA Active CN112184320B (zh) 2020-10-09 2020-10-09 一种基于ai的商业网站运维数据的智能运营检测和运维的方法

Country Status (1)

Country Link
CN (1) CN112184320B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806902B (zh) * 2021-10-10 2022-08-19 西南石油大学 一种管道腐蚀人工智能预警方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608600A (zh) * 2015-12-18 2016-05-25 焦点科技股份有限公司 一种对b2b卖家效果评估和优化方法
CN111563706A (zh) * 2020-03-05 2020-08-21 河海大学 一种基于lstm网络的多变量物流货运量预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608600A (zh) * 2015-12-18 2016-05-25 焦点科技股份有限公司 一种对b2b卖家效果评估和优化方法
CN111563706A (zh) * 2020-03-05 2020-08-21 河海大学 一种基于lstm网络的多变量物流货运量预测方法

Also Published As

Publication number Publication date
CN112184320A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN109615226B (zh) 一种运营指标异常监测方法
CN110647900B (zh) 基于深度神经网络的安全态势智能预测方法、装置及系统
CN111563706A (zh) 一种基于lstm网络的多变量物流货运量预测方法
US20200202255A1 (en) Model integration method and device
CN107590567A (zh) 一种基于信息熵聚类和注意力机制的循环神经网络短期负荷预测方法
CN108460679B (zh) 融合注意力机制的深度网络智能投资系统数据分析方法
CN111027772A (zh) 基于pca-dbilstm的多因素短期负荷预测方法
CN110766212A (zh) 用于历史数据缺失电场的超短期光伏功率预测方法
CN110264270B (zh) 一种行为预测方法、装置、设备和存储介质
Brentan et al. Correlation analysis of water demand and predictive variables for short‐term forecasting models
Li et al. A novel multichannel long short-term memory method with time series for soil temperature modeling
CN116562514B (zh) 基于神经网络的企业生产状况即时分析方法及系统
Lv et al. An improved long short-term memory neural network for stock forecast
CN111127104A (zh) 一种商品销量预测方法及系统
CN112184320B (zh) 一种基于ai的商业网站运维数据的智能运营检测和运维的方法
CN115375205A (zh) 一种用水用户画像的确定方法、装置及设备
Yang et al. An ensemble prediction system based on artificial neural networks and deep learning methods for deterministic and probabilistic carbon price forecasting
Zhang et al. Forecasting of electricity prices using deep learning networks
CN110807508B (zh) 计及复杂气象影响的母线峰值负荷预测方法
Edington et al. A time-evolving digital twin tool for engineering dynamics applications
CN112132356A (zh) 一种基于时空图注意力机制的股价预测方法
AU2021106209A4 (en) Photovoltaic power generation three-layer screening power theft identification method based on feature mining
Lei et al. Comparison of multiple machine learning models based on enterprise revenue forecasting
CN112128950B (zh) 一种基于多种模型对比的机房温湿度预测方法及系统
CN113627977A (zh) 一种基于异构图的房屋价值预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant