CN106933691A - 一种针对季节性时序数据序列中异常点的识别方法及系统 - Google Patents

一种针对季节性时序数据序列中异常点的识别方法及系统 Download PDF

Info

Publication number
CN106933691A
CN106933691A CN201710136288.9A CN201710136288A CN106933691A CN 106933691 A CN106933691 A CN 106933691A CN 201710136288 A CN201710136288 A CN 201710136288A CN 106933691 A CN106933691 A CN 106933691A
Authority
CN
China
Prior art keywords
data
model
unit
point
sequential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710136288.9A
Other languages
English (en)
Other versions
CN106933691B (zh
Inventor
贾彪
王国彬
李克来
黄亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tubatu Group Co Ltd
Original Assignee
Shenzhen Bincent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bincent Technology Co Ltd filed Critical Shenzhen Bincent Technology Co Ltd
Priority to CN201710136288.9A priority Critical patent/CN106933691B/zh
Publication of CN106933691A publication Critical patent/CN106933691A/zh
Application granted granted Critical
Publication of CN106933691B publication Critical patent/CN106933691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Complex Calculations (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明提供了一种针对季节性时序数据序列中异常点的识别方法，包括以下步骤：所述数据处理模块提取数据的周期T1、T2、T3、...、Tj，当前的时间n,以及数据采集频率i,根据所述周期(T1、T2、T3、...、Tj)、当前时间n及数据采集频率i得出时序,并根据所述时序获取时序的相关测试数据，所述数据异常点检测模块根据模型异常点计算策略对所述时序相关的测试数据进行异常检测，该针对季节性时序数据序列中异常点的识别方法能够在时序中有效的发现其中的异常点，模型简单，容易代码实现、能准备分析运行的业务数据及相关数据的异常数据点，能快速准确识别异常点、及时、优化、准确地修正异常数据。

Description

一种针对季节性时序数据序列中异常点的识别方法及系统
技术领域
本发明涉及数据异常处理技术领域，尤其涉及一种针对季节性时序数据序列中异常点的识别方法及系统。
背景技术
生产中经常需要对异常的业务数据进行识别告警，业务数据通常具有一定的季节性，如网站各个时间段的访问量等，并通过不断聚集展示分析结果，为市场精准化营销水平和深度运营能力提供了有力支撑，一些常用的开源监控软件如open-falcon,prometheus都不支持此类异常识别，
现有技术的缺点：维护人员通过终端登陆业务数据系统，并访问经分后台数据，维护人员通过前台系统的体现的业务数据的分析结果，对系统生成的业务数据进行检查分析，与前日数据波动范围比例(或者计算年同期比，月同期环比)，进行正态分布的序列的分析，在数据波动范围超过阀值时进行数据异常告警，如果指标不正常，则处理故障。
当前对于符合正态分布的序列，做异常点识别的方法比较成熟。对于有季节性有时序一般思路都是想办法转化为一个正态分布，但没有一个可行有用的方法。
因此，本领域的技术人员亟需研究出一种针对季节性的时序，能够在时序中有效的发现其中的异常点，模型简单，容易代码实现、能快速准确识别异常点、及时修正异常数据的针对季节性时序数据序列中异常点的识别方法。
发明内容
本发明要解决的技术问题是提供一种针对季节性时序数据序列中异常点的识别方法，该针对季节性时序数据序列中异常点的识别方法能够在时序中有效的发现其中的异常点，模型简单，容易代码实现、能准确分析运行的业务数据及相关数据的异常数据点，帮助快速发现事件或者服务器10的异常问题，及时对异常问题进行处理，能快速准确识别异常点、及时、优化、准确地修正异常数据。
为解决上述技术问题，本发明提供了一种针对季节性时序数据序列中异常点的识别方法，其特征在于：提供服务器、数据处理模块及数据异常点检测模块，所述数据处理模块提取数据的周期T1、T2、T3、...、Tj，当前的时间n,以及数据采集频率i,根据所述周期(T1、T2、T3、...、Tj)、当前时间n及数据采集频率i得出时序:(n,n-1i,n-2i,...,n-60i)、(n-T1,n-T1-i,n-T1-2i,..,n-T1-60i),(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i)，...，(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i),并根据所述时序获取时序的相关测试数据，分别记为R',D1',D2'，...，Dj’，所述数据处理模块将获取的时序相关的测试数据进行存储并发送给所述数据异常点检测模块，所述数据异常点检测模块根据模型异常点计算策略对所述时序相关的测试数据进行异常检测，所述数据异常点检测模块包括：模型建立计算单元及异常点识别单元；所述数据异常点检测模块配置有模型异常点计算策略，所述模型异常点计算策略为：所述模型建立计算单元建立模型M0:a0E+a1D1+a2D2+...+ajDj＝R、模型M1:a0E+a1D1+a2D2+...+ajDj＝P,及模型M2:E＝R-P,所述模型建立计算单元计算上述模型M中的a0、a1、a2、...、aj，并将计算出的数据a0、a1、a2、...、aj代入到所述模型M1中得出P,同时更新模型M2的数据，所述模型建立计算单元将建立并计算完成的模型数据发送给所述异常点识别单元，其中，所述E为异常数据待审核区域；所述异常点识别单元配置有公式：|ed-u|＞3*sigma，所述异常点识别单元在所述E中随机提取数据ed代入公式|ed-u|＞3*sigma中，如果公式成立，则判断所述ed为数据异常点，如果公式不成立，则判断所述ed不是数据异常点，其中，ed为所述异常点识别单元对所述模型M2的E区域的数据随机取出的数值。
优选地，所述数据异常点检测模块还包括异常点数据定位单元，所述针对季节性时序数据序列中异常点的识别方法还包括步骤：所述异常点识别单元将所述异常点识别的数据ed发送给所述异常点数据定位单元，如果|ed-u|＞3*sigma成立，所述异常点数据定位单元从所述数据R中搜索出与所述数据ed对应的数据，并标识该数据为异常数据。
优选地，所述数据处理模块包括数据获取单元、数据转换单元及数据存储单元，“所述数据处理模块提取周期、当前时间及数据采集频率并获取的时序相关的测试数据”的步骤的实现步骤包括：所述业务数据获取单元提取数据的周期T1、T2、T3、...、Tj，当前的时间n,以及数据采集频率i,所述数据转换单元根据所述周期(T1、T2、T3、...、Tn)、当前时间n及数据采集频率i得出时序:(n,n-1i,n-2i,...,n-60i)、(n-T1,n-T1-i,n-T1-2i,..,n-T1-60i),(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i)，...，(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i),并将数据发送给所述数据获取单元，所述数据获取单元根据所述时序获取时序的相关测试数据，分别记为R',D1',D2'，...，Dj’，所述数据获取单元将获取的时序相关的测试数据发送给所述数据存储单元存储进行存储，所述数据获取单元将获取的时序相关的测试数据发送给所述数据异常点检测模块。
优选地，所述数据异常点检测模块还包括异常数据修正单元，所述针对季节性时序数据序列中异常点的识别方法还包括以下步骤：所述异常数据修正单元根据所述模型建立计算单元及所述异常点识别单元得出的R值，运用异常修正策略对所述R值进行修正。
优选地，所述步骤“所述模型建立计算单元计算上述模型M中的a0、a1、a2、...、aj”的实现步骤包括：所述模型建立计算单元对模型M：a0E+a1D1+a2D2+...+ajDj＝R的图像轮廓点进行最小二乘直线拟合，得到拟合曲线L2：a01E+a11′D1+a21′D2+...+aj1′Dj＝R，结合所述拟合曲线L2得出a0、a1、a2、...、aj。
优选地，所述异常修正策略包括公式：所述数据R在时序数据中形成输入层、隐层与输出层，为所述模型建立计算单元及所述异常点识别单元得出的R值对应的修正值，η为迭代系数，yr-1(i)为第y-1输出层中的异常数据R的数值，为所述R值在隐层的数值，为异常数据R在输入层的的数值。
为解决上述技术问题，本发明还提供一种运用上述的针对季节性时序数据序列中异常点的识别方法的识别系统；
采用了上述方法及系统之后，所述数据处理模块提取数据的周期T1、T2、T3、...、Tj，当前的时间n,以及数据采集频率i,根据所述周期(T1、T2、T3、...、Tj)、当前时间n及数据采集频率i得出时序:(n,n-1i,n-2i,...,n-60i)、(n-T1,n-T1-i,n-T1-2i,..,n-T1-60i),(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i)，...，(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i),并根据所述时序获取时序的相关测试数据，分别记为R',D1',D2'，...，Dj’，所述数据处理模块将获取的时序相关的测试数据进行存储并发送给所述数据异常点检测模块，所述数据异常点检测模块根据模型异常点计算策略对所述时序相关的测试数据进行异常检测，所述数据异常点检测模块配置有模型异常点计算策略，所述模型异常点计算策略为：所述模型建立计算单元建立模型M0:a0E+a1D1+a2D2+...+ajDj＝R、模型M1:a0E+a1D1+a2D2+...+ajDj＝P,及模型M2:E＝R-P,所述模型建立计算单元计算上述模型M中的a0、a1、a2、...、aj，并将计算出的数据a0、a1、a2、...、aj代入到所述模型M1中得出P,同时更新模型M2的数据，所述模型建立计算单元将建立并计算完成的模型数据发送给所述异常点识别单元，其中，所述E为异常数据待审核区域；所述异常点识别单元配置有公式：|ed-u|＞3*sigma，所述异常点识别单元在所述E中随机提取数据ed代入公式|ed-u|＞3*sigma中，如果公式成立，则判断所述ed为数据异常点，如果公式不成立，则判断所述ed不是数据异常点，该针对季节性时序数据序列中异常点的识别方法及系统能够在时序中有效的发现其中的异常点，模型简单，容易代码实现、能准确分析运行的业务数据及相关数据的异常数据点，帮助快速发现事件或者服务器的异常问题，及时对异常问题进行处理，能快速准确识别异常点、及时、优化、准确地修正异常数据。
附图说明
图1是本发明的一种针对季节性时序数据序列中异常点的识别方法的执行流程图；
图2是本发明的一种针对季节性时序数据序列中异常点的识别方法的整体模型示意图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
实施例1
请参阅图1至图2，
图1是本发明的一种针对季节性时序数据序列中异常点的识别方法的执行流程图；
图2是本发明的一种针对季节性时序数据序列中异常点的识别方法的整体模型示意图。
本发明公开了一种针对季节性时序数据序列中异常点的识别方法，提供服务器10、数据处理模块11及数据异常点检测模块12，所述数据处理模块11提取数据的周期T1、T2、T3、...、Tj，当前的时间n,以及数据采集频率i,根据所述周期(T1、T2、T3、...、Tj)、当前时间n及数据采集频率i得出时序:(n,n-1i,n-2i,...,n-60i)、(n-T1,n-T1-i,n-T1-2i,..,n-T1-60i),(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i)，...，(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i),并根据所述时序获取时序的相关测试数据，分别记为R',D1',D2'，...，Dj’，所述数据处理模块11将获取的时序相关的测试数据进行存储并发送给所述数据异常点检测模块12，数据异常点检测模块12根据模型异常点计算策略对所述时序相关的测试数据进行异常检测，所述数据异常点检测模块12包括：模型建立计算单元121、异常点识别单元122、异常点数据定位单元123及异常数据修正单元124；所述数据异常点检测模块12配置有模型异常点计算策略，所述模型异常点计算策略为：所述模型建立计算单元121建立模型M0:a0E+a1D1+a2D2+...+ajDj＝R、模型M1:a0E+a1D1+a2D2+...+ajDj＝P,及模型M2:E＝R-P,所述模型建立计算单元121计算上述模型M中的a0、a1、a2、...、aj，并将计算出的数据a0、a1、a2、...、aj代入到所述模型M1中得出P,同时更新模型M2的数据，所述模型建立计算单元121将建立并计算完成的模型数据发送给所述异常点识别单元122，其中，所述E为异常数据待审核区域；所述异常点识别单元122配置有公式：|ed-u|＞3*sigma，所述异常点识别单元122在所述E中随机提取数据ed代入公式|ed-u|＞3*sigma中，如果公式成立，则判断所述ed为数据异常点，如果公式不成立，则判断所述ed不是数据异常点，其中，ed为所述异常点识别单元122对所述模型M2的E区域的数据随机取出的数值；
所述异常点识别单元122将所述异常点识别的数据ed发送给所述异常点数据定位单元123，如果|ed-u|＞3*sigma成立，所述异常点数据定位单元123从所述数据R中搜索出与所述数据ed对应的数据，并标识该数据为异常数据；
所述异常数据修正单元124根据所述模型建立计算单元121及所述异常点识别单元122得出的R值，运用异常修正策略对所述R值进行修正，所述异常修正策略包括公式：所述数据R在时序数据中形成输入层、隐层与输出层，为所述模型建立计算单元121及所述异常点识别单元122得出的R值对应的修正值，η为迭代系数，yr-1(i)为第y-1输出层中的异常数据R的数值，为所述R值在隐层的数值，为异常数据R在输入层的的数值。
在本实施例，所述数据处理模块11包括数据获取单元111、数据转换单元112及数据存储单元113，“所述数据处理模块11提取周期、当前时间及数据采集频率并获取的时序相关的测试数据”的步骤的实现步骤包括：所述业务数据获取单元111提取数据的周期T1、T2、T3、...、Tj，当前的时间n,以及数据采集频率i,所述数据转换单元112根据所述周期(T1、T2、T3、...、Tn)、当前时间n及数据采集频率i得出时序:(n,n-1i,n-2i,...,n-60i)、(n-T1,n-T1-i,n-T1-2i,..,n-T1-60i),(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i)，...，(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i),并将数据发送给所述数据获取单元111，所述数据获取单元111根据所述时序获取时序的相关测试数据，分别记为R',D1',D2'，...，Dj’，所述数据获取单元111将获取的时序相关的测试数据发送给所述数据存储单元113存储进行存储，所述数据获取单元111将获取的时序相关的测试数据发送给所述数据异常点检测模块12。
在本实施例中，所述步骤“所述模型建立计算单元121计算上述模型M中的a0、a1、a2、...、aj”的实现步骤包括：所述模型建立计算单元121对模型M：a0E+a1D1+a2D2+...+ajDj＝R的图像轮廓点进行最小二乘直线拟合，得到拟合曲线L2：a01E+a11′D1+a21′D2+...+aj1′Dj＝R，结合所述拟合曲线L2得出a0、a1、a2、...、aj；
其中：M0模型的求解，有很多开源的数据库可以使用，如python的statsmodels，go的github.com/montanaflynn/stats等
实施例2，
本发明还公开一种运用实施1所述的针对季节性时序数据序列中异常点的识别方法的识别系统，包括服务器10、数据处理模块11及数据异常点检测模块12，所述数据处理模块11提取数据的周期T1、T2、T3、...、Tj，当前的时间n,数据采集频率i,根据所述周期(T1、T2、T3、...、Tn)、当前时间n及采集频率i得出时序:(n,n-1i,n-2i,...,n-60i)、(n-T1,n-T1-i,n-T1-2i,..,n-T1-60i),(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i)，...，(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i),并根据所述时序获取时序的相关测试数据，分别记为R',D1',D2'，...，Dj’，所述数据处理模块11将获取的时序相关的测试数据进行存储并发送给所述数据异常点检测模块12，所述数据异常点检测模块12包括：模型建立计算单元121及异常点识别单元122；所述数据异常点检测模块12配置有模型异常点计算策略，所述模型异常点计算策略为：所述模型建立计算单元121建立模型M0:a0E+a1D1+a2D2+...+ajDj＝R，模型M1:a0E+a1D1+a2D2+...+ajDj＝P,及模型M2:E＝R-P,所述模型建立计算单元121计算上述模型M中的a0、a1、a2、...、aj，并将计算出的数据a0、a1、a2、...、aj代入到所述模型M1中得出P,同时更新模型M2的数据，所述模型建立计算单元121将建立并计算完成的模型数据发送给所述异常点识别单元122，其中，所述E为异常数据待审核区域；所述异常点识别单元122配置有公式：|ed-u|＞3*sigma，所述异常点识别单元122在所述E中随机提取数据ed代入公式|ed-u|＞3*sigma中，如果公式成立，则所述ed为数据异常点，如果公式不成立，则所述ed不是数据异常点，其中，ed为所述异常点识别单元122对所述模型M2的E区域的数据随机取出数值。
采用上述的方法与系统之后，所述数据处理模块11提取数据的周期T1、T2、T3、...、Tj，当前的时间n,以及数据采集频率i,根据所述周期(T1、T2、T3、...、Tj)、当前时间n及数据采集频率i得出时序:(n,n-1i,n-2i,...,n-60i)、(n-T1,n-T1-i,n-T1-2i,..,n-T1-60i),(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i)，...，(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i),并根据所述时序获取时序的相关测试数据，分别记为R',D1',D2'，...，Dj’，所述数据处理模块11将获取的时序相关的测试数据进行存储并发送给所述数据异常点检测模块12，数据异常点检测模块12根据模型异常点计算策略对所述时序相关的测试数据进行异常检测，所述数据异常点检测模块12包括：模型建立计算单元121及异常点识别单元122；所述数据异常点检测模块12配置有模型异常点计算策略，所述模型异常点计算策略为：所述模型建立计算单元121建立模型M0:a0E+a1D1+a2D2+...+ajDj＝R、模型M1:a0E+a1D1+a2D2+...+ajDj＝P,及模型M2:E＝R-P,所述模型建立计算单元121计算上述模型M中的a0、a1、a2、...、aj，并将计算出的数据a0、a1、a2、...、aj代入到所述模型M1中得出P,同时更新模型M2的数据，所述模型建立计算单元121将建立并计算完成的模型数据发送给所述异常点识别单元122，其中，所述E为异常数据待审核区域；所述异常点识别单元122配置有公式：|ed-u|＞3*sigma，所述异常点识别单元122在所述E中随机提取数据ed代入公式|ed-u|＞3*sigma中，如果公式成立，则判断所述ed为数据异常点，如果公式不成立，则判断所述ed不是数据异常点，该针对季节性时序数据序列中异常点的识别方法及系统能够在时序中有效的发现其中的异常点，模型简单，容易代码实现、能准确分析运行的业务数据及相关数据的异常数据点，帮助快速发现事件或者服务器10的异常问题，及时对异常问题进行处理，能快速准确识别异常点、及时、优化、准确地修正异常数据。
同时，应当理解的是，以上仅为本发明的优选实施例，不能因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效实现方法，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种针对季节性时序数据序列中异常点的识别方法，其特征在于：提供服务器、数据处理模块及数据异常点检测模块，所述数据处理模块提取数据的周期T1、T2、T3、...、Tj，当前的时间n,以及数据采集频率i,根据所述周期(T1、T2、T3、...、Tj)、当前时间n及数据采集频率i得出时序:(n,n-1i,n-2i,...,n-60i)、(n-T1,n-T1-i,n-T1-2i,..,n-T1-60i),(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i)，...，(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i),并根据所述时序获取时序的相关测试数据，分别记为R',D1',D2'，...，Dj’，所述数据处理模块将获取的时序相关的测试数据进行存储并发送给所述数据异常点检测模块，所述数据异常点检测模块根据模型异常点计算策略对所述时序相关的测试数据进行异常检测，所述数据异常点检测模块包括：模型建立计算单元及异常点识别单元；所述数据异常点检测模块配置有模型异常点计算策略，所述模型异常点计算策略为：所述模型建立计算单元建立模型M0:a0E+a1D1+a2D2+...+ajDj＝R、模型M1:a0E+a1D1+a2D2+...+ajDj＝P,及模型M2:E＝R-P,所述模型建立计算单元计算上述模型M中的a0、a1、a2、...、aj，并将计算出的数据a0、a1、a2、...、aj代入到所述模型M1中得出P,同时更新模型M2的数据，所述模型建立计算单元将建立并计算完成的模型数据发送给所述异常点识别单元，其中，所述E为异常数据待审核区域；所述异常点识别单元配置有公式：|ed-u|＞3*sigma，所述异常点识别单元在所述E中随机提取数据ed代入公式|ed-u|＞3*sigma中，如果公式成立，则判断所述ed为数据异常点，如果公式不成立，则判断所述ed不是数据异常点，其中，ed为所述异常点识别单元对所述模型M2的E区域的数据随机取出的数值。
2.根据权利要求1所述的针对季节性时序数据序列中异常点的识别方法，其特征在于：所述数据异常点检测模块还包括异常点数据定位单元，所述针对季节性时序数据序列中异常点的识别方法还包括步骤：所述异常点识别单元将所述异常点识别的数据ed发送给所述异常点数据定位单元，如果|ed-u|＞3*sigma成立，所述异常点数据定位单元从所述数据R中搜索出与所述数据ed对应的数据，并标识该数据为异常数据。
3.根据权利要求1所述的针对季节性时序数据序列中异常点的识别方法，其特征在于：所述数据处理模块包括数据获取单元、数据转换单元及数据存储单元，“所述数据处理模块提取周期、当前时间及数据采集频率并获取的时序相关的测试数据”的步骤的实现步骤包括：所述业务数据获取单元提取数据的周期T1、T2、T3、...、Tj，当前的时间n,以及数据采集频率i,所述数据转换单元根据所述周期(T1、T2、T3、...、Tn)、当前时间n及数据采集频率i得出时序:(n,n-1i,n-2i,...,n-60i)、(n-T1,n-T1-i,n-T1-2i,..,n-T1-60i),(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i)，...，(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i),并将数据发送给所述数据获取单元，所述数据获取单元根据所述时序获取时序的相关测试数据，分别记为R',D1',D2'，...，Dj’，所述数据获取单元将获取的时序相关的测试数据发送给所述数据存储单元存储进行存储，所述数据获取单元将获取的时序相关的测试数据发送给所述数据异常点检测模块。
4.根据权利要求1所述的针对季节性时序数据序列中异常点的识别方法，其特征在于：所述数据异常点检测模块还包括异常数据修正单元，所述针对季节性时序数据序列中异常点的识别方法还包括以下步骤：所述异常数据修正单元根据所述模型建立计算单元及所述异常点识别单元得出的R值，运用异常修正策略对所述R值进行修正。
5.根据权利要求1所述的针对季节性时序数据序列中异常点的识别方法，其特征在于：所述步骤“所述模型建立计算单元计算上述模型M中的a0、a1、a2、...、aj”的实现步骤包括：所述模型建立计算单元对模型M：a0E+a1D1+a2D2+...+ajDj＝R的图像轮廓点进行最小二乘直线拟合，得到拟合曲线L2：a01E+a11'D1+a21'D2+...+aj1'Dj＝R，结合所述拟合曲线L2得出a0、a1、a2、...、aj。
6.根据权利要求4所述的针对季节性时序数据序列中异常点的识别方法，其特征在于：所述异常修正策略包括公式：所述数据R在时序数据中形成输入层、隐层与输出层，为所述模型建立计算单元及所述异常点识别单元得出的R值对应的修正值，η为迭代系数，yr-1(i)为第y-1输出层中的异常数据R的数值，为所述R值在隐层的数值，为异常数据R在输入层的的数值。
7.一种运用1至6任一所述的针对季节性时序数据序列中异常点的识别方法的识别系统，其特征在于：包括服务器、数据处理模块及数据异常点检测模块，所述数据处理模块提取数据的周期T1、T2、T3、...、Tj，当前的时间n,数据采集频率i,根据所述周期(T1、T2、T3、...、Tn)、当前时间n及采集频率i得出时序:(n,n-1i,n-2i,...,n-60i)、(n-T1,n-T1-i,n-T1-2i,..,n-T1-60i),(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i)，...，(n-T2,n-T2-i,n-T2-2i,..,n-T2-60i),并根据所述时序获取时序的相关测试数据，分别记为R',D1',D2'，...，Dj’，所述数据处理模块将获取的时序相关的测试数据进行存储并发送给所述数据异常点检测模块，所述数据异常点检测模块根据所述模型异常点计算策略对所述时序相关的测试数据进行异常检测，所述数据异常点检测模块包括：模型建立计算单元及异常点识别单元；所述数据异常点检测模块配置有模型异常点计算策略，所述模型异常点计算策略为：所述模型建立计算单元建立模型M0:a0E+a1D1+a2D2+...+ajDj＝R，模型M1:a0E+a1D1+a2D2+...+ajDj＝P,及模型M2:E＝R-P,所述模型建立计算单元计算上述模型M中的a0、a1、a2、...、aj，并将计算出的数据a0、a1、a2、...、aj代入到所述模型M1中得出P,同时更新模型M2的数据，所述模型建立计算单元将建立并计算完成的模型数据发送给所述异常点识别单元，其中，所述E为异常数据待审核区域；所述异常点识别单元配置有公式：
|ed-u|＞3*sigma，所述异常点识别单元在所述E中随机提取数据ed代入公式|ed-u|＞3*sigma中，如果公式成立，则所述ed为数据异常点，如果公式不成立，则所述ed不是数据异常点，其中，ed为所述异常点识别单元对所述模型M2的E区域的数据随机取出数值。
CN201710136288.9A 2017-03-09 2017-03-09 一种针对季节性时序数据序列中异常点的识别方法及系统 Active CN106933691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710136288.9A CN106933691B (zh) 2017-03-09 2017-03-09 一种针对季节性时序数据序列中异常点的识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710136288.9A CN106933691B (zh) 2017-03-09 2017-03-09 一种针对季节性时序数据序列中异常点的识别方法及系统

Publications (2)

Publication Number Publication Date
CN106933691A true CN106933691A (zh) 2017-07-07
CN106933691B CN106933691B (zh) 2020-11-10

Family

ID=59433031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710136288.9A Active CN106933691B (zh) 2017-03-09 2017-03-09 一种针对季节性时序数据序列中异常点的识别方法及系统

Country Status (1)

Country Link
CN (1) CN106933691B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784042A (zh) * 2018-12-29 2019-05-21 北京奇安信科技有限公司 时间序列中异常点的检测方法、装置、电子设备及存储介质
CN110674126A (zh) * 2019-10-12 2020-01-10 珠海格力电器股份有限公司 得到异常数据的方法及系统
CN111738067A (zh) * 2020-05-12 2020-10-02 国网陕西省电力公司电力科学研究院 一种电力在线监测系统数据的时间序列异常检测方法
CN113296990A (zh) * 2020-09-30 2021-08-24 阿里云计算有限公司 时序数据的异常识别方法及装置
CN114295928A (zh) * 2022-03-09 2022-04-08 广州市保伦电子有限公司 一种校园电器故障检测方法、后台服务器及系统
CN115904791A (zh) * 2022-12-30 2023-04-04 广东石油化工学院 一种动量轮转速带跳变过程误码识别及自适应修复方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120278051A1 (en) * 2011-04-29 2012-11-01 International Business Machines Corporation Anomaly detection, forecasting and root cause analysis of energy consumption for a portfolio of buildings using multi-step statistical modeling
CN104766175A (zh) * 2015-04-16 2015-07-08 东南大学 一种基于时间序列分析的电力系统异常数据辨识与修正方法
CN104915846A (zh) * 2015-06-18 2015-09-16 北京京东尚科信息技术有限公司 一种电子商务时间序列数据的异常检测方法及系统
CN105512447A (zh) * 2014-09-26 2016-04-20 山西云智慧科技股份有限公司 一种基于Holt-Winters模型的公交客量预测方法
CN105703954A (zh) * 2016-03-17 2016-06-22 福州大学 一种基于arima模型的网络数据流预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120278051A1 (en) * 2011-04-29 2012-11-01 International Business Machines Corporation Anomaly detection, forecasting and root cause analysis of energy consumption for a portfolio of buildings using multi-step statistical modeling
CN105512447A (zh) * 2014-09-26 2016-04-20 山西云智慧科技股份有限公司 一种基于Holt-Winters模型的公交客量预测方法
CN104766175A (zh) * 2015-04-16 2015-07-08 东南大学 一种基于时间序列分析的电力系统异常数据辨识与修正方法
CN104915846A (zh) * 2015-06-18 2015-09-16 北京京东尚科信息技术有限公司 一种电子商务时间序列数据的异常检测方法及系统
CN105703954A (zh) * 2016-03-17 2016-06-22 福州大学 一种基于arima模型的网络数据流预测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784042A (zh) * 2018-12-29 2019-05-21 北京奇安信科技有限公司 时间序列中异常点的检测方法、装置、电子设备及存储介质
CN110674126A (zh) * 2019-10-12 2020-01-10 珠海格力电器股份有限公司 得到异常数据的方法及系统
CN111738067A (zh) * 2020-05-12 2020-10-02 国网陕西省电力公司电力科学研究院 一种电力在线监测系统数据的时间序列异常检测方法
CN111738067B (zh) * 2020-05-12 2024-04-16 国网陕西省电力公司电力科学研究院 一种电力在线监测系统数据的时间序列异常检测方法
CN113296990A (zh) * 2020-09-30 2021-08-24 阿里云计算有限公司 时序数据的异常识别方法及装置
CN113296990B (zh) * 2020-09-30 2022-06-24 阿里云计算有限公司 时序数据的异常识别方法及装置
CN114295928A (zh) * 2022-03-09 2022-04-08 广州市保伦电子有限公司 一种校园电器故障检测方法、后台服务器及系统
CN115904791A (zh) * 2022-12-30 2023-04-04 广东石油化工学院 一种动量轮转速带跳变过程误码识别及自适应修复方法
CN115904791B (zh) * 2022-12-30 2023-10-13 广东石油化工学院 一种动量轮转速带跳变过程误码识别及自适应修复方法

Also Published As

Publication number Publication date
CN106933691B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN106933691A (zh) 一种针对季节性时序数据序列中异常点的识别方法及系统
Juddoo Overview of data quality challenges in the context of Big Data
Xie et al. Detecting duplicate bug reports with convolutional neural networks
CN109885768A (zh) 工单处理方法、装置及系统
CN106339274A (zh) 一种数据快照获取的方法及系统
JP6850806B2 (ja) 電子データ構造から属性を抽出するための注釈システム
CN111242793B (zh) 医保数据异常的检测方法和装置
CN104866580A (zh) 一种数据库变更对现有业务影响的快速侦测方法
CN102609422A (zh) 类目错放识别方法和装置
CN110209585A (zh) 一种软件测试用例智能训练方法，终端及存储介质
CN104484131B (zh) 多磁盘服务器的数据处理装置及对应的处理方法
CN106056287A (zh) 基于上下文对数据集进行数据质量评估的设备及方法
CN104008420A (zh) 一种基于自动编码机的分布式离群点检测方法及系统
CN111949646A (zh) 基于大数据的设备运行状况分析方法、装置、设备及介质
US10339035B2 (en) Test DB data generation apparatus
CN112434024A (zh) 面向关系型数据库的数据字典生成方法、装置、设备及介质
CN112419268A (zh) 一种输电线路图像缺陷检测方法、装置、设备及介质
CN114979120A (zh) 数据上传方法、装置、设备及存储介质
CN111078512A (zh) 告警记录生成方法、装置、告警设备及存储介质
Juddoo et al. A qualitative assessment of machine learning support for detecting data completeness and accuracy issues to improve data analytics in big data for the healthcare industry
WO2023272862A1 (zh) 基于网络行为数据的风控识别方法、装置、电子设备及介质
Liu et al. [Retracted] Brand Marketing Decision Support System Based on Computer Vision and Parallel Computing
CN109144999B (zh) 一种数据定位方法、装置及存储介质、程序产品
CN108427675A (zh) 构建索引的方法及设备
US11409773B2 (en) Selection device, selection method, and non-transitory computer readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 518000 R & D room 3501, block a, building 7, Vanke Cloud City Phase I, Xingke 1st Street, Xili community, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Tubatu Group Co.,Ltd.

Address before: 1001-a, 10th floor, bike technology building, No.9, Keke Road, high tech Zone, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: SHENZHEN BINCENT TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address