CN105160181A - 一种数控系统指令域序列异常数据检测方法 - Google Patents

Abstract

本发明公开了一种数控系统指令域序列异常数据检测方法，包括(1)获取训练样本数据中心线，获取包络线比率r；(2)构造窗宽N、临界长度X、连续异常点长度和阶梯点长度分界线Y、数据流分析长度Z的经验公式并根据经验公式设置相应参数；(3)利用N确定滑动窗口长度，利用滑动窗口分割数据流，利用简单移动平均法或多项式拟合法获取滑动窗口数据中心线，包络线外样本为当前滑动窗口内判定的异常点存入l_outlier，利用过程记录序列l_new、过程记录正常序列l_normal、X、Y确定最终判定类型；(4)达到指定的数据流分析长度Z时，结束异常检查，否则清除序列号为(i-1)u+N+1、(i-1)u+N+2、...、i·u+N的数据缓存，进入第i+1个滑动窗口的分析。

Description

一种数控系统指令域序列异常数据检测方法

技术领域

本发明属于数据挖掘领域，更具体的，涉及一种数控系统指令域序列异常数据检测方法。

背景技术

按照国家现行标准GB4883-2008中定义，异常值形成原因有2个：总体固有变异性的极端表现引起，实验条件、试验方法、观测、记录或计算失误引起；标准还给出了异常值检测方法，大多数研究也主要参照该标准提出的统计学方法进行研究，例如公开号为CN104657503A的专利，利用统计判别法对电商销售额异常值进行预处理，公开号为CN104703215A的专利，通过在预设时间内对异常值的频率统计得到出现异常值的概率确定是否出现异常事件；针对异常值挖掘算法还有利用聚类、距离、密度、偏差等方法。

上述方法主要针对无序数据集，在实际社会、经济、军事和生活等活动中产生的数据大多是按照某种顺序排列的有序序列，例如时间序列、数控加工中基于指令序列的状态数据序列等，有序序列中异常数据包含着潜在的信息，充分挖掘其信息才能够充分掌握实际生产活动动态变化，实现社会、经济、军事和生活等活动的实时的智能检测和控制。有序序列异常有3种类型：点异常、连续序列异常、模式异常。点异常与连续序列异常主要表现为单个或少量连续点偏离整体模式，形成局部尖峰或较为尖锐的局部波动，其前后序列模式一致，与无序数据集异常值形成原因一致；模式异常主要表现为大量“相对”连续点偏离整体模式或者从某点开始走势偏离原模式，二者分别会形成阶梯或者跳变，具体见图1，“相对”是指在模式异常序列内部可能存在点异常、连续序列异常，本质上模式异常并非真正异常，只是由于数据内部结构特异性或实验条件、试验方法改变引起的数据行为的改变。

有序序列异常数据挖掘方法主要有生物学方法、机器学习方法、基于特征空间的方法等；生物学方法仿照免疫系统识别自我和异我的机制，将“异我”识别为异常并剔除；机器学习方法包括神经网络回归模型、支持向量机回归模型、聚类，利用回归模型求取的值或预测的值与实际值比较判别是否为异常值，聚类则主要对训练集分段后训练获得状态机，数据流中出现与状态机不符的序列被判定为异常模式；基于特征的方法对数据流分段求取特征，从而将时间序列异常检测转化无序数据集异常检测。

对有序序列的分析分为动态和静态两种，静态分析主要针对数据库中已存储的数据，数据不再更新，动态分析主要针对随某变量持续更新的有序序列，即数据流。针对动态数据的挖掘不仅要考虑序列的前后相关性还要考虑数据的持续更新，不能像对待静态数据将其全部存入数据库，因为随着变量推移，数据流中数据是海量的，常用简化存储的方法是存入一个远小于数据量的概要数据结构或模型，针对数据流异常检测应是连续的，并且应该高效快速以满足实时分析的需求。数据流异常数据挖掘是数据挖掘领域一个研究热点，针对时间序列异常数据挖掘的专利有很多，例如公开号为CN104715150A的专利，提取图形中时间序列构建被试的静息态脑功能复杂网络，对网络的拓扑结构性质进行双样本T检验得到显著异常，公开号为CN104717106A的专利，利用ARMA模型预测值与真实值比对得到网络流量属性数据信息的新息序列，通过多变量序贯概率比检验后做差得到似然比序列，对其进行相关性分析判定网络异常是否发生，公开号为CN104636999A的专利，首先利用行业标准寻找异常，然后利用偏差检测技术过滤异常，最后采用基于离散傅立叶变换的时间序列相似性查找出异常，实现建筑用能数据中的异常数据精准定位，时间序列异常检测多为静态分析；目前并无针对数据流异常数据挖掘的中国专利，相关文献有很多，例如哈尔滨工业大学的庞景月基于滑动窗口的高斯过程回归模型，用于检测单数据流异常，复旦大学的张晨构建了不确定数据流聚类算法、基于信息论的概率数据流聚类算法、多数据流情况下的异常趋势检测方法，用于挖掘数据流异常，东北大学的田玥采用CLOSET算法挖掘网络数据流频繁模式，利用加权欧几里得距离度量相似性，检测异常模式，设计了大规模网络数据流异常检测系统模型和网络数据流频繁模式挖掘和检测算法；这些研究要么模型建立和计算复杂，要么难以实现自动实时分析，需要进行人为干涉选择部分参数或判断中间结果后选取流程走向等。

发明内容

针对上述需求或改进需求，本发明方法提出了一种数控系统指令域序列异常数据挖掘方法，其能够快速有效进行数据流异常数据的实时检测，所述方法包括：

(1)、利用简单移动平均法或多项式拟合法获取训练样本数据中心线，利用训练样本、训练样本数据中心线，通过二分法或直接搜索法获取包络线比率r；

简单移动平均法如下：

$y_k=\left\{\begin{array}{cc}\frac{\underset{i=1}{\overset{2k-1}{\&Sigma;}}{x}_i}{2k-1}& k<\&lsqb;\frac{d}{2}\&rsqb;\\ \frac{\underset{i=k-\&lsqb;\frac{d}{2}\&rsqb;}{\overset{k+\&lsqb;\frac{d}{2}\&rsqb;}{\&Sigma;}}{x}_i}{d}& k\&GreaterEqual;\&lsqb;\frac{d}{2}\&rsqb;\end{array}\right.---\left(1\right)$

其中x_i为序列号为i的样本点，y_k为获取的第k个中心点，d为移动平均项数，[d/2]为向左取整，d计算方法如下：

d＝k₃l(2)

其中k₃为移动平均项数占样本量比例，一般取4％；

多项式拟合法确定多项式项数w后，数据中心线多项式为：y_k＝a_wx_k ^w+a_w-1x_k ^w-1+…+a₀，利用最小二乘法求取多项式系数a₀、a₁、…、a_w，

根据数据中心线、r，上下包络线公式如下：

y_k＝x_k±r·R(3)

其中r为包络线比率，R为样本值偏离中心线值的均方差，在式(3)外的样本点为滑动窗口内判定的异常点；

设训练集样本点数为l(l≥10N)，二分法搜索获取r的条件如下：

条件1:包络线外样本点数小于k1·l；

条件2:包络线外样本点数大于k2·l；

条件3:包络线外样本点总数小于k2·l，大于k1·l；

其中，所述k1是最小异常点数占样本总量的比率，k2是最大异常点数占样本总量的比率；

具体搜索流程如下：

(1-1)、给定最小和最大r分别为a₀、a₁及最大迭代次数k，令当前迭代次数i＝1；

(1-2)、根据公式(3)依次计算包络线比率分别为a₀、a_1,时是否满足条件3，满足输出满足条件的值，迭代结束，否则转入(1-3)；

(1-3)、令i＝i+1，左右节点L、R分别为a₀、a₁；a_i＝(L+R)/2；

(1-4)、若a_i满足条件1，则需要减小r，使包络线外样本增加，故左节点不变，右节点更新为a_i；若满足条件2，则需要增大r，使包络线外样本减少，故右节点不变，左节点更新为a_i；

(1-5)、重复步骤(1-3)、(1-4)，直到满足条件3或达到最大迭代次数，输出最终r；

本发明方法根据具体条件设计的二分法只需更新左右节点，利用左右节点中值即可不断迅速缩小范围，搜索满足条件的值；此二分法同样适用满足相同条件的搜索；

其中利用直接搜索法是指从最大值a₁或最小值a₀，按照指定步长s搜索减小或增大r值，为达到精度q要求，s需满足：

$s=\&PlusMinus;\frac{q}{a_1-a_0}---\left(4\right)$

正负代表搜索方向，为正则由a₀开始搜索，反之从a₁开始。

(2)、构造窗宽N、临界长度X、连续异常点长度和阶梯点长度分界线Y、数据流分析长度Z的经验公式并根据经验公式设置相应参数；初始化单步处理样本点数u、滑动窗口异常记录多维序列l_outlier、过程记录序列l_new、过程记录正常序列l_normal；

其中，窗宽N根据采样周期T、单步处理样本点数u、单步检测与存储需要的时间c确定，窗宽N需满足下式：

u·T≥c(5)

若不满足，则适当减小窗宽N，若不满足需相应增大N。其中X、Y、Z、N一般应满足下式：

Z≥100N

Y≈0.4％N

X≈0.5％N(6)

初始化单步处理样本点数u、滑动窗口异常记录多维序列l_outlier、过程记录序列l_new、过程记录正常序列l_normal，用u确定滑动窗口滑动一次处理的样本点数，用l_outlier记录滑动窗口内判定的异常点的序列号及其累计异常数，用l_new记录通过滑动窗口且待处理的样本点序列号及其初始判定类型，用l_normal记录通过滑动窗口且为初始判定正常点的序列号及其初始判定类型；

(3)、利用N确定滑动窗口长度，利用滑动窗口分割数据流，利用简单移动平均法或多项式拟合法获取滑动窗口数据中心线，利用滑动窗口数据中心线、r、公式(3)求取当前滑动窗口上下包络线，包络线外样本为当前滑动窗口内判定的异常点，存入l_outlier，当前滑动窗口内异常点判定完毕后，利用过程记录序列l_new、过程记录正常序列l_normal、X、Y确定最终判定类型；

其中利用滑动窗口分割数据流是指滑动窗口包含N个连续样本点，第i个滑动窗口异常检测后，位于滑动窗口前部的u个序列号为(i-1)u+1、(i-1)u+2、...、i·u的样本点通过窗口，滑动窗口尾部添加u个新样本点(i-1)u+N+1、(i-1)u+N+2、...、i·u+N，获取第i+1个窗口；若需提高效率，需提高u，u太大会造成判别正确率降低；

利用简单移动平均法或多项式拟合法获取滑动窗口数据中心线；若选取的窗宽N合适使得大部分窗口的多项式次数相同，则可使用多项式拟合法，求取中心线，否则选取简单移动平均法获取中心线；简单移动平均法、多项式拟合法计算公式见步骤(1)中计算方法，滑动窗口中式(1)中d计算方法如下：

d＝k₃N(7)

有序序列异常的3种类型：点异常、连续异常、模式异常，对应异常数据分别成为孤立异常点、连续异常点、阶梯点；点异常与连续异常主要表现为单个或少量连续点偏离整体模式，形成局部尖峰或较为尖锐的局部波动；模式异常主要表现为大量“相对”连续点偏离整体模式或者从某点开始走势偏离原模式，二者分别会形成阶梯或者跳变，“相对”是指在模式异常序列内部可能存在点异常、连续异常，本质上模式异常并非真正异常，只是由于数据内部结构特异性或实验条件、试验方法改变引起的数据行为的改变；利用下述方法可确定异常类型；

滑动窗口异常记录多维序列l_outlier，记录滑动窗口内判定的异常点序列号及其累计异常数tⁱ _k，tⁱ _k表示序列号为k的样本点在第i个滑动窗口判定完毕后的累计异常数，其记录格式为l_outlier＝{(序列号,tⁱ _k)}；

当前滑动窗口内异常点判定完毕后，利用过程记录序列l_new、过程记录正常序列l_normal依次记录通过窗口的样本点，记录格式均为{(flag,序列号)}。flag为0、1、2、3、4时分别代表初始判定异常点、初始判定正常点、孤立异常点、连续异常点、阶梯点；初始判定类型包括初始判定异常点、初始判定正常点，序列号为k的样本点通过滑动窗口时利用tⁱ _k确定其初始判定类型；最终判定类型包括孤立异常点、连续异常点、阶梯点；

其中利用tⁱ _k确定初始判定类型具体方法如下：

(3-1-1)、根据r、滑动窗口数据中心线、式(3)获取第i个滑动窗口判定的异常点序列{nⁱ ₁,nⁱ ₂,...,nⁱ _k}后，与第i-1个滑动窗口获取的l_outlier中序列号比较获取第i个滑动窗口新增异常点的序列号为n_a1,n_a2,...,n_am及未变的异常点的序列号为n_b1,n_b2,...,n_bm；

(3-1-2)、对第i个滑动窗口新增异常点有tⁱ _k＝t^i-1 _k+1(k＝n_a1,n_a2,...,n_am)，更新l_outlier；

(3-1-3)、判断tⁱ _v/N’≤50％(v＝(i-1)u+1,(i-1)u+2,...,i·u)是否满足，若满足则序列号为v的样本点为初始判定正常点，若不满足则序列号为v的样本点为初始判定异常点，其中N’为序列号为v的样本点通过的滑动窗口总数，v≥N时，N’＝[N/u]，v<N时，N’＝[v/u]+1，中括号代表向左取整；

其中核心思想为：利用累积异常数判定数据是否为真实的异常数据，避免了单窗口内模型(简单移动平均模型、多项式拟合模型)误差影响；

其中确定样本点最终判定类型具体步骤如下：

(3-2-1)、若v为初始正常点，更新l_new＝{l_new,(1,v)}、l_normal＝{l_normal,(1,v)}；

(3-2-2)、若v为初始判定异常点，更新l_new＝{l_new,(0,v)}，通过如下步骤确定最终判定类型：

判定length(l_normal)≥X，若否则判定下一个样本点，若是从l_new中去除l_normal包含的样本点；

判定length(l_new)≥Y，若是则l_new中均为阶梯点，若否则从l_new中寻找相邻的初始判定异常点构成异常子序列，通过子序列长度判定各子序列中样本点是孤立异常点还是连续异常点；

从l_outlier中去除l_new包含的样本点，初始化l_normal，通过子序列长度判别样本类型，更新l_new＝{(v,0)}；

确定最终判定类型后，存储异常点及其类型标记，记录格式为SE＝{SE,(类型标记，起始序列号，终止序列号)}，其中length表示求取序列长度；

(3-2-3)、当v>i·u时计算下一个滑动窗口的l_outlier，对刚通过滑动窗口的u个样本点重复(3-2-1)、(3-2-2)、(3-2-3)；

其中核心思想为：出现初始判定异常点则截断l_normal，当连续正常序列l_normal长度达到临界长度X时，截断异常检查数据存入l_new中，对l_new整体进行分析；该思想能自适应找到合适的分割点进行异常分析；

对阶梯点内部也可采用滑动窗口异常点判定方法判定阶梯点内的孤立异常点和连续异常点，此时r、N、X、Y均需按阶梯点总长度和经验公式相应调整；

其中获取异常子序列并通过其长度判定各子序列中样本点是孤立异常点还是连续异常点的具体步骤如下：

(3-3-1)、获取l_new中flag及相应的序列号分别构成序列P、序列S；

(3-3-2)、获取序列Q_i＝P_i-P_i-1(Q₁＝-1，i≥2)中值等于-1和1的索引号分别存入序列index1、index2，二者长度相等，设长为l；

(3-3-3)、第k(k＝1,2,…,l)段异常子序列为{S_index1k,S_index1k+1,...,S_index2k-1}，若index2_k-index1_k＝1，则异常子序列为孤立异常点，否则异常子序列中样本点均为连续异常点；

(4)、达到指定的数据流分析长度Z时，结束异常检查，否则清除序列号为(i-1)u+N+1、(i-1)u+N+2、...、i·u+N的数据缓存，进入第i+1个滑动窗口的分析。

总体而言，通过本发明所构思的以上技术方案与现有技术对比，可以取得如下有益效果：

(1)、能够快速有效进行数据流异常数据的在线实时检测；

(2)、根据具体条件设计的二分法中只需跟新左右节点，利用左右节点中值即可不断迅速缩小范围，搜索满足条件的值；此二分法同样适用满足相同条件的搜索，并且算法简洁、效率高；

(3)、用累积异常数判定数据是否为真实的异常数据，避免了单窗口内模型(简单移动平均模型、多项式拟合模型)误差影响；

(4)、出现初始判定异常点时，截断l_normal、l_new，利用l_normal确定是否分割数据；将数据分段进行分析提高了异常检测的效率，并且能自适应寻找合适的数据分割点进行异常分析；

(5)、滑动窗口移动长度可以变化，可结合实际情况选择u，实现效率与异常分析准确度之间的权衡；

(6)、本发明方法中获取数据中心线的方法根据实际运用经验可继续扩充，不限于上述两种方法。

总而言之，本发明方法可实现数据流实时检测，效率高且有效，提取的异常数据结合具体背景可应用于分析与后续针对异常情况的补偿决策。

附图说明

图1为本发明模式异常中跳变与阶梯图；

图2为本发明二分法寻找r流程图；

图3为本发明总体流程图；

图4为本发明包含细节实现的总体流程图；

图5为本发明滑动窗口滑动方式；

图6为本发明寻找异常子序列流程图；

图7为具体实施例1异常检测结果；

图8为具体实施例2异常检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图3是本发明实施例方法中总流程图，图4是本发明实施例方法中包含细节实现的总流程，具体实施例采用指令域示波器采集的数控系统伺服驱动上的x轴电流进行异常检测，下文将结合两图对本发明方法进一步详细说明。

本实施例1具体实施步骤如下：

(1)、利用简单移动平均法或多项式拟合法获取训练样本数据中心线，利用训练样本、训练样本数据中心线，通过二分法或直接搜索法获取包络线比率r；

配有相同伺服驱动的同型号机床整体性能具有一致性，电流周期成分相同，出现异常时电流受伺服驱动、传动机构影响，跳变范围具有一致性；

采集数控系统运行状态数据进行分析，训练样本序列包括总样本点数420388。利用简单移动平均法求取训练样本数据中心线，利用二分法搜索获取r的流程见图2。训练集样本点总量为l＝420388，其中条件1-3分别为：

条件1:包络线外样本点数小于k1·l，k1＝0.05％；

条件2:包络线外样本点数大于k2·l，k2＝1％；

条件3:包络线外样本点总数小于k2·l，大于k1·l；

本实施例中二分法具体搜索过程如下：

(1-1)、设定初始参数，初始时，最小和最大r分别为a₀＝0.1、a₁＝5及最大迭代次数k＝20；

(1-2)、确定左右节点L、R分别为a₀、a₁，a₂＝(L+R)/2；根据式(3)计算a₀、a₁、a₂均不满足条件3；转入Step1-3；

(1-3)、令i＝3，此时由a_i-1与式(3)定的上下包络线外样本点数小于k1·l，因而需减小r，左节点不变，右节点更新为a_i-1，a_i＝(L+R)/2；

(1-4)、i＝i+1，此时由式(3)a_i-1确定的上下包络线外样本点数大于k2·l，因而需增大r，右节点不变，左节点更新为a_i-1，a_i＝(L+R)/2；

(1-5)、i＝i+1，此时由式(3)a_i-1确定的上下包络线外样本点数满足条件3，输出前次迭代的r，即a₄；

本实施例中设置的最大迭代次数为20，实际迭代5次即可计算出最后结果，最终包络线外样本点占总样本点总数的0.0086；计算第i次迭代值时，验证第i-1次迭代的r值是否满足条件1-3，满足则根据具体条件更新左右节点，利用左右节点中值即可不断迅速缩小范围，搜索满足条件的值，算法简洁效率高；

(2)、构造窗宽N、临界长度X、连续异常点长度和阶梯点长度分界线Y、数据流分析长度Z的经验公式并根据经验公式设置相应参数；初始化单步处理样本点数u、滑动窗口异常记录多维序列l_outlier、过程记录序列l_new、过程记录正常序列l_normal；

根据采样周期T、单步处理样本点数u、单步检测与存储单步检查结果需要的时间c确定窗宽N，确保数据流的概要数据结构或模型建立方便并且存储开销较小，本发明方法T＝0.001s，u＝5，当N∈[1000,20000]时，测试发现c变化不大，约为T的1/10，考虑效率并根据式(6)选取N＝20000；

根据式(6)确定X、Y、Z分别为：100、80、200000；

初始化单步处理样本点数u＝5，初始化滑动窗口异常记录多维序列l_outlier、过程记录序列l_new、过程记录正常序列l_normal均为空集；

(3)、利用N确定滑动窗口长度，利用滑动窗口分割数据流，利用简单移动平均法或多项式拟合法获取滑动窗口数据中心线，利用滑动窗口数据中心线、r、公式(3)求取当前滑动窗口上下包络线，包络线外样本为当前滑动窗口内判定的异常点，存入l_outlier，当前滑动窗口内异常点判定完毕后，利用过程记录序列l_new、过程记录正常序列l_normal、X、Y确定最终判定类型；

第i个滑动窗口异常检测后，位于滑动窗口前部u个序列号为(i-1)u+1、(i-1)u+2、...、i·u的样本点通过滑动窗口，滑动窗口尾部添加u个新样本点(i-1)u+N+1、(i-1)u+N+2、...、i·u+N，获取第i+1个滑动窗口；滑动窗口滑动方式见图5；对刚通过滑动窗口的样本点确定初始判定异常类型；

本具体实施例1选取简单移动平均法求取中心线，简单移动平均法公式如式(1)，其中y_k为采集数据，d为移动平均项数，[d/2]为向左取整，d计算方法如式(7)，本实施例中式(7)中k₃取4％；

根据中心线、r、上下包络线求取公式(3)获取上下包络线，包络线外滑动窗口内判定的异常点，滑动窗口内异常点判定的伪代码如下：

forI由i·u+1至N+i·u

ifx_I>y_I+r×R||x_I<y_I-r×R

temp＝{temp,I}

本具体实施例1及将要介绍的具体实施例2利用累积异常率判定数据是否为真实的异常数据，避免了单窗口内简单移动平均模型误差影响，利用tⁱ _k确定初始判定类型具体方法如下：

(3-1-1)、根据r、滑动窗口数据中心线、式(3)获取第i个滑动窗口判定的异常点序列{nⁱ ₁,nⁱ ₂,...,nⁱ _k}后，与第i-1个滑动窗口获取的l_outlier中序列号比较获取第i个滑动窗口新增异常点的序列号为n_a1,n_a2,...,n_am及未变的异常点的序列号为n_b1,n_b2,...,n_bm；

(3-1-2)、对第i个滑动窗口新增异常点有tⁱ _k＝t^i-1 _k+1(k＝n_a1,n_a2,...,n_am)，更新l_outlier；

(3-1-3)、判断tⁱ _v/N’≤50％(v＝(i-1)u+1,(i-1)u+2,...,i·u)是否满足，若满足则序列号为v的样本点为初始判定正常点，若不满足则序列号为v的样本点为初始判定异常点，其中N’为序列号为v的样本点通过的滑动窗口总数，v≥N时，N’＝[N/u]，v<N时，N’＝[v/u]+1，中括号代表向左取整；其中确定样本点最终判定类型具体步骤如下：

(3-2-1)、若v为初始正常点，更新l_new＝{l_new,(1,v)}、l_normal＝{l_normal,(1,v)}；

(3-2-2)、若v为初始判定异常点，更新l_new＝{l_new,(0,v)}，通过如下步骤确定最终判定类型：

判定length(l_normal)≥X，若否则判定下一个样本点，若是从l_new中去除l_normal包含的样本点；

判定length(l_new)≥Y，若是则l_new中均为阶梯点，若否则从l_new中寻找相邻的初始判定异常点构成异常子序列，通过子序列长度判定各子序列中样本点是孤立异常点还是连续异常点；

从l_outlier中去除l_new包含的样本点，初始化l_normal通过子序列长度判别样本类型，更新l_new＝{(v,0)}；

确定最终判定类型后，存储异常点及其类型标记，记录格式为SE＝{SE,(类型标记，起始序列号，终止序列号)}，其中length表示求取序列长度；

(3-2-3)、当v>i·u时计算下一个滑动窗口的l_outlier，对刚通过滑动窗口的u个样本点重复(3-2-1)、(3-2-2)、(3-2-3)；

其中获取异常子序列并通过其长度判定各子序列中样本点是孤立异常点还是连续异常点的具体步骤如下：

(3-3-1)、获取l_new中flag及相应的序列号分别构成序列P、序列S；

(3-3-2)、获取序列Q_i＝P_i-P_i-1(Q₁＝-1，i≥2)中值等于-1和1的索引号分别存入序列index1、index2，二者长度相等，设长为l；

(3-3-3)、第k(k＝1,2,…,l)段相邻异常数据列为{S_index1k,S_index1k+1,...,S_index2k-1}，若index2_k-index1_k＝1，则异常子序列为孤立异常点，否则异常子序列中样本点均为连续异常点；

(4)、达到指定的数据流分析长度Z时，结束异常检查，否则清除序列号为(i-1)u+N+1、(i-1)u+N+2、...、i·u+N的数据缓存，进入第i+1个滑动窗口的分析。

本具体实施例1中数据流分析长度达到Z时，将全部判定结果画图见图7，“*”号标记的为异常数据，图中仅可见最终被判定为异常的数据，异常类型存储在保存SE的文件中。

具体实施例2与实施例1中同时开始分析同一组数据流，处理方式一致，各参数选取一致，只在Step1、Step3中选取策略库中多项式拟合法，在Step1求取的r为2.55，最终包络线外样本点占总样本点总数的0.0084；各滑动窗口利用二次曲线拟合，本具体实施例2中数据流分析长度达到Z时，将全部判定结果画图见图8，“*”号标记的为异常数据，图中仅可见最终被判定为异常的数据，异常类型存储在保存SE的文件中；运用时，多项式拟合的k1、k2可取比简单移动平均大的值，避免二次曲线局部波动造成的异常数据误判。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数控系统指令域序列异常数据检测方法，其特征在于，所述方法包括如下步骤：

(1)、利用简单移动平均法或多项式拟合法获取训练样本数据中心线，利用训练样本、训练样本数据中心线，通过二分法或直接搜索法获取包络线比率r；

(2)、构造窗宽N、临界长度X、连续异常点长度和阶梯点长度分界线Y、数据流分析长度Z的经验公式并根据经验公式设置相应参数；初始化单步处理样本点数u、滑动窗口异常记录多维序列l_outlier、过程记录序列l_new、过程记录正常序列l_normal；

(3)、利用N确定滑动窗口长度，利用滑动窗口分割数据流，利用简单移动平均法或多项式拟合法获取滑动窗口数据中心线，利用滑动窗口数据中心线、r、公式y_k＝x_k±r·R求取当前滑动窗口上下包络线，R为样本值偏离中心线值的均方差，包络线外样本为当前滑动窗口内判定的异常点，存入l_outlier，当前滑动窗口内异常点判定完毕后，利用过程记录序列l_new、过程记录正常序列l_normal、X、Y确定最终判定类型；

(4)、达到指定的数据流分析长度Z时，结束异常检查，否则清除序列号为(i-1)u+N+1、(i-1)u+N+2、...、i·u+N的数据缓存，进入第i+1个滑动窗口的分析。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)中简单移动平均法或多项式拟合法具体为：

简单移动平均法如下：

$y_k=\left\{\begin{array}{cc}\frac{\underset{i=1}{\overset{2k-1}{\&Sigma;}}{x}_i}{2k-1}& k<\&lsqb;\frac{d}{2}\&rsqb;\\ \frac{\underset{i=k-\&lsqb;\frac{d}{2}\&rsqb;}{\overset{k+\&lsqb;\frac{d}{2}\&rsqb;}{\&Sigma;}}{x}_i}{d}& k\&GreaterEqual;\&lsqb;\frac{d}{2}\&rsqb;\end{array}\right.---\left(1\right)$

其中x_i为序列号为i的样本点，y_k为获取的第k个中心点值，d为移动平均项数，[d/2]为向左取整，d计算方法如下：

d＝k₃l(2)

多项式拟合法确定多项式项数w后，数据中心线多项式为：y_k＝a_wx_k ^w+a_w-1x_k ^w-1+…+a₀，利用最小二乘法求取多项式系数a₀、a₁、…、a_w，

根据数据中心线、r，上下包络线公式如下：

y_k＝x_k±r·R(3)

其中r为包络线比率，R为样本值偏离中心线值的均方差，在式(3)外的样本点为滑动窗口内判定的异常点。

3.如权利要求1或2所述的方法，其特征在于，所述步骤(1)中利用二分法搜索获取r具体包括如下步骤：

(1-1)、给定最小和最大r分别为a₀、a₁及最大迭代次数k，令当前迭代次数i＝1；

(1-2)、根据公式(3)依次计算包络线比率分别为a₀、a₁,时是否满足条件3，满足输出满足条件的值，迭代结束，否则转入(1-3)；

(1-3)、令i＝i+1，左右节点L、R分别为a₀、a₁；a_i＝(L+R)/2；

(1-4)、若a_i满足条件1，则需要减小r，使包络线外样本增加，故左节点不变，右节点更新为a_i；若满足条件2，则需要增大r，使包络线外样本减少，故右节点不变，左节点更新为a_i；

(1-5)、重复步骤(1-3)、(1-4)，直到满足条件3或达到最大迭代次数，输出最终r；

其中二分法搜索获取r的条件如下：

条件1:包络线外样本点数小于k1·l；

条件2:包络线外样本点数大于k2·l；

条件3:包络线外样本点总数小于k2·l，大于k1·l；

其中，所述k1是最小异常数据占样本总量的比率，k2是最大异常数据占样本总量的比率。

4.如权利要求1或2所述的方法，其特征在于，所述步骤(1)中利用直接搜索法获取r具体包括如下步骤：

从最大值a₁或最小值a₀，按照指定步长s搜索减小或增大r值，为达到精度q要求，s需满足：

$s=\&PlusMinus;\frac{q}{a_1-a_0}---\left(4\right)$

正负代表搜索方向，为正则由a₀开始搜索，反之从a₁开始。

5.如权利要求1或2所述的方法，其特征在于，所述步骤(2)中：

窗宽N根据采样周期T、单步处理样本点数u、单步检测与存储需要的时间c确定，窗宽N需满足下式：u·T≥c，若不满足，则适当减小窗宽N，若不满足需相应增大N；

其中X、Y、Z、N应满足下式： $\begin{array}{c}Z\&GreaterEqual;100N\\ Y\&ap;0.4\%N\\ X\&ap;0.5\%N\end{array};$

初始化单步处理样本点数u、滑动窗口异常记录多维序列l_outlier、过程记录序列l_new、过程记录正常序列l_normal，用u确定滑动窗口滑动一次处理的样本点数，用l_outlier记录滑动窗口内判定的异常点的序列号及其累计异常数，用l_new记录通过滑动窗口且待处理的样本点序列号及其初始判定类型，用l_normal记录通过滑动窗口且为初始判定正常点的序列号及其初始判定类型。

6.如权利要求1或2所述的方法，其特征在于，所述步骤(3)中：

利用滑动窗口分割数据流是指滑动窗口包含N个连续样本点，第i个滑动窗口异常检测后，位于滑动窗口前部的u个序列号为(i-1)u+1、(i-1)u+2、...、i·u的样本点通过窗口，滑动窗口尾部添加u个新样本点(i-1)u+N+1、(i-1)u+N+2、...、i·u+N，获取第i+1个窗口。

7.如权利要求1或2所述的方法，其特征在于，所述步骤(3)中下述方法确定异常类型：

滑动窗口异常记录多维序列l_outlier，记录滑动窗口内判定的异常点序列号及其累计异常数tⁱ _k，tⁱ _k表示序列号为k的样本点在第i个滑动窗口判定完毕后的累计异常数，其记录格式为l_outlier＝{(序列号,tⁱ _k)}；

当前滑动窗口内异常点判定完毕后，利用过程记录序列l_new、过程记录正常序列l_normal依次记录通过窗口的样本点，记录格式均为{(flag,序列号)}。flag为0、1、2、3、4时分别代表初始判定异常点、初始判定正常点、孤立异常点、连续异常点、阶梯点；初始判定类型包括初始判定异常点、初始判定正常点，序列号为k的样本点通过滑动窗口时利用tⁱ _k确定其初始判定类型；最终判定类型包括孤立异常点、连续异常点、阶梯点。

8.如权利要求7所述的方法，其特征在于，其中利用tⁱ _k确定初始判定类型具体方法如下：

(3-1-1)、根据r、滑动窗口数据中心线、式(3)获取第i个滑动窗口判定的异常点序列{nⁱ ₁,nⁱ ₂,...,nⁱ _k}后，与第i-1个滑动窗口获取的l_outlier中序列号比较获取第i个滑动窗口新增异常点的序列号为n_a1,n_a2,...,n_am及未变的异常点的序列号为n_b1,n_b2,...,n_bm；

(3-1-2)、对第i个滑动窗口新增异常点有tⁱ _k＝t^i-1 _k+1(k＝n_a1,n_a2,...,n_am)，更新l_outlier；

(3-1-3)、判断tⁱ _v/N’≤50％(v＝(i-1)u+1,(i-1)u+2,...,i·u)是否满足，若满足则序列号为v的样本点为初始判定正常点，若不满足则序列号为v的样本点为初始判定异常点，其中N’为序列号为v的样本点通过的滑动窗口总数，v≥N时，N’＝[N/u]，v<N时，N’＝[v/u]+1，中括号代表向左取整。

9.如权利要求7所述的方法，其特征在于，确定样本点最终判定类型具体步骤如下：

(3-2-1)、若v为初始正常点，更新l_new＝{l_new,(1,v)}、l_normal＝{l_normal,(1,v)}；

(3-2-2)、若v为初始判定异常点，更新l_new＝{l_new,(0,v)}，通过如下步骤确定最终判定类型：

判定length(l_normal)≥X，若否则判定下一个样本点，若是从l_new中去除l_normal包含的样本点；

判定length(l_new)≥Y，若是则l_new中均为阶梯点，若否则从l_new中寻找相邻的初始判定异常点构成异常子序列，通过子序列长度判定各子序列中样本点是孤立异常点还是连续异常点；

从l_outlier中去除l_new包含的样本点，初始化l_normal，通过子序列长度判别样本类型，更新l_new＝{(v,0)}；

确定最终判定类型后，存储异常点及其类型标记，记录格式为SE＝{SE,(类型标记，起始序列号，终止序列号)}，其中length表示求取序列长度；

(3-2-3)、当v>i·u时计算下一个滑动窗口的l_outlier，对刚通过滑动窗口的u个样本点重复(3-2-1)、(3-2-2)、(3-2-3)。

10.如权利要求9所述的方法，其特征在于，获取异常子序列并通过其长度判定各子序列中样本点是孤立异常点还是连续异常点的具体步骤如下：

(3-3-1)、获取l_new中flag及相应的序列号分别构成序列P、序列S；

(3-3-2)、获取序列Q_i＝P_i-P_i-1(Q₁＝-1，i≥2)中值等于-1和1的索引号分别存入序列index1、index2，二者长度相等，设长为l；

(3-3-3)、第k(k＝1,2,…,l)段异常子序列为若index2_k-index1_k＝1，则异常子序列为孤立异常点，否则异常子序列中样本点均为连续异常点。