CN112765219B - 一种跳过平稳区域的流数据异常检测方法 - Google Patents

Abstract

本发明公开了一种跳过平稳区域的流数据异常检测方法，通过对窗口中的数据空间进行网格单元划分，得到非空网格单元；在窗口滑动过程中，以非空网格单元的权重累积净变作为区域内数据密度变化程度的度量，跳过更新相对平稳数据区域中数据点的局部可达密度和局部异常因子；仅将含有估计点的θ_K最近邻点的区域用于估计局部异常因子，减少对不必要的数据点进行遍历。最后通过非空网格单元中局部异常异常因子的上下界实现非空网格单元和数据点两个层级的异常检测，即首先识别出包含有前n个异常值的非空网格单元，再检索出前n个异常数据点。本发明解决现有算法难以有效处理大量流数据的难题，使桥梁健康监测系统能高效准确地识别异常数据，以便维护桥梁的健康安全。

Description

一种跳过平稳区域的流数据异常检测方法

技术领域

本发明涉及大数据领域中流数据异常检测技术，尤其涉及一种跳过平稳区域的流数据异常检测方法。

背景技术

随着大数据技术的日益成熟，异常检测已经被广泛应用到金融反欺诈、医疗诊断、网络安全检测、工业健康监测系统等不同领域当中。在桥梁健康监测系统中，为保证时刻监测桥梁的健康状态，大量的传感器装置和超高频的数据传输使得需要采集和处理的数据呈指数级地增长，极大地增加了异常检测时间复杂度和所需计算资源，同时也增加了准确检测出异常点的难度。

目前，流数据异常检测大多采用了滑动窗口的思想，只对当前窗口中的数据进行检测，这样可以极大地减少计算量。尽管如此，为保证一定的准确率，单个窗口中的数据量依旧十分庞大。基于密度的异常检测算法在窗口切换过程中，需要对窗口内所有数据点的密度进行更新，而这一操作的最坏时间复杂度高达O(n²)，其中n为数据点个数。这不仅需要大量的计算资源，还会影响异常检测的时效性，导致错过采取措施应对风险的最佳时机。因此，为确保桥梁健康监测系统能及时准确地识别出异常数据以便于相关专业人员采取措施、应对风险，维持桥梁的健康安全，提出一种具有高准确率和高时效性的流数据异常检测算法具有重要的现实意义。

发明内容

本发明的目的在于克服现有方法的不足，提出了一种跳过平稳区域的流数据异常检测方法，该方法能高效准确地检测出流式数据中异常数据点，解决现有算法难以有效处理大量流数据的难题，使桥梁健康监测系统能高效准确地识别异常数据，以便维护桥梁的健康安全。

本发明的目的是通过以下技术方案来实现的：一种跳过平稳区域的流数据异常检测方法，该方法包括以下步骤：

(1)数据预处理：从桥梁健康监测系统传感器中实时采集数据，根据系统采样频率和需要不同选择若干个采样时间间隔为一个窗口，将所述窗口中的数据进行缺失值补全、归一化操作，得到数据空间X^d；

(2)划分网格单元：将步骤(1)得到的数据空间X^d分为对角线长度为θ_R的d维网格单元，所述网格单元包含非空网格单元<kc_i,w_i>，其中，i表示非空网格单元的索引，w_i表示第i个非空网格单元的权重，kc_i表示第i个非空网格单元的中心坐标；将非空网格单元集合{<kc_i，w_i>|i＝1，…，m}作为权重分布网格G；其中，m表示非空网格单元的个数；θ_R为不同场景下非空网格单元个数与窗口中数据点数量之比；

(3)更新数据分布：窗口滑动时，记窗口滑动前的权重分布网格为G^prep，记录消失在窗口中的消失数据点集合S_exp，同时记录新出现的新数据点集合S_new，将{<kc_i，w_i＝0>|i＝1，...，m}分别作为第一分布网格G_exp和第二分布网格G_new，对于第一分布网格G_exp遍历消失数据点集合S_exp，将消失数据点集合S_exp中的每一个数据点加入到对应的非空网格单元，并记录其权重，更新第一分布网格G_exp；对于第二分布网格G_new遍历新数据点集合S_new，将新数据点集合S_new中的每一个数据点加入到对应的非空网格单元，并记录其权重，更新第二分布网格G_new，随后将更新的第二分布网格G_new和更新的第一分布网格G_exp对应非空网格单元的权重作差，将{<kc_i，Δw_i>|i＝1，...，m}作为净变权重分布网格ΔG，再由窗口滑动前的权重分布网格G^prep加上净变权重分布网格ΔG可得到当前权重分布网格G^curr；

(4)跳过平稳区域：遍历当前权重分布网格G^curr的中心坐标kc_i，计算数据点x与中心坐标kc_i的距离，取θ_K个最近的kc_i组成θ_K最近邻核中心集合KC(x)，遍历净变权重分布网格ΔG中的<kc_i，Δw_i>，当所述数据点x与净变权重分布网格ΔG中的kc_i的欧氏距离小于等于所述数据点x与其的第θ_K最近邻核中心

的欧氏距离时，将满足上述条件的kc_i对应的Δw_i组成集合ΔW_t(x)；则数据点x的局部密度累积误差为：

其中，t_l表示上次更新密度的窗口，t_c表示当前窗口，Δw_j表示集合ΔW_t(x)中第j个非空网格单元的权重差；

每次窗口滑动时重复计算当前权重分布网格G^curr中核中心kc_i的局部密度累积误差；当核中心kc_i局部密度累积误差E(kc_i)大于误差容许阈值时，更新该核中心所在网格单元中所有数据点x的局部可达密度和局部异常因子，更新数据点x的局部可达密度和局部异常因子时，找出包含数据点x的θ_K最近邻数据点的非空网格单元，再遍历该非空网格单元中的数据点，估计出数据点x的第θ_K距离邻域

对

中的所有数据点y计算出y的第θ_K距离θ_K_dist(y)，则y到x的局部可达距离为

得到局部可达密度

和局部异常因子

并记录每个非空网格单元内最小局部异常因子LOF_min(x)及最大局部异常因子LOF_max(x)；其中

是x的θ_K最近邻数据点的个数；

(5)异常检测：设初始候选网格单元G_cand为空，用G^curr-G_cand表示G^curr中除去存在于G_cand中的非空网格单元集合，遍历G^curr-G_cand中的非空网格单元<kc_i，w_i>，若当前G_cand中所有非空网格单元的权重之和大于等于n且该非空网格单元最小局部异常因子LOF_min(x)大于G^curr-G_cand中最大局部异常因子LOF_max(x)，则输出当前G_cand；否则将当前G^curr-G_cand中的非空网格单元<kc_i，w_i>加入到G_cand，若当前G_cand中所有非空网格单元的权重之和小于n则继续遍历下一非空网格单元，否则比较当前G_cand最小局部异常因子LOF_min(x)是否大于G^curr-G_cand中最大局部异常因子LOF_max(x)，若是则继续遍历下一非空网格单元，若不是则不将<kc_i，w_i>加入到G_cand且继续遍历下一非空网格单元；通过上述过程得到G_cand，再G_cand中所有数据点的局部异常因子由大到小进行排序，选出前n个异常数据点。

与现有技术相比，本发明的有益效果：本发明通过对数据空间进行网格单元划分，采用核中心与权重相结合的方式表示数据区域，在窗口滑动过程中，通过权重净变的累积误差来选择性的更新数据局部密度。因为异常数据往往是少数部分，大多区域的数据密度在连续窗口中较为稳定，极大地减少计算量，提高异常检测效率而且不会影响检测准确率。除此之外，在更新过程中仅将包含有数据点的θ_K最近邻数据点的区域用于计算局部异常因子，避免遍历整个数据空间的数据点，进一步的缩减计算量，从而提高效率。本发明以桥梁健康监测系统为应用背景，提出了一种高效准确的流数据异常检测方法，解决了现有异常检测方法在处理爆发式流数据时无法保证准确率和时效性的难题。

附图说明

图1为本发明跳过平稳区域的流数据异常检测方法流程图；

图2为窗口滑动时数据分布的方法流程图；

图3为跳过平稳区域更新数据点局部可达密度和局部异常因子G^prep的方法流程图；

图4为前n个异常数据点检测方法流程图。

具体实施方式

下面结合附图，对本发明作进一步详细描述。

如图1提供了本发明跳过平稳区域的流数据异常检测方法流程图，所述流数据异常检测方法通过对窗口中的数据空间进行网格单元划分，以单元区域内数据点个数w_i作为权重，结合非空网格单元中心坐标kc_i来表示非空网格单元。在窗口滑动过程中，以非空网格单元的权重累积净变作为区域内数据密度变化程度的度量，跳过更新相对平稳数据区域中数据点的局部可达密度和局部异常因子。在需要更新的区域内，仅将含有估计点θ_K最近邻点的区域用于估计局部异常因子，减少对不必要的数据点进行遍历。最后通过非空网格单元中局部异常异常因子的上下界实现非空网格单元和数据点两个层级的异常检测，即首先识别出包含有前n个异常值的非空网格单元，再检索出前n个异常数据点。具体包括如下步骤：

(1)数据预处理：从桥梁健康监测系统传感器中实时采集数据，根据系统采样频率和需要不同选择n个采样时间间隔为一个窗口，将所述窗口中的数据进行缺失值补全、归一化操作，得到数据空间X^d；

(2)划分网格单元：将步骤(1)得到的数据空间X^d分为对角线长度为θ_R的d维网格单元，θ_R为不同场景下非空网格单元个数与窗口中数据点数量之比，θ_R应足够小，以减少计算开销，但不能太小，以保持离群点检测精度，为此，通过从足够小的值增加θ_R来找到比率曲线的第一个弯折。可以在第一弯折之后的范围内通过搜索确定使得召回率最大的θ_R。所述网格单元包含非空网格单元<kc_i，w_i>，其中，i表示非空网格单元的索引，w_i表示第i个非空网格单元的权重，kc_i表示第i个非空网格单元的中心坐标；将非空网格单元集合{<kc_i，w_i>|i＝1，...，m}作为权重分布网格G；其中，m表示非空网格单元的个数。通过划分网格单元，便于后续对数据空间进行分区域的处理，减少对所有数据点的遍历，可以减少计算量，提高算法时效性。

(3)更新数据分布的方法流程图如图2所示：窗口滑动时，伴随着旧数据点的消失和新数据点的进入，因此由权重分布网格管理的窗口数据分布需要进行相应的更新。记窗口滑动前的权重分布网格为G^prep，记录消失在窗口中的消失数据点集合S_exp，同时记录新出现的新数据点集合S_new，将{<kc_i，w_i＝0>|i＝1，...，m}分别作为第一分布网格G_exp和第二分布网格G_new，对于第一分布网格G_exp遍历消失数据点集合S_exp，将消失数据点集合S_exp中的每一个数据点加入到对应的非空网格单元，并记录其权重，更新第一分布网格G_exp；对于第二分布网格G_new遍历新数据点集合S_new，将新数据点集合S_new中的每一个数据点加入到对应的非空网格单元，并记录其权重，更新第二分布网格G_new，随后将更新的第二分布网格G_new和更新的第一分布网格G_exp对应非空网格单元的权重作差，将{<kc_i，Δw_i>|i＝1，...，m}作为净变权重分布网格ΔG，再由窗口滑动前的权重分布网格G^prep加上净变权重分布网格ΔG可得到当前权重分布网格G^curr。净变权重分布网格ΔG可用于衡量各区域内数据分布的变化程度，其中Δw_i越小的单元网格数据分布变化程度越小，在更新数据点局部可达密度和局部异常因子时可跳过这类变化程度小的平稳区域，因异常数据本身属于少数部分，大部分正常数据区域会趋于平稳，则该方法可减少计算所需时间和空间资源。

(4)跳过平稳区域局部可达密度和局部异常因子的方法流程图如图3所示：根据步骤(3)中净变权重分布网格ΔG选择性的更新窗口中数据点的局部可达密度。根据局部密度估计定义可知，如果数据点x的θ_K最近邻核中心和它的权重没有改变，那么数据点x的局部密度也不会改变。遍历当前权重分布网格G^curr的中心坐标kc_i，计算数据点x与中心坐标kc_i的距离，取θ_K个最近的kc_i组成θ_K最近邻核中心集合KC(x)，遍历净变权重分布网格ΔG中的<kc_i，Δw_i>，当所述数据点x与净变权重分布网格ΔG中的kc_i的欧氏距离小于等于所述数据点x与其的第θ_K最近邻核中心

的欧氏距离时，将满足上述条件的kc_i对应的Δw_i组成集合ΔW_t(x)；则数据点x的局部密度累积误差为：

其中，t_l表示上次更新密度的窗口，t_c表示当前窗口，Δw_j表示集合ΔW_t(x)中第j个非空网格单元的权重差；为保证检测精度，用局部密度累积误差定量的描述数据点局部密度变化程度，当超过阈值时表明会对检测结果造成影响，需及时更新其局部可达密度和局部异常因子。

每次窗口滑动时重复计算当前权重分布网格G^curr中核中心kc_i的局部密度累积误差；当核中心kc_i局部密度累积误差E(kc_i)大于误差容许阈值时，更新该核中心所在网格单元中所有数据点x的局部可达密度和局部异常因子，更新数据点x的局部可达密度和局部异常因子时，找出包含数据点x的θ_K最近邻数据点的非空网格单元，再遍历该非空网格单元中的数据点，估计出数据点x的第θ_K距离邻域

对

中的所有数据点y计算出y的第θ_K距离θ_K_dist(y)，则y到x的局部可达距离为

得到局部可达密度

和局部异常因子

并记录每个非空网格单元内最小局部异常因子LOF_min(x)及最大局部异常因子LOF_max(x)，以便于后续异常检测；其中

是x的θ_K最近邻数据点的个数；

(5)异常检测方法流程图如图4所示：设初始候选网格单元G^cand为空，用G^curr-G^cand表示G^curr中除去存在于G^cand中的非空网格单元集合，遍历G^curr-G^cand中的非空网格单元<kc_i，w_i>，若当前G^cand中所有非空网格单元的权重之和大于等于n且该非空网格单元最小局部异常因子LOF_min(x)大于G^curr-G^cand中最大局部异常因子LOF_max(x)，则输出当前G^cand；否则将当前G^curr-G^cand中的非空网格单元<kc_i，w_i>加入到G^cand，若当前G^cand中所有非空网格单元的权重之和小于n则继续遍历下一非空网格单元，否则比较当前G^cand最小局部异常因子LOF_min(x)是否大于G^curr-G^cand中最大局部异常因子LOF_max(x)，若是则继续遍历下一非空网格单元，若不是则不将<kc_i，w_i>加入到G^cand且继续遍历下一非空网格单元；通过上述过程得到G^cand，再G^cand的中的所有数据点的局部异常因子由大到小进行排序，选出前n个异常数据点。对整个窗口中所有数据点的局部异常因子进行排序需要极大的计算时间和空间资源，通过所述方法可先查找出含有前n个异常点的网格单元，再对其中数据点的局部异常因子进行排序，可有效减少对不必要的数据点进行排序操作，提高检测效率。

(6)异常报告：将检测出的前n个异常数据点相关信息，包括传感器编号、数据类型、异常分数等形成文本报告输出给相关专业人员，以便专业人员采取措施处理异常。

Claims (1)

1.一种跳过平稳区域的流数据异常检测方法，其特征在于，该方法包括以下步骤：

(1)数据预处理：从桥梁健康监测系统传感器中实时采集数据，根据系统采样频率和需要不同选择若干个采样时间间隔为一个窗口，将所述窗口中的数据进行缺失值补全、归一化操作，得到数据空间X^d；

(2)划分网格单元：将步骤(1)得到的数据空间X^d分为对角线长度为θ_R的d维网格单元，所述网格单元包含非空网格单元<kc_i，w_i>，其中，i表示非空网格单元的索引，w_i表示第i个非空网格单元的权重，kc_i表示第i个非空网格单元的中心坐标；将非空网格单元集合{<kc_i，w_i>|i＝1，...，m}作为权重分布网格G；其中，m表示非空网格单元的个数；θ_R为不同场景下非空网格单元个数与窗口中数据点数量之比；

(3)更新数据分布：窗口滑动时，记窗口滑动前的权重分布网格为G^prep，记录消失在窗口中的消失数据点集合S_exp，同时记录新出现的新数据点集合S_new，将{<kc_i，w_i＝0>|i＝1，...，m}分别作为第一分布网格G_exp和第二分布网格G_new，对于第一分布网格G_exp遍历消失数据点集合S_exp，将消失数据点集合S_exp中的每一个数据点加入到对应的非空网格单元，并记录其权重，更新第一分布网格G_exp；对于第二分布网格G_new遍历新数据点集合S_new，将新数据点集合S_new中的每一个数据点加入到对应的非空网格单元，并记录其权重，更新第二分布网格G_new，随后将更新的第二分布网格G_new和更新的第一分布网格G_exp对应非空网格单元的权重作差，将{<kc_i，Δw_i>|i＝1，...，m}作为净变权重分布网格ΔG，再由窗口滑动前的权重分布网格G^prep加上净变权重分布网格ΔG可得到当前权重分布网格G^curr；

(4)跳过平稳区域：遍历当前权重分布网格G^curr的中心坐标kc_i，计算数据点x与中心坐标kc_i的距离，取θ_K个最近的kc_i组成θ_K最近邻核中心集合KC(x)，遍历净变权重分布网格ΔG中的<kc_i，Δw_i>，当所述数据点x与净变权重分布网格ΔG中的kc_i的欧氏距离小于等于所述数据点x与其的第θ_K最近邻核中心

的欧氏距离时，将满足上述条件的kc_i对应的Δw_i组成集合ΔW_t(x)；则数据点x的局部密度累积误差为：

其中，t_l表示上次更新密度的窗口，t_c表示当前窗口，Δw_j表示集合ΔW_t(x)中第j个非空网格单元的权重差；

每次窗口滑动时重复计算当前权重分布网格G^curr中核中心kc_i的局部密度累积误差；当核中心kc_i局部密度累积误差E(kc_i)大于误差容许阈值时，更新该核中心所在网格单元中所有数据点x的局部可达密度和局部异常因子，更新数据点x的局部可达密度和局部异常因子时，找出包含数据点x的θ_K最近邻数据点的非空网格单元，再遍历该非空网格单元中的数据点，估计出数据点x的第θ_K距离邻域

对

中的所有数据点y计算出y的第θ_K距离θ_K_dist(y)，则y到x的局部可达距离为

得到局部可达密度

和局部异常因子

并记录每个非空网格单元内最小局部异常因子LOF_min(x)及最大局部异常因子LOF_max(x)；其中

是x的θ_K最近邻数据点的个数；

(5)异常检测：设初始候选网格单元G_cand为空，用G^curr-G_cand表示G^curr中除去存在于G_cand中的非空网格单元集合，遍历G^curr-G_cand中的非空网格单元<kc_i，w_i>，若当前G_cand中所有非空网格单元的权重之和大于等于n且该非空网格单元最小局部异常因子LOF_min(x)大于G^curr-G_cand中最大局部异常因子LOF_max(x)，则输出当前G_cand；否则将当前G^curr-G_cand中的非空网格单元<kc_i，w_i>加入到G_cand，若当前G_cand中所有非空网格单元的权重之和小于n则继续遍历下一非空网格单元，否则比较当前G_cand最小局部异常因子LOF_min(x)是否大于G^curr-G_cand中最大局部异常因子LOF_max(x)，若是则继续遍历下一非空网格单元，若不是则不将<kc_i，w_i>加入到G_cand且继续遍历下一非空网格单元；通过上述过程得到G_cand，再G_cand中所有数据点的局部异常因子由大到小进行排序，选出前n个异常数据点。

Images