CN108446349A - 一种gis异常数据的检测方法 - Google Patents

Abstract

本发明公开了一种GIS异常数据的检测方法，在GIS数据的预处理时，先处理其常见的数据长度不标准，数据格式不规范，经度和纬度的交叉错误；然后对预处理后相对标准的数据我们再使用孤立森林对数据建立异常检测模型，识别出其中的异常坐标，并且对新增的数据此模型可以迅速的识别其是正常值还是异常值；本方法复杂度较低，非常适用于大数据的异常检测，能够适应GIS数据日益增长的趋势。

Description

一种GIS异常数据的检测方法

技术领域

本发明属于电力系统技术领域，更为具体地讲，涉及一种GIS异常数据的检测方法。

背景技术

GIS数据是重要的记录变电站地理位置信息的数据。变电站地理位置信息数据是非常重要的数据，其直接影响到所有基于地理位置信息构建的服务和应用。

但是电网的GIS数据却存在大量异常问题，数据存在格式混乱，如：数据长短不一，部分列数据缺失；坐标记录错误，如：经纬度的值有度分秒与小数两种格式混用，经度与纬度记录位置交叉等问题。

由于GIS数据会随时的增加，而如果每次增加数据都把所有数据重新再处理一遍，就会太过低效。isolationForest(孤立森林)是一种高效的异常检测算法，检测速度快，性能好，特别适合大数据做实时的异常检测。所以在经过规范处理之后，将规范的数据作为，isolationForest的训练数据，得到异常检测模型。以后对GIS增加的数据，都先通过这个模型进行判断，如果通过异常检测则插入数据库，如果识别为异常数据则标记。

发明内容

本发明的目的在于克服现有技术的不足，提供一种GIS异常数据的检测方法，利用孤立森林异常检测模型来判断待检测数据，具体简单、快速且准确等特点。

为实现上述发明目的，本发明一种GIS异常数据的检测方法，其特征在于，包括以下步骤：

(1)、GIS异常数据预处理

对存储GIS异常数据的数据表进行按行读取，再以每一行中单个GIS异常数据为单位，将每一行GIS异常数据分割为一个数组，并取数组长度；

以数据表表头规定长度为标准，判断每一个数组长度是否出现异常，如果出现异常，则将数组长度小于表头规定长度的数组，在数组尾部补空字符，使其长度相等，或者将数组长度大于表头规定长度的数组，在数组尾部截掉大于表头规定长度的部分，使其长度相等；如果未出现异常，则保持不变；

(2)、数据表中存储的坐标数据并处理

读取数据表中坐标数据，包括经度和纬度，统一成[经度,纬度]的形式，再将[经度,纬度]统一为浮点数；

比较[经度,纬度]中经度数值与纬度数值的大小，如果经度数值小于纬度数值，则将经度数值与纬度数值交换位置，否则保持不变；

(3)、对经度数值(longitude)与纬度数值(latitude)的范围做判断

设给定区域的经度范围为(lng_min，lng_max)，纬度范围为(lat_min，lat_max)；

将不满足lng_min<longitude<lng_max且lat_min<latitude<lat_max的经纬度值全部置空，将满足上述条件的经纬度值存放在数组X中，X＝{x₁,x₂,…,x_n}，共计n组满足上述条件的经纬度值，x_n为第n组满足上述条件的经纬度值；

(4)、建立孤立森林异常检测模型

(4.1)、建立单棵孤立树

随机选择一个属性值q和分割值P，通过递归方法分割数组X，直到满足：孤立树达到设定的高度限制，且子节点中仅有一个数据，从而建立起单棵孤立树；

(4.2)、建立孤立森林

重复执行步骤(4.1)s次，得到s棵孤立树，再将这s棵树组成孤立森林，得到孤立森林异常检测模型；

(5)、利用孤立森林异常检测模型进行GIS异常数据的检测

(5.1)、计算待检测数据d的路径长度

把待检测数据d在每一棵孤立树中遍历，从每棵树的根节点开始，按照构建该棵孤立树时选择的属性值q和分割值P从根节点到叶子节点，其中，如果某一棵孤立树中属性值q小于分割值P，则待检测数据d遍历到左子树，否则待检测数据d遍历到右子树，直到达到叶子节点，并记录这过程中所走过的边的数量，得到单棵孤立树的路径长度h(d)；

(5.2)、利用数组X计算变量c(n)；

c(n)＝2H(n-1)-(2(n-1)/n)

其中，H(n)＝ln(n)+k，ln为以自然数e为底数的对数，k为欧拉常数，k＝0.5772156649；

(5.3)、计算待检测数据d的异常分数ξ；

其中，E(h(d))是遍历所有孤立树后得到的平均路径长度；

(5.4)、利用异常分数ξ判断待检测数据d是否出现异常；

如果异常分数ξ∈[0.5,1)，则判定待检测数据d为异常数据；

如果异常分数ξ(0,0.5)，则判定待检测数据d为正常数据，并增加到数据库中。

本发明的发明目的是这样实现的：

本发明一种GIS异常数据的检测方法，在GIS数据的预处理时，先处理其常见的数据长度不标准，数据格式不规范，经度和纬度的交叉错误；然后对预处理后相对标准的数据我们再使用孤立森林对数据建立异常检测模型，识别出其中的异常坐标，并且对新增的数据此模型可以迅速的识别其是正常值还是异常值；本方法复杂度较低，非常适用于大数据的异常检测，能够适应GIS数据日益增长的趋势。

同时，本发明一种GIS异常数据的检测方法还具有以下有益效果：

(1)、本方法通过对数据的预先处理再结合孤立森林算法，对GIS数据的异常检测具有非常高的准确度；

(2)、使用孤立森林算法，使对GIS数据的异常检测具有较低的空间复杂度和时间复杂度，所以本方法可以适用于大规模的GIS数据的异常检测，同时由于孤立森林快速的检测能力，也满足实时的异常检测的要求；

(3)、本方法针对GIS数据各种的错误问题提出高效的有针对性的解决方法，并将处理方法编写为一套流程化的工作步骤。针对数据中错误的格式，提出规范合理的格式。针对错误数据和缺失的数据，提出合理的处理方式。最终将GIS数据处理为比较规范高质量的数据。

附图说明

图1是本发明一种GIS异常数据的检测方法流程图；

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种GIS异常数据的检测方法流程图。

在本实施例中，为了使本发明的目的、技术方案和优点更加清楚明白，我们以实际的变电站GIS数据为例做详细说明。如图1所示，本发明一种GIS异常数据的检测方法，包括以下步骤：

S1、GIS异常数据预处理

表1是变电站GIS数据表；

表1

如表1所示，对存储GIS异常数据的数据表进行按行读取，再以每一行中单个GIS异常数据为单位，将每一行GIS异常数据分割为一个数组，并取数组长度；

在本实施例中，变电站GIS数据共有38个属性，我们按行读取每条数据，并按照分割符，将其分割为长度为38的数组，如果长度不等于38说明其长度异常，这种数据我们直接剔除。

以数据表表头规定长度为标准，判断每一个数组长度是否出现异常，如果出现异常，则将数组长度小于表头规定长度的数组，在数组尾部补空字符，使其长度相等，或者将数组长度大于表头规定长度的数组，在数组尾部截掉大于表头规定长度的部分，使其长度相等；如果未出现异常，则保持不变；

S2、数据表中存储的坐标数据并处理

读取数据表中坐标数据，包括经度和纬度，我们将坐标数据统一成[经度,纬度]的形式，即先记录经度，再记录纬度，再将[经度,纬度]统一为浮点数；因为其中有的变电站坐标是用度分秒表示的，这种方式不利于计算机进行计算，统一为浮点数即可克服此缺点；

然后判断转换后的经度与纬度的大小关系，因为有的坐标存在经度纬度交叉的错误，即记录经度值的地方记录的是纬度的值，记录纬度的值的地方记录的是经度值，因此，比较[经度,纬度]中经度数值与纬度数值的大小，如果经度数值小于纬度数值，则将经度数值与纬度数值交换位置，否则保持不变；

S3、对经度数值(longitude)与纬度数值(latitude)的范围做判断

设给定区域的经度范围为(lng_min，lng_max)，纬度范围为(lat_min，lat_max)；在本实施例中，取中国经度范围(72,136),纬度范围(4,53)；

将不满足lng_min<longitude<lng_max且lat_min<latitude<lat_max的经纬度值全部置空，将满足上述条件的经纬度值存放在数组X中，X＝{x₁,x₂,…,x_n}，共计n组满足上述条件的经纬度值，x_n为第n组满足上述条件的经纬度值；

对处理好之后的数据我们判断其经纬度范围是否超过了我们给定地区的范围，我们的数据是四川省的变电站数据，所以其坐标范围不应该超出四川省的范围，四川省经度范围大致为东经97～109,纬度为北纬26～45，如果数据不在这个范围，我们视其为错误数据将其剔除。

S4、建立孤立森林异常检测模型

我们先对一些定义进描述：

孤立森林(isolation Forest)，简称：iForest。与随机森林由大量决策树组成一样，iForest森林也由大量的树组成。iForest中的树叫孤立树(isolation tree)，简称iTree。iTree树和决策树不太一样，其构建过程也比决策树简单，因为其就是一个完全随机的过程。

孤立树，isolation tree，简称：iTree。若T为一棵孤立树，T要么是一个没有子节点的外部节点，或具有两个子节点(T_l，T_r)的内部节点；随机指定一个属性值q和一个分割值p，p需要位于指定属性q的最大值和最小值之间，然后就可以将数据集分为T_l和T_r。

下面我们对孤立森林异常检测模型的建立过程进行描述：

S4.1、建立单棵孤立树

随机选择一个属性值q和分割值P，通过递归方法分割数组X，直到满足：孤立树达到设定的高度限制，且子节点中仅有一个数据，从而建立起单棵孤立树；iTree是一个二叉树，树的每个节点有零或两个子节点。

S4.2、建立孤立森林

重复执行步骤S4.1s次，得到s棵孤立树，再将这s棵树组成孤立森林，得到孤立森林异常检测模型；

在本实施例中，s我们设置为100，因为s为100时算法的性能较优，超过100只是增加计算量，而性能不会有明显变化。在数据集X中进行随机采样，一般抽取256个样本构成一个子样本，抽取256个样本的原因也是因为样本为256时算法能取得最优的性能，然后根据这个子样本建立好100棵孤立树。

S5、利用孤立森林异常检测模型进行GIS异常数据的检测；

异常检测的任务是提供一个反映了异常程度的排序,因此，一种异常检测方法是根据路径和异常分数对数据点进行排序,而异常点是指排名靠前的数据，具体方法如下：

S5.1、计算待检测数据d的路径长度

把待检测数据d在每一棵孤立树中遍历，从每棵树的根节点开始，按照构建该棵孤立树时选择的属性值q和分割值P从根节点到叶子节点，其中，如果某一棵孤立树中属性值q小于分割值P，则待检测数据d遍历到左子树，否则待检测数据d遍历到右子树，直到达到叶子节点，并记录这过程中所走过的边的数量，得到单棵孤立树的路径长度h(d)；在本实施例中，由于iTree与二叉查找树的结构等价，所以包含d的叶节点的路径长度等于二叉查找树中失败查询的路径长度,即从根节点，穿过中间的节点，最后到达叶子节点，所走过的边的数量。

S5.2、利用数组X计算变量c(n)；

c(n)＝2H(n-1)-(2(n-1)/n)

其中，H(n)＝ln(n)+k，ln(n)表示以自然数e为底数的对数，n为数据集X的数据量，k为欧拉常数，k＝0.5772156649；

S5.3、计算待检测数据d的异常分数ξ；

其中，E(h(d))是遍历所有孤立树后得到的平均路径长度；

S5.4、利用异常分数ξ判断待检测数据d是否出现异常；

如果异常分数ξ∈[0.5,1)，则判定待检测数据d为异常数据；

如果异常分数ξ(0,0.5)，则判定待检测数据d为正常数据，并增加到数据库中。

在本实施例中，遍历100棵树后对所有的路径长度求平均值E(h(d))。然后计算c(n),我们的数据经过处理后，数据集X中还有1120条数据，我们将1120代入S5.2的方程中，c(1120)＝5.5983.最后计算数据d的异常分数如果ξ∈[0.5,1)则判为异常值，如果ξ∈(0,0.5)则判为正常值。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种GIS异常数据的检测方法，其特征在于，包括以下步骤：

(1)、GIS异常数据预处理

对存储GIS异常数据的数据表进行按行读取，再以每一行中单个GIS异常数据为单位，将每一行GIS异常数据分割为一个数组，并取数组长度；

以数据表表头规定长度为标准，判断每一个数组长度是否出现异常，如果出现异常，则将数组长度小于表头规定长度的数组，在数组尾部补空字符，使其长度相等，或者将数组长度大于表头规定长度的数组，在数组尾部截掉大于表头规定长度的部分，使其长度相等；如果未出现异常，则保持不变；

(2)、数据表中存储的坐标数据并处理

读取数据表中坐标数据，包括经度和纬度，统一成[经度,纬度]的形式，再将[经度,纬度]统一为浮点数；

比较[经度,纬度]中经度数值与纬度数值的大小，如果经度数值小于纬度数值，则将经度数值与纬度数值交换位置，否则保持不变；

(3)、对经度数值(longitude)与纬度数值(latitude)的范围做判断

设给定区域的经度范围为(lng_min，lng_max)，纬度范围为(lat_min，lat_max)；

将不满足lng_min<longitude<lng_max且lat_min<latitude<lat_max的经纬度值全部置空，将满足上述条件的经纬度值存放在数组X中，X＝{x₁,x₂,…,x_n}，共计n组满足上述条件的经纬度值，x_n为第n组满足上述条件的经纬度值；

(4)、建立孤立森林异常检测模型

(4.1)、建立单棵孤立树

随机选择一个属性值q和分割值P，通过递归方法分割分割数组X，直到满足：孤立树达到设定的高度限制，且子节点中仅有一个数据，从而建立起单棵孤立树；

(4.2)、建立孤立森林

重复执行步骤(4.1)s次，得到s棵孤立树，再将这s棵树组成孤立森林，得到孤立森林异常检测模型；

(5)、利用孤立森林异常检测模型进行GIS异常数据的检测

(5.1)、计算待检测数据d的路径长度

把待检测数据d在每一棵孤立树中遍历，从每棵树的根节点开始，按照构建该棵孤立树时选择的属性值q和分割值P从根节点到叶子节点，其中，如果某一棵孤立树中属性值q小于分割值P，则待检测数据d遍历到左子树，否则待检测数据d遍历到右子树，直到达到叶子节点，并记录这过程中所走过的边的数量，得到单棵孤立树的路径长度h(d)；

(5.2)、利用数组X计算变量c(n)；

c(n)＝2H(n-1)-(2(n-1)/n)

其中，H(n)＝ln(n)+k，ln()表示以自然数e为底数的对数，k为欧拉常数；

(5.3)、计算待检测数据d的异常分数ξ；

其中，E(h(d))是遍历所有孤立树后得到的平均路径长度；

(5.4)、利用异常分数ξ判断待检测数据d是否出现异常；

如果异常分数ξ∈[0.5,1)，则判定待检测数据d为异常数据；

如果异常分数ξ(0,0.5)，则判定待检测数据d为正常数据，并增加到数据库中。