CN104035985A - 一种面向基础地理信息异常数据的挖掘方法 - Google Patents

Abstract

本发明公开了一种面向基础地理信息异常数据的挖掘方法，本发明根据基础地理信息门牌号属性，按照道路数据和非道路数据分别挖掘异常数据，其中道路数据包括距离异常数据和密度异常数据，非道路异常数据主要为距离异常数据。道路距离异常数据以道路点到拟合曲线的距离来判断，密度异常数据的特点是在其一定范围内没有相同属性的数据；非道路异常数据是以重心点为参考，计算每点到重心的距离判断其是否是异常数据。本发明的方法实现了在海量数据中高效、自动挖掘异常数据的功能。

Description

一种面向基础地理信息异常数据的挖掘方法

技术领域

本发明属于地理信息系统统计分析应用领域，涉及一种面向基础地理信息异常数据的挖掘方法，特别是针对具有门牌号属性的海量基础地理数据的挖掘方法。

背景技术

随着经济社会和地理信息技术的高速发展，大量基础数据急剧增长，从海量数据中挖掘有用信息和异常数据成为当务之急。数据挖掘可以当作是一个在海量数据中探索数据间的关系、利用各种分析工具构建数据分析模型，并发现隐藏于数据之中的知识的过程。对海量基础地理数据进行分析，研究异常数据的挖掘方法，使异常对象从其他对象中自动分离出来，并可将异常数据提供给相关部门，检查该地理数据是否符合实际情况。

异常数据的挖掘方法主要包括基于统计的、基于距离的、基于偏离的和基于聚类的方法等。基础地理数据库中存在大量异常数据，由于数据来源不同或是数据测量和收集的失误，会存在异常数据，导致该数据与实际不符。依靠人工在海量数据中分离异常数据是不科学和不易实现的。客观上有必要根据基础地理信息数据的属性和分布特点，发明一种面向该类数据异常数据的挖掘方法。

发明内容

本发明的目的在于结合数据挖掘理论等相关知识，提供一种面向基础地理信息异常数据的挖掘方法，可以稳健和自动地挖据出其中隐含的异常数据。

为实现上述目的，本发明的解决方案是：一种面向基础地理信息异常数据的挖掘方法，主要是针对具有门牌号属性的地理数据，综合考虑其属性和地理分布特点。方案设计主要分为两部分，即挖掘道路异常数据和非道路异常数据，包括以下步骤：

首先由门牌号属性字段值提取道路数据，根据道路特点，将数据采用多项式方式拟合为最佳曲线，按照道路点到曲线的距离以及道路点与道路点的距离，判断该道路点是否异常；然后由门牌号属性字段提取非道路数据，按照非道路数据一般具有集聚性的特点，计算出其重心位置，根据非道路数据与重心点的距离，判断该非道路点是否异常；

经过第1步和第2步之后，得到异常数据的初步结果，由于得到的初步结果中包含与实际相符的数据，故利用相同属性数据具有集聚性的特点，进一步滤除该结果中的正常地理数据；得到最终异常数据结果。

换言之，一种面向基础地理信息异常数据的挖掘方法，针对基础地理信息数据按照其门牌号属性分为道路数据和非道路数据，分别挖掘异常数据；其中道路异常数据包括距离异常数据和密度异常数据，非道路异常数据则主要为距离异常数据。

进一步，包含以下步骤：

首先由门牌号属性字段值提取道路数据，判断该道路点是否异常；

然后由门牌号属性字段提取非道路数据，判断该非道路点是否异常；

经过前述步骤之后，得到异常数据的初步结果，进一步滤除该结果中的正常地理数据；得到最终异常数据结果。

所述的挖掘道路数据中的距离异常数据为：首先根据道路数据拟合出该道路曲线，然后计算所有点到该拟合曲线的平均距离的二倍，将其作为阈值，判断道路上的每一点到拟合曲线的距离与阈值的关系，若该距离大于阈值，则定义该点为异常点，否则，为正常点；循环所有道路数据之后，得到道路距离异常值。

所述的挖掘道路数据中的密度异常数据为：首先统计道路上任意相邻两点的距离，然后选定某一值作为阈值；对于道路上的每个点，判断在以此点为圆心，阈值为半径的圆的范围内，是否还存在与其属性相同的点，如果存在，定义该点为正常数据；若不存在，定义该点为异常点；以此为依据，挖掘道路密度异常数据。

所述的挖掘非道路数据中的距离异常数据为：首先将地理数据按照门牌号属性分组，使具有相同属性的数据分为一组，然后计算非道路数据各分组的重心坐标，之后计算组中所有点到该组重心的平均距离，并以平均距离的二倍作为阈值，判断点到重心的距离与阈值的关系；若所得距离小于阈值，定义该点为正常数据；若所得距离大于阈值，定义该点为异常数据；所有分组循环本操作之后，得到非道路数据的距离异常数据。

所述的过滤初步异常数据结果中的聚集点为：经过步骤1)和步骤2)之后，得到异常数据的初步结果，对于结果中的每一点，选定某一阈值，判断在以此点为圆心，阈值为半径的圆的范围内，是否还存在与其属性相同的点；如果存在，则在初步异常数据结果中去除该点；如果不存在，则在异常数据结果中保留该点，循环初步异常数据结果中所有点之后，最终得到异常数据的结果。

由于人为失误或是实际地理数据更新变化，数据库中存储的海量数据存在较多异常数据集，现有技术中仅依靠人工逐一检测异常值，不但浪费人力物力，而且降低工作效率。本发明的方法实现自动挖掘异常数据，在实际生产中具有重要的应用价值。

附图说明

图1为本发明方法的流程图。

图2为道路拟合曲线图。

图3为道路密度异常点图。

图4为非道路数据的重心位置和距离异常值的阈值图。

图5为某道路挖掘异常数据的结果图。

图6为依据本发明的方法挖掘上海市普陀区基础地理数据异常数据结果图。

具体实施方式

以下结合附图所示实施例对本发明作进一步的说明。

请参阅图1，本发明的方法包括以下步骤：

(a)读取基础地理信息；

(b)根据地理数据门牌号属性进行判断是否为道路，若是，转入步骤(c)；不然，转入步骤(d)；

(c)道路异常数据包括距离异常数据和密度异常数据，首先，将本道路上的所有点拟合一条曲线，计算道路上的点到该拟合曲线的距离，并确定阈值；判断所得距离是否大于阈值，若是，则得到距离异常点初步结果，转入步骤(e)；不然，判断为正常点；

然后继续对该道路数据统计，统计相邻两点间的距离，确定阈值；判断在道路点为圆心，阈值为半径的圆的范围内，是否还存在与其属性相同的点；若是，判断为正常点；不然，则得到密度异常点初步结果，转入步骤(e)；

(d)根据门牌号码属性进行分组，并计算每一分组的重心坐标；计算该区域内所有点到其所在分组的重心的距离，并确定阈值；判断该点到重心的距离是否大于阈值；若是，则得到异常点初步结果，转入步骤(e)；不然，判断为正常点；

(e)判断在初步异常点为圆心、阈值为半径的圆的范围内，是否还存在与其属性相同的点；若是，则确定为正常点，在异常点初步结果中删除；不然，判断为异常数据结果。

进一步，具体来说：

(1)首先由门牌号属性字段值提取道路数据，判断该道路点是否异常；

对属于道路的地理数据，异常数据包括距离异常数据和密度异常数据。首先挖掘距离异常数据，该类异常数据判别的标准为道路上的点到该道路的距离是否异常，因此需按照多项式方法拟合出与道路走向最接近的曲线，并以确定系数(R-square)作为依据。实验中以最小二乘法的原则拟合出道路函数曲线，由道路地理数据X、Y坐标拟合直线的误差方程式可列为：

$\widehat{{\mathrm{POI}}_{Y_i}}={\mathrm{POI}}_{X_i}*\widehat{a_1}\widehat{+a_2},(i=\mathrm{1,2,3}...)---\left(1\right)$

即

$v_i=\left[\begin{array}{cc}{\mathrm{POI}}_{X_i}& 1\end{array}\right]*{\left[\begin{array}{cc}\widehat{a_1}& \widehat{a_2}\end{array}\right]}^T-l_i---\left(2\right)$

$l_i=\widehat{{\mathrm{POI}}_{Y_i}}-v_i---\left(3\right)$

按照以上误差方程式可以求解拟合直线的系数a₁，a₂。

为拟合出与道路最接近的曲线，比较道路的二次曲线和三次曲线，如图2，按照公式(4)计算确定系数，“确定系数”的正常取值范围为[01]，越接近1，表明方程的变量对y的解释能力越强，这个模型对数据拟合的也较好，在图2中拟合直线、二次曲线、三次曲线的确定系数分别为：0.6154，0.8063和0.8094，得出三次曲线与实际道路曲线走向最符合，故采用三次多项式拟合曲线y＝a₁*x³+a₂*x²+a₃作为道路拟合曲线。

$R-\mathrm{square}=1-\sqrt{\frac{{\mathrm{\Σ}}_{i=1}^n{w}_i{(y_i-\widehat{y_i})}^2}{{\mathrm{\Σ}}_{i=1}^n{w}_i{(y_i-\stackrel{\‾}{y_i})}^2}}---\left(4\right)$

以道路上所有点到道路拟合曲线的平均距离的二倍作为阈值，判断每一点到拟合曲线的最小距离是否大于阈值，进而判断该道路上的数据是否是距离异常点。

道路数据中的某一点(POI_X，POI_Y)到拟合曲线任意一点(X，Y)的距离为：

$\mathrm{dis}=\sqrt{{(X-{\mathrm{POI}}_X)}^2+{(Y-{\mathrm{POI}}_Y)}^2}---\left(5\right)$

对X求导：

$\frac{d\left(\mathrm{dis}\right)}{\mathrm{dX}}=\frac{1}{2}*\left(\sqrt[\frac{1}{2}]{2*(X-{\mathrm{POI}}_X)+2*(Y-{\mathrm{POI}}_Y)*\mathrm{dY}/\mathrm{dX}}\right)---\left(6\right)$

则(POI_X，POI_Y)到拟合曲线的最短距离即为满足式：

$\frac{d\left(\mathrm{dis}\right)}{\mathrm{dX}}=0---\left(7\right)$

解算得到的(X，Y)两点之间的距离，该距离与阈值比较，判断其是否是异常距离数据。

挖掘密度异常数据时，统计道路上任意相邻两点的距离，并以此为根据选定范围阈值，然后以道路上某点为圆心，阈值为半径的圆的范围内是否具有相同门牌号属性的其它数据作为依据，挖据出密度异常点，如图3所示。

(2)由门牌号属性字段提取非道路数据，判断该非道路点是否异常；

非道路数据主要包括村落或是市场，主要挖掘距离异常数据。在挖掘非道路异常地理数据之前，以门牌号属性作为分类依据，构造出K(门牌号种类数)个分组，循环所有的地理数据，将其划分到相同属性的分组中，且满足下列条件：(a)每一个分组至少包含一个地理数据纪录；(b)每一个地理数据纪录属于且仅属于一个分组。按属性分类之后，计算非道路地理数据各组数据的重心坐标为：

POI_cenX＝ΣPOI_X/Count (8)

POI_cenY＝ΣPOI_Y/Count

(9)

其中POI_cenX、POI_cenY表示该组地理数据的重心坐标，POI_X、POI_Y表示该组中地理数据的X、Y坐标，Count表示该组中地理数据的个数，如图4所示的重心点。据此，以该组中所有地理数据到其重心的距离平均值的二倍作为阈值，按照点(POI_X，POI_Y)与聚类中心(POI_cenX，POI_cenY)的距离判断该点的性质,即：

$\mathrm{Dis}=\sqrt{{({\mathrm{POI}}_X-{\mathrm{POI}}_{\mathrm{cenX}})}^2+{({\mathrm{POI}}_Y-{\mathrm{POI}}_{\mathrm{cenY}})}^2}---\left(10\right)$

若该距离大于阈值，则认为该点为距离异常数据，否则为正常地理数据，如图4所示，显示了一倍距离阈值和二倍距离阈值，且按照二倍距离阈值为参考下，得到的异常值。

(3)经过第1步和第2步之后，得到异常数据的初步结果，进一步滤除该结果中的正常地理数据；

针对初步得出的异常数据结果，如图5所示，其包含大量的聚集点，在实际中我们认为它们是正确点，按照挖掘密度异常值算法一致，判断在初步异常结果中，以某点为圆心，阈值为半径的圆的范围内，是否还存在与其属性相同的点，如果存在，则为正常点，在异常点结果中去掉该范围包含的同属性点，如果不存在，则该点为异常点，最后分离出的异常数据结果。

(4)得到异常数据结果

按照本文提到的发明方法，采用上海市普陀区门牌号数据进行验证其可行性。该数据对象采用上海城市坐标系下的一系列x、y坐标的点状实体，这些点状实体与其属性结合描述该区域的地理数据信息。针对该测试数据，利用异常数据的挖掘方法，实现自动挖掘异常数据的功能，如图6。在实验结果的基础上，应用Win7操作系统，通过Visual Studio平台，在.NET环境下，并结合ArcGIS Engine、Web Service、IIS、ArcGIS API for JavaScrit等技术平台实现在上海市地图服务上显示异常数据结果，以检验测试结果。

测试基础地理数据共有8458个，经过该方法共挖掘出65个异常数据，约为7％的比例，在上海市地图上通过查询异常数据，证明实验结果的正确性和可行性。

数据库中存储的基础地理数据中存在的较多异常数据，通过本发明的方法，实现自动挖掘异常数据，在实际生产中具有重要的应用价值。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (6)

1.一种面向基础地理信息异常数据的挖掘方法，其特征在于：针对基础地理信息数据按照其门牌号属性分为道路数据和非道路数据，分别挖掘异常数据；其中道路异常数据包括距离异常数据和密度异常数据，非道路异常数据则主要为距离异常数据。

2.根据权利要求1所述的面向基础地理信息异常数据的挖掘方法，其特征在于：

包含以下步骤：

1)首先由门牌号属性字段值提取道路数据，判断该道路点是否异常；

2)然后由门牌号属性字段提取非道路数据，判断该非道路点是否异常；

3)经过步骤1)和步骤2)之后，得到异常数据的初步结果，进一步滤除该结果中的正常地理数据；

4)得到最终异常数据结果。

3.根据权利要求1所述的面向基础地理信息异常数据的挖掘方法，其特征在于：所述的挖掘道路数据中的距离异常数据为：首先根据道路数据拟合出该道路曲线，然后计算所有点到该拟合曲线的平均距离的二倍，将其作为阈值，判断道路上的每一点到拟合曲线的距离与阈值的关系，若该距离大于阈值，则定义该点为异常点，否则，为正常点；循环所有道路数据之后，得到道路距离异常值。

4.根据权利要求1所述的面向基础地理信息异常数据的挖掘方法，其特征在于：所述的挖掘道路数据中的密度异常数据为：首先统计道路上任意相邻两点的距离，然后选定某一值作为阈值；对于道路上的每个点，判断在以此点为圆心，阈值为半径的圆的范围内，是否还存在与其属性相同的点，如果存在，定义该点为正常数据；若不存在，定义该点为异常点；以此为依据，挖掘道路密度异常数据。

5.根据权利要求1所述的面向基础地理信息异常数据的挖掘方法，其特征在于：所述的挖掘非道路数据中的距离异常数据为：首先将地理数据按照门牌号属性分组，使具有相同属性的数据分为一组，然后计算非道路数据各分组的重心坐标，之后计算组中所有点到该组重心的平均距离，并以平均距离的二倍作为阈值，判断点到重心的距离与阈值的关系；若所得距离小于阈值，定义该点为正常数据；若所得距离大于阈值，定义该点为异常数据；所有分组循环本操作之后，得到非道路数据的距离异常数据。

6.根据权利要求2所述的面向基础地理信息异常数据的挖掘方法，其特征在于：所述的过滤初步异常数据结果中的聚集点为：经过步骤1)和步骤2)之后，得到异常数据的初步结果，对于结果中的每一点，选定某一阈值，判断在以此点为圆心，阈值为半径的圆的范围内，是否还存在与其属性相同的点；如果存在，则在初步异常数据结果中去除该点；如果不存在，则在异常数据结果中保留该点，循环初步异常数据结果中所有点之后，最终得到异常数据的结果。