CN102750363B - 一种城市地理信息数据仓库的构建方法 - Google Patents

Abstract

本发明公开了一种城市地理信息数据仓库的构建方法，当原始空间数据存在缺失数据、重复数据或异常数据时进行处理，根据时间型数据、空间型数据和时空混合型数据的空间特征表示，采用标准差方法将各个纪录值减去纪录值平均值，再除以纪录值标准差，获取处理后数据；通过处理后数据构建基于空间特征的模型，获取城市地理信息数据仓库；监视原始空间数据中的数据变化，根据设计特征对象数据表抽取更新数据，当到达预设时间时，将更新数据添加到城市地理信息数据仓库中。本发明提高了查询和分析的效率，提高了监控效率，减少了数据抽取费用。

Description

一种城市地理信息数据仓库的构建方法

技术领域

本发明涉及城市地理信息系统领域，特别涉及一种城市地理信息数据仓库的构建方法。

背景技术

GIS（Geographic Information System，地理信息系统）已成为存贮、管理、查询、简单分析和结果展示的管理应用型信息系统，它主要以空间数据管理为目的，利用计算机相关技术对空间数据和属性数据进行存储和管理，并进行相对简单的辅助决策分析，经过多年努力，其相关技术和工具已日臻完善，并逐渐走向成熟。

随着社会的多元化发展，各个城市都收集和存储了大量的空间基础数据和行业属性数据，并且时刻以TB级别的速度在增长。

发明人在实现本发明的过程中，发现现有技术中至少存在以下的缺点和不足：

这些海量数据在一定程度上已经超出了传统地理信息系统的分析和处理能力，使得查询和分析的效率较慢，例如：天津市城市地理信息数据已从GB、TB到PB量级海量急速增长，传统地理信息系统在处理海量数据时，图形浏览和打印输出等待时间较长，无法满足对高性能、大容量分布式存储和管理的要求。其次，传统数据仓库在处理空间数据时有很大局限，无法支持空间特征数据，通常将他们转化为非空间数据进行处理，导致丢失了很多空间特征，使得处理结果不准确。例如：城市地理信息数据是面向空间的，具有空间维度和空间度量，能做各种空间数据分析，统计分析天津市工业用地的空间结构及其形态变化趋势，传统数据仓库实现困难，因为传统数据仓库主要针对非空间数据，将空间数据转换为非空间数据时，丢失了工业用地的空间特征和时态特征、拓扑关系等特征。

发明内容

本发明提供了一种城市地理信息数据仓库的构建方法，本发明实现了从城市地理数据转换为空间地理特征及其组成关系，把具有相同属性和关系的实体抽象成一个特征，使得处理结果准确，提高了查询和分析的效率，详见下文描述：

一种城市地理信息数据仓库的构建方法，所述方法包括以下步骤：

(1)构建原始空间数据，采用人机交互方式将所述原始空间数据分为时间型数据、空间型数据和时空混合型数据，将所述时间型数据、所述空间型数据和所述时空混合型数据导入数据仓库；

(2)判断所述原始空间数据是否存在缺失数据、重复数据或异常数据，如果是，对所述缺失数据、所述重复数据或所述异常数据进行处理，执行步骤(3)；如果否，执行步骤(3)；

(3)根据所述时间型数据、所述空间型数据和所述时空混合型数据的空间特征表示，采用标准差方法将各个纪录值减去纪录值平均值，再除以纪录值标准差，获取处理后数据；

(4)通过所述处理后数据构建基于空间特征的模型，获取城市地理信息数据仓库；

(5)监视所述原始空间数据中的数据变化，根据设计特征对象数据表抽取更新数据，当到达预设时间时，将所述更新数据添加到所述城市地理信息数据仓库中。

所述判断所述原始空间数据是否存在缺失数据、重复数据或异常数据，如果是，对所述缺失数据、所述重复数据或所述异常数据进行处理具体包括：

1）判断所述空间型数据是否存在缺失数据，如果是，执行步骤2）；如果否，执行步骤3）；

2）对所述空间型数据采用线性回归法填补缺失数据执行步骤3）；

3）对同类别数据进行对比分析，判断在预设误差范围内是否存在重复记录，如果是，执行步骤4）；如果否，执行步骤5）；

4）删除所述重复记录，执行步骤5）；

5）对所述异常数据进行检测，当存在异常点时，删除所述异常点。

所述缺失数据具体为：

i＝1，2，3，n，n的取值是正整数，a和b为回归系数；

$a=\stackrel{\‾}{y}-b\stackrel{\‾}{x},b=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i-n\stackrel{\‾}{\mathrm{xy}}}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2-n{\stackrel{\‾}{x}}^2}$

其中，为缺失值， x_i和y_i为观察值，

所述对所述异常数据进行检测，当存在异常点时，删除所述异常点具体包括：

对所述空间型数据采用移动曲面拟合法实现所述异常点检测；对所述时间型数据和所述时空混合型数据，采取基于移动窗口和标准差理论的方法实现对所述异常点的检测。

所述纪录值的标准差具体为：

$S_i=\sqrt{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(x_{\mathrm{ij}}-x_{\mathrm{ia}})}^2}$

其中，x_ia为记录值的平均值，x_ij为记录值，n的取值是正整数。

所述通过所述处理后数据构建基于空间特征的模型，获取城市地理信息数据仓库具体包括：

1）将空间地理特征分为简单地理特征和复杂地理特征，所述复杂地理特征由所述简单地理特征聚集而成，其中，所述简单地理特征具体为：点特征、线特征和面特征；

2）建立空间特征数据分类体系；

3）设计空间特征集合，并且给所有的空间特征赋不同的基本特征标识码；

4）定义特征类型整体描述、特征语义对象和集合对象，获取设计特征对象数据表；

5）将所述处理后数据导入所述设计特征对象数据表，获取所述城市地理信息数据仓库。

所述城市地理信息数据仓库具体为：

U={u1，u2，u3，u4，u5}={地学特征，居住公建，交通运输类，辅助建筑结构，生命体}；u1={u11}={城市}；u11={u111}={陆地}；u2={u21}={建筑物}；u21={u211}={避难所}；u3={u31}={陆地交通运输}；u31={u311，u312}={铁路，公路}；u4={u41}={城市部件}；u41={u411，u412}={显示牌，柱状物}；u5={u51}={植物}；u51={u511，u512}={树木，绿地}。

本发明提供的技术方案的有益效果是：本方法通过预先对海量地理信息数据之间的各种空间特征关系进行加工处理，实现了从城市地理数据转换为空间地理特征及其组成关系，构建了城市地理信息数据仓库，并随着原始空间数据的变化，通过时间触发的方式对城市地理信息数据仓库进行更新，使得用户在使用城市地理信息数据仓库时，可以获取到高精度的结果，并且本发明提高了查询和分析的效率；提高了监控效率，减少了数据抽取费用。

附图说明

图1为本发明提供的空间地理特征模型图；

图2为本发明提供的空间特征模型的构建流程图；

图3为本发明提供的城市地理信息数据仓库的示意图；

图4为本发明提供的一种城市地理信息数据仓库的构建方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了实现从空间特征数据转化为非空间数据，使得处理结果准确，提高查询和分析的效率，本发明实施例提供了一种城市地理信息数据仓库的构建方法，参见图1和图4，详见下文描述：

基于特征（Feature）的建模方法是在上世纪七、八十年代出现的，相对于空间数据的图层（Layer）组织方法而提出的新方法。与传统基于图层的地理关系模型相比，基于特征的GIS建模力法是一种在较高抽象层次上的建模方法，具有较好的地理信息认知观，同时亦很好地解决了利用面向对象的原理与方法来定义和建立空间关系与非空间关系。参见图1，空间地理特征是通过两个层面来表达的，即属性和关系，同时属性和关系又分别包括空间信息、专题信息和时间信息。基于空间地理特征的方法模拟的是地理特征，而基于地图的方法模拟的是一张或一组地图。在基于空间地理特征的数据仓库中，地理特征的表示以地理位置、地理实体的自然属性和相互关系为基础。特征建模技术克服了传统数据仓库建设不完整的不足，更适合人们对现实地理世界的理解方式。

101：构建原始空间数据，采用人机交互方式将原始空间数据分为时间型数据、空间型数据和时空混合型数据，将时间型数据、空间型数据和时空混合型数据导入数据仓库；

其中，构建原始空间数据具体包括：按照地方坐标系的空间参考信息，在空间地理数据框架下，准备源数据；向城市地理信息数据集中，导入行业管理业务数据、基础数据和各类专题行业数据；将城市地理信息数据导入源数据库中，形成原始空间数据。

其中，该步骤通过将原始空间数据分为时间型数据、空间型数据和时空混合型数据消除了原始空间数据结构的不一致，统一了数据结构，实现了数据的集成。

102：判断原始空间数据是否存在缺失数据、重复数据或异常数据，如果是，对缺失数据、重复数据或异常数据进行处理，执行步骤103；如果否，执行步骤103；

其中，该步骤具体包括：

1）判断空间型数据是否存在缺失数据，如果是，执行步骤2）；如果否，执行步骤3）；

由于时间型数据和时空混合型数据中通常不存在缺失数据，为此本发明实施例对时间型数据和时空混合型数据不进行缺失数据的判断。

2）对空间型数据采用线性回归法填补缺失数据执行步骤3）；

其中，i＝1，2，3，n，n的取值是正整数，a和b为回归系数。

$a=\stackrel{\‾}{y}-b\stackrel{\‾}{x},b=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i-n\stackrel{\‾}{\mathrm{xy}}}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2-n{\stackrel{\‾}{x}}^2}$

其中，为缺失值， x_i和y_i为观察值，

3）对同类别数据进行对比分析，判断在预设误差范围内是否存在重复记录，如果是，执行步骤4）；如果否，执行步骤5）；

其中，预设误差范围根据实际应用中的需要进行设定，例如：0.01，具体实现时，本发明实施例对此不做限制。

4）删除重复记录，执行步骤5）；

5）对异常数据进行检测，当存在异常点时，删除异常点。

其中，该步骤具体为：对空间型数据采用移动曲面拟合法实现异常点检测；对时间型数据和时空混合型数据，采取基于移动窗口和标准差理论的方法实现对异常点的检测。

其中，本发明实施例对步骤1）、2）、3）、4）和5）的执行顺序不作限制，还可以按照重复数据、异常数据或缺失数据等的处理顺序进行处理，具体实现时，本发明实施例对此不做限制。

103：根据时间型数据、空间型数据和时空混合型数据的空间特征表示，采用标准差方法将各个纪录值减去纪录值平均值，再除以纪录值标准差，获取处理后数据；

其中，该步骤具体为：

${x_{\mathrm{ij}}}^{\′}=\frac{x_{\mathrm{ij}}-x_{\mathrm{ia}}}{S_i}$

其中，x_ia为记录值平均值，S_i是标准差，x_ij为记录值，n的取值是正整数；

$S_i=\sqrt{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(x_{\mathrm{ij}}-x_{\mathrm{ia}})}^2}$

其中，经过标准化处理的所有纪录值平均值为0，标准差为1。

104：通过处理后数据构建基于空间特征的模型，获取城市地理信息数据仓库；

其中，参见图2和图3，该步骤具体为：

1）将空间地理特征分为简单地理特征和复杂地理特征，复杂地理特征由简单地理特征聚集而成；

其中，简单地理特征具体为：点特征、线特征和面特征。复杂地理特征由简单地理特征聚集而成，例如：点特征和面特征组合而成等。

参见表1，点特征对象以坐标对（x,y,z）表示位置，点的边界是空集，在地理信息中主要描述独立点状实体的抽象几何特征，例如城市中的井盖等。

表1

参见表2，线特征对象为有一定范围的元素集合，表示有相同专题点的连续轨迹，可以用点序列（x_i,y_i,z_i）来实现，线对象使用物体的边界表示其特征，例如城市中的河流与道路。

表2

参见表3，面状特征有一连串的线对象序列，按照一定的顺序连接而成的一个封闭区域，表示平面区域中的连续图像，例如现状土地用途中的地块。

表3

2）建立空间特征数据分类体系；

通过该步骤使得需要表达的任何一个地理实体都属于该分类体系框架。

3）设计空间特征集合，并且给所有的空间特征赋不同的基本特征标识码；

通过该步骤抽象出一个超类对象，将所有简单几何对象和复杂的特征对象组织起来。其中，简单几何对象通常包括：点特征对象、线特征对象和面特征对象，例如：地面上的测量点、土地利用中的地块等；复杂几何对象通常为由若干个简单的特征对象按某种关系组合起来的特征对象。

4）定义特征类型整体描述、特征语义对象和集合对象，获取设计特征对象数据表；

5）将处理后数据导入设计特征对象数据表，获取城市地理信息数据仓库。

其中，即对设计特征对象数据表和事实表的模型结构进行定义，包括维内和各级属性的定义；对事实表和设计特征对象数据表的数据进行转移，设计好事实表和维度表的结构，根据这种结构从源数库中进行数据的提取。

其中，参见表4，在建立复杂空间特征模型时，不需记录空间特征的具体数据，只记录组成空间特征的基本特征标识码（BasicFeatureID）。例如，公园是一个空间特征，它由点特征（例如：公共电话）、线特征（例如：公园道路）和面特征（例如：湖泊）等多个空间特征构成，并记录了其他属性。同时存储了一定的空间查询检索操作语句，在访问对象时可自动执行。

表4

参见图3，与传统的城市地理信息数据仓库不同，本仓库与传统方法的不同是采用空间特征构建模型。城市地理信息空间特征模型能被解释为一个由人口、建筑物和基础设施组成的对象。对象类实例之间的关系依赖于应用领域和比例尺，用一些关键短语可以用来描述基于特征GIS对象类之间的许多联系。它们不但能被用来描述几何对象之间的联系，而且也能描述特征对象和几何对象之间的联系以及特征对象之间的联系，例如：一座桥与一条河在垂直方向上是相关联的。特征与特征之间、点与多边形之间以及线与多边形之间的联系也能用“以为界”(bounded by)，“作为的边界”(bounds)，“位于之内”(within)和“包含”关系(contains)来描绘。

其中，参见图3，城市地理信息数据仓库U={u1，u2，u3，u4，u5}={地学特征，居住公建，交通运输类，辅助建筑结构，生命体}；u1={u11}={城市}；u11={u111}={陆地}；u2={u21}={建筑物}；u21={u211}={避难所}；u3={u31}={陆地交通运输}；u31={u311，u312}={铁路，公路}；u4={u41}={城市部件}；u41={u411，u412}={显示牌，柱状物}；u5={u51}={植物}；u51={u511，u512}={树木，绿地}。

105：监视原始空间数据中的数据变化，根据设计特征对象数据表抽取更新数据，当到达预设时间时，将更新数据添加到城市地理信息数据仓库中。

其中，例如：原始空间数据中变化的数据有100个，其中20个符合设计特征对象数据表，则到达预设时间时，例如：晚上十点，则将这20个数据添加到城市地理信息数据仓库中。

其中，到达预设时间时才将更新数据添加到城市地理信息数据仓库中，提高了分析和处理的效率，没有影响用户的查询，使得用户有较高的体验。

下面以一个具体的实例来验证本发明实施例提供的一种城市地理信息数据仓库的构建方法的可行性，详见下文描述：

本发明实施例收集城市基础116类数据、城市规划数据1948类、管理和各类专题数据429类，将时间型数据、空间型数据和时空混合型数据集成到集群Oracle数据仓库中，对缺失数据采用线性回归方法进行填补，利用标准差值化方法清除异常数据，综合处理后导入空间数据仓库中备用。对于后续的增量数据，本发明实施例构建数据抽取监视器，将增量数据实时更新到数据仓库中。通过时间型数据、空间型数据和时空混合型数据的空间特征表示，利用空间特征模型转换，获取城市地理信息数据，在执行空间数据统计时效率提高明显：统计1998年1月至2012年1月建设用地规划许可证和市重点项目3万余项案件分布情况，基于传统方法查询耗时50秒，采用本方法耗时15秒。

综上所述，本发明实施例提供了一种城市地理信息数据仓库的构建方法，本方法通过预先对海量地理信息数据之间的各种空间特征关系进行加工处理，实现了从城市地理数据转换为空间地理特征及其组成关系，构建了城市地理信息数据仓库，并随着原始空间数据的变化，通过时间触发的方式对城市地理信息数据仓库进行更新，使得用户在使用城市地理信息数据仓库时，可以获取到高精度的结果，并且本发明提高了查询和分析的效率，提高了监控效率，减少了数据抽取费用。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种城市地理信息数据仓库的构建方法，构建原始空间数据，采用人机交互方式将所述原始空间数据分为时间型数据、空间型数据和时空混合型数据，其特征在于，所述方法包括以下步骤：

(1)将所述时间型数据、所述空间型数据和所述时空混合型数据导入数据仓库；

(2)判断所述原始空间数据是否存在缺失数据、重复数据或异常数据，如果是，对所述缺失数据、所述重复数据或所述异常数据进行处理，执行步骤(3)；如果否，执行步骤(3)；

(3)根据所述时间型数据、所述空间型数据和所述时空混合型数据的空间特征表示，采用标准差方法将各个纪录值减去纪录值平均值，再除以纪录值标准差，获取处理后数据；

(4)通过所述处理后数据构建基于空间特征的模型，获取城市地理信息数据仓库；

(5)监视所述原始空间数据中的数据变化，根据设计特征对象数据表抽取更新数据，当到达预设时间时，将所述更新数据添加到所述城市地理信息数据仓库中；

其中，所述判断所述原始空间数据是否存在缺失数据、重复数据或异常数据，如果是，对所述缺失数据、所述重复数据或所述异常数据进行处理具体包括：

1)判断所述空间型数据是否存在缺失数据，如果是，执行步骤2)；如果否，执行步骤3)；

2)对所述空间型数据采用线性回归法填补缺失数据执行步骤3)；

3)对同类别数据进行对比分析，判断在预设误差范围内是否存在重复记录，如果是，执行步骤4)；如果否，执行步骤5)；

4)删除所述重复记录，执行步骤5)；

5)对所述异常数据进行检测，当存在异常点时，删除所述异常点；

其中，所述通过所述处理后数据构建基于空间特征的模型，获取城市地理信息数据仓库具体包括：

1)将空间地理特征分为简单地理特征和复杂地理特征，所述复杂地理特征由所述简单地理特征聚集而成，其中，所述简单地理特征具体为：点特征、线特征和面特征；

2)建立空间特征数据分类体系；

3)设计空间特征集合，并且给所有的空间特征赋不同的基本特征标识码；

4)定义特征类型整体描述、特征语义对象和集合对象，获取设计特征对象数据表；

5)将所述处理后数据导入所述设计特征对象数据表，获取所述城市地理信息数据仓库。

2.根据权利要求1所述的一种城市地理信息数据仓库的构建方法，其特征在于，所述缺失数据具体为：

i＝1，2，3，n，n的取值是正整数，a和b为回归系数；

$a=\stackrel{\‾}{y}-b\stackrel{\‾}{x},b=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i-n\stackrel{\‾}{\mathrm{xy}}}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x_i}^2-n{\stackrel{\‾}{x}}^2}$

其中，为缺失值， $\stackrel{\‾}{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i,\stackrel{\‾}{y}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i,$ x_i和y_i为观察值， $\stackrel{\‾}{\mathrm{xy}}=\frac{1}{n}\stackrel{\‾}{x}\stackrel{\‾}{y}.$

3.根据权利要求1所述的一种城市地理信息数据仓库的构建方法，其特征在于，所述对所述异常数据进行检测，当存在异常点时，删除所述异常点具体包括：

对所述空间型数据采用移动曲面拟合法实现所述异常点检测；对所述时间型数据和所述时空混合型数据，采取基于移动窗口和标准差理论的方法实现对所述异常点的检测。

4.根据权利要求1所述的一种城市地理信息数据仓库的构建方法，其特征在于，所述纪录值的标准差具体为： $S_i=\sqrt{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(x_{\mathrm{ij}}-x_{\mathrm{ia}})}^2}$

其中，x_ia为记录值的平均值，x_ij为记录值，n的取值是正整数。

5.根据权利要求1所述的一种城市地理信息数据仓库的构建方法，其特征在于，所述城市地理信息数据仓库具体为：

U＝{u1，u2，u3，u4，u5}＝{地学特征，居住公建，交通运输类，辅助建筑结构，生命体}；u1＝{u11}＝{城市}；u11＝{u111}＝{陆地}；u2＝{u21}＝{建筑物}；u21＝{u211}＝{避难所}；u3＝{u31}＝{陆地交通运输}；u31＝{u311，u312}＝{铁路，公路}；u4＝{u41}＝{城市部件}；u41＝{u411，u412}＝{显示牌，柱状物}；u5＝{u51}＝{植物}；u51＝{u511，u512}＝{树木，绿地}。