CN110334164A - 一种生态空间数据的融合方法 - Google Patents

Abstract

本发明公开了一种生态空间数据的融合方法，属于地理信息技术领域，该方法包括以下步骤：一、空间数据收集，从不同的数据源实时地或及时地收集不同类型的数据；二、空间数据存储与管理，按照应用需求和数据特征，选择存储方式和组织管理形式；三、空间数据处理与融合，根据自然资源统计分析要求，利用地理空间大数据分析技术实现高性能数据并行计算和统计分析工作，完成空间数据的处理与融合；四、空间数据可视化表达，利用地理空间大数据的数据信息，选取对应可视化表达方案，实现自然资源调查监测成果转化为用户所需要的信息；本方法在数据处理方面采用了计算机软件处理技术，提高了数据处理的速度和效率。

Description

一种生态空间数据的融合方法

技术领域

本发明属于地理信息技术领域领域，具体涉及一种生态空间数据的融合方法。

背景技术

大数据时代的到来不仅使人们认识到了数据的重要性，同时也引发了诸多领域从根本上的变革，近年来，随着对地观测、地球深部、表层系统、空间环境探测系统、物联网、web2.0等技术的发展以及自发地理信息、公共参与地理信息等新的地理信息生产和传播共享理念的出现，全面地推动了地球系统科学在数据的采集获取与分发共享等方面的发展，使得地理空间数据的存量与日俱增且呈爆炸式的趋势，地球系统科学进入大数据时代；地理空间数据是与地球参考空间位置有关、表达与地理客观世界中各种实体和过程状态属性的数据，主要包括大气圈、大气圈、陆地表层、陆地水圈、自然资源、冰冻圈、海洋、极地、固体地球与古环境、日地空间环境与天文、遥感等多种类型；如何从海量、多源、分散、异构的数据资源中高效、准确地获取与研究主题密切相关且可靠的目标数据，成为地学研究及数据共享亟待解决的问题。

目前，传统的数据更新方法，连续快照法和基态修正法，连续快照法是的数据库数据变化十分频繁，产生了大量冗余数据，基态修正法设定某个时刻的状态为基态，存储相对于基态的变化量，虽然解决了数据冗余的问题，但是增大了查询的工作量。

传统的数据分析融合方法，由于数据采集方式或组织体系等不同，导致空间数据存在异构情况，不能直接再利用，重新生产的方式耗时较长，数据的实时利用性较差，导致获取空间数据所需成本高，时间长，单一的采用ArcGis平台分析数据，数据分析工作量大，批量处理数据时无效无用数据多造成占用数据存储空间，严重影响了数据分析速度和效率。

发明内容

为了解决以上现有技术的缺点和不足之处，本发明的首要目的在于提供一种空间数据整合方法。

一种生态空间数据的融合方法，该方法包括以下步骤：

一、空间数据收集，从不同的数据源实时地或及时地收集不同类型的数据并发送给存储系统；

二、空间数据存储与管理，按照应用需求和数据特征，选择存储方式和组织管理形式；

三、空间数据处理与融合，根据自然资源统计分析要求，利用地理空间大数据分析技术实现高性能数据并行计算和统计分析工作，完成空间数据的处理与融合；

四、空间数据可视化表达，利用地理空间大数据的数据信息，选取对应可视化表达方案，实现自然资源调查监测成果转化为用户所需要的信息。

进一步，步骤一中数据的收集，基于Web的地理矢量数据采集系统进行空间数据中矢量数据的收集。

进一步，步骤二中的空间数据存储与管理，其中存储是基于Hadoop软件进行处理、分析、开发。

进一步，步骤二中的空间数据存储与管理，其中空间数据储存应该满足有效存储、有效查询、有效更新的原则，其中有效更新是针对要素级矢量数据的更新方式，同时采用增加时间维的方法，对个别空间矢量要素对象发生的变化进行更新，包括增加矢量数据、修改矢量数据、删除矢量数据三种类型。

进一步，所述增加时间维的方法为在数据库中至少增加两个字段，一个是实体建立的时间，一个是灭失的时间，主索引用“实体ID+实体建立时间”。

进一步，步骤三中空间数据的处理与融合，其中矢量数据的处理为对专有属性和非专有属性进行检查，通过人机交互检查完成。

进一步，步骤三中空间数据的处理与融合，先通过FME模块设计对矢量数据进行预处理，再通过Python脚本语言与ArcPy相结合计算机编程手段完成矢量数据间属性与属性、属性与图形、图形与图形间逻辑关系，进行全部检查，其中矢量数据处理中属性图形间的检查，是依靠不同图层的点、线、面之间的空间关系，结合层内拓扑、层间拓扑进行矢量数据属性处理。

进一步，所述步骤三中，空间数据的融合包括3部分：数据结构统一、矢量数据融合、数据一致性处理，具体步骤如下：

1.1，数据结构统一：以基础数据库为基础，将空间数据的时间维度和空间维度有效的结合起来，构建时空数据网格单元，通过时空网格单位为空间数据赋予对应的属性，形成统一的空间数据结构；

1.2，矢量数据融合：将空间数据库中所有要素进行几何位置以及语义上融合，利用基于空间相识性的同名实体识别技术匹配出数据重叠区域的同名要素，通过比较同名要素的时效性、精准度以及要素完整性，确定同名要素的取舍，保留唯一的要素对象；

1.3，标量数据融合：通过数据源中的背景场数据，通过计算实测点与背景值的比率因子来估测未测点处的预测值，在连续空间分布内修正背景场，获得数据源中的标量数据的融合结果；

1.4，数据一致性的处理：对融合时产生的几何接边矛盾、要素逻辑矛盾以及要素图面表现矛盾进行逐一消除，形成符合数据融合精度以及要素表达要求空间数据。

进一步，数据融合前的分析方法为：

2.1，判断当前分析数据类型，根据不同源采集到的信息，对信息进行归类，确保具有空间位置信息以及时间属性信息选项；

2.2，根据当前数据分析类型，以及可视化表达方式，选择使用二维或者三维的可视化表达方案，不同的分析方案对应不同的时空网格应用方案；

2.3，根据当前时空网格应用方案，建立时空网格编码，计算每个网格要素数值；

2.4，利用时空空格索引，综合分析模型，进行快速综合分析。

进一步，所述标量数据融合具体采用以下方法：

首先，通过数据源中的遥测信息生成一个粗略的背景场，然后，计算实测点处观测值与背景值的比率因子；最后，估计未测点处的预测值与背景值的比率因子r_b，在得到r_b的连续空间分布的基础上，再修正背景场，从而获得标量数据的融合结果；其中，假设背景场P_b、观测场P₀与真实场P之间在观测点处存在如下关系：

P(i)＝r_b(i)×P_b(i),i＝1,2,…n；

P(i)＝r₀(i)×P₀(i),i＝1,2,…n；

式中，r_b(i)表示实测点处真实值与背景值的比例，r₀(i)表示降水真实值与观测值的比例。

有益效果

1.本发明采用的空间数据存储，保证空间数据尽可能小，不仅可以节约存储空间，而且可以提高存储和访问效率；支持多种类数据查询需求，提高了查询效率；保证空间数据实时更新，具备良好的更新能力，提高了查询数据的准确性。

2.本发明在数据存储中增加空间数据更新，通过增加矢量数据、修改矢量数据、删除矢量数据，保证了空间数据的实时性，准确性，剔除无效数据，为矢量数据的处理提供了精准、有效的数据源，减少了处理中无效的工作量，提高了工作效率。

3.本发明采用人机交互交互检查完成空间数据的处理，节省了资源，提高了工作效率。

4.本发明采用增加时间维的方法相对于传统连续快照法、基态修正法，可以避免产生数据冗余的问题，同时减少了数据查询的代价，不仅可以快速解决数据一致性问题，而且可以让数据的历史变化及来源查询变得十分方便。

5.本发明采用FME模板设计对矢量数据进行预处理，减少了信息的荷载量，再通过Python脚本语言与ArcPy相结合，实现了对空间数据的批量处理，并且自动输出批量处理结果，可以提高自动化检测程度，缩短作业时间，简化了重复性的工作，有效提高了工作效率和质量。

6.通过本发明的标量数据的预测和融合处理，能够有效根据连续空间分布的背景场，结合真实值获得数据源中的标量数据的预测和融合结果。

7.本发明在数据融合前，对数据进行了划分，避免了分析时由于格式以及数据类型的不同，造成数据融合的不匹配，影响数据融合的有效性。

8.本发明采用Hadoop对空间数据进行分布式存储，提供了可靠的多节点备份，保证了数据在节点之间分布的动态平衡。

附图说明

图1为空间数据整合的流程示意图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

实施例1

图1为本实施例提供的空间数据融合方法的流程示意图，如图1所示：

一种生态空间数据的融合方法，该方法包括以下步骤：

一、空间数据收集，从不同的数据源实时地或及时地收集不同类型的数据并发送给存储系统；

二、空间数据存储与管理，按照应用需求和数据特征，选择存储方式和组织管理形式；

三、空间数据处理与融合，根据自然资源统计分析要求，利用地理空间大数据分析技术实现高性能数据并行计算和统计分析工作，完成空间数据的处理与融合；

四、空间数据可视化表达，利用地理空间大数据的数据信息，选取对应可视化表达方案，实现自然资源调查监测成果转化为用户所需要的信息。

其中，步骤一中数据的收集，基于Web的地理矢量数据采集系统进行空间数据中矢量数据的收集。

其中，步骤二中的空间数据存储与管理，其中存储是基于Hadoop软件进行处理、分析、开发。

步骤二中的空间数据存储与管理，其中空间数据储存应该满足有效存储、有效查询、有效更新的原则，其中有效更新是针对要素级矢量数据的更新方式，对个别空间矢量要素对象发生的变化进行更新，包括增加矢量数据、修改矢量数据、删除矢量数据三种类型。

步骤三中空间数据的处理与融合，其中矢量数据的处理为对专有属性和非专有属性进行检查，通过人机交互检查完成。

优选的，步骤三中空间数据的处理与融合，先通过FME模块设计对矢量数据进行预处理，再通过Python脚本语言与ArcPy相结合计算机编程手段完成矢量数据间属性与属性、属性与图形、图形与图形间逻辑关系，进行全部检查，其中矢量数据处理中属性图形间的检查，是依靠不同图层的点、线、面之间的空间关系，结合层内拓扑、层间拓扑进行矢量数据属性处理。

实施例2

一种生态空间数据的融合方法，其中步骤三中先通过FME模块设计对矢量数据进行预处理，具体步骤如下：

例如A、B表示接边处相邻面要素数据。

1.1，面要素几何接边检查算法如下：

(1)分别将A、B转为线要素A1、B1，并分别对其进行相交处打断处理，其结果分别记为A2、B2；

(2)分别对A2、B2进行融合处理，其结果分别记为A3、B3；

(3)分别提取A3、B3的起止节点，并做去重处理，再与接边边界进行相交处理，其相交节点分别记为A4、B4；

(4)对A4、B4进行压盖处理，若点要素的重叠度小于1，则该处所在的面要素存在错位。

1.2，面要素属性接边检查算法如下：

(1)分别将A、B中的面要素转为点要素，其结果分别记为A^/、B^/；

(2)按指定属性对A、B做融合处理，其结果记为AB；

(3)用A^/、B^/对AB进行压盖处理，若面要素的重叠度小于2，则该面要素属性不接边。

1.3，线要素几何接边检查算法如下：

(1)分别提取A、B中线要素的起止点，并做去重处理，其结果分别记为A1、B1；

(2)A1、B1与接边边界进行相交处理，相交的点要素记为AB2；

(3)对AB2做点要素压盖处理，若重叠度小于1，则该点要素所在的线要素几何不接边。

1.4，线要素属性接边检查算法如下：

(1)将A、B按指定属性做融合处理，其结果记为AB；

(2)提取AB的起止点，并做去重处理，其结果记为AB^/；

(3)AB^/与接边边界进行相交处理，若AB^/的重叠度大于0，则该处的线要素属性不接边。

一种生态空间数据的融合方法，其中步骤三中通过Python脚本语言与ArcPy相结合计算机编程手段，具体步骤如下：

(1)编写Python脚本，引用ArcGIS中的arcpy类库；

(2)可以用其自带的类库函数：

FeatureClassToFeatureClass_conversion()和DeleteFeatures_management()函数实现矢量数据模板的制作，第一个函数将所有的矢量图层唯一的拷贝到拼接结果数据库中，第二个函数逐层删除拼接结果数据库中的要素，保留每层上的数据结构；

(3)再利用其Append_management()函数逐层追加要素，得到的每层要素(以面要素为例)会出现相邻要素属性相同的情况，此时再调用其Dissolve_management()函数对要素逐层融合处理，至此矢量数据拼接处理完毕，以上步骤均在python开发环境中实现。

实施例3

一种生态空间数据的融合方法，其中所述步骤三中，空间数据的融合包括3部分：数据结构统一、矢量数据融合、数据一致性处理，具体步骤如下：

数据结构统一：以基础数据库为基础，将空间数据的时间维度和空间维度有效的结合起来，构建时空数据网格单元，通过时空网格单位为空间数据赋予对应的属性，形成统一的空间数据结构；

矢量数据融合：将空间数据库中所有要素进行几何位置以及语义上融合，利用基于空间相识性的同名实体识别技术匹配出数据重叠区域的同名要素，通过比较同名要素的时效性、精准度以及要素完整性等，确定同名要素的取舍，保留唯一的要素对象；

标量数据融合：通过数据源中的背景场数据，通过计算实测点与背景值的比率因子来估测未测点处的预测值，在连续空间分布内修正背景场，获得数据源中的标量数据的融合结果；

数据一致性的处理：对融合时产生的几何接边矛盾、要素逻辑矛盾以及要素图面表现矛盾进行逐一消除，同时采用增加时间维的方法，形成符合数据融合精度以及要素表达要求空间数据。

其中，所述增加时间维的方法为在数据库中至少增加两个字段，一个是实体建立的时间，一个是灭失的时间，主索引用“实体ID+实体建立时间”。

优选的，标量数据融合具体采用以下方法：

首先，通过数据源中的遥测信息生成一个粗略的背景场，然后，计算实测点处观测值与背景值的比率因子；最后，估计未测点处的预测值与背景值的比率因子r_b，在得到r_b的连续空间分布的基础上，再修正背景场，从而获得标量数据的融合结果；其中，假设背景场P_b、观测场P₀与真实场P之间在观测点处存在如下关系：

P(i)＝r_b(i)×P_b(i),i＝1,2,…n；

P(i)＝r₀(i)×P₀(i),i＝1,2,…n；

式中，r_b(i)表示实测点处真实值与背景值的比例，r₀(i)表示降水真实值与观测值的比例。

在具有地表观测的位置，真实场与背景场之间的比例因子可以近似表达为观测值与背景值之比，在此条件下，对于任一没有地面观测信息的空间点(以下标j表示)，背景值比例因子r_b(j)(j＝1，2…k)可通过地表实测点处观测值与背景值之比进行估计，即：

将上述比例因子的预测值与背景值相乘，即得到未测点处的预测值，也就是融合结果，记作：r_b(j)的预测可采用若干邻近观测点的数据即可。

测绘分析中通常所要求的数据空间分辨率要高于10km×10km，甚至要达到1km×1km以上，也就是说需要得到比卫星原始数据空间分辨率要高出许多的融合预测结果，在这样的情况下，若直接将卫星遥感数据作为背景场，最后生成的融合结果将在原卫星数据栅格单元的边界处产生明显的不连续现象。

上述背景场的构建，采用以下方法：

因此，本文采用如下方式构建背景场：

对于任一空间位置(X_i,Y_i)，通过空间搜索找到与其最邻近的9个栅格单元中心点，计算该点与各栅格中心点距离，则该点对应的背景值按下式计算：

式中：P_s(k)指(X_i,Y_i)的第k个最邻近的0.25°×0.25°栅格中心点处对应的值；w_k为空间权重，按下式计算：

式中：d_k是指(x_i,y_i)至第k个最邻近的0.25°×0.25°栅格中心点的距离；针对连续空间内一定空间分辨率的所有格点进行上述计算，即得到在空间上连续的背景场。

在确定背景场的前提下，信息融合的关键是估计背景场的比例因子，而背景场比例因子的空间分布是随地理位置变化而变化，并可能与其它地理因素有关，因此可采用地理加权回归算法进行局部估计，所述比例因子为：

式中，X_j、Y_j表示空间坐标，t_k表示除空间位置外的与背景场比例因子相关的其它回归变量，如高程等地形因子。

这样采用地理加权回归算法构建基于观测和遥感探测的融合模型的具体方程为：

通过上述公式进行的融合方法，可以实现地面观测站的观测值和卫星遥感探测数据的融合外，还可将其它遥感观测信息，如雷达数据等集成到其中，同时还能够将高程等空间分布的地理因素在其中加以考虑；因此，上述融合模型相比目前采用较多的逐步订正方法、最优插值和核密度估计等方法均具有明显优势；同时，上述基于地理加权回归算法的融合模型还能够反映各回归变量对空间分布的非平稳性影响。

实施例4

一种生态空间数据的融合方法，其中所述步骤三中，数据融合前的分析方法为：

3.1，判断当前分析数据类型，根据不同源采集到的信息，对信息进行归类，确保具有空间位置信息以及时间属性信息选项；

3.2，根据当前数据分析类型，以及可视化表达方式，选择使用二维或者三维的可视化表达方案，不同的分析方案对应不同的时空网格应用方案；

3.3，根据当前时空网格应用方案，建立时空网格编码，计算每个网格要素数值，首先判断当前目标区域空间尺度是大于还是小于当前的计算划分尺度，如果小于当前尺度，则可以选择使用内插方法内插出较小的格网尺度，否则需要聚合当前目标区域数据；

3.4，利用时空空格索引，综合分析模型，进行快速综合分析。

其中，空间数据可视化表达为依据计算机软件Hadoop的矢量数据云存储系统，对地理信息服务数据支持的可行性进行了验证。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种生态空间数据的融合方法，其特征在于:该方法包括以下步骤：

一、空间数据收集，从不同的数据源实时地或及时地收集不同类型的数据并发送给存储系统；

二、空间数据存储与管理，按照应用需求和数据特征，选择存储方式和组织管理形式；

三、空间数据处理与融合，根据自然资源统计分析要求，利用地理空间大数据分析技术实现高性能数据并行计算和统计分析工作，完成空间数据的处理与融合；

四、空间数据可视化表达，利用地理空间大数据的数据信息，选取对应可视化表达方案，实现自然资源调查监测成果转化为用户所需要的信息。

2.根据权利要求1所述的一种生态空间数据的融合方法，其特征在于：步骤一中数据的收集，基于Web的地理矢量数据采集系统进行空间数据中矢量数据的收集。

3.根据权利要求1所述的一种生态空间数据的融合方法，其特征在于：步骤二中的空间数据存储与管理是通过Hadoop软件进行处理、分析、开发。

4.根据权利要求1所述的一种生态空间数据的融合方法，其特征在于：步骤二中的空间数据存储与管理，通过要素级矢量数据的更新方式，同时增加数据的时间维，对个别空间矢量要素对象发生的变化进行更新，包括增加矢量数据、修改矢量数据、删除矢量数据三种类型。

5.根据权利要求4所述的一种生态空间数据的融合方法，其特征在于：所述增加时间维的方法为在数据库中至少增加两个字段，一个是实体建立的时间，一个是灭失的时间，主索引用“实体ID+实体建立时间”。

6.根据权利要求2所述的一种生态空间数据的融合方法，其特征在于：步骤三中空间数据的处理与融合，其中矢量数据的处理为对专有属性和非专有属性进行检查，通过人机交互检查完成。

7.根据权利要求5所述的一种生态空间数据的融合方法，其特征在于：步骤三中空间数据的处理与融合，先通过FME模块设计对矢量数据进行预处理，再通过Python脚本语言与ArcPy相结合计算机编程手段完成矢量数据间属性与属性、属性与图形、图形与图形间逻辑关系，进行全部检查，其中矢量数据处理中属性图形间的检查，是依靠不同图层的点、线、面之间的空间关系，结合层内拓扑、层间拓扑进行矢量数据属性处理。

8.根据权利要求1所述的一种生态空间数据的融合方法，其特征在于：所述步骤三中，空间数据的融合包括：数据结构统一、矢量数据融合、数据一致性处理，具体步骤如下：

1.1，数据结构统一：以基础数据库为基础，将空间数据的时间维度和空间维度有效的结合起来，构建时空数据网格单元，通过时空网格单位为空间数据赋予对应的属性，形成统一的空间数据结构；

1.2，矢量数据融合：将空间数据库中所有要素进行几何位置以及语义上融合，利用基于空间相识性的同名实体识别技术匹配出数据重叠区域的同名要素，通过比较同名要素的时效性、精准度以及要素完整性，确定同名要素的取舍，保留唯一的要素对象；

1.3，标量数据融合：通过数据源中的背景场数据，通过计算实测点与背景值的比率因子来估测未测点处的预测值，在连续空间分布内修正背景场，获得数据源中的标量数据的融合结果；

1.4，数据一致性的处理：对融合时产生的几何接边矛盾、要素逻辑矛盾以及要素图面表现矛盾进行逐一消除，形成符合数据融合精度以及要素表达要求空间数据。

9.根据权利要求8所述的一种生态空间数据的融合方法，其特征在于：所述步骤三中，数据融合前的分析方法为：

2.1，判断当前分析数据类型，根据不同源采集到的信息，对信息进行归类，确保具有空间位置信息以及时间属性信息选项；

2.2，根据当前数据分析类型，以及可视化表达方式，选择使用二维或者三维的可视化表达方案，不同的分析方案对应不同的时空网格应用方案；

2.3，根据当前时空网格应用方案，建立时空网格编码，计算每个网格要素数值；

2.4，利用时空空格索引，综合分析模型，进行快速综合分析。

10.根据权利要求8所述的一种生态空间数据的融合方法，其特征在于：所述标量数据融合具体采用以下方法：

首先，通过数据源中的遥测信息生成一个粗略的背景场，然后，计算实测点处观测值与背景值的比率因子；最后，估计未测点处的预测值与背景值的比率因子r_b，在得到r_b的连续空间分布的基础上，再修正背景场，从而获得标量数据的融合结果；其中，假设背景场P_b、观测场P₀与真实场P之间在观测点处存在如下关系：

P(i)＝r_b(i)×P_b(i),i＝1,2,…n；

P(i)＝r₀(i)×P₀(i),i＝1,2,…n；

式中，r_b(i)表示实测点处真实值与背景值的比例，r₀(i)表示降水真实值与观测值的比例。