CN111651541B - 一种空间数据分布式检查入库的方法及装置 - Google Patents

Abstract

本发明适用于地理信息系统领域，提供一种空间数据分布式检查入库的方法及装置，所述方法如下：对于接收到的新增图斑数据，检查所述新增图斑与空间缓存数据库中的所有图斑的拓扑关系，若没有拓扑错误，则将所述新增图斑加入所述空间缓存数据库，否则舍弃当前新增图斑；将所述空间缓存数据库中的图斑数据加入至任务队列中；从任务队列中读取图斑数据，并检查所读取图斑数据与目标图层的拓扑关系，若没有拓扑错误，则将所读取图斑数据入库。本发明先对数据库中的图斑预检查，然后以指定速度处理图斑入库工作，避免出现拓扑错误，同时避免了请求量大的情况下，由于频繁操作数据库导致的数据库压力过大的问题，并且通过分解检查入库步骤，可以有效降低空间数据检查及入库的压力。

Description

一种空间数据分布式检查入库的方法及装置

技术领域

本发明属于地理信息系统领域，尤其涉及一种空间数据分布式检查入库的方法及装置。

背景技术

在自然资源调查监测信息化项目或执法监察项目的建设过程中，需要利用无人机、手机、平板等移动设备采集调查地块的红线范围信息(以下称为“图斑”)，采集完成后，将该图斑与目标图层进行拓扑检查以及更新入库。

现有数据的检查入库方案一般采用单台或者多台服务器同步入库的方式。例如，当前有A、B两个图斑需要入库到WPTB图层(卫片图斑图层)，检查入库的步骤如下：

(1)将A图斑与WPTB图层进行相交分析，若A图斑与WPTB图层不相交，则进行第(2)步；否则，认为存在拓扑错误，进行第(3)步；

(2)将A图斑插入WPTB图层；

(3)将B图斑与WPTB图层进行相交分析，若B图斑与WPTB图层不相交，则进行第(4)步；否则，认为存在拓扑错误，结束；

(4)将B图斑插入WPTB图层。

现有的数据检查入库方案采用ArcGIS开发套件(如ArcGIS Engine)实现拓扑检查。在空间数据检查与入库过程中，通过ArcGIS Engine提供的ITopologicalOperator接口，判断两个空间图形之间的关系。

需要入库的数据图斑与目标图层之间的关系为不相交关系则检查通过,不相交关系示意图如图1所示，图1中左侧部分为目标图层，右侧部分为需要入库的数据图斑。

目前这种图斑入库方法存在一些问题：

(1)GIS空间数据检查过程耗时长的问题。

由于目标图层的数据量一般较大，单个图斑进行拓扑检查的时间较长，当需要入库的图斑数据量大的情况下，整个检查入库过程耗时长。

(2)多台服务器同时处理检查入库情况下数据不一致问题。

在多台服务器同时执行情况下，极易出现将拓扑错误的图斑同时入库的情况。若A图斑和B图斑存在拓扑错误，在拓扑检查环节，A图斑与目标图层进行拓扑检查，无拓扑错误，检查通过，B图斑与目标图层进行拓扑检查，无拓扑错误，检查通过。A、B图斑同时入库，导致目标图层出现拓扑错误。示意图如图2所示，A图斑和B图斑存在拓扑错误,但是两个图斑与目标图层均无拓扑错误，现有并行检查方案会将A、B图斑同时入库，这样目标图层出现拓扑错误

发明内容

鉴于上述问题，本发明的目的在于提供一种空间数据分布式检查入库的方法及装置，旨在解决现有并行检查入库方案检查入库效率低且可能导致目标图层产生拓扑错误数据的技术问题。

一方面，所述空间数据分布式检查入库的方法，包括下述步骤：

步骤S1、对于接收到的新增图斑数据，检查所述新增图斑与空间缓存数据库中的所有图斑的拓扑关系，若没有拓扑错误，则将所述新增图斑加入所述空间缓存数据库，否则舍弃当前新增图斑；

步骤S2、将所述空间缓存数据库中的图斑数据加入至任务队列中；

步骤S3、从任务队列中读取图斑数据，并检查所读取图斑数据与目标图层的拓扑关系，若没有拓扑错误，则将所读取图斑数据入库。

进一步的，所述步骤S2具体包括：

对空间缓存数据库中的图斑数据利用相邻关系判断算法进行分组打包并编号，将分组包依次加入到任务队列，将已经分组的图斑移出空间缓存数据库。

进一步的，所述利用相邻关系判断算法进行分组编号打包，将分组包依次加入到任务队列步骤，具体过程如下：

设置定时器；

每到一个定时时刻，初始化一个分组包并设置容量，选择一个图斑，如果该图斑未加入任务队列，则将该图斑加入当前分组包；

遍历空间缓存数据库中的图斑数据，查找与该图斑相邻且没有加入任务队列的图斑，将查找到的图斑加入当前分组包，遍历完所有图斑，或者达到当前分组包的容量时，结束遍历；

将当前分组包序列化为JSON字符串格式，并加入到任务队列；

将已经分组的图斑移出空间缓存数据库；

当所有图斑分组完毕并加入到任务队列后结束定时器。

进一步的，所述步骤S3具体包括：

从任务队列中出队取出分组包，对分组包内的图斑先进行融合，得到融合图形；

判断融合图形与目标图层是否相交；

若不相交，则将当前分组包内所有图斑入库操作；

若相交，则逐一判断当前分组包内的图斑是否目标图层相交，对其中不相交的图斑进行入库操作，对相交的图斑进行日志记录。

另一方面，所述空间数据分布式检查入库的装置包括：

预检查模块，用于对于接收到的新增图斑数据，检查所述新增图斑与空间缓存数据库中的所有图斑的拓扑关系，若没有拓扑错误，则将所述新增图斑加入所述空间缓存数据库，否则舍弃当前新增图斑；

任务队列处理模块，用于将所述空间缓存数据库中的图斑数据加入至任务队列中；

检查入库模块，用于从任务队列中读取图斑数据，并检查所读取图斑数据与目标图层的拓扑关系，若没有拓扑错误，则将所读取图斑数据入库。

进一步的，所述任务队列处理模块具体实现过程如下：对空间缓存数据库中的图斑数据利用相邻关系判断算法进行分组打包并编号，将分组包依次加入到任务队列，将已经分组的图斑移出空间缓存数据库。

进一步的，所述任务队列处理模块包括：

定时器；

初始化单元，用于每到一个定时时刻，初始化一个分组包并设置容量，选择一个图斑，如果该图斑未加入任务队列，则将该图斑加入当前分组包；

遍历入组单元，用于遍历空间缓存数据库中的图斑数据，查找与该图斑相邻且没有加入任务队列的图斑，将查找到的图斑加入当前分组包，遍历完所有图斑，或者达到当前分组包的容量时，结束遍历；

转化入队单元，用于将当前分组包序列化为JSON字符串格式，并加入到任务队列，将已经分组的图斑移出空间缓存数据库；

进一步的，所述检查入库模块包括：

融合单元，用于从任务队列中出队取出分组包，对分组包内的图斑先进行融合，得到融合图形；

判断单元，用于判断融合图形与目标图层是否相交；

第一入库单元，用于当融合图形与目标图层不相交时，将当前分组包内所有图斑入库操作；

第二入库单元，用于当融合图形与目标图层相交时，则逐一判断当前分组包内的图斑是否目标图层相交，对其中不相交的图斑进行入库操作，对相交的图斑进行日志记录。

本发明的有益效果是：本发明通过设置空间缓存数据库，当出现大量新增图斑入库请求时，新增图斑先进入空间缓存数据库,进行预检查步骤，然后以指定速度处理图斑入库工作，避免出现拓扑错误，同时避免了请求量大的情况下，由于频繁操作数据库导致的数据库压力过大的问题，并且通过分解检查入库步骤，可以有效降低空间数据检查及入库的压力。另外在优选方案中设计了图斑分组合并算法，将相邻图斑合融合并检查入库，有利于减少图斑检查次数，提高入库效率。

附图说明

图1是图斑与目标图层之间不相交关系示意图；

图2是目标图层出现拓扑错误示意图；

图3是本发明实施例提供的空间数据分布式检查入库的方法的流程图；

图4是空间缓存数据库中三个图斑示意图；

图5是空间缓存数据库中图斑的关系图；

图6是分组打包入队列示意图；

图7是检查入库入库流程图；

图8空间数据分布式检查入库的装置结构方框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图3示出了本发明实施例提供的空间数据分布式检查入库的方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。

如图3所示，本实施例提供的空间数据分布式检查入库的方法，包括下述步骤：

步骤S1、预检查步骤。对于接收到的新增图斑数据，检查所述新增图斑与空间缓存数据库中的所有图斑的拓扑关系，若没有拓扑错误，则将所述新增图斑加入所述空间缓存数据库，否则舍弃当前新增图斑。

本实施例首先建立空间缓存数据库，主要用于缓存上报的图斑数据，空间缓存数据库基于ArcGIS的SDE数据库实现。当接收到外部新增图斑请求时，先将新增图斑与空间缓存数据库中的所有图斑进行拓扑检查，若外部图斑与空间缓存数据库中的所有图斑不相交，则将该图斑插入空间缓存数据库，否则放弃插入。本步骤为预检查步骤，下面通过具体实例说明。

假设坐标系为CGCS2000，如图4所示，空间缓存数据库中存在以下三个图斑wp1-wp3，具体的，利用ArcEngine要素查询接口，可以查看到当前空间缓存数据库中包含图斑的具体情况。

新增图斑为wp4，如空间缓存数据库中图斑的关系如图5所示。利用ArcEngine的空间查询能力可以检查出新增图斑wp4和空间缓存数据库中图斑wp2存在着相交关系，与wp3存在相邻关系但不相交，新增图斑无法进入间缓存数据库中缓存。否则如果新增图斑与空间缓存数据库中的所有图斑都不相交，则将新增图斑加入空间缓存数据库。

步骤S2、任务队列处理步骤。将所述空间缓存数据库中的图斑数据加入至任务队列中。

任务队列使用Redis的进栈出栈机制实现，该队列为先进先出队列。Redis是一个开源的key-value存储系统。支持字符串(String),哈希(Hash),列表(list),集合(sets)和有序集合(sorted sets)等类型。

具体入队列方案中，本实施例采用分组打包入队列方式，对空间缓存数据库中的图斑数据利用相邻关系判断算法进行分组打包并编号，将分组包依次加入到任务队列，将已经分组的图斑移出空间缓存数据库。分组打包入队列示意图如图6所示。

本实施例中，分组包定义为一个包含多个相邻图斑的对象，主要结构包括：packageid(分组编号)，packageitems(一个图斑数组，包含多个图斑对象)。每个图斑对象包括ysdm(要素代码)、dlbm(地类编码)、dlmc(地类名称)、xzqdm(行政区代码)、xzqmc(行政区名称)、geojson(图斑坐标)。

分组打包入队列具体过程如下：

S21、设置定时器；

S22、每到一个定时时刻，初始化一个分组包newPackage并设置容量maxRange，选择一个图斑，如果该图斑未加入任务队列，则将该图斑加入当前分组包；

S23、遍历空间缓存数据库中的图斑数据，查找与该图斑相邻且没有加入任务队列的图斑，将查找到的图斑加入当前分组包newPackage，遍历完所有图斑，或者达到当前分组包的容量maxRange时，结束遍历；

S24、将当前分组包序列化为JSON字符串格式，并加入到任务队列；

S25、将已经分组的图斑移出空间缓存数据库；

S26、当空间缓存数据库中所有图斑分组完毕并加入到任务队列后结束定时器。

本步骤设置定时器，设置运行时间间隔为gap，每经过一个时间gap，从空间缓存数据库中采用分组打包算法获取分组包，获得分组包之后，采用Redis中的LPUSH命令来实现Redis的入队过程。如果当前没有获取到符合条件的分组包，则固定时长，防止频繁获取数据。

步骤S3、检查入库步骤。从任务队列中读取图斑数据，并检查所读取图斑与目标图层的拓扑关系，若没有拓扑错误，则将所读取图斑数据入库。

本步骤主要从任务队列中取出图斑，与目标图层进行相交判断，然后执行入库操作，判断可以并行处理，以提高数据入库效率。由于缓存队列中的所有图斑都不相交，所以，在并发检查入库情况下，只需要检查图斑与目标图层之间的拓扑关系。空间数据检查过程采用ArcGIS Engine实现。

具体的入库过程如图7所示，包括下述步骤：

S31、从任务队列中出队取出分组包，对分组包内的图斑先进行融合，得到融合图形；

S32、判断融合图形与目标图层是否相交；

S33、若不相交，则将当前分组包内所有图斑入库操作；

S34、若相交，则逐一判断当前分组包内的图斑是否目标图层相交，对其中不相交的图斑进行入库操作，对相交的图斑进行日志记录。

本步骤先从队列中取出的分组包，采用Redis中RPOP命令实现分组包的出队，对分组包内图斑先进行融合，分组包内的图斑为相邻图斑，得到融合图形，若融合图形与目标图层无任何相交，则该分组包内所有图斑皆可入库，否则逐一判断图斑与目标图层是否相交，对不相交的图斑进行入库操作，对相交的图斑进行日志记录。该算法大大减少了与目标图层进行相交判断的次数，在分布式入库的基础上进一步提高了检查入库的效率。本步骤通过将相邻图斑保存一个分组，对分组内包内的图斑先融合，判断融合图形与目标图层的相交关系，将相邻图斑合并检查入库，避免将所有图斑依次判断，可以明显减少图斑检查次数，提高入库效率。

本实施例采用Redis作为公共任务队列，在分布式环境下，通过公共的任务队列，可以避免同时处理某一个图斑时，出现重复数据插入的问题。

需要注意的是，在分布式入库过程中使用ArcGIS Engine方式入库时，为了避免图层资源被单一线程独占，必须注意空间缓存数据库的图层必须为未注册版本图层，在工作空间的编辑外进行入库更新操作。如果是注册版本的图层，无法进行编辑外的入库更新操作。

实施例二：

图8示出了本发明实施例提供的空间数据分布式检查入库的装置的结构，为了便于说明仅示出了与本发明实施例相关的部分。

如图8所示，本实施例提供的空间数据分布式检查入库的装置包括：

预检查模块1，用于对于接收到的新增图斑数据，检查所述新增图斑与空间缓存数据库中所有图斑的拓扑关系，若没有拓扑错误，则将所述新增图斑加入所述空间缓存数据库，否则舍弃当前新增图斑；

任务队列处理模块2，用于将所述空间缓存数据库中的图斑数据加入至任务队列中；

检查入库模块3，用于从任务队列中读取图斑数据，并检查所读取图斑数据与目标图层的拓扑关系，若没有拓扑错误，则将所读取图斑数据入库。

本实施例上述三个功能模块1-3对应实现了实施例一中的步骤S1-S3,通过预检查模块检查新增图斑与空间缓存数据库的图斑拓扑关系，所述任务队列处理具体实现过程如下：对空间缓存数据库中的图斑数据利用相邻关系判断算法进行分组打包并编号，将分组包依次加入到任务队列，将已经分组的图斑移出空间缓存数据库。

本实施例中，所任务队列处理包括：

定时器；

初始化单元，用于每到一个定时时刻，初始化一个分组包并设置容量，选择一个图斑，如果该图斑未加入任务队列，则将该图斑加入当前分组包；

遍历入组单元，用于遍历空间缓存数据库中的图斑数据，查找与该图斑相邻且没有加入任务队列的图斑，将查找到的图斑加入当前分组包，遍历完所有图斑，或者达到当前分组包的容量时，结束遍历；

转化入队单元，用于将当前分组包序列化为JSON字符串格式，并加入到任务队列，将已经分组的图斑移出空间缓存数据库；

其中，所述检查入库模块包括：

融合单元，用于从任务队列中出队取出分组包，对分组包内的图斑先进行融合，得到融合图形；

判断单元，用于判断融合图形与目标图层是否相交；

第一入库单元，用于当融合图形与目标图层不相交时，将当前分组包内所有图斑入库操作；

第二入库单元，用于当融合图形与目标图层相交时，则逐一判断当前分组包内的图斑是否目标图层相交，对其中不相交的图斑进行入库操作，对相交的图斑进行日志记录。

本发明设计了两个检查环节，预检查环节和检查入库环节。预检查环节用于检查缓存图斑之间的拓扑关系，检查入库环节用于检查图斑与目标图层之间的拓扑关系。当出现大量新增图斑入库请求时，外部图斑先进入空间缓存数据库，以指定速度处理图斑入库工作，避免了请求量大的情况下，由于频繁操作数据库导致的数据库压力过大的问题。通过分解检查入库步骤，可以有效降低空间数据检查及入库的压力。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种空间数据分布式检查入库的方法，其特征在于，所述方法包括下述步骤：

步骤S1、对于接收到的新增图斑数据，检查所述新增图斑与空间缓存数据库中的所有图斑的拓扑关系，若没有拓扑错误，则将所述新增图斑加入所述空间缓存数据库，否则舍弃当前新增图斑；

步骤S2、将所述空间缓存数据库中的图斑数据加入至任务队列中；

步骤S3、从任务队列中读取图斑数据，并检查所读取图斑数据与目标图层的拓扑关系，若没有拓扑错误，则将所读取图斑数据入库。

2.如权利要求1所述空间数据分布式检查入库的方法，其特征在于，所述步骤S2具体包括：

对空间缓存数据库中的图斑数据利用相邻关系判断算法进行分组打包并编号，将分组包依次加入到任务队列,将已经分组的图斑移出空间缓存数据库。

3.如权利要求2所述空间数据分布式检查入库的方法，其特征在于，所述利用相邻关系判断算法进行分组编号打包，将分组包依次加入到任务队列步骤，具体过程如下：

设置定时器；

每到一个定时时刻，初始化一个分组包并设置容量，选择一个图斑，如果该图斑未加入任务队列，则将该图斑加入当前分组包；

遍历空间缓存数据库中的图斑数据，查找与该图斑相邻且没有加入任务队列的图斑，将查找到的图斑加入当前分组包，遍历完所有图斑，或者达到当前分组包的容量时，结束遍历；

将当前分组包序列化为JSON字符串格式，并加入到任务队列；

将已经分组的图斑移出空间缓存数据库；

当空间缓存数据库中所有图斑分组完毕并加入到任务队列后结束定时器。

4.如权利要求3所述空间数据分布式检查入库的方法，其特征在于，所述步骤S3具体包括：

从任务队列中出队取出分组包，对分组包内的图斑先进行融合，得到融合图形；

判断融合图形与目标图层是否相交；

若不相交，则将当前分组包内所有图斑入库操作；

若相交，则逐一判断当前分组包内的图斑是否目标图层相交，对其中不相交的图斑进行入库操作，对相交的图斑进行日志记录。

5.一种空间数据分布式检查入库的装置，其特征在于，所述装置包括：

预检查模块，用于对于接收到的新增图斑数据，检查所述新增图斑与空间缓存数据库中的所有图斑的拓扑关系，若没有拓扑错误，则将所述新增图斑加入所述空间缓存数据库，否则舍弃当前新增图斑；

任务队列处理模块，用于将所述空间缓存数据库中的图斑数据加入至任务队列中；

检查入库模块，用于从任务队列中读取图斑数据，并检查所读取图斑数据与目标图层的拓扑关系，若没有拓扑错误，则将所读取图斑数据入库。

6.如权利要求5所述空间数据分布式检查入库的装置，其特征在于，所述任务队列处理模块具体实现过程如下：对空间缓存数据库中的图斑数据利用相邻关系判断算法进行分组打包并编号，将分组包依次加入到任务队列，将已经分组的图斑移出空间缓存数据库。

7.如权利要求6所述空间数据分布式检查入库的装置，其特征在于，所述任务队列处理模块包括：

定时器；

初始化单元，用于每到一个定时时刻，初始化一个分组包并设置容量，选择一个图斑，如果该图斑未加入任务队列，则将该图斑加入当前分组包；

遍历入组单元，用于遍历空间缓存数据库中的图斑数据，查找与该图斑相邻且没有加入任务队列的图斑，将查找到的图斑加入当前分组包，遍历完所有图斑，或者达到当前分组包的容量时，结束遍历；

转化入队单元，用于将当前分组包序列化为JSON字符串格式，并加入到任务队列，将已经分组的图斑移出空间缓存数据库。

8.如权利要求7所述空间数据分布式检查入库的装置，其特征在于，所述检查入库模块包括：

融合单元，用于从任务队列中出队取出分组包，对分组包内的图斑先进行融合，得到融合图形；

判断单元，用于判断融合图形与目标图层是否相交；

第一入库单元，用于当融合图形与目标图层不相交时，将当前分组包内所有图斑入库操作；

第二入库单元，用于当融合图形与目标图层相交时，则逐一判断当前分组包内的图斑是否目标图层相交，对其中不相交的图斑进行入库操作，对相交的图斑进行日志记录。

Images