CN110727897A - 支持多终端操作的地质调查信息服务快速发布方法及系统 - Google Patents

Abstract

本发明公开一种支持多终端操作的地质调查信息服务快速发布方法及系统。所述方法包括：上传需要自动化发布的地质调查数据；将所述地质调查数据进行校验，得到符合发布规则的地质调查数据；对所述符合发布规则的地质调查数据进行一键式发布；对所述一键式发布后的地质调查数据建立统一资源标识符。本发明能够快速高效地实现地质调查数据的批量式发布。

Description

支持多终端操作的地质调查信息服务快速发布方法及系统

技术领域

本发明涉及地质调查领域，特别是涉及一种支持多终端操作的地质调查信息服务快速发布方法及系统。

背景技术

经过百年地质工作的历程，累积了海量的地质调查数据，主要包括空间数据和非结构化数据。空间数据发布流程复杂、纯手工操作、工作量大。非结构化数据原有的发布方式，需要进入单独的数据发布页面，然后选择数据进行发布，这种处理方式比较繁琐，用户使用时的体验感较差。

发明内容

本发明的目的是提供一种支持多终端操作的地质调查信息服务快速发布方法及系统，能够快速高效地实现数据的批量式发布。

为实现上述目的，本发明提供了如下方案：

一种支持多终端操作的地质调查信息服务快速发布方法，包括：

上传需要自动化发布的地质调查数据；

将所述地质调查数据进行校验，得到符合发布规则的地质调查数据；

对所述符合发布规则的地质调查数据进行一键式发布；

对所述一键式发布后的地质调查数据建立统一资源标识符。

可选的，所述上传需要自动化发布的地质调查数据，具体包括：

应用移动终端或者PC端上传需要自动化发布的地质调查数据。

可选的，所述将所述地质调查数据进行校验，得到符合发布规则的地质调查数据，具体包括：

将所述地质调查数据进行数据类型校验，得到空间数据和非结构化数据；

检查所述空间数据和所述非结构化数据的内容，得到符合发布规则的地质调查数据。

可选的，所述对所述符合发布规则的地质调查数据进行一键式发布，具体包括：

对所述符合发布规则的空间数据进行一键式发布；

对所述符合发布规则的非结构化数据进行一键式发布。

可选的，所述对所述符合发布规则的空间数据进行一键式发布，具体包括：

移动端或者web端上传的所述符合发布规则的空间数据进行数据转换、地图整饰、瓦片裁剪以及地图发布操作。

可选的，所述对所述符合发布规则的非结构化数据进行一键式发布，具体包括：

对所述符合发布规则的非结构化数据进行数据归并、数据同构、分词和建立索引操作。

一种支持多终端操作的地质调查信息服务快速发布系统，包括：

数据上传模块，用于上传需要自动化发布的地质调查数据；

检验模块，用于将所述地质调查数据进行校验，得到符合发布规则的地质调查数据；

发布模块，用于对所述符合发布规则的地质调查数据进行一键式发布；

标识符建立模块，用于对所述一键式发布后的地质调查数据建立统一资源标识符。

可选的，所述检验模块，具体包括：

数据类型校验单元，用于将所述地质调查数据进行数据类型校验，得到空间数据和非结构化数据；

内容检查单元，用于检查所述空间数据和所述非结构化数据的内容，得到符合发布规则的地质调查数据。

可选的，所述发布模块，具体包括：

空间数据发布单元，用于对所述符合发布规则的空间数据进行一键式发布；

非结构化数据发布单元，用于对所述符合发布规则的非结构化数据进行一键式发布。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

以前的地质调查信息服务发布是通过人工手动发布的，这就需要操作人员具有一定的业务基础知识，并且发布流程复杂，工作量大，本发明将多个服务进行整合形成一个快速发布数据的功能服务，拥有相应发布数据服务权限的用户可在移动端或者web端的数据处理界面，通过右键菜单使用一键式快速的数据服务发布功能对数据进行发布，改变了以往手动发布服务的局面，符合组织规范的读服务就能够批量式发布，服务发布更快捷、方便，提升了服务发布的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例支持多终端操作的地质调查信息服务快速发布方法流程图；

图2为本发明分布式NoSQL数据库结构库；

图3为本发明实施例上传数据—结构化数据；

图4为本发明实施例上传数据—非结构化数据；

图5为本发明实施例一键式自动化发布流程图；

图6为本发明实施例异构数据同构化说明图；

图7为本发明实施例基于词典的分词例子；

图8为本发明实施例支持多终端操作的地质调查信息服务快速发布系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

为了解决以上的问题，对于结构化的数据，本发明规范了坐标系、数据格式、文件命名以及文件组织形式等，采用自动化程序实现从数据到地图的一键式发布；并且为了提升非结构化数据挖掘服务的快速发布能力，现在将非结构化数据发布的功能放到数据管理(云存储)界面的右键菜单，这样用户就可以在数据管理界面，选择需要发布的非结构化数据进行一键式发布。非结构化数据挖掘服务支持对pdf、word、txt等数据格式的发布。两类数据的发布都支持PC端和Android移动端。

在本发明中，主要涉及了以下的技术：

数据归并是将多源数据导入、转换，抽取到一起，统一进行存储管理和挖掘的过程。这里的数据归并包含“抽取”、“转换”、“导入”，其中数据抽取是将数据从各种原始的业务系统中读取出来，这主要针对关系型业务数据的归并；数据转换是按照预先设计好的规则将数据进行转换，从原格式转换为另外的格式；在非结构化地质数据挖掘系统中提供导入、转换、抽取等归并工具，支持将多源数据归并到分布式文件系统中，实现地质数据的统一存储和管理。

同构化是指地质文档数据格式多样，直接使用原始格式分析计算，不利于计算机编程实现时，需要对异构的地质数据格式进行同构化，形成较统一的地质数据集合。

图1为本发明实施例支持多终端操作的地质调查信息服务快速发布方法流程图。如图1所示，一种支持多终端操作的地质调查信息服务快速发布方法，包括：

步骤101：上传需要自动化发布的地质调查数据，具体包括：

上传需要在移动端或者PC端自动化发布的数据。

步骤102：将所述地质调查数据进行校验，得到符合发布规则的地质调查数据，具体包括：

将所述地质调查数据进行数据类型校验，得到空间数据和非结构化数据；当地质调查数据是地质报告时，表现为文档型，则判断上传的数据为非结构化数据；当地质调查数据为野外调查路线、地质图件、以及遥感影像时，表现为空间数据，则判断上传的数据为空间数据。

检查所述空间数据和所述非结构化数据的内容，得到符合发布规则的地质调查数据。

空间数据和非结构化数据的文件夹都应包含元数据文件，并依据元数据文件的文件组成描述判断空间数据中点、线、区图层是否完整，检查非结构化数据中文档型数据是否完整。检查每个文件是否都准确地存储在相应的文件夹中。进一步地，空间数据则需要检查空间坐标系、系统库等，若空间坐标系有坐标系信息的，存在系统库的，则符合发布规则；非结构化数据需要检查是否包含文档型文件，如doc/pdf格式的文件，若包含，则符合发布规则。反之，则不符合发布规则，回退给用户补充完善数据。

步骤103：对所述符合发布规则的地质调查数据进行一键式发布，具体包括：

对所述符合发布规则的空间数据进行一键式发布，优选的，在移动端或者web端的所述符合发布规则的空间数据进行数据转换、地图整饰、瓦片裁剪以及地图发布操作。

其中，数据转换基于MapGIS10平台，将非MapGIS10格式数据转换成MapGIS10数据；将投影坐标系的空间数据转换为地理坐标系的空间数据。地图整饰基于MapGIS10平台，将规范的系统库和字体库应用于MapGIS10地图文档，调整其显示参数。瓦片裁剪的目的是为了提高地图的出图速度和浏览速度，通过MapGIS10裁图工具箱将地图文档按照地图空间范围裁剪成瓦片数据；地图发布是通过MapGIS IGServer平台将瓦片数据发布为在线地图服务。通过上述四个操作实现了空间数据的一键式发布。

对所述符合发布规则的非结构化数据进行一键式发布，优选的，对所述符合发布规则的非结构化数据进行数据归并、数据同构、分词和建立索引操作。

利用云盘管理界面提供的数据归并工具将数据地质档案资料文件、网络数据归并到分布式文件系统中相应的存储区域。当地质档案资料数据归并完成后，系统自动触发档案内容同构化流程，将办公文档、pdf、图片等文件中的内容提取出来，按照定义的数据库结构将内容分片存储到分布式NoSQL数据库中。当地质档案文件内容同构化完后，系统对提取内容建立索引，即提取分布式NoSQL数据库中新增的档案文本内容，基于词典进行分词处理，最后建立文本倒排索引，即实现了非结构化数据的一键式发布。图2为本发明分布式NoSQL数据库结构库；

步骤104：对所述一键式发布后的地质调查数据建立统一资源标识符，uuid为服务发布时计算机自动生成的全局唯一字符串。统一资源标识符是用来标识资源名称的字符串。该标志允许用户使用特定的协议和网络上资源进行交互。

表1为结构化数据和非结构化数据的统一资源标识符。

表1结构化数据和非结构化数据的统一资源标识符

名称	统一资源标识符(URI)
		结构化数据	http://www.gsigrid.cgs.gov.cn/space/structuredata/{uuid}
非结构化数据	http://www.gsigrid.cgs.gov.cn/space/docdata/{uuid}

图8为本发明实施例支持多终端操作的地质调查信息服务快速发布系统结构图。如图8所示，一种支持多终端操作的地质调查信息服务快速发布系统，包括：

数据上传模块201，用于上传需要自动化发布的地质调查数据；

检验模块202，用于将所述地质调查数据进行校验，得到符合发布规则的地质调查数据；

发布模块203，用于对所述符合发布规则的地质调查数据进行一键式发布；

标识符建立模块204，用于对所述一键式发布后的地质调查数据建立统一资源标识符。

所述检验模块202，具体包括：

数据类型校验单元，用于将所述地质调查数据进行数据类型校验，得到空间数据和非结构化数据；

内容检查单元，用于检查所述空间数据和所述非结构化数据的内容，得到符合发布规则的地质调查数据。

所述发布模块203，具体包括：

空间数据发布单元，用于对所述符合发布规则的空间数据进行一键式发布；

非结构化数据发布单元，用于对所述符合发布规则的非结构化数据进行一键式发布。

实施例1：

如现需要发布K49F018041地形图，以前的发布则是需要从数据到最后的专题图手工操作，再进行发布。本实施例使用一键式自动化发布，省去人工操作的繁杂，具体步骤如下所示：

1)上传需要自动化发布的地质调查数据。

2)检查地质调查数据的格式，可以判断出非结构化数据和空间数据。图3为本发明实施例上传数据—结构化数据。图4为本发明实施例上传数据—非结构化数据。其中，图3中包含着需要上传的矢量数据。

3)检查文件夹中的文件是否完整，每个文件是否存储与相应的文件夹中。

4)检查需要发布的图3中的空间数据的坐标系是否正确，系统库是否正确，如果正确，则进入下一步；检查图4中的非空间结构化数据是否包含文档型的文件，如果正确，则进入下一步。

5)实体数据的一键式发布

5-1)空间数据的自动化发布：

对比以前的手工操作各个成图步骤，在本实施例中，使用程序一键式完成从数据到专题图的步骤，包括数据转换、地图整饰、地图裁剪等步骤，最后再一键式自动发布到IGServer。图5为本发明实施例一键式自动化发布流程图。

5-2)非结构化数据的自动化发布：

5-2-1)利用云盘管理界面提供的数据归并工具或服务将数据归并到分布式文件系统中。

5-2-2)如图4中的文档数据，由pdf、doc、txt等格式的文件，格式的不统一不利于计算机编程实现，因此，需要对异构的地质数据进行同构化，形成较统一的地质数据集合，图6为本发明实施例异构数据同构化说明图。

如图6所示，本实施例利用MapReduce分布式计算的优势，通过内容解析器将pdf、doc、txt等文件中的内容提取出来，形成统一的xml格式，并以Key-Value键值对的形式存储到分布式Key-Value数据库HBase中。

5-2-3)当这些pdf、doc、txt等文件内容同构化完后，对提取内容建立索引，即提取分布式NoSQL数据库中新增的档案文本内容，基于词典进行分词处理，最后建立文本倒排索引。分词的具体步骤如下所示：

步骤1：初次加载词典文件，启动定时器，当字典变化时，自动重新加载词典文件；

步骤2：读入句子：使用最大阈值，正向切分句子，形成待切分变量X；

步骤3：将待切分变量X，在字典中匹配，若匹配，则结束，将X作为此次切分词给出；

步骤4：将X减去一个字符，形成新的待切分变量X，调到步骤3。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种支持多终端操作的地质调查信息服务快速发布方法，其特征在于，包括：

上传需要自动化发布的地质调查数据；

将所述地质调查数据进行校验，得到符合发布规则的地质调查数据；

对所述符合发布规则的地质调查数据进行一键式发布；

对所述一键式发布后的地质调查数据建立统一资源标识符。

2.根据权利要求1所述的支持多终端操作的地质调查信息服务快速发布方法，其特征在于，所述上传需要自动化发布的地质调查数据，具体包括：

应用移动终端或者PC端上传需要自动化发布的地质调查数据。

3.根据权利要求1所述的支持多终端操作的地质调查信息服务快速发布方法，其特征在于，所述将所述地质调查数据进行校验，得到符合发布规则的地质调查数据，具体包括：

将所述地质调查数据进行数据类型校验，得到空间数据和非结构化数据；

检查所述空间数据和所述非结构化数据的内容，得到符合发布规则的地质调查数据。

4.根据权利要求3所述的支持多终端操作的地质调查信息服务快速发布方法，其特征在于，所述对所述符合发布规则的地质调查数据进行一键式发布，具体包括：

对所述符合发布规则的空间数据进行一键式发布；

对所述符合发布规则的非结构化数据进行一键式发布。

5.根据权利要求4所述的支持多终端操作的地质调查信息服务快速发布方法，其特征在于，所述对所述符合发布规则的空间数据进行一键式发布，具体包括：

移动端或者web端上传的所述符合发布规则的空间数据进行数据转换、地图整饰、瓦片裁剪以及地图发布操作。

6.根据权利要求4所述的支持多终端操作的地质调查信息服务快速发布方法，其特征在于，所述对所述符合发布规则的非结构化数据进行一键式发布，具体包括：

对所述符合发布规则的非结构化数据进行数据归并、数据同构、分词和建立索引操作。

7.一种支持多终端操作的地质调查信息服务快速发布系统，其特征在于，包括：

数据上传模块，用于上传需要自动化发布的地质调查数据；

检验模块，用于将所述地质调查数据进行校验，得到符合发布规则的地质调查数据；

发布模块，用于对所述符合发布规则的地质调查数据进行一键式发布；

标识符建立模块，用于对所述一键式发布后的地质调查数据建立统一资源标识符。

8.根据权利要求7所述的支持多终端操作的地质调查信息服务快速发布系统，其特征在于，所述检验模块，具体包括：

数据类型校验单元，用于将所述地质调查数据进行数据类型校验，得到空间数据和非结构化数据；

内容检查单元，用于检查所述空间数据和所述非结构化数据的内容，得到符合发布规则的地质调查数据。

9.根据权利要求7所述的支持多终端操作的地质调查信息服务快速发布系统，其特征在于，所述发布模块，具体包括：

空间数据发布单元，用于对所述符合发布规则的空间数据进行一键式发布；

非结构化数据发布单元，用于对所述符合发布规则的非结构化数据进行一键式发布。

Images