CN114398374A

CN114398374A - 一种地质调查智能空间的数据资源治理方法

Info

Publication number: CN114398374A
Application number: CN202210050685.5A
Authority: CN
Inventors: 李丰丹; 吕霞; 龚爱华; 刘园园; 刘畅; 吴亮; 任雯倩
Original assignee: Development Research Center Of China Geological Survey National Geological Data Center And Mineral Exploration Technology Guidance Center Of Ministry Of Natural Resources
Current assignee: Command Center Of Natural Resources Comprehensive Survey Of China Geological Survey
Priority date: 2022-01-17
Filing date: 2022-01-17
Publication date: 2022-04-26
Anticipated expiration: 2042-01-17
Also published as: CN114398374B

Abstract

本发明公开了一种地质调查智能空间的数据资源治理方法，包括基于面向对象编程思想，构建地质调查数据资源核心对象模型，获取地质调查数据资源核心对象；将地质调查数据资源核心对象实例化生成地质调查数据资源核心对象实例，并构建数据湖存储；根据数据湖中的地质调查数据资源核心对象实例建立业务自定义扩展标签或分类，形成支撑安全管理及治理的必要信息，从而实现对地质调查数据的治理。本发明通过建立地质调查数据资源核心对象模型，将地质调查智能空间中的地质调查数据对象化和实例化，解决了地质调查智能空间内数据存储与共享问题，最终达到地质调查智能空间中的数据资产价值利用最大化。

Description

一种地质调查智能空间的数据资源治理方法

技术领域

本发明涉及大数据和数字地质调查技术领域，更具体的说是涉及一种地质调查智能空间的数据资源治理方法。

背景技术

数字地质调查技术在长期的探索与实践中，不断强化IT技术与地质调查业务的深度融合，逐步实现物理空间到云上信息空间的映射工作，形成地质调查智能空间。地质调查智能空间根据地质调查任务和需求，以野外地质调查数据采集情境(上下文)感知、数据建模、综合分析、知识发现(数据挖掘)等内容构建的地质信息空间，以互联网、物联网、云计算、大数据等新一代技术组合的物理空间，经过叠加而形成一个嵌入了计算、信息设备和多模态的传感装置或“知识感知”的工作空间，具有感知、通信、分析、推理、普适计算能力，以多种灵活的方式共享计算能力和系统资源，提供随时随地、透明地获得感知、建模与问题求解等数字化服务。地质调查智能空间中的数据资源、存储资源、计算资源是互联互通，对应用而言，可以针对不同的需求、面向不同的对象快速搭建不同粒度的地质调查智能子空间，并提供用户定制化应用流程。

由于地质调查智能空间支撑的业务流程从采集传输、集成、处理、分析、建模到服务，涉及的数据种类包括野外地质路线调查数据、地质图件数据、非结构化地质报告数据以及一些结构化的信息系统业务数据，分别存储在GIS空间数据库、NoSQL数据库、关系型数据库中，在数据管理、数据处理、数据服务等数据分析应用过程中存在跨数据源、跨应用问题；面对各种数据和文件，地质人员利用原有信息系统在使用数据时，获取数据信息的能力和范围相当有限，数据使用面小。

因此，如何解决智能空间内数据存储与共享相关问题，利用面向对象思想，提供一种对象化管理和治理地质调查数据的方法，实现数据对象实例共享及数据对象使用授权是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种地质调查智能空间的数据资源治理方法，综合考虑地质调查数据本身特征与数据之间关联关系，用以解决背景技术中存在的地质调查智能空间内数据存储与共享问题，最终达到地质调查智能空间中的数据资产价值利用最大化，形成以数据导向的应用服务链目的。

为了实现上述目的，本发明采用如下技术方案：

一种地质调查智能空间的数据资源治理方法，包括以下步骤：

(1)基于面向对象编程思想，构建地质调查数据资源核心对象模型，获取地质调查数据资源核心对象；

(2)将地质调查数据资源核心对象实例化生成地质调查数据资源核心对象实例，并构建数据湖存储；

(3)根据数据湖中的地质调查数据资源核心对象实例建立业务自定义扩展标签或分类，形成支撑安全管理及治理的必要信息，从而实现对地质调查数据的治理。

为了进一步优化上述方案，上述方法还包括：

(4)建立集中安全管理模型，对地质调查数据资源核心对象实例的使用权限进行管控。

优选的，步骤(1)具体包括：

S11、获取地质调查数据资源基础属性信息；

S12、对不同的地质调查数据资源基础属性信息分别进行动态扩展生成对应的地质调查数据资源核心属性信息；

S13、对地质调查数据资源核心属性信息通过抽象定义和关系约束，生成地质调查数据资源核心对象。

优选的，所述步骤S11中获取的地质调查基础资源信息数据包括资源标识符、资源名称、发布日期、关键词、摘要、资源责任方、资源信息分类、资源大小、版本、服务信息、资源共享、资源维护方和资源更新日期。

优选的，步骤(2)具体包括以下步骤：

S21、根据地质调查数据资源核心对象建立地质调查数据实体系统、地质调查数据分类系统以及用于存储核心对象之间复杂关系的图数据库；

S22、根据步骤S21建立的地质调查数据实体系统、地质调查数据分类系统以及用于存储核心对象之间复杂关系的图数据库构建地质调查数据的数据湖存储。

优选的，所述步骤(3)具体包括：根据数据湖中的地质调查数据资源核心对象各类实例，建立地质调查数据资源核心对象实例之间的空间位置关联索引和业务分类关联索引，并根据空间位置关联索引和业务分类关联索引分别构建按位置和按专题分类的全局地质对象检索数据集。

优选的，步骤(4)中对地质调查数据的使用权限进行管控具体包括：建立不同的用户类型对地质调查数据使用不同的管理权限进行管控，所述管理权限包括数据的读取、创建、更新、删除，以及分类的读取、添加、更新和移除。

经由上述的技术方案可知，本发明公开提供了一种地质调查智能空间的数据资源治理方法，与现有技术相比，具有以下有益效果：通过建立地质调查数据资源核心对象模型，将智能空间中的地质调查数据对象化和实例化，解决了智能空间内数据存储与共享问题，最终达到地质调查智能空间中的数据资产价值利用最大化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的方法流程示意图；

图2为本发明实施例提供的地质调查数据资源核心对象模型UML类图；

图3为本发明实施例提供的元数据框架结构示意图；

图4为本发明实施例提供的图数据库中的实例关联信息示意图；

图5为本发明实施例提供的地质调查数据资源描述框架架构图；

图6为本发明实施例提供的岩石对象核心资源信息扩展描述图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示本发明实施例公开了一种地质调查智能空间数据资源治理方法，包括以下步骤：

S1、基于面向对象编程思想，构建地质调查数据资源核心对象模型，获取地质调查数据资源核心对象，具体包括：

S11、获取地质调查数据资源基础属性信息；

在本实施例中，地质调查数据资源基础属性信息包括资源标识符、资源名称、发布日期、关键词、摘要、资源责任方、资源信息分类、资源大小、版本、服务信息、资源共享、资源维护方和资源更新日期等。地质调查数据资源核心属性信息，在地质调查数据资源基础属性信息的基础上通过动态扩展得到，不同的地质调查数据资源基础属性信息进行动态扩展的属性不同，通过对不同的地质调查数据资源基础属性信息进行动态扩展，得到对应的地质调查数据资源核心属性信息，使得地质调查资源数据的属性更加全面，从而生成包含地质调查资源各个属性的数据资源核心对象。

S2、将地质调查数据资源核心对象实例化生成地质调查数据资源核心对象实例，并构建数据湖存储，具体包括以下步骤：

S3、根据数据湖中的地质调查数据资源核心对象实例建立业务自定义扩展标签或分类，形成支撑安全管理及治理的必要信息，从而实现对地质调查数据的治理。

具体包括：根据数据湖中的地质调查数据资源核心对象实例，建立地质调查数据资源核心对象实例之间的空间位置关联索引和业务分类关联索引，并根据空间位置关联索引和业务分类关联索引分别构建按位置和按专题分类的全局地质对象检索数据集。

为了进一步优化上述方案，上述方法还包括：

S4、建立集中安全管理模型，对地质调查数据资源核心对象实例的使用权限进行管控。

为了更详细的描述本发明的技术方案，下面对本发明的技术方案进行详细阐述。

地质调查智能空间平台中获取的地质调查数据资源主要包括野外地质路线调查数据、地质图件数据、非结构化地质报告数据以及一些结构化的信息系统业务数据，分别存储在不同类型的数据库中，如表1所示：

表1

因此数据分析存在跨数据源、跨应用问题。

本发明首先通过步骤S1，基于面向对象编程思想，根据地质调查智能空间中地质调查数据资源基础属性信息，构建地质调查数据资源核心对象模型，获取地质调查数据资源核心对象，然后将地质调查数据资源核心对象实例化生成地质调查数据资源核心对象实例，如图2所示，本发明中将地质调查数据资源核心对象实例化，生成的地质调查数据资源实体系统由实体(Entity)、资源实体(Resource)、链接实体(Link)组成。实体是资源实体和链接实体的抽象父类，它本身并不能实例化，实体实例是对实体子类实例的统称，资源实体是资源描述框架的核心部分，在模型中任何现实资源都属于资源实体或资源实体的子类。链接实体是对资源实例之间关联关系的描述，例如一个地质图件数据实例能够与该地区地质文本资料数据实例建立关联关系描述，这种关联关系便形成一个链接实例。

核心对象模型的分类系统由类目(Categroy)、种类(Kind)、操作(Action)、混合(Mixin)、属性(Attribute)组成。类目是种类、操作、混合的抽象父类。种类是分类系统的核心，是所有实体分类的标识。实体通过其所属种类可以引入一组操作。操作是可以应用于实体实例的可用功能。属性则是对实体及子类中各项属性的规范和要求。当混合与实体实例相关联时，可使实体实例在创建或在运行时获得附加的属性或操作，或者作为实体实例的标签或模板。

每个资源实例所属的种类唯一，并且关联了零个或多个链接和混合，以对该资源实例进行完整描述。例如对一个地质图件数据实例的完整描述如下：

a)种类：该实例所属的地质图件种类，具有空间参考系、空间范围、样式、图层等属性以及图件浏览、属性查询和修改等操作，这些属性和操作确定了该实例所拥有的属性和操作；

b)链接：地质图件数据实例与其它数据实例之间的关联信息形成链接实体。

c)混合：地质图件数据实例混合空间坐标系实例时，为该实例附加了空间坐标系转换操作。

该地质图件实例对其所属的数据种类、数据与其它数据实例的关联以及与空间坐标系转换实例的混合进行了完整描述。

通过构建地质调查数据资源核心对象模型，对复杂地质调查数据资源进行抽象定义和关系约束，获得地质调查数据资源核心对象，从而使地质调查数据资源具有可识别、可分类、可关联以及可扩展的特性。

本发明实施例中步骤S2实际上是将地质调查智能空间中的全局数据资源对象化，构建一个统一的多源数据访问的数据湖，为计算框架及其应用提供数据抽象层，从而连通了数据驱动型(地质行业各的种空间数据库、各种非结构化数据与结构化数据)综合应用系统和数据存储系统，使得计算框架及其应用能够高速交互访问各应用系统底层多种存储中的数据。

将地质调查智能空间的全局数据资源对象化，构建一个统一多源数据访问的数据湖，通过分布式存储系统来管理地质调查智能空间平台本地和云端不同数据源的所有数据，面对不同的业务需求，应用程序开发者无需关心数据所在服务器的具体位置，通过抽象不同的数据源并提供统一的接口来消除不同应用系统获取数据的的复杂性。

将地质调查智能空间平台数据湖中的数据资源对象化，构建一个统一多源数据访问的数据湖，从而连通了数据驱动型应用和存储系统,将数据从存储层移动到距离数据驱动型应用更近的位置，提高了数据的访问速度。

具体的在本实施例中可利用Alluxio作为平台来管理本地和云端不同数据源的所有数据。通过抽象不同的数据源并提供统一的接口来消除场景的复杂性。应用程序只需与Alluxio交互，Alluxio替应用程序管理对不同存储系统的数据访问。Alluxio能够有效地使数据访问更便捷，面对不同的业务需求，应用程序无需考虑数据的所在位置，并且也不需要进行数据传输与拷贝。

数据资源对象化建模，首要任务是建立地质数据的类型和实体系统，以及如何将其建模为存储在JanusGraph(图数据库)中的属性图，以上对象化建模后的数据成为数据资源的元数据，元数据实质是描述来自智能空间中各种来源的数据资产以及按业务合并后的数据资产目录，除此之外，完整的元数据不局限于表1中的数据种类，还可以扩展以下几个资源描述，例如：统计报告的描述、机器学习任务的描述、地质术语与类别等。

元数据框架如图3所示，通过对数据资源附加必要的跟随属性，跟随属性需做到可扩展、可继承，形成属性类型和实例，实例需要支持分类系统，以方便对数据访问进行授权或屏蔽数据。在前端提供直观的用户界面搜索类型与分类或属性值了解资源情况，从而对数据资源进行个性化的编目与检索。提供的API需满足复杂条件下的数据资源搜索与必要的统计功能。为记录数据资源的关联关系，拟采用图数据库存储类型之间的关系。

类型是元数据对象的定义，实例是元数据对象的实例。例如，'GROUTE_tabletype'(野外设计路线要素类)是一个类型。具体的一条路线设计'H46E019007_L001_GOUTE_table'是一个实体。类型系统是可扩展的，智能空间用户能自定义自己的数据描述类型。类型之间的关系如果用图数据库(JanusGraph)表示，如图4表示路线设计要素类实例与其它实例之间的关系。图中可以看到每个类型是图的顶点，图的边代表顶点(类型或实例)之间的关系，关系通过边的标签表示出来。

图4显示了'H46E019007_GROUTE_tabletype'(野外设计路线要素类实例)与之关联的资产信息，它们存储在图数据库JanusGraph中，可以表示两个实例间的任意定义的关系，比如，地质调查数据和存储设施都是从信息资产派生出来，野外设计路线数据库包含多个路线设计要素表，表也聚合了多个属性字段；数据库部署在哪个基础设施的存储设备上，可以通过基础设施的元数据对象关联。业务的关联关系也可以通过图数据库随时建立任意数据资产之间的联系，比如，H46E019007_GROUTE_tabletype野外路线要素类在业务上需要用到H46E019007_Remote_sening_image遥感数据，可以建立这两者之间的联系，后期通过检索H46E019007_Remote_sening_image遥感数据时，系统会返回与之有联系的实例数据的元数据描述，数据实例之间的关联关系，比以往用关系数据存储时更灵活实用。

图数据库JanusGraph中的顶点属性可以被索引，可以利用图数据库JanusGraph的图索引来加速实体和关系的搜索和查询。

要根据类型和属性名查找实体，可以直接使用JansuGraphQuery:

GraphQuery query＝GraphProvider.getGraphInstance().query()

.has('__H46E019007_GROUTE_tabletype,'GROUTE

ve_table').has('owner','spaceId_1000')

.has('__state','ACTIVE')；

Iterator<Vertex>results＝query.vertices().iterator()；

要获得实体的分类，使用JanusGraphVertexQuery。它搜索给定顶点的关系，'H46E019007_GROUTE_tabletype'获取到的分类信息时PII，在实际应用中，可以把此实例分类到“设计阶段”分类中，后面的数据安全管理可以根据分类信息授权，比如一般人员不能访问非本人所属子空间的路线设计数据或者路线数据中的某些特定的属性字段，这取决于是把路线设计整张表，还是属性字段分类标签到“设计阶段”分类中，在整个对象化的过程中，表、字段都可以作为图数据库中的一个顶点，带来的好处是访问授权可以精确控制到字段级别，可采用以下程序：

entityVertex.query().direction(EdgeDirection.OUT)

.label(CLASSIFICATION_LABEL).edges()

步骤S3中，在地质调查数据资源对象化流程中，通过对数据资源进行描述和分类，建立数据标签以及索引等方式实现对数据资源的管理和治理，数据实例可以灵活建立一个或多个标签，例如地质行业应用专题标签、空间位置标签等，如上层应用需要按专题、按位置对全局地质对象检索数据集或后续对其数据访问授权，是基于此类标签完成的。

为了满足不同地质人员的全局数据对象访问需求，本发明实施例还包括步骤S4，通过建立集中式安全管理模型用来解决数据资源授权和审计问题，实现对数据的使用权限进行管控。对已经对象化的地质调查数据资源进行分类，通过操作控制台可以轻松地配置策略，来控制用户访问权限。具体的，在集中式安全管理模型中，允许用户、组根据类型名和类型类别对类型进行创建、更新、修改操作：例如Admin用户可以创建/更新/删除所有类别的类目或种类的数据；数据管理员可以对所有类型的实体执行除删除外的所有实体操作；数据质量管理员可以添加/更新/删除分类；特定组(例如野外路线调查数据采集工作组)中的用户可以使用“野外地质路线调查数据标签”分类或其子分类来读取或更新实体；野外数据采集用户可以读取获更新以自身项目组ID开头的实体。

利用集中式安全管理模型，使得地质调查智能空间平台能够达到以下目标：

√集中的安全管理，有管理UI或使用REST API管理所有与安全相关的任务。

√使用组件/工具可执行特定操作的细粒度授权，并通过集中的管理工具进行管理。

√增强了对不同授权方法的支持——在已有基于角色的访问控制基础上，需要增强对不同授权方法的支持，如基于对象化的数据资源描述属性的访问控制或基于实体标签的访问控制等。

本发明实施例还提供了统一的数据集提取服务，并基于此对平台应用资源进行了扩展描述，地质调查数据资源描述框架的架构如图5所示。

资源的扩展描述信息主要由基础属性信息和核心属性信息两部分组成，基础属性信息包括资源标识符、资源名称、发布日期、关键词、摘要、资源责任方、资源信息分类、资源大小、版本、服务信息、资源共享、资源维护方和资源更新日期等信息，核心属性信息则依据不同的数据资源对象进行动态扩展。如图6所示，针对野外地质路线调查数据对象，在描述基础属性信息的基础上动态扩展了文件格式、图幅号、路线号、比例尺、坐标系等属性；针对岩石数据对象动态扩展了构造、结构、主要成分、颜色、所属岩类和采集时间等属性。

本发明研究的目标为基于人工智能、大数据、云计算等技术的数据分析、数据服务的工作环境提供了数据管理技术支撑。对象化的数据资源与其管理机制能够科学解决项目组数据存储与共享相关问题，最终达到地质调查智能空间中的数据资产价值最大化利用，形成以数据导向的应用服务链。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种地质调查智能空间的数据资源治理方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的地质调查智能空间的数据资源治理方法，其特征在于，还包括步骤：

3.根据权利要求1所述的地质调查智能空间的数据资源治理方法，其特征在于，所述步骤(1)具体包括：

S11、获取地质调查数据资源基础属性信息；

4.根据权利要求2所述的地质调查智能空间的数据资源治理方法，其特征在于，所述步骤S11中获取的地质调查数据资源基础属性信息包括资源标识符、资源名称、发布日期、关键词、摘要、资源责任方、资源信息分类、资源大小、版本、服务信息、资源共享、资源维护方和资源更新日期。

5.根据权利要求1所述的地质调查智能空间的数据资源治理方法，其特征在于，所述步骤(2)具体包括以下步骤：

S22、根据步骤S21建立的地质调查数据实体系统、地质调查数据分类系统以及用于存储核心对象之间复杂关系的图数据库，构建地质调查数据的数据湖存储。

6.根据权利要求1所述的地质调查智能空间的数据资源治理方法，其特征在于，所述步骤(3)具体包括：根据数据湖中的地质调查数据资源核心对象实例，建立地质调查数据资源核心对象的各类实例之间的空间位置关联索引和业务分类关联索引，并根据空间位置关联索引和业务分类关联索引分别构建按位置和按专题分类的全局地质对象检索数据集。

7.根据权利要求2所述的地质调查智能空间的数据资源治理方法，其特征在于，所述步骤(4)中对地质调查数据对象实例的使用权限进行管控，具体包括：建立不同的用户类型对地质调查数据对象实例使用不同的管理权限进行管控，所述管理权限包括地质调查数据对象实例的读取、创建、更新、删除，以及对象分类的读取、添加、更新和移除。