CN114020927A

CN114020927A - 一种基于图谱数据分析在事件溯源上的应用系统及方法

Info

Publication number: CN114020927A
Application number: CN202111273199.1A
Authority: CN
Inventors: 黄秀明
Original assignee: Shenzhen Aerospace Smart City System Technology Co ltd
Current assignee: Shenzhen Aerospace Smart City System Technology Co ltd
Priority date: 2021-10-29
Filing date: 2021-10-29
Publication date: 2022-02-08

Abstract

本发明涉及数据分析领域，特别涉及一种基于图谱数据分析在事件溯源上的应用系统及方法。其系统包括：图数据存储层：最底层的抽像化事件数据存储库，根据事件本身及事件之间的属性生成知识图谱；图数据接口服务层：根据事件属性检索需求创建接口服务，通过API对接图数据存储层，并建立事件标准化数据的交互；系统应用接口服务层：对不同领域下的需求做统筹分析设计，进行事物的实例化配置管理，建立与图数据接口服务层的需求个性化数据交互；数据可视化编辑层：通过API对接系统应用接口服务层的业务操作展示界面，包括实体数据的模型化创建、图谱事件的注册、事件数据编辑、图谱事件的链路式展示。解决现有数据存储服务在数据溯源上的局限性问题。

Description

一种基于图谱数据分析在事件溯源上的应用系统及方法

技术领域

本发明涉及数据分析领域，特别涉及一种基于图谱数据分析在事件溯源上的应用系统及方法。

背景技术

随着信息技术的飞速发展，目前整个社会已经迈入了大数据时代。大数据时代下每时每刻都在产生庞大的数据。在庞大数据的背后，蕴含着众多有价值的信息。但是由于数据种类繁多、数据量庞大，难以高效、准确地获取有用的信息。目前，虽然也有很多信息抽取的工具出现，在一定的工作场景下，可以提高了工作效率，节省了相应的时间。但是数据与数据间的关系，知识库间的互联关系，即所谓的知识图谱，其实更具备一定的实用或者商用价值。特别是在某个特定的领域下，比如环保领域对水污染事件的调查追溯，比如在信息安全领域对金融知识的应用探索，能够为专业工作人员的认知需求提供一定的辅助作用。目前比较少专业基于数据图谱关系的基础上研发的可视化应用系统，且与相应领域下现有业务系统具备数据互通性等功能。

现有技术更多的时候只是提供了一种图谱数据储存的服务，在提供数据的溯源上其实存在一定的局限性，比如事件的发生源在地理空间上的定点等功能。

发明内容

本发明提供一种基于图谱数据分析在事件溯源上的应用系统及方法，旨在解决现有数据存储服务在数据溯源上的局限性。

本发明提供一种基于图谱数据分析在事件溯源上的应用系统，系统结构层从下至上包括：

图数据存储层：最底层的抽像化事件数据存储库，根据事件本身及事件之间的属性生成知识图谱；

图数据接口服务层：根据事件属性检索需求创建接口服务，通过API对接图数据存储层，并建立事件标准化数据的交互；

系统应用接口服务层：对不同领域下的需求做统筹分析设计，进行事物的实例化配置管理，建立与图数据接口服务层的需求个性化数据交互；

数据可视化编辑层：通过API对接系统应用接口服务层的业务操作展示界面，包括实体数据的模型化创建、图谱事件的注册、事件数据编辑、图谱事件的链路式展示。

作为本发明的进一步改进，所述图数据接口服务层中，接口服务的创建包括基本的标签、边、节点、数据模糊检索的创建。

作为本发明的进一步改进，所述图数据存储层为Nebula Graph原生图数据库，所述图数据接口服务层通过Create Tag语句进行标签、边、节点的创建，通过Match关键字进行数据模糊检索的创建。

作为本发明的进一步改进，所述图数据接口服务层采用Python语言进行数据服务的实现，服务架构层面集成网络请求组件，服务部署方面，采用Docker集群负载。

本发明还提供一种基于图谱数据分析在事件溯源上的应用方法，其特征在于，包括以下流程：

事件创建存储流程：

a1.数据可视化编辑输入步骤：在可视化操作页面创建事件实例及事件实例中各事物之间的关系，并在事物上创建标签及标签属性，并管理数据标签；

a2.系统应用接口服务输入步骤：对可视化操作页面中，包括事物关系、事物标签、标签属性的业务数据进行分解并存储到关系型数据库中；

a3.图数据接口服务输入步骤：对业务数据进行编辑，根据业务数据中事物、事物关系、事物标签及其属性创建对应的节点、边、标签，并将数据按标准格式返回到图数据存储库中；

a4.图数据存储输入步骤：图数据存储库根据节点、边、标签的创建定义，生成对应的知识图谱并存储；

事件溯源展示流程：

b1.数据可视化编辑输出步骤：按照需求选择查看的业务数据，并可视化展示；

b2.系统应用接口服务输出步骤：调用图数据接口服务返回的标准数据，按需从不同节点检索事件链路的关系并处理数据，向数据可视化编辑层发布服务；

b3.图数据接口服务输出步骤：对图数据存储库的业务数据进行模糊检索，并返回生成知识图谱的标准业务数据，供系统应用接口服务按需调用；

b4.图数据存储输出步骤：输出生成知识图谱的标准业务数据。

作为本发明的进一步改进，所述图数据存储库为Nebula Graph数据库，流程a3中图数据接口服务通过Create Tag语句进行节点、边、标签在Nebula Graph数据库上的连接创建，流程b3中图数据接口服务通过Match关键字进行在Nebula Graph数据库上的模糊检索，图数据接口服务执行相应的语句，将返回的数据按标准数据格式返回。

作为本发明的进一步改进，所述流程a1中，数据标签管理包括对事件先进行实例化，为其打上标签后，针对标签的属性进行数据的创建保存。

作为本发明的进一步改进，系统应用接口服务与地理空间信息数据对接，所述流程a1中，数据标签管理包括按需与相应空间数据的标签进行关系的选择。

本发明的有益效果是：对知识的结构化表示，对数据，业务数据、事件的抽像化存储，具备相应领域下的数据分析能力，采用图谱形式对事件进行描述以及时空域上的逻辑关系梳理。将事件的知识组织体系，更加灵活应用与生产中对应的领域，并产出实际的效益，将事件为中心进行的知识库研究与空间领域进行了高度的结合，已实现相关基础事件的地理空间位置的展示。

附图说明

图1是本发明基于图谱数据分析在事件溯源上的应用系统的系统结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

如图1所示，本发明的一种基于图谱数据分析在事件溯源上的应用系统，其特征在于，系统结构层从下至上包括：

系统结构层的关系从下至上，以图数据存储层（Nebula Graph）作为最底层的抽像化数据存储的支撑，其具备集群化部署能力。而存储介质的直接对接层是针对其API研发的接口服务层，单独架建接口服务层，为未来开放性平台的实现做好预留性。然后在图数据接口服务的基础上构建系统应用接口服务，针对图数据接口的功能针对实际需求等实现数据的交互。数据可视化编辑层是一种Web的业务操作系统，比如实体数据的模型化创建，图谱事件的注册，图谱事件的链路式展示，除此外，其它功能主要满足数据的编辑为主。数据可视化编辑总体分为，数据标签管理，数据实例创建，表现的业务逻辑可以描述为：知识图谱或者事件先进行实例化，为其打上标签，而后针对标签的属性进行数据的创建保存。

本发明技术方案主要包括了图数据的研究及应用，数据存储接口服务的设计与实现，不同事件或者知识领域下的应用系统设计与实现。

对于图数据的研究及应用，采用Nebula Graph作为数据的存储介质，其特点主要是一款开源的、分布式的、易扩展的原生图数据库，按其开发手册描述，以及对应的应用环境，能较快速实现相应的应用部署等。

对于数据存储接口服务的设计与实现，结合图数据存储本身的特点，对相应领域需求统筹开发接口服务，包括基本的标签，边，节点的创建，数据的模糊检索等功能，按标准规范实现业务逻辑的对应功能。

标签、边、节点的概念来自Nebula Graph库的定义。可以按照其指定约定的语法规范实现。例如：通过Create Tag语句实现标签的创建、Match关键字实现模糊检索等功能。接口服务实现步骤，首先是去创建Nebula的连接，然后执行相应的语句，将返回的数据按标准格式返回。

由于接口服务主要对接Nebula Graph的API进行研发，考虑到系统的部署平台集成性等方面的原因，采用Python语言来实现服务的实现。服务架构层面，除集成网络请求等组件外，在服务部署方面，采用Docker集群负载的方式，应对服务高可用的需求。

对于应用系统设计与实现，对不同领域下的需求做统筹分析设计，抽象化实现事物的实例化配置管理，满足个性化业务的可扩展整合能力。

应用系统主要是实现业务场景或者个性的需求，系统在设计层面主要考虑到系统功能的可扩展性。采用主流的Java技术，引用Spring集成化框架下进行系统的功能设计及开发。应用系统除实现本身应用的接口，还实现了与业务对接方个性化需求，比如实例数据模型的创建服务等。业务数据存储采用关系型数据库PostgreSQL。前端操作页面引用主流的Vue框架，满足用户的体验感。

基于本发明的系统，还提供一种基于图谱数据分析在事件溯源上的应用方法，包括以下流程：

事件创建存储流程：

事件溯源展示流程：

其中，图数据存储库为Nebula Graph数据库，流程a3中图数据接口服务通过Create Tag语句进行节点、边、标签在Nebula Graph数据库上的连接创建，流程b3中图数据接口服务通过Match关键字进行在Nebula Graph数据库上的模糊检索，图数据接口服务执行相应的语句，将返回的数据按标准数据格式返回。

流程a1中，数据标签管理包括对事件先进行实例化，为其打上标签后，针对标签的属性进行数据的创建保存。

系统应用接口服务与地理空间信息数据对接，流程a1中，数据标签管理包括按需与相应空间数据的标签进行关系的选择。

本发明对知识结构化分析，抽像化分解存储，可以从不同节点检索事件链路的关系。图谱数据在实际生产应用中，与业务系统的对接具备灵活，松耦合，可配置性等特点。对特定领域上实现事物的基础描述，链路间的关系，同时对实体在时空域上的逻辑关系，地理位置上的分布等具有一定的展示能力。

首先本发明在架构层具备与地理空间信息数据对接的能力，通过API接口对接的方式，如地区性图层数据的链接，可及时同步数据并存储。地理空间信息系统体现的是业主方业务层的需求，针对其个性化等特点。在架构的系统应用接口服务层可进行按需扩展服务。在服务功能扩展步骤上，首先系统应用层首先调用图数据接口层返回标准数据，然后按需处理数据，并将接口开放成可对接API供其它对接方使用。

针对特定的事物进行标签化管理的同时，除事物本身的关系创建，比如某个节点的承接单位，处理结果如何等，同时按需与相应空间数据的标签进行关系的选择，实现标签与标签间关系的存储。

当对标签的知识数据创建、事件的发生、进展进行记录（其方式包括应用接口服务层API对接的方式，或者可视化数据编辑页面录入）后。本系统可以在标签关系的基础上，将事物间的联系自动维持起来。最终在大数据搜索展示时，按事物本身的形态，按需展示，包括地理空间信息等。

以疫情检测点数据在空间位置上的查看为例，本系统的实现过程为：

（1）约定并通过系统操作页面创建检测点图层的标签，以及标签的属性，例如图层服务调用地址，操作人员，部门等属性。创建成功的同时，图数据接口也就同时具备对检测点图层的编辑能力。

（2）业务人员实现了地理信息数据的发布后，业务系统将服务访问地址存入图数据库，即调用图数据接口服务的API。

（3）根据需求方的需求，比如关注某个区域，某个时间段的数据在App端地图上的展示。系统应用层便可以针对此需求方独立实现并发布服务，供App调用方实现功能。

（4）当然还可以根据图层标签的其它属性，进行其它维度的功能应用。或者将来的不久，图层标签与其它事件标签具备关联性。也就具备了更多的角度检索的能力。

本专利是基于知识图谱理论，将概念与事物实体具体化应用。如事件本身就包含着一种信息，可以定义某个特定的时间以及特定的发生地点时间等，或者更多由哪些角色参与的一件及一组事件，即事件图谱可视化的应用系统。本系统在对事件的描述，事件的演变过程以及事件与事件间的关联关系实现了准确性的应用，以及事件之间的时序、因果、顺承、包含等关系。同时本应用具备与空间地理信息系统间的数据互通性，可准确定位事件的发生地点等特点。

要实现对事件溯源，首先要具备对事件的可视化的操作功能，还要具备对事件与事件间及其属性间的关联存储性。本系统选择了Nebula Graph作为基础数据的存储介质，其本身是一个可靠的分布式、线性扩容、性能高效的图数据库。相较其他图数据库，NebulaGraph 能处理的数据量为它们的两倍甚至是更多，而且在数据容纳层面可以满足当前大数据的场景，并提供毫秒级查询延时的图数据库解决方案，在可扩展性、数据恢复能力，能确保高可用。

本系统知识及事件图谱在网络拓扑上的实现，主要采用 vis-network 组件，其本身与当前流行的前端主流技术具备集成性。他是vis.js可视化库中的一个组件。支持自定义形状、样式、颜色、大小、图像等。而且在主流的浏览器上流畅展示相对比较多的节点及节点间的关系，在展示效果上有一定的优势。

目前与本案例相近的系统，其主要对知识自定义抽像化的设计，及对数据的录入编辑等功能。本案例除了对图谱数据的自定义，图谱以拓扑形式展示外，还具备与相应的领域系统数据的互通性，在数据应用接口服务层面实现了一定的可扩展性。

本发明系统对于图谱数据库开发了相应的编辑操作等功能接口，在数据编辑，批量导入管理操作层面作了一定的优化，比起其它应用系统更加人性化。系统在实际部署中，在对不同业务领域下，对应的图谱知识或者事件按级别等分门别类挂载。而且所有知识或者特定的事件，可以按需选择某个节点及关键字检索，图形化展示数据的关联信息，达到数据影响分析的效果。本系统在与领域业务系统集成层面，具备一定的松藕合性，采用了统一配置化管理的方式，而且不会因为某个节点的数据同步等问题而导致系统的正常应用。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种基于图谱数据分析在事件溯源上的应用系统，其特征在于，系统结构层从下至上包括：

2.根据权利要求1所述基于图谱数据分析在事件溯源上的应用系统，其特征在于，所述图数据接口服务层中，接口服务的创建包括基本的标签、边、节点、数据模糊检索的创建。

3.根据权利要求2所述基于图谱数据分析在事件溯源上的应用系统，其特征在于，所述图数据存储层为Nebula Graph原生图数据库，所述图数据接口服务层通过Create Tag语句进行标签、边、节点的创建，通过Match关键字进行数据模糊检索的创建。

4.根据权利要求1所述基于图谱数据分析在事件溯源上的应用系统，其特征在于，所述图数据接口服务层采用Python语言进行数据服务的实现，服务架构层面集成网络请求组件，服务部署方面，采用Docker集群负载。

5.一种基于图谱数据分析在事件溯源上的应用方法，其特征在于，包括以下流程：

事件创建存储流程：

事件溯源展示流程：

6.根据权利要求5所述基于图谱数据分析在事件溯源上的应用方法，其特征在于，所述图数据存储库为Nebula Graph数据库，流程a3中图数据接口服务通过Create Tag语句进行节点、边、标签在Nebula Graph数据库上的连接创建，流程b3中图数据接口服务通过Match关键字进行在Nebula Graph数据库上的模糊检索，图数据接口服务执行相应的语句，将返回的数据按标准数据格式返回。

7.根据权利要求5所述基于图谱数据分析在事件溯源上的应用方法，其特征在于，所述流程a1中，数据标签管理包括对事件先进行实例化，为其打上标签后，针对标签的属性进行数据的创建保存。

8.根据权利要求5所述基于图谱数据分析在事件溯源上的应用方法，其特征在于，系统应用接口服务与地理空间信息数据对接，所述流程a1中，数据标签管理包括按需与相应空间数据的标签进行关系的选择。