CN109815230A - 一种基于知识图谱的全业务数据中心数据审计方法 - Google Patents

Abstract

本申请提出了一种基于知识图谱的全业务数据中心数据审计方法，包括对全业务统一数据中心的表结构以及数据结构进行梳理操作，对全业务统一数据中心中结构完全一致的表进行处理，根据表中的结构名称形成对应关系；根据已形成的对应关系，建立图数据库物理结构，将对应关系导入图数据库形成数据存储结构；构建针对图谱的对比模型，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别；以图数据库数据存储结构为依托，在数据图谱上对于异常的数据实体和关系进行标识。通过对匹配方法的应用，来达到源业务系统数据图谱与MPP层数据图谱的匹配融合，最终实现数据一致性、完整性的审计验证。

Description

一种基于知识图谱的全业务数据中心数据审计方法

技术领域

本申请属于数据处理领域，尤其涉及一种基于知识图谱的全业务数据中心数据审计方法。

背景技术

随着公司信息化建设和应用不断深入，信息系统所产生的数据已成为公司重要资产，公司经营管理和业务模式创新对数据资源深度应用也提出了新的要求，因此如何解决“对各业务系统产生的数据进行统一的管理和应用、消除数据重复存储、提高数据质量”等问题。

国网信通部组织开展了“全业务统一数据中心”总体设计工作，于2016年4月完成了全业务统一数据中心总体建设方案，并通过国网公司网络安全与信息化领导小组会审议，之后全面开展相关设计和建设工作。2016年12月完成设计细化及三家试点单位分析域建设。于2018年初初步建成全业务统一数据中心分析域，实现了数业务全量数据接入、清洗转换和统一分析服务实施场景建设工作，但是随着大批量数据的接入，数据质量的保证是当前所面临的严峻考验。

现有的数据对比工具对于数据量较大的表存在数据获取时间长，对比时间长等问题，且无法验证源端业务系统和MPP层数据一致性。

发明内容

为了解决现有技术中存在的缺点和不足，本申请提出了一种基于知识图谱的全业务数据中心数据审计方法，所述数据审计方法，包括：

对全业务统一数据中心的表结构以及数据结构进行梳理操作，对全业务统一数据中心中结构完全一致的表进行处理，根据表中的结构名称形成对应关系；

根据已形成的对应关系，建立图数据库物理结构，将对应关系导入图数据库形成数据存储结构；

构建针对图谱的对比模型，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别；

以图数据库数据存储结构为依托，在数据图谱上对于异常的数据实体和关系进行标识。

可选的，所述对全业务统一数据中心的表结构以及数据结构进行梳理操作，对全业务统一数据中心中结构完全一致的表进行处理，根据表中的结构名称形成对应关系，包括：

梳理全业务统一数据中心MPP层模型表结构及数据结构，梳理对应的源业务系统表结构及数据；

梳理全业务统一数据中心MPP层模型表结构与对应源业务系统表结构完全一致的表形成对应关系。

可选的，所述构建针对图谱的对比模型，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别，包括：

应用机器学习技术，实现图谱中各数据实体的特征向量，构建两图谱之间的对比模型，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别。

可选的，所述以图数据库数据存储结构为依托，在数据图谱上对于异常的数据实体和关系进行标识，包括：

以图数据库数据存储结构为依托，在数据图谱上直观的对于异常的数据实体和关系进行不同颜色的标识；

在根据图谱中的业务实体层级和关联关系，动态进行异常业务实体信息的关联查看及异常明细数据的钻取查看，以可视化的方式动态、便捷、直观的实现对异常数据的展现查看。

本申请提供的技术方案带来的有益效果是：

通过对匹配方法的应用，来达到源业务系统数据图谱与MPP层数据图谱的匹配融合，最终实现数据一致性、完整性的审计验证。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提出了一种基于知识图谱的全业务数据中心数据审计方法的流程示意图。

具体实施方式

为使本申请的结构和优点更加清楚，下面将结合附图对本申请的结构作进一步地描述。

实施例一

本申请提出了一种基于知识图谱的全业务数据中心数据审计方法，如图1所示，所述数据审计方法，包括：

11、对全业务统一数据中心的表结构以及数据结构进行梳理操作，对全业务统一数据中心中结构完全一致的表进行处理，根据表中的结构名称形成对应关系；

12、根据已形成的对应关系，建立图数据库物理结构，将对应关系导入图数据库形成数据存储结构；

13、构建针对图谱的对比模型，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别；

14、以图数据库数据存储结构为依托，在数据图谱上对于异常的数据实体和关系进行标识。

在实施中，本申请目的是基于全业务统一数据中心MPP层和源端业务系统的表结构及数据，利用知识图谱、大数据特点构建源端数据模型和MPP层数据模型，通过数据关系和业务关系的展现实现数据一致性和表结构一致性的核查，把结果可视化展示出来。

步骤11具体包括：

111、梳理全业务统一数据中心MPP层模型表结构及数据结构，梳理对应的源业务系统表结构及数据；

112、梳理全业务统一数据中心MPP层模型表结构与对应源业务系统表结构完全一致的表形成对应关系。

步骤13具体包括：

应用机器学习技术，实现图谱中各数据实体的特征向量，构建两图谱之间的对比模型，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别。

步骤14包括：

以图数据库数据存储结构为依托，在数据图谱上直观的对于异常的数据实体和关系进行不同颜色的标识；

在根据图谱中的业务实体层级和关联关系，动态进行异常业务实体信息的关联查看及异常明细数据的钻取查看，以可视化的方式动态、便捷、直观的实现对异常数据的展现查看。

本申请提出了一种基于知识图谱的全业务数据中心数据审计方法包含以下功能点：

数据模型梳理：梳理表结构及数据结构，包含源业务系统、MPP层数据库表结构及数据结构；

数据关系识别：由于MPP层是按照SG-CIM模型创建的数据表，与源业务系统的表有部分出入，因此需要梳理表关系，梳理主键关系等；

模型图谱构建：识别清楚源端与MPP层表关系及数据关系后，利用图数据库实现完成数据导入，生成相关的数据图谱；

数据核查校验：基于构建的数据图谱，应用机器学习技术，实现图谱中各数据实体的特征向量，构建两图谱之间的对比模型，实现数据一致性对比；

结果可视化展示：以图数据库数据存储结构为依托，在数据图谱上直观的对于异常的数据和关系进行不同颜色的标识，便于直观、便捷的查看到具体的异常点。

通过应用机器学习技术，实现图谱中各数据实体的特征向量，构建两图谱之间的对比模型，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别方法。通过对匹配方法的应用，来达到源业务系统数据图谱与MPP层数据图谱的匹配融合，最终实现数据一致性、完整性的审计验证。放弃了原始对比工具利用常规数据库进行数据对比的方式，改用知识图谱技术，利用图数据库生成数据图普，完成数据融合匹配；本申请利用机器学习技术，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别方法，对比过程更快，结果更准确。

上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。

以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (4)

1.一种基于知识图谱的全业务数据中心数据审计方法，其特征在于，所述数据审计方法，包括：

对全业务统一数据中心的表结构以及数据结构进行梳理操作，对全业务统一数据中心中结构完全一致的表进行处理，根据表中的结构名称形成对应关系；

根据已形成的对应关系，建立图数据库物理结构，将对应关系导入图数据库形成数据存储结构；

构建针对图谱的对比模型，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别；

以图数据库数据存储结构为依托，在数据图谱上对于异常的数据实体和关系进行标识。

2.根据权利要求1所述的基于知识图谱的全业务数据中心数据审计方法，其特征在于，所述对全业务统一数据中心的表结构以及数据结构进行梳理操作，对全业务统一数据中心中结构完全一致的表进行处理，根据表中的结构名称形成对应关系，包括：

梳理全业务统一数据中心MPP层模型表结构及数据结构，梳理对应的源业务系统表结构及数据；

梳理全业务统一数据中心MPP层模型表结构与对应源业务系统表结构完全一致的表形成对应关系。

3.根据权利要求1所述的基于知识图谱的全业务数据中心数据审计方法，其特征在于，所述构建针对图谱的对比模型，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别，包括：

应用机器学习技术，实现图谱中各数据实体的特征向量，构建两图谱之间的对比模型，实现源业务系统和MPP层数据实体及相邻数据实体特征向量的对比识别。

4.根据权利要求1所述的基于知识图谱的全业务数据中心数据审计方法，其特征在于，所述以图数据库数据存储结构为依托，在数据图谱上对于异常的数据实体和关系进行标识，包括：

以图数据库数据存储结构为依托，在数据图谱上直观的对于异常的数据实体和关系进行不同颜色的标识；

在根据图谱中的业务实体层级和关联关系，动态进行异常业务实体信息的关联查看及异常明细数据的钻取查看，以可视化的方式动态、便捷、直观的实现对异常数据的展现查看。