CN112131273A - 一种基于Mysql数据库日志的数据关系挖掘方法及装置 - Google Patents

一种基于Mysql数据库日志的数据关系挖掘方法及装置 Download PDF

Info

Publication number
CN112131273A
CN112131273A CN202011006035.8A CN202011006035A CN112131273A CN 112131273 A CN112131273 A CN 112131273A CN 202011006035 A CN202011006035 A CN 202011006035A CN 112131273 A CN112131273 A CN 112131273A
Authority
CN
China
Prior art keywords
data
relationship
mysql database
map
knowledge network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011006035.8A
Other languages
English (en)
Inventor
宋航成
季帮国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Digital Cloud Information Technology Co ltd
Original Assignee
Nanjing Digital Cloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Digital Cloud Information Technology Co ltd filed Critical Nanjing Digital Cloud Information Technology Co ltd
Priority to CN202011006035.8A priority Critical patent/CN112131273A/zh
Publication of CN112131273A publication Critical patent/CN112131273A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于Mysql数据库日志的数据关系挖掘方法及装置，包括以下步骤：获取并存储Mysql数据库的关系型数据；根据所述关系型数据，获取并缓存数据操作日志；读取所述数据操作日志，构建数据知识网络图谱；根据数据知识网络图谱，建立数据主题图谱；显示数据主题图谱，挖掘数据关系。本发明，通过分析Mysql数据的操作日志，以人工智能方式建立学习模型，通过信息化系统的日常操作，自动分析数据关系，挖掘数据价值；从一定程度上解放了人工分析带来的不确定性，降低了资源成本。另外，对于业务人员是无感的、透明化的；经过机器学习自动分析，能够为业务人员清晰的分析数据主体的关系，帮助业务人员能够快速构建数据知识图谱。

Description

一种基于Mysql数据库日志的数据关系挖掘方法及装置
技术领域
本发明涉及数据关系挖掘技术领域，具体为一种基于Mysql数据库日志的数据关系挖掘方法及装置。
背景技术
经过几十年信息化建设，各行各业都积累了大量的数据基础。随着大数据和人工智能的崛起，越来越多的企业开始注重数据价值。然而，现实状况是数据价值如何挖掘是一个难题。特别是在自动化数据关系发现，数据质量评估方面目前往往依托于人工干预方式实现，这就造成了大量的人工成本，而且严重依赖于人员的基本技能素养。
为此，提出一种基于Mysql数据库日志的数据关系挖掘方法及装置。
发明内容
本发明的目的在于提供一种基于Mysql数据库日志的数据关系挖掘方法及装置，通过分析Mysql数据的操作日志，以人工智能方式建立学习模型，通过信息化系统的日常操作，自动分析数据关系，挖掘数据价值；从一定程度上解放了人工分析带来的不确定性，降低了资源成本。另外，对于业务人员是无感的、透明化的；经过机器学习自动分析，能够为业务人员清晰的分析数据主体的关系，帮助业务人员能够快速构建数据知识图谱，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于Mysql数据库日志的数据关系挖掘方法，包括以下步骤：获取并存储Mysql数据库的关系型数据；根据所述关系型数据，获取并缓存数据操作日志；读取所述数据操作日志，构建数据知识网络图谱；根据数据知识网络图谱，建立数据主题图谱；显示数据主题图谱，挖掘数据关系。
优选地，所述构建数据知识网络图谱，具体为：配置SQL规则表达式，按照SQL规则表达式分析数据操作日志，根据SQL执行过程，分析数据表，提取表和字段，通过表和字段的SQL执行逻辑关系构建数据知识网络图谱。
优选地，所述通过表和字段的SQL执行逻辑关系构建数据知识网络图谱，具体为：根据Mysql运行日志的select、update和delete操作语句识别频繁使用的表、字段，并根据关联查询的语法规则，寻找表与表之间、字段与字段之间的关联关系，从而构建数据知识网络图谱。
优选地，所述建立数据主题图谱，具体为：根据数据知识网络图谱形成数据的血缘和关联模型，按照数据关联和血缘关系，形成不同主题的数据分类，进而建立数据主题图谱。
优选地，在所述建立数据主题图谱之前，根据数据的血缘和关联模型，对数据进行价值评估，通过可视化方式展示哪些数据是核心数据，哪些数据是关联数据，哪些数据应用频次高等，从而提升数据价值评估的成效。
本发明还公开一种基于Mysql数据库日志的数据关系挖掘装置，包括：
Mysql数据库集群模块，用以获取并存储Mysql数据库的关系型数据；Mysql数据库日志缓存模块，用以根据所述关系型数据，获取并缓存数据操作日志；数据库表结构分析模块，用以读取所述数据操作日志，构建数据知识网络图谱；数据关联和血缘分析模块，用以根据数据知识网络图谱，建立数据主题图谱；数据关系显示模块，用以显示数据主题图谱，挖掘数据关系。
优选地，还包括配置模块，所述配置模块与数据库表结构分析模块信息关联，且配置模块用以配置SQL规则表达式。
优选地，所述数据库表结构分析模块按照SQL规则表达式分析数据操作日志，根据SQL执行过程，分析数据表，提取表和字段，通过表和字段的SQL执行逻辑关系构建数据知识网络图谱。
优选地，所述数据关联和血缘分析模块根据数据知识网络图谱形成数据的血缘和关联模型，按照数据关联和血缘关系，形成不同主题的数据分类，进而建立数据主题图谱。
优选地，还包括价值评估模块，用于在显示数据主题图谱之前，根据数据的血缘和关联模型，对数据进行价值评估，通过可视化方式展示哪些数据是核心数据，哪些数据是关联数据，哪些数据应用频次高等，从而提升数据价值评估的成效。
与现有技术相比，本发明的有益效果是：
1、与现在人工结合系统方式相比，能够有效降低成本，而且增加数据主体关系分析的客观性和正确性。
2、对业务人员无感。业务人员无需知道技术底层细节，在日常操作信息化系统的过程中，后台系统自动分析其Mysql数据库日志，逆向推导数据主体关系。
附图说明
图1为本发明的数据关系挖掘方法的流程图；
图2为本发明的数据关系挖掘装置的模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1与图2，本发明提供一种技术方案：
一种基于Mysql数据库日志的数据关系挖掘方法，如图1所示，包括以下步骤：
S1：获取并存储Mysql数据库的关系型数据。
S2：根据关系型数据，获取并缓存数据操作日志。其中，需要确保数据源Mysql打开数据日志功能
S3：读取数据操作日志，构建数据知识网络图谱。
具体地，配置SQL规则表达式，按照SQL规则表达式分析数据操作日志，根据SQL执行过程，分析数据表，提取表和字段。通过表和字段的SQL执行逻辑关系构建数据知识网络图谱。
其中，构建数据知识网络图谱过程中，根据Mysql运行日志的select、update和delete操作语句识别频繁使用的表、字段，并根据关联查询的语法规则，寻找表与表之间、字段与字段之间的关联关系，从而构建数据知识网络图谱。业务人员可以直观的查看数据知识网络，对于需要调整的数据关系可以手工调整。
S4：根据数据知识网络图谱，建立数据主题图谱。
具体地，根据数据知识网络图谱形成数据的血缘和关联模型，按照数据关联和血缘关系，形成不同主题的数据分类，进而建立数据主题图谱。
S5：显示数据主题图谱，挖掘数据关系。
通过分析Mysql数据的操作日志，以人工智能方式建立学习模型，通过信息化系统的日常操作，自动分析数据关系，挖掘数据价值；从一定程度上解放了人工分析带来的不确定性，降低了资源成本。另外，对于业务人员是无感的、透明化的；经过机器学习自动分析，能够为业务人员清晰的分析数据主体的关系，帮助业务人员能够快速构建数据知识图谱。
可选的，在建立数据主题图谱之前，根据数据的血缘和关联模型，对数据进行价值评估，通过可视化方式展示哪些数据是核心数据，哪些数据是关联数据，哪些数据应用频次高等，从而提升数据价值评估的成效。
如图2所示，本发明还公开了一种基于Mysql数据库日志的数据关系挖掘装置，包括：
Mysql数据库集群模块110，用以获取并存储Mysql数据库的关系型数据。
Mysql数据库日志缓存模块120，用以根据关系型数据，获取并缓存数据操作日志。
配置模块130，配置模块130与数据库表结构分析模块140信息关联，且配置模块130用以配置SQL规则表达式，不同的业务领域可根据需求配置相应的SQL规则表达式。
数据库表结构分析模块140，用以读取数据操作日志，构建数据知识网络图谱。具体地，数据库表结构分析模块140按照SQL规则表达式分析数据操作日志，根据SQL执行过程，分析数据表，提取表和字段，通过表和字段的SQL执行逻辑关系构建数据知识网络图谱。构建数据知识网络图谱过程中，根据Mysql运行日志的select、update和delete操作语句识别频繁使用的表、字段，并根据关联查询的语法规则，寻找表与表之间、字段与字段之间的关联关系，从而构建数据知识网络图谱。业务人员可以直观的查看数据知识网络，对于需要调整的数据关系可以手工调整。
数据关联和血缘分析模块150，用以根据数据知识网络图谱，建立数据主题图谱。具体地，数据关联和血缘分析模块150根据数据知识网络图谱形成数据的血缘和关联模型，按照数据关联和血缘关系，形成不同主题的数据分类，进而建立数据主题图谱。
价值评估模块160，根据数据的血缘和关联模型，对数据进行价值评估，通过可视化方式展示哪些数据是核心数据，哪些数据是关联数据，哪些数据应用频次高等，从而提升数据价值评估的成效。
数据关系显示模块170，用以显示数据主题图谱，挖掘数据关系。
本发明所公开的基于Mysql数据库日志的数据关系挖掘方法及装置，与现在人工结合系统方式相比，能够有效降低成本，而且增加数据主体关系分析的客观性和正确性。对业务人员无感。业务人员无需知道技术底层细节，在日常操作信息化系统的过程中，后台系统自动分析其Mysql数据库日志，逆向推导数据主体关系
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于Mysql数据库日志的数据关系挖掘方法，其特征在于，包括以下步骤：
S1：获取并存储Mysql数据库的关系型数据；
S2：根据所述关系型数据，获取并缓存数据操作日志；
S3：读取所述数据操作日志，构建数据知识网络图谱；
S4：根据数据知识网络图谱，建立数据主题图谱；
S5：显示数据主题图谱，挖掘数据关系。
2.根据权利要求1所述的一种基于Mysql数据库日志的数据关系挖掘方法，其特征在于：所述构建数据知识网络图谱，具体为：配置SQL规则表达式，按照SQL规则表达式分析数据操作日志，根据SQL执行过程，分析数据表，提取表和字段，通过表和字段的SQL执行逻辑关系构建数据知识网络图谱。
3.根据权利要求2所述的一种基于Mysql数据库日志的数据关系挖掘方法，其特征在于：所述通过表和字段的SQL执行逻辑关系构建数据知识网络图谱，具体为：根据Mysql运行日志的select、update和delete操作语句识别频繁使用的表、字段，并根据关联查询的语法规则，寻找表与表之间、字段与字段之间的关联关系，从而构建数据知识网络图谱。
4.根据权利要求1所述的一种基于Mysql数据库日志的数据关系挖掘方法，其特征在于：所述建立数据主题图谱，具体为：根据数据知识网络图谱形成数据的血缘和关联模型，按照数据关联和血缘关系，形成不同主题的数据分类，进而建立数据主题图谱。
5.根据权利要求4所述的一种基于Mysql数据库日志的数据关系挖掘方法，其特征在于：在所述建立数据主题图谱之前，根据数据的血缘和关联模型，对数据进行价值评估，通过可视化方式展示哪些数据是核心数据，哪些数据是关联数据，哪些数据应用频次高等，从而提升数据价值评估的成效。
6.一种基于Mysql数据库日志的数据关系挖掘装置，其特征在于，包括：
Mysql数据库集群模块，用以获取并存储Mysql数据库的关系型数据；
Mysql数据库日志缓存模块，用以根据所述关系型数据，获取并缓存数据操作日志；
数据库表结构分析模块，用以读取所述数据操作日志，构建数据知识网络图谱；
数据关联和血缘分析模块，用以根据数据知识网络图谱，建立数据主题图谱；
数据关系显示模块，用以显示数据主题图谱，挖掘数据关系。
7.根据权利要求6所述的一种基于Mysql数据库日志的数据关系挖掘装置，其特征在于，还包括配置模块，所述配置模块与数据库表结构分析模块信息关联，且配置模块用以配置SQL规则表达式。
8.根据权利要求7所述的一种基于Mysql数据库日志的数据关系挖掘装置，其特征在于：所述数据库表结构分析模块按照SQL规则表达式分析数据操作日志，根据SQL执行过程，分析数据表，提取表和字段，通过表和字段的SQL执行逻辑关系构建数据知识网络图谱。
9.根据权利要求6所述的一种基于Mysql数据库日志的数据关系挖掘装置，其特征在于：所述数据关联和血缘分析模块根据数据知识网络图谱形成数据的血缘和关联模型，按照数据关联和血缘关系，形成不同主题的数据分类，进而建立数据主题图谱。
10.根据权利要求9所述的一种基于Mysql数据库日志的数据关系挖掘装置，其特征在于，还包括价值评估模块，用于在显示数据主题图谱之前，根据数据的血缘和关联模型，对数据进行价值评估，通过可视化方式展示哪些数据是核心数据，哪些数据是关联数据，哪些数据应用频次高等，从而提升数据价值评估的成效。
CN202011006035.8A 2020-09-23 2020-09-23 一种基于Mysql数据库日志的数据关系挖掘方法及装置 Pending CN112131273A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011006035.8A CN112131273A (zh) 2020-09-23 2020-09-23 一种基于Mysql数据库日志的数据关系挖掘方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011006035.8A CN112131273A (zh) 2020-09-23 2020-09-23 一种基于Mysql数据库日志的数据关系挖掘方法及装置

Publications (1)

Publication Number Publication Date
CN112131273A true CN112131273A (zh) 2020-12-25

Family

ID=73842621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011006035.8A Pending CN112131273A (zh) 2020-09-23 2020-09-23 一种基于Mysql数据库日志的数据关系挖掘方法及装置

Country Status (1)

Country Link
CN (1) CN112131273A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711591A (zh) * 2020-12-31 2021-04-27 天云融创数据科技（北京）有限公司 基于知识图谱的字段级的数据血缘确定方法及装置
CN112749237A (zh) * 2020-12-30 2021-05-04 广州金越软件技术有限公司 一种基于图计算的人员关系构建和分析方法
CN113032579A (zh) * 2021-03-25 2021-06-25 中国建设银行股份有限公司 一种元数据血缘分析方法、装置、电子设备和介质
CN113918733A (zh) * 2021-12-16 2022-01-11 中科雨辰科技有限公司 一种获取目标知识图谱的数据处理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778051A (zh) * 2014-01-09 2014-05-07 安徽理工大学 基于l*算法的业务流程增量挖掘方法
CN109635006A (zh) * 2018-12-17 2019-04-16 山大地纬软件股份有限公司 基于Apriori的社保业务关联规则挖掘和推荐装置及方法
CN110414259A (zh) * 2018-04-28 2019-11-05 阿里巴巴集团控股有限公司 一种构建数据类目、实现数据共享的方法及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778051A (zh) * 2014-01-09 2014-05-07 安徽理工大学 基于l*算法的业务流程增量挖掘方法
CN110414259A (zh) * 2018-04-28 2019-11-05 阿里巴巴集团控股有限公司 一种构建数据类目、实现数据共享的方法及设备
CN109635006A (zh) * 2018-12-17 2019-04-16 山大地纬软件股份有限公司 基于Apriori的社保业务关联规则挖掘和推荐装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高俊涛等: "关系数据库中事件日志的紧邻关系高效挖掘方法", 《计算机集成制造系统》, no. 6, pages 1492 - 1499 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749237A (zh) * 2020-12-30 2021-05-04 广州金越软件技术有限公司 一种基于图计算的人员关系构建和分析方法
CN112711591A (zh) * 2020-12-31 2021-04-27 天云融创数据科技（北京）有限公司 基于知识图谱的字段级的数据血缘确定方法及装置
CN113032579A (zh) * 2021-03-25 2021-06-25 中国建设银行股份有限公司 一种元数据血缘分析方法、装置、电子设备和介质
CN113918733A (zh) * 2021-12-16 2022-01-11 中科雨辰科技有限公司 一种获取目标知识图谱的数据处理系统
CN113918733B (zh) * 2021-12-16 2022-03-04 中科雨辰科技有限公司 一种获取目标知识图谱的数据处理系统

Similar Documents

Publication Publication Date Title
CN112131273A (zh) 一种基于Mysql数据库日志的数据关系挖掘方法及装置
CN108491378B (zh) 电力信息运维智能应答系统
US20090300043A1 (en) Text based schema discovery and information extraction
CN111078897A (zh) 一种生成六维知识图谱的系统
EP3916584A1 (en) Information processing method and apparatus, electronic device and storage medium
CN113191497B (zh) 一种面向变电站踏勘选址的知识图谱构建方法和系统
CN114492831B (zh) 联邦学习模型的生成方法及其装置
CN105574675B (zh) 基于计算规则库的建筑工程规划监督方法和系统
CN112182077B (zh) 一种基于数据中台技术的智能运维系统
CN112883042A (zh) 数据更新及展示方法、装置、电子设备及存储介质
CN111126461B (zh) 基于机器学习模型解释的智慧审计方法
CN108595721A (zh) 一种sql优化系统及自动化sql优化方法
CN111160789A (zh) 智能化全员安全生产责任制管理系统
CN112199488B (zh) 面向电力客服问答的渐增式知识图谱实体抽取方法和系统
CN114297516A (zh) 一种基于知识图谱的事件发现与展现方法及系统
CN112597171A (zh) 表格关系可视化方法、装置、电子设备及存储介质
CN116955445A (zh) 基于信息抽取的投诉事件数据挖掘分析方法及系统
TWI684147B (zh) 雲端自助分析平台與其分析方法
CN112445867A (zh) 一种数据关系智能分析方法和系统
CN106682107B (zh) 数据库表关联关系确定方法及装置
CN110675172A (zh) 一种食品溯源数据挖掘方法及系统
CN115034659A (zh) 一种数据源评估方法、装置、电子设备及存储介质
CN115543976A (zh) 一种大数据处理系统
CN112287116A (zh) 一种基于知识图谱的院校数据分析方法
CN111625616A (zh) 一种能够海量存储的企业级的数据管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination