CN113138973B - 数据管理系统及工作方法 - Google Patents
数据管理系统及工作方法 Download PDFInfo
- Publication number
- CN113138973B CN113138973B CN202110422917.0A CN202110422917A CN113138973B CN 113138973 B CN113138973 B CN 113138973B CN 202110422917 A CN202110422917 A CN 202110422917A CN 113138973 B CN113138973 B CN 113138973B
- Authority
- CN
- China
- Prior art keywords
- metadata
- data
- information
- database table
- service data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013523 data management Methods 0.000 title claims abstract description 58
- 230000008859 change Effects 0.000 claims abstract description 219
- 238000004519 manufacturing process Methods 0.000 claims abstract description 138
- 238000003860 storage Methods 0.000 claims abstract description 136
- 239000008280 blood Substances 0.000 claims abstract description 119
- 210000004369 blood Anatomy 0.000 claims abstract description 119
- 238000007726 management method Methods 0.000 claims abstract description 80
- 238000004458 analytical method Methods 0.000 claims abstract description 48
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 38
- 238000011156 evaluation Methods 0.000 claims description 54
- 238000013461 design Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000012800 visualization Methods 0.000 claims description 12
- 238000013070 change management Methods 0.000 claims description 7
- 238000011157 data evaluation Methods 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000011017 operating method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及移动互联技术领域，提供了一种数据管理系统及工作方法，包括：数据采集模块，采集元数据信息和作业运行数据；采集生产数据库表的变更信息；元数据管理模块，接收元数据信息，根据元数据信息设计元数据库表，发布至存储模块；得到元数据变更信息，发送至存储模块；存储模块，按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；数据血缘管理模块，根据作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。通过统一的元数据管理，数据血缘分析，能够快速、准确对库表变更影响进行评估。
Description
技术领域
本发明涉及移动互联技术领域，尤其涉及一种数据管理系统及工作方法。
背景技术
银行系统执行作业时，需要调用各种各样的数据库表，不同的数据库表之间可能存在关联，当数据库表发生变更时，会影响作业过程中上下游的其他库表，因此需要及时评估变更带来的影响。目前的库表变更影响评估方式中，一般采用纯手工或半自动化的方式，在半自动化的测试方式中，是通过搭建与生产系统相同的操作系统和数据库软件的测试环境，并保证测试环境与生产系统的数据库中元数据与库表变更相关的SQL信息完全一致，通过在测试环境的数据库中，模拟生产系统数据库将要进行的变更，对比变更前后作业执行情况，获取访问受影响的SQL语句。
但上述测试方式的资源成本较高，且人力投入大，评估周期较长，变更影响评估的工作效率较低。
发明内容
本发明实施例提供一种数据管理系统，用以降低库表变更影响评估所投入的人力和资源成本，提高评估效率，该数据管理系统包括：
数据采集模块，用于采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集所述生产数据库表的变更信息；
元数据管理模块，用于接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据所述元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；
存储模块，用于按照所述元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；
数据血缘管理模块，用于根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息；
其中，所述数据采集模块，包括：
元数据信息采集单元，用于获取银行系统中的多个生产数据库表，采集多个生产数据库表中业务数据的元数据信息；
作业运行情况采集单元，用于获取银行系统内的业务作业数据，根据业务作业数据，分析作业对生产数据库表的字段调用关系，得到业务数据对应的作业运行数据；
数据变更监控单元，用于监控所述生产数据库表，得到所述生产数据库表的变更信息；
其中，业务作业数据中包含业务作业的处理逻辑和库表调用关系。
本发明具体实施例中，所述元数据管理模块，包括：
元数据设计发布单元，用于根据多个生产数据库表中业务数据的元数据信息，设计元数据库表中字段长度和字段类型，得到元数据库表，将所述元数据库表发布至存储模块；
元数据变更管理单元，用于接收数据采集模块发送的生产数据库表的变更信息，根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；
元数据查询单元，用于生成元数据的数据目录，根据所述数据目录对元数据进行检索，根据检索结果向存储模块调用对应的元数据。
本发明具体实施例中，所述数据血缘管理模块，包括：
血缘分析单元，用于根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；
上下游影响分析单元，用于根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。
本发明一具体实施例还提供一种数据管理系统，还包括：
数据权限管理模块，用于设置业务数据的数据权限；将所述业务数据的数据权限发送给存储模块；查询作业对应的业务数据的数据权限，根据作业对应的业务数据的数据权限，鉴别作业是否有权限调用对应的业务数据；
所述数据权限用于表征业务数据被作业调用的权限。
本发明另一具体实施例中，所述数据采集模块还用于采集业务数据的热度信息；相应地，另一具体实施例中的数据管理系统，还包括：
数据智能调度模块，用于根据所述业务数据的热度信息，对业务数据的热度进行评估，根据评估结果对业务数据进行备份、调整业务数据的存储位置。
具体实施时，所述数据智能调度模块，包括：
数据评估单元，用于根据所述业务数据的热度信息，对业务数据的热度进行评估，得到热度评估结果和存储成本评估结果；
数据备份单元，用于根据存储成本评估结果和热度评估结果，对业务数据进行备份；
数据缓存单元，用于根据热度评估结果，将属于热数据的业务数据存储在redis缓存中。
本发明又一具体实施例中提供的数据管理系统，还包括：
可视化模块，用于将库表变更所影响的上下游信息，以可视化的方式展示给用户。
本发明实施例还提供一种数据管理系统的工作方法，用以降低库表变更影响评估所投入的人力和资源成本，提高评估效率，该工作方法包括：
数据采集模块采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集所述生产数据库表的变更信息；
元数据管理模块接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据所述元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；
存储模块按照所述元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；
数据血缘管理模块根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息；
其中，数据采集模块采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集所述生产数据库表的变更信息，包括：
元数据信息采集单元获取银行系统中的多个生产数据库表，采集多个生产数据库表中业务数据的元数据信息；
作业运行情况采集单元获取银行系统内的业务作业数据，根据业务作业数据，分析作业对生产数据库表的字段调用关系，得到业务数据对应的作业运行数据；
数据变更监控单元监控所述生产数据库表，得到所述生产数据库表的变更信息；
其中，业务作业数据中包含业务作业的处理逻辑和库表调用关系。
具体实施例中，元数据管理模块接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据所述元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块，包括：
元数据设计发布单元根据多个生产数据库表中业务数据的元数据信息，设计元数据库表中字段长度和字段类型，得到元数据库表，将所述元数据库表发布至存储模块；
元数据变更管理单元接收数据采集模块发送的生产数据库表的变更信息，根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；
元数据查询单元生成元数据的数据目录，根据所述数据目录对元数据进行检索，根据检索结果向存储模块调用对应的元数据。
具体实施例中，数据血缘管理模块根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息，包括：
血缘分析单元根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；
上下游影响分析单元根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。
本发明一具体实施例还提供一种数据管理系统的工作方法，还包括：
数据权限管理模块设置业务数据的数据权限；将所述业务数据的数据权限发送给存储模块；查询作业对应的业务数据的数据权限，根据作业对应的业务数据的数据权限，鉴别作业是否有权限调用对应的业务数据；
所述数据权限用于表征业务数据被作业调用的权限。
本发明另一具体实施例还提供一种数据管理系统的工作方法，还包括：
数据采集模块采集业务数据的热度信息；
数据智能调度模块根据所述业务数据的热度信息，对业务数据的热度进行评估，根据评估结果对业务数据进行备份、调整业务数据的存储位置。
具体实施时，数据智能调度模块根据所述业务数据的热度信息，对业务数据的热度进行评估，根据评估结果对业务数据进行备份、调整业务数据的存储位置，包括：
数据评估单元根据所述业务数据的热度信息，对业务数据的热度进行评估，得到热度评估结果和存储成本评估结果；
数据备份单元根据存储成本评估结果和热度评估结果，对业务数据进行备份；
数据缓存单元根据热度评估结果，将属于热数据的业务数据存储在redis缓存中。
本发明又一具体实施例还提供一种数据管理系统的工作方法，还包括：
可视化模块将库表变更所影响的上下游信息，以可视化的方式展示给用户。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据管理系统的工作方法。
本发明实施例也提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据管理系统的工作方法的计算机程序。
本发明实施例中，通过设置数据采集模块，采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集生产数据库表的变更信息；设置元数据管理模块，接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；设置存储模块，按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；设置数据血缘管理模块，根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。通过对业务数据进行统一的元数据管理，并进行数据血缘分析，当库表变更时，采集生产数据库表的变更信息，得到元数据变更信息，结合元数据的血缘链路能够快速、准确对库表变更影响进行评估，降低库表变更影响评估所投入的人力和资源成本，提高评估效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中数据管理系统的结构示意图。
图2为本发明具体实施例中数据采集模块101的结构示意图。
图3为本发明具体实施例中元数据管理模块102的结构示意图。
图4为本发明具体实施例中数据血缘管理模块104的结构示意图。
图5为本发明一具体实施例中数据管理系统的结构示意图。
图6为本发明又一具体实施例中数据智能调度模块的结构示意图。
图7为本发明另一具体实施例中数据管理系统的结构示意图。
图8为本发明一具体应用实施中大数据云数据血缘管理系统的逻辑架构图示意图。
图9为本发明一具体应用实施中统一元数据管理逻辑示意图。
图10为本发明一具体应用实施中大数据云数据血缘管理系统的物理部署方式示意图。
图11为本发明一具体应用实施中大数据云数据血缘管理系统的血缘展示部分展示的可视化窗口示意图。
图12为本发明实施例中数据管理系统的工作方法的示意图。
图13为本发明具体实施例中步骤1201的实现方法示意图。
图14为本发明具体实施例中步骤1202的实现方法示意图。
图15为本发明具体实施例中步骤1204的实现方法示意图。
图16为本发明一具体实施例中数据管理系统的工作方法的实现方法示意图。
图17为又一具体实施例中数据智能调度模块的工作过程示意图。
图18为本发明另一具体实施例中数据管理系统的工作方法的示意图。
图19为本发明实施例中用于数据管理的电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于现有的库表变更影响评估所投入的人力和资源成本较高，且评估效率不高，本发明实施例提供了一种数据管理系统，用以降低库表变更影响评估所投入的人力和资源成本，提高评估效率，如图1所示，该数据管理系统包括：
数据采集模块101，用于采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集生产数据库表的变更信息；
元数据管理模块102，用于接收数据采集模块101发送的多个生产数据库表中业务数据的元数据信息，根据元数据信息设计元数据库表，发布元数据库表至存储模块103；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块103；
存储模块103，用于按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；
数据血缘管理模块104，用于根据业务数据对应的作业运行数据，对存储模块103中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。
本发明实施例中，通过设置数据采集模块101，采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集生产数据库表的变更信息；设置元数据管理模块102，接收数据采集模块101发送的多个生产数据库表中业务数据的元数据信息，根据元数据信息设计元数据库表，发布元数据库表至存储模块103；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块103；设置存储模块103，按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；设置数据血缘管理模块104，根据业务数据对应的作业运行数据，对存储模块103中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。通过对业务数据进行统一的元数据管理，并进行数据血缘分析，当库表变更时，采集生产数据库表的变更信息，得到元数据变更信息，结合元数据的血缘链路能够快速、准确对库表变更影响进行评估，降低库表变更影响评估所投入的人力和资源成本，提高评估效率。
具体实施例中，银行系统中存在多个生产数据库表，当需要进行业务处理时，银行系统会根据业务处理的逻辑，发起相关作业，执行相关作业时，调用生产数据库表中对应的业务数据，从而完成业务处理。
由于元数据是描述数据的数据(data about data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。因此，为了对多个生产数据库表中的业务数据进行统一化管理，获取多个生产数据库表，采集多个生产数据库表中业务数据的元数据信息。
具体实施例中，由于不同的生产数据库表之间存在着关联，库表所属的项目与项目、库表中的字段与字段之间也存在关系，为了确定库表与库表、项目与项目、字段与字段之间的关联关系，设置作业运行情况采集单元，获取银行系统内的业务作业数据，根据业务作业数据，分析作业对生产数据库表的字段调用关系，得到业务数据对应的作业运行数据。业务作业数据中包含业务作业的处理逻辑和库表调用关系，例如调用数据库表A进行相关处理后，得到数据库表B，可见数据库表A和数据库表之间存在着关联。
具体实施时，数据采集模块101的结构，如图2所示，包括：
元数据信息采集单元201，用于获取银行系统中的多个生产数据库表，采集多个生产数据库表中业务数据的元数据信息；
作业运行情况采集单元202，用于获取银行系统内的业务作业数据，根据业务作业数据，分析作业对生产数据库表的字段调用关系，得到业务数据对应的作业运行数据；
数据变更监控单元203，用于监控上述生产数据库表，得到上述生产数据库表的变更信息。
一旦上述生产数据库表发生变动或作业调用库表、字段更改时，数据变更监控单元203监控到上述库表变更情况，得到生产数据库表的变更信息。
本发明具体实施例中，元数据管理模块102的结构，如图3所示，包括：
元数据设计发布单元301，用于根据多个生产数据库表中业务数据的元数据信息，设计元数据库表中字段长度和字段类型，得到元数据库表，将元数据库表发布至存储模块103；
元数据变更管理单元302，用于接收数据采集模块101发送的生产数据库表的变更信息，根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块103；
元数据查询单元303，用于生成元数据的数据目录，根据数据目录对元数据进行检索，根据检索结果向存储模块103调用对应的元数据。
在数据管理系统初始建立时，首先需要为元数据存储设计存储的库表，例如设计库表中每个字段长度和字段类型，将设计好的元数据库表发布到存储模块103，以用来存储元数据信息。
为了确定生产数据库变更带来的影响，需要将生产数据库表的变更信息，转换得到元数据变更情况，并及时存储这种变化，以便于后续进行血缘分析的时候，能够识别到这种变化。
同时，为了便于搜索和查询，元数据查询单元303还生成了数据目录，从而在检索时能够快速、准确地得到需要的元数据。
具体实施例中，存储模块103会根据需要存储的数据的特点和实际的存储需要，选择对应类型的数据库，例如oracle、mpp、hive等类型。将初始的元数据按照元数据库表，存储在上述数据库中。后续只要实时维护，即根据元数据变更管理单元302发送的元数据变更信息，在数据库中同步更新对应的元数据。
具体实施例中，数据血缘管理模块104的结构示意，如图4所示，包括：
血缘分析单元401，用于根据业务数据对应的作业运行数据，对存储模块103中存储的元数据进行血缘分析，确定元数据的血缘链路；
上下游影响分析单元402，用于根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。
数据血缘属于数据治理中的一个概念，是在数据溯源的过程中找到相关数据之间的联系，它是一个逻辑概念。血缘分析是保证数据融合的一个手段，通过血缘分析实现数据融合处理的可追溯。大数据的数据血缘是指数据产生的链路，直白点说，就是我们这个数据是怎么来的，经过了哪些过程和阶段。
本申请具体实施例中，首先根据存储好的元数据，以及蕴含元数据之间关联关系的作业运行数据，进行数据的血缘分析，从而确定元数据的血缘链路。确定好元数据的血缘链路后，当库表发生变更时，只需要根据相应的元数据变更信息，对元数据的血缘链路进行调整之后，就能分析得到库表变更所影响的上下游信息。
本发明一具体实施例中，如图5所示，还提供一种数据管理系统，在图1的基础上，还包括：
数据权限管理模块501，用于设置业务数据的数据权限；将业务数据的数据权限发送给存储模块103；查询作业对应的业务数据的数据权限，根据作业对应的业务数据的数据权限，鉴别作业是否有权限调用对应的业务数据；
其中，数据权限用于表征业务数据被作业调用的权限。
具体地，数据权限一般分为全公开、白名单或黑名单，其中，全公开是指该业务数据对所有的项目、作业任务处于公开状态，都是可用的；设置白名单是指，仅对白名单内的项目、作业任务处于公开，可被调用；设置黑名单是指，仅对黑名单内的项目、作业任务处于不公开，不能被调用。
通过设置业务数据的数据权限，在应用业务数据执行作业任务的时候，能够实现分项目、分任务的数据授权、数据权限更改和数据权限回收等，从而保证某些业务数据被不应授权的作业任务调用。
本发明又一具体实施例中，还提供一种数据管理系统，数据采集模块101还用于采集业务数据的热度信息。其中，热度信息是表征数据的使用频次的高低，使用频率高的数据是热数据，使用频率低的数据是冷数据。
相应地，该数据管理系统的结构，在图1或图5的基础上，还包括：
数据智能调度模块，用于根据业务数据的热度信息，对业务数据的热度进行评估，根据评估结果对业务数据进行备份、调整业务数据的存储位置。
具体实施时，数据智能调度模块的结构如图6所示，包括：
数据评估单元601，用于根据业务数据的热度信息，对业务数据的热度进行评估，得到热度评估结果和存储成本评估结果；
数据备份单元602，用于根据存储成本评估结果和热度评估结果，对业务数据进行备份；
数据缓存单元603，用于根据热度评估结果，将属于热数据的业务数据存储在redis缓存中。
为了减少硬盘的I/O读写频率，减少数据备份的成本，提高读取效率，数据评估单元601首先对业务数据的热度进行评估，并根据实际存储需要，进行备份、内存缓存等，例如对于属于热数据的业务数据，由于使用频率高且重要程度较高，将其备份在硬盘中，并缓存在redis中。
本发明另一具体实施例中，为了便于使用，改善用户体验，还提供一种数据管理系统，如图7所示，在图1的基础上，还包括：
可视化模块701，用于将库表变更所影响的上下游信息，以可视化的方式展示给用户。
下面给出一具体实例说明本发明实施例如何建立上述数据管理系统。
本例为应用上述数据管理系统建立的具体的大数据云数据血缘管理系统，具体的逻辑架构图，如图8所示，包括：
输入接口层，主要用于进行元数据信息采集、数据状态采集、JOB(作业)运行情况采集和数据热度采集的采集输入工作。
统一元数据管理组件，用于提供元数据管理逻辑，进行元数据监控、元数据信息管理、元数据检索以及元数据版本管理。其中，提供的统一元数据管理逻辑，如图9所示，具体包括：
统一元数据管理逻辑：通过界面录入、Excel导入或登记API等方式，导入元数据，对导入的元数据进行贴标签，提供订阅，多版本、多环境的管理，发布元数据库表给存储，监控元数据变化等处理，从而能够提供数据目录生成、元数据检索、反向同步生产库等功能。
具体地，由于具体实施例中，执行作业任务时，可能存在监控到元数据更改的情况，而这时生产数据库中并未改变，该大数据云数据血缘管理系统在更改元数据信息时，还能反向同步生产库，更改对应的业务数据，避免出现数据不一致的情况。
存储逻辑：定时同步元数据至数据库组件中。
数据权限逻辑：不同项目或者作业可对业务数据进行权限申请，申请通过后，可在对应的业务数据上进行数据权限设置，而提供数据授权。相应地，后续若发生更改，操作人员也可重新设置数据权限，从而将权限回收，从而提供数据权限服务。
数据血缘逻辑：对元数据进行血缘分析、关联元数据，且能够对多种版本的元数据进行数据血缘分析，以避免元数据版本更改带来的血缘链路分析错误的情况的发生。能够生成血缘链路、网状形状的关联图。
数据智能调度：首先对调度进行策略配置，对评估进行策略配置，根据配置好的规则，进行热度和成本评估，从而提供热冷转移、存储优化和数据压缩备份等功能。
具体的物理部署方式，如图10所示，其中图中对应的组件名称以及功能描述，如表1所示：
表1
其中：元数据管理/查询和数据权限管理/查询组件，可按不同的项目进行部署。数据血缘统计以及应用组件按照平台级应用部署。
给出该大数据云数据血缘管理系统在实际应用时的一个具体例子，包括如下步骤：
步骤1：生成作业时，需统一请求数据管理服务中元数据查询和数据权限查询，查询元数据信息和权限信息是否满足需求。即只有当数据权限鉴定符合授权条件，且有对应的元数据，能够从存储数据库中调用到相应的元数据时，才能继续步骤2。
步骤2：元数据查询和权限查询服务连接存储元数据的Mysql数据库，查询元数据信息是否正确，并将值返回作业。
步骤3：搜集作业状态，如监控到元数据信息变化，将其反写至元数据管理；
步骤4：元数据管理应用同时将元数据变化信息持久化至Mysql。
步骤5：搜集作业状态，统计项目与项目、库与库、表与表的血缘关系信息。
步骤6：写入redis供快速查询使用，并写入Atlas作为可视化展示信息展示。
其中，血缘展示可以通过部分/全局两个可视化窗口进行展示，如图11所示，为部分展示的可视化示例，可以看出查询的该生产数据库表影响的上游层数为2，下游层数也为2。全局展示会展示出总数据量、总数据库数量、总库表数量、涉及的项目总数等信息。
该大数据云数据血缘管理系统提供了一种全流程全自动化的血缘搜集方案，能够进行统一的元数据管理、统一的权限管理，从而能够可视化判断库表变更影响。而无需建立与生产环境一致的测试环境，维护成本低，对于变更频繁的大型IT系统维护，提高评估效率。
上述具体应用的实施仅为举例，其余实施方式不再一一赘述。
基于同一发明构思，本发明实施例还提供一种数据管理系统的工作方法，由于数据管理系统的工作方法所解决问题的原理与数据管理系统相似，因此数据管理系统的工作方法的实施可以参见数据管理系统的实施，重复之处不再赘述，具体如图12所示，包括：
步骤1201：数据采集模块101采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集生产数据库表的变更信息；
步骤1202：元数据管理模块102接收数据采集模块101发送的多个生产数据库表中业务数据的元数据信息，根据元数据信息设计元数据库表，发布元数据库表至存储模块103；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块103；
步骤1203：存储模块103按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；
步骤1204：数据血缘管理模块104根据业务数据对应的作业运行数据，对存储模块103中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。
具体实施例中，数据采集模块101采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集生产数据库表的变更信息，实施过程，如图13所示，包括：
步骤1301：元数据信息采集单元201获取银行系统中的多个生产数据库表，采集多个生产数据库表中业务数据的元数据信息；
步骤1302：作业运行情况采集单元202获取银行系统内的业务作业数据，根据业务作业数据，分析作业对生产数据库表的字段调用关系，得到业务数据对应的作业运行数据；
步骤1303：数据变更监控单元203监控生产数据库表，得到生产数据库表的变更信息。
具体实施例中，元数据管理模块102接收数据采集模块101发送的多个生产数据库表中业务数据的元数据信息，根据元数据信息设计元数据库表，发布元数据库表至存储模块103；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块103，实施过程，如图14所示，包括：
步骤1401：元数据设计发布单元301根据多个生产数据库表中业务数据的元数据信息，设计元数据库表中字段长度和字段类型，得到元数据库表，将元数据库表发布至存储模块103；
步骤1402：元数据变更管理单元302接收数据采集模块101发送的生产数据库表的变更信息，根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块103；
步骤1403：元数据查询单元303生成元数据的数据目录，根据数据目录对元数据进行检索，根据检索结果向存储模块103调用对应的元数据。
具体实施过程中，数据血缘管理模块104根据业务数据对应的作业运行数据，对存储模块103中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息，实现过程，如图15所示，包括：
步骤1501：血缘分析单元401根据业务数据对应的作业运行数据，对存储模块103中存储的元数据进行血缘分析，确定元数据的血缘链路；
步骤1502：上下游影响分析单元402根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。
本发明一具体实施例中，还提供一种数据管理系统的工作方法，如图16所示，在图12的基础上，还包括：
步骤1601：数据权限管理模块501设置业务数据的数据权限；将业务数据的数据权限发送给存储模块103；查询作业对应的业务数据的数据权限，根据作业对应的业务数据的数据权限，鉴别作业是否有权限调用对应的业务数据；
其中，数据权限用于表征业务数据被作业调用的权限。
本发明又一具体实施例中，还提供一种数据管理系统的工作方法，在图12或图16的基础上，还包括：
数据采集模块101采集业务数据的热度信息；
数据智能调度模块根据业务数据的热度信息，对业务数据的热度进行评估，根据评估结果对业务数据进行备份、调整业务数据的存储位置。
具体实施时，数据智能调度模块根据业务数据的热度信息，对业务数据的热度进行评估，根据评估结果对业务数据进行备份、调整业务数据的存储位置，实施过程，如图17所示，包括：
步骤1701：数据评估单元601根据业务数据的热度信息，对业务数据的热度进行评估，得到热度评估结果和存储成本评估结果；
步骤1702：数据备份单元602根据存储成本评估结果和热度评估结果，对业务数据进行备份；
步骤1703：数据缓存单元603根据热度评估结果，将属于热数据的业务数据存储在redis缓存中。
本发明另一具体实施例中，还提供一种数据管理系统的工作方法，如图18所示，在图12的基础上，还包括：
步骤1801：可视化模块701将库表变更所影响的上下游信息，以可视化的方式展示给用户。
图19为本申请实施例的电子设备1900的系统构成的示意框图。如图19所示，该电子设备1900可以包括中央处理器1901和存储器1902；存储器1902耦合到中央处理器1901。值得注意的是，该图19是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，数据管理系统的工作功能可以被集成到中央处理器1901中。其中，中央处理器1901可以被配置为进行如下控制：
数据采集模块采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集生产数据库表的变更信息；
元数据管理模块接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；
存储模块按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；
数据血缘管理模块根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。
从上述描述可知，本申请的实施例提供的电子设备，通过设置数据采集模块，采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集生产数据库表的变更信息；设置元数据管理模块，接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；设置存储模块，按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；设置数据血缘管理模块，根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。通过对业务数据进行统一的元数据管理，并进行数据血缘分析，当库表变更时，采集生产数据库表的变更信息，得到元数据变更信息，结合元数据的血缘链路能够快速、准确对库表变更影响进行评估，降低库表变更影响评估所投入的人力和资源成本，提高评估效率。
在另一个实施方式中，数据管理系统可以与中央处理器1901分开配置，例如可以将数据管理系统配置为与中央处理器1901连接的芯片，通过中央处理器的控制来实现数据管理功能。
如图19所示，该电子设备1900还可以包括：通信模块1903、输入单元1904、音频处理器1905、显示器1906、电源1907。值得注意的是，电子设备1900也并不是必须要包括图19中所示的所有部件；此外，电子设备1900还可以包括图19中没有示出的部件，可以参考现有技术。
如图19所示，中央处理器1901有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器1901接收输入并控制电子设备1900的各个部件的操作。
其中，存储器1902，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器1901可执行该存储器1902存储的该程序，以实现信息存储或处理等。
输入单元1904向中央处理器1901提供输入。该输入单元1904例如为按键或触摸输入装置。电源1907用于向电子设备1900提供电力。显示器1906用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器1902可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器1902还可以是某种其它类型的装置。存储器1902包括缓冲存储器1921(有时被称为缓冲器)。存储器1902可以包括应用/功能存储部1922，该应用/功能存储部1922用于存储应用程序和功能程序或用于通过中央处理器1901执行电子设备1900的操作的流程。
存储器1902还可以包括数据存储部1923，该数据存储部1923用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器1902的驱动程序存储部1924可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块1903即为经由天线1908发送和接收信号的发送机/接收机1903。通信模块(发送机/接收机)1903耦合到中央处理器1901，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块1903，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)1903还经由音频处理器1905耦合到扬声器1909和麦克风1910，以经由扬声器1909提供音频输出，并接收来自麦克风1910的音频输入，从而实现通常的电信功能。音频处理器1905可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器1905还耦合到中央处理器1901，从而使得可以通过麦克风1910能够在本机上录音，且使得可以通过扬声器1909来播放本机上存储的声音。
本发明的实施例还提供能够实现上述实施例中的数据管理系统的工作方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的数据管理系统的工作方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
数据采集模块采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集生产数据库表的变更信息；
元数据管理模块接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；
存储模块按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；
数据血缘管理模块根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。
从上述的描述可知，本发明实施例提供的计算机可读存储介质，通过设置数据采集模块，采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集生产数据库表的变更信息；设置元数据管理模块，接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；设置存储模块，按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；设置数据血缘管理模块，根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。通过对业务数据进行统一的元数据管理，并进行数据血缘分析，当库表变更时，采集生产数据库表的变更信息，得到元数据变更信息，结合元数据的血缘链路能够快速、准确对库表变更影响进行评估，降低库表变更影响评估所投入的人力和资源成本，提高评估效率。
综上所述，本发明实施例提供的数据管理系统及工作方法具有如下优点：
通过设置数据采集模块，采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集生产数据库表的变更信息；设置元数据管理模块，接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；设置存储模块，按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；设置数据血缘管理模块，根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。通过对业务数据进行统一的元数据管理，并进行数据血缘分析，当库表变更时，采集生产数据库表的变更信息，得到元数据变更信息，结合元数据的血缘链路能够快速、准确对库表变更影响进行评估，降低库表变更影响评估所投入的人力和资源成本，提高评估效率。
虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域技术人员应明白，本说明书的实施例可提供为方法、装置(系统)或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (16)
1.一种数据管理系统，其特征在于，包括：
数据采集模块，用于采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集所述生产数据库表的变更信息；
元数据管理模块，用于接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据所述元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；
存储模块，用于按照所述元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；
数据血缘管理模块，用于根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息；
其中，所述数据采集模块，包括：
元数据信息采集单元，用于获取银行系统中的多个生产数据库表，采集多个生产数据库表中业务数据的元数据信息；
作业运行情况采集单元，用于获取银行系统内的业务作业数据，根据业务作业数据，分析作业对生产数据库表的字段调用关系，得到业务数据对应的作业运行数据；
数据变更监控单元，用于监控所述生产数据库表，得到所述生产数据库表的变更信息；
其中，业务作业数据中包含业务作业的处理逻辑和库表调用关系。
2.如权利要求1所述的数据管理系统，其特征在于，所述元数据管理模块，包括：
元数据设计发布单元，用于根据多个生产数据库表中业务数据的元数据信息，设计元数据库表中字段长度和字段类型，得到元数据库表，将所述元数据库表发布至存储模块；
元数据变更管理单元，用于接收数据采集模块发送的生产数据库表的变更信息，根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；
元数据查询单元，用于生成元数据的数据目录，根据所述数据目录对元数据进行检索，根据检索结果向存储模块调用对应的元数据。
3.如权利要求1所述的数据管理系统，其特征在于，所述数据血缘管理模块，包括：
血缘分析单元，用于根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；
上下游影响分析单元，用于根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。
4.如权利要求1所述的数据管理系统，其特征在于，还包括：
数据权限管理模块，用于设置业务数据的数据权限；将所述业务数据的数据权限发送给存储模块；查询作业对应的业务数据的数据权限，根据作业对应的业务数据的数据权限，鉴别作业是否有权限调用对应的业务数据；
所述数据权限用于表征业务数据被作业调用的权限。
5.如权利要求1或4所述的数据管理系统，其特征在于，所述数据采集模块还用于采集业务数据的热度信息；
所述数据管理系统，还包括：
数据智能调度模块，用于根据所述业务数据的热度信息，对业务数据的热度进行评估，根据评估结果对业务数据进行备份、调整业务数据的存储位置。
6.如权利要求5所述的数据管理系统，其特征在于，所述数据智能调度模块，包括：
数据评估单元，用于根据所述业务数据的热度信息，对业务数据的热度进行评估，得到热度评估结果和存储成本评估结果；
数据备份单元，用于根据存储成本评估结果和热度评估结果，对业务数据进行备份；
数据缓存单元，用于根据热度评估结果，将属于热数据的业务数据存储在redis缓存中。
7.如权利要求1所述的数据管理系统，其特征在于，还包括：
可视化模块，用于将库表变更所影响的上下游信息，以可视化的方式展示给用户。
8.一种权利要求1-7中任一项所述数据管理系统的工作方法，其特征在于，包括：
数据采集模块采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集所述生产数据库表的变更信息；
元数据管理模块接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据所述元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；
存储模块按照所述元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；
数据血缘管理模块根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息；
其中，数据采集模块采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集所述生产数据库表的变更信息，包括：
元数据信息采集单元获取银行系统中的多个生产数据库表，采集多个生产数据库表中业务数据的元数据信息；
作业运行情况采集单元获取银行系统内的业务作业数据，根据业务作业数据，分析作业对生产数据库表的字段调用关系，得到业务数据对应的作业运行数据；
数据变更监控单元监控所述生产数据库表，得到所述生产数据库表的变更信息；
其中，业务作业数据中包含业务作业的处理逻辑和库表调用关系。
9.如权利要求8所述的工作方法，其特征在于，元数据管理模块接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据所述元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块，包括：
元数据设计发布单元根据多个生产数据库表中业务数据的元数据信息，设计元数据库表中字段长度和字段类型，得到元数据库表，将所述元数据库表发布至存储模块；
元数据变更管理单元接收数据采集模块发送的生产数据库表的变更信息，根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；
元数据查询单元生成元数据的数据目录，根据所述数据目录对元数据进行检索，根据检索结果向存储模块调用对应的元数据。
10.如权利要求8所述的工作方法，其特征在于，数据血缘管理模块根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息，包括：
血缘分析单元根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；
上下游影响分析单元根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。
11.如权利要求8所述的工作方法，其特征在于，还包括：
数据权限管理模块设置业务数据的数据权限；将所述业务数据的数据权限发送给存储模块；查询作业对应的业务数据的数据权限，根据作业对应的业务数据的数据权限，鉴别作业是否有权限调用对应的业务数据；
所述数据权限用于表征业务数据被作业调用的权限。
12.如权利要求8或11所述的工作方法，其特征在于，还包括：
数据采集模块采集业务数据的热度信息；
数据智能调度模块根据所述业务数据的热度信息，对业务数据的热度进行评估，根据评估结果对业务数据进行备份、调整业务数据的存储位置。
13.如权利要求12所述的工作方法，其特征在于，数据智能调度模块根据所述业务数据的热度信息，对业务数据的热度进行评估，根据评估结果对业务数据进行备份、调整业务数据的存储位置，包括：
数据评估单元根据所述业务数据的热度信息，对业务数据的热度进行评估，得到热度评估结果和存储成本评估结果；
数据备份单元根据存储成本评估结果和热度评估结果，对业务数据进行备份；
数据缓存单元根据热度评估结果，将属于热数据的业务数据存储在redis缓存中。
14.如权利要求8所述的工作方法，其特征在于，还包括：
可视化模块将库表变更所影响的上下游信息，以可视化的方式展示给用户。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求8至14任一所述方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求8至14任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110422917.0A CN113138973B (zh) | 2021-04-20 | 2021-04-20 | 数据管理系统及工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110422917.0A CN113138973B (zh) | 2021-04-20 | 2021-04-20 | 数据管理系统及工作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113138973A CN113138973A (zh) | 2021-07-20 |
| CN113138973B true CN113138973B (zh) | 2022-12-16 |
Family
ID=76812759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110422917.0A Active CN113138973B (zh) | 2021-04-20 | 2021-04-20 | 数据管理系统及工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113138973B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688163A (zh) * | 2021-07-28 | 2021-11-23 | 北京明略昭辉科技有限公司 | 元数据管理方法、系统、存储介质及电子设备 |
| CN113868253B (zh) * | 2021-09-28 | 2024-04-23 | 中通服创立信息科技有限责任公司 | 一种数据关系捕获及大数据关系树构建方法 |
| CN114064752A (zh) * | 2021-11-09 | 2022-02-18 | 珠海市新德汇信息技术有限公司 | 基于记录级血缘关系的数据影响分析方法、存储介质及设备 |
| CN114627968B (zh) * | 2022-03-18 | 2023-10-20 | 四川大学华西医院 | 一种多模态组学数据管理系统 |
| CN115145919A (zh) * | 2022-06-30 | 2022-10-04 | 中冶赛迪信息技术(重庆)有限公司 | 一种业务系统间数据血缘生成方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107590158A (zh) * | 2016-07-08 | 2018-01-16 | 北京京东尚科信息技术有限公司 | 一种获取数据源变更信息的方法和装置 |
| CN108959564A (zh) * | 2018-07-04 | 2018-12-07 | 玖富金科控股集团有限责任公司 | 数据仓库元数据管理方法、可读存储介质和计算机设备 |
| CN110019267A (zh) * | 2017-11-21 | 2019-07-16 | 中国移动通信有限公司研究院 | 一种元数据更新方法、装置、系统、电子设备及存储介质 |
| CN114385652A (zh) * | 2021-12-28 | 2022-04-22 | 中国电信股份有限公司 | 数据血缘关系构建方法及系统、电子设备、存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8549064B2 (en) * | 2008-08-12 | 2013-10-01 | Hewlett-Packard Development Company, L.P. | System and method for data management |
| CN106294478B (zh) * | 2015-06-04 | 2019-11-08 | 阿里巴巴集团控股有限公司 | 数据仓库的数据处理方法及装置 |
| CN111125068A (zh) * | 2019-11-13 | 2020-05-08 | 深圳市华傲数据技术有限公司 | 一种元数据治理方法和系统 |
| CN112199433A (zh) * | 2020-10-28 | 2021-01-08 | 云赛智联股份有限公司 | 一种用于城市级数据中台的数据治理系统 |
| CN112540970A (zh) * | 2020-12-07 | 2021-03-23 | 航天信息股份有限公司 | 一种基于版本管理的元数据血缘分析方法及系统 |
-
2021
- 2021-04-20 CN CN202110422917.0A patent/CN113138973B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107590158A (zh) * | 2016-07-08 | 2018-01-16 | 北京京东尚科信息技术有限公司 | 一种获取数据源变更信息的方法和装置 |
| CN110019267A (zh) * | 2017-11-21 | 2019-07-16 | 中国移动通信有限公司研究院 | 一种元数据更新方法、装置、系统、电子设备及存储介质 |
| CN108959564A (zh) * | 2018-07-04 | 2018-12-07 | 玖富金科控股集团有限责任公司 | 数据仓库元数据管理方法、可读存储介质和计算机设备 |
| CN114385652A (zh) * | 2021-12-28 | 2022-04-22 | 中国电信股份有限公司 | 数据血缘关系构建方法及系统、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113138973A (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113138973B (zh) | 数据管理系统及工作方法 | |
| CN105765560B (zh) | 基于多次跟踪执行的软件组件推荐 | |
| US10692048B2 (en) | Apparatus and method for generating a chronological timesheet | |
| KR102356771B1 (ko) | 데이터 구동 테스트 프레임워크 | |
| CN105493028A (zh) | 用于云分析的数据一致性和回退 | |
| US20230018975A1 (en) | Monolith database to distributed database transformation | |
| CN105793874B (zh) | 用于管理团体信息的方法和系统 | |
| CN107423404B (zh) | 流程实例数据同步处理方法和装置 | |
| CN104679500B (zh) | 实体类自动生成实现方法及装置 | |
| CN103606037A (zh) | 一种业务数据的查询配置方法及装置 | |
| CN111339171A (zh) | 数据查询的方法、装置及设备 | |
| CN107368407B (zh) | 信息处理方法和装置 | |
| CN111737148A (zh) | 自动回归测试方法、装置、计算机设备及存储介质 | |
| CN102521339B (zh) | 用于动态访问数据源的系统和方法 | |
| CN111125226B (zh) | 一种配置数据采集方法及装置 | |
| CN117056352A (zh) | 数据的展示方法、装置、终端设备和可读存储介质 | |
| CN105074669A (zh) | 用于分析计算机系统活动的跟踪时间线的方法和系统 | |
| CN109992614B (zh) | 数据获取方法、装置和服务器 | |
| EP3639138B1 (en) | Action undo service based on cloud platform | |
| CN116167441A (zh) | 网络安全风险评估的知识图谱及构建方法 | |
| CN113835965B (zh) | 一种参数轨迹留痕方法及装置 | |
| CN113535575A (zh) | 软硬件产品基础环境的基准测试方法及装置 | |
| CN111831527A (zh) | 扫描数据库性能问题的方法、装置、电子设备、及介质 | |
| CN108614838B (zh) | 一种用户群索引处理方法、装置及系统 | |
| JP2013061912A (ja) | プロセス関係解析プログラム，プロセス関係解析装置およびプロセス関係解析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |