CN104572896A - 一种基于关系型数据库进行数据自动化治理的方法及系统 - Google Patents

一种基于关系型数据库进行数据自动化治理的方法及系统 Download PDF

Info

Publication number
CN104572896A
CN104572896A CN201410821822.6A CN201410821822A CN104572896A CN 104572896 A CN104572896 A CN 104572896A CN 201410821822 A CN201410821822 A CN 201410821822A CN 104572896 A CN104572896 A CN 104572896A
Authority
CN
China
Prior art keywords
database
data
management task
improvement
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410821822.6A
Other languages
English (en)
Inventor
倪时龙
林振天
吕君玉
陈天宇
方镇林
张望华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Yirong Information Technology Co Ltd
Original Assignee
Fujian Yirong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Yirong Information Technology Co Ltd filed Critical Fujian Yirong Information Technology Co Ltd
Priority to CN201410821822.6A priority Critical patent/CN104572896A/zh
Publication of CN104572896A publication Critical patent/CN104572896A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于关系型数据库进行数据自动化治理的方法，将治理规则及其解析方法存入数据库治理任务表中；根据治理数据的范围，数据库一一读取治理任务，从治理任务表中获取治理任务对应的治理规则，并根据该治理规则解析方法将治理任务解析为可执行的命令语句；数据库执行该命令语句，提交执行完成的数据，并将执行结果存入日志表，本发明还提供一种基于关系型数据库进行数据自动化治理的系统，提高工作效率，提高数据规范性梳理的效率。

Description

一种基于关系型数据库进行数据自动化治理的方法及系统
技术领域
本发明涉及一种基于关系型数据库进行数据自动化治理的方法及系统。
背景技术
数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。目前针对数据治理，通常都是建设一套数据治理系统来处理，工程庞大、复杂，本发明讨论在关系数据库层面，通过数据库技术实施数据治理，本发明应用于电子档案管理、电子文件管理中，实现对不规范的电子档案或电子文件进行规范化治理，具体如下：
随着信息技术的发展，各企业逐步实现了无纸化办公，信息对各单位企业发展的影响越来越大，各企业逐步建立电子档案管理系统和电子文件管理系统来管理企业运营过程中的信息资产，在通过电子档案管理系统和电子文件管理系统管理企业信息资产的过程，需要解决的一个问题：业务数据的规范性问题，即业务系统通过归档接口(电子档案管理系统对业务系统开放的推送数据的接口)推送到电子档案管理系统的业务数据，往往不能满足档案的数据规范要求，需要进行人为的梳理整治，才能满足档案的规范性要求，因为电子档案数据量大，通过人为去进行梳理费时费力。
发明内容
本发明要解决的技术问题，在于提供一种基于关系型数据库进行数据自动化治理的方法及系统，提高工作效率，提高数据规范性梳理的效率。
本发明方案之一是这样实现的：一种基于关系型数据库进行数据自动化治理的方法，包括如下步骤：
步骤1、将治理规则及其解析方法存入数据库治理任务表中；
步骤2、根据治理数据的范围，数据库一一读取治理任务，从治理任务表中获取治理任务对应的治理规则，并根据该治理规则解析方法将治理任务解析为可执行的命令语句；
步骤3、数据库执行该命令语句，提交执行完成的数据，并将执行结果存入日志表。
进一步地，还包括步骤4、数据库定时调度，即定时扫描数据任务表，进入步骤2。
本发明方案之二是这样实现的：一种基于关系型数据库进行数据自动化治理的系统，包括如下模块：
储存模块，用于将治理规则及其解析方法存入数据库治理任务表中；
处理模块，用于根据治理数据的范围，数据库一一读取治理任务，从治理任务表中获取治理任务对应的治理规则，并根据该治理规则解析方法将治理任务解析为可执行的命令语句；
执行模块，用于数据库执行该命令语句，提交执行完成的数据，并将执行结果存入日志表。
进一步地，还包括调度模块，用于数据库定时调度，即定时扫描数据任务表，进入处理模块。
本发明具有如下优点：本发明针对关系型数据库存储的海量信息，在数据库层面提出数据治理解决方案，相比大型数据治理平台，具有经济实用、良好操作性、可扩展性、实用性。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
具体实施方式
如图1所示，本发明基于关系型数据库进行数据自动化治理的方法，包括如下步骤：
步骤1、将治理规则及其解析方法存入数据库治理任务表中；
步骤2、根据治理数据的范围，数据库一一读取治理任务，从治理任务表中获取治理任务对应的治理规则，并根据该治理规则解析方法将治理任务解析为可执行的命令语句(即为SQL语句)；
步骤3、数据库执行该命令语句，提交执行完成的数据，并将执行结果存入日志表。
步骤4、数据库定时调度，即定时扫描数据任务表，进入步骤2，其中数据任务表中包括所需治理数据的范围。
本发明基于关系型数据库进行数据自动化治理的系统，包括如下模块：
储存模块，用于将治理规则及其解析方法存入数据库治理任务表中；
处理模块，用于根据治理数据的范围，数据库一一读取治理任务，从治理任务表中获取治理任务对应的治理规则，并根据该治理规则解析方法将治理任务解析为可执行的命令语句(即为SQL语句)；
执行模块，用于数据库执行该命令语句，提交执行完成的数据，并将执行结果存入日志表；
调度模块，用于数据库定时调度，即定时扫描数据任务表，进入处理模块，其中数据任务表中包括所需治理数据的范围。
本发明具体实施例如下：
(1)制定一套规则描述符，规则可以自由定义，需提供相应的解析方法即可，例如：title＝${username}-${datetime/yyyy年mm月dd日}-${title}，这条规则实现在原有标题(title)上添加用户名(username)和日期(datetime)前缀，并且对日期格式进行定制。
(2)用户录入治理规则，并存储在数据库的治理任务表中。
(3)在数据库中编写存储过程实现数据治理业务逻辑：读取治理任务；根据该治理任务从治理任务表中查找对应的治理规则，根据该治理规则对应的解析方法进行解析治任务则为可执行的SQL语句；针对需要治理的数据范围，执行SQL语句；提交完成数据治理，并将执行结果存入日志表中，客户将治理任务存入数据库时，将在日志表中记录，数据库就可以根据该记录获取到需要治理的数据范围。
(4)在数据库中创建定时执行的job任务，定时调用(3)中创建的存储过程，实现自动治理。注意在job定时调用存储过程时，增加了调用策略，如事务锁控制，即在上一个任务还未完成时，不允许下一个任务执行。任务优先级分配策略等。
治理任务表、存储过程、JOB调度均是Oracle数据库对象，其中治理任务表用于存储用户按规则生成的治理规则，存储过程用plsql编写实现业务逻辑处理，JOB为oracle数据对象，能实现定时调度功能。
本方案在电子文件管理系统，电子档案管理中实施，可以使不规范的电子文件、电子档案的元数据，按照要求，通过治理使之更加规范；用于基于关系型数据库的信息系统，可以使信息系统的数据变得更加规范，提升企业的信息价值。
本发明具有如下优点：本发明针对关系型数据库存储的海量信息，在数据库层面提出数据治理解决方案，相比大型数据治理平台，具有经济实用、良好操作性、可扩展性、实用性。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种基于关系型数据库进行数据自动化治理的方法，其特征在于：包括如下步骤：
步骤1、将治理规则及其解析方法存入数据库治理任务表中；
步骤2、根据治理数据的范围，数据库一一读取治理任务，从治理任务表中获取治理任务对应的治理规则，并根据该治理规则解析方法将治理任务解析为可执行的命令语句；
步骤3、数据库执行该命令语句，提交执行完成的数据，并将执行结果存入日志表。
2.根据权利要求1所述的一种基于关系型数据库进行数据自动化治理的方法，其特征在于：还包括步骤4、数据库定时调度，即定时扫描数据任务表，进入步骤2。
3.一种基于关系型数据库进行数据自动化治理的系统，其特征在于：包括如下模块：
储存模块，用于将治理规则及其解析方法存入数据库治理任务表中；
处理模块，用于根据治理数据的范围，数据库一一读取治理任务，从治理任务表中获取治理任务对应的治理规则，并根据该治理规则解析方法将治理任务解析为可执行的命令语句；
执行模块，用于数据库执行该命令语句，提交执行完成的数据，并将执行结果存入日志表。
4.根据权利要求3所述的一种基于关系型数据库进行数据自动化治理的系统，其特征在于：还包括调度模块，用于数据库定时调度，即定时扫描数据任务表，进入处理模块。
CN201410821822.6A 2014-12-25 2014-12-25 一种基于关系型数据库进行数据自动化治理的方法及系统 Pending CN104572896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410821822.6A CN104572896A (zh) 2014-12-25 2014-12-25 一种基于关系型数据库进行数据自动化治理的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410821822.6A CN104572896A (zh) 2014-12-25 2014-12-25 一种基于关系型数据库进行数据自动化治理的方法及系统

Publications (1)

Publication Number Publication Date
CN104572896A true CN104572896A (zh) 2015-04-29

Family

ID=53088958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410821822.6A Pending CN104572896A (zh) 2014-12-25 2014-12-25 一种基于关系型数据库进行数据自动化治理的方法及系统

Country Status (1)

Country Link
CN (1) CN104572896A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977441A (zh) * 2017-12-08 2018-05-01 中国银行股份有限公司 基于规则引擎的业务处理方法及业务处理系统
CN110083650A (zh) * 2019-04-25 2019-08-02 中电科嘉兴新型智慧城市科技发展有限公司 一种基于元数据自发现的数据查询接口自动生成方法及系统
CN112579625A (zh) * 2020-09-28 2021-03-30 京信数据科技有限公司 多源异构数据治理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126680A (ja) * 2002-09-30 2004-04-22 Fujitsu Ltd Ｓｑｌ隠蔽型データベースアクセス方法及びコンピュータプログラム
CN1642105A (zh) * 2004-01-05 2005-07-20 华为技术有限公司 一种在网络系统中实现任务管理的方法
CN102508919A (zh) * 2011-11-18 2012-06-20 广州从兴电子开发有限公司 数据处理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126680A (ja) * 2002-09-30 2004-04-22 Fujitsu Ltd Ｓｑｌ隠蔽型データベースアクセス方法及びコンピュータプログラム
CN1642105A (zh) * 2004-01-05 2005-07-20 华为技术有限公司 一种在网络系统中实现任务管理的方法
CN102508919A (zh) * 2011-11-18 2012-06-20 广州从兴电子开发有限公司 数据处理方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977441A (zh) * 2017-12-08 2018-05-01 中国银行股份有限公司 基于规则引擎的业务处理方法及业务处理系统
CN110083650A (zh) * 2019-04-25 2019-08-02 中电科嘉兴新型智慧城市科技发展有限公司 一种基于元数据自发现的数据查询接口自动生成方法及系统
CN112579625A (zh) * 2020-09-28 2021-03-30 京信数据科技有限公司 多源异构数据治理方法及装置

Similar Documents

Publication Publication Date Title
US11741166B2 (en) Systems and methods for creating and managing a data integration workspace
KR102478331B1 (ko) 로봇 프로세스 자동화를 위한 문서 프로세싱 프레임워크
US10146824B2 (en) Database job description and scheduling
US11256742B2 (en) Automated document modification
CN103778107A (zh) 一种基于excel快速动态生成表单的方法与平台
US20060200792A1 (en) Process templates for software creation
CN1904879A (zh) 面向变化的电子表格应用
US9189504B2 (en) Application source code scanning for database migration
CN104133772A (zh) 一种自动生成测试数据的方法
US9037525B2 (en) Correlating data from multiple business processes to a business process scenario
US20220207268A1 (en) Form extractor
CN104715032A (zh) 一种报表系统中英文表名字段名映射系统及方法
CN102393889A (zh) 一种权限配置管理系统
CN111145051A (zh) 一种仲裁电子文书的生成方法及装置
CN109902117A (zh) 业务系统分析方法和装置
WO2020258492A1 (zh) 信息处理方法、装置、存储介质及终端设备
CN104572896A (zh) 一种基于关系型数据库进行数据自动化治理的方法及系统
CN101719168A (zh) 一种基于算法可配置的通用数据入库方法
US20140149854A1 (en) Server and method for generating object document
CN104361032B (zh) 一种操作日志管理的方法
US9514173B2 (en) Real-time index consistency check
EP3483697A1 (en) Approaches for managing data retention lifecycle
CN114443015A (zh) 一种基于数据库元数据的增删改查服务接口生成方法
CN103870540A (zh) 一种基于结构设计分析一体化的数据库
Lee et al. Implementation and performance of distributed text processing system using hadoop for e-discovery cloud service

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150429

RJ01 Rejection of invention patent application after publication