CN104750842A - 主数据型数据库系统 - Google Patents

主数据型数据库系统 Download PDF

Info

Publication number
CN104750842A
CN104750842A CN201510163810.3A CN201510163810A CN104750842A CN 104750842 A CN104750842 A CN 104750842A CN 201510163810 A CN201510163810 A CN 201510163810A CN 104750842 A CN104750842 A CN 104750842A
Authority
CN
China
Prior art keywords
master data
data
module
interface layer
layer module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510163810.3A
Other languages
English (en)
Inventor
朱焰冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ka Laiboer Information Technology Co Ltd
Original Assignee
Chengdu Ka Laiboer Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Ka Laiboer Information Technology Co Ltd filed Critical Chengdu Ka Laiboer Information Technology Co Ltd
Priority to CN201510163810.3A priority Critical patent/CN104750842A/zh
Publication of CN104750842A publication Critical patent/CN104750842A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种主数据型数据库系统，其特征在于，包括：总线接口层模块,存储从源系统获取的原始主数据，使存储的数据基本和源系统数据结构保持一致；接口层模块，存储总线接口层模块初步处理后的增量数据；标准层模块，存储整合清洗后的标准主数据，是主数据的最新状态，共享给其他业务系统使用；主数据共享模块，对主数据进行共享，主要由基于标准层模块的数据视图来实现，出发点是各业务系统不同的主数据需求；所述的总线接口层模块、接口层模块、标准层模块和主数据共享模块依次连接，其数据的质量高且数据安全性高。

Description

主数据型数据库系统
技术领域
本发明涉及数据库技术领域，具体地，涉及一种主数据型数据库系统。
背景技术
    目前的企业单位均存在着大大小小不同时期建设的专业性业务系统，系统间的部署主要以网状结构存在。而现有的各个部分使用各自的系统，各系统之间的信息不能互享，形成“信息孤岛”。 随着企业单位研究业务的变化、经济社会的转型和信息技术的发展，数据库之间的数据交换越来越频繁。在业务应用中，经常需要进行复杂的数据交换，尤其是不同系统和业务之间，这些数据交换要求跨平台、跨系统的，同时要实现业务数据结构的变化和多业务的交互。在数据之间的交换、共享等在操作过程中，其数据库的质量和安全性显得尤为重要。
发明内容
本发明所要解决的技术问题是提供一种主数据型数据库系统，其数据的质量高且数据安全性高。
本发明解决上述问题所采用的技术方案是：
主数据型数据库系统，其特征在于，包括：
总线接口层模块, 存储从源系统获取的原始主数据，使存储的数据基本和源系统数据结构保持一致；
接口层模块，存储总线接口层模块初步处理后的增量数据；
标准层模块，存储整合清洗后的标准主数据，是主数据的最新状态，共享给其他业务系统使用；
主数据共享模块，对主数据进行共享，主要由基于标准层模块的数据视图来实现，出发点是各业务系统不同的主数据需求；
所述的总线接口层模块、接口层模块、标准层模块和主数据共享模块依次连接。
本发明的数据库系统将主数据清洗后存储在标准层模块中，数据将脏数据去除后，以提高数据的质量。总线接口层模块对源系统的数据进行存储，使存储的数据基本和源系统的数据结构保持一致，提高数据的安全性。
作为优选，所述的接口层模块包括主数据增量模块和脏数据模块，所述的总线接口层模块同时与主数据增量模块和脏数据模块相连。
主数据增量模块主要对存储总线接口层初步处理后的增量数据进行存储，脏数据模块存储清洗出的“脏数据”，供数据分析使用。而所谓的脏数据，即源系统中的数据不在给定的范围内或对实际业务毫无意义，或者数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑。脏数据的造成主要是由于源系统的设计不严密造成的，主要表现在：数据格式错误，数据不一致，数据重复、错误，业务逻辑不合理，违反业务规则等。譬如：未经验证的身份、未经验证的日期、字段等。利用脏数据模块对脏数据进行存储，有利于后期的数据分析。
作为优选，所述的标准层模块包括主数据标准模块和历史记录模块，所述的主数据标准模块分别与主数据增量模块和主数据共享模块相连，所述的历史记录模块连接在主数据标准模块上。
主数据标准模块对清洗后的主数据进行存储整合，共享给其他业务系统使用；历史记录模块存储主数据的变更的历史记录，提供主数据变更轨迹信息，对主数据的修改和查询提供依据。
综上，本发明的有益效果是：
本发明的数据库系统将主数据清洗后存储在标准层模块中，数据将脏数据去除后，以提高数据的质量。总线接口层模块对源系统的数据进行存储，使存储的数据基本和源系统的数据结构保持一致，提高数据的安全性，即数据的质量高且数据安全性高。
具体实施方式
下面结合实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
主数据型数据库系统，其特征在于，包括：
总线接口层模块, 存储从源系统获取的原始主数据，使存储的数据基本和源系统数据结构保持一致；
接口层模块，存储总线接口层模块初步处理后的增量数据；
标准层模块，存储整合清洗后的标准主数据，是主数据的最新状态，共享给其他业务系统使用；
主数据共享模块，对主数据进行共享，主要由基于标准层模块的数据视图来实现，出发点是各业务系统不同的主数据需求；
所述的总线接口层模块、接口层模块、标准层模块和主数据共享模块依次连接。
实施例2：
本实施例在上述实施例的基础上做了细化，即所述的接口层模块包括主数据增量模块和脏数据模块，所述的总线接口层模块同时与主数据增量模块和脏数据模块相连。
主数据增量模块主要对存储总线接口层初步处理后的增量数据进行存储，脏数据模块存储清洗出的“脏数据”，供数据分析使用。而所谓的脏数据，即源系统中的数据不在给定的范围内或对实际业务毫无意义，或者数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑。脏数据的造成主要是由于源系统的设计不严密造成的，主要表现在：数据格式错误，数据不一致，数据重复、错误，业务逻辑不合理，违反业务规则等。譬如：未经验证的身份、未经验证的日期、字段等。利用脏数据模块对脏数据进行存储，有利于后期的数据分析。
所述的标准层模块包括主数据标准模块和历史记录模块，所述的主数据标准模块分别与主数据增量模块和主数据共享模块相连，所述的历史记录模块连接在主数据标准模块上。
如上所述，可较好的实现本发明。

Claims (3)

1.主数据型数据库系统，其特征在于，包括：
总线接口层模块, 存储从源系统获取的原始主数据；
接口层模块，存储总线接口层模块初步处理后的增量数据；
标准层模块，存储整合清洗后的标准主数据；
主数据共享模块，对主数据进行共享；
所述的总线接口层模块、接口层模块、标准层模块和主数据共享模块依次连接。
2.根据权利要求1所述的主数据型数据库系统，其特征在于：所述的接口层模块包括主数据增量模块和脏数据模块，所述的总线接口层模块同时与主数据增量模块和脏数据模块相连。
3.根据权利要求2所述的主数据型数据库系统，其特征在于：所述的标准层模块包括主数据标准模块和历史记录模块，所述的主数据标准模块分别与主数据增量模块和主数据共享模块相连，所述的历史记录模块连接在主数据标准模块上。
CN201510163810.3A 2015-04-09 2015-04-09 主数据型数据库系统 Pending CN104750842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510163810.3A CN104750842A (zh) 2015-04-09 2015-04-09 主数据型数据库系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510163810.3A CN104750842A (zh) 2015-04-09 2015-04-09 主数据型数据库系统

Publications (1)

Publication Number Publication Date
CN104750842A true CN104750842A (zh) 2015-07-01

Family

ID=53590526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510163810.3A Pending CN104750842A (zh) 2015-04-09 2015-04-09 主数据型数据库系统

Country Status (1)

Country Link
CN (1) CN104750842A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389845A (zh) * 2019-07-30 2019-10-29 浪潮软件集团有限公司 一种基于主数据管理进行数据广播的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094278A1 (en) * 2007-10-05 2009-04-09 Andrews James J Architecture for master data management in an enterprise
US20090287726A1 (en) * 2006-04-07 2009-11-19 Mag Productions Holding B.V. Method and system for synchronization of databases
CN102737319A (zh) * 2011-04-08 2012-10-17 中兴通讯股份有限公司 基于业务数据库的营销分析方法及系统
US20140222867A1 (en) * 2013-02-05 2014-08-07 Pitney Bowes Inc. Data source independent interface for an electronic bill presentment and payment system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090287726A1 (en) * 2006-04-07 2009-11-19 Mag Productions Holding B.V. Method and system for synchronization of databases
US20090094278A1 (en) * 2007-10-05 2009-04-09 Andrews James J Architecture for master data management in an enterprise
CN102737319A (zh) * 2011-04-08 2012-10-17 中兴通讯股份有限公司 基于业务数据库的营销分析方法及系统
US20140222867A1 (en) * 2013-02-05 2014-08-07 Pitney Bowes Inc. Data source independent interface for an electronic bill presentment and payment system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389845A (zh) * 2019-07-30 2019-10-29 浪潮软件集团有限公司 一种基于主数据管理进行数据广播的方法

Similar Documents

Publication Publication Date Title
CN104699860A (zh) 一种共享型主数据的数据加工存储方法
CN104751291A (zh) 一种主数据管理平台
CN102622427A (zh) 读写分离数据库的方法及系统
CN103838770A (zh) 一种数据逻辑分区的方法和系统
CN103646111A (zh) 大数据环境下实现实时数据关联的系统及方法
CN103020296B (zh) 一种高精度多维计数布鲁姆过滤器大数据处理方法
CN103116627B (zh) 一种高并发soa技术访问数据库的方法和系统
CN103631912B (zh) 一种利用非关系数据库存储海量工业设备监测数据的方法
CN205139996U (zh) 一种智能广告设计系统
CN104484131B (zh) 多磁盘服务器的数据处理装置及对应的处理方法
CN105912678A (zh) 一种数据存储方法、数据读取方法及其对应的系统
CN102306168A (zh) 日志操作方法、装置及文件系统
CN104216961A (zh) 一种数据处理方法和装置
CN104699857A (zh) 基于知识工程的大数据存储方法
CN102521364A (zh) 一种图上两点间最短路径查询方法
CN110489490A (zh) 基于分布式数据库的数据存储和查询方法
CN102968478B (zh) 一种索引和搜索方法
CN107291881A (zh) 基于HBase的海量日志存储和查询方法
CN103744952A (zh) NoSQL数据库多表特性的实现方法及系统
CN104750842A (zh) 主数据型数据库系统
CN104268709A (zh) 一种采用分布式lsm树的rfid系统设计方法
CN109388635A (zh) 一种多值数据基于二进制和字典表的数据存储法
CN104516955A (zh) 一种海量车机轨迹数据的存储方法
CN109189839A (zh) 基于大数据平台的多层业务模型
CN109582735A (zh) 一种区块链知识单元存储系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150701

WD01 Invention patent application deemed withdrawn after publication