CN104699861A - 一种主数据中心的数据处理方法 - Google Patents
一种主数据中心的数据处理方法 Download PDFInfo
- Publication number
- CN104699861A CN104699861A CN201510163477.6A CN201510163477A CN104699861A CN 104699861 A CN104699861 A CN 104699861A CN 201510163477 A CN201510163477 A CN 201510163477A CN 104699861 A CN104699861 A CN 104699861A
- Authority
- CN
- China
- Prior art keywords
- data
- master
- processing method
- master data
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种主数据中心的数据处理方法，包括以下步骤:对源数据进行集成、抽取；去除脏数据，并对脏数据进行记录，去除脏数据，保证数据处理的安全性；对数据进行整合；对主数据进行交换并对应用历史进行记录，有效的简化后续的数据的繁琐度，其提高了数据处理的安全性。
Description
技术领域
本发明涉及网络通信数据交换领域，具体地，涉及一种主数据中心的数据处理方法。
背景技术
目前的企业单位均存在着大大小小不同时期建设的专业性业务系统，系统间的部署主要以网状结构存在。而现有的各个部分使用各自的系统，各系统之间的信息不能互享，形成“信息孤岛”。 随着企业单位研究业务的变化、经济社会的转型和信息技术的发展，数据库之间的数据交换越来越频繁。在业务应用中，经常需要进行复杂的数据交换，尤其是不同系统和业务之间，这些数据交换要求跨平台、跨系统的，同时要实现业务数据结构的变化和多业务的交互。轻量级数据交换方法，用户可以通过简单的配置之间，根据自己的需要，定义好数据的抽取时间，即可实现数据的交换。各部门、各系统之间的数据庞大，其数据在交换过程中，数据的安全性十分被重视。
发明内容
本发明所要解决的技术问题是提供一种主数据中心的数据处理方法，其提高了数据处理的安全性。
本发明解决上述问题所采用的技术方案是：
一种主数据中心的数据处理方法，包括以下步骤:
A、 对源数据进行集成、抽取；
B、 去除脏数据，并对脏数据进行记录，去除脏数据，保证数据处理的安全性；
C、 对数据进行整合；
D、 对主数据进行交换并对应用历史进行记录，对应用历史进行记录，有效的简化后续的数据的繁琐度。
作为优选，在步骤A中，主数据管理平台通过服务总线调度数据交换规则、主数据管理平台录入和导入的方式将异地分布的主数据集成到主数据管理平台接口层数据模型中。
进一步的，在步骤A中，为了保证数据处理的安全性，在数据集成的过程中完成数据异常处理、主数据的质量检查和校验，记录主数据集成过程的日志，对异常数据进行处理，可有效的提高数据的安全性，并对异常数据进行记录，简化后续的数据的繁琐度。
作为优选，在步骤C中，对主数据进行清洗和整合，根据预制的规则将有效主数据的最新数据整合到标准层主数据模型中，将主数据的变化轨迹记录到主数据历史数据模型中，保证数据的完整性和准确性。
作为优选，在步骤C中，还包括对异常过程处理、数据的质量控制和完整的处理日志记录。
综上，本发明的有益效果是：
本发明的方法，其对脏数据和异常数据去除、记录等，有效的提高了数据处理的安全性且简化了后续的数据的繁琐度。
具体实施方式
下面结合实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
一种主数据中心的数据处理方法，其特征在于，包括以下步骤:
A、 对源数据进行集成、抽取；
B、 去除脏数据，并对脏数据进行记录；
C、 对数据进行整合；
D、 对主数据进行交换并对应用历史进行记录。
实施例2：
为了进一步的提高数据处理的安全性，本实施例在上述实施例的基础上做了优化，即：
在步骤A中，主数据管理平台通过服务总线调度数据交换规则、主数据管理平台录入和导入的方式将异地分布的主数据集成到主数据管理平台接口层数据模型中。
在步骤A中，在数据集成的过程中完成数据异常处理、主数据的质量检查和校验，记录主数据集成过程的日志。
实施例3：
为了进一步的提高数据处理的安全性，本实施例在上述实施例的基础上做了优化，即：
在步骤C中，对主数据进行清洗和整合，根据预制的规则将有效主数据的最新数据整合到标准层主数据模型中，将主数据的变化轨迹记录到主数据历史数据模型中。
在步骤C中，还包括对异常过程处理、数据的质量控制和完整的处理日志记录。
在对数据进行交换时，其过程主要通过两种模式来完成：
1、业务系统通过建立系统接口，通过系统用户访问，自动完成数据更新。
2、通过数据用户登录主数据管理平台查询数据，手动更新业务系统。
如上所述，可较好的实现本发明。
Claims (5)
1.一种主数据中心的数据处理方法，其特征在于，包括以下步骤:
对源数据进行集成、抽取；
去除脏数据，并对脏数据进行记录；
对数据进行整合；
对主数据进行交换并对应用历史进行记录。
2.根据权利要求1所述的一种主数据中心的数据处理方法，其特征在于：在步骤A中，主数据管理平台通过服务总线调度数据交换规则、主数据管理平台录入和导入的方式将异地分布的主数据集成到主数据管理平台接口层数据模型中。
3.根据权利要求1或2所述的一种主数据中心的数据处理方法，其特征在于：在步骤A中，在数据集成的过程中完成数据异常处理、主数据的质量检查和校验，记录主数据集成过程的日志。
4.根据权利要求1所述的一种主数据中心的数据处理方法，其特征在于：在步骤C中，对主数据进行清洗和整合，根据预制的规则将有效主数据的最新数据整合到标准层主数据模型中，将主数据的变化轨迹记录到主数据历史数据模型中。
5.根据权利要求1所述的一种主数据中心的数据处理方法，其特征在于：在步骤C中，还包括对异常过程处理、数据的质量控制和完整的处理日志记录。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510163477.6A CN104699861A (zh) | 2015-04-09 | 2015-04-09 | 一种主数据中心的数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510163477.6A CN104699861A (zh) | 2015-04-09 | 2015-04-09 | 一种主数据中心的数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104699861A true CN104699861A (zh) | 2015-06-10 |
Family
ID=53346981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510163477.6A Pending CN104699861A (zh) | 2015-04-09 | 2015-04-09 | 一种主数据中心的数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104699861A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104993958A (zh) * | 2015-06-29 | 2015-10-21 | 北京京东尚科信息技术有限公司 | 一种用户主数据的生成方法及系统 |
| CN111324597A (zh) * | 2020-03-19 | 2020-06-23 | 北京三维天地科技股份有限公司 | 一种主数据管理方法和系统 |
| CN111427876A (zh) * | 2020-03-19 | 2020-07-17 | 北京三维天地科技股份有限公司 | 一种数据资产管理方法和系统 |
| CN116166679A (zh) * | 2023-02-13 | 2023-05-26 | 北京三维天地科技股份有限公司 | 一种基于主从模型关系的主数据交换方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6038564A (en) * | 1997-03-27 | 2000-03-14 | Hitachi, Ltd. | Method and apparatus for integrating distributed information |
| CN1797443A (zh) * | 2004-12-25 | 2006-07-05 | 鸿富锦精密工业（深圳）有限公司 | 数据交换系统及方法 |
| CN101251852B (zh) * | 2008-01-11 | 2011-05-18 | 孟小峰 | 面向领域的Web数据集成系统和方法 |
| CN103853843A (zh) * | 2014-03-20 | 2014-06-11 | 浪潮集团山东通用软件有限公司 | 一种基于主数据映射实现跨安全域数据集中的方法 |
-
2015
- 2015-04-09 CN CN201510163477.6A patent/CN104699861A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6038564A (en) * | 1997-03-27 | 2000-03-14 | Hitachi, Ltd. | Method and apparatus for integrating distributed information |
| CN1797443A (zh) * | 2004-12-25 | 2006-07-05 | 鸿富锦精密工业（深圳）有限公司 | 数据交换系统及方法 |
| CN101251852B (zh) * | 2008-01-11 | 2011-05-18 | 孟小峰 | 面向领域的Web数据集成系统和方法 |
| CN103853843A (zh) * | 2014-03-20 | 2014-06-11 | 浪潮集团山东通用软件有限公司 | 一种基于主数据映射实现跨安全域数据集中的方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104993958A (zh) * | 2015-06-29 | 2015-10-21 | 北京京东尚科信息技术有限公司 | 一种用户主数据的生成方法及系统 |
| CN111324597A (zh) * | 2020-03-19 | 2020-06-23 | 北京三维天地科技股份有限公司 | 一种主数据管理方法和系统 |
| CN111427876A (zh) * | 2020-03-19 | 2020-07-17 | 北京三维天地科技股份有限公司 | 一种数据资产管理方法和系统 |
| CN111324597B (zh) * | 2020-03-19 | 2020-12-08 | 北京三维天地科技股份有限公司 | 一种主数据管理方法和系统 |
| CN116166679A (zh) * | 2023-02-13 | 2023-05-26 | 北京三维天地科技股份有限公司 | 一种基于主从模型关系的主数据交换方法 |
| CN116166679B (zh) * | 2023-02-13 | 2023-10-20 | 北京三维天地科技股份有限公司 | 一种基于主从模型关系的主数据交换方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104699861A (zh) | 一种主数据中心的数据处理方法 | |
| CN104866366B (zh) | 应用程序清理方法及装置 | |
| CN103052022B (zh) | 基于移动行为的用户稳定点发现方法和系统 | |
| CN101976316B (zh) | 一种信息访问权限控制方法 | |
| CN108512689A (zh) | 微服务业务监控方法及服务器 | |
| CN107358305A (zh) | 一种智慧社区管理的商业模式 | |
| CN107808502B (zh) | 一种图像检测报警方法及装置 | |
| CN105303119A (zh) | 一种多数据中心权限管理方法及系统 | |
| CN105338540B (zh) | 一种基站数据建模的方法及终端 | |
| IL182824A0 (en) | Method for managing resources in a platform for the telecommunication service and/or network management, corresponding platform and computer program product thereof | |
| CN109063122A (zh) | 一种erp系统与mes系统的信息同步方法、相关系统及设备 | |
| CN103489078A (zh) | 基于rfid的智能充换电服务网络资产全生命周期管理方法 | |
| CN104699860A (zh) | 一种共享型主数据的数据加工存储方法 | |
| CN102611699A (zh) | 一种云操作系统中访问控制的方法和系统 | |
| CN103440558A (zh) | 一种铁路电务系统任务的管理方法及系统 | |
| CN106294611A (zh) | 银行核心系统及新老核心系统数据切换方法 | |
| EP2905982B1 (en) | Network data rollback method and device | |
| CN104699855A (zh) | 一种主动式主数据交换方法 | |
| CN107967336A (zh) | 一种基于功能组件化的大数据综合管理平台构建方法 | |
| CN105530125A (zh) | 一种网间数据交换系统 | |
| CN111737655A (zh) | 一种云管理平台的用户权限管理方法、系统及存储介质 | |
| CN104252663A (zh) | 黑名单联合管理预警方法 | |
| CN111581652A (zh) | 一种sim卡数据管理系统及管理方法 | |
| CN104683160A (zh) | 一种基于移动日常运维流程的场景化app掌上运维方法 | |
| CN107491503A (zh) | 一种多功能客户信息管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150610 |