CN112965948A - 一种基于数据的管理服务中台系统 - Google Patents
一种基于数据的管理服务中台系统 Download PDFInfo
- Publication number
- CN112965948A CN112965948A CN202011643133.2A CN202011643133A CN112965948A CN 112965948 A CN112965948 A CN 112965948A CN 202011643133 A CN202011643133 A CN 202011643133A CN 112965948 A CN112965948 A CN 112965948A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- submodule
- cross
- management service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000013500 data storage Methods 0.000 claims abstract description 9
- 238000009960 carding Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000012423 maintenance Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000013079 data visualisation Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 2
- 230000003370 grooming effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 2
- 238000001914 filtration Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004258 portal system Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于数据的管理服务中台系统，其包括：数据梳理模块，其用于对不同部门的数据进行整理；数据标准模块，其用于对不同部门的数据建立统一的参考标准；数据接入模块，其用于对不同部门的数据的跨网络、跨地域的统一接入；数据处理模块，其用于对接入的数据进行去整、去重、融合、转换、补全、关联；数据存储模块，其用于对处理后的数据进行保存，并生成数据库；数据共享模块，其用于实现跨地区、跨部门信息交换。本发明可以打破数据孤岛，形成内部开放的数据格局，实现数据跨部门、跨地区的共享，减少沟通成本，提升协作效率。
Description
技术领域
本发明属于中台技术领域，尤其涉及一种基于数据的管理服务中台系统。
背景技术
不同团队或公司搭建的不同系统，相互之间整合复杂困难，项目实施周期长、成本高昂，随着“互联网+”工作的不断推进和深入，内外网门户系统架构复杂，业务逻辑复杂，由于内部业务系统，是由在不同历史时期，不同团队或公司搭建的不同系统，相互之间整合复杂困难，项目实施周期长、成本高昂，同时数据的规模和复杂度不可同日而语，新需求和新规则在不断涌现，内容管理产品如何完成自我升级，完成数据的科学管理，高效利用，是内容管理产品新的命题。
目前存在的缺陷和不足：(1)重复造车，服务不重用，各个产品的公共功能例如人员管理、模板发布、工作流、元数据等模块各自为政，交互不统一，重复开发，造成浪费，同时也不利于数据集中管理；(2)业务对接成本高，协作难度大，系统和系统之间的对接，通过口口相传和文档的方式，沟通成本很高，同时不能满足快速变更的业务需求；(3)开发效率低下，产品复杂度高，不易维护，前后端不分离，功能都耦合在一个产品，牵一发动全身，开发人员不容易上手，扩展开发的能力很差；(4)业务分散，整理可控性差，不能够满足集中管理，运营，运维的需求；(5)性能瓶颈明显，可行性不高，不利于扩展；数据没有沉淀，数据利用率低，政企业务数据价值密度高，数据不集中，缺乏科学管理利用的工具和措施。
发明内容
本发明的目的在于：针对现有技术的上述缺陷，提供一种基于数据的管理服务中台系统，解决现有系统数据不能共享，重复开发，控制灵活性差的问题。
为了实现上述目的，本发明采用了如下技术方案：一种基于数据的管理服务中台系统，其包括：数据梳理模块，其用于对不同部门的数据进行整理；数据标准模块，其用于对不同部门的数据建立统一的参考标准；数据接入模块，其用于对不同部门的数据的跨网络、跨地域的统一接入；数据处理模块，其用于对接入的数据进行去整、去重、融合、转换、补全、关联；数据存储模块，其用于对处理后的数据进行保存，并生成数据库；数据共享模块，其用于实现跨地区、跨部门信息交换。
作为上述技术方案的进一步描述：
所述数据梳理模块采用兼容各个电子系统、以信息资源的时间为主线收集、以信息资源的研究内容为主线和从业务应用出发对数据进行整理。
作为上述技术方案的进一步描述：
所述数据梳理模块还包括数据记录子模块，所述数据记录子模块用于梳理明确信息资源的出口、入口、数据间关系。
作为上述技术方案的进一步描述：
所述数据标准模块通过数据标准规范对信息建立统一的参考标准。
作为上述技术方案的进一步描述：
所述数据接入模块包括执行引擎子模块，控制台子模块、第三方接口子模块、数据接入日志子模块，所述引擎子模块用于对变更数据的捕获，所述控制台子模块用于对数据采集的性能监控，异常情况的管理，第三方接口子模块用于对产品的集成和二次开发，数据接入日志子模块用于对接入数据进行日志记录。
作为上述技术方案的进一步描述：
所述数据处理模块包括数据清洗子模块和数据比对子模块。
作为上述技术方案的进一步描述：
所述数据存储模块还包括数据运维监管子模块和数据质量监管子模块，所述数据质量监管子模块用于对数据的质量进行检查，并对异常数据进行处理，所述数据运维监管子模块用于实时监控数据的动态。
作为上述技术方案的进一步描述：
所述数据共享模块包括数据交换子模块和数据可视化子模块，所述数据交换子模块用于对数据的传输、交换、格式和转换，所述数据可视化子模块用于对数据可视化展示。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，通过汇聚内外部数据,形成数据仓库，通过清洗、数据资源目录，开放的数据共享和交换服务，使数据在汇聚的同时，提高数据的准确和有效性，能充分达到内外部系统的方便有序共享，打破数据孤岛，形成内部开放的数据格局。
2、中台系统让数据在数据平台和业务系统之间形成了一个良性的闭环，应用与数据之间的关系较之以往更加紧密，从而使敏捷前台开发成为了可能，实现快速响应业务需求，灵活实现数据服务的目的。
3、数据中台构建了开放、灵活、可扩展的统一数据管理，将内、外部数据随需关联，打破了数据的系统界限。从而为日后的可视化建模等高阶的分析应用提供了良好的数据基础。
附图说明
图1为一种基于数据的管理服务中台系统的框架图。
图2为一种基于数据的管理服务中台系统中数据入库流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1和图2，本发明提供一种技术方案：一种基于数据的管理服务中台系统，其包括：数据梳理模块，其用于对不同部门的数据进行整理；数据标准模块，其用于对不同部门的数据建立统一的参考标准；数据接入模块，其用于对不同部门的数据的跨网络、跨地域的统一接入；数据处理模块，其用于对接入的数据进行去整、去重、融合、转换、补全、关联；数据存储模块，其用于对处理后的数据进行保存；数据共享模块，其用于实现跨地区、跨部门信息交换。
进一步地，所述数据梳理模块采用兼容各个电子系统、以信息资源的时间为主线收集、以信息资源的研究内容为主线和从业务应用出发对数据进行整理，具体的，兼容各个电子系统先对这些系统进行整合，抽取出符合要求的信息资源；以信息资源的时间为主线收集是根据信息资源的产生的时间先后进行整理，通过时间整理数据，逻辑上比较清楚；以信息资源的研究内容为主线其实就是根据其职能范围来整理数据。
进一步地，所述数据梳理模块还包括数据记录子模块，所述数据记录子模块用于梳理明确信息资源的出口、入口、数据间关系。支持信息资源的文档的自动化生成(数据库设计文档、信息资源目录、实体关系图等)；支持思维导图等方式的可视化展示。
进一步地，所述数据标准模块通过数据标准规范对信息建立统一的参考标准，由公共数据元标准、公共代码标准、公共数据存取规范和数据交换规范组成，可以增强业务部门和技术部门对数据定义和使用的一致性。减少数据转换，促进系统集成。促进信息资源共享。促进单一数据视图的形成，支持管理信息能力的发展。消除各部门间的数据壁垒，方便数据的共享，另外数据标准同样对业务流程的规范化有帮助作用。
进一步地，所述数据接入模块包括执行引擎子模块，控制台子模块、第三方接口子模块、数据接入日志子模块，所述引擎子模块用于对变更数据的捕获，通过重做日志采集和对数据库日志的解析，识别出变更数据内容；再通过事务的过滤、合成和加载等流程，实现事务的统一控制，确保事务的一致性和准确性所述控制台子模块用于对数据采集的性能监控，异常情况的管理，第三方接口子模块用于对产品的集成和二次开发，以满足用户不同业务场景的功能需求，数据接入日志子模块用于对接入数据进行日志记录，便于数据的查找。
进一步地，所述数据处理模块包括数据清洗子模块和数据比对子模块。数据清洗过程应该包含两个层次的含义，第一是数据过滤，将源数据按照一定的过滤规则进行区分，符合规则和不符合规则的数据分别存放到不同的数据表中；第二就是真正意义上的数据清洗，即按照清洗规则将数据源中的数据直接进行转换，并代替原来的数据。在实际工作中，可以先实现数据过滤的功能；数据比对：数据比对过程对两个数据表中的数据按照规则进行比对，比如只在某一个表中存在的数据，或者通过字段之间的关系定义比对规则。比对之后生成符合比对规则的结果表，和比对的统计信息表。获取所述数据库的属性，数据属性包括数据的编码格式、字符格式及字符长短；按照规则对编码格式不符合设定标准的数据和含有“脏数据”的数据进行修正；对所述读取的数据进行标准化处理，将经过标准化处理后的新数据导入数据存储模块。
进一步地，所述数据存储模块还包括数据运维监管子模块和数据质量监管子模块，所述数据质量监管子模块用于对数据的质量进行检查，并对异常数据进行处理，所述数据运维监管子模块用于实时监控数据的动态。
进一步地，所述数据共享模块包括数据交换子模块和数据可视化子模块，所述数据交换子模块用于对数据的传输、交换、格式和转换，所述数据可视化子模块用于对数据可视化展示。
工作原理：数据梳理模块，其用于对不同部门的数据进行整理，数据标准模块对不同部门的数据建立统一的参考标准；数据接入模块对不同部门的数据的跨网络、跨地域的统一接入；其次数据处理模块对接入的数据进行去整、去重、融合、转换、补全、关联；数据存储模块对处理后的数据进行保存，最后数据共享模块实现跨地区、跨部门信息交换。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于数据的管理服务中台系统，其特征在于，包括：
数据梳理模块，其用于对不同部门的数据进行整理；
数据标准模块，其用于对不同部门的数据建立统一的参考标准；
数据接入模块，其用于对不同部门的数据的跨网络、跨地域的统一接入；
数据处理模块，其用于对接入的数据进行去整、去重、融合、转换、补全、关联；
数据存储模块，其用于对处理后的数据进行保存，并生成数据库；
数据共享模块，其用于实现跨地区、跨部门信息交换。
2.根据权利要求1所述的一种基于数据的管理服务中台系统，其特征在于，所述数据梳理模块采用兼容各个电子系统、以信息资源的时间为主线收集、以信息资源的研究内容为主线和从业务应用出发对数据进行整理。
3.根据权利要求1所述的一种基于数据的管理服务中台系统，其特征在于，所述数据梳理模块还包括数据记录子模块，所述数据记录子模块用于梳理明确信息资源的出口、入口、数据间关系。
4.根据权利要求1所述的一种基于数据的管理服务中台系统，其特征在于，所述数据标准模块通过数据标准规范对信息建立统一的参考标准。
5.根据权利要求1所述的一种基于数据的管理服务中台系统，其特征在于，所述数据接入模块包括执行引擎子模块，控制台子模块、第三方接口子模块、数据接入日志子模块，所述引擎子模块用于对变更数据的捕获，所述控制台子模块用于对数据采集的性能监控，异常情况的管理，第三方接口子模块用于对产品的集成和二次开发，数据接入日志子模块用于对接入数据进行日志记录。
6.根据权利要求1所述的一种基于数据的管理服务中台系统，其特征在于，所述数据处理模块包括数据清洗子模块和数据比对子模块。
7.根据权利要求1所述的一种基于数据的管理服务中台系统，其特征在于，所述数据存储模块还包括数据运维监管子模块和数据质量监管子模块，所述数据质量监管子模块用于对数据的质量进行检查，并对异常数据进行处理，所述数据运维监管子模块用于实时监控数据的动态。
8.根据权利要求1所述的一种基于数据的管理服务中台系统，其特征在于，所述数据共享模块包括数据交换子模块和数据可视化子模块，所述数据交换子模块用于对数据的传输、交换、格式和转换，所述数据可视化子模块用于对数据可视化展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011643133.2A CN112965948A (zh) | 2020-12-30 | 2020-12-30 | 一种基于数据的管理服务中台系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011643133.2A CN112965948A (zh) | 2020-12-30 | 2020-12-30 | 一种基于数据的管理服务中台系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112965948A true CN112965948A (zh) | 2021-06-15 |
Family
ID=76271457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011643133.2A Pending CN112965948A (zh) | 2020-12-30 | 2020-12-30 | 一种基于数据的管理服务中台系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112965948A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113901042A (zh) * | 2021-12-10 | 2022-01-07 | 西安中电环通数字科技有限公司 | 生态环境数据动态活动水平库及终端 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105225190A (zh) * | 2015-09-30 | 2016-01-06 | 上海安技智能科技股份有限公司 | 一种仓储物流大数据共享平台 |
| CN107766425A (zh) * | 2017-09-13 | 2018-03-06 | 广西电网有限责任公司电力科学研究院 | 一种基于大数据的电力客户信息清洗装置 |
| CN108647217A (zh) * | 2017-12-27 | 2018-10-12 | 广东智政信息科技有限公司 | 基于安监应用的大数据平台集成管理系统 |
| CN111008197A (zh) * | 2019-11-20 | 2020-04-14 | 王锦志 | 一种电力营销服务系统数据中台设计方法 |
| CN111209269A (zh) * | 2019-12-16 | 2020-05-29 | 云赛智联股份有限公司 | 一种智慧城市大数据管理系统 |
| CN111383762A (zh) * | 2018-12-29 | 2020-07-07 | 李大旭 | 一种全民健康数据监管平台 |
| CN111768176A (zh) * | 2020-07-01 | 2020-10-13 | 浪潮云信息技术股份公司 | 一种联合监管智能管理方法及系统 |
| CN112148689A (zh) * | 2020-10-28 | 2020-12-29 | 云赛智联股份有限公司 | 一种用于城市级数据中台的数据共享交换系统 |
-
2020
- 2020-12-30 CN CN202011643133.2A patent/CN112965948A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105225190A (zh) * | 2015-09-30 | 2016-01-06 | 上海安技智能科技股份有限公司 | 一种仓储物流大数据共享平台 |
| CN107766425A (zh) * | 2017-09-13 | 2018-03-06 | 广西电网有限责任公司电力科学研究院 | 一种基于大数据的电力客户信息清洗装置 |
| CN108647217A (zh) * | 2017-12-27 | 2018-10-12 | 广东智政信息科技有限公司 | 基于安监应用的大数据平台集成管理系统 |
| CN111383762A (zh) * | 2018-12-29 | 2020-07-07 | 李大旭 | 一种全民健康数据监管平台 |
| CN111008197A (zh) * | 2019-11-20 | 2020-04-14 | 王锦志 | 一种电力营销服务系统数据中台设计方法 |
| CN111209269A (zh) * | 2019-12-16 | 2020-05-29 | 云赛智联股份有限公司 | 一种智慧城市大数据管理系统 |
| CN111768176A (zh) * | 2020-07-01 | 2020-10-13 | 浪潮云信息技术股份公司 | 一种联合监管智能管理方法及系统 |
| CN112148689A (zh) * | 2020-10-28 | 2020-12-29 | 云赛智联股份有限公司 | 一种用于城市级数据中台的数据共享交换系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113901042A (zh) * | 2021-12-10 | 2022-01-07 | 西安中电环通数字科技有限公司 | 生态环境数据动态活动水平库及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112199433A (zh) | 一种用于城市级数据中台的数据治理系统 | |
| CN112181955B (zh) | 一种用于重载铁路综合大数据平台信息共享的数据规范治理方法 | |
| CN112182077B (zh) | 一种基于数据中台技术的智能运维系统 | |
| CN111538720B (zh) | 电力行业基础数据清理的方法及系统 | |
| CN113642299A (zh) | 一种基于电网统计报表一键生成的方法 | |
| CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理系统 | |
| CN112965979A (zh) | 一种用户行为分析方法、装置及电子设备 | |
| CN112817958A (zh) | 电力规划数据采集方法、装置及智能终端 | |
| CN112965948A (zh) | 一种基于数据的管理服务中台系统 | |
| Ayinuer et al. | Design and research of unstructured data knowledge graph toolbased on neo4j graph database | |
| CN112328667B (zh) | 一种基于数据血缘的页岩气田地面工程数字化移交方法 | |
| CN110826845B (zh) | 一种多维组合成本分摊装置及方法 | |
| CN115016902B (zh) | 工业流程数字化管理系统及方法 | |
| CN111797156A (zh) | 一种人工智能微服务系统 | |
| CN116795816A (zh) | 一种基于流式处理的数仓建设方法和系统 | |
| CN108874818A (zh) | 一种数据智能可视化系统及方法 | |
| CN116523328A (zh) | 一种航空装备协同制造产业链协作智能决策方法 | |
| CN115237989A (zh) | 一种矿山数据采集系统 | |
| CN111177227B (zh) | 一种电力数据自助式分析系统及决策应用类迁移方法 | |
| CN110928938B (zh) | 一种接口中间件系统 | |
| CN114003774A (zh) | 一种用于智慧城市的电力大数据信息采集系统 | |
| CN111368550A (zh) | 一种舆情信息管理系统 | |
| CN112306992A (zh) | 一种基于互联网的大数据平台 | |
| KR20210045172A (ko) | 축산 질병 발생 분석을 위한 빅 데이터 관리 및 시스템 | |
| CN115660585A (zh) | 一种能源大数据中心平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |