CN109857570A - 业务系统的标准化数据类微模块 - Google Patents
业务系统的标准化数据类微模块 Download PDFInfo
- Publication number
- CN109857570A CN109857570A CN201811634264.7A CN201811634264A CN109857570A CN 109857570 A CN109857570 A CN 109857570A CN 201811634264 A CN201811634264 A CN 201811634264A CN 109857570 A CN109857570 A CN 109857570A
- Authority
- CN
- China
- Prior art keywords
- data
- micromodule
- submodule
- class
- standardized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种业务系统的标准化数据类微模块，包括数据服务类微模块和数据存储类微模块；数据服务类微模块包括：数据访问管理子模块，用于底层数据的管理、调用和分发；数据交换共享子模块，用于实现子服务之间的数据共享；数据存储类微模块包括：原始数据子模块；基础数据子模块；主题数据子模块，用于存储与业务应用相关的统计分析结果；共享交换子模块，用于存储待共享交换数据及数据服务中包含的数据。通过将系统的数据标准化过程分解成为微模块，在数据生成、数据录入、数据采集、数据传输、数据存储等环节寻找微模块，并将之标准化，让各个系统统一采用该标准微模块，最终实现数据系统标准化，标准模块IT化，解决了信息孤岛问题。
Description
技术领域
本发明涉及微服务技术领域，具体地，涉及一种业务系统的标准化数据类微模块。
背景技术
随着信息时代逐步演进到数据时代，数据以资源的形态作为国家战略之一，与政策要求相对应的数据格式标准化、数据处理标准化等问题没有得到根本性解决相矛盾，数据标准化是真正打破“信息孤岛”的第一步。
传统数据标准化有二种方式，一种是通过对数据本身的标准规定，用文档、行政规定、同一数据标准接口方式等方法，用于2级或者2级上的系统部署方式，由于不同厂家或者标准本身不能绝对标准化，导致数据标准化效果不明显，产生数据孤岛、交换共享能力不足；另一种是通过系统一级部署方式强迫数据标准化，但是这样的IT系统必然会导致灵活性差，使应用受限制。以上两种方式都是“信息孤岛”面临急需解决的问题。
将系统的数据标准化过程分解成为微模块，在数据生成、数据录入、数据采集、数据传输、数据存储等环节寻找微模块，并将之标准化，让各个系统统一采用该标准微模块，最终实现数据系统标准化，标准模块IT化，是解决“信息孤岛”问题的有力武器，是数据标准化的创新实践。
公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
为了解决现有技术中遇到的上述问题，本发明提出了一种业务系统的标准化数据类微模块。
该标准化数据类微模块包括数据服务类微模块和数据存储类微模块；
所述数据服务类微模块包括：
数据访问管理子模块，用于数据的管理、调用和分发；
数据交换共享子模块，用于将单一应用程序划分为一组子服务，通过定义数据标准实现子服务之间的数据共享；
所述数据存储类微模块用于支撑所述数据服务类模块，包括：
原始数据子模块，用于存储接入系统的原始数据；
基础数据子模块，用于存储对所述原始数据进行IT化的标准化制定后形成的数据；
主题数据子模块，用于存储与业务应用相关的统计分析结果；
共享交换子模块，用于存储待共享交换数据及数据服务中包含的数据。
优选地，所述数据访问管理子模块采用API调用方式实现底层数据的管理、调用和分发。
优选地，所述数据交换共享子模块利用数据接口集进行数据接入API管理。
优选地，所述数据交换共享子模块采用MSF4J微服务框架。
优选地，所述数据交换共享子模块使用Java注解定义微服务API。
优选地，所述数据交换共享子模块通过Netty进行消息传输，将所创建的API通过Maven构建并部署到Docker容器中。
优选地，所述基础数据子模块的存储区域采用混合数据库架构模式。
优选地，所述主题数据子模块的存储区域采用混合数据库架构模式。
本发明具有以下有益技术效果：
通过将系统的数据标准化过程分解成为微模块，在数据生成、数据录入、数据采集、数据传输、数据存储等环节寻找微模块，并将之标准化，让各个系统统一采用该标准微模块，最终实现数据系统标准化，标准模块IT化，解决了信息孤岛问题。
本发明的方法具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施例中将是显而易见的，或者将在并入本文中的附图和随后的具体实施例中进行详细陈述，这些附图和具体实施例共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
图1示出根据本发明的示例性实施方案的业务系统的标准化数据类微模块的结构图。
附图标记说明：
10、数据服务类微模块
20、数据存储类微模块
110、数据访问管理子模块
120、数据交换共享子模块
210、原始数据子模块
220、基础数据子模块
230、共享交换子模块
240、主题数据子模块。
具体实施方式
下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
基于微服务技术采用数据分层存储模式，以数据生命周期及数据应用场景进行划分为原始数据区、基础数据区、主题数据区、共享交换区四大区，保障平台存储的安全、可靠、稳定。
数据存储动作发生在数据接入后，系统需根据各接口数据特点定制化数据处理作业，一方面将数据清洗、转换入库，另一方面进行必要的实时性分析。
图1示出根据本发明的示例性实施方案的示出根据本发明的示例性实施方案的业务系统的标准化数据类微模块的结构图。
如图1所示，访业务系统的标准化数据类微模块主要包括数据服务类微模块10、数据存储类微模块20。
数据服务类微模块10主要包括：
数据访问管理子模块110，用于数据的管理、调用和分发。具体地，该子模块负责底层数据的管理及调用分发，利用微服务技术实现业务与数据的解耦，每个业务应用拆分为独立的业务微应用，各个业务微应用之间数据管理与调用由传统的接口对接方式替换为API调用方式，大大提升了数据管理及调用的灵活性。
数据交换共享子模块120，用于将单一应用程序划分为一组子服务，通过定义数据标准实现子服务之间的数据共享。
具体地，该子模块负责数据标准定义、管理、应用，共享接口的定义管理，共享权限的接入管理，利用微服务技术实现多源异构IT系统的数据共享功能。通过将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，使得平台中的新旧功能业务可以自由增减、互不影响。
利用数据接口集进行数据接入API管理，采用MSF4J轻量级高性能的微服务框架，使用Java注解进行定义微服务API，通过Netty实现消息传输，将创建好的API服务直接使用maven构建并部署到Docker容器中。
每个服务运行在其独立的进程中，服务与服务间采用轻量级的通信机制互相沟通(通常是基于HTTP协议的RESTful API)。每个服务都围绕着具体业务进行构建，并且能够被独立的部署到生产环境、类生产环境等。微服务的架构特点是要开发一种独立的应用作为一套微小服务，这些服务都是建立在业务能力的基础上，并以全自动化开发设备作为保障独立运行。
基于微服务架构，每个独立的应用服务只需要满足自身的技术规范体系即可，完全独立于其他应用平台和平台。
数据存储类微模块20用于支撑数据服务类微模块10，利用微服务技术形成如下数据存储类微模块：
原始数据子模块210，用于存储接入系统的原始数据。也即，该子模块用于存储系统分析来源数据，采用大数据存储技术，使用分布式、弹性扩展的数据库，确保数据原貌，保障数据不丢失。
基础数据子模块220，用于存储对所述原始数据进行IT化的标准化制定后形成的数据，也即存储对所述原始数据进行质量清洗、样本选取、降维处理后的数据。具体地，其存储用于主题业务分析的数据。为保证或满足分析对数据的需求，通常需要将原始数据进行质量清洗、样本选取、数据降维等处理，处理后数据将存储在基础数据中。此存储区域采用混合数据库架构模式，保证标签数据分析的准确性、高效性、可用性。
共享交换子模块230，用于存储待共享交换数据及数据服务中包含的数据，也即可以将该模块视为缓冲区。具体地，该子模块用于存储待共享交换数据及数据服务中包含的数据，采用稳定高效数据存储技术，基于MSF4J框架提供数据服务API和数据共享传输通道，为数据中心外部业务系统及应用提供高效数据服务能力；数据共享传输通道采用RocketMq，保障海量数据共享过程中的稳定性并提供快速友好的数据支撑能力。
针对微服务的技术特点，可以对每一个数据项建立标准接口，对数据接口进行二次封装，规范化、标准化、统一化的发布、访问管理，以及推送用户数据以及消息队列等服务。同时，建立微服务总线接管标准接口，按接口细粒度对数据资源进行管理，形成服务目录、数据目录和安全目录。通过服务目录、数据目录及安全目录的协同使用，有效避免了服务交换过程中不可监督、不可视、不可追溯、不可控导致的数据滥用、冒用和复用。
在一个示例中，该标准化数据类微模块的数据存储类微模块还包括主题数据子模块，用于存储资产分析结果、主题分析结果。此部分数据可直接用于分析呈现、数据运营。采用高效率、高性能大数据存储技术，应各类主题数据特性采用混合数据库架构模式。
根据本发明的标准化数据类微模块，采用读写分离设计，实现数据生成与数据采集分离，将分散在业务系统中的孤岛数据融合到数据中心，实现数据的融合存储。
基于微服务架构形成行业通用的技术标准、敏捷的数据共享交换体系，实现数据交换共享的标准化，形成数据调度按需内部交换、外部共享的机制。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (8)
1.一种业务系统的标准化数据类微模块，其特征在于，包括数据服务类微模块和数据存储类微模块；
所述数据服务类微模块包括：
数据访问管理子模块，用于数据的管理、调用和分发；
数据交换共享子模块，用于将单一应用程序划分为一组子服务，通过定义数据标准实现子服务之间的数据共享；
所述数据存储类微模块用于支撑所述数据服务类模块，包括：
原始数据子模块，用于存储接入系统的原始数据；
基础数据子模块，用于存储对所述原始数据进行IT化的标准化制定后形成的数据；
主题数据子模块，用于存储与业务应用相关的统计分析结果；
共享交换子模块，用于存储待共享交换数据及数据服务中包含的数据。
2.根据权利要求1所述的业务系统的标准化数据类微模块，其特征在于，所述数据访问管理子模块采用API调用方式实现底层数据的管理、调用和分发。
3.根据权利要求1所述的业务系统的标准化数据类微模块，其特征在于，所述数据交换共享子模块利用数据接口集进行数据接入API管理。
4.根据权利要求1所述的业务系统的标准化数据类微模块，其特征在于，所述数据交换共享子模块采用MSF4J微服务框架。
5.根据权利要求4所述的业务系统的标准化数据类微模块，其特征在于，所述数据交换共享子模块使用Java注解定义微服务API。
6.根据权利要求5所述的业务系统的标准化数据类微模块，其特征在于，所述数据交换共享子模块通过Netty进行消息传输，将所创建的API通过Maven构建并部署到Docker容器中。
7.根据权利要求1所述的业务系统的标准化数据类微模块，其特征在于，所述基础数据子模块的存储区域采用混合数据库架构模式。
8.根据权利要求1所述的业务系统的标准化数据类微模块，其特征在于，所述主题数据子模块的存储区域采用混合数据库架构模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811634264.7A CN109857570A (zh) | 2018-12-29 | 2018-12-29 | 业务系统的标准化数据类微模块 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811634264.7A CN109857570A (zh) | 2018-12-29 | 2018-12-29 | 业务系统的标准化数据类微模块 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109857570A true CN109857570A (zh) | 2019-06-07 |
Family
ID=66893306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811634264.7A Pending CN109857570A (zh) | 2018-12-29 | 2018-12-29 | 业务系统的标准化数据类微模块 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109857570A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117033487A (zh) * | 2023-08-11 | 2023-11-10 | 北京长河数智科技有限责任公司 | 一种基于数据共享的接口灵活编排的系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140043325A1 (en) * | 2012-08-10 | 2014-02-13 | Microsoft Corporation | Facetted browsing |
| US20150324844A1 (en) * | 2014-05-09 | 2015-11-12 | Bilin Technology, Inc. | Advertising marketplace systems and methods |
| CN106371846A (zh) * | 2016-09-06 | 2017-02-01 | 上海天旦网络科技发展有限公司 | 基于网络数据和消息中间件的快速开发方法和业务系统 |
| CN107193546A (zh) * | 2017-04-11 | 2017-09-22 | 国网天津市电力公司信息通信公司 | 一种微服务化业务应用系统 |
| CN107357856A (zh) * | 2017-06-29 | 2017-11-17 | 广西电网有限责任公司 | 基于电网全景业务模型数据集成及数据服务的实现方法 |
| CN107451246A (zh) * | 2017-07-28 | 2017-12-08 | 深圳航天智慧城市系统技术研究院有限公司 | 一种适用于大型城市的信息资源一体化处理系统 |
| CN107491858A (zh) * | 2017-07-05 | 2017-12-19 | 北京科东电力控制系统有限责任公司 | 一种基于微服务应用架构的电力交易平台 |
| CN107786379A (zh) * | 2017-11-15 | 2018-03-09 | 四川省龙逸凤集网络科技有限公司 | 一种基于微服务架构的分层云管理平台 |
| CN107862572A (zh) * | 2017-11-06 | 2018-03-30 | 北京中电普华信息技术有限公司 | 一种电力营销业务应用系统 |
-
2018
- 2018-12-29 CN CN201811634264.7A patent/CN109857570A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140043325A1 (en) * | 2012-08-10 | 2014-02-13 | Microsoft Corporation | Facetted browsing |
| US20150324844A1 (en) * | 2014-05-09 | 2015-11-12 | Bilin Technology, Inc. | Advertising marketplace systems and methods |
| CN106371846A (zh) * | 2016-09-06 | 2017-02-01 | 上海天旦网络科技发展有限公司 | 基于网络数据和消息中间件的快速开发方法和业务系统 |
| CN107193546A (zh) * | 2017-04-11 | 2017-09-22 | 国网天津市电力公司信息通信公司 | 一种微服务化业务应用系统 |
| CN107357856A (zh) * | 2017-06-29 | 2017-11-17 | 广西电网有限责任公司 | 基于电网全景业务模型数据集成及数据服务的实现方法 |
| CN107491858A (zh) * | 2017-07-05 | 2017-12-19 | 北京科东电力控制系统有限责任公司 | 一种基于微服务应用架构的电力交易平台 |
| CN107451246A (zh) * | 2017-07-28 | 2017-12-08 | 深圳航天智慧城市系统技术研究院有限公司 | 一种适用于大型城市的信息资源一体化处理系统 |
| CN107862572A (zh) * | 2017-11-06 | 2018-03-30 | 北京中电普华信息技术有限公司 | 一种电力营销业务应用系统 |
| CN107786379A (zh) * | 2017-11-15 | 2018-03-09 | 四川省龙逸凤集网络科技有限公司 | 一种基于微服务架构的分层云管理平台 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117033487A (zh) * | 2023-08-11 | 2023-11-10 | 北京长河数智科技有限责任公司 | 一种基于数据共享的接口灵活编排的系统及方法 |
| CN117033487B (zh) * | 2023-08-11 | 2024-05-07 | 北京长河数智科技有限责任公司 | 一种基于数据共享的接口灵活编排的系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6370544B1 (en) | System and method for integrating enterprise management application with network management operations | |
| CN107766205B (zh) | 一种面向微服务调用过程跟踪的监控系统及方法 | |
| CN106131213B (zh) | 一种服务管理方法和系统 | |
| Hamm et al. | Success factors for the adoption of artificial intelligence in organizations: A literature review | |
| CN102054032A (zh) | 一种医疗数据信息处理方法及其系统 | |
| CN112416625B (zh) | 免拷贝的进程间通信系统及方法 | |
| CN103179193B (zh) | 用于分布式应用系统的数据传输系统和数据传输方法 | |
| CN104660617B (zh) | 一种数据传输系统及方法 | |
| CN104796389A (zh) | 一种基础数据共享系统及其方法 | |
| CN107169069A (zh) | 分布式分级抽取多应用方法和数据抽取应用器 | |
| CN101632076A (zh) | 实时统一管理信息数据转换和监测设备及其方法 | |
| CN110262777A (zh) | 一种区块链应用框架 | |
| CN109857570A (zh) | 业务系统的标准化数据类微模块 | |
| Raza et al. | A review of middleware platforms in internet of things: a non–functional requirements approach | |
| CN101246564A (zh) | 一种基于Web Service和以XML为资产定义的资产管理系统 | |
| CN102447620A (zh) | 一种关联型数据库实时交换管理方法、装置以及系统 | |
| CN101304410A (zh) | 分布式web的智能信息平台 | |
| CN106569421A (zh) | 电动汽车的远程监控方法及系统 | |
| CN111192029A (zh) | 一种多业务平台交互处理系统及方法 | |
| CN100531042C (zh) | 针对借助xml的网络单元的配置和接口描述的网络管理方法和操作-和维护设备 | |
| CN108829709A (zh) | 分布式数据库管理方法、装置、存储介质和处理器 | |
| CN107911642A (zh) | 一种有线电视网络管理系统 | |
| CN113342624A (zh) | 系统告警信息统一发送及统一视图平台实现方法及装置 | |
| CN112582036A (zh) | 一种医疗数据交换平台 | |
| CN103810362A (zh) | 医疗信息交互传输框架系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |