CN110096545A - 一种基于大数据平台数据处理域构架方法 - Google Patents
一种基于大数据平台数据处理域构架方法 Download PDFInfo
- Publication number
- CN110096545A CN110096545A CN201910184068.2A CN201910184068A CN110096545A CN 110096545 A CN110096545 A CN 110096545A CN 201910184068 A CN201910184068 A CN 201910184068A CN 110096545 A CN110096545 A CN 110096545A
- Authority
- CN
- China
- Prior art keywords
- service
- data
- message
- component
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及信息化建设领域，具体地来讲为一种基于大数据平台数据处理域构架方法，该方法包括：建立服务总线为服务提供者和服务调用者之间通过由各种点对点连接构成的公共通信总线进行通信；建立消息中间件用于不同应用系统之间进行通讯；建立统一数据访问服务，提供底层异构数据库的统一数据访问入口，将多个底层的物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库。本发明数据处理域通过服务总线、消息中间件实现系统间的服务集成架构，实现跨部门业务协同和逻辑数据共享为业务监测类应用提供灵活的多数据源访问，实现统一的数据监测。解决业务数据的冗余复制和多份存储，数据一致性和及时性无法保证的问题。
Description
技术领域
本发明涉及信息化建设领域，具体地来讲为一种基于大数据平台数据处理域构架方法。
背景技术
数据处理域是公司生产经营管理过程中各类业务数据存储、处理、融合的中心，是源业务系统各个分散数据库的归并、发展与提升，为公司各业务应用提供逻辑统一的数据支撑，主要支撑业务处理类应用，由过去数据复制的业务集成方式转变为共享使用方式，实现企业级端到端流程的真正贯通，同时解决系统间数据集成及数据复制过程中存在的数据安全、效率低下和资源浪费问题，是推进业务流程贯通和数据共享，保障数据质量的关键，提升数据应用水平的基础，并逐步实现源端数据的干净透明。
数据处理域的建设有利于促进跨部门的业务协同和信息共享，实现源端数据干净透明。目前，跨部门业务集成以数据复制共享方式为主，造成业务数据的冗余复制和多份存储，数据一致性和及时性无法保证。
发明内容
本发明所要解决的技术问题在于提供一种基于大数据平台数据处理域构架方法，解决数据的冗余复制和多份存储，数据一致性和及时性无法保证。
本发明是这样实现的，
一种基于大数据平台数据处理域构架方法，该方法包括：
建立服务总线为服务提供者和服务调用者之间通过由各种点对点连接构成的公共通信总线进行通信；
建立消息中间件用于不同应用系统之间进行通讯；
建立统一数据访问服务，提供底层异构数据库的统一数据访问入口，将多个底层的物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库。
进一步地，所述统一数据访问服务包括数据访问组件、统一元数据管理组件、代理访问组件、元数据采集服务、以及数据管理组件，其中：
数据访问组件提供标准的JDBC驱动，上层业务应用对接，业务应用在启动时，进行初始化，向统一元数据管理获取该业务应用的需要的元数据信息；
统一元数据管理组件对应用、库表、状态、权限、和性能进行管理；
代理访问组件，提供给业务应用通过API访问底层数据；
元数据采集服务组件，对数据源元数据、数据库状态、查询引擎状态信息进行采集；
数据管理组件包括日志管理，管理统一访问服务平台的日志信息的管理。
进一步地，服务总线包括服务注册、服务目录、服务网关、服务路由、基础功能以及服务监控，所述服务注册从服务目录里获取服务信息；所述服务注册为服务路由提供服务与服务之间调用关系；所述服务路由为服务监控提供支撑；所述服务监控为服务网关提供调用监控信息；所述服务网关为服务路由提供通信I/O框架、数据序列化和异常处理基础信息。
进一步地，通过所述服务总线实现与外系统的同步交互和异步交互。
进一步地，所述消息中间件包括，消息订阅组件提供消息消费者对消息主题的订阅功能；消息发布组件提供消息生产者对消息主题的发布功能；消息队列组件提供消息的队列功能；消息路由组件提供消息的路由选择功能；以及消息缓存组件提供消息数据的缓存功能。
本发明与现有技术相比，有益效果在于：本发明实现业务数据的全面融合共享，支撑一体化业务应用的建设。数据处理域通过企业服务总线、消息中间件实现系统间的服务集成架构，实现跨部门业务协同和逻辑数据共享；构建统一数据访问服务，实现不同类型数据库的统一接入，为业务监测类应用提供灵活的多数据源访问，实现统一的数据监测。解决业务数据的冗余复制和多份存储，数据一致性和及时性无法保证的问题。
通过服务总线和消息中间件是系统间优化集成模式的实现途径，改变原有“搬数据”的数据集成模式，通过服务集成的方式，从原有“搬数据” 改为“看数据”，实现跨部门业务协同和逻辑数据共享，实现真正数据与流程贯通，消除数据冗余，提升源端数据质量。
附图说明
图1为本发明实施例提供的基于本发明方法的数据处理域框图；
图2为本发明实施例提供的服务总线的功能模块框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参见图1所示，一种基于大数据平台数据处理域构架方法，该方法包括：
建立服务总线为服务提供者和服务调用者之间通过由各种点对点连接构成的公共通信总线进行通信；
建立消息中间件用于不同应用系统之间进行通讯；
建立统一数据访问服务，提供底层异构数据库的统一数据访问入口，将多个底层的物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库。
统一数据访问服务解决应用层和数据层的解耦问题，是对底层异构数据库的统一数据访问入口，它将多个底层的物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库，适用于跨专业数据共享，隔离应用与数据库的直接连接，实现不同类型数据库的统一接入和全业务数据的便捷访问，提高跨专业数据一致性、时效性与安全性。
包括数据访问组件、统一元数据管理组件、代理访问组件、元数据采集服务、以及数据管理组件，其中：
数据访问组件提供标准的JDBC驱动，上层业务应用对接，业务应用在启动时，进行初始化，向统一元数据管理获取该业务应用的需要的元数据信息，包含SQL解析、驱动管理、权限管理、连接管理、路由管理、负载管理、容错管理等等功能模块；
统一元数据管理组件对应用、库表、状态、权限、和性能进行管理；
代理访问组件，提供给业务应用通过API访问底层数据，起到了安全隔离作用；
元数据采集服务组件，对数据源元数据、数据库状态、查询引擎状态信息进行采集；数据源元数据采集的数据主要包括：数据库对应的库、表以及库表的详细定义（已经存在）等相关数据的采集。数据源元数据收集提供采集器编写规范，以标准的适配器开发方式提供给客户，以便完成自有数据源元数据的采集。
数据管理组件包括日志管理，管理统一访问服务平台的日志信息的管理。
参见图2所示，服务总线基于高可用分布式集群技术构建，符合OPEN API规范的开放平台，可实现跨系统跨协议实时小数据量传输的数据传输通道，支持服务提供者和服务调用者之间通过由各种点对点连接构成的公共通信总线进行通信。各个系统以发布、订阅服务API的形式相互开放，并对服务API进行统一管理和组织包括服务注册、服务目录、服务网关、服务路由、基础功能以及服务监控，所述服务注册从服务目录里获取服务信息；所述服务注册为服务路由提供服务与服务之间调用关系；所述服务路由为服务监控提供支撑；所述服务监控为服务网关提供调用监控信息；所述服务网关为服务路由提供通信I/O框架、数据序列化和异常处理基础信息。
通过所述服务总线实现与外系统的同步交互和异步交互。当需要实时获取另一个系统或多个系统的数据时，并且要求数据的即时性和准确性，则通过同步接口实时返回数据保证数据的即时性、准确性。但同时因实时性要求，交互的数据量较小，一般不大于1M（包括压缩后）；某个数据需求需要获取多个外系统的数据组合时，一般通过服务总线集成的方式将外系统的多个数据或不同协议的数据进行编排、组合，封装成需要的数据并返回。当某系统需要获取另一系统或多个系统的数据，如存在以下因素时建议采用异步接口交互：响应时间长、数据量较大等，是否采用异步交互，可根据现网业务需求与实际情况综合考虑。比如通过多个同步接口分步完成一套信息交互的方式来代替异步接口。
消息中间件用于不同应用系统之间进行通讯，通过消息的传递完成交互，提供异步和解耦的功能；实现高性能，高可用，可伸缩和最终一致性架构，提升大规模分布式应用环境下数据传输的效率与可靠性，并支持对大数据和流式数据的传输。包括，消息订阅组件提供消息消费者对消息主题的订阅功能；消息发布组件提供消息生产者对消息主题的发布功能；消息队列组件提供消息的队列功能；消息路由组件提供消息的路由选择功能；以及消息缓存组件提供消息数据的缓存功能。
参见图1所示，从业务数据库获取的数据经过处理后提供给服务或一体业务应用，本发明可用于：事务处理类应用主要基于处理域实现特定业务职能或业务流程；采集量测类应用，从各采集终端/采集前置机获取采集量测数据，并进行数据清洗处理，最终将数据保存到分析域，供其他分析应用使用。其数据具有时序性强、逻辑结构简单、数据量大等特点。典型如：用电信息采集数据、输变电设备状态监测数据等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于大数据平台数据处理域构架方法，其特征在于，该方法包括：
建立服务总线为服务提供者和服务调用者之间通过由各种点对点连接构成的公共通信总线进行通信；
建立消息中间件用于不同应用系统之间进行通讯；
建立统一数据访问服务，提供底层异构数据库的统一数据访问入口，将多个底层的物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库。
2.按照权利要求1所述的方法，其特征在于，所述统一数据访问服务包括数据访问组件、统一元数据管理组件、代理访问组件、元数据采集服务、以及数据管理组件，其中：
数据访问组件提供标准的JDBC驱动，上层业务应用对接，业务应用在启动时，进行初始化，向统一元数据管理获取该业务应用的需要的元数据信息；
统一元数据管理组件对应用、库表、状态、权限、和性能进行管理；
代理访问组件，提供给业务应用通过API访问底层数据；
元数据采集服务组件，对数据源元数据、数据库状态、查询引擎状态信息进行采集；
数据管理组件包括日志管理，管理统一访问服务平台的日志信息的管理。
3.按照权利要求1所述的方法，其特征在于，服务总线包括服务注册、服务目录、服务网关、服务路由、基础功能以及服务监控，所述服务注册从服务目录里获取服务信息；所述服务注册为服务路由提供服务与服务之间调用关系；所述服务路由为服务监控提供支撑；所述服务监控为服务网关提供调用监控信息；所述服务网关为服务路由提供通信I/O框架、数据序列化和异常处理基础信息。
4.按照权利要求1所述的方法，其特征在于，通过所述服务总线实现与外系统的同步交互和异步交互。
5.按照权利要求1所述的方法，其特征在于，所述消息中间件包括，消息订阅组件提供消息消费者对消息主题的订阅功能；消息发布组件提供消息生产者对消息主题的发布功能；消息队列组件提供消息的队列功能；消息路由组件提供消息的路由选择功能；以及消息缓存组件提供消息数据的缓存功能。
6.按照权利要求1所述的方法，其特征在于，所述服务总线、消息中间件、统一数据访问服务均通过业务数据库获取基础数据，经过所述服务总线、消息中间件、统一数据访问服务处理提供给给业务应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910184068.2A CN110096545A (zh) | 2019-03-12 | 2019-03-12 | 一种基于大数据平台数据处理域构架方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910184068.2A CN110096545A (zh) | 2019-03-12 | 2019-03-12 | 一种基于大数据平台数据处理域构架方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110096545A true CN110096545A (zh) | 2019-08-06 |
Family
ID=67443958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910184068.2A Pending CN110096545A (zh) | 2019-03-12 | 2019-03-12 | 一种基于大数据平台数据处理域构架方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110096545A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651332A (zh) * | 2020-02-24 | 2020-09-11 | 中国工程物理研究院计算机应用研究所 | 一种基于消息中间件的大规模异构设备集成控制方法 |
| CN111984830A (zh) * | 2020-07-29 | 2020-11-24 | 中国石油集团工程股份有限公司 | 一种管理运维平台及数据处理方法 |
| CN112311893A (zh) * | 2020-11-09 | 2021-02-02 | 成都市软件产业发展中心(成都信息化技术应用发展中心) | 跨区域、业务、系统数据服务中间件及数据验证方法 |
| CN113742030A (zh) * | 2021-07-29 | 2021-12-03 | 南方电网深圳数字电网研究院有限公司 | 跨区服务配置方法、装置和存储介质 |
| CN113923159A (zh) * | 2021-08-24 | 2022-01-11 | 锦翰科技(深圳)有限公司 | 一种数据消息集中处理的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103259701A (zh) * | 2012-12-04 | 2013-08-21 | 中国科学院沈阳自动化研究所 | 面向复杂生产过程管理系统的消息总线实现方法 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
| CN109144982A (zh) * | 2018-09-29 | 2019-01-04 | 北京友友天宇系统技术有限公司 | 多维全息数据库动态构建技术系统 |
| CN111787058A (zh) * | 2020-05-26 | 2020-10-16 | 北京航空航天大学 | 跨域虚拟数据空间中轻量级信息订阅和推送方法 |
-
2019
- 2019-03-12 CN CN201910184068.2A patent/CN110096545A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103259701A (zh) * | 2012-12-04 | 2013-08-21 | 中国科学院沈阳自动化研究所 | 面向复杂生产过程管理系统的消息总线实现方法 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
| CN109144982A (zh) * | 2018-09-29 | 2019-01-04 | 北京友友天宇系统技术有限公司 | 多维全息数据库动态构建技术系统 |
| CN111787058A (zh) * | 2020-05-26 | 2020-10-16 | 北京航空航天大学 | 跨域虚拟数据空间中轻量级信息订阅和推送方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651332A (zh) * | 2020-02-24 | 2020-09-11 | 中国工程物理研究院计算机应用研究所 | 一种基于消息中间件的大规模异构设备集成控制方法 |
| CN111984830A (zh) * | 2020-07-29 | 2020-11-24 | 中国石油集团工程股份有限公司 | 一种管理运维平台及数据处理方法 |
| CN112311893A (zh) * | 2020-11-09 | 2021-02-02 | 成都市软件产业发展中心(成都信息化技术应用发展中心) | 跨区域、业务、系统数据服务中间件及数据验证方法 |
| CN113742030A (zh) * | 2021-07-29 | 2021-12-03 | 南方电网深圳数字电网研究院有限公司 | 跨区服务配置方法、装置和存储介质 |
| CN113923159A (zh) * | 2021-08-24 | 2022-01-11 | 锦翰科技(深圳)有限公司 | 一种数据消息集中处理的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110096545A (zh) | 一种基于大数据平台数据处理域构架方法 | |
| US20200344189A1 (en) | Communication method and communication apparatus | |
| CN112968943B (zh) | 一种电力协同平台 | |
| CN108446335B (zh) | 基于数据库的异构系统数据抽取及统一对外数据交换方法 | |
| CN111813570A (zh) | 一种电力物联网的事件驱动型消息交互方法 | |
| CN112235130A (zh) | 一种实现基于sdn网络的运维自动化的方法和装置 | |
| CN103546343B (zh) | 网络流量分析系统的网络流量展示方法和系统 | |
| WO2020186807A1 (zh) | 一种基于区块链技术的电力数据链接系统及方法 | |
| WO2005098652A2 (en) | Providing enterprise information | |
| CN112100265A (zh) | 面向大数据架构与区块链的多源数据处理方法及装置 | |
| CN112069265A (zh) | 配置数据的同步方法、业务数据系统、计算机系统和介质 | |
| CN101808051B (zh) | 应用整合网关及其控制方法 | |
| US20080162690A1 (en) | Application Management System | |
| CN103716408A (zh) | 一种基于esb的企业应用集成方法及系统 | |
| CN110213156A (zh) | 一种跨中心群组即时通信方法和系统 | |
| CN104468299A (zh) | 基于用户规则的企业服务总线系统 | |
| CN116489214A (zh) | 一种基于微服务网关的统一服务调度方法、装置、介质及设备 | |
| CN115115329A (zh) | 一种面向智能生产线的制造中间件及云制造架构 | |
| CN110581893A (zh) | 数据传输方法、装置、路由设备、服务器及存储介质 | |
| CN114448686B (zh) | 一种基于微服务的跨网络通信装置与方法 | |
| US11146517B2 (en) | Intermediary device for data message network routing | |
| WO2022156542A1 (zh) | 数据访问方法、系统和存储介质 | |
| CN111309691A (zh) | 基于总线架构的数据共享交换系统和交换方法 | |
| CN108228756A (zh) | 基于日志解析技术的PG数据库到Hadoop平台的数据同步复制方法 | |
| CN103645959A (zh) | 电信实时系统多进程共享内存池交互组件和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |