CN114567633A - 一种支撑多栈数据库全生命周期的云平台系统及管理方法 - Google Patents

一种支撑多栈数据库全生命周期的云平台系统及管理方法 Download PDF

Info

Publication number
CN114567633A
CN114567633A CN202210194715.XA CN202210194715A CN114567633A CN 114567633 A CN114567633 A CN 114567633A CN 202210194715 A CN202210194715 A CN 202210194715A CN 114567633 A CN114567633 A CN 114567633A
Authority
CN
China
Prior art keywords
data
module
database
server
cloud platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210194715.XA
Other languages
English (en)
Other versions
CN114567633B (zh
Inventor
佟雷声
吴建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd
Original Assignee
Shanghai Pudong Development Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd filed Critical Shanghai Pudong Development Bank Co Ltd
Priority to CN202210194715.XA priority Critical patent/CN114567633B/zh
Priority claimed from CN202210194715.XA external-priority patent/CN114567633B/zh
Publication of CN114567633A publication Critical patent/CN114567633A/zh
Application granted granted Critical
Publication of CN114567633B publication Critical patent/CN114567633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种支撑多栈数据库全生命周期的云平台系统及其管理方法，该系统包括数据采集端、服务端、缓存模块和存储模块，其中，数据采集端与不同数据库集群相互连接，数据采集端与服务端连接，服务端分别与缓存模块、存储模块相连接，数据采集端用于从不同数据库集群采集相应数据，并将采集的所有数据传输至服务端；服务端用于控制数据采集端的工作状态，以及将接收的采集数据传输至存储模块；缓存模块用于保存云平台用户信息。与现有技术相比，本发明能够实现数据库统一纳管、统一监控、自动巡检以及自动化切换，提高数据库管理的效率、保证数据的安全可控。

Description

一种支撑多栈数据库全生命周期的云平台系统及管理方法
技术领域
本发明涉及数据库管理技术领域，尤其是涉及一种支撑多栈数据库全生命周期的云平台系统及管理方法。
背景技术
数据库和数据库管理是数据库系统的重要组成部分，数据库管理可以实现对数据库的组织、存储、管理等，随着计算机信息技术的飞速发展，目前很多企业使用计算机技术建立了数据库系统，通过数据库管理系统的良好应用，可以使企业能够高效地对数据信息进行处理。然而随着数据库种类、数量的增多，DBA(数据库管理员)工作日益繁重，企业就需要招聘更多的DBA对数据库进行人工维护，在现实中，由于数据库维护要求高、需要精细化管理数据库，导致企业往往无法寻求到满足条件的DBA人员。
此外，随着数字化、互联网的快速发展，海量数据成爆发式增长，企业面临着数据库种类多、数量多，占用资源多等问题，数据库运维层面缺乏整体的发现、预防、快速定位、和解决机制。目前市面上大部分数据库管理工具无法为运维团队通过标准自助化服务，同时这些管理工具的落地也需要进行大量适配，使用效率低，无法为数据库提供统一的管理功能，导致运维管理成本高，效率低，难以保障数据的安全可控。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种支撑多栈数据库全生命周期的云平台系统及管理方法，以能够实现数据库统一纳管、统一监控、自动巡检以及自动化切换，提高数据库管理的效率、保证数据的安全可控。
本发明的目的可以通过以下技术方案来实现：一种支撑多栈数据库全生命周期的云平台系统，包括数据采集端、服务端、缓存模块和存储模块，所述数据采集端与不同数据库集群相互连接，所述数据采集端与服务端连接，所述服务端分别与缓存模块、存储模块相连接，所述数据采集端用于从不同数据库集群采集相应数据，并将采集的所有数据传输至服务端；
所述服务端用于控制数据采集端的工作状态，以及将接收的采集数据传输至存储模块；
所述缓存模块用于保存云平台用户信息。
进一步地，所述数据采集端包括多个代理模块，所述多个代理模块分别部署于不同的数据库集群，所述代理模块连接有推送模块，所述代理模块用于采集数据库集群中服务器数据，并持久化到本地磁盘文件；所述推送模块用于将代理模块持久化的文件推送到kafka队列。
进一步地，所述不同的数据库集群包括Goldendb集群和Mysql集群。
进一步地，所述数据采集端与服务端之间设置有协调模块，所述协调模块用于提供订阅节点消息给代理模块，所述服务端通过修改订阅节点内容发布消息，以对应控制代理模块的工作状态。
进一步地，所述协调模块与服务端之间设置有数据管道模块，所述数据管道模块用于对kafka队列中的数据进行清洗、转换以及入库处理。
进一步地，所述数据管道模块与服务端之间设置有检索模块，所述检索模块用于对数据进行持久化存储以及提供数据的多维度检索服务给服务端。
进一步地，所述缓存模块具体为Redis数据库，所述存储模块具体为Mysql数据库。
一种支撑多栈数据库全生命周期的云平台管理方法，包括以下步骤：
S1、根据缓存模块保存的用户信息，相关用户登录云平台，在服务端修改设置协调模块的节点内容并发布消息；
S2、数据采集端从协调模块获取订阅节点消息，根据获取的订阅节点消息，数据采集端分别从不同数据库集群采集对应的数据，并将采集的所有数据全部输出至kafka对应数据类型的不同队列中；
S3、数据管道模块对kafka队列中的数据进行清洗、转换以及入库处理，之后将数据传输至检索模块；
S4、服务端通过查询操作，从检索模块获取所需数据；
S5、服务端将接收的数据传输至存储模块进行数据持久化。
进一步地，所述订阅节点消息包括对应于数据采集端的数据采集内容、数据采集开关以及数据采集频率。
进一步地，所述数据采集内容包括数据库集群的原始数据、服务器的配置数据、服务器的性能数据、组件的性能数据、组件的配置文件、组件的日志文件、操作系统日志。
与现有技术相比，本发明通过设置数据采集端、服务端、缓存模块和存储模块，以构建云平台系统，利用服务端控制数据采集端从不同数据库集群采集相应数据，使得云平台系统能够与现有的运维体系无缝集成，能够支持不同数据库全生命周期管理，实现数据库统一纳管、统一监控、自动巡检、自动化切换等功能。
本发明在数据采集端设置多个代理模块，并将代理模块与推送模块连接，将多个代理模块分别部署在不同的数据库集群，由此保证数据采集端能够可靠同步对应数据库集群的数据，此外，利用推送模块将采集的数据推送到kafka对应的队列中，有利于后续服务端快速准确查询到所需数据，提高数据库管理效率。
本发明通过设置协调模块，使得服务端能够修改协调模块的节点内容发布消息，由于数据采集端从协调模块订阅对应节点消息，从而保证了服务端能够及时有效控制数据采集端的工作状态，保证数据的安全可控。
附图说明
图1为本发明的系统结构示意图；
图2为本发明的方法流程示意图；
图3为实施例中功能架构示意图；
图4为实施例中技术架构示意图；
图5为实施例中构建的云平台系统架构示意图；
图中标记说明：1、数据采集端，2、服务端，3、缓存模块，4、存储模块，5、数据库集群。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
相应名称解释：
CMDB：配置管理数据库，是运维管理核心数据库，用于存储运维管理中涉及的各种管理对象的配置信息和关系信息
数据库集群：利用至少两台或者多台数据库服务器，构成一个虚拟单一数据库逻辑映像，向客户端提供透明的数据服务
DB组件：用于对数据库进行操作的组件。通过DB组件可以连接数据库，将需要的参数输入给数据库，把SQL语句交给数据库执行，然后取得需要的结果。DB组件支持的操作包括select、insert、update、delete、存储过程和监视表格；一个DB组件可以执行多个SQL语句。
实施例
如图1所示，一种支撑多栈数据库全生命周期的云平台系统，包括数据采集端1、服务端2、缓存模块3和存储模块4，数据采集端1与不同数据库集群5相互连接，数据采集端1与服务端2连接，服务端2分别与缓存模块3、存储模块4相连接，在实际应用中，不同的数据库集群5包括Goldendb集群和Mysql集群，本实施例中，缓存模块3具体为Redis数据库，存储模块4具体为Mysql数据库。
数据采集端1用于从不同数据库集群5采集相应数据，并将采集的所有数据传输至服务端2；
服务端2用于控制数据采集端1的工作状态，以及将接收的采集数据传输至存储模块4；
缓存模块3用于保存云平台用户信息。
其中，数据采集端1包括多个代理模块，多个代理模块分别部署于不同的数据库集群，代理模块连接有推送模块，代理模块用于采集数据库集群5中服务器数据，并持久化到本地磁盘文件；推送模块用于将代理模块持久化的文件推送到kafka队列。
此外，数据采集端1与服务端2之间设置有协调模块，协调模块用于提供订阅节点消息给代理模块，服务端2通过修改订阅节点内容发布消息，以对应控制代理模块的工作状态；
协调模块与服务端2之间设置有数据管道模块，数据管道模块用于对kafka队列中的数据进行清洗、转换以及入库处理。
数据管道模块与服务端2之间设置有检索模块，检索模块用于对数据进行持久化存储以及提供数据的多维度检索服务给服务端2。
将上述云平台系统应用于实际，以实现一种支撑多栈数据库全生命周期的云平台管理方法，如图2所示，包括以下步骤：
S1、根据缓存模块保存的用户信息，相关用户登录云平台，在服务端修改设置协调模块的节点内容并发布消息；
S2、数据采集端从协调模块获取订阅节点消息(包括对应于数据采集端的数据采集内容、数据采集开关以及数据采集频率)，根据获取的订阅节点消息，数据采集端分别从不同数据库集群采集对应的数据(包括数据库集群的原始数据、服务器的配置数据、服务器的性能数据、组件的性能数据、组件的配置文件、组件的日志文件、操作系统日志)，并将采集的所有数据全部输出至kafka对应数据类型的不同队列中；
S3、数据管道模块对kafka队列中的数据进行清洗、转换以及入库处理，之后将数据传输至检索模块；
S4、服务端通过查询操作，从检索模块获取所需数据；
S5、服务端将接收的数据传输至存储模块进行数据持久化。
本实施例基于上述技术方案，以构建出一种支撑多栈数据库全生命周期的云平台系统，其中，功能架构如图3所示，包括：
1.数据采集：INSIGHT agent组件负责采集goldendb集群和mysql集群的原始数据、服务器的配置数据、性能数据，组件的性能数据、配置文件、日志文件，操作系统的系统日志文件；采集的所有数据全部输出到Kafka对应数据类型的队列中；
2.数据存储：使用了ELK套件保存采集端收集的goldendb集群和mysql集群的各类原始数据；使用redis分布式缓存保存INSIGHT系统的登录用户的token、操作权限、资源权限列表；
3.数据交互：INSIGHT系统会和行方现有的统一运维系统、CMDB系统、统一日志平台、统一告警平台进行数据交互
4.数据管理、分析：INSIGHT Server组件从功能上目前划分为资源中心、数据洞察、运维管理、工作流管理、权限管理、告警管理、系统中心。
技术架构如图4所示，包括：
1.INSIGHT-AGENT：采集端包含insight agent和filebeat两个进程，insightagent采用go语言自研开发，启动多协程执行不同的shell脚本采集服务器上各类数据持久化到本地磁盘文件；filebeat是elasticsearch官方的开源组件，采用go语言开发，负责将insight agent持久化的文件推送到kafka队列；Goldendb集群或Mysql集群中各服务器节点上部署一个INSIGHT-AGENT模块；
2.INSIGHT-SERVER：服务端采用springboot2.2.1框架搭建，使用spring mvc+spring+mybatis组件完成服务端功能需求快速开发，前端基于vue框架开发展示页面；
3.GoldenDB OMM：GoldenDB的运维管理组件，负责提供GoldenDB的运维管理操作接口；
4.GoldenDB GTM：GoldenDB的全局事务管理组件，采用C++语言开发，在Proxy启动分布式事务时向GTM申请全局事务资源；
5.GoldenDB Proxy：GoldenDB的计算组件，采用C++语言开发，负责SQL优化、SQL路由、数据节点的负载均衡、分布式事务的调度等；
6.GoldenDB DB：GoldenDB的存储组件，采用C++语言开发，基于开源MySQL深度定制开发的关系数据库；
7.Kafka：提供消息队列服务，INSIGHT-AGENT采集的所有种类的数据都存储到kafka不同的队列中；
8.Zookeeper:提供分布式一致性协调服务，INSIGHT系统利用zk的订阅发布服务，INSIGHT-AGENT订阅zk对应节点消息，INSIGHT-SERVER通过修改zk节点内容发布消息，完成了INSIGHT-SERVER控制INSIGHT-AGENT采集哪些内容、采集开关、采集频率；
9.Logstash：数据管道服务，采用的input->filter->output模型，消费保存在kafka中采集数据，并实现对数据清洗、转换、入库到es功能；
10.Elasticsearch：采集的数据库集群的海量数据的持久化存储以及数据的多维度检索服务，供INSIGHT-SERVER端查询；
11.Redis：提供分布式缓存服务，Insight server端将登陆用户的session以及用户的操作权限、数据权限信息缓存其中；
12.Mysql：关系数据库，存储INSIGHT系统自身的配置数据/管理数据,以及从外部系统同步数据的持久化。
本实施例的整个平台架构如图5所示，INSIGHT系统由部署在Goldendb服务器中的INSIGHT-AGENT和多点多活部署的INSIGHT-SERVER两个模块组成，使用了如下开源组件：REDIS/ZK/KAFKA/LOGSTASH/ELASTICSEARCH，其中KAFKA/LOGSTASH/ELASTICSEARCH使用统一日志平台提供的服务不再部署。
具体的：
1、InsihgtServer：部署2台提供多点多活，InsightServer服务器上运行insight-0.0.1-SNAPSHOT.jar,该jar包包含嵌入式tomcat容器；
2、管理节点：部署2台保证高可用，OMM包含两个进程tomcat和activemq，其中tomcat容器内部署了anyservice-goldendb.jar；Manage包含三个C进程可执行文件：metadataserver/proymanager/clustermanager运行在Redhat系统上；
3、全局事务节点：部署2台保证高可用，包含1个C进程可执行文件：gtm运行在Redhat系统上；
4、计算节点：部署2台保证高可用，包含1个C进程可执行文件：proxy运行在Redhat系统上；
5、存储节点：部署50台(1年业务规模)，包含2个C进程可执行文件：dbagent/mysqld运行在Redhat系统上；
6、Redis集群：部署6台，3台哨兵，3台数据节点(1主2从)，使用哨兵模式保证高可用；
7、Zookeeper集群：部署3台保证高可用。
在具体应用操作时，其功能逻辑为：
一、数据库资源管理
通过CMDB数据交互组件同步数据库集群信息，对现有行内数据库节点资源进行全量纳管。
在平台上可以看到所有被纳管的数据库基本信息，运行状态、负载以及容量使用状况，平台具有数据库监控功能，对数据库状态和角色进行检查，如出现状态或角色与基础信息不一致，则进行告警，数据库状态或角色恢复后，则进行告警恢复。
二、运维管理
通过运维管理模块，平台提供大量标准化数据库运维操作功能，包括启停、重启、参数修改、新建数据库、添加账号、配置权限、扩容、高低水位调整等。通过平台自动化操作可以降低因人员手工不规范操作带来的数据库操作风险。
三、日志分析
通过ELK套件收集数据库运行日志和关键性能指标，对数据库性能进行量化评分，可以反映出行内数据库系统的整体性能，通过日志分析模块可准确快速分析并定位问题，提高运维工作效率。
综上可知，本技术方案通过建设数据库云管理平台，同时支持MySQL、GoldenDB等多栈数据库全生命周期管理，能够实现数据库统一纳管、统一监控、自动巡检、自动化切换等功能：
1、现有IT运维管理系统集成
通过数据交互模块，数据库云管理平台与现有行内运维体系无缝集成，集成单点登录实现系统登录，集成统一监控告警平台发送数据库告警，集成CMDB数据集成实现数据库节点自动化纳管，降低平台使用门槛，融入到运维人员日常工作中。
2、可扩展性
为满足复杂的数据库运维管理场景，平台在设计之初就充分考虑了可扩展性，利用后台管理模块，在大部分场景下，通过配置可以为平台新增功能，无需修改代码。基于可扩展性设计，管理员可以在平台上根据需求在平台上配置、测试、发布新的数据库管理功能。
3、容量分析预测
通过数据管理模块，分析数据库运行性能、日志数据，实现容量分析和预测，可以展示数据库容量变化趋势，以及数据库表空间，表增长率，同时容量分析功能还可以展示长期未使用的数据库对象以及容量增长与SQL的对应关系，为容量优化提供依据。
4、实现自动化切换
通过数据库集群管理模块，结合GTID(全局事务标识符)+半同步+平台补偿措施，解决MySQL复制延时问题，保证了主从节点间数据一致性，结合节点运行状态，实现MySQL自动、一键切换，赋予MySQL数据库高可用能力。
5、多租户资源池
平台通过namespace实现多租户管理能力，租户间资源相互隔离，保障数据库服务安全性，资源池化管理，降低硬件投入成本。

Claims (10)

1.一种支撑多栈数据库全生命周期的云平台系统，其特征在于，包括数据采集端(1)、服务端(2)、缓存模块(3)和存储模块(4)，所述数据采集端(1)与不同数据库集群(5)相互连接，所述数据采集端(1)与服务端(2)连接，所述服务端(2)分别与缓存模块(3)、存储模块(4)相连接，所述数据采集端(1)用于从不同数据库集群(5)采集相应数据，并将采集的所有数据传输至服务端(2)；
所述服务端(2)用于控制数据采集端(1)的工作状态，以及将接收的采集数据传输至存储模块(4)；
所述缓存模块(3)用于保存云平台用户信息。
2.根据权利要求1所述的一种支撑多栈数据库全生命周期的云平台系统，其特征在于，所述数据采集端(1)包括多个代理模块，所述多个代理模块分别部署于不同的数据库集群(5)，所述代理模块连接有推送模块，所述代理模块用于采集数据库集群(5)中服务器数据，并持久化到本地磁盘文件；所述推送模块用于将代理模块持久化的文件推送到kafka队列。
3.根据权利要求1～2任一所述的一种支撑多栈数据库全生命周期的云平台系统，其特征在于，所述不同的数据库集群(5)包括Goldendb集群和Mysql集群。
4.根据权利要求2所述的一种支撑多栈数据库全生命周期的云平台系统，其特征在于，所述数据采集端(1)与服务端(2)之间设置有协调模块，所述协调模块用于提供订阅节点消息给代理模块，所述服务端(2)通过修改订阅节点内容发布消息，以对应控制代理模块的工作状态。
5.根据权利要求4所述的一种支撑多栈数据库全生命周期的云平台系统，其特征在于，所述协调模块与服务端(2)之间设置有数据管道模块，所述数据管道模块用于对kafka队列中的数据进行清洗、转换以及入库处理。
6.根据权利要求5所述的一种支撑多栈数据库全生命周期的云平台系统，其特征在于，所述数据管道模块与服务端(2)之间设置有检索模块，所述检索模块用于对数据进行持久化存储以及提供数据的多维度检索服务给服务端(2)。
7.根据权利要求1所述的一种支撑多栈数据库全生命周期的云平台系统，其特征在于，所述缓存模块(3)具体为Redis数据库，所述存储模块(4)具体为Mysql数据库。
8.一种支撑多栈数据库全生命周期的云平台管理方法，其特征在于，包括以下步骤：
S1、根据缓存模块保存的用户信息，相关用户登录云平台，在服务端修改设置协调模块的节点内容并发布消息；
S2、数据采集端从协调模块获取订阅节点消息，根据获取的订阅节点消息，数据采集端分别从不同数据库集群采集对应的数据，并将采集的所有数据全部输出至kafka对应数据类型的不同队列中；
S3、数据管道模块对kafka队列中的数据进行清洗、转换以及入库处理，之后将数据传输至检索模块；
S4、服务端通过查询操作，从检索模块获取所需数据；
S5、服务端将接收的数据传输至存储模块进行数据持久化。
9.根据权利要求8所述的一种支撑多栈数据库全生命周期的云平台管理方法，其特征在于，所述订阅节点消息包括对应于数据采集端的数据采集内容、数据采集开关以及数据采集频率。
10.根据权利要求9所述的一种支撑多栈数据库全生命周期的云平台管理方法，其特征在于，所述数据采集内容包括数据库集群的原始数据、服务器的配置数据、服务器的性能数据、组件的性能数据、组件的配置文件、组件的日志文件、操作系统日志。
CN202210194715.XA 2022-03-01 一种支撑多栈数据库全生命周期的云平台系统及管理方法 Active CN114567633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210194715.XA CN114567633B (zh) 2022-03-01 一种支撑多栈数据库全生命周期的云平台系统及管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210194715.XA CN114567633B (zh) 2022-03-01 一种支撑多栈数据库全生命周期的云平台系统及管理方法

Publications (2)

Publication Number Publication Date
CN114567633A true CN114567633A (zh) 2022-05-31
CN114567633B CN114567633B (zh) 2024-06-28

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115834696A (zh) * 2022-10-20 2023-03-21 北京新数科技有限公司 一种数据库性能监控平台数据采集装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408132A (zh) * 2014-11-28 2015-03-11 北京京东尚科信息技术有限公司 数据推送方法和系统
CN109299064A (zh) * 2018-07-18 2019-02-01 平安科技（深圳）有限公司 数据库监控方法及终端设备
CN109714192A (zh) * 2018-11-29 2019-05-03 深圳供电局有限公司 一种监控云平台的监控方法及系统
CN113553379A (zh) * 2021-07-23 2021-10-26 中信银行股份有限公司 一种数据采集方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408132A (zh) * 2014-11-28 2015-03-11 北京京东尚科信息技术有限公司 数据推送方法和系统
CN109299064A (zh) * 2018-07-18 2019-02-01 平安科技（深圳）有限公司 数据库监控方法及终端设备
CN109714192A (zh) * 2018-11-29 2019-05-03 深圳供电局有限公司 一种监控云平台的监控方法及系统
CN113553379A (zh) * 2021-07-23 2021-10-26 中信银行股份有限公司 一种数据采集方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115834696A (zh) * 2022-10-20 2023-03-21 北京新数科技有限公司 一种数据库性能监控平台数据采集装置

Similar Documents

Publication Publication Date Title
CN111061788B (zh) 一种基于云架构的多源异构数据转换整合系统及其实现方法
CN105653425B (zh) 基于复杂事件处理引擎的监控系统
US8584136B2 (en) Context-aware request dispatching in clustered environments
CN112084098A (zh) 资源监控系统及工作方法
CN111241078A (zh) 数据分析系统、数据分析的方法及装置
WO2019226327A1 (en) Data platform fabric
CN111949633B (zh) 一种基于并行流处理的ict系统运行日志分析方法
US20080250057A1 (en) Data Table Management System and Methods Useful Therefor
CN112667362B (zh) Kubernetes上部署Kubernetes虚拟机集群的方法与系统
CN108762900A (zh) 高频任务调度方法、系统、计算机设备和存储介质
CN107103064B (zh) 数据统计方法及装置
CN114443435A (zh) 一种面向容器微服务的性能监控告警方法及告警系统
CN108920153A (zh) 一种基于负载预测的Docker容器动态调度方法
CN110542920B (zh) 地震数据处理方法及其系统
US11442817B2 (en) Intelligent scheduling of backups
US20220327040A1 (en) Automated query retry execution in a database system
CN110737643A (zh) 一种基于餐饮信息管理系统的大数据分析处理管理中台
CN111949454B (zh) 一种基于微服务组件的数据库系统及相关方法
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
US20190266058A1 (en) Automated development of recovery plans
CN115562676B (zh) 一种图计算引擎的触发方法
US10083201B2 (en) System for maintaining consistency across a decentralized database cluster and method therefor
CN113570347A (zh) 一种面向微服务架构系统的rpa运维方法
Tang et al. Hybrid-Cloud SQL Federation System at Twitter.
CN116150263B (zh) 一种分布式图计算引擎

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant