CN110086841B - 构建mpp公有云和局部私有云的方法及装置 - Google Patents

构建mpp公有云和局部私有云的方法及装置 Download PDF

Info

Publication number
CN110086841B
CN110086841B CN201810078399.3A CN201810078399A CN110086841B CN 110086841 B CN110086841 B CN 110086841B CN 201810078399 A CN201810078399 A CN 201810078399A CN 110086841 B CN110086841 B CN 110086841B
Authority
CN
China
Prior art keywords
application
information
cluster
server
tenant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810078399.3A
Other languages
English (en)
Other versions
CN110086841A (zh
Inventor
刘亚光
何广柏
张伟
刘海忠
曾培植
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Eshore Technology Co Ltd
Original Assignee
Guangdong Eshore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Eshore Technology Co Ltd filed Critical Guangdong Eshore Technology Co Ltd
Priority to CN201810078399.3A priority Critical patent/CN110086841B/zh
Publication of CN110086841A publication Critical patent/CN110086841A/zh
Application granted granted Critical
Publication of CN110086841B publication Critical patent/CN110086841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0609—Buyer or seller confidence or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0645—Rental transactions; Leasing transactions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105—Multiple levels of security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Abstract

本发明公开了一种构建MPP公有云和局部私有云的方法及装置，方法包括以下步骤：规划服务器资源，并写入后台数据库表中；接收工单申请，并获取申请客体的角色信息；根据角色信息审核申请客体是否具备申请权限；若申请客体具备申请权限，根据该工单申请自动构建对应的GP集群或PG数据库。本方案基于Greenplum(简称GP)，不需要指定IP，服务器资源等信息来部署GP，部署流程简单；对于PG库的申请，也不需要指定IP、端口等信息，可以自动化申请PG数据库，同时通过多权限等级租户体系，同时构建出公有云数据库和私有云，便于实现多级别的数据库管理。

Description

构建MPP公有云和局部私有云的方法及装置
技术领域
本发明涉及到服务器资源部署领域，特别是涉及到一种构建MPP公有云和局部私有云的方法及装置。
背景技术
MPP是一种大规模并行处理数据库集群，是基于GP构建的。简单来说，GP是一个与Oracle、DB2、PG一样面向对象的关系型数据库，而本质上讲，它是一个关系型数据库集群，是由数个独立的数据库服务组合成的逻辑数据库。GP采用Shared-Nothing架构，整个集群有多个数据节点和控制节点组成，其中每个数据节点上可以运行多个数据库，相互独立。GP最大的特点是不需要高端的硬件支持仍然可以支持大规模高性能数据仓库和商业智能查询。在数据仓库和商业智能的应用上，能高效处理I/O数据吞吐和并发计算的过程，尤其在海量数据的处理方面性能及其优异。GP是基于PG开发的，跟PG有很好的兼容性。
一种现有的GP部署申请方案，所有的操作有人工走流程，应用通过邮件或工单系统，通知DBA自己的需要，而DBA需要根据服务器IP、用户、用户密码、数据目录等信息，手动的完成GP的部署，再把部署好的信息邮件回复给应用。该方案的缺点是：GP的申请繁杂，通过IP、端口、用户、用户密码等信息手动部署需要DBA有较强的网络、系统、数据库等方面的经验；PG的申请也是比较繁杂的，需要DBA的再次协助；整个流程中，都是通过邮件交流，效率低下，而且信息的出错率大大提高；缺乏系统的监控，不利于数据库错误排查与性能优化。
另一种现有的GP申请部署方案，采用开源工具或脚本来协助个别人工繁冗事务，交流方式依然是邮件或工单系统，大概有如下流程：GP部署，应用申请GP集群资源，DBA根据硬件信息登录服务器，配置文件，运行自动化脚本部署；PG库申请，应用申请PG库，DBA根据集群信息，配置文件，运行自动化脚本部署；监控，DBA通过脚本分别监控；日志信息，需要找DBA提取。该方案的缺点是：整个流程都是通过邮件交流，效率低下，而且信息的出错率大大提高；每次需要，DBA依然要登录服务器远程批量操作；监控是散乱的脚本，不便于查看，而且日志还是需要DBA去提取。
发明内容
为了解决上述现有技术的缺陷，本发明的目的是提供一种构建MPP公有云和局部私有云的方法及装置。
为达到上述目的，本发明的技术方案是：
一种构建MPP公有云和局部私有云的方法，包括以下步骤：
规划服务器资源，并写入后台数据库表中；
接收工单申请，并获取申请客体的角色信息；
根据角色信息审核申请客体是否具备申请权限；
若申请客体具备申请权限，根据该工单申请自动构建对应的GP集群或PG数据库。
进一步地，所述接收工单申请，并获取申请客体的角色信息步骤之前，包括，
用于根据申请客体权限，将申请客体设定为不同级别的角色，权限高的角色审核权限低的角色的工单申请。
进一步地，所述规划服务器资源，并写入后台数据库表中步骤，包括，
根据服务器的硬件规格对服务器资源进行分类；
根据服务器的服务器信息对服务器资源进行分类，所述服务器信息包括所属区域、主机名、主机IP、角色类型、端口信息、目录信息、用户信息和状态信息。
进一步地，所述根据该工单申请自动构建对应的GP集群或PG数据库步骤，包括，
根据工单申请内包含的硬件规格和服务器信息构建对应的GP集群或PG数据库。
进一步地，所述若申请客体具备申请权限，根据该工单申请自动构建对应的GP集群或PG数据库步骤之后，包括，
监控GP集群和服务器状态；
将监控信息进行可视化展示。
进一步地，所述监控GP集群和服务器状态步骤，包括，
监控主机和GP集群的CPU、内存、磁盘IO和网络IO状态；
监控指定时间内的查询记录和资源展示记录；
监控GP集群各节点状态，以及各节点的存储状态。
本发明还提出了一种构建MPP公有云和局部私有云的装置，包括资源规划单元、申请接收单元、申请审核单元和创建单元，
所述资源规划单元，用于规划服务器资源，并写入后台数据库表中；
所述申请接收单元，用于接收工单申请，并获取申请客体的角色信息；
所述申请审核单元，用于根据角色信息审核申请客体是否具备申请权限；
所述创建单元，用于若申请客体具备申请权限，根据该工单申请自动构建对应的GP集群或PG数据库。
进一步地，还包括角色设定单元、监控单元和展示单元，
所述角色设定单元，用于根据申请客体权限，将申请客体设定为不同级别的角色，权限高的角色审核权限低的角色的工单申请；
所述监控单元，用于监控GP集群和服务器状态；
所述展示单元，用于将监控信息进行可视化展示。
进一步地，所述监控单元，包括主机监控模块、查询监控模块和节点监控模块，所述创建单元包括创建模块，
所述主机监控模块，用于监控主机CPU、内存、磁盘IO和网络IO状态；
所述查询监控模块，用于监控指定时间内的查询记录和资源展示记录；
所述节点监控模块，用于监控GP集群各节点状态，以及各节点的存储状态；
所述创建模块，用于根据工单申请内包含的硬件规格和服务器信息构建对应的GP集群或PG数据库。
进一步地，所述资源规划单元，包括第一分类模块和第二分类模块，
所述第一分类模块，用于根据服务器的硬件规格对服务器资源进行分类；
所述第二分类模块，用于根据服务器的服务器信息对服务器资源进行分类，所述服务器信息包括所属区域、主机名、主机IP、角色类型、端口信息、目录信息、用户信息和状态信息。
本发明的有益效果是：本方案基于Greenplum(简称GP)，不需要指定IP，服务器资源等信息来部署GP，部署流程简单；对于PG库的申请，也不需要指定IP、端口等信息，可以自动化申请PG数据，同时通过多权限等级租户体系，同时构建出公有云数据库和私有云，便于实现多级别的数据库管理。
附图说明
图1为本发明第一实施例一种构建MPP公有云和局部私有云的方法的流程框图；
图2为本发明进行服务器资源规划的方法流程图；
图3为本发明第二实施例一种构建MPP公有云和局部私有云的方法的流程框图；
图4为本发明第二实施例监控集群的方法流程图；
图5为本发明第三实施例一种构建MPP公有云和局部私有云的装置的结构框图；
图6为本发明第三实施例资源规划单元的结构框图；
图7为本发明第三实施例创建单元的结构框图；
图8为本发明第三实施例监控单元的结构框图；
图9为本发明一级租户向管理员申请GP集群的具体流程图；
图10为本发明二级租户向一级租户申请PG数据库的具体流程图。
具体实施方式
为阐述本发明的思想及目的，下面将结合附图和具体实施例对本发明做进一步的说明。
DBA，全称：Database Administrator，中文：数据库管理员，是从事管理和维护数据库管理系统(DBMS)的相关工作人员的统称，属于运维工程师的一个分支，主要负责业务数据库从设计、测试到部署交付的全生命周期管理。
GP，全称Greenplum，Greenplum的架构采用了MPP(大规模并行处理)。
PG是PostgreSQL，它构成GP集群,这里PG数据库是指GP集群中创建的一个数据库。
MPP即大规模并行处理(Massively Parallel Processor)。在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。
参照图1和图2，提出本发明一实施例，一种构建MPP公有云和局部私有云的方法，包括以下步骤：
S10、规划服务器资源，并写入后台数据库表中。
S12、接收工单申请，并获取申请客体的角色信息。
S13、根据角色信息审核申请客体是否具备申请权限。
S14、若申请客体具备申请权限，根据该工单申请自动构建对应的GP集群或PG数据库。
对于步骤S10，DBA是数据库管理员，DBA在最开始时，提前根据服务器的硬件规格进行分类，例如按CPU、内存、磁盘等硬件的具体参数性能和型号不同进行分类，以用于供租户申请集群时选用，保证每类服务器都有；再根据服务器的所属区域(如华南、华北、西部)、主机名(如gpdb1)、主机IP(如132.***.***.***)、角色类型(master和segment两种)、端口信息(包括master对外端口，GP间的对内端口)、目录信息(包括部署目录和数据目录)、用户信息(包括系统用户和反馈给租户的GP用户)、状态信息(0表示未被使用，1表示已被使用)等，对服务器进行进一步分类，后续租户申请GP集群时，可以根据租户实际的工单申请直接调用。
具体的，步骤S10包括以下步骤：
S101、根据服务器的硬件规格对服务器资源进行分类；
S102、根据服务器的服务器信息对服务器资源进行分类，所述服务器信息包括所属区域、主机名、主机IP、角色类型、端口信息、目录信息、用户信息和状态信息。
对于步骤S101，服务器的硬件规格，包括服务器的CPU、内存、磁盘等硬件的具体参数或者型号，硬件参数与硬件性能有直接的关系，而且，不同硬件的作用不同，根据硬件以及对应硬件的参数来对不同的服务器进行分类，来实现对于服务器资源的有效规划。
具体的，例如磁盘的储存容量有256G、512G、1T、2T、3T等多种不同规格，可以根据不同的存储容量来对服务器进行分类，例如将1T作为一个分类，1T以上或以下另外作为两个分类，1T以下的分类包括256G和512G存储容量的磁盘，1T以上的分类包括2T和3T存储容量的磁盘。同理，也可以根据服务器的CPU或内存参数对服务器进行分类。
对于步骤S102，根据服务器的硬件规格对服务器进行分类之后，在根据服务器信息对服务器进行进一步的分类，以达到有效的管理服务器，并对服务器资源做有效的管理。具体的，所属区域是指服务器设置区域，例如华南、华北、西部等；主机名代表具体服务器主机的名称，例如gpdb1，主机名可以由管理员根据一定的规则自行设置；主机IP，每台主机都对应有一个IP地址，如132.***.***.***，同样也可以通过主机的mac地址对服务器进行分类；角色类型包括master和segment两种，不同的角色类型具备的权限功能不同；端口信息包括master对外端口，GP间的对内端口；目录信息包括部署目录和数据目录；用户信息包括系统用户和反馈给租户的GP用户；状态信息指服务器当前的使用状态，0表示未被使用，1表示已被使用。根据硬件规格对服务器进行分类后，再根据服务器信息对服务器进行进一步分类，能够更好的对服务器资源进行有效的规划，有利于后续租户申请GP集群时，可以根据租户实际的工单申请直接调用。
当然，也可以先根据服务器信息对服务器资源进行分类规划，在根据服务器硬件规格对服务器进行分类规划。
对于步骤S12，工单申请中包含了申请客体本身的角色信息和GP集群需求，根据客体的角色信息可以判断是否有权限申请对应的GP集群，并根据需求为申请客体分配服务器资源，并创建对应的GP集群或PG数据库。
申请客体的角色信息，根据申请客体的权限进行设定，具体可以分为管理员，一级租户，以及作为一级租户子租户的二级租户。例如以一家公司(申请客体)作为一级租户，申请了一个或多个GP集群，自助创建PG数据库，而公司中的各个部门为二级租户，可以一级租户的GP集群上申请进一步的PG数据，一级租户和二级租户的权限不同，一级租户可以查看并管理二级租户的PG数据库，而二级租户只能管理自己的PG数据库，同个一级租户下的不同二级租户的PG数据库，互不影响，互补干涉。因此一个一级租户可以看成一个私有云，它的子租户二级租户可以在上面申请资源，二级租户间不相互影响，更利于各项目的管理。如果一级租户可以看作一个企业的话，那它所属的二级租户就可以看成是个部门。
通过申请客体权限设定申请客体的角色信息，并通过角色信息之间上下级关系，能够实现不同权限的数据存储管理，即通过这种方法构建了公有云(管理员和一级租户之间)与局部私有云(一级租户和二级租户之间)，能够更好的实现不同级别权限数据库或集群的管理。
引入了租户体系结构，可以实现管理员和一级租户间的公有云，一户租户和二级租户的小型私有云。如公有云服务商推出云服务，A企业(一级租户)购买了GP集群，而且A申请了多个二级租户，此时A企业申请的GP集群资源可以看成一个小型的私有云，供企业内部各部门使用，各部门之间的使用不相互影响。
对于步骤S13，根据申请客体的角色信息判断是否具备申请GP集群或PG数据库的权限，例如一级租户可以随时向管理员申请GP集群，而作为一级租户的子租户的二级租户只具备在一级租户申请的GP集群中申请PG数据库的权限，二级租户无法单独申请属于自己的GP集群。因此需要先对申请客体的权限进行判断，判断申请客体是否具备集群申请权限。
具体的，在步骤S13进行判断角色信息是否具备申请权限之前，具备审核权限的客体需提前根据工单申请确认对应的服务器资源是否充足，如果服务器资源充足才可以根据工单申请来进行资源分配，而如果服务器资源不足，则无法进行进一步的服务器资源分配。
对于步骤S14，工单申请内包含有需要的GP集群参数，例如购买区域，硬件规格，计算节点数，购买时长等信息，根据上述的信息直接选择对应的服务器构件GP集群，并通过设定数据库名称、用户名和用户密码来创建对应的PG数据库。
具体的步骤S14包括步骤S141：根据工单申请内包含的硬件规格和服务器信息构建对应的GP集群或PG数据库。
对于步骤S141，工单申请中包含有GP集群需要的硬件规格信息和服务器信息，在根据对应的硬件规格信息和服务器信息选择已经分类好的服务器构件对应的集群信息。这里的硬件规格和服务器信息不一定要全部包含步骤S10中对进行服务器分类的具体类别，只需要部分包含即可，例如工单申请中只需要携带有购买区域，硬件规格，计算节点数，购买时长和存储空间等信息也可以找到对应的服务器创建GP集群。
参考图9，为一级租户申请集群的具体流程图，管理员(DBA)根据现有的服务器资源构建出资源池，一级租户根据自身需求申请GP集群，管理员对请求进行审批，筛选出符合条件的服务器资源，完成自动部署集群，构成公有云。
参考图10，为二级租户申请PG数据库的具体流程，二级租户向一级租户的现有GP集群申请PG数据库，一级租户进行审批，审批通过后，完成自动部署。二级租户是一级租户的子用户，只能从一级租户现有的GP集群中申请PG数据库，一个一级租户和它的多个子租户二级租户就构成了一个小的私有云。
本方案由DBA事先在资源管理里面规划好GP的服务器资源，在资源规划模块写入后台数据库表中，保证租户有资源可以申请，一级租户就可以在一级租户的集群申请模块自助的申请GP集群，当租户提交集群申请，DBA在集群申请审批里就可以看到，直接在集群申请审批里点击审批，后台就自动创建一个相应的GP集群，部署完成后，会在一级租户的集群列表里返回集群信息(包括IP，端口，用户等信息)，节省了大量的流程开支。
本方案基于Greenplum(简称GP)，不需要指定IP，服务器资源等信息来部署GP，部署流程简单；对于PG库的申请，也不需要指定IP、端口等信息，可以自动化申请PG数据，同时通过多权限等级租户体系，同时构建出公有云数据库和私有云，便于实现多级别权限的数据库管理。
参考图3和4，提出本发明另一具体实施例，一种构建MPP公有云和局部私有云的方法，包括以下步骤：
S10、规划服务器资源，并写入后台数据库表中。
S11、用于根据申请客体权限，将申请客体设定为不同级别的角色，权限高的角色审核权限低的角色的工单申请。
S12、接收工单申请，并获取申请客体的角色信息。
S13、根据角色信息审核申请客体是否具备申请权限。
S14、若申请客体具备申请权限，根据该工单申请自动构建对应的GP集群或PG数据库。
S15、监控GP集群和服务器状态；
S16、将监控信息进行可视化展示。
上述的步骤S10、S12、S13和S14与上一实施例的步骤S10、S12、S13和S14对应一致，不在此处进行阐述。
对于步骤S11，根据权限设定角色信息，一家具备所有申请权限的公司可以作为一级租户，而公司的下属部门，作为一级租户子租户的二级租户，只能在一级租户申请的GP集群上进行数据库申请。当然，也可以进一步设置三级租户或四级租户等等，只能在上一级租户的集群资源内进行资源申请。
引入了租户体系结构，可以实现管理员和一级租户间的公有云，一户租户和二级租户的小型私有云。如公有云服务商推出云服务，A企业(一级租户)购买了GP集群，而且A申请了多个二级租户，此时A企业申请的GP集群资源可以看成一个小型的私有云，供企业内部各部门使用，各部门之间的使用不相互影响。
通过申请客体权限设定申请客体的角色信息，并通过角色信息之间上下级关系，能够实现不同权限的数据存储管理，即通过这种方法构建了公有云(管理员和一级租户之间)与局部私有云(一级租户和二级租户之间)，能够更好的实现不同级别权限数据库或集群的管理。
对于步骤S15，现有的方案缺乏对于GP集群和PG数据库的系统监控，不利于数据库错误排查与性能优化。因此，在创建好对应的GP集群之后，需要检测服务器状态以用于监测数据库运行状态，具体的，监控数据库的存储状态、节点状态、查询历史、集群性能和主机性能等等，以更好的监控整个系统，及时在数据库出现故障时，进行有效的维护和管理。
具体的步骤S15包括以下步骤：
S151、监控主机和GP集群的CPU、内存、磁盘IO和网络IO状态；
S152、监控指定时间内的查询记录和资源展示记录；
S153、监控GP集群各节点状态，以及各节点的存储状态。
对于步骤S151，监控主机和GP集群的硬件状态，包括主机的CPU、内存、磁盘IO和网络IO的状态。监控主机，是展示给DBA的，包括主机资源监控和各GP集群的状态的汇总等，便于DBA根据主机资源的使用情况，集群状态来优化GP集群性能和资源分配；监控GP集群，是展示给租户的，包括租户已有集群的健康状态、锁信息、会话信息、数据空间使用量、各种日志的展示等，便于租户自主优化GP集群的使用和性能。
对于步骤S152，监控并管理数据库一段时间内的查询记录和资源展示记录，保证管理者可以实时的了解数据的查询和调用情况，并管理部分数据的查询调用权限。
对于步骤S153，监控当前GP集群各节点的状态，同时监控当前GP集群各数据节点的存储状态。
对于步骤S16，步骤S15对数据库进行监控之后，将数据可视化展示出来，使得用户可以直观的了解到整个数据库的状态，以便管理员在数据库出现故障时，能够第一时间做出应对和调整，快速高效的管理数据库。具体的可以通过仪表盘的形式将存储状态、节点状态、查询历史、集群性能和主机性能等信息通过图案、数值或者两者的结合进行展示。
本方案由DBA事先在资源管理里面规划好GP的服务器资源，在资源规划模块写入后台数据库表中，保证租户有资源可以申请，一级租户就可以在一级租户的集群申请模块自助的申请GP集群，当租户提交集群申请，DBA在集群申请审批里就可以看到，直接在集群申请审批里点击审批，后台就自动创建一个相应的GP集群，部署完成后，会在一级租户的集群列表里返回集群信息(包括IP，端口，用户等信息)，节省了大量的流程开支。DBA可以监控整个GP和服务器的状态，同时也能看到租户GP和PG数据库的使用情况，使得租户和DBA的交流更加方便。
本方案基于Greenplum(简称GP)，不需要指定IP，服务器资源等信息来部署GP，部署流程简单；对于PG库的申请，也不需要指定IP、端口等信息，可以自动化申请PG数据，同时通过多权限等级租户体系，同时构建出公有云数据库和私有云，便于实现多级别权限的数据库管理。
参考图5-8，本发明还提出了一种构建MPP公有云和局部私有云的装置，包括资源规划单元10、角色设定单元20、申请接收单元30、申请审核单元40、创建单元50、监控单元60和展示单元70。
资源规划单元10，用于规划服务器资源，并写入后台数据库表中。
角色设定单元20，用于根据申请客体权限，将申请客体设定为不同级别的角色，权限高的角色审核权限低的角色的工单申请。
申请接收单元30，用于接收工单申请，并获取申请客体的角色信息。
申请审核单元40，用于根据角色信息审核申请客体是否具备申请权限。
创建单元50，用于若申请客体具备申请权限，根据该工单申请自动构建对应的GP集群或PG数据库。
监控单元60，用于监控GP集群和服务器状态。
展示单元70，用于将监控信息进行可视化展示。
对于资源规划单元10，DBA是数据库管理员，DBA在最开始时，提前根据服务器的硬件规格进行分类，例如按CPU、内存、磁盘等硬件的具体参数性能和型号不同进行分类，以用于供租户申请集群时选用，保证每类服务器都有；再根据服务器的所属区域(如华南、华北、西部)、主机名(如gpdb1)、主机IP(如132.***.***.***)、角色类型(master和segment两种)、端口信息(包括master对外端口，GP间的对内端口)、目录信息(包括部署目录和数据目录)、用户信息(包括系统用户和反馈给租户的GP用户)、状态信息(0表示未被使用，1表示已被使用)等，对服务器进行进一步分类，后续租户申请GP集群时，可以根据租户实际的工单申请直接调用。
参考如6，资源规划单元10，包括第一分类模块11和第二分类模块12。
第一分类模块11，用于根据服务器的硬件规格对服务器资源进行分类。
第二分类模块12，用于根据服务器的服务器信息对服务器资源进行分类，服务器信息包括所属区域、主机名、主机IP、角色类型、端口信息、目录信息、用户信息和状态信息。
第一分类模块11，服务器的硬件规格，包括服务器的CPU、内存、磁盘等硬件的具体参数或者型号，硬件参数与硬件性能有直接的关系，而且，不同硬件的作用不同，根据硬件以及对应硬件的参数来对不同的服务器进行分类，来实现对于服务器资源的有效规划。
具体的，例如磁盘的储存容量有256G、512G、1T、2T、3T等多种不同规格，可以根据不同的存储容量来对服务器进行分类，例如将1T作为一个分类，1T以上或以下另外作为两个分类，1T以下的分类包括256G和512G存储容量的磁盘，1T以上的分类包括2T和3T存储容量的磁盘。同理，也可以根据服务器的CPU或内存参数对服务器进行分类。
第二分类模块12，根据服务器的硬件规格对服务器进行分类之后，在根据服务器信息对服务器进行进一步的分类，以达到有效的管理服务器，并对服务器资源做有效的管理。具体的，所属区域是指服务器设置区域，例如华南、华北、西部等；主机名代表具体服务器主机的名称，例如gpdb1，主机名可以由管理员根据一定的规则自行设置；主机IP，每台主机都对应有一个IP地址，如132.***.***.***，同样也可以通过主机的mac地址对服务器进行分类；角色类型包括master和segment两种，不同的角色类型具备的权限功能不同；端口信息包括master对外端口，GP间的对内端口；目录信息包括部署目录和数据目录；用户信息包括系统用户和反馈给租户的GP用户；状态信息指服务器当前的使用状态，0表示未被使用，1表示已被使用。根据硬件规格对服务器进行分类后，再根据服务器信息对服务器进行进一步分类，能够更好的对服务器资源进行有效的规划，有利于后续租户申请GP集群时，可以根据租户实际的工单申请直接调用。
当然，也可以先根据服务器信息对服务器资源进行分类规划，在根据服务器硬件规格对服务器进行分类规划。
对于角色设定单元，根据权限设定角色信息，一家具备所有申请权限的公司可以作为一级租户，而公司的下属部门，作为一级租户子租户的二级租户，只能在一级租户申请的GP集群上进行数据库申请。当然，也可以进一步设置三级租户或四级租户等等，只能在上一级租户的集群资源内进行资源申请。
引入了租户体系结构，可以实现管理员和一级租户间的公有云，一户租户和二级租户的小型私有云。如公有云服务商推出云服务，A企业(一级租户)购买了GP集群，而且A申请了多个二级租户，此时A企业申请的GP集群资源可以看成一个小型的私有云，供企业内部各部门使用，各部门之间的使用不相互影响。
通过申请客体权限设定申请客体的角色信息，并通过角色信息之间上下级关系，能够实现不同权限的数据存储管理，即通过这种方法构建了公有云(管理员和一级租户之间)与局部私有云(一级租户和二级租户之间)，能够更好的实现不同级别权限数据库或集群的管理。
对于申请接收单元30，工单申请中包含了申请客体本身的角色信息和GP集群需求，根据客体的角色信息可以判断是否有权限申请对应的GP集群，并根据需求为申请客体分配服务器资源，并创建对应的GP集群或PG数据库。
申请客体的角色信息，根据申请客体的权限进行设定，具体可以分为管理员，一级租户，以及作为一级租户子租户的二级租户。例如以一家公司(申请客体)作为一级租户，申请了一个或多个GP集群，自助创建PG数据库，而公司中的各个部门为二级租户，可以一级租户的GP集群上申请进一步的PG数据，一级租户和二级租户的权限不同，一级租户可以查看并管理二级租户的PG数据库，而二级租户只能管理自己的PG数据库，同个一级租户下的不同二级租户的PG数据库，互不影响，互补干涉。因此一个一级租户可以看成一个私有云，它的子租户二级租户可以在上面申请资源，二级租户间不相互影响，更利于各项目的管理。如果一级租户当作一个企业的话，那它所属的二级租户就可以看成是个部门。
通过申请客体权限设定申请客体的角色信息，并通过角色信息之间上下级关系，能够实现不同权限的数据存储管理，即通过这种方法构建了公有云(管理员和一级租户之间)与局部私有云(一级租户和二级租户之间)，能够更好的实现不同级别权限数据库或集群的管理。
引入了租户体系结构，可以实现管理员和一级租户间的公有云，一户租户和二级租户的小型私有云。如公有云服务商推出云服务，A企业(一级租户)购买了GP集群，而且A申请了多个二级租户，此时A企业申请的GP集群资源可以看成一个小型的私有云，供企业内部各部门使用，各部门之间的使用不相互影响。
对于申请审核单元40，根据申请客体的角色信息判断是否具备申请GP集群或PG数据库的权限，例如一级租户可以随时向管理员申请GP集群，而作为一级租户子租户的二级租户只具备在一级租户申请的GP集群中申请PG数据库的权限，二级租户无法单独申请属于自己的GP集群。因此需要先对申请客体的权限进行判断，判断申请客体是否具备集群申请权限。
具体的，审核单元40在进行判断角色信息是否具备申请权限之前，需提前根据工单申请内容确认对应的服务器资源是否充足，如果服务器资源充足才根据工单申请来进行资源分配，而如果服务器资源不足，则无法进行进一步的服务器资源分配。
对于创建单元50，工单申请内包含有需要的GP集群参数，例如购买区域，硬件规格，计算节点数，购买时长等信息，根据上述的信息直接选择对应的服务器构件GP集群，并通过设定数据库名称、用户名和用户密码来创建对应的PG数据库。
参考图7，创建单元50包括创建模块51，创建模块51，用于根据工单申请内包含的硬件规格和服务器信息构建对应的GP集群或PG数据库。
对于创建模块51，工单申请中包含有GP集群需要的硬件规格信息和服务器信息，在根据对应的硬件规格信息和服务器信息选择已经分类好的服务器构件对应的集群信息。这里的硬件规格和服务器信息不一定要全部包含步骤S10中对进行服务器分类的具体类别，只需要部分包含即可，例如工单申请中只需要携带有购买区域，硬件规格，计算节点数，购买时长和存储空间等信息也可以找到对应的服务器创建GP集群。
对于监控单元60，现有的方案缺乏对于GP集群和PG数据库的系统监控，不利于数据库错误排查与性能优化。因此，在创建好对应的GP集群之后，需要检测服务器状态以用于监测数据库运行状态，具体的，监控数据库的存储状态、节点状态、查询历史、集群性能和主机性能等等，以更好的监控整个系统，及时在数据库出现故障时，进行有效的维护和管理。
参考图8，监控单元60，包括主机监控模块61、查询监控模块62和节点监控模块63。
主机监控模块61，用于监控主机CPU、内存、磁盘IO和网络IO状态。
查询监控模块62，用于监控指定时间内的查询记录和资源展示记录。
节点监控模块63，用于监控GP集群各节点状态，以及各节点的存储状态。
对于主机监控模块61，监控主机的硬件状态，包括主机的CPU、内存、磁盘IO和网络IO的状态。监控主机性能，是展示给DBA的，包括主机资源监控和各GP集群的状态的汇总等，便于DBA根据主机资源的使用情况，集群状态来优化GP集群性能和资源分配；监控GP集群，是展示给租户的，包括租户已有集群的健康状态、锁信息、会话信息、数据空间使用量、各种日志的展示等，便于租户自主优化GP集群的使用和性能。
对于查询监控模块62，监控并管理数据库一段时间内的查询记录和资源展示记录，保证管理者可以实时的了解数据的查询和调用情况，并管理部分数据的查询调用权限。
对于节点监控模块63，监控当前GP集群各节点的状态，同时监控当前GP集群各数据节点的存储状态。
对于展示单元70，监控单元60对数据库进行监控之后，将数据可视化展示出来，使得用户可以直观的了解到整个数据库的状态，以便管理员在数据库出现故障时，能够第一时间做出应对和调整，快速高效的管理数据库。具体的可以通过仪表盘的形式将存储状态、节点状态、查询历史、集群性能和主机性能等信息通过图案、数值或者两者的结合进行展示。
本方案由DBA事先在资源管理里面规划好GP的服务器资源，在资源规划模块写入后台数据库表中，保证租户有资源可以申请，一级租户就可以在一级租户的集群申请模块自助的申请GP集群，当租户提交集群申请，DBA在集群申请审批里就可以看到，直接在集群申请审批里点击审批，后台就自动创建一个相应的GP集群，部署完成后，会在一级租户的集群列表里返回集群信息(包括IP，端口，用户等信息)，节省了大量的流程开支。DBA可以监控整个GP和服务器的状态，同时也能看到租户GP和PG数据库的使用情况，使得租户和DBA的交流更加方便。
本方案基于Greenplum(简称GP)，不需要指定IP，服务器资源等信息来部署GP，部署流程简单；对于PG库的申请，也不需要指定IP、端口等信息，可以自动化申请PG数据，同时通过多权限等级租户体系，同时构建出公有云数据库和私有云，便于实现多级别的数据库管理。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种构建MPP公有云和局部私有云的方法，其特征在于，包括以下步骤：
规划服务器资源，并写入后台数据库表中；
接收工单申请，并获取申请客体的角色信息；
根据角色信息审核申请客体是否具备申请权限；
若申请客体具备申请权限，根据该工单申请自动构建对应的GP集群或PG数据库；
其中，申请客体的角色信息分为管理员，一级租户，以及作为一级租户子租户的二级租户；管理员根据现有的服务器资源构建出资源池，一级租户根据自身需求申请GP集群，管理员对请求进行审批，筛选出符合条件的服务器资源，完成自动部署集群，构成公有云；二级租户向一级租户的现有GP集群申请PG数据库，一级租户进行审批，审批通过后，完成自动部署；二级租户是一级租户的子用户，只能从一级租户现有的GP集群中申请PG数据库，一个一级租户和它的多个子租户二级租户就构成了一个小的私有云。
2.如权利要求1所述的构建MPP公有云和局部私有云的方法，其特征在于，所述接收工单申请，并获取申请客体的角色信息步骤之前，包括，
用于根据申请客体权限，将申请客体设定为不同级别的角色，权限高的角色审核权限低的角色的工单申请。
3.如权利要求1所述的构建MPP公有云和局部私有云的方法，其特征在于，所述规划服务器资源，并写入后台数据库表中步骤，包括，
根据服务器的硬件规格对服务器资源进行分类；
根据服务器的服务器信息对服务器资源进行分类，所述服务器信息包括所属区域、主机名、主机IP、角色类型、端口信息、目录信息、用户信息和状态信息。
4.如权利要求3所述的构建MPP公有云和局部私有云的方法，其特征在于，所述根据该工单申请自动构建对应的GP集群或PG数据库步骤，包括，
根据工单申请内包含的硬件规格和服务器信息构建对应的GP集群或PG数据库。
5.如权利要求1所述的构建MPP公有云和局部私有云的方法，其特征在于，所述若申请客体具备申请权限，根据该工单申请自动构建对应的GP集群或PG数据库步骤之后，包括，
监控GP集群和服务器状态；
将监控信息进行可视化展示。
6.如权利要求5所述的构建MPP公有云和局部私有云的方法，其特征在于，所述监控GP集群和服务器状态步骤，包括，
监控主机和GP集群的CPU、内存、磁盘IO和网络IO状态；
监控指定时间内的查询记录和资源展示记录；
监控GP集群各节点状态，以及各节点的存储状态。
7.一种构建MPP公有云和局部私有云的装置，其特征在于，包括资源规划单元、申请接收单元、申请审核单元和创建单元，
所述资源规划单元，用于规划服务器资源，并写入后台数据库表中；
所述申请接收单元，用于接收工单申请，并获取申请客体的角色信息；
所述申请审核单元，用于根据角色信息审核申请客体是否具备申请权限；
所述创建单元，用于若申请客体具备申请权限，根据该工单申请自动构建对应的GP集群或PG数据库；
其中，申请客体的角色信息分为管理员，一级租户，以及作为一级租户子租户的二级租户；管理员根据现有的服务器资源构建出资源池，一级租户根据自身需求申请GP集群，管理员对请求进行审批，筛选出符合条件的服务器资源，完成自动部署集群，构成公有云；二级租户向一级租户的现有GP集群申请PG数据库，一级租户进行审批，审批通过后，完成自动部署；二级租户是一级租户的子用户，只能从一级租户现有的GP集群中申请PG数据库，一个一级租户和它的多个子租户二级租户就构成了一个小的私有云。
8.如权利要求7所述的构建MPP公有云和局部私有云的装置，其特征在于，还包括角色设定单元、监控单元和展示单元，
所述角色设定单元，用于根据申请客体权限，将申请客体设定为不同级别的角色，权限高的角色审核权限低的角色的工单申请；
所述监控单元，用于监控GP集群和服务器状态；
所述展示单元，用于将监控信息进行可视化展示。
9.如权利要求8所述的构建MPP公有云和局部私有云的装置，其特征在于，所述监控单元，包括主机监控模块、查询监控模块和节点监控模块，所述创建单元包括创建模块，
所述主机监控模块，用于监控主机和GP集群的CPU、内存、磁盘IO和网络IO状态；
所述查询监控模块，用于监控指定时间内的查询记录和资源展示记录；
所述节点监控模块，用于监控GP集群各节点状态，以及各节点的存储状态；
所述创建模块，用于根据工单申请内包含的硬件规格和服务器信息构建对应的GP集群或PG数据库。
10.如权利要求7所述的构建MPP公有云和局部私有云的装置，其特征在于，所述资源规划单元，包括第一分类模块和第二分类模块，
所述第一分类模块，用于根据服务器的硬件规格对服务器资源进行分类；
所述第二分类模块，用于根据服务器的服务器信息对服务器资源进行分类，所述服务器信息包括所属区域、主机名、主机IP、角色类型、端口信息、目录信息、用户信息和状态信息。
CN201810078399.3A 2018-01-26 2018-01-26 构建mpp公有云和局部私有云的方法及装置 Active CN110086841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810078399.3A CN110086841B (zh) 2018-01-26 2018-01-26 构建mpp公有云和局部私有云的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810078399.3A CN110086841B (zh) 2018-01-26 2018-01-26 构建mpp公有云和局部私有云的方法及装置

Publications (2)

Publication Number Publication Date
CN110086841A CN110086841A (zh) 2019-08-02
CN110086841B true CN110086841B (zh) 2022-02-22

Family

ID=67412684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810078399.3A Active CN110086841B (zh) 2018-01-26 2018-01-26 构建mpp公有云和局部私有云的方法及装置

Country Status (1)

Country Link
CN (1) CN110086841B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626338B (zh) * 2020-05-06 2022-11-29 中移雄安信息通信科技有限公司 基于融合分类模型的云环境匹配方法、装置、设备和介质
CN114124944A (zh) * 2020-08-27 2022-03-01 阿里巴巴集团控股有限公司 混合云的数据处理方法、装置及电子设备
CN112905993B (zh) * 2021-03-22 2022-07-08 华东师范大学 一种面向大规模网络的分布式密码设备管理系统及构建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826915B1 (en) * 2006-01-23 2010-11-02 National Semiconductor Corporation System and method for providing automatic qualification intervention in a manufacturing process
CN102427481A (zh) * 2012-01-12 2012-04-25 易云捷讯科技（北京）有限公司 用于对云计算服务进行管理的系统及云计算管理方法
CN102572134A (zh) * 2010-12-30 2012-07-11 上海博泰悦臻电子设备制造有限公司 工单处理方法、工单建立系统以及工单处理系统
CN105791417A (zh) * 2016-04-13 2016-07-20 北京思特奇信息技术股份有限公司 一种基于云管理平台的智能部署及过程监控系统及方法
CN106572120A (zh) * 2016-11-11 2017-04-19 中国南方电网有限责任公司 一种基于混合云的访问控制方法及系统
CN106874189A (zh) * 2016-12-30 2017-06-20 江苏瑞中数据股份有限公司 一种电网实时数据库系统的自动化测试系统的实现方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067406B (zh) * 2013-01-14 2015-07-22 暨南大学 一种公有云与私有云之间的访问控制系统及方法
CN104660599B (zh) * 2015-02-14 2016-02-10 张晓� 一种基于角色的访问控制方法
CN105512240A (zh) * 2015-11-30 2016-04-20 中国建设银行股份有限公司 一种基于不同数据库的数据复制方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826915B1 (en) * 2006-01-23 2010-11-02 National Semiconductor Corporation System and method for providing automatic qualification intervention in a manufacturing process
CN102572134A (zh) * 2010-12-30 2012-07-11 上海博泰悦臻电子设备制造有限公司 工单处理方法、工单建立系统以及工单处理系统
CN102427481A (zh) * 2012-01-12 2012-04-25 易云捷讯科技（北京）有限公司 用于对云计算服务进行管理的系统及云计算管理方法
CN105791417A (zh) * 2016-04-13 2016-07-20 北京思特奇信息技术股份有限公司 一种基于云管理平台的智能部署及过程监控系统及方法
CN106572120A (zh) * 2016-11-11 2017-04-19 中国南方电网有限责任公司 一种基于混合云的访问控制方法及系统
CN106874189A (zh) * 2016-12-30 2017-06-20 江苏瑞中数据股份有限公司 一种电网实时数据库系统的自动化测试系统的实现方法

Also Published As

Publication number Publication date
CN110086841A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110809017B (zh) 一种基于云平台和微服务构架的数据分析应用平台系统
US9122685B2 (en) Operating cloud computing and cloud computing information system
US20190362004A1 (en) Data platform fabric
US20200067791A1 (en) Client account versioning metadata manager for cloud computing environments
US9565260B2 (en) Account state simulation service for cloud computing environments
JP6998976B2 (ja) クエリ処理方法、クエリ処理システム、サーバ及びコンピュータ可読媒体
US7664847B2 (en) Managing workload by service
US9210178B1 (en) Mixed-mode authorization metadata manager for cloud computing environments
CN105518648A (zh) 经由节点-关系模型向客户提供资源
WO2016101301A1 (zh) 关系型数据库表模式对象化和虚拟化机制
CN108123994A (zh) 一种面向工业领域的云平台架构
CN110086841B (zh) 构建mpp公有云和局部私有云的方法及装置
CN116055283B (zh) 支持全局设置租户应用资源配额的多平台统一云管系统
US20110166952A1 (en) Facilitating dynamic construction of clouds
CN110516076B (zh) 一种基于知识图谱的云计算管理方法及系统
CN110298189A (zh) 数据库权限管理方法及设备
JP2023535896A (ja) エンド・ツー・エンド・リンクのトラスト・レベルの動的決定方法、システム
CN108900435A (zh) 一种业务部署的方法、装置及计算机存储介质
CN107276914B (zh) 基于cmdb的自助资源分配调度的方法
CN113535846B (zh) 一种大数据平台及其构建方法
US6516325B1 (en) Virtual partition vector for a computer directory system
US20210035115A1 (en) Method and system for provisioning software licenses
CN114281586A (zh) 故障确定方法及装置、电子设备和计算机可读存储介质
MX2014003350A (es) Un sistema y metodo gestionado y accesado de manera centralizada para realizar procesamiento de datos en servidores multiples independientes y conjuntos de datos.
US11500874B2 (en) Systems and methods for linking metric data to resources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant