CN112286538B - 一种Greenplum数据库自动化安装方法及装置 - Google Patents

一种Greenplum数据库自动化安装方法及装置 Download PDF

Info

Publication number
CN112286538B
CN112286538B CN202011168880.5A CN202011168880A CN112286538B CN 112286538 B CN112286538 B CN 112286538B CN 202011168880 A CN202011168880 A CN 202011168880A CN 112286538 B CN112286538 B CN 112286538B
Authority
CN
China
Prior art keywords
installation
host
file
setting
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011168880.5A
Other languages
English (en)
Other versions
CN112286538A (zh
Inventor
朱户强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tenth Research Institute Of Telecommunications Technology Co ltd
Original Assignee
Tenth Research Institute Of Telecommunications Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tenth Research Institute Of Telecommunications Technology Co ltd filed Critical Tenth Research Institute Of Telecommunications Technology Co ltd
Priority to CN202011168880.5A priority Critical patent/CN112286538B/zh
Publication of CN112286538A publication Critical patent/CN112286538A/zh
Application granted granted Critical
Publication of CN112286538B publication Critical patent/CN112286538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种Greenplum数据库自动化安装方法及装置，涉及操作系统和数据库领域。解决现有的Greenplum数据库安装配置内容较多，存在易输错或遗漏等不易排查的问题。包括：根据配置文件的说明和格式要求配置数据库集群的主机信息，安装目录和数据存储目录；根据所述主机信息对所述配置文件进行分隔，将所述主机信息包括的字符串进行分段处理，获取主机列表信息，并在所述主机列表信息的主机系统上循环执行SystemParaSet.sh，进行内核参数的配置；读取所述安装目录对创建与所述安装目录对应的目录结构，为所述安装目录设置权限，将所述安装目录添加到系统环境变量中；安装Greenplum数据库软件。

Description

一种Greenplum数据库自动化安装方法及装置
技术领域
本发明涉及操作系统和数据库领域，更具体的涉及一种Greenplum数据库自动化安装方法及装置。
背景技术
Greenplum是在X86架构和Postgres数据库的基础上，结合Postgres社区和应用生态使用MPP架构，并通过MPP后端来实现存储和查询。支持横向扩展，支持行存储、列存储，支持事务、ACID。本质上讲，Greenplum是一个关系型的数据库集群，它实际上是由多个独立的数据库服务组合而成的逻辑数据库。采用Shared-Nothing架构，主控节点(Master host)和计算节点(Segment host)分离，类似HDFS，非常适于大数据的存储和查询。
Greenplum数据引擎是为新一代数据仓库大规模分析处理而建立的软件解决方案，起最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能查询。在海量数据的处理方面表现出极其出色的性能，目前，选择Greenplum产品的国际大客户有纳斯达克、纽约证交所等，国内的大企业有阿里巴巴、北京银行、东方航空、华泰保险等，随着数据量的急剧增长，越来越多的企业选择Greenplum来代替传统的Oracle、SQLServer等数据库，也推动了更多的开发人员、数据库管理员学习Greenplum数据库，但Greenplum数据库的安装是比较繁琐的，Greenplum提供的官方安装文档足足有50多页，国内论坛上有一些安装文档也都是手工安装，而且内容参差不齐，安装时错误很多，所以需要更加简洁方便的自动化方法来实现安装过程，这样可以减少配置工作量，特别是节点越多时，效果越明显；另外，也减少了出错的概率，因为多个节点上的配置内容非常多，非常容易输错或者遗漏，配置信息出错只在安装时才能发现，而且不易排查。
综上所述，现有的Greenplum数据库安装配置内容较多，存在易输错或遗漏等不易排查的问题。
发明内容
本发明实施例提供一种Greenplum数据库自动化安装方法及装置，用以解决现有的Greenplum数据库安装配置内容较多，存在易输错或遗漏等不易排查的问题。
本发明实施例提供一种Greenplum数据库自动化安装方法，包括：
根据配置文件的说明和格式要求配置数据库集群的主机信息，安装目录和数据存储目录；
根据所述主机信息对所述配置文件进行分隔，将所述主机信息包括的字符串进行分段处理，获取主机列表信息，并在所述主机列表信息的主机系统上循环执行SystemParaSet.sh，进行内核参数的配置；
使用chrony对所有节点进行时钟同步，创建gpadmin用户并初始化密码，读取所述安装目录对创建与所述安装目录对应的目录结构，为所述安装目录设置权限，将所述安装目录添加到系统环境变量中；
执行greenplum-db-5.17.0-rhel7-x86_64.bin，安装Greenplum数据库软件。
优选地，所述主机信息包括主机名称，IP地址，节点类型。
优选地，所述内核参数的配置包括：
停止并禁用防火墙，通过cat命令进行sysctl.conf文件内容的设置；
通过cat命令进行limits文件内容的设置，通过cat命令设置logind.conf文件中的RemoveIPC，通过cat命令设置sshd_config文件中的MaxStartups；
通过grubby命令设置transparent_hugepage，通过grubby命令设置elevator。
优选地，所述安装Greenplum数据库软件具体包括：
执行脚本PreGpInit.sh进行数据库系统初始化前的配置；
以gpadmin用户身份执行gpinitsystem命令进行数据库系统初始化过程。
优选地，所述执行脚本PreGpInit.sh进行数据库系统初始化前的配置，具体包括：
执行命令mkdir创建集群主机列表文件和从节点列表文件；
执行数据库自带脚本greenplum_path.sh；
执行gpssh-exkeys，打通主机到所有从节点之间的连接；
在所有从节点上执行gpseginstall，完成数据库在从节点上的安装；
读取从节点的数据目录配置信息；
读取Config.ini文件中的配置信息，判断standbyIP是否为空，如果配置了备用主节点，则通过gpssh命令连接备用主节点并为其创建安装目录，进行目录权限设置；
通过gpssh命令在所有从节点上创建数据主目录和镜像数据目录并进行权限设置，同时设置环境变量；
从安装路径下的数据库初始化模板文件复制并生成需要的配置文件gpinitsystem_config，并设置配置文件的属主为gpadmin:gpadmin。
本发明实施例提供一种Greenplum数据库自动化安装装置，包括：
配置单元，用于根据配置文件的说明和格式要求配置数据库集群的主机信息，安装目录和数据存储目录；
执行单元，用于根据所述主机信息对所述配置文件进行分隔，将所述主机信息包括的字符串进行分段处理，获取主机列表信息，并在所述主机列表信息的主机系统上循环执行SystemParaSet.sh，进行内核参数的配置；
添加单元，用于使用chrony对所有节点进行时钟同步，创建gpadmin用户并初始化密码，读取所述安装目录对创建与所述安装目录对应的目录结构，为所述安装目录设置权限，将所述安装目录添加到系统环境变量中；
安装单元，用于执行greenplum-db-5.17.0-rhel7-x86_64.bin，安装Greenplum数据库软件。
优选地，所述主机信息包括主机名称，IP地址，节点类型。
优选地，所述执行单元具体用于：
停止并禁用防火墙，通过cat命令进行sysctl.conf文件内容的设置；
通过cat命令进行limits文件内容的设置，通过cat命令设置logind.conf文件中的RemoveIPC，通过cat命令设置sshd_config文件中的MaxStartups；
通过grubby命令设置transparent_hugepage，通过grubby命令设置elevator。
优选地，所述安装单元具体用于：
执行脚本PreGpInit.sh进行数据库系统初始化前的配置；
以gpadmin用户身份执行gpinitsystem命令进行数据库系统初始化过程。
优选地，所述安装单元具体用于：
执行命令mkdir创建集群主机列表文件和从节点列表文件；
执行数据库自带脚本greenplum_path.sh；
执行gpssh-exkeys，打通主机到所有从节点之间的连接；
在所有从节点上执行gpseginstall，完成数据库在从节点上的安装；
读取从节点的数据目录配置信息；
读取Config.ini文件中的配置信息，判断standbyIP是否为空，如果配置了备用主节点，则通过gpssh命令连接备用主节点并为其创建安装目录，进行目录权限设置；
通过gpssh命令在所有从节点上创建数据主目录和镜像数据目录并进行权限设置，同时设置环境变量；
从安装路径下的数据库初始化模板文件复制并生成需要的配置文件gpinitsystem_config，并设置配置文件的属主为gpadmin:gpadmin。
本发明实施例提供一种Greenplum数据库自动化安装方法及装置，该方法包括：根据配置文件的说明和格式要求配置数据库集群的主机信息，安装目录和数据存储目录；根据所述主机信息对所述配置文件进行分隔，将所述主机信息包括的字符串进行分段处理，获取主机列表信息，并在所述主机列表信息的主机系统上循环执行SystemParaSet.sh，进行内核参数的配置；使用chrony对所有节点进行时钟同步，创建gpadmin用户并初始化密码，读取所述安装目录对创建与所述安装目录对应的目录结构，为所述安装目录设置权限，将所述安装目录添加到系统环境变量中；执行greenplum-db-5.17.0-rhel7-x86_64.bin，安装Greenplum数据库软件。该方法通过对集群内的主节点及从节点系统内核参数设置，安装目录或数据目录的创建，以及ssh信任关系的建立实现了自动化配置，克服了手工安装复杂费时的缺点，在多个从节点重复性配置的局限性。通过一键安装将安装工作由几小时甚至几天的工作量减少为数分钟完成，极大的简化了安装人员的工作量，提高了工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种Greenplum数据库自动化安装方法流程示意图；
图2为本发明实施例提供的一种Greenplum数据库自动化安装装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示例性的示出了本发明实施例提供的一种Greenplum数据库自动化安装方法流程示意图，如图1所示，该方法主要包括以下步骤：
步骤101，根据配置文件的说明和格式要求配置数据库集群的主机信息，安装目录和数据存储目录；
步骤102，根据所述主机信息对所述配置文件进行分隔，将所述主机信息包括的字符串进行分段处理，获取主机列表信息，并在所述主机列表信息的主机系统上循环执行SystemParaSet.sh，进行内核参数的配置；
步骤103，使用chrony对所有节点进行时钟同步，创建gpadmin用户并初始化密码，读取所述安装目录对创建与所述安装目录对应的目录结构，为所述安装目录设置权限，将所述安装目录添加到系统环境变量中；
步骤104，执行greenplum-db-5.17.0-rhel7-x86_64.bin，安装Greenplum数据库软件。
在步骤101中，编辑Config.ini文件，根据说明和格式要求设置需要部署的主机名称和IP地址，节点类型(主节点/备用主节点/数据节点)，root用户密码，软件安装目录和数据存储目录，并对设置好的内容进行保存。
需要说明的是，Config.ini文件是下载并安装程序时自动生成删也删不掉的文件。
在步骤102中，先读取配置文件Config.ini中的主机信息，将配置内容通过awk进行分隔，获取不同类型的信息，其中包括主机名、IP、目录名等；进一步地，将上述获取到的不同类型的信息，即主机列表信息，在主机列表信息的主机系统上循环执行SystemParaSet.sh，进行内核参数的配置。
具体地，内核参数配置包括如下步骤
步骤301：执行systemctl命令停止并禁用防火墙。
比如：systemctl stop firewalld
systemctl disable firewalld
步骤302：通过cat命令进行sysctl.conf文件内容的设置，设置内核kernel相关参数，网络传输net相关参数以及虚拟内存vm的相关参数，比如：
cat>>/etc/sysctl.conf<<EOF
kernel.shmmax＝500000000
kernel.shmmni＝4096
kernel.shmall＝4000000000
kernel.sem＝500 1024000 200 4096
kernel.sysrq＝1
kernel.core_uses_pid＝1
kernel.msgmnb＝65536
kernel.msgmax＝65536
kernel.msgmni＝2048
net.ipv4.tcp_syncookies＝1
net.ipv4.conf.default.accept_source_route＝0
net.ipv4.tcp_tw_recycle＝1
net.ipv4.tcp_max_syn_backlog＝4096
net.ipv4.conf.all.arp_filter＝1
net.ipv4.ip_local_port_range＝1025 65535
net.core.netdev_max_backlog＝10000
net.core.rmem_max＝2097152
net.core.wmem_max＝2097152
vm.overcommit_memory＝2
net.ipv4.ip_forward＝0
EOF
步骤303：通过cat命令进行limits文件内容的设置，配置打开的文件描述符的最大数目(nofile)和过程最大数量(noproc)，设定nofile值为65536，noproc值为131072；比如：
cat>>/etc/security/limits.conf<<EOF
*soft nofile 65536
*hard nofile 65536
*soft nproc 131072
*hard nproc 131072
EOF
步骤304：通过cat命令设置logind.conf文件中的RemoveIPC参数值为no；
步骤305：通过cat命令设置sshd_config文件中的MaxStartups参数值为200；
步骤306：THP设置：通过grubby命令设置transparent_hugepage参数值为never；
步骤307：deadline设置：通过grubby命令设置elevator参数值为deadline。
在步骤103中，使用chrony对所有节点进行时钟同步，创建gpadmin用户并初始化密码；读取配置文件中的软件安装目录并创建对应目录结构，为安装目录设置权限，同时将安装目录添加到系统环境变量中；
在步骤104中，执行greenplum-db-5.17.0-rhel7-x86_64.bin，安装Greenplum数据库软件。
在步骤104中，安装Greenplum数据库软件主要包括执行脚本PreGpInit.sh进行数据库系统初始化前的配置和以gpadmin用户身份执行gpinitsystem命令进行数据库系统初始化过程。
其中，执行脚本PreGpInit.sh进行数据库系统初始化前的配置包括以下内容：
步骤401：执行命令mkdir创建集群主机列表文件和从节点列表文件；
步骤402：执行数据库自带脚本greenplum_path.sh；
步骤403：执行gpssh-exkeys，打通主机到所有从节点之间的连接；
步骤404：在所有从节点上执行gpseginstall，完成数据库在从节点上的安装；
步骤405：读取从节点数据目录配置信息；
步骤406：读取Config.ini文件中的配置信息，判断standbyIP是否为空，如果配置了备用主节点，则通过gpssh命令连接备用主节点并为其创建安装目录，进行目录权限设置；另外，通过ssh连接备用主节点，在root用户和gpadmin用户的.bashrc文件进行MASTER_DATA_DIRECTORY变量的设定。
步骤407：通过gpssh命令在所有从节点上创建数据主目录和镜像数据目录并进行权限设置，同时设置环境变量；
步骤408：从安装路径下的数据库初始化模板文件复制并生成需要的配置文件gpinitsystem_config，并设置配置文件的属主为gpadmin:gpadmin。
综上所述，本发明实施例提供一种Greenplum数据库自动化安装方法，该方法包括：根据配置文件的说明和格式要求配置数据库集群的主机信息，安装目录和数据存储目录；根据所述主机信息对所述配置文件进行分隔，将所述主机信息包括的字符串进行分段处理，获取主机列表信息，并在所述主机列表信息的主机系统上循环执行SystemParaSet.sh，进行内核参数的配置；使用chrony对所有节点进行时钟同步，创建gpadmin用户并初始化密码，读取所述安装目录对创建与所述安装目录对应的目录结构，为所述安装目录设置权限，将所述安装目录添加到系统环境变量中；执行greenplum-db-5.17.0-rhel7-x86_64.bin，安装Greenplum数据库软件。该方法通过对集群内的主节点及从节点系统内核参数设置，安装目录或数据目录的创建，以及ssh信任关系的建立实现了自动化配置，克服了手工安装复杂费时的缺点，在多个从节点重复性配置的局限性。通过一键安装将安装工作由几小时甚至几天的工作量减少为数分钟完成，极大的简化了安装人员的工作量，提高了工作效率。
基于同一发明构思，本发明实施例提供了一种Greenplum数据库自动化安装装置，由于该装置解决技术问题的原理与一种Greenplum数据库自动化安装方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图2为本发明实施例提供的一种Greenplum数据库自动化安装装置结构示意图，如图2所示，该装置主要包括配置单元201，执行单元202，添加单元203和安装单元204。
配置单元201，用于根据配置文件的说明和格式要求配置数据库集群的主机信息，安装目录和数据存储目录；
执行单元202，用于根据所述主机信息对所述配置文件进行分隔，将所述主机信息包括的字符串进行分段处理，获取主机列表信息，并在所述主机列表信息的主机系统上循环执行SystemParaSet.sh，进行内核参数的配置；
添加单元203，用于使用chrony对所有节点进行时钟同步，创建gpadmin用户并初始化密码，读取所述安装目录对创建与所述安装目录对应的目录结构，为所述安装目录设置权限，将所述安装目录添加到系统环境变量中；
安装单元204，用于执行greenplum-db-5.17.0-rhel7-x86_64.bin，安装Greenplum数据库软件。
优选地，所述主机信息包括主机名称，IP地址，节点类型。
优选地，所述执行单元202具体用于：
停止并禁用防火墙，通过cat命令进行sysctl.conf文件内容的设置；
通过cat命令进行limits文件内容的设置，通过cat命令设置logind.conf文件中的RemoveIPC，通过cat命令设置sshd_config文件中的MaxStartups；
通过grubby命令设置transparent_hugepage，通过grubby命令设置elevator。
优选地，所述安装单元204具体用于：
执行脚本PreGpInit.sh进行数据库系统初始化前的配置；
以gpadmin用户身份执行gpinitsystem命令进行数据库系统初始化过程。
优选地，所述安装单元204具体用于：
执行命令mkdir创建集群主机列表文件和从节点列表文件；
执行数据库自带脚本greenplum_path.sh；
执行gpssh-exkeys，打通主机到所有从节点之间的连接；
在所有从节点上执行gpseginstall，完成数据库在从节点上的安装；
读取从节点的数据目录配置信息；
读取Config.ini文件中的配置信息，判断standbyIP是否为空，如果配置了备用主节点，则通过gpssh命令连接备用主节点并为其创建安装目录，进行目录权限设置；
通过gpssh命令在所有从节点上创建数据主目录和镜像数据目录并进行权限设置，同时设置环境变量；
从安装路径下的数据库初始化模板文件复制并生成需要的配置文件gpinitsystem_config，并设置配置文件的属主为gpadmin:gpadmin。
应当理解，以上一种Greenplum数据库自动化安装装置包括的单元仅为根据该设备装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种Greenplum数据库自动化安装装置所实现的功能与上述实施例提供的一种Greenplum数据库自动化安装方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种Greenplum数据库自动化安装方法，其特征在于，包括：
根据配置文件的说明和格式要求配置数据库集群的主机信息，安装目录和数据存储目录；
根据所述主机信息对所述配置文件进行分隔，将所述主机信息包括的字符串进行分段处理，获取主机列表信息，并在所述主机列表信息的主机系统上循环执行SystemParaSet.sh，进行内核参数的配置；
使用chrony对所有节点进行时钟同步，创建gpadmin用户并初始化密码，读取所述安装目录对创建与所述安装目录对应的目录结构，为所述安装目录设置权限，将所述安装目录添加到系统环境变量中；
执行greenplum-db-5.17.0-rhel7-x86_64.bin，安装Greenplum数据库软件；
所述内核参数的配置包括：
停止并禁用防火墙，通过cat命令进行sysctl.conf文件内容的设置；
通过cat命令进行limits文件内容的设置，通过cat命令设置logind.conf文件中的RemoveIPC，通过cat命令设置sshd_config文件中的MaxStartups；
通过grubby命令设置transparent_hugepage，通过grubby命令设置elevator；
所述安装Greenplum数据库软件具体包括：
执行脚本PreGpInit.sh进行数据库系统初始化前的配置；
以gpadmin用户身份执行gpinitsystem命令进行数据库系统初始化过程。
2.如权利要求1所述的方法，其特征在于，所述主机信息包括主机名称，IP地址，节点类型。
3.如权利要求1所述的方法，其特征在于，所述执行脚本PreGpInit.sh进行数据库系统初始化前的配置，具体包括：
执行命令mkdir创建集群主机列表文件和从节点列表文件；
执行数据库自带脚本greenplum_path.sh；
执行gpssh-exkeys，打通主机到所有从节点之间的连接；
在所有从节点上执行gpseginstall，完成数据库在从节点上的安装；
读取从节点的数据目录配置信息；
读取Config.ini文件中的配置信息，判断standbyIP是否为空，如果配置了备用主节点，则通过gpssh命令连接备用主节点并为其创建安装目录，进行目录权限设置；
通过gpssh命令在所有从节点上创建数据主目录和镜像数据目录并进行权限设置，同时设置环境变量；
从安装路径下的数据库初始化模板文件复制并生成需要的配置文件gpinitsystem_config，并设置配置文件的属主为gpadmin:gpadmin。
4.一种Greenplum数据库自动化安装装置，其特征在于，包括：
配置单元，用于根据配置文件的说明和格式要求配置数据库集群的主机信息，安装目录和数据存储目录；
执行单元，用于根据所述主机信息对所述配置文件进行分隔，将所述主机信息包括的字符串进行分段处理，获取主机列表信息，并在所述主机列表信息的主机系统上循环执行SystemParaSet.sh，进行内核参数的配置；
添加单元，用于使用chrony对所有节点进行时钟同步，创建gpadmin用户并初始化密码，读取所述安装目录对创建与所述安装目录对应的目录结构，为所述安装目录设置权限，将所述安装目录添加到系统环境变量中；
安装单元，用于执行greenplum-db-5.17.0-rhel7-x86_64.bin，安装Greenplum数据库软件；
所述执行单元具体用于：
停止并禁用防火墙，通过cat命令进行sysctl.conf文件内容的设置；
通过cat命令进行limits文件内容的设置，通过cat命令设置logind.conf文件中的RemoveIPC，通过cat命令设置sshd_config文件中的MaxStartups；
通过grubby命令设置transparent_hugepage，通过grubby命令设置elevator；
所述安装单元具体用于：
执行脚本PreGpInit.sh进行数据库系统初始化前的配置；
以gpadmin用户身份执行gpinitsystem命令进行数据库系统初始化过程。
5.如权利要求4所述的装置，其特征在于，所述主机信息包括主机名称，IP地址，节点类型。
6.如权利要求4所述的装置，其特征在于，所述安装单元具体用于：
执行命令mkdir创建集群主机列表文件和从节点列表文件；
执行数据库自带脚本greenplum_path.sh；
执行gpssh-exkeys，打通主机到所有从节点之间的连接；
在所有从节点上执行gpseginstall，完成数据库在从节点上的安装；
读取从节点的数据目录配置信息；
读取Config.ini文件中的配置信息，判断standbyIP是否为空，如果配置了备用主节点，则通过gpssh命令连接备用主节点并为其创建安装目录，进行目录权限设置；
通过gpssh命令在所有从节点上创建数据主目录和镜像数据目录并进行权限设置，同时设置环境变量；
从安装路径下的数据库初始化模板文件复制并生成需要的配置文件gpinitsystem_config，并设置配置文件的属主为gpadmin:gpadmin。
CN202011168880.5A 2020-10-28 2020-10-28 一种Greenplum数据库自动化安装方法及装置 Active CN112286538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011168880.5A CN112286538B (zh) 2020-10-28 2020-10-28 一种Greenplum数据库自动化安装方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011168880.5A CN112286538B (zh) 2020-10-28 2020-10-28 一种Greenplum数据库自动化安装方法及装置

Publications (2)

Publication Number Publication Date
CN112286538A CN112286538A (zh) 2021-01-29
CN112286538B true CN112286538B (zh) 2023-02-17

Family

ID=74372426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011168880.5A Active CN112286538B (zh) 2020-10-28 2020-10-28 一种Greenplum数据库自动化安装方法及装置

Country Status (1)

Country Link
CN (1) CN112286538B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298763A (zh) * 2014-10-23 2015-01-21 电信科学技术第十研究所 一种基于web的结构化数据库系统对外访问方法
CN105138293A (zh) * 2015-09-11 2015-12-09 浪潮电子信息产业股份有限公司 一种基于数据库的磁盘性能评估方法
CN105243012A (zh) * 2015-09-11 2016-01-13 浪潮电子信息产业股份有限公司 一种基于linux的集群网络性能评估方法
US9734186B1 (en) * 2013-06-28 2017-08-15 EMC IP Holding Co., LLC Method of testing coverage of meta data access patterns within a distributed relational system
CN109976897A (zh) * 2017-12-27 2019-07-05 航天信息股份有限公司 一种大数据集群的部署方法、数据交互方法及对应装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734186B1 (en) * 2013-06-28 2017-08-15 EMC IP Holding Co., LLC Method of testing coverage of meta data access patterns within a distributed relational system
CN104298763A (zh) * 2014-10-23 2015-01-21 电信科学技术第十研究所 一种基于web的结构化数据库系统对外访问方法
CN105138293A (zh) * 2015-09-11 2015-12-09 浪潮电子信息产业股份有限公司 一种基于数据库的磁盘性能评估方法
CN105243012A (zh) * 2015-09-11 2016-01-13 浪潮电子信息产业股份有限公司 一种基于linux的集群网络性能评估方法
CN109976897A (zh) * 2017-12-27 2019-07-05 航天信息股份有限公司 一种大数据集群的部署方法、数据交互方法及对应装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Total operator state recall — Cost-effective reuse of results in Greenplum Database;George C. Caragea;《2013 IEEE 29th International Conference on Data Engineering Workshops (ICDEW)》;20130627;44-49 *
分布式数据库Greenplum在地震前兆数据存储中的应用;陈晓琳等;《地震研究》;20200415(第02期);全文 *
部署Greenplum数据库;朱懿;《网络安全和信息化》;20191031;全文 *

Also Published As

Publication number Publication date
CN112286538A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN107450961B (zh) 一种基于Docker容器的分布式深度学习系统及其搭建方法、工作方法
US11561956B2 (en) Key pattern management in multi-tenancy database systems
EP3477488B1 (en) Deploying changes to key patterns in multi-tenancy database systems
US10740315B2 (en) Transitioning between system sharing types in multi-tenancy database systems
US10657276B2 (en) System sharing types in multi-tenancy database systems
Kalavri et al. Mapreduce: Limitations, optimizations and open issues
EP3477504A1 (en) Data separation and write redirection in multi-tenancy database systems
EP3477499A1 (en) Exchanging shared containers and adapting tenants in multi-tenancy database systems
EP3477500A1 (en) Deploying changes in a multi-tenancy database system
EP3477502A1 (en) Patching content across shared and tenant containers in multi-tenancy database systems
US10162735B2 (en) Distributed system test automation framework
US9563697B1 (en) Calculating differences between datasets having differing numbers of partitions
US20140281704A1 (en) Deploying parallel data integration applications to distributed computing environments
CN111324610A (zh) 一种数据同步的方法及装置
US10372555B1 (en) Reversion operations for data store components
CN111614733B (zh) 一种分布式多分片集群的部署方法、装置及存储介质
US10152239B1 (en) Migration to a multi-tiered data store
Yang The application of mapreduce in the cloud computing
CN110851234A (zh) 基于docker容器的日志处理方法及装置
CN105159799A (zh) 一种备份服务器的方法及装置
US8639657B2 (en) Reorganizing table-based data objects
CN112286538B (zh) 一种Greenplum数据库自动化安装方法及装置
AU2021268828B2 (en) Secure data replication in distributed data storage environments
US11836125B1 (en) Scalable database dependency monitoring and visualization system
KR20160041615A (ko) 클라우드 플랫폼 기반 로그수집 자동화 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant