CN110798336A - 一种大数据平台部署服务器环境检查的方法和装置 - Google Patents

一种大数据平台部署服务器环境检查的方法和装置 Download PDF

Info

Publication number
CN110798336A
CN110798336A CN201910912499.6A CN201910912499A CN110798336A CN 110798336 A CN110798336 A CN 110798336A CN 201910912499 A CN201910912499 A CN 201910912499A CN 110798336 A CN110798336 A CN 110798336A
Authority
CN
China
Prior art keywords
server
script
environment
data platform
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910912499.6A
Other languages
English (en)
Inventor
赵明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Suzhou Wave Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wave Intelligent Technology Co Ltd filed Critical Suzhou Wave Intelligent Technology Co Ltd
Priority to CN201910912499.6A priority Critical patent/CN110798336A/zh
Publication of CN110798336A publication Critical patent/CN110798336A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0866—Checking the configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Abstract

本发明实施例公开了一种大数据平台部署服务器环境检查的方法和装置，所述方法包括：通过对集群服务器的信息配置文件的读取，向集群的所有服务器发送环境检查脚本；根据所述环境检查脚本，依次对服务器的环境信息进行收集，将所述服务器的环境信息统计记录到执行日志中。本发明实施例可以通过读取服务器的配置信息，进而收集到所有集群服务器环境信息，节省了人力成本，提升了工作效率。

Description

一种大数据平台部署服务器环境检查的方法和装置
技术领域
本发明涉及集群服务器技术，尤指一种大数据平台部署服务器环境检查的方法和装置。
背景技术
大数据平台集群部署是一项较为繁琐的过程，如云海Insight平台中，首先需要检查集群服务器的配置是否满足平台部署要求，才能进行进一步的服务器部署工作。
在现有技术的部署环境检查上，只能采用人工登录到各个服务器，并通过执行检查命令才能知道是否满足部署要求，如果服务器是几百台或者几千台，这是一项较为复杂的工作，并且很容易导致服务器检查遗漏等情况，从而导致平台部署失败。
发明内容
为了解决上述技术问题，本发明实施例提供了一种大数据平台部署服务器环境检查的方法和装置，可以通过读取服务器的配置信息，进而收集到所有集群服务器环境信息，节省了人力成本，提升了工作效率。
为了达到本发明目的，一方面，本发明实施例提供了一种大数据平台部署服务器环境检查的方法，包括：
通过对集群服务器的信息配置文件的读取，向集群的所有服务器发送环境检查脚本；
根据所述环境检查脚本，依次对服务器的环境信息进行收集，将所述服务器的环境信息统计记录到执行日志中。
进一步地，向集群的所有服务器发送环境检查脚本之前还包括：
通过shell脚本为开发语言编写所述环境检查脚本。
进一步地，所述方法包括：
填写配置文件，用以对IP地址，用户名密码，服务器数进行配置。
进一步地，所述方法包括：
部署环境检查装置启动脚本，用以启动所述环境检查装置来读取所述配置文件，并创建所述执行日志。
进一步地，所述方法包括：
远程拷贝脚本，用以拷贝所述环境检查脚本到每个服务器。
进一步地，所述方法包括：
遍历执行所述环境检查脚本，将所述服务器信息统计记录到所述执行日志中。
另一方面，本发明实施例还提供了一种大数据平台部署服务器环境检查的装置，包括：
发送脚本模块，用以通过对集群服务器的信息配置文件的读取，向集群的所有服务器发送环境检查脚本；
收集记录模块，用以根据所述环境检查脚本，依次对服务器的环境信息进行收集，将所述服务器的环境信息统计记录到执行日志中。
进一步地，所述装置还用于：
通过shell脚本为开发语言编写所述环境检查脚本。
进一步地，所述装置还用于：
填写配置文件，用以对IP地址，用户名密码，服务器数进行配置。
进一步地，所述装置还用于：
部署环境检查装置启动脚本，用以启动所述环境检查装置来读取所述配置文件，并创建所述执行日志。
进一步地，所述装置还用于：
远程拷贝脚本，用以拷贝所述环境检查脚本到每个服务器。
进一步地，所述装置还用于：
遍历执行所述环境检查脚本，将所述服务器信息统计记录到所述执行日志中。
本发明实施例通过对集群服务器的信息配置文件的读取，向集群的所有服务器发送环境检查脚本；根据所述环境检查脚本，依次对服务器的环境信息进行收集，将所述服务器的环境信息统计记录到执行日志中。本发明实施例可以通过读取服务器的配置信息，进而收集到所有集群服务器环境信息，节省了人力成本，提升了工作效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例大数据平台部署服务器环境检查的方法的流程图；
图2为本发明实施例大数据平台部署服务器环境检查的方法的逻辑图；
图3为本发明实施例大数据平台部署服务器环境检查的装置的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例大数据平台部署服务器环境检查的方法的流程图，如图1所示，本发明实施例的方法包括以下步骤：
步骤101：通过对集群服务器的信息配置文件的读取，向集群的所有服务器发送环境检查脚本；
步骤102：根据所述环境检查脚本，依次对服务器的环境信息进行收集，将所述服务器的环境信息统计记录到执行日志中。
例如，基于云海Insight平台部署服务器环境检查的方法详细说明如下：
本发明实施例通过读取服务器的配置信息，进而收集到所有集群服务器环境信息。本发明实施例通过shell脚本为开发语言，通过对集群服务器的信息配置文件的读取，向集群的所有服务器发送环境检查的脚本，并依次对服务器的环境进行收集，并将结果进行日志形式记录。环境部署人员可以通过本发明实施例中的大数据平台部署服务器环境检查的方法，快速准确的对服务器信息进行检查，并将不满足部署要求的服务器进行修正，从而实现了快速、自动化的部署环境的检查。
进一步地，向集群的所有服务器发送环境检查脚本之前还包括：
通过shell脚本为开发语言编写所述环境检查脚本。
具体地，所述脚本主要内容如下：
配置文件：conf.properties
部署环境检查装置启动脚本：AutoCheck.sh
远程拷贝脚本：copy.sh
执行环境检查脚本：execute.sh
检查环境脚本：check.sh
其中，所述方法包括：
填写配置文件，用以对IP地址，用户名密码，服务器数进行配置。
进一步地，所述方法包括：
部署环境检查装置启动脚本，用以启动所述环境检查装置来读取所述配置文件，并创建所述执行日志。
进一步地，所述方法包括：
远程拷贝脚本，用以拷贝所述环境检查脚本到每个服务器。
进一步地，所述方法包括：
遍历执行所述环境检查脚本，将所述服务器信息统计记录到所述执行日志中。
下面对本发明实施例大数据平台部署服务器环境检查的方法的具体实现过程进行详细说明：
图2为本发明实施例大数据平台部署服务器环境检查的方法的逻辑图，如图2所示，具体方法中包括以下步骤：
第一步骤：填写配置文件:
该装置中的配置文件为conf.properties，填写需要检查的服务器信息。
将集群的所有服务器的数量、IP地址、用户名、密码填写到配置文件中，格式如下：
Max_number:****
IP1：100.100.1.1
User1：root
Passwd1：***
…….
服务器信息填写完成后，上传脚本到可访问集群服务器网络的任意服务器。
第二步骤：启动部署环境检查装置:
#执行部署环境检查装置
./AutoCheck.sh
#指定配置文件
Properties＝”./conf.properties”
#获取服务器执行日期
ex_date＝“date+％Y％m％d”
#根据服务器日期创建日志文件
if[！-f"$ex_date.log"]；
then
echo“日志不存在，需创建日志文件”
touch$ex_date.log
fi
第三步骤：拷贝环境检查脚本到所有服务器节点：
#获取需要检查的服务器数量
Number＝$(awk–F:’{if($1～/Max_number/)print$2}’$properties)
#进行循环获取每个服务器的阶段信息，并拷贝执行脚本check.sh到各个服务器，并记录执行日志
for(i＝1；i<＝Numeber；i++)
do
echo”第$i台服务器的IP地址、用户名和密码”
IP＝$(awk–F:’{if($1～/IP$i/)print$2}’$properties)
User＝$(awk–F:’{if($1～/User$i/)print$2}’$properties)
Passwd$i＝$(awk–F:’{if($1～/Passwd$i/)print$2}’$properties)
echo”将执行环境检查脚本拷贝到第$i台服务器”
./copy.sh$IP$User$Passwd tee–a ex_date.log
done
#copy.sh脚本根据传入的服务器信息的值将环境检查脚本拷贝的需要检查的服务器上
具体实现：
#/usr/bin/expect
set timeout 10
puts“＝＝＝＝＝＝＝＝＝＝＝＝过程：执行环境检查脚本拷贝＝＝＝＝＝＝＝＝＝＝＝＝＝”
set server.ip[lidex$argv 0]
set server.user[lidex$argv 1]
set server.passwd[lidex$argv 2]
spawn scp–r./check.sh$server.user@server.ip:/opt
expect{
“*yes/no”{send“yes\r”；exp_continue}
“*password:”{send“$server.passwd\r；}
}
第四步骤：执行环境检查脚本：
#进行循环获取每个服务器的信息，并在各个服务器执行check.sh脚本，并记录执行日志
for(i＝1；i<＝Numeber；i++)
do
echo”第$i台服务器的IP地址、用户名和密码”
IP＝$(awk–F:’{if($1～/IP$i/)print$2}’$properties)
User＝$(awk–F:’{if($1～/User$i/)print$2}’$properties)
Passwd$i＝$(awk–F:’{if($1～/Passwd$i/)print$2}’$properties)
echo”执行部署环境检查脚本”
./execute.sh$IP$User$Passwd tee–a ex_date.log
done
#execute.sh脚本根据传入的服务器信息将执行check.sh脚本，并进行日志记录
具体实现：
#！/bin/bash/expect
puts“＝＝＝＝＝＝＝＝＝＝＝＝过程：执行环境检查脚本＝＝＝＝＝＝＝＝＝＝＝＝＝”
set server.ip[lidex$argv 0]
set server.user[lidex$argv 1]
set server.passwd[lidex$argv 2]
ssh$server.user@$server.ip>/dev/null 2>&1<<eeooff
./opt/check.sh
exit
eeooff
echo done！
#check.sh脚本主要检查服务器的环境信息：磁盘分区信息、内存信息、操作系统信息
具体实现：
#获取服务器磁盘信息
Disk_info＝”df–h”
#获取服务器操作系统版本信息
OperatSystem_info＝”cat/etc/redhat-release”
#获取服务器内存信息
RAM_info＝”free–h”
第五步骤：将服务器信息统计记录到执行日志中：
脚本以：tee–a ex_date.log日志追加的方式记录每个服务器的信息。
本发明实施例提供的一种大数据平台部署环境检查的方法，旨在准确、快速收集集群的部署环境信息，保证服务器配置及相关要求符合大数据平台服务的部署要求。通过该测试方法的运用，可快速对集群几百个或者上千个服务器信息进行收集，从而解决了人工检查的复杂度，节省了人力成本，提升了工作效率。
图3为本发明实施例大数据平台部署服务器环境检查的装置的结构图，如图3所示，本发明实施例另一方面提供的一种大数据平台部署服务器环境检查的装置，包括：
发送脚本模块301，用以通过对集群服务器的信息配置文件的读取，向集群的所有服务器发送环境检查脚本；
收集记录模块302，用以根据所述环境检查脚本，依次对服务器的环境信息进行收集，将所述服务器的环境信息统计记录到执行日志中。
进一步地，所述装置还用于：
通过shell脚本为开发语言编写所述环境检查脚本。
进一步地，所述装置还用于：
填写配置文件，用以对IP地址，用户名密码，服务器数进行配置。
进一步地，所述装置还用于：
部署环境检查装置启动脚本，用以启动所述环境检查装置来读取所述配置文件，并创建所述执行日志。
进一步地，所述装置还用于：
远程拷贝脚本，用以拷贝所述环境检查脚本到每个服务器。
进一步地，所述装置还用于：
遍历执行所述环境检查脚本，将所述服务器信息统计记录到所述执行日志中。
综上所述，本发明实施例通过对集群服务器的信息配置文件的读取，向集群的所有服务器发送环境检查脚本；根据所述环境检查脚本，依次对服务器的环境信息进行收集，将所述服务器的环境信息统计记录到执行日志中。本发明实施例可以通过读取服务器的配置信息，进而收集到所有集群服务器环境信息，节省了人力成本，提升了工作效率。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种大数据平台部署服务器环境检查的方法，其特征在于，包括：
通过对集群服务器的信息配置文件的读取，向集群的所有服务器发送环境检查脚本；
根据所述环境检查脚本，依次对服务器的环境信息进行收集，将所述服务器的环境信息统计记录到执行日志中。
2.根据权利要求1所述的大数据平台部署服务器环境检查的方法，其特征在于，向集群的所有服务器发送环境检查脚本之前还包括：
通过shell脚本为开发语言编写所述环境检查脚本。
3.根据权利要求2所述的大数据平台部署服务器环境检查的方法，其特征在于，所述方法包括：
填写配置文件，用以对IP地址，用户名密码，服务器数进行配置。
4.根据权利要求3所述的大数据平台部署服务器环境检查的方法，其特征在于，所述方法包括：
部署环境检查装置启动脚本，用以启动所述环境检查装置来读取所述配置文件，并创建所述执行日志。
5.根据权利要求4所述的大数据平台部署服务器环境检查的方法，其特征在于，所述方法包括：
远程拷贝脚本，用以拷贝所述环境检查脚本到每个服务器。
6.根据权利要求5所述的大数据平台部署服务器环境检查的方法，其特征在于，所述方法包括：
遍历执行所述环境检查脚本，将所述服务器信息统计记录到所述执行日志中。
7.一种大数据平台部署服务器环境检查的装置，其特征在于，包括：
发送脚本模块，用以通过对集群服务器的信息配置文件的读取，向集群的所有服务器发送环境检查脚本；
收集记录模块，用以根据所述环境检查脚本，依次对服务器的环境信息进行收集，将所述服务器的环境信息统计记录到执行日志中。
8.根据权利要求7所述的大数据平台部署服务器环境检查的装置，其特征在于，所述装置还用于：
通过shell脚本为开发语言编写所述环境检查脚本。
9.根据权利要求8所述的大数据平台部署服务器环境检查的装置，其特征在于，所述装置还用于：
填写配置文件，用以对IP地址，用户名密码，服务器数进行配置。
10.根据权利要求9所述的大数据平台部署服务器环境检查的装置，其特征在于，所述装置还用于：
部署环境检查装置启动脚本，用以启动所述环境检查装置来读取所述配置文件，并创建所述执行日志。
CN201910912499.6A 2019-09-25 2019-09-25 一种大数据平台部署服务器环境检查的方法和装置 Pending CN110798336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910912499.6A CN110798336A (zh) 2019-09-25 2019-09-25 一种大数据平台部署服务器环境检查的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910912499.6A CN110798336A (zh) 2019-09-25 2019-09-25 一种大数据平台部署服务器环境检查的方法和装置

Publications (1)

Publication Number Publication Date
CN110798336A true CN110798336A (zh) 2020-02-14

Family

ID=69439683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910912499.6A Pending CN110798336A (zh) 2019-09-25 2019-09-25 一种大数据平台部署服务器环境检查的方法和装置

Country Status (1)

Country Link
CN (1) CN110798336A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111722853A (zh) * 2020-06-12 2020-09-29 苏州浪潮智能科技有限公司 一种安装脚本部署的方法和设备
CN112463253A (zh) * 2020-12-11 2021-03-09 北京浪潮数据技术有限公司 一种平台配置方法、系统、设备及存储介质
CN112836220A (zh) * 2021-02-07 2021-05-25 浪潮云信息技术股份公司 一种云中心环境检查方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020069271A1 (en) * 2000-12-06 2002-06-06 Glen Tindal Event manager for network operating system
CN105487943A (zh) * 2015-12-09 2016-04-13 浪潮电子信息产业股份有限公司 一种自动向集群服务器各节点拷贝文件的方法
CN106445754A (zh) * 2016-09-13 2017-02-22 郑州云海信息技术有限公司 一种检查集群健康状态的方法、系统及集群服务器
CN107547280A (zh) * 2017-09-15 2018-01-05 山东建筑大学 一种物联网智能建筑系统架构

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020069271A1 (en) * 2000-12-06 2002-06-06 Glen Tindal Event manager for network operating system
CN105487943A (zh) * 2015-12-09 2016-04-13 浪潮电子信息产业股份有限公司 一种自动向集群服务器各节点拷贝文件的方法
CN106445754A (zh) * 2016-09-13 2017-02-22 郑州云海信息技术有限公司 一种检查集群健康状态的方法、系统及集群服务器
CN107547280A (zh) * 2017-09-15 2018-01-05 山东建筑大学 一种物联网智能建筑系统架构

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111722853A (zh) * 2020-06-12 2020-09-29 苏州浪潮智能科技有限公司 一种安装脚本部署的方法和设备
CN112463253A (zh) * 2020-12-11 2021-03-09 北京浪潮数据技术有限公司 一种平台配置方法、系统、设备及存储介质
CN112463253B (zh) * 2020-12-11 2023-12-22 北京浪潮数据技术有限公司 一种平台配置方法、系统、设备及存储介质
CN112836220A (zh) * 2021-02-07 2021-05-25 浪潮云信息技术股份公司 一种云中心环境检查方法

Similar Documents

Publication Publication Date Title
US10534699B2 (en) Method, device and computer program product for executing test cases
US9886375B2 (en) Automated execution of functional test scripts on a remote system within a unit testing framework
US7664986B2 (en) System and method for determining fault isolation in an enterprise computing system
CN110798336A (zh) 一种大数据平台部署服务器环境检查的方法和装置
CN111124850A (zh) Mqtt服务器性能测试方法、系统、计算机设备及存储介质
CN104954189A (zh) 一种服务器集群的自动检测方法和系统
US20100017427A1 (en) Multilevel Hierarchical Associations Between Entities in a Knowledge System
CN110750458A (zh) 大数据平台测试方法、装置、可读存储介质及电子设备
CN108984332A (zh) 一种定位服务器宕机故障的装置及方法
CN112181833A (zh) 一种智能化模糊测试方法、装置及系统
US8327189B1 (en) Diagnosing an incident on a computer system using a diagnostics analyzer database
CN114625645A (zh) 业务测试方法、装置、电子设备以及可读存储介质
CN111984367A (zh) 一种基于容器云平台的应用部署方法及系统
US9354962B1 (en) Memory dump file collection and analysis using analysis server and cloud knowledge base
CN112506772B (zh) web自动化测试方法、装置、电子设备和存储介质
CN116647490A (zh) 一种航空afdx网络数据检测系统
CN111651330B (zh) 数据采集方法、装置、电子设备和计算机可读存储介质
CN113094266A (zh) 一种容器数据库的故障测试方法、平台及设备
CN110661677B (zh) 一种dns测试方法、装置和系统
CN111835590A (zh) 一种云主机产品的自动化接口测试架构及测试方法
CN109302305A (zh) 一种基于工业控制系统的集群性能测试方法
CN117251328B (zh) 一种usb外设远程适配方法及系统
US20230208743A1 (en) Automated network analysis using a sensor
Punia et al. Systematic Diagnostics for C4I Systems: A Conceptual Framework
CN116662209A (zh) 数据库接口自动化测试方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214

RJ01 Rejection of invention patent application after publication