CN109167687B - 一种批量初始化物理服务器集群网络配置的方法及系统 - Google Patents

一种批量初始化物理服务器集群网络配置的方法及系统 Download PDF

Info

Publication number
CN109167687B
CN109167687B CN201811030050.9A CN201811030050A CN109167687B CN 109167687 B CN109167687 B CN 109167687B CN 201811030050 A CN201811030050 A CN 201811030050A CN 109167687 B CN109167687 B CN 109167687B
Authority
CN
China
Prior art keywords
pxe
server
physical server
configuration
script
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811030050.9A
Other languages
English (en)
Other versions
CN109167687A (zh
Inventor
王晓恒
董玉全
张江伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN201811030050.9A priority Critical patent/CN109167687B/zh
Publication of CN109167687A publication Critical patent/CN109167687A/zh
Application granted granted Critical
Publication of CN109167687B publication Critical patent/CN109167687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H04L41/0886—Fully automatic configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0889—Techniques to speed-up the configuration process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses
    • H04L61/5014—Internet protocol [IP] addresses using dynamic host configuration protocol [DHCP] or bootstrap protocol [BOOTP]

Abstract

本发明提供了一种批量初始化物理服务器集群网络配置的方法及系统，该方法包括：将PXE自动安装脚本、操作系统安装镜像安装到控制服务器上；确定集群中各物理服务器对应的节点序列号，确定各节点序列号与对应物理服务器中各个网卡的对应关系；修改配置文件以设置各物理服务器的网卡IP配置信息；通过控制服务器运行PXE自动安装脚本以针对各物理服务器：基于操作系统安装镜像通过PXE在当前物理服务器上安装操作系统，再通过PXE中的DHCP服务设置当前物理服务器中各个网卡的临时IP；根据临时IP、对应关系和网卡IP配置信息，设置当前物理服务器中各个网卡的IP。本方案无需手动执行网络初始化，故能够提高网络初始化效率。

Description

一种批量初始化物理服务器集群网络配置的方法及系统
技术领域
本发明涉及计算机技术领域，特别涉及一种批量初始化物理服务器集群网络配置的方法及系统。
背景技术
PXE(preboot execute environment，预启动执行环境)工作于Client/Server(客户端/服务端)的网络模式，支持工作站通过网络从远端服务器下载映像，并由此支持通过网络启动操作系统。在启动过程中，客户端要求服务器分配IP地址，再用TFTP(trivialfile transfer protocol，简单文件传输协议)或MTFTP(multicast trivial filetransfer protocol，多点的TFTP服务)下载一个启动软件包到本机内存中执行，由这个启动软件包完成客户端的基本软件设置，从而引导预先安装在服务器中的终端操作系统。
可见，PXE的主要工作是安装操作系统，但无法对集群中各物理服务器进行网络初始化。目前，可以由工作人员人为手动执行网络初始化。
由于需要人为手动执行，故现有实现方式的网络初始化效率较低。
发明内容
本发明提供了一种批量初始化物理服务器集群网络配置的方法及系统，能够提高网络初始化效率。
为了达到上述目的，本发明是通过如下技术方案实现的：
一方面，本发明提供了一种批量初始化物理服务器集群网络配置的方法，将预先确定好的PXE自动安装脚本、操作系统安装镜像均安装到一控制服务器上；确定物理服务器集群中每一个物理服务器对应的节点序列号，并确定每一个所述节点序列号与对应物理服务器中各个网卡的对应关系；修改配置文件，以设置每一个所述物理服务器的网卡IP配置信息；还包括：
通过所述控制服务器运行所述PXE自动安装脚本，以针对每一个所述物理服务器均执行：
基于所述操作系统安装镜像，通过PXE在当前物理服务器上安装操作系统；
基于安装好的所述操作系统，通过所述PXE中的DHCP(Dynamic HostConfiguration Protocol，动态主机配置协议)服务，设置所述当前物理服务器中各个网卡的临时IP；
根据所述临时IP、所述当前物理服务器对应的节点序列号与所述当前物理服务器中各个网卡的对应关系、所述当前物理服务器的网卡IP配置信息，设置所述当前物理服务器中各个网卡的IP。
进一步地，该方法还包括：设置所述PXE自动安装脚本，其中，所述PXE自动安装脚本的文件夹内容包括：用于制作配置文件的文本文档、统计的服务器配置管理信息、安装PXE的执行脚本、存放脚本文件的目录、服务器网口绑定脚本、服务器网口IP配置脚本、DNS(Domain Name System，服务器域名系统)配置脚本、服务器hostname配置脚本、存放tftp相关文件的目录中的任意一个或多个。
进一步地，所述修改配置文件，以设置每一个所述物理服务器的网卡IP配置信息，包括：进入PxeInstallV1_0目录下，使用excel打开configure.xlsx，并在打开的excel中设置每一个所述物理服务器的网卡IP配置信息；
所述通过所述控制服务器运行所述PXE自动安装脚本，包括：通过所述控制服务器，进入PxeInstallV1_0目录中，运行所述PXE自动安装脚本。
进一步地，所述网卡IP配置信息包括：节点序列号、单独以太网口配置IP地址的信息、网口绑定的配置信息、配置的DNS、配置的主机名、配置PXE服务器所需要的信息中的任意一种或多种；
其中，所述单独以太网口配置IP地址的信息包括：是否为单独的以太网口配置IP地址、以太网口的名称、配置的IP地址、配置的NETMASK(子网掩码)、配置的GATEWAY(网关)中的任意一种或多种；
所述网口绑定的配置信息包括：是否配置网口绑定、网口绑定的所有物理网口名称、配置的IP地址、配置的NETMASK、配置的GATEWAY、配置的网口模式、配置的网口绑定名称中的任意一种或多种；
所述配置PXE服务器所需要的信息包括：启动PXE服务的IP地址、配置DHCP服务时dhcpd.conf配置文件中的选项、配置DHCP服务的地址池的起始地址、配置DHCP服务的地址池的终止地址中的任意一种或多种。
进一步地，所述将预先确定好的PXE自动安装脚本、操作系统安装镜像均安装到一控制服务器上，包括：将预先确定好的PXE自动安装脚本、操作系统安装镜像，均拷贝到一预先安装好linux操作系统的控制服务器的/opt/目录下。
另一方面，本发明提供了一种批量初始化物理服务器集群网络配置的系统，包括：设置单元、控制服务器、包括有至少一个物理服务器的物理服务器集群；
其中，所述设置单元，用于将预先确定好的PXE自动安装脚本、操作系统安装镜像均安装到所述控制服务器上；确定所述物理服务器集群中每一个物理服务器对应的节点序列号，并确定每一个所述节点序列号与对应物理服务器中各个网卡的对应关系；修改配置文件，以设置每一个所述物理服务器的网卡IP配置信息；
所述控制服务器，用于运行所述PXE自动安装脚本，以针对每一个所述物理服务器均执行：基于所述操作系统安装镜像，通过PXE在当前物理服务器上安装操作系统；基于安装好的所述操作系统，通过所述PXE中的DHCP服务，设置所述当前物理服务器中各个网卡的临时IP；根据所述临时IP、所述当前物理服务器对应的节点序列号与所述当前物理服务器中各个网卡的对应关系、所述当前物理服务器的网卡IP配置信息，设置所述当前物理服务器中各个网卡的IP。
进一步地，所述设置单元，还用于设置所述PXE自动安装脚本，其中，所述PXE自动安装脚本的文件夹内容包括：用于制作配置文件的文本文档、统计的服务器配置管理信息、安装PXE的执行脚本、存放脚本文件的目录、服务器网口绑定脚本、服务器网口IP配置脚本、DNS配置脚本、服务器hostname配置脚本、存放tftp相关文件的目录中的任意一个或多个。
进一步地，所述设置单元，用于进入PxeInstallV1_0目录下，使用excel打开configure.xlsx，并在打开的excel中设置每一个所述物理服务器的网卡IP配置信息；
所述控制服务器，用于进入PxeInstallV1_0目录中，运行所述PXE自动安装脚本。
进一步地，所述网卡IP配置信息包括：节点序列号、单独以太网口配置IP地址的信息、网口绑定的配置信息、配置的DNS、配置的主机名、配置PXE服务器所需要的信息中的任意一种或多种；
其中，所述单独以太网口配置IP地址的信息包括：是否为单独的以太网口配置IP地址、以太网口的名称、配置的IP地址、配置的NETMASK、配置的GATEWAY中的任意一种或多种；
所述网口绑定的配置信息包括：是否配置网口绑定、网口绑定的所有物理网口名称、配置的IP地址、配置的NETMASK、配置的GATEWAY、配置的网口模式、配置的网口绑定名称中的任意一种或多种；
所述配置PXE服务器所需要的信息包括：启动PXE服务的IP地址、配置DHCP服务时dhcpd.conf配置文件中的选项、配置DHCP服务的地址池的起始地址、配置DHCP服务的地址池的终止地址中的任意一种或多种。
进一步地，所述设置单元，用于将预先确定好的PXE自动安装脚本、操作系统安装镜像，均拷贝到预先安装好linux操作系统的所述控制服务器的/opt/目录下。
本发明提供了一种批量初始化物理服务器集群网络配置的方法及系统，该方法包括：将PXE自动安装脚本、操作系统安装镜像安装到控制服务器上；确定集群中各物理服务器对应的节点序列号，确定各节点序列号与对应物理服务器中各个网卡的对应关系；修改配置文件以设置各物理服务器的网卡IP配置信息；通过控制服务器运行PXE自动安装脚本以针对各物理服务器：基于操作系统安装镜像通过PXE在当前物理服务器上安装操作系统，再通过PXE中的DHCP服务设置当前物理服务器中各个网卡的临时IP；根据临时IP、对应关系和网卡IP配置信息，设置当前物理服务器中各个网卡的IP。本发明无需手动执行网络初始化，故能够提高网络初始化效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种批量初始化物理服务器集群网络配置的方法的流程图；
图2是本发明一实施例提供的另一种批量初始化物理服务器集群网络配置的方法的流程图；
图3是本发明一实施例提供的一种批量初始化物理服务器集群网络配置的系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种批量初始化物理服务器集群网络配置的方法，可以包括以下步骤：
步骤101：将预先确定好的PXE自动安装脚本、操作系统安装镜像均安装到一控制服务器上。
步骤102：确定物理服务器集群中每一个物理服务器对应的节点序列号，并确定每一个所述节点序列号与对应物理服务器中各个网卡的对应关系。
步骤103：修改配置文件，以设置每一个所述物理服务器的网卡IP配置信息。
步骤104：通过所述控制服务器运行所述PXE自动安装脚本，以针对每一个所述物理服务器均执行：基于所述操作系统安装镜像，通过PXE在当前物理服务器上安装操作系统；基于安装好的所述操作系统，通过所述PXE中的DHCP服务，设置所述当前物理服务器中各个网卡的临时IP；根据所述临时IP、所述当前物理服务器对应的节点序列号与所述当前物理服务器中各个网卡的对应关系、所述当前物理服务器的网卡IP配置信息，设置所述当前物理服务器中各个网卡的IP。
本发明实施例提供了一种批量初始化物理服务器集群网络配置的方法，将PXE自动安装脚本、操作系统安装镜像安装到控制服务器上；确定集群中各物理服务器对应的节点序列号，确定各节点序列号与对应物理服务器中各个网卡的对应关系；修改配置文件以设置各物理服务器的网卡IP配置信息；通过控制服务器运行PXE自动安装脚本以针对各物理服务器：基于操作系统安装镜像通过PXE在当前物理服务器上安装操作系统，再通过PXE中的DHCP服务设置当前物理服务器中各个网卡的临时IP；根据临时IP、对应关系和网卡IP配置信息，设置当前物理服务器中各个网卡的IP。本发明实施例无需手动执行网络初始化，故能够提高网络初始化效率。
本发明实施例中，上述任一物理服务器均需进行网络配置，基于安装的操作系统可设置物理服务器中各个网卡的IP，以实现该物理服务器的网络配置。
在本发明的一个实施例中，该方法还包括：设置所述PXE自动安装脚本，其中，所述PXE自动安装脚本的文件夹内容包括：用于制作配置文件的文本文档、统计的服务器配置管理信息、安装PXE的执行脚本、存放脚本文件的目录、服务器网口绑定脚本、服务器网口IP配置脚本、DNS配置脚本、服务器hostname配置脚本、存放tftp相关文件的目录中的任意一个或多个。
举例来说，这一PXE自动安装脚本的文件夹内容可以包括：#configure.txt、#configure.xlsx、#pxe_auto_install.sh、#scripts、#scripts/setbond.sh、#scripts/setip.sh、#scripts/setdns.sh、#scripts/setnostname.sh、#tftpboot等。
其中，对于“#configure.txt”：可以直接从hosts.xlsx拷贝而来，用于制作配置文件；
对于“#configure.xlsx”：可以为统计的服务器配置管理信息，包括序列号，IP地址，主机名等；
对于“#pxe_auto_install.sh”：可以为安装PXE的执行脚本；
对于“#scripts”：可以存放下发的脚本文件，供各服务器使用；
对于“#scripts/setbond.sh”：可以为服务器网口绑定脚本；
对于“#scripts/setip.sh”：可以为服务器网口IP配置的脚本；
对于“#scripts/setdns.sh”：可以为服务器DNS配置脚本；
对于“#scripts/setnostname.sh”：可以为服务器hostname配置脚本；
对于“#tftpboot”：可以为存放tftp相关文件的目录。
在本发明一个实施例中，针对【pxe_auto_install.sh】，相关实现代码可以如下所述：
#PXE-server环境的搭建
#PXEt通过dhcp+tftp+http系统工具实现
#工具的安装与配置
#准备环境：一台安装有操作系统的服务器，并准备操作系统源文件
#配置所需要的系统参数
#准备hosts.txt，先通过EXCEL文件hosts.xlsx统计现场计算机的相关信息，统计后直接将内容拷贝到hosts.txt中
#FattyLiu 2017.2.15
#
#配置网络及主机信息
sed s/[[:space:]]/:/g./configure.txt>configure.html
Config＝`grep PXESERVER./configure.html`
/bin/sh./scripts/setbond.sh$Config
/bin/sh./scripts/setip.sh$Config
/bin/sh./scripts/setdns.sh$Config
/bin/sh./scripts/sethostname.sh$Config
#配置系统参数
#Manager节点的网络参数
#配置Manager节点的IP地址，用于修改tftp和ks的参数
Net_IPADDR＝`echo$Config|awk-F":"'{print$16}'`
#配置Manager节点的IP地址，用于dhcp服务参数的修改
Net_NETMASK＝`echo$Config|awk-F":"'{print$17}'`
#用于设置DHCP的网段
Net_SUBNET＝`echo$Config|awk-F":"'{print$18}'`
#用于设置DHCP分配的网段
Net_RangeFrom＝`echo$Config|awk-F":"'{print$19}'`
Net_RangeEnd＝`echo$Config|awk-F":"'{print$20}'`
#用于设定操作系来源，若为光驱安装，册选择/dev/cdrom
#ISO_Path＝/dev/cdrom
ISO_Path＝/opt/CentOS-6.7-x86_64-bin-DVD1.iso
#挂载操作系统，需提前设置ISO_Path参数具体根据实际光盘挂载路径相关
Figure BDA0001789488810000092
#搭建基于光盘镜像的yum源
mkdir/etc/yum.repos.d/bak
mv/etc/yum.repos.d/[a-z]*.repo/etc/yum.repos.d/bak
cat>/etc/yum.repos.d/Media.repo<<EOF
[Media]
name＝Media
baseurl＝file:///media/OS
gpgcheck＝0
enabled＝1
EOF
#安装PXE所需要的包
yum-y install tftp tftp-server dhcp httpd rsync vim createrepo
chkconfig httpd off
chkconfig dhcpd off
#配置DHCP，需要提前设置Net_SUBNET/Net_NETMASK/Net_RangeFrom/Net_RangeEnd参数的值
Figure BDA0001789488810000091
Figure BDA0001789488810000101
#设置tftp，需注意，若有多个网口，请设置ksdevice的值，暂时直接修改default文件
sed-i'/disable/c\\tdisable\t\t\t＝no'/etc/xinetd.d/tftp
rsync-a./tftpboot//var/lib/tftpboot/
sed-i"s/Net_IPADDRESS/$Net_IPADDR/g"/var/lib/tftpboot/pxelinux.cfg/default
#设置http，消除http警告：Could not reliably determine the server'sfully qualified domain name
cp/etc/httpd/conf/httpd.conf/etc/httpd/conf/httpd.conf.bk
echo"ServerName localhost:80">>/etc/httpd/conf/httpd.conf
#准备PXE镜像
rsync-a/media/OS//var/www/html/OS/
#准备第三方安装包，并设置第三方安装包的源
#mkdir/var/www/html/extro
#rsync-a./extro//var/www/html/extro/
#createrepo-p-d-o/var/www/html/extro/var/www/html/extro
#准备远程调用配置文件库并修改
mkdir/var/www/html/configure
rsync-a./configure.html/var/www/html/configure/configure.html
#通过hosts.txt文件生成绑定参数，hosts.txt的格式见文件夹内，直接修改完host.xlsx后拷贝过来即可，此命令用于删除将Hosts.txt中的空格转换为“：”
sed
s/[[:space:]]/:/g./configure.txt>/var/www/html/configure/configure.html
#准备脚本库，根据现场要求修改，现有脚本库有bond.sh和delraid.py
mkdir/var/www/html/scripts
rsync-a./scripts//var/www/html/scripts/
#准备KS文件
mkdir/var/www/html/ks
rsync-a./ks/D-NET-ks.cfg/var/www/html/ks/D-NET-ks.cfg
sed-i"s/Net_IPADDRESS/$Net_IPADDR/g"/var/www/html/ks/D-NET-ks.cfg
#修改PXE的KS后执行脚本，请注意选择RAID卡管理软件的安装包
cat<<EOF>>/var/www/html/ks/D-NET-ks.cfg
％post--interpreter＝/bin/bash--log＝/root/post.log
mkdir/etc/yum.repos.d/bak
mv/etc/yum.repos.d/[a-z]*.repo/etc/yum.repos.d/bak
wget-P/root/http://$Net_IPADDR/scripts/bond.sh
SN＝\`dmidecode-t system|egrep'Serial Number:'|awk-F":"'{print\$2}'\`
NetAddress＝\`curl http://$Net_IPADDR/configure/configure.html|grep\$SN\`
wget-P/opt/http://$Net_IPADDR/scripts/setbond.sh
wget-P/opt/http://$Net_IPADDR/scripts/setip.sh
wget-P/opt/http://$Net_IPADDR/scripts/setdns.sh
wget-P/opt/http://$Net_IPADDR/scripts/sethostname.sh
/bin/sh/opt/setbond.sh\$NetAddress
rm-f/opt/setbond.sh
/bin/sh/opt/setip.sh\$NetAddress
rm-f/opt/setip.sh
/bin/sh/opt/setdns.sh\$NetAddress
rm-f/opt/setdns.sh
/bin/sh/opt/sethostname.sh\$NetAddress
rm-f/opt/sethostname.sh
％end
EOF
#准备repos文件
mkdir/var/www/html/repos
cat>/var/www/html/repos/net.repo<<EOF
[basic]
name＝source
baseurl＝http://$Net_IPADDR/OS
gpgcheck＝0
enabled＝1
#[extro]
#baseurl＝http://$Net_IPADDR/extro
#gpgcheck＝0
#enabled＝1
EOF
service dhcpd restart
service httpd restart
service xinetd restart
在本发明的一个实施例中，所述将预先确定好的PXE自动安装脚本、操作系统安装镜像均安装到一控制服务器上，包括：将预先确定好的PXE自动安装脚本、操作系统安装镜像，均拷贝到一预先安装好linux操作系统的控制服务器的/opt/目录下。
举例来说，可以将脚本拷贝到一台安装好linux操作系统的服务器中，建议拷贝到/opt/目录下，然后将镜像CentOS-6.7-x86_64-bin-DVD1.iso拷贝到/opt/目录下，之后进入PxeInstallV1_0中，执行sh pxe_auto_install.sh，如此，即可通过运行拷贝的脚本，以执行安装操作系统、设置网卡IP等操作。
在本发明的一个实施例中，在初始化物理服务器集群时，可以自动安装操作系统，并根据网络规划对集群中各物理服务器，或称各节点，进行网络初始化。比如，可以收集各物理服务器的节点序列号，根据集群需求做网络规划，确定各节点序列号同对应节点中各网卡IP的关系。
本发明实施例中，基于PXE自动安装脚本，可以解决手动部署PXE服务器的繁琐问题，使PXE服务器的部署一步完成。
本发明实施例中，可根据集群网络规划以通过脚本自动配置各节点的网络信息，降低初始化集群网络配置的复杂度，提高网络初始化效率。
在本发明的一个实施例中，所述修改配置文件，以设置每一个所述物理服务器的网卡IP配置信息，包括：进入PxeInstallV1_0目录下，使用excel打开configure.xlsx，并在打开的excel中设置每一个所述物理服务器的网卡IP配置信息；
所述通过所述控制服务器运行所述PXE自动安装脚本，包括：通过所述控制服务器，进入PxeInstallV1_0目录中，运行所述PXE自动安装脚本。
在本发明的一个实施例中，所述网卡IP配置信息包括：节点序列号、单独以太网口配置IP地址的信息、网口绑定的配置信息、配置的DNS、配置的主机名、配置PXE服务器所需要的信息中的任意一种或多种；
其中，所述单独以太网口配置IP地址的信息包括：是否为单独的以太网口配置IP地址、以太网口的名称、配置的IP地址、配置的NETMASK、配置的GATEWAY中的任意一种或多种；
所述网口绑定的配置信息包括：是否配置网口绑定、网口绑定的所有物理网口名称、配置的IP地址、配置的NETMASK、配置的GATEWAY、配置的网口模式、配置的网口绑定名称中的任意一种或多种；
所述配置PXE服务器所需要的信息包括：启动PXE服务的IP地址、配置DHCP服务时dhcpd.conf配置文件中的选项、配置DHCP服务的地址池的起始地址、配置DHCP服务的地址池的终止地址中的任意一种或多种。
举例来说，可以进入PxeInstallV1_0目录下，使用excel打开configure.xlsx，并统计PXE服务器的信息和所有需要通过PXE安装操作的信息。其中，统计的信息至少可以涉及到下述内容：
SN：主机序列号，为服务器配置信息的依据；
ETH：单独以太网口配置IP地址的信息；
ETH-y/n：是否为单独的以太网口配置IP地址，为y，为单独的以太网口配置IP地址，若为n，则不为单独的以太网口配置IP地址；
ETH-DEVICE：以太网口的名称，如为eth0配置IP地址，则需填“eth0”；
ETH-IPADDR：配置的IP地址；
ETH-NETMASK：配置的NETMASK；
ETH-GATEWAY：配置的GATEWAY，若无需配置，此处填写“Empty”；
BOND：网口绑定的配置信息；
BOND-y/n：是否配置网口绑定，若为y，则配置网口绑定，并读取后续信息，若为n，则不配置网口绑定；
BOND-DEVICE：网口绑定的所有物理网口名称，名称间用”，”隔开，如“eth2，eth3”；
BOND-IPADDR：配置的IP地址；
BOND-NETMASK：配置的NETMASK；
BOND-GATEWAY：配置的GATEWAY，若无需配置，此处填写“Empty”；
BOND-BOND MODE：配置网口模式，如mode＝6则只需在此处填入“6”；
BOND-BOND NAME：配置网口绑定名称，如“bond0”；
DNS：配置的DNS，如无需配置，则填入“Empty”；
HOSTNAME：配置主机名，如无需配置，则填入“Empty”；
PXE：配置PXE服务器所需要的信息；
PXE-Net_IP：启动PXE服务的IP地址，PXE服务器本地的未绑定或绑定后的IP地址；
PXE-Net_NETMASK：配置DHCP服务时dhcpd.conf配置文件中的选项；
PXE-Net_RangeFrom：配置DHCP服务的地址池的起始地址；
PXE-NET_RangeEnd：配置DHCP服务的地支持的终止地址。
在本发明的一个实施例中，上述步骤104中，设置网卡IP时，可以循环DHCP分配的IP，获取各物理服务器的节点序列号，并根据步骤102中确定出的对应关系，设置每个物理服务器中各网卡的IP。
综上所述，本发明实施例提供了一种批量初始化物理服务器集群网络配置的方法，通过该方法，可大大提高集群网络初始化的效率，集群规模越大，效率提升越明显；在初始化集群各节点网络信息时，无需工程师对每个节点单独设置；可根据规划自动进行网络配置，避免了人为设置的错误率；可以自动对多网卡网络进行初始化。
基于上述内容，如图2所示，本发明一个实施例提供了另一种批量初始化物理服务器集群网络配置的方法，具体包括以下步骤：
步骤201：设置PXE自动安装脚本，并确定操作系统安装镜像。
步骤202：将PXE自动安装脚本和操作系统安装镜像，均拷贝到一预先安装好linux操作系统的控制服务器的/opt/目录下。
步骤203：确定物理服务器集群中每一个物理服务器对应的节点序列号，并确定每一个节点序列号与对应物理服务器中各个网卡的对应关系。
步骤204：进入PxeInstallV1_0目录下，使用excel打开configure.xlsx，并在打开的excel中设置每一个物理服务器的网卡IP配置信息。
步骤205：通过控制服务器，进入PxeInstallV1_0目录中，运行PXE自动安装脚本，以针对每一个物理服务器均执行：基于操作系统安装镜像，通过PXE在当前物理服务器上安装操作系统；基于安装好的操作系统，通过PXE中的DHCP服务，设置当前物理服务器中各个网卡的临时IP；根据临时IP、当前物理服务器对应的节点序列号与当前物理服务器中各个网卡的对应关系、当前物理服务器的网卡IP配置信息，设置当前物理服务器中各个网卡的IP。
如图3所示，本发明一个实施例提供了提供了一种批量初始化物理服务器集群网络配置的系统，包括：设置单元301、控制服务器302、包括有至少一个物理服务器3031的物理服务器集群303；
其中，所述设置单元301，用于将预先确定好的PXE自动安装脚本、操作系统安装镜像均安装到所述控制服务器302上；确定所述物理服务器集群303中每一个物理服务器3031对应的节点序列号，并确定每一个所述节点序列号与对应物理服务器3031中各个网卡的对应关系；修改配置文件，以设置每一个所述物理服务器3031的网卡IP配置信息；
所述控制服务器302，用于运行所述PXE自动安装脚本，以针对每一个所述物理服务器3031均执行：基于所述操作系统安装镜像，通过PXE在当前物理服务器上安装操作系统；基于安装好的所述操作系统，通过所述PXE中的DHCP服务，设置所述当前物理服务器中各个网卡的临时IP；根据所述临时IP、所述当前物理服务器对应的节点序列号与所述当前物理服务器中各个网卡的对应关系、所述当前物理服务器的网卡IP配置信息，设置所述当前物理服务器中各个网卡的IP。
在本发明一个实施例中，所述设置单元301，还用于设置所述PXE自动安装脚本，其中，所述PXE自动安装脚本的文件夹内容包括：用于制作配置文件的文本文档、统计的服务器配置管理信息、安装PXE的执行脚本、存放脚本文件的目录、服务器网口绑定脚本、服务器网口IP配置脚本、DNS配置脚本、服务器hostname配置脚本、存放tftp相关文件的目录中的任意一个或多个。
在本发明一个实施例中，所述设置单元301，用于进入PxeInstallV1_0目录下，使用excel打开configure.xlsx，并在打开的excel中设置每一个所述物理服务器3031的网卡IP配置信息；
所述控制服务器302，用于进入PxeInstallV1_0目录中，运行所述PXE自动安装脚本。
在本发明一个实施例中，所述网卡IP配置信息包括：节点序列号、单独以太网口配置IP地址的信息、网口绑定的配置信息、配置的DNS、配置的主机名、配置PXE服务器所需要的信息中的任意一种或多种；
其中，所述单独以太网口配置IP地址的信息包括：是否为单独的以太网口配置IP地址、以太网口的名称、配置的IP地址、配置的NETMASK、配置的GATEWAY中的任意一种或多种；
所述网口绑定的配置信息包括：是否配置网口绑定、网口绑定的所有物理网口名称、配置的IP地址、配置的NETMASK、配置的GATEWAY、配置的网口模式、配置的网口绑定名称中的任意一种或多种；
所述配置PXE服务器所需要的信息包括：启动PXE服务的IP地址、配置DHCP服务时dhcpd.conf配置文件中的选项、配置DHCP服务的地址池的起始地址、配置DHCP服务的地址池的终止地址中的任意一种或多种。
在本发明一个实施例中，所述设置单元301，用于将预先确定好的PXE自动安装脚本、操作系统安装镜像，均拷贝到预先安装好linux操作系统的所述控制服务器302的/opt/目录下。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
综上所述，本发明的各个实施例至少具有如下有益效果：
1、本发明实施例中，将PXE自动安装脚本、操作系统安装镜像安装到控制服务器上；确定集群中各物理服务器对应的节点序列号，确定各节点序列号与对应物理服务器中各个网卡的对应关系；修改配置文件以设置各物理服务器的网卡IP配置信息；通过控制服务器运行PXE自动安装脚本以针对各物理服务器：基于操作系统安装镜像通过PXE在当前物理服务器上安装操作系统，再通过PXE中的DHCP服务设置当前物理服务器中各个网卡的临时IP；根据临时IP、对应关系和网卡IP配置信息，设置当前物理服务器中各个网卡的IP。本发明实施例无需手动执行网络初始化，故能够提高网络初始化效率。
2、本发明实施例提供了一种批量初始化物理服务器集群网络配置的方法，通过该方法，可大大提高集群网络初始化的效率，集群规模越大，效率提升越明显；在初始化集群各节点网络信息时，无需工程师对每个节点单独设置；可根据规划自动进行网络配置，避免了人为设置的错误率；可以自动对多网卡网络进行初始化。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (2)

1.一种批量初始化物理服务器集群网络配置的方法，其特征在于，将预先确定好的预启动执行环境PXE自动安装脚本、操作系统安装镜像均安装到一控制服务器上；确定物理服务器集群中每一个物理服务器对应的节点序列号，并确定每一个所述节点序列号与对应物理服务器中各个网卡的对应关系；修改配置文件，以设置每一个所述物理服务器的网卡IP配置信息；还包括：
通过所述控制服务器运行所述PXE自动安装脚本，以针对每一个所述物理服务器均执行：
基于所述操作系统安装镜像，通过PXE在当前物理服务器上安装操作系统；
基于安装好的所述操作系统，通过所述PXE中的动态主机配置协议DHCP服务，设置所述当前物理服务器中各个网卡的临时IP；
根据所述临时IP、所述当前物理服务器对应的节点序列号与所述当前物理服务器中各个网卡的对应关系、所述当前物理服务器的网卡IP配置信息，设置所述当前物理服务器中各个网卡的IP；
进一步包括：设置所述PXE自动安装脚本，其中，所述PXE自动安装脚本的文件夹内容包括：用于制作配置文件的文本文档、统计的服务器配置管理信息、安装PXE的执行脚本、存放脚本文件的目录、服务器网口绑定脚本、服务器网口IP配置脚本、服务器域名系统DNS配置脚本、服务器hostname配置脚本、存放简单文件传输协议tftp相关文件的目录中的任意一个或多个；
所述修改配置文件，以设置每一个所述物理服务器的网卡IP配置信息，包括：进入PxeInstallV1_0目录下，使用excel打开configure.xlsx，并在打开的excel中设置每一个所述物理服务器的网卡IP配置信息；
所述通过所述控制服务器运行所述PXE自动安装脚本，包括：通过所述控制服务器，进入PxeInstallV1_0目录中，运行所述PXE自动安装脚本；
所述网卡IP配置信息包括：节点序列号、单独以太网口配置IP地址的信息、网口绑定的配置信息、配置的DNS、配置的主机名、配置PXE服务器所需要的信息中的任意一种或多种；
其中，所述单独以太网口配置IP地址的信息包括：是否为单独的以太网口配置IP地址、以太网口的名称、配置的IP地址、配置的子网掩码NETMASK、配置的网关GATEWAY中的任意一种或多种；
所述网口绑定的配置信息包括：是否配置网口绑定、网口绑定的所有物理网口名称、配置的IP地址、配置的NETMASK、配置的GATEWAY、配置的网口模式、配置的网口绑定名称中的任意一种或多种；
所述配置PXE服务器所需要的信息包括：启动PXE服务的IP地址、配置DHCP服务时dhcpd.conf配置文件中的选项、配置DHCP服务的地址池的起始地址、配置DHCP服务的地址池的终止地址中的任意一种或多种；
所述将预先确定好的PXE自动安装脚本、操作系统安装镜像均安装到一控制服务器上，包括：将预先确定好的PXE自动安装脚本、操作系统安装镜像，均拷贝到一预先安装好linux操作系统的控制服务器的/opt/目录下。
2.一种批量初始化物理服务器集群网络配置的系统，其特征在于，包括：
设置单元、控制服务器、包括有至少一个物理服务器的物理服务器集群；
其中，所述设置单元，用于将预先确定好的预启动执行环境PXE自动安装脚本、操作系统安装镜像均安装到所述控制服务器上；确定所述物理服务器集群中每一个物理服务器对应的节点序列号，并确定每一个所述节点序列号与对应物理服务器中各个网卡的对应关系；修改配置文件，以设置每一个所述物理服务器的网卡IP配置信息；
所述控制服务器，用于运行所述PXE自动安装脚本，以针对每一个所述物理服务器均执行：基于所述操作系统安装镜像，通过PXE在当前物理服务器上安装操作系统；基于安装好的所述操作系统，通过所述PXE中的动态主机配置协议DHCP服务，设置所述当前物理服务器中各个网卡的临时IP；根据所述临时IP、所述当前物理服务器对应的节点序列号与所述当前物理服务器中各个网卡的对应关系、所述当前物理服务器的网卡IP配置信息，设置所述当前物理服务器中各个网卡的IP；
所述设置单元，还用于设置所述PXE自动安装脚本，其中，所述PXE自动安装脚本的文件夹内容包括：用于制作配置文件的文本文档、统计的服务器配置管理信息、安装PXE的执行脚本、存放脚本文件的目录、服务器网口绑定脚本、服务器网口IP配置脚本、服务器域名系统DNS配置脚本、服务器hostname配置脚本、存放简单文件传输协议tftp相关文件的目录中的任意一个或多个；
所述设置单元，用于进入PxeInstallV1_0目录下，使用excel打开configure.xlsx，并在打开的excel中设置每一个所述物理服务器的网卡IP配置信息；
所述控制服务器，用于进入PxeInstallV1_0目录中，运行所述PXE自动安装脚本；
所述网卡IP配置信息包括：节点序列号、单独以太网口配置IP地址的信息、网口绑定的配置信息、配置的DNS、配置的主机名、配置PXE服务器所需要的信息中的任意一种或多种；
其中，所述单独以太网口配置IP地址的信息包括：是否为单独的以太网口配置IP地址、以太网口的名称、配置的IP地址、配置的子网掩码NETMASK、配置的网关GATEWAY中的任意一种或多种；
所述网口绑定的配置信息包括：是否配置网口绑定、网口绑定的所有物理网口名称、配置的IP地址、配置的NETMASK、配置的GATEWAY、配置的网口模式、配置的网口绑定名称中的任意一种或多种；
所述配置PXE服务器所需要的信息包括：启动PXE服务的IP地址、配置DHCP服务时dhcpd.conf配置文件中的选项、配置DHCP服务的地址池的起始地址、配置DHCP服务的地址池的终止地址中的任意一种或多种；
所述设置单元，用于将预先确定好的PXE自动安装脚本、操作系统安装镜像，均拷贝到预先安装好linux操作系统的所述控制服务器的/opt/目录下。
CN201811030050.9A 2018-09-05 2018-09-05 一种批量初始化物理服务器集群网络配置的方法及系统 Active CN109167687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811030050.9A CN109167687B (zh) 2018-09-05 2018-09-05 一种批量初始化物理服务器集群网络配置的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811030050.9A CN109167687B (zh) 2018-09-05 2018-09-05 一种批量初始化物理服务器集群网络配置的方法及系统

Publications (2)

Publication Number Publication Date
CN109167687A CN109167687A (zh) 2019-01-08
CN109167687B true CN109167687B (zh) 2021-06-15

Family

ID=64893909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811030050.9A Active CN109167687B (zh) 2018-09-05 2018-09-05 一种批量初始化物理服务器集群网络配置的方法及系统

Country Status (1)

Country Link
CN (1) CN109167687B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454580A (zh) * 2022-11-10 2022-12-09 统信软件技术有限公司 一种节点主机资源管理方法、装置与计算设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889582B (zh) * 2019-01-29 2021-11-23 郑州云海信息技术有限公司 一种基于无人值守的操作系统的网络安装方法及系统
CN110489134B (zh) * 2019-07-26 2022-10-25 苏州浪潮智能科技有限公司 一种pxe服务器和高性能集群环境的部署方法及系统
CN110677505A (zh) * 2019-08-14 2020-01-10 苏州浪潮智能科技有限公司 一种批量配置静态ip的方法和装置
CN110995805B (zh) 2019-11-24 2022-02-18 浪潮电子信息产业股份有限公司 一种集群网卡的确定方法、装置、设备及可读存储介质
CN111061496A (zh) * 2019-12-27 2020-04-24 浪潮电子信息产业股份有限公司 一种Linux操作系统的PXE安装方法及装置
CN111414200B (zh) * 2020-02-24 2024-04-30 北京百度云途腾科技有限责任公司 安装操作系统的方法、装置、电子设备和计算机可读介质
US11765024B2 (en) 2020-04-24 2023-09-19 Hewlett Packard Enterprise Development Lp Automatic provisioning of a computing device with operating system and network processing functions
CN111694577A (zh) * 2020-04-28 2020-09-22 平安科技（深圳）有限公司 基于excel文件安装集群的方法、装置、设备及存储介质
CN111835571B (zh) * 2020-07-20 2023-04-07 平安科技（深圳）有限公司 智能网卡初始化方法、装置、计算机设备和存储介质
CN111880852B (zh) * 2020-07-28 2022-06-07 平安科技（深圳）有限公司 操作系统初始化方法、系统、计算机设备及存储介质
CN112866336B (zh) * 2020-12-30 2022-09-09 北京交通大学 异步网络通信方法、通信系统、装置及存储介质
CN113259434A (zh) * 2021-05-13 2021-08-13 浪潮商用机器有限公司 一种远程操作系统安装方法、装置、设备及存储介质
CN114374734A (zh) * 2021-12-17 2022-04-19 北京电子工程总体研究所 一种基于VxWorks动态自适应网络配置方法及系统
CN115333932B (zh) * 2022-08-11 2024-04-19 北京蔚领时代科技有限公司 一种服务器的自动联网方法、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984575A (zh) * 2014-05-28 2014-08-13 浪潮电子信息产业股份有限公司 一种云计算环境下集群Linux操作系统快速部署方法
CN105117293A (zh) * 2015-09-01 2015-12-02 茂名市群英网络有限公司 Windows系统环境自动化部署方法及自动部署系统
CN105959134A (zh) * 2016-04-22 2016-09-21 汉柏科技有限公司 基于pxe的自动安装部署方法、pxe服务器
CN107040407A (zh) * 2017-03-15 2017-08-11 成都中讯创新科技股份有限公司 一种高性能计算集群动态节点作业方法
CN108052332A (zh) * 2017-12-04 2018-05-18 郑州云海信息技术有限公司 一种批量安装节点操作系统的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9843478B2 (en) * 2014-06-12 2017-12-12 Dell Products L.P. Template builder for end-to-end provisioning and lifecycle management of it infrastructure and services

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984575A (zh) * 2014-05-28 2014-08-13 浪潮电子信息产业股份有限公司 一种云计算环境下集群Linux操作系统快速部署方法
CN105117293A (zh) * 2015-09-01 2015-12-02 茂名市群英网络有限公司 Windows系统环境自动化部署方法及自动部署系统
CN105959134A (zh) * 2016-04-22 2016-09-21 汉柏科技有限公司 基于pxe的自动安装部署方法、pxe服务器
CN107040407A (zh) * 2017-03-15 2017-08-11 成都中讯创新科技股份有限公司 一种高性能计算集群动态节点作业方法
CN108052332A (zh) * 2017-12-04 2018-05-18 郑州云海信息技术有限公司 一种批量安装节点操作系统的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454580A (zh) * 2022-11-10 2022-12-09 统信软件技术有限公司 一种节点主机资源管理方法、装置与计算设备
CN115454580B (zh) * 2022-11-10 2023-03-24 统信软件技术有限公司 一种节点主机资源管理方法、装置与计算设备

Also Published As

Publication number Publication date
CN109167687A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109167687B (zh) 一种批量初始化物理服务器集群网络配置的方法及系统
US20030088650A1 (en) Using a diskless client network topology for disk duplication and configuration
US7761867B2 (en) Method and system for creation of operating system partition table
CN109558212B (zh) 一种物理设备的虚拟化管理方法、系统、物理设备及介质
US20060155838A1 (en) Program installation system and method using the same
CN109067599B (zh) 一种部署集群的方法及装置
WO2004025486A2 (en) Use of off-motherboard resources in a computer system
CN113268256A (zh) 批量装机方法、装置、服务器及计算机存储介质
US20020073186A1 (en) Method and system for generating a list of operating systems for a target device
CN110928554A (zh) 一种部署方法、装置、设备及存储介质
CN107861761B (zh) 一种物理主机的启动方法及系统
Cisco Configuring the Switch IP Address and Default Gateway
Cisco Assigning the Switch IP Address and Default Gateway
Cisco Assigning the Switch IP Address and Default Gateway
Cisco Assigning the Switch IP Address and Default Gateway
Cisco Loading System Images and Configuration Files
Cisco Loading System Images and Configuration Files
Cisco Loading System Images and Configuration Files
Cisco Loading System Images and Configuration Files
Cisco Loading System Images and Configuration Files
Cisco Loading System Images and Configuration Files
Cisco Loading System Images and Configuration Files
Cisco Loading System Images and Configuration Files
Cisco Loading System Images and Configuration Files
Cisco Loading System Images and Configuration Files

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant after: Inspur cloud Information Technology Co.,Ltd.

Address before: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant before: Tidal Cloud Information Technology Co.,Ltd.

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant after: SHANDONG INSPUR CLOUD INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong.

Applicant before: SHANDONG LANGCHAO YUNTOU INFORMATION TECHNOLOGY Co.,Ltd.

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant after: Tidal Cloud Information Technology Co.,Ltd.

Address before: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant before: SHANDONG INSPUR CLOUD INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant