CN111585786A - 一种大数据集群免密搭建方法的实现 - Google Patents

一种大数据集群免密搭建方法的实现 Download PDF

Info

Publication number
CN111585786A
CN111585786A CN202010234696.XA CN202010234696A CN111585786A CN 111585786 A CN111585786 A CN 111585786A CN 202010234696 A CN202010234696 A CN 202010234696A CN 111585786 A CN111585786 A CN 111585786A
Authority
CN
China
Prior art keywords
secret
cluster
big data
free
building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010234696.XA
Other languages
English (en)
Inventor
刘全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Soft Training Education Polytron Technologies Inc
Original Assignee
Qingdao Soft Training Education Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Soft Training Education Polytron Technologies Inc filed Critical Qingdao Soft Training Education Polytron Technologies Inc
Priority to CN202010234696.XA priority Critical patent/CN111585786A/zh
Publication of CN111585786A publication Critical patent/CN111585786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/161—Computing infrastructure, e.g. computer clusters, blade chassis or hardware partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Power Engineering (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及大数据技术领域，尤其涉及一种大数据集群免密搭建方法的实现，包括搭建集群环境；搭建免密环境：设立集群服务器，以及多个与集群服务器通信连接的网络设备；利用所述网络设备搭建局域网；在所述局域网中采用master搭建目标节点，得主节点以及从节点，所述主节点用于对从节点的实时监控；在所述集群服务器设置主节点和从节点的IP以及IP下的密码信息；在所述集群服务器中设置免密脚本，并配对于各节点；本发明实现集群节点的免密登录，通过主/从节点的免密脚本与对应IP下密码信息进行配对，以使得设有免密脚本的节点可免密登录，并通过主节点实现对各从节点的监控；实现对集群里大量的节点快速实现免密访问，提高节点使用效率。

Description

一种大数据集群免密搭建方法的实现
技术领域
本发明涉及大数据技术领域，尤其涉及一种大数据集群免密搭建方法的实现。
背景技术
“大数据”是指以多元形式，许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。
在大数据集群的建立上，在实际的组建中，会有很多不同的节点，每个节点存在唯一登录密码，这一因素导致在集群内实用不同的节点时，会出现反复登录的问题，使得工作极为繁琐，以及对集群内节点的使用效率不佳。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种大数据集群免密搭建方法的实现。
(二)技术方案
本发明提供了一种大数据集群免密搭建方法的实现，包括搭建集群环境：
根据目标用户的需求搭建硬件集群；
在上述硬件集群中建立本地数据库，用以存储大数据管理工具；
通过上述的大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；
搭建免密环境：
设立集群服务器，以及多个与集群服务器通信连接的网络设备；
利用所述网络设备搭建局域网；
在所述局域网中采用master搭建目标节点，得主节点以及从节点，所述主节点用于对从节点的实时监控；
在所述集群服务器设置主节点和从节点的IP以及IP下的密码信息；
在所述集群服务器中设置免密脚本，并配对于各节点；
将免密脚本与从节点IP下的密码信息进行配对，使的设置有免密脚本的从节点实现免密登录，用以方便实现大数据管理工具的存储；
将免密脚本与主节点IP下的密码信息进行配对，使得设置有免密脚本的主节点实现免密登录。
优选地，所述网络设备采用交换机，所述交换机连接目标节点，得局域网，并采用C语言编写主节点，获取主进程，采用Python编写从节点，获取从进程，实现硬件集群的搭建。
优选地，将所述大数据管理工具建立于主节点，并利用大数据管理工具在硬件集群中搭建大数据集群。
优选地，所述大数据管理工具包括Hadoop、Hive、Zookeeper、Spark中的至少一种。
优选地，该种大数据集群免密搭建方法还包括：
集群服务器获取主节点的初始登录密码信息以及IP下密码信息；
利用上述初始登录密码信息与IP下密码信息进行配置目录库；
将上述目录库配置到SSH协议中，形成免密登录。
优选地，所述主节点接收从节点发送的的请求连接信息，开启数据连接，并将建立的数据连接信息保存到本地数据库。
优选地，该种大数据集群免密搭建方法还包括：
集群搭建单元：用于根据目标用户的需求搭建硬件集群；
数据库搭建单元：用于在所述硬件集群中创建本地数据库，以存储大数据管理工具；
工具搭建单元：用于通过大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；
免密搭建单元：用于搭建大数据集群的免密登录环境。
优选地，该种大数据集群免密搭建方法还包括：
计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器处理并执行，用以实现所述的一种大数据集群免密搭建方法。
优选地，该种大数据集群免密搭建方法还包括：
存储器，用于存储计算机程序；处理器，用于处理并执行所述计算机程序，用以实现所述的一种大数据集群免密搭建方法。
本发明的上述技术方案具有如下有益的技术效果：
本发明实现集群节点的免密登录，通过主/从节点的免密脚本与对应IP下密码信息进行配对，以使得设有免密脚本的节点可免密登录，并通过主节点实现对各从节点的监控；实现对集群里大量的节点快速实现免密访问，提高节点使用效率。
附图说明
图1为本发明的大数据集群搭建流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明提出的一种大数据集群免密搭建方法的实现，包括步骤：
步骤S01，搭建集群环境：
根据目标用户的需求搭建硬件集群；
由于在实际的大数据集群的搭建过程中，目标用户的需求是多种多样的，因此，为了满足实际应用中的目标客户需求，搭建一个足够支撑的硬件集群。
在上述硬件集群中建立本地数据库，用以存储大数据管理工具；
通过上述的大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；
通过大数据管理工具，可以下载到各物理层上，其所需的各组件都应是彼此兼容的，一定程度上可降低各组件的维护成本。
步骤S02,搭建免密环境：
设立集群服务器，以及多个与集群服务器通信连接的网络设备；
利用所述网络设备搭建局域网；
在所述局域网中采用master搭建目标节点，得主节点以及从节点，所述主节点用于对从节点的实时监控；
在所述集群服务器设置主节点和从节点的IP以及IP下的密码信息；
在所述集群服务器中设置免密脚本，并配对于各节点；
将免密脚本与从节点IP下的密码信息进行配对，使的设置有免密脚本的从节点实现免密登录，用以方便实现大数据管理工具的存储；
将免密脚本与主节点IP下的密码信息进行配对，使得设置有免密脚本的主节点实现免密登录。
可以理解的是，集群服务器通过主/从节点的IP可以实现通过IP地址进行各节点的访问，需要说明的是，主节点的IP以及IP下的密码信息，实现在集群服务器中进行备案，建立以主节点为中心、从节点连接主节点的结构网；
进一步的，用户可登陆集群服务器，并输入需要登陆的从节点IP进行登录，
此时，主节点接收从节点发送的的请求连接信息，开启数据连接，并将建立的数据连接信息保存到本地数据库，各从节点发送的连接信息通过大数据管理工具配合进行大数据集群的搭建，确保以记录的从节点可直接通过IP进行免密登录。
为了使得主节点与从节点之间实现免密登录，集群服务器还设置免密脚本，主节点免密登录后，可以通过IP查找的方式，登录其他从节点。
也可以是，各从节点之间实现免密登录，经免密登录的从节点，也可以通过IP查找的方式进行其他从节点的登录。
由于是，用户通过终端登录上集群服务器后，对集群服务器进行访问，只需输入需要登录的从节点IP以及该节点对应的登录密码即可登录进行该从节点的访问。
从节点将登录的连接信息发送至主节点，主节点因此获取了各从节点的IP以及IP下对应的登录密码，为制作免密脚本提供基础条件。
所述网络设备采用交换机，所述交换机连接目标节点，得局域网，并采用C语言编写主节点，获取主进程，采用Python编写从节点，获取从进程，实现硬件集群的搭建。
故而，主节点对内的主进程主要用于实时的接收以获取从节点的信息，对从节点进行监控，对外提供访问接口。从节点的从进程对外提供本大数据进程的输出的日志信息，对内向主进程进行数据信息的汇报。
将所述大数据管理工具建立于主节点，并利用大数据管理工具在硬件集群中搭建大数据集群。
为了搭建大数据集群，在一个具体的实施方式中，需搭建一些大数据管理工具，并将大数据工具存储在主节点中；
故而，本地数据库建立在主节点中。
应当理解的是，大数据管理工具多样性。
所述大数据管理工具包括Hadoop、Hive、Zookeeper、Spark中的任一种或几种结合。
在一个具体的实施方式中，Hadoop是一种分布式系统的基础构架，上述其它的工具不一一做解释。由于大数据管理工具的相关组件已经相当之多，且操作方式都属于公知，在此不做赘述与限定。
集群服务器获取主节点的初始登录密码信息以及IP下密码信息；
利用上述初始登录密码信息与IP下密码信息进行配置目录库；
将上述目录库配置到SSH协议中，形成免密登录。
本发明还包括：
集群搭建单元：用于根据目标用户的需求搭建硬件集群；
数据库搭建单元：用于在所述硬件集群中创建本地数据库，以存储大数据管理工具；
工具搭建单元：用于通过大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；
免密搭建单元：用于搭建大数据集群的免密登录环境。
本发明还包括计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器处理并执行，用以实现上述的一种大数据集群免密搭建方法。
本发明还包括存储器，用于存储计算机程序；处理器，用于处理并执行所述计算机程序，用以实现上述的一种大数据集群免密搭建方法。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种大数据集群免密搭建方法的实现，其特征在于，包括：
搭建集群环境：
根据目标用户的需求搭建硬件集群；
在上述硬件集群中建立本地数据库，用以存储大数据管理工具；
通过上述的大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；
搭建免密环境：
设立集群服务器，以及多个与集群服务器通信连接的网络设备；
利用所述网络设备搭建局域网；
在所述局域网中采用master搭建目标节点，得主节点以及从节点，所述主节点用于对从节点的实时监控；
在所述集群服务器设置主节点和从节点的IP以及IP下的密码信息；
在所述集群服务器中设置免密脚本，并配对于各节点；
将免密脚本与从节点IP下的密码信息进行配对，使的设置有免密脚本的从节点实现免密登录，用以方便实现大数据管理工具的存储；
将免密脚本与主节点IP下的密码信息进行配对，使得设置有免密脚本的主节点实现免密登录。
2.根据权利要求1所述的一种大数据集群免密搭建方法的实现，其特征在于，所述网络设备采用交换机，所述交换机连接目标节点，得局域网，并采用C语言编写主节点，获取主进程，采用Python编写从节点，获取从进程，实现硬件集群的搭建。
3.根据权利要求1所述的一种大数据集群免密搭建方法的实现，其特征在于，将所述大数据管理工具建立于主节点，并利用大数据管理工具在硬件集群中搭建大数据集群。
4.根据权利要求3所述的一种大数据集群免密搭建方法的实现，其特征在于，所述大数据管理工具包括Hadoop、Hive、Zookeeper、Spark中的至少一种。
5.根据权利要求1所述的一种大数据集群免密搭建方法的实现，其特征在于，还包括：
集群服务器获取主节点的初始登录密码信息以及IP下密码信息；
利用上述初始登录密码信息与IP下密码信息进行配置目录库；
将上述目录库配置到SSH协议中，形成免密登录。
6.根据权利要求5所述的一种大数据集群免密搭建方法的实现，其特征在于，所述主节点接收从节点发送的的请求连接信息，开启数据连接，并将建立的数据连接信息保存到本地数据库。
7.根据权利要求1所述的一种大数据集群免密搭建方法的实现，其特征在于，还包括：
集群搭建单元：用于根据目标用户的需求搭建硬件集群；
数据库搭建单元：用于在所述硬件集群中创建本地数据库，以存储大数据管理工具；
工具搭建单元：用于通过大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；
免密搭建单元：用于搭建大数据集群的免密登录环境。
8.根据权利要求1所述的一种大数据集群免密搭建方法的实现，其特征在于，还包括计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器处理并执行，用以实现如权利要求1-6所述的一种大数据集群免密搭建方法。
9.根据权利要求1所述的一种大数据集群免密搭建方法的实现，其特征在于，还包括存储器，用于存储计算机程序；处理器，用于处理并执行所述计算机程序，用以实现如权利要求1-6所述的一种大数据集群免密搭建方法。
CN202010234696.XA 2020-03-30 2020-03-30 一种大数据集群免密搭建方法的实现 Pending CN111585786A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010234696.XA CN111585786A (zh) 2020-03-30 2020-03-30 一种大数据集群免密搭建方法的实现

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010234696.XA CN111585786A (zh) 2020-03-30 2020-03-30 一种大数据集群免密搭建方法的实现

Publications (1)

Publication Number Publication Date
CN111585786A true CN111585786A (zh) 2020-08-25

Family

ID=72111423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010234696.XA Pending CN111585786A (zh) 2020-03-30 2020-03-30 一种大数据集群免密搭建方法的实现

Country Status (1)

Country Link
CN (1) CN111585786A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608964A (zh) * 2021-08-09 2021-11-05 宁畅信息产业(北京)有限公司 一种集群自动化监控方法、装置、电子设备及存储介质
CN114143180A (zh) * 2021-10-20 2022-03-04 武汉光庭信息技术股份有限公司 一种轻量化快速自动部署K8s集群的方法及装置
CN117076185A (zh) * 2023-10-16 2023-11-17 太平金融科技服务（上海）有限公司 一种服务器巡检方法、装置、设备及介质
CN117221107A (zh) * 2023-09-14 2023-12-12 浙江睿数云联科技有限公司 集群节点免密访问方法、系统及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106850621A (zh) * 2017-02-07 2017-06-13 南京云创大数据科技股份有限公司 一种基于容器云技术快速搭建Hadoop集群的方法
CN108958744A (zh) * 2018-06-21 2018-12-07 北京京东金融科技控股有限公司 大数据分布式集群的部署方法、装置、介质及电子设备
CN109165022A (zh) * 2018-07-18 2019-01-08 山东中创软件商用中间件股份有限公司 一种大数据集群部署方法、系统、介质及设备
US20190158353A1 (en) * 2006-09-25 2019-05-23 Weaved, Inc. Managing network connected devices
CN110880990A (zh) * 2019-11-29 2020-03-13 北京神州绿盟信息安全科技股份有限公司 一种大数据集群组件的配置核查方法、装置及计算设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190158353A1 (en) * 2006-09-25 2019-05-23 Weaved, Inc. Managing network connected devices
CN106850621A (zh) * 2017-02-07 2017-06-13 南京云创大数据科技股份有限公司 一种基于容器云技术快速搭建Hadoop集群的方法
CN108958744A (zh) * 2018-06-21 2018-12-07 北京京东金融科技控股有限公司 大数据分布式集群的部署方法、装置、介质及电子设备
CN109165022A (zh) * 2018-07-18 2019-01-08 山东中创软件商用中间件股份有限公司 一种大数据集群部署方法、系统、介质及设备
CN110880990A (zh) * 2019-11-29 2020-03-13 北京神州绿盟信息安全科技股份有限公司 一种大数据集群组件的配置核查方法、装置及计算设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608964A (zh) * 2021-08-09 2021-11-05 宁畅信息产业(北京)有限公司 一种集群自动化监控方法、装置、电子设备及存储介质
CN114143180A (zh) * 2021-10-20 2022-03-04 武汉光庭信息技术股份有限公司 一种轻量化快速自动部署K8s集群的方法及装置
CN117221107A (zh) * 2023-09-14 2023-12-12 浙江睿数云联科技有限公司 集群节点免密访问方法、系统及设备
CN117221107B (zh) * 2023-09-14 2024-05-24 浙江睿数云联科技有限公司 集群节点免密访问方法、系统及设备
CN117076185A (zh) * 2023-10-16 2023-11-17 太平金融科技服务（上海）有限公司 一种服务器巡检方法、装置、设备及介质
CN117076185B (zh) * 2023-10-16 2024-01-05 太平金融科技服务（上海）有限公司 一种服务器巡检方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108650262B (zh) 一种基于微服务架构的云平台扩展方法及系统
CN111585786A (zh) 一种大数据集群免密搭建方法的实现
KR102029277B1 (ko) 패킷 기반 데이터 통신의 디바이스 식별자 의존적 오퍼레이션 프로세싱
CN110247784B (zh) 确定网络拓扑结构的方法和装置
CN104322010B (zh) 用于比较配置文件和生成校正命令的系统和方法
US10127273B2 (en) Distributed processing of network data using remote capture agents
CN102301677B (zh) 用于全局服务器负载平衡站点持续的系统和方法
CN108200165B (zh) 请求传输系统、方法、装置及存储介质
CN107948324B (zh) 请求传输系统、方法、装置及存储介质
US9554276B2 (en) System and method for on the fly protocol conversion in obtaining policy enforcement information
US20190199790A1 (en) Managing health status of network devices in a distributed global server load balancing system
CN100433645C (zh) 网络设备的管理方法及网络管理系统
CN111258627B (zh) 一种接口文档生成方法和装置
CN104639497B (zh) 远程访问配置方法、远程访问方法、装置和系统
CN108156274A (zh) 一种vpn网络中使设备获得域名解析结果的方法及装置
CN112445700A (zh) 测试方法和装置
WO2016018342A1 (en) Remote session information based on process identifier
US8713088B2 (en) Identifying users of remote sessions
CN114025009B (zh) 转发请求的方法、系统、代理服务器和装置
CN112968965A (zh) Nfv网络节点的元数据服务方法、服务器及存储介质
US20220060560A1 (en) Cloud communication method and apparatus
WO2018072095A1 (zh) 一种压力测试管理方法及系统
EP3018883B1 (en) Login method and system for client unit
WO2017000540A1 (zh) 数据查询方法及装置
CN113612811B (zh) 一种在多通道中客户端挂载的方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.325, Guangbo Road, hi tech Zone, Qingdao, Shandong Province

Applicant after: Qingruan Innovation Technology Group Co.,Ltd.

Address before: No.325, Guangbo Road, hi tech Zone, Qingdao, Shandong Province

Applicant before: Qingdao soft training education Polytron Technologies Inc.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825