CN112000363A - 一种管理大数据组件配置文件的方法及系统 - Google Patents

一种管理大数据组件配置文件的方法及系统 Download PDF

Info

Publication number
CN112000363A
CN112000363A CN202010748820.4A CN202010748820A CN112000363A CN 112000363 A CN112000363 A CN 112000363A CN 202010748820 A CN202010748820 A CN 202010748820A CN 112000363 A CN112000363 A CN 112000363A
Authority
CN
China
Prior art keywords
configuration file
big data
information
configuration
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010748820.4A
Other languages
English (en)
Inventor
谭博
崔守佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010748820.4A priority Critical patent/CN112000363A/zh
Publication of CN112000363A publication Critical patent/CN112000363A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/36—Software reuse
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/76—Adapting program code to run in a different environment; Porting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45575—Starting, stopping, suspending or resuming virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种管理大数据组件配置文件的方法及系统，该方法包括：采用UI方式采集K8S集群中的大数据组件配置信息，根据该配置信息生成配置文件，然后将配置文件与其所匹配的应用程序分离，并实时监控配置文件的状态，当其状态发送变化时，及时通过UI发送升级信息，最后根据该升级信息对K8S集群中的大数据组件进行Pod升级和回退操作。该系统包括：UI模块、配置文件生成模块、配置文件管理模块、配置文件监控模块以及大数据组件管理模块。通过本申请，能够有效提高配置文件的管理效率和配置文件信息的准确性。

Description

一种管理大数据组件配置文件的方法及系统
技术领域
本申请涉及大数据管理技术领域，特别是涉及一种管理大数据组件配置文件的方法及系统。
背景技术
随着大数据技术的发展，各种大数据组件应运而生。对大数据组件的配置文件进行管理，是大数据管理的重要内容。因此，如何管理大数据组件的配置文件，是个重要的技术问题。
目前管理大数据组件配置文件的方法，通常是将大数据组件容器化，然后通过Kubernetes，也就是K8S进行编排、部署和运维已然成为大势所趋，但每个服务器部署一个K8S架构，在本地获取大数据，每个服务器上的大数据组件众多，每个组件自身包含的配置文件也比较多，组件之间具有较强的配置依赖，通常修改配置文件后，需要手动重启Pod，实现数据更新。
然而，目前管理大数据组件配置文件的方法中，由于每个服务器部署一个K8S架构，对配置文件的管理效率较低。而且，需要配置文件修改后需要手动重启Pod，操作效率较低，工作人员忘记手动重启会导致虽然修改K8S Pod，但是并不会升级相应的Pod，客户端收到的并不是更新后的配置文件，导致对配置文件的修改无效，进而导致对配置文件的管理效率较低。
发明内容
本申请提供了一种管理大数据组件配置文件的方法及系统，以解决现有技术中的管理方法对配置文件的管理效率较低问题。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
一种管理大数据组件配置文件的方法，所述方法包括：
采用UI(User Interface，界面设计)方式，采集K8S集群中的大数据组件配置信息；
根据所述配置信息生成配置文件；
将所述配置文件与其所匹配的应用程序分离；
实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，所述升级信息用于升级Pod；
根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。
可选地，所述采用UI方式，采集K8S集群中的大数据组件配置信息，包括：
采用UI方式，获取大数据组件配置信息修改命令；
根据所述修改命令，采集K8S集群中相应的大数据组件配置信息；
以表单的方式提交所述配置信息。
可选地，将所述配置文件与其所匹配的应用程序分离，包括：
更新表单中的配置信息到相应的配置文件；
根据所述配置文件生成K8S ConfigMap资源对象；
通过K8S部署大数据组件的容器；
将所述K8S ConfigMap资源对象挂载到所述容器中。
可选地，所述实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，包括：
定义配置文件的状态初始值；
实时监测所述配置文件的哈希值；
当后一时刻的哈希值与前一时刻的哈希值不同时，将配置文件的状态初始值修改为状态监测值；
根据所述状态监测值生成升级信息；
通过UI发送所述升级信息。
可选地，根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作，包括：
根据所述升级信息，提交Pod升级和回退操作的命令至K8S集群；
获取K8S集群返回的响应结果；
如果所述响应结果为合格，根据所述响应结果修改并保存配置文件的状态值；
如果所述响应结果为不合格，重新根据所述升级信息，提交升级Pod和回退操作的命令至K8S集群直到响应结果合格为止。
一种管理大数据组件配置文件的系统，所述系统包括：
UI模块，用于采用UI方式，采集K8S集群中的大数据组件配置信息；
配置文件生成模块，用于根据所述配置信息生成配置文件；
配置文件管理模块，用于将所述配置文件与其所匹配的应用程序分离；
配置文件监控模块，用于实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，所述升级信息用于升级Pod；
大数据组件管理模块，用于根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。
可选地，所述UI模块包括：
命令获取单元，用于采用UI方式，获取大数据组件配置信息修改命令；
收集单元，根据所述修改命令，采集K8S集群中相应的大数据组件配置信息；
提交单元，用于以表单的方式提交所述配置信息；
显示单元，用于查看大数据组件配置信息。
可选地，所述配置文件管理模块包括：
更新单元，用于更新表单中的配置信息到相应的配置文件；
K8S ConfigMap资源对象生成单元，用于根据所述配置文件生成K8S ConfigMap资源对象；
部署单元，用于通过K8S部署大数据组件的容器；
挂载单元，用于将所述K8S ConfigMap资源对象挂载到所述容器中。
可选地，所述配置文件监控模块，包括：
状态初始值定义单元，用于定义配置文件的状态初始值；
哈希值监测单元，用于实时监测所述配置文件的哈希值；
状态修改单元，用于当后一时刻的哈希值与前一时刻的哈希值不同时，将配置文件的状态初始值修改为状态监测值；
升级信息生成单元，用于根据所述状态监测值生成升级信息；
发送单元，用于通过UI发送所述升级信息。
可选地，所述大数据组件管理模块，包括：
命令提交单元，用于根据所述升级信息，提交Pod升级和回退操作的命令至K8S集群；
响应结果获取单元，用于获取K8S集群返回的响应结果，当所述响应结果为合格时，启动配置文件状态值保存单元，当所述响应结果为不合格时，重新启动命令提交单元，直到响应结果合格为止；
所述配置文件状态值保存单元，用于当所述响应结果为合格时，根据所述响应结果修改并保存配置文件的状态值。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请提供一种管理大数据组件配置文件的方法，该方法首先采用UI方式采集K8S集群中的大数据组件配置信息，根据该配置信息生成配置文件，然后将配置文件与其所匹配的应用程序分离，并实时监控配置文件的状态，当其状态发送变化时，及时通过UI发送升级信息，最后根据该升级信息对K8S集群中的大数据组件进行Pod升级和回退操作。本实施例采用UI方式采集K8S集群中的大数据组件配置信息，利用界面交互的方式与用户进行交互，通过页面展示供用户查看、修改和收集大数据组件的具体配置信息，这种方式更加直观，有利于提高配置信息采集的准确性和采集效率，从而提高对配置文件管理的效率。本实施例还将配置文件与其所匹配的应用程序进行分离，便于配置文件集中管理，从而实现多个服务器共用一个配置文件，提高配置文件的管理效率。而且由于配置文件与其所匹配的应用程序分离，使得容器化的应用程序可以被移植和复用，有利于进一步提高配置信息管理的灵活性和管理效率。本实施例通过实时监控配置文件的额状态，能够在配置文件状态发生变化时及时通过UI发送升级信息，避免只修改配置文件而未对相应的Pod进行升级的情况，确保对配置文件的修改是有效的，提高配置文件修改的及时性，提高配置文件信息的准确性，从而进一步提高对配置文件管理的效率。
本申请还提供一种管理大数据组件配置文件的系统，该系统主要包括：UI模块、配置文件生成模块、配置文件管理模块、配置文件监控模块以及大数据组件管理模块。通过UI模块的设置，能够实现可视化，从而更加直观而准确地供用户查看、修改和收集大数据组件的具体配置信息，还能够提供用户快速升级回退Pod的功能，有利于提高配置信息采集的准确性和采集效率，从而提高对配置文件管理的效率。配置文件管理模块的设置，将大数据组件配置信息与程序分离，使得容器化的应用程序可移植和复用，有利于提高配置文件管理。配置文件监控模块的设置，能够实时监控配置文件，当其状态发生变化时通过UI发送升级信息，便于及时对Pod进行升级，从而避免只修改配置文件而未对相应的Pod进行升级的情况，确保对配置文件的修改是有效的，提高配置文件修改的及时性，以及提高配置文件本身的准确性，从而进一步提高对配置文件管理的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种管理大数据组件配置文件的方法的流程示意图；
图2为本申请实施例所提供的一种管理大数据组件配置文件的系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
为了更好地理解本申请，下面结合附图来详细解释本申请的实施方式。
实施例一
参见图1，图1为本申请实施例所提供的一种管理大数据组件配置文件的方法的流程示意图。由图1可知，本实施例中管理大数据组件配置文件的方法，主要包括如下过程：
S1：采用UI方式，采集K8S集群中的大数据组件配置信息。
本实施例中K8S即：Kubernetes，是一个用于自动化部署，扩展和管理容器化应用程序的开源容器编排系统。
S11：采用UI方式，获取大数据组件配置信息修改命令。
S12：根据修改命令，采集K8S集群中相应的大数据组件配置信息。
S13：以表单的方式提交配置信息。
根据以上步骤S11-S13可知，本实施例采用UI方式与用户交互，以大数据组件为导航栏，以大数据组件配置文件为单位，分块显示详细配置信息，通过页面展示供用户查看、修改和收集大数据组件的具体配置信息，并以表单的方式提交这些具体配置信息。这种方式能够更加直观地与用户进行交互，有利于提高配置文件管理效率。
S2：根据配置信息生成配置文件。
S3：将配置文件与其所匹配的应用程序分离。
具体地，步骤S3包括如下过程：
S31：更新表单中的配置信息到相应的配置文件。
S32：根据配置文件生成K8S ConfigMap资源对象。
K8S ConfigMap资源对象是K8S中的一种资源对象，可以将配置信息和容器镜像解耦。
S33：通过K8S部署大数据组件的容器。
也就是将大数据组件制作为容器镜像。
S34：将K8S ConfigMap资源对象挂载到容器中。
由以上步骤S31-S34可知，本实施例根据所收集到的大数据组件配置信息，生成对应的配置文件，将大数据组件制作成容器镜像后，最后将大数据组组件配置注入到容器中，从而实现配置文件与其所匹配的应用程序的分离。
通过将配置文件与其所匹配的应用程序分离，能够在服务器集群中选择一个服务器作为配置中心，将配置文件单独分配到该配置中心上，该集群内的节点均可以利用该配置中心上的配置文件，有利于节省系统资源空间，提高配置文件管理效率。通过配置文件和应用程序的分离，使得容器化的应用程序可以被移植和复用，而不必局限于当前目录下引用，有利于提高配置文件管理的灵活性和管理效率。
继续参见图1可知，本实施例中还包括步骤S4：实时监控配置文件的状态，当配置文件的状态发生变化时，通过UI发送升级信息，升级信息用于升级Pod。
本实施例中Pod是K8S管理容器的基本单元。
其中，步骤S4包括如下过程：
S41：定义配置文件的状态初始值。
S42：实时监测配置文件的哈希值。
S43：当后一时刻的哈希值与前一时刻的哈希值不同时，将配置文件的状态初始值修改为状态监测值。
S44：根据状态监测值生成升级信息。
S45：通过UI发送升级信息。
S5：根据升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。
具体地，步骤S5包括如下过程：
S51：根据升级信息，提交Pod升级和回退操作的命令至K8S集群。
S52：获取K8S集群返回的响应结果。
如果响应结果为合格，执行步骤S53：根据响应结果修改并保存配置文件的状态值。
如果响应结果为不合格，返回步骤S51，重新根据升级信息，提交升级Pod和回退操作的命令至K8S集群直到响应结果合格为止。
实施例二
在图1所示实施例的基础之上参见图2，图2为本申请实施例所提供的一种管理大数据组件配置文件的系统的结构示意图。由图2可知，本实施例中管理大数据组件配置文件的系统，主要包括：UI模块、配置文件生成模块、配置文件管理模块、配置文件监控模块以及大数据组件管理模块。
其中，UI模块，用于采用UI方式，采集K8S集群中的大数据组件配置信息。配置文件生成模块，用于根据配置信息生成配置文件。配置文件管理模块，用于将配置文件与其所匹配的应用程序分离。配置文件监控模块，用于实时监控配置文件的状态，当配置文件的状态发生变化时，通过UI发送升级信息，升级信息用于升级Pod。大数据组件管理模块，用于根据升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。
UI模块包括：命令获取单元、收集单元、提交单元和显示单元。其中，命令获取单元，用于采用UI方式，获取大数据组件配置信息修改命令；收集单元，根据修改命令，采集K8S集群中相应的大数据组件配置信息；提交单元，用于以表单的方式提交配置信息；显示单元，用于查看大数据组件配置信息。
配置文件管理模块包括：更新单元、K8S ConfigMap资源对象生成单元、部署单元和挂载单元。其中，更新单元，用于更新表单中的配置信息到相应的配置文件；K8SConfigMap资源对象生成单元，用于根据配置文件生成K8S ConfigMap资源对象；部署单元，用于通过K8S部署大数据组件的容器；挂载单元，用于将K8S ConfigMap资源对象挂载到容器中。
配置文件监控模块，包括：状态初始值定义单元、哈希值监测单元、状态修改单元、升级信息生成单元和发送单元。其中，状态初始值定义单元，用于定义配置文件的状态初始值；哈希值监测单元，用于实时监测配置文件的哈希值；状态修改单元，用于当后一时刻的哈希值与前一时刻的哈希值不同时，将配置文件的状态初始值修改为状态监测值；升级信息生成单元，用于根据状态监测值生成升级信息；发送单元，用于通过UI发送升级信息。
大数据组件管理模块，包括：命令提交单元、响应结果获取单元和配置文件状态值保存单元。其中，命令提交单元，用于根据升级信息，提交Pod升级和回退操作的命令至K8S集群；响应结果获取单元，用于获取K8S集群返回的响应结果，当响应结果为合格时，启动配置文件状态值保存单元，当响应结果为不合格时，重新启动命令提交单元，直到响应结果合格为止；配置文件状态值保存单元，用于当响应结果为合格时，根据响应结果修改并保存配置文件的状态值。
本实施例中管理大数据组件配置文件的系统的工作过程如下：
步骤1)：用户通过UI模块提交指定大数据组件的配置信息修改操作到配置文件管理模块；
步骤2)：配置文件管理模块接收到步骤1)提交的配置信息更新操作，更新表单中的配置信息到对应的配置文件，生成K8S ConfigMap资源对象，将大数据组件配置挂载到容器内；
步骤3)：配置文件监控模块实时监控大数据配置文件的变化状态，待监测步骤2)中配置文件更新后，将状态变化信息更新到数据库，通知UI模块，在UI上提示用户可以根据最新的配置信息升级相关Pod；
步骤4)：用户根据步骤3)在UI上的提示信息，点击升级Pod操作，提交任务到大数据组件管理模块；
步骤5)大数据组件管理模块接收到步骤3)提交的升级Pod操作，与K8S集群进行交互，提交升级Pod命令到K8S集群，等待K8S集群返回响应结果；
步骤6)大数据组件管理模块接收到K8S集群返回的升级Pod响应结果，如果响应提示成功，则执行步骤7)，否则，则重复执行步骤5)；
步骤7)发送修改对应大数据配置文件状态信息任务到配置文件管理模块，待配置文件管理模块修改完成状态后，任务结束。
该实施例中未详细描述的部分，可以参见图1所示的实施例一，两个实施例之间可以互相参照，在此不再赘述。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种管理大数据组件配置文件的方法，其特征在于，所述方法包括：
采用UI方式，采集K8S集群中的大数据组件配置信息；
根据所述配置信息生成配置文件；
将所述配置文件与其所匹配的应用程序分离；
实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，所述升级信息用于升级Pod；
根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。
2.根据权利要求1所述的一种管理大数据组件配置文件的方法，其特征在于，所述采用UI方式，采集K8S集群中的大数据组件配置信息，包括：
采用UI方式，获取大数据组件配置信息修改命令；
根据所述修改命令，采集K8S集群中相应的大数据组件配置信息；
以表单的方式提交所述配置信息。
3.根据权利要求2所述的一种管理大数据组件配置文件的方法，其特征在于，将所述配置文件与其所匹配的应用程序分离，包括：
更新表单中的配置信息到相应的配置文件；
根据所述配置文件生成K8S ConfigMap资源对象；
通过K8S部署大数据组件的容器；
将所述K8S ConfigMap资源对象挂载到所述容器中。
4.根据权利要求1所述的一种管理大数据组件配置文件的方法，其特征在于，所述实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，包括：
定义配置文件的状态初始值；
实时监测所述配置文件的哈希值；
当后一时刻的哈希值与前一时刻的哈希值不同时，将配置文件的状态初始值修改为状态监测值；
根据所述状态监测值生成升级信息；
通过UI发送所述升级信息。
5.根据权利要求1所述的一种管理大数据组件配置文件的方法，其特征在于，根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作，包括：
根据所述升级信息，提交Pod升级和回退操作的命令至K8S集群；
获取K8S集群返回的响应结果；
如果所述响应结果为合格，根据所述响应结果修改并保存配置文件的状态值；
如果所述响应结果为不合格，重新根据所述升级信息，提交升级Pod和回退操作的命令至K8S集群直到响应结果合格为止。
6.一种管理大数据组件配置文件的系统，其特征在于，所述系统包括：
UI模块，用于采用UI方式，采集K8S集群中的大数据组件配置信息；
配置文件生成模块，用于根据所述配置信息生成配置文件；
配置文件管理模块，用于将所述配置文件与其所匹配的应用程序分离；
配置文件监控模块，用于实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，所述升级信息用于升级Pod；
大数据组件管理模块，用于根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。
7.根据权利要求6所述的一种管理大数据组件配置文件的系统，其特征在于，所述UI模块包括：
命令获取单元，用于采用UI方式，获取大数据组件配置信息修改命令；
收集单元，根据所述修改命令，采集K8S集群中相应的大数据组件配置信息；
提交单元，用于以表单的方式提交所述配置信息；
显示单元，用于查看大数据组件配置信息。
8.根据权利要求7所述的一种管理大数据组件配置文件的系统，其特征在于，所述配置文件管理模块包括：
更新单元，用于更新表单中的配置信息到相应的配置文件；
K8S ConfigMap资源对象生成单元，用于根据所述配置文件生成K8S ConfigMap资源对象；
部署单元，用于通过K8S部署大数据组件的容器；
挂载单元，用于将所述K8S ConfigMap资源对象挂载到所述容器中。
9.根据权利要求6所述的一种管理大数据组件配置文件的系统，其特征在于，所述配置文件监控模块，包括：
状态初始值定义单元，用于定义配置文件的状态初始值；
哈希值监测单元，用于实时监测所述配置文件的哈希值；
状态修改单元，用于当后一时刻的哈希值与前一时刻的哈希值不同时，将配置文件的状态初始值修改为状态监测值；
升级信息生成单元，用于根据所述状态监测值生成升级信息；
发送单元，用于通过UI发送所述升级信息。
10.根据权利要求6所述的一种管理大数据组件配置文件的系统，其特征在于，所述大数据组件管理模块，包括：
命令提交单元，用于根据所述升级信息，提交Pod升级和回退操作的命令至K8S集群；
响应结果获取单元，用于获取K8S集群返回的响应结果，当所述响应结果为合格时，启动配置文件状态值保存单元，当所述响应结果为不合格时，重新启动命令提交单元，直到响应结果合格为止；
所述配置文件状态值保存单元，用于当所述响应结果为合格时，根据所述响应结果修改并保存配置文件的状态值。
CN202010748820.4A 2020-07-30 2020-07-30 一种管理大数据组件配置文件的方法及系统 Withdrawn CN112000363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010748820.4A CN112000363A (zh) 2020-07-30 2020-07-30 一种管理大数据组件配置文件的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010748820.4A CN112000363A (zh) 2020-07-30 2020-07-30 一种管理大数据组件配置文件的方法及系统

Publications (1)

Publication Number Publication Date
CN112000363A true CN112000363A (zh) 2020-11-27

Family

ID=73463244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010748820.4A Withdrawn CN112000363A (zh) 2020-07-30 2020-07-30 一种管理大数据组件配置文件的方法及系统

Country Status (1)

Country Link
CN (1) CN112000363A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924806A (zh) * 2022-04-07 2022-08-19 南京慧尔视软件科技有限公司 一种配置信息的动态同步方法、装置、设备及介质
WO2022193855A1 (zh) * 2021-03-18 2022-09-22 山东英信计算机技术有限公司 一种任务状态更新方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017045424A1 (zh) * 2015-09-18 2017-03-23 乐视控股（北京）有限公司 一种应用程序部署系统及部署方法
CN107967159A (zh) * 2017-11-22 2018-04-27 腾讯科技（深圳）有限公司 一种配置文件应用的方法以及服务器
CN108039975A (zh) * 2017-12-21 2018-05-15 北京搜狐新媒体信息技术有限公司 容器集群管理系统及其应用方法
CN109831500A (zh) * 2019-01-30 2019-05-31 无锡华云数据技术服务有限公司 Kubernetes集群中配置文件与Pod的同步方法
CN110968421A (zh) * 2018-09-30 2020-04-07 浙江大学 一种集群管理方法、装置和系统
CN111343267A (zh) * 2020-02-24 2020-06-26 深圳木成林科技有限公司 一种配置的管理方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017045424A1 (zh) * 2015-09-18 2017-03-23 乐视控股（北京）有限公司 一种应用程序部署系统及部署方法
CN107967159A (zh) * 2017-11-22 2018-04-27 腾讯科技（深圳）有限公司 一种配置文件应用的方法以及服务器
CN108039975A (zh) * 2017-12-21 2018-05-15 北京搜狐新媒体信息技术有限公司 容器集群管理系统及其应用方法
CN110968421A (zh) * 2018-09-30 2020-04-07 浙江大学 一种集群管理方法、装置和系统
CN109831500A (zh) * 2019-01-30 2019-05-31 无锡华云数据技术服务有限公司 Kubernetes集群中配置文件与Pod的同步方法
CN111343267A (zh) * 2020-02-24 2020-06-26 深圳木成林科技有限公司 一种配置的管理方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022193855A1 (zh) * 2021-03-18 2022-09-22 山东英信计算机技术有限公司 一种任务状态更新方法、装置、设备及介质
US11915035B1 (en) 2021-03-18 2024-02-27 Shandong Yingxin Computer Technologies Co., Ltd. Task state updating method and apparatus, device, and medium
CN114924806A (zh) * 2022-04-07 2022-08-19 南京慧尔视软件科技有限公司 一种配置信息的动态同步方法、装置、设备及介质
CN114924806B (zh) * 2022-04-07 2024-03-26 南京慧尔视软件科技有限公司 一种配置信息的动态同步方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN107515776B (zh) 业务不间断升级方法、待升级节点和可读存储介质
CN110768833A (zh) 基于kubernetes的应用编排部署方法及装置
CN112000363A (zh) 一种管理大数据组件配置文件的方法及系统
CN111324417B (zh) 一种Kubernetes集群的组件控制方法、装置、电子设备和介质
EP3462315A2 (en) Systems and methods for service mapping
CN107659458B (zh) 基于git版本控制的Agent部署升级方法及系统
CN113220416B (zh) 基于云平台的集群节点伸缩系统及实现方法和运行方法
US11431563B1 (en) Intelligent management of cloud infrastructures using a cloud management platform
JP2001356912A (ja) ソフトウェアのインストール／アップデート／アンインストールシステム
US20200089688A1 (en) Pseudo-synchronous processing by an analytic query and build cluster
CN111880816A (zh) Kubernetes工作负载升级方法、装置及设备
CN108829425A (zh) 一种针对国产操作系统上的应用软件在线升级管控方法
US20170199733A1 (en) Method for terminal to update operating system, terminal and system
CN111147291B (zh) 一种服务维护方法及装置
CN116069358A (zh) 分布式数据库中数据的升级方法、装置及存储介质
JP5052472B2 (ja) プログラムの設定情報切替システム及び切替方法
CN111061537A (zh) 一种虚拟机Tools更新方法、系统、装置及可读存储介质
CN115878154A (zh) 一种容器镜像版本的升级系统及方法
US11461083B2 (en) Configurable interface for customized job deployment
CN113448493B (zh) 用于备份数据的方法、电子设备和计算机可读介质
CN112463304A (zh) 容器镜像的回滚方法、装置、计算机设备和存储介质
CN116893834B (zh) 负载更新方法、装置、系统、电子设备及可读存储介质
JP2005250788A (ja) システム構成変更監視方法及びシステム並びにプログラム
KR101437687B1 (ko) 금융단말 및 그 업무파일 동기화 방법, 그리고 그를 이용한금융시스템
CN111400319A (zh) 数据处理框架的实现方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201127

WW01 Invention patent application withdrawn after publication