CN112559087A - 信息生成方法、装置、电子设备和计算机可读介质 - Google Patents
信息生成方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN112559087A CN112559087A CN202011585307.4A CN202011585307A CN112559087A CN 112559087 A CN112559087 A CN 112559087A CN 202011585307 A CN202011585307 A CN 202011585307A CN 112559087 A CN112559087 A CN 112559087A
- Authority
- CN
- China
- Prior art keywords
- node
- configuration file
- target node
- cluster
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008859 change Effects 0.000 claims abstract description 31
- 230000004044 response Effects 0.000 claims abstract description 31
- 238000007405 data analysis Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/161—Computing infrastructure, e.g. computer clusters, blade chassis or hardware partitioning
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施例公开了信息生成方法、装置、电子设备和介质。该方法的一具体实施方式包括:响应于检测到目标节点添加至目标数据分析引擎相关的集群,从存储系统中获取该集群中该目标节点所在节点集合对应的、配置文件集合的变更信息;根据该变更信息,确定该配置文件集合中失效的配置文件集合;根据该失效的配置文件集合,生成该目标节点相对应的配置文件;将该目标节点相对应的配置文件分发至该目标节点;响应于该目标节点相对应的配置文件已分发至该目标节点,生成表征已进行数据同步的目标节点是否启动正常的信息。该实施方式可以准确、高效的对相关的配置文件进行处理。除此之外,可以快捷、有效的生成该目标节点相对应的配置文件。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及信息生成方法、装置、电子设备和计算机可读介质。
背景技术
目标数据分析引擎相关的集群中每个节点对应的配置文件各不相同,且每个节点仅能查到本节点的配置文件。整个集群的元数据通过可靠协调系统来统一处理。对于集群中配置文件的处理,通常采用的方式为:首先会连接集群中每个节点,以此来确定集群中各个节点对应的各个配置文件。然后,确定需要添加的目标节点的所属节点集合。进而,确定上述节点集合中各个节点的配置文件。最后,根据各个节点的配置文件,为上述目标节点选择未使用的配置文件。
然而,当采用上述方式来处理配置文件,经常会存在如下技术问题:通过人工比较集群中节点和可靠协调系统中节点来处理或生成配置文件的过程较为繁琐,效率较低。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了信息生成方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种信息生成方法,包括:响应于检测到目标节点添加至目标数据分析引擎相关的集群,从存储系统中获取上述集群中上述目标节点所在节点集合对应的、配置文件集合的变更信息,其中,上述配置文件表征可靠协调系统中节点与上述集群中节点的关联关系,上述节点集合中各个节点存储的数据相同;根据上述变更信息,确定上述配置文件集合中失效的配置文件集合;根据上述失效的配置文件集合,生成上述目标节点相对应的配置文件;将上述目标节点相对应的配置文件分发至上述目标节点;响应于上述目标节点相对应的配置文件已分发至上述目标节点,生成表征已进行数据同步的目标节点是否启动正常的信息。
第二方面,本公开的一些实施例提供了一种信息生成装置,包括:获取单元,被配置成响应于检测到目标节点添加至目标数据分析引擎相关的集群,从存储系统中获取上述集群中上述目标节点所在节点集合对应的、配置文件集合的变更信息,其中,上述配置文件表征可靠协调系统中节点与上述集群中节点的关联关系,上述节点集合中各个节点存储的数据相同;确定单元,被配置成根据上述变更信息,确定上述配置文件集合中失效的配置文件集合;第一生成单元,被配置成根据上述失效的配置文件集合,生成上述目标节点相对应的配置文件;分发单元,被配置成将上述目标节点相对应的配置文件分发至上述目标节点;第二生成单元,被配置成响应于上述目标节点相对应的配置文件已分发至上述目标节点,生成表征已进行数据同步的目标节点是否启动正常的信息。
第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开的上述各个实施例中具有如下有益效果:通过本公开的一些实施例的信息生成方法可以准确、高效的对相关的配置文件进行处理。除此之外,可以快捷、有效的生成目标节点相对应的配置文件。具体来说,通过人工比较集群中节点和可靠协调系统中节点来处理或生成配置文件的过程较为繁琐,效率较低。基于此,本公开的一些实施例的信息生成方法响应于检测到目标节点添加至目标数据分析引擎相关的集群,可以首先从存储系统中获取上述集群中上述目标节点所在节点集合对应的、配置文件集合的变更信息。其中,上述配置文件表征可靠协调系统中节点与上述集群中节点的关联关系,上述节点集合中各个节点存储的数据相同。在这里,获取到的变更信息可以用于后续失效的配置文件集合的确定。然后,根据上述变更信息,可以准确、快捷的确定上述配置文件集合中失效的配置文件集合。再然后,根据上述失效的配置文件集合,可以快捷的生成上述目标节点相对应的配置文件。进而,将上述目标节点相对应的配置文件分发至上述目标节点。最后,响应于上述目标节点相对应的配置文件已分发至上述目标节点,启动目标节点以生成表征已进行数据同步的目标节点是否启动正常的信息。可以得到,上述信息生成方法可以准确、高效的对相关的配置文件进行处理。除此之外,可以快捷、有效的生成目标节点相对应的配置文件。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1是根据本公开的一些实施例的信息生成方法的一个应用场景的示意图;
图2是根据本公开的信息生成方法的一些实施例的流程图;
图3是根据本公开的一些实施例的信息生成方法中集群结构的示意图;
图4是根据本公开的信息生成方法的另一些实施例的流程图;
图5是根据本公开的信息生成装置的一些实施例的结构示意图;
图6是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是根据本公开一些实施例的信息生成方法的一个应用场景的示意图。
在图1的应用场景中,首先,响应于检测到目标节点1043添加至目标数据分析引擎相关的集群102,电子设备101可以从存储系统103中获取上述集群102中上述目标节点1043所在节点集合104对应的、配置文件集合106的变更信息105。其中,上述配置文件表征可靠协调系统中节点与上述集群102中节点的关联关系,上述节点集合104中各个节点存储的数据相同。在本应用场景中,上述节点集合104包括:节点1041、节点1042、目标节点1043、节点1044。上述配置文件集合106包括:配置文件1061、配置文件1062、配置文件1063、配置文件1064。然后,根据上述变更信息105,确定上述配置文件集合106中失效的配置文件集合107。在本应场景中,上述失效的配置文件集合107包括:配置文件1071、配置文件1072。其中,上述配置文件1071可以是配置集合106中的配置文件1061。上述配置文件1072可以是配置集合106中的配置文件1062。再然后,根据上述失效的配置文件集合107,生成上述目标节点相对应的配置文件108。在本应用场景中,上述目标节点1043相对应的配置文件108可以是配置文件1071或配置文件1072。进而,将上述目标节点1043相对应的配置文件108分发至上述目标节点1043。最后,响应于上述目标节点1043相对应的配置文件108已分发至上述目标节点1043,生成表征已进行数据同步的目标节点是否启动正常的信息109。在本应用场景中,上述是否启动正常的信息109可以是“启动正常”。
需要说明的是,上述电子设备101可以是硬件,也可以是软件。当电子设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当电子设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的电子设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的电子设备。
继续参考图2,示出了根据本公开的信息生成方法的一些实施例的流程200。该信息生成方法,包括以下步骤:
步骤201,响应于检测到目标节点添加至目标数据分析引擎相关的集群,从存储系统中获取上述集群中上述目标节点所在节点集合对应的、配置文件集合的变更信息。
在一些实施例中,响应于检测到目标节点添加至目标数据分析引擎相关的集群,信息生成方法的执行主体(例如图1所示的电子设备)可以通过通过有线连接方式或者无线连接方式从存储系统中获取上述集群中上述目标节点所在节点集合对应的、配置文件集合的变更信息。其中,上述配置文件表征可靠协调系统中节点与上述集群中节点的关联关系。上述节点集合中各个节点存储的数据可以是相同的。上述目标数据分析引擎可以是ClickHouse的数据引擎。上述ClickHouse可以提供大量的数据引擎,包括:数据库引擎、表引擎。进而,可以根据数据的特点和使用场景可以选择对应的数据引擎。上述存储系统存储着集群中各个节点对应配置文件的变换信息。需要说明的是,随着集群中节点的变换,配置文件也可能相应发生变换。可选的,上述存储系统还可以存储着:集群信息、集群版本信息、集群内副本信息、节点的网际互连协议(IP,Internet Protocol)信息、每个节点对应的配置文件信息、每个节点加入集群的时间、节点最后的修改时间,各个节点的使用信息。上述配置文件的文件形式可以是xml文件格式。上述配置文件的内容可以是键值对(key-value)的形式。上述可靠协调系统可以是ZooKeeper。ZooKeeper可以是针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标可以是封装好复杂易出错的关键服务,以及将简单易用的接口和性能高效、功能稳定的系统提供给相关用户。除此之外,ZooKeeper是集群各个节点的管理者,监视着集群中各个节点的状态。ZooKeeper可以根据节点提交的反馈来进行下一步合理操作。ZooKeeper的节点(znode)路径可以是对应ClickHouse的元数据。上述ClickHouse的元数据可以是ClickHouse对应节点所关联的机器中的数据存储位置信息。
需要指出的是,上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
作为示例,如图3所示,集群300包括节点集合301。其中,上述节点集合301中各个节点的所存储数据可以是相同的。上述节点集合301包括:与第一目标数据分析引擎相关联的节点3011、与第二目标数据分析引擎相关联的节点3012、与第三目标数据分析引擎相关联的节点3013。可靠协调系统302包括:节点3021、节点3022、节点3023。第一配置文件表征着上述节点集合301中的节点3011与上述可协调系统302中的节点3021之间的关联关系。第二配置文件表征着上述节点集合301中的节点3012与上述可协调系统302中的节点3022之间的关联关系。第三配置文件表征着上述节点集合301中的节点3013与上述可协调系统302中的节点3023之间的关联关系。
步骤202,根据上述变更信息,确定上述配置文件集合中失效的配置文件集合。
在一些实施例中,上述执行主体可以根据上述变更信息,确定上述配置文件集合中失效的配置文件集合。其中,上述失效的配置文件可以是集群中已下线的节点对应的配置文件。作为示例,上述执行主体可以首先根据上述变更信息确定当前集群中正在使用的各个节点。进而,根据当前集群中正在使用的各个节点,确定出失效的配置文件集合。
作为又一个示例,上述执行主体可以根据上述变更信息直接从上述配置文件集合中筛选出失效的配置文件集合。
步骤203,根据上述失效的配置文件集合,生成上述目标节点相对应的配置文件。
在一些实施例中,上述执行主体可以根据上述失效的配置文件集合,通过各种方法来生成上述目标节点相对应的配置文件。
在一些实施例的一些可选的实现方式中,上述根据上述失效的配置文件集合,生成上述目标节点相对应的配置文件可以包括以下步骤:
第一步,依据预先确定的条件,从上述失效的配置文件集合中选择目标配置文件。作为示例,可以从失效的配置文件集合中选择失效时间最长的配置文件作为目标配置文件。
第二步,依据预先确定的模板,对上述目标配置文件进行调整,得到上述目标节点相对应的配置文件。
步骤204,将上述目标节点相对应的配置文件分发至上述目标节点。
在一些实施例中,上述执行主体可以将上述目标节点相对应的配置文件分发至上述目标节点。
在一些实施例的一些可选的实现方式中,上述步骤还包括:将上述目标节点相对应的配置文件和上述目标节点已添加至上述集群的记录信息写入上述存储系统和/或文件系统。其中,上述文件系统存储的内容可以包括但不限于以下之一:集群信息,集群内副本信息,节点的节点的网际互连协议信息,每个节点对应的配置文件。
步骤205,响应于上述目标节点相对应的配置文件已分发至上述目标节点,生成表征已进行数据同步的目标节点是否启动正常的信息。
在一些实施例中,响应于上述目标节点相对应的配置文件已分发至上述目标节点,上述执行主体可以生成表征已进行数据同步的目标节点是否启动正常的信息。其中,可以采用副本数据同步方法来实现目标节点的数据同步。
在一些实施例的一些可选的实现方式中,上述步骤还包括:
第一步,响应于上述目标节点是否启动正常的信息为启动异常,将上述目标节点从上述集群中下线。
第二步,响应于确定上述目标节点从上述集群中下线,向添加端发送对于上述目标节点添加至上述集群的添加提示信息。
本公开的上述各个实施例中具有如下有益效果:通过本公开的一些实施例的信息生成方法可以准确、高效的对相关的配置文件进行处理。除此之外,可以快捷、有效的生成目标节点相对应的配置文件。具体来说,通过人工比较集群中节点和可靠协调系统中节点来处理或生成配置文件的过程较为繁琐,效率较低。基于此,本公开的一些实施例的信息生成方法响应于检测到目标节点添加至目标数据分析引擎相关的集群,可以首先从存储系统中获取上述集群中上述目标节点所在节点集合对应的、配置文件集合的变更信息。其中,上述配置文件表征可靠协调系统中节点与上述集群中节点的关联关系,上述节点集合中各个节点存储的数据相同。在这里,获取到的变更信息可以用于后续失效的配置文件集合的确定。然后,根据上述变更信息,可以准确、快捷的确定上述配置文件集合中失效的配置文件集合。再然后,根据上述失效的配置文件集合,可以快捷的生成上述目标节点相对应的配置文件。进而,将上述目标节点相对应的配置文件分发至上述目标节点。最后,响应于上述目标节点相对应的配置文件已分发至上述目标节点,启动目标节点以生成表征已进行数据同步的目标节点是否启动正常的信息。可以得到,上述信息生成方法可以准确、高效的对相关的配置文件进行处理。除此之外,可以快捷、有效的生成目标节点相对应的配置文件。
进一步参考图4,示出了根据本公开的信息生成方法的另一些实施例的流程400。该信息生成方法,包括以下步骤:
步骤401,响应于检测到目标节点添加至目标数据分析引擎相关的集群,从存储系统中获取上述集群中上述目标节点所在节点集合对应的、配置文件集合的变更信息。
步骤402,根据上述变更信息,确定上述配置文件集合中失效的配置文件集合。
步骤403,根据上述失效的配置文件集合,生成上述目标节点相对应的配置文件。
步骤404,将上述目标节点相对应的配置文件分发至上述目标节点。
步骤405,响应于上述目标节点相对应的配置文件已分发至上述目标节点,生成表征已进行数据同步的目标节点是否启动正常的信息。
步骤406,确定上述集群中是否存在临时下线的节点。
在一些实施例中,上述执行主体可以确定上述集群中是否存在临时下线的节点。其中,上述临时下线的节点可以是相应的机器出现故障,需要维护一段时间重新上线的节点。作为示例,可以从上述存储系统和/或文件系统中确定上述集群中是否存在临时下线的节点。
步骤407,响应于确定不存在,从上述存储系统中获取上述集群中每个节点的元数据信息。
在一些实施例中,响应于确定不存在,上述执行主体可以从上述存储系统中获取上述集群中每个节点的元数据信息。其中,上述元数据信息表征每个节点对应机器存储副本数据的位置信息。
步骤408,基于上述集群中当前使用的节点的元数据信息,确定上述可靠协调系统中无效的元数据信息集合。
在一些实施例中,上述执行主体可以基于上述集群中当前使用的节点的元数据信息,确定上述可靠协调系统中无效的元数据信息集合。作为示例,可以首先基于上述集群中当前使用的节点的元数据信息,确定上述可靠协调系统中当前正在使用的节点上的元数据信息集合。最后,根据上述可靠协调系统中当前正在使用的节点上的元数据信息集合,得到上述可靠协调系统中无效的元数据信息集合。
步骤409,对上述无效的元数据信息集合中的各个元数据信息进行并行处理。
在一些实施例中,上述执行主体可以对上述无效的元数据信息集合中的各个元数据信息进行并行处理已清除无效的元数据信息。
在一些实施例的一些可选的实现方式中,上述步骤还包括:
第一步,响应于确定存在,确定上述临时下线的节点对应的元数据信息。
第二步,从上述存储系统中获取上述集群中当前使用的节点的元数据信息。
第三步,基于上述当前使用的节点的元数据信息和上述临时下线的节点对应的元数据信息,确定上述可靠协调系统中无效的元数据信息集合。作为示例,可以首先基于上述集群中当前使用的节点的元数据信息和上述临时下线的节点对应的元数据信息,确定上述可靠协调系统中当前正在使用的节点上的元数据信息集合和上述临时下线的节点对应的元数据信息集合。最后,根据上述可靠协调系统中当前正在使用的节点上的元数据信息集合和上述临时下线的节点对应的元数据信息集合,可以确定上述可靠协调系统中无效的元数据信息集合。
第四步,对上述无效的元数据信息集合中的各个元数据信息进行并行处理。
在一些实施例中,步骤401-405的具体实现及其所带来的技术效果,可以参考图2对应的实施例中的步骤201-205,在此不再赘述。
本公开的实施例可以有效的对可靠协调系统中存在的无效的元数据进行清理,以此,提高了上述可靠协调系统的性能。导致可靠协调系统的性能下降的原因往往如下:由于缺少对上述可靠协调系统中无效的元数据的处理。导致随着可靠协调系统中节点的增多,可靠协调系统性能可能会变差。因此,本公开的实施例首先可以确定上述集群中是否存在临时下线的节点。然后,响应于确定不存在,从上述存储系统中获取上述集群中每个节点的元数据信息以此用于确定上述可靠协调系统中无效的元数据信息集合。其中,上述元数据信息表征每个节点对应机器存储副本数据的位置信息。进而,基于上述集群中当前使用的节点的元数据信息,确定上述可靠协调系统中无效的元数据信息集合。最后,对上述无效的元数据信息集合中的各个元数据信息进行并行处理。由此可以得到,本公开的实施例可以有效的对可靠协调系统中存在的无效的元数据进行清理,提高了上述可靠协调系统的性能。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种信息生成装置的一些实施例,这些装置实施例与图2所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,一种信息生成装置500包括:获取单元501、确定单元502、第一生成单元503、分发单元504和第二生成单元505。其中,获取单元501被配置成:响应于检测到目标节点添加至目标数据分析引擎相关的集群,从存储系统中获取上述集群中上述目标节点所在节点集合对应的、配置文件集合的变更信息,其中,上述配置文件表征可靠协调系统中节点与上述集群中节点的关联关系,上述节点集合中各个节点存储的数据相同。确定单元502被配置成:根据上述变更信息,确定上述配置文件集合中失效的配置文件集合。第一生成单元503被配置成:根据上述失效的配置文件集合,生成上述目标节点相对应的配置文件。分发单元504被配置成:将上述目标节点相对应的配置文件分发至上述目标节点。第二生成单元505被配置成:响应于上述目标节点相对应的配置文件已分发至上述目标节点,生成表征已进行数据同步的目标节点是否启动正常的信息。
在一些实施例的一些可选的实现方式中,装置500还可以包括:下线单元和发送单元(图中未示出)。其中,下线单元被配置成:响应于上述目标节点是否启动正常的信息为启动异常,将上述目标节点从上述集群中下线。发送单元被配置成:响应于确定上述目标节点从上述集群中下线,向节点添加端发送关于上述目标节点添加至上述集群的添加提示信息。
在一些实施例的一些可选的实现方式中,装置500中的第一生成单元503可以进一步被配置成:依据预先确定的条件,从上述失效的配置文件集合中选择目标配置文件;依据预先确定的模板,对上述目标配置文件进行调整,得到上述目标节点相对应的配置文件。
在一些实施例的一些可选的实现方式中,装置500还可以包括:添加单元(图中未示出)。其中,添加单元被配置成:将上述目标节点相对应的配置文件和上述目标节点已添加至上述集群的记录信息写入上述存储系统和/或文件系统。
在一些实施例的一些可选的实现方式中,装置500还可以包括:节点确定单元、第一元数据信息获取单元、第一元数据信息集合确定单元和第一并行处理单元(图中未示出)。其中,节点确定单元被配置成:确定上述集群中是否存在临时下线的节点。第一元数据信息获取单元被配置成:响应于确定不存在,从上述存储系统中获取上述集群中每个节点的元数据信息,其中,上述元数据信息表征每个节点对应机器存储副本数据的位置信息。第一元数据信息集合确定单元被配置成:基于上述集群中当前使用的节点的元数据信息,确定上述可靠协调系统中无效的元数据信息集合。第一并行处理单元被配置成:对上述无效的元数据信息集合中的各个元数据信息进行并行处理。
在一些实施例的一些可选的实现方式中,装置500还可以包括:元数据信息确定单元、第二元数据信息获取单元、第二元数据信息集合确定单元和第二并行处理单元(图中未示出)。其中,元数据信息确定单元被配置成:响应于确定存在,确定上述临时下线的节点对应的元数据信息。第二元数据信息获取单元被配置成:从上述存储系统中获取上述集群中当前使用的节点的元数据信息;第二元数据信息集合确定单元被配置成:基于上述当前使用的节点的元数据信息和上述临时下线的节点对应的元数据信息,确定上述可靠协调系统中无效的元数据信息集合。第二并行处理单元被配置成:对上述无效的元数据信息集合中的各个元数据信息进行并行处理。
可以理解的是,该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元,在此不再赘述。
下面参考图6,其示出了适于用来实现本公开的一些实施例的电子设备(例如图1中的电子设备)600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:响应于检测到目标节点添加至目标数据分析引擎相关的集群,从存储系统中获取上述集群中上述目标节点所在节点集合对应的、配置文件集合的变更信息,其中,上述配置文件表征可靠协调系统中节点与上述集群中节点的关联关系,上述节点集合中各个节点存储的数据相同;根据上述变更信息,确定上述配置文件集合中失效的配置文件集合;根据上述失效的配置文件集合,生成上述目标节点相对应的配置文件;将上述目标节点相对应的配置文件分发至上述目标节点;响应于上述目标节点相对应的配置文件已分发至上述目标节点,生成表征已进行数据同步的目标节点是否启动正常的信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、确定单元、第一生成单元、分发单元和第二生成单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,确定单元还可以被描述为“根据上述变更信息,确定上述配置文件集合中失效的配置文件集合的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种信息生成方法,包括:
响应于检测到目标节点添加至目标数据分析引擎相关的集群,从存储系统中获取所述集群中所述目标节点所在节点集合对应的、配置文件集合的变更信息,其中,所述配置文件表征可靠协调系统中节点与所述集群中节点的关联关系,所述节点集合中各个节点存储的数据相同;
根据所述变更信息,确定所述配置文件集合中失效的配置文件集合;
根据所述失效的配置文件集合,生成所述目标节点相对应的配置文件;
将所述目标节点相对应的配置文件分发至所述目标节点;
响应于所述目标节点相对应的配置文件已分发至所述目标节点,生成表征已进行数据同步的目标节点是否启动正常的信息。
2.根据权利要求1所述的方法,其中,所述方法还包括:
响应于表征所述目标节点是否启动正常的信息为启动异常,将所述目标节点从所述集群中下线;
响应于确定所述目标节点从所述集群中下线,向节点添加端发送关于所述目标节点添加至所述集群的添加提示信息。
3.根据权利要求1所述的方法,其中,所述根据所述失效的配置文件集合,生成所述目标节点相对应的配置文件,包括:
依据预先确定的条件,从所述失效的配置文件集合中选择目标配置文件;
依据预先确定的模板,对所述目标配置文件进行调整,得到所述目标节点相对应的配置文件。
4.根据权利要求1所述的方法,其中,在将所述目标节点相对应的配置文件分发至所述目标节点之后,所述方法还包括:
将所述目标节点相对应的配置文件和所述目标节点已添加至所述集群的记录信息写入所述存储系统和/或文件系统。
5.根据权利要求1所述的方法,其中,所述方法还包括:
确定所述集群中是否存在临时下线的节点;
响应于确定不存在,从所述存储系统中获取所述集群中每个节点的元数据信息,其中,所述元数据信息表征每个节点对应机器存储副本数据的位置信息;
基于所述集群中当前使用的节点的元数据信息,确定所述可靠协调系统中无效的元数据信息集合;
对所述无效的元数据信息集合中的各个元数据信息进行并行处理。
6.根据权利要求5所述的方法,其中,所述方法还包括:
响应于确定存在,确定所述临时下线的节点对应的元数据信息;
从所述存储系统中获取所述集群中当前使用的节点的元数据信息;
基于所述当前使用的节点的元数据信息和所述临时下线的节点对应的元数据信息,确定所述可靠协调系统中无效的元数据信息集合;
对所述无效的元数据信息集合中的各个元数据信息进行并行处理。
7.一种信息生成装置,包括:
获取单元,被配置成响应于检测到目标节点添加至目标数据分析引擎相关的集群,从存储系统中获取所述集群中所述目标节点所在节点集合对应的、配置文件集合的变更信息,其中,所述配置文件表征可靠协调系统中节点与所述集群中节点的关联关系,所述节点集合中各个节点存储的数据相同;
确定单元,被配置成根据所述变更信息,确定所述配置文件集合中失效的配置文件集合;
第一生成单元,被配置成根据所述失效的配置文件集合,生成所述目标节点相对应的配置文件;
分发单元,被配置成将所述目标节点相对应的配置文件分发至所述目标节点;
第二生成单元,被配置成响应于所述目标节点相对应的配置文件已分发至所述目标节点,生成表征已进行数据同步的目标节点是否启动正常的信息。
8.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011585307.4A CN112559087A (zh) | 2020-12-28 | 2020-12-28 | 信息生成方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011585307.4A CN112559087A (zh) | 2020-12-28 | 2020-12-28 | 信息生成方法、装置、电子设备和计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112559087A true CN112559087A (zh) | 2021-03-26 |
Family
ID=75034167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011585307.4A Pending CN112559087A (zh) | 2020-12-28 | 2020-12-28 | 信息生成方法、装置、电子设备和计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112559087A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140047227A1 (en) * | 2012-08-07 | 2014-02-13 | Advanced Micro Devices, Inc. | System and method for configuring boot-time parameters of nodes of a cloud computing system |
US8719415B1 (en) * | 2010-06-28 | 2014-05-06 | Amazon Technologies, Inc. | Use of temporarily available computing nodes for dynamic scaling of a cluster |
CN105656653A (zh) * | 2014-11-14 | 2016-06-08 | 华为技术有限公司 | 分布式协调系统中新增节点的入网方法、装置和系统 |
US20160380810A1 (en) * | 2015-06-29 | 2016-12-29 | Landis+Gyr Innovations, Inc. | Configuration Management for Nodes in a Network |
CN110417870A (zh) * | 2019-07-05 | 2019-11-05 | 北京达佳互联信息技术有限公司 | 配置文件管理方法、装置、设备和存储介质 |
WO2019232980A1 (zh) * | 2018-06-05 | 2019-12-12 | 平安科技(深圳)有限公司 | 节点配置方法及装置、计算机可读存储介质和电子设备 |
CN110674095A (zh) * | 2019-09-27 | 2020-01-10 | 浪潮电子信息产业股份有限公司 | 一种ctdb集群扩展方法、装置、设备及可读存储介质 |
CN111782341A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 用于管理集群的方法和装置 |
CN112100004A (zh) * | 2020-08-12 | 2020-12-18 | 福建天泉教育科技有限公司 | Redis集群节点的管理方法、存储介质 |
CN112130965A (zh) * | 2020-10-26 | 2020-12-25 | 腾讯科技(深圳)有限公司 | 部署分布式容器编排管理集群的方法、设备及存储介质 |
-
2020
- 2020-12-28 CN CN202011585307.4A patent/CN112559087A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8719415B1 (en) * | 2010-06-28 | 2014-05-06 | Amazon Technologies, Inc. | Use of temporarily available computing nodes for dynamic scaling of a cluster |
US20140047227A1 (en) * | 2012-08-07 | 2014-02-13 | Advanced Micro Devices, Inc. | System and method for configuring boot-time parameters of nodes of a cloud computing system |
CN105656653A (zh) * | 2014-11-14 | 2016-06-08 | 华为技术有限公司 | 分布式协调系统中新增节点的入网方法、装置和系统 |
US20160380810A1 (en) * | 2015-06-29 | 2016-12-29 | Landis+Gyr Innovations, Inc. | Configuration Management for Nodes in a Network |
WO2019232980A1 (zh) * | 2018-06-05 | 2019-12-12 | 平安科技(深圳)有限公司 | 节点配置方法及装置、计算机可读存储介质和电子设备 |
CN110417870A (zh) * | 2019-07-05 | 2019-11-05 | 北京达佳互联信息技术有限公司 | 配置文件管理方法、装置、设备和存储介质 |
CN110674095A (zh) * | 2019-09-27 | 2020-01-10 | 浪潮电子信息产业股份有限公司 | 一种ctdb集群扩展方法、装置、设备及可读存储介质 |
CN111782341A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 用于管理集群的方法和装置 |
CN112100004A (zh) * | 2020-08-12 | 2020-12-18 | 福建天泉教育科技有限公司 | Redis集群节点的管理方法、存储介质 |
CN112130965A (zh) * | 2020-10-26 | 2020-12-25 | 腾讯科技(深圳)有限公司 | 部署分布式容器编排管理集群的方法、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
贾诩是也: "Hadoop之分布式集群中节点的动态添加与下架(笔记13)", Retrieved from the Internet <URL:《https://blog.csdn.net/xiangxizhishi/article/details/75336247》> * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110928934A (zh) | 一种用于业务分析的数据处理方法和装置 | |
CN115640285B (zh) | 电力异常信息发送方法、装置、电子设备和介质 | |
CN112416632B (zh) | 事件通信方法、装置、电子设备和计算机可读介质 | |
CN114928574B (zh) | 信息发送方法、装置、电子设备和计算机可读介质 | |
CN113032412A (zh) | 数据同步方法、装置、电子设备和计算机可读介质 | |
CN112506968A (zh) | 信息聚合方法、装置、电子设备和计算机可读介质 | |
WO2023273576A1 (zh) | 异常请求处理方法、装置、电子设备和存储介质 | |
CN113094272B (zh) | 应用测试方法、装置、电子设备和计算机可读介质 | |
CN112559087A (zh) | 信息生成方法、装置、电子设备和计算机可读介质 | |
WO2020044090A1 (zh) | 确定变更事件发布成功的方法及其装置 | |
CN114490718A (zh) | 数据输出方法、装置、电子设备和计算机可读介质 | |
CN111628913B (zh) | 在线时长的确定方法、装置、可读介质和电子设备 | |
CN115102992A (zh) | 数据发布方法、装置、电子设备和计算机可读介质 | |
CN112256714A (zh) | 数据同步方法、装置、电子设备和计算机可读介质 | |
CN114035861A (zh) | 集群配置方法、装置、电子设备和计算机可读介质 | |
CN114579416A (zh) | 一种指标确定方法、装置、服务器和介质 | |
CN114115941A (zh) | 资源发送方法、页面渲染方法、装置、电子设备和介质 | |
CN111950232B (zh) | 一种自动切换号段的方法和装置 | |
CN112817874A (zh) | 一种用户界面的测试方法、装置、设备及介质 | |
CN112307071A (zh) | 监控数据采集方法、装置、电子设备和计算机可读介质 | |
CN111930331A (zh) | 信息显示方法、装置、电子设备和计算机可读介质 | |
CN113364672B (zh) | 媒体网关信息确定方法、装置、设备和计算机可读介质 | |
CN115277362A (zh) | 故障诊断方法、装置、电子设备和计算机可读介质 | |
CN113760590A (zh) | 故障处理方法、装置、电子设备和计算机可读介质 | |
CN113722313A (zh) | 数据写入请求处理方法、装置、设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |