CN114357001A - 多集群的数据查询方法、装置、监控平台及存储介质 - Google Patents
多集群的数据查询方法、装置、监控平台及存储介质 Download PDFInfo
- Publication number
- CN114357001A CN114357001A CN202210030842.6A CN202210030842A CN114357001A CN 114357001 A CN114357001 A CN 114357001A CN 202210030842 A CN202210030842 A CN 202210030842A CN 114357001 A CN114357001 A CN 114357001A
- Authority
- CN
- China
- Prior art keywords
- cluster
- data
- accessed
- address
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013500 data storage Methods 0.000 claims description 89
- 238000004590 computer program Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 20
- 238000012423 maintenance Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000012634 fragment Substances 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请实施例适用于大数据技术领域,提供了一种多集群的数据查询方法、装置、监控平台及存储介质,方法应用于监控平台,包括:获取访问请求;访问请求包括待访问集群的集群标识;监控平台用于对多个专区平台中的集群进行监控,每个专区平台至少对一个集群的集群数据进行监控;根据待访问集群的集群标识以及每个集群对应的集群标识,将与待访问集群的集群标识相同的集群确定为待访问集群,以及将包含待访问集群的专区平台确定为目标专区平台;根据集群标识对目标专区平台中的预设集群数据查询地址进行修改,生成目标查询地址;根据目标查询地址查询待访问集群中的集群数据。采用上述方法,可以提升从多专区平台中查询集群数据的效率。
Description
技术领域
本申请属于大数据技术领域,尤其涉及一种多集群的数据查询方法、装置、监控平台及存储介质。
背景技术
随着集群技术的发展,对于云计算系统,通常是采用集群技术对云计算系统中松散集成的集群(计算机软件和/或硬件)进行通信连接,以使云计算系统中各集群之间进行高度紧密地协作,完成计算工作。
以平安云系统为例,平安云系统是基于开源的Elastic Search打造的高可用、弹性伸缩的云端托管Elastic Search服务。其中,平安云系统包括多个不同规格的专区平台,每个专区平台分别包括多个集群。对于每个集群而言,集群中的集群数据包含有平安云系统和用户行为的记录工具,在监控集群运行情况、排查集群故障等方面有着举足轻重的作用。
然而,随着在平安云系统中部署的应用与服务的大量增长,必然会根据业务与需求在平安云系统中形成多套集群。但是,多套集群的集群数据通常是分散的,难以做到统一的获取以及聚合。当平安云系统出现故障时,若需要查看每个集群的集群数据以排查出现问题的集群,则需要运维人员花费过多的时间反复登录不同的集群对应的专区平台中,才可以获取相应的集群数据,费时且费力。
发明内容
本申请实施例提供了一种多集群的数据查询方法、装置、监控平台及存储介质,可以解决运维人员需要花费过多的时间反复登录不同的集群对应的专区平台中,才可获取相应的集群数据的问题。
第一方面,本申请实施例提供了一种多集群的数据查询方法,应用于监控平台,该方法包括:
获取访问请求;访问请求包括待访问集群的集群标识;监控平台用于对多个专区平台中的集群进行监控,每个专区平台至少对一个集群的集群数据进行监控;
根据待访问集群的集群标识以及每个集群对应的集群标识,将与待访问集群的集群标识相同的集群确定为待访问集群,以及将包含待访问集群的专区平台确定为目标专区平台;
根据集群标识对目标专区平台中的预设集群数据查询地址进行修改,生成目标查询地址;
根据目标查询地址查询待访问集群中的集群数据。
第二方面,本申请实施例提供了一种多集群的数据查询装置,应用于监控平台,该装置包括:
获取模块,用于获取访问请求;访问请求包括待访问集群的集群标识;监控平台用于对多个专区平台中的集群进行监控,每个专区平台至少对一个集群的集群数据进行监控;
目标专区平台确定模块,用于根据待访问集群的集群标识以及每个集群对应的集群标识,将与待访问集群的集群标识相同的集群确定为待访问集群,以及将包含待访问集群的专区平台确定为目标专区平台;
生成模块,根据集群标识对目标专区平台中的预设集群数据查询地址进行修改,生成目标查询地址;
查询模块,用于根据目标查询地址查询待访问集群中的集群数据。
第三方面,本申请实施例提供了一种监控平台,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述第一方面的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上述第一方面的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在监控平台上运行时,使得监控平台执行上述第一方面的方法。
本申请实施例与现有技术相比存在的有益效果是:在运维人员需要获取任一集群中的集群数据时,监控平台可以获取运维人员输入的包含集群标识的访问请求,以根据集群标识从多个专区平台中确定包含待访问集群的目标专区平台。并且,监控平台还可以利用集群标识,确定待访问集群的集群数据在专区平台中的具体存储地址,以对预先设定的目标专区平台的预设集群数据查询地址进行修改,生成目标查询地址。此时,生成的目标查询地址不仅包括用于访问专区平台的访问域名,还包括待访问集群的集群数据具体在专区平台的存储地址。以此,监控平台可以直接根据目标查询地址从多个专区平台中获取相应的集群数据,而不用反复登录到不同专区平台后,才可以获取相应的集群数据,提升运维人员查询集群数据的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种监控平台的结构示意图;
图2是本申请一实施例提供的一种多集群的数据查询方法的实现流程图;
图3是本申请一实施例提供的一种多集群的数据查询方法的S101的一种实现方式示意图;
图4是本申请另一实施例提供的一种多集群的数据查询方法的实现流程图;
图5是本申请一实施例提供的一种多集群的数据查询装置的结构示意图;
图6是本申请另一实施例提供的一种监控平台的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
本申请实施例提供的多集群的数据查询方法可以应用于监控平台,其中,监控平台主要用于对多个专区平台中各个集群的集群数据进行监控。
具体的,参照图1,各个专区平台分别搭建有独立的数据存储子单元,用于对各个专区平台中的每个集群的集群数据进行采集和汇总。其中,集群数据包括但不限于每个集群的物理资源、容器资源以及集群运行时的集群日志等数据,对此不作限定。
具体的,图1中各专区平台中的方框中只出示了一个专区平台的结构,其内部包含有数据存储子单元(promtheus组件)。其中,专区平台主要通过如下部件采集上述集群数据。
示例性的,专区平台可以通过节点采集器采集节点CPU、内存、磁盘、网络等操作系统层面指标。即图1中操作系统层所在方框包含的各个指标,各个指标并未全部示出;通过容器采集器采集容器CPU、网络、磁盘使用率等容器层面指标,即图1中容器层所在方框包含的各个指标,并未全部示出;通过程序协调服采集器、网络探测采集器收集管理平台注册中心、管理台、构造器等平台级服务状态健壮指标,即图1中平台服务层所在方框包含的各个指标,并未全部示出。其中,专区平台还可以通过搜索引擎服务采集器采集每个集群的索引速率、查询速率、索引延迟、查询延迟、数据量、分片数、查询队列数、查询拒绝数、写队列数、写拒绝数等关键指标数据。
对于监控平台,其内部也搭建有独立的数据存储单元(promtheus组件)。具体的,监控平台中的数据存储单元与各专区平台中的数据存储子单元均为promtheus组件。并且,promtheus组件具有联邦机制,其允许一个数据存储单元从另外一个数据存储子单元中获取各个指标的集群数据,以实现对各个专区平台中每个集群的集群数据进行统一管理。
其中,监控平台还包括自研诊断告警组件以及可视化仪表板。其中,自研诊断告警组件可以读取数据存储子单元中的指标数据,以实现对集群的CPU使用率、集群健康状态、节点写队列堆积、节点增加及减少等影响ES集群高可用关键异常指标的告警。同时,可以对集群进行全方位的诊断,快速出具诊断报告。其中,诊断报告包括但不限于集群层面、节点层面以及索引层面的报告。
示例性的,对于集群层面,其报告包括但不限于:集群健康状态、集群分片迁移、集群存储容量等指标的诊断结果;对于节点层面,其报告包括不限于:数据节点分片数、各节点硬件配置等指标的诊断结果;对于索引层面,其报告包括但不限于:主分片设置是否合理、分片数据是否均匀,字段数是否合理等指标的诊断结果。
其中,可视化仪表板用于统一的对各个集群的集群数据进行展示,方便运维人员从各个集群数据中定位集群出现的问题。其中,可视化仪表板具体可以为grafanadashboard组件。示例性的,集群数据可以为集群日志,其包括但不限于Debug日志、Info日志、Warn日志、Error日志及集群慢日志。在获取到集群日志时,运维人员还可以通过选择不同的集群日志,在可视化仪表板中进行显示,或者将全部的集群日志进行显示,以辅助运维人员对集群出现的问题的进行定位。
其中,在本实施例中,采用多集群的数据查询方法可以查询每个专区平台中的各个集群的集群数据,而不用反复多次登录不同专区平台,以对不同专区平台中各个集群的集群数据进行查询,提升运维人员对集群数据的查询效率。
具体示例如下述内容:
请参阅图2,图2示出了本申请实施例提供的一种多集群的数据查询方法的实现流程图,该方法包括如下步骤:
S101、监控中心获取访问请求;访问请求包括待访问集群的集群标识;监控平台用于对多个专区平台中的集群进行监控,每个专区平台至少对一个集群的集群数据进行监控。
在一实施例中,上述访问请求为用于查询待访问集群中集群数据的请求。其中,因监控平台同时对多个专区平台中的集群进行监控。因此,为了从多个集群中确定待访问集群,上述访问请求中还需携带待访问集群的集群标识。
其中,上述访问请求包括但不限于GET请求、POST请求或PUT请求等多种类型的请求。在本实施例中,上述访问请求具体可以为POST类型的请求。
在一实施例中,上述集群表标识用于区分各个集群,其具有唯一标识性。其中,上述集群标识包括但不限于数字、字母等形式的标识,对此不作限定。
具体的,参照图3,监控平台可以通过如下子步骤S1011-S1012生成访问请求:
S1011、监控平台获取用户输入的查询信息;查询信息至少包括集群标识。
S1012、监控平台根据集群标识生成访问请求,并发送至网关。
在一实施例中,上述查询信息可以为运维人员在监控平台上输入的信息,其信息中至少包括集群标识。在一具体实施例中,若运维人员知晓待访问集群的集群数据的具体查询地址,则可以直接在监控平台上进行输入。而后,监控平台根据该查询地址利用数据存储单元以及数据存储子单元的联邦规则,从对应的数据存储子单元中获取集群数据。
在一实施例中,上述访问请求可以由监控平台中的HTTP协议调式代理工具生成。具体的,该代理工具可以为Fiddler工具。
示例性的,以访问请求的类型为POST类型请求为例进行说明。Fiddler工具可以根据运维人员上传的文件(查询信息)自动生成POST请求。具体的,Fiddler可以在POST请求的请求头中,生成一段随机字符串作为“分割边界”。之后,监控平台可以将随机字符串写入HTTP协议中的Content-Type字段中,并在请求主体中写入集群标识,生成POST请求传递给网关。之后,网关在解析POST请求时,可以根据“分割边界”对POST请求中的字段信息进行解析。
其中,上述访问请求具体可以为异步的JavaScript和XML(AsynchronousJavaScript and XML,AJAX)的POST请求。其中,采用AJAX POST类型的访问请求,可以无需在监控平台上额外添加浏览器插件,减少监控平台中插件的使用数量。
在一实施例中,上述网关为监控平台中的网间连接器,其可以在网络层以上的层面上实现网络互连。具体的,网关可以对接收到的某一协议类型的访问请求进行处理,得到访问请求中的信息(集群标识)后,对接收的信息重新打包,以使打包后的信息可以适应目的平台(即包含待访问集群的专区平台)的协议需求。
S102、监控平台根据待访问集群的集群标识以及每个集群对应的集群标识,将与待访问集群的集群标识相同的集群确定为待访问集群,以及将包含待访问集群的专区平台确定为目标专区平台。
S103、监控平台根据待访问集群的集群标识对目标专区平台中的预设集群数据查询地址进行修改,生成目标查询地址。
在一实施例中,上述集群标识具有唯一性,因此,在根据集群标识确定出待访问集群后,监控平台还可以根据每个专区平台分别监控的集群,确定包含待访问集群的目标专区平台。
需要说明的是,因各个专区平台监控的集群可能分别处理不同的业务以及功能,因此,其各个专区平台的数据存储子单元均是独立的。并且,为了避免集群数据泄露,其每个专区平台中包含的集群数据的查询地址均各不相同。
在应用中,目标专区平台中的预设集群数据查询地址可以为:针对目标专区平台中的数据存储子单元设置的访问地址。具体的,预设集群数据查询地址为目标专区平台的访问域名。其中,每个专区平台分别对应一种访问域名,而一个专区平台通常包含有多个集群,每个集群的集群数据均存储在该专区平台中数据存储子单元的不同位置。监控平台通过访问域名只能访问到该数据存储子单元,但是对于数据存储子单元中具体的每个集群的集群数据,需要进一步的由重写后的目标查询地址进行进一步的访问。
基于此,监控平台还需根据访问请求的集群标识,灵活的生成对待访问集群的集群数据进行查询的目标查询地址。
在一具体实施例中,参照图4,监控平台可以通过如下步骤S131-S138步骤对预设集群数据查询地址进行修改,得到目标查询地址:
首先,监控平台包括用于存储集群数据的数据存储单元,每个专区平台分别包括独立的数据存储子单元,用于存储专区平台中各个集群的集群数据;基于此,监控平台需要预先对个专区平台中每个数据存储子单元的集群数据进行处理,以预先对每个专区平台对应的预设集群数据查询地址进行设置,具体的:
S131、监控平台将每个数据存储子单元的集群数据存储至数据存储单元。
在一实施例中,上述数据存储子单元与上述数据存储单元均已在上述对图1的解释中进行说明,对此不再进行解释。需要说明的是,监控平台将每个数据存储子单元的集群数据存储至数据存储单元可以为:直接将不同专区平台下数据存储子单元中的集群数据分别存储在数据存储单元中;也可以为数据存储单元可以调用数据存储子单元中的集群数据。此时,因数据存储单元具有联邦机制,可以实现一个数据存储单元从另外一个数据存储子单元中获取各个指标的集群数据。因此,可以认为通过上述联邦机制的获取方式,也属于将每个数据存储子单元中的集群数据以另一种形式存储在数据存储单元中,进而使监控平台可以实现上述多集群的查询方法。
S132、监控平台分别设置每个数据存储子单元在数据存储单元中的初始查询地址;初始查询地址包括访问数据存储子单元的访问域名。
需要说明的是,不管使用上述何种存储方式,监控平台均需要预先确定每个数据存储子单元在数据存储单元中的初始查询地址。即监控平台在通过数据存储单元访问待访问集群的集群数据时,均需要预先访问包含待访问集群的专区平台,而后才可以从该专区平台所包含的多个集群的集群数据中,查询待访问集群的集群数据。
因此,可以认为上述初始查询地址至少包括用于访问数据存储子单元的访问域名。即也可以认为是访问包含数据存储子单元的专区平台的访问域名。
S133、监控平台在访问域名中添加用于访问集群数据的变量地址,生成专区平台的预设集群数据查询地址;变量地址用于根据待访问集群的集群标识进行变量替换,生成目标查询地址。
在一实施例中,在设置访问域名后,因此时只能查询到该专区平台下每个集群的集群数据。然而,每个集群数据通常包括大量的数据,若均在监控平台中进行展示,则在可视化仪表板上显示的集群数据将会显得冗余,不利于运维人员对每个集群的状态进行分析。因此,监控平台还可以在访问域名中加入用于具体访问某一集群的集群数据的变量地址,以从多个集群数据中进一步的查询所需访问的集群数据。
其中,上述变量地址以变量的形式设置在预设集群数据查询地址中,用于根据集群标识进行变量替换,生成最终的目标查询地址。
示例性的,监控平台可以根据集群标识,确定待访问集群的集群数据在专区平台的数据存储子单元中的目标存储地址。而后,将目标存储地址对变量地址进行替换,生成目标查询地址。
基于上述说明,可以理解的是,在生成目标查询地址时,监控平台还需获取待访问集群的集群数据在对应的数据存储子单元中的存储地址。因此,在S131将每个数据存储子单元的集群数据存储至数据存储单元后,监控平台还需要预先对集群数据进行如下步骤S134-S136处理,以便可以随时获取待访问集群的集群数据在对应的数据存储子单元中的存储地址:
S134、针对任一专区平台,若专区平台包括多个集群,则监控平台确定每个集群的集群数据分别存储在专区平台的数据存储子单元的存储地址。
S135、监控平台分别建立每个存储地址与集群标识的映射关系。
S136、监控平台缓存映射关系至数据存储单元。
在一实施例中,相同专区平台下的每个集群的集群数据各不相同,因此,每个集群的集群数据在数据存储子单元的存储地址也应当不同。基于此,在每个集群具有唯一的集群标识的情况下,对于任一集群数据在数据存储子单元的存储地址,监控平台还可以分别建立集群标识与对应的存储地址之间的映射关系,而后将该映射关系缓存至监控平台的数据存储单元中。
基于以上说明,监控平台在完成对专区平台的预设集群数据查询地址的设置,以及对集群数据的预处理后,即可通过如下步骤生成目标查询地址,详述如下:
S137、监控平台根据映射关系,确定与待访问集群的集群标识对应的集群数据在数据存储子单元中的目标存储地址。
S138、监控平台采用目标存储地址替换预设集群数据查询地址中的变量地址,生成目标查询地址。
在一实施例中,上述S136已说明映射关系存储在数据存储单元中,可以被监控平台随时获取。基于此,监控平台可以直接根据映射关系,确定对应的集群数据在数据存储子单元中的目标存储地址。
需要说明的是,监控平台可以通过如下方式获取数据存储单元中的映射关系。具体的,在监控平台根据集群标识生成访问请求后,可以将访问请求发送至监控平台中的网关,而后,利用网关中的预设脚本从数据存储单元中获取映射关系。
具体的,上述预设脚本所需执行的功能可以包括:对访问请求进行解析得到集群标识的解析功能、从数据存储单元获取映射关系的获取功能、采用目标存储地址替换预设集群数据查询地址中的变量地址,生成目标查询地址的修改功能。因此,在本实施例中,上述该预设脚本的脚本语言具体可以为LUA语言。其中,采样LUA语言的预设脚本的目的在于:该预设脚本在嵌入应用程序(监控平台)时,可以为应用程序(监控平台)提供灵活的扩展和定制功能,并且更容易理解和维护。因此,在网关接收到访问请求时,即触发预设脚本执行上述功能,以生成目标查询地址。
基于以上说明,此时生成的目标查询地址中不仅包含用于访问专区平台的访问域名,还包括用于从专区平台的数据存储子单元中存储的多个集群的集群数据中,确定出待访问集群的集群数据在数据存储子单元的目标存储地址。
之后,S104、监控平台根据目标查询地址查询待访问集群中的集群数据。以此,监控平台可以直接根据集群标识,从每个专区平台下的多个集群中获取相应的集群数据,而不用反复登录到不同专区平台后,才可以获取相应的集群数据。
在本实施例中,在运维人员需要获取任一集群中的集群数据时,监控平台可以获取运维人员输入的包含集群标识的访问请求,以根据集群标识从多个专区平台中确定包含待访问集群的目标专区平台。并且,监控平台还可以利用集群标识,确定待访问集群的集群数据在专区平台中的具体存储地址,以对预先设定的目标专区平台的预设集群数据查询地址进行修改,生成目标查询地址。此时,生成的目标查询地址不仅包括用于访问专区平台的访问域名,还包括待访问集群的集群数据具体在专区平台的存储地址。以此,监控平台可以直接根据目标查询地址从多个专区平台中获取相应的集群数据,而不用反复登录到不同专区平台后才可获取相应的集群数据,提升运维人员查询集群数据的效率。
请参阅图5,图5是本申请实施例提供的一种多集群的数据查询装置的结构框图。本实施例中多集群的数据查询装置包括的各模块用于执行图2至图4对应的实施例中的各步骤。具体请参阅图2至图4以及图2至图4所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图5,多集群的数据查询装置500可以包括:获取模块510、目标专区平台确定模块520、生成模块530以及查询模块540,其中:
获取模块510,用于获取访问请求;访问请求包括待访问集群的集群标识;监控平台用于对多个专区平台中的集群进行监控,每个专区平台至少对一个集群的集群数据进行监控。
目标专区平台确定模块520,用于根根据待访问集群的集群标识以及每个集群对应的集群标识,将与待访问集群的集群标识相同的集群确定为待访问集群,以及将包含待访问集群的专区平台确定为目标专区平台。
生成模块530,根据集群标识对目标专区平台中的预设集群数据查询地址进行修改,生成目标查询地址。
查询模块540,用于根据目标查询地址查询待访问集群中的集群数据。
在一实施例中,监控平台包括用于存储集群数据的数据存储单元,每个专区平台分别包括独立的数据存储子单元,用于存储专区平台中各个集群的集群数据;其中,数据存储单元以及数据存储子单元均为promtheus组件;多集群的数据查询装置500还包括:
存储模块,用于将每个数据存储子单元的集群数据存储至数据存储单元。
设置模块,用于分别设置每个数据存储子单元在数据存储单元中的初始查询地址;初始查询地址包括访问数据存储子单元的访问域名。
添加模块,用于在访问域名中添加用于访问集群数据的变量地址,生成专区平台的预设集群数据查询地址;变量地址用于根据待访问集群的集群标识进行变量替换,生成目标查询地址。
在一实施例中,多集群的数据查询装置500还包括:
存储地址确定模块,用于针对任一专区平台,若专区平台包括多个集群,则确定每个集群的集群数据分别存储在专区平台的数据存储子单元的存储地址。
建立模块,用于分别建立每个存储地址与集群标识的映射关系。
缓存模块,用于缓存映射关系至数据存储单元。
在一实施例中,生成模块530还用于:
根据映射关系,确定与待访问集群的集群标识对应的集群数据在数据存储子单元中的目标存储地址;采用目标存储地址替换预设集群数据查询地址中的变量地址,生成目标查询地址。
在一实施例中,多集群的数据查询装置500还包括网关,获取模块510还用于:
获取用户输入的查询信息;查询信息至少包括集群标识;根据集群标识生成访问请求,并发送至网关。
在一实施例中,多集群的数据查询装置500还包括:
映射关系获取模块,用于在发送访问请求至网关后,根据网关中的预设脚本,从数据存储单元中获取映射关系。
在一实施例中,多集群的数据查询装置500还包括:
展示模块,用于对集群数据进行可视化展示。
当理解的是,图5示出的多集群的数据查询装置的结构框图中,各模块用于执行图2至图4对应的实施例中的各步骤,而对于图2至图4对应的实施例中的各步骤已在上述实施例中进行详细解释,具体请参阅图2至图4以及图2至图4所对应的实施例中的相关描述,此处不再赘述。
图6是本申请一实施例提供的一种监控平台的结构框图。如图6所示,该实施例的监控平台600包括:处理器610、存储器620以及存储在存储器620中并可在处理器610运行的计算机程序630,例如多集群的数据查询方法的程序。处理器610执行计算机程序630时实现上述各个多集群的数据查询方法各实施例中的步骤,例如图2所示的S101至S104。或者,处理器610执行计算机程序630时实现上述图5对应的实施例中各模块的功能,例如,图5所示的模块510至540的功能,具体请参阅图5对应的实施例中的相关描述。
示例性的,计算机程序630可以被分割成一个或多个模块,一个或者多个模块被存储在存储器620中,并由处理器610执行,以实现本申请实施例提供的多集群的数据查询方法。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序630在监控平台600中的执行过程。例如,计算机程序630可以实现本申请实施例提供的多集群的数据查询方法。
监控平台600可包括,但不仅限于,处理器610、存储器620。本领域技术人员可以理解,图6仅仅是监控平台600的示例,并不构成对监控平台600的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如监控平台还可以包括输入输出设备、网络接入设备、总线等。
所称处理器610可以是中央处理单元,还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器620可以是监控平台600的内部存储单元,例如监控平台600的硬盘或内存。存储器620也可以是监控平台600的外部存储设备,例如监控平台600上配备的插接式硬盘,智能存储卡,闪存卡等。进一步地,存储器620还可以既包括监控平台600的内部存储单元也包括外部存储设备。
本申请实施例提供了一种监控平台,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述各个实施例中的多集群的数据查询方法。
本申请实施例提供了一种计算机可读存储介质,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述各个实施例中的多集群的数据查询方法。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在监控平台上运行时,使得监控平台执行上述各个实施例中的多集群的数据查询方法。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种多集群的数据查询方法,其特征在于,应用于监控平台,所述方法包括:
获取访问请求;所述访问请求包括待访问集群的集群标识;所述监控平台用于对多个专区平台中的集群进行监控,每个所述专区平台至少对一个集群的集群数据进行监控;
根据所述待访问集群的集群标识以及每个所述集群对应的集群标识,将与所述待访问集群的集群标识相同的集群确定为待访问集群,以及将包含所述待访问集群的专区平台确定为目标专区平台;
根据所述待访问集群的集群标识对所述目标专区平台中的预设集群数据查询地址进行修改,生成目标查询地址;
根据所述目标查询地址查询所述待访问集群中的集群数据。
2.根据权利要求1所述的多集群的数据查询方法,其特征在于,所述监控平台包括用于存储集群数据的数据存储单元,每个所述专区平台分别包括独立的数据存储子单元,用于存储所述专区平台中各个集群的集群数据;
在所述获取访问请求之前,还包括:
将每个所述数据存储子单元的集群数据存储至所述数据存储单元;
分别设置每个所述数据存储子单元在所述数据存储单元中的初始查询地址;所述初始查询地址包括访问所述数据存储子单元的访问域名;
在所述访问域名中添加用于访问所述集群数据的变量地址,生成所述专区平台的预设集群数据查询地址;所述变量地址用于根据所述待访问集群的集群标识进行变量替换,生成所述目标查询地址。
3.根据权利要求2所述的多集群的数据查询方法,其特征在于,在所述将每个所述数据存储子单元的集群数据存储至所述数据存储单元之后,还包括:
针对任一所述专区平台,若所述专区平台包括多个集群,则确定每个所述集群的集群数据分别存储在所述专区平台的数据存储子单元的存储地址;
分别建立每个所述存储地址与所述集群标识的映射关系;
缓存所述映射关系至所述数据存储单元。
4.根据权利要求3所述的多集群的数据查询方法,其特征在于,所述根据所述待访问集群的集群标识对所述目标专区平台中的预设集群数据查询地址进行修改,生成目标查询地址,包括:
根据所述映射关系,确定与所述待访问集群的集群标识对应的集群数据在所述数据存储子单元中的目标存储地址;
采用所述目标存储地址替换所述预设集群数据查询地址中的变量地址,生成所述目标查询地址。
5.根据权利要求2-4任一所述的多集群的数据查询方法,其特征在于,所述数据存储单元以及所述数据存储子单元均为promtheus组件。
6.根据权利要求4所述的多集群的数据查询方法,其特征在于,所述监控平台还包括网关;
所述获取访问请求,包括:
获取用户输入的查询信息;所述查询信息至少包括所述集群标识;
根据所述集群标识生成所述访问请求,并发送至所述网关;
在所述根据所述映射关系,确定与所述待访问集群的集群标识对应的集群数据在所述数据存储单元中的目标存储地址之前,还包括:
在发送所述访问请求至所述网关后,根据所述网关中的预设脚本,从所述数据存储单元中获取所述映射关系。
7.根据权利要求6所述的多集群的数据查询方法,其特征在于,在所述根据所述目标查询地址查询所述待访问集群中的集群数据之后,还包括:
对所述集群数据进行可视化展示。
8.一种多集群的数据查询装置,其特征在于,应用于监控平台,所述装置包括:
获取模块,用于获取访问请求;所述访问请求包括待访问集群的集群标识;所述监控平台用于对多个专区平台中的集群进行监控,每个所述专区平台至少对一个集群的集群数据进行监控;
目标专区平台确定模块,用于根据所述待访问集群的集群标识以及每个所述集群对应的集群标识,将与所述待访问集群的集群标识相同的集群确定为待访问集群,以及将包含所述待访问集群的专区平台确定为目标专区平台;
生成模块,根据所述集群标识对所述目标专区平台中的预设集群数据查询地址进行修改,生成目标查询地址;
查询模块,用于根据所述目标查询地址查询所述待访问集群中的集群数据。
9.一种监控平台,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210030842.6A CN114357001A (zh) | 2022-01-12 | 2022-01-12 | 多集群的数据查询方法、装置、监控平台及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210030842.6A CN114357001A (zh) | 2022-01-12 | 2022-01-12 | 多集群的数据查询方法、装置、监控平台及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114357001A true CN114357001A (zh) | 2022-04-15 |
Family
ID=81108834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210030842.6A Pending CN114357001A (zh) | 2022-01-12 | 2022-01-12 | 多集群的数据查询方法、装置、监控平台及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114357001A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115250227A (zh) * | 2022-06-02 | 2022-10-28 | 苏州思萃工业互联网技术研究所有限公司 | 一种边缘计算场景下实现故障迁移的调度系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274591A (zh) * | 2020-01-19 | 2020-06-12 | 北京百度网讯科技有限公司 | 一种访问Kubernetes集群的方法、装置、电子设备和介质 |
CN112087517A (zh) * | 2020-09-10 | 2020-12-15 | 星辰天合(北京)数据科技有限公司 | 存储集群的处理方法及处理装置、电子设备 |
WO2021197432A1 (zh) * | 2020-04-02 | 2021-10-07 | 北京京东振世信息技术有限公司 | 一种数据库集群的路由方法和装置 |
-
2022
- 2022-01-12 CN CN202210030842.6A patent/CN114357001A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274591A (zh) * | 2020-01-19 | 2020-06-12 | 北京百度网讯科技有限公司 | 一种访问Kubernetes集群的方法、装置、电子设备和介质 |
WO2021197432A1 (zh) * | 2020-04-02 | 2021-10-07 | 北京京东振世信息技术有限公司 | 一种数据库集群的路由方法和装置 |
CN112087517A (zh) * | 2020-09-10 | 2020-12-15 | 星辰天合(北京)数据科技有限公司 | 存储集群的处理方法及处理装置、电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115250227A (zh) * | 2022-06-02 | 2022-10-28 | 苏州思萃工业互联网技术研究所有限公司 | 一种边缘计算场景下实现故障迁移的调度系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113312241A (zh) | 异常告警的方法、生成访问日志的方法以及运维系统 | |
CN108388489B (zh) | 一种服务器故障诊断方法、系统、设备及存储介质 | |
US9246773B2 (en) | System, method, and graphical user interface for application topology mapping in hosted computing environments | |
US11323463B2 (en) | Generating data structures representing relationships among entities of a high-scale network infrastructure | |
US20180307735A1 (en) | Integrating relational and non-relational databases | |
US11362912B2 (en) | Support ticket platform for improving network infrastructures | |
CN111382023B (zh) | 代码故障定位方法、装置、设备及存储介质 | |
CN112307057A (zh) | 数据的处理方法及装置、电子设备、计算机存储介质 | |
US10657099B1 (en) | Systems and methods for transformation and analysis of logfile data | |
US20220147542A1 (en) | Automation solutions for event logging and debugging on kubernetes | |
CN109039787A (zh) | 日志处理方法、装置及大数据集群 | |
CN113760641A (zh) | 业务监控方法、装置、计算机系统和计算机可读存储介质 | |
US11221907B1 (en) | Centralized software issue triage system | |
US11599404B2 (en) | Correlation-based multi-source problem diagnosis | |
CN112187509A (zh) | 多架构云平台执行日志管理方法、系统、终端及存储介质 | |
CN115883407A (zh) | 一种数据采集方法、系统、设备及存储介质 | |
CN114357001A (zh) | 多集群的数据查询方法、装置、监控平台及存储介质 | |
CN117560277A (zh) | 日志处理方法和系统、日志管理平台及电子设备 | |
CN112380091A (zh) | 一种服务运行情况监控方法、装置和相关设备 | |
CN116841902A (zh) | 健康状态检查方法、装置、设备及存储介质 | |
US11656974B2 (en) | Enhanced performance diagnosis in a network computing environment | |
CN113132431B (zh) | 服务监控方法、服务监控装置、电子设备及介质 | |
CN115374109A (zh) | 数据访问方法、装置、计算设备和系统 | |
CN114500334A (zh) | 服务端应用架构的诊断方法及装置 | |
KR101909625B1 (ko) | Was 모니터링 시스템과 db 서버 모니터링 시스템의 연계 서비스를 제공하기 위한 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |