CN108768790A - 分布式搜索集群监控方法及装置、计算设备、存储介质 - Google Patents

分布式搜索集群监控方法及装置、计算设备、存储介质 Download PDF

Info

Publication number
CN108768790A
CN108768790A CN201810698162.5A CN201810698162A CN108768790A CN 108768790 A CN108768790 A CN 108768790A CN 201810698162 A CN201810698162 A CN 201810698162A CN 108768790 A CN108768790 A CN 108768790A
Authority
CN
China
Prior art keywords
monitoring
monitoring data
distributed search
search cluster
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810698162.5A
Other languages
English (en)
Inventor
任娜
王立新
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201810698162.5A priority Critical patent/CN108768790A/zh
Publication of CN108768790A publication Critical patent/CN108768790A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/084Configuration by using pre-existing information, e.g. using templates or copying from other elements
    • H04L41/0843Configuration by using pre-existing information, e.g. using templates or copying from other elements based on generic templates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Abstract

本发明公开了一种分布式搜索集群监控方法及装置、计算设备、存储介质,所述方法包括:根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,监控模板包含一个或多个监控项目对应的配置文件;根据监控模板访问分布式搜索集群,获取一个或多个监控项目对应的监控数据,并保存监控数据;接收监控数据展示页面的访问请求;根据监控数据展示页面的访问请求,获取对应的监控数据,并将监控数据展示在监控数据展示页面中。上述方案可根据具体需求指定监控的项目,配置对应的监控模板,访问分布式搜索集群获取到对应的监控数据,并在监控数据展示页面展示,可以清楚的了解到分布式搜索集群的具体运行状态。

Description

分布式搜索集群监控方法及装置、计算设备、存储介质
技术领域
本发明涉及软件领域,具体涉及一种分布式搜索集群监控方法及装置、计算设备、存储介质。
背景技术
分布式搜索服务器可以利用分布式集群提供分布式多用户能力的全文搜索引擎,能够达到实时搜索,稳定、可靠、快速。通过分布式搜索集群可以把一个完整的索引分成多个分片,这样的好处是可以把一个大的索引拆分成多个,分布到不同的节点上,使得一个索引可以存储超过一个节点容量的数据,从而构成分布式集群搜索。分布式搜索集群在运行时,涉及多个设备硬件运行、大量数据存储、不同分片、索引占用等各种情况,不同情况呈现不同运行状态。当使用分布式搜索集群执行业务出现报错时,业务无法快速的定位到错误发生原因。
因此,在分布式搜索集群的日常运维中需要对分布式搜索集群进行监控,可以方便及时的获取分布式搜索集群的运行状态,预测或及时处理分布式搜索集群可能出现的问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式搜索集群监控方法及装置、计算设备、存储介质。
根据本发明的一个方面,提供了一种分布式搜索集群监控方法,其包括:
根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,监控模板包含一个或多个监控项目对应的配置文件;
根据监控模板访问分布式搜索集群,获取一个或多个监控项目对应的监控数据,并保存监控数据;
接收监控数据展示页面的访问请求;
根据监控数据展示页面的访问请求,获取对应的监控数据,并将监控数据展示在监控数据展示页面中。
根据本发明的另一方面,提供了一种分布式搜索集群监控装置,其包括:
配置模块,适于根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,监控模板包含一个或多个监控项目对应的配置文件;
获取模块,适于根据监控模板访问分布式搜索集群,获取一个或多个监控项目对应的监控数据,并保存监控数据;
请求模块,适于接收监控数据展示页面的访问请求;
展示模块,适于根据监控数据展示页面的访问请求,获取对应的监控数据,并将监控数据展示在监控数据展示页面中。
根据本发明的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;
存储器用于存放至少一可执行指令,可执行指令使处理器执行上述分布式搜索集群监控方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,存储介质中存储有至少一可执行指令,可执行指令使处理器执行如上述分布式搜索集群监控方法对应的操作。
根据本发明提供的分布式搜索集群监控方法及装置、计算设备、存储介质,根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,监控模板包含一个或多个监控项目对应的配置文件;根据监控模板访问分布式搜索集群,获取一个或多个监控项目对应的监控数据,并保存监控数据;接收监控数据展示页面的访问请求;根据监控数据展示页面的访问请求,获取对应的监控数据,并将监控数据展示在监控数据展示页面中。针对分布式搜索集群,根据业务需求或运维需求,指定需要监控的项目。本发明针对监控项目的信息配置对应的监控模板,访问分布式搜索集群获取到对应的监控数据。在监控数据展示页面将监控数据进行展示,可以清楚的了解到分布式搜索集群的具体运行状态,可以监控分布式搜索集群正常运行或预先预防,还可以在出现问题时及时提供解决问题的依据。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的分布式搜索集群监控方法的流程图;
图2示出了根据本发明另一个实施例的分布式搜索集群监控方法的流程图;
图3示出了根据本发明一个实施例的分布式搜索集群监控装置的功能框图;
图4示出了根据本发明一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的分布式搜索集群监控方法的流程图。如图1所示,分布式搜索集群监控方法具体包括如下步骤:
步骤S101,根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板。
在本发明中分布式搜索集群可以具体为ElasticSearch分布式搜索集群(以下简称ES分布式搜索集群)。ES分布式搜索集群涉及多个设备使用、大量数据存储、不同角色划分等,在ES分布式搜索集群运行时,会存在本身运行状态、各节点运行状态、分片、索引、设备占用情况、接口访问情况、数据访问情况等多个不同状态的运行数据,每个状态的运行数据对应不同的运行状况。有些状态表明ES分布式搜索集群运行良好,有些状态预示或表明ES分布式搜索集群存在运行故障。对ES分布式搜索集群的各种状态进行监控,可以及时了解到ES分布式搜索集群的运行状况,方便及时应对可能发生的问题或及时处理发生的问题。
根据不同业务需求或不同日常运维需求,可以自行指定所需的一个或多个监控项目,为其设置对应的监控项目的信息。根据指定的监控项目的信息需要为监控项目配置相应的监控模板。监控模板中包含一个或多个监控项目对应的配置文件。此处,根据配置文件可以对ES分布式搜索集群的监控项目进行监控,获取ES分布式搜索集群对应的监控结果。配置文件根据监控项目的信息,自动配置生成。一个配置文件可以对应一个或多个监控项目的信息。
步骤S102,根据监控模板访问分布式搜索集群,获取一个或多个监控项目对应的监控数据,并保存监控数据。
根据监控模板中各配置文件的内容,访问ES分布式搜索集群,从中获取到一个或多个监控项目对应的监控数据。此处,对ES分布式搜索集群的访问可以预先设置间隔时间,如每间隔30秒访问一次ES分布式搜索集群;或者针对不同的监控项目设置不同的间隔时间,如每间隔30秒访问一次ES分布式搜索集群,获取监控项目A的监控数据;每间隔1分钟访问一次ES分布式搜索集群,获取监控项目B的监控数据等。具体实施可以利用如脚本程序、定时任务等读取监控模板,定时访问ES分布式搜索集群,获取一个或多个监控项目对应的监控数据。
在获取到监控数据后,将监控数据按照时间进行保存。由于ES分布式搜索集群的状态会随着运行状况变化,不同时间获取到的监控数据也会存在不同。将监控数据按照时间保存,方便根据时间线追溯ES分布式搜索集群在某段时间内的运行状况,也方便后续根据页面的访问请求,快速获取到监控数据进行展示。
步骤S103,接收监控数据展示页面的访问请求。
为方便用户直观地了解ES分布式搜索集群各监控项目的情况,利用监控数据展示页面展示相应的监控数据。监控数据展示页面由用户输入相应的页面地址来触发页面展示,接收到监控数据展示页面的访问请求;或者,自定义页面定时刷新操作或页面定时访问操作,触发页面展示,接收到监控数据展示页面的访问请求。
步骤S104,根据监控数据展示页面的访问请求,获取对应的监控数据,并将监控数据展示在监控数据展示页面中。
监控数据展示页面可以为一个或多个页面,每个监控数据展示页面展示不同的监控项目及对应的监控数据。
根据各个监控数据展示页面的访问请求,可以得知各个监控数据展示页面要展示的监控项目,进而根据监控项目去获取对应的监控数据。将获取到的监控数据按照各个监控数据展示页面的展示风格进行展示,方便用户直观地了解到监控项目当前的具体情况,对ES分布式搜索集群的运行状况更加了解。
根据本发明提供的分布式搜索集群监控方法,根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,监控模板包含一个或多个监控项目对应的配置文件;根据监控模板访问分布式搜索集群,获取一个或多个监控项目对应的监控数据,并保存监控数据;接收监控数据展示页面的访问请求;根据监控数据展示页面的访问请求,获取对应的监控数据,并将监控数据展示在监控数据展示页面中。针对分布式搜索集群,根据业务需求或运维需求,指定需要监控的项目。本发明针对监控项目的信息配置对应的监控模板,访问分布式搜索集群获取到对应的监控数据。在监控数据展示页面将监控数据进行展示,可以清楚的了解到分布式搜索集群的具体运行状态,可以监控分布式搜索集群正常运行或预先预防,还可以在出现问题时及时提供解决问题的依据。
图2示出了根据本发明另一个实施例的分布式搜索集群监控方法的流程图。如图2所示,分布式搜索集群监控方法具体包括如下步骤:
步骤S201,从信息队列中读取针对分布式搜索集群所指定的一个或多个监控项目的信息,并解析得到监控项目的属性信息。
对ES分布式搜索集群进行监控,主要体现在对ES分布式搜索集群运行状况中的各种状态进行监控。如当前ES分布式搜索集群本身运行状态(良好状态、报警状态、数据运行中状态等)、分片数量统计、索引数量统计、各节点设备内存占用状态、CPU占用状态、数据写入状态、节点线程运行状态等。以上均可以做为监控项目。监控项目还可以包括如ES分布式搜索集群日增容量、日增文档数、日读量、日写量等数据统计。根据这些数据,如某ES分布式搜索集群的日读写量长期为0或较低,可以了解到该ES分布式搜索集群已经不再被频繁访问,可以将该ES分布式搜索集群进行回收处理,以减少资源的浪费。具体的监控项目根据业务需求或日常运维需求,由用户自行指定。
针对不同的ES分布式搜索集群可以指定相同或不同的监控项目,监控项目可以一次指定一个或多个,即一次指定包含一个或多个监控项目的监控项目信息,或者多次指定,每次指定包含一个或多个监控项目的监控项目信息。具体根据实施情况进行设置,此处不做限定。为方便指定监控项目,可以利用如redis等存储工具建立信息队列,在信息队列中存储一个或多个监控项目的信息。随时可以在信息队列中增加一个或多个监控项目的信息,再从信息队列中依次读取指定的一个或多个监控项目信息,使得修改监控项目与对ES分布式搜索集群已有监控项目进行监控可以并行进行(不需要暂停监控,在修改完监控项目的监控模块后再重新启动监控),不影响对ES分布式搜索集群的监控。
在读取到监控项目的信息后,对监控项目的信息进行解析,可以得到监控项目的属性信息。属性信息包括如监控操作类型、监控对象、所属ES分布式搜索集群角色信息等。监控操作类型包括添加或删除,可以添加指定的新的监控项目或删除指定的已经存在的监控项目;监控对象为具体的ES分布式搜索集群的对象,如主节点是否存活、主节点内存占用情况、主节点CPU占用情况、数据节点CPU占用情况、数据节点内存占用情况、数据节点查询状况、数据节点索引写入情况、文件打开情况等;所属ES分布式搜索集群角色信息根据ES分布式搜索集群进行划分,如分为集群级别、class级别、nodes级别等。根据监控对象或监控项目的信息确定其所属的不同ES分布式搜索集群角色信息。
步骤S202,根据监控操作类型,在监控模板中添加或删除对应的监控项目。
根据监控项目的属性信息中包含的监控对象、所属ES分布式搜索集群角色信息,进一步确定对应的ES分布式搜索集群的访问信息。由于监控数据需要访问ES分布式搜索集群获取,根据监控对象可以确定监控对象具体所属的节点、索引、分片、接口等,再加上所属ES分布式搜索集群角色信息,可以确定监控项目的访问地址、端口信息、用户ID、密码等访问信息。如监控对象为某数据节点的内存占用情况,访问地址为该数据节点的IP地址信息,进一步还可以确定具体的端口信息,以及可以访问该访问地址的用户ID、密码等,以便根据访问信息可以访问ES分布式搜索集群的该数据节点,得到内存占用情况的具体数据。根据访问信息,可以进一步完善配置文件,使得可以根据访问信息访问ES分布式搜索集群对应的数据节点,得到监控项目对应的数据。
在配置时,先判断监控项目的监控操作类型,如监控操作类型为添加,对应的在配置文件中添加对应的访问信息,完成监控项目的配置,以便后续可以根据访问信息访问对应的数据节点,获取监控项目的数据;如监控操作类型为删除,则对应的删除配置文件中监控项目的配置。
步骤S203,根据监控项目的属性信息,建立对应的监控数据记录存储表。
根据不同时间的监控数据可以追溯得到ES分布式搜索集群各时间段的运行状况,为方便保存监控数据,需要建立监控数据记录存储表。
监控数据记录存储表与各监控项目对应,根据监控项目的属性信息,如分析监控对象、所属ES分布式搜索集群角色信息,可以基本确定需要保存的监控数据的类型、个数等,对应的为监控数据建立监控数据记录存储表。如监控对象为某数据节点的内存占用情况,监控数据记录存储表可以包括数据节点名称、IP地址、内存占用值大小、时间等,将得到的监控数据存储在监控数据记录存储表中对应的各列。
根据不同监控项目,可以建立多个不同的监控数据记录存储表,每个监控数据记录存储表存储一个监控项目,方便可以快速的查找到监控项目的监控数据。
步骤S204,根据监控模板定时访问分布式搜索集群,获取分布式搜索集群的运行数据。
根据监控模板中所配置的各个监控项目的访问信息,可以直接的访问ES分布式搜索集群,从中获取到监控项目当前的运行数据。其中,在根据监控模板定时访问ES分布式搜索集群时,可以采用固定时间点方式,每天、每周或每月等均在该固定时间点访问ES分布式搜索集群;或采用指定时间周期方式,周期性访问ES分布式搜索集群。具体根据实施情况进行设置,此处不做限定。
由于某些监控项目的监控数据无法直接获取,还需对得到的运行数据进行运算等处理后才能得到。如ES分布式搜索集群日增访问量,需要根据昨天获取到的ES分布式搜索集群的访问量和今天获取到的ES分布式搜索集群的访问量进行计算,得到今天实际对ES分布式搜索集群的访问量,再计算今天实际对ES分布式搜索集群的访问量与昨天ES分布式搜索集群的访问量的差值,得到ES分布式搜索集群日增访问量。当ES分布式搜索集群出现重启、宕机、访问失败等情况时,可能导致今天获取到的ES分布式搜索集群的访问量不是有效数据,还需进行相应的运维处理(按照修正规则修正数据,如将昨天的运行数据作为今天的运行数据,或者将今天得到的运行数据加上昨天的运行数据作为今天有效的运行数据等),得到正确的数据。
步骤S205,对运行数据进行转换处理,得到监控项目对应的监控数据。
由于运行数据与监控数据可能不是同一数据,还需要对运行数据进行转换处理。转换处理包括运算处理、格式转换等。运算处理可以参照步骤S204的描述,格式转换与获取到的ES分布式搜索集群运行数据的格式相关,一般ES分布式搜索集群得到的运行数据的格式为json格式,如下所示:
为方便后续对监控数据的保存、查询、展示等,可以将json格式的数据直接转换为监控项目对应的监控数据。具体的,可以转换为监控项目test1的监控数据为1234,监控项目test2的监控数据为456789等。
该步骤为可选步骤,当得到的运行数据即为监控项目对应的监控数据时,可以不执行该步骤,直接执行步骤S206。
步骤S206,将监控数据保存在对应的监控数据记录存储表中。
将得到的监控数据按照当前时间保存在监控项目对应的监控数据记录存储表中。
步骤S207,接收监控数据展示页面的访问请求。
监控数据展示页面可以利用页面模板生成。页面模板中包含一个或多个监控项目。页面模板中的监控项目与指定的监控项目一致。页面模板中定义了各监控项目的展示方式、展示效果、展示位置等。不同的监控项目可以对应不同的页面模板。
根据触发的监控数据展示页面的展示,接收监控数据展示页面所包含的对具体监控项目的访问请求。
步骤S208,根据监控数据展示页面的访问请求,获取访问请求中包含的一个或多个监控项目。
步骤S209,根据监控项目,从对应的监控数据记录存储表中获取对应的监控数据。
步骤S210,将监控数据展示在监控数据展示页面中。
根据监控数据展示页面的访问请求可以得知监控数据展示页面使用的页面模板,页面模板包含了一个或多个的监控项目,从而得到访问请求中包含的一个或多个监控项目。根据监控项目,对应的从监控数据记录存储表中获取监控数据。获取的监控数据为已经保存在监控数据记录存储表中的数据。
此处,监控数据与步骤S205得到的监控数据可能存在不同。由于监控数据展示页面访问请求和根据监控模板定时访问ES分布式搜索集群的操作不是同步执行,根据监控模板定时访问ES分布式搜索集群的操作会先执行,并且运行数据进行转换处理也需要一定的时间,为使监控数据展示页面快速得到监控数据,监控数据展示页面采用从监控数据记录存储表中获取已保存的监控数据,而不是实时访问ES分布式搜索集群得到。但根据监控模板会不断地访问ES分布式搜索集群获取运行数据并转换保存,因此监控数据记录存储表中会不断保存新的监控数据,监控数据展示页面从监控数据记录存储表取得的监控数据的时间与当前时间的时差极小,可以忽略不计,可以认为监控数据展示页面得到的监控数据即当前时间访问ES分布式搜索集群得到的监控项目对应的监控数据。
根据监控数据展示页面访问请求,将对应的监控数据返回给监控数据展示页面,以供监控数据展示页面按照页面模板的设定展示监控数据。进一步,在监控数据展示页面中还设置了监控项目的监控报警阈值。如设置内存占用数据的监控报警阈值。判断监控项目对应的监控数据是否超过监控报警阈值,若是,进行报警处理。具体的,设置内存占用数据的监控报警阈值为95%,当监控数据超过95%时,可以通过监控数据展示页面重点提醒、发邮件给运维人员等方式进行报警处理,以提醒当前内存占用数据过高,可能导致ES分布式搜索集群发生故障,方便提前做好应对措施等。
根据本发明提供的分布式搜索集群监控方法,对指定监控项目的信息进行解析,根据解析得到的监控项目的属性信息,在监控模板中添加或删除对应的监控项目,完成监控模板的配置。根据监控模板定时访问分布式搜索集群,获取分布式搜索集群的运行数据。对运行数据进行相应的转换处理得到监控数据,并保存在监控数据记录存储表中。利用监控数据记录存储表可以快速得到监控数据,在监控数据展示页面中可以快速及时地展示监控项目的监控数据,方便直观的了解到分布式搜索集群的运行状况。并且,监控数据展示页面中还设置有监控项目的监控报警阈值,便于根据监控数据进行报警处理,提醒用户对可能出现的问题进行预防或及时处理等。进一步,监控项目可以包括对分布式搜索集群的访问统计,根据统计结果得到的监控数据,直接回收利用率较低的分布式搜索集群,减少资源浪费。
图3示出了根据本发明一个实施例的分布式搜索集群监控装置的功能框图。如图3所示,分布式搜索集群监控装置包括如下模块:
配置模块310适于:根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,监控模板包含一个或多个监控项目对应的配置文件。
获取模块320适于:根据监控模板访问分布式搜索集群,获取一个或多个监控项目对应的监控数据,并保存监控数据。
请求模块330适于:接收监控数据展示页面的访问请求。
展示模块340适于:根据监控数据展示页面的访问请求,获取对应的监控数据,并将监控数据展示在监控数据展示页面中。
可选地,配置模块310还包括了解析单元311。
解析单元311适于:从信息队列中读取针对分布式搜索集群所指定的一个或多个监控项目的信息,并解析得到监控项目的属性信息;属性信息包括监控操作类型、监控对象和/或所属分布式搜索集群角色信息。
可选地,配置模块310进一步适于:根据监控操作类型,在监控模板中添加或删除对应的监控项目。
可选地,配置模块310进一步适于:根据监控项目的属性信息中包含的监控对象和/或所属分布式搜索集群角色信息,确定对应的分布式搜索集群的访问信息;访问信息包括访问地址、端口信息、用户ID和/或密码;在监控模板中添加或删除监控项目的访问信息。
可选地,装置还包括:建立模块350。
建立模块350适于:根据监控项目的属性信息,建立对应的监控数据记录存储表。
可选地,获取模块320进一步适于:根据监控模板定时访问分布式搜索集群,获取分布式搜索集群的运行数据;对运行数据进行转换处理,得到监控项目对应的监控数据;将监控数据保存在对应的监控数据记录存储表中。
可选地,展示模块340进一步适于:根据监控数据展示页面的访问请求,获取访问请求中包含的一个或多个监控项目;根据监控项目,从对应的监控数据记录存储表中获取对应的监控数据;将监控数据展示在监控数据展示页面中。
可选地,装置还包括:报警模块360。
报警模块360适于:设置监控项目的监控报警阈值;判断监控项目对应的监控数据是否超过监控报警阈值;若是,进行报警处理。
以上各模块的描述见方法实施例中各步骤对应的描述,在此不再赘述。
根据本发明提供的分布式搜索集群监控装置,根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,监控模板包含一个或多个监控项目对应的配置文件;根据监控模板访问分布式搜索集群,获取一个或多个监控项目对应的监控数据,并保存监控数据;接收监控数据展示页面的访问请求;根据监控数据展示页面的访问请求,获取对应的监控数据,并将监控数据展示在监控数据展示页面中。针对分布式搜索集群,根据业务需求或运维需求,指定需要监控的项目。本发明针对监控项目的信息配置对应的监控模板,访问分布式搜索集群获取到对应的监控数据。在监控数据展示页面将监控数据进行展示,可以清楚的了解到分布式搜索集群的具体运行状态,可以监控分布式搜索集群正常运行或进行问题预警,还可以在出现问题时及时提供解决问题的依据。
本申请还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的ES分布式搜索集群监控方法。
图4示出了根据本发明一个实施例的一种计算设备的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图4所示,该计算设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402,用于执行程序410,具体可以执行上述ES分布式搜索集群监控方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行上述任意方法实施例中的ES分布式搜索集群监控方法。程序410中各步骤的具体实现可以参见上述ES分布式搜索集群监控实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的ES分布式搜索集群监控装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了:A1.一种分布式搜索集群监控方法,包括:
根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,所述监控模板包含一个或多个监控项目对应的配置文件;
根据所述监控模板访问分布式搜索集群,获取所述一个或多个监控项目对应的监控数据,并保存所述监控数据;
接收监控数据展示页面的访问请求;
根据所述监控数据展示页面的访问请求,获取对应的监控数据,并将所述监控数据展示在监控数据展示页面中。
A2.根据A1所述的方法,其中,所述根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板进一步包括:
从信息队列中读取针对分布式搜索集群所指定的一个或多个监控项目的信息,并解析得到监控项目的属性信息;所述属性信息包括监控操作类型、监控对象和/或所属分布式搜索集群角色信息;
根据所述监控操作类型,在监控模板中添加或删除对应的监控项目。
A3.根据A2所述的方法,其中,所述根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板进一步包括:
根据所述监控项目的属性信息中包含的监控对象和/或所属分布式搜索集群角色信息,确定对应的分布式搜索集群的访问信息;所述访问信息包括访问地址、端口信息、用户ID和/或密码;
在所述监控模板中添加或删除所述监控项目的所述访问信息。
A4.根据A2所述的方法,还包括:
根据所述监控项目的属性信息,建立对应的监控数据记录存储表。
A5.根据A4所述的方法,其中,所述根据所述监控模板访问分布式搜索集群,获取所述监控项目对应的监控数据,并保存所述监控数据进一步包括:
根据所述监控模板定时访问分布式搜索集群,获取分布式搜索集群的运行数据;
对所述运行数据进行转换处理,得到监控项目对应的监控数据;
将所述监控数据保存在对应的监控数据记录存储表中。
A6.根据A1-A5中任一项的方法,其中,所述监控数据展示页面利用页面模板生成;其中,所述页面模板中包含一个或多个监控项目。
A7.根据A6所述的方法,其中,所述根据所述监控数据展示页面的访问请求,获取对应的监控数据,并将所述监控数据展示在监控数据展示页面中进一步包括:
根据所述监控数据展示页面的访问请求,获取所述访问请求中包含的一个或多个监控项目;
根据所述监控项目,从对应的监控数据记录存储表中获取对应的监控数据;
将所述监控数据展示在监控数据展示页面中。
A8.根据A1-A7中任一项所述的方法,还包括:
设置监控项目的监控报警阈值;
判断监控项目对应的监控数据是否超过所述监控报警阈值;
若是,进行报警处理。
本发明还公开了:B9.一种分布式搜索集群监控装置,包括:
配置模块,适于根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,所述监控模板包含一个或多个监控项目对应的配置文件;
获取模块,适于根据所述监控模板访问分布式搜索集群,获取所述一个或多个监控项目对应的监控数据,并保存所述监控数据;
请求模块,适于接收监控数据展示页面的访问请求;
展示模块,适于根据所述监控数据展示页面的访问请求,获取对应的监控数据,并将所述监控数据展示在监控数据展示页面中。
B10.根据B9所述的装置,其中,所述配置模块还包括:
解析单元,适于从信息队列中读取针对分布式搜索集群所指定的一个或多个监控项目的信息,并解析得到监控项目的属性信息;所述属性信息包括监控操作类型、监控对象和/或所属分布式搜索集群角色信息;
所述配置模块进一步适于:根据所述监控操作类型,在监控模板中添加或删除对应的监控项目。
B11.根据B10所述的装置,其中,所述配置模块进一步适于:
根据所述监控项目的属性信息中包含的监控对象和/或所属分布式搜索集群角色信息,确定对应的分布式搜索集群的访问信息;所述访问信息包括访问地址、端口信息、用户ID和/或密码;在所述监控模板中添加或删除所述监控项目的所述访问信息。
B12.根据B10所述的装置,其中,所述装置还包括:
建立模块,适于根据所述监控项目的属性信息,建立对应的监控数据记录存储表。
B13.根据B12所述的装置,其中,所述获取模块进一步适于:
根据所述监控模板定时访问分布式搜索集群,获取分布式搜索集群的运行数据;对所述运行数据进行转换处理,得到监控项目对应的监控数据;将所述监控数据保存在对应的监控数据记录存储表中。
B14.根据B9-B13任一项所述的装置,其中,所述监控数据展示页面利用页面模板生成;其中,所述页面模板中包含一个或多个监控项目。
B15.根据B14所述的装置,其中,所述展示模块进一步适于:
根据所述监控数据展示页面的访问请求,获取所述访问请求中包含的一个或多个监控项目;根据所述监控项目,从对应的监控数据记录存储表中获取对应的监控数据;将所述监控数据展示在监控数据展示页面中。
B16.根据B15所述的装置,其中,所述装置还包括:
报警模块,适于设置监控项目的监控报警阈值;判断监控项目对应的监控数据是否超过所述监控报警阈值;若是,进行报警处理。
本发明还公开了:C17.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如A1-A8中任一项所述的分布式搜索集群监控方法对应的操作。
本发明还公开了:D18.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如A1-A8中任一项所述的分布式搜索集群监控方法对应的操作。

Claims (10)

1.一种分布式搜索集群监控方法,包括:
根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,所述监控模板包含一个或多个监控项目对应的配置文件;
根据所述监控模板访问分布式搜索集群,获取所述一个或多个监控项目对应的监控数据,并保存所述监控数据;
接收监控数据展示页面的访问请求;
根据所述监控数据展示页面的访问请求,获取对应的监控数据,并将所述监控数据展示在监控数据展示页面中。
2.根据权利要求1所述的方法,其中,所述根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板进一步包括:
从信息队列中读取针对分布式搜索集群所指定的一个或多个监控项目的信息,并解析得到监控项目的属性信息;所述属性信息包括监控操作类型、监控对象和/或所属分布式搜索集群角色信息;
根据所述监控操作类型,在监控模板中添加或删除对应的监控项目。
3.根据权利要求2所述的方法,其中,所述根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板进一步包括:
根据所述监控项目的属性信息中包含的监控对象和/或所属分布式搜索集群角色信息,确定对应的分布式搜索集群的访问信息;所述访问信息包括访问地址、端口信息、用户ID和/或密码;
在所述监控模板中添加或删除所述监控项目的所述访问信息。
4.根据权利要求2所述的方法,还包括:
根据所述监控项目的属性信息,建立对应的监控数据记录存储表。
5.根据权利要求4所述的方法,其中,所述根据所述监控模板访问分布式搜索集群,获取所述监控项目对应的监控数据,并保存所述监控数据进一步包括:
根据所述监控模板定时访问分布式搜索集群,获取分布式搜索集群的运行数据;
对所述运行数据进行转换处理,得到监控项目对应的监控数据;
将所述监控数据保存在对应的监控数据记录存储表中。
6.根据权利要求1-5中任一项的方法,其中,所述监控数据展示页面利用页面模板生成;其中,所述页面模板中包含一个或多个监控项目。
7.根据权利要求6所述的方法,其中,所述根据所述监控数据展示页面的访问请求,获取对应的监控数据,并将所述监控数据展示在监控数据展示页面中进一步包括:
根据所述监控数据展示页面的访问请求,获取所述访问请求中包含的一个或多个监控项目;
根据所述监控项目,从对应的监控数据记录存储表中获取对应的监控数据;
将所述监控数据展示在监控数据展示页面中。
8.一种分布式搜索集群监控装置,包括:
配置模块,适于根据针对分布式搜索集群所指定的一个或多个监控项目的信息,配置监控模板;其中,所述监控模板包含一个或多个监控项目对应的配置文件;
获取模块,适于根据所述监控模板访问分布式搜索集群,获取所述一个或多个监控项目对应的监控数据,并保存所述监控数据;
请求模块,适于接收监控数据展示页面的访问请求;
展示模块,适于根据所述监控数据展示页面的访问请求,获取对应的监控数据,并将所述监控数据展示在监控数据展示页面中。
9.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的分布式搜索集群监控方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的分布式搜索集群监控方法对应的操作。
CN201810698162.5A 2018-06-29 2018-06-29 分布式搜索集群监控方法及装置、计算设备、存储介质 Pending CN108768790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810698162.5A CN108768790A (zh) 2018-06-29 2018-06-29 分布式搜索集群监控方法及装置、计算设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810698162.5A CN108768790A (zh) 2018-06-29 2018-06-29 分布式搜索集群监控方法及装置、计算设备、存储介质

Publications (1)

Publication Number Publication Date
CN108768790A true CN108768790A (zh) 2018-11-06

Family

ID=63975133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810698162.5A Pending CN108768790A (zh) 2018-06-29 2018-06-29 分布式搜索集群监控方法及装置、计算设备、存储介质

Country Status (1)

Country Link
CN (1) CN108768790A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451066A (zh) * 2018-12-27 2019-03-08 郑州云海信息技术有限公司 一种集群监控管理方法、系统以及计算机可读存储介质
CN111124808A (zh) * 2019-11-29 2020-05-08 北京浪潮数据技术有限公司 一种分布式存储监控方法、系统、设备及计算机存储介质
CN111159524A (zh) * 2019-12-30 2020-05-15 北京同邦卓益科技有限公司 监控方法和系统,及存储介质
CN111581219A (zh) * 2020-05-14 2020-08-25 中国银行股份有限公司 监控数据获取方法及装置
CN111726388A (zh) * 2019-03-22 2020-09-29 苏宁易购集团股份有限公司 一种跨集群高可用的实现方法、装置、系统及设备
CN116431430A (zh) * 2023-03-01 2023-07-14 合芯科技有限公司 一种对Zookeeper集群监控分析系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867494A (zh) * 2010-06-18 2010-10-20 北京神州泰岳软件股份有限公司 基于监控模板的软硬件性能监控方法及系统
CN105912443A (zh) * 2016-04-12 2016-08-31 乐视控股(北京)有限公司 一种获取用户自定义监控指标数据的方法及系统
CN106383776A (zh) * 2016-08-30 2017-02-08 北京北信源软件股份有限公司 一种分布式搜索集群系统的监控及自愈方法、装置
CN107491371A (zh) * 2016-06-13 2017-12-19 阿里巴巴集团控股有限公司 一种监控部署的方法以及装置
CN107888437A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 云监控方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867494A (zh) * 2010-06-18 2010-10-20 北京神州泰岳软件股份有限公司 基于监控模板的软硬件性能监控方法及系统
CN105912443A (zh) * 2016-04-12 2016-08-31 乐视控股(北京)有限公司 一种获取用户自定义监控指标数据的方法及系统
CN107491371A (zh) * 2016-06-13 2017-12-19 阿里巴巴集团控股有限公司 一种监控部署的方法以及装置
CN106383776A (zh) * 2016-08-30 2017-02-08 北京北信源软件股份有限公司 一种分布式搜索集群系统的监控及自愈方法、装置
CN107888437A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 云监控方法及设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451066A (zh) * 2018-12-27 2019-03-08 郑州云海信息技术有限公司 一种集群监控管理方法、系统以及计算机可读存储介质
CN111726388A (zh) * 2019-03-22 2020-09-29 苏宁易购集团股份有限公司 一种跨集群高可用的实现方法、装置、系统及设备
CN111124808A (zh) * 2019-11-29 2020-05-08 北京浪潮数据技术有限公司 一种分布式存储监控方法、系统、设备及计算机存储介质
CN111159524A (zh) * 2019-12-30 2020-05-15 北京同邦卓益科技有限公司 监控方法和系统,及存储介质
CN111581219A (zh) * 2020-05-14 2020-08-25 中国银行股份有限公司 监控数据获取方法及装置
CN111581219B (zh) * 2020-05-14 2024-02-23 中国银行股份有限公司 监控数据获取方法及装置
CN116431430A (zh) * 2023-03-01 2023-07-14 合芯科技有限公司 一种对Zookeeper集群监控分析系统及方法

Similar Documents

Publication Publication Date Title
CN108768790A (zh) 分布式搜索集群监控方法及装置、计算设备、存储介质
US11405301B1 (en) Service analyzer interface with composite machine scores
US20200160297A1 (en) Tracking processed machine data
US11314733B2 (en) Identification of relevant data events by use of clustering
US10698777B2 (en) High availability scheduler for scheduling map-reduce searches based on a leader state
CN103513983B (zh) 用于预测性警报阈值确定工具的方法和系统
US10162892B2 (en) Identifying information assets within an enterprise using a semantic graph created using feedback re-enforced search and navigation
CN111209352B (zh) 一种数据处理方法、装置、电子设备及存储介质
WO2019153111A1 (en) Intermittent failure metrics in technological processes
CN108733532B (zh) 大数据平台的健康度管控方法、装置、介质及电子设备
CN105183625A (zh) 一种日志数据处理方法和装置
Henning et al. A scalable architecture for power consumption monitoring in industrial production environments
US10528456B2 (en) Determining idle testing periods
US20170201606A1 (en) Automatically adjusting timestamps from remote systems based on time zone differences
KR102025210B1 (ko) 큐 모니터링 및 시각화
Balliu et al. A big data analyzer for large trace logs
CN113220530B (zh) 数据质量监控方法及平台
CN116743790A (zh) 设备数据采集、设备数据分析方法、装置和计算机设备
Henning Prototype of a scalable monitoring infrastructure for Industrial DevOps
US10558647B1 (en) High performance data aggregations
Plaza-Martín et al. Analyzing network log files using big data techniques
CN117539948B (zh) 基于深度神经网络的业务数据检索方法及装置
CN113553320B (zh) 数据质量监控方法及装置
CN110908641B (zh) 基于可视化的流计算平台、方法、设备和存储介质
CN115964369A (zh) 一种铝工业数据补充采集方法、装置、介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106

RJ01 Rejection of invention patent application after publication