CN114138720A - 日志处理方法、装置、电子装置和存储介质 - Google Patents
日志处理方法、装置、电子装置和存储介质 Download PDFInfo
- Publication number
- CN114138720A CN114138720A CN202111426493.1A CN202111426493A CN114138720A CN 114138720 A CN114138720 A CN 114138720A CN 202111426493 A CN202111426493 A CN 202111426493A CN 114138720 A CN114138720 A CN 114138720A
- Authority
- CN
- China
- Prior art keywords
- log
- target data
- processing method
- data
- log processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 230000004044 response Effects 0.000 claims description 22
- 230000006399 behavior Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 abstract description 16
- 238000004458 analytical method Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000013024 troubleshooting Methods 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000010223 real-time analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种日志处理方法、装置、电子装置和存储介质,其中,该日志处理方法,应用于分布式系统包括:获取多个服务器的日志信息;根据预设类别对所述日志信息进行分类,得到分类数据,所述预设类别至少包括操作对象、操作行为和操作权限中的一种;对所述分类数据添加类别标签,得到目标数据。通过本申请,解决了分布式系统的海量日志分析效率低的问题,提高了分布式系统的日志处理效率。
Description
技术领域
本申请涉及数据处理领域,特别是涉及日志处理方法、装置、电子装置和存储介质。
背景技术
在分布式系统下,海量日志的分析处理显得尤为重要,由于涉及到日志的分布式收集、海量存储、到实时分析计算以及最后的展示,是一项繁琐的系统工程。
在相关技术中,各个系统的服务日志散落在不同地方或将原始日志数据不进行处理直接送到日志管理中心,排查问题的难度很大,因此,如何快速有效地找到需要的信息变的尤为关键。
针对相关技术中存在分布式系统的海量日志分析效率低的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种日志处理方法、装置、电子装置和存储介质,以解决相关技术中分布式系统的海量日志分析效率低的问题。
第一个方面,在本实施例中提供了一种日志处理方法,应用于分布式系统,包括:
获取多个服务器的日志信息;
根据预设类别对所述日志信息进行分类,得到分类数据,所述预设类别至少包括操作对象、操作行为和操作权限中的一种;
对所述分类数据添加类别标签,得到目标数据。
在其中的一个实施例中,所述类别标签为预定义注解。
在其中的一个实施例中,所述对所述分类数据添加类别标签,得到目标数据之后包括:将所述类别标签相同的所述目标数据存储至相同存储位置。
在其中的一个实施例中,所述对所述分类数据添加类别标签,得到目标数据之后包括:获取日志查询请求;基于所述日志查询请求获取参数信息,所述参数信息至少包括设备编号;将所述参数信息与响应所述日志查询请求的所述目标数据存储至相同存储位置。
在其中的一个实施例中,所述将所述参数信息与响应所述日志查询请求的所述目标数据存储至相同存储位置之后包括:根据所述参数信息以及响应所述日志查询请求的所述目标数据,确定所述参数信息对应设备的设备运行状态,所述设备运行状态包括故障状态和正常状态。
在其中的一个实施例中,所述对所述分类数据添加类别标签,得到目标数据之后还包括:基于目标数据获取设备温度参数;若所述设备温度参数达到报警阈值,则进行报警并存储报警记录。
在其中的一个实施例中,所述对所述分类数据添加类别标签,得到目标数据之后还包括;获取系统资源使用率;若所述系统资源使用率大于或等于第一阈值时,增加系统服务器资源;若所述系统资源使用率小于第二阈值时,降低系统服务器资源;所述第一阈值大于所述第二阈值。
第二个方面,在本实施例中提供了一种日志处理装置,包括:
获取模块,用于获取多个服务器的日志信息;
分类模块,用于根据预设类别对所述日志信息进行分类,得到分类数据,所述预设类别至少包括操作对象、操作行为和操作权限中的一种;
处理模块,用于对所述分类数据添加类别标签,得到目标数据。
第三个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的日志处理方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的日志处理方法。
与相关技术相比,在本实施例中提供的日志处理方法,通过获取多个服务器的日志信息;根据预设类别对所述日志信息进行分类,得到分类数据,所述预设类别至少包括操作对象、操作行为和操作权限中的一种;对所述分类数据添加类别标签,得到目标数据,解决了分布式系统的海量日志分析效率低的问题,提高了分布式系统的日志处理效率。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的日志处理方法的终端的硬件结构框图;
图2是根据本申请实施例的日志处理方法的流程图;
图3是根据本申请实施例的日志处理装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是根据本申请实施例的日志处理方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的日志处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
随着互联网时代数据规模的爆发式增长,传统的单机系统在性能和可用性上已经无法胜任,分布式应用和服务化应用开始走进大家的视野,在分布式系统下,对海量日志的分析处理显得尤为重要,其涉及到日志的分布式手机、海量存储、到实时分析计算以及最后的展示等多个环节,是一项繁琐的系统工程。日志分散在各个应用服务节点中,出现问题不方便及时排查,尤其是服务化的应用中,分析问题时可能需要查看多个日志文件才能定位问题,如果相关项目不是一个团队维护时沟通成本更是直线上升。现有技术中,各个系统的服务日志散落在不同地方或将原始日志数据不进行处理直接送到日志管理中心,排查问题难度很大,如何快速有效地找到需要的信息变得尤为关键。
在本实施例中提供了一种日志处理方法,图2是根据本申请实施例的日志处理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,获取多个服务器的日志信息。
具体的,由于本申请实施例的日志处理方法应用于分布式系统,因此,获取的是异地的多个服务器的日志信息。日志系统通常包括三个部分,采集器、解析器和存储器。采集器通常部署在各个应用结点中。采集器用以监控本地文件的变化,对于新产生的日志变化,采集器实时收集并发送至对应的解析器,常见的采集器有flume、Logstash、fluentd以及更轻量级的fluent-bit等。在本申请实施例的日志处理方法中,使用Filebeat轻量级工具进行日志采集,并将采集的数据输出到目标机器上进行进一步处理。Filebeat是用于转发和集中日志数据的轻量级日志采集器。它可以监视指定的日志文件或位置,收集日志时间,并将其转发到Elasticsearch或Logstash进行索引。采集日志包括但不限于系统组态记录、报表维护记录、用户修改权限等用户审计类日志。
步骤S202,根据预设类别对所述日志信息进行分类,得到分类数据,所述预设类别至少包括操作对象、操作行为和操作权限中的一种。
具体的,各服务器不需要集成SDK,即不需要集成软件开发工具包,只需将采集器采集到的日志信息按照预设的模板格式,将各自服务器产生的日志存放到固定的路径下,剩下的任务由日志管理功能完成即可。模板格式可使用管道符对重要内容进行分割处理,例如对操作行为数据进行分割处理。该重要内容包括但不限于日志时间、日志级别、日志类型、操作结果、操作用户和操作表述等。
步骤S203,对所述分类数据添加类别标签,得到目标数据。
具体地,在日志信息中的重要内容进行分割之后,可以基于该内容添加类型标识,例如类型标识的格式可以是对象和行为、对象和权限等,类型标识还可以是用户重要操作如用户报警确定、报警搁置等。通过类型标识对日志重要内容进行细粒度划分,然后将类型标识和日志内容存储到日志文件中。例如,对角色赋予新增用户的权限,可在对应方法体上增加自定义注解,如@Log(content=“新增用户”),如根据对象及行为对此进行细粒度划分,可搭配管道符对功能进行增强,@Log(content=“新增|用户”),此注解可将当前操作用户、用户行为等记录至日志文件中。对于不同类型的日志信息如系统组态记录、报表维护记录、用户修改权限等审计类日志可输出到同一日志文件或不同日志文件中。日志系统可根据日志文件名称进行统一分类处理。
通过上述步骤,本申请解决了现有技术中,将散落在不同服务器中的原始日志数据不加处理直接传送至日志管理中心导致的日志数据繁冗混乱的问题,通过将重点日志内容进行分割并对其添加注解,将日志数据按照模板格式输出到日志文件中,实现了日志数据的分类存储,提高了日志管理功能的日志分类和查询效率。
在其中的一个实施例中,所述根据预设类别对所述日志信息进行分类,得到分类数据包括:获取日志存储模板,所述预设类别记录于所述日志存储模板中;根据所述日志存储模板对所述日志信息进行分类,得到分类数据。具体地,预设类别可通过管道符进行设置。优选的,可以配置多种日志存储模板,每种日志存储模板根据业务需要,记载一种或多种日志信息的类型及其判断规则。通过日志存储模板,可将指定类型的重要日志内容截取并归类存储。管道符又称管道操作符。使用管道符“|”可以把一个命令的标准输出传送到另一个命令的标准输入中,连续的“|”意味着第一个命令的输出为第二个命令的输入,第二个命令的输入为第一个命令的输出。
在其中的一个实施例中,所述类别标签为预定义注解。具体的,预定义注解可根据实际业务需求进行自定义配置。在其中的一个实施例中,可在预置的模板格式中进行设置,当读取到指定的日志内容时,该内容后添加预置的注解,以提高日志数据的可读性。例如,对角色赋予新增用户的权限,可在对应方法体上增加自定义注解,如@Log(content=“新增用户”),如根据对象及行为对此进行细粒度划分,可搭配管道符对功能进行增强,@Log(content=“新增|用户”),此注解可将当前操作用户、用户行为等记录至日志文件中。
在其中的一个实施例中,所述对所述分类数据添加类别标签,得到目标数据之后包括:将所述类别标签相同的所述目标数据存储至相同日志文件。优选的,还可设置关联规则,将日志信息相关的一种或多种目标数据也存储至相同的日志文件。例如,对于不同类型的日志信息如系统组态记录、报表维护记录、用户修改权限,这些日志信息虽然其类型不同,但都属于审计类日志,也可以将其输出到同一日志文件中。
在其中的一个实施例中,日志数据存储至日志文件之后,将日志文件文件通过Logstash按照既有规则对日志进行实时解析即数据转换,最终输出到数据库进行存储。其中可根据日志名称或日志产生时间进行不同的分库分表操作,提升存储性能,增加可用性。Logstash是一种分布式日志收集框架,经常与Elasticsearch和Kibana一同配置,组成著名的ELK技术栈,非常适用于日志分析业务。Logstash主要是用来进行日志搜集、分析、过滤的工具,支持较大数量级的数据获取方式。在单系统的日志分析场景中,直接在当前服务器的日志文件中就可以获得需要的信息。但在规模较大的场景中,往往采用的是分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,现有技术中,常常通过ELK技术栈进行日志分析处理。
在其中的一个实施例中,所述对所述分类数据添加类别标签,得到目标数据之后包括:获取日志查询请求;基于所述日志查询请求获取参数信息,所述参数信息至少包括设备编号;将所述参数信息与响应所述日志查询请求的所述目标数据存储至相同存储位置。
具体地,日志数据存储至数据库之后,在进行日志查询时,可在网关服务增加过滤器,当在请求进入时,对请求进行拦截,获取该请求中包含的参数信息。在请求的结果返回时,再次拦截该请求,获取相应的响应体,根据响应码判断请求是否成功。将该请求的参数信息进行统一封装,通过调用日志系统对外客户端提供的API,存储至数据库。以常用的HTTP请求为例,HTTP请求报文一般由三部分组成,包括请求行、请求头和请求体;其中,请求体中存在着多个请求参数的数据。与之相对应的,HTTP响应报文也由三部分组成,包括响应行、响应头和响应体;其中,响应行中包括报文协议及版本和状态码及描述,状态码就是响应码;响应体是服务器返回给客户端的文本信息,在本申请中,也是服务器响应请求返回的相关日志数据。响应码与特定的响应状态是相对应的。根据响应码即可判断请求是否成功。同样以HTTP状态码为例,HTT状态是用以标识网页服务器超文本传输协议响应状态的三位数字代码,如:响应码200表示找到了目标资源,并且一切正常。响应码302/307表示临时重定向,说明请求的文档已被临时移动到别处。响应码401表示客户端无权访问该资源。这通常会使得当前程序要求用户输入用户名和密码,以登录到服务器。响应码403表示客户端未能获得授权,这通常出现在401之后输入了不正确的用户名或密码。响应码404表示在指定的位置不存在所申请的资源。
在工业自动化领域,位号通常用中英文及数字的组合,用以表示某个设备。
本申请实施例中的参数信息包括但不限于查询请求中携带的设备位号新旧值,该设备位号的新旧值包括记录位号的旧值和即将写入的新值。在实际数据处理过程中。如果各种类型的日志写入都增加实体,代码会出现冗余。在数据库处理领域,实体是指某类事物的集合,通常把每一类数据对象的个体称为实体。
本申请实施例对参数进行统一封装步骤包括:定义统一的实体进行统一管理。所有类型的日志都会使用统一的实体类接收参数,统一管理。
在其中的一个实施例中,所述将所述参数信息与响应所述日志查询请求的所述目标数据存储至相同存储位置之后包括:根据所述参数信息以及响应所述日志查询请求的所述目标数据,确定所述参数信息对应设备的设备运行状态,所述设备运行状态包括故障状态和正常状态。具体地,在日志的可视化显示阶段,监控界面可调用日志系统查询API,进行日志数据的统一展示。API,全称是Application Programming Interface,意为应用程序接口。API通常是一些预先定义的接口,用来提供应用程序与开发人员基于某软件或硬件得以访问的一组例程,而又无需访问源码,或理解内部工作机制的细节。用户在通过监控界面进行日志的查询交互时,可通过日志类型、日志时间、日志级别、日志类别、操作结果、操作用户、操作描述等字段进行个性化日志查询。比如输入一个位号信息,可以将分布式系统各模块中此位号活动轨迹集中展示,比如可以展示位号趋势、位号报表等活动。
在分布式系统下,每发生一个问题,排查问题难度很大,使用此日志系统可以查询某一操作在整个系统中的业务流转及生命周期,将所有调用链路进行统一展示输出,可以极大提高问题的排查效率。
在日志的分析过程中,依据用户的操作行为或设备事件的发生频率,能够对系统的风险进行提前预测与规避。日志系统针对日志的输出进行分析处理,对于系统重要项进行监控,在设备的状态值达到阈值范围后触发不同等级的报警通知,客户端的监控界面可根据日志数据绘制报警面板及流量趋势,实现可视化的效果。用户可以在此基础上进一步对事件发生频率、用户操作行为进行分析,从而预测系统的健康运行状况,同时依此制定维护计划、执行工作计划等。
通过上述步骤,本申请实施例的日志处理方法,通过在日志请求进入时,获取参数信息,对参数进行统一封装,解决了分布式系统架构下问题难以排查,数据无法统一展示与分析的痛点,使用此日志系统可以查询某一操作在整个系统中的业务流转及生命周期,将所有调用链路进行统一展示输出,极大提高问题的排查效率。
在其中的一个实施例中,所述对所述分类数据添加类别标签,得到目标数据之后还包括:基于目标数据获取设备温度参数;若所述设备温度参数达到报警阈值,则进行报警并存储报警记录。具体地,设备及系统参数达到报警阈值时,如;温度位号超过报警阈值。通过报警计算服务产生报警,日志系统通过监听服务端口,拦截数据流进行处理,将可用数据存储至数据库。报警的产生和消除进行日志记录。通过日志系统针对日志的输出进行分析处理,对于系统重要项进行监控,实现了及时报警通知。
在其中的一个实施例中,所述对所述分类数据添加类别标签,得到目标数据之后还包括;获取系统资源使用率;若所述系统资源使用率大于或等于第一阈值时,增加系统服务器资源;若所述系统资源使用率小于第二阈值时,降低系统服务器资源;所述第一阈值大于所述第二阈值。
具体地,使用日志系统插件对系统资源进行监测,包括获取系统级的CPU使用率、内存、文件系统、磁盘IO和网路IO统计数据,通过日志分析当前系统资源使用率。可以根据系统的资源使用率,动态对系统进行扩容或缩容:当使用率过高时,例如系统资源使用率超过第一阈值时,可以在不停机情况下增加系统服务器;当系统资源消耗过低时,例如系统资源使用率超过第二阈值时,可以在不停机情况下,直接下线若干台服务器。还可通过裁剪消耗资源的插件,降低系统的资源消耗,如部署服务器内存资源有限,可视具体资源使用情况决定是否使用Logstash插件。其中,第一阈值和第二阈值的数值可根据实际业务需求进行动态调整。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中还提供了一种日志处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本申请实施例的日志处理装置的结构框图,如图3所示,该装置包括:
获取模块10,用于获取多个服务器的日志信息;
分类模块20,用于根据预设类别对所述日志信息进行分类,得到分类数据,所述预设类别至少包括操作对象、操作行为和操作权限中的一种;
处理模块30,用于对所述分类数据添加类别标签,得到目标数据。
处理模块30,还用于获取预定义注解,所述类别标签为预定义注解。
处理模块30,还用于获取日志查询请求;基于所述日志查询请求获取参数信息,所述参数信息至少包括设备编号;将所述参数信息与响应所述日志查询请求的所述目标数据存储至相同存储位置。
处理模块30,还用于根据所述参数信息以及响应所述日志查询请求的所述目标数据,确定所述参数信息对应设备的设备运行状态,所述设备运行状态包括故障状态和正常状态。
处理模块30,还用于基于目标数据获取设备温度参数;若所述设备温度参数达到报警阈值,则进行报警并存储报警记录。
处理模块30,还用于获取系统资源使用率;若所述系统资源使用率大于或等于第一阈值时,增加系统服务器资源;若所述系统资源使用率小于第二阈值时,降低系统服务器资源;所述第一阈值大于所述第二阈值。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取多个服务器的日志信息。
S2,根据预设类别对所述日志信息进行分类,得到分类数据,所述预设类别至少包括操作对象、操作行为和操作权限中的一种。
S3,对所述分类数据添加类别标签,得到目标数据。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的日志处理方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种日志处理方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种日志处理方法,应用于分布式系统,其特征在于,包括:
获取多个服务器的日志信息;
根据预设类别对所述日志信息进行分类,得到分类数据,所述预设类别至少包括操作对象、操作行为和操作权限中的一种;
对所述分类数据添加类别标签,得到目标数据。
2.根据权利要求1所述的日志处理方法,其特征在于,所述类别标签为预定义注解。
3.根据权利要求1所述的日志处理方法,其特征在于,所述对所述分类数据添加类别标签,得到目标数据之后包括:
将所述类别标签相同的所述目标数据存储至相同存储位置。
4.根据权利要求1所述的日志处理方法,其特征在于,所述对所述分类数据添加类别标签,得到目标数据之后包括:
获取日志查询请求;
基于所述日志查询请求获取参数信息,所述参数信息至少包括设备编号;
将所述参数信息与响应所述日志查询请求的所述目标数据存储至相同存储位置。
5.根据权利要求4所述的日志处理方法,其特征在于,所述将所述参数信息与响应所述日志查询请求的所述目标数据存储至相同存储位置之后包括:
根据所述参数信息以及响应所述日志查询请求的所述目标数据,确定所述参数信息对应设备的设备运行状态,所述设备运行状态包括故障状态和正常状态。
6.根据权利要求1所述的日志处理方法,其特征在于,所述对所述分类数据添加类别标签,得到目标数据之后还包括:
基于目标数据获取设备温度参数;
若所述设备温度参数达到报警阈值,则进行报警并存储报警记录。
7.根据权利要求1所述的日志处理方法,其特征在于,所述对所述分类数据添加类别标签,得到目标数据之后还包括;
获取系统资源使用率;
若所述系统资源使用率大于或等于第一阈值时,增加系统服务器资源;
若所述系统资源使用率小于第二阈值时,降低系统服务器资源;
所述第一阈值大于所述第二阈值。
8.一种日志处理装置,其特征在于,包括:
获取模块,用于获取多个服务器的日志信息;
分类模块,用于根据预设类别对所述日志信息进行分类,得到分类数据,所述预设类别至少包括操作对象、操作行为和操作权限中的一种;
处理模块,用于对所述分类数据添加类别标签,得到目标数据。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的日志处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的日志处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111426493.1A CN114138720A (zh) | 2021-11-27 | 2021-11-27 | 日志处理方法、装置、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111426493.1A CN114138720A (zh) | 2021-11-27 | 2021-11-27 | 日志处理方法、装置、电子装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114138720A true CN114138720A (zh) | 2022-03-04 |
Family
ID=80388278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111426493.1A Pending CN114138720A (zh) | 2021-11-27 | 2021-11-27 | 日志处理方法、装置、电子装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114138720A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114896212A (zh) * | 2022-04-07 | 2022-08-12 | 支付宝(杭州)信息技术有限公司 | 日志数据分析方法、装置、存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106936859A (zh) * | 2015-12-29 | 2017-07-07 | 研祥智能科技股份有限公司 | 一种云服务器策略部署系统及方法 |
CN108322345A (zh) * | 2018-02-07 | 2018-07-24 | 平安科技(深圳)有限公司 | 一种故障修复数据包的发布方法及服务器 |
CN111708749A (zh) * | 2020-07-24 | 2020-09-25 | 深圳市富之富信息科技有限公司 | 操作日志记录方法、装置、计算机设备及存储介质 |
CN112799869A (zh) * | 2021-02-19 | 2021-05-14 | 上海中通吉网络技术有限公司 | 跨业务域故障问题分析定位方法、装置、设备和存储介质 |
-
2021
- 2021-11-27 CN CN202111426493.1A patent/CN114138720A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106936859A (zh) * | 2015-12-29 | 2017-07-07 | 研祥智能科技股份有限公司 | 一种云服务器策略部署系统及方法 |
CN108322345A (zh) * | 2018-02-07 | 2018-07-24 | 平安科技(深圳)有限公司 | 一种故障修复数据包的发布方法及服务器 |
CN111708749A (zh) * | 2020-07-24 | 2020-09-25 | 深圳市富之富信息科技有限公司 | 操作日志记录方法、装置、计算机设备及存储介质 |
CN112799869A (zh) * | 2021-02-19 | 2021-05-14 | 上海中通吉网络技术有限公司 | 跨业务域故障问题分析定位方法、装置、设备和存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114896212A (zh) * | 2022-04-07 | 2022-08-12 | 支付宝(杭州)信息技术有限公司 | 日志数据分析方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9419917B2 (en) | System and method of semantically modelling and monitoring applications and software architecture hosted by an IaaS provider | |
US10116534B2 (en) | Systems and methods for WebSphere MQ performance metrics analysis | |
WO2021169268A1 (zh) | 数据处理方法、装置、设备和存储介质 | |
CN106571960B (zh) | 日志收集管理系统及方法 | |
CN112311617A (zh) | 一种配置化数据监控告警方法及系统 | |
CN114500250A (zh) | 一种云模式下体系联动的综合运维系统及方法 | |
CN110995497A (zh) | 一种云计算环境下统一运维的方法、终端设备及存储介质 | |
CN108573029B (zh) | 一种获取网络访问关系数据的方法、装置及存储介质 | |
CN112306700A (zh) | 一种异常rpc请求的诊断方法和装置 | |
CN112865311B (zh) | 一种电力系统消息总线监视方法和装置 | |
Sanjappa et al. | Analysis of logs by using logstash | |
CN113806191A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
Weng et al. | Kmon: An in-kernel transparent monitoring system for microservice systems with ebpf | |
CN113760652A (zh) | 基于应用的全链路监控的方法、系统、设备和存储介质 | |
CN114090378A (zh) | 一种基于Kapacitor的自定义监控告警方法 | |
CN113760677A (zh) | 异常链路分析方法、装置、设备及存储介质 | |
CN111176950A (zh) | 一种监控服务器集群的网卡的方法和设备 | |
CN114138720A (zh) | 日志处理方法、装置、电子装置和存储介质 | |
CN109493251A (zh) | 一种电力无线公网监控系统 | |
JP2013171542A (ja) | 性能分析装置、性能分析方法及び性能分析プログラム | |
US11921602B2 (en) | Edge-based data collection system for an observability pipeline system | |
CN113282557B (zh) | 一种基于Spring框架的大数据日志分析的方法和系统 | |
Tovarnák et al. | Structured and interoperable logging for the cloud computing Era: The pitfalls and benefits | |
CN114328093A (zh) | 一种基于Hadoop的监控方法、系统、存储介质及设备 | |
CN112783920A (zh) | 基于数据编排的工业物联网数据实时计算方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Country or region after: China Address after: No. 309 Liuhe Road, Binjiang District, Hangzhou City, Zhejiang Province (High tech Zone) Applicant after: Zhongkong Technology Co.,Ltd. Address before: No. six, No. 309, Binjiang District Road, Hangzhou, Zhejiang Applicant before: ZHEJIANG SUPCON TECHNOLOGY Co.,Ltd. Country or region before: China |
|
CB02 | Change of applicant information |