CN112732663A - 一种日志信息处理方法及装置 - Google Patents
一种日志信息处理方法及装置 Download PDFInfo
- Publication number
- CN112732663A CN112732663A CN202011628304.4A CN202011628304A CN112732663A CN 112732663 A CN112732663 A CN 112732663A CN 202011628304 A CN202011628304 A CN 202011628304A CN 112732663 A CN112732663 A CN 112732663A
- Authority
- CN
- China
- Prior art keywords
- log information
- log
- message middleware
- information
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 230000014509 gene expression Effects 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/116—Details of conversion of file system types or formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/544—Buffers; Shared memory; Pipes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/547—Messaging middleware
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种日志信息处理方法及装置，其中，该方法包括：对流式任务的日志信息进行格式转化，并将格式转换后的该日志信息推送到消息中间件中；将该消息中间件中的该日志信息存储到ElasticSearch中；在该ElasticSearch中为该日志信息创建关键字索引，该关键字索引用于搜索所述日志信息，可以解决相关技术中通过命令查看日志需要连接终端，比较繁琐，且无法进行日志检索的问题，无需连接终端，通过网页即可查看日志，流程更简单，业务侵入性低，且通过创建的关键字索引可以实现对日志信息进行检索。
Description
技术领域
本发明涉及信息处理领域，具体而言，涉及一种日志信息处理方法及装置。
背景技术
得益于科技的进步，现阶段能获取到的数据越来越多，在许多的业务需求场景中人们对数据的实时性要求也越来越高。传统的离线数据处理已经不能满足当下的需求。Flink、SparkStreaming、Storm等流式计算引擎由于其较高的实时性，开始被广泛的应用在各种业务场景中。由于流式任务需要保证7*24小时不间断的运行，日志量会很大。日志信息对运维人员而言也十分的重要，需要在出现问题后根据日志信息的帮助快速的定位和恢复，同时也可以根据日志信息对任务进行性能调优，排除潜在隐患。
对于分布式流式任务日志查看，主要有三种方式：1)完全通过组件自身提供的能力，如Flink自身WebUi页面，通过进入Flink运行任务的WEB连接查看每个TaskManager的日志。2)通过Hadoop Yarn Web页面，如SparkStreaming和Flink通过yarn提交运行任务。就需要找到Yarn上对应任务的ApplicationId查询日志，或者通过连接Yarn所在容器，通过yarnlogs–applicationId命令查看。3)登陆任务执行所在的终端，找到对应的日志文件进行查看。
相关技术中通过Flink提供的WebUi查看日志，仅能查看运行中的任务日志，且当任务运行时间较长时，会导致页面日志查询响应缓慢甚至卡死，同时也无法进行日志检索。
通过Hadoop Yarn Web可以查看任务短时间内的实时日志，查看完整的日志时也存在查询响应缓慢甚至卡死，且通过命令查看日志需要连接终端比较繁琐。
针对相关技术中通过命令查看日志需要连接终端，比较繁琐，且无法进行日志检索的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种日志信息处理方法及装置，以至少解决相关技术中通过命令查看日志需要连接终端，比较繁琐，且无法进行日志检索的问题。
根据本发明的一个实施例，提供了一种日志信息处理方法，包括：对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；将所述消息中间件中的所述日志信息存储到弹性搜索服务器ElasticSearch中；在所述ElasticSearch中为所述日志信息创建关键字索引，其中，所述关键字索引用于搜索所述日志信息。
在一个示例性实施例中，在将格式转换后的所述日志信息推送到消息中间件中之前，所述方法还包括：为所述日志信息设置标识信息；在所述ElasticSearch中为所述日志信息创建关键字索引包括：根据所述标识信息为所述日志信息创建所述关键字索引。
在一个示例性实施例中，在将格式转换后的所述日志信息推送到消息中间件中之后，所述方法还包括：将所述消息中间件中的所述日志信息与预先设置的规则表达式进行匹配；在匹配成功的情况下，产生告警信息。
在一个示例性实施例中，将所述消息中间件中的所述日志信息与预先设置的规则表达式进行匹配包括：从缓存中将所述规则表达式拉取到内存的规则集中；通过流式引擎从所述消息中间件中拉取所述日志信息；将所述日志信息与所述规则表达式进行匹配。
在一个示例性实施例中，所述方法还包括：为所述缓存设置监听线程；若通过所述监听线程监听到所述缓存中所述规则表达式发生变更，从所述缓存中获取变更后的规则表达式；根据所述变更后的规则表达式更新所述规则集。
在一个示例性实施例中，所述方法还包括：接收通过可视化界面输入的用于搜索日志信息的目标关键字；在所述可视化界面中显示所述目标关键字对应的目标日志信息。
根据本发明的又一个实施例，还提供了一种日志信息处理装置，包括：
推送模块，用于对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；
第一处理模块，用于将所述消息中间件中的所述日志信息存储到ElasticSearch中；
第二处理模块，用于在所述ElasticSearch中为所述日志信息创建关键字索引，其中，所述关键字索引用于搜索所述日志信息。
在一个示例性实施例中，所述装置还包括：标识模块，用于为所述日志信息设置标识信息；所述第二处理模块，还用于根据所述标识信息为所述日志信息创建所述关键字索引。
在一个示例性实施例中，上述装置还包括：
匹配模块，用于将所述消息中间件中的所述日志信息与预先设置的规则表达式进行匹配；
告警模块，用于在匹配成功的情况下，产生告警信息。
在一个示例性实施例中，所述匹配模块，还用于从缓存中将所述规则表达式拉取到内存的规则集中；通过流式引擎从所述消息中间件中拉取所述日志信息；将所述日志信息与所述规则表达式进行匹配。
在一个示例性实施例中，上述装置还包括：监听模块，用于为所述缓存设置监听线程；若通过所述监听线程监听到所述缓存中所述规则表达式发生变更，从所述缓存中获取变更后的规则表达式；根据所述变更后的规则表达式更新所述规则集。
在一个示例性实施例中，上述装置还包括：搜索模块，用于接收通过可视化界面输入的用于搜索日志信息的目标关键字；在所述可视化界面中显示所述目标关键字对应的目标日志信息。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；将所述消息中间件中的所述日志信息存储到ElasticSearch中；通过所述ElasticSearch存储所述日志信息，并为所述日志信息创建关键字索引，该关键字索引用于搜索所述日志信息，可以解决相关技术中通过命令查看日志需要连接终端，比较繁琐，且无法进行日志检索的问题，无需连接终端，通过网页即可查看日志，流程更简单，业务侵入性低，且通过创建的关键字索引可以实现对日志信息进行检索。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的日志信息处理方法的移动终端的硬件结构框图；
图2是根据本发明实施例的日志信息处理方法的流程图；
图3是根据本发明一实施例的日志信息处理方法流程示意图(一)；
图4是根据本发明一实施例的日志信息处理方法流程示意图(二)；
图5是根据本发明一实施例的多个模块与消息中间件KAFKA的处理关系示意图；
图6是根据本发明一实施例的Append流程示意图；
图7是根据本发明一实施例的日志告警模块流程示意图；
图8是根据本发明一实施例的更新规则信息的流程示意图；
图9是根据本发明一实施例的查询日志信息的流程示意图；
图10是根据本发明实施例的日志信息处理装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的日志信息处理方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的日志信息处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及日志信息存储，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的日志信息处理方法，图2是根据本发明实施例的日志信息处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；
步骤S204，将所述消息中间件中的所述日志信息存储到ElasticSearch中；
弹性搜索服务器ElasticSearch支持的数据格式是json，Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到存储库中。
步骤S206，在所述ElasticSearch中为所述日志信息创建关键字索引，其中，所述关键字索引用于搜索所述日志信息。
通过上述步骤S202至步骤S206，对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；将所述消息中间件中的所述日志信息存储到ElasticSearch中；在所述ElasticSearch中为所述日志信息创建关键字索引，该关键字索引用于搜索所述日志信息，可以解决相关技术中通过命令查看日志需要连接终端，比较繁琐，且无法进行日志检索的问题，无需连接终端，通过网页即可查看日志，流程更简单，业务侵入性低，且通过创建的关键字索引可以实现对日志信息进行检索。
在一个可选的实施例中，上述步骤S202之前，还包括：为所述日志信息设置标识信息；
其中，为所述日志信息创建关键字索引包括：根据所述标识信息为所述日志信息创建所述关键字索引。
图3是根据本发明一实施例的日志信息处理方法流程示意图(一)，如图3所示，上述步骤S202之后，还包括：
步骤S302，将所述消息中间件中的所述日志信息与预先设置的规则表达式进行匹配；
步骤S304，在匹配成功的情况下，产生告警信息。
即，将搁置转换后的日志信息推送到消息中间件中后，还需要将消息中间件中的日志信息与规则表达式进行匹配，匹配成功后告警。
图4是根据本发明一实施例的日志信息处理方法流程示意图(二)，如图4所示，上述步骤S302进一步可以包括：
步骤S402，从缓存中将所述规则表达式拉取到内存的规则集中；
步骤S404，通过流式引擎从所述消息中间件中拉取所述日志信息；
步骤S406，将所述日志信息与所述规则表达式进行匹配。
简而言之，将消息中间件中的日志信息与规则表达式进行匹配时，需要先将规则表达式从缓存中拉取到内存规则集中，在通过流失引擎拉取日志信息，最后将日志信息与规则表达式进行匹配。
在一个可选实施例中，为所述缓存设置监听线程；若通过所述监听线程监听到所述缓存中所述规则表达式发生变更，从所述缓存中获取变更后的规则表达式；根据所述变更后的规则表达式更新所述规则集。
换句话说，需要为缓存设置监听线程，在监听线程监听到规则表达式变更的情况下，获取变更后的规则表达式，根据变更后的表达式更新规则集。
在一个可选实施例中，接收通过可视化界面输入的用于搜索日志信息的目标关键字；在所述可视化界面中显示所述目标关键字对应的目标日志信息。
即，可视化界面输入关键字搜索日志信息时，可以在可视化界面中显示所述关键字对应的日志信息。
图5是根据本发明一实施例的多个模块与消息中间件卡夫卡KAFKA的处理关系示意图，如图5所示，包括：
日志收集模块、存储查询模块、自定义告警模块以及消息中间件KAFKA，其中，日志收集模块推送消息中间件KAFKA，自定义告警模块和存储查询模块读取消息中间件KAFKA。
图6是根据本发明一实施例的Append流程示意图，如图6所示，包括：
步骤S1，默认日志信息；
步骤S2，添加自定义信息(可选)；
步骤S3，转换JSON格式；
步骤S4，推送至KAFKA。
上述日志收集模块要解决的问题是如何将流式任务的日志输出到消息队列Kafka。一般的用Java开发的分布式组件都使用Log4j(JAVA主流日志框架)或者Logback(JAVA主流日志框架)作为默认日志配置。例如Flink，Flink支持Log4j或者Logback进行日志输出，log4j将日志输出到Kafka有成熟的Appender插件可以使用，然而默认的日志输出格式ElasticSearch无法解析，因此需要对日志的json格式进行适当的转化，通过继承log4j的AppenderSkeleton.java类，实现自己的LogKafkaAppender.java将日志推送到Kafka中。LogKafkaAppender.java中会对默认的日志输出json转化为ElasticSearch可以解析的格式，同时根据需要增加一些内容。如Flink任务可以添加ApplicationId便于查询过滤对应任务的日志信息。修改后需要重新编译Log4j包替换到Flink的lib目录下，同时修改log4j配置。
示例性程序如下：
##Appender kafka
log4j.appender.kafka＝xxx.xxx.xxx.xxx.LogKafkaAppender
log4j.appender.kafka.topic＝FLINKlOG
log4j.appender.kafka.brokerList＝集群地址和端口,例如192.168.0.1:9092,192.168.0.2:9092
其中，ELK是Elasticsearch，Logstash，Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案。ELK主要进行日志搜索，分析获取数据，并实时进行展示。SparkStreaming：是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。
图7是根据本发明一实施例的日志告警模块流程示意图，如图7所示，包括：
步骤S1，读取KAFKA；
步骤S2，将规则表达表达式拉取到内存ruleMap中；
步骤S3，将日志信息进行规则匹配；
步骤S4，生成告警提醒。
具体地，自定义告警模块会实时对收集到的日志进行分析并在满足自定义条件时产生相应的告警。告警模块启动时会从缓存Redis中将规则表达式拉取到内存ruleMap中，通过流式引擎如Flink、SparkStreaming拉取消息中间件中的数据，对每条日志信息进行规则匹配，满足只要匹配上某一条规则就会产生告警提醒(例如：可以配置规则为正则表达式“ERROR”，则所有错误日志都会产生告警)。
图8是根据本发明一实施例的更新规则信息的流程示意图，如图8所示，包括：
步骤S1，用户对规则信息进行增加、删除、修改；
步骤S2，更细内存ruleMap中的规则信息。
具体的，开发人员可以动态的增删修改规则信息，通过监听Redis及时的感知规则信息的变化。对于Flink任务日志，希望能感知到task的异常尽早发现程序可能存在的风险，就可以针对task的一些异常日志添加相应的规则表达式(例如：一种异常类型如ConnectException或是一种日志级别如ERROR等等)。
图9是根据本发明一实施例的查询日志信息的流程示意图，如图9所示，包括：
步骤S1，存储到ElasticSearch中；
步骤S2，Kibana查询日志信息。
其中，日志查询模块主要使用到了ELK(即ElasticSearch、Logstash、Kibana)，ELK是一个成熟的开源日志分析系统。通过配置Logstash的配置文件。示例性程序如下：
input{
kafka{
topics＝>"topic"
type＝>"kafka"
bootstrap_servers＝>"192.168.0.1:9092,192.168.0.2:9092"
codec＝>"json"
}
消费指定topic的Kafka数据并以json的形式存储到ElasticSearch中，ElasticSearch会存储Logstash发送过来的日志信息并且创建索引，通过ElasticSearch创建的索引可以通过关键字对日志快速搜索。Kibana是一个可视化界面，可以在Kibana上输入命令查询日志信息，并且支持图表分析和展示。通过使用ELK可以近乎实时的查询组件产生的日志信息，同时也可以对历史日志信息进行关键字检索查询。
实施例2
根据本发明的另一个实施例，还提供了一种日志信息处理装置，图10是根据本发明实施例的日志信息处理装置的框图，如图10所示，包括：
推送模块102，用于对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；
第一处理模块104，用于将所述消息中间件中的所述日志信息存储到ElasticSearch中；
第二处理模块106，用于在所述ElasticSearch中为所述日志信息创建关键字索引，其中，所述关键字索引用于搜索所述日志信息。
可选的，上述装置还包括：标识模块，用于为所述日志信息设置标识信息；
其中，上述第二处理模块，还用于根据所述标识信息为所述日志信息创建所述关键字索引。
可选的，上述装置还包括：匹配模块，用于将所述消息中间件中的所述日志信息与预先设置的规则表达式进行匹配；告警模块，用于在匹配成功的情况下，产生告警信息。
即，将搁置转换后的日志信息推送到消息中间件中后，还需要将消息中间件中的日志信息与规则表达式进行匹配，匹配成功后告警。
上述匹配模块还用于：从缓存中将所述规则表达式拉取到内存的规则集中；通过流式引擎从所述消息中间件中拉取所述日志信息；将所述日志信息与所述规则表达式进行匹配。
简而言之，将消息中间件中的日志信息与规则表达式进行匹配时，需要先将规则表达式从缓存中拉取到内存规则集中，在通过流失引擎拉取日志信息，最后将日志信息与规则表达式进行匹配。
可选的，上述装置还包括：监听模块，用于为所述缓存设置监听线程；若通过所述监听线程监听到所述缓存中所述规则表达式发生变更，从所述缓存中获取变更后的规则表达式；根据所述变更后的规则表达式更新所述规则集。
换句话说，需要为缓存设置监听线程，在监听线程监听到规则表达式变更的情况下，获取变更后的规则表达式，根据变更后的表达式更新规则集。
可选的，上述装置还包括：搜索模块，用于接收通过可视化界面输入的用于搜索日志信息的目标关键字；在所述可视化界面中显示所述目标关键字对应的目标日志信息。
即，可视化界面输入关键字搜索日志信息时，可以在可视化界面中显示所述关键字对应的日志信息。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；
S2，将所述消息中间件中的所述日志信息存储到ElasticSearch中；
S3，在所述ElasticSearch中为所述日志信息创建关键字索引，其中，所述关键字索引用于搜索所述日志信息。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；
S2，将所述消息中间件中的所述日志信息存储到ElasticSearch中；
S3，在所述ElasticSearch中为所述日志信息创建关键字索引，其中，所述关键字索引用于搜索所述日志信息。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种日志信息处理方法，其特征在于，包括：
对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；
将所述消息中间件中的所述日志信息存储到弹性搜索服务器ElasticSearch中；
在所述ElasticSearch中为所述日志信息创建关键字索引，其中，所述关键字索引用于搜索所述日志信息。
2.根据权利要求1所述的方法，其特征在于，在将格式转换后的所述日志信息推送到消息中间件中之前，所述方法还包括：
为所述日志信息设置标识信息；
在所述ElasticSearch中为所述日志信息创建关键字索引包括：
根据所述标识信息为所述日志信息创建所述关键字索引。
3.根据权利要求1所述的方法，其特征在于，在将格式转换后的所述日志信息推送到消息中间件中之后，所述方法还包括：
将所述消息中间件中的所述日志信息与预先设置的规则表达式进行匹配；
在匹配成功的情况下，产生告警信息。
4.根据权利要求3所述的方法，其特征在于，将所述消息中间件中的所述日志信息与预先设置的规则表达式进行匹配包括：
从缓存中将所述规则表达式拉取到内存的规则集中；
通过流式引擎从所述消息中间件中拉取所述日志信息；
将所述日志信息与所述规则表达式进行匹配。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
为所述缓存设置监听线程；
若通过所述监听线程监听到所述缓存中所述规则表达式发生变更，从所述缓存中获取变更后的规则表达式；
根据所述变更后的规则表达式更新所述规则集。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
接收通过可视化界面输入的用于搜索日志信息的目标关键字；
在所述可视化界面中显示所述目标关键字对应的目标日志信息。
7.一种日志信息处理装置，其特征在于，包括：
推送模块，用于对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；
第一处理模块，用于将所述消息中间件中的所述日志信息存储到弹性搜索服务器ElasticSearch中；
第二处理模块，用于在所述ElasticSearch中为所述日志信息创建关键字索引，其中，所述关键字索引用于搜索所述日志信息。
8.根据权利要求7所述的装置，其特征在于，
所述装置还包括：标识模块，用于为所述日志信息设置标识信息；
所述第二处理模块，还用于根据所述标识信息为所述日志信息创建所述关键字索引。
9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011628304.4A CN112732663A (zh) | 2020-12-30 | 2020-12-30 | 一种日志信息处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011628304.4A CN112732663A (zh) | 2020-12-30 | 2020-12-30 | 一种日志信息处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112732663A true CN112732663A (zh) | 2021-04-30 |
Family
ID=75609794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011628304.4A Pending CN112732663A (zh) | 2020-12-30 | 2020-12-30 | 一种日志信息处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112732663A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407511A (zh) * | 2021-06-23 | 2021-09-17 | 中移（杭州）信息技术有限公司 | 日志聚合方法、设备及计算机程序产品 |
| CN113721746A (zh) * | 2021-08-04 | 2021-11-30 | 浙江大华技术股份有限公司 | 一种日志的存储方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180004737A1 (en) * | 2016-06-30 | 2018-01-04 | Canon Kabushiki Kaisha | Information processing apparatus, control method, and storage medium |
| CN110990218A (zh) * | 2019-11-22 | 2020-04-10 | 深圳前海环融联易信息科技服务有限公司 | 基于海量日志的可视化与告警的方法、装置及计算机设备 |
-
2020
- 2020-12-30 CN CN202011628304.4A patent/CN112732663A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180004737A1 (en) * | 2016-06-30 | 2018-01-04 | Canon Kabushiki Kaisha | Information processing apparatus, control method, and storage medium |
| CN110990218A (zh) * | 2019-11-22 | 2020-04-10 | 深圳前海环融联易信息科技服务有限公司 | 基于海量日志的可视化与告警的方法、装置及计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 驻云科技乔锐杰: "《阿里云运维架构实践秘籍》", 30 April 2020 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407511A (zh) * | 2021-06-23 | 2021-09-17 | 中移（杭州）信息技术有限公司 | 日志聚合方法、设备及计算机程序产品 |
| CN113721746A (zh) * | 2021-08-04 | 2021-11-30 | 浙江大华技术股份有限公司 | 一种日志的存储方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11860874B2 (en) | Multi-partitioning data for combination operations | |
| US10180891B2 (en) | Monitoring processes running on a platform as a service architecture | |
| CN110362544B (zh) | 日志处理系统、日志处理方法、终端及存储介质 | |
| EP4099170A1 (en) | Method and apparatus of auditing log, electronic device, and medium | |
| CN111190888A (zh) | 一种管理图数据库集群的方法和装置 | |
| US11321339B2 (en) | Data integration for distributed and massively parallel processing environments | |
| CN113485962B (zh) | 日志文件的存储方法、装置、设备和存储介质 | |
| CN111666293A (zh) | 数据库访问方法和装置 | |
| CN113282611B (zh) | 一种流数据同步的方法、装置、计算机设备及存储介质 | |
| CN112732663A (zh) | 一种日志信息处理方法及装置 | |
| CN113805777A (zh) | 业务系统最优操作路径生成方法及系统 | |
| CN114398520A (zh) | 数据检索方法、系统、装置、电子设备及存储介质 | |
| CN108959294B (zh) | 一种访问搜索引擎的方法和装置 | |
| CN117271584A (zh) | 数据处理方法及装置、计算机可读存储介质和电子设备 | |
| CN114490526B (zh) | 选课索引文件更新方法、课程搜索方法及装置 | |
| KR20210000041A (ko) | 로그 데이터의 실시간 분석 방법 및 그 장치 | |
| CN112579406A (zh) | 一种日志调用链生成方法和装置 | |
| CN111698109A (zh) | 监控日志的方法和装置 | |
| CN114756301A (zh) | 日志处理方法、装置和系统 | |
| CN113515576A (zh) | 数据处理方法、装置、电子设备和计算机可读介质 | |
| CN111858260A (zh) | 信息显示方法、装置、设备及介质 | |
| Wu et al. | RIVA: A Real-Time Information Visualization and analysis platform for social media sentiment trend | |
| CN112988778A (zh) | 一种处理数据库查询脚本的方法和装置 | |
| US11755453B1 (en) | Performing iterative entity discovery and instrumentation | |
| JP7293544B2 (ja) | 質問回答システムの更新処理方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |