CN107622084A - 日志管理方法、系统以及计算机可读存储介质 - Google Patents
日志管理方法、系统以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN107622084A CN107622084A CN201710683100.2A CN201710683100A CN107622084A CN 107622084 A CN107622084 A CN 107622084A CN 201710683100 A CN201710683100 A CN 201710683100A CN 107622084 A CN107622084 A CN 107622084A
- Authority
- CN
- China
- Prior art keywords
- daily record
- operation system
- stored
- different types
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志管理方法、系统以及计算机可读存储介质，该方法包括步骤：当侦测到获取与日志管理系统连接的业务系统日志的获取指令时，根据获取指令获取业务系统的日志；将日志存储至消息中间件集群中，对日志进行分类，得到不同类型的日志；将不同类型的日志存储至预设服务器集群中，并根据日志的类型建立对应的索引，以供业务系统根据索引调用和/或查看日志。本发明实现了将各个业务系统对应的日志存储至日志管理系统中，当业务系统需要获取某条交易对应的日志时，不需要从对应的多个系统中获取，可直接在日志管理系统中获取，且在日志管理系统中，将日志分类存储，便于业务系统快速找到所需日志，对日志进行管理。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种日志管理方法、系统以及计算机可读存储介质。
背景技术
网络系统、系统及服务程序等，在运作时都会产生一个叫log(日志)的事件记录；每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。现有的日志存储方式是分散存储，每个系统所产生的日志对应存储在该系统的服务器中，即目前一般都是采用分布式服务的方式存储各系统中各个交易的服务日志。如当某个交易需要涉及到多个系统时，如果要获取该条交易对应的日志，需要从对应的多个系统中获取该交易的日志，导致日志获取速度慢，不利于日志的管理。
发明内容
本发明的主要目的在于提供一种日志管理方法、系统以及计算机可读存储介质，旨在解决业务系统日志分散存储，不利于管理的技术问题。
为实现上述目的，本发明提供一种日志管理方法，所述日志管理方法包括步骤：
当侦测到获取与日志管理系统连接的业务系统日志的获取指令时，根据所述获取指令获取所述业务系统的日志；
将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志；
将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志。
优选地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
根据所述日志的级别标识将所述日志存储至消息中间件集群中；
确定所述日志对应的属性信息；
根据所述属性信息对所述日志进行分类，得到不同类型的日志。
优选地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，根据所述日志确定所述业务系统中各个服务的调用频率和调用时间；
根据所述调用频率和所述调用时间确定所述业务系统服务质量的级别；
根据所述服务质量的级别对所述日志进行分类，得到不同类型的日志。
优选地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，获取所述日志的服务标识，根据所述日志的服务标识确定所述业务系统中各个服务的调用链；
将所述调用链与预设调用链进行匹配，根据匹配所得的第一匹配结果对所述日志进行分类，得到不同类型的日志。
优选地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，获取所述业务系统的心跳日志；
将所述心跳日志与预设心跳日志进行匹配，根据匹配所得的第二匹配结果对所述日志进行分类，得到不同类型的日志。
优选地，所述将所述心跳日志与预设心跳日志进行匹配的步骤之后，还包括：
若所述心跳日志与所述预设心跳日志不匹配，则确定所述业务系统处于异常状态；
触发告警指令，根据所述告警指令提示运维人员所述业务系统处于异常状态。
优选地，所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤之后，还包括：
当侦测到修改所述索引的修改指令时，根据所述修改指令修改所述索引，其中，所述修改指令包括建立指令、删除指令、以及修改每个索引存储的字段个数和字段类型的修改指令。
优选地，所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤之前，还包括：
将分类后的所述日志存储至服务器缓冲区中，并监测所述服务器缓冲区中所存储的日志是否满足预设条件；
当所述服务器缓冲区所存储的日志满足所述预设条件时，执行所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤。
此外，为实现上述目的，本发明还提供一种日志管理系统，所述日志管理系统包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的日志管理程序，所述日志管理程序被所述处理器执行时实现如上所述的日志管理方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志管理程序，所述日志管理程序被处理器执行时实现如上所述的日志管理方法的步骤。
本发明通过当侦测到获取与日志管理系统连接的业务系统日志的获取指令时，根据所述获取指令获取所述业务系统的日志；将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志；将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志。实现了将各个业务系统对应的日志存储至日志管理系统中，当业务系统需要获取某条交易对应的日志时，不需要从对应的多个系统中获取，可直接在日志管理系统中获取，且在日志管理系统中，将日志分类存储，便于业务系统快速找到所需日志，对日志进行管理。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图；
图2为本发明日志管理方法第一实施例的流程示意图；
图3为本发明实施例中将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的第一种流程示意图；
图4为本发明实施例中将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的第二种流程示意图；
图5为本发明日志管理方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的解决方案主要是：当侦测到获取与日志管理系统连接的业务系统日志的获取指令时，根据所述获取指令获取所述业务系统的日志；将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志；将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志。以解决业务系统日志分散存储，不利于管理的问题。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图。
本发明实施例日志管理系统可以Linux服务器、便携式计算机等设备。
如图1所示，该日志管理系统可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，日志管理系统还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解，图1中示出的日志管理系统结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统以及日志管理程序。其中，操作系统是管理和控制日志管理系统硬件和软件资源的程序，支持日志管理程序以及其它软件和/或程序的运行。
在图1所示的日志管理系统中，网络接口1004主要用于连接业务系统，与业务系统进行数据通信；用户接口1003主要用于侦测获取指令等。而处理器1001可以用于调用存储器1005中存储的日志管理程序，并执行以下操作：
当侦测到获取与日志管理系统连接的业务系统日志的获取指令时，根据所述获取指令获取所述业务系统的日志；
将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志；
将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志。
进一步地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
根据所述日志的级别标识将所述日志存储至消息中间件集群中；
确定所述日志对应的属性信息；
根据所述属性信息对所述日志进行分类，得到不同类型的日志。
进一步地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，根据所述日志确定所述业务系统中各个服务的调用频率和调用时间；
根据所述调用频率和所述调用时间确定所述业务系统服务质量的级别；
根据所述服务质量的级别对所述日志进行分类，得到不同类型的日志。
进一步地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，获取所述日志的服务标识，根据所述日志的服务标识确定所述业务系统中各个服务的调用链；
将所述调用链与预设调用链进行匹配，根据匹配所得的第一匹配结果对所述日志进行分类，得到不同类型的日志。
进一步地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，获取所述业务系统的心跳日志；
将所述心跳日志与预设心跳日志进行匹配，根据匹配所得的第二匹配结果对所述日志进行分类，得到不同类型的日志。
进一步地，所述将所述心跳日志与预设心跳日志进行匹配的步骤之后，处理器1001还可以用于调用存储器1005中存储的日志管理程序，并执行以下操作：
若所述心跳日志与所述预设心跳日志不匹配，则确定所述业务系统处于异常状态；
触发告警指令，根据所述告警指令提示运维人员所述业务系统处于异常状态。
进一步地，所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤之后，处理器1001还可以用于调用存储器1005中存储的日志管理程序，并执行以下操作：
当侦测到修改所述索引的修改指令时，根据所述修改指令修改所述索引，其中，所述修改指令包括建立指令、删除指令、以及修改每个索引存储的字段个数和字段类型的修改指令。
进一步地，所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤之前，处理器1001还可以用于调用存储器1005中存储的日志管理程序，并执行以下操作：
将分类后的所述日志存储至服务器缓冲区中，并监测所述服务器缓冲区中所存储的日志是否满足预设条件；
当所述服务器缓冲区所存储的日志满足所述预设条件时，执行所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤。
基于上述的硬件结构，提出日志管理方法的各个实施例。
参照图2，图2为本发明日志管理方法第一实施例的流程示意图。
在本实施例中，提供了日志管理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
所述日志管理方法包括：
步骤S10，当侦测到获取与日志管理系统连接的业务系统日志的获取指令时，根据所述获取指令获取所述业务系统的日志。
在本发明实施例中，日志管理系统与业务系统存在通讯连接关系，日志管理系统包括日志接入层、日志缓冲层、日志处理层、日志存储层、日志查询服务层、Log View查询工具和系统管理工具7个组件，通过这7个组件的组合可实现对日志的收集、导入、存储、查询和分析。
当日志接入层侦测到获取业务系统日志的获取指令时，日志接入层根据所侦测的获取指令获取业务系统的日志。日志接入层可实时或者定时侦测该获取指令。其中，在本发明实施例中，日志接入层获取业务系统日志的方式有三种，一是通过业务系统中的静态Logger获取对应业务系统的日志；二是通过在原本使用Log4j、Log4j2、Logback打印日志的业务系统中，在原有日志配置的基础上，加上日志管理系统自定义的Appender，以实现无需手动新增打印日志代码，即可获取业务系统的日志；三是通过Linux系统日志协议RFC3164或者RFC5424两种协议向Syslog服务发送日志，通过Syslog获取业务系统的日志。
需要说明的是，Log4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、数据库等；Logback是一个可靠、通用、快速而又灵活的Java日志框架。Appender用来定义日志输出的目的地。Unix/Linux系统中的大部分日志都是通过一种叫做syslog的机制产生和维护的。syslog是一种标准的协议，分为客户端和服务器端，客户端是产生日志消息的一方，而服务器端负责接收客户端发送来的日志消息，并做出保存到特定的日志文件中或者其他方式的处理。目前有两个syslog RFC标准，分别为RFC 3164、RFC 5424，两者的主要区别在于数据的格式不同。
步骤S20，将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志。
当日志接入层获取到业务系统的日志时，将所获取的日志发送至日志缓冲层。其中，日志缓冲层存在消息中间件集群。日志接入层根据消息中间件提供的API(ApplicationProgramming Interface，应用程序编程接口)，通过HTTP(Hyper Text TransferProtocol，超文本传输协议)将所获取的日志发送给消息中间件集群，将所获取的日志存储至消息中间件集群中。当日志缓冲层的消息中间集群存储日志后，日志处理层从消息中间件集群中获取日志，对所获取的日志进行分类，得到不同类型的日志。需要说明的是，为了方便水平扩展消息中间件集群，将消息中间件集群的架构设置为跨IDC分布式架构，通过消息中间件集群，在普通的服务器上每秒钟的吞吐量能达到2万条消息，实现高吞吐量。为了节省消息中间件集群的存储空间，消息中间件集群中的日志存储时间设置为预设时间段。当消息中间件集群中存储日志的时间大于该预设时间段时，消息中间件集群将其存储的日志删除。预设时间段可根据具体需要而设置，如设置为2天，3天或者5天等。
进一步地，当日志处理层未能成功获取日志时，日志处理层可再次从消息中间件集群中获取日志。只有当日志处理层成功获取到该日志时，才会删除消息中间件集群中所存储的日志。
需要说明的是，属于同一服务的日志都含有相同的服务标识，通过服务标识可以确定每个服务完整的调用链，通过该调用链可以确定对应服务交易消息的客户端、接收交易消息的消息中间件和接收交易消息的服务端。日志缓冲层中的消息中间件集群与日志处理层的交互是通过消息中间件提供的API和HTTP协议实现的。
进一步地，步骤S20包括：
步骤a，根据所述日志的级别标识将所述日志存储至消息中间件集群中。
步骤b，确定所述日志对应的属性信息。
步骤c，根据所述属性信息对所述日志进行分类，得到不同类型的日志。
进一步地，在将日志存储至消息中间件集群过程中，可确定日志的级别标识，将属于同一级别的日志存储至消息中间件集群中的某一存储区中。需要说明的是，业务系统在生成日志时，已为该日志添加了级别标识。因此在确定日志级别过程中，可通过日志所包含的级别标识确定该日志的级别。
日志处理层获取消息中间件集群中所存储的日志。日志处理层包括两个子组件，分别是Log-Importer和日志分析引擎Log-Analyzer。当日志处理层的Log-Importer获取到日志时，确定日志对应的属性信息，根据日志的属性信息对日志进行分类，得到不同类型的日志。在本发明实施例中，日志包括交易日志和业务日志，属性信息为可以唯一标识日志的信息，可用字符串表示，在该字符串中，可包括字母和/或数字等。如交易日志的属性信息可为交易流水号，业务日志的属性信息可为业务标签。在本实施例中，不同类型的日志可以理解为不同交易对应的日志，以及不同业务对应的日志。
日志处理层的Log-Importer和Log-Analyzer组件根据业务需求，在从日志缓冲层获取日志时，可从消息中间件集群中对应的存储区中获取所需的日志。如Log-Importer的功能是存储日志接入层所获取的所有日志，则Log-Importer会监测消息中间件集群的全部存储区，以获取消息中间件集群中所存储的全部日志；如Log-Analyzer需要分析Nginx代理的日志信息时，只需要监测Nginx代理系统对应日志所在的存储区即可。
进一步地，在对日志进行分类之前，可对日志进行清洗操作，去掉日志中的非必要字段。
步骤S30，将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志。
当日志处理层得到不同类型的日志后，日志处理层将不同类型的日志发送给日志存储层。日志存储层包括ES(Elastic Search)集群和opentsdb集群，Elastic Search是一个基于Lucene(全文搜索引擎)的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，具有实时搜索，稳定，可靠，快速，安装使用方便等优点。在本实施例中，预设服务器集群即为ES集群。具体地，当日志处理层得到不同类型的日志后，将不同类型的日志发送给日志存储层的ES集群，以将不同类型的日志存储至ES集群中，并在ES集群中根据日志的类型为日志建立对应的索引，以供业务系统根据索引调用和/或查看不同类型的日志。具体地，可通过日志查询服务层向业务系统提供日志接入层所获取的原始日志和不同类型日志的查询入口。
进一步地，所述日志管理方法还包括：
步骤d，当侦测到修改所述索引的修改指令时，根据所述修改指令修改所述索引，其中，所述修改指令包括建立指令、删除指令、以及修改每个索引存储的字段个数和字段类型的修改指令。
日志管理系统的系统管理工具的主要功能是对日志管理系统的各个组件的参数进行管理和配置。当系统管理工具侦测到修改日志索引的修改指令时，根据修改指令修改日志对应的索引，其中，修改指令包括新建索引的建立指令、删除索引的删除指令、以及修改每个索引存储的字段个数和字段类型的修改指令，字段类型包括但不限于字符型和调整型。
进一步地，Log View查询工具是一个日志查询和日志调用链生成的Web工具。LogView查询工具向运维和开发等人员提供一个全局统一的日志查询入口，运维和开发等人员通过Log View查询工具可以快速查询到原本分散在各业务系统对应服务器的日志，以根据日志快速定位出现某种问题的原因。进一步地，通过Log View查询工具可设置日志访问权限，限制访问日志的业务系统，保证业务系统的安全性。
本实施例通过当侦测到获取与日志管理系统连接的业务系统日志的获取指令时，根据所述获取指令获取所述业务系统的日志；将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志；将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志。实现了将各个业务系统对应的日志存储至日志管理系统中，当业务系统需要获取某条交易对应的日志时，不需要从对应的多个系统中获取，可直接在日志管理系统中获取，且在日志管理系统中，将日志分类存储，便于业务系统快速找到所需日志，对日志进行管理。
进一步地，提出本发明日志管理方法第二实施例。
所述日志管理方法第二实施例与所述日志管理方法第一实施例的区别在于，参照图3，步骤S20还包括：
步骤S21，将所述日志存储至消息中间件集群中，根据所述日志确定所述业务系统中各个服务的调用频率和调用时间。
在将日志存储至消息中间件集群中后，日志处理层的Log-Analyzer获取到所需的日志后，将所获取日志提交到Spark集群做流式分析，确定业务系统中各个服务的调用频率和调用时间。Spark是实时计算的系统，支持流式计算，批处理和实时查询。调用频率为某个服务在某个固定时间段内的被调用次数，调用时间为固定时间段内该服务被调用时间的总和。
步骤S22，根据所述调用频率和所述调用时间确定所述业务系统服务质量的级别。
步骤S23，根据所述服务质量的级别对所述日志进行分类，得到不同类型的日志。
当Log-Analyzer确定调用频率和调用时间后，根据调用频率和调用时间确定业务系统的服务质量的级别。具体地，预先设置好不同调用频率、调用时间和服务质量级别之间的映射关系，通过所设置的映射关系，根据调用频率和调用时间即可确定业务系统的服务质量的级别。如在本实施例中，可将服务指令分为好、中、差三个级别。当确定业务系统的服务质量的级别后，根据服务质量的级别对日志进行分类，将属于同一服务质量级别的日志分为同一类，以得到不同类型的日志。
进一步地，日志存储层的Opentsdb集群是存储Log-Analyzer统计出来以时间维度生成的统计指标，如存储调用频率和调用时间等。Log-Analyzer调用Opentsdb提供的restful接口形式的API，将统计指标存入Opentsdb集群。Opentsdb集群具备对统计指标进行查询、统计和重采样功能，以便于实现对业务系统服务的调用频率、调用时间等统计指标进行长期准实时的监控统计。
进一步地，日志查询服务层主要向业务系统提供日志接入层所获取的原始日志和统计指标的查询功能。一方面对于原始日志，日志查询服务层的es-query-service依赖ES集群向业务系统提供基于关键字的搜索，调用ES集群的restful接口，通过该关键词可确定属于同一交易或者属于同一业务的日志。另一方面日志查询服务层的opentsdb-query-service依赖opentsdb集群向业务系统提供统计指标的查询和统计等功能，调用opentsdb集群的restful接口。
本实施例通过根据服务质量的级别对日志进行分类，得到不同类型的日志，以通过分类结果快速查找到不同服务质量级别的日志，便于对不同业务系统服务质量的分析。
进一步地，步骤S20还包括：
步骤e，将所述日志存储至消息中间件集群中，获取所述日志的服务标识，根据所述日志的服务标识确定所述业务系统中各个服务的调用链。
步骤f，将所述调用链与预设调用链进行匹配，根据匹配所得的第一匹配结果对所述日志进行分类，得到不同类型的日志。
在将日志存储至消息中间件集群中后，获取日志的服务标识，根据日志的服务标识确定业务系统中各个服务的调用链。需要说明的是，服务标识也用于唯一确定属于同一服务的所有日志。当确定各个服务的调用链后，将各个服务的调用链对应与预设调用链进行匹配，得到第一匹配结果。具体地，当调用链与预设调用链的调用顺序一致时，确认该调用链为合法调用链；当调用链与预设调用链不一致时，确认该调用链为非法调用链，即该调用链对应的服务被非法调用。当得到第一匹配结果后，根据第一匹配结果将非法调用链对应的日志分为一类，将合法调用链对应的日志分为一类，以得到不同类型的日志。预设调用链为业务系统服务被正常调用时的调用顺序。
本实施例通过根据调用链与预设调用链的匹配结果进行分类，得到不同类型的日志，以通过分类结果快速查找到非法调用链对应的日志，以确定业务系统中被非法调用的服务，便于提升业务系统的服务质量。
进一步地，提出本发明日志管理方法第三实施例。
所述日志管理方法第三实施例与所述日志管理方法第一实施例的区别在于，参照图4，步骤S20还包括：
步骤S24，将所述日志存储至消息中间件集群中，获取所述业务系统的心跳日志。
步骤S25，将所述心跳日志与预设心跳日志进行匹配，根据匹配所得的第二匹配结果对所述日志进行分类，得到不同类型的日志。
在将日志存储至消息中间件集群中后，获取业务系统的心跳日志，将心跳日志与预设心跳日志进行匹配，得到第二匹配结果，根据所得的第二匹配结果对日志进行分类，得到不同类型的日志。需要说明的是，心跳日志为业务系统发送通知消息给控制系统的频率，当控制系统接收到业务系统发送的通知消息的频率与设定频率不一致时，确认业务系统的心跳日志与预设心跳日志不匹配；当控制系统接收到业务系统发送的通知消息的频率与设定频率一致时，确认业务系统的心跳日志与预设心跳日志匹配。通知消息是业务系统用来确认与控制系统正常连接的消息。预设心跳日志为处于正常状态的业务系统发送通知消息给控制系统的频率。
具体地，当心跳日志与预设心跳日志匹配，即心跳日志与预设心跳日志一致时，确认业务系统处于正常状态，当心跳日志与预设心跳日志不匹配，即心跳日志与预设心跳日志不一致时，确认业务系统处于异常状态。将处于正常状态业务系统的日志分为一类，将处于异常状态业务系统的日志分为一类，以得到不同类型的日志。
进一步地，日志管理方法还包括：
步骤g，若所述心跳日志与所述预设心跳日志不匹配，则确定所述业务系统处于异常状态。
步骤h，触发告警指令，根据所述告警指令提示运维人员所述业务系统处于异常状态。
当心跳日志与预设心跳日志不匹配时，确定业务系统处于异常状态。当确定业务系统处于异常状态时，触发告警指令，根据告警指令提示运维人员业务系统处于异常状态。
进一步地，可以根据业务系统中特定逻辑对应的日志数量，统计该特定逻辑的处理能力。当该日志数量大于某个设定值时，触发对应的告警指令。
本实施例通过根据业务系统心跳日志与预设心跳日志的匹配结果进行分类，得到不同类型的日志，以通过分类结果快速查找到处于异常状态的业务系统，以便于运维人员及时发现处于异常状态的业务系统。
进一步地，提出本发明日志管理方法第四实施例。
所述日志管理方法第四实施例与所述日志管理方法第一实施例的区别在于，参照图5，日志管理方法还包括：
步骤S40，将分类后的所述日志存储至服务器缓冲区中，并监测所述服务器缓冲区中所存储的日志是否满足预设条件；
当所述服务器缓冲区所存储的日志满足所述预设条件时，执行步骤S30。
当日志处理层得到分类后的日志时，将分类后的日志存储至服务器缓冲区中，即将分类后的日志存储至ES缓冲区中，并监测服务器缓冲区中所存储的日志是否满足预设条件。当服务器缓冲区所存储的日志满足预设条件时，将不同类型的日志存储至预设服务器集群中，并根据日志的类型建立对应的索引，以供业务系统根据索引调用和/或查看对应的日志。
在本实施例中，预设条件可设置为所存储日志的数量大于预设值，或者设置为所存储日志的存储时间大于预设时长，预设时长和预设值可以根据具体需要而设置。如当服务器缓冲区所存储的日志的存储时间大于预设时长时，将不同类型的日志存储至预设服务器集群中，并根据日志的类型建立对应的索引，以供业务系统根据索引调用和/或查看对应的日志；当服务器缓冲区所存储的日志的存储时间小于或者等于预设时长时，继续将该日志存储在服务器缓冲区中。
进一步地，在本实施例中，可将服务器缓冲区中存储时间小于或者等于预设时长的日志标记为热数据；将服务器缓冲区中存储时间大于预设时长的日志标记为冷数据。将热数据从服务器缓冲区迁移至ES集群中，将冷数据迁移至具备备份功能的集群中，用于业务系统调用该日志进行趋势分析、日志行为分析等。进一步地，也可以将冷数据发送到ES集群。
本实施例通过将分类后的日志存储至服务器缓冲区，当将服务器缓冲区中所存储的日志满足预设条件时，才将服务器缓冲区中的日志移动至服务器集群中，便于业务系统可以快速查找出近期的日志，进行日志分析。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有日志管理程序，所述日志管理程序被处理器执行时实现如下步骤：
当侦测到获取与日志管理系统连接的业务系统日志的获取指令时，根据所述获取指令获取所述业务系统的日志；
将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志；
将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志。
进一步地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
根据所述日志的级别标识将所述日志存储至消息中间件集群中；
确定所述日志对应的属性信息；
根据所述属性信息对所述日志进行分类，得到不同类型的日志。
进一步地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，根据所述日志确定所述业务系统中各个服务的调用频率和调用时间；
根据所述调用频率和所述调用时间确定所述业务系统服务质量的级别；
根据所述服务质量的级别对所述日志进行分类，得到不同类型的日志。
进一步地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，获取所述日志的服务标识，根据所述日志的服务标识确定所述业务系统中各个服务的调用链；
将所述调用链与预设调用链进行匹配，根据匹配所得的第一匹配结果对所述日志进行分类，得到不同类型的日志。
进一步地，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，获取所述业务系统的心跳日志；
将所述心跳日志与预设心跳日志进行匹配，根据匹配所得的第二匹配结果对所述日志进行分类，得到不同类型的日志。
进一步地，所述将所述心跳日志与预设心跳日志进行匹配的步骤之后，所述日志管理程序被处理器执行时实现如下步骤：
若所述心跳日志与所述预设心跳日志不匹配，则确定所述业务系统处于异常状态；
触发告警指令，根据所述告警指令提示运维人员所述业务系统处于异常状态。
进一步地，所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤之后，所述日志管理程序被处理器执行时实现如下步骤：
当侦测到修改所述索引的修改指令时，根据所述修改指令修改所述索引，其中，所述修改指令包括建立指令、删除指令、以及修改每个索引存储的字段个数和字段类型的修改指令。
进一步地，所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤之前，所述日志管理程序被处理器执行时实现如下步骤：
将分类后的所述日志存储至服务器缓冲区中，并监测所述服务器缓冲区中所存储的日志是否满足预设条件；
当所述服务器缓冲区所存储的日志满足所述预设条件时，执行所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤。
本发明计算机可读存储介质具体实施方式与上述日志管理方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种日志管理方法，其特征在于，所述日志管理方法包括以下步骤：
当侦测到获取与日志管理系统连接的业务系统日志的获取指令时，根据所述获取指令获取所述业务系统的日志；
将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志；
将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志。
2.如权利要求1所述的日志管理方法，其特征在于，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
根据所述日志的级别标识将所述日志存储至消息中间件集群中；
确定所述日志对应的属性信息；
根据所述属性信息对所述日志进行分类，得到不同类型的日志。
3.如权利要求1所述的日志管理方法，其特征在于，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，根据所述日志确定所述业务系统中各个服务的调用频率和调用时间；
根据所述调用频率和所述调用时间确定所述业务系统服务质量的级别；
根据所述服务质量的级别对所述日志进行分类，得到不同类型的日志。
4.如权利要求1所述的日志管理方法，其特征在于，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，获取所述日志的服务标识，根据所述日志的服务标识确定所述业务系统中各个服务的调用链；
将所述调用链与预设调用链进行匹配，根据匹配所得的第一匹配结果对所述日志进行分类，得到不同类型的日志。
5.如权利要求1所述的日志管理方法，其特征在于，所述将所述日志存储至消息中间件集群中，对所述日志进行分类，得到不同类型的日志的步骤包括：
将所述日志存储至消息中间件集群中，获取所述业务系统的心跳日志；
将所述心跳日志与预设心跳日志进行匹配，根据匹配所得的第二匹配结果对所述日志进行分类，得到不同类型的日志。
6.如权利要求5所述的日志管理方法，其特征在于，所述将所述心跳日志与预设心跳日志进行匹配的步骤之后，还包括：
若所述心跳日志与所述预设心跳日志不匹配，则确定所述业务系统处于异常状态；
触发告警指令，根据所述告警指令提示运维人员所述业务系统处于异常状态。
7.如权利要求1所述的日志管理方法，其特征在于，所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤之后，还包括：
当侦测到修改所述索引的修改指令时，根据所述修改指令修改所述索引，其中，所述修改指令包括建立指令、删除指令、以及修改每个索引存储的字段个数和字段类型的修改指令。
8.如权利要求1至7任一项所述的日志管理方法，其特征在于，所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤之前，还包括：
将分类后的所述日志存储至服务器缓冲区中，并监测所述服务器缓冲区中所存储的日志是否满足预设条件；
当所述服务器缓冲区所存储的日志满足所述预设条件时，执行所述将不同类型的所述日志存储至预设服务器集群中，并根据所述日志的类型建立对应的索引，以供所述业务系统根据所述索引调用和/或查看所述日志的步骤。
9.一种日志管理系统，其特征在于，所述日志管理系统包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的日志管理程序，所述日志管理程序被所述处理器执行时实现如权利要求1至8中任一项所述的日志管理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志管理程序，所述日志管理程序被处理器执行时实现如权利要求1至8中任一项所述的日志管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710683100.2A CN107622084A (zh) | 2017-08-10 | 2017-08-10 | 日志管理方法、系统以及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710683100.2A CN107622084A (zh) | 2017-08-10 | 2017-08-10 | 日志管理方法、系统以及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107622084A true CN107622084A (zh) | 2018-01-23 |
Family
ID=61088015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710683100.2A Pending CN107622084A (zh) | 2017-08-10 | 2017-08-10 | 日志管理方法、系统以及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107622084A (zh) |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108897669A (zh) * | 2018-07-05 | 2018-11-27 | 城家网络科技有限公司 | 应用监控方法及设备 |
| CN108959526A (zh) * | 2018-06-28 | 2018-12-07 | 郑州云海信息技术有限公司 | 日志管理方法以及日志管理装置 |
| CN109309587A (zh) * | 2018-10-09 | 2019-02-05 | 广东网安科技有限公司 | 一种日志采集方法及系统 |
| CN109542741A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技（深圳）有限公司 | 日志自动分组存储方法、装置、计算机设备和存储介质 |
| CN109669915A (zh) * | 2018-12-12 | 2019-04-23 | 浪潮(北京)电子信息产业有限公司 | 一种计算机任务管理方法、装置及相关设备 |
| CN109684370A (zh) * | 2018-09-07 | 2019-04-26 | 平安普惠企业管理有限公司 | 日志数据处理方法、系统、设备及存储介质 |
| CN109933505A (zh) * | 2019-03-14 | 2019-06-25 | 深圳市珍爱捷云信息技术有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN109992476A (zh) * | 2019-03-20 | 2019-07-09 | 网宿科技股份有限公司 | 一种日志的分析方法、服务器及存储介质 |
| CN110134576A (zh) * | 2019-04-30 | 2019-08-16 | 平安科技（深圳）有限公司 | 一种批处理日志查询方法、终端及计算机可读存储介质 |
| CN110598199A (zh) * | 2018-06-12 | 2019-12-20 | 百度在线网络技术（北京）有限公司 | 数据流式处理方法、装置、计算机设备和存储介质 |
| WO2019242148A1 (zh) * | 2018-06-21 | 2019-12-26 | 平安科技（深圳）有限公司 | 日志处理方法、装置及存储介质、服务器 |
| CN110727641A (zh) * | 2019-10-21 | 2020-01-24 | 中国民航信息网络股份有限公司 | 一种日志的查找方法及装置 |
| CN110807050A (zh) * | 2019-09-25 | 2020-02-18 | 平安科技（深圳）有限公司 | 性能分析方法、装置、计算机设备及存储介质 |
| CN110968561A (zh) * | 2018-09-30 | 2020-04-07 | 北京国双科技有限公司 | 日志存储方法和分布式系统 |
| CN111008107A (zh) * | 2019-11-30 | 2020-04-14 | 北京浪潮数据技术有限公司 | 一种大数据集群日志存储方法、装置、设备及存储介质 |
| CN111061584A (zh) * | 2019-11-21 | 2020-04-24 | 浪潮电子信息产业股份有限公司 | 一种故障诊断方法、装置、设备及可读存储介质 |
| CN111198861A (zh) * | 2020-01-07 | 2020-05-26 | 北京字节跳动网络技术有限公司 | 逻辑日志的处理方法、装置及电子设备 |
| CN111241137A (zh) * | 2020-01-08 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN111324583A (zh) * | 2018-12-17 | 2020-06-23 | 中国移动通信集团广西有限公司 | 一种业务日志的分类方法及装置 |
| CN111343045A (zh) * | 2020-02-14 | 2020-06-26 | 青岛聚看云科技有限公司 | 调整心跳频率的方法及装置 |
| CN111478798A (zh) * | 2020-03-18 | 2020-07-31 | 华为技术有限公司 | 故障处理方法、故障处理的装置和存储介质 |
| CN111507341A (zh) * | 2020-04-20 | 2020-08-07 | 广州文远知行科技有限公司 | 一种目标边界框的调整方法、装置、设备及存储介质 |
| CN111506479A (zh) * | 2020-04-20 | 2020-08-07 | 深圳前海微众银行股份有限公司 | 一种日志数据处理方法及装置 |
| CN111522786A (zh) * | 2020-04-21 | 2020-08-11 | 中国建设银行股份有限公司 | 日志处理系统及方法 |
| CN111723063A (zh) * | 2019-03-18 | 2020-09-29 | 北京沃东天骏信息技术有限公司 | 一种离线日志数据处理的方法和装置 |
| CN111796935A (zh) * | 2020-06-29 | 2020-10-20 | 中国工商银行股份有限公司 | 调用日志信息的消费实例分配方法及系统 |
| CN111930702A (zh) * | 2020-08-14 | 2020-11-13 | 工银科技有限公司 | 日志处理方法、装置、系统及介质 |
| CN112134719A (zh) * | 2019-06-25 | 2020-12-25 | 中兴通讯股份有限公司 | 一种分析基站安全日志的方法和系统 |
| CN112162965A (zh) * | 2020-10-12 | 2021-01-01 | 平安科技（深圳）有限公司 | 一种日志数据处理的方法、装置、计算机设备及存储介质 |
| CN112214465A (zh) * | 2020-10-19 | 2021-01-12 | 珠海金山网络游戏科技有限公司 | 日志存储系统及方法 |
| CN112214459A (zh) * | 2020-10-12 | 2021-01-12 | 成都精灵云科技有限公司 | 基于事件机制的资源处理流程日志收集系统 |
| CN112398881A (zh) * | 2019-08-12 | 2021-02-23 | 上海擎感智能科技有限公司 | 数据接收和存储方法、系统、介质及装置 |
| CN112463527A (zh) * | 2020-11-13 | 2021-03-09 | 完美世界控股集团有限公司 | 一种数据处理方法、装置、设备、系统及存储介质 |
| CN112612677A (zh) * | 2020-12-28 | 2021-04-06 | 北京天融信网络安全技术有限公司 | 日志存储方法、装置、电子设备及可读存储介质 |
| CN113641560A (zh) * | 2021-10-15 | 2021-11-12 | 山东亚华电子股份有限公司 | 一种日志动态监控方法及设备 |
| CN113760835A (zh) * | 2021-01-07 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 日志管理方法、中台系统、电子设备和存储介质 |
| CN116541364A (zh) * | 2023-07-06 | 2023-08-04 | 中电科新型智慧城市研究院有限公司 | 日志数据的存储方法、装置、终端设备及存储介质 |
| CN116701336A (zh) * | 2023-05-19 | 2023-09-05 | 国网物资有限公司 | 电力数据日志处理方法、电子设备和计算机可读介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
| CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN105528454A (zh) * | 2015-12-25 | 2016-04-27 | 北京奇虎科技有限公司 | 日志处理方法及分布式集群的计算设备 |
-
2017
- 2017-08-10 CN CN201710683100.2A patent/CN107622084A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
| CN105224445A (zh) * | 2015-10-28 | 2016-01-06 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN105528454A (zh) * | 2015-12-25 | 2016-04-27 | 北京奇虎科技有限公司 | 日志处理方法及分布式集群的计算设备 |
Cited By (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598199B (zh) * | 2018-06-12 | 2023-07-25 | 百度在线网络技术（北京）有限公司 | 数据流式处理方法、装置、计算机设备和存储介质 |
| CN110598199A (zh) * | 2018-06-12 | 2019-12-20 | 百度在线网络技术（北京）有限公司 | 数据流式处理方法、装置、计算机设备和存储介质 |
| WO2019242148A1 (zh) * | 2018-06-21 | 2019-12-26 | 平安科技（深圳）有限公司 | 日志处理方法、装置及存储介质、服务器 |
| CN108959526A (zh) * | 2018-06-28 | 2018-12-07 | 郑州云海信息技术有限公司 | 日志管理方法以及日志管理装置 |
| CN108959526B (zh) * | 2018-06-28 | 2021-10-15 | 郑州云海信息技术有限公司 | 日志管理方法以及日志管理装置 |
| CN108897669A (zh) * | 2018-07-05 | 2018-11-27 | 城家网络科技有限公司 | 应用监控方法及设备 |
| CN109684370A (zh) * | 2018-09-07 | 2019-04-26 | 平安普惠企业管理有限公司 | 日志数据处理方法、系统、设备及存储介质 |
| CN110968561A (zh) * | 2018-09-30 | 2020-04-07 | 北京国双科技有限公司 | 日志存储方法和分布式系统 |
| CN110968561B (zh) * | 2018-09-30 | 2024-02-13 | 北京国双科技有限公司 | 日志存储方法和分布式系统 |
| CN109309587A (zh) * | 2018-10-09 | 2019-02-05 | 广东网安科技有限公司 | 一种日志采集方法及系统 |
| CN109542741B (zh) * | 2018-10-11 | 2022-07-15 | 平安科技（深圳）有限公司 | 日志自动分组存储方法、装置、计算机设备和存储介质 |
| CN109542741A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技（深圳）有限公司 | 日志自动分组存储方法、装置、计算机设备和存储介质 |
| CN109669915A (zh) * | 2018-12-12 | 2019-04-23 | 浪潮(北京)电子信息产业有限公司 | 一种计算机任务管理方法、装置及相关设备 |
| CN111324583B (zh) * | 2018-12-17 | 2023-10-27 | 中国移动通信集团广西有限公司 | 一种业务日志的分类方法及装置 |
| CN111324583A (zh) * | 2018-12-17 | 2020-06-23 | 中国移动通信集团广西有限公司 | 一种业务日志的分类方法及装置 |
| CN109933505A (zh) * | 2019-03-14 | 2019-06-25 | 深圳市珍爱捷云信息技术有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN111723063A (zh) * | 2019-03-18 | 2020-09-29 | 北京沃东天骏信息技术有限公司 | 一种离线日志数据处理的方法和装置 |
| CN109992476A (zh) * | 2019-03-20 | 2019-07-09 | 网宿科技股份有限公司 | 一种日志的分析方法、服务器及存储介质 |
| CN109992476B (zh) * | 2019-03-20 | 2023-08-18 | 网宿科技股份有限公司 | 一种日志的分析方法、服务器及存储介质 |
| CN110134576A (zh) * | 2019-04-30 | 2019-08-16 | 平安科技（深圳）有限公司 | 一种批处理日志查询方法、终端及计算机可读存储介质 |
| CN110134576B (zh) * | 2019-04-30 | 2023-01-17 | 平安科技（深圳）有限公司 | 一种批处理日志查询方法、终端及计算机可读存储介质 |
| CN112134719A (zh) * | 2019-06-25 | 2020-12-25 | 中兴通讯股份有限公司 | 一种分析基站安全日志的方法和系统 |
| CN112398881A (zh) * | 2019-08-12 | 2021-02-23 | 上海擎感智能科技有限公司 | 数据接收和存储方法、系统、介质及装置 |
| CN110807050B (zh) * | 2019-09-25 | 2023-05-30 | 平安科技（深圳）有限公司 | 性能分析方法、装置、计算机设备及存储介质 |
| CN110807050A (zh) * | 2019-09-25 | 2020-02-18 | 平安科技（深圳）有限公司 | 性能分析方法、装置、计算机设备及存储介质 |
| CN110727641B (zh) * | 2019-10-21 | 2023-10-27 | 中国民航信息网络股份有限公司 | 一种日志的查找方法及装置 |
| CN110727641A (zh) * | 2019-10-21 | 2020-01-24 | 中国民航信息网络股份有限公司 | 一种日志的查找方法及装置 |
| CN111061584A (zh) * | 2019-11-21 | 2020-04-24 | 浪潮电子信息产业股份有限公司 | 一种故障诊断方法、装置、设备及可读存储介质 |
| CN111008107A (zh) * | 2019-11-30 | 2020-04-14 | 北京浪潮数据技术有限公司 | 一种大数据集群日志存储方法、装置、设备及存储介质 |
| CN111198861A (zh) * | 2020-01-07 | 2020-05-26 | 北京字节跳动网络技术有限公司 | 逻辑日志的处理方法、装置及电子设备 |
| CN111241137A (zh) * | 2020-01-08 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN111241137B (zh) * | 2020-01-08 | 2023-08-22 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN111343045B (zh) * | 2020-02-14 | 2022-06-28 | 青岛聚看云科技有限公司 | 调整心跳频率的方法及装置 |
| CN111343045A (zh) * | 2020-02-14 | 2020-06-26 | 青岛聚看云科技有限公司 | 调整心跳频率的方法及装置 |
| CN111478798A (zh) * | 2020-03-18 | 2020-07-31 | 华为技术有限公司 | 故障处理方法、故障处理的装置和存储介质 |
| CN111507341A (zh) * | 2020-04-20 | 2020-08-07 | 广州文远知行科技有限公司 | 一种目标边界框的调整方法、装置、设备及存储介质 |
| CN111506479A (zh) * | 2020-04-20 | 2020-08-07 | 深圳前海微众银行股份有限公司 | 一种日志数据处理方法及装置 |
| CN111507341B (zh) * | 2020-04-20 | 2022-06-28 | 广州文远知行科技有限公司 | 一种目标边界框的调整方法、装置、设备及存储介质 |
| CN111522786A (zh) * | 2020-04-21 | 2020-08-11 | 中国建设银行股份有限公司 | 日志处理系统及方法 |
| CN111796935B (zh) * | 2020-06-29 | 2023-08-08 | 中国工商银行股份有限公司 | 调用日志信息的消费实例分配方法及系统 |
| CN111796935A (zh) * | 2020-06-29 | 2020-10-20 | 中国工商银行股份有限公司 | 调用日志信息的消费实例分配方法及系统 |
| CN111930702A (zh) * | 2020-08-14 | 2020-11-13 | 工银科技有限公司 | 日志处理方法、装置、系统及介质 |
| CN112214459A (zh) * | 2020-10-12 | 2021-01-12 | 成都精灵云科技有限公司 | 基于事件机制的资源处理流程日志收集系统 |
| CN112162965A (zh) * | 2020-10-12 | 2021-01-01 | 平安科技（深圳）有限公司 | 一种日志数据处理的方法、装置、计算机设备及存储介质 |
| CN112162965B (zh) * | 2020-10-12 | 2023-12-19 | 平安科技（深圳）有限公司 | 一种日志数据处理的方法、装置、计算机设备及存储介质 |
| CN112214465A (zh) * | 2020-10-19 | 2021-01-12 | 珠海金山网络游戏科技有限公司 | 日志存储系统及方法 |
| CN112463527A (zh) * | 2020-11-13 | 2021-03-09 | 完美世界控股集团有限公司 | 一种数据处理方法、装置、设备、系统及存储介质 |
| CN112612677A (zh) * | 2020-12-28 | 2021-04-06 | 北京天融信网络安全技术有限公司 | 日志存储方法、装置、电子设备及可读存储介质 |
| CN113760835A (zh) * | 2021-01-07 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 日志管理方法、中台系统、电子设备和存储介质 |
| CN113641560B (zh) * | 2021-10-15 | 2021-12-31 | 山东亚华电子股份有限公司 | 一种日志动态监控方法及设备 |
| CN113641560A (zh) * | 2021-10-15 | 2021-11-12 | 山东亚华电子股份有限公司 | 一种日志动态监控方法及设备 |
| CN116701336A (zh) * | 2023-05-19 | 2023-09-05 | 国网物资有限公司 | 电力数据日志处理方法、电子设备和计算机可读介质 |
| CN116541364A (zh) * | 2023-07-06 | 2023-08-04 | 中电科新型智慧城市研究院有限公司 | 日志数据的存储方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107622084A (zh) | 日志管理方法、系统以及计算机可读存储介质 | |
| US11853290B2 (en) | Anomaly detection | |
| US11366686B1 (en) | Managing user data in a multitenant deployment | |
| US10812335B2 (en) | Data insights for performance analytics | |
| US20200272622A1 (en) | Single click delta analysis | |
| US11106681B2 (en) | Conditional processing based on inferred sourcetypes | |
| US11615082B1 (en) | Using a data store and message queue to ingest data for a data intake and query system | |
| US20090259734A1 (en) | Distribution management method, a distribution management system and a distribution management server | |
| US11329869B2 (en) | Self-monitoring | |
| US8909622B1 (en) | Time-based log and alarm integration search tool for trouble-shooting | |
| US12019634B1 (en) | Reassigning a processing node from downloading to searching a data group | |
| US10354208B2 (en) | System and method for defining run books | |
| US20140244343A1 (en) | Metric management tool for determining organizational health | |
| US11892976B2 (en) | Enhanced search performance using data model summaries stored in a remote data store | |
| CN111740868A (zh) | 告警数据的处理方法和装置及存储介质 | |
| JP6294847B2 (ja) | ログ管理制御システムおよびログ管理制御方法 | |
| EP1428140A2 (en) | Systems and methods for collecting, storing, and analyzing database statistics | |
| US20160283306A1 (en) | Information processing apparatus, information processing method, and data center system | |
| US8725703B2 (en) | Management of an inventory of websites | |
| CN107046581A (zh) | 一种服务运行状态的监测方法、装置及服务器 | |
| CN114138720A (zh) | 日志处理方法、装置、电子装置和存储介质 | |
| US11709480B2 (en) | System and method for automatic data classification for use with data collection system and process control system | |
| CN105306257A (zh) | 一种收集用户体验的方法及系统 | |
| US11734245B1 (en) | Systems and methods for storing time-series data | |
| Eyers et al. | Configuring large‐scale storage using a middleware with machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180123 |
|
| RJ01 | Rejection of invention patent application after publication |