CN110932896A - 日志倒排索引的创建方法、装置、设备及可读存储介质 - Google Patents

日志倒排索引的创建方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110932896A
CN110932896A CN201911176104.7A CN201911176104A CN110932896A CN 110932896 A CN110932896 A CN 110932896A CN 201911176104 A CN201911176104 A CN 201911176104A CN 110932896 A CN110932896 A CN 110932896A
Authority
CN
China
Prior art keywords
log
index
creating
weblog
inverted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911176104.7A
Other languages
English (en)
Inventor
黄楷
杨俊杰
卢道和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201911176104.7A priority Critical patent/CN110932896A/zh
Publication of CN110932896A publication Critical patent/CN110932896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Abstract

本发明公开了一种日志倒排索引的创建方法、装置、设备及可读存储介质，涉及金融科技领域，该方法包括步骤：通过日志分析装置中部署的日志收集模块收集网络设备生成的网络日志；通过预设的正则表达式将所述网络日志的日志信息进行序列化，得到序列化后的网络日志；为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志。本发明提高了日志分析装置获取所需分析日志的获取效率。

Description

日志倒排索引的创建方法、装置、设备及可读存储介质
技术领域
本发明涉及金融科技(Fintech)的日志处理技术领域，尤其涉及一种日志倒排索引的创建方法、装置、设备及可读存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，数据处理技术也不例外，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。
目前对于金融行业的网络运维而言，日志处理方案有以下两种：第一种是由生成日志的网络设备进行日志分析，此时由于网络设备不是专门用于日志分析的设备，缺少日志分析的功能模块，因此在日志分析过程中需要耗费大量人力和时间，且日志分析实时性差；第二种是将网络设备所生成的日志输出至其它网络平台中，但是由于网络平台中的日志没有索引，因此网络平台在对日志分析过程中，搜索所要的日志效率低下。
发明内容
本发明的主要目的在于提供一种日志倒排索引的创建方法、装置、设备及可读存储介质，旨在解决现有的在日志分析过程中，获取所需分析的日志效率低下的技术问题。
为实现上述目的，本发明提供一种日志倒排索引的创建方法，所述日志倒排索引的创建方法包括步骤：
通过日志分析装置中部署的日志收集模块收集网络设备生成的网络日志；
通过预设的正则表达式将所述网络日志的日志信息进行序列化，得到序列化后的网络日志；
为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志。
优选地，所述为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志的步骤包括：
获取序列化后的网络日志，将序列化后的网络日志对应的每一条日志消息确定为一个日志文档；
设置各个所述日志文档对应文档标识，根据同一日志文档的所述文档标识和文档词汇设置对应日志文档的正排索引；
根据所述正排索引创建对应日志文档的倒排索引，以便于通过所述倒排索引获取所需的网络日志。
优选地，所述根据所述正排索引创建对应日志文档的倒排索引，以便于通过所述倒排索引获取所需的网络日志的步骤包括：
将所述正排索引中的文档词汇确定为属性值，并确定所述文档词汇在对应日志文档中的日志位置；
根据所述文档词汇对应的文档标识和日志位置设置所述属性值对应的日志地址，以对应创建所述日志文档的倒排索引，便于通过所述倒排索引获取所需的网络日志。
优选地，所述通过日志分析装置中部署的日志收集模块收集网络设备生成的网络日志的步骤之前，还包括：
按照系统日志Syslog报文的内容配置所述日志收集模块。
优选地，所述为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志的步骤之后，还包括：
检测所述网络日志中是否存在预设的告警字符；
若检测到所述网络日志中未存在所述告警字符，则发送提示信息给告警平台，根据所述提示信息告知所述告警平台未存在所述告警字符的网络日志。
优选地，所述为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志的步骤之后，还包括：
在所述日志分析装置的主节点中存储创建倒排索引后的网络日志，并将创建倒排索引后的网络日志存储至所述日志分析装置的从节点中。
优选地，所述将创建倒排索引后的网络日志存储至所述日志分析装置的从节点中的步骤之后，还包括：
当接收到查询日志分析装置存储的网络日志的查询指令后，确定所述查询指令对应的目标从节点；
从所述目标从节点中获取所述查询指令对应的网络日志发送给所述查询指令对应的终端设备中。
优选地，所述在所述日志分析装置的主节点中存储创建倒排索引后的网络日志，并将创建倒排索引后的网络日志存储至所述日志分析装置的从节点中的步骤之后，还包括：
当根据所述日志分析装置存储的网络日志确定对应网络设备处于故障状态时，获取处于故障状态网络设备的访问控制服务器ACS日志；
根据所述ACS日志确定处于故障状态的所述网络设备对应的事故责任用户。
此外，为实现上述目的，本发明还提供一种日志倒排索引的创建装置，所述日志倒排索引的创建装置包括：
收集模块，用于通过日志分析装置中部署的日志收集模块收集网络设备生成的网络日志；
序列化模块，用于通过预设的正则表达式将所述网络日志的日志信息进行序列化，得到序列化后的网络日志；
创建模块，用于为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志。
此外，为实现上述目的，本发明还提供一种日志倒排索引的创建设备，所述日志倒排索引的创建设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的日志倒排索引的创建程序，所述日志倒排索引的创建程序被所述处理器执行时实现如上所述的日志倒排索引的创建方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志倒排索引的创建程序，所述日志倒排索引的创建程序被处理器执行时实现如上所述的日志倒排索引的创建方法的步骤。
本发明通过日志分析装置获取网络设备生成的网络日志，并通过正则表达式对网络日志的日志信息进行序列化，得到序列化后的网络日志，并为序列化后的网络日志创建倒排索引。当日志分析装置需要获取日志进行分析时，日志分析装置通过倒排索引获取所需日志，通过索引快速获取所需的网络日志，提高了日志分析装置获取所需分析日志的获取效率。
附图说明
图1是本发明日志倒排索引的创建方法第一实施例的流程示意图；
图2是本发明日志倒排索引的创建方法第二实施例的流程示意图；
图3是本发明日志倒排索引的创建方法第三实施例的流程示意图
图4是本发明日志倒排索引的创建装置较佳实施例的功能示意图模块图；
图5是本发明实施例方案涉及的硬件运行环境的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种日志倒排索引的创建方法，参照图1，图1为本发明日志倒排索引的创建方法第一实施例的流程示意图。
本发明实施例提供了日志倒排索引的创建方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
日志倒排索引的创建方法包括：
步骤S10，通过日志分析装置中部署的日志收集模块收集网络设备生成的网络日志。
在本发明实施例中，在IDC(Internet Data Center，互联网数据中心)部署有日志分析装置和网络设备。日志分析装置为可实现搜索功能的服务器。如在本实施例中，本发明实施例中，日志分析装置可为实时全文搜索和分析引擎，提供所搜集、分析、存储数据三大功能，是一套开放rest和java-api的可扩展的分布式系统。日志分析装置是多节点的架构，主要包括主节点、数据节点和协调节点。主节点是唯一可以维护集群信息的节点；数据节点是可以保存数据的节点，负责保存分片数据，在数据扩展上启动至关重要的作用；协调节点负责接收客户端的请求，将请求分发到合适的节点，最终把结果汇聚到一起，通常每个节点都默认起到了协调节点的职责。
此外，本实施例中，日志分析装置还可分出主分片和副本分片。主分片用于解决数据水平扩展的问题，通过主分片可以将数据分不到集群内所有节点之上；副本分片就是主分片的拷贝，增加分片数目，可以在一定的程度上提高服务的可用性。
网络设备在运行过程中，会生成对应的网络日志，网络日志是基于syslog协议生成的，而日志分析装置中的日志收集模块(Logstash)是支持syslog协议的。日志分析装置中部署了日志收集模块，因此，当网络设备生成网络日志后，日志分析装置通过所部署的日志收集模块收集网络设备生成的网络日志。Syslog常被称为系统日志或系统记录，广泛应用于系统日志，Syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收Syslog的服务器，即本申请中的日志分析装置，接收Syslog的日志分析装置可以对多个网络设备的Syslog日志消息进行统一的存储，或者解析日志消息的内容做相应的处理。Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。在本实施例中，可在日志分析装置中设置两个模块，一个模块用于获取网络日志，并存储网络日志，另一个模块用于分析网络日志，也可以将这两个模块的功能融合在一个模块中，即由一个模块同时实现获取并存储网络日志，以及分析网络日志的功能。
需要说明的是，由于日志分析不需要很强的数据库事务性，因此日志分析装置更适合网络设备在OLAP(Online Analytical Processing，联机分析处理)业务下生成的网络日志，而且，网络日志通常都是面向主题的，这个主题可能是网络设备运行过程中所采用的通信协议、网络设备所调用端口的端口状态和人为对网络设备控制操作对应的人为操作等，且在分析网络日志过程中，历史的网络日志可能比当前的网络日志更重要，因为通过历史的网络日志可以分析出网络日志对应网络设备的状态。如若检测到某一台网络设备出现端口抖动的情况，此时则需要获取该网络设备的历史网络日志来判断该端口会不会出现硬件问题。其中，通信协议包括但不限于TCP/IP(Transport Control Protocol/InternetProtocol，传输控制协议/Internet协议)和IPX/SPX(Internet work Packet Exchange/Sequenced Packet Exchange protocol，网际包交换/序列包交换)，端口状态包括up和down两种状态，up表示打开状态，down表示关闭状态。
进一步地，在步骤S10之前，日志倒排索引的创建方法包括：
步骤a，按照系统日志Syslog报文的内容配置所述日志收集模块。
进一步地，为了收集网络设备所生成的网络日志，在网络设备中，需要配置网络日志的收集地址。对于不同厂商的网络设备，收集地址的配置方法可能不一样，收集地址由各个厂商根据具体需要而设置，如某个厂商对应的收集地址可配置为：logging serverx.x.x.x x use-vrf management facility local1。不管收集地址的配置方法如何，最终实现的效果都是将网络设备生成的网络日志，通过Syslog协议发送给日志分析装置的特定端口中。
在IDC的日志分析装置中，部署有至少一个日志收集节点，每个日志收集节点都部署有日志收集模块用于收集网络设备生成的网络日志。需要说明的是，日志分析装置是按照Syslog报文的内容配置日志收集模块，通过按照Syslog报文的内容配置日志收集模块才能把Syslog报文隶属于网络日志的部分提取出来。日志分析装置是按照Syslog报文的内容配置日志收集模块就是在日志收集模块中配置接收网络日志的日志端口。如配置方式可设置为：
Figure BDA0002289995270000061
步骤S20，通过预设的正则表达式将所述网络日志的日志信息进行序列化，得到序列化后的网络日志。
当日志分析装置获取到网络日志后，日志分析装置获取预先设置好的正则表达式，通过该正则表达式将所获取的网络日志的日志信息进行序列化，得到序列化后的网络日志。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。本实施例中的序列化为json序列化，通过json序列化，可以将所获取的每一条网络日志的日志信息对应各个字段的内容。如以管理IP为1.1.1.1的设备Ethernet1/1端口down网络日志为例：2019-09-01 12：00：00 1.1.1.1Xxx is Down，json序列化后所得网络日志为：
Figure BDA0002289995270000071
步骤S30，为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志。
当日志分析装置得到序列化后的网络日志时，日志分析装置为序列化后的网络日志创建倒排索引，并存储该网络日志的倒排索引，每一个日志行存为一个文档。这样每一次搜索词汇，都能够快速返回完整的文档，以便于日志分析装置在分析网络日志时，通过倒排索引快速获取到所需的网络日志。
进一步地，步骤S30包括：
步骤b，获取序列化后的网络日志，将序列化后的网络日志对应的每一条日志消息确定为一个日志文档。
进一步地，日志分析装置为序列化后的网络日志创建倒排索引的过程为：日志分析装置获取序列化后的网络日志，并将序列化后的网络日志对应的每一条日志消息确定为一个日志文档。可以理解的是，当所获取的网络日志的每一条日志消息都确定为一个日志文档，以便于在搜索日志文档对应词汇时，能快速确定该词汇对应的完整日志消息。每一条日志消息中都携带了日志生成时间、IP(Internet Protocol，网际互连协议)地址和生成该日志的网络设备的端口名称。日志分析装置每次所获取的网络日志中可能对应着一条日志消息，也可能对应着多条日志消息。
步骤c，设置各个所述日志文档对应文档标识，根据同一日志文档的所述文档标识和文档词汇设置对应日志文档的正排索引。
日志分析装置设置各个日志文档对应的文档标识，并获取各个日志文档中的文档词汇，其中，日志文档中的每个单词为一个文档词汇，每个特殊的符号也为一个文档词汇，文档标识可根据具体需要而设置，如可采用数字或者字母等形式表示文档标识，每一日志文档都存在对应的文档标识。日志分析装置根据属于同一日志文档的文档标识和文档词汇设置对应日志文档的正排索引。正排索引是指文档标识为key，表中记录每个文档词汇出现的次数，查找时扫描表中的每个文档中字的信息，直到找到所有包含查询文档词汇的文档。可以理解的是，在本实施例中，日志文档的正排索引是文档标识和对应文档词汇之间的映射关系。
步骤d，根据所述正排索引创建对应日志文档的倒排索引，以便于通过所述倒排索引获取所需的网络日志。
当日志分析装置设置了各个日志文档对应的正排索引后，日志分析装置根据正排索引创建对应日志文档的倒排索引，以便于通过倒排索引获取所需的网络日志。倒排索引源于实际应用中需要根据属性的值来查找记录，这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址，由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。如表1所示，表1为所创建的正排索引。
文档标识 文档词汇
1 Hello World
2 World war
3 Say Hello
由表1可知，在表1中，存在3个日志文档，每个日志文档中有两个文档词汇，文档标识分别为1、2和3。
进一步地，步骤d包括：
步骤d1，将所述正排索引中的文档词汇确定为属性值，并确定所述文档词汇在对应日志文档中的日志位置。
步骤d2，根据所述文档词汇对应的文档标识和日志位置设置所述属性值对应的日志地址，以对应创建所述日志文档的倒排索引，便于通过所述倒排索引获取所需的网络日志。
具体地，创建日志文档倒排索引的过程为：日志分析装置将正排索引中的文档词汇确定为属性值，并确定文档词汇在对应日志文档中的日志位置，根据各个文档词汇对应的文档标识和日志位置设置属性值对应的日志地址，以对应创建各个日志文档的倒排索引。可以理解的是，日志地址是由文档标识和日志位置组成的。
参照表2，表2为与表1对应的倒排索引。
文档词汇 词汇数量 日志地址
World 2 1:1，2:0
Hello 2 1:0，3:1
Say 1 3:0
war 1 2:1
在表2中，记录了日志文档中各个文档词汇对应的数量，以及由文档标识和日志位置组成的日志地址，每个文档词汇都存在对应的日志地址。在表2中，用0、1、2…n表示文档词汇的文档位置，“0”表示该文档词汇是日志文档的第一个词汇，“1”表示该文档词汇是日志文档的第二个词汇。表2中的日志地址的第一位为文档词汇对应的文档标识，第二位为文档词汇对应日志位置。在其它实施例中，日志地址的第一位也可为文档词汇对应日志位置，第二位为文档词汇对应的文档标识。如“3:0”表示“Say”词汇对应的文档标识为“3”，是文档标识“3”对应日志文档中的第一个文档词汇。
本实施例通过日志分析装置获取网络设备生成的网络日志，并通过正则表达式对网络日志的日志信息进行序列化，得到序列化后的网络日志，并为序列化后的网络日志创建倒排索引。当日志分析装置需要获取日志进行分析时，日志分析装置通过倒排索引获取所需日志，通过索引快速获取所需的网络日志，提高了日志分析装置获取所需分析日志的获取效率。
需要说明的是，在现有的获取网络日志过程中，可以由运维人员写一个脚本程序实现在日志分析装置的某个端口开启套接字监听，每收到一条网络日志，就实时地用不同的正则表达式解析Syslog协议，并发送给日志分析装置，但是此方法对于运维来说开发的难度大，因为不同主题的网络日志要编写不同的正则表达式。在日志分析装置获取网络过程中，要区分各网络日志的主题，耗时长。
进一步地，也可以使用rsyslog将网络日志转发至日志分析装置，但是由于各个IDC的网络设备厂商不相同，日志格式也不相同，若rsyslog将网络日志转发至日志分析装置，对网络设备和日志分析装置的配置会要求更高，需要日志分析装置具备兼容性。
进一步地，提出本发明日志倒排索引的创建方法第二实施例。
所述日志倒排索引的创建方法第二实施例与所述日志倒排索引的创建方法第一实施例的区别在于，参照图2，所述日志倒排索引的创建方法还包括：
步骤S40，检测所述网络日志中是否存在预设的告警字符。
当日志分析装置为网络日志创建倒排索引后，日志分析装置存储创建倒排索引后的网络日志，并检测其所存储的网络日志中是否存在预设的告警字符。其中，告警字符是日志分析装置预先存储好的，本实施例不限制告警字符的表现形式。具体地，日志分析装置在检测所存储的网络日志是否存在告警字符时，日志分析装置将所存储的网络日志各个字段与告警字符进行对比，若网络日志中存在字段的字符与告警字符一致，日志分析装置则确定所存储的网络日志中存在告警字符；若网络日志中未存在字段的字符与告警字符一致，日志分析装置则确定所存储的网络日志中未存在告警字符。
步骤S50，若检测到所述网络日志中未存在所述告警字符，则发送提示信息给告警平台，根据所述提示信息告知所述告警平台未存在所述告警字符的网络日志。
若日志分析装置检测到网络日志中存在告警字符，日志分析装置则生成提示信息，并发送提示信息给告警平台。当告警平台接收到日志分析装置发送的提示信息后，告警平台根据该提示信息确定日志分析装置中的哪些网络日志是没有告警字符的。具体地，日志分析装置可通过HTTP(Hyper Text Transport Protocol，超文本传输协议)的方式将提示信息发送给告警平台。进一步地，告警平台也可以输出该提示信息，根据该提示信息提示告警平台对应的用户，哪些网络日志是未存在告警字符的。在本实施例中，告警平台可通过语音或者文字等方式输出提示信息。
本实施例通过在检测到网络日志中未存在告警字符时，发送提示信息给告警平台，以通过该提示信息告知告警平台哪些网络日志中没有配置告警字符，避免告警平台只能查到存在告警字符的网络日志，提高了告警平台分析网络日志的全面性，从而提高了告警平台输出告警信息的全面性，以及实现了日志分析装置和告警平台的联动。
进一步地，提出本发明日志倒排索引的创建方法第三实施例。
所述日志倒排索引的创建方法第三实施例与所述日志倒排索引的创建方法第一和/或第二实施例的区别在于，参照图3，所述日志倒排索引的创建方法还包括：
步骤S60，在所述日志分析装置的主节点中存储创建倒排索引后的网络日志，并将创建倒排索引后的网络日志存储至所述日志分析装置的从节点中。
当日志分析装置为所获取网络日志创建倒排索引，得到创建倒排索引后的网络日志后，日志分析装置把创建倒排索引后的网络日志存储在主节点中，并将创建倒排索引后的网络日志存储至从节点中。需要说明的是，日志分析装置是一个分布式系统，每个主节点至少对应着一个从节点，从节点为主节点的备用节点，从节点备份主节点的数据。
本实施例通过将创建倒排索引后的网络日志存储至日志分析装置的主节点和从节点中，通过从节点来备份网络日志，避免网络日志的丢失。
进一步地，所述日志倒排索引的创建方法还包括：
步骤e，当接收到查询日志分析装置存储的网络日志的查询指令后，确定所述查询指令对应的目标从节点。
当日志分析装置接收到查询所存储网络日志的查询指令后，日志分析装置确定查询指令对应的从节点，并将查询指令对应的从节点记为目标从节点。其中，查询指令可由用户根据需要在日志分析装置的显示界面中触发，也可为用户通过其它终端设备发送给日志分析装置的。需要说明的是，在本实施例中，日志分析装置专门设置了一个目标从节点，用于做API(Application Program Interface，应用程序接口)的处理器，用于处理所接收的查询指令。
步骤f，从所述目标从节点中获取所述查询指令对应的网络日志发送给所述查询指令对应的终端设备中。
当确定目标从节点后，日志分析装置从目标从节点中获取查询指令对应的网络日志，并将所获取的网络日志发送给查询指令对应的终端设备中。若该查询指令为用户在日志分析装置的显示界面中触发的，日志分析装置则在其显示界面中显示所获取的网络日志。
本实施例通过在日志分析装置中设置一个从节点作为目标从节点，专门处理查询指令，即在接收到查询指令时，直接从目标从节点中获取所需查询的网络日志，不需要从主节点中获取查询指令对应的网络日志，避免在主节点中查询网络日志时，由于主节点处理事项较多，得到查询指令对应的网络日志效率较慢的情况出现，提高了查询网络日志的查询效率。
进一步地，所述日志倒排索引的创建方法还包括：
步骤g，当根据所述日志分析装置存储的网络日志确定对应网络设备处于故障状态时，获取处于故障状态网络设备的访问控制服务器ACS日志。
步骤h，根据所述ACS日志确定处于故障状态的所述网络设备对应的事故责任用户。
日志分析装置在分析所存储的网络日志过程中，若日志分析装置分析到网络日志对应的网络设备处于故障状态时，日志分析装置获取处于故障状态对应网络设备的ACS(Access Control Server，访问控制服务器)日志，根据ACS日志确定处于故障状态的网络设备对应的事故责任用户。需要说明的是，网络日志包括两种，分别为网络设备日志和ACS日志，网络设备日志是网络设备运行过程中生成的日志，ACS日志是网络设备在接收到用户操作指令是，执行相应操作后生成的日志，ACS日志不会参与数据的转发，但会记录运维人员的每次操作指令。在每个ACS日志中，都会携带有对应网络设备的设备标识和对应运维人员的运维账号，每一运维人员都存在对应的运维账号。因此，当日志分析装置获取到ACS日志后，根据ACS日志即可确定网络设备对应的运维人员，该运维人员记为事故责任用户，即该运维人员是网络设备处于故障状态的事故责任人。
本实施例通过ACS日志定位处于故障状态网络设备的事故责任用户，实现了快速定位导致网络设备处于故障状态的用户。
此外，参照图4，本发明还提供一种日志倒排索引的创建装置，所述日志倒排索引的创建装置包括：
收集模块10，用于通过日志分析装置中部署的日志收集模块收集网络设备生成的网络日志；
序列化模块20，用于通过预设的正则表达式将所述网络日志的日志信息进行序列化，得到序列化后的网络日志；
创建模块30，用于为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志。
进一步地，所述创建模块30包括：
获取单元，用于获取序列化后的网络日志；
确定单元，用于将序列化后的网络日志对应的每一条日志消息确定为一个日志文档；
设置单元，用于设置各个所述日志文档对应文档标识，根据同一日志文档的所述文档标识和文档词汇设置对应日志文档的正排索引；
创建单元，用于根据所述正排索引创建对应日志文档的倒排索引，以便于通过所述倒排索引获取所需的网络日志。
进一步地，所述创建单元包括：
确定子单元，用于将所述正排索引中的文档词汇确定为属性值，并确定所述文档词汇在对应日志文档中的日志位置；
设置子单元，用于根据所述文档词汇对应的文档标识和日志位置设置所述属性值对应的日志地址，以对应创建所述日志文档的倒排索引，便于通过所述倒排索引获取所需的网络日志。
进一步地，所述日志倒排索引的创建装置包括：
配置模块，用于按照系统日志Syslog报文的内容配置所述日志收集模块。
进一步地，所述日志倒排索引的创建装置包括：
检测模块，用于检测所述网络日志中是否存在预设的告警字符；
第一发送模块，用于若检测到所述网络日志中未存在所述告警字符，则发送提示信息给告警平台，根据所述提示信息告知所述告警平台未存在所述告警字符的网络日志。
进一步地，所述日志倒排索引的创建装置包括：
存储模块，用于在所述日志分析装置的主节点中存储创建倒排索引后的网络日志，并将创建倒排索引后的网络日志存储至所述日志分析装置的从节点中。
进一步地，所述日志倒排索引的创建装置还包括：
第一确定模块，用于当接收到查询日志分析装置存储的网络日志的查询指令后，确定所述查询指令对应的目标从节点；
第二发送模块，用于从所述目标从节点中获取所述查询指令对应的网络日志发送给所述查询指令对应的终端设备中。
进一步地，所述日志倒排索引的创建装置还包括：
获取模块，用于当根据所述日志分析装置存储的网络日志确定对应网络设备处于故障状态时，获取处于故障状态网络设备的访问控制服务器ACS日志；
第二确定模块，用于根据所述ACS日志确定处于故障状态的所述网络设备对应的事故责任用户。
需要说明的是，日志倒排索引的创建装置的各个实施例与上述日志倒排索引的创建方法的各实施例基本相同，在此不再详细赘述。
此外，本发明还提供一种日志倒排索引的创建设备。如图5所示，图5是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图5即可为日志倒排索引的创建设备的硬件运行环境的结构示意图。本发明实施例日志倒排索引的创建设备可以是PC，便携计算机等终端设备。
如图5所示，该日志倒排索引的创建设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，日志倒排索引的创建设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解，图5中示出的日志倒排索引的创建设备结构并不构成对日志倒排索引的创建设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及日志倒排索引的创建程序。其中，操作系统是管理和控制日志倒排索引的创建设备硬件和软件资源的程序，支持日志倒排索引的创建程序以及其它软件或程序的运行。
在图5所示的日志倒排索引的创建设备中，用户接口1003主要用于连接网络设备，与网络设备进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的日志倒排索引的创建程序，并执行如上所述的日志倒排索引的创建方法的步骤。
本发明日志倒排索引的创建设备具体实施方式与上述日志倒排索引的创建方法各实施例基本相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有日志倒排索引的创建程序，所述日志倒排索引的创建程序被处理器执行时实现如上所述的日志倒排索引的创建方法的步骤。
本发明计算机可读存储介质具体实施方式与上述日志倒排索引的创建方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种日志倒排索引的创建方法，其特征在于，所述日志倒排索引的创建方法包括以下步骤：
通过日志分析装置中部署的日志收集模块收集网络设备生成的网络日志；
通过预设的正则表达式将所述网络日志的日志信息进行序列化，得到序列化后的网络日志；
为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志。
2.如权利要求1所述的日志倒排索引的创建方法，其特征在于，所述为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志的步骤包括：
获取序列化后的网络日志，将序列化后的网络日志对应的每一条日志消息确定为一个日志文档；
设置各个所述日志文档对应文档标识，根据同一日志文档的所述文档标识和文档词汇设置对应日志文档的正排索引；
根据所述正排索引创建对应日志文档的倒排索引，以便于通过所述倒排索引获取所需的网络日志。
3.如权利要求2所述的日志倒排索引的创建方法，其特征在于，所述根据所述正排索引创建对应日志文档的倒排索引，以便于通过所述倒排索引获取所需的网络日志的步骤包括：
将所述正排索引中的文档词汇确定为属性值，并确定所述文档词汇在对应日志文档中的日志位置；
根据所述文档词汇对应的文档标识和日志位置设置所述属性值对应的日志地址，以对应创建所述日志文档的倒排索引，便于通过所述倒排索引获取所需的网络日志。
4.如权利要求1所述的日志倒排索引的创建方法，其特征在于，所述通过日志分析装置中部署的日志收集模块收集网络设备生成的网络日志的步骤之前，还包括：
按照系统日志Syslog报文的内容配置所述日志收集模块。
5.如权利要求1至4任一项所述的日志倒排索引的创建方法，其特征在于，所述为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志的步骤之后，还包括：
检测所述网络日志中是否存在预设的告警字符；
若检测到所述网络日志中未存在所述告警字符，则发送提示信息给告警平台，根据所述提示信息告知所述告警平台未存在所述告警字符的网络日志。
6.如权利要求1至4任一项所述的日志倒排索引的创建方法，其特征在于，所述为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志的步骤之后，还包括：
在所述日志分析装置的主节点中存储创建倒排索引后的网络日志，并将创建倒排索引后的网络日志存储至所述日志分析装置的从节点中。
7.如权利要求6所述的日志倒排索引的创建方法，其特征在于，所述将创建倒排索引后的网络日志存储至所述日志分析装置的从节点中的步骤之后，还包括：
当接收到查询日志分析装置存储的网络日志的查询指令后，确定所述查询指令对应的目标从节点；
从所述目标从节点中获取所述查询指令对应的网络日志发送给所述查询指令对应的终端设备中。
8.如权利要求6所述的日志倒排索引的创建方法，其特征在于，所述在所述日志分析装置的主节点中存储创建倒排索引后的网络日志，并将创建倒排索引后的网络日志存储至所述日志分析装置的从节点中的步骤之后，还包括：
当根据所述日志分析装置存储的网络日志确定对应网络设备处于故障状态时，获取处于故障状态网络设备的访问控制服务器ACS日志；
根据所述ACS日志确定处于故障状态的所述网络设备对应的事故责任用户。
9.一种日志倒排索引的创建装置，其特征在于，所述日志倒排索引的创建装置包括：
收集模块，用于通过日志分析装置中部署的日志收集模块收集网络设备生成的网络日志；
序列化模块，用于通过预设的正则表达式将所述网络日志的日志信息进行序列化，得到序列化后的网络日志；
创建模块，用于为序列化后的网络日志创建倒排索引，以便于通过所述倒排索引获取所需的网络日志。
10.一种日志倒排索引的创建设备，其特征在于，所述日志倒排索引的创建设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的日志倒排索引的创建程序，所述日志倒排索引的创建程序被所述处理器执行时实现如权利要求1至8中任一项所述的日志倒排索引的创建方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志倒排索引的创建程序，所述日志倒排索引的创建程序被处理器执行时实现如权利要求1至8中任一项所述的日志倒排索引的创建方法的步骤。
CN201911176104.7A 2019-11-26 2019-11-26 日志倒排索引的创建方法、装置、设备及可读存储介质 Pending CN110932896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911176104.7A CN110932896A (zh) 2019-11-26 2019-11-26 日志倒排索引的创建方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911176104.7A CN110932896A (zh) 2019-11-26 2019-11-26 日志倒排索引的创建方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110932896A true CN110932896A (zh) 2020-03-27

Family

ID=69851155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911176104.7A Pending CN110932896A (zh) 2019-11-26 2019-11-26 日志倒排索引的创建方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110932896A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113141403A (zh) * 2021-04-21 2021-07-20 北京天空卫士网络安全技术有限公司 一种日志传输方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113141403A (zh) * 2021-04-21 2021-07-20 北京天空卫士网络安全技术有限公司 一种日志传输方法和装置
CN113141403B (zh) * 2021-04-21 2023-10-17 北京天空卫士网络安全技术有限公司 一种日志传输方法和装置

Similar Documents

Publication Publication Date Title
US9582556B2 (en) Automatic generation of an extract, transform, load (ETL) job
CN109800207B (zh) 日志解析方法、装置、设备及计算机可读存储介质
US20190138498A1 (en) Resolving in-memory foreign keys in transmitted data packets from single-parent hierarchies
US11379482B2 (en) Methods, systems, and computer readable mediums for performing an aggregated free-form query
CN108228770A (zh) 一种应用文件来源查询的方法及装置
CN111339171A (zh) 数据查询的方法、装置及设备
CN110737634A (zh) 日志搜索方法、客户端、服务端与计算机可读存储介质
US20040049495A1 (en) System and method for automatically generating general queries
CN116055551A (zh) 信息推送方法、装置、系统、电子设备及存储介质
CN112052227A (zh) 数据变更日志的处理方法、装置和电子设备
CN103532737A (zh) 一种处理多种类型告警的方法、装置及系统
CN113688183A (zh) 多类型数据源抽取方法、系统、终端设备以及存储介质
CN110932896A (zh) 日志倒排索引的创建方法、装置、设备及可读存储介质
CN112182025A (zh) 日志分析方法、装置、设备与计算机可读存储介质
CN111125226B (zh) 一种配置数据采集方法及装置
CN112732663A (zh) 一种日志信息处理方法及装置
CN109101595B (zh) 一种信息查询方法、装置、设备及计算机可读存储介质
JP5348413B2 (ja) アプリケーションサーバ、オブジェクト管理方法およびオブジェクト管理プログラム
CN111090651B (zh) 数据源的处理方法、装置、设备及可读存储介质
EP2442235A1 (en) Method adapting to mobile search interface, search server and system thereof
CN113709187A (zh) 多服务器的数据请求方法、装置、设备及存储介质
CN112181929A (zh) 云管平台日志处理方法、装置、电子装置和存储介质
CN112445811A (zh) 基于sql配置的数据服务方法、装置、存储介质及组件
JP4863126B2 (ja) サーバ監視システム及びサーバ監視方法
CN109274518B (zh) 一种设备管理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination