CN106250424A - 一种日志上下文内容的搜索方法、装置及系统 - Google Patents

一种日志上下文内容的搜索方法、装置及系统 Download PDF

Info

Publication number
CN106250424A
CN106250424A CN201610591598.5A CN201610591598A CN106250424A CN 106250424 A CN106250424 A CN 106250424A CN 201610591598 A CN201610591598 A CN 201610591598A CN 106250424 A CN106250424 A CN 106250424A
Authority
CN
China
Prior art keywords
daily record
record data
context
identification
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610591598.5A
Other languages
English (en)
Other versions
CN106250424B (zh
Inventor
陈亮亮
黄珍锡
高亮
吴悠笛
柏跑
张晓容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Shuzhifan Technology Co ltd
Original Assignee
Hangzhou Langhe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Langhe Technology Co Ltd filed Critical Hangzhou Langhe Technology Co Ltd
Priority to CN201610591598.5A priority Critical patent/CN106250424B/zh
Publication of CN106250424A publication Critical patent/CN106250424A/zh
Application granted granted Critical
Publication of CN106250424B publication Critical patent/CN106250424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems

Abstract

本发明的实施方式提供了一种日志上下文内容的搜索方法、装置及系统。该方法包括:接收用户基于任一日志数据发送的上下文内容查询请求;根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容;向用户展示该日志数据的上下文内容。通过记录日志数据的顺序标识和来源标识,从而能够根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,使得用户在搜索日志数据时,能够搜索任一日志数据的上下文内容,方便根据搜索到的上下文内容定位日志事件的前因后果,一旦发现错误日志,方便确定错误日志数据的发生原因。此外,本发明的实施方式提供了一种日志上下文内容的搜索装置及系统。

Description

一种日志上下文内容的搜索方法、装置及系统
技术领域
本发明的实施方式涉及日志搜索技术领域,更具体地,本发明的实施方式涉及一种日志上下文内容的搜索方法、装置及系统。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着大数据的发展,利用大数据技术对数据进行处理受到越来越多的关注,日志搜索就属于大数据挖掘与分析的方法之一。
日志搜索是统一日志服务系统的核心技术,统一日志服务系统是一种集分布式日志收集、日志智能化解析、日志集中索引存储、日志自由化搜索以及统计分析等功能于一体的日志类服务系统,其主要原理可以简要概括为:
统一日志服务系统的采集端分布式收集位于四面八方各个用户服务器上的相关日志数据。通常,需要采集哪个服务器上的日志数据、采集何种类型的日志数据、以及采集哪些日志文件的日志数据可以由用户指定。采集端时刻监控需要采集日志的数据源,一旦数据源中有新的日志数据写入,则采集端会立即收集最新的日志数据并发送至后端系统中,以达到数据处理实时性的要求。
后端系统接收到采集端发送的日志数据后,对日志数据进行解析处理,分离出日志数据中有意义(或用户所需要)的信息,组成一个一个的字段,并发送至索引系统中。
索引系统负责对准备好的数据建立倒排索引结构,以方便用户后续进行快速的查找,建索引期间还有可能会有分词等操作,以使用户可以进行自由化全文本检索。
日志数据被建成索引后,用户即可以对其进行搜索、统计、分析等操作,这些操作可以通过接口,也可以通过界面来进行,用户可以根据具体的场景来实现自己的需求。
现有技术中,在通常的实现中,完整的统一日志服务系统的实现方案,如图1所示,包括四个部分:日志收集部分102、格式解析部分104、索引和存储部分106以及对外的查询、搜索和统计部分108,其中,日志收集部分102中示出的Datastream Agent是配置在用户服务器中的日志收集客户端,也可以是其他的日志收集程序,例如:Rsyslog、Flume等,并采用消息队列对采集的日志数据进行传输,后端的解析、索引/存储和搜索系统这里以ELK开源套件为例,也可以是用户自己实现的系统,具体来说:日志收集部分102主要利用实时跟踪文件变更、日志数据转发以及分布式等技术;格式解析部分104主要利用日志结构识别、字段解析等技术;索引和存储部分106主要利用倒排链表、分词、语义分析等索引技术;对外的查询、搜索和统计部分108主要利用排序、打分、过滤等搜索技术。
在现有统一日志服务系统中,日志数据在采集端被采集,通过一系列流程最终进入搜索系统建立索引后,原始日志文件中的原有顺序信息将会丢失,例如:在日志数据收集过程中,受网络传输等影响,使得同一用户服务器中在后的日志数据先被后端系统所接收,在先的日志数据后被后端系统所接收,从而导致原始日志文件中的原有顺序信息丢失。由于统一日志服务系统是一个分布式的系统,数据来源于四面八方,不同于在用户服务器中直接查看某个日志文件,丢失了顺序信息也即意味着系统中所有的日志数据都是乱序的,则无法再还原日志数据的原始因果关系。
因此,现有的日志搜索系统通常只提供日志数据的搜索、查看、统计、分析等功能,用户可以对已收集的日志数据进行按关键词搜索、整体查看、按搜索条件进行统计和分析,但用户无法对某个日志数据相关联(上下文)的内容进行查看,由于缺失这部分(日志相关联的内容)重要的信息,用户无法查看日志事件的前因后果,无法准确的知道程序日志中某个错误日志数据的发生原因,这对于用户很多场景使用上来说是一种巨大的掣肘。
因此,目前亟需一种日志上下文内容的搜索方法,以使用户能够在搜索日志数据时,能够搜索每一条日志数据的上下文内容,方便还原日志事件的前因后果。
发明内容
出于现有的日志搜索系统通常只提供日志数据的搜索、查看、统计、分析等功能,但用户无法对某个日志数据相关联(上下文)的内容进行查看,由于缺失这部分(日志数据的上下文内容)重要的信息,用户无法还原日志事件的前因后果,导致用户无法准确的确定程序日志中某个错误日志数据的发生原因。
为此,非常需要一种改进的日志上下文内容的搜索方法,以使用户能够在搜索日志数据时,能够搜索每一条日志数据的上下文内容,方便还原日志事件的前因后果,方便确定某个错误日志数据的发生原因。
在本上下文中,本发明的实施方式期望提供一种日志上下文内容的搜索方法、装置及系统。
在本发明实施方式的第一方面中,提供了一种日志上下文内容的搜索方法,包括:
接收用户基于任一日志数据发送的上下文内容查询请求;
根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
向用户展示该日志数据的上下文内容。
在一种可能的实施方式中,本发明实施例提供的上述方法中,所述根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,包括:搜索与该日志数据的来源标识相同的日志数据;在所述与该日志数据的来源标识相同的日志数据中,根据顺序标识的生成规则,将该日志数据的顺序标识之前的顺序标识对应的日志数据确定为该日志数据的上文内容,将该日志数据的顺序标识之后的顺序标识对应的日志数据确定为该日志数据的下文内容。
在一种可能的实施方式中,本发明实施例提供的上述方法中,所述顺序标识是在采集该日志数据时,根据该日志数据的采集时间或更新时间确定的。
在一种可能的实施方式中,本发明实施例提供的上述方法中,所述顺序标识是由日志采集端确定的。
在一种可能的实施方式中,本发明实施例提供的上述方法中,所述日志采集端位于生成日志数据的日志源服务器端,所述日志采集端用于采集日志源服务器端的日志数据,并将所述日志数据和所述顺序标识传送给日志搜索系统的服务器端。
在一种可能的实施方式中,本发明实施例提供的上述方法中,进一步包括:分别以所述顺序标识和来源标识为索引字段建立索引结构。
在一种可能的实施方式中,本发明实施例提供的上述方法中,所述顺序标识包括:纳秒级时间戳。
在一种可能的实施方式中,本发明实施例提供的上述方法中,所述日志数据的来源标识,包括:日志数据来源文件的文件标识和/或日志数据来源服务器的日志源服务器标识。
在本发明实施方式的第二方面中,提供了一种日志上下文内容的搜索装置,包括:
接收模块,用于接收用户基于任一日志数据发送的上下文内容查询请求;
搜索模块,用于根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
展示模块,用于向用户展示该日志数据的上下文内容。
在一种可能的实施方式中,本发明实施例提供的上述装置中,所述搜索模块包括:查找模块,用于搜索与该日志数据的来源标识相同的日志数据;比较模块,用于在所述与该日志数据的来源标识相同的日志数据中,根据顺序标识的生成规则,将该日志数据的顺序标识之前的顺序标识对应的日志数据确定为该日志数据的上文内容,将该日志数据的顺序标识之后的顺序标识对应的日志数据确定为该日志数据的下文内容。
在一种可能的实施方式中,本发明实施例提供的上述装置中,进一步包括:索引建立模块,用于分别以所述顺序标识和来源标识为索引字段建立索引结构。
在本发明实施方式的第三方面中,提供了另一种日志上下文内容的搜索方法,包括:
响应于用户的日志数据搜索请求,向用户展示搜索到的日志数据;
在接收到用户基于搜索结果中展示的任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
向用户展示该日志数据的上下文内容。
在一种可能的实施方式中,本发明实施例提供的上述方法中,所述顺序标识是在采集该日志数据时,根据该日志数据的更新时间或采集时间确定的。
在一种可能的实施方式中,本发明实施例提供的上述方法中,所述顺序标识包括:纳秒级时间戳。
在本发明实施方式的第四方面中,提供了一种日志上下文内容的搜索装置,包括:
日志数据展示模块,用于响应于用户的日志数据搜索请求,向用户展示搜索到的日志数据;
搜索模块,用于在接收到用户基于搜索结果中展示的任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
上下文内容展示模块,用于向用户展示该日志数据的上下文内容。
在本发明实施方式的第五方面中,提供了一种日志上下文内容的搜索系统,包括:采集模块、处理模块以及展示模块;
所述采集模块,用于在采集日志数据时,在所述日志数据中添加标识信息,并将添加有标识信息的日志数据发送至所述处理模块,所述标识信息包括:用于表征该日志数据生成顺序的顺序标识、用于表征该日志数据来源的来源标识;
所述处理模块,用于在接收到所述采集模块采集的日志数据,进行存储时,对应存储所述日志数据的顺序标识以及来源标识;
所述展示模块,用于在接收到用户基于任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,并向用户展示该日志数据的上下文内容。
在一种可能的实施方式中,本发明实施例提供的上述系统中,所述顺序标识包括:纳秒级时间戳。
在一种可能的实施方式中,本发明实施例提供的上述系统中,所述采集模块位于生成日志数据的日志源服务器端,所述处理模块位于该搜索系统的服务器端,所述展示模块位于该搜索系统的客户端。
在本发明实施方式的第六方面中,提供了一种日志上下文内容的搜索装置,例如,可以包括存储器和处理器,其中,处理器可以用于读取存储器中的程序,执行下列过程:
接收用户基于任一日志数据发送的上下文内容查询请求;
根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
向用户展示该日志数据的上下文内容。
在本发明实施方式的第七方面中,提供了一种程序产品,其包括程序代码,当所述程序产品运行时,所述程序代码用于执行以下过程:
接收用户基于任一日志数据发送的上下文内容查询请求;
根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
向用户展示该日志数据的上下文内容。
在本发明实施方式的第八方面中,提供了一种日志上下文内容的搜索装置,例如,可以包括存储器和处理器,其中,处理器可以用于读取存储器中的程序,执行下列过程:
响应于用户的日志数据搜索请求,向用户展示搜索到的日志数据;
在接收到用户基于搜索结果中展示的任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
向用户展示该日志数据的上下文内容。
在本发明实施方式的第九方面中,提供了一种程序产品,其包括程序代码,当所述程序产品运行时,所述程序代码用于执行以下过程:
响应于用户的日志数据搜索请求,向用户展示搜索到的日志数据;
在接收到用户基于搜索结果中展示的任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
向用户展示该日志数据的上下文内容。
根据本发明实施方式的日志上下文内容的搜索方法、装置及系统,通过记录日志数据的顺序标识和来源标识,在接收到用户基于任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,并向用户展示该日志数据的上下文内容,使得用户在搜索日志数据时,能够搜索任一日志数据的上下文内容,方便根据搜索到的上下文内容定位日志事件的前因后果,一旦发现错误日志,方便确定错误日志数据的发生原因。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1示意性地示出了现有技术中统一日志服务系统实现方案的示意图;
图2示意性地示出了根据本发明实施方式的应用场景示意图;
图3示意性地示出了根据本发明一实施例的一种日志上下文内容的搜索方法的流程示意图;
图4示意性地示出了根据本发明另一实施例的一种日志上下文内容的搜索方法的流程示意图;
图5示意性地示出了根据本发明实施例的一种日志上下文内容的搜索装置的结构示意图;
图6示意性地示出了根据本发明实施例的另一种日志上下文内容的搜索装置的结构示意图;
图7示意性地示出了根据本发明实施例的一种日志上下文内容的搜索系统的结构示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种日志上下文内容的搜索方法、装置及系统。
在本文中,需要理解的是,所涉及的术语中:
1.索引:指将数据按一定的规律(通常以倒排表的形式)进行重新组织,以便快速的搜索查找。
2.分词:指对句子或文本进行词语的切分。
3.检索:即在索引数据中按搜索关键词进行搜索。
4.上下文:指某一内容的前后关联的连续内容。
此外,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
发明概述
本发明人发现,现有技术中,日志搜索系统通常只提供日志数据的搜索、查看、统计、分析等功能,但用户无法对某个日志数据相关联(上下文)的内容进行查看,由于缺失这部分(日志数据的上下文内容)重要的信息,用户无法还原日志事件的前因后果,导致用户无法准确的确定程序日志中某个错误日志数据的发生原因。
为此,本发明提供了一种日志上下文内容的搜索方法、装置及系统,日志上下文内容的搜索方法可以包括:接收用户基于任一日志数据发送的上下文内容查询请求;根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;向用户展示该日志数据的上下文内容。
在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
首先参考图2,如图2所示,为本发明实施例提供的日志上下文内容的搜索方法的应用场景示意图,包括:用户终端101、日志源服务器端202、日志采集端201以及日志搜索系统服务器203,其中,所述用户终端101可安装有各种客户端,例如日志数据搜索客户端。日志采集端201采集日志源服务器202中的日志数据,每个日志采集端201对应采集一个日志源服务器202中的日志数据,日志采集端201采集日志源服务器202中的日志数据时,确定日志数据的更新时间或采集时间,根据日志数据的更新时间或采集时间生成顺序标识,然后日志采集端201将日志数据、日志数据的顺序标识以及日志数据的来源标识通过通信网络发送至日志搜索系统服务器203,其中,来源标识用于表征日志数据的来源,可以包括:日志数据来源文件的文件标识和/或日志数据来源服务器的日志源服务器标识。在一个优选的实施例中,来源标识包括日志数据来源文件的文件标识和日志数据来源服务器的日志源服务器标识。
日志搜索系统服务器203接收日志采集端201发送的带有顺序标识和来源标识的日志数据之后,存储日志数据,并对应存储日志数据的顺序标识和来源标识。用户10利用用户终端101中的日志数据搜索客户端,通过通信网络访问日志搜索系统服务器203,可以检索符合包含一个或多个关键词的日志数据,还可以基于任一日志数据查询该条日志数据的上下文内容,当用户10查询某一条日志数据的上下文内容时,日志搜索系统服务器203根据该条日志数据的顺序标识和来源标识,搜索该条日志数据的上下文内容,并向用户10展示该条日志数据的上下文内容。
其中,用户终端和服务器可通过蜂窝移动网或者无线局域网进行通信。用户终端可以为手机、平板电脑等,服务器可以为任何能够提供数据存储、检索和分析的服务器设备。
示例性方法
下面结合图2的应用场景,参考图3~图4来描述根据本发明示例性实施方式的日志上下文内容的搜索方法。需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
图3为本发明提供的一种日志上下文内容的搜索方法的一实施例的流程示意图,主要包括日志上下文内容搜索的流程,执行主体可以为应用场景总览中的日志搜索系统服务器203,如图3所示,本发明实施例提供的一种日志上下文内容的搜索方法,包括如下步骤:
步骤301,接收用户基于任一日志数据发送的上下文内容查询请求。
本步骤中,用户基于任一日志数据发送上下文内容查询请求,该日志数据可以是日志搜索界面中展示的搜索到的任一日志数据,也可以是用户在多个日志数据中随机选择的一条日志数据,而用户发送上下文内容查询请求,可以通过点击或者触控按键的形式,例如:在日志搜索界面,可以增加搜索日志上下文内容的按键,通过点击或触控搜索日志上下文内容的按键,发送查询请求,也可以通过在用户终端屏幕中上下(或者左右)滑动或者上下滚动鼠标的形式,例如:选择某一日志数据之后,通过向上滑动或者向下滑动(或者上下滚动鼠标)发送查询请求。
步骤302,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,顺序标识用于表征日志数据的生成顺序,来源标识用于表征日志数据的来源。
本步骤中,日志数据的顺序标识是由日志采集端根据日志数据的更新时间或采集时间确定的,具体来说,日志采集端可以是应用程序的形式,也可以是硬件设备的形式,此处不做具体限定。日志采集端配置在生成日志数据的日志源服务器端,日志采集端实时监测日志源服务器中日志数据是否更新,若更新,则日志采集端采集更新的日志数据,并根据日志数据的更新时间或者采集到该日志数据的时间确定该日志数据的顺序标识,然后将日志数据以及日志数据的顺序标识传送至日志搜索系统服务器端,其中,顺序标识用于表征日志数据的生成顺序,可以是能够表征顺序的数字,例如:1、2、3等,也可以使能够表征顺序的时刻等。
值得说明的是,日志采集端根据日志数据的更新时间或者采集时间确定日志数据的顺序标识,日志数据的更新时间是指日志源服务器中更新日志数据的时间,而日志数据的采集时间是指日志数据采集端采集到日志数据的时间。在优选的实施例中,日志采集端植入在日志源服务器端,用于实时监控日志源服务器端日志数据的产生,因此日志数据的更新时间和采集时间间隔很小。利用采集时间来生成顺序标识能准确反应日志数据的生成顺序。。另外,日志数据的顺序标识由位于日志源服务器端的日志采集端确定,即使在向搜索系统服务器传输信息时有网络延迟,日志数据传输过程中顺序发生错乱等问题,依然能够根据日志数据中的顺序标识区分日志数据的顺序,能够有效避免因网络延迟等问题导致的数据顺序丢失等。
若使用时刻作为顺序标识,则不可使用现有技术中日志源服务器中生成的日志数据生成时刻,由于现有技术中日志源服务器中生成的日志数据生成时刻大多只能精确到秒或毫秒数量级,这样在日志数据生成频率较高时,会导致同一时刻内生成多条日志数据,使用现有技术中日志源服务器中生成的日志数据生成时刻作为顺序标识不具备唯一性,鉴于此,本步骤中较为优选地,采用纳秒级时间戳作为顺序标识,采用纳秒级时间戳作为唯一的顺序标识具有以下优点:
首先时间戳具体天然的顺序性,可以保证前后日志数据的关系是自增长的,降低了顺序标识生成的复杂性;其次,纳秒级时间戳可以保证日志的非重复性,精度不够的时间戳(例如毫秒级别)可能会导致某些日志数据的时间信息重复,无法准确的标识日志数据。
本步骤中,日志数据的来源标识用于表征日志数据的来源,包括:日志数据来源文件的文件标识和/或日志数据来源服务器的日志源服务器标识。具体来说,日志采集端在采集日志数据时,确定日志数据的顺序标识和来源标识,向日志搜索系统服务器端传送日志数据时,同时传送日志数据的顺序标识和来源标识。当然,在本发明其它实施例中,也可以由日志搜索系统服务器确定日志数据的来源标识。
在确定日志数据的来源标识时,若日志数据来源文件的文件标识或者日志数据来源服务器的日志源服务器标识可以表征日志数据的来源,则可以仅使用日志数据来源文件的文件标识或者日志数据来源服务器的日志源服务器标识作为日志数据的来源标识,若日志数据来源文件的文件标识或者日志数据来源服务器的日志源服务器标识单独使用不可以表征日志数据的来源,则使用日志数据来源文件的文件标识和日志数据来源服务器的日志源服务器标识作为日志数据的来源标识。
日志搜索系统服务器端接收日志采集端发送的日志数据以及日志数据的顺序标识和来源标识时,存储日志数据,并对应存储日志数据的顺序标识和来源标识,也即存储日志数据与日志数据的顺序标识和来源标识的对应关系,在接收到用户基于任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,包括:搜索与该日志数据的来源标识相同的日志数据,在与该日志数据的来源标识相同的日志数据中,根据顺序标识的生成规则,将该日志数据的顺序标识之前的顺序标识对应的日志数据确定为该日志数据的上文内容,将该日志数据的顺序标识之后的顺序标识对应的日志数据确定为该日志数据的下文内容。
在根据日志数据的顺序标识以及来源标识,搜索日志数据的上下文内容时,由于只有与该日志数据来源标识相同的日志数据才可能为该日志数据的上下文内容,因此,为了提高搜索效率,可以先搜索或者筛选出与日志数据的来源标识相同的多条日志数据,然后根据顺序标识的生成规则,确定日志数据的上下文内容,具体来说,将小于该日志数据的顺序标识,且与该日志数据的顺序标识最接近的顺序标识对应的日志数据作为该日志数据的第一个上文内容;将大于该日志数据的顺序标识,且与该日志数据的顺序标识最接近的顺序标识对应的日志数据作为该日志数据的第一个下文内容;以此类推,确定该日志数据的上下文内容。
在本发明其它实施例中,在查询日志数据的上下文内容时,还可以根据日志数据的顺序标识、来源标识构造查询语法树,分两次分别查询出日志数据的上文和下文,然后对两次的查询结果进行排序、合并等操作,确定日志数据的上下文内容。
步骤303,向用户展示该日志数据的上下文内容。
本步骤中,在根据日志数据的顺序标识以及来源标识,搜索到日志数据的上下文内容之后,在日志搜索系统客户端中向用户展示日志数据的上下文内容。例如:随着用户在用户终端屏幕中的向上滑动操作,逐条搜索显示日志数据的上文内容,以及随着用户在用户终端屏幕中的向下滑动操作,逐条搜索显示日志数据的下文内容。
较为优选地,日志搜索系统服务器接收到日志采集端发送的日志数据以及日志数据的顺序标识和来源标识,进行存储时,进一步包括:分别以日志数据的顺序标识和来源标识为索引字段建立索引结构,以方便根据日志数据的顺序标识或者来源标识进行查找、筛选和过滤。
本发明实施例中,通过记录日志数据的顺序标识和来源标识,在接收到用户基于任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,并向用户展示该日志数据的上下文内容,使得用户在搜索日志数据时,能够搜索任一日志数据的上下文内容,方便根据搜索到的上下文内容定位日志事件的前因后果,一旦发现错误日志,方便确定错误日志数据的发生原因。
图4为本发明提供的一种日志上下文内容的搜索方法的另一实施例的流程示意图,在本发明提供的一种日志上下文内容的搜索方法的另一实施例中,主要包括响应于用户的日志数据搜索请求,向用户展示搜索到的日志数据的流程,执行主体可以为应用场景总览中的日志搜索系统服务器203。如图4所示,本发明实施例提供的一种日志上下文内容的搜索方法,包括如下步骤:
步骤401,响应于用户的日志数据搜索请求,向用户展示搜索到的日志数据。
本步骤中,与现有技术中日志搜索、统计以及分析等操作相同,用户可以使用关键字或者关键词在日志搜索系统服务器中搜索所需的日志数据,日志搜索系统服务器响应于用户的日志数据搜索请求,搜索日志数据,并向用户展示搜索到的日志数据。在向用户展示日志数据的界面中,用户可以基于任一日志数据发送查询上下文内容的查询请求。
步骤402,在接收到用户基于搜索结果中展示的任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源。
本步骤中,日志数据的顺序标识是在采集该日志数据时,根据该日志数据的更新时间或采集时间确定,较为优选地,该顺序标识为纳秒级时间戳。
步骤403,向用户展示该日志数据的上下文内容。
本发明实施例中,通过记录日志数据的顺序标识和来源标识,在响应于用户的日志数据搜索请求,向用户展示搜索到的日志数据后,接收用户基于任一日志数据发送的上下文内容查询请求,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,并向用户展示该日志数据的上下文内容,使得用户在搜索日志数据时,能够搜索任一日志数据的上下文内容,方便根据搜索到的上下文内容定位日志事件的前因后果,一旦发现错误日志,方便确定错误日志数据的发生原因。
示例性设备
在介绍了本发明示例性实施方式的方法之后,接下来,参考图5~图7描述本发明示例性实施方式的日志上下文内容的搜索装置及系统。
图5为本发明实施例提供的一种日志上下文内容的搜索装置的结构示意图之一,如图5所示,可以包括如下模块:
接收模块501,用于接收用户基于任一日志数据发送的上下文内容查询请求;
搜索模块502,用于根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,顺序标识用于表征日志数据的生成顺序,来源标识用于表征日志数据的来源;
展示模块503,用于向用户展示该日志数据的上下文内容。
优选地,搜索模块502包括:
查找模块5021,用于搜索与该日志数据的来源标识相同的日志数据;
比较模块5022,用于在与该日志数据的来源标识相同的日志数据中,根据顺序标识的生成规则,将该日志数据的顺序标识之前的顺序标识对应的日志数据确定为该日志数据的上文内容,将该日志数据的顺序标识之后的顺序标识对应的日志数据确定为该日志数据的下文内容。
在本实施例的一些实施方式中,可选的,该日志上下文内容的搜索装置还包括:
索引建立模块504,用于分别以顺序标识和来源标识为索引字段建立索引结构。
其中,日志数据的顺序标识是在采集该日志数据时,根据该日志数据的更新时间或采集时间确定,较为优选地,该顺序标识为纳秒级时间戳。日志数据的来源标识,包括:日志数据来源文件的文件标识和/或日志数据来源服务器的日志源服务器标识。
图6为本发明实施例提供的另一种日志上下文内容的搜索装置的结构示意图之一,如图6所示,可以包括如下模块:
日志数据展示模块601,用于响应于用户的日志数据搜索请求,向用户展示搜索到的日志数据;
搜索模块602,用于在接收到用户基于搜索结果中展示的任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,顺序标识用于表征日志数据的生成顺序,来源标识用于表征日志数据的来源;
上下文内容展示模块603,用于向用户展示该日志数据的上下文内容。
其中,日志数据的顺序标识是在采集该日志数据时,根据该日志数据的更新时间或采集时间确定,较为优选地,该顺序标识为纳秒级时间戳。日志数据的来源标识,包括:日志数据来源文件的文件标识和/或日志数据来源服务器的日志源服务器标识。
图7为本发明实施例提供的一种日志上下文内容的搜索系统的结构示意图之一,如图7所示,可以包括如下模块:采集模块701、处理模块702以及展示模块703,其中,
采集模块701,用于在采集日志数据时,在日志数据中添加标识信息,并将添加有标识信息的日志数据发送至处理模块702,标识信息包括:用于表征该日志数据生成顺序的顺序标识以及用于表征该日志数据来源的来源标识;
处理模块702,用于在接收到采集模块701采集的日志数据,进行存储时,对应存储日志数据的顺序标识以及来源标识;
展示模块703,用于在接收到用户基于任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,并向用户展示该日志数据的上下文内容。
其中,日志数据的顺序标识是在采集该日志数据时,根据该日志数据的更新时间或采集时间确定,较为优选地,该顺序标识为纳秒级时间戳。日志数据的来源标识,包括:日志数据来源文件的文件标识和/或日志数据来源服务器的日志源服务器标识。
本实施例中,采集模块701位于生成日志数据的日志源服务器端,处理模块702位于该搜索系统的服务器端,展示模块703位于该搜索系统的客户端。
应当注意,尽管在上文详细描述中提及了日志上下文内容的搜索装置及系统的若干模块或子模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种日志上下文内容的搜索方法,包括:
接收用户基于任一日志数据发送的上下文内容查询请求;
根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
向用户展示该日志数据的上下文内容。
2.根据权利要求1所述的方法,其中,所述根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,包括:
搜索与该日志数据的来源标识相同的日志数据;
在所述与该日志数据的来源标识相同的日志数据中,根据顺序标识的生成规则,将该日志数据的顺序标识之前的顺序标识对应的日志数据确定为该日志数据的上文内容,将该日志数据的顺序标识之后的顺序标识对应的日志数据确定为该日志数据的下文内容。
3.根据权利要求1所述的方法,其中,所述顺序标识是在采集该日志数据时,根据该日志数据的采集时间或更新时间确定的。
4.根据权利要求3所述的方法,其中,所述顺序标识是由日志采集端确定的。
5.根据权利要求1-4中任一项所述的方法,进一步包括:分别以所述顺序标识和来源标识为索引字段建立索引结构。
6.根据权利要求1-4中任一项所述的方法,其中,所述顺序标识包括:纳秒级时间戳。
7.一种日志上下文内容的搜索装置,包括:
接收模块,用于接收用户基于任一日志数据发送的上下文内容查询请求;
搜索模块,用于根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
展示模块,用于向用户展示该日志数据的上下文内容。
8.一种日志上下文内容的搜索方法,包括:
响应于用户的日志数据搜索请求,向用户展示搜索到的日志数据;
在接收到用户基于搜索结果中展示的任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
向用户展示该日志数据的上下文内容。
9.一种日志上下文内容的搜索装置,包括:
日志数据展示模块,用于响应于用户的日志数据搜索请求,向用户展示搜索到的日志数据;
搜索模块,用于在接收到用户基于搜索结果中展示的任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,其中,所述顺序标识用于表征日志数据的生成顺序,所述来源标识用于表征日志数据的来源;
上下文内容展示模块,用于向用户展示该日志数据的上下文内容。
10.一种日志上下文内容的搜索系统,包括:采集模块、处理模块以及展示模块;
所述采集模块,用于在采集日志数据时,在所述日志数据中添加标识信息,并将添加有标识信息的日志数据发送至所述处理模块,所述标识信息包括:用于表征该日志数据生成顺序的顺序标识以及用于表征该日志数据来源的来源标识;
所述处理模块,用于在接收到所述采集模块采集的日志数据,进行存储时,对应存储所述日志数据的顺序标识以及来源标识;
所述展示模块,用于在接收到用户基于任一日志数据发送的上下文内容查询请求时,根据该日志数据的顺序标识以及来源标识,搜索该日志数据的上下文内容,并向用户展示该日志数据的上下文内容。
CN201610591598.5A 2016-07-22 2016-07-22 一种日志上下文内容的搜索方法、装置及系统 Active CN106250424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610591598.5A CN106250424B (zh) 2016-07-22 2016-07-22 一种日志上下文内容的搜索方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610591598.5A CN106250424B (zh) 2016-07-22 2016-07-22 一种日志上下文内容的搜索方法、装置及系统

Publications (2)

Publication Number Publication Date
CN106250424A true CN106250424A (zh) 2016-12-21
CN106250424B CN106250424B (zh) 2019-12-03

Family

ID=57604532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610591598.5A Active CN106250424B (zh) 2016-07-22 2016-07-22 一种日志上下文内容的搜索方法、装置及系统

Country Status (1)

Country Link
CN (1) CN106250424B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291872A (zh) * 2017-06-16 2017-10-24 郑州云海信息技术有限公司 一种基于大量数据的平台日志搜索呈现方法
CN107301197A (zh) * 2017-05-12 2017-10-27 上海瀚银信息技术有限公司 一种业务数据跟踪处理系统及方法
CN109582685A (zh) * 2018-12-03 2019-04-05 武芮 一种记录上下文请求执行过程的方法及装置
CN109634845A (zh) * 2018-11-13 2019-04-16 微梦创科网络科技(中国)有限公司 一种生成上下文记录文本的方法及装置
CN110019069A (zh) * 2017-10-30 2019-07-16 阿里巴巴集团控股有限公司 一种日志处理方法、装置及设备
CN110209643A (zh) * 2019-04-23 2019-09-06 深圳壹账通智能科技有限公司 一种数据处理方法及装置
CN110309158A (zh) * 2018-04-13 2019-10-08 腾讯科技(深圳)有限公司 日志文件的滚动异常判断方法、装置及可读介质
CN110399107A (zh) * 2019-07-24 2019-11-01 深圳市盟天科技有限公司 日志打印方法、装置、存储介质及设备
CN110445667A (zh) * 2019-05-29 2019-11-12 北京大米科技有限公司 一种链路延迟检测方法、装置、存储介质以及终端
CN111177098A (zh) * 2019-12-27 2020-05-19 中信百信银行股份有限公司 查看系统日志上下文的方法及系统
CN112035311A (zh) * 2019-06-04 2020-12-04 腾讯科技(深圳)有限公司 一种程序逻辑监控方法及装置
CN112732647A (zh) * 2021-03-30 2021-04-30 北京优特捷信息技术有限公司 一种日志搜索方法、装置、设备及存储介质
CN112764997A (zh) * 2021-01-28 2021-05-07 北京字节跳动网络技术有限公司 一种日志存储的方法、装置、计算机设备和存储介质
CN114374600A (zh) * 2021-12-27 2022-04-19 浪潮通信信息系统有限公司 一种基于大数据的网络运维方法、装置、设备及产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704357B (zh) * 2017-08-28 2020-12-15 北京星选科技有限公司 日志生成方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534213A (zh) * 2009-04-09 2009-09-16 成都市华为赛门铁克科技有限公司 一种日志的获取方法及日志服务器
US20130013597A1 (en) * 2011-06-17 2013-01-10 Alibaba Group Holding Limited Processing Repetitive Data
CN105071966A (zh) * 2015-08-10 2015-11-18 浪潮(北京)电子信息产业有限公司 一种日志信息管理方法及日志抽取服务器
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534213A (zh) * 2009-04-09 2009-09-16 成都市华为赛门铁克科技有限公司 一种日志的获取方法及日志服务器
US20130013597A1 (en) * 2011-06-17 2013-01-10 Alibaba Group Holding Limited Processing Repetitive Data
CN105071966A (zh) * 2015-08-10 2015-11-18 浪潮(北京)电子信息产业有限公司 一种日志信息管理方法及日志抽取服务器
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301197B (zh) * 2017-05-12 2020-12-01 上海瀚银信息技术有限公司 一种业务数据跟踪处理系统及方法
CN107301197A (zh) * 2017-05-12 2017-10-27 上海瀚银信息技术有限公司 一种业务数据跟踪处理系统及方法
CN107291872A (zh) * 2017-06-16 2017-10-24 郑州云海信息技术有限公司 一种基于大量数据的平台日志搜索呈现方法
CN110019069A (zh) * 2017-10-30 2019-07-16 阿里巴巴集团控股有限公司 一种日志处理方法、装置及设备
CN110309158A (zh) * 2018-04-13 2019-10-08 腾讯科技(深圳)有限公司 日志文件的滚动异常判断方法、装置及可读介质
CN110309158B (zh) * 2018-04-13 2023-08-01 腾讯科技(深圳)有限公司 日志文件的滚动异常判断方法、装置及可读介质
CN109634845A (zh) * 2018-11-13 2019-04-16 微梦创科网络科技(中国)有限公司 一种生成上下文记录文本的方法及装置
CN109634845B (zh) * 2018-11-13 2022-05-17 微梦创科网络科技(中国)有限公司 一种生成上下文记录文本的方法及装置
CN109582685A (zh) * 2018-12-03 2019-04-05 武芮 一种记录上下文请求执行过程的方法及装置
CN109582685B (zh) * 2018-12-03 2023-01-10 武芮 一种记录上下文请求执行过程的方法及装置
CN110209643A (zh) * 2019-04-23 2019-09-06 深圳壹账通智能科技有限公司 一种数据处理方法及装置
CN110445667B (zh) * 2019-05-29 2021-10-26 北京大米科技有限公司 一种链路延迟检测方法、装置、存储介质以及终端
CN110445667A (zh) * 2019-05-29 2019-11-12 北京大米科技有限公司 一种链路延迟检测方法、装置、存储介质以及终端
CN112035311A (zh) * 2019-06-04 2020-12-04 腾讯科技(深圳)有限公司 一种程序逻辑监控方法及装置
CN110399107A (zh) * 2019-07-24 2019-11-01 深圳市盟天科技有限公司 日志打印方法、装置、存储介质及设备
CN110399107B (zh) * 2019-07-24 2023-08-29 深圳市盟天科技有限公司 日志打印方法、装置、存储介质及设备
CN111177098A (zh) * 2019-12-27 2020-05-19 中信百信银行股份有限公司 查看系统日志上下文的方法及系统
CN111177098B (zh) * 2019-12-27 2023-09-22 中信百信银行股份有限公司 查看系统日志上下文的方法及系统
CN112764997A (zh) * 2021-01-28 2021-05-07 北京字节跳动网络技术有限公司 一种日志存储的方法、装置、计算机设备和存储介质
CN112764997B (zh) * 2021-01-28 2024-02-20 抖音视界有限公司 一种日志存储的方法、装置、计算机设备和存储介质
CN112732647A (zh) * 2021-03-30 2021-04-30 北京优特捷信息技术有限公司 一种日志搜索方法、装置、设备及存储介质
CN112732647B (zh) * 2021-03-30 2021-06-25 北京优特捷信息技术有限公司 一种日志搜索方法、装置、设备及存储介质
CN114374600A (zh) * 2021-12-27 2022-04-19 浪潮通信信息系统有限公司 一种基于大数据的网络运维方法、装置、设备及产品

Also Published As

Publication number Publication date
CN106250424B (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN106250424A (zh) 一种日志上下文内容的搜索方法、装置及系统
US11775548B1 (en) Selection of representative data subsets from groups of events
US10650069B2 (en) Previewing raw data parsing
CN107562620A (zh) 一种埋点自动设置方法和装置
US9128980B2 (en) Generation of a data model applied to queries
CN102164186B (zh) 一种实现云搜索服务的方法及系统
CN103186600B (zh) 互联网舆情的专题分析方法和装置
US20140358911A1 (en) Search and discovery system
CN105162627B (zh) 发现与呈现网络应用访问信息的方法和系统
CN104899324B (zh) 一种基于idc有害信息监测系统的样本训练系统
CN103309884A (zh) 用户行为数据采集方法及系统
CN102855309A (zh) 一种基于用户行为关联分析的信息推荐方法及装置
CN102737022B (zh) 获取和搜索相关知识信息的方法及装置
CN104182506A (zh) 日志管理方法
CN102760151A (zh) 开源软件获取与搜索系统的实现方法
CN101833587A (zh) 网络视频搜索系统
CN103020212A (zh) 一种基于用户查询日志实时发现热点视频的方法和装置
CN107451208A (zh) 一种数据搜索方法与装置
CN104391978A (zh) 用于浏览器的网页收藏处理方法及装置
CN110232126A (zh) 热点挖掘方法及服务器和计算机可读存储介质
CN106682206A (zh) 一种大数据处理方法及系统
CN102541947A (zh) 一种用于基于扩展推荐事件更新网页权威值的方法与设备
CN110096646A (zh) 品类关联信息的生成及其视频推送方法和相关设备
CN109614521A (zh) 一种高效的隐私保护子图查询处理方法
CN106547764A (zh) 网页数据去重的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 310052 Room 301, Building No. 599, Changhe Street Network Business Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou NetEase Shuzhifan Technology Co.,Ltd.

Address before: 310052 Room 301, Building No. 599, Changhe Street Network Business Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU LANGHE TECHNOLOGY Ltd.