CN107015901A - 一种日志分析方法及装置 - Google Patents

一种日志分析方法及装置 Download PDF

Info

Publication number
CN107015901A
CN107015901A CN201610060944.7A CN201610060944A CN107015901A CN 107015901 A CN107015901 A CN 107015901A CN 201610060944 A CN201610060944 A CN 201610060944A CN 107015901 A CN107015901 A CN 107015901A
Authority
CN
China
Prior art keywords
path
service
service path
daily record
business
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610060944.7A
Other languages
English (en)
Other versions
CN107015901B (zh
Inventor
黄骏宇
王子银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xingyun Digital Technology Co Ltd
Original Assignee
Suning Commerce Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Commerce Group Co Ltd filed Critical Suning Commerce Group Co Ltd
Priority to CN201610060944.7A priority Critical patent/CN107015901B/zh
Publication of CN107015901A publication Critical patent/CN107015901A/zh
Application granted granted Critical
Publication of CN107015901B publication Critical patent/CN107015901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3017Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking

Abstract

本发明实施例公开了一种日志分析方法及装置,涉及电子信息技术领域,能够极大地节省业务系统的运维成本。本发明包括:包括:采集业务系统的日志数据,业务系统用于运行包括至少两个业务环节的业务过程,日志数据包括用于表示每一个环节上业务的执行状态的信息;根据日志数据,生成业务路径,每一条业务路径由至少两个节点和节点之间的连线组成,每一个节点对应一个业务环节;对所生成的业务路径设置标识,一条业务路径的标识用于表示这一条业务路径对应的业务属性;对所生成的业务路径进行统计计算并得到统计结果,并根据统计结果得到异常的业务路径,统计结果包括具有相同标识的业务路径的数量。本发明适用于海量日志数据的异常分析。

Description

一种日志分析方法及装置
技术领域
[0001] 本发明涉及电子信息技术领域,尤其涉及一种日志分析方法及装置。
背景技术
[0002] 在业务系统的日常运行中,每天产生大量业务日志,而业务日志包含了系统中几 乎所有业务环节的运行情况。对于技术专家诊断系统故障或是业务异常,业务日志起到了 至关重要的作用。
[0003] 目前行业内已经出现了一些自动分析业务异常的方案,但是自动分析的准确度和 灵活性,远不如技术专家人工诊断。且目前的大部分自动分析业务异常的方案,主要采用机 器学习和训练算法,其依然需要使用海量的已完成人工诊断的诊断数据作为样本集,并且 一旦业务系统出现变动或是采用了新的业务系统,就需要重新准备人工诊断的诊断数据作 为样本集。因此在较长的一段时间内,依然需要组织足够的且经验丰富的技术人员对业务 系统进行人工运维。例如:目前通常的业务系统的健康状况监测方式主要有一下流程:客服 反映异常订单,然后在历史数据中查询异常订单,定位问题并解决;技术人员通过查询某几 笔订单来估计系统耗时、瓶颈等系统运行状况以及当天系统运行情况;技术人员通过查看 几笔订单来了解某天的异常和失败原因。
[0004] 然而,随着业务链条的日趋复杂,系统在完成一系列业务过程时,往往会产生海量 的业务日志,对于业务日志的分析工作也日趋繁琐,但是技术人员的工作能力是有限的,因 此人力不足成为运维团队中的普遍现象,运营商需要耗费更多的人工成本雇佣技术人员参 与业务系统的运维工作。
发明内容
[0005] 本发明的实施例提供一种日志分析方法及装置,能够极大地节省业务系统的运维 成本。
[0006] 为达到上述目的,本发明的实施例采用如下技术方案:
[0007] 第一方面,本发明的实施例提供一种日志分析方法,包括:
[0008]采集业务系统的日志数据,所述业务系统用于运行包括至少两个业务环节的业务 过程,所述日志数据包括用于表示每一个环节上业务的执行状态的信息;
[0009]根据所述日志数据,生成业务路径,其中,每一条业务路径由至少两个节点和节点 之间的连线组成,每一个节点对应一个业务环节;
[0010]对所生成的业务路径设置标识,其中,一条业务路径的标识用于表示这一条业务 路径对应的业务属性;
[0011]对所生成的业务路径进行统计计算并得到统计结果,并根据所述统计结果得到异 常的业务路径,所述统计结果包括具有相同标识的业务路径的数量。
[0012]结合第一方面,在第一方面的第一种可能的实现方式中,在每一条业务路径中,各 个节点相互串联;每一个业务路径指向一个路径终点,所述路径终点包括:业务成功、业务 失败和业务异常。
[0013] 结合第一方面,在第一方面的第二种可能的实现方式中,还包括:按照所生成的业 务路径,聚类所述日志数据并得到对应各个业务路径的日志子集,其中,对应于一个业务路 径的日志子集包括这该业务路径中的各环节上业务的执行状态的信息。
[0014] 结合第一方面或第一方面的第一至二种可能的实现方式,在第三种可能的实现方 式中,还包括:
[0015] 在根据所述统计结果得到异常的业务路径后,提取正常的业务路径作为基准路 径;
[0016] 在每一个检测周期内:根据当前所述业务系统最新的日志数据刷新业务路径;从 刷新后的业务路径中筛选出与所述基准路径存在差异的业务路径。
[0017] 结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,还包括:
[0018] 生成具有相同标识的业务路径的树状图,并将所述树状图和所述统计结果输出至 可视化界面;
[0019]所述可视化界面划分为指定数量的区域,在一个区域中包括:一个业务路径指向 的路径终点和这一个业务路径的标识的名称;至少还包括:这一"业务路径的树状图的显 示页面的连接、这一个业务路径的对应的日志子集的显示页面的连接。
[0020] 第二方面,本发明的实施例提供一种日志分析装置,包括:
[0021] 采集模块,用于采集业务系统的日志数据,所述业务系统用于运行包括至少两个 业务环节的业务过程,所述日志数据包括用于表示每一个环节上业务的执行状态的信息;
[0022] 路径生成模块,用于根据所述日志数据,生成业务路径,其中,每一条业务路径由 至少两个节点和节点之间的连线组成,每一个节点对应一个业务环节;
[0023] 路径标识模块,用于对所生成的业务路径设置标识,其中,一条业务路径的标识用 于表示这一条业务路径对应的业务属性;
[0024]统计模块,用于对所生成的业务路径进行统计计算并得到统计结果,并根据所述 统计结果得到异常的业务路径,所述统计结果包括具有相同标识的业务路径的数量。
[0025]结合第二方面,在第二方面的第一种可能的实现方式中,在每一条业务路径中,各 个节点相互串联;每一个业务路径指向一个路径终点,所述路径终点包括:业务成功、业务 失败和业务异常。
[0026]结合第二方面,在第二方面的第二种可能的实现方式中,还包括:数据聚类模块, 用于按照所生成的业务路径,聚类所述日志数据并得到对应各个业务路径的日志子集,其 中,对应于一个业务路径的日志子集包括这该业务路径中的各环节上业务的执行状态的信 肩、。
[0027]结合第二方面或第二方面的第一至二种可能的实现方式,在第三种可能的实现方 式中,还包括:
[0028]差异分析模块,用于在根据所述统计结果得到异常的业务路径后,提取正常的业 务路径作为基准路径;
[0029]并在每一个检测周期内:根据当前所述业务系统最新的日志数据刷新业务路径; 从刷新后的业务路径中筛选出与所述基准路径存在差异的业务路径。
[0030]结合第二方面的第三种可能的实现方式,在第四种可能的实现方式中,还包括:可 视化输出模块,用于生成具有相同标识的业务路径的树状图,并将所述树状图和所述统计 结果输出至可视化界面;所述可视化界面划分为指定数量的区域,在一个区域中包括:一个 业务路径指向的路径终点和这一个业务路径的标识的名称;至少还包括:这一个业务路径 的树状图的显示页面的连接、这一个业务路径的对应的日志子集的显示页面的连接。
[0031 ]本发明实施例提供的日志分析方法及装置,能够根据日志数据,生成业务路径,并 对对所生成的业务路径进行统计计算并得到统计结果,根据统计结果得到异常的业务路 径,从而完成异常路径的识别,并且还通过可视化的树状图显示基于日志数据生成的业务 路径。相对于现有技术,本发明实施例通过基于日志生成可视化的业务路径及树状图,并通 过树状图中的路径区分“异常”和“正常”的业务路径,使得技术人员可以借助可视化的树状 图,快速找到需要判定的业务路径并判定异常,从而提高人工运维过程中,基于日志数据判 定业务异常的效率,尤其是对于会产生海量的业务日志的业务系统,能够极大地节省业务 系统的运维成本。
附图说明
[0032]为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的 附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领 域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附 图。
[0033]图1为本发明实施例提供的服务器的架构示意图;
[0034]图2为本发明实施例提供的日志分析方法的流程图;
[0035]图3、图4a、图4b、图4c为本发明实施例提供的具体实例示意图;
[0036]图5为本发明实施例提供的日志分析装置的结构示意图。
具体实施方式
[0037]为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方 式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式,所述实施方式的示 例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类 似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能 解释为对本发明的限制。本技术领域技术人员可以理解,除非特意声明,这里使用的单数形 式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书 中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除 存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解, 当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者 也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使 用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域 技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有 与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用 字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且 除非像这里一样定义,不会用理想化或过于正式的含义来解释。
[0038]本发明实施例提供的方法流程,具体可以运行在一种图1所示服务器上。服务器包 括输入单元、处理器单元、输出单元、通信单元、存储单元、外设单元等组件。这些组件通过 一条或多条总线进行通信。本领域技术人员可以理解,图中示出的服务器的结构并不构成 对本发明的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更 少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施方式中,服务器可以是 日志管理中心用于管理日志数据的服务器,也可以是技术人员使用的工作站设备。具体的: [0039]输入单元用于实现用户与服务器的交互和/或信息输入到服务器中。例如,输入单 元可以接收用户输入的数字或字符信息,以产生与用户设置或功能控制有关的信号输入。 在本发明具体实施方式中,输入单元可以是触控面板,也可以是其他人机交互界面,例如实 体输入键、鼠标或是操纵杆等。
[0040]处理器单元为服务器的控制中心,利用各种接口和线路连接整个服务器的各个部 分,通过运行或执行存储在存储单元内的软件程序和/或模块,以及调用存储在存储单元内 的数据,以执行服务器的各种功能和/或处理数据。处理器单元可以由集成电路 (Integrated Circuit,简称1C)组成,例如可以由单颗封装的1C所组成,也可以由连接多颗 相同功能或不同功能的封装1C而组成。举例来说,处理器单元可以仅包括中央处理器 (Central Processing Unit,简称CPU),也可以是GPU、数字信号处理器(Digital Signal Processor,简称DSP)、及通信单元中的控制芯片(例如基带芯片)的组合。在本发明实施方 式中,CPU可以是单运算核心,也可以包括多运算核心。
[0041]通信单元用于建立通信信道,使服务器通过通信信道以连接至远程设备,例如技 术人员的终端设备,并与远程设备进行数据交互,例如技术人员的终端设备可以向服务器 发送请求消息,用于触发服务器开始执行本实施例提供的方法流程。
[0042]输出单元包括但不限于影像输出单元和声音输出单元。影像输出单元用于输出文 字、图片和/或视频。影像输出单元可包括显示面板,例如采用LCD(Liquid Crystal Display,液晶显示器)、0LED(0rganic Light-Emitting Diode,有机发光二极管)、场发射 显不器(field emission display,简称FED)等形式来配置的显不面板。
[0043]存储单元可用于存储软件程序以及模块,处理单元通过运行存储在存储单元的软 件程序以及模块,从而执行服务器的各种功能应用以及实现数据处理。存储单元主要包括 程序存储区和数据存储区,其中,程序存储区可存储操作系统、至少一个功能所需的应用程 序,比如日志管理程序,基于本实施例提供的日志分析装置编写的日志分析程序等。在本发 明具体实施方式中,存储单元可以包括易失性存储器,例如非挥发性动态随机存取内存 (Nonvolatile Random Access Memory,简称NVRAM)、相变化随机存取内存(Phase Change RAM,简称PRAM)、磁阻式随机存取内存(Magetoresistive RAM,简称MRAM)等,还可以包括非 易失性存储器,例如至少一个磁盘存储器件、电子可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPR0M)、闪存器件,例如反或闪存(NOR flash memory)或是反及闪存(NAND flash memory)。非易失存储器储存处理单元所执行的 操作系统及应用程序。处理单元从非易失存储器加载运行程序与数据到内存并将数字内容 储存于大量储存装置中。
[0044]电源用于给服务器的不同部件进行供电以维持其运行,包括直接向服务器供电的 外接电源,例如AC适配器等。在本发明的一些实施方式中,电源还可以作更为广泛的定义, 例如还可以包括电源管理系统、充电系统、电源故障检测电路、电源转换器或逆变器、电源 状态指示器(如发光二极管),以及与服务器的电能生成、管理及分布相关联的其他任何组 件。
[0045]进一步的,也可以采用由多台服务器设备组成的服务器组来运行本发明实施例提 供的方法流程。所使用的服务器组可以基于现有的数据处理中心所常用的数据处理系统中 的服务器组的架构。对于运算负载较大的场景,还可以采用分布式运算的方式执行本发明 实施例提供的方法流程。
[0046]本发明实施例提供一种日志分析方法,如图2所示,包括:
[0047] S1、采集业务系统的日志数据。
[0048]其中,所述业务系统用于运行包括至少两个业务环节的业务过程,所述日志数据 包括用于表示每一个环节上业务的执行状态的信息。
[0049]在本实施例中,可以通过基于分布式设计的方案进行日志数据的采集,例如:可以 由一个master负责控制整个日志采集流程,多个worker完成分配的任务。其中,采集过程具 体可以划分为:一个map和多个reduce过程,即由多个worker进行分布式计算,得出各自的 map,map上承担一条业务路径的各个环节,然后由多个worker完成reduce步骤,最终生成所 有的业务路径,比如图3所示的,由服务器组中的一个服务器作为分布式计算中的master, 多个服务器作为worker,master与各个worker之间建立Redi s通信。master用于向worker 分配计算任务并监测各个计算任务(比如map或reduce)的进度,master具体可以通过心跳 检测各个worker的工作状态。
[0050] S2、根据所述日志数据,生成业务路径。
[0051 ]其中,每一条业务路径(在本实施例中也可称为业务模型)由至少两个节点和节点 之间的连线组成,每一个节点对应一个业务环节。例如:如图4a所示的,服务器对于快捷支 付业务的执行,具体包括发送快捷支付请求、支付成功消息、支付失败消息、发送支付结束 消息、返回扣款订单处理结果、加载广告或其他页面、更新扣款订单为失败、更新扣款订单 为异常、更新订单状态等多个环节。则按照各个环节执行的先后顺序可以生成如图4所示的 树状图,其中按照业务流程的执行,可以得到业务路径1、业务路径2、业务路径3、业务路径4 至少4条业务路径。
[0052] S3、对所生成的业务路径设置标识。
[0053]其中,一条业务路径的标识用于表示这一条业务路径对应的业务属性。在本实施 例中,可以通过人工标注或是系统根据训练得到的规则集自动进行标注业务路径的实际业 务属性。举例来说,业务属性包括但不限于:支付状态(成功、失败、异常)及其支付方式(快 捷、网银、零钱宝等等)和是否是异常分支(用于采集异常原因)。对于树状图中每一条路径 的标注,从而标明每一个模型所代表的业务的含义。
[0054] S4、对所生成的业务路径进行统计计算并得到统计结果,并根据所述统计结果得 到异常的业务路径。
[0055]其中,统计结果包括具有相同标识的业务路径的数量。
[0056]本发明实施例提供的日志分析方法,能够根据日志数据,生成业务路径,并对对所 生成的业务路径进行统计计算并得到统计结果,根据统计结果得到异常的业务路径,从而 完成异常路径的识别,并且还通过可视化的树状图显示基于日志数据生成的业务路径。相 对于现有技术,本发明实施例通过基于日志生成可视化的业务路径及树状图,并通过树状 图中的路径区分“异常”和“正常”的业务路径,使得技术人员可以借助可视化的树状图快速 找到需要判定的业务路径并判定异常,从而提高人工运维过程中,基于日志数据判定业务 异常的效率,尤其是对于会产生海量的业务日志的业务系统,能够极大地节省人工成本。
[0057] 在本实施例中,在每一条业务路径中,各个节点相互串联。且每一个业务路径指向 一个路径终点,所述路径终点包括:业务成功、业务失败和业务异常。例如:业务系统在先期 运行的一段时间内生成的日志,采集业务系统的日志数据并生成业务路径,业务路径可以 组成如图4b所示的树状图,在树状图中,每一条路径即为一个业务模型,代表一个系统出现 过的业务场景,比如支付业务中的一种支付行为。
[0058] 在本实施例中,在采集业务系统的日志数据并生成业务路径后,还可以根据业务 路径对日志数据进行聚类管理,以便于技术人员根据业务路径的查找日志数据,节省查询 所耗时间并减少对于存储日志数据的设备的读写次数。即本实施例还可以包括:按照所生 成的业务路径,聚类所述日志数据并得到对应各个业务路径的日志子集。其中,对应于一个 业务路径的日志子集包括这该业务路径中的各环节上业务的执行状态的信息。
[0059] 为了进一步减少技术人员在运维过程中进行数据查询或是进行数据统计的时间, 在本实施例中还提供一种可视化界面,用于显示业务路径以及与业务路径相关的信息,从 而进一步简化了技术人员的运维操作。具体的,在本实施例中还包括:
[0060] 生成具有相同标识的业务路径的树状图,并将所述树状图和所述统计结果输出至 可视化界面。
[0061] 所述可视化界面划分为指定数量的区域,在一个区域中包括:一个业务路径指向 的路径终点和这一个业务路径的标识的名称。至少还包括:这一个业务路径的树状图的显 示页面的连接、这一个业务路径的对应的日志子集的显示页面的连接。例如:如图4c所示 的,可以在可视化界面中通过表格显示业务路径和与业务路径相关的信息,比如:在表格的 每一行显示一种业务路径及其相关的信息,其中,第一列显示业务路径的标识的名称;第二 列显示业务路径的路径终点(成功、失败或异常的结果);第三列显示基于所有的日志数据 得到的该相同的业务路径的总数,由于在正常运行的业务系统中,尤其是在业务系统运行 的初始阶段,路径终点指向“成功”的统计总数远大于路径终点指向“失败或异常”的路径, 在可视化显示具有相同标识的业务路径的数量,以便于技术人员快速分辨出失败或异常的 业务路径;第四列显示表格中该行记录的创建时间,并且还可以在表格中显示业务路径的 树状图的显示页面的连接,以及业务路径的对应的日志子集的显示页面的连接,比如提供 标注“日志详情”的连接按钮。需要说明的是,如图4c所示的仅为本实施例一种可能的可视 化界面,在本实施例的实际应用中可以根据具体的应用场景或是技术人员的运维需求,基 于本实施例的方法流程设计不同类型的界面,以便于简化技术人员的运维操作。
[0062]为了便于技术人员快速查找结果为异常或失败的业务路径,在本实施例中还包括 以下过程:
[0063]在根据所述统计结果得到异常的业务路径后,提取正常的业务路径作为基准路 径。
[0064]并在每一个检测周期内:根据当前所述业务系统最新的日志数据刷新业务路径。 从刷新后的业务路径中筛选出与所述基准路径存在差异的业务路径。
[0065]其中,在业务系统的运行过程中,可以实时自动绘制树状图,并对比由基准路径组 成的基础树状图,从而快速得到相对于基础树状图所不同的业务路径,以便于技术人员借 助可视化的树状图快速找到需要判定的业务路径。并且,在刷新业务路径后,对于与所述基 准路径存在差异的业务路径,可以通过人工判定的业务模型是否正常,并标注业务路径。月艮 务器同时更新基础树状图,从而快速从日志数据中聚类“异常”和“正常”的业务模型,并将 刷新后的业务路径及业务路径的相关信息刷新至可视化界面中。从而进一步减少技术人员 在运维过程中进行数据查询或是进行数据统计的时间。
[0066]本发明实施例还提供一种如图5所示的日志分析装置,可以运行在如图1所示的服 务器,或者服务器组中。该日志分析装置包括:
[0067]采集模块,用于采集业务系统的日志数据,所述业务系统用于运行包括至少两个 业务环节的业务过程,所述日志数据包括用于表示每一个环节上业务的执行状态的信息。 [0068]路径生成模块,用于根据所述日志数据,生成业务路径,其中,每一条业务路径由 至少两个节点和节点之间的连线组成,每一个节点对应一个业务环节。
[0069]路径标识模块,用于对所生成的业务路径设置标识,其中,一条业务路径的标识用 于表示这一条业务路径对应的业务属性。
[0070] 统计模块,用于对所生成的业务路径进行统计计算并得到统计结果,并根据所述 统计结果得到异常的业务路径,所述统计结果包括具有相同标识的业务路径的数量。
[0071] 其中,在每一条业务路径中,各个节点相互串联。每一个业务路径指向一个路径终 点,所述路径终点包括:业务成功、业务失败和业务异常。
[0072] 在本实施例中,还包括:数据聚类模块,用于按照所生成的业务路径,聚类所述日 志数据并得到对应各个业务路径的日志子集,其中,对应于一个业务路径的日志子集包括 这该业务路径中的各环节上业务的执行状态的信息。
[0073] 在本实施例中,还包括:差异分析模块,用于在根据所述统计结果得到异常的业务 路径后,提取正常的业务路径作为基准路径。并在每一个检测周期内:根据当前所述业务系 统最新的日志数据刷新业务路径。从刷新后的业务路径中筛选出与所述基准路径存在差异 的业务路径。
[0074]在本实施例中,还包括:可视化输出模块,用于生成具有相同标识的业务路径的树 状图,并将所述树状图和所述统计结果输出至可视化界面。所述可视化界面划分为指定数 量的区域,在一个区域中包括:一个业务路径指向的路径终点和这一个业务路径的标识的 名称。至少还包括:这一个业务路径的树状图的显示页面的连接、这一个业务路径的对应的 日志子集的显示页面的连接。
[0075]本发明实施例提供的日志分析装置,能够根据日志数据,生成业务路径,并对对所 生成的业务路径进行统计计算并得到统计结果,根据统计结果得到异常的业务路径,从而 完成异常路径的识别,并且还通过可视化的树状图显示基于日志数据生成的业务路径。相 对于现有技术,本发明实施例通过基于日志生成可视化的业务路径及树状图,并通过树状 图中的路径区分“异常”和“正常”的业务路径,使得技术人员可以借助可视化的树状图快速 找到需要判定的业务路径并判定异常,从而提高人工运维过程中,基于日志数据判定业务 异常的效率,尤其是对于会产生海量的业务日志的业务系统,能够极大地节省人工成本。 [0076]本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部 分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实 施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例 的部分说明即可。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流 程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读 取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储 介质可为磁碟、光盘、只读存储记忆体(Read-On 1 y Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不 局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变 化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的 保护范围为准。

Claims (10)

1. 一种日志分析方法,其特征在于,包括: 采集业务系统的日志数据,所述业务系统用于运行包括至少两个业务环节的业务过 程,所述日志数据包括用于表示每一个环节上业务的执行状态的信息; 根据所述日志数据,生成业务路径,其中,每一条业务路径由至少两个节点和节点之间 的连线组成,每一个节点对应一个业务环节; 对所生成的业务路径设置标识,其中,一条业务路径的标识用于表示这一条业务路径 对应的业务属性; 对所生成的业务路径进行统计计算并得到统计结果,并根据所述统计结果得到异常的 业务路径,所述统计结果包括具有相同标识的业务路径的数量。
2. 根据权利要求1所述的方法,其特征在于,在每一条业务路径中,各个节点相互串联; 每一个业务路径指向一个路径终点,所述路径终点包括:业务成功、业务失败和业务异 常。
3. 根据权利要求1所述的方法,其特征在于,还包括: 按照所生成的业务路径,聚类所述日志数据并得到对应各个业务路径的日志子集,其 中,对应于一个业务路径的日志子集包括这该业务路径中的各环节上业务的执行状态的信 肩、。
4. 根据权利要求1至3中任意一项所述的方法,其特征在于,还包括: 在根据所述统计结果得到异常的业务路径后,提取正常的业务路径作为基准路径; 在每一个检测周期内: 根据当前所述业务系统最新的日志数据刷新业务路径; 从刷新后的业务路径中筛选出与所述基准路径存在差异的业务路径。
5. 根据权利要求4所述的方法,其特征在于,还包括: 生成具有相同标识的业务路径的树状图,并将所述树状图和所述统计结果输出至可视 化界面; 所述可视化界面划分为指定数量的区域,在一个区域中包括:一个业务路径指向的路 径终点和这一个业务路径的标识的名称;至少还包括:这一个业务路径的树状图的显示页 面的连接、这一个业务路径的对应的日志子集的显示页面的连接。
6. —种日志分析装置,其特征在于,包括: 采集模块,用于采集业务系统的日志数据,所述业务系统用于运行包括至少两个业务 环节的业务过程,所述日志数据包括用于表示每一个环节上业务的执行状态的信息; 路径生成模块,用于根据所述日志数据,生成业务路径,其中,每一条业务路径由至少 两个节点和节点之间的连线组成,每一个节点对应一个业务环节; 路径标识模块,用于对所生成的业务路径设置标识,其中,一条业务路径的标识用于表 示这一条业务路径对应的业务属性; 统计模块,用于对所生成的业务路径进行统计计算并得到统计结果,并根据所述统计 结果得到异常的业务路径,所述统计结果包括具有相同标识的业务路径的数量。
7. 根据权利要求6所述的装置,其特征在于,在每一条业务路径中,各个节点相互串联; 每一个业务路径指向一个路径终点,所述路径终点包括:业务成功、业务失败和业务异常。
8. 根据权利要求6所述的装置,其特征在于,还包括:数据聚类模块,用于按照所生成的 业务路径,聚类所述日志数据并得到对应各个业务路径的日志子集,其中,对应于一个业务 路径的日志子集包括这该业务路径中的各环节上业务的执行状态的信息。
9.根据权利要求6至8中任意一项所述的装置,其特征在于,还包括: 差异分析模块,用于在根据所述统计结果得到异常的业务路径后,提取正常的业务路 径作为基准路径; 并在每一个检测周期内:根据当前所述业务系统最新的日志数据刷新业务路径;从刷 新后的业务路径中筛选出与所述基准路径存在差异的业务路径。 1〇 •根据权利要求9所述的装置,其特征在于,还包括: 可视化输出模块,用于生成具有相同标识的业务路径的树状图,并将所述树状图和所 述统计结果输出至可视化界面;所述可视化界面划分为指定数量的区域,在一个区域中包 括:一个业务路径指向的路径终点和这一个业务路径的标识的名称;至少还包括:这一个业 务路径的树状图的显示页面的连接、这一个业务路径的对应的日志子集的显示页面的连 接。
CN201610060944.7A 2016-01-28 2016-01-28 一种日志分析方法及装置 Active CN107015901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610060944.7A CN107015901B (zh) 2016-01-28 2016-01-28 一种日志分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610060944.7A CN107015901B (zh) 2016-01-28 2016-01-28 一种日志分析方法及装置

Publications (2)

Publication Number Publication Date
CN107015901A true CN107015901A (zh) 2017-08-04
CN107015901B CN107015901B (zh) 2021-01-29

Family

ID=59439261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610060944.7A Active CN107015901B (zh) 2016-01-28 2016-01-28 一种日志分析方法及装置

Country Status (1)

Country Link
CN (1) CN107015901B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729210A (zh) * 2017-09-29 2018-02-23 百度在线网络技术(北京)有限公司 分布式服务集群的异常诊断方法和装置
CN109656545A (zh) * 2019-01-17 2019-04-19 云南师范大学 一种基于事件日志的软件开发活动聚类分析方法
CN112559301A (zh) * 2019-09-10 2021-03-26 网易(杭州)网络有限公司 业务处理方法、存储介质、处理器及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562540A (zh) * 2009-05-08 2009-10-21 华为技术有限公司 业务监控方法及设备
CN103337113A (zh) * 2013-07-17 2013-10-02 广州广电运通金融电子股份有限公司 电子流水日志智能分析方法、装置及处理器
CN105227405A (zh) * 2015-10-16 2016-01-06 中国工商银行股份有限公司 监控方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562540A (zh) * 2009-05-08 2009-10-21 华为技术有限公司 业务监控方法及设备
CN103337113A (zh) * 2013-07-17 2013-10-02 广州广电运通金融电子股份有限公司 电子流水日志智能分析方法、装置及处理器
CN105227405A (zh) * 2015-10-16 2016-01-06 中国工商银行股份有限公司 监控方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729210A (zh) * 2017-09-29 2018-02-23 百度在线网络技术(北京)有限公司 分布式服务集群的异常诊断方法和装置
CN107729210B (zh) * 2017-09-29 2020-09-25 百度在线网络技术(北京)有限公司 分布式服务集群的异常诊断方法和装置
CN109656545A (zh) * 2019-01-17 2019-04-19 云南师范大学 一种基于事件日志的软件开发活动聚类分析方法
CN109656545B (zh) * 2019-01-17 2022-03-25 云南师范大学 一种基于事件日志的软件开发活动聚类分析方法
CN112559301A (zh) * 2019-09-10 2021-03-26 网易(杭州)网络有限公司 业务处理方法、存储介质、处理器及电子装置
CN112559301B (zh) * 2019-09-10 2022-05-27 网易(杭州)网络有限公司 业务处理方法、存储介质、处理器及电子装置

Also Published As

Publication number Publication date
CN107015901B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
US7162390B2 (en) Framework for collecting, storing, and analyzing system metrics
CN104239181B (zh) 累计用于电子系统的硬件计数的方法和电子系统
US20130304530A1 (en) Automated generation of process monitoring system components
CN107015901A (zh) 一种日志分析方法及装置
CN104346574A (zh) 基于配置规范的主机安全配置漏洞自动修复方法及系统
US20080168044A1 (en) System and method for providing performance statistics for application components
CN104937548A (zh) 动态图的性能监视
CN110990391A (zh) 多源异构数据的整合方法、系统、计算机设备及存储介质
CN110568838B (zh) 一种车辆静态电流获取方法、系统、电子设备及存储介质
CN101196901B (zh) 用于数据库查询的计算机系统和方法
CN103366410A (zh) 一种基于物联网的电力设备智能巡检系统
CN107015896A (zh) 一种嵌入式设备cpu及其外设状态实时监测方法、系统
CN106383763A (zh) 数据中心智能故障检测报警系统
CN106651072A (zh) 一种派工方法及装置
CN103810094B (zh) 一种测试案例的执行方法、装置和测试工具
CN114172949A (zh) 一种微服务链路监控追踪方法和系统
CN108694448A (zh) Phm平台
CN111400189A (zh) 代码覆盖率监测方法、装置、电子设备及存储介质
CN112348213A (zh) 运维故障排查实现方法、装置、介质及设备
CN111400332A (zh) 项目进度的监控方法及装置
CN109982284A (zh) 用于线路巡检的通讯系统及方法
CN108920635A (zh) 一种数据编码分析的方法及装置
CN108171608A (zh) 股票交易方法及装置
JP4586602B2 (ja) 製品開発活動分析装置および方法
CN103200023A (zh) 发送硬件信息的方法及装置,处理硬件信息的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 210000, 1-5 story, Jinshan building, 8 Shanxi Road, Nanjing, Jiangsu.

Applicant after: SUNING GROUP Co.,Ltd.

Address before: 210042 Suning Headquarters, No. 1 Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province

Applicant before: SUNING COMMERCE GROUP Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210722

Address after: Room 834, Yingying building, 99 Tuanjie Road, yanchuangyuan, Jiangbei new district, Nanjing, Jiangsu 210000

Patentee after: Nanjing Xingyun Digital Technology Co.,Ltd.

Address before: 210000, 1-5 story, Jinshan building, 8 Shanxi Road, Nanjing, Jiangsu.

Patentee before: SUNING GROUP Co.,Ltd.

TR01 Transfer of patent right