CN103425568B - 日志信息处理方法及装置 - Google Patents

日志信息处理方法及装置 Download PDF

Info

Publication number
CN103425568B
CN103425568B CN201310371281.7A CN201310371281A CN103425568B CN 103425568 B CN103425568 B CN 103425568B CN 201310371281 A CN201310371281 A CN 201310371281A CN 103425568 B CN103425568 B CN 103425568B
Authority
CN
China
Prior art keywords
log information
type
information
log
bar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310371281.7A
Other languages
English (en)
Other versions
CN103425568A (zh
Inventor
彭昱玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sina Technology China Co Ltd
Original Assignee
Sina Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sina Technology China Co Ltd filed Critical Sina Technology China Co Ltd
Priority to CN201310371281.7A priority Critical patent/CN103425568B/zh
Publication of CN103425568A publication Critical patent/CN103425568A/zh
Application granted granted Critical
Publication of CN103425568B publication Critical patent/CN103425568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志信息处理方法及装置,所述方法包括:获取云环境中的各虚拟机或宿主机的日志信息进行缓存;并在设定的处理周期U到达时,将本次处理周期内缓存的日志信息进行合并处理:对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息合并为一条日志信息后进行存储;其中,W等于U×M/N,M为该类型的日志信息的采集频率,N为日志信息的统计分析频率,且M>N。由于该方法将连续缓存的多条同类型的日志信息合并为一条日志信息后进行存储,从而节约了存储空间,节约了网络带宽,并降低了保存大量日志信息的原始数据的成本。

Description

日志信息处理方法及装置
技术领域
本发明涉及计算机领域,尤其涉及一种日志信息处理方法及装置。
背景技术
云计算(Cloud computing)是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其它设备。
目前,云计算中监控功能通常是通过日志信息采集的方法来实现的。日志信息采集的方法分为被动接收和主动采集两种。主动采集方法是由日志信息处理装置主动获取云环境中的虚拟机或宿主机的日志信息,并将其保存到存储空间中供后续分析使用;被动接收方式是由现有的云计算组件或者云环境中的虚拟机或宿主机的日志采集组件主动推送日志信息到日志信息处理装置,由日志信息处理装置接收日志信息,并将其保存到存储空间中供后续分析使用。
通常,日志信息采集的对象可以包括云环境中的虚拟机或宿主机的CPU(Central Processing Unit,中央处理器)使用率信息、内存使用率信息、磁盘使用率信息,磁盘IO(Input Output,输入输出)流量信息、网络流量信息,以及系统登录信息、访问信息、故障告警信息、端口连接信息等。
通过对虚拟机或宿主机的日志信息进行分析,可以从中获取虚拟机或宿主机的运行状况、访问状况、负载状况等信息,从而为企业对突发事件、网络攻击等事件的发生和应对提供数据参考;同时,可以根据日志信息中提供的数据进行用户行为研究、负载规律研究、安全基线研究、突发事件规律研究等行为研究,为企业的未来产品发展提供数据依据。因此,日志信息的采集、处理和分析对企业和产品的运营意义重大。
现有技术中,对于获取或采集的日志信息,一般采用完全保存的方式进行存储,即不管日志信息是否具有使用价值,一概保存日志信息的所有原始数据。然而,这种方式会导致形成不必要的冗余数据,浪费磁盘存储空间,降低查询速度,并最终影响用户体验;而且,由于智能手机、平板电脑和其他互联网设备的普及,以及云计算技术的发展,互联网带宽资源和云端内网资源在不久的将来都将面临带宽极限的问题,现有技术中将日志信息的所有原始数据上传至存储空间的方式,浪费了大量的网络带宽,使其存在局限性。
因此,有必要提供一种可以节约存储空间、节约网络带宽的日志信息处理方法。
发明内容
针对上述现有技术存在的缺陷,本发明提供了一种日志信息处理方法及装置,用以节约存储空间,并节约网络带宽。
根据本发明的一个方面,提供了一种日志信息处理方法,包括:
获取云环境中的各虚拟机或宿主机的日志信息进行缓存;并在设定的处理周期U到达时,将本次处理周期内缓存的日志信息进行合并处理:
对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息合并为一条日志信息后进行存储;其中,W等于U×M/N,M为该类型的日志信息的采集频率,N为日志信息的统计分析频率,且M>N。
较佳地,所述将连续缓存的每W条该类型的日志信息合并为一条日志信息,具体为:
若日志信息的类型为CPU使用率、或内存使用率、或磁盘使用率信息,则对于连续缓存的每W条该类型的日志信息计算平均值,将计算得到的平均值作为合并后的该类型的一条日志信息。
进一步,在所述对于连续缓存的每W条该类型的日志信息计算平均值后,还包括:
对于连续缓存的每W条该类型的日志信息,统计出最大值、最小值,将统计出的最大值、最小值与计算得到的平均值一并进行存储。
或者,所述将连续缓存的每W条该类型的日志信息合并为1条日志信息,具体为:
若日志信息的类型为磁盘IO流量、或网络流量信息,则对于连续缓存的每W条该类型的日志信息统计出最大值,将统计出的最大值作为合并后的该类型的一条日志信息。
进一步,在所述对于连续缓存的每W条该类型的日志信息统计出最大值后,还包括:
对于连续缓存的每W条该类型的日志信息计算合计值S;其中,S=XW-X1;XW为所述W条该类型的日志信息中最后一条日志信息的值,X1为所述W条该类型的日志信息中第一条日志信息的值;
对于连续缓存的每W条该类型的日志信息计算差值平均值P:
P = Σ i = 2 W ( X i - X i - 1 ) / ( W - 1 ) (公式1)
其中,i为自然数,Xi-1为所述W条该类型的日志信息中第i-1条日志信息的值,Xi为所述W条该类型的日志信息中第i条日志信息的值;
对于连续缓存的每W条该类型的日志信息统计出最小值;
将统计出的最小值、计算出的合计值和计算出的差值平均值,与所述最大值一并进行存储。
或者,所述将连续缓存的每W条该类型的日志信息合并为一条日志信息,具体为:
若日志信息的类型为系统登录信息、或访问信息、或故障告警、或端口连接信息,则对于连续缓存的每W条该类型的日志信息,将其中第一条该类型的日志信息的内容写入到一个临时日志或内存后,将后续的W-1条该类型的日志信息的内容依次与该临时日志或内存中记录的内容进行比较;若该临时日志或内存中没有记录当前比较的日志信息的内容,则将当前比较的日志信息的内容增加到该临时日志或内存中;
之后,将该临时日志或内存中的内容作为合并后的该类型的一条日志信息。
根据本发明的另一个方面,还提供了一种日志信息处理装置,包括:
日志缓存模块,用于获取云环境中的各虚拟机或宿主机的日志信息进行缓存;
合并处理模块,用于在设定的处理周期U到达时,将本次处理周期内所述日志缓存模块缓存的日志信息进行合并处理:对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息合并为一条日志信息后进行存储;其中,W等于U×M/N,M为该类型的日志信息的采集频率,N为日志信息的统计分析频率。
其中,所述合并处理模块包括:
类型确认单元,用于在设定的处理周期U到达时,获取所述日志缓存模块本次处理周期内缓存的日志信息,并确认每个获取的日志信息的信息类型;若确认当前获取的日志信息的类型为CPU使用率、或内存使用率、或磁盘使用率信息,则将当前获取的日志信息输出;
第一合并单元,用于接收所述类型确认单元输出的CPU使用率、或内存使用率、或磁盘使用率信息类型的日志信息,并对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息进行合并处理:对于连续缓存的每W条该类型的日志信息计算平均值,将计算得到的平均值作为合并后的该类型的一条日志信息;之后,将合并得到的日志信息进行存储。
进一步,所述合并处理模块还包括:第二合并单元;
所述类型确认单元还用于若确认当前获取的日志信息的类型为磁盘IO流量、或网络流量信息,则将当前获取的日志信息输出至第二合并单元;
第二合并单元用于接收所述类型确认单元输出的磁盘IO流量、或网络流量信息类型的日志信息,并对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息进行合并处理:对于连续缓存的每W条该类型的日志信息统计出最大值,将统计出的最大值作为合并后的该类型的一条日志信息;之后,将合并得到的日志信息进行存储。
进一步,所述合并处理模块还包括:第三合并单元;
所述类型确认单元还用于若确认当前获取的日志信息的类型为系统登录信息、或访问信息、或故障告警、或端口连接信息,则将当前获取的日志信息输出至第三合并单元;
第三合并单元用于接收所述类型确认单元输出的系统登录信息、或访问信息、或故障告警、或端口连接信息类型的日志信息,并对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息进行合并处理:对于连续缓存的每W条该类型的日志信息,将其中第一条该类型的日志信息的内容写入到一个临时日志或内存后,将后续的W-1条该类型的日志信息的内容依次与该临时日志或内存中记录的内容进行比较;若该临时日志或内存中没有记录当前比较的日志信息的内容,则将当前比较的日志信息的内容增加到该临时日志或内存中;之后,第三合并单元将该临时日志或内存中的内容作为合并后的该类型的一条日志信息,并将合并得到的日志信息进行存储。
本发明的技术方案中,日志信息处理装置获取云环境中的各虚拟机或宿主机的日志信息进行缓存后,在设定的处理周期U到达时,将本次处理周期内缓存的日志信息进行合并处理,即日志信息处理装置对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的多条该类型的日志信息合并为一条日志信息后进行存储;这样,节约了存储空间,节约了网络带宽,并降低了保存大量日志信息的原始数据的成本。
进一步,若用户需要查询或统计一段时间内的日志信息,仅在根据本发明的方法存储的、进行合并处理后的日志信息中查询或统计即可,提高了查询或统计速度。
附图说明
图1为本发明实施例的日志信息处理方法的流程图;
图2为本发明实施例的日志信息处理装置的内部结构框图。
具体实施方式
以下将结合附图对本发明的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
本申请使用的“模块”、“系统”等术语旨在包括与计算机相关的实体,例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如,模块可以是,但并不仅限于:处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说,计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内,一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。
本发明的发明人考虑到,当日志信息的采集频率较高,而日志信息的统计分析频率较低时,也就是日志信息的采集频率高于统计分析频率时,可以将一个处理周期内,从同一虚拟机或宿主机获取的多条日志信息进行合并,仅将合并后的日志信息存储到存储空间内,而不需要缓存或者保存日志信息的所有原始数据;从而,节约存储空间,并节约网络带宽。
下面结合附图详细说明本发明的技术方案。本发明实施例提供了一种可以对获取的日志信息进行合并处理后存储的日志信息处理装置,其中,日志信息处理装置进行日志信息处理的方法流程,如图1所示,具体包括如下步骤:
S101:日志信息处理装置获取云环境中的各虚拟机或宿主机的日志信息进行缓存。
具体地,日志信息处理装置获取云环境中的各虚拟机或宿主机的日志信息后,将获取的日志信息进行缓存,而不将获取的日志信息直接存储到数据库中,并等待设定的处理周期U到达后,进行如下步骤的处理。其中,设定的处理周期U可以由本领域技术人员进行设定,具体可以设定为1秒、1分钟、1小时、或1天等等。
S102:在设定的处理周期U到达时,日志信息处理装置获取本次处理周期内缓存的日志信息,将同一虚拟机或宿主机的同类型的日志信息划分到一个集合中。
具体地,在设定的处理周期U到达时,日志信息处理装置将本次处理周期内缓存的日志信息进行如下步骤的合并处理;比如,可以将同类型的内容为“PIDA crashed”的日志信息和内容为“PID B crashed”的日志信息,合并为内容为“PIDA,B crashed”的一条日志信息。
S103:日志信息处理装置对于划分的每个集合,判断该集合中日志信息的类型;若日志信息的类型为CPU使用率、或内存使用率、或磁盘使用率信息,则执行步骤S114;若日志信息的类型为磁盘IO流量、或网络流量信息,则执行步骤S124;若日志信息的类型为系统登录信息、或访问信息、或故障告警、或端口连接信息,则执行步骤S134。
具体地,日志信息处理装置对于划分的每个集合,判断该集合中的同一虚拟机或宿主机的同类型的日志信息的类型后,通过如下步骤的处理,将连续缓存的每W条该类型的日志信息合并为一条日志信息后进行存储;其中,W等于U×M/N,M为该类型的日志信息的采集频率,其单位具体可以为次/分钟等,N为日志信息的统计分析频率,与该类型的日志信息的采集频率的单位相同,具体可以为次/分钟等,且M>N。
S114:日志信息处理装置对于连续缓存的每W条该类型的日志信息计算平均值,将计算得到的平均值作为合并后的该类型的一条日志信息。
具体地,若日志信息的类型为CPU使用率、或内存使用率、或磁盘使用率信息,日志信息处理装置计算出连续缓存的每W条该类型的日志信息的平均值后,将该平均值作为合并后的该类型的一条日志信息。由于将W条日志信息合并为一条日志信息,从而,在后续进行日志信息的存储时,将大大节约用于存储日志信息的存储空间,并节约上传日志信息所需的网络带宽。
S115:日志信息处理装置对于连续缓存的每W条该类型的日志信息,统计出最大值、最小值。
具体地,日志信息处理装置对于CPU使用率、或内存使用率、或磁盘使用率信息类型的日志信息,在上述步骤S114中计算出连续缓存的每W条该类型的日志信息的平均值后,还可以进一步在本步骤中统计出连续缓存的每W条该类型的日志信息中的最大值和最小值。
S116:日志信息处理装置将统计出的最大值、最小值与计算得到的平均值一并进行存储,并跳转到S140。
S124:日志信息处理装置对于连续缓存的每W条该类型的日志信息统计出最大值,将统计出的最大值作为合并后的该类型的一条日志信息。
具体地,若日志信息的类型为磁盘IO流量、或网络流量信息,日志信息处理装置对于连续缓存的每W条该类型的日志信息统计出最大值后,将统计出的最大值作为合并后的该类型的一条日志信息。
S125:日志信息处理装置对于连续缓存的每W条该类型的日志信息,计算合计值S、差值平均值P,并统计出最小值。
具体地,日志信息处理装置对于磁盘IO流量、或网络流量信息类型的日志信息,在上述步骤S124中统计出连续缓存的每W条该类型的日志信息中的最大值后,还可以在本步骤中计算出连续缓存的每W条该类型的日志信息的合计值S和差值平均值P,并统计出连续缓存的每W条该类型的日志信息中的最小值;
例如,若每次采集到的磁盘IO流量、或网络流量均是自虚拟机宿主机开机以来的磁盘IO流量、或网络流量之和,则可以通过如下方法来计算出连续缓存的每W条该类型的日志信息的合计值S和差值平均值P:
对于连续缓存的每W条该类型的日志信息计算合计值S;其中,S=XW-X1;XW为W条该类型的日志信息中最后一条日志信息的值,X1为W条该类型的日志信息中第一条日志信息的值;且计算出的合计值S表示本次处理周期内的磁盘IO流量、或网络流量;
日志信息处理装置对于连续缓存的每W条该类型的日志信息计算差值平均值P:
P = Σ i = 2 W ( X i - X i - 1 ) / ( W - 1 ) (公式1)
其中,i为自然数,Xi-1为W条该类型的日志信息中第i-1条日志信息的值,Xi为W条该类型的日志信息中第i条日志信息的值;且计算出的差值平均值P表示本次处理周期内每隔U/(W-1)的时间,磁盘IO流量、或网络流量的增量的平均值;
日志信息处理装置对于连续缓存的每W条该类型的日志信息统计出最小值。
S126:日志信息处理装置将统计出的最小值、计算出的合计值和计算出的差值平均值,与所述最大值一并进行存储,并跳转到S140。
S134:日志信息处理装置对于连续缓存的每W条该类型的日志信息,将其中第一条该类型的日志信息的内容写入到一个临时日志或内存。
具体地,内存中还可设置有一个用于记录系统登录信息、或访问信息、或故障告警、或端口连接信息类型的日志信息的临时日志;
若日志信息的类型为系统登录信息、或访问信息、或故障告警、或端口连接信息,日志信息处理装置对于连续缓存的每W条该类型的日志信息,将其中第一条该类型的日志信息的内容写入到一个临时日志,或者,将其中第一条该类型的日志信息的内容写入到内存。
S135:日志信息处理装置将后续的W-1条该类型的日志信息的内容依次与该临时日志或内存中记录的内容进行比较;若该临时日志或内存中没有记录当前比较的日志信息的内容,则将当前比较的日志信息的内容增加到该临时日志或内存中。
在本步骤中,对于后续的、类型为系统登录信息、或访问信息、或故障告警、或端口连接信息类型的W-1条日志信息中的每一条,日志信息处理装置将该条日志信息的内容与临时日志或内存中记录的内容进行比较;若该临时日志或内存中没有记录该条日志信息的内容,则将该条日志信息的内容增加到临时日志或内存中。
S136:日志信息处理装置将该临时日志或内存中的内容作为合并后的该类型的一条日志信息,并将合并得到的日志信息进行存储后,跳转到S140。
S140:对于划分的每个集合,完成该集合中日志信息的合并处理后,结束本次处理周期内缓存的日志信息的处理,并跳转到S102。
基于上述的日志信息处理方法,本发明实施例提供的日志信息处理装置的内部结构框图如图2所示,包括:日志缓存模块201和合并处理模块202。
日志缓存模块201用于获取云环境中的各虚拟机或宿主机的日志信息进行缓存。
合并处理模块202用于在设定的处理周期U到达时,将本次处理周期内日志缓存模块201缓存的日志信息进行合并处理:对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息合并为一条日志信息后进行存储;其中,W等于U×M/N,M为该类型的日志信息的采集频率,N为日志信息的统计分析频率,且M>N。
上述的合并处理模块202具体包括:类型确认单元221、第一合并单元222、第二合并单元223和第三合并单元224。
类型确认单元221用于在设定的处理周期U到达时,获取日志缓存模块201本次处理周期内缓存的日志信息,并确认每个获取的日志信息的信息类型;若确认当前获取的日志信息的类型为CPU使用率、或内存使用率、或磁盘使用率信息,则将当前获取的日志信息输出至第一合并单元222;
进一步,类型确认单元221还用于若确认当前获取的日志信息的类型为磁盘IO流量、或网络流量信息,则将当前获取的日志信息输出至第二合并单元223;
进一步,类型确认单元221还用于若确认当前获取的日志信息的类型为系统登录信息、或访问信息、或故障告警、或端口连接信息,则将当前获取的日志信息输出至第三合并单元224。
第一合并单元222用于接收类型确认单元221输出的CPU使用率、或内存使用率、或磁盘使用率信息类型的日志信息,并对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息进行合并处理:对于连续缓存的每W条该类型的日志信息计算平均值,将计算得到的平均值作为合并后的该类型的一条日志信息;之后,将合并得到的日志信息进行存储。
第二合并单元223用于接收类型确认单元221输出的磁盘IO流量、或网络流量信息类型的日志信息,并对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息进行合并处理:对于连续缓存的每W条该类型的日志信息统计出最大值,将统计出的最大值作为合并后的该类型的一条日志信息;之后,将合并得到的日志信息进行存储。
第三合并单元224用于接收类型确认单元221输出的系统登录信息、或访问信息、或故障告警、或端口连接信息类型的日志信息,并对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息进行合并处理:对于连续缓存的每W条该类型的日志信息,将其中第一条该类型的日志信息的内容写入到一个临时日志或内存后,将后续的W-1条该类型的日志信息的内容依次与该临时日志或内存中记录的内容进行比较;若该临时日志或内存中没有记录当前比较的日志信息的内容,则将当前比较的日志信息的内容增加到该临时日志或内存中;之后,第三合并单元224将该临时日志或内存中的内容作为合并后的该类型的一条日志信息,并将合并得到的日志信息进行存储。
本发明的技术方案中,日志信息处理装置获取云环境中的各虚拟机或宿主机的日志信息进行缓存后,在设定的处理周期U到达时,将本次处理周期内缓存的日志信息进行合并处理,即日志信息处理装置对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的多条该类型的日志信息合并为一条日志信息后进行存储;这样,节约了存储空间,节约了网络带宽,并降低了保存大量日志信息的原始数据的成本。
进一步,若用户需要查询或统计一段时间内的日志信息,仅在根据本发明的方法存储的、进行合并处理后的日志信息中查询或统计即可,提高了查询或统计速度。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种日志信息处理方法,其特征在于,包括:
获取云环境中的各虚拟机或宿主机的日志信息进行缓存;并在设定的处理周期U到达时,将本次处理周期内缓存的日志信息进行合并处理:
对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息合并为一条日志信息后进行存储;其中,W等于U×M/N,M为该类型的日志信息的采集频率,N为日志信息的统计分析频率,且M>N。
2.如权利要求1所述的方法,其特征在于,所述将连续缓存的每W条该类型的日志信息合并为一条日志信息,具体为:
若日志信息的类型为CPU使用率信息、或内存使用率信息、或磁盘使用率信息,则对于连续缓存的每W条该类型的日志信息计算平均值,将计算得到的平均值作为合并后的该类型的一条日志信息。
3.如权利要求2所述的方法,其特征在于,在所述对于连续缓存的每W条该类型的日志信息计算平均值后,还包括:
对于连续缓存的每W条该类型的日志信息,统计出最大值、最小值,将统计出的最大值、最小值与计算得到的平均值一并进行存储。
4.如权利要求1所述的方法,其特征在于,所述将连续缓存的每W条该类型的日志信息合并为1条日志信息,具体为:
若日志信息的类型为磁盘IO流量信息、或网络流量信息,则对于连续缓存的每W条该类型的日志信息统计出最大值,将统计出的最大值作为合并后的该类型的一条日志信息。
5.如权利要求4所述的方法,其特征在于,在所述对于连续缓存的每W条该类型的日志信息统计出最大值后,还包括:
对于连续缓存的每W条该类型的日志信息计算合计值S;其中,S=XW-X1;XW为所述W条该类型的日志信息中最后一条日志信息的值,X1为所述W条该类型的日志信息中第一条日志信息的值;
对于连续缓存的每W条该类型的日志信息计算差值平均值P:
其中,i为自然数,Xi-1为所述W条该类型的日志信息中第i-1条日志信息的值,Xi为所述W条该类型的日志信息中第i条日志信息的值;
对于连续缓存的每W条该类型的日志信息统计出最小值;
将统计出的最小值、计算出的合计值和计算出的差值平均值,与所述最大值一并进行存储。
6.如权利要求1所述的方法,其特征在于,所述将连续缓存的每W条该类型的日志信息合并为一条日志信息,具体为:
若日志信息的类型为系统登录信息、或访问信息、或故障告警信息、或端口连接信息,则对于连续缓存的每W条该类型的日志信息,将其中第一条该类型的日志信息的内容写入到一个临时日志或内存后,将后续的W-1条该类型的日志信息的内容依次与该临时日志或内存中记录的内容进行比较;若该临时日志或内存中没有记录当前比较的日志信息的内容,则将当前比较的日志信息的内容增加到该临时日志或内存中;
之后,将该临时日志或内存中的内容作为合并后的该类型的一条日志信息。
7.一种日志信息处理装置,其特征在于,包括:
日志缓存模块,用于获取云环境中的各虚拟机或宿主机的日志信息进行缓存;
合并处理模块,用于在设定的处理周期U到达时,将本次处理周期内所述日志缓存模块缓存的日志信息进行合并处理:对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息合并为一条日志信息后进行存储;其中,W等于U×M/N,M为该类型的日志信息的采集频率,N为日志信息的统计分析频率。
8.如权利要求7所述的装置,其特征在于,所述合并处理模块包括:
类型确认单元,用于在设定的处理周期U到达时,获取所述日志缓存模块本次处理周期内缓存的日志信息,并确认每个获取的日志信息的信息类型;若确认当前获取的日志信息的类型为CPU使用率信息、或内存使用率信息、或磁盘使用率信息,则将当前获取的日志信息输出;
第一合并单元,用于接收所述类型确认单元输出的CPU使用率信息、或内存使用率信息、或磁盘使用率信息类型的日志信息,并对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息进行合并处理:对于连续缓存的每W条该类型的日志信息计算平均值,将计算得到的平均值作为合并后的该类型的一条日志信息;之后,将合并得到的日志信息进行存储。
9.如权利要求8所述的装置,其特征在于,所述合并处理模块还包括:第二合并单元;
所述类型确认单元还用于若确认当前获取的日志信息的类型为磁盘IO流量信息、或网络流量信息,则将当前获取的日志信息输出至第二合并单元;
第二合并单元用于接收所述类型确认单元输出的磁盘IO流量信息、或网络流量信息类型的日志信息,并对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息进行合并处理:对于连续缓存的每W条该类型的日志信息统计出最大值,将统计出的最大值作为合并后的该类型的一条日志信息;之后,将合并得到的日志信息进行存储。
10.如权利要求8或9所述的装置,其特征在于,所述合并处理模块还包括:第三合并单元;
所述类型确认单元还用于若确认当前获取的日志信息的类型为系统登录信息、或访问信息、或故障告警信息、或端口连接信息,则将当前获取的日志信息输出至第三合并单元;
第三合并单元用于接收所述类型确认单元输出的系统登录信息、或访问信息、或故障告警信息、或端口连接信息类型的日志信息,并对于从同一虚拟机或宿主机获取的同类型的日志信息,将连续缓存的每W条该类型的日志信息进行合并处理:对于连续缓存的每W条该类型的日志信息,将其中第一条该类型的日志信息的内容写入到一个临时日志或内存后,将后续的W-1条该类型的日志信息的内容依次与该临时日志或内存中记录的内容进行比较;若该临时日志或内存中没有记录当前比较的日志信息的内容,则将当前比较的日志信息的内容增加到该临时日志或内存中;之后,第三合并单元将该临时日志或内存中的内容作为合并后的该类型的一条日志信息,并将合并得到的日志信息进行存储。
CN201310371281.7A 2013-08-23 2013-08-23 日志信息处理方法及装置 Active CN103425568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310371281.7A CN103425568B (zh) 2013-08-23 2013-08-23 日志信息处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310371281.7A CN103425568B (zh) 2013-08-23 2013-08-23 日志信息处理方法及装置

Publications (2)

Publication Number Publication Date
CN103425568A CN103425568A (zh) 2013-12-04
CN103425568B true CN103425568B (zh) 2016-08-10

Family

ID=49650353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310371281.7A Active CN103425568B (zh) 2013-08-23 2013-08-23 日志信息处理方法及装置

Country Status (1)

Country Link
CN (1) CN103425568B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747048A (zh) * 2013-12-24 2014-04-23 乐视网信息技术(北京)股份有限公司 一种信息处理方法和装置
CN104090813B (zh) * 2014-06-26 2017-04-05 华南理工大学 一种云数据中心的虚拟机cpu使用率的分析建模方法
CN105512010A (zh) * 2014-09-22 2016-04-20 苏宁云商集团股份有限公司 虚拟机用户日志信息的采集方法及系统
CN104391781A (zh) * 2014-10-24 2015-03-04 苏州阔地网络科技有限公司 一种日志信息的处理方法及系统
CN105224441B (zh) * 2015-09-17 2018-11-20 杭州华为数字技术有限公司 虚拟机信息采集装置、方法及虚拟机信息维护方法和系统
CN107231245B (zh) * 2016-03-23 2021-04-02 阿里巴巴集团控股有限公司 上报监控日志的方法及装置、处理监控日志的方法及装置
CN105955876B (zh) * 2016-05-13 2020-08-14 腾讯科技(深圳)有限公司 一种数据监控处理方法以及装置
CN106502875A (zh) * 2016-10-21 2017-03-15 过冬 一种基于云计算的日志生成方法及系统
CN108932241B (zh) * 2017-05-24 2020-12-25 腾讯科技(深圳)有限公司 日志数据统计方法、装置及节点
CN109213736B (zh) * 2017-06-29 2022-06-14 阿里巴巴集团控股有限公司 日志的压缩方法和装置
CN107562892A (zh) * 2017-09-06 2018-01-09 郑州云海信息技术有限公司 一种提高ssr违规日志统计性能的方法及装置
CN109522285A (zh) * 2018-11-14 2019-03-26 北京首信科技股份有限公司 一种日志数据统计方法及系统
CN111913913B (zh) * 2020-08-07 2024-02-13 北京星辰天合科技股份有限公司 访问请求的处理方法和装置
CN112000698B (zh) * 2020-08-25 2023-09-19 青岛海尔科技有限公司 日志的记录方法及装置、存储介质、电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339531A (zh) * 2008-08-12 2009-01-07 杭州华三通信技术有限公司 一种处理日志文件的方法及装置
CN101605028A (zh) * 2009-02-17 2009-12-16 北京安天电子设备有限公司 一种日志记录合并方法和系统
CN103246602A (zh) * 2012-02-14 2013-08-14 阿里巴巴集团控股有限公司 代码覆盖率确定方法及系统、代码覆盖检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5444673B2 (ja) * 2008-09-30 2014-03-19 富士通株式会社 ログ管理方法、ログ管理装置、ログ管理装置を備えた情報処理装置、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339531A (zh) * 2008-08-12 2009-01-07 杭州华三通信技术有限公司 一种处理日志文件的方法及装置
CN101605028A (zh) * 2009-02-17 2009-12-16 北京安天电子设备有限公司 一种日志记录合并方法和系统
CN103246602A (zh) * 2012-02-14 2013-08-14 阿里巴巴集团控股有限公司 代码覆盖率确定方法及系统、代码覆盖检测方法及系统

Also Published As

Publication number Publication date
CN103425568A (zh) 2013-12-04

Similar Documents

Publication Publication Date Title
CN103425568B (zh) 日志信息处理方法及装置
CN103345514B (zh) 大数据环境下的流式数据处理方法
CN103593376A (zh) 一种采集用户行为数据的方法及装置
CN109725899A (zh) 数据流式处理方法及装置
CN102254016B (zh) 一种面向云计算环境的容错并行Skyline查询方法
CN106651633A (zh) 一种基于大数据技术的用电信息采集系统及其采集方法
CN106502875A (zh) 一种基于云计算的日志生成方法及系统
CN103761309A (zh) 一种运营数据处理方法及系统
CN106873945A (zh) 基于批处理和流式处理的数据处理架构及数据处理方法
CN106815254A (zh) 一种数据处理方法和装置
CN103384206A (zh) 一种面向海量数据的并行处理方法及系统
CN103500213B (zh) 基于预读取的页面热点资源更新方法和装置
CN107330580A (zh) 电力营销基础数据平台组建方法
CN108984333A (zh) 用于大数据实时计算的方法及装置
CN107491549A (zh) 一种数据处理方法及系统
CN103678522B (zh) 一种智能变电站计量系统数据采集和转换方法
US20150120613A1 (en) Real-time trade forecaster
CN105069029A (zh) 一种实时etl系统及方法
CN107656995A (zh) 面向大数据的数据管理系统
CN114510708A (zh) 实时数据仓库构建、异常检测方法、装置、设备及产品
CN107729218A (zh) 一种监控处理计算资源设备的系统及方法
CN110597830B (zh) 实时指标生成方法和系统、电子设备及存储介质
CN106127503A (zh) 一种基于真实社会关系和大数据的网络信息分析方法
CN111984681B (zh) 贷后征信查询方法及装置
CN102567803B (zh) 基于赋优先级事件图的复杂事件调度系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230417

Address after: Room 501-502, 5/F, Sina Headquarters Scientific Research Building, Block N-1 and N-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193

Patentee after: Sina Technology (China) Co.,Ltd.

Address before: 100080, International Building, No. 58 West Fourth Ring Road, Haidian District, Beijing, 20 floor

Patentee before: Sina.com Technology (China) Co.,Ltd.