CN115687051B - 一种基于点位解析的日志解析系统 - Google Patents
一种基于点位解析的日志解析系统 Download PDFInfo
- Publication number
- CN115687051B CN115687051B CN202211713657.3A CN202211713657A CN115687051B CN 115687051 B CN115687051 B CN 115687051B CN 202211713657 A CN202211713657 A CN 202211713657A CN 115687051 B CN115687051 B CN 115687051B
- Authority
- CN
- China
- Prior art keywords
- data
- log
- fluctuation
- abnormal
- log data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及数据解析领域,尤其涉及一种基于点位解析的日志解析系统,本发明通过数据获取模块监控日志数据库,以确定日志数据更新量的波动情况,以根据波动情况的不同,调用第一数据解析单元或第二数据解析单元,第一数据解析单元设置有比第二解析数据解析单元更短的解析点位间隔,以对日志数据进行抽样判定,以判定异常日志数据,本发明通过上述过程,对于更新量波动较大的时间段内的日志采取更短的解析点位间隔判定日志数据是否存在异常,减少漏判,并且,对于波动量较小的时间段内的日志采取较大的解析点位间隔,以在包括可靠性的前提下提高解析效率。
Description
技术领域
本发明涉及数据解析领域,尤其涉及一种基于点位解析的日志解析系统。
背景技术
随着信息技术的发展和数据挖掘的兴起,如何挖掘数据中的价值在业界备受关注。而机器或应用系统产生的海量日志中包含的系统的运行状态、用户操作行为等相关信息,蕴含着丰富的价值,所以日志数据受到越来越多的重视,现有技术中对于异常日志的解析和判定系统应运而生。
中国专利公开号:CN111309696A,公开了一种日志处理方法及装置、电子设备、可读介质,方法包括:获得未解析日志文件和未解析日志文件对应的终端设备的属性信息;判断未解析日志文件是否满足发送条件;若是,则依据未解析日志文件和终端设备的属性信息,生成并发送日志上报消息给管理装置,以使管理装置依据日志管理策略对未解析日志文件进行处理;否则,保存未解析日志文件至本地,并依据未解析日志文件的存储时间,处理未解析日志文件。保证能够将满足发送条件的未解析日志文件发送给管理装置进行处理,减轻日志处理装置的处理压力,提升对堆积的日志信息的处理效率;同时,保证保存至本地的日志文件能够被及时处理,减少存储空间被占用的情况,提升日志解析的效率。
但是,现有技术中还存在以下问题,
现有技术中未考虑对较大数据量的日志进行异常解析时,日志生成量的波动与数据异常之间的关联,并对应的调整解析间隔,以提高对异常日志的判定效率。
发明内容
为解决现有技术中未考虑对较大数据量的日志进行异常解析时,日志生成量的波动与数据异常之间的关联,并对应的调整解析间隔,以提高对异常日志的判定效率的问题,本发明提供一种基于点位解析的日志解析系统,其包括:
数据获取模块,其用以每隔预设的时间间隔从日志数据库中获取日志数据的更新量,并确定各时间间隔内的日志数据的更新量的波动状况;
数据解析模块,其包括相互连接的第一数据解析单元、第二数据解析单元以及第三数据解析单元,
所述第一数据解析单元内预设第一解析点位间隔,用以在更新量处于第一波动状况下时获取第一波动时间段,并根据所述第一解析点位间隔逐个调用所述第一波动时间段内的各解析点位的日志数据与异常样本数据库中的数据进行拟合,判定所述日志数据是否出现异常;
所述第二数据解析单元内预设第二解析点位间隔,用以在所述更新量处于第二波动状况下时获取第二波动时间段,基于所述更新量调整所述第二解析点位的间隔,并根据调整后的第二解析点位间隔逐个调用所述第二波动时间段的各解析点位的日志数据与异常样本数据库中的数据进行拟合,判定所述日志数据是否出现异常;
其中,所述第一解析点位间隔大于所述第二解析点位间隔,
所述第三数据解析单元用以在所述第一数据解析单元或/和所述第二数据解析单元判定日志数据出现异常时,根据异常日志数据对应的解析点位的连续性判定是否调用各解析点位之间的日志数据进行异常判定。
进一步地,所述数据获取模块还包括数据监控单元,用以根据公式(1)计算日志数据的波动离散量E,
进一步地,所述数据监控单元确定当前时间间隔内的日志数据的更新量Ee,并确定日志数据更新量平均值△E,并按照公式(2)计算更新量表征值E0,
E0=|Ee-△E| (2)
所述数据监控单元将所述更新量表征值E0与所述波动离散量E进行对比,
以判定当前时间间隔内日志数据的更新量的波动情况,其中,
若所述更新量表征值E0大于所述波动离散量E,则所述数据监控单元判定所述更新量处于所述第一波动状况;
若所述更新量表征值E0小于所述波动离散量E,则所述数据监控单元判定所述更新量处于所述第二波动状况。
进一步地,所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第一波动状况时,获取所述当前时间间隔的起始时间节点以及结束时间节点,以基于所述起始时间节点以及结束时间节点确定第一波动时间段;
所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第二波动状况时,获取所述当前时间间隔的起始时间节点以及结束时间节点,以基于所述起始时间节点以及结束时间节点确定第二波动时间段。
进一步地,所述第二数据解析单元根据第二波动时间段内日志数据的更新量表征值E0与所述波动离散量E的第一差值△E的大小确定对所述第二解析点位间隔的调整方式,对所述第二解析点位间隔进行调整,其中,
第一调整方式为根据在所述第二数据解析单元内预设的第一预设调整量将第二解析点位间隔减小至第一间隔值;
第二调整方式为根据在所述第二数据解析单元内预设的第二预设调整量将第二解析点位间隔减小至第二间隔值;
第三调整方式为根据在所述第二数据解析单元内预设的第一预设调整量将第二解析点位间隔增加至第三间隔值;
第四调整方式为根据在所述第二数据解析单元内预设的第二预设调整量将第二解析点位间隔增加至第四间隔值;
其中,所述第二预设调整量大于所述第一预设调整量。
进一步地,所述第二数据解析单元内预设有差值对比参量,所述第一调整方式需满足所述第一差值为负值,且所述第一差值的绝对值小于所述差值对比参量;
所述第二调整方式需满足所述第一差值为负值,且所述第一差值的绝对值大于或等于所述差值对比参量;
所述第三调整方式需满足所述第一差值为正值,且所述第一差值的绝对值小于所述差值对比参量;
所述第四调整方式需满足所述第一差值为正值,且所述第一差值的绝对值大于或等于所述差值对比参量。
进一步地,所述第三数据解析单元确定所述第一数据解析单元以及第二数据解析单元判定日志数据出现异常时的解析点位,并判定是否需调用解析点位之间的日志数据,并判定已调用日志数据是否出现异常,其中,
若所述第一数据解析单元连续判定第一预设数量的解析点位的日志数据出现异常,则所述第三数据解析单元调用所述第一数据解析单元判定出现异常的解析点位间的日志数据,并判定已调用日志数据是否出现异常;
若所述第二数据解析单元连续判定第二预设数量的解析点位的日志数据出现异常时,则所述第三数据解析单元判定需调用所述第二数据解析单元判定出现异常的解析点位间的日志数据,并判定已调用日志数据是否出现异常;
所述第一预设数量大于所述第二预设数量。
进一步地,所述数据解析模块还包括数据记录单元,其用以记录所述第一数据解析单元、第二数据解析单元以及第三数据解析单元所判定的异常日志数据,并记录各异常日志数据所生成的时间。
进一步地,所述第一数据解析单元以及第二数据解析单元均与样本数据库相连接,所述样本数据库内预存储有若干异常样本数据,所述第一数据解析单元或/和所述第二数据解析单元将日志数据与所述样本数据库内数据进行拟合,拟合过程包括,
若存在任意解析点位的日志数据与所述样本数据库内的异常样本数据相同,则所述第一数据解析单元或/和所述第二数据解析单元判定所述日志数据存在异常。
进一步地,各所述解析点位为日志数据生产时间的时间线上的时间节点。
与现有技术相比,本发明通过数据获取模块监控日志数据库,以确定日志数据更新量的波动情况,以根据波动情况的不同,调用第一数据解析单元或第二数据解析单元,第一数据解析单元设置有比第二解析数据解析单元更短的解析点位间隔,以对日志数据进行抽样判定,以判定异常日志数据,本发明通过上述过程,对于更新量波动较大的时间段内的日志采取更短的解析点位间隔判定日志数据是否存在异常,减少漏判,并且,对于波动量较小的时间段内的日志采取较大的解析点位间隔,以在包括可靠性的前提下提高解析效率。
尤其,本发明设置数据监控单元,用以确定连续时间间隔内日志数据的波动离散量,在设备或程序发生异常时,对应日志数据的数据量往往会发生较大的波动,而通过计算波动离散量E,以表征日志数据变化量的波动程度,以此为基准确定不同时间段内的日志数据更新量的波动状况,对于波动较大的情况,选用第一数据解析单元用较短的解析点位间隔对数据进行解析判定日志数据是否存在异常,进而在提高异常判定效率的同时避免漏判,提高日志解析效率。
尤其,本发明设置第一数据解析单元以及第二数据解析单元,两个单元设定有不同的解析点位间隔,在实际情况中,由于日志数据更新量的波动程度与设备或程序是否存在异常存在关联,因此,对于日志数据的波动量较大的时间间隔选用第一数据解析单元进行解析,对于日志数据波动量较小的时间间隔选用第二数据解析单元进行解析,两个单元可以同时对不同时间间隔生成的日志数据进行解析,判定是否日志数据是否存在异常,在提高系统可靠性的前提下提高日志解析效率。
尤其,本发明的第二数据解析单元,不断的根据日志数据的更新量表征值与所述波动离散量E的第一差值对第二解析点位间隔进行调整,对于更新量的波动量较小的时间段,对时间段内的日志数据进行解析时选用大的解析点位间隔,由于在这种情况下,日志出现异常数据的情况较小,因此通过上述过程在保证可靠性的前提下提高了日志解析效率,并提高了系统的解析精度。
尤其,本发明还设置第三数据解析单元,以对连续多个解析点位均出现异常时对各解析点位之间的日志数据也进行解析,以进行补充判定,进而提高系统的可靠性,减少对于异常数据的判定遗漏。
附图说明
图1为发明实施例的基于点位解析的日志解析系统结构示意图;
图2为发明实施例的数据解析模块结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1以及图2所示,其为本发明实施例的基于点位解析的日志解析系统结构示意图以及数据解析模块结构示意图,本发明的基于点位解析的日志解析系统,包括:
数据获取模块,其用以每隔预设的时间间隔从日志数据库中获取日志数据的更新量,并确定各时间间隔内的日志数据的更新量的波动状况;
数据解析模块,其包括相互连接的第一数据解析单元、第二数据解析单元以及第三数据解析单元,
所述第一数据解析单元内预设第一解析点位间隔,用以在更新量处于第一波动状况下时获取第一波动时间段,并根据所述第一解析点位间隔逐个调用所述第一波动时间段内的各解析点位的日志数据与异常样本数据库中的数据进行拟合,判定所述日志数据是否出现异常;
所述第二数据解析单元内预设第二解析点位间隔,用以在所述更新量处于第二波动状况下时获取第二波动时间段,基于所述更新量调整所述第二解析点位的间隔,并根据调整后的第二解析点位间隔逐个调用所述第二波动时间段的各解析点位的日志数据与异常样本数据库中的数据进行拟合,判定所述日志数据是否出现异常;
其中,所述第一解析点位间隔大于所述第二解析点位间隔,
所述第三数据解析单元用以在所述第一数据解析单元或/和所述第二数据解析单元判定日志数据出现异常时,根据异常日志数据对应的解析点位的连续性判定是否调用各解析点位之间的日志数据进行异常判定。
具体而言,本发明对数据获取模块、数据解析模块的具体结构不做限定,其可以是单独的外接计算机或能够进行数据用算的硬件模块,对于各模块中的单元,其可以是计算机中的功能程序,只需能实现对应的功能即可,此处不再赘述。
具体而言,所述数据获取模块还包括数据监控单元,用以根据公式(1)计算日志数据的波动离散量E,
具体而言,所述数据监控单元确定当前时间间隔内的日志数据的更新量Ee,并确定日志数据更新量平均值△E,并按照公式(2)计算更新量表征值E0,
E0=|Ee-△E| (2)
所述数据监控单元将所述更新量表征值E0与所述波动离散量E进行对比,
以判定当前时间间隔内日志数据的更新量的波动情况,其中,
若所述更新量表征值E0大于所述波动离散量E,则所述数据监控单元判定所述更新量处于所述第一波动状况;
若所述更新量表征值E0小于所述波动离散量E,则所述数据监控单元判定所述更新量处于所述第二波动状况。
具体而言,本发明设置数据监控单元,用以确定连续时间间隔内日志数据的波动离散量,在设备或程序发生异常时,对应日志数据的数据量往往会发生较大的波动,而通过计算波动离散量E,以表征日志数据变化量的波动程度,以此为基准确定不同时间段内的日志数据更新量的波动状况,对于波动较大的情况,选用第一数据解析单元用较短的解析点位间隔对数据进行解析判定日志数据是否存在异常,进而在提高异常判定效率的同时避免漏判,提高日志解析效率。
具体而言,所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第一波动状况时,获取所述当前时间间隔的起始时间节点以及结束时间节点,以基于所述起始时间节点以及结束时间节点确定第一波动时间段;
所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第二波动状况时,获取所述当前时间间隔的起始时间节点以及结束时间节点,以基于所述起始时间节点以及结束时间节点确定第二波动时间段。
具体而言,本发明设置第一数据解析单元以及第二数据解析单元,两个单元设定有不同的解析点位间隔,在实际情况中,由于日志数据更新量的波动程度与设备或程序是否存在异常存在关联,因此,对于日志数据的波动量较大的时间间隔选用第一数据解析单元进行解析,对于日志数据波动量较小的时间间隔选用第二数据解析单元进行解析,两个单元可以同时对不同时间间隔生成的日志数据进行解析,判定是否日志数据是否存在异常,在提高系统可靠性的前提下提高日志解析效率。
具体而言,所述第二数据解析单元根据第二波动时间段内日志数据的更新量表征值E0与所述波动离散量E的第一差值△E的大小确定对所述第二解析点位间隔的调整方式,对所述第二解析点位间隔进行调整,其中,
第一调整方式为根据在所述第二数据解析单元内预设的第一预设调整量d1将第二解析点位间隔D02减小至第一间隔值D1’,设定D1’=D02-d1;
第二调整方式为根据在所述第二数据解析单元内预设的第二预设调整量d2将第二解析点位间隔D02减小至第二间隔值D2’,设定D2’=D02-d2;
第三调整方式为根据在所述第二数据解析单元内预设的第一预设调整量d1将第二解析点位间隔D02增加至第三间隔值D3’,设定D3’=D02+d1;
第四调整方式为根据在所述第二数据解析单元内预设的第二预设调整量d2将第二解析点位间隔D02增加至第四间隔值D4’,设定D4’=D02+d2;
其中,所述第二预设调整量d1大于所述第一预设调整量d2,0.3D0>d1>d2>0,所述第一解析点位间隔以及第二解析点位间隔由本领域技术人员基于日志数据库的数据存储量根据具体需要进行设定,此处不再赘述。
具体而言,所述第二数据解析单元内预设有差值对比参量De,De<0.3E,所述第一调整方式需满足所述第一差值为负值,且所述第一差值的绝对值小于所述差值对比参量;
所述第二调整方式需满足所述第一差值为负值,且所述第一差值的绝对值大于或等于所述差值对比参量;
所述第三调整方式需满足所述第一差值为正值,且所述第一差值的绝对值小于所述差值对比参量;
所述第四调整方式需满足所述第一差值为正值,且所述第一差值的绝对值大于或等于所述差值对比参量。
具体而言,本发明的第二数据解析单元,不断的根据日志数据的更新量表征值与所述波动离散量E的第一差值对第二解析点位间隔进行调整,对于更新量的波动量较小的时间段,对时间段内的日志数据进行解析时选用大的解析点位间隔,由于在这种情况下,日志出现异常数据的情况较小,因此通过上述过程在保证可靠性的前提下提高了日志解析效率,并提高了系统的解析精度。
具体而言,所述第三数据解析单元确定所述第一数据解析单元以及第二数据解析单元判定日志数据出现异常时的解析点位,并判定是否需调用解析点位之间的日志数据,并判定已调用日志数据是否出现异常,其中,
若所述第一数据解析单元连续判定第一预设数量n1的解析点位的日志数据出现异常,则所述第三数据解析单元调用所述第一数据解析单元判定出现异常的解析点位间的日志数据,并判定已调用日志数据是否出现异常;
若所述第二数据解析单元连续判定第二预设数量n2的解析点位的日志数据出现异常时,则所述第三数据解析单元判定需调用所述第二数据解析单元判定出现异常的解析点位间的日志数据,并判定已调用日志数据是否出现异常;
所述第一预设数量n1大于所述第二预设数量n2,10>n1>n2>0。
具体而言,所述数据解析模块还包括数据记录单元,其用以记录所述第一数据解析单元、第二数据解析单元以及第三数据解析单元所判定的异常日志数据,并记录各异常日志数据所生成的时间。
具体而言,所述第一数据解析单元以及第二数据解析单元均与样本数据库相连接,所述样本数据库内预存储有若干异常样本数据,所述第一数据解析单元或/和所述第二数据解析单元将日志数据与所述样本数据库内数据进行拟合,拟合过程包括,
若存在任意解析点位的日志数据与所述样本数据库内的异常样本数据相同,则所述第一数据解析单元或/和所述第二数据解析单元判定所述日志数据存在异常。
具体而言,本发明还设置第三数据解析单元,以对连续多个解析点位均出现异常时对各解析点位之间的日志数据也进行解析,以进行补充判定,进而提高系统的可靠性,减少对于异常数据的判定遗漏。
具体而言,各所述解析点位为日志数据生产时间的时间线上的时间节点。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种基于点位解析的日志解析系统,其特征在于,包括:
数据获取模块,其用以每隔预设的时间间隔从日志数据库中获取日志数据的更新量,并确定各时间间隔内的日志数据的更新量的波动状况;
数据解析模块,其包括相互连接的第一数据解析单元、第二数据解析单元以及第三数据解析单元,
所述第一数据解析单元内预设第一解析点位间隔,用以在更新量处于第一波动状况下时获取第一波动时间段,并根据所述第一解析点位间隔逐个调用所述第一波动时间段内的各解析点位的日志数据与异常样本数据库中的数据进行拟合,判定所述日志数据是否出现异常;
所述第二数据解析单元内预设第二解析点位间隔,用以在所述更新量处于第二波动状况下时获取第二波动时间段,基于所述更新量调整所述第二解析点位的间隔,并根据调整后的第二解析点位间隔逐个调用所述第二波动时间段的各解析点位的日志数据与异常样本数据库中的数据进行拟合,判定所述日志数据是否出现异常;
其中,所述第一解析点位间隔大于所述第二解析点位间隔,
所述第三数据解析单元用以在所述第一数据解析单元或/和所述第二数据解析单元判定日志数据出现异常时,根据异常日志数据对应的解析点位的连续性判定是否调用各解析点位之间的日志数据进行异常判定;
所述数据获取模块还包括数据监控单元,用以根据公式(1)计算日志数据的波动离散量E,
所述数据监控单元确定当前时间间隔内的日志数据的更新量Ee,并确定日志数据更新量平均值△E,并按照公式(2)计算更新量表征值E0,
E0=|Ee-△E| (2)
所述数据监控单元将所述更新量表征值E0与所述波动离散量E进行对比,
以判定当前时间间隔内日志数据的更新量的波动情况,其中,
若所述更新量表征值E0大于所述波动离散量E,则所述数据监控单元判定所述更新量处于所述第一波动状况;
若所述更新量表征值E0小于所述波动离散量E,则所述数据监控单元判定所述更新量处于所述第二波动状况。
2.根据权利要求1所述的基于点位解析的日志解析系统,其特征在于,所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第一波动状况时,获取所述当前时间间隔的起始时间节点以及结束时间节点,以基于所述起始时间节点以及结束时间节点确定第一波动时间段;
所述数据监控单元判定当前时间间隔内的日志数据的波动量处于第二波动状况时,获取所述当前时间间隔的起始时间节点以及结束时间节点,以基于所述起始时间节点以及结束时间节点确定第二波动时间段。
3.根据权利要求2所述的基于点位解析的日志解析系统,其特征在于,所述第二数据解析单元根据第二波动时间段内日志数据的更新量表征值E0与所述波动离散量E的第一差值△E的大小确定对所述第二解析点位间隔的调整方式,对所述第二解析点位间隔进行调整,其中,
第一调整方式为根据在所述第二数据解析单元内预设的第一预设调整量将第二解析点位间隔减小至第一间隔值;
第二调整方式为根据在所述第二数据解析单元内预设的第二预设调整量将第二解析点位间隔减小至第二间隔值;
第三调整方式为根据在所述第二数据解析单元内预设的第一预设调整量将第二解析点位间隔增加至第三间隔值;
第四调整方式为根据在所述第二数据解析单元内预设的第二预设调整量将第二解析点位间隔增加至第四间隔值;
其中,所述第二预设调整量大于所述第一预设调整量。
4.根据权利要求3所述的基于点位解析的日志解析系统,其特征在于,所述第二数据解析单元内预设有差值对比参量,所述第一调整方式需满足所述第一差值为负值,且所述第一差值的绝对值小于所述差值对比参量;
所述第二调整方式需满足所述第一差值为负值,且所述第一差值的绝对值大于或等于所述差值对比参量;
所述第三调整方式需满足所述第一差值为正值,且所述第一差值的绝对值小于所述差值对比参量;
所述第四调整方式需满足所述第一差值为正值,且所述第一差值的绝对值大于或等于所述差值对比参量。
5.根据权利要求1所述的基于点位解析的日志解析系统,其特征在于,所述第三数据解析单元确定所述第一数据解析单元以及第二数据解析单元判定日志数据出现异常时的解析点位,并判定是否需调用解析点位之间的日志数据,并判定已调用日志数据是否出现异常,其中,
若所述第一数据解析单元连续判定第一预设数量的解析点位的日志数据出现异常,则所述第三数据解析单元调用所述第一数据解析单元判定出现异常的解析点位间的日志数据,并判定已调用日志数据是否出现异常;
若所述第二数据解析单元连续判定第二预设数量的解析点位的日志数据出现异常时,则所述第三数据解析单元判定需调用所述第二数据解析单元判定出现异常的解析点位间的日志数据,并判定已调用日志数据是否出现异常;
所述第一预设数量大于所述第二预设数量。
6.根据权利要求1所述的基于点位解析的日志解析系统,其特征在于,所述数据解析模块还包括数据记录单元,其用以记录所述第一数据解析单元、第二数据解析单元以及第三数据解析单元所判定的异常日志数据,并记录各异常日志数据所生成的时间。
7.根据权利要求1所述的基于点位解析的日志解析系统,其特征在于,所述第一数据解析单元以及第二数据解析单元均与样本数据库相连接,所述样本数据库内预存储有若干异常样本数据,所述第一数据解析单元或/和所述第二数据解析单元将日志数据与所述样本数据库内数据进行拟合,拟合过程包括,
若存在任意解析点位的日志数据与所述样本数据库内的异常样本数据相同,则所述第一数据解析单元或/和所述第二数据解析单元判定所述日志数据存在异常。
8.根据权利要求1所述的基于点位解析的日志解析系统,其特征在于,各所述解析点位为日志数据生产时间的时间线上的时间节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211713657.3A CN115687051B (zh) | 2022-12-30 | 2022-12-30 | 一种基于点位解析的日志解析系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211713657.3A CN115687051B (zh) | 2022-12-30 | 2022-12-30 | 一种基于点位解析的日志解析系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115687051A CN115687051A (zh) | 2023-02-03 |
CN115687051B true CN115687051B (zh) | 2023-03-28 |
Family
ID=85055798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211713657.3A Active CN115687051B (zh) | 2022-12-30 | 2022-12-30 | 一种基于点位解析的日志解析系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115687051B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861905B (zh) * | 2023-03-01 | 2023-06-16 | 鹿马智能科技(上海)有限公司 | 一种基于物联网的酒店管理系统 |
CN117764106A (zh) * | 2023-12-28 | 2024-03-26 | 北京新光微电科技有限公司 | 基于rfid的嵌入式抗金属电子标签 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100132576A (ko) * | 2009-06-10 | 2010-12-20 | (주)비즈스프링 | 스크래핑 및 파싱을 이용한 웹사이트 동적 페이지의 웹 로그 분석 시스템 및 분석 방법 |
CN104461845A (zh) * | 2014-11-17 | 2015-03-25 | 中国航天科工集团第二研究院七〇六所 | 日志采集系统线池自适应方法 |
KR101890805B1 (ko) * | 2018-04-17 | 2018-08-22 | (주)시큐레이어 | 머신 러닝 기반 실시간 비정형 로그 처리 방법 및 이를 사용한 서버 |
CN112540906A (zh) * | 2020-12-24 | 2021-03-23 | 北京志翔能源技术有限公司 | 基于探针的业务与数据关系智能解析方法及系统 |
CN114238056A (zh) * | 2021-12-21 | 2022-03-25 | 深圳红途科技有限公司 | 日志动态采集方法、装置、计算机设备及存储介质 |
-
2022
- 2022-12-30 CN CN202211713657.3A patent/CN115687051B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100132576A (ko) * | 2009-06-10 | 2010-12-20 | (주)비즈스프링 | 스크래핑 및 파싱을 이용한 웹사이트 동적 페이지의 웹 로그 분석 시스템 및 분석 방법 |
CN104461845A (zh) * | 2014-11-17 | 2015-03-25 | 中国航天科工集团第二研究院七〇六所 | 日志采集系统线池自适应方法 |
KR101890805B1 (ko) * | 2018-04-17 | 2018-08-22 | (주)시큐레이어 | 머신 러닝 기반 실시간 비정형 로그 처리 방법 및 이를 사용한 서버 |
CN112540906A (zh) * | 2020-12-24 | 2021-03-23 | 北京志翔能源技术有限公司 | 基于探针的业务与数据关系智能解析方法及系统 |
CN114238056A (zh) * | 2021-12-21 | 2022-03-25 | 深圳红途科技有限公司 | 日志动态采集方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115687051A (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115687051B (zh) | 一种基于点位解析的日志解析系统 | |
CN111126824B (zh) | 多指标关联模型训练方法及多指标异常分析方法 | |
US20030046031A1 (en) | Baselining of data collector data | |
CN113032157B (zh) | 一种服务器自动智能扩缩容方法及系统 | |
CN110968061A (zh) | 设备故障的预警方法、装置、存储介质和计算机设备 | |
KR102624950B1 (ko) | 시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템 | |
CN112383427A (zh) | 一种基于iotips故障预警的5g网络切片部署方法及系统 | |
CN113129472B (zh) | 工况数据处理方法、装置、终端设备和可读存储介质 | |
CN109861843B (zh) | 日志文件的完整采集确认方法、装置及设备 | |
CN116760732A (zh) | 一种配电终端数据通信监测方法、装置及相关设备 | |
CN113672449A (zh) | 智能运维异常监测方法、装置、计算机设备和存储介质 | |
CN115310516A (zh) | 自动化设备状态稳定判断方法、系统及可读存储介质 | |
CN115967168A (zh) | 一种变电站自动化系统的故障分析方法 | |
CN112134760A (zh) | 链路状态监控方法、装置、设备及计算机可读存储介质 | |
CN113886179A (zh) | 服务器运行状态监控方法、装置、设备及可读存储介质 | |
CN113533891A (zh) | 一种故障诊断系统及装置 | |
CN114662252B (zh) | 一种用于提高复杂网络化随机系统性能指标的方法 | |
CN117849653B (zh) | 一种基于电源管理的工作状态监测方法及系统 | |
CN116431378B (zh) | 一种产品嵌入式系统故障数据分析方法 | |
CN114024576B (zh) | 一种低压电力线载波运维管控方法 | |
CN117390707B (zh) | 一种基于数据存储设备的数据安全检测系统及检测方法 | |
CN116192612B (zh) | 一种基于日志分析的系统故障监测和预警系统及方法 | |
US20230359190A1 (en) | Process capability index warning system and warning method for the same | |
KR100381375B1 (ko) | 이동 통신 정보 시스템에서 과부하 예측 방법 | |
CN117931572A (zh) | 一种终端故障监控方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |