CN115309716A - 一种日志的分析方法、装置、设备及介质 - Google Patents

一种日志的分析方法、装置、设备及介质 Download PDF

Info

Publication number
CN115309716A
CN115309716A CN202211233702.5A CN202211233702A CN115309716A CN 115309716 A CN115309716 A CN 115309716A CN 202211233702 A CN202211233702 A CN 202211233702A CN 115309716 A CN115309716 A CN 115309716A
Authority
CN
China
Prior art keywords
log
rule
log rule
list
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211233702.5A
Other languages
English (en)
Other versions
CN115309716B (zh
Inventor
许光胜
武方
苗维杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhongdian Anke Modern Technology Co ltd
Original Assignee
Hangzhou Zhongdian Anke Modern Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhongdian Anke Modern Technology Co ltd filed Critical Hangzhou Zhongdian Anke Modern Technology Co ltd
Priority to CN202211233702.5A priority Critical patent/CN115309716B/zh
Publication of CN115309716A publication Critical patent/CN115309716A/zh
Application granted granted Critical
Publication of CN115309716B publication Critical patent/CN115309716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

本发明涉及日志分析技术领域，尤其是一种日志的分析方法、装置、设备及介质，其中，所述方法包括：获取第一日志规则ID列表和每一所述第一日志规则ID对应的第一日志规则；根据所有的第一日志规则，获取关键日志规则列表；获取目标日志；根据所有的所述第一日志规则对应的关键日志规则，对目标日志进行分析，以获取目标日志的分析结果；可知，本发明能够通过自动化生成日志分析规则，用于对日志进行分析，提高了日志分析的准确性和效率。

Description

一种日志的分析方法、装置、设备及介质
技术领域
本发明涉及日志分析技术领域，尤其涉及一种日志的分析方法、装置、设备及介质。
背景技术
随着物联网的快速发展，在各行各业均应用物联网技术。尤其是在工业生产中，物联网发挥了重要的作用。但是，现有技术中需要的设备会出现异常情况，大部分的异常情况通过日志上传至服务器，再通过人工进行分析，这样导致分析效率低。
发明内容
针对上述技术问题，本发明保护了一种日志的分析方法，所述方法包括：
获取第一日志规则ID列表和每一所述第一日志规则ID对应的第一日志规则；
根据所有的第一日志规则，获取关键日志规则列表；
获取目标日志；
根据所有的所述第一日志规则对应的关键日志规则，对目标日志进行分析，以获取目标日志的分析结果。
本发明还保护了一种日志的分析装置，所述装置包括：
第一日志规则获取模块，所述第一日志规则获取模块用于获取第一日志规则ID列表和每一所述第一日志规则ID对应的第一日志规则；
关键日志规则获取模块，所述关键日志规则获取模块用于根据所有的第一日志规则，获取关键日志规则列表；
目标日志获取模块，所述目标日志获取模块用于获取目标日志；
第一日志分析模块，所述第一日志分析模块用于根据所有的所述第一日志规则对应的关键日志规则，对目标日志进行分析，以获取目标日志的分析结果。
本发明保护了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的日志的分析方法。
本发明保护了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的日志的分析方法。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种日志的分析方法、装置、电子设备及存储介质可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：
本发明的一种日志的分析方法、装置、设备及介质，其中，所述方法包括：获取第一日志规则ID列表和每一所述第一日志规则ID对应的第一日志规则；根据所有的第一日志规则，获取关键日志规则列表；获取目标日志；根据所有的所述第一日志规则对应的关键日志规则，对目标日志进行分析，以获取目标日志的分析结果；可知，能够通过自动化生成日志分析规则，用于对日志进行分析，以使得提高了日志分析的准确性和效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1为本发明实施例一提供的一种日志的分析方法的流程图；
图2为本发明实施例一提供的S100的流程图；
图3为本发明实施例一提供的S200的流程图；
图4为本发明实施例一提供的另一种日志的分析方法的流程图；
图5为本发明实施例二提供的一种日志的分析装置的结构示意图；
图6为本发明实施例二提供的100模块的结构示意图；
图7为本发明实施例二提供的200模块的结构示意图；
图8为本发明实施例二提供的另一种日志的分析装置的结构示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种日志的分析方法的具体实施方式及其功效，详细说明如后。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
实施例一
如图1所示，本实施例一提供了一种日志的分析方法，所述方法包括如下步骤：
S100，获取第一日志规则ID列表和每一所述第一日志规则ID对应的第一日志规则。
具体地，所述第一日志规则ID为第一分析规则的唯一身份标识。
具体地，在S100步骤中还包括如下步骤获取第一分析规则，如图2所示：
S101，获取预设日志规则ID列表和每一预设日志规则ID对应的预设日志规则。
具体地，所述预设日志规则ID为预设日志规则的唯一身份标识；例如，所述预设日志规则ID为预设日志规则对应的名称。
进一步地，所述预设日志规则表征为用于对设备日志进行分析的预先设置的分析规则。
S103，根据所述预设日志规则ID列表，获取第一中间日志规则ID和第一中间日志规则ID对应的第二中间日志规则ID列表，其中，所述第二中间日志规则ID列表包括若干个第二中间日志规则ID。
具体地，在所述预设日志规则ID列表中随机选取任一预设日志规则ID作为第一中间日志规则ID。
具体地，在所述预设日志规则ID列表中除第一中间日志规则ID之外的其他任一预设日志规则ID作为第二中间日志规则ID。
S105，根据第一中间日志规则ID，获取第一中间日志规则ID对应的第一中间日志规则。
S107，根据所述第二中间日志规则ID列表，获取所述第二中间日志规则ID列表对应的第二中间日志规则列表。
S109，根据所述第一中间日志规则和所述第二中间日志规则列表，获取第一日志规则ID列表。
上述，能够通过所述第一中间日志规则和所述第二中间日志规则列表，将重复的规则进行排查，避免对日志同一异常情况进行重复统计，进而提高效率。
具体地，在S109步骤中还包括如下步骤：
S1091，根据所述第一中间日志规则，获取所述第一中间日志规则对应的第一子规则ID列表A={A1，A2，……，Ai，……，Am}和A对应的第一子规则向量列表A0={A0 1，A0 2，……，A0 i，……，A0 m}，Ai为第i个第一子规则ID，A0 i为Ai对应的第一规则向量，i=1，2，……，m，m为第一子规则ID的数量。
具体地，所述第一子规则ID为第一子规则的唯一身份标识。
进一步地，所述第一规则向量表征为用于描述所述第一中间日志规则中任一第一子规则对应的向量。
优选地，所述第一子规则为事件匹配规则或统计规则。
S1092，根据所述第二中间日志规则列表，获取所述第二中间日志规则列表对应的第二子规则ID集B={B1，B2，……，Bj，……，Bn}，Bj={Bj1，Bj2，……，Bji，……，Bjm}，Bji为第j个第二中间日志规则对应的第i个第二子规则ID。
S1093，根据B，获取B对应的第二子规则向量集B0={B0 1，B0 2，……，B0 j，……，B0 n}，B0 j={B0 j1，B0 j2，……，B0 ji，……，B0 jm}，B0 ji为Bji对应的第二规则向量。
具体地，所述第二子规则ID为第二子规则的唯一身份标识。
进一步地，所述第二规则向量表征为用于描述所述第二中间日志规则中任一第二子规则对应的向量。
具体地，A的第一子规则ID排序与任一Bj的第一子规则ID排序一致，在不再赘述。
S1094，遍历A且当Ai=A'时，获取A0 i和B'={B0 1i，B0 2i，……，B0 ji，……，B0 ni}；其中，A'为预设的子规则ID；本领域技术人员知晓现有技术中任一确定两个ID相等的方法，在此不再赘述。
具体地，所述预设的子规则ID为事件匹配规则的预设规则名称。
S1095，根据A0 i和B'，获取A0 i对应的第一相似度集Fi={Fi1，Fi2，……，Fij，……，Fin}，Fij为A0 i和B0 ji之间的第一相似度；其中，Fij符合如下条件：
Figure 721720DEST_PATH_IMAGE002
，其中，GA0μ i为A0 i对应的规则向量中第μ位的bit 值，GA0μ ji为B0 ji对应的规则向量中第μ位的bit值，μ=1……φ，φ为规则向量的位数；本领域 技术人员知晓可以采取现有技术中任一规则向量的获取方法，在此不再赘述。
S1096，当Fij=K0时，从所述预设日志规则ID列表中删除A，获取所述第一日志规则ID列表；其中，K0为预设的相似度阈值。
上述，基于规则中匹配规则，删除重复规则，避免对日志同一异常情况进行重复统计，进而提高效率。
S200，根据所有的第一日志规则，获取最终关键日志规则列表。
具体地，所述关键日志规则列表包括所有的第一日志规则对应的关键日志规则。
具体地，在S200步骤中还包括如下步骤，如图3所示：
S201，根据第一日志规则ID列表，获取第二日志规则ID列表和第三日志规则ID列表。
进一步地，在S201步骤中还包括如下步骤：
S2011，获取所述第一中间日志规则对应的第一相似度集Fi={Fi1，Fi2，……，Fij，……，Fin}。
进一步地，Fi的获取方式参照S1096步骤，在此不再赘述。
S2013，当Fij=K0时，将Bj作为第二中间日志规则ID作为第二日志规则ID。
S2015，当Fij≠K0时，将A作为第一中间日志规则ID作为第三日志规则ID。
S203，从所述第二日志规则ID列表中获取所述第二日志规则对应的关键日志规则。
具体地，在S203步骤中还包括如下步骤：
S2031，在预设时间段内，获取第二日志规则ID对应的初始日志集D={D1，D2，……，Dr，……，Ds}，Dr={Dr1，Dr2，……，Drg，……，Drz（r）}，Drg为第二日志规则ID的第r类目标设备对应的第g个初始日志，r=1，2，……，s，s为目标设备的类型数量，g=1，2……，z（r），z（r）为第r类目标设备对应的初始日志的数量。
具体地，所述目标设备是指被监控的设置。用于上传第二日志规则ID对应的日志的网络设备。
具体地，所述初始日志为对所述目标设备上传第二日志规则ID对应的日志进行范化处理后的日志；本领域技术人员知晓采取现有技术中任一日志范化方法，在此不再赘述。
S2032，根据所述预设时间段，获取所述预设时间段对应的第一时间列表T={T1，T2，……，Tx，……，Tp}，Tx为在预设时间段内的第x个第一时间片，x=1，2，……，p，p为在所述预设时间段内的第一时间片的数量。
S2033，在预设时间段内，获取D对应的日志获取时间列表TD={TD1，TD2，……，TDr，……，TDs}，TDr={TDr1，TDr2，……，TDrg，……，TDrz（r）}，TDrg为Drg对应的日志获取时间。
S2034，根据T和TD，获取T对应的第一日志数量列表SL={SL1，SL2，……，SLr，……，SLs}，SLr={SLr1，SLr2，……，SLrx，……，SLrp}，SLrx为Dr对应的第x个第一时间片内初始日志的数量。
具体地，p=t0/t。
进一步地，t0为预设时间段的长度，t0的取值范围为1~2天，优选地，t0的取值为1天。
具体地，t为第一时间片的长度，t的取值范围为5~10min，优选地，t的取值为5min。
S2035，根据SL，获取第二日志规则对应的关键日志规则。
上述，基于历史日志反馈的设备异常情况，对日志中统计规则的时间进行设置，一方面能够更加完善统计规则中时间设置的合理性和准确性，另一方面，能够根据新的类似规则，调整统计规则的时间，使得统计规则中时间设置更加效率。
具体地，在S2035步骤中还包括如下步骤：
S1，遍历SLr且将SLr与SL0进行比对，其中，SL0为预设的第一日志数量阈值；本领域技术人员根据实际需求进行设置，在此不再赘述；优先地，SL0=0。
S2，当SLr=SL0时，获取SLr对应的目标时间间隔ΔTr，其中，ΔTr符合如下条件：
Figure 717358DEST_PATH_IMAGE004
。
进一步地，当g=1时，TDg-1=0。
S3，根据ΔTr，获取ΔTr对应的中间时间间隔列表ΔT0 r={ΔT1，ΔT2，……，ΔTh，……，ΔTu}，h=1，2，……，u，u为中间时间间隔数量。
S4，根据ΔT0，获取ΔT0对应的第二日志数量集合SL0 r={SL1 r，SL2 r，……，SLh r，……，SLu r}，SLh r={SLh r1，SLh r2，……，SLh ry，……，SLh rq（h）}，SLh rry为Dr对应的第y个第二时间片内初始日志的数量，y=1，2，……，q（h），q（h）为第二时间片的数量，其中，第二时间片的取值为ΔTi。
具体地，ΔTi符合如下条件：
ΔTh=t+h×ΔTr。
q（h）符合如下条件：
Figure 199286DEST_PATH_IMAGE006
。
S5，当h=u时且SLh ry≠SL0时，将ΔTh作为中间时间片插入至中间时间片列表中。
S6，遍历所述中间时间片列表且将所述中间时间片列表中最大的中间时间片作为目标时间片。
S7，将目标时间片和目标时间片对应的最终日志的数量，生成作为目标统计规则向量。
具体地，在S7步骤中还包括如下步骤：
S71，当SLr≠SL0时，根据所述目标时间片和Dr，获取Dr对应的第三事件日志数量列表SL'r={SL'r1，SL'r2，……，SL'rξ，……，SL'rε}，SL'rξ为Dr对应的第ξ个目标时间片内初始日志的数量，ξ=1，2，……，ε，ε为目标时间片的数量。
S73，遍历SL'r且当SL'rξ为最小初始日志的数量时，将SL'rξ作为目标时间片对应的最终日志的数量。
S75，当SLr=SL0时且当SLh ry为最小初始日志的数量时，将SLh ry作作为目标时间片对应的最终日志的数量。
S8，将目标统计规则向量替换所述第二日志规则中统计规则向量，生成所述第二日志规则对应的关键日志规则；本领域技术人员知晓生成日志规则的方法，在此不再赘述。
上述，通过基于历史日志反馈的设备异常情况的时间间隔，合理性和准确性对日志中统计规则的时间进行设置，进而统计规则中时间设置的效率。
S205，从所述第三日志规则ID列表中获取所述第三日志规则对应的关键日志规则列表。
具体地，在S205步骤中还包括如下步骤：
S2051，获取所述第三日志规则ID列表C={C1，C2，……，Ca，……，Cb}，Ca={Ca1，Ca2，……，Cai，……，Cam}，Cai为第a个第三日志规则ID对应的第三日志规则中第i个第三子规则ID，a=1，2，……，b，b为第三日志规则ID的数量。
S2053，根据Ca，获取Ca对应的子规则向量列表C0 a={C0 a1，C0 a2，……，C0 ai，……，C0 am}，C0 ai为Cai对应的第一子规则向量。
S2055，当Cai=A'时，将C0 ai与预设字符进行比对；例如，所述预设字符为“or”。
S2057，当C0 ai中存在预设字符时，根据所述预设字符，将C0 ai划分成指定子规则向量列表G0 ai={G01 ai，G02 ai，……，G0β ai，……，G0δ ai}，G0β ai为C0 ai对应的第β个指定子规则向量，β=1，2，……，δ，δ为指定子规则向量的数量，也可以理解为：δ为C0 ai中存在预设字符的数量。
S2059，根据G0 ai，生成Ca对应的关键日志规则列表GL={GL0 a，GL01 ai，GL02 ai，……，GL0 β ai，……，GL0δ ai}，其中，GL0 a为C0 a对应的第三日志规则，GL0β ai为基于G0β ai对应的指定子规则向量列表GLβ ai={C0 a1，C0 a2，……，C0 ai-1，G0β ai，C0 ai+1，……，C0 am}，生成关键规则。
S207，根据所述第二日志规则对应的关键日志规则和所述第三日志规则对应的关键日志规则列表，构建最终关键日志规则列表。
上述，将同一规则拆分成多个规则，有利于规则细则化，进而提高日志分析结果的准确性。
S300，获取目标日志。
S400，根据所有的所述第一日志规则对应的最终关键日志规则列表中任一最终关键日志规则，对目标日志进行分析，以获取目标日志的分析结果。
本实施例提供了一种日志的分析方法，所述方法包括：获取第一日志规则ID列表和每一所述第一日志规则ID对应的第一日志规则；根据所有的第一日志规则，获取关键日志规则列表；获取目标日志；根据所有的所述第一日志规则对应的关键日志规则，对目标日志进行分析，以获取目标日志的分析结果；可知，能够通过自动化生成日志分析规则，用于对日志进行分析，以使得提高了日志分析的准确性和效率。
在一个具体的实施例中，所述方法还包括如下步骤，如图4所示：
S500，获取目标日志规则ID和目标日志规则ID对应的目标日志规则，所述目标日志规则ID与所述第一日志规则ID列表中每一第一日志规则ID均不一致。
S600，将目标日志规则与第一日志规则进行比对，确定出最终日志规则列表。
具体地，在S600步骤中还包括如下步骤：
S601，获取目标日志规则对应的目标子规则ID列表V={V1，V2，……，Vi，……，Vm}和V对应的目标子规则向量列表V0={V0 1，V0 2，……，V0 i，……，V0 m}，Vi为第i个目标子规则ID，V0 i为Vi对应的目标子规则向量。
S603，当Vi=A'时，将V0 i与所述第一日志规则对应的关键日志规则中第i个规则向量进行比对。
S605，当V0 i与所述第一日志规则对应的关键日志规则中第i个规则向量一致时，根据目标日志规则对应的非初始日志集和D，对所述第一日志规则对应的关键日志规则中目标时间片进行处理，获取到更新时间片，且基于更新时间片和更新时间片对应的日志数量，生成作为更统计规则向量，插入至所述第一日志规则对应的关键日志规则中。
具体的，生成更新时间片的具体实施步骤可以参照目标时间片的步骤，在此不再赘述。
S607，当V0 i与所述第一日志规则对应的关键日志规则中第i个规则向量不一致时，将V0 i作为关键日志规则与所有的所述第一日志规则对应的关键日志规则，生成最终日志规则列表。
上述，新的日志规则与预设规则进行匹配，可以快速和准确的推荐适合新的日志规则的统计规则，提高了日志分析的准确性和效率。
S700，根据最终日志规则列表，对目标日志进行分析，以获取目标日志的分析结果。
实施例二
如图5所示，本实施例二提供了一种事件日志的分析装置，所述装置包括：
第一日志规则获取模块100，第一日志规则获取模块100用于获取第一日志规则ID列表和每一所述第一日志规则ID对应的第一日志规则。
具体地，所述第一日志规则ID为第一分析规则的唯一身份标识。
具体地，第一日志规则获取模块100还包括，如图6所示：
预设日志规则获取模块101，预设日志规则获取模块101用于获取预设日志规则ID列表和每一预设日志规则ID对应的预设日志规则。
具体地，所述预设日志规则ID为预设日志规则的唯一身份标识；例如，所述预设日志规则ID为预设日志规则对应的名称。
进一步地，所述预设日志规则表征为用于对设备日志进行分析的预先设置的分析规则。
中间日志获取模块103，中间日志获取模块103用于根据所述预设日志规则ID列表，获取第一中间日志规则ID和第一中间日志规则ID对应的第二中间日志规则ID列表，其中，所述第二中间日志规则ID列表包括若干个第二中间日志规则ID。
具体地，在所述预设日志规则ID列表中随机选取任一预设日志规则ID作为第一中间日志规则ID。
具体地，在所述预设日志规则ID列表中除第一中间日志规则ID之外的其他任一预设日志规则ID作为第二中间日志规则ID。
第一获取模块105，第一获取模块105用于根据第一中间日志规则ID，获取第一中间日志规则ID对应的第一中间日志规则。
第二获取模块107，第二获取模块107用于根据所述第二中间日志规则ID列表，获取所述第二中间日志规则ID列表对应的第二中间日志规则列表。
第三获取模块109，第三获取模块109用于根据所述第一中间日志规则和所述第二中间日志规则列表，获取第一日志规则ID列表。
具体地，第三获取模块109还包括：
第一子规则获取模块1091，第一子规则获取模块1091用于根据所述第一中间日志规则，获取所述第一中间日志规则对应的第一子规则ID列表A={A1，A2，……，Ai，……，Am}和A对应的第一子规则向量列表A0={A0 1，A0 2，……，A0 i，……，A0 m}，Ai为第i个第一子规则ID，A0 i为Ai对应的第一规则向量，i=1，2，……，m，m为第一子规则ID的数量。
具体地，所述第一子规则ID为第一子规则的唯一身份标识。
进一步地，所述第一规则向量表征为用于描述所述第一中间日志规则中任一第一子规则对应的向量。
优选地，所述第一子规则为事件匹配规则或统计规则。
第二子规则ID获取模块1092，第二子规则ID获取模块1092用于根据所述第二中间日志规则列表，获取所述第二中间日志规则列表对应的第二子规则ID集B={B1，B2，……，Bj，……，Bn}，Bj={Bj1，Bj2，……，Bji，……，Bjm}，Bji为第j个第二中间日志规则对应的第i个第二子规则ID。
第二子规则获取模块1093，第二子规则获取模块1093用于根据B，获取B对应的第二子规则向量集B0={B0 1，B0 2，……，B0 j，……，B0 n}，B0 j={B0 j1，B0 j2，……，B0 ji，……，B0 jm}，B0 ji为Bji对应的第二规则向量。
具体地，所述第二子规则ID为第二子规则的唯一身份标识。
进一步地，所述第二规则向量表征为用于描述所述第二中间日志规则中任一第二子规则对应的向量。
具体地，A的第一子规则ID排序与任一Bj的第一子规则ID排序一致，在不再赘述。
第一执行模块1094，第一执行模块1094用于遍历A且当Ai=A'时，获取A0 i和B'={B0 1i，B0 2i，……，B0 ji，……，B0 ni}；其中，A'为预设的子规则ID；本领域技术人员知晓现有技术中任一确定两个ID相等的方法，在此不再赘述。
具体地，所述预设的子规则ID为事件匹配规则的预设规则名称。
第一相似度获取模块1095，第一相似度获取模块1095用于根据A0 i和B'，获取A0 i对应的第一相似度集Fi={Fi1，Fi2，……，Fij，……，Fin}，Fij为A0 i和B0 ji之间的第一相似度；其中，Fij符合如下条件：
Figure 599175DEST_PATH_IMAGE008
，其中，GA0μ i为A0 i对应的规则向量中第μ 位的bit值，GA0μ ji为B0 ji对应的规则向量中第μ位的bit值，μ=1……φ，φ为规则向量的位 数；本领域技术人员知晓可以采取现有技术中任一规则向量的获取方法，在此不再赘述。
第二执行模块1096，第二执行模块1096用于当Fij=K0时，从所述预设日志规则ID列表中删除A，获取所述第一日志规则ID列表；其中，K0为预设的相似度阈值。
关键日志规则获取模块200，关键日志规则获取模块200用于根据所有的第一日志规则，获取关键日志规则列表。
具体地，所述关键日志规则列表包括所有的第一日志规则对应的关键日志规则。
具体地，关键日志规则获取模块200还包括如下，如图7所示：
第一日志规则确定模块201，第一日志规则确定模块201用于根据第一日志规则ID列表，获取第二日志规则ID列表和第三日志规则ID列表。
进一步地，第一日志规则确定模块201包括：
相似度选取模块2011，相似度选取模块2011用于获取所述第一中间日志规则对应的第一相似度集Fi={Fi1，Fi2，……，Fij，……，Fin}。
第二日志规则ID生成模块2013，第二日志规则ID生成模块2013用于当Fij=K0时，将Bj作为第二中间日志规则ID作为第二日志规则ID。
第三日志规则ID生成模块2015，第三日志规则ID生成模块2015用于当Fij≠K0时，将A作为第一中间日志规则ID作为第三日志规则ID。
第一关键日志规则获取模块203，第一关键日志规则获取模块203用于从所述第二日志规则ID列表中获取所述第二日志规则对应的关键日志规则。
具体地，第一关键日志规则获取模块203还包括：
初始日志获取模块2031，初始日志获取模块2031用于在预设时间段内，获取第二日志规则ID对应的初始日志集D={D1，D2，……，Dr，……，Ds}，Dr={Dr1，Dr2，……，Drg，……，Drz（r）}，Drg为第二日志规则ID的第r类目标设备对应的第g个初始日志，r=1，2，……，s，s为目标设备的类型数量，g=1，2……，z（r），z（r）为第r类目标设备对应的初始日志的数量。
具体地，所述目标设备是指被监控的设置。用于上传第二日志规则ID对应的日志的网络设备。
具体地，所述初始日志为对所述目标设备上传第二日志规则ID对应的日志进行范化处理后的日志；本领域技术人员知晓采取现有技术中任一日志范化方法，在此不再赘述。
第一时间获取模块2032，第一时间获取模块2032用于根据所述预设时间段，获取所述预设时间段对应的第一时间列表T={T1，T2，……，Tx，……，Tp}，Tx为在预设时间段内的第x个第一时间片，x=1，2，……，p，p为在所述预设时间段内的第一时间片的数量。
日志时间模块2033，日志时间模块2033用于在预设时间段内，获取D对应的日志获取时间列表TD={TD1，TD2，……，TDr，……，TDs}，TDr={TDr1，TDr2，……，TDrg，……，TDrz（r）}，TDrg为Drg对应的日志获取时间。
第一日志数量获取模块2034，第一日志数量获取模块2034用于根据T和TD，获取T对应的第一日志数量列表SL={SL1，SL2，……，SLr，……，SLs}，SLr={SLr1，SLr2，……，SLrx，……，SLrp}，SLrx为Dr对应的第x个第一时间片内初始日志的数量。
具体地，p=t0/t。
进一步地，t0为预设时间段的长度，t0的取值范围为1~2天，优选地，t0的取值为1天。
具体地，t为第一时间片的长度，t的取值范围为5~10min，优选地，t的取值为5min。
第一关键日志规则生成模块2035，第一关键日志规则生成模块2035用于根据SL，获取第二日志规则对应的关键日志规则。
具体地，第一关键日志规则生成模块2035还包括：
第一判断模块1，第一判断模块1用于遍历SLr且将SLr与SL0进行比对，其中，SL0为预设的第一日志数量阈值；本领域技术人员根据实际需求进行设置，在此不再赘述；优先地，SL0=0。
第一时间间隔获取模块2，第一时间间隔获取模块2用于当SLr=SL0时，获取SLr对应的目标时间间隔ΔTr，其中，ΔTr符合如下条件：
Figure 415821DEST_PATH_IMAGE010
。
进一步地，当g=1时，TDg-1=0。
第二时间间隔获取模块3，第二时间间隔获取模块3用于根据ΔTr，获取ΔTr对应的中间时间间隔列表ΔT0 r={ΔT1，ΔT2，……，ΔTh，……，ΔTu}，h=1，2，……，u，u为中间时间间隔数量。
第二日志数量获取模块4，第二日志数量获取模块4用于根据ΔT0，获取ΔT0对应的第二日志数量集合SL0 r={SL1 r，SL2 r，……，SLh r，……，SLu r}，SLh r={SLh r1，SLh r2，……，SLh ry，……，SLh rq（h）}，SLh rry为Dr对应的第y个第二时间片内初始日志的数量，y=1，2，……，q（h），q（h）为第二时间片的数量，其中，第二时间片的取值为ΔTi。
具体地，ΔTi符合如下条件：
ΔTh=t+h×ΔTr。
q（h）符合如下条件：
Figure 231461DEST_PATH_IMAGE012
。
中间时间片获取模块5，中间时间片获取模块5用于当h=u时且SLh ry≠SL0时，将ΔTh作为中间时间片插入至中间时间片列表中。
目标时间片获取模块6，目标时间片获取模块6用于遍历所述中间时间片列表且将所述中间时间片列表中最大的中间时间片作为目标时间片。
向量获取模块7，向量获取模块7用于将目标时间片和目标时间片对应的最终日志的数量，生成作为目标统计规则向量。
具体地，向量获取模块7还包括：
第一确定模块71，第一确定模块71用于当SLr≠SL0时，根据所述目标时间片和Dr，获取Dr对应的第三事件日志数量列表SL'r={SL'r1，SL'r2，……，SL'rξ，……，SL'rε}，SL'rξ为Dr对应的第ξ个目标时间片内初始日志的数量，ξ=1，2，……，ε，ε为目标时间片的数量。
第二确定模块73，第二确定模块73用于遍历SL'r且当SL'rξ为最小初始日志的数量时，将SL'rξ作为目标时间片对应的最终日志的数量。
第三确定模块75，第三确定模块75用于当SLr=SL0时且当SLh ry为最小初始日志的数量时，将SLh ry作作为目标时间片对应的最终日志的数量。
向量替换模块8，向量替换模块8用于将目标统计规则向量替换所述第二日志规则中统计规则向量，生成所述第二日志规则对应的关键日志规则。
第二关键日志规则获取模块205，第二关键日志规则获取模块205用于从所述第三日志规则ID列表中获取所述第三日志规则对应的关键日志规则列表。
具体地，第二关键日志规则获取模块还包括：
第三日志规则获取模块2051，第三日志规则获取模块2051用于获取所述第三日志规则ID列表C={C1，C2，……，Ca，……，Cb}，Ca={Ca1，Ca2，……，Cai，……，Cam}，Cai为第a个第三日志规则ID对应的第三日志规则中第i个第三子规则ID，a=1，2，……，b，b为第三日志规则ID的数量。
子规则向量获取模块2053，子规则向量获取模块2053用于根据Ca，获取Ca对应的子规则向量列表C0 a={C0 a1，C0 a2，……，C0 ai，……，C0 am}，C0 ai为Cai对应的第一子规则向量。
字符比对模块2055，字符比对模块2055用于当Cai=A'时，将C0 ai与预设字符进行比对；例如，所述预设字符为“or”。
指定子规则向量生成模块2057，指定子规则向量生成模块2057用于当C0 ai中存在预设字符时，根据所述预设字符，将C0 ai划分成指定子规则向量列表G0 ai={G01 ai，G02 ai，……，G0β ai，……，G0δ ai}，G0β ai为C0 ai对应的第β个指定子规则向量，β=1，2，……，δ，δ为指定子规则向量的数量，也可以理解为：δ为C0 ai中存在预设字符的数量。
规则生成模块2059，规则生成模块2059用于根据G0 ai，生成Ca对应的关键日志规则列表GL={GL0 a，GL01 ai，GL02 ai，……，GL0β ai，……，GL0δ ai}，其中，GL0 a为C0 a对应的第三日志规则，GL0β ai为基于G0β ai对应的指定子规则向量列表GLβ ai={C0 a1，C0 a2，……，C0 ai-1，G0β ai，C0 ai+1，……，C0 am}，生成关键日志规则。
关键日志规则构建模块207，关键日志规则构建模块207用于根据所述第二日志规则对应的关键日志规则和所述第三日志规则对应的关键日志规则列表，构建关键日志规则列表。
目标日志获取模块300，目标日志获取模块300用于获取目标日志。
第一日志分析模块400，第一日志分析模块400用于根据所有的所述第一日志规则对应的最终关键日志规则列表中任一最终关键日志规则，对目标日志进行分析，以获取目标日志的分析结果。
在一个具体的实施例中，所述装置还包括，如图8所示：
目标日志规则获取模块500，目标日志规则获取模块500用于获取目标日志规则ID和目标日志规则ID对应的目标日志规则，所述目标日志规则ID与所述第一日志规则ID列表中每一第一日志规则ID均不一致。
最终日志规则确定模块600，最终日志规则确定模块600用于根据目标日志规则与第一日志规则进行比对，确定出最终日志规则。
具体地，最终日志规则确定模块600还包括：
目标子规则获取模块601，目标子规则获取模块601用于获取目标日志规则对应的目标子规则ID列表V={V1，V2，……，Vi，……，Vm}和V对应的目标子规则向量列表V0={V0 1，V0 2，……，V0 i，……，V0 m}，Vi为第i个目标子规则ID，V0 i为Vi对应的目标子规则向量。
第二判断模块603，第二判断模块603用于当Vi=A'时，将V0 i与所述第一日志规则对应的关键日志规则中第i个规则向量进行比对。
规则向量处理模块605，规则向量处理模块605用于当V0 i与所述第一日志规则对应的关键日志规则中第i个规则向量一致时，根据目标日志规则对应的非初始日志集和D，对所述第一日志规则对应的关键日志规则中目标时间片进行处理，获取到更新时间片，且基于更新时间片和更新时间片对应的日志数量，生成作为更统计规则向量，插入至所述第一日志规则对应的关键日志规则中。
具体的，生成更新时间片的具体实施步骤可以参照目标时间片的步骤，在此不再赘述。
最终日志规则生成模块607，最终日志规则生成模块607用于当V0 i与所述第一日志规则对应的关键日志规则中第i个规则向量不一致时，将V0 i作为关键日志规则与所有的所述第一日志规则对应的关键日志规则，生成最终日志规则列表。
第二日志分析模块700，第二日志分析模块700用于根据最终日志规则列表，对目标日志进行分析，以获取目标日志的分析结果。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取第一日志规则ID列表和每一所述第一日志规则ID对应的第一日志规则；
根据所有的第一日志规则，获取关键日志规则列表；
获取目标日志；
根据所有的所述第一日志规则对应的关键日志规则，对目标日志进行分析，以获取目标日志的分析结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取第一日志规则ID列表和每一所述第一日志规则ID对应的第一日志规则；
根据所有的第一日志规则，获取关键日志规则列表；
获取目标日志；
根据所有的所述第一日志规则对应的关键日志规则，对目标日志进行分析，以获取目标日志的分析结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块、模块的确定进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块、模块完成，即将所述装置的内部结构确定成不同的功能模块或模块，以完成以上描述的全部或者部分功能。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (16)

1.一种日志的分析方法，其特征在于，所述方法包括如下步骤：
获取第一日志规则ID列表和每一第一日志规则ID对应的第一日志规则；
根据所有的第一日志规则，获取最终关键日志规则列表；
获取目标日志；
根据所有的所述第一日志规则对应的最终关键日志规则列表中任一最终关键日志规则，对目标日志进行分析，以获取目标日志的分析结果。
2.根据权利要求1所述的日志的分析方法，其特征在于，获取第一日志规则ID列表和每一第一日志规则ID对应的第一日志规则还包括如下步骤：
获取预设日志规则ID列表和每一预设日志规则ID对应的预设日志规则；
根据所述预设日志规则ID列表，获取第一中间日志规则ID和第一中间日志规则ID对应的第二中间日志规则ID列表，其中，所述第二中间日志规则ID列表包括若干个第二中间日志规则ID；
根据第一中间日志规则ID，获取第一中间日志规则ID对应的第一中间日志规则；
根据所述第二中间日志规则ID列表，获取所述第二中间日志规则ID列表对应的第二中间日志规则列表；
根据所述第一中间日志规则和所述第二中间日志规则列表，获取第一日志规则ID列表。
3.根据权利要求2所述的日志的分析方法，其特征在于，所述预设日志规则ID为预设日志规则的唯一身份标识；其中，所述预设日志规则表征为用于对设备日志进行分析的预先设置的分析规则。
4.根据权利要求2所述的日志的分析方法，其特征在于，在所述预设日志规则ID列表中随机选取任一预设日志规则ID作为第一中间日志规则ID。
5.根据权利要求4所述的日志的分析方法，其特征在于，在所述预设日志规则ID列表中除第一中间日志规则ID之外的其他任一预设日志规则ID作为第二中间日志规则ID。
6.根据权利要求1所述的日志的分析方法，其特征在于，在根据所有的第一日志规则，获取最终关键日志规则列表中还包括如下步骤：
根据第一日志规则ID列表，获取第二日志规则ID列表和第三日志规则ID列表；
根据所述第二日志规则ID列表，所述第二日志规则ID列表中获取所述第二日志规则对应的关键日志规则；
根据所述第三日志规则ID列表，所述第三日志规则ID列表中获取所述第三日志规则对应的关键日志规则列表；
根据所述第二日志规则对应的关键日志规则和所述第三日志规则对应的关键日志规则列表，构建最终关键日志规则列表。
7.根据权利要求1所述的日志的分析方法，其特征在于，根据所有的所述第一日志规则对应的关键日志规则，对目标日志进行分析，以获取目标日志的分析结果之后还包括如下步骤：
获取目标日志规则ID和目标日志规则ID对应的目标日志规则，所述目标日志规则ID与所述第一日志规则ID列表中每一第一日志规则ID均不一致；
将目标日志规则与第一日志规则进行比对，确定出最终日志规则列表；
根据最终日志规则列表，对目标日志进行分析，以获取目标日志的分析结果。
8.一种日志的分析装置，其特征在于，所述装置包括：
第一日志规则获取模块，所述第一日志规则获取模块用于获取第一日志规则ID列表和每一第一日志规则ID对应的第一日志规则；
关键日志规则获取模块，所述关键日志规则获取模块用于根据所有的第一日志规则，获取最终关键日志规则列表；
目标日志获取模块，所述目标日志获取模块用于获取目标日志；
第一日志分析模块，所述第一日志分析模块用于根据所有的所述第一日志规则对应的最终关键日志规则列表中任一最终关键日志规则，对目标日志进行分析，以获取目标日志的分析结果。
9.根据权利要求8所述的日志的分析装置，其特征在于，第一日志规则获取模块还包括：
预设日志规则获取模块，所述预设日志规则获取模块用于获取预设日志规则ID列表和每一预设日志规则ID对应的预设日志规则；
中间日志规则获取模块，所述中间日志规则获取模块用于根据所述预设日志规则ID列表，获取第一中间日志规则ID和第一中间日志规则ID对应的第二中间日志规则ID列表，其中，所述第二中间日志规则ID列表包括若干个第二中间日志规则ID；
第一获取模块，所述第一获取模块用于根据第一中间日志规则ID，获取第一中间日志规则ID对应的第一中间日志规则；
第二获取模块，所述第二获取模块用于根据所述第二中间日志规则ID列表，获取所述第二中间日志规则ID列表对应的第二中间日志规则列表；
第三获取模块，所述第三获取模块用于根据所述第一中间日志规则和所述第二中间日志规则列表，获取第一日志规则ID列表。
10.根据权利要求9所述的日志的分析装置，其特征在于，所述预设日志规则ID为预设日志规则的唯一身份标识；其中，所述预设日志规则表征为用于对设备日志进行分析的预先设置的分析规则。
11.根据权利要求9所述的日志的分析装置，其特征在于，在所述预设日志规则ID列表中随机选取任一预设日志规则ID作为第一中间日志规则ID。
12.根据权利要求11所述的日志的分析装置，其特征在于，在所述预设日志规则ID列表中除第一中间日志规则ID之外的其他任一预设日志规则ID作为第二中间日志规则ID。
13.根据权利要求8所述的日志的分析装置，其特征在于，所关键日志规则获取模块包括：
第一日志规则确定模块，所述第一日志规则确定模块用于根据第一日志规则ID列表，获取第二日志规则ID列表和第三日志规则ID列表；
第一关键日志规则获取模块，所述第一关键日志规则获取模块用于根据所述第二日志规则ID列表，所述第二日志规则ID列表中获取所述第二日志规则对应的关键日志规则；
第二关键日志规则获取模块，所述第二关键日志规则获取模块用于根据所述第三日志规则ID列表，所述第三日志规则ID列表中获取所述第三日志规则对应的关键日志规则列表；
关键日志规则构建模块，所述关键日志规则构建模块用于根据所述第二日志规则对应的关键日志规则和所述第三日志规则对应的关键日志规则列表，构建最终关键日志规则列表。
14.根据权利要求8所述的日志的分析装置，其特征在于，所述装置还包括：
目标日志规则获取模块，所述目标日志规则获取模块用于获取目标日志规则ID和目标日志规则ID对应的目标日志规则，所述目标日志规则ID与所述第一日志规则ID列表中每一第一日志规则ID均不一致；
最终日志规则确定模块，所述最终日志规则确定模块用于将目标日志规则与第一日志规则进行比对，确定出最终日志规则列表；
第二日志分析模块，所述第二日志分析模块用于根据最终日志规则列表，对目标日志进行分析，以获取目标日志的分析结果。
15.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的日志的分析方法。
16.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的日志的分析方法。
CN202211233702.5A 2022-10-10 2022-10-10 一种日志的分析方法、装置、设备及介质 Active CN115309716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211233702.5A CN115309716B (zh) 2022-10-10 2022-10-10 一种日志的分析方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211233702.5A CN115309716B (zh) 2022-10-10 2022-10-10 一种日志的分析方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115309716A true CN115309716A (zh) 2022-11-08
CN115309716B CN115309716B (zh) 2023-02-07

Family

ID=83867975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211233702.5A Active CN115309716B (zh) 2022-10-10 2022-10-10 一种日志的分析方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115309716B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120180104A1 (en) * 2010-12-16 2012-07-12 Tufin Software Technologies Ltd. Method of generating security rule-set and system thereof
CN105183625A (zh) * 2015-08-31 2015-12-23 北京奇虎科技有限公司 一种日志数据处理方法和装置
US10152315B1 (en) * 2016-07-27 2018-12-11 Intuit Inc. Live rule deployment with deployment log
CN111353036A (zh) * 2020-02-27 2020-06-30 深信服科技股份有限公司 一种规则文件生成方法、装置、设备及可读存储介质
CN111414402A (zh) * 2020-03-19 2020-07-14 北京神州绿盟信息安全科技股份有限公司 一种日志威胁分析规则生成方法及装置
CN111597550A (zh) * 2020-05-14 2020-08-28 深信服科技股份有限公司 一种日志信息分析方法及相关装置
CN113886199A (zh) * 2021-08-31 2022-01-04 联想(北京)有限公司 一种数据处理方法及装置
CN115118582A (zh) * 2022-06-15 2022-09-27 合肥移瑞通信技术有限公司 日志分析的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120180104A1 (en) * 2010-12-16 2012-07-12 Tufin Software Technologies Ltd. Method of generating security rule-set and system thereof
CN105183625A (zh) * 2015-08-31 2015-12-23 北京奇虎科技有限公司 一种日志数据处理方法和装置
US10152315B1 (en) * 2016-07-27 2018-12-11 Intuit Inc. Live rule deployment with deployment log
CN111353036A (zh) * 2020-02-27 2020-06-30 深信服科技股份有限公司 一种规则文件生成方法、装置、设备及可读存储介质
CN111414402A (zh) * 2020-03-19 2020-07-14 北京神州绿盟信息安全科技股份有限公司 一种日志威胁分析规则生成方法及装置
CN111597550A (zh) * 2020-05-14 2020-08-28 深信服科技股份有限公司 一种日志信息分析方法及相关装置
CN113886199A (zh) * 2021-08-31 2022-01-04 联想(北京)有限公司 一种数据处理方法及装置
CN115118582A (zh) * 2022-06-15 2022-09-27 合肥移瑞通信技术有限公司 日志分析的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIN BO CHEN等: "A Log Analysis Technology Based on FP-growth Improved Algorithm", 《IEEE XPLORE》 *
于兆良等: "基于Hadoop平台的日志分析模型", 《计算机工程与设计》 *
于静: "基于Web应用的日志采集与分析系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN115309716B (zh) 2023-02-07

Similar Documents

Publication Publication Date Title
Kuravsky et al. A numerical technique for the identification of discrete-state continuous-time Markov models
CN111625516B (zh) 检测数据状态的方法、装置、计算机设备和存储介质
CN109284920B (zh) 基于大数据的用户信息风险评定的方法及系统
CN108733003B (zh) 基于kmeans聚类算法的回转类零件工序工时预测方法及系统
CN111522308B (zh) 故障诊断方法、装置、存储介质及计算机设备
CN113642707A (zh) 基于联邦学习的模型训练方法、装置、设备及存储介质
CN114996280B (zh) 一种数据表的字段信息纠正方法、装置、设备及介质
Pflug Non-asymptotic confidence bounds for stochastic approximation algorithms with constant step size
CN111177217A (zh) 数据预处理方法、装置、计算机设备及存储介质
CN113240085A (zh) 模型剪枝方法、装置、设备及存储介质
CN115083549B (zh) 一种基于数据挖掘的产品原料配比逆向推导方法
CN115309716B (zh) 一种日志的分析方法、装置、设备及介质
Shao et al. Stochastic channel-based federated learning for medical data privacy preserving
CN112541739B (zh) 问答意图分类模型的测试方法、装置、设备及介质
Ahn et al. Implicit simulation methods for stochastic chemical kinetics
CN113779568A (zh) 异常行为用户识别方法、装置、设备及存储介质
Izsák Some practical aspects of fitting and testing the Zipf-Mandelbrot model: A short essay
Nazzal et al. Using genetic algorithms and an indifference-zone ranking and selection procedure under common random numbers for simulation optimisation
CN109325119B (zh) 新闻情感分析的方法、装置、计算机设备和存储介质
Devroye et al. Density approximation and exact simulation of random variables that are solutions of fixed-point equations
RoyChoudhury Composite likelihood-based inferences on genetic data from dependent loci
Silva et al. Frequentist–Bayesian Monte Carlo test for mean vectors in high dimension
CN115470033A (zh) 一种获取日志规则的数据处理系统
CN114386616A (zh) 特征重要性评估方法、装置、设备和介质
Ngufor et al. Learning from large distributed data: A scaling down sampling scheme for efficient data processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant