CN117041019B - 内容分发网络cdn的日志分析方法、装置及存储介质 - Google Patents

内容分发网络cdn的日志分析方法、装置及存储介质 Download PDF

Info

Publication number
CN117041019B
CN117041019B CN202311303626.5A CN202311303626A CN117041019B CN 117041019 B CN117041019 B CN 117041019B CN 202311303626 A CN202311303626 A CN 202311303626A CN 117041019 B CN117041019 B CN 117041019B
Authority
CN
China
Prior art keywords
log
data
cdn
log data
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311303626.5A
Other languages
English (en)
Other versions
CN117041019A (zh
Inventor
孙凯
艾怀丽
孟浩
蔡曳灵
朱赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Zijin Jiangsu Innovation Research Institute Co ltd
China Mobile Group Jiangsu Co Ltd
Original Assignee
China Mobile Zijin Jiangsu Innovation Research Institute Co ltd
China Mobile Group Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Zijin Jiangsu Innovation Research Institute Co ltd, China Mobile Group Jiangsu Co Ltd filed Critical China Mobile Zijin Jiangsu Innovation Research Institute Co ltd
Priority to CN202311303626.5A priority Critical patent/CN117041019B/zh
Publication of CN117041019A publication Critical patent/CN117041019A/zh
Application granted granted Critical
Publication of CN117041019B publication Critical patent/CN117041019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence

Abstract

本发明提供了一种内容分发网络CDN的日志分析方法、装置及存储介质，属于网络通信技术领域。日志分析方法包括如下步骤：采集待分析的节点的日志；对采集得到的日志进行预处理操作，筛选得到第一日志数据；为第一日志数据中的每个字段分配基础权重；基于所述基础权重，生成日志规则并根据后续字段出现频率和变化速度实时调整当前权重；对第一日志数据执行标准化数据编码操作，得到第二日志数据；构建日志异常检测模型，利用第二日志数据训练所述日志异常检测模型；利用日志异常检测模型实时监测当前节点的日志。本申请通过使用词嵌入模型，可以捕捉日志数据中的深层次关联性，并且可以处理各种复杂的、非线性的关系。

Description

内容分发网络CDN的日志分析方法、装置及存储介质
技术领域
本发明涉及网络通信技术领域，尤其涉及一种内容分发网络CDN的日志分析方法、装置及存储介质。
背景技术
在CDN领域，日志分析已经是一种广泛应用的技术，通过对大量日志数据的收集、整理、分析，能够发现网络行为、故障问题等关键信息。
现有的常见的CDN日志分析的方法通常是通过收集CDN日志，然后利用预训练的模型进行故障识别和定位。然而，这种方法的主要缺点在于，它的故障识别和定位能力主要依赖于预训练模型的性能，如果模型没有被适当地训练或者训练数据不足，那么可能会导致识别和定位的结果不准确。此外，这种方法还缺乏对抗性的考虑，这可能导致其在面对复杂或未知的故障模式时效果不佳。
发明内容
发明目的：提出内容分发网络CDN的日志分析方法、装置及存储介质，以解决现有技术存在的上述问题。
第一方面，提出一种内容分发网络CDN的日志分析方法，步骤如下：
S1、采集待分析的CDN节点的日志；
S2、对采集得到的所述日志进行预处理操作，筛选得到第一日志数据；
S3、为所述第一日志数据中的每个字段分配基础权重；基于所述基础权重，生成日志规则并根据后续字段出现频率和变化速度实时调整当前权重；
S4、对所述第一日志数据执行标准化数据编码操作，得到第二日志数据；
S5、构建日志异常检测模型，利用所述第二日志数据训练所述日志异常检测模型；
在训练过程中，采用基于注意力机制的生成对抗网络自动生成新的故障识别和定位策略，并同时进行对抗性的训练；
S6、设定异常判断阈值，利用经过训练的所述日志异常检测模型实时监测当前CDN节点的日志，若监测结果触发所述异常判断阈值，则发出预警信息；
S7、根据接收到的预警信息追溯到当前CDN节点，判断是否为真实故障：
若为真实故障，则记录为成功预警案例，将当前成功预警案例的日志数据反哺至步骤S5中所述日志异常检测模型进行强化训练；
若非真实故障，则为误报，根据业务预定的需求和容忍度调整当前异常判断阈值。
在第一方面进一步的实施例中，步骤S1采集待分析的CDN节点的日志的过程包括：
S101、针对不同操作系统、基础配置、网络环境，预设多个配置文件，每个所述配置文件中至少包括日志文件路径以及日志收集策略；
S102、识别当前CDN节点的操作系统、基础配置、网络环境，选用符合预设条件的配置文件读取当前CDN节点的日志并发送至中心服务器。
在第一方面进一步的实施例中，根据当前CDN节点的运行状态和网络环境调整所述日志收集策略：
定期收集并分析当前CDN 节点的运行状态和网络环境，当检测到某个CDN节点的网络环境未达到预期，则自动提高当前节点的扫描频率；
当检测到某个CDN节点的网络环境恢复至预期区间后，则自动将扫描频率恢复至默认值。
在第一方面进一步的实施例中，步骤S2筛选得到第一日志数据的过程包括：
S201、提取采集到的所述日志中的日志数据作为第一样本；
S202、基于所述第一样本、并根据CDN业务场景，筛选出用于训练任务的重要字段，以筛选出的所述重要字段作为索引遍历所述第一样本，得到第二样本；
S203、基于所述第二样本，剔除无效记录和/或错误记录，得到第三样本；在所述第三样本中，寻找是否包含缺失数据，若包含缺失数据，则首先尝试推断缺失信息，以具备最高置信度的缺失信息补全当前缺失数据；
若无法推断出缺失信息，则忽略当前缺失数据；
S204、输出筛选后的样本为第一日志数据。
在第一方面进一步的实施例中，步骤S3进一步包括：
S301、基于步骤S202筛选出的所述重要字段，为每个重要字段分配一个基础权重base_w(f) ；
S302、根据后续字段出现频率和变化速度实时更新基础权重，得到更新后的权重w(f)：
；
式中，freq(f)表示字段的出现频率，rate(f)表示字段的变化速度；log(1+freq(f)) 表示对原始出现频率进行平滑和缩放的对数转换。对于较大的频率值，它有效地压缩了数值范围，从而减少了极端值的影响。可以帮助减少原始数据的偏斜，并使得模型对不同频率的数据更为敏感和平衡。
S303、设定一个权重阈值T，如果某个字段的权重值大于所述权重阈值T，保留当前字段；否则丢弃当前字段；
S304、基于步骤S303保留后的字段生成日志规则；所述日志规则至少包括请求信息、响应信息、缓存状态、异常情况；
其中，所述请求信息包括每一次对CDN资源的请求时间、发出请求的客户端IP、请求类型、请求的URL、HTTP版本、以及用户代理信息；
所述响应信息包括响应状态码、响应大小、以及响应时间；
所述缓存状态包括缓存命中和缓存未命中；
所述异常情况包括服务器异常和网络异常。
在第一方面进一步的实施例中，步骤S4进一步包括：
S401、文本信息编码；在CDN日志中，假设有m个不同的IP地址，第i个IP地址的One-hot编码为一个长度为m的向量O，该向量的第i个元素为1，其余元素为0；
S402、时间戳标准化；将时间戳标准化到[0, 1]的范围内：
；
式中，timestamp是原始时间戳，min_timestamp和max_timestamp分别是所有时间戳的最小值和最大值，norm_timestamp表示标准化后的时间戳；
S403、哈希编码；使用哈希函数将IP地址或URL转化为固定长度的向量；哈希函数h(x)的形式为：
；
式中，x是输入，此处表示IP地址或URL；n表示向量的长度；而mod表示取模运算，确保输出在0到 n−1 之间。使用哈希函数将不定长的输入（如IP地址或URL）转化为固定长度的向量。
S404、将数值数据转换为均值为0、标准差为1的标准形式，输出为第二日志数据：
；
式中，X是原始数据，mean(X)是X的均值，std(X)是X的标准差，X_standardized表示转换为标准形式后的数值数据。
在第一方面进一步的实施例中，步骤S5中所述日志异常检测模型的构建过程包括：
在CDN日志检测过程中，将每个字段作为单词进行处理，通过词嵌入技术，将单词映射为向量；
将每条日志条目视为一种序列，其中的每个单词视为序列中的一个元素；
CDN日志中的每条记录都看作是一个语句，利用日志异常检测模型捕捉到日志中不同部分的相互关联性：
；
式中，Q、K、V分别代表Query向量、Key向量、Value向量；d_k表示Key向量的维度；
其中，所述Query向量表示正在关注的当前的词；Key向量表示文本中的所有词，通过Key向量理解所述Query向量；Value向量表示文本中的所有词，用于计算最后的输出。
在第一方面进一步的实施例中，还包括：
使用二分类交叉熵损失函数训练所述日志异常检测模型，衡量模型预测的结果与真实结果的差异：
；
式中，y_i是日志i的真实标签，存在错误为1，不存在错误为0；p_i是模型预测日志i存在错误的概率；N是日志的总数量；log(p_i)表示当真实标签 yi 为1（即日志存在错误）时的损失；log(1-p_i)表示当真实标签 yi 为0（即日志不存在错误）时的损失。
在第一方面进一步的实施例中，在训练模型的过程中，模型参数根据下式进行更新：
；
式中，θ是模型参数，表示更新前的模型参数，表示更新后的模型参数；η是 学习率，是损失函数关于模型参数的梯度，计算出来的梯度值指向损失函 数在当前参数位置的最大增长方向。
引入动量进一步更新模型参数，提高模型参数的平滑度：
；
；
式中，η是学习率，∇J()是损失函数J()关于更新前的模型参数的梯 度，v是动量，β是动量衰减因子；
在更新过程中，v不断累积过去的梯度信息，并用于更新得到更新后的模型参数。
在第一方面进一步的实施例中，步骤S5中利用所述第二日志数据训练所述日志异常检测模型的过程包括：
使用生成对抗网络进行日志异常检测，目标是让生成器G生成逼真的日志数据，而让判别器区分出真实的日志数据和生成的日志数据；
其中，所述生成器G和判别器D的训练过程形式化为一个最小最大博弈，对应的目标函数如下：
；
式中，x是真实的日志数据，z是生成器的输入噪声，G(z)表示生成器G从噪声z生成 的日志数据，D(x)表示判别器D判断日志x是否为真实数据的概率，E表示期望操作；表示真实日志数据的分布；表示日志数据中噪声干扰z 的分布；表示 生成器的日志目标是最小化某个损失函数；表示判别器的目标日志最大化；既生成器 生成逼真的日志数据，而判别器则试图区分真实日志数据和生成的伪造日志数据。V(D,G) 表示GAN的损失函数或价值函数，用于衡量判别器 D 和生成器 G 的性能。
在异常检测阶段，通过判别器D对新的日志数据进行评估，如果判别器D给出的值远离0.5，则认为这条日志异常。
第二方面，提出一种内容分发网络CDN的日志分析装置，该日志分析装置包括采集模块、第一处理模块、第二处理模块、第三处理模块、模型构建模块、异常检测模块。
采集模块用于采集待分析的CDN节点的日志；
第一处理模块用于对采集得到的所述日志进行预处理操作，筛选得到第一日志数据；
第二处理模块用于为所述第一日志数据中的每个字段分配基础权重；基于所述基础权重，生成日志规则并根据后续字段出现频率和变化速度实时调整当前权重；
第三处理模块用于对所述第一日志数据执行标准化数据编码操作，得到第二日志数据；
模型构建模块用于构建日志异常检测模型，利用所述第二日志数据训练所述日志异常检测模型；
异常检测模块用于设定异常判断阈值，利用经过训练的所述日志异常检测模型实时监测当前CDN节点的日志，若监测结果触发所述异常判断阈值，则发出预警信息；根据接收到的预警信息追溯到当前CDN节点，判断是否为真实故障：若为真实故障，则记录为成功预警案例，将当前成功预警案例的日志数据反哺至步骤S5中所述日志异常检测模型进行强化训练；若非真实故障，则为误报，根据业务预定的需求和容忍度调整当前异常判断阈值。
第三方面，提出一种计算机可读存储介质，该存储介质中存储有至少一可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行如第一方面所述的内容分发网络CDN的日志分析方法的操作。
相对于现有技术，本申请具有明显的技术优点：
1、更精确的异常检测：本申请通过使用基于注意力机制的生成对抗网络来处理CDN日志数据，模型能够自动学习和理解正常日志的模式，这样在检测阶段就能更准确地识别出与正常模式有较大差距的异常日志。这比传统的基于规则或阈值的异常检测方法更精确，能够大幅减少误报和漏报。
2、自适应学习：由于使用了生成对抗网络（GAN），这种模型具有很强的自适应学习能力。随着日志数据的更新，模型可以持续进行学习和调整，适应新的正常模式和异常模式，而不需要人工进行频繁的规则更新和调整。
3、深度学习技术的高效利用：通过使用词嵌入（Word Embedding）和Transformer模型，可以有效处理大量的日志数据，捕捉数据中的深层次关联性。这不仅可以增加模型的预测精度，而且可以处理各种复杂的、非线性的关系，这是传统方法无法做到的。
4、更广泛的适用性：虽然本申请是针对CDN日志设计的，但其核心技术原理和方法可以应用到各种类型的日志数据处理中，只要对日志进行适当的预处理和特征工程，就可以使用这套方法进行异常检测。这比许多只能处理特定类型日志的方法具有更广泛的适用性。
附图说明
图1是本发明实施例中内容分发网络CDN的日志分析方法的流程图。
图2是本发明实施例中内容分发网络CDN的日志分析装置的结构示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
经过研究发现，现有的进行CDN日志分析的方法主要存在以下技术性的缺点：
1、故障识别与定位依赖于预训练模型：这意味着模型的性能在很大程度上依赖于训练数据的质量和数量。如果训练数据不充分或不具代表性，可能会导致模型在实际应用中的识别和定位效果不佳。
2、缺乏对抗性考虑：在面对复杂或未知的故障模式时，现有技术方案可能会失效。这是因为，这些方法在设计时，往往只考虑了已知和常见的故障模式，而忽视了对抗性的考虑。
为此，本申请的技术方案旨在通过至少如下两个改进方法来解决上述技术问题：
1、自动化生成策略：本申请采用的是基于AIGC的CDN日志对抗故障识别与智能故障定位的序列生成模型算法，能够自动生成新的故障识别和定位策略，大大降低了对训练数据量和质量的依赖。
2、对抗性训练：本申请的算法还能进行对抗性训练，可以有效提高对复杂或未知故障模式的适应性，提高故障识别和定位的准确性。
下面通过多个实施例来进一步阐述本方案。
实施例1：
本实施例提出一种内容分发网络CDN的日志分析方法，见图1所示，步骤如下：
日志采集：
因为每个CDN节点可能存在不同的操作系统、础配置和网络环境，本申请在Ansible 的框架基础上，开发了一套独特的自研算法，解决这些差异性并且保证所有节点上的日志收集代理服务能够一致部署和配置。可以在所有 CDN 节点上自动化地部署。
通过在 Ansible Playbook 中定义 yum 模块，在 Playbook 中指定软件包的名称和状态，使用 ansible.builtin.yum 模块在每个 CDN 节点上安装 Filebeat。Ansible可以自动识别目标节点的操作系统类型，并使用相应的包管理器来安装 Filebeat。
使用 ansible.builtin.template 模块完成对 Filebeat 的配置。预先定义好的配置模板文件复制并应用到目标节点上。在这个配置文件中，定义每一个 Prospector 都对应了一个特定类型的日志文件路径（如：/var/log/*.log）以及如何将这些日志发送到中心服务器。根据每个 CDN 节点的实际情况，比如操作系统、硬件配置和网络环境，来定制不同的配置模板，从而实现配置的个性化。
设计自动化地调整日志收集策略，以适应CDN节点的运行状态和网络环境：
①、开发一个名为 "LogCollector" 模块，这个模块被设计为定期收集并分析CDN 节点的运行状态和网络环境。当 "LogCollector" 模块检测到某个 CDN 节点的网络环境较差时，它会自动将这个节点的 "scan_frequency" 参数调整为一个较大的值，初始设置每30秒扫描一次。
②、当 "LogCollector" 模块检测到 CDN 节点的网络环境恢复正常时，它会自动将 "scan_frequency" 参数恢复为默认值。Filebeat 会恢复正常的日志收集频率。
离线部署LLaMA算法模型：
设计一种新的离线部署框架，使模型能够更快速地从训练转移到部署阶段。
1、对模型的编译与压缩进行算法优化,采用权重剪枝的方法，在训练过程中，会周期性地移除权重的一部分，特别是那些接近零的权重。同时采用权重量化，将浮点数权重转换为更少比特的整数，从而减小模型的体积。
2、采用容器化技术，使用Docker工具来LLaMA模型和所有必要的依赖，形成一个独立的容器。这个容器可以在任何支持Docker的平台上运行，包括各种云服务和物理机器。
3、为了保证模型的更新和版本控制，使用Git版本控制系统。每次更新模型时，为其创建一个新的版本。每个版本都有自己的标识符，可以轻松地跟踪和回滚到任何版本。
4、在模型载入的过程中，采用预编译和内存映射等技术来提高载入速度：
1）将模型编译成了中间代码，在载入时无需再进行编译，从而提高了载入速度。
2）内存映射则是一种将磁盘文件直接映射到内存的技术，可以大大提高载入和访问速度。
5、根据用户需求和模型特性，设计易用的API。这些API将模型的复杂性隐藏起来，只暴露出用户关心的接口。使用时通过这些接口轻松地调用模型，进行预测或训练，无需关心模型的内部结构和实现细节。
日志预处理：
由于日志数据可能包含大量噪声和不相关信息，因此需要进行预处理。
本申请设计了一套自动化的日志预处理和编码流程。基于AIGC中开源离线部署LLaMA模型进行自定义过滤器规则的开发，这些规则将被用于LLaMA算法模型中以过滤和处理 CDN 日志数据，具体过程如下：
1、数据收集和标记:收集足够数量的日志数据。一部分数据需要被标记为"正常"或"异常"，以用于监督学习。并且根据CDN业务场景确定哪些字段（例如，错误类型，错误码，请求路径等）对于训练任务（例如，错误检测，异常检测）是重要的。
2、数据预处理：根据业务知识，以确定哪些数据是不必要的或者有误的。标记无关、错误或者不完整的日志记录。
（1）确定重要的字段：不是日志中的所有数据都是对任务有用的。如，时间戳、日志级别（警告、错误等）、日志消息和可能的错误代码通常是最有用的字段。其他字段，如服务器ID、线程ID或者特定的应用参数可能就不那么重要。有了业务知识，可以确定哪些字段是应该关注的。
（2）识别无效或错误的记录：日志可能包含无效的记录，例如那些由于应用错误而生成的记录，或者那些包含错误数据的记录。需要识别出这些无效的记录并将其从数据集中进行标记。
（3）处理缺失或不完整的数据：日志记录可能不完整，如在应用崩溃时。在这种情况下，需要决定如何处理这些不完整的数据。推断出缺失的信息，或者至少可以确定如何安全地忽略这些信息。
生成训练规则：
1、为每个字段分配一个基础权重（base_w(f)），这个权重初始由人工经验进行设计。后续根据字段的出现频率freq和变化速度rate来调整这个权重：
2、设定一个阈值（T），如果某个字段的权重值大于这个阈值，保留这个字段；否则，丢弃这个字段。
3、根据上述规则和解析日志信息，并将这些信息用于进一步的数据分析和机器学习模型训练。得到相应的日志规则：
（1）请求信息：记录每一次对CDN资源的访问请求。这些信息包括请求时间、发出请求的客户端IP、请求类型（如GET，POST等）、请求的URL、HTTP版本和用户代理信息等。
（2）响应信息：CDN服务器给出的响应详情。包括响应状态码（例如200表示成功，404表示未找到，500表示服务器错误等）、响应大小和响应时间等。
（3）缓存状态：作为CDN的一项重要功能，记录每一次请求的缓存状态。比如，缓存命中（HIT）和未命中（MISS）。
（4）错误与异常：所有发生的错误和异常情况，包括服务器错误、网络错误等。
4、流量统计：每次请求的数据传输量，包括上行和下行的数据量。
日志数据标准化：
1、文本信息编码是机器学习预处理步骤中的关键环节，尤其在处理如CDN日志这 样的文本数据时。大部分的机器学习算法都是基于数值运算的，因此需要将文本数据转化 为数值数据，这样才能在算法中使用。在CDN日志中，假设有m个不同的IP地址，第i个IP地址 的One-hot编码为一个长度为m的向量O，该向量的第i个元素为1，其余元素为0。具体公式如 下：（其中，O_i的第i个元素为1，其余元素为0）。
2、时间戳标准化：使用以下公式将时间戳标准化到[0, 1]的范围内：
其中，timestamp是原始时间戳，min_timestamp和max_timestamp分别是所有时间戳的最小 值和最大值。
3、哈希编码：对于如IP地址或URL这样的高维类别变量，使用哈希函数将其转化为固定长度的向量。哈希函数h的基本形式为：
其中，x是输入（例如IP地址或URL），n是向量的长度。通过这种方式，可以将高维的类别变量转化为低维的数值向量，以减少计算复杂性。
4、数据标准化：将数值数据转换为标准形式，通常是将其转换为均值为0，标准差为1的形式。这个步骤可以帮助模型更好地处理不同范围的数据，可以使用如下公式进行标准化：
其中，X是原始数据，mean(X)是X的均值，std(X)是X的标准差。
预训练算法模型：
将日志数据进行预处理和编码，然后用于训练或在预训练的模型上进行预测，从而完成日志的错误检测或异常检测分析。
1、采用词嵌入（Word Embedding）技术导入准备的cdn日志数据，在CDN日志检测中，将IP地址、URL等字段作为单词进行处理。通过词嵌入技术，将这些单词映射为向量，从而可以捕捉到不同IP地址、URL之间的关联性。本申请参考 Skip-Gram 模型，引入更多的上下文信息，并使用多种概率计算函数。
1）为了使用一个更大的上下文窗口来捕获更远的上下文信息。为此，修改Skip-Gram的目标函数为：
；
其中c1是近距离上下文窗口的大小，c2是远距离上下文窗口的大小，λ是一个权重参数，用于平衡近距离上下文和远距离上下文的重要性。
2）尝试使用sigmoid函数来替代softmax函数，使得模型能够更好地处理多标签问题。
其中，sigmoid函数的定义为：
后续根据不同字段数据特性来修改和调整这个模型。
2、采用Transformer模型处理cdn日志数据，在处理CDN日志的环境中，将每条日志条目视为一种序列，其中的每个单词（例如IP地址、URL或错误代码等字段）视为序列中的一个元素。CDN日志中的每条记录都可以看作是一个语句，Transformer模型可以捕捉到日志中不同部分的相互关联性。如帮助理解某个特定的错误是否总是发生在特定的IP地址或URL上。详细公式如下：
其中，Q、K、V分别代表Query、Key、Value，d_k是Key的维度。
Query向量（Q）：这个向量表示正在关注的当前的词如IP，也就是正在尝试理解的词。
Key向量（K）：这个向量代表文本中的所有词（字段），将通过它们来理解的Query向量。
Value向量（V）：这个向量也代表文本中的所有词，它将用于计算最后的输出。
在计算Attention(Q, K, V)的过程中，首先计算Query和每一个Key的点积，然后除以sqrt(d_k)（d_k是Key向量的维度），接着通过softmax函数将它们转化为权重，最后这些权重将用于对Value向量进行加权求和。这个过程可以帮助模型理解哪些词与当前关注的词相关，哪些词不相关，从而有选择性地关注更重要的信息。
3、假设希望预测在给定的IP地址或URL下是否会发生特定的错误，可以定义以下的公式：
假设E是错误事件的集合，I是IP地址或URL的集合，目标是最大化以下公式：
其中，p(e | i)是在给定IP地址或URL i下发生错误事件 e的条件概率，这个概率可以通过Softmax函数计算得到：
其中，v'_e和v_i分别是错误事件 e和IP地址或URL i的向量表示，这些向量可以通过神经网络模型学习得到。
通过最大化这个目标函数，模型可以学习到哪些错误事件更可能在特定的IP地址或URL下发生，从而更好地理解和处理日志数据。
4、使用损失函数来衡量模型预测的结果与真实结果的差异。假设目标是预测日志中是否存在错误，采用二分类交叉熵损失函数（Binary Cross Entropy Loss）来指导模型的训练，具体的公式为：
其中，y_i是日志i的真实标签（存在错误为1，不存在错误为0），p_i是模型预测日志i存在错误的概率，N是日志的总数量。
模型的目标就是通过随机梯度下降优化算法来最小化这个损失函数，从而使模型预测的结果尽可能接近真实的结果。
5、在CDN日志处理中训练模型的过程中，需要不断地更新模型的参数，以减小模型的损失函数值。优化算法就是用来完成这个任务的，它会根据模型当前的性能，决定如何更新模型的参数，以便于提升模型的性能。本申请使用随机梯度下降（Stochastic GradientDescent，SGD）进行算法优化。
在每次迭代过程中，模型参数会根据下面的公式进行更新：
；
其中，θ是模型参数，η是学习率（一个需要预先设定的参数，用来控制每次参数更新的步长），∇J(θ)是损失函数J(θ)关于模型参数θ的梯度，计算出来的梯度值指向损失函数在当前参数位置的最大增长方向。
6、针对随机梯度下降（Stochastic Gradient Descent，SGD）在接近最小值点时由于梯度抖动而难以收敛的问题，可以通过引入动量（momentum）来改进。动量可以帮助SGD在学习过程中积累前面的梯度信息，使得每一步的更新更加平滑，从而减少抖动并加速收敛。SGD的动量版更新公式如下：
；
；
式中，η是学习率，∇J()是损失函数J()关于更新前的模型参数的梯 度，v是动量，β是动量衰减因子（通常取值为0.9）。在更新过程中，v不断累积过去的梯度信 息，并用于更新模型参数。
模型训练：
在使用生成对抗网络（GAN）进行日志异常检测时，目标是让生成器（G）能够生成尽可能逼真的日志数据，而让判别器（D）尽可能地区分出真实的日志数据和生成的日志数据。并用这个模型去判断真实日志是否异常。
生成器（G）和判别器（D）的训练过程在数学上可以形式化为一个最小最大（minimax）博弈，对应的目标函数为：
；
其中，x是真实的日志数据，z是生成器的输入噪声，G(z)表示生成器G从噪声z生成的日志数据，D(x)表示判别器D判断日志x是否为真实数据的概率，E表示期望操作。在训练过程中，判别器D希望最大化V，也就是希望尽可能准确地判断日志是否为真实的；而生成器G希望最小化V，也就是希望生成的日志数据能够尽可能地“欺骗”判别器D。通过梯度下降法不断交替地更新G和D的参数，使得它们在这个博弈过程中越来越强大。当博弈达到纳什均衡时，生成器G将能够生成与真实日志数据几乎无法区分的日志数据，而判别器D将对所有输入的日志数据都给出相同的判断。
在异常检测阶段，通过判别器D对新的日志数据进行评估，如果D给出的值远离0.5（也就是说，D很有信心地判断这条日志是真实的或者是生成的），则认为这条日志可能是异常的。
故障检测：
故障检测是模型训练的最终目标。为模型的输出设定一个阈值。具体来说，可以将模型的输出视为该日志条目属于“正常”类别的概率。如果这个概率低于某个预定的阈值，以在检测精度和误报率之间找到合适的平衡。
如果阈值设置得太高，可能会导致漏掉一些真实的故障（漏报）；如果阈值设置得太低，可能会频繁地将正常的日志条目误判为故障（误报）。通过不断调整阈值，根据业务特定的需求和容忍度，达到最佳的故障检测效果。
实施例2：
本实施例提出一种内容分发网络CDN日志分析装置800，见图2，该日志分析装置包括采集模块801、第一处理模块802、第二处理模块803、第三处理模块804、模型构建模块805、异常检测模块806。
采集模块801用于采集待分析的CDN节点的日志；第一处理模块802用于对采集得到的所述日志进行预处理操作，筛选得到第一日志数据；第二处理模块803用于为所述第一日志数据中的每个字段分配基础权重；基于所述基础权重，生成日志规则并根据后续字段出现频率和变化速度实时调整当前权重；第三处理模块804用于对所述第一日志数据执行标准化数据编码操作，得到第二日志数据；模型构建模块805用于构建日志异常检测模型，利用所述第二日志数据训练所述日志异常检测模型；异常检测模块806用于设定异常判断阈值，利用经过训练的所述日志异常检测模型实时监测当前CDN节点的日志，若监测结果触发所述异常判断阈值，则发出预警信息；根据接收到的预警信息追溯到当前CDN节点，判断是否为真实故障：若为真实故障，则记录为成功预警案例，将当前成功预警案例的日志数据反哺至步骤S5中所述日志异常检测模型进行强化训练；若非真实故障，则为误报，根据业务预定的需求和容忍度调整当前异常判断阈值。
实施例3：
本实施例提出一种计算机可读存储介质，该存储介质中存储有至少一可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行如第一方面所述的内容分发网络CDN的日志分析方法的操作。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。
因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
本申请技术方案针对的是CDN日志的异常检测，具有很大的市场前景和应用潜力。以下是几个主要原因：
1、互联网服务的普及：随着互联网技术的快速发展，各种在线服务、应用和平台如雨后春笋般涌现。CDN（内容分发网络）作为提供稳定、快速网络服务的关键技术，被广泛应用在各种网络服务中。因此，CDN日志的处理和分析对于保证服务质量，优化用户体验具有至关重要的作用。
2、大数据的挑战：随着互联网用户和数据量的爆炸性增长，如何从海量的CDN日志中快速、准确地检测出异常和故障，已经成为一个巨大的挑战。本申请提供的技术方案正好能够解决这个问题，具有非常大的市场需求。
3、AI技术的发展：近年来，AI（人工智能）和机器学习技术得到了快速发展和广泛应用。本申请提出的基于深度学习模型的CDN日志异常检测方案，利用了最新的AI技术，比传统的方法更加高效和准确。
4、广泛的应用场景：本申请的技术方案不仅适用于CDN日志的处理，还可以扩展到其他类型的日志分析和异常检测任务，如服务器日志、网络日志、应用日志等，应用场景非常广泛。
表1当前技术与现有技术在各个参数和技术细节上的差异
参数/技术 当前技术 现有技术
识别准确度 (%) 98 90
定位准确度 (%) 96 88
训练时间 (小时) 1.5 4
实时处理能力 (日志/秒) 2500 1800
数据压缩率 (%) 70 50
日志预处理时间 (小时/GB) 0.02 0.05
模型训练数据需求 (GB) 300 500
模型大小 (MB) 45 110
对新故障模式的适应性 高 (通过对抗性训练) 中
对抗性攻击的韧性 (%) 92 78
计算资源消耗 (核心数/模型) 8 16
模型更新频率 (天/次) 7 30
数据处理细节 高效的编码和预处理策略，原始日志数据压缩到30%的大小 简单压缩，原始日志数据压缩到50%的大小
模型性能与需求细节 采用先进的算法，只需300GB的数据进行训练 需要500GB的数据进行训练
运行与更新细节 模型每7天更新一次，适应新的日志模式和变化 模型每30天更新一次
综上所述，本申请的技术方案有很好的市场前景，有望在相关领域获得广泛的应用。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (7)

1.一种内容分发网络CDN的日志分析方法，其特征在于，包括如下步骤：
S1、采集待分析的CDN节点的日志；
S2、对采集得到的所述日志进行预处理操作，筛选得到第一日志数据；
S201、提取采集到的所述日志中的日志数据作为第一样本；
S202、基于所述第一样本、并根据CDN业务场景，筛选出用于训练任务的重要字段，以筛选出的所述重要字段作为索引遍历所述第一样本，得到第二样本；
S203、基于所述第二样本，剔除无效记录和/或错误记录，得到第三样本；在所述第三样本中，寻找是否包含缺失数据，若包含缺失数据，则首先尝试推断缺失信息，以具备最高置信度的缺失信息补全当前缺失数据；
若无法推断出缺失信息，则忽略当前缺失数据；
S204、输出筛选后的样本为第一日志数据；
S3、为所述第一日志数据中的每个字段分配基础权重；基于所述基础权重，生成日志规则并根据后续字段出现频率和变化速度实时调整当前权重；
S301、基于步骤S202筛选出的所述重要字段，为每个重要字段分配一个基础权重base_w(f) ；
S302、根据后续字段出现频率和变化速度实时更新基础权重，得到更新后的权重w(f)：
；
式中，freq(f)表示字段的出现频率，rate(f)表示字段的变化速度；log(1+ freq(f))表示对原始出现频率进行平滑和缩放的对数转换；
S303、设定一个权重阈值T，如果某个字段的权重值大于所述权重阈值T，保留当前字段；否则丢弃当前字段；
S304、基于步骤S303保留后的字段生成日志规则；所述日志规则至少包括请求信息、响应信息、缓存状态、异常情况；
其中，所述请求信息包括每一次对CDN资源的请求时间、发出请求的客户端IP、请求类型、请求的URL、HTTP版本、以及用户代理信息；
所述响应信息包括响应状态码、响应大小、以及响应时间；
所述缓存状态包括缓存命中和缓存未命中；
所述异常情况包括服务器异常和网络异常；
S4、对所述第一日志数据执行标准化数据编码操作，得到第二日志数据；
S401、文本信息编码；在CDN日志中，假设有m个不同的IP地址，第i个IP地址的One-hot编码为一个长度为m的向量O，该向量的第i个元素为1，其余元素为0；
S402、时间戳标准化；将时间戳标准化到[0, 1]的范围内：
；
式中，timestamp是原始时间戳，min_timestamp和max_timestamp分别是所有时间戳的最小值和最大值，norm_timestamp表示标准化后的时间戳；
S403、哈希编码；使用哈希函数将IP地址或URL转化为固定长度的向量；哈希函数h(x)的形式为：
；
式中，x是输入，此处表示IP地址或URL；n表示向量的长度；mod表示取模运算，确保输出在0到n-1之间；使用哈希函数将IP地址或URL这种不定长的输入转化为固定长度的向量；
S404、将数值数据转换为均值为0、标准差为1的标准形式，输出为第二日志数据：
；
式中，X是原始数据，mean(X)是X的均值，std(X)是X的标准差，X_standardized表示转换为标准形式后的数值数据；
S5、构建日志异常检测模型，利用所述第二日志数据训练所述日志异常检测模型；
在训练过程中，采用基于注意力机制的生成对抗网络自动生成新的故障识别和定位策略，并同时进行对抗性的训练；
在CDN日志检测过程中，将每个字段作为单词进行处理，通过词嵌入技术，将单词映射为向量；
将每条日志条目视为一种序列，其中的每个单词视为序列中的一个元素；
CDN日志中的每条记录都看作是一个语句，利用日志异常检测模型捕捉到日志中不同部分的相互关联性：
；
式中，Q、K、V分别代表Query向量、Key向量、Value向量；d_k表示Key向量的维度；QK^T表示衡量字段Query与日志中其他字段Key的相似性或关联性，以识别与异常模式高度相关的字段；sqrt(*)表示对每个字段作为单词进行向量归一化；sofmax(*) 表示字段概率分布，在这个概率分布下，每个字段单词都有一个与 Query 字段相关性的权重；
其中，所述Query向量表示正在关注的当前的词；Key向量表示文本中的所有词，通过Key向量理解所述Query向量；Value向量表示文本中的所有词，用于计算最后的输出；
使用二分类交叉熵损失函数训练所述日志异常检测模型，衡量模型预测的结果与真实结果的差异：
；
式中，y_i是日志i的真实标签，存在错误为1，不存在错误为0；p_i是模型预测日志i存在错误的概率；N是日志的总数量；log(p_i)表示当真实标签 yi 为1、即日志存在错误时的损失；log(1-p_i)表示当真实标签 yi 为0、即日志不存在错误时的损失；
利用所述第二日志数据训练所述日志异常检测模型的过程包括：
使用生成对抗网络进行日志异常检测，目标是让生成器G生成逼真的日志数据，而让判别器区分出真实的日志数据和生成的日志数据；
其中，所述生成器G和判别器D的训练过程形式化为一个最小最大博弈，对应的目标函数如下：
；
式中，x是真实的日志数据，z是生成器的输入噪声，G(z)表示生成器G从噪声z生成的日志数据，D(*)表示判别器D判断括号内是否为真实数据的概率，E表示期望操作，表示真实日志数据的分布；/>表示日志数据中噪声干扰z 的分布；/>表示真实日志数据的分布；/>表示日志数据中噪声干扰z 的分布；/>表示生成器的日志目标是最小化某个损失函数；/>表示判别器的目标日志最大化；既生成器生成逼真的日志数据，而判别器则试图区分真实日志数据和生成的伪造日志数据；V(D,G)表示GAN的损失函数或价值函数，用于衡量判别器D和生成器G的性能；
在异常检测阶段，通过判别器D对新的日志数据进行评估，如果判别器D给出的值远离0.5，则认为这条日志异常；
S6、设定异常判断阈值，利用经过训练的所述日志异常检测模型实时监测当前CDN节点的日志，若监测结果触发所述异常判断阈值，则发出预警信息；
S7、根据接收到的预警信息追溯到当前CDN节点，判断是否为真实故障：
若为真实故障，则记录为成功预警案例，将当前成功预警案例的日志数据反哺至步骤S5中所述日志异常检测模型进行强化训练；
若非真实故障，则为误报，根据业务预定的需求和容忍度调整当前异常判断阈值。
2.根据权利要求1所述的内容分发网络CDN的日志分析方法，其特征在于，步骤S1采集待分析的CDN节点的日志的过程包括：
S101、针对不同操作系统、基础配置、网络环境，预设多个配置文件，每个所述配置文件中至少包括日志文件路径以及日志收集策略；
S102、识别当前CDN节点的操作系统、基础配置、网络环境，选用符合预设条件的配置文件读取当前CDN节点的日志并发送至中心服务器。
3.根据权利要求2所述的内容分发网络CDN的日志分析方法，其特征在于，根据当前CDN节点的运行状态和网络环境调整所述日志收集策略：
定期收集并分析当前CDN 节点的运行状态和网络环境，当检测到某个CDN节点的网络环境未达到预期，则自动提高当前节点的扫描频率；
当检测到某个CDN节点的网络环境恢复至预期区间后，则自动将扫描频率恢复至默认值。
4.根据权利要求1所述的内容分发网络CDN的日志分析方法，其特征在于，在训练模型的过程中，模型参数根据下式进行更新：
；
式中，表示更新前的模型参数，/>表示更新后的模型参数；η是学习率，/>是损失函数/>关于模型参数/>的梯度，计算出来的梯度值指向损失函数在当前参数位置的最大增长方向。
5.根据权利要求4所述的内容分发网络CDN的日志分析方法，其特征在于，还包括引入动量进一步更新模型参数，提高模型参数的平滑度：
；
；
式中，η是学习率，∇J（）是损失函数J（/>）关于更新前的模型参数/>的梯度，v是动量，β是动量衰减因子；
在更新过程中，v不断累积过去的梯度信息，并用于更新得到更新后的模型参数。
6.一种内容分发网络CDN的日志分析装置，用于执行如权利要求1至5中任一项所述的内容分发网络CDN的日志分析方法，其特征在于，包括：
采集模块，用于采集待分析的CDN节点的日志；
第一处理模块，用于对采集得到的所述日志进行预处理操作，筛选得到第一日志数据；
第二处理模块，用于为所述第一日志数据中的每个字段分配基础权重；基于所述基础权重，生成日志规则并根据后续字段出现频率和变化速度实时调整当前权重；
第三处理模块，用于对所述第一日志数据执行标准化数据编码操作，得到第二日志数据；
模型构建模块，用于构建日志异常检测模型，利用所述第二日志数据训练所述日志异常检测模型；
异常检测模块，用于设定异常判断阈值，利用经过训练的所述日志异常检测模型实时监测当前CDN节点的日志，若监测结果触发所述异常判断阈值，则发出预警信息；根据接收到的预警信息追溯到当前CDN节点，判断是否为真实故障：若为真实故障，则记录为成功预警案例，将当前成功预警案例的日志数据反哺至步骤S5中所述日志异常检测模型进行强化训练；若非真实故障，则为误报，根据业务预定的需求和容忍度调整当前异常判断阈值。
7.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行如权利要求1至5中任一项所述的内容分发网络CDN的日志分析方法的操作。
CN202311303626.5A 2023-10-10 2023-10-10 内容分发网络cdn的日志分析方法、装置及存储介质 Active CN117041019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311303626.5A CN117041019B (zh) 2023-10-10 2023-10-10 内容分发网络cdn的日志分析方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311303626.5A CN117041019B (zh) 2023-10-10 2023-10-10 内容分发网络cdn的日志分析方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN117041019A CN117041019A (zh) 2023-11-10
CN117041019B true CN117041019B (zh) 2024-01-02

Family

ID=88623144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311303626.5A Active CN117041019B (zh) 2023-10-10 2023-10-10 内容分发网络cdn的日志分析方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN117041019B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117271469B (zh) * 2023-11-20 2024-02-02 新风光电子科技股份有限公司 一种储能电站储能数据分布式存储方法
CN117687890B (zh) * 2024-02-02 2024-05-03 山东大学 基于操作日志的异常操作识别方法、系统、介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235327A (zh) * 2020-12-16 2021-01-15 中移(苏州)软件技术有限公司 异常日志检测方法、装置、设备和计算机可读存储介质
CN113590761A (zh) * 2021-08-13 2021-11-02 网易有道信息技术（北京）有限公司 文本处理模型的训练方法、文本处理方法及相关设备
CN113918367A (zh) * 2021-09-26 2022-01-11 南京邮电大学 一种基于注意力机制的大规模系统日志异常检测方法
CN114138973A (zh) * 2021-12-03 2022-03-04 大连海事大学 一种基于对比对抗训练的日志序列异常检测方法
CN114912500A (zh) * 2021-11-29 2022-08-16 长沙理工大学 一种基于预训练模型的无监督日志异常检测方法
EP4134872A1 (en) * 2021-08-10 2023-02-15 Packetai Method for automatically detecting anomalies in log files
CN116127395A (zh) * 2023-01-12 2023-05-16 中国铁道科学研究院集团有限公司通信信号研究所 一种高速列车自动防护系统实时异常感知方法
CN116595164A (zh) * 2023-07-17 2023-08-15 浪潮通用软件有限公司 一种生成单据摘要信息的方法、系统、设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11669735B2 (en) * 2020-01-23 2023-06-06 Vmware, Inc. System and method for automatically generating neural networks for anomaly detection in log data from distributed systems
CN114610515B (zh) * 2022-03-10 2022-09-13 电子科技大学 基于日志全语义的多特征日志异常检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235327A (zh) * 2020-12-16 2021-01-15 中移(苏州)软件技术有限公司 异常日志检测方法、装置、设备和计算机可读存储介质
EP4134872A1 (en) * 2021-08-10 2023-02-15 Packetai Method for automatically detecting anomalies in log files
CN113590761A (zh) * 2021-08-13 2021-11-02 网易有道信息技术（北京）有限公司 文本处理模型的训练方法、文本处理方法及相关设备
CN113918367A (zh) * 2021-09-26 2022-01-11 南京邮电大学 一种基于注意力机制的大规模系统日志异常检测方法
CN114912500A (zh) * 2021-11-29 2022-08-16 长沙理工大学 一种基于预训练模型的无监督日志异常检测方法
CN114138973A (zh) * 2021-12-03 2022-03-04 大连海事大学 一种基于对比对抗训练的日志序列异常检测方法
CN116127395A (zh) * 2023-01-12 2023-05-16 中国铁道科学研究院集团有限公司通信信号研究所 一种高速列车自动防护系统实时异常感知方法
CN116595164A (zh) * 2023-07-17 2023-08-15 浪潮通用软件有限公司 一种生成单据摘要信息的方法、系统、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Web log classification framework with data augmentation based on GANs;He Mingshu 等;The Journal of China Universities of Posts and Telecommunications(05);全文 *
基于深度学习的恶意域名检测技术的研究与应用;王媛媛;中国优秀硕士学位论文全文数据库 信息科技辑;全文 *
基于生成对抗网络的系统日志级异常检测算法;夏彬 等;计算机应用(第10期);全文 *

Also Published As

Publication number Publication date
CN117041019A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN117041019B (zh) 内容分发网络cdn的日志分析方法、装置及存储介质
EP3355547B1 (en) Method and system for learning representations of network flow traffic
CN111967571B (zh) 一种基于mhma的异常检测方法和设备
Yu et al. An automatically tuning intrusion detection system
CN111600919A (zh) 基于人工智能的web检测方法和装置
CN112202726B (zh) 一种基于上下文感知的系统异常检测方法
CN112966714A (zh) 一种边缘时序数据异常检测和网络可编程控制方法
CN113762377B (zh) 网络流量识别方法、装置、设备及存储介质
CN110162958B (zh) 用于计算设备的综合信用分的方法、装置和记录介质
CN110334105B (zh) 一种基于Storm的流数据异常检测方法
CN114079579B (zh) 一种恶意加密流量检测方法及装置
WO2022053163A1 (en) Distributed trace anomaly detection with self-attention based deep learning
CN108306997B (zh) 域名解析监控方法及装置
CN115396204A (zh) 一种基于序列预测的工控网络流量异常检测方法及装置
CN110011990A (zh) 内网安全威胁智能分析方法
US10291483B2 (en) Entity embedding-based anomaly detection for heterogeneous categorical events
CN115865483A (zh) 一种基于机器学习的异常行为分析方法和装置
CN113553577B (zh) 基于超球面变分自动编码器的未知用户恶意行为检测方法及系统
Gao et al. The prediction role of hidden markov model in intrusion detection
CN109871711B (zh) 海洋大数据共享分发风险控制模型及方法
CN116502162A (zh) 边缘算力网络中的异常算力联邦检测方法、系统及介质
CN116126807A (zh) 一种日志分析方法及相关装置
JI et al. Log Anomaly Detection Through GPT-2 for Large Scale Systems
CN111475380A (zh) 一种日志分析方法和装置
CN117792933B (zh) 一种基于深度学习的网络流量优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant