CN113778970A - 一种容器异常检测方法及系统 - Google Patents

一种容器异常检测方法及系统 Download PDF

Info

Publication number
CN113778970A
CN113778970A CN202110923069.1A CN202110923069A CN113778970A CN 113778970 A CN113778970 A CN 113778970A CN 202110923069 A CN202110923069 A CN 202110923069A CN 113778970 A CN113778970 A CN 113778970A
Authority
CN
China
Prior art keywords
support degree
log data
elements
log
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110923069.1A
Other languages
English (en)
Inventor
谢雨来
余岱松
周潘
冯丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110923069.1A priority Critical patent/CN113778970A/zh
Publication of CN113778970A publication Critical patent/CN113778970A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种容器异常检测方法及系统，属于云计算安全技术领域，方法包括：首先收集日志数据并进行过滤、简化、补全处理，再创新地提出按列编号得到新的日志数据；接着，分别计算新的日志数据中各列元素的支持度，去除每列中支持度小于最小支持度的元素，将每列中剩余的元素单独储存并在结尾加上零元素；按列依次随机选择一个元素并进行组合，并对组合的支持度进行判断，以找到所有支持度大于等于最小支持度且长度等于日志条目字段数的元素组合；最后，将选取权重最大的部分元素组合反馈给系统管理员，以进行容器异常检测。如此，本发明能够帮助系统管理员快速准确地定位异常，减轻系统维护人员的负担。

Description

一种容器异常检测方法及系统
技术领域
本发明属于云计算安全技术领域，更具体地，涉及一种容器异常检测方法及系统。
背景技术
云计算作为不同于传统服务模式的新服务模式，可以使用户以更低的价格访问高质量、高安全性的基础设施服务。如今，越来越多的人青睐使用云计算技术进行一些大规模的数据运算。云技术是虚拟化的基础，虚拟化的资源管理和开发都离不开云计算的支持。但是，由于虚拟化技术存在诸如启动时间长、系统资源利用率偏低和虚拟机间堆栈环境差异等问题，Docker容器技术便作为一种替代方案诞生了。
Docker是一个专为系统管理员和开发人员设计的运行环境，它可以共享系统主机的内核资源并在系统上构建、发布和运行分布式应用程序。Docker容器使用cgroup控制组完成对硬件资源的限制，运用内核级的命名空间实现各种资源的隔离。
当异常在容器中发生时，容器守护进程只能将相关时段的日志信息或记录储存在日志文件中，如果将海量的原始日志直接交付给系统管理员进行处理，无疑会极大地增加系统维护人员的负担。部分异常可能直接会产生相应的错误信息帮助维护人员定位异常原因，但有些恶意攻击行为与正常运行时一样只产生正常日志，在这些正常日志中找出“不正常”的日志，仅靠人工分析难以完成。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种容器异常检测方法及系统，旨在挖掘出日志数据中反映容器异常的频繁模式，帮助系统管理员快速准确地定位异常，减轻系统维护人员的负担。
为实现上述目的，本发明提供了一种容器异常检测方法，包括以下步骤：
S1，从各容器产生的日志文件中收集日志数据；S2，将包含错误信息的日志数据去除，再利用正则表达式从剩余的日志数据中提取具有分析价值的字段，并对部分字段缺失的日志条目进行补全；S3，分别给补全后的日志数据中每一列的不同字段赋予一个编号，以形成新的日志数据；S4，分别计算所述新的日志数据中各列元素的支持度，去除每列中支持度小于最小支持度的元素，将每列中剩余的元素单独储存并在结尾加上零元素；S5，按列依次随机选择一个元素并进行组合，若所述组合的支持度大于等于所述最小支持度，则将所述组合与下一列元素拼接，直至找到所有支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合；S6，计算各所述元素组合的权重，选取权重最大的M个元素组合反馈给系统管理员，以进行容器异常检测。
进一步地，所述S5包括：
S51，从第一列中选取一个元素，判断该元素的支持度是否大于等于所述最小支持度，若是，则将该元素与下一列元素拼接，继续进行支持度判断，直至找到支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合或者放弃拼接后的组合；否则，执行S52；S52，从第一列中选取下一个元素，并重复S51，直至找到所有支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合。
进一步地，所述S6中，所述元素组合的权重为：所述元素组合中非零元素个数与所述元素组合的支持度的乘积。
进一步地，所述S6中，选取权重最大的M个元素组合反馈给系统管理员，包括：将权重最大的M个元素组合与异常规则库进行比对，并将所述M个元素组合中存在所述异常规则库的规则项的部分元素组合反馈给系统管理员。
进一步地，所述S1包括：从各容器产生的日志文件的尾部截取最新生成的部分，并将本次在日志文件中截取的位置记录在内存中作为下一次收集日志数据的起点。
进一步地，所述S2中，对部分字段缺失的日志条目进行补全以组成新的日志数据，包括：使用缺省标识补全缺失的字段，以使补全后的日志数据具有相同的字段数量。
为实现上述目的，本发明还提供了一种容器异常检测系统，包括：
收集模块，用于从各容器产生的日志文件中收集日志数据；处理模块，用于将包含错误信息的日志数据去除，再利用正则表达式从剩余的日志数据中提取具有分析价值的字段，并对部分字段缺失的日志条目进行补全；编号模块，用于分别给补全后的日志数据中每一列的不同字段赋予一个编号，以形成新的日志数据；规则挖掘模块，用于分别计算所述新的日志数据中各列元素的支持度，去除每列中支持度小于最小支持度的元素，将每列中剩余的元素单独储存并在结尾加上零元素；以及按列依次随机选择一个元素并进行组合，若所述组合的支持度大于等于所述最小支持度，则将所述组合与下一列元素拼接，直至找到所有支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合；以及计算各所述元素组合的权重，选取权重最大的M个元素组合反馈给系统管理员，以进行容器异常检测。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明提供了一种容器异常检测方法，首先收集日志数据并进行过滤、简化、补全处理，再创新地提出按列编号得到新的日志数据；接着，分别计算新的日志数据中各列元素的支持度，去除每列中支持度小于最小支持度的元素，将每列中剩余的元素单独储存并在结尾加上零元素；按列依次随机选择一个元素并进行组合，并对组合的支持度进行判断，以找到所有支持度大于等于最小支持度且长度等于日志条目字段数的元素组合；最后，将选取权重最大的部分元素组合反馈给系统管理员，以进行容器异常检测。如此，本发明能够帮助系统管理员快速准确地定位异常，减轻系统维护人员的负担。
(2)本发明不再使用自连接的方式进行元素的组合，而是采用在每列中选取元素并按列组合的方式，显著地减少了元素组合的次数，相比于传统规则挖掘算法有更高的效率。
附图说明
图1为本发明实施例提供的一种容器异常检测方法的流程图之一；
图2为采用传统Apriori算法得到的组合树形图；
图3为采用本发明提出的规则挖掘算法得到的组合树形图；
图4为本发明实施例提供的一种容器异常检测方法的流程图之二；
图5为本发明实施例提供的一种容器异常检测系统的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
图1为本发明实施例提供的一种容器异常检测方法的流程图，该检测方法包括操作S1-操作S6。
操作S1，从各容器产生的日志文件中收集日志数据。具体地：
以Docker容器为例，各容器产生的日志数据将存储于容器空间的日志文件夹中，根据系统管理员的设置定期从日志文件中收集特定数量的日志条目，具体方法为：进入目标容器的容器空间，在其日志文件夹中寻找包含最近生成日志的文件，在内存中找到该文件上次截取时的下标，以该下标为起点，以文件末尾为终点，截取新产生的日志数据，最后更新该文件的截取下标为文件当前的末尾。当系统管理员不再需要某个Docker容器对应的应用或者某个Docker容器设定的运行时间耗尽时，终止Docker容器的运行并将其删除。
以Nginx服务器遭受Dos攻击为例，若系统中Nginx服务器遭受攻击，将定期从Nginx服务器对应的容器中寻找储存最近生成日志的文件，一般情况下，该文件的路径为/var/lib/docker/containers/{container id}/{container id}-json.log，其中{container id}标识符的位置需要填入目标容器的id。找到容器的日志文件后，将从文件中截取最近产生的日志作为日志数据。为了确定日志文件中最近产生的日志的位置，在内存中定义了一个指针用于存储日志文件上一次截取时文件末尾的位置。因此，以指针的位置为起点，以文件的末尾为终点，就可以从日志文件中截取出最近生成的日志数据。
操作S2，将包含错误信息的日志数据去除，再利用正则表达式从剩余的日志数据中提取具有分析价值的字段，并对部分字段缺失的日志条目进行补全。具体地：
从Docker容器中收集到的日志数据不能直接作为规则挖掘算法的输入。首先，日志数据中包含有相当比例的错误信息，而这些错误信息对于规则挖掘算法没有分析的价值并且会降低规则挖掘算法的效率；其次，一条日志由许多字段构成，部分字段对于异常检测的作用有限，会增加算法执行的负担；最后，部分日志会存在字段缺失和重复的问题，需要补全。因此，从Docker容器中收集到的日志数据需要进一步处理，包含以下三个部分：
(1)错误信息过滤：从日志数据中去除包含错误信息的日志数据。错误信息产生的原因是多样的，常见的原因有：因目标服务器拒绝应答而导致的网页访问失败，因网络拥塞而导致的请求超时和因数据传输会话失效导致的文件下载中断等。通过计算日志字段数量和分析日志重要字段如状态码等方式判断日志中是否存在错误信息，若存在，则从日志数据中删除该条日志。
(2)正则表达式过滤：从日志数据中提取出有价值的字段。正则表达式由系统管理员设置，可以从日志数据中提取在不同场景下有分析价值的字段，一般情况下，有价值的字段包括：ip地址、时间、请求方式、文件路径、协议类型、状态码、文件大小、下载工具、进程id、用户名、服务端和客户端标识符等。提取出的字段将组成新的日志数据，本质上为原日志数据的子集。
以Nginx服务器的日志数据为例，一条Nginx服务器日志一共包含11个字段，其中只有ip地址、时间、请求方式、文件路径、协议类型、状态码、文件大小和下载工具这八个字段存在分析的价值，因此，需要设计出可以从一条日志中提取出这八个字段的正则表达式来完成字段提取的工作。
(3)日志补全：给日志数据中存在字段缺失的条目进行补全。由于原始日志数据是不定长的，在经过正则表达式过滤处理后，部分日志条目的长度由于字段的缺失小于其他日志条目的长度，日志补全机制将使用诸如None等标识符补全缺失的字段，确保所有日志条目具有统一的字段数目。
操作S3，分别给补全后的日志数据中每一列的不同字段赋予一个编号，以形成新的日志数据。具体地：
以Nginx服务器的日志数据为例，表1为Nginx服务器的日志记录。
表1Nginx服务器的日志记录
No. Log Entries
1 115.156.141.244 20:14:43GET/text/hello.txt HTTP/1.0 206 130Axel/2.15
2 115.156.141.244 20:14:43GET/compress/rwimg.zip HTTP/1.0 206 78790Axel/2.15
3 115.156.141.244 20:14:43GET/text/hello.txt HTTP/1.0 206 130Axel/2.15
4 115.156.140.125 20:14:43GET/compress/rwimg.zip HTTP/1.1 200 46734Wget/1.20.3
5 115.156.141.244 20:14:43GET/img/funkyfaced.jpg HTTP/1.0 206 66096Axel/2.15
本发明采用按列编号，对于日志数据的每一列单独编号，给每一列中每种不同的字段都赋予一个新的编号，表2为Nginx服务器日志数据按列编号的结果。
表2Nginx服务器日志数据按列编号的结果
Column ID Field ID Field ID Field ID Field
ip address 1 115.156.141.244 2 115.156.140.125
time 1 20:14:43
request type 1 GET
file path 1 /text/hello.txt 2 /compress/rwimg.zip 3 /img/funkyfaced.img
protocal type 1 HTTP/1.0 2 HTTP/1.1
status code 1 206 2 200
file size 1 130 2 78790 3 46743 4 66096
download tool 1 Axel/2.15 2 Wget/1.20.3
将编号后的日志数据作为输入，运用本发明提出的规则挖掘算法挖掘出反映容器异常的频繁模式。具体包括操作S4-S6：
操作S4，分别计算所述新的日志数据中各列元素的支持度，去除每列中支持度小于最小支持度的元素，将每列中剩余的元素单独储存并在结尾加上零元素。具体地：
分别计算各列元素的支持度即各列中不同元素出现的次数，然后去除每列中支持度未达最小支持度要求的元素，将每列中剩余的元素储存至链表中，并在储存每列元素的链表结尾加上零元素。零元素在本发明提出的规则挖掘算法中起着通配符的作用，它可以匹配该列中的任何一个编号。
操作S5，按列依次随机选择一个元素并进行组合，若所述组合的支持度大于等于所述最小支持度，则将所述组合与下一列元素拼接，直至找到所有支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合。具体地：
S51，从第一列中选取一个元素，判断该元素的支持度是否大于等于所述最小支持度，若是，则将该元素与下一列元素拼接，继续进行支持度判断，直至找到支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合或者放弃拼接后的组合；否则，执行S52；
S52，从第一列中选取下一个元素，并重复S51，直至找到所有支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合。
其中，拼接元素的操作称为组合，放弃组合的操作称为修剪。其具体实现步骤为：
(S1)输入储存有各列元素的链表、层数、当前的元素序列和当前元素序列的支持度；
(S2)若层数不等于日志数据的列数则继续执行(S3)，否则跳至(S10)；
(S3)若当前层数为K，则将储存有第K列元素的链表中的第一个元素取出并插入到当前元素序列的末尾，在链表中删除该元素，将当前元素序列的支持度设置为0，设置下标i与下标j，两者初始值设置为0；
(S4)设置布尔值match为True，它代表当前序列与日志数据是否匹配；
(S5)若日志数据中第i行第j列的元素不等于当前元素序列中的第j个元素或者当前元素序列的第j个元素为0，则将布尔值match设置为False并执行(S8)；
(S6)重复执行步骤(S5)，每次执行都将下标j的取值加一，直到下标j的取值等于当前的层数为止；
(S7)重复执行步骤(S4)～(S5)，每次执行都将下标i的取值加一，直到下标i的取值等于日志数据的行数为止；
(S8)若布尔值match为True，则当前元素序列支持度加一；
(S9)若当前元素序列的支持度小于最小支持度的百分比与日志数据行数的乘积，则结束执行并返回，否则执行(S10)；
(S10)执行(S1)，并输入储存有各列元素的链表、层数、当前的元素序列和当前元素序列的支持度；
(S11)计算日志数据列数与当前元素序列支持度的乘积，并将结果记作当前元素序列的权重，输出当前元素序列和当前元素序列的权重，结束执行并返回。
操作S6，计算各所述元素组合的权重，选取权重最大的M个元素组合反馈给系统管理员，以进行容器异常检测。具体地：
根据权重的定义，计算挖掘得到的每个元素组合的权重，根据权重的大小进行排序并选取权重最大的部分元素组合即频繁模式提交给系统管理员。权重默认定义为频繁模式中非零元素个数与频繁模式支持度的乘积。频繁模式在提交给系统管理员前先与异常规则库进行比对，若频繁模式中存在异常规则库的规则项，则代表发现了容器中的异常，将反映异常的频繁模式提交给系统管理员。
不同于传统的规则挖掘算法采用自连接的方式进行元素的组合，本发明提出的规则挖掘算法通过按列组合的方式有效的减少了组合过程的时间复杂度，提高了规则挖掘的效率。通过对比图2和图3，可以发现本发明提出的规则挖掘算法按列组合的方式更加符合日志数据的结构，在一定程度上减少了组合过程的时间复杂度。
图5为本发明实施例提供的一种容器异常检测系统的框图。参阅图5，该容器异常检测系统500包括收集模块510、处理模块520、编号模块530以及规则挖掘模块540。
收集模块510例如执行操作S1，用于从各容器产生的日志文件中收集日志数据；
处理模块520例如执行操作S2，用于将包含错误信息的日志数据去除，再利用正则表达式从剩余的日志数据中提取具有分析价值的字段，并对部分字段缺失的日志条目进行补全；
编号模块530例如执行操作S3，用于分别给补全后的日志数据中每一列的不同字段赋予一个编号，以形成新的日志数据；
规则挖掘模块540例如执行操作S4-S6，用于分别计算所述新的日志数据中各列元素的支持度，去除每列中支持度小于最小支持度的元素，将每列中剩余的元素单独储存并在结尾加上零元素；以及按列依次随机选择一个元素并进行组合，若所述组合的支持度大于等于所述最小支持度，则将所述组合与下一列元素拼接，直至找到所有支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合；以及计算各所述元素组合的权重，选取权重最大的M个元素组合反馈给系统管理员，以进行容器异常检测。
容器异常检测系统500用于执行上述图1所示实施例中的容器异常检测方法。本实施例未尽之细节，请参阅前述图1所示实施例中的容器异常检测方法，此处不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种容器异常检测方法，其特征在于，包括以下步骤：
S1，从各容器产生的日志文件中收集日志数据；
S2，将包含错误信息的日志数据去除，再利用正则表达式从剩余的日志数据中提取具有分析价值的字段，并对部分字段缺失的日志条目进行补全；
S3，分别给补全后的日志数据中每一列的不同字段赋予一个编号，以形成新的日志数据；
S4，分别计算所述新的日志数据中各列元素的支持度，去除每列中支持度小于最小支持度的元素，将每列中剩余的元素单独储存并在结尾加上零元素；
S5，按列依次随机选择一个元素并进行组合，若所述组合的支持度大于等于所述最小支持度，则将所述组合与下一列元素拼接，直至找到所有支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合；
S6，计算各所述元素组合的权重，选取权重最大的M个元素组合反馈给系统管理员，以进行容器异常检测。
2.根据权利要求1所述的容器异常检测方法，其特征在于，所述S5包括：
S51，从第一列中选取一个元素，判断该元素的支持度是否大于等于所述最小支持度，若是，则将该元素与下一列元素拼接，继续进行支持度判断，直至找到支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合或者放弃拼接后的组合；否则，执行S52；
S52，从第一列中选取下一个元素，并重复S51，直至找到所有支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合。
3.根据权利要求1或2所述的容器异常检测方法，其特征在于，所述S6中，所述元素组合的权重为：所述元素组合中非零元素个数与所述元素组合的支持度的乘积。
4.根据权利要求1或2所述的容器异常检测方法，其特征在于，所述S6中，选取权重最大的M个元素组合反馈给系统管理员，包括：
将权重最大的M个元素组合与异常规则库进行比对，并将所述M个元素组合中存在所述异常规则库的规则项的部分元素组合反馈给系统管理员。
5.根据权利要求1所述的容器异常检测方法，其特征在于，所述S1包括：从各容器产生的日志文件的尾部截取最新生成的部分，并将本次在日志文件中截取的位置记录在内存中作为下一次收集日志数据的起点。
6.根据权利要求1所述的容器异常检测方法，其特征在于，所述S2中，对部分字段缺失的日志条目进行补全以组成新的日志数据，包括：
使用缺省标识补全缺失的字段，以使补全后的日志数据具有相同的字段数量。
7.一种容器异常检测系统，其特征在于，包括：
收集模块，用于从各容器产生的日志文件中收集日志数据；
处理模块，用于将包含错误信息的日志数据去除，再利用正则表达式从剩余的日志数据中提取具有分析价值的字段，并对部分字段缺失的日志条目进行补全；
编号模块，用于分别给补全后的日志数据中每一列的不同字段赋予一个编号，以形成新的日志数据；
规则挖掘模块，用于分别计算所述新的日志数据中各列元素的支持度，去除每列中支持度小于最小支持度的元素，将每列中剩余的元素单独储存并在结尾加上零元素；以及按列依次随机选择一个元素并进行组合，若所述组合的支持度大于等于所述最小支持度，则将所述组合与下一列元素拼接，直至找到所有支持度大于等于所述最小支持度且长度等于日志条目字段数的元素组合；以及计算各所述元素组合的权重，选取权重最大的M个元素组合反馈给系统管理员，以进行容器异常检测。
CN202110923069.1A 2021-08-12 2021-08-12 一种容器异常检测方法及系统 Pending CN113778970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110923069.1A CN113778970A (zh) 2021-08-12 2021-08-12 一种容器异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110923069.1A CN113778970A (zh) 2021-08-12 2021-08-12 一种容器异常检测方法及系统

Publications (1)

Publication Number Publication Date
CN113778970A true CN113778970A (zh) 2021-12-10

Family

ID=78837444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110923069.1A Pending CN113778970A (zh) 2021-08-12 2021-08-12 一种容器异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN113778970A (zh)

Similar Documents

Publication Publication Date Title
US9787706B1 (en) Modular architecture for analysis database
US6574729B1 (en) System for remotely identifying and providing information of unknown software on remote network node by comparing the unknown software with software audit file maintained on server
US10860576B2 (en) Splitting a query into native query operations and post-processing operations
CN107291928B (zh) 一种日志存储系统和方法
CN103034735B (zh) 一种大数据分布式文件导出方法
US8271523B2 (en) Coordination server, data allocating method, and computer program product
US20090164502A1 (en) Systems and methods of universal resource locator normalization
US8825750B2 (en) Application server management system, application server management method, management apparatus, application server and computer program
US7574429B1 (en) Method for indexed-field based difference detection and correction
US20050278395A1 (en) Remotely identifying software on remote network nodes by discovering attributes of software files and comparing software file attributes to a unique signature from an audit table
WO2020042029A1 (zh) 调用链路的发现方法、装置、设备及存储介质
CN109660532B (zh) 一种分布式农业网络数据采集方法及其采集系统
JPWO2012137347A1 (ja) 計算機システム及び並列分散処理方法
US11088991B2 (en) Firewall device to automatically select a rule required for each individual web server
US11221890B2 (en) Systems and methods for dynamic partitioning in distributed environments
CN113656673A (zh) 面向广告投放的主从分布内容爬取机器人
Vervaet et al. USTEP: Unfixed search tree for efficient log parsing
US20180060392A1 (en) Batch data query method and apparatus
US11599396B2 (en) Resegmenting chunks of data based on source type to facilitate load balancing
US10205679B2 (en) Resource object resolution management
CN111680303A (zh) 漏洞扫描方法、装置、存储介质及电子设备
CN113778970A (zh) 一种容器异常检测方法及系统
US8538935B2 (en) One-to-one and one-to-many relationships in databases
CN110851437A (zh) 一种存储方法、装置及设备
US11822578B2 (en) Matching machine generated data entries to pattern clusters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination