CN115757068A - 一种基于eBPF的进程日志采集及自动降噪方法和系统 - Google Patents
一种基于eBPF的进程日志采集及自动降噪方法和系统 Download PDFInfo
- Publication number
- CN115757068A CN115757068A CN202211460650.5A CN202211460650A CN115757068A CN 115757068 A CN115757068 A CN 115757068A CN 202211460650 A CN202211460650 A CN 202211460650A CN 115757068 A CN115757068 A CN 115757068A
- Authority
- CN
- China
- Prior art keywords
- noise reduction
- log
- template
- logs
- agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 581
- 230000008569 process Effects 0.000 title claims abstract description 520
- 230000009467 reduction Effects 0.000 title claims abstract description 220
- 238000012544 monitoring process Methods 0.000 claims abstract description 64
- 238000001914 filtration Methods 0.000 claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000006399 behavior Effects 0.000 abstract description 7
- 230000009545 invasion Effects 0.000 abstract 1
- 230000010363 phase shift Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000037528 Primary eosinophilic gastrointestinal disease Diseases 0.000 description 2
- 208000019097 eosinophilic gastrointestinal disease Diseases 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及网络安全技术领域，提供一种基于eBPF的进程日志采集及自动降噪方法和系统，本发明的方法，包括：配置进程降噪模板，将配置的进程降噪模板存储至本地；当应用服务器上有进程创建时，采集应用服务器上相应的进程日志，根据进程降噪模板对采集的进程日志进行降噪过滤；对日志采集以及降噪过滤的状态进行监控和展示；根据历史进程日志对进程降噪模板进行动态更新。根据本发明示例性实施例的基于eBPF的进程日志采集及自动降噪方法和系统，可以提高进程日志采集的时效性，大幅降低瞬时进程的日志采集漏报率；提高恶意行为检出率，降低对系统资源的消耗以及对系统的侵入性。
Description
技术领域
本发明涉及网络安全技术领域，尤其涉及一种基于eBPF的进程日志采集及自动降噪方法和系统。
背景技术
随着互联网应用和技术发展，针对计算机的攻击方式越发隐蔽、多样和智能。目前对网络攻击的主要防护手段是防火墙和入侵检测技术，防火墙作为内网和外网的一道警戒线，可以有效地阻拦大部分的恶意攻击。但是在实际应用中，防火墙的功能是有局限性的，它的防御策略是静态的，且只能阻挡来自外网的攻击。入侵检测技术可以有效弥补防火墙的缺陷，它可以实时监控主机状态以判断用户行为是否正常。
进程采集和监控是网络安全技术的重要实现环节，因为进程是系统动态执行操作的基本单位，服务器上任意程序的执行都会启动相应的进程，包括恶意程序，如反弹、提权、木马病毒、蠕虫、挖矿等恶意攻击行为都会产生对应的进程。入侵检测技术可以通过进程日志对服务器上的行为进行分析，用于研判服务器是否被恶意攻击，并进行攻击溯源。
目前，主要采用netlink connector或Linux Audit技术对进程日志进行采集，从Linux内核获取进程日志的少量信息，在用户态对进程日志的其它关键信息进行补全。现有的进程日志采集方法存在以下不足：时效性较差，无法准确获取瞬时进程信息，因为瞬时进程退出后用户态无法补全其进程日志，对于瞬时进程的日志采集，漏报率较高；对于频繁产生大量进程的业务场景，采集的进程日志量大、漏报率高、无效数据多，入侵检测技术对恶意行为检出率低，消耗的系统资源高。
因此，如何提供一种更加高效、准确、安全的进程日志采集方法，成为亟待解决的技术问题。
发明内容
有鉴于此，为了克服现有技术的不足，本发明提供一种基于eBPF的进程日志采集及自动降噪方法和系统。
一方面，本发明提供一种基于eBPF的进程日志采集及自动降噪方法，包括：
配置进程降噪模板，将配置的进程降噪模板存储至本地；
当应用服务器上有进程创建时，采集应用服务器上相应的进程日志，根据进程降噪模板对采集的进程日志进行降噪过滤；
对日志采集以及降噪过滤的状态进行监控和展示；
根据历史进程日志对进程降噪模板进行动态更新。
进一步地，本发明基于eBPF的进程日志采集及自动降噪方法中，配置进程降噪模板，将配置的进程降噪模板存储至本地，包括：
通过降噪模块配置进程降噪模板，将配置的进程降噪模板下发至进程日志采集用户态Agent；
通过进程日志采集用户态Agent接收进程降噪模块配置的进程降噪模板，将接收的进程降噪模板写入本地的sqlite数据库和eBPF map。
进一步地，本发明基于eBPF的进程日志采集及自动降噪方法中，采集应用服务器上相应的进程日志，根据进程降噪模板对采集的进程日志进行降噪过滤，包括：
通过进程日志采集内核态Agent从应用服务器上采集进程日志，从eBPF map中读取进程降噪模板，将从应用服务器上采集的进程日志与进程降噪模板进行匹配；
如果采集的进程日志与进程降噪模板匹配成功，丢弃所述进程日志；如果采集的进程日志与进程降噪模板匹配失败，通过eBPF map将进程日志发送给进程日志采集用户态Agent，并通过进程日志采集用户态Agent将进程日志发送至ES数据库进行存储。
进一步地，本发明基于eBPF的进程日志采集及自动降噪方法中，对日志采集以及降噪过滤的状态进行监控和展示，包括：
通过进程日志采集用户态Agent将内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据发送至监控数据处理模块进行监控，并通过监控数据展示模块进行展示。
进一步地，本发明基于eBPF的进程日志采集及自动降噪方法中，根据历史进程日志对进程降噪模板进行动态更新，包括：通过日志分析模块从ES数据库中读取历史进程日志，对历史进程日志数据分析，生成进程降噪模板，将准确率达到阈值的进程降噪模板发送至进程降噪配置模块。
进一步地，本发明基于eBPF的进程日志采集及自动降噪方法中，对历史进程日志数据分析，生成进程降噪模板，通过进程降噪模板确认模块将准确率达到阈值的进程降噪模板发送至进程降噪配置模块，包括：
根据进程产生频率、进程相似度以及产生所述进程的应用服务器的数量从历史进程日志中筛选用于进程降噪模板更新的进程日志，提取所述进程日志的特征形成进程降噪模板，通过进程降噪模板确认模块根据业务场景和安全场景确认所述进程降噪模板的准确率，将准确率达到阈值的进程降噪模板发送至进程降噪配置模块。
另一方面，本发明提供一种基于eBPF的进程日志采集及自动降噪系统，包括：
日志采集层，用于从应用服务器上采集进程日志，对采集的进程日志进行降噪过滤；
控制层，用于控制应用服务器上的进程日志采集以及进程降噪模板的、更新和下发；
监控层，用于对日志采集以及降噪过滤的状态进行监控和展示；
日志分析层，用于根据历史进程日志对进程降噪模板进行动态更新；
存储层，用于存储进程日志采集用户态Agent和进程日志采集内核态Agent的交互数据，进程日志采集用户态Agent发送的监控指标数据，存储日志分析层配置的进程降噪模板和更新的进程降噪模板，进程日志采集用户态Agent接收的进程降噪模板和采集开关状态以及进程日志。
进一步地，本发明基于eBPF的进程日志采集及自动降噪系统中，日志采集层包括日志采集用户态Agent、进程日志采集内核态Agent和应用服务器，其中，进程日志采集内核态Agent用于采集应用服务器上相应的进程日志，根据进程降噪模板对采集的进程日志进行降噪过滤；进程日志采集用户态Agent用于将进程日志采集内核态Agent加载至内核或从内核卸载，接收进程降噪模块配置的进程降噪模板，将接收的进程降噪模板写入本地的sqlite数据库和eBPF map；将内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据发送至监控数据处理模块和监控数据展示模块；应用服务器用于部署进程日志采集用户态Agent和进程日志采集内核态Agent。
进一步地，本发明基于eBPF的进程日志采集及自动降噪系统中，控制层包括Agent管理模块和进程降噪模板配置模块，其中，Agent管理模块用于控制应用服务器上的进程日志采集用户态Agent；进程降噪模板配置模块用于配置进程降噪模板，还用于查询、展示和修改日志分析层生成的进程降噪模板，将更新的进程降噪模板下发至进程日志采集用户态Agent。
进一步地，本发明基于eBPF的进程日志采集及自动降噪系统中，监控层包括监控数据处理模块和监控数据展示模块，其中，监控处理模块用于对内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据进行监控，监控数据展示模块用于对内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据进行展示。
进一步地，本发明基于eBPF的进程日志采集及自动降噪系统中，日志分析层包括日志分析模块和进程降噪模板确认模块，其中，日志分析模块用于从ES数据库中读取历史进程日志，对历史进程日志数据分析，生成进程降噪模板；进程降噪模板确认模块用于根据业务场景和安全场景确认所述进程降噪模板的准确率，将准确率达到阈值的进程降噪模板发送至进程降噪配置模块。
进一步地，本发明基于eBPF的进程日志采集及自动降噪系统中，存储层包括eBPFmap，mysql数据库、sqlite数据库和ES数据库，其中，eBPF map用于存储进程日志采集用户态Agent和进程日志采集内核态Agent的交互数据；mysql数据库用于存储进程日志采集用户态Agent发送的监控指标数据，存储日志分析层配置的进程降噪模板和更新的进程降噪模板；sqlite数据库用于存储进程日志采集用户态Agent接收的进程降噪模板和采集开关状态；ES数据库用于存储进程日志。
本发明基于eBPF的进程日志采集及自动降噪方法和系统，具有以下有益效果：
1.可以提高进程日志采集的时效性，大幅降低瞬时进程的日志采集漏报率；
2.可以显著减少频繁产生大量进程的业务场景中无效进程日志数量，提高恶意行为检出率，降低用户态Agent以及进程日志采集对系统资源的消耗；
3.进程日志采集对应用透明、无感知，显著降低进程日志采集对系统的侵入性，不会对系统及应用造成影响。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明示例性第六实施例基于eBPF的进程日志采集及自动降噪系统的架构图。
图2为本发明示例性第七实施例基于eBPF的进程日志采集及自动降噪系统的架构图。
图3为本发明示例性第八实施例基于eBPF的进程日志采集及自动降噪方法的流程图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
本发明的技术原理如下：
基于Linux eBPF技术将进程日志采集内核态Agent附加到应用服务器内核的rawtracepoint，实时监控进程创建相关的系统调用，进程创建时根据创建方式执行execve、fork、vfork、clone四种系统调用中的一种，在这些系统调用进入、退出时执行自实现的进程日志采集逻辑，采集进程的关键日志信息：进程名、进程PID、进程NSPID、进程命令行、进程文件路径、进程工作路径、进程UID、进程EUID、进程GID、进程EGID、进程所属容器ID、父进程名、父进程PID、父进程NSPID、父进程命令行、父进程文件路径、父进程工作路径、父进程UID、父进程EUID、父进程GID、父进程EGID等，实现应用服务器的进程日志采集。这种进程日志采集方法时效性高，在内核态可以采集到瞬时进程的完整进程日志，进程日志的漏报率极低；在内核态根据系统调用进行采集，对应用透明、无感知，减少用户态程序工作量，不用根据/proc文件系统去补全进程日志，降低了用户态程序的资源消耗。进程日志采集内核态Agent采集到的进程日志根据日志分析层生成的进程降噪模板对进程日志进行过滤，符合进程降噪模板的进程日志会被过滤掉，未过滤的进程日志则通过eBPF map发送给进程日志采集用户态Agent。在频繁产生大量进程的业务场景下，可以过滤大量重复无效的数据，提升恶意行为的检出率，降低系统资源消耗。进程日志采集用户态Agent用于加载进程日志采集内核态Agent到内核或从内核卸载，开启或关闭进程日志采集功能，将进程降噪模板通过eBPF map发送给进程日志采集内核态Agent，通过eBPF map接收进程日志采集内核Agent采集到的进程日志，并将进程日志存储到ES中，将每分钟内核态Agent采集到的进程日志条数、降噪过滤的进程日志条数、存储到ES的日志条数以及用户态Agent的运行状态、资源占用(CPU/内存)，应用服务器的系统负载，资源使用情况发送给监控层。
以下各实施例涉及的名词解释如下：
eBPF：全称是extended Berkeley Packet Filter，是Linux内核中一个非常灵活与高效的类虚拟机(virtual machine-like)组件，用于在许多内核hook点安全地执行字节码。
eBPF map：一个通用的数据结构，存储不同类型的数据，提供用户态和内核态数据交互、数据存储、多程序共享数据等功能。
图1为根据本发明示例性第一实施例的一种基于eBPF的进程日志采集及自动降噪方法的流程图，如图1所示，本实施例的方法，包括：
配置进程降噪模板，将配置的进程降噪模板存储至本地；
当应用服务器上有进程创建时，采集应用服务器上相应的进程日志，根据进程降噪模板对采集的进程日志进行降噪过滤；
对日志采集以及降噪过滤的状态进行监控和展示；
根据历史进程日志对进程降噪模板进行动态更新。
本发明示例性第二实施例提供一种基于eBPF的进程日志采集及自动降噪方法，本实施例是第一实施例所述方法的优选实施例，本实施例方法中，配置进程降噪模板，将配置的进程降噪模板存储至本地，包括：
通过降噪模块配置进程降噪模板，将配置的进程降噪模板下发至进程日志采集用户态Agent；
通过进程日志采集用户态Agent接收进程降噪模块配置的进程降噪模板，将接收的进程降噪模板写入本地的sqlite数据库和eBPF map。
本发明示例性第三实施例提供一种基于eBPF的进程日志采集及自动降噪方法，本实施例是第一实施例所述方法的优选实施例，本实施例方法中，采集应用服务器上相应的进程日志，根据进程降噪模板对采集的进程日志进行降噪过滤，包括：
通过进程日志采集内核态Agent从应用服务器上采集进程日志，从eBPF map中读取进程降噪模板，将从应用服务器上采集的进程日志与进程降噪模板进行匹配；
如果采集的进程日志与进程降噪模板匹配成功，丢弃所述进程日志；如果采集的进程日志与进程降噪模板匹配失败，通过eBPF map将进程日志发送给进程日志采集用户态Agent，并通过进程日志采集用户态Agent将进程日志发送至ES数据库进行存储。
本发明示例性第四实施例提供一种基于eBPF的进程日志采集及自动降噪方法，本实施例是第一实施例所述方法的优选实施例，本实施例方法中，对日志采集以及降噪过滤的状态进行监控和展示，包括：
通过进程日志采集用户态Agent将内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据发送至监控数据处理模块进行监控，并通过监控数据展示模块进行展示。
本发明示例性第五实施例提供一种基于eBPF的进程日志采集及自动降噪方法，本实施例是第一实施例所述方法的优选实施例，本实施例方法中，根据历史进程日志对进程降噪模板进行动态更新，包括：通过日志分析模块从ES数据库中读取历史进程日志，对历史进程日志数据分析，生成进程降噪模板，将准确率达到阈值的进程降噪模板发送至进程降噪配置模块。
本实施例方法在实际应用中，对历史进程日志数据分析，生成进程降噪模板，通过进程降噪模板确认模块将准确率达到阈值的进程降噪模板发送至进程降噪配置模块，包括：
根据进程产生频率、进程相似度以及产生所述进程的应用服务器的数量从历史进程日志中筛选用于进程降噪模板更新的进程日志，提取所述进程日志的特征形成进程降噪模板，通过进程降噪模板确认模块根据业务场景和安全场景确认所述进程降噪模板的准确率，将准确率达到阈值的进程降噪模板发送至进程降噪配置模块。
具体的，在实际应用中，进程相似度通过父子进程关系匹配+进程命令行匹配+进程路径匹配进行确定。进程降噪模板确认模块用于使用专家知识根据安全场景和业务场景来确认该降噪模板的准确率并进行打分，分数超过阈值比如80分的进程降噪模板数据将会发送给应用服务器上的进程日志采集用户态Agent。
图1为根据本发明示例性第六实施例的一种基于eBPF的进程日志采集及自动降噪系统，如图1所示，本实施例的系统，包括：
日志采集层，用于从应用服务器上采集进程日志，对采集的进程日志进行降噪过滤；
控制层，用于控制应用服务器上的进程日志采集以及进程降噪模板的、更新和下发；
监控层，用于对日志采集以及降噪过滤的状态进行监控和展示；
日志分析层，用于根据历史进程日志对进程降噪模板进行动态更新；
存储层，用于存储进程日志采集用户态Agent和进程日志采集内核态Agent的交互数据，进程日志采集用户态Agent发送的监控指标数据，存储日志分析层配置的进程降噪模板和更新的进程降噪模板，进程日志采集用户态Agent接收的进程降噪模板和采集开关状态以及进程日志。
图2为根据本发明示例性第七实施例的一种基于eBPF的进程日志采集及自动降噪系统，本实施例是图1所示系统的优选实施例，如图2所示，本实施例的系统，包括：日志采集层，控制层，监控层，日志分析层，存储层。
日志采集层包括进程日志采集用户态Agent、进程日志采集内核态Agent和应用服务器，其中，进程日志采集内核态Agent用于采集应用服务器上相应的进程日志，根据进程降噪模板对采集的进程日志进行降噪过滤；进程日志采集用户态Agent用于将进程日志采集内核态Agent加载至内核或从内核卸载，接收进程降噪模块配置的进程降噪模板，将接收的进程降噪模板写入本地的sqlite数据库和eBPF map；将内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据发送至监控数据处理模块和监控数据展示模块；应用服务器用于部署进程日志采集用户态Agent和进程日志采集内核态Agent。
控制层包括Agent管理模块和进程降噪模板配置模块，其中，Agent管理模块用于控制应用服务器上的进程日志采集用户态Agent；进程降噪模板配置模块用于配置进程降噪模板，还用于查询、展示和修改日志分析层生成的进程降噪模板，将更新的进程降噪模板下发至进程日志采集用户态Agent。
监控层包括监控数据处理模块和监控数据展示模块，其中，监控处理模块用于对内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据进行监控，监控数据展示模块用于对内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据进行展示。
日志分析层包括日志分析模块和进程降噪模板确认模块，其中，日志分析模块用于从ES数据库中读取历史进程日志，对历史进程日志数据分析，生成进程降噪模板；进程降噪模板确认模块用于根据业务场景和安全场景确认所述进程降噪模板的准确率，将准确率达到阈值的进程降噪模板发送至进程降噪配置模块。
存储层包括eBPF map，mysql数据库、sqlite数据库和ES数据库，其中，eBPF map用于存储进程日志采集用户态Agent和进程日志采集内核态Agent的交互数据，包括：进程降噪模板、采集开关状态和进程日志；mysql数据库用于存储进程日志采集用户态Agent发送的监控指标数据，存储日志分析层配置的进程降噪模板和更新的进程降噪模板；sqlite数据库用于存储进程日志采集用户态Agent接收的进程降噪模板和采集开关状态；ES数据库用于存储进程日志。
图3为根据本发明示例性第八实施例的一种基于eBPF的进程日志采集及自动降噪方法，本实施例是第一实施例所述方法的优选实施例，本实施例方法按以下方式实施：
通过降噪模块配置进程降噪模板，将配置的进程降噪模板下发至进程日志采集用户态Agent；通过进程日志采集用户态Agent接收进程降噪模块配置的进程降噪模板，将接收的进程降噪模板写入本地的sqlite数据库和eBPF map。
当应用服务器上有进程创建时，通过进程日志采集内核态Agent从应用服务器上采集进程日志，从eBPF map中读取进程降噪模板，将从应用服务器上采集的进程日志与进程降噪模板进行匹配；如果采集的进程日志与进程降噪模板匹配成功，丢弃所述进程日志；如果采集的进程日志与进程降噪模板匹配失败，通过eBPF map将进程日志发送给进程日志采集用户态Agent，并通过进程日志采集用户态Agent将进程日志发送至ES数据库进行存储。
通过进程日志采集用户态Agent将内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据发送至监控数据处理模块进行监控，并通过监控数据展示模块进行展示。
通过日志分析模块从ES数据库中读取历史进程日志，根据进程产生频率、进程相似度以及产生所述进程的应用服务器的数量从历史进程日志中筛选用于进程降噪模板更新的进程日志，提取所述进程日志的特征形成进程降噪模板，通过进程降噪模板确认模块根据业务场景和安全场景确认所述进程降噪模板的准确率，将准确率达到阈值的进程降噪模板发送至进程降噪配置模块。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种基于eBPF的进程日志采集及自动降噪方法，其特征在于，所述方法包括：
配置进程降噪模板，将配置的进程降噪模板存储至本地；
当应用服务器上有进程创建时，采集应用服务器上相应的进程日志，根据进程降噪模板对采集的进程日志进行降噪过滤；
对日志采集以及降噪过滤的状态进行监控和展示；
根据历史进程日志对进程降噪模板进行动态更新。
2.根据权利要求1所述的基于eBPF的进程日志采集及自动降噪方法，其特征在于，配置进程降噪模板，将配置的进程降噪模板存储至本地，包括：
通过降噪模块配置进程降噪模板，将配置的进程降噪模板下发至进程日志采集用户态Agent；
通过进程日志采集用户态Agent接收进程降噪模块配置的进程降噪模板，将接收的进程降噪模板写入本地的sqlite数据库和eBPF map。
3.根据权利要求1所述的基于eBPF的进程日志采集及自动降噪方法，其特征在于，采集应用服务器上相应的进程日志，根据进程降噪模板对采集的进程日志进行降噪过滤，包括：
通过进程日志采集内核态Agent从应用服务器上采集进程日志，从eBPF map中读取进程降噪模板，将从应用服务器上采集的进程日志与进程降噪模板进行匹配；
如果采集的进程日志与进程降噪模板匹配成功，丢弃所述进程日志；如果采集的进程日志与进程降噪模板匹配失败，通过eBPF map将进程日志发送给进程日志采集用户态Agent，并通过进程日志采集用户态Agent将进程日志发送至ES数据库进行存储。
4.根据权利要求1所述的基于eBPF的进程日志采集及自动降噪方法，其特征在于，对日志采集以及降噪过滤的状态进行监控和展示，包括：
通过进程日志采集用户态Agent将内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据发送至监控数据处理模块进行监控，并通过监控数据展示模块进行展示。
5.根据权利要求1所述的基于eBPF的进程日志采集及自动降噪方法，其特征在于，根据历史进程日志对进程降噪模板进行动态更新，包括：通过日志分析模块从ES数据库中读取历史进程日志，对历史进程日志数据分析，生成进程降噪模板，将准确率达到阈值的进程降噪模板发送至进程降噪配置模块。
6.根据权利要求5所述的基于eBPF技术的进程日志采集及自动降噪方法，其特征在于，对历史进程日志数据分析，生成进程降噪模板，通过进程降噪模板确认模块将准确率达到阈值的进程降噪模板发送至进程降噪配置模块，包括：
根据进程产生频率、进程相似度以及产生所述进程的应用服务器的数量从历史进程日志中筛选用于进程降噪模板更新的进程日志，提取所述进程日志的特征形成进程降噪模板，通过进程降噪模板确认模块根据业务场景和安全场景确认所述进程降噪模板的准确率，将准确率达到阈值的进程降噪模板发送至进程降噪配置模块。
7.一种基于eBPF的进程日志采集及自动降噪系统，其特征在于，所述系统，包括：
日志采集层，用于从应用服务器上采集进程日志，对采集的进程日志进行降噪过滤；
控制层，用于控制应用服务器上的进程日志采集以及进程降噪模板的、更新和下发；
监控层，用于对日志采集以及降噪过滤的状态进行监控和展示；
日志分析层，用于根据历史进程日志对进程降噪模板进行动态更新；
存储层，用于存储进程日志采集用户态Agent和进程日志采集内核态Agent的交互数据，进程日志采集用户态Agent发送的监控指标数据，存储日志分析层配置的进程降噪模板和更新的进程降噪模板，进程日志采集用户态Agent接收的进程降噪模板和采集开关状态以及进程日志。
8.根据权利要求7所述的基于eBPF的进程日志采集及自动降噪系统，其特征在于，日志采集层包括进程日志采集用户态Agent、进程日志采集内核态Agent和应用服务器，其中，进程日志采集内核态Agent用于采集应用服务器上相应的进程日志，根据进程降噪模板对采集的进程日志进行降噪过滤；进程日志采集用户态Agent用于将进程日志采集内核态Agent加载至内核或从内核卸载，接收进程降噪模块配置的进程降噪模板，将接收的进程降噪模板写入本地的sqlite数据库和eBPF map；将内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据发送至监控数据处理模块和监控数据展示模块；应用服务器用于部署进程日志采集用户态Agent和进程日志采集内核态Agent。
9.根据权利要求7所述的基于eBPF的进程日志采集及自动降噪系统，其特征在于，控制层包括Agent管理模块和进程降噪模板配置模块，其中，Agent管理模块用于控制应用服务器上的进程日志采集用户态Agent；进程降噪模板配置模块用于配置进程降噪模板，还用于查询、展示和修改日志分析层生成的进程降噪模板，将更新的进程降噪模板下发至进程日志采集用户态Agent。
10.根据权利要求7所述的基于eBPF的进程日志采集及自动降噪系统，其特征在于，监控层包括监控数据处理模块和监控数据展示模块，其中，监控处理模块用于对内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据进行监控，监控数据展示模块用于对内核态Agent采集的进程日志条数、降噪过滤的进程日志条数、存储至ES数据库的日志条数，进程日志采集用户态Agent的运行状态、资源占用，以及应用服务器的系统负载和资源使用数据进行展示。
11.根据权利要求7所述的基于eBPF的进程日志采集及自动降噪系统，其特征在于，日志分析层包括日志分析模块和进程降噪模板确认模块，其中，日志分析模块用于从ES数据库中读取历史进程日志，对历史进程日志数据分析，生成进程降噪模板；进程降噪模板确认模块用于根据业务场景和安全场景确认所述进程降噪模板的准确率，将准确率达到阈值的进程降噪模板发送至进程降噪配置模块。
12.根据权利要求7所述的基于eBPF的进程日志采集及自动降噪系统，其特征在于，存储层包括eBPF map，mysql数据库、sqlite数据库和ES数据库，其中，eBPF map用于存储进程日志采集用户态Agent和进程日志采集内核态Agent的交互数据；mysql数据库用于存储进程日志采集用户态Agent发送的监控指标数据，存储日志分析层配置的进程降噪模板和更新的进程降噪模板；sqlite数据库用于存储进程日志采集用户态Agent接收的进程降噪模板和采集开关状态；ES数据库用于存储进程日志。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211460650.5A CN115757068B (zh) | 2022-11-17 | 2022-11-17 | 一种基于eBPF的进程日志采集及自动降噪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211460650.5A CN115757068B (zh) | 2022-11-17 | 2022-11-17 | 一种基于eBPF的进程日志采集及自动降噪方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115757068A true CN115757068A (zh) | 2023-03-07 |
| CN115757068B CN115757068B (zh) | 2024-03-05 |
Family
ID=85334326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211460650.5A Active CN115757068B (zh) | 2022-11-17 | 2022-11-17 | 一种基于eBPF的进程日志采集及自动降噪方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115757068B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109726074A (zh) * | 2018-08-31 | 2019-05-07 | 网联清算有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN111338878A (zh) * | 2020-02-21 | 2020-06-26 | 平安科技（深圳）有限公司 | 异常检测方法、装置、终端设备及存储介质 |
| CN111368534A (zh) * | 2018-12-25 | 2020-07-03 | 中国移动通信集团浙江有限公司 | 一种应用日志降噪方法及装置 |
| CN112463568A (zh) * | 2020-12-08 | 2021-03-09 | 中国人寿保险股份有限公司 | 业务仿真测试方法、装置及电子设备 |
| CN112883004A (zh) * | 2021-02-24 | 2021-06-01 | 上海浦东发展银行股份有限公司 | 一种基于日志聚合的日志知识库与健康度获取方法及系统 |
| US20210232550A1 (en) * | 2018-09-18 | 2021-07-29 | Ping An Technology (Shenzhen) Co., Ltd. | Data noise reduction method, device, computer apparatus and storage medium |
| CN113535511A (zh) * | 2021-06-30 | 2021-10-22 | 北京思特奇信息技术股份有限公司 | 一种基于Hbase的进程启停监控方法及系统 |
| CN114968933A (zh) * | 2022-05-17 | 2022-08-30 | 阿里巴巴（中国）有限公司 | 数据中心的日志的分类方法和装置 |
-
2022
- 2022-11-17 CN CN202211460650.5A patent/CN115757068B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109726074A (zh) * | 2018-08-31 | 2019-05-07 | 网联清算有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| US20210232550A1 (en) * | 2018-09-18 | 2021-07-29 | Ping An Technology (Shenzhen) Co., Ltd. | Data noise reduction method, device, computer apparatus and storage medium |
| CN111368534A (zh) * | 2018-12-25 | 2020-07-03 | 中国移动通信集团浙江有限公司 | 一种应用日志降噪方法及装置 |
| CN111338878A (zh) * | 2020-02-21 | 2020-06-26 | 平安科技（深圳）有限公司 | 异常检测方法、装置、终端设备及存储介质 |
| CN112463568A (zh) * | 2020-12-08 | 2021-03-09 | 中国人寿保险股份有限公司 | 业务仿真测试方法、装置及电子设备 |
| CN112883004A (zh) * | 2021-02-24 | 2021-06-01 | 上海浦东发展银行股份有限公司 | 一种基于日志聚合的日志知识库与健康度获取方法及系统 |
| CN113535511A (zh) * | 2021-06-30 | 2021-10-22 | 北京思特奇信息技术股份有限公司 | 一种基于Hbase的进程启停监控方法及系统 |
| CN114968933A (zh) * | 2022-05-17 | 2022-08-30 | 阿里巴巴（中国）有限公司 | 数据中心的日志的分类方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115757068B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3205072B1 (en) | Differential dependency tracking for attack forensics | |
| CN106991324B (zh) | 一种基于内存保护类型监控的恶意代码跟踪识别方法 | |
| CN109933984B (zh) | 一种最佳聚类结果筛选方法、装置和电子设备 | |
| CN111694718A (zh) | 内网用户异常行为识别方法、装置、计算机设备及可读存储介质 | |
| WO2018017498A1 (en) | Inferential exploit attempt detection | |
| US20210406368A1 (en) | Deep learning-based analysis of signals for threat detection | |
| CN113779574A (zh) | 一种基于上下文行为分析的apt检测方法 | |
| CN114338188B (zh) | 一种基于进程行为序列分片的恶意软件智能云检测系统 | |
| CN112784268A (zh) | 一种主机行为数据的分析方法、装置、设备及存储介质 | |
| CN111859399A (zh) | 一种基于oval的漏洞检测方法及装置 | |
| Ahmed et al. | Medusa: Malware detection using statistical analysis of system's behavior | |
| US11822666B2 (en) | Malware detection | |
| CN113987492A (zh) | 一种告警事件的确定方法及装置 | |
| US12013942B2 (en) | Rootkit detection based on system dump sequence analysis | |
| CN113569240B (zh) | 恶意软件的检测方法、装置及设备 | |
| CN110865866A (zh) | 一种基于自省技术的虚拟机安全检测方法 | |
| CN113722712A (zh) | 一种基于hook的程序恶意行为的检测方法及相关装置 | |
| CN112769595A (zh) | 异常检测方法、装置、电子设备及可读存储介质 | |
| CN115757068B (zh) | 一种基于eBPF的进程日志采集及自动降噪方法和系统 | |
| CN115794479B (zh) | 日志数据处理方法、装置、电子设备及存储介质 | |
| CN110555308B (zh) | 一种终端应用行为跟踪和威胁风险评估方法及系统 | |
| KR101580624B1 (ko) | 벌점기반의 알려지지 않은 악성코드 탐지 및 대응 방법 | |
| CN114584391B (zh) | 异常流量处理策略的生成方法、装置、设备及存储介质 | |
| CN115296849A (zh) | 关联告警方法及系统、存储介质和电子设备 | |
| CN112395600A (zh) | 恶意行为的去误报方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 430058 No. n3013, 3rd floor, R & D building, building n, Artificial Intelligence Science Park, economic and Technological Development Zone, Caidian District, Wuhan City, Hubei Province Applicant after: Zhongdian Cloud Computing Technology Co.,Ltd. Address before: 430058 No. n3013, 3rd floor, R & D building, building n, Artificial Intelligence Science Park, economic and Technological Development Zone, Caidian District, Wuhan City, Hubei Province Applicant before: CLP cloud Digital Intelligence Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Process Log Collection and Automatic Denoising Method and System Based on eBPF Granted publication date: 20240305 Pledgee: Industrial and Commercial Bank of China Limited Wuhan Economic and Technological Development Zone Branch Pledgor: Zhongdian Cloud Computing Technology Co.,Ltd. Registration number: Y2024980026310 |