CN115129671A - 日志检测方法、装置和计算机可读存储介质 - Google Patents
日志检测方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN115129671A CN115129671A CN202210592189.2A CN202210592189A CN115129671A CN 115129671 A CN115129671 A CN 115129671A CN 202210592189 A CN202210592189 A CN 202210592189A CN 115129671 A CN115129671 A CN 115129671A
- Authority
- CN
- China
- Prior art keywords
- command
- command path
- log
- path information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例公开了一种日志检测方法、装置和计算机可读存储介质,可应用于人工智能的各种场景;通过获取系统命令日志;将历史命令信息和历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在命令路径信息中识别出待检测命令路径信息;对待检测命令路径信息进行特征提取,得到预设检测窗口对应的待检测命令路径特征;将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志。以此,通过提取基于命令信息和路径信息的系统命令日志的特征,并根据提取到的特征在系统命令日志中检测出异常命令日志,提高了日志检测的准确性,进而提升日志检测的效率。
Description
技术领域
本申请涉及互联网技术领域,具体涉及一种日志检测方法、装置和计算机可读存储介质。
背景技术
近年来,随着互联网技术的快速发展,计算机系统规模也在不断增加,相应的,计算机系统在运行过程中也难以避免异常行为等问题的出现,这些异常问题可能会导致计算机系统性能下降、数据损坏等问题,造成重大的信息和经济损失。因此,需要对计算机系统中的异常信息进行检测。在现有技术中往往通过对计算机系统的日志数据进行检测来识别出异常信息。
在对现有技术的研究和实践过程中发现,现有的日志检测方法是基于自然语言形式的日志数据进行异常信息的检测,要求日志信息具有一定的区分度,然而计算机系统的日志数据并非都为自然语言形式,对于其他形式的日志数据,现有的日志检测方法无法准确的检测出计算机系统的异常信息,使得日志检测的准确性较低,进而导致日志检测的效率较低。
发明内容
本申请实施例提供一种日志检测方法、装置和计算机可读存储介质,可以提高系统的日志检测的准确性,进而提升日志检测的效率。
本申请实施例提供一种日志检测方法,包括:
获取系统命令日志,所述系统命令日志包括历史命令信息和所述历史命令信息对应的历史路径信息;
将所述历史命令信息和所述历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在所述命令路径信息中识别出至少一个待检测命令路径信息;
对所述待检测命令路径信息进行特征提取,得到所述预设检测窗口对应的待检测命令路径特征;
将所述待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据所述目标维度的命令路径特征,在所述系统命令日志中检测出异常命令日志。
相应的,本申请实施例提供一种日志检测装置,包括:
获取单元,用于获取系统命令日志,所述系统命令日志包括历史命令信息和所述历史命令信息对应的历史路径信息;
识别单元,用于将所述历史命令信息和所述历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在所述命令路径信息中识别出至少一个待检测命令路径信息;
提取单元,用于对所述待检测命令路径信息进行特征提取,得到所述预设检测窗口对应的待检测命令路径特征;
检测单元,用于将所述待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据所述目标维度的命令路径特征,在所述系统命令日志中检测出异常命令日志。
在一实施例中,所述提取单元,包括:
拼接子单元,用于将所述预设检测窗口对应的所述待检测命令路径信息进行拼接,得到拼接后命令路径信息;
多维度特征提取子单元,用于对所述拼接后命令路径信息进行多维度的特征提取,得到每一维度对应的命令路径特征;
特征融合子单元,用于将所述每一维度的命令路径特征进行特征融合,得到所述预设检测窗口对应的至少一个待检测命令路径特征。
在一实施例中,所述多维度特征提取子单元,包括:
词处理模块,用于对所述拼接后命令路径信息进行分词处理,得到命令路径词,并对所述命令路径词进行特征提取,得到词特征以及位置特征;
片段处理模块,用于对所述拼接后命令路径信息进行切分,得到至少一个命令路径信息片段,并对所述命令路径信息片段进行特征提取,得到日志片段特征;
赋值模块,用于将所述词特征、位置特征以及日志片段特征作为所述拼接后命令路径信息对应的命令日志特征。
在一实施例中,所述特征融合子单元,包括:
关联特征提取模块,用于对所述命令路径特征进行特征提取,得到所述每一维度的命令路径特征对应的关联特征,所述关联特征为表征每一维度的命令路径特征与其他维度的命令路径特征的关联关系的特征信息;
关联权重确定模块,用于基于所述关联特征,确定所述每一维度的命令路径特征对应的关联权重;
特征融合模块,用于根据所述关联权重,对所述每一维度的命令路径特征进行融合,得到所述预设检测窗口对应的至少一个待检测命令路径特征。
在一实施例中,所述检测单元,包括:
异常概率计算子单元,用于基于所述目标维度的命令路径特征,计算所述拼接后命令路径信息的异常概率;
目标命令路径信息筛选子单元,用于根据所述异常概率,在所述拼接后命令路径信息中筛选出目标命令路径信息;
异常命令日志识别子单元,用于基于所述目标命令路径信息,在所述系统命令日志中识别出异常命令日志。
在一实施例中,所述异常命令日志识别子单元,包括:
待识别命令路径信息提取模块,用于在所述目标命令路径信息中提取出至少一个待识别命令路径信息;
异常出现次数统计模块,用于在所述目标命令路径信息中统计所述待识别命令路径信息的数量,得到每一待识别命令路径信息对应的异常出现次数;
异常命令日志筛选模块,用于基于所述异常出现次数,在所述系统命令日志中筛选出异常命令日志。
在一实施例中,所述异常命令日志筛选模块,包括:
总次数统计子模块,用于统计每一待识别命令路径信息在所述系统命令日志中的总出现次数;
异常分数打分子模块,用于基于所述待识别命令路径信息对应的总出现次数和异常出现次数,对所述待识别命令路径信息进行打分,得到所述待识别命令路径信息对应的异常分数;
异常命令日志确定子模块,用于根据所述异常分数,在所述待识别命令路径信息筛选出异常命令路径信息,并将所述异常命令路径信息对应的系统命令日志确定为异常命令日志。
在一实施例中,所述日志检测装置,包括:
接收单元,用于接收待检测命令信息;
搜索单元,用于在所述异常命令日志对应的历史命令信息中搜索与所述待检测命令信息匹配的目标命令信息;
屏蔽单元,用于当搜索到所述目标命令信息时,屏蔽所述待检测命令信息的执行。
此外,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例所提供的任一种日志检测方法中的步骤。
此外,本申请实施例还提供一种计算机设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本申请实施例提供的日志检测方法。
本申请实施例还提供一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行本申请实施例提供的日志检测方法中的步骤。
本申请实施例通过获取系统命令日志;将历史命令信息和历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在命令路径信息中识别出至少一个待检测命令路径信息;对待检测命令路径信息进行特征提取,得到预设检测窗口对应的待检测命令路径特征;将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志。以此,通过提取命令信息和对应的路径信息的特征来细粒度的对系统命令日志的特征进行表征,从而根据提取到的特征在系统命令日志中检测出异常命令日志,以对日志为命令和路径形式的操作系统的异常问题进行准确的检测,同时,采用预设检测窗口来提取命令信息和对应的路径信息的特征可以对日志检测的准确性进行调节,提高了日志检测的准确性,进而提升了日志检测的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种日志检测方法实施场景示意图;
图2是本申请实施例提供的一种日志检测方法的流程示意图;
图3是本申请实施例提供的一种日志检测方法的特征提取示意图;
图4是本申请实施例提供的一种日志检测方法的另一流程示意图;
图5是本申请实施例提供的日志检测装置的结构示意图;
图6是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种日志检测方法、装置和计算机可读存储介质。其中,该日志检测装置可以集成在计算机设备中,该计算机设备可以是服务器,也可以是终端等设备。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
请参阅图1,以日志检测装置集成在计算机设备中为例,图1为本申请实施例所提供的日志检测方法的实施场景示意图,其中,该计算机设备可以为服务器,也可以为终端,该计算机设备可以获取系统命令日志;将历史命令信息和历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在命令路径信息中识别出至少一个待检测命令路径信息;对待检测命令路径信息进行特征提取,得到预设检测窗口对应的待检测命令路径特征;将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志。
需要说明的是,本发明实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。图1所示的日志检测方法的实施环境场景示意图仅仅是一个示例,本申请实施例描述的日志检测方法的实施环境场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定。本领域普通技术人员可知,随着日志检测的演变和新业务场景的出现,本申请提供的技术方案对于类似的技术问题,同样适用。
本申请实施例提供的方案涉及人工智能的机器学习等技术,具体通过如下实施例进行说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从日志检测装置的角度进行描述,该日志检测装置具体可以集成在计算机设备中,该计算机设备可以是服务器,本申请在此不作限制。
请参阅图2,图2是本申请实施例提供的日志检测方法的流程示意图。该日志检测方法包括:
在步骤101中,获取系统命令日志。
其中,该系统命令日志可以为系统的日志,该系统可以为操作系统等计算机系统,该系统命令日志可以包括历史命令信息和该历史命令信息对应的历史路径信息。该历史命令信息可以为包括系统在历史过程中执行的命令的信息,该历史路径信息可以为包括历史命令信息对应的文件路径的信息。一个命令可以对应多个文件路径。
为了便于对大型操作系统的数据进行管理,大型操作系统的系统日志一般由简单的命令内容以及对应的文件路径组成,而现有的基于自然语言形式的日志数据进行异常信息检测的方法,要求日志信息具有一定的区分度,对于操作系统中以命令和路径组成的日志数据,现有的日志检测方法无法基于系统日志准确的检测出系统的异常信息,使得日志检测的准确性较低,进而导致日志检测的效率较低。为此,本申请实施例提供了一种日志检测方法,通过提取命令信息和对应的路径信息的特征来细粒度的对系统命令日志的特征进行表征,以在系统日志中准确的检测出系统的异常命令日志。下面对本申请提供的日志检测方法进行详细的描述。
在步骤102中,将历史命令信息和历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在命令路径信息中识别出至少一个待检测命令路径信息。
其中,该命令路径信息可以为将历史命令信息以及对应的历史路径信息进行拼接后得到的信息,该预设检测窗口可以为预先设定的用于对系统命令日志进行检测的窗口,该预设检测窗口的大小可以根据实际需求进行设置,比如,在日志检测的精度要求较大时,可以设置较小的预设检测窗口,在日志检测的精度要求较小时,可以设置较大的预设检测窗口,在日志检测设备的计算能力较强时,可以设置较大的预设检测窗口,在日志检测设备的计算能力较弱时,可以设置较小的预设检测窗口。例如,可以设置每一预设检测窗口对两条系统命令日志进行检测处理,也可以设置每一预设检测窗口对100条系统命令日志进行检测处理等,以此,可以通过控制窗口大小来实现对日志检测精度的调节,提高了日志检测的效率。该待检测命令路径信息可以为每一预设检测窗口负责处理的至少一个命令路径信息。
其中,基于预设检测窗口,在该命令路径信息中识别出至少一个待检测命令路径信息的方式可以有多种,例如,可以获取该预设检测窗口对应的检测参数和每一命令路径信息对应的属性信息,根据该检测参数以及属性信息,在命令路径信息中筛选出至少一个待检测命令路径信息。
其中,该检测参数可以为预设检测窗口对命令路径信息进行检测时采用的参数,例如,可以为预设检测窗口同时处理命令路径信息的数量。该属性信息可以为表征命令路径信息的性质以及与其他命令路径信息的关系的信息,例如,可以为命令路径信息的时间信息,该时间信息可以为包括命令路径信息对应的系统命令日志产生的时间的信息。
其中,根据该检测参数以及属性信息,在命令路径信息中筛选出至少一个待检测命令路径信息的方式可以有多种,例如,以该属性信息为时间信息、该检测参数为可以命令路径信息数量为例,可以根据每一命令路径信息对应的时间信息,对所述命令路径信息进行排序,得到排序后的命令路径信息,从而,可以在排序后的命令路径信息中,将排名与该命令路径信息数量对应的至少一个命令路径信息确定为待检测命令路径信息。譬如。假设预设检测窗口可以同时处理5个命令路径信息,以此,可以通过预设检测窗口在排序后的命令路径信息中将排名前5的命令路径信息筛选出来,得到待检测命令路径信息。
可选的,可以将历史命令信息和历史路径信息进行拼接,得到命令路径信息,之后再基于预设检测窗口,在命令路径信息中识别出至少一个待检测命令路径信息,也可以基于预设检测窗口,在系统命令日志中识别出至少一个待检测系统命令日志,再将系统命令日志中的历史命令信息以及对应的历史路径信息进行拼接,得到待检测命令路径信息。具体可以根据实际需求进行设置,在此不做限定。
在步骤103中,对待检测命令路径信息进行特征提取,得到预设检测窗口对应的待检测命令路径特征。
其中,该待检测命令路径特征可以为表征待检测命令路径信息的特征信息。
其中,对该待检测命令路径信息进行特征提取,得到该预设检测窗口对应的待检测命令路径特征的方式可以有多种,例如,可以将该预设检测窗口对应的该待检测命令路径信息进行拼接,得到拼接后命令路径信息,对该拼接后命令路径信息进行多维度的特征提取,得到每一维度对应的命令路径特征,将该每一维度的命令路径特征进行特征融合,得到该预设检测窗口对应的至少一个待检测命令路径特征。
其中,该拼接后命令路径信息可以为预设检测窗口对应的每一待检测命令路径信息进行拼接后得到信息,即可以为对预设检测窗口中处理的每一待检测命令路径信息进行拼接后得到信息。该命令路径特征可以为对该拼接后命令路径信息进行多维度的特征提取后得到每一维度的特征,用于对拼接后命令路径信息中的多个维度的信息进行表征。
其中,将该预设检测窗口对应的该待检测命令路径信息进行拼接的方式可以有多种,例如,可以将预设检测窗口中每一待检测命令路径信息进行前后拼接,得到拼接后命令路径信息。可选的,可以对预设检测窗口中每一待检测命令路径信息以不同的顺序进行前后拼接,得到多个拼接后命令路径信息。
在将该预设检测窗口对应的该待检测命令路径信息进行拼接之后,便可以对该拼接后命令路径信息进行多维度的特征提取,得到每一维度对应的命令路径特征。其中,对该拼接后命令路径信息进行多维度的特征提取的方式可以有多种,例如,可以对该拼接后命令路径信息进行分词处理,得到命令路径词,并对该命令路径词进行特征提取,得到词特征以及位置特征,对该拼接后命令路径信息进行切分,得到至少一个命令路径信息片段,并对该命令路径信息片段进行特征提取,得到日志片段特征,将该词特征、位置特征以及日志片段特征作为该拼接后命令路径信息对应的命令日志特征。
其中,该命令路径词可以为对拼接后命令路径信息进行分词处理后得到的结果,可以包括拼接后命令路径信息中的每一个词。该词特征可以为表征命令路径词的特征信息,该位置特征可以为表征拼接后命令路径信息中每一词的位置的特征信息,该命令路径信息片段可以为对拼接后命令路径信息进行切分后得到的片段,例如,可以将拼接后命令路径信息中每一拼接后的待检测命令路径信息进行切分,从而可以得到多个命令路径信息片段。可选的,也可以再将每一切分后得到的待检测命令路径信息进行切分,得到每一切分后得到的待检测命令路径信息对应的命令信息片段以及路径信息片段等。
在将该预设检测窗口对应的该待检测命令路径信息进行拼接之后,可以将该每一维度的命令路径特征进行特征融合,得到该预设检测窗口对应的至少一个待检测命令路径特征。其中,将该每一维度的命令路径特征进行特征融合的方式可以有多种,例如,可以对该命令路径特征进行特征提取,得到该每一维度的命令路径特征对应的关联特征,基于该关联特征,确定该每一维度的命令路径特征对应的关联权重,根据该关联权重,对该每一维度的命令路径特征进行融合,得到该预设检测窗口对应的至少一个待检测命令路径特征。
其中,该关联特征可以为表征每一维度的命令路径特征与其他维度的命令路径特征的关联关系的特征信息,该关联权重可以表征每一维度的命令路径特征在命令路径特征中的重要程度。
其中,对该命令路径特征进行特征提取,得到该每一维度的命令路径特征对应的关联特征,基于该关联特征,确定该每一维度的命令路径特征对应的关联权重的方式可以有多种,例如,可以采用注意力网络(Attention)对每一维度的命令路径特征进行特征提取,来得到每一维度的命令路径特征对应的关联特征,比如,可以将每一维度的命令路径特征转换为三个维度的空间向量,包括查询向量(query,简称q)、键向量(key,简称k)和值向量(value,简称v),具体的转换方式可以理解为对每一维度的命令路径特征与三个维度的转换参数进行融合而得到的,将查询向量、键向量和值向量作为每一维度的命令路径特征对应的关联特征。
在对每一维度的命令路径特征进行特征提取之后,便可以基于该关联特征,确定该每一维度的命令路径特征对应的关联权重。基于该关联特征,确定该每一维度的命令路径特征对应的关联权重的方式可以有多种,例如,可以采用注意力网络将每一维度的命令路径特征对应的查询向量与其他命令路径特征的键向量进行点积,可以得到每一维度的命令路径特征对应的注意力得分(score),再基于每一视觉特征对应的注意力得分,来计算每一维度的命令路径特征对应的关联权重。
其中,除了可以采用注意力网络对每一维度的命令路径特征进行特征提取以外,还可以采用其他可以捕捉每一维度的命令路径特征与其他维度的命令路径特征之间的关联关系,进而确定每一维度的命令路径特征在所有维度的命令路径特征中所占的权重的网络。
在一实施例中,可以采用训练好的日志检测模型来对系统命令日志进行检测。具体的,该训练好的日志检测模型可以包括深度自注意力变换网络(Transformer)的编码器,通过Transformer的编码器来对待检测命令路径信息进行特征提取,得到预设检测窗口对应的待检测命令路径特征。例如,请参考图3,图3是本申请实施例提供的一种日志检测方法的特征提取示意图,假设预测检测窗口中的包括待检测命令路径信息(createFile,C:/ctfmon.exe)以及(createProce,C:/Program Files/msedge.exe),将待检测命令路径信息进行拼接后,得到拼接后命令路径信息createFile-C:/ctfmon.exe以及createProce-C:/Program Files/msedge.exe。其中,createFile以及createProce为历史命令信息,该C:/ctfmon.exe以及C:/Program Files/msedge.exe可以为对应的历史路径信息,可以将拼接后命令路径信息输入到Transformer编码器的编码层中,通过编码层对拼接后命令路径信息进行词元编码,得到词特征,对拼接后命令路径信息进行位置编码,得到拼接后命令路径信息对应的位置特征,并对拼接后命令路径信息进行命令编码,得到拼接后命令路径信息对应的日志片段特征。然后,可以采用Transformer中的多头注意力机制(Multi-HeadAttention)将该每一维度的命令路径特征进行特征融合。在采用多头注意力层将该每一维度的命令路径特征进行特征融合之后,可以采用全连接前馈网络层(FeedForward)对融合后的特征进行非线性变换,再采用残差连接和层内正则化层(Add&Norm)来对非线性变换后的结果进行残差连接和层内正则化,得到预设检测窗口对应的至少一个待检测命令路径特征。可选的,为了取得较准确的特征,可以采用一头的多头注意力机制来对每一维度的命令路径特征进行特征融合。此外,可以采用基于深度自注意力变换网络双向编码器表示(Bidirectional Encoder Representation from Transformers,简称BERT)来对日志检测模型进行预训练,以得到训练好的日志检测模块。
在步骤104中,将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志。
其中,该目标维度的命令路径特征可以为将待检测命令路径特征转换为目标维度后得到的特征,该目标维度可以为预先设定的一个低维特征空间的维度,该低维特征空间的维度数小于待检测命令路径特征当前所在的特征空间的维度数,即目标维度的命令路径特征可以为将待检测命令路径特征进行降维后得到的特征。该异常命令日志可以为系统命令日志中异常的日志,在系统执行该日志对应的命令时,可以导致系统发生异常问题。
其中,将待检测命令路径特征进行特征维度转换的方式可以有多种,例如,可以采用线性变换层来对待检测命令路径特征进行特征提取,以将当前特征空间中的待检测命令路径特征变换到低维特征空间中,得到目标维度的命令路径特征,以基于低维的目标维度命令路径特征便于对待检测命令路径信息进行异常分类。
在将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征之后,便可以根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志。其中,根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志的方式可以有多种,例如,可以基于该目标维度的命令路径特征,计算该拼接后命令路径信息的异常概率,根据该异常概率,在该拼接后命令路径信息中筛选出目标命令路径信息,基于该目标命令路径信息,在该系统命令日志中识别出异常命令日志。
其中,该异常概率可以为拼接后命令路径信息为异常的拼接后命令路径信息的概率,该异常的拼接后命令路径信息可以为可以导致系统发生异常的命令对应的拼接后命令路径信息,该目标命令路径信息可以为预设检测窗口对应的拼接后命令路径信息中的异常的拼接后命令路径信息。
其中,基于该目标维度的命令路径特征,计算该拼接后命令路径信息的异常概率的方式可以有多种,例如,可以采用多层感知器(Multilayer Perceptron,简称MLP)来基于目标维度的命令路径特征计算该命令路径信息的异常概率。
在基于该目标维度的命令路径特征,计算该拼接后命令路径信息的异常概率之后,便可以根据该异常概率,在该拼接后命令路径信息中筛选出目标命令路径信息。其中,根据该异常概率,在该拼接后命令路径信息中筛选出目标命令路径信息的方式可以有多种,例如,可以获取一个异常概率阈值,将每一拼接后命令路径信息的异常概率与该异常概率阈值进行对比,根据对比结果将大于该异常概率阈值的异常概率对应的拼接后命令路径信息确定为目标命令路径信息。其中,该异常概率阈值可以为一个临界值,当命令路径信息的异常概率大于该临界值时,可以确定该拼接后命令路径信息为目标命令路径信息,当拼接后命令路径信息的异常概率不大于该临界值时,可以确定该拼接后命令路径信息非为目标命令路径信息。
在根据该异常概率,在该拼接后命令路径信息中筛选出目标命令路径信息之后,便可以基于该目标命令路径信息,在该系统命令日志中识别出异常命令日志。其中,基于该目标命令路径信息,在该系统命令日志中识别出异常命令日志的方式可以有多种,例如,可以在该目标命令路径信息中提取出至少一个待识别命令路径信息,在该目标命令路径信息中统计该待识别命令路径信息的数量,得到每一待识别命令路径信息对应的异常出现次数,基于该异常出现次数,在该系统命令日志中筛选出异常命令日志。
其中,该待识别命令路径信息可以为从目标命令路径信息中提取出的待检测命令路径信息,该异常出现次数可以为待识别命令路径信息在目标命令路径信息中提取出来的次数,也即待识别命令路径信息存在于目标命令路径信息中的次数。
其中,基于该异常出现次数,在该系统命令日志中筛选出异常命令日志的方式可以有多种,例如,可以统计每一待识别命令路径信息在该系统命令日志中的总出现次数,基于该待识别命令路径信息对应的总出现次数和异常出现次数,对该待识别命令路径信息进行打分,得到该待识别命令路径信息对应的异常分数,根据该异常分数,在该待识别命令路径信息筛选出异常命令路径信息,并将该异常命令路径信息对应的系统命令日志确定为异常命令日志。
其中,该总出现次数可以为待识别命令路径信息在系统命令日志中出现的次数,该异常分数可以为基于待识别命令路径信息对应的总出现次数和异常出现次数对该待识别命令路径信息进行打分得到的分数,用于表征识别命令路径信息对应的系统命令日志为系统执行命令发生异常时产生的日志的可能程度。该异常命令路径信息可以为待识别命令路径信息中为系统执行命令发生异常时产生的系统命令日志对应的命令路径信息。
其中,基于该待识别命令路径信息对应的总出现次数和异常出现次数,对该待识别命令路径信息进行打分的方式可以有多种,比如,可以计算待识别命令路径信息对应的异常出现次数与总出现次数之间的比值,根据该比值确定异常分数。例如,可以直接将该比值确定为待识别命令路径信息对应的异常分数,也可以基于该比值进行变换来得到待识别命令路径信息对应的异常分数等,具体计算方式可以根据实际需求进行设定,在此不做限定。
在基于该待识别命令路径信息对应的总出现次数和异常出现次数,对该待识别命令路径信息进行打分之后,便可以根据该异常分数,在该待识别命令路径信息筛选出异常命令路径信息。其中,根据该异常分数,在该待识别命令路径信息筛选出异常命令路径信息的方式可以有多种,比如,可以设定一个异常分数阈值,将异常分数大于该异常分数阈值的待识别命令路径信息筛选出来,得到异常命令路径信息。该异常分数阈值可以为两个临界值,当异常分数大于该临界值时,可以将该异常分数对应的待识别命令路径信息确定为异常命令路径信息,当异常分数不大于该临界值时,可以将该异常分数对应的待识别命令路径信息确定为非异常的命令路径信息。
在一实施例中,可以采用训练后的日志检测模型来对系统命令日志进行异常检测。具体的,该日志检测模型中还可以包括判别器网络,该判别网络可以包括线性变换层以及输出激活层,可选的,该线性变换层可以包括三层线性变换层,该输出激活层可以为sigmoid函数层。进而可以采用判别器网络对将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志可以采用激活函数来对目标维度的命令路径特征进行分类,以判别每一预设检测窗口对应的待检测命令路径信息中是否存在异常命令路径信息,从而可以基于预设检测窗口对应的异常命令路径信息,在系统命令日志中识别出异常命令日志,以此可以提高日志检测模型预测异常命令日志的速度,同时日志检测模型可以学习到日志序列数据间的长期依赖关系,提高日志检测的准确性,进一步提高了日志检测的效率。
其中,对日志检测模型进行训练,得到训练后的日志检测模型的方式可以有多种,例如,可以采用二元交叉熵(Binary Cross Entropy,简称BCE)损失函数来对日志检测模型进行训练。该二元交叉熵损失函数的公式可以表示为:
其中,Yt为真实值,可以为系统命令日志是否为异常命令日志的信息,为预测概率值,可以为日志检测模块预测系统命令日志为异常命令日志的概率,n表示训练样本的数量,∑表示求和符号,log为对数函数符号。可以通过前向传递输入数据直至输出产生误差,再利用反向传播与梯度下降法结合,对日志检测模型的网络中所有权重计算损失的梯度,再利用梯度下降法用来更新权值以最小化损失函数。此外,在训练的过程中,可以通过动态调整学习率在不同的优化阶段动态的改变学习率,以得到更好的训练结果。可选的,可以通过指数衰减来控制学习率,在网络训练的前期,学习率下降较快,随着训练的不断进行,网络接近收敛位置,学习率的下降速度也减小,以使得日志检测模型得到最佳的学习效果。
在一实施例中,可以采用本申请实施例提供的日志检测方法得到的异常命令日志来预测系统在未来执行的命令是否存在恶意行为,即可以预测即将执行的命令是否为异常命令,以此来提高系统异常检测的效率。具体的,在根据该目标维度的命令路径特征,在该系统命令日志中检测出异常命令日志之后,还可以接收待检测命令信息,在该异常命令日志对应的历史命令信息中搜索与该待检测命令信息匹配的目标命令信息,当搜索到该目标命令信息时,屏蔽该待检测命令信息的执行。
其中,该待检测命令信息可以为系统接收到的等待执行的命令,该目标命令信息可以为异常命令日志对应的历史命令信息中与该待检测命令信息匹配的命令信息,例如,可以为与该待检测命令信息相同的命令信息。以此,可以在接收到待执行的命令时,通过在异常命令日志对应的历史命令信息中搜索与该待检测命令信息匹配的命令信息,从而可以根据搜索结果确定该命令是否为异常命令,当搜索到该目标命令信息时,屏蔽该待检测命令信息的执行,即不执行该待检测命令信息,以此可以精确预测未来接收到的命令是否存在恶意行为,从而避免系统因为该命令的执行而发生异常问题的情况,进一步保障了系统的安全运行,提高了系统异常检测的效率。
由以上可知,本申请实施例通过获取系统命令日志;将历史命令信息和历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在命令路径信息中识别出至少一个待检测命令路径信息;对待检测命令路径信息进行特征提取,得到预设检测窗口对应的待检测命令路径特征;将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志。以此,通过提取命令信息和对应的路径信息的特征来细粒度的对系统命令日志的特征进行表征,从而根据提取到的特征在系统命令日志中检测出异常命令日志,以对日志为命令和路径形式的操作系统的异常问题进行准确的检测,同时,采用预设检测窗口来提取命令信息和对应的路径信息的特征可以对日志检测的准确性进行调节,提高了日志检测的准确性,进而提升了日志检测的效率。
根据上面实施例所描述的方法,以下将举例作进一步详细说明。
在本实施例中,将以该日志检测装置具体集成在计算机设备为例进行说明。具体的,以该日志检测方法以服务器为执行主体、该系统命令日志为操作系统的日志为例进行说明。
为了更好的描述本申请实施例,请参阅图4,图4为本申请实施例提供的日志检测方法的另一流程示意图。具体流程如下:
在步骤201中,服务器获取系统命令日志,将该历史命令信息和该历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在该命令路径信息中识别出至少一个待检测命令路径信息。
其中,服务器基于预设检测窗口,在该命令路径信息中识别出至少一个待检测命令路径信息的方式可以有多种,例如,服务器可以获取该预设检测窗口对应的检测参数和每一命令路径信息对应的属性信息,根据该检测参数以及属性信息,在命令路径信息中筛选出至少一个待检测命令路径信息。
其中,服务器根据该检测参数以及属性信息,在命令路径信息中筛选出至少一个待检测命令路径信息的方式可以有多种,例如,以该属性信息为时间信息、该检测参数为可以命令路径信息数量为例,服务器可以根据每一命令路径信息对应的时间信息,对所述命令路径信息进行排序,得到排序后的命令路径信息,从而,可以在排序后的命令路径信息中,将排名与该命令路径信息数量对应的至少一个命令路径信息确定为待检测命令路径信息。譬如。假设预设检测窗口可以同时处理5个命令路径信息,以此,可以通过预设检测窗口在排序后的命令路径信息中将排名前5的命令路径信息筛选出来,得到待检测命令路径信息。
可选的,服务器可以将历史命令信息和历史路径信息进行拼接,得到命令路径信息,之后再基于预设检测窗口,在命令路径信息中识别出至少一个待检测命令路径信息,也可以基于预设检测窗口,在系统命令日志中识别出至少一个待检测系统命令日志,再将系统命令日志中的历史命令信息以及对应的历史路径信息进行拼接,得到待检测命令路径信息。具体可以根据实际需求进行设置,在此不做限定。
在步骤202中,服务器将该预设检测窗口对应的该待检测命令路径信息进行拼接,得到拼接后命令路径信息,对该拼接后命令路径信息进行分词处理,得到命令路径词,并对该命令路径词进行特征提取,得到词特征以及位置特征。
其中,服务器将该预设检测窗口对应的该待检测命令路径信息进行拼接的方式可以有多种,例如,服务器可以将预设检测窗口中每一待检测命令路径信息进行前后拼接,得到拼接后命令路径信息。可选的,服务器可以对预设检测窗口中每一待检测命令路径信息以不同的顺序进行前后拼接,得到多个拼接后命令路径信息。
在步骤203中,服务器对该拼接后命令路径信息进行切分,得到至少一个命令路径信息片段,并对该命令路径信息片段进行特征提取,得到日志片段特征,将该词特征、位置特征以及日志片段特征作为该拼接后命令路径信息对应的命令日志特征。
其中,该命令路径信息片段可以为对拼接后命令路径信息进行切分后得到的片段,例如,服务器可以将拼接后命令路径信息中每一拼接后的待检测命令路径信息进行切分,从而可以得到多个命令路径信息片段。可选的,服务器也可以再将每一切分后得到的待检测命令路径信息进行切分,得到每一切分后得到的待检测命令路径信息对应的命令信息片段以及路径信息片段等。
在步骤204中,服务器对该命令路径特征进行特征提取,得到该每一维度的命令路径特征对应的关联特征,基于该关联特征,确定该每一维度的命令路径特征对应的关联权重,根据该关联权重,对该每一维度的命令路径特征进行融合,得到该预设检测窗口对应的至少一个待检测命令路径特征。
其中,服务器对该命令路径特征进行特征提取,得到该每一维度的命令路径特征对应的关联特征,基于该关联特征,确定该每一维度的命令路径特征对应的关联权重的方式可以有多种,例如,服务器可以采用注意力网络对每一维度的命令路径特征进行特征提取,来得到每一维度的命令路径特征对应的关联特征,比如,可以将每一维度的命令路径特征转换为三个维度的空间向量,包括查询向量、键向量和值向量,具体的转换方式可以理解为对每一维度的命令路径特征与三个维度的转换参数进行融合而得到的,将查询向量、键向量和值向量作为每一维度的命令路径特征对应的关联特征。
服务器在对每一维度的命令路径特征进行特征提取之后,便可以基于该关联特征,确定该每一维度的命令路径特征对应的关联权重。其中,服务器基于该关联特征,确定该每一维度的命令路径特征对应的关联权重的方式可以有多种,例如,服务器可以采用注意力网络将每一维度的命令路径特征对应的查询向量与其他命令路径特征的键向量进行点积,可以得到每一维度的命令路径特征对应的注意力得分(score),再基于每一视觉特征对应的注意力得分,来计算每一维度的命令路径特征对应的关联权重。
其中,除了可以采用注意力网络对每一维度的命令路径特征进行特征提取以外,还可以采用其他可以捕捉每一维度的命令路径特征与其他维度的命令路径特征之间的关联关系,进而确定每一维度的命令路径特征在所有维度的命令路径特征中所占的权重的网络。
在一实施例中,服务器可以采用训练好的日志检测模型来对系统命令日志进行检测。具体的,该训练好的日志检测模型可以包括Transformer编码器,通过Transformer编码器来对待检测命令路径信息进行特征提取,得到预设检测窗口对应的待检测命令路径特征。例如,请参考图3,假设预测检测窗口中的包括待检测命令路径信息(createFile,C:/ctfmon.exe)以及(createProce,C:/Program Files/msedge.exe),将待检测命令路径信息进行拼接后,得到拼接后命令路径信息createFile-C:/ctfmon.exe以及createProce-C:/Program Files/msedge.exe。其中,createFile以及createProce可以为历史命令信息,该C:/ctfmon.exe以及C:/Program Files/msedge.exe可以为对应的历史路径信息,可以将拼接后命令路径信息输入到Transformer编码器的编码层中,通过编码层对拼接后命令路径信息进行词元编码,得到词特征,对拼接后命令路径信息进行位置编码,得到拼接后命令路径信息对应的位置特征,并对拼接后命令路径信息进行命令编码,得到拼接后命令路径信息对应的日志片段特征。然后,可以采用Transformer中的多头注意力机制(Multi-HeadAttention)将该每一维度的命令路径特征进行特征融合。在采用多头注意力层将该每一维度的命令路径特征进行特征融合之后,可以采用全连接前馈网络层(FeedForward)对融合后的特征进行非线性变换,再采用残差连接和层内正则化层(Add&Norm)来对非线性变换后的结果进行残差连接和层内正则化,得到预设检测窗口对应的至少一个待检测命令路径特征。可选的,为了取得较准确的特征,可以采用一头的多头注意力机制来对每一维度的命令路径特征进行特征融合。此外,可以采用BERT来对日志检测模型进行预训练,以得到训练好的日志检测模块。
在步骤205中,服务器将该待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,基于该目标维度的命令路径特征,计算该拼接后命令路径信息的异常概率,根据该异常概率,在该拼接后命令路径信息中筛选出目标命令路径信息。
其中,服务器将待检测命令路径特征进行特征维度转换的方式可以有多种,例如,服务器可以采用线性变换层来对待检测命令路径特征进行特征提取,以将当前特征空间中的待检测命令路径特征变换到低维特征空间中,得到目标维度的命令路径特征,以基于低维的目标维度命令路径特征便于对待检测命令路径信息进行异常分类。
其中,服务器基于该目标维度的命令路径特征,计算该拼接后命令路径信息的异常概率的方式可以有多种,例如,服务器可以采用多层感知器来基于目标维度的命令路径特征计算该命令路径信息的异常概率。
服务器在基于该目标维度的命令路径特征,计算该拼接后命令路径信息的异常概率之后,便可以根据该异常概率,在该拼接后命令路径信息中筛选出目标命令路径信息。其中,服务器根据该异常概率,在该拼接后命令路径信息中筛选出目标命令路径信息的方式可以有多种,例如,可以获取一个异常概率阈值,将每一拼接后命令路径信息的异常概率与该异常概率阈值进行对比,根据对比结果将大于该异常概率阈值的异常概率对应的拼接后命令路径信息确定为目标命令路径信息。其中,该异常概率阈值可以为一个临界值,当命令路径信息的异常概率大于该临界值时,可以确定该拼接后命令路径信息为目标命令路径信息,当拼接后命令路径信息的异常概率不大于该临界值时,可以确定该拼接后命令路径信息非为目标命令路径信息。
在步骤206中,服务器在该目标命令路径信息中提取出至少一个待识别命令路径信息,在该目标命令路径信息中统计该待识别命令路径信息的数量,得到每一待识别命令路径信息对应的异常出现次数,统计每一待识别命令路径信息在该系统命令日志中的总出现次数。
其中,该总出现次数可以为待识别命令路径信息在系统命令日志中出现的次数,该异常分数可以为基于待识别命令路径信息对应的总出现次数和异常出现次数对该待识别命令路径信息进行打分得到的分数,用于表征识别命令路径信息对应的系统命令日志为操作系统执行命令发生异常时产生的日志的可能程度。该异常命令路径信息可以为待识别命令路径信息中为操作系统执行命令发生异常时产生的系统命令日志对应的命令路径信息。
在步骤207中,服务器基于该待识别命令路径信息对应的总出现次数和异常出现次数,对该待识别命令路径信息进行打分,得到该待识别命令路径信息对应的异常分数,根据该异常分数,在该待识别命令路径信息筛选出异常命令路径信息,并将该异常命令路径信息对应的系统命令日志确定为异常命令日志。
其中,服务器基于该待识别命令路径信息对应的总出现次数和异常出现次数,对该待识别命令路径信息进行打分的方式可以有多种,比如,服务器可以计算待识别命令路径信息对应的异常出现次数与总出现次数之间的比值,根据该比值确定异常分数。例如,服务器可以直接将该比值确定为待识别命令路径信息对应的异常分数,也可以基于该比值进行变换来得到待识别命令路径信息对应的异常分数等,具体计算方式可以根据实际需求进行设定,在此不做限定。
服务器在基于该待识别命令路径信息对应的总出现次数和异常出现次数,对该待识别命令路径信息进行打分之后,便可以根据该异常分数,在该待识别命令路径信息筛选出异常命令路径信息。其中,服务器根据该异常分数,在该待识别命令路径信息筛选出异常命令路径信息的方式可以有多种,比如,服务器可以设定一个异常分数阈值,将异常分数大于该异常分数阈值的待识别命令路径信息筛选出来,得到异常命令路径信息。该异常分数阈值可以为两个临界值,当异常分数大于该临界值时,可以将该异常分数对应的待识别命令路径信息确定为异常命令路径信息,当异常分数不大于该临界值时,可以将该异常分数对应的待识别命令路径信息确定为非异常的命令路径信息。
在一实施例中,服务器可以采用训练后的日志检测模型来对系统命令日志进行异常检测。具体的,该日志检测模型中还可以包括判别器网络,该判别网络可以包括线性变换层以及输出激活层,可选的,该线性变换层可以包括三层线性变换层,该输出激活层可以为sigmoid函数层。进而可以采用判别器网络对将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志可以采用激活函数来对目标维度的命令路径特征进行分类,以判别每一预设检测窗口对应的待检测命令路径信息中是否存在异常命令路径信息,从而可以基于预设检测窗口对应的异常命令路径信息,在系统命令日志中识别出异常命令日志,以此可以提高日志检测模型预测异常命令日志的速度,同时日志检测模型可以学习到日志序列数据间的长期依赖关系,提高日志检测的准确性,进一步提高了日志检测的效率。
在步骤208中,服务器接收待检测命令信息,在该异常命令日志对应的历史命令信息中搜索与该待检测命令信息匹配的目标命令信息,当搜索到该目标命令信息时,屏蔽该待检测命令信息的执行。
其中,该待检测命令信息可以为操作系统接收到的等待执行的命令,该目标命令信息可以为异常命令日志对应的历史命令信息中与该待检测命令信息匹配的命令信息,例如,可以为与该待检测命令信息相同的命令信息。以此,可以在接收到待执行的命令时,通过在异常命令日志对应的历史命令信息中搜索与该待检测命令信息匹配的命令信息,从而可以根据搜索结果确定该命令是否为异常命令,当搜索到该目标命令信息时,屏蔽该待检测命令信息的执行,即不执行该待检测命令信息,以此可以精确预测未来接收到的命令是否存在恶意行为,从而避免操作系统因为该命令的执行而发生异常问题的情况,进一步保障了操作系统的安全运行,提高了系统异常检测的效率。
由以上可知,本申请实施例通过服务器获取系统命令日志,将该历史命令信息和该历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在该命令路径信息中识别出至少一个待检测命令路径信息;服务器将该预设检测窗口对应的该待检测命令路径信息进行拼接,得到拼接后命令路径信息,对该拼接后命令路径信息进行分词处理,得到命令路径词,并对该命令路径词进行特征提取,得到词特征以及位置特征;服务器对该拼接后命令路径信息进行切分,得到至少一个命令路径信息片段,并对该命令路径信息片段进行特征提取,得到日志片段特征,将该词特征、位置特征以及日志片段特征作为该拼接后命令路径信息对应的命令日志特征;服务器对该命令路径特征进行特征提取,得到该每一维度的命令路径特征对应的关联特征,基于该关联特征,确定该每一维度的命令路径特征对应的关联权重,根据该关联权重,对该每一维度的命令路径特征进行融合,得到该预设检测窗口对应的至少一个待检测命令路径特征;服务器将该待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,基于该目标维度的命令路径特征,计算该拼接后命令路径信息的异常概率,根据该异常概率,在该拼接后命令路径信息中筛选出目标命令路径信息;服务器在该目标命令路径信息中提取出至少一个待识别命令路径信息,在该目标命令路径信息中统计该待识别命令路径信息的数量,得到每一待识别命令路径信息对应的异常出现次数,统计每一待识别命令路径信息在该系统命令日志中的总出现次数;服务器基于该待识别命令路径信息对应的总出现次数和异常出现次数,对该待识别命令路径信息进行打分,得到该待识别命令路径信息对应的异常分数,根据该异常分数,在该待识别命令路径信息筛选出异常命令路径信息,并将该异常命令路径信息对应的系统命令日志确定为异常命令日志;服务器接收待检测命令信息,在该异常命令日志对应的历史命令信息中搜索与该待检测命令信息匹配的目标命令信息,当搜索到该目标命令信息时,屏蔽该待检测命令信息的执行。以此,通过提取命令信息和对应的路径信息的特征来细粒度的对系统命令日志的特征进行表征,从而根据提取到的特征在系统命令日志中检测出异常命令日志,以对日志为命令和路径形式的操作系统的异常问题进行准确的检测,同时,采用预设检测窗口来提取命令信息和对应的路径信息的特征可以对日志检测的准确性进行调节,提高了日志检测的准确性,进而提升了日志检测的效率。同时,在接收到待检测命令信息时,可以通过在异常命令日志对应的历史命令信息中搜索与该待检测命令信息匹配的命令信息,从而可以根据搜索结果确定该命令是否为异常命令,当搜索到该目标命令信息时,屏蔽该待检测命令信息的执行,即不执行该待检测命令信息,以此可以精确预测未来接收到的命令是否存在恶意行为,从而避免系统因为该命令的执行而发生异常问题的情况,进一步保障了系统的安全运行,提高了系统异常检测的效率
为了更好地实施以上方法,本发明实施例还提供一种日志检测装置,该日志检测装置可以集成在计算机设备中,该计算机设备可以为服务器。
例如,如图5所示,为本申请实施例提供的日志检测装置的结构示意图,该日志检测装置可以包括获取单元301、识别单元302、提取单元303和检测单元304,如下:
获取单元301,用于获取系统命令日志,该系统命令日志包括历史命令信息和该历史命令信息对应的历史路径信息;
识别单元302,用于将该历史命令信息和该历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在该命令路径信息中识别出至少一个待检测命令路径信息;
提取单元303,用于对该待检测命令路径信息进行特征提取,得到该预设检测窗口对应的待检测命令路径特征;
检测单元304,用于将该待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据该目标维度的命令路径特征,在该系统命令日志中检测出异常命令日志。
在一实施例中,该提取单元303,包括:
拼接子单元,用于将该预设检测窗口对应的该待检测命令路径信息进行拼接,得到拼接后命令路径信息;
多维度特征提取子单元,用于对该拼接后命令路径信息进行多维度的特征提取,得到每一维度对应的命令路径特征;
特征融合子单元,用于将该每一维度的命令路径特征进行特征融合,得到该预设检测窗口对应的至少一个待检测命令路径特征。
在一实施例中,该多维度特征提取子单元,包括:
词处理模块,用于对该拼接后命令路径信息进行分词处理,得到命令路径词,并对该命令路径词进行特征提取,得到词特征以及位置特征;
片段处理模块,用于对该拼接后命令路径信息进行切分,得到至少一个命令路径信息片段,并对该命令路径信息片段进行特征提取,得到日志片段特征;
赋值模块,用于将该词特征、位置特征以及日志片段特征作为该拼接后命令路径信息对应的命令日志特征。
在一实施例中,该特征融合子单元,包括:
关联特征提取模块,用于对该命令路径特征进行特征提取,得到该每一维度的命令路径特征对应的关联特征,该关联特征为表征每一维度的命令路径特征与其他维度的命令路径特征的关联关系的特征信息;
关联权重确定模块,用于基于该关联特征,确定该每一维度的命令路径特征对应的关联权重;
特征融合模块,用于根据该关联权重,对该每一维度的命令路径特征进行融合,得到该预设检测窗口对应的至少一个待检测命令路径特征。
在一实施例中,该检测单元304,包括:
异常概率计算子单元,用于基于该目标维度的命令路径特征,计算该拼接后命令路径信息的异常概率;
目标命令路径信息筛选子单元,用于根据该异常概率,在该拼接后命令路径信息中筛选出目标命令路径信息;
异常命令日志识别子单元,用于基于该目标命令路径信息,在该系统命令日志中识别出异常命令日志。
在一实施例中,该异常命令日志识别子单元,包括:
待识别命令路径信息提取模块,用于在该目标命令路径信息中提取出至少一个待识别命令路径信息;
异常出现次数统计模块,用于在该目标命令路径信息中统计该待识别命令路径信息的数量,得到每一待识别命令路径信息对应的异常出现次数;
异常命令日志筛选模块,用于基于该异常出现次数,在该系统命令日志中筛选出异常命令日志。
在一实施例中,该异常命令日志筛选模块,包括:
总次数统计子模块,用于统计每一待识别命令路径信息在该系统命令日志中的总出现次数;
异常分数打分子模块,用于基于该待识别命令路径信息对应的总出现次数和异常出现次数,对该待识别命令路径信息进行打分,得到该待识别命令路径信息对应的异常分数;
异常命令日志确定子模块,用于根据该异常分数,在该待识别命令路径信息筛选出异常命令路径信息,并将该异常命令路径信息对应的系统命令日志确定为异常命令日志。
在一实施例中,该日志检测装置,包括:
接收单元,用于接收待检测命令信息;
搜索单元,用于在该异常命令日志对应的历史命令信息中搜索与该待检测命令信息匹配的目标命令信息;
屏蔽单元,用于当搜索到该目标命令信息时,屏蔽该待检测命令信息的执行。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由以上可知,本申请实施例通过获取单元301获取系统命令日志;识别单元302将历史命令信息和历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在命令路径信息中识别出至少一个待检测命令路径信息;提取单元303对待检测命令路径信息进行特征提取,得到预设检测窗口对应的待检测命令路径特征;检测单元304将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志。以此,通过提取命令信息和对应的路径信息的特征来细粒度的对系统命令日志的特征进行表征,从而根据提取到的特征在系统命令日志中检测出异常命令日志,以对日志为命令和路径形式的操作系统的异常问题进行准确的检测,同时,采用预设检测窗口来提取命令信息和对应的路径信息的特征可以对日志检测的准确性进行调节,提高了日志检测的准确性,进而提升了日志检测的效率。
本申请实施例还提供一种计算机设备,如图6所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,该计算机设备可以是服务器,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图6中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及日志检测。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取系统命令日志;将历史命令信息和历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在命令路径信息中识别出至少一个待检测命令路径信息;对待检测命令路径信息进行特征提取,得到预设检测窗口对应的待检测命令路径特征;将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志。
以上各个操作的具体实施可参见前面的实施例,在此不作赘述。应当说明的是,本申请实施例提供的计算机设备与上文实施例中的适用于日志检测方法属于同一构思,其具体实现过程详见以上方法实施例,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种日志检测方法中的步骤。例如,该指令可以执行如下步骤:
获取系统命令日志;将历史命令信息和历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在命令路径信息中识别出至少一个待检测命令路径信息;对待检测命令路径信息进行特征提取,得到预设检测窗口对应的待检测命令路径特征;将待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据目标维度的命令路径特征,在系统命令日志中检测出异常命令日志。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种日志检测方法中的步骤,因此,可以实现本申请实施例所提供的任一种日志检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种日志检测方法、装置和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种日志检测方法,其特征在于,包括:
获取系统命令日志,所述系统命令日志包括历史命令信息和所述历史命令信息对应的历史路径信息;
将所述历史命令信息和所述历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在所述命令路径信息中识别出至少一个待检测命令路径信息;
对所述待检测命令路径信息进行特征提取,得到所述预设检测窗口对应的待检测命令路径特征;
将所述待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据所述目标维度的命令路径特征,在所述系统命令日志中检测出异常命令日志。
2.如权利要求1所述的日志检测方法,其特征在于,所述对所述待检测命令路径信息进行特征提取,得到所述预设检测窗口对应的待检测命令路径特征,包括:
将所述预设检测窗口对应的所述待检测命令路径信息进行拼接,得到拼接后命令路径信息;
对所述拼接后命令路径信息进行多维度的特征提取,得到每一维度对应的命令路径特征;
将所述每一维度的命令路径特征进行特征融合,得到所述预设检测窗口对应的至少一个待检测命令路径特征。
3.如权利要求2所述的日志检测方法,其特征在于,所述对所述拼接后命令路径信息进行多维度的特征提取,得到每一维度对应的命令路径特征,包括:
对所述拼接后命令路径信息进行分词处理,得到命令路径词,并对所述命令路径词进行特征提取,得到词特征以及位置特征;
对所述拼接后命令路径信息进行切分,得到至少一个命令路径信息片段,并对所述命令路径信息片段进行特征提取,得到日志片段特征;
将所述词特征、位置特征以及日志片段特征作为所述拼接后命令路径信息对应的命令日志特征。
4.如权利要求2所述的日志检测方法,其特征在于,所述将所述每一维度的命令路径特征进行特征融合,得到所述预设检测窗口对应的至少一个待检测命令路径特征,包括:
对所述命令路径特征进行特征提取,得到所述每一维度的命令路径特征对应的关联特征,所述关联特征为表征每一维度的命令路径特征与其他维度的命令路径特征的关联关系的特征信息;
基于所述关联特征,确定所述每一维度的命令路径特征对应的关联权重;
根据所述关联权重,对所述每一维度的命令路径特征进行融合,得到所述预设检测窗口对应的至少一个待检测命令路径特征。
5.如权利要求2所述的日志检测方法,其特征在于,所述根据所述目标维度的命令路径特征,在所述系统命令日志中检测出异常命令日志,包括:
基于所述目标维度的命令路径特征,计算所述拼接后命令路径信息的异常概率;
根据所述异常概率,在所述拼接后命令路径信息中筛选出目标命令路径信息;
基于所述目标命令路径信息,在所述系统命令日志中识别出异常命令日志。
6.如权利要求5所述的日志检测方法,其特征在于,所述基于所述目标命令路径信息,在所述系统命令日志中识别出异常命令日志,包括:
在所述目标命令路径信息中提取出至少一个待识别命令路径信息;
在所述目标命令路径信息中统计所述待识别命令路径信息的数量,得到每一待识别命令路径信息对应的异常出现次数;
基于所述异常出现次数,在所述系统命令日志中筛选出异常命令日志。
7.如权利要求6所述的日志检测方法,其特征在于,所述基于所述异常出现次数,在所述系统命令日志中筛选出异常命令日志,包括:
统计每一待识别命令路径信息在所述系统命令日志中的总出现次数;
基于所述待识别命令路径信息对应的总出现次数和异常出现次数,对所述待识别命令路径信息进行打分,得到所述待识别命令路径信息对应的异常分数;
根据所述异常分数,在所述待识别命令路径信息筛选出异常命令路径信息,并将所述异常命令路径信息对应的系统命令日志确定为异常命令日志。
8.如权利要求1所述的日志检测方法,其特征在于,所述根据所述目标维度的命令路径特征,在所述系统命令日志中检测出异常命令日志之后,还包括:
接收待检测命令信息;
在所述异常命令日志对应的历史命令信息中搜索与所述待检测命令信息匹配的目标命令信息;
当搜索到所述目标命令信息时,屏蔽所述待检测命令信息的执行。
9.一种日志检测装置,其特征在于,包括:
获取单元,用于获取系统命令日志,所述系统命令日志包括历史命令信息和所述历史命令信息对应的历史路径信息;
识别单元,用于将所述历史命令信息和所述历史路径信息进行拼接,得到命令路径信息,并基于预设检测窗口,在所述命令路径信息中识别出至少一个待检测命令路径信息;
提取单元,用于对所述待检测命令路径信息进行特征提取,得到所述预设检测窗口对应的待检测命令路径特征;
检测单元,用于将所述待检测命令路径特征进行特征维度转换,得到目标维度的命令路径特征,并根据所述目标维度的命令路径特征,在所述系统命令日志中检测出异常命令日志。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至8任一项所述的日志检测方法中的步骤。
11.一种计算机设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的日志检测方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现权利要求1至8任一项所述的日志检测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210592189.2A CN115129671A (zh) | 2022-05-27 | 2022-05-27 | 日志检测方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210592189.2A CN115129671A (zh) | 2022-05-27 | 2022-05-27 | 日志检测方法、装置和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115129671A true CN115129671A (zh) | 2022-09-30 |
Family
ID=83377138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210592189.2A Pending CN115129671A (zh) | 2022-05-27 | 2022-05-27 | 日志检测方法、装置和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115129671A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115883346A (zh) * | 2023-02-23 | 2023-03-31 | 广州嘉为科技有限公司 | 一种基于fdep日志的异常检测方法、装置及存储介质 |
-
2022
- 2022-05-27 CN CN202210592189.2A patent/CN115129671A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115883346A (zh) * | 2023-02-23 | 2023-03-31 | 广州嘉为科技有限公司 | 一种基于fdep日志的异常检测方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110580292B (zh) | 一种文本标签生成方法、装置和计算机可读存储介质 | |
US10706229B2 (en) | Content aware heterogeneous log pattern comparative analysis engine | |
CN111241285B (zh) | 问题回答类型的识别方法、装置、设备及存储介质 | |
CN108229481B (zh) | 屏幕内容分析方法、装置、计算设备及存储介质 | |
CN111600919A (zh) | 基于人工智能的web检测方法和装置 | |
CN113656582A (zh) | 神经网络模型的训练方法、图像检索方法、设备和介质 | |
CN112966088B (zh) | 未知意图的识别方法、装置、设备及存储介质 | |
CN110502677B (zh) | 一种设备识别方法、装置及设备、存储介质 | |
CN113590876A (zh) | 一种视频标签设置方法、装置、计算机设备及存储介质 | |
CN115761839A (zh) | 人脸活体检测模型的训练方法、人脸活体检测方法及装置 | |
CN110413997B (zh) | 针对电力行业的新词发现方法及其系统、可读存储介质 | |
CN116502646A (zh) | 一种语义漂移检测方法、装置、电子设备及存储介质 | |
CN115129671A (zh) | 日志检测方法、装置和计算机可读存储介质 | |
CN113987161A (zh) | 一种文本排序方法及装置 | |
CN114037059A (zh) | 预训练模型、模型的生成方法、数据处理方法及装置 | |
Sowmyayani et al. | STHARNet: Spatio-temporal human action recognition network in content based video retrieval | |
CN116246287B (zh) | 目标对象识别方法、训练方法、装置以及存储介质 | |
CN117033956A (zh) | 基于数据驱动的数据处理方法、系统、电子设备及介质 | |
CN114443904B (zh) | 视频查询方法、装置、计算机设备及计算机可读存储介质 | |
CN115600607A (zh) | 一种日志检测方法、装置、电子设备及介质 | |
CN114254622A (zh) | 一种意图识别方法和装置 | |
CN115774797A (zh) | 视频内容检索方法、装置、设备和计算机可读存储介质 | |
CN116775744B (zh) | 多源数据融合方法、装置及电子设备 | |
CN116824609B (zh) | 文档版式检测方法、装置和电子设备 | |
CN115471893B (zh) | 训练人脸识别模型、人脸识别的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |