CN117914572A - 基于图数据库的异常信息预警方法、装置 - Google Patents
基于图数据库的异常信息预警方法、装置 Download PDFInfo
- Publication number
- CN117914572A CN117914572A CN202410028571.XA CN202410028571A CN117914572A CN 117914572 A CN117914572 A CN 117914572A CN 202410028571 A CN202410028571 A CN 202410028571A CN 117914572 A CN117914572 A CN 117914572A
- Authority
- CN
- China
- Prior art keywords
- target
- information
- log information
- risk level
- abnormal access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 106
- 238000012545 processing Methods 0.000 claims description 32
- 230000000007 visual effect Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 32
- 230000006399 behavior Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 208000006011 Stroke Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
- H04L63/205—Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
本申请公开了一种基于图数据库的异常信息预警方法、装置。包括:获取目标访问者的目标非告警日志信息,其中,目标非告警日志信息用于记录目标访问者在目标网站内的行为信息;依据目标非告警日志信息确定目标访问者的目标访问信息;确定目标访问信息与预设的图数据库的匹配结果,并在匹配成功时,确定目标访问者所属的目标异常访问组以及目标异常访问组的目标风险等级;基于目标风险等级确定对应的目标监控策略和目标方式,并通过目标方式对采用目标监控策略对目标异常访问组进行监控的目标监控结果进行预警处理。本申请解决了相关技术并未考虑各个访问者的访问信息之间的关联关系,导致分每个访问者的异常日志信息的效率和准确率较低的技术问题。
Description
技术领域
本申请涉及网络安全技术领域,具体而言,涉及一种基于图数据库的异常信息预警方法、装置。
背景技术
当今,随着互联网技术的不断发展,网络安全形式日益严重,网络威胁和攻击手段复杂多样,导致数据泄露、信息窃取等事件频发,对于个人、企业造成了较为严重的威胁。
为此,相关技术人员一般是通过采集部署在网络中的防火墙、网关设备的登陆日止信息构建相关的异常数据知识图谱,然后进行异常数据分析,从而提供网络安全防护。但该方案主要是采用单事件+规则进行单点检测的方式,其可能造成大量误报的错误预警信息。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于图数据库的异常信息预警方法、装置,以至少解决相关技术并未考虑各个访问者的访问信息之间的关联关系,导致分每个访问者的异常日志信息的效率和准确率较低的技术问题。
根据本申请实施例的一个方面,提供了一种基于图数据库的异常信息预警方法,包括:获取目标访问者的目标非告警日志信息,其中,目标非告警日志信息用于记录目标访问者在目标网站内的行为信息;依据目标非告警日志信息确定目标访问者的目标访问信息;确定目标访问信息与预设的图数据库的匹配结果,并在匹配结果为匹配成功时,确定目标访问者所属的目标异常访问组以及目标异常访问组的目标风险等级,其中,图数据库内包括对多个访问者的访问信息进行聚类所得的多个异常访问组,且每个异常访问组的风险等级不同;基于目标风险等级确定对应的目标监控策略和目标方式,并通过目标方式对采用目标监控策略对目标异常访问组进行监控的目标监控结果进行预警处理。
可选地,图数据库的构建方法包括:获取多个访问者的日志信息,其中,日志信息包括以下至少之一:告警日志信息、非告警日志信息;基于日志信息确定各个访问者的访问信息,其中,访问信息包括以下至少之一:网络流量数据、访问者IP地址、访问服务、访问行为;依据访问信息对多个访问者进行聚类操作,确定每个访问者所属的异常访问组,并依据异常访问组内各个访问者的访问信息确定异常访问组的风险等级;对于每个异常访问组,以异常访问组为图谱主节点,以异常访问组内多个访问者的非告警日志信息为图谱子节点,以异常访问组的风险等级为图谱边线,建立图数据库。
可选地,获取多个访问者的日志信息,包括:获取多个访问者的初始日志信息;对各个初始日志信息进行预处理操作,得到处理后的日志信息,其中,预处理操作包括以下至少之一:数据标准化处理、缺失值处理、异常值处理。
可选地,依据访问信息对多个访问者进行聚类操作,确定每个访问者所属的异常访问组,包括:基于访问信息,并利用Jaccard方法计算各个访问者之间的IP相似度;利用聚类算法对各个访问者之间的IP相似度进行聚类操作,确定每个访问者所属的异常访问组。
可选地,依据异常访问组内各个访问者的访问信息确定异常访问组的风险等级,包括:确定异常访问组内的多个访问者的告警日志信息的第一数量,以及告警日志信息与非告警日志信息的第二数量;依据第一数量和第二数量的第一比值与预设的阈值的大小关系,确定异常访问组对应的风险等级。
可选地,阈值包括:第一阈值和第二阈值,且第一阈值大于第二阈值,其中,依据第一数量和第二数量的第一比值与预设的阈值的大小关系,确定异常访问组对应的风险等级,包括:在第一比值不小于第一阈值时,确定风险等级为高风险等级;在第一比值小于第一阈值且不小于第二阈值时,确定风险等级为中风险等级;在第一比值小于第二阈值时,确定风险等级为低风险等级。
可选地,该方法还包括:在匹配结果为匹配失败时,以目标异常访问组为图谱主节点,以目标异常访问组内目标访问者的目标非告警日志信息为图谱子节点,以目标异常访问组的风险等级为图谱边线,更新图数据库。
可选地,基于目标风险等级确定对应的目标监控策略和目标方式,并通过目标方式对采用目标监控策略对目标异常访问组进行监控的目标监控结果进行预警处理,包括:在目标风险等级为高风险等级时,采用第一监控策略对目标异常访问组内的全部非告警日志信息进行监控,得到第一监控结果,并生成与第一监控结果对应的第一提示信息,其中,第一提示信息用于提示高风险等级的目标异常访问组的全部日志信息;在目标风险等级为低风险等级时,采用第二监控策略对目标异常访问组内的第三数量的非告警日志信息进行监控,得到第二监控结果,并生成与第二监控结果对应的第一可视化报告,其中,第一可视化报告用于记录低风险等级的目标异常访问组的全部日志信息;在目标风险等级为中风险等级时,采用第三监控策略对目标异常访问组内的第四数量的非告警日志信息进行监控,得到第三监控结果,并确定第四数量的非告警日志信息内的疑似告警日志信息的第五数量,根据第五数量和第四数量的第二比值和预设的第三阈值的大小关系,生成与第三监控结果对应的第二提示信息或者生成与第三监控结果对应的第二可视化报告,其中,第四数量大于第三数量,在第二比值不小于第三阈值时,生成与第三监控结果对应的第二提示信息;在第二比值小于第三阈值时,生成与第三监控结果对应的第二可视化报告。
根据本申请实施例的另一方面,还提供了一种基于图数据库的异常信息预警装置,包括:获取模块,用于获取目标访问者的目标非告警日志信息,其中,目标非告警日志信息用于记录目标访问者在目标网站内的行为信息;确定模块,用于依据目标非告警日志信息确定目标访问者的目标访问信息;匹配模块,用于确定目标访问信息与预设的图数据库的匹配结果,并在匹配结果为匹配成功时,确定目标访问者所属的目标异常访问组以及目标异常访问组的目标风险等级,其中,图数据库内包括对多个访问者的访问信息进行聚类所得的多个异常访问组,且每个异常访问组的风险等级不同;预警模块,用于基于目标风险等级确定对应的目标监控策略和目标方式,并通过目标方式对采用目标监控策略对目标异常访问组进行监控的目标监控结果进行预警处理。
根据本申请实施例的另一方面,还提供了一种非易失性存储介质,该非易失性存储介质包括存储的计算机程序,其中,非易失性存储介质所在设备通过运行该计算机程序执行上述的基于图数据库的异常信息预警方法。
在本申请实施例中,获取目标访问者的目标非告警日志信息,其中,目标非告警日志信息用于记录目标访问者在目标网站内的行为信息;依据目标非告警日志信息确定目标访问者的目标访问信息;确定目标访问信息与预设的图数据库的匹配结果,并在匹配结果为匹配成功时,确定目标访问者所属的目标异常访问组以及目标异常访问组的目标风险等级,其中,图数据库内包括对多个访问者的访问信息进行聚类所得的多个异常访问组,且每个异常访问组的风险等级不同;基于目标风险等级确定对应的目标监控策略和目标方式,并通过目标方式对采用目标监控策略对目标异常访问组进行监控的目标监控结果进行预警处理。
在上述技术方案中,采用图数据库的方式,可以调用图数据库对获取的非告警日志信息时可以直接进行查找,得到访问者其所在的异常访问组以及该异常访问组的风险等级,从而可以根据该风险等级采用不同的预警方式对该访问者的非告警日志信息进行分析和预警,进而解决了相关技术并未考虑各个访问者的访问信息之间的关联关系,导致分每个访问者的异常日志信息的效率和准确率较低技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种用于实现基于图数据库的异常信息预警方法的计算机终端的硬件结构框图;
图2是根据本申请实施例的一种可选的基于图数据库的异常信息预警方法的流程示意图;
图3是根据本申请实施例的一种可选的基于图数据库的异常信息预警装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外,本申请所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
为了更好地理解本申请实施例,以下将本申请实施例中涉及的技术术语解释如下:
图数据库(Graph Database)是基于图论实现的一种新型NoSQL数据路。他的数据存储结构和数据的查询方式都是以图论为基础的。图论中的图的基本元素为节点和边,在图数据库中对应的就是节点和关系。在图数据库中,数据与数据之间的关系通过节点和关系构成一个图结构并在此结构上实现数据库的所有特性,如对图数据对象进行创建(Create)、读取(Read)、更新(Update)、删除(Delete)等操作的能力,还有处理事务的能力和高可用性等。目前,使用的图数据库的模型主要有三种,分别是:属性图(PropertyGraph)、资源描述框架(RDF)三元组和超图(Hyper Graph),其中,超图是体现多对多的关系,如果使用一条抄边来体现关系,可能会隐藏很多信息,大多数超图都可以转换为属性图。
实施例1
根据本申请实施例,提供了一种基于图数据库的异常信息预警方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现基于图数据库的异常信息预警方法的计算机终端的硬件结构框图。如图1所示,计算机终端10可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的基于图数据库的异常信息预警方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的基于图数据库的异常信息预警方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10的用户界面进行交互。
在上述运行环境下,图2是根据本申请实施例的一种可选的基于图数据库的异常信息预警方法的流程示意图,如图2所示,该方法至少包括步骤S202-S208,其中:
步骤S202,获取目标访问者的目标非告警日志信息。
其中,上述目标非告警日志信息用于记录该目标访问者在目标网站内的行为信息,而该目标网站一般为安全网站,因此,该目标非告警日志信息具体是指访问者的登录记录、访问记录和操作记录等相关信息,而这些日志信息有助于监控访问者的行为活动,识别潜在的安全风险。
步骤S204,依据目标非告警日志信息确定目标访问者的目标访问信息。
由于目标非告警日志信息记录访问者的行为活动信息,因此,可以通过目标非告警日志信息确定该目标访问者在目标网站内的目标访问信息,而该目标访问信息包括但不仅限于:网络流量数据、访问者IP地址、访问服务、访问行为。
步骤S206,确定目标访问信息与预设的图数据库的匹配结果,并在匹配结果为匹配成功时,确定目标访问者所属的目标异常访问组以及目标异常访问组的目标风险等级。
其中,上述图数据库中包括对多个访问者的访问信息进行聚类所得的多个异常访问组,且每个异常访问组的风险等级不同。也就是说,该图数据库内记录了多个由多个异常的访问者的访问信息进行聚类所得的多个异常访问组,且每个异常访问组内对应的风险等级由其对应的日志信息确定,故各个异常访问组的风险等级各不相同。因此,本申请实施例中,在获取到目标非告警日志信息时,首先调用图数据库的查询功能确定存在该目标非告警日志信息的访问者所属的目标异常访问组,则说明图数据库内存在该目标异常访问组,也即该目标非告警日志信息的访问者是已记录的访问者,此时便可以直接确定该目标访问者所属的目标异常访问组,以及该目标异常访问组的目标风险等级,并针对目标风险等级做出相应的预警处理。因此,上述图数据库的构建方法包括如下步骤:
步骤S1,获取多个访问者的日志信息,其中,日志信息包括以下至少之一:告警日志信息、非告警日志信息。
其中,上述告警日志信息具体是指网站系统记录下来的访问者在访问过程中触发的安全警报或者异常情况的记录。这些告警日志信息一般包括:非法访问尝试、恶意软件下载、异常网络流量等类型。因此,告警日志信息包括但不仅限于:访问时间和访问日志、访问者的IP地址、访问的网页或资源、访问行为(如请求方法、访问结果等)、攻击类型、攻击次数、攻击的参数等。而上述非告警日志信息包括但不仅限于:用户访问记录(访问时间、访问页面、访问来源等信息)、网络流量记录(数据传输量、传输速度、传输方向等信息)、系统操作记录(登录记录、文件操作记录、系统配置修改记录等信息)、安全策略记录(防火墙日志、入侵监测日志、安全审计日志等信息)、网络连接记录(连接建立记录、连接断开记录、连接状态记录等信息)、资源访问记录(文件访问记录、数据库访问记录、应用程序访问记录等信息)、应用程序性能记录(CPU使用率、内存使用率、磁盘空间使用率、网络带宽使用率等信息)。
可选地,在上述步骤S1所提供的技术方案中,该方法可以包括如下步骤:
步骤S11,获取多个访问者的初始日志信息;
步骤S12,对各个初始日志信息进行预处理操作,得到处理后的日志信息,其中,预处理操作包括以下至少之一:数据标准化处理、缺失值处理、异常值处理。
具体地,在本申请实施例中,可以利用哈希算法去除初始日志信息内的重复信息,并处理缺失值和异常值,以消除冗余数据和错误数据,之后将处理后的日志信息进行标准化和格式化,以便后续进行准确分析。
步骤S2,基于日志信息确定各个访问者的访问信息,其中,访问信息包括以下至少之一:网络流量数据、访问者IP地址、访问服务、访问行为。
步骤S3,依据访问信息对多个访问者进行聚类操作,确定每个访问者所属的异常访问组,并依据异常访问组内各个访问者的访问信息确定异常访问组的风险等级。
可选地,在上述步骤S3所提供的技术方案中,可以通过如下步骤确定每个访问者所属的异常访问组:
步骤S31,基于访问信息,并利用Jaccard方法计算各个访问者之间的IP相似度;
步骤S32,利用聚类算法对各个访问者之间的IP相似度进行聚类操作,确定每个访问者所属的异常访问组。
具体地,上述步骤S31-S32的具体实现过程可以理解为,首先将各个访问者的访问者IP地址表示为一个集合,且该集合内包括该访问者的IP地址的全部信息。
然后,对于任意两个访问者,利用如下公式计算其访问者IP地址之间的IP相似度:
其中,A和B分别表示两个访问者的IP地址集合,|A∩B|表示这两个集合之间的交集,|A∪B|则表示这两个集合的并集。而所得的IP相似度J(A,B)一般取值在0至1之间,其中,IP相似度越大则表示这两个访问者的访问者IP地址的相似度越高。
最后,利用K-means算法对任意两个访问者之间的IP相似度进行聚合,这样便可以对访问者进行分类或者分组,帮助识别来自相似IP地址的访问者群体,并对它们采用相应的行动,例如识别潜在的恶意访问者时,通过聚合IP相似度得到多个访问者之间的关联关系,从而更高效地对这些恶意访问者进行识别。需要说明的是,K-means算法为现有算法,且本申请实施例中并未对该算法进行改进,故本申请实施例中对K-means算法的具体实现方式不做具体说明。
进一步地,在上述步骤S3所提供的技术方案中,还可以通过如下步骤确定异常访问组的风险等级:
步骤S33,确定异常访问组内的多个访问者的告警日志信息的第一数量,以及告警日志信息与非告警日志信息的第二数量;
步骤S34,依据第一数量和第二数量的第一比值与预设的阈值的大小关系,确定异常访问组对应的风险等级。
具体地,由于访问者的日志信息可能同时包括告警日志信息和非告警日志信息,因此,为了对异常访问组的风险等级进行划分,可以根据该异常访问组内的各个访问者的告警日志信息和非告警日志信息的比例进行确定。具体地,在本申请实施例中,可以将上述阈值设定为包括:第一阈值和第二阈值,且第一阈值大于第二阈值,因此,上述风险等级可以按照如下规则进行划分:
在第一比值不小于第一阈值时,确定风险等级为高风险等级;在第一比值小于第一阈值且不小于第二阈值时,确定风险等级为中风险等级;在第一比值小于第二阈值时,确定风险等级为低风险等级。
举例而言,若第一阈值为70%,第二阈值为30%,则如果第一数量与第二数量的比值超过70%,那么该异常访问组的风险等级可以被判定为高风险;如果第一数量与第二数量的比值在30%至70%之间,那么该异常访问组的风险等级可以被判定为中风险;如果第一数量与第二数量的比值低于30%,那么该异常访问组的风险等级可以被判定为低风险。
需要说明的是,上述针对预设的阈值的设置仅作示例说明,在实际应用中可以结合具体的应用场景进行设置,一般预设的阈值的数量设置的越多,则针对异常访问组划分的越细致,则针对每个异常访问组设置的监测手段和预警操作越准确,效果越好。另外,在本申请实施例中,需要随时监测低风险等级和中风险等级的异常访问组内多个访问者的告警日志信息和非告警日志信息的比例,若监测低风险等级和中风险等级的异常访问组的告警日志信息的占比找过设定的对应等级的阈值时,自动提升该异常访问组的风险等级。
步骤S4,对于每个异常访问组,以异常访问组为图谱主节点,以异常访问组内多个访问者的非告警日志信息为图谱子节点,以异常访问组的风险等级为图谱边线,建立图数据库。
进一步地,在匹配结果为匹配失败时,则说明图数据库内不存在该目标异常访问组时,也即该目标非告警信息的访问者是新的、未记录的访问者,此时可以依据图数据库的构建过程,对该目标非告警信息的访问者进行聚类,确定其所属的目标异常访问组,以及该目标异常访问组的目标风险等级。
具体地,以目标异常访问组为图谱主节点,以目标异常访问组内目标访问者的目标非告警日志信息为图谱子节点,以目标异常访问组的风险等级为图谱边线,更新图数据库。
步骤S208,基于目标风险等级确定对应的目标监控策略和目标方式,并通过目标方式对采用目标监控策略对目标异常访问组进行监控的目标监控结果进行预警处理。
作为一种可选的实施方式,根据目标异常访问组的风险等级分为如下三种不同情况,且针对不同情况,将采用不同的预警处理方式对目标异常访问组进行处理包括:
在目标风险等级为高风险等级时,采用第一监控策略对目标异常访问组内的全部非告警日志信息进行监控,得到第一监控结果,并生成与第一监控结果对应的第一提示信息,其中,第一提示信息用于提示高风险等级的目标异常访问组的全部日志信息;
在目标风险等级为低风险等级时,采用第二监控策略对目标异常访问组内的第三数量的非告警日志信息进行监控,得到第二监控结果,并生成与第二监控结果对应的第一可视化报告,其中,第一可视化报告用于记录低风险等级的目标异常访问组的全部日志信息;
在目标风险等级为中风险等级时,采用第三监控策略对目标异常访问组内的第四数量的非告警日志信息进行监控,得到第三监控结果,并确定第四数量的非告警日志信息内的疑似告警日志信息的第五数量,根据第五数量和第四数量的第二比值和预设的第三阈值的大小关系,生成与第三监控结果对应的第二提示信息或者生成与第三监控结果对应的第二可视化报告,其中,第四数量大于第三数量,在第二比值不小于第三阈值时,生成与第三监控结果对应的第二提示信息;在第二比值小于第三阈值时,生成与第三监控结果对应的第二可视化报告。
本申请实施例中,针对不同风险等级的目标异常访问组,可以设定不同的监控策略,同时,考虑到高风险的异常访问组内各个访问者的非告警日志信息中可能存在一些比较特殊的或是不常见的潜在攻击行为,可以对其潜在攻击行为进行学习,从而更准确地识别潜在攻击。
具体地,针对高风险等级的异常访问组可以设置最严格的监控策略,例如,对该异常访问组内的各个访问者的每一个非告警日志信息均进行分析;针对中风险的异常访问组可以设置相对严格的监控策略,例如,对该异常访问组随机分析阈值为70%的非告警日志信息,其中,分析阈值可以根据实际情况自行设定;针对中风险的异常访问组可以设置相对宽松的监控策略,例如,对该异常访问组随机分析阈值为30%的非告警日志信息,同样地,该分析阈值也可以根据实际需要自行设定。
另外,针对不同风险等级的目标异常访问组,可以通过不同的方式对其监控结果进行预警处理,其中:
当识别出该目标非告警日志对应的目标异常访问组为高风险等级时,可以直接发出与监控结果相关的预警提示信息,例如,可以通过短信,邮件,系统内弹窗警报等形式通知工作人员,以便工作人员及时对进行处理;
当识别出该目标非告警日志对应的目标异常访问组为中风险等级时,可以随时监测非告警日志信息中疑似告警日志信息(即易受到攻击行为威胁,并产生告警的潜在非告警日志信息)的第二比例,当疑似告警日志信息的第二比例超出设定的第三阈值时,可以直接发出与监控结果相关的预警提示信息,例如可以通过短信,邮件,系统内弹窗警报等形式通知工作人员,以便工作人员及时对进行处理;当疑似告警日志信息的第二比例未超出设定的第三阈值时,则可以定期生成与监控结果相关的可视化报告,帮助工作人员更好地理解和分析异常数据;
当识别出该目标非告警日志对应的目标异常访问组为低风险等级时,则定期与监控结果相关的生成可视化报告,帮助工作人员更好地理解和分析异常数据。
基于上述步骤S202至步骤S208所限定的方案,可以获知,在实施例中,获取目标访问者的目标非告警日志信息,其中,目标非告警日志信息用于记录目标访问者在目标网站内的行为信息;依据目标非告警日志信息确定目标访问者的目标访问信息;确定目标访问信息与预设的图数据库的匹配结果,并在匹配结果为匹配成功时,确定目标访问者所属的目标异常访问组以及目标异常访问组的目标风险等级,其中,图数据库内包括对多个访问者的访问信息进行聚类所得的多个异常访问组,且每个异常访问组的风险等级不同;基于目标风险等级确定对应的目标监控策略和目标方式,并通过目标方式对采用目标监控策略对目标异常访问组进行监控的目标监控结果进行预警处理。
由此可见,在本申请实施例的技术方案,通过对各个访问者的访问信息的相似度进行分析,实现对访问者进行聚类形成异常访问组,并确定各个异常访问组的风险等级,以此构建图数据库,以便于快速查找存在非告警日志信息的访问者所在的目标异常访问组,及时识别该目标异常访问组内存在的疑似告警日志信息;针对不同风险等级的异常访问组设定不同的监控策略和预警方式,可以更加准确地进行风险管理和防护,并针对易受到潜在攻击行为威胁的非告警日志信息进行预警,可以保证相关工作人员及时对潜在告警信息进行提前干预和处理,避免后续人工处理非告警日志信息产生的人力、物力资源的浪费,有效提升处理效率,从而解决了相关技术并未考虑各个访问者的访问信息之间的关联关系,导致分每个访问者的异常日志信息的效率和准确率较低的技术问题。
实施例2
基于本申请实施例1,还提供了一种基于图数据库的异常信息预警装置的实施例,该装置运行时执行上述实施例的上述基于图数据库的异常信息预警方法。其中,图3是根据本申请实施例的一种可选的基于图数据库的异常信息预警装置的结构示意图,如图3所示,该基于图数据库的异常信息预警装置中至少包括获取模块31,确定模块32,匹配模块33和预警模块34,其中:
获取模块31,用于获取目标访问者的目标非告警日志信息,其中,目标非告警日志信息用于记录目标访问者在目标网站内的行为信息;
确定模块32,用于依据目标非告警日志信息确定目标访问者的目标访问信息;
匹配模块33,用于确定目标访问信息与预设的图数据库的匹配结果,并在匹配结果为匹配成功时,确定目标访问者所属的目标异常访问组以及目标异常访问组的目标风险等级,其中,图数据库内包括对多个访问者的访问信息进行聚类所得的多个异常访问组,且每个异常访问组的风险等级不同;
预警模块34,用于基于目标风险等级确定对应的目标监控策略和目标方式,并通过目标方式对采用目标监控策略对目标异常访问组进行监控的目标监控结果进行预警处理。
需要说明的是,上述基于图数据库的异常信息预警装置中的各个模块可以是程序模块(例如是实现某种特定功能的程序指令集合),也可以是硬件模块,对于后者,其可以表现为以下形式,但不限于此:上述各个模块的表现形式均为一个处理器,或者,上述各个模块的功能通过一个处理器实现。
实施例3
根据本申请实施例,还提供了一种非易失性存储介质,该非易失性存储介质中存储有程序,其中,在程序运行时控制非易失性存储介质所在设备执行实施例1中的基于图数据库的异常信息预警方法。
可选地,非易失性存储介质所在设备通过运行该程序执行实现以下步骤:
步骤S202,获取目标访问者的目标非告警日志信息,其中,目标非告警日志信息用于记录目标访问者在目标网站内的行为信息;
步骤S204,依据目标非告警日志信息确定目标访问者的目标访问信息;
步骤S206,确定目标访问信息与预设的图数据库的匹配结果,并在匹配结果为匹配成功时,确定目标访问者所属的目标异常访问组以及目标异常访问组的目标风险等级,其中,图数据库内包括对多个访问者的访问信息进行聚类所得的多个异常访问组,且每个异常访问组的风险等级不同;
步骤S208,基于目标风险等级确定对应的目标监控策略和目标方式,并通过目标方式对采用目标监控策略对目标异常访问组进行监控的目标监控结果进行预警处理。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种基于图数据库的异常信息预警方法,其特征在于,包括:
获取目标访问者的目标非告警日志信息,其中,所述目标非告警日志信息用于记录所述目标访问者在目标网站内的行为信息;
依据所述目标非告警日志信息确定所述目标访问者的目标访问信息;
确定所述目标访问信息与预设的图数据库的匹配结果,并在所述匹配结果为匹配成功时,确定所述目标访问者所属的目标异常访问组以及所述目标异常访问组的目标风险等级,其中,所述图数据库内包括对多个访问者的访问信息进行聚类所得的多个异常访问组,且每个所述异常访问组的风险等级不同;
基于所述目标风险等级确定对应的目标监控策略和目标方式,并通过所述目标方式对采用所述目标监控策略对所述目标异常访问组进行监控的目标监控结果进行预警处理。
2.根据权利要求1所述的方法,其特征在于,所述图数据库的构建方法包括:
获取多个访问者的日志信息,其中,所述日志信息包括以下至少之一:告警日志信息、非告警日志信息;
基于所述日志信息确定各个所述访问者的访问信息,其中,所述访问信息包括以下至少之一:网络流量数据、访问者IP地址、访问服务、访问行为;
依据所述访问信息对多个所述访问者进行聚类操作,确定每个所述访问者所属的异常访问组,并依据所述异常访问组内各个所述访问者的访问信息确定所述异常访问组的风险等级;
对于每个所述异常访问组,以所述异常访问组为图谱主节点,以所述异常访问组内多个所述访问者的非告警日志信息为图谱子节点,以所述异常访问组的风险等级为图谱边线,建立所述图数据库。
3.根据权利要求2所述的方法,其特征在于,获取多个访问者的日志信息,包括:
获取多个所述访问者的初始日志信息;
对各个所述初始日志信息进行预处理操作,得到处理后的所述日志信息,其中,所述预处理操作包括以下至少之一:数据标准化处理、缺失值处理、异常值处理。
4.根据权利要求2所述的方法,其特征在于,依据所述访问信息对多个所述访问者进行聚类操作,确定每个所述访问者所属的异常访问组,包括:
基于所述访问信息,并利用Jaccard方法计算各个所述访问者之间的IP相似度;
利用聚类算法对各个所述访问者之间的IP相似度进行聚类操作,确定每个所述访问者所属的异常访问组。
5.根据权利要求2所述的方法,其特征在于,依据所述异常访问组内各个所述访问者的访问信息确定所述异常访问组的风险等级,包括:
确定所述异常访问组内的多个访问者的告警日志信息的第一数量,以及所述告警日志信息与所述非告警日志信息的第二数量;
依据所述第一数量和所述第二数量的第一比值与预设的阈值的大小关系,确定所述异常访问组对应的风险等级。
6.根据权利要求5所述的方法,其特征在于,所述阈值包括:第一阈值和第二阈值,且所述第一阈值大于所述第二阈值,其中,依据所述第一数量和所述第二数量的第一比值与预设的阈值的大小关系,确定所述异常访问组对应的风险等级,包括:
在所述第一比值不小于所述第一阈值时,确定所述风险等级为高风险等级;
在所述第一比值小于所述第一阈值且不小于所述第二阈值时,确定所述风险等级为中风险等级;
在所述第一比值小于所述第二阈值时,确定所述风险等级为低风险等级。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述匹配结果为匹配失败时,以所述目标异常访问组为图谱主节点,以所述目标异常访问组内所述目标访问者的目标非告警日志信息为图谱子节点,以所述目标异常访问组的风险等级为图谱边线,更新所述图数据库。
8.根据权利要求6所述的方法,其特征在于,基于所述目标风险等级确定对应的目标监控策略和目标方式,并通过所述目标方式对采用所述目标监控策略对所述目标异常访问组进行监控的目标监控结果进行预警处理,包括:
在所述目标风险等级为所述高风险等级时,采用第一监控策略对所述目标异常访问组内的全部非告警日志信息进行监控,得到第一监控结果,并生成与所述第一监控结果对应的第一提示信息,其中,所述第一提示信息用于提示高风险等级的所述目标异常访问组的全部日志信息;
在所述目标风险等级为所述低风险等级时,采用第二监控策略对所述目标异常访问组内的第三数量的非告警日志信息进行监控,得到第二监控结果,并生成与所述第二监控结果对应的第一可视化报告,其中,所述第一可视化报告用于记录低风险等级的所述目标异常访问组的全部日志信息;
在所述目标风险等级为所述中风险等级时,采用第三监控策略对所述目标异常访问组内的第四数量的非告警日志信息进行监控,得到第三监控结果,并确定第四数量的所述非告警日志信息内的疑似告警日志信息的第五数量,根据所述第五数量和所述第四数量的第二比值和预设的第三阈值的大小关系,生成与所述第三监控结果对应的第二提示信息或者生成与所述第三监控结果对应的第二可视化报告,其中,所述第四数量大于所述第三数量,在所述第二比值不小于所述第三阈值时,生成与所述第三监控结果对应的所述第二提示信息;在所述第二比值小于所述第三阈值时,生成与所述第三监控结果对应的所述第二可视化报告。
9.一种基于图数据库的异常信息预警装置,其特征在于,包括:
获取模块,用于获取目标访问者的目标非告警日志信息,其中,所述目标非告警日志信息用于记录所述目标访问者在目标网站内的行为信息;
确定模块,用于依据所述目标非告警日志信息确定所述目标访问者的目标访问信息;
匹配模块,用于确定所述目标访问信息与预设的图数据库的匹配结果,并在所述匹配结果为匹配成功时,确定所述目标访问者所属的目标异常访问组以及所述目标异常访问组的目标风险等级,其中,所述图数据库内包括对多个访问者的访问信息进行聚类所得的多个异常访问组,且每个所述异常访问组的风险等级不同;
预警模块,用于基于所述目标风险等级确定对应的目标监控策略和目标方式,并通过所述目标方式对采用所述目标监控策略对所述目标异常访问组进行监控的目标监控结果进行预警处理。
10.一种非易失性存储介质,其特征在于,所述非易失性存储介质中存储有计算机程序,其中,所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至8中任意一项所述的基于图数据库的异常信息预警方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410028571.XA CN117914572A (zh) | 2024-01-08 | 2024-01-08 | 基于图数据库的异常信息预警方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410028571.XA CN117914572A (zh) | 2024-01-08 | 2024-01-08 | 基于图数据库的异常信息预警方法、装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117914572A true CN117914572A (zh) | 2024-04-19 |
Family
ID=90683162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410028571.XA Pending CN117914572A (zh) | 2024-01-08 | 2024-01-08 | 基于图数据库的异常信息预警方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117914572A (zh) |
-
2024
- 2024-01-08 CN CN202410028571.XA patent/CN117914572A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12047396B2 (en) | System and method for monitoring security attack chains | |
CN114584405B (zh) | 一种电力终端安全防护方法及系统 | |
US10885185B2 (en) | Graph model for alert interpretation in enterprise security system | |
Bryant et al. | Improving SIEM alert metadata aggregation with a novel kill-chain based classification model | |
US20220263860A1 (en) | Advanced cybersecurity threat hunting using behavioral and deep analytics | |
CN113486351A (zh) | 一种民航空管网络安全检测预警平台 | |
EP4333373A2 (en) | System and method for gathering, analyzing, and reporting global cybersecurity threats | |
JP2014112400A (ja) | アソシエーションルールマイニングを使用してコンピュータ環境内の計算エンティティ向けコンフィギュレーションルールを生成するための方法及び装置 | |
US11431792B2 (en) | Determining contextual information for alerts | |
US20210281609A1 (en) | Rating organization cybersecurity using probe-based network reconnaissance techniques | |
EP3329640B1 (en) | Network operation | |
CN103563302A (zh) | 网络资产信息管理 | |
EP3742700B1 (en) | Method, product, and system for maintaining an ensemble of hierarchical machine learning models for detection of security risks and breaches in a network | |
CN112416872A (zh) | 一种基于大数据的云平台日志管理系统 | |
CN114338372A (zh) | 网络信息安全监控方法及系统 | |
CN108833442A (zh) | 一种分布式网络安全监控装置及其方法 | |
CN110598959A (zh) | 一种资产风险评估方法、装置、电子设备及存储介质 | |
CN116545678A (zh) | 网络安全防护方法、装置、计算机设备和存储介质 | |
CN115189963A (zh) | 异常行为检测方法、装置、计算机设备及可读存储介质 | |
CN112650180B (zh) | 安全告警方法、装置、终端设备及存储介质 | |
JP6616045B2 (ja) | 異種混在アラートのグラフベース結合 | |
US10909242B2 (en) | System and method for detecting security risks in a computer system | |
CN117914572A (zh) | 基于图数据库的异常信息预警方法、装置 | |
CN112801453B (zh) | 一种风险评估方法、装置、终端和存储介质 | |
US20240036963A1 (en) | Multi-contextual anomaly detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |