CN110266673A - 基于大数据的安全策略优化处理方法和装置 - Google Patents
基于大数据的安全策略优化处理方法和装置 Download PDFInfo
- Publication number
- CN110266673A CN110266673A CN201910501723.2A CN201910501723A CN110266673A CN 110266673 A CN110266673 A CN 110266673A CN 201910501723 A CN201910501723 A CN 201910501723A CN 110266673 A CN110266673 A CN 110266673A
- Authority
- CN
- China
- Prior art keywords
- journal file
- interface
- tactics
- prevention
- precaution tactics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种基于大数据的安全策略优化处理方法和装置。该方法包括:获取用户上传的上传日志文件以及该日志文件对应的防范策略;在预定防范规则对应的日志文件的数量达到阈值的情况下,将日志文件和防范规则作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该防范规则的训练模型;将待识别的日志文件分别输入到多个训练模型中,获取日志文件跟每个训练模型所对应的概率值;将组合好的防范策略提示给预定的日志文件的上传者。通过本申请解决了相关技术中针对网络攻击人工定义防范策略不够精确以及通过机器学习训练模型来制定防范策略缺少训练数据的问题。进而降低了在制定防范策略过程中对人的依赖。
Description
技术领域
本申请涉及机器学习领域,具体而言,涉及一种基于大数据的安全策略优化处理方法和装置。
背景技术
在现有技术中,网络攻击多种多样。目前网络攻击的防范基本上依靠人工制定策略。这样需要每一个网络管理员都具有丰富的经验,这在某种程度上是不可能的。
随着机器学习的发展,很多机器学习的模型已经被开源,通过机器学习来制定网络攻击的防范策略有一个很重要的前提,就是需要大量的训练数据。网络攻击和其对应的防范策略作为训练数据作为单个的管理员来首一般不容易获取到。所以机器学习的模型好搭建,困难的是如何能够获取到大量的训练数据。
针对相关技术中针对网络攻击人工定义防范策略不够精确以及通过机器学习训练模型来制定防范策略缺少训练数据的问题,目前没有提出很好的解决方式。
发明内容
本申请提供一种基于大数据的安全策略优化处理方法和装置,以解决相关技术中针对网络攻击人工定义防范策略不够精确以及通过机器学习训练模型来制定防范策略缺少训练数据的问题。
根据本申请的一个方面,提供了一种基于大数据的安全策略优化处理方法,包括:获取用户上传的上传日志文件以及该日志文件对应的防范策略,所述日志文件是被攻击的服务器记录下来的日志文件,所述防范策略是在所述服务器被攻击时所采用的防范策略,其中,所述防范策略中包括至少一条防范规则;统计每一条防范规则对应的日志文件的数量;在预定防范规则对应的日志文件的数量达到阈值的情况下,将所述日志文件和防范规则作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该防范规则的训练模型,在该步骤被重复的情况下,分别得到多个与不同防范规则对应的训练模型;获取待识别的日志文件;将所述待识别的日志文件分别输入到所述多个训练模型中,获取所述日志文件跟每个训练模型所对应的概率值;获取所述概率值超过阈值的至少一个防范规则,并将所述至少一个防范规则组合成防范策略;将组合好的防范策略提示给所述预定的日志文件的上传者。
进一步地,获取所述用户上传的上传日志文件以及该日志文件对应的防范策略包括:提供第一接口,其中,所述第一接口用于上传日志文件以及该日志文件对应的防范策略;通过所述第一接口获取所述用户上传的志文件以及该日志文件对应的防范策略。
进一步地,获取所述待识别的日志文件包括:提供第二接口,其中,所述第二接口用于上传所述待识别的日志文件;通过所述第二接口获取所述获取待识别的日志文件。
进一步地,所述第一接口和所述第二接口是通过网页提供的。
根据本申请的另一个方面,还提供了一种基于大数据的安全策略优化处理装置,包括:第一获取模块,用于获取用户上传的上传日志文件以及该日志文件对应的防范策略,所述日志文件是被攻击的服务器记录下来的日志文件,所述防范策略是在所述服务器被攻击时所采用的防范策略,其中,所述防范策略中包括至少一条防范规则;统计模块,用于统计每一条防范规则对应的日志文件的数量;训练模块,用于在预定防范规则对应的日志文件的数量达到阈值的情况下,将所述日志文件和防范规则作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该防范规则的训练模型,在该步骤被重复的情况下,分别得到多个与不同防范规则对应的训练模型;第二获取模块,用于获取待识别的日志文件;输入模块,用于将所述待识别的日志文件分别输入到所述多个训练模型中,获取所述日志文件跟每个训练模型所对应的概率值;第三获取模块,用于获取所述概率值超过阈值的至少一个防范规则,并将所述至少一个防范规则组合成防范策略;提示模块,用于将组合好的防范策略提示给所述预定的日志文件的上传者。
进一步地,所述第一获取模块用于:提供第一接口,其中,所述第一接口用于上传日志文件以及该日志文件对应的防范策略;通过所述第一接口获取所述用户上传的志文件以及该日志文件对应的防范策略。
进一步地,所述第二获取模块用于:提供第二接口,其中,所述第二接口用于上传所述待识别的日志文件;通过所述第二接口获取所述获取待识别的日志文件。
进一步地,所述第一接口和所述第二接口是通过网页提供的。
根据本申请的另一个方面,还提供了一种存储器,用于存储软件,其中,所述软件用于执行上述的方法。
根据本申请的另一个方面,还提供了一种处理器,用于执行软件,其中,所述软件用于执行上述的方法。
通过本申请,采用以下步骤:获取用户上传的上传日志文件以及该日志文件对应的防范策略,所述日志文件是被攻击的服务器记录下来的日志文件,所述防范策略是在所述服务器被攻击时所采用的防范策略,其中,所述防范策略中包括至少一条防范规则;统计每一条防范规则对应的日志文件的数量;在预定防范规则对应的日志文件的数量达到阈值的情况下,将所述日志文件和防范规则作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该防范规则的训练模型,在该步骤被重复的情况下,分别得到多个与不同防范规则对应的训练模型;获取待识别的日志文件;将所述待识别的日志文件分别输入到所述多个训练模型中,获取所述日志文件跟每个训练模型所对应的概率值;获取所述概率值超过阈值的至少一个防范规则,并将所述至少一个防范规则组合成防范策略;将组合好的防范策略提示给所述预定的日志文件的上传者。通过本申请解决了相关技术中针对网络攻击人工定义防范策略不够精确以及通过机器学习训练模型来制定防范策略缺少训练数据的问题。进而降低了在制定防范策略过程中对人的依赖。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的基于大数据的安全策略优化处理方法的流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
网络攻击的类型有很多种,下面列举四个大类。
1、服务拒绝攻击
服务拒绝攻击企图通过使服务计算机崩溃或把它压跨来阻止提供服务,服务拒绝攻击是最容易实施的攻击行为,主要包括:
死亡之ping(ping ofdeath)
概览:由于在早期的阶段,路由器对包的最大尺寸都有限制,许多操作系统对TCP/IP栈的实现在ICMP包上都是规定64KB,并且在对包的标题头进行读取之后,要根据该标题头里包含的信息来为有效载荷生成缓冲区,当产生畸形的,声称自己的尺寸超过ICMP上限的包也就是加载的尺寸超过64K上限时,就会出现内存分配错误,导致TCP/IP堆栈崩溃,致使接受方当机。
防御:现在所有的标准TCP/IP实现都已实现对付超大尺寸的包,并且大多数防火墙能够自动过滤这些攻击,包括:从windows98之后的windows,NT(service pack 3之后),linux、Solaris、和Mac OS都具有抵抗一般ping ofdeath攻击的能力。此外,对防火墙进行配置,阻断ICMP以及任何未知协议,都讲防止此类攻击。
泪滴(teardrop)
概览:泪滴攻击利用那些在TCP/IP堆栈实现中信任IP碎片中的包的标题头所包含的信息来实现自己的攻击。IP分段含有指示该分段所包含的是原包的哪一段的信息,某些TCP/IP(包括servicepack 4以前的NT)在收到含有重叠偏移的伪造分段时将崩溃。
防御:服务器应用最新的服务包,或者在设置防火墙时对分段进行重组,而不是转发它们。
UDP洪水(UDP flood)
概览:各种各样的假冒攻击利用简单的TCP/IP服务,如Chargen和Echo来传送毫无用处的占满带宽的数据。通过伪造与某一主机的Chargen服务之间的一次的UDP连接,回复地址指向开着Echo服务的一台主机,这样就生成在两台主机之间的足够多的无用数据流,如果足够多的数据流就会导致带宽的服务攻击。
防御:关掉不必要的TCP/IP服务,或者对防火墙进行配置阻断来自Internet的请求这些服务的UDP请求。
SYN洪水(SYN flood)
概览:一些TCP/IP栈的实现只能等待从有限数量的计算机发来的ACK消息,因为他们只有有限的内存缓冲区用于创建连接,如果这一缓冲区充满了虚假连接的初始信息,该服务器就会对接下来的连接停止响应,直到缓冲区里的连接企图超时。在一些创建连接不受限制的实现里,SYN洪水具有类似的影响。
防御:在防火墙上过滤来自同一主机的后续连接。
Land攻击
概览:在Land攻击中,一个特别打造的SYN包它的原地址和目标地址都被设置成某一个服务器地址,此举将导致接受服务器向它自己的地址发送SYN-ACK消息,结果这个地址又发回ACK消息并创建一个空连接,每一个这样的连接都将保留直到超时掉,对Land攻击反应不同,许多UNIX实现将崩溃,NT变的极其缓慢(大约持续五分钟)。
防御:打最新的补丁,或者在防火墙进行配置,将那些在外部接口上入站的含有内部源地址滤掉。(包括10域、127域、192.168域、172.16到172.31域)
Smurf攻击
概览:一个简单的smurf攻击通过使用将回复地址设置成受害网络的广播地址的ICMP应答请求(ping)数据包来淹没受害主机的方式进行,最终导致该网络的所有主机都对此ICMP应答请求作出答复,导致网络阻塞,比pingofdeath洪水的流量高出一或两个数量级。更加复杂的Smurf将源地址改为第三方的受害者,最终导致第三方雪崩。
防御:为了防止黑客利用你的网络攻击他人,关闭外部路由器或防火墙的广播地址特性。为防止被攻击,在防火墙上设置规则,丢弃掉ICMP包。
Fraggle攻击
概览:Fraggle攻击对Smurf攻击作了简单的修改,使用的是UDP应答消息而非ICMP
防御:在防火墙上过滤掉UDP应答消息
电子邮件炸弹
概览:电子邮件炸弹是最古老的匿名攻击之一,通过设置一台机器不断的大量的向同一地址发送电子邮件,攻击者能够耗尽接受者网络的带宽。
防御:对邮件地址进行配置,自动删除来自同一主机的过量或重复的消息。
畸形消息攻击
概览:各类操作系统上的许多服务都存在此类问题,由于这些服务在处理信息之前没有进行适当正确的错误校验,在收到畸形的信息可能会崩溃。
防御:打最新的服务补丁。
2、利用型攻击
利用型攻击是一类试图直接对你的机器进行控制的攻击,最常见的有三种:
口令猜测
概览:一旦黑客识别了一台主机而且发现了基于NetBIOS、Telnet或NFS这样的服务的可利用的用户帐号,成功的口令猜测能提供对机器控制。
防御:要选用难以猜测的口令,比如词和标点符号的组合。确保像NFS、NetBIOS和Telnet这样可利用的服务不暴露在公共范围。如果该服务支持锁定策略,就进行锁定。
特洛伊木马
概览:特洛伊木马是一种或是直接由一个黑客,或是通过一个不令人起疑的用户秘密安装到目标系统的程序。一旦安装成功并取得管理员权限,安装此程序的人就可以直接远程控制目标系统。最有效的一种叫做后门程序,恶意程序包括:NetBus、BackOrifice和BO2k,用于控制系统的良性程序如:netcat、VNC、pcAnywhere。理想的后门程序透明运行。
防御:避免下载可疑程序并拒绝执行,运用网络扫描软件定期监视内部主机上的监听TCP服务。
缓冲区溢出
概览:由于在很多的服务程序中大意的程序员使用象strcpy(),strcat()类似的不进行有效位检查的函数,最终可能导致恶意用户编写一小段利用程序来进一步打开安全豁口然后将该代码缀在缓冲区有效载荷末尾,这样当发生缓冲区溢出时,返回指针指向恶意代码,这样系统的控制权就会被夺取。
防御:利用SafeLib、tripwire这样的程序保护系统,或者浏览最新的安全公告不断更新操作系统。
3、信息收集型攻击
信息收集型攻击并不对目标本身造成危害,如名所示这类攻击被用来为进一步入侵提供有用的信息。主要包括:扫描技术、体系结构刺探、利用信息服务。
扫描技术
地址扫描
概览:运用ping这样的程序探测目标地址,对此作出响应的表示其存在。
防御:在防火墙上过滤掉ICMP应答消息。
端口扫描
概览:通常使用一些软件,向大范围的主机连接一系列的TCP端口,扫描软件报告它成功的建立了连接的主机所开的端口。
防御:许多防火墙能检测到是否被扫描,并自动阻断扫描企图。
反响映射
概览:黑客向主机发送虚假消息,然后根据返回“hostunreachable”这一消息特征判断出哪些主机是存在的。目前由于正常的扫描活动容易被防火墙侦测到,黑客转而使用不会触发防火墙规则的常见消息类型,这些类型包括:RESET消息、SYN-ACK消息、DNS响应包。
防御:NAT和非路由代理服务器能够自动抵御此类攻击,也可以在防火墙上过滤“hostunreachable”ICMP应答。
慢速扫描
概览:由于一般扫描侦测器的实现是通过监视某个时间桢里一台特定主机发起的连接的数目(例如每秒10次)来决定是否在被扫描,这样黑客可以通过使用扫描速度慢一些的扫描软件进行扫描。
防御:通过引诱服务来对慢速扫描进行侦测。
体系结构探测
概览:黑客使用具有已知响应类型的数据库的自动工具,对来自目标主机的、对坏数据包传送所作出的响应进行检查。由于每种操作系统都有其独特的响应方法(例NT和Solaris的TCP/IP堆栈具体实现有所不同),通过将此独特的响应与数据库中的已知响应进行对比,黑客经常能够确定出目标主机所运行的操作系统。
防御:去掉或修改各种Banner,包括操作系统和各种应用服务的,阻断用于识别的端口扰乱对方的攻击计划。
利用信息服务
DNS域转换
概览:DNS协议不对转换或信息性的更新进行身份认证,这使得该协议被人以一些不同的方式加以利用。如果你维护着一台公共的DNS服务器,黑客只需实施一次域转换操作就能得到你所有主机的名称以及内部IP地址。
防御:在防火墙处过滤掉域转换请求。
Finger服务
概览:黑客使用finger命令来刺探一台finger服务器以获取关于该系统的用户的信息。
防御:关闭finger服务并记录尝试连接该服务的对方IP地址,或者在防火墙上进行过滤。
LDAP服务
概览:黑客使用LDAP协议窥探网络内部的系统和它们的用户的信息。
防御:对于刺探内部网络的LDAP进行阻断并记录,如果在公共机器上提供LDAP服务,那么应把LDAP服务器放入DMZ。
4、假消息攻击
用于攻击目标配置不正确的消息,主要包括:DNS高速缓存污染、伪造电子邮件。
DNS高速缓存污染
概览:由于DNS服务器与其他名称服务器交换信息的时候并不进行身份验证,这就使得黑客可以将不正确的信息掺进来并把用户引向黑客自己的主机。
防御:在防火墙上过滤入站的DNS更新,外部DNS服务器不应能更改你的内部服务器对内部机器的认识。
伪造电子邮件
概览:由于SMTP并不对邮件的发送者的身份进行鉴定,因此黑客可以对你的内部客户伪造电子邮件,声称是来自某个客户认识并相信的人,并附带上可安装的特洛伊木马程序,或者是一个引向恶意网站的连接。
防御:使用PGP等安全工具并安装电子邮件证书。
一般服务器遭受到攻击的时候,都会留下日志文件,这份日志文件中会记录遭受攻击时的网络状况,并且这份日志文件还会记录防范策略生效后的处理的。所以一般都可以根据日志文件找到日志文件所记录下的攻击行为以及所采用的防范策略。在本申请中,提供了一个服务平台,在该服务平台鼓励大家上传这些日志文件和所采用的防范策略,例如,可以提供有偿服务。对于用户上传的策略和日志文件可以采用权限控制,让用户自行选择该日志文件是否公开,如果选择不公开,则仅仅用于训练。如果选择公开,除了用于训练之外,还可以让其他用户浏览这些文件和策略。为了进一步保护隐私,上传到的平台上的日志文件可以用一个小功能将日志文件中的关键信息进行替换,例如,可以把IP地址换成一个通用的IP地址,这样也可以保护用户的隐私,使用户放心上传。
在本实施例中提供了一种基于大数据的安全策略优化处理方法,图1是根据本发明实施例的基于大数据的安全策略优化处理方法的流程图,如图1所示,该流程包括如下步骤:
步骤S102,获取用户上传的上传日志文件以及该日志文件对应的防范策略,该日志文件是被攻击的服务器记录下来的日志文件,该防范策略是在该服务器被攻击时所采用的防范策略,其中,该防范策略中包括至少一条防范规则;
在上文中列举了一条策略:打最新的补丁,或者在防火墙进行配置,将那些在外部接口上入站的含有内部源地址滤掉。(包括10域、127域、192.168域、172.16到172.31域)。在这条策略中,有多个规则,例如将10域的IP地址过滤掉就是其中的一条规则,这些规则可以单独进行统计。
步骤S104,统计每一条防范规则对应的日志文件的数量;
作为一个可选实施例,可以统计一条规则的日志文件的数量,或者也可以统计一组防范规则对应的日志文件的数量,该一组规则可以包括至少一条防范规则。
步骤S106,在预定防范规则对应的日志文件的数量达到阈值的情况下,将该日志文件和防范规则作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该防范规则的训练模型,在该步骤被重复的情况下,分别得到多个与不同防范规则对应的训练模型;
在该步骤中,如果一条防范规则所得到的日志数量在一段时间内仍然没有收集全,此时,可以将防范规则合并,例如,A防范规则收集到1000条日志,B防范规则收集到9000条日志,此时可以将A防范规则和B防范规则合并进行训练,此时训练出来的模型,每次给出的规则就是A和B两条。
在一个比较优的实施方式中,在训练好模型之后,也可以继续收集日志文件。当再收集到的日志文件达到一定数量之后,加上原有的日志文件可以在对该模型重新进行训练。由于重新训练出的模型不一定比原来的模型更加优秀,所以,可以采用一种策略,就是重新收集到的日志文件和该文件对应的策略用来进行验证,把这些日志文件放入到模型当中,如果结果和用户上传的结果相同,则认为模型可靠。如果重新收集到的日志文件超过一个比例(例如,百分之20)都验证失败,则将这些新收集到的日志文件和原来的日志文件一起再对模型进行训练。如果新收集到的日志文件验证可靠度高,则不再重新进行训练。
步骤S108,获取待识别的日志文件;将该待识别的日志文件分别输入到该多个训练模型中,获取该日志文件跟每个训练模型所对应的概率值;
在获取到带识别的日志文件之后,可以直接将带识别的日志文件输入到训练模型中,或者,也可以对待识别的日志文件进行人工标注,确定这些日志文件中是否存在攻击行为,对于存在攻击行为的输入到训练模型中。或者可以预先制定一些规则,根据这些规则自动判断是否存在攻击行为,如果判断出存在攻击行为再输入到训练模型中。
步骤S110,获取该概率值超过阈值的至少一个防范规则,并将该至少一个防范规则组合成防范策略;将组合好的防范策略提示给该预定的日志文件的上传者。
作为一个可选的方式,将防范策略提示给上传者以后,还可以把这些防范策略中对应的规则对应的原始日志文件公开给上传者,也就是把原始用来训练的数据提供出来,有利于用作判断。当然,这是有前提的,就是原始日志文件的权限是可以公开的。
作为另一个更好的方式,如果得到该防范策略的用户对防范策略进行了修改,可以把修改之后的防范策略再上传回来,此时这个日志文件和防范策略可以作为下一次训练所使用的训练数据。
通过上述步骤解决了相关技术中针对网络攻击人工定义防范策略不够精确以及通过机器学习训练模型来制定防范策略缺少训练数据的问题。进而降低了在制定防范策略过程中对人的依赖。
作为一个可选实施方式,获取该用户上传的上传日志文件以及该日志文件对应的防范策略包括:提供第一接口,其中,该第一接口用于上传日志文件以及该日志文件对应的防范策略;通过该第一接口获取该用户上传的志文件以及该日志文件对应的防范策略。
作为一个可选实施方式,获取该待识别的日志文件包括:提供第二接口,其中,该第二接口用于上传该待识别的日志文件;通过该第二接口获取该获取待识别的日志文件。
作为一个可选实施方式,该第一接口和该第二接口是通过网页提供的。
在本实施例中,还提供了一种基于大数据的安全策略优化处理装置,该装置包括:第一获取模块,用于获取用户上传的上传日志文件以及该日志文件对应的防范策略,该日志文件是被攻击的服务器记录下来的日志文件,该防范策略是在该服务器被攻击时所采用的防范策略,其中,该防范策略中包括至少一条防范规则;统计模块,用于统计每一条防范规则对应的日志文件的数量;训练模块,用于在预定防范规则对应的日志文件的数量达到阈值的情况下,将该日志文件和防范规则作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该防范规则的训练模型,在该步骤被重复的情况下,分别得到多个与不同防范规则对应的训练模型;第二获取模块,用于获取待识别的日志文件;输入模块,用于将该待识别的日志文件分别输入到该多个训练模型中,获取该日志文件跟每个训练模型所对应的概率值;第三获取模块,用于获取该概率值超过阈值的至少一个防范规则,并将该至少一个防范规则组合成防范策略;提示模块,用于将组合好的防范策略提示给该预定的日志文件的上传者。
作为一个可选实施方式,该第一获取模块用于:提供第一接口,其中,该第一接口用于上传日志文件以及该日志文件对应的防范策略;通过该第一接口获取该用户上传的志文件以及该日志文件对应的防范策略。
作为一个可选实施方式,该第二获取模块用于:提供第二接口,其中,该第二接口用于上传该待识别的日志文件;通过该第二接口获取该获取待识别的日志文件。
作为一个可选实施方式,该第一接口和该第二接口是通过网页提供的。
在本实施例中,提供了一种存储器,用于存储软件,其中,该软件用于执行上述的方法。
在本实施例中,提供了一种处理器,用于执行软件,其中,该软件用于执行上述的方法。
Claims (10)
1.一种基于大数据的安全策略优化处理方法,其特征在于,包括:
获取用户上传的上传日志文件以及该日志文件对应的防范策略,所述日志文件是被攻击的服务器记录下来的日志文件,所述防范策略是所述防范策略是在所述服务器被攻击时所采用的防范策略,其中,所述防范策略中包括至少一条防范规则;
统计每一条防范规则对应的日志文件的数量;
在预定防范规则对应的日志文件的数量达到阈值的情况下,将所述日志文件和防范规则作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该防范规则的训练模型,在该步骤被重复的情况下,分别得到多个与不同防范规则对应的训练模型;
获取待识别的日志文件;
将所述待识别的日志文件分别输入到所述多个训练模型中,获取所述日志文件跟每个训练模型所对应的概率值;
获取所述概率值超过阈值的至少一个防范规则,并将所述至少一个防范规则组合成防范策略;
将组合好的防范策略提示给所述预定的日志文件的上传者。
2.根据权利要求1所述的方法,其特征在于,获取所述用户上传的上传日志文件以及该日志文件对应的防范策略包括:
提供第一接口,其中,所述第一接口用于上传日志文件以及该日志文件对应的防范策略;
通过所述第一接口获取所述用户上传的志文件以及该日志文件对应的防范策略。
3.根据权利要求1所述的方法,其特征在于,获取所述待识别的日志文件包括:
提供第二接口,其中,所述第二接口用于上传所述待识别的日志文件;
通过所述第二接口获取所述获取待识别的日志文件。
4.根据权利要求2和3所述的方法,其特征在于,所述第一接口和所述第二接口是通过网页提供的。
5.一种基于大数据的安全策略优化处理装置,其特征在于,包括:
第一获取模块,用于获取用户上传的上传日志文件以及该日志文件对应的防范策略,所述日志文件是被攻击的服务器记录下来的日志文件,所述防范策略是在所述服务器被攻击时所采用的防范策略,其中,所述防范策略中包括至少一条防范规则;
统计模块,用于统计每一条防范规则对应的日志文件的数量;
训练模块,用于在预定防范规则对应的日志文件的数量达到阈值的情况下,将所述日志文件和防范规则作为训练数据输入到预先配置的机器学习模型当中进行训练得到对应于该防范规则的训练模型,在该步骤被重复的情况下,分别得到多个与不同防范规则对应的训练模型;
第二获取模块,用于获取待识别的日志文件;
输入模块,用于将所述待识别的日志文件分别输入到所述多个训练模型中,获取所述日志文件跟每个训练模型所对应的概率值;
第三获取模块,用于获取所述概率值超过阈值的至少一个防范规则,并将所述至少一个防范规则组合成防范策略;
提示模块,用于将组合好的防范策略提示给所述预定的日志文件的上传者。
6.根据权利要求5所述的装置,其特征在于,所述第一获取模块用于:
提供第一接口,其中,所述第一接口用于上传日志文件以及该日志文件对应的防范策略;
通过所述第一接口获取所述用户上传的志文件以及该日志文件对应的防范策略。
7.根据权利要求5所述的装置,其特征在于,所述第二获取模块用于:
提供第二接口,其中,所述第二接口用于上传所述待识别的日志文件;
通过所述第二接口获取所述获取待识别的日志文件。
8.根据权利要求6和7所述的装置,其特征在于,所述第一接口和所述第二接口是通过网页提供的。
9.一种存储器,其特征在于,用于存储软件,其中,所述软件用于执行权利要求1至4中任一项所述的方法。
10.一种处理器,其特征在于,用于执行软件,其中,所述软件用于执行权利要求1至4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910501723.2A CN110266673B (zh) | 2019-06-11 | 2019-06-11 | 基于大数据的安全策略优化处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910501723.2A CN110266673B (zh) | 2019-06-11 | 2019-06-11 | 基于大数据的安全策略优化处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110266673A true CN110266673A (zh) | 2019-09-20 |
CN110266673B CN110266673B (zh) | 2021-10-08 |
Family
ID=67917573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910501723.2A Active CN110266673B (zh) | 2019-06-11 | 2019-06-11 | 基于大数据的安全策略优化处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110266673B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111582474A (zh) * | 2020-04-24 | 2020-08-25 | 中科物栖(北京)科技有限责任公司 | 神经网络结构探测方法、结构探测模型的训练方法及装置 |
CN111865959A (zh) * | 2020-07-14 | 2020-10-30 | 南京聚铭网络科技有限公司 | 基于多源安全检测框架的检测方法及装置 |
CN113542204A (zh) * | 2020-04-22 | 2021-10-22 | 中国电信股份有限公司 | 防护规则生成方法、装置和存储介质 |
CN113852645A (zh) * | 2021-12-02 | 2021-12-28 | 北京邮电大学 | 抗客户端dns缓存中毒攻击的方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679626A (zh) * | 2017-10-10 | 2018-02-09 | 上海优刻得信息科技有限公司 | 机器学习方法、装置、系统、存储介质及设备 |
CN108200087A (zh) * | 2018-02-01 | 2018-06-22 | 平安科技(深圳)有限公司 | web入侵检测方法、装置、计算机设备和存储介质 |
CN108769079A (zh) * | 2018-07-09 | 2018-11-06 | 四川大学 | 一种基于机器学习的Web入侵检测技术 |
-
2019
- 2019-06-11 CN CN201910501723.2A patent/CN110266673B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679626A (zh) * | 2017-10-10 | 2018-02-09 | 上海优刻得信息科技有限公司 | 机器学习方法、装置、系统、存储介质及设备 |
CN108200087A (zh) * | 2018-02-01 | 2018-06-22 | 平安科技(深圳)有限公司 | web入侵检测方法、装置、计算机设备和存储介质 |
CN108769079A (zh) * | 2018-07-09 | 2018-11-06 | 四川大学 | 一种基于机器学习的Web入侵检测技术 |
Non-Patent Citations (1)
Title |
---|
李海斌等: "一种无监督的数据库用户行为异常检测方法", 《小型微型计算机系统》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113542204A (zh) * | 2020-04-22 | 2021-10-22 | 中国电信股份有限公司 | 防护规则生成方法、装置和存储介质 |
CN113542204B (zh) * | 2020-04-22 | 2023-04-07 | 中国电信股份有限公司 | 防护规则生成方法、装置和存储介质 |
CN111582474A (zh) * | 2020-04-24 | 2020-08-25 | 中科物栖(北京)科技有限责任公司 | 神经网络结构探测方法、结构探测模型的训练方法及装置 |
CN111582474B (zh) * | 2020-04-24 | 2023-08-25 | 中科物栖(南京)科技有限公司 | 神经网络结构探测方法、结构探测模型的训练方法及装置 |
CN111865959A (zh) * | 2020-07-14 | 2020-10-30 | 南京聚铭网络科技有限公司 | 基于多源安全检测框架的检测方法及装置 |
CN113852645A (zh) * | 2021-12-02 | 2021-12-28 | 北京邮电大学 | 抗客户端dns缓存中毒攻击的方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110266673B (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vishwakarma et al. | A survey of DDoS attacking techniques and defence mechanisms in the IoT network | |
CN110245491A (zh) | 网络攻击类型的确定方法、装置以及存储器和处理器 | |
US7464407B2 (en) | Attack defending system and attack defending method | |
Ghorbani et al. | Network intrusion detection and prevention: concepts and techniques | |
CN110266673A (zh) | 基于大数据的安全策略优化处理方法和装置 | |
Koziol | Intrusion detection with Snort | |
US20170257339A1 (en) | Logical / physical address state lifecycle management | |
CN107872456A (zh) | 网络入侵防御方法、装置、系统及计算机可读存储介质 | |
US20190182286A1 (en) | Identifying communicating network nodes in the presence of Network Address Translation | |
CN113079185B (zh) | 实现深度数据包检测控制的工业防火墙控制方法及设备 | |
Weerathunga et al. | The importance of testing Smart Grid IEDs against security vulnerabilities | |
Ye et al. | A system-fault-risk framework for cyber attack classification | |
RU2703329C1 (ru) | Способ обнаружения несанкционированного использования сетевых устройств ограниченной функциональности из локальной сети и предотвращения исходящих от них распределенных сетевых атак | |
Hussain et al. | An adaptive SYN flooding attack mitigation in DDOS environment | |
Chang | A proactive approach to detect IoT based flooding attacks by using software defined networks and manufacturer usage descriptions | |
CN109274638A (zh) | 一种攻击源接入自动识别处理的方法和路由器 | |
Khirwadkar | Defense against network attacks using game theory | |
Shing | An improved tarpit for network deception | |
Lukatsky et al. | Protect your information with intrusion detection | |
Gorbatiuk et al. | Method of detection of http attacks on a smart home using the algebraic matching method | |
Honda et al. | Detection of novel-type brute force attacks used ephemeral springboard ips as camouflage | |
CN114465795B (zh) | 一种干扰网络扫描器的方法及系统 | |
Prabadevi et al. | Lattice structural analysis on sniffing to denial of service attacks | |
Verwoerd | Active network security | |
Nagaonkar et al. | Detecting stealthy scans and scanning patterns using threshold random walk |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210830 Address after: 201801 Building 1, No. 2999, Bao'an highway, Jiading District, Shanghai Applicant after: Oriental Fortune Information Co.,Ltd. Address before: 230000 commercial building 108, building 20b, Mingzhu garden, intersection of Lianhua Road and Danxia Road, Hefei Economic and Technological Development Zone, Anhui Province Applicant before: Hefei Yishihui Network Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |