CN116015703A - 模型训练方法、攻击检测方法及相关装置 - Google Patents
模型训练方法、攻击检测方法及相关装置 Download PDFInfo
- Publication number
- CN116015703A CN116015703A CN202211215041.3A CN202211215041A CN116015703A CN 116015703 A CN116015703 A CN 116015703A CN 202211215041 A CN202211215041 A CN 202211215041A CN 116015703 A CN116015703 A CN 116015703A
- Authority
- CN
- China
- Prior art keywords
- data
- attack
- model
- detected
- intrusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请实施例公开了模型训练方法、攻击检测方法及相关装置,该方法包括:获得存疑数据的对照数据,使用有标签数据、存疑数据和对照数据对预用模型进行训练调整,以得到目标预测模型。其中,采用存疑数据、对照数据及对应标记有所属攻击类型标签的有标签数据,对预训练好的预用模型再训练以得到目标预测模型,有助于发现更多可能带攻击特征的数据,提高本申请模型在具体任务场景的适用性,如预测待测数据是否真的存在攻击行为、有效挖掘相似黑词,以及发现更多可能的绕过手法特征,从而降低传统受限于数据规则本身造成的攻击检测依赖性和滞后性,进一步满足对网络安全的防御需求。
Description
技术领域
本申请实施例涉及网络安全技术领域,尤其涉及模型训练方法、攻击检测方法及相关装置。
背景技术
随着信息时代的不断发展,网络安全问题日益严峻,所造成的社会影响和经济损失也越来越大,使得对网络威胁的检测与防御提出了更高的需求和挑战。
然而,传统的网络攻击检测技术主要是基于规则进行过滤,通过收集目前已知的网络攻击数据,总结它们的攻击特征,构成规则库,然后使用规则库对待测数据进行比对检测,从而判断是否存在攻击。
因此,传统的攻击检测方式普遍存在滞后性和依赖性,只有当攻击曝光后,才能对其提炼出对应的规则;同时,随着攻击手法混淆绕过能力的增强,越来越难提取出有效的攻击特征和规则,使得传统攻击检测方式的灵活性差,还容易造成对攻击的漏报和误报。
发明内容
本申请实施例提供了模型训练方法、攻击检测方法及相关装置,用于提高对网络攻击的检测能力。
本申请实施例第一方面提供一种模型训练方法,包括:
获得存疑数据的对照数据,其中,所述存疑数据由预训练好的预用模型从样本数据中确定,所述存疑数据和所述对照数据分别为与有标签数据的相似度超过相似阈值的可能带攻击特征的数据,所述有标签数据为对应标记有所属攻击类型的数据;
使用所述有标签数据、所述存疑数据和所述对照数据对所述预用模型的模型参数进行训练调整,直至所述预用模型达到收敛条件时停止训练,得到目标预测模型。
本申请实施例第二方面提供攻击检测方法,包括:
获取待测数据;
将所述待测数据输入如前述第一方面描述的目标预测模型,以输出所述待测数据对应的预测结果,所述预测结果包括所述待测数据是否为存在攻击的入侵数据。
本申请实施例第三方面提供一种模型训练系统,包括:
第一获取单元,用于获得存疑数据的对照数据,其中,所述存疑数据由预训练好的预用模型从样本数据中确定,所述存疑数据和所述对照数据分别为与有标签数据的相似度超过相似阈值的可能带攻击特征的数据,所述有标签数据为对应标记有所属攻击类型的数据;
第一处理单元,用于使用所述有标签数据、所述存疑数据和所述对照数据对所述预用模型的模型参数进行训练调整,直至所述预用模型达到收敛条件时停止训练,得到目标预测模型。
本申请实施例第三方面提供一种攻击检测系统,包括:
第二获取单元,用于获取待测数据;
第二处理单元,用于将所述待测数据输入如前述第一方面描述的目标预测模型,以输出所述待测数据对应的预测结果,所述预测结果包括所述待测数据是否为存在攻击的入侵数据。
本申请实施例第四方面提供一种电子设备,包括:
中央处理器,存储器以及输入输出接口;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行本申请实施例第一方面或第二方面所描述的方法。
本申请实施例第四方面提供一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得计算机执行如本申请实施例第一方面或第二方面的任一具体实现方式所描述的方法。
本申请实施例第五方面提供一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行如本申请实施例第一方面或第二方面的任一具体实现方式所描述的方法。
从以上技术方案可以看出,本申请实施例至少具有以下优点:
采用存疑数据、对照数据及对应标记有所属攻击类型标签的有标签数据,对预训练好的预用模型再训练以得到目标预测模型,有助于发现更多可能带攻击特征的数据,提高本申请模型在具体任务场景的适用性,如预测待测数据是否真的存在攻击行为,降低传统受限于数据规则本身造成的攻击检测依赖性和滞后性,从而进一步满足对网络安全的防御需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例的一个应用场景示意图;
图2为本申请实施例模型训练方法的一个流程示意图;
图3为本申请实施例模型训练方法的另一流程示意图;
图4为本申请实施例攻击检测方法的一个流程示意图;
图5为本申请实施例模型训练系统的一个结构示意图;
图6为本申请实施例攻击检测系统的一个结构示意图;
图7为本申请实施例电子设备的一个结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在以下的描述中,涉及到“一个具体实施方式”或“一个实施例”等类似表达,其描述了所有可能实施例的子集,但是可以理解,“一个具体实施方式”或“一个实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。在以下的描述中,涉及到的术语多个是指至少两个。本申请所说的某数值达到阈值(如果存在),包括前者大于阈值后者的情况。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
为便于理解和说明,下面对本申请实施例中涉及的名词和术语进行说明,这些名词和术语适用于如下的解释。
跨站脚本攻击(XSS):是目前最普遍的Web应用安全漏洞之一。这类漏洞能让攻击者嵌入恶意脚本代码到正常用户会访问到的页面中,使得当正常用户访问该页面时,则可导致嵌入的恶意脚本代码的执行,从而达到恶意攻击用户的目的。
SQL注入:指Web应用程序对用户输入数据的合法性没有判断或过滤不严,攻击者可以在Web应用程序中事先定义好的查询语句的结尾上添加额外的SQL语句,在管理员不知情的情况下实现非法操作,以此来实现欺骗数据库服务器执行非授权的任意查询,从而进一步得到相应的数据信息。
绕过攻击:一种攻击手段,通过对原始攻击载荷进行混淆,以逃避防御工具的检测;常见的绕过手法有编码绕过、关键词破坏和变形混淆等。
机器学习:一门专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身性能的学科。
语言模型:假定某个语言所有可能存在的句子符合一个概率分布,语言模型的任务是对这种潜在的概率分布建模,以计算每个句子在该语言中出现的概率;良好的语言模型应给符合语言表达习惯的句子分配较高的概率,而给错误的句子接近于零的概率。
词向量:一种将词语映射成高维空间的向量机制,词向量同时包含了词语的语法和语义信息;而随着自然语言处理的发展,词向量经常被用来作为各种机器学习、深度学习模型的输入。
为便于理解和说明,在对本申请实施例进行进一步详细说明之前,将以全球广域网(WEB,WorldWide Web)攻击为例对传统技术做简要说明。
当前主流的WEB攻击检测技术,主要通过对已知的WEB攻击数据做出确定性的描述,以形成相应的规则并汇总成一个规则库或特征库,在一一比对的过程中,采集来的待检测网络数据若与规则库中的规则相匹配,那么就表明这是一个入侵行为数据,可简称为攻击数据。
此外,有记载表明,不少企业采用机器学习相关技术进行WEB攻击检测,但这类传统的机器学习方案本质上还是危险函数等特征的组合,仍需要人工进行特征或规则的识别和提取,同时受限于数据本身,难以学习出较为可靠的语音模型。
可见,传统的网络攻击检测方法,主要依赖于从收集的攻击数据中提取攻击规则或绕过手法进行规则编写,灵活性差,使得容易忽略掉可疑数据,造成较高的攻击漏报率和误报率,从而影响网络信息安全和用户体验。有鉴于此,本申请提供模型训练方法、攻击检测方法及相关装置,用以有效提高对网络攻击的检测能力。
本申请实施例提供的方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器101进行通信,数据存储系统可以存储服务器101需要处理的数据。数据存储系统100可以集成在服务器101上,也可以放在云上或其他网络服务器上。终端102可以获取用户输入的待测数据,并将待测数据发送至服务器101,服务器101可以基于得到的待测数据进行攻击检测,还可以基于检测结果(预测结果)对待测数据进行对应策略的调整。另外,服务器101还可以将预测结果发送至终端102中。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器101可以用独立的服务器或者是多个服务器组成的服务器集群来实现。需要说明的是,本申请实施例提供的方法可如上述由终端设备和服务器共同实现,也可以全部在服务器侧实现,或还可以全部在终端设备侧实现,具体可根据实际应用场景确定,此处不做限制。
下面将对本申请的攻击检测方法做进一步的详细说明。
请参阅图2至图3,本申请第一方面提供一种模型训练方法的一个实施例,该实施例包括步骤201至202:
201、获得存疑数据的对照数据。
其中,存疑数据由预训练好的预用模型从样本数据中确定,存疑数据和对照数据分别为与有标签数据的相似度超过相似阈值的可能带攻击特征的数据,有标签数据为对应标记有所属攻击类型的数据。
本申请提及的攻击类型包括但不限于SQL注入攻击和XSS攻击,提及的有无标签主要指数据是否已标记有攻击类型标签,当然,不涉及攻击行为的数据可视为无标签数据。
作为一种可能的实施方式,其中,获得预用模型的过程(预训练过程)包括:使用包含无标签数据的样本数据对初始预测模型进行预训练,以得到预用模型。
具体的,初始预测模型的样本数据(训练样本)可包括互联网已公开的攻击数据和漏洞数据、待检测设备(如用户主机)已采集或遭受过的攻击数据和漏洞数据中的一种或多种组合数据;当然,这些样本数据可另外分析、提炼得来。
在真实场景中,大多数时候收集到的网络数据都是没有攻击类型标签的,有标签的数据往往只有极少一部分,若直接使用有标签数据进行建模的话,难以达到很好的模型预测效果,因此有必要对无标签的样本进行挖掘。同时,考虑到文本类型的样本数据,都是由字符组成词汇,再组成语句,最后形成语义的,因此其天然具备通用的特征,且能够通过预训练的方案进行信息挖掘。
在一些具体示例中,初始预测模型可选用如连续词袋模型CBOW(Continuous BagOfWords)、Skip-Gram的词向量模型,以及如自回归语言模型(Auto Regressive LanguageModel)、自编码语言模型(Auto Encoding Language Model)的语言模型中的一种或多种模型,当然,也可选用其他能学习出所需词向量表示的具体某种算法或算法组合。
以CBOW模型为例,对初始预测模型进行预训练的过程为,通过单词A上下文的词汇B、C、D等,对A进行表达,比如以XSS攻击为例,其常见的Payload示例如下:
<ahref="javascript:alert('"xss"');">test</a>
<ahref="javascript:prompt('"xss"');">test</a>
由于单词alert和prompt前后出现的字符都是类似的,因此当alert和prompt输入至初始预测模型完成词向量学习时,二者得到的词向量是很相似的,使得后续应用过程中,可以通过alert(可视为单词A)的词向量,查找到向量库中和alert词向量相似的向量所对应的词汇(如前述prompt),而这些词汇很大概率上也是涉及攻击行为的可疑词汇(可称为黑词或疑似词汇)。
在一些具体示例中,可计算海量样本数据中,每种攻击类型的网络攻击在该样本数据中的出现频率,以及当中各攻击数据划分对每种攻击类型的网络攻击的条件概率估计,而后通过这些计算结果训练初始预测模型,以得到预用模型。此外,本申请中,具体可利用朴素贝叶斯算法或机器学习分类算法等进行所提及的模型训练。
202、使用有标签数据、存疑数据和对照数据训练预用模型,以得到目标预测模型。
具体的,使用有标签数据、存疑数据和对照数据对预用模型的模型参数进行训练调整,直至预用模型达到收敛条件时停止训练,得到目标预测模型。该收敛条件可为,预用模型的损失函数值在一段时间内均波动在预设损失区间内。
由上述说明可知,再训练预用模型的目的在于:预用模型是通过包含海量无标签数据的样本数据训练初始预测模型得到的,故预用模型的模型参数也是通用的参数,因此,要在具体的任务场景中更准确的使用该模型,需要进一步的调整(可理解为微调)。该微调过程可类似上述获得预用模型的操作过程(使用的样本数据有所差异),以训练好的预用模型参数为初始值,通过具体任务的各有标签数据(如XSS和SQL等攻击类型的数据)、存疑数据和对照数据进行模型的重新训练,从而调整预用模型参数直到模型收敛,从而使其适应具体的任务应用;这期间,与预训练过程的无标签数据不同的是,微调过程使用的至少部分(样本)数据会带上相应的攻击类型标签(具体可为人工标签),可以进行有监督学习,以及,此时的样本数据还包含了可能带攻击特征(或称为入侵特征)的存疑数据及其对照数据,促使模型最终能更快更准地发现疑似的入侵数据。
在上述示例说明的基础上,步骤201的具体实现过程可包括:
查询是否存在与存疑数据相比符合预设特征规则的已知数据,预设特征规则用于表示被比对的两数据之间至少存在部分相同的特征;若存在,生成与已知数据之间符合预设特征规则的对比数据,并将已知数据和对比数据作为对照数据;若不存在,根据预设特征规则生成存疑数据的对照数据。
本申请提及的数据可包括文本类型数据中的分词词汇,当然,还包括协议类型和/或IP地址等标识信息,该数据具体可根据实际情况灵活设定,本申请不作限制。以文本类型数据为例,alert和`;alert以及prompt等词汇通常都出现在类似的上下文中,故分别包含这三词汇的三条样本数据(或称为待测数据)有一定的相似性即符合某些预设特征规则,故若其中一为存疑数据,则通过预设特征规则可以查询到其他两条样本数据,而在一些实际应用中,还可以据此规则生成与该存疑数据类似的对比数据,从而增大发现可疑入侵数据的准确度和前瞻性,减低数据攻击风险。
另一方面,确定步骤201中存疑数据的过程可包括:
对于预用模型输出的每一样本数据的特征向量,查找向量库中是否存在与特征向量的相似度达到向量相似阈值的已知特征向量,已知特征向量为攻击类型已知的数据所对应的特征向量;若存在,确定样本数据为存疑数据。此处过程的具体实施可参阅下述步骤302对举措之一的相关说明,具体此处不做赘述。
上述第一方面主要说明模型的训练过程,以下第二方面主要对模型的实际应用过程做详细说明,上述第一方面的具体实现过程可参照第二方面的操作内容实施。
请参阅图3和图4,本申请第二方面提供一种攻击检测方法的一个实施例,该方法包括:
301、获取待测数据。
本申请提及的数据可包括文本类型数据中的分词词汇,当然,还包括协议类型和/或IP地址等标识信息,该数据具体可根据实际情况灵活设定,本申请不作限制。
302、将待测数据输入目标预测模型,以输出待测数据对应的预测结果。
其中,预测结果包括待测数据是否为存在攻击的入侵数据。
当用户需确认待测数据是否存在攻击时,步骤302的一种具体实施方式包括:
通过目标预测模型输出的待测数据对应的目标特征向量,如词向量;
查找向量库中是否存在与目标特征向量的相似度达到向量相似阈值的已知特征向量,已知特征向量为攻击类型已知的数据所对应的特征向量;
若存在,则确定待测数据为入侵数据;反之,若不存在,则确定待测数据不是入侵数据。
此外,若用户还需明确待测数据为入侵数据时,其具体属于何种攻击类型,则可将已知特征向量对应所属的攻击类型,确定为待测数据为入侵数据时对应的目标攻击类型。而若存在多个已知特征向量,则可选择与目标特征向量相似度最高的已知特征向量对应所属的攻击类型作为目标攻击类型。
在一些具体示例中,步骤302的另一种具体实施方式包括:
通过目标预测模型预测待测数据属于不同攻击类型的概率估计值;
确定是否存在满足预设概率范围的概率估计值;
若存在,确定待测数据为入侵数据。
当然,若用户还需明确待测数据为入侵数据时,其具体属于何种攻击类型,则还可将满足预设概率范围且数值最大的概率估计值所对应的攻击类型,确定为待测数据的目标攻击类型。
在上述示例说明的基础上,若用户还需明确待测数据为入侵数据时,即当中的数据为入侵特征时,还可能有哪些关联的疑似入侵特征,则此时的预测结果还可包括待测数据为入侵数据时发现的疑似入侵特征,相应的,步骤302还可包括下述任一种相似查找举措:
举措之一,查找向量库中与已知特征向量的向量相似度达到预设阈值的已存特征向量,并将已知特征向量和已存特征向量分别对应指向的数据确定为疑似入侵特征。
举措之二,将待测数据和全部已知数据进行特征分类,并将与待测数据同属一个类别的已知数据,确定为疑似入侵特征。例如,可用K-meas聚类方式进行特征分类。
上述举措之一,查找出与目标特征向量呈一定相似性的已知特征向量后,再搜寻与已知特征向量相似的已存特征向量,以及举措之二,有助于进一步挖掘出更多可疑的绕过手法特征或攻击黑词,即发现更多的可疑表示,降低攻击发现环节的漏报率,从而有效提高对网络数据的安全防御能力。
具体的,经过训练后所得到的预测模型能输出每个词汇的词向量,比如有下表的词汇和词向量对应关系:
序号 | 词 | 词向量 |
1 | alert | A |
2 | `;alert | B |
3 | prompt | C |
表1词汇与词向量的对应示例
由于alert和`;alert以及prompt通常都出现在类似的上下文中,因此它们分别对应的词向量A、B和C会很类似,故在具体应用的时候,可以通过alert的词向量A,在词向量库中搜索出最为相似的词向量B、C,甚至是向量D、E,进而发现可疑的绕过手法或者黑词,从而有效规避网络攻击。
本申请第二方面的具体实现过程可参照上述第一方面的操作内容实施。综上,本申请能够有效利用海量的无标签数据,通过预训练方案,高效挖掘出海量数据中的价值,从而提升对网络攻击的检测能力;此外,经过进一步微调得到的目标预测模型的灵活性和泛化性更强,可高效适用于Web等攻击检测场景,应用于防火墙和安全态势感知等产品。同时,本申请的模型能有效挖掘相似黑词、发现更多可能的绕过手法特征,进一步增强网络运营环境的安全。
请参阅图5,本申请第三方面提供一种模型训练系统的一个实施例,该系统包括:
第一获取单元401,用于获得存疑数据的对照数据,其中,存疑数据由预训练好的预用模型从样本数据中确定,存疑数据和对照数据分别为与有标签数据的相似度超过相似阈值的可能带攻击特征的数据,有标签数据为对应标记有所属攻击类型的数据;
第一处理单元402,用于使用有标签数据、存疑数据和对照数据对预用模型的模型参数进行训练调整,直至预用模型达到收敛条件时停止训练,得到目标预测模型。
可选地,第一获取单元401具体用于:
查询是否存在与存疑数据相比符合预设特征规则的已知数据,预设特征规则用于表示被比对的两数据之间至少存在部分相同的特征;
若存在,生成与已知数据之间符合预设特征规则的对比数据,并将已知数据和对比数据作为对照数据;
若不存在,根据预设特征规则生成存疑数据的对照数据。
可选地,第一获取单元401具体用于:
对于预用模型输出的每一样本数据的特征向量,查找向量库中是否存在与特征向量的相似度达到向量相似阈值的已知特征向量,已知特征向量为攻击类型已知的数据所对应的特征向量;
若存在,确定样本数据为存疑数据。
本申请实施例中,模型训练系统各单元所执行的操作,与前述第一方面的任一具体方法实施例所描述的操作类似,具体此处不再赘述。
请参阅图6,本申请第四方面提供一种攻击检测系统的一个实施例,该系统包括:
第二获取单元501,用于获取待测数据;
第二处理单元502,用于将待测数据输入如前述第一方面描述的目标预测模型,以输出待测数据对应的预测结果,预测结果包括待测数据是否为存在攻击的入侵数据。
可选的,第二处理单元502具体用于:
对于目标预测模型输出的待测数据对应的目标特征向量,查找向量库中是否存在与目标特征向量的相似度达到向量相似阈值的已知特征向量,已知特征向量为攻击类型已知的数据所对应的特征向量;
若存在,确定待测数据为入侵数据;
若不存在,确定待测数据不是入侵数据。
可选的,当预测结果还包括待测数据为入侵数据时所对应的攻击类型时,第二处理单元502具体用于:
确定已知特征向量对应所属的攻击类型,为待测数据为入侵数据时对应的目标攻击类型。
可选的,当预测结果还包括待测数据为入侵数据时发现的疑似入侵特征时,第二处理单元502具体用于:
查找向量库中与已知特征向量的向量相似度达到预设阈值的已存特征向量;
将已知特征向量和已存特征向量分别对应指向的数据确定为疑似入侵特征;
或,
将待测数据和全部已知数据进行特征分类,并将与待测数据同属一个类别的已知数据,确定为疑似入侵特征。
可选的,第二处理单元502具体用于:
通过目标预测模型预测待测数据属于不同攻击类型的概率估计值;
确定是否存在满足预设概率范围的概率估计值;
若存在,确定待测数据为入侵数据,并将满足预设概率范围且数值最大的概率估计值所对应的攻击类型,确定为待测数据的目标攻击类型。
本申请实施例中,攻击检测系统各单元所执行的操作,与前述第二方面的任一具体方法实施例所描述的操作类似,具体此处不再赘述。
请参阅图7,本申请实施例的电子设备600可以包括一个或一个以上中央处理器CPU(CPU,central processing units)601和存储器605,该存储器605中存储有一个或一个以上的应用程序或数据。
其中,存储器605可以是易失性存储或持久存储。存储在存储器605的程序可以包括一个或一个以上模块,每个模块可以包括对电子设备中的一系列指令操作。更进一步地,中央处理器601可以设置为与存储器605通信,在电子设备600上执行存储器605中的一系列指令操作。
电子设备600还可以包括一个或一个以上电源602,一个或一个以上有线或无线网络接口603,一个或一个以上输入输出接口604,和/或,一个或一个以上操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等。
该中央处理器601可以执行前述第一方面或第二方面的任一具体方法实施例所执行的操作,具体不再赘述。
可以理解的是,在本申请的各种实施例中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统或装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品(计算机程序产品)存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,业务服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-only memory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (12)
1.一种模型训练方法,其特征在于,包括:
获得存疑数据的对照数据,其中,所述存疑数据由预训练好的预用模型从样本数据中确定,所述存疑数据和所述对照数据分别为与有标签数据的相似度超过相似阈值的可能带攻击特征的数据,所述有标签数据为对应标记有所属攻击类型的数据;
使用所述有标签数据、所述存疑数据和所述对照数据对所述预用模型的模型参数进行训练调整,直至所述预用模型达到收敛条件时停止训练,得到目标预测模型。
2.根据权利要求1所述的模型训练方法,其特征在于,所述获得存疑数据的对照数据,包括:
查询是否存在与所述存疑数据相比符合预设特征规则的已知数据,所述预设特征规则用于表示被比对的两数据之间至少存在部分相同的特征;
若存在,生成与所述已知数据之间符合所述预设特征规则的对比数据,并将所述已知数据和所述对比数据作为所述对照数据;
若不存在,根据所述预设特征规则生成所述存疑数据的对照数据。
3.根据权利要求1所述的模型训练方法,其特征在于,确定所述存疑数据的过程包括:
对于所述预用模型输出的每一样本数据的特征向量,查找向量库中是否存在与所述特征向量的相似度达到向量相似阈值的已知特征向量,所述已知特征向量为攻击类型已知的数据所对应的特征向量;
若存在,确定所述样本数据为所述存疑数据。
4.一种攻击检测方法,其特征在于,包括:
获取待测数据;
将所述待测数据输入如权利要求1至3任一项所述的目标预测模型,以输出所述待测数据对应的预测结果,所述预测结果包括所述待测数据是否为存在攻击的入侵数据。
5.根据权利要求4所述的攻击检测方法,其特征在于,所述输出所述待测数据对应的预测结果,包括:
对于所述目标预测模型输出的所述待测数据对应的目标特征向量,查找向量库中是否存在与所述目标特征向量的相似度达到向量相似阈值的已知特征向量,所述已知特征向量为攻击类型已知的数据所对应的特征向量;
若存在,确定所述待测数据为所述入侵数据;
若不存在,确定所述待测数据不是所述入侵数据。
6.根据权利要求5所述的攻击检测方法,其特征在于,当所述预测结果还包括所述待测数据为入侵数据时所对应的攻击类型时,所述输出所述待测数据对应的预测结果,包括:
确定所述已知特征向量对应所属的攻击类型,为所述待测数据为入侵数据时对应的目标攻击类型。
7.根据权利要求5或6所述的攻击检测方法,其特征在于,当所述预测结果还包括所述待测数据为入侵数据时发现的疑似入侵特征时,所述输出所述待测数据对应的预测结果包括:
查找向量库中与所述已知特征向量的向量相似度达到预设阈值的已存特征向量;
将所述已知特征向量和所述已存特征向量分别对应指向的数据确定为所述疑似入侵特征;
或,
将所述待测数据和全部已知数据进行特征分类,并将与所述待测数据同属一个类别的已知数据,确定为所述疑似入侵特征。
8.根据权利要求4所述的攻击检测方法,其特征在于,所述输出所述待测数据对应的预测结果,包括:
通过所述目标预测模型预测所述待测数据属于不同攻击类型的概率估计值;
确定是否存在满足预设概率范围的所述概率估计值;
若存在,确定所述待测数据为所述入侵数据,并将满足所述预设概率范围且数值最大的概率估计值所对应的攻击类型,确定为所述待测数据的目标攻击类型。
9.一种模型训练系统,其特征在于,包括:
第一获取单元,用于获得存疑数据的对照数据,其中,所述存疑数据由预训练好的预用模型从样本数据中确定,所述存疑数据和所述对照数据分别为与有标签数据的相似度超过相似阈值的可能带攻击特征的数据,所述有标签数据为对应标记有所属攻击类型的数据;
第一处理单元,用于使用所述有标签数据、所述存疑数据和所述对照数据对所述预用模型的模型参数进行训练调整,直至所述预用模型达到收敛条件时停止训练,得到目标预测模型。
10.一种攻击检测系统,其特征在于,包括:
第二获取单元,用于获取待测数据;
第二处理单元,用于将所述待测数据输入如权利要求1至3任一项所述的目标预测模型,以输出所述待测数据对应的预测结果,所述预测结果包括所述待测数据是否为存在攻击的入侵数据。
11.一种电子设备,其特征在于,包括:
中央处理器,存储器以及输入输出接口;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行权利要求1至8中任意一项所述的方法。
12.一种计算机可读存储介质,其特征在于,包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至8中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211215041.3A CN116015703A (zh) | 2022-09-30 | 2022-09-30 | 模型训练方法、攻击检测方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211215041.3A CN116015703A (zh) | 2022-09-30 | 2022-09-30 | 模型训练方法、攻击检测方法及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116015703A true CN116015703A (zh) | 2023-04-25 |
Family
ID=86028623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211215041.3A Pending CN116015703A (zh) | 2022-09-30 | 2022-09-30 | 模型训练方法、攻击检测方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116015703A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116743473A (zh) * | 2023-06-29 | 2023-09-12 | 哈尔滨工业大学 | 一种基于并行度量学习的入侵检测方法 |
CN117792794A (zh) * | 2024-02-23 | 2024-03-29 | 贵州华谊联盛科技有限公司 | 一种网络威胁情报分析方法、设备及系统 |
-
2022
- 2022-09-30 CN CN202211215041.3A patent/CN116015703A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116743473A (zh) * | 2023-06-29 | 2023-09-12 | 哈尔滨工业大学 | 一种基于并行度量学习的入侵检测方法 |
CN116743473B (zh) * | 2023-06-29 | 2024-02-06 | 哈尔滨工业大学 | 一种基于并行度量学习的入侵检测方法、电子设备及存储介质 |
CN117792794A (zh) * | 2024-02-23 | 2024-03-29 | 贵州华谊联盛科技有限公司 | 一种网络威胁情报分析方法、设备及系统 |
CN117792794B (zh) * | 2024-02-23 | 2024-04-26 | 贵州华谊联盛科技有限公司 | 一种网络威胁情报分析方法、设备及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ren et al. | Cskg4apt: A cybersecurity knowledge graph for advanced persistent threat organization attribution | |
CN110233849B (zh) | 网络安全态势分析的方法及系统 | |
CN114172701B (zh) | 基于知识图谱的apt攻击检测方法及装置 | |
WO2019109743A1 (zh) | Url攻击检测方法、装置以及电子设备 | |
US20190034632A1 (en) | Method and system for static behavior-predictive malware detection | |
CN109547423B (zh) | 一种基于机器学习的web恶意请求深度检测系统及方法 | |
Zhu et al. | Android malware detection based on multi-head squeeze-and-excitation residual network | |
Thakur et al. | An intelligent algorithmically generated domain detection system | |
CN116015703A (zh) | 模型训练方法、攻击检测方法及相关装置 | |
US11580222B2 (en) | Automated malware analysis that automatically clusters sandbox reports of similar malware samples | |
CN107368542B (zh) | 一种涉密数据的涉密等级评定方法 | |
CN109922065B (zh) | 恶意网站快速识别方法 | |
Liu et al. | An efficient multistage phishing website detection model based on the CASE feature framework: Aiming at the real web environment | |
CN111931935B (zh) | 基于One-shot 学习的网络安全知识抽取方法和装置 | |
CN112817877B (zh) | 异常脚本检测方法、装置、计算机设备和存储介质 | |
Zhang et al. | Cross-site scripting (XSS) detection integrating evidences in multiple stages | |
CN113918936A (zh) | Sql注入攻击检测的方法以及装置 | |
CN110855716B (zh) | 一种面向仿冒域名的自适应安全威胁分析方法及系统 | |
CN113904834B (zh) | 基于机器学习的xss攻击检测方法 | |
Rasheed et al. | Adversarial attacks on featureless deep learning malicious urls detection | |
Sarojini et al. | Detection for domain generation algorithm (DGA) domain botnet based on neural network with multi-head self-attention mechanisms | |
Pei et al. | Combining multi-features with a neural joint model for Android malware detection | |
Rahman et al. | An exploratory analysis of feature selection for malware detection with simple machine learning algorithms | |
CN113691489A (zh) | 一种恶意域名检测特征处理方法、装置和电子设备 | |
Wang et al. | Malware detection using cnn via word embedding in cloud computing infrastructure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |