CN112769840B - 一种基于强化学习Dyna框架的网络攻击行为识别方法 - Google Patents

一种基于强化学习Dyna框架的网络攻击行为识别方法 Download PDF

Info

Publication number
CN112769840B
CN112769840B CN202110056313.9A CN202110056313A CN112769840B CN 112769840 B CN112769840 B CN 112769840B CN 202110056313 A CN202110056313 A CN 202110056313A CN 112769840 B CN112769840 B CN 112769840B
Authority
CN
China
Prior art keywords
data
malicious
network
dns data
network attack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110056313.9A
Other languages
English (en)
Other versions
CN112769840A (zh
Inventor
刘晶
范渊
黄进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN202110056313.9A priority Critical patent/CN112769840B/zh
Publication of CN112769840A publication Critical patent/CN112769840A/zh
Application granted granted Critical
Publication of CN112769840B publication Critical patent/CN112769840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请公开了一种基于强化学习Dyna框架的网络攻击行为识别方法，包括：获取目标网站的网络空间数据；利用预设的正则表达式对网络空间数据进行匹配，得出第一恶意DNS数据；删除网络空间数据中的第一恶意DNS数据，得到剩余的网络空间数据，并将剩余的网络空间数据输入至预先训练出的网络攻击识别模型中，得出第二恶意DNS数据；结合第一恶意DNS数据和第二恶意DNS数据确定出目标网站是否存在网络攻击行为。本方法能够更精准地识别网络攻击行为，相对保障网站的安全性，并且能够提高识别网络攻击行为的效率。本申请还公开了一种基于强化学习Dyna框架的网络攻击行为识别装置、设备及计算机可读存储介质，均具有上述有益效果。

Description

一种基于强化学习Dyna框架的网络攻击行为识别方法
技术领域
本发明涉及网络安全领域，特别涉及一种基于强化学习Dyna框架的网络攻击行为识别方法、装置、设备及计算机可读存储介质。
背景技术
随着信息技术的快速发展，网络安全问题越来越严峻。现有技术中，为了识别目标网站是否存在网络攻击行为，一般是预先根据操作系统漏洞、数据库漏洞、核心应用软件漏洞、路由器/交换机漏洞等漏洞的利用特征设置对应的正则表达式，然后获取目标网站的网络空间数据，利用正则表达式对获取到的网络空间数据进行匹配，若存在与正则表达式相匹配的网络空间数据时，即目标网站存在网络攻击行为。
但是，恶意攻击者会利用正则表达式的性质，通过故意修改攻击指令的字符来规避正则表达式的匹配规则，从而达到网络攻击的目的，也就是说，现有技术中通过正则表达式来实现识别网络攻击行为的方式，得出的识别结果不够准确，使得目标网站仍存在被攻击的风险。
因此，如何更精准地识别网络攻击行为，相对保障网站的安全性，是本领域技术人员目前需要解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于强化学习Dyna框架的网络攻击行为识别方法，能够更精准地识别网络攻击行为，相对保障网站的安全性，并且能够提高识别网络攻击行为的效率；本发明的另一目的是提供一种基于强化学习Dyna框架的网络攻击行为识别装置、设备及计算机可读存储介质，均具有上述有益效果。
为解决上述技术问题，本发明提供一种基于强化学习Dyna框架的网络攻击行为识别方法，包括：
获取目标网站的网络空间数据；
利用预设的正则表达式对所述网络空间数据进行匹配，得出第一恶意DNS数据；
删除所述网络空间数据中的所述第一恶意DNS数据，得到剩余的网络空间数据，并将所述剩余的网络空间数据输入至预先训练出的网络攻击识别模型中，得出第二恶意DNS数据；
结合所述第一恶意DNS数据和所述第二恶意DNS数据确定出所述目标网站是否存在网络攻击行为。
优选地，所述利用预设的正则表达式对所述网络空间数据进行匹配，得出第一恶意DNS数据的过程，具体包括：
获取预先确定出的威胁情报库，并将所述威胁情报库中的所述恶意域名和/或所述恶意IP进行MD5加密，得到第一MD5加密数据；
将所述网络空间数据中的DNS数据进行MD5加密，得到第二MD5加密数据；
利用所述正则表达式对所述第一MD5加密数据与所述第二MD5加密数据进行匹配，并将与所述第一MD5加密数据匹配的所述第二MD5加密数据对应的网络空间数据确定为所述第一恶意DNS数据。
优选地，确定出所述威胁情报库的过程，具体包括：
预先将带标签的历史DNS数据通过有监督学习算法进行学习训练，得出数据识别模型；
将当前DNS数据输入至所述数据识别模型中，判断所述当前DNS数据是否为恶意DNS数据；
若是，则解析所述当前DNS数据得出对应的恶意域名和/或恶意IP地址，确定出所述威胁情报库。
优选地，进一步包括：
根据所述第一MD5加密数据的威胁类型以及所述第一MD5加密数据与所述第一恶意DNS数据的对应关系，通过join操作为所述第一恶意DNS数据设置对应的威胁类型。
优选地，进一步包括：
基于复杂网络模型，根据所述威胁情报库中的各所述恶意DNS数据分别对应的社群关系，得出关联DNS数据；
筛选出所述关联DNS数据中的疑似威胁DNS数据，并将所述疑似威胁DNS数据增加至所述威胁情报库中。
优选地，进一步包括：
分别统计出暴力破解模型和/或核心数据库异常登录行为和/或VPN异常登录行为的操作次数；
对应的，所述结合所述第一恶意DNS数据和所述第二恶意DNS数据确定出所述目标网站是否存在网络攻击行为的过程，具体包括：
结合所述第一恶意DNS数据和所述第二恶意DNS数据以及所述操作次数确定出所述目标网站是否存在所述网络攻击行为。
优选地，在所述结合所述第一恶意DNS数据和所述第二恶意DNS数据确定出所述目标网站是否存在网络攻击行为之后，进一步包括：
确定出所述网络攻击行为对应的攻击类型，并发出对应的提示信息。
为解决上述技术问题，本发明还提供一种基于强化学习Dyna框架的网络攻击行为识别装置，包括：
获取模块，用于获取目标网站的网络空间数据；
第一匹配模块，用于利用预设的正则表达式对所述网络空间数据进行匹配，得出第一恶意DNS数据；
第二匹配模块，用于删除所述网络空间数据中的所述第一恶意DNS数据，得到剩余的网络空间数据，并将所述剩余的网络空间数据输入至预先训练出的网络攻击识别模型中，得出第二恶意DNS数据；
确定模块，用于结合所述第一恶意DNS数据和所述第二恶意DNS数据确定出所述目标网站是否存在网络攻击行为。
为解决上述技术问题，本发明还提供一种基于强化学习Dyna框架的网络攻击行为识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任一种基于强化学习Dyna框架的网络攻击行为识别方法的步骤。
为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种基于强化学习Dyna框架的网络攻击行为识别方法的步骤。
本发明提供的一种基于强化学习Dyna框架的网络攻击行为识别方法，本方法是利用正则表达式和网络攻击识别模型相结合的方式对网络空间数据进行识别，确定目标网站是否存在网络攻击行为，相较于现有技术中仅利用正则表达式识别是否存在网络攻击行为的方式，本方法能更准确全面地识别出网络攻击行为；并且，网络攻击识别模型是通过有监督学习或无监督学习或强化学习的方式训练得出的，因此能综合全面地获取网络攻击行为的特征，因此能够进一步准确全面地识别出网络攻击行为，相对保障网站的安全性；另外，本方法是在利用网络攻击识别模型进行识别时，利用的是删除了第一恶意DNS数据的剩余的网络空间数据，因此减少了需要利用网络攻击识别模型进行分析识别的数据量，提高识别网络攻击行为的效率。
为解决上述技术问题，本发明还提供了一种基于强化学习Dyna框架的网络攻击行为识别装置、设备及计算机可读存储介质，均具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种基于强化学习Dyna框架的网络攻击行为识别方法的流程图；
图2为本发明实施例提供的一种基于强化学习Dyna框架的网络攻击行为识别装置的结构图；
图3为本发明实施例提供的一种基于强化学习Dyna框架的网络攻击行为识别设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例的核心是提供一种基于强化学习Dyna框架的网络攻击行为识别方法，能够更精准地识别网络攻击行为，相对保障网站的安全性，并且能够提高识别网络攻击行为的效率；本发明的另一核心是提供一种基于强化学习Dyna框架的网络攻击行为识别装置、设备及计算机可读存储介质，均具有上述有益效果。
为了使本领域技术人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种基于强化学习Dyna框架的网络攻击行为识别方法的流程图。如图1所示，一种基于强化学习Dyna框架的网络攻击行为识别方法包括：
S10：获取目标网站的网络空间数据。
具体的，在实际操作中，首先应获取目标网站的网络空间数据，其中，网络空间数据包括DNS(Domain Name System，域名系统)数据，网络空间数据作为用于判断目标网站是否存在网络攻击行为的依据，本实施例对获取网络空间数据的具体方式不做限定，例如可以是通过从预先存储于Hive、ElasticSearch、MySQL等相关数据库中获取，也可以是通过实时采集获取。
S20：利用预设的正则表达式对网络空间数据进行匹配，得出第一恶意DNS数据。
具体的，在本步骤中，需要预先根据操作系统漏洞、数据库漏洞、核心应用软件漏洞、路由器/交换机漏洞等漏洞的利用特征设置对应的正则表达式，然后利用正则表达式对获取到的网络空间数据进行匹配，确定出与正则表达式相匹配的网络空间数据，即得出第一恶意DNS数据。
S30：删除网络空间数据中的第一恶意DNS数据，得到剩余的网络空间数据，并将剩余的网络空间数据输入至预先训练出的网络攻击识别模型中，得出第二恶意DNS数据。
具体的，在本步骤中，预先通过有监督学习或无监督学习或强化学习的方式训练得出网络攻击识别模型，然后在确定出第一恶意DNS数据之后，删除网络空间数据中的第一恶意DNS数据，得到剩余的网络空间数据；再将剩余的网络空间数据输入至预先训练出的网络攻击识别模型中，利用网络攻击识别模型对剩余的网络空间数据进行分析识别，确定出剩余的网络空间数据中的第二恶意DNS数据。需要说明的是，本实施例是以有监督学习为主训练得出网络攻击识别模型，包括逻辑斯蒂回归、支持向量机、集成学习模型(随机森林、XGBoost、Stacking模型等)、深度学习等；具体的，网络攻击识别模型还可以包括基于统计特征和自然语言处理的Webshell检测模型。
S40：结合第一恶意DNS数据和第二恶意DNS数据确定出目标网站是否存在网络攻击行为。
具体的，在本步骤中，是在确定出第二恶意DNS数据的情况下，结合第一恶意DNS数据和第二恶意DNS数据进行分析，从而实现根据网络空间数据对目标网站进行研判，判断该网络空间数据是正常网络数据还是网络攻击数据，进而确定出目标网站是否存在网络攻击行为。
可以理解的是，本发明实施例提供的一种基于强化学习Dyna框架的网络攻击行为识别方法中，基于强化学习Dyna框架以一个统一的视角和思维来看待、分析网络空间数据，摆脱了传统的以模型为中心、以割裂的思维模式来分析网络安全数据的方式，将多种方式融合来对网络空间数据进行研判，形成一个统一的面向网络空间数据的模型架构，从而能够更加全面准确地确定目标网站是否存在网络攻击行为。
本发明提供的一种网络攻击行为的识别方法，包括在获取目标网站的网络空间数据之后，先利用预设的正则表达式对网络空间数据进行匹配，得出第一恶意DNS数据；删除网络空间数据中的第一恶意DNS数据，得到剩余的网络空间数据，并将剩余的网络空间数据输入至预先训练出的网络攻击识别模型中，得出第二恶意DNS数据；然后结合第一恶意DNS数据和第二恶意DNS数据确定出目标网站是否存在网络攻击行为。可见，本方法是利用正则表达式和网络攻击识别模型相结合的方式对网络空间数据进行识别，确定目标网站是否存在网络攻击行为，相较于现有技术中仅利用正则表达式识别是否存在网络攻击行为的方式，本方法能更准确全面地识别出网络攻击行为；并且，网络攻击识别模型是通过有监督学习或无监督学习或强化学习的方式训练得出的，因此能综合全面地获取网络攻击行为的特征，因此能够进一步准确全面地识别出网络攻击行为，相对保障网站的安全性；另外，本方法是在利用网络攻击识别模型进行识别时，利用的是删除了第一恶意DNS数据的剩余的网络空间数据，因此减少了需要利用网络攻击识别模型进行分析识别的数据量，提高识别网络攻击行为的效率。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，利用预设的正则表达式对网络空间数据进行匹配，得出第一恶意DNS数据的过程，具体包括：
获取预先确定出的威胁情报库，并将威胁情报库中的恶意域名和/或恶意IP进行MD5加密，得到第一MD5加密数据；
将网络空间数据中的DNS数据进行MD5加密，得到第二MD5加密数据；
利用正则表达式对第一MD5加密数据与第二MD5加密数据进行匹配，并将与第一MD5加密数据匹配的第二MD5加密数据对应的网络空间数据确定为第一恶意DNS数据。
具体的，在本实施例中，首先获取预先确定出的威胁情报库，将威胁情报库中的恶意域名和/或恶意IP进行MD5加密，得到第一MD5加密数据；同时，将网络空间数据中的DNS数据进行MD5加密，得到第二MD5加密数据；利用正则表达式对第一MD5加密数据的中间16位与第二MD5加密数据的中间16位进行匹配操作；若匹配，则表示该网络空间数据为恶意DNS数据，即确定出第一恶意DNS数据；若不匹配，则不做处理，并继续进行利用其他的网络空间数据进行匹配操作。
需要说明的是，在一些实际场景中，威胁情报库中存储的是对恶意域名和/或恶意IP进行MD5加密之后的数据，即威胁情报库中存储的是第一MD5加密数据；因此可以直接从威胁情报库中获取该第一MD5加密数据，并通过正则表达式将第一MD5加密数据与第二MD5加密数据进行匹配操作，确定出第一恶意DNS数据。
作为优选的实施方式，本实施例进一步包括：
根据第一MD5加密数据的威胁类型以及第一MD5加密数据与第一恶意DNS数据的对应关系，通过join操作为第一恶意DNS数据设置对应的威胁类型。
具体的，在本实施例中，是在根据威胁情报库的第一MD5加密数据确定出网络空间数据中的第一恶意DNS数据之后，进一步根据第一MD5加密数据的威胁类型以及第一MD5加密数据与第一恶意DNS数据的对应关系，通过join操作为第一恶意DNS数据设置对应的威胁类型。
例如，威胁情报库中的第一MD5加密数据A1对应的威胁类型为X，在第一MD5加密数据A1的中间16位与第二MD5加密数据B1的中间16位相匹配的情况下，确定出第二MD5加密数据B1对应的网络空间数据为第一恶意DNS数据，在将第一MD5加密数据和第二MD5加密数据二者进行join操作得出更新字段，利用第一MD5加密数据A1的威胁类型为与第二MD5加密数据B1对应的第一恶意DNS数据设置对应的威胁类型。可以理解的是，由于第一MD5加密数据A1与第二MD5加密数据B1是相匹配的，且第一MD5加密数据A1与第一恶意DNS数据是对应的，因此确定出第一恶意DNS数据的威胁类型即为第一MD5加密数据A1的威胁类型X。另外在实际操作中，还可以建立新表存储第一恶意DNS数据以及与各第一恶意DNS数据对应的威胁类型。
可见，本发明实施例中利用预设的正则表达式对网络空间数据进行匹配得出第一恶意DNS数据的过程更加准确便捷，并且能够确定出第一恶意DNS数据的威胁类型，便于后续查看，从而进一步提升用户的使用体验。
需要说明的是，在实际操作中，可以通过直接获取目标已经公开的恶意域名/IP地址的方式获取威胁情报库，在本实施例中，作为优选的实施方式，确定出威胁情报库的过程，具体包括：
预先将带标签的历史DNS数据通过有监督学习算法进行学习训练，得出数据识别模型；
将当前DNS数据输入至数据识别模型中，判断当前DNS数据是否为恶意DNS数据；
若是，则解析当前DNS数据得出对应的恶意域名和/或恶意IP地址，确定出威胁情报库。
具体的，在本实施例中，首先训练出数据识别模型，该数据识别模型用于识别DNS数据是否为恶意DNS数据。训练数据识别模型的过程包括：预先获取带标签的历史DNS数据，然后将带标签的历史DNS数据通过有监督学习算法进行学习训练，得出数据识别模型。其中，历史DNS数据指的是网络安全设备预先采集并存储于Hive、ElasticSearch、MySQL等相关数据库中的数据；其中，有监督学习算法可以具体为贝叶斯深度学习算法，本实施例对有监督学习算法的具体类型不做限定。
具体的，在训练得出数据识别模型之后，将当前DNS数据输入至数据识别模型中，当前DNS数据即需要判定是否为恶意DNS数据的数据，通过将大量的当前DNS数据输入至数据识别模型中并确定出其中的恶意DNS数据，然后解析确定为恶意DNS数据的当前DNS数据，得出对应的恶意域名和/或恶意IP地址，利用恶意域名和/或恶意IP地址确定出威胁情报库。
需要说明的是，威胁情报库中数据量的大小根据实际需求确定，一般来说，威胁情报库中的数据量越大，能够为后续利用威胁情报库确定出恶意DNS数据提供更多的判别依据。
另外需要说明的是，在本实施例中，可以将当前已公开的威胁情报库以及根据数据识别模型得出的威胁情报库进行整合，并利用整合后的威胁情报库确定出第一恶意DNS数据，能够更加全面准确。
作为一种具体的实施方式，基于带标签的历史DNS数据训练出的有监督学习模型可以具体为Fast-Flux僵尸网络模型，Fast-Flux僵尸网络模型主要使用随机森林模型进行学习，并得到高权重的特征以及其相应的参数。
可见，按照本实施例的方式确定出威胁情报库，能够得出除了当前已公开的威胁情报库之外的其他恶意域名和/或恶意IP地址，使得用于确定出第一恶意DNS数据的威胁情报库更加全面。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例进一步包括：
基于复杂网络模型，根据威胁情报库中的各恶意DNS数据分别对应的社群关系，得出关联DNS数据；
筛选出关联DNS数据中的疑似威胁DNS数据，并将疑似威胁DNS数据增加至威胁情报库中。
具体的，关联DNS数据是与恶意DNS直接或间接相关且有可能是恶意DNS数据的数据，本实施例通过进一步基于复杂网络模型，根据威胁情报库中的各恶意DNS数据分别对应的社群关系，得出关联DNS数据；再从关联DNS数据中筛选出疑似威胁DNS数据，再将疑似威胁DNS数据增加至威胁情报库中。需要说明的是，疑似威胁DNS数据可以是通过技术人员手动选择确定，也可以是利用预设规则确定出，本实施例对此不做限定。
可见，本实施例通过进一步确定出疑似威胁DNS数据，并将疑似威胁DNS数据增加至威胁情报库中，使得威胁情报库中的数据信息更加完备。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例进一步包括：
分别统计出暴力破解模型和/或核心数据库异常登录行为和/或VPN异常登录行为的操作次数；
对应的，结合第一恶意DNS数据和第二恶意DNS数据确定出目标网站是否存在网络攻击行为的过程，具体包括：
结合第一恶意DNS数据和第二恶意DNS数据以及操作次数确定出目标网站是否存在网络攻击行为。
在本实施例中，是进一步分别统计出暴力破解模型和/或核心数据库异常登录行为和/或VPN异常登录行为的操作次数；其中，暴力破解模型的操作次数指的是通过排列组合的方式尝试所有可能的密码来达到破解密码的目的的过程的次数。具体的，通过分别统计出暴力破解模型和/或核心数据库异常登录行为和/或VPN异常登录行为的操作次数，并分别判断各操作次数是否超过分别对应的预设阈值；若超过预设阈值，则表示该目标网站可能存在网络攻击行为。通过结合第一恶意DNS数据和第二恶意DNS数据以及操作次数确定出目标网站是否存在网络攻击行为。
可见，本实施例通过进一步利用预设统计模型分别统计出暴力破解模型和/或核心数据库异常登录行为和/或VPN异常登录行为的操作次数，对应的结合第一恶意DNS数据和第二恶意DNS数据以及操作次数确定出目标网站是否存在网络攻击行为，因此能够更加准确地确定目标网站是否存在网络攻击行为。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例在结合第一恶意DNS数据和第二恶意DNS数据确定出目标网站是否存在网络攻击行为之后，进一步包括：
确定出网络攻击行为对应的攻击类型，并发出对应的提示信息。
具体的，在本实施例中，是在结合第一恶意DNS数据和第二恶意DNS数据确定出目标网站是否存在网络攻击行为之后，是在确定出目标网站存在网络攻击行为的情况下，进一步确定出网络攻击行为对应的攻击类型，并根据确定出的攻击类型触发预设的提示装置发出对应的提示信息。
需要说明的是，提示装置可以具体是蜂鸣器和/或指示灯和/或显示器，通过触发蜂鸣器/指示灯/显示器等提示装置发出对应的提示信息，如蜂鸣音/闪烁灯/显示文字或图像等，以直观地提示用户当前确定出的网络攻击行为的攻击类型，从而能够进一步提升用户的使用体验。
上文对于本发明提供的一种基于强化学习Dyna框架的网络攻击行为识别方法的实施例进行了详细的描述，本发明还提供了一种与该方法对应的基于强化学习Dyna框架的网络攻击行为识别装置、设备及计算机可读存储介质，由于装置、设备及计算机可读存储介质部分的实施例与方法部分的实施例相互照应，因此装置、设备及计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图2为本发明实施例提供的一种基于强化学习Dyna框架的网络攻击行为识别装置的结构图，如图2所示，一种基于强化学习Dyna框架的网络攻击行为识别装置包括：
获取模块21，用于获取目标网站的网络空间数据；
第一匹配模块22，用于利用预设的正则表达式对网络空间数据进行匹配，得出第一恶意DNS数据；
第二匹配模块23，用于删除网络空间数据中的第一恶意DNS数据，得到剩余的网络空间数据，并将剩余的网络空间数据输入至预先训练出的网络攻击识别模型中，得出第二恶意DNS数据；
确定模块24，用于结合第一恶意DNS数据和第二恶意DNS数据确定出目标网站是否存在网络攻击行为。
本发明实施例提供的基于强化学习Dyna框架的网络攻击行为识别装置，具有上述基于强化学习Dyna框架的网络攻击行为识别方法的有益效果。
作为优选的实施方式，一种基于强化学习Dyna框架的网络攻击行为识别装置进一步包括：
标签设置模块，用于根据第一MD5加密数据的威胁类型以及第一MD5加密数据与第一恶意DNS数据的对应关系，通过join操作为第一恶意DNS数据设置对应的威胁类型。
作为优选的实施方式，一种基于强化学习Dyna框架的网络攻击行为识别装置进一步包括：
关联数据确定模块，用于基于复杂网络模型，根据威胁情报库中的各恶意DNS数据分别对应的社群关系，得出关联DNS数据；
筛选增加模块，用于筛选出关联DNS数据中的疑似威胁DNS数据，并将疑似威胁DNS数据增加至威胁情报库中。
作为优选的实施方式，一种基于强化学习Dyna框架的网络攻击行为识别装置进一步包括：
统计模块，用于分别统计出暴力破解模型和/或核心数据库异常登录行为和/或VPN异常登录行为的操作次数；
对应的，确定模块具体包括：
确定子模块，用于结合第一恶意DNS数据和第二恶意DNS数据以及操作次数确定出目标网站是否存在网络攻击行为。
作为优选的实施方式，一种基于强化学习Dyna框架的网络攻击行为识别装置进一步包括：
提示模块，用于确定出网络攻击行为对应的攻击类型，并发出对应的提示信息。
图3为本发明实施例提供的一种基于强化学习Dyna框架的网络攻击行为识别设备的结构图，如图3所示，一种基于强化学习Dyna框架的网络攻击行为识别设备包括：
存储器31，用于存储计算机程序；
处理器32，用于执行计算机程序时实现如上述基于强化学习Dyna框架的网络攻击行为识别方法的步骤。
本发明实施例提供的基于强化学习Dyna框架的网络攻击行为识别设备，具有上述基于强化学习Dyna框架的网络攻击行为识别方法的有益效果。
为解决上述技术问题，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述基于强化学习Dyna框架的网络攻击行为识别方法的步骤。
本发明实施例提供的计算机可读存储介质，具有上述基于强化学习Dyna框架的网络攻击行为识别方法的有益效果。
以上对本发明所提供的基于强化学习Dyna框架的网络攻击行为识别方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (9)

1.一种基于强化学习Dyna框架的网络攻击行为识别方法，其特征在于，包括：
获取目标网站的网络空间数据；
利用预设的正则表达式对所述网络空间数据进行匹配，得出第一恶意DNS数据；
删除所述网络空间数据中的所述第一恶意DNS数据，得到剩余的网络空间数据，并将所述剩余的网络空间数据输入至预先训练出的网络攻击识别模型中，得出第二恶意DNS数据；所述网络攻击识别模型是通过有监督学习或无监督学习或强化学习的方式训练得出的；
结合所述第一恶意DNS数据和所述第二恶意DNS数据确定出所述目标网站是否存在网络攻击行为；
所述利用预设的正则表达式对所述网络空间数据进行匹配，得出第一恶意DNS数据的过程，具体包括：
获取预先确定出的威胁情报库，并将所述威胁情报库中的恶意域名和/或恶意IP进行MD5加密，得到第一MD5加密数据；
将所述网络空间数据中的DNS数据进行MD5加密，得到第二MD5加密数据；
利用所述正则表达式对所述第一MD5加密数据与所述第二MD5加密数据进行匹配，并将与所述第一MD5加密数据匹配的所述第二MD5加密数据对应的网络空间数据确定为所述第一恶意DNS数据。
2.根据权利要求1所述的方法，其特征在于，确定出所述威胁情报库的过程，具体包括：
预先将带标签的历史DNS数据通过有监督学习算法进行学习训练，得出数据识别模型；
将当前DNS数据输入至所述数据识别模型中，判断所述当前DNS数据是否为恶意DNS数据；
若是，则解析所述当前DNS数据得出对应的恶意域名和/或恶意IP地址，确定出所述威胁情报库。
3.根据权利要求1所述的方法，其特征在于，进一步包括：
根据所述第一MD5加密数据的威胁类型以及所述第一MD5加密数据与所述第一恶意DNS数据的对应关系，通过join操作为所述第一恶意DNS数据设置对应的威胁类型。
4.根据权利要求2所述的方法，其特征在于，进一步包括：
基于复杂网络模型，根据所述威胁情报库中的各所述恶意DNS数据分别对应的社群关系，得出关联DNS数据；
筛选出所述关联DNS数据中的疑似威胁DNS数据，并将所述疑似威胁DNS数据增加至所述威胁情报库中。
5.根据权利要求1所述的方法，其特征在于，进一步包括：
分别统计出暴力破解模型和/或核心数据库异常登录行为和/或VPN异常登录行为的操作次数；
对应的，所述结合所述第一恶意DNS数据和所述第二恶意DNS数据确定出所述目标网站是否存在网络攻击行为的过程，具体包括：
结合所述第一恶意DNS数据和所述第二恶意DNS数据以及所述操作次数确定出所述目标网站是否存在所述网络攻击行为。
6.根据权利要求1至5任一项所述的方法，其特征在于，在所述结合所述第一恶意DNS数据和所述第二恶意DNS数据确定出所述目标网站是否存在网络攻击行为之后，进一步包括：
确定出所述网络攻击行为对应的攻击类型，并发出对应的提示信息。
7.一种基于强化学习Dyna框架的网络攻击行为识别装置，其特征在于，包括：
获取模块，用于获取目标网站的网络空间数据；
第一匹配模块，用于利用预设的正则表达式对所述网络空间数据进行匹配，得出第一恶意DNS数据；
第二匹配模块，用于删除所述网络空间数据中的所述第一恶意DNS数据，得到剩余的网络空间数据，并将所述剩余的网络空间数据输入至预先训练出的网络攻击识别模型中，得出第二恶意DNS数据；所述网络攻击识别模型是通过有监督学习或无监督学习或强化学习的方式训练得出的；
确定模块，用于结合所述第一恶意DNS数据和所述第二恶意DNS数据确定出所述目标网站是否存在网络攻击行为；
所述第一匹配模块，具体用于获取预先确定出的威胁情报库，并将所述威胁情报库中的恶意域名和/或恶意IP进行MD5加密，得到第一MD5加密数据；将所述网络空间数据中的DNS数据进行MD5加密，得到第二MD5加密数据；利用所述正则表达式对所述第一MD5加密数据与所述第二MD5加密数据进行匹配，并将与所述第一MD5加密数据匹配的所述第二MD5加密数据对应的网络空间数据确定为所述第一恶意DNS数据。
8.一种基于强化学习Dyna框架的网络攻击行为识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的基于强化学习Dyna框架的网络攻击行为识别方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于强化学习Dyna框架的网络攻击行为识别方法的步骤。
CN202110056313.9A 2021-01-15 2021-01-15 一种基于强化学习Dyna框架的网络攻击行为识别方法 Active CN112769840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110056313.9A CN112769840B (zh) 2021-01-15 2021-01-15 一种基于强化学习Dyna框架的网络攻击行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110056313.9A CN112769840B (zh) 2021-01-15 2021-01-15 一种基于强化学习Dyna框架的网络攻击行为识别方法

Publications (2)

Publication Number Publication Date
CN112769840A CN112769840A (zh) 2021-05-07
CN112769840B true CN112769840B (zh) 2023-04-07

Family

ID=75702035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110056313.9A Active CN112769840B (zh) 2021-01-15 2021-01-15 一种基于强化学习Dyna框架的网络攻击行为识别方法

Country Status (1)

Country Link
CN (1) CN112769840B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113794731B (zh) * 2021-09-17 2023-05-02 工银科技有限公司 识别基于cdn流量伪装攻击的方法、装置、设备和介质
CN114124484B (zh) * 2021-11-09 2024-04-05 招商银行股份有限公司 网络攻击识别方法、系统、装置、终端设备以及存储介质
CN114363023A (zh) * 2021-12-23 2022-04-15 国家电网有限公司 一种Web安全防护系统实施及策略调优方法、系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566376A (zh) * 2017-09-11 2018-01-09 中国信息安全测评中心 一种威胁情报生成方法、装置及系统
US10673880B1 (en) * 2016-09-26 2020-06-02 Splunk Inc. Anomaly detection to identify security threats

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657459A (zh) * 2018-10-11 2019-04-19 平安科技（深圳）有限公司 网页后门检测方法、设备、存储介质及装置
CN109547423B (zh) * 2018-11-09 2021-03-30 上海交通大学 一种基于机器学习的web恶意请求深度检测系统及方法
US11412001B2 (en) * 2019-06-10 2022-08-09 Zscaler, Inc. Statistical network application security policy generation
CN110213287B (zh) * 2019-06-12 2020-07-10 北京理工大学 一种基于集成机器学习算法的双模式入侵检测装置
CN110753064B (zh) * 2019-10-28 2021-05-07 中国科学技术大学 机器学习和规则匹配融合的安全检测系统
CN110830483B (zh) * 2019-11-13 2022-03-22 杭州安恒信息技术股份有限公司 网页日志攻击信息检测方法、系统、设备及可读存储介质
CN110912753B (zh) * 2019-12-11 2022-03-25 中山大学 一种基于机器学习的云安全事件实时检测系统及方法
CN111786986B (zh) * 2020-06-29 2021-08-27 华中科技大学 一种数控系统网络入侵防范系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10673880B1 (en) * 2016-09-26 2020-06-02 Splunk Inc. Anomaly detection to identify security threats
CN107566376A (zh) * 2017-09-11 2018-01-09 中国信息安全测评中心 一种威胁情报生成方法、装置及系统

Also Published As

Publication number Publication date
CN112769840A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112769840B (zh) 一种基于强化学习Dyna框架的网络攻击行为识别方法
EP3651043B1 (en) Url attack detection method and apparatus, and electronic device
CN108471429B (zh) 一种网络攻击告警方法及系统
EP4124975A1 (en) Discovering cyber-attack process model based on analytical attack graphs
CN108881265B (zh) 一种基于人工智能的网络攻击检测方法及系统
CN106961419B (zh) WebShell检测方法、装置及系统
CN108683687B (zh) 一种网络攻击识别方法及系统
CN110855676B (zh) 网络攻击的处理方法、装置及存储介质
CN108881263B (zh) 一种网络攻击结果检测方法及系统
Crespo-Martínez et al. SQL injection attack detection in network flow data
CN108833185B (zh) 一种网络攻击路线还原方法及系统
CN112511561A (zh) 网络攻击路径确定方法、设备、存储介质及装置
CN114866358B (zh) 一种基于知识图谱的自动化渗透测试方法及系统
CN110704816B (zh) 接口破解的识别方法、装置、设备及存储介质
CN113079151B (zh) 一种异常处理方法、装置、电子设备及可读存储介质
CN113221109A (zh) 一种基于生成对抗网络的恶意文件智能分析方法
Song et al. Generating fake cyber threat intelligence using the gpt-neo model
CN113886829A (zh) 一种失陷主机检测方法、装置、电子设备及存储介质
Ahmed et al. Active learning based adversary evasion attacks defense for malwares in the internet of things
CN115643044A (zh) 数据处理方法、装置、服务器及存储介质
François et al. Digital forensics in VoIP networks
Wang et al. A model-based fuzzing approach for DBMS
Konda et al. AI and IoT based Intrusion Detection System for Cybersecurity
CN113055396B (zh) 一种跨终端溯源分析的方法、装置、系统和存储介质
Deptula Automation of cyber penetration testing using the detect, identify, predict, react intelligence automation model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant