CN117792733A - 一种网络威胁的检测方法及相关装置 - Google Patents
一种网络威胁的检测方法及相关装置 Download PDFInfo
- Publication number
- CN117792733A CN117792733A CN202311803783.2A CN202311803783A CN117792733A CN 117792733 A CN117792733 A CN 117792733A CN 202311803783 A CN202311803783 A CN 202311803783A CN 117792733 A CN117792733 A CN 117792733A
- Authority
- CN
- China
- Prior art keywords
- detection
- traffic
- unknown
- network attack
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 335
- 238000004458 analytical method Methods 0.000 claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 89
- 230000000007 visual effect Effects 0.000 claims abstract description 59
- 230000004044 response Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 14
- 238000005065 mining Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000013145 classification model Methods 0.000 claims description 12
- 239000000523 sample Substances 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 12
- 239000002957 persistent organic pollutant Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种网络威胁的检测方法、网络威胁的检测装置、计算机装置以及计算机可读存储介质，用于对现有的规则库检测不到的未知流量，执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而提升对未知流量中网络威胁检测的准确性。本发明实施例方法包括：获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量，对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。
Description
技术领域
本发明涉及网络安全技术领域，尤其涉及一种网络威胁的检测方法及相关装置。更具体的，是网络威胁的检测方法、网络威胁的检测装置、计算机装置以及计算机可读存储介质。
背景技术
随着计算机技术和网络技术的发展，网络安全问题，在今天已经成为网络世界里最为关注的问题之一。
由于计算机网络的设计初衷是资源共享、分散控制、分组交换，这决定了互联网具有大跨度、分布式、无边界的特征。这种开放性使黑客可以轻而易举地进入各级网络，并将破坏行为迅速地在网络中传播。
同时，计算机网络还有着自然社会中所不具有的隐蔽性：无法有效识别网络用户的真实身份；由于互联网上信息以二进制数码，即数字化的形式存在，所以操作者能比较容易地在数据传播过程中改变信息内容。然而现有技术中，往往通过一层防火墙来保护整个系统的安全，这样只要黑客了解该防火墙的漏洞就能容易操纵整个系统，使内网和外网容易受到网络攻击。
发明内容
本发明实施例提供了一种网络威胁的检测方法、网络威胁的检测装置、计算机装置以及计算机可读存储介质，用于对本地规则库和/或分布式设置的数据中心的规则库检测不到的未知流量，执行图数据库检测、内容分析检测、探测检测、视觉分析检测和或AI检测中的至少一项检测，从而提升对未知流量中网络威胁检测的准确性。
第一方面，本申请实施例提供了一种网络威胁的检测方法，包括：
获取网络流量中的未知流量，其中，所述未知流量为利用规则库未匹配到的流量；
对所述未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到所述未知流量的检测结果。
可选的，在获取到所述未知流量之前，所述方法还包括：
提取出所述网络流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
对所述网络攻击指标的合规性执行检测，以过滤掉不合规的网络攻击指标，得到合规的网络攻击指标；
和/或，
将所述网络攻击指标输入至情报库中，以提取出所述网络攻击指标的历史上下文信息；
确定所述历史上下文信息中未命中恶意规则的合规的网络攻击指标；
将所述合规的网络攻击指标执行缓存。
可选的，对所述未知流量执行内容分析检测，包括：
提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
查询所述网络攻击指标对应的文本内容和/或所述网络攻击指标对应的WHOIS信息；
对所述文本内容和/或所述WHOIS信息执行内容分析，以得到所述网络攻击指标的情报信誉和举证信息。
可选的，对所述未知流量执行视觉分析检测，包括：
提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
对所述网攻击指标所映射的页面内容进行视觉图像分析，以得到所述网络攻击指标的情报信誉和举证信息，所述页面内容包括页面标识、登录框、页面布局、色彩分布中的至少一项。
可选的，对所述未知流量执行AI检测，包括：
提取出所述未知流量中的加密流量；
将所述加密流量输入至AI分类模型，以使得所述AI分类模型根据正常加密流量和非正常加密流量的差异，得到所述加密流量的分类结果，其中，所述分类结果包括所述加密流量为威胁流量，或所述加密流量为安全流量。
可选的，所述方法还包括：
对所述未知流量执行图数据库检测，其中，所述图数据库检测包括：
提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
将所述网络攻击指标输入至图数据库中，以获取所述网络攻击指标的属性和/或关联关系；
对所述网络攻击指标的属性和/或关联关系进行分析，以得到所述网络攻击指标的情报信誉和举证信息。
可选的，其特征在于，所述方法还包括：对所述未知流量执行探测分析检测，其中，所述探测分析检测包括：
提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
对所述网络攻击指标构造主动探测请求，以得到对应所述主动探测请求的响应信息，所述主动探测请求包括挖矿探测请求、黑客工具探测请求和钓鱼探测请求中的至少一项；
将所述主动探测请求的响应信息进行分析，以得到所述网络攻击指标的情报信誉和举证信息。
可选的，所述方法还包括：
将所述网络攻击指标的情报信誉和举证信息，以及所述威胁流量进行综合分析，以得到所述未知流量的综合鉴定结果；
将所述综合鉴定结果存储至数据库。
可选的，所述方法还包括：
监测所述数据库中存储的最新网络攻击指标和/或已知网络攻击指标的最新情报信誉和最新举证信息；
将所述最新网络攻击指标和已知网络攻击指标的最新情报信誉和最新举证信息中的至少一项，执行加密和/或压缩处理，以得到更新后的网络攻击指标；
将所述更新后的网络攻击指标部署至所述本地规则库和/或所述数据中心的规则库。
第二方面，本申请实施例提供了一种网络威胁的检测装置，包括：
获取单元，用于获取网络流量中的未知流量，其中，所述未知流量为利用本地规则库未匹配到的流量；
检测单元，用于对所述未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到所述未知流量的检测结果。
第三方面，本申请实施例提供了一种计算机装置，包括：
中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
所述存储器为短暂存储存储器或持久存储存储器；
所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行前述网络威胁的检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当指令在计算机上运行时，使得计算机执行前述网络威胁的检测方法。
第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行前述网络威胁的检测方法。
从以上技术方案可以看出，本申请实施例具有以下优点：可以获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量，对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。可以对现有的规则库(比如本地规则库和/或分布式设置的数据中心的规则库等)检测不到的未知流量，执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而提升对未知流量中网络威胁检测的准确性。
附图说明
图1为本申请实施例公开的一种网络威胁的检测系统的架构示意图；
图2为本申请实施例公开的一种网络威胁的检测方法的流程示意图；
图3为本申请实施例公开的另一种网络威胁的检测方法的流程示意图；
图4为本申请实施例公开的又一种网络威胁的检测方法的流程示意图；
图5为本申请实施例公开的又一种网络威胁的检测方法的流程示意图；
图6为本申请实施例公开的又一种网络威胁的检测方法的流程示意图；
图7为本申请实施例公开的一种网络威胁的检测装置的结构示意图；
图8为本申请实施例公开的一种计算机装置的结构示意图；
图9为本申请实施例公开的另一种计算机装置的结构示意图。
具体实施方式
本申请实施例提供了一种网络威胁的检测方法、网络威胁的检测装置、计算机装置以及计算机可读存储介质，用于对现有的规则库检测不到的未知流量，执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而提升对未知流量中网络威胁检测的准确性。
请参阅图1，本申请实施例中网络威胁的检测系统的架构包括：
网络威胁的检测设备101和终端设备102。当进行网络威胁的检测时，网络威胁的检测设备101可以与终端设备102连接。网络威胁的检测设备101可以获取终端设备102发送的网络流量中的未知流量，可以对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。
本申请实施例中对一些关键术语解释如下：
NGAF：是“Next GenerationApplication Firewall”的缩写，是一种新一代的应用程序防火墙，它能够对网络流量进行深度检测和分析，以保护企业网络免受各种网络攻击。
SASE：是“Secure Access Service Edge”的缩写，是一种新兴的网络安全架构，它将网络安全和网络边缘的访问控制功能集成在一起，以提供更加全面的网络安全保护。
SASE POP：是指SASE架构中的“点对点”节点，它们位于全球各地的数据中心中，用于提供网络边缘的访问控制和网络安全服务。
AI：是“人工智能”的缩写，是一种模拟人类智能的技术，它可以通过机器学习、深度学习等算法来实现自主学习和自主决策。
数据库：数据库是一种用于存储和管理数据的软件系统，它可以提供数据的高效访问和管理，是现代信息系统中不可或缺的组成部分。
IOC：是“Indicator ofCompromise”的缩写，是一种用于检测和识别网络攻击的指标，它可以帮助安全人员快速发现和应对网络攻击。
ICP：是“Internet Content Provider”的缩写，是指提供互联网信息服务的企业或个人，需要进行备案才能合法经营。
PDNS：是“Passive DNS”的缩写，是一种被动式的DNS数据收集技术，它可以记录所有DNS查询和响应的详细信息，以便进行网络安全分析和威胁情报收集。
NOD：是“Network Operations and Development”的缩写，是指网络运营和发展，包括网络规划、设计、建设、运营和维护等方面的工作。
WHOIS：是一种用于查询域名注册信息的协议，它可以查询域名的注册人、注册机构、注册时间、过期时间等信息。
Wireshark：是一种开源的网络协议分析工具，它可以捕获和分析网络数据包，帮助安全人员进行网络安全分析和故障排除。
Tcpdump：是一种命令行网络协议分析工具，它可以捕获和分析网络数据包，帮助安全人员进行网络安全分析和故障排除。
基于图1所示的网络威胁的检测系统，请参阅图2，图2为本申请实施例公开的一种网络威胁的检测方法的流程示意图，方法包括：
201、获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量。
本实施例中，当进行网络威胁的检测时，可以获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量。
202、对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。
获取网络流量中的未知流量之后，可以对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。
具体的，对未知流量执行内容分析检测和/或视觉分析检测中的至少一项检测，从而得到未知流量的检测结果的方法可以是，先提取出未知流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，然后基于未知流量中的网络攻击指标来进行对未知流量执行内容分析检测和/或视觉分析检测中的至少一项检测。对未知流量执行AI检测，从而得到未知流量的检测结果的方法可以是，先提取出未知流量中的加密流量，然后基于加密流量来进行对未知流量执行AI检测。
本申请实施例中，可以获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量，对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。可以对现有的规则库(比如本地规则库和/或分布式设置的数据中心的规则库等)检测不到的未知流量，执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而提升对未知流量中网络威胁检测的准确性。
本申请实施例中，对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果的方法可以有多种，下面分别进行描述。
一、对未知流量执行内容分析检测，从而得到未知流量的检测结果。
本申请实施例中，可以对未知流量执行内容分析检测，具体请参阅图3，图3为本申请实施例公开的另一种网络威胁的检测方法的流程示意图，方法包括：
301、获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量。
本实施例中，当进行网络威胁的检测时，可以获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量。
其中，在获取到网络流量中的未知流量之前，可以确定网络流量中的合规的网络攻击指标，并将合规的网络攻击指标执行缓存。具体的，确定合规的网络攻击指标的方法可以包括以下至少一种情况。
(1)、可以提取出网络流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，对网络攻击指标的合规性执行检测，以过滤掉不合规的网络攻击指标，得到合规的网络攻击指标。
具体的，对网络攻击指标的合规性执行检测，以过滤掉不合规的网络攻击指标，得到合规的网络攻击指标的方法可以包括以下至少一种情况。
A、可以通过NGAF等装置对上网流量(网络流量)进行实时检测和拦截，以防止已知的威胁。这些已知的威胁包含于设备本地规则库和全球POP上的规则库。对于那些经过已知威胁检测后仍然未知的IOC数据(合规的网络攻击指标)，可以将其实时上报到云端数据仓库(云端数据库)，以便进一步分析和处理。
具体的，举个例子，假设一个企业使用NGAF装置对网络流量进行监测和防御，NGAF装置中包含了设备本地规则库和全球POP上的规则库，这些规则库中包含了已知的威胁信息。当网络流量经过NGAF装置时，NGAF装置会实时检测网络流量中是否存在已知的威胁。如果检测到已知的威胁，NGAF装置会立即采取相应的防御措施，例如阻止特定的网络流量或关闭攻击者使用的端口。对于那些经过已知威胁检测后仍然未知的IOC数据，NGAF装置会将其实时上报到云端数据仓库。云端数据仓库会进一步分析和处理这些未知的威胁，以便及时发现新的威胁并采取相应的措施来保护客户的网络安全。同时，本地规则库和全球POP规则库也会不断更新，以确保能够及时识别和拦截已知的威胁。
值得一提的是，这种通过NGAF装置实现的未知流量上报的方法可以帮助及时发现新的威胁，并采取相应的措施来保护设备的网络安全。同时，也会不断更新本地规则库和全球POP规则库，以确保能够及时识别和拦截已知的威胁。
B、可以通过过滤分发系统对未知流量进行过滤。
具体的，过滤分发系统的过滤算法可以包括非法过滤、缓存过滤、高可疑过滤和/或其他过滤方法。再具体的，非法过滤可以使用正则算法对私有流量、错误IOC、动态IOC、长度非法IOC、白后缀IOC、拼音特征的IOC、数字IOC、特殊IOC等进行过滤，以确保只有合法的流量能够通过系统。例如，系统可以检测到私有流量中的非法IP地址或域名，并将其过滤掉。缓存过滤可以缓存短时间内已经处理过的IOC，以避免对后续未知流量进行二次处理。例如，如果系统已经处理过某个IP地址的流量并确定其合规性，那么在一段时间内再次遇到该IP地址的流量时，系统可以直接将其通过，而无需再次进行检测。高可疑过滤可以对未知流量进行黑白规则库、ICP库、PDNS库、NOD库、关联情报库等多个库的过滤，以将非高可疑的流量过滤掉。例如，系统可以根据黑白规则库中的规则，将符合黑名单规则的流量过滤掉。过滤后，过滤分发系统会将流量按照业务优先级和高可疑程度输入到优先级队列中，以便后续处理。
值得一提的是，过滤分发系统可以将流量按照业务优先级和高可疑程度输入到优先级队列中，以便后续处理。这样可以确保只有合规的网络攻击指标能够通过系统，提高网络安全性，减少潜在的网络攻击风险。
为方便理解对网络攻击指标的合规性执行检测的方法，下面举一个具体的例子进行说明。
具体的，举个例子，假设有一个网络流量数据包，其中包含以下信息：“IP地址：192.168.1.100；域名：www.example.com；网址：/login.php；文件哈希值：a1b2c3d4e5f6”，首先，可以从这个网络流量数据包中提取出网络攻击指标，即IP地址、域名、URL和文件哈希值。然后，对这些网络攻击指标进行合规性检测，检查它们是否符合预先定义的规则或策略。例如，可以检查IP地址是否在允许的范围内，域名是否存在于已知的恶意域名列表中，URL是否包含可疑的关键词，文件哈希值是否与已知的恶意文件哈希值匹配等。如果这些网络攻击指标通过了合规性检测，即符合规则，那么这些网络攻击指标就被认为是合规的网络攻击指标。否则，如果某个网络攻击指标不符合规则，那么该网络攻击指标就被过滤掉，不被视为合规的网络攻击指标，并且不进行后续的检测和分析。
需要理解的是，通过提取和合规性检测网络攻击指标，可以得到符合规则的网络攻击指标，符合规则的网络攻击指标可以用于进一步的网络威胁检测和分析。
值得一提的是，对网络攻击指标的合规性执行检测，以过滤掉不合规的网络攻击指标，可以帮助提高网络威胁检测的准确性和效率。其次，可以避免对无关的IP地址进行处理，减少了后续检测和分析的工作量，减少了系统资源的消耗，并提高了检测系统的效率，提高了检测系统的性能和响应速度。
(2)、可以先将网络攻击指标输入至情报库中，以提取出网络攻击指标的历史上下文信息，然后确定历史上下文信息中未命中恶意规则的合规的网络攻击指标。
具体的，网络攻击指标是指用于识别和检测网络攻击的特定标识，如IP地址、域名、URL等，网络攻击指标可以用来判断网络中是否存在潜在的攻击行为。网络攻击指标的历史上下文信息是指将网络攻击指标输入情报库后，从情报库中提取出的与网络攻击指标相关的历史信息，这些历史信息可以包括网络攻击指标在过去的攻击事件中的出现频率、攻击方式、攻击目标等。通过分析这些历史上下文信息，可以更好地了解该网络攻击指标的特征和行为模式。举例来说，假设将一个IP地址作为网络攻击指标输入情报库。在情报库中，可以查询该IP地址在过去的攻击事件中是否出现过，以及出现的频率和攻击方式。如果该IP地址在历史上下文信息中频繁出现，并且与恶意活动相关联，那么可以认为该IP地址是一个合规的网络攻击指标。
值得一提的是，通过分析这些历史上下文信息，可以更好地了解网络攻击指标的特征和行为模式，从而确定网络攻击指标是否为合规的网络攻击指标，可以帮助提高网络威胁检测的准确性和效率，从而可以采取相应的防御措施来保护网络安全。其次，可以避免对无关的IP地址进行处理，减少了后续检测和分析的工作量，减少了系统资源的消耗，并提高了检测系统的效率，提高了检测系统的性能和响应速度。
本实施例中的步骤301与前述图2所示实施例中的步骤201类似，具体此处不再赘述。
302、对未知流量执行内容分析检测，从而得到未知流量的检测结果。
获取网络流量中的未知流量之后，可以对未知流量执行内容分析检测，从而得到未知流量的检测结果。
其中，对未知流量执行内容分析检测，从而得到未知流量的检测结果的方法可以是，先提取出未知流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，然后查询网络攻击指标对应的文本内容和/或网络攻击指标对应的WHOIS信息，最后对文本内容和/或WHOIS信息执行内容分析，以得到网络攻击指标的情报信誉和举证信息。其中，内容分析检测后得到的网络攻击指标的情报信誉和举证信息，可以用于判断未知流量是否是恶意的或属于某种特定的攻击类型，从而确定未知流量的检测结果。
具体的，网络攻击指标对应的文本内容可以是与网络攻击相关的文本信息，例如攻击者使用的恶意软件的名称、攻击者在攻击中使用的特定关键词等。而网络攻击指标对应的WHOIS信息可以是与网络攻击相关的域名注册信息，例如域名的所有者、注册日期、注册商等。内容分析的方法可以包括使用自然语言处理技术来提取关键信息、分析文本语义、识别攻击模式等。举个例子，假设网络流量中存在一个未知流量，其中包含一个IP地址作为网络攻击指标。首先，可以查询该IP地址对应的文本内容，例如查找与该IP地址相关的恶意软件的名称、攻击者在攻击中使用的特定关键词等。通过分析这些文本内容，可以获取有关该IP地址的情报信息，例如该IP地址是否与已知的恶意活动有关联。另外，还可以查询该IP地址对应的WHOIS信息，获取该IP地址的域名注册信息，例如域名的所有者、注册日期、注册商等。通过分析这些WHOIS信息，可以获取有关该IP地址的举证信息，例如该IP地址是否在过去被用于恶意活动，或者该注册商是否与恶意活动有关联。
值得一提的是，内容分析检测可以通过分析文本内容和/或WHOIS信息等，获得更多关于攻击指标的详细信息，从而更准确地判断该未知流量是否属于网络攻击(判断网络流量是否为威胁)。
本实施例中，可以获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量，对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。可以对现有的规则库(比如本地规则库和/或分布式设置的数据中心的规则库等)检测不到的未知流量，执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而提升对未知流量中网络威胁检测的准确性。其次，内容分析检测可以通过分析文本内容和/或WHOIS信息等，获得更多关于攻击指标的详细信息，从而更准确地判断该未知流量是否属于网络攻击。
二、对未知流量执行视觉分析检测，从而得到未知流量的检测结果。
本申请实施例中，可以对未知流量执行视觉分析检测，具体请参阅图4，图4为本申请实施例公开的又一种网络威胁的检测方法的流程示意图，方法包括：
401、获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量。
本实施例中的步骤401与前述图3所示实施例中的步骤301类似，具体此处不再赘述。
402、对未知流量执行视觉分析检测，从而得到未知流量的检测结果。
获取网络流量中的未知流量之后，可以对未知流量执行视觉分析检测，从而得到未知流量的检测结果。
其中，对未知流量执行视觉分析检测，从而得到未知流量的检测结果的方法可以是，先提取出未知流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，然后对网攻击指标所映射的页面内容进行视觉图像分析，以得到网络攻击指标的情报信誉和举证信息，页面内容包括页面标识、登录框、页面布局、色彩分布中的至少一项。其中，视觉分析检测后的网络攻击指标的情报信誉和举证信息，可以用于判断未知流量是否是恶意的或属于某种特定的攻击类型，用于确定未知流量的检测结果。
具体的，网络攻击指标的情报信誉和举证信息可以用于评估该网络攻击指标的可信度和重要性，并提供证据来支持对网络攻击的检测和分析。举例来说，假设对一个未知流量进行视觉分析检测，并提取出其中的IP地址作为网络攻击指标。然后，对该IP地址所映射的页面内容进行视觉图像分析，以获取有关该IP地址的情报信誉和举证信息。在这个过程中，可以分析页面标识、登录框、页面布局、色彩分布等方面的信息。如果发现该IP地址所映射的页面标识与已知的恶意网站相似，那么可以认为该IP地址可能与网络攻击有关。另外，如果发现该IP地址所映射的页面布局存在异常或不符合正常网站的特征，那么也可以将其视为潜在的网络攻击指标。这些情报信誉和举证信息可以帮助安全专家评估网络攻击的威胁程度，并采取相应的防御措施。
值得一提的是，视觉分析检测可以通过分析页面内容的视觉特征，从而更准确地判断该未知流量是否属于网络攻击。
本实施例中，可以获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量，对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。可以对现有的规则库(比如本地规则库和/或分布式设置的数据中心的规则库等)检测不到的未知流量，执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而提升对未知流量中网络威胁检测的准确性。其次，视觉分析检测可以通过分析页面内容的视觉特征，从而更准确地判断该未知流量是否属于网络攻击。
三、对未知流量执行AI检测，从而得到未知流量的检测结果。
本申请实施例中，可以对未知流量执行AI检测，具体请参阅图5，图5为本申请实施例公开的又一种网络威胁的检测方法的流程示意图，方法包括：
501、获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量。
本实施例中的步骤501与前述图3所示实施例中的步骤301类似，具体此处不再赘述。
502、对未知流量执行AI检测，从而得到未知流量的检测结果。
获取网络流量中的未知流量之后，可以对未知流量执行AI检测，从而得到未知流量的检测结果。
其中，对未知流量执行AI检测，从而得到未知流量的检测结果的方法可以是，先提取出未知流量中的加密流量，然后将加密流量输入至AI分类模型，以使得AI分类模型根据正常加密流量和非正常加密流量的差异，得到加密流量的分类结果，其中，分类结果包括加密流量为威胁流量，或加密流量为安全流量。其中加密流量的分类结果可以用于判断未知流量是否是恶意的或属于某种特定的攻击类型，用于确定未知流量的检测结果。
具体的，未知流量中的加密流量指的是在网络流量中存在加密操作的数据包。加密是一种将原始数据转换为不可读的密文的过程，以保护数据的机密性和安全性。提取未知流量中的加密流量的方法可以包括流量分析工具、流量特征识别和/或深度包检测等对应的方法。其中，流量分析工具是使用专门的网络流量分析工具，如Wireshark，可以捕获网络数据包并查看其内容，通过分析数据包的协议和加密算法，可以确定哪些数据包是加密的。流量特征识别是指可以通过分析网络流量的特征，如数据包大小、传输速率、协议类型等，识别出加密流量的模式，例如，HTTPS通信使用TLS/SSL协议进行加密，可以通过识别TLS/SSL握手过程来确定加密流量。深度包检测是指可以使用深度包检测技术，对网络数据包进行深入分析，以识别加密流量的特征，可以检测出使用自定义加密算法或隐藏在其他协议中的加密流量。
再具体的，举个例子，假设有一个训练好的AI分类模型，AI分类模型通过学习大量的正常加密流量和非正常加密流量的特征，能够区分它们之间的差异。现在有一个未知的加密流量，需要判断该未知的加密流量是正常的还是异常的。首先，可以将这个未知的加密流量输入到AI分类模型中，AI分类模型会对这个加密流量进行分析，并根据其与正常加密流量和非正常加密流量的差异，给出一个分类结果。比如如果模型判断该加密流量与正常加密流量的差异较小，那么它可能被分类为正常加密流量。这意味着这个加密流量与已知的正常加密流量相似，可能是合法的通信。如果模型判断这个加密流量与正常加密流量的差异较大，那么它可能被分类为非正常加密流量。这意味着这个加密流量与已知的正常加密流量有明显的不同，可能是恶意的攻击或异常行为。
值得一提的是，AI检测可以通过机器学习算法自动学习和识别威胁，从而更准确地判断该未知流量是否属于网络攻击。
本实施例中，可以获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量，对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。可以对现有的规则库(比如本地规则库和/或分布式设置的数据中心的规则库等)检测不到的未知流量，执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而提升对未知流量中网络威胁检测的准确性。其次，AI检测可以通过机器学习算法自动学习和识别威胁，从而更准确地判断该未知流量是否属于网
可以理解的是，本申请实施例中，除了上面所描述的对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果的方法之外，还可以对未知流量执行图数据库检测和/或探测分析检测中的至少一项检测，从而得到未知流量的检测结果。下面分别进行描述。
其中，对未知流量执行图数据库检测，从而得到未知流量的检测结果的方法可以是，先提取出未知流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，然后将网络攻击指标输入至图数据库中，以获取网络攻击指标的属性和/或关联关系，最后对网络攻击指标的属性和/或关联关系进行分析，以得到网络攻击指标的情报信誉和举证信息。其中，图数据库检测后得到的网络攻击指标的情报信誉和举证信息，可以用于判断未知流量是否是恶意的或属于某种特定的攻击类型，从而确定未知流量的检测结果。
具体的，可以将网络攻击指标输入至图数据库中，是指将网络攻击指标(如IP、域名、统一资源定位符和文件哈希值)作为输入，存储在图数据库中。图数据库是一种专门用于存储和处理图形结构数据的数据库。通过将网络攻击指标作为节点和边的属性，可以在图数据库中建立网络攻击指标之间的关联关系，并提供了高效的查询和分析功能。属性是指网络攻击指标在图数据库中的特征或描述，关联关系是指网络攻击指标之间的连接或关系。比如对于属性而言，IP地址的属性可以包括国家、地区、运营商等信息；域名的属性可以包括注册人、注册时间、过期时间等信息；统一资源定位符(URL)的属性可以包括协议、主机名、路径等信息；文件哈希值的属性可以包括文件大小、文件类型、创建时间等信息。比如对于关联关系而言，IP地址和域名之间可以有关联关系，表示该IP地址对应的域名；域名和URL之间可以有关联关系，表示该域名对应的URL；URL和文件哈希值之间可以有关联关系，表示该URL对应的文件哈希值。
举个例子，假设有一个网络攻击指标的图数据库，其中包含了多个网络攻击指标的节点和它们之间的关联关系。当新的网络攻击指标进入系统时，可以将其作为新的节点添加到图数据库中，并与已有的节点建立关联关系。例如，如果新的网络攻击指标与已有的节点存在相同的IP地址或域名，那么可以将它们之间建立一条边来表示它们之间的关联关系。再举个例子，假设在图数据库中存储了多个网络攻击指标的属性和关联关系。可以通过分析这些属性和关联关系，来获取网络攻击指标的情报信誉和举证信息。例如，可以分析某个网络攻击指标的历史行为模式，以确定它是否具有恶意意图。又或者，可以分析网络攻击指标之间的关联关系，以确定它们之间是否存在协同攻击的可能性。
值得一提的是，图数据库检测可以通过分析网络攻击指标之间的关联关系，从而更准确地判断该未知流量是否属于网络攻击。
其中，对未知流量执行探测分析检测，从而得到未知流量的检测结果的方法可以是，先提取出未知流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，然后对网络攻击指标构造主动探测请求，以得到对应主动探测请求的响应信息，主动探测请求包括挖矿探测请求、黑客工具探测请求和钓鱼探测请求中的至少一项，最后将主动探测请求的响应信息进行分析，以得到网络攻击指标的情报信誉和举证信息。其中，探测分析检测后得到的网络攻击指标的情报信誉和举证信息，可以用于判断未知流量是否是恶意的或属于某种特定的攻击类型，从而确定未知流量的检测结果。
具体的，假设检测到一个IP地址被怀疑是恶意的攻击者，为了进一步确认这个IP地址是否真的涉及攻击行为，可以构造一个主动探测请求，例如发送一个特定的网络请求到该IP地址。如果该IP地址对这个请求做出了异常的响应，比如返回了非正常的数据或者执行了一些异常的操作，那么可以得出这个IP地址确实存在攻击行为的结论。再比如，如果怀疑某个域名可能被用于钓鱼攻击，可以构造一个钓鱼探测请求，例如发送一个模拟的登录请求到该域名。如果该域名返回了一个伪造的登录页面或者试图窃取用户的登录凭证，那么可以确认该域名确实存在钓鱼攻击的行为。再比如，对于网络攻击指标中的IP地址，可以构造挖矿探测请求，向该IP地址发送特定的请求，观察是否有与挖矿相关的响应信息返回。如果返回的响应信息表明该IP地址在进行挖矿活动，那么可以得到该IP地址的情报信誉和举证信息。再比如，对于网络攻击指标中的域名或统一资源定位符(URL)，可以构造黑客工具探测请求，向该域名或URL发送特定的请求，观察是否有与黑客工具相关的响应信息返回。如果返回的响应信息表明该域名或URL与黑客工具有关，那么可以得到该域名或URL的情报信誉和举证信息。
值得一提的是，通过对网络攻击指标构造不同类型的探测请求，并分析对应的响应信息，可以帮助检测网络中的挖矿行为和黑客工具的使用，并获取相关的情报信誉和举证信息。探测分析检测可以主动发现网络威胁，并获取详细的响应信息，从而更准确地判断该未知流量是否属于网络攻击。
四、对未知流量执行内容分析检测、视觉分析检测、AI检测、图数据库检测和/或探测分析检测中的至少一项检测，从而得到未知流量的检测结果。
本申请实施例中，可以对未知流量执行视觉分析检测，具体请参阅图6，图6为本申请实施例公开的又一种网络威胁的检测方法的流程示意图，方法包括：
具体请参阅图6，图6为本申请实施例公开的又一种网络威胁的检测方法的流程示意图，由图6可知，本实施例的方法包括：
获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量。
其中，获取网络流量中的未知流量之前，可以先确定网络流量中的合规的网络攻击指标，并将合规的网络攻击指标执行缓存。
其中，确定网络流量中的合规的网络攻击指标的方法可以是，先提取出网络流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，然后对网络攻击指标的合规性执行检测，以过滤掉不合规的网络攻击指标，得到合规的网络攻击指标；和/或将网络攻击指标输入至情报库中，以提取出网络攻击指标的历史上下文信息，然后确定历史上下文信息中未命中恶意规则的合规的网络攻击指标，最后将合规的网络攻击指标执行缓存。
具体请继续参阅图6，由图6可知，对网络攻击指标的合规性执行检测的方法可以是，通过NGAF装置对上网流量(网络流量)进行实时检测和拦截，以防止已知的威胁。这些已知的威胁包括设备本地规则库和全球POP上的规则库。对于那些经过已知威胁检测后仍然未知的IOC数据，可以将其实时上报到云端数据仓库，以便进一步分析和处理。由图6可知，可以通过过滤分发系统(可以部署在云端)对未知流量进行进一步的过滤，其过滤算法包括非法过滤、缓存过滤、高可疑过滤和其他过滤方法。过滤后，系统会将流量按照业务优先级和高可疑程度输入到优先级队列(高优先级队列、中优先级队列、低优先级队列)中，以便后续处理。
获取网络流量中的未知流量之后，可以对未知流量执行内容分析检测、视觉分析检测、AI检测、图数据库检测和/或探测分析检测中的至少一项检测，从而得到未知流量的检测结果。
其中，对未知流量执行内容分析检测的方法可以是，先提取出未知流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，然后查询网络攻击指标对应的文本内容和/或网络攻击指标对应的WHOIS信息，最后对文本内容和/或WHOIS信息执行内容分析，以得到网络攻击指标的情报信誉和举证信息。
其中，对未知流量执行视觉分析检测的方法可以是，先提取出未知流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，然后对网络攻击指标所映射的页面内容进行视觉图像分析，以得到网络攻击指标的情报信誉和举证信息，页面内容包括页面标识、登录框、页面布局、色彩分布中的至少一项。
其中，对未知流量执行AI检测的方法可以是，先提取出未知流量中的加密流量，然后将加密流量输入至AI分类模型，以使得AI分类模型根据正常加密流量和非正常加密流量的差异，得到加密流量的分类结果，其中，分类结果包括加密流量为威胁流量，或加密流量为安全流量。
其中，对未知流量执行图数据库检测的方法可以是，先提取出未知流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，然后将网络攻击指标输入至图数据库中，以获取网络攻击指标的属性和/或关联关系，最后对网络攻击指标的属性和/或关联关系进行分析，以得到网络攻击指标的情报信誉和举证信息。
其中，对未知流量执行探测分析检测的方法可以是，先提取出未知流量中的网络攻击指标，网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，然后对网络攻击指标构造主动探测请求，以得到对应主动探测请求的响应信息，主动探测请求包括挖矿探测请求、黑客工具探测请求和钓鱼探测请求中的至少一项，最后将主动探测请求的响应信息进行分析，以得到网络攻击指标的情报信誉和举证信息。
其中，得到网络攻击指标的情报信誉和举证信息，以及威胁流量之后，可以将网络攻击指标的情报信誉和举证信息，以及威胁流量进行综合分析，以得到未知流量的综合鉴定结果，并可以将综合鉴定结果存储至数据库。
具体请继续参阅图6，由图6可知，可以将过滤分发系统处理后得到的未知流量输入鉴定系统(可以部署在云端)，鉴定系统由多个子系统组成，包括图数据分析子系统、内容分析子系统、探测检测子系统、视觉分析子系统、AI鉴定子系统和综合鉴定系统。每个子系统都有不同的功能，比如，图数据分析子系统可以通过图数据库对未知IOC进行关联情报分析，输出关联情报信誉和举证信息。内容分析子系统可以对未知IOC对应的文本内容、WHOIS信息等信息进行分析，输出内容情报信誉和举证信息。探测检测子系统可以对未知IOC进行主动探测，对探测内容进行分析，比如：挖矿探测、黑客工具探测、钓鱼探测等，输出探测信誉和举证信息。视觉分析子系统可以对未知IOC映射的页面内容进行视觉分析，通过AI对页面log、登录框、页面布局、色彩分布等进行深度分析，输出视觉信誉和举证信息。AI鉴定子系统可以将加密流量输入到AI分类大模型中，输出各分类结果。综合鉴定系统可以汇聚上述子系统输出的多种信誉和举证信息，通过鉴定算法输出最终的结果。
需要理解的是，鉴定系统的主要功能是对未知IOC进行鉴定，通过多个子系统的协同工作，对IOC进行多方面的分析和鉴定，输出最终的鉴定结果。其中，图数据分析子系统、内容分析子系统、探测检测子系统、视觉分析子系统和AI鉴定子系统分别从不同的角度对IOC进行分析，输出不同类型的信誉和举证信息，综合鉴定系统将这些信息进行汇聚和分析，输出最终的鉴定结果。同时，鉴定信息也会被规范化输入到情报信誉数据库和上下文数据库中，以便后续的使用和分析。
其中，将综合鉴定结果存储至数据库之后，可以先监测数据库中存储的最新网络攻击指标和/或已知网络攻击指标的最新情报信誉和最新举证信息，然后将最新网络攻击指标和已知网络攻击指标的最新情报信誉和最新举证信息中的至少一项，执行加密和/或压缩处理，以得到更新后的网络攻击指标，最后将更新后的网络攻击指标部署至本地规则库和/或数据中心的规则库。
具体的，可以通过循环打包系统实时监控数据库，检测最近更新的信誉信息，并对其进行加密、压缩和打包处理，最终将处理后的数据输出到包存储系统中。最终，处理后的数据会被输出到包存储系统中，以便后续的使用和管理。值得一提的是，通过使用循环打包系统，可以实时监控数据库，可以确保只有最新的信誉信息被处理。可以有效地保护信誉信息的安全，防止数据泄露和篡改等安全问题的发生。可以减小数据的体积，提高数据传输效率。
具体的，可以将更新后的网络攻击指标部署至本地规则库和/或数据中心(全球分布式节点)的规则库，全球分布式节点是指遍布全球的SASE POP节点。这些POP节点会定时获取循环打包系统生成的规则包，并将其更新到本地。这样，全球各地的用户都可以享受到最新的安全保护措施。值得一提的是，这种分布式节点的设计可以有效地提高系统的可靠性和安全性。因为规则包的更新是定时进行的，所以即使某个节点出现故障，其他节点仍然可以正常工作，保证系统的连续性和稳定性。同时，由于规则包的更新是全球同步的，所以用户在任何地方都可以享受到同样的安全保护措施，避免了地域差异带来的安全风险。全球分布式节点是一种高效、可靠、安全的技术设计，可以为用户提供全球范围内的安全保护服务。
需要理解的是，本实施例中，NGAF装置可以进行实时检测、实时拦截。
具体的，NGAF可以实时检测和拦截未知流量。当未知流量经过本地和云端过滤包过滤后，NGAF会将其实时上报到网络路由最近的POP点，并进行本地检测。如果检测结果为恶意，NGAF会拦截该流量；如果检测结果为白名单或未知，NGAF会放开该流量。拦截方式分为两种：第一种是POP点直接拦截，同时产生拦截日志，展示恶意IOC、标签、时间等信息；第二种是NGAF直接拦截，POP点将鉴定结果和标签等信息返回给NGAF，由NGAF执行拦截动作。检测和拦截的时延可以保证在100毫秒以内，客户业务不会受到影响。
还需要理解的是，本实施例的方案可以利用本地规则库和/或分布式设置的数据中心的规则库，对网络流量进行检测，以筛选出与本地规则库和/或数据中心的规则库中的已知规则相匹配的已知威胁，从而得到网络流量中的未知流量，可以对未知流量执行各种分析检测，从而得到未知流量的检测结果，可以将未知流量的检测结果部署至本地规则库和/或数据中心的规则库，以得到更新后的本地规则库和/或更新后的数据中心的规则库，并且可以利用更新后的本地规则库和/或更新后的数据中心的规则库，对下一次获取到的网络流量执行检测。
还需要理解的是，基于AI和探测的未知威胁检测和拦截系统采用分布式云架构，将设备和云端AI智能引擎连接起来，实现了实时拦截技术，能够在5分钟内检测到未知威胁并拦截失陷主机，响应速度快达100毫秒，可以保护上网办公场景中的安全。云端AI智能引擎是该系统的核心，它结合了多种能力，包括图数据关联能力、AI图片识别与定位能力、主动探测能力、AI流量特征分类能力和算法规则，能够在5分钟内鉴定未知威胁。其中，图数据关联能力可以帮助发现威胁之间的关联性，AI图片识别与定位能力可以帮助我们识别和定位威胁，主动探测能力可以主动发现威胁，AI流量特征分类能力可以对流量进行分类，算法规则可以帮助制定相应的拦截策略。
还需要理解的是，本申请实施例可以使用已知的网络攻击数据集，对建立的模型进行训练，以提高模型的准确性和鲁棒性。可以使用未知的网络攻击数据集，对训练好的模型进行测试，评估模型的性能和准确性。可以将训练好的模型部署到实际的上网办公场景中，实时监测网络流量，检测和拦截未知威胁。
值得一提的是，本申请实施例可以赋予防火墙5分钟内未知威胁检测和拦截能力，利用云端情报系统、大量POP点和云端AI智能引擎，支持未知流量实时上云检测，100ms内返回结果。这意味着失陷终端外联时，防火墙能够实时检测和拦截新型威胁，如挖矿、恶意软件、APT等，从而有效应对未知威胁。其次，可以实现失陷终端外联实时检测与拦截，能够在威胁发生时及时响应，阻断攻击，从而保护网络安全。再者，可以针对监管合规需求做好及时响应，能够及时发现问题、阻断攻击、溯源闭环，从而满足监管合规要求。其中，闭环可以不断地对网络流量进行检测，及时发现新的威胁，以进行持续的威胁检测；闭环可以通过将未知流量的检测结果部署至规则库，可以更新规则库中的已知规则，提高检测准确性；闭环可以自动执行检测和更新规则库的过程，减少人工干预，提高效率和准确性。闭环可以通过持续的威胁检测和更新规则库，闭环方法可以提高网络的安全性，减少潜在的网络威胁对系统的影响，以提高网络安全性。综上，本申请实施例可以提高网络安全防护能力，有效应对未知威胁，满足监管合规要求，保障网络安全。可以采用基于AI和探测的方法来进行网络威胁的检测，相对于传统的机器学习算法，提高了检测和拦截未知威胁的准确性。
可以理解的是，本申请实施例中，收集网络流量数据的方法可以使用网络流量监测工具来实现，网络流量监测工具包括但不限于Wireshark、tcpdump等，收集网络流量数据。可以对收集到的网络流量数据进行预处理，预处理的方法包括但不限于数据清洗、去重、过滤等操作，以减少数据量和提高数据质量。可以从预处理后的网络流量数据中提取特征，特征包括但不限于IP地址、端口号、协议类型、数据包大小、数据包流量。网络威胁的检测可以建立对应的模型来实现，比如可以使用机器学习算法，包括但不限于决策树、支持向量机、神经网络等，建立未知威胁检测和拦截模型。
本实施例中，可以获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量，对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。可以对现有的规则库(比如本地规则库和/或分布式设置的数据中心的规则库等)检测不到的未知流量，执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而提升对未知流量中网络威胁检测的准确性。其次，可以解决当前未知威胁流量检测存在的问题，包括检测率低、误报率高、检测速度慢、拦截响应时效低等方面。接着，可以提高未知威胁流量的检测效率和准确性，同时缩短检测响应时间，提高拦截响应时效。可以有效地提高网络安全防护的能力，保障网络安全的稳定和可靠性。具体来说，可以提高未知威胁流量的检测率和准确率，降低误报率，同时加快检测速度和提高拦截响应时效。这些改进可以有效地提高网络安全防护的能力，保障网络安全的稳定和可靠性。再者，可以采用了多重分析系统，包括图数据分析系统、内容分析系统、探测检测系统、视觉分析系统、AI鉴定系统和综合鉴定系统。这些系统能够在4分钟内对未知流量进行鉴定，并给出相关的举证信息。同时，可以具备挖矿检测100％检出率和准确率，黑客工具检测100％检出率和准确率，以及能够通过AI高速高检出加密流量和视觉分析仿冒网站页面等技术优势。因此，相对于现有技术，可以解决未知威胁检测和拦截的问题，可以提高检测率、降低误报率、提高检测速度，具有较高的实用性和经济效益，是安全领域的一项重要创新。再者，可以解决客户在通报场景下因挖矿导致的监管通报问题，以及在办公场景下减少内部员工被钓鱼导致的信息泄露和勒索事件。最后，本申请实施例的多重分析系统和技术优势，使其能够快速准确地检测和拦截未知威胁，有效保障用户的信息安全。因此，本申请实施例具有广泛的应用前景和市场价值，是安全领域的一项重要技术创新。
上面对本申请实施例中的网络威胁的检测方法进行了描述，下面对本申请实施例中的网络威胁的检测设备进行描述，请参阅图7，本申请实施例中的网络威胁的检测装置一个实施例包括：
获取单元701，用于获取网络流量中的未知流量，其中，所述未知流量为利用本地规则库未匹配到的流量；
检测单元702，用于对所述未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到所述未知流量的检测结果。
本申请实施例中，可以获取网络流量中的未知流量，其中，未知流量为利用规则库未匹配到的流量，对未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到未知流量的检测结果。可以对现有的规则库(比如本地规则库和/或分布式设置的数据中心的规则库等)检测不到的未知流量，执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而提升对未知流量中网络威胁检测的准确性。
下面对本申请实施例中的网络威胁的检测设备进行详细描述，请参阅图8，本申请实施例中的计算机装置一实施例包括：
获取单元801，用于获取网络流量中的未知流量，其中，所述未知流量为利用本地规则库和/或分布式设置的数据中心的规则库，对所述网络流量进行检测，而筛选到的与所述本地规则库和/或所述分布式设置的数据中心的规则库中的规则不匹配的流量；
检测单元802，用于对所述未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到所述未知流量的检测结果。
所述网络威胁的检测设备还包括：
提取单元803，用于提取出所述网络流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
所述检测单元802，还用于对所述网络攻击指标的合规性执行检测，以过滤掉不合规的网络攻击指标，得到合规的网络攻击指标；
和/或，
输入单元804，用于将所述网络攻击指标输入至情报库中，以提取出所述网络攻击指标的历史上下文信息；
确定单元805，用于确定所述历史上下文信息中未命中恶意规则的合规的网络攻击指标；
缓存单元806，用于将所述合规的网络攻击指标执行缓存。
所述检测单元802，具体用于提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，查询所述网络攻击指标对应的文本内容和/或所述网络攻击指标对应的WHOIS信息，对所述文本内容和/或所述WHOIS信息执行内容分析，以得到所述网络攻击指标的情报信誉和举证信息。
所述检测单元802，具体用于提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，对所述网攻击指标所映射的页面内容进行视觉图像分析，以得到所述网络攻击指标的情报信誉和举证信息，所述页面内容包括页面标识、登录框、页面布局、色彩分布中的至少一项。
所述检测单元802，具体用于提取出所述未知流量中的加密流量，将所述加密流量输入至AI分类模型，以使得所述AI分类模型根据正常加密流量和非正常加密流量的差异，得到所述加密流量的分类结果，其中，所述分类结果包括所述加密流量为威胁流量，或所述加密流量为安全流量。
所述检测单元802，还用于对所述未知流量执行图数据库检测，其中，所述图数据库检测包括：提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，将所述网络攻击指标输入至图数据库中，以获取所述网络攻击指标的属性和/或关联关系，对所述网络攻击指标的属性和/或关联关系进行分析，以得到所述网络攻击指标的情报信誉和举证信息。
所述检测单元802，还用于对所述未知流量执行探测分析检测，其中，所述探测分析检测包括：提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项，对所述网络攻击指标构造主动探测请求，以得到对应所述主动探测请求的响应信息，所述主动探测请求包括挖矿探测请求、黑客工具探测请求和钓鱼探测请求中的至少一项，将所述主动探测请求的响应信息进行分析，以得到所述网络攻击指标的情报信誉和举证信息。
本实施例中，网络威胁的检测设备中的各单元执行如前述图2所示实施例中网络威胁的检测设备的操作，具体此处不再赘述。
下面请参阅图9，本申请实施例中计算机装置900的另一实施例包括：
中央处理器901，存储器905，输入输出接口904，有线或无线网络接口903以及电源902；
存储器905为短暂存储存储器或持久存储存储器；
中央处理器901配置为与存储器905通信，并执行存储器905中的指令操作以执行前述图2所示实施例中的方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当指令在计算机上运行时，使得计算机执行前述图2所示实施例中的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行前述图2所示实施例中的方法。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是，在本发明的各种实施例中，上述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种网络威胁的检测方法，其特征在于，包括：
获取网络流量中的未知流量，其中，所述未知流量为利用规则库未匹配到的流量；
对所述未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到所述未知流量的检测结果。
2.根据权利要求1所述的方法，其特征在于，在获取到所述未知流量之前，所述方法还包括：
提取出所述网络流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
对所述网络攻击指标的合规性执行检测，以过滤掉不合规的网络攻击指标，得到合规的网络攻击指标；
和/或，
将所述网络攻击指标输入至情报库中，以提取出所述网络攻击指标的历史上下文信息；
确定所述历史上下文信息中未命中恶意规则的合规的网络攻击指标；
将所述合规的网络攻击指标执行缓存。
3.根据权利要求1所述的方法，其特征在于，对所述未知流量执行内容分析检测，包括：
提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
查询所述网络攻击指标对应的文本内容和/或所述网络攻击指标对应的WHOIS信息；
对所述文本内容和/或所述WHOIS信息执行内容分析，以得到所述网络攻击指标的情报信誉和举证信息。
4.根据权利要求1所述的方法，其特征在于，对所述未知流量执行视觉分析检测，包括：
提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
对所述网络攻击指标所映射的页面内容进行视觉图像分析，以得到所述网络攻击指标的情报信誉和举证信息，所述页面内容包括页面标识、登录框、页面布局、色彩分布中的至少一项。
5.根据权利要求1所述的方法，其特征在于，对所述未知流量执行AI检测，包括：
提取出所述未知流量中的加密流量；
将所述加密流量输入至AI分类模型，以使得所述AI分类模型根据正常加密流量和非正常加密流量的差异，得到所述加密流量的分类结果，其中，所述分类结果包括所述加密流量为威胁流量，或所述加密流量为安全流量。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述未知流量执行图数据库检测，其中，所述图数据库检测包括：
提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
将所述网络攻击指标输入至图数据库中，以获取所述网络攻击指标的属性和/或关联关系；
对所述网络攻击指标的属性和/或关联关系进行分析，以得到所述网络攻击指标的情报信誉和举证信息。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：对所述未知流量执行探测分析检测，其中，所述探测分析检测包括：
提取出所述未知流量中的网络攻击指标，所述网络攻击指标包括IP、域名、统一资源定位符和文件哈希值中的至少一项；
对所述网络攻击指标构造主动探测请求，以得到对应所述主动探测请求的响应信息，所述主动探测请求包括挖矿探测请求、黑客工具探测请求和钓鱼探测请求中的至少一项；
将所述主动探测请求的响应信息进行分析，以得到所述网络攻击指标的情报信誉和举证信息。
8.一种网络威胁的检测装置，其特征在于，包括：
获取单元，用于获取网络流量中的未知流量，其中，所述未知流量为利用规则库未匹配到的流量；
检测单元，用于对所述未知流量执行内容分析检测、视觉分析检测和/或AI检测中的至少一项检测，从而得到所述未知流量的检测结果。
9.一种计算机装置，包括处理器，其特征在于，所述处理器在执行存储于存储器上的计算机程序时，用于实现如权利要求1至7中任一项所述的网络威胁的检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，用于实现如权利要求1至7中任一项所述的网络威胁的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311803783.2A CN117792733A (zh) | 2023-12-25 | 2023-12-25 | 一种网络威胁的检测方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311803783.2A CN117792733A (zh) | 2023-12-25 | 2023-12-25 | 一种网络威胁的检测方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117792733A true CN117792733A (zh) | 2024-03-29 |
Family
ID=90386555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311803783.2A Pending CN117792733A (zh) | 2023-12-25 | 2023-12-25 | 一种网络威胁的检测方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117792733A (zh) |
-
2023
- 2023-12-25 CN CN202311803783.2A patent/CN117792733A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112651006B (zh) | 一种电网安全态势感知系统 | |
| US10721243B2 (en) | Apparatus, system and method for identifying and mitigating malicious network threats | |
| US11212299B2 (en) | System and method for monitoring security attack chains | |
| Khan et al. | Network forensics: Review, taxonomy, and open challenges | |
| Bijone | A survey on secure network: intrusion detection & prevention approaches | |
| CN111245793A (zh) | 网络数据的异常分析方法及装置 | |
| CN114679338A (zh) | 一种基于网络安全态势感知的网络风险评估方法 | |
| CN109587124B (zh) | 电力网络的处理方法、装置和系统 | |
| Bryant et al. | Improving SIEM alert metadata aggregation with a novel kill-chain based classification model | |
| US20230012220A1 (en) | Method for determining likely malicious behavior based on abnormal behavior pattern comparison | |
| US20140165207A1 (en) | Method for detecting anomaly action within a computer network | |
| WO2012166194A1 (en) | Network asset information management | |
| GhasemiGol et al. | E‐correlator: an entropy‐based alert correlation system | |
| CN113794276A (zh) | 一种基于人工智能的配电网终端安全行为监测系统及方法 | |
| Frye et al. | An ontology-based system to identify complex network attacks | |
| CN116451215A (zh) | 关联分析方法及相关设备 | |
| CN117527412A (zh) | 数据安全监测方法及装置 | |
| US10897472B1 (en) | IT computer network threat analysis, detection and containment | |
| Skendžić et al. | Management and monitoring security events in a business organization-siem system | |
| Abushwereb et al. | Attack based DoS attack detection using multiple classifier | |
| Agrawal et al. | A SURVEY ON ATTACKS AND APPROACHES OF INTRUSION DETECTION SYSTEMS. | |
| Bryant | Hacking SIEMs to Catch Hackers: Decreasing the Mean Time to Respond to Network Security Events with a Novel Threat Ontology in SIEM Software | |
| Jain et al. | The role of decision tree technique for automating intrusion detection system | |
| CN117792733A (zh) | 一种网络威胁的检测方法及相关装置 | |
| US20230370479A1 (en) | Automatic generation of attack patterns for threat detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |