CN116389099A - 威胁检测方法、装置、电子设备及存储介质 - Google Patents
威胁检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116389099A CN116389099A CN202310323673.XA CN202310323673A CN116389099A CN 116389099 A CN116389099 A CN 116389099A CN 202310323673 A CN202310323673 A CN 202310323673A CN 116389099 A CN116389099 A CN 116389099A
- Authority
- CN
- China
- Prior art keywords
- threat
- traffic data
- network traffic
- processing engine
- threat detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 238
- 238000012545 processing Methods 0.000 claims abstract description 181
- 238000000034 method Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000007405 data analysis Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 102100026278 Cysteine sulfinic acid decarboxylase Human genes 0.000 description 1
- 241001501944 Suricata Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 108010064775 protein C activator peptide Proteins 0.000 description 1
- 231100000279 safety data Toxicity 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
本申请实施例提供了一种威胁检测方法、装置、电子设备及存储介质。威胁检测方法包括：第一处理引擎获取网络流量数据，加载预设的第一威胁检测规则，基于第一威胁检测规则对网络流量数据进行威胁检测，对存在威胁的第一网络流量数据生成第一威胁告警信息，存储第二网络流量数据，第一网络流量数据为第一处理引擎支持检测的网络流量数据，第二网络流量数据为第一处理引擎不支持检测的网络流量数据；第二处理引擎获取第二网络流量数据，加载预设的第二威胁检测规则，基于第二威胁检测规则对第二网络流量数据进行威胁检测，对存在威胁的第二网络流量数据生成第二威胁告警信息。本申请实施例能够实现多种场景下的威胁检测，应用范围更广，局限性更小。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种威胁检测方法、装置、电子设备及存储介质。
背景技术
随着网络技术的迅速发展，网络面临的威胁也日益增多。因此，对网络进行威胁检测是极为重要的。
现有技术中，通常是利用基础威胁检测引擎对网络进行威胁检测。但是，基础威胁检测引擎内置的威胁检测规则较为简单，因此其仅支持较为简单的威胁检测，无法对复杂场景的威胁进行检测，局限性较大。
发明内容
鉴于上述问题，本申请实施例提出了一种威胁检测方法、装置、电子设备及存储介质，能够实现对多种场景下的威胁检测。
根据本申请的实施例的一个方面，提供了一种威胁检测方法，所述方法包括：
第一处理引擎获取网络流量数据，并加载预设的第一威胁检测规则，基于所述第一威胁检测规则对所述网络流量数据进行威胁检测；
所述第一处理引擎对存在威胁的第一网络流量数据生成第一威胁告警信息，并存储第二网络流量数据，所述第一网络流量数据为所述第一处理引擎支持检测的网络流量数据，所述第二网络流量数据为所述第一处理引擎不支持检测的网络流量数据；
第二处理引擎获取所述第二网络流量数据，并加载预设的第二威胁检测规则，基于所述第二威胁检测规则对所述第二网络流量数据进行威胁检测；
所述第二处理引擎对存在威胁的第二网络流量数据生成第二威胁告警信息。
可选地，所述方法还包括：第三处理引擎判断威胁告警信息中的来源IP地址是否来自外网，所述威胁告警信息包括所述第一威胁告警信息和/或所述第二威胁告警信息；所述第三处理引擎在判断出所述来源IP地址来自外网后，将所述威胁告警信息标记为外网威胁。
可选地，所述第一处理引擎为Suricata引擎；和/或，所述第二处理引擎为Spark引擎；和/或，所述第三处理引擎为IP地址解析服务引擎。
可选地，所述第三处理引擎判断威胁告警信息中的来源IP地址是否来自外网，包括：所述第三处理引擎获取所述来源IP地址对应的地理位置以及预设的外网地理位置范围；所述第三处理引擎判断所述来源IP地址对应的地理位置是否位于所述外网地理位置范围内；所述第三处理引擎在判断出所述来源IP地址对应的地理位置位于所述外网地理位置范围内后，确定所述来源IP地址来自外网。
可选地，所述第一威胁检测规则为预先配置的所述第一处理引擎支持的威胁检测规则；所述第二威胁检测规则为预先配置的所述第二处理引擎支持的威胁检测规则。
可选地，所述第一威胁检测规则和/或所述第二威胁检测规则在预设的外部配置服务中进行配置。
可选地，所述网络流量数据包括实时网络流量数据和/或离线网络流量数据。
根据本申请的实施例的另一方面，提供了一种威胁检测装置，所述装置包括第一处理引擎和第二处理引擎；
所述第一处理引擎，用于获取网络流量数据，并加载预设的第一威胁检测规则，基于所述第一威胁检测规则对所述网络流量数据进行威胁检测；对存在威胁的第一网络流量数据生成第一威胁告警信息，并存储第二网络流量数据，所述第一网络流量数据为所述第一处理引擎支持检测的网络流量数据，所述第二网络流量数据为所述第一处理引擎不支持检测的网络流量数据；
所述第二处理引擎，用于获取所述第二网络流量数据，并加载预设的第二威胁检测规则，基于所述第二威胁检测规则对所述第二网络流量数据进行威胁检测；对存在威胁的第二网络流量数据生成第二威胁告警信息。
可选地，所述装置还包括第三处理引擎，所述第三处理引擎，用于判断威胁告警信息中的来源IP地址是否来自外网，所述威胁告警信息包括所述第一威胁告警信息和/或所述第二威胁告警信息；在判断出所述来源IP地址来自外网后，将所述威胁告警信息标记为外网威胁。
可选地，所述第一处理引擎为Suricata引擎；和/或，所述第二处理引擎为Spark引擎；和/或，所述第三处理引擎为IP地址解析服务引擎。
可选地，所述第三处理引擎，具体用于获取所述来源IP地址对应的地理位置以及预设的外网地理位置范围；判断所述来源IP地址对应的地理位置是否位于所述外网地理位置范围内；在判断出所述来源IP地址对应的地理位置位于所述外网地理位置范围内后，确定所述来源IP地址来自外网。
可选地，所述第一威胁检测规则为预先配置的所述第一处理引擎支持的威胁检测规则；所述第二威胁检测规则为预先配置的所述第二处理引擎支持的威胁检测规则。
可选地，所述第一威胁检测规则和/或所述第二威胁检测规则在预设的外部配置服务中进行配置。
可选地，所述网络流量数据包括实时网络流量数据和/或离线网络流量数据。
根据本申请的实施例的另一方面，提供了一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个计算机可读存储介质；当所述指令由所述一个或多个处理器执行时，使得所述处理器执行如上任一项所述的威胁检测方法。
根据本申请的实施例的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行如上任一项所述的威胁检测方法。
本申请实施例中，通过第一处理引擎获取网络流量数据，并加载预设的第一威胁检测规则，基于所述第一威胁检测规则对所述网络流量数据进行威胁检测；第一处理引擎对存在威胁的第一网络流量数据生成威胁告警信息，并存储第二网络流量数据，所述第一网络流量数据为所述第一处理引擎支持检测的网络流量数据，所述第二网络流量数据为所述第一处理引擎不支持检测的网络流量数据；通过第二处理引擎获取所述第二网络流量数据，并加载预设的第二威胁检测规则，基于所述第二威胁检测规则对所述第二网络流量数据进行威胁检测；第二处理引擎对存在威胁的第二网络流量数据生成威胁告警信息。由此可知，本申请实施例中，通过设置两种处理引擎，利用第一处理引擎能够处理一些基础的威胁检测，利用第二处理引擎能够处理第一处理引擎不支持的威胁检测，因此能够实现多种场景下的威胁检测，应用范围更广，局限性更小。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例的一种威胁检测方法的步骤流程图。
图2是本申请实施例的另一种威胁检测方法的步骤流程图。
图3是本申请实施例的一种威胁检测过程的示意图。
图4是本申请实施例的另一种威胁检测过程的示意图。
图5是本申请实施例的一种威胁检测装置的结构框图。
图6是本申请实施例的另一种威胁检测装置的结构框图。
图7是本申请实施例的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请的实施例中的附图，对本申请的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是本申请的全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参照图1，示出了本申请实施例的一种威胁检测方法的步骤流程图。
如图1所示，威胁检测方法可以包括以下步骤：
步骤101，第一处理引擎获取网络流量数据，并加载预设的第一威胁检测规则，基于所述第一威胁检测规则对所述网络流量数据进行威胁检测。
示例性地，第一处理引擎可以为基础威胁检测引擎。由于性能的限制，第一处理引擎通常支持部分相对简单场景下的威胁检测，而对于相对复杂场景下的威胁检测无法实现。
示例性地，可以预先配置所述第一处理引擎支持的威胁检测规则，将其作为第一威胁检测规则，并将所述第一威胁检测规则与所述第一处理引擎进行关联。
示例性地，所述第一威胁检测规则可以在所述第一处理引擎内部的配置文件中进行配置。
示例性地，考虑到在第一处理引擎内部的配置文件中配置第一威胁检测规则的方式下，第一威胁检测规则的变更等操作方式不友好，如果需要变更第一威胁检测规则，则需要操作第一处理引擎内部的配置文件，对用户的专业技术要求较高。因此，所述第一威胁检测规则可以在预设的外部配置服务中进行配置，使得用户能够通过外部配置服务提供的相关界面对第一威胁检测规则进行配置操作，从而更加简便地对第一威胁检测规则进行变更等处理操作。
示例性地，所述第一威胁检测规则可以为相对简单场景下的威胁检测规则。所述第一威胁检测规则可以包括所述第一处理引擎本身原始支持的威胁检测规则，也可以包括用户自定义的能够被所述第一处理引擎支持的威胁检测规则。
比如，第一威胁检测规则可以包括但不限于：访问系统接口的访问次数达到指定阈值则确定存在威胁；访问系统接口的流量达到指定阈值则确定存在威胁；请求内容匹配正则表达式则确定存在威胁；等等。
第一处理引擎可以获取网络流量数据。示例性地，第一处理引擎可以实时获取网络流量数据，也可以定时获取网络流量数据，也可以采用其他任意适用的方式获取网络流量数据。
示例性地，网络流量数据可以包括实时网络流量数据，该种情况下，第一处理引擎可以对系统的流量网卡进行实时监听，从而监听得到实施网络流量数据。网络流量数据也可以包括离线网络流量数据，该种情况下，第一处理引擎可以根据需求，按照适用的方式获取离线网络流量数据。网络流量数据也可以包括实时网络流量数据和离线网络流量数据。
第一处理引擎可以加载预设的与第一处理引擎关联的第一威胁检测规则，基于所述第一威胁检测规则对所述网络流量数据进行威胁检测。
示例性地，第一处理引擎将所述网络流量数据与所述第一威胁检测规则进行匹配。对于第一处理引擎支持检测的网络流量数据，将其作为第一网络流量数据；对于第一处理引擎不支持检测的网络流量数据，将其作为第二网络流量数据。对于第一网络流量数据，如果第一处理引擎将第一网络流量数据与第一威胁检测规则匹配成功，则确定匹配成功的第一网络流量数据为存在威胁的第一网络流量数据；如果第一处理引擎将第一网络流量数据与第一威胁检测规则匹配失败，则确定匹配失败的第一网络流量数据为不存在威胁的第一网络流量数据。
步骤102，第一处理引擎对存在威胁的第一网络流量数据生成第一威胁告警信息，并存储第二网络流量数据。
第一处理引擎对存在威胁的第一网络流量数据生成第一威胁告警信息。示例性地，第一威胁告警信息中可以包括但不限于：存在威胁的第一网络流量数据的来源IP(Internet Protocol，网络协议)地址、存在威胁的第一网络流量数据的数据类型、威胁类型，等等。
第一处理引擎可以存储第一网络流量数据和第一网络流量数据对应的第一威胁告警信息，还可以记录存储时间等信息。示例性地，第一处理引擎可以将第一网络流量数据和第一威胁告警信息存储至Kafka消息队列等。
第一处理引擎可以存储第二网络流量数据，还可以记录第二网络流量数据的存储时间等信息。示例性地，第一处理引擎可以将第二网络流量数据存储至Kafka消息队列等。
步骤103，第二处理引擎获取所述第二网络流量数据，并加载预设的第二威胁检测规则，基于所述第二威胁检测规则对所述第二网络流量数据进行威胁检测。
示例性地，第二处理引擎可以为相对于第一处理引擎性能更高的处理引擎。由于处理性能更高，因此第二处理引擎可以支持相对复杂场景下的威胁检测。
示例性地，可以预先配置所述第二处理引擎支持的威胁检测规则，将其作为第二威胁检测规则，并将所述第二威胁检测规则与所述第二处理引擎进行关联。
示例性地，所述第二威胁检测规则可以在所述第二处理引擎内部的配置文件中进行配置。
示例性地，考虑到在第二处理引擎内部的配置文件中配置第二威胁检测规则的方式下，第二威胁检测规则的变更等操作方式不友好，如果需要变更第二威胁检测规则，则需要操作第二处理引擎内部的配置文件，对用户的专业技术要求较高。因此，所述第二威胁检测规则可以在预设的外部配置服务中进行配置，使得用户能够通过外部配置服务提供的相关界面对第二威胁检测规则进行配置操作，从而更加简便地对第二威胁检测规则进行变更等处理操作。
示例性地，所述第二威胁检测规则可以为相对复杂场景下的威胁检测规则，因此所述第二威胁检测规则的复杂度高于所述第一威胁检测规则。所述第二威胁检测规则可以包括用户自定义的能够被所述第二处理引擎支持的威胁检测规则。
比如，第二威胁检测规则可以包括但不限于：在特定的时间段访问了系统特定的URL(Uniform Resource Locator，统一资源定位符)；在特定的时间段访问了系统特定的菜单项；等等。
第二处理引擎可以获取上述存储的第二网络流量数据。示例性地，第二处理引擎可以按照存储的先后顺序等方式获取第二网络流量数据。
第二处理引擎可以加载预设的与第二处理引擎关联的第二威胁检测规则，基于所述第二威胁检测规则对所述第二网络流量数据进行威胁检测。
示例性地，第二处理引擎将所述第二网络流量数据与所述第二威胁检测规则进行匹配。对于第二网络流量数据，如果第二处理引擎将第二网络流量数据与第二威胁检测规则匹配成功，则确定匹配成功的第二网络流量数据为存在威胁的第二网络流量数据；如果第二处理引擎将第二网络流量数据与第二威胁检测规则匹配失败，则确定匹配失败的第二网络流量数据为不存在威胁的第二网络流量数据。
步骤104，第二处理引擎对存在威胁的第二网络流量数据生成第二威胁告警信息。
第二处理引擎对存在威胁的第二网络流量数据生成第二威胁告警信息。示例性地，第二威胁告警信息中可以包括但不限于：存在威胁的第二网络流量数据的来源IP地址、存在威胁的第二网络流量数据的数据类型、威胁类型，等等。
第二处理引擎可以存储第二网络流量数据和第二网络流量数据对应的第二威胁告警信息，还可以记录存储时间等信息。示例性地，第二处理引擎可以将第二网络流量数据和第二威胁告警信息存储至Kafka消息队列等。
本申请实施例中，通过设置两种处理引擎，利用第一处理引擎能够处理一些基础的威胁检测，利用第二处理引擎能够处理第一处理引擎不支持的威胁检测，因此能够实现多种场景下的威胁检测，应用范围更广，局限性更小。
参照图2，示出了本申请实施例的另一种威胁检测方法的步骤流程图。
如图2所示，威胁检测方法可以包括以下步骤：
步骤201，第一处理引擎获取网络流量数据，并加载预设的第一威胁检测规则，基于所述第一威胁检测规则对所述网络流量数据进行威胁检测。
步骤202，第一处理引擎对存在威胁的第一网络流量数据生成第一威胁告警信息，并存储第二网络流量数据。
所述第一网络流量数据为所述第一处理引擎支持检测的网络流量数据，所述第二网络流量数据为所述第一处理引擎不支持检测的网络流量数据；
步骤203，第二处理引擎获取所述第二网络流量数据，并加载预设的第二威胁检测规则，基于所述第二威胁检测规则对所述第二网络流量数据进行威胁检测。
步骤204，第二处理引擎对存在威胁的第二网络流量数据生成第二威胁告警信息。
步骤205，第三处理引擎判断威胁告警信息中的来源IP地址是否来自外网，所述威胁告警信息包括所述第一威胁告警信息和/或所述第二威胁告警信息。
示例性地，所述第三处理引擎判断所述威胁告警信息中的来源IP地址是否来自外网的过程，可以包括：所述第三处理引擎获取所述来源IP地址对应的地理位置以及预设的外网地理位置范围；所述第三处理引擎判断所述来源IP地址对应的地理位置是否位于所述外网地理位置范围内；所述第三处理引擎在判断出所述来源IP地址对应的地理位置位于所述外网地理位置范围内后，确定所述来源IP地址来自外网；所述第三处理引擎在判断出所述来源IP地址对应的地理位置位于所述外网地理位置范围外后，确定所述来源IP地址不来自外网。
第三处理引擎从威胁告警信息中提取所述来源IP地址，并对所述来源IP地址进行解析，得到所述来源IP地址对应的地理位置。预先设置外网地理位置范围，可以判断所述来源IP地址对应的地理位置是否位于所述外网地理位置范围内。比如，设置外网地理位置范围为北京市之外的地理位置，因此如果所述来源IP地址对应的地理位置不是北京市，则说明所述来源IP地址对应的地理位置位于所述外网地理位置范围外。
步骤206，第三处理引擎在判断出所述来源IP地址来自外网后，将所述威胁告警信息标记为外网威胁。
第三处理引擎在判断出所述来源IP地址来自外网后，对所述威胁告警信息进行标记，将所述威胁告警信息标记为外网威胁，还可以标记所述威胁告警信息对应的来源IP地址的具体地理位置等信息。
本申请实施例中，通过第三处理引擎可以进一步识别威胁告警信息的来源IP地址，并识别是否出现外网威胁，从而进一步提高威胁检测的准确性和全面性。
在一种可选实施方式中，所述第一处理引擎为Suricata引擎；和/或，所述第二处理引擎为Spark引擎；和/或，所述第三处理引擎为IP地址解析服务引擎(比如Ip2region)。当然，第一处理引擎、第二处理引擎、第三处理引擎还可以为其他具有相应功能的引擎，本实施例对此不做限制。
下面以Suricata引擎+Spark引擎+Ip2region引擎的结构为例，对威胁检测方法进行介绍。
Ip2region：是一个开源离线的IP地址快速定位查询框架，其特性包括：极速查询响应，给定指定IP地址，能迅速获取该IP地址对应的地理位置，响应效率在微妙级别；标准化的数据格式，每个IP数据段的region(区域)信息都固定了格式：国家|区域|省份|城市|ISP(Internet Service Provider，互联网服务供应商)。
Spark：Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是，Job中间输出结果可以保存在内存中，从而不再需要读写HDFS(HadoopDistributed File System，分布式文件系统)，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Suricata：Suricata是一个免费，开源，成熟，高性能，稳定的网络威胁检测引擎，系统功能包括：实时入侵检测(IDS)、内联入侵预防(IPS)、网络安全监控(NSM)和离线PCAP(Packet Capture)处理。Suricata依靠强大的可扩展性的规则和特征语言过滤网络流量，并支持LUA脚本语言输出文件格式为YAML或JSON，方便与其他数据库或安全数据分析平台集成，Suricata采用社区驱动开发，有利于版本的维护和新特性的迭代。
通常情况下，对Suricata配置文件可以实现基于简单的威胁检测规则配置，比如可以针对访问系统某一个接口的访问次数设置阈值检测规则，针对访问接口实现上传或者下载的流量大小设置阈值检测规则，或者针对请求内容进行正则匹配检测规则，等等。但是，Suricata的威胁检测规则相对简单，能实现一些简单威胁规则的匹配和检测，威胁检测规则配置方面过于技术化，单一化，威胁检测规则变更方式不友好，如果需要变更威胁检测规则，需要操作Suricata的配置文件，对用户的专业技术要求较高，对于用户的威胁检测规则的修复以及编辑，甚至用户自定义威胁检测规则等方面的支持都不是特别友好。
本申请实施例中提出一种基于Suricata+Spark+Ip2region的威胁检测方法，该方法针对Suricata本身无法检测的一些基于http和https的网络攻击，仅仅支持简单检测规则，无法实现基于一些复杂攻击类型的威胁检测，而且不能识别来自外网攻击的IP地址(比如监测来源于某一个指定城市IP地址，操作了系统的某些指定URL或者菜单项)等情况，本申请实施例的基于Suricata+Spark+Ip2region的威胁检测方法，不仅能支持简单的威胁检测规则，还支持复杂场景的威胁检测，并能解析攻击威胁来源方的IP地址。针对复杂场景，支持准实时的攻击威胁检测告警；支持对离线网络流量数据包的解析，并进行攻击威胁检测，检测是否存在外网攻击威胁；支持用户自定义外网攻击威胁检测规则，并形成实时监测和告警。
参照图3，示出了本申请实施例的一种威胁检测过程的示意图。
如图3所示，在威胁检测过程中涉及到Suricata服务、Spark数据分析服务、基于Ip2region的IP地址解析服务、威胁检测规则配置服务(外部配置服务)几个部分。
系统可以默认内置一部分简单的威胁检测规则，这些系统默认的简单威胁检测规则可以监测和发现一些基础的攻击威胁。系统还支持自定义威胁检测规则的配置，通过威胁检测规则配置服务可以配置复杂威胁检测规则、简单威胁检测规则、Suricata威胁检测规则等。
Suricata服务可以获取网络流量数据，包括利用Suricata流量监测服务检测通过交换机网卡的网络流量数据，还包括解析离线网络流量数据；Suricata服务可以加载Suricata威胁检测规则，也可以加载Suricata支持的部分简单威胁检测规则；Suricata服务利用加载的威胁检测规则对网络流量数据进行威胁检测，当某一条网络流量数据与相应的威胁检测规则匹配时，将触发威胁告警信息，Suricata服务将网络流量数据(包括Suricata服务不支持检测的网络流量数据和Suricata服务支持的网络流量数据)推送到消息队列Kafka，将威胁告警信息推送到消息队列Kafka。
Spark数据分析服务可以加载复杂威胁检测规则，也可以加载部分简单威胁检测规则；Spark数据分析服务基于Spark架构的大数据计算分析服务进行数据分析计算，利用加载的威胁检测规则对对应网络流量数据进行威胁检测，当某一条网络流量数据与相应的威胁检测规则匹配时，得到该网络流量数据存在威胁的计算结果，Spark数据分析服务输出计算结果；Spark数据分析服务可以对计算结果对应的威胁进行级别划分等处理后，生成威胁告警信息，并输出威胁告警信息。
基于Ip2region的IP地址解析服务可以对威胁告警信息中的来源IP地址进行解析，并判断来源IP地址是否来自外网，将来源IP地址来自外网的威胁告警信息标记为外网攻击威胁，并输出相应的外网攻击威胁告警结果。
参照图4，示出了本申请实施例的另一种威胁检测过程的示意图。
如图4所示，威胁检测过程包括以下几个部分：
客户端(Web端)在访问系统服务端时，访问的网络流量数据会从系统某一个流量网卡进出，Suricata流量监测服务就监听对应网卡的网络流量数据，这个过程客服端与服务端都是无感知的。
用户根据不同业务场景配置威胁检测规则，威胁检测规则包含相应指标、计算策略以及告警信息等。
Suricata流量监测服务检测网络流量数据，或者解析离线网络流量数据。针对Suricata支持的威胁检测规则，给Suricata关联相应的配置，启用Suricata，对网络流量数据进行威胁检测。将网络流量数据和威胁告警信息推送到消息队列kafka指定的topic中。
Spark大数据分析服务启动加载威胁检测规则，并且监听kafka的网络流量数据，执行相应的计算逻辑，针对匹配威胁检测规则的条件、指标、计算策略，最后输出大数据分析计算结果并给出威胁告警信息。
基于Ip2region的IP地址解析服务根据输出的威胁告警信息中来源IP地址，解析出该来源IP地址的攻击威胁是否是来自外网环境，系统针对性做出告警通知和防御措施。
本申请实施例中，针对网络流量数据能够实现复杂威胁检测规则下的攻击威胁检测，能自动识别攻击威胁的来源地址，灵活关联Suricata检测规则。
参照图5，示出了本申请实施例的一种威胁检测装置的结构框图。
如图5所示，威胁检测装置可以包括第一处理引擎501和第二处理引擎502。
所述第一处理引擎501，用于获取网络流量数据，并加载预设的第一威胁检测规则，基于所述第一威胁检测规则对所述网络流量数据进行威胁检测；对存在威胁的第一网络流量数据生成第一威胁告警信息，并存储第二网络流量数据，所述第一网络流量数据为所述第一处理引擎支持检测的网络流量数据，所述第二网络流量数据为所述第一处理引擎不支持检测的网络流量数据；
所述第二处理引擎502，用于获取所述第二网络流量数据，并加载预设的第二威胁检测规则，基于所述第二威胁检测规则对所述第二网络流量数据进行威胁检测；对存在威胁的第二网络流量数据生成第二威胁告警信息。
本申请实施例中，通过设置两种处理引擎，利用第一处理引擎能够处理一些基础的威胁检测，利用第二处理引擎能够处理第一处理引擎不支持的威胁检测，因此能够实现多种场景下的威胁检测，应用范围更广，局限性更小。
参照图6，示出了本申请实施例的另一种威胁检测装置的结构框图。
如图6所示，威胁检测装置可以包括第一处理引擎601、第二处理引擎602和第三处理引擎603。
所述第一处理引擎601，用于获取网络流量数据，并加载预设的第一威胁检测规则，基于所述第一威胁检测规则对所述网络流量数据进行威胁检测；对存在威胁的第一网络流量数据生成第一威胁告警信息，并存储第二网络流量数据，所述第一网络流量数据为所述第一处理引擎支持检测的网络流量数据，所述第二网络流量数据为所述第一处理引擎不支持检测的网络流量数据；
所述第二处理引擎602，用于获取所述第二网络流量数据，并加载预设的第二威胁检测规则，基于所述第二威胁检测规则对所述第二网络流量数据进行威胁检测；对存在威胁的第二网络流量数据生成第二威胁告警信息。
可选地，所述第三处理引擎603，用于判断威胁告警信息中的来源IP地址是否来自外网，所述威胁告警信息包括所述第一威胁告警信息和/或所述第二威胁告警信息；在判断出所述来源IP地址来自外网后，将所述威胁告警信息标记为外网威胁。
可选地，所述第一处理引擎601为Suricata引擎；和/或，所述第二处理引擎602为Spark引擎；和/或，所述第三处理引擎603为IP地址解析服务引擎。
可选地，所述第三处理引擎603，具体用于获取所述来源IP地址对应的地理位置以及预设的外网地理位置范围；判断所述来源IP地址对应的地理位置是否位于所述外网地理位置范围内；在判断出所述来源IP地址对应的地理位置位于所述外网地理位置范围内后，确定所述来源IP地址来自外网。
可选地，所述第一威胁检测规则为预先配置的所述第一处理引擎601支持的威胁检测规则；所述第二威胁检测规则为预先配置的所述第二处理引擎602支持的威胁检测规则。
可选地，所述第一威胁检测规则和/或所述第二威胁检测规则在预设的外部配置服务中进行配置。
可选地，所述网络流量数据包括实时网络流量数据和/或离线网络流量数据。
本申请实施例中，通过第三处理引擎可以进一步识别威胁告警信息的来源IP地址，并识别是否出现外网威胁，从而进一步提高威胁检测的准确性和全面性。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本申请的实施例中，还提供了一种电子设备。该电子设备可以包括一个或多个处理器，以及其上存储有指令的一个或多个计算机可读存储介质，指令例如应用程序。当所述指令由所述一个或多个处理器执行时，使得所述处理器执行上述任一实施例的威胁检测方法。
参照图7，示出了本申请实施例的一种电子设备结构的示意图。如图7所示，电子设备包括处理器701、通信接口702、存储器703和通信总线704。其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。
存储器703，用于存放计算机程序。
处理器701，用于执行存储器703上所存放的程序时，实现上述任一实施例的威胁检测方法。
通信接口702用于上述电子设备与其他设备之间的通信。
上述提到的通信总线704可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
上述提到的处理器701可以包括但不限于：中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)、数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，等等。
上述提到的存储器703可以包括但不限于：只读存储器(Read Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、光盘只读储存器(Compact DiscRead Only Memory，简称CD-ROM)、电可擦可编程只读存储器(Electronic ErasableProgrammable Read Only Memory，简称EEPROM)、硬盘、软盘、闪存，等等。
在本申请的实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序可由电子设备的处理器执行，当所述计算机程序被处理器执行时，使得所述处理器执行如上任一实施例所述的威胁检测方法。
本说明书中的各个实施例是相互关联的，各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM、RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
本领域普通技术人员可以意识到，结合本申请实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种威胁检测方法，其特征在于，所述方法包括：
第一处理引擎获取网络流量数据，并加载预设的第一威胁检测规则，基于所述第一威胁检测规则对所述网络流量数据进行威胁检测；
所述第一处理引擎对存在威胁的第一网络流量数据生成第一威胁告警信息，并存储第二网络流量数据，所述第一网络流量数据为所述第一处理引擎支持检测的网络流量数据，所述第二网络流量数据为所述第一处理引擎不支持检测的网络流量数据；
第二处理引擎获取所述第二网络流量数据，并加载预设的第二威胁检测规则，基于所述第二威胁检测规则对所述第二网络流量数据进行威胁检测；
所述第二处理引擎对存在威胁的第二网络流量数据生成第二威胁告警信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
第三处理引擎判断威胁告警信息中的来源IP地址是否来自外网，所述威胁告警信息包括所述第一威胁告警信息和/或所述第二威胁告警信息；
所述第三处理引擎在判断出所述来源IP地址来自外网后，将所述威胁告警信息标记为外网威胁。
3.根据权利要求2所述的方法，其特征在于，所述第一处理引擎为Suricata引擎；和/或，所述第二处理引擎为Spark引擎；和/或，所述第三处理引擎为IP地址解析服务引擎。
4.根据权利要求2所述的方法，其特征在于，所述第三处理引擎判断威胁告警信息中的来源IP地址是否来自外网，包括：
所述第三处理引擎获取所述来源IP地址对应的地理位置以及预设的外网地理位置范围；
所述第三处理引擎判断所述来源IP地址对应的地理位置是否位于所述外网地理位置范围内；
所述第三处理引擎在判断出所述来源IP地址对应的地理位置位于所述外网地理位置范围内后，确定所述来源IP地址来自外网。
5.根据权利要求1所述的方法，其特征在于，所述第一威胁检测规则为预先配置的所述第一处理引擎支持的威胁检测规则；所述第二威胁检测规则为预先配置的所述第二处理引擎支持的威胁检测规则。
6.根据权利要求1或5所述的方法，其特征在于，所述第一威胁检测规则和/或所述第二威胁检测规则在预设的外部配置服务中进行配置。
7.根据权利要求1所述的方法，其特征在于，所述网络流量数据包括实时网络流量数据和/或离线网络流量数据。
8.一种威胁检测装置，其特征在于，所述装置包括第一处理引擎和第二处理引擎；
所述第一处理引擎，用于获取网络流量数据，并加载预设的第一威胁检测规则，基于所述第一威胁检测规则对所述网络流量数据进行威胁检测；对存在威胁的第一网络流量数据生成第一威胁告警信息，并存储第二网络流量数据，所述第一网络流量数据为所述第一处理引擎支持检测的网络流量数据，所述第二网络流量数据为所述第一处理引擎不支持检测的网络流量数据；
所述第二处理引擎，用于获取所述第二网络流量数据，并加载预设的第二威胁检测规则，基于所述第二威胁检测规则对所述第二网络流量数据进行威胁检测；对存在威胁的第二网络流量数据生成第二威胁告警信息。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个计算机可读存储介质；
当所述指令由所述一个或多个处理器执行时，使得所述处理器执行如权利要求1至7任一项所述的威胁检测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7任一项所述的威胁检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310323673.XA CN116389099A (zh) | 2023-03-29 | 2023-03-29 | 威胁检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310323673.XA CN116389099A (zh) | 2023-03-29 | 2023-03-29 | 威胁检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116389099A true CN116389099A (zh) | 2023-07-04 |
Family
ID=86968766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310323673.XA Pending CN116389099A (zh) | 2023-03-29 | 2023-03-29 | 威胁检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116389099A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116938606A (zh) * | 2023-09-18 | 2023-10-24 | 北京长亭科技有限公司 | 一种网络流量检测方法以及装置 |
| CN117156005A (zh) * | 2023-09-21 | 2023-12-01 | 北京明朝万达科技股份有限公司 | 数据传输方法、系统、装置、电子设备和可读存储介质 |
-
2023
- 2023-03-29 CN CN202310323673.XA patent/CN116389099A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116938606A (zh) * | 2023-09-18 | 2023-10-24 | 北京长亭科技有限公司 | 一种网络流量检测方法以及装置 |
| CN116938606B (zh) * | 2023-09-18 | 2023-12-12 | 北京长亭科技有限公司 | 一种网络流量检测方法以及装置 |
| CN117156005A (zh) * | 2023-09-21 | 2023-12-01 | 北京明朝万达科技股份有限公司 | 数据传输方法、系统、装置、电子设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108763031B (zh) | 一种基于日志的威胁情报检测方法及装置 | |
| CN110798472B (zh) | 数据泄露检测方法与装置 | |
| CN108183916B (zh) | 一种基于日志分析的网络攻击检测方法及装置 | |
| CN116389099A (zh) | 威胁检测方法、装置、电子设备及存储介质 | |
| CN108809890B (zh) | 漏洞检测方法、测试服务器及客户端 | |
| CN110210213B (zh) | 过滤恶意样本的方法及装置、存储介质、电子装置 | |
| CN111404937B (zh) | 一种服务器漏洞的检测方法和装置 | |
| WO2015062541A1 (zh) | 对抗免杀测试的云查杀方法、装置及系统 | |
| CN107395650B (zh) | 基于沙箱检测文件识别木马回连方法及装置 | |
| CN107360198B (zh) | 可疑域名检测方法及系统 | |
| CN114465741B (zh) | 一种异常检测方法、装置、计算机设备及存储介质 | |
| CN112073437A (zh) | 多维度的安全威胁事件分析方法、装置、设备及存储介质 | |
| Wu et al. | Detect repackaged android application based on http traffic similarity | |
| CN113810408A (zh) | 网络攻击组织的探测方法、装置、设备及可读存储介质 | |
| CN111030887B (zh) | web服务器发现方法、装置和电子设备 | |
| CN112887333A (zh) | 一种异常设备检测方法、装置、电子设备及可读存储介质 | |
| CN113849820A (zh) | 一种漏洞检测方法及装置 | |
| CN109309665B (zh) | 一种访问请求处理方法及装置、一种计算设备及存储介质 | |
| CN111177722A (zh) | webshell文件检测方法、装置、服务器以及存储介质 | |
| US11159548B2 (en) | Analysis method, analysis device, and analysis program | |
| US10963562B2 (en) | Malicious event detection device, malicious event detection method, and malicious event detection program | |
| US10419351B1 (en) | System and method for extracting signatures from controlled execution of applications and application codes retrieved from an application source | |
| CN113079157A (zh) | 获取网络攻击者位置的方法、装置、电子设备 | |
| CN110224975B (zh) | Apt信息的确定方法及装置、存储介质、电子装置 | |
| CN116684329A (zh) | 一种网络资产发现方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |