CN117896138A - 一种基于ueba技术的网络安全流量检测方法 - Google Patents
一种基于ueba技术的网络安全流量检测方法 Download PDFInfo
- Publication number
- CN117896138A CN117896138A CN202410049074.8A CN202410049074A CN117896138A CN 117896138 A CN117896138 A CN 117896138A CN 202410049074 A CN202410049074 A CN 202410049074A CN 117896138 A CN117896138 A CN 117896138A
- Authority
- CN
- China
- Prior art keywords
- data
- traffic
- alarm
- rule
- ueba
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000004140 cleaning Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000007123 defense Effects 0.000 abstract description 4
- 241000700605 Viruses Species 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001396014 Priacanthus arenatus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于UEBA技术的网络安全流量检测方法，包括：S1、进行数据采集，通过对网络流量进行预处理，实时生成数据，持续更新；S2、对步骤S1中的数据进行清洗，且进行日志存储，通过大眼对网络流量进行预处理得到主数据和数据包，采用Logstash对主数据进行规则化处理、存储；S3、将网络流量进行粗筛选、标准化处理后，大批数据进入到Flink框架中，开始流式计算；S4、经过上述步骤，将异常流量通过恶意IP索引存储到Elasticsearch供用户搜索，且将告警流量通过告警IP索引存储到Elasticsearch供用户搜索。根据本发明，提高网络安全防御的能力，更有效地检测和应对潜在的安全威胁。
Description
技术领域
本发明涉及信息安全的技术领域，特别涉及一种基于UEBA技术的网络安全流量检测方法。
背景技术
传统的网络安全防御主要依赖于规则和签名来识别已知的威胁，但这种方法难以应对日益复杂和变化多端的网络安全威胁。此外，许多威胁行为本身并不违反预定义的规则或签名，因此很难被传统方法所检测到。
发明内容
针对现有技术中存在的不足之处，本发明的目的是提供一种基于UEBA技术的网络安全流量检测方法，提高网络安全防御的能力，更有效地检测和应对潜在的安全威胁。为了实现根据本发明的上述目的和其他优点，提供了一种基于UEBA技术的网络安全流量检测方法，包括以下步骤：
S1、进行数据采集，通过对网络流量进行预处理，实时生成数据，持续更新；
S2、对步骤S1中的数据进行清洗，且进行日志存储，通过大眼对网络流量进行预处理得到主数据和数据包，采用Logstash对主数据进行规则化处理、存储；
S3、将网络流量进行粗筛选、标准化处理后，大批数据进入到Flink框架中，开始流式计算；
S4、经过上述步骤，将异常流量通过恶意IP索引存储到Elasticsearch供用户搜索，且将告警流量通过告警IP索引存储到Elasticsearch供用户搜索。
优选的，步骤S1中采用大眼探针对网络流量进行规则配置，初步标记出内部地址以及疑似威胁流量，具体包括以下步骤：
S11、通过标记内部地址，区分是来自内部威胁还是外部威胁；
S12、过配置文件进行匹配抓取数据包；
S13、通过配置文件筛选出主数据。
优选的，步骤S2具体包括以下步骤：
S21、数据输入，具体的接收流量，对其进行实时监听并处理；
S22、进行数据过滤，具体的根据预定义的规则将流量过滤与解析，将过滤好的数据进行存储，该规则即字段匹配；
S23、数据输出：将经过处理的数据发送到目标位置，即Kafka。
优选的，步骤S3中还包括规则映射至标签与告警配置，其中标签包括一级标签、二级标签、三级标签，通过规则引擎对数据流量迅速做出判断，给异常流量打上标签，且映射至三级标签即可结束。
优选的，告警配置首先自定义告警规则，当数据流量触发告警规则，便把IP推送到服务器指定的端口上，其中告警规则分为字段告警规则和频次告警规则，若对告警规则进行修改或重建，通过广播流技术将告警规则广播到下面的流量，重新进行规则预判。
优选的，字段告警规则为如果数据流量的信息包含ET SCAN WebHack ControlCenter User-Agent，则说明检测到使用恶意工具：WHCC，触发告警；
频次告警规则为采用时间窗口工具，每十分钟检测一次，在这个时间段里测算同一个IP访问次数，若超过100次就会触发告警。
本发明与现有技术相比，其有益效果是：检测未知威胁：传统的网络安全防御方法主要针对已知的威胁进行防范，而基于UEBA技术的方法能够通过对用户和实体行为的分析，发现那些不容易被传统方法检测到的未知威胁。这样可以提前发现并阻止潜在的安全攻击。提高检测准确性：基于UEBA技术的方法通过Flink流式计算，能够对正常行为和异常行为进行区分，并识别出真正的安全威胁。相比传统方法，它具有更高的检测准确率和低误报率，减少了对安全团队的人工干预。实时监测和响应：基于UEBA技术的方法可以对网络流量进行实时监测和分析，可以及时发现异常行为和安全事件，并触发警报或采取相应的响应措施。这有助于组织更快速地应对安全威胁，减少潜在的损失。支持可视化分析：基于UEBA技术的方法可以将分析结果以可视化的方式展示，并可以对海量数据实现快速搜索。这样可以加快对安全事件的响应时间，并提高对安全事件的理解和决策能力。
附图说明
图1为根据本发明的基于UEBA技术的网络安全流量检测方法的流程图；
图2为根据本发明的基于UEBA技术的网络安全流量检测方法的规则映射至各级标签流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-2，一种基于UEBA技术的网络安全流量检测方法，包括以下步骤：S1、进行数据采集，通过对网络流量进行预处理，实时生成数据，持续更新；
S2、对步骤S1中的数据进行清洗，且进行日志存储，通过大眼对网络流量进行预处理得到主数据和数据包，采用Logstash对主数据进行规则化处理、存储；
S3、将网络流量进行粗筛选、标准化处理后，大批数据进入到Flink框架中，开始流式计算；主要有以下功能，规则映射至标签。利用规则引擎对数据流量迅速做出判断，给异常流量打上标签，标签分为一级标签、二级标签、三级标签，映射至三级标签即可结束。标签举例：“恶意软件攻击”、“web应用攻击”，这部分在具体实施方式中会详细描述，结合附图2流程图。
告警配置，通过自定义告警规则，当数据流量触发告警规则，便把IP推送到服务器指定的端口上；
告警规则分为字段告警规则和频次告警规则；
举例说明字段告警规则：如果数据流量的信息包含ET SCAN WebHack ControlCenter User-Agent，则说明检测到使用恶意工具：WHCC，触发告警；
举例说明频次告警规则：这里采用时间窗口工具，每十分钟检测一次，在这个时间段里测算同一个IP访问次数，若超过100次就会触发告警；
若对告警规则进行修改或重建，通过广播流技术将告警规则广播到下面的流量，重新进行规则预判。
S4、经过上述步骤，将异常流量通过恶意IP索引存储到Elasticsearch供用户搜索，且将告警流量通过告警IP索引存储到Elasticsearch供用户搜索。
进一步的，步骤S1中采用大眼探针对网络流量进行规则配置，初步标记出内部地址以及疑似威胁流量，具体包括以下步骤：
S11、通过标记内部地址，区分是来自内部威胁还是外部威胁；
S12、过配置文件进行匹配抓取数据包；
S13、通过配置文件筛选出主数据。
进一步的，步骤S2具体包括以下步骤：
S21、输入数据收集，具体的接收流量，对其进行实时监听并处理；
S22、进行数据过滤，具体的根据预定义的规则将流量过滤与解析，将过滤好的数据进行存储，该规则即字段匹配；
S23、输入数据传输：将经过处理的数据发送到目标位置，即Kafka，以上步骤是对主数据处理的描述，而数据包则需要单独处理。由于大眼输出的文件是二进制的，Logstash不能直接读取；于是用定时脚本tshark命令把“tcpdump+时间戳(文件名例:tcpdump_2023.12.21)”解析成可读的数据包文本；然后再将数据包文本重复以上三步操作，最后存储下来。进一步，为了保证数据的安全，及以下进行流式计算时系统的稳定性，这里用到Kafka消息中间件，Kafka是一个高吞吐量的分布式消息队列系统，可以处理大规模的实时数据流，具有高性能、可扩展性和容错性。Logstash是Kafka的生产者，Flink去消费Kafka里面的数据。
本申请的网络安全流量检测方法可以带来多种有益效果，如实现对行业内安全信息的总览监、形成对行业内安全资产的风险管、帮助成员单位快速共享情报、降低行业安全的平均建设成及降低各金融机构在基础设施搭建成，总体来说，基于UEBA技术的网络安全流量检测方法可以提高安全事件的检测和响应速度，降低安全风险，帮助组织更好地保护内部信息资产和网络安全。
进一步的，步骤S3中还包括规则映射至标签与告警配置，其中标签包括一级标签、二级标签、三级标签，通过规则引擎对数据流量迅速做出判断，给异常流量打上标签，且映射至三级标签即可结束。本申请中核心点是通过Flink分布式流式计算，将上万条规则映射至各级标签，对异常流量进行标签化处理，及时发现并阻止恶意行为，减少内部网络安全。其具体映射步骤可结合图2进行描述，如下：
首先，通过触发告警规则，根据规则文件找到每一条规则的ID和对应的描述信息，下面简称sid-msg值。具体通过一个实施例说明映射的具体流程：若sid-msg不在规则文件中或sid-msg等于“其他攻击”，那么这些规则对应一级标签：其他攻击类型；
若sid-msg已经在规则文件则中且sid-msg不等于“其他攻击”，则继续进行判断：判断sid-msg内容是否为trojan activity/web-application-attack/web application-activity；
若sid-msg＝trojan-activity，那么这些规则对应标签为：恶意软件攻击；
若sid-msg＝web-application-attack/web-application-activity，那么这些规则对应标签为：web应用攻击；
反之，若sid-msg都不等于，则继续进行关键词匹配判断来得到二级标签。
如果判断为恶意软件攻击的msg继续进行关键词匹配得到二级标签，如Virus＝病毒；Backdoor＝后门程序；Trojan＝木马病毒；
若以上匹配不成功，则对应规则二级标签为：其他恶意软件；
若匹配成功，则继续进行关键词匹配得到三级标签，如：Worm＝蠕虫病毒；Ransom＝勒索病毒；Macro＝宏病毒，以上就恶意软件攻击进行三级标签如何匹配描述，其余标签可结合图2理解。
这里说明的设备数量和处理规模是用来简化本发明的说明的，对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (6)
1.一种基于UEBA技术的网络安全流量检测方法，其特征在于，包括以下步骤：
S1、进行数据采集，通过对网络流量进行预处理，实时生成数据，持续更新；
S2、对步骤S1中的数据进行清洗，且进行日志存储，通过大眼对网络流量进行预处理得到主数据和数据包，采用Logstash对主数据进行规则化处理、存储；
S3、将网络流量进行粗筛选、标准化处理后，大批数据进入到Flink框架中，开始流式计算；
S4、经过上述步骤，将异常流量通过恶意IP索引存储到Elasticsearch供用户搜索，且将告警流量通过告警IP索引存储到Elasticsearch供用户搜索。
2.如权利要求1所述的一种基于UEBA技术的网络安全流量检测方法，其特征在于，步骤S1中采用大眼探针对网络流量进行规则配置，初步标记出内部地址以及疑似威胁流量，具体包括以下步骤：
S11、通过标记内部地址，区分是来自内部威胁还是外部威胁；
S12、过配置文件进行匹配抓取数据包；
S13、通过配置文件筛选出主数据。
3.如权利要求1所述的一种基于UEBA技术的网络安全流量检测方法，其特征在于，步骤S2具体包括以下步骤：
S21、数据输入，具体的接收流量，对其进行实时监听并处理；
S22、进行数据过滤，具体的根据预定义的规则将流量过滤与解析，将过滤好的数据进行存储，该规则即字段匹配；
S23、数据输出：将经过处理的数据发送到目标位置，即Kafka。
4.如权利要求1所述的一种基于UEBA技术的网络安全流量检测方法，其特征在于，步骤S3中还包括规则映射至标签与告警配置，其中标签包括一级标签、二级标签、三级标签，通过规则引擎对数据流量迅速做出判断，给异常流量打上标签，且映射至三级标签即可结束。
5.如权利要求4所述的一种基于UEBA技术的网络安全流量检测方法，其特征在于，告警配置首先自定义告警规则，当数据流量触发告警规则，便把IP推送到服务器指定的端口上，其中告警规则分为字段告警规则和频次告警规则，若对告警规则进行修改或重建，通过广播流技术将告警规则广播到下面的流量，重新进行规则预判。
6.如权利要求5所述的一种基于UEBA技术的网络安全流量检测方法，其特征在于，字段告警规则为如果数据流量的信息包含ET SCAN WebHack Control Center User-Agent，则说明检测到使用恶意工具：WHCC，触发告警；
频次告警规则为采用时间窗口工具，每十分钟检测一次，在这个时间段里测算同一个IP访问次数，若超过100次就会触发告警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410049074.8A CN117896138A (zh) | 2024-01-12 | 2024-01-12 | 一种基于ueba技术的网络安全流量检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410049074.8A CN117896138A (zh) | 2024-01-12 | 2024-01-12 | 一种基于ueba技术的网络安全流量检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117896138A true CN117896138A (zh) | 2024-04-16 |
Family
ID=90640482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410049074.8A Pending CN117896138A (zh) | 2024-01-12 | 2024-01-12 | 一种基于ueba技术的网络安全流量检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117896138A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016138067A1 (en) * | 2015-02-24 | 2016-09-01 | Cloudlock, Inc. | System and method for securing an enterprise computing environment |
| CN111092852A (zh) * | 2019-10-16 | 2020-05-01 | 平安科技（深圳）有限公司 | 基于大数据的网络安全监控方法、装置、设备及存储介质 |
| CN112579728A (zh) * | 2020-12-18 | 2021-03-30 | 成都民航西南凯亚有限责任公司 | 基于海量数据全文检索的行为异常识别方法及装置 |
| CN116800536A (zh) * | 2023-07-28 | 2023-09-22 | 吴锦豪 | 一种基于大数据分析的网络安全监测系统 |
-
2024
- 2024-01-12 CN CN202410049074.8A patent/CN117896138A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016138067A1 (en) * | 2015-02-24 | 2016-09-01 | Cloudlock, Inc. | System and method for securing an enterprise computing environment |
| CN111092852A (zh) * | 2019-10-16 | 2020-05-01 | 平安科技（深圳）有限公司 | 基于大数据的网络安全监控方法、装置、设备及存储介质 |
| CN112579728A (zh) * | 2020-12-18 | 2021-03-30 | 成都民航西南凯亚有限责任公司 | 基于海量数据全文检索的行为异常识别方法及装置 |
| CN116800536A (zh) * | 2023-07-28 | 2023-09-22 | 吴锦豪 | 一种基于大数据分析的网络安全监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112651006B (zh) | 一种电网安全态势感知系统 | |
| CN108471429B (zh) | 一种网络攻击告警方法及系统 | |
| CN107135093B (zh) | 一种基于有限自动机的物联网入侵检测方法及检测系统 | |
| CN108881265B (zh) | 一种基于人工智能的网络攻击检测方法及系统 | |
| CN108683687B (zh) | 一种网络攻击识别方法及系统 | |
| CN108881263B (zh) | 一种网络攻击结果检测方法及系统 | |
| CN112738016A (zh) | 一种面向威胁场景的智能化安全事件关联分析系统 | |
| CN114679338A (zh) | 一种基于网络安全态势感知的网络风险评估方法 | |
| US9584533B2 (en) | Performance enhancements for finding top traffic patterns | |
| US20030084328A1 (en) | Method and computer-readable medium for integrating a decode engine with an intrusion detection system | |
| US20150341389A1 (en) | Log analyzing device, information processing method, and program | |
| US20100050256A1 (en) | Methods and systems for internet protocol (ip) packet header collection and storage | |
| US20140047543A1 (en) | Apparatus and method for detecting http botnet based on densities of web transactions | |
| US20030084326A1 (en) | Method, node and computer readable medium for identifying data in a network exploit | |
| Feng et al. | Feature selection for machine learning-based early detection of distributed cyber attacks | |
| JP7069399B2 (ja) | コンピュータセキュリティインシデントを報告するためのシステムおよび方法 | |
| CN117395076B (zh) | 基于大数据的网络感知异常检测系统与方法 | |
| Zali et al. | Real-time attack scenario detection via intrusion detection alert correlation | |
| Sharma et al. | BotMAD: Botnet malicious activity detector based on DNS traffic analysis | |
| CN114257403B (zh) | 误报检测方法、设备及可读存储介质 | |
| EP4111660A1 (en) | Cyberattack identification in a network environment | |
| CN111526109B (zh) | 自动检测web威胁识别防御系统的运行状态的方法及装置 | |
| CN110636077A (zh) | 一种基于统一平台的网络安全防护系统及方法 | |
| CN117792733A (zh) | 一种网络威胁的检测方法及相关装置 | |
| CN114006719B (zh) | 基于态势感知的ai验证方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |