CN116846587A - 不依赖于ioc的加密挖矿流量检测分析方法及装置 - Google Patents
不依赖于ioc的加密挖矿流量检测分析方法及装置 Download PDFInfo
- Publication number
- CN116846587A CN116846587A CN202310553979.4A CN202310553979A CN116846587A CN 116846587 A CN116846587 A CN 116846587A CN 202310553979 A CN202310553979 A CN 202310553979A CN 116846587 A CN116846587 A CN 116846587A
- Authority
- CN
- China
- Prior art keywords
- flow
- mining
- encrypted
- suspicious
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005065 mining Methods 0.000 title claims abstract description 148
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000004458 analytical method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012550 audit Methods 0.000 claims abstract description 14
- 238000013145 classification model Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000005206 flow analysis Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000005111 flow chemistry technique Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 10
- 238000013461 design Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000009412 basement excavation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
- H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0823—Network architectures or network communication protocols for network security for authentication of entities using certificates
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种不依赖于IOC的加密挖矿流量检测分析方法及装置,方法包括:获取待检测流量集,对加密流量根据加密挖矿流量特征进行规则筛选,得到筛选后的加密流量;使用特征提取工具提取多个维度的流量特征,得到加密挖矿流量特征集,采用预先训练好的分类模型对所述加密挖矿流量特征集进行预测,得到可疑加密挖矿流量;对所述可疑加密流量进行排除,对于存有较大嫌疑的流进行优先审计,审计流量包内域名证书的信息内存,结合威胁情报排除正常域名的流量,得到加密挖矿流量分析结果。本发明基于挖矿流量协议特征和流量会话特征利用设计机器学习分类器模型进行识别,再基于审计域名证书审计和威胁情报,解决了挖矿流量识别误报高的问题。
Description
技术领域
本发明涉及挖矿流量识别技术领域,特别是一种不依赖于IOC的加密挖矿流量检测分析方法及装置。
背景技术
近年来虚拟货币的发展和价值的升高,导致了一些恶意攻击者利用僵尸网络或者植入木马等手段,控制大量受害者的计算机或者移动设备,进行隐蔽的虚拟货币挖矿,从而获取非法收益。这种行为不仅消耗了受害者的电力和计算资源,降低了设备的性能和寿命,还可能造成信息泄露和安全风险。因此,挖矿流量识别技术对于保护用户和企业的网络安全具有重要意义。
挖矿流量识别技术是一种用于检测和分析网络中是否存在虚拟货币挖矿行为的技术,它主要通过对网络流量中的特征进行提取和匹配,来判断是否有与已知的挖矿协议或指令相符合的流量模式。该技术可以有效地防止恶意挖矿行为对网络资源和安全造成影响。目前,国内外已有一些基于网络流量的挖矿行为检测识别技术的研究和应用,例如基于协议特征的方法:通过对Stratum、Getwork等常见的矿池协议进行分析,提取其中的指令特征,如订阅、授权、提交等,并根据其出现频率、顺序和内容进行判断;基于流量特征的方法:通过对网络流量进行统计分析,提取其中的流量特征,如数据包大小、数量、间隔等,并根据其与正常流量或已知恶意流量的差异进行判断;基于指纹特征的方法:通过对网络流量中包含的加密信息进行解密或估计,提取其中的指纹特征,如挖矿软件型号、矿池币种、挖矿账号等,并根据其与已知数据库或黑名单进行匹配。但是面对不断协议变种和流量加密技术的提高,当前的挖矿流量识别技术存在几方面的不足:基于协议特征的方法对协议格式和内容的依赖性较强,如果矿池协议发生变化或者使用了加密或混淆技术,就会导致检测识别失败;基于流量特征的方法对流量数据的质量和数量有较高的要求,如果流量数据不完整或者噪声过多,就会影响检测识别效果;基于指纹特征的方法需要建立和维护一个较大的指纹数据库或黑名单,如果遇到未知或新出现的挖矿软件、矿池、币种等,就会出现漏报或误报,也难以提取出有效的指纹模式。对于一些隐蔽、变异或定制化的挖矿行为,还缺乏有效的检测识别手段。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种不依赖于IOC的加密挖矿流量检测分析方法及装置,基于挖矿流量协议特征和流量会话特征,构建设计机器学习分类器模型进行识别,并结合流量包内域名证书的信息内存和威胁情报,有效的提高了挖矿流量识别的准确性,解决了挖矿流量识别误报高的问题。
为了达到上述目的,本发明采用以下技术方案:
第一方面,本发明提供了一种不依赖于IOC的加密挖矿流量检测分析方法,包括下述步骤:
获取待检测流量集,对所述待检测流量集先进行关键词规则匹配,匹配出未加密的明文挖矿流量,再根据统计的挖矿流量特征进行筛选,过滤掉大部分正常流量,得到筛选后的加密流量检测集;
对所述筛选后的加密流量检测集使用特征提取工具提取多个维度的流量特征,对所述多个维度的流量特征进行特征归一化处理,剔除完全相同的特征,得到加密挖矿流量特征集,采用预先训练好的分类模型对所述加密挖矿流量特征集进行预测,得到可疑加密挖矿流量;
对所述可疑加密流量进行排除,尝试请求流所对应的“外部IP:外部IP端口”的证书,编写自动化脚本发起https请求,如果证书无法获得或者是证书是可疑的commonName则有较大嫌疑,或者如果https请求失败也有较大嫌疑,对于存有较大嫌疑的流进行优先审计,审计流量包内域名证书的信息内存,查找流的流量包内是否具有疑似证书的信息内存有commonName,结合威胁情报排除正常域名的流量,得到加密挖矿流量分析结果。
作为优选的技术方案,在所述获取待检测流量集的步骤中,对于未加密挖矿流量,采用的挖矿协议主要是Stratum及其相关变种,具备显著特征关键词”method”与“params”,故设计挖矿关键词为jsonrpc、method、params、nonce、job_id、mining中的一种或多种。
作为优选的技术方案,所述根据统计的挖矿流量特征进行筛选,具体为:
从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,无论是矿池到矿机还是矿机到矿池,都不会连续单边发超过4个包;
从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,无论是全部包还是TLS包,至少80%的包大小值分布在5种包大小值;
从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,矿机到矿池的TLS包后面会跟着多个矿池到矿机的TLS包,极少会出现连续3个矿机到矿池的TLS包;
从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,包大小不超过500;
一个TCP流中被识别为TLS协议的包占全部包数量一半,相差不超过3个包;
流的持续时间比较长,大于5秒。
作为优选的技术方案,所述特征提取工具采用CICFlowMeter,提取的特征包括:Fwd Seg Size Min、Active Mean、Active Std、Active Max、Idle Mean、Idle Std。
作为优选的技术方案,采用预先训练好的分类模型对所述加密挖矿流量特征集进行预测,得到可疑加密挖矿流量,具体为:
对待检测加密流量集使用单分类器孤立森林算法进行检测,对前期收集的基于stratum+ssl通讯协议的ETH、ETC、AE、BEAM、CONFLUX、ERGO数种加密货币挖矿流量作为训练集,待检测加密流量集为测试集,为了避免遗漏可疑IP,设置污点率为偏大的0.2,随机种子random_state设置为30,得到可疑挖矿流量。
作为优选的技术方案,在检测过的中,检查流时只检查该分类模型中分类为非正常流量包流的(IP,port)二元组。
作为优选的技术方案,所述编写自动化脚本对其发起https请求,具体为:
遍历得到的可疑挖矿流量,编写自动化脚本循环发起ip:port的https请求,获取请求的状态码,若请求成功获取证书信息,如果证书无法获得或者是证书是可疑的commonName则有较大嫌疑,或者如果https请求失败或超时也有较大嫌疑。
第二方面,本发明提供了一种不依赖于IOC的加密挖矿流量检测分析系统,应用于所述的不依赖于IOC的加密挖矿流量检测分析方法,包括流量处理模块、模型训练模块以及流量分析模块;
所述流量处理模块,对所述待检测流量集先进行关键词规则匹配,匹配出未加密的明文挖矿流量,再根据统计的挖矿流量特征进行筛选,过滤掉大部分正常流量,得到筛选后的加密流量检测集;
所述模型训练模块,用于对所述筛选后的加密流量使用特征提取工具提取多个维度的流量特征,对所述多个维度的流量特征进行特征归一化处理,剔除完全相同的特征,得到加密挖矿流量特征集,采用预先训练好的分类模型对所述加密挖矿流量特征集进行预测,得到可疑加密挖矿流量;
所述流量分析模块,用于对所述可疑加密流量进行排除,尝试请求流所对应的“外部IP:外部IP端口”的证书,编写自动化脚本发起https请求,如果证书无法获得或者是证书是可疑的commonName则有较大嫌疑,或者如果https请求失败也有较大嫌疑,对于存有较大嫌疑的流进行优先审计,审计流量包内域名证书的信息内存,查找流的流量包内是否具有疑似证书的信息内存有commonName,结合威胁情报排除正常域名的流量,,得到加密挖矿流量分析结果。
第三方面,本发明提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令,所述计算机程序指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行所述的不依赖于IOC的加密挖矿流量检测分析方法。
第四方面,本发明提供了一种计算机可读存储介质,存储有程序,所述程序被处理器执行时,实现所述的不依赖于IOC的加密挖矿流量检测分析方法。
本发明与现有技术相比,具有如下优点和有益效果:
1.本发明针对挖矿流量分析统计了多个维度较正常流量明显的特征,以此设计规则过滤和缩小待检测范围,再结合机器学习分类器模型进行分类,有效的识别出挖矿流量。
2.本发明针对加密挖矿流量没有有效的检测识别方法上独特性的提出了进行主动发起请求获取更多的信息,结合流量包内域名证书的信息内存和威胁情报,提高了挖矿流量识别的准确性,解决了挖矿流量识别误报高的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例不依赖于IOC的加密挖矿流量检测分析方法的流程图;
图2为本发明实施例不依赖于IOC的加密挖矿流量检测分析方法的逻辑框架结构图;
图3为本发明实施例不依赖于IOC的加密挖矿流量检测分析系统的结构示意图;
图4为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
IOC(Indicators of Compromise)失陷指标,IOC作为威胁情报中常用的一个概念,指的是受害主机被攻破的证据,包含恶意文件哈希值,恶意软件的特征,恶意的ip地址、url、域名等被动识别的信标。
本发明提出了一种不依赖于IOC的加密挖矿流量检测分析方法,该方法基于挖矿流量协议特征和流量会话特征,构建设计机器学习分类器模型进行识别,并结合人工审计和威胁情报,有效的提高了挖矿流量识别的准确性,解决了挖矿流量识别误报高的问题。
参见图1所示的本发明方法流程图和图二所示的本发明逻辑框架结构图,本发明主要分为三个模块:
S1:获取待检测流量集,判断流量集是否加密,对未加密流量进行挖矿关键词匹配,得到未加密挖矿流量;根据加密挖矿流量特征进行规则筛选,缩小待检测数据集;
S2:对待检测加密流量集使用CICFlowMeter特征提取工具提取多个维度的流量特征,进行特征选择处理,得到挖矿流量特征集以简单的机器学习分类器孤立森林作为基础模型,根据训练好的基础模型对训练集样本进行预测,得到可疑挖矿流量;
S3:编写自动化脚本发起https请求流所对应的“外部IP:外部IP端口”的证书,如果证书无法获得或者是证书是可疑的commonName则有较大嫌疑,或者如果https请求失败也有较大嫌疑,对于存有较大嫌疑的流进行优先审计;人工审计流量包内域名证书的信息内存,查找流的流量包内是否具有疑似证书的信息内存有commonName,结合威胁情报排除正常域名的流量,得到挖矿流量分析结果。
参见图2,本实施例所示本发明一种不依赖于IOC的加密挖矿流量检测分析方法,包括:在步骤S1中,对所述待检测流量集先进行关键词规则匹配,匹配出未加密的明文挖矿流量,再根据统计的挖矿流量特征进行筛选,过滤掉大部分正常流量,得到筛选后的加密流量检测集;缩小待检测数据集;
一种实施方式中,步骤S1还包括下述步骤:
对未加密流量进行挖矿关键词匹配,具体包括:
匹配关键词有jsonrpc、method、params、nonce、job_id、mining等,可根据协议变化不断增加新的关键词。
在一种实施方式中,对于加密挖矿流量,设计过滤挖矿流量检测规则包括如下:
(1)通信期间存在明显的心跳特征,从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,无论是矿池到矿机还是矿机到矿池,都不会连续单边发超过4个包;
(2)从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,无论是全部包还是TLS包,至少80%的包大小值分布在5种包大小值;
(3)从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,矿机到矿池的TLS包后面会跟着多个矿池到矿机的TLS包,极少会出现连续3个矿机到矿池的TLS包;
(4)从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,包大小一般不超过500;
(5)一个TCP流中被识别为TLS协议的包占全部包数量一半,相差不超过3个包;
(6)挖矿过程中需要长时间在线,导致流的持续时间比较长,一般大于5秒。
虽然不同协议、不同矿场具体数值不一样,但是都具备一样的分布特点,包括流量包的交替发包特征、流量包大小较固定等特点,利用这点可以过滤大部分正常流量,为后续机器学习模型训练提供了方便,并且提高了模型识别的准确性。
进一步的,步骤S2中,对待检测加密流量集使用CICFlowMeter特征提取工具提取多个维度的流量特征,进行特征选择处理,得到挖矿流量特征集以简单的机器学习分类器孤立森林作为基础模型,根据训练好的基础模型对训练集样本进行预测,得到可疑挖矿流量;
一种实施方式中,步骤S2包括:
使用开源工具CICFlowMeter工具提取流量包流的一系列特征,具体如表1的流量包特征表所示。
表1
一种实施方式中,对于处理完成的数据,采用一种机器学习单分类模型——孤立森林(isolation Forest)为基础模型进行训练,为了避免遗漏可疑流量包,设置污点率为偏大的0.2,后续检查流时只检查该模型分类为非正常流量包流的(IP,port)二元组。
进一步的,在步骤S3中,编写自动化脚本发起https请求流所对应的“外部IP:外部IP端口”的证书,如果证书无法获得或者是证书是可疑的commonName则有较大嫌疑,或者如果https请求失败也有较大嫌疑,对于存有较大嫌疑的流进行优先审计;人工审计流量包内域名证书的信息内存,查找流的流量包内是否具有疑似证书的信息内存有commonName,结合威胁情报排除正常域名的流量,得到挖矿流量分析结果。通过进行主动发起请求获取更多的信息,结合人工审计和威胁情报,提高了挖矿流量识别的准确性,解决了挖矿流量识别误报高的问题。
基于本发明上述实施方式提出的一种不依赖于IOC的加密挖矿流量检测分析方法,其取得了如下有益效果:
本发明针对加密挖矿流量隐蔽难以识别的问题,独创性地提出了基于挖矿流量协议特征和流量会话特征,构建设计机器学习分类器模型进行识别,并结合人工审计和威胁情报,有效的解决了机器学习模型训练数据集少、识别准确率不高的问题,提高了挖矿流量识别的准确性,解决了挖矿流量识别误报高的问题,提供了一种新的可行的思路。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的不依赖于IOC的加密挖矿流量检测分析方法相同的思想,本发明还提供了不依赖于IOC的加密挖矿流量检测分析系统,该系统可用于执行上述不依赖于IOC的加密挖矿流量检测分析方法。为了便于说明,不依赖于IOC的加密挖矿流量检测分析系统实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
请参阅图3,在本申请的另一个实施例中,提供了一种不依赖于IOC的加密挖矿流量检测分析系统100,该系统包括流量处理模块、模型训练模块以及流量分析模块;
所述流量处理模块,用于获取待检测流量集,对所述待检测流量集先进行关键词规则匹配,匹配出未加密的明文挖矿流量,再根据统计的挖矿流量特征进行筛选,过滤掉大部分正常流量,得到筛选后的加密流量检测集;
所述模型训练模块,用于对所述筛选后的加密流量使用特征提取工具提取多个维度的流量特征,对所述多个维度的流量特征进行特征归一化处理,剔除完全相同的特征,得到加密挖矿流量特征集,采用预先训练好的分类模型对所述加密挖矿流量特征集进行预测,得到可疑加密挖矿流量;
所述流量分析模块,用于对所述可疑加密流量进行排除,尝试请求流所对应的“外部IP:外部IP端口”的证书,编写自动化脚本发起https请求,如果证书无法获得或者是证书是可疑的commonName则有较大嫌疑,或者如果https请求失败也有较大嫌疑,对于存有较大嫌疑的流进行优先审计,审计流量包内域名证书的信息内存,查找流的流量包内是否具有疑似证书的信息内存有commonName,结合威胁情报排除正常域名的流量,,得到加密挖矿流量分析结果。
需要说明的是,本发明的不依赖于IOC的加密挖矿流量检测分析系统与本发明的不依赖于IOC的加密挖矿流量检测分析方法一一对应,在上述不依赖于IOC的加密挖矿流量检测分析方法的实施例阐述的技术特征及其有益效果均适用于不依赖于IOC的加密挖矿流量检测分析系统的实施例中,具体内容可参见本发明方法实施例中的叙述,此处不再赘述,特此声明。
此外,上述实施例的不依赖于IOC的加密挖矿流量检测分析系统的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将所述不依赖于IOC的加密挖矿流量检测分析系统的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
请参阅图4,在一个实施例中,提供了一种实现不依赖于IOC的加密挖矿流量检测分析方法的电子设备,所述电子设备200可以包括第一处理器201、第一存储器202和总线,还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序,如加密挖矿流量检测分析程序203。
其中,所述第一存储器202至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元,例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备,例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据,例如加密挖矿流量检测分析程序203的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述第一存储器202内的程序或者模块,以及调用存储在所述第一存储器202内的数据,以执行电子设备200的各种功能和处理数据。
图4仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备200的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
所述电子设备200中的所述第一存储器202存储的加密挖矿流量检测分析程序203是多个指令的组合,在所述第一处理器201中运行时,可以实现:
获取待检测流量集,所述待检测流量集包括未加密流量和加密流量;对所述未加密流量进行挖矿关键词匹配,得到未加密挖矿流量;对所述加密流量根据加密挖矿流量特征进行规则筛选,得到筛选后的加密流量;
对所述筛选后的加密流量使用特征提取工具提取多个维度的流量特征,进行特征归一化处理,剔除完全相同的特征,如Fwd Seg Size Min、Active Mean、Active Std、Active Max、Idle Mean、Idle Std等21个特征,得到加密挖矿流量特征集,采用预先训练好的分类模型对所述加密挖矿流量特征集进行预测,得到可疑加密挖矿流量;
对所述可疑加密流量进行排除,尝试请求流所对应的“外部IP:外部IP端口”的证书,编写自动化脚本发起https请求,如果证书无法获得或者是证书是可疑的commonName则有较大嫌疑,或者如果https请求失败也有较大嫌疑,对于存有较大嫌疑的流进行优先审计,审计流量包内域名证书的信息内存,查找流的流量包内是否具有疑似证书的信息内存有commonName,结合威胁情报排除正常域名的流量,得到加密挖矿流量分析结果。
进一步地,所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种不依赖于IOC的加密挖矿流量检测分析方法,其特征在于,包括下述步骤:
获取待检测流量集,对所述待检测流量集先进行关键词规则匹配,匹配出未加密的明文挖矿流量,再根据统计的挖矿流量特征进行筛选,过滤掉大部分正常流量,得到筛选后的加密流量检测集;
对所述筛选后的加密流量检测集使用特征提取工具提取多个维度的流量特征,对所述多个维度的流量特征进行特征归一化处理,剔除完全相同的特征,得到加密挖矿流量特征集,采用预先训练好的分类模型对所述加密挖矿流量特征集进行预测,得到可疑加密挖矿流量;
对所述可疑加密流量进行排除,尝试请求流所对应的“外部IP:外部IP端口”的证书,编写自动化脚本发起https请求,如果证书无法获得或者是证书是可疑的commonName则有较大嫌疑,或者如果https请求失败也有较大嫌疑,对于存有较大嫌疑的流进行优先审计,审计流量包内域名证书的信息内存,查找流的流量包内是否具有疑似证书的信息内存有commonName,结合威胁情报排除正常域名的流量,得到加密挖矿流量分析结果。
2.根据权利要求1所述不依赖于IOC的加密挖矿流量检测分析方法,其特征在于,在所述获取待检测流量集的步骤中,对于未加密挖矿流量,采用的挖矿协议主要是Stratum及其相关变种,具备显著特征关键词”method”与“params”,故设计挖矿关键词为jsonrpc、method、params、nonce、job_id、mining中的一种或多种。
3.根据权利要求1所述不依赖于IOC的加密挖矿流量检测分析方法,其特征在于,所述根据统计的挖矿流量特征进行筛选,具体为:
从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,无论是矿池到矿机还是矿机到矿池,都不会连续单边发超过4个包;
从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,无论是全部包还是TLS包,至少80%的包大小值分布在5种包大小值;
从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,矿机到矿池的TLS包后面会跟着多个矿池到矿机的TLS包,极少会出现连续3个矿机到矿池的TLS包;
从最后一个“Change CIPher Spec”后的第5个TLS包后的流量包来计算,包大小不超过500;
一个TCP流中被识别为TLS协议的包占全部包数量一半,相差不超过3个包;
流的持续时间比较长,大于5秒。
4.根据权利要求1所述不依赖于IOC的加密挖矿流量检测分析方法,其特征在于,所述特征提取工具采用CICFlowMeter,提取的特征包括:Fwd Seg Size Min、Active Mean、Active Std、Active Max、Idle Mean、Idle Std。
5.根据权利要求1所述不依赖于IOC的加密挖矿流量检测分析方法,其特征在于,采用预先训练好的分类模型对所述加密挖矿流量特征集进行预测,得到可疑加密挖矿流量,具体为:
对待检测加密流量集使用单分类器孤立森林算法进行检测,对前期收集的基于stratum+ssl通讯协议的ETH、ETC、AE、BEAM、CONFLUX、ERGO数种加密货币挖矿流量作为训练集,待检测加密流量集为测试集,为了避免遗漏可疑IP,设置污点率为偏大的0.2,随机种子random_state设置为30,得到可疑挖矿流量。
6.根据权利要求5所述不依赖于IOC的加密挖矿流量检测分析方法,其特征在于,在检测过的中,检查流时只检查该分类模型中分类为非正常流量包流的(IP,port)二元组。
7.根据权利要求1所述不依赖于IOC的加密挖矿流量检测分析方法,其特征在于,所述编写自动化脚本对其发起https请求,具体为:
遍历得到的可疑挖矿流量,编写自动化脚本循环发起ip:port的https请求,获取请求的状态码,若请求成功获取证书信息,如果证书无法获得或者是证书是可疑的commonName则有较大嫌疑,或者如果https请求失败或超时也有较大嫌疑。
8.一种不依赖于IOC的加密挖矿流量检测分析系统,其特征在于,应用于权利要求1-7中任一项所述的不依赖于IOC的加密挖矿流量检测分析方法,包括流量处理模块、模型训练模块以及流量分析模块;
所述流量处理模块,对所述待检测流量集先进行关键词规则匹配,匹配出未加密的明文挖矿流量,再根据统计的挖矿流量特征进行筛选,过滤掉大部分正常流量,得到筛选后的加密流量检测集;
所述模型训练模块,用于对所述筛选后的加密流量使用特征提取工具提取多个维度的流量特征,对所述多个维度的流量特征进行特征归一化处理,剔除完全相同的特征,得到加密挖矿流量特征集,采用预先训练好的分类模型对所述加密挖矿流量特征集进行预测,得到可疑加密挖矿流量;
所述流量分析模块,用于对所述可疑加密流量进行排除,尝试请求流所对应的“外部IP:外部IP端口”的证书,编写自动化脚本发起https请求,如果证书无法获得或者是证书是可疑的commonName则有较大嫌疑,或者如果https请求失败也有较大嫌疑,对于存有较大嫌疑的流进行优先审计,审计流量包内域名证书的信息内存,查找流的流量包内是否具有疑似证书的信息内存有commonName,结合威胁情报排除正常域名的流量,,得到加密挖矿流量分析结果。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令,所述计算机程序指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的不依赖于IOC的加密挖矿流量检测分析方法。
10.一种计算机可读存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1-7任一项所述的不依赖于IOC的加密挖矿流量检测分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310553979.4A CN116846587A (zh) | 2023-05-17 | 2023-05-17 | 不依赖于ioc的加密挖矿流量检测分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310553979.4A CN116846587A (zh) | 2023-05-17 | 2023-05-17 | 不依赖于ioc的加密挖矿流量检测分析方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116846587A true CN116846587A (zh) | 2023-10-03 |
Family
ID=88162413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310553979.4A Pending CN116846587A (zh) | 2023-05-17 | 2023-05-17 | 不依赖于ioc的加密挖矿流量检测分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116846587A (zh) |
-
2023
- 2023-05-17 CN CN202310553979.4A patent/CN116846587A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102047782B1 (ko) | 보안 이벤트의 연관 분석을 통한 사이버 침해 위협 탐지 방법 및 장치 | |
US10601848B1 (en) | Cyber-security system and method for weak indicator detection and correlation to generate strong indicators | |
US9813451B2 (en) | Apparatus and method for detecting cyber attacks from communication sources | |
CN113542253B (zh) | 一种网络流量检测方法、装置、设备及介质 | |
US20150106930A1 (en) | Log analysis device and method | |
CN111818103B (zh) | 一种网络靶场中基于流量的溯源攻击路径方法 | |
US10021118B2 (en) | Predicting account takeover tsunami using dump quakes | |
CN112165455A (zh) | 数据访问控制方法、装置、计算机设备和存储介质 | |
US20140344931A1 (en) | Systems and methods for extracting cryptographic keys from malware | |
CN114785567A (zh) | 一种流量识别方法、装置、设备及介质 | |
KR20160087187A (ko) | 사이버 블랙박스 시스템 및 그 방법 | |
CN115174160B (zh) | 基于流级和主机级的恶意加密流量分类方法及装置 | |
Weng et al. | TLSmell: Direct Identification on Malicious HTTPs Encryption Traffic with Simple Connection-Specific Indicators. | |
CN111885034A (zh) | 物联网攻击事件追踪方法、装置和计算机设备 | |
CN113923021B (zh) | 基于沙箱的加密流量处理方法、系统、设备及介质 | |
CN116738369A (zh) | 一种流量数据的分类方法、装置、设备及存储介质 | |
CN116846587A (zh) | 不依赖于ioc的加密挖矿流量检测分析方法及装置 | |
CN114257404B (zh) | 异常外联统计告警方法、装置、计算机设备和存储介质 | |
CN113141349B (zh) | 一种多分类器自适应融合的https加密流量分类方法 | |
CN114218561A (zh) | 一种弱口令检测方法、终端设备及存储介质 | |
CN114422186A (zh) | 一种攻击检测方法、装置、电子设备及存储介质 | |
CN113630389A (zh) | 用户异常行为识别方法、系统、电子设备及存储介质 | |
CN113765914A (zh) | Cc攻击防护方法、系统、计算机设备及可读存储介质 | |
CN113596044A (zh) | 一种网络防护方法、装置、电子设备及存储介质 | |
Baich et al. | Machine Learning for IoT based networks intrusion detection: a comparative study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |