CN115001861A - 一种基于混合指纹特征的暗网服务异常检测方法及系统 - Google Patents

一种基于混合指纹特征的暗网服务异常检测方法及系统 Download PDF

Info

Publication number
CN115001861A
CN115001861A CN202210852995.9A CN202210852995A CN115001861A CN 115001861 A CN115001861 A CN 115001861A CN 202210852995 A CN202210852995 A CN 202210852995A CN 115001861 A CN115001861 A CN 115001861A
Authority
CN
China
Prior art keywords
fingerprint
service
data
darknet
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210852995.9A
Other languages
English (en)
Other versions
CN115001861B (zh
Inventor
刘志洁
丁建伟
陈周国
孙晓晨
张震
沈亮
李欣泽
杨宇
徐进
李航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 30 Research Institute
National Computer Network and Information Security Management Center
Original Assignee
CETC 30 Research Institute
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 30 Research Institute, National Computer Network and Information Security Management Center filed Critical CETC 30 Research Institute
Priority to CN202210852995.9A priority Critical patent/CN115001861B/zh
Publication of CN115001861A publication Critical patent/CN115001861A/zh
Application granted granted Critical
Publication of CN115001861B publication Critical patent/CN115001861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机网络技术领域，公开了一种基于混合指纹特征的暗网服务异常检测方法及系统，该异常检测方法，对暗网站点的流量数据和状态数据进行分析，通过分析状态数据和流量数据，提取暗网站点的单点指纹特征、话题关联的指纹特征、流量指纹信息,进行暗网服务异常检测。本发明解决了解决现有技术存在的难以对暗网站点的重要度进行整体地准确检测等问题。

Description

一种基于混合指纹特征的暗网服务异常检测方法及系统
技术领域
本发明涉及计算机网络技术领域，具体是一种基于混合指纹特征的暗网服务异常检测方法及系统。
背景技术
目前暗网站点检测（也称站点预警）基本采用两种方式，一是通过pagerank对暗网站点的重要度进行评估，二是通过关键词和nlp模型对敏感内容进行检测。前者利用站点间的网络结构进行评估，由于暗网站点的匿名性和跳转关系的稀疏性，获取的站点重要度准确率不高；后者利用站点内容进行检测，从单个站点内容出发进行检测，仅能检测具体的站点文本内容，无法对站点整体情况进行检测。
发明内容
为克服现有技术的不足，本发明提供了一种基于混合指纹特征的暗网服务异常检测方法及系统，解决现有技术存在的难以对暗网站点的重要度进行整体地准确检测等问题。
本发明解决上述问题所采用的技术方案是：
一种基于混合指纹特征的暗网服务异常检测方法，对暗网站点的流量数据和状态数据进行分析，通过分析状态数据和流量数据，提取暗网站点的单点指纹特征、话题关联的指纹特征、流量指纹信息,进行暗网服务异常检测。
作为一种优选的技术方案，包括以下步骤：
S1，数据准备：准备用于提取指纹特征的流量数据和状态数据；
S2，指纹特征提取：提取暗网服务流量数据中的单点指纹特征、话题关联的指纹特征、流量指纹特征；以及；提取暗网服务状态数据中的单点指纹特征、话题关联的指纹特征、流量指纹特征；
S3，服务异常检测：依据步骤S2提取的单点指纹特征、话题关联的指纹特征、流量指纹特征进行暗网服务异常检测。
作为一种优选的技术方案，步骤S2中，提取数据中的单点指纹特征包括以下步骤：
SA21，提取每个暗网服务的暗网数据状态特征；
SA22，分别按不同的时间间隔统计步骤SA21中的各个暗网数据状态特征的状态值；
SA23，以时间线的方式对步骤SA22中获取的状态值进行存储和输出，输出结果为三维特征方阵；其中，三维特征方阵的维度分别为状态名、时间粒度、时间点。
作为一种优选的技术方案，步骤S2中，提取数据中的话题关联的指纹特征包括以下步骤：
SB21，按话题类别区分服务的暗网数据状态特征；
SB22，提取暗网服务的关联的暗网数据状态特征；
SB23，分别按不同的时间间隔统计步骤SB21中的各个暗网数据状态特征的状态值；
SB24，以时间线的方式对步骤SB23中获取的状态值进行存储和输出，输出结果为四维特征方阵；其中，四维特征方阵的维度分别为状态名、话题名、时间粒度、时间点。
作为一种优选的技术方案，步骤S2中，提取数据中的流量指纹特征包括以下步骤：
SC21，构建暗网服务的流量指纹库；
SC22，将采集到的流量会话数据进行分类检测，计算流量会话数据的指纹特征，并判断该指纹特征是否存在于暗网服务流量指纹库；若是，则将待检测流量归类到对应的暗网服务；若否，则跳过该会话；
SC23，针对各暗网服务，统计归类到该暗网服务的流量会话个数，并分别按天、周、月统计流量会话个数；
SC24，以时间线的方式对步骤SC23中获取的流量统计值进行存储和输出，输出结果为三维特征方阵；其中，三维特征方阵的维度分别为服务名、时间粒度、时间点。
作为一种优选的技术方案，SC21包括以下步骤：
SC211，提取每条会话数据的有效载荷特征，并将有效载荷特串联后，利用md5算法生成指纹；
SC212，计算指纹在各个暗网服务会话中的簇内平均距离，以及与其他会话间的簇间平均距离；其中，其他会话指同一簇内除当前被计算指纹的暗网服务会话之外的会话；
SC213，判断是否需要存储指纹：若簇内聚合度>90%且簇间冲突度<10%，则进入步骤SC214；
SC214，将指纹存储至步骤SC211中被提取的有效载荷特征的会话数据的暗网服务流量指纹库。
作为一种优选的技术方案，步骤S3包括以下步骤：
S31，单点指纹特征异常检测：设步骤SA22一共按T个时间间隔进行统计，T个时间 间隔按时间先后顺序的编号分别为1,2，...i，...，t，编号为
Figure 100002_DEST_PATH_IMAGE001
的时间间隔内提取的暗网服 务的指纹特征值为
Figure 217069DEST_PATH_IMAGE002
,构建指纹特征预测模型
Figure 100002_DEST_PATH_IMAGE003
，计算 波动范围
Figure 508242DEST_PATH_IMAGE004
，为波动范围
Figure 100002_DEST_PATH_IMAGE005
设置阈值，当波动范围超出阈值时，则编号为
Figure 867680DEST_PATH_IMAGE001
的时 间间隔的指纹特征检测为异常值；其中，指纹特征预测模型用于对编号为
Figure 930313DEST_PATH_IMAGE001
的时间间隔的指 纹特征值进行预估；t表示时间间隔的编号的最大值，i表示时间间隔的编号，1≤i≤t-1且i 为正整数；
S32，话题关联的指纹特征异常检测：设编号为
Figure 742412DEST_PATH_IMAGE001
的时间间隔内、话题
Figure 181483DEST_PATH_IMAGE006
提取的暗网 服务的指纹特征值为
Figure 100002_DEST_PATH_IMAGE007
,构建指纹特征预测模型
Figure 615001DEST_PATH_IMAGE008
，计 算波动范围
Figure 100002_DEST_PATH_IMAGE009
，为波动范围
Figure 51798DEST_PATH_IMAGE010
设置阈值，当波动范围超出阈值时，则编号为
Figure 413510DEST_PATH_IMAGE001
的 时间间隔、话题
Figure DEST_PATH_IMAGE011
的指纹特征检测为异常值；其中，指纹特征预测模型用于对
Figure 46485DEST_PATH_IMAGE012
时刻的指纹 特征值进行预估；
S33，流量指纹特征异常检测：设编号为
Figure 911673DEST_PATH_IMAGE001
的时间间隔内、站点
Figure DEST_PATH_IMAGE013
提取的暗网服务的 流量统计值为
Figure 519372DEST_PATH_IMAGE014
,构建流量预测模型
Figure DEST_PATH_IMAGE015
，计算波动范围
Figure 837221DEST_PATH_IMAGE016
，为波动范围
Figure DEST_PATH_IMAGE017
设置阈值，当波动范围超出阈值时，则编号为
Figure 555778DEST_PATH_IMAGE001
的时间间隔、 站点
Figure 775274DEST_PATH_IMAGE018
的流量指纹特征检测为异常值；其中，流量预测模型用于对编号为
Figure 288295DEST_PATH_IMAGE001
的时间间隔的流 量进行预估。
作为一种优选的技术方案，步骤S1包括以下步骤：
SZ11，暗网服务状态数据采集：采集暗网服务状态数据；
SZ12，暗网服务流量数据采集：采集暗网服务流量数据，并存为Pcap文件；
SZ13，数据预处理：对服务状态数据进行转码、过滤；利用流量数据提取五元组信息和有效载荷数据。
作为一种优选的技术方案，暗网数据状态特征包括商品库存、用户量、贴文总量、评论总量中的一种或多种。
一种基于混合指纹特征的暗网服务异常检测系统，基于所述的一种基于混合指纹特征的暗网服务异常检测方法，包括依次电相连的以下模块：
数据准备模块：用以，准备用于提取指纹特征的流量数据和状态数据；
指纹特征提取模块：用以，提取暗网服务流量数据中的单点指纹特征、话题关联的指纹特征、流量指纹特征；以及；提取暗网服务状态数据中的单点指纹特征、话题关联的指纹特征、流量指纹特征；
服务异常检测模块：用以，依据步骤S2提取的单点指纹特征、话题关联的指纹特征、流量指纹特征进行暗网服务异常检测。
本发明相比于现有技术，具有以下有益效果：
（1）本发明提出一种基于混合指纹特征的暗网服务异常状态检测系统，综合利用单点指纹特征、话题关联的指纹特征、流量指纹特征三方面的特征数据，实现暗网服务异常状态检测，为相关部门决策提供异常目标支撑。
（2）本发明利用单点指纹特征融合时间粒度、状态粒度的服务状态，话题关联的指纹特征融合时间粒度、话题粒度、状态粒度的服务状态，流量指纹特征融合时间粒度、流量粒度的服务状态，解决暗网服务异常状态检测问题。
附图说明
图1为本发明所述的一种基于混合指纹特征的暗网服务异常检测方法的步骤示意图；
图2为本发明实施例的一种基于混合指纹特征的暗网服务异常检测方法的步骤示意图；
图3为单点指纹特征提取流程图；
图4为话题关联的指纹特征提取流程图；
图5为流量指纹特征提取流程图；
图6为暗网服务流量指纹库构建流程图；
图7为实施例的暗网服务异常状态检测流程图。
具体实施方式
下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
实施例
如图1至图7所示，针对现有暗网站点预警方法的局限性，本文提出一种基于混合指纹特征的暗网服务异常状态检测方法，从暗网站点使用状态、流量特征出发，设计异常检测算法，实现暗网站点的异常情况监测与预警，为相关部门提供分析数据支撑；步骤如图1所示。
本发明对暗网站点的流量数据和库存数据进行分析，通过分析库存数据和流量数据，提取暗网站点的单点指纹特征、话题关联的指纹特征、流量指纹信息等特征，提出一种基于混合指纹特征的暗网服务异常状态检测系统，实现对暗网服务的快速检测和预警。该系统的技术架构如图2所示。
本发明共涉及7个模块，其中模块1-3为基础数据采集和预处理模块，利用通用的服务采集、流量采集手段获取数据并进行预处理；模块4-7为本发明核心保护模块，用于实现单点指纹特征、话题关联的指纹特征、流量指纹特征提取和依据混合指纹特征的异常监测。
（1）单点指纹特征提取：基于服务状态数据，提取暗网服务中的商品库存、用户量、贴文总量、评论总量等特征数据作为单点指纹特征。
（2）话题关联的指纹特征提取：基于服务状态数据，分析暗网服务中各类话题对应的商品库存、用户量、贴文总量、评论总量等特征数据作为话题关联的指纹特征。
（3）流量指纹特征提取：基于会话数据中的TLS的协议解析字段，选择包括但不限于版本、加密套件、加密算法、扩展列表等特征，生成流量指纹特征。
（4）暗网服务异常状态检测：基于单点指纹特征、话题关联的指纹特征、流量指纹特征数据，提出专用的暗网服务状态异常检测策略，使用无监督的方式从暗网服务中挖掘异常站点。
更具体地：
一、单点指纹特征提取：
暗网服务状态数据包含商品库存、商品量、用户量、贴文量、评论量、销量、交易额等站点服务状态信息，单点指纹特征指针对每个状态值，按天、周、月的形式分别进行统计，获取按天、周、月的趋势数据，具体流程如图3所示。
步骤1：为每个暗网服务提取状态值特征，具体包含商品库存、商品量、用户量、贴文量、评论量、销量、交易额等。其中商品库存根据暗网服务的发布商品获取当天的各个商品库存，假设共个商品，求和得到商品总库存；商品量为暗网服务中当前累计的商品个数；用户量为暗网服务中当前累计的用户总量；贴文量为暗网服务当前累计的贴文总量；评论量为暗网服务当前累计的评论总量；销量根据商品库存得到，设当天商品库存为,上一天商品库存为,则当天销量；当天交易额，其中为商品的单价。
步骤2：分别按天、周、月计算步骤1中的各个状态值。
步骤3：以时间线的方式对步骤2中获取的状态值进行存储和输出。输出结果为三维特征方阵，其中维度分别为状态名、时间粒度、时间点。
二、话题关联的指纹特征提取；
话题关联的指纹特征针对获取的单点指纹特征按话题进行区别分析，针对各个话题如毒品、数据、物品、色情、涉恐、涉暴等各类话题进行分别统计各状态值的天、周、月趋势，具体流程如图4所示。
步骤1：按类别区分服务状态数据，具体地，将服务中的商品、贴文、评论等内容进行话题区分，针对暗网服务，话题具体包含毒品、数据、物品、色情、涉恐、涉暴等类型，具体分类方式采用也有的文本分类模型如FastText即可。
步骤2：参考单点指纹特征提取流程，获取各个暗网服务下，各类话题的状态值，具体包含商品库存、商品量、贴文量、评论量、销量、交易额等，具体计算方式参考单点指纹特征提取公式。
步骤3：分别按天、周、月计算步骤2中的各个状态值。
步骤4：以时间线的方式对步骤3中获取的状态值进行存储和输出。输出结果为四维特征方阵，其中维度分别为状态名、话题名、时间粒度、时间点。
三、流量指纹特征提取：
设置流量指纹特征提取策略，构建指定暗网服务的流量指纹库，并基于指纹库筛选指定服务流量，基于流量统计数据检测暗网服务的异常状态。具体流程如图5所示：
步骤1：构建暗网服务的流量指纹库，具体流程如图6所示。
步骤2：将采集到的流量会话数据进行分类检测，计算流量会话数据的指纹特征，并判断该指纹特征是否存在于暗网服务流量指纹库，存在的话将待检测流量归类到对应的暗网服务，否则跳过该会话。
步骤3：针对各暗网服务，统计归类到该暗网服务的流量会话个数，并分别按天、周、月统计流量会话个数。
步骤4：以时间线的方式对步骤3中获取的流量统计值进行存储和输出。输出结果为三维特征方阵，其中维度分别为服务名、时间粒度、时间点。
四、暗网服务异常状态检测：
暗网服务状态异常检测分别检测单点指纹特征异常、话题关联的指纹特征异常、流量指纹特征异常。如图7所示。
步骤1：单点指纹特征异常检测：假设
Figure 624598DEST_PATH_IMAGE001
的指纹特征值为
Figure 678005DEST_PATH_IMAGE002
,构建指纹特征预测模 型
Figure DEST_PATH_IMAGE019
，计算波动范围
Figure 189889DEST_PATH_IMAGE020
，为波动范围
Figure 936128DEST_PATH_IMAGE005
设置阈值， 当波动范围超出阈值时，则
Figure 681099DEST_PATH_IMAGE021
的指纹特征检测为异常值。其中函数
Figure 803776DEST_PATH_IMAGE022
可 以为任意时序预测模型，对
Figure DEST_PATH_IMAGE023
的指纹特征值进行预估。其中
Figure 170166DEST_PATH_IMAGE021
包含为天、周、月三种粒度的数 值，分别对各个时间粒度的状态值进行估计和检测。
步骤2：话题关联的指纹特征异常检测，假设
Figure 87307DEST_PATH_IMAGE024
、话题
Figure 335885DEST_PATH_IMAGE006
的指纹特征值为
Figure 996674DEST_PATH_IMAGE007
,构建指 纹特征预测模型
Figure DEST_PATH_IMAGE025
，计算波动范围
Figure 765041DEST_PATH_IMAGE026
，为波动范围
Figure 56345DEST_PATH_IMAGE010
设置阈值，当波动范围超出阈值时，则
Figure 588957DEST_PATH_IMAGE012
、话题
Figure DEST_PATH_IMAGE027
的指纹特征检测为异常值。其中函数可以为 任意时序预测模型，对
Figure 459961DEST_PATH_IMAGE012
的指纹特征值进行预估。其中
Figure 128840DEST_PATH_IMAGE028
包含为天、周、月三种粒度的数值，分 别对各个时间粒度、各个话题的状态值进行估计和检测。
步骤3：流量指纹特征异常检测，假设
Figure DEST_PATH_IMAGE029
、站点
Figure 105892DEST_PATH_IMAGE013
的流量统计值为
Figure 63484DEST_PATH_IMAGE014
,构建流量预测 模型
Figure 66075DEST_PATH_IMAGE030
，计算波动范围
Figure DEST_PATH_IMAGE031
，为波动范围
Figure 58302DEST_PATH_IMAGE017
设置阈值，当波 动范围超出阈值时，则
Figure 691409DEST_PATH_IMAGE021
、站点
Figure 933034DEST_PATH_IMAGE032
的流量指纹特征检测为异常值。其中函数可以为任意时序 预测模型，对
Figure 690381DEST_PATH_IMAGE033
时刻的流量进行预估。其中
Figure DEST_PATH_IMAGE034
包含为天、周、月三种粒度的数值，分别对各个 时间粒度、各个暗网服务的状态值进行估计和检测。
本发明具有以下有益效果和优点：
（1）提出一种基于混合指纹特征的暗网服务异常状态检测系统，综合利用单点指纹特征、话题关联的指纹特征、流量指纹特征三方面的特征数据，实现暗网服务异常状态检测，为相关部门决策提供异常目标支撑。
（2）单点指纹特征融合时间粒度、状态粒度的服务状态，话题关联的指纹特征融合时间粒度、话题粒度、状态粒度的服务状态，流量指纹特征融合时间粒度、流量粒度的服务状态，解决暗网服务异常状态检测问题。
如上所述，可较好地实现本发明。
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (10)

1.一种基于混合指纹特征的暗网服务异常检测方法，其特征在于，对暗网站点的流量数据和状态数据进行分析，通过分析状态数据和流量数据，提取暗网站点的单点指纹特征、话题关联的指纹特征、流量指纹信息,进行暗网服务异常检测。
2.根据权利要求1所述的一种基于混合指纹特征的暗网服务异常检测方法，其特征在于，包括以下步骤：
S1，数据准备：准备用于提取指纹特征的流量数据和状态数据；
S2，指纹特征提取：提取暗网服务流量数据中的单点指纹特征、话题关联的指纹特征、流量指纹特征；以及；提取暗网服务状态数据中的单点指纹特征、话题关联的指纹特征、流量指纹特征；
S3，服务异常检测：依据步骤S2提取的单点指纹特征、话题关联的指纹特征、流量指纹特征进行暗网服务异常检测。
3.根据权利要求2所述的一种基于混合指纹特征的暗网服务异常检测方法，其特征在于，步骤S2中，提取数据中的单点指纹特征包括以下步骤：
SA21，提取每个暗网服务的暗网数据状态特征；
SA22，分别按不同的时间间隔统计步骤SA21中的各个暗网数据状态特征的状态值；
SA23，以时间线的方式对步骤SA22中获取的状态值进行存储和输出，输出结果为三维特征方阵；其中，三维特征方阵的维度分别为状态名、时间粒度、时间点。
4.根据权利要求3所述的一种基于混合指纹特征的暗网服务异常检测方法，其特征在于，步骤S2中，提取数据中的话题关联的指纹特征包括以下步骤：
SB21，按话题类别区分服务的暗网数据状态特征；
SB22，提取暗网服务的关联的暗网数据状态特征；
SB23，分别按不同的时间间隔统计步骤SB21中的各个暗网数据状态特征的状态值；
SB24，以时间线的方式对步骤SB23中获取的状态值进行存储和输出，输出结果为四维特征方阵；其中，四维特征方阵的维度分别为状态名、话题名、时间粒度、时间点。
5.根据权利要求4所述的一种基于混合指纹特征的暗网服务异常检测方法，其特征在于，步骤S2中，提取数据中的流量指纹特征包括以下步骤：
SC21，构建暗网服务的流量指纹库；
SC22，将采集到的流量会话数据进行分类检测，计算流量会话数据的指纹特征，并判断该指纹特征是否存在于暗网服务流量指纹库；若是，则将待检测流量归类到对应的暗网服务；若否，则跳过该会话；
SC23，针对各暗网服务，统计归类到该暗网服务的流量会话个数，并分别按天、周、月统计流量会话个数；
SC24，以时间线的方式对步骤SC23中获取的流量统计值进行存储和输出，输出结果为三维特征方阵；其中，三维特征方阵的维度分别为服务名、时间粒度、时间点。
6.根据权利要求5所述的一种基于混合指纹特征的暗网服务异常检测方法，其特征在于，SC21包括以下步骤：
SC211，提取每条会话数据的有效载荷特征，并将有效载荷特串联后，利用md5算法生成指纹；
SC212，计算指纹在各个暗网服务会话中的簇内平均距离，以及与其他会话间的簇间平均距离；其中，其他会话指同一簇内除当前被计算指纹的暗网服务会话之外的会话；
SC213，判断是否需要存储指纹：若簇内聚合度>90%且簇间冲突度<10%，则进入步骤SC214；
SC214，将指纹存储至步骤SC211中被提取的有效载荷特征的会话数据的暗网服务流量指纹库。
7.根据权利要求6所述的一种基于混合指纹特征的暗网服务异常检测方法，其特征在于，步骤S3包括以下步骤：
S31，单点指纹特征异常检测：设步骤SA22一共按T个时间间隔进行统计，T个时间间隔 按时间先后顺序的编号分别为1,2，...i，...，t，编号为
Figure DEST_PATH_IMAGE001
的时间间隔内提取的暗网服务的 指纹特征值为
Figure 475068DEST_PATH_IMAGE002
,构建指纹特征预测模型
Figure DEST_PATH_IMAGE003
，计算波动 范围
Figure 364527DEST_PATH_IMAGE004
，为波动范围
Figure DEST_PATH_IMAGE005
设置阈值，当波动范围超出阈值时，则编号为
Figure 262862DEST_PATH_IMAGE001
的时间间 隔的指纹特征检测为异常值；其中，指纹特征预测模型用于对编号为
Figure 641891DEST_PATH_IMAGE001
的时间间隔的指纹特 征值进行预估；t表示时间间隔的编号的最大值，i表示时间间隔的编号，1≤i≤t-1且i为正 整数；
S32，话题关联的指纹特征异常检测：设编号为
Figure 770384DEST_PATH_IMAGE006
的时间间隔内、话题
Figure DEST_PATH_IMAGE007
提取的暗网服务 的指纹特征值为
Figure 463533DEST_PATH_IMAGE008
,构建指纹特征预测模型
Figure DEST_PATH_IMAGE009
，计算 波动范围
Figure 259451DEST_PATH_IMAGE010
，为波动范围
Figure 996332DEST_PATH_IMAGE011
设置阈值，当波动范围超出阈值时，则编号为
Figure 674438DEST_PATH_IMAGE006
的时 间间隔、话题
Figure DEST_PATH_IMAGE012
的指纹特征检测为异常值；其中，指纹特征预测模型用于对
Figure 171278DEST_PATH_IMAGE013
时刻的指纹特 征值进行预估；
S33，流量指纹特征异常检测：设编号为
Figure 556123DEST_PATH_IMAGE001
的时间间隔内、站点
Figure DEST_PATH_IMAGE014
提取的暗网服务的流量 统计值为
Figure 214638DEST_PATH_IMAGE015
,构建流量预测模型
Figure DEST_PATH_IMAGE016
，计算波动范围
Figure 599614DEST_PATH_IMAGE017
，为 波动范围
Figure DEST_PATH_IMAGE018
设置阈值，当波动范围超出阈值时，则编号为
Figure 634566DEST_PATH_IMAGE001
的时间间隔、站点
Figure 139497DEST_PATH_IMAGE019
的流量指纹 特征检测为异常值；其中，流量预测模型用于对编号为
Figure 968912DEST_PATH_IMAGE001
的时间间隔的流量进行预估。
8.根据权利要求2至7任一项所述的一种基于混合指纹特征的暗网服务异常检测方法，其特征在于，步骤S1包括以下步骤：
SZ11，暗网服务状态数据采集：采集暗网服务状态数据；
SZ12，暗网服务流量数据采集：采集暗网服务流量数据，并存为Pcap文件；
SZ13，数据预处理：对服务状态数据进行转码、过滤；利用流量数据提取五元组信息和有效载荷数据。
9.根据权利要求8所述的一种基于混合指纹特征的暗网服务异常检测方法，其特征在于，暗网数据状态特征包括商品库存、用户量、贴文总量、评论总量中的一种或多种。
10.一种基于混合指纹特征的暗网服务异常检测系统，其特征在于，基于权利要求2至9任一项所述的一种基于混合指纹特征的暗网服务异常检测方法，包括依次电相连的以下模块：
数据准备模块：用以，准备用于提取指纹特征的流量数据和状态数据；
指纹特征提取模块：用以，提取暗网服务流量数据中的单点指纹特征、话题关联的指纹特征、流量指纹特征；以及；提取暗网服务状态数据中的单点指纹特征、话题关联的指纹特征、流量指纹特征；
服务异常检测模块：用以，依据步骤S2提取的单点指纹特征、话题关联的指纹特征、流量指纹特征进行暗网服务异常检测。
CN202210852995.9A 2022-07-20 2022-07-20 一种基于混合指纹特征的暗网服务异常检测方法及系统 Active CN115001861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210852995.9A CN115001861B (zh) 2022-07-20 2022-07-20 一种基于混合指纹特征的暗网服务异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210852995.9A CN115001861B (zh) 2022-07-20 2022-07-20 一种基于混合指纹特征的暗网服务异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN115001861A true CN115001861A (zh) 2022-09-02
CN115001861B CN115001861B (zh) 2022-12-09

Family

ID=83021502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210852995.9A Active CN115001861B (zh) 2022-07-20 2022-07-20 一种基于混合指纹特征的暗网服务异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN115001861B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106953854A (zh) * 2016-12-15 2017-07-14 中国电子科技集团公司第三十研究所 一种基于svm机器学习的暗网流量识别模型的建立方法
US20170324768A1 (en) * 2015-10-28 2017-11-09 Fractal Industries, Inc. Advanced cybersecurity threat mitigation using behavioral and deep analytics
US20190007440A1 (en) * 2015-12-28 2019-01-03 Sixgill Ltd. Dark web monitoring, analysis and alert system and method
CN110046260A (zh) * 2019-04-16 2019-07-23 广州大学 一种基于知识图谱的暗网话题发现方法和系统
US20200036743A1 (en) * 2018-07-25 2020-01-30 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for predicting the likelihood of cyber-threats leveraging intelligence associated with hacker communities
US20200134579A1 (en) * 2018-10-30 2020-04-30 Cyber Reconnaissance, Inc. Systems and methods for identifying indicators of cryptocurrency price reversals leveraging data from the dark/deep web
US20200151222A1 (en) * 2018-11-09 2020-05-14 Accenture Global Solutions Limited Dark web content analysis and identification
US20200285761A1 (en) * 2019-03-07 2020-09-10 Lookout, Inc. Security policy manager to configure permissions on computing devices
CN111737551A (zh) * 2020-05-26 2020-10-02 国家计算机网络与信息安全管理中心 一种基于异构图注意力神经网络的暗网线索检测方法
CN112202782A (zh) * 2020-09-30 2021-01-08 上海交通大学 一种基于网络流量的暗网用户行为检测方法和系统
CN112887341A (zh) * 2021-04-29 2021-06-01 北京微步在线科技有限公司 一种外部威胁监控方法
CN113849759A (zh) * 2021-11-29 2021-12-28 中国电子科技集团公司第三十研究所 一种基于图像特征的暗网站点用户关联方法
CN114124463A (zh) * 2021-10-27 2022-03-01 中国电子科技集团公司第三十研究所 基于网络行为特征的暗网加密应用服务识别方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170324768A1 (en) * 2015-10-28 2017-11-09 Fractal Industries, Inc. Advanced cybersecurity threat mitigation using behavioral and deep analytics
US20190007440A1 (en) * 2015-12-28 2019-01-03 Sixgill Ltd. Dark web monitoring, analysis and alert system and method
CN106953854A (zh) * 2016-12-15 2017-07-14 中国电子科技集团公司第三十研究所 一种基于svm机器学习的暗网流量识别模型的建立方法
US20200036743A1 (en) * 2018-07-25 2020-01-30 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for predicting the likelihood of cyber-threats leveraging intelligence associated with hacker communities
US20200134579A1 (en) * 2018-10-30 2020-04-30 Cyber Reconnaissance, Inc. Systems and methods for identifying indicators of cryptocurrency price reversals leveraging data from the dark/deep web
US20200151222A1 (en) * 2018-11-09 2020-05-14 Accenture Global Solutions Limited Dark web content analysis and identification
US20200285761A1 (en) * 2019-03-07 2020-09-10 Lookout, Inc. Security policy manager to configure permissions on computing devices
CN110046260A (zh) * 2019-04-16 2019-07-23 广州大学 一种基于知识图谱的暗网话题发现方法和系统
CN111737551A (zh) * 2020-05-26 2020-10-02 国家计算机网络与信息安全管理中心 一种基于异构图注意力神经网络的暗网线索检测方法
CN112202782A (zh) * 2020-09-30 2021-01-08 上海交通大学 一种基于网络流量的暗网用户行为检测方法和系统
CN112887341A (zh) * 2021-04-29 2021-06-01 北京微步在线科技有限公司 一种外部威胁监控方法
CN114124463A (zh) * 2021-10-27 2022-03-01 中国电子科技集团公司第三十研究所 基于网络行为特征的暗网加密应用服务识别方法及系统
CN113849759A (zh) * 2021-11-29 2021-12-28 中国电子科技集团公司第三十研究所 一种基于图像特征的暗网站点用户关联方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Y. XU, G. CHEN, J. WU, W. XU AND Q. LIU: "Research on Dark Web Monitoring Crawler Based on TOR", 《2021 IEEE 2ND INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY, BIG DATA AND ARTIFICIAL INTELLIGENCE (ICIBA)》 *
李超等: "基于暗网的反恐情报分析研究", 《情报杂志》 *
高睿: "Obfs4匿名网络流量识别研究", 《中国优秀硕士论文全文数据库 信息科技辑》 *
黄莉峥等: "一种基于暗网的威胁情报主动获取框架", 《信息安全研究》 *

Also Published As

Publication number Publication date
CN115001861B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN106202561B (zh) 基于文本大数据的数字化应急管理案例库构建方法及装置
Culotta Detecting influenza outbreaks by analyzing Twitter messages
CN110851321B (zh) 一种业务告警方法、设备及存储介质
CN112398779A (zh) 一种网络流量数据分析方法及系统
CN112559771A (zh) 基于知识图谱的资金交易智能监测方法及监测系统
CN107679734A (zh) 一种用于无标签数据分类预测的方法和系统
CN113645232A (zh) 一种面向工业互联网的智能化流量监测方法、系统及存储介质
CN109218321A (zh) 一种网络入侵检测方法及系统
CN109359234B (zh) 一种多维度网络安全事件分级装置
CN105426441B (zh) 一种时间序列自动预处理方法
CN106156026A (zh) 一种基于数据流虚拟资产在线异常发现的方法
Borg et al. Clustering residential burglaries using modus operandi and spatiotemporal information
CN116264004A (zh) 基于工人重新识别和个人防护装备分类对现场安全合规性进行的基于视觉的监测
CN112367303A (zh) 分布式自学习异常流量协同检测方法及系统
CN117473571B (zh) 一种数据信息安全处理方法及系统
CN115001861B (zh) 一种基于混合指纹特征的暗网服务异常检测方法及系统
Manjunatha et al. Real-time big data analytics framework with data blending approach for multiple data sources in smart city applications
Chair et al. Towards a social media-based framework for disaster communication
Girish et al. Extreme event detection and management using twitter data analysis
Unankard et al. Sub-events tracking from social network based on the relationships between topics
Saravanan et al. Probing of geospatial stream data to report disorientation
CN108229585A (zh) 一种日志的归类方法及系统
CN115392351A (zh) 风险用户识别方法、装置、电子设备及存储介质
CN113807716A (zh) 一种基于人工智能的网络运维自动化方法
KR20220102202A (ko) 실시간 재난안전 뉴스 모니터링 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant