CN108737439A - 一种基于自反馈学习的大规模恶意域名检测系统及方法 - Google Patents

一种基于自反馈学习的大规模恶意域名检测系统及方法 Download PDF

Info

Publication number
CN108737439A
CN108737439A CN201810563861.9A CN201810563861A CN108737439A CN 108737439 A CN108737439 A CN 108737439A CN 201810563861 A CN201810563861 A CN 201810563861A CN 108737439 A CN108737439 A CN 108737439A
Authority
CN
China
Prior art keywords
domain name
detection
feed back
malice
self feed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810563861.9A
Other languages
English (en)
Other versions
CN108737439B (zh
Inventor
邹福泰
朱家琛
李林森
吴越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810563861.9A priority Critical patent/CN108737439B/zh
Publication of CN108737439A publication Critical patent/CN108737439A/zh
Application granted granted Critical
Publication of CN108737439B publication Critical patent/CN108737439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于自反馈学习的大规模恶意域名检测系统及方法，涉及计算机网络安全技术领域。针对现有的检测技术在海量数据处理以及检测模型更新上的不足，设计并实现了适用于大规模数据的恶意域名实时检测系统，创新性提出抽取小数据集验证更新的做法，提升在线学习的效率。核心算法包括在海量实时域名检测中应用基于支持向量机SVM检测恶意域名的算法、基于自反馈学习的在线学习算法fSVM和自动标定算法。经理论论证与实验验证，本发明所提算法在面对新出现的恶意域名时能够及时响应，并且有着出色的运行效率。本发明还实现了检出域名的进一步分析，对域名相关的威胁情报感知有着启示作用。

Description

一种基于自反馈学习的大规模恶意域名检测系统及方法
技术领域
本发明涉及计算机网络安全技术领域，尤其涉及一种基于自反馈学习的大规模恶意域名检测系统及方法。
背景技术
DDoS攻击是一种常见的由受控的僵尸网络发动的攻击。僵尸网络是一系列被感染系统的集合，攻击者需要使用DNS来解析控制服务器的地址，同时更有Fast Flux等技术隐藏攻击的来源，将多个IP地址的集合链接到某个特定的域名，并将新的地址从DNS记录中换入换出，回避检测。DNS通讯作为隐蔽通道也开始被攻击者们广泛应用。随机域名生成算法(DGA)是黑客为了逃避检测采用的域名生成算法。传统的检测方法使用黑名单库的办法来检测恶意域名，但面对这种新型隐蔽攻击技术显得束手无策。这样的恶意域名，生存时间短，当黑名单更新的时候很可能攻击已经结束或者域名已经不再可用，需要一种可以快速及时作出响应的检测系统来应对这种攻击。如果在企业中发现类似恶意域名解析请求，那么发起这些请求的设备很有可能是被感染了木马，企业安全团队可以轻易地根据IP或MAC地址定位，在杀毒软件更新特征库之前发现入侵。
被动DNS通过被动捕获内部DNS传输来重组DNS传输，从而收集数据。FlorianWeimer在2005年第17届FIRST会议上提出这项技术来缓解僵尸网络的传播。被动DNS整个流程捕捉到的是服务器到服务器之间的通信内容。这种方式具有两大重要作用：一是服务器到服务器的通信内容量明显更少，即只包含缓存内不存在的内容；二是服务器到服务器通信不会被轻易关联到某个特定存根解析器处，因此涉及的隐私内容也就相对较少。相较于URL分析，域名的流量相对较小，在实时监测时的开销将大大减小。
建立恶意域名识别能力，可以有效提升发现攻击行为的效果，第一时间迅速发现被木马感染的设备。同时，恶意域名识别，也是大数据安全的重要分析手段，是已建立起大数据安全平台的CISO们应首先考虑部署的分析引擎之一。
因此，本领域的技术人员致力于开发一种基于自反馈学习的大规模恶意域名检测系统及方法，以期针对现有的检测技术在海量数据处理以及检测模型更新上的不足，实现对于大规模数据的恶意域名实时检测并提高检测精度。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题包括三方面：一是如何对海量数据进行高效的实时处理；二是当一个恶意域名刚刚出现，且只持续在几个小时或几天的时间内，市面上的黑名单还没有来得及将其加入到其中的时候，如何使检测模型将其发现并及时的做出响应；三是如何通过小代价的标定来实现检测率的提高和在线学习模型的更新。
为实现上述目的，本发明提供了一种基于自反馈学习的大规模恶意域名检测系统，包括用户端、云端检测平台和web端；
所述用户端被设置在企业的流量出口处，用于将企业DNS解析器中的DNS流量数据实时地传递给所述云端检测平台；
所述云端检测平台完成对所述DNS流量的特征提取，检测模型训练以及更新，对数据流的并行检测，以及将检测结果传递给所述Web端进行实时展示；
所述Web端被配置为用于展示所述检测成果，向用户提供基础的恶意域名检测数量，以及实时检测排名，同时提供以IP为线索查询恶意域名的数据接口，并通过对检出的所述恶意域名再次聚类，展示所述恶意域名的目的以及威胁。
本发明还提供了一种基于自反馈学习的大规模恶意域名检测方法，包括在海量实时域名检测中应用基于支持向量机SVM检测恶意域名的算法、基于自反馈学习的在线学习算法fSVM和自动标定算法，以实时更新支持向量机SVM检测模型，实现实时检测并提高检测精度。
进一步地，所述基于支持向量机SVM检测恶意域名的算法，包括提取域名的词法特征和提取域名的网络特征。
进一步地，所述域名的词法特征包括八维特征：域名长度，域名含有的特殊字符数，域名的香农熵值，域名含有的数字数，域名中数字与字母的转换频率，域名含有的分隔符数，域名是否存在IP地址，域名是否符合读音规则。
进一步地，所述域名的网络特征包括根据dig命令获取的域名解析相关信息，以及根据whois命令获取的域名注册相关信息。
进一步地，所述根据dig命令获取的域名相关信息包括六维特征：域名解析出的IP地址个数，解析记录中A记录的TTL平均值，解析过程中名称服务器NS记录的个数，NS记录的平均TTL值，解析过程中AR记录个数，AR记录TTL的平均值。
进一步地，所述根据whois命令获取的域名相关信息包括三维特征：域名的注册时间，域名的过期时间，域名对应IP地址的国家分布。
进一步地，所述基于自反馈学习的在线学习算法fSVM包括如下步骤：
步骤1：从客户端接受待检测的域名DNS日志，并按时间划分为若干时间片，记为时间片1至时间片n；
步骤2：根据系统初始的来自DomainBlackList网站的黑名单和来自alexa域名流量前1万名的白名单训练第一个支持向量机SVM检测模型，用于第一个时间片的检测；
步骤3：在前一个时间片检测过程中，计算每一个待检域名样本与所述支持向量机SVM检测模型分割超平面的距离dist(xi)，根据所述距离dist(xi)将样本分为两部分，距离较近的划为可疑小数据集S，进行二次标定，距离较远的根据机器学习的检测结果视为可信结果，标定的结果被存入本地数据库；
步骤4：在前一个时间片检测过程结束后，将所述可疑小数据集S中的正负样本标定结果添加到现有的所述黑名单和所述白名单中，重新训练所述支持向量机SVM检测模型；
步骤5：在下一个时间片的检测过程中，使用经过所述步骤4重新训练的所述支持向量机SVM检测模型对待测样本进行标定检测，重复所述步骤3的检测过程。
进一步地，所述可疑小数据集S的样本二次标定包括如下步骤：
步骤3-1：如果域名落在检测超平面正侧，则上传至virustotal进行检测，若返回结果为恶意，则标记为恶意域名；
步骤3-2：如果所述步骤3-1中virustotal返回结果不为恶意，即positives值不大于1，那么获取域名的baidu和google搜索结果，统计results的个数，results结果数多的判定为良性域名；
步骤3-3：如果所述搜索结果中包含恶意关键字，则判定为恶意域名；
步骤3-4：对于在所述步骤3-1、所述步骤3-2、所述步骤3-3中均未能确定标定的域名，存入人工标定数据库，在所述web端展示给专家进行人工标定。
进一步地，本发明提供的基于自反馈学习的大规模恶意域名检测方法，还包括IDS传感器接口获取了一个IDS检测结果后的处理过程，所述处理过程包括将采集IDS检测结果的节点记作节点A，所述节点A的IDS传感器接口获取一个IDS的检测结果，将所述检测结果中属于外部网络范围的IP地址保存为ipaddr，所述检测结果所含的数据规范化后保存为data；然后计算发布所述检测结果所用的DHT关键值：k＝hash(ipaddr)，通过DHT通信模块执行put(k,data)操作发布采集到的所述检测结果，所述检测结果被路由到节点B并保存在所述节点B的本地数据库中。
相较于现有技术方案，本发明所提基于自反馈学习的大规模恶意域名检测系统及方法，实现了以下三方面的有益技术效果：
(1)实现了对海量数据的实时处理。一个大型企业每天多达上亿次的域名解析请求，会产生上千万条各不相同的域名记录。引入机器学习的检测可以较好减轻检测负担。系统采用Hadoop+Spark的云端处理平台处理流模式化的DNS解析数据，提取了适用于日志流分析的特征来训练模型，经测试对大规模数据也有良好的处理效率与准确率。
(2)本发明的技术方案将在线学习算法应用到实践之中，提出基于自反馈学习的在线学习算法fSVM并取得了良好的效果。当一个恶意域名刚刚出现，且只持续在几个小时或几天的时间内，市面上的黑名单还没有来得及将其加入到其中的时候，利用该算法即可使检测模型发现该恶意域名并及时做出响应。
(3)抽取小数据集以进行验证。本发明的系统工作在数据流上，在检测的过程中并不能知道待检域名的准确标签值，即是否为恶意。在新的时间片结束时，如果使用全部数据进行标定来更新模型，工作量巨大，不可能使用人工标定，因此本发明提出了只抽取其中占1％～5％的易误检小数据集进行精确地验证。并且通过这部分小代价的标定，最终实现了检测率的提高和在线学习模型的更新。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的系统用户端结构及工作流程示意图；
图2是本发明的一个较佳实施例的系统云端检测平台结构及工作流程示意图；
图3是本发明的一个较佳实施例的系统web端展示界面；
图4是本发明的一个较佳实施例中以时间片为单元的在线检测过程示意图；
图5是本发明的一个较佳实施例的基于自反馈学习的在线学习算法fSVM；
图6是本发明的一个较佳实施例的自动标定算法；
图7是本发明的一个较佳实施例中利用基于自反馈学习的在线学习算法fSVM更新模型过程的第一步骤；
图8是本发明的一个较佳实施例中利用基于自反馈学习的在线学习算法fSVM更新模型过程的第二步骤；
图9是本发明的一个较佳实施例中利用基于自反馈学习的在线学习算法fSVM更新模型过程的第三步骤。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
本发明提供了一种基于自反馈学习的恶意域名检测系统，包括三个部分：用户端、云端检测平台和web端。
所述用户端被设置在企业的流量出口处，用于将企业DNS解析器中的DNS流量数据实时地传递给所述云端检测平台；
所述云端检测平台完成对所述DNS流量的特征提取，检测模型训练以及更新，对数据流的并行检测，以及将检测结果传递给所述Web端进行实时展示；
所述Web端被配置为用于展示所述检测成果，向用户提供基础的恶意域名检测数量，以及实时检测排名，同时提供以IP为线索查询恶意域名的数据接口，并通过对检出的所述恶意域名再次聚类，展示所述恶意域名的目的以及威胁。
第一部分是在用户端，比如企业的流量出口处，如附图1中的企业DNS解析器。系统将DNS流量数据实时地传递给云端检测平台。
第二部分是系统的核心，即云端检测平台，如图2所示。在这一部分完成对DNS流量的特征提取，检测模型训练以及更新，对数据流的并行检测，以及将检测结果传递给下一级Web端进行实时展示。
第三部分是Web端，用于展示检测成果，如附图3所示。这一部分将向用户提供基础的恶意域名检测数量，以及实时检测排名。同时提供以IP为线索查询恶意域名的数据接口。在此基础上还对检出的恶意域名再次聚类，清晰而有针对性的展示恶意域名的目的以及威胁。
本发明还提供了一种基于自反馈学习的大规模恶意域名检测方法，包括在海量实时域名检测中应用基于支持向量机SVM检测恶意域名的算法、基于自反馈学习的在线学习算法fSVM和自动标定算法，以实时更新支持向量机SVM检测模型，实现实时检测并提高检测精度。
所述基于支持向量机SVM检测恶意域名的算法，包括提取域名的词法特征和提取域名的网络特征。
所述域名的词法特征包括八维特征：域名长度，域名含有的特殊字符数，域名的香农熵值，域名含有的数字数，域名中数字与字母的转换频率，域名含有的分隔符数，域名是否存在IP地址，域名是否符合读音规则。
所述域名的网络特征包括根据dig命令获取的域名解析相关信息，以及根据whois命令获取的域名注册相关信息。
所述根据dig命令获取的域名相关信息包括六维特征：域名解析出的IP地址个数，解析记录中A记录的TTL平均值，解析过程中名称服务器NS记录的个数，NS记录的平均TTL值，解析过程中AR记录个数，AR记录TTL的平均值。
所述根据whois命令获取的域名相关信息包括三维特征：域名的注册时间，域名的过期时间，域名对应IP地址的国家分布。
IDS传感器接口获取了一个IDS检测结果后的处理过程如下。将采集IDS检测结果的节点记作节点A。节点A的IDS传感器接口获取一个IDS的检测结果，将检测结果中属于外部网络范围的IP地址保存为ipaddr，检测结果所含的数据规范化后保存为data。然后，计算发布此结果所用的DHT关键值：k＝hash(ipaddr)，通过DHT通信模块执行put(k,data)操作发布采集到的检测结果。该结果被路由到节点B并保存在节点B的本地数据库中。
图4显示了以时间片为单元应用fSVM模型进行在线检测的过程。该过程包括以下步骤：
步骤1：从客户端接受待检测的域名DNS日志，并按时间划分为若干时间片，记为时间片1至时间片n；
步骤2：根据系统初始的来自DomainBlackList网站的黑名单和来自alexa域名流量前1万名的白名单训练第一个支持向量机SVM检测模型，用于第一个时间片的检测；
步骤3：在前一个时间片检测过程中，计算每一个待检域名样本与所述支持向量机SVM检测模型分割超平面的距离dist(xi)，根据所述距离dist(xi)将样本分为两部分，距离较近的划为可疑小数据集S，进行二次标定，距离较远的根据机器学习的检测结果视为可信结果，标定的结果被存入本地数据库；
步骤4：在前一个时间片检测过程结束后，将所述可疑小数据集S中的正负样本标定结果添加到现有的所述黑名单和所述白名单中，重新训练所述支持向量机SVM检测模型；
步骤5：在下一个时间片的检测过程中，使用经过所述步骤4重新训练的所述支持向量机SVM检测模型对待测样本进行标定检测，重复所述步骤3的检测过程。
图5、图6显示了本发明的核心算法，基于自反馈学习的在线学习算法fSVM和自动标定算法。
在二次标定时，fSVM模型会筛选出可疑的域名小数据集，然后按照以下步骤进行标定：
步骤3-1：如果域名落在检测超平面正侧，则上传至virustotal进行检测，若返回结果为恶意，则标记为恶意域名；
步骤3-2：如果所述步骤3-1中virustotal返回结果不为恶意，即positives值不大于1，那么获取域名的baidu和google搜索结果，统计results的个数，results结果数多的判定为良性域名；
步骤3-3：如果所述搜索结果中包含恶意关键字，则判定为恶意域名；
步骤3-4：对于在所述步骤3-1、所述步骤3-2、所述步骤3-3中均未能确定标定的域名，存入人工标定数据库，在所述web端展示给专家进行人工标定。
图7、图8、图9分别显示了本发明的一个较佳实施例中利用基于自反馈学习的在线学习算法fSVM更新模型过程的三个步骤。
基础的SVM会在训练数据集上计算超平面用于数据的二元分割。然而在实际的检测过程中会发生误检的情况，如图7所示，此时fSVM模型将距离超平面的距离dist(xi)较小的数据集筛选出来进行精确的二次标定，经过标定之后重新训练SVM模型，如图8所示，检测数据的标定会对训练模型起到更新作用，使检测模型的超平面更加接近真实情况，检测结果更为精准。
支持向量机SVM原理中，检测数据置信度的评估函数如下。
待测样本距离超平面的距离与其置信度呈指数反比关系。简言之，距离超平面较近的点，置信度较小，容易发生误检；而距离超平面较远的点，置信度较大，结果更为可信。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于自反馈学习的大规模恶意域名检测系统，其特征在于，包括用户端、云端检测平台和web端；
所述用户端被设置在企业的流量出口处，用于将企业DNS解析器中的DNS流量数据实时地传递给所述云端检测平台；
所述云端检测平台完成对所述DNS流量的特征提取，检测模型训练以及更新，对数据流的并行检测，以及将检测结果传递给所述Web端进行实时展示；
所述Web端被配置为用于展示所述检测成果，向用户提供基础的恶意域名检测数量，以及实时检测排名，同时提供以IP为线索查询恶意域名的数据接口，并通过对检出的所述恶意域名再次聚类，展示所述恶意域名的目的以及威胁。
2.一种基于自反馈学习的大规模恶意域名检测方法，其特征在于，包括在海量实时域名检测中应用基于支持向量机SVM检测恶意域名的算法、基于自反馈学习的在线学习算法fSVM和自动标定算法，以实时更新支持向量机SVM检测模型，实现实时检测并提高检测精度。
3.如权利要求2所述的基于自反馈学习的大规模恶意域名检测方法，其特征在于，所述基于支持向量机SVM检测恶意域名的算法，包括提取域名的词法特征和提取域名的网络特征。
4.如权利要求3所述的基于自反馈学习的大规模恶意域名检测方法，其特征在于，所述域名的词法特征包括八维特征：域名长度，域名含有的特殊字符数，域名的香农熵值，域名含有的数字数，域名中数字与字母的转换频率，域名含有的分隔符数，域名是否存在IP地址，域名是否符合读音规则。
5.如权利要求3所述的基于自反馈学习的大规模恶意域名检测方法，其特征在于，所述域名的网络特征包括根据dig命令获取的域名解析相关信息，以及根据whois命令获取的域名注册相关信息。
6.如权利要求5所述的基于自反馈学习的大规模恶意域名检测方法，其特征在于，所述根据dig命令获取的域名相关信息包括六维特征：域名解析出的IP地址个数，解析记录中A记录的TTL平均值，解析过程中名称服务器NS记录的个数，NS记录的平均TTL值，解析过程中AR记录个数，AR记录TTL的平均值。
7.如权利要求5所述的基于自反馈学习的大规模恶意域名检测方法，其特征在于，所述根据whois命令获取的域名相关信息包括三维特征：域名的注册时间，域名的过期时间，域名对应IP地址的国家分布。
8.如权利要求2所述的基于自反馈学习的大规模恶意域名检测方法，其特征在于，所述基于自反馈学习的在线学习算法fSVM包括如下步骤：
步骤1：从客户端接受待检测的域名DNS日志，并按时间划分为若干时间片，记为时间片1至时间片n；
步骤2：根据系统初始的来自DomainBlackList网站的黑名单和来自alexa域名流量前1万名的白名单训练第一个支持向量机SVM检测模型，用于第一个时间片的检测；
步骤3：在前一个时间片检测过程中，计算每一个待检域名样本与所述支持向量机SVM检测模型分割超平面的距离dist(xi)，根据所述距离dist(xi)将样本分为两部分，距离较近的划为可疑小数据集S，进行二次标定，距离较远的根据机器学习的检测结果视为可信结果，标定的结果被存入本地数据库；
步骤4：在前一个时间片检测过程结束后，将所述可疑小数据集S中的正负样本标定结果添加到现有的所述黑名单和所述白名单中，重新训练所述支持向量机SVM检测模型；
步骤5：在下一个时间片的检测过程中，使用经过所述步骤4重新训练的所述支持向量机SVM检测模型对待测样本进行标定检测，重复所述步骤3的检测过程。
9.如权利要求8所述的基于自反馈学习的大规模恶意域名检测方法，其特征在于，所述可疑小数据集S的样本二次标定包括如下步骤：
步骤3-1：如果域名落在检测超平面正侧，则上传至virustotal进行检测，若返回结果为恶意，则标记为恶意域名；
步骤3-2：如果所述步骤3-1中virustotal返回结果不为恶意，即positives值不大于1，那么获取域名的baidu和google搜索结果，统计results的个数，results结果数多的判定为良性域名；
步骤3-3：如果所述搜索结果中包含恶意关键字，则判定为恶意域名；
步骤3-4：对于在所述步骤3-1、所述步骤3-2、所述步骤3-3中均未能确定标定的域名，存入人工标定数据库，在所述web端展示给专家进行人工标定。
10.如权利要求2所述的基于自反馈学习的大规模恶意域名检测方法，其特征在于，还包括IDS传感器接口获取了一个IDS检测结果后的处理过程，所述处理过程包括将采集IDS检测结果的节点记作节点A，所述节点A的IDS传感器接口获取一个IDS的检测结果，将所述检测结果中属于外部网络范围的IP地址保存为ipaddr，所述检测结果所含的数据规范化后保存为data；然后计算发布所述检测结果所用的DHT关键值：k＝hash(ipaddr)，通过DHT通信模块执行put(k,data)操作发布采集到的所述检测结果，所述检测结果被路由到节点B并保存在所述节点B的本地数据库中。
CN201810563861.9A 2018-06-04 2018-06-04 一种基于自反馈学习的大规模恶意域名检测系统及方法 Active CN108737439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810563861.9A CN108737439B (zh) 2018-06-04 2018-06-04 一种基于自反馈学习的大规模恶意域名检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810563861.9A CN108737439B (zh) 2018-06-04 2018-06-04 一种基于自反馈学习的大规模恶意域名检测系统及方法

Publications (2)

Publication Number Publication Date
CN108737439A true CN108737439A (zh) 2018-11-02
CN108737439B CN108737439B (zh) 2021-02-09

Family

ID=63931843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810563861.9A Active CN108737439B (zh) 2018-06-04 2018-06-04 一种基于自反馈学习的大规模恶意域名检测系统及方法

Country Status (1)

Country Link
CN (1) CN108737439B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302418A (zh) * 2018-11-15 2019-02-01 东信和平科技股份有限公司 一种基于深度学习的恶意域名检测方法及装置
CN110008705A (zh) * 2019-04-15 2019-07-12 北京微步在线科技有限公司 一种基于深度学习的恶意域名识别方法、装置及电子设备
CN110147839A (zh) * 2019-05-20 2019-08-20 哈尔滨英赛克信息技术有限公司 基于XGBoost的算法生成域名检测模型的方法
CN110535821A (zh) * 2019-05-17 2019-12-03 南京聚铭网络科技有限公司 一种基于dns多特征的失陷主机检测方法
CN110839042A (zh) * 2019-11-22 2020-02-25 上海交通大学 一种基于流量的自反馈恶意软件监测系统和方法
CN110912909A (zh) * 2019-11-29 2020-03-24 北京工业大学 一种针对dns服务器的ddos攻击检测方法
CN111131285A (zh) * 2019-12-30 2020-05-08 互联网域名系统北京市工程研究中心有限公司 一种针对随机域名攻击的主动防护方法
CN111294332A (zh) * 2020-01-13 2020-06-16 交通银行股份有限公司 一种流量异常检测与dns信道异常检测系统及方法
CN111935137A (zh) * 2020-08-08 2020-11-13 詹能勇 基于大数据和人工智能的通信信息处理方法及云计算平台
CN113556308A (zh) * 2020-04-23 2021-10-26 深信服科技股份有限公司 一种流量安全性检测方法、系统、设备及计算机存储介质
CN113660212A (zh) * 2021-07-26 2021-11-16 北京天融信网络安全技术有限公司 一种实时检测dns隧道流量的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790762A (zh) * 2012-06-18 2012-11-21 东南大学 基于url分类的钓鱼网站检测方法
CN105024969A (zh) * 2014-04-17 2015-11-04 北京启明星辰信息安全技术有限公司 一种实现恶意域名识别的方法及装置
CN105939340A (zh) * 2016-01-22 2016-09-14 北京匡恩网络科技有限责任公司 一种发现隐藏的蠕虫病毒的方法及系统
CN106060067A (zh) * 2016-06-29 2016-10-26 上海交通大学 基于Passive DNS迭代聚类的恶意域名检测方法
CN107046586A (zh) * 2017-04-14 2017-08-15 四川大学 一种基于类自然语言特征的算法生成域名检测方法
US20180152475A1 (en) * 2016-11-30 2018-05-31 Foundation Of Soongsil University-Industry Cooperation Ddos attack detection system based on svm-som combination and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790762A (zh) * 2012-06-18 2012-11-21 东南大学 基于url分类的钓鱼网站检测方法
CN105024969A (zh) * 2014-04-17 2015-11-04 北京启明星辰信息安全技术有限公司 一种实现恶意域名识别的方法及装置
CN105939340A (zh) * 2016-01-22 2016-09-14 北京匡恩网络科技有限责任公司 一种发现隐藏的蠕虫病毒的方法及系统
CN106060067A (zh) * 2016-06-29 2016-10-26 上海交通大学 基于Passive DNS迭代聚类的恶意域名检测方法
US20180152475A1 (en) * 2016-11-30 2018-05-31 Foundation Of Soongsil University-Industry Cooperation Ddos attack detection system based on svm-som combination and method thereof
CN107046586A (zh) * 2017-04-14 2017-08-15 四川大学 一种基于类自然语言特征的算法生成域名检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
蒋海军: "SDN网络流量分类技术研究综述", 《网络信息与安全》 *
韦烈: "基于DNS离线应答流量的恶意域名检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302418B (zh) * 2018-11-15 2021-11-12 东信和平科技股份有限公司 一种基于深度学习的恶意域名检测方法及装置
CN109302418A (zh) * 2018-11-15 2019-02-01 东信和平科技股份有限公司 一种基于深度学习的恶意域名检测方法及装置
CN110008705A (zh) * 2019-04-15 2019-07-12 北京微步在线科技有限公司 一种基于深度学习的恶意域名识别方法、装置及电子设备
CN110535821A (zh) * 2019-05-17 2019-12-03 南京聚铭网络科技有限公司 一种基于dns多特征的失陷主机检测方法
CN110147839A (zh) * 2019-05-20 2019-08-20 哈尔滨英赛克信息技术有限公司 基于XGBoost的算法生成域名检测模型的方法
CN110839042A (zh) * 2019-11-22 2020-02-25 上海交通大学 一种基于流量的自反馈恶意软件监测系统和方法
CN110912909A (zh) * 2019-11-29 2020-03-24 北京工业大学 一种针对dns服务器的ddos攻击检测方法
CN111131285A (zh) * 2019-12-30 2020-05-08 互联网域名系统北京市工程研究中心有限公司 一种针对随机域名攻击的主动防护方法
CN111131285B (zh) * 2019-12-30 2022-03-01 深圳网基科技有限公司 一种针对随机域名攻击的主动防护方法
CN111294332A (zh) * 2020-01-13 2020-06-16 交通银行股份有限公司 一种流量异常检测与dns信道异常检测系统及方法
CN113556308A (zh) * 2020-04-23 2021-10-26 深信服科技股份有限公司 一种流量安全性检测方法、系统、设备及计算机存储介质
CN111935137A (zh) * 2020-08-08 2020-11-13 詹能勇 基于大数据和人工智能的通信信息处理方法及云计算平台
CN111935137B (zh) * 2020-08-08 2021-04-30 吕梁市经开区信息化投资建设有限公司 基于大数据和人工智能的通信信息处理方法及云计算平台
CN112929385A (zh) * 2020-08-08 2021-06-08 詹能勇 基于大数据和通信服务的通信信息处理方法及云计算平台
CN112929385B (zh) * 2020-08-08 2022-07-01 广东亿润网络技术有限公司 基于大数据和通信服务的通信信息处理方法及云计算平台
CN113660212A (zh) * 2021-07-26 2021-11-16 北京天融信网络安全技术有限公司 一种实时检测dns隧道流量的方法及装置
CN113660212B (zh) * 2021-07-26 2022-11-29 北京天融信网络安全技术有限公司 一种实时检测dns隧道流量的方法及装置

Also Published As

Publication number Publication date
CN108737439B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN108737439A (zh) 一种基于自反馈学习的大规模恶意域名检测系统及方法
CN110233849B (zh) 网络安全态势分析的方法及系统
CN107483488B (zh) 一种恶意Http检测方法及系统
CN106713371B (zh) 一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法
CN107579956B (zh) 一种用户行为的检测方法和装置
CN110830490B (zh) 基于带对抗训练深度网络的恶意域名检测方法及系统
CN108449342A (zh) 恶意请求检测方法及装置
US20140101759A1 (en) Method and system for detecting malware
Niu et al. Identifying APT malware domain based on mobile DNS logging
Singh et al. Detecting bot-infected machines using DNS fingerprinting
CN110557382A (zh) 一种利用域名共现关系的恶意域名检测方法及系统
Krishnan et al. Crossing the threshold: Detecting network malfeasance via sequential hypothesis testing
CN110177123B (zh) 基于dns映射关联图的僵尸网络检测方法
Tong et al. A method for detecting DGA botnet based on semantic and cluster analysis
CN109450882A (zh) 一种融合人工智能与大数据的网上行为的安全管控系统及方法
CN115134099B (zh) 基于全流量的网络攻击行为分析方法及装置
CN107547490A (zh) 一种扫描器识别方法、装置及系统
CN112019651A (zh) 利用深度残差网络和字符级滑动窗口的dga域名检测方法
CN107046586A (zh) 一种基于类自然语言特征的算法生成域名检测方法
Tian et al. A lightweight residual networks framework for DDoS attack classification based on federated learning
CN109800364A (zh) 基于区块链的访问量统计方法、装置、设备和存储介质
CN112073550A (zh) 融合字符级滑动窗口和深度残差网络的dga域名检测方法
CN110351291A (zh) 基于多尺度卷积神经网络的DDoS攻击检测方法及装置
CN104636764A (zh) 一种图像隐写分析方法以及其装置
CN110445772B (zh) 一种基于主机关系的互联网主机扫描方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant