CN110913032A - 一种电网威胁情报实现dns域名请求分析方法及其平台 - Google Patents
一种电网威胁情报实现dns域名请求分析方法及其平台 Download PDFInfo
- Publication number
- CN110913032A CN110913032A CN201911126519.3A CN201911126519A CN110913032A CN 110913032 A CN110913032 A CN 110913032A CN 201911126519 A CN201911126519 A CN 201911126519A CN 110913032 A CN110913032 A CN 110913032A
- Authority
- CN
- China
- Prior art keywords
- user
- request
- dns
- log
- dns server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
- H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
- H04L63/0421—Anonymous communication, i.e. the party's identifiers are hidden from the other party or parties, e.g. using an anonymizer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
- H04L63/302—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Technology Law (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于大数据的电网威胁情报实现DNS域名请求分析方法及其平台，该方法利用大数据分析处理搜集到的威胁情报中的域名、URL、IP数据；利用爬虫脚本自动、定时进行威胁情报采集；通过数据挖掘及数据匹配从安全咨询类文章中筛选、提取出IoC信息并更新IoC的来源；对DNS域名请求日志进行记录、解析和分析；使用request.py脚本对数据库中存储的不同威胁情报源与DNS请求日志进行匹配分析、输出结果。本发明实现威胁情报的自动采集、提取与威胁情报信息标准化，通过实践证明其有效性较好，能够记录并使用访问恶意网址的域名请求日志进行有效的分析。
Description
技术领域
本发明涉及计算机应用技术领域，更具体地说，涉及一种基于大数据的电网威胁情报实现DNS域名请求分析方法及其平台。
背景技术
威胁情报是高级威胁对抗能力的基石，其重要性已经得到广大企业和业界的充分重视，大量的会议、论坛、报告、相关威胁情报产品和服务订阅等迅速涌现，相关研究开发活动非常活跃，令人鼓舞。但是，如何逐步建立并夯实威胁情报生态体系的基础，包括收集、分析、积累、分享、应用等各个环节，如何将将威胁情报在企业中进行实际应用，依然是个挑战。大数据作为重要的战略资源已经在全球范围内达成共识，根据GTM Research2015年的研究分析，到2020年全世界电力大数据管理系统市场将达到38亿美元的规模，从2012年开始，英国、法国、美国等国家相继启动了大数据发展规划。因此，当前国际信息安全管理的理念，是以情报为中心、大数据分析技术为手段、专家团队为支撑的数据驱动型动态信息安全防御思想。大数据环境下的威胁情报应运而生，并迅速成为信息安全领域研究的新热点。
智能电网在许多国家的电子电网改造计划中被采用，取代了传统的电力系统，与传统电网相比，智能电网在效率、可靠性、经济性和电力服务方面都有显著的改善。虽然智能电网给电网带来了一些好处，但它们的部署通常仅限于小区域例如在一个城市或一个省份里。智能电网大规模部署，例如在全国范围内，面临着许多的技术难点，其中非常重要的一点是信息收集、信息存储和信息处理。由于有大量的前端智能设备，现有条件下，管理从这些设备接收到的大量信息是一件很困难的事情，这些数据包括选择、部署、监控和分析智能电网的数据。更重要的是，在智能电网中通常需要实时处理这些信息，任何延误都可能造成严重后果。另外，《中国电力大数据发展白皮书》中指出，在电力生产环节，风光储等新能源的大量接入，打破了传统相对静态的电力生产，使得电力生产的计量和管理变得日趋复杂。其次，电能的不可储存性，使得电力工业面临极其复杂的安全形势。在电力经营环节，随着下一代电力系统的逐步演进，高度灵活的数据驱动的电力供应链将逐步取代传统的电力供应链。
智能电网主要涉及电网大数据的信息管理，通常涉及三个基本任务：信息收集、信息处理和信息存储。对于信息收集来说，由于智能电网从不同请求日志的异构设备收集信息，因此，其主要研究挑战是如何构建一个异构的通信体系，为了应对这一挑战，许多电力学者已经提出了若干颇有成效的解决方案。对于信息处理来说，挑战在于数据集成，因为信息来自不同的独立设备，它们可能采用不同的数据结构，近期有学者提出了一个数据标准化的解决方案，以解决数据互操作性的问题。然而，如何有效地处理接收到的大量数据仍然是一个巨大的挑战，现有的大数据处理技术主要以云计算为主。云计算是由可配置的计算机系统资源和更高级别的服务组成的共享池，通过互联网用最小的成本获得最大的算力，依靠资源共享来实现一致性和规模经济，使用云计算可以大幅度减少电力公司运营成本。国外一些电力企业基于云计算的智能电网分析工作已经完成，主要有两种思路分析智能电网和云计算的属性，讨论智能电网的用例与信息管理的详细要求，并研究云计算属性，证明云计算满足智能电网的需求，是智能电网中信息管理的不错选择。但这两种方式的不足之处在于只分析了云计算平台的可行性，没有给出具体设计以及安全解决方案。匿名算法是目前日志保护最常用的算法。DNS服务器将用户上传的精确请求日志用一个包含k个用户的匿名区域代替，LBS提供商根据这个区域返回一个查询结果集，再由DNS服务器根据用户的精确请求日志从中找出最优结果，返回给用户。匿名区域的大小决定了服务质量的高低和通信开销的大小。在保证请求日志不泄露的前提下，匿名区域越小越好。但现有技术生成的匿名区域较复杂，计算量大，实用性受限。
综上所述，现有技术存在的问题是：
现有技术中，电网威胁情报不能自动采集、提取与威胁情报信息标准化，有效性低，不能记录并使用访问恶意网址的域名请求日志进行有效的分析。
发明内容
(一)要解决的技术问题
为解决现有技术存在的问题，本发明提供一种电动汽车立体机械车库的充电停车管理装置及方法，解决现有技术不能有效利用威胁情报进行域名请求分析保障网络安全的问题。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
设计一种基于大数据的电网威胁情报实现DNS域名请求分析方法，该方法包括以下步骤：
步骤S01，利用大数据挖掘技术对公开威胁情报源进行搜集并及时更新，利用大数据分析处理搜集到的威胁情报中的域名、URL、IP数据；
步骤S02，利用爬虫脚本自动、定时进行威胁情报采集；
步骤S03，通过数据挖掘及数据匹配从安全咨询类文章中筛选、提取出IoC信息并更新IoC的来源；
步骤S04，利用日志抓取工具在受保护的两台DNS服务器上对DNS域名请求日志进行记录、解析和分析；
步骤S05，在数据库中分别设置表格存储不同的威胁情报源信息以及DNS请求日志；
步骤S06，使用request.py脚本对数据库中存储的不同威胁情报源与DNS请求日志进行匹配分析、输出结果。
在上述方案中，在所述步骤S01中，公开威胁情报源包括开源的黑名单和安全咨询类网站上的信息，其中，开源的黑名单包括FireHOL、sans.edu等，这些黑名单更新迅速、可信度高，容易处理；安全咨询类网站上的信息是主要处理特定主题下的IoC信息，这些信息具有针对性强的特点，即一个IP或域名可以对应到某一具体的事件。
在上述方案中，在所述步骤S02中，爬虫脚本包括编制方法和脚本运行，其中，编制方法采用Python技术中包括但不限于urllib、beautifulsoup以及mysqldb的python库编制；对于脚本运行，(1)通过抓包发现正在请求的JSON文件，获取基础页面中的文件链接；(2)使用多线程的方式将存有IP、域名的文件取回；(3)依据文件中的数据类别，分别将文件中的内容存入到数据库中的URL表、IP表、域名表，给不同的来源建立一个索引，存储在数据库中；
所述步骤S02包括以下具体步骤：
步骤S02-1，DNS服务器生成一个文件，存储电网网络中每条电网的中心点的坐标，中心坐标是一个二维坐标，即为中心点的横纵坐标，其中，每条电网是指在此区域上除了两端的路口外无其他路口的一段路；
步骤S02-2，计算路口概率转移矩阵，概率转移矩阵如下：
其中，M(v)表示电网网络中路口v的概率转移矩阵，下标1到n表示电网网络中含有相同的路口v的电网编号，pi,j表示处于电网网络中电网j的用户向电网i运动的概率，pi,j＝Ni,j/Nj，Ni,j表示从电网j向电网i运动的用户数，Nj表示在电网j上的用户数；
步骤S02-3，根据存储在DNS服务器中大量的历史数据，通过估计用户速度变化的均值和方差，拟合用户速度变化，其中，拟合用户速度变化的样本至少选取10000个，速度变化是指用户在相邻时刻速度的差值。
在上述方案中，在所述步骤S03中，提取IoC信息包括提取IoC数据的来源和提取IoC数据，其中，提取IoC数据的来源为badcyber.com，提取IoC数据包括恶意IP、恶意URL、恶意域名；利用数据匹配技术筛选安全咨询类文章中威胁情报类的事件咨询，提取出其中使用的IoC数据和IoC数据来源。
在上述方案中，在所述步骤S04中，日志抓取工具包括Linux操作系统日志抓取工具和Windows操作系统日志抓取工具，其中，Linux操作系统日志抓取工具是利用Python脚本及libpcap，Windows操作系统日志抓取工具是基于.Net的工具及WinPcap；
利用日志抓取工具在受保护的两台DNS服务器上对DNS域名请求日志进行记录、解析和分析中，该解析方法包括以下具体步骤：
步骤S04-1，用户给DNS服务器发送基于请求日志的服务请求，服务请求包括用户的身份、用户的地理坐标、发送请求的时刻、请求的内容以及用户的日志需求，日志需求是指用户对DNS服务器生成的匿名区域中用户个数的要求；
步骤S04-2，DNS服务器初始化；
步骤S04-3，DNS服务器接收用户请求，生成初始匿名区域，统计当前时刻初始匿名区域中所有请求用户的个数；
步骤S04-4，预测用户匿名成功的概率；
步骤S04-5，返回查询结果，DNS服务器将处理后的用户请求，发送给提供请求日志服务的服务器；DNS服务器从提供请求日志服务的服务器获取查询结果集合；DNS服务器根据用户的真实请求日志从查询结果集合中挑选出最适合用户的查询结果，并将结果返回给请求服务的用户。
在上述方案中，所述步骤S04-4包括以下具体步骤：
步骤S04-4-1，DNS服务器根据当前时刻收到的请求，计算所有在初始匿名区域中发送请求的用户个数，若所有请求用户的个数大于用户的日志需求，则初始匿名区域满足用户的日志需求，执行步骤S04-4-9；若所有请求用户的个数小于等于用户的日志需求，则初始匿名区域不满足用户的日志需求，执行步骤S04-4-2；
步骤S04-4-2，将初始匿名区域，按电网网络中电网相连通的情况扩张成为一个新区域，该新区域与初始匿名区域的差值等于最大速度值的两倍的区域都进行扩张，扩张成新区域的方法：以初始匿名区域的两端路口为起点，分别以最大速度值大小的距离向与其直接相连的电网进行扩张，所有满足上述条件的区域都进行扩张，电网网络中用户的最大速度等于电网网络中电网上的速度上限，在交通规则的约束下，用户的速度值不超过该上限值；
步骤S04-4-3，DNS服务器从大量的历史数据中查找当前时刻无请求，但前一时刻有请求，且位于新区域中的用户，将用户构成备选用户集，由于备选用户集中的用户在当前时刻无请求，DNS服务器无法判断这些用户当前时刻的请求日志，但备选用户在当前时刻位于初始匿名区域上；
步骤S04-4-4，DNS服务器读取初始匿名区域两端路口和后扩张电网中路口的转移矩阵，算出备选用户选择一条路径的概率值；
步骤S04-4-5，DNS服务器根据备选用户历史时刻的坐标记录，计算备选用户前一时刻的速度；根据坐标记录，DNS服务器算出用户运动的路程，用路程除以对应的时间得到用户的速度；
步骤S04-4-6，DNS服务器根据正态分布概率密度函数，计算每个备选用户进入并留在初始匿名区域上的概率；概率密度函数的均值和方差分别等于通过拟合得到的用户速度变化的均值和方差，对每一个备选用户，根据备选用户留在初始匿名区域上的路径和备选用户前一时刻的速度得到一个速度变化范围，每条路径都对应一个速度变化范围，表示备选用户在选择该条路径的前提下，当且仅当当前备选用户速度变化在该范围内，备选用户能进入初始匿名区域；
步骤S04-4-7，DNS服务器计算当前时刻初始匿名区域内，至少含有k-m个备选用户的概率值，若概率值大于0.9，则执行步骤S04-4-9，否则执行步骤S04-4-8，其中，k表示用户日志需求，m表示初始匿名区域中请求用户的个数；
步骤S04-4-8，DNS服务器根据初始匿名区域在电网网络中的请求日志，随机选择一条与初始匿名区域直接连通的电网加入初始匿名区域，构成新的匿名区域，DNS服务器将初始匿名区域更新为此新的匿名区域，返回步骤S04-4-1；
步骤S04-4-9，增加用户的日志需求，返回步骤S04-4-1。
在上述方案中，在所述步骤S04-4-8中，DNS服务器将初始匿名区域更新为新的匿名区域之后，DNS服务器将初始匿名区域等分为两段子区域，取用户所在子路作为新的匿名区域，并判断新的匿名区域是否满足用户的需求，若满足，则重复执行步骤S04-4-9直到新的匿名区域不能满足用户的需求；若不满足，则执行步骤S04-4-10；如果初始匿名区域没有满足用户日志需求，但扩张后新的匿名区域满足用户的日志要求，则将新加入的区域等分为两段，选取与上一区域相邻的一段电网，组成新的匿名区域，DNS服务器检查此区域是否满足用户的日志需求，如果满足，则继续执行初始匿名区域没有满足用户日志需求中的步骤S04-4-2；如果不满足，则DNS服务器将原初始匿名区域作为用户最终的匿名区域，DNS服务器将用户请求R转换为新的请求R'＝(u',c,r)，其中R'表示DNS服务器处理后的用户请求，u'和c分别表示DNS服务器为用户生成的假身份和匿名区域，r表示用户的请求内容。
在上述方案中，在所述步骤S05中，表格设置包括：在MySQL库中设计ip_table、url_table与domain_table表，用于存储不同的威胁情报信息；设计Tab_DNS_Sniffer表，用于存储DNS请求日志。
本发明还提供一种上述基于大数据的电网威胁情报实现DNS域名请求分析方法的平台。
(三)有益效果
本发明的有益效果是：
1、本发明实现电网威胁情报的自动采集、提取与威胁情报信息标准化，通过实践证明其有效性较好，能够记录并使用访问恶意网址的域名请求日志进行有效的分析。
2、本发明利用非活跃用户来进行匿名并且将原始的匿名区域简化为匿名区域，可以在保证电网信息安全需求的前提下生成更小的匿名区域，从而保证了服务质量，同时也减少了通信开销。
3、本发明的DNS在威胁情报中具有重要意义，从技术角度上，DNS解析是互联网绝大多数应用的实际寻址方式，域名技术的再发展以及基于域名技术的多种应用，丰富了互联网应用和协议；从资源角度上，域名是互联网上的身份标识，是不可重复的唯一标识资源，互联网的全球化使网站加速、安全服务商的域名成为标识的战略资源。
附图说明
图1为一种基于大数据的电网威胁情报实现DNS域名请求分析方法的流程示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
如图1所示，本发明提供一种基于大数据的电网威胁情报实现DNS域名请求分析方法，该方法包括以下步骤：
步骤S01，利用大数据挖掘技术对公开威胁情报源进行搜集并及时更新，利用大数据分析处理搜集到的威胁情报中的域名、URL、IP数据。在所述步骤S01中，公开威胁情报源包括开源的黑名单和安全咨询类网站上的信息，其中，开源的黑名单包括FireHOL、sans.edu等，这些黑名单更新迅速、可信度高，容易处理；安全咨询类网站上的信息是主要处理特定主题下的IoC信息，这些信息具有针对性强的特点，即一个IP或域名可以对应到某一具体的事件。
步骤S02，利用爬虫脚本自动、定时进行威胁情报采集。在所述步骤S02中，爬虫脚本包括编制方法和脚本运行，其中，编制方法采用Python技术中包括但不限于urllib、beautifulsoup以及mysqldb的python库编制；对于脚本运行，(1)通过抓包发现正在请求的JSON文件，获取基础页面中的文件链接；(2)使用多线程的方式将存有IP、域名的文件取回；(3)依据文件中的数据类别，分别将文件中的内容存入到数据库中的URL表、IP表、域名表，给不同的来源建立一个索引，存储在数据库中。另外，所述步骤S02包括以下具体步骤：
步骤S02-1，DNS服务器生成一个文件，存储电网网络中每条电网的中心点的坐标，中心坐标是一个二维坐标，即为中心点的横纵坐标，其中，每条电网是指在此区域上除了两端的路口外无其他路口的一段路。
步骤S02-2，计算路口概率转移矩阵，概率转移矩阵如下：
其中，M(v)表示电网网络中路口v的概率转移矩阵，下标1到n表示电网网络中含有相同的路口v的电网编号，pi,j表示处于电网网络中电网j的用户向电网i运动的概率，pi,j＝Ni,j/Nj，Ni,j表示从电网j向电网i运动的用户数，Nj表示在电网j上的用户数。
步骤S02-3，根据存储在DNS服务器中大量的历史数据，通过估计用户速度变化的均值和方差，拟合用户速度变化，其中，拟合用户速度变化的样本至少选取10000个，速度变化是指用户在相邻时刻速度的差值。
步骤S03，通过数据挖掘及数据匹配从安全咨询类文章中筛选、提取出IoC信息并更新IoC的来源。在所述步骤S03中，提取IoC信息包括提取IoC数据的来源和提取IoC数据，其中，提取IoC数据的来源为badcyber.com，提取IoC数据包括恶意IP、恶意URL、恶意域名；利用数据匹配技术筛选安全咨询类文章中威胁情报类的事件咨询，提取出其中使用的IoC数据和IoC数据来源。
步骤S04，利用日志抓取工具在受保护的两台DNS服务器上对DNS域名请求日志进行记录、解析和分析。在所述步骤S04中，日志抓取工具包括Linux操作系统日志抓取工具和Windows操作系统日志抓取工具，其中，Linux操作系统日志抓取工具是利用Python脚本及libpcap，Windows操作系统日志抓取工具是基于.Net的工具及WinPcap。利用日志抓取工具在受保护的两台DNS服务器上对DNS域名请求日志进行记录、解析和分析中，该解析方法包括以下具体步骤：
步骤S04-1，用户给DNS服务器发送基于请求日志的服务请求，服务请求包括用户的身份、用户的地理坐标、发送请求的时刻、请求的内容以及用户的日志需求，日志需求是指用户对DNS服务器生成的匿名区域中用户个数的要求。
步骤S04-2，DNS服务器初始化。
步骤S04-3，DNS服务器接收用户请求，生成初始匿名区域，统计当前时刻初始匿名区域中所有请求用户的个数。
步骤S04-4，预测用户匿名成功的概率，具体包括以下步骤：
步骤S04-4-1，DNS服务器根据当前时刻收到的请求，计算所有在初始匿名区域中发送请求的用户个数，若所有请求用户的个数大于用户的日志需求，则初始匿名区域满足用户的日志需求，执行步骤S04-4-9；若所有请求用户的个数小于等于用户的日志需求，则初始匿名区域不满足用户的日志需求，执行步骤S04-4-2。
步骤S04-4-2，将初始匿名区域，按电网网络中电网相连通的情况扩张成为一个新区域，该新区域与初始匿名区域的差值等于最大速度值的两倍的区域都进行扩张，扩张成新区域的方法：以初始匿名区域的两端路口为起点，分别以最大速度值大小的距离向与其直接相连的电网进行扩张，所有满足上述条件的区域都进行扩张，电网网络中用户的最大速度等于电网网络中电网上的速度上限，在交通规则的约束下，用户的速度值不超过该上限值。
步骤S04-4-3，DNS服务器从大量的历史数据中查找当前时刻无请求，但前一时刻有请求，且位于新区域中的用户，将用户构成备选用户集，由于备选用户集中的用户在当前时刻无请求，DNS服务器无法判断这些用户当前时刻的请求日志，但备选用户在当前时刻位于初始匿名区域上。
步骤S04-4-4，DNS服务器读取初始匿名区域两端路口和后扩张电网中路口的转移矩阵，算出备选用户选择一条路径的概率值。
步骤S04-4-5，DNS服务器根据备选用户历史时刻的坐标记录，计算备选用户前一时刻的速度；根据坐标记录，DNS服务器算出用户运动的路程，用路程除以对应的时间得到用户的速度。
步骤S04-4-6，DNS服务器根据正态分布概率密度函数，计算每个备选用户进入并留在初始匿名区域上的概率；概率密度函数的均值和方差分别等于通过拟合得到的用户速度变化的均值和方差，对每一个备选用户，根据备选用户留在初始匿名区域上的路径和备选用户前一时刻的速度得到一个速度变化范围，每条路径都对应一个速度变化范围，表示备选用户在选择该条路径的前提下，当且仅当当前备选用户速度变化在该范围内，备选用户能进入初始匿名区域。
步骤S04-4-7，DNS服务器计算当前时刻初始匿名区域内，至少含有k-m个备选用户的概率值，若概率值大于0.9，则执行步骤S04-4-9，否则执行步骤S04-4-8，其中，k表示用户日志需求，m表示初始匿名区域中请求用户的个数。
步骤S04-4-8，DNS服务器根据初始匿名区域在电网网络中的请求日志，随机选择一条与初始匿名区域直接连通的电网加入初始匿名区域，构成新的匿名区域，DNS服务器将初始匿名区域更新为此新的匿名区域，返回步骤S04-4-1。DNS服务器将初始匿名区域更新为新的匿名区域之后，DNS服务器将初始匿名区域等分为两段子区域，取用户所在子路作为新的匿名区域，并判断新的匿名区域是否满足用户的需求，若满足，则重复执行步骤S04-4-9直到新的匿名区域不能满足用户的需求；若不满足，则执行步骤S04-4-10；如果初始匿名区域没有满足用户日志需求，但扩张后新的匿名区域满足用户的日志要求，则将新加入的区域等分为两段，选取与上一区域相邻的一段电网，组成新的匿名区域，DNS服务器检查此区域是否满足用户的日志需求，如果满足，则继续执行初始匿名区域没有满足用户日志需求中的步骤S04-4-2；如果不满足，则DNS服务器将原初始匿名区域作为用户最终的匿名区域，DNS服务器将用户请求R转换为新的请求R'＝(u',c,r)，其中R'表示DNS服务器处理后的用户请求，u'和c分别表示DNS服务器为用户生成的假身份和匿名区域，r表示用户的请求内容。
步骤S04-4-9，增加用户的日志需求，返回步骤S04-4-1。
步骤S04-5，返回查询结果，DNS服务器将处理后的用户请求R'，发送给提供请求日志服务的服务器；DNS服务器从提供请求日志服务的服务器获取查询结果集合；DNS服务器根据用户的真实请求日志从查询结果集合中挑选出最适合用户的查询结果，并将结果返回给请求服务的用户。
步骤S05，在数据库中分别设置表格存储不同的威胁情报源信息以及DNS请求日志。表格设置包括：在MySQL库中设计ip_table、url_table与domain_table表，用于存储不同的威胁情报信息；设计Tab_DNS_Sniffer表，用于存储DNS请求日志。
步骤S06，使用request.py脚本对数据库中存储的不同威胁情报源与DNS请求日志进行匹配分析、输出结果。
本发明还提供一种上述基于大数据的电网威胁情报实现DNS域名请求分析方法的平台。
附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (9)
1.一种基于大数据的电网威胁情报实现DNS域名请求分析方法，其特征在于，该方法包括以下步骤：
步骤S01，利用大数据挖掘技术对公开威胁情报源进行搜集并及时更新，利用大数据分析处理搜集到的威胁情报中的域名、URL、IP数据；
步骤S02，利用爬虫脚本自动、定时进行威胁情报采集；
步骤S03，通过数据挖掘及数据匹配从安全咨询类文章中筛选、提取出IoC信息并更新IoC的来源；
步骤S04，利用日志抓取工具在受保护的两台DNS服务器上对DNS域名请求日志进行记录、解析和分析；
步骤S05，在数据库中分别设置表格存储不同的威胁情报源信息以及DNS请求日志；
步骤S06，使用request.py脚本对数据库中存储的不同威胁情报源与DNS请求日志进行匹配分析、输出结果。
2.如权利要求1所述的一种基于大数据的电网威胁情报实现DNS域名请求分析方法，其特征在于，在所述步骤S01中，公开威胁情报源包括开源的黑名单和安全咨询类网站上的信息。
3.如权利要求1所述的一种基于大数据的电网威胁情报实现DNS域名请求分析方法，其特征在于，在所述步骤S02中，爬虫脚本包括编制方法和脚本运行，其中，编制方法采用Python技术中包括但不限于urllib、beautifulsoup以及mysqldb的python库编制；对于脚本运行，(1)通过抓包发现正在请求的JSON文件，获取基础页面中的文件链接；(2)使用多线程的方式将存有IP、域名的文件取回；(3)依据文件中的数据类别，分别将文件中的内容存入到数据库中的URL表、IP表、域名表，给不同的来源建立一个索引，存储在数据库中；
所述步骤S02包括以下具体步骤：
步骤S02-1，DNS服务器生成一个文件，存储电网网络中每条电网的中心点的坐标，中心坐标是一个二维坐标，即为中心点的横纵坐标，其中，每条电网是指在此区域上除了两端的路口外无其他路口的一段路；
步骤S02-2，计算路口概率转移矩阵，概率转移矩阵如下：
其中，M(v)表示电网网络中路口v的概率转移矩阵，下标1到n表示电网网络中含有相同的路口v的电网编号，pi,j表示处于电网网络中电网j的用户向电网i运动的概率，pi,j＝Ni,j/Nj，Ni,j表示从电网j向电网i运动的用户数，Nj表示在电网j上的用户数；
步骤S02-3，根据存储在DNS服务器中大量的历史数据，通过估计用户速度变化的均值和方差，拟合用户速度变化，其中，拟合用户速度变化的样本至少选取10000个，速度变化是指用户在相邻时刻速度的差值。
4.如权利要求1所述的一种基于大数据的电网威胁情报实现DNS域名请求分析方法，其特征在于，在所述步骤S03中，提取IoC信息包括提取IoC数据的来源和提取IoC数据，其中，提取IoC数据的来源为badcyber.com，提取IoC数据包括恶意IP、恶意URL、恶意域名；利用数据匹配技术筛选安全咨询类文章中威胁情报类的事件咨询，提取出其中使用的IoC数据和IoC数据来源。
5.如权利要求1所述的一种基于大数据的电网威胁情报实现DNS域名请求分析方法，其特征在于，在所述步骤S04中，日志抓取工具包括Linux操作系统日志抓取工具和Windows操作系统日志抓取工具，其中，Linux操作系统日志抓取工具是利用Python脚本及libpcap，Windows操作系统日志抓取工具是基于.Net的工具及WinPcap；
利用日志抓取工具在受保护的两台DNS服务器上对DNS域名请求日志进行记录、解析和分析中，该解析方法包括以下具体步骤：
步骤S04-1，用户给DNS服务器发送基于请求日志的服务请求，服务请求包括用户的身份、用户的地理坐标、发送请求的时刻、请求的内容以及用户的日志需求，日志需求是指用户对DNS服务器生成的匿名区域中用户个数的要求；
步骤S04-2，DNS服务器初始化；
步骤S04-3，DNS服务器接收用户请求，生成初始匿名区域，统计当前时刻初始匿名区域中所有请求用户的个数；
步骤S04-4，预测用户匿名成功的概率；
步骤S04-5，返回查询结果，DNS服务器将处理后的用户请求R'，发送给提供请求日志服务的服务器；DNS服务器从提供请求日志服务的服务器获取查询结果集合；DNS服务器根据用户的真实请求日志从查询结果集合中挑选出最适合用户的查询结果，并将结果返回给请求服务的用户。
6.如权利要求5所述的一种基于大数据的电网威胁情报实现DNS域名请求分析方法，其特征在于，所述步骤S04-4包括以下具体步骤：
步骤S04-4-1，DNS服务器根据当前时刻收到的请求，计算所有在初始匿名区域中发送请求的用户个数，若所有请求用户的个数大于用户的日志需求，则初始匿名区域满足用户的日志需求，执行步骤S04-4-9；若所有请求用户的个数小于等于用户的日志需求，则初始匿名区域不满足用户的日志需求，执行步骤S04-4-2；
步骤S04-4-2，将初始匿名区域，按电网网络中电网相连通的情况扩张成为一个新区域，该新区域与初始匿名区域的差值等于最大速度值的两倍的区域都进行扩张，扩张成新区域的方法：以初始匿名区域的两端路口为起点，分别以最大速度值大小的距离向与其直接相连的电网进行扩张，所有满足上述条件的区域都进行扩张，电网网络中用户的最大速度等于电网网络中电网上的速度上限，在交通规则的约束下，用户的速度值不超过该上限值；
步骤S04-4-3，DNS服务器从大量的历史数据中查找当前时刻无请求，但前一时刻有请求，且位于新区域中的用户，将用户构成备选用户集，由于备选用户集中的用户在当前时刻无请求，DNS服务器无法判断这些用户当前时刻的请求日志，但备选用户在当前时刻位于初始匿名区域上；
步骤S04-4-4，DNS服务器读取初始匿名区域两端路口和后扩张电网中路口的转移矩阵，算出备选用户选择一条路径的概率值；
步骤S04-4-5，DNS服务器根据备选用户历史时刻的坐标记录，计算备选用户前一时刻的速度；根据坐标记录，DNS服务器算出用户运动的路程，用路程除以对应的时间得到用户的速度；
步骤S04-4-6，DNS服务器根据正态分布概率密度函数，计算每个备选用户进入并留在初始匿名区域上的概率；概率密度函数的均值和方差分别等于通过拟合得到的用户速度变化的均值和方差，对每一个备选用户，根据备选用户留在初始匿名区域上的路径和备选用户前一时刻的速度得到一个速度变化范围，每条路径都对应一个速度变化范围，表示备选用户在选择该条路径的前提下，当且仅当当前备选用户速度变化在该范围内，备选用户能进入初始匿名区域；
步骤S04-4-7，DNS服务器计算当前时刻初始匿名区域内，至少含有k-m个备选用户的概率值，若概率值大于0.9，则执行步骤S04-4-9，否则执行步骤S04-4-8，其中，k表示用户日志需求，m表示初始匿名区域中请求用户的个数；
步骤S04-4-8，DNS服务器根据初始匿名区域在电网网络中的请求日志，随机选择一条与初始匿名区域直接连通的电网加入初始匿名区域，构成新的匿名区域，DNS服务器将初始匿名区域更新为新的匿名区域，返回步骤S04-4-1；
步骤S04-4-9，增加用户的日志需求，返回步骤S04-4-1。
7.如权利要求6所述的一种基于大数据的电网威胁情报实现DNS域名请求分析方法，其特征在于，在所述步骤S04-4-8中，DNS服务器将初始匿名区域更新为新的匿名区域之后，DNS服务器将初始匿名区域等分为两段子区域，取用户所在子路作为新的匿名区域，并判断新的匿名区域是否满足用户的需求，若满足，则重复执行步骤S04-4-9直到新的匿名区域不能满足用户的需求；若不满足，则执行步骤S04-4-10；如果初始匿名区域没有满足用户日志需求，但扩张后新的匿名区域满足用户的日志要求，则将新加入的区域等分为两段，选取与上一区域相邻的一段电网，组成新的匿名区域，DNS服务器检查此区域是否满足用户的日志需求，如果满足，则继续执行初始匿名区域没有满足用户日志需求中的步骤S04-4-2；如果不满足，则DNS服务器将原初始匿名区域作为用户最终的匿名区域，DNS服务器将用户请求R转换为新的请求R'＝(u',c,r)，其中R'表示DNS服务器处理后的用户请求，u'和c分别表示DNS服务器为用户生成的假身份和匿名区域，r表示用户的请求内容。
8.如权利要求1所述的一种基于大数据的电网威胁情报实现DNS域名请求分析方法，其特征在于，在所述步骤S05中，表格设置包括：在MySQL库中设计ip_table、url_table与domain_table表，用于存储不同的威胁情报信息；设计Tab_DNS_Sniffer表，用于存储DNS请求日志。
9.一种实施权利要求1-7任一项所述基于大数据的电网威胁情报实现DNS域名请求分析方法的平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911126519.3A CN110913032A (zh) | 2019-11-18 | 2019-11-18 | 一种电网威胁情报实现dns域名请求分析方法及其平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911126519.3A CN110913032A (zh) | 2019-11-18 | 2019-11-18 | 一种电网威胁情报实现dns域名请求分析方法及其平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110913032A true CN110913032A (zh) | 2020-03-24 |
Family
ID=69817851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911126519.3A Pending CN110913032A (zh) | 2019-11-18 | 2019-11-18 | 一种电网威胁情报实现dns域名请求分析方法及其平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110913032A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110868381A (zh) * | 2018-12-19 | 2020-03-06 | 北京安天网络安全技术有限公司 | 基于dns解析结果触发的流量数据收集方法、装置及电子设备 |
| CN112165451A (zh) * | 2020-08-31 | 2021-01-01 | 新浪网技术(中国)有限公司 | Apt攻击分析方法、系统及服务器 |
| CN113568937A (zh) * | 2021-08-03 | 2021-10-29 | 贵州电网有限责任公司 | 一种基于vee流程的电量拟合方法 |
| CN113810395A (zh) * | 2021-09-06 | 2021-12-17 | 安天科技集团股份有限公司 | 一种威胁情报的检测方法、装置及电子设备 |
| CN114050943A (zh) * | 2022-01-13 | 2022-02-15 | 北京安博通科技股份有限公司 | 一种基于dns代理方式的威胁情报匹配方法与系统 |
| CN115514529A (zh) * | 2022-08-22 | 2022-12-23 | 智网安云(武汉)信息技术有限公司 | 一种威胁情报数据处理方法、设备及存储设备 |
| CN116866054A (zh) * | 2023-07-25 | 2023-10-10 | 安徽百方云科技有限公司 | 公共信息安全监测系统及其方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104780173A (zh) * | 2015-04-16 | 2015-07-15 | 西安电子科技大学 | 一种道路网络中位置隐私保护的匿名路段选择系统及方法 |
| CN107196910A (zh) * | 2017-04-18 | 2017-09-22 | 国网山东省电力公司电力科学研究院 | 基于大数据分析的威胁预警监测系统、方法及部署架构 |
-
2019
- 2019-11-18 CN CN201911126519.3A patent/CN110913032A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104780173A (zh) * | 2015-04-16 | 2015-07-15 | 西安电子科技大学 | 一种道路网络中位置隐私保护的匿名路段选择系统及方法 |
| CN107196910A (zh) * | 2017-04-18 | 2017-09-22 | 国网山东省电力公司电力科学研究院 | 基于大数据分析的威胁预警监测系统、方法及部署架构 |
Non-Patent Citations (1)
| Title |
|---|
| 李骏韬: "基于DNS流量和威胁情报的APT检测研究", 《中国优秀硕士学位论文全文数据库•信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110868381A (zh) * | 2018-12-19 | 2020-03-06 | 北京安天网络安全技术有限公司 | 基于dns解析结果触发的流量数据收集方法、装置及电子设备 |
| CN110868381B (zh) * | 2018-12-19 | 2022-04-19 | 北京安天网络安全技术有限公司 | 基于dns解析结果触发的流量数据收集方法、装置及电子设备 |
| CN112165451A (zh) * | 2020-08-31 | 2021-01-01 | 新浪网技术(中国)有限公司 | Apt攻击分析方法、系统及服务器 |
| CN113568937A (zh) * | 2021-08-03 | 2021-10-29 | 贵州电网有限责任公司 | 一种基于vee流程的电量拟合方法 |
| CN113810395A (zh) * | 2021-09-06 | 2021-12-17 | 安天科技集团股份有限公司 | 一种威胁情报的检测方法、装置及电子设备 |
| CN113810395B (zh) * | 2021-09-06 | 2023-06-16 | 安天科技集团股份有限公司 | 一种威胁情报的检测方法、装置及电子设备 |
| CN114050943A (zh) * | 2022-01-13 | 2022-02-15 | 北京安博通科技股份有限公司 | 一种基于dns代理方式的威胁情报匹配方法与系统 |
| CN115514529A (zh) * | 2022-08-22 | 2022-12-23 | 智网安云(武汉)信息技术有限公司 | 一种威胁情报数据处理方法、设备及存储设备 |
| CN115514529B (zh) * | 2022-08-22 | 2023-09-22 | 智网安云(武汉)信息技术有限公司 | 一种威胁情报数据处理方法、设备及存储设备 |
| CN116866054A (zh) * | 2023-07-25 | 2023-10-10 | 安徽百方云科技有限公司 | 公共信息安全监测系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110913032A (zh) | 一种电网威胁情报实现dns域名请求分析方法及其平台 | |
| US11392733B2 (en) | Multi-dimensional event model generation | |
| CN105608155A (zh) | 海量数据分布式存储系统 | |
| CN112332981B (zh) | 一种数据处理的方法和装置 | |
| CN105574698A (zh) | 基于大数据下的智能仓储管理系统 | |
| CN102968494A (zh) | 通过微博采集交通信息的系统及方法 | |
| US20170214716A1 (en) | Violation information management module forming violation information intelligence analysis system | |
| CN109583467B (zh) | 一种电力气象数据融合方法和系统 | |
| CN113626648A (zh) | 一种水利数据处理系统、方法和存储介质 | |
| CN112651872A (zh) | 一种基于数据中台的社区综合治理的系统和方法 | |
| CN112383435B (zh) | 一种故障处理的方法和装置 | |
| Utomo et al. | Federated trustworthy AI architecture for smart cities | |
| Li et al. | Optimization of planning layout of urban building based on improved logit and PSO algorithms | |
| CN112258373B (zh) | 一种数据处理的方法和装置 | |
| CN114356502B (zh) | 基于边缘计算技术的非结构化数据标记、训练和发布系统及方法 | |
| CN112333199B (zh) | 一种数据处理的方法和装置 | |
| CN115767601A (zh) | 一种基于多维数据的5gc网元自动化纳管方法及装置 | |
| CN113076308B (zh) | 一种时空大数据服务系统 | |
| CN103458032A (zh) | 一种空间数据访问规律动态统计及信息压缩的方法及系统 | |
| Shalini et al. | Fog computing for smart cities | |
| CN114765599A (zh) | 子域名采集方法、装置 | |
| CN113689175A (zh) | 基于跨平台架构的地理信息公共服务平台及其构建方法 | |
| Jiang et al. | The messaging model design based blockchain and edge computing for the internet of things | |
| Ouyang et al. | Education Evaluation Management Based on Blockchain Technology | |
| KR102649649B1 (ko) | 이기종방화벽 정책최적화장치, 이를 포함하는 시스템, 및 이를 이용한 이기종방화벽 정책최적화방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200324 |