CN115277077A - 一种确定处于通信频繁模式的受控设备的方法及系统 - Google Patents

一种确定处于通信频繁模式的受控设备的方法及系统 Download PDF

Info

Publication number
CN115277077A
CN115277077A CN202210714825.4A CN202210714825A CN115277077A CN 115277077 A CN115277077 A CN 115277077A CN 202210714825 A CN202210714825 A CN 202210714825A CN 115277077 A CN115277077 A CN 115277077A
Authority
CN
China
Prior art keywords
source
domain name
list
records
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210714825.4A
Other languages
English (en)
Inventor
周亮
朱亚运
蔺子卿
罗熙
缪思薇
殷丽华
张晓娟
曹靖怡
姜琳
王彬彬
张蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Guangzhou University
State Grid Shanghai Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Guangzhou University
State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, Guangzhou University, State Grid Shanghai Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202210714825.4A priority Critical patent/CN115277077A/zh
Publication of CN115277077A publication Critical patent/CN115277077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种确定处于通信频繁模式的受控设备的方法及系统，包括：获取被测设备的域名解析日志；基于所述时间戳对所述域名解析日志进行聚合，以构建源I P‑域名集；基于所述源I P‑域名集进行频繁模式挖掘，获取源I P列表汇总集，并基于所述源I P列表汇总集确定第一设备集；对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备。本发明将受控设备通信的频繁模式作为基本特征，采用频繁模式挖掘算法，并利用前缀树作为索引进行处于通信频繁模式的受控设备的检测，可以显著降低受控设备检测的时间复杂度，可采用并行框架实现，进一步提高其在大规模物联网环境下的可扩展性。

Description

一种确定处于通信频繁模式的受控设备的方法及系统
技术领域
本发明涉及物联网安全技术领域，并且更具体地，涉及一种确定处于通信频繁模式的受控设备的方法及系统。
背景技术
受控设备是由攻击者远程控制的机器，攻击者可以通过C&C(命令和控制)通道命令受控设备协同发动大规模攻击，例如分布式拒绝服务攻击(DDoS)、大规模垃圾邮件和恶意软件分发。由于物联网设备数量多且安全性弱，物联网受控设备带来的破坏性较传统攻击更大。
DNS(域名系统)是受控设备定位服务器地址的重要媒介。因此目前有许多基于分析DNS流量的检测技术，如分析DGAs(Domain Generation Algorithm)生成的随机域名的词法属性、不存在域名(简称NXDomain)、流量模式(如周期性和响应比)等，并在受控设备连接C&C服务器时度量它们之间的相似性。然而，从本质上讲，无论是NXDomain还是周期性的时间模式都不是受控设备连接C&C服务器时所必需的。具体来说，一方面，受控设备可以生成非随机域名。另一方面，攻击者可以通过调整C&C通信间隔来避免周期性行为。因此，上述检测方法在面对未知的控制通信方式时是具有应用局限性的，尤其是随着物联网设备的急剧扩展、数据量的迅速增加，上述方法在大规模物联网中部署时将受到严重阻碍。
发明内容
本发明提出一种确定处于通信频繁模式的受控设备的方法及系统，以解决如何高效地确定处于通信频繁模式的受控设备的问题。
为了解决上述问题，根据本发明的一个方面，提供了一种确定处于通信频繁模式的受控设备的方法，所述方法包括：
获取被测设备的域名解析日志；其中，所述域名解析日志中每条记录中的信息包括：时间戳、域名和源IP；
基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集；
基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集；
对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备。
优选地，其中所述方法还包括：
对所述域名解析日志进行无效记录清理处理、有效字段提取和白名单过滤处理。
优选地，其中所述基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集，包括：
对于所述域名解析日志中的任一条解析记录，根据该任一条解析记录中的时间戳隶属的时间窗口，将该任一条解析记录中的时间戳映射为唯一的时间段ID；
根据域名和时间段ID进行源IP的聚合，以获取源IP-域名集；其中所述源IP-域名集中的每条聚合记录的结构为：<<域名、时间段ID>、源IP列表>。
优选地，其中所述方法还包括：
确定每条聚合记录中源IP列表的长度，并剔除源IP列表的长度小于等于预设长度阈值的聚合记录。
优选地，其中所述基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集，包括：
按照源IP出现的次数对所述源IP-域名集中聚合记录进行降序排列，以获取聚合记录序列；
对于所述聚合记录序列中的任一条聚合记录，按照该任一条聚合记录中源IP列表中源IP的顺序进行映射，获取该任一条聚合记录对应的映射记录；
基于所述映射记录中的源IP列表对所有的映射记录进行汇总，获取汇总记录；
筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集；
对于所述IP列表汇总集中的任一个汇总记录，根据该任一个汇总记录中的源IP列表确定第一设备集。
优选地，其中所述方法还包括：
在筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集在前，对于所述汇总记录中的任一域名，若访问该任一域名的受控设备的数量大于等于被测设备和预设百分比的乘积，则将该任一域名在所述汇总记录中剔除。
优选地，其中所述对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备，包括：
当仅存在一个第一设备集时，将所述第一设备集作为第二设备集；当存在至少两个第二设备集时，通过计算任意两个第一设备集的Jaccard距离来决定是否合并，若Jaccard距离大于预设距离阈值，则进行两个第一设备集，重复执行，直到不存在可以合并的设备集时，确定剩余的设备集为第二设备集；
筛选出第二设备集中元素的数量大于等于第二预设数量的第二设备集作为目标设备集，并根据所述目标设备集中的源IP确定处于通信频繁模式的受控设备。
根据本发明的另一个方面，提供了一种确定处于通信频繁模式的受控设备的系统，所述系统包括：
日志获取单元，用于获取被测设备的域名解析日志；其中，所述域名解析日志中每条记录中的信息包括：时间戳、域名和源IP；
聚合单元，用于基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集；
设备集获取单元，用于基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集；
受控设备确定单元，用于对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备。
优选地，其中所述系统还包括：
预处理单元，用于对所述域名解析日志进行无效记录清理处理、有效字段提取和白名单过滤处理。
优选地，其中所述聚合单元，基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集，包括：
对于所述域名解析日志中的任一条解析记录，根据该任一条解析记录中的时间戳隶属的时间窗口，将该任一条解析记录中的时间戳映射为唯一的时间段ID；
根据域名和时间段ID进行源IP的聚合，以获取源IP-域名集；其中所述源IP-域名集中的每条聚合记录的结构为：<<域名、时间段ID>、源IP列表>。
优选地，其中所述聚合单元，还用于：
确定每条聚合记录中源IP列表的长度，并剔除源IP列表的长度小于等于预设长度阈值的聚合记录。
优选地，其中所述设备集获取单元，基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集，包括：
按照源IP出现的次数对所述源IP-域名集中聚合记录进行降序排列，以获取聚合记录序列；
对于所述聚合记录序列中的任一条聚合记录，按照该任一条聚合记录中源IP列表中源IP的顺序进行映射，获取该任一条聚合记录对应的映射记录；
基于所述映射记录中的源IP列表对所有的映射记录进行汇总，获取汇总记录；
筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集；
对于所述IP列表汇总集中的任一个汇总记录，根据该任一个汇总记录中的源IP列表确定第一设备集。
优选地，其中所述设备集获取单元，还用于：
在筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集在前，对于所述汇总记录中的任一域名，若访问该任一域名的受控设备的数量大于等于被测设备和预设百分比的乘积，则将该任一域名在所述汇总记录中剔除。
优选地，其中所述受控设备确定单元，对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备，包括：
当仅存在一个第一设备集时，将所述第一设备集作为第二设备集；当存在至少两个第二设备集时，通过计算任意两个第一设备集的Jaccard距离来决定是否合并，若Jaccard距离大于预设距离阈值，则进行两个第一设备集，重复执行，直到不存在可以合并的设备集时，确定剩余的设备集为第二设备集；
筛选出第二设备集中元素的数量大于等于第二预设数量的第二设备集作为目标设备集，并根据所述目标设备集中的源IP确定处于通信频繁模式的受控设备。
基于本发明的另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种确定处于通信频繁模式的受控设备的方法中任一项的步骤。
基于本发明的另一方面，本发明提供一种电子设备，包括：
上述的计算机可读存储介质；以及
一个或多个处理器，用于执行所述计算机可读存储介质中的程序。
本发明提供了一种确定处于通信频繁模式的受控设备的方法及系统，包括：获取被测设备的域名解析日志；其中，所述域名解析日志中每条记录中的信息包括：时间戳、域名和源IP；基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集；基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集；对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备。本发明将受控设备通信的频繁模式作为基本特征，采用频繁模式挖掘算法，并利用前缀树作为索引进行处于通信频繁模式的受控设备的检测，只需扫描两次数据集即可，可以显著降低受控设备检测的时间复杂度，本发明的方法可采用并行框架实现，可进一步提高其在大规模物联网环境下的可扩展性。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的确定处于通信频繁模式的受控设备的方法100的流程图；
图2为根据本发明实施方式构建源IP-域名集的示意图；
图3为根据本发明实施方式的频繁模式挖掘的示意图；
图4为根据本发明实施方式的确定处于通信频繁模式的受控设备的系统400的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
攻击者控制受控设备协同发动大规模攻击，其本质是一个大型的、分布式的、远程控制的系统。因此，无论攻击者如何努力地隐藏他们的行为，也始终有一些受控设备必须合作进行攻击。即使受控设备通过一个随机时间窗口，非周期性地请求接收同一组非随机的命令，然后同步发动攻击。但是，如果这些受控设备重复合作动作，例如接收多个攻击命令，它们将在多个域名或服务器之间呈现频繁的请求关系模式。这一特性对于物联网设备来说将更加显著，因为它们比传统设备的规模更大。基于上述特征，本发明提出了一种面向物联网环境的受控设备检测方法，通过搜索域名查询的频繁模式来实现受控设备检测。
图1为根据本发明实施方式的确定处于通信频繁模式的受控设备的方法100的流程图。如图1所示，本发明实施方式提供的确定处于通信频繁模式的受控设备的方法，将受控设备通信的频繁模式作为基本特征，采用频繁模式挖掘算法，并利用前缀树作为索引进行处于通信频繁模式的受控设备的检测，只需扫描两次数据集即可，可以显著降低受控设备检测的时间复杂度，本发明的方法可采用并行框架实现，可进一步提高其在大规模物联网环境下的可扩展性。本发明实施方式提供的确定处于通信频繁模式的受控设备的方法100，从步骤101处开始，在步骤101获取被测设备的域名解析日志；其中，所述域名解析日志中每条记录中的信息包括：时间戳、域名和源IP。
优选地，其中所述方法还包括：
对所述域名解析日志进行无效记录清理处理、有效字段提取和白名单过滤处理。
在本发明中，获取被测的受控设备的域名解析日志，其中，每条记录中的信息包括：时间戳、域名和源IP。在获取被测设备的域名解析日志后，还需要对域名解析日志中的记录进行预处理，以进行数据清理。
具体地，预处理，包括：无效记录清理、有效字段提取和白名单过滤三步子步骤。其中，过滤掉无效记录，是对错误的域名格式记录和损坏的记录进行过滤。有效字段提取，是指对于每条记录，提取三个有效字段:时间戳、域名和源IP。白名单过滤，是指利用白名单删除可能干扰检测的流行域名的记录。白名单由两部分组成，一是来自Alexa的前100万个域名，二是与互联网流行服务相关的域名，例如CDN服务域名。
在步骤102，基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集。
优选地，其中所述基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集，包括：
对于所述域名解析日志中的任一条解析记录，根据该任一条解析记录中的时间戳隶属的时间窗口，将该任一条解析记录中的时间戳映射为唯一的时间段ID；
根据域名和时间段ID进行源IP的聚合，以获取源IP-域名集；其中所述源IP-域名集中的每条聚合记录的结构为：<<域名、时间段ID>、源IP列表>。
优选地，其中所述方法还包括：
确定每条聚合记录中源IP列表的长度，并剔除源IP列表的长度小于等于预设长度阈值的聚合记录。
在本发明中，为了提取在一段时间内查询同一组域名的设备，利用域名作为关键词来聚合在一段时间内查询同一域名的设备，然后构造源IP-域名集，具体步骤如下：
对于域名解析日志中的任一条记录，根据时间戳隶属的时间窗口，将时间戳映射为唯一的时间段ID。其中，时间段的长短根据具体网络环境确定。
根据域名和时间段ID聚合源IP，形成结构为<<域名、时间段ID>、源IP列表>的DWTI(domain with timeID)记录，以获取源IP-域名集。
另外，在本发明中，还可以移除源IP列表长度小于预设长度阈值TIPs的记录。TIPs的建议取值为5。
通过以上步骤，即可得到源IP-域名集，每条聚合记录表示在一个时间窗口内至少存在TIPs台设备查询相同的域名。
例如，对于获取的被测设备的域名解析日志进行预处理后，保留了域名A.com、B.com以及C.com。在构建源IP-域名集阶段，如图2所示，设备源IP1、源IP2、源IP3在时间段T1查询域名A.com，设备源IP1、源IP2、源IP3、源IP5在时间段T1查询域名B.com，设备源IP1、源IP3、源IP4在时间段T2查询A.com，设备源IP1、源IP2、源IP3、源IP4在时间段T3查询域名C.com，设备源IP5在时间段T4查询域名C.com。根据域名和时间段ID聚合源IP如下：
<<A.com,T1>[源IP1,源IP2,源IP3]>
<<B.com,T1>[源IP1,源IP2,源IP3,源IP5]>
<<A.com,T2>[源IP1,源IP3,源IP4]>
<<C.com,T3>[源IP1,源IP2,源IP3,源IP4]>
<<C.com,T4>[源IP5]>。
为便于描述和理解，本实施例中列举的设备数量较少，因此将TIPs取值为2，移除源IP列表长度小于TIPs的记录得到结果如下。
<<A.com,T1>[源IP1,源IP2,源IP3]>
<<B.com,T1>[源IP1,源IP2,源IP3,源IP5]>
<<A.com,T2>[源IP1,源IP3,源IP4]>
<<C.com,T3>[源IP1,源IP2,源IP3,源IP4]>。
在步骤103，基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集。
优选地，其中所述基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集，包括：
按照源IP出现的次数对所述源IP-域名集中聚合记录进行降序排列，以获取聚合记录序列；
对于所述聚合记录序列中的任一条聚合记录，按照该任一条聚合记录中源IP列表中源IP的顺序进行映射，获取该任一条聚合记录对应的映射记录；
基于所述映射记录中的源IP列表对所有的映射记录进行汇总，获取汇总记录；
筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集；
对于所述IP列表汇总集中的任一个汇总记录，根据该任一个汇总记录中的源IP列表确定第一设备集。
优选地，其中所述方法还包括：
在筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集在前，对于所述汇总记录中的任一域名，若访问该任一域名的受控设备的数量大于等于被测设备和预设百分比的乘积，则将该任一域名在所述汇总记录中剔除。
在本发明中，在频繁模式挖掘时，构造一个FP树，并维护每个节点的DWTI列表。在FP树中，从根到树中节点的每一条路径都是一个频繁模式。对于出现在不同路径上的节点，递归地构造它的子FP树。
具体地，频繁模式挖掘并确定设备集的实现步骤如下：
a)根据每条聚合记录中源IP列表中的源IP出现的次数对所有的聚合记录进行降序排列，获取聚合记录序列；
b)依次对聚合记录序列中的每条聚合记录进行分析，对于任一条源IP列表长度为n的一条记录，将其映射到n条从0开始的不同源IP子列表的记录，并根据源IP列表汇总所有记录；其中，对于一些大规模数据，由于n太大可能会导致内存溢出。因此，可以映射一部分源IP列表，先聚合它们，然后再映射其余的；
c)提取源IP列表中源IP的数目和<域名、时间段ID>列表的长度均大于等于第一预设数量TIPs的记录进行保留，从而获取源IP列表汇总集；
d)根据源IP列表汇总集得到第一设备集。具体地，对于所述IP列表汇总集中的任一个汇总记录，根据该任一个汇总记录中的源IP列表确定第一设备集。
需要注意的是，本发明的目标是检测受控设备，而不是找到所有频繁的模式。考虑到DNS日志记录数量巨大，受控设备会多次出现在不同的频繁模式，一些缺失的频繁模式是可以接受的。
另外，在得到的频繁模式中可能存在一些流行但没有被过滤掉的域名。这些域名大多是与移动终端相关的域名或广告域名。直观地说，一个被越多设备访问的域名越有可能是良性的。因此，在本发明中还可以通过计算被测设备的总数N和预设百分比Tpercent的乘积过滤掉这些流行的域名。具体地，删除访问域名的受控设备的数量大于等于被测设备的总数N和预设百分比Tpercent的乘积的域名。
继续以上述例子为例，进行频繁模式挖掘，获取设备集的过程如图3所示。
首先，按照源IP出现的次数降序排列如下：
<<A.com,T1>[源IP1,源IP3,源IP2]>
<<B.com,T1>[源IP1,源IP3,源IP2,源IP5]>
<<A.com,T2>[源IP1,源IP3,源IP4]>
<<C.com,T3>[源IP1,源IP3,源IP2,源IP4]>。
然后，对于已排序的源IP列表长度为n的一条记录，将其映射到n条从0开始的不同源IP子列表的记录，并根据源IP列表汇总所有记录。
例如，记录<<A.com,T1>[源IP1,源IP3,源IP2]>的源IP列表长度n＝3，则将其映射为3条源IP子列表记录如下：
<[源IP1],<A.com,T1>>
<[源IP1,源IP3],<A.com,T1>>
<[源IP1,源IP3,源IP2],<A.com,T1>>。
类似地，将上述实施例中所有的4条记录全部映射如下：
<[源IP1],<A.com,T1>>
<[源IP1,源IP3],<A.com,T1>>
<[源IP1,源IP3,源IP2],<A.com,T1>>
<[源IP1],<B.com,T1>>
<[源IP1,源IP3],<B.com,T1>>
<[源IP1,源IP3,源IP2],<B.com,T1>>
<[源IP1,源IP3,源IP2,源IP5],<B.com,T1>>
<[源IP1],<A.com,T2>>
<[源IP1,源IP3],<A.com,T2>>
<[源IP1,源IP3,源IP4],<A.com,T2>>
<[源IP1],<C.com,T3>>
<[源IP1,源IP3],<C.com,T3>>
<[源IP1,源IP3,源IP2],<C.com,T3>>
<[源IP1,源IP3,源IP2,源IP4],<C.com,T3>>。
然后，根据源IP列表汇总所有记录如下：
<[源IP1],{<A.com,T1>,<B.com,T1>,<A.com,T2>,<C.com,T3>}>
<[源IP1,源IP3],{<A.com,T1>,<B.com,T1>,<A.com,T2>,<C.com,T3>}>
<[源IP1,源IP3,源IP2],{<A.com,T1>,<B.com,T1>,<C.com,T3>}>
<[源IP1,源IP3,源IP4],{<A.com,T2>}>
<[源IP1,源IP3,源IP2,源IP4],{<C.com,T3>}>
<[源IP1,源IP3,源IP2,源IP5],{<B.com,T1>}>。
然后，提取源IP列表的长度和DWTIs的长度超过TIPs个的记录保留，如下：
<[源IP1,源IP3],{<A.com,T1>,<B.com,T1>,<A.com,T2>,<C.com,T3>}>
<[源IP1,源IP3,源IP2],{<A.com,T1>,<B.com,T1>,<C.com,T3>}>。
最后，对于任一条记录，根据该任一个汇总记录中的源IP列表确定第一设备集。因此，可以得到得到2个第一设备集，分别为：{源IP1，源IP3}和{源IP1,源IP3,源IP2}。
在发明中，还可以在提取源IP列表的长度和DWTIs的长度超过TIPs个的记录保留前，根据被测设备的总数N和预设百分比Tpercent的乘积过滤掉流行域名。例如，若被测的受控设备的总数是100，Tpercent为5％，那么乘积就是5，也就是说，如果有5个设备都访问了域名，那么判定该域名为良性的，可以被过滤掉。
在步骤104，对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备。
优选地，其中所述对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备，包括：
当仅存在一个第一设备集时，将所述第一设备集作为第二设备集；当存在至少两个第二设备集时，通过计算任意两个第一设备集的Jaccard距离来决定是否合并，若Jaccard距离大于预设距离阈值，则进行两个第一设备集，重复执行，直到不存在可以合并的设备集时，确定剩余的设备集为第二设备集；
筛选出第二设备集中元素的数量大于等于第二预设数量的第二设备集作为目标设备集，并根据所述目标设备集中的源IP确定处于通信频繁模式的受控设备。
在本发明中，在获取第一设备集后，首先判断存在几个第一设备集。其中，若存在一个，则直接直接将所述第一设备集作为第二设备集，并判断第二设备集中元素的数量是否大于等于第二预设数量，若是，则将所述第二设备集作为目标设备集，最后根据目标设备集中所有的源IP对应的受控设备确定处于通信频繁模式的受控设备；若否，则确定不存在处于通信频繁模式的受控设备。若存在多个第一设备集，则通过计算两个设备集的Jaccard距离来决定是否合并。如果Jaccard距离大于预设距离阈值Tdistance，则合并设备集，重复执行上述步骤，直到没有设备集可以合并为止，确定剩余的设备集为第二设备集。Tdistance的建议取值为0.5。然后再筛选出第二设备集中元素的数量是否大于等于第二预设数量的第二设备集作为目标设备集，最后根据目标设备集中所有的源IP对应的受控设备确定处于通信频繁模式的受控设备。
本发明通过计算两个设备集的Jaccard距离来决定是否合并。如果Jaccard距离大于阈值Tdistance，则合并设备集。重复执行上述步骤，直到没有设备集可以合并为止。例如，若Tdistance取0.5，若设备集D1＝{d1,d3},D2＝{d1,d3,d2}，则两设备集的Jaccard距离为：
Figure BDA0003708460270000141
因此，设备集D1和D2可进行合并。
继续以上述例子为例，进行群体聚类，确定处于通信频繁模式的受控设备。通过计算得到两个设备集的Jaccard距离大于0.5，可以合并，因此进行合并，合并后设备集{源IP1,源IP3,源IP2}中元素的个数也大于预设数量3，因此，确定源IP1,源IP3,源IP2对应的设备均为处于通信频繁模式的受控设备。
本发明实施方式提供了一种物联网受控设备通信频繁模式检测方法，通过分析DNS流量，基于受控设备通信的频繁模式这一基本特征对受控设备进行检测，利用前缀树作为索引，只需扫描两次数据集即可实现，显著降低检测的时间复杂度。此外，该算法可采用并行框架实现，可进一步提高其在大规模物联网环境下的可扩展性。
图4为根据本发明实施方式的确定处于通信频繁模式的受控设备的系统400的结构示意图。如图4所示，本发明实施方式提供的确定处于通信频繁模式的受控设备的系统400，包括：日志获取单元401、聚合单元402、设备集获取单元403和受控设备确定单元404。
优选地，所述日志获取单元401，用于获取被测设备的域名解析日志；其中，所述域名解析日志中每条记录中的信息包括：时间戳、域名和源IP。
优选地，其中所述系统还包括：
预处理单元，用于对所述域名解析日志进行无效记录清理处理、有效字段提取和白名单过滤处理。
优选地，所述聚合单元402，用于基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集。
优选地，其中所述聚合单元402，基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集，包括：
对于所述域名解析日志中的任一条解析记录，根据该任一条解析记录中的时间戳隶属的时间窗口，将该任一条解析记录中的时间戳映射为唯一的时间段ID；
根据域名和时间段ID进行源IP的聚合，以获取源IP-域名集；其中所述源IP-域名集中的每条聚合记录的结构为：<<域名、时间段ID>、源IP列表>。
优选地，其中所述聚合单元402，还用于：
确定每条聚合记录中源IP列表的长度，并剔除源IP列表的长度小于等于预设长度阈值的聚合记录。
优选地，所述设备集获取单元403，用于基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集。
优选地，其中所述设备集获取单元403，基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集，包括：
按照源IP出现的次数对所述源IP-域名集中聚合记录进行降序排列，以获取聚合记录序列；
对于所述聚合记录序列中的任一条聚合记录，按照该任一条聚合记录中源IP列表中源IP的顺序进行映射，获取该任一条聚合记录对应的映射记录；
基于所述映射记录中的源IP列表对所有的映射记录进行汇总，获取汇总记录；
筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集；
对于所述IP列表汇总集中的任一个汇总记录，根据该任一个汇总记录中的源IP列表确定第一设备集。
优选地，其中所述设备集获取单元403，还用于：
在筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集在前，对于所述汇总记录中的任一域名，若访问该任一域名的受控设备的数量大于等于被测设备和预设百分比的乘积，则将该任一域名在所述汇总记录中剔除。
优选地，所述受控设备确定单元404，用于对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备。
优选地，其中所述受控设备确定单元404，对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备，包括：
当仅存在一个第一设备集时，将所述第一设备集作为第二设备集；当存在至少两个第二设备集时，通过计算任意两个第一设备集的Jaccard距离来决定是否合并，若Jaccard距离大于预设距离阈值，则进行两个第一设备集，重复执行，直到不存在可以合并的设备集时，确定剩余的设备集为第二设备集；
筛选出第二设备集中元素的数量大于等于第二预设数量的第二设备集作为目标设备集，并根据所述目标设备集中的源IP确定处于通信频繁模式的受控设备。
本发明的实施例的确定处于通信频繁模式的受控设备的系统400与本发明的另一个实施例的确定处于通信频繁模式的受控设备的方法100相对应，在此不再赘述。
基于本发明的另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种确定处于通信频繁模式的受控设备的方法中任一项的步骤。
基于本发明的另一方面，本发明提供一种电子设备，包括：
上述的计算机可读存储介质；以及
一个或多个处理器，用于执行所述计算机可读存储介质中的程序。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (16)

1.一种确定处于通信频繁模式的受控设备的方法，其特征在于，所述方法包括：
获取被测设备的域名解析日志；其中，所述域名解析日志中每条记录中的信息包括：时间戳、域名和源IP；
基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集；
基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集；
对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述域名解析日志进行无效记录清理处理、有效字段提取和白名单过滤处理。
3.根据权利要求1所述的方法，其特征在于，所述基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集，包括：
对于所述域名解析日志中的任一条解析记录，根据该任一条解析记录中的时间戳隶属的时间窗口，将该任一条解析记录中的时间戳映射为唯一的时间段ID；
根据域名和时间段ID进行源IP的聚合，以获取源IP-域名集；其中所述源IP-域名集中的每条聚合记录的结构为：<<域名、时间段ID>、源IP列表>。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
确定每条聚合记录中源IP列表的长度，并剔除源IP列表的长度小于等于预设长度阈值的聚合记录。
5.根据权利要求1所述的方法，其特征在于，所述基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集，包括：
按照源IP出现的次数对所述源IP-域名集中聚合记录进行降序排列，以获取聚合记录序列；
对于所述聚合记录序列中的任一条聚合记录，按照该任一条聚合记录中源IP列表中源IP的顺序进行映射，获取该任一条聚合记录对应的映射记录；
基于所述映射记录中的源IP列表对所有的映射记录进行汇总，获取汇总记录；
筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集；
对于所述IP列表汇总集中的任一个汇总记录，根据该任一个汇总记录中的源IP列表确定第一设备集。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集在前，对于所述汇总记录中的任一域名，若访问该任一域名的受控设备的数量大于等于被测设备和预设百分比的乘积，则将该任一域名在所述汇总记录中剔除。
7.根据权利要求1所述的方法，其特征在于，所述对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备，包括：
当仅存在一个第一设备集时，将所述第一设备集作为第二设备集；当存在至少两个第二设备集时，通过计算任意两个第一设备集的Jaccard距离来决定是否合并，若Jaccard距离大于预设距离阈值，则进行两个第一设备集，重复执行，直到不存在可以合并的设备集时，确定剩余的设备集为第二设备集；
筛选出第二设备集中元素的数量大于等于第二预设数量的第二设备集作为目标设备集，并根据所述目标设备集中的源IP确定处于通信频繁模式的受控设备。
8.一种确定处于通信频繁模式的受控设备的系统，其特征在于，所述系统包括：
日志获取单元，用于获取被测设备的域名解析日志；其中，所述域名解析日志中每条记录中的信息包括：时间戳、域名和源IP；
聚合单元，用于基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集；
设备集获取单元，用于基于所述源I P-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集；
受控设备确定单元，用于对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备。
9.根据权利要求8所述的系统，其特征在于，所述系统还包括：
预处理单元，用于对所述域名解析日志进行无效记录清理处理、有效字段提取和白名单过滤处理。
10.根据权利要求8所述的系统，其特征在于，所述聚合单元，基于所述时间戳对所述域名解析日志进行聚合，以构建源IP-域名集，包括：
对于所述域名解析日志中的任一条解析记录，根据该任一条解析记录中的时间戳隶属的时间窗口，将该任一条解析记录中的时间戳映射为唯一的时间段ID；
根据域名和时间段ID进行源IP的聚合，以获取源IP-域名集；其中所述源IP-域名集中的每条聚合记录的结构为：<<域名、时间段ID>、源IP列表>。
11.根据权利要求10所述的系统，其特征在于，所述聚合单元，还用于：
确定每条聚合记录中源IP列表的长度，并剔除源IP列表的长度小于等于预设长度阈值的聚合记录。
12.根据权利要求8所述的系统，其特征在于，所述设备集获取单元，基于所述源IP-域名集进行频繁模式挖掘，获取源IP列表汇总集，并基于所述源IP列表汇总集确定第一设备集，包括：
按照源IP出现的次数对所述源IP-域名集中聚合记录进行降序排列，以获取聚合记录序列；
对于所述聚合记录序列中的任一条聚合记录，按照该任一条聚合记录中源IP列表中源IP的顺序进行映射，获取该任一条聚合记录对应的映射记录；
基于所述映射记录中的源IP列表对所有的映射记录进行汇总，获取汇总记录；
筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集；
对于所述IP列表汇总集中的任一个汇总记录，根据该任一个汇总记录中的源IP列表确定第一设备集。
13.根据权利要求12所述的系统，其特征在于，所述设备集获取单元，还用于：
在筛选出所述汇总记录中源IP列表的长度和<域名、时间段ID>列表的长度均大于等于第一预设数量的记录进行保留，以获取源IP列表汇总集在前，对于所述汇总记录中的任一域名，若访问该任一域名的受控设备的数量大于等于被测设备和预设百分比的乘积，则将该任一域名在所述汇总记录中剔除。
14.根据权利要求8所述的系统，其特征在于，所述受控设备确定单元，对所述第一设备集进行聚类，以获取第二设备集，并基于所述第二设备集，确定处于通信频繁模式的受控设备，包括：
当仅存在一个第一设备集时，将所述第一设备集作为第二设备集；当存在至少两个第二设备集时，通过计算任意两个第一设备集的Jaccard距离来决定是否合并，若Jaccard距离大于预设距离阈值，则进行两个第一设备集，重复执行，直到不存在可以合并的设备集时，确定剩余的设备集为第二设备集；
筛选出第二设备集中元素的数量大于等于第二预设数量的第二设备集作为目标设备集，并根据所述目标设备集中的源IP确定处于通信频繁模式的受控设备。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
16.一种电子设备，其特征在于，包括：
权利要求15中所述的计算机可读存储介质；以及
一个或多个处理器，用于执行所述计算机可读存储介质中的程序。
CN202210714825.4A 2022-06-22 2022-06-22 一种确定处于通信频繁模式的受控设备的方法及系统 Pending CN115277077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210714825.4A CN115277077A (zh) 2022-06-22 2022-06-22 一种确定处于通信频繁模式的受控设备的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210714825.4A CN115277077A (zh) 2022-06-22 2022-06-22 一种确定处于通信频繁模式的受控设备的方法及系统

Publications (1)

Publication Number Publication Date
CN115277077A true CN115277077A (zh) 2022-11-01

Family

ID=83761513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210714825.4A Pending CN115277077A (zh) 2022-06-22 2022-06-22 一种确定处于通信频繁模式的受控设备的方法及系统

Country Status (1)

Country Link
CN (1) CN115277077A (zh)

Similar Documents

Publication Publication Date Title
CN110855676B (zh) 网络攻击的处理方法、装置及存储介质
CN111355697B (zh) 僵尸网络域名家族的检测方法、装置、设备及存储介质
CN107145779B (zh) 一种离线恶意软件日志的识别方法和装置
CN110099059A (zh) 一种域名识别方法、装置及存储介质
CN111371735A (zh) 僵尸网络检测方法、系统及存储介质
CN110727663A (zh) 数据清洗方法、装置、设备及介质
CN111104579A (zh) 一种公网资产的识别方法、装置及存储介质
CN112528279B (zh) 一种入侵检测模型的建立方法和装置
CN103457909A (zh) 一种僵尸网络检测方法及装置
CN114915479A (zh) 一种基于Web日志的Web攻击阶段分析方法及系统
EP2926291A1 (en) Distributed pattern discovery
CN115333966A (zh) 一种基于拓扑的Nginx日志分析方法、系统及设备
Hajamydeen et al. A detailed description on unsupervised heterogeneous anomaly based intrusion detection framework
CN113901441A (zh) 一种用户异常请求检测方法、装置、设备及存储介质
KR20070077517A (ko) 프로파일 기반 웹 애플리케이션 침입탐지시스템 및 그 방법
CN110071898B (zh) 一种去中心检测节点合法性的方法
CN115277077A (zh) 一种确定处于通信频繁模式的受控设备的方法及系统
CN115314271B (zh) 一种访问请求的检测方法、系统及计算机存储介质
CN114422341B (zh) 一种基于指纹特征的工控资产识别方法及系统
CN110784483B (zh) 一种基于dga异常域名的事件检测系统及方法
Sumalatha et al. Data collection and audit logs of digital forensics in cloud
CN110677472B (zh) 基于ioc智能提取及共享的协同防御方法
CN114125847B (zh) 泛在电力物联网下一种基于设备指纹的终端身份认证方法
CN111800409B (zh) 接口攻击检测方法及装置
WO2017175283A1 (ja) プロセス探索装置およびプロセス探索プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination