CN106603749B - 一种动态ip到主机映射的高效方法 - Google Patents

一种动态ip到主机映射的高效方法 Download PDF

Info

Publication number
CN106603749B
CN106603749B CN201710011380.2A CN201710011380A CN106603749B CN 106603749 B CN106603749 B CN 106603749B CN 201710011380 A CN201710011380 A CN 201710011380A CN 106603749 B CN106603749 B CN 106603749B
Authority
CN
China
Prior art keywords
time
main frame
host
xxx
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710011380.2A
Other languages
English (en)
Other versions
CN106603749A (zh
Inventor
冯望烟
吴淑宁
张立钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hangxin Intelligent Control Technology Co.,Ltd.
Original Assignee
Zhejiang Zhong Zhong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zhong Zhong Information Technology Co Ltd filed Critical Zhejiang Zhong Zhong Information Technology Co Ltd
Priority to CN201710011380.2A priority Critical patent/CN106603749B/zh
Publication of CN106603749A publication Critical patent/CN106603749A/zh
Application granted granted Critical
Publication of CN106603749B publication Critical patent/CN106603749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/09—Mapping addresses
    • H04L61/25—Mapping addresses of the same type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses
    • H04L61/5014—Internet protocol [IP] addresses using dynamic host configuration protocol [DHCP] or bootstrap protocol [BOOTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及网络安全领域，特别涉及一种动态IP到主机映射的高效方法。本发明包括如下步骤1)数据采集；2)数据排序；3)对于每台主机，在对应的相同IP下，结束时间为下一个立即分配的时间戳，如果没有下一个立即分配的时间戳，则使用最新的日志时间或当前时间作为结束时间；4)在相应的相同IP下，使用邻近变化点检测算法创建动态主机分组；5)通过IP，主机和主机组来合并起始时间和结束时间；6)输出最终映射表。本发明可智能的来动态和自动地推断主机上IP分配的结束时间，只需要三个最小数据元素(IP，主机和起始时间)，更简单和更灵活，并采用动态主机分组算法，用最少量的结果映射表获得精确的IP到主机的映射。

Description

一种动态IP到主机映射的高效方法
技术领域
本发明涉及网络安全领域，特别涉及一种动态IP到主机映射的高效方法。
背景技术
在企业SIEM(安全信息和事件管理)或网络监控系统中，随时将网络活动和事件与内部主机相关联是非常重要的。例如，一台特定的主机被警告恶意软件感染，安全分析师会希望在该主机上建立过去一定时间段的整体视图，包括其HTTP浏览历史，FTP文件传输活动和DNS查询记录。在许多情况下，网络日志记录设备(例如防火墙和入侵检测系统)仅记录网络设备的IP地址。很多时候单独的IP地址无法唯一标识主机，因为在大型企业中，许多内部IP地址会动态分配给主机，这导致一台主机的IP地址会随时间变化而变化。没有准确的动态IP地址到主机的映射，将不同网络日志上的活动相互关联将是具有挑战性的。目标是开发一致的IP到主机映射，如下所示：
描述
IP Address/IP地址 IP地址
Host/主机 主机名
Start_time/起始时间 将IP地址分配给主机的起始时间戳
End_time/结束时间 从主机释放IP地址的结束时间戳
这里面临的一个主要技术挑战是不完全和/或不准确的数据。通常，动态IP被分配给某个主机(“起始时间”)的时间很容易获得，但是该IP被释放的时间(“结束时间”)可能无法获得或不准确。例如，在Windows域控制器日志中，主机的“注销”事件通常不完整或延迟，因此不能用作IP到主机映射的结束时间。另外有时DHCP日志可能不包括所有“释放”，“删除”或“到期”事件，那么结束时间就很难确定。
现有的方法主要使用涉及到将IP地址分配给特定主机的某些事件来确定结束时间，例如：
·DHCP IP“释放”事件
·DHCP IP“删除”事件
·DHCP IP“到期”时间
·Windows域控制器“注销”事件
·VPN“注销”事件
在无法获取日志消息与IP分配终止的对应时间或获取时间不准确的情况下，现有方法不能很好地工作，IP分配结束时间可能丢失或与下一个起始时间重叠。
发明内容
为解决上述问题，本发明提出出一种动态IP到主机映射的高效方法，可智能的来动态和自动地推断主机上IP分配的结束时间，本发明的方法只需要三个最小数据元素(IP，主机和起始时间)，这些数据元素可以从不同的网络日志中轻松获得；更简单和更灵活，因为不需要区分多个事件类型，并且它可以容易地应用于不同的网络日志；动态主机分组算法，可以用最少量的结果映射表获得精确的IP到主机的映射。
为了达到上述目的，本发明提出如下技术方案：
一种动态IP到主机映射的高效方法，包括如下步骤：
1)收集IP，主机和相应的IP分配时间(“起始时间”)；
2)按IP和起始时间对数据排序(从最早到最后)；
3)对于每台主机，在特定IP下，结束时间是下一个立即分配的时间戳，如果没有下一个立即分配的时间戳，则使用最新的日志时间或当前时间作为结束时间；
4)在特定IP下，使用邻近变化点检测算法创建动态主机分组；
5)通过IP，主机和主机组来合并起始时间和结束时间，即起始时间＝min(起始时间)和结束时间＝max(结束时间)；
6)输出最终映射表。
本发明通过两种邻近变化点检测算法实现动态IP到主机映射高效映射，用最少量的结果映射表获得精确的IP到主机的映射。
有益效果：
1、本发明只需要三个最小数据元素(IP，主机和起始时间)，这些数据元素可以从不同的网络日志中轻松获得；
2、本发明更简单和更灵活，因为不需要区分多个事件类型，并且它可以容易地应用于不同的网络日志；
3、本发明采用动态主机分组算法，可以用最少量的结果映射表获得精确的IP到主机的映射。
附图说明
图1是本发明的系统框图；
具体实施方式
下面将结合本发明的实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种动态IP到主机映射的高效方法，包括如下步骤：
1)收集IP，主机和相应的IP分配时间(“起始时间”)；
2)按IP和起始时间对数据排序(从最早到最后)；
3)对于每台主机，在特定IP下，结束时间是下一个立即分配的时间戳，如果没有下一个立即分配的时间戳，则使用最新的日志时间或当前时间作为结束时间；
4)在特定IP下，使用邻近变化点检测算法创建动态主机分组；
5)通过IP，主机和主机组来合并起始时间和结束时间，即起始时间＝min(起始时间)和结束时间＝max(结束时间)；
6)输出最终映射表。
本发明通过两种邻近变化点检测算法实现动态IP到主机映射高效映射，用最少量的结果映射表获得精确的IP到主机的映射。
作为本发明的一种方案，本发明采用邻近变化点检测算法进行动态主机分组，其具体步骤如下：在对应的相同IP下，首先设置初始主机组id和设置变化标记的初始值均为0；当IP地址分配给主机的起始时间戳时，若当前主机名和前主机名是不同并且前主机名存在，则设置变化标记为1，主机组id＝前主机组id+1；若当前主机名和前主机名相同或前主机名是不存在，则设置变化标记为0，主机组id＝前主机组id+0。
作为本发明的另一种方案，本发明采用邻近变化点检测算法进行动态主机分组，其具体步骤如下：
在对应的相同IP下，首先设置初始主机组id和设置变化标记的初始值均为0，并设置时间阈值；按IP、主机和起始时间对数据排序；对于每个主机，当前主机名和前主机名相同时，当前主机起始时间-前主机释放时间>时间阈值并且前主机释放时间不为空时，设置变化标记为1，主机组id＝前主机组id+1；当前主机起始时间-前主机释放时间<时间阈值或前主机释放时间为空时，设置变化标记为0，主机组id＝前主机组id+0；当前主机名和前主机名不同时，将主机组id和设置变化标记的值均重置为0。
两种算法都能够完美地实现相同的映射结果，但第一种算法(算法I)更优，原因是：算法I不需要设置任意时间阈值。在当前主机开始时间和前任主机结束时间之间存在延迟的情况下，即使IP分配实际上是连续的，可能也难以找到适当的任意时间阈，同时，算法I不需要通过主机对数据进行排序，因此对于大型数据集合更有效。
实施例
按照上述动态IP到主机映射的高效方法的具体步骤，建立某一时间段内某IP的动态映射，其具体过程为如下。
1)数据收集:
IP Host Data Source Start_time
XXX.XXX.XXX.XXX A DHCP Server Log 9:48AM
XXX.XXX.XXX.XXX A DHCP Server Log 9:05PM
XXX.XXX.XXX.XXX A VPN Log 8:10PM
XXX.XXX.XXX.XXX A Windows Domain Controller Log 7:40PM
XXX.XXX.XXX.XXX B DHCP Server Log 3:00PM
XXX.XXX.XXX.XXX B Windows Domain Controller Log 1:30PM
XXX.XXX.XXX.XXX B VPN Log 8:15AM
XXX.XXX.XXX.XXX C DHCP Server Log 6:40AM
2)数据排序:
3)结束时间推断:
IP Host Start_time Next Assignment Time End_time
XXX.XXX.XXX.XXX C 6:40AM 8:15AM 8:15AM
XXX.XXX.XXX.XXX B 8:15AM 9:48AM 9:48AM
XXX.XXX.XXX.XXX A 9:48AM 1:30PM 1:30PM
XXX.XXX.XXX.XXX B 1:30PM 3:00PM 3:00PM
XXX.XXX.XXX.XXX B 3:00PM 7:40PM 7:40PM
XXX.XXX.XXX.XXX A 7:40PM 8:10PM 8:10PM
XXX.XXX.XXX.XXX A 8:10PM 9:05PM 9:05PM
XXX.XXX.XXX.XXX A 9:05PM N/A Latest Time
此时，映射过程可以停止，直接输出上述映射表或通过IP和主机合并结果，但问题是：
对于通过IP和没有动态分组的主机进行合并，可能会导致不正确的映射，如下表所示。当仅由IP和主机进行合并时，主机A和B具有重叠的时间段。显然，这不满足一个IP在某个时间只能被分配给一个主机的要求
IP Host MIN(Start_time) MAX(End_time)
XXX.XXX.XXX.XXX A 9:48AM Latest Time
XXX.XXX.XXX.XXX B 8:15AM 7:40PM
XXX.XXX.XXX.XXX C 6:40AM 8:15AM
但对于直接输出，表格可能太大，数据难以使用。在的示例中，主机B上的第5行和第6行，以及主机A上的第7行至第9行可以分别在主机A和B上被汇总为两行。因此，理想的映射表应该只有5行，而不是8行。在每天具有数千或数百万个IP事件的真实网络环境中，可以通过适当的合并显著缩减映射表，这将在下面的动态主机分组中说明。
4)动态主机分组
a.算法I：
b.算法II
5)映射合并
算法I
IP Host MIN(Start_time) MAX(End_time) Host_Group_ID
XXX.XXX.XXX.XXX A 7:40PM Latest Time 4
XXX.XXX.XXX.XXX B 1:30PM 7:40PM 3
XXX.XXX.XXX.XXX A 9:48AM 1:30PM 2
XXX.XXX.XXX.XXX B 8:15AM 9:48AM 1
XXX.XXX.XXX.XXX C 6:40AM 8:15AM 0
算法II
最终，以上实施例和附图仅用以说明本发明的技术方案而非限制，尽管通过上述实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.一种动态IP到主机映射的高效方法，其特征在于，包括如下步骤：
1)收集IP，主机和相应的IP分配的起始时间；
2)按IP和起始时间对数据排序；
3)对于每台主机，在对应的相同IP下，结束时间为下一个立即分配的时间戳，如果没有下一个立即分配的时间戳，则使用最新的日志时间或当前时间作为结束时间；
4)在相应的相同IP下，使用邻近变化点检测算法创建动态主机分组，具体步骤如下：
在对应的相同IP下，首先设置初始主机组id和设置变化标记的初始值均为0；当IP地址分配给主机的起始时间戳时，若当前主机名和前主机名是不同并且前主机名存在，则设置变化标记为1，主机组id＝前主机组id+1；若当前主机名和前主机名相同或前主机名是不存在，则设置变化标记为0，主机组id＝前主机组id+0；
5)通过IP，主机和主机组来合并起始时间和结束时间；
6)输出最终映射表。
2.一种动态IP到主机映射的高效方法，其特征在于，包括如下步骤：
1)收集IP，主机和相应的IP分配的起始时间；
2)按IP和起始时间对数据排序；
3)对于每台主机，在对应的相同IP下，结束时间为下一个立即分配的时间戳，如果没有下一个立即分配的时间戳，则使用最新的日志时间或当前时间作为结束时间；
4)在相应的相同IP下，使用邻近变化点检测算法创建动态主机分组，具体步骤如下：
在对应的相同IP下，首先设置初始主机组id和设置变化标记的初始值均为0，并设置时间阈值；按IP、主机和起始时间对数据排序；对于每个主机，当前主机名和前主机名相同时，当前主机起始时间-前主机释放时间>时间阈值并且前主机释放时间不为空时，设置变化标记为1，主机组id＝前主机组id+1；当前主机起始时间-前主机释放时间<时间阈值或前主机释放时间为空时，设置变化标记为0，主机组id＝前主机组id+0；当前主机名和前主机名不同时，将主机组id和设置变化标记的值均重置为0；
5)通过IP，主机和主机组来合并起始时间和结束时间；
6)输出最终映射表。
3.根据权利要求1或2所述的一种动态IP到主机映射的高效方法，其特征在于，在步骤2)中，按照起始时间最早到最后对数据排序。
CN201710011380.2A 2017-01-06 2017-01-06 一种动态ip到主机映射的高效方法 Active CN106603749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710011380.2A CN106603749B (zh) 2017-01-06 2017-01-06 一种动态ip到主机映射的高效方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710011380.2A CN106603749B (zh) 2017-01-06 2017-01-06 一种动态ip到主机映射的高效方法

Publications (2)

Publication Number Publication Date
CN106603749A CN106603749A (zh) 2017-04-26
CN106603749B true CN106603749B (zh) 2017-11-21

Family

ID=58582548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710011380.2A Active CN106603749B (zh) 2017-01-06 2017-01-06 一种动态ip到主机映射的高效方法

Country Status (1)

Country Link
CN (1) CN106603749B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1642097A (zh) * 2004-01-02 2005-07-20 联想(北京)有限公司 日志统计方法和系统
CN101119232A (zh) * 2007-08-09 2008-02-06 北京艾科网信科技有限公司 日志记录方法及其记录系统
CN104579771A (zh) * 2014-12-31 2015-04-29 上海格尔软件股份有限公司 一种对用户登录登出应用系统的行为轨迹的分析方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100433657C (zh) * 2006-05-11 2008-11-12 蓝汛网络科技（北京）有限公司 适用于大规模流媒体直播系统的对等网络成员管理方法
US20130085932A1 (en) * 2011-09-29 2013-04-04 Verisign, Inc. Tracing domain name history within a registration via a whowas service
CN105791213B (zh) * 2014-12-18 2020-01-10 华为技术有限公司 一种策略优化装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1642097A (zh) * 2004-01-02 2005-07-20 联想(北京)有限公司 日志统计方法和系统
CN101119232A (zh) * 2007-08-09 2008-02-06 北京艾科网信科技有限公司 日志记录方法及其记录系统
CN104579771A (zh) * 2014-12-31 2015-04-29 上海格尔软件股份有限公司 一种对用户登录登出应用系统的行为轨迹的分析方法

Also Published As

Publication number Publication date
CN106603749A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
US9043461B2 (en) Firewall event reduction for rule use counting
CN106130796B (zh) Sdn网络拓扑流量可视化监控方法及控制终端
DE102017208547A1 (de) Verfahren zum Schutz eines Netzwerkes vor einem Cyberangriff
CN104283897B (zh) 基于多数据流聚类分析的木马通信特征快速提取方法
CN109376532A (zh) 基于elk日志采集分析的电力网络安全监测方法及系统
CN105791213B (zh) 一种策略优化装置及方法
CN105117171A (zh) 一种能源scada海量数据分布式处理系统及其方法
CN101702656B (zh) 一种基于snmp的mpls-vpn网络拓扑发现方法及系统
CN101459618A (zh) 虚拟机网络的数据包转发方法和装置
CN102694884B (zh) 一种无线传感器网络IPv6地址配置及管理方法
CN109391661B (zh) 物联网终端的区块链组网方法和系统
CN103891206A (zh) 网络数据流检测状态的同步方法和设备
CN105187781A (zh) 一种自动添加监控设备的方法和装置
CN110311838B (zh) 一种安全服务流量统计的方法及装置
CN106603749B (zh) 一种动态ip到主机映射的高效方法
CN103595577A (zh) Isp间互联口超过阈值流量监控系统及方法
CN107205059A (zh) 管理表计设备地址的方法、采集终端和表计设备
DE102006015016B3 (de) Verteilte Organisation von Sensornetzwerken
CN103327134A (zh) 一种基于dhcp服务的网络数据重定向方法及装置
CN109607341B (zh) 基于区块链的电梯运转信息管理系统
CN103001828A (zh) 基于数据流的报文统计方法和装置、网络设备
CN107465621A (zh) 一种路由器发现方法、sdn控制器、路由器和网络系统
CN105450739A (zh) 存储双活环境下存储资源异地同步共享的监测与管理方法
CN106603722A (zh) 一种管理设备的确定方法及装置
CN104270466A (zh) 数据上报方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 120, 1st Floor, No. 683 Yangming North Road, Yuecheng District, Shaoxing City, Zhejiang Province, 312099

Patentee after: Zhejiang Hangxin Intelligent Control Technology Co.,Ltd.

Country or region after: China

Address before: No. 683, Yuecheng Road, Yuecheng City, Shaoxing, Zhejiang Province

Patentee before: ZHEJIANG CENTEK INFORMATION TECHNOLOGY CO.,LTD.

Country or region before: China

CP03 Change of name, title or address