CN105743732B - 一种记录局域网文件传输路径和分布情况的方法及系统 - Google Patents
一种记录局域网文件传输路径和分布情况的方法及系统 Download PDFInfo
- Publication number
- CN105743732B CN105743732B CN201510992930.4A CN201510992930A CN105743732B CN 105743732 B CN105743732 B CN 105743732B CN 201510992930 A CN201510992930 A CN 201510992930A CN 105743732 B CN105743732 B CN 105743732B
- Authority
- CN
- China
- Prior art keywords
- file
- host
- transmission
- information
- transmission path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 255
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 60
- 238000010586 diagram Methods 0.000 claims description 26
- 238000012217 deletion Methods 0.000 claims description 23
- 230000037430 deletion Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 22
- 238000012546 transfer Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims 1
- 241000700605 Viruses Species 0.000 abstract description 11
- 230000007547 defect Effects 0.000 abstract description 3
- 238000009792 diffusion process Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 230000002457 bidirectional effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000009545 invasion Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000029610 recognition of host Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Technology Law (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提出了一种记录局域网文件传输路径和分布情况的方法及系统，将主机文件的监控同网络层面文件传输监控相结合，将监控数据汇总到服务器进行关联分析，生成文件在局域网主机之间的传输路径和分布情况。本发明弥补了现有技术中不能有效对文件传输进行双向监控，并精确生成传输路径、分析文件分布的不足。本发明可为分析文件在主机之间的扩散情况进行回溯提供基础，即使文件已经被删除，其历史传输路径仍得以记录，且通过本发明可以获取病毒文件在主机的分布情况，为清除病毒提供依据，有效减少处置时间。
Description
技术领域
本发明涉及网络文件监控技术领域，尤其涉及一种记录局域网文件传输路径和分布情况的方法及系统。
背景技术
随着APT(Advanced Persistent Threat，高级持续性威胁)攻击的产生，网络入侵变得更加难以防御。攻击者有针对性构造的病毒越来越容易绕过主机安全软件的检测而进入主机，并可以利用正常的软件或网络通道在局域网中传播。当安全软件更新了病毒库可以检测到病毒文件时，其可能已经扩散到局域网的多台主机之中。如果提前记录文件在局域网主机之间的传输路径并统计分布情况，则可以对分析被入侵的过程和事后的处置提供依据。
目前主机上安全软件的边界监控主要是单向的，即只能监控文件进入到主机，但无法监控文件传输出主机。同时，虽然能监控到文件进入，但无法知道文件来自哪台主机。因此现有安全软件只相当于记录了有文件进入主机这种“点”事件，但无法形成文件在主机间传输路径的“线”。同时现有的主机监控，如针对移动存储设备、浏览器下载、IM即时聊天工具的监控等，由于很难将市面上所有的浏览器、IM工具等都监控到，同时这些软件的更新也可能造成既有监控点的失效，因此很难监控到全部的文件进入主机的情况。
在网络层面，可以基于VDS(Virus Detection System，网络病毒监控系统)类设备对局域网内交换机的流量进行监控，并分析出流量中传输的文件，及来源主机IP和目的主机IP。这种方式虽然可以形成文件在主机间传输路径的“线”，但这只是一种有文件传输行为发生的记录，而目的主机是否成功接收文件、在需要分析入侵事件时文件是否还存在于主机之上等问题是网络监控无法确定的。
发明内容
针对上述现有技术中存在的缺陷，本发明提出了一种记录局域网文件传输路径和分布情况的方法及系统，将主机文件的监控同网络层面文件传输监控相结合，将监控数据汇总到服务器进行关联分析，生成文件在局域网主机之间的传输路径和分布情况。
具体发明内容包括：
一种记录局域网文件传输路径和分布情况的方法，包括：
监控局域网主机上文件的新建和删除，记录主机上各文件的文件信息，并计算各文件的唯一标识；所述文件信息包括：文件名称，文件大小，文件格式、文件所在路径等文件属性信息；
将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，并在服务器上创建文件状态表；
监控局域网中的文件传输，记录传输信息，并将传输信息上报到服务器；
基于传输信息，建立文件传输路径表与文件传输路径图；
对文件传输路径表中的每条记录，根据目的主机IP地址和唯一标识，与文件状态表中对应的文件所在主机IP地址和唯一标识的记录进行匹配，若匹配成功，则认为该条记录对应的文件传输成功；若匹配失败，则判断文件传输路径表中相应记录所对应的文件状态是否为新建文件，若是新建文件，且状态变化时间在文件传输时间之后的规定时间内，则认为该条记录对应的文件传输成功；否则认为该条记录对应的文件传输失败，并在文件传输路径表中将该条记录删除；
在文件传输路径图中标记文件状态；
所述文件状态表，其字段包括：自增ID、文件所在主机IP地址、唯一标识、文件名、文件路径、文件状态、状态变化时间；其中，所述文件状态包括：新建文件、删除文件、接收文件、已传输文件；
所述文件传输路径表，其字段包括：自增ID、文件传输时间、来源主机IP地址、唯一标识、目的主机IP地址。
其中，网络监控设备监控到的文件传输事件中，存在主机没有成功接收文件的情况，对这种类型的事件需要进行剔除，以提高文件传输路径统计的准确性，所述对文件状态变化使劲是否在文件传输时间之后的规定时间内进行判断，是因为文件传输时间为文件在网络中完整传输完的时间，文件被存储在目标主机上的时间即文件状态变化时间要略晚于该时间，所以满足在规定时间内，则认为传输成功，否则认为传输失败，一般地，所述规定时间为5秒。
进一步地，所述基于传输信息，建立文件传输路径表与文件传输路径图，其中所述文件传输路径表根据局域网中的文件传输做动态更新；所述建立文件传输路径图具体为：根据唯一标识对文件传输路径表中的记录进行分组，将唯一标识相同的记录作为一组，将每组记录通过十字链表建立有向图，生成文件传输路径图；遍历每组记录的有向图，即可得到每个文件在局域网中的整体传输路径。
进一步地，所述在文件传输路径图中标记文件状态，具体为：根据文件所在主机IP地址和唯一标识对文件状态表中的记录进行分组，将文件所在主机IP地址和唯一标识相同的记录作为一组，每组中最晚生成的记录作为相应文件在对应主机上的最后状态，将所述最后状态标记到文件传输路径图中。
进一步地，所述监控局域网主机上文件的新建和删除，具体为：通过读取主机NTFS磁盘中的MFT表，实现对局域网中主机上文件的新建和删除进行监控；所述计算各文件的唯一标识，具体为：根据MFT表中的文件名和文件路径，定位各文件位置，将各文件的文件内容读入内存，计算各文件的唯一标识；所述MFT表示NTFS磁盘格式存储文件的矩阵表。
进一步地，所述在服务器上创建文件状态表，具体为：基于各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息，并以唯一标识、文件所在主机IP地址作为主键，创建文件状态表；所述文件状态表根据局域网中的文件传输做动态更新。
进一步地，所述监控局域网中的文件传输，记录传输信息，具体为：将网络监控设备连接到局域网核心交换机的镜像口，对局域网内的流量以及传输文件进行还原，并计算传输文件的唯一标识，获取和记录传输信息；所述网络监控设备可选用VDS类网络监控设备。
进一步地，所述将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，具体为：将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息格式化为json格式数据，将所述json格式数据上报到服务器。
进一步地，所述将传输信息上报到服务器，具体为：将传输信息格式化为json格式数据，将该json数据上报到服务器。
一种记录局域网文件传输路径和分布情况的系统，包括：
文件监控模块，用于监控局域网主机上文件的新建和删除，记录主机上各文件的文件信息，并计算各文件的唯一标识；所述文件信息包括：文件名称，文件大小，文件格式、文件所在路径等文件属性信息；
文件状态表创建模块，用于将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，并在服务器上创建文件状态表；
传输监控模块，用于监控局域网中的文件传输，记录传输信息，并将传输信息上报到服务器；
路径分布生成模块，用于基于传输信息，建立文件传输路径表与文件传输路径图；
传输路径表校准模块，用于对文件传输路径表中的每条记录，根据目的主机IP地址和唯一标识，与文件状态表中对应的文件所在主机IP地址和唯一标识的记录进行匹配，若匹配成功，则认为该条记录对应的文件传输成功；若匹配失败，则判断文件传输路径表中相应记录所对应的文件状态是否为新建文件，若是新建文件，且状态变化时间在文件传输时间之后的规定时间内，则认为该条记录对应的文件传输成功；否则认为该条记录对应的文件传输失败，并在文件传输路径表中将该条记录删除；
文件状态标记模块，用于在文件传输路径图中标记文件状态；
所述文件状态表，其字段包括：自增ID、文件所在主机IP地址、唯一标识、文件名、文件路径、文件状态、状态变化时间；其中，所述文件状态包括：新建文件、删除文件、接收文件、已传输文件；
所述文件传输路径表，其字段包括：自增ID、文件传输时间、来源主机IP地址、唯一标识、目的主机IP地址。
其中，网络监控设备监控到的文件传输事件中，存在主机没有成功接收文件的情况，对这种类型的事件需要进行剔除，以提高文件传输路径统计的准确性，所述对文件状态变化使劲是否在文件传输时间之后的规定时间内进行判断，是因为文件传输时间为文件在网络中完整传输完的时间，文件被存储在目标主机上的时间即文件状态变化时间要略晚于该时间，所以满足在规定时间内，则认为传输成功，否则认为传输失败，一般地，所述规定时间为5秒。
进一步地，所述路径分布生成模块，其中所述文件传输路径表根据局域网中的文件传输做动态更新；所述建立文件传输路径图具体为：根据唯一标识对文件传输路径表中的记录进行分组，将唯一标识相同的记录作为一组，将每组记录通过十字链表建立有向图，生成文件传输路径图；遍历每组记录的有向图，即可得到每个文件在局域网中的整体传输路径。
进一步地，所述文件状态标记模块，具体用于：根据文件所在主机IP地址和唯一标识对文件状态表中的记录进行分组，将文件所在主机IP地址和唯一标识相同的记录作为一组，每组中最晚生成的记录作为相应文件在对应主机上的最后状态，将所述最后状态标记到文件传输路径图中。
进一步地，所述监控局域网主机上文件的新建和删除，具体为：通过读取主机NTFS磁盘中的MFT表，实现对局域网中主机上文件的新建和删除进行监控；所述计算各文件的唯一标识，具体为：根据MFT表中的文件名和文件路径，定位各文件位置，将各文件的文件内容读入内存，计算各文件的唯一标识；所述MFT表示NTFS磁盘格式存储文件的矩阵表。
进一步地，所述在服务器上创建文件状态表，具体为：基于各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息，并以唯一标识、文件所在主机IP地址作为主键，创建文件状态表；所述文件状态表根据局域网中的文件传输做动态更新。
进一步地，所述监控局域网中的文件传输，记录传输信息，具体为：将网络监控设备连接到局域网核心交换机的镜像口，对局域网内的流量以及传输文件进行还原，并计算传输文件的唯一标识，获取和记录传输信息；所述网络监控设备可选用VDS类网络监控设备。
进一步地，所述将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，具体为：将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息格式化为json格式数据，将所述json格式数据上报到服务器。
进一步地，所述将传输信息上报到服务器，具体为：将传输信息格式化为json格式数据，将该json数据上报到服务器。
本发明的有益效果是：
本发明准确有效记录文件在局域网的传输路径，为对文件在主机之间的扩散情况进行回溯提供基础，即使文件已经被删除，其历史传输路径仍得以记录；
当主机遭遇病毒入侵后，通过本发明可以获取病毒文件在主机的分布情况，为清除病毒提供依据，有效减少处置时间；
进一步地，本发明通过使用MFT表监控文件新建和删除，可以不依赖于对主机上各种应用软件接收文件的行为进行监控，对系统资源占用更少，监控范围也更广；
进一步地，本发明根据本发明生成的文件新建、删除记录，对网络监控设备的文件传输记录进行修正，即精确文件传输路径表，使记录结果更加准确；
进一步地，本发明传输数据时，首先将数据转换为json格式，突破了数据传输的平台局限性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种记录局域网文件传输路径和分布情况的方法流程图；
图2为本发明一种记录局域网文件传输路径和分布情况的十字链表示例图；
图3为本发明一种记录局域网文件传输路径和分布情况的有向图示例图；
图4为本发明一种记录局域网文件传输路径和分布情况的系统结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。
本发明给出了一种记录局域网文件传输路径和分布情况的方法实施例，如图1所示，包括：
S101：监控局域网主机上文件的新建和删除，记录主机上各文件的文件信息；所述文件信息包括：文件名称，文件大小，文件格式、文件所在路径等文件属性信息；
S102：计算各文件的唯一标识；
S103：将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器；
S104：在服务器上创建文件状态表；
S105：监控局域网中的文件传输，记录传输信息，并将传输信息上报到服务器；
S106：基于传输信息，建立文件传输路径表与文件传输路径图；
S107：在文件传输路径图中标记文件状态；
所述文件状态表，其字段包括：自增ID、文件所在主机IP地址、唯一标识、文件名、文件路径、文件状态、状态变化时间；其中，所述文件状态包括：新建文件、删除文件、接收文件、已传输文件；
所述文件传输路径表，其字段包括：自增ID、文件传输时间、来源主机IP地址、唯一标识、目的主机IP地址。
优选地，还包括对建立的文件传输路径表进行精确处理，具体为：对文件传输路径表中的每条记录，根据目的主机IP地址和唯一标识，与文件状态表中对应的文件所在主机IP地址和唯一标识的记录进行匹配，若匹配成功，则认为该条记录对应的文件传输成功；若匹配失败，则判断文件传输路径表中相应记录所对应的文件状态是否为新建文件，若是新建文件，且状态变化时间在文件传输时间之后的规定时间内，则认为该条记录对应的文件传输成功；否则认为该条记录对应的文件传输失败，并在文件传输路径表中将该条记录删除；
网络监控设备监控到的文件传输事件中，存在主机没有成功接收文件的情况，对这种类型的事件需要进行剔除，以提高文件传输路径统计的准确性，所述对文件状态变化使劲是否在文件传输时间之后的规定时间内进行判断，是因为文件传输时间为文件在网络中完整传输完的时间，文件被存储在目标主机上的时间即文件状态变化时间要略晚于该时间，所以满足在规定时间内，则认为传输成功，否则认为传输失败，一般地，所述规定时间为5秒。
优选地，所述基于传输信息，建立文件传输路径表与文件传输路径图，其中所述文件传输路径表根据局域网中的文件传输做动态更新；所述建立文件传输路径图具体为：根据唯一标识对文件传输路径表中的记录进行分组，将唯一标识相同的记录作为一组，将每组记录通过十字链表建立有向图，生成文件传输路径图；
遍历每组记录的有向图，即可得到每个文件在局域网中的整体传输路径；
所述文件传输路径表可以使用Sqlite数据库进行建立，且通过调用Sqlite中的INSERT命令将接收到的传输信息写入到文件传输路径表中，实现文件传输路径表根据局域网中的文件传输做动态更新；
所述建立文件传输路径图举例如下：
例如，一组唯一标识相同的记录生成的十字链表如图2所述，十字链表包括：
顶点链表：subscript(下标)、ip(文件所在主机IP地址)、status(文件状态)、firstin(入边表头指针)、firstout(出边表头指针)；
边链表：tailvex(弧起点在顶点链表的下标)、headvex(弧终点在顶点链表的下标)、headlink(入边表指针域，指向终点相同的下一条边)、taillink(出边表指针域，指向起点相同的下一条边)、time(文件传输时间)；
其中实线箭头表示邻接表的指向，虚线箭头表示逆邻接表的指向，则其对应生成的有向图如图3所示。
优选地，所述在文件传输路径图中标记文件状态，具体为：根据文件所在主机IP地址和唯一标识对文件状态表中的记录进行分组，将文件所在主机IP地址和唯一标识相同的记录作为一组，每组中最晚生成的记录作为相应文件在对应主机上的最后状态，将所述最后状态标记到文件传输路径图中；该过程通过将所述最后状态更新到十字链表中顶点链表的status位置实现。
优选地，所述监控局域网主机上文件的新建和删除，具体为：通过读取主机NTFS磁盘中的MFT表，实现对局域网中主机上文件的新建和删除进行监控；所述计算各文件的唯一标识，具体为：根据MFT表中的文件名和文件路径，定位各文件位置，将各文件的文件内容读入内存，计算各文件的唯一标识；
其中，所述监控局域网主机上文件的新建和删除举例如下：
所述MFT表示NTFS磁盘格式存储文件的矩阵表，通过读取MFT表获取句柄，根据MFT_ENUM_DATA格式，将MFT表句柄通过DeviceIoControl函数打开，遍历表中的内容，将文件名、文件所在路径存储在本地数据库中，根据READ_USN_JOURNAL_DATA格式，将新建和删除操作作为变化量FSCTL_READ_USN_JOURNAL，得到本地磁盘的文件状态改变标记；
所述计算各文件的唯一标识举例如下：
计算各文件的唯一标识，可以采用计算文件内容MD5的方式实现，MD5为公开算法，有多种方法实现，可以使用微软Windows的动态链接库advapi32.dll中的MD5Init(&ctx)、MD5Update(&ctx,buf,len)和MD5Final(&ctx)进行计算。
优选地，所述在服务器上创建文件状态表，具体为：基于各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息，并以唯一标识、文件所在主机IP地址作为主键，创建文件状态表；所述文件状态表根据局域网中的文件传输做动态更新；
其中，所述文件状态表可以使用Sqlite数据库进行建立，且通过调用Sqlite中的INSERT命令将接收到的文件和主机信息写入到文件状态表中，实现文件状态表根据局域网中的文件传输做动态更新；
所述文件所在主机IP地址属于文件所在主机的主机信息，可采用如下方式进行获取：
首先通过语句“gethostname(name,sizeof(name))；”获取主机名称，然后通过语句“ip＝inet_ntoa(*(struct in_addr*)*hostinfo->h_addr_list)”根据主机名称获取主机IP地址。
优选地，所述监控局域网中的文件传输，记录传输信息，具体为：将网络监控设备连接到局域网核心交换机的镜像口，对局域网内的流量以及传输文件进行还原，并计算传输文件的唯一标识，获取和记录传输信息；
所述网络监控设备选用VDS类网络监控设备。
优选地，所述将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，具体为：将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息格式化为json格式数据，将所述json格式数据上报到服务器；
所述格式化的过程以及数据上报的过程举例如下：
通过调用jsoncpp函数库，实现格式化；通过调用curl数据库，将json格式数据通过http方式发送到服务器。
优选地，所述将传输信息上报到服务器，具体为：将传输信息格式化为json格式数据，将该json数据上报到服务器；
所述格式化的过程以及数据上报的过程举例如下：
通过调用jsoncpp函数库，实现格式化；通过调用curl数据库，将json格式数据通过http方式发送到服务器。
本发明还给出了一种记录局域网文件传输路径和分布情况的系统实施例，如图4所示，包括：
文件监控模块401，用于监控局域网主机上文件的新建和删除，记录主机上各文件的文件信息，并计算各文件的唯一标识；所述文件信息包括：文件名称，文件大小，文件格式、文件所在路径等文件属性信息；
文件状态表创建模块402，用于将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，并在服务器上创建文件状态表；
传输监控模块403，用于监控局域网中的文件传输，记录传输信息，并将传输信息上报到服务器；
路径分布生成模块404，用于基于传输信息，建立文件传输路径表与文件传输路径图；
文件状态标记模块405，用于在文件传输路径图中标记文件状态；
所述文件状态表，其字段包括：自增ID、文件所在主机IP地址、唯一标识、文件名、文件路径、文件状态、状态变化时间；其中，所述文件状态包括：新建文件、删除文件、接收文件、已传输文件；
所述文件传输路径表，其字段包括：自增ID、文件传输时间、来源主机IP地址、唯一标识、目的主机IP地址。
优选地，还包括传输路径表校准模块，具体用于：对文件传输路径表中的每条记录，根据目的主机IP地址和唯一标识，与文件状态表中对应的文件所在主机IP地址和唯一标识的记录进行匹配，若匹配成功，则认为该条记录对应的文件传输成功；若匹配失败，则判断文件传输路径表中相应记录所对应的文件状态是否为新建文件，若是新建文件，且状态变化时间在文件传输时间之后的规定时间内，则认为该条记录对应的文件传输成功；否则认为该条记录对应的文件传输失败，并在文件传输路径表中将该条记录删除；
网络监控设备监控到的文件传输事件中，存在主机没有成功接收文件的情况，对这种类型的事件需要进行剔除，以提高文件传输路径统计的准确性，所述对文件状态变化使劲是否在文件传输时间之后的规定时间内进行判断，是因为文件传输时间为文件在网络中完整传输完的时间，文件被存储在目标主机上的时间即文件状态变化时间要略晚于该时间，所以满足在规定时间内，则认为传输成功，否则认为传输失败，一般地，所述规定时间为5秒。
优选地，所述路径分布生成模块404，其中所述文件传输路径表根据局域网中的文件传输做动态更新；所述建立文件传输路径图具体为：根据唯一标识对文件传输路径表中的记录进行分组，将唯一标识相同的记录作为一组，将每组记录通过十字链表建立有向图，生成文件传输路径图；
遍历每组记录的有向图，即可得到每个文件在局域网中的整体传输路径。
优选地，所述文件状态标记模块405，具体用于：根据文件所在主机IP地址和唯一标识对文件状态表中的记录进行分组，将文件所在主机IP地址和唯一标识相同的记录作为一组，每组中最晚生成的记录作为相应文件在对应主机上的最后状态，将所述最后状态标记到文件传输路径图中。
优选地，所述监控局域网主机上文件的新建和删除，具体为：通过读取主机NTFS磁盘中的MFT表，实现对局域网中主机上文件的新建和删除进行监控；所述计算各文件的唯一标识，具体为：根据MFT表中的文件名和文件路径，定位各文件位置，将各文件的文件内容读入内存，计算各文件的唯一标识；
所述MFT表示NTFS磁盘格式存储文件的矩阵表，通过读取MFT表可以获取句柄，根据MFT_ENUM_DATA格式，将MFT表句柄通过DeviceIoControl函数打开，遍历表中的内容，将文件名、文件所在路径存储在本地数据库中，根据READ_USN_JOURNAL_DATA格式，将新建和删除操作作为变化量FSCTL_READ_USN_JOURNAL，得到本地磁盘的文件状态改变标记；
所述计算各文件的唯一标识，可以采用计算文件内容MD5的方式实现，MD5为公开算法，有多种方法实现，例如可以使用微软Windows的动态链接库advapi32.dll中的MD5Init(&ctx)、MD5Update(&ctx,buf,len)和MD5Final(&ctx)进行计算。
优选地，所述在服务器上创建文件状态表，具体为：基于各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息，并以唯一标识、文件所在主机IP地址作为主键，创建文件状态表；所述文件状态表根据局域网中的文件传输做动态更新；
所述文件状态表可以使用Sqlite数据库进行建立，且通过调用Sqlite中的INSERT命令将接收到的文件和主机信息写入到文件状态表中，实现文件状态表根据局域网中的文件传输做动态更新；
所述文件所在主机IP地址属于文件所在主机的主机信息，其获取方式为：首先通过语句“gethostname(name,sizeof(name))；”获取主机名称，然后通过语句“ip＝inet_ntoa(*(struct in_addr*)*hostinfo->h_addr_list)”根据主机名称获取主机IP地址。
优选地，所述监控局域网中的文件传输，记录传输信息，具体为：将网络监控设备连接到局域网核心交换机的镜像口，对局域网内的流量以及传输文件进行还原，并计算传输文件的唯一标识，获取和记录传输信息；
所述网络监控设备选用VDS类网络监控设备。
优选地，所述将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，具体为：将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息格式化为json格式数据，将所述json格式数据上报到服务器；
该过程通过调用jsoncpp函数库，实现格式化；通过调用curl数据库，将json格式数据通过http方式发送到服务器。
优选地，所述将传输信息上报到服务器，具体为：将传输信息格式化为json格式数据，将该json数据上报到服务器；
该过程通过调用jsoncpp函数库，实现格式化；通过调用curl数据库，将json格式数据通过http方式发送到服务器。
本说明书中方法的实施例采用递进的方式描述，对于系统的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。针对现有技术中存在的缺陷，本发明提出了一种记录局域网文件传输路径和分布情况的方法及系统，将主机文件的监控同网络层面文件传输监控相结合，将监控数据汇总到服务器进行关联分析，生成文件在局域网主机之间的传输路径和分布情况。本发明准确有效记录文件在局域网的传输路径，为对文件在主机之间的扩散情况进行回溯提供基础，即使文件已经被删除，其历史传输路径仍得以记录；当主机遭遇病毒入侵后，通过本发明可以获取病毒文件在主机的分布情况，为清除病毒提供依据，有效减少处置时间；进一步地，本发明通过使用MFT表监控文件新建和删除，可以不依赖于对主机上各种应用软件接收文件的行为进行监控，对系统资源占用更少，监控范围也更广；进一步地，本发明根据本发明生成的文件新建、删除记录，对网络监控设备的文件传输记录进行修正，即精确文件传输路径表，使记录结果更加准确；进一步地，本发明传输数据时，首先将数据转换为json格式，突破了数据传输的平台局限性。
虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。
Claims (16)
1.一种记录局域网文件传输路径和分布情况的方法，其特征在于，包括：
监控局域网主机上文件的新建和删除，记录主机上各文件的文件信息，并计算各文件的唯一标识；
将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，并在服务器上创建文件状态表；
监控局域网中的文件传输，记录传输信息，并将传输信息上报到服务器；
基于传输信息，建立文件传输路径表与文件传输路径图；
对文件传输路径表中的每条记录，根据目的主机IP地址和唯一标识，与文件状态表中对应的文件所在主机IP地址和唯一标识的记录进行匹配，若匹配成功，则认为该条记录对应的文件传输成功；若匹配失败，则判断文件传输路径表中相应记录所对应的文件状态是否为新建文件，若是新建文件，且状态变化时间在文件传输时间之后的规定时间内，则认为该条记录对应的文件传输成功；否则认为该条记录对应的文件传输失败，并在文件传输路径表中将该条记录删除；
在文件传输路径图中标记文件状态；
所述文件状态表，其字段包括：自增ID、文件所在主机IP地址、唯一标识、文件名、文件路径、文件状态、状态变化时间；其中，所述文件状态包括：新建文件、删除文件、接收文件、已传输文件；
所述文件传输路径表，其字段包括：自增ID、文件传输时间、来源主机IP地址、唯一标识、目的主机IP地址。
2.如权利要求1所述的方法，其特征在于，所述基于传输信息，建立文件传输路径表与文件传输路径图，其中所述文件传输路径表根据局域网中的文件传输做动态更新；所述建立文件传输路径图具体为：根据唯一标识对文件传输路径表中的记录进行分组，将唯一标识相同的记录作为一组，将每组记录通过十字链表建立有向图，生成文件传输路径图。
3.如权利要求2所述的方法，其特征在于，所述在文件传输路径图中标记文件状态，具体为：根据文件所在主机IP地址和唯一标识对文件状态表中的记录进行分组，将文件所在主机IP地址和唯一标识相同的记录作为一组，每组中最晚生成的记录作为相应文件在对应主机上的最后状态，将所述最后状态标记到文件传输路径图中。
4.如权利要求1或3所述的方法，其特征在于，所述监控局域网主机上文件的新建和删除，具体为：通过读取主机NTFS磁盘中的MFT表，实现对局域网中主机上文件的新建和删除进行监控；所述计算各文件的唯一标识，具体为：根据MFT表中的文件名和文件路径，定位各文件位置，将各文件的文件内容读入内存，计算各文件的唯一标识。
5.如权利要求4所述的方法，其特征在于，所述在服务器上创建文件状态表，具体为：基于各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息，并以唯一标识、文件所在主机IP地址作为主键，创建文件状态表；所述文件状态表根据局域网中的文件传输做动态更新。
6.如权利要求1或3或5所述的方法，其特征在于，所述监控局域网中的文件传输，记录传输信息，具体为：将网络监控设备连接到局域网核心交换机的镜像口，对局域网内的流量以及传输文件进行还原，并计算传输文件的唯一标识，获取和记录传输信息。
7.如权利要求6所述的方法，其特征在于，所述将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，具体为：将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息格式化为json格式数据，将所述json格式数据上报到服务器。
8.如权利要求1或3或5或7所述的方法，其特征在于，所述将传输信息上报到服务器，具体为：将传输信息格式化为json格式数据，将该json数据上报到服务器。
9.一种记录局域网文件传输路径和分布情况的系统，其特征在于，包括：
文件监控模块，用于监控局域网主机上文件的新建和删除，记录主机上各文件的文件信息，并计算各文件的唯一标识；
文件状态表创建模块，用于将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，并在服务器上创建文件状态表；
传输监控模块，用于监控局域网中的文件传输，记录传输信息，并将传输信息上报到服务器；
路径分布生成模块，用于基于传输信息，建立文件传输路径表与文件传输路径图；
传输路径表校准模块，用于对文件传输路径表中的每条记录，根据目的主机IP地址和唯一标识，与文件状态表中对应的文件所在主机IP地址和唯一标识的记录进行匹配，若匹配成功，则认为该条记录对应的文件传输成功；若匹配失败，则判断文件传输路径表中相应记录所对应的文件状态是否为新建文件，若是新建文件，且状态变化时间在文件传输时间之后的规定时间内，则认为该条记录对应的文件传输成功；否则认为该条记录对应的文件传输失败，并在文件传输路径表中将该条记录删除；
文件状态标记模块，用于在文件传输路径图中标记文件状态；所述文件状态表，其字段包括：自增ID、文件所在主机IP地址、唯一标识、文件名、文件路径、文件状态、状态变化时间；其中，所述文件状态包括：新建文件、删除文件、接收文件、已传输文件；
所述文件传输路径表，其字段包括：自增ID、文件传输时间、来源主机IP地址、唯一标识、目的主机IP地址。
10.如权利要求9所述的系统，其特征在于，所述路径分布生成模块，其中所述文件传输路径表根据局域网中的文件传输做动态更新；所述建立文件传输路径图具体为：根据唯一标识对文件传输路径表中的记录进行分组，将唯一标识相同的记录作为一组，将每组记录通过十字链表建立有向图，生成文件传输路径图。
11.如权利要求10所述的系统，其特征在于，所述文件状态标记模块，具体用于：根据文件所在主机IP地址和唯一标识对文件状态表中的记录进行分组，将文件所在主机IP地址和唯一标识相同的记录作为一组，每组中最晚生成的记录作为相应文件在对应主机上的最后状态，将所述最后状态标记到文件传输路径图中。
12.如权利要求9或11所述的系统，其特征在于，所述监控局域网主机上文件的新建和删除，具体为：通过读取主机NTFS磁盘中的MFT表，实现对局域网中主机上文件的新建和删除进行监控；所述计算各文件的唯一标识，具体为：根据MFT表中的文件名和文件路径，定位各文件位置，将各文件的文件内容读入内存，计算各文件的唯一标识。
13.如权利要求12所述的系统，其特征在于，所述在服务器上创建文件状态表，具体为：基于各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息，并以唯一标识、文件所在主机IP地址作为主键，创建文件状态表；所述文件状态表根据局域网中的文件传输做动态更新。
14.如权利要求9或11或13所述的系统，其特征在于，所述监控局域网中的文件传输，记录传输信息，具体为：将网络监控设备连接到局域网核心交换机的镜像口，对局域网内的流量以及传输文件进行还原，并计算传输文件的唯一标识，获取和记录传输信息。
15.如权利要求14所述的系统，其特征在于，所述将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息上报到服务器，具体为：将各文件的文件信息、唯一标识，以及相应文件所在主机的主机信息格式化为json格式数据，将所述json格式数据上报到服务器。
16.如权利要求9或11或13或15所述的系统，其特征在于，所述将传输信息上报到服务器，具体为：将传输信息格式化为json格式数据，将该json数据上报到服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510992930.4A CN105743732B (zh) | 2015-12-28 | 2015-12-28 | 一种记录局域网文件传输路径和分布情况的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510992930.4A CN105743732B (zh) | 2015-12-28 | 2015-12-28 | 一种记录局域网文件传输路径和分布情况的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105743732A CN105743732A (zh) | 2016-07-06 |
| CN105743732B true CN105743732B (zh) | 2020-03-17 |
Family
ID=56296304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510992930.4A Active CN105743732B (zh) | 2015-12-28 | 2015-12-28 | 一种记录局域网文件传输路径和分布情况的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105743732B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107645480B (zh) * | 2016-07-22 | 2021-04-30 | 阿里巴巴集团控股有限公司 | 数据监控方法及系统、装置 |
| CN106856478A (zh) * | 2016-12-29 | 2017-06-16 | 北京奇虎科技有限公司 | 一种基于局域网的安全检测方法和装置 |
| CN106850564B (zh) * | 2016-12-29 | 2020-07-28 | 北京安天网络安全技术有限公司 | 一种定位文件横向移动路径的方法及系统 |
| CN107241446B (zh) * | 2017-07-31 | 2021-04-23 | 阿里巴巴（中国）有限公司 | 应用程序的文件传输方法、装置和终端设备及存储介质 |
| CN110620749A (zh) * | 2018-06-20 | 2019-12-27 | 北京安天网络安全技术有限公司 | 一种终端网络监控分析文件传播与分布的方法及系统 |
| CN109063081B (zh) * | 2018-07-25 | 2022-05-24 | 广东浪潮大数据研究有限公司 | 一种nfs业务监控方法、装置、设备及可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101098226B (zh) * | 2006-06-27 | 2011-02-09 | 飞塔公司 | 一种病毒在线实时处理系统及其方法 |
| US9736121B2 (en) * | 2012-07-16 | 2017-08-15 | Owl Cyber Defense Solutions, Llc | File manifest filter for unidirectional transfer of files |
| CN102880714B (zh) * | 2012-09-29 | 2016-08-24 | 北京奇虎科技有限公司 | 文件清理方法及装置 |
| CN103617392B (zh) * | 2013-11-22 | 2017-02-01 | 北京奇虎科技有限公司 | 对智能终端的外接存储设备的安全扫描方法及其装置 |
| JP2015109567A (ja) * | 2013-12-04 | 2015-06-11 | Ｎｅｃネッツエスアイ株式会社 | ファイル監視機能付き撮像装置及び撮像装置のファイル監視方法並びに撮像装置のファイル監視プログラム |
| CN104778420B (zh) * | 2015-04-24 | 2018-07-03 | 广东电网有限责任公司信息中心 | 非结构化数据全生命周期的安全管理视图建立方法 |
-
2015
- 2015-12-28 CN CN201510992930.4A patent/CN105743732B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105743732A (zh) | 2016-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105743732B (zh) | 一种记录局域网文件传输路径和分布情况的方法及系统 | |
| US11902096B2 (en) | Collection of error packet information for network policy enforcement | |
| US10860406B2 (en) | Information processing device and monitoring method | |
| CN111625841B (zh) | 一种病毒处理方法、装置及设备 | |
| CN109858243B (zh) | 追踪病毒来源的方法和装置 | |
| CN111371623B (zh) | 业务性能和安全的监测方法、装置、存储介质及电子设备 | |
| CN110313147A (zh) | 数据处理方法、装置和系统 | |
| CN110620768A (zh) | 一种用于物联网智能终端的基线安全检测方法及装置 | |
| US20110060789A1 (en) | File transfer security system and method | |
| CN111314164A (zh) | 一种网络流量还原方法、装置和计算机可读存储介质 | |
| EP3460769B1 (en) | System and method for managing alerts using a state machine | |
| KR102069142B1 (ko) | 명확한 프로토콜 사양 자동 추출을 위한 장치 및 방법 | |
| CN108173889A (zh) | 用户数据处理方法及用户数据处理装置 | |
| CN114189361A (zh) | 防御威胁的态势感知方法、装置及系统 | |
| CN112527772A (zh) | 一种图数据库审计方法及审计设备 | |
| CN111343132B (zh) | 文件传输检测方法及装置、存储介质 | |
| CN113660223B (zh) | 基于告警信息的网络安全数据处理方法、装置及系统 | |
| CN115955333A (zh) | C2服务器识别方法、装置、电子设备及可读存储介质 | |
| KR100656340B1 (ko) | 비정상 트래픽 정보 분석 장치 및 그 방법 | |
| CN102752318B (zh) | 一种基于互联网的信息安全验证方法和系统 | |
| Mohammadi et al. | Detecting malicious packet drops and misroutings using header space analysis | |
| CN115174197B (zh) | webshell文件的检测方法、系统、电子设备及计算机存储介质 | |
| KR101753846B1 (ko) | 사용자 맞춤형 로그 타입을 생성하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 | |
| KR102156600B1 (ko) | 네트워크에서 수집된 패킷과 엔드포인트 컴퓨팅 장치의 프로세스 간의 연관관계를 생성하는 시스템 및 방법 | |
| CN114598536B (zh) | 一种云平台虚拟化数据流量安全监控方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 150028 Building 7, Innovation Plaza, Science and Technology Innovation City, Harbin Hi-tech Industrial Development Zone, Heilongjiang Province (838 Shikun Road) Applicant after: Harbin Antian Science and Technology Group Co.,Ltd. Address before: 506 room 162, Hongqi Avenue, Nangang District, Harbin Development Zone, Heilongjiang, 150090 Applicant before: HARBIN ANTIY TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 150028 building 7, innovation and entrepreneurship square, science and technology innovation city, Harbin high tech Industrial Development Zone, Heilongjiang Province (No. 838, Shikun Road) Patentee after: Antan Technology Group Co.,Ltd. Address before: 150028 building 7, innovation and entrepreneurship square, science and technology innovation city, Harbin high tech Industrial Development Zone, Heilongjiang Province (No. 838, Shikun Road) Patentee before: Harbin Antian Science and Technology Group Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240805 Address after: 4th Floor, 838 Shikun Road, Building 7, Innovation and Entrepreneurship Plaza, High tech Zone, Harbin City, Heilongjiang Province, China 150023 Patentee after: Harbin Antan System Security Technology Co.,Ltd. Country or region after: China Address before: 150028 building 7, innovation and entrepreneurship square, science and technology innovation city, Harbin high tech Industrial Development Zone, Heilongjiang Province (No. 838, Shikun Road) Patentee before: Antan Technology Group Co.,Ltd. Country or region before: China |