CN110300085A - 网络攻击的取证方法、装置、系统、统计集群和计算集群 - Google Patents

网络攻击的取证方法、装置、系统、统计集群和计算集群 Download PDF

Info

Publication number
CN110300085A
CN110300085A CN201810239333.8A CN201810239333A CN110300085A CN 110300085 A CN110300085 A CN 110300085A CN 201810239333 A CN201810239333 A CN 201810239333A CN 110300085 A CN110300085 A CN 110300085A
Authority
CN
China
Prior art keywords
statistical
cluster
evidence
node
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810239333.8A
Other languages
English (en)
Other versions
CN110300085B (zh
Inventor
王栋栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810239333.8A priority Critical patent/CN110300085B/zh
Publication of CN110300085A publication Critical patent/CN110300085A/zh
Application granted granted Critical
Publication of CN110300085B publication Critical patent/CN110300085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/146—Tracing the source of attacks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开涉及一种网络攻击的取证方法、装置、系统、统计集群和计算集群，涉及网络安全技术领域。该方法包括：统计集群中的各节点按照协议类型将获取的流量分为不同类型的报文，并对各类型的报文中数据包的大小和个数进行统计以确定统计结果；各节点按照报文的目的IP对统计结果进行累加，并作为统计信息发送给计算集群；各节点接收计算集群根据统计信息确定的取证指令；各节点根据取证指令中的目的IP，在统计信息中确定取证结果。本公开的技术方案能够提高取证效率和实时性。

Description

网络攻击的取证方法、装置、系统、统计集群和计算集群
技术领域
本公开涉及网络安全技术领域，特别涉及一种网络攻击的取证方法、网络攻击的取证装置、网络攻击的取证系统、统计集群、计算集群和计算机可读存储介质。
背景技术
网络攻击取证是指抓取、记录和分析网络事件以发现安全攻击或其他问题事件的来源。
在相关技术中，网络攻击取证大都通过人工操作来完成。当发生网络攻击时，网络管理员采用抓包等方式取证攻击流量，再根据经验分析攻击报文。例如，网络管理员提取出攻击报文的IP地址、端口、报文特征等内容，以判断攻击行为并完成取证。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：当攻击流量较大时，很难在海量的报文里面有效分析出攻击者的关键信息，也很难在有效的攻击时间内及时获取攻击信息。即，相关技术的取证效率低和实时性差。针对上述问题中的至少一个问题，本公开提出了一种网络攻击的取证技术方案能够提高取证效率和实时性。
根据本公开的一些实施例，提供了一种网络攻击的取证方法，包括：统计集群中的各节点按照协议类型将获取的流量分为不同类型的报文，并对各类型的报文中数据包的大小和个数进行统计以确定统计结果；所述各节点按照报文的目的IP对所述统计结果进行累加，并作为统计信息发送给计算集群；所述各节点接收所述计算集群根据所述统计信息确定的取证指令；所述各节点根据所述取证指令中的目的IP，在所述统计信息中确定取证结果。
可选地，所述各节点创建多个业务线程，分别绑定不同的CPU处理核心，各所述CPU处理核心分别绑定不同的网卡；所述各节点通过所述业务线程接收相应网卡发来的报文；所述各节点通过所述业务线程对所述报文中数据包的大小和个数进行统计以确定所述统计结果。
可选地，所述各节点创建管理线程；所述各节点通过所述管理线程按照目的IP对各所述业务线程确定的统计结果进行累加作为所述统计信息；所述各节点通过所述管理线程将所述统计信息发送给所述计算集群。
可选地，所述各节点通过所述管理线程将所述取证指令分发给各所述业务线程；所述各节点通过各所述业务线程根据所述取证指令相应的目的IP在所述统计信息中确定所述取证结果。
可选地，所述统计集群将所述取证结果发送给存储集群。
根据本公开的另一些实施例，提供一种网络攻击的取证方法，包括：计算集群接收统计集群的各节点发来的统计信息；按照目的IP对所述统计信息中的数据包个数和数据包大小进行累加以确定累加结果；在所述累加结果中存在大于第一阈值的数据包个数，或存在大于第二阈值的数据包大小的情况下，所述计算集群生成相应目的IP的取证指令；将所述取证指令发送给所述统计集群。
可选地，根据所述统计信息中的目的IP将所述统计信息分为多个子信息；按照路由表将各所述子信息分别发送到所述计算集群的各节点；所述计算集群的各节点对所述子信息进行累加以确定累加结果。
根据本公开的又一些实施例，提供一种统计集群，包括：处理器，用于按照协议类型将获取的流量分为不同类型的报文，对各类型的报文中数据包的大小和个数进行统计以确定统计结果，并按照报文的目的IP对所述统计结果进行累加作为统计信息；发送单元，用于将所述统计信息发送给计算集群；接收单元，用于接收所述计算集群根据所述统计信息确定的取证指令；所述处理器还被配置为用于根据所述取证指令中的目的IP，在所述统计信息中确定取证结果。
可选地，所述处理器创建多个业务线程，分别绑定不同的CPU处理核心，各所述CPU处理核心分别绑定不同的网卡，所述处理器通过所述业务线程接收相应网卡发来的报文，所述处理器通过所述业务线程对所述报文中数据包的大小和个数进行统计以确定所述统计结果。
可选地，所述处理器创建管理线程，通过所述管理线程按照目的IP对各所述业务线程确定的统计结果进行累加作为所述统计信息，所述发送单元通过所述管理线程将所述统计信息发送给所述计算集群。
可选地，所述处理器通过所述管理线程将所述取证指令分发给各所述业务线程，所述处理器通过各所述业务线程根据所述取证指令相应的目的IP在所述统计信息中确定所述取证结果。
可选地，所述发送单元将所述取证结果发送给存储集群。
根据本公开的又一些实施例，提供一种计算集群，包括：接收单元，用于接收统计集群的各节点发来的统计信息；处理器，用于按照目的IP对所述统计信息中的数据包个数和数据包大小进行累加以确定累加结果，在所述累加结果中存在大于第一阈值的数据包个数，或存在大于第二阈值的数据包大小的情况下，生成相应目的IP的取证指令；发送单元，用于将所述取证指令发送给所述统计集群。
可选地，所述处理器根据所述统计信息中的目的IP将所述统计信息分为多个子信息，按照路由表将所述子信息发送到所述计算集群的各节点分别进行累加以确定累加结果。
根据本公开的再一些实施例，提供一种网络攻击的取证系统，包括：上述任一个实施例所述的统计集群和上述任一个实施例所述的计算集群。
根据本公开的再一些实施例，提供一种网络攻击的取证装置，包括：存储器和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例所述的网络攻击的取证方法中的一个或多个步骤。
根据本公开的再一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例所述的网络攻击的取证方法中的一个或多个步骤。
在上述实施例中，利用统计集群根据报文中数据包的大小和个数获取各目的IP的统计信息，依据统计信息可以自动识别网络攻击行为并进行取证。这样可以提高取证的效率和实时性。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1示出本公开的网络攻击的取证方法的一些实施例的流程图；
图2示出本公开的步骤110的一些实施例的流程图；
图3示出本公开的步骤120的一些实施例的流程图；
图4示出本公开的步骤140的一些实施例的流程图；
图5示出本公开的网络攻击的取证方法的另一些实施例的流程图；
图6示出本公开的步骤510的一些实施例的流程图；
图7示出本公开的统计集群的一些实施例的框图；
图8示出本公开的计算集群的一些实施例的框图；
图9示出本公开的网络攻击的取证系统的一些实施例的框图；
图10示出本公开的网络攻击的取证装置的一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为了实现网络攻击的自动化取证，本公开采用统计集群统计汇总流量信息以获取统计信息，再将统计信息发送给计算集群进行攻击行为分析。然后，可以根据计算集群生成的取证指令中的关键信息对海量流量进行攻击取证。
图1示出本公开的网络攻击的取证方法的一些实施例的流程图。
如图1所示，该方法包括：步骤110，确定统计结果；步骤120，发送统计信息；步骤130，接收取证指令；和步骤140，确定取证结果。
在步骤110中，统计集群中的各节点按照协议类型将获取的流量分为不同类型的报文，并对各类型的报文中数据包的大小和个数进行统计以确定统计结果。
在一些实施例中，统计集群可以从交换机中获取全量镜像流量作为统计对象。即，可以通过交换机的端口镜像把源端口的流量完全拷贝一份，从目的端口发给统计集群。即，交换机原来的端口还是按照原来的方式工作，复制的端口用来做监听或找出网络存在问题的原因。这样既能对流量进行分析，又不影响数据的正常发送。例如，可以将交换机配置成负载均衡模式，根据负载均衡算法将全量镜像流量分流到统计集群中。
在一些实施例中，可以通过图2中的步骤确定统计结果。
图2示出本公开的步骤110的一些实施例的流程图。
如图2所示，步骤110包括：步骤1101，创建业务线程；步骤1102，接收报文；和步骤1103，确定统计结果。
在步骤1101中，统计集群中的各节点创建多个业务线程，分别绑定不同的CPU处理核心，各CPU处理核心分别绑定不同的网卡。
在一些实施例中，可以集合分布式计算技术和DPDK(Data Plane DevelopmentKit，数据平面开发套件))技术来实现步骤1101。统计集群中的各节点(各计算机)利用DPDK技术，启用多个网卡、多CPU处理核心对接收到的流量进行高并发处理。例如，可以利用DPDK技术的API(Application Programming Interface，应用程序编程接口)将节点的各网卡的发送接收队列分别绑定到各CPU处理核心上，从而完成网卡和CPU的初始化。这样可以提高攻击取证的处理效率和实时性。
在步骤1102中，统计集群中的各节点通过业务线程接收相应网卡发来的报文。例如，各业务线程可以通过DPDK的API接收各网卡报文。
在步骤1103中，统计集群中的各节点通过业务线程对报文中数据包的大小和个数进行统计以确定统计结果。例如，业务线程可以根据报文的目的IP进行哈希运算，查找该业务线程对应的统计表，更新表中条目的报文信息(如入方向的所有数据包个数、入方向的所有数据包比特数等)作为统计结果。统计表例如可以根据全局配置文件中的目的IP进行创建。
在一些实施例中，针对不同的目的IP，不同的业务线程建立全局哈希桶，各“桶”(虚拟子群组)中存储的统计表中可以包括不同的字段。例如，可以根据目的IP确定统计表中包含哪几个字段，并根据接收到的报文对这些字段的数值进行统计。统计表中可选的字段可以包括：Destination Address字段(表示统计信息的目的IP)、In Packets字段(表示统计周期内，入方向的所有数据包个数)、In Bits字段(表示统计周期内，入方向的所有数据包比特数)、UDP(User Datagram Protocol，用户数据报协议)In Packets字段(表示统计周期内，入方向的UDP类型数据包个数)、UDP In Bits字段(表示统计周期内，入方向的UDP类型数据包比特数)、ICMP(Internet Control Message Protocol，互联网控制报文协议)In Packets字段(表示统计周期内，入方向的ICMP类型数据包个数)、ICMP In Bits字段(表示统计周期内，入方向的ICMP类型数据包比特数)、IGMP(Internet Group ManagementProtocol，互联网组管理协议称)In Packets字段(表示统计周期内，入方向的IGMP类型数据包个数)、IGMP In Bits字段(表示统计周期内，入方向的IGMP类型数据包比特数)、TCP(Transmission Control Protocol，传输控制协议)In Packets字段(表示统计周期内，入方向的TCP类型数据包个数)、TCP In Bits字段(表示统计周期内，入方向的TCP类型数据包比特数)、TCP Sync(建立连接)In Packets字段(表示统计周期内，入方向的TCP类型的Sync数据包个数)、TCP Ack(响应)In Packets字段(表示统计周期内，入方向的TCP类型的Ack数据包个数)、TCP Fin(关闭连接)In Packets字段(表示统计周期内，入方向的TCP类型的Fin数据包个数)、TCP Rst(连接重置)In Packets字段(表示统计周期内，入方向的TCP类型的Rst数据包个数)。获得了统计结果后，就可以通过图1中的步骤120获取统计信息。
在步骤120中，各节点按照报文的目的IP对统计结果进行累加，并作为统计信息发送给计算集群。例如，可以通过图3中的步骤发送统计信息。
图3示出本公开的步骤120的一些实施例的流程图。
如图3所示，步骤120包括：步骤1201，创建管理线程；步骤1202，确定统计信息；步骤1203，发送统计信息。
在步骤1201中，统计集群的各节点创建管理线程。例如，节点可以创建一个管理线程，并且将其绑定到CPU处理核心上。
在一些实施例中，各业务线程可以将统计周期内的统计结果通过DPDK的环形缓冲区无锁地发送给相应的管理线程。DPDK的无锁环形缓冲区，使得不同线程之间访问共享数据不用加锁，避免了CPU的忙等待，从而提高数据处理性能。
在步骤1202中，统计集群的各节点通过管理线程按照目的IP对各业务线程确定的统计结果进行累加作为统计信息。
在步骤1203中，统计集群的各节点通过管理线程将统计信息发送给计算集群。例如，可以通过套接字的形式发送给计算集群分析。计算集群对统计信息进行分析后返回取证指令，可以通过图1中的步骤130、140继续进行取证。
在步骤130中，各节点接收计算集群根据统计信息确定的取证指令。在一个实施例中，取证指令可以包括Destination Address字段，用于表示取证的目的IP地址，如果Destination Address字段为0，可以表示取证所有的目的IP地址。取证指令还可以根据需要包括下述字段中的一个或几个：Count字段(表示一个取证周期内，目的地址为Destination Address，源地址为Source Address的数据包个数)、Bit字段(表示一个取证周期内，目的地址为Destination Address，源地址为Source Address的数据包大小)、Expire字段(表示取证的时间，单位可以为秒)、Source Address字段(表示取证的源IP地址，若为0，则表示取证所有的源IP地址)、Source Port字段(表示取证的源端口，若为0，则表示取证所有的源端口)、Destination Port字段(表示取证的目的端口，若为0，则表示取证所有的目的端口)。
在步骤140中，各节点根据取证指令中的目的IP，在统计信息中确定取证结果。例如可以通过图4中的步骤确定取证结果。
图4示出本公开的步骤140的一些实施例的流程图。
如图4所示，步骤140包括：步骤1401，分发取证指令；和步骤1402，确定取证结果。
在步骤1401中，统计集群的各节点通过管理线程将取证指令分发给各业务线程。例如，管理线程可以将取证指令通过DPDK的环形缓冲区，无锁地分发给各业务线程。
在步骤1402中，统计集群的各节点通过各业务线程根据取证指令相应的目的IP在统计信息中确定取证结果。
在一个实施例中，各业务线程接收管理线程分发的取证指令，可以根据取证指令中的目的IP进行哈希运算以创建取证策略。取证策略可以由各业务线单独维护，取证策略决定从取证指令中选取哪些字段作为取证结果。这种取证策略的创建方式为动态创建方式，还可以将超时老化的取证策略删除，从而提高取证结果的灵活性和实时性。例如，取证策略可以设置为从取证指令中选取源IP字段和Count字段作为取证结果，也可以选取源端口字段和Count字段作为取证结果。
在一些实施例中，统计集群取证结果发送给存储集群，还可以根据目的IP将相应的报文确定为攻击报文，并对攻击报文进行采样。例如，当到统计周期时，业务线程可以将该周期内的取证结果、采样报文通过DPDK的环形缓冲区，无锁地发送给管理线程，管理线程将各业务线程的取证结果发送给分布式大数据存储集群，同时将采样报文存储到本机。
在一些实施例中，计算集群可以通过图5中的步骤生成取证指令。
图5示出本公开的网络攻击的取证方法的另一些实施例的流程图。
在一些实施例中，计算集群可以采用流式计算方式。在流式计算中，数据以高并发的方式迅速到达，数据到达、处理和向后传递均是持续不断的。也就是说，流式计算的原始数据在单遍扫描、处理后丢弃，并不进行保存，只有计算结果和部分中间数据在有限时间内被保存和向后传递。这样可以提高攻击取证的实时性。
例如，可以采用Go语言结合etcd框架来实现分布式流式计算。这样可以利用etcd中的Raft算法，实现强一致性、高可用性的集群节点调度，使得流式计算能够并发进行。利用Go语言的go routine和channel等技术实现单集群节点的高并发流式数据处理。
如图5所示，该方法包括：步骤510，确定累加结果；步骤520，生成取证指令。而且，在步骤510之前还包括计算集群接收统计集群的各节点发来的统计信息；在步骤520之后还包括计算集群将取证指令发送给统计集群。
在步骤510中，计算集群按照目的IP对接收到的统计信息中的数据包个数和数据包大小进行累加以确定累加结果。统计信息可以根据上述任一个实施例获取。例如可以通过图6中的步骤确定累加结果。
图6示出本公开的步骤510的一些实施例的流程图。
如图6所示，步骤510包括：步骤5101，划分统计信息；和步骤5102，确定累加结果。
在步骤5101中，统计信息被计算集群根据统计信息中的目的IP分为多个子信息。
在步骤5102中，各子信息被按照路由表发送到计算集群的各节点分别进行累加以确定累加结果。
在一些实施例中，可以将计算集群中所有的节点连接到etcd以获取所有节点的信息，根据节点信息创建路由表。当计算集群中节点动态加入或者离开时，可以广播节点变化消息到整个计算集群。然后，计算集群中的各节点会根据该消息动态调整路由表，以保持各节点信息的一致性。
在一些实施例中，可以开启Go语言的Receiver组件，接收统计集群的统计信息。根据统计信息中的目的IP进行哈希计算，在路由表中查找子信息的流转目的地。如果目的地是本地Bolt组件(本地节点)，可以将子信息发送给本地Bolt组件的bolt线程池中的特定bolt线程处理(例如，通过Go语言的channel发送)。如果目的地是非本地Bolt组件(非本地节点)，可以根据路由表将子信息转发给技术集群中的其他本地节点(例如，通过channel将子信息发送给Forward组件中forward线程池进行转发)。
在一些实施例中，计算集群中的结点的相应线程(如bolt线程)收到子信息后，以其中的目的IP字段为key进行哈希计算以确定本线程的统计结构，然后将子信息中数据累加到统计结构的相应字段中去。
不同线程可以有自己独有的统计结构，例如统计结构可以包括DestinationAddress字段、In Packets字段、In Bits字段、UDP In Packets字段、UDP In Bits字段、ICMP In Packets字段、ICMP In Bits字段、IGMP In Packets字段、IGMP In Bits字段、TCPIn Packets字段、TCP In Bits字段、TCP SyncIn Packets字段、TCP Ack In Packets字段、TCP Fin In Packets字段、TCP Rst In Packets字段中的一个或几个。
在步骤520中，在累加结果中存在大于第一阈值的数据包个数，或存在大于第二阈值的数据包大小的情况下，计算集群生成相应目的IP的取证指令。例如，如果累加后的统计结构值超过了配置的阈值，则将相应的目的IP地址作为Destination Address字段值，将超过阈值的字段协议作为Protocol创建取证指令发送给统计集群。
在一些实施例中，可以设置存储集群来存储取证结果。例如，可以采用kafka(高吞吐量的分布式发布订阅消息系统)来创建存储集群。存储集群接收来自统计集群的取证结果，将其转换为json格式，再利用ES(ElasticSearch，基于Lucene的搜索服务器)提供的API，存入ES中。使用者可以利用ES的Restful API或者kibana进行攻击信息查询。
在上述实施例中，利用统计集群根据报文中数据包的大小和个数获取各目的IP的统计信息，依据统计信息可以自动识别网络攻击行为并进行取证。这样可以提高取证的效率和实时性。
图7示出本公开的统计集群的一些实施例的框图。
如图7所示，统计集群7包括：处理器71、发送单元72、接收单元73。
处理器71按照协议类型将获取的流量分为不同类型的报文，并对各类型的报文中数据包的大小和个数进行统计以确定统计结果，按照报文的目的IP对统计结果进行累加作为统计信息。
在一些实施例中，处理器71创建多个业务线程，分别绑定不同的CPU处理核心，各CPU处理核心分别绑定不同的网卡。处理器71通过业务线程接收相应网卡发来的报文，通过业务线程对报文中数据包的大小和个数进行统计以确定统计结果。
在一些实施例中，处理器71创建管理线程，通过管理线程按照目的IP对各业务线程确定的统计结果进行累加作为统计信息。
发送单元72将统计信息发送给计算集群。例如，发送单元72通过管理线程将统计信息发送给计算集群。
接收单元73接收计算集群根据统计信息确定的取证指令。
处理器71根据取证指令中的目的IP，在统计信息中确定取证结果。在一些实施例中，处理器71通过管理线程将取证指令分发给各业务线程。处理器71通过各业务线程根据取证指令相应的目的IP在统计信息中确定取证结果。
在一些实施例中，发送单元72将取证结果发送给存储集群。
在上述实施例中，利用统计集群根据报文中数据包的大小和个数获取各目的IP的统计信息，依据统计信息可以自动识别网络攻击行为并进行取证。这样可以提高取证的效率和实时性。
图8示出本公开的计算集群的一些实施例的框图。
如图8所示，计算集群8包括：接收单元81、处理器82和发送单元83。
接收单元81接收统计集群的各节点发来的统计信息。处理器82按照目的IP对接收到的统计信息中的数据包个数和数据包大小进行累加以确定累加结果。在一些实施例中，处理器82根据统计信息中的目的IP将统计信息分为多个子信息，按照路由表将子信息发送到计算集群的各节点分别进行累加以确定累加结果。
处理器82在累加结果中存在大于第一阈值的数据包个数，或存在大于第二阈值的数据包大小的情况下，生成相应目的IP的取证指令。
发送单元83将取证指令发送给统计集群。
在上述实施例中，利用统计集群根据报文中数据包的大小和个数获取各目的IP的统计信息，依据统计信息可以自动识别网络攻击行为并进行取证。这样可以提高取证的效率和实时性。
图9示出本公开的网络攻击的取证系统的一些实施例的框图。
如图9所示，网络攻击的取证系统9包括：上述任一个实施例中的统计集群91和计算集群92。
图10示出本公开的网络攻击的取证装置的一些实施例的框图。
如图10所示，该实施例的网络攻击的取证装置10包括：存储器101和耦接至该存储器101的处理器102，处理器102被配置为基于存储在存储器101中的指令，执行本公开中任意一个实施例中的网络攻击的取证方法。
存储器101例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(BootLoader)、数据库以及其他程序等。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的网络攻击的取证方法、网络攻击的取证装置、网络攻击的取证系统、统计集群、计算集群和计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (17)

1.一种网络攻击的取证方法，包括：
统计集群中的各节点按照协议类型将获取的流量分为不同类型的报文，并对各类型的报文中数据包的大小和个数进行统计以确定统计结果；
所述各节点按照报文的目的IP对所述统计结果进行累加，并作为统计信息发送给计算集群；
所述各节点接收所述计算集群根据所述统计信息确定的取证指令；
所述各节点根据所述取证指令中的目的IP，在所述统计信息中确定取证结果。
2.根据权利要求1所述的取证方法，其中，所述确定统计结果包括：
所述各节点创建多个业务线程，分别绑定不同的CPU处理核心，各所述CPU处理核心分别绑定不同的网卡；
所述各节点通过所述业务线程接收相应网卡发来的报文；
所述各节点通过所述业务线程对所述报文中数据包的大小和个数进行统计以确定所述统计结果。
3.根据权利要求2所述的取证方法，其中，将所述统计信息发送给所述计算集群包括：
所述各节点创建管理线程；
所述各节点通过所述管理线程按照目的IP对各所述业务线程确定的统计结果进行累加作为所述统计信息；
所述各节点通过所述管理线程将所述统计信息发送给所述计算集群。
4.根据权利要求3所述的取证方法，其中，所述确定取证结果包括：
所述各节点通过所述管理线程将所述取证指令分发给各所述业务线程；
所述各节点通过各所述业务线程根据所述取证指令相应的目的IP在所述统计信息中确定所述取证结果。
5.根据权利要求1-4任一项所述的取证方法，还包括：
所述统计集群将所述取证结果发送给存储集群。
6.一种网络攻击的取证方法，包括：
计算集群接收统计集群的各节点发来的统计信息；
按照目的IP对所述统计信息中的数据包个数和数据包大小进行累加以确定累加结果；
在所述累加结果中存在大于第一阈值的数据包个数，或存在大于第二阈值的数据包大小的情况下，所述计算集群生成相应目的IP的取证指令；
将所述取证指令发送给所述统计集群。
7.根据权利要求6所述的取证方法，其中，上述确定累加结果包括：
根据所述统计信息中的目的IP将所述统计信息分为多个子信息；
按照路由表将各所述子信息分别发送到所述计算集群的各节点；
所述计算集群的各节点对所述子信息进行累加以确定累加结果。
8.一种统计集群，包括：
处理器，用于按照协议类型将获取的流量分为不同类型的报文，对各类型的报文中数据包的大小和个数进行统计以确定统计结果，并按照报文的目的IP对所述统计结果进行累加作为统计信息；
发送单元，用于将所述统计信息发送给计算集群；
接收单元，用于接收所述计算集群根据所述统计信息确定的取证指令；
所述处理器还被配置为用于根据所述取证指令中的目的IP，在所述统计信息中确定取证结果。
9.根据权利要求8所述的统计集群，其中，
所述处理器创建多个业务线程，分别绑定不同的CPU处理核心，各所述CPU处理核心分别绑定不同的网卡，
所述处理器通过所述业务线程接收相应网卡发来的报文，
所述处理器通过所述业务线程对所述报文中数据包的大小和个数进行统计以确定所述统计结果。
10.根据权利要求9所述的统计集群，其中，
所述处理器创建管理线程，通过所述管理线程按照目的IP对各所述业务线程确定的统计结果进行累加作为所述统计信息，
所述发送单元通过所述管理线程将所述统计信息发送给所述计算集群。
11.根据权利要求10所述的统计集群，其中，
所述处理器通过所述管理线程将所述取证指令分发给各所述业务线程，
所述处理器通过各所述业务线程根据所述取证指令相应的目的IP在所述统计信息中确定所述取证结果。
12.根据权利要求8-11任一项所述的统计集群，其中，
所述发送单元将所述取证结果发送给存储集群。
13.一种计算集群，包括：
接收单元，用于接收统计集群的各节点发来的统计信息；
处理器，用于按照目的IP对所述统计信息中的数据包个数和数据包大小进行累加以确定累加结果，在所述累加结果中存在大于第一阈值的数据包个数，或存在大于第二阈值的数据包大小的情况下，生成相应目的IP的取证指令；
发送单元，用于将所述取证指令发送给所述统计集群。
14.根据权利要求13所述的计算集群，其中，
所述处理器根据所述统计信息中的目的IP将所述统计信息分为多个子信息，按照路由表将所述子信息发送到所述计算集群的各节点分别进行累加以确定累加结果。
15.一种网络攻击的取证系统，包括：
权利要求8-12任一项所述的统计集群；和
权利要求13或14所述的计算集群。
16.一种网络攻击的取证装置，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行权利要求1-7任一项所述的网络攻击的取证方法中的一个或多个步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的网络攻击的取证方法中的一个或多个步骤。
CN201810239333.8A 2018-03-22 2018-03-22 网络攻击的取证方法、装置、系统、统计集群和计算集群 Active CN110300085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810239333.8A CN110300085B (zh) 2018-03-22 2018-03-22 网络攻击的取证方法、装置、系统、统计集群和计算集群

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810239333.8A CN110300085B (zh) 2018-03-22 2018-03-22 网络攻击的取证方法、装置、系统、统计集群和计算集群

Publications (2)

Publication Number Publication Date
CN110300085A true CN110300085A (zh) 2019-10-01
CN110300085B CN110300085B (zh) 2022-08-12

Family

ID=68025608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810239333.8A Active CN110300085B (zh) 2018-03-22 2018-03-22 网络攻击的取证方法、装置、系统、统计集群和计算集群

Country Status (1)

Country Link
CN (1) CN110300085B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795600A (zh) * 2019-11-05 2020-02-14 成都深思科技有限公司 一种分布式网络流量的聚合降维统计方法
CN111813642A (zh) * 2020-07-06 2020-10-23 成都深思科技有限公司 基于多线程的网络通讯会话数据统计运算方法
CN113765849A (zh) * 2020-06-03 2021-12-07 中国移动通信集团重庆有限公司 一种异常网络流量检测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103249177A (zh) * 2012-08-13 2013-08-14 常州大学 一种无线传感器网络中DDoS攻击的追踪方法
CN103595732A (zh) * 2013-11-29 2014-02-19 北京奇虎科技有限公司 一种网络攻击取证的方法及装置
CN105187235A (zh) * 2015-08-12 2015-12-23 广东睿江科技有限公司 一种报文处理方法和装置
CN106161333A (zh) * 2015-03-24 2016-11-23 华为技术有限公司 基于sdn的ddos攻击防护方法、装置及系统
CN106549929A (zh) * 2016-07-15 2017-03-29 北京安天电子设备有限公司 一种apt攻击源头的定位方法及系统
CN107800674A (zh) * 2016-09-07 2018-03-13 百度在线网络技术（北京）有限公司 一种用于检测分布式拒绝服务的攻击流量的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103249177A (zh) * 2012-08-13 2013-08-14 常州大学 一种无线传感器网络中DDoS攻击的追踪方法
CN103595732A (zh) * 2013-11-29 2014-02-19 北京奇虎科技有限公司 一种网络攻击取证的方法及装置
CN106161333A (zh) * 2015-03-24 2016-11-23 华为技术有限公司 基于sdn的ddos攻击防护方法、装置及系统
CN105187235A (zh) * 2015-08-12 2015-12-23 广东睿江科技有限公司 一种报文处理方法和装置
CN106549929A (zh) * 2016-07-15 2017-03-29 北京安天电子设备有限公司 一种apt攻击源头的定位方法及系统
CN107800674A (zh) * 2016-09-07 2018-03-13 百度在线网络技术（北京）有限公司 一种用于检测分布式拒绝服务的攻击流量的方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795600A (zh) * 2019-11-05 2020-02-14 成都深思科技有限公司 一种分布式网络流量的聚合降维统计方法
CN113765849A (zh) * 2020-06-03 2021-12-07 中国移动通信集团重庆有限公司 一种异常网络流量检测方法和装置
CN113765849B (zh) * 2020-06-03 2023-08-18 中国移动通信集团重庆有限公司 一种异常网络流量检测方法和装置
CN111813642A (zh) * 2020-07-06 2020-10-23 成都深思科技有限公司 基于多线程的网络通讯会话数据统计运算方法

Also Published As

Publication number Publication date
CN110300085B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
US9485155B2 (en) Traffic analysis of data flows
Anderson et al. xOMB: Extensible open middleboxes with commodity servers
US9043461B2 (en) Firewall event reduction for rule use counting
US8069210B2 (en) Graph based bot-user detection
RU2419986C2 (ru) Объединение многострочных протокольных вхождений
US8730819B2 (en) Flexible network measurement
JP5679917B2 (ja) データ・ストリームを処理するためのコンピュータ実装方法、システム及びコンピュータ・プログラム
US9356844B2 (en) Efficient application recognition in network traffic
KR100985237B1 (ko) 패킷 라우팅을 위한 방법, 장치 및 시스템, 메시지 라우팅을 위한 방법 및 장치, 디지탈 컨텐트 분배를 위한 네트워크 및 방법, 및 라우팅 및 캐싱을 위한 방법, 네트워크 및 장치
CN110300085A (zh) 网络攻击的取证方法、装置、系统、统计集群和计算集群
US20100080246A1 (en) Computer-readable recording medium storing packet identification program, packet identification method, and packet identification device
CN102158406A (zh) 面向计算机网络链路的智能选路方法
CN101510843B (zh) 基于NetFlow流实时分离出P2P流的方法
JP2009123202A (ja) データを処理するためのプロセッサ‐サーバ・ハイブリッド・システムおよび方法
Shirai et al. A fast topology inference: A building block for network-aware parallel processing
AU2018253491B2 (en) Adaptive event aggregation
US20140164434A1 (en) Streaming data pattern recognition and processing
Oge et al. A fast handshake join implementation on FPGA with adaptive merging network
CN102523208A (zh) 多核架构下的应用层协议并行处理方法
CN101984635A (zh) P2p协议流量识别方法及系统
Michel Packet-Level Network Telemetry and Analytics
CN105610655A (zh) 一种路由器流量监控与分析方法
Taffet Understanding congestion in high performance interconnection networks using sampling
WO2023191162A1 (ko) 컨테이너 기반 네트워크 라이브 스트림을 분석할 수 있는 데이터 처리 장치 및 방법
Cheng et al. Cheetah: a space-efficient HNB-based NFAT approach to supporting network forensics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant