CN114500307A - 基于端口镜像技术的网络流量监控、储存及回放的方法 - Google Patents

Abstract

本发明公开了基于端口镜像技术的网络流量监控、储存及回放的方法，包括S1、流量接收单元选型；S2、网络设计以及连接；S3、端口镜像功能配置；S4、流量接收单元工作；S5、数据流的保存；S6、分析、重放功能的实现；将网络交换机领域常用的端口镜像技术通过技术手段移植到Linux系统上进行使用，并且使用在无人驾驶的场景中。外置了专用的流量接收单元，避免了对车载计算单元造成系统环境或者性能的影响。流量重放可以原样复原抓包的情景以进行故障定位和性能分析等。避免了在应用收集的日志等诊断信息无法定位问题的时候，需要多次测试进行故障复现的情况。

Description

基于端口镜像技术的网络流量监控、储存及回放的方法

技术领域

本发明涉及自动驾驶领域，尤其是基于端口镜像技术的网络流量监控、储存及回放的方法

背景技术

现在无人汽车的的传感器数据汇总、储存以及回放的形式往往是采用以下的两种形式：

形式一：通过ROS(Robot Operating System:机器人操作系统)录制rosbag(rosbag也叫bag，是ROS中用于存储消息数据的文件格式)，或者通过其他工具来收集和储存来自各类传感器的数据。

该技术方案仅在应用层进行特定数据的收集及储存，可能会遗漏的一些重要的信息。后期进行故障诊断时只能通过对应的应用程序对数据进行分析或者重放，无法完全真实的还原出当时的系统及数据的状态。

形式二：在网络交换机的领域会使用端口镜像技术，将一个或者多个端口的流量复制一份转发到特定的镜像端口，用来进行网络分析。

该技术方案是在交换机上进行端口镜像的配置，不清楚是否有用在无人驾驶场景下的方案。该方案是在交换机的角度进行全局的流量的收集，储存或者分析，如果车载计算单元同时接入多个交换机的情况下，也需要在多个交换机上进行相关配置并接入流量接收单元。另外仅有较为高端的全网管型交换机才会支持端口镜像的功能，无人驾驶车辆上较少会使用这种交换机。

综上，现有的解决方案并不能有效解决数据收集、存储或是分析的问题，在后期先故障时，也无法有效的对事故发生时的情况进行分析或是回放。

发明内容

本发明的目的是为了解决以上现有技术的不足，提供了基于端口镜像技术的网络流量监控、储存及回放的方法。

基于端口镜像技术的网络流量监控、储存及回放的方法，车载计算单元会配置多个网络端口，通过以太网连接各类传感器，包括但不限于激光雷达，毫米波雷达，相机。也会有一个网络端口用于连接4G和5G CPE用于访问互联网和云端服务器，另外再使用一个网络端口连接流量接收单元。在车载计算单元所有网络端口上进行端口镜像的配置，这些端口的流量都会复制一份发到镜像端口，即连接了流量接收单元的网络端口。流量接收单元在接收流量后可以进行实时的分析，储存，如果有需要流量接收单元可以对车载计算单元或者其他设备进行流量重放。

常见名称解释：

车载计算单元:无人驾驶汽车上具有计算处理能力的车载终端。可以是工控机(Industrial Personal Computer，IPC，即工业控制计算机)，也可以是其他x86或者arm架构的计算设备，具有重要的计算机属性和特征，如具有计算机主板，CPU，GPU，硬盘，内存，各类外设及端口，并具有操作系统，控制网络和协议等。一般安装的为各类Linux操作系统。

流量接收单元：类似于车载计算单元，也是x86或者arm架构的计算机，具有计算机主板，CPU，内存，硬盘和至少一个网络端口用于接收来自于车载计算单元的网络流量，需要安装Linux操作系统。

各类传感器：包括但不限于各类雷达，相机等通过网络向车载计算单元发送数据的各种传感器。

CPE:(Customer Premise Equipment)直译为客户前置设备，实际是一种接收4G或者5G的移动信号并以无线WiFi信号或者有线网络的方式转发出来的移动信号接入设备。

如在流量接收单元部署了实时流量监控和分析的服务，即可直接通过流量接收单元进行实时的流量监控和分析。收集到的流量数据可以用cap，pcap或者pcapng等格式进行保存，cap,pcap或者pcapng等均是专门用于保存捕获的数据包的文件格式。可以通过tcpreplay等工具打开pcap或者pcapng文件对车载计算单元进行流量重放，完全还原当时的网络场景。也可以将流量接收单元接入到开发或者测试环境的电脑上进行流量的重放。

本方法具体包括以下步骤：

S1、流量接收单元选型；

计算机设备，包括主板、CPU、内存、硬盘以及至少一个用于接收流量数据的网络端口；计算机设备上预设有基于Linux的操作系统；宜选用低功耗，轻量级的计算机设备。具有主板，CPU，内存，硬盘以及至少一个网络端口用于接收来自于车载计算单元的流量数据。无需GPU等其他外设设备。该网络端口宜支持万兆网络，硬盘宜选用固态硬盘。如果需要在流量接收单元上部署实时流量监控或者分析的系统则需要选用较好的CPU及内存。需要在流量接收单元上安装Linux操作系统。

S2、网络设计以及连接；

通过端口聚合，将车载计算单元上的多个网络端口汇聚为一个虚拟的网络端口，并提升该虚拟的网络端口的带宽；

车载计算单元上一般都会拥有多个网络端口，需要评估连接传感器或者CPE等业务端口的聚合流量为多大。流量接收单元所连接的网络端口的传输能力需要大于业务端口的聚合流量。否则需要在端口镜像配置步骤中进行流量数据的过滤与筛选。或者使用多个网络端口连接车载计算单元及流量接收单元，通过端口聚合等技术将多个物理的网络端口虚拟成一个逻辑的网络端口实现带宽增加的功能。

S3、端口镜像功能配置；

基于Linux内核中的具有流量控制功能的功能模块，通过封装技术，将镜像流量的原始数据包作为载荷，封装车载计算单元的物理地址和IP地址作为源地址，封装流量接收单元的物理地址和IP地址作为目的地址，并获得封装完成的流量信息；

端口镜像功能的配置:

1.Linux内核中拥有一个流量控制的功能模块，TC即traffic control可以实现数据包的镜像功能。Linux中的网络工具iproute2包含了tc的命令可以实现数据包的镜像或者重定向。(镜像即为额外复制一份数据发送，重定向即为将当前数据直接进行转发)。该命令同时也包含了数据包过滤等功能的设置。

2.无法直接发送通过TC镜像的流量到流量接收单元。原因在于原始数据包包头的源地址或者目的地址均为车载计算单元自身，会引起环路导致流量无法发送出去，另外流量接收单元亦会检查数据包包头的源地址和目的地址，如果不是自身会直接丢弃数据包。

3.可以配合使用使用GRE(Generic Routing Encapsulation是通用路由封装协议，可以对某些网络层协议的数据报进行封装，使这些被封装的数据报能够在IPv4网络中传输)或者VXLAN(Virtual eXtensible Local Area Network是一种隧道技术，能在三层网络的基础上建立二层以太网网络隧道，从而实现跨地域的二层互连)等流量封装技术在车载计算单元中对镜像的流量进行封装发送。流量接收单元上也进行GRE或者VXLAN的相关配置即可接收到对应的镜像流量并且进行解封装。

4.这些封装技术通常又被成为隧道技术，是将镜像流量的原始数据包作为载荷，并且封装车载计算单元的物理地址和IP地址作为源地址，和封装流量接收单元的物理地址和IP地址作为目的地址在外层包头中。车载计算单元和流量接收单元会检查外层包头封装的地址，确认正确会正常的发送和接收镜像流量的数据包。以下为VXLAN的数据封装方式，GRE也是类似的封装方式。

5.GRE或者VXLAN等隧道技术会在物理网络端口上创建对应的虚拟网络端口。两端对应的虚拟网络端口之间会创建一条虚拟的隧道，流量在进入隧道前进行封装，离开隧道后进行解封装。在车载计算单元上通过TC镜像的流量需要指定从隧道技术创建的虚拟网络端口发出，流量接收单元需要在隧道技术创建的虚拟网络端口上进行流量接收。

S4、流量接收单元工作；

设置流量接收单元，并捕捉获取封装完成的流量信息；

S5、数据流的保存；

对数据网络进行即时监视，将需要保存的信息进打包保存，并对可疑的数据传输发出警报或是采取主要反应措施；

S6、分析、重放功能的实现；

通过工具对以保存的流量数据进行流量重放，播放时通过网络端口发送至车载计算单元中。

进一步的，S4流量接收单元工作包括以下步骤：

S1、判断车载计算单元中的原始数据包是否需要过滤；

S2、将不需要过滤的原始数据包以及过滤完成的数据包发发送至Linux中；

S3、在Linux内核空间内，通过TC进行镜像；

S4、通过GRE活水VXLAN隧道技术对数据进行封装；

S5、将封装完成的数据发送至流量接收单元中；

S6、在具有高带宽的虚拟端口上进行数据流的接收工作；

S7、通过工具将数据转换为专用格式进行存储。

在流量接收单元上可以通过tcpdump或者Wireshark等工具在隧道技术创建的虚拟端口上进行流量的接收。tcpdump是一个运行在命令行下的嗅探工具。它允许用户拦截和显示发送或收到过网络连接到该计算机的网络数据包。Wireshark是一个网络数据包分析软件，该软件可以截取并分析网络数据包。这些软件支持将接收的数据包以cap,pcap,pcapng等文件格式进行保存。

进一步的，专用格式包括.cap、.pcap或是.pcapng。

进一步的，数据重放功能的实现，通过tcpreplay工具对保存的储存信息直接进行流量重放。

进一步的，端口镜像功能的架构包括车载计算单元与流量接收单元；

所述的车载计算单元与流量接收单元之间通过物理网络连线；

车载计算单元以及流量接收单元上的若干个物理网络端口均组成各自的虚拟网络端口，两个虚拟网络端口之间构成虚拟网络隧道。

进一步的，所述虚拟网络端口的类型为GRE或是VXLAN。

进一步的，流量接收单元上使用的工具为tcpdump或Wireshark。

流量接收单元部署实时流量监控和分析系统:

可以使用Wireshark，tcpdump或者部署商业软件如PRTG，Solarwinds这些专业的数据包分析软件进行实时的流量监控和分析。也可以部署IDS等网络安全服务(IntrusionDetection System，入侵检测系统，是一种对网络传输进行即时监视，在发现可疑传输时发出警报或者采取主动反应措施的网络安全设备)。

通过相关工具进行流量重放:

由于接收的均为解封装后的流量，可以直接通过tcpreplay等工具对于保存的cap,pcap,或者pcapng直接进行流量重放。(tcpreplay是一种pcap包的重放工具,它可以将用Ethreal,Wireshark等工具抓下来的包原样或经过任意修改后重放回去.它允许你对报文做任意的修改，主要是指对2层,3层,4层报文头,指定重放报文的速度等,这样tcpreplay就可以用来复现抓包的情景以定位bug,以极快的速度重放从而实现压力测试。tcpreplay也包含了一些其他的辅助工具如tcpprep、tcprewrite、tcpreplay，tcpbridge等,可以用于准备发包的cache,重写报文等)。可以选择在流量接收单元本机进行流量重放，播放时也从指定的网络端口发送出去对车载计算单元或者其他设备进行流量重放。

有益效果：

将网络交换机领域常用的端口镜像技术通过技术手段移植到Linux系统上进行使用，并且使用在无人驾驶的场景中。外置了专用的流量接收单元，避免了对车载计算单元造成系统环境或者性能的影响。流量重放可以原样复原抓包的情景以进行故障定位和性能分析等。避免了在应用收集的日志等诊断信息无法定位问题的时候，需要多次测试进行故障复现的情况。

附图说明：

图1为网络流量监控、储存及回放方法的流程拆解图；

图2为隧道技术的网络结构图；

图3为端口镜像功能的配置的实施步骤参考图；

图4为原始数据包的状态变化参考图。

具体实施方式

以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。此外，为简化图式起见，一些习知惯用的结构与组件在图式中将以简单的示意的方式绘示之。

实施示例：如图1-4所示，一种网络流量监控、储存及回放的方法，包括以下部分的组成：

流量接收单元选型:

选用低功耗，轻量级的计算机设备。具有主板，CPU，内存，硬盘以及至少一个网络端口用于接收来自于车载计算单元的流量数据。无

需GPU等其他外设设备。该网络端口支持万兆网络，硬盘用固态硬盘。

如果需要在流量接收单元上部署实时流量监控或者分析的系统则需要选用较好的CPU及内存。

需要在流量接收单元上安装Linux操作系统。

网络设计及连接:

车载计算单元上一般都会拥有多个网络端口，需要评估连接传感器或者CPE等业务端口的聚合流量为多大。流量接收单元所连接的网络端口的传输能力需要大于业务端口的聚合流量。否则需要在端口镜像配置步骤中进行流量数据的过滤与筛选。

使用多个网络端口连接车载计算单元及流量接收单元，通过端口聚合等技术将多个物理的网络端口虚拟成一个逻辑的网络端口实现带宽增加的功能。

端口镜像功能配置；

基于Linux内核中的具有流量控制功能的功能模块，通过封装技术，将镜像流量的原始数据包作为载荷，封装车载计算单元的物理地址和IP地址作为源地址，封装流量接收单元的物理地址和IP地址作为目的地址，并获得封装完成的流量信息；

流量接收单元接收镜像流量:

在流量接收单元上可以通过Wireshark工具在隧道技术创建的虚拟端口上进行流量的接收。Wireshark是一个网络数据包分析软件，该软件可以截取并分析网络数据包。这些软件支持将接收的数据包以cap,pcap,pcapng等文件格式进行保存。原始数据包的状态变化参考图4。

流量接收单元部署实时流量监控和分析系统:

可以部署IDS等网络安全服务，Intrusion Detection System，入侵检测系统，是一种对网络传输进行即时监视，在发现可疑传输时发出警报或者采取主动反应措施的网络安全设备。

通过相关工具进行流量重放:

由于接收的均为解封装后的流量，可以直接通过tcpreplay工具对于保存的pcapng直接进行流量重放。

tcpreplay是一种pcap包的重放工具,它可以将用Ethreal,Wireshark等工具抓下来的包原样或经过任意修改后重放回去。

它允许你对报文做任意的修改，主要是指对2层,3层,4层报文头,指定重放报文的速度等,这样tcpreplay就可以用来复现抓包的情景以定位bug,以极快的速度重放从而实现压力测试。

tcpreplay也包含了一些其他的辅助工具如tcpprep、tcprewrite、tcpreplay，tcpbridge等,可以用于准备发包的cache,重写报文等)。可以选择在流量接收单元本机进行流量重放，播放时也从指定的网络端口发送出去对车载计算单元或者其他设备进行流量重放。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于端口镜像技术的网络流量监控、储存及回放的方法，其特征在于，包括以下步骤：

S1、流量接收单元选型；

计算机设备，包括主板、CPU、内存、硬盘以及至少一个用于接收流量数据的网络端口；计算机设备上预设有基于Linux的操作系统；

S2、网络设计以及连接；

通过端口聚合，将车载计算单元上的多个网络端口汇聚为一个虚拟的网络端口，并提升该虚拟的网络端口的带宽；

S3、端口镜像功能配置；

基于Linux内核中的具有流量控制功能的功能模块，通过封装技术，将镜像流量的原始数据包作为载荷，封装车载计算单元的物理地址和IP地址作为源地址，封装流量接收单元的物理地址和IP地址作为目的地址，并获得封装完成的流量信息；

S4、流量接收单元工作；

设置流量接收单元，并捕捉获取封装完成的流量信息；

S5、数据流的保存；

对数据网络进行即时监视，将需要保存的信息进打包保存，并对可疑的数据传输发出警报或是采取主要反应措施；

S6、分析、重放功能的实现；

通过工具对以保存的流量数据进行流量重放，播放时通过网络端口发送至车载计算单元中。

2.根据权利要求1所述的基于端口镜像技术的网络流量监控、储存及回放的方法，其特征在于，S4流量接收单元工作包括以下步骤：

S1、判断车载计算单元中的原始数据包是否需要过滤；

S2、将不需要过滤的原始数据包以及过滤完成的数据包发发送至Linux中；

S3、在Linux内核空间内，通过TC进行镜像；

S4、通过GRE活水VXLAN隧道技术对数据进行封装；

S5、将封装完成的数据发送至流量接收单元中；

S6、在具有高带宽的虚拟端口上进行数据流的接收工作；

S7、通过工具将数据转换为专用格式进行存储。

3.根据权利要求2所述的基于端口镜像技术的网络流量监控、储存及回放的方法，其特征在于，专用格式包括.cap、.pcap或是.pcapng。

4.根据权利要求1所述的基于端口镜像技术的网络流量监控、储存及回放的方法，其特征在于，数据重放功能的实现，通过tcpreplay工具对保存的储存信息直接进行流量重放。

5.根据权利要求1所述的基于端口镜像技术的网络流量监控、储存及回放的方法，其特征在于，端口镜像功能的架构包括车载计算单元与流量接收单元；

所述的车载计算单元与流量接收单元之间通过物理网络连线；

车载计算单元以及流量接收单元上的若干个物理网络端口均组成各自的虚拟网络端口，两个虚拟网络端口之间构成虚拟网络隧道。

6.根据权利要求5所述的基于端口镜像技术的网络流量监控、储存及回放的方法，其特征在于，所述虚拟网络端口的类型为GRE或是VXLAN。

7.根据权利要求1所述的基于端口镜像技术的网络流量监控、储存及回放的方法，其特征在于，流量接收单元上使用的工具为tcpdump或Wireshark。

Images