CN110784513B

CN110784513B - 基于链路层数据帧的数据镜像方法

Info

Publication number: CN110784513B
Application number: CN201910881499.4A
Authority: CN
Inventors: 刘耀光
Original assignee: Shenzhen Cloudwinner Network Technology Co ltd
Current assignee: Shenzhen Cloudwinner Network Technology Co ltd
Priority date: 2019-09-18
Filing date: 2019-09-18
Publication date: 2022-08-19
Anticipated expiration: 2039-09-18
Also published as: CN110784513A

Abstract

本发明公开了一种基于链路层数据帧的数据镜像方法，包括如下步骤：A)HOST设备通过网络连接审计硬件模块；B)用户终端通过无线连接HOST设备，访问互联网，浏览网页或者观看视频；C)HOST设备基于数据链路层将用户终端的上网数据进行封装，将封装后的数据包传输给审计硬件模块；D)审计硬件模块收到封装后的数据包后，对其进行解封装；E)审计硬件模块基于数据链路层对解封装后的上网数据进行解码和封装；F)审计硬件模块的上层应用对用户的上网数据进行审计工作。实施本发明的基于链路层数据帧的数据镜像方法，具有以下有益效果：数据封装更加简洁、数据传输更有效、适应场景更加丰富、可操作性行更强。

Description

基于链路层数据帧的数据镜像方法

技术领域

本发明涉及网络安全审计领域，特别涉及一种基于链路层数据帧的数据镜像方法。

背景技术

随着网络规模不断扩大和业务系统逐渐增加，网络安全审计与生产业务关联越来越密切，在如此复杂的信息环境中，利用网络实施犯罪的新型网络违法与犯罪行为也随之日渐增多，网络的虚拟性与不确定性，造成传统的办案手段对此已力不从心，公安网监部门迫切需要新的技术手段来帮助其应对这一新挑战。

目前在无线WiFi领域中可以为用户提供成熟的网络安全审计产品解决方案，网络安全审计系统针对互联网行为提供有效的行为审计、内容审计、行为报警、行为控制及相关审计功能。从管理层面提供互联网的有效监督，预防、制止数据泄密；满足用户对互联网行为审计备案及安全保护措施的要求，提供完整的上网记录，便于信息追踪、设备定位、系统安全管理和风险防范。产品用于监控用户信息，为顾客提供安全网络防护和帮助公安部门更好、更快捷的进行安全监管。

网络安全审计系统在进行网络流量分析之前首先需要获取有效的网络流量数据，获取数据源的方法有多重，端口镜像是一种简单、快捷的数据源获取方式，也是最常用的方式，端口镜像通过交换机或路由器上的端口镜像功能，将一个或多个源端口的数据流量转发到某一个指定端口来实现对网络的监听，指定端口称之为“镜像端口”或“目的端口”，在不严重影响源端口正常吞吐流量的情况下，可以通过镜像端口对网络的流量进行监控分析。但是在一些复杂的网络环境或者有公安特定的需求前提下，仅仅凭靠简单的端口镜像就会感觉心有余而力不足。

目前有利用Linux的iptables的TEE模组实现，即使用iptables即可实现把web服务器上的流量镜像到同一个网段的其它机器做分析。优点是：1、纯软件，使用方便；2、对现有网络及业务无任何影响；3、保留的原数据包的大部分原始信息。缺点是：1、会改变包的源MAC和目的MAC地址2、必须同一个网段才能做流量镜像。另外一种主流方式通过VPN方式实现，但需要双向配合完成，己端对数据包进行分片、组包，对端对数据包解析，组包，基于三层的处理会增加数据包分片概率，影响到设备的性能。例如EoIP。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种数据封装更加简洁、数据传输更有效、适应场景更加丰富、可操作性行更强的基于链路层数据帧的数据镜像方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于链路层数据帧的数据镜像方法，包括如下步骤：

A)HOST设备通过网络连接审计硬件模块；所述HOST设备为无线设备；

B)用户终端通过无线连接所述HOST设备，访问互联网，浏览网页或者观看视频；

C)所述HOST设备基于数据链路层将所述用户终端的上网数据进行封装，将封装后的数据包传输给所述审计硬件模块；

D)所述审计硬件模块收到所述封装后的数据包后，对其进行解封装；

E)所述审计硬件模块基于数据链路层对解封装后的上网数据进行解码和封装；

F)所述审计硬件模块的上层应用对用户的上网数据进行审计工作。

在本发明所述的基于链路层数据帧的数据镜像方法中，对于所述HOST设备的镜像指定端口的上网数据，通过处理所述镜像指定端口的PRE ROUTING和POST ROUTIN，实现对所述镜像指定端口的上下行数据的监控和处理。

在本发明所述的基于链路层数据帧的数据镜像方法中，所述HOST设备中设有LAC模块，所述审计硬件模块中设有LAS模块，在所述HOST设备的数据链路层上，所述LAC模块复制用户的上网数据，并在所述上网数据的数据帧前部增加传输所需要的私有HEAD，得到所述封装后的数据包，并将所述封装后的数据包通过网络传送给所述审计硬件模块；在所述审计硬件模块的数据链路层上，所述LAS模块将所述封装后的数据包中数据帧前部的私有HEAD去除掉，完成对所述上网数据的数据帧的还原。

在本发明所述的基于链路层数据帧的数据镜像方法中，所述封装后的数据包由帧头部分和数据部分组成，所述帧头部分的前两个字段分别为6字节长的目的地址字段和源地址字段，所述目的地址字段包含目的MAC地址信息，所述源地址字段包含源MAC地址信息，所述帧头部分的第三个字段为2字节的类型字段，所述类型字段包含信息协议和私有信息，所述数据部分包含用户完整的真实数据包，作为数据内容封装在内。

在本发明所述的基于链路层数据帧的数据镜像方法中，所述步骤C)进一步包括：

C1)LAC模块通过注册HOOK函数来捕捉所述上网数据的数据帧；

C2)判断所述HOST设备是否有效，如是，执行步骤C4)；否则，执行步骤C3)；

C3)直接放弃数据帧镜像处理；

C4)判断所述上网数据的数据帧的来源是否为白名单，如是，执行步骤C3)；否则，执行步骤C5)；所述上网数据的数据帧的来源包括上行数据的数据帧的来源和下行数据的数据帧的来源；

C5)判断符合条件的数据帧增加二层协议头是否需要分片，如是，执行步骤C6)；否则，执行步骤C7)；

C6)进行分片处理，执行步骤C7)；

C7)对所述符合条件的数据帧或者分片数据添加自定义的协议帧头进行封装；

C8)封装完毕后，通过所述HOST设备的镜像指定端口发送，并对原始的所述上网数据进行放行处理。

在本发明所述的基于链路层数据帧的数据镜像方法中，所述上行数据的数据帧的来源是否为白名单，具体包括来源地址是否有效、来源网络设备是否白名单以及来源地址是否白名单；所述下行数据的数据帧的来源是否为白名单，具体包括目的地址是否有效、目的网络设备是否白名单以及目的地址是否白名单。

在本发明所述的基于链路层数据帧的数据镜像方法中，所述步骤D)进一步包括：

D1)所述LAS模块通过注册HOOK函数捕捉上行数据的数据帧；

D2)解析所述上行数据的数据帧的协议类型，当所述协议类型为0X20时，执行步骤D3)；当所述协议类型为0X21时，执行步骤D3')；当所述协议类型为0X22时，执行步骤D3")；

D3)剥离所述上行数据的数据帧的二层协议还原书，进行放行；

D3')代表当前数据帧为第一分片数据，保存所述第一分片数据，通知底层放弃原始的所述上行数据的数据帧；

D3")代表当前数据帧为第二分片数据，在链表中查找相关分片数据，并还原所述上行数据的数据帧，得到对端镜像数据，通知底层放弃原始的所述上行数据的数据帧。

实施本发明的基于链路层数据帧的数据镜像方法，具有以下有益效果：由于用户终端通过无线连接HOST设备，访问互联网，浏览网页或者观看视频；HOST设备基于数据链路层将用户终端的上网数据进行封装，将封装后的数据包传输给审计硬件模块；审计硬件模块行解封装，对解封装后的上网数据进行解码和封装；审计硬件模块的上层应用对用户的上网数据进行审计工作，本发明通过基于数据链路层的数据镜像及基于纯软件方式来实现数据镜像，其数据封装更加简洁、数据传输更有效、适应场景更加丰富、可操作性行更强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为在审计应用场景中组网方式的示意图；

图2为本发明基于链路层数据帧的数据镜像方法一个实施例中的流程图；

图3为所述实施例中Linux内核数据转发流程图；

图4为所述实施例中上网数据的封装流程图；

图5为所述实施例中封装格式示意图；

图6为所述实施例中HOST设备基于数据链路层将用户终端的上网数据进行封装，将封装后的数据包传输给审计硬件模块的具体流程图；

图7为所述实施例中审计硬件模块收到封装后的数据包后，对其进行解封装的具体流程图；

图8为所述实施例中LAS模块进行数据判断和解析的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明软件基于OSI参考模型中的第二层数据链路层，进行数据的帧编码和误差纠正控制。达到局域网内设备间基于数据链路层的数据镜像功能。功能的纯软件化的实现是数据镜像方法的特色。

以本发明在某种场景的具体应用为例，如图1组网方式所示，在该应用中HOST设备(HOST设备是无线设备)同审计硬件模块通过网络连接，HOST设备将本设备的上网数据(网络数据)镜像到审计硬件模块，上网数据基于数据链路层进行编码和传输，配合本发明使上网数据在设备间达到快速、有效、准确的镜像。

在本发明基于链路层数据帧的数据镜像方法实施例中，该基于链路层数据帧的数据镜像方法的结构示意图如图2所示。图2中，该基于链路层数据帧的数据镜像方法包括如下步骤：

步骤S01 HOST设备通过网络连接审计硬件模块：本步骤中，HOST设备通过网络连接审计硬件模块。

步骤S02用户终端通过无线连接HOST设备，访问互联网，浏览网页或者观看视频：本步骤中，用户终端通过无线连接HOST设备，访问互联网，浏览网页或者观看视频。

步骤S03 HOST设备基于数据链路层将用户终端的上网数据进行封装，将封装后的数据包传输给审计硬件模块：本步骤中，HOST设备基于数据链路层将用户终端的上网数据进行封装，将封装后的数据包传输给审计硬件模块。

步骤S04审计硬件模块收到封装后的数据包后，对其进行解封装：本步骤中，审计硬件模块收到封装后的数据包后，对其进行解封装处理。

步骤S05审计硬件模块基于数据链路层对解封装后的上网数据进行解码和封装：本步骤中，审计硬件模块基于数据链路层对解封装后的上网数据进行解码和封装处理。

步骤S06审计硬件模块的上层应用对用户的上网数据进行审计工作：本步骤中，审计硬件模块的上层应用对用户的上网数据进行审计工作。

本发明基于数据链路层的数据镜像，使得数据封装更加简洁，数据传输更有效。本发明基于纯软件方式来实现数据镜像，使得适应场景更加丰富，可操作性行更强。

根据需求镜像指定端口的上网数据，则应该监控和处理HOST设备的镜像指定端口的上下行数据。在Linux系统中，当用户终端访问外网的数据时，首先经过PRE ROUTING，然后进入FORWARD，最后被POST ROUTIN处理，因此处理镜像指定端口的PRE ROUTING和POSTROUTIN即可。具体数据转发历程如图3所示。

本实施例中，HOST设备中设有LAC模块，审计硬件模块中设有LAS模块，在HOST设备的数据链路层上，LAC模块复制用户的上网数据，并在原始上网数据的数据帧前部增加传输所需要的私有HEAD，得到封装后的数据包，并将封装后的数据包通过网络传送给审计硬件模块；在审计硬件模块的数据链路层上，LAS模块将封装后的数据包中数据帧前部的私有HEAD去除掉，完成对上网数据的数据帧的还原，如图4所示的封装流程。在对端程序LAC同LAS的相互配合下，可以得到传统的端口镜像的效果。

封装后的数据包由帧头部分和数据部分组成，基于数据链路层的标准协议，数据帧加载的帧头部分包括三个字段。帧头部分的前两个字段分别为6字节长的目的地址字段和源地址字段，目的地址字段包含目的MAC地址信息，源地址字段包含源MAC地址信息，帧头部分的第三个字段为2字节的类型字段，类型字段包含信息协议和私有信息，数据部分包含用户完整的真实数据包，作为数据内容封装在内，详见图5。

协议帧头部分的自定义部分，前两位表示数据帧状态，后两位表示封装后数据帧标记(当前两位为0x20时无意义)。其中，0x2000，前两位表示封装前独立数据帧；0x2100，前两位表示封装前非独立的数据帧；0x2200，前两位表示封装前非独立数据帧的最后一个数据包。

LAC模块通过注册HOOK函数来捕捉数据帧，对其做数据的判断和封装，其中，pf＝PF_BRIDGE，上行NF_BR_PRE_ROUTING或者下行NF_BR_POST_ROUTING，具体的流程如图6所示。图6中，上述步骤S03进一步包括：

步骤S31 LAC模块通过注册HOOK函数来捕捉上网数据的数据帧：本步骤中，LAC模块通过注册HOOK函数来捕捉上网数据的数据帧。

步骤S32判断HOST设备是否有效：本步骤中，判断HOST设备是否有效，即判断HOST设备是否存在，是否可用，如果判断的结果为是，则执行步骤S34；否则，执行步骤S33。

步骤S33直接放弃数据帧镜像处理：本步骤中，直接放弃数据帧镜像处理。

步骤S34判断上网数据的数据帧的来源是否为白名单：本步骤中，判断上网数据的数据帧的来源是否为白名单，该上网数据的数据帧的来源包括上行数据的数据帧的来源和下行数据的数据帧的来源，具体而言，本步骤中，判断上行数据的数据帧的来源是否为白名单，包括来源地址是否有效，来源网络设备是否白名单，来源地址是否白名单，如果判断的结果为是，则执行步骤S33；否则，执行步骤S35。判断下行数据的数据帧的来源是否为白名单，包括目的地址是否有效，目的网络设备是否白名单，目的地址是否白名单，如果判断的结果为是，则执行步骤S33；否则，执行步骤S35。

步骤S35判断符合条件的数据帧增加二层协议头是否需要分片：本步骤中，判断符合条件的数据帧增加二层协议头是否需要分片，判断条件为，原有数据包大小加自定义协议帧头大小是否超过发送接口的MTU阈值，如果是则进行分片处理，本步骤中，如果判断的结果为是，则执行步骤S36；否则，执行步骤S37。

步骤S36进行分片处理：本步骤中，进行分片处理。执行完本步骤，执行步骤S37。

步骤S37对符合条件的数据帧或者分片数据添加自定义的协议帧头进行封装：本步骤中，对符合条件的数据帧(原始的上网数据)或者分片数据添加自定义的协议帧头进行封装，其中，协议帧头的自定义内容需要符合本发明的定义，供后续操作使用。

步骤S38封装完毕后，通过HOST设备的镜像指定端口发送，并对原始的上网数据进行放行处理：本步骤中，封装完毕后，通过HOST设备的镜像指定端口发送，并对原始的上网数据进行放行处理，保证用户终端的原有业务正常。

LAS模块数据镜像的对端，亦通过注册HOOK函数只捕捉上行数据帧，对其做数据的判断和解析，其中hooknum＝NF_BR_PRE_ROUTING，具体流程图如图7所示。图8为本实施例中LAS模块进行数据判断和解析的流程图。图7中，上述步骤S04进一步包括：

步骤S41 LAS模块通过注册HOOK函数捕捉上行数据的数据帧：本步骤中，LAS模块通过注册HOOK函数捕捉上行数据的数据帧。

步骤S42解析上行数据的数据帧的协议类型：本步骤中，解析上行数据的数据帧的协议类型，根据定义判断，当协议类型为0X20时，执行步骤S43；当协议类型为0X21时，执行步骤S43'；当协议类型为0X22时，执行步骤S43"。

步骤S43剥离上行数据的数据帧的二层协议还原书，进行放行：本步骤中，当协议类型为0X20时，剥离上行数据的数据帧的二层协议还原书，放行即可。

步骤S43'代表当前数据帧为第一分片数据，保存第一分片数据，通知底层放弃原始的上行数据的数据帧：本步骤中，当协议类型为0X21时，代表当前数据帧为第一分片数据，保存第一分片数据，通知底层放弃原始的上行数据的数据帧。

步骤S43"代表当前数据帧为第二分片数据，在链表中查找相关分片数据，并还原上行数据的数据帧，得到对端镜像数据，通知底层放弃原始的上行数据的数据帧：本步骤中，当协议类型为0X22时，代表当前数据帧为第二分片数据，在链表中查找相关分片数据，并还原上行数据的数据帧，得到对端镜像数据，通知底层放弃原始的上行数据的数据帧。

在实际应用中，也可以采用如下替代方案：第一种方式，基于链路层协议和网络层协议，根据原始上网数据的数据包的大小，封装或分片数据包达到数据镜像；第二种方式，基于标准数据链路层协议，直接修改原始数据帧的源MAC地址和目的MAC地址，破坏了原始数据的完整性，在镜像数据解析阶段通过第三方程序还原原始上网数据的源MAC地址和目的MAC地址；基于数据链路层协议的方式中，数据帧类型的定义通过增加字段来实现。

总之，本发明在数据链路层通过纯软件方式实现数据镜像功能，其数据封装更加简洁、数据传输更有效、适应场景更加丰富、可操作性行更强。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于链路层数据帧的数据镜像方法，其特征在于，包括如下步骤：

A)HOST设备通过网络连接审计硬件模块；所述HOST设备为无线设备，所述HOST设备中设有LAC模块，所述审计硬件模块中设有LAS模块；

F)所述审计硬件模块的上层应用对用户的上网数据进行审计工作；

其中，所述步骤C)包括：

C1)LAC模块通过注册HOOK函数来捕捉所述上网数据的数据帧；

C6)进行分片处理，执行步骤C7)；

C7)对所述符合条件的数据帧或者分片数据添加自定义的协议帧头进行封装；其中，所述封装后的数据包由帧头部分和数据部分组成，所述帧头部分的第三个字段为2字节的类型字段，所述类型字段包含信息协议和私有信息；

C8)封装完毕后，通过所述HOST设备的镜像指定端口发送，并对原始的所述上网数据进行放行处理；其中，所述步骤D)进一步包括：

D1)所述LAS模块通过注册HOOK函数捕捉上行数据的数据帧；

2.根据权利要求1所述的基于链路层数据帧的数据镜像方法，其特征在于，对于所述HOST设备的镜像指定端口的上网数据，通过处理所述镜像指定端口的PRE ROUTING和POSTROUTIN，实现对所述镜像指定端口的上下行数据的监控和处理。

3.根据权利要求1所述的基于链路层数据帧的数据镜像方法，其特征在于，在所述HOST设备的数据链路层上，所述LAC模块复制用户的上网数据，并在所述上网数据的数据帧前部增加传输所需要的私有HEAD，得到所述封装后的数据包，并将所述封装后的数据包通过网络传送给所述审计硬件模块；在所述审计硬件模块的数据链路层上，所述LAS模块将所述封装后的数据包中数据帧前部的私有HEAD去除掉，完成对所述上网数据的数据帧的还原。

4.根据权利要求1所述的基于链路层数据帧的数据镜像方法，其特征在于，所述帧头部分的前两个字段分别为6字节长的目的地址字段和源地址字段，所述目的地址字段包含目的MAC地址信息，所述源地址字段包含源MAC地址信息，所述数据部分包含用户完整的真实数据包，作为数据内容封装在内。

5.根据权利要求1至4任意一项所述的基于链路层数据帧的数据镜像方法，其特征在于，所述步骤C)进一步包括：

C3)直接放弃数据帧镜像处理；

C4)判断所述上网数据的数据帧的来源是否为白名单，如是，执行步骤C3)；否则，执行步骤C5)；所述上网数据的数据帧的来源包括上行数据的数据帧的来源和下行数据的数据帧的来源。

6.根据权利要求5所述的基于链路层数据帧的数据镜像方法，其特征在于，所述上行数据的数据帧的来源是否为白名单，具体包括来源地址是否有效、来源网络设备是否白名单以及来源地址是否白名单；所述下行数据的数据帧的来源是否为白名单，具体包括目的地址是否有效、目的网络设备是否白名单以及目的地址是否白名单。