CN112751839B - 一种基于用户流量特性的防病毒网关处理加速策略 - Google Patents

Abstract

本发明提供一种基于用户流量特性的防病毒网关处理加速策略，针对性还原和扫描文件的网关处理加速策略，包含三个部分：第一部分的功能是学习用户行为并统计，生成策略条件；第二部分的功能是根据生成的策略条件过滤报文；第三部分的功能是对过滤出的网络报文针对性还原文件并扫描处理；其中，学习用户行为，实时分析记录流量五元组、病毒文件关键字、url等统计信息生成黑白名单和协议列表，根据一种或多种协议重设文件还原规则进行数据包的第一次过滤，根据黑白名单进行第二次过滤，最后还原筛选出的数据包文件并对其扫描，这样不但节省了存储空间和服务器开销，而且保证了网关服务器的性能。本发明在提高防毒网关的病毒扫描效率，守护内网安全上尤为重要。

Description

一种基于用户流量特性的防病毒网关处理加速策略

技术领域

本发明涉及互联网领域，具体涉及一种基于用户流量特性的防病毒网关处理加速策略。

背景技术

近年来病毒正在通过更多的传播方式进入企业内部，除了利用传统的EMAIL传播方式以外，WEB浏览、FTP下载等都已成为病毒传播的主要手段，再加之终端系统不时的报出新的系统漏洞，让本就不怎么安全的网络更加岌岌可危，防毒网关作为一种用于在内网和外网之间构造保护屏障的设备，用以保护网络内进出数据的安全。防毒网关能够检测进出网络内部的数据，对http，ftp，smtp，pop3、smb和nfs等协议的数据进行病毒扫描，一旦发现病毒就会采取相应的手段进行隔离、查杀或阻断，在防毒方面起到了非常大的作用。目前国内外防毒产品还无法做到对数据包进行病毒检测，所以各大厂商在网关处都只能采用将数据包还原成文件的方式进行病毒处理。

当前处理方式的缺点是：

1)网络流量较大，传输的协议较多，那么对于海量的文件要还原对系统来说也意味着较大系统空间和性能挑战；

2)网络传输中多数文件都是正常的、没有病毒的文件，而对于这种文件的无论是还原、检测，还是对还原出来的原始文件的处理，都存在着资源的无效消耗，也影响着网关本身的性能。

发明内容

本发明的目的是提供一种学习用户行为，根据用户流量特征来过滤网络数据包，针对性还原和扫描文件的网关处理加速策略。

具体包括学习用户行为，实时分析记录流量五元组、病毒文件关键字、url等统计信息生成黑白名单和协议列表，根据协议列表重设文件还原规则进行数据包的第一次过滤，根据黑白名单进行第二次过滤，最后还原筛选出的数据包文件并对其扫描，这样不但节省了存储空间和服务器开销，而且保证了网关服务器的性能。本发明在提高防毒网关的病毒扫描效率，守护内网安全上尤为重要。

实现本发明目的的技术方案是：从用户流量特征出发的防毒网关处理加速策略，包含三个部分：第一部分的功能是学习用户行为并统计，生成策略条件；第二部分的功能是根据生成的策略条件过滤报文；第三部分的功能是对过滤出的网络报文针对性还原文件并扫描处理。

所述第一部分具体包括：

步骤1.1：学习并记录用户行为；

对进入的网关的流量进行解析，提取报文的五元组、文件名、病毒信息、url和邮件主题等信息，并保存该信息到本地；

步骤1.2：统计分析用户行为生成策略信息；

统计分析一周内未检测出病毒的ip，如内网ip等，生成ip白名单列表；

统计分析产生病毒的文件名的top10，提取文件名关键字生成文件名关键字黑名单；

统计分析用户常用的协议，生成协议列表；

步骤1.3：根据对应协议提取生成对应的策略列表：

http协议：统计分析未知的url和产生过病毒的ulr，生成url黑名单列表；

pop3/smtp：统计分析邮件主题产生过病毒的top10，提取邮件主题关键字生成黑名单列表。

步骤1.4：循环执行，根据学习到的用户行为实时更新黑白名单列表，每天更新协议列表。

所述第二部分的功能是根据第一部分生成的策略条件过滤报文；具体步骤如下：

步骤2.1：检查协议列表是否有更新；

步骤2.1.1：默认启动所有协议，包括http，ftp，pop3，smtp，smb和nfs，当协议列表http、ftp、pop3、smtp、smb和nfs中的一种或多种更新时，重设文件还原规则；若用户自己主动修改配置时，重设文件还原规则配置；如协议列表没有更新，则直接进入步骤2.2；如只设置协议不关心文件类型file_type和other-type，默认按照设置协议将所有类型的文件按照1:1全量采样还原；设置完毕以json格式记录；

步骤2.1.2：读取配置，获取完整json格式并解析，提取协议和文件类型，以及对应的sample值写入内存；通过以json标准格式可以对应添加一个或多个协议，默认情况添加所有协议和文件类型，按照1:1还原。

配置文件以普通文本文件格式编写，格式以行位单位填写；读取配置文件时，先按行读取关键字，读到关键字之后在“：”号后面读取“值”，并将读到的值保存下来，直到读到文件尾部结束；

步骤2.1.3：动态加载文件规则；

步骤2.2：提取报文中的文件名，如没有提取到直接进入下一步，否则用提取的文件名去匹配文件名关键字黑名单，如不能匹配直接进入下一步，否则进入第三部分文件还原检测处理模块；

步骤2.3：提取网络报文中url，如未提取到直接进入下一步，否则如用提取到的url去匹配url黑名单，如不能匹配直接进入下一步，否则进入第三部分文件还原检测处理模块；

步骤2.4：提取网络报文中的邮件主题，如未提取到直接进入下一步，否则如用提取到的邮件主题去匹配邮件主题关键字黑名单，如不能匹配直接进入下一步，否则进入第三部分文件还原检测处理模块；

提取网络报文的sip与ip白名单匹配，如不在白名单内，直接进入第三部分文件还原检测处理模块，否则放过直接转发处理。

所述第三部分对过滤出的网络报文针对性还原文件并扫描处理。具体如下：

步骤3.1：还原经过前部分过滤的报文为本地临时文件，并扣留最后一个包；

步骤3.2：病毒引擎扫描还原出的临时文件，如检测正常直接转发，如检测出病毒的文件直接阻断释放网络带宽，同时对本地病毒文件进行隔离或查杀处理，释放服务器空间。

所述file-type为预设置的文件类型，如exe、dll、com、ocx、vxd、sys，多个时用“，”隔开；所述sample为采样值，如按照1:1即全量采样；根据策略以及用户需求灵活添加指定文件类型和对应的采样值。

所述sample取值全部为可配置，根据网络情况和用户选择设置合适的数据。

所述protocol为协议列表中更新获取的协议，包含http，ftp，smtp，pop3，smb，nfs一种或者几种；所述file-type为想要还原的文件类型，如exe,dll,com,ocx,vxd,sys，多个时用“，”隔开；sample为采样值，如按照1:1即全量采样，本字段不设置默认按照所有类型文件，1:1采样还原；所述other-type为除上面配置的file-type文件类型以外的文件类型，无需配置类型只需添加sample字段即可；

比如file-type配置为exe,dll,com,ocx,vxd,sys，则other-type就代表除exe,dll,com,ocx,vxd,sys以外的类型，像常用的doc,ppt,xls等就包括其中，这类文件类型病毒形式较少，可设置sample为1:10，即10个文件中取一个来过滤,或者更大比率的采样率；

所述步骤2.1中，还原文件规则如下：

本发明创造的优点：

1)本发明提供学习记录用户行为生成响应的策略条件列表，实时掌握用户行为；

2)本发明提供根据用户行为协议列表动态重设文件规则，成功过滤关注的报文，减少带宽无效消耗；

3)本发明提供根据学习用户行为分析提取的黑白名单解决以下问题：白名单解决了网络中大部分流量都属于正常流量，而针对这部分流量的还原和检测对资源无效消耗问题；黑名单对关键字的记录和匹配增加病毒扫描精度。

4)依次经过配置规则和黑白名单的匹配策略，检测更加精准、快速，整体提升防毒网关的检测效率。

附图说明

图1为本发明基于用户行为加速处理策略主要模块示意图；

图2为本发明用户行为学习处理流程图；

图3为本发明报文过滤处理流程图；

图4为本发明文件还原和扫描处理流程图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述，但并不以此作为对本申请保护范围的限定。

实施例1

以网络报文协议列表有更新为http协议，报文包含文件类型exe为例，步骤如下：

步骤1：网关内网络流量分析模块实时学习记录并保存用户行为，生成黑白名单列表和网络协议列表，并实时更新。

网关内检测线程模块读取协议列表有更新，协议为http协议。

步骤2：重设文件还原规则，如图3所示，预过滤http协议，且文件类型为exe的全部报文，文件类型为非exe按照1:10的文件比率过滤。

步骤3：重设配置，组装成json格式，protocol字段填写http,；file-type字段填写exe，对应sample填写1:1；other-type字段保持默认不填写，sample填写1:10；文件协议规则设置示意如下：

步骤4：读取配置至内存并动态加载至系统内。

步骤5：网络报文解析提取http报文，进一步解析报文中文件类型，文件类型为exe的报文全部过滤出来，文件类型为非exe，用静态局部变量记录文件个数并累加，当达到第10个时开始过滤，其余不符合规则策略的报文全部放过转发。

步骤6：用步骤5过滤出来的报文匹配文件名关键字黑名单，匹配中直接进入文件还原步骤10，不符合继续下一步。

步骤7：提取报文中的url，如没有提取到直接进入下一步，否则匹配url黑名单，匹配中直接进入文件还原步骤10，否则进入下一步。

步骤8：提取邮件主题，如没有提取到直接进入下一步，否则匹配邮件主题关键字黑名单，匹配中直接进入文件还原步骤10，否则进入下一步。

步骤9：提取报文的sip匹配ip白名单，如匹配直接转发，如不匹配进入步骤10。

步骤10：对以上过滤出符合条件的网络报文还原为本地临时文件，并扣留最后一个包。

步骤11：病毒引擎扫描还原的临时文件，如没有病毒直接放行转发处理，否则丢掉最后一个报文并向用户发送终止消息阻断数据的传输，释放带宽。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种基于用户流量特性的防病毒网关处理加速方法，其特征在于，包含三个部分：第一部分的功能是学习用户行为并统计，生成策略条件；第二部分的功能是根据生成的策略条件过滤报文；第三部分的功能是对过滤出的网络报文针对性还原文件并扫描处理；

所述第一部分具体包括：

步骤1.1：学习并记录用户行为；

对进入网关的流量进行解析，提取报文的五元组、文件名、病毒信息、url和邮件主题信息，并保存该信息到本地；

步骤1.2：统计分析用户行为生成策略信息；

统计分析一周内未检测出病毒的ip，生成ip白名单列表；

统计分析产生病毒的文件名的top10，提取文件名关键字生成文件名关键字黑名单；

统计分析用户常用的协议，生成协议列表；

步骤1.3：根据对应协议提取生成对应的策略列表：

步骤1.4：循环执行，根据学习到的用户行为实时更新黑白名单列表，并更新协议列表；

所述第二部分具体步骤如下：

步骤2.1：检查协议列表是否有更新；

步骤2.1.1：默认启动所有协议，包括http，ftp，pop3，smtp，smb和nfs，当协议列表http、ftp、pop3、smtp、smb和nfs中的一种或多种更新时，重设文件还原规则；若用户自己主动修改配置时，重设文件还原规则配置；如协议列表没有更新，则直接进入步骤2.2；只设置协议不关心文件类型file-type和other-type，或者默认按照设置协议将所有类型的文件按照1:1全量采样还原；设置完毕以json格式记录；

步骤2.1.2：读取配置，获取完整json格式并解析，提取协议和文件类型，以及对应的sample值写入内存；通过以json标准格式可以对应添加一个或多个协议，默认情况添加所有协议和文件类型，按照1:1还原；

步骤2.1.3：动态加载文件规则；

步骤2.2：提取报文中的文件名，如没有提取到直接进入下一步，否则用提取的文件名去匹配文件名关键字黑名单，如不能匹配直接进入下一步，否则进入第三部分的处理步骤；

步骤2.3：提取网络报文中url，如未提取到直接进入下一步，否则用提取到的url去匹配url黑名单，如不能匹配直接进入下一步，否则进入第三部分的处理步骤；

步骤2.4：提取网络报文中的邮件主题，如未提取到直接进入下一步，否则用提取到的邮件主题去匹配邮件主题关键字黑名单；如不能匹配直接进入下一步；否则进入第三部分的处理步骤；

提取网络报文的sip与ip白名单匹配，如不在白名单内，直接进入所述第三部分的处理步骤，否则放过直接转发处理；

所述第三部分对过滤出的网络报文针对性还原文件并扫描处理；具体如下：

步骤3.1：还原经过前部分过滤的报文为本地临时文件，并扣留最后一个包；

步骤3.2：病毒引擎扫描还原出的临时文件，如检测正常直接转发，如检测出病毒的文件直接阻断释放网络带宽，同时对本地病毒文件进行隔离或查杀处理，释放服务器空间。

2.根据权利要求1所述的基于用户流量特性的防病毒网关处理加速方法，其特征在于，所述重设文件还原规则包括重设还原协议protocol、重设文件类型file-type和other-type以及对应的采样值sample；其中file-type为用户关心的文件类型，而other-type为除file-type以外的所有文件类型。

3.根据权利要求2所述的基于用户流量特性的防病毒网关处理加速方法，其特征在于，所述file-type为预设置的文件类型，多个时用“，”隔开；sample为采样值；根据策略以及用户需求灵活添加指定文件类型和对应的采样值。

4.根据权利要求1所述的基于用户流量特性的防病毒网关处理加速方法，其特征在于，sample取值全部为可配置，根据网络情况和用户选择设置合适的数据。

5.根据权利要求2所述的基于用户流量特性的防病毒网关处理加速方法，其特征在于，protocol为协议列表中更新获取的协议，包含http，ftp，smtp，pop3，smb，nfs一种或者几种；file-type为想要还原的文件类型，多个时用“，”隔开；sample为采样值，本字段不设置默认按照所有类型文件，1:1采样还原；other-type为除上面配置的file-type文件类型以外的文件类型，无需配置类型只需添加sample字段即可。

Images