CN106034131A - 一种基于流Flow分析的业务合规检测方法和系统 - Google Patents
一种基于流Flow分析的业务合规检测方法和系统 Download PDFInfo
- Publication number
- CN106034131A CN106034131A CN201510121139.6A CN201510121139A CN106034131A CN 106034131 A CN106034131 A CN 106034131A CN 201510121139 A CN201510121139 A CN 201510121139A CN 106034131 A CN106034131 A CN 106034131A
- Authority
- CN
- China
- Prior art keywords
- session
- stream
- rule
- vflow
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于流Flow分析的业务合规审计方法和系统,包括:通过镜像抓包获取Flow或接收其他系统发出的Flow。通过标准化将各种Flow转化成同一种格式的标准流VFlow,记录VFlow的流属性信息。通过流重组将VFlow聚合成会话,记录会话的会话对象属性信息,会话对象属性信息基于VFlow的流属性信息得到。基于设定的流合规检测策略对该会话进行业务合规检测。通过本发明的方案,能够面对大数据,从宏观层面检测多种违规行为。
Description
技术领域
本发明涉及计算机网络应用领域,尤其涉及一种基于流Flow分析的业务合规监测方法和系统。
背景技术
传统的基于包处理的安全分析和检测技术面对大数据时代,仅仅靠提高性能进行详尽的检测,已经无法达到很好的效果,因此微观的分析和检测遇到了瓶颈,那么宏观层面的行为模式分析和检测则更为重要。
经对现有技术的文献检索发现,专利号2013104616910,专利名“网络安全检测方法及装置”,提出了一种利用设备的流量数据发现网络异常的方法,该方法通过采集各设备的流量数据,将各流量数据进行归一化处理,获得具有空间信息、时间信息和技术指标信息的设备数据流;存储设备数据流;将设备数据流的空间信息与预设的正常数据流集合进行匹配,若不匹配,则网络异常,若匹配,则将设备数据流与指标数据进行比较;若属于第一指标数据,则将设备数据流与预设特征基线进行比较;若属于第二指标数据,则查询该设备数据流对应的历史设备数据流,确定设备数据流的周期性基线,并进行比较;若属于第三指标数据,则查询该设备数据流对应的正常历史设备数据流,确定预设时间内设备数据流的平均值,并进行比较,从而判断出网络异常状态。这种方法缺少方向,无法检测出例如违规外联、输入输出流量比例异常等违规行为。
发明内容
为了解决上述问题,本发明提出了一种基于流Flow分析的业务合规审计方法和系统,能够面对大数据,从宏观层面检测多种违规行为。
为了达到上述目的,本发明提出了一种基于流Flow分析的业务合规检测方法,该方法包括:
通过镜像抓包获取Flow或接收其他系统发出的Flow。
通过标准化将各种Flow转化成同一种格式的标准流VFlow,记录VFlow的流属性信息。
通过流重组将VFlow聚合成会话,记录会话的会话对象属性信息,会话对象属性信息基于VFlow的流属性信息得到。
基于设定的流合规检测策略对该会话进行业务合规检测。
优选地,
该方法还包括:标准化基于各种Flow的数据格式,数据格式采用配置文件的方式表示,配置文件包括以下信息中的一种或多种:类型标示、数据头及各偏移量对应的流属性、数据体及各偏移量对应的流属性。
优选地,
VFlow的属性包括:源名称、源IP、源IP所属地区、源IP所属业务系统、源地址掩码、源端口、目的名称、目的IP、目的IP所属业务系统、目的IP所属地区、目的地址掩码、目的端口、网络协议、应用层协议。
会话的会话对象属性信息包括会话key以及以下信息中的一种或多种:源IP、源端口、目的IP、目的端口、网络协议、应用层协议、首次出现时间、最近出现时间、会话持续时间、会话流量信息、会话业务信息、会话合规检测信息。
优选地,
会话key采用“源IP:源端口-目的IP:目的端口@协议”表示。
会话流量信息的属性包括:client发送sever总包数、client发送sever字总节数、sever发送client总包数、sever发送client总字节数、全部字总节数、全部包数。
会话业务信息的属性包括:请求IP对应的集合、目的IP对应的业务集合。
会话合规检测信息的属性包括:告警集合、检测结果、合规策略标识、源IP归属地址池、目的IP归属地址池。
优选地,
通过流重组将所述VFlow聚合成会话包括:
从VFlow缓存中获取当前需要处理的VFlow集合。
对VFlow集合中的每一个VFlow,根据其流属性信息确定其对应会话的会话key,判断第一会话缓存中是否存在具有该会话key的会话:
如果是,根据当前VFlow更新第一会话缓存中具有该会话key的会话。
如果否,根据当前VFlow创建一个新的会话并保存在第一会话缓存中。
优选地,
第一会话缓存为临时会话缓存,该方法还分配有全局会话缓存。
通过流重组将VFlow聚合成会话,还包括:
对临时会话缓存中的每一个会话,根据其会话key到全局会话缓存中查找是否存在具有相同会话key的会话:
如果是,基于临时会话缓存中的该会话更新全局会话缓存中的相应会话。
如果否,将临时会话缓存中的该会话复制到全局会话缓存中。
对临时会话缓存中的每一个会话处理完成以后,清空临时会话缓存。
优选地,
基于设定的流合规检测策略对会话进行业务合规检测,包括:根据待检测会话的会话对象属性信息,判断会话是否满足流合规检测策略中设定的合规条件,如果满足,则检测结果为合规;如果不满足,则检测结果为不合规;和/或,判断会话是否满足流合规检测策略中设定的不合规条件,如果满足,则检测结果为不合规;如果不满足,则检测结果为合规。
其中,合规条件和不合规条件包括一个条件,或包括按照设定逻辑进行组合的多个条件;条件定义了会话对象属性信息与预定属性之间满足的关系。
优选地,
预定属性包括以下一种或多种:源IP集合、目的IP集合、源端口集合、目的端口集合、时间范围、bps、pps、网络协议集合、应用层协议集合动作、状态。
会话对象属性信息与预定属性之间满足的关系包括以下一种或多种:等于、不等于、大于、小于、大于等于、小于等于、包含和不包含。
设定逻辑包括以下一种或多种:与、或、非及其排列组合。
优选地,
该方法还包括:基于设定的流合规检测策略对会话进行业务合规检测时,将使用率最高的前N条流合规检测策略加载到内存中,在内存中以源IP集合及目的IP集合建立索引;根据该索引查找与当前被检测的会话相关联的流合规检测策略,依据查到的流合规检测策略,对会话进行合规检测。
本发明还提出一种基于流Flow分析的业务合规检测系统,该系统包括:采集模块、标准化模块、聚合模块、检测模块。
采集模块,用于通过镜像抓包获取Flow或接收其他系统发出的Flow。
标准化模块,用于通过标准化将各种Flow转化成同一种格式的标准流VFlow,记录VFlow的流属性信息。
聚合模块,用于通过流重组将VFlow聚合成会话,记录该会话的会话对象属性信息,该会话对象属性信息基于VFlow的流属性信息得到。
检测模块,用于基于设定的流合规检测策略对会话进行业务合规检测。
优选地,
标准化基于各种Flow的数据格式,标准化模块还用于对数据格式采用配置文件的方式表示,该配置文件包括以下信息中的一种或多种:类型标示、数据头及各偏移量对应的流属性、数据体及各偏移量对应的流属性。
优选地,
VFlow的属性包括:源名称、源IP、源IP所属地区、源IP所属业务系统、源地址掩码、源端口、目的名称、目的IP、目的IP所属业务系统、目的IP所属地区、目的地址掩码、目的端口、网络协议、应用层协议。
会话的会话对象属性信息包括会话key以及以下信息中的一种或多种:源IP、源端口、目的IP、目的端口、网络协议、应用层协议、首次出现时间、最近出现时间、会话持续时间、会话流量信息、会话业务信息、会话合规检测信息。
优选地,
会话key采用“源IP:源端口-目的IP:目的端口@协议”表示。
会话流量信息的属性包括:client发送sever总包数、client发送sever字总节数、sever发送client总包数、sever发送client总字节数、全部字总节数、全部包数。
会话业务信息的属性包括:请求IP对应的集合、目的IP对应的业务集合。
会话合规检测信息的属性包括:告警集合、检测结果、合规策略标识、源IP归属地址池、目的IP归属地址池。
优选地,
聚合模块通过流重组将所述VFlow聚合成会话包括:
从Flow缓存中获取当前需要处理的Flow集合。
对Flow集合中的每一个Flow,根据其流属性信息确定其对应会话的会话key,判断第一会话缓存中是否存在具有该会话key的会话:
如果是,根据当前Flow更新第一会话缓存中具有该会话key的会话;
如果否,根据当前Flow创建一个新的会话并保存在第一会话缓存中。
优选地,
第一会话缓存为临时会话缓存,该系统还分配有全局会话缓存。
聚合模块通过流重组将VFlow聚合成会话,还包括:
对临时会话缓存中的每一个会话,根据其会话key到全局会话缓存中查找是否存在具有相同会话key的会话:
如果是,基于临时会话缓存中的该会话更新全局会话缓存中的相应会话。
如果否,将临时会话缓存中的该会话复制到全局会话缓存中。
对临时会话缓存中的每一个会话处理完成以后,清空临时会话缓存。
优选地,
检测模块基于设定的流合规检测策略对会话进行业务合规检测,包括:根据待检测会话的会话对象属性信息,判断会话是否满足流合规检测策略中设定的合规条件,如果满足,则检测结果为合规;如果不满足,则检测结果为不合规;和/或,判断会话是否满足流合规检测策略中设定的不合规条件,如果满足,则检测结果为不合规;如果不满足,则检测结果为合规。
其中,合规条件和不合规条件包括一个条件,或包括按照设定逻辑进行组合的多个条件;条件定义了会话对象属性信息与预定属性之间满足的关系。
优选地,
预定属性包括以下一种或多种:源IP集合、目的IP集合、源端口集合、目的端口集合、时间范围、bps、pps、网络协议集合、应用层协议集合动作、状态。
会话对象属性信息与预定属性之间满足的关系包括以下一种或多种:等于、不等于、大于、小于、大于等于、小于等于、包含和不包含。
设定逻辑包括以下一种或多种:与、或、非及其排列组合。
优选地,
检测模块还用于:基于设定的流合规检测策略对会话进行业务合规检测时,将使用率最高的前N条流合规检测策略加载到内存中,在内存中以源IP集合及目的IP集合建立索引;根据索引查找与当前被检测的会话相关联的流合规检测策略,依据查到的流合规检测策略,对会话进行合规检测。
与现有技术相比,本发明包括:通过镜像抓包获取Flow或接收其他系统发出的Flow。通过标准化将各种Flow转化成同一种格式的标准流VFlow,记录VFlow的流属性信息。通过流重组将VFlow聚合成会话,记录会话的会话对象属性信息,会话对象属性信息基于VFlow的流属性信息得到。基于设定的流合规检测策略对该会话进行业务合规检测。通过本发明的方案,能够面对大数据,从宏观层面检测多种违规行为。
附图说明
下面对本发明实施例中的附图进行说明,实施例中的附图是用于对本发明的进一步理解,与说明书一起用于解释本发明,并不构成对本发明保护范围的限制。
图1为本发明的基于流Flow分析的业务合规审计方法流程图;
图2为本发明的基于流Flow分析的业务合规审计系统框图。
具体实施方式
为了便于本领域技术人员的理解,下面结合附图对本发明作进一步的描述,并不能用来限制本发明的保护范围。
本发明将行为分析技术与安全法规和用户定义策略相结合,通过对原始流量的采集,利用高效七层协议解析技术和会话数据流重组技术,获取全面、有效的网络行为数据;利用强大、灵活的网络流合规策略将抽象、政策性的安全法规进行具化表达;进而通过检测模块自动化的实现业务合规检测。
网络流合规策略,说通俗一点就是定义网络流的交通规则,什么地方可以直行,什么地方可以拐弯,什么地方可以走,什么地方不可以走。SDN软件定义网络是实现真正的交通规则,有了SDN,可能很多安全设备都不存在了,但是这个过程还很漫长,违规检测是在网络流的逻辑层面模拟SDN,也就是说,网络流应该按照我们定义的方式来运行,凡是不符合规则的网络流行为就是违规,需要进行分析和诊断,需要告警引起关注。
具体地,本发明提出了一种基于流Flow分析的业务合规检测方法,如图1所示,该方法包括:
S101、通过镜像抓包获取Flow或接收其他系统发出的Flow。
其中镜像抓包方式采用类似NetFlow的处理机制对镜像数据进行分析汇集。
S102、通过标准化将各种Flow转化成同一种格式的标准流VFlow,记录VFlow的流属性信息。
优选地,
该方法还包括:标准化基于各种Flow的数据格式,数据格式采用配置文件的方式表示,配置文件包括以下信息中的一种或多种:类型标示、数据头及各偏移量对应的流属性、数据体及各偏移量对应的流属性。
标准化实现了一种通用的流解析方法,采用配置文件的方式来表述Flow的数据格式,从而提高标准化的灵活扩展能力,当增加一种Flow类型时,通常只需要增加对应的配置文件即可。
通过镜像抓包获取的Flow以及通过接收其他系统发出的Flow都能够转化为VFlow。VFlow是一种数据交换方式,一个VFlow流定义为一个源IP地址和目的IP地址之间的单向数据包流。
其中,其他系统发出的Flow的类型包括:NetFlow V1、NetFlow V5、NetFlow V7、NetFlow V8、NetFlow V9、NetStream V5、NetStream V8、NetStream V9、SFlow V4、SFlow V5、CFlow。
VFlow的属性包括:源名称、源IP、源IP所属地区、源IP所属业务系统、源地址掩码、源端口、目的名称、目的IP、目的IP所属业务系统、目的IP所属地区、目的地址掩码、目的端口、网络协议、应用层协议、产生时间、结束时间、持续时间、发送流量、发送包数、下一跳地址、输入接口、输出接口、源自治域、目的自治域、TCP标记、发起方标示、服务的IP类型、发送TCP校验和错误次数、发送TCP重传次数、发送TCP零窗口次数、发送RST包数、发送FIN包数、发送SYN包数、连接成功次数、连接失败次数、TCP连接异常关闭次数、TCP空连接次数、TCP半开连接次数、填充字段、RTT网络时延秒数、响应时延秒数、TCP平均时延秒数、RTT网络时延微秒数、响应时延微秒数、TCP平均时延微秒数、0-64字节包数、65-127字节包数、128-255字节包数、256-512字节包数、513-1023字节包数、1024-1518字节包数、1518以上字节包数、0-64字节包字节总数、65-127字节包字节总数、128-255字节包字节总数、256-512字节包字节总数、513-1023字节包字节总数、1024-1518字节包字节总数、1518以上字节包字节总数。
S103、通过流重组将VFlow聚合成会话,记录会话的会话对象属性信息,会话对象属性信息基于VFlow的流属性信息得到。
优选地,
流重组采用哈希表,会话对象为value。
会话key采用“源IP:源端口-目的IP:目的端口@协议”表示。
会话流量信息的属性包括:client发送sever总包数、client发送sever字总节数、sever发送client总包数、sever发送client总字节数、全部字总节数、全部包数。
会话业务信息的属性包括:请求IP对应的集合、目的IP对应的业务集合。
会话合规检测信息的属性包括:告警集合、检测结果、合规策略标识、源IP归属地址池、目的IP归属地址池。
优选地,
通过流重组将所述VFlow聚合成会话包括:
从VFlow缓存中获取当前需要处理的VFlow集合。
对VFlow集合中的每一个VFlow,根据其流属性信息确定其对应会话的会话key,判断第一会话缓存中是否存在具有该会话key的会话:
如果是,根据当前VFlow更新第一会话缓存中具有该会话key的会话。
如果否,根据当前VFlow创建一个新的会话并保存在第一会话缓存中。
优选地,
第一会话缓存为临时会话缓存,该方法还分配有全局会话缓存。
通过流重组将VFlow聚合成会话,还包括:
对临时会话缓存中的每一个会话,根据其会话key到全局会话缓存中查找是否存在具有相同会话key的会话:
如果是,基于临时会话缓存中的该会话更新全局会话缓存中的相应会话。
如果否,将临时会话缓存中的该会话复制到全局会话缓存中。
对临时会话缓存中的每一个会话处理完成以后,清空临时会话缓存。
其中,将会话缓存分为临时会话缓存及全局会话缓存,提高了重组的效率。
S104、基于设定的流合规检测策略对该会话进行业务合规检测。
优选地,
基于设定的流合规检测策略对会话进行业务合规检测,包括:根据待检测会话的会话对象属性信息,判断会话是否满足流合规检测策略中设定的合规条件,如果满足,则检测结果为合规;如果不满足,则检测结果为不合规;和/或,判断会话是否满足流合规检测策略中设定的不合规条件,如果满足,则检测结果为不合规;如果不满足,则检测结果为合规。
其中,合规条件和不合规条件包括一个条件,或包括按照设定逻辑进行组合的多个条件;条件定义了会话对象属性信息与预定属性之间满足的关系。
优选地,
预定属性包括以下一种或多种:源IP集合、目的IP集合、源端口集合、目的端口集合、时间范围、bps、pps、网络协议集合、应用层协议集合动作(允许/拒绝)、状态(启用/禁用)。
会话对象属性信息与预定属性之间满足的关系包括以下一种或多种:等于、不等于、大于、小于、大于等于、小于等于、包含和不包含。
设定逻辑包括以下一种或多种:与、或、非及其排列组合。
优选地,
为了既可以提高检测速度又避免过多消耗内存,该方法还包括:基于设定的流合规检测策略对会话进行业务合规检测时,将使用率最高的前N条流合规检测策略加载到内存中,在内存中以源IP集合及目的IP集合建立索引;根据该索引查找与当前被检测的会话相关联的流合规检测策略,依据查到的流合规检测策略,对会话进行合规检测。
对于检测结果,可以通过屏幕、声音、邮件方式形成告警信息,通知用户,用户对该告警信息进行检索并统计。
其中,流合规检测策略定义了网络流的交通规则,包括:基于流合规检测策略,定义了网络流的行走方向及路线。即,定义了网络流什么地方可以直行,什么地方可以拐弯,什么地方可以走,什么地方不可以走。
该方法还包括:根据网络流的交通规则对网络业务实施业务合规审计时,依据预定义的网络流的行走方向及路线,对当前被检测的网络业务进行合规检测,并采用多线程的方式,根据硬件资源使用情况实时调整并发检测的所述网络业务的线程数量。
本发明还提出一种基于流Flow分析的业务合规审计系统01,如图2所示,该系统包括:采集模块02、标准化模块03、聚合模块04、检测模块05。
采集模块02,用于通过镜像抓包获取Flow或接收其他系统发出的Flow。
标准化模块03,用于通过标准化将各种Flow转化成同一种格式的标准流VFlow,记录VFlow的流属性信息。
聚合模块04,用于通过流重组将VFlow聚合成会话,记录该会话的会话对象属性信息,该会话对象属性信息基于VFlow的流属性信息得到。
检测模块05,用于基于设定的流合规检测策略对会话进行业务合规检测。
优选地,
标准化基于各种Flow的数据格式,标准化模块03还用于对数据格式采用配置文件的方式表示,该配置文件包括以下信息中的一种或多种:类型标示、数据头及各偏移量对应的流属性、数据体及各偏移量对应的流属性。
优选地,
VFlow的属性包括:源名称、源IP、源IP所属地区、源IP所属业务系统、源地址掩码、源端口、目的名称、目的IP、目的IP所属业务系统、目的IP所属地区、目的地址掩码、目的端口、网络协议、应用层协议。
会话的会话对象属性信息包括会话key以及以下信息中的一种或多种:源IP、源端口、目的IP、目的端口、网络协议、应用层协议、首次出现时间、最近出现时间、会话持续时间、会话流量信息、会话业务信息、会话合规检测信息。
优选地,
会话key采用“源IP:源端口-目的IP:目的端口@协议”表示。
会话流量信息的属性包括:client发送sever总包数、client发送sever字总节数、sever发送client总包数、sever发送client总字节数、全部字总节数、全部包数。
会话业务信息的属性包括:请求IP对应的集合、目的IP对应的业务集合。
会话合规检测信息的属性包括:告警集合、检测结果、合规策略标识、源IP归属地址池、目的IP归属地址池。
优选地,
聚合模块04通过流重组将所述VFlow聚合成会话包括:
从Flow缓存中获取当前需要处理的Flow集合。
对Flow集合中的每一个Flow,根据其流属性信息确定其对应会话的会话key,判断第一会话缓存中是否存在具有该会话key的会话:
如果是,根据当前Flow更新第一会话缓存中具有该会话key的会话;
如果否,根据当前Flow创建一个新的会话并保存在第一会话缓存中。
优选地,
第一会话缓存为临时会话缓存,该系统还分配有全局会话缓存。
聚合模块04通过流重组将VFlow聚合成会话,还包括:
对临时会话缓存中的每一个会话,根据其会话key到全局会话缓存中查找是否存在具有相同会话key的会话:
如果是,基于临时会话缓存中的该会话更新全局会话缓存中的相应会话。
如果否,将临时会话缓存中的该会话复制到全局会话缓存中。
对临时会话缓存中的每一个会话处理完成以后,清空临时会话缓存。
优选地,
检测模块05基于设定的流合规检测策略对会话进行业务合规检测,包括:根据待检测会话的会话对象属性信息,判断会话是否满足流合规检测策略中设定的合规条件,如果满足,则检测结果为合规;如果不满足,则检测结果为不合规;和/或,判断会话是否满足流合规检测策略中设定的不合规条件,如果满足,则检测结果为不合规;如果不满足,则检测结果为合规。
其中,合规条件和不合规条件包括一个条件,或包括按照设定逻辑进行组合的多个条件;条件定义了会话对象属性信息与预定属性之间满足的关系。
优选地,
预定属性包括以下一种或多种:源IP集合、目的IP集合、源端口集合、目的端口集合、时间范围、bps、pps、网络协议集合、应用层协议集合动作、状态。
会话对象属性信息与预定属性之间满足的关系包括以下一种或多种:等于、不等于、大于、小于、大于等于、小于等于、包含和不包含。
设定逻辑包括以下一种或多种:与、或、非及其排列组合。
优选地,
检测模块05还用于:基于设定的流合规检测策略对会话进行业务合规检测时,将使用率最高的前N条流合规检测策略加载到内存中,在内存中以源IP集合及目的IP集合建立索引;根据索引查找与当前被检测的会话相关联的流合规检测策略,依据查到的流合规检测策略,对会话进行合规检测。
本系统还包括告警模块06,对于检测结果,可以通过屏幕、声音、邮件方式形成告警信息,通知用户,用户对该告警信息进行检索并统计。
本发明采用基于流进行宏观层面的行为分析和检测,克服了面对大数据时代,传统的基于包处理的安全分析和检测技术仅仅靠提高性能进行详尽的检测,已经无法达到很好的效果的问题。
需要说明的是,以上所述的实施例仅是为了便于本领域的技术人员理解而已,并不用于限制本发明的保护范围,在不脱离本发明的发明构思的前提下,本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。
Claims (18)
1.一种基于流Flow分析的业务合规检测方法,其特征在于,所述方法包括:
通过镜像抓包获取Flow或接收其他系统发出的Flow;
通过标准化将各种所述Flow转化成同一种格式的标准流VFlow,记录所述VFlow的流属性信息;
通过流重组将所述VFlow聚合成会话,记录所述会话的会话对象属性信息,所述会话对象属性信息基于所述VFlow的流属性信息得到;
基于设定的流合规检测策略对所述会话进行业务合规检测。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:所述标准化基于各种所述Flow的数据格式,所述数据格式采用配置文件的方式表示,所述配置文件包括以下信息中的一种或多种:类型标示、数据头及各偏移量对应的流属性、数据体及各偏移量对应的流属性。
3.如权利要求1所述的方法,其特征在于,
所述VFlow的属性包括:源名称、源IP、源IP所属地区、源IP所属业务系统、源地址掩码、源端口、目的名称、目的IP、目的IP所属业务系统、目的IP所属地区、目的地址掩码、目的端口、网络协议、应用层协议;
所述会话的会话对象属性信息包括会话key以及以下信息中的一种或多种:源IP、源端口、目的IP、目的端口、网络协议、应用层协议、首次出现时间、最近出现时间、会话持续时间、会话流量信息、会话业务信息、会话合规检测信息。
4.如权利要求3所述的方法,其特征在于,
所述会话key采用“源IP:源端口-目的IP:目的端口@协议”表示;
所述会话流量信息的属性包括:client发送sever总包数、client发送sever字总节数、sever发送client总包数、sever发送client总字节数、全部字总节数、全部包数;
所述会话业务信息的属性包括:请求IP对应的集合、目的IP对应的业务集合;
所述会话合规检测信息的属性包括:告警集合、检测结果、合规策略标识、源IP归属地址池、目的IP归属地址池。
5.如权利要求3所述的方法,其特征在于,所述通过流重组将所述VFlow聚合成会话包括:
从VFlow缓存中获取当前需要处理的VFlow集合;
对所述VFlow集合中的每一个VFlow,根据其流属性信息确定其对应会话的会话key,判断第一会话缓存中是否存在具有该会话key的会话:
如果是,根据当前VFlow更新第一会话缓存中具有该会话key的会话;
如果否,根据当前VFlow创建一个新的会话并保存在第一会话缓存中。
6.如权利要求5所述的方法,其特征在于:
所述第一会话缓存为临时会话缓存,所述方法还分配有全局会话缓存;
所述通过流重组将所述VFlow聚合成会话,还包括:
对所述临时会话缓存中的每一个会话,根据其会话key到所述全局会话缓存中查找是否存在具有相同会话key的会话:
如果是,基于所述临时会话缓存中的该会话更新所述全局会话缓存中的相应会话;
如果否,将所述临时会话缓存中的该会话复制到所述全局会话缓存中;
对所述临时会话缓存中的每一个会话处理完成以后,清空所述临时会话缓存。
7.如权利要求1所述的方法,其特征在于,
所述基于设定的流合规检测策略对所述会话进行业务合规检测,包括:根据待检测会话的会话对象属性信息,判断所述会话是否满足所述流合规检测策略中设定的合规条件,如果满足,则检测结果为合规;如果不满足,则检测结果为不合规;和/或,判断所述会话是否满足所述流合规检测策略中设定的不合规条件,如果满足,则检测结果为不合规;如果不满足,则检测结果为合规;
其中,所述合规条件和不合规条件包括一个条件,或包括按照设定逻辑进行组合的多个条件;所述条件定义了所述会话对象属性信息与预定属性之间满足的关系。
8.如权利要求7所述的方法,其特征在于,
所述预定属性包括以下一种或多种:源IP集合、目的IP集合、源端口集合、目的端口集合、时间范围、bps、pps、网络协议集合、应用层协议集合动作、状态;
所述会话对象属性信息与预定属性之间满足的关系包括以下一种或多种:等于、不等于、大于、小于、大于等于、小于等于、包含和不包含;
所述设定逻辑包括以下一种或多种:与、或、非及其排列组合。
9.如权利要求1所述的方法,其特征在于,
所述方法还包括:基于设定的流合规检测策略对所述会话进行业务合规检测时,将使用率最高的前N条所述流合规检测策略加载到内存中,在内存中以所述源IP集合及所述目的IP集合建立索引;根据所述索引查找与当前被检测的所述会话相关联的所述流合规检测策略,依据查到的所述流合规检测策略,对所述会话进行合规检测。
10.一种基于流Flow分析的业务合规检测系统,其特征在于,所述系统包括:采集模块、标准化模块、聚合模块、检测模块;
所述采集模块,用于通过镜像抓包获取Flow或接收其他系统发出的Flow;
所述标准化模块,用于通过标准化将各种所述Flow转化成同一种格式的标准流VFlow,记录所述VFlow的流属性信息;
所述聚合模块,用于通过流重组将所述VFlow聚合成会话,记录所述会话的会话对象属性信息,所述会话对象属性信息基于所述VFlow的流属性信息得到;
所述检测模块,用于基于设定的流合规检测策略对所述会话进行业务合规检测。
11.如权利要求10所述的系统,其特征在于,所述标准化基于各种所述Flow的数据格式,所述标准化模块还用于对所述数据格式采用配置文件的方式表示,所述配置文件包括以下信息中的一种或多种:类型标示、数据头及各偏移量对应的流属性、数据体及各偏移量对应的流属性。
12.如权利要求10所述的系统,其特征在于,
所述VFlow的属性包括:源名称、源IP、源IP所属地区、源IP所属业务系统、源地址掩码、源端口、目的名称、目的IP、目的IP所属业务系统、目的IP所属地区、目的地址掩码、目的端口、网络协议、应用层协议;
所述会话的会话对象属性信息包括会话key以及以下信息中的一种或多种:源IP、源端口、目的IP、目的端口、网络协议、应用层协议、首次出现时间、最近出现时间、会话持续时间、会话流量信息、会话业务信息、会话合规检测信息。
13.如权利要求12所述的系统,其特征在于,
所述会话key采用“源IP:源端口-目的IP:目的端口@协议”表示;
所述会话流量信息的属性包括:client发送sever总包数、client发送sever字总节数、sever发送client总包数、sever发送client总字节数、全部字总节数、全部包数;
所述会话业务信息的属性包括:请求IP对应的集合、目的IP对应的业务集合;
所述会话合规检测信息的属性包括:告警集合、检测结果、合规策略标识、源IP归属地址池、目的IP归属地址池。
14.如权利要求12所述的系统,其特征在于,所述聚合模块通过流重组将所述VFlow聚合成会话包括:
从Flow缓存中获取当前需要处理的Flow集合;
对所述Flow集合中的每一个Flow,根据其流属性信息确定其对应会话的会话key,判断第一会话缓存中是否存在具有该会话key的会话:
如果是,根据当前Flow更新第一会话缓存中具有该会话key的会话;
如果否,根据当前Flow创建一个新的会话并保存在第一会话缓存中。
15.如权利要求14所述的系统,其特征在于:
所述第一会话缓存为临时会话缓存,所述系统还分配有全局会话缓存;
所述聚合模块通过流重组将所述VFlow聚合成会话,还包括:
对所述临时会话缓存中的每一个会话,根据其会话key到所述全局会话缓存中查找是否存在具有相同会话key的会话:
如果是,基于所述临时会话缓存中的该会话更新所述全局会话缓存中的相应会话;
如果否,将所述临时会话缓存中的该会话复制到所述全局会话缓存中;
对所述临时会话缓存中的每一个会话处理完成以后,清空所述临时会话缓存。
16.如权利要求10所述的系统,其特征在于,
所述检测模块基于设定的流合规检测策略对所述会话进行业务合规检测,包括:根据待检测会话的会话对象属性信息,判断所述会话是否满足所述流合规检测策略中设定的合规条件,如果满足,则检测结果为合规;如果不满足,则检测结果为不合规;和/或,判断所述会话是否满足所述流合规检测策略中设定的不合规条件,如果满足,则检测结果为不合规;如果不满足,则检测结果为合规;
其中,所述合规条件和不合规条件包括一个条件,或包括按照设定逻辑进行组合的多个条件;所述条件定义了所述会话对象属性信息与预定属性之间满足的关系。
17.如权利要求16所述的系统,其特征在于,
所述预定属性包括以下一种或多种:源IP集合、目的IP集合、源端口集合、目的端口集合、时间范围、bps、pps、网络协议集合、应用层协议集合动作、状态;
所述会话对象属性信息与预定属性之间满足的关系包括以下一种或多种:等于、不等于、大于、小于、大于等于、小于等于、包含和不包含;
所述设定逻辑包括以下一种或多种:与、或、非及其排列组合。
18.如权利要求10所述的系统,其特征在于,
所述检测模块还用于:基于设定的流合规检测策略对所述会话进行业务合规检测时,将使用率最高的前N条所述流合规检测策略加载到内存中,在内存中以所述源IP集合及所述目的IP集合建立索引;根据所述索引查找与当前被检测的所述会话相关联的所述流合规检测策略,依据查到的所述流合规检测策略,对所述会话进行合规检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510121139.6A CN106034131A (zh) | 2015-03-18 | 2015-03-18 | 一种基于流Flow分析的业务合规检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510121139.6A CN106034131A (zh) | 2015-03-18 | 2015-03-18 | 一种基于流Flow分析的业务合规检测方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106034131A true CN106034131A (zh) | 2016-10-19 |
Family
ID=57149179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510121139.6A Pending CN106034131A (zh) | 2015-03-18 | 2015-03-18 | 一种基于流Flow分析的业务合规检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106034131A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108322452A (zh) * | 2018-01-15 | 2018-07-24 | 深圳市联软科技股份有限公司 | 网络合规检测方法、装置、设备及介质 |
CN110191024A (zh) * | 2019-05-31 | 2019-08-30 | 中国联合网络通信集团有限公司 | 网络流量监控方法和装置 |
CN110324334A (zh) * | 2019-06-28 | 2019-10-11 | 深圳前海微众银行股份有限公司 | 安全组策略管理方法、装置、设备及计算机可读存储介质 |
CN111818075A (zh) * | 2020-07-20 | 2020-10-23 | 北京华赛在线科技有限公司 | 违规外联检测方法、装置、设备及存储介质 |
CN112118261A (zh) * | 2020-09-21 | 2020-12-22 | 杭州迪普科技股份有限公司 | 会话违规访问检测方法及装置 |
CN113971177A (zh) * | 2021-10-28 | 2022-01-25 | 上海上讯信息技术股份有限公司 | 一种基于长会话的会话审计方法及设备 |
CN115103000A (zh) * | 2022-06-20 | 2022-09-23 | 北京鼎兴达信息科技股份有限公司 | 基于NetStream对铁路数据网进行业务会话还原和分析方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090228971A1 (en) * | 2004-12-15 | 2009-09-10 | Samuels Allen R | Protecting data integrity in an enhanced network connection |
CN101605074A (zh) * | 2009-07-06 | 2009-12-16 | 中国人民解放军信息技术安全研究中心 | 基于网络通讯行为特征监测木马的方法与系统 |
CN102833263A (zh) * | 2012-09-07 | 2012-12-19 | 北京神州绿盟信息安全科技股份有限公司 | 入侵检测和防护的方法及设备 |
CN103532776A (zh) * | 2013-09-30 | 2014-01-22 | 广东电网公司电力调度控制中心 | 业务流量检测方法及系统 |
-
2015
- 2015-03-18 CN CN201510121139.6A patent/CN106034131A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090228971A1 (en) * | 2004-12-15 | 2009-09-10 | Samuels Allen R | Protecting data integrity in an enhanced network connection |
CN101605074A (zh) * | 2009-07-06 | 2009-12-16 | 中国人民解放军信息技术安全研究中心 | 基于网络通讯行为特征监测木马的方法与系统 |
CN102833263A (zh) * | 2012-09-07 | 2012-12-19 | 北京神州绿盟信息安全科技股份有限公司 | 入侵检测和防护的方法及设备 |
CN103532776A (zh) * | 2013-09-30 | 2014-01-22 | 广东电网公司电力调度控制中心 | 业务流量检测方法及系统 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108322452A (zh) * | 2018-01-15 | 2018-07-24 | 深圳市联软科技股份有限公司 | 网络合规检测方法、装置、设备及介质 |
CN110191024A (zh) * | 2019-05-31 | 2019-08-30 | 中国联合网络通信集团有限公司 | 网络流量监控方法和装置 |
CN110324334A (zh) * | 2019-06-28 | 2019-10-11 | 深圳前海微众银行股份有限公司 | 安全组策略管理方法、装置、设备及计算机可读存储介质 |
WO2020258991A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 安全组策略管理方法、装置、设备及计算机可读存储介质 |
CN111818075A (zh) * | 2020-07-20 | 2020-10-23 | 北京华赛在线科技有限公司 | 违规外联检测方法、装置、设备及存储介质 |
CN112118261A (zh) * | 2020-09-21 | 2020-12-22 | 杭州迪普科技股份有限公司 | 会话违规访问检测方法及装置 |
CN112118261B (zh) * | 2020-09-21 | 2023-06-30 | 杭州迪普科技股份有限公司 | 会话违规访问检测方法及装置 |
CN113971177A (zh) * | 2021-10-28 | 2022-01-25 | 上海上讯信息技术股份有限公司 | 一种基于长会话的会话审计方法及设备 |
CN115103000A (zh) * | 2022-06-20 | 2022-09-23 | 北京鼎兴达信息科技股份有限公司 | 基于NetStream对铁路数据网进行业务会话还原和分析方法 |
CN115103000B (zh) * | 2022-06-20 | 2023-09-26 | 北京鼎兴达信息科技股份有限公司 | 基于NetStream对铁路数据网进行业务会话还原和分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106034131A (zh) | 一种基于流Flow分析的业务合规检测方法和系统 | |
KR100609170B1 (ko) | 네트워크 보안 시스템 및 그 동작 방법 | |
US20210184944A1 (en) | Network Embedded Real Time Service Level Objective Validation | |
US9191400B1 (en) | Cyphertext (CT) analytic engine and method for network anomaly detection | |
US8605588B2 (en) | Packet drop analysis for flows of data | |
US9787556B2 (en) | Apparatus, system, and method for enhanced monitoring, searching, and visualization of network data | |
US20210194894A1 (en) | Packet metadata capture in a software-defined network | |
US8677473B2 (en) | Network intrusion protection | |
US8116224B2 (en) | System and method for generating alarms based on bursting traffic | |
US11546266B2 (en) | Correlating discarded network traffic with network policy events through augmented flow | |
CN108040057A (zh) | 适于保障网络安全、网络通信质量的sdn系统 | |
CN104115463A (zh) | 用于处理网络元数据的流式传输方法和系统 | |
CN106357685A (zh) | 一种防御分布式拒绝服务攻击的方法及装置 | |
CN105991637A (zh) | 网络攻击的防护方法和装置 | |
EP3791543B1 (en) | Packet programmable flow telemetry profiling and analytics | |
US20150071085A1 (en) | Network gateway for real-time inspection of data frames and identification of abnormal network behavior | |
CN112583850B (zh) | 网络攻击防护方法、装置及系统 | |
CN113228591A (zh) | 用于动态补救安全系统实体的方法、系统和计算机可读介质 | |
US9344368B2 (en) | Determining path congestion measures | |
JP5328131B2 (ja) | メモリブロックの割り当てを管理する方法及びデバイス、データ伝送ネットワークシステム、コンピュータ可読媒体、並びにコンピュータプログラム | |
Liu et al. | Doom: a training-free, real-time video flow identification method for encrypted traffic | |
WO2015105681A1 (en) | Apparatus, system, and method for enhanced monitoring, searching, and visualization of network data | |
JP2006148778A (ja) | パケット転送制御装置 | |
KR20040055513A (ko) | 정책 기반 네트워크 보안 시스템의 보안 정책을 위한 정보모델 | |
WO2015105684A1 (en) | Apparatus, system, and method for enhanced monitoring and interception of network data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161019 |
|
RJ01 | Rejection of invention patent application after publication |