CN116633594B - Flamingo网关安全系统 - Google Patents

Abstract

本发明公开了Flamingo网关安全系统，包括：网关管理模块用于在接收到网络请求时根据配置进行解密，获取用户UID，并进行安全审计，在收到外网请求后，根据请求头内容进行参数签名验证，验证算法为：根据参数内容拼接秘钥进行MD5加密生成秘钥；网关日志模块用于对发起的请求进行查询并排查异常，通过周期性统计查询应用周期时间内访问URL或UID或IP排行情况，进行风险评估及异常评估；网关监控模块，其用于对应用指定URL用户访问次数进行统计、对应用所有请求根据URL进行分组排行统计访问总计，并监测异常用户、监测被攻击或异常访问URL及辅助制作监控模型；适用于对网络请求进行审计、监控、防御业务风险、反爬虫。

Description

Flamingo网关安全系统

技术领域

本发明属于网络系统领域，涉及网络安全技术，具体是Flamingo网关安全系统。

背景技术

随着信息化步伐的加快及信息技术的深入和互联网高速发展，网络入侵事件日益增多，给人们带来了巨大的经济损失。

如中国专利CN101895552A公开了一种安全网关及其检测代理上网的方法，安全网关接收到数据包，并在预先配置的策略表中获取与该数据包的源IP地址对应的代理检测项；安全网关检测当前接收到数据包的ID号是否大于所述代理检测项中上次接收数据包的ID号，若是，则更新所述代理检测项中的上次接收数据包的ID号为当前数据包的ID号；否则，判定ID号发生回环，检测本次回环时间与代理检测项中记录的上次回环时间的时间差是否大于等于预先设定的容忍时间，若是，判定为未发生代理上网；否则，判定为发生代理上网。通过采用简单的检测算法能够有效的对网络中使用代理上网的IP地址加以判断，为防代理上网提供了支持。还如中国专利CN103312682A公开一种网关安全接入的方法，采用“应用等级一节点信息”评估节点安全等级的方法，实现了网关安全接入的自适应性、中国专利CN104618403A公开了一种安全网关的访问控制方法和装置，精确的识别出用户，并有效的对用户进行管控。

还如中国专利CN111490874A、CN111818053A、CN108234405A等等诸如此类，均提供一种基于身份识别、验证的网关安全技术，却缺乏基于用户习惯、日志分析等技术进行的安全防护技术。

发明内容

本发明的目的在于提供Flamingo网关安全系统。

本发明的目的可以通过以下技术方案实现：

一种Flamingo网关安全系统，包括：监控台、网关管理模块、网关日志模块、网关监控模块、网关防护模块、系统管理模块；网关管理模块，其用于在接收到网络请求时根据配置进行解密，获取用户UID，并进行安全审计，还用于在收到外网请求后，根据请求头内容进行参数签名验证，验证算法为：根据参数内容拼接秘钥进行MD5加密生成秘钥；网关日志模块，其用于对发起的请求进行查询并排查异常，通过周期性统计查询应用周期时间内访问URL或UID或IP排行情况，进行风险评估及异常评估；网关监控模块，其用于对应用指定URL用户访问次数进行统计、对应用所有请求根据URL进行分组排行统计访问总计，并监测异常用户、监测被攻击或异常访问URL及辅助制作监控模型。

进一步地，网关日志模块包括访问日志子模块、访问排行子模块、访问统计子模块，访问日志子模块可实时查询到每条请求的详细信息，访问排行子模块可周期统计每个应用api请求数据排行版，访问统计子模块可以周期统计每个应用的访问总计、ip数量、活跃用户、在线用户。网关防护模块包括用户黑名单子模块、ip黑名单子模块、ip白名单子模块、规则设置子模块，系统可以根据设置的规则对请求进行风险评估，触发阈值后将用户或ip拉入黑名单限制访问，本发明适用于对网络请求进行审计、监控、防御业务风险、反爬虫。

本发明的有益效果：

本发明通过监控台、网关管理模块、网关日志模块、网关监控模块、网关防护模块、系统管理模块的设置，实时查询到每条请求的详细信息，周期统计每个应用的访问总计、ip数量、活跃用户、在线用户，用以解决所有api请求审计，分析并校验每个用户请求的网络包，确保每个用户的请求有效且安全，对无效的或有攻击行为的请求进行阻断或隔离，适用于对网络请求进行审计、监控、防御业务风险、反爬虫。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明Flamingo网关安全系统的结构示意图。

具体实施方式

实施例一：

Flamingo网关安全系统，为了保障业务系统的安全稳定的运行，Flamingo网关实时记录请求的Web访问请求，根据自定义的规则周期地检测识别是否有恶意特征的请求，对于敏感操作和访问均会自动判断是否合法，并对核心数据进行有效加密或服务拒绝，从而保障网站的业务安全和数据安全。

如图1所示，Flamingo网关安全系统，包括：网关管理模块用于在接收到网络请求时根据配置进行解密，获取用户UID，并进行安全审计，还用于在收到外网请求后，根据请求头内容进行参数签名验证，验证算法为：根据参数内容拼接秘钥进行MD5加密生成秘钥；网关日志模块，其用于对发起的请求进行查询并排查异常，通过周期性统计查询应用周期时间内访问URL或UID或IP排行情况，进行风险评估及异常评估；网关监控模块，其用于对应用指定URL用户访问次数进行统计、对应用所有请求根据URL进行分组排行统计访问总计，并监测异常用户、监测被攻击或异常访问URL及辅助制作监控模型；保证业务系统的稳定，做好所有Web请求的审计。分析并校验每个用户请求的网络包，确保每个用户请求有效且安全，对无效或有攻击行为的请求进行阻断或隔离。

作为本发明提供的一个实施例，优选的，还包括：监控台，其用于显示今日访问总计、实时访问总计、分时访问图表、应用访问排行；其中，所述今日访问总计包括今日总访问量以及今日总活跃用户；所述实时访问总计包括实际访问总量以及实时活跃用户；所述分时访问图表以预设时间T1(T1＝五分钟)为颗粒度通过折线表的形式显示预设时间T2内的(T2＝最近1小时)访问趋势以及在线用户趋势；所述应用访问排行以表格的形式显示所有应用今日访问量总和活跃用户总和。监测所有WEB的请求，识别恶意的访问特征等。保障业务系统的安全稳定的运行。

作为本发明提供的一个实施例，优选的，所述网关管理模块包括：

创建新网关子模块，所述创建新网关子模块用于网关应用的创建，支持集群模式及单机模式，类型分为页面转发和接口转发，当收到外网请求后，根据所述创建新网关子模块设定规则，进行内网对应服务的转发；

网关列表子模块，所述网关列表子模块用于所有网关应用的查询、修改、删除操作；

用户配置子模块，所述用户配置子模块用于配置网关应用的用户签名加密，在接收到网络请求时根据配置进行解密获取用户UID。

作为本发明提供的一个实施例，优选的，当收到外网请求后，针对需要用户权限的URL进行用户权限验证，根据请求头内容、根据所述网关管理模块中的用户配置子模块中的配置获取用户权限，并与用户服务端进行权限有效性验证，若检查不通过将中断请求并返回403请求状态码给客户端并保留日志。

作为本发明提供的一个实施例，优选的，收到外网请求后，签名以及用户权限验证均通过结构化存储方式进行请求详细信息的存储。

作为本发明提供的一个实施例，优选的，所述网关日志模块包括：

访问日志子模块，所述访问日志子模块用于对发起的请求进行查询，还用于查询单条请求详细信息，查询的搜索条件包括应用、类型、时间区间、响应码以及关键词模糊查询，可用于审计以及异常排查；

访问排行子模块，所述访问排行子模块用于通过周期性统计查询应用周期时间内访问URL或UID或I P排行情况，可用于风险评估以及异常评估；

访问统计子模块，所述访问统计子模块用于在周期时间内统计每个应用的访问情况。

作为本发明提供的一个实施例，优选的，若网关管理模块进行签名验证不通过，则中断请求并返回401请求状态码给客户端并保留日志。

作为本发明提供的一个实施例，优选的，所述网关监控模块包括：

用户访问排行子模块，所述用户访问排行子模块对应用指定URL用户访问次数进行统计，用于监测异常用户以及辅助制作监控模型；

URL访问排行子模块，所述URL访问排行子模块对应用所有请求根据URL进行分组排行统计访问总计，用于监测被攻击或异常访问URL以及辅助制作监控模型。

作为本发明提供的一个实施例，优选的，还包括网关防护模块，所述网关防护模块包括：

用户黑名单子模块，所述用户黑名单子模块用于显示黑名单用户封禁时间、封禁次数、封禁原因、触发规则，还用于对应用黑名单用户进行手动添加、条件查询、删除操作；

ip黑名单子模块，所述ip黑名单子模块用于显示黑名单i p封禁时间、封禁类型、封禁原因、触发规则，还用于对黑名单i p进行手动添加、条件查询、删除操作；

ip白名单子模块，所述ip白名单子模块用于显示白名单ip来源以及备注，用于用户在应对特殊场景时防止触发规则误封；

规则设置子模块，所述规则设置子模块用于显示规则的创建时间、名称、类型、监控目标、处理方式、描述、规则明细、启用状态，还用于对规则进行手动添加、编辑、删除；网关实时记录请求的Web访问请求，根据自定义的规则周期地检测识别是否有恶意特征的请求，对于敏感操作和访问均会自动判断是否合法，并对核心数据进行有效加密或服务拒绝，从而保障网站的业务安全和数据安全；同样的，还作为微服务的网关，支持所有内部服务集群的API及网站路由的转发、服务鉴权、服务的升降级；网关会周期性的统计网站的请求流量排行，让运维对集群服务有效性有一定的预警。

根据所述网关防护模块中的规则设置子模块设置的规则进行周期性事件脚本执行，通过脚本执行触发阈值的用户或ip根据规则加入黑名单限制访问。

作为本发明提供的一个实施例，优选的，还包括系统管理模块，所述系统管理模块包括数据统计子模块，还包括：

事件日志子模块，所述事件日志子模块用于显示根据网关防护模块中的规则设置子模块设定的规则执行脚本产生的数据日志，数据日志内容为产生时间、数据类型、来源规则、来及主机、来源端口、日志明细；

异常日志子模块，所述异常日志子模块显示因日志写入规则识别等发送异常产生的异常日志，用于异常监控排查。

实施例二：

使用Elasticsearch用于所有日志的存储，Mongodb来管理核心功能数据的存储(如：黑名单等)，Kafka充当消息的中件间,Redis用于实时判断请求的合法性。当请求进来时会首先进入网关，网关会将消息发送于消息队列，根据网关的中间件能通过Redis实时判断请求是否合法才会放行转发到内网的业务服务集群。当访问日志进入时，消费和周期性作业会实时分析请求的合法性并存储到Redis和Mongodb。

以集群方式提供服务，多台服务器负载均衡，支持多种负载均衡策略，单台服务器宕机或者维修，均不影响正常服务，因此，作为本发明提供的再一个实施例，优选的：

网关应用管理模块，可以根据不同的应用或项目来切割防护规则和日志，因不同的应用会部署在不同的集群中；

用户授权配置模块：网关授权资源配置：开启时，可以从请求中提取用户及平台信息，网关可以根据配置来限制有些请求是否必须要带令牌，如：u-token；

用户管理模块：所有网关的请求产生的UID就是一个用户，可以查询实时在线用户和最近活动的IP等业务；

IP信息库：网关下所有的IP信息库，并标记IP所在的地区；

网关日志模块：网关下的所有请求产生的日志，主要信息有请求头、响应时间、响应码等，所有的分析统计都依赖于请求产生的日志；

网关监控模块：通过不同的维度周期性地分析网关下的产生的请求日志，如：访问量、响应时间、日活等；

网关黑名单模块：黑名单包含用户和IP，在黑名单里的用户会被拒绝访问。网关白名单：白名单包含用户和IP，在白名单里的用户不会对期使用合法性检测；

网关防护规则：自定非法检测的规则，如：时间段的访问限制、接口访问限制、特征限制等配置；

系统日志：系统里各个不用应用会产生的日志，如：周期性作业的成功或失败，分析异常检测的提醒等。

实施例三：

在收到外网请求后，根据请求头内容进行参数签名验证，验证算法为：根据参数内容拼接秘钥进行MD5加密生成秘钥，生成密钥的算法为：

获取参数内容，将参数内容按照顺序依次标记为字符Z i，其中，i＝1、2、3、…、n；n为正整数；表示参数内容共包含n个字符，一个字符表示一个数字或文字或标点或英文等；

当n＞X1时，进行参数内容段截取后获取密钥段，进行拼接秘钥，否则，将参数内容直接作为密钥段进行拼接秘钥；X1为预设值；

拼接密钥的方式为：

获取请求发生的时间戳，将对应的时间依次标记为T1、T2、T3、…、T10，依次表示T1T2T3T4年T5T6月T7T8日T9T10秒，并计算时分率F，I DF为请求信息对应的i p在此时之前请求成功的次数，D l为当日签名验证失败的i p个数；

将密钥段按照字符顺序，将密钥段平均切割成段(不能均分时，则分成/>均分段后，保证剩余的字符数小于每一段的字符数，剩余的字符单独作为一段，并标记，如7个字符，均分3段，则两两一段的共3个，最后剩一个字符单独作为一段，并标记)，每一段为一个密钥片段，提取位于第F的密钥片段作为拼接密钥的第一串字符、提取位于第F-1的密钥片段作为拼接密钥的第二串字符、提取位于第F+1的密钥片段作为拼接密钥的第三串字符、提取位于第F-2的密钥片段作为拼接密钥的第四串字符、提取位于第F+2的密钥片段作为拼接密钥的第五串字符…按照此规律，拼接完之后获得拼接密钥，其中，[α]表示对α取整；

将拼接密钥传入MD5加密规则生成秘钥；

参数内容段截取的方法为：

当n为奇数时，从请求信息中获取i p地址，当获取的ip地址在网关日志模块中可查时，按顺序截取第1、3、5、…、N1段字符作为参数内容段；保证截取的N1段字符中字符的总数量满足：N1取满足N1*X2≤X1的最大值，N1为奇数；否则，从参数内容中的最后一个字符起、往前推X1个字符，截取为参数内容段；

当n为偶数时，从请求信息中获取i p地址，当获取的ip地址在网关日志模块中可查时，按顺序截取第2、4、6、…、N2段字符作为参数内容段；保证截取的N2段字符中字符的总数量满足：N2取满足N2*X2≤X1的最大值，N2为偶数数；否则，从参数内容中的第二个字符起、往后推X1个字符，截取为参数内容段；

截取的所有参数内容段按获取的顺序排列后形成密钥段；

其中，参数内容分段的方式为：从第一个字符开始、以X2个字符作为一段字符，其中，X2为预设值。

将拼接密钥传入MD5加密规则的方法为：

若请求信息对应的ip地址在网关日志模块中可查时，直接按照拼接密钥对应的字符顺序，每X3个字符为一组，每两组之间间隔时间t1微秒，依次传入MD5加密规则；

否则，按照拼接密钥对应的字符顺序，每X3个字符为一组，从第X3组开始依次至最后一组、再从第一组至第X3-1组以每两组之间间隔时间t1微秒，依次传入MD5加密规则；

X3、t1为预设值，其中X3可以取多个数值，按照传输的请求的次序，依次循环采用一个数值。

一种Flamingo网关安全系统，通过监控台、网关管理模块、网关日志模块、网关监控模块、网关防护模块、系统管理模块的设置，实时查询到每条请求的详细信息，周期统计每个应用的访问总计、ip数量、活跃用户、在线用户，用以解决所有api请求审计，分析并校验每个用户请求的网络包，确保每个用户的请求有效且安全，对无效的或有攻击行为的请求进行阻断或隔离，适用于对网络请求进行审计、监控、防御业务风险、反爬虫。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.Flamingo网关安全系统，其特征在于，包括：

网关管理模块，其用于在接收到网络请求时根据配置进行解密，获取用户UID，并进行安全审计，还用于在收到外网请求后，根据请求头内容进行参数签名验证，验证算法为：根据参数内容拼接秘钥进行MD5加密生成秘钥；

网关日志模块，其用于对发起的请求进行查询并排查异常，通过周期性统计查询应用周期时间内访问URL或UID或IP排行情况，进行风险评估及异常评估；

网关监控模块，其用于对应用指定URL用户访问次数进行统计、对应用所有请求根据URL进行分组排行统计访问总计，并监测异常用户、监测被攻击或异常访问URL及辅助制作监控模型；

在收到外网请求后，根据请求头内容进行参数签名验证，验证算法为：根据参数内容拼接秘钥进行MD5加密生成秘钥，生成密钥的算法为：

获取参数内容，将参数内容按照顺序依次标记为字符Zi，其中，i＝1、2、3、…、n；n为正整数；表示参数内容共包含n个字符；

当n＞X1时，进行参数内容段截取后获取密钥段，进行拼接秘钥，否则，将参数内容直接作为密钥段进行拼接秘钥；X1为预设值；

拼接密钥的方式为：

获取请求发生的时间戳，将对应的时间依次标记为T1、T2、T3、…、T10，依次表示T1T2T3T4年T5T6月T7T8日T9T10秒，并计算时分率F，IDF为请求信息对应的ip在此时之前请求成功的次数，Dl为当日签名验证失败的ip个数；

将密钥段按照字符顺序，将密钥段平均切割成段，不能均分时，则分成均分段后，保证剩余的字符数小于每一段的字符数，剩余的字符单独作为一段，并标记，每一段为一个密钥片段，提取位于第F的密钥片段作为拼接密钥的第一串字符、提取位于第F-1的密钥片段作为拼接密钥的第二串字符、提取位于第F+1的密钥片段作为拼接密钥的第三串字符、提取位于第F-2的密钥片段作为拼接密钥的第四串字符、提取位于第F+2的密钥片段作为拼接密钥的第五串字符…按照此规律，拼接完之后获得拼接密钥，其中，[α]表示对α取整；

将拼接密钥传入MD5加密规则生成秘钥；

参数内容段截取的方法为：

当n为奇数时，从请求信息中获取ip地址，当获取的ip地址在网关日志模块中可查时，按顺序截取第1、3、5、…、N1段字符作为参数内容段；保证截取的N1段字符中字符的总数量满足：N1取满足N1*X2≤X1的最大值，N1为奇数；否则，从参数内容中的最后一个字符起、往前推X1个字符，截取为参数内容段；

当n为偶数时，从请求信息中获取ip地址，当获取的ip地址在网关日志模块中可查时，按顺序截取第2、4、6、…、N2段字符作为参数内容段；保证截取的N2段字符中字符的总数量满足：N2取满足N2*X2≤X1的最大值，N2为偶数数；否则，从参数内容中的第二个字符起、往后推X1个字符，截取为参数内容段；

截取的所有参数内容段按获取的顺序排列后形成密钥段；

其中，参数内容分段的方式为：从第一个字符开始、以X2个字符作为一段字符，其中，X2为预设值；

将拼接密钥传入MD5加密规则的方法为：

若请求信息对应的ip地址在网关日志模块中可查时，直接按照拼接密钥对应的字符顺序，每X3个字符为一组，每两组之间间隔时间t1微秒，依次传入MD5加密规则；

否则，按照拼接密钥对应的字符顺序，每X3个字符为一组，从第X3组开始依次至最后一组、再从第一组至第X3-1组以每两组之间间隔时间t1微秒，依次传入MD5加密规则；

X3、t1为预设值。

2.根据权利要求1所述的Flamingo网关安全系统，其特征在于，还包括：

监控台，其用于显示今日访问总计、实时访问总计、分时访问图表、应用访问排行；

其中，所述今日访问总计包括今日总访问量以及今日总活跃用户；

所述实时访问总计包括实际访问总量以及实时活跃用户；

所述分时访问图表以预设时间T1为颗粒度通过折线表的形式显示预设时间T2内的访问趋势以及在线用户趋势；

所述应用访问排行以表格的形式显示所有应用今日访问量总和活跃用户总和。

3.根据权利要求1所述的Flamingo网关安全系统，其特征在于，所述网关管理模块包括：

创建新网关子模块，所述创建新网关子模块用于网关应用的创建，支持集群模式及单机模式，类型分为页面转发和接口转发，当收到外网请求后，根据所述创建新网关子模块设定规则，进行内网对应服务的转发；

网关列表子模块，所述网关列表子模块用于所有网关应用的查询、修改、删除操作；

用户配置子模块，所述用户配置子模块用于配置网关应用的用户签名加密，在接收到网络请求时根据配置进行解密获取用户UID。

4.根据权利要求3所述的Flamingo网关安全系统，其特征在于，当收到外网请求后，针对需要用户权限的URL进行用户权限验证，根据请求头内容、根据所述网关管理模块中的用户配置子模块中的配置获取用户权限，并与用户服务端进行权限有效性验证，若检查不通过将中断请求并返回403请求状态码给客户端并保留日志。

5.根据权利要求4所述的Flamingo网关安全系统，其特征在于，收到外网请求后，签名以及用户权限验证均通过结构化存储方式进行请求详细信息的存储。

6.根据权利要求1所述的Flamingo网关安全系统，其特征在于，所述网关日志模块包括：

访问日志子模块，所述访问日志子模块用于对发起的请求进行查询，还用于查询单条请求详细信息，查询的搜索条件包括应用、类型、时间区间、响应码以及关键词模糊查询；

访问排行子模块，所述访问排行子模块用于通过周期性统计查询应用周期时间内访问URL或UID或IP排行情况；

访问统计子模块，所述访问统计子模块用于在周期时间内统计每个应用的访问情况。

7.根据权利要求6所述的Flamingo网关安全系统，其特征在于，若网关管理模块进行签名验证不通过，则中断请求并返回401请求状态码给客户端并保留日志。

8.根据权利要求1所述的Flamingo网关安全系统，其特征在于，所述网关监控模块包括：

用户访问排行子模块，所述用户访问排行子模块对应用指定URL用户访问次数进行统计；

URL访问排行子模块，所述URL访问排行子模块对应用所有请求根据URL进行分组排行统计访问总计。

9.根据权利要求1所述的Flamingo网关安全系统，其特征在于，还包括网关防护模块，所述网关防护模块包括：

用户黑名单子模块，所述用户黑名单子模块用于显示黑名单用户封禁时间、封禁次数、封禁原因、触发规则，还用于对应用黑名单用户进行手动添加、条件查询、删除操作；

ip黑名单子模块，所述ip黑名单子模块用于显示黑名单ip封禁时间、封禁类型、封禁原因、触发规则，还用于对黑名单ip进行手动添加、条件查询、删除操作；

ip白名单子模块，所述ip白名单子模块用于显示白名单ip来源以及备注，用于用户在应对特殊场景时防止触发规则误封；

规则设置子模块，所述规则设置子模块用于显示规则的创建时间、名称、类型、监控目标、处理方式、描述、规则明细、启用状态，还用于对规则进行手动添加、编辑、删除；

根据所述网关防护模块中的规则设置子模块设置的规则进行周期性事件脚本执行，通过脚本执行触发阈值的用户或ip根据规则加入黑名单限制访问。

10.根据权利要求9所述的Flamingo网关安全系统，其特征在于，还包括系统管理模块，所述系统管理模块包括数据统计子模块，还包括：

事件日志子模块，所述事件日志子模块用于显示根据网关防护模块中的规则设置子模块设定的规则执行脚本产生的数据日志，数据日志内容为产生时间、数据类型、来源规则、来及主机、来源端口、日志明细；

异常日志子模块，所述异常日志子模块显示因日志写入规则识别发送异常产生的异常日志。