CN110830496A

CN110830496A - 一种防止扫描权限文件的系统的使用方法及作业方法

Info

Publication number: CN110830496A
Application number: CN201911117164.1A
Authority: CN
Inventors: 郑友声; 曾劲基; 蔡少君; 苗辉
Original assignee: Xiamen Baishan Hard Science & Technology Co Ltd
Current assignee: Xiamen Baishan Hard Science & Technology Co Ltd
Priority date: 2018-03-30
Filing date: 2018-03-30
Publication date: 2020-02-21
Anticipated expiration: 2038-03-30
Also published as: CN108683631B; CN108683631A; CN110830496B

Abstract

本发明公开了一种防止扫描权限文件的系统的使用方法及作业方法，包括：对客户端上传的针对一域名的权限文件的请求进行接收；对域名是否存在于预存的白名单或黑名单中进行判断；当域名存在于白名单中时，将预先生成的默认权限文件发送给客户端；当域名存在于黑名单中时，将从源站接收的原始数据发送给客户端；当请求为正常行为或未知行为时，将预先生成的默认权限文件发送给客户端；当请求为扫描行为时，从源站接收的原始数据发送给客户端。本发明的方法可以区分客户业务行为，识别哪些客户业务需要权限文件，哪些客户不需要权限文件，并且通过全网信息管道，更改判断规则，迅速下发生效，在客户在没有感知的情况下解决问题，提高用户体验。

Description

一种防止扫描权限文件的系统的使用方法及作业方法

本申请是2018年3月30日提交中国国家知识产权局专利局，申请号为201810294217.6、发明名称为“一种防止扫描权限文件的方法和系统”的中国专利申请的分案申请。

技术领域

本发明涉及互联网技术领域，尤其涉及一种防止扫描权限文件的系统的使用方法及作业方法。

背景技术

通常，代理客户网站会额外承担客户网站被攻击扫描的流量，同时一些网站评级安全扫描工具会特别请求特定文件，例如crossdomain.xml和robot.txt等这样的特殊权限文件。此时，当客户源站不存在这些文件，服务器需要判断这个请求是否该给出特殊文件。一方面，对于视频网站等来说，flash播放器依靠crossdomain.xml文件来确认请求的资源是否被允许，如果没有得到权限文件播放服务将完全故障。另一方面，对于静态页面，跨域访问等不需要这种跨域文件，此时如果服务器默认给出权限文件，将影响此网站在某些安全扫描软件下的整体评分，导致对网站的安全性产生误判，增加了网站使用的风险，并影响网站的使用体验。

现有的技术针对这些特殊权限文件被扫描后的解决方法主要是全部给出权限文件或者完全拒绝这样的请求。这样的一概处理的方法存在明显的缺陷：

(1)对于不同业务网站对于特权文件的需求是截然相反，直接允许和直接拒绝，都将影响网站的正常服务。例如，拒绝后影响服务，不拒绝影响网站安全评级。

(2)没有针对请求的特殊性进行归纳总结，不能发现正常请求与扫描机器的异同，影响识别效率和业务准确性。

(3)更改规则时，紧急下发不够快速，单台机器更新规则需要在极短时间内同步全网服务器，而现有技术的方法不能实时修改规则。

因此，需要一种防止扫描权限文件的方法和系统。

发明内容

为了解决现有技术中权限文件扫描中的问题，提出了一种防止扫描权限文件的方法和系统。

根据本发明的一个方面，提供了一种防止扫描权限文件的方法，所述方法包括：

步骤1，节点服务器接收到客户端针对一域名的权限文件的请求后，判断所述域名是否存在于预存的白名单或黑名单中；

步骤2，若判断所述域名不存在于预存的白名单或黑名单中，则基于预设判断规则判断所述请求为正常行为、扫描行为或未知行为，若为正常行为或未知行为，则向所述客户端发送预先生成的默认权限文件，若为扫描行为，则拒绝所述请求。

其中，所述步骤2还包括：

若判断所述请求为未知行为，则在向所述客户端发送所述默认权限文件后，将所述请求的请求相关信息发送到中心服务器；

所述中心服务器基于所述请求相关信息判断所述请求为正常行为、扫描行为。

其中，所述中心服务器基于所述请求的请求相关信息判断所述请求为正常行为、扫描行为包括：

基于所述请求相关信息获取所述请求的头部信息；

基于所述头部信息判断所述请求为正常行为或扫描行为，若判断为正常行为，则将所述请求相应的域名加入白名单中，若判断为扫描行为，则将所述请求相应的域名加入黑名单中；

将所述白名单和所述黑名单下发到节点服务器。

其中，所述步骤2还包括：

若判断所述域名存在于所述白名单中，则向所述客户端发送预先生成的默认权限文件；

若判断所述域名存在于所述黑名单中，则拒绝所述请求。

其中，所述方法还包括在所述步骤2之前执行：

生成所述默认权限文件。

其中，所述步骤1还包括在接收到所述请求之后，且在判断所述域名是否存在于所述白名单或所述黑名单之前执行：

判断所述节点服务器上是否有所述权限文件，若有则将所述权限文件发送给所述客户端，若没有，则询问所述域名的源站是否有所述权限文件，若有，则从所述源站获取所述权限文件并发送给所述客户端，若没有，则判断所述域名是否存在于预存的白名单或黑名单中。

根据本发明的另一方面，还提供了一种防止扫描权限文件的系统，所述系统包括节点服务器，所述节点服务器包括：

接收模块，用于接收到客户端针对一域名的权限文件的请求；

第一判断模块，用于判断所述域名是否存在于预存的白名单或黑名单中，并且若判断所述域名不存在于预存的白名单或黑名单中，则基于预设判断规则判断所述请求为正常行为、扫描行为或未知行为；

第一执行模块，用于判断为正常行为或未知行为时，则向所述客户端发送预先生成的默认权限文件，判断为扫描行为时，则拒绝所述请求。

其中，所述第一执行模块还用于判断所述请求为未知行为时，则在向所述客户端发送所述默认权限文件后，将所述请求的请求相关信息发送到中心服务器；

所述系统还包括中心服务器，所述中心服务器包括第二判断模块，用于基于所述请求相关信息判断所述请求为正常行为、扫描行为。

其中，所述中心服务器还包括获取模块和第二执行模块：

所述获取模块用于基于所述请求相关信息获取所述请求的头部信息；

所述第二判断模块用于基于所述头部信息判断所述请求为正常行为或扫描行为；

所述第二执行模块用于判断为正常行为时，则将所述请求相应的域名加入白名单中，判断为扫描行为时，则将所述请求相应的域名加入黑名单中，并将所述白名单和所述黑名单下发到节点服务器。

其中，所述第一执行模块还用于：

若判断所述域名存在于所述黑名单中，则拒绝所述请求。

其中，所述节点服务器还包括：

生成模块，用于在向所述客户端发送预先生成的默认权限文件之前，生成所述默认权限文件。

其中，所述第一判断模块还用于在接收到所述请求之后，且在判断所述域名是否存在于所述白名单或所述黑名单之前，判断所述节点服务器上是否有所述权限文件；

所述第一执行模块还用于若有所述权限文件，则将所述权限文件发送给所述客户端，若没有所述权限文件，则询问所述域名的源站是否有所述权限文件，若有，则从所述源站获取所述权限文件并发送给所述客户端。

本发明中的防止扫描权限文件的方法和系统具有下述有益效果：

(1)区分客户业务行为，识别哪些客户业务需要权限文件，哪些客户不需要权限文件。

(2)针对特殊请求行为的识别率达到95％以上，通过数据训练，识别率可达到更高。

(3)面对现实业务环境多变的情况，实时修改规则并与真实的网站安全扫描数据对比，通过数据分析找出可能的新判断规则，匹配客户业务行为。

(4)通过全网信息管道，更改规则、列表时，迅速下发生效，在客户在没有感知的情况下解决问题，提高用户体验。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明的防止扫描权限文件的方法的流程图；

图2是根据本发明的防止扫描权限文件的系统的模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明提供了一种防止扫描权限文件的方法，如图1所示，该方法包括：

步骤101，节点服务器接收到客户端针对一域名的权限文件的请求后，判断域名是否存在于预存的白名单或黑名单中；

步骤102，若判断域名不存在于预存的白名单或黑名单中，则基于预设判断规则判断所述请求为正常行为、扫描行为或未知行为，若为正常行为或未知行为，则向客户端发送预先生成的默认权限文件，若为扫描行为，则拒绝请求。

这里的预设判断规则是预先存储在节点服务器上的，可以由中心服务器下发得到，也可以由其他服务器下发得到，是请求报文中头部信息特征以及对应的正常行为或扫描行为的属性，可以根据该头部信息特征判断该请求报文中的头部信息为正常行为还是扫描行为。

需要说明的是，这里当判断该请求为未知行为时，仍向客户端发送默认权限文件，是为了保证对客户端的响应速度，以免由于直接拒绝或长期无响应而影响服务。

步骤101中，若判断所述域名存在于所述白名单中，则向所述客户端发送预先生成的默认权限文件；若判断所述域名存在于所述黑名单中，则拒绝所述请求。

节点服务器运行时，白名单和黑名单会加载到服务器的内存中，以提高响应速度。若域名在白名单中，则返回默认权限文件，该默认权限文件由节点服务器基于业务情况采用一定的策略根据公知条件生成，关于默认权限文件的生成可以参考现有技术的相关内容，在此不再赘述。若域名在黑名单中，则拒绝所述请求，例如返回源站响应的原始数据(4XX、5XX状态码)。

步骤101还包括在接收到所述请求之后，且在判断所述域名是否存在于所述白名单或所述黑名单之前执行：判断所述节点服务器上是否有所述权限文件，若有则将所述权限文件发送给所述客户端，若没有，则询问所述域名的源站是否有所述权限文件，若有，则从所述源站获取所述权限文件并发送给所述客户端，若没有，则判断所述域名是否存在于预存的白名单或黑名单中。

节点服务器在接收到客户端对权限文件的请求后，判断本地是否存有该权限文件的缓存，如有则直接发送给客户端，如没有则回源站拉取该权限文件。若源站有该权限文件则直接给出，若没有则会相应4XX、5XX状态码，并由节点服务器判断该域名是否存在于白名单或黑名单中。

这里，如果节点服务器上存在这样的缓存文件，就证明对该域名的请求被验证过为正常行为，因此可以直接发送。另外，如果源站存在这个权限文件，就认为这个网站存在使用权限文件的业务，而且是做好一定的防范措施的。鉴于此上两点，可以在判断该域名之前先在节点服务器本地进行判断以及先尝试从源站获取权限文件。

在步骤102中，若判断所述请求为未知行为，则在向所述客户端发送所述默认权限文件后，将所述请求相关信息发送到中心服务器；所述中心服务器基于所述请求相关信息判断所述请求为正常行为、扫描行为。

若节点服务器判断该请求为未知行为，即无法确定该请求为正常行为还是扫描行为，则需要由中心服务器对该请求进行具体分析，以判断该请求为正常行为还是扫描行为。这里中心服务器基于节点服务器发送的与该请求相关的信息进行判断。这些请求相关信息可以例如是请求报文。通过该步骤的判断，可以将该未知行为确定为正常行为或扫描行为，从而为行为判断规则补充新的内容，并且将该未知行为关联的域名补充到黑名单或白名单中。

进一步地，中心服务器基于所述请求相关信息判断所述请求为正常行为、扫描行为包括：

基于所述请求相关信息获取所述请求的头部信息；

将所述白名单和所述黑名单下发到节点服务器。

这里的行为分析操作由数据分析系统实现，数据分析系统可以是位于中心服务器上，如上面所描述的，也可以是位于其他服务器上。当数据分析系统位于其他服务器上时，则由中心服务器将请求相关信息发送到数据分析系统进行分析，再由中心服务器从数据分析系统获取分析得到结果，此外更新黑白名单，并进行更新后的黑白名单到各节点服务器的下发。

中心服务器的监控软件会监听特定接口，异步接收来自全网节点服务器的数据。另外，中心服务器确定黑白名单数据和未知域名，将已经确定为黑白名单的域名添加到黑白名单中，并将更新的黑白名单同步下发到各节点服务器，以便各节点服务器本地判断时使用。

因此，中心服务器的作用如下：

(1)将分布式集群的数据汇总，以使数据分析系统做进一步分析；

(2)通过内部信息管道，向各节点服务器秒级下发黑白名单，解决全网快速同步问题；

(3)获取数据分析系统的分析数据结果，例如黑白名单，扫描行为判断规则，将其下发到全网的节点服务器。

下面详细描述该数据分析系统的分析过程：

(a)数据分析系统接收到该请求的头部信息后，建立百度、360等已知网站针对该请求所对应的域名的安全扫描任务，以获取这种类型的扫描任务的头部特征，并将该头部特征加入头部信息特征数据库中。

(b)接收中心服务器发送的未知域名数据和安全产商扫描行为数据，因为上面是建立百度、360等已知网站的安全扫描任务，但还可能存在未知的或不出名产商的扫描，例如天融信、深信服，因此需要获取其他安全产商的扫描行为数据，即扫描任务的头部特征，并将这些头部特征加入头部信息特征数据库中。

(c)将进行请求报文数据进行整理，将未知域名数据和扫描数据通过筛选器排除不能用作判断的头部信息，如：host(请求的域名)，client-ip(客户端IP)等；排除已经确认知道规则的头部，如通过referer(表示请求来源的头部信息)判断，referer:xxx.swf表示该请求来自于swf播放器网站，例如http://www.cutv.com/demo/live_test.swf。

(d)将上述经过排除不能用作判断的头部信息和已经确认知道规则的头部后剩下的信息通过对比器，即与头部信息特征数据库中的头部信息特征对比，判断该请求是扫描行为还是正常行为，并相应地将该请求对应的域名添加到黑名单或白名单中。

(e)输出更新后的黑名单和白名单以及头部信息特征数据库。

该方法还包括在步骤102之前执行：生成所述默认权限文件。

下面详细描述根据本发明的具体实施例，该具体实施例包括下述步骤：

步骤一，节点服务器接收到针对一域名www.123.com的权限文件的请求，判断本地是否有该权限文件的缓存，如果有，则直接发送到发出请求的客户端，如果没有，则询问源站是否有该权限文件，如果源站有则从源站获取该权限文件并发送给客户端，如果源站没有则从源站接收的4XX、5XX状态码，并执行下一步。

步骤二，将域名www.123.com与节点服务器存储的白名单和黑名单进行比对，判断该域名是否存在于白名单或黑名单中，若存在于白名单中，则返回根据公知条件预先生成的默认权限文件，若存在于黑名单中，则返回从源站接收的4XX、5XX状态码，若不存在于白名单和黑名单中，则执行下一步。

步骤三，根据节点服务器存储的预设行为规则判断该针对权限文件的请求是正常行为、扫描行为还是未知行为，若为正常行为，则向客户端发送默认权限文件，并将该域名添加到白名单中以及将更新后的白名单同步到中心服务器，再由中心服务器将更新后的白名单下发到各节点服务器；若为扫描行为，则返回从源站接收的4XX、5XX状态码，将该域名添加到黑名单中以及将更新后的黑名单同步到中心服务器，再由中心服务器将更新后的黑名单通过内部信息管道下发到各节点服务器；若为未知行为，则同样返回默认权限文件，并执行下一步。

步骤四，将与该请求相关的信息发送到中心服务器。

步骤五，中心服务器从该请求相关信息中提取出该请求的头部信息，将头部信息与存储的已知的扫描行为的头部特征数据库相比对，如果该头部信息与一扫描行为的头部特征相一致，则确定该请求为扫描行为，将该域名添加到黑名单中，如果均不一致，则确定该请求为正常行为，将该域名添加到白名单中，并且对该未知行为的请求报文中的头部信息添加到头部特征数据库中。

步骤六，中心服务器将更新后的白名单和黑名单，以及头部特征数据库通过内部信息管道下发到各节点服务器。

本发明还提供了一种防止扫描权限文件的系统，如图2所示，所述系统包括节点服务器，所述节点服务器包括：

接收模块201，用于接收到客户端针对一域名的权限文件的请求；

第一判断模块202，用于判断所述域名是否存在于预存的白名单或黑名单中，并且若判断所述域名不存在于预存的白名单或黑名单中，则基于预设判断规则判断所述请求为正常行为、扫描行为或未知行为；

第一执行模块203，用于判断为正常行为或未知行为时，则向所述客户端发送预先生成的默认权限文件，判断为扫描行为时，则拒绝所述请求。

其中，所述第一执行模块还用于判断所述请求为未知行为时，则在向所述客户端发送所述默认权限文件后，将所述请求相关信息发送到中心服务器；

其中，所述中心服务器还包括获取模块和第二执行模块：

其中，所述第一执行模块还用于：

若判断所述域名存在于所述黑名单中，则拒绝所述请求。

其中，所述节点服务器还包括：

本发明中的防止扫描权限文件的方法和系统可适用于各种网络和系统架构中，其具有下述有益效果：

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims

1.一种防止扫描权限文件的系统的使用方法，其特征在于，所述系统包括节点服务器，所述节点服务器包括接收模块、第一判断模块和第一执行模块，所述使用方法包括以下步骤：

通过所述接收模块对客户端上传的针对一域名的权限文件的请求进行接收；

通过所述第一判断模块对所述域名是否存在于预存的白名单或黑名单中进行判断；

当所述域名存在于所述白名单中时，通过所述第一执行模块将预先生成的默认权限文件发送给所述客户端；

当所述域名存在于所述黑名单中时，通过所述第一执行模块将从源站接收的原始数据发送给所述客户端；

通过所述第一判断模块对所述请求为正常行为、扫描行为或未知行为进行判断，其中，在进行判断时基于预设判断规则；

其中，当所述请求为正常行为或未知行为时，通过所述第一执行模块将预先生成的默认权限文件发送给所述客户端；

当所述请求为扫描行为时，通过所述第一执行模块将从源站接收的原始数据发送给所述客户端。

2.如权利要求1所述的使用方法，其特征在于，所述系统还包括中心服务器，所述中心服务器包括获取模块、第二判断模块和第二执行模块，所述使用方法还包括以下步骤：

当所述请求为未知行为时，通过所述第一执行模块将所述请求的请求相关信息发送到所述中心服务器；

通过所述获取模块对所述请求相关信息中的所述请求的头部信息进行提取；

通过所述第二判断模块对所述请求为正常行为或扫描行为进行判断，其中，判断过程基于所述头部信息；

其中，当所述请求为正常行为时，通过所述第二执行模块将所述请求相应的域名加入白名单中，并将所述白名单下发给所述节点服务器；

当所述请求为扫描行为时，通过所述第二执行模块将所述请求响应的域名加入黑名单中，并将所述黑名单下发给所述节点服务器。

3.如权利要求1所述的使用方法，其特征在于，所述节点服务器还包括生成模块，所述使用方法包括以下步骤：

通过所述生成模块在向所述客户端发送预先生成的默认权限文件之前，对所述默认权限文件进行生成。

4.如权利要求1所述的使用方法，其特征在于，所述使用方法还包括以下步骤：

在接收到所述请求之后，且在判断所述域名是否存在于所述白名单或所述黑名单之前，通过所述第一判断模块对所述节点服务器上是否有所述权限文件进行判断；

当所述节点服务器上有所述权限文件时，通过所述第一执行模块将所述权限文件发送给所述客户端；

当所述节点服务器上没有所述权限文件时，通过所述第一执行模块向所述域名的源站询问是否有所述权限文件；

当所述源站有所述权限文件时，通过所述第一执行模块从所述源站获取所述权限文件，并将所述权限文件发送给所述客户端；

当所述源站没有所述权限文件时，通过所述第一执行模块将从源站接收的原始数据发送给所述客户端。

5.一种防止扫描权限文件的系统的作业方法，其特征在于，

接收客户端上传的针对一域名的权限文件的请求；

判断所述域名是否存在于预存的白名单或黑名单中；

当所述域名存在于所述白名单中时，发送给所述客户端预先生成的默认权限文件；

当所述域名存在于所述黑名单中时，发送给所述客户端从源站接收的原始数据；

若所述域名不存在于所述黑名单或白名单中时，基于预设判断规则判断所述请求为正常行为、扫描行为、或未知行为，其中，所述预设判断规则为请求报文中头部信息特征以及对应的正常行为或扫描行为的属性；

若为正常行为或未知行为，向客户端发送预先生成的默认权限文件，若为扫描行为则向客户端发送从源站接收的原始数据。

6.如权利要求5所述的作业方法，其特征在于，当所述请求为正常行为，添加所述请求对应的域名至所述白名单中，同步更新后的白名单至中心服务器，所述中心服务器将更新后的白名单下发到各节点服务器；

当所述请求为扫描行为，添加所述请求对应的域名至所述黑名单中，同步更新后的黑名单至中心服务器，所述中心服务器将更新后的黑名单下发到各节点服务器。

7.如权利要求5所述的作业方法，其特征在于，所述系统运行时，所述白名单和所述黑名单加载并存储至所述系统的服务器中。

8.如权利要求5所述的作业方法，其特征在于，所述预先生成的默认权限文件根据公知条件生成。