CN106548067B

CN106548067B - 用于转发访问请求的方法和装置

Info

Publication number: CN106548067B
Application number: CN201510604220.XA
Authority: CN
Inventors: 侯文�; 李冰冰; 王蒙; 刘鹏
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2015-09-21
Filing date: 2015-09-21
Publication date: 2020-05-22
Anticipated expiration: 2035-09-21
Also published as: CN106548067A

Abstract

本公开提供了一种用于转发访问请求的方法和装置，其中，该方法包括以下步骤：基于正常访问行为特征，分析访问请求序列的来源的可疑性，其中，所述访问请求序列包括源自相同来源的一个或多个访问请求；基于所述可疑性分析的结果，确定所述来源的类型；基于所述来源的类型，转发源自所述来源的后续的访问请求。与现有技术相比，本发明基于正常访问行为特征，来分析访问请求序列的来源的可疑性，并基于可疑性分析的结果来确定来源的类型以相应地对源自该来源的后续的访问请求进行转发，从而使得源自网络爬虫等软件或恶意攻击流量对用户的正常访问请求所造成影响较小，增强了用户体验。

Description

用于转发访问请求的方法和装置

技术领域

本发明涉及计算机通信领域，尤其涉及一种用于转发访问请求的方法和装置。

背景技术

当前利用各类软件，例如网络爬虫等，来抓取网络上的页面信息是一种较为常见的技术。此外，对网站的恶意攻击也经常发生。一般来说，网络爬虫等或者攻击流量在请求访问业务时，会在其HTTP请求头部携带UserAgent信息，以标识当前请求来自某软件或者某网络爬虫。但往往，网络爬虫或攻击请求可能伪造UserAgent信息，以避免网站对其进行特殊处理，从而导致这些请求与用户通过浏览器对网站的正常访问请求混杂在一起，不便于网站对其进行分流、统计等处理。因此，如何更好地识别网络请求是否来源于正常的用户请求以对其进行转发是一个值得研究的问题。

发明内容

本发明的目的是提供一种用于转发访问请求的方法和装置。

根据本发明的一个方面，提供一种用于转发访问请求的方法，其中，该方法包括以下步骤：

-基于正常访问行为特征，分析访问请求序列的来源的可疑性，其中，所述访问请求序列包括源自相同来源的一个或多个访问请求；

-基于所述可疑性分析的结果，确定所述来源的类型；

-基于所述来源的类型，转发源自所述来源的后续的访问请求。

根据本发明的另一个方面，提供一种用于转发访问请求的装置，其中，所述装置包括：

-用于基于正常访问行为特征，分析访问请求序列的来源的可疑性的装置，其中，所述访问请求序列包括源自相同来源的一个或多个访问请求；

-用于基于所述可疑性分析的结果，确定所述来源的类型的装置；

-用于基于所述来源的类型，转发源自所述来源的后续的访问请求的装置。

与现有技术相比，本发明基于正常访问行为特征，来分析访问请求序列的来源的可疑性，并基于可疑性分析的结果来确定来源的类型以相应地对源自该来源的后续的访问请求进行转发，从而使得源自网络爬虫等软件或恶意攻击流量对用户的正常访问请求所造成影响较小，增强了用户体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个方面的实施例的用于转发访问请求的方法的流程图；

图2示出根据本发明另一个方面的实施例的用于转发访问请求的装置的示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1示出根据本发明一个方面的实施例的用于转发访问请求的方法的流程图。

其中，本实施例的方法主要通过网络设备来实现；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。。

需要说明的是，所述网络设备仅为举例，其他现有的或今后可能出现的网络设备如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

首先，在步骤S11中，网络设备基于正常访问行为特征，分析访问请求序列的来源的可疑性，其中，访问请求序列包括源自相同来源的一个或多个访问请求。

此处，访问请求的来源意指访问请求所来自的IP地址、UserAgent、端口、用户账号等各种可标识访问请求来自何处的信息。正常访问行为特征意指符合用户的正常访问行为的特征。网络设备可依据访问请求序列是否符合正常访问行为特征来确定该访问请求序列的来源的可疑性。

在一个实施例中，网络设备还将首先确定正常访问行为特征。例如，网络设备可以预先确定正常访问行为对于资源的访问顺序来作为正常访问行为特征。在一个优选实施例中，网络设备将基于浏览器加载页面时对资源的访问顺序来确定正常访问行为特征。也即，网络设备将分析浏览器加载页面时对资源的访问顺序，并将该访问顺序确定为正常访问行为特征。例如，当用户通过浏览器来访问网站时，浏览器首先会加载网站首页，随后浏览器解析所获取的HTML文件，并继续向服务器发送访问请求以下载该网页中所需要的CSS(Cascading Style Sheets)、JS(Java Script)、图片等一系列资源。因此，在加载过程中，正常访问行为应符合浏览器加载页面时的行为。当访问请求序列中所包括的一个或多个访问请求对于资源的访问顺序符合浏览器加载页面时对于资源的访问顺序时，网络设备确定该访问请求序列的可疑性分析结果为正常；而当访问请求序列中所包括的一个或多个访问请求对于资源的访问顺序不符合浏览器加载页面时对于资源的访问顺序时，网络设备确定该访问请求序列的可疑性分析结果为异常。

在一个优选实施例中，网络设备还可确定访问请求序列的操作特征。然后，网络设备可基于正常访问行为以及该操作特征，来分析该访问请求序列的来源的可疑性。此处，操作特征意指用户所进行的操作的特征。在一个实施例中，操作特征包括以下至少任一项：

-操作频率；

-操作时间；

-操作对象。

此处操作频率指用户进行操作的频率，其可用于指示用户是否频繁进行操作等信息。操作时间指用户进行操作的时间，其可用于指示用户是否于特定时间段，例如服务器容易被攻击的敏感时间段来进行操作等信息。操作对象指用户所操作的对象，其可用于指示用户的操作是否仅涉及一个或一组相同的资源，或用户的操作中是否包括点击按钮、在文本框中输入等具有人机交互性质的操作等信息。

基于操作特征，网络设备可根据例如用户是否频繁进行操作、是否总是于敏感时间段进行操作、是否仅仅涉及一个或一组相同的资源、是否包括人机交互性质的操作等因素来分析访问请求序列的来源的可疑性。例如，当用户在敏感时间段内进行频繁操作的次数超过阈值时，网络设备按照上文所述的方法，分析得出该用户的来源相对应的访问请求序列与正常访问行为特征不相匹配，则网络设备可确定该访问请求序列的来源的可疑性分析结果为异常。本领域技术人员应理解，此处，对于操作特征的相关描述仅为示例性而非限定性描述，存在其他各种实现方式而不背离本发明的精神或范畴，并以引用的方式包含于此。

接着，在步骤S12中，网络设备基于可疑性分析的结果，来确定来源的类型。具体地，当可疑性分析结果为异常时，网络设备确定该来源的类型为源自非正常用户；而当可疑性分析结果为正常时，网络设备确定该来源的类型为源自正常用户。在一个优选实施例中，网络设备可基于多次可疑性分析的结果以及阈值，来确定来源的类型。例如，网络设备可对源自该来源的多个访问请求序列进行可疑性分析，并当在一定时间内，对来源的可疑性分析结果为异常的次数超过阈值时，将确定该来源的类型为源自非正常用户。本领域技术人员应理解，此处，对于确定来源的类型的相关描述仅为示例性而非限定性描述，存在其他各种实现方式而不背离本发明的精神或范畴，并以引用的方式包含于此。

接着，在步骤S13中，网络设备将基于来源的类型，转发源自来源的后续的访问请求。具体地，对于类型为非正常用户类型的来源，网络设备可将源自来源的后续访问请求转发至特定服务器；而将源自类型为正常用户类型的来源的后续访问请求转发至与特定服务器不同的其他服务器。

在一个实施例中，网络设备还可基于来源的类型，过滤源自来源的后续的访问请求。具体地，对于类型为非正常用户类型的来源，网络设备可将源自来源的后续访问请求进行过滤，从而不再对其进行处理。

其中，本实施例的装置主要通过网络设备来实现；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。。

需要说明的是，网络设备仅为举例，其他现有的或今后可能出现的网络设备如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

如图2所示，该用于转发访问请求的装置包括用于基于正常访问行为特征，分析访问请求序列的来源的可疑性的装置21，以下简称第一分析装置21；用于基于所述可疑性分析的结果，确定所述来源的类型的装置22，以下简称第一确定装置22；以及用于基于所述来源的类型，转发源自所述来源的后续的访问请求的装置，以下简称转发装置23。

首先，第一分析装置21将基于正常访问行为特征，分析访问请求序列的来源的可疑性，其中，访问请求序列包括源自相同来源的一个或多个访问请求。

在一个实施例中，该用于转发访问请求的装置还包括用于确定正常访问行为特征的装置，以下简称第一特征确定装置24(未示出)。第一特征确定装置24将确定正常访问行为特征。例如，第一特征确定装置24可以预先确定正常访问行为对于资源的访问顺序来作为正常访问行为特征。在一个优选实施例中，该第一特征确定装置24包括用于基于浏览器加载页面时对资源的访问顺序来确定正常访问行为特征的装置，以下简称第二特征确定装置241(未示出)。第二特征确定装置241将基于浏览器加载页面时对资源的访问顺序来确定正常访问行为特征。也即，第二特征确定装置241将分析浏览器加载页面时对资源的访问顺序，并将该访问顺序确定为正常访问行为特征。例如，当用户通过浏览器来访问网站时，浏览器首先会加载网站首页，随后浏览器解析所获取的HTML文件，并继续向服务器发送访问请求以下载该网页中所需要的CSS(Cascading Style Sheets)、JS(Java Script)、图片等一系列资源。因此，在加载过程中，正常访问行为应符合浏览器加载页面时的行为。当访问请求序列中所包括的一个或多个访问请求对于资源的访问顺序符合浏览器加载页面时对于资源的访问顺序时，第二特征确定装置241确定该访问请求序列的可疑性分析结果为正常；而当访问请求序列中所包括的一个或多个访问请求对于资源的访问顺序不符合浏览器加载页面时对于资源的访问顺序时，第二特征确定装置241确定该访问请求序列的可疑性分析结果为异常。

在一个优选实施例中，第一分析装置21还包括用于确定访问请求序列的操作特征的装置，以下简称操作特征确定装置211(未示出)；以及用于基于正常访问行为特征以及所述操作特征，分析所述访问请求序列的来源的可疑性的装置，以下简称第二分析装置222(未示出)。

操作特征确定装置211可确定访问请求序列的操作特征。然后，第二分析装置222可基于正常访问行为以及该操作特征，来分析该访问请求序列的来源的可疑性。此处，操作特征意指用户所进行的操作的特征。在一个实施例中，操作特征包括以下至少任一项：

-操作频率；

-操作时间；

-操作对象。

基于操作特征，第二分析装置222可根据例如用户是否频繁进行操作、是否总是于敏感时间段进行操作、是否仅仅涉及一个或一组相同的资源、是否包括人机交互性质的操作等因素来分析访问请求序列的来源的可疑性。例如，当用户在敏感时间段内进行频繁操作的次数超过阈值时，第二分析装置222按照上文所述的方法，分析得出该用户的来源相对应的访问请求序列与正常访问行为特征不相匹配，则第二分析装置222可确定该访问请求序列的来源的可疑性分析结果为异常。本领域技术人员应理解，此处，对于操作特征的相关描述仅为示例性而非限定性描述，存在其他各种实现方式而不背离本发明的精神或范畴，并以引用的方式包含于此。

接着，第一确定装置22基于可疑性分析的结果，来确定来源的类型。具体地，当可疑性分析结果为异常时，第一确定装置22确定该来源的类型为源自非正常用户；而当可疑性分析结果为正常时，第一确定装置22确定该来源的类型为源自正常用户。在一个优选实施例中，该第一确定装置22包括用于基于多次可疑性分析的结果以及阈值，确定来源的类型的装置，以下简称第二确定装置221(未示出)。第二确定装置221可基于多次可疑性分析的结果以及阈值，来确定来源的类型。例如，第二确定装置221可对源自该来源的多个访问请求序列进行可疑性分析，并当在一定时间内，对来源的可疑性分析结果为异常的次数超过阈值时，第二确定装置221将确定该来源的类型为源自非正常用户。本领域技术人员应理解，此处，对于确定来源的类型的相关描述仅为示例性而非限定性描述，存在其他各种实现方式而不背离本发明的精神或范畴，并以引用的方式包含于此。

接着，转发装置23将基于来源的类型，转发源自来源的后续的访问请求。具体地，对于类型为非正常用户类型的来源，转发装置23可将源自来源的后续访问请求转发至特定服务器；而将源自类型为正常用户类型的来源的后续访问请求转发至与特定服务器不同的其他服务器。

在一个实施例中，转发装置23包括用于基于来源的类型，过滤源自来源的后续的访问请求的装置，以下简称过滤装置231(未示出)。过滤装置231可基于来源的类型，过滤源自来源的后续的访问请求。具体地，对于类型为非正常用户类型的来源，过滤装置231可将源自来源的后续访问请求进行过滤，从而不再对其进行处理。

应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims

1.一种用于转发访问请求的方法，其中，所述方法包括：

-基于所述可疑性分析的结果，确定所述来源的类型；

-基于所述来源的类型，转发源自所述来源的后续的访问请求；

其中，所述方法还包括：

分析浏览器加载页面时对资源的访问顺序，并将该访问顺序确定为所述正常访问行为特征；

其中，所述基于正常访问行为特征，分析访问请求序列的来源的可疑性的步骤包括：

-确定访问请求序列的操作特征，其中，所述操作特征包括操作对象，所述操作对象用于指示用户的操作是否仅涉及一个或一组相同的资源和/或用户的操作中是否包括具有人机交互性质的操作；

-基于正常访问行为特征以及所述操作特征，分析所述访问请求序列的来源的可疑性。

2.根据权利要求1所述的方法，其中，基于所述可疑性分析的结果，确定所述来源的类型的步骤包括：

-基于多次可疑性分析的结果以及阈值，确定所述来源的类型。

3.根据权利要求1所述的方法，其中，所述操作特征还包括以下至少任一项：

-操作频率；

-操作时间。

4.根据权利要求1至3中任一项所述的方法，其中，所述基于所述来源的类型，转发源自所述来源的后续的访问请求的步骤包括：

-基于所述来源的类型，过滤源自所述来源的后续的访问请求。

5.一种用于转发访问请求的装置，其中，所述装置包括：

-用于基于所述来源的类型，转发源自所述来源的后续的访问请求的装置；

其中，所述装置还包括：

用于分析浏览器加载页面时对资源的访问顺序，并将该访问顺序确定为所述正常访问行为特征的装置；

其中，所述用于基于正常访问行为特征，分析访问请求序列的来源的可疑性的装置包括：

-用于确定访问请求序列的操作特征的装置，其中，所述操作特征包括操作对象，所述操作对象用于指示用户的操作是否仅涉及一个或一组相同的资源和/或用户的操作中是否包括具有人机交互性质的操作；

-用于基于正常访问行为特征以及所述操作特征，分析所述访问请求序列的来源的可疑性的装置。

6.根据权利要求5所述的装置，其中，用于基于所述可疑性分析的结果，确定所述来源的类型的装置包括：

-用于基于多次可疑性分析的结果以及阈值，确定所述来源的类型的装置。

7.根据权利要求5所述的装置，其中，所述操作特征还包括以下至少任一项：

-操作频率；

-操作时间。

8.根据权利要求5至7中任一项所述的装置，其中，所述用于基于所述来源的类型，转发源自所述来源的后续的访问请求的装置包括：

-用于基于所述来源的类型，过滤源自所述来源的后续的访问请求的装置。