CN109150928A - 用于处理请求的方法和装置 - Google Patents

用于处理请求的方法和装置 Download PDF

Info

Publication number
CN109150928A
CN109150928A CN201710450620.9A CN201710450620A CN109150928A CN 109150928 A CN109150928 A CN 109150928A CN 201710450620 A CN201710450620 A CN 201710450620A CN 109150928 A CN109150928 A CN 109150928A
Authority
CN
China
Prior art keywords
page
request
internet protocol
processed
protocol address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710450620.9A
Other languages
English (en)
Inventor
肖明昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710450620.9A priority Critical patent/CN109150928A/zh
Publication of CN109150928A publication Critical patent/CN109150928A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了用于处理请求的方法和装置。该方法的一具体实施方式包括:接收待处理请求,其中,该待处理请求用于请求获取页面,并且该待处理请求包括该待处理请求发送自的网际协议地址;基于该网际协议地址,确定是否处理该待处理请求;响应于确定处理该待处理请求,获取该网际协议地址所指示的电子设备的第一行为参数,其中,该第一行为参数是基于该电子设备针对第一历史页面的操作得到的,其中,第一历史页面是从该网际协议地址发出的历史请求所请求的页面;基于该第一行为参数,确定是否向该网际协议地址返回该待处理请求所请求的页面。该实施方式降低了处理请求所耗费的计算资源。

Description

用于处理请求的方法和装置
技术领域
本申请涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及用于处理请求的方法和装置。
背景技术
随着互联网的发展,产生了日益丰富的网络资源。很多网络资源收集商会利用网络爬虫(又被称为网页蜘蛛或网络机器人),自动抓取互联网中的信息。
然而,被爬虫经过的网站,将会在处理爬虫发出的请求(简称爬虫请求)上浪费大量的计算资源。从而,存在着计算资源损耗较大的问题。
发明内容
本申请的目的在于提出一种改进的用于处理请求的方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请实施例提供了一种用于处理请求的方法,上述方法包括:接收待处理请求,其中,上述待处理请求用于请求获取页面,并且上述待处理请求包括上述待处理请求发送自的网际协议地址;基于上述网际协议地址,确定是否处理上述待处理请求;响应于确定处理上述待处理请求,获取上述网际协议地址所指示的电子设备的第一行为参数,其中,上述第一行为参数是基于上述电子设备针对第一历史页面的操作得到的,其中,第一历史页面是从上述网际协议地址发出的历史请求所请求的页面;基于上述第一行为参数,确定是否向上述网际协议地址返回上述待处理请求所请求的页面。
第二方面,本申请实施例提供了一种用于处理请求的装置,上述装置包括:接收单元,用于接收待处理请求,其中,上述待处理请求用于请求获取页面,并且上述待处理请求包括上述待处理请求发送自的网际协议地址;第一确定单元,用于基于上述网际协议地址,确定是否处理上述待处理请求;获取单元,用于响应于确定处理上述待处理请求,获取上述网际协议地址所指示的电子设备的第一行为参数,其中,上述第一行为参数是基于上述电子设备针对第一历史页面的操作得到的,其中,第一历史页面是从上述网际协议地址发出的历史请求所请求的页面;第二确定单元,用于基于上述第一行为参数,确定是否向上述网际协议地址返回上述待处理请求所请求的页面。
第三方面,本申请实施例提供了一种服务器,上述服务器包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如第一方面的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面的方法。
本申请实施例提供的用于处理请求的方法和装置,通过首先基于上述待处理请求发送自的网际协议地址,初步确定是否处理上述待处理请求,然后基于上述第一行为参数,确定是否向上述网际协议地址返回上述待处理请求所请求的页面,可以有效识别爬虫请求,从而可以减少在处理爬虫请求上所浪费的计算资源,即降低了处理请求所耗费的计算资源。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的用于处理请求的方法的一个实施例的流程图;
图3是根据本申请的用于处理请求的方法的一个应用场景的示意图;
图4是根据本申请的用于处理请求的方法的又一个实施例的流程图;
图5是根据本申请的用于处理请求的装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于处理请求的方法或用于处理请求的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。需要说明的是,终端设备101、102、103也可能是执行爬虫程序的终端或服务器。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的网页提供支持的后台网页服务器。后台网页服务器可以对接收到的页面获取请求等数据进行分析等处理,并将处理结果(例如网页页面数据)反馈给终端设备。
需要说明的是,本申请实施例所提供的用于处理请求的方法一般由服务器105执行,相应地,用于处理请求的装置一般设置于服务器105中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,其示出了根据本申请的用于处理请求的方法的一个实施例的流程200。上述的用于处理请求的方法,包括以下步骤:
步骤201,接收待处理请求。
在本实施例中,用于处理请求的方法运行于其上的电子设备(例如图1所示的服务器)可以接收待处理请求。在这里,待处理请求用于请求获取页面,并且上述待处理请求包括待处理请求发送自的网际协议地址。
需要说明的是,待处理请求可能发送自真正的用户所使用的终端,也可能发送自网络爬虫程序所运行于的设备(例如服务器)。网际协议(Internet Protocol,IP)地址,也可以称为IP地址。
步骤202,基于网际协议地址,确定是否处理待处理请求。
在本实施例中,用于处理请求的方法运行于其上的电子设备(例如图1所示的服务器)可以基于上述网际协议地址,确定是否处理上述待处理请求。
在本实施例的一些可选的实现方式中,步骤202可以通过以下方式实现:确定上述网际协议地址是否在预设的网际协议地址集合中。响应于确定上述网际协议地址不在预设的网际协议地址集合中,确定处理上述待处理请求。
需要说明的是,可以提前设置预设的网际协议地址集合相当于一个爬虫黑名单。可以初步认为,发送自位于这个爬虫黑名单上的网际协议地址的请求,即为爬虫请求。
在本实施例的一些可选的实现方式中,步骤202还可以通过以下方式实现:确定上述网际协议地址是否在预设的网际协议地址集合中。响应于确定上述网际协议地址不在预设的网际协议地址集合中,确定在第二预定时间段内接收到发送自上述网际协议地址的历史请求的次数,其中,历史请求用于请求获取历史页面。根据上述次数,确定是否处理上述待处理请求。
作为示例,如果上述次数大于预设次数阈值,则确定不处理上述待处理请求;如果上述次数不大于预设次数阈值,则确定处理上述待处理请求。
需要说明的是,如果发送在一定的时间段内发送的请求次数过多,即发送请求过于频繁,则可以认为发送自这个网际协议地址的请求为爬虫请求。
步骤203,响应于确定处理待处理请求,获取网际协议地址所指示的电子设备的第一行为参数。
在本实施例中,用于处理请求的方法运行于其上的电子设备(例如图1所示的服务器)可以响应于确定处理上述待处理请求,获取上述网际协议地址所指示的电子设备的第一行为参数。在这里,上述第一行为参数是基于上述电子设备针对第一历史页面的操作得到的,其中,第一历史页面是从上述网际协议地址发出的历史请求所请求的页面。
在本实施例的一些可选的实现方式中,上述操作包括但不限于以下一项或多项:点击、输入、页面移动、鼠标滚动、滑动、拖动、悬停等。
在本实施例的一些可选的实现方式中,上述操作可以通过以下一种或多种方式实现:鼠标、键盘、触控或语音控制。
在本实施例的一些可选的实现方式中,步骤203可以包括确定上述第一行为参数的步骤。上述确定上述第一行为参数的步骤可以包括:查询在第一预定时间段内从上述网际协议地址发出的历史请求所请求的至少一个历史页面。对于上述至少一个第一历史页面中的每个第一历史页面,获取针对该第一历史页面的操作的操作参数。
作为示例,可以通过埋点的方式,针对该第一历史页面的操作的操作参数。如何埋点以及如何通过埋点的方式获取操作参数,是本领域技术人员所公知的,在此不再赘述。
在本实施例的一些可选的实现方式中,操作参数包括进入页面时间和离开页面时间,上述第一行为参数还包括平均页面停留时间。
在本实施例的一些可选的实现方式中,上述确定上述第一行为参数的步骤可以还包括:对于上述至少一个第一历史页面中的每个第一历史页面,根据针对该第一历史页面的操作的操作参数,确定该页面的页面停留时间。根据所确定的页面停留时时间以及上述至少一个第一历史页面的页面数量,确定上述至少一个第一历史页面的平均页面停留时间。
在本实施例的一些可选的实现方式中,上述第一请求参数可以包括点击总次数、非法点击次数和来源页异常次数。
在这里,点击总次数是针对上述至少一个第一历史页面的点击操作的总次数。
在这里,非法点击是指操作所针对的第一历史页面未显示在显示屏而进行的点击操作。正常用户的点击操作,是针对显示在显示屏上的页面而进行的。如果是爬虫,则可能不对页面进行显示,而直接后台模拟进行点击操作。
在这里,来源页异常是指进入第一历史页面的途径不是通过点击第一历史页面的网址链接的情况。正常用户,很可能点击上一页面中的网址链接进入当前页面。如果是爬虫,则可能直接将上一页面中的网址链接,加载至待请求的网址集合,再向服务器发送请求。
需要说明的是,可以通过采集点击操作的操作参数,确定点击总次数、非法点击次数和来源页异常次数,在此不再赘述。
在本实施例的一些可选的实现方式中,第一行为参数还可以包括以下一项或多项:非法点击比例、来源页异常比例。
在这里,非法点击比例,可以是非法点击次数与点击总次数的比值。来源页异常比例,可以是来源页异常次数与上述至少一个第一历史页面的页面数量的比值。
在本实施例的一些可选的实现方式中,操作参数包括以下至少一项:光标移动距离、光标移动速度、鼠标滚动速度
在这里,光标移动距离用于指示由于鼠标移动而导致的光标在第一历史页面移动的距离。
在这里,光标移动速度用于指示由于鼠标移动而导致的光标在第一历史页面移动的速度。
在这里,鼠标滚动速度用于指示针对第一历史页面操作鼠标时鼠标的滚动速度。
上述第一行为参数包括以下至少一项:平均光标移动距离、平均光标移动速度、平均鼠标滚动速度。
需要说明的是,可以采集通过鼠标进行的操作参数,确定第一历史页面的光标移动距离和/或鼠标滚动速度,在此不再赘述。
在本实施例的一些可选的实现方式中,上述确定上述第一行为参数的步骤,还包括:对于上述至少一个第一历史页面中的每个第一历史页面,根据针对该第一历史页面的操作的操作参数,确定该第一历史页面的以下至少一项:光标移动距离、光标移动速度、鼠标滚动速度。根据所确定的光标移动距离、光标移动速度或鼠标滚动速度以及上述至少一个第一历史页面的页面数量,确定以下至少一项第一行为参数:平均光标移动距离、平均光标移动速度、平均鼠标滚动速度。
步骤204,基于第一行为参数,确定是否向网际协议地址返回待处理请求所请求的页面。
在本实施例中,用于处理请求的方法运行于其上的电子设备(例如图1所示的服务器)可以基于上述第一行为参数,确定是否想上述网际协议地址返回上述待处理请求所请求的页面。
在本实施例的一些可选的实现方式中,步骤204可以通过以下方式实现:对于所获取的一个或多个第一行为参数,根据为此一个或多个第一行为参数预先分别设置的阈值,确定是否向上述网际协议地址返回上述待处理请求所请求的页面。
作为示例,可以预先为平均页面停留时间设置平均页面停留时间阈值,如果平均页面停留时间小于平均页面停留时间阈值,则确定不向上述网际协议地址返回上述待处理请求所请求的页面。
依次类推,如果点击总次数大于点击总次数阈值,则确定不返回所请求的页面。如果非法点击次数大于非法点击次数阈值,则确定不返回所请求的页面。如果来源页异常次数大于来源页异常次数阈值,则确定不返回所请求的页面。如果平均光标移动距离大于平均光标移动距离阈值,则确定不返回所请求的页面。如果平均光标移动速度大于平均光标移动速度阈值,则确定不返回所请求的页面。如果平均鼠标滚动速度大于平均鼠标滚动速度阈值。则确定不返回所请求的页面。如果非法点击比例大于非法点击比例阈值,则确定不返回所请求的页面。如果来源页异常比例大于来源页异常比例阈值,则确定不返回所请求的页面。
需要说明的是,预先设置阈值评价各个第一行为参数,进而确定是否返回所请求的页面,计算速度较快,可以提高处理请求的速度。
在本实施例的一些可选的实现方式中,步骤204可以通过以下方式实现:对于所获取的多个第一行为参数,根据为此多个第一行为参数预先分别设置的阈值,确定这多个第一行为参数中异常的行为参数的项数。如果异常的行为参数的项数大于预设异常项数阈值,则确定不向上述网际协议地址返回上述待处理请求所请求的页面。
需要说明的是,预先设置阈值评价各个第一行为参数是否异常,通过预设异常项数阈值评价异常的项数是否过多,进而确定是否返回所请求的页面,计算速度较快并且识别爬虫请求的准确率较高。
继续参见图3,图3是根据本实施例的用于处理请求的方法的应用场景的一个示意图。在图3的应用场景中,首先用户利用的终端301或爬虫程序运行于的服务器302,发起一个待处理请求,此待处理请求用于请求获取页面,并且上述待处理请求包括上述待处理请求发送自的网际协议地址;之后,服务器303可以基于上述网际协议地址,确定是否处理上述待处理请求;然后,上述服务器303可以响应于确定处理上述待处理请求,获取上述网际协议地址所指示的电子设备的第一行为参数,例如,页面停留时间;最后,上述服务器303可以基于上述第一行为参数,确定是否向上述网际协议地址返回上述待处理请求所请求的页面。作为示例,上述服务器303如果确定是用户利用的终端301发送的待处理请求,则返回上述待处理请求所请求的页面,即304所示的返页面;上述服务器303如果确定是爬虫程序运行于的服务器302发送的待处理请求,则不返回上述待处理请求所请求的页面,即305所示的不返页面。
本申请的上述实施例提供的方法,通过首先基于上述网际协议地址,初步确定是否处理上述待处理请求,然后基于上述第一行为参数,确定是否向上述网际协议地址返回上述待处理请求所请求的页面,可以有效识别爬虫请求,从而可以减少在处理爬虫请求上所浪费的计算资源,即降低了处理请求所耗费的计算资源。
进一步参考图4,其示出了用于处理请求的方法的又一个实施例的流程400。该用于处理请求的方法的流程400,包括以下步骤:
步骤401,接收待处理请求。
在本实施例中,用于处理请求的方法运行于其上的电子设备(例如图1所示的服务器)可以接收待处理请求。在这里,上述待处理请求用于请求获取页面,并且上述待处理请求包括上述待处理请求发送自的网际协议地址。
步骤402,基于网际协议地址,确定是否处理待处理请求。
在本实施例中,用于处理请求的方法运行于其上的电子设备(例如图1所示的服务器)可以基于上述网际协议地址,确定是否处理上述待处理请求。
步骤403,响应于确定处理待处理请求,获取网际协议地址所指示的电子设备的第一行为参数。
在本实施例中,用于处理请求的方法运行于其上的电子设备(例如图1所示的服务器)可以响应于确定处理上述待处理请求,获取上述网际协议地址所指示的电子设备的第一行为参数。在这里,上述第一行为参数是基于上述电子设备针对第一历史页面的操作得到的,其中,第一历史页面是从上述网际协议地址发出的历史请求所请求的页面。
需要说明的是,关于步骤401、步骤402和步骤403的说明可以参考步骤201、步骤202和步骤203,在此不再赘述。
步骤404,获取预先存储的预设网际协议地址所指示的预设电子设备的第二行为参数。
在本实施例中,用于处理请求的方法运行于其上的电子设备(例如图1所示的服务器)可以获取预先存储的预设网际协议地址所指示的预设电子设备的第二行为参数。在这里,上述第二行为参数是基于上述预设电子设备针对第二历史页面的操作得到的,其中,第二历史页面是上述预设网际协议地址发出的历史请求所请求的页面。
在本实施例的一些可选的实现方式中,第二行为参数与第一行为参数,所基于的历史页面不同以及针对历史页面进行操作的主体不同,而第二行为参数的确定方式与第一行为参数相同,具体可以参考步骤203中对第一行为参数的说明。
在本实施例的一些可选的实现方式中,第二行为参数可以包括以下一项或多项:平均光标移动距离、平均光标移动速度、平均鼠标滚动速度、点击总次数、非法点击次数、来源页异常次数、平均页面停留时间、非法点击比例以及来源页异常比例。第二行为参数中各项的说明可以参考步骤203中对第一行为参数的说明,在此不再赘述。
步骤405,根据第一行为参数和第二行为参数,确定是否向网际协议地址返回待处理请求所请求的页面。
在本实施例中,用于处理请求的方法运行于其上的电子设备(例如图1所示的服务器)可以根据上述第一行为参数和上述第二行为参数,确定是否向上述网际协议地址返回上述待处理请求所请求的页面。
在本实施例的一些可选的实现方式中,步骤405可以包括:将上述第一行为参数和上述第二行为参数向量化,分别得到第一向量和第二向量,即第一向量中的各个向量元素分别是各个第一行为参数,第二向量中的各个向量元素分别是各个第二行为参数。计算第一向量和第二向量的相似度。如果上述相似度大于预设相似度阈值,则确定向上述网际协议地址返回上述待处理请求所请求的页面。
需要说明的是,位于第一向量和第二向量相同位置的向量元素所指示的行为参数相同。作为示例,位于第一向量第一位的向量元素可以用于指示第一行为参数中的鼠标滚动速度,位于第二向量第一位的向量元素也可以用于指示第二行为参数中的鼠标滚动速度。
在本实施例的一些可选的实现方式中,步骤405可以包括:根据上述第二行为参数,分别确定与各项第一行为参数对应的阈值;根据所确定的各个阈值,确定上述各项第一行为参数是否异常;响应于确定异常的第一行为参数的项数大于预设异常项数阈值,确定不向上述网际协议地址返回上述待处理请求所请求的页面。
可选地,根据上述第二行为参数,分别确定与各项第一行为参数对应的阈值,可以包括:可以将各项第二行为参数与对应的折合系数的乘积,确定与各项第一行为参数对应的阈值。
作为示例,平均页面停留时间对应的折合系数可以是50%,可以将第二行为参数中的平均页面停留时间乘以50%,确定为与第一行为参数中的平均页面停留时间对应的平均页面停留时间阈值,比较第一行为参数中的平均页面停留时间与平均页面停留时间阈值的大小。如果第一行为参数中的平均页面停留时间小于平均页面停留时间阈值,则确定第一行为参数中的平均页面停留时间异常。
作为示例,可以将平均光标移动距离对应的折合系数可以是80%。平均光标移动速度对应的折合系数可以是80%。平均鼠标滚动速度对应的折合系数可以是80%。非法点击比例对应的折合系数可以是70%。来源页异常比例对应的折合系数可以是90%。
在本实施例的一些可选的实现方式中,步骤405还可以包括:如果确定不向上述网际协议地址返回上述待处理请求所请求的页面,则向上述网际协议地址返回预设页面。如果判断待处理请求为爬虫请求,则直接向上述网际协议地址返回预设页面。
需要说明的是,预设页面的获取相对于上述待处理请求所请求的页面的获取较快。获取待处理请求所请求的页面,需要查询再生成,过程较慢;而预设页面的获取因为是直接获取所以相对快很多。
从图4中可以看出,与图2对应的实施例相比,本实施例中的用于处理请求的方法的流程400突出了利用第二行为参数,确定是否向上述网际协议地址返回上述待处理请求所请求的页面的步骤。由此,本实施例描述的方案可以引入更多处理请求的方式,从而实现更全面的识别爬虫和更有效的处理请求,进一步较少计算资源的消耗。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于处理请求的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例上述的用于处理请求的装置500包括:接收单元501、第一确定单元502、获取单元503和第二确定单元504。其中,接收单元,用于接收待处理请求,其中,上述待处理请求用于请求获取页面,并且上述待处理请求包括上述待处理请求发送自的网际协议地址;第一确定单元,用于基于上述网际协议地址,确定是否处理上述待处理请求;获取单元,用于响应于确定处理上述待处理请求,获取上述网际协议地址所指示的电子设备的第一行为参数,其中,上述第一行为参数是基于上述电子设备针对第一历史页面的操作得到的,其中,第一历史页面是从上述网际协议地址发出的历史请求所请求的页面;第二确定单元,用于基于上述第一行为参数,确定是否向上述网际协议地址返回上述待处理请求所请求的页面。
在本实施例中,接收单元501、第一确定单元502、获取单元503和第二确定单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203以及步骤204的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,上述第二确定单元,还用于:获取预先存储的预设网际协议地址所指示的预设电子设备的第二行为参数,其中,上述第二行为参数是基于上述预设电子设备针对第二历史页面的操作得到的,其中,第二历史页面是上述预设网际协议地址发出的历史请求所请求的页面;根据上述第一行为参数和上述第二行为参数,确定是否向上述网际协议地址返回上述待处理请求所请求的页面。
在本实施例的一些可选的实现方式中,上述获取单元,还用于:查询在第一预定时间段内从上述网际协议地址发出的历史请求所请求的至少一个第一历史页面;对于上述至少一个第一历史页面中的每个第一历史页面,获取针对该第一历史页面的操作的操作参数,其中,操作包括以下至少一项:点击、输入、页面移动、鼠标滚动、滑动、拖动、悬停。
在本实施例的一些可选的实现方式中,操作参数包括以下至少一项:光标移动距离、光标移动速度、鼠标滚动速度,其中,光标移动距离用于指示由于鼠标移动而导致的光标在第一历史页面移动的距离,光标移动速度用于指示由于鼠标移动而导致的光标在第一历史页面移动的速度,鼠标滚动速度用于指示针对第一历史页面操作鼠标时鼠标的滚动速度,上述第一行为参数包括以下至少一项:平均光标移动距离、平均光标移动速度、平均鼠标滚动速度;以及上述获取单元,还用于:对于上述至少一个第一历史页面中的每个第一历史页面,根据针对该第一历史页面的操作的操作参数,确定该第一历史页面的以下至少一项:光标移动距离、光标移动速度、鼠标滚动速度;根据所确定的光标移动距离、光标移动速度或鼠标滚动速度以及上述至少一个第一历史页面的页面数量,确定以下至少一项第一行为参数:平均光标移动距离、平均光标移动速度、平均鼠标滚动速度。
在本实施例的一些可选的实现方式中,上述第一行为参数还包括以下至少一项:点击总次数、非法点击次数和来源页异常次数,其中,点击总次数是针对上述至少一个第一历史页面的点击操作的总次数,非法点击是指操作所针对的第一历史页面未显示在显示屏而进行的点击操作,来源页异常是指进入第一历史页面的途径不是通过点击第一历史页面的网址链接的情况。
在本实施例的一些可选的实现方式中,操作参数包括进入页面时间和离开页面时间,上述第一行为参数还包括平均页面停留时间;以及上述获取单元,还用于:对于上述至少一个第一历史页面中的每个第一历史页面,根据针对该第一历史页面的操作的操作参数,确定该页面的页面停留时间;根据所确定的页面停留时时间以及上述至少一个第一历史页面的页面数量,确定上述至少一个第一历史页面的平均页面停留时间。
在本实施例的一些可选的实现方式中,上述第二确定单元,还用于:根据上述第二行为参数,分别确定与各项第一行为参数对应的阈值;根据所确定的各个阈值,确定上述各项第一行为参数是否异常;响应于确定异常的第一行为参数的项数大于预设异常项数阈值,确定不向上述网际协议地址返回上述待处理请求所请求的页面。
在本实施例的一些可选的实现方式中,上述第一确定单元,还用于:确定上述网际协议地址是否在预设的网际协议地址集合中;响应于确定上述网际协议地址不在预设的网际协议地址集合中,确定在第二预定时间段内接收到发送自上述网际协议地址的历史请求的次数;根据上述次数,确定是否处理上述待处理请求。
需要说明的是,本实施例提供的用于处理请求的装置中各单元的实现细节和技术效果可以参考本申请中其它实施例的说明,在此不再赘述。
下面参考图6,其示出了适于用来实现本申请实施例的服务器的计算机系统600的结构示意图。图6示出的终端设备/服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。
需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括接收单元、第一确定单元、获取单元和第二确定单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,接收单元还可以被描述为“接收待处理请求的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:接收待处理请求,其中,上述待处理请求用于请求获取页面,并且上述待处理请求包括上述待处理请求发送自的网际协议地址;基于上述网际协议地址,确定是否处理上述待处理请求;响应于确定处理上述待处理请求,获取上述网际协议地址所指示的电子设备的第一行为参数,其中,上述第一行为参数是基于上述电子设备针对第一历史页面的操作得到的,其中,第一历史页面是从上述网际协议地址发出的历史请求所请求的页面;基于上述第一行为参数,确定是否向上述网际协议地址返回上述待处理请求所请求的页面。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种用于处理请求的方法,其特征在于,所述方法包括:
接收待处理请求,其中,所述待处理请求用于请求获取页面,并且所述待处理请求包括所述待处理请求发送自的网际协议地址;
基于所述网际协议地址,确定是否处理所述待处理请求;
响应于确定处理所述待处理请求,获取所述网际协议地址所指示的电子设备的第一行为参数,其中,所述第一行为参数是基于所述电子设备针对第一历史页面的操作得到的,其中,第一历史页面是从所述网际协议地址发出的历史请求所请求的页面;
基于所述第一行为参数,确定是否向所述网际协议地址返回所述待处理请求所请求的页面。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一行为参数,确定是否向所述网际协议地址返回所述待处理请求所请求的页面,包括:
获取预先存储的预设网际协议地址所指示的预设电子设备的第二行为参数,其中,所述第二行为参数是基于所述预设电子设备针对第二历史页面的操作得到的,其中,第二历史页面是所述预设网际协议地址发出的历史请求所请求的页面;
根据所述第一行为参数和所述第二行为参数,确定是否向所述网际协议地址返回所述待处理请求所请求的页面。
3.根据权利要求2所述的方法,其特征在于,所述获取所述网际协议地址所指示的电子设备的第一行为参数,包括:确定所述第一行为参数的步骤,其中,所述确定所述第一行为参数的步骤,包括:
查询在第一预定时间段内从所述网际协议地址发出的历史请求所请求的至少一个第一历史页面;
对于所述至少一个第一历史页面中的每个第一历史页面,获取针对该第一历史页面的操作的操作参数,其中,操作包括以下至少一项:点击、输入、页面移动、鼠标滚动、滑动、拖动、悬停。
4.根据权利要求3所述的方法,其特征在于,操作参数包括以下至少一项:光标移动距离、光标移动速度、鼠标滚动速度,其中,光标移动距离用于指示由于鼠标移动而导致的光标在第一历史页面移动的距离,光标移动速度用于指示由于鼠标移动而导致的光标在第一历史页面移动的速度,鼠标滚动速度用于指示针对第一历史页面操作鼠标时鼠标的滚动速度,所述第一行为参数包括以下至少一项:平均光标移动距离、平均光标移动速度、平均鼠标滚动速度;以及
所述确定所述第一行为参数的步骤,还包括:
对于所述至少一个第一历史页面中的每个第一历史页面,根据针对该第一历史页面的操作的操作参数,确定该第一历史页面的以下至少一项:光标移动距离、光标移动速度、鼠标滚动速度;
根据所确定的光标移动距离、光标移动速度或鼠标滚动速度以及所述至少一个第一历史页面的页面数量,确定以下至少一项第一行为参数:平均光标移动距离、平均光标移动速度、平均鼠标滚动速度。
5.根据权利要求4所述的方法,其特征在于,所述第一行为参数还包括以下至少一项:点击总次数、非法点击次数和来源页异常次数,其中,点击总次数是针对所述至少一个第一历史页面的点击操作的总次数,非法点击是指操作所针对的第一历史页面未显示在显示屏而进行的点击操作,来源页异常是指进入第一历史页面的途径不是通过点击第一历史页面的网址链接的情况。
6.根据权利要求5所述的方法,其特征在于,操作参数包括进入页面时间和离开页面时间,所述第一行为参数还包括平均页面停留时间;以及
所述确定所述第一行为参数的步骤,还包括:
对于所述至少一个第一历史页面中的每个第一历史页面,根据针对该第一历史页面的操作的操作参数,确定该页面的页面停留时间;
根据所确定的页面停留时时间以及所述至少一个第一历史页面的页面数量,确定所述至少一个第一历史页面的平均页面停留时间。
7.根据权利要求2-6中任一项所述的方法,其特征在于,所述根据所述第一行为参数和所述第二行为参数,确定是否向所述网际协议地址返回所述待处理请求所请求的页面,包括:
根据所述第二行为参数,分别确定与各项第一行为参数对应的阈值;
根据所确定的各个阈值,确定所述各项第一行为参数是否异常;
响应于确定异常的第一行为参数的项数大于预设异常项数阈值,确定不向所述网际协议地址返回所述待处理请求所请求的页面。
8.根据权利要求7所述的方法,其特征在于,所述基于所述网际协议地址,确定是否处理所述待处理请求,包括:
确定所述网际协议地址是否在预设的网际协议地址集合中;
响应于确定所述网际协议地址不在预设的网际协议地址集合中,确定在第二预定时间段内接收到发送自所述网际协议地址的历史请求的次数;
根据所述次数,确定是否处理所述待处理请求。
9.一种用于处理请求的装置,其特征在于,所述装置包括:
接收单元,用于接收待处理请求,其中,所述待处理请求用于请求获取页面,并且所述待处理请求包括所述待处理请求发送自的网际协议地址;
第一确定单元,用于基于所述网际协议地址,确定是否处理所述待处理请求;
获取单元,用于响应于确定处理所述待处理请求,获取所述网际协议地址所指示的电子设备的第一行为参数,其中,所述第一行为参数是基于所述电子设备针对第一历史页面的操作得到的,其中,第一历史页面是从所述网际协议地址发出的历史请求所请求的页面;
第二确定单元,用于基于所述第一行为参数,确定是否向所述网际协议地址返回所述待处理请求所请求的页面。
10.一种服务器,其特征在于,所述服务器包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201710450620.9A 2017-06-15 2017-06-15 用于处理请求的方法和装置 Pending CN109150928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710450620.9A CN109150928A (zh) 2017-06-15 2017-06-15 用于处理请求的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710450620.9A CN109150928A (zh) 2017-06-15 2017-06-15 用于处理请求的方法和装置

Publications (1)

Publication Number Publication Date
CN109150928A true CN109150928A (zh) 2019-01-04

Family

ID=64829748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710450620.9A Pending CN109150928A (zh) 2017-06-15 2017-06-15 用于处理请求的方法和装置

Country Status (1)

Country Link
CN (1) CN109150928A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083196A (zh) * 2019-11-14 2020-04-28 北京无限光场科技有限公司 信息转发方法、装置和电子设备
CN113542185A (zh) * 2020-04-13 2021-10-22 北京沃东天骏信息技术有限公司 页面防劫持的方法、装置、电子设备和存储介质
CN114006711A (zh) * 2020-07-28 2022-02-01 云盾智慧安全科技有限公司 网络爬虫识别方法、系统、装置及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102916935A (zh) * 2011-08-04 2013-02-06 深圳华强电子交易网络有限公司 一种网站内容防抓取的方法
CN103593415A (zh) * 2013-10-29 2014-02-19 北京国双科技有限公司 网页访问量作弊的检测方法和装置
CN103714057A (zh) * 2012-09-28 2014-04-09 北京亿赞普网络技术有限公司 一种在线网页信息的实时监测方法和装置
CN105046124A (zh) * 2015-07-31 2015-11-11 小米科技有限责任公司 安全防护方法及装置
CN105592070A (zh) * 2015-11-16 2016-05-18 中国银联股份有限公司 应用层DDoS防御方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102916935A (zh) * 2011-08-04 2013-02-06 深圳华强电子交易网络有限公司 一种网站内容防抓取的方法
CN103714057A (zh) * 2012-09-28 2014-04-09 北京亿赞普网络技术有限公司 一种在线网页信息的实时监测方法和装置
CN103593415A (zh) * 2013-10-29 2014-02-19 北京国双科技有限公司 网页访问量作弊的检测方法和装置
CN105046124A (zh) * 2015-07-31 2015-11-11 小米科技有限责任公司 安全防护方法及装置
CN105592070A (zh) * 2015-11-16 2016-05-18 中国银联股份有限公司 应用层DDoS防御方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083196A (zh) * 2019-11-14 2020-04-28 北京无限光场科技有限公司 信息转发方法、装置和电子设备
CN111083196B (zh) * 2019-11-14 2022-07-12 北京无限光场科技有限公司 信息转发方法、装置和电子设备
CN113542185A (zh) * 2020-04-13 2021-10-22 北京沃东天骏信息技术有限公司 页面防劫持的方法、装置、电子设备和存储介质
CN113542185B (zh) * 2020-04-13 2024-05-21 北京沃东天骏信息技术有限公司 页面防劫持的方法、装置、电子设备和存储介质
CN114006711A (zh) * 2020-07-28 2022-02-01 云盾智慧安全科技有限公司 网络爬虫识别方法、系统、装置及计算机存储介质
CN114006711B (zh) * 2020-07-28 2023-11-24 云盾智慧安全科技有限公司 网络爬虫识别方法、系统、装置及计算机存储介质

Similar Documents

Publication Publication Date Title
CN109255337A (zh) 人脸关键点检测方法和装置
CN107844324A (zh) 客户端页面跳转处理方法和装置
CN109582873A (zh) 用于推送信息的方法和装置
CN108540831A (zh) 用于推送信息的方法和装置
CN109992406A (zh) 图片请求方法、响应图片请求的方法及客户端
CN109525855A (zh) 用于处理信息的方法和装置
CN109446442A (zh) 用于处理信息的方法和装置
CN110019263A (zh) 信息存储方法和装置
CN109408754A (zh) 网页操作数据的处理方法、装置、电子设备及存储介质
CN104378428B (zh) 一种用于文件下载的方法和装置
CN108595448A (zh) 信息推送方法和装置
CN110069919A (zh) 信息获取方法和装置
CN109150928A (zh) 用于处理请求的方法和装置
CN108810047A (zh) 用于确定信息推送准确率的方法、装置及服务器
CN108920238A (zh) 操作应用的方法、电子设备和计算机可读介质
CN105701198B (zh) 页面验证方法和装置
CN109471976A (zh) 网页操作数据的处理方法、装置、电子设备及存储介质
CN109688086A (zh) 用于终端设备的权限控制方法和装置
CN109218041A (zh) 用于服务器系统的请求处理方法和装置
CN109491721A (zh) 用于加载信息的方法和装置
CN110113176A (zh) 用于配置服务器的信息同步方法及装置
CN109271397A (zh) 用于处理信息的方法和装置
CN109408647A (zh) 用于处理信息的方法和装置
CN109582580A (zh) 用于调试页面的系统、方法和装置
CN110493291A (zh) 一种处理http请求的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104