CN114329259A - 访问请求处理方法、装置及计算机可读存储介质 - Google Patents
访问请求处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114329259A CN114329259A CN202011078204.9A CN202011078204A CN114329259A CN 114329259 A CN114329259 A CN 114329259A CN 202011078204 A CN202011078204 A CN 202011078204A CN 114329259 A CN114329259 A CN 114329259A
- Authority
- CN
- China
- Prior art keywords
- request
- access
- header data
- request header
- access request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种访问请求处理方法、装置及计算机可读存储介质,该方法通过接收访问请求信息;获取访问请求信息的请求头数据,并根据请求头数据发起访问请求,当访问请求的访问结果为访问失败时,对请求头数据进行修改,得到预设请求头数据;根据预设请求头数据重新发起访问请求,访问该访问请求信息对应的网络资源信息。以此,服务器在检测到访问失败后自动对访问请求的请求头进行自动化修改以得到可以访问成功的请求头数据,再使用修改后的请求头数据继续发起访问请求。无需后台人员手动调整,提高了访问请求的处理效率。
Description
技术领域
本发明涉及通信领域,具体涉及一种访问请求处理方法、装置及计算机可读存储介质。
背景技术
近年来,互联网的快速发展给人们的生活带来了翻天覆地的变化,人们获取信息的渠道变得更为多元化,获取信息的成本也极大地降低了。其中,网页访问作为最普遍使用的互联网信息获取渠道,在人们日常生活中也扮演着不可或缺的角色,为人们获取信息带来了极大的便利。
目前的网页访问功能中,若用户输入网址后网页内容访问失败,需要将访问失败的网址上报到后台,开发人员接收到访问失败的网址后,先需要进行筛选以排除资源问题,再通过多次手动尝试调整请求头信息以获取可以成功访问的请求头信息,该方法对访问请求的处理效率低下。
发明内容
本发明实施例提供一种访问请求处理方法、装置及计算机可读存储介质,可以提升访问请求的处理效率。
一种访问请求处理方法,包括:
接收访问请求信息;
获取所述访问请求信息的请求头数据,并根据所述请求头数据发起访问请求;
当所述访问请求的访问结果为访问失败时,对所述请求头数据进行修订,得到预设请求头数据;
根据所述预设请求头数据重新发起访问请求,访问所述访问请求信息对应的网络资源信息。
相应的,本发明实施例提供一种访问请求处理装置,包括:
接收单元,用于接收访问请求信息;
获取单元,用于获取所述访问请求信息对应的请求头数据,并根据所述请求头数据发起访问请求;
修订单元,用于当所述访问请求的访问结果为访问失败时,对所述请求头数据进行修订,得到预设请求头数据;
请求单元,用于根据所述预设请求头数据重新发起访问请求。
在一些实施例中,所述修订单元,包括:
修改子单元,用于对所述请求头数据进行修改,得到修正请求头列表,所述修正请求头列表包含多个修正请求头数据;
确定子单元,用于根据所述修正请求头列表确定预设请求头数据。
在一些实施例中,所述确定子单元,用于:
获取所述修正请求头列表中每个修正请求头数据对应的预计访问成功率;
根据所述预计访问成功率确定预设请求头数据。
在一些实施例中,所述确定子单元,用于:
获取每个修正请求头数据对应的修改方案;
获取预设时间段内每个修改方案对应的访问结果记录;
根据所述访问结果记录确定每个修正请求头数据对应的预计访问成功率;
根据所述预计访问成功率确定预设请求头数据。
在一些实施例中,所述确定子单元,用于:
根据所述修正请求头列表中包含的多个修正请求头数据逐个发起访问请求;
当检测到访问结果为访问成功时,确定当前访问的修正请求头数据为预设请求头数据。
在一些实施例中,所述修订单元,包括:
接收子单元,用于接收返回的访问结果状态码;
修订子单元,用于当所述访问结果状态码处于预设范围内时,对所述请求头数据进行修订,得到预设请求头数据。
在一些实施例中,所述访问请求处理装置还包括存储单元,用于:
当重新发起的访问请求的访问结果为访问成功时,将所述预设请求头数据保存至存储器中,以使得当再次接收到所述访问请求信息时调用所述预设请求头数据。
在一些实施例中,所述获取单元,包括:
检测子单元,用于检测所述访问请求信息是否存在与之匹配的第一请求头数据;
第一确定子单元,用于当所述访问请求信息存在与之匹配的第一请求头数据时,确定所述第一请求头数据为所述访问请求信息对应的请求头数据;
第二确定子单元,用于当所述访问请求信息不存在与之匹配的第一请求头数据时,生成第二请求头数据并确定所述第二请求头数据为所述访问请求信息对应的请求头数据。
此外,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种访问请求处理方法中的步骤。
本发明实施例通过接收访问请求信息;获取访问请求信息的请求头数据,并根据请求头数据发起访问请求,当访问请求的访问结果为访问失败时,对请求头数据进行修订,得到预设请求头数据;根据预设请求头数据重新发起访问请求,访问访问请求信息对应的网络资源信息。以此,服务器在检测到访问失败后自动对访问请求的请求头进行自动化修改以得到可以访问成功的请求头数据,再使用修改后的请求头数据继续发起访问请求。无需后台人员手动调整,提高了访问请求的处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的访问请求处理的场景示意图;
图2是本发明实施例提供的访问请求处理方法的流程示意图;
图3是本发明实施例提供的访问请求处理方法的另一流程示意图;
图4是本发明实施例提供的访问请求处理装置的结构示意图;
图5是本发明实施例提供的访问请求处理装置的另一结构示意图;
图6是本发明实施例提供的访问请求处理装置的另一结构示意图;
图7是本发明实施例提供的访问请求处理装置的另一结构示意图;
图8是本发明实施例提供的访问请求处理装置的另一结构示意图;
图9是本发明实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种访问请求处理方法、装置和计算机可读存储介质。其中,该访问请求处理装置可以集成在服务器中。其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器可以与访问其的终端通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
参见图1,为访问请求处理的场景示意图;如图所示,用户通过终端B进行网络资源访问时,终端B将用户输入的访问请求信息发送至服务器A。服务器A对接收到的访问请求信息进行分析,获取该访问请求信息的请求头数据,并根据请求头数据发起访问请求。当访问请求的访问结果为访问成功时,确定访问请求信息对应的网络资源信息;当访问请求的访问结果为访问失败时,对请求头数据进行修订,得到可以访问成功的预设请求数据,再根据预设请求头数据重新发起访问请求,进而再确定网络资源信息。确定请求信息对应的网络资源信息后,服务器A将该网络资源信息再发送给终端以便终端进行显示。
其中,终端B可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端B可以是一个也可以是多个,终端数量不对本申请方案的保护范围造成限定。
需要说明的是,图1所示的访问请求场景示意图仅仅是一个示例,本申请实施例描述的访问请求场景是为了更加清楚地说明本申请的技术方案,并不构成对于本申请提供的技术方案的限定,本领域普通技术人员可知,随着访问请求的演变和新业务场景的出现,本申请提供的技术方案对于类似的技术问题,同样适用。
基于上述实施环境以下分别进行详细说明。
本实施例将从访问请求处理装置的角度进行描述,该访问请求处理装置可以集成在服务器中。其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。如图2所示,为本申请提供的访问请求处理方法的流程示意图,该处理方法包括:
步骤101,接收访问请求信息;
其中,访问请求信息可以是从终端接收,也可以是从其他服务器接收。一般情况下,当用户进行网页浏览以访问网络资源信息时,用户会于终端的浏览器的网址输入栏中输入期望访问的网址信息并进行网络资源访问。此时后台的逻辑为终端将用户输入的网址信息发送给服务器,形成对服务器中网络资源的一个访问请求。因此服务器接收到的终端的访问请求信息中一般都包含用户输入的网址信息。在一些实施例中,对于一些常用网站的访问,例如百度、搜狐等,用户无需输入网址信息,可以直接于网页中点击这些网站对应的超链接以实现向服务器发送对这些网站的访问请求。
步骤102,获取访问请求信息的请求头数据,并根据请求头数据发起访问请求。
其中,服务器在接收到终端发送的访问请求信息后,会根据该访问请求信息生成对服务器中网络资源的访问请求报文。访问请求报文一般包括:请求行数据、请求头数据以及请求体数据。
请求行数据包括请求方法、请求URL(uniform resource locator,统一资源定位器)以及协议和协议版本。请求方法中最常见的是GET(获取)和POST(修改),除此以外还包括DELETE(删除)以及PUT(增加)等,不同请求方法对应对服务器的不同访问操作。具体地,GET为从指定的资源请求数据,POST为向指定的资源提交要被处理的数据,DELETE为删除指定资源,PUT为上传指定的URI(uniformresourceidentifier,统一资源标识符)表示。请求URL是请求对应的URL地址。请求头数据包含若干个属性数据,格式一般为“属性名:属性值”,服务器可以根据请求头数据获取终端的信息以及与请求访问的网络资源数据相关的规则信息。因此请求头数据为与访问请求内容极为相关的重要数据。请求体数据为将一个页面表单中的组件值编码成一个格式化串,请求体数据承载多个请求参数的数据。
服务器获取到访问请求信息对应的请求头数据后,根据该请求头数据以及其他相关请求报文数据发起网络资源访问请求。在相关技术中,当访问请求的访问结果为访问成功时,终端从服务器中下载请求访问的网络资源信息,并将该网络资源信息在终端的浏览器界面上进行显示。当访问请求的访问结果为访问失败时,则向终端返回访问结果,终端在浏览器界面上显示访问失败提醒。
步骤103,当访问请求的访问结果为访问失败时,对请求头数据进行修订,得到预设请求头数据。
其中,在相关技术中,当服务器确认访问请求的访问结果为访问失败时,只会向终端返回访问结果以提示用户访问失败,便不再有其他操作。此时用户可以对输入的网址信息进行检查或调整,并发起再次访问。若用户对网址检查确认网址无误,但仍想继续访问该网址对应的网络资源信息,则需要将该网址发送给后台服务人员。由于访问失败的原因可能是请求访问的网络资源的问题,也可能是请求报文的问题。因此后台服务人员在接收到用户发送的网址后,先行确认请求访问的网络资源是否存在问题,在排除了请求访问的网络资源问题后,手动对用户发送的网址对应的请求报文进行修改。
可以理解的是,服务器维护人员为了防止网络上常见的爬虫软件对网站资源进行恶意访问,会对访问服务器的访问请求设置拦截以拦截网络爬虫的恶意访问请求。一般情况下,对恶意访问请求的拦截是检测访问请求的请求头数据中是否存在预设的目标字段。因而对于一些请求头数据中存在目标字段的正常访问请求,也会因为被误认为是恶意请求而被拦截。因此后台服务人员对请求报文的修改主要是对请求报文的请求头数据的修改,将请求头数据中包含目标字段的部分进行删除或者替换,以避开服务器保护措施的拦截。
在本申请实施例中,与相关技术不同的是,当服务器检测到访问请求的访问结果为访问失败时,无需用户将请求失败的访问请求信息提交给后台服务人员,服务器自行对该请求报文的请求头数据进行修订,得到预设请求头数据。预设请求头数据可以是能够访问成功的请求头数据。
在一些实施例中,对请求头数据进行修订,得到预设请求头数据,包括:
对请求头数据进行修改,得到修正请求头列表,修正请求头列表包含多个修正请求头数据;
根据修正请求头列表确定预设请求头数据。
其中,由于请求头数据中包含多个属性数据,对请求头数据的修改即对请求头数据中包含的属性数据进行修改。请求头数据中包含的属性数据包括但不限于:Accept(接受)、Accept-Language(接受语言)以及Referer(来源)。属性数据的形式一般为“属性:属性值”。例如:
Accept:image/jpeg,application/x-ms-application,…,或者Referer:http://localhost:8088/chapter17/user/register.html?code=100&time=123123。Accept用于告诉服务器终端能够接收什么类型的响应,例如纯文本、图像。这就意味着终端不能接受视频类的资源。Referer就是表示请求的位置,确定请求从哪个URL过来的,例如用户通过Google(谷歌)搜索出一个商家的广告页面,用户对广告页面的内容感兴趣,点击该页面的内容发送一个请求报文到商家的网站,那么这个请求报文的请求头中Referer的属性值就是http://www.google.com。对请求头数据的修改可以一次修改一个属性数据,也可以一次修改多个属性数据。对请求头数据中每一个属性数据的修改可以得到一个不同的修正请求头数据,对请求数据中每两个属性数据组合或者多个属性数据组合的修改,也可以得到不同的修正请求头。即对请求头数据的不同修改方案,可以得到不同的修正请求头。穷尽请求头数据的所有修改方案,可以得到修正请求头列表。得到修正请求头列表后再根据该修正请求头列表确定预设请求头数据。
在一些实施例中,根据修正请求头列表确定预设请求头数据,包括:
获取修正请求头列表中每个修正请求头数据对应的预计访问成功率;
根据预计访问成功率确定预设请求头数据。
其中,在穷尽所有修改方案得到修正请求头列表后,对修正请求头列表中每一个修正请求头进行访问成功率评估,得到每个修正请求头数据对应的预计访问成功率。然后对修正请求头数据对应的预计访问成功率进行比较,确定预计访问成功率最高的请求头数据为预设请求头数据。
进一步地,获取修正请求头列表中每个修正请求头数据对应的预计访问成功率,包括:
获取每个修正请求头数据对应的修改方案;
获取预设时间段内每个修改方案对应的访问结果记录;
根据访问结果记录确定每个修正请求头数据对应的预计访问成功率。
其中,根据上述描述可知,对请求头数据中的属性数据的不同修改方案可以得到不同的修正请求头数据,因此不同的修正请求头数据均对应不同的修改方案,修正请求头数据与修正方案一一对应。因此请求头列表中每个修正请求头都对应着一个明确的修改方案。修改方案为对请求头数据中属性数据的修改或删除,例如对Referer属性数据,可以将其中的网址数据替换成来源网址。在确认了每个修正请求头数据对应的修改方案后,对每个修改方案对应的访问结果记录进行获取。每个修改方案的访问结果数据可以是历史记录中一个预设时间段内的数据,例如在过去一个月内每个修改方案对应的访问结果数据。该修改方案对应的访问结果数据可以包括后台服务人员进行手动修改后再进行访问得到的访问结果数据,也可以包括服务器自动修改后再进行访问得到的访问结果数据。例如上述对Referer属性数据进行替换网址后的方案,在过去一个月内使用该方案修改请求头数据总计100次,采用该方案修改后得到的修正请求头数据,再进行访问请求得到的访问结果中有60次访问成功、40次访问失败,则可以确定该修改方案对应的预计访问成功率为60%。如此,则可以确定本次修改得到的修正请求头数据中,该修改方案对应的修正请求头数据的预计访问成功率为60%。以此类推,可以得到其他修正请求头数据对应的预计访问成功率。
在一些实施例中,获取修正请求头列表中每个修正请求头数据对应的预计访问成功率,包括:
建立修正请求头数据的预计访问成功率预估模型;
使用历史请求头数据中请求记录以及对应的访问结果对预估模型进行训练;
将修正后的请求头数据输入至训练后的预估模型中,得到每个请求头数据对应的预计访问成功率。
其中,服务器从大数据角度进行修正请求头的预计访问成功率预估模型训练,具体地,服务器可以采集历史请求头数据的访问请求记录以及访问结果,并根据采集到的数据对预估模型进行模型训练。其中,服务器可以采取预设时间段的数据进行模型训练,也可以持续采集相关数据对预估模型进行持续训练。如此,在确定了修正请求头列表后,将修正请求头列表中的所有修正请求头数据一一输入至预估模型中,得到每个修正请求头数据对应的预计访问成功率。
步骤104,根据预设请求头数据重新发起访问请求,访问访问请求信息对应的网络资源信息。
其中,在步骤103中确定了修订后的预设请求头数据后,服务器使用该预设请求头数据再次发起访问请求。由于该预设请求头数据为经过修改以及筛选过的可以成功访问或者访问成功率较高的请求头数据,因此再次发起访问请求时可以获得较高的访问成功率。当访问成功后,服务器将访问请求信息对应的网络资源信息传输给终端,以使得终端在浏览器界面上显示上述网络资源信息。
根据上述描述可知,本申请提供的访问请求处理方法,通过接收访问请求信息;获取访问请求信息的请求头数据,并根据请求头数据发起访问请求,当访问请求的访问结果为访问失败时,对请求头数据进行修订,得到预设请求头数据;根据预设请求头数据重新发起访问请求,访问该访问请求信息对应的网络资源信息。以此,服务器在检测到访问失败后自动对访问请求的请求头进行自适应修改以得到可以访问成功的请求头数据,再使用修改后的请求头数据继续发起访问请求。无需后台人员手动调整,提高了访问请求的处理效率。
如图3所示,为本申请提供的访问请求处理方法的另一流程示意图,该方法包括:
步骤201,服务器接收访问请求信息。
其中,用户使用终端进行网页访问时,在终端的浏览器中输入访问请求信息,终端将用户输入的访问请求信息发送至服务器。具体地,例如用户在电脑中使用IE浏览器,在IE浏览器的网址栏输入www.baidu.com以请求访问百度网站。电脑在接入互联网的情况下将该网址信息发送给服务器以请求访问百度网站的信息。服务器接收该网址并根据该网址请求访问网络资源信息。
步骤202,服务器检测是否存在与访问请求信息匹配的第一请求头数据。
步骤203,当存在与之匹配的第一请求头数据时,服务器确定第一请求头数据为与之对应的请求头数据;当不存在与之匹配的第一请求头数据时,生成第二请求头数据并确定第二请求头数据为与之对应的请求头数据。
其中,服务器中存储有一些常用网址对应的请求头数据,当服务器接收到这些常用网址时,可以直接调用这些常用网址对应的请求头数据。例如当服务器接收到上述www.baidu.com网址时,可以直接调用与之匹配的第一请求头数据。一般情况下,该第一请求头数据是历史访问成功时使用过的请求头数据,因此第一请求头数据较大概率是可以成功访问网络资源信息的请求头数据。如此,直接调用与访问请求信息匹配的请求头数据可以提高网络资源信息的访问效率。然而,对于首次访问的网址,服务器中一般不会存储有与之匹配的请求头数据,需要根据输入的网址信息进行配置,得到第二请求头数据,再进一步使用配置的第二请求头数据进行请求访问网络资源数据,如此访问速率就会相对较慢。
步骤204,服务器根据与访问请求信息对应的请求头数据发起访问请求。
其中,在确定了访问请求信息对应的请求头数据后,服务器根据该请求头数据发起访问请求。访问请求使用标准的http/https协议。
步骤205,服务器接收返回的访问结果状态码。
其中,发起访问请求后,服务器的后台可能返回多种结果。具体地,服务器后台返回的结果可以以http状态码的形式进行返回。当返回的访问结果状态码处于200至399之间时,可以确定本次访问请求的访问结果为访问成功,服务器随之将终端请求访问的网络资源信息发送给终端。当返回的访问结果状态码处于400至599之间时,说明访问结果为访问失败。以下为几个常见的状态码:200意味着找到了资源并且一切正常,302/307意味着临时重定向,指出请求的文档已被临时移动到别处,此文档的新URL在定位响应头中给出。304意味着该资源在上次请求之后没有任何修改,通常用于浏览器的缓存机制。401意味着客户端无权访问该资源,通常浏览器会要求用户输入用户名和密码以登录到服务器。404意味着找不到页面,或指定的位置不存在所申请的资源。
步骤206,当访问结果状态码处于预设范围内时,服务器对请求头数据进行修订,得到预设请求头数据。
其中,当访问结果状态码处于400至599之间时,例如上述401或404,可以确定本次访问请求的访问结果为访问失败。此时服务器自动对请求头数据进行修订。具体地,服务器对请求头数据中的属性数据进行修改,得到修正请求头列表,修正请求头列表中包含多个修正请求头数据。请求头数据中可以修改的属性数据除了前述的Accept、Accept-language以及Referer之外,还有Accept-Encoding(支持编码类型)、User-Agent(用户代理)、Range(区域)以及Etag(与web资源关联的记号)等。Accept-Encoding是浏览器发给服务器,用于申明浏览器支持的编码类型的属性数据。User-Agent是用户代理,简称UA,是一个特俗字符串头,使得服务器能够是被到客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语音以及浏览器插件等。以上并非穷尽所有可以修改的属性数据,只是对上述属性数据进行修改使得修正请求头的访问成功概率相对较高。也可以对其他请求头数据进行修改,此处不作限定。
对于不同类型的属性数据,可以有不同的修改方案。例如对于Accept-Encoding、Range以及Etag这些属性数据,可以采用直接删除这些属性数据的修改方案。而对于User-Agent和Referer这些属性数据,可以采用修改的方式,例如可以将User-Agent中qq浏览器标示字段进行删除,或者可以将Referer中网址数据替换成来源网址。
另外,对请求头数据的修改可以一次修改一个属性数据,也可以一次修改多个属性数据。每个修改方案都对应一个不同的修正请求头,穷尽所有修改方案后,可以得到不同修改方案对应的修正请求头集合,修正请求头集合构成了修正请求头列表。得到修正请求头列表之后,再根据修正请求头列表确定预设请求头数据。
在一些实施例中,根据修正请求头列表确定修正请求头数据,包括:
根据修正请求头列表中包含的多个修正请求头数据逐个发起访问请求;
当检测到访问结果为访问成功时,确定当前访问的修正请求头数据为预设请求头数据。
其中,修正请求头列表中除了修正请求头数据之外,还可以保存其他数据,例如每个修正请求头的状态数据以及每个修正请求头重新访问的访问结果数据。访问状态数据记载该修正请求头是否已经再次发起访问请求,访问结果数据记载着该修正请求头再次发起访问请求的访问结果。服务器在修改请求头数据得到修正请求头列表之后,对修正请求头列表中的每个修正请求头尝试发起访问请求,并将请求记录以及对应的访问结果存储于请求头列表中每个修正请求头数据对应的存储位置。如此,在对修正请求头列表中每个修正请求头数据发起访问请求并得到访问结果后。服务器可以确认访问结果为访问成功的任一修正请求头数据为预设请求头数据。如果所有修正请求头对应的访问结果都是访问失败时,则服务器向终端反馈访问结果为访问失败,停止流程。由于对修正请求头列表中所有修正请求头数据都发起访问请求再根据访问结果确定预设请求头的效率较低,服务器可以在对请求头列表中所有修正请求头数据发起访问请求的过程中实时监控访问请求的访问结果,当服务器检测到访问结果为访问成功时,可以确定当前访问的修正请求头数据为预设请求头数据。如此可以提高确定预设请求头数据的效率,从而进一步提高访问请求的处理效率。
步骤207,服务器根据预设请求头数据重新发起访问请求,访问该访问请求信息对应的网络资源信息。
其中,在确定了预设请求头数据后,服务器根据预设请求头数据重新发起访问请求,从而访问到访问请求信息对应的网络资源信息。服务器再将该网络资源信息发送给终端以使得终端在浏览器界面上进行显示。
步骤208,服务器将预设请求头数据保存至服务器中。
服务器将访问请求信息对应的网络资源信息发送给终端后,对该访问请求信息对应的预设请求头数据进行保存,并将该预设请求头数据确定为该访问请求信息匹配的请求头数据。当用户下次再使用该访问请求信息进行访问请求时,服务器可以直接调用该预设请求头数据发起访问请求,以此提高访问请求的处理效率。
为了更好地实施以上方法,本发明实施例还提供一种访问请求处理装置,该访问请求处理装置可以集成在服务器中。如图4所示,为本申请提供的访问请求处理装置的结构示意图。该访问请求处理装置可以包括接收单元301、获取单元302、修订单元303和请求单元304如下:
接收单元301,用于接收访问请求信息;
获取单元302,用于获取访问请求信息对应的请求头数据,并根据请求头数据发起访问请求;
修订单元303,用于当访问请求的访问结果为访问失败时,对请求头数据进行修订,得到预设请求头数据;
请求单元304,用于根据预设请求头数据重新发起访问请求。
在一些实施例中,如图5所示,为本申请实施例提供的访问请求处理装置的另一结构示意图,其中修订单元303,包括:
修改子单元3031,用于对请求头数据进行修改,得到修正请求头列表,修正请求头列表包含多个修正请求头数据;
确定子单元3032,用于根据修正请求头列表确定预设请求头数据。
在一些实施例中,确定子单元3032,用于:
获取修正请求头列表中每个修正请求头数据对应的预计访问成功率;
根据预计访问成功率确定预设请求头数据。
在一些实施例中,确定子单元3032,用于;
获取每个修正请求头数据对应的修改方案;
获取预设时间段内每个修改方案对应的访问结果记录;
根据访问结果记录确定每个修正请求头数据对应的预计访问成功率;
根据预计访问成功率确定预设请求头数据。
在一些实施例中,确定子单元3032,用于:
根据修正请求头列表中包含的多个修正请求头数据逐个发起访问请求;
当检测到访问结果为访问成功时,确定当前访问的修正请求头数据为预设请求头数据。
在一些实施例中,如图6所示,为本申请实施例提供的访问请求处理装置的另一结构示意图,其中修订单元303,包括:
接收子单元3033,用于接收返回的访问结果状态码;
修订子单元3034,用于当访问结果状态码处于预设范围内时,对请求头数据进行修订,得到预设请求头数据。
在一些实施例中,如图7所示,为本申请实施例提供的访问请求处理装置的另一结构示意图,本申请实施例提供的访问请求装置还包括存储单元305,存储单元305用于:
当重新发起的访问请求的访问结果为访问成功时,将预设请求头数据保存至存储器中,以使得当再次接收到所述访问请求信息时调用所述预设请求头数据。
在一些实施例中,如图8所示,为本申请实施例提供的访问请求处理装置的另一结构示意图,获取单元302,包括:
检测子单元3021,用于检测访问请求信息是否存在与之匹配的第一请求头数据;
第一确定子单元3022,用于当访问请求信息存在与之匹配的第一请求头数据时,确定第一请求头数据为访问请求信息对应的请求头数据;
第二确定子单元3023,用于当访问请求信息不存在与之匹配的第一请求头数据时,生成第二请求头数据并确定第二请求头数据为访问请求信息对应的请求头数据。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由以上可知,本实施例通过接收单元301接收访问请求信息;获取单元302获取访问请求信息的请求头数据,并根据请求头数据发起访问请求,当访问请求的访问结果为访问失败时,修订单元303对请求头数据进行修订,得到预设请求头数据;请求单元304根据预设请求头数据重新发起访问请求,访问该访问请求信息对应的网络资源信息。以此,服务器在检测到访问失败后自动对访问请求的请求头进行自适应修改以得到可以访问成功的请求头数据,再使用修改后的请求头数据继续发起访问请求。如此无需后台人员手动调整,提高了访问请求的处理效率。
本申请实施例还提供一种服务器,如图9所示,为本申请提供的服务器的结构示意图。具体来讲:
该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图9中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该服务器的控制中心,利用各种接口和线路连接整个服务器的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行服务器的各种功能和处理数据,从而对服务器进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能以及网页访问等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
服务器还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,服务器还可以包括显示单元等,在此不再赘述。具体在本实施例中,服务器中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取访问请求信息的请求头数据,并根据请求头数据发起访问请求,当访问请求的访问结果为访问失败时,对请求头数据进行修订,得到预设请求头数据;根据预设请求头数据重新发起访问请求,访问该访问请求信息对应的网络资源信息。
应当说明的是,本申请实施例提供的服务器与上文实施例中的访问请求处理方法属于同一构思,其具体实现过程详见以上方法实施例,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种访问请求处理方法中的步骤。例如,该指令可以执行如下步骤:
获取访问请求信息的请求头数据,并根据请求头数据发起访问请求,当访问请求的访问结果为访问失败时,对请求头数据进行修订,得到预设请求头数据;根据预设请求头数据重新发起访问请求,访问该访问请求信息对应的网络资源信息。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的任一种访问请求处理方法中的步骤,因此,可以实现本发明实施例所提供的任一种访问请求处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图2或者图3中的各种可选实现方式中提供的访问请求处理方法。
以上对本发明实施例所提供的一种访问请求处理方法、装置和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种访问请求处理方法,其特征在于,包括:
接收访问请求信息;
获取所述访问请求信息的请求头数据,并根据所述请求头数据发起访问请求;
当所述访问请求的访问结果为访问失败时,对所述请求头数据进行修订,得到预设请求头数据;
根据所述预设请求头数据重新发起访问请求,访问所述访问请求信息对应的网络资源信息。
2.根据权利要求1所述的方法,其特征在于,所述对所述请求头数据进行修订,得到预设请求头数据,包括:
对所述请求头数据进行修改,得到修正请求头列表,所述修正请求头列表包含多个修正请求头数据;
根据所述修正请求头列表确定预设请求头数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述修正请求头列表确定预设请求头数据,包括:
获取所述修正请求头列表中每个修正请求头数据对应的预计访问成功率;
根据所述预计访问成功率确定预设请求头数据。
4.根据权利要求3所述的方法,其特征在于,所述获取所述修正请求头列表中每个修正请求头数据对应的预计访问成功率,包括:
获取每个修正请求头数据对应的修改方案;
获取预设时间段内每个修改方案对应的访问结果记录;
根据所述访问结果记录确定每个修正请求头数据对应的预计访问成功率。
5.根据权利要求2所述的方法,其特征在于,所述根据所述修正请求头列表确定预设请求头数据,包括:
根据所述修正请求头列表中包含的多个修正请求头数据逐个发起访问请求;
当检测到访问结果为访问成功时,确定当前访问的修正请求头数据为预设请求头数据。
6.根据权利要求1所述的方法,其特征在于,所述当所述访问请求的访问结果为访问失败时,对所述请求头数据进行修订,包括:
接收返回的访问结果状态码;
当所述访问结果状态码处于预设范围内时,对所述请求头数据进行修订。
7.根据权利要求1所述的方法,其特征在于,所述根据所述预设请求头数据重新发起访问请求之后,还包括:
当重新发起的访问请求的访问结果为访问成功时,将所述预设请求头数据保存至存储器中,以使得当再次接收到所述访问请求信息时调用所述预设请求头数据。
8.根据权利要求1至7中任意一项所述的方法,其特征在于,所述获取所述访问请求信息对应的请求头数据,包括:
检测是否存在与所述访问请求信息匹配的第一请求头数据;
当存在与所述访问请求信息匹配的第一请求头数据时,确定所述第一请求头数据为所述访问请求信息对应的请求头数据;
当不存在与所述访问请求信息匹配的第一请求头数据时,生成第二请求头数据并确定所述第二请求头数据为所述访问请求信息对应的请求头数据。
9.一种访问请求处理装置,其特征在于,包括:
接收单元,用于接收访问请求信息;
获取单元,用于获取所述访问请求信息对应的请求头数据,并根据所述请求头数据发起访问请求;
修订单元,用于当所述访问请求的访问结果为访问失败时,对所述请求头数据进行修订,得到预设请求头数据;
请求单元,用于根据所述预设请求头数据重新发起访问请求。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至8任一项所述的访问请求处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011078204.9A CN114329259A (zh) | 2020-10-10 | 2020-10-10 | 访问请求处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011078204.9A CN114329259A (zh) | 2020-10-10 | 2020-10-10 | 访问请求处理方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114329259A true CN114329259A (zh) | 2022-04-12 |
Family
ID=81032816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011078204.9A Pending CN114329259A (zh) | 2020-10-10 | 2020-10-10 | 访问请求处理方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114329259A (zh) |
-
2020
- 2020-10-10 CN CN202011078204.9A patent/CN114329259A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107784516B (zh) | 广告投放方法和装置 | |
CN106489145B (zh) | web网站的访问方法、装置及Web网站系统 | |
US8909757B1 (en) | Consistent link sharing | |
US9230036B2 (en) | Enhanced browser cookie management | |
EP2724243B1 (en) | Dynamic content caching | |
US20120210243A1 (en) | Web co-navigation | |
US10447742B2 (en) | Information sharing method and device | |
US10175861B2 (en) | Method and system for web page commenting, browser and storage medium | |
US8359031B2 (en) | Computer based method and system for logging in a user mobile device at a server computer system | |
JP2002108870A (ja) | 情報処理システムおよび情報処理方法 | |
CN109450844B (zh) | 触发漏洞检测的方法及装置 | |
US9521034B2 (en) | Method and apparatus for generating resource address, and system thereof | |
EP2281246A1 (en) | Generating sitemaps | |
EP3080722B1 (en) | Web page rendering on wireless devices | |
EP2423837A1 (en) | Method and system for viewing web page and computer program product thereof | |
CN102004729A (zh) | 一种网站网页的展现方法、系统及网站服务器 | |
US7254542B2 (en) | Portal data passing through non-persistent browser cookies | |
US9306884B2 (en) | Computer-based method and system for processing a file request in response to a message received from a user mobile device | |
US20150067029A1 (en) | Data uniqued by canonical url for rest application | |
CN110704777A (zh) | 用于实现灰度发布的方法和系统 | |
CN110674435A (zh) | 页面访问方法、服务器、终端、电子设备及可读存储介质 | |
CN113900764B (zh) | 页面数据获取方法、页面数据展示方法及装置 | |
CN114329259A (zh) | 访问请求处理方法、装置及计算机可读存储介质 | |
CN111723324B (zh) | 一种网站导航的更新方法、装置、计算机设备和存储介质 | |
US10362125B2 (en) | Technologies for pre-action execution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |