CN114285899A - 一种流量代理方法、系统、智能终端及存储介质 - Google Patents
一种流量代理方法、系统、智能终端及存储介质 Download PDFInfo
- Publication number
- CN114285899A CN114285899A CN202111452302.9A CN202111452302A CN114285899A CN 114285899 A CN114285899 A CN 114285899A CN 202111452302 A CN202111452302 A CN 202111452302A CN 114285899 A CN114285899 A CN 114285899A
- Authority
- CN
- China
- Prior art keywords
- mobile port
- user
- port
- request
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000004044 response Effects 0.000 claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 abstract description 16
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 238000001816 cooling Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009193 crawling Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请涉及互联网通信技术领域,尤其涉及一种流量代理方法、系统、智能终端及存储介质,旨在解决现有技术存在服务器收到移动端访问的概率提升,因此大量来自拨号或家庭宽带形式的IP容易被识别为非正常访问,导致IP被封禁的问题,其技术方案是一种流量代理方法,包括:获取用户端发送的用于实现流量代理的请求包,解析请求包以获取用户的访问请求;在预设的移动端口池中选取与用户的访问请求匹配的目标移动端口,移动端口池存储有用于实现流量代理的移动端口;将用户的访问请求发送至目标移动端口,获取目标移动端口返回的访问响应;将目标移动端口返回的访问响应转发至用户端,本申请具有降低代理IP被识别封禁的几率的效果。
Description
技术领域
本申请涉及互联网通信技术领域,尤其是涉及一种流量代理方法、系统、智能终端及存储介质。
背景技术
随着网络技术的迅速发展,互联网成为了大量信息的载体,用户通常需要借助搜索引擎才能有效地检索并提取所需要的信息,但同时搜索引擎作为辅助人们检索信息的工具也有很大的局限性,如返回的结果中有很多无效信息、服务器资源的有限性以及对结构复杂的数据无法进行很好的抓取。
为了解决上述问题,定向抓取相关网页资源的爬虫技术应运而生,它可以从搜索引擎上下载网页,并根据一定的网页分析算法过滤与搜索条件无关的信息,保留有用的链接并放入URL(Uniform Resource Locator,统一资源定位器)队列中,循环此过程直至达到系统终止条件。
目前,在用户使用爬虫的过程中,经常发生需要频繁地访问某一网站的情况,导致用户被部分网站认定为非正常访问,于是通过禁用IP的方式拒绝访问请求。因此需要在使用爬虫的过程中使用代理IP,使用代理IP可以更换用户访问时的IP地址,进而规避同一IP频繁访问的情况。
在实现本申请的过程中,发明人发现上述技术至少存在以下问题:
已有的IP代理通常采用拨号或家庭宽带形式的IP,但随着移动通信设备的发展,服务器收到移动端访问的概率提升,因此大量来自拨号或家庭宽带形式的IP容易被识别为非正常访问,导致IP被封禁。
发明内容
为了降低代理IP被识别封禁的几率,提高数据爬取的稳定性,本申请提供一种流量代理方法、系统、智能终端及存储介质。
第一方面,本申请提供的一种流量代理方法,采用如下的技术方案:
一种流量代理方法,所述方法包括以下步骤:
获取用户端发送的用于实现流量代理的请求包,解析所述请求包以获取用户的访问请求;
在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口,所述移动端口池存储有用于实现流量代理的移动端口;
将用户的所述访问请求发送至目标移动端口,获取所述目标移动端口返回的访问响应;
将所述目标移动端口返回的访问响应转发至用户端。
通过采用上述技术方案,获取用户发送的请求包后,根据用户的请求包可以解析出用户检索数据的真实访问请求,解析出访问请求后将用户真实的访问请求发送至移动端口,由移动端口生成真实的访问流量,以移动端口生成的访问流量向服务器发起访问请求,进而使得服务器对访问IP进行识别时,识别到的IP为移动端口IP,进而降低了代理端口被识别为爬虫端口,进而降低了IP被封禁的可能性,最终提高了爬取数据的稳定性。
可选的,所述获取用户端发送的用于实现流量代理的请求包,解析所述请求包以获取用户的访问请求包括:
拆分所述请求包以获取包头、请求类型、用户入参以及业务入参,所述用户入参用于实现用户端的代理请求,所述业务入参用于实现用户端的访问请求;
基于所述请求包的包头对访问请求进行分类获取分类结果,并按照预设的规则去除无效的标识请求头;
将所述分类结果、用户入参以及业务入参重新装包为用户的访问请求。
通过采用上述技术方案,去除了请求包中无效的标识请求头,便于获取用户的真实访问请求,以用户的真实访问请求为基础进行代理访问,有助于提高代理系统中的代理信息的流转效率。
可选的,所述在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口,所述移动端口池存储有用于实现流量代理的移动端口包括:
在预设的所述移动端口池中采用预设的轮训机制筛选出与用户的所述访问请求匹配的若干个移动端口,生成可用移动端口集;
在所述可用移动端口集中增加预设的随机因子,随机选取一个移动端口并标记为目标移动端口。
通过采用上述技术方案,在选取移动端口时采用加入随机因子的随机算法,有助于提高端口选取的随机性,进而降低被服务器识别出异常的可能性。
可选的,所述方法还包括:
按照预设的时间间隔周期性地获取所述移动端口池中的每个移动端口的运行状态,所述运行状态包括闲置、繁忙以及离线中的一种;
使用当前周期的所述第一运行状态覆盖对应的移动端口在上一时间周期内的第二运行状态。
通过采用上述技术方案,对移动端口池中的移动端口的运行状态进行监控,并按照预定的频率进行更新,有助于提高端口分配的有效性,降低了移动端口分配之后无法实现代理访问功能的可能性。
可选的,所述使用所述当前周期的第一运行状态覆盖对应的移动端口在上一时间周期内的第二运行状态之后还包括:
监控运行状态为离线的第一移动端口的离线持续时间,当第一移动端口的离线持续时间超过预设的离线阈值时,将第一移动端口的运行状态由离线变更为闲置。
通过采用上述技术方案,当移动端口在某服务器的访问时间过长,容易被识别为异常IP进而封禁,因此需要使得移动端口按照预设的时间间隔进行离线冷却,对移动端口的离线冷却时间进行监控,有助于提高移动端口的更新效率,降低可用的移动端口被超时冷却的可能性,有利于提高移动端口池的整体利用效率。
可选的,所述方法还包括:
获取用户的端口切换请求;
基于端口切换请求,将用户当前使用的目标移动端口切换为可用移动端口集中的其他移动端口。
通过采用上述技术方案,可以根据用户的需求主动切换代理IP,提高了代理系统使用上的灵活性。
可选的,所述将用户的所述访问请求发送至目标移动端口,获取所述目标移动端口返回的访问响应之后还包括:
监控所述目标移动端口返回的访问响应,生成与访问请求对应的代理日志。
通过采用上述技术方案,对访问请求的状态进行监控,有助于在访问请求出现异常时对异常情况进行处理,同时以日志的形式记录访问请求,有助于对发生的异常情况进行分析,提高了后续异常问题的排查和处理效率。
第二方面,本申请提供一种流量代理系统,采用如下的技术方案:
一种流量代理系统,所述系统包括:
请求解析模块,用于获取用户端发送的用于实现流量代理的请求包,解析所述请求包以获取用户的访问请求;
端口选取模块,用于在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口,所述移动端口池存储有用于实现流量代理的移动端口;
端口代理模块,用于将用户的所述访问请求发送至目标移动端口,获取所述目标移动端口返回的访问响应;
响应返回模块,用于将所述目标移动端口返回的访问响应转发至用户端。
通过采用上述技术方案,获取用户发送的请求包后,根据用户的请求包可以解析出用户检索数据的真实访问请求,解析出访问请求后将用户真实的访问请求发送至移动端口,由移动端口生成真实的访问流量,以移动端口生成的访问流量向服务器发起访问请求,进而使得服务器对访问IP进行识别时,识别到的IP为移动端口IP,进而降低了代理端口被识别为爬虫端口,进而降低了IP被封禁的可能性,最终提高了爬取数据的稳定性。
第三方面,本申请提供一种智能终端,采用如下的技术方案:
一种智能终端,所述智能终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面任一所述的一种流量代理方法。
通过采用上述技术方案,智能终端中的处理器可以根据存储器中存储的相关计算机程序,实现上述一种流量代理方法,进而降低代理IP被识别封禁的几率,提高数据爬取的稳定性。
第四方面,本申请提供一种计算机可读存储介质,采用了如下的技术方案:
一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面任一所述的一种流量代理方法。
通过采用上述技术方案,能够存储相应的程序,进而降低代理IP被识别封禁的几率,提高数据爬取的稳定性。
综上所述,本申请包括以下至少一种有益技术效果:
获取用户发送的请求包后,根据用户的请求包可以解析出用户检索数据的真实访问请求,解析出访问请求后将用户真实的访问请求发送至移动端口,由移动端口生成真实的访问流量,以移动端口生成的访问流量向服务器发起访问请求,进而使得服务器对访问IP进行识别时,识别到的IP为移动端口IP,进而降低了代理端口被识别为爬虫端口,进而降低了IP被封禁的可能性,最终提高了爬取数据的稳定性;
当移动端口在某服务器的访问时间过长,容易被识别为异常IP进而封禁,因此需要使得移动端口按照预设的时间间隔进行离线冷却,对移动端口的离线冷却时间进行监控,有助于提高移动端口的更新效率,降低可用的移动端口被超时冷却的可能性,有利于提高移动端口池的整体利用效率;
对访问请求的状态进行监控,有助于在访问请求出现异常时对异常情况进行处理,同时以日志的形式记录访问请求,有助于对发生的异常情况进行分析,提高了后续异常问题的排查和处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中示出的一种流量代理系统的系统架构图;
图2是本申请实施例中示出的一种流量代理方法的方法流程图;
图3是本申请实施例中示出的一种流量代理方法的流程示意图;
图4是本申请实施例中示出的一种流量代理系统的系统框图;
图5是本申请实施例中示出的一种智能终端的结构示意图。
附图标记说明:1、请求解析模块;2、端口选取模块;3、端口代理模块;4、响应返回模块。
具体实施方式
本具体实施例仅仅是对本申请的解释,其并不是对本申请的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的权利要求范围内都受到专利法的保护为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图1-5,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供了一种流量代理方法,所述方法可以应用于如CDN集群的流量代理系统中,执行主体可以是代理中控设备,并由流量代理系统中提供移动端口的移动设备辅助实现。可以如图1所示。其中,流量代理系统包括代理中控设备,代理中控设备在流量代理系统中可以分布式地布署有多个,代理中控设备可以接收覆盖区域内用户端发送的代理访问请求,并基于代理访问请求将代理访问请求转发至提供移动端口的移动设备,移动设备用于接收代理中控设备发送的代理访问请求,并实现代理访问,将服务器返回的结果通过代理中控设备转回至用户端。
下面将结合具体实施方式,对图2所示的处理流程进行详细的说明,内容可以如下:
步骤201、获取用户端发送的用于实现流量代理的请求包,解析所述请求包以获取用户的访问请求。
在实施中,用户端发送的请求包通常包括请求行、请求头以及请求数据。代理中控设备可以通过调用域名解析函数解析请求包,以获取用户端发送的真实的访问请求,访问请求用于指向用户端所需要访问的服务器地址。
在一个实施例中,由于请求包中包括若干无效字段,容易导致增大访问请求的数据量,导致请求效率低的问题,因此相应的,步骤201可以包括如下处理:拆分所述请求包以获取包头、请求类型、用户入参以及业务入参,所述用户入参用于实现用户端的代理请求,所述业务入参用于实现用户端的访问请求;基于所述请求包的包头对访问请求进行分类获取分类结果,并按照预设的规则去除无效的标识请求头;将所述分类结果、用户入参以及业务入参重新装包为用户的访问请求。
在实施中,代理中控设备获取请求包后可以按照拆包、解析以及装包三个步骤提取请求包中的访问请求。
具体的,代理中控设备可以首先将请求包拆分获取包头、请求类型以及业务入参,其中包头与步骤201中所述的请求头对应,用于以键值对的方式传递数据;请求类型与步骤201中所述的请求行对应,用于声明协议版本和URL字段;业务入参与步骤201中所述的请求数据对应,用于实现对目标服务器的访问请求。与常规网页访问的请求包不同的是,用于实现代理访问的请求包还包括用户入参,用户入参用于实现对流量代理系统的代理访问请求。
代理中控设备将请求包拆包之后,可以依据拆包结果对访问请求进行分类,在本实施例中代理中控设备可以基于请求包中传输协议进行访问请求的分类,访问请求可以被分为传输协议为HTTP以及HTTPS的两类,对传输协议不同的访问请求进行分类解析,可以获取分类结果,有助于提高对访问请求解析的效率。
代理中控设备获取请求包拆包的分类结果后,基于拆包后的分类结果可以重新装包以生成用户的真实访问请求,访问请求可以包括目标服务器的文件传输协议也即分类结果、用户入参以及业务入参。
这样,代理中控设备可以通过解析提取用户真实的访问请求,便于实现代理目标。
步骤202、在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口。
在实施中,代理中控设备获取用户的访问请求后,需要选取代理端口实施相应的访问请求,以达到隐藏用户IP的目的。代理中控设备可以从预设的移动端口池中选取与访问请求匹配的目标移动端口,其中,移动端口池存储有用于实现流量代理的移动端口,在本实施例中,为了实现与拨号形式以及家庭宽带形式的代理IP的区别,使得代理端口向服务器发送的访问请求规避服务器的对访问IP的识别,可以使用移动端口进行代理,即以移动终端形式体现的代理IP,在此情况下,代理端向目标服务器发起的访问请求,与常规网络环境中进行正常访问的移动IP混合,实现了有效的代理伪装,降低了目标服务器识别并封禁代理IP的可能性。
其中,移动端口池中所存储的移动端口以移动终端的形式生成访问IP,移动终端可以选用实际的手机,也可以选用虚拟的在线手机终端。本实施例中以采用实际的手机为例进行说明,相应的流量代理系统中的移动设备即是手机。通过设置大量的手机设备以及相应的手机卡,可以搭建出一个包括有大量可转发访问请求、实现流量代理的移动端口的移动端口池。
这样,代理中控设备获取访问请求后,可以选取与访问请求匹配的移动端口,进而实现使用移动端口的手机IP进行伪装访问,降低了被识别的可能性。
在一个实施例中,一次数据爬取中可能需要多次切换代理IP,如果代理IP之间规律性较强,可能增大被识别出的可能性,因此相应的,步骤202中可以包容如下处理:在预设的所述移动端口池中采用预设的轮训机制筛选出与用户的所述访问请求匹配的若干个移动端口,生成可用移动端口集;在所述可用移动端口集中增加预设的随机因子,随机选取一个移动端口并标记为目标移动端口。
在实施中,代理中控设备可以通过轮训算法在移动端口池中选取若干个与访问请求匹配的可用移动端口,上述的若干个可用移动端口可以构成可用移动端口集。这样,在采用轮训算法的前提下,代理中控设备可以实现代理系统的负载均衡的要求。
代理中控设备获取移动端口集后,需求在移动端口集中选取其中的一个实施当前的访问请求的代理访问,在选取前,代理中控设备可以在移动端口集的选取时增加随机因子到预设的选取规则中,随机因子可以调用Random算法来产生所需的随机数,进而代理中控设备可以在随机因子的作用下选取出目标移动端口。
这样,可以增大代理IP的随机性,进一步降低被识别的可能性。
步骤203、将用户的所述访问请求发送至目标移动端口,获取所述目标移动端口返回的访问响应。
在实施中,参照图3,代理中控设备确定用于执行当前用户的代理请求的目标移动端口后,将在步骤201中获取的访问请求发送至目标移动端口。目标移动端口接收访问请求后,基于访问请求向访问请求中所描述的目标服务器发送真实请求,真实请求以目标移动端口为访问IP。目标服务器接收真实请求后,可以基于真实请求向目标移动端口返回相应的数据或网页内容,返回的数据或网页内容即为目标服务器针对访问请求的访问响应。
步骤204、将所述目标移动端口返回的访问响应转发至用户端。
在实施中,目标移动端口接收返回的访问响应之后,可以通过代理中控设备将访问响应传递回用户端,最终实现流量代理的数据返回流程。
在一个实施例中,通常一个流量代理系统中会有多个移动端口同时执行代理任务,对多个移动端口的管理有助于提高流量代理系统的工作效率。因此相应的,流量代理方法还可以包括如下处理:按照预设的时间间隔周期性地获取所述移动端口池中的每个移动端口的运行状态,所述运行状态包括闲置、繁忙以及离线中的一种;使用当前周期的所述第一运行状态覆盖对应的移动端口在上一时间周期内的第二运行状态。
在实施中,代理中控设备可以按照预设的时间间隔周期性地对移动端口池中的移动端口的运行状态进行监控,其中运行状态可以包括闲置、繁忙以及离线。具体的,闲置状态的移动端口处于安全的可用状态,但并没有执行代理任务;繁忙状态的移动端口正处于代理工作的进程中;离线状态的移动端口指处于已被服务器识别或对服务器的访问次数超过一定阈值,因此进入离线冷却状态的移动端口。
这样,代理中控设备获取移动端口在当前周期内的第一运行状态后,可以以第一运行状态覆盖前一周期的第二运行状态,进而实现移动端口的状态更新。这里的时间周期可以根据移动端口的更新切换频率进行设定,可以选用5分钟、10分钟或15分钟等。
在一个实施例中,离线冷却的移动端口结束冷却时间后会重新恢复到可用状态,因此相应的,流量代理方法还可以包括如下处理:监控运行状态为离线的第一移动端口的离线持续时间,当第一移动端口的离线持续时间超过预设的离线阈值时,将第一移动端口的运行状态由离线变更为闲置。
在实施中,代理中控设备可以对移动端口设定固定的离线阈值,被离线处理的移动端口在离线状态的持续时间超过离线阈值后,可以重新转为可用状态,也即闲置状态。离线阈值的设定可以与移动端口的访问场景关联,目标服务器的反爬算法越严格,离线阈值设定时长越长。
这样,可以使得移动端口池中的可用端口得到实时地更新,降低了可用的移动端口处于离线状态的可能性。
在一个实施例中,用户在进行流量代理时,基于访问需求可能需要自主切换代理IP,因此相应的,流量代理方法还可以包括如下处理:获取用户的端口切换请求;基于端口切换请求,将用户当前使用的目标移动端口切换为可用移动端口集中的其他移动端口。
在实施中,用户端可以主动向代理中控设备发送的端口切换请求,代理中控设备接收端口切换请求后,将用户使用中的目标移动端口切换为在步骤202中所述的可用移动端口集中的其他移动端口,其他移动端口的选取可以调用步骤202中所述的选取目标移动端口的算法来实现。
这样,代理中控设备可以实现用户的主动切换请求,增强了流量代理系统的灵活性。
在一个实施例中,由于流量代理的过程中可能由多个维度的原因引发异常情况,因此相应的,步骤204之后还可以包括如下处理:监控所述目标移动端口返回的访问响应,生成与访问请求对应的代理日志。
在实施中,代理中控设备可以在移动端口实施流量代理的过程中对代理情况进行记录,并生成代理日志。具体的,代理日志可以记录流量代理的访问请求、服务器响应状态以及请求失败原因等,请求失败原因可以通过代理中控设备的维护人员检查后录入,也可以与历史代理日志进行匹配获取。
这样,代理中控设备可以对流量代理过程中发生的异常情况进行记录,有助于在发生异常情况时辅助进行分析和处理。
基于相同的技术构思,本发明实施例还提供了一种流量代理系统,参考图4,所述流量代理系统包括:
请求解析模块1,用于获取用户端发送的用于实现流量代理的请求包,解析所述请求包以获取用户的访问请求;
端口选取模块2,用于在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口,所述移动端口池存储有用于实现流量代理的移动端口;
端口代理模块3,用于将用户的所述访问请求发送至目标移动端口,获取所述目标移动端口返回的访问响应;
响应返回模块4,用于将所述目标移动端口返回的访问响应转发至用户端。
可选的,请求解析模块1包括:
拆包子模块,用于拆分所述请求包以获取包头、请求类型、用户入参以及业务入参,所述用户入参用于实现用户端的代理请求,所述业务入参用于实现用户端的访问请求;
分类子模块,用于基于所述请求包的包头对访问请求进行分类获取分类结果,并按照预设的规则去除无效的标识请求头;
装包子模块,用于将所述分类结果、用户入参以及业务入参重新装包为用户的访问请求。
可选的,端口选取模块2包括:
初筛子模块,用于在预设的所述移动端口池中采用预设的轮训机制筛选出与用户的所述访问请求匹配的若干个移动端口,生成可用移动端口集;
终选子模块,用于在所述可用移动端口集中增加预设的随机因子,随机选取一个移动端口并标记为目标移动端口。
可选的,流量代理系统还包括:
端口状态检测模块,用于按照预设的时间间隔周期性地获取所述移动端口池中的每个移动端口的运行状态,所述运行状态包括闲置、繁忙以及离线中的一种;
端口状态更新模块,用于使用当前周期的所述第一运行状态覆盖对应的移动端口在上一时间周期内的第二运行状态。
可选的,端口状态更新模块之后还设有:
端口状态修正模块,用于监控运行状态为离线的第一移动端口的离线持续时间,当第一移动端口的离线持续时间超过预设的离线阈值时,将第一移动端口的运行状态由离线变更为闲置。
可选的,流量代理系统还包括:
切换请求获取模块,用于获取用户的端口切换请求;
端口主动切换模块,用于基于端口切换请求,将用户当前使用的目标移动端口切换为可用移动端口集中的其他移动端口。
可选的,响应返回模块之后还设有:
响应日志模块,用于监控所述目标移动端口返回的访问响应,生成与访问请求对应的代理日志。
本申请实施例还公开一种智能终端,参考图5,智能终端包括存储器和处理器,存储器上存储有能够被处理器加载并执行如上述的一种流量代理方法的计算机程序。
基于相同的技术构思,本申请实施例还公开一种计算机可读存储介质,包括能够被处理器加载执行时实现上述流量代理流程中的各个步骤。
计算机可读存储介质例如包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到,为描述的方便和简化,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述,以上实施例仅用以对本申请的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本申请的方法及其核心思想,不应理解为对本申请的限制。本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种流量代理方法,其特征在于,所述方法包括以下步骤:
获取用户端发送的用于实现流量代理的请求包,解析所述请求包以获取用户的访问请求;
在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口,所述移动端口池存储有用于实现流量代理的移动端口;
将用户的所述访问请求发送至目标移动端口,获取所述目标移动端口返回的访问响应;
将所述目标移动端口返回的访问响应转发至用户端。
2.根据权利要求1所述的一种流量代理方法,其特征在于:所述获取用户端发送的用于实现流量代理的请求包,解析所述请求包以获取用户的访问请求包括:
拆分所述请求包以获取包头、请求类型、用户入参以及业务入参,所述用户入参用于实现用户端的代理请求,所述业务入参用于实现用户端的访问请求;
基于所述请求包的包头对访问请求进行分类获取分类结果,并按照预设的规则去除无效的标识请求头;
将所述分类结果、用户入参以及业务入参重新装包为用户的访问请求。
3.根据权利要求1所述的一种流量代理方法,其特征在于:所述在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口,所述移动端口池存储有用于实现流量代理的移动端口包括:
在预设的所述移动端口池中采用预设的轮训机制筛选出与用户的所述访问请求匹配的若干个移动端口,生成可用移动端口集;
在所述可用移动端口集中增加预设的随机因子,随机选取一个移动端口并标记为目标移动端口。
4.根据权利要求1所述的一种流量代理方法,其特征在于:所述方法还包括:
按照预设的时间间隔周期性地获取所述移动端口池中的每个移动端口的运行状态,所述运行状态包括闲置、繁忙以及离线中的一种;
使用当前周期的所述第一运行状态覆盖对应的移动端口在上一时间周期内的第二运行状态。
5.根据权利要求4所述的一种流量代理方法,其特征在于:所述使用所述当前周期的第一运行状态覆盖对应的移动端口在上一时间周期内的第二运行状态之后还包括:
监控运行状态为离线的第一移动端口的离线持续时间,当第一移动端口的离线持续时间超过预设的离线阈值时,将第一移动端口的运行状态由离线变更为闲置。
6.根据权利要求3所述的一种流量代理方法,其特征在于:所述方法还包括:
获取用户的端口切换请求;
基于端口切换请求,将用户当前使用的目标移动端口切换为可用移动端口集中的其他移动端口。
7.根据权利要求1所述的一种流量代理方法,其特征在于:所述将用户的所述访问请求发送至目标移动端口,获取所述目标移动端口返回的访问响应之后还包括:
监控所述目标移动端口返回的访问响应,生成与访问请求对应的代理日志。
8.一种流量代理系统,其特征在于,所述系统包括:
请求解析模块,用于获取用户端发送的用于实现流量代理的请求包,解析所述请求包以获取用户的访问请求;
端口选取模块,用于在预设的移动端口池中选取与用户的所述访问请求匹配的目标移动端口,所述移动端口池存储有用于实现流量代理的移动端口;
端口代理模块,用于将用户的所述访问请求发送至目标移动端口,获取所述目标移动端口返回的访问响应;
响应返回模块,用于将所述目标移动端口返回的访问响应转发至用户端。
9.一种智能终端,其特征在于,所述智能终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的一种流量代理方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的一种流量代理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111452302.9A CN114285899A (zh) | 2021-11-30 | 2021-11-30 | 一种流量代理方法、系统、智能终端及存储介质 |
PCT/CN2021/137090 WO2023097748A1 (zh) | 2021-11-30 | 2021-12-10 | 一种流量代理方法、系统、智能终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111452302.9A CN114285899A (zh) | 2021-11-30 | 2021-11-30 | 一种流量代理方法、系统、智能终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114285899A true CN114285899A (zh) | 2022-04-05 |
Family
ID=80870425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111452302.9A Pending CN114285899A (zh) | 2021-11-30 | 2021-11-30 | 一种流量代理方法、系统、智能终端及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114285899A (zh) |
WO (1) | WO2023097748A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105100260A (zh) * | 2012-03-31 | 2015-11-25 | 北京奇虎科技有限公司 | 一种通过代理服务器进行访问的方法及装置 |
CN110851753A (zh) * | 2019-11-07 | 2020-02-28 | 亿企赢网络科技有限公司 | 一种网站的访问方法、装置、设备及存储介质 |
CN111917900A (zh) * | 2020-07-29 | 2020-11-10 | 北京天融信网络安全技术有限公司 | 一种域名代理的请求处理方法及装置 |
US10965770B1 (en) * | 2020-09-11 | 2021-03-30 | Metacluster It, Uab | Dynamic optimization of request parameters for proxy server |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108345642B (zh) * | 2018-01-12 | 2020-10-16 | 深圳壹账通智能科技有限公司 | 采用代理ip爬取网站数据的方法、存储介质和服务器 |
CN112583780B (zh) * | 2019-09-30 | 2023-04-07 | 北京国双科技有限公司 | 使用代理ip访问网站数据的方法、装置、系统和设备 |
-
2021
- 2021-11-30 CN CN202111452302.9A patent/CN114285899A/zh active Pending
- 2021-12-10 WO PCT/CN2021/137090 patent/WO2023097748A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105100260A (zh) * | 2012-03-31 | 2015-11-25 | 北京奇虎科技有限公司 | 一种通过代理服务器进行访问的方法及装置 |
CN110851753A (zh) * | 2019-11-07 | 2020-02-28 | 亿企赢网络科技有限公司 | 一种网站的访问方法、装置、设备及存储介质 |
CN111917900A (zh) * | 2020-07-29 | 2020-11-10 | 北京天融信网络安全技术有限公司 | 一种域名代理的请求处理方法及装置 |
US10965770B1 (en) * | 2020-09-11 | 2021-03-30 | Metacluster It, Uab | Dynamic optimization of request parameters for proxy server |
Also Published As
Publication number | Publication date |
---|---|
WO2023097748A1 (zh) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10805322B2 (en) | Packet capture and network traffic replay | |
US9344446B2 (en) | Systems and methods for malware detection and scanning | |
US10395031B2 (en) | Systems and methods for malware detection and scanning | |
RU2666289C1 (ru) | Система и способ для ограничения запросов доступа | |
CN108833450B (zh) | 一种实现服务器防攻击方法及装置 | |
CN105516086B (zh) | 业务处理方法及装置 | |
CN110336848B (zh) | 一种访问请求的调度方法及调度系统、设备 | |
CN111262839A (zh) | 一种漏洞扫描方法、管理设备、节点和存储介质 | |
CN109600385B (zh) | 一种访问控制方法及装置 | |
CN113676563B (zh) | 内容分发网络服务的调度方法、装置、设备及存储介质 | |
US20230362131A1 (en) | Systems and methods for monitoring and securing networks using a shared buffer | |
CN106412079B (zh) | 请求处理方法及系统 | |
CN103957252B (zh) | 云储存系统的日志获取方法及其系统 | |
CN114285899A (zh) | 一种流量代理方法、系统、智能终端及存储介质 | |
CN113014573A (zh) | Dns服务器的监控方法、系统、电子装置和存储介质 | |
CN107819754A (zh) | 一种防劫持方法、监控服务器、终端及系统 | |
CN116781331A (zh) | 基于反向代理的蜜罐诱捕的网络攻击溯源方法及装置 | |
CN113810381B (zh) | 一种爬虫检测方法、web应用云防火墙、装置和存储介质 | |
CN113938296A (zh) | 一种网络数据访问系统及方法 | |
CN113661484A (zh) | 日志记录方法及装置、电子设备、计算机可读存储介质 | |
CN112541106A (zh) | 网络数据获取方法、装置、计算机设备和存储介质 | |
CN110581844A (zh) | 拟态防御中的取证方法 | |
CN112187806A (zh) | 一种基于网页资源地址动态跳变的防御方法 | |
CN110022301A (zh) | 物联网设备防护用防火墙 | |
US11252244B1 (en) | System and method for web-session recording |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220405 |