CN109474698A - 访问请求标记方法、装置、设备及存储介质 - Google Patents
访问请求标记方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109474698A CN109474698A CN201811531481.3A CN201811531481A CN109474698A CN 109474698 A CN109474698 A CN 109474698A CN 201811531481 A CN201811531481 A CN 201811531481A CN 109474698 A CN109474698 A CN 109474698A
- Authority
- CN
- China
- Prior art keywords
- request
- access
- access request
- mark
- random number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
Abstract
本发明涉及安全监控,公开一种访问请求标记方法、装置、设备及存储介质,该方法包括:当前节点接收访问请求,获取请求对应的请求接收时间,并检测请求中是否携带有预设请求标识;若否则提取请求中包含的访问参数;调用预置随机数生成插件生成目标随机数,根据目标随机数、请求接收时间和访问参数获取目标请求标识并对访问请求进行标记,然后将标记后的访问请求转发至下一跳节点,由于是在请求中未携带请求标识时根据随机数、请求接收时间以及访问参数来生成请求标识,并通过该请求标识对请求进行标记,能够在保证请求标识唯一性的同时,实现对访问请求整个生命周期的全面监控,也为请求响应结束后日志数据的聚合分析提供了行之有效的实现途径。
Description
技术领域
本发明涉及网络通信技术领域,尤其涉及一种访问请求标记方法、装置、设备及存储介质。
背景技术
访问请求是指从客户端到服务器端的请求消息,以超文本传输协议(HT TP,HyperText Transfer Protocol)请求为例,通常情况下,Web服务器接收到的http请求都会调用一个或多个第三方服务,这样同一个http请求对应的日志数据就会散落在各处,从而不利于后续当访问请求的出现响应故障时,通过请求对应的日志数据对故障进行定位排查。因此,如何在访问请求的整个生命周期中(即从请求发起到响应结束)对访问请求进行全面监控,为请求响应结束后日志数据的聚合分析提供行之有效的实现途径,就成为一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种访问请求标记方法、装置、设备及存储介质,旨在解决现有技术无法有效的在访问请求的整个生命周期中对访问请求进行全面监控的技术问题。
为实现上述目的,本发明提供了一种访问请求标记方法,所述方法包括以下步骤:
当前节点接收访问请求,获取所述访问请求对应的请求接收时间,并检测所述访问请求中是否携带有预设请求标识;
在检测到所述访问请求中未携带有所述预设请求标识时,提取所述访问请求中包含的访问参数;
调用预置随机数生成插件生成目标随机数,并根据所述目标随机数、所述请求接收时间以及所述访问参数获取目标请求标识;
根据所述目标请求标识对所述访问请求进行标记,并将标记后的访问请求转发至下一跳节点。
优选地,所述调用预置随机数生成插件生成目标随机数,并根据所述目标随机数、所述请求接收时间以及所述访问参数获取目标请求标识的步骤,包括:
调用预置随机数生成插件生成目标随机数;
对所述请求接收时间进行时间格式转换,获取对应的时间戳;
从所述访问参数中获取所述当前节点对应的节点地址,并对所述目标随机数、所述时间戳以及所述节点地址进行组合,获取目标请求标识。
优选地,所述检测所述访问请求中是否携带有预设请求标识的步骤之后,所述方法还包括:
在检测到所述访问请求中携带有所述预设请求标识时,调用预置随机数生成插件生成目标随机数;
对所述请求接收时间进行时间格式转换,获取对应的当前时间戳;
将所述目标随机数以及所述当前时间戳添加至所述预设请求标识中,获取目标请求标识;
根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点。
优选地,所述根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点的步骤之前,所述方法还包括:
读取所述访问请求中包含的访问参数,对所述访问参数中携带的访问地址进行域名提取,获取对应的目标访问域名;
查询所述目标访问域名对应的互联网协议地址,并根据所述互联网协议地址确定所述当前节点是否为终止节点;
若否,则执行所述根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点的步骤。
优选地,所述根据所述互联网协议地址确定所述当前节点是否为终止节点的步骤之后,所述方法还包括:
若是,则获取所述访问请求对应的日志数据,根据所述目标请求标识对所述日志数据进行标记,并对标记后的日志数据进行保存。
优选地,所述根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点的步骤,包括:
将所述访问请求的请求头中包含的所述预设请求标识替换为所述目标请求标识以获取新的访问请求;
根据所述目标请求标识对所述新的访问请求的日志数据进行标记后保存至本地,并将所述新的访问请求转发至下一跳节点。
优选地,所述方法还包括:
在接收到日志数据查看指令时,提取所述日志数据查看指令中包含的查询请求标识;
根据所述查询请求标识对所述日志数据进行模糊匹配,获取包含有所述查询请求标识的目标日志数据;
读取所述日志数据中包含的时间参数,并根据所述时间参数确定所述查询请求标识对应访问请求的请求响应顺序。
此外,为实现上述目的,本发明还提出一种访问请求标记装置,所述装置包括:
请求接收模块,用于接收访问请求,获取所述访问请求对应的请求接收时间,并检测所述访问请求中是否携带有预设请求标识;
参数提取模块,用于在检测到所述访问请求中未携带有所述预设请求标识时,提取所述访问请求中包含的访问参数;
标识获取模块,用于调用预置随机数生成插件生成目标随机数,并根据所述目标随机数、所述请求接收时间以及所述访问参数获取目标请求标识;
请求转发模块,用于根据所述目标请求标识对所述访问请求进行标记,并将标记后的访问请求转发至下一跳节点。
此外,为实现上述目的,本发明还提出一种访问请求标记设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的访问请求标记程序,所述访问请求标记程序配置为实现如上文所述的访问请求标记方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有访问请求标记程序,所述访问请求标记程序被处理器执行时实现如上文所述的访问请求标记方法的步骤。
本发明当前节点接收访问请求,获取访问请求对应的请求接收时间,并检测访问请求中是否携带有预设请求标识;在检测到访问请求中未携带有预设请求标识时,提取访问请求中包含的访问参数;调用预置随机数生成插件生成目标随机数,并根据目标随机数、请求接收时间以及访问参数获取目标请求标识;根据目标请求标识对访问请求进行标记,并将标记后的访问请求转发至下一跳节点,由于是在检测到访问请求中未携带请求标识时根据随机数生成插件生成的随机数、请求接收时间以及请求中携带的访问参数来生成请求标识,并通过该请求标识对请求进行标记,从而能够在保证请求标识唯一性的同时,实现对访问请求的整个生命周期的全面监控,也为请求响应结束后日志数据的聚合分析提供了行之有效的实现途径。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的访问请求标记设备的结构示意图;
图2为本发明访问请求标记方法第一实施例的流程示意图;
图3为本发明访问请求标记方法第二实施例的流程示意图;
图4为本发明访问请求标记方法第三实施例的流程示意图;
图5为本发明访问请求标记装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的访问请求标记设备结构示意图。
如图1所示,该访问请求标记设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对访问请求标记设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及访问请求标记程序。
在图1所示的访问请求标记设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明访问请求标记设备中的处理器1001、存储器1005可以设置在访问请求标记设备中,所述访问请求标记设备通过处理器1001调用存储器1005中存储的访问请求标记程序,并执行本发明实施例提供的访问请求标记方法。
本发明实施例提供了一种访问请求标记方法,参照图2,图2为本发明访问请求标记方法第一实施例的流程示意图。
本实施例中,所述访问请求标记方法包括以下步骤:
步骤S10:当前节点接收访问请求,获取所述访问请求对应的请求接收时间,并检测所述访问请求中是否携带有预设请求标识;
需要说明的是,本发明方法的执行主体可以是nginx服务器,nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件代理服务器,本方案中将当前时刻接收到所述访问请求的nginx服务器定义为所述当前节点。
应理解的是,所述预设请求标识可以是所有接收到所述访问请求的nginx服务器根据预设规则生成的、用于对同一访问请求进行标记的标识符或标识码,且该预设请求标识是根据节点动态变化的,例如最初接收到所述访问请求的nginx服务器(初始节点)按所述预设规则生成该访问请求特有的、唯一的初始请求标识,然后将该初始请求标识添加至所述访问请求的请求头中转发至对应的下一跳节点,当下一跳节点接收到所述初始节点转发的访问请求时,也将按照所述预设规则在所述初始请求标识的基础上,再次进行标识更新,然后用更新后的请求标识替换所述初始请求标识后,对访问请求进行下发。
在具体实现中,当前节点在接收到访问请求时,先记录所述访问请求对应的请求接收时间,然后检测该访问请求的请求头中是否携带有预设请求标识,若否则可判定自身为最初接收到所述访问请求的初始节点,并将按照预设规则为该访问请求生成对应的请求标识。
步骤S20:在检测到所述访问请求中未携带有所述预设请求标识时,提取所述访问请求中包含的访问参数;
需要说明的是,所述访问参数可以是访问请求中携带的统一资源定位符(UniformResource Locator,URL)和/或请求头中的x-forwarded-for对应的参数。
在具体实现中,当前节点在检测到所述访问请求中未携带预设请求标识时,提取访问请求中包含的URL和/或x-forwarded-for等访问参数。
步骤S30:调用预置随机数生成插件生成目标随机数,并根据所述目标随机数、所述请求接收时间以及所述访问参数获取目标请求标识;
应理解的是,所述随机数生成插件可以是能够生成基于一个给定的范围内的随机数的计算机程序;本实施例中当前节点可调用该随机数生成插件来生成一串随机数。
在具体实现中,当前节点可根据随机数生成插件生成的目标随机数、接收到访问请求的请求接收时间以及从访问请求中提取到的访问参数生成该访问请求唯一的请求标识,即所述目标请求标识。
具体的,为保证所述目标请求标识的唯一性,本实施例中当前节点在获取所述目标请求标识时,可先调用预置随机数生成插件生成目标随机数;对所述请求接收时间进行时间格式转换,获取对应的时间戳;从所述访问参数中获取所述当前节点对应的节点地址,并对所述目标随机数、所述时间戳以及所述节点地址进行组合,获取目标请求标识。
需要说明的是,所述节点地址可以是所述当前节点对应的互联网协议(InternetProtocol,IP)地址;也可以是所述当前节点所在硬件设备对应的MAC(Media AccessControl)地址;还可以是当前节点所在硬件设备的地理位置(如北京、上海、深圳等),当然若所述节点地址为地理位置时,其对应的表现形式可以是地理位置对应的英文缩写或中文拼音。本实施例中,所述节点地址优选为IP地址。
在具体实现中,若当前节点调用预置随机数生成插件生成目标随机数为235;记录到请求接收时间为2018-09-19 15:33:19,转换为Unix时间戳则为1537342399;获取到的IP地址为58.19.23.209,即可按照“时间戳+IP+随机数”的请求标识生成规则来生成所述目标请求标识“2355819232091537342399”。
步骤S40:根据所述目标请求标识对所述访问请求进行标记,并将标记后的访问请求转发至下一跳节点。
应理解的是,考虑到实际情况中,同一个访问请求可能先后需要访问多个第三方服务,为了便于对访问请求的整个请求生命周期进行追踪监控,本实施例中,当前节点在根据目标随机数、请求接收时间以及访问参数生成所述目标请求标识后,即可根据所述目标请求标识对访问请求进行标记,以使访问请求中携带该特定的目标请求标识,以便于后续根据该目标请求标识将所有节点中该访问请求对应的全部日志文件聚合起来,或是将访问请求的请求链条(即访问请求对不同第三方服务的请求调用顺序)串联起来,从而为请求响应结束后的日志数据分析提供行之有效的实现途径。
在具体实现中,当前节点通过获取到的目标请求标识对访问请求进行标记,然后根据访问请求中的URL参数确定该访问请求的下一跳节点,再将标记后的访问请求转发至下一跳节点。
本实施例当前节点接收访问请求,获取访问请求对应的请求接收时间,并检测访问请求中是否携带有预设请求标识;在检测到访问请求中未携带有预设请求标识时,提取访问请求中包含的访问参数;调用预置随机数生成插件生成目标随机数,并根据目标随机数、请求接收时间以及访问参数获取目标请求标识;根据目标请求标识对访问请求进行标记,并将标记后的访问请求转发至下一跳节点,由于是在检测到访问请求中未携带请求标识时根据随机数生成插件生成的随机数、请求接收时间以及请求中携带的访问参数来生成请求标识,并通过该请求标识对请求进行标记,从而能够在保证请求标识唯一性的同时,实现对访问请求的整个生命周期的全面监控,也为请求响应结束后的日志数据分析提供了行之有效的实现途径。
参考图3,图3为本发明访问请求标记方法第二实施例的流程示意图。
基于上述第一实施例,在本实施例中,所述步骤S20之后,所述方法还包括:
步骤S20':在检测到所述访问请求中携带有所述预设请求标识时,调用预置随机数生成插件生成目标随机数;
应理解的是,若当前节点在检测到访问请求中携带有预设请求标识时,则表明当前节点并非是最初接收到所述访问请求的初始节点,而是所述访问请求整个请求生命周期中的中间节点或终止节点。此时所述当前节点也将调用预先设置的随机数生成插件生成对应的目标随机数,以便后续根据该目标随机数对所述预设请求标识进行更新。
步骤S30':对所述请求接收时间进行时间格式转换,获取对应的当前时间戳;
应理解的是,一般情况下,nginx服务器中通常会采用24小时制或12小时制,为了对时间日期对象进行统一,本实施例中当前节点将对获取到的请求接收时间进行时间格式转换,将其转换为对应的时间戳,本实施例中所述时间戳优选为unix时间戳。
步骤S40':将所述目标随机数以及所述当前时间戳添加至所述预设请求标识中,获取目标请求标识;
可理解的是,实际情况中,访问请求可能会访问多个第三方服务,例如访问请求需要依次访问服务1、服务2……服务4,倘若只有初始节点对访问请求进行标记,而其它服务对应的nginx服务器(节点)不对访问请求进一步标记,那么在后续日志文件的查找过程中固然可以根据请求中携带的预设请求标识收集到相关的所有日志文件,但缺陷在于无法快速实现对单个日志文件的快速定位,又或是难以对不同服务产生的日志文件进行快速区分,以及无法获知所有日志文件的生成顺序,进而不利于问题排查。因此,本实施例中,每一个中间节点或终止节点在检测到访问请求中携带有预设请求标识时,都将对所述预设请求标识进行更新以获取所述目标请求标识。
具体的,本实施例中对所述预设请求标识进行更新的方式可以是:当前节点在接收到访问请求后,先记录对应的请求接收时间,然后对请求接收时间进行时间格式转换获取当前时间戳,调用预置随机数生成插件生成目标随机数,再将所述当前时间戳和所述目标随机数进行组合得到组合参数,最后再按照“预设请求标识+组合参数”的规则对访问请求中携带的预设请求标识进行更新以获取所述目标请求标识。其中所述预设请求标识与组合参数之间、组合参数与组合参数之间通过“_”隔开,例如更新后的目标请求标识为“预设请求标识_组合参数1_组合参数2=5846399715170641_861751263_861751289”,其中“861751263”、“861751289”即为所述组合参数。
此外,本实施例中,所述组合参数前6位参数为请求接收时间对应的时间戳,后3位参数为随机数生成插件当前生成的目标随机数,即所述组合参数的生成规则为“时间戳+随机数”。
步骤S50':根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点。
在具体实现中,当前节点在获取到所述目标请求标识后,再根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点。
进一步地,为了能够实现对访问请求整个请求生命周期中所有日志文件的聚合,本实施例当前节点在将访问请求的请求头中包含的预设请求标识替换为目标请求标识获取新的访问请求后,还将根据目标请求标识对新的访问请求的日志数据进行标记后保存至本地,同时将新的访问请求转发至下一跳节点。
本实施例当前节点在检测到访问请求中携带有预设请求标识时,调用预置随机数生成插件生成目标随机数;对请求接收时间进行时间格式转换,获取对应的当前时间戳;将目标随机数以及当前时间戳添加至预设请求标识中,获取目标请求标识;根据目标请求标识对访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点,本实施例通过在访问请求携带的预设请求标识的基础上,通过将新生成的时间戳和随机数添加至预设请求标识中获取新的请求标识,然后通过新的请求标识进行标识替换,能够保证每个接收到访问请求的节点都拥有自身特定的请求标识,保证了请求标记的稳定性,也便于后续通过该特定的请求标识对同一个访问请求的所有日志数据进行区分,简化了请求响应故障的排查流程。
参考图4,图4为本发明访问请求标记方法第三实施例的流程示意图。
基于上述各实施例,在本实施例中,所述步骤S50'之前,所述方法还包括:
步骤S401':读取所述访问请求中包含的访问参数,对所述访问参数中携带的访问地址进行域名提取,获取对应的目标访问域名;
应理解的是,实际应用中,并非所有的访问请求都需要访问多个第三方服务,因此当前节点在接收到访问请求后需要根据请求中携带的访问参数确定自身是否为该访问请求的终止节点从而决定是否对访问请求继续进行转发。具体的,当前节点可根据访问参数中携带的URL地址(例如“https://ww w.wikipedia.org/”),提取目标访问域名www.wikipedia.org,然后根据该目标访问域名确定自身是否为访问请求对应的终止节点。
步骤S402':查询所述目标访问域名对应的互联网协议地址,并根据所述互联网协议地址确定所述当前节点是否为终止节点;
在具体实现中,当前节点可通过网域名称系统(Domain Name System,DNS)查询所述目标访问域名对应的互联网协议地址(IP地址),例如经查询后获知目标访问域名www.wikipedia.org对应的IP地址为208.80.152.2,若此时当前节点查询到自身的IP地址为58.19.23.209,则将两个IP地址进行比对后即可判定出自身并非是访问请求对应的终止节点。
步骤S403':若否,则执行所述根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点的步骤;
在具体实现中,若当前节点检测到自身并非是所述访问请求对应的终止节点时,就需要将访问请求的请求头中包含的预设请求标识替换为目标请求标识以获取新的访问请求;然后根据目标请求标识对新的访问请求的日志数据进行标记后保存至本地,并将新的访问请求转发至下一跳节点。
步骤S404':若是,则获取所述访问请求对应的日志数据,根据所述目标请求标识对所述日志数据进行标记,并对标记后的日志数据进行保存。
在具体实现中,若当前节点检测到自身是所述访问请求对应的终止节点时,在对所述访问请求进行响应的同时,还将获取所述访问请求对应的日志数据,然后根据所述目标请求标识对所述日志数据进行标记,并对标记后的日志数据进行保存,以便后续进行日志数据的查询。
进一步地,本实施例提供的访问请求标记方法,还包括以下步骤:
步骤:在接收到日志数据查看指令时,提取所述日志数据查看指令中包含的查询请求标识;
可理解的是,实际应用中可能存在用户需要查看访问请求对应的日志数据的情形,此时用户可以通过nginx服务器提供的人机交互界面或对应的客户端输入需要查询的访问请求对应的查询请求标识,所述查询请求标识优选为初始节点生成的预设请求标识。
步骤:根据所述查询请求标识对所述日志数据进行模糊匹配,获取包含有所述查询请求标识的目标日志数据;
应理解的是,所述模糊匹配(模糊搜索),即允许被搜索的信息和搜索字符之间存在一定的差异,这种差异就是“模糊”在搜索中的含义。例如,所述查询请求标识为“12345”,则根据所述查询请求标识对所有节点中存放的日志数据进行模糊匹配后,即可查找到所有包含该查询请求标识的目标日志数据。通过对查询请求标识为“12345”进行模糊匹配,即可查找出标记有“12345_1”、“12345_1_2”或12345_1_2_3”等请求标识的目标日志数据。
步骤:读取所述日志数据中包含的时间参数,并根据所述时间参数确定所述查询请求标识对应访问请求的请求响应顺序。
应理解的是,日志数据一般存放于日志文件中,日志文件是记录在操作系统或其他软件运行中发生的事件或在通信软件的不同用户之间的消息的文件。通常系统在将日志数据在保存至日志文件中时,也会记录日志数据对应的生成时间(即所述时间参数),因此当用户需要查询访问请求整个生命周期中的请求被第三方服务响应的响应顺序时,当前节点可读取所述日志数据中包含的时间参数,并根据所述时间参数对应的时间顺序来确定访问请求的请求响应顺序。
本实施例中每一个接收到访问请求的当前节点都将根据访问请求中携带的访问参数确定自身是否为访问请求的终止节点,若是则获取访问请求对应的日志数据,根据目标请求标识对日志数据进行标记,并对标记后的日志数据进行保存;若否,则执行根据目标请求标识对访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点,既保证了访问请求的顺利响应,也保证了请求标记的稳定性。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有访问请求标记程序,所述访问请求标记程序被处理器执行时实现如上文所述的访问请求标记方法的步骤。
参照图5,图5为本发明访问请求标记装置第一实施例的结构框图。
如图5所示,本发明实施例提出的访问请求标记装置包括:
请求接收模块501,用于接收访问请求,获取所述访问请求对应的请求接收时间,并检测所述访问请求中是否携带有预设请求标识;
参数提取模块502,用于在检测到所述访问请求中未携带有所述预设请求标识时,提取所述访问请求中包含的访问参数;
标识获取模块503,用于调用预置随机数生成插件生成目标随机数,并根据所述目标随机数、所述请求接收时间以及所述访问参数获取目标请求标识;
请求转发模块504,用于根据所述目标请求标识对所述访问请求进行标记,并将标记后的访问请求转发至下一跳节点。
本实施例访问请求标记装置通过接收访问请求,获取访问请求对应的请求接收时间,并检测访问请求中是否携带有预设请求标识;在检测到访问请求中未携带有预设请求标识时,提取访问请求中包含的访问参数;调用预置随机数生成插件生成目标随机数,并根据目标随机数、请求接收时间以及访问参数获取目标请求标识;根据目标请求标识对访问请求进行标记,并将标记后的访问请求转发至下一跳节点,由于是在检测到访问请求中未携带请求标识时根据随机数生成插件生成的随机数、请求接收时间以及请求中携带的访问参数来生成请求标识,并通过该请求标识对请求进行标记,从而能够在保证请求标识唯一性的同时,实现对访问请求的整个生命周期的全面监控,也为请求响应结束后的日志数据分析提供了行之有效的实现途径。
基于本发明上述访问请求标记装置第一实施例,提出本发明访问请求标记装置的第二实施例。
在本实施例中,所述标识获取模块503,还用于调用预置随机数生成插件生成目标随机数;对所述请求接收时间进行时间格式转换,获取对应的时间戳;从所述访问参数中获取所述当前节点对应的节点地址,并对所述目标随机数、所述时间戳以及所述节点地址进行组合,获取目标请求标识。
进一步地,所述访问请求标记装置还包括标识替换模块,所述标识替换模块,用于在检测到所述访问请求中携带有所述预设请求标识时,调用预置随机数生成插件生成目标随机数;对所述请求接收时间进行时间格式转换,获取对应的当前时间戳;将所述目标随机数以及所述当前时间戳添加至所述预设请求标识中,获取目标请求标识;根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点。
进一步地,所述标识替换模块,还用于读取所述访问请求中包含的访问参数,对所述访问参数中携带的访问地址进行域名提取,获取对应的目标访问域名;查询所述目标访问域名对应的互联网协议地址,并根据所述互联网协议地址确定所述当前节点是否为终止节点;若否,则根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点。
进一步地,所述标识替换模块,还用于查询所述目标访问域名对应的互联网协议地址,并根据所述互联网协议地址确定自身是否为终止节点;若是,则获取所述访问请求对应的日志数据,根据所述目标请求标识对所述日志数据进行标记,并对标记后的日志数据进行保存。
进一步地,所述标识替换模块,还用于将所述访问请求的请求头中包含的所述预设请求标识替换为所述目标请求标识以获取新的访问请求;根据所述目标请求标识对所述新的访问请求的日志数据进行标记后保存至本地,并将所述新的访问请求转发至下一跳节点。
进一步地,所述访问请求标记装置还包括日志查看模块,所述日志查看模块,用于在接收到日志数据查看指令时,提取所述日志数据查看指令中包含的查询请求标识;根据所述查询请求标识对所述日志数据进行模糊匹配,获取包含有所述查询请求标识的目标日志数据;读取所述日志数据中包含的时间参数,并根据所述时间参数确定所述查询请求标识对应访问请求的请求响应顺序。
本发明访问请求标记装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种访问请求标记方法,其特征在于,所述方法包括:
当前节点接收访问请求,获取所述访问请求对应的请求接收时间,并检测所述访问请求中是否携带有预设请求标识;
在检测到所述访问请求中未携带有所述预设请求标识时,提取所述访问请求中包含的访问参数;
调用预置随机数生成插件生成目标随机数,并根据所述目标随机数、所述请求接收时间以及所述访问参数获取目标请求标识;
根据所述目标请求标识对所述访问请求进行标记,并将标记后的访问请求转发至下一跳节点。
2.如权利要求1所述的方法,其特征在于,所述调用预置随机数生成插件生成目标随机数,并根据所述目标随机数、所述请求接收时间以及所述访问参数获取目标请求标识的步骤,包括:
调用预置随机数生成插件生成目标随机数;
对所述请求接收时间进行时间格式转换,获取对应的时间戳;
从所述访问参数中获取所述当前节点对应的节点地址,并对所述目标随机数、所述时间戳以及所述节点地址进行组合,获取目标请求标识。
3.如权利要求1所述的方法,其特征在于,所述检测所述访问请求中是否携带有预设请求标识的步骤之后,所述方法还包括:
在检测到所述访问请求中携带有所述预设请求标识时,调用预置随机数生成插件生成目标随机数;
对所述请求接收时间进行时间格式转换,获取对应的当前时间戳;
将所述目标随机数以及所述当前时间戳添加至所述预设请求标识中,获取目标请求标识;
根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点。
4.如权利要求3所述的方法,其特征在于,所述根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点的步骤之前,所述方法还包括:
读取所述访问请求中包含的访问参数,对所述访问参数中携带的访问地址进行域名提取,获取对应的目标访问域名;
查询所述目标访问域名对应的互联网协议地址,并根据所述互联网协议地址确定所述当前节点是否为终止节点;
若否,则执行所述根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点的步骤。
5.如权利要求4所述的方法,其特征在于,所述根据所述互联网协议地址确定所述当前节点是否为终止节点的步骤之后,所述方法还包括:
若是,则获取所述访问请求对应的日志数据,根据所述目标请求标识对所述日志数据进行标记,并对标记后的日志数据进行保存。
6.如权利要求4所述的方法,其特征在于,所述根据所述目标请求标识对所述访问请求进行请求标识替换,并将标识替换后的访问请求转发至下一跳节点的步骤,包括:
将所述访问请求的请求头中包含的所述预设请求标识替换为所述目标请求标识以获取新的访问请求;
根据所述目标请求标识对所述新的访问请求的日志数据进行标记后保存至本地,并将所述新的访问请求转发至下一跳节点。
7.如权利要求5或6所述的方法,其特征在于,所述方法还包括:
在接收到日志数据查看指令时,提取所述日志数据查看指令中包含的查询请求标识;
根据所述查询请求标识对所述日志数据进行模糊匹配,获取包含有所述查询请求标识的目标日志数据;
读取所述日志数据中包含的时间参数,并根据所述时间参数确定所述查询请求标识对应访问请求的请求响应顺序。
8.一种访问请求标记装置,其特征在于,所述装置包括:
请求接收模块,用于接收访问请求,获取所述访问请求对应的请求接收时间,并检测所述访问请求中是否携带有预设请求标识;
参数提取模块,用于在检测到所述访问请求中未携带有所述预设请求标识时,提取所述访问请求中包含的访问参数;
标识获取模块,用于调用预置随机数生成插件生成目标随机数,并根据所述目标随机数、所述请求接收时间以及所述访问参数获取目标请求标识;
请求转发模块,用于根据所述目标请求标识对所述访问请求进行标记,并将标记后的访问请求转发至下一跳节点。
9.一种访问请求标记设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的访问请求标记程序,所述访问请求标记程序配置为实现如权利要求1至7中任一项所述的访问请求标记方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有访问请求标记程序,所述访问请求标记程序被处理器执行时实现如权利要求1至7任一项所述的访问请求标记方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811531481.3A CN109474698A (zh) | 2018-12-14 | 2018-12-14 | 访问请求标记方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811531481.3A CN109474698A (zh) | 2018-12-14 | 2018-12-14 | 访问请求标记方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109474698A true CN109474698A (zh) | 2019-03-15 |
Family
ID=65675141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811531481.3A Pending CN109474698A (zh) | 2018-12-14 | 2018-12-14 | 访问请求标记方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109474698A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110083391A (zh) * | 2019-03-16 | 2019-08-02 | 平安科技(深圳)有限公司 | 调用请求监控方法、装置、设备及存储介质 |
CN110474809A (zh) * | 2019-08-20 | 2019-11-19 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN111199423A (zh) * | 2019-12-25 | 2020-05-26 | 平安证券股份有限公司 | 用户行为轨迹生成方法、装置、设备及存储介质 |
CN113810457A (zh) * | 2021-04-06 | 2021-12-17 | 北京京东拓先科技有限公司 | 业务访问异常上报方法、装置及可读存储介质和电子设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297469A (zh) * | 2012-02-25 | 2013-09-11 | 阿里巴巴集团控股有限公司 | 一种网站数据的采集方法及装置 |
CN103684898A (zh) * | 2012-09-14 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 一种监测用户请求在分布式系统中运行的方法及装置 |
EP2723026A1 (en) * | 2012-10-22 | 2014-04-23 | Telefonaktiebolaget L M Ericsson (Publ) | Method and system of frame based identifier locator network protocol (ILNP) load balancing and routing |
CN103902537A (zh) * | 2012-12-25 | 2014-07-02 | 重庆新媒农信科技有限公司 | 多业务的日志数据存储处理和查询系统及其方法 |
CN104902432A (zh) * | 2015-06-04 | 2015-09-09 | 北京京东尚科信息技术有限公司 | 生成移动终端应用操作日志的方法和设备 |
CN105808414A (zh) * | 2016-03-08 | 2016-07-27 | 联想(北京)有限公司 | 一种日志处理方法及日志处理电子设备 |
CN106331055A (zh) * | 2016-08-09 | 2017-01-11 | 努比亚技术有限公司 | 标识符生成装置及方法 |
CN106603296A (zh) * | 2016-12-20 | 2017-04-26 | 北京奇虎科技有限公司 | 日志的处理方法及装置 |
CN107229555A (zh) * | 2017-05-04 | 2017-10-03 | 北京小度信息科技有限公司 | 标识生成方法和装置 |
CN108459939A (zh) * | 2018-01-08 | 2018-08-28 | 平安科技(深圳)有限公司 | 一种日志收集方法、装置、终端设备及存储介质 |
-
2018
- 2018-12-14 CN CN201811531481.3A patent/CN109474698A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297469A (zh) * | 2012-02-25 | 2013-09-11 | 阿里巴巴集团控股有限公司 | 一种网站数据的采集方法及装置 |
CN103684898A (zh) * | 2012-09-14 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 一种监测用户请求在分布式系统中运行的方法及装置 |
EP2723026A1 (en) * | 2012-10-22 | 2014-04-23 | Telefonaktiebolaget L M Ericsson (Publ) | Method and system of frame based identifier locator network protocol (ILNP) load balancing and routing |
CN103902537A (zh) * | 2012-12-25 | 2014-07-02 | 重庆新媒农信科技有限公司 | 多业务的日志数据存储处理和查询系统及其方法 |
CN104902432A (zh) * | 2015-06-04 | 2015-09-09 | 北京京东尚科信息技术有限公司 | 生成移动终端应用操作日志的方法和设备 |
CN105808414A (zh) * | 2016-03-08 | 2016-07-27 | 联想(北京)有限公司 | 一种日志处理方法及日志处理电子设备 |
CN106331055A (zh) * | 2016-08-09 | 2017-01-11 | 努比亚技术有限公司 | 标识符生成装置及方法 |
CN106603296A (zh) * | 2016-12-20 | 2017-04-26 | 北京奇虎科技有限公司 | 日志的处理方法及装置 |
CN107229555A (zh) * | 2017-05-04 | 2017-10-03 | 北京小度信息科技有限公司 | 标识生成方法和装置 |
CN108459939A (zh) * | 2018-01-08 | 2018-08-28 | 平安科技(深圳)有限公司 | 一种日志收集方法、装置、终端设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
张川等: "具有访问时间完整性的Web日志方法", 《计算机应用与软件》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110083391A (zh) * | 2019-03-16 | 2019-08-02 | 平安科技(深圳)有限公司 | 调用请求监控方法、装置、设备及存储介质 |
CN110474809A (zh) * | 2019-08-20 | 2019-11-19 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN111199423A (zh) * | 2019-12-25 | 2020-05-26 | 平安证券股份有限公司 | 用户行为轨迹生成方法、装置、设备及存储介质 |
CN113810457A (zh) * | 2021-04-06 | 2021-12-17 | 北京京东拓先科技有限公司 | 业务访问异常上报方法、装置及可读存储介质和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109474698A (zh) | 访问请求标记方法、装置、设备及存储介质 | |
CN107181675B (zh) | 服务调用方法及装置 | |
CN108965381A (zh) | 基于Nginx的负载均衡实现方法、装置、计算机设备和介质 | |
CN107169094B (zh) | 信息聚合方法及装置 | |
BR112016009199B1 (pt) | Método de rastreamento e gestão de chamadas de voz e submissões de formulários relacionados com acesso a conteúdos baseados em rede | |
CN109151090B (zh) | 基于互联网基础资源的ip地址关联分析方法和分析系统 | |
CN107528751B (zh) | 一种动态分发Zabbix监控数据的系统及其管理方法 | |
CN112543473B (zh) | 基于网元仿真的测试方法、装置、设备及计算机存储介质 | |
CN111064780B (zh) | 一种多任务内容更新方法、装置、设备及介质 | |
CN112291365B (zh) | 访问均衡处理方法、装置、计算机设备及存储介质 | |
CN103581881B (zh) | 综合取号装置和网络侧获取用户手机号码的系统和方法 | |
CN112804370A (zh) | 诈骗网站的分析方法及系统 | |
CN108737586B (zh) | 一种域名查询服务的灾备切换方法和装置 | |
CN110674427A (zh) | 响应网页访问请求的方法、装置、设备及存储介质 | |
CN112491609B (zh) | 基于业务服务的系统应用架构发现方法及系统 | |
CN109816453A (zh) | 一种推广资源链接的检测方法及装置 | |
RU2008121872A (ru) | Ближайший узел для соединений распределенных служб | |
CN104092751A (zh) | 一种业务访问方法和设备 | |
CN107483294B (zh) | 监控网络请求的方法及装置 | |
CN108923963B (zh) | 一种利用Looking Glass测量点实现自动化拓扑测量的方法 | |
CN113660359B (zh) | 域名解析记录的管理方法及装置、存储介质及电子设备 | |
CN115333966B (zh) | 一种基于拓扑的Nginx日志分析方法、系统及设备 | |
CN106453123A (zh) | 一种跨地区业务处理的方法和装置 | |
CN107888714B (zh) | 一种选择本地缓存dns的方法及装置 | |
CN114745146B (zh) | 跳转拦截方法、装置、可读存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190315 |