CN111814145B - 基于日志采集的请求校验方法、装置及计算机设备 - Google Patents

Abstract

本申请涉及一种基于日志采集的请求校验方法、装置、计算机设备及存储介质，其中该方法包括：为每个服务的接口定义不同的TAG值；当某一服务的接口接收到请求后，生成对应的会话ID；通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链，并将所述请求对应的会话ID及请求顺序链保存到请求链日志中；当后续有请求进行访问时，根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链；若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失，则认定请求为非法请求。本发明利用通用日志监控可以实现对系统请求进行有规则校验，从而快速定位出非法请求。

Description

基于日志采集的请求校验方法、装置及计算机设备

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于日志采集的请求校验方法、装置、计算机设备及存储介质。

背景技术

系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。

在传统技术中，现有的日志检查只支持单文件存储，需要人工根据时间进行查询，并且在现有日志检查中无法实现对数据上下游关联数据准确判断。此外，现有的日志检查缺乏统一的检查更新，数据容易存在错误，进而影响了对请求校验的准确性。

发明内容

基于此，有必要针对上述技术问题，提供一种可以实现对请求顺序进行校验的基于日志采集的请求校验方法、装置、计算机设备及存储介质。

一种基于日志采集的请求校验方法，所述方法包括：

为每个服务的接口定义不同的TAG值；

当某一服务的接口接收到请求后，生成对应的会话ID；

通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链，并将所述请求对应的会话ID及请求顺序链保存到请求链日志中；

当后续有请求进行访问时，根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链；

若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失，则认定所述请求为非法请求。

在其中一个实施例中，所述当某一服务的接口接收到请求后，生成对应的会话ID的步骤还包括：

在每个服务的接口入口处埋点日志；

当某一服务的接口被请求触发时记录对应的日志信息，所述日志信息包括对应的会话ID、请求地址、业务自带参数及时间戳格式。

在其中一个实施例中，在所述当某一服务的接口被请求触发时记录对应的日志信息的步骤之后还包括：

每个服务会将每个请求上报日志到数据仓库中；

将所述请求依次经过的服务接口对应的TAG值按时间顺序记录下来，连同对应的会话ID进行存储。

在其中一个实施例中，在所述根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链的步骤之后还包括：

将所述请求的访问顺序与查询到的请求顺序链中记录的顺序进行比对；

若顺序不匹配，则判定所述请求为非法请求并同时拦截所述请求；

若顺序完全一致，则判定所述请求为合法请求进行执行相应的程序。

一种基于日志采集的请求校验装置，所述装置包括：

接口定义模块，所述接口定义模块用于为每个服务的接口定义不同的TAG值；

会话ID生成模块，所述会话ID生成模块用于当某一服务的接口接收到请求后，生成对应的会话ID；

日志记录模块，所述日志记录模块用于通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链，并将所述请求对应的会话ID及请求顺序链保存到请求链日志中；

查询模块，所述查询模块用于当后续有请求进行访问时，根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链；

请求判定模块，所述请求判定模块用于若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失，则认定所述请求为非法请求。

在其中一个实施例中，所述装置还包括埋点日志模块，所述埋点日志模块用于：

在每个服务的接口入口处埋点日志；

当某一服务的接口被请求触发时记录对应的日志信息，所述日志信息包括对应的会话ID、请求地址、业务自带参数及时间戳格式。

在其中一个实施例中，所述日志记录模块还用于：

每个服务会将每个请求上报日志到数据仓库中；

将所述请求依次经过的服务接口对应的TAG值按时间顺序记录下来，连同对应的会话ID进行存储。

在其中一个实施例中，所述装置还包括比对模块，所述比对模块用于：

将所述请求的访问顺序与查询到的请求顺序链中记录的顺序进行比对；

若顺序不匹配，则判定所述请求为非法请求并同时拦截所述请求；

若顺序完全一致，则判定所述请求为合法请求进行执行相应的程序。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。

上述基于日志采集的请求校验方法、装置、计算机设备及存储介质通过为每个服务的接口定义不同的TAG值；当某一服务的接口接收到请求后，生成对应的会话ID；通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链，并将所述请求对应的会话ID及请求顺序链保存到请求链日志中；当后续有请求进行访问时，根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链；若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失，则认定请求为非法请求。本发明利用通用日志监控可以实现对系统请求进行有规则校验，从而快速定位出非法请求。在系统中关键业务接口入口处埋点日志并打印出来的日志信息，通过flume组件进行采集，由于每个入口定义了特定的TAG值，因此可以对请求的请求顺序链进行校验，如果请求顺序链出现顺序错乱或者顺序跳跃，则可以判定为非法请求，进而有效地实现了对请求的安全监控。

附图说明

图1为本发明中基于日志采集的请求校验方法的应用环境图；

图2为一个实施例中基于日志采集的请求校验方法的流程示意图；

图3为另一个实施例中基于日志采集的请求校验方法的流程示意图；

图4为再一个实施例中基于日志采集的请求校验方法的流程示意图；

图5为一个实施例中基于日志采集的请求校验装置的结构框图；

图6为另一个实施例中基于日志采集的请求校验装置的结构框图；

图7为再一个实施例中基于日志采集的请求校验装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

目前，现有的日志检查只支持单文件存储，需要人工根据时间进行查询，并且在现有日志检查中无法实现对数据上下游关联数据准确判断。此外，现有的日志检查缺乏统一的检查更新，数据容易存在错误，进而影响了对请求校验的准确性。

基于此，本发明提供一种基于日志采集的请求校验方法，旨在能够实现对请求顺序进行校验。该方法可以应用于如图1所示的应用环境图，在该应用环境中，当浏览器发送请求被A读物A接口触发后，生成唯一关键的会话ID即tranceID，例如该tranceID＝A001，那么接下来该请求访问的每一个接口都会记录该对应的tranceID直至请求完成，通过flume组件进行采集，由于每个入口定义了特定的TAG值，通过对应tranceID可以记录请求的完整访问路径。例如：一个完整业务接口顺序是通过TAG A>TAG B>TAG C，因为存储了所有入口埋点日志，当一个请求到C接口时，通过判断是否有在之前特定的时间请求过TAG A及TAGB，如果有可代表此请求为合理请求，如果没有或者出现顺序错乱可以判断是否有非法的跳跃请求，从而有效进行安全监控和控制。

在一个实施例中，如图2所示，提供了一种基于日志采集的请求校验方法，该方法包括：

步骤202，为每个服务的接口定义不同的TAG值；

步骤204，当某一服务的接口接收到请求后，生成对应的会话ID；

步骤206，通过flume数据采集组件记录请求经过各个服务中接口的请求顺序链，并将请求对应的会话ID及请求顺序链保存到请求链日志中；

步骤208，当后续有请求进行访问时，根据请求对应的会话ID在请求链日志中查询对应的请求顺序链；

步骤210，若请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失，则认定请求为非法请求。

在本实施例中，提供了基于日志采集的请求校验方法，该方法可以应用于如图1所示的应用环境中，用于通用日志监控，实现对系统请求进行有规则校验，从而分析快速定位出非法请求，该方法的具体实现过程包括：

首先，为每个服务的接口定义不同的TAG值，例如为A服务A接口定义TAG值为AA等，可以理解的是该TAG值应该是唯一且与其他服务接口均不相同的自定义值。

然后，当某一服务的接口接收到请求后，生成对应的会话ID，例如当A服务A接口被触发时，生成关键且唯一的tranceID＝A001，同理，当A服务B接口被触发时，生成关键且唯一的tranceID＝A002，依次类推。

在一个实施例中，当某一服务的接口接收到请求后，生成对应的会话ID的步骤还包括：在每个服务的接口入口处埋点日志；当某一服务的接口被请求触发时记录对应的日志信息，日志信息包括对应的会话ID、请求地址、业务自带参数及时间戳格式。

具体的日志格式为：{tranceID:"会话ID"，url:"请求地址"，parameter:"业务自带参数"，time:"时间戳格式"}，每个服务会对每个请求上报日志到数据仓库中，例如图1所示，第一个请求经过A服务A接口，再到B服务A接口，再到C服务A接口，他们会携带重要的会话ID，再最后底层服务处有检验装置，会通过tranceID到请求链日志中查询，会得到AA>BA>CA结构的日志。通过flume数据采集组件记录请求经过各个服务中接口的请求顺序链，并将请求对应的会话ID及请求顺序链保存到请求链日志中。

那么后续当某一服务的接口被触发时，根据该接口生成的对应的会话ID可以到请求链日志中查询对应的请求顺序链，通过查询到的请求顺序链可以实现对请求的合法性进行验证。例如：若查询到的请求顺序链为AA>BA>CA，而实际该请求的顺序为AA>CA无BA流程的问题或者该请求直接请求了CA没有AA及BA的流程节点的记录，则可以认定该请求为非法请求并对该非法请求进行拦截。

在上述实施例中，通过为每个服务的接口定义不同的TAG值；当某一服务的接口接收到请求后，生成对应的会话ID；通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链，并将所述请求对应的会话ID及请求顺序链保存到请求链日志中；当后续有请求进行访问时，根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链；若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失，则认定请求为非法请求。上述方案利用通用日志监控可以实现对系统请求进行有规则校验，从而快速定位出非法请求。在系统中关键业务接口入口处埋点日志并打印出来的日志信息，通过flume组件进行采集，由于每个入口定义了特定的TAG值，因此可以对请求的请求顺序链进行校验，如果请求顺序链出现顺序错乱或者顺序跳跃，则可以判定为非法请求，进而有效地实现了对请求的安全监控。

在一个实施例中，如图3所示，提供了一种基于日志采集的请求校验方法，该方法在当某一服务的接口被请求触发时记录对应的日志信息的步骤之后还包括：

步骤302，每个服务会将每个请求上报日志到数据仓库中；

步骤304，将请求依次经过的服务接口对应的TAG值按时间顺序记录下来，连同对应的会话ID进行存储。

在本实施例中，提供了一种日志采集的请求校验方法，在该方法中每个服务会将每个请求上报日志到数据仓库中，日志数据仓库可以提供接口用于查询。

具体地，如图1所示，每个服务会对每个请求上报日志到数据仓库中，假设如图第一个请求经过A服务A接口，再到B服务A接口，再到C服务A接口，他们会携带重要的会话ID(即tranceID)，再最后底层服务处有检验装置，会通过会话ID到请求链日志中进行查询，会得到AA>BA>CA结构的日志。这时候我们会做业务判断此段的日志请求顺序是否符合AA>BA>CA结构，不会出现AA>CA无BA流程的问题或者直接请求了CA没有AA BA的流程节点的记录，如果出现可认为非法请求做拦截请求。

在本实施例中，通过将请求依次经过的服务接口对应的TAG值按时间顺序记录下来，连同对应的会话ID进行存储，实现了请求上下游数据之间形成关联，进而通过利用该关联关系对请求的合法性进行校验。

在一个实施例中，如图4所示，提供了一种基于日志采集的请求校验方法，该方法在根据请求对应的会话ID在请求链日志中查询对应的请求顺序链的步骤之后还包括：

步骤402，将请求的访问顺序与查询到的请求顺序链中记录的顺序进行比对；

步骤404，若顺序不匹配，则判定请求为非法请求并同时拦截请求；

步骤406，若顺序完全一致，则判定请求为合法请求进行执行相应的程序。

在本实施例中，提供了一种基于日志采集的请求校验方法，该方法中将请求的访问顺序与查询到的请求顺序链中记录的顺序进行比对。

具体地，例如：若根据会话ID查询到的请求顺序链为AA>BA>CA，而该请求实际的接口请求顺序为AA>CA>BA，那么显然两者顺序不一致不匹配该请求将被认定为非法请求。同样地，若该请求直接请求的是C服务A接口，未在之前请求过A服务A接口，B服务A接口，那么该请求存在非法跳跃的情形，因此，该请求也会同样被认定为非法请求。只有当请求的流程节点路径与请求链日志中记录的顺序完全一致时，认定该请求为合法请求并继续执行下去。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种基于日志采集的请求校验装置500，该装置包括：

接口定义模块501，用于为每个服务的接口定义不同的TAG值；

会话ID生成模块502，用于当某一服务的接口接收到请求后，生成对应的会话ID；

日志记录模块503，用于通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链，并将所述请求对应的会话ID及请求顺序链保存到请求链日志中；

查询模块504，用于当后续有请求进行访问时，根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链；

请求判定模块505，用于若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失，则认定所述请求为非法请求。

在一个实施例中，如图6所示，提供了一种基于日志采集的请求校验装置500，该装置还包括埋点日志模块506，用于：

在每个服务的接口入口处埋点日志；

当某一服务的接口被请求触发时记录对应的日志信息，所述日志信息包括对应的会话ID、请求地址、业务自带参数及时间戳格式。

在一个实施例中，日志记录模块503还用于：

每个服务会将每个请求上报日志到数据仓库中；

将所述请求依次经过的服务接口对应的TAG值按时间顺序记录下来，连同对应的会话ID进行存储。

在一个实施例中，如图7所示，提供了一种基于日志采集的请求校验装置500，该装置还包括比对模块507，用于：

将请求的访问顺序与查询到的请求顺序链中记录的顺序进行比对；

若顺序不匹配，则判定请求为非法请求并同时拦截请求；

若顺序完全一致，则判定请求为合法请求进行执行相应的程序。

关于基于日志采集的请求校验装置的具体限定可以参见上文中对于基于日志采集的请求校验方法的限定，在此不再赘述。

在一个实施例中，提供了一种计算机设备，其内部结构图可以如图8所示。该计算机设备包括通过装置总线连接的处理器、存储器以及网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作装置和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于日志采集的请求校验方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以上各个方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上各个方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于日志采集的请求校验方法，其特征在于，所述方法包括：

为每个服务的接口定义不同的TAG值；

当某一服务的接口接收到请求后，生成对应的会话ID，所述会话ID是唯一的；

通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链，并将所述请求对应的会话ID及请求顺序链保存到请求链日志中；将所述请求依次经过的服务接口对应的TAG值按时间顺序记录下来，连同对应的会话ID进行存储；

当后续有请求进行访问时，根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链；

若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失，则认定所述请求为非法请求。

2.根据权利要求1所述的基于日志采集的请求校验方法，其特征在于，所述当某一服务的接口接收到请求后，生成对应的会话ID的步骤还包括：

在每个服务的接口入口处埋点日志；

当某一服务的接口被请求触发时记录对应的日志信息，所述日志信息包括对应的会话ID、请求地址、业务自带参数及时间戳格式。

3.根据权利要求2所述的基于日志采集的请求校验方法，其特征在于，在所述当某一服务的接口被请求触发时记录对应的日志信息的步骤之后还包括：

每个服务会将每个请求上报日志到数据仓库中。

4.根据权利要求1-3任一项所述的基于日志采集的请求校验方法，其特征在于，在所述根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链的步骤之后还包括：

将所述请求的访问顺序与查询到的请求顺序链中记录的顺序进行比对；

若顺序不匹配，则判定所述请求为非法请求并同时拦截所述请求；

若顺序完全一致，则判定所述请求为合法请求进行执行相应的程序。

5.一种基于日志采集的请求校验装置，其特征在于，所述装置包括：

接口定义模块，所述接口定义模块用于为每个服务的接口定义不同的TAG值；

会话ID生成模块，所述会话ID生成模块用于当某一服务的接口接收到请求后，生成对应的会话ID，所述会话ID是唯一的；

日志记录模块，所述日志记录模块用于通过flume数据采集组件记录所述请求经过各个服务中接口的请求顺序链，并将所述请求对应的会话ID及请求顺序链保存到请求链日志中；

查询模块，所述查询模块用于当后续有请求进行访问时，根据所述请求对应的会话ID在请求链日志中查询对应的请求顺序链；

请求判定模块，所述请求判定模块用于若所述请求的访问顺序与查询到的请求顺序链中记录的顺序不同或者存在缺失，则认定所述请求为非法请求；

所述日志记录模块还用于将所述请求依次经过的服务接口对应的TAG值按时间顺序记录下来，连同对应的会话ID进行存储。

6.根据权利要求5所述的基于日志采集的请求校验装置，其特征在于，所述装置还包括埋点日志模块，所述埋点日志模块用于：

在每个服务的接口入口处埋点日志；

当某一服务的接口被请求触发时记录对应的日志信息，所述日志信息包括对应的会话ID、请求地址、业务自带参数及时间戳格式。

7.根据权利要求6所述的基于日志采集的请求校验装置，其特征在于，所述日志记录模块还用于：

每个服务会将每个请求上报日志到数据仓库中。

8.根据权利要求5-7任一项所述的基于日志采集的请求校验装置，其特征在于，所述装置还包括比对模块，所述比对模块用于：

将所述请求的访问顺序与查询到的请求顺序链中记录的顺序进行比对；

若顺序不匹配，则判定所述请求为非法请求并同时拦截所述请求；

若顺序完全一致，则判定所述请求为合法请求进行执行相应的程序。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。