CN113472808B - 日志的处理方法、装置、存储介质及电子装置 - Google Patents

日志的处理方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN113472808B
CN113472808B CN202110809236.XA CN202110809236A CN113472808B CN 113472808 B CN113472808 B CN 113472808B CN 202110809236 A CN202110809236 A CN 202110809236A CN 113472808 B CN113472808 B CN 113472808B
Authority
CN
China
Prior art keywords
filter
index
target
log
filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110809236.XA
Other languages
English (en)
Other versions
CN113472808A (zh
Inventor
刘文之
袁博
周明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110809236.XA priority Critical patent/CN113472808B/zh
Publication of CN113472808A publication Critical patent/CN113472808A/zh
Application granted granted Critical
Publication of CN113472808B publication Critical patent/CN113472808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/308—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information retaining data, e.g. retaining successful, unsuccessful communication attempts, internet access, or e-mail, internet telephony, intercept related information or call content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Technology Law (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种日志的处理方法、装置、存储介质及电子装置，包括：通过网关接收请求消息，其中，网关包括N个过滤器，N为整数；通过N个过滤器按照优先级由高到低的顺序依次对请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息返回至第一级过滤器，第一级过滤器是N个过滤器中优先级最高的过滤器，M小于N；通过第一级过滤器将验证失败消息记录在目标日志。通过本发明解决了日志维护成本过高的问题，进而达到了完整、高效的生成请求及响应信息日志的效果。

Description

日志的处理方法、装置、存储介质及电子装置
技术领域
本发明涉及通信领域，具体而言，涉及一种日志的处理方法、装置、存储介质及电子装置。
背景技术
日志处理模块作为微服务架构中的重要组成部分，现有技术一般针对每一个微服务的关键接口单独记录日志，且多个微服务器上的日志代理服务是相互独立的，这就导致在开发和维护的过程中产生很多重复性的工作，导致日志维护及管理的成本过高。此外，现有技术中一般通过原生应用程序编程接口(Application Programming Interface，简称API)删除过期日志信息，导致在数据量过大时会出现存储引擎的性能瓶颈。
针对相关技术中，日志维护及管理成本过高的问题目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种日志的处理方法、装置、存储介质及电子装置，以至少解决相关技术中日志维护及管理成本过高，以及数据量较大时删除数据耗时过长的问题。
根据本发明的一个实施例，提供了一种目标日志的处理方法，包括：通过网关接收请求消息，其中，所述网关包括N个过滤器，N为整数；通过所述N个过滤器按照优先级由高到低的顺序依次对所述请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息返回至第一级过滤器，其中，所述第一级过滤器是所述N个过滤器中优先级最高的过滤器，所述M小于N；通过所述第一级过滤器将所述验证失败消息记录在目标日志。
可选地，所述方法还包括：在所述N个过滤器对所述请求消息全部验证通过的情况下，通过第N级过滤器将所述请求消息发送至微服务，得到所述微服务对所述请求消息的处理结果，其中，所述第N级过滤器是所述N个过滤器中优先级最低的过滤器；通过局部过滤器将所述处理结果记录在所述目标日志，其中，所述网关还包括所述局部过滤器。
可选地，所述方法包括：根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎，其中，所述预设的索引模板中记录了索引别名和索引名称的关联关系，其中，所述索引别名关联多个索引名称。
可选地，所述根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎，包括：在所述存储引擎中建立与所述目标日志的记录日期相匹配的目标索引名称；据预设的索引模板中目标索引别名和所述目标索引名称的关联关系，在所述存储引擎中建立所述目标索引别名；将所述目标日志存储至与所述目标索引名称对应的目标存储区域，其中，所述存储引擎包括所述目标存储区域。
可选地，在所述根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎之后，所述方法还包括：根据所述预设的索引模板查询目标索引别名关联的多个索引名称，其中，所述目标索引别名关联的多个索引名称中包括所述目标索引名称；在所述多个索引名称对应的存储区域内读取日志，其中，读取的日志中包括所述目标日志。
可选地，在所述根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎之后，所述方法还包括：根据所述目标日志的记录日期，在所述存储引擎中确定所述目标索引名称对应的目标存储区域；从所述目标存储区域中删除所述目标日志。
可选地，所述N个过滤器包括：全局过滤器、入参校验过滤器、鉴权过滤器、版本控制过滤器和路由过滤器。
根据本发明的另一个实施例，提供了一种目标日志的处理装置，包括：接收模块，用于通过网关接收请求消息，其中，所述网关包括N个过滤器，N为整数；验证模块，用于通过所述N个过滤器按照优先级由高到低的顺序依次对所述请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息返回至第一级过滤器，其中，所述第一级过滤器是所述N个过滤器中优先级最高的过滤器，所述M小于N；记录模块，用于通过所述第一级过滤器将所述验证失败消息记录在目标日志。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于通过网关中包括的N个过滤器按照优先级由高到低的顺序对请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息发送至优先级最高的第一级过滤器；通过第一级过滤器将验证失败消息记录在目标日志。达到了通过网关对日志进行统一管理的目的，解决了日志维护成本过高的问题，进而达到了降低日志维护成本的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种目标日志的处理方法的终端硬件结构框图；
图2是根据本发明实施例的目标日志的处理方法的流程图；
图3是根据本发明实施例的整体架构框图；
图4是根据本发明实施例的索引模板示意图一；
图5是根据本发明实施例的索引模板示意图二；
图6是根据本发明实施例的日志处理的流程示意图；
图7是根据本发明实施例的目标日志的处理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种目标日志的处理方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标日志的处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的目标日志的处理方法，图2是根据本发明实施例的目标日志的处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，通过网关接收请求消息，其中，所述网关包括N个过滤器，N为整数；
其中，网关是网络间相互连接的关口，在网络通信中，网关可以对所有发送至服务器的请求进行拦截和转发控制；过滤器的主要作用是，对通过网关的请求和响应进行校验等业务逻辑处理。网关中可以包括多个过滤器，网关中包括的过滤器数量N可以根据实际情况而定，例如可以是1个、2个、5个等。网关中的过滤器按照优先级由高到低的顺序连接，如图3所示是根据本发明可选实施例的整体架构图，图中所示的网关中包括日志全局过滤器、入参校验过滤器、鉴权过滤器、版本控制过滤器和路由过滤器等，其中，日志全局过滤器、入参校验过滤器、鉴权过滤器、版本控制过滤器和路由过滤器按照优先级由高到低的顺序进行排序，日志全局过滤器的优先级最高，路由过滤器的优先级最低。
步骤S204，通过所述N个过滤器按照优先级由高到低的顺序依次对所述请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息返回至第一级过滤器，其中，所述第一级过滤器是所述N个过滤器中优先级最高的过滤器，所述M小于N；
其中，第M级过滤器可以是网关中除了优先级最低的第N级过滤器之外的过滤器，在图3所示的网关中，第M级过滤器可以是日志全局过滤器、入参校验过滤器、鉴权过滤器、版本控制过滤器中任一个过滤器。第一级过滤器是网关中优先级最高的过滤器，如图3中的第一级过滤器为日志全局过滤器。
步骤S206，通过所述第一级过滤器将所述验证失败消息记录在目标日志。
通过上述步骤，由于通过网关中包括的N个过滤器按照优先级由高到低的顺序对请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息返回至优先级最高的第一级过滤器；通过第一级过滤器将验证失败消息记录在目标日志。达到了通过网关对日志进行统一管理的目的，解决了日志维护成本过高的问题，进而达到了降低日志维护成本的效果。
可选地，上述步骤的执行主体可以为终端等，但不限于此。
作为一个可选的实施方式，网关可以基于SpringGloud Gateway实现，在网关服务中建立多层过滤器，可以包括入参验证过滤器，鉴权过滤器、版本控制过滤器等通用性的过滤器，单独建立日志全局过滤器，设置为优先级最高的第一级过滤器。以图3所示的网关为例，请求转发到网关后，从优先级高的过滤器依次转向优先级低的过滤器，每一层过滤器做自己的业务逻辑处理。在图3中，日志全局过滤器为网关中的优先级最高的第一级过滤器，其次为入参校验过滤器，鉴权过滤器、版本控制过滤器以及其它必要的过滤器作为第M级过滤器，优先级最低的路由过滤器作为第N级过滤器。请求消息最后可以通过路由过滤器转发到具体微服务API接口。在本实施例中，通过网关接收请求消息，通过入参验证过滤器、鉴权过滤器和版本控制过滤器等过滤器进行基本的请求验证，如果在入参校验过滤器中校验基本的必要入参失败，则直接返回请求错误到日志全局过滤器，输出错误日志到Kafka消息队列中。如果在鉴权过滤器中验证失败，则直接返回请求错误逐层返回到日志全局过滤器，输出错误日志到Kafka消息队列中。如果在版本控制过滤器中验证失败，则直接返回请求错误逐层返回到日志全局过滤器，输出错误日志到Kafka消息队列中。
可选地，在所述N个过滤器对所述请求消息全部验证通过的情况下，通过所述第N级过滤器将所述请求消息发送至微服务，得到所述微服务对所述请求消息的处理结果，其中，所述第N级过滤器是所述N个过滤器中优先级最低的过滤器；通过所述局部过滤器将所述处理结果记录在所述目标日志，其中，所述网关还包括所述局部过滤器。
作为一个可选的实施方式，在网关中建立全局过滤器验证链的基础上，单独建立一个局部过滤器，其中，全局过滤器验证链是由日志全局过滤器、入参校验过滤器、鉴权过滤器、版本控制过滤器等N个过滤器按照优先级从高到低的顺序形成的过滤器调用链。如图3中的网关中除了日志全局过滤器、入参校验过滤器、鉴权过滤器、版本控制过滤器等N个过滤器之外，还包括日志局部过滤器。当全局过滤器验证链中包括的所有过滤器对请求消息验证通过后，由优先级最低的过滤器将请求消息发送至对应的微服务API接口，通过对应的微服务对请求消息进行处理，由微服务API接口返回处理结果，例如，请求处理的成功或者失败信息。微服务API接口返回的信息单独通过局部过滤器进行拦截，将请求实际到微服务接口之后执行情况生成日志发送到Kafka消息队列中，单独建立局部过滤器主要是防止全局过滤器返回层数较多，可能会导致微服务API接口返回信息丢失的情况。通过局部过滤器获取请求参数之后，日志全局过滤器中就不会再获取请求响应信息。
可选地，根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎，其中，所述预设的索引模板中记录了索引别名和索引名称的关联关系，其中，所述索引别名关联多个索引名称。
作为一个可选的实施方式，存储引擎可以基于Elasticsearch实现，承载Elasticsearch服务的物理盘可以采用SSD固态硬盘保证检索速度。在进行索引之前创建索引模板，索引模板包括索引别名，索引名称匹配方式及索引字段信息。在基于索引模板创建真实索引，且索引名称满足模板中定义的匹配方式的情况下，即可通过索引别名关联该索引名称对应的索引。在本实施例中，可以在索引模板中定义好匹配的索引前缀，索引别名，索引字段(用于存储实际日志信息)，索引分片数和副本数，分片数可以设置为CPU的核数，副本数可以设置为Elasticsearch集群实际节点数。在本实施例中，可以根据索引前缀和日志的记录日期创建索引名称，如图4所示是根据本发明可选实施例的索引模板示意图一，其中，prefix是索引前缀，2021-01-01、2021-01-02是日志的记录日期，prefix-2021-01-01是索引名称，索引别名对应于图4中的读取别名。索引别名可以关联多个索引名称，如图4中的读取别名关联了prefix-2021-01-01、prefix-2021-01-02等多个索引名称。模板创建完成后，当Kafka消费线程消费数据到Elasticsearch集群时，直接通过模板定义的索引前缀+日期方式确认索引名称，将Kafka消费线程消费的数据存储到该索引名称中，Elasticsearch框架会在插入数据的过程中根据模板自动创建该索引。基于索引模板的设计，通过插入数据记录自动创建的索引对应统一的索引别名，可以通过该别名直接检索全部对应的索引数据。
可选地，所述根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎，包括：在所述存储引擎中建立与所述目标日志的记录日期相匹配的目标索引名称；据预设的索引模板中目标索引别名和所述目标索引名称的关联关系，在所述存储引擎中建立所述目标索引别名；将所述目标日志存储至与所述目标索引名称对应的目标存储区域，其中，所述存储引擎包括所述目标存储区域。
作为一个可选的实施方式，由于索引名称是基于日志的记录日期创建的，因此，可以基于日志的记录日期在索引模板查询与记录日期相匹配的目标索引名称，将该日志日期对应的目标日志存储在与目标索引名称对应的存储区域中。在本实施例中，Elasticsearch存储引擎中可以包括多个存储区域，在创建索引模板时，可以将索引名称与对应的存储区域进行关联，将索引名称对应记录日期的日志存储在与该索引名称对应的存储区域内。在本实施例中，存储日志的索引可以按天存储，例如2021-01-01记录的日志存储在索引名称prefix-2021-01-01对应的存储区域。
可选地，在所述根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎之后，所述方法还包括：根据所述预设的索引模板查询目标索引别名关联的多个索引名称，其中，所述目标索引别名关联的多个索引名称中包括所述目标索引名称；在所述多个索引名称对应的存储区域内读取日志，其中，读取的日志中包括所述目标日志。
作为一个可选的实施方式，基于创建的索引模板可以进行日志的读取操作，先通过目标索引别名查询到所关联到索引名称，再通过目标索引名称进行日志读取。在本实施例中，目标索引别名所关联的索引名称可以为7天，若以天为一个存储单元，通过目标索引别名查询到所关联的索引名称为7个，例如，查询到的索引名称为prefix-2021-01-01至prefix-2021-01-07共7个索引名称，通过索引别名进行日志读取时，将会在7个索引名称对应的存储区域内获取日志信息。
可选地，在所述根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎之后，所述方法还包括：根据所述目标日志的记录日期，在所述存储引擎中确定所述目标索引名称对应的目标存储区域；从所述目标存储区域中删除所述目标日志。
作为一个可选的实施方式，可以单独启动日志清理线程，在每天凌晨时进行索引检索，删除过期数据。在本实施例中，可以根据索引名称删除过期的数据，比如删除已过期的一天的日志，需要根据具体日期，删除指定名称的索引信息及对应的日志信息，比如可以直接删除对应7天前日期的索引及日志信息。假设在图4所示的索引状态中，可以先根据当前日期定位到7天前日志所对应的索引名称为prefix-2021-01-01，对prefix-2021-01-01记录的日志进行删除，可以根据索引名称查询到2021-01-01记录的日志存储的区域，对该存储区域内存储的2021-01-01记录的日志进行删除。对2021-01-01记录的日志进行删除后索引状态图如图5所示是根据本发明可选实施例的索引模板示意图二。
在上述实施例中，通过直接删除索引的方式避免Elasticsearch框架删除数据时间过长的问题，通过索引读取别名进行数据检索，能够有效屏蔽掉索引的变换对用户的操作影响，用户从始至终都在通过唯一的索引别名进行日志数据检索，而对数据的增删完全不需要感知。
下面通过一个具体实施例说明本申请，以图3所示的架构图为例进行说明，在网关服务中建立多层过滤器，包括入参验证过滤器，鉴权过滤器等通用性的过滤器，按照优先级由高到低的顺序连接。单独建立日志全局过滤器，设置为优先级最高，同时建立日志局部过滤器配合采集日志数据，采集的日志数据通过Kafka生产者线程发送到Kafka消息队列，通过Kafka消费线程消费消息队列数据，存储日志到Elasticsearch存储引擎中。在Elasticsearch中建好索引模板，设置好匹配的索引前缀和别名，在存储日志的过程中自动创建索引并向索引中添加数据，在固定的周期内清理索引日志数据。
如图6是根据本发明实施例的日志处理的流程示意图。其中，包括如下步骤：
步骤S61，网关接收请求消息，通过入参过滤器、鉴权过滤器、版本控制过滤器等对请求消息进行校验；
步骤S62，判断入参过滤器、鉴权过滤器、版本控制过滤器等过滤器是否全部校验通过，若存在校验不通过的过滤器，执行步骤S63，若全部校验通过则执行步骤S64；
步骤S63，请求消息返回全局日志过滤器，由全局日志过滤器创建错误日志，并发送错误日志到消息队列；
步骤S64，由优先级最低的路由过滤器将请求消息转发至微服务接口，通过微服务对请求消息进行处理得到处理结果；
步骤S65，局部过滤器获取处理结果，创建日志，并将日志发送至消息队列。
步骤S66，日志数据通过Kafka消息队列最终被保存到Elasticsearch存储引擎中。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种目标日志的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本发明实施例的目标日志的处理装置的结构框图，如图7所示，该装置包括：接收模块72，用于通过网关接收请求消息，其中，所述网关包括N个过滤器，N为整数；验证模块74，用于通过所述N个过滤器按照优先级由高到低的顺序依次对所述请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息返回至第一级过滤器，其中，所述第一级过滤器是所述N个过滤器中优先级最高的过滤器，所述M小于N；记录模块76，用于通过所述第一级过滤器将所述验证失败消息记录在目标日志。
可选地，上述装置还用于根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎，其中，所述预设的索引模板中记录了索引别名和索引名称的关联关系，其中，所述索引别名关联多个索引名称。
可选地，上述装置还用于在所述存储引擎中建立与所述目标日志的记录日期相匹配的目标索引名称；根据预设的索引模板中目标索引别名和所述目标索引名称的关联关系，在所述存储引擎中建立所述目标索引别名；将所述目标日志存储至与所述目标索引名称对应的目标存储区域，其中，所述存储引擎包括所述目标存储区域。
可选地，上述装置还用于根据所述预设的索引模板查询目标索引别名关联的多个索引名称，其中，所述目标索引别名关联的多个索引名称中包括所述目标索引名称；在所述多个索引名称对应的存储区域内读取日志，其中，读取的日志中包括所述目标日志。
可选地，上述装置还用于根据所述目标日志的记录日期，在所述存储引擎中确定所述目标索引名称对应的目标存储区域；从所述目标存储区域中删除所述目标日志。
可选地，所述N个过滤器包括：全局过滤器、入参校验过滤器、鉴权过滤器、版本控制过滤器和路由过滤器。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，通过网关接收请求消息，其中，所述网关包括N个过滤器，N为整数；
S2，通过所述N个过滤器按照优先级由高到低的顺序依次对所述请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息返回至第一级过滤器，其中，所述第一级过滤器是所述N个过滤器中优先级最高的过滤器，所述M小于N；
S3，通过所述第一级过滤器将所述验证失败消息记录在目标日志。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，通过网关接收请求消息，其中，所述网关包括N个过滤器，N为整数；
S2，通过所述N个过滤器按照优先级由高到低的顺序依次对所述请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息返回至第一级过滤器，其中，所述第一级过滤器是所述N个过滤器中优先级最高的过滤器，所述M小于N；
S3，通过所述第一级过滤器将所述验证失败消息记录在目标日志。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种目标日志的处理方法，其特征在于，包括：
通过网关接收请求消息，其中，所述网关包括N个过滤器，N为整数；
通过所述N个过滤器按照优先级由高到低的顺序依次对所述请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息返回至第一级过滤器，其中，所述第一级过滤器是所述N个过滤器中优先级最高的过滤器，M小于N；
通过所述第一级过滤器将所述验证失败消息记录在目标日志；
其中，所述方法还包括：在所述N个过滤器对所述请求消息全部验证通过的情况下，通过第N级过滤器将所述请求消息发送至微服务，得到所述微服务对所述请求消息的处理结果，其中，所述第N级过滤器是所述N个过滤器中优先级最低的过滤器；通过局部过滤器将所述处理结果记录在所述目标日志，其中，所述网关还包括所述局部过滤器；
其中，所述N个过滤器包括：全局过滤器、入参校验过滤器、鉴权过滤器、版本控制过滤器和路由过滤器。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：
根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎，其中，所述预设的索引模板中记录了索引别名和索引名称的关联关系，其中，所述索引别名关联多个索引名称。
3.根据权利要求2所述的方法，其特征在于，所述根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎，包括：
在所述存储引擎中建立与所述目标日志的记录日期相匹配的目标索引名称；
根据预设的索引模板中目标索引别名和所述目标索引名称的关联关系，在所述存储引擎中建立所述目标索引别名；
将所述目标日志存储至与所述目标索引名称对应的目标存储区域，其中，所述存储引擎包括所述目标存储区域。
4.根据权利要求3所述的方法，其特征在于，在所述根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎之后，所述方法还包括：
根据所述预设的索引模板查询目标索引别名关联的多个索引名称，其中，所述目标索引别名关联的多个索引名称中包括所述目标索引名称；
在所述多个索引名称对应的存储区域内读取日志，其中，读取的日志中包括所述目标日志。
5.根据权利要求3所述的方法，其特征在于，在所述根据预设的索引模板将所述目标日志通过消息队列存储至存储引擎之后，所述方法还包括：
根据所述目标日志的记录日期，在所述存储引擎中确定所述目标索引名称对应的目标存储区域；
从所述目标存储区域中删除所述目标日志。
6.一种目标日志的处理装置，其特征在于，包括：
接收模块，用于通过网关接收请求消息，其中，所述网关包括N个过滤器，N为整数；
验证模块，用于通过所述N个过滤器按照优先级由高到低的顺序依次对所述请求消息进行验证，在第M级过滤器验证不通过的情况下，将验证失败消息返回至第一级过滤器，其中，所述第一级过滤器是所述N个过滤器中优先级最高的过滤器，M小于N；
记录模块，用于通过所述第一级过滤器将所述验证失败消息记录在目标日志；
其中，所述装置还用于，在所述N个过滤器对所述请求消息全部验证通过的情况下，通过第N级过滤器将所述请求消息发送至微服务，得到所述微服务对所述请求消息的处理结果，其中，所述第N级过滤器是所述N个过滤器中优先级最低的过滤器；通过局部过滤器将所述处理结果记录在所述目标日志，其中，所述网关还包括所述局部过滤器；
其中，所述N个过滤器包括：全局过滤器、入参校验过滤器、鉴权过滤器、版本控制过滤器和路由过滤器。
7.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述程序可被终端设备或计算机运行时执行所述权利要求1至5任一项中所述的方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
CN202110809236.XA 2021-07-16 2021-07-16 日志的处理方法、装置、存储介质及电子装置 Active CN113472808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110809236.XA CN113472808B (zh) 2021-07-16 2021-07-16 日志的处理方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110809236.XA CN113472808B (zh) 2021-07-16 2021-07-16 日志的处理方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN113472808A CN113472808A (zh) 2021-10-01
CN113472808B true CN113472808B (zh) 2023-07-14

Family

ID=77880846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110809236.XA Active CN113472808B (zh) 2021-07-16 2021-07-16 日志的处理方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN113472808B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6925586B1 (en) * 2002-05-09 2005-08-02 Ronald Perrella Methods and systems for centrally-controlled client-side filtering
US8407335B1 (en) * 2008-06-18 2013-03-26 Alert Logic, Inc. Log message archiving and processing using a remote internet infrastructure
CN104717201A (zh) * 2013-12-12 2015-06-17 日立汽车系统株式会社 网络装置以及网络系统
CN105934927A (zh) * 2014-01-13 2016-09-07 思科技术公司 针对跨安全边界的sdn api调用的动态过滤
CN108847989A (zh) * 2018-06-29 2018-11-20 杭州安恒信息技术股份有限公司 基于微服务架构的日志处理方法、业务服务系统以及电子设备
CN109101334A (zh) * 2018-06-29 2018-12-28 中译语通科技股份有限公司 一种面向Zuul网关的微服务并发控制方法
CN111885051A (zh) * 2020-07-22 2020-11-03 微医云(杭州)控股有限公司 数据验证方法、装置及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7013251B1 (en) * 1999-12-15 2006-03-14 Microsoft Corporation Server recording and client playback of computer network characteristics
US20060020616A1 (en) * 2004-07-22 2006-01-26 Geoffrey Hardy Indexing operational logs in a distributed processing system
US20150156183A1 (en) * 2013-12-03 2015-06-04 GateSecure S.A. System and method for filtering network communications
US10069941B2 (en) * 2015-04-28 2018-09-04 Microsoft Technology Licensing, Llc Scalable event-based notifications
CN107294914B (zh) * 2016-03-31 2020-02-14 华为技术有限公司 一种业务触发的方法和设备
US10970190B2 (en) * 2018-10-17 2021-04-06 EMC IP Holding Company LLC Hybrid log viewer with thin memory usage
CN109660546B (zh) * 2018-12-27 2021-05-07 泰华智慧产业集团股份有限公司 基于NetflixZuul的API网关实现鉴权的方法
CN109818805A (zh) * 2019-02-27 2019-05-28 山东浪潮云信息技术有限公司 一种服务网关日志记录及检索方法
CN111193733A (zh) * 2019-12-27 2020-05-22 杭州安恒信息技术股份有限公司 一种基于内网微服务架构的网关系统
CN112632027A (zh) * 2020-12-03 2021-04-09 西安交大捷普网络科技有限公司 一种日志数据存储方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6925586B1 (en) * 2002-05-09 2005-08-02 Ronald Perrella Methods and systems for centrally-controlled client-side filtering
US8407335B1 (en) * 2008-06-18 2013-03-26 Alert Logic, Inc. Log message archiving and processing using a remote internet infrastructure
CN104717201A (zh) * 2013-12-12 2015-06-17 日立汽车系统株式会社 网络装置以及网络系统
CN105934927A (zh) * 2014-01-13 2016-09-07 思科技术公司 针对跨安全边界的sdn api调用的动态过滤
CN108847989A (zh) * 2018-06-29 2018-11-20 杭州安恒信息技术股份有限公司 基于微服务架构的日志处理方法、业务服务系统以及电子设备
CN109101334A (zh) * 2018-06-29 2018-12-28 中译语通科技股份有限公司 一种面向Zuul网关的微服务并发控制方法
CN111885051A (zh) * 2020-07-22 2020-11-03 微医云(杭州)控股有限公司 数据验证方法、装置及电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Java EE中Filter技术的研究与应用;姚添译;杨廷发;兰全祥;;电脑知识与技术(18);全文 *
Servlet过滤器在用户认证中的应用;王舜燕;江红;;武汉化工学院学报(01);全文 *
基于Servlet实现过滤的多种技术机制研究和应用;严墨洁;;中国水运(理论版)(04);全文 *
基于监听和过滤器技术的Web服务身份验证;龙鹏飞;乔波;;计算机技术与发展(03);全文 *
用ISAPI过滤器监控用户的网络访问;孙焕东,赵东升,张华;计算机应用(01);全文 *

Also Published As

Publication number Publication date
CN113472808A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN106550003B (zh) 负载均衡的控制方法、装置及系统
CN111752799A (zh) 一种业务链路跟踪方法、装置、设备及储存介质
CN112506870B (zh) 数据仓库增量更新方法、装置及计算机设备
CN113010378B (zh) 微服务模块的日志处理方法及装置、存储介质、电子装置
CN110532493B (zh) 数据的处理方法及装置、存储介质和电子装置
CN110162512A (zh) 一种日志检索方法、装置及存储介质
CN112148504A (zh) 目标消息的处理方法及装置、存储介质及电子装置
CN113434293A (zh) 处理重复请求的方法和装置、存储介质及电子装置
CN103164262B (zh) 一种任务管理方法及装置
CN114238703A (zh) 事件流程编排方法、装置及应用
WO2022033079A1 (zh) 一种皮基站配置方法、装置、存储介质和电子装置
CN111782618B (zh) 一种数据同步系统
CN113472808B (zh) 日志的处理方法、装置、存储介质及电子装置
CN112363838A (zh) 数据处理方法及装置、存储介质、电子装置
CN112905676A (zh) 一种数据文件的导入方法及装置
CN111290804B (zh) 一种业务配置系统以及业务配置方法、装置和配置服务器
CN114422576A (zh) 一种会话清理方法、装置、计算机设备和可读存储介质
CN113064814A (zh) 组件引用数据的处理方法及装置、存储介质及电子装置
Satsyk et al. Reduction of server load by means of CMS Drupal
CN112241430A (zh) 一种应用于多系统对接处理的模型
CN110677497A (zh) 一种网络介质分发方法及装置
CN113434399B (zh) 业务节点日志的处理方法和装置、存储介质及电子装置
CN103856359A (zh) 获取信息的方法和系统
CN115348185B (zh) 一种分布式查询引擎的控制方法及其控制装置
CN113852919B (zh) 预警消息的生成方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant