CN115550458A - 一种日志处理方法和相关装置 - Google Patents

一种日志处理方法和相关装置 Download PDF

Info

Publication number
CN115550458A
CN115550458A CN202211144313.5A CN202211144313A CN115550458A CN 115550458 A CN115550458 A CN 115550458A CN 202211144313 A CN202211144313 A CN 202211144313A CN 115550458 A CN115550458 A CN 115550458A
Authority
CN
China
Prior art keywords
target
server
log
cluster
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211144313.5A
Other languages
English (en)
Inventor
张清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202211144313.5A priority Critical patent/CN115550458A/zh
Publication of CN115550458A publication Critical patent/CN115550458A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种日志处理方法和相关装置，可应用于分布式领域、云计算领域或金融领域。预先搭建包括多台服务器的服务器集群，该服务器集群中至少两台服务器用于存储不同类别的日志，下面以服务器集群中的一个服务器(目标服务器)为例进行说明。目标服务器获取待存储的目标日志，并获取目标日志所属的类别。目标服务器根据目标日志所属的类别获取目标日志的存储路径，并根据存储路径将目标日志存储至对应的服务器中。由此，服务器集群中的服务器不再将所有日志上传至一个服务器进行统一存储，而是将至少两个类别的日志分别存储于不同的服务器中，在获得日志后可以按照类别将日志存储到对应的服务器中，从而降低带宽等资源的占用，降低网络延迟。

Description

一种日志处理方法和相关装置
技术领域
本发明涉及计算机技术领域，尤其是涉及一种日志处理方法和相关装置。
背景技术
随着跨国企业、银行等大型企业业务的不断发展，部分业务产品采用在多地部署服务器的架构实现数据服务统一查询。因此，基于多地服务器部署业务引发的海量交易对异地业务数据服务的汇总、监控及查询提出了较高的需求。其中，传统的日志监控只能通过分析、监控本地服务器的日志信息实现业务数据的监控与查询，缺乏同城多活或异地多活的部署模式。
目前，对位于异地的不同服务器或位于同一城市不同区域的服务器进行日志监控(即同城多活或异地多活的部署模式)，会采用基于消息队列的方式进行数据的同步。具体地，一个区域的机房产生写入请求后，会写一条消息到消息队列，另一个区域的机房的应用消费这条消息后再执行业务处理逻辑，写入到存储所有日志的服务器中。
但是，对于同城多活或异地多活的部署模式，会在写入服务器时占用大量的带宽等资源，也会有网络延迟。
发明内容
针对上述问题，本申请提供一种日志处理方法和相关装置，用于降低带宽等资源的占用，降低网络延迟。
基于此，本申请实施例公开了如下技术方案：
一方面，本申请实施例提供一种日志处理方法，所述方法应用于包括多台服务器的服务器集群，所述服务器集群中至少两台所述服务器用于存储不同类别的日志，所述方法包括：
目标服务器获取待存储的目标日志，所述目标服务器为所述服务器集群中的一台服务器；
所述目标服务器获取所述目标日志所属的类别；
所述目标服务器根据所述目标日志所属的类别获取所述目标日志的存储路径；
所述目标服务器根据所述存储路径将所述目标日志存储至对应的服务器中。
可选的，所述方法还包括：
所述目标服务器获取日志的类别划分规则，所述类别划分规则包括优先级、功能和产品中的一种或多种组合；
所述目标服务器根据所述类别划分规则确定所述日志对应的多个类别；
所述目标服务器获取所述目标日志所属的类别，包括：
所述目标服务器从所述多个类别中确定所述目标日志所属的类别。
可选的，所述服务器集群包括多个子集群，不同所述子集群用于存储不同类别的日志，所述方法还包括：
所述目标服务器获取日志查询请求；
所述目标服务器根据所述日志查询请求获取待查询日志所属的类别；
所述目标服务器获取所述待查询日志所属的类别对应的数据路由表；
所述目标服务器根据所述数据路由表确定所述待查询日志所在的服务器；
所述目标服务器从所述待查询日志所在的服务器获取所述待查询日志。
可选的，所述目标服务器包括Elasticsearch存储引擎，所述方法还包括：
若所述服务器集群新增目标子集群，所述目标服务器建立与所述目标子集群的远程集群关系；
所述目标服务器根据所述远程集群关系访问所述目标子集群。
可选的，所述目标服务器包括Elasticsearch存储引擎，所述方法还包括：
若所述服务器集群新增目标子集群，所述目标服务器获取所述目标子集群存储的日志的类别；
所述目标服务器根据所述目标子集群存储的日志的类别建立对应的数据路由表。
可选的，若所述目标服务器为所述服务器集群的主控节点，所述方法还包括：
所述目标服务器获取日志的类别的数量；
所述目标服务器将所述服务器集群中的多台服务器划分为M个子集群，M等于所述日志的类别的数量。
另一方面，本申请提供了一种日志处理装置，所述装置应用于包括多台服务器的服务器集群，所述服务器集群中至少两台所述服务器用于存储不同类别的日志，所述装置包括：第一获取单元、第二获取单元、第三获取单元和存储单元；
所述第一获取单元，用于获取待存储的目标日志，所述目标服务器为所述服务器集群中的一台服务器；
所述第二获取单元，用于获取所述目标日志所属的类别；
所述第三获取单元，用于根据所述目标日志所属的类别获取所述目标日志的存储路径；
所述存储单元，用于根据所述存储路径将所述目标日志存储至对应的服务器中。
可选的，所述装置还包括第四获取单元，用于：
获取日志的类别划分规则，所述类别划分规则包括优先级、功能和产品中的一种或多种组合；
根据所述类别划分规则确定所述日志对应的多个类别；
所述第二获取单元，具体用于：
从所述多个类别中确定所述目标日志所属的类别。
可选的，所述服务器集群包括多个子集群，不同所述子集群用于存储不同类别的日志，所述装置还包括查询单元，用于：
获取日志查询请求；
根据所述日志查询请求获取待查询日志所属的类别；
获取所述待查询日志所属的类别对应的数据路由表；
根据所述数据路由表确定所述待查询日志所在的服务器；
从所述待查询日志所在的服务器获取所述待查询日志。
可选的，所述服务器包括Elasticsearch存储引擎，所述装置还包括建立单元，用于：
若所述服务器集群新增目标子集群，建立与所述目标子集群的远程集群关系；
根据所述远程集群关系访问所述目标子集群。
可选的，所述服务器包括Elasticsearch存储引擎，所述装置还包括建立单元，用于：
若所述服务器集群新增目标子集群，获取所述目标子集群存储的日志的类别；
根据所述目标子集群存储的日志的类别建立对应的数据路由表。
可选的，若所述服务器为所述服务器集群的主控节点，所述装置还包括划分单元，用于：
获取日志的类别的数量；
将所述服务器集群中的多台服务器划分为M个子集群，M等于所述日志的类别的数量。
另一方面，本申请提供了一种计算机设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述方面所述的方法。
另一方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的方法。
另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面所述的方法。
相对于现有技术，本申请上述技术方案的优点在于：
预先搭建包括多台服务器的服务器集群，该服务器集群中至少两台服务器用于存储不同类别的日志，例如，服务器集群中不同的服务器用于存储不同类别的日志。下面以服务器集群中的一个服务器(目标服务器)为例进行说明。目标服务器获取待存储的目标日志，并获取目标日志所属的类别。目标服务器根据目标日志所属的类别获取目标日志的存储路径，并根据存储路径将目标日志存储至对应的服务器中。由此，服务器集群中的服务器不再将所有日志上传至一个服务器进行统一存储，而是将至少两个类别的日志分别存储于不同的服务器中，例如，不同类别的日志存储于不同的服务器中，在获得日志后可以按照类别将日志存储到对应的服务器中，从而降低带宽等资源的占用，降低网络延迟。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请提供的一种日志处理方法的流程图；
图2为本申请提供的一种日志处理装置的示意图；
图3为本申请实施例提供的一种计算机设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合图1，对本申请实施例提供的一种日志处理方法进行介绍。参见图1，该图是本申请提供的一种日志处理方法的流程图，该方法可以包括以下步骤101-104。
S101：目标服务器获取待存储的目标日志。
其中，目标服务器为服务器集群中的一台服务器。服务器集群中包括多台服务器，其中至少两台服务器用于存储不同类别的日志，以避免所有的日志存储至同一台服务器中。
作为一种可能的实现方式，若目标服务器为服务器集群的主控节点，获取服务器集群可能存储的日志的类别的数量，将服务器集群中的多台服务器划分为M个子集群，其中，M等于日志的类别的数量，即采用不同的子集群存储不同类别的日志，子集群中可以包括至少一台服务器。例如，服务器集群根据业务需要可能需要存储10类日志，故可以将服务器集群包括的20台服务器划分为10个子集群，分别用于存储不同类别的日志。由此，通过将不同类别的日志分别存储至不同子集群中，进一步降低了带宽等资源的占用，降低网络延迟。
作为一种可能的实现方式，还可以根据距离划分子集群，将以便将日志存储到就近的服务器中。
S102：目标服务器获取目标日志所属的类别。
其中，目标日志是目标服务器将要存储到服务器集群中的日志。目标服务器获取目标日志所属的类别，以便根据类别将目标日志存储至对应的服务器。
作为一种可能的实现方式，不同的类别划分规则对应不同的类别，故目标服务器可以获取日志的类别划分规则，该类别划分规则可以包括优先级、功能和产品中的一种或多种组合，从而根据不同的类别划分规则确定日志对应的多个类别。进而目标服务器在采集目标日志后，可以从多个类别中确定目标日志所属的类别。
S103：目标服务器根据目标日志所属的类别获取目标日志的存储路径。
需要说明的是，日志的类别和服务器的存储路径间具有对应关系，例如，服务器A用于存储属于类别A的日志，若目标日志所属的类别为A，故目标日志的存储路径为服务器A所在的位置。
作为一种可能的实现方式，可以预先将日志的类别和服务器的存储路径间具有对应关系存储在目标服务器中，以便目标服务器获取目标日志的所属类别后，直接根据预先存储的对应关系确定目标日志的存储路径。
S104：目标服务器根据存储路径将目标日志存储至对应的服务器中。
目标服务器在获取存储路径后，将目标日志存储至对应的服务器中。
由上述技术方案可知，预先搭建包括多台服务器的服务器集群，该服务器集群中至少两台服务器用于存储不同类别的日志，例如，将服务器集群中不同的服务器用于存储不同类别的日志。下面以服务器集群中的目标服务器为例进行说明。目标服务器获取待存储的目标日志，并获取目标日志所属的类别。目标服务器根据目标日志所属的类别获取目标日志的存储路径，并根据存储路径将目标日志存储至对应的服务器中。由此，服务器集群中的服务器不再将所有日志上传至一个服务器进行统一存储，而是将至少两个类别的日志分别存储于不同的服务器中，例如，不同类别的日志存储于不同的服务器中，在获得日志后可以按照类别将日志存储到对应的服务器中，从而降低带宽等资源的占用，降低网络延迟，同时避免了因为网络影响导致的数据丢失问题。
作为一种可能的实现方式，服务器集群包括多个子集群，不同子集群用于存储不同类别的日志，每个子集群包括至少一台服务器。下面对查询日志的过程进行说明。
目标服务器获取日志查询请求；目标服务器根据日志查询请求获取待查询日志所属的类别；目标服务器获取待查询日志所属的类别对应的数据路由表；目标服务器根据数据路由表确定待查询日志所在的服务器；目标服务器从待查询日志所在的服务器获取待查询日志。
不同子集群用于存储不同类别的日志，故根据待查询日志所属的类别可以确定应该查询的子集群。不同子集群对应于不同的数据路由表，该数据路由表用于存储子集群内不同服务器存储的日志的基本情况，从而根据数据路由表确定待查询日志存储在该子集群中的哪台服务器中，以便从该服务器获取待查询日志。
相关技术中，还可以采用基于存储系统的主从复制方式存储日志，比如MySQL和Redis。也就是在一个机房部署主库，在异地机房部署从库，两者同步主从复制实现数据的同步，容易出现主从不一致性。而对于运维系统，会产生的无模式(schema free)日志，即没有特定格式的日志，无法采用预先建表的方式进行存储，使得采用MySQL和Redis不一定完全满足需求。
基于此，本申请实施例提供的目标服务器可以包括Elasticsearch存储引擎，对于实时数据系统中的结构化和非结构化数据，依赖应用场景选择合适的数据库，即选定Elasticsearch作为存储引擎，它不仅支持海量数据存储，同时支持跨地域查询。
作为一种可能的实现方式，在目标服务器包括Elasticsearch存储引擎的情况下，若服务器集群新增目标子集群，则目标服务器可以建立与目标子集群的远程集群关系，以便目标服务器根据远程集群关系访问目标子集群。通过采用Elasticsearch存储引擎，在各地域分别搭建若干Elasticsearch子集群，分别存储不同类型的数据，再将存储相同类型数据的集群组成一个子集群，通过依赖Elasticsearch的跨集群搜索(Cross ClusterSearch，CCS)功能，实现跨地域多中心数据的查询。由此，实现了通过Elasticsearch的Cross Cluster Search功能，即可完成单个地域、多个数据的查询问题。环境搭建简单、代码简洁，同时便于扩展。
作为一种可能的实现方式，在目标服务器包括Elasticsearch存储引擎的情况下，若服务器集群新增目标子集群，目标服务器获取目标子集群存储的日志的类别；目标服务器根据目标子集群存储的日志的类别建立对应的数据路由表。由此，依赖Elasticsearch的CCS功能，当新增子Elasticsearch子集群时，仅需要搭建新增集群(目标子集群)与主中心集群的远程集群关系(Remote Cluster)，同时在元数据管理新增新集群的信息，即根据目标子集群存储的日志的类别建立对应的数据路由表。实现了在不修改代码的前提下即可实现多中心数据查询，便于扩展和维护。
为了使本申请实施例提供的技术方案更加清楚，下面以一个实例对本申请实施例提供的日志处理方法进行说明。
预先建立服务器集群，该服务器集群包括多个子集群，每个子集群包括至少一台服务器，不同的子集群用于存储不同类别的日志。以服务器集群中的目标服务器为例对日志的存储过程进行说明。
目标服务器通过Kafka采集目标日志，并获取目标日志的类别，根据目标日志的类别获取存储路径，根据存储路径将目标日志存储至对应的服务器中，该服务器用于存储与目标日志的类别一样的日志。
下面对日志的查询过程进行说明。
预先建立不同类别与子集群之间的存储关系，并为每个子集群建立对应的数据路由表，以便通过数据路由表指示每个日志存储在子集群中哪台服务器中。该数据路由表可以存储在Mysql数据库中。
当获取日志查询请求后，根据日志查询请求获取待查询日志所属的类别，并根据该类别从Mysql数据库中获取对应的数据路由表。根据数据库路由表确定待查询日志所在的服务器。
本申请实施例除了提供的日志处理方法外，还提供了日志处理装置，所述装置应用于包括多台服务器的服务器集群，所述服务器集群中至少两台所述服务器用于存储不同类别的日志，如图2所示，包括：第一获取单元201、第二获取单元202、第三获取单元203和存储单元204；
所述第一获取单元201，用于获取待存储的目标日志，所述目标服务器为所述服务器集群中的一台服务器；
所述第二获取单元202，用于获取所述目标日志所属的类别；
所述第三获取单元203，用于根据所述目标日志所属的类别获取所述目标日志的存储路径；
所述存储单元204，用于根据所述存储路径将所述目标日志存储至对应的服务器中。
作为一种可能的实现方式，所述装置还包括第四获取单元，用于：
获取日志的类别划分规则，所述类别划分规则包括优先级、功能和产品中的一种或多种组合；
根据所述类别划分规则确定所述日志对应的多个类别；
所述第二获取单元202，具体用于：
从所述多个类别中确定所述目标日志所属的类别。
作为一种可能的实现方式，所述服务器集群包括多个子集群，不同所述子集群用于存储不同类别的日志，所述装置还包括查询单元，用于：
获取日志查询请求；
根据所述日志查询请求获取待查询日志所属的类别；
获取所述待查询日志所属的类别对应的数据路由表；
根据所述数据路由表确定所述待查询日志所在的服务器；
从所述待查询日志所在的服务器获取所述待查询日志。
作为一种可能的实现方式，所述服务器包括Elasticsearch存储引擎，所述装置还包括建立单元，用于：
若所述服务器集群新增目标子集群，建立与所述目标子集群的远程集群关系；
根据所述远程集群关系访问所述目标子集群。
作为一种可能的实现方式，所述服务器包括Elasticsearch存储引擎，所述装置还包括建立单元，用于：
若所述服务器集群新增目标子集群，获取所述目标子集群存储的日志的类别；
根据所述目标子集群存储的日志的类别建立对应的数据路由表。
作为一种可能的实现方式，所述装置还包括划分单元，用于：
获取日志的类别的数量；
将所述服务器集群中的多台服务器划分为M个子集群，M等于所述日志的类别的数量。
由上述技术方案可知，预先搭建包括多台服务器的服务器集群，该服务器集群中至少两台服务器用于存储不同类别的日志，例如，服务器集群中不同的服务器用于存储不同类别的日志。下面以服务器集群中的一个服务器(目标服务器)为例进行说明。目标服务器获取待存储的目标日志，并获取目标日志所属的类别。目标服务器根据目标日志所属的类别获取目标日志的存储路径，并根据存储路径将目标日志存储至对应的服务器中。由此，服务器集群中的服务器不再将所有日志上传至一个服务器进行统一存储，而是将至少两个类别的日志分别存储于不同的服务器中，例如，不同类别的日志存储于不同的服务器中，在获得日志后可以按照类别将日志存储到对应的服务器中，从而降低带宽等资源的占用，降低网络延迟。
本申请实施例还提供了一种计算机设备，参见图3，该图示出了本申请实施例提供的一种计算机设备的结构图，如图3所示，所述设备包括处理器310以及存储器320：
所述存储器310用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器320用于根据所述程序代码中的指令执行上述实施例提供的任一种日志处理方法。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序于执行上述实施例提供的任一种日志处理方法。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的日志处理方法。
需要说明的是，本发明提供的一种日志处理方法和相关装置可用于分布式领域或金融领域。上述仅为示例，并不对本发明提供的一种日志处理方法和相关装置的应用领域进行限定。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种日志处理方法，其特征在于，所述方法应用于包括多台服务器的服务器集群，所述服务器集群中至少两台所述服务器用于存储不同类别的日志，所述方法包括：
目标服务器获取待存储的目标日志，所述目标服务器为所述服务器集群中的一台服务器；
所述目标服务器获取所述目标日志所属的类别；
所述目标服务器根据所述目标日志所属的类别获取所述目标日志的存储路径；
所述目标服务器根据所述存储路径将所述目标日志存储至对应的服务器中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述目标服务器获取日志的类别划分规则，所述类别划分规则包括优先级、功能和产品中的一种或多种组合；
所述目标服务器根据所述类别划分规则确定所述日志对应的多个类别；
所述目标服务器获取所述目标日志所属的类别，包括：
所述目标服务器从所述多个类别中确定所述目标日志所属的类别。
3.根据权利要求1所述的方法，其特征在于，所述服务器集群包括多个子集群，不同所述子集群用于存储不同类别的日志，所述方法还包括：
所述目标服务器获取日志查询请求；
所述目标服务器根据所述日志查询请求获取待查询日志所属的类别；
所述目标服务器获取所述待查询日志所属的类别对应的数据路由表；
所述目标服务器根据所述数据路由表确定所述待查询日志所在的服务器；
所述目标服务器从所述待查询日志所在的服务器获取所述待查询日志。
4.根据权利要求3所述的方法，其特征在于，所述目标服务器包括Elasticsearch存储引擎，所述方法还包括：
若所述服务器集群新增目标子集群，所述目标服务器建立与所述目标子集群的远程集群关系；
所述目标服务器根据所述远程集群关系访问所述目标子集群。
5.根据权利要求3所述的方法，其特征在于，所述目标服务器包括Elasticsearch存储引擎，所述方法还包括：
若所述服务器集群新增目标子集群，所述目标服务器获取所述目标子集群存储的日志的类别；
所述目标服务器根据所述目标子集群存储的日志的类别建立对应的数据路由表。
6.根据权利要求1所述的方法，其特征在于，若所述目标服务器为所述服务器集群的主控节点，所述方法还包括：
所述目标服务器获取日志的类别的数量；
所述目标服务器将所述服务器集群中的多台服务器划分为M个子集群，M等于所述日志的类别的数量。
7.一种日志处理装置，其特征在于，所述装置应用于包括多台服务器的服务器集群，所述服务器集群中至少两台所述服务器用于存储不同类别的日志，所述装置包括：第一获取单元、第二获取单元、第三获取单元和存储单元；
所述第一获取单元，用于获取待存储的目标日志，所述目标服务器为所述服务器集群中的一台服务器；
所述第二获取单元，用于获取所述目标日志所属的类别；
所述第三获取单元，用于根据所述目标日志所属的类别获取所述目标日志的存储路径；
所述存储单元，用于根据所述存储路径将所述目标日志存储至对应的服务器中。
8.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-6任意一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-6任意一项所述的方法。
10.一种计算机程序产品，其特征在于，包括计算机程序或指令；当所述计算机程序或指令被处理器执行时，执行权利要求1-6任意一项所述的方法。
CN202211144313.5A 2022-09-20 2022-09-20 一种日志处理方法和相关装置 Pending CN115550458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211144313.5A CN115550458A (zh) 2022-09-20 2022-09-20 一种日志处理方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211144313.5A CN115550458A (zh) 2022-09-20 2022-09-20 一种日志处理方法和相关装置

Publications (1)

Publication Number Publication Date
CN115550458A true CN115550458A (zh) 2022-12-30

Family

ID=84726818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211144313.5A Pending CN115550458A (zh) 2022-09-20 2022-09-20 一种日志处理方法和相关装置

Country Status (1)

Country Link
CN (1) CN115550458A (zh)

Similar Documents

Publication Publication Date Title
US9460185B2 (en) Storage device selection for database partition replicas
CN111327681A (zh) 一种基于Kubernetes的云计算数据平台构建方法
CN103345508B (zh) 一种适用于社会网络图的数据存储方法及系统
CN106843745A (zh) 容量扩展方法及装置
CN111143382B (zh) 数据处理方法、系统和计算机可读存储介质
US20220083527A1 (en) Metadata routing in a distributed system
CN111552701B (zh) 确定分布式集群中数据一致性的方法及分布式数据系统
CN104657497A (zh) 一种基于分布式计算的海量用电信息并行计算系统及方法
CN113987064A (zh) 数据处理方法、系统及设备
CN112199427A (zh) 一种数据处理方法和系统
CN105827678B (zh) 一种基于高可用架构下的通信方法和节点
US11226986B2 (en) Data table partitioning management method and apparatus
CN115587118A (zh) 任务数据的维表关联处理方法及装置、电子设备
CN112685499A (zh) 一种工作业务流的流程数据同步方法、装置及设备
CN108228725B (zh) 基于分布式数据库的gis应用系统
CN117389830A (zh) 集群日志采集方法、装置、计算机设备及存储介质
CN113297159B (zh) 数据存储方法以及装置
CN114416868A (zh) 一种数据同步方法、装置、设备及存储介质
CN112000657A (zh) 数据管理方法、装置、服务器及存储介质
CN106815318B (zh) 一种时序数据库的集群化方法及系统
CN110874290B (zh) 分布式内存数据库的事务分析混合处理方法及数据库
CN112052104A (zh) 基于多机房实现的消息队列的管理方法及电子设备
CN115525717A (zh) 一种数据同步处理方法及装置
CN115934819A (zh) 一种工业时序数据库通用分布式扩展方法
US20240176762A1 (en) Geographically dispersed hybrid cloud cluster

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination