CN117909136A - 分布式日志存储备份方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及物流运输领域，公开了一种分布式日志存储备份方法、装置、设备及存储介质。该方法包括：构建分布式日志存储集群；对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点；对所述分布式日志存储集群的节点的读写请求进行负载均衡处理，根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点；将所述日志数据同步给副本存储节点进行存储，生成副本备份。本发明提供的是一种分布式日志存储备份方法，通过构建分布式日志存储集群对日志数据进行收集，并通过分布式冗余机制和部署跨区域节点的方式，扩展了存储能力，实现跨机房的数据冗余，并防止单点失效的风险，提高了日志数据的可用性与容灾恢复能力。

Description

分布式日志存储备份方法、装置、设备及存储介质

技术领域

本发明涉及分布式存储技术领域，尤其涉及一种分布式日志存储备份方法、装置、设备及存储介质。

背景技术

分布式存储系统指的是将数据分散存储在多台独立的设备上，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要，而分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

然而，现有技术中的容器集群平台的日志收集依赖于少数数据库或消息队列节点，这些节点承载日志数据存量巨大，且没有实现跨可用区的冗余机制，存在单点失效的风险，可用性较差，并且一旦发生故障，将面临日志数据大面积丢失和平台处理中断的严重后果，缺乏可靠性和容灾恢复能力。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于解决现有技术中容器集群平台的日志收集依赖于少数数据库或消息队列节点，这些节点承载日志数据存量巨大，且没有实现跨可用区的冗余机制，存在单点失效的风险，可用性较差，一旦发生故障，将面临日志数据大面积丢失和平台处理中断的问题。

本发明第一方面提供了一种分布式日志存储备份方法，包括：构建分布式日志存储集群；对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点；对所述分布式日志存储集群的节点的读写请求进行负载均衡处理，根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点；将所述日志数据同步给副本存储节点进行存储，生成副本备份。

可选的，在本发明第一方面的第一种实现方式中，所述构建分布式日志存储集群的步骤包括：基于分布式文件系统部署跨区存储节点；将所述跨区存储节点部署到多个数据中心，构建分布式日志存储集群。

可选的，在本发明第一方面的第二种实现方式中，所述对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点的步骤包括：根据所有已启用的所述分布式日志存储集群的节点构建候选集；根据主备选举算法从所述候选集的节点中选举存储主节点和副本存储节点。

可选的，在本发明第一方面的第三种实现方式中，所述对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点的步骤包括：根据所有已启用的所述分布式日志存储集群的节点构建候选集；根据主备选举算法从所述候选集的节点中选举存储主节点和副本存储节点。

可选的，在本发明第一方面的第四种实现方式中，所述对所述分布式日志存储集群的节点的读写请求进行负载均衡处理的步骤包括：将读请求自动散列到多个副本存储节点；将写请求通过quorum机制转发给副本存储节点；将读写请求的路由信息缓存在所述分布式日志存储集群的节点中。

可选的，在本发明第一方面的第五种实现方式中，所述对所述分布式日志存储集群的节点的读写请求进行负载均衡处理，根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点的步骤包括：在分布式日志存储集群的各个节点运行agent收集日志数据，并对所述日志数据进行预处理；根据分布式散列或轮询算法选择对应的存储主节点，并将预处理后的所述日志数据根据所述读写请求存储在所述存储主节点中。

可选的，在本发明第一方面的第六种实现方式中，所述对所述日志数据进行预处理的步骤包括：通过轮询扫描所述日志数据的文件目录，并解析所述日志数据的更新记录；通过正则表达式过滤无用的日志数据；根据所述日志数据的时间戳和所述日志数据的文件大小对所述日志进行切分；对所述日志数据进行流式压缩。

可选的，在本发明第一方面的第六种实现方式中，所述将所述日志数据同步给副本存储节点进行存储，生成副本备份的步骤包括：根据两阶段提交协议将所述日志数据同步给副本存储节点；根据所述日志数据生成日志数据集，并为所述日志数据集配置预设数量的副本备份；将所述日志数据集存储在所述副本存储节点中，生成多个副本备份。

本发明第二方面提供了一种分布式日志存储备份装置，包括：构建模块，用于构建分布式日志存储集群；划分模块，用于对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点；存储模块，用于对所述分布式日志存储集群的节点的读写请求进行负载均衡处理，根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点；备份模块，用于将所述日志数据同步给副本存储节点进行存储，生成副本备份。

可选的，在本发明第二方面的第一种实现方式中，所述构建模块包括：节点部署单元，用于基于分布式文件系统部署跨区存储节点；集群构建单元，用于将所述跨区存储节点部署到多个数据中心，构建分布式日志存储集群。

可选的，在本发明第二方面的第二种实现方式中，所述划分模块包括：节点收集单元，用于根据所有已启用的所述分布式日志存储集群的节点构建候选集；节点选举单元，用于根据主备选举算法从所述候选集的节点中选举存储主节点和副本存储节点。

可选的，在本发明第二方面的第三种实现方式中，所述存储模块包括：读请求处理单元，用于将读请求自动散列到多个副本存储节点；写请求处理单元，用于将写请求通过quorum机制转发给副本存储节点；路由缓存单元，用于将读写请求的路由信息缓存在所述分布式日志存储集群的节点中。

可选的，在本发明第二方面的第四种实现方式中，所述存储模块还包括：日志收集单元，用于在分布式日志存储集群的各个节点运行agent收集日志数据，并对所述日志数据进行预处理；日志存储单元，用于根据分布式散列或轮询算法选择对应的存储主节点，并将预处理后的所述日志数据根据所述读写请求存储在所述存储主节点中。

可选的，在本发明第二方面的第五种实现方式中，所述日志收集单元包括：扫描子单元，用于通过轮询扫描所述日志数据的文件目录，并解析所述日志数据的更新记录；过滤子单元，用于通过正则表达式过滤无用的日志数据；切分子单元，用于根据所述日志数据的时间戳和所述日志数据的文件大小对所述日志进行切分；压缩子单元，用于对所述日志数据进行流式压缩。

可选的，在本发明第二方面的第六种实现方式中，所述备份模块包括：同步单元，用于根据两阶段提交协议将所述日志数据同步给副本存储节点；副本配置单元，用于根据所述日志数据生成日志数据集，并为所述日志数据集配置预设数量的副本备份；存储单元，用于将所述日志数据集存储在所述副本存储节点中，生成多个副本备份。

本发明第三方面提供了一种分布式日志存储备份设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机可读指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述计算机可读指令，以使得所述分布式日志存储备份设备执行如上所述分布式日志存储备份方法的各个步骤。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，当其在计算机上运行时，使得计算机执行如上所述分布式日志存储备份方法的各个步骤。

有益效果：本发明的技术方案中，通过构建分布式存储集群作为日志的持久化基础设施，实现了日志数据的高效收集、冗余存储和容灾备份。具体来说，该方案使用分布式文件系统搭建的存储集群，实现了系统水平扩展能力，可以轻松应对日志数据量的快速增长。同时使用一致性协议和主备机制，保证了集群的高可用性，避免了单点故障。存储集群中的多副本机制进一步保证了日志的冗余备份，避免了数据丢失的风险。而跨数据中心的容灾存储集群则提供了异地容灾能力，具有更强的健壮性、容错性和容灾能力，是云平台日志收集与容灾备份的重要技术创新。

附图说明

图1为本发明实施例提供的分布式日志存储备份方法的第一种流程图；

图2为本发明实施例提供的分布式日志存储备份方法的第二种流程图；

图3为本发明实施例提供的分布式日志存储备份方法的第三种流程图；

图4为本发明实施例提供的分布式日志存储备份方法的第四种流程图；

图5为本发明实施例提供的分布式日志存储备份方法的第五种流程图；

图6为本发明实施例提供的分布式日志存储备份方法的第六种流程图；

图7为本发明实施例提供的分布式日志存储备份方法的第七种流程图；

图8为本发明实施例提供的分布式日志存储备份装置的一种结构示意图；

图9为本发明实施例提供的分布式日志存储备份装置的另一种结构示意图；

图10为本发明实施例提供的分布式日志存储备份设备的结构示意图。

具体实施方式

本发明实施例提供了一种分布式日志存储备份方法、装置、设备及存储介质，构建分布式日志存储集群；对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点；对所述分布式日志存储集群的节点的读写请求进行负载均衡处理，根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点；将所述日志数据同步给副本存储节点进行存储，生成副本备份。本发明解决了现有技术中的集群平台的日志收集依赖于少数数据库或消息队列节点，没有实现跨可用区的冗余机制，存在单点失效的风险，可用性较差，并且一旦发生故障，将面临日志数据大面积丢失和平台处理中断的严重后果，缺乏可靠性和容灾恢复能力的问题。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中分布式日志存储备份方法的第一个实施例包括：

S101、构建分布式日志存储集群；

在本实施例中，所述分布式日志集群是可扩展、可靠且易于管理的日志存储系统。明确构建分布式日志存储集群的需求和目标，确定需要存储的日志数量、日志大小、日志类型以及可接受的延迟时间等因素，并根据需求和目标，规划分布式日志存储集群的架构，通常，一个分布式日志存储集群由多个节点组成，每个节点负责存储和检索日志数据，可以配置存储的主节点和副本存储的从节点，以便数据可以分布在整个集群中，在每个集群节点上安装所选的日志系统软件，并按照配置文档进行相应的配置，确保所有节点都连接到适当的网络，并能够互相通信。

S102、对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点；

在本实施例中，对于分布式日志存储集群，节点划分是指将集群中的节点划分为存储主节点和副本存储节点的过程，其中，存储主节点负责接收和处理写入操作，并将写入的日志数据进行存储，副本存储节点则负责复制主节点上的日志数据，以提供冗余和容错性。

作为举例，首先需要确定集群中节点的数量和规模，这取决于系统的需求和性能要求，然后根据集群规模，将节点划分为存储主节点和副本存储节点。常见的划分方式是将其中一个节点作为主节点，其他节点作为副本存储节点，根据需求可以通过多种选举方法确定分布式集群中的一个或多个存储主节点，例如基于时间戳、权值、Token环、Raft协议等方式来进行主节点的选举，其中，存储主节点负责接收客户端的写入请求，并将写入的日志数据进行存储，它还负责将写入的数据复制到副本存储节点上，以提供冗余和容错性，且主节点通常具有更高的计算和存储能力；副本存储节点负责复制主节点上的日志数据，并在主节点发生故障时提供备份，副本存储节点的计算和存储能力相比于存储主节点更低，由于所述副本存储节点主要用于数据冗余，在进行资源分配时更侧重于负责更多处理任务的存储主节点。通过对分布式日志存储集群的节点进行划分，可以优化系统的性能和负载均衡，使得集群中的每个节点都能够充分发挥其功能。

S103、对所述分布式日志存储集群的节点的读写请求进行负载均衡处理，根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点；

在本实施例中，负载均衡是将网络流量分发到多个服务器上的技术，对于分布式日志存储集群，对节点的读写请求进行负载均衡处理是指将读写请求均匀地分配给集群中的各个节点，以实现负载均衡和提高系统的性能和可扩展性。当收到读写请求时，根据请求的类型和负载情况，选择合适的节点来处理请求，并将读取的日志数据存储到存储主节点。

作为举例，首先需要选择适合的负载均衡策略，常见的负载均衡策略包括轮询、随机、最少连接等，可以根据实际需求和系统特点，选择合适的负载均衡策略。当收到读写请求时，负载均衡器将请求分发给集群中的某个节点。根据负载均衡策略，选择一个节点来处理该请求，该处理节点通常是存储主节点，被选中的节点接收到读写请求后，根据请求的类型进行相应的处理，如果是读取请求，节点可以直接从本地存储中获取日志数据，并返回给客户端。如果是写入请求，节点将收集日志数据，并将其存储到存储主节点。通过对分布式日志存储集群的节点的读写请求进行负载均衡处理，可以将负载均匀地分配给各个节点，并将读取的日志数据存储到存储主节点，确保数据的可靠性和一致性，通过负载均衡处理机制可以优化系统的资源利用率。

S104、将所述日志数据同步给副本存储节点进行存储，生成副本备份；

在本实施例中，将日志数据同步给副本存储节点进行存储是指在分布式日志存储集群中，将存储主节点上的日志数据复制到副本存储节点上，以提供冗余备份和容错性，这样可以确保即使主节点发生故障或不可用，系统仍然能够继续正常运行。当主节点接收到写入请求时，将写入的日志数据存储到本地存储中，同时还负责将该日志数据同步给副本存储节点。副本存储节点从主节点获取日志数据，并将其复制到本地存储中，并使用复制协议(如Raft、Paxos等)来实现数据的同步和一致性。当副本存储节点成功复制存储主节点上的日志数据后，副本存储节点就成为了该日志数据的副本备份，在主节点发生故障或不可用时，副本存储节点可以接管存储主节点的角色，并继续提供服务，以确保分布式日志存储集群数据的安全性和持久性。

本实施例提供的是一种多分布式日志存储备份方法，通过构建分布式日志存储集群，对分布式日志存储集群的节点进行划分，对分布式日志存储集群的节点的读写请求进行负载均衡处理，根据读写请求收集日志数据，将日志数据存储到存储主节点，将日志数据同步给副本存储节点进行存储，生成副本备份，提供了异地容灾能力，具有更强的健壮性、容错性和容灾能力，是云平台日志收集与容灾备份的重要技术创新。

请参阅图2，本发明实施例中分布式日志存储备份方法的第二个实施例包括：

S201、基于分布式文件系统部署跨区存储节点；

S202、将所述跨区存储节点部署到多个数据中心，构建分布式日志存储集群。

在本实施例中，基于分布式文件系统部署跨区存储节点步骤是指在分布式日志存储集群中，通过使用分布式文件系统来部署跨区存储节点。这样可以将存储节点分布在不同的地理区域，以提供更好的可用性和容错性。

作为举例，首先选择适合的分布式文件系统，常见的分布式文件系统包括HadoopHDFS(Hadoop分布式文件系统)、CephFS(Ceph文件系统)、GlusterFS(Gluster FileSystem，Gluster文件系统)等，CephFS和GlusterFS都是开源的分布式文件系统，适用于构建容器云环境中的存储集群，它们提供了可靠的数据存储和访问机制，并支持多节点部署和数据复制。使用HTTP或专用RPC(Remote Procedure Call，远程过程调用)作为访问协议可以实现分布式文件系统环境中的存储访问。HTTP协议是一种常见的网络协议，具有广泛的兼容性和易用性。通过HTTP协议，容器可以通过RESTful API或其他HTTP接口与分布式存储集群进行交互。专用RPC是一种用于不同计算机之间通信的协议，它可以提供更高效和定制化的通信方式，适用于容器云环境中的存储访问需求。

作为举例，根据需求和地理位置，将存储节点部署到不同的地理区域。这些区域可以是不同的数据中心、机房或云服务提供商的不同地域，在跨区存储节点之间建立数据复制机制，配置合适的网络和路由设置，使得跨区存储节点能够相互访问和通信，例如通过使用虚拟专用网络(VPN)或其他网络连接方式来实现。通过基于分布式文件系统部署跨区存储节点，可以将存储节点分布在不同的地理区域，提供更好的可用性和容错性，这种部署方式可以减少单点故障的风险。

请参阅图3，本发明实施例中分布式日志存储备份方法的第三个实施例包括：

S301、根据所有已启用的所述分布式日志存储集群的节点构建候选集；

S302、根据主备选举算法从所述候选集的节点中选举存储主节点和副本存储节点。

在本实施例中，根据所有已启用的分布式日志存储集群的节点，构建候选集。这个候选集包含了可以作为存储主节点和副本存储节点的节点列表，在分布式日志存储集群中，有多个存储节点负责存储日志数据，这些节点可以是实际存储设备或虚拟节点，在集群启动时需要确定哪些节点能够参与存储；根据主备选举算法从候选集的节点中选举存储主节点和副本存储节点。通过主备选举算法选择存储主节点，该节点负责处理写入请求，并将数据复制到副本存储节点，副本存储节点作为主节点的冗余备份，用于在主节点故障时接管服务。

作为举例，首先可以通过集群管理工具或API来获取所有已启用的分布式日志存储集群的节点列表，从已启用的节点列表中选择部分或全部节点作为候选集，选择的方式可以根据预设策略，如节点的硬件配置、网络连接质量、负载情况等来确定。对于选定的候选节点，还可以进行健康检查以确保它们处于可用状态，包括检查节点的网络连通性、磁盘空间、CPU和内存利用率等指标。根据健康检查的结果，更新候选集中的节点列表，将不可用或不符合要求的节点从候选集中移除，并添加新的可用节点，达到实时更新可用节点的效果，可以确保只有可用和符合要求的节点被选为存储主节点和副本存储节点,提高存储集群的可用性和性能。

作为举例，将所有节点启动时纳入Candidate候选集，计算候选集中每个节点优先级值priority＝ipAddr+timestamp，即对于每个候选节点，可以通过将节点的IP地址和时间戳进行组合来获取其优先级，根据优先级将priority最大的节点选为Active主节点作为存储主节点，这个节点将负责处理写入请求和数据同步。通过主备选举算法，可以根据每个节点的优先级值来选择最合适的节点作为存储主节点。这样可以确保选择具有最高优先级的节点来承担存储主节点角色，从而提供高可用性和可靠性的存储服务。

在本发明的实施例中，假设有三个候选节点，它们的IP地址分别是a1、a2和a3。它们启动的时间戳分别是t1、t2和t3。计算得到的优先级值为：节点1：priority 1＝a1+t1，节点2：priority2＝a2+t2，节点3：priority3＝a3+t3，根据计算得到三个节点的优先级值，通过比较得到节点2的优先级值最大，那么节点2将被选为存储主节点，其余节点作为节点2的副本存储节点，这三个节点便可看作一个主从集群，也具备一定的容错性和容灾能力，当然，选举存储主节点也可以通过其他方法得到，例如基于时间戳、权值、Token环、Raft协议等方式来进行主节点的选举。

请参阅图4，本发明实施例中分布式日志存储备份方法的第四个实施例包括：

S401、将读请求自动散列到多个副本存储节点；

S402、将写请求通过quorum机制转发给副本存储节点；

S403、将读写请求的路由信息缓存在所述分布式日志存储集群的节点中。

在本实施例中，当有读请求到达时，分布式日志存储集群会自动将这个请求分散(散列)到多个副本存储节点，通过在分布式日志存储集群中选择合适的副本存储节点来处理读请求，可以实现数据的并行读取和分布式处理，这个过程通常使用负载均衡技术来实现，例如使用一致性哈希算法，根据请求的关键字或标识符将读请求散列到不同的副本存储节点，这可以通过在路由器、负载均衡器或代理服务器上配置相应的规则来实现，以便在保持数据一致性的同时，尽可能地将请求分配到不同的节点，这样做的目的是平衡负载，使得每个节点都能够处理一定的请求量，从而避免单一节点过载导致整个集群的性能下降。

对于写请求，分布式日志存储集群会使用一种称为quorum的机制来处理。Quorum机制是一种保证数据一致性的方法，它要求在写入操作被执行之前，至少有半数以上的副本存储节点已经确认收到了该操作，只有当这个条件满足时，写入操作才会被确认并返回给客户端，通过使用quorum机制，可以在多个副本存储节点之间进行投票和协商，即使在某些节点发生故障的情况下，这种机制可以确保数据仍然能够保持一致，使写请求能够被正确处理。此外，写请求在转发到副本存储节点时，还可以经过一些其他操作，例如前缀检查或写入校验码等，以确保数据的完整性和一致性。

作为举例，首先根据实际需求和系统特点，定义合适的quorum值，quorum值表示必须参与投票和协商的最小节点数，当收到写请求时，将其转发给多个副本存储节点，这些节点将根据quorum机制进行投票和协商，以确定写请求的正确处理。在quorum投票和协商过程中，副本存储节点将根据自己的状态和数据一致性要求，决定是否接受写请求并进行相应的数据更新。当quorum投票和协商完成后，将向客户端发送写请求的确认消息，这表示写请求已经被正确处理，并且数据已经在多个副本存储节点中同步，通过使用quorum机制转发写请求给副本存储节点，可以确保写请求的正确处理和数据的一致性并提高系统的可靠性和容错性，防止数据丢失或不一致。

为了提高读写性能，分布式日志存储集群通常会将路由信息缓存到客户端或各个节点中，当有新的读或写请求到达时，集群会首先检查节点缓存中是否有关于目标数据的路由信息，如果有，那么可以直接将请求路由到相应的节点，而无需进行额外的网络通信，以减少网络延迟，提高响应速度，缓存路由信息通常需要考虑到数据分布和节点的负载情况，以确保缓存的有效性和可靠性。

作为举例，可以在分布式日志存储集群的节点中，设置一个缓存来存储读写请求的路由信息，可以是一个分布式缓存系统，如Redis或Memcached，或者是自定义的缓存模块，当收到新的读写请求时，将其路由信息更新到缓存中，这样可以快速查找并确定请求应该被转发到哪个副本存储节点。为了保持路由信息的有效性，可以设置缓存的过期时间，并定期更新缓存中的路由信息，可以通过定时任务或事件触发机制来实现。通过将读写请求的路由信息缓存在分布式日志存储集群的节点中，可以减少对路由器或负载均衡器的依赖，提高请求的处理效率和系统的可扩展性，同时，缓存的路由信息可以帮助快速响应客户端的请求，提高系统的响应速度。

请参阅图5，本发明实施例中分布式日志存储备份方法的第五个实施例包括：

S501、在分布式日志存储集群的各个节点运行agent收集日志数据，并对所述日志数据进行预处理；

S502、根据分布式散列或轮询算法选择对应的存储主节点，并将预处理后的所述日志数据根据所述读写请求存储在所述存储主节点中。

在本实施例中，在分布式日志存储集群的各个节点运行agent收集日志数据，并对所述日志数据进行预处理，在集群的各个节点上运行agent程序，这些程序会定期或实时地收集日志数据，并对其进行适当的预处理。经过预处理后的日志数据便于后续的数据分析和存储，这种分布式架构使得收集和处理日志数据变得更加高效，使多个节点可以并行处理数据，减轻单个节点的负载。根据分布式散列或轮询算法选择对应的存储主节点，并将预处理后的所述日志数据根据所述读写请求存储在所述存储主节点中，当有新的日志数据需要存储时，分布式日志存储集群会根据分布式散列或轮询算法选择一个或多个存储主节点，所述算法通常会考虑到节点的负载情况、数据分布等因素，以确保数据的均匀分布和负载平衡。选择好储存主节点后，预处理后的日志数据会被存储在这些主节点上。当有读写请求到达时，请求会被路由到相应的存储主节点，并从该节点获取或写入日志数据。

作为举例，首先在分布式日志存储集群的每个节点上安装agent，可以是专门设计用于日志收集和预处理的软件，例如Fluentd、Filebeat等。所述agent采用后台常驻服务进程实现，支持Linux、Windows等多个平台，并由注册中心统一管理agent配置、状态信息等元数据，对每个节点上的agent进行配置，指定要收集的日志文件、日志格式等信息，或根据实际需求和系统特点进行相应的配置，agent会定期扫描指定的日志文件，收集其中的日志数据，例如使用适当的技术，如文件监控、日志文件追踪等来实现。收集到的日志数据可以进行一些预处理操作，可以根据实际需求来决定，以便后续存储和分析时能更好地处理数据。通过在分布式日志存储集群的各个节点上运行agent，可以实现分布式的日志收集和预处理，以将日志数据从各个节点收集到集中的存储系统中，并进行必要的预处理操作。

根据分布式散列或轮询算法选择对应的存储主节点，并将预处理后的所述日志数据根据所述读写请求存储在所述存储主节点，这一步骤是指根据分布式散列或轮询算法选择合适的存储主节点，并将经过预处理的日志数据根据读写请求存储在所选的存储主节点上，以实现数据的分布式存储和负载均衡。

在本发明的实施例中，可以选择适合的分布式散列或轮询算法来确定存储主节点。例如，一致性哈希算法可以根据日志数据的某个关键字或标识符将其映射到特定的存储主节点，根据选定的算法，将预处理后的日志数据映射到对应的存储主节点，例如通过计算散列值、轮询算法或其他方式来实现，根据读写请求，将预处理后的日志数据通过使用合适的存储协议或API存储在所选的存储主节点上。

例如，假设有一个分布式日志存储集群，其中包含三个存储主节点：Node1、Node2和Node3，根据一致性哈希算法，将预处理后的日志数据根据其关键字进行映射：日志数据A映射到Node2，日志数据B映射到Node1，日志数据C映射到Node3，根据读写请求，将相应的预处理后的日志数据存储在所选的存储主节点上，如果有一个写请求涉及日志数据A，那么它将被存储在Node2上，如果有一个读请求涉及日志数据B，那么它将从Node1上进行读取，由此实现分布式的读写指令分发和执行，将日志数据进行分布式的存储。

请参阅图6，本发明实施例中分布式日志存储备份方法的第六个实施例包括：

S601、通过轮询扫描所述日志数据的文件目录，并解析所述日志数据的更新记录；

S602、通过正则表达式过滤无用的日志数据；

S603、根据所述日志数据的时间戳和所述日志数据的文件大小对所述日志进行切分；

S604、对所述日志数据进行流式压缩。

在本实施例中，通过轮询扫描所述日志数据的文件目录，并解析所述日志数据的更新记录，首先，通过轮询扫描所述日志数据所在的文件目录，获取最新的日志文件，然后，对该日志文件进行解析，提取其中的更新记录，可以根据日志数据的格式和结构来实现，如按行解析或按特定的分隔符解析。通过正则表达式过滤无用的日志数据，在解析日志数据后，可以使用正则表达式来过滤掉无用的日志数据，通过定义适当的正则表达式模式，可以筛选出所需的日志数据，并排除不需要的数据，以帮助减少存储和处理无关的日志信息。根据所述日志数据的时间戳和所述日志数据的文件大小对所述日志进行切分，根据日志数据的时间戳和文件大小，可以对日志进行切分，例如根据一定的时间间隔或文件大小来定义，切分后的日志数据可以更好地管理和存储，以便后续的处理和查询。对所述日志数据进行流式压缩，最后，对预处理后的日志数据进行流式压缩，使用压缩算法，如LZ4或Gzip等，其中LZ4算法是一种高速压缩算法，它以快速的压缩和解压缩速度著称，它能够在几乎不影响性能的情况下，显著减小数据的大小，LZ4算法使用了一种基于哈希表的压缩算法，通过匹配和替换重复的数据块来实现高效的压缩，由于其高速性和低延迟特性，LZ4算法用于对实时数据进行压缩，如日志数据、网络传输数据等。而Gzip算法是一种通用的压缩算法，它使用DEFLATE压缩算法来压缩数据。Gzip算法可以显著减小数据的大小，但相对于LZ4算法来说，它的压缩和解压缩速度较慢。Gzip算法适用于对非实时数据进行压缩，如文件传输、备份等。在流式压缩中，LZ4和Gzip算法都可以实时地对数据流进行压缩，这意味着数据可以在生成或传输的同时被压缩，而无需等待整个数据流的完成，这对于大型数据流或实时数据处理非常有用，可以减少存储和传输的开销，并提高系统的性能和效率。通过对日志数据进行流式压缩，可以减少存储空间和网络传输的开销，压缩后的日志数据也可以更高效地存储和传输，并节省存储成本。

作为举例，假设有一个日志文件目录，其中包含多个日志文件，通过轮询扫描日志文件目录，获取最新的日志文件。然后，使用日志解析工具对该日志文件进行解析，根据日志文件的格式提取相关的信息，提取其中的更新记录。例如，可以按行解析日志数据，将每一行作为一个更新记录。使用适当的正则表达式模式，过滤掉无用的日志数据。例如，可以使用正则表达式匹配特定的关键字或模式，以筛选出所需的日志数据，并排除不需要的数据。根据日志数据的时间戳和文件大小，在达到一定时间间隔或文件大小时，将日志文件进行切割。例如，可以定义每小时一个日志文件或每个文件大小限制为100MB，以将日志数据按时间或大小进行分割，以便后续管理和处理。最后，对切分后的日志数据进行流式压缩。例如，使用gzip算法对日志数据进行压缩，以减少存储空间和网络传输的开销，并提高存储和传输效率。通过对日志数据进行预处理，包括解析、过滤、切分和压缩等步骤，可以提高日志数据的可管理性、存储效率和处理性能，以更好地支持后续的存储、分析和查询操作。

请参阅图7，本发明实施例中分布式日志存储备份方法的第七个实施例包括：

S701、根据两阶段提交协议将所述日志数据同步给副本存储节点；

S702、根据所述日志数据生成日志数据集，并为所述日志数据集配置预设数量的副本备份；

S703、将所述日志数据集存储在所述副本存储节点中，生成多个副本备份。

在本实施例中，使用两阶段提交协议将日志数据同步给副本存储节点，以确保数据的一致性和可靠性。两阶段提交协议是一种分布式事务协议，用于在多个节点之间协调和同步操作，当需要将日志数据同步给副本存储节点时，首先发送一个提交请求给所有相关的副本存储节点。第一阶段--准备：副本存储节点接收到提交请求后，会执行准备操作，这包括检查是否满足写入条件、分配资源等，如果准备成功，副本存储节点会返回准备就绪的消息。第二阶段--提交或回滚：如果所有副本存储节点都返回准备就绪的消息，那么发起者会发送一个提交命令给所有副本存储节点，副本存储节点收到提交命令后，会将日志数据写入到持久化存储中，并返回提交成功的消息。如果任何一个副本存储节点出现问题或无法提交，那么发起者会发送回滚命令给所有副本存储节点，以取消之前的操作。通过使用两阶段提交协议，可以确保日志数据在多个副本存储节点之间的一致性和可靠性，通过这种协议处理分布式环境下的并发写入，提供了故障恢复和数据一致性的机制。

根据日志数据生成日志数据集，并为该数据集配置预设数量的副本备份。日志数据集是指将多个日志数据合并成一个逻辑上的数据集合，以便更好地管理和存储。根据一定的规则或条件，将多个日志数据合并成一个日志数据集，如按时间、关键字或其他标识符进行合并，为所述日志数据集配置预设数量的副本备份，可以根据系统需求和容错能力来决定。最后将生成的日志数据集存储在副本存储节点上，并生成多个副本备份，以提供数据的冗余和容错性，以防止数据丢失或不可用。

作为举例，通过两阶段提交协议确保存储主节点(或数据源)的日志数据能够准确地同步到多个副本存储节点。阶段一：准备阶段，主节点向所有副本存储节点发送准备请求，告知它们将要执行数据同步操作。副本存储节点接收到准备请求后会进行检查，确保自身状态可以执行同步，并向主节点返回响应。阶段二：提交阶段，主节点根据收到的所有副本存储节点的响应，决定是否继续执行数据同步操作。如果所有副本存储节点都返回“同意”响应，存储主节点会向它们发送提交请求，表示可以执行数据同步。副本存储节点接收到提交请求后，会执行数据同步操作，并返回“已完成”的响应给主节点。主节点在收到所有副本存储节点的“已完成”响应后，确认数据已经成功同步，并向应用程序返回提交成功的结果。

根据所述日志数据生成日志数据集，并为所述日志数据集配置预设数量的副本备份是指在分布式系统中，将已经同步的日志数据生成一个数据集，然后根据系统要求为该数据集配置预设数量的副本备份，将已经同步的日志数据按照一定的标准或规则进行整理和组合，生成一个完整的日志数据集。这个日志数据集可以是一个文件、一个数据表或在数据库中的一个集合等形式，用于更方便地进行后续操作和分析。为了保证数据的可靠性和冗余备份，根据系统需求，为所述日志数据集配置预设数量的副本备份，这些副本备份可以存储在不同的物理节点上，以防止单点故障导致的数据丢失。例如，在一个分布式数据存储系统中，若要为日志数据集配置两个副本备份，可以选择将该数据集复制到另外两台物理节点上，并确保这些节点具有足够的存储空间和计算资源来支持数据备份的存储与处理，将所述日志数据集存储在所述副本存储节点中生成多个副本备份，即将数据集副本写入到预设的副本存储节点中，确保每个副本存储节点都具有完整的数据集副本。在实际应用中，根据具体的系统架构和需求，可以采用不同的方式来实现根据两阶段提交协议进行数据同步以及生成多个副本备份的流程。以上提供的示例的实施方案，其具体实施细节可以根据实际情况进行调整和优化。

上面对本发明实施例中分布式日志存储备份方法进行了描述，下面对本发明实施例中分布式日志存储备份装置进行描述，请参阅图8，本发明实施例中分布式日志存储备份装置一个实施例包括：

构建模块50，用于构建分布式日志存储集群；

划分模块60，用于对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点；

存储模块70，用于对所述分布式日志存储集群的节点的读写请求进行负载均衡处理，根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点；

备份模块80，用于将所述日志数据同步给副本存储节点进行存储，生成副本备份。

本实施例中，通过分布式冗余机制和部署跨区域节点的方式，可轻松扩展日志的存储能力，实现跨机房的数据冗余，并防止单点失效的风险，大幅提高了日志数据的可用性与容灾恢复能力。

请参阅图9，本发明实施例中分布式日志存储备份装置的另一个实施例包括：

构建模块50，用于构建分布式日志存储集群；

划分模块60，用于对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点；

存储模块70，用于对所述分布式日志存储集群的节点的读写请求进行负载均衡处理，根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点；

备份模块80，用于将所述日志数据同步给副本存储节点进行存储，生成副本备份。

在本实施例中，所述构建模块50包括：

节点部署单元501，用于基于分布式文件系统部署跨区存储节点；

集群构建单元502，用于将所述跨区存储节点部署到多个数据中心，构建分布式日志存储集群。

在本实施例中，所述划分模块60包括：

节点收集单元601，用于根据所有已启用的所述分布式日志存储集群的节点构建候选集；

节点选举单元602，用于根据主备选举算法从所述候选集的节点中选举存储主节点和副本存储节点.

在本实施例中，所述存储模块70包括：

读请求处理单元701，用于将读请求自动散列到多个副本存储节点；

写请求处理单元702，用于将写请求通过quorum机制转发给副本存储节点；

路由缓存单元703，用于将读写请求的路由信息缓存在所述分布式日志存储集群的节点中。

在本实施例中，所述存储模块70还包括：

日志收集单元704，用于在分布式日志存储集群的各个节点运行agent收集日志数据，并对所述日志数据进行预处理；

日志存储单元705，用于根据分布式散列或轮询算法选择对应的存储主节点，并将预处理后的所述日志数据根据所述读写请求存储在所述存储主节点中。

在本实施例中，所述日志收集单元704包括：

扫描子单元7041，用于通过轮询扫描所述日志数据的文件目录，并解析所述日志数据的更新记录；

过滤子单元7042，用于通过正则表达式过滤无用的日志数据；

切分子单元7043，用于根据所述日志数据的时间戳和所述日志数据的文件大小对所述日志进行切分；

压缩子单元7044，用于对所述日志数据进行流式压缩。

在本实施例中，所述备份模块80包括：

同步单元801，用于根据两阶段提交协议将所述日志数据同步给副本存储节点；

副本配置单元802，用于根据所述日志数据生成日志数据集，并为所述日志数据集配置预设数量的副本备份；

存储单元803，用于将所述日志数据集存储在所述副本存储节点中，生成多个副本备份。

本发明提供的是一种分布式日志存储备份方法，通过构建分布式日志存储集群对日志数据进行收集备份，并通过分布式冗余机制和部署跨区域节点的方式，可轻松扩展日志的存储能力，实现跨机房的数据冗余，并防止单点失效的风险，大幅提高了日志数据的可用性与容灾恢复能力。

上面图8和图9从模块化功能实体的角度对本发明实施例中的分布式日志存储备份装置进行详细描述，下面从硬件处理的角度对本发明实施例中分布式日志存储备份设备进行详细描述。

图10是本发明实施例提供的一种分布式日志存储备份设备的结构示意图，该分布式日志存储备份设备10可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)11(例如，一个或一个以上处理器)和存储器12，一个或一个以上存储应用程序133或数据132的存储介质13(例如一个或一个以上海量存储设备)。其中，存储器12和存储介质13可以是短暂存储或持久存储。存储在存储介质13的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对分布式日志存储备份设备10中的一系列指令操作。更进一步地，处理器11可以设置为与存储介质13通信，在分布式日志存储备份设备10上执行存储介质13中的一系列指令操作。

分布式日志存储备份设备10还可以包括一个或一个以上电源14，一个或一个以上有线或无线网络接口15，一个或一个以上输入输出接口16，和/或，一个或一个以上操作系统131，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图10示出的设备结构并不构成对分布式日志存储备份设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行分布式日志存储备份方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种分布式日志存储备份方法，其特征在于，所述分布式日志存储备份方法包括：

构建分布式日志存储集群；

对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点；

对所述分布式日志存储集群的节点的读写请求进行负载均衡处理，根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点；

将所述日志数据同步给副本存储节点进行存储，生成副本备份。

2.根据权利要求1所述分布式日志存储备份方法，其特征在于，所述构建分布式日志存储集群的步骤包括：

基于分布式文件系统部署跨区存储节点；

将所述跨区存储节点部署到多个数据中心，构建分布式日志存储集群。

3.根据权利要求1所述分布式日志存储备份方法，其特征在于，所述对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点的步骤包括：

根据所有已启用的所述分布式日志存储集群的节点构建候选集；

根据主备选举算法从所述候选集的节点中选举存储主节点和副本存储节点。

4.根据权利要求1所述分布式日志存储备份方法，其特征在于，所述对所述分布式日志存储集群的节点的读写请求进行负载均衡处理的步骤包括：

将读请求自动散列到多个副本存储节点；

将写请求通过quorum机制转发给副本存储节点；

将读写请求的路由信息缓存在所述分布式日志存储集群的节点中。

5.根据权利要求1所述分布式日志存储备份方法，其特征在于，所述根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点的步骤包括：

在分布式日志存储集群的各个节点运行agent收集日志数据，并对所述日志数据进行预处理；

根据分布式散列或轮询算法选择对应的存储主节点，并将预处理后的所述日志数据根据所述读写请求存储在所述存储主节点中。

6.根据权利要求5所述分布式日志存储备份方法，其特征在于，所述对所述日志数据进行预处理的步骤包括：

通过轮询扫描所述日志数据的文件目录，并解析所述日志数据的更新记录；

通过正则表达式过滤无用的日志数据；

根据所述日志数据的时间戳和所述日志数据的文件大小对所述日志进行切分；

对所述日志数据进行流式压缩。

7.根据权利要求1所述分布式日志存储备份方法，其特征在于，所述将所述日志数据同步给副本存储节点进行存储，生成副本备份的步骤包括：

根据两阶段提交协议将所述日志数据同步给副本存储节点；

根据所述日志数据生成日志数据集，并为所述日志数据集配置预设数量的副本备份；

将所述日志数据集存储在所述副本存储节点中，生成多个副本备份。

8.一种分布式日志存储备份装置，其特征在于，包括：

构建模块，用于构建分布式日志存储集群；

划分模块，用于对所述分布式日志存储集群的节点进行划分，得到存储主节点和副本存储节点；

存储模块，用于对所述分布式日志存储集群的节点的读写请求进行负载均衡处理，根据所述读写请求收集日志数据，将所述日志数据存储到所述存储主节点；

备份模块，用于将所述日志数据同步给副本存储节点进行存储，生成副本备份。

9.一种分布式日志存储备份设备，其特征在于，包括存储器和至少一个处理器，所述存储器中存储有计算机可读指令；

所述至少一个处理器调用所述存储器中的所述计算机可读指令，以执行如权利要求1-7中任一项所述分布式日志存储备份方法的各个步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1-7中任一项所述分布式日志存储备份方法的各个步骤。