CN111625397B - 业务日志备份方法、集群、装置、电子设备及存储介质 - Google Patents
业务日志备份方法、集群、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111625397B CN111625397B CN202010292475.8A CN202010292475A CN111625397B CN 111625397 B CN111625397 B CN 111625397B CN 202010292475 A CN202010292475 A CN 202010292475A CN 111625397 B CN111625397 B CN 111625397B
- Authority
- CN
- China
- Prior art keywords
- log
- log file
- backup
- file name
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
Abstract
本发明提供了一种业务日志备份方法、集群、装置、电子设备及存储介质。所述方法包括：从第一备份路径下的磁盘中获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，从当前日志文件名称及MD5列表中查询与第一MD5值相同的第一日志文件名称的日志文件名序号n，从滚卷存储的业务日志系统复制日志文件名序号为m至n‑1的日志文件及MD5列表，并进行日志文件的重命名，再存储在第一备份路径下的磁盘中。从当前日志文件名称及MD5列表中查询与第一MD5值相同的第一日志文件名称，并获取第一日志文件名称的日志文件名序号n，便可确定新生成了多少日志文件，并进行文件的复制，从而在日志文件被删除之前对其进行备份，以实现对日志文件的追溯。
Description
技术领域
本发明涉及日志存储领域，尤其涉及一种业务日志备份方法、装置、电子设备及存储介质。
背景技术
系统的业务日志使用滚卷存储的方式，可以指定存储每个日志的大小和日志文件个数，存满后时间最久的日志会自动删除，总日志量不会超过限定值，但同时也会导致部分日志超过限定值后无法追溯，对于一些运行一段时间的业务系统，可能初始磁盘空间规划较小，或可能无法动态调整磁盘空间，导致无法备份超过限定值后被删除的日志文件，在大多数商用的软件系统上存在诸多限制，且软件升级的周期和成本较高，短时间内无法迅速实现软件升级。
发明内容
本发明实施例提供一种滚卷存储的业务日志备份方法和装置，旨在将日志文件在被删除之前进行备份存储，以便实现日志文件的追溯。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种滚卷存储的业务日志备份方法，包括：
备份策略启动时，获取滚卷存储的业务日志系统中的当前日志文件名称及MD5列表；
从第一备份路径下的磁盘中获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，其中，日志文件名序号为大于等于1的正整数，m小于日志文件量的限定值；
从所述当前日志文件名称及MD5列表中查询与所述第一MD5值相同的第一日志文件名称，并获取所述第一日志文件名称的日志文件名序号n；
从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号为m至n-1的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。
可选地，所述方法还包括：
查询第一备份路径下的磁盘中是否有日志文件，根据查询结果判断是否为首次执行该备份策略；
若是首次执行该备份策略，则从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号大于等于m的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。
可选地，所述方法还包括：
汇总策略启动时，从第一备份路径下的磁盘中获取新的重命名后的日志文件，并将其存储在第二备份路径下的磁盘中。
可选地，所述方法还包括：
设置定时任务，所述定时任务包括备份策略时间间隔和汇总策略时间间隔，所述备份策略时间间隔小于单个日志文件生成的平均时间，每经过一次备份策略时间间隔的时长，备份策略启动，每经过一次汇总策略时间间隔的时长，汇总策略启动。
第二方面，本发明实施例提供了一种滚卷存储的业务日志汇总存储集群，包括：
多个备份服务器和一个汇总服务器；
每个备份服务器用于在备份策略启动时，执行滚卷存储的业务日志存储方法中的备份策略；
所述汇总服务器用于在汇总策略启动时，执行滚卷存储的业务日志存储方法中的汇总策略，获取并存储每个备份服务器备份的新的日志文件。
第三方面，本发明实施例提供了一种滚卷存储的业务日志备份装置，包括：
第一获得模块，用于备份策略启动时，获取滚卷存储的业务日志系统中的当前日志文件名称及MD5列表；
第二获得模块，用于从第一备份路径下的磁盘中获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，其中，日志文件名序号为大于等于1的正整数，m小于日志文件量的限定值；
第一查询模块，用于从所述当前日志文件名称及MD5列表中查询与所述第一MD5值相同的第一日志文件名称，并获取所述第一日志文件名称的日志文件名序号n；
第一备份模块，用于从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号为m至n-1的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。
可选地，所述装置还包括：
第二查询模块，用于查询第一备份路径下的磁盘中是否有日志文件，根据查询结果判断是否为首次执行该备份策略；
第二备份模块，用于若是首次执行该备份策略，则从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号大于等于m的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。
可选地，所述装置还包括：
定时模块，用于设置定时任务，所述定时任务包括备份策略时间间隔和汇总策略时间间隔，所述备份策略时间间隔小于单个日志文件生成的平均时间，每经过一次备份策略时间间隔的时长，备份策略启动，每经过一次汇总策略时间间隔的时长，汇总策略启动。
第四方面，本发明实施例另外提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的滚卷存储的业务日志备份方法的步骤。
第五方面，本发明实施例另外提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的滚卷存储的业务日志备份方法的步骤。
在本发明实施例中，通过在备份策略启动时，获取滚卷存储的业务日志系统中的当前日志文件名称及MD5列表，从第一备份路径下的磁盘中获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，从当前日志文件名称及MD5列表中查询与第一MD5值相同的第一日志文件名称，并获取第一日志文件名称的日志文件名序号n，从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号为m至n-1的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。在滚卷存储的业务日志存储方式中，单个日志文件会不断进行重命名，其日志文件名的序号会不断改变，但该日志文件的MD5值永远不会改变，通过获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，从当前日志文件名称及MD5列表中查询与第一MD5值相同的第一日志文件名称，并获取第一日志文件名称的日志文件名序号n，便可确定新生成了多少日志文件，并复制存储日志文件名序号为m至n-1的日志文件及MD5列表，从而在日志文件被删除之前对其进行备份，以实现对日志文件的追溯。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种滚卷存储的流程示例图；
图2是本发明实施例中一种滚卷存储的业务日志备份方法的步骤流程图；
图3是本发明实施例中一种首次执行滚卷存储的业务日志汇总存储策略时序图；
图4是本发明实施例中一种非首次执行滚卷存储的业务日志汇总存储策略时序图；
图5是本发明实施例中一种滚卷存储的业务日志汇总存储集群的示意图；
图6是本发明实施例中一种滚卷存储的业务日志备份装置的示意图；
图7是本发明实施例中的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在具体介绍本发明的技术方案之前，先对本发明中涉及的术语进行解释。
滚卷存储：是一种业务系统的日志存储方法，业务系统通过控制单个日志文件的大小和日志文件的个数，将超过限制的文件删除，达到控制总体日志文件的大小的目的。
业务日志：记录业务系统的服务的日志，区别于系统日志，记录的是程序开发人员编写的业务请求信息或状态、各种错误消息、警告或其他事件，可以用于业务系统的服务审计、问题分析或问题追溯等。
MD5：是指MD5信息摘要算法。MD5信息摘要算法(MD5Message-Digest Algorithm)是一种被广泛使用的密码散列函数，可以产生出一个128位(16字节)的散列值(hashvalue)，用于确保信息传输完整一致。在本发明中用于检查文件一致性。
定时任务：预置的一种定时执行的任务，到达指定的时间自动执行，包括一次性定时任务和循环定时任务等类型。在本发明中的具体实例中，使用的是循环定时任务脚本，每隔一段指定时间后自动执行脚本文件，达到定时执行任务的目的。
图1是本发明实施例中一种滚卷存储的流程示例图。如图1所示，具体的流程示例包括以下步骤：
步骤S101：写新日志，例如日志文件名为service.log，单个日志文件大小1M，保存历史日志文件个数5个；
步骤S102：当service.log写到1M后，则将该文件重命名为service.log.1，然后将新的日志再写到新的service.log文件中；
步骤S103：重复上述操作，当尚未生成service.log.5，且当新的service.log写到1M后，将日志倒序依次重命名，即将文件名为service.log.1的文件重命名为service.log.2，将文件名为service.log.2的文件重命名为service.log.3，以此类推，然后将新的日志再写到新的service.log文件中。
步骤S104：当已经生成service.log.5，且新的service.log写到1M后，将service.log.5删除，再将日志倒序依次重命名，最后将新的日志再写到新的service.log文件中。
图2是本发明实施例中一种滚卷存储的业务日志存储方法的步骤流程图，如图2所示，所述方法包括以下步骤：
步骤S201：备份策略启动时，获取滚卷存储的业务日志系统中的当前日志文件名称及MD5列表。
在本实施方式中，每当备份策略启动时，便进行日志文件的备份操作，首先获取滚卷存储的业务日志系统中的当前日志文件名称及MD5列表，每个日志文件都有一个唯一对应的MD5值，且该日志文件的MD5值永远不会变化，当前时刻，每个日志文件的日志文件名称是确定的，获取的当前日志文件名称及MD5列表，包含当前时刻每个日志文件的日志文件名称以及其对应的MD5值。
步骤S202：从第一备份路径下的磁盘中获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，其中，日志文件名序号为大于等于1的正整数，m小于日志文件量的限定值。
在本实施方式中，第一备份路径下的磁盘中已经存储有从滚卷存储的业务日志系统中备份的日志文件，从上一次备份的日志文件中，获取日志文件名序号为m的日志文件的第一MD5值，日志文件名序号为滚卷存储时日志文件重命名后的序号，例如日志文件重命名为service.log.2，该日志文件的日志文件名序号为2，若该滚卷存储的业务日志系统最多存储5个日志文件，多余的日志文件会被删除，则日志文件量的限定值为5，日志文件量的限定值根据滚卷存储的业务日志系统设定而来，不同的滚卷存储的业务日志系统会有不同的日志文件量的限定值，日志文件名序号为大于等于1的正整数，且不大于日志文件量的限定值，m小于日志文件量的限定值，且在具体的实施过程中，m的值尽量小，以防止在上次备份到此次备份的时间段内生成过多日志文件而删除掉其中的部分日志文件。
步骤S203：从所述当前日志文件名称及MD5列表中查询与所述第一MD5值相同的第一日志文件名称，并获取所述第一日志文件名称的日志文件名序号n。
在本实施方式中，由于日志文件的MD5值不变，在上一次备份策略启动到此次备份策略启动的时间段内，会生成日志文件，然后会对日志文件进行重命名，从当前日志文件名称及MD5列表中查询与第一MD5值相同的第一日志文件名称，并获取第一日志文件名称的日志文件名序号n，按照滚卷存储的日志文件重命名方式，每生成一个日志文件，便会对所有的日志文件进行重命名，且每个日志文件的日志文件名序号加1，例如，上一次备份时的MD5值为1的日志文件，由于日志文件的MD5值不变，通过MD5值找到对应的第一日志文件名称，并获取第一日志文件名称的日志文件名序号n，如果新生成了2个日志文件，则n的值为3。
步骤S204：从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号为m至n-1的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。
在本实施方式中，从当前的滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号为m至n-1的日志文件及MD5列表，m至n-1的日志文件的个数刚好为n-m个，n-m也为上次备份策略启动到此次备份策略启动的时间段内新生成的日志文件的个数，从而将新生成的日志文件在被滚卷存储的业务日志系统删除之前将其备份。例如，若m为1，如果新生成了2个日志文件，则n的值为3，便复制日志文件名序号为1和2的日志文件及对应的MD5值，若n等于m,则表明没有新生成的日志文件，不进行日志文件的复制，此次备份结束。
复制了日志文件名序号为m至n-1的日志文件及MD5列表后，根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，以防止日志文件名重复，且按照日志文件生成时间和本机IP进行日志文件的重命名，能够便于对日志文件的追溯。
在具体实施时，日志文件的重命名举例为：若复制的日志文件的名称为http.log.01和http.log.02，其生成的时间分别为：2020年4月11日13点57分20秒和2020年4月11日13点57分50秒，本机IP为IP1，则将这两个文件重命名为20200411135720_IP1_http.log和20200411135750_IP1_http.log。
对复制的日志文件重命名后，将重命名后的日志文件存储在第一备份路径下的磁盘中，作为备份日志文件。还需要记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值，并将其存储在第一备份路径下的磁盘中，以便下一次备份策略启动时，能够获取本次备份时日志文件中日志文件名序号为m的日志文件的第一MD5值。
在本发明实施例中，通过在备份策略启动时，获取滚卷存储的业务日志系统中的当前日志文件名称及MD5列表，从第一备份路径下的磁盘中获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，从当前日志文件名称及MD5列表中查询与第一MD5值相同的第一日志文件名称，并获取第一日志文件名称的日志文件名序号n，从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号为m至n-1的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。在滚卷存储的业务日志存储方式中，单个日志文件会不断进行重命名，其日志文件名的序号会不断改变，但该日志文件对应的唯一的MD5值永远不会改变，通过获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，从当前日志文件名称及MD5列表中查询与第一MD5值相同的第一日志文件名称，并获取第一日志文件名称的日志文件名序号n，便可确定新生成了多少日志文件，并复制存储日志文件名序号为m至n-1的日志文件及MD5列表，从而在日志文件被删除之前对其进行备份，以实现对日志文件的追溯。
在一种可行的实施方式中，所述方法还包括：
查询第一备份路径下的磁盘中是否有日志文件，根据查询结果判断是否为首次执行该备份策略；
若是首次执行该备份策略，则从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号大于等于m的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。
在备份策略启动时，获取滚卷存储的业务日志系统中的当前日志文件名称及MD5列表后，需要判断是否是首次执行备份策略，通过查询第一备份路径下的磁盘中是否有日志文件，如果有，便已经执行过备份策略，且保存备份了日志文件，如果没有日志文件，便是首次执行该备份策略，直接从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号大于等于m的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，日志文件的重命名方法和上述步骤S204中的方法相同，将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值，以便后续每次备份时都以日志文件中日志文件名序号为m的日志文件开始进行复制。
在一种可行的实施方式中，所述方法还包括：
汇总策略启动时，从第一备份路径下的磁盘中获取新的重命名后的日志文件，并将其存储在第二备份路径下的磁盘中。
在本实施方式中，当汇总策略启动时，对每个服务器备份的日志文件进行汇总存储，从第一备份路径下的磁盘中获取新的重命名后的日志文件，并将其存储在第二备份路径下的磁盘中，以便进行统一存储，便于对日志文件进行查找。
在一种可行的实施方式中，所述方法还包括：
设置定时任务，所述定时任务包括备份策略时间间隔和汇总策略时间间隔，所述备份策略时间间隔小于单个日志文件生成的平均时间，每经过一次备份策略时间间隔的时长，备份策略启动，每经过一次汇总策略时间间隔的时长，汇总策略启动。
在本实施方式中，需要先设置定时任务，对每个备份服务器设置备份策略时间间隔，对汇总服务器设置汇总策略时间间隔，每经过一次备份策略时间间隔的时长，备份策略启动，每经过一次汇总策略时间间隔的时长，汇总策略启动，每个备份服务器的备份策略时间间隔可不同，但每个备份服务器的备份策略时间间隔小于本机的滚卷存储的业务日志系统的单个日志文件生成的平均时间，以避免在备份策略时间间隔的时间段内生成太多日志文件而导致部分日志文件被删除。
图3是本发明实施例中一种首次执行滚卷存储的业务日志汇总存储策略时序图，如图3所示，本机的策略即为本机服务器所执行的备份策略，集群汇总的策略即为汇总服务器所执行的汇总策略。本机的备份策略启动时，本机服务器从本机的滚卷存储的业务日志系统获取并得到当前日志文件名称及MD5列表，在查询到第一备份路径下的磁盘中没有日志文件，则复制从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号大于等于m的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值，在汇总策略启动时，汇总服务器从本机服务器备份文件的第一备份路径下的磁盘中获取新的重命名后的日志文件，并将其存储在第二备份路径下的磁盘中。
图4是本发明实施例中一种非首次执行滚卷存储的业务日志汇总存储策略时序图，如图4所示，本机的策略即为本机服务器所执行的备份策略，集群汇总的策略即为汇总服务器所执行的汇总策略。本机的备份策略启动时，本机服务器从本机的滚卷存储的业务日志系统获取并得到当前日志文件名称及MD5列表，从第一备份路径下的磁盘中获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，从所述当前日志文件名称及MD5列表中查询与所述第一MD5值相同的第一日志文件名称，并获取所述第一日志文件名称的日志文件名序号n，从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号为m至n-1的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值，在汇总策略启动时，汇总服务器从本机服务器备份文件的第一备份路径下的磁盘中获取新的重命名后的日志文件，并将其存储在第二备份路径下的磁盘中。
基于同一发明构思，本发明一实施例提供了一种滚卷存储的业务日志汇总存储集群，图5是本发明实施例中一种滚卷存储的业务日志汇总存储集群的示意图，如图5所示，所述集群包括：
多个备份服务器和一个汇总服务器；
每个备份服务器用于在备份策略启动时，执行滚卷存储的业务日志存储方法中的备份策略；
所述汇总服务器用于在汇总策略启动时，执行滚卷存储的业务日志存储方法中的汇总策略，获取并存储每个备份服务器备份的新的日志文件。
汇总服务器能够复制并存储所有备份服务器备份的日志文件，以便于日志文件的查询与获取。具体的备份策略以及汇总策略请参见上述内容，在此不再赘述。
基于同一发明构思，本发明一实施例提供了一种滚卷存储的业务日志备份装置，参考图6，图6是本发明实施例中一种滚卷存储的业务日志存储装置的示意图。如图6所示，该装置包括：
第一获得模块601，用于备份策略启动时，获取滚卷存储的业务日志系统中的当前日志文件名称及MD5列表；
第二获得模块602，用于从第一备份路径下的磁盘中获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，其中，日志文件名序号为大于等于1的正整数，m小于日志文件量的限定值；
第一查询模块603，用于从所述当前日志文件名称及MD5列表中查询与所述第一MD5值相同的第一日志文件名称，并获取所述第一日志文件名称的日志文件名序号n；
第一备份模块604，用于从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号为m至n-1的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。
可选地，所述装置还包括：
第二查询模块，用于查询第一备份路径下的磁盘中是否有日志文件，根据查询结果判断是否为首次执行该备份策略；
第二备份模块，用于若是首次执行该备份策略，则从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号大于等于m的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。
可选地，所述装置还包括：
定时模块，用于设置定时任务，所述定时任务包括备份策略时间间隔和汇总策略时间间隔，所述备份策略时间间隔小于单个日志文件生成的平均时间，每经过一次备份策略时间间隔的时长，备份策略启动，每经过一次汇总策略时间间隔的时长，汇总策略启动。
图7是本发明实施例中的一种电子设备的结构示意图，如图7所示，本申请还提供了一种电子设备，包括：
一个或多个处理器71；
其上存储有指令的一个或多个存储器72，当由所述一个或多个处理器71执行时，使得所述装置执行一种滚卷存储的业务日志备份方法。
本申请还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器71执行时，使得电子设备能够执行实现所述的一种滚卷存储的业务日志备份方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种业务日志备份方法、集群、装置、电子设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种滚卷存储的业务日志备份方法，其特征在于，包括：
备份策略启动时，获取滚卷存储的业务日志系统中的当前日志文件名称及MD5列表；
从第一备份路径下的磁盘中获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，其中，日志文件名序号为大于等于1的正整数，m小于日志文件量的限定值；
从所述当前日志文件名称及MD5列表中查询与所述第一MD5值相同的第一日志文件名称，并获取所述第一日志文件名称的日志文件名序号n；
从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号为m至n－1的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值；
所述方法还包括：
汇总策略启动时，从第一备份路径下的磁盘中获取新的重命名后的日志文件，并将其存储在第二备份路径下的磁盘中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
查询第一备份路径下的磁盘中是否有日志文件，根据查询结果判断是否为首次执行该备份策略；
若是首次执行该备份策略，则从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号大于等于m的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
设置定时任务，所述定时任务包括备份策略时间间隔和汇总策略时间间隔，所述备份策略时间间隔小于单个日志文件生成的平均时间，每经过一次备份策略时间间隔的时长，备份策略启动，每经过一次汇总策略时间间隔的时长，汇总策略启动。
4.一种滚卷存储的业务日志汇总存储集群，其特征在于，包括：
多个备份服务器和一个汇总服务器；
每个备份服务器用于在备份策略启动时，执行滚卷存储的业务日志存储方法中的备份策略；
所述汇总服务器用于在汇总策略启动时，执行滚卷存储的业务日志存储方法中的汇总策略，获取并存储每个备份服务器备份的新的日志文件；
其中，业务日志汇总存储集群用于执行权利要求1-3任一项所述的业务日志备份方法。
5.一种滚卷存储的业务日志备份装置，其特征在于，包括：
第一获得模块，用于备份策略启动时，获取滚卷存储的业务日志系统中的当前日志文件名称及MD5列表；
第二获得模块，用于从第一备份路径下的磁盘中获取上一次备份的日志文件中日志文件名序号为m的日志文件的第一MD5值，其中，日志文件名序号为大于等于1的正整数，m小于日志文件量的限定值；
第一查询模块，用于从所述当前日志文件名称及MD5列表中查询与所述第一MD5值相同的第一日志文件名称，并获取所述第一日志文件名称的日志文件名序号n；
第一备份模块，用于从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号为m至n－1的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值；
汇总模块，用于汇总策略启动时，从第一备份路径下的磁盘中获取新的重命名后的日志文件，并将其存储在第二备份路径下的磁盘中。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二查询模块，用于查询第一备份路径下的磁盘中是否有日志文件，根据查询结果判断是否为首次执行该备份策略；
第二备份模块，用于若是首次执行该备份策略，则从滚卷存储的业务日志系统的原始日志路径，复制日志文件名序号大于等于m的日志文件及MD5列表，并根据日志文件生成时间和本机IP对复制的日志文件进行重命名，并将重命名后的日志文件存储在第一备份路径下的磁盘中，并记录本次备份时获取的日志文件中日志文件名序号为m的日志文件的第一MD5值。
7.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至3中任一项所述的滚卷存储的业务日志备份方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至3中任一项所述的滚卷存储的业务日志备份方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010292475.8A CN111625397B (zh) | 2020-04-14 | 2020-04-14 | 业务日志备份方法、集群、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010292475.8A CN111625397B (zh) | 2020-04-14 | 2020-04-14 | 业务日志备份方法、集群、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111625397A CN111625397A (zh) | 2020-09-04 |
| CN111625397B true CN111625397B (zh) | 2023-09-12 |
Family
ID=72259713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010292475.8A Active CN111625397B (zh) | 2020-04-14 | 2020-04-14 | 业务日志备份方法、集群、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111625397B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113760683B (zh) * | 2021-08-31 | 2024-02-20 | 银清科技有限公司 | 日志采集方法及装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001290686A (ja) * | 2000-02-04 | 2001-10-19 | Fujitsu Ltd | ディスク共用ファイルシステムにおけるバックアップシステムおよび方法 |
| JP2008046847A (ja) * | 2006-08-15 | 2008-02-28 | Nippon Telegr & Teleph Corp <Ntt> | アダプタ生成装置、方法およびプログラム |
| US7739464B1 (en) * | 2004-06-30 | 2010-06-15 | Symantec Operating Corporation | Consistent backups of data using a roll-back log |
| CN103226501A (zh) * | 2013-05-08 | 2013-07-31 | 中国工商银行股份有限公司 | 一种数据库的逻辑备份方法以及逻辑备份系统 |
| CN103488549A (zh) * | 2013-09-29 | 2014-01-01 | 方正国际软件有限公司 | 多镜像数据的回滚处理系统和回滚处理方法 |
| CN105653393A (zh) * | 2014-11-11 | 2016-06-08 | 南京壹进制信息技术有限公司 | 一种基于usn日志方式进行海量文件备份的方法 |
| CN106354583A (zh) * | 2016-08-30 | 2017-01-25 | 广州鼎甲计算机科技有限公司 | 一种MySQL数据库的热备份方法与系统 |
| CN106598785A (zh) * | 2016-12-16 | 2017-04-26 | 广东美晨通讯有限公司 | 文件系统备份与还原的方法及装置 |
| CN108182292A (zh) * | 2018-01-30 | 2018-06-19 | 广东欧珀移动通信有限公司 | 应用于智能音箱的日志文件处理方法、装置及智能音箱 |
| CN108733546A (zh) * | 2018-04-02 | 2018-11-02 | 阿里巴巴集团控股有限公司 | 一种日志采集方法、装置及设备 |
| CN109144790A (zh) * | 2018-09-30 | 2019-01-04 | 广州鼎甲计算机科技有限公司 | MySQL数据库的合成备份方法和装置 |
| CN109325075A (zh) * | 2018-08-30 | 2019-02-12 | 黄疆 | 一种基于定时备份的Oracle及时挂载恢复系统及方法 |
| US10324804B1 (en) * | 2015-09-30 | 2019-06-18 | EMC IP Holding Company LLC | Incremental backup with eventual name space consistency |
| CN110032428A (zh) * | 2019-02-21 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 分布式事务的执行方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8949561B2 (en) * | 2012-08-07 | 2015-02-03 | Netapp, Inc. | Systems, methods, and computer program products providing change logging in a deduplication process |
-
2020
- 2020-04-14 CN CN202010292475.8A patent/CN111625397B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001290686A (ja) * | 2000-02-04 | 2001-10-19 | Fujitsu Ltd | ディスク共用ファイルシステムにおけるバックアップシステムおよび方法 |
| US7739464B1 (en) * | 2004-06-30 | 2010-06-15 | Symantec Operating Corporation | Consistent backups of data using a roll-back log |
| JP2008046847A (ja) * | 2006-08-15 | 2008-02-28 | Nippon Telegr & Teleph Corp <Ntt> | アダプタ生成装置、方法およびプログラム |
| CN103226501A (zh) * | 2013-05-08 | 2013-07-31 | 中国工商银行股份有限公司 | 一种数据库的逻辑备份方法以及逻辑备份系统 |
| CN103488549A (zh) * | 2013-09-29 | 2014-01-01 | 方正国际软件有限公司 | 多镜像数据的回滚处理系统和回滚处理方法 |
| CN105653393A (zh) * | 2014-11-11 | 2016-06-08 | 南京壹进制信息技术有限公司 | 一种基于usn日志方式进行海量文件备份的方法 |
| US10324804B1 (en) * | 2015-09-30 | 2019-06-18 | EMC IP Holding Company LLC | Incremental backup with eventual name space consistency |
| CN106354583A (zh) * | 2016-08-30 | 2017-01-25 | 广州鼎甲计算机科技有限公司 | 一种MySQL数据库的热备份方法与系统 |
| CN106598785A (zh) * | 2016-12-16 | 2017-04-26 | 广东美晨通讯有限公司 | 文件系统备份与还原的方法及装置 |
| CN108182292A (zh) * | 2018-01-30 | 2018-06-19 | 广东欧珀移动通信有限公司 | 应用于智能音箱的日志文件处理方法、装置及智能音箱 |
| CN108733546A (zh) * | 2018-04-02 | 2018-11-02 | 阿里巴巴集团控股有限公司 | 一种日志采集方法、装置及设备 |
| CN109325075A (zh) * | 2018-08-30 | 2019-02-12 | 黄疆 | 一种基于定时备份的Oracle及时挂载恢复系统及方法 |
| CN109144790A (zh) * | 2018-09-30 | 2019-01-04 | 广州鼎甲计算机科技有限公司 | MySQL数据库的合成备份方法和装置 |
| CN110032428A (zh) * | 2019-02-21 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 分布式事务的执行方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111625397A (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9645892B1 (en) | Recording file events in change logs while incrementally backing up file systems | |
| US8250033B1 (en) | Replication of a data set using differential snapshots | |
| US11093387B1 (en) | Garbage collection based on transmission object models | |
| US8250040B2 (en) | Storage or removal actions based on priority | |
| US20090282203A1 (en) | Managing storage and migration of backup data | |
| US10108501B2 (en) | Terminal backup and recovery method | |
| US11567686B2 (en) | Snapshot lifecycle management systems and methods | |
| US10628298B1 (en) | Resumable garbage collection | |
| US10185631B2 (en) | System and method of performing continuous backup of a data file on a computing device | |
| CN102495772B (zh) | 一种基于特征的终端程序云备份及恢复方法 | |
| CN107256182A (zh) | 一种数据库还原的方法及设备 | |
| US10514985B1 (en) | Summary file change log for faster forever incremental backup | |
| CN108572888B (zh) | 磁盘快照创建方法和磁盘快照创建装置 | |
| CN116149902A (zh) | 数据恢复方法及装置、电子设备、计算机可读存储介质 | |
| CN111625397B (zh) | 业务日志备份方法、集群、装置、电子设备及存储介质 | |
| CN113254394B (zh) | 一种快照处理方法、系统、设备及存储介质 | |
| CN109753381B (zh) | 一种基于对象存储的持续数据保护方法 | |
| CN113419897B (zh) | 一种文件处理方法、装置、电子设备及其存储介质 | |
| US8595271B1 (en) | Systems and methods for performing file system checks | |
| US20120303590A1 (en) | Management of deduplicated data during restoration in a network archival and retrieval system | |
| US20160077929A1 (en) | Rotating incremental data backup | |
| CN112948389B (zh) | 基于md5的数据库表数据比对方法及设备 | |
| US11645333B1 (en) | Garbage collection integrated with physical file verification | |
| CN110471796B (zh) | 一种面向文件目录的完全和增量的备份恢复方法 | |
| CN111435342B (zh) | 海报的更新方法、更新系统以及管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |