CN115454718A - 一种自动化数据库备份文件有效性检测方法 - Google Patents

一种自动化数据库备份文件有效性检测方法 Download PDF

Info

Publication number
CN115454718A
CN115454718A CN202211137871.9A CN202211137871A CN115454718A CN 115454718 A CN115454718 A CN 115454718A CN 202211137871 A CN202211137871 A CN 202211137871A CN 115454718 A CN115454718 A CN 115454718A
Authority
CN
China
Prior art keywords
task
detection
backup file
backup
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211137871.9A
Other languages
English (en)
Inventor
陈蝶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Qiruike Technology Co Ltd
Original Assignee
Sichuan Qiruike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Qiruike Technology Co Ltd filed Critical Sichuan Qiruike Technology Co Ltd
Priority to CN202211137871.9A priority Critical patent/CN115454718A/zh
Publication of CN115454718A publication Critical patent/CN115454718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种自动化数据库备份文件有效性检测方法，包括以下步骤：模式记录所有数据库关键属性，模式记录的关键属性作为备份文件恢复检测的入口；应用程序定期执行检查任务，检查备份文件“是否检测”字段属性；如果备份文件“是否检测”字段属性为N，选中为待检测对象并获取对象的所有关键属性；根据获取的属性参数，代入编排步骤生成检测任务；针对已生成的检测任务，根据“数据库大小”属性按梯度等级分配系统资源；轮询监测服务器资源池资源容量，以数组统计空闲资源与任务所需资源做比对，决定调用任务；应用检测和记录任务执行状态和日志；根据检测任务的执行情况更新检测结果。

Description

一种自动化数据库备份文件有效性检测方法
技术领域
本发明涉及数据库技术领域，具体涉及一种自动化数据库备份文件有效性检测方法。
背景技术
随着企业业务量与业务类型不断增长，数据库的类型和数量规模也伴随着不断增长，数据库数据量剧增，这些数据都是一个企业赖以生存的基石，而数据库的备份就是数据安全的最后屏障。对于一套完备的备份体系，其中重要一环就是备份文件的有效性检测。
当前阶段，项目中使用的数据库系统数量、类型以及数据量都在快速增加，数据库的备份文件种类和数量以及大小也相应快速增加，备份文件有效性检测工作面临着备份文件种类多、数量多、恢复检测耗时长的难点。而当前备份文件有效性检测的方式主要是运维人员不定期抽查进行手工检测，效率低下且不全面，因此备份文件面临检测不及时的问题。
发明内容
本发明的目的在于提供一种自动化数据库备份文件有效性检测方法，以期解决背景技术中存在的技术问题。
为了实现上述目的，本发明采用以下技术方案：
一种自动化数据库备份文件有效性检测方法，包括以下步骤：
模式记录所有数据库关键属性，模式记录的关键属性作为备份文件恢复检测的入口；
应用程序定期执行检查任务，检查备份文件“是否检测”字段属性；如果备份文件“是否检测”字段属性为N，选中为待检测对象并获取对象的所有关键属性；
根据获取的属性参数，代入编排步骤生成检测任务；
针对已生成的检测任务，根据“数据库大小”属性按梯度等级分配系统资源；
轮询监测服务器资源池资源容量，以数组统计空闲资源与任务所需资源做比对，决定调用任务；
应用检测和记录任务执行状态和日志；
根据检测任务的执行情况更新检测结果。
在一些实施例中，所述模式记录所有数据库关键属性包括：实例信息、数据库大小、备份方式、备份路径、备份文件大小、检测状态。
在一些实施例中，所述选中为待检测对象并获取对象的所有关键属性包括备份服务器ip、端口、备份方式、备份路径、原数据库大小属性信息。
在一些实施例中，所述系统资源包括CPU、内存、磁盘空间资源，计为数组Tn(x,y,z)。
在一些实施例中，所述梯度等级分配系统资源的规则如下：z的取值来自于检测对象“数据库大小”属性值，z每超过一个阈值，则x，y的数量提高一个等级，分配完成后将任务加入待执行任务队列。
在一些实施例中，所述轮询监测服务器资源池资源容量，以数组统计空闲资源Sf(x,y,z)与任务所需资源Tn(x,y,z)做比对，决定调用任务，包括两种调动方式：第一种是当Tn(x,y,z)<Sf(x,y,z)，即空闲资源满足待执行任务池中任何一个任务所需资源，则调动该检测任务执行；
第二种是Tn(x,y,z)>Sf(x,y,z)则任务继续等待，同时为防止有待检测任务因资源无法匹配而持续排队情形，为每个任务设定最大等待时间wait_time，当wait_time达到设定值则按任务入队时间顺序进行任务优先级排序，使得任务在预期时间目标内能最终执行。
在一些实施例中，所述应用检测和记录任务执行状态和日志，包括检测任务执行结果分成功、失败两种状态；任务完成返回0，并更新备份文件是否检测为Y；任务失败返回1，并更新备份文件是否检测为W，并打印执行日志报错信息。
在一些实施例中，所述根据检测任务的执行情况更新检测结果，包括检测任务成功执行后，检测脚本运行结果分为成功、失败两种状态；检测脚本运行成功则备份文件恢复成功，更新“检测结果”属性字段为T；检测脚本运行失败则备份文件恢复失败，更新“检测结果”属性字段为F。
本申请所提供的一种自动化数据库备份文件有效性检测方法具有的有益效果包括但不限于：
本发明通过数据库技术、编程技术、操作系统脚本语言，实现通过数据库集中管理所有数据库，应用程序实时查询数据库待检测备份文件，通过任务管理器进行任务计划与调度，自动调用检测脚本自动地、并发地进行备份文件有效性检测，解决备份文件种类多、数量多、恢复检测耗时长的特征下检测不及时的问题。
通过数据库技术、编程技术开发自动化数据库备份文件检测系统，实时地、并发地、自动地完成备份文件检测，能有效解决备份文件种类多、数量多、恢复检测耗时长的情形下检测不及时的问题，降低备份文件没有及时检测存在损坏、失效等问题导致备份恢复失败的风险，提高备份恢复成功率，为企业数据的安全提供最大化保障。
附图说明
图1是此方法包含的备份文件检测系统的架构图。
图2是此方法的总体流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的优选实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下将结合图1，对本申请实施例所涉及的一种自动化数据库备份文件有效性检测方法进行详细说明。值得注意的是，以下实施例，仅仅用于解释本申请，并不构成对本申请的限定。
实施例1：
一种自动化数据库备份文件有效性检测方法，包括以下内容：
(1)“备份文件检测系统”，包含数据库模块、应用模块、任务调度器模块、检测脚本模块。
(2)“元数据库”,包含数据库库表模式，模式记录所有数据库关键属性(实例信息、数据库大小、备份方式、备份路径、备份文件大小、检测状态等)，模式记录的对象属性作为备份文件恢复检测的入口。
(3)“检测脚本”，包含操作系统脚本，根据不同的对象属性编写相应的操作系统脚本检测程序，为自动检测功能的底层实现结构。
(4)“应用程序”检查功能，应用程序7×24小时定期执行检查任务，检查备份文件“是否检测”字段属性。如果备份文件“是否检测”字段属性为N，选中为待检测对象并获取对象的所有关键属性，包括备份服务器ip、端口、备份方式、备份路径、原数据库大小等属性信息。
(5)“应用程序”编排功能，根据上一步检查程序返回的属性参数，代入编排步骤生成检测任务。
(6)“任务管理器”任务计划功能，已生成的检测任务，根据“数据库大小”属性按梯度等级分配系统资源。CPU、内存、磁盘空间资源，计为数组Tn(x,y,z)。资源梯度等级分配规则如下：z的取值来自于检测对象“数据库大小”属性值，z每超过一个阈值，则x，y的数量提高一个等级，具体的梯度等级根据服务器硬件资源及性能合理制定，分配完成后将任务加入待执行任务队列。
(7)“任务管理器”任务调度功能，任务调用采用资源利用效率最大化为原则，7×24小时轮询监测服务器资源池资源容量，以数组统计空闲资源Sf(x,y,z)与任务所需资源Tn(x,y,z)做比对，决定调用任务。
两种调动方式：第一种是当Tn(x,y,z)<Sf(x,y,z)，即空闲资源满足待执行任务池中任何一个任务所需资源，则调动该检测任务执行；
第二种是Tn(x,y,z)>Sf(x,y,z)则任务继续等待，同时为防止有待检测任务因资源无法匹配而持续排队情形，为每个任务设定最大等待时间wait_time，当wait_time达到设定值则按任务入队时间顺序进行任务优先级排序，保证任务在预期时间目标内能最终执行。
(8)“应用程序”日志功能，应用检测和记录任务执行状态和日志。检测任务执行结果分成功、失败两种状态。任务完成返回0，并更新备份文件是否检测为Y；任务失败返回1，并更新备份文件是否检测为W，并打印执行日志报错信息。
“应用程序”检测功能，检测任务成功执行后，检测脚本运行结果分为成功、失败两种状态。检测脚本运行成功则备份文件恢复成功，更新“检测结果”属性字段为T；检测脚本运行失败则备份文件恢复失败，更新“检测结果”属性字段为F；
下面将结合附图1-2更详细地描述本发明的示例性实施。如图1所示，自动化备份文件检测流程如下：
(1)完成“备份文件检测系统”各功能模块设计开发，包括数据库构建，应用程序代码开发、底层原子脚本编写。
(2)完成备份文件检测系统与数据库系统对接，记录数据库系统实例信息、备份服务器信息，备份方式、备份路径、备份文件等属性信息。
(3)应用程序每隔10分钟执行检查备份文件表任务，检查到ID＝100的备份文件“是否检测”属性字段为N，获取ID＝100的备份文件属性(备份服务器IP、端口，备份方式，备份路径，原数据库大小)作为下一步参数返回。
(4)应用程序通过上一步查询获取的ID＝100的备份文件属性值，代入编排，生成全备恢复检测任务，任务编号N＝200。
(5)针对任务N＝200，任务计划器通过上一步入参属性进行计算，分配CPU、内存、磁盘空间资源计为数组T200(x,y,z)，加入任务到待执行队列，此时队列可能存在多个任务T195(x,y,z)、T198(x,y,z)、T199(x,y,z)同时排队中。
(6)应用每隔1分钟检测服务器资源池资源容量Sf(x,y,z)，并将任务需资源数组与服务器剩余资源数组进行比较。任务被调用有三种情形：若只满足T200(x,y,z)<Sf(x,y,z)，则执行任务N＝200；若同时满足T200(x,y,z)+T195(x,y,z)<Sf(x,y,z)，则并发执行N＝200，N＝195；若T200(x,y,z)>Sf(x,y,z)，而N＝200的wait_time>12h，则更新任务N＝200的优先级属性P＝1，代表任务调度器将等待T200(x,y,z)<Sf(x,y,z)条件成立，下一个任务优先执行N＝200。
(7)任务N＝200任务执行完成返回0，更新备份文件ID＝100“是否检测”属性字段为Y。任务执行失败则更新备份文件是否检测为W，并打印执行日志报错信息，运维人员进行排查处理。
(8)任务N＝200执行成功，恢复检测脚本执行成功则备份恢复成功，更行ID＝100的检测结果字段为T，标记备份文件有效。如果备份恢复失败，则更行ID＝100的检测结果字段为F，说明备份文件无效，需重新执行备份。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种自动化数据库备份文件有效性检测方法，其特征在于，包括以下步骤：
模式记录所有数据库关键属性，模式记录的关键属性作为备份文件恢复检测的入口；
应用程序定期执行检查任务，检查备份文件“是否检测”字段属性；如果备份文件“是否检测”字段属性为N，选中为待检测对象并获取对象的所有关键属性；
根据获取的属性参数，代入编排步骤生成检测任务；
针对已生成的检测任务，根据“数据库大小”属性按梯度等级分配系统资源；
轮询监测服务器资源池资源容量，以数组统计空闲资源与任务所需资源做比对，决定调用任务；
应用检测和记录任务执行状态和日志；
根据检测任务的执行情况更新检测结果。
2.根据权利要求1所述的一种自动化数据库备份文件有效性检测方法，其特征在于，所述模式记录所有数据库关键属性包括：实例信息、数据库大小、备份方式、备份路径、备份文件大小、检测状态。
3.根据权利要求1所述的一种自动化数据库备份文件有效性检测方法，其特征在于，所述选中为待检测对象并获取对象的所有关键属性包括备份服务器ip、端口、备份方式、备份路径、原数据库大小属性信息。
4.根据权利要求1所述的一种自动化数据库备份文件有效性检测方法，其特征在于，所述系统资源包括CPU、内存、磁盘空间资源，计为数组Tn(x,y,z)。
5.根据权利要求4所述的一种自动化数据库备份文件有效性检测方法，其特征在于，所述梯度等级分配系统资源的规则如下：z的取值来自于检测对象“数据库大小”属性值，z每超过一个阈值，则x，y的数量提高一个等级，分配完成后将任务加入待执行任务队列。
6.根据权利要求1所述的一种自动化数据库备份文件有效性检测方法，其特征在于，所述轮询监测服务器资源池资源容量，以数组统计空闲资源Sf(x,y,z)与任务所需资源Tn(x,y,z)做比对，决定调用任务，包括两种调动方式：第一种是当Tn(x,y,z)<Sf(x,y,z)，即空闲资源满足待执行任务池中任何一个任务所需资源，则调动该检测任务执行；
第二种是Tn(x,y,z)>Sf(x,y,z)则任务继续等待，同时为防止有待检测任务因资源无法匹配而持续排队情形，为每个任务设定最大等待时间wait_time，当wait_time达到设定值则按任务入队时间顺序进行任务优先级排序，使得任务在预期时间目标内能最终执行。
7.根据权利要求1所述的一种自动化数据库备份文件有效性检测方法，其特征在于，所述应用检测和记录任务执行状态和日志，包括检测任务执行结果分成功、失败两种状态；任务完成返回0，并更新备份文件是否检测为Y；任务失败返回1，并更新备份文件是否检测为W，并打印执行日志报错信息。
8.根据权利要求1所述的一种自动化数据库备份文件有效性检测方法，其特征在于，所述根据检测任务的执行情况更新检测结果，包括检测任务成功执行后，检测脚本运行结果分为成功、失败两种状态；检测脚本运行成功则备份文件恢复成功，更新“检测结果”属性字段为T；检测脚本运行失败则备份文件恢复失败，更新“检测结果”属性字段为F。
CN202211137871.9A 2022-09-19 2022-09-19 一种自动化数据库备份文件有效性检测方法 Pending CN115454718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211137871.9A CN115454718A (zh) 2022-09-19 2022-09-19 一种自动化数据库备份文件有效性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211137871.9A CN115454718A (zh) 2022-09-19 2022-09-19 一种自动化数据库备份文件有效性检测方法

Publications (1)

Publication Number Publication Date
CN115454718A true CN115454718A (zh) 2022-12-09

Family

ID=84305719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211137871.9A Pending CN115454718A (zh) 2022-09-19 2022-09-19 一种自动化数据库备份文件有效性检测方法

Country Status (1)

Country Link
CN (1) CN115454718A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116126593A (zh) * 2023-01-10 2023-05-16 华南高科(广东)股份有限公司 一种云平台环境下的数据备份系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116126593A (zh) * 2023-01-10 2023-05-16 华南高科(广东)股份有限公司 一种云平台环境下的数据备份系统及方法
CN116126593B (zh) * 2023-01-10 2023-09-08 华南高科(广东)股份有限公司 一种云平台环境下的数据备份系统及方法

Similar Documents

Publication Publication Date Title
Zheng et al. Co-analysis of RAS log and job log on Blue Gene/P
US8938421B2 (en) Method and a system for synchronizing data
US8108878B1 (en) Method and apparatus for detecting indeterminate dependencies in a distributed computing environment
RU2543316C2 (ru) Система и способ отказоустойчивого выполнения задач по расписанию в распределенных средах
CN108491254A (zh) 一种数据仓库的调度方法及装置
US20220046036A1 (en) Mirage Instance of a Database Server
CN112286661B (zh) 任务调度方法及装置、存储介质、终端
CN115454718A (zh) 一种自动化数据库备份文件有效性检测方法
CN110659147B (zh) 一种基于模块自检行为的自修复方法和系统
CN113641739B (zh) 一种基于Spark的智能数据转换方法
CN113157411B (zh) 一种基于Celery的可靠可配置任务系统及装置
CN111625414A (zh) 一种数据转换整合软件的自动调度监控系统实现方法
CN113010278B (zh) 一种用于财险核心系统的批处理方法及系统
CN112256418B (zh) 一种大数据任务调度方法
WO2021013124A1 (zh) 自动化测试资源管理的方法及装置
CN114020420A (zh) 一种分布式待执行任务执行方法及系统、存储介质、终端
CN114237910A (zh) 客户端负载均衡实现方法及装置
CN113448775A (zh) 多源异构数据备份方法及装置
CN113806051B (zh) 计算设备的任务管理方法及装置、存储介质、计算设备
CN116109112B (zh) 基于聚合接口的业务数据处理方法、装置、介质和设备
US8600725B2 (en) System and method for providing a static model map of behaviors in a middleware system, for use in identifying system problems
Saadatfar et al. A job submission manager for large-scale distributed systems based on job futurity predictor
CN117539613B (zh) 一种在分布式计算系统中管理共享资源方法
CN117421255B (zh) 一种接口的自动巡检方法、装置、设备和存储介质
CN114371923A (zh) 分布式定时任务管理系统和单态执行方法、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination