CN113157489A - 数据库数据备份方法、装置及计算机设备 - Google Patents

数据库数据备份方法、装置及计算机设备 Download PDF

Info

Publication number
CN113157489A
CN113157489A CN202110205520.6A CN202110205520A CN113157489A CN 113157489 A CN113157489 A CN 113157489A CN 202110205520 A CN202110205520 A CN 202110205520A CN 113157489 A CN113157489 A CN 113157489A
Authority
CN
China
Prior art keywords
data
backup
database
backed
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110205520.6A
Other languages
English (en)
Other versions
CN113157489B (zh
Inventor
王安宁
徐孙杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202110205520.6A priority Critical patent/CN113157489B/zh
Publication of CN113157489A publication Critical patent/CN113157489A/zh
Application granted granted Critical
Publication of CN113157489B publication Critical patent/CN113157489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据库数据备份方法、装置及计算机设备,涉及数据库备份技术领域。其中方法包括:首先获取待备份的数据库备份数据的数据特征;再根据所述数据特征,确定所述数据库备份数据的备份价值信息;然后依据所述备份价值信息和异机服务器当前的数据存储状态信息,判断是否需要备份所述数据库备份数据;若判定需要备份所述数据库备份数据,则将所述数据库备份数据发送至异机服务器中进行备份。本申请可将数据库备份数据发送至异机服务器中进行备份,这样即使数据库本地服务器磁盘损坏,也不会导致异机服务器中备份的数据库数据丢失。此外,本申请还涉及区块链技术,数据库备份数据可预先存储于区块链中,以保证数据私密和安全性。

Description

数据库数据备份方法、装置及计算机设备
技术领域
本申请涉及数据库备份技术领域,尤其是涉及到一种数据库数据备份方法、装置及计算机设备。
背景技术
数据丢失对大小企业来说都是个噩梦,业务数据与企业日常业务运作唇齿相依,损失这些数据,即使是暂时性的也会给企业带来不可挽回的损失。数据库数据是一个系统应用的核心。生产线上的数据库通常面临着各种各样的风险威胁:数据库主机(数据库所在主机)硬盘损坏,使物理数据丢失;数据库主机受恶意攻击,数据存在安全隐患;数据库管理员人为的误操作等等。如果生产线上各个数据库没有进行实时备份,或者备份失败,那么将难以进行数据恢复。
目前,现有的数据库数据备份都是存放在数据库服务器本地磁盘中,进而可在数据库服务器本地磁盘中获取到数据库备份数据。然而,本发明创造的发明人在研究中发现,这种数据库数据备份方式不能应对本地服务器磁盘损坏导致数据库数据备份不可用的情况,造成数据库数据备份丢失,无法保证重要数据能够稳定备份保存。
发明内容
有鉴于此,本申请提供了一种数据库数据备份方法、装置及计算机设备,主要目的在于改善目前传统的数据库数据备份方式不能应对本地服务器磁盘损坏导致数据库数据备份不可用的情况,造成数据库数据备份丢失,无法保证重要数据能够稳定备份保存的技术问题。
根据本申请的一个方面,提供了一种数据库数据备份方法,该方法包括:
获取待备份的数据库备份数据的数据特征;
分析所述数据特征确定所述数据库备份数据的数据类型,并查询与所述数据库备份数据相同数据类型的历史备份数据的用户查看信息;
将在异机服务器中已同步备份的数据与所述数据库备份数据进行数据特征比对,确定所述已同步备份的数据与所述数据库备份数据的关联信息;
分析所述用户查看信息和/或所述关联信息,确定所述数据库备份数据的备份价值信息;
分析所述备份价值信息和异机服务器当前的数据存储状态信息,判断是否需要备份所述数据库备份数据;
若判定需要备份所述数据库备份数据,则将所述数据库备份数据发送至异机服务器中进行备份。
根据本申请的另一个方面,提供了一种数据库数据备份装置,该装置包括:
获取模块,用于获取待备份的数据库备份数据的数据特征;
确定模块,用于分析所述数据特征确定所述数据库备份数据的数据类型,并查询与所述数据库备份数据相同数据类型的历史备份数据的用户查看信息;将在异机服务器中已同步备份的数据与所述数据库备份数据进行数据特征比对,确定所述已同步备份的数据与所述数据库备份数据的关联信息;分析所述用户查看信息和/或所述关联信息,确定所述数据库备份数据的备份价值信息;
判断模块,用于分析所述备份价值信息和异机服务器当前的数据存储状态信息,判断是否需要备份所述数据库备份数据;
发送模块,用于若判定需要备份所述数据库备份数据,则将所述数据库备份数据发送至异机服务器中进行备份。
根据本申请的又一个方面,提供了一种非易失性可读存储介质,其上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现上述数据库数据备份方法。
根据本申请的再一个方面,提供了一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述数据库数据备份方法。
借由上述技术方案,本申请提供的一种数据库数据备份方法、装置及计算机设备,与目前传统的数据库数据备份方式相比,本申请可将数据库备份数据发送至异机服务器中进行备份,这样即使数据库本地服务器磁盘损坏,也不会导致异机服务器中备份的数据库数据丢失。并且在异机服务器备份数据前,可根据待备份的数据库备份数据的数据特征,确定数据库备份数据的备份价值信息,并结合异机服务器当前的数据存储状态信息,智能筛选出重要数据进行优先备份,即便异机服务器处于繁忙状态也能保证重要数据能够有效备份,进而保证重要数据能够稳定备份保存。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了本申请的上述和其他目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本地申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种数据库数据备份方法的流程示意图;
图2示出了本申请实施例提供的另一种数据库数据备份方法的流程示意图;
图3示出了本申请实施例提供的一种数据库数据备份装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
针对改善目前传统的数据库数据备份方式不能应对本地服务器磁盘损坏导致数据库数据备份不可用的情况,造成数据库数据备份丢失,无法保证重要数据能够稳定备份保存的技术问题,本实施例提供了一种数据库数据备份方法,如图1所示,该方法包括:
步骤101、获取待备份的数据库备份数据的数据特征。
其中,数据特征可包含待备份的数据库备份数据的文件名称、文件扩展名、文件内容(如可根据文件中的标题、列表名称等信息确定文件的主旨内容)、文件创建时间等特征信息。
对于本实施例的执行主体可为数据库数据备份的装置或设备,可配置在数据库服务器侧或者数据管理系统侧等。
步骤102、分析数据库备份数据的数据特征确定数据库备份数据的数据类型,并查询与数据库备份数据相同数据类型的历史备份数据的用户查看信息;将在异机服务器中已同步备份的数据与数据库备份数据进行数据特征比对,确定已同步备份的数据与待备份的数据库备份数据的关联信息。
用户查询信息可包含用户对历史备份数据的查看次数、查看频率、查看时间等。关联信息可包含已同步备份的数据与待备份的数据库备份数据之间的关联度,即二者之间的相关性。
通过本实施例方法,不但可参考用户对此数据类型历史备份数据的关注度分析出数据库备份数据的备份价值,而且还可参考与异机服务器中已备份数据的关联度,进而可从数据备份关联连续性的角度分析出数据库备份数据的备份价值,最后通过综合分析可确定更为准确的备份价值信息,从而可准确评估出数据备份的重要性。
步骤103、分析用户查看信息和/或关联信息,确定数据库备份数据的备份价值信息。
其中,备份价值信息中可包含备份数据库备份数据的价值评估信息,用于分析评估出数据库备份数据是否为需要优先备份的重要数据,即评定数据库数据备份的重要性,具体可根据数据库备份数据的数据特征分析确定得到。
步骤104、分析数据库备份数据的备份价值信息和异机服务器当前的数据存储状态信息,判断是否需要备份数据库备份数据。
异机服务器可为与数据库服务器不同的另一大容量磁盘的服务器,专门用于存放数据库备份文件使用,不和数据库做混合使用。
异机服务器当前的数据存储状态信息中可包含异机服务器当前的数据存储状态情况,可用于分析确定出异机服务器当前是否处于数据存储繁忙状态,如已存储的数据是否已经接近于分配的存储空间、当前是否处理不同备份请求方发送的大量的存储请求,进而执行大量数据同时备份存储等。
异机服务器有时可能对应同步备份多台数据库服务器中的数据库数据,每个数据库服务器可在异机服务器中均有各自对应的存储位置进行备份存储。而异机服务器的存储空间也是相对有限的,为了节省异机服务器的存储空间,可优先选择重要的数据库备份数据进行同步备份到异机服务器中。因此,本实施例可根据待备份的数据库备份数据的数据特征,分析出该数据库备份数据的备份价值信息,进而根据该分析出的备份价值信息和异机服务器当前的数据存储状态信息,确定是否将数据库备份数据同步备份到异机服务器当中,进而优先将备份价值等级较高的数据进行数据备份,减少异机服务器在繁忙时存储数据的负担,保证异机服务器能够有效备份重要数据。
例如,将备份价值较低的数据库数据暂时先不进行异机服务器备份,优先将备份价值较高的数据库数据保存在异机服务器中进行备份,并且在异机服务器当前负载较高、或已存储数据接近于分配空间等情况下,可优先将备份价值更高的数据库数据保存在异机服务器中进行备份,保证最重要的数据能够稳定备份保存。
步骤105、若判定需要备份数据库备份数据,则将数据库备份数据发送至异机服务器中进行备份。
例如,在数据备份过程中,可通过rsync工具启动同步数据库备份到异机服务器的任务,获取待同步备份的数据库备份文件数据进行同步备份。其中,rsync是类unix系统下的数据镜像备份工具——remotesync。可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接。同步的数据库备份文件可包括:完整备份文件,差异备份文件和binlog文件等。通过rsync同步数据库备份文件到异机服务器,使得各个数据库服务器时间分段及限流同步。时间分段:如A数据库服务器在1:00的时间点,执行远程同步到异机服务器;而B数据库服务器2:00的时间点,执行远程同步到异机服务器;C数据库服务器3:00的时间点,执行远程同步到异机服务器。限流同步:A数据库服务器在1:00的时间点,执行远程同步到异机服务器,rsync同步进程限定只能占用10MiB网络带宽,这样可以不影响数据库系统提供服务。
通过本实施例中的数据库数据备份方法,与目前传统的数据库数据备份方式相比,本实施例可将数据库备份数据发送至异机服务器中进行备份,这样即使数据库本地服务器磁盘损坏,也不会导致异机服务器中备份的数据库数据丢失。并且在异机服务器备份数据前,可根据待备份的数据库备份数据的数据特征,确定数据库备份数据的备份价值信息,并结合异机服务器当前的数据存储状态信息,智能筛选出重要数据进行优先备份,即便异机服务器处于繁忙状态也能保证重要数据能够有效备份,进而保证重要数据能够稳定备份保存。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例中的具体实施过程,提供了另一种数据库数据备份方法,如图2所示,该方法包括:
步骤201、获取待备份的数据库备份数据的数据特征。
步骤202、分析数据库备份数据的数据特征确定数据库备份数据的数据类型,并查询与数据库备份数据相同数据类型的历史备份数据的用户查看信息;将在异机服务器中已同步备份的数据与数据库备份数据进行数据特征比对,确定已同步备份的数据与所述数据库备份数据的关联信息。
步骤203、分析用户查看信息和/或关联信息,确定数据库备份数据的备份价值信息。
可选的,步骤203具体可包括:首先计算用户查看信息对应的第一评分,作为备份数据库备份数据的第一价值信息;和/或,计算关联信息对应的第二评分,作为备份数据库备份数据的第二价值信息;将第一价值信息和/或第二价值信息进行加权平均分析,确定数据库备份数据的备份价值信息。通过这种可选方式,不但可参考用户对此数据类型历史备份数据的关注度分析出数据库备份数据的备份价值,而且还可参考与异机服务器中已备份数据的关联度,进而可从数据备份关联连续性的角度分析出数据库备份数据的备份价值,最后通过综合分析可确定更为准确的备份价值信息,从而可准确评估出数据备份的重要性。
示例性的,计算用户查看信息对应的第一评分,具体可包括:获取与用户对所述历史备份数据的累计查看次数所对应的价值评分A;获取与用户在距离当前时间点预设时长的历史时间段(如距离当前时间点的最近时间段)内对所述历史备份数据的查看频率所对应的价值评分B;获取与用户在距离当前时间点预设时长的历史时间段内对历史备份数据的查看平均时长所对应的价值评分C;最后可将价值评分A、和/或价值评分B、和/或价值评分C进行加权平均计算,得到用户查看信息对应的第一评分。
例如,参照数据库备份数据的文件名称、文件内容、文件扩展名等特征信息,分析确定数据库备份数据的数据类型,如A项目测试数据的类型、B项目前景预估分析数据的类型、C项目的后期反馈数据的类型等。然后可查询当前异机服务器中历史备份数据的用户查看记录,以及可查询其他异机服务器中历史备份数据的用户查看记录。从这些用户查看记录中,用户针对于与数据库备份数据相同数据类型的历史备份数据的查看信息,该查看信息可包含查看的次数、每次查看的时间,以及查看所用的时长等。参照用户对与该数据类型相同的历史备份数据的累计查看次数、在最近时间段内的查看频率、查看的平均时长等信息,分析数据库备份数据的备份价值信息,如根据累计查看次数所处的次数区间范围,确定分值A;根据在最近时间段内的查看频率所处的频率区间范围,确定分值B;根据查看的平均时长所处的时长区间范围,确定分值C。
具体的,可预先设置不同的次数区间范围分别对应的预设分值,根据用户对与该数据类型相同的历史备份数据的累计查看次数所处的次数区间范围,找到对应的预设分值,作为分值A;可预先设置不同的频率区间范围分别对应的预置分值,根据用户在最近时间段内的查看频率所处的频率区间范围,找到对应的预置分值,作为分值B;可预先设置不同的时长区间范围分别对应的预定分值,根据用户查看的平均时长所处的时长区间范围,找到对应的预定分值,作为分值C。
最后根据分值A、分值B和分值C进行加权平均求和,得到数据库备份数据的第一备份价值评分,进而可依据该第一备份价值评分,确定备份该数据库备份数据的第一价值信息。通过这种可选方式,可准确参考用户对此数据类型历史备份数据的关注度分析出数据库备份数据的备份价值,可帮助准确评估出数据备份的重要性。
示例性的,计算关联信息对应的第二评分,具体可包括:将在异机服务器中已同步备份的数据和数据库备份数据进行文件名称、和/或文件内容、和/或文件扩展名、和/或文件创建时间的比对,以确定在异机服务器中已同步备份的数据与所述数据库备份数据的关联度等级;获取所述关联度等级对应的价值评分,作为所述第二评分。
在本可选方式中,根据待备份的数据库备件数据的文件名称、文件内容、文件扩展名、文件创建时间等特征信息,计算在异机服务器中已同步备份的数据与数据库备件数据之间的关联度。例如,通过文件名称比对,确定待备份的与已备份的文件名称相同,但文件扩展名不同,其中待备份的文件为word文件,而已备份的文件为MP3文件,说明待备份的文件很可能是已备份文件的文字说明文件,确定二者具有强关联度。再例如,通过文件名称比对,确定待备份的与已备份的文件名称相同,但文件扩展名不同,其中,已备份的文件为可执行文件,待备份的文件为已备份的文件执行时所需的数据库文件,因此二者具有强关联度。再例如,通过文件名称比对,确定待备份的与已备份的文件名称相似,文件扩展名相同,相当于一系列的关联文件,如按照日期排布的同一业务文件、按照部门排布的同一业务文件,这种情况下,避免文件缺失二者也具有强关联度。再例如,通过比对确定待备份的与已备份的文件属于内容相同的不同文件类型的文件,如doc文件和docx文件,那么二者属于弱关联度。再例如,通过比对确定待备份的与已备份的文件为文件名称、文件内容等都不同的两个文件,且不存在关联启动的关系,那么可确定二者无关联。
在具体的实现过程中,可根据待备份的数据库备份数据的文件名称和在异机服务器中已备份数据的文件名称,通过查询预设关联关系表,确定数据库备份数据与异机服务器中已同步备份的数据之间的关联度。预设关联关系表保存有预先设置的文件之间的关联度,如表1所示:
表1
文件1 文件2 关联度
XX.xx YY.yy
MM.mm NN.nn
。。。 。。。
在表1中,“.xx”、“.yy”等代表文件扩展名,“XX”、“YY”等为文件名。
通过查询表1,确定待备份的数据库备份数据与异机服务器中已同步备份的数据之间的关联度,如果数据库备份数据与已同步备份文件无法通过该表1查询到的关联度,则认为是无关联度。
根据待备份的数据库备份数据与异机服务器中已同步备份的数据之间的关联度,如强、中、弱、无等关联度(也可以是百分比数值),得到数据库备份数据的第二备份价值评分(如强、中、弱、无等关联度各自有对应的备份价值评分,或者根据关联度百分比数值,确定备份价值评分),进而可依据该第二备份价值评分确定数据库备份数据的第二价值信息。通过这种可选方式,可准确参考与异机服务器中已备份数据的关联度,从数据备份关联连续性的角度分析出数据库备份数据的备份价值,可帮助准确评估出数据备份的重要性。
示例性的,将第一价值信息和/或第二价值信息进行加权平均分析,确定数据库备份数据的备份价值信息,具体可包括:将第一评分和第二评分进行加权平均计算;获取与计算分值所在分值范围对应的预设备份价值等级,作为所述数据库备份数据的备份价值等级,其中,不同的分值范围均有各自对应的预设备份价值等级。
在参照得到的第一价值信息和/或第二价值信息,确定数据库备份数据的备份价值信息的过程中,可采用加权平均的分析过程,准确得到数据库备份数据的备份价值信息。例如,根据待备份的数据库备份数据的第一备份价值评分和/或第二备份价值评分,进行加权平均计算,依据得到的数值所处于的区间范围,确定备份价值等级,即备份价值信息。该备份价值等级具体可包括高等级、中等级、低等级、无等级等的备份价值。在本实施例中,备份价值等级可用于评定数据备份的重要性。
步骤204、分析备份价值信息和异机服务器当前的数据存储状态信息,判断是否需要备份所述数据库备份数据。
可选的,步骤204具体可包括:获取数据库备份数据的备份价值等级;若备份价值等级小于或等于第一等级阈值,则确定不将数据库备份数据备份至异机服务器;若异机服务器当前的数据存储状态信息符合预设繁忙状态标准(如已备份数据已经接近存满状态、或当前负载值大于一定阈值等)、且备份价值等级大于第一等级阈值并小于或等于第二等级阈值,则确定不将数据库备份数据备份至异机服务器;若备份价值等级大于第二等级阈值,则确定将数据库备份数据备份至异机服务器。
其中,第一等级阈值可用于评判无价值或近似于无价值等级的数据库备份文件数据。第二等级阈值可用于评判低价值或近似于低价值等级的数据库备份文件数据。预设繁忙状态标准可根据异机服务器中当前的存储数据数量占比进行判别,例如,当前的存储数据数量占比越大、和/或负载值越大说明异机服务器当前越繁忙,通过设置一定的繁忙状态标准,可准确判别异机服务器当前是否繁忙。
例如,通过数据库备份数据的备份价值等级与第一等级阈值(低价值等级)的比较,确定该备份价值等级小于或等于低价值等级,说明该数据库备份数据的备份价值较低,备份此类数据实际用处可能不大,可暂时取消将其备份到异机服务器中。而如果该备份价值等级大于低价值等级、且小于或等于第二等级阈值(中价值等级),说明此类数据备份价值不是很重要,多少在一定程度上存在备份价值,这里还需参考异机服务器当前的繁忙状态,如果当前还有大量存储空间、负载也较低时可确定将该数据库备份数据备份到异机服务器;而如果异机服务器中已经接近存满,和/或负载较高时可确定暂时不将该数据库备份数据备份到异机服务器,以便腾出存储空间、减轻异机服务器压力来尽可能地备份更重要的数据。而如果数据库备份数据的备份价值等级大于中价值等级,说明该数据为重要数据,必须优先进行备份,将该数据备份到异机服务器中。
根据上述判断结果,确定是否将数据库备份数据保存在异机服务器中进行备份,若确定不保存,则还可将数据库备份数据保存在缓存队列和数据库本地磁盘中,并记录该数据库备份数据的备份价值等级,以便在异机服务器的数据存储相对空闲、和/或负载压力较小时,从缓存队列或数据库本地磁盘中获取该数据库备份数据继续进行数据备份。
通过上述这种方式,可在备份数据保存在异机服务器之前,根据备份数据各自对应的备份价值等级和异机服务器的数据备份存储状态程度,从备份数据中筛选出相对具有备份价值的数据进行备份。通过这种有选择性的数据备份方式,保证存入到异机服务器中的备份数据尽可能都是具有备份价值的,进而在保证让异机服务器数据备份性能与高吞吐量的同时,还可对备份数据进行清洗与过滤,从而减轻异机服务器的处理压力,提升相应的处理性能。
步骤205、若判定需要备份数据库备份数据,则从数据库备份数据的数据特征中识别数据库备份数据的属性信息。
例如,通过Python脚本(split()方法)提取数据库备份文件的文件名,如数据库备份文件名称是数据库名称+下划线+日期(如:TESTA_20180921003000),根据数据库名称及备份日期拆分数据库备份文件名(如数据库名称:TESTA,备份日期:20180921003000),把数据库备份文件名、数据库名称、备份日期等搜集到异机备份管理数据库中。
步骤206、将数据库备份数据和数据库备份数据的属性信息,发送至异机服务器中进行备份。
进一步的,以使得异机服务器根据数据库备份数据的属性信息,判断数据库备份数据的数据备份连续性,并在判定数据库备份数据出现备份连续性异常时发送告警信息。
例如,通过存储过程根据数据库分类,统计预设时间段内的备份日期连续性。如创建一个存放日期的表date,然后通过分割备份文件名称得到的日期,与date表做leftjoin查询,得到具体缺失某天备份文件的结果集。其中,left join是以A表的记录为基础的,A可以看成左表,B可以看成右表,left join是以左表为准的。左表(A)的记录将会全部表示出来,而右表(B)只会显示符合搜索条件的记录(例子中为:A.aID=B.bID)。B表记录不足的地方均为NULL。
告警信息中可包含出现异常的备份文件的相关信息(如备份文件所属项目的名称、备份时间、备份文件数量等)、备份中疑似缺失的文件、文件缺失的严重性等。如针对某一项目按天备份的目标文件,根据运算结果,确定目标文件在10月4日那天缺失备份,可根据目标文件的所属项目的名称、备份中疑似缺失的文件(10月4日的目标文件)、文件缺失的严重性(根据项目对应的预设重要程度确定得到缺失严重性)等。告警信息可以文字、音频、视频、图片等形式展现给用户。如可发送邮件通知数据库管理员(DatabaseAdministrator,DBA)各个数据库的数据库备份文件具体缺失某天备份情况,DBA可根据邮件告警查看备份文件缺失的,可手动执行数据库备份并把备份文件传送到异机服务器。DBA可根据邮件通知确保异机备份统一管理及连续性保障。
为了保证数据库备份数据的私密性和安全性,进一步的,待备份的数据库备份数据预先保存在区块链中,如数据库备份数据可保存在区块链的一个或多个节点中;相应的,本实施例方法中获取待备份的数据库备份数据的数据特征,具体可包括:从区块链中获取待备份的数据库备份数据的数据特征;相应的,本实施例方法中将数据库备份数据发送至异机服务器中进行备份,具体可包括:从区块链中获取待备份的数据库备份数据,并将数据库备份数据发送至异机服务器中进行备份。
需要说明的是,本实施例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本实施例方法可实现统一管理数据库备份安全存放及连续性检查,即统一管理不同数据库备份文件异机存放及连续性的有效识别。可通过rsync工具同步数据库备份文件到异机备份服务器,并且根据数据库备份文件解析出具体的数据库以及备份日期,以及运算逻辑确认备份日期连续性,根据运算结果发送各个数据库具体缺失某天的数据库备份文件邮件。避免数据库服务器本地磁盘发生损坏时造成备份的重要数据丢失,无法找回重要数据的情况发生,提高数据库数据备份的安全性,进而可实现数据库备份统一管理以及确保数据库备份的安全存放和连续性。
进一步的,作为图1和图2所示方法的具体实现,本实施例提供了一种数据库数据备份装置,如图3所示,该装置包括:获取模块31、确定模块32、判断模块33、发送模块34。
获取模块31,用于获取待备份的数据库备份数据的数据特征;
确定模块32,用于分析所述数据特征确定所述数据库备份数据的数据类型,并查询与所述数据库备份数据相同数据类型的历史备份数据的用户查看信息;将在异机服务器中已同步备份的数据与所述数据库备份数据进行数据特征比对,确定所述已同步备份的数据与所述数据库备份数据的关联信息;分析所述用户查看信息和/或所述关联信息,确定所述数据库备份数据的备份价值信息;
判断模块33,用于分析所述备份价值信息和异机服务器当前的数据存储状态信息,判断是否需要备份所述数据库备份数据;
发送模块34,用于若判定需要备份所述数据库备份数据,则将所述数据库备份数据发送至异机服务器中进行备份。
在具体的应用场景中,确定模块32,具体用于计算所述用户查看信息对应的第一评分,作为备份所述数据库备份数据的第一价值信息;计算所述关联信息对应的第二评分,作为备份所述数据库备份数据的第二价值信息;将所述第一价值信息和/或所述第二价值信息进行加权平均分析,确定所述数据库备份数据的备份价值信息。
在具体的应用场景中,确定模块32,具体还用于获取与用户对所述历史备份数据的累计查看次数所对应的价值评分A;获取与用户在距离当前时间点预设时长的历史时间段内对所述历史备份数据的查看频率所对应的价值评分B;获取与用户在距离当前时间点预设时长的历史时间段内对所述历史备份数据的查看平均时长所对应的价值评分C;将所述价值评分A、和/或所述价值评分B、和/或所述价值评分C进行加权平均计算,得到所述第一评分。
在具体的应用场景中,确定模块32,具体还用于将在异机服务器中已同步备份的数据和所述数据库备份数据进行文件名称、和/或文件内容、和/或文件扩展名、和/或文件创建时间的比对,以确定在异机服务器中已同步备份的数据与所述数据库备份数据的关联度等级;获取所述关联度等级对应的价值评分,作为所述第二评分。
在具体的应用场景中,确定模块32,具体还用于将所述第一评分和所述第二评分进行加权平均计算;获取与计算分值所在分值范围对应的预设备份价值等级,作为所述数据库备份数据的备份价值等级,其中,不同的分值范围均有各自对应的预设备份价值等级。
在具体的应用场景中,判断模块33,具体用于获取所述数据库备份数据的备份价值等级;若所述备份价值等级小于或等于第一等级阈值,则确定不将所述数据库备份数据备份至所述异机服务器;若所述异机服务器当前的数据存储状态信息符合预设繁忙状态标准、且所述备份价值等级大于第一等级阈值并小于或等于第二等级阈值,则确定不将所述数据库备份数据备份至所述异机服务器;若所述备份价值等级大于第二等级阈值,则确定将所述数据库备份数据备份至所述异机服务器。
在具体的应用场景中,发送模块34,具体用于从所述数据特征中识别所述数据库备份数据的属性信息;将所述数据库备份数据和所述数据库备份数据的属性信息,发送至异机服务器中进行备份,以使得所述异机服务器根据所述属性信息,判断所述数据库备份数据的数据备份连续性,并在判定所述数据库备份数据出现备份连续性异常时发送告警信息。
在具体的应用场景中,可选的,所述待备份的数据库备份数据预先保存在区块链中;相应的,获取模块31,具体用于从所述区块链中获取所述待备份的数据库备份数据的数据特征。
发送模块34,具体用于从所述区块链中获取所述待备份的数据库备份数据,并将所述数据库备份数据发送至异机服务器中进行备份。
需要说明的是,本实施例提供的一种数据库数据备份装置所涉及各功能单元的其它相应描述,可以参考图1和图2中的对应描述,在此不再赘述。
基于上述如图1和图2所示方法,相应的,本实施例还提供了一种非易失性可读存储介质,其上存储有计算机可读指令,该计算机可读指令被处理器执行时实现上述如图1和图2所示的数据库数据备份方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1、图2所示的方法,以及图3所示的虚拟装置实施例,为了实现上述目的,本实施例还提供了一种计算机设备,具体可以为个人计算机、笔记本电脑、服务器、网络设备等,该实体设备包括存储介质和处理器;存储介质,用于存储计算机可读指令;处理器,用于执行计算机可读指令以实现上述如图1和图2所示的数据库数据备份方法。
可选的,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的计算机设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本实施例的技术方案,与目前传统的数据库数据备份方式相比,本实施例可将数据库备份数据发送至异机服务器中进行备份,这样即使数据库本地服务器磁盘损坏,也不会导致异机服务器中备份的数据库数据丢失。并且在异机服务器备份数据前,可根据待备份的数据库备份数据的数据特征,确定数据库备份数据的备份价值信息,并结合异机服务器当前的数据存储状态信息,智能筛选出重要数据进行优先备份,即便异机服务器处于繁忙状态也能保证重要数据能够有效备份,进而保证重要数据能够稳定备份保存。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种数据库数据备份方法,其特征在于,包括:
获取待备份的数据库备份数据的数据特征;
分析所述数据特征确定所述数据库备份数据的数据类型,并查询与所述数据库备份数据相同数据类型的历史备份数据的用户查看信息;
将在异机服务器中已同步备份的数据与所述数据库备份数据进行数据特征比对,确定所述已同步备份的数据与所述数据库备份数据的关联信息;
分析所述用户查看信息和/或所述关联信息,确定所述数据库备份数据的备份价值信息;
分析所述备份价值信息和异机服务器当前的数据存储状态信息,判断是否需要备份所述数据库备份数据;
若判定需要备份所述数据库备份数据,则将所述数据库备份数据发送至异机服务器中进行备份。
2.根据权利要求1所述的方法,其特征在于,所述分析所述用户查看信息和/或所述关联信息,确定所述数据库备份数据的备份价值信息,具体包括:
计算所述用户查看信息对应的第一评分,作为备份所述数据库备份数据的第一价值信息;
计算所述关联信息对应的第二评分,作为备份所述数据库备份数据的第二价值信息;
将所述第一价值信息和/或所述第二价值信息进行加权平均分析,确定所述数据库备份数据的备份价值信息。
3.根据权利要求2所述的方法,其特征在于,所述计算所述用户查看信息对应的第一评分,具体包括:
获取与用户对所述历史备份数据的累计查看次数所对应的价值评分A;
获取与用户在距离当前时间点预设时长的历史时间段内对所述历史备份数据的查看频率所对应的价值评分B;
获取与用户在距离当前时间点预设时长的历史时间段内对所述历史备份数据的查看平均时长所对应的价值评分C;
将所述价值评分A、和/或所述价值评分B、和/或所述价值评分C进行加权平均计算,得到所述第一评分。
4.根据权利要求2所述的方法,其特征在于,所述计算所述关联信息对应的第二评分,具体包括:
将在异机服务器中已同步备份的数据和所述数据库备份数据进行文件名称、和/或文件内容、和/或文件扩展名、和/或文件创建时间的比对,以确定在异机服务器中已同步备份的数据与所述数据库备份数据的关联度等级;
获取所述关联度等级对应的价值评分,作为所述第二评分。
5.根据权利要求2所述的方法,其特征在于,所述将所述第一价值信息和/或所述第二价值信息进行加权平均分析,确定所述数据库备份数据的备份价值信息,具体包括:
将所述第一评分和所述第二评分进行加权平均计算;
获取与计算分值所在分值范围对应的预设备份价值等级,作为所述数据库备份数据的备份价值等级,其中,不同的分值范围均有各自对应的预设备份价值等级。
6.根据权利要求5所述的方法,其特征在于,所述分析所述备份价值信息和异机服务器当前的数据存储状态信息,判断是否需要备份所述数据库备份数据,具体包括:
获取所述数据库备份数据的备份价值等级;
若所述备份价值等级小于或等于第一等级阈值,则确定不将所述数据库备份数据备份至所述异机服务器;
若所述异机服务器当前的数据存储状态信息符合预设繁忙状态标准、且所述备份价值等级大于第一等级阈值并小于或等于第二等级阈值,则确定不将所述数据库备份数据备份至所述异机服务器;
若所述备份价值等级大于第二等级阈值,则确定将所述数据库备份数据备份至所述异机服务器。
7.根据权利要求1所述的方法,其特征在于,所述待备份的数据库备份数据预先保存在区块链中;
所述获取待备份的数据库备份数据的数据特征,具体包括:
从所述区块链中获取所述待备份的数据库备份数据的数据特征;
所述将所述数据库备份数据发送至异机服务器中进行备份,具体包括:
从所述区块链中获取所述待备份的数据库备份数据,并将所述数据库备份数据发送至异机服务器中进行备份。
8.一种数据库数据备份装置,其特征在于,包括:
获取模块,用于获取待备份的数据库备份数据的数据特征;
确定模块,用于分析所述数据特征确定所述数据库备份数据的数据类型,并查询与所述数据库备份数据相同数据类型的历史备份数据的用户查看信息;将在异机服务器中已同步备份的数据与所述数据库备份数据进行数据特征比对,确定所述已同步备份的数据与所述数据库备份数据的关联信息;分析所述用户查看信息和/或所述关联信息,确定所述数据库备份数据的备份价值信息;
判断模块,用于分析所述备份价值信息和异机服务器当前的数据存储状态信息,判断是否需要备份所述数据库备份数据;
发送模块,用于若判定需要备份所述数据库备份数据,则将所述数据库备份数据发送至异机服务器中进行备份。
9.一种非易失性可读存储介质,其上存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现权利要求1至7中任一项所述的数据库数据备份方法。
10.一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现权利要求1至7中任一项所述的数据库数据备份方法。
CN202110205520.6A 2021-02-24 2021-02-24 数据库数据备份方法、装置及计算机设备 Active CN113157489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110205520.6A CN113157489B (zh) 2021-02-24 2021-02-24 数据库数据备份方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110205520.6A CN113157489B (zh) 2021-02-24 2021-02-24 数据库数据备份方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN113157489A true CN113157489A (zh) 2021-07-23
CN113157489B CN113157489B (zh) 2022-11-25

Family

ID=76883848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110205520.6A Active CN113157489B (zh) 2021-02-24 2021-02-24 数据库数据备份方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN113157489B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923235A (zh) * 2021-10-21 2022-01-11 上海威固信息技术股份有限公司 一种基于云计算平台的数据分布式存储系统
CN114064359A (zh) * 2021-11-12 2022-02-18 广州泳泳信息科技有限公司 一种跨平台多机房分布式数据库备份系统
CN114139189A (zh) * 2021-12-08 2022-03-04 广西民族大学 一种基于互模拟等价的数据安全处理方法和装置
CN114579369A (zh) * 2022-05-09 2022-06-03 武汉四通信息服务有限公司 数据的备份方法、计算机设备及存储介质
CN117453644A (zh) * 2023-10-25 2024-01-26 南京麦杰软件有限公司 一种面向电力行业实时数据库系统的负载均衡管理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6745210B1 (en) * 2000-09-19 2004-06-01 Bocada, Inc. Method for visualizing data backup activity from a plurality of backup devices
US20040243653A1 (en) * 2003-05-30 2004-12-02 Chung-I Lee System and method for generating an alarm when an abnormal database backup status occurs
US8001087B1 (en) * 2007-12-27 2011-08-16 Symantec Operating Corporation Method and apparatus for performing selective backup operations based on file history data
US20160335283A1 (en) * 2015-05-11 2016-11-17 Vmware, Inc. Prioritizing backup of endpoint devices in enterprise network environments
US20180024893A1 (en) * 2016-07-25 2018-01-25 Cisco Technology, Inc. Intelligent backup system
CN110333968A (zh) * 2019-06-12 2019-10-15 郑州轻工业学院 应用于数据库的数据管理方法、装置及计算机设备
CN111367713A (zh) * 2018-12-26 2020-07-03 广州九城信息科技有限公司 一种数字备份系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6745210B1 (en) * 2000-09-19 2004-06-01 Bocada, Inc. Method for visualizing data backup activity from a plurality of backup devices
US20040243653A1 (en) * 2003-05-30 2004-12-02 Chung-I Lee System and method for generating an alarm when an abnormal database backup status occurs
US8001087B1 (en) * 2007-12-27 2011-08-16 Symantec Operating Corporation Method and apparatus for performing selective backup operations based on file history data
US20160335283A1 (en) * 2015-05-11 2016-11-17 Vmware, Inc. Prioritizing backup of endpoint devices in enterprise network environments
US20180024893A1 (en) * 2016-07-25 2018-01-25 Cisco Technology, Inc. Intelligent backup system
CN111367713A (zh) * 2018-12-26 2020-07-03 广州九城信息科技有限公司 一种数字备份系统
CN110333968A (zh) * 2019-06-12 2019-10-15 郑州轻工业学院 应用于数据库的数据管理方法、装置及计算机设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923235A (zh) * 2021-10-21 2022-01-11 上海威固信息技术股份有限公司 一种基于云计算平台的数据分布式存储系统
CN113923235B (zh) * 2021-10-21 2023-01-24 上海威固信息技术股份有限公司 一种基于云计算平台的数据分布式存储系统
CN114064359A (zh) * 2021-11-12 2022-02-18 广州泳泳信息科技有限公司 一种跨平台多机房分布式数据库备份系统
CN114064359B (zh) * 2021-11-12 2023-03-31 广州泳泳信息科技有限公司 一种跨平台多机房分布式数据库备份系统
CN114139189A (zh) * 2021-12-08 2022-03-04 广西民族大学 一种基于互模拟等价的数据安全处理方法和装置
CN114139189B (zh) * 2021-12-08 2023-03-24 广西民族大学 一种基于互模拟等价的数据安全处理方法和装置
CN114579369A (zh) * 2022-05-09 2022-06-03 武汉四通信息服务有限公司 数据的备份方法、计算机设备及存储介质
CN117453644A (zh) * 2023-10-25 2024-01-26 南京麦杰软件有限公司 一种面向电力行业实时数据库系统的负载均衡管理方法及系统

Also Published As

Publication number Publication date
CN113157489B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN113157489B (zh) 数据库数据备份方法、装置及计算机设备
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
US10783043B2 (en) Automation and optimization of data recovery after a ransomware attack
US9262260B2 (en) Information processing apparatus, information processing method, and recording medium
EP3178004B1 (en) Recovering usability of cloud based service from system failure
CN111177165B (zh) 数据一致性检测的方法、装置及设备
WO2019153598A1 (zh) 客户风险等级管理方法、服务器及计算机可读存储介质
US9164857B2 (en) Scalable structured data store operations
CN109544014B (zh) 基于历史数据回放的反欺诈方法及装置
CN114357000A (zh) 一种区块链交易数据检索系统、方法、设备及存储介质
WO2021012565A1 (zh) 业务系统测试方法、装置、设备及存储介质
CN111143103A (zh) 一种关联关系确定方法、装置、设备及可读存储介质
CN113722154A (zh) 数据管理方法和系统、监测服务器及存储介质
CN112612679A (zh) 系统运行状态监控方法、装置、计算机设备和存储介质
CN112416896A (zh) 数据异常的报警方法和装置、存储介质、电子装置
US20200302022A1 (en) Process extraction apparatus and non-transitory computer readable medium
CN114358799B (zh) 一种硬件信息管理方法、装置、电子设备及存储介质
US11157381B2 (en) Display control method and display control device
CN112685376A (zh) 海量日志数据分析方法及系统
CN112347068A (zh) 基于elk的日志分析方法及系统
JP2019128616A (ja) 評価プログラム、評価方法及び情報処理装置
US20220366462A1 (en) Recommendation system, and product recommendation method
US11928135B2 (en) Edge computing data reproduction and filtering gatekeeper
CN115391374A (zh) 数据匹配方法、装置、电子设备及存储介质
JP2023042636A (ja) 異常検知方法及び異常検知プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant