CN113190381A - 数据备份方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据备份方法，包括：获取预设日期的多个业务数据表并创建对应的空白切片表；利用预设的朴素贝叶斯算法提取所述各个业务数据表中的关键字段；将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。本发明实施例不仅减少了存储资源的占用，且实现对每日数据的实时备份，同时，在保证数据准确性及完整性的基础上，大幅度减少了存储资源的占用，实现了对每天的业务数据表进行备份而不需要每天进行全量表的备份，极大地减少了存储资源的浪费且极大提高了存储资源的利用率。

Description

数据备份方法、系统、设备及存储介质

技术领域

本发明涉及大数据技术领域，具体涉及一种数据备份方法、系统、设备及存储介质。

背景技术

随着互联网技术的飞速发展，数据信息也越来越多，同时也需要对越来越多的数据信息进行备份。传统的数据备份方式是每天将全量表数据备份到数据库中，这种数据备份方式极大地浪费了数据库的存储资源。当业务量爆发时，由于数据库的存储空间有限，则可能会面临无法存储的风险。

因此，本发明旨在解决现有技术中进行数据备份时，存储资源严重浪费的问题。

发明内容

本发明的目的在于提供一种数据备份方法、系统、计算机设备及可读存储介质，用于解决现有技术中进行数据备份时，存储资源严重浪费的缺陷。

根据本发明的一个方面，提供了一种数据备份方法，该方法包括如下步骤：

获取预设日期的多个业务数据表并创建对应的空白切片表，所述空白切片表用于存储所述业务数据表在所述预设日期的备份数据；

利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，所述关键字段为至少在两个所述业务数据表中同时存在的字段，所述关键字段包括用户基本信息字段、用户授信信息字段以及用户借贷信息字段；

将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。

可选地，所述将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，包括：

获取各个所述业务数据表的表名及日期并根据各个所述业务数据表的表名及日期匹配出对应的目标空白切片表，所述目标空白切片表的表名由所述业务数据表的表名及日期组成；

分别将各个所述业务数据表的表名及各个所述目标空白切片表的表名作为参数传入预设的结构化查询语言语句中，以组装出查询各个所述业务数据表对应的第一查询语句以及查询各个所述目标空白切片表对应的第二查询语句；

利用各个所述第一查询语句查询各个所述业务数据表，得到各个所述业务表对应的数据查询结果；

利用各个所述第二查询语句查询出各个所述业务数据表对应的空白切片表；

将各个所述业务数据表对应的数据查询结果保存至对应的空白切片表中。

可选地，所述将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表之后，所述方法还包括：

对各个所述业务数据表及对应的目标切片表进行数据一致性验证。

可选地，所述对各个所述业务数据表及对应的目标切片表进行数据一致性验证，包括：

分别对第一预设日期对应的所述业务数据表中关键字段对应的数据及所述第一预设日期对应的所述目标切片表中关键字段对应的数据进行查询，得到各个所述业务数据表对应的第一查询结果及各个所述目标切片表对应的第二查询结果；

将各个所述业务数据表对应的第一查询结果与各个所述业务数据表对应的目标切片表对应的第二查询结果进行比较，得到各个第一比较结果，并根据各个所述第一比较结果完成对各个所述业务数据表及对应的目标切片表的数据一致性的验证。

可选地，所述根据各个所述第一比较结果完成对各个所述业务数据表及对应的目标切片表的数据一致性的验证，包括：

当所述第一比较结果为所述业务数据表对应的第一查询结果与所述业务数据表对应的目标切片表对应的第二查询结果一致时，表示验证通过，完成对所述业务数据表与对应的目标切片表的数据一致性的验证；

当所述第一比较结果为所述业务数据表对应的第一查询结果与所述业务数据表对应的目标切片表对应的第二查询结果不一致时，表示验证不通过，完成对所述业务数据表与对应的目标切片表的数据一致性的验证。

可选地，所述对各个所述业务数据表及对应的目标切片表进行数据一致性验证，还包括：

分别对第二预设日期对应的所述业务数据表的总数据量及对应的目标切片表的总数据量进行统计，得到各个所述业务数据表对应的第一总数据量及各个所述目标切片表对应的第二总数据量；

将各个所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量进行比较，得到各个第二比较结果，并根据各个所述第二比较结果完成对各个所述业务数据表与对应的目标切片表的数据一致性的验证。

可选地，所述根据各个所述第二比较结果完成对各个所述业务数据表与对应的目标切片表的数据一致性的验证，包括：

当所述第二比较结果为所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量一致时，表示验证通过，完成对所述业务数据表与所述目标切片表的数据一致性的验证；

当所述第二比较结果为所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量不一致时，表示验证不通过，完成对所述业务数据表与所述目标切片表的数据一致性的验证。

为了实现上述目的，本发明还提供一种数据备份系统，该系统具体包括以下组成部分：

获取模块，用于获取预设日期的多个业务数据表并创建对应的空白切片表，所述空白切片表用于存储所述业务数据表在所述预设日期的备份数据；

提取模块，用于利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，所述关键字段为至少在两个所述业务数据表中同时存在的字段，所述关键字段包括用户基本信息字段、用户授信信息字段以及用户借贷信息字段；

备份模块，用于将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。

为了实现上述目的，本发明还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的数据备份方法的步骤。

为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的数据备份方法的步骤。

本发明实施例提供的数据备份方法，通过利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，并将关键字段及业务数据表中关键字段对应的数据保存至预先创建的空白切片表中，得到所述业务数据表对应的目标切片表。本发明实施例不仅减少了存储资源的占用，且实现对每日数据的实时备份，同时，在保证数据准确性及完整性的基础上，大幅度减少了存储资源的占用，实现了对每天的业务数据表进行备份而不需要每天进行全量表的备份，极大地减少了存储资源的浪费且极大提高了存储资源的利用率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的数据备份方法的一种可选的步骤流程示意图；

图2为本发明实施例提供的图1中步骤S300的一种可选的步骤细化流程示意图；

图3为本发明实施例提供的数据备份方法的一种可选的步骤细化流程示意图；

图4为本发明实施例提供的数据备份方法的另一种可选的步骤细化流程示意图；

图5为本发明实施例提供的数据备份系统的一种可选的程序模块示意图；

图6为本发明实施例提供的计算机设备的一种可选的硬件架构示意图。

具体实施方式

这里将详细地对示例性发明实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性发明实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。

在本发明使用的术语是仅仅出于描述特定发明实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本发明及区别每一步骤，因此不能理解为对本发明的限制。基于本发明中的发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他发明实施例，都属于本发明保护的范围。

下面结合附图对本发明实施例进行说明。

实施例一

请参阅图1，示出了本发明实施例提供的一种数据备份方法的步骤流程示意图。可以理解，本发明实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，所述计算机设备可以包括诸如智能手机、平板个人计算机(tablet personal computer)、膝上型计算机(laptop computer)等移动终端，以及诸如台式计算机等固定终端。具体如下：

步骤S100，获取预设日期的多个业务数据表并创建对应的空白切片表，所述空白切片表用于存储所述业务数据表在所述预设日期的备份数据。

具体地，获取用户需要进行备份的业务数据表，并创建与所述业务数据表对应的空白切片表。

示例性的，假设将2021年7月1号的业务数据表进行备份，此时先获取2021年7月1号的业务数据表cis_cust_live及所述业务数据表对应的表名cis_cust_live及日期20210701，并将所述表名cis_cust_live及所述日期20210701进行连接，生成与所述业务数据表对应的空白切片表表名cis_cust_live20210701，并创建表名为所述空白切片表表名即cis_cust_live20210701的空白切片表。

本发明实施例通过利用所述业务数据表的表名及日期生成对应的空白切片表表名并创建表名为所述空白切片表表名的空白切片表，不仅数据备份时能够快速查找到对应的切片表，也提高了后续的查表效率。

步骤S200，利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，所述关键字段为至少在两个所述业务数据表中同时存在的字段，所述关键字段包括用户基本信息字段、用户授信信息字段以及用户借贷信息字段。

具体地，利用所述朴素贝叶斯算法对所述业务数据表进行特征提取，以提取出所述业务数据表的关键字段，所述关键字段包括主键id_key、账户号account_no、子账户号sub_account_no、账户状态account_status、账户余额loan_balance、逾期天数over_days、逾期本金overdue_principal、创建者created_by、创建时间date_created以及更新者updated_by等，其中，所述业务数据表包括用户基本信息表、用户授信信息表以及用户借贷信息表等。

本发明实施例通过所述朴素贝叶斯算法提取所述业务数据表对应关键字段，不仅便于后续备份时可以直接通过所述关键字段找到对应的目标数据，也能够作为验证数据一致性的依据。

步骤S300，将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。

具体地，根据所述业务数据表的表名及日期，确定出与所述业务数据表对应的空白切片表，并通过组装的SQL查询语句，将所述关键字段及所述业务数据表中所述关键字段对应的数据保存至所述空白切片表中，得到所述业务数据表对应的目标切片表。

在示例性的实施例中，所述步骤S300还包括：

步骤S301，获取各个所述业务数据表的表名及日期并根据各个所述业务数据表的表名及日期匹配出对应的目标空白切片表，所述目标空白切片表的表名由所述业务数据表的表名及日期组成；

步骤S302，分别将各个所述业务数据表的表名及各个所述目标空白切片表的表名作为参数传入预设的结构化查询语言语句中，以组装出查询各个所述业务数据表对应的第一查询语句以及查询各个所述目标空白切片表对应的第二查询语句；

步骤S303，利用各个所述第一查询语句查询各个所述业务数据表，得到各个所述业务表对应的数据查询结果；

步骤S304，利用各个所述第二查询语句查询出各个所述业务数据表对应的空白切片表；

步骤S305，将各个所述业务数据表对应的数据查询结果保存至对应的空白切片表中。

具体地，利用预设的朴素贝叶斯算法对所述业务数据表的关键字段进行提取，并将所述关键字段结合在一起形成切片抽取底层模型。对所述业务数据表中的业务数据备份至所述空白切片表中的过程进行封装得到切片器。在使用所述切片器进行切片任务时，调用所述切片抽取底层模型对所述业务数据表进行特征提取，然后利用所述切片器对所述业务数据表中的数据进行备份，需要说明的是，备份的数据可以满足业务的需求，且通过所述切片器能够将所要备份所述业务数据表的数据量缩减至最少，每天可以减少30倍需要备份的数据量，累计一年可以减少约一万倍需要备份的数据量，时间越长，缩减效果越明显。

示例性的，根据获取到业务数据表的表名cis_cust_live及日期20210701，匹配出所述业务数据表对应的空白切片表cis_cust_live20210701。分别将所述业务数据表的表名cis_cust_live及所述空白切片表的表名cis_cust_live20210701作为参数传入预设的结构化查询语言(Structured Query Language，SQL)语句中，以找到对应的业务数据表及对应的空白切片表，再通过SQL语句例如：

insert into cis_cust_live20210701Select字段A，字段B from cis_cust_live

上述SQL的释义如下所述：将表biz_acct_main的字段A及字段B插入到biz_acct_main_20200701中。

最后将所述业务数据表中的数据保存至所述空白切片表中，得到目标切片表。

本发明实施例通过根据业务数据表的表名及日期匹配出对应的空白切片表，能够快速查到用于备份数据的空白切片表。再利用SQL语句将所述业务数据表对应的数据插入到所述空白切片表中，得到目标切片表，实现了对每天的业务数据表进行备份而不需要每天进行全量表的备份，极大地减少了存储资源的浪费且极大提高了存储资源的利用率。

在示例性的实施例中，所述将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表之后，所述方法还包括：

对各个所述业务数据表及对应的目标切片表进行数据一致性验证。

具体地，将所述业务数据表对应的关键字段对应的数据与所述目标切片表对应的关键字段对应的数据进行验证，并且将所述业务数据表对应的总数据量与所述目标切片表对应的总数据量进行验证，从而验证所述业务数据表及所述目标切片表的数据一致性。

在示例性的实施例中，所述对所述业务数据表及所述目标切片表进行验证，以验证所述业务数据表与所述目标切片表的数据一致性，包括：

步骤S311，分别对第一预设日期对应的所述业务数据表中关键字段对应的数据及所述第一预设日期对应的所述目标切片表中关键字段对应的数据进行查询，得到各个所述业务数据表对应的第一查询结果及各个所述目标切片表对应的第二查询结果；

步骤S312，将各个所述业务数据表对应的第一查询结果与各个所述业务数据表对应的目标切片表对应的第二查询结果进行比较，得到各个第一比较结果，并根据各个所述第一比较结果完成对各个所述业务数据表及对应的目标切片表的数据一致性的验证。

示例性的，对所述业务数据表进行关键字段及关键字段对应的数据进行查询，假设所述预设的SQL如下所示：

select*from biz_acct_main a

inner join biz_bill_main b on a.sub_account_no＝b.sub_account_no andB.pay_date＝'20200701'

inner join biz_bill_acct c on a.sub_account_no＝c.sub_account_no andC.pay_date＝'20200701'

where a.sub_account_no＝'PC2005221918512502'

所述预设的SQL的释义如下：查询biz_acct_main中和biz_bill_main中同时存在sub_account_no，且biz_bill_acct表中也存在sub_account_no的数据，且biz_bill_main中的字段pay_date＝20200701的数据，且该数据sub_account_no账号为PC2005221918512502。

得到所述业务数据表对应的第一查询结果如表1所示：

表1

再对所述切片表表进行关键字段及关键字段对应的数据进行查询，假设所述预设的SQL如下所示：

select*from biz_acct_main_20200701a

inner join biz_bill_main_20200701b on a.sub_account_no＝b.sub_account_no and B.pay_date＝'20200701'

inner join biz_bill_acct_20200701c on a.sub_account_no＝c.sub_account_no and C.pay_date＝'20200701'

where a.sub_account_no＝'PC2005221918512502'

所述预设的SQL的释义如下：查询biz_acct_main_20200701中和biz_bill_main_20200701中同时存在sub_account_no，且biz_bill_acct_20200701表中也存在sub_account_no的数据，且biz_bill_main中的字段pay_date＝20200701的数据，且该数据sub_account_no账号为PC2005221918512502。

得到所述切片表对应的第二查询结果如表2所示：

表2

在示例性的实施例中，所述步骤S312包括：

当所述第一比较结果为所述业务数据表对应的第一查询结果与所述业务数据表对应的目标切片表对应的第二查询结果一致时，表示验证通过，完成对所述业务数据表与对应的目标切片表的数据一致性的验证；

当所述第一比较结果为所述业务数据表对应的第一查询结果与所述业务数据表对应的目标切片表对应的第二查询结果不一致时，表示验证不通过，完成对所述业务数据表与对应的目标切片表的数据一致性的验证。

示例性的，对比所述业务数据表对应的第一查询结果及所述切片表对应的第二查询结果，所述第一查询结果与所述第二查询结果中的主键id_key、账户号account_no、子账户号sub_account_no、账户状态account_status、账户余额loan_balance、逾期天数over_days、逾期本金overdue_principal、创建人created_by以及创建时间date_created皆一致，完成对所述切片表的数据一致性的验证。

在示例性的实施例中，所述对所述业务数据表及所述目标切片表进行验证，以验证所述业务数据表与所述目标切片表的数据一致性，还包括：

步骤S321，分别对第二预设日期对应的所述业务数据表的总数据量及对应的目标切片表的总数据量进行统计，得到各个所述业务数据表对应的第一总数据量及各个所述目标切片表对应的第二总数据量；

步骤S322，将各个所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量进行比较，得到各个第二比较结果，并根据各个所述第二比较结果完成对各个所述业务数据表与对应的目标切片表的数据一致性的验证。

具体地，当所述第一比较结果与所述第二比较结果一致时，则表明所述业务数据表与所述目标切片表的数据一致性验证通过。当所述第一比较结果与所述第二比较结果不一致时，所述业务数据表与所述目标切片表的关键字段进行比较，输出所述第二比较结果中缺失的关键字段，并针对所述贝叶斯算法中对应的关键字段的先验概率进行加权，然后再次验证，直到所述业务数据表与所述目标切片表的数据一致性验证通过，此外，对单日全部的所述业务数据表与所述业务数据表对应的所述目标数据表进行验证，以确定单日备份数据是否正确，然后以连续的三个月为周期，验证每天对应备份的业务数据是否正确。

在示例性的实施例中，所述步骤S322包括：

当所述第二比较结果为所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量一致时，表示验证通过，完成对所述业务数据表与所述目标切片表的数据一致性的验证；

当所述第二比较结果为所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量不一致时，表示验证不通过，完成对所述业务数据表与所述目标切片表的数据一致性的验证。

示例性的，对所述业务数据表的总数据量进行统计，假设所述预设的SQL如下所示：

select COUNT(A.*)from biz_acct_main a inner join(select distinctaccount fromcrs_batch_account where t_date＝'20200701')cba on a.sub_account_no＝cba.account

所述预设的SQL的释义如下：统计在biz_acct_main中和表crs_batch_account中存在的biz_acct_main表中字段sub_account_no和crs_batch_account表中字段account相等，且crs_batch_account的字段t_date等于20200701的数据。

得到所述业务数据表对应的第一统计结果为3284。

再对所述切片表的数据量进行统计，假设所述预设的SQL如下所示：

select COUNT(A.*)from biz_acct_main_20200701a inner join(selectdistinct account fromcrs_batch_account where t_date＝'20200701')cba on a.sub_account_no＝cba.account

所述预设的SQL的释义如下：统计在biz_acct_main_20200701中和表crs_batch_account_20200701中存在的biz_acct_main_20200701表中字段sub_account_no和crs_batch_account_20200701表中字段account相等，且crs_batch_account_20200701的字段t_date等于20200701的数据。

得到所述业务数据表对应的第二统计结果为3284。

对比所述业务数据表对应的第一统计结果及所述切片表对应的第二统计结果，所述第一统计结果与所述第二统计结果一致，完成对所述切片表的数据量验证。

本发明实施例通过对所述业务数据表对应的关键字段对应的数据与所述目标切片表对应的关键字段对应的数据的数据一致性进行验证，以及对所述业务数据对应的总数据量与所述目标切片表对应的总数据量的数据一致性进行验证，使最终得到的目标切片表更具准确性。

进一步地，在示例性的实施例中，所述数据备份方法还包括：

将所述目标切片表上传至区块链中。

具体地，为了保证所述目标切片表的安全性和对用户的公正透明性，可以将得到的所述目标切片表上传至区块链中，然后用户设备可以从区块链中下载得到所述目标切片表，以便查证所述目标切片表是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本发明实施例提供的数据备份方法，通过利用所述业务数据表的表名及日期生成对应的切片表表名并创建表名为所述切片表表名的空白切片表，不仅数据备份时能够快速查找到对应的切片表，也提高了后续的查表效率。通过所述朴素贝叶斯算法提取所述业务数据表对应关键字段，便于后续备份时可以直接通过所述关键字段找到对应的目标数据。通过根据业务数据表的表名及日期匹配出对应的空白切片表，能够快速查到用于备份数据的空白切片表。再利用SQL语句将所述业务数据表对应的数据插入到所述空白切片表中，得到目标切片表，且实现对每日数据的实时备份，同时，在保证数据准确性及完整性的基础上，大幅度减少了存储资源的占用，实现了对每天的业务数据表进行备份而不需要每天进行全量表的备份，极大地减少了存储资源的浪费且极大提高了存储资源的利用率。

实施例二

请参阅图5，示出了本发明实施例之一种数据备份系统700的程序模块示意图。所述数据备份系统700可以应用于计算机设备中，所述计算机设备可以是手机、平板个人计算机(tablet personal computer)、膝上型计算机(laptop computer)、等具有数据传输功能的设备。在本发明实施例中，所述数据备份系统700可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于可读存储介质中，并由一个或多个处理器所执行，以完成本发明实施例，并可实现上述数据备份系统700。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述所述数据备份系统700在可读存储介质中的执行过程。在示例性的实施例中，该数据备份系统700包括获取模块701、提取模块702以及备份模块703。以下描述将具体介绍本发明实施例各程序模块的功能：

获取模块701，用于获取预设日期的多个业务数据表并创建对应的空白切片表，所述空白切片表用于存储所述业务数据表在所述预设日期的备份数据。

具体地，所述获取模块701获取用户需要进行备份的业务数据表，并创建与所述业务数据表对应的空白切片表。

示例性的，假设将2021年7月1号的业务数据表进行备份，此时先获取2021年7月1号的业务数据表cis_cust_live及所述业务数据表对应的表名cis_cust_live及日期20210701，并将所述表名cis_cust_live及所述日期20210701进行连接，生成与所述业务数据表对应的空白切片表表名cis_cust_live20210701，并创建表名为所述空白切片表表名即cis_cust_live20210701的空白切片表。

本发明实施例通过利用所述业务数据表的表名及日期生成对应的空白切片表表名并创建表名为所述空白切片表表名的空白切片表，不仅数据备份时能够快速查找到对应的切片表，也提高了后续的查表效率。

提取模块702，用于利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，所述关键字段为至少在两个所述业务数据表中同时存在的字段，所述关键字段包括用户基本信息字段、用户授信信息字段以及用户借贷信息字段。

具体地，所述提取模块702利用所述朴素贝叶斯算法对所述业务数据表进行特征提取，以提取出所述业务数据表的关键字段，所述关键字段包括主键id_key、账户号account_no、子账户号sub_account_no、账户状态account_status、账户余额loan_balance、逾期天数over_days、逾期本金overdue_principal、创建者created_by、创建时间date_created以及更新者updated_by等，其中，所述业务数据表包括用户基本信息表、用户授信信息表以及用户借贷信息表等。

本发明实施例通过所述朴素贝叶斯算法提取所述业务数据表对应关键字段，不仅便于后续备份时可以直接通过所述关键字段找到对应的目标数据，也能够作为验证数据一致性的依据。

备份模块703，用于将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。

具体地，所述备份模块703根据所述业务数据表的表名及日期，确定出与所述业务数据表对应的空白切片表，并通过组装的SQL查询语句，将所述关键字段及所述业务数据表中所述关键字段对应的数据保存至所述空白切片表中，得到所述业务数据表对应的目标切片表。

在示例性的实施例中，所述备份模块703具体用于：

获取各个所述业务数据表的表名及日期并根据各个所述业务数据表的表名及日期匹配出对应的目标空白切片表，所述目标空白切片表的表名由所述业务数据表的表名及日期组成；

分别将各个所述业务数据表的表名及各个所述目标空白切片表的表名作为参数传入预设的结构化查询语言语句中，以组装出查询各个所述业务数据表对应的第一查询语句以及查询各个所述目标空白切片表对应的第二查询语句；

利用各个所述第一查询语句查询各个所述业务数据表，得到各个所述业务表对应的数据查询结果；

利用各个所述第二查询语句查询出各个所述业务数据表对应的空白切片表；

将各个所述业务数据表对应的数据查询结果保存至对应的空白切片表中。

具体地，利用预设的朴素贝叶斯算法对所述业务数据表的关键字段进行提取，并将所述关键字段结合在一起形成切片抽取底层模型。对所述业务数据表中的业务数据备份至所述空白切片表中的过程进行封装得到切片器。在使用所述切片器进行切片任务时，调用所述切片抽取底层模型对所述业务数据表进行特征提取，然后利用所述切片器对所述业务数据表中的数据进行备份，需要说明的是，备份的数据可以满足业务的需求，且通过所述切片器能够将所要备份所述业务数据表的数据量缩减至最少，每天可以减少30倍需要备份的数据量，累计一年可以减少约一万倍需要备份的数据量，时间越长，缩减效果越明显。

示例性的，根据获取到业务数据表的表名cis_cust_live及日期20210701，匹配出所述业务数据表对应的空白切片表cis_cust_live20210701。分别将所述业务数据表的表名cis_cust_live及所述空白切片表的表名cis_cust_live20210701作为参数传入预设的结构化查询语言(Structured Query Language，SQL)语句中，以找到对应的业务数据表及对应的空白切片表，再通过SQL语句例如：

insert into cis_cust_live20210701Select字段A，字段B from cis_cust_live

上述SQL的释义如下所述：将表biz_acct_main的字段A及字段B插入到biz_acct_main_20200701中。

最后将所述业务数据表中的数据保存至所述空白切片表中，得到目标切片表。

本发明实施例通过根据业务数据表的表名及日期匹配出对应的空白切片表，能够快速查到用于备份数据的空白切片表。再利用SQL语句将所述业务数据表对应的数据插入到所述空白切片表中，得到目标切片表，实现了对每天的业务数据表进行备份而不需要每天进行全量表的备份，极大地减少了存储资源的浪费且极大提高了存储资源的利用率。

在示例性的实施例中，所述备份模块703具体还用于：

对各个所述业务数据表及对应的目标切片表进行数据一致性验证。

具体地，所述备份模块703将所述业务数据表对应的关键字段对应的数据与所述目标切片表对应的关键字段对应的数据进行验证，并且将所述业务数据表对应的总数据量与所述目标切片表对应的总数据量进行验证，从而验证所述业务数据表及所述目标切片表的数据一致性。

在示例性的实施例中，所述备份模块703具体还用于：

分别对第一预设日期对应的所述业务数据表中关键字段对应的数据及所述第一预设日期对应的所述目标切片表中关键字段对应的数据进行查询，得到各个所述业务数据表对应的第一查询结果及各个所述目标切片表对应的第二查询结果；

将各个所述业务数据表对应的第一查询结果与各个所述业务数据表对应的目标切片表对应的第二查询结果进行比较，得到各个第一比较结果，并根据各个所述第一比较结果完成对各个所述业务数据表及对应的目标切片表的数据一致性的验证。

具体地，当所述第一查询结果与所述第二查询结果一致时，则表明所述业务数据表与所述目标切片表的数据一致性验证通过。当所述第一查询结果与所述第二查询结果不一致时，输出所述第一查询结果及所述第二查询结果中不一致的关键字段，并针对所述贝叶斯算法中对应的关键字段的先验概率进行加权，然后再次验证，直到所述业务数据表与所述目标切片表的数据一致性验证通过。

示例性的，对所述业务数据表进行关键字段及关键字段对应的数据进行查询，假设所述预设的SQL如下所示：

select*from biz_acct_main a

inner join biz_bill_main b on a.sub_account_no＝b.sub_account_no andB.pay_date＝'20200701'

inner join biz_bill_acct c on a.sub_account_no＝c.sub_account_no andC.pay_date＝'20200701'

where a.sub_account_no＝'PC2005221918512502'

所述预设的SQL的释义如下：查询biz_acct_main中和biz_bill_main中同时存在sub_account_no，且biz_bill_acct表中也存在sub_account_no的数据，且biz_bill_main中的字段pay_date＝20200701的数据，且该数据sub_account_no账号为PC2005221918512502。

得到所述业务数据表对应的第一查询结果如表1所示：

表1

再对所述切片表表进行关键字段及关键字段对应的数据进行查询，假设所述预设的SQL如下所示：

select*from biz_acct_main_20200701a

inner join biz_bill_main_20200701b on a.sub_account_no＝b.sub_account_no and B.pay_date＝'20200701'

inner join biz_bill_acct_20200701c on a.sub_account_no＝c.sub_account_no and C.pay_date＝'20200701'

where a.sub_account_no＝'PC2005221918512502'

所述预设的SQL的释义如下：查询biz_acct_main_20200701中和biz_bill_main_20200701中同时存在sub_account_no，且biz_bill_acct_20200701表中也存在sub_account_no的数据，且biz_bill_main中的字段pay_date＝20200701的数据，且该数据sub_account_no账号为PC2005221918512502。

得到所述切片表对应的第二查询结果如表2所示：

表2

在示例性的实施例中，所述备份模块703具体还用于：

当所述第一比较结果为所述业务数据表对应的第一查询结果与所述业务数据表对应的目标切片表对应的第二查询结果一致时，表示验证通过，完成对所述业务数据表与对应的目标切片表的数据一致性的验证；

当所述第一比较结果为所述业务数据表对应的第一查询结果与所述业务数据表对应的目标切片表对应的第二查询结果不一致时，表示验证不通过，完成对所述业务数据表与对应的目标切片表的数据一致性的验证。

示例性的，对比所述业务数据表对应的第一查询结果及所述切片表对应的第二查询结果，所述第一查询结果与所述第二查询结果中的主键id_key、账户号account_no、子账户号sub_account_no、账户状态account_status、账户余额loan_balance、逾期天数over_days、逾期本金overdue_principal、创建人created_by以及创建时间date_created皆一致，完成对所述切片表的数据一致性的验证。

在示例性的实施例中，所述备份模块703具体还用于：

分别对第二预设日期对应的所述业务数据表的总数据量及对应的目标切片表的总数据量进行统计，得到各个所述业务数据表对应的第一总数据量及各个所述目标切片表对应的第二总数据量；

将各个所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量进行比较，得到各个第二比较结果，并根据各个所述第二比较结果完成对各个所述业务数据表与对应的目标切片表的数据一致性的验证。

具体地，当所述第一比较结果与所述第二比较结果一致时，则表明所述业务数据表与所述目标切片表的数据一致性验证通过。当所述第一比较结果与所述第二比较结果不一致时，所述业务数据表与所述目标切片表的关键字段进行比较，输出所述第二比较结果中缺失的关键字段，并针对所述贝叶斯算法中对应的关键字段的先验概率进行加权，然后再次验证，直到所述业务数据表与所述目标切片表的数据一致性验证通过，此外，对单日全部的所述业务数据表与所述业务数据表对应的所述目标数据表进行验证，以确定单日备份数据是否正确，然后以连续的三个月为周期，验证每天对应备份的业务数据是否正确。

在示例性的实施例中，所述备份模块703具体还用于：

当所述第二比较结果为所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量一致时，表示验证通过，完成对所述业务数据表与所述目标切片表的数据一致性的验证；

当所述第二比较结果为所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量不一致时，表示验证不通过，完成对所述业务数据表与所述目标切片表的数据一致性的验证。

示例性的，对所述业务数据表的总数据量进行统计，假设所述预设的SQL如下所示：

select COUNT(A.*)from biz_acct_main a inner join(select distinctaccount fromcrs_batch_account where t_date＝'20200701')cba on a.sub_account_no＝cba.account

所述预设的SQL的释义如下：统计在biz_acct_main中和表crs_batch_account中存在的biz_acct_main表中字段sub_account_no和crs_batch_account表中字段account相等，且crs_batch_account的字段t_date等于20200701的数据。

得到所述业务数据表对应的第一统计结果为3284。

再对所述切片表的数据量进行统计，假设所述预设的SQL如下所示：

select COUNT(A.*)from biz_acct_main_20200701a inner join(selectdistinct account fromcrs_batch_account where t_date＝'20200701')cba on a.sub_account_no＝cba.account

所述预设的SQL的释义如下：统计在biz_acct_main_20200701中和表crs_batch_account_20200701中存在的biz_acct_main_20200701表中字段sub_account_no和crs_batch_account_20200701表中字段account相等，且crs_batch_account_20200701的字段t_date等于20200701的数据。

得到所述业务数据表对应的第二统计结果为3284。

对比所述业务数据表对应的第一统计结果及所述切片表对应的第二统计结果，所述第一统计结果与所述第二统计结果一致，完成对所述切片表的数据量验证。

本发明实施例通过对所述业务数据表对应的关键字段对应的数据与所述目标切片表对应的关键字段对应的数据的数据一致性进行验证，以及对所述业务数据对应的总数据量与所述目标切片表对应的总数据量的数据一致性进行验证，使最终得到的目标切片表更具准确性。

进一步地，在示例性的实施例中，所述数据备份系统700还包括：

将所述目标切片表上传至区块链中。

具体地，为了保证所述目标切片表的安全性和对用户的公正透明性，可以将得到的所述目标切片表上传至区块链中，然后用户设备可以从区块链中下载得到所述目标切片表，以便查证所述目标切片表是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本发明实施例提供的数据备份系统700，通过利用所述业务数据表的表名及日期生成对应的切片表表名并创建表名为所述切片表表名的空白切片表，不仅数据备份时能够快速查找到对应的切片表，也提高了后续的查表效率。通过所述朴素贝叶斯算法提取所述业务数据表对应关键字段，便于后续备份时可以直接通过所述关键字段找到对应的目标数据。通过根据业务数据表的表名及日期匹配出对应的空白切片表，能够快速查到用于备份数据的空白切片表。再利用SQL语句将所述业务数据表对应的数据插入到所述空白切片表中，得到目标切片表，且实现对每日数据的实时备份，同时，在保证数据准确性及完整性的基础上，大幅度减少了存储资源的占用，实现了对每天的业务数据表进行备份而不需要每天进行全量表的备份，极大地减少了存储资源的浪费且极大提高了存储资源的利用率。

实施例三

请参阅图6，本发明实施例还提供一种计算机设备800的硬件架构示意图。如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。在本发明实施例中，所述计算机设备800是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。如图所示，所述计算机设备800至少包括，但不限于，可通过装置总线相互通信连接存储器801、处理器802、网络接口803。其中：

本发明实施例中，存储器801至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些发明实施例中，存储器801可以是计算机设备800的内部存储单元，例如所述计算机设备800的硬盘或内存。在另一些发明实施例中，存储器801也可以是计算机设备800的外部存储设备，例如所述计算机设备800上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，存储器801还可以既包括计算机设备800的内部存储单元也包括其外部存储设备。本发明实施例中，存储器801通常用于存储安装于计算机设备800的操作装置和各类应用软件，例如所述数据备份系统700的程序代码等。此外，存储器801还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器802在一些发明实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他语音处理芯片。所述处理器802通常用于控制计算机设备800的总体操作。本发明实施例中，处理器802用于运行存储器801中存储的程序代码或者处理数据，例如运行所述数据备份系统700的程序代码，以实现上述各个发明实施例中的所述数据备份方法。

所述网络接口803可包括无线网络接口或有线网络接口，所述网络接口803通常用于在所述计算机设备800与其他电子装置之间建立通信连接。例如，所述网络接口803用于通过网络将所述计算机设备800与外部终端相连，在所述计算机设备800与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯装置(Global System of Mobile communication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

需要指出的是，图6仅示出了具有部件801-803的计算机设备800，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。

在本发明实施例中，存储于存储器801中的所述数据备份系统700还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器801中，并由一个或多个处理器(本发明实施例为处理器802)所执行，以完成本发明之数据备份方法。

实施例四

本发明实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本发明实施例的计算机可读存储介质用于存储所述数据备份系统700，以被处理器执行时实现本发明之数据备份方法。

上述本发明实施例序号仅仅为了描述，不代表发明实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述发明实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选发明实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据备份方法，其特征在于，所述方法包括：

获取预设日期的多个业务数据表并创建对应的空白切片表，所述空白切片表用于存储所述业务数据表在所述预设日期的备份数据；

利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，所述关键字段为至少在两个所述业务数据表中同时存在的字段，所述关键字段包括用户基本信息字段、用户授信信息字段以及用户借贷信息字段；

将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。

2.如权利要求1所述的数据备份方法，其特征在于，所述将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，包括：

获取各个所述业务数据表的表名及日期并根据各个所述业务数据表的表名及日期匹配出对应的目标空白切片表，所述目标空白切片表的表名由所述业务数据表的表名及日期组成；

分别将各个所述业务数据表的表名及各个所述目标空白切片表的表名作为参数传入预设的结构化查询语言语句中，以组装出查询各个所述业务数据表对应的第一查询语句以及查询各个所述目标空白切片表对应的第二查询语句；

利用各个所述第一查询语句查询各个所述业务数据表，得到各个所述业务表对应的数据查询结果；

利用各个所述第二查询语句查询出各个所述业务数据表对应的空白切片表；

将各个所述业务数据表对应的数据查询结果保存至对应的空白切片表中。

3.如权利要求1所述的数据备份方法，其特征在于，所述将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表之后，所述方法还包括：

对各个所述业务数据表及对应的目标切片表进行数据一致性验证。

4.如权利要求3所述的数据备份方法，其特征在于，所述对各个所述业务数据表及对应的目标切片表进行数据一致性验证，包括：

分别对第一预设日期对应的所述业务数据表中关键字段对应的数据及所述第一预设日期对应的所述目标切片表中关键字段对应的数据进行查询，得到各个所述业务数据表对应的第一查询结果及各个所述目标切片表对应的第二查询结果；

将各个所述业务数据表对应的第一查询结果与各个所述业务数据表对应的目标切片表对应的第二查询结果进行比较，得到各个第一比较结果，并根据各个所述第一比较结果完成对各个所述业务数据表及对应的目标切片表的数据一致性的验证。

5.如权利要求4所述的数据备份方法，其特征在于，所述根据各个所述第一比较结果完成对各个所述业务数据表及对应的目标切片表的数据一致性的验证，包括：

当所述第一比较结果为所述业务数据表对应的第一查询结果与所述业务数据表对应的目标切片表对应的第二查询结果一致时，表示验证通过，完成对所述业务数据表与对应的目标切片表的数据一致性的验证；

当所述第一比较结果为所述业务数据表对应的第一查询结果与所述业务数据表对应的目标切片表对应的第二查询结果不一致时，表示验证不通过，完成对所述业务数据表与对应的目标切片表的数据一致性的验证。

6.如权利要求3所述的数据备份方法，其特征在于，所述对各个所述业务数据表及对应的目标切片表进行数据一致性验证，还包括：

分别对第二预设日期对应的所述业务数据表的总数据量及对应的目标切片表的总数据量进行统计，得到各个所述业务数据表对应的第一总数据量及各个所述目标切片表对应的第二总数据量；

将各个所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量进行比较，得到各个第二比较结果，并根据各个所述第二比较结果完成对各个所述业务数据表与对应的目标切片表的数据一致性的验证。

7.如权利要求6所述的数据备份方法，其特征在于，所述根据各个所述第二比较结果完成对各个所述业务数据表与对应的目标切片表的数据一致性的验证，包括：

当所述第二比较结果为所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量一致时，表示验证通过，完成对所述业务数据表与所述目标切片表的数据一致性的验证；

当所述第二比较结果为所述业务数据表对应的第一总数据量与对应的目标切片表的第二总数据量不一致时，表示验证不通过，完成对所述业务数据表与所述目标切片表的数据一致性的验证。

8.一种数据备份系统，其特征在于，所述系统包括：

获取模块，用于获取预设日期的多个业务数据表并创建对应的空白切片表，所述空白切片表用于存储所述业务数据表在所述预设日期的备份数据；

提取模块，用于利用预设的朴素贝叶斯算法提取各个所述业务数据表中的关键字段，所述关键字段为至少在两个所述业务数据表中同时存在的字段，所述关键字段包括用户基本信息字段、用户授信信息字段以及用户借贷信息字段；

备份模块，用于将各个所述业务数据表中的所述关键字段及对应的数据保存至对应的空白切片表中，得到各个所述业务数据表对应的目标切片表。

9.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项的所述数据备份方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项的所述数据备份方法的步骤。

Images