CN101980187A - 数据入库方法和装置 - Google Patents

Abstract

本发明公开了一种数据入库方法和装置，其中，该方法包括：从数据文件中取出一条或多条数据记录；对所取出的数据记录进行校验；将校验成功的数据记录导入数据库。本发明解决了现有技术中数据入库方法精确性较低的问题，提高了数据入库的精确性。

Description

数据入库方法和装置

技术领域

本发明涉及数据库领域，具体而言，涉及一种数据入库方法和装置。

背景技术

当前很多领域的实时软件系统都会产生海量的备份数据，待后续统计、核对。如电信行业中话务系统、计费系统、鉴权系统均产生大量的离线话单，这些话单将按天或按月统一导入数据库，进行对账、统计、出报表供用户查询账单，或用于数据挖掘等各种后续处理，所以这些数据的高效、精确、灵活入库有着重要的应用价值。

然而，发明人发现现有技术中的数据入库方法存在以下几个问题：

1)普通的逐条式入库方式效率较低。例如，电信行业中的用户通常以亿为单位，其账单数据非常庞大，普通入库方法不可避免将会消耗较多的时间，但动辄花费数天时间来入库是满足不了应用要求的。

2)批量入库方式灵活性较差、限制较大。目前，各种主流数据库提供了批量导入数据的功能，不过直接使用这样的主流数据库会带来较大的问题：文件格式必须满足数据库的限制；文件的一条或几条记录错误可能导致整个文件都无法入库。

3)逐条式入库方式或批量入库方式精确性较低。目前，在数据库异常、入库系统异常、数据某些记录异常等情况下，无法保证入库的精确性，即，无法避免数据重复入库和遗漏入库，而不精确的入库将大大降低入库数据的可用性。

发明内容

针对现有技术中数据入库方法精确性较低的问题而提出本发明，为此，本发明的主要目的在于提供一种数据入库方法和装置，以解决上述问题至少之一。

为了实现上述目的，根据本发明的一个方面，提供了一种数据入库方法，其包括：从数据文件中取出一条或多条数据记录；对所取出的数据记录进行校验；将校验成功的数据记录导入数据库。

进一步地，上述对所取出的数据记录进行校验的步骤包括：判断所取出的每条数据记录中的字段是否满足预设的格式；若满足，则所判断的数据记录检验成功；否则，将所判断的数据记录保存到错误记录文件中。

进一步地，上述将校验成功的数据记录导入数据库的步骤包括：为每一条上述校验成功的数据记录分配流水号，其中，每一条上述校验成功的数据记录对应的流水号在上述数据库中是唯一的流水号；将分配有上述流水号的上述校验成功的数据记录导入数据库中。

进一步地，上述将校验成功的数据记录导入数据库的步骤包括：以批量方式将上述校验成功的数据记录导入到上述数据库中；若当前一批上述校验成功的数据记录导入失败，则将上述当前一批上述校验成功的数据记录以及与上述当前一批上述校验成功的数据记录中的每一条数据记录对应的流水号保存到入库失败记录文件中；以单条方式将上述入库失败记录文件中保存的数据记录重新导入到上述数据库中，若导入失败，则将导入失败的数据记录保存到错误记录文件中。

进一步地，上述将校验成功的数据记录导入数据库的步骤包括：判断上述数据库中当前使用的数据表是否满足预定规则；若不满足，则使用上述当前使用的数据表来存储上述校验成功的数据记录；若满足，则使用上述数据库中另一张空闲的数据表来存储上述校验成功的数据记录。

进一步地，上述使用上述数据库中另一张空闲的数据表来存储上述校验成功的数据记录的步骤包括：判断上述当前使用的数据表是否为预设的用于存储数据记录的多张数据表中的最后一张数据表；若上述当前使用的数据表是上述预设的用于存储数据记录的多张数据表中的最后一张数据表，则使用上述预设的用于存储数据记录的多张数据表中的第一张数据表来存储上述校验成功的数据记录；若上述当前使用的数据表不是上述预设的用于存储数据记录的多张数据表中的最后一张数据表，则在上述预设的用于存储数据记录的多张数据表中使用上述当前使用的数据表的下一张数据表来存储上述校验成功的数据记录。

进一步地，上述预定规则包括以下至少之一：上述当前使用的数据表所存储的数据量超过预定的阈值；上述当前使用的数据表被使用的时间超过预定的时间长度。

为了实现上述目的，根据本发明的另一方面，提供了一种数据入库装置，其包括：读取单元，用于从数据文件中取出一条或多条数据记录；校验单元，用于对所取出的数据记录进行校验；导入单元，用于将校验成功的数据记录导入数据库。

进一步地，上述导入单元包括：分配模块，用于为每一条上述校验成功的数据记录分配流水号，其中，每一条上述校验成功的数据记录对应的流水号在上述数据库中是唯一的流水号；导入模块，用于将分配有上述流水号的上述校验成功的数据记录导入数据库中。

进一步地，上述装置还包括：存储单元，用于在上述对所取出的数据记录进行校验之后，将校验失败的数据记录保存在错误记录文件中；将入库失败的数据记录保存到入库失败记录文件中；其中，上述导入单元还用于以单条方式将上述入库失败记录文件中保存的数据记录重新导入到上述数据库中。

进一步地，上述导入单元还包括：判断模块，用于判断上述数据库中当前使用的数据表是否满足预定规则，其中，上述预定规则包括以下至少之一：上述当前使用的数据表所存储的数据量超过预定的阈值；上述当前使用的数据表被使用的时间超过预定的时间长度；换表模块，用于在不满足上述预定规则时，使用上述当前使用的数据表来存储上述校验成功的数据记录；在满足上述预定规则时，使用上述数据库中另一张空闲的数据表来存储上述校验成功的数据记录。

通过本发明，在数据入库时对数据记录进行校验，结合批量入库方式和单条入库方式，提高了数据入库的精确性。此外，在数据入库时，本发明还为每条数据记录分配了唯一的流水号，从而避免了重复入库和遗漏入库；进一步，数据入库时，目标数据表可自动切换，防止了由于单张表内数据量过大而影响查询或二次处理的效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据入库系统在应用中的位置示意图；

图2是根据本发明实施例的数据入库方法的一种优选的流程图；

图3是根据本发明实施例的数据入库方法的另一种优选的流程图；

图4是根据本发明实施例的数据入库装置的一种优选的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1是根据本发明实施例的数据入库系统在应用中的位置示意图，其将海量离线数据导入到数据表中，应用系统可以直接从这些表中查询数据，也可定制数据库任务，对表中数据进行二次加工后导入到其他表或库中供查询。

实施例1

图2是根据本发明实施例的数据入库方法的一种优选的流程图，其包括如下步骤：

S202，从数据文件中取出一条或多条数据记录；

S204，对所取出的数据记录进行校验；

S206，将校验成功的数据记录导入数据库。

通过本发明，在数据入库时对数据记录进行校验，从而提高了数据入库的精确性。

优选的，所述对所取出的数据记录进行校验的步骤包括：判断所取出的每条数据记录中的字段是否满足预设的格式；若满足，则所判断的这条数据记录检验成功；否则，将所判断的这条数据记录保存到错误记录文件(Error文件)中。例如，判断数据记录中的时间信息字段的格式是否符合预定的格式，如，年-月-日等。

优选的，所述将校验成功的数据记录导入数据库的步骤包括：为每一条所述校验成功的数据记录分配流水号，其中，每一条所述校验成功的数据记录对应的流水号在所述数据库中是唯一的流水号；将分配有所述流水号的所述校验成功的数据记录导入数据库中。在本优选的实施例中，通过为每条数据记录分配了唯一的流水号，避免了重复入库和遗漏入库，进一步提高了入库的精确性。

优选的，所述将校验成功的数据记录导入数据库的步骤包括：以批量方式将所述校验成功的数据记录导入到所述数据库中；若当前一批所述校验成功的数据记录导入失败，则将所述当前一批所述校验成功的数据记录以及与所述当前一批所述校验成功的数据记录中的每一条数据记录对应的流水号保存到入库失败记录文件(Fail文件)中；以单条方式将所述入库失败记录文件中保存的数据记录重新导入到所述数据库中，若导入失败，则将导入失败的数据记录保存到错误记录文件中。在本优选的实施例中，通过使用批量入库方式，保证了入库效率；通过对批量入库失败的记录进一步补入到数据库中，从而有效地避免了因为系统异常等原因而将原本正确的数据记录漏入的缺陷，进一步提高了入库的精确性。

优选的，所述将校验成功的数据记录导入数据库的步骤，还包括：判断所述数据库中当前使用的数据表是否满足预定规则；若不满足，则使用所述当前使用的数据表来存储所述校验成功的数据记录；若满足，则使用所述数据库中另一张空闲的数据表来存储所述校验成功的数据记录。在本优选的实施例中，通过使用多张数据表来存储数据记录，防止了由于单张表内数据量过大而影响查询或二次处理的效率。

优选的，所述使用所述数据库中另一张空闲的数据表来存储所述校验成功的数据记录的步骤包括：判断所述当前使用的数据表是否为预设的用于存储数据记录的多张数据表中的最后一张数据表；若所述当前使用的数据表是所述预设的用于存储数据记录的多张数据表中的最后一张数据表，则使用所述预设的用于存储数据记录的多张数据表中的第一张数据表来存储所述校验成功的数据记录；若所述当前使用的数据表不是所述预设的用于存储数据记录的多张数据表中的最后一张数据表，则在所述预设的用于存储数据记录的多张数据表中使用所述当前使用的数据表的下一张数据表来存储所述校验成功的数据记录。在本优选的实施例中，通过循环使用数据表，有效地节省了存储空间。

优选的，所述预定规则包括以下至少之一：所述当前使用的数据表所存储的数据量超过预定的阈值；所述当前使用的数据表被使用的时间超过预定的时间长度。

实施例2

为方便描述，在本发明实施例中，做如下标识：数据文件F(File)，文件记录R(Record)，数据表T(Table)，流水号SN(Serial Number)，批量入库失败记录临时保存目录Fail文件中，用M张表结构相同的表保存数据。

在本实施例中，数据入库过程包括如下步骤：

步骤S1：从数据文件F取出n条记录，给每条记录分配流水号，对需要入库的字段做有效性校验，校验失败的记录保存到指定Error文件备查，校验成功的封装成批量数据包或数据文件。

步骤S2：将上一步准备的数据进行批量入库，目标数据表Tn。

步骤S3：若批量入库失败，将该批记录保存到Fail文件中(每条记录对应的SN需同时保存)。

步骤S4：保存F当前已经处理的位置，若文件还未处理完则返回步骤S1继续入库。

步骤S5：F批量入库完毕。

步骤S6：Fail文件中保存的入库失败的数据记录用insert语句逐条补录入库。

步骤S7：若Tn数据量达到设定值，目标数据表换为Tn+1，若n+1达到最后一张表M，则从T1开始入。

步骤S8：处理下一个数据文件。

优选的，对于数据表处理，由于一张数据表内数据量过大会影响应用查询数据的效率，因此，本优选的实施例采用M(M＞1)张数据表循环使用，分担海量数据。此外，为了循环使用，需要定期清理数据表，保证由入库表Tn转到入库表Tn+1时，Tn+1表数据已经为空。表内容如何清理由具体应用决定，如：将需要的信息同步到另外的查询表，并在表上建立索引，供应用快速查询。

入库系统绝大部分时间工作在批量方式正常入库流程，在此流程进行原始记录预处理，剔除错误记录，同时筛选出应用需要的字段进行批量入库；在适当的时机(根据具体应用设置)转到Fail文件进行补入数据记录的操作，此时，Fail文件中批量入库失败的数据记录被逐条插入数据库。

本发明实施例引入了序列号字段，通过对序列号的控制来防止重单，与通常在数据表上建立主键来排除重单相比入库速率上优势明显；使用两种入库方式的组合，既保证入库效率，又兼顾入库准确性，防止漏单；维护当前入库文件的处理进度，在系统异常后可自行恢复入库，在处理海量数据文件时无需人工干预，自动化程度高减轻维护人员负担。

当然，为了保证数据的精确，insert方式单条入库批量失败记录时，需要先判断记录的序列号在表中是否已经存在，这在一定程度上会降低效率。但考虑到批量失败的几率很小，插入(insert)方式入库次数相应很少，所以对总体入库性能影响不大。

实施例3

图3是根据本发明实施例的数据入库方法的另一种优选的流程图，其包括如下步骤：

S302.从入库目录获取数据文件F。

S304.从数据文件F中读取数据记录。

S306.对数据记录进行预处理：分拣入库字段、校验、分配流水号。

S308.若预处理成功，将记录组装成批量数据块；若预处理失败，将该记录保存到Error文件。

S310.将预处理成功的数据记录批量入库到表Tn。

S312.若入库失败，将该批数据记录保存到Fail文件。

S314.更新入库状态文件。

S316若数据文件F未处理完，跳转S304，继续读取数据记录；否则，则转至S318。

S318.若Fail文件中存在入库失败的数据记录，则使用insert方式单条将Fail文件中保存的入库失败的数据记录补入到数据表Tn。

S320.若数据表Tn数据量达到设置值，换下一张表进行数据入库。

S322.F入库完毕、更新入库状态文件。

总体来说，根据本发明实施例的数据入库方法对数据文件中的原始记录进行校验，剔除有明显错误数据行以提高入库成功率；为每条记录分配唯一流水号(此字段无需建立索引)，保证数据入库不重复；校验无误的记录以批量方式入库，若这批数据入库失败则保存之，后续用insert方式单条再次补录入库；入库过程中自动切换目标数据表。

此方法对原始记录预处理，可入库多种数据文件，并适应多种目标数据库；批量方式与insert方式组合使用，优势互补，同时满足快速入库、实时查询和数据精确性需求。其优势有：

1)高效性

系统产生的离线数据文件一般没有错误，批量入库方式成功率高，总体入库效率高；适时保存当前文件的入库状态，入库系统异常重启时可继续入库该文件，无需从头单条插入，尽可能提高入库效率；入库目标数据表可自动切换，防止单张表内数据量过大而影响查询或二次处理的效率。

2)准确性

每个记录分配唯一流水号，保证记录不会重复入库；批量入库失败的记录以insert方式二次入库，正常记录不会遗漏入库。

3)通用性

支持多种格式的数据文件、多种目标数据库。

实施例4

图4是根据本发明实施例的数据入库装置的一种优选的结构示意图，其包括：读取单元402，用于从数据文件中取出一条或多条数据记录；校验单元404，用于对所取出的数据记录进行校验；导入单元406，用于将校验成功的数据记录导入数据库。通过本发明，在数据入库时对数据记录进行校验，从而提高了数据入库的精确性。

优选的，所述校验单元404对所取出的数据记录进行校验的步骤包括：判断所取出的每条数据记录中的字段是否满足预设的格式；若满足，则所判断的这条数据记录检验成功；否则，将所判断的数据记录保存到错误记录文件中。例如，判断数据记录中的时间信息字段的格式是否符合预定的格式，如，年-月-日等。

优选的，导入单元406包括：分配模块，用于为每一条所述校验成功的数据记录分配流水号，其中，每一条所述校验成功的数据记录对应的流水号在所述数据库中是唯一的流水号；导入模块，用于将分配有所述流水号的所述校验成功的数据记录导入数据库中。在本优选的实施例中，通过为每条数据记录分配了唯一的流水号，避免了重复入库和遗漏入库，进一步提高了入库的精确性。

优选的，根据本发明实施例的数据入库装置还包括：存储单元408，用于在所述对所取出的数据记录进行校验之后，将校验失败的数据记录保存在错误记录文件中；将入库失败的数据记录保存到入库失败记录文件中。在这种场景下，所述导入单元406还用于以单条方式将所述入库失败记录文件中保存的数据记录重新导入到所述数据库中。

优选的，导入单元406将校验成功的数据记录导入数据库的步骤包括：以批量方式将所述校验成功的数据记录导入到所述数据库中；若当前一批所述校验成功的数据记录导入失败，则将所述当前一批所述校验成功的数据记录以及与所述当前一批所述校验成功的数据记录中的每一条数据记录对应的流水号保存到入库失败记录文件(Fail文件)中；以单条方式将所述入库失败记录文件中保存的数据记录重新导入到所述数据库中，若导入失败，则将导入失败的数据记录保存到错误记录文件中。在本优选的实施例中，通过使用批量入库方式，保证了入库效率；通过对批量入库失败的记录进一步补入到数据库中，从而有效地避免了因为系统异常等原因而将原本正确的数据记录漏入的缺陷，进一步提高了入库的精确性。

优选的，在导入单元406以单条方式将所述入库失败记录文件中保存的数据记录重新导入到所述数据库的过程中，所述校验单元404对所述入库失败记录文件中保存的数据记录进行校验；若校验成功，则所述导入单元406将所述入库失败记录文件中校验成功的数据记录导入所述数据库；若校验失败，则将所述入库失败记录文件中校验失败的数据记录保存在错误记录文件中，以便后续备查。在本优选的实施例中，通过对入库失败记录文件中数据记录进一步补入到数据库中，从而有效地避免了因为系统异常而将原本正确的数据记录删除的缺陷，进一步提高了入库的精确性。

优选的，在上述各个优选的实施例中，所述导入单元406还包括：判断模块，用于判断所述数据库中当前使用的数据表是否满足预定规则，其中，所述预定规则包括以下至少之一：所述当前使用的数据表所存储的数据量超过预定的阈值；所述当前使用的数据表被使用的时间超过预定的时间长度；换表模块，用于在不满足所述预定规则时，使用所述当前使用的数据表来存储所述校验成功的数据记录；在满足所述预定规则时，使用所述数据库中另一张空闲的数据表来存储所述校验成功的数据记录。在本优选的实施例中，通过使用多张数据表来存储数据记录，防止了由于单张表内数据量过大而影响查询或二次处理的效率。

优选的，导入单元406的保存模块使用所述数据库中另一张空闲的数据表来存储所述校验成功的数据记录的步骤包括：判断所述当前使用的数据表是否为预设的用于存储数据记录的多张数据表中的最后一张数据表；若是，则使用所述预设的用于存储数据记录的多张数据表中的第一张数据表来存储所述校验成功的数据记录；若否，则在所述预设的用于存储数据记录的多张数据表中使用所述当前使用的数据表的下一张数据表来存储所述校验成功的数据记录。在本优选的实施例中，通过循环使用数据表，有效地节省了存储空间。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种数据入库方法，其特征在于，包括：

从数据文件中取出一条或多条数据记录；

对所取出的数据记录进行校验；

将校验成功的数据记录导入数据库。

2.根据权利要求1所述的方法，其特征在于，所述对所取出的数据记录进行校验的步骤包括：

判断所取出的每条数据记录中的字段是否满足预设的格式；

若满足，则所判断的数据记录检验成功；否则，将所判断的数据记录保存到错误记录文件中。

3.根据权利要求1所述的方法，其特征在于，所述将校验成功的数据记录导入数据库的步骤包括：

为每一条所述校验成功的数据记录分配流水号，其中，每一条所述校验成功的数据记录对应的流水号在所述数据库中是唯一的流水号；

将分配有所述流水号的所述校验成功的数据记录导入数据库中。

4.根据权利要求1所述的方法，其特征在于，所述将校验成功的数据记录导入数据库的步骤包括：

以批量方式将所述校验成功的数据记录导入到所述数据库中；

若当前一批所述校验成功的数据记录导入失败，则将所述当前一批所述校验成功的数据记录以及与所述当前一批所述校验成功的数据记录中的每一条数据记录对应的流水号保存到入库失败记录文件中；

以单条方式将所述入库失败记录文件中保存的数据记录重新导入到所述数据库中，若导入失败，则将导入失败的数据记录保存到错误记录文件中。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述将校验成功的数据记录导入数据库的步骤包括：

判断所述数据库中当前使用的数据表是否满足预定规则；

若不满足，则使用所述当前使用的数据表来存储所述校验成功的数据记录；

若满足，则使用所述数据库中另一张空闲的数据表来存储所述校验成功的数据记录。

6.根据权利要求5所述的方法，其特征在于，所述使用所述数据库中另一张空闲的数据表来存储所述校验成功的数据记录的步骤包括：

判断所述当前使用的数据表是否为预设的用于存储数据记录的多张数据表中的最后一张数据表；

若所述当前使用的数据表是所述预设的用于存储数据记录的多张数据表中的最后一张数据表，则使用所述预设的用于存储数据记录的多张数据表中的第一张数据表来存储所述校验成功的数据记录；

若所述当前使用的数据表不是所述预设的用于存储数据记录的多张数据表中的最后一张数据表，则在所述预设的用于存储数据记录的多张数据表中使用所述当前使用的数据表的下一张数据表来存储所述校验成功的数据记录。

7.根据权利要求5所述的方法，其特征在于，所述预定规则包括以下至少之一：

所述当前使用的数据表所存储的数据量超过预定的阈值；

所述当前使用的数据表被使用的时间超过预定的时间长度。

8.一种数据入库装置，其特征在于，包括：

读取单元，用于从数据文件中取出一条或多条数据记录；

校验单元，用于对所取出的数据记录进行校验；

导入单元，用于将校验成功的数据记录导入数据库。

9.根据权利要求8所述的装置，其特征在于，所述导入单元包括：

分配模块，用于为每一条所述校验成功的数据记录分配流水号，其中，每一条所述校验成功的数据记录对应的流水号在所述数据库中是唯一的流水号；

导入模块，用于将分配有所述流水号的所述校验成功的数据记录导入数据库中。

10.根据权利要求8所述的装置，其特征在于，还包括：

存储单元，用于在所述对所取出的数据记录进行校验之后，将校验失败的数据记录保存在错误记录文件中；将入库失败的数据记录保存到入库失败记录文件中；

其中，所述导入单元还用于以单条方式将所述入库失败记录文件中保存的数据记录重新导入到所述数据库中。

11.根据权利要求8至10中任一项所述的装置，其特征在于，所述导入单元还包括：

判断模块，用于判断所述数据库中当前使用的数据表是否满足预定规则，其中，所述预定规则包括以下至少之一：所述当前使用的数据表所存储的数据量超过预定的阈值；所述当前使用的数据表被使用的时间超过预定的时间长度；

换表模块，用于在不满足所述预定规则时，使用所述当前使用的数据表来存储所述校验成功的数据记录；在满足所述预定规则时，使用所述数据库中另一张空闲的数据表来存储所述校验成功的数据记录。

Images