CN101515291A

CN101515291A - 一种将数据批量导入数据库的方法及系统

Info

Publication number: CN101515291A
Application number: CNA200910080927XA
Authority: CN
Inventors: 邓振林
Original assignee: BEIJING TESCOMM INFORMATION TECHNOLOGY Co Ltd
Current assignee: BEIJING TESCOMM INFORMATION TECHNOLOGY Co Ltd
Priority date: 2009-03-26
Filing date: 2009-03-26
Publication date: 2009-08-26

Abstract

本发明公开了一种将数据批量导入数据库的方法及系统，属于数据库技术领域。现有技术中，将数据导入数据库的方式为分析一条数据记录，写入一条数据记录，效率较低。本发明所述方法及系统，分析数据文件中数据的过程和将分析后数据写入数据库的过程并行；数据经过分析后存入缓存，直到分析完毕；当缓存中的数据达到预设数据量时，将该数据一次性写入数据库，并将该数据从缓存中删除；当分析完毕后，将缓存中的所有数据一次性写入数据库。采用本发明所述方法及系统，数据分析和写入的速度快，尤其适用于将大量数据导入到数据库中。

Description

一种将数据批量导入数据库的方法及系统

技术领域

本发明属于数据库技术领域，具体涉及一种将数据批量导入数据库的方法及系统，尤其适用于将大量数据导入数据库中。

背景技术

现有技术中，将数据文件中按照特定格式存储的数据批量导入数据库通常采用的方法为：首先取得数据文件中的一条数据，然后进行分析，从分析结果中得到数据所属的数据表，最后将该分析结果写入到数据库中。也就是分析一条数据，往数据库写入一条数据记录。这种方法分析数据和将数据写入数据库不能同时进行，而且一次只能往数据库中写入一条数据记录，其缺陷主要表现如下：

(1)数据分析速度慢，只有当一条数据写入到数据库以后才能进行下一条数据的分析；

(2)数据写入速度慢，一次只能往数据库中写入一条数据，而数据写入数据库之前需要和数据库进行连接，当数据写入数据库后，又要断开连接，数据库的连接和断开都要花费很长的时间，如果保持数据库的连接不断开，则数据库资源将一直被占用，浪费了宝贵的数据库资源；

(3)不能充分利用分析服务器的资源，所述分析服务器为分析数据的计算机，由于数据的分析需要间断，不能连续分析数据，所以分析服务器的硬件资源没有得到充分的利用；

(4)不能充分利用数据库服务器资源，连接一次数据库只能写入一条数据，这对于数据连接资源来说是非常浪费的；

(5)数据库服务器的压力非常大，导入数据的过程需要频繁的和数据库进行交互，由于数据库的交互过程会占用大量的数据库资源，所以频繁的交互给数据库服务器带来的压力非常大，数据导入非常慢，效率很低。

发明内容

针对现有技术中存在的缺陷，本发明的目的是提供一种效率高的将数据导入数据库的方法及系统。

为了实现上述目的，本发明采用的技术方案如下：

一种将数据批量导入数据库的方法，包括对数据文件中数据进行分析的步骤和将分析后的数据写入到数据库中的步骤，其特征在于：分析数据文件中数据的过程和将分析后数据写入数据库的过程并行；数据经过分析后存入缓存，直到分析完毕；当缓存中的数据达到预设数据量时，将该数据一次性写入数据库，并将该数据从缓存中删除；当分析完毕后，将缓存中的所有数据一次性写入数据库。

如上所述的一种将数据批量导入数据库的方法，所述数据文件中数据的类型相同或者不同。

当数据文件中数据的类型相同时，分析数据文件中数据的过程包括以下步骤：

(1)将数据格式配置文件中存储的数据格式信息加载到内存，所述数据格式信息与数据文件中数据的类型对应；

(2)取出数据文件中的一条未经分析的数据；

(3)验证该数据是否合法，如果不合法，则给出该数据不合法原因的提示信息后转入步骤(2)；

(4)分析该数据，根据该数据的类型进行相应处理；

(5)将处理后的数据存入缓存中的数据表中，所述数据表在第一次将数据存入缓存时根据加载到内存中的数据格式信息建立；

(6)重复步骤(2)至步骤(5)，直到分析完数据文件中的所有数据。

其中，步骤(3)中验证数据是否合法的过程为：将从数据文件中取出的数据与内存中的数据格式信息进行比较，如果与内存中的数据格式信息相应，则该数据为合法数据，否则为非法数据。

当数据文件中数据的类型不同时，分析数据文件中数据的过程包括以下步骤：

①将数据格式配置文件中存储的数据格式信息加载到内存，一种数据格式信息对应数据文件中一种数据类型；

②取出数据文件中的一条未经分析的数据；

③验证该数据是否合法，如果不合法，则给出该数据不合法原因的提示信息后转入步骤②；

④分析该数据，根据该数据的类型进行相应处理；

⑤将处理后的数据存入缓存中与该数据的类型相应的数据表中，所述数据表在第一次将该种类型数据存入缓存时根据加载到内存中的与该类型数据相应的数据格式信息建立；

⑥重复步骤②至步骤⑤，直到分析完数据文件中的所有数据。

其中，步骤③中验证数据是否合法的过程为：将从数据文件中取出的数据与内存中的数据格式信息进行匹配，如果存在与该数据相匹配的数据格式信息，则该数据为合法数据，否则为非法数据。

如上所述的一种将数据批量导入数据库的方法，其中，加载到内存中的数据格式信息，在分析完数据文件中所有数据后释放。

如上所述的一种将数据批量导入数据库的方法，所述当缓存中的数据达到预设数据量时将该数据一次性写入数据库的过程包括以下步骤：

(a)依次循环监测缓存中每张数据表的数据量；

(b)当某一数据表的数据量达到预设的值时，锁定缓存，在缓存被锁定期间如有数据需要缓存，则等待，直到缓存被解锁；

(c)将该数据表中数据写入内存后删除；

(d)解除对缓存的锁定，同时，建立与数据库的连接，将内存中数据一次性写入数据库；

(e)回到步骤(a)，从下一个数据表开始依次循环检测缓存中的所有数据表。

其中，步骤(d)中，与数据库的连接只建立一次，直到将所有数据导入到数据库后才释放连接。

一种将数据批量导入数据库的系统，包括用于对数据文件(14)中数据进行分析的数据分析模块(11)，用于对分析后数据进行缓存的缓存器(13)，以及用于将缓存器(13)中数据写入数据库(15)的数据写入模块(12)。

本发明发所述方法及系统，由于数据分析不受其他任何条件影响，从数据分析开始直到结束，都以同样的速度、不间断的状态进行，因此数据分析的效率高。同时，由于一次写入数据库的数据是一块数据，一块数据的数据量可能是几千或几万条数据记录，甚至更多，一块数据写入数据库的时间非常短暂(毫秒数量级)，因此将数据写入数据库的速度块，效率高。

附图说明

图1是具体实施方式中所述系统结构图；

图2是具体实施方式中数据分析流程图；

图3是具体实施方式中数据写入流程图。

具体实施方式

下面结合具体实施方式和附图对本发明进行详细描述。

如图1所示，本发明所述系统包括数据分析模块11、数据写入模块12和缓存器13。数据分析模块11用于对数据文件14中的数据进行分析。缓存器13用于对数据分析模块11分析后的数据进行缓存。数据写入模块12用于当缓存器13中的数据达到预设最大数据量时将该数据一次性写入到数据库15中。其中，缓存器13可以为内存中的一块区域。

如图2和图3所示，采用图1所示系统将数据批量导入数据库的方法如下：

(1)数据分析模块11分析数据文件14中的数据，如图2所示。

启动数据分析模块11，首先将数据格式配置文件中存储的数据格式信息加载到内存。所述数据格式配置文件以XML形式存储与数据文件14中所有类型数据相对应的数据格式信息，数据文件14中一种类型的数据对应数据格式配置文件中的一个数据格式信息。在将数据批量导入数据库15之前需要先定义数据文件14中所有类型的数据的数据格式信息，并将其保存到一个数据格式配置文件中。

数据分析模块11读取数据文件14中的一条数据，分析该数据是否为合法的数据，即将从数据文件14中读取的数据与加载在内存中的数据格式信息进行匹配。如果存在与该数据相匹配的数据格式信息，则该数据为合法数据，否则为非法数据。当出现非法数据时，数据分析模块11给出数据不合法的原因的提示信息，如该类型的数据格式信息不存在配置文件中或者数据格式信息和数据不一致等，然后读取数据文件14中的下一条数据继续进行分析。对于合法的数据，按照该数据的特征进行相应的处理，即根据该数据的数据格式信息对该数据进行分割，再对分割后的数据重新进行组合，组合成DataRow(数据行)形式。DataRow是数据分析的最终结果，它可以直接和数据库15的数据表中的行进行转换。最后，数据分析模块11再将DataRow按其数据格式信息存入缓存器13中相应的数据表内，如果缓存器13中没有与该数据格式信息相应的数据表(即第一次将该种类型的数据写入缓存器)，则根据数据格式配置文件中的数据格式信息创建该类型的数据表，将数据存入到该数据表中。重复上述过程，直到分析完数据文件14中的所有数据。分析结束后，释放内存中的数据格式信息。

(2)数据写入模块12将缓存器13中缓存的数据写入数据库15中，如图3所示。

经数据分析模块11分析后的数据按照该数据格式信息分别存储在缓存器13的相应数据表中，同一格式的数据保存在一张数据表中。数据写入模块12中的检测线程依次循环检测缓存器13中所有数据表是否达到了预设的数据量，如果达到，则监测线程锁定缓存器13并将该数据表中的数据提取出来，提取完成后从缓存器13中删除该该数据表中的数据并释放对缓存器13的锁定。同时，数据写入模块12将提取出来的所有数据一次性写入到数据库15中。如果未达到预设数据量，则继续检测数据文件14是否分析完成，如果分析完成，则将缓存器13中所有数据以数据类型为单位一次性写入到数据库15中。

上述将数据写入数据库15的过程与对数据文件14中数据进行分析的过程并行执行。在缓存器13被锁定期间，如果有数据需要缓存，则等待，直到缓存器13被解锁后再将该数据进行缓存。

实施例1

以将数据文件中相同类型的数据导入到数据库15为例。假设数据文件中的一条数据为：RXQ 116.441437 39.831169 24 0 1 8 0 10：19：55.502 0 0。本实施例中，数据参数与数据参数之间用空格进行分割，也可以采用其他符号分割，如逗号或分号等。该数据的数据格式信息如下，为标准的XML节点：

</Param>

数据分析模块11启动时，加载上述数据格式信息到内存中，每读取数据文件14中的一条数据，便与内存中的数据格式信息进行比较，如匹配则将该数据进行相应处理后写入到缓存器13中唯一的数据表中，否则给出提示信息后继续分析下一条数据，直到分析完数据文件14中的所有数据。

数据写入模块12中的检测线程实时检测缓存器13的数据表中是否达到预设的数据量，如达到，则检测线程锁定缓存器13并将数据表中的数据提取出来，删除缓存器13中该数据表中的数据，同时释放锁。锁释放后，数据分析模块11可以继续写入数据到缓存器13的数据表中。提取出来的数据写入到内存中，数据写入模块12建立与数据库15的连接，将移出的数据一次性地批量写入到数据库15中。写入完成后，监测线程又开始实时监测缓存器13的数据表中的数据量。重复以上过程，直到数据分析完成。数据分析完成后，再将数据表中所有数据写入到数据库15。

实施例2

以将数据文件中不同类型的数据导入到数据库15为例。假设数据文件中存在如下两种类型的数据：

类型1：RXQ 116.441437 39.831169 24 0 1 8 0 10：19：55.502 0 0

类型2：MSP 116.441437 39.831169 24 0 1 8 0 10：19：55.502 0

这两种类型数据的数据格式信息如下，为标准的XML节点：

与类型1相应的数据格式信息1

</Param>

与类型2相应的数据格式信息2

</Param>

与实施例1的不同之处在于：

读取数据文件中的一条数据后，需要与内存中的所有数据格式配置信息进行匹配，直到找到相应的数据格式信息，或者和所有的数据格式信息都进行了配置后而没有找到相应的数据格式信息，说明该数据不合法。本实施例中，假设读取的数据为“MSP 116.441437 39.831169 24 0 18 0 10：19：55.502 0”，先与数据格式信息1进行匹配，不相应，再与数据格式信息2进行匹配，相应，说明该数据合法。

当将分析后的数据写入缓存器13时，由于数据文件中存在多种类型的数据，所以缓存器13中存在多个与数据类型相应的数据表，因此需要首先找到与数据相匹配的数据表，再将数据写入。如果没有找到，则根据与该数据类型相应的数据格式配置信息建立数据表，在将数据存入该数据表中。本实施例中，存在两种不同的类型的数据，因此缓存器13中存在两张与这两种数据类型相应的数据表，一种为数据格式信息1的数据表，一种为数据格式信息2的数据表。数据“MSP 116.441437 39.831169 24 0 1 8 0 10：19：55.502 0”经分析后，写入到数据格式信息2的数据表中。如果第一次写入这种类型的数据，则缓存器13中还不存在这种数据格式信息的数据表，需要根据数据格式信息2先建立这种数据表，再将数据写入。

将缓存器13中缓存的数据写入数据库15过程中，监测线程依次循环检测缓存器13中的所有数据表。如果一张数据表的数据量达到预设的值，则锁定缓存器13。移出该数据表中数据，然后解锁。数据分析模块11可以继续往缓存器13中的任意表中写入数据。同时数据写入模块12建立与数据库15的连接，将移出的数据一次性写入到数据库15中。写入完成后，监测线程从该数据表后的数据表开始再循环监测缓存器13中的所有数据表。重复上述过程，直到数据分析完毕。数据分析完成后，再将数据表中所有数据写入到数据库15。上述建立的数据库连接直到将所有数据导入到数据库15后才释放该连接。

本发明所述方法及系统，能够充分利用数据库服务器的资源，数据库的连接建立一次，并一直处于打开状态，直到数据导入完毕。而且实时监测缓存器中的数据变化情况，当某类数据量达到预设的值时立即从缓存中移出并批量写入到数据库。数据从缓存器中移出是瞬间的，而批量写入数据也是瞬间的。因此，无需向现有技术那样，写入一条数据便与数据库建立一次连接。由于与数据库建立连接的时间远远大于写入一条数据的时间，例如，假设建立连接的时间是0.0001秒，而写入一条数据的时间为0.000001秒，如果向数据库中写入10000条数据，现有技术中一条一条写入的总时间为0.0001×10000+0.000001×10000＝1.01秒，而采用本发明所述方法及系统写入的总时间为0.0001+0.000001×10000＝0.0101秒，大大提高了数据导入数据库的效率。此外，由于数据分析不受其他任何条件影响，效率非常高，缓存器中的数据增长很快，因此数据写入数据库的操作也是时时在进行，达到了数据分析的速度与数据写入数据库的速度相当，整个导入的过程时间很短。数据导入成功后将在第一时间内释放数据库资源，使数据库服务器的压力减小到了最低。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种将数据批量导入数据库的方法，包括对数据文件中数据进行分析的步骤和将分析后的数据写入到数据库中的步骤，其特征在于：分析数据文件中数据的过程和将分析后数据写入数据库的过程并行；数据经过分析后存入缓存，直到分析完毕；当缓存中的数据达到预设数据量时，将该数据一次性写入数据库，并将该数据从缓存中删除；当分析完毕后，将缓存中的所有数据一次性写入数据库。

2.如权利要求1所述的一种将数据批量导入数据库的方法，其特征在于：所述数据文件中数据的类型相同或者不同。

3.如权利要求2所述的一种将数据批量导入数据库的方法，其特征在于：当数据文件中数据的类型相同时，分析数据文件中数据的过程包括以下步骤：

(2)取出数据文件中的一条未经分析的数据；

(4)分析该数据，根据该数据的类型进行相应处理；

4.如权利要求3所述的一种将数据批量导入数据库的方法，其特征在于：步骤(3)中验证数据是否合法的过程为：将从数据文件中取出的数据与内存中的数据格式信息进行比较，如果与内存中的数据格式信息相应，则该数据为合法数据，否则为非法数据。

5.如权利要求2所述的一种将数据批量导入数据库的方法，其特征在于：当数据文件中数据的类型不同时，分析数据文件中数据的过程包括以下步骤：

②取出数据文件中的一条未经分析的数据；

④分析该数据，根据该数据的类型进行相应处理；

6.如权利要求5所述的一种将数据批量导入数据库的方法，其特征在于：步骤③中验证数据是否合法的过程为：将从数据文件中取出的数据与内存中的数据格式信息进行匹配，如果存在与该数据相匹配的数据格式信息，则该数据为合法数据，否则为非法数据。

7.如权利要求3至6之一所述的一种将数据批量导入数据库的方法，其特征在于：加载到内存中的数据格式信息，在分析完数据文件中所有数据后释放。

8.如权利要求5或6所述的一种将数据批量导入数据库的方法，其特征在于，所述当缓存中的数据达到预设数据量时将该数据一次性写入数据库的过程包括以下步骤：

(a)依次循环监测缓存中每张数据表的数据量；

(c)将该数据表中数据写入内存后删除；

9.如权利要求8所述的一种将数据批量导入数据库的方法，其特征在于：步骤(d)中，与数据库的连接只建立一次，直到将所有数据导入到数据库后才释放连接。

10.一种将数据批量导入数据库的系统，其特征在于：包括用于对数据文件(14)中数据进行分析的数据分析模块(11)，用于对分析后数据进行缓存的缓存器(13)，以及用于将缓存器(13)中数据写入数据库(15)的数据写入模块(12)。