CN107622062A - 一种对大批量数据存储的方法和系统 - Google Patents

Abstract

本发明公开了一种对大批量数据存储的方法和系统，该方法包括：将数据存为数组；将所述数组存入键值数据库；判断键值是否为空，若为空则结束，若非空则重复从所述键值数据库逐一读取数据并存入关系数据库；数据在所述数组、键值数据库和关系数据库中的顺序相一致。本发明技术方案提高了关系数据库对串行数据的输入速度，缩短了关系数据库数据存储的等待时间，提高了串行数据输入的准确率，增强了关系数据库处理串行化业务的性能。

Description

一种对大批量数据存储的方法和系统

技术领域

本发明涉及信息技术领域，特别涉及一种对大批量数据存储的方法和系统。

背景技术

关系数据库是建立在关系数据库模型基础上的数据库。关系数据库产品以其简单清晰的概念、易懂易学的数据库语言，得到广泛采用。

关系数据库借助于集合代数等概念和方法来处理数据库中的数据，同时也是一个被组织成一组拥有正式描述性的表格，该形式的表格作用的实质是装载着数据项的特殊收集体，这些表格中的数据能以许多不同的方式被存取或重新召集而不需要重新组织数据库表格。关系数据库的定义造成元数据的一张表格或造成表格、列、范围和约束的正式描述。每个表格(有时被称为一个关系)包含用列表示的一个或更多的数据种类。每行包含一个唯一的数据实体，这些数据是被列定义的种类。当创造一个关系数据库的时候，你能定义数据列的可能值的范围和可能应用于那个数据值的进一步约束。

关系型数据库的主要特征主要包括：

1)、数据集中控制。在文件管理方法中，文件是分散的，每个用户或每种处理都有各自的文件，这些文件之间一般是没有联系的，因此，不能按照统一的方法来控制、维护和管理。而关系数据库则很好地克服了这一缺点，可以集中控制、维护和管理有关数据。

2)、数据独立。关系数据库中的数据独立于应用程序，包括数据的物理独立性和逻辑独立性，给数据库的使用、调整、优化和进一步扩充提供了方便，提高了关系数据库应用系统的稳定性。

3)、数据共享。关系数据库中的数据可以供多个用户使用，每个用户只与库中的一部分数据发生联系；用户数据可以重叠，用户可以同时存取数据而互不影响，大大提高了数据库的使用效率。

4)、减少数据冗余。关系数据库中的数据不是面向应用，而是面向系统。数据统一定义、组织和存储，集中管理，避免了不必要的数据冗余，也提高了数据的一致性。

5)、数据结构化。关系数据库按一定的结构形式构成，数据在记录内部和记录类型之间相互关联，用户可通过不同的路径存取数据。

6)、统一的数据保护功能。在多用户共享数据资源的情况下，对用户使用数据有严格的检查，对数据库规定密码或存取权限，拒绝非法用户进入数据库，以确保数据的安全性、一致性和并发控制。

关系数据库在运营过程中，会涉及到大批量数据的输入。各种格式、各种关系的数据需要完善输入至关系数据的元数据表中，如大批量串行的数据需要逐个输入到关系数据库的表中，也会遇到大批量的并发数据输入。

在现实中，很少有关系数据库能提供串行化业务的支持，这主要是由于：

1)、串行化影响数据库性能。串行化隔离级别会限制并发，数据元素需要逐个输入后才可以进行下一个，影响了数据库操作的性能。传统的两段锁2PC技术，将所有事务分为两个阶段对数据项加锁和解锁：第一阶段是获得封锁，事务可以获得任何数据项上的任何类型的锁，但不能释放；第二阶段是释放封锁，事务可以释放任何数据项上的任何类型的锁，但不能申请。由于该技术的管理代价比较高，所以也就造成了串行化业务的高成本。

2)、无法同时实现高可用性和串行化。关系数据库是基于关系的，采用表格来存储数据，一个表格又被称为一个关系，每个表格中用列表示一个或更多的数据种类，每行包含一个唯一的数据实体，这些数据是被列定义的种类。数据库的结构决定了无法同时实现高可用性和串行化。

3)、弱模型下的一致性异常。弱模型是指相对串行化隔离级别低一些的隔离级别。该种情况下事务也降低了冲突概率，不会死锁。但是，弱模型下一致性异常呈现上升趋势，串行化需要支付较高的管理开销。

在数据库运营和管理中，会遇到大量的串行业务，需要把串行数据转化为关系数据。关系数据库对串行化业务支持的不足，影响了运营和管理工作的效率。

发明内容

本发明提供一种对大批量数据存储的方法和系统，对串行数据快速导入关系数据库流程进行了优化，提高了串行数据输入的速度，避免了关系数据库数据输入的等待时间，提高了串行数据输入的准确率，增强了关系数据库处理串行化业务的性能。

本发明的技术方案提供了一种对大批量数据存储的方法，包括以下步骤：

S101、将数据存为数组；

S102、将所述数组存入键值数据库；

S103、判断键值是否为空，若为空则转向S105；

S104、将键值数据存入关系数据库；

S105、结束。

进一步的，所述数据为规定范围内的数字。

进一步的，系统按照规则处理所述数据为规定格式，然后存储为数组。

进一步的，所述键值数据库和关系数据库中的数据遵循所述规定范围和规定格式。

进一步的，在步骤S102中，所述将所述数组存入键值数据库，进一步包括：

将所述数组中的数据以键值对的形式存入键值数据库。

进一步的，在步骤S104中，所述将键值数据存入关系数据库，进一步包括：

从所述键值数据库逐一读取数据；

读取的所述数据逐一存入关系数据库。

进一步的，数据在所述数组、键值数据库和关系数据库中的顺序相一致。

本发明的技术方案还提供了一种对大批量数据存储的系统，包括：管理单元，键值数据库，关系数据库，其中，

管理单元用于设置数据范围、数据格式，管理数据存为数组，管理所述数组转存为键值数据库和键值数据库转存为关系数据库；

键值数据库和关系数据库用于存储数据。

进一步的，键值数据库和关系数据库中的数据遵循所述数据范围和数据格式。

进一步的，管理单元监测键值数据库是否为空，若非空则自动启动将键值数据库转存为关系数据库。

本发明技术方案提高了关系数据库对串行数据的输入速度，缩短了关系数据库的等待时间，提高了串行数据输入的准确率，增强了关系数据库处理串行化业务的性能。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一中对大批量数据存储的方法流程图；

图2为本发明实施例一中对大批量数据存储的系统结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明实施例一中对大批量数据存储的方法流程图。如图1所示，该流程包括以下步骤：

步骤S101、将数据存为数组。

数据为规定范围内的数字，若数据超出规定范围则报错；

系统按照规则处理为规定格式，包括小数位、正负号等处理为规定格式；

将符合规定格式的数据存储为数组。

步骤S102、将数组存入键值数据库。

键值数据库中的数据遵循规定范围和规定格式，与数组的要求相一致；

数组中的数据以键值对的形式存入键值数据库；

数据在键值数据库中的存储顺序与数组相一致。

步骤S103、判断键值是否为空，若为空则转向S105。

步骤S104、将键值数据存入关系数据库。

关系数据库中的数据遵循规定范围和规定格式，与键值数据库的要求相一致；

从键值数据库逐一读取数据；

读取的数据逐一存入关系数据库；

数据在关系数据库中的存储顺序与键值数据库相一致。

步骤S105、结束。

为了实现上述方法流程，本实施例还提供了一种对大批量数据存储的系统，图2为本发明实施例一中对大批量数据存储的系统结构图。如图2所示，该系统包括：管理单元201，键值数据库202，关系数据库203，其中，

管理单元用于设置数据范围、数据格式，管理数据存为数组，管理数组转存为键值数据库和键值数据库转存为关系数据库；

键值数据库和关系数据库用于存储数据；

键值数据库和关系数据库中的存储数据遵循设定的规则，包括数据范围和数据格式。

管理单元监测键值数据库是否为空，若非空则自动启动将键值数据库转存为关系数据库。

本发明技术方案提高了关系数据库对串行数据的输入速度，规避了关系数据库数据输入的等待时间，提高了串行数据输入的准确率，增强了关系数据库处理串行化业务的性能。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种对大批量数据存储的方法，其特征在于，包括以下步骤：

S101、将数据存为数组；

S102、将所述数组存入键值数据库；

S103、判断键值是否为空，若为空则转向S105；

S104、将键值数据存入关系数据库；

S105、结束。

2.根据权利要求1所述的方法，其特征在于，所述数据为规定范围内的数字。

3.根据权利要求1所述的方法，其特征在于，系统按照规则处理所述数据为规定格式，然后存储为数组。

4.根据权利要求1所述的方法，其特征在于，所述键值数据库和关系数据库中的数据遵循所述规定范围和规定格式。

5.根据权利要求1所述的方法，其特征在于，在步骤S102中，所述将所述数组存入键值数据库，进一步包括：

将所述数组中的数据以键值对的形式存入键值数据库。

6.根据权利要求1所述的方法，其特征在于，在步骤S104中，所述将键值数据存入关系数据库，进一步包括：

从所述键值数据库逐一读取数据；

读取的所述数据逐一存入关系数据库。

7.根据权利要求1所述的方法，其特征在于：

数据在所述数组、键值数据库和关系数据库中的顺序相一致。

8.一种对大批量数据存储的系统，其特征在于，包括管理单元，键值数据库，关系数据库，其中，

管理单元用于设置数据范围、数据格式，管理数据存为数组，管理所述数组转存为键值数据库和键值数据库转存为关系数据库；

键值数据库和关系数据库用于存储数据。

9.根据权利要求8所述的系统，其特征在于，键值数据库和关系数据库中的数据遵循所述数据范围和数据格式。

10.根据权利要求8所述的系统，其特征在于，管理单元监测键值数据库是否为空，若非空则自动启动将键值数据库转存为关系数据库。