CN107818114A - 一种数据处理方法、装置及数据库 - Google Patents

Abstract

本发明提供了一种数据处理方法、装置及数据库，其中，数据处理方法包括：根据待查询数据的主表中的更新字段，创建子表；根据对所述子表的更新操作请求，对所述子表进行更新；将更新后的所述子表中的数据更新至所述主表；其中，所述子表的主键指向所述主表的主键的外键。本发明提供的方案通过将子表与主表相关联(子表的主键指向主表的主键的外键)，可以避免在读操作时依赖的连接操作，极大的降低数据查找、排序操作的量级，提高读写速度；也不用对主表进行同步锁操作，可以避免同步锁带来的延时，并加快数据操作速度；在不降低业务并发性能、不提高业务硬件成本的基础上，解决了数据的读写问题。

Description

一种数据处理方法、装置及数据库

技术领域

本发明涉及数据库技术领域，特别是指一种数据处理方法、装置及数据库。

背景技术

数据库被广泛的应用于各种互联网业务的数据存储功能中，其读写更新速度往往是衡量一个业务使用性能的关键因素。

为了解决高并发环境下写数据库可能导致的并发写冲突问题，业界现有的技术方案有如下几种：

方法一：将一张总表水平拆分成多张子表，在写操作时，分别更新子表，在读操作时，将多张子表进行外连接查询，从而得到全部数据信息。

方法二：在读写操作时，将操作加上同步锁，在写操作时将读操作排队，或者在读操作时，将写操作排队。

但是，对于现有技术的方法一，其解决了读操作与写操作并发冲突的问题，然而其在读操作时依赖的外连接操作往往会很大的影响读速度。比如，子表有T(1),T(2),..T(N)，其记录个数分别为M1,M2,….MN，则进行外连接时将产生一个M1×M2×….MN的数据集，在单个表记录数量级较大时(比如，几十万条)，则外连接的记录集将十分巨大，导致查询速度直线下降。如果想降低外连接带来的问题，通常会使用添加索引或垂直分表拆分等方案，但这又会导致添加数据时写速度下降、业务管理变复杂等一系列问题。

对于现有技术的方法二，同步锁可以在一定程度上避免并发读写的冲突问题，但其实现机制是以牺牲并发的读写速度、降低并发访问数量为代价的。如果业务本身对实时性的要求较高，则该方案往往需要对硬件设备再进行扩容，提高了业务成本。

发明内容

本发明的目的在于提供一种数据处理方法、装置及数据库，解决现有技术中数据读写速度低的问题。

为了解决上述技术问题，本发明实施例提供一种数据处理方法，包括：

根据待查询数据的主表中的更新字段，创建子表；

根据对所述子表的更新操作请求，对所述子表进行更新；

将更新后的所述子表中的数据更新至所述主表；

其中，所述子表的主键指向所述主表的主键的外键。

可选地，所述根据待查询数据的主表中的更新字段，创建子表的步骤包括：

创建待查询数据的主表，并获取所述主表的字段和对所述字段的写操作更新频率；

获取写操作更新频率大于或等于第一阈值的字段作为更新字段，创建每个更新字段对应的子表。

可选地，所述根据对所述子表的更新操作请求，对所述子表进行更新的步骤包括：

接收对子表的更新操作请求，并根据所述更新操作请求生成请求队列；

根据所述请求队列对所述子表进行批量更新。

可选地，所述根据所述请求队列对所述子表进行批量更新的步骤包括：

在所述请求队列的当前长度大于或等于第二阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值；或者，

在所述请求队列的存在时间大于或等于第三阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值。

可选地，所述将更新后的所述子表中的数据更新至所述主表的步骤包括：

根据记录的所述主键值，将所述子表中更新后的数据更新至所述主表。

可选地，在所述将所述子表中更新后的数据更新至所述主表之后，所述数据处理方法还包括：

将记录的所述主键值清空。

可选地，所述将更新后的所述子表中的数据更新至所述主表的步骤包括：

根据业务的并发量，周期性将更新后的所述子表中的数据更新至所述主表。

本发明还提供了一种数据处理装置，包括：

创建模块，用于根据待查询数据的主表中的更新字段，创建子表；

第一更新模块，用于根据对所述子表的更新操作请求，对所述子表进行更新；

第二更新模块，用于将更新后的所述子表中的数据更新至所述主表；

其中，所述子表的主键指向所述主表的主键的外键。

可选地，所述创建模块包括：

第一处理子模块，用于创建待查询数据的主表，并获取所述主表的字段和对所述字段的写操作更新频率；

创建子模块，用于获取写操作更新频率大于或等于第一阈值的字段作为更新字段，创建每个更新字段对应的子表。

可选地，所述第一更新模块包括：

第二处理子模块，用于接收对子表的更新操作请求，并根据所述更新操作请求生成请求队列；

第一更新子模块，用于根据所述请求队列对所述子表进行批量更新。

可选地，所述更新子模块包括：

第一处理单元，用于在所述请求队列的当前长度大于或等于第二阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值；或者，

第二处理单元，用于在所述请求队列的存在时间大于或等于第三阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值。

可选地，所述第二更新模块包括：

第二更新子模块，用于根据记录的所述主键值，将所述子表中更新后的数据更新至所述主表。

可选地，所述数据处理装置还包括：

清空模块，用于将记录的所述主键值清空。

可选地，所述第二更新模块包括：

第三更新子模块，用于根据业务的并发量，周期性将更新后的所述子表中的数据更新至所述主表。

本发明还提供了一种数据库，包括：上述的数据处理装置。

本发明的上述技术方案的有益效果如下：

上述方案中，所述数据处理方法通过将子表与主表相关联(子表的主键指向主表的主键的外键)，可以避免在读操作时依赖的连接操作，极大的降低数据查找、排序操作的量级，提高读写速度；也不用对主表进行同步锁操作，可以避免同步锁带来的延时，并加快数据操作速度；在不降低业务并发性能、不提高业务硬件成本的基础上，解决了数据的读写问题。

附图说明

图1为本发明实施例一的数据处理方法流程示意图；

图2为本发明实施例一的主表与子表关系示意图；

图3为本发明实施例一的子表更新流程示意图；

图4为本发明实施例二的数据处理装置结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的技术中数据读写速度低的问题，提供了多种解决方案，具体如下：

实施例一

如图1所示，本发明实施例一提供的数据处理方法，包括：

步骤11：根据待查询数据的主表中的更新字段，创建子表；

步骤12：根据对所述子表的更新操作请求，对所述子表进行更新；

步骤13：将更新后的所述子表中的数据更新至所述主表；

其中，所述子表的主键指向所述主表的主键的外键。

本发明实施例一提供的所述数据处理方法通过将子表与主表相关联(子表的主键指向主表的主键的外键)，可以避免在读操作时依赖的连接操作，极大的降低数据查找、排序操作的量级，提高读写速度；也不用对主表进行同步锁操作，可以避免同步锁带来的延时，并加快数据操作速度；在不降低业务并发性能、不提高业务硬件成本的基础上，解决了数据的读写问题。

其中，所述根据待查询数据的主表中的更新字段，创建子表的步骤包括：创建待查询数据的主表，并获取所述主表的字段和对所述字段的写操作更新频率；获取写操作更新频率大于或等于第一阈值的字段作为更新字段，创建每个更新字段对应的子表。

也就是对需要频繁写更新的字段创建子表。

为了加快写操作的更新速度，降低写操作的次数，本发明实施例中，所述根据对所述子表的更新操作请求，对所述子表进行更新的步骤包括：接收对子表的更新操作请求，并根据所述更新操作请求生成请求队列；根据所述请求队列对所述子表进行批量更新。

具体的，所述根据所述请求队列对所述子表进行批量更新的步骤包括：在所述请求队列的当前长度大于或等于第二阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值；或者，在所述请求队列的存在时间大于或等于第三阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值。

所述将更新后的所述子表中的数据更新至所述主表的步骤包括：根据记录的所述主键值，将所述子表中更新后的数据更新至所述主表。

进一步的，在所述将所述子表中更新后的数据更新至所述主表之后，所述数据处理方法还包括：将记录的所述主键值清空。等待下一次更新。节约内存。

对于子表向主表更新的策略，可选地，所述将更新后的所述子表中的数据更新至所述主表的步骤包括：根据业务的并发量，周期性将更新后的所述子表中的数据更新至所述主表。

下面对本发明实施例一提供的数据处理方法进行进一步说明。

本发明针对大数据量、高并发读写的业务场景，提出一种可靠性高的数据处理方案，在不降低业务并发性能、不提高业务硬件成本的基础上，解决数据的读写问题，具体如下：

1.创建全部待查询数据的主表，并针对需要频繁进行写更新的字段，创建出子表。

如图2所示，PK是主表的主键，X1、X2、…Xn是主表的各个字段。假设X1、X3和Xn是需要频繁写更新的字段，则创建子表(FK1，X1)，(FK3，X3)和(FKn,Xn)。其中FK都是指向PK的外键，也是子表自身的主键，确保唯一标识符的合理约束。

2.构造子表的批量更新系统。

子表的更新操作由上层业务逻辑触发，为了加快写操作的更新速度，降低写操作的次数，在此构建子表的批量更新系统。

1)构建批量更新语法。传统的数据库，如MySQL，没有原生的批量更新语句，如果一条一条的更新数据，则整体效率非常低下。因此需要根据SQL语法，创建出类似批量更新的方法，示例如下：

此处说明，上述对所述子表进行更新，并记录进行更新的所述子表的主键值的步骤可采用如此实例的流程实现。

2)构造更新请求队列。除了创建批量更新方法，还需要控制批量更新的时机，根据系统的实际容量，选取请求等待时间和请求更新次数作为两个关键的门限值，其流程如图3所示，包括：

步骤31：接收更新请求，并将其添加至当前的请求队列；

步骤32：读取当前的请求队列的创建时间和长度；

步骤33：判断当前请求队列的长度是否大于门限值，或者请求队列的存在时间是否大于门限值；若是，进入步骤34，若否，进入步骤35；

步骤34：批处理执行请求队列，并记录相关记录的主键值；

步骤35：继续等待下一个请求，进入步骤31。

对于数据库而言，批量执行请求的效率要比单条操作循环操作的高的多，同时，采用请求队列缓存请求的方式，也避免了频繁的写数据库。

3)按照1)中产生的语句，按照2)中的规则，将请求数据批量更新至子表。

3.将子表数据批量更新至主表。

在子表记录了更新数据后，最终需要将数据更新至主表。其关键步骤如下：

1)构造更新操作涉及到的主键的“生产者-消费者”集合。

为了避免子表向主表更新数据时进行重复或无用的操作，需要记录每次业务更新子表时，具体哪些主键对应的子表记录是被更新的。当子表向主表进行数据同步时，就只用更新这些主键对应的记录，而不用更新整个主表，减少更新时间。如图3最后一个步骤所示，在更新子表时，更新操作作为生产者向主键集合中写入更新的条目的主键。

2)从子表向主表更新相关主键的条目。

根据1)中的主键集合，选择将其中的主键对应的条目(数据)全部更新至主表。对于数据库而言，从一张表向另外一张表的直接更新效率很高，因此更新操作可以在很短时间内执行完。

在更新完毕后，作为消费者，将主键集合清空，等待下一次更新。对于子表向主表更新的策略，可以采用周期更新的方法，根据业务的并发量选择合适的时间间隔。

由上可知，本发明实施例一提供的方案中构造子表的方式：不是拆分主表，而是根据要更新的列，创建子表；子表向主表更新的方式：根据门限值进行自定义的批量更新；相对于现有技术，本方案不用进行连接操作，可以极大的降低数据查找、排序操作的量级，提高读写速度；不用进行对主表进行同步锁操作，可以避免同步锁带来的延时，并加快数据操作速度。

综上所述，本发明实施例一提供的方案就是通过创建全部待查询数据的主表，并针对需要频繁进行写更新的字段，创建出子表(子表从属于主表)；子表的更新操作由上层业务逻辑触发，为了加快写操作的更新速度，降低写操作的次数，构建子表的批量更新系统；从而避免了在读操作时依赖的连接操作，也不用对主表进行同步锁操作，避免了同步锁带来的延时。

此处说明，主关键字(primary key)是表中的一个或多个字段，它的值用于唯一地标识表中的某一条记录。在两个表的关系中，主关键字用来在一个表中引用来自于另一个表中的特定记录。主关键字是一种唯一关键字，表定义的一部分。一个表不能有多个主关键字，并且主关键字的列不能包含空值。主关键字是可选的，并且可在创建表CREATE TABLE或修改表ALTER TABLE语句中定义。

实施例二

如图4所示，本发明实施例二提供的数据处理装置，包括：

创建模块41，用于根据待查询数据的主表中的更新字段，创建子表；

第一更新模块42，用于根据对所述子表的更新操作请求，对所述子表进行更新；

第二更新模块43，用于将更新后的所述子表中的数据更新至所述主表；

其中，所述子表的主键指向所述主表的主键的外键。

本发明实施例二提供的所述数据处理装置通过将子表与主表相关联(子表的主键指向主表的主键的外键)，可以避免在读操作时依赖的连接操作，极大的降低数据查找、排序操作的量级，提高读写速度；也不用对主表进行同步锁操作，可以避免同步锁带来的延时，并加快数据操作速度；在不降低业务并发性能、不提高业务硬件成本的基础上，解决了数据的读写问题。

其中，所述创建模块包括：第一处理子模块，用于创建待查询数据的主表，并获取所述主表的字段和对所述字段的写操作更新频率；创建子模块，用于获取写操作更新频率大于或等于第一阈值的字段作为更新字段，创建每个更新字段对应的子表。

也就是对需要频繁写更新的字段创建子表。

为了加快写操作的更新速度，降低写操作的次数，本发明实施例中，所述第一更新模块包括：第二处理子模块，用于接收对子表的更新操作请求，并根据所述更新操作请求生成请求队列；第一更新子模块，用于根据所述请求队列对所述子表进行批量更新。

具体的，所述更新子模块包括：第一处理单元，用于在所述请求队列的当前长度大于或等于第二阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值；或者，第二处理单元，用于在所述请求队列的存在时间大于或等于第三阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值。

所述第二更新模块包括：第二更新子模块，用于根据记录的所述主键值，将所述子表中更新后的数据更新至所述主表。

进一步的，所述数据处理装置还包括：清空模块，用于将记录的所述主键值清空。等待下一次更新。节约内存。

对于子表向主表更新的策略，可选地，所述第二更新模块包括：第三更新子模块，用于根据业务的并发量，周期性将更新后的所述子表中的数据更新至所述主表。

其中，上述数据处理方法的所述实现实施例均适用于该数据处理装置的实施例中，也能达到相同的技术效果。

为了解决上述技术问题，本发明实施例还提供了一种数据库，包括：上述的数据处理装置。

其中，上述数据处理装置的所述实现实施例均适用于该数据库的实施例中，也能达到相同的技术效果。

需要说明的是，此说明书中所描述的许多功能部件都被称为模块/子模块，以便更加特别地强调其实现方式的独立性。

本发明实施例中，模块/子模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。

实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。

在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。

以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述原理前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种数据处理方法，其特征在于，包括：

根据待查询数据的主表中的更新字段，创建子表；

根据对所述子表的更新操作请求，对所述子表进行更新；

将更新后的所述子表中的数据更新至所述主表；

其中，所述子表的主键指向所述主表的主键的外键。

2.如权利要求1所述的数据处理方法，其特征在于，所述根据待查询数据的主表中的更新字段，创建子表的步骤包括：

创建待查询数据的主表，并获取所述主表的字段和对所述字段的写操作更新频率；

获取写操作更新频率大于或等于第一阈值的字段作为更新字段，创建每个更新字段对应的子表。

3.如权利要求1所述的数据处理方法，其特征在于，所述根据对所述子表的更新操作请求，对所述子表进行更新的步骤包括：

接收对子表的更新操作请求，并根据所述更新操作请求生成请求队列；

根据所述请求队列对所述子表进行批量更新。

4.如权利要求3所述的数据处理方法，其特征在于，所述根据所述请求队列对所述子表进行批量更新的步骤包括：

在所述请求队列的当前长度大于或等于第二阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值；或者，

在所述请求队列的存在时间大于或等于第三阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值。

5.如权利要求4所述的数据处理方法，其特征在于，所述将更新后的所述子表中的数据更新至所述主表的步骤包括：

根据记录的所述主键值，将所述子表中更新后的数据更新至所述主表。

6.如权利要求5所述的数据处理方法，其特征在于，在所述将所述子表中更新后的数据更新至所述主表之后，所述数据处理方法还包括：

将记录的所述主键值清空。

7.如权利要求1所述的数据处理方法，其特征在于，所述将更新后的所述子表中的数据更新至所述主表的步骤包括：

根据业务的并发量，周期性将更新后的所述子表中的数据更新至所述主表。

8.一种数据处理装置，其特征在于，包括：

创建模块，用于根据待查询数据的主表中的更新字段，创建子表；

第一更新模块，用于根据对所述子表的更新操作请求，对所述子表进行更新；

第二更新模块，用于将更新后的所述子表中的数据更新至所述主表；

其中，所述子表的主键指向所述主表的主键的外键。

9.如权利要求8所述的数据处理装置，其特征在于，所述创建模块包括：

第一处理子模块，用于创建待查询数据的主表，并获取所述主表的字段和对所述字段的写操作更新频率；

创建子模块，用于获取写操作更新频率大于或等于第一阈值的字段作为更新字段，创建每个更新字段对应的子表。

10.如权利要求8所述的数据处理装置，其特征在于，所述第一更新模块包括：

第二处理子模块，用于接收对子表的更新操作请求，并根据所述更新操作请求生成请求队列；

第一更新子模块，用于根据所述请求队列对所述子表进行批量更新。

11.如权利要求10所述的数据处理装置，其特征在于，所述更新子模块包括：

第一处理单元，用于在所述请求队列的当前长度大于或等于第二阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值；或者，

第二处理单元，用于在所述请求队列的存在时间大于或等于第三阈值时，批处理所述更新操作请求，对所述子表进行更新，并记录进行更新的所述子表的主键值。

12.如权利要求11所述的数据处理装置，其特征在于，所述第二更新模块包括：

第二更新子模块，用于根据记录的所述主键值，将所述子表中更新后的数据更新至所述主表。

13.如权利要求12所述的数据处理装置，其特征在于，所述数据处理装置还包括：

清空模块，用于将记录的所述主键值清空。

14.如权利要求8所述的数据处理装置，其特征在于，所述第二更新模块包括：

第三更新子模块，用于根据业务的并发量，周期性将更新后的所述子表中的数据更新至所述主表。

15.一种数据库，其特征在于，包括：如权利要求8至14任一项所述的数据处理装置。