CN106326241A - 在将数据表拆分的过程中读写数据表的方法和装置 - Google Patents

Abstract

本发明提供了一种在将数据表拆分的过程中读写数据表的方法和装置。所述方法包括：响应于在将数据表拆分成多个子数据表的过程中接收到读请求，对所述数据表进行读操作；响应于在将数据表拆分成多个子数据表的过程中接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。本发明实施例所提供的方法和装置可以确保在将数据表拆分成多个子数据表的过程中网站系统向外提供稳定、持续服务的能力。

Description

在将数据表拆分的过程中读写数据表的方法和装置

技术领域

本发明涉及数据处理技术，尤其涉及一种在将数据表拆分的过程中读写数据表的方法和装置。

背景技术

在信息时代，用户习惯于通过网站来获取信息，随着网站的数据表不断进行字段和数据扩容，导致用户访问网站数据表的速度较低。为了解决这一问题，现有技术中可以采用分表的办法来缓解数据表的读写压力，例如根据内容的不同将数据库的数据表分类，不同类别的内容存储在不同的数据表中，即通过数据表的拆分和数据的迁移来缓解网站数据表的读写压力。但是，由于现有技术的数据表的拆分中将数据表拆分成多个子数据表的整个过程中都不能向数据表读或写，必须等将数据表拆分成多个子数据表完毕后才能向子数据表读或写。在将数据表拆分成多个子数据表的过程中网站系统都不能提供访问服务，因而大幅度降低了网站系统的服务性能。

发明内容

本发明的目的之一是提升将数据表拆分成多个子数据表的过程中网站系统的服务性能。

根据本发明的一个实施例，提供了一种在将数据表拆分成多个子数据表的过程中读写数据表的方法，该方法包括：

响应于在将数据表拆分成多个子数据表的过程中接收到读请求，对所述数据表进行读操作；

响应于在将数据表拆分成多个子数据表的过程中接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。

根据本发明的另一个实施例，还提供了一种在将数据表拆分成多个子数据表的过程中读写数据表的装置，该装置包括：

数据表拆分单元，被配置为将数据表拆分成多个子数据表；

读操作单元，被配置为响应于在将数据表拆分成多个子数据表的过程中接收到读请求，对所述数据表进行读操作；

写操作单元，被配置为响应于在将数据表拆分成多个子数据表的过程中接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。

与现有技术相比，本发明的实施例具有以下优点：在将数据表拆分成多个子数据表的过程中如果接收到写请求，对数据表以及数据表拆分而成的多个子数据表中的相应子数据表进行双写操作，其中对相应子数据表进行写操作保证了写的数据能够写到最终拆分成的子数据表中(毕竟以后是多个子数据表代替原来的数据表工作，保证了在将数据表拆分成多个子数据表的过程中写入的数据能够体现在最后取代原来的数据表的多个子数据表中；对原来的数据表也要进行写操作是为了保证，如果在该写操作之后、将数据表拆分成多个子数据表的过程结束前的一段时间发生了读操作，在数据表中也能读到该写入的数据，因为该数据不但写到了新的子数据表，也写到了原来的数据表。因此，用户在将数据表拆分成多个子数据表的过程中可以正常读写，在用户看来完全不知道将数据表拆分成了多个子数据表，从拆分的过程平滑过渡，不需要停滞对用户服务，从而显著提升了数据库访问的性能。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出了将数据表拆分成两个子数据表的示意图；

图2示出了本发明实施例对数据表和对应的子数据表进行读写操作的过程中可能涉及到的状态S0～状态S3四个状态的示意图；

图3为根据本发明一个实施例的在将数据表拆分成多个子数据表的过程中读写数据表的方法1的流程图；

图4为根据本发明另一个实施例的在将数据表拆分成多个子数据表的过程中读写数据表的方法1的流程图；

图5为根据本发明一个实施例的在将数据表拆分成多个子数据表的过程中读写数据表的装置2的示意性框图；

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本实施例中的计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

在描述本发明实施例前，为了更好地理解本发明，请参考图1，图1示出了将数据表拆分成两个子数据表的示意图。根据图1，数据表(即T表)包括键值(key)分别为COL1、COL2、......COL6的六列字段，六列字段的具体数据在图中未示出。基于数据表T拆分而得到两个子数据表(T1和T2)，其中子数据表T1包括键值分别为COL1、COL2、COL3的三列字段，子数据表T2包括键值分别为COL4、COL5、COL6的三列字段(字段中的具体数据未在图中示出)。

可选地，根据本发明的一个实施例，将数据表拆分成多个子数据表的过程是基于数据表中字段的使用频度执行的。字段是数据表中的一个表格单元。例如，在用户档案表中，COL1、COL2、COL3分别是姓名、性别、年龄，这是用户的常见信息，使用频度很高；COL4、COL5、COL6分别是入队时间、入团时间、入党时间，它们的使用频度比COL1、COL2、COL3要低。因此，将使用频度较高的键值分别为COL1、COL2、COL3的三列字段拆成T1表，将使用频度较高的键值分别为COL4、COL5、COL6的三列字段拆成T2表。基于使用频度来拆分数据表，可以有效提升对拆分而得的子数据表的读写速度。这是因为，仍以将T表拆成具有使用频度较高的键值COL1、COL2、COL3的三列字段的T1表和具有使用频度较低的键值COL4、COL5、COL6的三列字段的T2表为例，由于大多数的读写都是围绕姓名、性别、年龄这三项的，如果在仅具有3列字段的T1表中查找，就会比在具有6列字段的T表中查找快得多。

图3为根据本发明一个实施例的在将数据表拆分成多个子数据表的过程中读写数据表的方法1的流程图。

本方法由计算机设备执行，所述计算机设备是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。

在步骤S101中，响应于在将数据表拆分成多个子数据表的过程中接收到读请求，对所述数据表进行读操作。

例如，在将T表拆分成T1表和T2表的过程中接收到读张三的“年龄”的读请求，在T表中COL3列的与“张三”对应的行的字段读数据。

在步骤S102中，响应于在将数据表拆分成多个子数据表的过程中接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。

例如，在将T表拆分成T1表和T2表的过程中接收到写王五的“入党时间”的写请求，一方面在T表COL6列与“王五”对应的行的字段写数据，另一方面在分成的T2表COL6列与“王五”对应的行的字段写数据。

如此，本发明实施例对数据表和对应的子数据表进行双写操作。对相应子数据表进行写操作保证了写的数据能够写到最终拆分成的子数据表中(毕竟以后是多个子数据表代替原来的数据表工作，保证了在将数据表拆分成多个子数据表的过程中写入的数据能够体现在最后取代原来的数据表工作的多个子数据表中。对原来的数据表也要进行写操作是为了保证，如果在该写操作之后、将数据表拆分成多个子数据表的过程结束前的一段时间发生了读操作，在数据表中也能读到该写入的数据，因为该数据不但写到了新的子数据表，也写到了原来的数据表。

需要说明的是，本发明实施例中所述数据表的拆分包括但不限于关系型数据库中的数据表的拆分，还包括诸如非关系型数据库中的数据表的拆分。

可选地，根据本发明的一个实施例，请参考图4，所述方法1还包括：

步骤S103，响应于将数据表拆分成多个子数据表的过程结束后预定时间段内接收到读请求，对所述多个子数据表中的相应子数据表进行读操作；

例如，预定时间段为一周，在将T表拆分成T1表和T2表的过程结束后一周内接收到读张三的“年龄”的读请求，在T1表中COL3列的与“张三”对应的行的字段读数据。

步骤S104，响应于将数据表拆分成多个子数据表的过程结束后预定时间段内接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。

例如，预定时间段为一周，在将T表拆分成T1表和T2表的过程结束后一周内接收到写王五的“入党时间”的写请求，一方面在T表COL6列与“王五”对应的行的字段写数据，另一方面在分成的T2表COL6列与“王五”对应的行的字段写数据。

其中所述将数据表拆分成多个子数据表的过程结束在此可以指：建立完了所述多个子数据表，且数据表中的数据已经全部迁移到子数据表。

其中所述预定时间段被设置为为了监测对所述多个子数据表的读写操作是否出现异常而设定的观察时间，例如，一个星期、一个月等等。

将数据表拆分成多个子数据表的过程结束后，本应新的子数据表开始工作，旧的数据表不再运行。因此，似乎应当仅针对新的子数据表读写数据，不再对旧的数据表读写数据。但本发明实施例设了一段预定时间段，在将数据表拆分成多个子数据表的过程结束后预定时间段内，如果接到写请求，仍然“双写”，也就是既向数据表写数据，又向子数据表写数据。这样做的好处是，如果将数据表拆分成多个子数据表拆得不成功，在预定时间段内监视到向子数据表读或写出现异常，由于在该预定时间段本发明实施例坚持“双写”，因此在有写请求的情况下，数据会写入原来的数据表。原来的数据表中仍然体现了从将数据表拆分成多个子数据表的过程开始新写入的所有数据，因此即使监视到向子数据表读或写出现异常(新子数据表不能用)、需要重新将数据表拆分成多个子数据表时，由于原来的数据表中并没有遗漏新写入的数据，因此仍然能依赖原来的数据表进行重新拆分而不会丢失数据。

可选地，在图4所示的实施例的基础上，根据本发明的一个实施例，所述方法1还包括：

-如果将数据表拆分成多个子数据表的过程中以及将数据表拆分成多个子数据表的过程结束后预定时间段内都未发生对子数据表的读或写操作异常，在所述预定时间段后，响应于接收到读或写请求，仅对所述多个子数据表中的相应子数据表进行读或写操作。

如上所述，所述预定时间段被设置为为了监测对所述多个子数据表的读写操作是否出现异常而设定的观察时间，因此如果将数据表拆分成多个子数据表的过程中以及将数据表拆分成多个子数据表的过程结束后预定时间段内都未发生对子数据表的读或写操作异常，说明该拆分很成功。这时候，就可以废弃原来的数据表，保留新的多个子数据表。因此，读或写都只针对子数据表进行。

可选地，在图3所示的实施例的基础上，根据本发明的一个实施例，所述方法1还包括：

-如果在对所述多个子数据表中的相应子数据表进行写操作的过程中发生对子数据表的写操作异常，重新将数据表拆分成多个子数据表。

在对所述多个子数据表中的相应子数据表进行写操作的过程中发生对子数据表的写操作异常，则将数据表拆分成多个子数据表不成功，在这种情况下，需要重新将数据表拆分成多个子数据表。

进一步地，在重新将数据表拆分成多个子数据表的过程中，如果有对数据表的读写请求，仍然要重复图3中步骤S101、S102的内容。

可选地，在图4所示的实施例的基础上，根据本发明的一个实施例，所述方法1还包括：

-如果将数据表拆分成多个子数据表的过程结束后预定时间段内发生对子数据表的读或写操作异常，重新将数据表拆分成多个子数据表。

在对所述多个子数据表中的相应子数据表进行读或/和写操作的过程中发生对子数据表的读或/和写操作异常，则说明将数据表拆分成多个子数据表不成功，需要重新将数据表拆分成多个子数据表。

进一步地，在重新将数据表拆分成多个子数据表的过程中，如果有对数据表的读写请求，仍然要重复图4中步骤S101-104的内容。

另外，为了更好地理解本发明，还请参考图2，图2示出了本发明一个具体例子中对数据表和对应的子数据表进行读写操作的过程中可能涉及到的状态S0～状态S3。

状态S0是将数据表拆分成多个子数据表还没有开始时的状态，因此没有子数据表，如果有读写请求，仅对数据表进行读写操作。

状态S1是将数据表拆分成多个子数据表的过程中的状态。在这个过程中，如果接收到读请求，对数据表进行读；如果接收到写请求，对数据表和子数据表进行双写。

状态S2是将数据表拆分成多个子数据表的过程结束后预定时间内的状态。在该期间，如果接收到读请求，对子数据表进行读；如果接收到写请求，对数据表和子数据表进行双写。

状态S3是将数据表拆分成多个子数据表的过程结束后预定时间后的状态。这时，仅对子数据表进行读写操作，不再对数据表进行读写操作。

当S1状态下对子数据表的写操作出现异常时，说明拆分过程不成功，从S1状态切换至S0状态，重新开始拆分过程；当S2状态下对子数据表的读或写操作出现异常时，说明拆分过程不成功，从S2状态切换至S0状态，重新开始拆分过程。

图2仅是一个应用的例子。实际上，也可以有其它的状态转换图。例如，省去状态S2，直接由状态S1进入状态S3。也就是说，不执行图4所示的步骤S103、S104。不再设置预定时间。在将数据表拆分成多个子数据表的过程结束后直接启动新的多个拆成的子数据表，废弃原来的数据表。这样，可能一旦发现对新的子数据表的读写异常，就不能重新将数据表拆分成子数据表了，在拆分不太容易出现问题的情况下比较适用。

图5示出了根据本发明一个实施例的一种在将数据表拆分成多个子数据表的过程中读写数据表的装置2，该装置包括：

数据表拆分单元201，被配置为将数据表拆分成多个子数据表；

读操作单元202，被配置为响应于在将数据表拆分成多个子数据表的过程中接收到读请求，对所述数据表进行读操作；

写操作单元203，被配置为响应于在将数据表拆分成多个子数据表的过程中接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。

可选地，所述读操作单元202还被配置为响应于将数据表拆分成多个子数据表的过程结束后预定时间段内接收到读请求，对所述多个子数据表中的相应子数据表进行读操作；所述写操作单元203还被配置为响应于将数据表拆分成多个子数据表的过程结束后预定时间段内接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。

可选地，所述读操作单元202还被配置为：响应于在将数据表拆分成多个子数据表的过程中及将数据表拆分成多个子数据表的过程结束后预定时间段内都未发生对子数据表的读或写操作异常，在所述预定时间段后，响应于接收到读请求，仅对所述多个子数据表中的相应子数据表进行读操作；所述写操作单元203还被配置为：响应于在将数据表拆分成多个子数据表的过程中及将数据表拆分成多个子数据表的过程结束后预定时间段内都未发生对子数据表的读或写操作异常，在所述预定时间段后，响应于接收到写请求，仅对所述多个子数据表中的相应子数据表进行写操作。

可选地，所述数据表拆分单元201还被配置为：响应于在对所述多个子数据表中的相应子数据表进行写操作的过程中发生对子数据表的写操作异常，重新将数据表拆分成多个子数据表。

可选地，所述数据表拆分单元201还被配置为：响应于将数据表拆分成多个子数据表的过程结束后预定时间段内发生对子数据表的读或写操作异常，重新将数据表拆分成多个子数据表。

可选地，所述数据表拆分单元201将数据表拆分成多个子数据表的过程是基于数据表中字段的使用频度执行的。

应当理解，图5所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些单元或装置。

所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件，也可以是完全的软件，还可以是硬件和软件结合的形式。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (12)

1.一种在将数据表拆分成多个子数据表的过程中读写数据表的方法，该方法包括：

响应于在将数据表拆分成多个子数据表的过程中接收到读请求，对所述数据表进行读操作；

响应于在将数据表拆分成多个子数据表的过程中接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。

2.根据权利要求1所述的方法，还包括：

响应于将数据表拆分成多个子数据表的过程结束后预定时间段内接收到读请求，对所述多个子数据表中的相应子数据表进行读操作；

响应于将数据表拆分成多个子数据表的过程结束后预定时间段内接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。

3.根据权利要求2所述的方法，还包括：

如果在将数据表拆分成多个子数据表的过程中及将数据表拆分成多个子数据表的过程结束后预定时间段内都未发生对子数据表的读或写操作异常，在所述预定时间段后，响应于接收到读或写请求，仅对所述多个子数据表中的相应子数据表进行读或写操作。

4.根据权利要求1所述的方法，还包括：

如果在对所述多个子数据表中的相应子数据表进行写操作的过程中发生对子数据表的写操作异常，重新将数据表拆分成多个子数据表。

5.根据权利要求2所述的方法，还包括：

如果将数据表拆分成多个子数据表的过程结束后预定时间段内发生对子数据表的读或写操作异常，重新将数据表拆分成多个子数据表。

6.根据权利要求1所述的方法，其中将数据表拆分成多个子数据表的过程是基于数据表中字段的使用频度执行的。

7.一种在将数据表拆分成多个子数据表的过程中读写数据表的装置，该装置包括：

数据表拆分单元，被配置为将数据表拆分成多个子数据表；

读操作单元，被配置为响应于在将数据表拆分成多个子数据表的过程中接收到读请求，对所述数据表进行读操作；

写操作单元，被配置为响应于在将数据表拆分成多个子数据表的过程中接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。

8.根据权利要求7所述的装置，其中

所述读操作单元还被配置为响应于将数据表拆分成多个子数据表的过程结束后预定时间段内接收到读请求，对所述多个子数据表中的相应子数据表进行读操作；

所述写操作单元还被配置为响应于将数据表拆分成多个子数据表的过程结束后预定时间段内接收到写请求，对所述数据表以及所述多个子数据表中的相应子数据表进行写操作。

9.根据权利要求8所述的装置，其中

所述读操作单元还被配置为：响应于在将数据表拆分成多个子数据表的过程中及将数据表拆分成多个子数据表的过程结束后预定时间段内都未发生对子数据表的读或写操作异常，在所述预定时间段后，响应于接收到读请求，仅对所述多个子数据表中的相应子数据表进行读操作；

所述写操作单元，还被配置为：响应于在将数据表拆分成多个子数据表的过程中及将数据表拆分成多个子数据表的过程结束后预定时间段内都未发生对子数据表的读或写操作异常，在所述预定时间段后，响应于接收到写请求，仅对所述多个子数据表中的相应子数据表进行写操作。

10.根据权利要求7所述的装置，其中

所述数据表拆分单元还被配置为：响应于在对所述多个子数据表中的相应子数据表进行写操作的过程中发生对子数据表的写操作异常，重新将数据表拆分成多个子数据表。

11.根据权利要求8所述的装置，其中

所述数据表拆分单元还被配置为：响应于将数据表拆分成多个子数据表的过程结束后预定时间段内发生对子数据表的读或写操作异常，重新将数据表拆分成多个子数据表。

12.根据权利要求7所述的装置，其中

所述数据表拆分单元将数据表拆分成多个子数据表的过程是基于数据表中字段的使用频度执行的。