CN105718491A

CN105718491A - 数据库之间更新的方法及其装置

Info

Publication number: CN105718491A
Application number: CN201410738207.9A
Authority: CN
Inventors: 杨祥合
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2014-12-04
Filing date: 2014-12-04
Publication date: 2016-06-29
Also published as: JP2018505464A; EP3227798A4; EP3227798A1; US10083198B2; WO2016090277A1; US20160162530A1

Abstract

本发明涉及数据处理领域，公开了一种数据库之间更新的方法及其装置。本发明中的更新方法包括以下步骤：根据第一数据库中的数据生成第三数据行，该第三数据行中至少一个列的数据为空操作符，该空操作符表示数据没有变化；根据第三数据行更新第二数据库的第四数据行，其中，第三数据行中为空操作符的列不更新第四数据行的对应列，第三数据行中为非空操作符的列更新第四数据行的对应列。本发明在数据库的一行数据中仅有部分列的数据发生变化的情况下，只需更新发生变化的列的数据，减少了更新的数据量，有效提高了数据库的更新效率，减少了资源和时间的浪费。

Description

数据库之间更新的方法及其装置

技术领域

本发明涉及数据处理领域，特别涉及数据库之间更新的技术。

背景技术

对于以行为单位进行更新的一些在线数据库，如果某一行的数据只有少量列的数据发生变化，在更新时需要将整行数据进行更新，这对于行数据量极大且在短时间内需更新的行数据较多的数据库，例如一些电子商务业务相关的在线数据库，其每时每刻都会有数据需要更新，而每行数据量有可能是几兆甚至是几十兆，会产生巨大的冲击。并且，更新速度慢，需消耗大量的资源。如果发生导入不成功的情况，又需要拆分集群，造成大量的人力、资源浪费。

发明内容

本发明的目的在于提供一种数据库之间更新的方法及其装置，在数据库的一行数据中仅有部分列的数据发生变化的情况下，只需更新发生变化的列的数据，减少更新的数据量，有效提高数据库的更新效率，减少资源和时间的浪费。

为解决上述技术问题，本发明的实施方式公开了一种数据库之间更新的方法，包括以下步骤：

根据第一数据库中的数据生成第三数据行，该第三数据行中至少一个列的数据为空操作符，该空操作符表示数据没有变化；

根据第三数据行更新第二数据库的第四数据行，其中，第三数据行中为空操作符的列不更新第四数据行的对应列，第三数据行中为非空操作符的列更新第四数据行的对应列。

本发明的实施方式还公开了一种数据库之间更新的装置，包括：

生成单元，用于根据第一数据库中的数据生成第三数据行，该第三数据行中至少一个列的数据为空操作符，该空操作符表示数据没有变化；

更新单元，用于根据第三数据行更新第二数据库的第四数据行，其中，第三数据行中为空操作符的列不更新第四数据行的对应列，第三数据行中为非空操作符的列更新第四数据行的对应列。

本发明实施方式与现有技术相比，主要区别及其效果在于：

在数据库的一行数据中仅有部分列的数据发生变化的情况下，无需将数据库中的整行数据进行更新，只需通过空操作符更新发生变化的列的数据，从而减少更新的数据量，在一行数据的数据量极大的情况下，能有效提高数据库的更新效率，减少资源和时间的浪费，且在导入不成功的情况下，无需再次将整行导入，只需将非空操作符的列的数据进行更新，进一步节省资源。

进一步地，由于在一些网络应用中，如电子商务平台上在线数据库的更新对实时性的要求更高，如果更新数据过大，则无法满足这一要求，通过空操作符仅更新一行数据中发生变化的列的数据，可有效提高在线数据库更新的效率。

进一步地，通过SQL将需更新的数据行(即第三数据行)导入数据库时，在需更新的数据行中数据发生变化的列不相同时，无需进行SQL的重新解析，可直接将整行数据导入数据库，降低SQL硬解析耗费成本，提高数据库的更新效率。

附图说明

图1是本发明第一实施方式中一种数据库之间更新的方法的流程示意图；

图2是本发明一个优选例中交易信息发生变化时数据库之间更新的一个实例；

图3是本发明第三实施方式中一种数据库之间更新的装置的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种数据库之间更新的方法。图1是该数据库之间更新的方法的流程示意图。

如图1所示，该数据库之间更新的方法包括以下步骤：

在步骤101中，根据第一数据库中的数据生成第三数据行，该第三数据行中至少一个列的数据为空操作符，该空操作符表示数据没有变化。

此后进入步骤102，根据第三数据行更新第二数据库的第四数据行，其中，第三数据行中为空操作符的列不更新第四数据行的对应列，第三数据行中为非空操作符的列更新第四数据行的对应列。

在上述更新过程中，如果遇到包括空操作符的列，直接跳过，不进行同一列的数据的更新。即使用第三数据行更新在线数据库的第四数据行时，如果是空操作符则直接跳过相应列的处理，如果不是空操作符则以第三数据行中的数据更新第四数据行中相应列的数据。

此后结束本流程。

本发明中可使用SQL(StructuredQueryLanguag，结构化查询语言)完成在线数据库的更新，也可调用API(ApplicationProgrammingInterface,应用编程接口)函数完成在线数据库的更新。在本发明的一优选例中，上述步骤102包括以下子步骤：

使用结构化查询语言的Update语句(SQL语言中用于修改表中的数据的标准语句)根据第三数据行整行更新第四数据行。其中，虽然实际只更新第三数据行中非空操作符的列，但该Update语句的参数中包括对第三数据行中每一个列的更新。例如，对于第一数据库中的表格student(有10列，每列名称分别为A、B、C、D、E、F、G、H、I和J)，如果第n行的数据由(2，4，6，2，9，8，7，3，4，1)变化为(2，4，10，2，9，8，15，3，4，1)，即只有第3列和第7列的数据发生了变化，则生成的第三数据行为(^b，^b，10，^b，^b，^b，15，^b，^b，^b)，其中，^b表示空操作符；然后通过SQL语言的update语句更新第二数据库中的第四数据行，其update语句为更新每个列的数据(即update语句的参数中包括第三数据行所有列的名称)，但是由于具有空操作符的列在更新是会被暂时跳过，因此，第四数据行中只有第3列和第7列的数据被更新，其他列的数据保持不变。

一种现有技术中，需要更新部分列时，在Update语句中只写要更新的部分列的参数。如果要更新的数据表中每一行要更新的列都可能不同，则需要对每一行都写一句Update语句，而每一个不同的Update语句在执行之前都要先解析，这就导致SQL的解析的工作量很大。

另一种现有技术中，如果要减少SQL解析的工作量，也可以在Update语句中写所有列的参数，但这样导致没有变化的列也会被更新，虽然解析只要做一次，但Update语句的执行的工作量很大。

可见现有技术使本领域的技术人员陷入一种两难境地。如何既减少SQL解析的工作量，又减少Update语句执行的工作量，这是一个挑战。

本发明实施方式中，通过SQL将需更新的数据行(即第三数据行)导入数据库时，虽然只希望更新发变化的列，但使用的Update语句的参数中包括第三数据行所有列的名称(即名义是上对所有列进行更新)，从而只要对该Update语句解析一次就可以用于所有要更新的行(虽然每一行实际要更新的列可能是不一样的)，无需进行SQL的重新解析，降低了SQL硬解析耗费成本，提高数据库的更新效率。同时，通过引入空操作符和相关的处理步骤，在SQL执行时没有数据更新的列被跳过，所以Update语句执行的工作量远小于现有技术。

而在本发明的另一优选例中，上述步骤102包括以下子步骤：

调用在线数据库的应用编程接口函数根据第三数据行整行更新第四数据行。

本发明第二实施方式涉及一种数据库之间更新的方法。

第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：上述第一数据库中为离线数据库，第二数据库为在线数据库。由于在一些网络应用中，如电子商务平台上在线数据库的更新对实时性的要求更高，如果更新数据过大，则无法满足这一要求，通过空操作符仅更新一行数据中发生变化的列的数据，可有效提高在线数据库更新的效率。

具体地说，上述步骤101包括以下子步骤:

离线数据库接收来自在线数据库的数据；

离线数据库根据接收到的数据进行统计，并根据统计结果生成第一数据行；

将第一数据行与离线数据库中的第二数据行进行对比，将第一数据行中与第二数据行对比结果相同的列的数据转换为空操作符并将对比结果不同的列的数据保留，以生成第三数据行；

将第二数据行中的数据都替换为第一数据行的数据，以供下一次对比使用；其中，在线数据库和离线数据库以行为单位进行更新，且每行包括多个列。第一、第二、第三和第四数据行的列数相同，各列的含义也相同。第二数据行是离线数据库上一次更新在线数据库的第四数据行后在离线数据库中对第四数据行的备份，表示第四数据行在本次更新前的状态。

此外，可以理解，在本发明的其他实施方式中，也可以采用方式其他方式生成第三数据行，例如，在上述子步骤中，第二数据行中所有列的数据都为空操作符，通过API读取第一数据行中的数据，然后将发生变化的数据写入第二数据行中生成第三数据行。

本发明的数据库之间的更新方法可适用于多种数据库间的更新，例如，在本发明的一优选例中，上述在线数据库和离线数据库为存储用户基本行为数据和贷款行为数据的数据库。其中，基本行为数据包括如购物网站的用户的年龄、性别、生日信息、账户的等级等数据；贷款行为数据如购物网站的用户目前的账户余额、交易次数、转账次数、转账金额、交易金额、投诉次数、购物等级等等。以下通过具体的实现实例来进一步描述本发明的更新方法：

如图2所示，离线数据库在接收到在线数据库中某一用户的交易信息发生变化以后，会对接收到的交易数据进行统计生成第一数据行。比如，根据用户交易金额的变化，统计用户近一个月或一周的总交易金额的额度，然后判断总交易金额的额度是否达到升级用户等级的程度，如果达到，就将用户基本行为数据中的用户等级信息进行修改，比如为第六列的数据。然后，将第一数据行和第二数据行对比得到第三数据行，其中，^b表示空操作符。由于只有第六列的数据发生了变化，因此生成的第三数据行中只有第六列的数据不是空操作符，在更新第四数据行时，只有第六列的数据会被更新。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(ProgrammableArrayLogic，简称“PAL”)、随机存取存储器(RandomAccessMemory，简称“RAM”)、可编程只读存储器(ProgrammableReadOnlyMemory，简称“PROM”)、只读存储器(Read-OnlyMemory，简称“ROM”)、电可擦除可编程只读存储器(ElectricallyErasableProgrammableROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(DigitalVersatileDisc，简称“DVD”)等等。

本发明第三实施方式涉及一种数据库之间更新的装置。图3是该数据库之间更新的装置的结构示意图。

如图3所示，该数据库之间更新的装置包括：

生成单元，用于根据第一数据库中的数据生成第三数据行，该第三数据行中至少一个列的数据为空操作符，该空操作符表示数据没有变化。

在本发明的一优选例中，上述更新单元包括以下子单元：

语言更新子单元，用于使用结构化查询语言的Update语句根据第三数据行整行更新第四数据行。

在本发明的另一优选例中，上述更新单元包括以下子单元：

函数更新子单元，用于调用在线数据库的API函数根据第三数据行整行更新第四数据行。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第四实施方式涉及一种数据库之间更新的装置。

第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于：上述第一数据库中为离线数据库，第二数据库为在线数据库。由于在一些网络应用中，如电子商务平台上在线数据库的更新对实时性的要求更高，如果更新数据过大，则无法满足这一要求，通过空操作符仅更新一行数据中发生变化的列的数据，可有效提高在线数据库更新的效率。

具体地说，上述第一数据库中为离线数据库，第二数据库为在线数据库。并且，上述生成单元包括以下子单元：

接收子单元，用于控制离线数据库接收来自在线数据库的数据。

统计子单元，用于控制离线数据库根据接收到的数据进行统计，并根据统计结果生成第一数据行。

对比子单元，用于将第一数据行与离线数据库中的第二数据行进行对比，将第一数据行中与第二数据行对比结果相同的列的数据转换为空操作符并将对比结果不同的列的数据保留，以生成第三数据行。

替换子单元，用于在对比子单元将第一数据行与第二数据行进行对比后，将第二数据行中的数据都替换为第一数据行的数据，以供下一次对比使用。

上述在线数据库和离线数据库以行为单位进行更新，且每行包括多个列。第一、第二、第三和第四数据行的列数相同，各列的含义也相同。第二数据行是离线数据库上一次更新在线数据库的第四数据行后在离线数据库中对第四数据行的备份，表示第四数据行在本次更新前的状态。

本发明的数据库之间的更新方法可适用于多种数据库间的更新，例如，在本发明的一优选例中，在线数据库和离线数据库为存储用户基本行为数据和贷款行为数据的数据库。

此外，可以理解，在本发明的其他实施方式中，在线数据库也可以是存储其他类型的数据库，例如，导航数据库、监控影像数据库等。

在本发明的一优选例中，在线数据库和离线数据库为存储某一电子商务平台交易统计数据的数据库。两数据库间的更新过程如下：

统计子单元控制离线数据库统计接收到的来自在线数据库的交易数据生成第一数据行(假设有8列，名称分别为：数码产品、粮油、蔬果、服装、干货、水产、配饰、书籍，每行表示各列表示名称的产品的销售额，单位为百万):15，20，18，64，31，15，20，8；对比子单元将第一数据行与第二数据行(15，20，18，54，31，15，18，8)的数据对比，生成第三数据行：^b，^b，^b，54，^b，^b，18，^b；然后，更新单元将在线数据库中的第四数据行(15，20，18，54，31，15，18，8)更新为：15，20，18，64，31，15，20，8，其中，在更新时，具有空操作符的列的数据不会被更新。

此外，在本发明各实施方式中，为了简明扼要的列举各实施方式的具体实现过程，各例子中数据库的列数较少，可以理解，在现实的实现过程中，本发明的各实施例适用于各种大存储

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims

1.一种数据库之间更新的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的数据库之间更新的方法，其特征在于，所述第一数据库中为离线数据库，第二数据库为在线数据库。

3.根据权利要求2所述的数据库之间更新的方法，其特征在于，所述根据第一数据库中的数据生成第三数据行的步骤包括以下子步骤:

离线数据库接收来自在线数据库的数据；

其中，第一、第二、第三和第四数据行的列数相同，各列的含义也相同；第二数据行是离线数据库上一次更新在线数据库的第四数据行后在离线数据库中对第四数据行的备份，表示第四数据行在本次更新前的状态。

4.根据权利要求3所述的数据库之间更新的方法，其特征在于，在所述将第一数据行与离线数据库中的第二数据行进行对比的子步骤之后，所述根据第一数据库中的数据生成第三数据行的步骤还包括以下子步骤:

将第二数据行中的数据都替换为第一数据行的数据，以供下一次对比使用。

5.根据权利要求1至4中任一项所述的数据库之间更新的方法，其特征在于，所述根据第三数据行更新第二线数据库的第四数据行的步骤包括以下子步骤：

使用结构化查询语言的Update语句根据第三数据行整行更新第四数据行。

6.根据权利要求1至4中任一项所述的数据库之间更新的方法，其特征在于，所述根据第三数据行更新第二数据库的第四数据行的步骤包括以下子步骤：

调用在线数据库的API函数根据第三数据行整行更新第四数据行。

7.根据权利要求2至4中任一项所述的数据库之间更新的方法，其特征在于，所述在线数据库和离线数据库为存储用户基本行为数据和贷款行为数据的数据库。

8.一种数据库之间更新的装置，其特征在于，包括：

9.根据权利要求8所述的数据库之间更新的装置，其特征在于，所述第一数据库中为离线数据库，第二数据库为在线数据库。

10.根据权利要求9所述的数据库之间更新的装置，其特征在于，并且，所述生成单元包括以下子单元：

接收子单元，用于控制离线数据库接收来自在线数据库的数据；

统计子单元，用于控制离线数据库根据接收到的数据进行统计，并根据统计结果生成第一数据行；

对比子单元，用于将第一数据行与离线数据库中的第二数据行进行对比，将第一数据行中与第二数据行对比结果相同的列的数据转换为空操作符并将对比结果不同的列的数据保留，以生成第三数据行；

11.根据权利要求10所述的数据库之间更新的装置，其特征在于，所述生成单元包括以下子单元：

替换子单元，用于在所述对比子单元将第一数据行与第二数据行进行对比后，将第二数据行中的数据都替换为第一数据行的数据，以供下一次对比使用。

12.根据权利要求8至11中任一项所述的数据库之间更新的装置，其特征在于，所述更新单元包括以下子单元：

13.根据权利要求8至11中任一项所述的数据库之间更新的装置，其特征在于，所述更新单元包括以下子单元：

14.根据权利要求9至11中任一项所述的数据库之间更新的装置，其特征在于，所述在线数据库和离线数据库为存储用户基本行为数据和贷款行为数据的数据库。