CN103092916B - 修改数据结构的方法和装置 - Google Patents

Abstract

本发明公开了一种修改数据结构的方法和装置，属于数据库技术领域。所述方法应用于行存储的数据库，所述数据库包括元数据和存储数据，所述方法包括：当对所述数据库的表结构进行新增字段的修改时，保持所述存储数据不变，在所述元数据的表结构中新增字段；设置所述新增字段的默认值，所述默认值用于在所述存储数据中查询所述新增字段时作为查询的返回值。所述装置包括：修改模块和设置模块。本发明无需对存储数据进行修改，减少了修改数据结构带来的时间和性能开销，极大地提高了效率，降低了对业务的影响，有效地优化了修改数据结构的性能。

Description

修改数据结构的方法和装置

技术领域

本发明涉及数据库技术领域，特别涉及一种修改数据结构的方法和装置。

背景技术

近年来，各行各业数据存储的需求日趋旺盛，数据量呈几何增加，企业级用户数据存储不再仅仅是以往的几百GB、几TB，而是几百TB，甚至几PB、几十PB的数据存储需求，大数据存储时代的来临显而易见。

目前大数据存储有两种方案可供选择：行存储和列存储。两种存储的数据都是从上至下，从左向右的排列。其中，行存储是以一行记录为单位进行数据的存储，列存储是以列数据的集合为单位进行数据的存储。

对于列存储的方案，当需要修改数据库中的表结构时，只需要添加单独的一列即可。对于行存储的方案，当需要修改数据库中的表结构时，需要修改每一行记录中的数据，修改变得非常繁琐。例如，对于一个包括三行记录的数据库来说，当表结构中新增一个列字段时，必须分别为每一行的数据也添加一个列字段，因此，需要执行三次修改操作，带来的消耗和数据库中的记录条数成正比。

上述行存储的方案中，如果数据量比较小，则修改表字段带来的时间和性能开销，对业务的影响还能接受。但是，随着数据存储规模的增加，数据量越来越大，如果是海量的大数据，则修改表字段需要对表中所有数据进修修改，会带来大量的时间和性能开销，甚至一次修改就需要数天时间，效率极低，对业务的影响往往难以令人接受。

发明内容

为了提高数据结构修改的效率，本发明提供了一种修改数据结构的方法和装置。所述技术方案如下：

第一方面，本发明提供了一种修改数据结构的方法，应用于行存储的数据库，所述数据库包括元数据和存储数据，所述方法包括：

当对所述数据库的表结构进行新增字段的修改时，保持所述存储数据不变，在所述元数据的表结构中新增字段；

设置所述新增字段的默认值，所述默认值用于在所述存储数据中查询所述新增字段时作为查询的返回值。

结合第一方面，第一方面的第一种实施方式下，所述方法还包括：

当查询所述数据库且查询失败时，判断是否由于所述存储数据中没有所述新增字段而导致查询失败，如果是，则获取并返回所述新增字段的默认值。

结合第一方面的第一种实施方式，第一方面的第二种实施方式下，判断是否由于所述存储数据中没有所述新增字段而导致查询失败，如果是，则获取并返回所述新增字段的默认值，包括：

判断查询的字段中是否包括所述新增字段；

如果查询的字段中包括所述新增字段，则确定由于所述存储数据中没有所述新增字段而导致查询失败，获取并返回所述新增字段的默认值。

结合第一方面的第二种实施方式，第一方面的第三种实施方式下，所述方法还包括：

如果查询的字段中不包括所述新增字段，则返回查询失败的结果。

第二方面，本发明还提供了一种修改数据结构的装置，应用于行存储的数据库，所述数据库包括元数据和存储数据，所述装置包括：

修改模块，用于当对所述数据库的表结构进行新增字段的修改时，保持所述存储数据不变，在所述元数据的表结构中新增字段；

设置模块，用于设置所述新增字段的默认值，所述默认值用于在所述存储数据中查询所述新增字段时作为查询的返回值。

结合第二方面，第二方面的第一种实施方式下，所述装置还包括：

查询模块，用于当查询所述数据库且查询失败时，判断是否由于所述存储数据中没有所述新增字段而导致查询失败，如果是，则获取并返回所述新增字段的默认值。

结合第二方面的第一种实施方式，第二方面的第二种实施方式下，所述查询模块用于：

判断查询的字段中是否包括所述新增字段；

如果查询的字段中包括所述新增字段，则确定由于所述存储数据中没有所述新增字段而导致查询失败，获取并返回所述新增字段的默认值。

结合第二方面的第二种实施方式，第二方面的第三种实施方式下，所述查询模块还用于：

如果查询的字段中不包括所述新增字段，则返回查询失败的结果。

本发明提供的技术方案带来的有益效果是：对于行存储的数据库，所述数据库包括元数据和存储数据，当对所述数据库的表结构进行新增字段的修改时，保持存储数据不变，在元数据的表结构中新增字段，并设置新增字段的默认值，由于无需对存储数据进行修改，减少了修改数据结构带来的时间和性能开销，极大地提高了效率，降低了对业务的影响，尤其是海量数据的场景下，有效地优化了修改数据结构的性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的数据存储分布示意图；

图2是本发明一实施例提供的修改数据结构的方法流程图；

图3是本发明另一实施例提供的修改数据结构的方法流程图；

图4是本发明又一实施例提供的修改数据结构的方法流程图；

图5是本发明一实施例提供的修改数据结构的装置结构图；

图6是本发明另一实施例提供的修改数据结构的装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例涉及行存储的数据库。所述行存储是指数据库中的数据是按行进行存储的。通常，数据库中包括元数据和存储数据。所述元数据是指数据库中各类的表结构，包括但不限于：数据库中表内的所有字段、以及数据的存储位置等等。所述存储数据是真正的用户数据。通常，存储数据为单独存储，不与元数据存储在一起，元数据所在节点可以同时管理其他存储节点。如图1所示，为本发明实施例提供的数据存储分布示意图。其中，中间的节点用于存储元数据。与元数据相连的其它各个节点用于存储用户数据。可见，元数据与存储数据是分开存储的，各自独立。

在行存储的数据库中，存储数据是按行存储的，每一行数据可以看成是一条记录，该记录内包括所述表结构中各个字段对应的值。

例如，参见表1，为数据库中的一个表。该表包括3个字段，分别为字段1、字段2和字段3。存储数据有3行，第一行的数据包括：Data1-1、Data1-2和Data1-3，第二行的数据包括：Data2-1、Data2-2和Data2-3，第三行的数据包括：Data3-1、Data3-2和Data3-3。该数据库按行进行存储时，分别按照表中第一行、第二行、第三行的顺序进行存储。

表1

	字段1	字段2	字段3
				1	Data1-1	Data1-2	Data1-3
2	Data2-1	Data2-2	Data2-3
				3	Data3-1	Data3-2	Data3-3

本发明实施例还涉及数据结构的修改。通常，数据结构的修改包括多种，如增加字段、删除字段和修改字段等等。本发明实施例主要涉及增加字段的修改。所述增加字段的修改是指在数据库的一个表中新增一个字段。本发明实施例对新增字段在表中的位置不做具体限定。例如，在表1中新增一个字段4，该字段4可以在字段1的左方，或者在字段1和字段2中间，或者在字段3的右方，等等。

参见图2，本发明一实施例提供了一种修改数据结构的方法，应用于行存储的数据库，该数据库包括元数据和存储数据，包括：

201：当对数据库的表结构进行新增字段的修改时，保持存储数据不变，在元数据的表结构中新增字段。

202：设置该新增字段的默认值，所述默认值用于在存储数据中查询新增字段时作为查询的返回值。

本实施例中，所述保持存储数据不变是指不在存储数据中增加该新增字段，而是保留原有的字段结构。所述设置该新增字段的默认值相当于为存储数据中的每一行数据新增了一个字段，且该字段的值均为该默认值。由于存储数据中没有真正的新增该字段，因此，在数据库的存储数据中查询该新增字段时，需要根据元数据的表结构中新增字段的默认值进行相应的返回，从而保证这种情况下的查询不会返回错误。

结合上述方法，第一种实施方式下，所述方法还可以包括：

当查询数据库且查询失败时，判断是否由于存储数据中没有新增字段而导致查询失败，如果是，则获取并返回所述新增字段的默认值。

结合上述方法的第一种实施方式，第二种实施方式下，判断是否由于存储数据中没有新增字段而导致查询失败，如果是，则获取并返回所述新增字段的默认值，包括：

判断查询的字段中是否包括所述新增字段；

如果查询的字段中包括所述新增字段，则确定由于存储数据中没有新增字段而导致查询失败，获取并返回所述新增字段的默认值。

结合上述方法的第二种实施方式，第三种实施方式下，所述方法还可以包括：

如果查询的字段中不包括所述新增字段，则返回查询失败的结果。

本实施例提供的上述方法，应用于行存储的数据库，所述数据库包括元数据和存储数据，当对所述数据库的表结构进行新增字段的修改时，保持存储数据不变，在元数据的表结构中新增字段，并设置新增字段的默认值，由于无需对存储数据进行修改，减少了修改数据结构带来的时间和性能开销，极大地提高了效率，降低了对业务的影响，尤其是海量数据的场景下，有效地优化了修改数据结构的性能。

参见图3，本发明另一实施例还提供了一种修改数据结构的方法，应用于行存储的数据库，该数据库包括元数据和存储数据，包括：

301：当对数据库的表结构进行新增字段的修改时，保持存储数据不变，在元数据的表结构中新增字段。

本实施例中，所述保持存储数据不变是指不在存储数据中增加该新增字段，而是保留原有的字段结构。所述设置该新增字段的默认值相当于为存储数据中的每一行数据新增了一个字段，且该字段的值均为该默认值。由于存储数据中没有真正的新增该字段，因此，在数据库的存储数据中查询该新增字段时，需要根据元数据的表结构中新增字段的默认值进行相应的返回，从而保证这种情况下的查询不会返回错误。

302：设置所述新增字段的默认值，该默认值用于在存储数据中查询新增字段时作为查询的返回值。

本实施例中，所述设置的新增字段的默认值可以作为存储数据进行存储，并且在元数据中记录该默认值的存储位置，当需要获取该默认值时，可以根据元数据中记录的该默认值的存储位置，读取该默认值。

303：当查询数据库且查询失败时，判断是否由于存储数据中没有所述新增字段而导致查询失败，如果是，则获取并返回所述新增字段的默认值。

其中，数据库的查询操作可以由客户端下发给元数据节点，通过元数据节点再对相应的存储数据节点进行查询。

通常，在查询数据库时，如果查询成功，则返回查询的结果，即查找到的数据；如果查询失败，则会返回错误。查询失败的情况通常会有很多种，因此，返回的错误类型也各不相同，根据返回的错误类型可以确定当前查询失败的原因。本实施例主要涉及由于存储数据中没有所述新增字段而返回错误的场景，对其它应用场景不做过多说明。

本实施例中，当判断出由于存储数据中没有所述新增字段而导致查询失败时，获取并返回所述新增字段的默认值，这种情况下，返回了查询结果，当前查询成功，查询流程结束，实现了元数据新增字段而存储数据中未新增字段的数据查询，在保证数据查询正常进行的基础上，减少了修改数据结构带来的时间和性能开销，极大地提高了数据结构的修改效率。

本实施例提供的上述方法，应用于行存储的数据库，所述数据库包括元数据和存储数据，当对所述数据库的表结构进行新增字段的修改时，保持存储数据不变，在元数据的表结构中新增字段，并设置新增字段的默认值，由于无需对存储数据进行修改，减少了修改数据结构带来的时间和性能开销，极大地提高了效率，降低了对业务的影响，尤其是海量数据的场景下，有效地优化了修改数据结构的性能。

参见图4，本发明又一实施例还提供了一种修改数据结构的方法，应用于行存储的数据库，该数据库包括元数据和存储数据，包括：

401：当对数据库的表结构进行新增字段的修改时，保持存储数据不变，在元数据的表结构中新增字段。

本实施例中，所述保持存储数据不变是指不在存储数据中增加该新增字段，而是保留原有的字段结构。所述设置该新增字段的默认值相当于为存储数据中的每一行数据新增了一个字段，且该字段的值均为该默认值。由于存储数据中没有真正的新增该字段，因此，在数据库的存储数据中查询该新增字段时，需要根据元数据的表结构中新增字段的默认值进行相应的返回，从而保证这种情况下的查询不会返回错误。

402：设置所述新增字段的默认值，该默认值用于在存储数据中查询新增字段时作为查询的返回值。

本实施例中，所述设置的新增字段的默认值可以作为存储数据进行存储，并且在元数据中记录该默认值的存储位置，当需要获取该默认值时，可以根据元数据中记录的该默认值的存储位置，读取该默认值。

403：当查询数据库且查询失败时，判断查询的字段中是否包括新增字段；如果查询的字段中包括所述新增字段，则执行步骤404；如果查询的字段中不包括所述新增字段，则执行步骤405。

其中，数据库的查询操作可以由客户端下发给元数据节点，通过元数据节点再对相应的存储数据节点进行查询。

通常，在查询数据库时，如果查询成功，则返回查询的结果，即查找到的数据；如果查询失败，则会返回错误。查询失败的情况通常会有很多种，因此，返回的错误类型也各不相同，根据返回的错误类型可以确定当前查询失败的原因。本实施例主要涉及由于存储数据中没有所述新增字段而返回错误的场景，对其它应用场景不做过多说明。具体地，可以通过判断查询的字段中是否包括元数据的表结构中新增的字段来确定当前是否为由于存储数据中没有新增字段而导致返回错误。

404：确定由于存储数据中没有新增字段而导致查询失败，获取并返回新增字段的默认值，流程结束。

本实施例中，当判断出由于存储数据中没有所述新增字段而导致查询失败时，获取并返回所述新增字段的默认值，这种情况下，返回了查询结果，当前查询成功，查询流程结束，实现了元数据新增字段而存储数据中未新增字段的数据查询，在保证数据查询正常进行的基础上，减少了修改数据结构带来的时间和性能开销，极大地提高了数据结构的修改效率。

405：返回查询失败的结果，流程结束。

本实施例中，如果查询的字段中不包括所述新增字段，则当前查询失败为其它原因引起的，直接返回查询失败的结果。

本实施例提供的上述方法，应用于行存储的数据库，所述数据库包括元数据和存储数据，当对所述数据库的表结构进行新增字段的修改时，保持存储数据不变，在元数据的表结构中新增字段，并设置新增字段的默认值，由于无需对存储数据进行修改，减少了修改数据结构带来的时间和性能开销，极大地提高了效率，降低了对业务的影响，尤其是海量数据的场景下，有效地优化了修改数据结构的性能。

参见图5，本发明再一实施例还提供了一种修改数据结构的装置，应用于行存储的数据库，该数据库包括元数据和存储数据，该装置包括：

修改模块501，用于当对数据库的表结构进行新增字段的修改时，保持存储数据不变，在元数据的表结构中新增字段；

设置模块502，用于设置该新增字段的默认值，所述默认值用于在存储数据中查询新增字段时作为查询的返回值。

本实施例中，所述保持存储数据不变是指不在存储数据中增加该新增字段，而是保留原有的字段结构。所述设置该新增字段的默认值相当于为存储数据中的每一行数据新增了一个字段，且该字段的值均为该默认值。由于存储数据中没有真正的新增该字段，因此，在数据库的存储数据中查询该新增字段时，需要根据元数据的表结构中新增字段的默认值进行相应的返回，从而保证这种情况下的查询不会返回错误。

本实施例中，所述设置的新增字段的默认值可以作为存储数据进行存储，并且在元数据中记录该默认值的存储位置，当需要获取该默认值时，可以根据元数据中记录的该默认值的存储位置，读取该默认值。

参见图6，结合上述装置，第一种实施方式下，所述装置还可以包括：

查询模块503，用于当查询数据库且查询失败时，判断是否由于存储数据中没有新增字段而导致查询失败，如果是，则获取并返回该新增字段的默认值。

结合上述装置的第一种实施方式，第二种实施方式下，查询模块503可以用于：

判断查询的字段中是否包括新增字段；

如果查询的字段中包括新增字段，则确定由于存储数据中没有新增字段而导致查询失败，获取并返回该新增字段的默认值。

结合上述装置的第二种实施方式，第三种实施方式下，查询模块503还可以用于：

如果查询的字段中不包括所述新增字段，则返回查询失败的结果。

本实施例中，所述数据库的查询操作可以由客户端下发给元数据节点，通过元数据节点再对相应的存储数据节点进行查询。

通常，在查询数据库时，如果查询成功，则返回查询的结果，即查找到的数据；如果查询失败，则会返回错误。查询失败的情况通常会有很多种，因此，返回的错误类型也各不相同，根据返回的错误类型可以确定当前查询失败的原因。本实施例主要涉及由于存储数据中没有所述新增字段而返回错误的场景，对其它应用场景不做过多说明。具体地，可以通过判断查询的字段中是否包括元数据的表结构中新增的字段来确定当前是否为由于存储数据中没有新增字段而导致返回错误。

本实施例中，当判断出由于存储数据中没有所述新增字段而导致查询失败时，获取并返回所述新增字段的默认值，这种情况下，返回了查询结果，当前查询成功，查询流程结束，实现了元数据新增字段而存储数据中未新增字段的数据查询，在保证数据查询正常进行的基础上，减少了修改数据结构带来的时间和性能开销，极大地提高了数据结构的修改效率。

本实施例提供的上述装置可以执行上述任一方法实施例中提供的方法，详细过程见方法实施例中的描述，此处不赘述。

本实施例提供的上述装置，应用于行存储的数据库，所述数据库包括元数据和存储数据，当对所述数据库的表结构进行新增字段的修改时，保持存储数据不变，在元数据的表结构中新增字段，并设置新增字段的默认值，由于无需对存储数据进行修改，减少了修改数据结构带来的时间和性能开销，极大地提高了效率，降低了对业务的影响，尤其是海量数据的场景下，有效地优化了修改数据结构的性能。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种修改数据结构的方法，其特征在于，应用于行存储的数据库，所述数据库包括元数据和存储数据，所述方法包括：

当对所述数据库的表结构进行新增字段的修改时，保持所述存储数据不变，在所述元数据的表结构中新增字段；

所述元数据是指数据库中各类的表结构，包括数据库中表内的所有字段、以及数据的存储位置；

设置所述新增字段的默认值，所述默认值用于在所述存储数据中查询所述新增字段时作为查询的返回值；

所述设置所述新增字段的默认值，包括：为所述存储数据中的每一行数据新增一个字段，且所述字段的值均为所述默认值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当查询所述数据库且查询失败时，判断是否由于所述存储数据中没有所述新增字段而导致查询失败，如果是，则获取并返回所述新增字段的默认值。

3.根据权利要求2所述的方法，其特征在于，判断是否由于所述存储数据中没有所述新增字段而导致查询失败，如果是，则获取并返回所述新增字段的默认值，包括：

判断查询的字段中是否包括所述新增字段；

如果查询的字段中包括所述新增字段，则确定由于所述存储数据中没有所述新增字段而导致查询失败，获取并返回所述新增字段的默认值。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

如果查询的字段中不包括所述新增字段，则返回查询失败的结果。

5.一种修改数据结构的装置，其特征在于，应用于行存储的数据库，所述数据库包括元数据和存储数据，所述装置包括：

修改模块，用于当对所述数据库的表结构进行新增字段的修改时，保持所述存储数据不变，在所述元数据的表结构中新增字段；

所述元数据是指数据库中各类的表结构，包括数据库中表内的所有字段、以及数据的存储位置；

设置模块，用于设置所述新增字段的默认值，所述默认值用于在所述存储数据中查询所述新增字段时作为查询的返回值；

所述设置模块，用于为所述存储数据中的每一行数据新增一个字段，且所述字段的值均为所述默认值。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

查询模块，用于当查询所述数据库且查询失败时，判断是否由于所述存储数据中没有所述新增字段而导致查询失败，如果是，则获取并返回所述新增字段的默认值。

7.根据权利要求6所述的装置，其特征在于，所述查询模块用于：

判断查询的字段中是否包括所述新增字段；

如果查询的字段中包括所述新增字段，则确定由于所述存储数据中没有所述新增字段而导致查询失败，获取并返回所述新增字段的默认值。

8.根据权利要求7所述的装置，其特征在于，所述查询模块还用于：

如果查询的字段中不包括所述新增字段，则返回查询失败的结果。