CN114461685B - 一种灵活扩展数据库字段的方法 - Google Patents

Abstract

本发明提供了一种灵活扩展数据库字段的方法，查询语句方法与普通语句查询相同，从数据库文件中读取时，普通字段从数据库文件中读取，扩展字段从数据库文件中读取地址信息，再通过地址信息从二级缓存或大数据存储介质中，调取字段数据，实现了对普通数据大小限制的字段的有效扩展，使普通数据字段也具有了无限扩展的可能；实现数据字段灵活扩展，同时使客户能够无感进行字段数据操作。本发明所述的一种灵活扩展数据库字段的方法，扩展普通字段上限存储，从而最终达到高度有效地满足用户对业务数据的无感存取。

Description

一种灵活扩展数据库字段的方法

技术领域

本发明属于数据库字段存储领域，尤其是涉及一种灵活扩展数据库字段的方法。

背景技术

丰富的数据库字段对于数据库用户来可以说是一个非常重要的业务承载体，什么样的数据库字段类型存什么样的数据最合适一直都是用户必须要考虑的问题。而对于数据库产品本身的开发者来讲，最大程度地满足客户的存储需求是要面对的一项艰巨的任务。如何突破目前数据库字段中的限制具有重要意义。

发明内容

有鉴于此，本发明旨在提出一种灵活扩展数据库字段的方法，以解决数据库字段存储有上限，数据字段不能进行灵活扩展的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种灵活扩展数据库字段的方法，包括字段写入方法和字段读取方法，具体步骤：

字段写入方法：

S11、数据库设存储单条数据容量为M1的一级缓存、存储单条数据容量为M2的二级缓存、存储单条数据容量大于M2的大数据存储介质，M1 = M2；

S12、客户端连接集群，启动字段写入流程；

S13、判断写入的字段是否为扩展字段，如果是扩展字段则大数据存取引擎层开始接收数据，如果不是扩展字段，则将字段直接存入数据库文件后返回客户端；

S14、大数据存取引擎层接收数据时，判断写入的数据量是否小于M2，若小于M2，则通过一级缓存写入二级缓存中，并返回二级缓存中字段存储地址信息，若不小于M2，则通过一级缓存分多次逐步存入大数据存储介质中，并返回字段存入大数据存储介质的地址信息；

S15、将地址信息存入数据库文件后，字段写入成功，返回客户端；

字段读取方法：

S21、用户通过客户端发送需要读取的字段数据的请求

S22、判断字段的标记是否为扩展字段，如果不是扩展字段则检索数据库文件读取字段，如果是扩展字段，则检索数据库文件确认字段存放的地址信息，根据地址信息从二级缓存或大数据存储介质中读取字段；

S23、将字段数据返回给客户端。

步骤S11中，一级缓存不向外部提供数据及数据检索，只用于存储数据后向二级缓存或大数据存储介质中写入数据；

二级缓存用于存储和查询，包括hbase内存数据库、redis内存数据库、memcached内存数据库；

大数据存储介质包括磁盘文件、分布式存储系统、云端存储。

进一步的，步骤S13，判断写入的字段是否为扩展字段，具体方法，

建立需要存入数据库的元数据表，所述元数据表包括字段类型列、对应字段类型列设置的字段内容列；

若字段类型为扩展字段时，则添加URI尾缀；

判断写入的字段是否为扩展字段即通过确认字段类型是否有URI尾缀。

进一步的，步骤S13，大数据存取引擎层开始接收数据的方法是采用流式数据处理方式对扩展字段进行存储。

进一步的，步骤S14，通过一级缓存写入二级缓存，具体方法：

S1401、将需存入二级缓存的字段数据先写入一级缓存；

S1402、将一级缓存和二级缓存的读写操作同时加锁，将一级缓存中的数据全部读出，并一次性写入二级缓存中，对一级缓存和二级缓存的读写操作同时解锁；

S1403、清空步骤S1401中写入一级缓存的字段数据。

进一步的，步骤S14中，通过一级缓存分多次逐步存入大数据存储介质，具体方法：

S1411、将需存入大数据存储介质的字段数据写入到一级缓存中；

S1412、由于是分多次逐步存入，因此每次存入大数据存储介质时均需判断一级缓存存入的字段数据是否已经达到M1限定阈值，

若达到M1限定阈值，对一级缓存加锁，暂停从客户端向一级缓存中写入数据，同时对一级缓存和大数据存储介质读写操作同时加锁，将一级缓存中的数据全部读出，并全部写入大数据存储介质中，清空一级缓存空间，对一级缓存和大数据存储介质读写操作同时解锁；

若未达到M1限定阈值，判断需存入大数据存储介质的字段数据是否已经全部读完，如果未读完，继续读取字段数据，并将字段数据写入到一级缓存中，再次判断一级缓存存入的字段数据是否已经达到M1限定阈值；如果读完，对一级缓存和大数据存储介质读写操作同时加锁，将一级缓存中的数据全部读出，并全部写入大数据存储介质中，清空一级缓存空间，对一级缓存和大数据存储介质读写操作同时解锁，返回在大数据存储介质中的地址信息。

进一步的，地址信息包括地址协议、字符集、数据大小、时间戳、md5校验码。

进一步的，基于上述的一种灵活扩展数据库字段的方法的一种灵活扩展数据库字段的系统，

包括用于存储普通字段的磁盘、用于控制数据库扩展字段存储的大数据存取引擎层，所述大数据存取引擎层包括一级缓存、二级缓存、大数据存储介质，所述一级缓存仅用于存储，并将需要存储且数据量小于M2的扩展字段通过一级缓存存入二级缓存中，将需要存储且数据量不小于M2的扩展字段通过一级缓存存入大数据存储介质中，二级缓存、大数据存储介质存储数据并提供检索读取数据功能。

相对于现有技术，本发明所述的一种灵活扩展数据库字段的方法具有以下有益效果：

（1）本发明所述的一种灵活扩展数据库字段的方法，查询语句方法与普通语句查询相同，从数据库文件中读取时，普通字段从数据库文件中读取，扩展字段从数据库文件中读取地址信息，再通过地址信息从二级缓存或大数据存储介质中，调取字段数据，实现了对普通数据大小限制的字段的有效扩展，使普通数据字段也具有了无限扩展的可能；实现数据字段灵活扩展，同时使客户能够无感进行字段数据操作。

（2）本发明所述的一种灵活扩展数据库字段的方法，通过二级缓存的筛选，将小于二级缓存的数据数据，即较小的扩展字段数据存入二级缓存中，较大的扩展字段数据存入大数据存储介质中，在后续对字段数据进行检索的时候，较小的扩展字段数据无需进大数据存储介质中进行检索，提高检索效率。

（3）本发明所述的一种灵活扩展数据库字段的系统，考虑到写入二级缓存或者大数据存储介质时需要对其加锁，设置一级缓存，一级缓存不向外部提供数据，只用于存够一批后向二级缓存或者大数据存储介质一次性写入数据；通过一级缓存向二级缓存或大数据存储介质中存储拓展字段数据，增加一次性写入的数据量，不会中途因为外界检索读取二级缓存或大数据存储介质中内容是被暂停打断，以优化提升性能。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的一种灵活扩展数据库字段的方法框架示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，一种灵活扩展数据库字段的方法，包括字段写入方法和字段读取方法，具体步骤：

字段写入方法：

S11、数据库设存储单条数据容量为M1的一级缓存、存储单条数据容量为M2的二级缓存、存储单条数据容量大于M2的大数据存储介质，M1 = M2；

S12、客户端连接集群，启动字段写入流程；

S13、判断写入的字段是否为扩展字段，如果是扩展字段则大数据存取引擎层开始接收数据，如果不是扩展字段，则将字段直接存入数据库文件后返回客户端；

S14、大数据存取引擎层接收数据时，判断写入的数据量是否小于M2，若小于M2，则通过一级缓存写入二级缓存中，并返回二级缓存中字段存储地址信息，若不小于M2，则通过一级缓存分多次逐步存入大数据存储介质中，并返回字段存入大数据存储介质的地址信息；

S15、将地址信息存入数据库文件后，字段写入成功，返回客户端；

字段读取方法：

S21、用户通过客户端发送需要读取的字段数据的请求

S22、判断字段的标记是否为扩展字段，如果不是扩展字段则检索数据库文件读取字段，如果是扩展字段，则检索数据库文件确认字段存放的地址信息，根据地址信息从二级缓存或大数据存储介质中读取字段；

S23、将字段数据返回给客户端。

扩展字段是突破普通字段的限制而进行的扩展定义，如varchar uri、text uri、blob uri，普通字段如int、varchar、text、blob等字段，这些字段均有存储上限，超值写入会报错。

如图1所示，步骤S11中，一级缓存不向外部提供数据及数据检索，只用于存储数据后向二级缓存或大数据存储介质中写入数据；

二级缓存用于存储和查询，包括hbase内存数据库、redis内存数据库、memcached内存数据库；

大数据存储介质包括磁盘文件、分布式存储系统、云端存储。

如图1所示，步骤S13，判断写入的字段是否为扩展字段，具体方法，

建立需要存入数据库的元数据表，所述元数据表包括字段类型列、对应字段类型列设置的字段内容列；

若字段类型为扩展字段时，则添加URI尾缀；

判断写入的字段是否为扩展字段即通过确认字段类型是否有URI尾缀。

如图1所示，步骤S13，大数据存取引擎层开始接收数据的方法是采用流式数据处理方式对扩展字段进行存储。

如图1所示，步骤S14，通过一级缓存写入二级缓存，具体方法：

S1401、将需存入二级缓存的字段数据先写入一级缓存；

S1402、将一级缓存和二级缓存的读写操作同时加锁，将一级缓存中的数据全部读出，并一次性写入二级缓存中，对一级缓存和二级缓存的读写操作同时解锁；

S1403、清空步骤S1401中写入一级缓存的字段数据。

如图1所示，步骤S14中，通过一级缓存分多次逐步存入大数据存储介质，具体方法：

S1411、将需存入大数据存储介质的字段数据写入到一级缓存中；

S1412、由于是分多次逐步存入，因此每次存入大数据存储介质时均需判断一级缓存存入的字段数据是否已经达到M1限定阈值，

若达到M1限定阈值，对一级缓存加锁，暂停从客户端向一级缓存中写入数据，同时对一级缓存和大数据存储介质读写操作同时加锁，将一级缓存中的数据全部读出，并全部写入大数据存储介质中，清空一级缓存空间，对一级缓存和大数据存储介质读写操作同时解锁；

若未达到M1限定阈值，判断需存入大数据存储介质的字段数据是否已经全部读完，如果未读完，继续读取字段数据，并将字段数据写入到一级缓存中，再次判断一级缓存存入的字段数据是否已经达到M1限定阈值；如果读完，对一级缓存和大数据存储介质读写操作同时加锁，将一级缓存中的数据全部读出，并全部写入大数据存储介质中，清空一级缓存空间，对一级缓存和大数据存储介质读写操作同时解锁，返回在大数据存储介质中的地址信息。

如图1所示，一种灵活扩展数据库字段的系统，其特征在于：地址信息包括地址协议、字符集、数据大小、时间戳、md5校验码。

如图1所示，基于上述一种灵活扩展数据库字段的方法的一种灵活扩展数据库字段的系统，

包括用于存储普通字段的磁盘、用于控制数据库扩展字段存储的大数据存取引擎层，所述大数据存取引擎层包括一级缓存、二级缓存、大数据存储介质，所述一级缓存仅用于存储，并将需要存储且数据量小于M2的扩展字段通过一级缓存存入二级缓存中，将需要存储且数据量不小于M2的扩展字段通过一级缓存存入大数据存储介质中，二级缓存、大数据存储介质存储数据并提供检索读取数据功能。

工作示例：

建表语句，对扩展字段进行定义：Create table turi(i index, a varchar uri,b text uri, c blob uri)；

分别对普通的字符串字段、文本型大对象字段、二进制型大对象字段做了扩展，加uri标记，后期方便识别扩展字段，这些字段如果是普通的字符对于不同产品来讲是几百、几千、几万个字符，但定义成了扩展型字段后，理论上存取上限只取决于硬盘介质的大小，这种定义方式灵活方便对用户来讲完全透明。

可以通过Show create table turi语句，显示建表信息。

将字段数据写入数据库时，判断写入的字段是否为扩展字段，即是否有uri标记，如果是扩展字段则大数据存取引擎层开始接收数据，如果不是扩展字段，则将字段直接存入数据库文件后返回客户端；

根据扩展字段数据大小确定二级缓存还是大数据存储介质中，即判断写入的数据量是否小于M2，若小于M2，则通过一级缓存写入二级缓存中，并返回二级缓存中字段存储地址信息，若不小于M2，则通过一级缓存分多次逐步存入大数据存储介质中，并返回字段存入大数据存储介质的地址信息；

将地址信息存入数据库文件后，字段写入成功，返回客户端；

地址信息可以根据用户定义任意定义格式，包括地址协议、字符集、数据大小、时间戳、md5校验码等；

数据查询语句：Select a,b,c from turi；

查询语句方法与普通语句查询相同，从数据库文件中读取时，普通字段从数据库文件中读取，扩展字段从数据库文件中读取地址信息，再通过地址信息从二级缓存或大数据存储介质中，调取字段数据，实现了对普通数据大小限制的字段的有效扩展，使普通数据字段也具有了无限扩展的可能；同时使客户能够无感进行数据操作。

通过二级缓存的筛选，将小于二级缓存的数据数据，即较小的扩展字段数据存入二级缓存中，较大的扩展字段数据存入大数据存储介质中，在后续对字段数据进行检索的时候，较小的扩展字段数据无需进大数据存储介质中进行检索，提高检索效率。

考虑到写入二级缓存或者大数据存储介质时需要对其加锁，设置一级缓存，一级缓存不向外部提供数据，只用于存够一批后向二级缓存或者大数据存储介质一次性写入数据；通过一级缓存向二级缓存或大数据存储介质中存储拓展字段数据，增加一次性写入的数据量，不会中途因为外界检索读取二级缓存或大数据存储介质中内容是被暂停打断，以优化提升性能。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种灵活扩展数据库字段的方法，其特征在于，包括字段写入方法和字段读取方法，具体步骤：

字段写入方法：

S11、数据库设存储单条数据容量为M1的一级缓存、存储单条数据容量为M2的二级缓存、存储单条数据容量大于M2的大数据存储介质，M1 = M2；

S12、客户端连接集群，启动字段写入流程；

S13、判断写入的字段是否为扩展字段，如果是扩展字段则大数据存取引擎层开始接收数据，如果不是扩展字段，则将字段直接存入数据库文件后返回客户端；

S14、大数据存取引擎层接收数据时，判断写入的数据量是否小于M2，若小于M2，则通过一级缓存写入二级缓存中，并返回二级缓存中字段存储地址信息，若不小于M2，则通过一级缓存分多次逐步存入大数据存储介质中，并返回字段存入大数据存储介质的地址信息；

S15、将地址信息存入数据库文件后，字段写入成功，返回客户端；

字段读取方法：

S21、用户通过客户端发送需要读取的字段数据的请求；

S22、判断字段的标记是否为扩展字段，如果不是扩展字段则检索数据库文件读取字段，如果是扩展字段，则检索数据库文件确认字段存放的地址信息，根据地址信息从二级缓存或大数据存储介质中读取字段；

S23、将字段数据返回给客户端。

2.根据权利要求1所述的一种灵活扩展数据库字段的方法，其特征在于：

步骤S11中，一级缓存不向外部提供数据及数据检索，只用于存储数据后向二级缓存或大数据存储介质中写入数据；

二级缓存用于存储和查询，包括hbase内存数据库、redis内存数据库、memcached内存数据库；

大数据存储介质包括磁盘文件、分布式存储系统、云端存储。

3.根据权利要求1所述的一种灵活扩展数据库字段的方法，其特征在于：步骤S13，判断写入的字段是否为扩展字段，具体方法，

建立需要存入数据库的元数据表，所述元数据表包括字段类型列、对应字段类型列设置的字段内容列；

若字段类型为扩展字段时，则添加URI尾缀；

判断写入的字段是否为扩展字段即通过确认字段类型是否有URI尾缀。

4.根据权利要求1所述的一种灵活扩展数据库字段的方法，其特征在于：步骤S13，大数据存取引擎层开始接收数据的方法是采用流式数据处理方式对扩展字段进行存储。

5.根据权利要求1所述的一种灵活扩展数据库字段的方法，其特征在于：步骤S14，通过一级缓存写入二级缓存，具体方法：

S1401、将需存入二级缓存的字段数据先写入一级缓存；

S1402、将一级缓存和二级缓存的读写操作同时加锁，将一级缓存中的数据全部读出，并一次性写入二级缓存中，对一级缓存和二级缓存的读写操作同时解锁；

S1403、清空步骤S1401中写入一级缓存的字段数据。

6.根据权利要求1所述的一种灵活扩展数据库字段的方法，其特征在于，步骤S14中，通过一级缓存分多次逐步存入大数据存储介质，具体方法：

S1411、将需存入大数据存储介质的字段数据写入到一级缓存中；

S1412、由于是分多次逐步存入，因此每次存入大数据存储介质时均需判断一级缓存存入的字段数据是否已经达到M1限定阈值，

若达到M1限定阈值，对一级缓存加锁，暂停从客户端向一级缓存中写入数据，同时对一级缓存和大数据存储介质读写操作同时加锁，将一级缓存中的数据全部读出，并全部写入大数据存储介质中，清空一级缓存空间，对一级缓存和大数据存储介质读写操作同时解锁；

若未达到M1限定阈值，判断需存入大数据存储介质的字段数据是否已经全部读完，如果未读完，继续读取字段数据，并将字段数据写入到一级缓存中，再次判断一级缓存存入的字段数据是否已经达到M1限定阈值；如果读完，对一级缓存和大数据存储介质读写操作同时加锁，将一级缓存中的数据全部读出，并全部写入大数据存储介质中，清空一级缓存空间，对一级缓存和大数据存储介质读写操作同时解锁，返回在大数据存储介质中的地址信息。

7.根据权利要求1所述的一种灵活扩展数据库字段的方法，其特征在于：地址信息包括地址协议、字符集、数据大小、时间戳、md5校验码。

8.应用权利要求1-7任一所述的一种灵活扩展数据库字段的方法的一种灵活扩展数据库字段的系统，其特征在于：

包括用于存储普通字段的磁盘、用于控制数据库扩展字段存储的大数据存取引擎层，所述大数据存取引擎层包括一级缓存、二级缓存、大数据存储介质，所述一级缓存仅用于存储，并将需要存储且数据量小于M2的扩展字段通过一级缓存存入二级缓存中，将需要存储且数据量不小于M2的扩展字段通过一级缓存存入大数据存储介质中，二级缓存、大数据存储介质存储数据并提供检索读取数据功能。

Images