CN115098045A - 一种数据存储系统及网络数据读取和写入方法 - Google Patents

Abstract

本发明公开一种数据存储系统及网络数据读取和写入方法，包括用于接收终端数据读写请求向终端反馈数据的逻辑服务器、用于向逻辑服务器提供数据的只读缓存服务器、用于存储活跃数据的内存数据库、用于存储非活跃数据的磁盘数据库，所述逻辑服务器、只读缓存服务器、内存数据库、磁盘数据库依次通信连接，并且所述逻辑服务器也与内存数据库直接通信连接。通过将系统分为4个部分，实现对数据的合理分配，降低非活跃性数据的内存占用空间，此外，采用读写分离的方式提高数据存储效率的同时，保证了数据的一致性和可靠性。

Description

一种数据存储系统及网络数据读取和写入方法

技术领域

本发明涉及一种数据存储技术领域，尤其涉及一种数据存储系统及网络数据读取和写入方法。

背景技术

目前，人们的生活水平日益提高，进入到了互联网时代，网络的应用无处不在。在网络服务器设计中，用户需要进行大量的数据访问和存储，过量的数据请求将引发数据库瓶颈，大大降低服务器承载能力。

现有技术中为了解决因数据库瓶颈导致服务器存在能力降低的问题，常用的解决方案有三种：

1、将数据库部署为分布式主从结构，主备份写，从备份读。但是这种方式对于数据库的部署成本过高，并且主从结构难以保证任何时刻的数据一致性。

2、通过增加内存缓存的方式，在用户登录时，将用户数据读入到内存缓存中，操作访问时，直接访问和修改缓存中的数据，同时定时将缓存中的数据修改同步到数据库中。用户下线后，将用户数据从内存缓存中清除。在实际应用中，内存缓存到数据库会存在一定时间延迟，若服务器崩溃将导致内存缓存中的数据丢失，存在一段时间内的回档。

3、直接使用内存数据库，提高访问的效率，但是在访问效率提高的同时，数据库随着用户数量的增加而增加，即使用户处于非活跃状态，仍然会占据着大量的内存，内存使用效率会受到不小的影响。

发明内容

有鉴于此，本发明提供一种数据存储系统及网络数据读取和写入方法，旨在实现提高数据访问的效率以及减少非活跃数据占用的内存空间。

为解决以上技术问题，本发明的技术方案为采用一种数据存储系统，包括用于接收终端数据读写请求向终端反馈数据的逻辑服务器、用于向逻辑服务器提供数据的只读缓存服务器、用于存储活跃数据的内存数据库、用于存储非活跃数据的磁盘数据库，所述逻辑服务器、只读缓存服务器、内存数据库、磁盘数据库依次通信连接，并且所述逻辑服务器也与内存数据库直接通信连接。

本发明的原理在于，将存储系统分为4部分：逻辑服务器、只读缓存服务器、内存数据库、磁盘数据库。对数据进行合理分配，通过设置时间戳和时间阈值的方式将数据分为活跃性数据和非活跃性数据，分别存储与内存数据库和磁盘数据库中，降低非活跃性数据的内存占用空间，同时，将写入的数据直接写入进内存数据库，并进行只读缓存服务器的更新，只读缓存服务器提供数据供逻辑服务器只读，读写分离的方式提高了数据存储效率的同时，保证了数据的一致性和可靠性。

可选的，所述逻辑服务器、只读缓存服务器、内存数据库、磁盘数据库依次通信连接用于数据读取，包括：

逻辑服务器接收终端发送的数据读取请求，并对只读缓存服务器发起数据读取请求；

若只读缓存服务器不存在所述数据，则通过只读缓存服务器向内存数据库发起数据请求；

若内存服务器不存在所述数据，则通过内存数据库向磁盘数据库发起数据请求；

逻辑服务器将被请求读取的数据反馈至终端。

可选的，所述所述逻辑服务器与内存数据库直接通信连接用于数据写入，包括：

逻辑服务器接收终端发起的数据写入请求，并将待写入数据写入内存数据库中；

只读缓存服务器读入内存数据库中写入数据，并更新只读缓存服务器中的数据；

逻辑服务器向终端反馈写入成功的消息。

可选的，内存数据库包含有时间模块，用于对所述内存数据库中的数据条目设置时间戳和时间阈值，

若任一数据条目未访问时间达到时间阈值，则触发数据自动写入操作，将所述数据条目写入磁盘数据库。

若任一数据条目未访问时间达到时间阈值，则触发数据自动写入操作，将所述数据条目写入磁盘数据库。通过设置时间戳和时间阈值的方式分辨活跃性数据和非活跃性数据，以完成对非活跃性数据的单独存储。

可选的，若任一数据条目未访问时间达到时间阈值，则触发数据自动写入操作，将所述数据条目写入磁盘数据库之后，还包括：

将所述数据条目从内存数据库中删除，并保留所述数据条目键值，以使内存数据库在访问磁盘数据库时查找所述数据条目。将内存数据库中非活跃性数据写入磁盘数据库，在需要时读入内存数据库，大大降低内存数据库使用内存，降低服务器成本。

另外，本发明还提供一种网络数据的读取方法，应用于上述任意一项所述的数据存储系统，包括：

接收终端的数据读取请求；

向只读缓存服务器发起数据读取请求；

若只读缓存服务器不存在所述数据，则通过只读缓存服务器向内存数据库发起数据请求；

若内存数据库不存在所述数据，则通过内存数据库向磁盘数据库发起数据请求；

将被请求读取的数据反馈至终端。

另外，本发明还提供一种网络数据的写入方法，应用于上述任意一项所述的数据存储系统，包括：

接收终端的数据写入请求；

将待写入数据写入内存数据库中；

从内存数据库中将写入的数据条目读入用于更新只读缓存服务器中的数据；

向终端反馈写入成功的消息。

可选的，将待写入数据写入内存数据库中,包括：

对内存数据库中的数据条目设置时间戳和过期时间阈值；

每次对该数据条目访问和写入时，修改该数据条目的时间戳；

若任一数据条目未访问时间达到时间阈值，则触发数据自动写入操作，将所述数据条目写入磁盘数据库。

可选的，将数据条目写入磁盘数据库之后，从内存数据库删除数据条目，保留该数据条目键值，以便从磁盘数据库查找该数据条目。

本发明的有益之处在于，通过本发明的系统，能够实现：对数据的合理分配，通过将系统分为4个部分，即逻辑服务器、只读缓存服务器、内存数据库、磁盘数据库，使得只读缓存服务器提供数据供逻辑服务器只读，内存数据库用于直接写入数据，两者的结合极大的提高数据存储的效率，同时在数据直接写入内存数据库时，更新只读缓存保证数据一致性和可靠性，不存在任何数据丢失。将写入内存数据库中的数据设置时间戳和时间阈值，将非活跃性数据写入磁盘数据库中，减少非活跃性数据占用的内存空间，在需要时读取即可，大大降低内存数据库使用内存，降低服务器成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本发明一实施例提供的一种数据存储系统的结构示意图；

图2是本发明一实施例提供的一种网络数据读取方法的流程示意图；

图3是本发明一实施例提供的一种网络数据写入方法的流程示意图；

图4是本发明一实施例提供的一种数据存储系统中数据读取流程图；

图5是本发明一实施例提供的一种数据存储系统中数据写入流程图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。

为了使本领域技术人员更好的理解本发明实施例，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，是本发明一实施例提供的一种数据存储系统的结构示意图，包括用于接收终端数据读写请求向终端反馈数据的逻辑服务器、用于向逻辑服务器提供数据的只读缓存服务器、用于存储活跃数据的内存数据库、用于存储非活跃数据的磁盘数据库，所述逻辑服务器、只读缓存服务器、内存数据库、磁盘数据库依次通信连接，并且所述逻辑服务器也与内存数据库直接通信连接。

逻辑服务器，用于自终端接收数据，以及将服务器和数据库中的数据返回至终端，就像是服务器与终端之间的枢纽，进行数据传输。

其中，逻辑服务器包含有数据逻辑单元，数据逻辑单元包括数据读取逻辑单元和数据写入逻辑单元，数据读取逻辑单元用于逻辑服务器接收终端发出的数据读取请求及处理，数据写入逻辑单元用于逻辑服务器接收终端发出的数据写入请求及处理。

只读缓存服务器，用于逻辑服务器读取数据，以返回至终端，还用于从内存数据库读入数据，并通过逻辑服务器返回数据至终端，是内存数据库与逻辑服务器之间的“桥梁”。同时，更新内存数据库写入的数据，以保证数据的一致性。

内存数据库，用于数据的直接写入，并将写入的数据更新在只读缓存服务器上，以保证数据的一致性，同时内存数据库是磁盘数据库与只读缓存服务器之间的“桥梁”，对于数据读取过程中，内存数据库中没有的数据需要从磁盘数据库进行读入，并将读入的数据返回至只读缓存服务器，以使逻辑服务器读取只读缓存服务器中的数据返回至终端。

磁盘数据库，用于存储非活跃性数据，在内存数据库中长时间未访问且达到过期时间的数据定义为非活跃性数据，并将非活跃性数据从内存数据库中写入磁盘数据库中。

可以理解的是，本实施例中采用读写分离的形式对数据的读取和写入分别进行存储，由只读缓存服务器用于数据的读取，并将未读取到的相应数据从内存数据库以及磁盘数据库中读入，供逻辑服务器读取后返回至终端，同时，由内存数据库对写入数据进行存储，并通过更新数据使内存数据库与只读缓存数据库的数据一致，避免数据丢失，将内存数据库中长时间未访问且达到过期时间的非活跃性数据写入磁盘数据库中，并从内存数据库中清除，只保留必要的键值，以减少非活跃数据占用的内存。

本实施例提供的一种数据存储系统，采用读写分离的形式用于数据的存储，通过只读缓存服务器和内存数据库结合，极大的提高数据存储的效率，同时将数据直接写入内存数据库，并更新只读缓存服务器保证数据的一致性和可靠性，防止出现数据丢失，除此之外，通过加入磁盘数据库用于存储非活跃性数据来减少内存数据库的内存使用，减少非活跃性数据占用内存的同时也降低了服务器的成本，更加适用于实际应用。

进一步的，参照图2，数据读取流程包括以下步骤：

一、终端与逻辑服务器通信连接，并向逻辑服务器发起数据读取请求；

二、逻辑服务器向只读缓存服务器发起数据读取请求，若只读缓存服务器存在待请求数据，则转六，否则转三；

三、只读缓存服务器向内存数据库发起数据读取请求，若内存数据库存在待请求数据，则转五，否则转四；

四、从磁盘数据库读入数据到内存数据库；

五、从内存数据库返回请求数据到只读内存缓存服务器；

六、从只读缓存服务器返回请求数据到逻辑服务器；

七、从逻辑服务器返回数据到终端。

可以理解的是，只读缓存服务器会更新内存数据库中的数据，但是存在一种情况，数据直接写入进内存数据库中但还没有更新到只读缓存服务器中，因此，此时内存数据库中存在只读缓存服务器所没有的数据，故而，在只读缓存服务器中找不到待请求数据的时候，进一步在内存数据库中进行查询。

可以理解的是，步骤四无需判断磁盘数据库是否存在待请求数据的原因是：在进行数据读取时，想要读取数据首先需要明确数据是存在的，只有存在的数据才能进行读取，不存在的数据会直接写入内存数据库，因此，本实施例中数据可存储在内存数据库和磁盘数据库中，而只读缓存服务器是更新内存数据库的内容，也就是说内存数据库中的数据包含了只读缓存服务器中的数据，故而当在内存数据库中无法找到待请求数据的时候，就说明待请求数据只会在磁盘数据库中，因为长时间未访问，导致该数据被定义为非活跃性数据写入进了磁盘数据库中，所以，无需判断磁盘数据库是否存在待请求数据。

本实施例中的数据读取流程，采用逐步筛选读取的方式，如图4所示，找到待请求数据并返回至终端，首先对只读缓存服务器进行数据读取请求，只读缓存服务器仅用于数据读取所用，不需要考虑只读缓存服务器还要用于数据写入，因此，可以极大的提高访问效率，同时，只读缓存服务器会更新内存数据库的新写入数据以及新修改数据，使得只读缓存服务器可以满足绝大多数的数据读取请求，同时，通过新增加的磁盘数据库用于存储非活跃性的数据来分担内存数据库对于非活跃用户产生的非活跃性数据，在需要时再读入内存数据库，可以最大程度降低内存数据库的使用内存，降低服务器的成本。

进一步的，参照图3，数据写入流程包括以下步骤：

一、终端向逻辑服务器发起数据写入请求；

二、逻辑服务器将待写入数据写入到内存数据库中；

三、从内存数据库读入该条目数据，更新只读缓存服务器该条目的数据；

四、由逻辑服务器返回终端，数据写入成功。

数据在写入过程中，如图5所示，是由逻辑服务器直接将终端所要写入的数据直接写入到内存数据库中，不经过只读缓存服务器，对于新写入或新修改的数据会由只读缓存服务器读入该条目数据，并进行更新，只有在只读缓存服务器将该条目数据更新完成后，才会显示数据写入成功。

利用读写分离的方式将数据的读取和写入分离开来，通过只读缓存服务器和内存数据库的结合应用，在保证了数据一致性和可靠性的前提下，极大的提高了访问效率。

进一步的，将内存数据库的数据写入磁盘数据库的流程包括：

一、对内存数据库中的数据条目设置时间戳和过期时间；

二、每次数据访问和写入时，修改该数据的时间戳；

三、当其中一数据条目长时间未访问，且达到过期时间时，触发数据写入磁盘数据库操作，写入完成后，从内存数据库删除该数据内容，只保留必要的键值，方便从磁盘数据库查找数据。

本实施例中，过期时间优选为24小时，在当下的网络市场环境下，人们对于网络的使用是常态化的，基本属于每天都需要使用，因此在庞大的用户以及数据的情况下，超过24小时便属于非活跃性用户，非活跃性数据，当出现有数据条目满足过期时间后会触发系统设置的自动将该数据写入磁盘数据库的操作，并且为了降低非活跃性数据对内存数据库的内存占用，在将非活跃性数据写入磁盘数据库的同时，会将内存数据库中的该条数据进行删除，只保留必要的键值，或是必要的搜索特征，以方便在进行数据读取的时候，读取非活跃性数据的时候可以通过保留键值从磁盘数据库快速查找到，提高访问的效率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种数据存储系统，其特征在于，包括用于接收终端数据读写请求向终端反馈数据的逻辑服务器、用于向逻辑服务器提供数据的只读缓存服务器、用于存储活跃数据的内存数据库、用于存储非活跃数据的磁盘数据库，所述逻辑服务器、只读缓存服务器、内存数据库、磁盘数据库依次通信连接，并且所述逻辑服务器也与内存数据库直接通信连接。

2.根据权利要求1所述的数据存储系统，其特征在于，所述逻辑服务器、只读缓存服务器、内存数据库、磁盘数据库依次通信连接用于数据读取，包括：

逻辑服务器接收终端发送的数据读取请求，并对只读缓存服务器发起数据读取请求；

若只读缓存服务器不存在所述数据，则通过只读缓存服务器向内存数据库发起数据请求；

若内存服务器不存在所述数据，则通过内存数据库向磁盘数据库发起数据请求；

逻辑服务器将被请求读取的数据反馈至终端。

3.根据权利要求1所述的数据存储系统，其特征在于，所述逻辑服务器与内存数据库直接通信连接用于数据写入，包括：

逻辑服务器接收终端发起的数据写入请求，并将待写入数据写入内存数据库中；

只读缓存服务器读入内存数据库中写入数据，并更新只读缓存服务器中的数据；

逻辑服务器向终端反馈写入成功的消息。

4.根据权利要求1所述的数据存储系统，其特征在于，所述内存数据库包含有时间模块，用于对所述内存数据库中的数据条目设置时间戳和时间阈值，

若任一数据条目未访问时间达到时间阈值，则触发数据自动写入操作，将所述数据条目写入磁盘数据库。

5.根据权利要求4所述的数据存储系统，其特征在于，所述若任一数据条目未访问时间达到时间阈值，则触发数据自动写入操作，将所述数据条目写入磁盘数据库之后，还包括：

将所述数据条目从内存数据库中删除，并保留所述数据条目键值，以使内存数据库在访问磁盘数据库时查找所述数据条目。

6.一种网络数据的读取方法，应用于权利要求1~5中任意一项所述的数据存储系统，其特征在于，包括：

接收终端的数据读取请求；

向只读缓存服务器发起数据读取请求；

若只读缓存服务器不存在所述数据，则通过只读缓存服务器向内存数据库发起数据请求；

若内存数据库不存在所述数据，则通过内存数据库向磁盘数据库发起数据请求；

将被请求读取的数据反馈至终端。

7.一种网络数据的写入方法，应用于权利要求1~5中任意一项所述的数据存储系统，其特征在于,包括：

接收终端的数据写入请求；

将待写入数据写入内存数据库中；

从内存数据库中将写入的数据条目读入用于更新只读缓存服务器中的数据；

向终端反馈写入成功的消息。

8.根据权利要求7所述的一种网络数据的写入方法，其特征在于，所述将待写入数据写入内存数据库中,包括：

对内存数据库中的数据条目设置时间戳和过期时间阈值；

每次对该数据条目访问和写入时，修改该数据条目的时间戳；

若任一数据条目未访问时间达到时间阈值，则触发数据自动写入操作，将所述数据条目写入磁盘数据库。

9.根据权利要求8所述的一种网络数据的写入方法，其特征在于，将数据条目写入磁盘数据库之后，从内存数据库删除数据条目，保留该数据条目键值，以便从磁盘数据库查找该数据条目。

Images