CN114328453A - Kv数据库数据管理方法、装置、计算设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种KV数据库数据管理方法、装置、计算设备及存储介质，方法包括：对KV数据库进行封装处理，以键值对方式将数据存储至磁盘，并建立与客户端的连接；其中，在KV数据库中封装预置至少一个自定义数据操作指令；接收客户端发送的至少一个自定义数据操作指令，对至少一个自定义数据操作指令进行解析，以便根据至少一个自定义数据操作指令对磁盘进行操作，完成数据处理；将至少一个自定义数据操作指令的执行结果返回给客户端。通过封装KV数据库，方便将数据存储至磁盘，解决数据存储依赖内存，成本消耗较大等问题。

Description

KV数据库数据管理方法、装置、计算设备及存储介质

技术领域

本发明实施例涉及软件开发技术领域，具体涉及一种KV数据库数据管理方法、装置、计算设备及存储介质。

背景技术

KV数据库即key-value数据库，是一种以键值对存储数据的数据库，如redis数据库、mongdb数据库等，其在读写数据时都可以提供较佳读写性能。但以上KV数据库的读写操作均需依赖内存，尤其当大量写操作时，对内存消耗较大。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的KV数据库数据管理方法、装置、计算设备及存储介质。

根据本发明实施例的一个方面，提供了一种KV数据库数据管理方法，其包括：

对KV数据库进行封装处理，以键值对方式将数据存储至磁盘，并建立与客户端的连接；其中，在KV数据库中封装预置至少一个自定义数据操作指令；

接收客户端发送的至少一个自定义数据操作指令，对至少一个自定义数据操作指令进行解析，以便根据至少一个自定义数据操作指令对磁盘进行操作，完成数据处理；

将至少一个自定义数据操作指令的执行结果返回给客户端。

根据本发明实施例的另一方面，提供了一种KV数据库数据管理装置，其包括：

封装模块，适于对KV数据库进行封装处理，以键值对方式将数据存储至磁盘，并建立与客户端的连接；其中，在KV数据库中封装预置至少一个自定义数据操作指令；

指令执行模块，适于接收客户端发送的至少一个自定义数据操作指令，对至少一个自定义数据操作指令进行解析，以便根据至少一个自定义数据操作指令对磁盘进行操作，完成数据处理；

返回模块，适于将至少一个自定义数据操作指令的执行结果返回给客户端。

根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述KV数据库数据管理方法对应的操作。

根据本发明实施例的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述KV数据库数据管理方法对应的操作。

根据本发明实施例的提供的KV数据库数据管理方法、装置、计算设备及存储介质，通过封装KV数据库，方便将数据存储至磁盘，解决数据存储依赖内存，成本消耗较大等问题。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的KV数据库数据管理方法的流程图；

图2示出了KV数据库与客户端、磁盘连接架构示意图；

图3示出了根据本发明另一个实施例的KV数据库数据管理方法的流程图；

图4示出了根据本发明一个实施例的KV数据库数据管理装置的结构示意图；

图5示出了根据本发明一个实施例的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的KV数据库数据管理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S101，对KV数据库进行封装处理，以键值对方式将数据存储至磁盘，并建立与客户端的连接。

现有的KV数据库大多依赖内存进行数据存取，读写操作受内存限制，对内存的消耗也巨大。本实施例对KV数据库进行封装处理，如将KV数据库封装至自定义的类方法中，通过对类方法封装，可以实现各种自定义的数据操作指令，如在存储数据时，以键值对方式，即key-value方式将数据存储在磁盘中，从而可以解除对内存的依赖，方便存储大量数据至磁盘中，使数据可以持久化存储。除此之外，还可以根据实施情况，自定义实现各种读写数据操作指令，提升KV数据库的执行效率。自定义数据操作指令包括读数据操作指令、写数据操作指令等，进一步，还可以如数据类型转换等各种数据操作指令，方便提供客户端所需的数据，此处不做展开说明。

进一步，封装的KV数据库还提供与客户端建立连接的接口，方便基于封装后的KV数据库与客户端建立连接，保障KV数据库与客户端、磁盘的服务畅通。具体如图2所示，封装的KV数据库将数据存储在磁盘，多个客户端分别与封装的KV数据库建立连接，方便根据需求向其发送自定义数据操作指令，KV数据库可以根据自定义数据操作指令，通过读写磁盘中存储的数据来完成。

步骤S102，接收客户端发送的至少一个自定义数据操作指令，对至少一个自定义数据操作指令进行解析，以便根据至少一个自定义数据操作指令对磁盘进行操作，完成数据处理。

接收到客户端发送的至少一个自定义数据操作指令，根据封装的自定义的类方法，对至少一个自定义数据操作指令进行解析，如得到自定义数据操作指令中包含的指令类型、参数信息等，从而可以根据指令类型确定对应的操作类型，根据参数信息确定具体的操作对象等，根据操作类型、操作对象等对磁盘中存储的数据进行增删改查等操作，完成对应的数据处理。

步骤S103，将至少一个自定义数据操作指令的执行结果返回给客户端。

在执行完成自定义数据操作指令后，将自定义数据操作指令的执行结果返回给客户端。如当自定义数据操作指令为读取某数据时，返回包含该数据的执行结果给客户端；当自定义数据操作指令为修改某数据时，返回包含修改是否成功的执行结果给客户端；当自定义数据操作指令为删除某数据时，返回包含删除是否成功的执行结果给客户端；当自定义数据操作指令为插入某数据时，返回包含插入是否成功的执行结果给客户端等，方便客户端根据执行结果进行相应的展示、确认、提醒等，此处不做限定。

根据本发明实施例提供的KV数据库数据管理方法，通过封装KV数据库，方便将数据存储至磁盘，解决数据存储依赖内存，成本消耗较大等问题。

图3示出了根据本发明一个实施例的KV数据库数据管理方法的流程图，如图3所示，该方法包括以下步骤：

步骤S301，对KV数据库进行封装处理，以键值对方式将数据存储至磁盘，并采用预设协议建立与客户端的连接。

当客户端与KV数据库建立连接时，可以采用如预设协议建立连接，预设协议可以根据实施情况设置，如现有技术中客户端与redis、mongdb等数据库连接时，基于redis协议建立连接，预设协议可以采用如redis协议，客户端在与封装的KV数据库建立连接时，无需改动连接相关的代码、连接设置等，仅修改端口即可完成与封装的KV数据库的连接，减少工作量，无需对客户端已有的数据库连接进行大量改动，节省修改成本。

进一步，KV数据库可以采用如leveldb数据库，支持KV键值对存储，以key-value键值对方式，存储键数据key和数值数据value，方便基于键数据key快速定位到数值数据value。leveldb数据库也方便封装，自定义数据操作指令，满足客户端的各种数据操作需求。

步骤S302，接收客户端发送的写数据操作指令，对写数据操作指令进行解析，执行写数据操作指令，根据写数据操作指令中包含的键值对数据更新存储文件并存储至磁盘。

当接收到客户端发送的自定义数据操作指令为写数据操作指令时，对写数据操作指令进行解析，确定具体的写数据操作，执行写数据操作指令，根据写操作指令对磁盘中的存储文件进行修改处理。具体的，修改处理包括如更新键数据、删除键数据、批量删除键数据、插入数值数据等。更新键数据如set指令，可以在参数中指定key值，对其进行更新，若参数中指定key值在存储文件中不存在，则在存储文件中创建该key值。删除键数据如del指令，参数中可以指定key值，删除存储文件中的该key值。批量删除键数据如batchdel指令，可以在参数中指定多个key值，也可以在参数中设置删除条件，将参数中指定的多个key值，或者符合删除条件的key值进行批量删除。插入数值数据如insert指令，参数中指定value值，将value值写入存储文件中等。将修改处理后的存储文件存储至磁盘。存储文件存储在磁盘中，使数据可以持久化处理，不受内存限制，方便处理大量的写操作。

存储文件中key数据可以采用如自增主键方式，如key值从0001开始，自动增长，0002、0003、0004……等，方便value值插入，也避免主键重复导致插入失败等。

进一步，存储文件可以以日志方式存储在磁盘中，如对以天、小时等预设单位存储，也便于提升数据查找效率。

步骤S303，将执行写数据操作指令的执行结果返回给客户端。

将执行写数据操作指令的执行成功或执行失败的执行结果返回给客户端，以告知客户端，方便客户端根据执行结果进行后续处理。

步骤S304，接收客户端发送的读数据操作指令，对读数据操作指令进行解析，执行读数据操作指令，从磁盘中读取得到对应的键值对数据。

当接收到客户端发送的自定义数据操作指令为读数据操作指令时，即从磁盘存储的存储文件中读取数据，对读数据操作指令进行解析，确定所要读取的数据对象，即键值对数据，执行读数据操作指令，访问磁盘中的存储文件，从中查找读取对应的键值对数据。

执行读数据操作指令，从磁盘中读取数据时，先获取到磁盘的存储文件，根据读数据操作指令，如get指令，根据参数中包含的指定key值，从存储文件中读取到指定的键数据；或者，如multget指令，根据参数中包含的多个指令key值，或读取条件等，批量读取到多个指定键数据或者符合读取条件的多个键数据；或者，如first指令，指定位置为排序第一的数值数据，读取该指定位置的数值数据，或者，如last指令，指定位置为排序最后的数值数据，读取该指定位置的数值数据，或者，如list指令，参数中指定list范围，读取该指令指定范围的数值数据等。以上为举例说明，具体实施可以根据实施情况设置，此处不做限定。

进一步，在执行读数据操作指令时，为方便后续读取效率，可以将如存储文件先读取存储至内存，读取时可以直接从内存中读取数据，提升读取效率等。

步骤S305，将读取得到的与读数据操作指令对应的键值对数据返回给客户端。

执行读数据操作指令后，从读取得到的键值对数据返回给客户端，以供客户端展示读取结果，或者根据读取结果进行后续处理等。

步骤S302和步骤S304之间不限定具体执行顺序，根据接收到的客户端发送的自定义数据操作指令，选择相应的步骤执行，此处不做限定。

根据本发明实施例提供的KV数据库数据管理方法，封装leveldb为底层KV数据库，将数据以键值对方式存储在存储文件中并保存至磁盘，为大量写入操作提供方便，提升写性能，同时不依赖内存大小。进一步，封装自定义数据操作指令，可以满足客户端对KV数据库中数据的增删改查等各种操作需求，方便客户端操作数据库。

图4示出了本发明实施例提供的KV数据库数据管理装置的结构示意图。如图4所示，该装置包括：

封装模块410，适于对KV数据库进行封装处理，建立与客户端的连接；其中，在KV数据库中封装预置至少一个自定义数据操作指令；

指令执行模块420，适于接收客户端发送的至少一个自定义数据操作指令，对至少一个自定义数据操作指令进行解析，以便根据至少一个自定义数据操作指令对磁盘进行操作，完成数据处理；其中，KV数据库的键值对数据存储于磁盘；

返回模块430，适于将至少一个自定义数据操作指令的执行结果返回给客户端。

可选地，至少一个自定义数据操作指令包括：写数据操作指令；

指令执行模块420进一步适于：

接收客户端发送的写数据操作指令，对写数据操作指令进行解析，执行写数据操作指令，根据写数据操作指令中包含的键值对数据更新存储文件并存储至磁盘；

返回模块430进一步适于：

将执行写数据操作指令的执行结果返回给客户端。

可选地，指令执行模块420进一步适于：

执行写数据操作指令，根据写操作指令对存储文件进行修改处理；修改处理包括：更新键数据、删除键数据、批量删除键数据和/或插入数值数据；将修改处理后的存储文件存储至磁盘。

可选地，至少一个自定义数据操作指令包括：读数据操作指令；

指令执行模块420进一步适于：

接收客户端发送的读数据操作指令，对读数据操作指令进行解析，执行读数据操作指令，从磁盘中读取得到对应的键值对数据；

返回模块430进一步适于：

将读取得到的与读数据操作指令对应的键值对数据返回给客户端。

可选地，指令执行模块420进一步适于：

执行读数据操作指令，从磁盘中读取读数据操作指令指定位置的数值数据、读数据操作指令指定范围的数值数据、指定的键数据和/或批量键数据。

可选地，封装模块410进一步适于：采用预设协议建立与客户端的连接。

可选地，KV数据库为leveldb数据库。

以上各模块的描述参照方法实施例中对应的描述，在此不再赘述。

本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，可执行指令可执行上述任意方法实施例中的KV数据库数据管理方法。

图5示出了根据本发明实施例的一种计算设备的结构示意图，本发明实施例的具体实施例并不对计算设备的具体实现做限定。

如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。

其中：

处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。

通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器502，用于执行程序510，具体可以执行上述KV数据库数据管理方法实施例中的相关步骤。

具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。

处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序510具体可以用于使得处理器502执行上述任意方法实施例中的KV数据库数据管理方法。程序510中各步骤的具体实现可以参见上述KV数据库数据管理实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是为了披露本发明实施例的较佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种KV数据库数据管理方法，其包括：

对KV数据库进行封装处理，以键值对方式将数据存储至磁盘，并建立与客户端的连接；其中，在所述KV数据库中封装预置至少一个自定义数据操作指令；

接收客户端发送的至少一个自定义数据操作指令，对所述至少一个自定义数据操作指令进行解析，以便根据所述至少一个自定义数据操作指令对磁盘进行操作，完成数据处理；

将所述至少一个自定义数据操作指令的执行结果返回给客户端。

2.根据权利要求1所述的方法，其中，所述至少一个自定义数据操作指令包括：写数据操作指令；

所述接收客户端发送的至少一个自定义数据操作指令，对所述至少一个自定义数据操作指令进行解析，以便根据所述至少一个自定义数据操作指令对磁盘进行操作，完成数据处理进一步包括：

接收客户端发送的写数据操作指令，对所述写数据操作指令进行解析，执行所述写数据操作指令，根据所述写数据操作指令中包含的键值对数据更新存储文件并存储至磁盘；

所述将所述至少一个自定义数据操作指令的执行结果返回给客户端进一步包括：

将执行所述写数据操作指令的执行结果返回给客户端。

3.根据权利要求2所述的方法，其中，所述执行所述写数据操作指令，根据所述写数据操作指令中包含的键值对数据更新存储文件并存储至磁盘进一步包括：

执行所述写数据操作指令，根据所述写操作指令对存储文件进行修改处理；所述修改处理包括：更新键数据、删除键数据、批量删除键数据和/或插入数值数据；

将修改处理后的存储文件存储至磁盘。

4.根据权利要求1-3中任一项所述的方法，其中，所述至少一个自定义数据操作指令包括：读数据操作指令；

所述接收客户端发送的至少一个自定义数据操作指令，对所述至少一个自定义数据操作指令进行解析，以便根据所述至少一个自定义数据操作指令对磁盘进行操作，完成数据处理进一步包括：

接收客户端发送的读数据操作指令，对所述读数据操作指令进行解析，执行所述读数据操作指令，从磁盘中读取得到对应的键值对数据；

所述将所述至少一个自定义数据操作指令的执行结果返回给客户端进一步包括：

将读取得到的与所述读数据操作指令对应的键值对数据返回给客户端。

5.根据权利要求4所述的方法，其中，所述执行所述读数据操作指令，从磁盘中读取得到对应的键值对数据进一步包括：

执行所述读数据操作指令，从磁盘中读取所述读数据操作指令指定位置的数值数据、所述读数据操作指令指定范围的数值数据、指定的键数据和/或批量键数据。

6.根据权利要求1-5中任一项所述的方法，其中，所述建立与客户端的连接具体为：采用预设协议建立与客户端的连接。

7.根据权利要求1-6中任一项所述的方法，其中，所述KV数据库为leveldb数据库。

8.一种KV数据库数据管理装置，其包括：

封装模块，适于对KV数据库进行封装处理，以键值对方式将数据存储至磁盘，并建立与客户端的连接；其中，在所述KV数据库中封装预置至少一个自定义数据操作指令；

指令执行模块，适于接收客户端发送的至少一个自定义数据操作指令，对所述至少一个自定义数据操作指令进行解析，以便根据所述至少一个自定义数据操作指令对磁盘进行操作，完成数据处理；

返回模块，适于将所述至少一个自定义数据操作指令的执行结果返回给客户端。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的KV数据库数据管理方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的KV数据库数据管理方法对应的操作。

Images