CN107341255B - 键值数据处理方法、装置及电子设备 - Google Patents

Abstract

本公开实施例公开了一种键值数据处理方法、装置及电子设备，所述方法包括：对键值数据进行备份，得到键值备份数据；获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。通过本公开实施例提供的技术方案，占用空间较大的键值数据和/或键值数据集合可以被自动备份和处理，由于所涉及操作基于键值备份数据进行，因此本公开实施例可以在保障线上进程正常运行的前提下，对于可能或者已经造成进程拥堵的键值数据和/或键值数据集合进行自动处理，从而有效地提高系统的运行效率。

Description

键值数据处理方法、装置及电子设备

技术领域

本公开涉及数据处理技术领域，具体涉及一种键值数据处理方法、装置及电子设备。

背景技术

随着互联网技术的发展，智能手机等数字设备的广泛使用，大量数据包括键值数据需要被运行和存储。通常，这些数据被存储在数据库中，或者根据数据类型、大小的不同被分类存储在数据库中。但由于数据或者数据集合的大小不一，在系统运行过程中，占用空间较大的数据或者数据集合会不同程度地影响系统进程，严重时还会阻塞进程，降低系统的运行效率，对于键值数据库来说，由于键值数据库存储结构多样、访问高效，因此键值数据库对于占用空间较大的键值数据或者键值数据集合造成的阻塞延迟更为敏感。

发明内容

本公开实施例提供一种键值数据处理方法、装置及电子设备，用以解决现有技术中占用空间较大的数据或者数据集合阻塞系统进程导致系统运行效率下降的问题。

第一方面，本公开实施例中提供了一种键值数据处理方法。

具体的，所述键值数据处理方法，包括：

对键值数据进行备份，得到键值备份数据；

获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；

对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

结合第一方面，本公开在第一方面的第一种实现方式中，所述对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，包括：

获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息；

根据所述属性信息对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

在第一方面的第一种实现方式中，所述预设处理包括以下任意一项：拆分、全部删除、部分删除。

结合第一方面或第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，得到键值备份数据之后，还包括：

获取所述键值备份数据中的键值数据和/或键值数据集合；

将所述键值数据和/或键值数据集合存储至存储器；

对存储至存储器的键值数据和/或键值数据集合进行第一预处理，所述第一预处理至少包括压缩处理；

从存储器中提取得到所述键值数据和/或键值数据集合；

对于所述键值数据和/或键值数据集合进行第二预处理，所述第二预处理至少包括解压缩处理。

结合第一方面、第一方面的第一种实现方式或第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，还包括：

对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改。

在第一方面的第三种实现方式中，所述对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改，包括以下至少一项：

去除所述键值数据中的同步参数；

修改所述键值数据中的访问权限控制参数，以使所述键值数据能够被访问。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式或第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述获取所述键值备份数据中至少一个键值数据和/或键值数据集合的占用空间之后，还包括：

删除占用空间低于第二空间阈值的键值数据和/或键值数据集合，其中，所述第二空间阈值小于或等于所述第一空间阈值。

第二方面，本公开实施例提供了一种键值数据处理装置，所述装置包括：

备份模块，被配置为对键值数据进行备份，得到键值备份数据；

占用空间获取模块，被配置为获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；

处理模块，被配置为对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

结合第二方面，本公开在第二方面的第一种实现方式中，所述处理模块包括：

属性信息获取子模块，被配置为获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息；

处理子模块，被配置为根据所述属性信息对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

在第二方面的第一种实现方式中，所述预设处理包括以下任意一项：拆分、全部删除、部分删除。

结合第二方面或第二方面的第一种实现方式，本公开在第二方面的第二种实现方式中，还包括：

数据获取模块，被配置为获取所述键值备份数据中的键值数据和/或键值数据集合；

存储器，被配置为存储所述键值数据和/或键值数据集合；

第一预处理模块，被配置为对存储至存储器的键值数据和/或键值数据集合进行第一预处理，所述第一预处理至少包括压缩处理；

数据提取模块，被配置为从存储器中提取得到所述键值数据和/或键值数据集合；

第一预处理模块，被配置为对于所述键值数据和/或键值数据集合进行第二预处理，所述第二预处理至少包括解压缩处理。

结合第二方面、第二方面的第一种实现方式或第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，还包括：

参数修改模块，被配置为对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改。

在第二方面的第三种实现方式，所述参数修改模块包括：

第一参数修改子模块，被配置为去除所述键值数据中的同步参数；和/或，

第二参数修改子模块，被配置为修改所述键值数据中的访问权限控制参数，以使所述键值数据能够被访问。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式或第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，还包括：

删除模块，被配置为删除占用空间低于第二空间阈值的键值数据和/或键值数据集合，其中，所述第二空间阈值小于或等于所述第一空间阈值。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持键值数据处理装置执行上述第一方面中键值数据处理方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述键值数据处理装置还可以包括通信接口，用于键值数据处理装置与其他设备或通信网络通信。

第四方面，本公开实施例提供了一种计算机可读存储介质，用于存储键值数据处理装置所用的计算机指令，其包含用于执行上述第一方面中键值数据处理方法为键值数据处理装置所涉及的计算机指令。

本公开实施例提供的技术方案可以包括以下有益效果：

上述技术方案，通过对键值备份数据中占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，来减小或消除键值数据和/或键值数据集合的占用空间。通过本公开实施例提供的技术方案，占用空间较大的键值数据和/或键值数据集合可以被自动备份和处理，由于所有的操作均基于键值备份数据进行，因此本公开实施例可以在保障线上进程正常运行的前提下，对于有可能或者已经造成进程拥堵的键值数据和/或键值数据集合进行自动处理，从而有效地提高系统的运行效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的键值数据处理方法的流程图。

图2示出根据图1所示实施方式的步骤S103的流程图。

图3示出根据本公开一实施方式的键值数据处理方法的流程图。

图4示出根据本公开一实施方式的键值数据处理装置的结构框图。

图5示出根据图4所示实施方式的处理模块403的结构框图。

图6示出根据本公开一实施方式的键值数据处理装置的结构框图。

图7示出根据本公开一实施方式的电子设备的结构框图。

图8是适于用来实现根据本公开一实施方式的键值数据处理方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

目前用于存储键值(key-value)的数据库有很多，比如Aerospike、Leveldb、Scalaris、Voldemort、HyperDex、Berkeley DB、Apache Accumulo、Redis、ApacheCassandra等等，这些数据库都需要存储各种不同类型的键值数据，比如，Redis存储系统，它支持存储的key-value类型就很丰富，包括string(字符串)、list(链表)、set(集合)、zset(sorted set，有序集合)和hash(哈希类型)。也正因为如此，键值数据库中存储的数据大小不一，并且有些占用空间较大的或者内存占用量较大的数据会不同程度地影响系统进程，严重时还会阻塞进程。

本公开实施例提供的技术方案通过对键值备份数据中占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，来减小或消除键值数据和/或键值数据集合的占用空间。通过本公开实施例提供的技术方案，占用空间较大的键值数据和/或键值数据集合可以被自动备份和处理，由于所有的操作均基于键值备份数据进行，因此本公开实施例可以在保障线上进程正常运行的前提下，对于有可能或者已经造成进程拥堵的键值数据和/或键值数据集合进行自动处理，从而有效地提高系统的运行效率。

图1示出根据本公开一实施方式的键值数据处理方法的流程图。如图1所示，所述键值数据处理方法包括以下步骤S101-S103：

在步骤S101中，对键值数据进行备份，得到键值备份数据；

在步骤S102中，获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；

在步骤S103中，对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

在下文中将对步骤S101、S102和S103分别做进一步的描述。

步骤S101

考虑到如果对于线上正在运行的数据直接进行获取、判断和处理会不同程度地影响线上进程的正常运行，因此，在本公开一实施方式中，首先对于键值数据进行备份，得到键值备份数据，然后再以键值备份数据作为基础进行后续的判断和处理，这样能够最大限度地保障线上进程的正常运行。

具体地，在对于键值数据进行备份的时候，可以根据实际应用情况的需要，按照一定的时间周期对于键值数据进行备份，比如每20秒对于键值数据进行一次备份，后续也相应地对于每一次备份得到的键值数据进行判断和处理。

步骤S102

上文提及，很多键值存储数据库中能够存储多种类型的键值数据，这些键值数据有时会单一存放在数据库中，有时会按照数据类型、数据大小等属性特征分类进行存放，分类进行存放的键值数据形成为一个键值数据集合，也就是说，某一键值数据集合中存放的键值数据具有至少一个相同的属性特征。但无论是单一存放的键值数据还是分类存放的键值数据集合都有可能出现占用空间过大，进而影响、阻塞系统进程的情况，因此，在获得键值备份数据之后，需要对于键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间进行检测。

步骤S103

检测得到键值备份数据中至少一个键值数据和/或键值数据集合的占用空间之后，判断相应的占用空间是否高于预先设置的第一空间阈值，若某一键值数据和/或键值数据集合的占用空间确认高于预先设置的第一空间阈值，则对其执行预先设置的处理。

其中，第一空间阈值可根据实际应用的需要进行设置，本公开对于第一空间阈值的具体取值、具体设置方法均不作具体限定。

上述实施例通过对键值备份数据中占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，来限制键值数据和/或键值数据集合的占用空间。借助上述技术方案，占用空间较大的键值数据和/或键值数据集合可以被自动备份和处理，由于所有的操作均基于键值备份数据进行，因此本公开该实施例可以在保障线上进程正常运行的前提下，对于有可能或者已经造成进程拥堵的键值数据和/或键值数据集合进行自动处理，从而有效地提高系统的运行效率。

在本实施例的一个可选实现方式中，如图2所示，所述步骤S103，即对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理的步骤，进一步包括以下步骤S201-S202：

在步骤S201中，获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息；

在步骤S202中，根据所述属性信息对于相应的、占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

在本实施例的一个可选实现方式中，所述预设处理包括以下任意一项：拆分、全部删除、部分删除。

在下文中将对步骤S201和S202分别做进一步的描述。

步骤S201

在判断得到占用空间高于第一空间阈值的键值数据和/或键值数据集合之后，为了对于这些键值数据和/或键值数据集合进行进一步细化或者说是针对性的处理，还需要对其属性信息进行采集，所述属性信息包括但不限于数据类型、数据大小、占用空间大小、数据来源等信息。

步骤S202

在得到占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息之后，就可以根据属性信息的不同对其进行细化、针对性的处理了。

比如，在得到占用空间高于第一空间阈值的键值数据和/或键值数据集合的具体占用空间信息之后，可以按照占用空间大小对于键值数据和/或键值数据集合进行降序排序，占用空间最大的前几个键值数据和/或键值数据集合可被认为是最有可能阻塞进程的数据，对于这些数据可采取拆分，使其变成几个占用空间较小的键值数据片段或者键值数据子集合、删除或者部分删除的处理方法。

当然，对于占用空间高于第一空间阈值的键值数据和/或键值数据集合，也可根据具体数据类型、数据来源等属性信息的不同区别进行处理，如果数据类型、数据来源等属性信息表明该键值数据和/或键值数据集合相对比较重要，即使该键值数据和/或键值数据集合所占用的空间排在前几位，也不对其进行删除或者部分删除，而是采取保留或者拆分的处理方式，具体的处理方式可根据实际应用情况的不同而进行选择。

在本实施例的一个可选实现方式中，在采集这些数据的属性信息之前，还可将其先行存入至一预设的数据库中，以有针对性地对于占用空间高于第一空间阈值的键值数据和/或键值数据集合进行处理，也更方便记录相关的数据信息和操作信息。

在本实施例的一个可选实现方式中，在得到占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息之后，可将采集得到的数据属性信息通过电子邮件、即时信息或非即时信息等方式发送给开发人员，开发人员再根据收到的数据属性信息对于键值数据和/或键值数据集合选择合适的处理方式。

上述实施例，能够通过对键值备份数据中占用空间高于第一空间阈值的键值数据和/或键值数据集合执行拆分、删除或者部分删除等预设处理，来减小或消除键值数据和/或键值数据集合的占用空间，从而对于有可能或者已经造成进程拥堵的键值数据和/或键值数据集合进行有效地处理，进而保障了系统的运行效率。

在本实施例的一个可选实现方式中，在通过所述步骤S101得到键值备份数据之后，所述方法还包括将键值备份数据存储至存储器的步骤，如图3所示，所述方法包括以下步骤S301-S309：

在步骤S301中，对键值数据进行备份，得到键值备份数据；

在步骤S302中，获取所述键值备份数据中的键值数据和/或键值数据集合；

在步骤S303中，将所述键值数据和/或键值数据集合存储至存储器；

在步骤S304中，对存储至存储器的键值数据和/或键值数据集合进行第一预处理，所述第一预处理至少包括压缩处理；

在步骤S305中，从存储器中提取得到所述键值数据和/或键值数据集合；

在步骤S306中，对于所述键值数据和/或键值数据集合进行第二预处理，所述第二预处理至少包括解压缩处理；

在步骤S307中，获取所述键值备份数据中至少一个键值数据和/或键值数据集合的占用空间，其中，所述键值数据集合中存放的键值数据具有至少一个相同的属性特征；

在步骤S308中，对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

步骤S301、S307和S308已在上文进行描述，下文中将对步骤S302至S306做进一步的描述。

步骤S302-S306

所述步骤S302-S306是将获取得到的键值数据和/或键值数据集合通过一个存储器进行转存，在存入时进行压缩操作，在取出时进行解压缩操作。所述存储器可以是一个独立的Redis系统也可以是MySQL，当然也可以是其他类型的存储器，对其本发明不作任何具体限制。在本实施例的一个可选实现方式中，可选用海量存储器作为转存存储器，海量存储器是一种超大容量的存储器，通常其容量大于1T，若通过联合存储等方式实现，其容量甚至可以无限制增长。通过海量存储器的转存，可对所述键值数据和/或键值数据集合进行完整、安全的记录，以为后期数据分析和操作分析提供数据支持。

在本实施例的一个可选实现方式中，所述步骤S102，即获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间之前，所述方法还包括步骤：对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改。

其中，所述对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改，包括以下至少一项：

去除所述键值数据中的同步参数；

修改所述键值数据中的访问权限控制参数，以使所述键值数据能够被访问。

在该实施例中，为了对于数据进行相应的信息统计、节省后续操作的数据处理量，在获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间之前，还可以先行去除键值数据中与数据属性无关的参数，比如同步参数等非属性参数，然后再对所述键值数据中的访问权限控制参数进行修改，使得所述键值数据能够被访问。

在本实施例的一个可选实现方式中，所述步骤S102，即获取所述键值备份数据中至少一个键值数据和/或键值数据集合的占用空间之后，所述步骤S103，对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理之前，所述方法还包括步骤：删除占用空间低于第二空间阈值的键值数据和/或键值数据集合，其中，所述第二空间阈值小于或等于所述第一空间阈值。

在该实现方式中，通过将键值数据和/或键值数据集合的占用空间与一预先设定的小于或等于第一空间阈值的第二空间阈值相比较，可将占用空间较小的键值数据和/或键值数据集合先行过滤掉，以减小后续判断和数据处理的工作量。

其中，可根据实际应用的需要选择第一空间阈值和第二空间阈值的取值，比如可根据预先测试的性能结果或者经验值选择第一空间阈值和第二空间阈值的取值。本发明对于第一空间阈值和第二空间阈值的具体取值不作任何限定。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图4示出根据本公开一实施方式的键值数据处理装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图4所示，所述键值数据处理装置包括备份模块401、占用空间获取模块402和处理模块403：

备份模块401，被配置为对键值数据进行备份，得到键值备份数据；

占用空间获取模块402，被配置为获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；

处理模块403，被配置为对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

在下文中将对备份模块401、占用空间获取模块402和处理模块403分别做进一步的描述。

备份模块401

考虑到如果对于线上正在运行的数据直接进行获取、判断和处理会不同程度地影响线上进程的正常运行，因此，在本公开一实施方式中，设置一备份模块401对于键值数据进行备份，得到键值备份数据，然后再以键值备份数据作为基础进行后续的判断和处理，这样能够最大限度地保障线上进程的正常运行。

具体地，在备份模块401对于键值数据进行备份的时候，可以根据实际应用情况的需要，设置为按照一定的时间周期对于键值数据进行备份，比如每20秒对于键值数据进行一次备份，后续也相应地对于每一次备份得到的键值数据进行判断和处理。

占用空间获取模块402

上文提及，很多键值存储数据库中能够存储多种类型的键值数据，这些键值数据有时会单一存放在数据库中，有时会按照数据类型、数据大小等属性特征分类进行存放，分类进行存放的键值数据形成为一个键值数据集合，也就是说，某一键值数据集合中存放的键值数据具有至少一个相同的属性特征。但无论是单一存放的键值数据还是分类存放的键值数据集合都有可能出现占用空间过大，进而影响、阻塞系统进程的情况，因此，在备份模块401获得键值备份数据之后，设置一占用空间获取模块402对于键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间进行检测。

处理模块403

在占用空间获取模块402检测得到键值备份数据中至少一个键值数据和/或键值数据集合的占用空间之后，设置一处理模块403判断相应的占用空间是否高于预先设置的第一空间阈值，若某一键值数据和/或键值数据集合的占用空间确认高于预先设置的第一空间阈值，则对其执行预先设置的处理。

其中，第一空间阈值可根据实际应用的需要进行设置，本公开对于第一空间阈值的具体取值、具体设置方法均不作具体限定。

上述实施例通过对键值备份数据中占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，来限制键值数据和/或键值数据集合的占用空间。借助上述技术方案，占用空间较大的键值数据和/或键值数据集合可以被自动备份和处理，由于所有的操作均基于键值备份数据进行，因此本公开该实施例可以在保障线上进程正常运行的前提下，对于有可能或者已经造成进程拥堵的键值数据和/或键值数据集合进行自动处理，从而有效地提高系统的运行效率。

在本实施例的一个可选实现方式中，如图5所示，所述处理模块403包括属性信息获取子模块501和处理子模块502：

属性信息获取子模块501，被配置为获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息；

处理子模块502，被配置为根据所述属性信息对于相应的、占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

在本实施例的一个可选实现方式中，所述预设处理包括以下任意一项：拆分、全部删除、部分删除。

在下文中将对属性信息获取子模块501和处理子模块502分别做进一步的描述。

属性信息获取子模块501

在判断得到占用空间高于第一空间阈值的键值数据和/或键值数据集合之后，为了对于这些键值数据和/或键值数据集合进行进一步细化或者说是针对性的处理，还需要设置一属性信息获取子模块501对其属性信息进行采集，所述属性信息包括但不限于数据类型、数据大小、占用空间大小、数据来源等信息。

处理子模块502

处理子模块502在得到占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息之后，根据属性信息的不同对其进行细化、针对性的处理。

比如，在得到占用空间高于第一空间阈值的键值数据和/或键值数据集合的具体占用空间信息之后，可以按照占用空间大小对于键值数据和/或键值数据集合进行降序排序，占用空间最大的前几个键值数据和/或键值数据集合可被认为是最有可能阻塞进程的数据，对于这些数据可采取拆分，使其变成几个占用空间较小的键值数据片段或者键值数据子集合、删除或者部分删除的处理方法。

当然，对于占用空间高于第一空间阈值的键值数据和/或键值数据集合，也可根据具体数据类型、数据来源等属性信息的不同区别进行处理，如果数据类型、数据来源等属性信息表明该键值数据和/或键值数据集合相对比较重要，即使该键值数据和/或键值数据集合所占用的空间排在前几位，也不对其进行删除或者部分删除，而是采取保留或者拆分的处理方式，具体的处理方式可根据实际应用情况的不同而进行选择。

在本实施例的一个可选实现方式中，所述装置还包括优化处理数据库，所述优化处理数据库用于在采集上述键值数据和/或键值数据集合的属性信息之前，对其进行存储，以有针对性地对于占用空间高于第一空间阈值的键值数据和/或键值数据集合进行处理，也更方便记录相关的数据信息和操作信息。

在本实施例的一个可选实现方式中，所述装置还包括属性信息发送模块，所述属性信息发送模块被配置为在采集得到占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息之后，将数据属性信息通过电子邮件、即时信息或非即时信息等方式发送给开发人员，以使开发人员根据收到的数据属性信息对于键值数据和/或键值数据集合选择合适的处理方式。

上述实施例，能够通过对键值备份数据中占用空间高于第一空间阈值的键值数据和/或键值数据集合执行拆分、删除或者部分删除等预设处理，来减小或消除键值数据和/或键值数据集合的占用空间，从而对于有可能或者已经造成进程拥堵的键值数据和/或键值数据集合进行有效地处理，进而保障了系统的运行效率。

在本实施例的一个可选实现方式中，如图6所示，所述装置还包括存储器及相应的其他模块，即所述装置包括备份模块601、数据获取模块602、存储器603、第一预处理模块604、数据提取模块605、第一预处理模块606、占用空间获取模块607和处理模块608：

备份模块601，被配置为对键值数据进行备份，得到键值备份数据；

数据获取模块602，被配置为获取所述键值备份数据中的键值数据和/或键值数据集合；

存储器603，被配置为存储所述键值数据和/或键值数据集合；

第一预处理模块604，被配置为对存储至存储器的键值数据和/或键值数据集合进行第一预处理，所述第一预处理至少包括压缩处理；

数据提取模块605，被配置为从存储器中提取得到所述键值数据和/或键值数据集合；

第一预处理模块606，被配置为对于所述键值数据和/或键值数据集合进行第二预处理，所述第二预处理至少包括解压缩处理；

占用空间获取模块607，被配置为获取所述键值备份数据中至少一个键值数据和/或键值数据集合的占用空间，其中，所述键值数据集合中存放的键值数据具有至少一个相同的属性特征；

处理模块608，被配置为对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

备份模块601、占用空间获取模块607和处理模块608已在上文进行描述，下文中将对数据获取模块602、存储器603、第一预处理模块604、数据提取模块605和第一预处理模块606做进一步的描述。

数据获取模块602、存储器603、第一预处理模块604、数据提取模块605和第一预处理模块606，是将获取得到的键值数据和/或键值数据集合通过一个存储器603进行转存，在存入时进行压缩操作，在取出时进行解压缩操作。所述存储器可以是一个独立的Redis系统也可以是MySQL，当然也可以是其他类型的存储器，对其本发明不作任何具体限制。在本实施例的一个可选实现方式中，可选用海量存储器作为转存存储器603，海量存储器是一种超大容量的存储器，通常其容量大于1T，若通过联合存储等方式实现，其容量甚至可以无限制增长。通过海量存储器的转存，可对所述键值数据和/或键值数据集合进行完整、安全的记录，以为后期数据分析和操作分析提供数据支持。

在本实施例的一个可选实现方式中，所述装置还包括：参数修改模块，被配置为对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改。

其中，所述参数修改模块包括：

第一参数修改子模块，被配置为去除所述键值数据中的同步参数；和/或，

第二参数修改子模块，被配置为修改所述键值数据中的访问权限控制参数，以使所述键值数据能够被访问。

在该实施例中，为了对于数据进行相应的信息统计、节省后续操作的数据处理量，在获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间之前，还可以通过参数修改模块先行去除键值数据中与数据属性无关的参数，比如同步参数等非属性参数，然后再对所述键值数据中的访问权限控制参数进行修改，使得所述键值数据能够被访问。

在本实施例的一个可选实现方式中，所述装置还包括：

删除模块，被配置为删除占用空间低于第二空间阈值的键值数据和/或键值数据集合，其中，所述第二空间阈值小于或等于所述第一空间阈值。

在该实现方式中，在占用空间获取模块402获取所述键值备份数据中至少一个键值数据和/或键值数据集合的占用空间之后，处理模块403对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理之前，通过删除模块将键值数据和/或键值数据集合的占用空间与一预先设定的小于或等于第一空间阈值的第二空间阈值相比较，删除占用空间低于第二空间阈值的键值数据和/或键值数据集合，可将占用空间较小的键值数据和/或键值数据集合先行过滤掉，以减小后续判断和数据处理的工作量。

其中，可根据实际应用的需要选择第一空间阈值和第二空间阈值的取值，比如可根据预先测试的性能结果或者经验值选择第一空间阈值和第二空间阈值的取值。本发明对于第一空间阈值和第二空间阈值的具体取值不作任何限定。

本公开还公开了一种电子设备，图7示出根据本公开一实施方式的电子设备的结构框图，如图7所示，所述电子设备700包括存储器701和处理器702；其中，

所述存储器701用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器702执行以实现：

对键值数据进行备份，得到键值备份数据；

获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；

对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

所述一条或多条计算机指令还可被所述处理器702执行以实现：

所述对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，包括：

获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息；

根据所述属性信息对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

所述预设处理包括以下任意一项：

拆分、全部删除、部分删除。

得到键值备份数据之后，还包括：

获取所述键值备份数据中的键值数据和/或键值数据集合；

将所述键值数据和/或键值数据集合存储至存储器；

对存储至存储器的键值数据和/或键值数据集合进行第一预处理，所述第一预处理至少包括压缩处理；

从存储器中提取得到所述键值数据和/或键值数据集合；

对于所述键值数据和/或键值数据集合进行第二预处理，所述第二预处理至少包括解压缩处理。

获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间之前，还包括：

对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改。

所述对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改，包括以下至少一项：

去除所述键值数据中的同步参数；

修改所述键值数据中的访问权限控制参数，以使所述键值数据能够被访问。

所述获取所述键值备份数据中至少一个键值数据和/或键值数据集合的占用空间之后，还包括：

删除占用空间低于第二空间阈值的键值数据和/或键值数据集合，其中，所述第二空间阈值小于或等于所述第一空间阈值。

图8是适于用来实现根据本公开实施方式的键值数据处理方法的计算机系统的结构示意图。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行上述图1所示的实施方式中的各种处理。在RAM803中，还存储有系统800操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本公开的实施方式，上文参考图1描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行图1的键值数据处理方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

本公开公开了A1、一种键值数据处理方法，包括：对键值数据进行备份，得到键值备份数据；获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。A2、根据A1所述的键值数据处理方法，其中，所述对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，包括：获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息；根据所述属性信息对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。A3、根据A1或A2所述的键值数据处理方法，其中，所述预设处理包括以下任意一项：拆分、全部删除、部分删除。A4、根据A1所述的键值数据处理方法，其中，得到键值备份数据之后，还包括：获取所述键值备份数据中的键值数据和/或键值数据集合；将所述键值数据和/或键值数据集合存储至存储器；对存储至存储器的键值数据和/或键值数据集合进行第一预处理，所述第一预处理至少包括压缩处理；从存储器中提取得到所述键值数据和/或键值数据集合；对于所述键值数据和/或键值数据集合进行第二预处理，所述第二预处理至少包括解压缩处理。A5、根据A1或A4所述的键值数据处理方法，其中，获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间之前，还包括：对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改。A6、根据A5所述的键值数据处理方法，其中，所述对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改，包括以下至少一项：去除所述键值数据中的同步参数；修改所述键值数据中的访问权限控制参数，以使所述键值数据能够被访问。A7、根据A1所述的键值数据处理方法，其中，所述获取所述键值备份数据中至少一个键值数据和/或键值数据集合的占用空间之后，还包括：删除占用空间低于第二空间阈值的键值数据和/或键值数据集合，其中，所述第二空间阈值小于或等于所述第一空间阈值。

本公开公开了B8、一种键值数据处理装置，包括：备份模块，被配置为对键值数据进行备份，得到键值备份数据；占用空间获取模块，被配置为获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；处理模块，被配置为对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。B9、根据B8所述的键值数据处理装置，其中，所述处理模块包括：属性信息获取子模块，被配置为获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息；处理子模块，被配置为根据所述属性信息对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。B10、根据B8或B9所述的键值数据处理装置，其中，所述预设处理包括以下任意一项：拆分、全部删除、部分删除。B11、根据B8所述的键值数据处理装置，其中，还包括：数据获取模块，被配置为获取所述键值备份数据中的键值数据和/或键值数据集合；存储器，被配置为存储所述键值数据和/或键值数据集合；第一预处理模块，被配置为对存储至存储器的键值数据和/或键值数据集合进行第一预处理，所述第一预处理至少包括压缩处理；数据提取模块，被配置为从存储器中提取得到所述键值数据和/或键值数据集合；第一预处理模块，被配置为对于所述键值数据和/或键值数据集合进行第二预处理，所述第二预处理至少包括解压缩处理。B12、根据B8或B11所述的键值数据处理装置，其中，还包括：参数修改模块，被配置为对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改。B13、根据B12所述的键值数据处理装置，其中，所述参数修改模块包括：第一参数修改子模块，被配置为去除所述键值数据中的同步参数；和/或，第二参数修改子模块，被配置为修改所述键值数据中的访问权限控制参数，以使所述键值数据能够被访问。B14、根据B8所述的键值数据处理装置，其中，还包括：删除模块，被配置为删除占用空间低于第二空间阈值的键值数据和/或键值数据集合，其中，所述第二空间阈值小于或等于所述第一空间阈值。

本公开公开了C15、一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现：对键值数据进行备份，得到键值备份数据；获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

本公开还公开了D16、一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现以下步骤：对键值数据进行备份，得到键值备份数据；获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理。

Claims (12)

1.一种键值数据处理方法，其特征在于，包括：

对键值数据进行备份，得到键值备份数据；

获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；

获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息，其中，所述属性信息包括：数据类型、数据大小、占用空间大小、数据来源；

根据所述属性信息对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，其中，所述预设处理包括：拆分、全部删除、部分删除；

其中，经所述预设处理的键值数据和/或键值数据集合为造成进程堵塞的数据。

2.根据权利要求1所述的键值数据处理方法，其特征在于，得到键值备份数据之后，还包括：

获取所述键值备份数据中的键值数据和/或键值数据集合；

将所述键值数据和/或键值数据集合存储至存储器；

对存储至存储器的键值数据和/或键值数据集合进行第一预处理，所述第一预处理至少包括压缩处理；

从存储器中提取得到所述键值数据和/或键值数据集合；

对于所述键值数据和/或键值数据集合进行第二预处理，所述第二预处理至少包括解压缩处理。

3.根据权利要求1或2所述的键值数据处理方法，其特征在于，获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间之前，还包括：

对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改。

4.根据权利要求3所述的键值数据处理方法，其特征在于，所述对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改，包括以下至少一项：

去除所述键值数据中的同步参数；

修改所述键值数据中的访问权限控制参数，以使所述键值数据能够被访问。

5.根据权利要求1所述的键值数据处理方法，其特征在于，所述获取所述键值备份数据中至少一个键值数据和/或键值数据集合的占用空间之后，还包括：

删除占用空间低于第二空间阈值的键值数据和/或键值数据集合，其中，所述第二空间阈值小于或等于所述第一空间阈值。

6.一种键值数据处理装置，其特征在于，包括：

备份模块，被配置为对键值数据进行备份，得到键值备份数据；

占用空间获取模块，被配置为获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；

处理模块，被配置为获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息，其中，所述属性信息包括：数据类型、数据大小、占用空间大小、数据来源；以及

根据所述属性信息对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，其中，所述预设处理包括：拆分、全部删除、部分删除；

其中，经所述预设处理的键值数据和/或键值数据集合为造成进程堵塞的数据。

7.根据权利要求6所述的键值数据处理装置，其特征在于，还包括：

数据获取模块，被配置为获取所述键值备份数据中的键值数据和/或键值数据集合；

存储器，被配置为存储所述键值数据和/或键值数据集合；

第一预处理模块，被配置为对存储至存储器的键值数据和/或键值数据集合进行第一预处理，所述第一预处理至少包括压缩处理；

数据提取模块，被配置为从存储器中提取得到所述键值数据和/或键值数据集合；

第一预处理模块，被配置为对于所述键值数据和/或键值数据集合进行第二预处理，所述第二预处理至少包括解压缩处理。

8.根据权利要求6或7所述的键值数据处理装置，其特征在于，还包括：

参数修改模块，被配置为对所述键值数据和/或键值数据集合中至少一个键值数据的至少一个参数进行修改。

9.根据权利要求8所述的键值数据处理装置，其特征在于，所述参数修改模块包括：

第一参数修改子模块，被配置为去除所述键值数据中的同步参数；和/或，

第二参数修改子模块，被配置为修改所述键值数据中的访问权限控制参数，以使所述键值数据能够被访问。

10.根据权利要求6所述的键值数据处理装置，其特征在于，还包括：

删除模块，被配置为删除占用空间低于第二空间阈值的键值数据和/或键值数据集合，其中，所述第二空间阈值小于或等于所述第一空间阈值。

11.一种电子设备，其特征在于，包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现：

对键值数据进行备份，得到键值备份数据；

获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；

获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息，其中，所述属性信息包括：数据类型、数据大小、占用空间大小、数据来源；

根据所述属性信息对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，其中，所述预设处理包括：拆分、全部删除、部分删除；

其中，经所述预设处理的键值数据和/或键值数据集合为造成进程堵塞的数据。

12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现以下步骤：

对键值数据进行备份，得到键值备份数据；

获取所述键值备份数据中至少一个键值数据和/或至少一个键值数据集合的占用空间；

获取占用空间高于第一空间阈值的键值数据和/或键值数据集合的属性信息，其中，所述属性信息包括：数据类型、数据大小、占用空间大小、数据来源；

根据所述属性信息对于占用空间高于第一空间阈值的键值数据和/或键值数据集合执行预设处理，其中，所述预设处理包括：拆分、全部删除、部分删除；

其中，经所述预设处理的键值数据和/或键值数据集合为造成进程堵塞的数据。

Images