CN102929783A - 一种数据存储的方法、装置和系统 - Google Patents

Abstract

办发明的实施例公开一种数据存储的方法、装置和系统，涉及计算机领域，解决提供“云”服务的服务器存储压力大，存储成本高的问题。一种数据存储的方法，包括接收存储指令，压缩存储数据，最后将压缩后的存储数据存入存储介质中。一种数据存储的装置，包括：指令获取单元，用于接收存储指令；数据压缩单元，用于压缩所述待存储数据；数据存储单元，用于将压缩后的待存储数据存入存储介质中。本发明主要应用在计算机系统中。

Description

一种数据存储的方法、装置和系统

技术领域

本发明是涉及计算机领域，特别涉及一种数据存储的方法、装置和系统。

背景技术

飞速发展的信息技术使人们的工作更高效，沟通更便捷、娱乐更丰富，越来越多的人开始接触、使用、依赖信息技术。“云”概念的提出是信息技术的一大跨跃，它是基于互联网相关服务的增加、使用和交付模式，可以使用户通过网络按照实际需求获得所需资源。云数据是把各种存储在服务器中的关系型数据库看成的一系列简单二维表。使用存储在“云”中数据的用户无需控制运行着原始数据库的机器，也不需要了解它身在何处。简单的说就是用户需要什么数据就下载什么数据，不用关心数据存放在具体什么位置，更不必把数据存放在自己的电脑中，因为“云”的一大特点就是让用户可以摆脱电脑硬盘的束缚，随时随地使用需要数据。

既然用户不需要存储数据，存储数据的任务就需要各个提供“云”服务的运行商完成。用户将数据上传到能提供“云”服务的服务器上，由服务器来对用户的数据进行存储。

在实现上述技术方案的过程中，发明人发现在现有技术中至少存在以下问题：

现有技术中提供“云”服务的服务器在存储数据时，不对数据进行压缩，直接把数据存入系统，使存储空间面临巨大压力，增加存储成本。

发明内容

本发明的一个实施例提供一种数据存储的方法、装置和系统，采用压缩数据的方法，解决提供“云”服务的服务器存储压力大，存储成本高的问题。

为达到上述目的，本发明的一个实施例采用如下技术方案：

第一方面，提供一种数据存储的方法，包括：

接收存储指令，所述存储指令中包含待存储数据；

压缩所述待存储数据；

将压缩后的待存储数据存入存储介质中。

在第一方面的第一种可能的实现方式中，所述压缩所述待存储数据，包括：

获取系统当前的压缩规则；所述压缩规则包括：数据压缩的粒度和压缩计算方案；所述压缩计算方案包括：压缩时机、压缩种类、压缩计算算法和算法级别；其中所述压缩时机决定对数据何时压缩，所述压缩种类决定被压缩数据的类型，所述算法级别决定执行所述压缩计算算法时的压缩程度；

根据所述系统当前的压缩规则，压缩所述待压缩数据。

在第一方面的第二种可能的实现方式中，所述将压缩后的待存储数据存入存储介质中，包括：

将所述压缩规则存储于所述存储介质中，与所述压缩后的待存储数据构成一条数据项。

在第一方面的第三种可能的实现方式中，还包括：

获取读取指令后，通过所述压缩后的待存储数据对应的所述压缩规则解压存储在所述存储介质中的所述压缩后的待存储数据；

向用户返回解压后的数据。

结合第一方面或第一方面的第一种可能的实现方式至第三种可能的实现方式中的任意一种实现方式，在第四种可能的实现方式中，还包括：

按预设的周期，判断所述存储在所述存储介质中的数据被用户读取的次数是否低于预设的读取阈值；

当所述存储在所述存储介质中的数据被用户读取的次数低于所述读取阈值时，对用户读取的次数低于所述读取阈值的数据进行压缩。

第二方面，提供一种数据存储的装置，包括：

指令获取单元，用于接收存储指令，所述存储指令中包含待存储数据。

数据压缩单元，用于压缩所述待存储数据。

数据存储单元，用于将压缩后的待存储数据存入存储介质中。

在第二方面的第一种可能的实现方式中，所述数据压缩单元包括：压缩规则获取子单元，数据压缩子单元；其中：

压缩规则获取子单元，用于获取系统当前的压缩规则；所述压缩规则包括：数据压缩的粒度和压缩计算方案；所述压缩计算方案包括：压缩时机、压缩种类、压缩计算算法和算法级别；其中所述压缩时机决定对数据何时压缩，所述压缩种类决定被压缩数据的类型，所述算法级别决定执行所述压缩计算算法时的压缩程度；

数据压缩子单元，用于根据所述系统当前的压缩规则，压缩所述待压缩数据。

在第二方面的第二种可能的实现方式中，所述数据存储单元，包括：

数据存储子单元，用于将所述压缩规则存储于所述存储介质中，与所述压缩后的待存储数据构成一条数据项。

在第二方面的第三种可能的实现方式中，所述装置还包括：

数据解压单元，用于通过所述压缩后的待存储数据对应的所述压缩规则解压存储在所述存储介质中的所述压缩后的待存储数据；

数据返回单元，用于向用户返回解压后的数据。

结合第二方面或第二方面的第一种可能的实现方式至第三种可能的实现方式中的任意一种实现方式，在第四种可能的实现方式中，所述装置还包括：

遍历单元，用于按预设的周期，判断所述存储在所述存储介质中的数据被用户读取的次数是否低于预设的读取阈值；

所述数据压缩单元还用于当所述存储在所述存储介质中的数据被用户读取的次数低于所述读取阈值时，对用户读取的次数低于所述读取阈值的数据进行压缩。

第三方面，一种服务器系统，包括：处理器，总线，存储器；其中：

处理器包含上述第二方面的任意一种可能的实现方式的装置；

总线，用于连接所述处理器和所述存储器；

存储器，用于存储所述压缩后的待存储数据；

所述处理器通过所述总线访问所述存储器。

本发明的实施例提供一种数据存储的方法、装置和系统，首先接收存储指令，然后压缩存储数据，最后将压缩后的存储数据存入存储介质中。通过上述数据存储的技术方案，减轻提供“云”服务的服务器的存储压力，降低存储成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中一种数据存储压缩的方法的流程图；

图2为本发明实施例1中另一种数据存储压缩的方法的流程图；

图3为本发明实施例1中用户数据存储的结构；

图4为本发明实施例1中压缩计算方案的继承关系；

图5为本发明实施例1中读取压缩后数据的方法的流程图；

图6为本发明实施例1中遍历存储数据方法的流程图；

图7为本发明实施例2中一种数据存储装置的图；

图8为本发明实施例2中数据压缩单元的图；

图9为本发明实施例2中数据压缩单元的图；

图10为本发明实施例2中另一种数据存储装置的框图；

图11为本发明实施例2中另一种数据存储装置的框图；

图12为本发明实施例2中数据存储装置布局示意图；

图13为本发明实施例2中一种服务器系统的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例1

本发明的一个实施提供一种数据存储的方法，如图1所示，该方法包括如下步骤：

101、接收存储指令，所述存储指令中包含待存储数据。

系统接收用户上传数据的指令。

102、压缩所述待存储数据。

系统按照预先设定的所述压缩规则，压缩用户上传的数据。所述预先设定的所述压缩规则由系统管理员在系统的配置文件中设定。

103、将压缩后的待存储数据存入存储介质中。

本发明的实施例提供一种数据存储的方法，首先接收存储指令，然后压缩存储数据，最后将压缩后的存储数据存入存储介质中。通过上述数据存储的技术方案，减轻提供“云”服务的服务器的存储压力，降低存储成本。

进一步的，本发明的一个实施例还提供一种数据存储的方法，如图2所示，该方法包括如下步骤：

201、接收存储指令，所述存储指令中包含待存储数据。

202、获取系统当前的压缩规则。

所述压缩规则包括数据压缩的粒度和压缩计算方案；所述压缩计算方案包括：压缩时机、压缩种类、压缩计算算法和算法级别；其中所述压缩时机决定对数据何时压缩，所述压缩种类决定被压缩数据的类型，所述算法级别决定执行所述压缩计算算法时的压缩程度；

下面简要解释数据压缩的粒度：

为达到既能为每个数据集合分配不同压缩计算方案，又能统一修改所述压缩计算方案的目的而设置所述数据压缩的粒度。所述数据集合是具有一定规模的二进制数列集合。

如图3所示，一个系统对应有若干使用该系统的用户，一个用户在系统中存储有若干个数据集合。所述压缩粒度包括：系统粒度，用户粒度，数据集合粒度。每个压缩粒度都有对应的压缩计算方案，即系统粒度压缩计算方案，用户粒度压缩计算方案，数据集合粒度压缩计算方案。所述系统粒度压缩计算方案，用户粒度压缩计算方案，数据集合粒度压缩计算方案具有继承的性质，即所述数据集合粒度压缩计算方案可以继承所述用户粒度压缩计算方案，所述用户粒度压缩计算方案可以继承所述系统粒度压缩计算方案。下面进一步说明所述继承关系：

如图4所示，301为系统粒度压缩计算方案，302为用户粒度压缩计算方案，303为数据集合粒度压缩计算方案。为便于说明，记系统粒度压缩计算方案为A。用户粒度压缩计算方案包括压缩方案A和一套以上新的所述压缩计算方案，把所述一套以上新的所述压缩计算方案记为B。数据集合粒度压缩计算方案包括压缩计算方案A、压缩计算方案B和另一套以上新的所述压缩计算方案，把所述另一套以上新的所述压缩计算方案极为C。综上所述，系统粒度压缩计算方案包括A，用户粒度压缩计算方案包括A和B，数据集合粒度压缩计算方案为A、B、C。

因此，不同的用户有不同的压缩计算方案，不同的数据集合有不同的压缩计算方案。当系统修改系统粒度压缩计算方案A时，用户粒度压缩计算方案中的压缩计算方案A和数据集合粒度压缩计算方案中的压缩计算方案A也会相应改变，不影响其它压缩计算方案B和C。

接下来解释所述压缩计算方案，如前所述，压缩计算方案是对数据何时压缩，对什么类型的数据进行压缩，采用什么具体算法进行压缩，压缩至什么程度的总称，即，压缩计算方案是若干个方案的集合，包括：压缩时机、压缩种类、压缩计算算法和算法级别。其中：

所述压缩时机是指对数据在何时进行压缩，包括正常压缩，延迟压缩，不压缩。所述正常压缩是指按照当前系统执行压缩任务的先后顺序进行压缩。所述延迟压缩是指存储在系统中的数据在一定的时间间隔内没有被访问时进行压缩。所述不压缩是指数据在任何时候都不进行压缩；

所述压缩种类是指根据文件的不同类型进行压缩，包括判断压缩，文件类型压缩，标识位压缩。所述判断压缩是指对数据进行压缩后，判断其压缩率是否小于指定的阀值，若小于或等于，则不对该数据进行压缩，将数据本身存储在磁盘中。若大于，则把压缩后的数据存储在磁盘中。所述压缩率是压缩前数据所占的存储空间与压缩后数据所占存储空间的比值；

所述压缩计算算法是根据压缩数据的不同选择的具体的压缩计算算法；

所述算法级别是对应于压缩计算算法，用于表征压缩计算算法压缩数据的所述压缩率。

203、压缩所述待存储数据。

根据所述压缩规则压缩所述存储数据。

204、所述将压缩后的待存储数据存入所述存储介质中。

本发明的实施例提供一种数据存储的方法，首先接收存储指令，然后根据从配置文件中获取的所述压缩规则压缩存储数据，最后将压缩后的存储数据存入存储介质中。通过上述数据存储的技术方案，减轻提供“云”服务的服务器的存储压力，降低存储成本。

更进一步的，本发明的一个实施例还提供一种数据存储的方法，如图5所示，该方法包括如下步骤：

401、接收存储指令，所述存储指令中包含待存储数据。

402、获取系统当前的压缩规则；

403、压缩所述待存储数据。

根据所述压缩规则压缩所述存储数据。

404、将所述压缩后的待存储数据和所述压缩规则存入存储介质中，所述压缩后的待存储数据和所述压缩规则构成一条数据项。

405、获取读取指令。

系统通过人机交互界面获取读取指令。

406、通过所述压缩后的待存储数据对应的所述压缩规则解压存储在所述存储介质中的所述压缩后的待存储数据。

所述解压是所述压缩后的待存储数据对应的所述压缩规则的逆运算。

407、向用户返回解压后的数据。

本发明的实施例提供一种数据存储的方法，首先接收存储指令，然后根据从配置文件获取的所述压缩规则压缩存储数据，最后将所述压缩后的待存储数据和所述压缩规则存入存储介质中。通过上述数据存储的技术方案，可以准确读取存储在提供“云”服务的服务器中的所述压缩后的待存储数据，减轻提供服务器的存储压力，降低存储成本。

进一步的，本发明的实施例还提供一种数据存储的方法，如图6所示，该方法包括如下步骤：

501、接收存储指令，所述存储指令中包含待存储数据。

502、获取系统当前的压缩规则。

503、压缩所述待存储数据。

根据所述压缩规则压缩所述存储数据。

504、将所述压缩后的待存储数据和所述压缩规则存入存储介质中，所述压缩后的待存储数据和所述规则构成一条数据项。

505、按预设的周期，判断所述存入存储介质的数据被用户读取的次数是否低于预设的读取阈值。当所述存入存储介质的数据被用户读取的次数低于所述读取阈值时，对用户读取的次数低于所述读取阈值的数据进行压缩。

本发明的实施例提供一种数据存储的方法，首先接收存储指令，然后根据从配置文件获取的所述压缩规则压缩存储数据，最后将所述压缩后的待存储数据和所述压缩规则存入存储介质中。系统按预设的周期，检测用户读取的次数低于所述读取阈值的数据并对该数据进行压缩。通过上述数据存储的方案，可以进一步的减轻提供服务器的存储压力，降低存储成本。

实施例2

本发明的一个实施例提供一种数据存储的装置，如图7所示，该装置包括：指令获取单元61，数据压缩单元62，数据存储单元63。其中：

指令获取单元61，用于接收存储指令，所述存储指令中包含待存储数据。

数据压缩单元62，用于压缩所述待存储数据。

数据存储单元63，用于将压缩后的待存储数据存入存储介质中。

进一步的，如图8所示，所述数据压缩单元62包括：压缩规则获取子单元621，数据压缩子单元622。其中：

压缩规则获取子单元621，用于获取系统当前的压缩规则；所述压缩规则包括：数据压缩的粒度和压缩计算方案。所述压缩计算方案包括：压缩时机、压缩种类、压缩计算算法和算法级别；其中所述压缩时机决定对数据何时压缩，所述压缩种类决定被压缩数据的类型，所述算法级别决定执行所述压缩计算算法时的压缩程度；

数据压缩子单元622，用于根据所述系统当前的压缩规则，压缩所述待压缩数据。

进一步的，如图9所示，所述数据存储单元63包括数据存储子单元631，用于将所述压缩策略存储于所述存储介质中，与所述压缩后的待存储数据构成一条数据项。

本发明的实施例提供一种数据存储的装置，首先接收存储指令，然后根据从配置文件中获取的所述压缩规则压缩存储数据，最后将压缩后的存储数据存入存储介质中。通过上述数据存储的技术方案，减轻提供“云”服务的服务器的存储压力，降低存储成本。

更进一步的，如图10所示，上述装置还包括：数据解压单元64，数据返回单元65。其中：

数据解压单元64，用于通过所述压缩后的待存储数据对应的所述压缩规则解压存储在所述存储介质中的所述压缩后的待存储数据；

数据解压单元65，用于向用户返回解压后的数据。

本发明的实施例提供一种数据存储的装置，首先接收存储指令，然后根据从配置文件获取的所述压缩规则压缩存储数据，最后将所述压缩后的待存储数据和所述压缩策略存入存储介质中。通过上述数据存储的技术方案，可以准确读存储在提供“云”服务的服务器中的所述压缩后的待存储数据，减轻提供服务器的存储压力，降低存储成本。

更进一步的，如图11所示，上述装置包括遍历单元66，用于按预设的周期，判断所述存储在所述存储介质中的数据被用户读取的次数是否低于预设的读取阈值。

需要说明的是，当所述存储在所述存储介质中的数据被用户读取的次数低于所述读取阈值时，所述数据压缩单元62还用于对用户读取的次数低于所述读取阈值的数据进行压缩。

本实施例的各装置如图12所示，其中用户请求接入模块701为图11所示的指令获取单元61；解压任务控制器702为图11所示的数据解压单元64；压缩策略控制器和压缩级别控制器703为如图8所示的数据压缩单元62中的压缩规则获取子单元621；压缩任务控制器704为图8所示的数据压缩单元62中的数据压缩子单元622；活跃度检测器705为如图11所示的遍历单元66；存储介质706为如图11所示的数据存储单元63。

图12提供一种数据存储装置在计算机中的布局示意图，系统通过用户请求接入模块701获取待压缩数据，压缩任务控制器704根据从压缩级别控制器和压缩策略控制器703中获得的压缩方案，对待压缩数据进行压缩，最后存入存储介质706中。活跃度检测器705通过遍历的方式查找需要压缩的数据，即对用户访问次数低于预设阀值的数据进行压缩。当系统通过用户请求接入模块701获取读取指令后，解压任务控制器702按照压缩级别控制器和压缩策略控制器703中获得的压缩方案对数据进行解压，并把解压后的数据传送给用户。

本发明的实施例提供一种数据存储的装置，首先接收存储指令，然后根据从配置文件获取的所述压缩规则压缩存储数据，最后将所述压缩后的待存储数据和所述压缩策略存入存储介质中。系统按预设的周期，检测压缩对被用户读取的次数低于所述读取阈值的数据。通过上述数据存储的技术方案，减轻提供服务器的存储压力，降低存储成本。

此外，本发明的一个实施例还提供一种服务器系统，如图13所示，该系统包括：总线801，处理器802，存储器803。其中，处理器802中包括上述提及的任意一种数据存储的装置。

本发明的实施例提供一种服务器系统，首先接收存储指令，然后压缩存储数据，最后将压缩后的存储数据存入存储介质中。通过上述系统减轻提供“云”服务的服务器的存储压力，降低存储成本。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变换或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种数据存储的方法，其特征在于，包括：

接收存储指令，所述存储指令中包含待存储数据；

压缩所述待存储数据；

将压缩后的待存储数据存入存储介质中。

2.根据权利要求1所述的方法，其特征在于，所述压缩所述待存储数据，包括：

获取系统当前的压缩规则；所述压缩规则包括：数据压缩的粒度和压缩计算方案；所述压缩计算方案包括：压缩时机、压缩种类、压缩计算算法和算法级别；其中所述压缩时机决定对数据何时压缩，所述压缩种类决定被压缩数据的类型，所述算法级别决定执行所述压缩计算算法时的压缩程度；

根据所述系统当前的压缩规则，压缩所述待压缩数据。

3.根据权利要求1所述的方法，其特征在于，所述将压缩后的待存储数据存入存储介质中，包括：

将所述压缩规则存储于所述存储介质中，与所述压缩后的待存储数据构成一条数据项。

4.根据权利要求1所述的方法，其特征在于，还包括：

获取读取指令后，通过所述压缩后的待存储数据对应的所述压缩规则解压存储在所述存储介质中的所述压缩后的待存储数据；

向用户返回解压后的数据。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，还包括：

按预设的周期，判断所述存储在所述存储介质中的数据被用户读取的次数是否低于预设的读取阈值；

当所述存储在所述存储介质中的数据被用户读取的次数低于所述读取阈值时，对用户读取的次数低于所述读取阈值的数据进行压缩。

6.一种数据存储的装置，其特征在于，包括：

指令获取单元，用于接收存储指令，所述存储指令中包含待存储数据；

数据压缩单元，用于压缩所述待存储数据；

数据存储单元，用于将压缩后的待存储数据存入存储介质中。

7.根据权利要求6所述的装置，其特征在于，所述数据压缩单元包括：压缩规则获取子单元，数据压缩子单元；其中：

压缩规则获取子单元，用于获取系统当前的压缩规则；所述压缩规则包括：数据压缩的粒度和压缩计算方案；所述压缩计算方案包括：压缩时机、压缩种类、压缩计算算法和算法级别；其中所述压缩时机决定对数据何时压缩，所述压缩种类决定被压缩数据的类型，所述算法级别决定执行所述压缩计算算法时的压缩程度；

数据压缩子单元，用于根据所述系统当前的压缩规则，压缩所述待压缩数据。

8.根据权利要求6所述的装置，其特征在于，所述数据存储单元，包括：

数据存储子单元，用于将所述压缩规则存储于所述存储介质中，与所述压缩后的待存储数据构成一条数据项。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

数据解压单元，用于通过所述压缩后的待存储数据对应的所述压缩规则解压存储在所述存储介质中的所述压缩后的待存储数据；

数据返回单元，用于向用户返回解压后的数据。

10.根据权利要求6至10中任意一项所述的装置，其特征在于，所述装置还包括：

遍历单元，用于按预设的周期，判断所述存储在所述存储介质中的数据被用户读取的次数是否低于预设的读取阈值；

所述数据压缩单元还用于当所述存储在所述存储介质中的数据被用户读取的次数低于所述读取阈值时，对用户读取的次数低于所述读取阈值的数据进行压缩。

11.一种服务器系统，其特征在于，所述服务器系统包括：处理器，总线，存储器；其中：

所述处理器包含如权利要求6至10中任意一项所述的装置；

所述总线，用于连接所述处理器和所述存储器；

所述存储器，用于存储所述压缩后的待存储数据；

所述处理器通过所述总线访问所述存储器。

Images