CN105320669A - 数据存储、读取方法及数据存储、读取装置 - Google Patents

Abstract

本发明提供一种数据存储方法。该方法包括获取存储数据的类型，并判断存储数据的类型是否为优化类型；如存储数据的类型为优化类型，则获取存储数据的最大字节长度；如存储数据的最大字节长度大于等于设定值，则对存储数据进行第一优化处理，以生成第一存储文件；如存储数据的最大字节长度小于设定值，则对存储数据进行第二优化处理，以生成第二存储文件；以及对第一存储文件以及第二存储文件进行存储操作，并使用数据存储表记录第一存储文件以及第二存储文件的优化属性。本发明还提供一种数据读取方法、数据存储装置以及数据存储方法。本发明的数据存储、读取方法及数据存储、读取装置提升了处理器资源使用率以及内存资源使用率。

Description

数据存储、读取方法及数据存储、读取装置

技术领域

本发明涉及数据处理领域，特别是涉及一种数据存储、读取方法及数据存储、读取装置。

背景技术

MySQL是一个关系型数据库管理系统，该数据库管理系统可使用InnoDB存储引擎进行数据存储。为了提升存储效率，InnoDB一般会采用页压缩存储方式进行数据存储以及数据读取。这里的页压缩是指以数据页为单位对数据进行压缩的方式。

InnoDB存储引擎通过页压缩功能进行数据压缩以及数据读取，可减少磁盘的读写次数，提高磁盘的吞吐量，提升整个数据库管理系统的性能。但是页压缩功能只能对数据页中的所有内容进行压缩，且读取时需要对数据页中的所有内容进行解压，从而InnoDB存储引擎在压缩和解压需要消耗较多的处理器资源以及内存资源，进而造成处理器资源和内存资源的浪费。

发明内容

本发明实施例提供一种提升处理器资源使用率以及内存资源使用率的数据存储方法，以解决使用现有的数据存储方法对数据页进行压缩的过程中，处理器资源和内存资源浪费较为严重的技术问题。

本发明实施例还提供一种提升处理器资源使用率以及内存资源使用率的数据读取方法，以解决使用现有的数据读取方法对存储数据进行读取的过程中，处理器资源和内存资源浪费较为严重的技术问题。

本发明实施例还提供一种提升处理器资源使用率以及内存资源使用率的数据存储装置，以解决使用现有的数据存储装置对数据页进行压缩的过程中，处理器资源和内存资源浪费较为严重的技术问题。

本发明实施例还提供一种提升处理器资源使用率以及内存资源使用率的数据读取装置，以解决使用现有的数据读取装置对存储数据进行读取的过程中，处理器资源和内存资源浪费较为严重的技术问题。

为解决上述问题，本发明提供的技术方案如下：

提供一种数据存储方法，其包括：

获取存储数据的类型，并判断所述存储数据的类型是否为优化类型；

如所述存储数据的类型为所述优化类型，则获取所述存储数据的最大字节长度；

如所述存储数据的最大字节长度大于等于设定值，则通过对所述存储数据进行优化处理，以生成第一存储文件，其中所述第一存储文件包括压缩处理后的存储数据以及相应的第一标识数据；

如所述存储数据的最大字节长度小于所述设定值，则通过对所述存储数据进行优化处理，以生成第二存储文件，其中所述第二存储文件包括所述存储数据以及相应的第二标识数据；以及

对所述第一存储文件以及所述第二存储文件进行存储操作，并使用数据存储表记录所述第一存储文件以及所述第二存储文件的优化属性。

还提供一种数据读取方法，其包括：

获取存储文件，并判断所述存储文件在数据存储表中是否存在优化属性，其中具有所述优化属性的存储文件包括所述标识数据以及存储数据；

如所述存储文件在所述数据存储表中存在所述优化属性，则读取所述存储文件的标识数据；以及

根据所述标识数据，对所述存储文件的存储数据进行读取操作；

其中所述对所述存储文件的存储数据进行读取操作的步骤包括：

判断所述标识数据的类型；

如所述标识数据为所述第一标识数据，则根据所述第一标识数据，对所述存储数据进行解压缩处理，并对所述解压缩处理后的所述存储数据进行读取操作；以及

如所述标识数据为第二标识数据，则直接对所述存储文件的存储数据进行读取操作。

还提供一种数据存储装置，其包括：

类型获取模块，用于获取存储数据的类型，并判断所述存储数据的类型是否为优化类型；

字节长度获取模块，用于获取所述存储数据的最大字节长度；

第一优化处理模块，用于对所述存储数据进行优化处理，以生成第一存储文件，其中所述第一存储文件包括压缩处理后的存储数据以及相应的第一标识数据；

第二优化处理模块，用于对所述存储数据进行优化处理，以生成第二存储文件，其中所述第二存储文件包括所述存储数据以及相应的第二标识数据；以及

存储模块，用于对所述第一存储文件以及所述第二存储文件进行存储操作，并使用数据存储表记录所述第一存储文件以及所述第二存储文件的优化属性。

还提供一种数据读取装置，其包括：

存储文件获取模块，用于获取存储文件，并判断所述存储文件在所述数据存储表中是否存在优化属性，其中具有所述优化属性的存储文件包括所述标识数据以及存储数据；

标识数据读取模块，用于如所述存储文件获取模块判断所述存储文件在所述数据存储表中存在所述优化属性，则读取所述存储文件的标识数据；以及

读取模块，用于根据所述标识数据，对所述存储文件的存储数据进行读取操作；

其中所述读取模块包括：

标识数据判断单元，用于判断所述标识数据的类型；

第一读取单元，用于如所述标识数据判断单元判断所述标识数据为所述第一标识数据，则根据所述第一标识数据，对所述存储数据进行解压缩处理，并对所述解压缩处理后的所述存储数据进行读取操作；以及

第二读取单元，用于如所述标识数据判断单元判断所述标识数据不是所述第一标识数据，则直接对所述存储文件的存储数据进行读取操作。

相较于现有技术的数据存储、读取方法及数据存储、读取装置，本发明的数据存储方法及数据存储装置对存储数据进行选择性的压缩，本发明的数据读取方法及数据读取装置可进行选择性的解压缩；因此提升了处理器资源使用率以及内存资源使用率；解决了现有的数据存储方法以及数据存储装置对数据页进行压缩的过程中，处理器资源和内存资源浪费较为严重；以及现有的数据读取方法以及数据读取装置对存储数据进行读取的过程中，处理器资源和内存资源浪费较为严重的技术问题。

附图说明

图1为本发明的数据存储、读取装置所在的电子设备的工作环境结构示意图；

图2为本发明的数据存储方法的优选实施例的流程图；

图3为本发明的数据存储方法的优选实施例的第一存储文件的结构示意图；

图4为本发明的数据存储方法的优选实施例的第二存储文件的结构示意图；

图5为本发明的数据读取方法的优选实施例的流程图；

图6为本发明的数据读取方法的优选实施例的步骤S504的流程图；

图7为本发明的数据存储装置的优选实施例的结构示意图；

图8为本发明的数据读取装置的优选实施例的结构示意图；

图9为本发明的数据存储方法的具体实施例的流程图；

图10为本发明的数据读取方法的具体实施例的流程图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

而且，要求保护的主题可以被实现为使用标准编程和/或工程技术产生软件、固件、硬件或其任意组合以控制计算机实现所公开的主题的方法、装置或制造品。本文所使用的术语“制造品”旨在包含可从任意计算机可读设备、载体或介质访问的计算机程序。当然，本领域技术人员将认识到可以对该配置进行许多修改，而不脱离要求保护的主题的范围或精神。

图1和随后的讨论提供了对实现本发明所述的数据存储、读取装置所在的电子设备的工作环境的简短、概括的描述。图1的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备112包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图1图示了包括本发明的数据存储、读取装置的一个或多个实施例的电子设备112的实例。在一种配置中，电子设备112包括至少一个处理单元116和存储器118。根据电子设备的确切配置和类型，存储器118可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图1中由虚线114图示。

在其他实施例中，电子设备112可以包括附加特征和/或功能。例如，设备112还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图1中由存储装置120图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置120中。存储装置120还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器118中由例如处理单元116执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器118和存储装置120是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备112访问的任何其他介质。任意这样的计算机存储介质可以是电子设备112的一部分。

电子设备112还可以包括允许电子设备112与其他设备通信的通信连接126。通信连接126可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备112连接到其他电子设备的其他接口。通信连接126可以包括有线连接或无线连接。通信连接126可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备112可以包括输入设备124，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备112中也可以包括输出设备122，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备124和输出设备122可以经由有线连接、无线连接或其任意组合连接到电子设备112。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备112的输入设备124或输出设备122。

电子设备112的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中，电子设备112的组件可以通过网络互连。例如，存储器118可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络128访问的电子设备130可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备112可以访问电子设备130并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备112可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备112处执行并且一些指令可以在电子设备130处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明的数据存储、读取方法及数据存储、读取装置优选设置在数据库服务器中，从而可以较好的提升整个数据库服务器的性能，减少对数据块服务器的处理器资源和内存资源的浪费。

请参照图2，图2为本发明的数据存储方法的优选实施例的流程图。本优选实施例的数据存储方法可使用上述的电子设备112进行实施，该数据存储方法包括：

步骤S201，获取存储数据的类型，并判断存储数据的类型是否为优化类型；如存储数据的类型为优化类型，则转到步骤S203；如存储数据的类型不是优化类型，则转到步骤S202；

步骤S202，直接对存储数据进行存储操作；

步骤S203，获取存储数据的最大字节长度，随后转到步骤S204；

步骤S204，判断存储数据的最大字节长度是否大于等于设定值，如存储数据的最大字节长度大于等于设定值，则转到步骤S205；如存储数据的最大字节长度小于设定值，则转到步骤S206；

步骤S205，对存储数据进行第一优化处理，以生成第一存储文件，其中第一存储文件包括压缩处理后的存储数据以及相应的第一标识数据；转到步骤S207；

步骤S206，对存储数据进行第二优化处理，以生成第二存储文件，其中第二存储文件包括存储数据以及相应的第二标识数据；转到步骤S207；

步骤S207，对第一存储文件以及第二存储文件进行存储操作，并使用数据存储表记录第一存储文件以及第二存储文件的优化属性。

下面详细说明本优选实施例的数据存储方法的各步骤的具体流程。

在步骤S201中，数据存储装置获取存储数据的类型，该存储数据的类型包括二进制大对象类型(BLOB，binarylargeobject)、文本类型(text)以及图片格式(jpg)等。这里将二进制大对象类型以及文本类型的存储数据设定为优化类型，由于现有压缩技术中，对二进制大对象类型以及文本类型的存储数据的压缩效果较好，因此这里设置只对二进制大对象类型以及文本类型进行优化操作，以提高压缩操作过程中的压缩效率。这样如存储数据的类型为优化类型，则转到步骤S203；如存储数据的类型不是优化类型，则转到步骤S202。

在步骤S202中，如该存储数据的类型不是优化类型，由于该非优化类型的存储数据进行压缩操作的效果较差(压缩率较低或压缩消耗的资源较多)，因此在本步骤中直接对该类型的存储数据进行存储操作。

在步骤S203中，如存储数据的类型为优化类型，即存储数据为二进制大对象类型或文本类型，则获取存储数据的最大字节长度。

BLOB类型的存储数据包括TinyBlob类型的存储数据、Blob类型的存储数据、MediumBlob类型的存储数据以及LongBlob类型的存储数据。其中TinyBlob类型的存储数据的最大字节长度为255个字节，Blob类型的存储数据的最大字节长度为65K字节，MediumBlob类型的存储数据的最大字节长度为16M字节，LongBlob类型的存储数据的存储数据的最大字节长度为4G字节。

Text类型的存储数据包括TinyText类型的存储数据、Text类型的存储数据、MediumText类型的存储数据以及LongText类型的存储数据。其中TinyText类型的存储数据的最大字节长度为255个字节，Text类型的存储数据的最大字节长度为65K字节，MediumText类型的存储数据的最大字节长度为16M字节，LongText类型的存储数据的存储数据的最大字节长度为4G字节。随后转到步骤S204。

在步骤S204中，数据存储装置判断步骤S203中获取的存储数据的最大字节长度是否大于等于设定值。

由于对字节长度较小的存储数据进行压缩处理的效率较低，即字节长度较小的存储数据的压缩率会较低且压缩时间较长。因此对于最大字节长度小于设定值的存储数据将不进行压缩处理，这里优选设定值为255个字节，即对于TinyText类型的存储数据和TinyBlob类型的存储数据将不进行压缩处理，随后转到步骤S206；

同时对字节长度较大的存储数据进行压缩处理的效率较高，即字节长度较大的存储数据的压缩率会较高且压缩时间较短。因此对于最大字节长度大于等于设定值的存储数据将进行压缩处理，这里优选设定值为255个字节，即对Text类型的存储数据、MediumText类型的存储数据、LongText类型的存储数据、Blob类型的存储数据、MediumBlob类型的存储数据以及LongBlob类型的存储数据将进行压缩处理，随后转到步骤S205。

在步骤S205中，对存储数据进行第一优化处理，即对存储数据进行压缩处理以及标识处理，以生成第一存储文件。该第一存储文件包括压缩处理后的存储数据以及相应的第一标识数据。该第一标识数据设置在压缩处理后的存储数据前，该第一标识数据包括压缩处理标识、压缩算法标识以及存储数据的长度标识。

具体可如图3所示，图3为本发明的数据存储方法的优选实施例中的第一存储文件的结构示意图。其中首字节的首位为压缩处理标识，如可设置为1来表示压缩。首字节的第二位和第三位为压缩算法标识，可表示四种不同的压缩算法。当然这里也可用首字节的多位作为压缩算法标识，这样可表示多种不同的压缩算法。

第二字节至第四字节为存储数据的长度标识，如使用一个字节表示存储数据的长度，则该存储数据的最大字节长度为255(即2⁸-1)个字节(恰好是TinyBlob类型的存储数据和TinyText类型的存储数据的最大字节长度)。如使用两个字节表示存储数据的长度，则该存储数据的最大字节长度为65535(即2¹⁶-1)个字节(恰好是Blob类型的存储数据和Text类型的存储数据的最大字节长度)。如使用三个字节表示存储数据的长度，则该存储数据的最大字节长度为16777215(即2²⁴-1)个字节(恰好是MediumBlob类型的存储数据和MediumText类型的存储数据的最大字节长度)。如使用四个字节标识存储数据的长度，则该存储数据的最大字节长度为4294967295(即2³²-1)个字节(恰好是LongBlob类型的存储数据和LongText类型的存储数据的最大字节长度)。

因此存储数据的长度标识可以表示所有类型的存储数据的最大字节长度。这样即完成了第一存储文件的生成过程。

优选的，对存储数据进行第一优化处理，以生成第一存储文件的步骤包括：

步骤S2051，根据处理器资源使用率以及系统输入输出性能，确定压缩算法；

这里的压缩算法可包括Zlib、Lzo以及Lz4等，其中Zlib的压缩率较高，但是压缩速度以及解压速度较慢，因此对处理器资源占用率较高，对系统的输入输出性能要求较低。Lzo以及Lz4的压缩率较低，但是压缩速度以及解压速度较快，因此对处理器资源占用率较低，对系统的输入输出性能要求较高。本步骤中确定压缩算法后，转到步骤S2052。

步骤S2052，使用压缩算法对存储数据进行压缩处理，以生成第一存储文件。随后转到步骤S207。

在步骤S206中，对存储数据进行第二优化处理，即对存储数据进行标示处理，以生成第二存储文件。该第二存储文件包括存储数据以及相应的第二标识数据。该第二标识数据设置在存储数据前，该第二标识数据包括未压缩处理标识。

具体可如图4所示，图4为本发明的数据存储方法的优选实施例中的第二存储文件的结构示意图。其中首字节的首位为未压缩处理标识，如可设置为0来表示未压缩。即可直接在存储数据前设置一未压缩处理标识就完成了第二存储文件的生成过程。随后转到步骤S207。

在步骤S207中，对步骤S205中生成的第一存储文件和步骤S206中生成的第二存储文件进行存储操作，并使用数据存储表记录第一存储文件以及第二存储文件的优化属性。这里的优化属性即使第一存储文件以及第二存储文件区别于未进行优化处理的存储数据，便于后续对第一存储文件以及第二存储文件进行读取操作。

这里的数据存储表用于记录数据存储过程中的数据存储参数，如是否进行优化处理等。当然也可在数据存储表中记录第一存储文件对应的存储数据的类型以及第二存储文件对应的存储数据的类型，这样可进一步方便对第一存储文件和第二存储文件进行快速读取操作。如该数据存储表可为记录数据库服务器对象的定义信息的元数据记录，可以系统表的形式(如*.frm文件)保存在数据库管理系统中。当然这里元数据记录可以可视化的方式记录在数据库管理系统中，即对所有的优化的存储文件进行可视化标记。

这样即完成了本优选实施例的数据存储方法的数据存储过程。

本优选实施例的数据存储方法对存储数据进行选择性的压缩，因此提升了处理器资源使用率以及内存资源使用率。

本发明还提供一种数据读取方法，请参照图5，图5为本发明的数据读取方法的优选实施例的流程图。本优选实施例的数据读取方法可使用上述的电子设备112进行实施，该数据读取方法包括：

步骤S501，获取存储文件，并判断存储文件在数据存储表中是否存在优化属性，如该存储文件在数据存储表中不存在优化属性，则转到步骤S502；如该存储文件在数据存储表中存在优化属性，则转到步骤S503；

步骤S502，直接对存储数据进行读取操作；

步骤S503，读取存储文件的标识数据，随后转到步骤S504；

步骤S504，根据标识数据，对存储文件的存储数据进行读取操作。

下面详细说明本优选实施例的数据读取方法的各步骤的具体流程。

在步骤S501中，数据读取装置获取存储文件，然后判断该存储文件在数据存储表中是否存在优化属性。具有优化属性的存储文件包括标识数据以及存储数据。其中数据存储表用于记录数据存储过程中的数据存储参数，如是否进行优化处理等。优化属性的设置可使优化处理后的存储文件区别于未进行优化处理的存储数据，便于对存储文件进行读取操作。

如存储文件在数据存储表中存在优化属性，则说明该存储文件进行了优化处理，则转到步骤S503。

如存储文件在数据存储表中未存在优化属性，则说明该存储文件未进行优化处理，则转到步骤S502。

在步骤S502中，由于存储文件未进行优化处理，即存储数据的类型不是优化类型，没有对存储数据进行优化操作。存储文件即存储数据，因此直接对存储文件(存储数据)进行读取操作。

在步骤S503中，存储文件进行了优化处理，则数据读取装置读取存储文件的标识数据。该标识数据包括存储文件的压缩处理标识、未压缩处理标识、压缩算法标识以及存储数据的长度标识。根据该标识数据可从存储文件中读取到存储数据。随后转到步骤S504。

在步骤S504中，数据读取装置根据标识数据，对存储文件的存储数据进行读取操作，请参照图6，图6为本发明的数据读取方法的优选实施例的步骤S504的流程图，该步骤S504具体包括：

步骤S5041，判断标识数据的类型，即判断标识数据是第一标识数据、还是第二标识数据。判断标识数据的首字节的首位为压缩处理标识还是未压缩处理标识，如标识数据的首字节的首位为未压缩处理标识(如为0)，则标识数据是第二标识数据，转到步骤S5042，如标识数据的首字节的首位为压缩处理标识(如为1)，则表示数据为第一标识数据，转到步骤S5043。

步骤S5042，如标识数据为第二标识数据，第二标识数据只包括未压缩处理标识，数据读取装置可直接对存储文件的存储数据进行读取操作。

步骤S5043，如标识数据为第一标识数据，第一标识数据包括压缩处理标识、压缩算法标识以及存储数据的长度标识。这样数据读取装置可以根据压缩算法以及存储数据的长度标识对存储数据进行解压缩操作，并对解压缩处理后的存储数据进行读取操作。

优选的，可在数据存储表中记录存储文件对应的存储数据的类型，即可从数据存储表中获取存储数据的类型，以进一步提升对存储文件中存储数据的读取速度。

这样即完成了本优选实施例的数据读取方法的数据读取过程。

本优选实施例的数据读取方法可进行选择性的解压缩，提升了处理器资源使用率以及内存资源使用率。

本发明还提供一种数据存储装置，请参照图7，图7为本发明的数据存储装置的优选实施例的结构示意图。本优选实施例的数据存储装置70可使用上述的数据存储方法的优选实施例进行实施。该数据存储装置70包括类型获取模块71、字节长度获取模块72、第一优化处理模块73、第二优化处理模块74以及存储模块75。

类型获取模块71用于获取存储数据的类型，并判断存储数据的类型是否为优化类型；字节长度获取模块72用于获取存储数据的最大字节长度；第一优化处理模块73用于对存储数据进行第一优化处理，以生成第一存储文件，其中第一存储文件包括压缩处理后的存储数据以及相应的第一标识数据；第二优化处理模块74用于对存储数据进行第二优化处理，以生成第二存储文件，其中第二存储文件包括存储数据以及相应的第二标识数据；存储模块75用于对第一存储文件以及第二存储文件进行存储操作，并使用数据存储表记录第一存储文件以及第二存储文件的优化属性。

其中存储模块75还用于如类型获取模块71获取存储数据的类型不是优化类型，则直接对存储数据进行存储操作。

第一优化处理模块73包括算法确定单元731以及存储文件生成单元732，算法确定单元731用于根据处理器资源使用率以及系统输入输出性能，确定压缩算法；存储文件生成单元732用于使用压缩算法对存储数据进行压缩处理，以生成第一存储文件。

本优选实施例的数据存储装置70使用时，首先类型获取模块71获取存储数据的类型，该存储数据的类型包括二进制大对象类型(BLOB，binarylargeobject)、文本类型(text)以及图片格式(jpg)等。这里将二进制大对象类型以及文本类型的存储数据设定为优化类型，由于现有压缩技术中，对二进制大对象类型以及文本类型的存储数据的压缩效果较好，因此这里设置只对二进制大对象类型以及文本类型进行优化操作，以提高压缩操作过程中的压缩效率。

如类型获取模块71获取的存储数据的类型不是优化类型，由于该类型的存储数据进行压缩操作的效果较差(压缩率较低或压缩消耗的资源较多)，因此在存储模块75直接对该类型的存储数据进行存储操作。

如类型获取模块71获取的存储数据的类型是优化类型，即存储数据为二进制大对象类型或文本类型，则字节长度获取模块72获取存储数据的最大字节长度。

BLOB类型的存储数据包括TinyBlob类型的存储数据、Blob类型的存储数据、MediumBlob类型的存储数据以及LongBlob类型的存储数据。其中TinyBlob类型的存储数据的最大字节长度为255个字节，Blob类型的存储数据的最大字节长度为65K字节，MediumBlob类型的存储数据的最大字节长度为16M字节，LongBlob类型的存储数据的存储数据的最大字节长度为4G字节。

Text类型的存储数据包括TinyText类型的存储数据、Text类型的存储数据、MediumText类型的存储数据以及LongText类型的存储数据。其中TinyText类型的存储数据的最大字节长度为255个字节，Text类型的存储数据的最大字节长度为65K字节，MediumText类型的存储数据的最大字节长度为16M字节，LongText类型的存储数据的存储数据的最大字节长度为4G字节。

由于数据存储装置70对字节长度较小的存储数据进行压缩处理的效率较低，即该存储数据的压缩率会较低且压缩时间较长。因此数据存储装置对于最大字节长度小于设定值的存储数据将不进行压缩处理，这里优选设定值为255个字节，即对于TinyText类型的存储数据和TinyBlob类型的存储数据将不进行压缩处理。

同时数据存储装置70对字节长度较大的存储数据进行压缩处理的效率较高，即该存储数据的压缩率会较高且压缩时间较短。因此数据存储装置对于最大字节长度大于等于设定值的存储数据将进行压缩处理，这里优选设定值为255个字节，即对Text类型的存储数据、MediumText类型的存储数据、LongText类型的存储数据、Blob类型的存储数据、MediumBlob类型的存储数据以及LongBlob类型的存储数据将进行压缩处理，

因此如字节长度获取模块72获取的存储数据的最大字节长度大于等于设定值，则第一优化处理模块73对存储数据进行第一优化处理，即对存储数据进行压缩处理以及标识处理，以生成第一存储文件。该第一存储文件包括压缩处理后的存储数据以及相应的第一标识数据。该第一标识数据设置在压缩处理后的存储数据前，该第一标识数据包括压缩处理标识、压缩算法标识以及存储数据的长度标识。

第一存储文件的结构如图3所示，其中首字节的首位为压缩处理标识，如可设置为1来表示压缩。首字节的第二位和第三位为压缩算法标识，可表示四种不同的压缩算法。当然这里也可用首字节的多位作为压缩算法标识，这样可表示多种不同的压缩算法。

第二字节至第四字节为存储数据的长度标识，如使用一个字节表示存储数据的长度，则该存储数据的最大字节长度为255(即2⁸-1)个字节(恰好是TinyBlob类型的存储数据和TinyText类型的存储数据的最大字节长度)。如使用两个字节表示存储数据的长度，则该存储数据的最大字节长度为65535(即2¹⁶-1)个字节(恰好是Blob类型的存储数据和Text类型的存储数据的最大字节长度)。如使用三个字节表示存储数据的长度，则该存储数据的最大字节长度为16777215(即2²⁴-1)个字节(恰好是MediumBlob类型的存储数据和MediumText类型的存储数据的最大字节长度)。如使用四个字节标识存储数据的长度，则该存储数据的最大字节长度为4294967295(即2³²-1)个字节(恰好是LongBlob类型的存储数据和LongText类型的存储数据的最大字节长度)。

因此存储数据的长度标识可以表示所有类型的存储数据的最大字节长度。这样第一优化处理模块73即完成了第一存储文件的生成过程。

优选的，第一优化处理模块73对存储数据进行第一优化处理，以生成第一存储文件具体包括：

第一优化处理模块73的算法确定单元731根据处理器资源使用率以及系统输入输出性能，确定压缩算法；

这里的压缩算法可包括Zlib、Lzo以及Lz4等，其中Zlib的压缩率较高，但是压缩速度以及解压速度较慢，因此对处理器资源占用率较高，对系统的输入输出性能要求较低。Lzo以及Lz4的压缩率较低，但是压缩速度以及解压速度较快，因此对处理器资源占用率较低，对系统的输入输出性能要求较高。

随后第一优化处理模块73的存储文件生成单元732使用压缩算法对存储数据进行压缩处理，以生成第一存储文件。

如字节长度获取模块72获取的存储数据的最大字节长度小于设定值，则第二优化处理模块74对存储数据进行第二优化处理，即对存储数据进行标示处理，以生成第二存储文件。该第二存储文件包括存储数据以及相应的第二标识数据。该第二标识数据设置在存储数据前，该第二标识数据包括未压缩处理标识。

第二存储文件的结构如图4所示，其中首字节的首位为未压缩处理标识，如可设置为0来表示未压缩。即第二优化处理模块74可直接在存储数据前设置一未压缩处理标识就完成了第二存储文件的生成过程。

最后存储模块75对第一优化处理模块73生成的第一存储文件和第二优化处理模块74生成的第二存储文件进行存储操作，并使用数据存储表记录第一存储文件以及第二存储文件的优化属性。这里的优化属性即使第一存储文件以及第二存储文件区别于未进行优化处理的存储数据，便于后续对第一存储文件以及第二存储文件进行读取操作。

这里的数据存储表用于记录数据存储过程中的数据存储参数，如是否进行优化处理等。当然存储模块也可在数据存储表中记录第一存储文件对应的存储数据的类型以及第二存储文件对应的存储数据的类型，这样可进一步方便对第一存储文件和第二存储文件进行快速读取操作。如该数据存储表可为记录数据库服务器对象的定义信息的元数据记录，可以系统表的形式(如*.frm文件)保存在数据库管理系统中。当然这里元数据记录可以可视化的方式记录在数据库管理系统中，即对所有的优化的存储文件进行可视化标记。

这样即完成了本优选实施例的数据存储装置70的数据存储过程。

本优选实施例的数据存储装置对存储数据进行选择性的压缩，因此提升了处理器资源使用率以及内存资源使用率。

本发明还提供一种数据读取装置，请参照图8，图8为本发明的数据读取装置的优选实施例的结构示意图。本优选实施例的数据读取装置80可使用上述的数据读取方法的优选实施例进行实施。该数据读取装置80包括存储文件获取模块81、标识数据读取模块82以及读取模块83。存储文件获取模块81用于获取存储文件，并判断存储文件在数据存储表中是否存在优化属性，其中具有优化属性的存储文件包括标识数据以及存储数据。标识数据读取模块82用于如存储文件获取模块81判断存储文件在数据存储表中存在优化属性，则读取存储文件的标识数据。读取模块83用于根据标识数据，对存储文件的存储数据进行读取操作；还用于如存储文件获取模块81判断存储文件在数据存储表中不存在优化属性，则直接对存储数据进行读取操作。

其中读取模块83包括标识数据判断单元831、第一读取单元832以及第二读取单元833。标识数据判断单元831用于判断标识数据的类型；第一读取单元832用于如标识数据判断单元831判断标识数据为第一标识数据，则根据第一标识数据，对存储数据进行解压缩处理，并对解压缩处理后的存储数据进行读取操作。第二读取单元833用于如标识数据判断单元831判断标识数据不是第一标识数据，则直接对存储文件的存储数据进行读取操作。

本优选实施例的数据读取装置80使用时，存储文件获取模块81获取存储文件，然后判断该存储文件在数据存储表中是否存在优化属性。具有优化属性的存储文件包括标识数据以及存储数据。其中数据存储表用于记录数据存储过程中的数据存储参数，如是否进行优化处理等。这里的优化属性为使优化处理后的存储文件区别于未进行优化处理的存储数据，便于对存储文件进行读取操作。

随后，如存储文件在数据存储表中未存在优化属性，则存储数据的类型不是优化类型，没有对存储数据进行优化操作。存储文件即存储数据，因此读取模块83直接对存储文件(存储数据)进行读取操作。

如存储文件在数据存储表中存在优化属性，则说明该存储文件进行了优化处理，标识数据读取模块82读取存储文件的标识数据。该标识数据包括存储文件的压缩处理标识、未压缩处理标识、压缩算法标识以及存储数据的长度标识。根据该标识数据可从存储文件中读取到存储数据。

最后读取模块83根据标识数据，对存储文件的存储数据进行读取操作，具体包括：

读取模块83的标识数据判断单元831判断标识数据的类型，即判断标识数据是第一标识数据、还是第二标识数据。判断标识数据的首字节的首位为压缩处理标识还是未压缩处理标识，如标识数据的首字节的首位为未压缩处理标识，则标识数据是第二标识数据，如标识数据的首字节的首位为压缩处理标识，则表示数据为第一标识数据。

如标识数据为第二标识数据，第二标识数据只包括未压缩处理标识，读取模块83的第二读取单元833可直接对存储文件的存储数据进行读取操作。

如标识数据为第一标识数据，第一标识数据包括压缩处理标识、压缩算法标识以及存储数据的长度标识。这样读取模块83的第一读取单元832可以根据压缩算法以及存储数据的长度标识对存储数据进行解压缩操作，并对解压缩处理后的存储数据进行读取操作。

优选的，可在数据存储表中记录存储文件对应的存储数据的类型，即读取模块83可从数据存储表中获取存储数据的类型，以进一步提升对存储文件中存储数据的读取速度。

这样即完成了本优选实施例的数据读取装置80的数据读取过程。

本优选实施例的数据读取装置可进行选择性的解压缩，提升了处理器资源使用率以及内存资源使用率。

下面通过一具体实施例说明本发明的数据存储方法的数据存储流程。请参照图9，图9为本发明的数据存储方法的具体实施例的流程图。其包括：

步骤S901，数据存储装置获取数据库服务器的存储数据的类型，随后转到步骤S902；

步骤S902，判断该存储数据的类型是否为优化类型；如果不是优化类型，则转到步骤S903；如果是优化类型，则转到步骤S904；

步骤S903，将存储数据直接存储为存储文件，随后转到步骤S904；

步骤S904，获取存储数据的最大字节长度，随后转到步骤S905；

步骤S905，判断存储数据的最大字节长度是否大于等于设定值，如存储数据的最大字节长度小于设定值，则转到步骤S906；如存储数据的最大字节长度大于等于设定值，则转到步骤S908；

步骤S906，生成标识数据，该标识数据包括未压缩处理标识，随后转到步骤S907；

步骤S907，将标识数据以及存储数据存储为存储文件；

步骤S908，生成标识数据，该标识数据包括压缩处理标识、压缩算法标识以及存储数据的长度标识，随后转到步骤S909；

步骤S909，采用相应的压缩算法对存储数据进行压缩处理，随后转到步骤S910；

步骤S910，将标识数据以及压缩处理后的存储数据存储为存储文件。

这样即完成了本具体实施例的数据存储过程。

下面通过一具体实施例说明本发明的数据读取方法的数据读取流程。请参照图10，图10为本发明的数据读取方法的具体实施例的流程图。其包括：

步骤S1001，数据读取装置获取数据库服务器的存储文件，随后转到步骤S1002；

步骤S1002，判断该存储文件是否具有优化属性(即该存储文件是否具有标识数据)，如不具有优化属性则转到步骤S1003；如具有优化属性则转到步骤S1004；

步骤S1003，数据读取装置直接读取存储文件中的存储数据；

步骤S1004，判断该存储文件的标识数据是否具有压缩处理标识，如不具有压缩处理标识，则转到步骤S1005；如具有压缩处理标识，则转到步骤S1006；

步骤S1005，数据读取装置读取标识数据之后的存储数据，即读取未压缩处理标识之后的存储数据；

步骤S1006，数据读取装置读取标识数据中的压缩算法标识以及存储数据的长度标识，随后转到步骤S1007；

步骤S1007，数据读取装置读取存储文件中的压缩后的存储数据，随后转到步骤S1008；

步骤S1008，使用步骤S1006确定的压缩算法以及存储数据的长度标识，对存储数据进行解压操作，随后转到步骤S1009；

步骤S1009，数据读取装置读取存储文件中的压缩后的存储数据。

这样即完成了本具体实施例的数据读取过程。

本发明的数据存储方法及数据存储装置对存储数据进行选择性的压缩，本发明的数据读取方法及数据读取装置可进行选择性的解压缩；因此提升了处理器资源使用率以及内存资源使用率；解决了现有的数据存储方法以及数据存储装置对数据页进行压缩的过程中，处理器资源和内存资源浪费较为严重；以及现有的数据读取方法以及数据读取装置对存储数据进行读取的过程中，处理器资源和内存资源浪费较为严重的技术问题。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (18)

1.一种数据存储方法，其特征在于，包括：

获取存储数据的类型，并判断所述存储数据的类型是否为优化类型；

如所述存储数据的类型为所述优化类型，则获取所述存储数据的最大字节长度；

如所述存储数据的最大字节长度大于等于设定值，则对所述存储数据进行第一优化处理，以生成第一存储文件，其中所述第一存储文件包括压缩处理后的存储数据以及相应的第一标识数据；

如所述存储数据的最大字节长度小于所述设定值，则对所述存储数据进行第二优化处理，以生成第二存储文件，其中所述第二存储文件包括所述存储数据以及相应的第二标识数据；以及

对所述第一存储文件以及所述第二存储文件进行存储操作，并使用数据存储表记录所述第一存储文件以及所述第二存储文件的优化属性。

2.根据权利要求1所述的数据存储方法，其特征在于，所述数据存储方法还包括：

如所述存储数据的类型不是所述优化类型，则直接对所述存储数据进行存储操作。

3.根据权利要求1所述的数据存储方法，其特征在于，所述数据存储方法还包括：

使用所述数据存储表记录所述第一存储文件对应的所述存储数据的类型，以及所述第二存储文件对应的所述存储数据的类型。

4.根据权利要求1所述的数据存储方法，其特征在于，所述第一标识数据包括压缩处理标识、压缩算法标识以及存储数据的长度标识，所述第二标识数据包括未压缩处理标识。

5.根据权利要求1所述的数据存储方法，其特征在于，所述对所述存储数据进行第一优化处理，以生成第一存储文件的步骤包括：

根据处理器资源使用率以及系统输入输出性能，确定压缩算法；以及

使用所述压缩算法对所述存储数据进行压缩处理，以生成第一存储文件。

6.一种数据读取方法，其特征在于，包括：

获取存储文件，并判断所述存储文件在数据存储表中是否存在优化属性，其中具有所述优化属性的存储文件包括所述标识数据以及存储数据；

如所述存储文件在所述数据存储表中存在所述优化属性，则读取所述存储文件的标识数据；以及

根据所述标识数据，对所述存储文件的存储数据进行读取操作；

其中所述对所述存储文件的存储数据进行读取操作的步骤包括：

判断所述标识数据的类型；

如所述标识数据为所述第一标识数据，则根据所述第一标识数据，对所述存储数据进行解压缩处理，并对所述解压缩处理后的所述存储数据进行读取操作；以及

如所述标识数据为第二标识数据，则直接对所述存储文件的存储数据进行读取操作。

7.根据权利要求6所述的数据读取方法，其特征在于，所述数据读取方法还包括：

如所述存储文件在所述数据存储表中不存在所述优化属性，则直接对所述存储数据进行读取操作。

8.根据权利要求6所述的数据读取方法，其特征在于，所述数据读取方法还包括：

从所述数据存储表获取所述存储数据的类型。

9.根据权利要求6所述的数据读取方法，其特征在于，所述第一标识数据包括压缩处理标识、压缩算法标识以及存储数据的长度标识，所述第二标识数据包括未压缩处理标识。

10.一种数据存储装置，其特征在于，包括：

类型获取模块，用于获取存储数据的类型，并判断所述存储数据的类型是否为优化类型；

字节长度获取模块，用于获取所述存储数据的最大字节长度；

第一优化处理模块，用于对所述存储数据进行第一优化处理，以生成第一存储文件，其中所述第一存储文件包括压缩处理后的存储数据以及相应的第一标识数据；

第二优化处理模块，用于对所述存储数据进行第二优化处理，以生成第二存储文件，其中所述第二存储文件包括所述存储数据以及相应的第二标识数据；以及

存储模块，用于对所述第一存储文件以及所述第二存储文件进行存储操作，并使用数据存储表记录所述第一存储文件以及所述第二存储文件的优化属性。

11.根据权利要求10所述的数据存储装置，其特征在于，所述存储模块还用于如所述类型获取模块获取所述存储数据的类型不是所述优化类型，则直接对所述存储数据进行存储操作。

12.根据权利要求10所述的数据存储装置，其特征在于，所述存储模块还用于使用所述数据存储表记录所述第一存储文件对应的所述存储数据的类型，以及所述第二存储文件对应的所述存储数据的类型。

13.根据权利要求10所述的数据存储装置，其特征在于，所述第一标识数据包括压缩处理标识、压缩算法标识以及存储数据的长度标识，所述第二标识数据包括未压缩处理标识。

14.根据权利要求10所述的数据存储装置，其特征在于，所述第一优化处理模块包括：

算法确定单元，用于根据处理器资源使用率以及系统输入输出性能，确定压缩算法；以及

存储文件生成单元，用于使用所述压缩算法对所述存储数据进行压缩处理，以生成第一存储文件。

15.一种数据读取装置，其特征在于，包括：

存储文件获取模块，用于获取存储文件，并判断所述存储文件在所述数据存储表中是否存在优化属性，其中具有所述优化属性的存储文件包括所述标识数据以及存储数据；

标识数据读取模块，用于如所述存储文件获取模块判断所述存储文件在所述数据存储表中存在所述优化属性，则读取所述存储文件的标识数据；以及

读取模块，用于根据所述标识数据，对所述存储文件的存储数据进行读取操作；

其中所述读取模块包括：

标识数据判断单元，用于判断所述标识数据的类型；

第一读取单元，用于如所述标识数据判断单元判断所述标识数据为所述第一标识数据，则根据所述第一标识数据，对所述存储数据进行解压缩处理，并对所述解压缩处理后的所述存储数据进行读取操作；以及

第二读取单元，用于如所述标识数据判断单元判断所述标识数据不是所述第一标识数据，则直接对所述存储文件的存储数据进行读取操作。

16.根据权利要求15所述的数据读取装置，其特征在于，所述读取模块还用于如所述存储文件获取模块判断所述存储文件在所述数据存储表中不存在所述优化属性，则直接对所述存储数据进行读取操作。

17.根据权利要求15所述的数据读取装置，其特征在于，所述读取模块还用于从所述数据存储表获取所述存储数据的类型。

18.根据权利要求15所述的数据读取装置，其特征在于，所述第一标识数据包括压缩处理标识、压缩算法标识以及存储数据的长度标识，所述第二标识数据包括未压缩处理标识。