CN103885721B - 一种在键‑值系统中的数据存储或读取方法、装置 - Google Patents

Abstract

本申请公开了一种在键‑值系统中的数据存储或读取方法、装置。该方法包括：对于每一个键，将该键对应的所有字段取值，按照预设的存储结构合并存储为一个取值；确定该键的所有字段对应的所有时间戳信息中最新的时间戳信息；在一行中存储该键、合并存储后的所述一个取值、以及该键的所有字段对应的所有时间戳信息中最新的时间戳信息。应用本发明能够提高数据的写入速度并节省存储空间，和/或提高数据的读取速度和效率。

Description

一种在键-值系统中的数据存储或读取方法、装置

技术领域

本申请涉及数据存储技术领域，尤其涉及一种在键-值（Key-Value）系统中的数据存储或读取方法、装置。

背景技术

Key-Value系统是当下比较流行的存储系统，其在构建诸如搜索引擎、即时通讯（IM）服务器、点对点（P2P）服务器、游戏服务器等大型互联网应用服务器、以及提供云计算服务时经常用到。

在Key-Value系统中，每一行数据存储了一个键（Key）、该键对应的一个值（Value）以及相应的时间戳（timestamp）信息，当一个Key对应有多个字段取值时，目前的Key-Value系统会存储多个行，每行分别存储Key以及该Key的一个字段的名称、取值以及相应的时间戳信息，具体请参见表一。

表一

Key	字段1的字段名	字段1的时间戳	字段1的取值
				Key	字段2的字段名	字段2的时间戳	字段2的取值
Key	字段3的字段名	字段3的时间戳	字段3的取值

表一中，第一列存储某个Key，该Key对应了三个字段，对应每个字段的信息都需要存储一行，即每一行存储了该Key、该Key对应的一个字段的字段名、时间戳和取值。

可见，在目前的Key-Value系统中，如果一个Key对应有多个字段取值，将会存储多个行，每行均存储该Key、并且都会存储时间戳信息。因此，在写入数据时，同一个key需要重复写入多次，并且需要写入多次时间戳信息以及字段名称信息，这将极大地降低数据写入的效率，还将导致存储空间消耗非常快；在读取数据时，同一个key需要读取多次，并且读取多次时间戳信息和字段名称信息，由于读取了过多的冗余信息从而降低了读取的效率，数据读取速度较慢，最终导致系统响应时间变慢。

发明内容

有鉴于此，本申请提供了一种在键-值系统中的数据存储或读取方法、装置，能够提高数据的写入速度并节省存储空间，和/或提高数据的读取速度和效率。

一种在键-值系统中的数据存储方法，该方法包括：

对于每一个键，将该键对应的所有字段取值，按照预设的存储结构合并存储为一个取值；

确定该键的所有字段对应的所有时间戳信息中最新的时间戳信息；

在一行中存储该键、合并存储后的所述一个取值、以及该键的所有字段对应的所有时间戳信息中最新的时间戳信息。

一种在键-值系统中的数据读取方法，该方法包括：

获取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息；

从一行中读取一个键、该键的一个取值、以及该键的时间戳信息，所述时间戳信息为该键的所有字段对应的所有时间戳信息中最新的时间戳信息；

根据获取的存储结构信息，对读取的所述一个取值进行解析，得到该键对应的每个字段的取值，将读取的所述时间戳信息确定为该键对应的每个字段的时间戳信息。

一种在键-值系统中的数据存储装置，该装置包括合并模块、时间戳确定模块和存储模块；

所述合并模块，用于对于每一个键，将该键对应的所有字段取值，按照预设的存储结构合并存储为一个取值；

所述时间戳模块，用于确定该键的所有字段对应的所有时间戳信息中最新的时间戳信息；

所述存储模块，用于在一行中存储该键、合并存储后的所述一个取值、以及该键的所有字段对应的所有时间戳信息中最新的时间戳信息。

一种在键-值系统中的数据读取装置，该装置包括获取模块、读取模块和解析模块；

所述获取模块，获取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息；

所述读取模块，用于从一行中读取一个键、该键的一个取值、以及该键的时间戳信息，所述时间戳信息为该键的所有字段对应的所有时间戳信息中最新的时间戳信息；

所述解析模块，用于根据获取的存储结构信息，对读取的所述一个取值进行解析，得到该键对应的每个字段的取值，将读取的所述时间戳信息确定为该键对应的每个字段的时间戳信息。

可见，本发明中，当一个键对应多个字段取值时，将该键对应的所有字段取值，按照预设的存储结构合并存储为一个取值，在一行中存储该键、以及合并存储后的所述一个取值，并且对于时间戳信息，也是在该行中仅存储所有字段对应的所有时间戳信息中最新的时间戳信息，由于不需要像现有技术那样存储多行，并且每行都写入该键、以及相应的字段名称以及时间戳信息，因此能够明显地提高写入速度并节省存储空间。

相应地，由于只读取一行信息，就可以根据预设的存储结构从读取的一个取值中解析出各个字段的取值，并且只需要读取一个时间戳信息就可以确定各个字段的时间戳，因此能够大大提高数据读取速度和效率。

附图说明

图1是本发明提供的在Key-Value系统中的数据存储方法流程图。

图2是本发明提供的在Key-Value系统中的数据读取方法流程图。

图3是本发明提供的在Key-Value系统中的数据存储装置结构图。

图4是本发明提供的在Key-Value系统中的数据读取装置结构图。

具体实施方式

图1是本发明提供的在Key-Value系统中的数据存储方法流程图。

如图1所示，该方法包括：

步骤101，对于每一个键，将该键对应的所有字段取值，按照预设的存储结构合并存储为一个取值。

步骤102，确定该键的所有字段对应的所有时间戳信息中最新的时间戳信息。

步骤103，在一行中存储该键、合并存储后的所述一个取值、以及该键的所有字段对应的所有时间戳信息中最新的时间戳信息。

本发明对图1中各个步骤的先后顺序不做限定，只要保证上述各个步骤均被执行即可。

以表一为例，当采用图1的方法存储表一中的Key的相关信息时，所得到的存储结构将如表二所示。

表二

其中，当一个键的所有字段中有任一字段的取值更新时，都需要更新合并存储后的所述一个取值，并更新所述最新的时间戳信息。

其中，可以将所述预设的存储结构的信息存储在预设位置，从而便于读取数据时，从所述预设位置读取所述存储结构的信息，进而根据读取的存储结构信息从由所有字段取值合并存储得到的一个取值中解析出每个字段的取值。

当然，所述预设的存储结构信息也可以采用其他方法使得数据存储端和数据读取端均知晓，从而根据预设的存储结构进行数据的存储和读取。

图2是本发明提供的在Key-Value系统中的数据读取方法流程图，其能够读取采用图1所示方法存储的数据。

具体地，该读取流程包括：

步骤201，获取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息。

本步骤中，可以从预设位置处读取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息。

步骤202，从一行中读取一个键、该键的一个取值、以及该键的时间戳信息，所述时间戳信息为该键的所有字段对应的所有时间戳信息中最新的时间戳信息。

步骤203，根据获取的存储结构信息，对读取的所述一个取值进行解析，得到该键对应的每个字段的取值，将读取的所述时间戳信息确定为该键对应的每个字段的时间戳信息。

图1所示方法中，将所有字段的取值按照预设的存储结构合并存储为一个取值具体可以包括：

将不同字段的取值，按照不同的存储类型进行存储，并且，各个字段的取值按照预设顺序依次存储。

例如，在第一个例子中，某个Key有三个字段，字段1的存储类型为int型、字段2的存储类型为long型、字段3的存储类型为string型，按照字段1、字段2和字段3的顺序依次存储字段1至字段3。

相应地，图2所述方法中，对读取的一个取值进行解析时，可以按照字段的取值之间的存储顺序，根据每个字段的存储类型，依次解析出每个字段的取值。

继续第一个例子，由于int型的数据占用4个字节，long型的数据占用8个字节，因此，可以先解析前4个字节的数据，这前4个字节的数据即为字段1的取值，再解析8个字节的数据，这8个字节的数据即为字段2的取值，最后解析剩余的数据，剩余的数据即为字段3的取值。

图1所示方法中，在将不同字段的取值，按照不同的存储类型进行存储，并且，各个字段的取值按照预设顺序依次存储时，为了能够区分各个不同的字段的取值，可以在任何两个不同字段的取值之间均设置有分隔符，相应地，在读取数据时，按照各个字段的取值之间的存储顺序，根据不同字段的取值之间设置的分隔符、以及每个字段的存储类型，从读取的由所有字段取值合并存储得到的一个取值中解析出每个字段的取值。

为了进一步节省存储空间，本发明还提出了以下两种将所有字段取值合并存储为一个取值的存储方式：

存储方式一，先存储占用固定存储空间大小的存储类型对应的字段取值，且占用固定存储空间大小的不同存储类型对应的不同字段取值之间不设置分隔符，然后存储占用可变存储空间大小的存储类型对应的字段取值，且占用可变存储空间大小的不同存储类型对应的不同字段取值之间设置有分隔符。

例如，在第二个例子中，某个Key对应有4个字段，字段1的存储类型为int型、字段2的存储类型为long型、字段3和字段4的存储类型均为string型，当按照存储方式一合并字段1到字段4的取值时，所得到的合并结果如表三所示：

表三

字段1取值

字段2取值

字段3取值

分隔符

字段4取值

存储方式二，先存储占用可变存储空间大小的存储类型对应的字段取值，且占用可变存储空间大小的存储类型对应的字段取值的结尾处设置有分隔符，然后存储占用固定存储空间大小的存储类型对应的字段取值，且占用固定存储空间大小的不同存储类型对应的不同字段取值之间不设置分隔符。

继续第二个例子，当采用存储方式二合并字段1到字段4的取值时，所得到的合并结果如表四所示：

表四

字段3取值

分隔符

字段4取值

分隔符

字段1取值

字段2取值

当采用存储方式一或存储方式二对所有字段取值进行合并存储时，相应地读取方式为：

读取方式一，按照各个字段的取值之间的存储顺序，先根据占用的存储空间大小，依次读取占用固定存储空间大小的不同存储类型对应的不同字段的取值，然后根据占用可变存储空间大小的不同存储类型对应的不同字段取值之间设置的分隔符，依次读取占用可变存储空间大小的不同存储类型对应的不同字段的取值。

以表三为例，首先截取第1字节到第4字节的数据，按照int型数据对第一字节到第4字节的数据进行解析，将解析结果确定为字段1的取值，然后截取第5字节到12字节的数据，按照long型数据对第5字节到第12字节的数据进行解析，将解析结果确定为字段2的取值，然后从第13字节开始读取数据直至读取到分隔符为止，将从13字节开始一直到分隔符之间读取的数据按照string型数据进行解析，将解析结果确定为字段3的取值，最后从分隔符开始继续读取数据直至所有数据读取完毕，将从所述分隔符之后读取的数据按照string型数据进行解析，将解析结果确定为字段4的取值。

读取方式二，按照各个字段的取值之间的存储顺序，先根据占用可变存储空间大小的存储类型对应的字段取值结尾处设置的分隔符，依次读取占用可变存储空间大小的不同存储类型对应的不同字段的取值，然后根据占用的存储空间大小，依次读取占用固定存储空间大小的不同存储类型对应的不同字段的取值。

为了能够与现有技术中的Key-Value系统的存储结构相兼容，除了存储Key、所述最新的时间戳信息和所述合并存储后的一个取值以外，还可以进一步在用于存储Key对应的字段的字段名称的存储空间内，即在表一中第二列的存储空间内，写入该Key对应的所有字段中任一字段的字段名称、或其他预设值，所述其他预设值也可以为空。此时，具体的存储结构参见表五。

表五

当采用表五的存储结构时，第二列中的信息并没有实际意义，因此，在读取该行信息以后，对于第二列中的信息也可以不解析。

根据本发明提供的数据存储方法和数据读取方法，本发明还提供了相应的数据存储装置和数据读取装置，具体请参见图3和图4。

图3是本发明提供的在Key-Value系统中的数据存储装置结构图。

如图3所示，该存储装置包括合并模块301、时间戳确定模块302和存储模块303。

合并模块301，用于对于每一个键，将该键对应的所有字段取值，按照预设的存储结构合并存储为一个取值。

时间戳模块302，用于确定该键的所有字段对应的所有时间戳信息中最新的时间戳信息。

存储模块303，用于在一行中存储该键、合并存储后的所述一个取值、以及该键的所有字段对应的所有时间戳信息中最新的时间戳信息。

其中的合并模块302，用于将不同字段的取值，按照不同的存储类型进行存储，并且，各个字段的取值按照预设顺序依次存储。

合并模块302，具体可以用于在任何两个不同字段的取值之间均设置有分隔符，或者，先存储占用固定存储空间大小的存储类型对应的字段取值，且占用固定存储空间大小的不同存储类型对应的不同字段取值之间不设置分隔符，然后存储占用可变存储空间大小的存储类型对应的字段取值，且占用可变存储空间大小的不同存储类型对应的不同字段取值之间设置有分隔符，或者，先存储占用可变存储空间大小的存储类型对应的字段取值，且占用可变存储空间大小的存储类型对应的字段取值的结尾处设置有分隔符，然后存储占用固定存储空间大小的存储类型对应的字段取值，且占用固定存储空间大小的不同存储类型对应的不同字段取值之间不设置分隔符。

存储模块303，还可以用于将预设存储结构的信息存储在预设位置。

存储模块303，还用于当该键的所有字段中有任一字段的取值更新时，更新合并存储后的所述一个取值，并更新所述最新的时间戳信息。

图4是本发明提供的在Key-Value系统中的数据读取装置结构图。

如图4所示，该装置包括获取模块401、读取模块402和解析模块403。

获取模块401，获取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息。

读取模块402，用于从一行中读取一个键、该键的一个取值、以及该键的时间戳信息，所述时间戳信息为该键的所有字段对应的所有时间戳信息中最新的时间戳信息。

解析模块403，用于根据获取的存储结构信息，对读取的所述一个取值进行解析，得到该键对应的每个字段的取值，将读取的所述时间戳信息确定为该键对应的每个字段的时间戳信息。

获取模块401，用于从预设位置处读取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息。

解析模块403，具体可以用于按照各个字段的取值之间的存储顺序，根据不同字段的取值之间设置的分隔符、以及每个字段的存储类型，从读取的所述一个取值中解析出每个字段的取值，或者，按照各个字段的取值之间的存储顺序，先根据占用的存储空间大小，依次读取占用固定存储空间大小的不同存储类型对应的不同字段的取值，然后根据占用可变存储空间大小的不同存储类型对应的不同字段取值之间设置的分隔符，依次读取占用可变存储空间大小的不同存储类型对应的不同字段的取值，或者，按照各个字段的取值之间的存储顺序，先根据占用可变存储空间大小的存储类型对应的字段取值结尾处设置的分隔符，依次读取占用可变存储空间大小的不同存储类型对应的不同字段的取值，然后根据占用的存储空间大小，依次读取占用固定存储空间大小的不同存储类型对应的不同字段的取值。

可见，本发明减少了在Key-Value系统中存储多字段的Key所需的存储空间，从而降低了存储系统的存储成本。并且，由于本发明节省了存储空间并减少了冗余数据的存储数量，因此也提高了系统的读取效率，降低了数据读取的时延。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种在键-值系统中的数据存储方法，其特征在于，该方法包括：

对于每一个键，将该键对应的所有字段取值，按照预设的存储结构合并存储为一个取值；

确定该键的所有字段对应的所有时间戳信息中最新的时间戳信息；

在一行中存储该键、合并存储后的所述一个取值、以及该键的所有字段对应的所有时间戳信息中最新的时间戳信息；

其中，按照预设的存储结构合并存储为一个取值包括：将不同字段的取值，按照不同的存储类型进行存储，并且，各个字段的取值按照预设顺序依次存储；

各个字段的取值按照预设顺序依次存储包括：

任何两个不同字段的取值之间均设置有分隔符；

或者，先存储占用固定存储空间大小的存储类型对应的字段取值，且占用固定存储空间大小的不同存储类型对应的不同字段取值之间不设置分隔符，然后存储占用可变存储空间大小的存储类型对应的字段取值，且占用可变存储空间大小的不同存储类型对应的不同字段取值之间设置有分隔符；

或者，先存储占用可变存储空间大小的存储类型对应的字段取值，且占用可变存储空间大小的存储类型对应的字段取值的结尾处设置有分隔符，然后存储占用固定存储空间大小的存储类型对应的字段取值，且占用固定存储空间大小的不同存储类型对应的不同字段取值之间不设置分隔符。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：将预设存储结构的信息存储在预设位置。

3.根据权利要求1所述的方法，其特征在于，该方法还包括：当该键的所有字段中有任一字段的取值更新时，更新合并存储后的所述一个取值，并更新所述最新的时间戳信息。

4.根据权利要求1所述的方法，其特征在于，该方法还包括：

在用于存储键对应的字段的字段名称的存储空间内，写入该键对应的所有字段中任一字段的字段名称、或其他预设值。

5.一种在键-值系统中的数据读取方法，其特征在于，该方法包括：

获取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息；

从一行中读取一个键、该键的一个取值、以及该键的时间戳信息，所述时间戳信息为该键的所有字段对应的所有时间戳信息中最新的时间戳信息；

根据获取的存储结构信息，对读取的所述一个取值进行解析，得到该键对应的每个字段的取值，将读取的所述时间戳信息确定为该键对应的每个字段的时间戳信息；

其中，根据获取的存储结构信息，对读取的所述一个取值进行解析，得到该键对应的每个字段的取值包括：

按照各个字段的取值之间的存储顺序，根据不同字段的取值之间设置的分隔符、以及每个字段的存储类型，从读取的所述一个取值中解析出每个字段的取值；

或者，按照各个字段的取值之间的存储顺序，先根据占用的存储空间大小，依次读取占用固定存储空间大小的不同存储类型对应的不同字段的取值，然后根据占用可变存储空间大小的不同存储类型对应的不同字段取值之间设置的分隔符，依次读取占用可变存储空间大小的不同存储类型对应的不同字段的取值；

或者，按照各个字段的取值之间的存储顺序，先根据占用可变存储空间大小的存储类型对应的字段取值结尾处设置的分隔符，依次读取占用可变存储空间大小的不同存储类型对应的不同字段的取值，然后根据占用的存储空间大小，依次读取占用固定存储空间大小的不同存储类型对应的不同字段的取值。

6.根据权利要求5所述的方法，其特征在于，获取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息包括：

从预设位置处读取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息。

7.一种在键-值系统中的数据存储装置，其特征在于，该装置包括合并模块、时间戳确定模块和存储模块；

所述合并模块，用于对于每一个键，将该键对应的所有字段取值，按照预设的存储结构合并存储为一个取值；

所述时间戳模块，用于确定该键的所有字段对应的所有时间戳信息中最新的时间戳信息；

所述存储模块，用于在一行中存储该键、合并存储后的所述一个取值、以及该键的所有字段对应的所有时间戳信息中最新的时间戳信息；

具体地，所述合并模块，用于将不同字段的取值，按照不同的存储类型进行存储，并且，还用于在任何两个不同字段的取值之间均设置有分隔符，或者，先存储占用固定存储空间大小的存储类型对应的字段取值，且占用固定存储空间大小的不同存储类型对应的不同字段取值之间不设置分隔符，然后存储占用可变存储空间大小的存储类型对应的字段取值，且占用可变存储空间大小的不同存储类型对应的不同字段取值之间设置有分隔符，或者，先存储占用可变存储空间大小的存储类型对应的字段取值，且占用可变存储空间大小的存储类型对应的字段取值的结尾处设置有分隔符，然后存储占用固定存储空间大小的存储类型对应的字段取值，且占用固定存储空间大小的不同存储类型对应的不同字段取值之间不设置分隔符。

8.根据权利要求7所述的装置，其特征在于，

所述存储模块，还用于将预设存储结构的信息存储在预设位置。

9.根据权利要求7所述的装置，其特征在于，

所述存储模块，用于当该键的所有字段中有任一字段的取值更新时，更新合并存储后的所述一个取值，并更新所述最新的时间戳信息。

10.一种在键-值系统中的数据读取装置，其特征在于，该装置包括获取模块、读取模块和解析模块；

所述获取模块，获取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息；

所述读取模块，用于从一行中读取一个键、该键的一个取值、以及该键的时间戳信息，所述时间戳信息为该键的所有字段对应的所有时间戳信息中最新的时间戳信息；

所述解析模块，用于根据获取的存储结构信息，对读取的所述一个取值进行解析，得到该键对应的每个字段的取值，将读取的所述时间戳信息确定为该键对应的每个字段的时间戳信息；

其中，所述解析模块，具体用于按照各个字段的取值之间的存储顺序，根据不同字段的取值之间设置的分隔符、以及每个字段的存储类型，从读取的所述一个取值中解析出每个字段的取值，或者，按照各个字段的取值之间的存储顺序，先根据占用的存储空间大小，依次读取占用固定存储空间大小的不同存储类型对应的不同字段的取值，然后根据占用可变存储空间大小的不同存储类型对应的不同字段取值之间设置的分隔符，依次读取占用可变存储空间大小的不同存储类型对应的不同字段的取值，或者，按照各个字段的取值之间的存储顺序，先根据占用可变存储空间大小的存储类型对应的字段取值结尾处设置的分隔符，依次读取占用可变存储空间大小的不同存储类型对应的不同字段的取值，然后根据占用的存储空间大小，依次读取占用固定存储空间大小的不同存储类型对应的不同字段的取值。

11.根据权利要求10所述的装置，其特征在于，

所述获取模块，用于从预设位置处读取用于将一个键对应的所有字段取值合并存储为一个取值的存储结构信息。