CN111881138A - 一种数据存储方法及装置 - Google Patents

Abstract

本发明公开了一种数据存储方法及装置，其中方法包括：基于数据库中存储的各历史数据的存储日期确定存储时间；在各历史数据的存储时间超过预设时间的情况下，以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据；将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记；按照预定的存储方式将所述合并后的数据以及所述映射标存储至所述数据库中。本发明通过根据历史数据库中历史数据的存储时间，来对超过预设时间的历史数据进行合并压缩，由此能够减小占用的存储空间。

Description

一种数据存储方法及装置

技术领域

本发明涉及数据存储技术领域，特别涉及一种数据存储方法及装置。

背景技术

目前，非关系型的数据库(NoSQL)中，分布式的、面向列的开源数据库(HBase)以其基于日志结构合并树(Log-Structured Merge-Tree，LSM)、预写日志(Write Ahead Log，WAL)以及HFile的多层结构实现对数据的高吞吐量写入性能；同时通过刷新(flush)和合并(compaction)机制，来实现数据落盘及数据文件压缩，在保证高写入性能、持久化的前提下尽可能地提升读性能。

但是，现有技术中在保存数据过程中采用标识映射日期的方式，比如标识某个用户是否在某天登录过账号，或者某个域名是否指向某个IP等。在数据量比较少的情况下，可以通过保存全量记录的方式来设计存储。当数据量大的时候，比如有亿级以上域名与亿级以上IP映射的时候，每天都保存全量记录的方式会造成存储空间占有较大|、查询开销较大的问题。并且在对数据库中存储的数据进行更新时，由于需要先进行查询，因此造成查询操作的开销较大的问题

发明内容

本发明实施例的目的在于提供一种数据存储方法，用于解决现有技术中的数据存储占用存储空间较大的问题。

为了解决上述技术问题，本申请的实施例采用了如下技术方案：一种数据存储方法，包括如下步骤：

基于数据库中存储的各历史数据的存储日期确定存储时间；

在各历史数据的存储时间超过预设时间的情况下，以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据；

将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记；

按照预定的存储方式将所述合并后的数据以及所述映射标存储至所述数据库中。

可选的，所述方法还包括：实时获取待存储的目标数据以及所述目标数据的存储日期；

按照预设的存储格式将所述目标数据以及所述存储日期存储至所述数据库中。

可选的，所述方法还包括：对所述合并后的数据进行压缩，获得压缩后的数据。

可选的，所述预定周期为年；

所述以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据，具体包括：

以年为单位将各所述历史数据进行合并，获得合并后的数据。

可选的，将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记，具体包括：

创建包含48个字节的字节数组；其中每个字节包含8个比特位；

基于各所述历史数据的存储日期，确定所述字节数组中与各所述历史数据的存储日期对应的比特位，以作为目标比特位；

将所述目标比特位的值设置为第一预设值，将非目标比特位的值设置为第二预设值，以获得所述映射标记。

可选的，所述基于各所述历史数据的存储日期，确定所述字节数组中与各所述历史数据的存储日期对应的比特位，以作为目标比特位，具体包括：

基于各所述历史数据的存储日期的月份值和天数值确定目标字节；

基于各所述历史数据的存储日期的天数值确定所述目标字节中的目标比特位。

可选的，所述方法还包括：删除经过合并后的历史数据。

为解决上述问题，本申请提供一种数据存储装置，包括：

确定模块，用于基于数据库中存储的各历史数据的存储日期确定存储时间；

第一合并模块，用于在各历史数据的存储时间超过预设时间的情况下，以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据；

第二合并模块，用于将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记；

第一存储模块，用于按照预定的存储方式将所述合并后的数据以及所述映射标存储至所述数据库中。

可选的，所述装置还包括：获取模块，用于实时获取待存储的目标数据以及所述目标数据的存储日期；

第二存储模块，用于按照预设的存储格式将所述目标数据以及所述存储日期存储至所述数据库中。

可选的，所述装置还包括压缩模块，用于对所述合并后的数据进行压缩，获得压缩后的数据。

本发明通过根据历史数据库中历史数据的存储时间，来对超过预设时间的历史数据进行合并压缩，由此能够减小占用的存储空间。

附图说明

图1为本发明实施例一种数据存储方法的流程图；

图2为本发明又一实施例数据存储装置的结构框图。

具体实施方式

此处参考附图描述本申请的各种方案以及特征。

应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。

本发明实施例提供一种数据存储方法，可以应用与HBase及其他基于LSM树的数据库中，如图1所示，具体包括如下步骤：

步骤S101，基于数据库中存储的各历史数据的存储日期确定存储时间；

本步骤在具体实施过程中具体是根据各历史数据的存储日期以及当前的日期，来确定各历史数据的存储时间的。

步骤S102，在各历史数据的存储时间超过预设时间的情况下，以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据；

本步骤中存储时间可以根据实际需要进行设定，比如设定为1个月、3个月或者半年。当设定的存储时间为1个月的情况下，当一个历史数据的存储日期为20191001时，另外一个历史数据的存储时间为20191002，而当前日期为20191103时，就可以确定该两个历史数据的存储时间超过一个月，那么就可以将以预定的时间周期为单位将超过存储时间的历史数据进行合并，获得合并后的数据。

本步骤中预定的时间周期也可以根据需要进行设定，比如设定为4个月，即将一年12个月份划分为3个月区间，1月份-4月份、5月份-8月份以及9月份-12月份，按照该月份区间将存储日期属于同一月份区间的历史数据进行合并；或者也可以以一年为单位将属于同一年份的历史数据进行合并。

步骤S103，将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记；

本步骤中映射标记具体为字节数组形式，包含与每一天对应的比特位，通过各历史数据的存储日期就可以确定出映射标记中与各存储日期对应的比特位，然后将确定出的这些比特位的值设置为第一预设值，用于标记该日期有历史存储数据。

步骤S104，按照预定的存储方式将所述合并后的数据以及所述映射标存储至所述数据库中。

本步骤在进行存储时，可以以<row，year，bytes>这种格式进行存储，其中，row即为健，表示合并后的数据；year为年，用于表示数据所属的年份；bytes即为值，表示字节数组形式的映射标记。

本发明又一实施例提供一种数据存储方法，包括如下步骤：

步骤S201，实时获取待存储的目标数据以及所述目标数据的存储日期；

本步骤中的目标数据具体可以包括域名-IP映射关系，即某个域名在某天是否指向某个IP，也可以包括用户登录日期，即某个用户在某天是否登录成功过某网站。

步骤S202，按照预设的存储格式将所述目标数据以及所述存储日期存储至所述数据库中。

本步骤在具体实施过程中，可以按照如下格式来对目标数据以及所述存储日期进行存储，<Row键，column日期，value值>，即将column作为列、value作为值写入到行键为row的记录中。例如<Tom，20191002，1>，其中Tom表示目标数据，20191002表示存储日期，值1为占位标识，表示该存储日期有对应的目标数据。

步骤S203，基于数据库中存储的各历史数据的存储日期确定存储时间；

步骤S204，在各历史数据的存储时间超过预设时间的情况下，以年为单位将各所述历史数据进行合并，获得合并后的数据；

本步骤在具体实施过程中，合并操作可以通过提取快照数据进行处理。

步骤S205，创建包含48个字节的字节数组；其中每个字节包含8个比特位；基于各所述历史数据的存储日期，确定所述字节数组中与各所述历史数据的存储日期对应的比特位，以作为目标比特位；将所述目标比特位的值设置为第一预设值，将非目标比特位的值设置为第二预设值，以获得所述映射标记。

本步骤在确定字节数组中与各所述历史数据的存储日期对应的比特位目标比特位时，具体可以采用如下方式：将存储日期的年份、月份、天数分别提取出来，设为year、month、day，基于各所述历史数据的存储日期的月份值和天数值确定目标字节；基于各所述历史数据的存储日期的天数值确定所述目标字节中的目标比特位。

例如，存储日期为20191002，那么月份值为10，天数值为2，然后基于该月份值和该天数值利用第一计算公式index＝(month-1)*4+(day-1)/8来计算获得目标字节，即目标字节为36。在该第一计算公式中，*表示乘法操作，/表示整除操作，index表示目标字节数，month表示月份值，day表示天数值。再确定了目标字节后，就可以基于该天数值利用第二计算公式offset＝(day-1)％8来计算获得目标字节中的目标比特位，即计算获得目标比特位为1。在该第二计算公式中，offse表示目标比特位数，％表示求余操作，day表示天数值。

本步骤中在确定了目标比特位后，就可以将字节数组中各目标比特位的值设置成第一预设值，例如设置成1，用于表示该比特位对应的存储日期有历史存储数据；将字节数组的各非目标比特位的值设置成第二预设值，例如设置成0，用于表示该比特位对应的存储日期没有历史存储数据。本步骤中通过建立映射标记能够快速的确定出某个日期是否有历史数据，有利于提高对历史数据的查找效率。

步骤S206，将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记；

步骤S207，删除经过合并后的历史数据。

本步骤中在历史数据经过合并后，就可以将之前存储的历史数据进行删除，以此来释放存储空间。

本实施例中在具体实施过程中，还可以对所述合并后的数据进行压缩，获得压缩后的数据。具体的可以通过使用HBase快照执行压缩，以此来减少压缩时对数据库性能的影响，同时不会与实时写入记录有冲突。压缩之后的数据可以批量写入或加载进原表。

本发明实施例，在将历史数据以年为单位进行合并、压缩存储后，当需要查询某一年的记录时，就可以通过查询该行的所有以该年度作为前缀的列值，则会出现如下两种情况。

1)如果列的长度为4，即为年份year，则值为字节数组bytes。确定字节数组中比特位为第一预设值的位为目标比特位，并确定目标比特位所位于的字节为目标字节，然后基于目标比特位的位数值以及目标字节的数值，确定映射日期，进而就可以确定该映射日期对应存储有历史数据，例如存储有关于访问记录的历史数据。具体可以通过如下第三公式和第三公式来计算月份值month和天数值day，由此来获得映射日期。

第三计算公式：month＝index/4+1，其中index表示目标字节数，/表示整除操作。

第四计算公式：day＝(index％4)*8+offset+1，index表示目标字节数，offse表示目标比特位数，％表示求余操作，*表示乘法操作。

2)如果列的长度为8，即为日期。则该日期即为映射日期。

本发明实施例通过将映射标记设置为字节数组的方式，可以实现将一年的日期映射标记合并为一个值，实现记录数和存储空间的高度压缩。通过实时写入日期记录来对数据进行存储，而不是对字节数组进行更新，可以避免对性能影响较大的查询操作。通过使用HBase快照执行压缩，可以减少压缩时对数据库性能的影响，同时不会与实时写入记录有冲突。压缩之后的数据可以批量写入或加载进原表。本发明实施，在将历史数据压缩合并后，还可以实现历史数据的压缩整理，并且在查询数年的映射记录时，不会涉及太多的数据库记录，由此实现历史映射记录的高效查询。

本发明另一实施例提供一种数据存储装置，如图2所示，包括：

确定模块1，用于基于数据库中存储的各历史数据的存储日期确定存储时间；

第一合并模块2，用于在各历史数据的存储时间超过预设时间的情况下，以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据；

第二合并模块3，用于将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记；

第一存储模块4，用于按照预定的存储方式将所述合并后的数据以及所述映射标存储至所述数据库中。

本实施例在具体实施过程中，所述数据存储装置还包括：获取模块，用于实时获取待存储的目标数据以及所述目标数据的存储日期；第二存储模块，用于按照预设的存储格式将所述目标数据以及所述存储日期存储至所述数据库中。

具体的，数据存储装置还包括压缩模块，用于对所述合并后的数据进行压缩，获得压缩后的数据。

本实施例中，所述预定周期为年；第一合并模块具体用于：在各历史数据的存储时间超过预设时间的情况下，以年为单位将各所述历史数据进行合并，获得合并后的数据。

具体的，第二合并模块具体用于：创建包含48个字节的字节数组；其中每个字节包含8个比特位；基于各所述历史数据的存储日期，确定所述字节数组中与各所述历史数据的存储时间对应的比特位，以作为目标比特位；将所述目标比特位的值设置为第一预设值，将非目标比特位的值设置为第二预设值，以获得所述映射标记。进一步的，第二合并模块具体用于：基于各所述历史数据的存储日期的月份值和天数值确定目标字节；基于各所述历史数据的存储日期的天数值确定所述目标字节中的目标比特位。

本实施例中，数据存储装置还包括删除模块，该删除模块用于：删除经过合并后的历史数据。

本发明通过根据历史数据库中历史数据的存储时间，来对超过预设时间的历史数据进行合并压缩，由此能够减小占用的存储空间。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种数据存储方法，其特征在于，包括如下步骤：

基于数据库中存储的各历史数据的存储日期确定存储时间；

在各历史数据的存储时间超过预设时间的情况下，以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据；

将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记；

按照预定的存储方式将所述合并后的数据以及所述映射标存储至所述数据库中。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

实时获取待存储的目标数据以及所述目标数据的存储日期；

按照预设的存储格式将所述目标数据以及所述存储日期存储至所述数据库中。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：对所述合并后的数据进行压缩，获得压缩后的数据。

4.如权利要求1所述的方法，其特征在于，所述预定周期为年；

所述以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据，具体包括：

以年为单位将各所述历史数据进行合并，获得合并后的数据。

5.如权利要求1所述的方法，其特征在于，将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记，具体包括：

创建包含48个字节的字节数组；其中每个字节包含8个比特位；

基于各所述历史数据的存储日期，确定所述字节数组中与各所述历史数据的存储日期对应的比特位，以作为目标比特位；

将所述目标比特位的值设置为第一预设值，将非目标比特位的值设置为第二预设值，以获得所述映射标记。

6.如权利要求5所述的方法，其特征在于，所述基于各所述历史数据的存储日期，确定所述字节数组中与各所述历史数据的存储日期对应的比特位，以作为目标比特位，具体包括：

基于各所述历史数据的存储日期的月份值和天数值确定目标字节；

基于各所述历史数据的存储日期的天数值确定所述目标字节中的目标比特位。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：删除经过合并后的历史数据。

8.一种数据存储装置，其特征在于，包括：

确定模块，用于基于数据库中存储的各历史数据的存储日期确定存储时间；

第一合并模块，用于在各历史数据的存储时间超过预设时间的情况下，以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据；

第二合并模块，用于将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记；

第一存储模块，用于按照预定的存储方式将所述合并后的数据以及所述映射标存储至所述数据库中。

9.如权利要求8所述的装置，其特征在于，还包括：

获取模块，用于实时获取待存储的目标数据以及所述目标数据的存储日期；

第二存储模块，用于按照预设的存储格式将所述目标数据以及所述存储日期存储至所述数据库中。

10.如权利要求8所述的装置，其特征在于，还包括压缩模块，用于对所述合并后的数据进行压缩，获得压缩后的数据。

Images