CN109582674B - 一种数据存储方法及系统 - Google Patents

Abstract

本发明提供一种数据存储方法及系统，该方法适用于Redis存储系统，通过确定用于存储话单的数据存储结构为SEGMENT‑HASH结构，数据存储结构对应的第一键名为KEY值，第二键名为FIELD值。获取手机号码和对应的通话开始日期和开始时间。将手机号码和通话开始日期的组合作为第一键名，将手机号码和通话开始时间的组合作为第二键名。为第二键名添加FID，将FID作为数据存储结构的VALUE值。监控数据存储结构中的第一键名和第二键名，当至少两个话单具有相同的第一键名、第二键名时，删除对应重复的话单。基于上述优化KEY值和FIELD值的数据存储方式，实现话单数据的排重，降低占用内存存储话单数据的目的。

Description

一种数据存储方法及系统

技术领域

本发明涉及数据存储技术领域，具体涉及一种数据存储方法及系统。

背景技术

目前，各个运营商通过用户使用通讯工具所产生的话单进行收费。在电信系统中，交换机记录的话单会不可避免的出现重复话单的情况，需要通过排重方法按一定的规则将多余的话单过滤掉，避免话单重复收费，从而实现准确计费。

在现有技术中，采用基于文件系统或关系数据库的排重机制来对话单数据进行处理，从而将多余的话单过滤掉。但是由于基于文件系统或关系数据库的排重机制对话单数据访问慢、需要手动清理历史数据，从而存在排重效率低下、无法高效横向扩展、维护成本高等问题。

发明内容

有鉴于此，本发明实施例提供一种数据存储方法及系统，以解决现有技术排重机制对话单数据排重效率低、无法横向扩展和维护文本高等问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开了一种数据存储方法，适用于Redis存储系统，所述方法包括：

确定用于存储话单的数据存储结构为SEGMENT-HASH结构，所述SEGMENT-HASH结构对应的第一键名为KEY值，第二键名为FIELD值，所述第一键名和所述第二键名的数量为预先设置；

获取手机号码和所述手机号码对应的话单开始时间，所述话单开始时间包括通话开始日期和通话开始时间；

将所述手机号码和通话开始日期的组合作为第一键名，将所述手机号码和所述通话开始时间的组合作为第二键名；

为所述第二键名添加文件标识符FID，将所述FID作为所述数据存储结构的VALUE值；

监控所述数据存储结构中的第一键名和第二键名，当至少两个话单具有相同的所述第一键名，以及相同的所述第二键名时，删除对应重复的话单。

可选的，所述方法还包括：

监控所述数据存储结构中的第一键名的数量，若第一键名存在的个数超过第一键名的最大存储数量M个，删除最早储存的M个第一键名对应的话单，M为正整数，所述最大存储数量为预先设置。

可选的，所述第一键名包含多个所述第二键名，每个所述第二键名对应一个所述VALUE值。

可选的，所述方法还包括：

监控所述数据存储结构中的第一键名存在的时间，若第一键名存在的时间大于所述第一键名的生存时长，删除所述存在的时间大于所述生存时长的第一键名对应的话单，所述生存时长为预先设置。

可选的，所述对所述第二键名添加文件标识符FID，将所述FID作为所述数据存储结构的VALUE值，包括：

对所述数据存储结构中的第N个第二键名添加FID得到FID N-1，将所述FID N-1作为所述第N个第二键名对应的VALUE值，N为正整数。

本发明实施例第二方面公开了一种数据存储系统，适用于Redis存储系统，包括：

数据模块，用于确定用于存储话单的数据存储结构为SEGMENT-HASH结构，所述SEGMENT-HASH结构对应的第一键名为KEY值，第二键名为FIELD值，所述第一键名和所述第二键名的数量为预先设置；

获取模块，用于获取手机号码和所述手机号码对应的话单开始时间，所述话单开始时间包括通话开始日期和通话开始时间；

设置模块，用于将所述手机号码和通话开始日期的组合作为第一键名，将所述手机号码和所述通话开始时间的组合作为第二键名；

添加模块，用于对所述第二键名添加文件标识符FID，将所述FID作为所述数据存储结构的VALUE值；

监控模块，用于监控所述数据存储结构中的第一键名和第二键名；

删除模块，用于当所述监控模块监控到至少两个话单具有相同的所述第一键名，以及相同的所述第二键名时，删除对应重复的话单。

可选的，所述系统还包括：

数量管理模块，用于监控所述数据存储结构中的第一键名的数量，若第一键名存在的个数超过第一键名的最大存储数量M个，删除最早储存的M个第一键名对应的话单，M为正整数，所述最大存储数量为预先设置。

可选的，所述系统还包括：

生存时长管理模块，用于监控所述数据存储结构中的第一键名存在的时间，若第一键名存在的时间大于所述第一键名的生存时长，删除所述存在的时间大于所述生存时长的第一键名对应的话单，所述生存时长为预先设置。

可选的，所述添加模块具体用于对所述数据存储结构中的第N个第二键名添加FID得到FID N-1，将所述FID N-1作为所述第N个第二键名对应的VALUE值，N为正整数。基于上述方案可知，本发明实施例提供的一种数据存储方法及系统，适用于Redis存储系统，通过确定用于存储话单的数据存储结构为SEGMENT-HASH结构，SEGMENT-HASH结构对应的第一键名为KEY值，第二键名为FIELD值，第一键名和第二键名的数量为预先设置。获取手机号码和手机号码对应的话单开始时间，话单开始时间包括通话开始日期和通话开始时间。将手机号码和通话开始日期的组合作为第一键名，将手机号码和通话开始时间的组合作为第二键名。对第二键名添加文件标识符(FID)，将FID作为所述数据存储结构的VALUE值。监控数据存储结构中的第一键名和第二键名，当至少两个话单具有相同的第一键名，以及相同的第二键名时，删除对应重复的话单。

本发明提供的方案中，通过使用Redis存储系统的SEGMENT-HASH结构存储话单数据，优化KEY值和FIELD值的内容，将手机号码和通话开始日期的组合作为KEY值的内容，手机号码和通话开始时间的组合作为FIELD值的内容。并对KEY值和FIELD值进行监控，当至少两个话单存在相同的KEY值和FIELD值，删除对应重复的话单。实现话单数据的排重，并且存储话单数据占用的内存小，能提高内存使用效率和访问效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据存储方法的流程示意图；

图2为本发明实施例提供的HASHMAP结构示意图；

图3为本发明实施例提供的三种不同方案存储话单的内存占用量示意图；

图4为本发明实施例提供的一种数据存储系统的结构框图；

图5为本发明实施例提供的一种数据存储系统的结构框图；

图6为本发明实施例提供的一种数据存储系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由背景技术可知，在现有技术中，采用基于文件系统或关系数据库的排重机制来对话单数据进行处理，从而将多余的话单过滤掉。但是由于基于文件系统或关系数据库的排重机制对话单数据访问慢、需要手动清理历史数据，从而存在排重效率低下、无法高效横向扩展、维护成本高等问题。因此，本发明实施例公开的一种数据存储方法及系统，通过使用Redis存储系统的SEGMENT-HASH结构存储话单数据，优化KEY值和FIELD值的内容，将手机号码和通话开始日期的组合作为KEY值的内容，手机号码和通话开始时间的组合作为FIELD值的内容。并对KEY值和FIELD值进行监控，当至少两个话单存在相同的KEY值和FIELD值，删除对应重复的话单。实现话单数据的排重，降低存储话单数据对内存的占用量，同时提高内存使用效率和访问效率的目的。具体通过以下实施例详细说明。

参考图1，示出了本发明实施例提供的一种数据存储方法的流程示意图，包括以下步骤：

步骤S101：确定用于存储话单的数据存储结构为SEGMENT-HASH结构，所述SEGMENT-HASH结构对应的第一键名为KEY值，第二键名为FIELD值，所述第一键名和所述第二键名的数量为预先设置。

需要说明的是，在Redis存储系统中，Redis支持5种类型数据的存储，分别是字符串(STRING)类型、列表(LIST)类型、有序集合(ZSET)类型、哈希(HASH)类型和集合(SET)类型。

在具体实现步骤S101的过程中，SEGMENT-HASH结构存储的数据类型是HASH类型。

参考表1，示出了Redis存储数据结构的三种不同存储方法对应的数据类型，以及不同数据类型对应的KEY、FIELD、VALUE的内容：

表1：

需要说明的是，表1中的VALUE值为FID 0/1/2/3仅限于举例说明，实际内容由技术人员根据实际情况设定。

步骤S102：获取手机号码和所述手机号码对应的话单开始时间，所述话单开始时间包括通话开始日期和通话开始时间。

在具体实现步骤S102的过程中，从计费系统中获取手机号码和所述手机号码对应的话单开始时间。

为更好解释说明获取手机号码和对应的话单开始时间，参见表2中的内容。

表2：

如表2所示，话单开始时间包括通话开始日期和通话开始时间，从计费系统中获取手机号码和所述手机号码对应的通话开始日期和通话开始时间。

需要说明的是，表2中的内容仅限于举例说明，实际获取的手机号码和对应的话单开始时间由技术人员从实际的计费系统中获取。

步骤S103：将所述手机号码和通话开始日期的组合作为第一键名，将所述手机号码和所述通话开始时间的组合作为第二键名。

在具体实现步骤S103的过程中，第二键名中的通话开始时间为第一键名中的通话开始日中的时间。

为更好解释说明，结合表2，下面通过举例说明：

假设第一键名存储的内容为：18600000000+2018-04-12，所述第一键名对应的第二键名存储的数据应为：18600000000+18:14:41。

需要说明的是，上述第一键名和第二键名存储的具体内容只是举例说明，实际内容由技术人员根据实际情况获取。

步骤S104：为所述第二键名添加文件标识符FID，将所述FID作为所述数据存储结构的VALUE值。

在具体实现步骤S104的过程中，对所述数据存储结构中的第N个第二键名添加FID得到FID N-1，将所述FID N-1作为所述第N个第二键名对应的VALUE值，N为正整数。

可选的，所述第一键名包含多个所述第二键名，每个所述第二键名对应一个所述VALUE值。

需要说明的是，HASH类型是一个STRING类型的FIELD和VALUE之间的映射表，即HASH数据类型的KEY对应的VALUE实际的内部存储结构为一个HASHMAP，因此采用HASH结构存储数据占用内存更少。为更好解释说明HASHMAP，参考图2，示出了HASHMAP的结构示意图，每个KEY对应多个FIELD，每个FIELD都对应一个VALUE。

步骤S105：监控所述数据存储结构中的第一键名和第二键名，当至少两个话单具有相同的所述第一键名，以及相同的所述第二键名时，删除对应重复的话单。

在具体实现步骤S105的过程中，当多个话单具有相同的所述第一键名，以及相同的所述第二键名时，即表示存在多个重复的话单存在，删除对应重复的话单。为更好解释说明，下面进行举例说明：假设存储的数据中存在三条拥有相同的第一键名、第二键名的话单时，删除其中两个相同的话单数据，只保留其中一个话单数据。

可选的，监控所述数据存储结构中的第一键名的数量，若第一键名存在的个数超过第一键名的最大存储数量M个，删除最早储存的M个第一键名对应的话单，M为正整数，所述最大存储数量为预先设置。为更好解释说明，下面进行举例说明：假设预先设置数据存储结构最多存储1000个第一键名，当第一键名的数量为1020个时，删除最早存储的20个第一键名。需要说明的是，上述涉及到的数量只是用于举例说明，具体第一键名的最大存储数量由技术人员根据实际情况进行设置。

可选的，监控所述数据存储结构中的第一键名存在的时间，若所述第一键名存在的时间大于所述第一键名的生存时长，删除所述存在的时间大于所述生存时长的第一键名对应的话单，所述生存时长为预先设置。

需要说明的是，使用Redis存储系统中的KEY生存时间管理功能(Time-to-Live，TTL)对所述第一键名的生存时长进行设置，删除存在时间超过预设的生存时长的第一键名。

本发明实施例中，通过使用Redis存储系统的SEGMENT-HASH结构存储话单数据，优化KEY值和FIELD值的内容，将手机号码和通话开始日期的组合作为KEY值的内容，手机号码和通话开始时间的组合作为FIELD值的内容。并对KEY值和FIELD值进行监控，当至少两个话单存在相同的KEY值和FIELD值，删除对应重复的话单。设置KEY的生存时长，删除存在时间超过生存时长的KEY，设置KEY的最大存储数量，删除超过存储数量的KEY。实现话单数据的排重，并且存储话单数据占用的内存小，能提高内存使用效率和访问效率。

为更好解释说明上述本发明实施例图1公开的一种数据存储方法通过优化KEY值和FIELD值的内容，降低存储话单数据占用的内存，结合表1中三种不同的存储方案，参考图3，示出了当采用上述表1中三种不同方案存储100万话单数据时，不同方案的内存占用量示意图，其中，方案一为采用STRING结构，方案二为HASH结构，方案三为SEGMENT-HASH结构。由图3可知，当采用SEGMENT-HASH结构存储话单数据时占用的内存最小。

需要说明的是，图3中的内容仅限于举例说明，实际内容由技术人员根据实际情况设定。

与上述本发明实施例图1公开的一种数据存储方法相对应，参考图4，示出了本发明实施例提供的一种数据存储系统的结构框图，包括：数据模块401、获取模块402、设置模块403、添加模块404和监控模块405。

数据模块401，用于确定用于存储话单的数据存储结构为SEGMENT-HASH结构，所述SEGMENT-HASH结构对应的第一键名为KEY值，第二键名为FIELD值，所述第一键名和所述第二键名的数量为预先设置。具体内容参见上述本发明实施例图1公开的步骤S101对应的内容。

获取模块402，用于获取手机号码和所述手机号码对应的话单开始时间，所述话单开始时间包括通话开始日期和通话开始时间。具体内容参见上述本发明实施例图1公开的步骤S102对应的内容。

设置模块403，用于将所述手机号码和通话开始日期的组合作为第一键名，将所述手机号码和所述通话开始时间的组合作为第二键名。具体内容参见上述本发明实施例图1公开的步骤S103对应的内容。

添加模块404，用于对所述第二键名添加文件标识符FID，将所述FID作为所述数据存储结构的VALUE值。具体内容参见上述本发明实施例图1公开的步骤S104对应的内容。

监控模块405，用于监控所述数据存储结构中的第一键名和第二键名。

删除模块406，用于当所述监控模块405监控到至少两个话单具有相同的所述第一键名，以及相同的所述第二键名时，删除对应重复的话单。具体内容参见上述本发明实施例图1公开的步骤S105对应的内容。

可选的，所述添加模块404具体用于分别对第二键名添加FID得到FID N-1，将所述FID N-1作为所述第N个第二键名对应的VALUE值，所述N表示所述数据存储结构中的第N个第二键名。

本发明实施例中，通过使用Redis存储系统的SEGMENT-HASH结构存储话单数据，优化KEY值和FIELD值的内容，将手机号码和通话开始日期的组合作为KEY值的内容，手机号码和通话开始时间的组合作为FIELD值的内容。并对KEY值和FIELD值进行监控，当至少两个话单存在相同的KEY值和FIELD值，删除对应重复的话单。实现话单数据的排重，并且存储话单数据占用的内存小，能提高内存使用效率和访问效率。

可选的，结合图4，参考图5，示出了本发明实施例提供的一种数据存储系统的结构示意图，所述数据存储系统还包括：

数量管理模块407，用于监控所述数据存储结构中的第一键名的数量，若第一键名存在的个数超过第一键名的最大存储数量M个，删除最早储存的M个第一键名对应的话单，M为正整数，所述最大存储数量为预先设置。

可选的，结合图5，参考图6，示出了本发明实施例提供的一种数据存储系统的结构示意图，所述数据存储系统还包括：

生存时长管理模块408，用于监控所述数据存储结构中的第一键名存在的时间，若所述第一键名存在的时间大于所述第一键名的生存时长，删除所述存在的时间大于所述生存时长的第一键名对应的话单，所述生存时长为预先设置。

综上所述，本发明实施例提供的一种数据存储方法及系统，通过使用Redis存储系统的SEGMENT-HASH结构存储话单数据，优化KEY值和FIELD值的内容，将手机号码和通话开始日期的组合作为KEY值的内容，手机号码和通话开始时间的组合作为FIELD值的内容。并对KEY值和FIELD值进行监控，当至少两个话单存在相同的KEY值和FIELD值，删除对应重复的话单。设置KEY的生存时长，删除存在时间超过生存时长的KEY，设置KEY的最大存储数量，删除超过存储数量的KEY。实现话单数据的排重，并且存储话单数据占用的内存小，能提高内存使用效率和访问效率。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种数据存储方法，其特征在于，适用于Redis存储系统，所述方法包括：

确定用于存储话单的数据存储结构为SEGMENT-HASH结构，所述SEGMENT-HASH结构对应的第一键名为KEY值，第二键名为FIELD值，所述第一键名和所述第二键名的数量为预先设置；

获取手机号码和所述手机号码对应的话单开始时间，所述话单开始时间包括通话开始日期和通话开始时间；

将所述手机号码和通话开始日期的组合作为第一键名，将所述手机号码和所述通话开始时间的组合作为第二键名；所述第一键名对应多个所述第二键名；

为所述第二键名添加文件标识符FID，将所述FID作为所述数据存储结构的VALUE值，包括：对所述数据存储结构中的第N个第二键名添加FID得到FID N-1，将所述FID N-1作为所述第N个第二键名对应的VALUE值，N为正整数；每个所述第二键名对应一个所述VALUE值；

监控所述数据存储结构中的第一键名和第二键名，当至少两个话单具有相同的所述第一键名，以及相同的所述第二键名时，删除对应重复的话单；

监控所述数据存储结构中的第一键名的数量，若第一键名存在的个数超过第一键名的最大存储数量M个，删除最早储存的M个第一键名对应的话单，M为正整数，所述最大存储数量为预先设置；

监控所述数据存储结构中的第一键名存在的时间，若第一键名存在的时间大于所述第一键名的生存时长，删除所述存在的时间大于所述生存时长的第一键名对应的话单，所述生存时长为预先设置。

2.一种数据存储系统，其特征在于，适用于Redis存储系统，包括：

数据模块，用于确定用于存储话单的数据存储结构为SEGMENT-HASH结构，所述SEGMENT-HASH结构对应的第一键名为KEY值，第二键名为FIELD值，所述第一键名和所述第二键名的数量为预先设置；

获取模块，用于获取手机号码和所述手机号码对应的话单开始时间，所述话单开始时间包括通话开始日期和通话开始时间；

设置模块，用于将所述手机号码和通话开始日期的组合作为第一键名，将所述手机号码和所述通话开始时间的组合作为第二键名；所述第一键名对应多个所述第二键名；

添加模块，用于对所述第二键名添加文件标识符FID，将所述FID作为所述数据存储结构的VALUE值，包括：对所述数据存储结构中的第N个第二键名添加FID得到FID N-1，将所述FID N-1作为所述第N个第二键名对应的VALUE值，N为正整数；每个所述第二键名对应一个所述VALUE值；

监控模块，用于监控所述数据存储结构中的第一键名和第二键名；

删除模块，用于当所述监控模块监控到至少两个话单具有相同的所述第一键名，以及相同的所述第二键名时，删除对应重复的话单；

数量管理模块，用于监控所述数据存储结构中的第一键名的数量，若第一键名存在的个数超过第一键名的最大存储数量M个，删除最早储存的M个第一键名对应的话单，M为正整数，所述最大存储数量为预先设置；

生存时长管理模块，用于监控所述数据存储结构中的第一键名存在的时间，若第一键名存在的时间大于所述第一键名的生存时长，删除所述存在的时间大于所述生存时长的第一键名对应的话单，所述生存时长为预先设置。