CN108304438A - 海量数据存储方法及海量数据存储系统 - Google Patents

Abstract

本发明公开了一种海量数据存储方法及海量数据存储系统，其中，该方法包括：主MQ集群接收外部发送的待存储数据，并将待存储数据交互给比较模块；比较模块判断缓存集群是否存在待存储数据；若缓存集群中存在待存储数据，则比较模块不处理待存储数据；若缓存集群中不存在待存储数据，则比较模块将待存储数据发送至数据库和缓存集群进行同步存储。本发明先将外部接收到的数据存储至主MQ集群，因此，通过这种异步方式减轻了数据库的入库压力。此外，比较模块判定当前待存储数据属于新的数据时，才将其存储至数据库，从而提升了数据库的数据有效存储率。进一步，相同的数据不进行处理，则提升了数据的处理速率。

Description

海量数据存储方法及海量数据存储系统

技术领域

本发明涉及数据存储技术领域，尤其涉及一种海量数据存储方法及海量数据存储系统。

背景技术

目前，随着信息数据处理需求的日益增长以及不同领域的业务种类的日益丰富，海量数据的存储变得越来越重要。

现有的海量数据直接通过数据库接口接入数据库，既会造成数据库的入库压力大，也会造成导入数据库的数据的冗余度过高(譬如：相同的数据)，以致降低了数据导入的有效率。

发明内容

本发明的目的在于提供一种海量数据存储方法及海量数据存储系统，以解决现有数据库的入库压力大，且数据导入有效率低的问题。

为了解决上述问题，本发明提供了一种海量数据存储方法，其包括如下步骤：

主MQ集群接收外部发送的待存储数据，并将待存储数据交互给比较模块；

比较模块判断缓存集群是否存在待存储数据；

若缓存集群中存在待存储数据，则比较模块不处理待存储数据；

若缓存集群中不存在待存储数据，则比较模块将待存储数据发送至数据库和缓存集群进行同步存储。

作为本发明的进一步改进，其还包括：

监测模块监测主MQ集群是否出现故障；

若监测到主MQ集群出现故障，则发送故障反馈信息至控制终端。

作为本发明的进一步改进，发送故障反馈信息至控制终端的步骤之后，还包括：

控制终端接收到故障反馈信息后，发送重新获取请求至外部，以重新获取所有待存储数据且发送至备用MQ集群，备用MQ集群作为新的主MQ集群，且发送清空指令至主MQ集群，以清空主MQ集群存储的所有数据，主MQ集群作为新的备用MQ集群。

作为本发明的进一步改进，监测模块监测主MQ集群是否出现故障的步骤，包括：

监测模块实时监测主MQ集群堆积的数据量是否超过预设阈值；

若堆积的数据量超过预设阈值，则主MQ集群出现故障。

为了解决上述问题，本发明还提供了一种海量数据存储系统，其包括：

缓存集群，用于记录所有已存储数据，且用于接收并存储比较模块发送的目标存储数据，以形成新的已存储数据，目标存储数据为与所有已存储数据比较不一致的数据；

主MQ集群，用于接收外部发送的待存储数据；

比较模块，用于接收主MQ集群发送的待存储数据，并将待存储数据与所有已存储数据进行比较；

数据库，用于接收并存储比较模块发送的目标存储数据。

作为本发明的进一步改进，其还包括：

监测模块，用于监测主MQ集群是否出现故障，若监测到主MQ集群出现故障，则生成故障反馈信息；

控制终端，用于接收监测模块发送的故障反馈信息。

作为本发明的进一步改进，其还包括：

控制终端，还用于接收到故障反馈信息后，发送重新获取请求至外部，以请求重新获取所有待存储数据且发送至备用MQ集群，且发送清空指令至主MQ集群；

备用MQ集群，用于接收外部再次发送的待存储数据，且备用MQ集群作为新的主MQ集群；

主MQ集群，还用于接收到清空指令时，清空主MQ集群存储的所有数据，主MQ集群作为新的备用MQ集群。

作为本发明的进一步改进，监控模块包括：

堆积量监测单元，用于实时监测主MQ集群堆积的数据量是否超过预设阈值；若堆积的数据量超过预设阈值，则反馈主MQ集群出现故障。

与现有技术相比，本发明先将外部接收到的数据存储至主MQ集群，因此，通过这种异步方式减轻了数据库的入库压力。此外，比较模块判定当前待存储数据属于新的数据时，才将其存储至数据库，从而提升了数据库的数据有效存储率。进一步，相同的数据不进行处理，则提升了数据的处理速率。

附图说明

图1为本发明海量数据存储方法第一个实施例的流程示意图；

图2为本发明海量数据存储方法第二个实施例的流程示意图；

图3为本发明海量数据存储方法第三个实施例的流程示意图；

图4为本发明海量数据存储系统第一个实施例的框架结构示意图；

图5为本发明海量数据存储系统第二个实施例的框架结构示意图；

图6为本发明海量数据存储系统第三个实施例的框架结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用来限定本发明。

图1展示了本发明海量数据存储方法的一个实施例。在本实施例中，该海量数据存储方法包括如下步骤：

步骤S1，主MQ集群接收外部发送的待存储数据，并将待存储数据交互给比较模块。

步骤S2，比较模块判断缓存集群是否存在待存储数据；若缓存集群中存在待存储数据，则执行步骤S3。若缓存集群中不存在待存储数据，则执行步骤S4。

步骤S3，比较模块不处理待存储数据；

步骤S4，比较模块将待存储数据发送至数据库和缓存集群进行同步存储。

本实施例先将外部接收到的数据存储至主MQ集群，因此，通过这种异步方式减轻了数据库的入库压力。此外，比较模块判定当前待存储数据属于新的数据时，才将其存储至数据库，从而提升了数据库的数据有效存储率。进一步，相同的数据不进行处理，则提升了数据的处理速率。

将本发明的海量数据存储方法应用于海量数据存储系统的应用过程中，若主MQ集群，需要即时进行获知。因此，上述实施例的基础上，其他实施例中，参见图2，该海量数据存储方法还包括：

步骤S10，监测模块监测主MQ集群是否出现故障；若监测到主MQ集群出现故障，则执行步骤S11。

需要说明的是，为了更加详细说明本发明的技术方案，以根据数据量堆积情况为依据，以判断该主MQ集群是否出现故障。

具体地，监测模块实时监测主MQ集群堆积的数据量是否超过预设阈值；若堆积的数据量超过预设阈值，则主MQ集群出现故障。

本实施例通过数据量的堆积情况，判断主MQ集群是否出现故障，易于实现，从而降低了处理复杂度。

步骤S11，发送故障反馈信息至控制终端。

需要说明的是，本实施例中的控制终端可以是管控人员的移动终端，譬如：手机、平板等。因此，管控人员可以不受地理位置的限制，实时可以获知主MQ集群的运行状态。

本实施例实时监控主MQ集群的运行状态，若主MQ集群出现故障时，则即时告知控制终端，以便即时进行处理，从而提升了用户使用体验。

将本发明的海量数据存储方法应用于海量数据存储系统的应用过程中，若主MQ集群出现故障，需要即时作为处理。因此，上述实施例的基础上，其他实施例中，参见图3，步骤S11之后，还包括：

步骤S20，控制终端接收到故障反馈信息后，发送重新获取请求至外部，以重新获取所有待存储数据且发送至备用MQ集群，备用MQ集群作为新的主MQ集群，且发送清空指令至主MQ集群，以清空主MQ集群存储的所有数据，主MQ集群作为新的备用MQ集群。

本实施例当监测到主MQ集群出现故障时，即时采用备用MQ集群重新获取数据，避免了主MQ集群出现故障时，不即时处理数据，以致存储至数据库中的数据不是即时更新，从而不能满足用户对数据的实时需求。

图4展示了本发明海量数据存储系统的一个实施例。在本实施例中，该海量数据存储系统包括主MQ集群10、比较模块11、数据库12和缓存集群13。

其中，缓存集群13，用于记录所有已存储数据，且用于接收并存储比较模块11发送的目标存储数据，以形成新的已存储数据，目标存储数据为与所有已存储数据比较不一致的数据；主MQ集群10，用于接收外部发送的待存储数据；比较模块11，用于接收主MQ集群10发送的待存储数据，并将待存储数据与所有已存储数据进行比较；数据库12，用于接收并存储比较模块11发送的目标存储数据。

在上述实施例的基础上，其他实施例中，参见图5，该海量数据存储系统还包括监测模块20和控制终端21。

其中，监测模块20，用于监测主MQ集群10是否出现故障，若监测到主MQ集群10出现故障，则生成故障反馈信息；控制终端21，用于接收监测模块20发送的故障反馈信息。

在上述实施例的基础上，其他实施例中，参见图6，该海量数据存储系统还包括备用MQ集群30。

其中，控制终端21，还用于接收到故障反馈信息后，发送重新获取请求至外部，以请求重新获取所有待存储数据且发送至备用MQ集群30，且发送清空指令至主MQ集群10；备用MQ集群30，用于接收外部再次发送的待存储数据，且备用MQ集群30作为新的主MQ集群10；主MQ集群10，还用于接收到清空指令时，清空主MQ集群10存储的所有数据，主MQ集群10作为新的备用MQ集群30。

在上述实施例的基础上，其他实施例中，该监测模块20包括堆积量监测单元。其中，堆积量监测单元，用于实时监测主MQ集群10堆积的数据量是否超过预设阈值；若堆积的数据量超过预设阈值，则反馈主MQ集群10出现故障。

关于上述三个实施例海量数据存储系统中各模块实现技术方案的其他细节，可参见上述实施例中的海量数据存储方法中的描述，此处不再赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本实施例还提供了一种存储介质，用于存储程序数据，其包含用于执行本申请上述海量数据存储方法实施例所设计的程序数据。通过执行该存储介质中存储的程序数据，可以实现本申请提供的海量数据存储方法。

以上对发明的具体实施方式进行了详细说明，但其只作为范例，本发明并不限制与以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本发明的范围内。

Claims (8)

1.一种海量数据存储方法，其特征在于，其包括如下步骤：

主MQ集群接收外部发送的待存储数据，并将所述待存储数据交互给比较模块；

所述比较模块判断所述缓存集群是否存在所述待存储数据；

若所述缓存集群中存在所述待存储数据，则所述比较模块不处理所述待存储数据；

若所述缓存集群中不存在所述待存储数据，则所述比较模块将所述待存储数据发送至数据库和所述缓存集群进行同步存储。

2.根据权利要求1所述的海量数据存储方法，其特征在于，其还包括：

监测模块监测所述主MQ集群是否出现故障；

若监测到所述主MQ集群出现故障，则发送故障反馈信息至控制终端。

3.根据权利要求2所述的海量数据存储方法，其特征在于，所述发送故障反馈信息至控制终端的步骤之后，还包括：

所述控制终端接收到所述故障反馈信息后，发送重新获取请求至外部，以重新获取所有待存储数据且发送至备用MQ集群，所述备用MQ集群作为新的主MQ集群，且发送清空指令至所述主MQ集群，以清空所述主MQ集群存储的所有数据，所述主MQ集群作为新的备用MQ集群。

4.根据权利要求2所述的海量数据存储方法，其特征在于，所述监测模块监测所述主MQ集群是否出现故障的步骤，包括：

所述监测模块实时监测所述主MQ集群堆积的数据量是否超过预设阈值；

若堆积的数据量超过所述预设阈值，则所述主MQ集群出现故障。

5.一种海量数据存储系统，其特征在于，其包括：

缓存集群，用于记录所有已存储数据，且用于接收并存储比较模块发送的目标存储数据，以形成新的已存储数据，所述目标存储数据为与所述所有已存储数据比较不一致的数据；

主MQ集群，用于接收外部发送的待存储数据；

所述比较模块，用于接收所述主MQ集群发送的所述待存储数据，并将所述待存储数据与所述所有已存储数据进行比较；

数据库，用于接收并存储所述比较模块发送的所述目标存储数据。

6.根据权利要求5所述的海量数据存储系统，其特征在于，其还包括：

监测模块，用于监测所述主MQ集群是否出现故障，若监测到所述主MQ集群出现故障，则生成故障反馈信息；

控制终端，用于接收所述监测模块发送的所述故障反馈信息。

7.根据权利要求6所述的海量数据存储系统，其特征在于，其还包括：

所述控制终端，还用于接收到所述故障反馈信息后，发送重新获取请求至外部，以请求重新获取所有待存储数据且发送至备用MQ集群，且发送清空指令至所述主MQ集群；

所述备用MQ集群，用于接收外部再次发送的待存储数据，且所述备用MQ集群作为新的主MQ集群；

所述主MQ集群，还用于接收到所述清空指令时，清空所述主MQ集群存储的所有数据，所述主MQ集群作为新的备用MQ集群。

8.根据权利要求6所述的海量数据存储系统，其特征在于，所述监控模块包括：

堆积量监测单元，用于实时监测所述主MQ集群堆积的数据量是否超过预设阈值；若堆积的数据量超过所述预设阈值，则反馈所述主MQ集群出现故障。