CN106055655A - 一种实时数据的存储方法及装置、访问方法及系统 - Google Patents

Abstract

本发明公开了一种实时数据的存储方法及装置、访问方法及系统，该存储方法，包括获取实时数据；将实时数据分别保存在缓存服务器、分布式存储系统中。该方法通过分离存储将从网络中获得的实时数据保存下来。另外，本发明还公开了一种实时数据的访问方法，其在访问实时数据时，首先从缓存服务器中获取实时数据，若缓存服务器中存在实时数据，则显示给用户，由于缓存服务器的访问速度较快，因此能够将实时数据快速的显示给用户。当缓存服务器中不存在实时数据时，则从分布式存储系统中获取实时数据并显示给用户，由于分布式存储系统采用的是永久性存储器，其数据不会丢失，保证了实时数据的稳定性。

Description

一种实时数据的存储方法及装置、访问方法及系统

技术领域

本发明涉及数据的处理，尤其涉及一种实时数据的存储方法及装置、访问方法及系统。

背景技术

目前，我国移动互联网广告已经越来越受到业内人士的关注，其发展正处于一个爆发的阶段，海量广告数据之间的交互越来越需要时效性和稳定性，实时数据对于需要快速响应的需求非常重要，但给客户需要访问某个网页、广告等，若是不能够快速将实时数据展示给客户，这样就会给客户造成一定的影响。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种实时数据的存储方法及装置，其能够解决现有技术中不能够及时的将实时数据进行保存。

本发明的目的之一采用以下技术方案实现：

本发明提供了一种实时数据的存储方法，包括以下步骤：

S1：获取实时数据；

S2：将所述实时数据复制成两份，一份存储于缓存服务器中，另一份存储于分布式存储系统中。

优选地，所述步骤S2之前还包括步骤S21：按照实时数据的获取日期进行分类，将同一获取日期的实时数据保存在一个文件中。

优选地，所述文件的命名格式为“年-月-日”。

优选地，所述步骤S2中，将存储于分布式存储系统的实时数据转换为数据库表并存储于数据库中。

优选地，所述实时数据包括应用程序接口从PC端网页、智能终端APP获取的数据以及从智能终端网页中获取的数据。

本发明还提供与所述实时数据的存储方法相对应的一种实时数据的存储装置，包括：

获取模块，用于获取实时数据；

存储模块，用于将所述实时数据复制成两份，一份存储于缓存服务器中，另一份存储于分布式存储系统中。

优选地，所述文件的命名格式为“年-月-日”。

为了克服现有技术的不足，本发明的目的之二在于提供一种实时数据的访问方法及装置，其能够解决现有技术中不能够快速稳定地将实时数据展示给客户。

本发明的目的之二采用以下技术方案实现：

本发明提供了一种实时数据的访问方法，包括以下步骤：

S3：客户端获取用户所访问网页时所需要的实时数据，

S4：判断缓存服务器中是否存在所述实时数据，若存在，从缓存服务器中获取所需要的实时数据并显示给客户端；若不存在，则从分布式存储系统中获取所需要的实时数据并显示给客户端。

本发明还提供了与所述实时数据的访问方法相对应的一种实时数据的访问系统，包括：

获取数据模块，用于获取用户访问网页时所需要的实时数据；

判断显示模块，用于判断缓存服务器中是否存在所需要的实时数据，若存在，从缓存服务器中获取所需要的实时数据并显示给客户端；若不存在，则从分布式存储系统中获取所需要的实时数据并显示给客户端。

相比现有技术，本发明的有益效果在于：本发明通过分离存储从网络上获取到的实时数据，然后当用户访问网页时，能够及时地从缓存服务器中获取实时数据并显示给用户，能够快速的将实时数据显示给用户，由于缓存服务器的访问速度较快，保证了实时数据显示的及时性；当缓存服务器中不存在用户访问网页所需要的实时数据时，从分布式存储系统中获取实时数据，由于分布式存储系统的数据不会丢失，保证了实时数据的稳定性。

附图说明

图1为本发明提供的一种实时数据的存储方法流程图；

图2为本发明提供的一种实时数据的存储装置模块图；

图3是本发明提供的一种实时数据的访问方法流程图；

图4是本发明提供的一种实时数据的访问系统模块图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

如图1所示，本发明提供了一种实时数据的存储方法，其能够将海量的实时数据收集起来，供用户访问需求的使用。其包括以下步骤：

S11：获取实时数据。

其中该实时数据是指通过应用程序从PC端的网页、手机的应用端(比如APP软件)获取到的数据；另外还包括从手机的网页端获取到的数据，将上述的数据都收集并保存起来。获取到的这些实时数据可以放入一个缓存队列中。

S12：将所述实时数据复制为两份，其中一份存储于缓存服务器中，第二份存储于分布式存储系统中。其中所述缓存服务器其存储空间较小，会经常定时更新，也即是说保存子该缓存服务器中的数据有可能丢失，比如像内存一样。另外，由于该缓存服务器是采用缓存机制的存储器，因此其访问速度较快。所述分布式存储系统所采用的存储器是永久性存储器，其存储的数据具有永久存储的，不需要向缓存一样会定时刷新，其存储的实时数据不会丢失。

另外在所述步骤S2之前还包括步骤S112：按照实时数据的获取日期进行分类，将同一获取日期的实时数据保存在同一个文件中，这样就将实时数据按照获取日期不同保存在不同的文件中。另外，文件的命名格式为“年-月-日”。

所述缓存服务器是一个缓存服务器，其存储空间较小、还会定时刷新。比如当存储空间满时，或者存储时间到了就会将该缓存服务器中的数据清空。

所述分布式存储系统其存储数据不会丢失，将实时数据存储在分布式存储系统时，可对实时数据文件进行压缩处理，减少占用空间；或者是将实时数据文件转换为数据库表的形式保存在数据库中。比如，将实时数据保存在分布式存储系统时，会将实时数据通过Hadoop中的框架Hive将文件的数据映射为数据库表并存储于数据库中，该数据库可以是Mysql数据库。同时，还可利用Hadoop Map/Reduce框架对数据库中的数据进行数据的分析和挖掘，然后将处理的结果以表的形式保存在数据库中。这样将实时数据转换为数据库表能够方便存储。这里对数据转换为数据库表以及对数据进行处理都是使用Hadoop中的现有框架，本领域技术人员可以实现。

如图2所示，本发明还公开了与所述一种实时数据的存储方法相对应的一种实时数据的存储装置，其包括：

获取模块，用于获取实时数据；

存储模块，用于将所述实时数据复制成两份，一份存储于缓存服务器中，另一份存储于分布式存储系统中。

优选地，包括所述存储模块之前还包括分类模块，用于按照实时数据的获取日期进行分类，将同一获取日期的实时数据保存在一个文件中。

优选地，所述文件的命名格式为“年-月-日”。

如图3所示，本发明还公开了一种实时数据的访问方法，其中该实时数据是指由上述实时数据的存储方法所得到的实时数据，其包括：

S21：获取用户访问网页所需要的实时数据。

其中，当客户访问网页时，客户端能够获取到相对应的用户，然后得知用户所要访问的实时数据。

S22：判断缓存服务器中是否存在所需要的实时数据，若存在，则执行S221；若不存在，则执行S222；

S221：从缓存服务器中获取所需要的实时数据并显示给客户端。

S222：从分布式存储系统中获取所需要的实时数据并显示给客户端。

当客户访问网页时，首先在缓存服务器中获取实时数据，若缓存服务器中没有所需要的实时数据，则在从分布式存储系统中获取实时数据。也即是说，当客户访问网页时，首先从缓存服务器中获取数据，因此缓存服务器的处理速度较快，可以快速的为用户提供所需要显示的实时数据。另外，由于缓存服务器的数据是定时更新的，当缓存服务器中没有所需要的数据时，就从分布式存储系统中获取所需要的数据，因此保证了数据的稳定性。

如图4所示，本发明还提供了一种实时数据的访问系统，包括：

获取数据模块，用于获取用户访问网页时所需要的实时数据；

判断显示模块，用于判断缓存服务器中是否存在所需要的实时数据，若存在，从缓存服务器中获取所需要的实时数据并显示给客户端；若不存在，从分布式存储系统中获取所需要的实时数据并显示给客户端。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种实时数据的存储方法，其特征在于，包括以下步骤：

S1：获取实时数据；

S2：将所述实时数据复制成两份，一份存储于缓存服务器中，另一份存储于分布式存储系统中。

2.如权利要求1所述实时数据的存储方法，其特征在于，所述步骤S2之前还包括步骤S21：按照实时数据的获取日期进行分类，将同一获取日期的实时数据保存在一个文件中。

3.如权利要求1所述实时数据的存储方法，其特征在于，所述文件的命名格式为“年-月-日”。

4.如权利要求1所述实时数据的存储方法，其特征在于，所述步骤S2中，将存储于分布式存储系统的实时数据转换为数据库表并存储于数据库中。

5.如权利要求1所述实时数据的存储方法，其特征在于，所述实时数据包括应用程序接口从PC端网页、智能终端APP获取的数据以及从智能终端网页中获取的数据。

6.一种实时数据的存储装置，其特征在于，包括：

获取模块，用于获取实时数据；

存储模块，用于将所述实时数据复制成两份，一份存储于缓存服务器中，另一份存储于分布式存储系统中。

7.如权利要求6所述实时数据的存储装置，其特征在于，包括所述存储模块之前还包括分类模块，用于按照实时数据的获取日期进行分类，将同一获取日期的实时数据保存在一个文件中。

8.如权利要求7所述实时数据的存储装置，其特征在于，所述文件的命名格式为“年-月-日”。

9.一种实时数据的访问方法，其特征在于，包括以下步骤：

S3：客户端获取用户所访问网页时所需要的实时数据，

S4：判断缓存服务器中是否存在所述实时数据，若存在，从缓存服务器中获取所需要的实时数据并显示给客户端；若不存在，则从分布式存储系统中获取所需要的实时数据并显示给客户端。

10.一种实时数据的访问系统，其特征在于，包括：

获取数据模块，用于获取用户访问网页时所需要的实时数据；

判断显示模块，用于判断缓存服务器中是否存在所需要的实时数据，若存在，从缓存服务器中获取所需要的实时数据并显示给客户端；若不存在，则从分布式存储系统中获取所需要的实时数据并显示给客户端。