CN105677853A - 一种基于大数据技术框架的数据存储方法及装置 - Google Patents

Abstract

本发明公开了一种基于大数据技术框架的数据存储方法，其特征在于，包括以下步骤：采集数据文件；请求可用的数据节点；获取单个数据块大小，将所述数据文件依据所述单个数据块大小分块，得到多个数据块；获取数据块副本数n，采用流式写入将所述数据块写入所述数据节点，并为每个所述数据块创建n个副本。从上面所述可以看出，本发明提供的一种基于大数据技术框架的数据存储方法及装置通过将网络数据分流存储，充分利用了服务器资源，提高资源存储效率和安全性。

Description

一种基于大数据技术框架的数据存储方法及装置

技术领域

本发明涉及数据处理技术，特别是指一种基于大数据技术框架的数据存储方法及装置。

背景技术

大数据，或称巨量数据、海量数据，是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的集成共享，交叉复用形成的智力资源和知识服务能力；从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

传统的数据采集技术，因为数据来源比较单一，主要是数据库和文件方式进行存储，且数据量较小，而大数据不仅数据量巨大，而且数据来源丰富，包括批量日志数据、实时数据、流式数据等，同时数据类型多样，包括结构化数据、半结构化数据和非结构化数据等。传统的并行数据库追求高度一致性和容错性，根据CAP理论，难以同时保证其可用性、扩展性和高性能，并不能够直接应用于大数据处理中。因此，需求一种数据存储方法，以适应大数据时代的需求。

发明内容

有鉴于此，本发明的目的在于提出一种适用于复杂数据的、基于大数据技术框架的数据存储方法及装置。

基于上述目的本发明提供的一种基于大数据技术框架的数据存储方法，包括以下步骤：

采集数据文件；

请求可用的数据节点；

获取单个数据块大小，将所述数据文件依据所述单个数据块大小分块，得到多个数据块；

获取数据块副本数n，采用流式写入将所述数据块写入所述数据节点，并为每个所述数据块创建n个副本。

进一步，采用流式写入将所述数据块写入所述数据节点的步骤包括以下子步骤：

将第一数据块发送至第一节点；

将第二数据块发送至第一节点，第一节点选取与其相邻的第二节点，将所述第一数据块发送至所述第二节点；

将第三数据块发送至第一节点，第一节点将所述第二数据块发送至所述第二节点，第二节点选取与其相邻的第三节点，将所述第一数据块发送至所述第三节点；

重复上述过程直至全部数据块发送完毕，并使每个数据块具备n个副本。

进一步，采集数据文件包括以下子步骤：

监听数据流；

判断数据流当前数据类型；

根据数据类型的不同采用不同的数据采集策略；

其中所述数据采集策略包括：

数据库采集策略，用于采集关系型数据，将数据备份至备份库后，生成数据文件，从备份库采集关系型数据文件；

文件采集策略，用于采集文件型数据，监听服务器的文件目录，定时从所述文件目录采集文件型数据文件；

系统数据采集策略，用于采集系统产生的实时数据，监听数据流，从所述数据流中直接采集系统数据文件。

进一步，所述数据库采集策略包括以下步骤：

监听数据流，获取关系型数据文件；

将关系型数据文件保存至服务器；

将关系型数据文件备份至备份库；

从备份库采集关系型数据文件。

进一步，所述文件采集策略包括以下步骤：

监听数据流，获取文件型数据文件；

将文件型数据文件保存至服务器；

制定监听服务器列表；

监听所述监听服务器列表的服务器中的文件目录；

定时从所述文件目录采集文件型数据文件。

进一步，还包括以下步骤：

检测服务器负载，当服务器整体负载低时，线性减少启用的服务器数量，当服务器整体负载高时，线性增加启用的服务器数量。

本发明提供的一种基于大数据技术框架的数据存储装置，包括：

服务器，用于临时存储数据文件；

备份库，设置有多个数据节点；

服务器用于向备份库请求可用的数据节点；

服务器用于获取单个数据块大小，将所述数据文件依据所述单个数据块大小分块，得到多个数据块；

服务器用于获取数据块副本数n，采用流式写入将所述数据块写入所述数据节点，并为每个所述数据块创建n个副本。

进一步，服务器用于将第一数据块发送至第一节点；

服务器用于将第二数据块发送至第一节点，备份库用于控制所述第一节点选取与其相邻的第二节点，将所述第一数据块发送至所述第二节点；

服务器用于将第三数据块发送至第一节点，备份库用于控制第一节点将所述第二数据块发送至所述第二节点，第二节点选取与其相邻的第三节点，将所述第一数据块发送至所述第三节点；重复上述过程直至全部数据块发送完毕，并使每个数据块具备n个副本。

从上面所述可以看出，本发明提供的一种基于大数据技术框架的数据存储方法及装置通过将网络数据分流存储，充分利用了服务器资源，提高资源存储效率和安全性。

附图说明

图1为本发明提供的一种基于大数据技术框架的数据存储装置的实施例的模块示意图；

图2为本发明提供的一种基于大数据技术框架的数据存储方法的实施例的流程示意图；

图3为本发明提供的一种基于大数据技术框架的数据存储方法的实施例中数据采集步骤的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

本实施例包括依次连接的业务模块1、数据接口2、服务器3和备份库4，下面对各部分分别进行介绍。

服务器3和备份库4均用于数据文件的存储，服务器3用于直接各类存储数据文件，备份库4用于存储文件型数据文件的副本。

业务模块1包括用户接口、网络接口等交互接口，用于获取数据并将数据上传至数据接口2，业务模块1获取的数据包括但不限于：用户的操作记录及操作过程中产生的数据，广域网、局域网和/或其他网络产生的业务数据，本数据采集装置自身运行产生的系统数据。业务模块1将获取的全部数据以数据流发送至数据接口2。

数据接口2对数据流进行初步分析和分类，分类标准包括但不限于：关系型数据、文件型数据、系统数据。系统数据指本数据采集装置在运行时产生的数据，具有高时效性，需要及时进行分析、存储；文件型数据指本数据采集装置定时对获取到的数据流进行处理生成的数据文件，多为音视频文件、文本文件等常见格式的文件；关系型数据多为大容量的结构化数据，数据类型复杂，需要耗费大量系统资源进行采集。

数据接口2包括关系型数据处理单元21、文件型数据处理单元22、系统数据处理单元23，分别用于处理上述三类数据。数据接口2接收数据流时，对数据流的当前数据类型进行判断，若当前数据类型为关系型数据，则启用关系型数据处理单元21，关系型数据处理单元21监听数据流，获取关系型数据文件，将关系型数据文件保存至服务器；若当前数据类型为文件型数据，则启用文件型数据处理单元22，文件型数据处理单元22监听数据流，获取文件型数据文件，将文件型数据文件保存至服务器；若当前数据类型为系统数据，则启用系统数据处理单元23，系统数据处理单元23监听数据流，直接获取并采集系统数据文件。

对上述各文件进行采集前，需要将部分文件保存至备份库，故本实施例提供了一种数据存储方法。

如图1所示，本实施例提供一种基于大数据技术框架的数据存储方法，包括以下步骤：

S100，采集数据文件；

S200，请求可用的数据节点；

S300，获取单个数据块大小，将所述数据文件依据所述单个数据块大小分块，得到多个数据块；为了保证存储效率，单个数据块的大小通常不小于64Mb。

S400，获取数据块副本数n，采用流式写入将所述数据块写入所述数据节点，并为每个所述数据块创建n个副本。通常n的取值为3。

进一步，采用流式写入将所述数据块写入所述数据节点的步骤包括以下子步骤：

S410，将第一数据块发送至第一节点；

S420，将第二数据块发送至第一节点，第一节点选取与其相邻的第二节点，将所述第一数据块发送至所述第二节点；

S430，将第三数据块发送至第一节点，第一节点将所述第二数据块发送至所述第二节点，第二节点选取与其相邻的第三节点，将所述第一数据块发送至所述第三节点；

S440，重复上述过程直至全部数据块发送完毕，并使每个数据块具备n个副本。

流式存储能够尽可能地提高存取效率，即采用一次写入、多次读取的模式从而达到最高效率。每个数据块均具备多个副本，当某组节点失效，从而导致其保存的数据块备份失效后，备份库选取新的节点，并重新创建这些失效数据块的备份，保证每个数据块始终拥有n个副本。

进一步，服务器用于将第一数据块发送至第一节点；

服务器用于将第二数据块发送至第一节点，备份库用于控制所述第一节点选取与其相邻的第二节点，将所述第一数据块发送至所述第二节点；

服务器用于将第三数据块发送至第一节点，备份库用于控制第一节点将所述第二数据块发送至所述第二节点，第二节点选取与其相邻的第三节点，将所述第一数据块发送至所述第三节点；重复上述过程直至全部数据块发送完毕，并使每个数据块具备n个副本。

通过上述方法，每个文件均在多个服务器分布有多个(n个)副本，即使部分服务器因意外停用，仍然能够从其他服务器获取该文件的完整副本。在节省服务器资源，提高存储速度的同时，大大提高了文件存储的稳定性。

图2为本发明提供的一种基于大数据技术框架的数据采集方法的流程图。如图所示，对于上述三种类型的数据，本实施例采用分类的方式进行采集，具体流程如下：

S110，业务模块1将数据流发送至数据接口2。

S120，数据接口2对数据流进行分析、分类。

S130，若数据流当前数据类型为系统数据，执行系统数据采集策略，系统数据处理单元23监听数据流，从数据流中实时采集系统数据文件。

S140，若数据流当前数据类型为文件型数据，执行文件采集策略，文件型数据处理单元22定时将生成的文件型数据文件发送至服务器3，并定时从服务器3对文件型数据文件进行采集。

S150，若数据流当前数据类型为关系型数据，执行数据库采集策略，关系型数据处理单元21首先将生成的数据文件发送至服务器3，之后关系型数据处理单元21将数据文件备份至备份库4，最后从备份库4采集数据文件。

系统数据指本数据采集装置在运行时产生的数据，具有高时效性，需要及时进行分析、存储，因此需求在第一时间采集，故由数据接口2中的系统数据处理单元23直接采集。根据本发明的其他可选实施例，采集系统数据得到的系统数据文件存储至服务器3和/或备份库4。

文件型数据在被采集前，通常需要进行其他分析处理，获取有效数据，因此首先将文件型数据存储至服务器3，以供分析处理，待处理完成后再进行采集。

根据本发明的一些可选实施例，业务模块1会定时生成一定量的文件型数据，服务器3定时存储一定量由文件型数据生成的数据文件，以供定时进行采集。可选的，在采集文件型数据时，首先制定监听服务器列表，监听所述监听服务器列表中的服务器中的文件目录，根据预设时间间隔，定时从所述文件目录采集数据文件。

关系型数据多为大容量的结构化数据，在进行采集时需要耗费服务器3大量的系统资源，由于服务器3同时还要进行其他数据文件的保存等工作，会严重影响整体工作效率，还会影响到业务模块1的运行和稳定。本实施例给出了一种解决方案，即将关系型数据保存至服务器3后，再将其备份至备份库4，并从备份库4进行采集，这样既可以节省服务器3的系统资源，保证其性能和稳定性，又可以令备份库4以全部性能支撑数据采集工作，提高了采集效率。

上述三种采集方式并非绝对独立，而是各有侧重，互为补充，以满足不同类型数据的高效采集。例如，当文件型数据以较高的频率生成时，也可以对其进行实时采集，当文件型数据的数量较大时，也可先将其备份至备份库再进行采集。数据采集方式灵活，可根据实际情况进行选择和设定。

从时效性来划分上述三种数据采集方式，可以分为以下两类：

实时采集，对需要实时处理的数据7*24小时不间断采集，数据处理延迟低，一般控制在秒级。实时采集通常对应于上述系统数据的采集，但是一些特殊情况，例如文件型数据以较高的频率生成时，也可以对其进行实施采集。

离线采集，也叫批量采集，定期将批量数据从外部系统导入，采集频率低，数据量大，通常对应上述关系型数据的采集方法。

从数据提供方式来划分上述三种数据采集方式，可以分为以下两类：

主动采集，及本装置按一定频率从外部系统抽取数据，对应上述关系型数据和文件型数据的采集方法。

被动采集，通过开启数据接口2，被动接收从外部发送过来的数据，可以保证良好的实时性，对应上述系统数据的采集方法。

本实施例在使用时，根据数据采集的时效性要求及数据来源，对三种所述采集方式进行系统性能资源的分配，灵活高效。

根据本发明的一些可选实施例，本发明的服务器实时监测自身负载，当服务器整体负载低时，线性减少启用的服务器数量，当服务器整体负载高时，线性增加启用的服务器数量；对于备份库，采用类似的方式增加或减少数量。通过设置可线性扩展的服务器集群，动态适应负载压力，使服务器资源得到最大利用。

从上面所述可以看出，本发明提供的一种基于大数据技术框架的数据存储方法及装置通过将网络数据分流存储，充分利用了服务器资源，提高资源存储效率和安全性。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于大数据技术框架的数据存储方法，其特征在于，包括以下步骤：

采集数据文件；

请求可用的数据节点；

获取单个数据块大小，将所述数据文件依据所述单个数据块大小分块，得到多个数据块；

获取数据块副本数n，采用流式写入将所述数据块写入所述数据节点，并为每个所述数据块创建n个副本。

2.根据权利要求1所述的方法，其特征在于，采用流式写入将所述数据块写入所述数据节点的步骤包括以下子步骤：

将第一数据块发送至第一节点；

将第二数据块发送至第一节点，第一节点选取与其相邻的第二节点，将所述第一数据块发送至所述第二节点；

将第三数据块发送至第一节点，第一节点将所述第二数据块发送至所述第二节点，第二节点选取与其相邻的第三节点，将所述第一数据块发送至所述第三节点；

重复上述过程直至全部数据块发送完毕，并使每个数据块具备n个副本。

3.根据权利要求1所述的方法，其特征在于，采集数据文件包括以下子步骤：

监听数据流；

判断数据流当前数据类型；

根据数据类型的不同采用不同的数据采集策略；

其中所述数据采集策略包括：

数据库采集策略，用于采集关系型数据，将数据备份至备份库后，生成数据文件，从备份库采集关系型数据文件；

文件采集策略，用于采集文件型数据，监听服务器的文件目录，定时从所述文件目录采集文件型数据文件；

系统数据采集策略，用于采集系统产生的实时数据，监听数据流，从所述数据流中直接采集系统数据文件。

4.根据权利要求3所述的方法，其特征在于，所述数据库采集策略包括以下步骤：

监听数据流，获取关系型数据文件；

将关系型数据文件保存至服务器；

将关系型数据文件备份至备份库；

从备份库采集关系型数据文件。

5.根据权利要求3所述方法，其特征在于，所述文件采集策略包括以下步骤：

监听数据流，获取文件型数据文件；

将文件型数据文件保存至服务器；

制定监听服务器列表；

监听所述监听服务器列表的服务器中的文件目录；

定时从所述文件目录采集文件型数据文件。

6.根据权利要求3所述的方法，其特征在于，还包括以下步骤：

检测服务器负载，当服务器整体负载低时，线性减少启用的服务器数量，当服务器整体负载高时，线性增加启用的服务器数量。

7.一种基于大数据技术框架的数据存储装置，其特征在于，包括：

服务器，用于临时存储数据文件；

备份库，设置有多个数据节点；

服务器用于向备份库请求可用的数据节点；

服务器用于获取单个数据块大小，将所述数据文件依据所述单个数据块大小分块，得到多个数据块；

服务器用于获取数据块副本数n，采用流式写入将所述数据块写入所述数据节点，并为每个所述数据块创建n个副本。

8.根据权利要求7所述的装置，其特征在于，服务器用于将第一数据块发送至第一节点；

服务器用于将第二数据块发送至第一节点，备份库用于控制所述第一节点选取与其相邻的第二节点，将所述第一数据块发送至所述第二节点；

服务器用于将第三数据块发送至第一节点，备份库用于控制第一节点将所述第二数据块发送至所述第二节点，第二节点选取与其相邻的第三节点，将所述第一数据块发送至所述第三节点；重复上述过程直至全部数据块发送完毕，并使每个数据块具备n个副本。