CN105630816A - 电子平台的后台数据系统 - Google Patents

Abstract

本发明公开了一种电子平台的后台数据系统，包括多个数据分块、多个数据节点、元数据点、作业调度模块。数据节点的数量与数据分块的数量相一致，每一个数据节点中存储一个以上的数据分块，且每一个数据分块被存储在一个以上的数据节点中，元数据点中存储所有数据节点的数据，每一个数据节点中均包括任务调度器，作业调度模块连接至所有的任务调度器。本发明的电子平台的后台数据系统对特定数据平台中的核心数据进行了分布式的存储和调用，因此具有速度快、安全性高、交叉引用合理等优势。

Description

电子平台的后台数据系统

技术领域

本发明涉及特定数据平台的数据系统，更具体地说，涉及电子平台的后台数据系统。

背景技术

目前，钢铁行业，尤其是钢铁的交易产业已经进入了大数据时代，海量的交易数据，动态变化的交易行情使得数据的处理变得尤为地重要。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，其数据产生速度快，处理要求快，数据生成数量大，不适合传统数据库存储，且数据来源类型丰富，例如网站日志，地理位置定位信息等。

然而，现有的数据处理模式并没有针对特定数据平台中使用的大数据进行针对性的优化，尤其是针对特定数据平台中的几个核心概念及其数据，例如钢铁的种类、品质、数量等关键信息的针对性结构优化尚未有突破性的进展，因此目前的用于特定数据平台的数据结构和数据处理还未跟上特定数据平台越来越快的发展步伐。

发明内容

针对现有技术中存在的专用电子平台的数据结构优化不到位的问题，本发明的目的是提供电子平台的后台数据系统。

为实现上述目的，本发明采用如下技术方案：

一种电子平台的后台数据系统，包括多个数据分块、多个数据节点、元数据点、作业调度模块。数据节点的数量与数据分块的数量相一致，每一个数据节点中存储一个以上的数据分块，且每一个数据分块被存储在一个以上的数据节点中，元数据点中存储所有数据节点的数据，每一个数据节点中均包括任务调度器，作业调度模块连接至所有的任务调度器。

根据本发明的一实施例，数据分块和数据节点的数量均为3个，分别是第一分块、第二分块、第三分块和第一节点、第二节点和第三节点。

根据本发明的一实施例，第一分块中存储钢铁种类信息，第二分块中存储钢铁品质信息，第三分块中存储钢铁数量信息。

根据本发明的一实施例，第一节点中存储第一分块和第二分块，第二节点中存储第一分块和第三分块，第三节点中存储第二分块和第三分块。

根据本发明的一实施例，第一节点中包括第一任务调度器，第二节点中包括第二任务调度器，第三节点中包括第三任务调度器。

根据本发明的一实施例，作业调度模块包括第一调度单元和第二调度单元，第一调度单元和第二调度单元分别交叉调用第一任务调度器、第二任务调度器、第三任务调度器。

在上述技术方案中，本发明的电子平台的后台数据系统对特定数据平台中的核心数据进行了分布式的存储和调用，因此具有速度快、安全性高、交叉引用合理等优势。

附图说明

图1是本发明电子平台的后台数据系统的结构示意图；

图2是本发明电子平台的后台数据系统的作业调度模块的结构示意图；

图3是作业调度模块的调度示意图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

如图1所示，本发明公开一种电子平台的后台数据系统，其主要模块为多个数据分块、多个数据节点、元数据点、作业调度模块，其主要有以下的4个特点：

大文件和大数据块：数据文件的大小普遍在GB级别，而且其每个数据块默认大小为64MB，这样做的好处是减少了元数据的大小，能使元数据节点能够非常方便地将元数据放置在内存中以提升访问效率。

操作以添加为主：因为文件很少被删减或者覆盖，通常只是进行添加或者读取操作，这样能充分考虑到硬盘线性吞吐量大和随机读写慢的特点。

支持容错：数据块会被复制在多个数据节点上，当某些数据节点失效，并不会影响整个业务的运行。

高吞吐量：可以支持上千的数据节点，所以总的数据吞吐量是非常惊人的。

参照图1，数据节点的数量与数据分块的数量相一致，每一个数据节点中存储一个以上的数据分块，且每一个数据分块被存储在一个以上的数据节点中，元数据点中存储所有数据节点的数据，每一个数据节点中均包括任务调度器，作业调度模块连接至所有的任务调度器。

从广义上讲，高性能计算的方法是将作业分配给一个机器集群，这些机器访问共享文件系统，由一个存储区域网络进行管理。这非常适用于以计算密集型为主的作业，但当节点需要访问的大数据量(数百GB的数据，)时，这会成为一个问题，因为网络带宽成为“瓶颈”，所以计算节点闲置下来了。

因此，作为本发明的一种实施方式，合理地进行数据分块和数据节点的设置显得尤为重要。在本发明中，数据分块和数据节点的数量均为3个，分别是第一分块、第二分块、第三分块和第一节点、第二节点和第三节点。其中，第一分块中存储钢铁种类信息，第二分块中存储钢铁品质信息，第三分块中存储钢铁数量信息，且第一节点中存储第一分块和第二分块，第二节点中存储第一分块和第三分块，第三节点中存储第二分块和第三分块。

如图2和图3所示，第一节点中包括第一任务调度器，第二节点中包括第二任务调度器，第三节点中包括第三任务调度器，而作业调度模块包括第一调度单元和第二调度单元，第一调度单元和第二调度单元分别交叉调用第一任务调度器、第二任务调度器、第三任务调度器。这种结构的好处是使得特定数据平台中的三个主要影响因素，即钢铁种类信息、钢铁品质信息和钢铁数量信息能够进行分布式存储，并且在调用时也能够从对应的节点中进行选择，实现各个节点都能够最大效率地进行分配和调用。

以图3为例，在实际使用中，当第一节点、第二节点和第三节点中的数据需要被调用时，例如第一节点中的第一分块、第二节点中的第二分块和第三节点中的第三分块需要被调用时，第一调度单元和第二调度单元能够分别以最合理的方式起到最快的调度作用。

由此可见，本发明的电子平台的后台数据系统能够进行合理的数据分块，能降低数据库负载，提高应用系统性能，提供了统一的并行处理框架，并且有很好的水平扩展能力，当计算能力不足的情况下，可以简单的添加机器就可以应对，并将消耗资源的计算从数据仓库剥离，提高了数据仓库的处理能力。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (6)

1.一种电子平台的后台数据系统，其特征在于，包括：

多个数据分块、多个数据节点、元数据点、作业调度模块；

所述数据节点的数量与所述数据分块的数量相一致，每一个数据节点中存储一个以上的数据分块，且每一个数据分块被存储在一个以上的数据节点中；

所述元数据点中存储所有数据节点的数据；

每一个所述数据节点中均包括任务调度器，所述作业调度模块连接至所有的任务调度器。

2.如权利要求1所述的电子平台的后台数据系统，其特征在于，所述数据分块和数据节点的数量均为3个，分别是第一分块、第二分块、第三分块和第一节点、第二节点和第三节点。

3.如权利要求2所述的电子平台的后台数据系统，其特征在于，所述第一分块中存储钢铁种类信息，所述第二分块中存储钢铁品质信息，所述第三分块中存储钢铁数量信息。

4.如权利要求3所述的电子平台的后台数据系统，其特征在于，所述第一节点中存储第一分块和第二分块，所述第二节点中存储第一分块和第三分块，所述第三节点中存储第二分块和第三分块。

5.如权利要求4所述的电子平台的后台数据系统，其特征在于，所述第一节点中包括第一任务调度器，所述第二节点中包括第二任务调度器，所述第三节点中包括第三任务调度器。

6.如权利要求5所述的电子平台的后台数据系统，其特征在于，所述作业调度模块包括第一调度单元和第二调度单元，所述第一调度单元和第二调度单元分别交叉调用所述第一任务调度器、第二任务调度器、第三任务调度器。