CN107016133A - 基于在线与离线双处理的大数据系统 - Google Patents

Abstract

本发明公开了一种基于在线与离线双处理的大数据系统，包括数据收集模块和数据处理模块，所述数据收集模块和啊数据处理模块通过发布订阅模块数据连接；所述数据收集模块包括线上实时收集模块、定期批量收集模块和静态数据收集模块；所述数据处理模块包括在线处理模块和离线处理模块；本发明基于在线与离线双处理的大数据系统通过离线处理模块和在线处理模块的配合工作，使得其能够在线上与线下同时工作，提升处理效率，避免出现反应不及时的情况。

Description

基于在线与离线双处理的大数据系统

技术领域

本发明涉及大数据领域，尤其涉及一种基于在线与离线双处理的大数据系统。

背景技术

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，大数据存储和大数据统计是海量用户产品不可或缺的技术，现在一般的大数据均是之间在线上进行存储与处理，其可能出现处理不及时或者对网络的需求度过高的问题。

发明内容

本发明的目的就在于为了解决上述问题而提供及一种基于在线与离线双处理的大数据系统。

本发明通过以下技术方案来实现上述目的：

一种基于在线与离线双处理的大数据系统，包括数据收集模块和数据处理模块，所述数据收集模块和啊数据处理模块通过发布订阅模块数据连接；

所述数据收集模块包括线上实时收集模块、定期批量收集模块和静态数据收集模块；

所述数据处理模块包括在线处理模块和离线处理模块；

所述线上实时数据收集模块和所述定期批量收集模块的数据输出端均与所述发布订阅模块的数据输入端连接，所述发布订阅模块的数据输出端分别与所述在线处理模块和所述离线处理模块的数据输入端连接，所述静态数据收集模块的数据输出端与所述离线处理模块的数据输入端连接。

所述在线处理模块包括在线计算模块、在线存储模块和线上服务器，所述在线计算模块的数据输入端与所述发布订阅模块的数据输出端连接，所述在线计算模块的数据端与所述在线存储模的数据端双向连接，所述在线计算模块的输出端和所述在线存储模块的输出端均与所述线上服务器的输入端连接；

所述离线处理模块包括离线存储模块、离线计算模块和离线控制模块，所述离线存储模块的数据输入端与所述发布订阅模块和所述静态数据收集模块的数据输出端连接，所述离线存储模块的数据端和所述离线计算模块的数据端双向连接，所述离线存储模块的控制端和所述离线计算模块的控制端均与所述离线控制模块连接；

所述在线计算模块的存储端与所述离线存储模块的存储端连接，所述在线存储模块的储存的与所述离线计算模块的存储端双向连接。

本发明的有益效果在于：

本发明基于在线与离线双处理的大数据系统通过离线处理模块和在线处理模块的配合工作，使得其能够在线上与线下同时工作，提升处理效率，避免出现反应不及时的情况。

附图说明

图1是本发明所述基于在线与离线双处理的大数据系统的结构示意图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，本发明一种基于在线与离线双处理的大数据系统，包括数据收集模块和数据处理模块，数据收集模块和啊数据处理模块通过发布订阅模块数据连接；

数据收集模块包括线上实时收集模块、定期批量收集模块和静态数据收集模块；

数据处理模块包括在线处理模块和离线处理模块；

线上实时数据收集模块和定期批量收集模块的数据输出端均与发布订阅模块的数据输入端连接，发布订阅模块的数据输出端分别与在线处理模块和离线处理模块的数据输入端连接，静态数据收集模块的数据输出端与离线处理模块的数据输入端连接。

在线处理模块包括在线计算模块、在线存储模块和线上服务器，在线计算模块的数据输入端与发布订阅模块的数据输出端连接，在线计算模块的数据端与在线存储模的数据端双向连接，在线计算模块的输出端和在线存储模块的输出端均与线上服务器的输入端连接；

离线处理模块包括离线存储模块、离线计算模块和离线控制模块，离线存储模块的数据输入端与发布订阅模块和静态数据收集模块的数据输出端连接，离线存储模块的数据端和离线计算模块的数据端双向连接，离线存储模块的控制端和离线计算模块的控制端均与离线控制模块连接；

在线计算模块的存储端与离线存储模块的存储端连接，在线存储模块的储存的与离线计算模块的存储端双向连接。。

数据的来源一般有三种：第一种是线上的实时日志流；第二种是定期批量收集和更新的数据；第三种是长期不变的静态数据。前两种数据通常传输到订阅发布模块当中，在传输至处理模块。静态数据一般直接保存在离线存储模块中，供需要时访问。

发布订阅模块负责管理数据的发布和收集下游的订阅需求，将数据分发给对应的下游模块，一部分数据会发送到在线计算模块，另一部分数据会落入离线存储模块。发布订阅模块可分为持久式和非持久式，可根据需求特性选用。

对于在线处理部分，在线计算模块所需的数据一部分来自从发布订阅模块中获取实时数据，另一部分来自在线存储模块。在线计算模块常见的计算类型有在线服务、流式计算、实时回馈等，分别服务于数据抓取、实时统计、实时监控、在线分析等。在线存储模块中的数据一般分为临时缓存数据和持久化数据，这些数据通常来自在线计算模块和离线计算模块。在线存储模块承载的应用有：KV缓存、数据库缓存、流式数据、字典服务等。

对于离线处理部分，离线存储模块负责对文件、对象、结构化数据的存储，服务于日志、网页、关系链、多媒体、字典、数据库等应用，它的数据来源非常丰富。而离线计算模块的数据一般来自离线存储和在线存储，计算结果往往也写回离线和在线存储模块。离线计算模块上的计算分为IO密集型、计算密集型、迭代型、类SQL型等类型。

在离线处理中的任务依赖离线控制模块，在线处理的各模块由于基本上是数据流驱动或者是事件驱动的，所以不需要显式地设置各个任务的上下游依赖关系，数据和事件的流式传播即触发了对应的计算，而对于离线处理，各个任务都是批量处理的方式，因此需要等上游完成批量处理，下游才能开始接着处理。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (2)

1.一种基于在线与离线双处理的大数据系统，其特征在于：包括数据收集模块和数据处理模块，所述数据收集模块和啊数据处理模块通过发布订阅模块数据连接；

所述数据收集模块包括线上实时收集模块、定期批量收集模块和静态数据收集模块；

所述数据处理模块包括在线处理模块和离线处理模块；

所述线上实时数据收集模块和所述定期批量收集模块的数据输出端均与所述发布订阅模块的数据输入端连接，所述发布订阅模块的数据输出端分别与所述在线处理模块和所述离线处理模块的数据输入端连接，所述静态数据收集模块的数据输出端与所述离线处理模块的数据输入端连接。

2.根据权利要求1所述的基于在线与离线双处理的大数据系统，其特征在于：所述在线处理模块包括在线计算模块、在线存储模块和线上服务器，所述在线计算模块的数据输入端与所述发布订阅模块的数据输出端连接，所述在线计算模块的数据端与所述在线存储模的数据端双向连接，所述在线计算模块的输出端和所述在线存储模块的输出端均与所述线上服务器的输入端连接；

所述离线处理模块包括离线存储模块、离线计算模块和离线控制模块，所述离线存储模块的数据输入端与所述发布订阅模块和所述静态数据收集模块的数据输出端连接，所述离线存储模块的数据端和所述离线计算模块的数据端双向连接，所述离线存储模块的控制端和所述离线计算模块的控制端均与所述离线控制模块连接；

所述在线计算模块的存储端与所述离线存储模块的存储端连接，所述在线存储模块的储存的与所述离线计算模块的存储端双向连接。