CN103365971A - 基于云计算的海量数据访问处理系统 - Google Patents

Abstract

本发明提出了一种基于云计算的海量数据访问处理系统，包括：海量数据采集模块；海量数据智能加工处理模块；海量数据存储管理模块；海量数据服务模块；海量数据处理过程监控模块。所述海量数据处理模块从各类海量数据源收集海量数据到数据处理中心，对所收集的各类海量数据进行格式检查和标准化处理。本发明的有益效果如下：可有效解决海量数据加工处理、海量数据共享服务、监控系统与海量数据处理平台的协作问题，解决了统一数据访问、数据一致性保障和数据安全管理等核心问题，同时针对海量数据的访问从性能方面进行了优化；实现海量数据处理与移动电子商务的无缝融合。

Description

基于云计算的海量数据访问处理系统

技术领域

本发明涉及数据处理技术领域，特别是指一种基于云计算的海量数据访问处理系统。 

背景技术

随着计算机和网络技术的飞速发展，信息量的增长远远超出了人们对信息获取能力的增长。海量信息资源的有序存储和利用越来越受到世界各国的关注。现实社会里，由其在移动电子商务领域经常存在着对海量数据进行查询显示和浏览交易的需求。然而，面对海量级别的数据，我们首先要考虑的问题是如何提高海量数据的操作性能和处理效率。目前人们主要采取的海量数据处理措施主要包括：选用优秀的数据库工具、优化查询语句、加大虚拟内存、对数据进行分区操作、建立广泛的索引、利用分页技术进行分批处理、使用临时表和中间表、使用数据仓库和多维数据库存储、使用采样数据进行数据挖掘和升级硬件等策略。 

以上这些解决海量数据处理效率的策略往往需要巨大的资金投入，要么增加硬件的成本、要么提成开发人员的自身素质，这些都需要增加成本，并且不能从根源上解决海量数据的处理效率问题。 

发明内容

本发明提出一种基于云计算的海量数据访问处理系统，解决了现有技术中处理海量数据需要付出巨大成本的问题。 

本发明的技术方案是这样实现的： 

一种基于云计算的海量数据访问处理系统，包括： 

（1）海量数据采集模块： 

从各类海量数据源收集海量数据到数据处理中心，对所收集的各类海量数据进行格式检查和标准化处理； 

（2）海量数据智能加工处理模块： 

对海量数据采集模块采集到的各类经标准化处理过的海量数据进行解码和格式转换，生成标准格式的数据产品，对部分海量数据进行实时质量检查和准实时质量检查，设置每个数据的质量控制码，生成带有质量控制码的标准格式数据产品；对部分实时和非实时海量数据进行选取、融合以及统计加工，生成处理后的海量数据； 

（3）海量数据存储管理模块：对经过海量数据智能加工处理模块处理后的海量数据进行存储管理； 

（4）海量数据服务模块：将海量数据存储管理模块中存储的海量数据以各种方式与用户之间进行交互，满足用户对海量数据的访问需求； 

（5）海量数据处理过程监控模块：对海量数据采集模块中的数据采集过程、海量数据智能加工处理模块中的数据加工处理过程以及海量数据服务模块中的数据服务过程进行监控和实时处理。 

所述海量数据存储管理模块包括数据存储结构模块、数据入库存储模块、数据处理模块、数据清除模块、数据安全控制模块、数据备份与恢复模块、数据迁移与回迁模块、数据归档模块和数据访问接口模块。 

所述海量数据服务模块包括数据共享分发模块、元数据交换模块、Web检索服务模块、数据定制服务模块、数据直接服务模块、数据访问服务接口模块和用户服务管理模块。 

所述海量数据处理过程监控模块包括原始监控海量数据信息收集模块、监控信息存储模块、监控信息检索模块、监控信息统计模块、数据业务分析模块、监控信息发布与展现模块、数据处理流程定义模块、数据处理调度控制模块、系统内部用户管理模块和系统配置信息管理模块。 

所述数据存储结构模块的具体实现方法是：按照统一的海量数据库对象模型和存储规范，生成数据库的存储管理结构，包括存储空间、存储结构和数据目录。 

本发明所述方法主要解决了海量数据访问的技术难点，由于海量数据有多种类型的数据处理模块和数据共享模块，因此海量数据的存储访问存在着多种访问和调用模式，又因为海量数据规模庞大，上述多种访问方式会严重降低海量数据的访问调度的效率。本发明通过对所收集的各类海量数据进行格式检查和标准化处理，将多种不同的模块访问和调用海量数据的模式、程序、方法做了统一整合，形成一个访问调用框架，有效的解决了不同处理模块和共享模块对海量数据的协作问题，解决了海量数据统一访问、海量数据一致性保障和海量数据安全管理等核心问题，同时针对海量数据的访问从性能方面进行了优化设计。 

本发明的有益效果如下： 

可有效解决海量数据加工处理、海量数据共享服务、监控系统与海量数据处理平台的协作问题，解决了统一数据访问、数据一致性保障和数据安全管理等核心问题，同时针对海量数据的访问从性能方面进行了优化。 

实现分布式海量异构数据的标准化规范化存储管理，构建一个面向服务、稳定高效的多级海量数据平台，通过该平台可以对移动电子商务的消费数据、支付数据、浏览行为、交易行为、消费偏好等海量移动互联网数据进行分析，提供精准的营销服务、精准的经营分析服务以及个性化的信息推送服务，为搭建移动电子商务服务鉴定技术和数据处理基础；能够满足海量数据每天以TB级增长的处理需求。 

实现海量数据处理与移动电子商务的无缝融合，可利用海量数据处理平台的强大运算和存储能力对移动电子商务各种数据进行分析整合，能够为商户在网上提供差异化的精准营销服务模式，同时给广大消费者用户提供准个性化、差异化的电商服务。 

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。 

图1为本发明各模块连接结构原理框图。 

具体实施方式

下面结合具体实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 

如图1所示，一种基于云计算的海量数据访问处理系统，包括： 

（1）海量数据采集模块： 

从各类海量数据源收集海量数据到数据处理中心，对所收集的各类海量数据进行格式检查和标准化处理； 

（2）海量数据智能加工处理模块： 

对海量数据进行解码和格式转换，生成标准格式的数据产品，对部分海量数据进行实时质量检查和准实时质量检查，设置每个数据的质量控制码，生成带有质量控制码的标准格式数据产品；对部分实时和非实时海量数据进行选取、融合以及统计加工，生成处理后的海量数据； 

（3）海量数据存储管理模块： 

按照统一的海量数据库对象模型和存储管理规范，生成数据库的存储管理结构，包括存储空间、存储结构、数据目录等；数据经过入库/更新等过程存入数据库的各数据子库中；进行数据入库前的数据转换处理、数据融合处理等预处理工作；定时清除数据库中超出保存周期的数据和文件；根据各类数据不同的特性和安全策略，对不同的用户提供相应级别的访问权限控制和分配，以保证数据库中数据的安全性；通过制定系统备份策略，定期自动或人工对各级别存储管理的海量数据进行备份，在系统发生故障、数据异常丢失后，通过恢复策略实现备份数据的快速数据恢复；根据资料的存储时限、使用频度和存储空间占用情况，参照分级存储的特性，定义数据迁移或回迁策略，实现数据的自动化迁移和回迁；按照归档策略，定期把系统中所管理的数据以标准的通用数据格式及记录方式，记录到磁带上进行脱机保存，包括对数据收发系统收集并 预处理后的原始信息的归档、对基础数据库全部信息的归档、对监控信息库全部信息的归档；为用户获取实时海量数据和其他数据提供标准接口，屏蔽（封装）数据的物理存储，提供面向数据共享服务应用层的数据透明访问。 

（4）海量数据服务模块： 

将入库存储后的数据处理后以推送的方式分发给相关最终用户；对海量元数据和应用服务所需信息进行采集、发布、交换与同步；通过Web方式提供内容丰富、界面友好的数据信息资源导航、搜索、数据检索下载、图形化展示、统计分析等资料检索应用服务；根据用户提出的特定需求提供个性化的数据与产品服务；采用传输方式，在在线磁盘存储空间上建立海量数据/产品的分级目录，用户可以直接访问，下载数据；提供用于数据检索下载的API程序调用库函数、WEB Services服务发布，为用户提供多种数据访问方式；提供对整个用户服务流程和多种服务手段的统一管理。 

（5）海量数据处理过程监控模块： 

提供各数据领域原始监视信息的收集、过滤功能；提供监控信息的存储管理功能；根据用户需求及预先定制的策略对系统类原始监视信息和数据处理流程类原始监视信息进行检索；根据用户需求及预先定制的策略对系统类原始监视信息和数据处理流程类原始监视信息进行统计；实现业务规则分析、业务影响分析和可能原因分析等服务；提供基于web技术的可视化交互平台，实现监视信息的实时在线浏览、在线查询、在线统计、故障报警等展现功能；提供可视化的各数据处理系统内部及跨业务系统的数据处理流程配置功能；提供根据不同类型数据处理配置驱动资料处理的数据处理流程，实现对数据处理流程的总体控制功能；对各应用系统所需的各类配置信息进行统一的配置、管理与维护。 

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (5)

1.一种基于云计算的海量数据访问处理系统，其特征在于，包括：

（1）海量数据采集模块：

从各类海量数据源收集海量数据到数据处理中心，对所收集的各类海量数据进行格式检查和标准化处理；

（2）海量数据智能加工处理模块：

对海量数据采集模块采集到的各类经标准化处理过的海量数据进行解码和格式转换，生成标准格式的数据产品，对部分海量数据进行实时质量检查和准实时质量检查，设置每个数据的质量控制码，生成带有质量控制码的标准格式数据产品；对部分实时和非实时海量数据进行选取、融合以及统计加工，生成处理后的海量数据；

（3）海量数据存储管理模块：对经过海量数据智能加工处理模块处理后的海量数据进行存储管理；

（4）海量数据服务模块：将海量数据存储管理模块中存储的海量数据以各种方式与用户之间进行交互，满足用户对海量数据的访问需求；

（5）海量数据处理过程监控模块：对海量数据采集模块中的数据采集过程、海量数据智能加工处理模块中的数据加工处理过程以及海量数据服务模块中的数据服务过程进行监控和实时处理。

2.根据权利要求1所述的基于云计算的海量数据访问处理系统，其特征在于，所述海量数据存储管理模块包括数据存储结构模块、数据入库存储模块、数据处理模块、数据清除模块、数据安全控制模块、数据备份与恢复模块、数据迁移与回迁模块、数据归档模块和数据访问接口模块。

3.根据权利要求1或2所述的基于云计算的海量数据访问处理系统，其特征在于，所述海量数据服务模块包括数据共享分发模块、元数据交换模块、Web检索服务模块、数据定制服务模块、数据直接服务模块、数据访问服务接口模块和用户服务管理模块。

4.根据权利要求3所述的基于云计算的海量数据访问处理系统，其特征在于，所述海量数据处理过程监控模块包括原始监控海量数据信息收集模块、监控信息存储模块、监控信息检索模块、监控信息统计模块、数据业务分析模块、监控信息发布与展现模块、数据处理流程定义模块、数据处理调度控制模块、系统内部用户管理模块和系统配置信息管理模块。

5.根据权利要求2所述的基于云计算的海量数据访问处理系统，其特征在于，所述数据存储结构模块的具体实现方法是：按照统一的海量数据库对象模型和存储规范，生成数据库的存储管理结构，包括存储空间、存储结构和数据目录。