CN102023978A - 一种海量数据处理方法及系统 - Google Patents

Abstract

本发明提供了一种海量数据处理方法及系统，包括根据原始用户数据特征，对原始用户数据进行实时编码并同步输出；对编码后的数据进行并行预处理，对预处理后的数据进行统计处理并同步输出；按照不同的编码方式，分类存储统计处理后的数据。本发明通过对原始用户数据进行编码处理，降低了存储成本，提高了后续、处理分析速度，大大节省了系统开销；而且，保证了分析处理系统可靠性，降低了内存资源和CPU开销，从而达到了实时分析的效果。

Description

一种海量数据处理方法及系统

技术领域

本发明涉及数据处理技术，尤指一种海量数据处理方法及系统。

背景技术

互联网行业中，用户在浏览门户网站，尤其是在浏览大型门户网站时，往往每天会产生上百GB的点击数据(也称为海量数据)。为了准确掌握门户网站的业务运营情况，即时调整产品或内容运营策略，快速统计分析、长期存储这些海量数据尤为重要。

目前，对海量数据的处理是直接对原始数据进行处理并存储的方式。这样，会大大增加系统开销，而且大大降低系统处理、分析速度。从而降低了分析处理系统可靠性，增加了内存资源和CPU开销，不能很好地达到实时分析、永久存储的效果。

发明内容

有鉴于此，本发明的主要目的在于提供一种海量数据处理方法，能够降低存储开销，提升分析速度，增强分析处理系统可靠性，降低内存资源和CPU开销，从而达到实时分析的效果。

本发明的另一目的在于提供一种海量数据处理系统，能够降低存储开销，提升分析速度，增强分析处理系统可靠性，降低内存资源和CPU开销，从而达到实时分析的效果。

为达到上述目的，本发明的技术方案是这样实现的：

一种海量数据处理方法，该方法包括：

根据原始用户数据特征，对原始用户数据进行实时编码并同步输出；

对编码后的数据进行并行预处理，对预处理后的数据进行统计处理并同步输出；

按照不同的编码方式，分类存储统计处理后的数据。

所述对原始用户数据进行实时编码包括：对所述原始用户数据，按照预先根据原始用户数据特征设置的编码方式进行实时编码。

如果与所述原始用户数据对应的编码方式不存在编码信息，该方法之前还包括：对所述原始用户数据，按照预先根据原始用户数据特征设置的编码方式进行实时编码并输出编码管理数据。

如果与所述原始用户数据对应的编码方式不存在编码信息，采用预先设置的指定编码方式进行实时编码并输出编码管理数据。

所述对编码后的数据进行并行预处理之后，还包括：按照预先设置的存储结构，将预处理后的数据存入内存缓存中。

一种海量数据处理系统，包括数据编码单元、数据处理单元、数据汇总单元、数据存储单元和实时同步单元，其中，

数据编码单元，用于按照预先设置的编码方式对原始用户数据进行实时编码并同步输出给数据处理单元；

数据处理单元，用于对编码后的数据进行并行预处理，并同步输出给数据汇总单元；

数据汇总单元，用于对预处理后的数据进行统计处理并同步输出给数据存储单元；

数据存储单元，用于按照不同的编码方式，分类存储统计处理后的数据；

实时同步单元，用于向各单元发送保证各个单元产生的数据的同步输出的同步指示。

所述系统还包括编码管理单元，

当存在不能对原始用户数据进行编码时，所述数据编码单元，还用于向编码管理单元输出编码通知，并缓存编码后的数据；

所述编码管理单元，用于接收到来自数据编码单元的编码通知，按照预先设置的编码方式或指定编码方式对原始用户数据进行实时编码并同步输出给数据编码单元和数据处理单元。

所述编码管理单元包括两个或两个以上，形成热备方式。

所述系统还包括数据解码单元，用于对存储的数据或编码管理数据进行解码并输出。

所述数据编码单元为一组；

所述数据处理单元为数十个64位构架服务器，同时并行处理；

所述数据汇总单元为两个或两个以上；

所述数据存储单元可以包括两个或两个以上，形成备份存储。

从上述本发明提供的技术方案可以看出，包括根据原始用户数据特征，对原始用户数据进行实时编码并同步输出；对编码后的数据进行并行预处理，对预处理后的数据进行统计处理并同步输出；按照不同的编码方式，分类存储统计处理后的数据。本发明通过对原始用户数据进行编码处理，降低了存储成本，提高了后续、处理分析速度，大大节省了系统开销；而且，保证了分析处理系统可靠性，降低了内存资源和CPU开销，从而达到了实时分析的效果。

附图说明

图1为本发明海量数据处理方法的流程图；

图2为本发明海量数据处理系统的组成结构示意图。

具体实施方式

图1为本发明海量数据处理方法的流程图，如图1所示，包括以下步骤：

步骤100：根据原始用户数据特征，对原始用户数据进行实时编码并同步输出。

本步骤对用户访问的原始用户数据，按照预先根据原始用户数据特征设置的编码信息进行实时编码，并重组原始数据。重组是本领域技术人员惯用技术手段，这里不再赘述。

该方法之前还包括：如果与原始用户数据对应的编码方式不存在编码信息，进行编码管理处理：对用户访问的原始用户数据，按照预先根据原始用户数据特征设置的编码方式进行实时编码并输出编码管理数据，如果与原始用户数据对应的编码方式还是不存在编码信息，采用预先设置的指定编码方式进行实时编码并输出编码管理数据。比如对于用户点击的页面采用动态编码方式等。

本发明通过对原始用户数据进行编码处理，大大节省了系统开销，降低了存储成本，提高了后续、处理分析速度。

步骤101：对编码后的数据进行并行预处理，对预处理后的数据进行统计处理并同步输出。

本步骤中，预处理并按照预先设置的存储结构，存入内存缓存中。在完成各种查询，包括用户去重组等后，输出对应的处理数据；对输出的处理数据，根据与不同数据特征对应的统计方式进行汇总处理并输出。比如，对于域名的PV/UV统计，由于数目相对较少，内存占用可以不考虑，采用单一的hash表缓存和统计方式；对于页面的点击去向数据，由于页面多，并且点击去向也多，内存占用大，为了兼顾高速度和低内存开销，采用hash表+快速查找树的混合方式来缓存和统计方式等。

其中，包括如按分割符“|”解析数据，并对非法的数据格式或异常的用户数据进行丢弃等操作；对复合编码字段进行编码字段分解成多个编码；对编码进行整形化等。

本步骤中，为了保证对编码后的数据进行并行预处理，预先设置用户ID后缀，该用户ID后缀与不同的服务器对应。按照用户ID后缀转发到不同的服务器。该用户ID后缀还可以根据负载动态调整，比如根据服务器的内存情况，或CPU占用情况等，优先考虑资源丰富的服务器进行后续预处理，以保证负载均衡。

步骤102：按照不同的编码方式，分类存储统计处理后的数据。

进一步地，本发明方法还包括：对存储的数据或编码管理数据进行解码。为了保证后续的查询和统计能符合最快响应速度要求，可以采用数据预处理解码方式，为了保证数据实时查询要求，可以采用数据实时解码方式等。

图2为本发明海量数据处理系统的组成结构示意图，如图2所示，本发明系统包括数据编码单元、数据处理单元、数据汇总单元、数据存储单元和实时同步单元，其中，

数据编码单元，用于按照预先设置的编码方式对原始用户数据进行实时编码并同步输出给数据处理单元。数据编码单元为一组。

数据处理单元，用于对编码后的数据进行并行预处理，并同步输出给数据汇总单元。数据处理单元为数十个64位构架服务器，同时并行处理。

数据汇总单元，用于对预处理后的数据进行统计处理并同步输出给数据存储单元。数据汇总单元为两个或两个以上。

数据存储单元，用于按照不同的编码方式，分类存储统计处理后的数据。数据存储单元可以包括两个或两个以上，以形成备份存储。

实时同步单元，用于向各单元发送保证各个单元产生的数据的同步输出的同步指示。

进一步地，本发明系统还包括编码管理单元，此时，

数据编码单元，当存在不能对原始用户数据进行编码时，还用于向编码管理单元输出编码通知，并缓存编码后的数据。

编码管理单元，用于接收到来自数据编码单元的编码通知，按照预先设置的编码方式或指定编码方式对原始用户数据进行实时编码并同步输出给数据编码单元和数据处理单元。编码管理单元可以包括两个或两个以上，以形成热备方式。

进一步地，本发明系统还包括数据解码单元，用于对存储的数据或编码管理数据进行解码并输出。还用于对编码管理数据进行解码并输出给数据存储单元。

以互联网用户点击互联网网站的数据为例，结合图2说明利用本发明方法对该海量数据的处理过程如下：

首先，数据编码单元对收到的编码查询请求，预先设定一组域名和一组整形ID影射，对于不在该ID影射关系的信息，向编码管理单元发送数据编码请求，并将编码结果缓存到数据编码单元中。同时输出实时同步单元要求格式的编码数据。这样就完成了用户点击数据编码。

编码管理单元对接收到的数据编码请求，按照预先设定一组域名和一组整形ID影射，对于不在该ID影射关系的信息，按照步长为1，累加后返回对应的整形ID，同理：对于用户点击的页面则采用动态编码方式，按照步长为1，累加后返回对应的整形ID。这样就完成了数据编码。

然后，数据处理单元对收到的编码后的数据，按照预先设置的存储结构如顺序字段转换为4个字节整形，以用户ID为关键字节(key)，并存入内存以哈希(HASH)表实现的缓存中，并计算需要统计的域名的PV，UV等，最后同步输出。

最后，数据汇总单元对收到的来自多个处理单元的数据，根据统计分析对象，包括域名PV/UV等分别汇总统计，并同步输出给数据存储单元，根据数据编码方式，分别存入对应的数据库表中。比如：采用一组Mysql 5.1.34服务器对数据分库分表存储；按照数据编码方式进行给域名分库。对应的域名的PV/UV数据则存入对应的ID关联的数据库对应的表中。

本实例中，假设实时同步单元按分钟实现输出数据文件。其中，文件名按照日期和时间、统计纬度，以及单元特性命名。实时同步单元可以根据需要部署在每个单元上。实时同步单元同时实现失败重传的传输机制，并且采用文件存储数据方式有利于在出错故障的时候容易恢复数据。关于实时同步单元的具体实现属于本领域技术人员惯用技术手段，这里不再详述。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种海量数据处理方法，其特征在于，该方法包括：

根据原始用户数据特征，对原始用户数据进行实时编码并同步输出；

对编码后的数据进行并行预处理，对预处理后的数据进行统计处理并同步输出；

按照不同的编码方式，分类存储统计处理后的数据。

2.根据权利要求1所述的海量数据处理方法，其特征在于，所述对原始用户数据进行实时编码包括：对所述原始用户数据，按照预先根据原始用户数据特征设置的编码方式进行实时编码。

3.根据权利要求2所述的海量数据处理方法，其特征在于，如果与所述原始用户数据对应的编码方式不存在编码信息，该方法之前还包括：对所述原始用户数据，按照预先根据原始用户数据特征设置的编码方式进行实时编码并输出编码管理数据。

4.根据权利要求3所述的海量数据处理方法，其特征在于，如果与所述原始用户数据对应的编码方式不存在编码信息，采用预先设置的指定编码方式进行实时编码并输出编码管理数据。

5.根据权利要求1所述的海量数据处理方法，其特征在于，所述对编码后的数据进行并行预处理之后，还包括：按照预先设置的存储结构，将预处理后的数据存入内存缓存中。

6.一种海量数据处理系统，其特征在于，包括数据编码单元、数据处理单元、数据汇总单元、数据存储单元和实时同步单元，其中，

数据编码单元，用于按照预先设置的编码方式对原始用户数据进行实时编码并同步输出给数据处理单元；

数据处理单元，用于对编码后的数据进行并行预处理，并同步输出给数据汇总单元；

数据汇总单元，用于对预处理后的数据进行统计处理并同步输出给数据存储单元；

数据存储单元，用于按照不同的编码方式，分类存储统计处理后的数据；

实时同步单元，用于向各单元发送保证各个单元产生的数据的同步输出的同步指示。

7.根据权利要求6所述的海量数据处理系统，其特征在于，所述系统还包括编码管理单元，

当存在不能对原始用户数据进行编码时，所述数据编码单元，还用于向编码管理单元输出编码通知，并缓存编码后的数据；

所述编码管理单元，用于接收到来自数据编码单元的编码通知，按照预先设置的编码方式或指定编码方式对原始用户数据进行实时编码并同步输出给数据编码单元和数据处理单元。

8.根据权利要求7所述的海量数据处理系统，其特征在于，所述编码管理单元包括两个或两个以上，形成热备方式。

9.根据权利要求6或7所述的海量数据处理系统，其特征在于，所述系统还包括数据解码单元，用于对存储的数据或编码管理数据进行解码并输出。

10.根据权利要求6所述的海量数据处理系统，其特征在于，所述数据编码单元为一组；

所述数据处理单元为数十个64位构架服务器，同时并行处理；

所述数据汇总单元为两个或两个以上；

所述数据存储单元可以包括两个或两个以上，形成备份存储。

Images