CN103914531B - 数据的处理方法及装置 - Google Patents

Abstract

本发明提供了一种数据的处理方法及装置，其中，数据的处理方法包括：接收数据；对数据进行预处理，并按照预定的展示策略对预处理后的数据进行计算，并对计算结果进行聚合处理；以及将聚合处理后的数据实时推送至客户端，以使客户端展示聚合处理后的数据。本发明实施例提供的数据的处理方法及装置，提高了数据处理的速度，缩短了数据处理的时间，使得数据使用者可实时直观读取数据并可实时查看数据的最新情况，提高了用户的体验。

Description

数据的处理方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据的处理方法及装置。

背景技术

在互联网产品中，时时刻刻都有大量数据从客户端发送到服务器，这些数据中包含了对于业务提升有较大帮助的信息。

目前，服务器对客户端发送来的大量数据通常采用以下两种处理方式,其中:

第一种方式：服务器可通过例如日志或者存文件等方式对客户端发送来的数据进行临时。具体而言，对于文本类信息一般通过写web server（网页服务器）访问日志的方式进行存储，对于二进制文件一类的信息，一般通过临时文件的方式进行存储。对于临时存储的信息，使用程序定时进行处理或者后续手工处理，将处理结果进行存储，数据使用者需要等待程序处理完成后才能使用数据。

第二种方式：在收到客户端发送数据的同时，服务器对数据进行预处理，并将预处理后的结果进行存储，数据的使用者同样需要等待存储完成后才能使用数据。

由此，目前的数据使用者必须等待服务器将全部数据统计完成之后，才能看到数据的分析结果，这大大延后了数据使用者能够直观读取数据的时间，用户体验并不理想。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明第一方面实施例在于提出一种数据的处理方法。

本发明的第二方面实施例在于提出一种数据的处理装置。

为了实现上述目的，本发明第一方面实施例的数据的处理方法，包括：接收数据；对所述数据进行预处理，并按照预定的展示策略对预处理后的数据进行计算，并对计算结果进行聚合处理；以及将聚合处理后的数据实时推送至客户端，以使所述客户端展示所述聚合处理后的数据。

根据本发明实施例的数据的处理方法，在接收数据之后，首先对数据进行预处理，然后按照预定的展示策略对预处理后的数据进行计算，并对计算结果进行聚合处理，以及将聚合处理之后的数据实时推送至客户端，提高了数据处理的速度，缩短了数据处理的时间，使得数据使用者可实时直观读取数据并可实时查看数据的最新情况，提高了用户的体验。

为了实现上述目的，本发明第二方面实施例的数据的处理装置，包括：接收模块，用于接收数据；处理模块，用于对所述数据进行预处理，并按照预定的展示策略对预处理后的数据进行计算，并对计算结果进行聚合处理；以及推送模块，用于将聚合处理后的数据实时推送至客户端，以使所述客户端展示所述聚合处理后的数据。

根据本发明实施例的数据的处理装置，在接收模块接收数据之后，通过处理模块对数据进行预处理，按照预定的展示策略对预处理后的数据进行并行计算，并对计算结果进行聚合处理，以及将聚合处理之后的数据实时推送至客户端，提高了数据处理的速度，缩短了数据处理的时间，使得数据使用者可实时直观读取数据并可实时查看数据的最新情况，提高了用户的体验。

附图说明

图1是根据本发明一个实施例的数据的处理方法的流程图。

图2是本发明图1中步骤S102的细化流程图。

图3是根据本发明一个实施例的第一节点、第二节点和第三节点的位置关系的示例性示意图。

图4是根据本发明一个具体实施例的数据推送引擎工作的原理示意图。

图5是本发明的一个具体实施例的数据的处理方法的流程图。

图6是根据本发明一个实施例的数据的处理装置的结构示意图。

图7是根据本发明又一个实施例的数据的处理装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的数据的处理方法及装置。

图1是根据本发明一个实施例的数据的处理方法的流程图。

如图1所示，该数据的处理方法包括以下步骤：

S101，接收数据。

具体而言，服务器可使用多种协议接收不同客户端发送的大规模数据，例如，可支持套接字（socket）连接的方式、超文本转移协议（HTTP-Hypertext Transfer Protocol，HTTP)的方式。

在该实施例中，服务器可通过多种方式接收不同客户端发送的大规模数据，无论使用何种方式接收数据，在数据接收之后均需将数据缓存至待处理数据池中。其中，待处理数据池用于缓存接收到的数据。

S102，对数据进行预处理，并按照预定的展示策略对预处理后的数据进行计算，并对计算结果进行聚合处理。

在该实施例中，对数据进行预设处理可以包括步骤S1021，如图2所示。

S1021，通过多个第一节点对数据进行格式转换。

具体而言，第一节点又称预处理节点，负责对接收到的数据进行预处理，即将接收到的数据转换成为内部数据格式。例如，可以将数据转换为对象，其中，可以用对象的属性表示数据的各种特征。

其中，属性可以分为固定属性、分类属性和值属性。固定属性可以包括但不限于：任务编号、样本编号、样本采集时间和样本接收时间。分类属性用于表示数据在各种维度上的分类情况，例如“采集地域”是一个分类属性，它表示了该数据是在什么地域下采集的，该属性的值可以是省份名称、城市名称等。值属性表示数据在某个指标上的大小情况。例如，在网页测速中，“页面加载时间”是一个值属性，它表示页面加载所需要的总时间。应当理解，分类属性和值属性的个数不确定，需要根据数据的业务特性进行确定，在该实施例中对此不进行限定。

在该实施例中，通过多个第一节点并行对数据进行格式转换，可以大大提高数据格式转换的效率，为后续的数据处理提供了方便。

在该实施例中，按照预定的展示策略对预处理后的数据进行计算可以包括步骤S1022和S1023。

S1022，通过多个第二节点动态加载根据客户端的可视化框架确定的展示策略。

其中，可视化框架工作在客户端例如浏览器中，其主要功能是规定了一套实时数据展现的规范和接口，同时支持目前主流的可视化库，例如，D3.js（一个用于网页作图、生成互动图形的JavaScript函数库）、highcharts（一种用脚本语言JavaScript编写的图表库）、ECharts（一种基于Canvas，纯Javascript编写的图表库）等。

具体地，第二节点又称工作（Worker）节点，可通过动态方式加载展示策略，该展示策略由客户端的可视化框架中展示的具体视图决定，也就是说，在客户端的可视化框架中展示的具体视图发生改变之后，第二节点在处理数据时所使用的展示策略也随之发生改变，即第二节点中可随时增加新的展现策略。

为了加快第二节点加载展现策略，可将一些通用的展现策略内置在第二节点中。被内置在第二节点中的展现策略可以包括但不限于：统计样本量、计算某一种值属性的平均值、计算某一种值属性的最大值、计算某一种值属性的最小值、计算某一种值属性的和、按时间区间分段统计样本量、按时间区间分段计算值属性平均值、按时间区间分段计算值属性最大值、按时间区间分段计算值属性最小值、按时间区间分段计算值属性的和、按分类属性分组统计样本量、按分类属性分组统计值属性的平均值、按分类属性分组统计值属性的最大值、按分类属性分组统计值属性的最小值、按分类属性分组统计值属性的和、按值属性区间统计样本量等。

在该实施例中，通过第二节点动态加载根据客户端的可视化框架的展示策略，可以保证后续处理的数据均能展现在客户端中。

S1023，使用确定的展示策略对预处理后的数据进行并行计算。

在该实施例中，不同的Worker节点之间并行计算，计算过程中可以按照任务编号进行分类计算，不同任务的数据不会在一起进行计算。

具体地，在多个第一节点将接收到的异构数据转换为统一格式的内部数据之后，可将统一格式的内部数据传递给第二节点以对数据进行并行处理。其中，第一节点和第二节点之间可通过例如socket建立长连接，并以数据流的方式传递数据。

在接收到第一节点传递预处理后的数据之后，多个第二节点并行计算，并在计算过程中按照任务编号进行分类计算，不同的任务的数据不会在一起进行计算。

在该实施例中，通过多个第二节点并行计算大大提高了数据的计算效率，为后续实时展现数据奠定了良好的基础。

在该实施例中，对计算结果进行聚合处理可以包括步骤S1024。

S1024，通过多个第三节点实时获得第二节点的计算结果，并按照与展示策略对应的聚合策略对计算结果进行聚合。

Worker节点在统计足够的数据量而且时间也足够小的时候将计算结果实时通知第三节点即简化（Reduce）节点。其中，第二节点和第三节点之间可通过例如socket建立长连接，并以数据流的方式传递数据。

具体而言，第三节点实时地接收多个不同第二节点的计算结果，并按照与展示策略对应的聚合策略对多个不同第二节点的计算结果进行聚合。例如，第二节点使用了按分类属性分组统计平均值的策略，此时第三节点就使用对应的按分类属性分组聚合的策略进行聚合运算。

进一步而言，在第二节点向第三节点传递数据之前，第二节点可根据任务编号进行哈希hash运算，将相同编号的任务都分发到一台相同的第三个节点。由此，使得同一任务可以在同一个第三节点上进行聚合。

在该实施例中，通过多个第三节并行对计算结果进行聚合，可以提高数据处理的效率，为后续实时展现数据奠定了良好的基础。

应当理解，第一节点、第二节点和第三节点的节点数量可根据需要处理的数据量进行灵活设置，对此该实施例不进行限定。

上述第一节点、第二节点和第三节点的位置关系如图3所示，该图以四个第一节点、四个第二节点和两个第三节点为例进行描述。具体而言，四个第一节点并行地将接收到的数据进行预处理，并将预处理之后的数据发送给四个第二节点，四个第二节点并行地接收第一节点发送的数据，并对其进行并行处理，以及将处理之后的数据根据不同的任务编码发送至第三节点，具体地，将同一任务的数据发送至同一个第三节点。通过上述节点间的并行处理，可以大大提高处理数据的速度和效率。

S103，将聚合处理后的数据实时推送至客户端，以使客户端展示聚合处理后的数据。

在该实施例中，将聚合处理后的数据实时推送至客户端可以包括：实时获知聚合处理后的数据的状态变化信息，根据状态变化信息实时向客户端推送对应的数据。

在第三节点对数据进行聚合处理之后，可通过例如数据推送引擎将聚合处理后的数据实时推送至客户端。具体地，可将例如数据推送引擎的一端通过例如socket与第三节点建立长连接，第三节点任何时刻的状态变化都将通知例如数据推送引擎。数据推送引擎的另一端通过Websocket（一种新的超文本标记语言5的协议）与客户端中的例如浏览器建立长连接，实时将数据推送到数据使用者的浏览器中。

具体地，位于浏览器侧的可视化框架使用事件驱动的方式工作，数据来源为数据推送引擎。当Websocket（一种新的超文本标记语言5的协议）收到数据后触发事件，可视化框架在触发的事件发生之后进行视图更新操作。其中，定义更新操作的函数会提供更新后的整体数据和增量数据两部分，以供具体的可视化库选择使用。

如图4所示，该数据推送引擎建立了一个任务信息集合，也就是说，该数据推送引擎内部为每一个任务维持一个数据结构。其中，该任务信息集合有多个任务信息组成，每个任务信息中包括注册事件、变化事件和监听事件，具体而言，注册事件主要用于将任务信息通知第一节点、第二节点和第三节点，以使上述各个节点可根据任务信息对数据进行处理。变化事件主要是更新任务信息中的数据信息。监听事件主要是用于监听所对应的任务信息的更新事件是否发生更新。

具体而言，当监听到更新事件发生后，数据推送引擎就会重新读取任务数据，并通过Websocket推送到浏览器。由此，使得在任务数据发生了更新时，数据使用者通过浏览器可以随时查看最新的数据。

本发明实施例的数据的处理方法，在接收数据之后，首先对数据进行预处理，然后按照预定的展示策略对预处理后的数据进行计算，并对计算结果进行聚合处理，以及将聚合处理之后的数据实时推送至客户端，提高了数据处理的速度，缩短了数据处理的时间，使得数据使用者可实时直观地获得数据的最新情况，提高了用户的体验。

为了提高数据的处理速度和和数据处理能力，还可以根据负载均衡原则向第一节点分发数据。具体地，图5是本发明的一个具体实施例的数据的处理方法的流程图。

如图5所示，该数据的处理方法包括以下步骤：

S501，接收数据。

S502，根据负载均衡原则向第一节点分发数据。

具体而言，在将接收到的数据的放入待处理数据池之后，可根据负载均衡原则均分地将待处理数据池中的数据均匀地分发到第一节点。

但是，当确定第一节点失效时，则停止向失效的第一节点分发数据。具体而言，在根据负载均衡原则向第一节点分发数据的过程中，如果检测到某一个第一节点失效，即检测到某一个第一节点停止工作，则停止向失效的该第一节点再分发数据。

在该实施例中，在根据负载均衡原则向第一节点分发数据之前，还可以包括：确定当前未分发的数据大于预定阈值时，丢弃预定数量的数据。其中，预设阈值可以是默认值，也可以是管理员根据不同需要设置的。

具体而言，可实时检测待处理数据池中剩余数据数，当检测到待处理数据池中剩余数据超过预设阈值时，可主动丢弃预定数量的数据。由此，可以保证数据的正常处理，避免了因数据过多而影响数据处理速度和数据处理能力。

S503，通过多个第一节点对数据进行格式转换。

S504，通过多个第二节点动态加载根据客户端的可视化框架确定的展示策略。

S505，使用确定的展示策略对预处理后的数据进行并行计算。

S506，通过多个第三节点实时获得第二节点的计算结果，并按照与展示策略对应的聚合策略对计算结果进行聚合。

步骤S503至S506的实现细节与步骤S1021至S1024相同，此处不赘述。

S507，将聚合处理后的数据实时推送至客户端，以使客户端展示聚合处理后的数据。

在该实施例中，将聚合处理后的数据实时推送至客户端可以包括：实时获知聚合处理后的数据的状态变化信息，根据状态变化信息实时向客户端推送对应的数据。

本发明实施例的数据的处理方法，在接收数据之后，首先根据负载均衡原则向第一节点分发数据，然后第一节点对数据进行并行预处理，第二节点按照预定的展示策略对预处理后的数据进行实时并行计算，第三节点将处理后的数据进行聚合处理，最后将聚合处理之后的数据实时推送至数据使用者的客户端，提高了数据处理的速度，缩短了数据处理的时间，使得数据使用者可实时直观地获得数据的最新情况，提高了用户的体验。

为了实现上述实施例，本发明还提出一种数据的处理装置。

图6是根据本发明一个实施例的数据的处理装置的结构示意图。

如图6所示，该数据的处理装置包括：接收模块61处理模块62和确定模块63。

其中，接收模块61用于接收数据。

具体地，接收模块61可通过多种方式接收不同客户端发送的大规模数据，无论使用何种方式接收数据，在数据接收之后均需将数据缓存至待处理数据池中。其中，待处理数据池用于缓存接收到的数据。

其中，处理模块62用于对数据进行预处理，并按照预定的展示策略对预处理后的数据进行计算，并对计算结果进行聚合处理。

具体地，处理模块62可以包括多个第一节点，该第一节点用于对数据进行格式转换。具体而言，第一节点又称预处理节点，负责对接收到的数据进行预处理，即将接收到的数据转换成为内部数据格式。例如，可以将数据转换为对象，其中，可以用对象的属性表示数据的各种特征。

其中，属性可以分为固定属性、分类属性和值属性。固定属性可以包括但不限于：任务编号、样本编号、样本采集时间和样本接收时间。分类属性用于表示数据在各种维度上的分类情况，例如“采集地域”是一个分类属性，它表示了该数据是在什么地域下采集的，该属性的值可以是省份名称、城市名称等。值属性表示数据在某个指标上的大小情况。例如，在网页测速中，“页面加载时间”是一个值属性，它表示页面加载所需要的总时间。应当理解，分类属性和值属性的个数不确定，需要根据数据的业务特性进行确定，在此不进行限定。

上述处理模块62通过多个第一节点并行对数据进行格式转换，可以大大提高数据格式转换的效率，为后续的数据处理提供了方便。

上述处理模块62还可以包括多个第二节点，该第二节点用于动态加载根据客户端的可视化框架确定的展示策略；以及使用确定的展示策略对预处理后的数据进行并行计算。

具体地，第二节点又称工作（Worker）节点，可通过动态方式加载展示策略，该展示策略由客户端的可视化框架中展示的具体视图决定，也就是说，在客户端的可视化框架中展示的具体视图发生改变之后，第二节点在处理数据时所使用的展示策略也随之发生改变，即第二节点中可随时增加新的展现策略。

具体地，在多个第一节点将接收到的异构数据转换为统一格式的内部数据之后，可将统一格式的内部数据传递给第二节点以对数据进行并行处理。其中，第一节点和第二节点之间可通过例如socket建立长连接，并以数据流的方式传递数据。

在接收到第一节点传递预处理后的数据之后，多个第二节点并行计算，并在计算过程中按照任务编号进行分类计算，不同的任务的数据不会在一起进行计算。

上述处理模块62通过第二节点动态加载根据客户端的可视化框架的展示策略，并通过多个第二节点并行处理数据，不仅可以保证后续处理的数据均能展现在客户端中，还可以大大提高了数据的计算效率，为后续实时展现数据奠定了良好的基础。

上述处理模块62还可以包括多个第三节点，第三节点用于实时获得第二节点的计算结果，并按照与展示策略对应的聚合策略对计算结果进行聚合。具体地，Worker节点在统计足够的数据量而且时间也足够小的时候将计算结果实时通知第三节点即简化（Reduce）节点。其中，第二节点和第三节点之间可通过例如socket建立长连接，并以数据流的方式传递数据。

具体而言，第三节点实时地接收多个不同第二节点的计算结果，并按照与展示策略对应的聚合策略对多个不同第二节点的计算结果进行聚合。例如，第二节点使用了按分类属性分组统计平均值的策略，此时第三节点就使用对应的按分类属性分组聚合的策略进行聚合运算。

进一步而言，在第二节点向第三节点传递数据之前，第二节点可根据任务编号进行哈希hash运算，将相同编号的任务都分发到一台相同的第三个节点。由此，使得同一任务可以在同一个第三节点上进行聚合。

上述处理模块62通过多个第三节并行对计算结果进行聚合，可以提高数据处理的效率，为后续实时展现数据奠定了良好的基础。

其中，上述第一节点、第二节点和第三节点的节点数量可根据需要处理的数据量进行灵活设置，对此不进行限定。

上述处理模块62中的第一节点、第二节点和第三节点的位置关系可参见图3，此处不赘述。

其中，推送模块63用于将聚合处理后的数据实时推送至客户端，以使客户端展示聚合处理后的数据。

具体地，上述推送模块63具体用于：实时获知聚合处理后的数据的状态变化信息，根据状态变化信息实时向客户端推送对应的数据。

在上述第三节点对数据进行聚合处理之后，推送模块63可通过例如数据推送引擎将聚合处理后的数据实时推送至客户端。具体地，可将例如数据推送引擎的一端通过例如socket与第三节点建立长连接，第三节点任何时刻的状态变化都将通知例如数据推送引擎。数据推送引擎的另一端通过Websocket（一种新的超文本标记语言5的协议）与客户端中的例如浏览器建立长连接，实时将数据推送到数据使用者的浏览器中。

另外，上述数据的处理装置还可以包括负载均衡模块64，如图7所示。

负载均衡模块64连接在接收模块61和处理模块62之间，用于根据负载均衡原则向第一节点分发数据。具体而言，在接收模块61将接收到的数据的放入待处理数据池之后，负载均衡模块64可根据负载均衡原则均分地将待处理数据池中的数据均匀地分发到第一节点。

但是，当确定第一节点失效时，负载均衡模块64则停止向失效的第一节点分发数据。具体而言，在负载均衡模块64根据负载均衡原则向第一节点分发数据的过程中，如果检测到某一个第一节点失效，即检测到某一个第一节点停止工作，则负载均衡模块64停止向失效的该第一节点再分发数据。

另外，上述数据的处理装置还可以包括丢弃模块65，该丢弃模块65连接在负载均衡模块64和处理模块62之间，用于在确定当前未分发的数据大于预定阈值时，丢弃预定数量的数据。具体而言，可实时检测待处理数据池中剩余数据数，当检测到待处理数据池中剩余数据超过预设阈值时，丢弃模块65可主动丢弃预定数量的数据。由此，可以保证数据的正常处理，避免了因数据过多而影响数据处理速度和数据处理能力。

上述包含接收模块、处理模块和推送模块的数据的处理装置进行数据处理的过程可参见图1、图2和图5，此处不赘述。

本发明实施例的数据的处理装置，在接收模块接收数据之后，通过处理模块对数据进行预处理，按照预定的展示策略对预处理后的数据进行并行计算，并对计算结果进行聚合处理，以及将聚合处理之后的数据实时推送至客户端，提高了数据处理的速度，缩短了数据处理的时间，使得数据使用者可实时直观读取数据并可实时查看数据的最新情况，提高了用户的体验。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

Claims (12)

1.一种数据的处理方法，其特征在于，包括：

接收数据；

对所述数据进行预处理，并按照预定的展示策略对预处理后的数据进行计算，并对计算结果进行聚合处理，其中，所述按照预定的展示策略对预处理后的数据进行计算，包括：通过多个第二节点动态加载根据客户端的可视化框架确定的展示策略；以及使用确定的所述展示策略对所述预处理后的数据进行并行计算；

所述对计算结果进行聚合处理，包括：通过多个第三节点实时获得所述第二节点的计算结果，并按照与所述展示策略对应的聚合策略对所述计算结果进行聚合；以及

将聚合处理后的数据实时推送至客户端，以使所述客户端展示所述聚合处理后的数据。

2.根据权利要求1所述的方法，其特征在于，所述对所述数据进行预处理，包括：

通过多个第一节点对所述数据进行格式转换。

3.根据权利要求2所述的方法，其特征在于，在所述接收数据之后，所述通过多个第一节点对所述数据进行格式转换之前，还包括：

根据负载均衡原则向所述第一节点分发所述数据。

4.根据权利要求3所述的方法，其特征在于，所述根据负载均衡原则向所述第一节点分发所述数据，包括：

当确定所述第一节点失效时，停止向失效的第一节点分发所述数据。

5.根据权利要求3或4所述的方法，其特征在于，在所述根据负载均衡原则向所述第一节点分发所述数据之前，还包括：

确定当前未分发的数据大于预定阈值时，丢弃预定数量的数据。

6.根据权利要求1所述的方法，其特征在于，所述将聚合处理后的数据实时推送至客户端，包括：

实时获知聚合处理后的数据的状态变化信息，根据所述状态变化信息实时向所述客户端推送对应的数据。

7.一种数据的处理装置，其特征在于，包括：

接收模块，用于接收数据；

处理模块，用于对所述数据进行预处理，并按照预定的展示策略对预处理后的数据进行计算，并对计算结果进行聚合处理，其中，所述处理模块包括多个第二节点，所述第二节点，用于动态加载根据客户端的可视化框架确定的展示策略；以及使用确定的所述展示策略对所述预处理后的数据进行并行计算；

所述处理模块包括多个第三节点，所述第三节点，用于实时获得所述第二节点的计算结果，并按照与所述展示策略对应的聚合策略对所述计算结果进行聚合；以及

推送模块，用于将聚合处理后的数据实时推送至客户端，以使所述客户端展示所述聚合处理后的数据。

8.根据权利要求7所述的装置，其特征在于，所述处理模块包括多个第一节点，所述第一节点，用于对所述数据进行格式转换。

9.根据权利要求8所述的装置，其特征在于，还包括：

负载均衡模块，连接在所述接收模块和处理模块之间，用于根据负载均衡原则向所述第一节点分发所述数据。

10.根据权利要求9所述的装置，其特征在于，所述负载均衡模块，具体用于：

当确定所述第一节点失效时，停止向失效的第一节点分发所述数据。

11.根据权利要求9或10所述的装置，其特征在于，还包括：

丢弃模块，连接在所述负载均衡模块和处理模块之间，用于在确定当前未分发的数据大于预定阈值时，丢弃预定数量的数据。

12.根据权利要求7所述的装置，其特征在于，所述推送模块，具体用于：

实时获知聚合处理后的数据的状态变化信息，根据所述状态变化信息实时向所述客户端推送对应的数据。