CN108108488A - 基于流式计算的数据统计分析方法及系统、计算机程序 - Google Patents

Abstract

本发明属于数据分析技术领域，公开了一种基于流式计算的数据统计分析方法及系统、计算机程序，通过指定的条件进行数据的筛选；将数据通过不同规则，不同的时间纬度进行聚合、计算、统计；将统计结果进行分类存储；在接收到一批数据以后，将数据放到流式任务中；首先对数据进行分类操作，按照数据的各种分类进行分组，将同样的分类的数据进行简单的计算并进行保存，然后，根据保存的结果进行聚合获得想要的新闻分析的结果；当一条数据被接收到之后，数据将被进行分类等等。本发明在计算结束后才能看到分析结果，效率、速度、灵活性都较差，但是新版的分析会使分析结果的速度逐步出现，效率更高，灵活性更高。

Description

基于流式计算的数据统计分析方法及系统、计算机程序

技术领域

本发明属于数据分析技术领域，尤其涉及一种基于流式计算的数据统计分析方法及系统、计算机程序。

背景技术

目前，业内常用的现有技术是这样的：

大数据计算主要有批量计算和流式计算两种形态,在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。这样看起来虽然非常合理，但是结果却非常的紧凑和，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决问题。这就引出了一种新的数据计算结构---流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。

综上所述，现有技术存在的问题是：

(1)现有技术最主要的是，常规的统计计算只能按照一个维度进行计算，并且在计算结束后才能看到分析结果，效率、速度、灵活性都较差。而通过流式计算后的数据可以在计算中就看到部分分析结果，而且可以将分析结果再次聚合生成不同方向的分析数据。

解决上述技术问题的难度和意义：

本发明的数据统计分析是通过指定的条件进行数据的筛选，将数据通过不同规则，不同的时间纬度进行聚合、计算、统计，将统计结果进行分类存储，目前常规的统计计算只能按照一个维度进行计算，并且在计算结束后才能看到分析结果，效率、速度、灵活性都较差，但是本发明的分析会使分析结果的速度逐步出现，效率更高，灵活性更高。

发明内容

针对现有技术存在的问题，本发明提供了一种基于流式计算的数据统计分析方法及系统、计算机程序。本发明通过流式计算后的数据可以在计算中就看到部分分析结果，而且可以将分析结果再次聚合生成不同方向的分析数据。当每条数据进入到系统后，都可以进入统计任务流中，使得结果可能更加快速，更加高效的展现出来。

本发明是这样实现的，一种基于流式计算的数据统计分析方法，所述基于流式计算的数据统计分析方法为：

通过爬虫进行数据的获取；

通过数据的属性、特性、分类属性、不同的时间纬度进行聚合、计算、统计；

将统计结果进行分类存储。

进一步，所述基于流式计算的数据统计分析方法具体包括：

将接收的数据放到流式任务中；首先进行数据分类，将同样的分类的数据进行计算并保存，然后，根据保存的结果进行聚合获得分析结果；

数据分类包括把具有某种共同属性或特征的数据归并在一起，进行区别；

数据分类中，遵循约定的分类原则，按照数据的内涵、性质及管理的要求，将所有数据按一定的结构体系分为不同的集合，使每个数据在相应的分类体系中都有一个对应位置。

进一步，所述不同的时间纬度包括：字符型定性维度和数值型定量维度；

所述通过数据的属性、特性、分类属性、不同的时间纬度进行聚合、计算、统计；具体包括：

对定量维度做数值型数据离散化，并根据时间进行最细的流水统计；接着，把流水数据进行持久化保存；

当需要对保存的数据中其中的一个维度进行分析时，对持久化数据的结果进行单维度的聚合，获得到计算分析的结果。

本发明的另一目的在于提供一种实现所述基于流式计算的数据统计分析方法的计算机程序。

本发明的另一目的在于提供一种实现所述基于流式计算的数据统计分析方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于流式计算的数据统计分析方法。

本发明的另一目的在于提供一种基于流式计算的数据统计分析系统，包括：

接收数据模块：用于接收数据供应提供的数据；

数据分类模块：用于将数据根据各种分类进行处理；

数据计算模块：用于根据数据的分类将数据进行分类分纬度计算；

数据保存模块：将计算结果进行保存；

二次聚合模块：通过保存结果的不同纬度分类，进行二次聚合，并获得需要的结果。

本发明另一目的在于提供一种搭载有所述基于流式计算的数据统计分析系统的信息数据处理终端。

综上所述，本发明的优点及积极效果为：

本发明的数据统计分析是通过爬虫获取数据，将数据通过数据的属性、特性、分类属性、不同的时间纬度进行聚合、计算、统计。将相同属性特性的数据进行计算，计算出同样属性特性及时间的数据的数量，如：在2017年1月1日有100条正面中国的数据，在同一天有100条负面美国的数据，将统计结果进行分类存储，如：根据不同计算方式进行结果的保存，分为属性表，特性表，分类属性表等，目前常规的统计计算只能按照一个维度进行计算，并且在计算结束后才能看到分析结果，效率、速度、灵活性都较差，但是新版的分析会使分析结果的速度逐步出现，效率更高，灵活性更高。并且在增量的更新上，新版分析会在数据爬取到的同时进入流式计算的流程中，能更加实时的展示数据的分析结果。

本发明对现有基于对大数据分析法整体框架体系进行了改进。提供了一种更直观，更便捷的表现数据的工具。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。而基于流式计算的数据分析就充分体现了这一价值，比起传统的分析法，为数据的可视化展现提供更高效、更优质、更多样性的分析数据结果，在速度、灵活性上都有很大的提高。

本发明可以广泛的应用到科学计算，信息分析领域的高效数据统计分析方法。

附图说明

图1是本发明实施例提供的基于流式计算的数据统计分析方法流程图。

图2是本发明实施例提供的基于流式计算的数据统计分析系统示意图。

图中：1、接收数据模块；2、数据分类模块；3、数据计算模块；4、数据保存模块；5、二次聚合模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明通过流式计算后的数据可以在计算中就看到部分分析结果，而且可以将分析结果再次聚合生成不同方向的分析数据。

如图1所示，本发明实施例提供的基于流式计算的数据统计分析方法，有几个步骤：接收数据、数据分类、数据计算、数据保存、二次聚合。

接收数据：接收数据供应提供的数据；

数据分类：将数据根据各种分类进行处理；

数据计算：根据数据的分类将数据进行分类分纬度计算。

数据保存：将计算结果进行保存；

二次聚合：通过保存结果的不同纬度分类，进行二次聚合，并获得想要的结果。

如图2所示，本发明实施例提供的基于流式计算的数据统计分析系统，包括：

接收数据模块1：接收数据供应提供的数据

数据分类模块2：将数据根据各种分类进行处理

数据计算模块3：根据数据的分类将数据进行分类分纬度计算。

数据保存模块4：将计算结果进行保存

二次聚合模块5：通过保存结果的不同纬度分类，进行二次聚合，并获得想要的结果。

下面结合具体分析对本发明作进一步描述。

本发明实施例提供的基于流式计算的数据统计分析方法中，在接收到一批数据以后，将数据放到流式任务中。首先会对数据进行分类操作，按照数据的各种分类进行分组，将同样的分类的数据进行简单的计算并进行保存，根据保存的结果进行聚合获得想要的新闻分析的结果。

当一条数据被接收到之后，数据将被进行分类，数据分类就是把具有某种共同属性或特征的数据归并在一起，通过其类别的属性或特征来对数据进行区别。为了实现数据共享和提高处理效率，必须遵循约定的分类原则和方法，按照信息的内涵、性质及管理的要求，将系统内所有信息按一定的结构体系分为不同的集合，从而使得每个信息在相应的分类体系中都有一个对应位置。

维度可以分为定性维度跟定量维度，也就是根据数据类型来划分，数据类型为字符型(文本型)数据，就是定性维度，如地区、性别都是定性维度；数据类型为数值型数据的，就为定量维度，如收入、年龄、消费等，一般对定量维度需要做数值分组处理，也就是数值型数据离散化，这样做的目的是为了使规律更加明显，因为分组越细，规律就越不明显，最后细到成最原始的流水数据，那就无规律可循。而我们的计算则要根据时间进行最细的流水统计。

然后，需要把流水数据进行持久化保存。

当需要对保存的数据中其中的一个维度进行分析时，可以对持久化数据的结果进行单维度的聚合，就可以更快速获得到计算分析的结果。

该系统采用了本公司自主研发的数据分类算法，分类标准为国标分类，通过人工标注语料进行机器学习，训练算法的分类模型。带来了更加准确的数据分类。

下面结合具体应用对本发明作进一步描述。

本发明实施例提供的基于流式计算的数据统计系统的优势在于流式计算及统计思路，普通的数据统计只能在计算结束以后才可以获得数据结果，而通过流式计算则只需要在第一条数据保存以后就可以获得部分结果。当同时进行多个分析时，普通的分析方法只能一个一个进行分析，而本发明的系统只需要进行一次流式计算，然后通过计算结果不同方向的聚合获得到不同结果，在速度、质量、灵活性上都有不同程度的提高。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于流式计算的数据统计分析方法，其特征在于，所述基于流式计算的数据统计分析方法为：

通过爬虫进行数据的获取；

通过数据的属性、特性、分类属性、不同的时间纬度进行将同样属性的数据进行加法统计，将数据时间格式化后进行时间的数据统计，将同分类进行统计计算，或者将多种属性当做唯一值进行统计，如：将新闻类，2018年1月1日中国数据进行数据量统计，美国数据进行数据量统计；

将统计结果进行分类存储。

2.如权利要求1所述的基于流式计算的数据统计分析方法，其特征在于，所述基于流式计算的数据统计分析方法具体包括：

将接收的数据放到流式任务中；首先进行数据分类，将同样的分类的数据进行计算并保存，然后，根据保存的结果进行聚合获得分析结果；

数据分类包括把具有某种共同属性或特征的数据归并在一起，进行区别；

数据分类中，遵循约定的分类原则，按照数据的内涵、性质及管理的要求，将所有数据按一定的结构体系分为不同的集合，使每个数据在相应的分类体系中都有一个对应位置。

3.如权利要求1所述的基于流式计算的数据统计分析方法，其特征在于，所述不同的时间纬度包括：字符型定性维度和数值型定量维度；

所述通过数据的属性、特性、分类属性、不同的时间纬度进行聚合、计算、统计；具体包括：

对定量维度做数值型数据离散化，并根据时间进行最细的流水统计；接着，把流水数据进行持久化保存；

当需要对保存的数据中其中的一个字符型定性维度进行分析时，对持久化数据的结果进行单维度的聚合，获得到计算分析的结果；保存结果为时间、国家、分类统计，而我们需要对国家数据量进行分析时，就只需要根据国家数据量进行数据聚合，就可以得到我们需要的数据。

4.一种实现权利要求1～3任意一项所述基于流式计算的数据统计分析方法的计算机程序。

5.一种实现权利要求1～3任意一项所述基于流式计算的数据统计分析方法的信息数据处理终端。

6.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-3任意一项所述的基于流式计算的数据统计分析方法。

7.一种如权利要求1所述基于流式计算的数据统计分析方法的基于流式计算的数据统计分析系统，其特征在于，所述基于流式计算的数据统计分析系统包括：

接收数据模块：用于接收数据供应提供的数据；

数据分类模块：用于将数据根据各种分类进行处理；

数据计算模块：用于根据数据的分类将数据进行分类分纬度计算；

数据保存模块：将计算结果进行保存；

二次聚合模块：通过保存结果的不同纬度分类，进行二次聚合，并获得需要的结果。

8.一种搭载有权利要求7所述基于流式计算的数据统计分析系统的信息数据处理终端。