CN109241263A - 一种大数据统计分析系统及其工作流程 - Google Patents

Abstract

本发明公开了一种大数据统计分析系统及其工作流程，包括数据获取模块、数据判断模块、队列分配模块、标准化模块、关键词筛选模块、中央处理器和移动终端，所述数据获取模块与数据判断模块相连，数据判断模块与关键词筛选模块相连，关键词筛选模块与队伍分配模块相连，队伍分配模块与标准化模块相连，标准化模块与中央处理器相连，中央处理器包括数据接收模块、数据库、分析处理模块和数据发送模块，中央处理器通过无线通讯模块与移动终端电性连接。本发明将多个终端上传的数据分配到多个任务队列中，使得多个终端上传数据时保持了有序性，无需人工上传数据，数据实时性好，实现更加全面与准确的统计分析以及显示数据统计分析结果的实时性。

Description

一种大数据统计分析系统及其工作流程

技术领域

本发明涉及数据处理领域，具体是一种大数据统计分析系统。

背景技术

随着计算机和互联网技术的迅速发展，人们已经离不开手机、电脑、智能电视等智能终端设备，人们的日常生活也基本都可以被数字化地呈现、记录和分析，各种数据增多。数据就是数值，也就是我们通过观察、实验或计算得出的结果。数据有很多种，最简单的就是数字。数据也可以是文字、图像、声音等。数据可以用于科学研究、设计、查证等。由此，智能终端的使用已经进入了大数据时代。大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

但是目前的大数据处理都是需要人工上传数据，各种系统配合检索，无法做到实时的统计分析。

发明内容

本发明的目的在于提供一种大数据统计分析系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种大数据统计分析系统，包括数据获取模块、数据判断模块、队列分配模块、标准化模块、关键词筛选模块、中央处理器和移动终端，所述数据获取模块，用于当满足预先设定的数据采集条件时，采集数据，数据判断模块，用于判断采集的数据是否为可操作数据，若判断结果为是，则发送数据至关键词筛选模块，关键词筛选模块对数据按照预设语法分解并且提取关键词，队列分配模块，用于依据关键词将数据分配至多个任务队列，标准化模块，用于对多个任务队列中的数据进行标准化处理，数据获取模块与数据判断模块相连，数据判断模块与关键词筛选模块相连，关键词筛选模块与队伍分配模块相连，队伍分配模块与标准化模块相连，标准化模块与中央处理器相连，中央处理器包括数据接收模块、数据库、分析处理模块和数据发送模块，中央处理器通过无线通讯模块与移动终端电性连接。

作为本发明进一步的方案：移动终端包括智能手机、平板、PDA或者专用设备。

作为本发明进一步的方案：移动终端包括文字输入模块、语音输入模块、信息发送模块、显示模块和信息接收模块，文字输入模块用于输入文字，语音输入模块用于输入语音信息，显示模块用于显示输入的信息和查询结果。。

作为本发明进一步的方案：分析处理模块包括横向分析模块和纵向分析模块，横向分析模块用于类似机构数据的比较分析，纵向分析模块用于该机构多次数据的历史分析。

作为本发明进一步的方案：所述大数据统计分析系统还包括预处理模块，预处理模块用于对数据进行过滤处理，去除错误数据。

所述大数据统计分析系统的工作流程，具体步骤如下：

步骤一，满足预先设定的数据采集条件时，数据获取模块自动采集各机构的数据；

步骤二，数据判断模块判断数据是否为可操作数据，若判断结果为是，将数据发送至关键词筛选模块；若判断结果为否，数据获取模块重新采集数据；

步骤三，关键词筛选模块对数据按照预设语法分解并且提取关键词，队列分配模块依据关键词是否同义将数据分配至多个任务队列，标准化模块对多个任务队列中的数据进行标准化处理，标准处理后的数据送入中央处理器的数据接收模块，分析处理模块对数据进行分析处理并且将分析后的数据存入数据库；

步骤四，使用者输入需要查询的信息，中央处理器的数据接收模块接收移动终端发送的查询信息并且从数据库中调出需要的数据，数据发送模块将该数据发送至移动终端，人们即得到想知道的数据。

作为本发明进一步的方案：数据标准化处理为当数据包含必要格式时，对包含必要格式的但不满足所有格式要求的数据进行数据转换，当数据不包含必要格式时，删除该数据。

与现有技术相比，本发明的有益效果是：本发明将多个终端上传的数据分配到多个任务队列中，使得多个终端上传数据时保持了有序性，无需人工上传数据，数据实时性好，加快了上传速度，实现更加全面与准确的统计分析以及显示数据统计分析结果的实时性，真正实现大数据的应用。

附图说明

图1为大数据统计分析系统的结构示意图。

图2为大数据统计分析系统中什么的的结构示意图。

图3为大数据统计分析系统中什么的的结构示意图。

其中：1-数据获取模块，2-数据判断模块，3-队列分配模块，4-标准化模块，5-关键词筛选模块，6-中央处理器，7-移动终端，8-无线通讯模块，9-文字输入模块，10-语音输入模块，11-信息发送模块，12-显示模块，13-信息接收模块，14-数据接收模块，15-数据库，16-分析处理模块，17-数据发送模块，18-预处理模块，19-横向分析模块，20-纵向分析模块。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

实施例1

一种大数据统计分析系统，包括数据获取模块1、数据判断模块2、队列分配模块3、标准化模块4、关键词筛选模块5、中央处理器6和移动终端7，所述数据获取模块1，用于当满足预先设定的数据采集条件时，采集数据，数据判断模块2，用于判断采集的数据是否为可操作数据，若判断结果为是，则发送数据至关键词筛选模块5，关键词筛选模块5对数据按照预设语法分解并且提取关键词，队列分配模块3，用于依据关键词将数据分配至多个任务队列，标准化模块4，用于对多个任务队列中的数据进行标准化处理，数据获取模块1与数据判断模块2相连，数据判断模块2与关键词筛选模块5相连，关键词筛选模块5与队伍分配模块3相连，队伍分配模块3与标准化模块4相连，标准化模块4与中央处理器6相连，中央处理器6包括数据接收模块14、数据库15、分析处理模块16和数据发送模块17，中央处理器6通过无线通讯模块8与移动终端7电性连接。

所述大数据统计分析系统的工作流程，具体步骤如下：

步骤一，满足预先设定的数据采集条件时，数据获取模块自动采集各机构的数据；

步骤二，数据判断模块判断数据是否为可操作数据，若判断结果为是，将数据发送至关键词筛选模块；若判断结果为否，数据获取模块重新采集数据；

步骤三，关键词筛选模块对数据按照预设语法分解并且提取关键词，队列分配模块依据关键词是否同义将数据分配至多个任务队列，标准化模块对多个任务队列中的数据进行标准化处理，标准处理后的数据送入中央处理器的数据接收模块，分析处理模块对数据进行分析处理并且将分析后的数据存入数据库；

步骤四，使用者输入需要查询的信息，中央处理器的数据接收模块接收移动终端发送的查询信息并且从数据库中调出需要的数据，数据发送模块将该数据发送至移动终端，人们即得到想知道的数据。

实施例2

一种大数据统计分析系统，包括数据获取模块1、数据判断模块2、队列分配模块3、标准化模块4、关键词筛选模块5、中央处理器6和移动终端7，所述数据获取模块1，用于当满足预先设定的数据采集条件时，采集数据，数据判断模块2，用于判断采集的数据是否为可操作数据，若判断结果为是，则发送数据至关键词筛选模块5，关键词筛选模块5对数据按照预设语法分解并且提取关键词，队列分配模块3，用于依据关键词将数据分配至多个任务队列，标准化模块4，用于对多个任务队列中的数据进行标准化处理，数据获取模块1与数据判断模块2相连，数据判断模块2与关键词筛选模块5相连，关键词筛选模块5与队伍分配模块3相连，队伍分配模块3与标准化模块4相连，标准化模块4与中央处理器6相连，中央处理器6包括数据接收模块14、数据库15、分析处理模块16和数据发送模块17，中央处理器6通过无线通讯模块8与移动终端7电性连接。移动终端7包括文字输入模块9、语音输入模块10、信息发送模块11、显示模块12和信息接收模块13，文字输入模块9用于输入文字，语音输入模块10用于输入语音信息，显示模块12用于显示输入的信息和查询结果。分析处理模块16包括横向分析模块19和纵向分析模块20，横向分析模块19用于类似机构数据的比较分析，纵向分析模块20用于该机构多次数据的历史分析。

所述大数据统计分析系统的工作流程，具体步骤如下：

步骤一，满足预先设定的数据采集条件时，数据获取模块自动采集各机构的数据；

步骤二，数据判断模块判断数据是否为可操作数据，若判断结果为是，将数据发送至关键词筛选模块；若判断结果为否，数据获取模块重新采集数据；

步骤三，关键词筛选模块对数据按照预设语法分解并且提取关键词，队列分配模块依据关键词是否同义将数据分配至多个任务队列，标准化模块对多个任务队列中的数据进行标准化处理，标准处理后的数据送入中央处理器的数据接收模块，分析处理模块对数据进行分析处理并且将分析后的数据存入数据库；

步骤四，使用者通过文字输入模块或者语音输入模块输入需要查询的信息，中央处理器的数据接收模块接收移动终端发送的查询信息并且从数据库中调出需要的数据，数据发送模块将该数据发送至移动终端的信息接收模块，显示模块将数据显示，人们即得到想知道的数据。

实施例3

一种大数据统计分析系统，包括数据获取模块1、数据判断模块2、队列分配模块3、标准化模块4、关键词筛选模块5、中央处理器6和移动终端7，所述数据获取模块1，用于当满足预先设定的数据采集条件时，采集数据，数据判断模块2，用于判断采集的数据是否为可操作数据，若判断结果为是，则发送数据至关键词筛选模块5，关键词筛选模块5对数据按照预设语法分解并且提取关键词，队列分配模块3，用于依据关键词将数据分配至多个任务队列，标准化模块4，用于对多个任务队列中的数据进行标准化处理，数据获取模块1与数据判断模块2相连，数据判断模块2与关键词筛选模块5相连，关键词筛选模块5与队伍分配模块3相连，队伍分配模块3与标准化模块4相连，标准化模块4与中央处理器6相连，中央处理器6包括数据接收模块14、数据库15、分析处理模块16和数据发送模块17，中央处理器6通过无线通讯模块8与移动终端7电性连接。移动终端7包括智能手机、平板、PDA或者专用设备。大数据统计分析系统还包括预处理模块18，预处理模块18用于对数据进行过滤处理，去除错误数据。

所述大数据统计分析系统的工作流程，具体步骤如下：

步骤一，满足预先设定的数据采集条件时，数据获取模块自动采集各机构的数据，预处理模块对数据进行过滤并且去除错误数据；

步骤二，数据判断模块判断数据是否为可操作数据，若判断结果为是，将数据发送至关键词筛选模块；若判断结果为否，数据获取模块重新采集数据；

步骤三，关键词筛选模块对数据按照预设语法分解并且提取关键词，队列分配模块依据关键词是否同义将数据分配至多个任务队列，标准化模块对多个任务队列中的数据进行标准化处理，标准化处理为当数据包含必要格式时，对包含必要格式的但不满足所有格式要求的数据进行数据转换，当数据不包含必要格式时，删除该数据，标准处理后的数据送入中央处理器的数据接收模块，分析处理模块对数据进行分析处理并且将分析后的数据存入数据库；

步骤四，使用者输入需要查询的信息，中央处理器的数据接收模块接收移动终端发送的查询信息并且从数据库中调出需要的数据，数据发送模块将该数据发送至移动终端，人们即得到想知道的数据。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种大数据统计分析系统，其特征在于，包括数据获取模块、数据判断模块、队列分配模块、标准化模块、关键词筛选模块、中央处理器和移动终端，所述数据获取模块，用于当满足预先设定的数据采集条件时，采集数据，数据判断模块，用于判断采集的数据是否为可操作数据，若判断结果为是，则发送数据至关键词筛选模块，关键词筛选模块对数据按照预设语法分解并且提取关键词，队列分配模块，用于依据关键词将数据分配至多个任务队列，标准化模块，用于对多个任务队列中的数据进行标准化处理，数据获取模块与数据判断模块相连，数据判断模块与关键词筛选模块相连，关键词筛选模块与队伍分配模块相连，队伍分配模块与标准化模块相连，标准化模块与中央处理器相连，中央处理器包括数据接收模块、数据库、分析处理模块和数据发送模块，中央处理器通过无线通讯模块与移动终端电性连接。

2.根据权利要求1所述的大数据统计分析系统，其特征在于，所述移动终端包括智能手机、平板、PDA或者专用设备。

3.根据权利要求1所述的大数据统计分析系统，其特征在于，所述移动终端包括文字输入模块、语音输入模块、信息发送模块、显示模块和信息接收模块。

4.根据权利要求1所述的大数据统计分析系统，其特征在于，所述分析处理模块包括横向分析模块和纵向分析模块，横向分析模块用于类似机构数据的比较分析，纵向分析模块用于该机构多次数据的历史分析。

5.根据权利要求1所述的大数据统计分析系统，其特征在于，还包括预处理模块。

6.一种如权利要求1-5任一所述的大数据统计分析系统的工作流程，其特征在于，具体步骤如下：

步骤一，满足预先设定的数据采集条件时，数据获取模块自动采集各机构的数据；

步骤二，数据判断模块判断数据是否为可操作数据，若判断结果为是，将数据发送至关键词筛选模块；若判断结果为否，数据获取模块重新采集数据；

步骤三，关键词筛选模块对数据按照预设语法分解并且提取关键词，队列分配模块依据关键词是否同义将数据分配至多个任务队列，标准化模块对多个任务队列中的数据进行标准化处理，标准处理后的数据送入中央处理器的数据接收模块，分析处理模块对数据进行分析处理并且将分析后的数据存入数据库；

步骤四，使用者输入需要查询的信息，中央处理器的数据接收模块接收移动终端发送的查询信息并且从数据库中调出需要的数据，数据发送模块将该数据发送至移动终端，人们即得到想知道的数据。

7.根据权利要求6所述的大数据统计分析系统的工作流程，其特征在于，所述数据标准化处理为当数据包含必要格式时，对包含必要格式的但不满足所有格式要求的数据进行数据转换，当数据不包含必要格式时，删除该数据。