CN104731852A - 一种大数据系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体地说是一种结构合理、处理效率高的大数据系统，设有管控平台以及至少一个移动终端，其中移动终端经无线通信网络与管控平台实现数据沟通，其特征在于管控平台中设有用于抽取关键数据的数据采集单元、用于对采集到的数据进行降噪处理的数据预处理单元、用于对预处理后的数据进行挖掘分析的数据挖掘单元，本发明与现有技术相比，结合了现有的移动网络，能够获取较完整的原始数据，同时通过多属性挖掘，有效提高数据利用率。

Description

一种大数据系统

技术领域：

本发明涉及数据处理技术领域，具体地说是一种结构合理、处理效率高的大数据系统。

背景技术：

随着社会发展和经济进步，移动通信终端以及一些智能家居被广泛的使用，移动通信终端承载了个体之间的通信沟通职能，在此过程中移动终端采集、上传并存储大量用户使用信息。

大数据技术或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理的时间内达到汲取、管理、处理并整理成为帮助企业经营决策更积极目的资讯。大数据计数的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化的处理，换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过加工数据实现增值。

如何从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的、但有时潜在有用的信息的过程被称为数据挖掘，显而易见，数据挖掘时大数据技术的关键。

发明内容：

本发明针对现有技术存在的缺点和不足，提出了一种结构合理、处理效率高的大数据系统。

本发明通过以下措施达到：

一种大数据系统，设有管控平台以及至少一个移动终端，其中移动终端经无线通信网络与管控平台实现数据沟通，其特征在于管控平台中设有用于抽取关键数据的数据采集单元、用于对采集到的数据进行降噪处理的数据预处理单元、用于对预处理后的数据进行挖掘分析的数据挖掘单元。

本发明所述数据采集单元设有地理位置信息提取模块，能够采集用户的地理位置信息，并将其上传至数据预处理单元，与此同时数据采集单元还将当前用户的使用习惯等用户数据上传至数据预处理单元。

本发明所述数据预处理单元中还设有离散化处理单元，将降噪处理后的数据信息进行离散化处理，方便存储和进一步分析。

本发明所述数据挖掘单元设有多路并行的数据挖掘模块，用于从不同角度对输入的信息进行多方面挖掘，还设有挖掘结果融合模块以及融合信息分析模块，其中挖掘结果融合模块用于对多路并行的数据挖掘模块输出的挖掘结果进行汇总，融合信息分析模块对汇总后的数据进行最终处理。

本发明在使用时，利用现有移动终端记录使用者的地理位置信息以及当前用户数据，并将两部分信息打包上传至管控平台的数据采集单元，数据采集单元对接收的信息进行抽取后，将其送入数据预处理单元，数据预处理单元首先对数据进行降噪处理，然后将其离散化，使其更便于存储和分析，预处理后的数据被送入数据挖掘单元中的多路并行的数据挖掘模块，从不同属性不同角度对数据进行多方位挖掘，从而获得当前某一区域内人流量、当前某一用户的生活习惯需求、当前某一地区的道路拥堵状况等数据分析结果。

本发明与现有技术相比，结合了现有的移动网络，能够获取较完整的原始数据，同时通过多属性挖掘，有效提高数据利用率。

附图说明：

附图1是本发明的结构示意图。

附图标记：管控平台1、移动终端2、数据采集单元3、数据预处理单元4、数据挖掘单元5。

具体实施方式：

下面结合附图对本发明作进一步的说明。

如附图1所示，本发明提出了一种大数据系统，设有管控平台1以及至少一个移动终端2，其中移动终端2经无线通信网络与管控平台实现数据沟通，其特征在于管控平台2中设有用于抽取关键数据的数据采集单元3、用于对采集到的数据进行降噪处理的数据预处理单元4、用于对预处理后的数据进行挖掘分析的数据挖掘单元5。

本发明所述数据采集单元3设有地理位置信息提取模块，能够采集用户的地理位置信息，并将其上传至数据预处理单元，与此同时数据采集单元还将当前用户的使用习惯等用户数据上传至数据预处理单元。

本发明所述数据预处理单元4中还设有离散化处理单元，将降噪处理后的数据信息进行离散化处理，方便存储和进一步分析。

本发明所述数据挖掘单元5设有多路并行的数据挖掘模块，用于从不同角度对输入的信息进行多方面挖掘，还设有挖掘结果融合模块以及融合信息分析模块，其中挖掘结果融合模块用于对多路并行的数据挖掘模块输出的挖掘结果进行汇总，融合信息分析模块对汇总后的数据进行最终处理。

本发明在使用时，利用现有移动终端记录使用者的地理位置信息以及当前用户数据，并将两部分信息打包上传至管控平台的数据采集单元，数据采集单元对接收的信息进行抽取后，将其送入数据预处理单元，数据预处理单元首先对数据进行降噪处理，然后将其离散化，使其更便于存储和分析，预处理后的数据被送入数据挖掘单元中的多路并行的数据挖掘模块，从不同属性不同角度对数据进行多方位挖掘，从而获得当前某一区域内人流量、当前某一用户的生活习惯需求、当前某一地区的道路拥堵状况等数据分析结果。

本发明与现有技术相比，结合了现有的移动网络，能够获取较完整的原始数据，同时通过多属性挖掘，有效提高数据利用率。

Claims (4)

1.一种大数据系统，设有管控平台以及至少一个移动终端，其中移动终端经无线通信网络与管控平台实现数据沟通，其特征在于管控平台中设有用于抽取关键数据的数据采集单元、用于对采集到的数据进行降噪处理的数据预处理单元、用于对预处理后的数据进行挖掘分析的数据挖掘单元。

2.根据权利要求1所述的一种大数据系统，其特征在于所述数据采集单元设有地理位置信息提取模块，能够采集用户的地理位置信息，并将其上传至数据预处理单元，与此同时数据采集单元还将当前用户的使用习惯等用户数据上传至数据预处理单元。

3.根据权利要求1所述的一种大数据系统，其特征在于所述数据预处理单元中还设有离散化处理单元，将降噪处理后的数据信息进行离散化处理，方便存储和进一步分析。

4.根据权利要求1所述的一种大数据系统，其特征在于所述数据挖掘单元设有多路并行的数据挖掘模块，用于从不同角度对输入的信息进行多方面挖掘，还设有挖掘结果融合模块以及融合信息分析模块，其中挖掘结果融合模块用于对多路并行的数据挖掘模块输出的挖掘结果进行汇总，融合信息分析模块对汇总后的数据进行最终处理。