CN104484412A - 基于多形式处理的大数据分析系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体地说是一种处理效率高、分析准确的基于多形式处理的大数据分析系统，其特征在于设有用于获取关键信息的数据抽取模块、用于对获取的数据进行预处理的预处理模块、用于对处理方式进行选择的参数设置模块、用于对数据进行分析运算的数据挖掘模块、用于对多项挖掘结果进行融合的数据融合模块、用于输出融合后最终结果的显示输出模块，本发明与现有技术相比，能够根据使用者的需求，对于输入的数据进行多角度、多属性、多形式的挖掘处理，并将挖掘结果进一步融合分析后，进行分类、估值、聚集、可视化等处理，具有结构合理、操作简便等显著的优点。

Description

基于多形式处理的大数据分析系统

技术领域：

本发明涉及数据处理技术领域，具体地说是一种处理效率高、分析准确的基于多形式处理的大数据分析系统。

背景技术：

随着信息技术的高度发展，人们积累的数据量日益增长，如何从海量数据中快速的获得有效数据成为当务之急。大数据是指无法再当前条件下使用常规的工具对数据内容进行检索和管理的数据集，其具有数据量大、数据类型繁多、价值密度低、处理速度快等特点。由于数据种类繁多，在对其进行处理时，会根据数据类型的不同以及处理目的的不同选择不同的数据处理算法，而这些算法处理得到的结果如何进一步汇总得到有效运用是亟待解决的问题。

发明内容：

本发明针对现有技术中存在的缺点和不足，提出了一种处理效率高、分析准确的基于多形式处理的大数据分析系统。

本发明可以通过以下措施达到：

一种基于多形式处理的大数据分析系统，其特征在于设有用于获取关键信息的数据抽取模块、用于对获取的数据进行预处理的预处理模块、用于对处理方式进行选择的参数设置模块、用于对数据进行分析运算的数据挖掘模块、用于对多项挖掘结果进行融合的数据融合模块、用于输出融合后最终结果的显示输出模块。

本发明所述数据融合模块包括用于获取两个以上运算模型输出结果的数据获取模块；用于对数据获取模块获取数据进行有效范围筛选的筛选模块、用于对筛选后数据进行权值分配的权值分配模块、用于对分配权值后数据进行融合的数据融合算法模块以及用于输出数据融合结果的显示输出模块。

本发明所述数据融合算法模块中设有加权平均法处理模块、卡尔曼滤波处理模块、统计决策处理模块以及神经网络处理模块。

本发明所述数据融合模块与显示输出模块之间还设有分类模块、估值模块、聚集模块。

本发明所述预处理模块中设有离散化处理模块、属性增/删模块、属性位置互换模块、添加ID属性模块、数据噪声处理模块。

本发明所述数据挖掘模块设有加权平均法处理模块、卡尔曼滤波处理模块、统计决策处理模块以及神经网络处理模块。

本发明与现有技术相比，能够根据使用者的需求，对于输入的数据进行多角度、多属性、多形式的挖掘处理，并将挖掘结果进一步融合分析后，进行分类、估值、聚集、可视化等处理，具有结构合理、操作简便等显著的优点。

附图说明：

附图1是本发明的结构框图。

附图2是本发明中预处理模块的结构框图。

附图3是本发明中数据融合模块的结构框图。

附图标记：数据抽取模块1、预处理模块2、参数设置模块3、数据挖掘模块4、数据融合模块5、显示输出模块6、数据获取模块7、筛选模块8、权值分配模块9、数据融合算法模块10、显示输出模块11、离散化处理模块12、属性增/删模块13、属性位置互换模块14、添加ID属性模块15、数据噪声处理模块16。

具体实施方式：

下面结合附图对本发明作进一步的说明。

如附图1所示，本发明提出了一种基于多形式处理的大数据分析系统，其特征在于设有用于获取关键信息的数据抽取模块1、用于对获取的数据进行预处理的预处理模块2、用于对处理方式进行选择的参数设置模块3、用于对数据进行分析运算的数据挖掘模块4、用于对多项挖掘结果进行融合的数据融合模块5、用于输出融合后最终结果的显示输出模块6。

如附图3所示，本发明所述数据融合模块5包括用于获取两个以上运算模型输出结果的数据获取模块7；用于对数据获取模块获取数据进行有效范围筛选的筛选模块8、用于对筛选后数据进行权值分配的权值分配模块9、用于对分配权值后数据进行融合的数据融合算法模块10以及用于输出数据融合结果的显示输出模块11。

本发明所述数据融合算法模块中设有加权平均法处理模块、卡尔曼滤波处理模块、统计决策处理模块以及神经网络处理模块。

本发明所述数据融合模块与显示输出模块之间还设有分类模块、估值模块、聚集模块。

如附图2所示，本发明所述预处理模块2中设有离散化处理模块12、属性增/删模块13、属性位置互换模块14、添加ID属性模块15、数据噪声处理模块16。

本发明所述数据挖掘模块设有加权平均法处理模块、卡尔曼滤波处理模块、统计决策处理模块以及神经网络处理模块。

本发明与现有技术相比，能够根据使用者的需求，对于输入的数据进行多角度、多属性、多形式的挖掘处理，并将挖掘结果进一步融合分析后，进行分类、估值、聚集、可视化等处理，具有结构合理、操作简便等显著的优点。

Claims (6)

1.一种基于多形式处理的大数据分析系统，其特征在于设有用于获取关键信息的数据抽取模块、用于对获取的数据进行预处理的预处理模块、用于对处理方式进行选择的参数设置模块、用于对数据进行分析运算的数据挖掘模块、用于对多项挖掘结果进行融合的数据融合模块、用于输出融合后最终结果的显示输出模块。

2.根据权利要求1所述的一种基于多形式处理的大数据分析系统，其特征在于所述数据融合模块包括用于获取两个以上运算模型输出结果的数据获取模块；用于对数据获取模块获取数据进行有效范围筛选的筛选模块、用于对筛选后数据进行权值分配的权值分配模块、用于对分配权值后数据进行融合的数据融合算法模块以及用于输出数据融合结果的显示输出模块。

3.根据权利要求1所述的一种基于多形式处理的大数据分析系统，其特征在于所述数据融合算法模块中设有加权平均法处理模块、卡尔曼滤波处理模块、统计决策处理模块以及神经网络处理模块。

4.根据权利要求3所述的一种基于多形式处理的大数据分析系统，其特征在于所述数据融合模块与显示输出模块之间还设有分类模块、估值模块、聚集模块。

5.根据权利要求1所述的一种基于多形式处理的大数据分析系统，其特征在于所述预处理模块中设有离散化处理模块、属性增/删模块、属性位置互换模块、添加ID属性模块、数据噪声处理模块。

6.根据权利要求1所述的一种基于多形式处理的大数据分析系统，其特征在于所述数据挖掘模块设有加权平均法处理模块、卡尔曼滤波处理模块、统计决策处理模块以及神经网络处理模块。