CN104462459A - 基于神经网络的大数据分析处理系统及方法 - Google Patents

Abstract

本发明涉及网络技术领域，具体地说是一种运算量合理、数据处理效率高的基于神经网络的大数据分析处理系统及方法，其特征在于设有用于从数据库中提取信息并进行初步处理的数据预处理单元、用于将预处理的数据二维化的数据决策表形成单元、用于对形成后的决策条件进行进一步简化的属性约简单元、用于消除数据中的不一致对象和冗余对象的对象约简单元、神经网络模型运算单元以及显示输出单元，本发明相对与现有技术，能够从大量无序、潜在的信息中获得有效信息，通过对数据离散处理、降维存储，能够有效提高数据处理效率，具有处理量大、效率高等显著的优点。

Description

基于神经网络的大数据分析处理系统及方法

技术领域：

本发明涉及网络技术领域，具体地说是一种运算量合理、数据处理效率高的基于神经网络的大数据分析处理系统及方法。

背景技术：

随着科技进步和社会经济水平的发展，人们生活进入数据化时代，人际交往可以经各种数据化信息表达，生活和工作的方方面面也可以实现数据化。为了切实提高用户使用体验，对于这些用户数据的存储、处理和分析显而成为关键。此类数据量极大，且数据完整度低、模糊、随机、含有多种无效信息(例如噪声)，如何快速有效的对数据进行处理分析成为目前业内研究的热点。

神经网络是通过网络中各连接权值的改变，实现对信息的处理和存储，在神经网络模型中，每个神经元既是信息存储单元，也是信息的处理单元，能够实现信息存储和处理的合二为一，由这些神经元构成的网络模型在每个神经元的共同作用下，完成对输入模式的识别与记忆，具有大规模并行处理的能力。

发明内容：

本发明针对现有技术中存在的缺点和不足，提出了一种运算量合理、数据处理效率高的基于神经网络的大数据分析处理系统及方法。

本发明通过以下措施达到：

一种基于神经网络的大数据分析处理系统，其特征在于设有用于从数据库中提取信息并进行初步处理的数据预处理单元、用于将预处理的数据二维化的数据决策表形成单元、用于对形成后的决策条件进行进一步简化的属性约简单元、用于消除数据中的不一致对象和冗余对象的对象约简单元、神经网络模型运算单元以及显示输出单元。

本发明所述神经网络模型运算单元内设有BP网络单元、ART网络单元、RBF网络单元和LVM网络单元。

本发明所述数据决策表形成单元设有用于将多维数据降维至二维数据的哈希函数运算模块。

本发明所述数据预处理单元设有离散化处理模块、属性增/删模块、属性位置互换模块、添加ID属性模块、数据噪声处理模块。

本发明还提出了一种基于神经网络的大数据分析处理方法，其特征在于包括以下步骤：

步骤1：从数据库中抽取数据，对抽取的数据进行离散化处理；

步骤2：从步骤1所获取的数据库中抽取数据组成训练集X，用于训练哈希函数，训练集的大小n由决定，其中t_α/2表示置信度的值，可以通过t分布临界值获得，ε表示最大的允许误差；

步骤3：用X训练哈希函数，首先涉及目标函数转高位实数数据到低维数据，目标函数定义为：

$\underset{B,S}{\min }{\left|\right|X-\mathrm{BS}\left|\right|}_2+{\mathrm{\λ}}_1{\mathrm{\Σ}}_{i,j}{w}_{i,j}{\left|\right|s_i-s_j\left|\right|}^2+{\mathrm{\λ}}_2{\left|\right|S\left|\right|}_1,s.t.,S>0,{\mathrm{\Σ}}_i{B}_{i,j}^2\≤1$ ，其中X为训练集，B为基空间，B的每一个向量均为训练集X中训练出来的基向量，S是X被投影在基空间B上的低维实数值，λ₁和λ₂是通过十折交叉验证方法取得的可调参数，w_i，j是X中两个实例X_i和X_j之间的欧式距离在高斯核上的投影，S_i和S_j是矩阵S中的两个向量，B_i，j是矩阵B中第i行和第j列的元素，i＝1，2，3，……，n为表示实例的记号，j＝1，2，3，……k表示基向量的标号，n是实例的个数，k是基向量的个数，s＞0表示S中每个元素非负；

步骤4：对数据库中还没得到二进制代码的实例进行二进制编码，过称谓对每一个实例x，通过s＝(B’B+2I)^-1B’x得到x的低维实数值，然后通过哈希函数得到它的低维二进制代码，其中B是步骤2-2中定义的基空间，I是跟B同维度的单位矩阵，对整个数据库进行编码，完成数据的二维化；

步骤5：去掉不必要的条件属性，从而分析所得到约简中的条件属性对于决策属性的决策规则；

步骤6：消除数据中的不一致对象和冗余对象，其中不一致对象是指条件属性相同而决策属性不同的对象，冗余对象为条件属性相同而决策属性也相同的对象

步骤7：确定神经元网络模型；

步骤8：训练神经元网络模型，并通过运行算法实现数据分析处理；

步骤9：显示输出结果。

本发明相对与现有技术，能够从大量无序、潜在的信息中获得有效信息，通过对数据离散处理、降维存储，能够有效提高数据处理效率，具有处理量大、效率高等显著的优点。

附图说明：

附图1是本发明的结构框图。

附图标记：数据预处理单元1、离散化处理模块2、属性增/删模块3、属性位置互换模块4、添加ID属性模块5、数据噪声处理模块6、属性约简单元7、对象约简单元8、神经网络模型运算单元9、显示输出单元10。

具体实施方式：

下面结合附图对本发明作进一步的说明。

如附图1所示，本发明提出了一种基于神经网络的大数据分析处理系统，其特征在于设有用于从数据库中提取信息并进行初步处理的数据预处理单元1、用于将预处理的数据二维化的数据决策表形成单元2、用于对形成后的决策条件进行进一步简化的属性约简单元7、用于消除数据中的不一致对象和冗余对象的对象约简单元8、神经网络模型运算单元9以及显示输出单元10。

本发明所述神经网络模型运算单元5内设有BP网络单元、ART网络单元、RBF网络单元和LVM网络单元。

本发明所述数据决策表形成单元2设有用于将多维数据降维至二维数据的哈希函数运算模块。

本发明所述数据预处理单元1设有离散化处理模块2、属性增/删模块3、属性位置互换模块4、添加ID属性模块5、数据噪声处理模块6。

本发明还提出了一种基于神经网络的大数据分析处理方法，其特征在于包括以下步骤：

步骤1：从数据库中抽取数据，对抽取的数据进行离散化处理；

步骤2：从步骤1所获取的数据库中抽取数据组成训练集X，用于训练哈希函数，训练集的大小n由决定，其中t_α/2表示置信度的值，可以通过t分布临界值获得，ε表示最大的允许误差；

步骤3：用X训练哈希函数，首先涉及目标函数转高位实数数据到低维数据，目标函数定义为：

$\underset{B,S}{\min }{\left|\right|X-\mathrm{BS}\left|\right|}_2+{\mathrm{\λ}}_1{\mathrm{\Σ}}_{i,j}{w}_{i,j}{\left|\right|s_i-s_j\left|\right|}^2+{\mathrm{\λ}}_2{\left|\right|S\left|\right|}_1,s.t.,S>0,{\mathrm{\Σ}}_i{B}_{i,j}^2\≤1$ ，其中X为训练集，B为基空间，B的每一个向量均为训练集X中训练出来的基向量，S是X被投影在基空间B上的低维实数值，λ₁和λ₂是通过十折交叉验证方法取得的可调参数，w_i，j是X中两个实例X_i和X_j之间的欧式距离在高斯核上的投影，S_i和S_j是矩阵S中的两个向量，B_i，j是矩阵B中第i行和第j列的元素，i＝1，2，3，……，n为表示实例的记号，j＝1，2，3，……k表示基向量的标号，n是实例的个数，k是基向量的个数，s＞0表示S中每个元素非负；

步骤4：对数据库中还没得到二进制代码的实例进行二进制编码，过称谓对每一个实例x，通过s＝(B’B+2I)^-1B’x得到x的低维实数值，然后通过哈希函数得到它的低维二进制代码，其中B是步骤2-2中定义的基空间，I是跟B同维度的单位矩阵，对整个数据库进行编码，完成数据的二维化；

步骤5：去掉不必要的条件属性，从而分析所得到约简中的条件属性对于决策属性的决策规则；

步骤6：消除数据中的不一致对象和冗余对象，其中不一致对象是指条件属性相同而决策属性不同的对象，冗余对象为条件属性相同而决策属性也相同的对象

步骤7：确定神经元网络模型；

步骤8：训练神经元网络模型，并通过运行算法实现数据分析处理；

步骤9：显示输出结果。

本发明相对与现有技术，能够从大量无序、潜在的信息中获得有效信息，通过对数据离散处理、降维存储，能够有效提高数据处理效率，具有处理量大、效率高等显著的优点。

Claims (5)

1.一种基于神经网络的大数据分析处理系统，其特征在于设有用于从数据库中提取信息并进行初步处理的数据预处理单元、用于将预处理的数据二维化的数据决策表形成单元、用于对形成后的决策条件进行进一步简化的属性约简单元、用于消除数据中的不一致对象和冗余对象的对象约简单元、神经网络模型运算单元以及显示输出单元。

2.根据权利要求1所述的一种基于神经网络的大数据分析处理系统，其特征在于所述神经网络模型运算单元内设有BP网络单元、ART网络单元、RBF网络单元和LVM网络单元。

3.根据权利要求1所述的一种基于神经网络的大数据分析处理系统，其特征在于所述数据决策表形成单元设有用于将多维数据降维至二维数据的哈希函数运算模块。

4.根据权利要求1所述的一种基于神经网络的大数据分析处理系统，其特征在于所述数据预处理单元设有离散化处理模块、属性增/删模块、属性位置互换模块、添加ID属性模块、数据噪声处理模块。

5.一种基于神经网络的大数据分析处理方法，其特征在于包括以下步骤：

步骤1：从数据库中抽取数据，对抽取的数据进行离散化处理；

步骤2：从步骤1所获取的数据库中抽取数据组成训练集×，用于训练哈希函数，训练集的大小n由决定，其中t_α/2表示置信度的值，可以通过t分布临界值获得，ε表示最大的允许误差；

步骤3：用X训练哈希函数，首先涉及目标函数转高位实数数据到低维数据，目标函数定义为：

，其中X为训练集，B为基空间，B的每一个向量均为训练集X中训练出来的基向量，S是X被投影在基空间B上的低维实数值，λ₁和λ₂是通过十折交叉验证方法取得的可调参数，w_i，j是X中两个实例X_i和X_j之间的欧式距离在高斯核上的投影，S_i和S_j是矩阵S中的两个向量，B_i，j是矩阵B中第i行和第j列的元素，i＝1，2，3，……，n为表示实例的记号，j＝1，2，3，……k表示基向量的标号，n是实例的个数，k是基向量的个数，s＞0表示S中每个元素非负；

步骤4：对数据库中还没得到二进制代码的实例进行二进制编码，过称谓对每一个实例x，通过s＝(B’B+2I)^-1B’x得到x的低维实数值，然后通过哈希函数得到它的低维二进制代码，其中B是步骤2-2中定义的基空间，I是跟B同维度的单位矩阵，对整个数据库进行编码，完成数据的二维化；

步骤5：去掉不必要的条件属性，从而分析所得到约简中的条件属性对于决策属性的决策规则；

步骤6：消除数据中的不一致对象和冗余对象，其中不一致对象是指条件属性相同而决策属性不同的对象，冗余对象为条件属性相同而决策属性也相同的对象

步骤7：确定神经元网络模型；

步骤8：训练神经元网络模型，并通过运行算法实现数据分析处理；

步骤9：显示输出结果。