CN112883020B - 一种基于大数据应用的分析及管理系统 - Google Patents

Abstract

本发明涉及大数据分析管理技术领域，且公开了一种基于大数据应用的分析及管理系统，包括：运行有数据管理系统软件且配置有NoSQLms数据库的管理服务器MSbda，运行有数据分析系统软件的计算服务器CSbda，运行有交通数据应用系统服务端软件且配置有NoSQLas数据库的应用服务器ASbda；管理服务器MSbda通过网络通讯设备与交通管控中心的服务器进行交通信息的数据交互；管理服务器MSbda通过数据线与计算服务器CSbda进行相互之间的通信连接，计算服务器CSbda通过数据线与应用服务器ASbda进行相互之间的通信连接；应用服务器ASbda通过网络通讯设备与外部交通业务系统的服务器进行数据交互。本发明解决了如何针对交通大数据进行有效地分析及管理的技术问题。

Description

一种基于大数据应用的分析及管理系统

技术领域

本发明涉及大数据分析管理技术领域，具体为一种基于大数据应用的分析及管理系统。

背景技术

由于越来越多的汽车、公交车等运输车辆安装定位系统，管控中心的服务器不断收集这些定位系统发送的数据，从而累计形成交通信息大数据，通过充分应用这些交通大数据不仅有助于大型项目工程的决策，而且有助于减少城市交通拥堵的情况。然而，这些直接产生的交通大数据是无法直接进行应用的，必须要经过一定的分析及管理之后才具有应用价值。

因此，如何针对交通大数据进行有效地分析及管理，成为能否应用交通大数据解决交通拥堵问题的一个非常重要的前提条件。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供一种基于大数据应用的分析及管理系统，以解决如何针对交通大数据进行有效地分析及管理的技术问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：

一种基于大数据应用的分析及管理系统，包括：运行有数据管理系统软件且配置有NoSQLms数据库的管理服务器MSbda，运行有数据分析系统软件的计算服务器CSbda，运行有交通数据应用系统服务端软件且配置有NoSQLas数据库的应用服务器ASbda；

管理服务器MSbda通过网络通讯设备与交通管控中心的服务器进行交通信息的数据交互；

管理服务器MSbda通过数据线与计算服务器CSbda进行相互之间的通信连接，计算服务器CSbda通过数据线与应用服务器ASbda进行相互之间的通信连接；

应用服务器ASbda通过网络通讯设备与外部交通业务系统的服务器进行数据交互。

进一步的，所述数据管理系统的数据管理方法如下：

Step1，数据管理系统通过管理服务器MSbda将交通管控中心服务器中的交通大数据读取到NoSQLms数据库中；

Step2，数据管理系统对读取的交通大数据进行筛选，清洗掉冗余数据信息，保存交通轨迹数据；

Step3，数据管理系统对交通轨迹数据进行属性分辨，将同一属性的交通轨迹数据进行聚类融合处理；

Step4，将Step3处理完成的数据发送给运行在计算服务器CSbda上的数据分析系统。

进一步的，所述数据分析系统对数据管理系统输入的数据进行分析处理，该分析处理方法包括：构建大数据挖掘的神经网络训练模型，该模型为分为3层，包括输入层、隐含层和输出层，其中输入节点实现原始数据信息特征的输入，输出节点实现大数据的挖掘特征信息的输出，按分布式线列结构排成一个节点的特征空间。

进一步的，所述神经网络训练模型的训练步骤如下：

Step1，给出数据库的分类和查询接口(即向量模式)的个数N及大数据挖掘神经网络的输入节点(即每个向量元素)的个数k，并将从神经网络的输出层节点i到输出节点j的自适应加权向量初始化；

置查询结果处理模块的自适应加权系数为随机向量数，令x(t)为训练序列，其中t＝0,1,…,n-1；

置大数据挖掘过程中的初始化指针计数t＝0；

Step2，对大数据挖掘的神经网络拓扑结构中，输入数据库规模样本数量，其中训练向量模式x(t)＝(x₀(t),x₁(t),…,x_k-1(t))^T；

Step3，计算搜索查询结果x(t)与全部大数据聚类中心连接权向量w_j的距离，表示为欧式距离

d_j＝∑_i＝0 ^k-1(x_i(t)-w_ij(t))²；

式中，j＝0,1,…,N-1，w_j＝(w_0j,w_1j,…,w_k-1,j)^T；

Step4，求出神经网络的动态惯性权重节点N_j*，d_j*＝min{d_j}；

Step5，调整大数据聚类中心矢量与输出节点N_j*的差分进化序列，与N_j*几何邻域NE_j*(t)进行动态特性匹配，其中，自适应加权权重为：

w_ij(t+1)＝w_ij(t)+α(t)(x_i(t)-w_ij(t))；

其中，N_j∈E_j*(t)，0≤i≤k-1，0≤α(t)≤1是大数据挖掘的神经元进化过程中的本代学习速度，它和NE_j*(t)具有同台匹配能力；

Step6，若还输入大数据挖掘的特征样本，则t＝t+1，转到步骤Step2；

Step7，否则，训练结束。

(三)有益的技术效果

与现有技术相比，本发明具备以下有益的技术效果：

本发明通过通过管理服务器MSbda将交通管控中心服务器中的交通大数据读取到NoSQLms数据库中，对读取的交通大数据进行筛选，清洗掉冗余数据信息，对交通轨迹数据进行属性分辨，将同一属性的交通轨迹数据进行聚类融合处理，之后通过构建的大数据挖掘的神经网络训练模型对其进行数据挖掘，从而得到具有应用价值的交通大数据。

附图说明

图1为本发明的数据管理系统的管理步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于大数据应用的分析及管理系统，包括：运行有数据管理系统软件且配置有NoSQLms数据库的管理服务器MSbda，运行有数据分析系统软件的计算服务器CSbda，运行有交通数据应用系统服务端软件且配置有NoSQLas数据库的应用服务器ASbda；

管理服务器MSbda通过网络通讯设备与交通管控中心的服务器进行交通信息的数据交互；

管理服务器MSbda通过数据线与计算服务器CSbda进行相互之间的通信连接，计算服务器CSbda通过数据线与应用服务器ASbda进行相互之间的通信连接；

应用服务器ASbda通过网络通讯设备与外部交通业务系统的服务器进行数据交互；

如图1所示，所述数据管理系统的数据管理方法如下：

Step1，数据管理系统通过管理服务器MSbda将交通管控中心服务器中的交通大数据读取到NoSQLms数据库中；

Step2，数据管理系统对读取的交通大数据进行筛选，清洗掉冗余数据信息，保存交通轨迹数据；

Step3，数据管理系统对交通轨迹数据进行属性分辨，将同一属性的交通轨迹数据进行聚类融合处理；

Step4，将Step3处理完成的数据发送给运行在计算服务器CSbda上的数据分析系统；

所述数据分析系统对数据管理系统输入的数据进行分析处理，该分析处理方法如下：

构建大数据挖掘的神经网络训练模型，该模型为分为3层，包括输入层、隐含层和输出层，其中输入节点实现原始数据信息特征的输入，输出节点实现大数据的挖掘特征信息的输出，按分布式线列结构排成一个节点的特征空间；

根据模型进行大数据的学习训练，训练步骤如下：

Step1，给出数据库的分类和查询接口(即向量模式)的个数N及大数据挖掘神经网络的输入节点(即每个向量元素)的个数k，并将从神经网络的输出层节点i到输出节点j的自适应加权向量初始化；

置查询结果处理模块的自适应加权系数为随机向量数，令x(t)为训练序列，其中t＝0,1,…,n-1；

置大数据挖掘过程中的初始化指针计数t＝0；

Step2，对大数据挖掘的神经网络拓扑结构中，输入数据库规模样本数量，其中训练向量模式x(t)＝(x₀(t),x₁(t),…,x_k-1(t))^T；

Step3，计算搜索查询结果x(t)与全部大数据聚类中心连接权向量w_j的距离，表示为欧式距离

d_j＝∑_i＝0 ^k-1(x_i(t)-w_ij(t))²；

式中，j＝0,1,…,N-1，w_j＝(w_0j,w_1j,…,w_k-1,j)^T；

Step4，求出神经网络的动态惯性权重节点N_j*，d_j*＝min{d_j}；

Step5，调整大数据聚类中心矢量与输出节点N_j*的差分进化序列，与N_j*几何邻域NE_j*(t)进行动态特性匹配，其中，自适应加权权重为：

w_ij(t+1)＝w_ij(t)+α(t)(x_i(t)-w_ij(t))；

其中，N_j∈E_j*(t)，0≤i≤k-1，0≤α(t)≤1是大数据挖掘的神经元进化过程中的本代学习速度，它和NE_j*(t)具有同台匹配能力；

Step6，若还输入大数据挖掘的特征样本，则t＝t+1，转到步骤Step2；

Step7，否则，训练结束。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种基于大数据应用的分析及管理系统，其特征在于，包括：运行有数据管理系统软件且配置有NoSQLms数据库的管理服务器MSbda，运行有数据分析系统软件的计算服务器CSbda，运行有交通数据应用系统服务端软件且配置有NoSQLas数据库的应用服务器ASbda；

管理服务器MSbda通过网络通讯设备与交通管控中心的服务器进行交通信息的数据交互；

管理服务器MSbda通过数据线与计算服务器CSbda进行相互之间的通信连接，计算服务器CSbda通过数据线与应用服务器ASbda进行相互之间的通信连接；

应用服务器ASbda通过网络通讯设备与外部交通业务系统的服务器进行数据交互；

所述数据分析系统对数据管理系统输入的数据进行分析处理，该分析处理方法包括：构建大数据挖掘的神经网络训练模型，该模型为分为3层，包括输入层、隐含层和输出层，其中输入节点实现原始数据信息特征的输入，输出节点实现大数据的挖掘特征信息的输出，按分布式线列结构排成一个节点的特征空间；

所述神经网络训练模型的训练步骤如下：

Step1，给出数据库的分类和查询接口的个数N及大数据挖掘神经网络的输入节点的个数k，并将从神经网络的输出层节点i到输出节点j的自适应加权向量初始化；

置查询结果处理模块的自适应加权系数为随机向量数，令x(t)为训练序列，其中t＝0,1,…,n-1；

置大数据挖掘过程中的初始化指针计数t＝0；

Step2，对大数据挖掘的神经网络拓扑结构中，输入数据库规模样本数量，其中训练向量模式x(t)＝(x₀(t),x₁(t),…,x_k-1(t))^T；

Step3，计算搜索查询结果x(t)与全部大数据聚类中心连接权向量w_j的距离，表示为欧式距离

d_j＝∑_i＝0 ^k-1(x_i(t)-w_ij(t))²；

式中，j＝0,1,…,N-1，w_j＝(w_0j,w_1j,…,w_k-1,j)^T；

Step4，首先根据上述步骤Step3，取

时的权重为神经网络的动态惯性权重

然后根据动态惯性权重

求出神经网络的动态惯性权重节点

Step5，根据上述步骤Step4求出的输出节点

对大数据聚类中心矢量进行差分进化序列的调整，使大数据聚类中心矢量与输出节点

的几何邻域

进行动态特性匹配，其中，大数据聚类中心矢量的自适应加权权重为：

w_ij(t+1)＝w_ij(t)+α(t)(x_i(t)-w_ij(t))；

其中，

0≤i≤k-1，0≤α(t)≤1是大数据挖掘的神经元进化过程中的本代学习速度，α(t)和

具有同态匹配能力；

Step6，若还输入大数据挖掘的特征样本，则t＝t+1，转到步骤Step2；

Step7，否则，训练结束。

2.根据权利要求1所述的基于大数据应用的分析及管理系统，其特征在于，所述数据管理系统的数据管理方法如下：

Step1，数据管理系统通过管理服务器MSbda将交通管控中心服务器中的交通大数据读取到NoSQLms数据库中；

Step2，数据管理系统对读取的交通大数据进行筛选，清洗掉冗余数据信息，保存交通轨迹数据；

Step3，数据管理系统对交通轨迹数据进行属性分辨，将同一属性的交通轨迹数据进行聚类融合处理；

Step4，将Step3处理完成的数据发送给运行在计算服务器CSbda上的数据分析系统。

Images