CN116681400A - 一种基于大数据的智能管理系统 - Google Patents

Abstract

本发明公开了一种基于大数据的智能管理系统，属于大数据技术领域，包括管理平台、数据处理模块、信息显示模块、管理分析模块、方案反馈模块、云服务器、日志分析模块以及性能优化模块，所述管理平台用于与用户通过终端设备进行登录，并将管理信息以及管理方案反馈给管理人员进行查看；本发明能够自行建模寻参，减少工作人员工作量，同时提高管理效率，同时降低使用局限性，可对各类情况进行预测管理，提高使用体验，能够对内存进行大粒度压缩，提高压缩效率，有效提高管理平台功能界面的启动速度。

Description

一种基于大数据的智能管理系统

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于大数据的智能管理系统。

背景技术

大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯；随着云时代的来临，大数据也吸引了越来越多的关注。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。在大数据时代，随着空间信息技术的飞速发展，空间数据的采集手段日趋多元化，地理信息技术在各行各业当中的应用也更加广泛和深入；大数据管理也随之成为了面对大数据时代的到来的重要研究方向之一。

经检索，中国专利号CN111144261A公开了一种基于大数据的智能管理系统，该发明虽然避免了师资力量的浪费，减少了教室监控数量，无避免学生的逆反心理，影响学习的积极性，但是管理效率低下，且仅能对学生进行管理，使用局限性较大；此外，现有的基于大数据的智能管理系统无法对内存进行压缩，管理平台功能界面启动速度较慢，为此，我们提出一种基于大数据的智能管理系统。

发明内容

本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种基于大数据的智能管理系统。

为了实现上述目的，本发明采用了如下技术方案：

一种基于大数据的智能管理系统，包括管理平台、数据处理模块、信息显示模块、管理分析模块、方案反馈模块、云服务器、日志分析模块以及性能优化模块；

所述管理平台用于与用户通过终端设备进行登录，并将管理信息以及管理方案反馈给管理人员进行查看；

所述数据处理模块用于接收外部信息采集单元采集的各组数据，并对收集到的数据进行优化；

所述信息显示模块用于把接收到的数据反馈至用户平台以供用户通过终端设备进行查看；

所述管理分析模块用于依据接收到的信息对相应区域情况进行智能化分析并制定相关管理方案；

所述方案反馈模块用于接收生成的管理方案，并将其反馈至用户终端设备；

所述云服务器用于接收并存储本次智能管理信息；

所述日志分析模块用于实时采集管理平台操作信息，并对其进行分析拦截；

所述性能优化模块用于对管理平台连接性能进行优化。

作为本发明的进一步方案，所述终端设备具体包括智能手机、平板电脑、笔记本电脑以及台式电脑。

作为本发明的进一步方案，所述数据处理模块数据优化具体步骤如下：

步骤一：数据处理模块对不同接口梳理，并获取接收到的各组数据异同的原因，同时依据梳理结果获判断各组数据的数据源信息，依据判别结果对采集到的各组数据进行分类；

步骤二：把不同来源的数据进行分组统计，找出不同的数据表之间的关联和异同，并将相同的数据进行合并，同时对于各个数据源的统一接口的表内数据进行统计分析，依据分析结果将各组数据分为强可用数据、弱可用数据以及无效数据，同时筛除无效数据，并对弱可用数据进行数据修复。

作为本发明的进一步方案，所述管理分析模块智能化分析具体步骤如下：

步骤(1)：管理分析模块从云服务器中抽取过往事故数据，并将其作为样本数据集，之后计算该样本数据集的标准偏差，再依据计算出的标准偏差剔除样本数据集中的异常数据，并对剩余数据进行标准化以及归一化处理；

步骤(2)：将处理后的样本数据集中的数据划分为训练集以及测试集，之后设置一组神经网络的基本属性，将训练集输入神经网络输入层中，并通过神经元激励函数获取相关线性组合，之后计算该神经网络能量函数，当能量函数小于目标误差时，训练过程结束并输出预测调整模型；

步骤(3)：将测试集导入预测调整模型中进行测试，并计算该预测调整模型损失值，若该损失值未到达期望值，则对该预测调整模型进行参数更新；

步骤(4)：将强可用数据以及修复后的弱可用数据依据其时域以及频域的方法提取特征参数，筛除表征能力差的特征参数，将当前数据的归一化值设置为对应数据的标签；

步骤(5)：将处理后的各组数据输入至预测调整模型中，通过卷积、池化、全连接和输出获取对应预测曲线，并进行分析，若存在异常曲线，则针对该异常情况从云服务器中以及互联网中获取相关知识数据，并依据获取的知识数据生成相关管理方案。

作为本发明的进一步方案，步骤(3)所述预测调整模型参数更新具体步骤如下：

步骤Ⅰ：在该预测调整模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算该预测调整模型的输出，在比较期望的网络输出与实际的网络输出，并且计算所有神经元的局部误差；

步骤Ⅱ：当局部误差超出工作人员预设阈值后，依据学习规则方程对该预测调整模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果；

步骤Ⅲ：对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练测试模型后对测试集进行检测，并统计检测结果的均方根误差；

步骤Ⅳ：将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换预测调整模型原有参数。

作为本发明的进一步方案，所述日志分析模块分析拦截具体步骤如下：

步骤①：日志分析模块在不同的系统的管理平台上部署相关的日志采集插件或者通过syslog服务器获取管理平台中所记录的操作日志，并筛选出满足预设条件的操作日志；

步骤②：将筛选出的操作日志处理为统一格式的日志数据，再将处理后的操作日志中记录的操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关维护人员，并中断相关操作进程。

作为本发明的进一步方案，所述性能优化模块优化管理平台具体步骤如下：

第一步：性能优化模块为管理平台的各组功能界面生成一个启动链表，并依据LRU链表顺序，将各组启动链表按照各被访问次数由少到多进行进一步链接；

第二步：依据各组功能界面的交互信息实时对各组启动链表中的各组页面进行数据更新，并从LRU链表的头部依次选择被访问次数最少的功能界面启动链表进行受害页面选择，直至回收足够的受害页面后停止；

第三步：将选择的受害页面合并为一个块并进行标记，之后唤醒一个压缩驱动程序以解析被标记的块，并获得属于该块的物理页，再将该物理页复制到缓冲区中，然后调用压缩算法将缓冲区中的该物理页压缩到压缩块中，并将压缩块存储至性能优化模块的压缩区域中。

相比于现有技术，本发明的有益效果在于：

1、本发明通过管理分析模块从云服务器中抽取过往事故数据，并将其作为样本数据集，之后剔除样本数据集中的异常数据，并对剩余数据进行预处理后将其划分为训练集以及测试集，之后通过训练集以及测试集输入神经网络中以获取预测调整模型，并对该预测调整模型进行参数更新，然后将强可用数据以及修复后的弱可用数据进行预处理后，将处理后的各组数据输入至预测调整模型中，通过卷积、池化、全连接和输出获取对应预测曲线，并进行分析，若存在异常曲线，则针对该异常情况从云服务器中以及互联网中获取相关知识数据，并依据获取的知识数据生成相关管理方案，能够自行建模寻参，减少工作人员工作量，同时提高管理效率，同时降低使用局限性，可对各类情况进行预测管理，提高使用体验。

2、本发明通过性能优化模块为管理平台的各组功能界面生成一个启动链表，并依据LRU链表顺序进行进一步链接，依据各组功能界面的交互信息实时对各组启动链表中的各组页面进行数据更新，并从LRU链表的头部依次选择被访问次数最少的功能界面启动链表进行受害页面选择，直至回收足够的受害页面后停止，将选择的受害页面合并为一个块并进行标记，之后唤醒一个压缩驱动程序以解析被标记的块，并获得属于该块的物理页，再将该物理页复制到缓冲区中，然后调用压缩算法将缓冲区中的该物理页压缩到压缩块中，并将压缩块存储至性能优化模块的压缩区域中，能够对内存进行大粒度压缩，提高压缩效率，有效提高管理平台功能界面的启动速度。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提出的一种基于大数据的智能管理系统的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1

参照图1，一种基于大数据的智能管理系统，包括管理平台、数据处理模块、信息显示模块、管理分析模块、方案反馈模块、云服务器、日志分析模块以及性能优化模块。

管理平台用于与用户通过终端设备进行登录，并将管理信息以及管理方案反馈给管理人员进行查看。

需要进一步说明的是，终端设备具体包括智能手机、平板电脑、笔记本电脑以及台式电脑。

数据处理模块用于接收外部信息采集单元采集的各组数据，并对收集到的数据进行优化。

具体的，数据处理模块对不同接口梳理，并获取接收到的各组数据异同的原因，同时依据梳理结果获判断各组数据的数据源信息，依据判别结果对采集到的各组数据进行分类，把不同来源的数据进行分组统计，找出不同的数据表之间的关联和异同，并将相同的数据进行合并，同时对于各个数据源的统一接口的表内数据进行统计分析，依据分析结果将各组数据分为强可用数据、弱可用数据以及无效数据，同时筛除无效数据，并对弱可用数据进行数据修复。

信息显示模块用于把接收到的数据反馈至用户平台以供用户通过终端设备进行查看；管理分析模块用于依据接收到的信息对相应区域情况进行智能化分析并制定相关管理方案。

具体的，管理分析模块从云服务器中抽取过往事故数据，并将其作为样本数据集，之后计算该样本数据集的标准偏差，再依据计算出的标准偏差剔除样本数据集中的异常数据，并对剩余数据进行标准化以及归一化处理，将处理后的样本数据集中的数据划分为训练集以及测试集，之后设置一组神经网络的基本属性，将训练集输入神经网络输入层中，并通过神经元激励函数获取相关线性组合，之后计算该神经网络能量函数，当能量函数小于目标误差时，训练过程结束并输出预测调整模型，再将测试集导入预测调整模型中进行测试，并计算该预测调整模型损失值，若该损失值未到达期望值，则对该预测调整模型进行参数更新，然后将强可用数据以及修复后的弱可用数据依据其时域以及频域的方法提取特征参数，筛除表征能力差的特征参数，将当前数据的归一化值设置为对应数据的标签，将处理后的各组数据输入至预测调整模型中，通过卷积、池化、全连接和输出获取对应预测曲线，并进行分析，若存在异常曲线，则针对该异常情况从云服务器中以及互联网中获取相关知识数据，并依据获取的知识数据生成相关管理方案。

本实施例中，在该预测调整模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算该预测调整模型的输出，在比较期望的网络输出与实际的网络输出，并且计算所有神经元的局部误差，当局部误差超出工作人员预设阈值后，依据学习规则方程对该预测调整模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练测试模型后对测试集进行检测，并统计检测结果的均方根误差，将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换预测调整模型原有参数。

实施例2

参照图1，一种基于大数据的智能管理系统，包括。

方案反馈模块用于接收生成的管理方案，并将其反馈至用户终端设备；云服务器用于接收并存储本次智能管理信息。

日志分析模块用于实时采集管理平台操作信息，并对其进行分析拦截。

具体的，日志分析模块在不同的系统的管理平台上部署相关的日志采集插件或者通过syslog服务器获取管理平台中所记录的操作日志，并筛选出满足预设条件的操作日志，将筛选出的操作日志处理为统一格式的日志数据，再将处理后的操作日志中记录的操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关维护人员，并中断相关操作进程。

性能优化模块用于对管理平台连接性能进行优化。

具体的，性能优化模块为管理平台的各组功能界面生成一个启动链表，并依据LRU链表顺序，将各组启动链表按照各被访问次数由少到多进行进一步链接，依据各组功能界面的交互信息实时对各组启动链表中的各组页面进行数据更新，并从LRU链表的头部依次选择被访问次数最少的功能界面启动链表进行受害页面选择，直至回收足够的受害页面后停止，将选择的受害页面合并为一个块并进行标记，之后唤醒一个压缩驱动程序以解析被标记的块，并获得属于该块的物理页，再将该物理页复制到缓冲区中，然后调用压缩算法将缓冲区中的该物理页压缩到压缩块中，并将压缩块存储至性能优化模块的压缩区域中。

Claims (7)

1.一种基于大数据的智能管理系统，其特征在于，包括管理平台、数据处理模块、信息显示模块、管理分析模块、方案反馈模块、云服务器、日志分析模块以及性能优化模块；

所述管理平台用于与用户通过终端设备进行登录，并将管理信息以及管理方案反馈给管理人员进行查看；

所述数据处理模块用于接收外部信息采集单元采集的各组数据，并对收集到的数据进行优化；

所述信息显示模块用于把接收到的数据反馈至用户平台以供用户通过终端设备进行查看；

所述管理分析模块用于依据接收到的信息对相应区域情况进行智能化分析并制定相关管理方案；

所述方案反馈模块用于接收生成的管理方案，并将其反馈至用户终端设备；

所述云服务器用于接收并存储本次智能管理信息；

所述日志分析模块用于实时采集管理平台操作信息，并对其进行分析拦截；

所述性能优化模块用于对管理平台连接性能进行优化。

2.根据权利要求1所述的一种基于大数据的智能管理系统，其特征在于，所述终端设备具体包括智能手机、平板电脑、笔记本电脑以及台式电脑。

3.根据权利要求2所述的一种基于大数据的智能管理系统，其特征在于，所述数据处理模块数据优化具体步骤如下：

步骤一：数据处理模块对不同接口梳理，并获取接收到的各组数据异同的原因，同时依据梳理结果获判断各组数据的数据源信息，依据判别结果对采集到的各组数据进行分类；

步骤二：把不同来源的数据进行分组统计，找出不同的数据表之间的关联和异同，并将相同的数据进行合并，同时对于各个数据源的统一接口的表内数据进行统计分析，依据分析结果将各组数据分为强可用数据、弱可用数据以及无效数据，同时筛除无效数据，并对弱可用数据进行数据修复。

4.根据权利要求3所述的一种基于大数据的智能管理系统，其特征在于，所述管理分析模块智能化分析具体步骤如下：

步骤(1)：管理分析模块从云服务器中抽取过往事故数据，并将其作为样本数据集，之后计算该样本数据集的标准偏差，再依据计算出的标准偏差剔除样本数据集中的异常数据，并对剩余数据进行标准化以及归一化处理；

步骤(2)：将处理后的样本数据集中的数据划分为训练集以及测试集，之后设置一组神经网络的基本属性，将训练集输入神经网络输入层中，并通过神经元激励函数获取相关线性组合，之后计算该神经网络能量函数，当能量函数小于目标误差时，训练过程结束并输出预测调整模型；

步骤(3)：将测试集导入预测调整模型中进行测试，并计算该预测调整模型损失值，若该损失值未到达期望值，则对该预测调整模型进行参数更新；

步骤(4)：将强可用数据以及修复后的弱可用数据依据其时域以及频域的方法提取特征参数，筛除表征能力差的特征参数，将当前数据的归一化值设置为对应数据的标签；

步骤(5)：将处理后的各组数据输入至预测调整模型中，通过卷积、池化、全连接和输出获取对应预测曲线，并进行分析，若存在异常曲线，则针对该异常情况从云服务器中以及互联网中获取相关知识数据，并依据获取的知识数据生成相关管理方案。

5.根据权利要求4所述的一种基于大数据的智能管理系统，其特征在于，步骤(3)所述预测调整模型参数更新具体步骤如下：

步骤Ⅰ：在该预测调整模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算该预测调整模型的输出，在比较期望的网络输出与实际的网络输出，并且计算所有神经元的局部误差；

步骤Ⅱ：当局部误差超出工作人员预设阈值后，依据学习规则方程对该预测调整模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果；

步骤Ⅲ：对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练测试模型后对测试集进行检测，并统计检测结果的均方根误差；

步骤Ⅳ：将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换预测调整模型原有参数。

6.根据权利要求1所述的一种基于大数据的智能管理系统，其特征在于，所述日志分析模块分析拦截具体步骤如下：

步骤①：日志分析模块在不同的系统的管理平台上部署相关的日志采集插件或者通过syslog服务器获取管理平台中所记录的操作日志，并筛选出满足预设条件的操作日志；

步骤②：将筛选出的操作日志处理为统一格式的日志数据，再将处理后的操作日志中记录的操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关维护人员，并中断相关操作进程。

7.根据权利要求1所述的一种基于大数据的智能管理系统，其特征在于，所述性能优化模块优化管理平台具体步骤如下：

第一步：性能优化模块为管理平台的各组功能界面生成一个启动链表，并依据LRU链表顺序，将各组启动链表按照各被访问次数由少到多进行进一步链接；

第二步：依据各组功能界面的交互信息实时对各组启动链表中的各组页面进行数据更新，并从LRU链表的头部依次选择被访问次数最少的功能界面启动链表进行受害页面选择，直至回收足够的受害页面后停止；

第三步：将选择的受害页面合并为一个块并进行标记，之后唤醒一个压缩驱动程序以解析被标记的块，并获得属于该块的物理页，再将该物理页复制到缓冲区中，然后调用压缩算法将缓冲区中的该物理页压缩到压缩块中，并将压缩块存储至性能优化模块的压缩区域中。