CN116401128B - 一种基于大数据的信息运维管理系统 - Google Patents

Abstract

本发明公开了一种基于大数据的信息运维管理系统，涉及了信息运维技术领域，包括运维中心，所述运维中心通信连接有数据采集模块、数据处理模块、报警机制模块以及生命周期模块；通过数据采集模块多维度，全覆盖的采集不同来源的数据信息；通过数据处理模块对采集的数据信息进行数据挖掘和机器学习后，提取出有效数据信息；报警机制模块通过设置阈值，当达到对应阈值后发送相应报警信息至管理员处；生命周期模块根据报警信息对纳库数据赋值不同生命周期，从而实现对数据信息的运维管理。

Description

一种基于大数据的信息运维管理系统

技术领域

本发明涉及信息运维技术领域，具体是一种基于大数据的信息运维管理系统。

背景技术

随着信息化程度的不断深入，大量的信息系统在各种组织和机构中得到广泛应用，对于这些信息系统，运维管理是必不可少的一环，同时，传统的运维管理系统采集的数据样本维度种类不够丰富，存储于数据库中的数据设置有统一的生命周期，导致了已经被利用的数据仍然占据了数据库的存储空间，数据的后续管理无法进行，运维系统出现故障时也无法及时的去排除故障，因此，研发一种基于大数据的信息运维管理系统成为了迫切需求。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于大数据的信息运维管理系统。

本发明的目的可以通过以下技术方案实现：一种基于大数据的信息运维管理系统，包括运维中心，所述运维中心通信连接有数据采集模块、数据处理模块、报警机制模块以及生命周期模块；

所述数据采集模块用于采集不同来源的数据信息，包括日志数据信息、设备数据信息和业务数据信息；

所述数据处理模块用于对采集到的数据信息进行数据挖掘，利用机器学习提取出有效数据信息；

所述报警机制模块用于对数据处理的结果设置阈值，对系统异常情况进行实时监测并向管理员发送报警信息；

所述生命周期模块用于根据报警信息对纳库数据赋值不同的生命周期。

进一步的，所述数据采集模块进行不同来源数据信息采集的过程包括：

所述日志数据信息由同一局域网所有用户的用户日志组成，所述用户日志包括用户记录时间、用户日志内容、GPS定位地点和非法操作信息；

用户通过登录端口进行链接账号和链接密码的验证，验证正确后登录至局域网，局域网分配用户节点用于用户日志的上传；

所述设备数据信息由若干个局域网PC端设备的信息组成，记录其开关机时间、CPU温度、设备编号、异常关机次数和异常重启次数；

所述业务数据信息由局域网PC端设备所存储，业务数据信息包括公开业务数据和非公开业务数据；

若用户进行公开业务数据的交互，则直接获取用户所对应的用户节点，通过用户节点互联直接发送；

若进行非公开业务数据的交互，在用户节点之间建立加密信道，将非公开业务数据转换为密文数据发送；

将日志数据信息、设备数据信息和业务数据信息打包成数据块上传至数据处理模块。

进一步的，所述数据处理模块进行数据挖掘的过程包括：

获取数据块并解构，将数据信息中的日志数据信息、设备数据信息和业务数据信息存储至设置的相应数据挖掘库中；

将日志数据信息中的用户日志内容转换为十六位01序列串，获取设备数据信息中的若干个局域网PC端设备的信息，获取每个局域网PC端设备的设备编号；

获取公开业务数据所关联的用户节点形成的节点序列对，将非公开业务数据所属的加密信道进行信道编号；

将十六位01序列串、设备编号、节点序列对以及信道编号作为相应数据挖掘库的主键值，并对数据挖掘库进行数据清洗。

进一步的，所述数据清洗的过程包括：

获取数据挖掘库中的数据并设置频率计数器，频率计数器初始值为0，初次获得数据，频率计数器数值不变；

当再次获得相同数据，频率计数器数值设置为1，清洗掉重复数据，并将频率计数器的数值设置为0，继续进行下一个数据的重复判断，直到剔除所有的重复数据。

进一步的，所述机器学习生成有效数据信息的过程包括：

将数据清洗后的数据信息备份生成备份数据，将备份数据和原始数据信息放入预先设置的训练模型中，所述训练模型包括一级训练单元、二级训练单元和三级训练单元；

所述一级训练单元将备份数据和原始数据信息转换为统一的训练格式数据，并下发给二级训练单元；

所述二级训练单元将训练格式数据进行初次训练生成初步训练数据，并下发给三级训练单元；

所述三级训练单元设置不同的训练参数，将备份数据和原始数据信息所代表的初步训练数据生成不同的训练集数据；

将备份数据和原始数据信息生成的训练集数据进行比值操作，获取有效数据转换率，若有效数据转换率的值大于等于转换阈值，则生成有效数据信息并停止训练，否则继续训练。

进一步的，所述报警机制模块发送报警信息的过程包括：

获取数据处理模块生成的有效数据信息和备份数据，将备份数据解构为日志数据信息、设备数据信息和业务数据信息；

将日志数据信息中的非法操作信息、用户记录时间和GPS定位地点进行读取；

所述报警信息包括报警信息一、报警信息二和报警信息三；

若非法操作信息生成的次数大于等于设定的阈值一，则发送报警信息一至管理员处；

若设定的两个时间段的GPS定位地点不相同，则获取设备数据信息中的CPU温度、异常关机次数和异常重启次数，当CPU温度大于等于设定的阈值二，异常关机次数和异常重启次数之和大于等于设定的阈值三，则发送报警信息二至管理员处；

获取用户开关机时间，根据用户开关机时间获得用户记录时间的数量，标记其为时间节点，当任一时间节点的非公开业务数据的泄密次数大于等于设定的阈值四时，发送报警信息三至管理员处。

进一步的，所述生命周期模块生成纳库数据并将其出库和入库的过程包括：

所述生命周期模块设置有普通数据库和生命周期数据库，获取有效数据信息生成纳库数据存储于普通数据库中；

记录每条纳库数据进入普通数据库的时间，设置纳库标准时间，获取GMT标准时间，对纳库数据进行出库普通数据库和入库生命周期数据库的操作；

管理员获取进入生命周期数据库的权限，根据报警信息对纳库数据赋值不同生命周期。

进一步的，对纳库数据赋值相应生命周期的过程包括：

若获取到报警信息一， 则对纳库数据设置计时生命周期，当管理员把非法操作信息的次数降到设定的阈值一及阈值一以下时，解除计时，否则，计时结束，销毁对应纳库数据；

若获取到报警信息二，则对纳库数据设置临时生命周期，管理员定期实时监控局域网PC端设备的设备数据信息，将设备数据信息中的相应数据信息降低到设定的阈值二及阈值二以下、阈值三及阈值三以下时，将对应纳库数据加密存储；

若获取到报警信息三，则对纳库数据设置永久生命周期，将纳库数据出库生成业务数据表，管理员获取业务数据表上传至运维中心存储。

与现有技术相比，本发明的有益效果是：在数据采集阶段通过采集多维度来源的数据信息，使得在后续数据挖掘时有更充足的样本数据，对数据处理的结果设置不同的阈值，当达到对应的阈值时产生相应的报警信息发送给管理员，管理员及时排除运维系统存在的风险，达到了实时监控的目的，通过设置生命周期数据库并对其中存储的数据赋值不同的生命周期，不同生命周期的数据信息有不同的存储时间和相应措施，对于计时生命周期的数据信息，计时结束后销毁，节省了数据库的存储空间，对于永久生命周期对应的数据信息，将其生成表格永久存储方便后续使用，从而，实现了对数据信息的运维管理。

附图说明

图1为本发明的原理图。

具体实施方式

如图1所示，一种基于大数据的信息运维管理系统，包括运维中心，所述运维中心通信连接有数据采集模块、数据处理模块、报警机制模块以及生命周期模块；

所述数据采集模块用于采集不同来源的数据信息，包括日志数据信息、设备数据信息和业务数据信息；

所述数据处理模块用于对采集到的数据信息进行数据挖掘，利用机器学习提取出有效数据信息；

所述报警机制模块用于对数据处理的结果设置阈值，对系统异常情况进行实时监测并向管理员发送报警信息；

所述生命周期模块用于根据报警信息对纳库数据赋值不同的生命周期。

所述数据采集模块进行不同来源数据信息采集的过程包括：

所述不同来源的数据信息包括日志数据信息、设备数据信息和业务数据信息；

所述日志数据信息由同一局域网下面的所有用户的用户日志汇总生成，所述用户日志包括用户记录时间、用户日志内容、GPS定位地点和非法操作信息；

所述用户分配有唯一的链接账号和链接密码，所述局域网设置有若干个登录端口；

用户通过登录端口进行链接账号和链接密码的验证，验证正确后登录至局域网，局域网分配用户节点用于进行用户日志的上传，用户节点与局域网PC端设备一一对应；

所述设备数据信息由若干个局域网PC端设备的信息组成，每个局域网PC端设备工作时，记录其开关机时间、CPU温度、设备编号、异常关机次数和异常重启次数；

当局域网PC端设备宕机或无法开机时，打包对应的用户日志和局域网PC端设备的信息生成紧急故障文件夹，将紧急故障文件夹上传至局域网的对应用户节点处；

所述业务数据信息由局域网PC端设备所存储，业务数据信息包括公开业务数据和非公开业务数据；

若用户进行公开业务数据的交互，则直接获取用户所对应的用户节点，通过用户节点互联直接发送公开业务数据；

若用户进行非公开业务数据的交互，获取用户所对应的用户节点，在用户节点之间建立加密信道，将非公开业务数据转换为密文数据发送；

获取用户节点处的日志数据信息、设备数据信息和业务数据信息并打包成数据块上传至数据处理模块进行数据挖掘和机器学习。

需要进一步说明的是，每个局域网PC端设备有对应的IP地址，链接账号和链接密码根据IP地址生成，通过对日志数据信息、设备数据信息和业务数据信息的多维度采集，保证了后续数据挖掘和机器学习有充足的数据样本。

所述数据处理模块进行数据挖掘后通过机器学习提取出有效数据信息的过程包括：

具体的，对数据信息进行数据挖掘的过程包括：

获取数据块并将其解构为原来的数据信息，将数据信息中的日志数据信息、设备数据信息和业务数据信息分别存储至设置的第一数据挖掘库、第二数据挖掘库和第三数据挖掘库；

将日志数据信息中的用户日志内容转换为字符串序列，并将字符串序列转换为01序列，截取第9—24位形成十六位01序列串；

获取日志数据信息存储的局域网PC端设备，将其关联的用户节点的IP地址合并十六位01序列串，生成第一数据挖掘库的所有数据表的表主键值，将每个日志数据信息中的其他内容存储于数据表中；

获取设备数据信息中的若干个局域网PC端设备的信息，将每个局域网PC端设备的设备编号作为第二数据挖掘库中数据表的表主键值，将每个设备数据信息中的其他内容存储于数据表中；

将第三数据挖掘库中的数据表分为A数据表和B数据表，A数据表用于存储公开业务数据，将公开业务数据所关联的用户节点形成节点序列对作为A数据表的主键值，将非公开业务数据所属的加密信道进行信道编号，记为i，i∈1，2，3...n，n为自然数，将信道编号作为B数据表的主键值；

对第一数据挖掘库、第二数据挖掘库和第三数据挖掘库进行数据清洗，获取数据表中的数据，设置频率计数器，频率计数器初始值为0，表示没有数据重复情况，初次获得数据，频率计数器数值不变，再次获得相同数据，频率计数器数值置为1，清洗掉重复数据，并将频率计数器的数值置为0，继续进行下一个数据的重复判断，直到剔除所有的重复数据，完成清洗。

具体的，通过机器学习生成有效数据信息的过程包括：

先将完成数据清洗后的数据信息备份生成备份数据，再将备份数据和原始数据信息放入预先设置的训练模型中，所述训练模型包括一级训练单元、二级训练单元和三级训练单元；

所述一级训练单元将备份数据和原始数据信息转换为统一的训练格式数据，并下发给二级训练单元；

所述二级训练单元将训练格式数据进行初次训练生成初步训练数据，并下发给三级训练单元；

所述三级训练单元设置不同的训练参数，将备份数据和原始数据信息所代表的初步训练数据生成不同的训练集数据；

将备份数据生成的训练集数据记为α，原始数据信息生成的训练集数据记为β，获取有效数据转换率，记为C，C＝α/β，若C大于等于转换阈值，则表示有效数据信息生成，否则继续进行训练。

需要进一步说明的是，转换阈值通常人为的设置为1/2，通过设置数据挖掘库的形式分别存储三类数据信息，并通过数据清洗去除掉重复冗余的数据，避免了重复冗余的数据对接下来机器学习过程的影响，通过训练模型对数据信息进行训练并设置有效数据转换率，根据有效数据转换率判断是否继续进行训练。

所述报警机制模块基于数据处理的结果设置阈值，对系统的异常情况实时监测并发送报警信息给管理员的过程包括：

获取数据处理模块生成的有效数据信息和备份数据，将备份数据解构为日志数据信息、设备数据信息和业务数据信息；

将日志数据信息中的非法操作信息、用户记录时间和GPS定位地点进行读取，记用户记录时间为T[j]，j∈1，2，3...k，k为正整数；

所述报警信息包括报警信息一、报警信息二和报警信息三，报警机制模块设置有管理员；

若T[j]到T[j＋1]时间内，非法操作信息生成的次数大于等于设定的阈值一，则发送报警信息一至管理员处；

若T[j]到T[j＋1]和T[j＋1]到T[j＋2]时间的GPS定位地点不相同，则获取设备数据信息中的CPU温度、异常关机次数和异常重启次数，若CPU温度大于等于设定的阈值二，异常关机次数和异常重启次数之和大于等于设定的阈值三，则发送报警信息二至管理员处；

获取用户开关机时间，根据用户开关机时间获得用户记录时间T[j]的数量，标记其为时间节点，当任一时间节点的非公开业务数据的泄密次数达到设定的阈值四及以上时，发送报警信息三至管理员处；

所述生命周期模块根据报警信息对纳库数据赋值不同的生命周期的过程包括：

所述生命周期模块设置有普通数据库和生命周期数据库，获取有效数据信息生成纳库数据存储于普通数据库中，记录每条数据进入普通数据库的时间，记为Time1；

设置纳库标准时间，记为Time2，获取GMT标准时间，记为Time，若Time－Time1≥Time2，则将纳库数据出库普通数据库，并入库生命周期数据库；

管理员获取进入生命周期数据库的权限，根据报警信息将纳库数据赋值不同的生命周期；

若获取到报警信息一， 则对纳库数据设置计时生命周期，当管理员把非法操作信息的次数降到设定的阈值一及阈值一以下时，解除计时，否则，计时结束，销毁对应纳库数据；

若获取到报警信息二，则对纳库数据设置临时生命周期，管理员定期实时监控局域网PC端设备的设备数据信息，将设备数据信息中的相应数据信息降低到设定的阈值二及阈值二以下、阈值三及阈值三以下后，将对应纳库数据加密存储；

若获取到报警信息三，则对纳库数据设置永久生命周期，将纳库数据出库生成业务数据表，管理员获取业务数据表上传至运维中心存储；

需要进一步说明的是，通过生命周期数据库的设置，并对存储于其中的纳库数据赋值不同的生命周期，对于计时生命周期对应的纳库数据，当计时结束时未达到设定的阈值以下时，进行销毁操作，节省了数据库的存储空间，对于永久生命周期对应的纳库数据生成业务数据表永久保存，方便后续查看使用，临时生命周期的纳库数据加密则保证了数据的安全私密性。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法精神和范围。

Claims (5)

1.一种基于大数据的信息运维管理系统，包括运维中心，其特征在于，所述运维中心通信连接有数据采集模块、数据处理模块、报警机制模块以及生命周期模块；

所述数据采集模块用于采集不同来源的数据信息，包括日志数据信息、设备数据信息和业务数据信息；

所述数据处理模块用于对采集到的数据信息进行数据挖掘，利用机器学习提取出有效数据信息；

机器学习生成有效数据信息的过程包括：

将数据清洗后的数据信息备份生成备份数据，将备份数据和原始数据信息放入预先设置的训练模型中，所述训练模型包括一级训练单元、二级训练单元和三级训练单元；

一级训练单元将备份数据和原始数据信息转换为统一的训练格式数据，并下发给二级训练单元；二级训练单元将训练格式数据进行初次训练生成初步训练数据，并下发给三级训练单元；三级训练单元设置不同的训练参数，将备份数据和原始数据信息所代表的初步训练数据生成不同的训练集数据；

将备份数据和原始数据信息生成的训练集数据进行比值操作，获取有效数据转换率，若有效数据转换率的值大于等于转换阈值，则生成有效数据信息并停止训练，否则继续训练；

所述报警机制模块用于对数据处理的结果设置阈值，对系统异常情况进行实时监测并向管理员发送报警信息；

报警机制模块发送报警信息的过程包括：

获取数据处理模块生成的有效数据信息和备份数据，将备份数据解构为日志数据信息、设备数据信息和业务数据信息；

将日志数据信息中的非法操作信息、用户记录时间和GPS定位地点进行读取；

报警信息包括报警信息一、报警信息二和报警信息三，报警机制模块设置有管理员；

若非法操作信息生成的次数大于等于设定的阈值一，则发送报警信息一至管理员处；

若设定的两个时间段的GPS定位地点不相同，则获取设备数据信息中的CPU温度、异常关机次数和异常重启次数，当CPU温度大于等于设定的阈值二，异常关机次数和异常重启次数之和大于等于设定的阈值三，则发送报警信息二至管理员处；

获取用户开关机时间，根据用户开关机时间获得用户记录时间的数量，标记其为时间节点，当任一时间节点的非公开业务数据的泄密次数大于等于设定的阈值四时，发送报警信息三至管理员处；

所述生命周期模块用于根据报警信息对纳库数据赋值不同的生命周期；

对纳库数据赋值相应生命周期的过程包括：

若获取到报警信息一， 则对纳库数据设置计时生命周期，当管理员把非法操作信息的次数降到设定的阈值一及阈值一以下时，解除计时，否则，计时结束，销毁对应纳库数据；

若获取到报警信息二，则对纳库数据设置临时生命周期，管理员定期实时监控局域网PC端设备的设备数据信息，将设备数据信息中的相应数据信息降低到设定的阈值二及阈值二以下、阈值三及阈值三以下时，将对应纳库数据加密存储；

若获取到报警信息三，则对纳库数据设置永久生命周期，将纳库数据出库生成业务数据表，管理员获取业务数据表上传至运维中心存储。

2.根据权利要求1所述的一种基于大数据的信息运维管理系统，其特征在于，所述数据采集模块进行不同来源数据信息采集的过程包括：

所述日志数据信息由同一局域网所有用户的用户日志组成，所述用户日志包括用户记录时间、用户日志内容、GPS定位地点和非法操作信息；

用户通过登录端口进行链接账号和链接密码的验证，验证正确后登录至局域网，局域网分配用户节点用于用户日志的上传；

所述设备数据信息由若干个局域网PC端设备的信息组成，记录其开关机时间、CPU温度、设备编号、异常关机次数和异常重启次数；

所述业务数据信息由局域网PC端设备所存储，业务数据信息包括公开业务数据和非公开业务数据；

若用户进行公开业务数据的交互，则直接获取用户所对应的用户节点，通过用户节点互联直接发送；

若进行非公开业务数据的交互，在用户节点之间建立加密信道，将非公开业务数据转换为密文数据发送；

将日志数据信息、设备数据信息和业务数据信息打包成数据块上传至数据处理模块。

3.根据权利要求2所述的一种基于大数据的信息运维管理系统，其特征在于，所述数据处理模块进行数据挖掘的过程包括：

获取数据块并解构，将数据信息中的日志数据信息、设备数据信息和业务数据信息存储至设置的相应数据挖掘库中；

将日志数据信息中的用户日志内容转换为十六位01序列串，获取设备数据信息中的若干个局域网PC端设备的信息，获取每个局域网PC端设备的设备编号；

获取公开业务数据所关联的用户节点形成的节点序列对，将非公开业务数据所属的加密信道进行信道编号；

将十六位01序列串、设备编号、节点序列对以及信道编号作为相应数据挖掘库的主键值，并对数据挖掘库进行数据清洗。

4.根据权利要求3所述的一种基于大数据的信息运维管理系统，其特征在于，所述数据清洗的过程包括：

获取数据挖掘库中的数据并设置频率计数器，频率计数器初始值为0，初次获得数据，频率计数器数值不变；

当再次获得相同数据，频率计数器数值设置为1，清洗掉重复数据，并将频率计数器的数值设置为0，继续进行下一个数据的重复判断，直到剔除所有的重复数据。

5.根据权利要求1所述的一种基于大数据的信息运维管理系统，其特征在于，所述生命周期模块生成纳库数据并将其出库和入库的过程包括：

所述生命周期模块设置有普通数据库和生命周期数据库，获取有效数据信息生成纳库数据存储于普通数据库中；

记录每条纳库数据进入普通数据库的时间，设置纳库标准时间，获取GMT标准时间，对纳库数据进行出库普通数据库和入库生命周期数据库的操作；

管理员获取进入生命周期数据库的权限，根据报警信息对纳库数据赋值不同生命周期。