CN116302809A - 边缘端数据分析计算装置 - Google Patents
边缘端数据分析计算装置 Download PDFInfo
- Publication number
- CN116302809A CN116302809A CN202310189068.8A CN202310189068A CN116302809A CN 116302809 A CN116302809 A CN 116302809A CN 202310189068 A CN202310189068 A CN 202310189068A CN 116302809 A CN116302809 A CN 116302809A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- module
- log
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了边缘端数据分析计算装置,属于数据分析领域,包括边缘计算设备、用户云平台、收集分类模块、缺失反馈模块、监测反馈模块、告警模块、日志检测模块以及云数据库;本发明能够自行为分析神经模型寻找并设置最优参数,无需管理人员手动寻参,有效的提高了检测结果的精确性,降低使用难度,使操作更加便捷,能够对不同系统的日志数据进行采集,无需管理人员进行系统配置,节省数据采集时间,同时方便管理人员进行日志分析,有效的降低管理人员工作量。
Description
技术领域
本发明涉及数据分析领域,尤其涉及边缘端数据分析计算装置。
背景技术
随着物联网、5G、区块链、车联网、传感器等电子、信息、通信技术的飞速发展,各类数据量的增长呈指数态势,海量数据对计算处理能力和速度的要求也与日俱增。云计算技术通过数据中心内的大量高性能服务器为用户提供几乎无限的计算能力,是大数据分析处理的重要解决方案之一。然而,云计算也存在着网络时延大、成本高以及安全隐私等一系列问题,无法适应所有的大数据分析处理要求。例如,在工业生产、运营等场景中,对事故、故障、突发情况的实时响应非常重要;在网络数据抓取场景中,数据传输成本则较为敏感,而边缘计算技术恰好为解决这一问题提供了有效途径。
现有的边缘端数据分析计算装置检测结果精度差,不方便管理人员使用;此外,现有的边缘端数据分析计算装置无法针对不同系统的日志数据进行采集,不方便管理人员进行日志分析吗,增加管理人员工作量,为此,我们提出边缘端数据分析计算装置。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷,而提出的边缘端数据分析计算装置。
为了实现上述目的,本发明采用了如下技术方案:
边缘端数据分析计算装置,包括边缘计算设备、用户云平台、收集分类模块、缺失反馈模块、监测反馈模块、告警模块、日志检测模块以及云数据库;
其中,所述边缘计算设备用于采集机车通风机以及电机轴承运行信息进行采集;
所述用户云平台用于管理人员登陆并查看机车通风机以及电机相关信息;
所述收集分类模块用于接收采集到的各组信息进行预处理后再分类;
所述缺失反馈模块用于对分类后的数据进行完整性检测,并将其中缺失数据剔除,同时反馈边缘计算设备重新采集对应数据;
所述监测反馈模块用于构建并训练一组分析神经模型,并接收分类后的各组数据以进行异常反馈;
所述告警模块用于通过语音播报、灯光以及短信方式向管理人员发送警报,同时中断相关机车运行;
所述日志检测模块用于对用户云平台生成的日志数据进行风险分析;
所述云数据库用于存储各子模块生成的数据,并供管理人员调用查看。
其特征在于,所述边缘计算设备具体包括智能传感器、可编程逻辑控制器、边缘智能路由器以及ICT融合网关。
其特征在于,所述收集分类模块数据分类具体步骤如下:
步骤一:收集分类模块接收边缘计算设备采集到的各组数据,之后将各组数据处理成统一格式,然后再将处理后的各组数据按照通风机以及电机轴承进行分类;
步骤二:通过Max-Min归一化方法将分类后的各组数据转换至0至1区间内,并通过时域和频域的方法提取特征参数,再计算各组特征参数的方差系数,并依据计算出的方差系数筛选出能够表示通风机以及电机轴承信息的特征参数,并筛除对于表征能力差的特征参数。
其特征在于,所述监测反馈模块分析神经模型具体训练步骤如下:
步骤(1):监测反馈模块从云数据库中采集多组通风机以及电机轴承信息正常运行信息吗,之后筛除重复数据,并将剩余信息整合成测验数据集;
步骤(2):监测反馈模块从测验数据集中任意选取一组数据作为观测数据,并将剩余数据拟合成一组测验模型,然后使用观测数据来验证该测验模型精度信息,并重复多次通过均方根误差对该测验模型的预测能力进行计算,并收集计算生成的精度参数;
步骤(3):初始化参数范围,并按照管理人员设置的步长以及学习率生成所有可能的数据结果,之后选取任意一个子集作为测试集,其余子集作为训练集,训练模型后对测试集进行预测,统计测试结果的均方根误差;
步骤(4):将测试集更换为另一子集,再取剩余子集作为训练集,再次统计均方根误差,直至对所有数据都进行一次预测,通过选取均方根误差最小时对应的组合参数作为数据区间内分析神经模型最优的参数。
其特征在于,所述监测反馈模块异常反馈具体步骤如下:
步骤Ⅰ:将当前各组样本所对应的归一化值设置为通风机以及电机轴承运行标签,之后将两组数据分别划分成训练集以及测试集,再对各训练集进行标准化处理以获取相对应的训练样本;
步骤Ⅱ:将训练样本导入分析神经模型中,设置模型最优参数,之后对该模型进行长期迭代训练,再将测试集输入训练好的分析神经模型中生成通风机以及电机轴承运行曲线,同时将运行异常的通风机或电机轴承进行标记,并反馈管理人员其所在位置。
其特征在于,所述日志检测模块风险分析具体步骤如下:
步骤①:日志检测模块在不同系统的用户云平台部署相对应的采集插件以获取各用户云平台所生成的日志数据,之后依据预先设定的条件值对获取到的各组日志数据进行筛选;
步骤②:将满足要求的日志数据处理为统一格式,再有序地对日志数据执行相关处理操作,之后将日志数据中记录的用户操作行为与攻击者行为特征进行匹配,并将匹配结果进行输出;
步骤③:收集输出结果并进行判断,若输出结果满足一个或多个预设告警条件,则进行风险告警,并生成相对应的告警信息,同时对该条告警的风险分数进行计算,并将计算结果进行输出。
其特征在于,步骤③所述风险分数具体计算公式如下:
式中,Ri代表规则重要程度,Rm代表规则历史命中次数,Rn代表命中规则数,S代表告警风险系数,AS代表资产重要性,Vi代表漏洞严重程度。
相比于现有技术,本发明的有益效果在于:
1、本发明通过收集分类模块对边缘计算设备采集到的各组数据进行分类之后,再对各组数据进行相应的处理,之后监测反馈模块从云数据库中采集多组通风机以及电机轴承信息正常运行信息吗,之后筛除重复数据,并将剩余信息整合成测验数据集,从测验数据集中任意选取一组数据作为观测数据,并将剩余数据拟合成一组测验模型以获取分析神经模型最优的参数,之后将收集到的数据分别划分成训练集以及测试集,再对各训练集进行标准化处理以获取相对应的训练样本,将训练样本导入分析神经模型中,设置模型最优参数以生成通风机以及电机轴承运行曲线,能够自行为分析神经模型寻找并设置最优参数,无需管理人员手动寻参,有效的提高了检测结果的精确性,降低使用难度,使操作更加便捷。
2、本发明通过日志检测模块在不同系统的用户云平台部署相对应的采集插件以获取各用户云平台所生成的日志数据,之后依据预先设定的条件值对获取到的各组日志数据进行筛选,将满足要求的日志数据处理为统一格式,再有序地对日志数据执行相关处理操作,之后将日志数据中记录的用户操作行为与攻击者行为特征进行匹配,并将匹配结果进行输出,收集输出结果并进行判断,若输出结果满足一个或多个预设告警条件,则进行风险告警,并生成相对应的告警信息,同时对该条告警的风险分数进行计算,并将计算结果进行输出,能够对不同系统的日志数据进行采集,无需管理人员进行系统配置,节省数据采集时间,同时方便管理人员进行日志分析,有效的降低管理人员工作量。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明提出的边缘端数据分析计算装置的系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例1
参照图1,边缘端数据分析计算装置,包括边缘计算设备、用户云平台、收集分类模块、缺失反馈模块、监测反馈模块、告警模块、日志检测模块以及云数据库。
边缘计算设备用于采集机车通风机以及电机轴承运行信息进行采集。
需要进一步说明的是,边缘计算设备具体包括智能传感器、可编程逻辑控制器、边缘智能路由器以及ICT融合网关。
用户云平台用于管理人员登陆并查看机车通风机以及电机相关信息;收集分类模块用于接收采集到的各组信息进行预处理后再分类。
具体的,收集分类模块接收边缘计算设备采集到的各组数据,之后将各组数据处理成统一格式,然后再将处理后的各组数据按照通风机以及电机轴承进行分类,然后通过Max-Min归一化方法将分类后的各组数据转换至0至1区间内,并通过时域和频域的方法提取特征参数,再计算各组特征参数的方差系数,并依据计算出的方差系数筛选出能够表示通风机以及电机轴承信息的特征参数,并筛除对于表征能力差的特征参数。
缺失反馈模块用于对分类后的数据进行完整性检测,并将其中缺失数据剔除,同时反馈边缘计算设备重新采集对应数据;监测反馈模块用于构建并训练一组分析神经模型,并接收分类后的各组数据以进行异常反馈。
具体的,监测反馈模块从云数据库中采集多组通风机以及电机轴承信息正常运行信息吗,之后筛除重复数据,并将剩余信息整合成测验数据集,从测验数据集中任意选取一组数据作为观测数据,并将剩余数据拟合成一组测验模型,然后使用观测数据来验证该测验模型精度信息,并重复多次通过均方根误差对该测验模型的预测能力进行计算,并收集计算生成的精度参数,初始化参数范围,并按照管理人员设置的步长以及学习率生成所有可能的数据结果,之后选取任意一个子集作为测试集,其余子集作为训练集,训练模型后对测试集进行预测,统计测试结果的均方根误差,然后将测试集更换为另一子集,再取剩余子集作为训练集,再次统计均方根误差,直至对所有数据都进行一次预测,通过选取均方根误差最小时对应的组合参数作为数据区间内分析神经模型最优的参数。
具体的,将当前各组样本所对应的归一化值设置为通风机以及电机轴承运行标签,之后将两组数据分别划分成训练集以及测试集,再对各训练集进行标准化处理以获取相对应的训练样本,将训练样本导入分析神经模型中,设置模型最优参数,之后对该模型进行长期迭代训练,再将测试集输入训练好的分析神经模型中生成通风机以及电机轴承运行曲线,同时将运行异常的通风机或电机轴承进行标记,并反馈管理人员其所在位置。
实施例2
参照图1,边缘端数据分析计算装置,包括。
告警模块用于通过语音播报、灯光以及短信方式向管理人员发送警报,同时中断相关机车运行;日志检测模块用于对用户云平台生成的日志数据进行风险分析。
具体的,日志检测模块在不同系统的用户云平台部署相对应的采集插件以获取各用户云平台所生成的日志数据,之后依据预先设定的条件值对获取到的各组日志数据进行筛选,将满足要求的日志数据处理为统一格式,再有序地对日志数据执行相关处理操作,之后将日志数据中记录的用户操作行为与攻击者行为特征进行匹配,并将匹配结果进行输出,收集输出结果并进行判断,若输出结果满足一个或多个预设告警条件,则进行风险告警,并生成相对应的告警信息,同时对该条告警的风险分数进行计算,并将计算结果进行输出。
需要进一步说明的是,风险分数具体计算公式如下:
式中,Ri代表规则重要程度,Rm代表规则历史命中次数,Rn代表命中规则数,S代表告警风险系数,AS代表资产重要性,Vi代表漏洞严重程度。
云数据库用于存储各子模块生成的数据,并供管理人员调用查看。
Claims (7)
1.边缘端数据分析计算装置,其特征在于,包括边缘计算设备、用户云平台、收集分类模块、缺失反馈模块、监测反馈模块、告警模块、日志检测模块以及云数据库;
其中,所述边缘计算设备用于采集机车通风机以及电机轴承运行信息进行采集;
所述用户云平台用于管理人员登陆并查看机车通风机以及电机相关信息;
所述收集分类模块用于接收采集到的各组信息进行预处理后再分类;
所述缺失反馈模块用于对分类后的数据进行完整性检测,并将其中缺失数据剔除,同时反馈边缘计算设备重新采集对应数据;
所述监测反馈模块用于构建并训练一组分析神经模型,并接收分类后的各组数据以进行异常反馈;
所述告警模块用于通过语音播报、灯光以及短信方式向管理人员发送警报,同时中断相关机车运行;
所述日志检测模块用于对用户云平台生成的日志数据进行风险分析;
所述云数据库用于存储各子模块生成的数据,并供管理人员调用查看。
2.根据权利要求1所述的边缘端数据分析计算装置,其特征在于,所述边缘计算设备具体包括智能传感器、可编程逻辑控制器、边缘智能路由器以及ICT融合网关。
3.根据权利要求1所述的边缘端数据分析计算装置,其特征在于,所述收集分类模块数据分类具体步骤如下:
步骤一:收集分类模块接收边缘计算设备采集到的各组数据,之后将各组数据处理成统一格式,然后再将处理后的各组数据按照通风机以及电机轴承进行分类;
步骤二:通过Max-Min归一化方法将分类后的各组数据转换至0至1区间内,并通过时域和频域的方法提取特征参数,再计算各组特征参数的方差系数,并依据计算出的方差系数筛选出能够表示通风机以及电机轴承信息的特征参数,并筛除对于表征能力差的特征参数。
4.根据权利要求3所述的边缘端数据分析计算装置,其特征在于,所述监测反馈模块分析神经模型具体训练步骤如下:
步骤(1):监测反馈模块从云数据库中采集多组通风机以及电机轴承信息正常运行信息吗,之后筛除重复数据,并将剩余信息整合成测验数据集;
步骤(2):监测反馈模块从测验数据集中任意选取一组数据作为观测数据,并将剩余数据拟合成一组测验模型,然后使用观测数据来验证该测验模型精度信息,并重复多次通过均方根误差对该测验模型的预测能力进行计算,并收集计算生成的精度参数;
步骤(3):初始化参数范围,并按照管理人员设置的步长以及学习率生成所有可能的数据结果,之后选取任意一个子集作为测试集,其余子集作为训练集,训练模型后对测试集进行预测,统计测试结果的均方根误差;
步骤(4):将测试集更换为另一子集,再取剩余子集作为训练集,再次统计均方根误差,直至对所有数据都进行一次预测,通过选取均方根误差最小时对应的组合参数作为数据区间内分析神经模型最优的参数。
5.根据权利要求4所述的边缘端数据分析计算装置,其特征在于,所述监测反馈模块异常反馈具体步骤如下:
步骤Ⅰ:将当前各组样本所对应的归一化值设置为通风机以及电机轴承运行标签,之后将两组数据分别划分成训练集以及测试集,再对各训练集进行标准化处理以获取相对应的训练样本;
步骤Ⅱ:将训练样本导入分析神经模型中,设置模型最优参数,之后对该模型进行长期迭代训练,再将测试集输入训练好的分析神经模型中生成通风机以及电机轴承运行曲线,同时将运行异常的通风机或电机轴承进行标记,并反馈管理人员其所在位置。
6.根据权利要求1所述的边缘端数据分析计算装置,其特征在于,所述日志检测模块风险分析具体步骤如下:
步骤①:日志检测模块在不同系统的用户云平台部署相对应的采集插件以获取各用户云平台所生成的日志数据,之后依据预先设定的条件值对获取到的各组日志数据进行筛选;
步骤②:将满足要求的日志数据处理为统一格式,再有序地对日志数据执行相关处理操作,之后将日志数据中记录的用户操作行为与攻击者行为特征进行匹配,并将匹配结果进行输出;
步骤③:收集输出结果并进行判断,若输出结果满足一个或多个预设告警条件,则进行风险告警,并生成相对应的告警信息,同时对该条告警的风险分数进行计算,并将计算结果进行输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310189068.8A CN116302809A (zh) | 2023-02-23 | 2023-02-23 | 边缘端数据分析计算装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310189068.8A CN116302809A (zh) | 2023-02-23 | 2023-02-23 | 边缘端数据分析计算装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116302809A true CN116302809A (zh) | 2023-06-23 |
Family
ID=86779044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310189068.8A Pending CN116302809A (zh) | 2023-02-23 | 2023-02-23 | 边缘端数据分析计算装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116302809A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117097768A (zh) * | 2023-10-18 | 2023-11-21 | 江苏百维能源科技有限公司 | 一种基于大数据的智能电能表安全通信传输系统及方法 |
-
2023
- 2023-02-23 CN CN202310189068.8A patent/CN116302809A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117097768A (zh) * | 2023-10-18 | 2023-11-21 | 江苏百维能源科技有限公司 | 一种基于大数据的智能电能表安全通信传输系统及方法 |
CN117097768B (zh) * | 2023-10-18 | 2023-12-22 | 江苏百维能源科技有限公司 | 一种基于大数据的智能电能表安全通信传输系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107528832B (zh) | 一种面向系统日志的基线构建与未知异常行为检测方法 | |
CN108268893B (zh) | 一种基于机器学习的化工园区预警方法及装置 | |
CN111782484B (zh) | 一种异常检测方法及装置 | |
CN115409131B (zh) | 基于spc过程管控系统的生产线异常检测方法 | |
CN112015153A (zh) | 一种无菌灌装生产线异常检测系统和方法 | |
CN112671767B (zh) | 一种基于告警数据分析的安全事件预警方法及装置 | |
CN112734977B (zh) | 一种基于物联网的设备风险预警系统及算法 | |
CN114201374A (zh) | 基于混合机器学习的运维时序数据异常检测方法及系统 | |
CN110580492A (zh) | 一种基于小幅波动检测的轨道电路故障前兆发现方法 | |
CN114422184A (zh) | 基于机器学习的网络安全攻击类型和威胁等级预测方法 | |
CN116302809A (zh) | 边缘端数据分析计算装置 | |
CN112202718B (zh) | 一种基于XGBoost算法的操作系统识别方法、存储介质及设备 | |
CN115858794B (zh) | 用于网络运行安全监测的异常日志数据识别方法 | |
CN113071966A (zh) | 电梯故障预测方法、装置、设备及存储介质 | |
CN117411703A (zh) | 一种面向Modbus协议的工业控制网络异常流量检测方法 | |
CN113282920B (zh) | 日志异常检测方法、装置、计算机设备和存储介质 | |
CN111600878A (zh) | 一种基于maf-adm的低速率拒绝服务攻击检测方法 | |
CN112073396A (zh) | 一种内网横向移动攻击行为的检测方法及装置 | |
CN115514620B (zh) | 一种异常检测的方法和云网络平台 | |
CN116614313A (zh) | 一种基于数据识别的网络入侵防护系统及方法 | |
CN115659351B (zh) | 一种基于大数据办公的信息安全分析方法、系统及设备 | |
CN110837953A (zh) | 一种自动化异常实体定位分析方法 | |
CN115150248B (zh) | 网络流量异常检测方法、装置、电子设备和存储介质 | |
CN113958463A (zh) | 风机叶片在线监测方法、系统及装置 | |
TWI696401B (zh) | 基地台之障礙辨識伺服器及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |