CN116304112A - 一种基于大数据技术的智能监测方法 - Google Patents
一种基于大数据技术的智能监测方法 Download PDFInfo
- Publication number
- CN116304112A CN116304112A CN202310369449.4A CN202310369449A CN116304112A CN 116304112 A CN116304112 A CN 116304112A CN 202310369449 A CN202310369449 A CN 202310369449A CN 116304112 A CN116304112 A CN 116304112A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- intelligent monitoring
- entity
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005516 engineering process Methods 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 38
- 238000007405 data analysis Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于大数据技术的智能监测方法，属于数据监测技术领域，该监测方法具体步骤如下：(1)构建分析图谱以组成分析图谱库并实时更新；(2)对收集的各待检数据进行分类处理；(3)预处理各待检数据再对其进行监测分析；(4)工作人员查看分析结果并下发相关控制指令；(5)采集管理平台日志数据以进行分析管控；本发明能够自行建模寻参，降低操作难度，方便工作人员使用，同时有效提高了监测效率，并且保证监测准确性，能够给采集数据带来便利性，同时能够实现无需相关专业知识也可进行日志数据分析，而且不用每次收集日志都进行配置操作，节省了工作人员配置时间。
Description
技术领域
本发明涉及数据监测技术领域，尤其涉及一种基于大数据技术的智能监测方法。
背景技术
随着互联网的发展，随着云时代的到来，大数据成为了很多人关注的方面。一个公司所创造出来的数据，通常会被用大数据来形容，将这些数据下载到数据库当中，并且进行分析时，会花费过多的时间以及金钱。随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。而使用大数据对数据进行监测成为数据筛选的重要手段之一；因此，发明出一种基于大数据技术的智能监测方法变得尤为重要。
现有的基于大数据技术的智能监测方法操作难度较高，不方便工作人员使用，降低监测效率且监测准确性差；此外，现有的基于大数据技术的智能监测方法需相关专业知识才可进行日志数据分析，同时不方便数据采集，每次收集日志都需要配置操作；为此，我们提出一种基于大数据技术的智能监测方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种基于大数据技术的智能监测方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于大数据技术的智能监测方法，该监测方法具体步骤如下：
(1)构建分析图谱以组成分析图谱库并实时更新；
(2)对收集的各待检数据进行分类处理；
(3)预处理各待检数据再对其进行监测分析；
(4)工作人员查看分析结果并下发相关控制指令；
(5)采集管理平台日志数据以进行分析管控。
作为本发明的进一步方案，步骤(1)中所述分析图谱具体构建步骤如下：
步骤一：工作人员选择相关领域作为知识范围，之后通过爬虫抓取互联网中相关领域的数据，同时接收工作人员上传的有关数据，并提取各组特征关键词，同时将各特征关键词转换为词向量；
步骤二：构建TransD模型接收各组数据，并通过TransD模型使用prefer向量表示空间中原点到财务信息嵌入的向量，同时对特定信息的偏好程度通过prefer和该信息的欧几里得距离进行衡量；
步骤三：构造主题文本知识子图，并依照实体提取子图中与实体相连的关系，采用知识图谱嵌入模型进行学习，把学习到的实体向量作为CNN层的输入，并输出相对应的实体表以及关系表，之后安装配置Neo4j数据库，同时启动Neo4j服务并导入数据以完成分析图谱构建。
作为本发明的进一步方案，步骤三中所述知识图谱嵌入模型学习训练具体步骤如下：
步骤Ⅰ：将主题特征向量、词语-实体对齐后的实体向量以及相关实体上下文向量输入知识图谱嵌入模型中，再通过关系-实体对齐转换函数将实体向量、上下文实体向量从实体空间映射到词向量空间，并将特征连接在一起作为输入；
步骤Ⅱ：将主题描述文本输入Softmax分类器中，并经过归一化得到主题文本在第k种主题的输出概率，同时采用自适应矩阵估计算法最小化目标函数，再通过反向传播更新每轮迭代过程网络的各种参数，直到模型符合拟合要求为止。
作为本发明的进一步方案，步骤(3)中所述待检数据具体预处理步骤如下：
步骤①：通过归一化方法将各组待检数据转换至0到1的区间内，之后计算转换后的各组待检数据的方差系数，若方差系数越大，则表示越重要，反之，则表示不重要，并将其剔除；
步骤②：将剩余待检数据归一化后的值作为其标签，并将待检数据划分为训练集以及测试集，同时对训练集进行标准化处理以获取训练样本。
作为本发明的进一步方案，步骤①中所述归一化方法具体计算公式如下：
(1)
其中，xnew表示归一化后的数据；x表示提取的特征数据；xmax表示特征数据的最大值；xmin表示特征数据的最小值；
步骤①所述特征降维具体计算公式如下：
(2)
其中，σ表示特征数据的标准差，μ表示特征数据的均值，CV表示特征数据的方差系数。
作为本发明的进一步方案，步骤(3)中所述监测分析具体步骤如下：
第一步：收集过往监测数据，之后构建一组卷积神经网络，并将过往监测数据导入卷积神经网络中通过输入、卷积、池化、全连接和输出进行学习训练，得到智能监测模型；
第二步：对该智能监测模型进行测试，若测试准确率满足期望值，则停止训练，反之继续对其进行训练，并对其参数进行更新调整，将分析图谱库与智能监测模型通信连接；
第三步：智能监测模型接收训练样本以进行迭代训练，之后将测试集导入训练完成的模型中，并输出分析曲线，同时依据分析图谱库对各待检数据进行类型匹配，同时输出匹配结果。
作为本发明的进一步方案，步骤(5)中所述日志数据分析管控具体步骤如下：
第Ⅰ步：在不同的系统的管理平台部署相关的日志采集插件或者通过syslog服务器获取不同系统的管理平台中所记录的日志数据，并筛选出满足工作人员预设条件的日志信息；
第Ⅱ步：将剩余日志数据处理为统一格式的日志信息，再将处理后的日志信息中记录的用户操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关工作人员，并中断相关操作进程。
相比于现有技术，本发明的有益效果在于：
1、该基于大数据技术的智能监测方法通过选择相关领域作为知识范围，之后通过爬虫抓取互联网中相关领域的数据，同时接收工作人员上传的有关数据以构建分析图谱，之后对待检数据进行预处理以获取训练样本以及测试集，收集过往监测数据，之后构建一组卷积神经网络，并将过往监测数据导入卷积神经网络中通过输入、卷积、池化、全连接和输出进行学习训练，得到智能监测模型，对该智能监测模型进行测试，若测试准确率满足期望值，则停止训练，反之继续对其进行训练，并对其参数进行更新调整，将分析图谱库与智能监测模型通信连接，智能监测模型接收训练样本以进行迭代训练，之后将测试集导入训练完成的模型中，并输出分析曲线，同时依据分析图谱库对各待检数据进行类型匹配，同时输出匹配结果，能够自行建模寻参，降低操作难度，方便工作人员使用，同时有效提高了监测效率，并且保证监测准确性。
2、该基于大数据技术的智能监测方法通过在不同的系统的管理平台部署相关的日志采集插件或者通过syslog服务器获取不同系统的管理平台中所记录的日志数据，并筛选出满足工作人员预设条件的日志信息，将剩余日志数据处理为统一格式的日志信息，再将处理后的日志信息中记录的用户操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关工作人员，并中断相关操作进程，能够给采集数据带来便利性，同时能够实现无需相关专业知识也可进行日志数据分析，而且不用每次收集日志都进行配置操作，节省了工作人员配置时间。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提出的一种基于大数据技术的智能监测方法的流程框图。
具体实施方式
实施例1
参照图1，一种基于大数据技术的智能监测方法，该监测方法具体步骤如下：
构建分析图谱以组成分析图谱库并实时更新。
具体的，工作人员选择相关领域作为知识范围，之后通过爬虫抓取互联网中相关领域的数据，同时接收工作人员上传的有关数据，并提取各组特征关键词，同时将各特征关键词转换为词向量，构建TransD模型接收各组数据，并通过TransD模型使用prefer向量表示空间中原点到财务信息嵌入的向量，同时对特定信息的偏好程度通过prefer和该信息的欧几里得距离进行衡量，构造主题文本知识子图，并依照实体提取子图中与实体相连的关系，采用知识图谱嵌入模型进行学习，把学习到的实体向量作为CNN层的输入，并输出相对应的实体表以及关系表，之后安装配置Neo4j数据库，同时启动Neo4j服务并导入数据以完成分析图谱构建。
需要进一步说明的是，将主题特征向量、词语-实体对齐后的实体向量以及相关实体上下文向量输入知识图谱嵌入模型中，再通过关系-实体对齐转换函数将实体向量、上下文实体向量从实体空间映射到词向量空间，并将特征连接在一起作为输入，将主题描述文本输入Softmax分类器中，并经过归一化得到主题文本在第k种主题的输出概率，同时采用自适应矩阵估计算法最小化目标函数，再通过反向传播更新每轮迭代过程网络的各种参数，直到模型符合拟合要求为止。
对收集的各待检数据进行分类处理。
预处理各待检数据再对其进行监测分析。
具体的，通过归一化方法将各组待检数据转换至0到1的区间内，之后计算转换后的各组待检数据的方差系数，若方差系数越大，则表示越重要，反之，则表示不重要，并将其剔除，将剩余待检数据归一化后的值作为其标签，并将待检数据划分为训练集以及测试集，同时对训练集进行标准化处理以获取训练样本。
本实施例中，归一化方法具体计算公式如下：
(1)
其中，xnew表示归一化后的数据；x表示提取的特征数据；xmax表示特征数据的最大值；xmin表示特征数据的最小值；
特征降维具体计算公式如下：
(2)
其中，σ表示特征数据的标准差，μ表示特征数据的均值，CV表示特征数据的方差系数。
具体的，收集过往监测数据，之后构建一组卷积神经网络，并将过往监测数据导入卷积神经网络中通过输入、卷积、池化、全连接和输出进行学习训练，得到智能监测模型，对该智能监测模型进行测试，若测试准确率满足期望值，则停止训练，反之继续对其进行训练，并对其参数进行更新调整，将分析图谱库与智能监测模型通信连接，智能监测模型接收训练样本以进行迭代训练，之后将测试集导入训练完成的模型中，并输出分析曲线，同时依据分析图谱库对各待检数据进行类型匹配，同时输出匹配结果。
实施例2
参照图1，一种基于大数据技术的智能监测方法，该监测方法具体步骤如下：
工作人员查看分析结果并下发相关控制指令。
采集管理平台日志数据以进行分析管控。
具体的，在不同的系统的管理平台部署相关的日志采集插件或者通过syslog服务器获取不同系统的管理平台中所记录的日志数据，并筛选出满足工作人员预设条件的日志信息，将剩余日志数据处理为统一格式的日志信息，再将处理后的日志信息中记录的用户操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关工作人员，并中断相关操作进程。
Claims (7)
1.一种基于大数据技术的智能监测方法，其特征在于，该监测方法具体步骤如下：
(1)构建分析图谱以组成分析图谱库并实时更新；
(2)对收集的各待检数据进行分类处理；
(3)预处理各待检数据再对其进行监测分析；
(4)工作人员查看分析结果并下发相关控制指令；
(5)采集管理平台日志数据以进行分析管控。
2.根据权利要求1所述的一种基于大数据技术的智能监测方法，其特征在于，步骤(1)中所述分析图谱具体构建步骤如下：
步骤一：工作人员选择相关领域作为知识范围，之后通过爬虫抓取互联网中相关领域的数据，同时接收工作人员上传的有关数据，并提取各组特征关键词，同时将各特征关键词转换为词向量；
步骤二：构建TransD模型接收各组数据，并通过TransD模型使用prefer向量表示空间中原点到财务信息嵌入的向量，同时对特定信息的偏好程度通过prefer和该信息的欧几里得距离进行衡量；
步骤三：构造主题文本知识子图，并依照实体提取子图中与实体相连的关系，采用知识图谱嵌入模型进行学习，把学习到的实体向量作为CNN层的输入，并输出相对应的实体表以及关系表，之后安装配置Neo4j数据库，同时启动Neo4j服务并导入数据以完成分析图谱构建。
3.根据权利要求2所述的一种基于大数据技术的智能监测方法，其特征在于，步骤三中所述知识图谱嵌入模型学习训练具体步骤如下：
步骤Ⅰ：将主题特征向量、词语-实体对齐后的实体向量以及相关实体上下文向量输入知识图谱嵌入模型中，再通过关系-实体对齐转换函数将实体向量、上下文实体向量从实体空间映射到词向量空间，并将特征连接在一起作为输入；
步骤Ⅱ：将主题描述文本输入Softmax分类器中，并经过归一化得到主题文本在第k种主题的输出概率，同时采用自适应矩阵估计算法最小化目标函数，再通过反向传播更新每轮迭代过程网络的各种参数，直到模型符合拟合要求为止。
4.根据权利要求1所述的一种基于大数据技术的智能监测方法，其特征在于，步骤(3)中所述待检数据具体预处理步骤如下：
步骤①：通过归一化方法将各组待检数据转换至0到1的区间内，之后计算转换后的各组待检数据的方差系数，若方差系数越大，则表示越重要，反之，则表示不重要，并将其剔除；
步骤②：将剩余待检数据归一化后的值作为其标签，并将待检数据划分为训练集以及测试集，同时对训练集进行标准化处理以获取训练样本。
5.根据权利要求4所述的一种基于大数据技术的智能监测方法，其特征在于，步骤①中所述归一化方法具体计算公式如下：
其中，xnew表示归一化后的数据；x表示提取的特征数据；xmax表示特征数据的最大值；xmin表示特征数据的最小值；
步骤①所述特征降维具体计算公式如下：
其中，σ表示特征数据的标准差，μ表示特征数据的均值，CV表示特征数据的方差系数。
6.根据权利要求4所述的一种基于大数据技术的智能监测方法，其特征在于，步骤(3)中所述监测分析具体步骤如下：
第一步：收集过往监测数据，之后构建一组卷积神经网络，并将过往监测数据导入卷积神经网络中通过输入、卷积、池化、全连接和输出进行学习训练，得到智能监测模型；
第二步：对该智能监测模型进行测试，若测试准确率满足期望值，则停止训练，反之继续对其进行训练，并对其参数进行更新调整，将分析图谱库与智能监测模型通信连接；
第三步：智能监测模型接收训练样本以进行迭代训练，之后将测试集导入训练完成的模型中，并输出分析曲线，同时依据分析图谱库对各待检数据进行类型匹配，同时输出匹配结果。
7.根据权利要求1所述的一种基于大数据技术的智能监测方法，其特征在于，步骤(5)中所述日志数据分析管控具体步骤如下：
第Ⅰ步：在不同的系统的管理平台部署相关的日志采集插件或者通过syslog服务器获取不同系统的管理平台中所记录的日志数据，并筛选出满足工作人员预设条件的日志信息；
第Ⅱ步：将剩余日志数据处理为统一格式的日志信息，再将处理后的日志信息中记录的用户操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关工作人员，并中断相关操作进程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310369449.4A CN116304112A (zh) | 2023-04-07 | 2023-04-07 | 一种基于大数据技术的智能监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310369449.4A CN116304112A (zh) | 2023-04-07 | 2023-04-07 | 一种基于大数据技术的智能监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116304112A true CN116304112A (zh) | 2023-06-23 |
Family
ID=86832474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310369449.4A Pending CN116304112A (zh) | 2023-04-07 | 2023-04-07 | 一种基于大数据技术的智能监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116304112A (zh) |
-
2023
- 2023-04-07 CN CN202310369449.4A patent/CN116304112A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021103492A1 (zh) | 一种企业经营风险预测方法和系统 | |
| WO2018000269A1 (zh) | 一种基于数据挖掘和众包的数据标注方法及系统 | |
| CN112859822B (zh) | 基于人工智能的设备健康分析及故障诊断的方法及系统 | |
| CN108629413A (zh) | 神经网络模型训练、交易行为风险识别方法及装置 | |
| WO2021159834A1 (zh) | 异常信息处理节点分析方法、装置、介质及电子设备 | |
| CN109408574B (zh) | 基于文本挖掘技术的投诉责任认定系统 | |
| WO2021174812A1 (zh) | 用于画像的数据的清洗方法、装置、介质及电子设备 | |
| CN112579789A (zh) | 一种设备故障诊断的方法和装置及设备 | |
| CN116089873A (zh) | 模型训练方法、数据分类分级方法、装置、设备及介质 | |
| CN113590807A (zh) | 一种基于大数据挖掘的科技企业信用评价方法 | |
| CN116756688A (zh) | 一种基于多模态融合算法的舆情风险发现方法 | |
| CN115269870A (zh) | 一种基于知识图谱实现数据中台数据链路故障分类预警的方法 | |
| CN113704389A (zh) | 一种数据评估方法、装置、计算机设备及存储介质 | |
| CN117131449A (zh) | 面向数据治理的具有传播学习能力的异常识别方法及系统 | |
| CN112200465A (zh) | 基于多媒体信息智能分析的电力ai方法及系统 | |
| CN116304112A (zh) | 一种基于大数据技术的智能监测方法 | |
| CN116431828A (zh) | 一种基于神经网络技术构建的电网中台数据资产知识图谱数据库的构建方法 | |
| CN113554010B (zh) | 一种电网线路故障识别模型训练方法 | |
| CN113705695A (zh) | 一种基于卷积神经网络的配电网故障数据辨识方法 | |
| CN112579429A (zh) | 一种问题定位方法和装置 | |
| CN117892091B (zh) | 基于人工智能的数据智能分析方法及系统 | |
| CN116993307B (zh) | 一种具有人工智能学习能力的协同办公方法及系统 | |
| CN111538843B (zh) | 游戏领域的知识图谱关系匹配方法、模型构建方法及装置 | |
| CN116974862A (zh) | Sql处理方法、装置、设备及存储介质 | |
| CN117972595A (zh) | 一种电费异常分析方法、系统、装置和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |