CN114168941A - 基于电力运维大数据监控方法 - Google Patents
基于电力运维大数据监控方法 Download PDFInfo
- Publication number
- CN114168941A CN114168941A CN202111408381.3A CN202111408381A CN114168941A CN 114168941 A CN114168941 A CN 114168941A CN 202111408381 A CN202111408381 A CN 202111408381A CN 114168941 A CN114168941 A CN 114168941A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- behavior
- early warning
- electric power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了基于电力运维大数据监控方法，涉及电力运维技术领域，包括以下步骤：S1、用户数据及活动轨迹库创建；S2、行为异常检测与预警；S3、预警阈值分析与设定；S4、数据学习；S5、管理与分析。该基于电力运维大数据监控方法，基于大数据计算平台，结合智能数据分析引擎，通过对历史数据进行学习、归纳，利用预测、聚类、关联等合适的数据分析模型构建不同类型用户访问系统的行为模型，形成不同用户群体常规的系统操作活动轨迹，从而可以实时监控用户日常操作行为，预判操作过程和使用内容，对偏移群体活动轨迹的访问行为进行预警。
Description
技术领域
本发明涉及电力运维技术领域，具体为基于电力运维大数据监控方法。
背景技术
电力是以电能作为动力的能源。发现于19世纪70年代，电力的发现和应用掀起了第二次工业化高潮。成为人类历史18世纪以来，世界发生的三次科技革命之一，从此科技改变了人们的生活。20世纪出现的大规模电力系统是人类工程科学史上最重要的成就之一，是由发电、输电、变电、配电和用电等环节组成的电力生产与消费系统。它将自然界的一次能源通过机械能装置转化成电力，再经输电、变电和配电将电力供应到各用户，电力的使用需要对其进行监控。
现有的滚塑方法电力运维大数据监控方法存在无法自动优化的特点，同时不具备自适应能力，在有特殊情况或关键因素发生时，无法及时体现出变化，为此，我们提出基于电力运维大数据监控方法。
发明内容
针对现有技术的不足，本发明提供了基于电力运维大数据监控方法，解决了上述背景技术中提出的现有的滚塑方法电力运维大数据监控方法存在无法自动优化的特点，同时不具备自适应能力，在有特殊情况或关键因素发生时，无法及时体现出变化的问题。
为实现以上目的，本发明通过以下技术方案予以实现、基于电力运维大数据监控方法，包括以下步骤：
S1、用户数据及活动轨迹库创建；
S2、行为异常检测与预警；
S3、预警阈值分析与设定；
S4、数据学习；
S5、管理与分析。
可选的，所述基于电力运维大数据监控方法包括以下具体步骤：
S1、用户数据及活动轨迹库创建
基于大数据计算平台，结合智能数据分析引擎，针对生产环境中不同要素和对象进行持续性的运行数据收集和监控，由于这类数据是随时间变化的，一般称之为时序数据，在采集和使用数据时，常常会在数据上附加若干标签，从多个不同的角度对数据加以描述，这种附加了不同角度标签的数据称为多维度数据，多维度数据除了可以展示更多的数据信息，在异常的分析和诊断中也能起到很大的作用；
S2、行为异常检测与预警
对用户正常的行为进行建模，然后将用户当前行为的特征与行为模型中的特征进行比较，如果两者偏差足够大，说明发生了异常，随后更新行为异常特征库；
S3、预警阈值分析与设定
通过对用户使用的历史数据进行分析，确定常用预警规则的临界阈值，确定不同用户群体相对合理的预警阈值，采用时序数据聚类的相关算法理念，排除传统k-mean聚类所造成的偏差，将用户类别相同、上网习惯相似、各渠道使用行为一致的用户进行分群，从而针对不同的用户群体使用不同的预警阈值；
S4、数据学习
通过将无监督学习手段和有监督学习手段的结果进行融合，构建综合评价模型，实现安全规则的自挖掘，提高异常的识别精度，利用不同算法，以分布深度、Mass_based质量偏离度等构造离群度量指标，将变化水平与其他用户偏离过大的作为疑似异常，使异常识别具备根据用户行为自我适应的能力；
S5、管理与分析
创建管理模块，用户通过管理模块中的图形化界面，可以对当前系统状态进行配置，了解当前行为分析系统所能分析的用户行为，并指定各种分析策略，而分析系统则将分析结果以各种图像和表格的形式显示给用户，管理界面模块的设计主要分为用户访问记录展示界面，用户行为统计分析界面，行为特征库界面，行为异常报警界面。
可选的，所述S1用户数据及活动轨迹库创建过程中采用设置不同角度的属性使其成为多维度数据。
可选的，所述S2行为异常检测与预警过程中的建立正常行为模型和异常偏离度算法，同时采用误用检测和异常检测相结合的两层混合异常检测模型，使用基于簇中心位置变化的异常检测方法和基于K近邻的异常检测算法将用户实时行为数据与行为模式库中的模式进行比对与检测。
可选的，所述S4数据学习过程中监督学习手段是指对预警的历史使用经验进行学习，利用神经网络、随机森林等有监督学习算法对规则的历史执行结果开展机器学习建模，使得执行结果在离群分析的基础上进一步降低疑似数量，提升识别精度。
可选的，所述S5管理与分析过程中管理模块通过前端界面融合技术，实现应用功能的整合，对系统用户提供统一的操作体验，利用IaaS提供的计算、存储和网络服务，利用PaaS提供的微服务基础服务和云开发支持。
本发明提供了基于电力运维大数据监控方法，具备以下有益效果：该基于电力运维大数据监控方法，基于大数据计算平台，结合智能数据分析引擎，通过对历史数据进行学习、归纳，利用预测、聚类、关联等合适的数据分析模型构建不同类型用户访问系统的行为模型，形成不同用户群体常规的系统操作活动轨迹，从而可以实时监控用户日常操作行为，预判操作过程和使用内容，对偏移群体活动轨迹的访问行为进行预警，针对传统预警模型无法自动优化的特点，将机器学习与模型优化相结合，引入专家系统，设立原始库和模型库，将经过确认的模型特征与结果存入案例库，通过机器迭代对案例库中的特征和结构进行分析，调整预警模型权重与阈值，以及指标随机组合,实现模型的自动优化和实用化。
具体实施方式
基于电力运维大数据监控方法，包括以下步骤：
S1、用户数据及活动轨迹库创建；
S2、行为异常检测与预警；
S3、预警阈值分析与设定；
S4、数据学习；
S5、管理与分析。
基于电力运维大数据监控方法包括以下具体步骤：
S1、用户数据及活动轨迹库创建
基于大数据计算平台，结合智能数据分析引擎，针对生产环境中不同要素和对象进行持续性的运行数据收集和监控，由于这类数据是随时间变化的，一般称之为时序数据，在采集和使用数据时，常常会在数据上附加若干标签，从多个不同的角度对数据加以描述，这种附加了不同角度标签的数据称为多维度数据，多维度数据除了可以展示更多的数据信息，在异常的分析和诊断中也能起到很大的作用；
S1用户数据及活动轨迹库创建过程中采用设置不同角度的属性使其成为多维度数据，主要针对用户数据的时序性进行分析，采用正序列模式挖掘方法，实现规范操作轨迹挖掘，在对用户的实时使用数据进行采集监控的过程中，如果出现不同的使用行为，可将其视为异常行为，列为重点监视对象，根据后续动作判断是否做出进一步处理；
S2、行为异常检测与预警
对用户正常的行为进行建模，然后将用户当前行为的特征与行为模型中的特征进行比较，如果两者偏差足够大，说明发生了异常，随后更新行为异常特征库；
S2行为异常检测与预警过程中的建立正常行为模型和异常偏离度算法，同时采用误用检测和异常检测相结合的两层混合异常检测模型，使用基于簇中心位置变化的异常检测方法和基于K近邻的异常检测算法将用户实时行为数据与行为模式库中的模式进行比对与检测；
S3、预警阈值分析与设定
通过对用户使用的历史数据进行分析，确定常用预警规则的临界阈值，确定不同用户群体相对合理的预警阈值，采用时序数据聚类的相关算法理念，排除传统k-mean聚类所造成的偏差，将用户类别相同、上网习惯相似、各渠道使用行为一致的用户进行分群，从而针对不同的用户群体使用不同的预警阈值；
S4、数据学习
通过将无监督学习手段和有监督学习手段的结果进行融合，构建综合评价模型，实现安全规则的自挖掘，提高异常的识别精度，利用不同算法，以分布深度、Mass_based质量偏离度等构造离群度量指标，将变化水平与其他用户偏离过大的作为疑似异常，使异常识别具备根据用户行为自我适应的能力；
S4数据学习过程中监督学习手段是指对预警的历史使用经验进行学习，利用神经网络、随机森林等有监督学习算法对规则的历史执行结果开展机器学习建模，使得执行结果在离群分析的基础上进一步降低疑似数量，提升识别精度；
S5、管理与分析
创建管理模块，用户通过管理模块中的图形化界面，可以对当前系统状态进行配置，了解当前行为分析系统所能分析的用户行为，并指定各种分析策略，而分析系统则将分析结果以各种图像和表格的形式显示给用户，管理界面模块的设计主要分为用户访问记录展示界面，用户行为统计分析界面，行为特征库界面，行为异常报警界面；
S5管理与分析过程中管理模块可通过前端界面融合技术，实现应用功能的整合，对系统用户提供统一的操作体验，利用IaaS提供的计算、存储和网络服务，利用PaaS提供的微服务基础服务和云开发支持。
综上，该基于电力运维大数据监控方法，使用时基于电力运维大数据监控方法包括以下具体步骤：
S1、用户数据及活动轨迹库创建：基于大数据计算平台，结合智能数据分析引擎，针对生产环境中不同要素和对象进行持续性的运行数据收集和监控，由于这类数据是随时间变化的，一般称之为时序数据，在采集和使用数据时，常常会在数据上附加若干标签，从多个不同的角度对数据加以描述，这种附加了不同角度标签的数据称为多维度数据，多维度数据除了可以展示更多的数据信息，在异常的分析和诊断中也能起到很大的作用，接着采用设置不同角度的属性使其成为多维度数据，主要针对用户数据的时序性进行分析，采用正序列模式挖掘方法，实现规范操作轨迹挖掘，在对用户的实时使用数据进行采集监控的过程中，如果出现不同的使用行为，可将其视为异常行为，列为重点监视对象，根据后续动作判断是否做出进一步处理；
S2、行为异常检测与预警：建立正常行为模型和异常偏离度算法，同时采用误用检测和异常检测相结合的两层混合异常检测模型，使用基于簇中心位置变化的异常检测方法和基于K近邻的异常检测算法将用户实时行为数据与行为模式库中的模式进行比对与检测，然后将用户当前行为的特征与行为模型中的特征进行比较，如果两者偏差足够大，说明发生了异常，随后更新行为异常特征库；
S3、预警阈值分析与设定：通过对用户使用的历史数据进行分析，确定常用预警规则的临界阈值，确定不同用户群体相对合理的预警阈值，采用时序数据聚类的相关算法理念，排除传统k-mean聚类所造成的偏差，将用户类别相同与各渠道使用行为一致的用户进行分群，从而针对不同的用户群体使用不同的预警阈值；
S3、数据学习：通过将无监督学习手段和有监督学习手段的结果进行融合，构建综合评价模型，实现安全规则的自挖掘，提高异常的识别精度，利用不同算法，以分布深度、Mass_based质量偏离度等构造离群度量指标，将变化水平与其他用户偏离过大的作为疑似异常，使异常识别具备根据用户行为自我适应的能力；
S5、管理与分析：创建管理模块，用户通过管理模块中的图形化界面，可以对当前系统状态进行配置，了解当前行为分析系统所能分析的用户行为，并指定各种分析策略，而分析系统则将分析结果以各种图像和表格的形式显示给用户，管理界面模块的设计主要分为用户访问记录展示界面，用户行为统计分析界面，行为特征库界面，行为异常报警界面，管理模块可通过前端界面融合技术，实现应用功能的整合，对系统用户提供统一的操作体验，利用IaaS提供的计算、存储和网络服务，利用PaaS提供的微服务基础服务和云开发支持，实现用户的实时查看。
Claims (6)
1.基于电力运维大数据监控方法，其特征在于，包括以下步骤：
S1、用户数据及活动轨迹库创建；
S2、行为异常检测与预警；
S3、预警阈值分析与设定；
S4、数据学习；
S5、管理与分析。
2.根据权利要求1所述的基于电力运维大数据监控方法，其特征在于，所述基于电力运维大数据监控方法包括以下具体步骤：
S1、用户数据及活动轨迹库创建
基于大数据计算平台，结合智能数据分析引擎，针对生产环境中不同要素和对象进行持续性的运行数据收集和监控，由于这类数据是随时间变化的，一般称之为时序数据，在采集和使用数据时，常常会在数据上附加若干标签，从多个不同的角度对数据加以描述，这种附加了不同角度标签的数据称为多维度数据，多维度数据除了可以展示更多的数据信息，在异常的分析和诊断中也能起到很大的作用；
S2、行为异常检测与预警
对用户正常的行为进行建模，然后将用户当前行为的特征与行为模型中的特征进行比较，如果两者偏差足够大，说明发生了异常，随后更新行为异常特征库；
S3、预警阈值分析与设定
通过对用户使用的历史数据进行分析，确定常用预警规则的临界阈值，确定不同用户群体相对合理的预警阈值，采用时序数据聚类的相关算法理念，排除传统k-mean聚类所造成的偏差，将用户类别相同、上网习惯相似、各渠道使用行为一致的用户进行分群，从而针对不同的用户群体使用不同的预警阈值；
S4、数据学习
通过将无监督学习手段和有监督学习手段的结果进行融合，构建综合评价模型，实现安全规则的自挖掘，提高异常的识别精度，利用不同算法，以分布深度、Mass_based质量偏离度等构造离群度量指标，将变化水平与其他用户偏离过大的作为疑似异常，使异常识别具备根据用户行为自我适应的能力；
S5、管理与分析
创建管理模块，用户通过管理模块中的图形化界面，可以对当前系统状态进行配置，了解当前行为分析系统所能分析的用户行为，并指定各种分析策略，而分析系统则将分析结果以各种图像和表格的形式显示给用户，管理界面模块的设计主要分为用户访问记录展示界面，用户行为统计分析界面，行为特征库界面，行为异常报警界面。
3.根据权利要求2所述的基于电力运维大数据监控方法，其特征在于：所述S1用户数据及活动轨迹库创建过程中采用设置不同角度的属性使其成为多维度数据。
4.根据权利要求2所述的基于电力运维大数据监控方法，其特征在于：所述S2行为异常检测与预警过程中的建立正常行为模型和异常偏离度算法，同时采用误用检测和异常检测相结合的两层混合异常检测模型，使用基于簇中心位置变化的异常检测方法和基于K近邻的异常检测算法将用户实时行为数据与行为模式库中的模式进行比对与检测。
5.根据权利要求2所述的基于电力运维大数据监控方法，其特征在于：所述S4数据学习过程中有监督学习手段是指对预警的历史使用经验进行学习，利用神经网络、随机森林等有监督学习算法对规则的历史执行结果开展机器学习建模，使得执行结果在离群分析的基础上进一步降低疑似数量，提升识别精度。
6.根据权利要求2所述的基于电力运维大数据监控方法，其特征在于：所述S5管理与分析过程中管理模块通过前端界面融合技术，实现应用功能的整合，对系统用户提供统一的操作体验，利用IaaS提供的计算、存储和网络服务，利用PaaS提供的微服务基础服务和云开发支持。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111408381.3A CN114168941A (zh) | 2021-11-25 | 2021-11-25 | 基于电力运维大数据监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111408381.3A CN114168941A (zh) | 2021-11-25 | 2021-11-25 | 基于电力运维大数据监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114168941A true CN114168941A (zh) | 2022-03-11 |
Family
ID=80480695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111408381.3A Pending CN114168941A (zh) | 2021-11-25 | 2021-11-25 | 基于电力运维大数据监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114168941A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471796A (zh) * | 2022-11-14 | 2022-12-13 | 河北电力工程监理有限公司 | 一种基于机器视觉的电网工程监理系统及方法 |
| CN115766513A (zh) * | 2022-10-25 | 2023-03-07 | 中邮科通信技术股份有限公司 | 一种异常检测方法和装置 |
| CN116595403A (zh) * | 2023-07-17 | 2023-08-15 | 天津膜术工场环保科技有限公司 | 一种排风管道气体状态实时监测管理系统 |
| CN116662818A (zh) * | 2023-08-01 | 2023-08-29 | 杭州宇谷科技股份有限公司 | 异常换电用户识别方法、系统、设备和可读存储介质 |
-
2021
- 2021-11-25 CN CN202111408381.3A patent/CN114168941A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115766513A (zh) * | 2022-10-25 | 2023-03-07 | 中邮科通信技术股份有限公司 | 一种异常检测方法和装置 |
| CN115471796A (zh) * | 2022-11-14 | 2022-12-13 | 河北电力工程监理有限公司 | 一种基于机器视觉的电网工程监理系统及方法 |
| CN115471796B (zh) * | 2022-11-14 | 2023-03-24 | 河北电力工程监理有限公司 | 一种基于机器视觉的电网工程监理系统及方法 |
| CN116595403A (zh) * | 2023-07-17 | 2023-08-15 | 天津膜术工场环保科技有限公司 | 一种排风管道气体状态实时监测管理系统 |
| CN116595403B (zh) * | 2023-07-17 | 2023-09-15 | 天津膜术工场环保科技有限公司 | 一种排风管道气体状态实时监测管理系统 |
| CN116662818A (zh) * | 2023-08-01 | 2023-08-29 | 杭州宇谷科技股份有限公司 | 异常换电用户识别方法、系统、设备和可读存储介质 |
| CN116662818B (zh) * | 2023-08-01 | 2023-11-03 | 杭州宇谷科技股份有限公司 | 异常换电用户识别方法、系统、设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114168941A (zh) | 基于电力运维大数据监控方法 | |
| CN116796907A (zh) | 一种基于物联网的水环境动态监测系统及其方法 | |
| CN115578015A (zh) | 基于物联网的污水处理全过程监管方法、系统及存储介质 | |
| CN111614491B (zh) | 一种面向电力监控系统安全态势评估指标选取方法及系统 | |
| CN116862442A (zh) | 基于大数据分析的智能设备管理方法、系统 | |
| CN112817280A (zh) | 一种用于火电厂智慧监盘报警系统实现方法 | |
| US7388482B2 (en) | Method for the machine learning of frequent chronicles in an alarm log for the monitoring of dynamic systems | |
| Gaddam et al. | Anomaly detection models for detecting sensor faults and outliers in the IoT-a survey | |
| CN111723367A (zh) | 一种电力监控系统业务场景处置风险评价方法及系统 | |
| CN108200005A (zh) | 基于非监督学习的电力二次系统网络流量异常检测方法 | |
| CN113708493A (zh) | 基于云边协同的配电终端运维方法、装置和计算机设备 | |
| CN117972580B (zh) | 一种航空障碍灯远程监控方法及系统 | |
| CN115358155A (zh) | 一种电力大数据异常预警方法、装置、设备及可读存储介质 | |
| CN117669384B (zh) | 基于物联网的温度传感器生产智能监测方法及系统 | |
| CN116914917A (zh) | 一种基于大数据的配电柜运行状态监测管理系统 | |
| CN117172751A (zh) | 一种智慧运维信息分析模型的构建方法 | |
| CN117390529A (zh) | 多因素溯源的数据中台信息管理方法 | |
| CN117952439A (zh) | 道路施工环境影响智能预测方法及系统 | |
| Jiang et al. | A SVDD and K‐Means Based Early Warning Method for Dual‐Rotor Equipment under Time‐Varying Operating Conditions | |
| Fu et al. | Trimming outliers using trees: winning solution of the large-scale energy anomaly detection (LEAD) competition | |
| CN115858606A (zh) | 时序数据的异常检测方法、装置、设备及存储介质 | |
| CN113395182A (zh) | 具有故障预测的智能网络设备管理系统及方法 | |
| CN107818523A (zh) | 基于非稳定频率分布与频率因子学习的电力通信系统数据真值判别与推断方法 | |
| CN117014193A (zh) | 一种基于行为基线的未知Web攻击检测方法 | |
| Lin et al. | Design and implementation of a CPS‐based predictive maintenance and automated management platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |