CN110826887A - 一种基于大数据的智能运维管理系统及方法 - Google Patents
一种基于大数据的智能运维管理系统及方法 Download PDFInfo
- Publication number
- CN110826887A CN110826887A CN201911037179.7A CN201911037179A CN110826887A CN 110826887 A CN110826887 A CN 110826887A CN 201911037179 A CN201911037179 A CN 201911037179A CN 110826887 A CN110826887 A CN 110826887A
- Authority
- CN
- China
- Prior art keywords
- data
- maintenance
- abnormal
- analysis
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000002159 abnormal effect Effects 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000004458 analytical method Methods 0.000 claims abstract description 57
- 238000007726 management method Methods 0.000 claims abstract description 37
- 238000007405 data analysis Methods 0.000 claims abstract description 32
- 238000013441 quality evaluation Methods 0.000 claims abstract description 31
- 238000011068 loading method Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 238000013075 data extraction Methods 0.000 claims abstract description 16
- 238000013500 data storage Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims description 38
- 238000005457 optimization Methods 0.000 claims description 27
- 230000006978 adaptation Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000004445 quantitative analysis Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000009826 distribution Methods 0.000 abstract description 5
- 238000012706 support-vector machine Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于大数据的智能运维管理系统及方法。本发明的基于大数据的智能运维管理系统及方法，利用数据抽取转换加载层获取大数据并对大数据进行分类适配，然后加载至数据存储层，再通过数据分析层对数据进行处理分析、优化、数据检索并为应用层提供数据支撑，最后通过应用层进行智能化派发异常工单、异常工单智能化处理和采集运维多维度质量评价。本发明的基于大数据的智能运维管理系统，通过引入大数据技术，对采集数据进行深入挖掘、分析与梳理，实现采集运维异常工单的智能化派发、分析处理和运维多维度质量评价，能够使运维工作由粗放式向集约化、精益化转变，进而提高运维工作效率和质量。
Description
技术领域
本发明涉及电力系统技术领域，尤其涉及一种基于大数据的智能运维管理系统及方法。
背景技术
目前电力信息应用系统的运维系统存在以下缺点：
1)、缺乏故障处理优先级，运维效率低下：各省电力公司平均每天产生10000条异常运维工单，远远超过目前配备运维人员的工作能力，并且大部分公司没有制定合理的消缺机制，无法依据故障的紧急程度和重要等级开展运维业务。
2)、故障种类复杂多样，故障分析定位困难：信息采集系统涉及的运维对象有：财务营销数据、人力资源管理系统、综合能源平台、GIS，配置管理系统，财务管理系统，资源交互平台，交易管理系统，协同办公，网上营业厅，生产系统、应急指挥，支持管理系统等。目前统计的异常现象共七大类59种，故障有98种，故障分析定位非常困难，普通的运维人员通常不具备定位故障原因并确定消缺方案的技术能力。
3)、缺少有效的考核评价体系：目前采集运维工作大多采用“故障查询–线下派工”的模式，缺少运维结果和故障信息的反馈环节。采集设备、计量设备、现场运维工作质量等方面均缺乏相关的考核评价体系，无法进一步提高运维工作质量。
发明内容
本发明所要解决的技术问题在于，提供一种基于大数据的智能运维管理系统及方法，实现采集运维异常工单的智能化派发、分析处理和运维多维度质量评价，能够使运维工作由粗放式向集约化、精益化转变，进而提高运维工作效率和质量。
为了解决上述技术问题，本发明提供一种基于大数据的智能运维管理系统，包括：
数据抽取转换加载层，用于获取大数据并对大数据进行分类适配；
数据存储层，用于存储经过所述数据抽取转换加载层分类适配后的数据；
应用层，用于进行智能化派发异常工单、异常工单智能化处理和采集运维多维度质量评价；
数据分析层，用于对经过所述数据抽取转换加载层分类适配后的数据进行数据处理分析、数据优化和数据检索，并为所述应用层的异常工单智能派发、异常工单智能处理及采集运维多维度质量评价提供数据支撑。
其中，所述数据抽取转换加载层在对大数据进行分类适配的过程中采用UD-SVR算法进行参数寻优，先基于均匀设计原则从全部的参数组合中选取一部分具有代表性的参数组合，然后再基于选取的部分参数组合及其评价指标MSE以自调用SVR建立评价指标MSE与参数组合之间的关系模型，并以此对全部的参数组合进行预测，以预测的评价指标代替传统SVM寻优方法中的交叉测试评价指标。
其中，所述数据分析层通过关系型联机分析处理机制对低维度的动态数据进行存储和分析，通过多维联机分析处理机制来对高维度的静态数据进行分析处理。
其中，所述数据分析层通过对运维数据和系统历史数据进行多维度分析，甄别各类异常的严重程度，输出采集运维效用值模型，以用于判断异常处理的先后次序。
其中，所述数据分析层还用于对历史工单进行多维度、大批量数据分析，归纳数据规律，发现各维度下异常工单发生大概率的异常原因，并综合考虑各维度下相同异常原因的发生概率，输出单个异常原因概率比值，对比各个异常原因比值的大小，以对未来发生类似故障现象起到预分析作用。
其中，所述应用层包括：
异常工单智能派发单元，用于基于所述数据分析层的异常工单处理先后次序评估结果向维护人员派发工单；
异常工单智能处理单元，用于基于所述数据分析层的异常原因发生概率评估结果向维护人员发送可能的异常原因；
采集运维多维度质量评价单元，用于对各运维人员的工作质量和工作效率进行综合评价，建立分析评价指标计算规则。
其中，所述采集运维多维度质量评价单元还用于对采集终端的产品质量进行评价，根据采集运维情况对各终端厂商的终端质量进行量化分析，利用各终端厂商的运行终端数、确认终端问题数、异常终端占比、更换终端数和终端时钟异常数，建立采集终端产品质量分析评价指标计算规则。
其中，所述采集运维多维度质量评价单元还用于对厂商的产品质量进行评价，根据采集运维情况对各厂商的产品质量进行量化分析，利用各厂商的运行设备数、确认问题数、异常设备占比、更换电备件数、设备时钟异常数，建立产品质量分析评价指标计算规则。
其中，所述采集运维多维度质量评价单元建立的分析评价指标计算规则包括以下三个评价指标：
异常工单派发率：异常工单派发率＝统计日期内派发工单数÷当期应派发的工单总数×100％；
异常工单反馈率：异常工单反馈率＝反馈工单数÷当期应反馈的工单总数×100％；
采集故障处理及时率：采集故障处理及时率＝已处理并恢复的采集故障数÷当期应处理的采集故障电表总数×100％。
本发明还提供一种基于大数据的智能运维管理方法，采用所述的基于大数据的智能运维管理系统，所述方法包括以下步骤：
步骤S1，获取大数据并对大数据进行分类适配；
步骤S2，存储经过分类适配后的数据；
步骤S3，对经过分类适配后的数据进行数据处理分析、数据优化和数据检索；
步骤S4，基于所述步骤S3中的数据处理分析结果智能派发异常工单、智能处理异常工单及采集运维多维度质量评价。
本发明实施例的有益效果在于，通过引入大数据技术，对采集数据进行深入挖掘、分析与梳理，实现采集运维异常工单的智能化派发、分析处理和运维多维度质量评价，能够使运维工作由粗放式向集约化、精益化转变，进而提高运维工作效率和质量。另外，还采用UD-SVR算法来进行参数寻优，相比于现有的采用SVM算法来进行参数寻优的方式大幅度提升了寻优速度，降低了寻优时间，可以很好地适用于大数据的分类适配处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一一种基于大数据的智能运维管理系统的模块连接结构示意图。
图2是本发明实施例一中的应用层所包含的的单元结构示意图。
图3是本发明实施例二一种基于大数据的智能运维管理方法的流程示意图。
图4是本发明实施例二中步骤S11的子流程示意图。
具体实施方式
以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。
请参照图1所示，本发明实施例一提供一种基于大数据的智能运维管理系统，包括数据抽取转换加载层11、数据存储层12、数据分析层13和应用层14，所述数据抽取转换加载层11用于获取大数据并对大数据进行分类适配，所述数据存储层12用于存储经过数据抽取转换加载层11分类适配后的数据，所述应用层14用于智能化派发异常工单、异常工单智能化处理和采集运维多维度质量评价，所述数据分析层13用于对数据进行数据处理分析、数据优化和数据检索，并为应用层14的异常工单智能派发、异常工单智能处理及采集运维多维度质量评价提供数据支撑。所述数据抽取转换加载层11从各个数据采集主站中获取大量的源数据，如用户档案信息、采集成功率、异常工单等其它数据，并对获取到的大量源数据进行分类适配并向数据存储层12装载。所述数据存储层12采取混合型的大数据存储和处理架构，实现对多源异构电力大数据的多样性存储和处理功能，其中，混合存储可采用分布式文件系统、列式数据库、内存数据库等多种数据存储和管理形式，以满足不同应用的需求，处理架构分别面向离线分析、实时计算、计算密集型数据分析等场景，通过采用分布式批处理、内存计算、高性能计算等技术来实现。所述数据分析层13可以实现应用系统的基础功能，如分析模型管理、批量计算、实时查询等功能，并且在数据分析和数据处理之间采用支持高并发、低时延事务操作的分布式内存数据缓存技术，以降低业务应用操作与数据处理层之间的耦合性，提高应用服务响应效率。所述应用层14可以构建异常工单智能化派发、异常工单智能处理和采集运维多维度质量评价3项业务，实现采集运维闭环管理功能，并且，通过采用模块化软件设计方法实现3个功能模块的即插即用，并在充分考虑模块之间的信息联络及功能联合的基础上，遵循规范的接口，实现模块之间的功能融合，从而实现3个业务模块之间既可独立运行，又可协作互补。
可以理解，所述数据抽取转换加载层11在对大数据进行分类适配的过程中采用UD(Uniform Design均匀设计)-SVR(Support vector regression回归)算法来进行参数寻优，相比于现有的采用SVM(支持向量机)算法来进行参数寻优的方式大幅度提升了寻优速度，降低了寻优时间，可以很好地适用于大数据的分类适配处理。
传统的SVM参数寻优需对(c，g，p:依次表示惩罚系数、核函数参数、损失函数参数)组合在给定范围(三个参数范围一般为:log2c＝-1:1:7，log2g＝0:-1:-8，log2p＝-8:1:0)内进行穷尽搜索，搜索次数为三个参数向量长度的乘积，总的搜索时间为搜索次数×训练样本个数。对于小样本数据穷尽搜索算法运行时间尚能接受，但随着样本数目的增大，在参数选择方面花费的时间过多，所需的计算时间会呈几何级数增加，致使传统的SVM无法有效适用于大数据集。
具体地，所述数据抽取转换加载层11首先基于均匀设计原则从全部的参数组合中选取一部分具有代表性的参数组合，从而可以有效地降低搜索范围，大幅度缩短了寻优时间；然后再基于选取的部分参数组合及其评价指标MSE(Mean Squared Error均方误差)以自调用SVR建立评价指标MSE与参数组合之间的关系模型，并以此对全部的参数组合进行预测，以预测的评价指标代替传统SVM寻优方法中的交叉测试评价指标，从而可以有效提升寻优效率。
可以理解地，所述数据分析层13引入了关系型联机分析处理机制和多维联机分析处理机制来对数据进行分析处理，大幅度提升了数据分析处理速度，可以很好地适用于对大数据进行分析处理的情况。其中，所述关系型联机分析处理机制是联机分析处理的一种形式，其基于关系型数据库，以关系型结构进行多维数据进行表示和存储，对存储在关系数据库(而非多维数据库)中的数据作动态多维分析。使用关系数据库管理系统存储数据，数据文件大小受RDBMS(Relational Database Management System，关系数据库管理系统)限制，数据装载速度快，存储空间耗费小，维度数没有限制，可以通过SQL(Structured QueryLanguage，结构化查询语言)对数据进行处理。而所述多维联机分析处理机制是联机分析处理的另一种形式，其采用专门的多维分析数据存储结构存储数据，数据文件大小可能受到操作系统平台文件大小限制，难以达到TB级，规划存储时需要对数据量进行预测算，否则可能导致数据爆炸，数据装载速度慢，维数有限，无法支持维的动态变化，缺乏数据模型和数据访问的标准，分析查询响应速度高于其他联机分析处理技术，可以支持高性能的辅助决策计算。所述数据分析层13通过引入关系型联机分析处理机制对低维度的动态数据进行存储和分析，引入多维联机分析处理机制来对高维度的静态数据进行分析处理，两者相结合，各取所长，从而实现对不同的大数据进行高效的存储分析，大幅度提升了数据分析处理速度。其中，所述数据分析层13通过对大量运维数据和系统历史数据进行多维度分析，甄别各类异常的严重程度，输出采集运维效用值模型，以用于判断异常处理的先后次序，逐步提升异常工单处理的完成率和工作成效的可控性。例如，针对单个表计效用值来说，主要有：离下一抄表日天数、异常持续时间和月平均用电量这三个方面的影响。所述数据分析层13采用以下效用值模型来进行计算：
Y效用值＝∑f(xi) (1)
其中，Y效用值表示采集运维效用值，f(xi)表示单个电表异常采集运维效用值，i表示第i个电能表。其中：
f(xi)＝j(xi)+s(xi) (2)
其中，j(xi)表示异常持续时间的效用值，n表示故障持续天数，s(xi)表示建议紧急程度，m表示距离抄表日天数，r(xi)表示标准户数，其中，
其中，g(xi)表示电量标准偏差值。
从而可以通过快速判断出异常工单处理的先后次序，大幅度提升了异常工单处理的完成率和可控性。
另外，所述数据分析层13还可以对历史工单进行多维度、大批量数据分析，归纳数据规律，发现各维度下异常工单发生大概率的异常原因，并综合考虑各维度下相同异常原因的发生概率，输出单个异常原因概率比值，对比各个异常原因比值的大小，从而对未来发生类似故障现象起到预分析作用，提升运维效率。例如，对于一个新生成的异常工单，可通过故障设备的设备类型、生产厂家和国网招标批次等多个维度的异常原因发生概率，确定异常工单可能的异常原因，并对比比值的大小从而预测出新异常工单可能的异常原因，具体公式如下：
Y比值＝∑f(yi)/N (7)
其中，Y比值表示单个异常原因概率比值，f(yi)表示单个维度单一异常现象原因的发生概率，N表示所有维度的总量。
在实际应用中，通过对某个运维地区1个月1712个历史异常工单的故障设备类型、生产厂家和国网招标批次3个维度的分类筛选，运用单个异常原因概率比值概念对该地区新产生集中器与主站无通信故障进行故障原因分析，其中：
基于设备类型异常分析：该地区与集中器和主站无通信时有关的历史工单共有761条，集中器发生无通信故障时很大部分都是由集中器GPRS模块故障、主机故障、软件故障造成，占比分别为32.82％、28.21％和12.82％，且该地区集中器GPRS模块故障偏多；
基于设备生产厂家异常分析：该故障集中器为“某厂家”生产设备，与其有关的工单共有350条，发生无通信故障时很大部分都是由集中器GPRS模块故障、主机故障、软件故障造成，占比分别为51.43％、13.71％和16.00％，且该厂家集中器GPRS模块故障偏多；
基于国网招标批次异常分析：该故障集中器为“某批次招标”供货设备，与之有关的工单共有243条，“某批次招标”集中器发生无通信故障时很大部分都是由集中器GPRS模块故障、主机故障、软件故障造成，占比分别为37.14％、14.29％和17.14％，且该招标批次集中器GPRS模块故障偏多。
运用异常原因概率比值公式计算后可得：
集中器GPRS模块故障率＝(32.87％+51.43％+37.14％)/3＝40.48％；
主机故障率＝(28.21％+13.71％+14.29％)/3＝18.74％；
软件故障率＝(12.82％+16.00％+17.14％)/3＝15.32％。
由以上可知该集中器与主站无通信异常工单很可能是由于GPRS模块故障导致，可指导现场运维人员优先排查是否为集中器GPRS模块故障。
可以理解，如图2所示，所述应用层14包括异常工单智能派发单元141、异常工单智能处理单元142及采集运维多维度质量评价单元143，所述异常工单智能派发单元141用于基于所述数据分析层13的异常工单处理先后次序评估结果向维护人员派发工单，以便于维护人员优先处理紧急度高的异常工单；所述异常工单智能处理单元142用于基于所述数据分析层13的异常原因发生概率评估结果向维护人员发送可能的异常原因，以便于维护人员快速、准确地对设备进行维护；所述采集运维多维度质量评价单元143用于对各运维人员的工作质量和工作效率进行综合评价，其利用异常处理数量、异常处理率、异常处理时长等数据，对采集运维工作进行评价，建立分析评价指标计算规则。
具体地，所述采集运维多维度质量评价单元143建立的分析评价指标计算规则包括以下三个评价指标：
异常工单派发率：异常工单派发率＝统计日期内派发工单数÷当期应派发的工单总数×100％；
异常工单反馈率：异常工单反馈率＝反馈工单数÷当期应反馈的工单总数×100％；
采集故障处理及时率：采集故障处理及时率＝已处理并恢复的采集故障数÷当期应处理的采集故障电表总数×100％。
另外，所述采集运维多维度质量评价单元143还用于对采集终端的产品质量进行评价，其根据采集运维情况对各终端厂商的终端质量进行量化分析，利用各终端厂商的运行终端数、确认终端问题数、异常终端占比、更换终端数、终端时钟异常数等数据，建立采集终端产品质量分析评价指标计算规则：
终端故障更换率：终端故障更换率＝周期内更换终端的数量÷周期内在运行的采集终端数量×100％；
终端时钟偏差超标占比：终端时钟偏差超标占比＝周期内终端时钟偏差超过5MIN的终端数量÷周期内在运行的采集终端数量×100％；
各厂家终端故障率：终端故障率＝周期内终端发生故障的次数÷周期内在运行的采集终端数量×100％。
另外，所述采集运维多维度质量评价单元143还用于对电能表的产品质量进行评价，具体地，根据采集运维情况对各电表厂商的产品质量进行量化分析，利用各电表厂商的运行电表数、确认电表问题数、异常电表占比、更换电表数、电表时钟异常数等数据，开展各电表厂商的产品质量分析，建立电能表产品质量分析评价指标计算规则：
故障更换率＝周期内更换电能表的数量÷周期内在运行的电能表数量×100％。
本发明的基于大数据的智能运维管理系统，利用数据抽取转换加载层11获取大数据并对大数据进行分类适配，然后加载至数据存储层12，再通过数据分析层13对数据进行优化、数据检索并为应用层14的异常工单智能派发、异常工单智能处理及采集运维多维度质量评价提供数据支撑，最后通过应用层14进行智能化派发异常工单、异常工单智能化处理和采集运维多维度质量评价。本发明的基于大数据的智能运维管理系统，通过引入大数据技术，对采集数据进行深入挖掘、分析与梳理，实现采集运维异常工单的智能化派发、分析处理和运维多维度质量评价，能够使运维工作由粗放式向集约化、精益化转变，进而提高运维工作效率和质量。
另外，还采用UD-SVR算法来进行参数寻优，相比于现有的采用SVM算法来进行参数寻优的方式大幅度提升了寻优速度，降低了寻优时间，可以很好地适用于大数据的分类适配处理。
可以理解，如图3所示，本发明的第二实施例还提供一种基于大数据的智能运维管理方法，其优选采用上述优选实施例所述的基于大数据的智能运维管理系统。所述基于大数据的智能运维管理方法包括以下步骤：
步骤S1：获取大数据并对大数据进行分类适配；
步骤S2：存储经过分类适配后的数据；
步骤S3：对数据进行数据处理分析、数据优化和数据检索；
步骤S4：基于步骤S3中的数据处理分析结果智能派发异常工单、智能处理异常工单及采集运维多维度质量评价。
可以理解，如图4所示，所述步骤S1中采用UD-SVR算法对大数据进行分类适配，具体包括以下步骤：
步骤S11：基于均匀设计原则从全部的参数组合中选取一部分具有代表性的参数组合；
步骤S12：基于选取的部分参数组合及其评价指标MSE以自调用SVR建立评价指标MSE与参数组合之间的关系模型，并以此对全部的参数组合进行预测，以预测的评价指标代替传统SVM寻优方法中的交叉测试评价指标。
可以理解，所述步骤S3中引入关系型联机分析处理机制对低维度的动态数据进行存储和分析，引入多维联机分析处理机制来对高维度的静态数据进行分析处理，两者相结合，从而实现对不同的大数据进行高效的存储分析，大幅度提升了数据分析处理速度。
通过上述说明可知，本发明实施例的有益效果在于，通过引入大数据技术，对采集数据进行深入挖掘、分析与梳理，实现采集运维异常工单的智能化派发、分析处理和运维多维度质量评价，能够使运维工作由粗放式向集约化、精益化转变，进而提高运维工作效率和质量。另外，还采用UD-SVR算法来进行参数寻优，相比于现有的采用SVM算法来进行参数寻优的方式大幅度提升了寻优速度，降低了寻优时间，可以很好地适用于大数据的分类适配处理。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种基于大数据的智能运维管理系统，其特征在于，包括：
数据抽取转换加载层，用于获取大数据并对大数据进行分类适配；
数据存储层，用于存储经过所述数据抽取转换加载层分类适配后的数据；
应用层，用于进行智能化派发异常工单、异常工单智能化处理和采集运维多维度质量评价；
数据分析层，用于对经过所述数据抽取转换加载层分类适配后的数据进行数据处理分析、数据优化和数据检索，并为所述应用层的异常工单智能派发、异常工单智能处理及采集运维多维度质量评价提供数据支撑。
2.根据权利要求1所述的基于大数据的智能运维管理系统，其特征在于，所述数据抽取转换加载层在对大数据进行分类适配的过程中采用UD-SVR算法进行参数寻优，先基于均匀设计原则从全部的参数组合中选取一部分具有代表性的参数组合，然后再基于选取的部分参数组合及其评价指标MSE以自调用SVR建立评价指标MSE与参数组合之间的关系模型，并以此对全部的参数组合进行预测，以预测的评价指标代替传统SVM寻优方法中的交叉测试评价指标。
3.根据权利要求1所述的基于大数据的智能运维管理系统，其特征在于，所述数据分析层通过关系型联机分析处理机制对低维度的动态数据进行存储和分析，通过多维联机分析处理机制来对高维度的静态数据进行分析处理。
4.根据权利要求1所述的基于大数据的智能运维管理系统，其特征在于，所述数据分析层通过对运维数据和系统历史数据进行多维度分析，甄别各类异常的严重程度，输出采集运维效用值模型，以用于判断异常处理的先后次序。
5.根据权利要求1所述的基于大数据的智能运维管理系统，其特征在于，所述数据分析层还用于对历史工单进行多维度、大批量数据分析，归纳数据规律，发现各维度下异常工单发生大概率的异常原因，并综合考虑各维度下相同异常原因的发生概率，输出单个异常原因概率比值，对比各个异常原因比值的大小，以对未来发生类似故障现象起到预分析作用。
6.根据权利要求1所述的基于大数据的智能运维管理系统，其特征在于，所述应用层包括：
异常工单智能派发单元，用于基于所述数据分析层的异常工单处理先后次序评估结果向维护人员派发工单；
异常工单智能处理单元，用于基于所述数据分析层的异常原因发生概率评估结果向维护人员发送可能的异常原因；
采集运维多维度质量评价单元，用于对各运维人员的工作质量和工作效率进行综合评价，建立分析评价指标计算规则。
7.根据权利要求6所述的基于大数据的智能运维管理系统，其特征在于，所述采集运维多维度质量评价单元还用于对采集终端的产品质量进行评价，根据采集运维情况对各终端厂商的终端质量进行量化分析，利用各终端厂商的运行终端数、确认终端问题数、异常终端占比、更换终端数和终端时钟异常数，建立采集终端产品质量分析评价指标计算规则。
8.根据权利要求6所述的基于大数据的智能运维管理系统，其特征在于，所述采集运维多维度质量评价单元还用于对厂商的产品质量进行评价，根据采集运维情况对各厂商的产品质量进行量化分析，利用各厂商的运行设备数、确认问题数、异常设备占比、更换电备件数、设备时钟异常数，建立产品质量分析评价指标计算规则。
9.根据权利要求6所述的基于大数据的智能运维管理系统，其特征在于，所述采集运维多维度质量评价单元建立的分析评价指标计算规则包括以下三个评价指标：
异常工单派发率：异常工单派发率＝统计日期内派发工单数÷当期应派发的工单总数×100％；
异常工单反馈率：异常工单反馈率＝反馈工单数÷当期应反馈的工单总数×100％；
采集故障处理及时率：采集故障处理及时率＝已处理并恢复的采集故障数÷当期应处理的采集故障电表总数×100％。
10.一种基于大数据的智能运维管理方法，采用如权利要求1～9任一项所述的基于大数据的智能运维管理系统，其特征在于，包括以下步骤：
步骤S1，获取大数据并对大数据进行分类适配；
步骤S2，存储经过分类适配后的数据；
步骤S3，对经过分类适配后的数据进行数据处理分析、数据优化和数据检索；
步骤S4，基于所述步骤S3中的数据处理分析结果智能派发异常工单、智能处理异常工单及采集运维多维度质量评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911037179.7A CN110826887A (zh) | 2019-10-29 | 2019-10-29 | 一种基于大数据的智能运维管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911037179.7A CN110826887A (zh) | 2019-10-29 | 2019-10-29 | 一种基于大数据的智能运维管理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110826887A true CN110826887A (zh) | 2020-02-21 |
Family
ID=69551019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911037179.7A Pending CN110826887A (zh) | 2019-10-29 | 2019-10-29 | 一种基于大数据的智能运维管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110826887A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311132A (zh) * | 2020-04-24 | 2020-06-19 | 广东卓维网络有限公司 | 一种运维服务质量数据分析决策支持系统 |
| CN111600856A (zh) * | 2020-03-07 | 2020-08-28 | 浙江齐治科技股份有限公司 | 数据中心运维的安全系统 |
| CN112396196A (zh) * | 2020-12-07 | 2021-02-23 | 上海宝康电子控制工程有限公司 | 针对智能交通系统实现智慧运维管理的系统 |
| CN112508208A (zh) * | 2020-12-10 | 2021-03-16 | 中国建设银行股份有限公司 | 运维优化方法、系统、计算机设备和存储介质 |
| CN114401398A (zh) * | 2022-03-24 | 2022-04-26 | 北京华创方舟科技集团有限公司 | 智能视频运维管理系统 |
| CN114500316A (zh) * | 2022-01-30 | 2022-05-13 | 绿城科技产业服务集团有限公司 | 一种物联网设备巡检方法和系统 |
| CN114756595A (zh) * | 2022-06-14 | 2022-07-15 | 希望知舟技术(深圳)有限公司 | 一种针对数据库的数据处理方法及相关装置 |
| CN114978865A (zh) * | 2022-05-19 | 2022-08-30 | 中国联合网络通信集团有限公司 | 基于itsm故障服务的智能派单方法、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600114A (zh) * | 2016-11-25 | 2017-04-26 | 国网河南省电力公司电力科学研究院 | 一种采集运维系统多维度质量评价方法 |
| CN110009525A (zh) * | 2019-04-02 | 2019-07-12 | 国网新疆电力有限公司电力科学研究院 | 用电信息采集系统及使用方法 |
-
2019
- 2019-10-29 CN CN201911037179.7A patent/CN110826887A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600114A (zh) * | 2016-11-25 | 2017-04-26 | 国网河南省电力公司电力科学研究院 | 一种采集运维系统多维度质量评价方法 |
| CN110009525A (zh) * | 2019-04-02 | 2019-07-12 | 国网新疆电力有限公司电力科学研究院 | 用电信息采集系统及使用方法 |
Non-Patent Citations (1)
| Title |
|---|
| 龚永罡等: "面向大数据的SVM参数寻优方法" * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111600856A (zh) * | 2020-03-07 | 2020-08-28 | 浙江齐治科技股份有限公司 | 数据中心运维的安全系统 |
| CN111600856B (zh) * | 2020-03-07 | 2023-03-31 | 浙江齐治科技股份有限公司 | 数据中心运维的安全系统 |
| CN111311132A (zh) * | 2020-04-24 | 2020-06-19 | 广东卓维网络有限公司 | 一种运维服务质量数据分析决策支持系统 |
| CN112396196A (zh) * | 2020-12-07 | 2021-02-23 | 上海宝康电子控制工程有限公司 | 针对智能交通系统实现智慧运维管理的系统 |
| CN112508208A (zh) * | 2020-12-10 | 2021-03-16 | 中国建设银行股份有限公司 | 运维优化方法、系统、计算机设备和存储介质 |
| CN114500316A (zh) * | 2022-01-30 | 2022-05-13 | 绿城科技产业服务集团有限公司 | 一种物联网设备巡检方法和系统 |
| CN114500316B (zh) * | 2022-01-30 | 2024-04-16 | 绿城科技产业服务集团有限公司 | 一种物联网设备巡检方法和系统 |
| CN114401398A (zh) * | 2022-03-24 | 2022-04-26 | 北京华创方舟科技集团有限公司 | 智能视频运维管理系统 |
| CN114978865A (zh) * | 2022-05-19 | 2022-08-30 | 中国联合网络通信集团有限公司 | 基于itsm故障服务的智能派单方法、设备及介质 |
| CN114978865B (zh) * | 2022-05-19 | 2023-07-18 | 中国联合网络通信集团有限公司 | 基于itsm故障服务的智能派单方法、设备及介质 |
| CN114756595A (zh) * | 2022-06-14 | 2022-07-15 | 希望知舟技术(深圳)有限公司 | 一种针对数据库的数据处理方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110826887A (zh) | 一种基于大数据的智能运维管理系统及方法 | |
| CN105608144B (zh) | 一种基于多层模型迭代的大数据分析平台装置及方法 | |
| CN113267692B (zh) | 一种低压台区线损智能诊断分析方法和系统 | |
| CN110991700A (zh) | 基于深度学习改进的天气与用电相关性预测方法及装置 | |
| CN112307003B (zh) | 电网数据多维辅助分析方法、系统、终端及可读存储介质 | |
| CN107609754A (zh) | 一种电网信息系统性能监测系统及方法 | |
| CN102855525A (zh) | 一种居民用户负荷预测分析系统和方法 | |
| CN103617447A (zh) | 智能变电站的评价系统及评价方法 | |
| CN115730864A (zh) | 基于物联网的智能能源管理平台 | |
| CN110991555A (zh) | 一种典型行业的用户用电量异常监控方法 | |
| CN113111955A (zh) | 一种线损异常数据专家系统及检测方法 | |
| CN115423429A (zh) | 基于图像和声音信息的多模态一体化配网运营系统 | |
| WO2023020194A1 (zh) | 一种基于随机森林和支持向量机的能源数据异常原因分析方法 | |
| CN112907929A (zh) | 一种基于用电信息的环保监测系统和方法 | |
| CN111553568A (zh) | 一种基于数据挖掘技术的线损管理方法 | |
| CN110555583A (zh) | 一种智能电网调度控制系统广域运行数据统一处理方法 | |
| CN113689079A (zh) | 基于多元线性回归和聚类分析的台区线损预测方法及系统 | |
| CN106682817B (zh) | 一种采集异常紧急程度的判定方法 | |
| CN102497135A (zh) | 一种基于规则引擎的光伏电站监控方法 | |
| Bai et al. | An OEE improvement method based on TOC | |
| CN115438958A (zh) | 一种基于互联网的智慧能效管理系统及其管理方法 | |
| CN115834720A (zh) | 一种用于光伏通讯数据的数据压缩方法 | |
| CN113222339A (zh) | 基于计量全景数据的同类型企业用能差异分析方法及系统 | |
| CN112183997A (zh) | 一种用能单位异常状态的监测分析系统 | |
| Fang et al. | Research on Data Processing Architecture of NQI Service Platform in Intelligent Measurement Domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |