CN113657627A - 电力通信网中缺陷单生成方法和系统 - Google Patents

电力通信网中缺陷单生成方法和系统 Download PDF

Info

Publication number
CN113657627A
CN113657627A CN202110943883.XA CN202110943883A CN113657627A CN 113657627 A CN113657627 A CN 113657627A CN 202110943883 A CN202110943883 A CN 202110943883A CN 113657627 A CN113657627 A CN 113657627A
Authority
CN
China
Prior art keywords
defect
alarm
mode
defect list
communication network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110943883.XA
Other languages
English (en)
Other versions
CN113657627B (zh
Inventor
丁正阳
郭波
吴子辰
洪涛
朱鹏宇
郭焘
顾彬
沈哲敏
蔡新忠
巢玉坚
舒新建
王慕维
盛磊
陈端云
陈泽文
曹雄志
陈功伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
State Grid Fujian Electric Power Co Ltd
Nari Information and Communication Technology Co
State Grid Electric Power Research Institute
Information and Telecommunication Branch of State Grid Henan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
State Grid Fujian Electric Power Co Ltd
Nari Information and Communication Technology Co
State Grid Electric Power Research Institute
Information and Telecommunication Branch of State Grid Henan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, State Grid Fujian Electric Power Co Ltd, Nari Information and Communication Technology Co, State Grid Electric Power Research Institute, Information and Telecommunication Branch of State Grid Henan Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110943883.XA priority Critical patent/CN113657627B/zh
Publication of CN113657627A publication Critical patent/CN113657627A/zh
Application granted granted Critical
Publication of CN113657627B publication Critical patent/CN113657627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Water Supply & Treatment (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了电力通信网中缺陷单生成方法和系统，包括对获取的工单数据进行特征提取，对提取的特征进行向量化，将向量化后的数据进行无监督聚类得到聚类结果；根据聚类结果结合人工规则得到告警归并结果；根据获得告警归并结果，经过缺陷定位处理确定可能缺陷模式；根据确定的可能缺陷模式，以及知识库中的已知模式，通过模式识别方法对可能缺陷模式进行识别后输出缺陷单。本发明提供的缺陷单生成方法减少了生成缺陷单对于人力的需要：通过无监督聚类实现了对工单告警数据的高效归并，减少了对传统专家规则和人工归并的需求；通过频繁子图挖掘和缺陷单生成方法实现了缺陷定级和缺陷工单的生成，减少了人工规则和相关操作员的需求。

Description

电力通信网中缺陷单生成方法和系统
技术领域
本发明涉及一种电力通信网中缺陷单生成方法，属于电力通信网技术领域，特别是属于电力通信网缺陷诊断技术领域。
背景技术
覆盖范围的扩大，网元设备数量的增多以及不同厂家间缺乏统一的标准设备等复杂情况给电力通信带来了巨大的运维压力。复杂场景加上对安全和可靠的高要求使得电力通信网的缺陷诊断及处置一直是领域内关注的热点问题。信息化技术和人工智能技术在电力通信网中的应用给新的缺陷诊断方法的出现提供了有力支撑。
电力通信网中的海量告警数据显示了网元设备的健康状态以及网元设备间的交互情况。面向告警的缺陷诊断方法先对告警进行告警归并，基于得到的告警归并集合，进一步进行缺陷检测和缺陷定位。
缺陷诊断分为事件检测和定位。事件检测和定位则基于事件分类。传统事件分类由运维人员根据运维经验确定，现有的仅仅基于规则匹配和人工规则的缺陷单生成方法存在以下的问题：
(1)人力成本高：传统缺陷单生成方法涉及告警归并、缺陷定级和故障单派发环节。而这三个环节都需要大量专家知识进行规则匹配。同时，随着电力系统智能化发展，电力通信网系统环境、指标参数都在发生变化，这就导致相关技术规则更新加快，传统缺陷单生成方法面临着更大的人力成本。
(2)通用性较差：随着电力系统智能化发展，电力通信网作为配套设施同样也在快速发展。电力通信网的组网方式、业务逻辑都会发生较大的变化。而传统的缺陷单生成方法中规则固定，在通信网变化中，会出现传统可靠性评价难以匹配新的通信网组网或者新的业务逻辑。而且，在部分旧缺陷模式得到技术解决的同时，也会出现更多更负责的缺陷模式。加之不同省份不同等级的电力通信网的组网方式、运维方式等因素的差异，传统的缺陷单生成方法需要针对不同等级、不同需求的应用场景等因素进行修改。可能导致需要对陷派单方案进行大量修改。由此，传统的可靠性评价方案通用性较差。
(3)缺乏迭代能力，规则库维护成本高：传统缺陷单生成方法高度依赖专家知识和人工规则。而随着传统缺陷单生成方法长期使用，积累大量人工规则，其中不乏冗余、甚至冲突的规则。对这些规则进行整理和更新都意味着大量的成本，进而导致其难以进行迭代。
如何解决上述问题，实现电力通信网的自动生成缺陷单成为目前电力通信网技术领域一个急需解决的技术难题。
发明内容
本发明旨在现有的仅仅基于规则匹配和人工规则的缺陷单生成方法存在以上的问题，提供一种电力通信网的缺陷单生成方法。为实现该技术目的。本发明采用以下技术方案。
一方面，本发明提供了电力通信网中缺陷单生成方法，包括：
对获取的工单数据进行特征提取，对提取的特征进行向量化，将向量化后的数据进行无监督聚类得到聚类结果；根据聚类结果结合人工规则得到告警归并结果；
根据获得告警归并结果，经过缺陷定位处理确定可能缺陷模式；
根据确定的可能缺陷模式，以及知识库中的已知模式，通过模式识别方法对可能缺陷模式进行识别后输出缺陷单。
进一步地，对获取的工单数据进行特征提取之前，所述方法还包括:对获取的工单数据进行预处理，所述预处理包括数据去重、数据消噪和数据结构化中的至少一种。
进一步地，采用以下步骤进行特征提取：
对工单数据的标题利用正则表达式进行匹配，对关键字段分别提取出基本节点分类，并对其中非结构文本进行模板提取，提取关键信息作为特征。
进一步地，利用one-hot算法对提取的特征进行向量化。
进一步地，采用DBSCAN无监督聚类方法将向量化后的数据进行无监督聚类得到初步的聚类结果。
进一步地，根据获得的告警归并结果确定可能缺陷模式的具体方法包括：将告警归并结果中涉及的网元节点物理连接和逻辑连接构建无向图；利用one-hot算法对所述无向图中告警节点进行告警编码获得编码后的节点；利用gSpan频繁子图挖掘算法对所述无向图进子图挖掘获得频繁子图；对频繁子图上的编码后的节点进行告警解码得到可能缺陷模式。
再进一步地，构建无向图具体包括以下步骤：将通信网络中的网元节点转化成无向图中的顶点，将网元之间的物理联系以及网元之间的逻辑联系转化为无向图中的边，网元上发生的告警转化为无向图中顶点的标记；顶点之间的边为无向边。
再进一步地，利用gSpan频繁子图挖掘算法对所述无向图进子图挖掘获得频繁子图具体包括以下步骤：
分别将无向图中边和编码后的节点进行分类，根据分类结果分别计算所有节点各个类别的频度和所有边各个类别的频度；
根据频度结果，确定频度低于最小支持度的那一类节点或者边，将该类别中所有的节点或者边确定为非频繁节点或者非频繁边，并在编码后的无向图中将所述非频繁节点或者非频繁边进行移除；
根据除后结果分别确定新编码无向图中各类节点和边的频度，将新编码无向图中各类节点和边的频度降序重新排序，得到节点集合V＝{v1，v2，v3，...，vn}和边集合E＝{e1，e2，e3，...，em}；
利用gSpan算法,基于新编码无向图的节点集合和边集合，依照边的DFS字典序列依次进行子图挖掘得到初始频繁子图；
对得到的初始频繁子图进行进一步剪枝，对满足以下任一条件的频繁子图，认为不可能存在可能缺陷模式：(a)只有一个顶点的子图；(b)顶点数大于2且频度为1的节点上没有告警发生的子图；
完成上述剪枝操作后，输出最终的频繁子图。
再进一步地，利用one-hot算法对所述无向图中告警节点进行告警编码具体包括以下步骤：对于所述无向图顶点上发生的告警转化为顶点的序号，使用告警编码对顶点进行编码，具体为给定告警集合L，序号l使用长度为|L|的one-hot编码对节点vi进行编码：
Figure BDA0003215888390000041
上式中，li，j为顶点vi上是否发生集合L内第j位告警的标识；如果发生告警则li，j置为1，否则为0；最后对于告警节点vi的编码
Figure BDA0003215888390000052
为：
Figure BDA0003215888390000051
上式中，累加符号∑不代表元素相加，只代表元素单个位置编码的组合。
进一步地，通过模式识别方法对可能缺陷模式进行识别后输出缺陷单具体包括：通过模式识别方法确定出可能缺陷模式为知识库中的已知模式，则输出缺陷单；所述方法还包括：
如果通过模式识别方法确定出可能缺陷模式为未知模式，则将该未知模式记为新的待定模式，并根据所述新的待定模式对所述知识库进行更新。
可选地，经过专家标注再进入知识库；根据人工现场检视，反馈系统缺陷单的情况，经过处理以更新知识库。
第二方面，本发明提供了电力通信网中缺陷单生成系统，包括：告警归并模块、缺陷诊断模块和缺陷单生成模块，
所述告警归并模块，用于对获取的工单数据进行特征提取，对提取的特征进行向量化，将向量化后的数据进行无监督聚类得到聚类结果；根据聚类结果结合人工规则得到告警归并结果；
所述缺陷诊断模块，用于根据获得告警归并结果，经过缺陷定位处理确定可能缺陷模式；
所述缺陷单生成模块，用于根据确定的可能缺陷模式，以及知识库中的已知模式，通过模式识别方法对可能缺陷模式进行识别后输出缺陷单。
本发明所取得的有益技术效果:(1)本发明提供的缺陷单生成方法减少了生成缺陷单对于人力的需要：通过无监督聚类实现了对工单告警数据的高效归并，减少了对传统专家规则和人工归并的需求；通过频繁子图挖掘和缺陷单生成方法实现了缺陷定级和缺陷工单的生成，减少了人工规则和相关操作员的需求。总体而言，本发明从上述两方面减少对人工规则和人工操作的需求，进而较少了生成缺陷单对人力的需求。(2)具有更好的通用性：利用无监督聚类和频繁子图等无数据偏见算法进行告警归并和缺陷模式发掘，辅以特定的人工规则则能适应不同的应用场景，同时知识库的应用也存储不同领域的缺陷模态，以适应不同系统环境。(3)具有自学习能力和迭代能力：缺陷模式与缺陷单生成环节使用了知识库以支持缺陷模式的存储和更新。同时对于新缺陷模式能通过专家标注加入知识库，而对于错误缺陷模式也能及时通过反馈进行剔除。还可通过现场检视反馈缺陷单信息以辅助知识库更新。从而保证知识库中的缺陷模式具有自学习和迭代能力。
附图说明
图1是本发明实施例提供的电力通信网中缺陷单生成方法流程示意图。
图2是本发明实施例提供的电力通信网中缺陷单生成方法的示例图。
图3是本发明实施例提供的电力通信网中缺陷单生成方法中告警归并模块操作步骤示例图。
图4是本发明实施例提供的电力通信网中缺陷单生成方法中缺陷诊断模块操作步骤示例图。
图5是本本发明实施例提供的电力通信网中缺陷单生成方法中缺陷单生成操作步骤示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
参见图1和图2，本实施例提供电力通信网中缺陷单生成方法，所述方法包括下列操作步骤：
步骤(1)对获取的工单数据进行特征提取，对提取的特征进行向量化，将向量化后的数据进行无监督聚类得到聚类结果；根据聚类结果结合人工规则得到告警归并结果。本步骤从时间窗口的维度对告警数据进行无监督聚类，以得到告警归并集合，同时根据人工审核的缺陷单数据进行有效性评估，并以此调整簇内规则细化流程中的人工规则，发现告警缺失则补充规则，发现告警冗余则删除规则；
步骤(2)根据获得告警归并结果，经过缺陷定位处理确定可能缺陷模式。本步骤利用gSpan(Graph-Based Substructure Pattern Mining)算法对所述的告警归并集合的拓扑生成数据进行频繁子图挖掘，找到其中所有的缺陷子图，以此获取所有可能缺陷模式；
步骤(3)根据确定的可能缺陷模式，以及知识库中的已知模式，通过模式识别方法对可能缺陷模式进行识别后输出缺陷单。
本步骤结合知识库对所述的缺陷模式进行模式识别处理后生成缺陷单，可选地通过缺陷单的现场检视反馈更新知识库。
参见图3，所述步骤(1)的具体内容包括如下操作子步骤：
步骤(11)从各网元节点获取非结构化的工单数据；所述的网元节点包含端口、板卡、光缆等节点；所述工单数据由电力通信管理系统采集而来，工单数据中包含电力通信网基本节点的维修信息和采集数据，利用维修信息可以结合设备典型值计算基本节点的通路有效性；采集数据主要包含从基本节点中采集的数据，包括光纤段等级、备用设备信息、纤芯资源等信息；
步骤(12)对所述工单数据进行数据预处理，包括数据去重、数据消噪和数据结构化等操作；根据预处理后的数据进行特征提取，具体实施例中包括：对缺陷单数据的[标题]利用正则表达式进行匹配，对关键字段分别提取出[‘光缆’]、[‘OTN’]、[‘PCM’]、[‘电源’]、[‘SDN’]、[‘机架’]的基本节点分类，并对其中非结构文本进行模板提取，提取关键信息作为提取的特征；
步骤(13)所述告警归并模块进行数据特征提取，将告警数据中的特征利用one-hot算法进行向量化；
步骤(14)利用DBSCAN(Density-Based Spatial Clustering of Applicationswith Noise，基于密度聚类)无监督聚类方法将处理后的数据进行无监督聚类得到初步的聚类结果；
步骤(15)根据簇内规则细化结合人工规则对初步聚类结果进行细化划分，得到告警归并结果；
可选地还包括：步骤(16)所述告警归并模块与人工归并结果进行对比，并根据对比结果完善簇内规则细化中的人工规则。
参见图4，所述步骤(2)的具体内容包括如下操作子步骤：
步骤(21)将告所述警归并集合中涉及的网元节点物理连接和逻辑连接构建无向图，构造拓扑生成；
步骤(22)利用one-hot算法对所述无向图中告警节点进行告警编码获得编码后的节点；
步骤(23)利用gSpan对所述无向图进子图挖掘获得频繁子图；
步骤(24)所述缺陷诊断模块对频繁子图上的编码后的节点进行告警解码得到可能缺陷模式。
参见图5，所述步骤(3)的具体内容包括如下操作子步骤：
步骤(31)模式识别过程：根据知识库中的已知模式对可能缺陷模式进行识别，如果可能缺陷模式为已有模式则输入到缺陷单生成流程进而获得缺陷单；如果可能缺陷模式为未知模式则进入模式发现流程记录为新的待定模式，需要专家标注再进入知识库；
步骤(32)缺陷单生成过程：根据知识库中该模式对应的专家标注完成缺陷分类，从而完成缺陷诊断，并基于缺陷定位定级、业务影响分析完成缺陷单派发，最终输出缺陷单；
可选地，还包括步骤(33)现场检视反馈过程：通过人工现场检视，反馈系统缺陷单的情况，经过处理以更新知识库。
具体实施例中，步骤(21)的具体内容是：告警归并集合为同一缺陷的告警的集合体，不同告警之间具有强的时空关系，属于相同告警归并集合的告警几乎出现在一张拓扑图上；对告警归并集合进行拓扑信息提取，即拓扑生成；拓扑生成利用告警归并集合中[‘告警网元’][‘告警名称’]信息，并结合实际网元的物理拓扑和业务拓扑构建无向图；具体为：将通信网络中的网元转化成图中的顶点，将网元之间的物理联系(例如经过光缆相连)以及网元之间的逻辑联系(例如网元与网管之间保持的通信)转化为图中的边，网元上发生的告警转化为图中顶点的标记；由于网元之间的联系是双向的，因此顶点之间的边为无向边，如表1所示。
表1无向图构建
Figure BDA0003215888390000101
步骤(22)的具体内容是：对于所述无向图顶点上发生的告警转化为顶点的序号，使用告警编码对顶点进行编码，具体为给定告警集合L，序号1使用长度为|L|的one-hot编码对节点vi进行编码：
Figure BDA0003215888390000102
上式中，li，j为顶点vi上是否发生集合L内第j位告警的标识；如果发生告警则li，j置为1，否则为0；最后对于告警节点vi的编码为：
Figure BDA0003215888390000111
上式中，累加符号∑不代表元素相加，只代表元素单个位置编码的组合。
步骤(23)的具体内容是包含如下操作子步骤：
步骤(2301)各类节点和边频度计算：分别将无向图中边和编码后的节点进行分类，根据分类结果分别计算所有节点各个类别的频度和所有边各个类别的频度；
可选地，具体实施例中分别将编码后的无向图中边和节点进行分类的方法如下：对于节点vi，vj，如果满足：
Figure BDA0003215888390000112
则认为节点vi，vj属于同一类型；上式中
Figure BDA0003215888390000113
代表节点vi，vj的告警编码，sort(·)代表节点的物理网元类别；
对于边e1(vi，vj)，e1(vn，vm)，如果：
Figure BDA0003215888390000114
Figure BDA0003215888390000115
则认为边边e1(vi，vj)，e1(vn，vm)属于同一类型；通过本步骤，能获取所有节点和边的频度；
步骤(2302)移除非频繁节点和边：根据频度结果，确定频度低于最小支持度(本实施例中设定为3)的那一类节点或者边，将该类别中所有的节点或者边确定为非频繁节点或者非频繁边，并在编码后的无向图中将所述非频繁节点或者非频繁边进行移除；
步骤(2303)依照频度进行节点、边进行重新排序：
根据移除后的结果分别确定新编码无向图中各类节点和边的频度，将新编码无向图中各类节点和边的频度降序重新排序，得到节点集合V＝{v1，v2，v3，...，vn}和边集合E＝{e1，e2，e3，...，em}；
步骤(2304)利用gSpan算法,基于新编码无向图的节点集合和边集合，依照边的DFS字典序列依次进行子图挖掘得到初始频繁子图；
步骤(2305)频繁子图剪枝：对gSpan得到的初始频繁子图模式进行进一步剪枝，对满足以下任一条件的子图，认为不可能存在可能缺陷模式：(a)只有一个顶点的子图；(b)顶点数大于2且频度为1的节点上没有告警发生的子图；
完成上述剪枝操作后，输出最终频繁子图。
由于无向图中的顶点是通信网络中的网元，无向图中的边表示网元之间的逻辑联系(例如网元与网管之间保持的通信)，网元上发生的告警转化为图中顶点的标记。通过将节点和边进行分类，能关联同类型告警，提高告警精度；利用无监督聚类和频繁子图等无数据偏见算法进行告警归并和缺陷模式发掘，辅以特定的人工规则则能适应不同的应用场景，同时知识库的应用也存储不同领域的缺陷模态，以适应不同系统环境。
步骤(24)的具体内容是：对频繁子图进行解码操作，即对节点编码进行告警解码；对于节点vi，对于第j位告警是否触发遵循以下公式：
Figure BDA0003215888390000131
上式中，Ai，j表示节点vi对于第j为告警状态；anomaly表示告警触发，not anomaly表示该处告警未触发；经过告警解码后，输出可能缺陷模式。
步骤(2304)的具体内容是包括如下操作子步骤：
步骤(230401)对新构建的编码无向图进行筛选，在所有的图中选取频繁边总数为1的图，形成待处理集合图ST；
步骤(230402)对待处理集合图ST进行DFS(Depth First Search)深度优先搜索，构建DSF数，同时计算各个DFS树的DFS编码，并根据DFS字典排序对ST进行降序排序；
步骤(230403)从ST提取一条边，并进行子图重构以生成DFS编码树；
步骤(230404)判断当前的编码是否为最小DFS编码，如果是加入到结果集中，继续在此基础上尝试添加可能的边，进行返回步骤(230403)继续挖掘；
步骤(230405)如果不是最小DFS编码，则此子图的挖掘过程结束，输出结果集频繁子图。
与以上实施例提供的电力通信网中缺陷单生成方法相对应地，本发明具体实施例还提供了电力通信网中缺陷单生成系统，包括:告警归并模块、缺陷诊断模块和缺陷单生成模块，
所述告警归并模块，用于对获取的工单数据进行特征提取，对提取的特征进行向量化，将向量化后的数据进行无监督聚类得到聚类结果；根据聚类结果结合人工规则得到告警归并结果；具体为：所述告警归并模块首先对工单数据进行数据预处理，包括数据去重、数据消噪和数据结构化等操作；然后所述告警归并模块进行数据特征提取，将告警数据中的特征利用one-hot算法进行向量化；之后所述告警归并模块利用DBSCAN无监督聚类方法将处理后的数据进行无监督聚类得到初步的聚类结果；最后所述告警归并模块根据簇内规则细化结合人工规则对初步聚类结果进行细化划分，得到告警归并结果，同时与人工归并结果进行对比，并根据对比结果完善簇内规则细化中的人工规则；
所述缺陷诊断模块，用于根据获得告警归并结果，经过缺陷定位处理确定可能缺陷模式；具体为：所述缺陷诊断模块将告所述警归并集合中涉及的网元节点物理连接和逻辑连接构建无向图，构造拓扑生成；然后所述缺陷诊断模块利用one-hot算法对所述无向图中告警节点进行告警编码；之后所述缺陷诊断模块利用gSpan对所述无向图进子图挖掘获得频繁子图；最后所述缺陷诊断模块对频繁子图上的编码节点进行告警解码得到可能缺陷模式；
所述缺陷单生成模块，用于根据确定的可能缺陷模式，以及知识库中的已知模式，通过模式识别方法对可能缺陷模式进行识别后输出缺陷单。
具体实施例中，所述缺陷单生成模块输入为从所述缺陷诊断模块获得的可能缺陷模式，通过模式识别方法输出缺陷单，同时根据专家标注、现场检视等更新迭代知识库；所述的模式识别方法是根据知识库中的已知模式对可能缺陷模式进行识别，如果可能缺陷模式为已有模式则输入到缺陷单生成流程而获得缺陷单；如果可能缺陷为未知模式则进入模式发现流程记录为新的待定模式，需要专家标注再进入知识库；最后，通过人工现场检视，反馈系统缺陷单的情况，经过处理以更新知识库。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.电力通信网中缺陷单生成方法，其特征在于包括：
对获取的工单数据进行特征提取，对提取的特征进行向量化，将向量化后的数据进行无监督聚类得到聚类结果；根据聚类结果结合人工规则得到告警归并结果；
根据获得的告警归并结果，经过缺陷定位处理确定可能缺陷模式；
根据确定的可能缺陷模式以及知识库中的已知模式，通过模式识别方法对可能缺陷模式进行识别后输出缺陷单。
2.根据权利要求1所述的电力通信网中缺陷单生成方法，其特征在于，对获取的工单数据进行特征提取之前，所述方法还包括:对获取的工单数据进行预处理，所述预处理包括数据去重、数据消噪和数据结构化中的至少一种。
3.根据权利要求1所述的电力通信网中缺陷单生成方法，其特征在于，采用以下步骤进行特征提取：
对工单数据的标题利用正则表达式进行匹配，对关键字段分别提取出基本节点分类，并对其中非结构文本进行模板提取，提取关键信息作为特征。
4.根据权利要求1所述的电力通信网中缺陷单生成方法，其特征在于，采用DBSCAN无监督聚类方法将向量化后的数据进行无监督聚类得到初步的聚类结果。
5.根据权利要求1所述的电力通信网中缺陷单生成方法，其特征在于，根据获得的告警归并结果确定可能缺陷模式的具体方法包括：将告警归并结果中涉及的网元节点物理连接和逻辑连接构建无向图；利用one-hot算法对所述无向图中告警节点进行告警编码获得编码后的节点；利用gSpan频繁子图挖掘算法对所述无向图进行子图挖掘获得频繁子图；
对频繁子图上的编码后的节点进行告警解码得到可能缺陷模式。
6.根据权利要求5所述的电力通信网中缺陷单生成方法，其特征在于，构建无向图具体包括以下步骤：将通信网络中的网元节点转化成无向图中的顶点，将网元之间的物理联系以及网元之间的逻辑联系转化为无向图中的边，网元上发生的告警转化为无向图中顶点的标记；顶点之间的边为无向边。
7.根据权利要求5所述的电力通信网中缺陷单生成方法，其特征在于，利用gSpan频繁子图挖掘算法对所述无向图进行子图挖掘获得频繁子图具体包括以下步骤：
分别将无向图中边和编码后的节点进行分类，根据分类结果分别计算所有节点各个类别的频度和所有边各个类别的频度；
根据频度结果，确定频度低于最小支持度的那一类节点或者边，将该类别中所有的节点或者边确定为非频繁节点或者非频繁边，并在编码后的无向图中将所述非频繁节点或者非频繁边进行移除；
根据移除后的结果分别确定新编码无向图中各类节点和边的频度，将新编码无向图中各类节点和边的频度降序重新排序，得到节点集合V＝{v1，v2，v3，...，vn)和边集合E＝{e1，e2，e3，...，em)；
利用gSpan算法，基于新编码无向图的节点集合和边集合，依照边的DFS字典序列依次进行子图挖掘得到初始频繁子图；
对得到的初始频繁子图进行进一步剪枝，对满足以下任一条件的频繁子图，认为不可能存在可能缺陷模式：(a)只有一个顶点的子图；(b)顶点数大于2且频度为1的节点上没有告警发生的子图；完成上述剪枝操作后，输出最终的频繁子图。
8.根据权利要求5所述的电力通信网中缺陷单生成方法，其特征在于，利用one-hot算法对所述无向图中告警节点进行告警编码具体包括以下步骤：对于所述无向图顶点上发生的告警转化为顶点的序号，使用告警编码对顶点进行编码，具体为给定告警集合L，序号1使用长度为|L|的one-hot编码对节点vi进行编码：
Figure FDA0003215888380000031
上式中，li，j为顶点vi上是否发生集合L内第j位告警的标识；如果发生告警则li，j置为1，否则为0；最后对于告警节点vi的编码
Figure FDA0003215888380000033
为：
Figure FDA0003215888380000032
上式中，累加符号∑不代表元素相加，只代表元素单个位置编码的组合。
9.根据权利要求1所述的电力通信网中缺陷单生成方法，其特征在于，通过模式识别方法对可能缺陷模式进行识别后输出缺陷单具体包括：通过模式识别方法确定出可能缺陷模式为知识库中的已知模式，则输出缺陷单；
所述方法还包括：
如果通过模式识别方法确定出可能缺陷模式为未知模式，则将该未知模式记为新的待定模式，并根据所述新的待定模式对所述知识库进行更新。
10.电力通信网中缺陷单生成系统，其特征在于，包括：告警归并模块、缺陷诊断模块和缺陷单生成模块，
所述告警归并模块，用于对获取的工单数据进行特征提取，对提取的特征进行向量化，将向量化后的数据进行无监督聚类得到聚类结果；根据聚类结果结合人工规则得到告警归并结果；
所述缺陷诊断模块，用于根据获得的告警归并结果，经过缺陷定位处理确定可能缺陷模式；
所述缺陷单生成模块，用于根据确定的可能缺陷模式，以及知识库中的已知模式，通过模式识别方法对可能缺陷模式进行识别后输出缺陷单。
CN202110943883.XA 2021-08-17 2021-08-17 电力通信网中缺陷单生成方法和系统 Active CN113657627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110943883.XA CN113657627B (zh) 2021-08-17 2021-08-17 电力通信网中缺陷单生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110943883.XA CN113657627B (zh) 2021-08-17 2021-08-17 电力通信网中缺陷单生成方法和系统

Publications (2)

Publication Number Publication Date
CN113657627A true CN113657627A (zh) 2021-11-16
CN113657627B CN113657627B (zh) 2024-01-12

Family

ID=78480013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110943883.XA Active CN113657627B (zh) 2021-08-17 2021-08-17 电力通信网中缺陷单生成方法和系统

Country Status (1)

Country Link
CN (1) CN113657627B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130095516A (ko) * 2012-02-20 2013-08-28 경희대학교 산학협력단 빈발 부분그래프의 마이닝 방법
CN104765847A (zh) * 2015-04-20 2015-07-08 西北工业大学 基于保序特征和前序编码树的频繁闭项集挖掘方法
CN108595711A (zh) * 2018-05-11 2018-09-28 成都华数天成科技有限公司 一种分布式环境下图模式关联规则挖掘方法
CN109165299A (zh) * 2018-08-30 2019-01-08 杭州电子科技大学 一种基于Gspan和TextRank的科技领域本体构建方法
CN109905269A (zh) * 2018-01-17 2019-06-18 华为技术有限公司 确定网络故障的方法和装置
CN111126842A (zh) * 2019-12-24 2020-05-08 中国银行股份有限公司 工单分类方法及装置
CN111369094A (zh) * 2018-12-26 2020-07-03 中兴通讯股份有限公司 告警派单方法、装置、系统及计算机可读存储介质
CN112419096A (zh) * 2020-12-04 2021-02-26 国网江苏省电力有限公司南京供电分公司 基于nlp信息萃取与少样本自学习的用户用电诉求工单自动流转方法
CN112668733A (zh) * 2020-12-17 2021-04-16 国网冀北电力有限公司信息通信分公司 基于无监督学习的通信管理系统缺陷故障派单方法及装置
CN112685393A (zh) * 2020-12-24 2021-04-20 国网福建省电力有限公司 一种用于电力通信网的智能化告警归并方法及系统
CN112699281A (zh) * 2021-01-08 2021-04-23 北京明略软件系统有限公司 一种基于gspan算法的告警事件规则挖掘方法与系统
CN112860998A (zh) * 2021-02-08 2021-05-28 浙江大学 一种基于多任务学习机制的点击率预估方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130095516A (ko) * 2012-02-20 2013-08-28 경희대학교 산학협력단 빈발 부분그래프의 마이닝 방법
CN104765847A (zh) * 2015-04-20 2015-07-08 西北工业大学 基于保序特征和前序编码树的频繁闭项集挖掘方法
CN109905269A (zh) * 2018-01-17 2019-06-18 华为技术有限公司 确定网络故障的方法和装置
CN108595711A (zh) * 2018-05-11 2018-09-28 成都华数天成科技有限公司 一种分布式环境下图模式关联规则挖掘方法
CN109165299A (zh) * 2018-08-30 2019-01-08 杭州电子科技大学 一种基于Gspan和TextRank的科技领域本体构建方法
CN111369094A (zh) * 2018-12-26 2020-07-03 中兴通讯股份有限公司 告警派单方法、装置、系统及计算机可读存储介质
CN111126842A (zh) * 2019-12-24 2020-05-08 中国银行股份有限公司 工单分类方法及装置
CN112419096A (zh) * 2020-12-04 2021-02-26 国网江苏省电力有限公司南京供电分公司 基于nlp信息萃取与少样本自学习的用户用电诉求工单自动流转方法
CN112668733A (zh) * 2020-12-17 2021-04-16 国网冀北电力有限公司信息通信分公司 基于无监督学习的通信管理系统缺陷故障派单方法及装置
CN112685393A (zh) * 2020-12-24 2021-04-20 国网福建省电力有限公司 一种用于电力通信网的智能化告警归并方法及系统
CN112699281A (zh) * 2021-01-08 2021-04-23 北京明略软件系统有限公司 一种基于gspan算法的告警事件规则挖掘方法与系统
CN112860998A (zh) * 2021-02-08 2021-05-28 浙江大学 一种基于多任务学习机制的点击率预估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴季桦，朱鹏宇，吴子辰，顾彬，洪涛，郭波，王晶，王敬宇: "基于无监督聚类和频繁子图挖掘的 电力通信网缺陷诊断与自动派单", 电信科学, vol. 37, no. 11 *
朱鹏宇, 蔡新忠, 徐士元等: "面向电力通信网边缘计算的缺陷诊断研究", 电子技术应用, vol. 47, no. 4 *

Also Published As

Publication number Publication date
CN113657627B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN108156037B (zh) 告警关联分析方法、装置、设备及介质
CN110609759B (zh) 一种故障根因分析的方法及装置
CN112487033A (zh) 一种面向数据流及构建网络拓扑的业务可视化方法及系统
CN111459799A (zh) 一种基于Github的软件缺陷检测模型建立、检测方法及系统
CN112217674B (zh) 基于因果网络挖掘和图注意力网络的告警根因识别方法
CN113420396B (zh) 一种城市排水管网污染溯源的方法
CN115357904B (zh) 一种基于程序切片和图神经网络的多类漏洞检测方法
CN114153980A (zh) 知识图谱构建方法和装置、检查方法、存储介质
CN110851176A (zh) 一种自动构造并利用伪克隆语料的克隆代码检测方法
CN114328106A (zh) 日志数据处理方法、装置、设备及存储介质
Tippenhauer et al. On planar 3-SAT and its variants
CN109993390B (zh) 告警关联及派单优化方法、装置、设备及介质
CN115495755A (zh) 一种基于CodeBERT和R-GCN的源代码漏洞多分类检测的方法
CN112668733A (zh) 基于无监督学习的通信管理系统缺陷故障派单方法及装置
CN111008196A (zh) 基于深度优先搜索的频繁模式挖掘方法
CN109993391A (zh) 网络运维任务工单的派发方法、装置、设备及介质
CN114266475A (zh) 一种基于多属性决策的电力网络关键节点识别方法
CN113268370A (zh) 一种根因告警分析方法、系统、设备及存储介质
CN113657627B (zh) 电力通信网中缺陷单生成方法和系统
CN117201646A (zh) 一种电力物联终端报文的深度解析方法
Mabrouk et al. An efficient Bayesian network structure learning algorithm in the presence of deterministic relations
CN114880584B (zh) 一种基于社区发现的发电机组故障分析方法
CN111522705A (zh) 一种工业大数据智能运维解决方法
KR101985961B1 (ko) 국가연구개발과제 유사도 정량화 시스템 및 이를 이용한 국가연구개발과제 협업 제안 방법
CN110807061A (zh) 一种基于分层搜索不确定图的频繁子图的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant