CN103154845A

CN103154845A - 电网的机器学习

Info

Publication number: CN103154845A
Application number: CN2011800446074A
Authority: CN
Inventors: R·N·安德森; A·鲍朗格; C·鲁丁; D·沃茨; A·萨拉布-奥维斯; M·周; H·杜塔; P·格罗斯; B·黄; S·伊罗姆; D·依萨克; A·克瑞斯纳; R·帕索尼奥; A·拉德瓦; L·吴; F·多尔蒂; P·霍夫曼
Original assignee: Columbia University in the City of New York; Consolidated Edison Company of New York Inc
Current assignee: Columbia University in the City of New York; Consolidated Edison Company of New York Inc
Priority date: 2010-07-16
Filing date: 2011-07-18
Publication date: 2013-06-12
Also published as: CA2805747A1; US8751421B2; EP2593844A4; US20130232094A1; JP2013538543A; MX2013000577A; EP2593844A1; WO2012009724A1

Abstract

对电网中相似构件的故障量度的经过滤趋势的集合进行评级包括：原始数据组件，用以提供表征电网内的相似构件的原始数据；数据处理器，其耦合于原始数据组件以经由一种或多种数据处理技术将原始数据转换成更统一的数据；数据库，用以存储更多的统一数据；机器学习引擎，用以提供相似构件的故障量度的趋势的集合；评估引擎，其可操作地耦合至机器学习引擎以从故障量度的趋势的集合中检测和移除不相符的量度并提供经过滤的故障趋势量度的集合；以及决策支持应用，其配置成显示电网中的相似构件的经过滤的故障趋势量度的集合的评级。

Description

电网的机器学习

本申请要求在2010年7月16日提交的No.61/364,988的美国临时申请的权益，该文献在此全篇地援引包含于此。

背景技术

美国能源部“电网2030”战略的主要发现之一是“美洲电力系统——20世纪的最高工程设计成就——是老化的、低效的、拥堵的，无法满足未来能源需求的……”。可靠性将是贯穿之后几十年的作为电网转换的关键课题，并且电网维护将变得比当前更为关键。由NERC作出的2007调查宣布，“老化的基础设施和受限制的新建设”是调查所关注的所有挑战中对电网可靠性的最大挑战。智能电网将带来更多在线的操作和维护——使产业从反应性操作趋向至前摄性（proactive）操作。电力公司保留关于设备和过往故障的历史数据记录，但那些记录一般不会最大程度地用于预测性维护和辅助电网可靠性。

美国城市内的大多数电网(例如东北部和其它成熟城市中的电网)已在最近的120年被逐步地构建。这意味着电气设备(变压器、电缆、接头、终接器以及关联的开关、网络保护器、继电器等)随年龄而变化，例如在曼哈顿至少5％的低电压电缆是在1930年之前安装的，而在纽约市仍在使用少数一部分托马斯·爱迪生时代安装的原始高电压馈电线（feeder）部分。在纽约市存在94000英里的高电压地下配电电缆，其长度足以缠绕地球三周半。波士顿具有3000英里的地下电缆，并且许多其它城市具有相似的大型地下电力系统。

维护新、老构件混合的大型电网比管理新电网(例如已在中国的某些部分敷设的)更为困难。美国电网一般比许多欧洲电网还要老，这些欧洲电网是在二战后更换的，并且比由于自然灾害必须不断补充基础设施的地方(例如日本常有地震，强制补充电力系统)的电网更老。

智能电网将无法整夜地运行。例如，根据布莱托集团的调查，2030年更新电网的成本可高达1.5万亿美元。智能电网的主要构件将(例如在很长的时间段内)与当前电网的主要构件相同，并且新的智能量表必须与现有设备一起工作。向智能电网的转变已被比喻成“对飞行中的波音747更换用旧的部件”。为了构筑未来的智能电网，人们必须考虑目前存在的电网而工作。随着逐渐更换电网部件并增设智能构件，老的构件(包括电缆、开关、传感器等)将仍然需要被维护。此外，老的构件的状态应当规定新的智能开关和传感器的增设的优先级，尤其是在二次网络中。

使智能电网构件有效的关键点在于，给定当前系统，分析在哪里更新最有益。考虑到与医疗专业中的患者的类似性，最初研发和测试了许多机器学习算法的学科和用于智能电网的技术。尽管每个患者由相同种类的构件(类似于馈电线、变压器、检修孔和接头)构成，他们具有不同的穿着和年龄，具有不同的历史压力和遗传因子(类似于不同的过时产品(vintage)、负载、制造商)，由此每个患者必须作为唯一的个体进行治疗。然而，将个体编组入具有相对类似特性的家族、街道和人群(类似于馈电线、网络、辖区())。必须在帮助电网构件(患者)改善其健康的基础上建立智能电网，由此网络(街道)改善其寿命预期，而人群(辖区)更足以支撑地生存。

为了电网可靠性，需要前摄预测性维护程序。也需要利用现有的数据资源，包括不是一开始获得的或为预测目的设计的数据资源(例如维护记录或维护请求)。

发明内容

当前公开的主题事项提供了电网可靠性的前摄预测性维护程序的方法和系统，包括但不仅限于需要处理构件更新的强健、成熟的都市电网(例如新纽约市电网)。例如，本申请的方法和系统，经由机器学习，基于改善的机器学习技术和利用在常见电网管理过程中获得的数据(它不是为预测目的设计的)提供电网中二次构件的前摄预测性维护。

当前公开的主题事项的一个方面提供一种用于对电网中相似构件的经过滤的故障趋势量度集合进行评级的机器学习系统，该系统包括：(a)原始数据组件，用以提供表征电网中的相似构件的原始数据；(b)数据处理器，其可操作地耦合于原始数据组件以经由一种或多种数据处理技术将原始数据转换成更统一的数据；(c)数据库，其可操作地耦合于数据处理器以存储更统一的数据；(d)机器学习引擎，其可操作地耦合至数据库以提供相似构件的故障趋势量度的集合；(e)评估引擎，其可操作地耦合至机器学习引擎以从故障趋势量度的集合中检测和移除不相符的量度并提供经过滤的故障趋势量度的集合；以及(f)决策支持应用，其可操作地耦合至评估引擎并被配置成显示电网中的相似构件的经过滤的故障趋势量度的集合的评级。

在一个实施例中，表征相似构件的原始数据至少部分地从对于这些类似构件中的至少一个构件的维护记录或维护请求中获得。数据处理技术可包括推论加入、图案匹配、信息提取、文本规范化、查询重叠数据以寻找不一致以及来自关联或复制记录的推论中的一个或多个。

在一个实施例中，基于AUC、加权AUC和预定义的百分比故障排除中的一个或多个来检测不相符的量度。评估引擎可进一步包括用于存储断电(outage)衍生的数据集(ODDS)的断电衍生的数据库，该断电衍生的数据集捕捉表征相似构件中的至少一者的故障数据的动态先兆。

在一个实施例中，故障数据的动态先兆是从故障时或恰好在故障前结束并在故障前预选时间开始的时移时域中获得的。在一个实施例中，相似的构件是从电缆、接头、终接器、锤头(hammerhead)、检修孔和变压器中选取的二次网络构件。在一个实施例中，相似构件是检修孔。在一个实施例中，故障趋势量度可从故障间平均时间(MTBF)和平均故障时间(MTTF)中选取。

在一个实施例中，评估引擎包括：数据历史家，用以记录在第一时间段内的经过滤的故障趋势量度的集合以及在第二时间段内的经过滤的故障趋势量度的集合；以及数据分析器，用以确定在第一时间段内的经过滤的故障趋势量度的集合是否在统计上比在第二时间段内的经过滤的故障趋势量度的集合有所改善。

当前公开的主题事项的另一方面提供一种经由机器学习对电网中相似构件的经过滤的故障趋势量度的集合进行评级的方法，该方法包括：(a)提供原始数据组件，以提供表征电网中的相似构件的原始数据；(b)处理原始数据以经由一种或多种数据处理技术将原始数据转换成更统一的数据；(c)在数据库中存储更统一数据；(d)将更统一的数据发送至机器学习引擎以提供相似构件的故障趋势量度的集合；(e)对评估引擎中的故障趋势量度的集合进行评估以从故障趋势量度的集合中检测和移除不相符的量度并提供经过滤的故障趋势量度的集合；以及(f)对从评估引擎获得的经过滤的故障趋势量度的集合进行评级并将评级显示在决策支持应用上。

关于本方法的附加细节将从对应系统的描述中得以理解。关于本系统的附加细节将从对应方法的描述中得以理解。

附图说明

图1是城市环境中的典型电网的描述(来源：联合爱迪生)。

图2是2006-2007年期间纽约市每日的馈线断电次数。断电计数(下方曲线、条形图)在左侧具有x轴，而归一化峰值电气负载(上方虚线图)在右侧具有轴。

图3是来自纽约市的样本冒烟检修孔(SMH)事故单的摘录。事故单是维护记录的一个例子。

图4是浴盆曲线(来源：维基百科)。

图5是经由机器学习对电网内的相似构件的经过滤的故障趋势量度的集合进行评级的方法和系统的流程图。

图6是罕见事件预测的样本时间线。

图7示出一例子，该例子示出断电衍生的数据集(ODDS)中的训练和测试时间窗。在该例中，取当前时间为2008年8月13日，并且训练的故障数据取自2007年7月30日至2007年8月27日以及2008年7月30日至2008年8月13日。

图8是包含机器学习和ODDS的示例性系统和方法例的流程图。

图9是包含为评级检修孔故障趋势(即检修孔事件评级)的事故单的示例性系统和方法例的流程图。

图10示出事故单的处理。

图11是对昆斯区内的33条馈电线的PILC电缆的SVCR预测结果的描述。每一行代表一馈电线，并且水平轴是以年计算的存活时间。该比例指示被预测在每个分析元内的样本数。

图12是特定构件在其故障时间的机器学习评级的m次盲检中对于ROC曲线的曲线下面积的描述。

图13是2008年5月至2009年1月的冠高馈（Crown Height）电线的ROC曲线的一个例子。

图14绘出在预测每次故障时敏感性级别的最差的15％(左侧)和最好的25％(右侧)中的馈电线故障的百分比时的机器学习性能的改善。系统例如从2005年的最差15％中的20%故障改善至2008年的高于60％。

图15是对数秩(Mantel-Cox)测试的图示。2002年和2009年之间的累积百分比MTBF(用虚线)被图示，其作为2002年夏的对照组MTBF性能(实线)的函数。测试结果表明，跨联合爱迪生的所有网络，从最差(左侧)表现至最佳(右侧)表现的网络，有99.8％的概率2009年试验组比2002年对照组有改善。

图16是描述如何使用线性回归来确定从2002年至2009年MTBF的改善(顶部)以及联合爱迪生系统中的每个地下网络中的最初2002年对照和2009年MTBF之间的差异(底部)，在水平轴上从最差网络可靠性指数(左侧)至最佳(右侧)地排列。

图17是对于所有类型的计划外断电的SVM预测断电率相对于实际断电率的标绘。对角线表示完美模型。这基于3年的断电数据。对于低断电率馈电线，由于在标绘图的左下方的三年观察窗内没有故障因此存在所谓的右删截效果(right-censoring effect)。也存在夭折（infant mortality）过程，这导致对坏劣馈电线的实际故障的低估(尤其在图表的右上方可观察到)。

图18描绘检修孔对严重事件(着火和爆炸)的脆弱性的机器学习评级的2009Bronx盲检的ROC曲线。

图19是2008年夏季的第四次意外事故事件中意外事故分析工具(CAP)的截屏，其中最有风险下次出故障的下一个最可能的馈电线用红色高亮示出。故障时的ODDS评级在中央以放大的ROC标绘图示出。意外事故分析工具是决策支持应用的一个例子。

图20是资本资产优先级工具(CAPT)用户界面的截屏。该截屏是来自对MTBF改善的机器学习分析的预测的评估(从140天至192天)，如果要在布鲁克林区的馈电线上更换34个最有风险的纸绝缘引线覆盖(PTLC)区段，估算成本是$650,000。资本资产优先级工具是决策支持应用的一个例子。

图21绘出来自对于由机器学习系统分析出的特定具有风险构件的可行更换策略的成本利益分析的一个例子的输出。实线逼近证券管理理论中的“效率限界”。典型的维护计划要么试图更好地平衡系统中的馈电线负载，要么以具有风险的区段、接头、变压器和二次构件的更换为目标。CAPT依赖于面向维护工作的区段的ODDS敏感性模型，以及用于判断不同更换策略的相对值的MTBF估计模型。

图22绘出来自检修孔事件图形化工具的图像。顶部：地理编码的事故单标签，按事故类型上色。黄色指示严重事件类型，紫色指示潜在的先兆。如果用户点击一标签，则显示完整的标签文本。底部：同一地点内的检修孔和主电缆。注意，交叉点处的标签不一定对应于最接近的检修孔。

图23示出高可能性的预防性维护程序中的过度治疗是使用与对照组的性能的统计比较识别的，并且以修正的和A/C高电位测试形式出现的补救是由公用事业促成的。

具体实施方式

电力公司可从用于预防性维护的知识探索方法和统计机器学习的使用中极大地受益。提供方法和系统以将历史电网数据转换成可由电力公司直接使用的预测模型。这种处理的专门版本可用来产生例如：(1)馈电线故障评级，(2)电缆、接头、终接器和变压器评级，(3)馈电线和构件MTBF(故障间平均时间)估算以及(4)检修孔事件脆弱性评级。这些方法和系统可应付多样的、有噪声的源，这些源是历史的(静态的)、半实时的或实时的；包含目前发展水平的用于优先级的机器学习算法(管理的评级或MTBF)；并包括经由互相证实和盲检的结果评估。远于评级的列表和MTBF估算的是商业管理界面，它允许直接将预测能力纳入公司计划和决策支持；该界面依赖于我们的常规建模方法的若干重要特征：机器学习特征对本领域专家来说是有意义的，数据处理是透明的，并且预测结果足够准确以支持理想的决策制定。对历史电网数据进行处理的挑战在于它不是为预测性目的设计的，并且现在讨论如何解决这些挑战。该数据的“原始性”与可从该处理中获得的统计预测模型的准确性形成对照；根据一个具体示例性实施例，这些模型足够准确地用于计划纽约市电网的维护。

单纯为了方便，结合纽约市电网对当前公开的方法和系统进行描述。然而要理解，当前公开的主题事项可移植至世界范围的电网。

在一个非限定实施例中，该方法和系统提供对二次电网构件的故障趋势量度。如本文中使用的，二次电网构件指位于主网络馈电线电缆下游的构件。例如，如图1所示，电网可归纳为包括发电级(10)(例如来自核电站的核电)、终止在变电站(30)的传输级(20)。从变电站开始，电力经由主网络传输，该主网络终止在馈电线电缆(40)(例如27000伏的馈电线并包括“配电馈电线”和“传输馈电线”)。馈电线下游的网络被视为二次网络(50)。位于主网络馈电线电缆下游的构件被视为二次网络电网构件，并包括但不限于变压器(60)以及接头、终接器、锤头和检修孔(未示出)。

从技术角度看，二次网络构件与主网络构件相差巨大的电压量，并且归因于二次网络经由具有内建冗余的“网状”结构被连接。

这些技术在本文中公开以处理故障预测的形式维护智能电网，该故障预测可针对各种应用而专门化。当前公开的主题事项提供数据处理(清洗、图案匹配、统计、整合)、数据库成形、机器学习(时间集中、特征和标签的成形、评级方法)以及评估(盲检、图形化)。已研发出这种处理的专门版本，在某些实施例中，用于：(1)对配电馈电线的馈电线故障评级；(2)对配电馈电线的电缆、接头、终接器和变压器的评级；(3)对配电馈电线的馈电线和构件MTBF(故障间平均时间)估算以及(4)检修孔脆弱性评级。每个处理可应付具有特定特征的数据。在其最普遍形式中，该处理可应付多样的、有噪声的源，这些源是历史的(静态的)、半实时的或实时的；包含用于优先级的机器学习算法(管理的评级或MTBF)；并包括经由对过往数据的互相证实和通过盲法评估对结果的评估。可对作为对未来信息给出真实障碍的未揭露事件产生的数据进行盲法评估。由机器学习算法使用的数据可包括过往事件(故障、更换、修理、测试、加负载、电力质量事件等)和资产特征(设备类型、环境条件、制造商、规格、与之连接的构件、其安装在的辖区、具体网络、安装日期、修理或测试等)。

超出了评级列表和MTBF估算，图形用户界面已被设计成能由管理者和工程师使用以作出计划和决策支持。已基于我们的模型构建的成功纽约市电网决策支持应用包括，但不限于，修理优先级、检查优先级、过度治疗校正、更换计划产生以及系统保护行动优先级。这些界面的实用性可至少部分地从底层模型的预测准确性获得，并且也基于模型结果的解释。

当前公开的方法和系统的手法的一种重要性质是，机器学习特征对本领域专家是有意义的，并且负责这些预测的数据处理和起因设计是透明的。数据的透明使用是为了若干目的：它允许本领域专家对模型进行故障查找或建议延期，它允许使用者找到造成故障的根源之下潜在的因素，并允许管理者理解并因此相信(非黑匣子)模型以作出决策。

当前公开的主题事项展示了，可经由机器学习对预测维护程序前摄地使用由电气公用事业采集的数据，这提供有效的预测和决策支持应用。

下面的详细说明的组织如下：公开了电网维护任务，包括关于构件的评级、预测或(使这些构件良好或坏劣的)底层属性，或故障的根本原因。然后，披露籍此转换原始数据以满足这些目的的处理。然后，披露用于知识发现过程的专门机器学习方法。还披露了这些处理针对四种预测任务的专门化。披露了结果的评估以及对纽约市电网的样本结果。披露了为使结果可用并协助知识探索而研发出的管理软件。还披露了从这些系统在纽约市电网上的实现获得的示例的非限定性系统和课程。

前摄性维护任务

电力公司正在开始从反应性维护计划(当某事变坏时予以修理)转变至前摄性维护计划(在潜在问题发生前予以修理)。其优势在于：允许故障发生的反应性计划会导致危险的情况，例如着火和连锁性故障，并需要高成本的紧急维修。然而，确定有限资源应当分配在哪里以最有效地维修潜在的脆弱构件可不是一项简单的任务。

在大型电力系统中，从源头至消费者的电力通过传输线流至变电站，随后至主馈电线电缆(“馈电线”)以及相关联的段、接头和锤头，通过变压器，并去往其余的二次(低电压)配电电网。存在两种馈电线，即“配电馈电线”和“传输馈电线”。单纯为了方便，当前披露的主题是结合配电馈电线予以讨论的，该配电馈电线是形成树状结构的大型高电压电缆(13或27kV)，在叶片处具有向二次网络馈电的变压器。

当前披露的系统和方法不仅限于配电馈电线，而是也涵盖例如传输馈电线。

在一些城市，这些变压器为建筑或少量消费者提供服务，并且馈电线故障导致对所有下游消费者的服务中断。相反，许多城市中二次电缆形成网状或格子状结构，该网状或格子状结构通过高压馈电线馈电，其目的是即使一条或多条馈电线故障也能持续服务。在这些构件中的任何一个中可能存在弱点：馈电线可能停止服务，电缆、接头和锤头可能故障，变压器可能故障，并且二次电网中电缆的绝缘击穿可能造成故障。下面讨论数据驱动的先制维护策略如何对这些故障的防止产生帮助。

馈电线评级

主配电馈电线电缆是大型电缆；在纽约市它们工作在13600伏或27000伏下。它们一般沿主要街道或大道架设并从变电站至二次电网配电。（参见图1）。

馈电线可能由于沿馈电线某处的缺陷或由于蓄意的电路切断(由此进行维护)而经历断电。如果例如馈电线之类的一个构件出故障或停止服务，这种故障被称为“第一意外事故”，并且如果同一网络中的两个构件出故障，则它被称为“第二意外事故”，依此类推。少量的馈电线损耗因为系统中广泛内建的冗余而一般不会导致消费者电力服务的中断。(例如，地下电网系统可被设计成在第二意外事故下工作，如前所述)。然而，一旦网络中的一条或多条馈电线停止服务，其余馈电线及其关联的变压器必须“捡起”断开的馈电线的负载，这使这些其余馈电线处于高风险中。这种增加的负载提高了其余馈电线和变压器的故障风险，并横跨某些点，网络将经历将经历连锁性故障，在这种情形下剩余的配电资产无法承载网络的负载，并且整个网络必须被切断直到系统被修复为止。

每条馈电线电缆可由许多电缆段(“区段”)构成，例如在纽约市每条馈电线的平均段数为大约150。

每个段在两个检修孔之间行进，并在每端具有“接头”。这些段经常由三条分束电缆构成，每条分束电缆对应于每个电压相。接头可附连两个单电缆段，或可分成两路或更多路。最终，在变压器侧的馈电线段将电压降压至二次系统所需的120或240伏。馈电线段经由不同的连接器(锤头)连接于变压器。馈电线故障通常发生在接头或电缆段内。地下馈电线故障到目前为止在夏天最频繁，尤其是在热浪期间。这一小节讨论了预测给定馈电线是否具有故障的问题(包括其子构件：区段、接头、锤头)。下面的章节讨论在各个电缆、接头和锤头上的故障预测。

一种类型的接头，即“隔离接头（stop joint）”，可以是不当数量故障的来源。隔离接头通过固体电介质将老的“PILC”连接于现代电缆。PILC代表纸绝缘引线包鞘电缆，从1906年至大约1960年代在多数市中心使用的一种老式技术。PILC段是浸油的，由此隔离接头必须不仅具有良好的电连接和绝缘(就像所有接头那样)也必须封住油以防油漏出。即使所有公用事业都积极地将引线电缆从它们的系统中去除，在工作完成前也会有很长的时间。例如，在纽约市，公共服务委员会已命令在2020年之前更换所有30000条残留的PILC段。然而要注意，某些PILC段已工作很长时间而没有任何问题，并且实际和重要的是通过首先更换最不可靠的区段以对有限的维护预算作出最好的利用。

下面描述的馈电线故障评级应用将馈电线按从最具风险至最不具风险进行排序。馈电线评级任务的数据可由每条馈电线的300个特征连同其断电历史构成。假设这些数据相当地完整并且不太有噪声。数据包括：投入服务的日期；之前的OA(馈电器故障)、排定的工作、测试和日期；%PILC；功率质量事件等。许多概括特征可从原始数据中计算出，例如在数据采集时间段内每条馈电线的总OA数。模型建设阶段使用过去两年的数据以预测一年测试阶段内的故障。

如图2中可以看出的那样，少量馈电线故障每日地发生，如整年在典型电网中观察到的那样。在温热天气，故障率显著增加。空调单元对系统施加了显著的负载，使夏季期间的电力使用增加大约50％。就是在这些时间系统最有危险。

可使用馈电线故障评级列表来为公共事业提供春季更换计划的指导，即一年内发起维修的时间。在每年的早春，大量馈电线因为去除PILC段、改变馈电线的拓朴布局以更好地平衡负载或支持对新大楼的电力改变需求而得以改善。负载在春季很轻，因此可低风险地使馈电线停止服务以更新。确定馈电线的优先级是重要的：每个段的排定更换花费大约$18,000，并且如果该段不大可能出故障，则相比更换可能出故障的段其本质上是浪费钱的。故障要求更高昂的紧急更换并也带有连锁性故障的风险。

电缆、接头、终接器和变压器评级

电缆、接头、终接器和变压器是具有相当大数量的馈电线构件。对(多构件馈电线的)各个构件如何发生故障进行建模可额外程度地理解馈电线故障。构件的特征相比对馈电线积累的相似特征可更直接地关联于局部故障并保持在非聚集形式；例如对构件建模任务的特征可对1950年由Okonite制造的PILC段编码，而馈电线建模任务的特征可代替地对馈电线多于40年的PILC段数进行编码。评级构件允许在(通过馈电线评级的指导)选择易受影响的馈电线以提高可靠性之后给予更好的决策支持。构件评级允许当预算约束条件禁止全部馈电线的更换时通过对故障的敏感性排定构件优先级。最终，构件评级本身可用来定义馈电线评级任务的特征。通常，人们能构建由一些信用分配结构指导的部分-整体分层学习系统。对于联合爱迪生，用于评级电缆、接头和锤头的数据是多样的并且具有相当的噪声，尽管比用于下面描述的检修孔事件预测项目的数据噪声少。

检修孔评级

每年在许多城市出现少量严重的“检修孔事件”，包括着火和爆炸。这些事件经常是由二次网络中的低电压电缆的绝缘击穿引起的。由于绝缘可在长时间段击穿，因此尝试从过往事件的特征预测未来的严重事件是合理的。这些事件被认为落在某种程度上简化的两类范畴中：“严重事件”(着火、爆炸、严重冒烟的检修孔)以及“潜在先兆事件”(歇火、闪光等)。潜在先兆事件可以是大面积网络问题的指标，或者它们可指示仅影响1-2个检修孔的局部问题。

许多电力公司以事故单的形式保持所有过往事件的记录，所述事故单是由派遣人员作出的速记笔记。纽约市冒烟检修孔事件的一示例性事故单出现在图3。本文披露的机器学习技术可高效地处理这些事故单。

MTBF(故障间的平均时间)建模

可靠性表现的量度是可被修复的构件或系统的故障间平均时间(MTBF)以及无法被修复的构件的故障平均时间(MTTF)。在倾向管理中，MTBF是常见的测量或可靠性表现。一旦可靠性被量化，则可执行成本相对于利益分析，并可计划更换策略、检查策略和可靠性提高程序。

馈电线由多个可能出故障的构件构成，因此MTBF是适用的。一旦接头出故障，它被更换，因此这时MTTF是适用的。

通常，构件或类似馈电线的复合系统的故障率在其寿命上具有变化的MTBF。新的或刚被维护过的某物可能具有早期故障，也被称为“夭折”。然后系统陷入具有低故障率的中年期，最终在其寿命终结时故障率增加。（参见图4）。

PILC电缆——一种自从电力产业开始时就选择的电缆类型但如今在多数公用事业中正被逐渐淘汰——可具有非常长的寿命并且难以确定它们的寿命特征的终止。变压器随着故障率增加表现出老化。

用于电网中的故障预测的方法和系统

其一般目的是“知识探索”，即在数据中寻找隐含的、新颖的并且可能极为有用的信息。Harding等人提供在制造中的知识探索的概览。一般的CRISP-DM架构捕捉针对(潜在地)极端原始数据进行处理的数据，然而数据库(KDD)中的传统知识探索的要点不涵盖这个。这里给出的一般处理可被认为是CRISP-DM的特殊情形，但落在KDD的领域之外，因为构造数据库所涉及的繁重的数据清洗（data cleaning）和处理。

对于电网数据的一般知识发现过程示出于图5中。数据首先被清洗并整合入单个数据库，该数据可被准确地查询。然后，在适当的时间标度上将一个或多个机器学习问题公式化。在某些实施例中，机器学习模型中适用的特征对本领域专家是有意义的。机器学习算法中的参数通过互相证实被调整或测试，并被评估以对不在数据库中的数据进行预测准确性盲预测试。本领域专家也使用商业管理工具对模型进行评估并建议改进(通常在数据的最初处理和清洗时)。

数据处理/清洗是确保作为结果的模型的完整性的关键点。这种观点与Hsu等人的观点相符，Hsu宣称“……知识探索中经常被忽略的预处理和后处理步骤是确定现实数据采矿应用的成功时最关键的要素”。数据清洗话题已在文献(例如电子商务文献)中广泛地予以描述。经常，机器学习技术的应用(没有数据清洗步骤的话)不直接导致有用或有意义的模型。在电气公共事业场合下，这些数据可能极为原始：数据可来自整个公司具有不同机制以记录构件的事件次数或身份的多种源，这些数据可能是不完整的或极具噪声的，这些数据可包含大量自由文本文档(例如事故单)。数据处理完整地定义数据解释，该数据解释可由机器学习模型使用，例如通过处理前述数据输入的例子。这种处理将来自多种源的历史数据转化成可供学习使用的预测性特征和标签。数据清洗可包括许多步骤，例如图案匹配(例如寻找结构化或非结构化数据中的寻常表达)、信息提取、文本规范化、使用重叠数据以寻找不一致以及推断出关联或重复的记录。可使用初步统计来评估数据是否丢失，并对推论加入作出公正(sanity)检查。

推论加入是可基于至少一个推论将多个原始数据表联合到一个数据库的处理。推论加入可以是数据清洗的一个关键点。使用推论加入的基本图案匹配和统计例示隐藏逻辑的一个例子是针对纽约市内的检修孔事件处理将主电缆记录联合到原始检修孔数据以确定哪些电缆进入哪些检修孔。主电缆连接两个检修孔(与仅进入一个检修孔的服务电缆或街灯电缆形成对照)。电缆数据可来自公用事业的会计部门，这与检修孔位置数据的源不同。检修孔至电缆的原始加入(基于3域检修孔类型、数量和局部3块码的联合的唯一检修孔标识符)得到与仅大约一半的电缆记录的匹配。对电缆数据作出的第一轮校正包括拼写规范化并寻找与相邻的3块码的匹配(所述相邻的3块码经常对于边界上的检修孔被错误地输入)。下一轮校正使用主电缆具有有限长度这一事实：只要电缆两端的仅一端唯一地与检修孔匹配，而对于另一端具有若干可能的检修孔，则选择最接近的检修孔(最短可能的电缆长度)。这种处理得到对大约四分之三的电缆记录的匹配。然而，电缆长度的直方图指示这些加入记录中的大约5％代表过长而无法实现的电缆。这些电缆可用于再次对加入进行故障查找。统计一般有助于寻找不正确地加入其它相关数据的数据囊。

数据可以是：静态的(代表网络的拓朴布局，例如电缆数、连接性)、半动态的(临时地或拓朴地，当去除或更换段——几乎是永远——时)以及动态的(实时的、具有时戳的)。可电子地测量动态数据(例如馈电线负载测量)，或可当故障发生时测量(例如事故单)。对于半动态和动态数据，可针对机器学习的特征和标签选择集中的时间标度。数据可以是结构化的文本或分类数据、数值数据或非结构化的文本文档。

对于前述所有四种应用，机器学习模型可在过往数据上形成、训练和互相证实，并使用评级或MTBF测量经由例如更新近的数据的“盲检”在评估引擎中评估。下面描述用于机器学习和机器学习算法的特征和标签的形成。

对于最初处理，评估引擎经常发生变化。这些校正对于评级问题可能是重要的。在列表顶部经常是最重要的评级问题中，存在列表顶部将完全通过由不正确和不完整的数据处理造成的异常值(outliers)繁衍的可能性，且因此整个列表是完全无用的。这尤其发生在推论加入带噪声时；如果馈电线不正确地关联于一些额外故障事件，则看上去就像这种馈电线是尤其脆弱的。另一方面，可通过在经评级列表的顶部执行构件的案例研究来对这类异常值执行故障查找。

对于评级算法，评估一般是使用级别统计来执行的，并且经评级的列表可被图形化为例如ROC(接受方操作者特征)曲线。样本估算量度可包括：

·在顶部成功的百分比k％：在经评级列表的顶部内故障的构件的百分比k％。

·AUC或加权的AUC：ROC曲线下的面积、或威-曼-怀三氏U统计，如下面公式化的那样。AUC关联于列表中的误评级对之和。当列表顶部最重要时，加权的AUC量度(例如使用下面描述的P-范数推进（P-Norm Push）算法)更有用。

可直接地评估MTBF和MTTF。

用于在罕见事件预测框架中评级的机器学习方法

随着信息检索(IR)社区开始形成和广泛地使用这些方法(见LETOR站点和其中的文献)，机器学习中的评级的子领域在过去的几年内已迅速膨胀。“学习评级”最近已被标识为机器学习中雅虎的关键科技挑战之一。评级算法可容易地用于信息检索之外的应用，我们的兴趣在于开发和应用评级算法对电网构件进行评级。在IR中，目的是以同给定查询的相关性为顺序对一组文档进行评级。对于电气构件评级和IR两者，列表的顶部被认为是最重要的。

这里研究的评级问题落在受管理的学习问题的一般范畴下。在受管理的学习中，其目的是从给定的数据集(被称为“训练集”)构造一函数f。可假设该训练集是随机地从未知概率分布中抽取的并由一组对象构成，其中每个对象由一特征矢量(即属性)和标签(即所需输出)表征。其目的是构造一函数，该函数预测从同一分布中提取的新对象的标签。对于给定的学习问题，对于该函数可定义损失函数R(f,数据)或品质量度。这种质量量度根据目的可以是误评级损失、回归损失(如在MTBF中使用的)、误分类损失等。函数f通常是经由“经验风险最小化”构建的，其中f是通过对训练集优化R来选取的，例如：

f * = \min_{f &Element; F} R (f, trainingset) .

为了避免高维度中的过度拟合，函数F的类别是特征的线性组合的集。

由于算法仅优化评估标准R(f，训练数据)，这些模型不是双用途的。当在MTBF标准上评估时，评级模型将不一定像在MTBF预测时那么准确。下面披露对于受批管理的评级的机器学习算法和评估标准。馈电线故障评级、电缆、接头和锤头评级以及检修孔事件评级可经由成批管理的机器学习算法构造。

重要的是注意，机器学习算法的特殊选择不一定是在该域内主要构件的成功；相反，成功的关键可以是如前所述的数据清洗和处理。如果机器学习特征和标签被很好地构建，任何理想的算法将很好地执行；反之亦然，即糟糕构建的特征和标签将不会产生有用的模型，不管算法选择如何。

在受管理的双向评级任务中，其目的是根据处理特定属性的概率对一组随机抽取的例子进行评级。评分函数是从一训练集构建的，该训练集是从同一(未知的)分布中抽取的。形式上，该训练集由具有标签的例子构成：

{(x_{i}, y_{i})}_{i = 1}^{m}, x_{i} &Element; χ, y_{i} &Element; {- 1, + 1}

其中每个例子通过特征值矢量表征：

在这种情形下，这些例子是电气构件，并且人们想要预测的属性是故障是否将发生在给定的时间间隔内。这些特征对构件的过往表现、制造商等进行编码。例如，x是锤头，且如果锤头年份小于10年则h_j(x)为1，否则h_j(x)为0。评分函数被选择为这些特征的线性组合：

f_{λ} (x) = \underset{j}{Σ} λ_{j} h_{j} (x) .

评级任务的目的是最小化在从中抽取例子的完全(未知)分布上计算出的经评级列表的统计。该未知的分布代表特征值的完整一组可能性(例如可能的锤头的类型)。一种可能的目的是最小化一对新的随机选择的例子被误评级的概率。

注释P_D指示从X×{-1,+1}上的分布D对于(x₊,y₊)和(x_-,y_-)的随机抽取的概率。例如，这是没有故障的锤头被误评级为比已出故障的锤头更脆弱的概率。由于分布D是未知的，人们可使用风险最小化来构建评分函数，其中误评级错误在训练集上被最小化，并且希望在于该方案将对完全分布作出泛化（generalize）。盖然性泛化边界被用来从理论上证明这类方法的正当性。与(1)对应的经验风险是训练集中被误评级的对的数目：

R_{1} (f_{λ}) \begin{matrix} : = \underset{{k : y_{k} = - 1}}{Σ} \underset{{i = y_{i} = 1}}{Σ} 1_{[f_{λ} (x_{i}) \leq f_{λ} (x_{k})]} \\ = # misranks (f_{λ}) . \end{matrix}

成对的误评级错误直接关联于ROC曲线下面积(其负面积)，或等同地，威-曼-怀三氏U统计；仅有的差别是这些连结在前面的定义中被计为误评级。自然的算法是使用R1关于λ的最小值作为评分函数。

对这种算法存在三种潜在的短处。首先，NP难以直接最小化R₁(fλ)。其次，误评级误差R₁(fλ)等同地考虑所有误评级，也就是列表顶部处的误评级与朝向底部的误评级被等同地计数的意思，即便在故障预测问题中显然在列表顶部处的误评级应当被视为更重要。第三个短处是缺乏经常被施加以实现高维度下的泛化的规则化(预测能力)。对于所有这些问题的补救是对不落在前面列出的任一陷阱内的评级对象使用下面的一般公式化的特殊情形：

R_{l} (f_{λ}) \begin{matrix} : = \underset{{k : y_{k} = - 1}}{Σ} g (\underset{{i : y_{i} = 1}}{Σ} l (f_{λ} (x_{i}) - f_{λ} (x_{k}))) \\ + C | | f_{λ} | |, \end{matrix} - - - (2)

其中g被称为价格函数，而t被称为损失函数。R₁(fλ)是当l(z)=1_Z≤0且g(z)=z的R1(fλ)的特殊情形。替代地，当使用指数损失l(z)=e-^z时，对象在λ是凸起的，或者SVM(支持矢量机)合页(hinge)损失l(z)=(1-z)₊；也可使用若干其它的凸起损失函数。用于规则化项的规范一般是再生核希尔伯特空间(对于SVM)中的任一规范，其最简情形下是‖λ‖₂＝Σ_jλ² _j，或L₁规范‖λ‖₁＝Σ_j|λ_j|。常数C可通过互相证实设定。

对象(2)的特殊情形是：使用节点损失g(z)=z作为价格函数的SVM评级，以及再生核希尔伯特空间规则化；使用指示损失和没有规则化的RankBoost（等级提升）；以及P范数推进，该P范数推进使用价格函数g(z)=z^P，当p大时迫使对象的值主要通过最高评级的反例确定；功率p充当soft max。由于对象的大多数“功率”处于列表的顶部，因此算法更集中在顶部。完全P范数推进算法是：

λ * &Element; \inf_{λ} \underset{{k : y_{k} = - 1}}{Σ} {(\underset{{i : y_{i} = 1}{Σ} \exp (- [f_{λ} (x_{i}) - f_{λ} (x_{k})]))}^{p}

矢量λ^*不难计算，例如通过梯度下降法。在测试装置上，分数被计算为：

f (x) = \underset{j}{Σ} λ_{j}^{*} h_{j} (x),

并且这些例子是按分数进行评级排序的。

在一个实施例中，当分析的构件是检修孔时使用P-范数推进(例如作为检修孔事件预测工具)。作为一替代实施例，具有L₂规则化的SVM算法可用作馈电线故障工具，即当被分析构件是馈电线时。

对于成批管理的评级方法，故障预测在罕见事件预测框架中执行，这意味着其目的是在给定的“预测间隔”内使用在那段间隔之前的数据来预测事件。预测间隔的选择确定机器学习问题的标签。具体地说，如果构件i在该预测时间段出故障，则y_i是+1，否则就是－1。这些特征是从预测间隔之前的该时间段导出的。

例如图6所示，如果其目的是针对2010年对构件的脆弱性进行评级，则针对来自2009年之前导出的特征和从2009年导出的标签对模型进行训练。用于测试的特征是从2010年前的数据导出的。预测间隔的长度的选择是依赖于场合的；如果该间隔过小，则预测可能极为困难。如果该长度过大，则预测可能过于粗略而无法使用。对于纽约市内的检修孔事件预测，该时间段如图6所示被选择为1年，尽管可由本领域内技术人员选择额外的时间段。

使用图6的方法对检修孔事件预测执行时间聚合。结合馈电线故障评级讨论更完善的时间集中方案，其中使用“时移”特征。这些原理对本文讨论的所有其它应用施予相同的力，包括检修孔评级。

MTBF可通过故障率间接地估算；故障率通过取预测率的倒数而被转换成MTBF。为了数值原因估算故障率而不是MTBF：没有故障的良好馈电线具有无穷大的MTBF。故障率可通过例如SVM-R(支持矢量机递归)、CART(分类和递归树)的递归算法、例如随机森林和统计方法(例如Cox比例危险)的基于全体的技术估算。

特殊处理和挑战

可调整一般处理以应付专门针对每项电气可靠性任务的数据处理和机器学习挑战。根据一特定的非限定实施例的馈电线评级的挑战以及由联合爱迪生研发的馈电线故障评级处理(也称“断电衍生的数据集——ODDS”)的细节被公开。对电缆、接头和锤头的数据处理挑战随后被公开作为另一示例性实施例。接下去公开检修孔事件预测处理，最后公开作为另一特定的非限定性实施例的MTBF估算处理。

馈电线故障评级

对于馈电线评级任务，这些特征可在一个特定实施例中导出，即来自：馈电线的物理特征，包括由馈电线构成的下层构件的特征、从电负载流模拟获得的电气特性以及来自附连于馈电器的实时遥测器（telemetry）的动态数据。一些附加特征可从由本领域专家研究出的公式中计算出。

关于馈电线的物理组成的联合爱迪生数据可能是带噪声的，数据库条目中的错误以及将构件从一条馈电线重布线至另一馈电线使获得系统当前状态的完美快照变得困难。此外，人们必须应付构件聚合。常见的馈电线由一百个以上的电缆段构成，这些电缆段通过相似数目的接头连结并终接在几十个变压器中。对于单条馈电线，这些子构件可能是多种类型和年份的大杂烩，例如一种品牌的新电缆段可能连接于几十年老旧的一条电缆段。人们可采取许多方法来解决这种“积累”问题，包括寻找最大值、平均值、第90个百分点(类似于最大值但避免异常值)以及电气特性(例如一馈电线在各种网络状态下预期携带多少电流)。该电气特性是不精确的，因为其产生所依赖的电负载-流模拟取决于给定系统模型的正确性。

动态数据对物理数据表现出类似的问题，但在这里这种挑战可以是时间上的聚合，而不是在空间上的。遥测数据以从每秒几百次(对于功率质量数据)至每天仅几次测量(天气数据)变化的速率采集。这些数据可同样使用例如最大值和平均值的函数、使用不同的时间窗在时间上聚合。一些时间窗是相对简单的(例如集中在15天或45天上)，而其它时间窗利用系统的周期性(见图7)，并在最近的数据加上来自之前年份中的同一年时间的数据的基础上聚合。

这种馈电线评级应用的挑战之一是表征故障类型的不平衡数据/数据缺乏可能导致泛化的问题。具体地说，主配电馈电线对不同类型的故障敏感，并且一主配电馈电线对于每种类型的事件可能具有非常少的训练例子，这使得可靠地提取统计规律性或确定影响可靠性的特征变得困难。例如，故障可能源于由自动变电站继电器(自动断开或OA)造成的紧急隔离、例如为维护和检查使网络中其它馈电线的断路、老化、功率质量事件(例如尖峰)、过载(其具有季节性变化，夏季的热浪尤其成问题)、已知的弱构件(例如PILC电缆和将PILC连接至其它区段的接头)、有风险的拓朴布局(其中连锁性故障可能发生)、技艺问题、“HiPot”(高电位)测试压力以及可能导致短事件跨度内多次故障的被称为“夭折”的馈电线的去激励/重新激励。其它数据缺乏问题是由馈电线的寿命跨度范围造成的；尽管一些馈电线相对新并且能坚持非常长的时间(例如超过5年)，但其它馈电线可能是短命的(分别在几年内就出故障)。另外，罕见的季节性影响(例如夏季高温)可能影响馈电线的故障率。因此，训练数据中存在相当的不平衡，这使泛化变得困难。下面讨论对这些潜在问题的解决方案。

在一特定实施例中，将注意力放在最严重的故障类型，其中整条馈电线由于传感器检测到的一些类型的缺陷通过紧急变电站继电器而自动断线。当前披露的用于产生数据集的系统可用罕见正例(馈电线故障)来解决学习的挑战。实际的馈电线故障事件是瞬时的：在该瞬时系统的快照将仅具有一个故障例。为了更好地平衡数据，人们可采用图6所示的罕见事件预测设置，其将在某一时间窗内经历过故障的任何例子均标示为正的。然而，这些例子的动态特征是从该预测时间段前的时间帧构建的，并因此不表现出出故障时的精确状态。这可以是问题，因为一些动态数据可能仅恰好在故障前的时间段具有预测值。为了解决这个问题，人们可切换至时移正例：正例是从预测时间段内的过往断电中产生的，其中动态特征是在故障发生前不久捕获的。这允许模型捕获故障的短期先兆。可使用系统中所有馈电线的当前快照的特性来计算非故障类(反例)。在本文中被称为断电衍生的数据集“ODDS”的这种手法不仅就在故障前捕获动态数据，还有助于减少在故障数据中自然发生的正例和反例之间的巨大失衡。图7示出用于训练和测试根据该特定实施例的模型的时间段的一个例子。

由当前披露的馈电线故障评级应用引起并解决的另一挑战是“概念漂移”，其意义是故障变化的图案随时间相当快速地变化，由此在来自过往的数据上产生的机器学习模型可能不完整地代表当前设备的未来故障模式。特征可变得不活泼或在质量上改变。其原因包括：(1)构件上作出的维修，使自然故障的性质改变；(2)具有与当前设备不同故障特征的新设备；(3)故障模式的季节性变化(例如在夏天馈电线故障的更大可能性)。为了解决这个难题，ODDS学习在当前数据集上以相对短的数量级(例如每4个小时)的规则基础的一种新模型。

图8示出根据该特定实施例的总系统的图。很多商业管理应用可使用输出数据知识库中的数据通过图形显示和地图重叠来着重突出风险区域。

如在许多现实应用中，应用可能面临着丢失数据的问题。可使用例如平均归因的技术以在丢失值内填充。

电缆、接头、终接器和变压器数据处理

构建馈电线构件评级的主要挑战与面对构建馈电线的评级的那些挑战略微有些重叠：历史性公司数据的使用，以及数据失衡问题。

理想地，人们应当能够对每个构件以及其在故障时所处的连接性背景、环境背景和工作背景构造相容和完整的特征集。通过可得的数据以恰当方式重建这些背景是不可能的。在联合爱迪生，用于电缆、接头和终接器评级的电缆数据驻留在“视觉映射”系统中，并被设计成仅表示系统中的电缆的当前布局，并且不提供过往特定时间的布局。数据归档努力已开始，并同样依赖于使公用事业可得到的电缆数据的其它快照，例如对联合爱迪生网络可靠性指标程序捕获的电缆数据。

对纽约市的接头产生训练数据是尤其有挑战的。具有某些热敏感接头类型的馈电线中接头是最弱的连接，其在热浪期间具有加速的故障率。联合爱迪生保持馈电线构件故障的数据库，该数据库被称为CAJAC。它详尽地捕获接头的故障数据。联合爱迪生对出故障的构件进行“尸检”（autopsy）并将揭示出的故障原因捕捉到该数据库中。尽管接头故障数据是详尽记录的，然而有时不具有在电网中的一组安装接头的完整列表。这组安装的接头主要必须从电缆之间的连接归因。此外，用于在检修孔中作出连接的、被称为插入线的短长度电缆在视觉映射系统中不被捕获，因此任何检修孔中的接头数量大体只能被估算。另外，对于非常老的接头，节点的性质(节点类型、制造商等)必须从安装数据中推导出。这可通过假设在安装日实施的策略是针对该节点使用来实现，这允许我们推断出所使用的制造商和技术。

使用推论加入将若干数据源融合以形成变压器数据库，该若干数据源包括来自联合爱迪生的财务部门的数据、来自检查记录数据库的数据以及来自溶解气体数据库的数据。变压器评级具有若干语义性(semantic)挑战。存在大量不同的变压器设计和制造，并且完整的一组变压器类可能仅由当地公用事业的专家所知晓并且从不传递以用于预测性机器学习应用。另外要注意，变压器群体是由联合爱迪生主动监视和积极更换的，这意味着无论如何都可能已更换尚未出故障的变压器，导致右删截(表示在变压器寿命中的某一时间之后丢失信息)。此外，由于变压器有时在故障前被更换，其挑战在于确定何时故障发生以及对于机器学习的由不正确的故障指派产生的标签偏差。

具有多重角色或充当多种类型构件之间的接口的构件，例如终接器，具有将多种数据库集合到一起以捕获该构件的完整背景的挑战。为了对锤头(它是电缆至变压器的一种类型的终接器)进行评级，建立一数据库，该数据库将拼合的事故单数据、电缆数据和变压器数据加入，其中变压器数据本身来自大型数据库的较早加入。

不是所有的数据库对记录数据都使用相同的惯例；在一些情形下，数据条目表示工作何时结束的数据，在其它情形下，数据是数据输入日期。在一些情况下，基于是否在GMT、ED ST或EDT中提供时间存在定时混乱，这导致机器学习系统作出完美预测的一些情形，但对于不正当的理由：它们学会检测不可避免的故障结果，但在这种情况下这些结果显然由于数据定时歪斜而在断电日期上提前前。

检修孔事件评级

检修孔事件预测的一个主要挑战是确定信任众多数据源中的哪些数据源以及这些数据源中的哪些域。用于检修孔事件预测处理的数据包括：关于基础设施的信息，即检修孔位置和信息表，以及来自联合爱迪生的财务部门的最近电缆数据的快照(电缆类型、电缆任一端处的检修孔、安装日期)；由检查者填写的五年检查报告；以及更重要地，事件数据。事件数据来自若干不同的源：ECS(紧急控制系统)事故单包括结构化域和非结构化文本，有关检修孔事件的结构化数据表(被称为ELIN——电气事故)以及有关电击和被激励设备事件的第三表(被称为ESR/ENE)。这些数据是图9中绘出的检修孔事件预测处理的输入。

事故单可以是非结构化文本文档，因此事故单的表示必须已针对学习问题被定义。这种表示可对关于事件的时间、位置和性质(严重程度)的信息进行编码。可直接使用事故单的时戳，但必须推断(和/或获知)位置和严重性，如下文中讨论的那样。

事件的位置是使用事故单中出现的若干位置信息源来推断的，包括街道地址(例如格林威治大街325)、事故单文本中打印的结构名(S/B153267)以及有时包含在三个表格的结构化域中的结构名(事故单正面，ELIN或ESR/ENE)。所有位置信息是用手键入的，并且这些数据非常具噪声——例如术语“接线盒（service box）”是以至少38种不同方式写就的——并且没有一种信息源是完整的。使用数据中的冗余以获得可靠的位置数据：结构编号是使用信息提取技术(见图10)从事故单文本中提取的。然后对事故单进行地理编码以确定事件的近似位置。如果经地理编码的地址不在事故单指明的结构的短距离(200米)内，则将该信息丢弃。使用剩余的(二次核实的)匹配，由此通过事件中牵涉到的检修孔来正确地标识事故单。

也需要确定事件的严重性；然而ECS事故单不被设计成包含事件本身的描述，并且不存在直接对严重性编码的结构化域；另一方面，事故单具有“故障类型”域，它被设计成对事件性质(例如地下AC事件“UAC”、闪光灯“FLT”等)进行编码。一开始，将事故类型用来表征事件的严重性：代码“MHX”(检修孔爆炸)、“MHF”(检修孔)和“SMH”(冒烟的检修孔)被用来标识严重事件。然而，之后进行了一项研究，该研究表明事故类型与专家的事故单标签不一致，并且不是严重性的良好测量。为了更好地估计事件的严重性，每个事故单的表示是基于从事故单文本中提取的信息来创建的，包括事故单的长度、严重元数据的出现(例如术语“轻度冒烟”)以及文本中是否出现电缆尺寸(其指示电缆的更换)。该信息提取是使用文本处理工具半自动地执行的，所述文本处理工具包括文本工程设计的一般化体系“GATE”。

事故单表征被用来将事故单分成三类：严重事件、可能的先兆事件以及非事件。这种分类是通过手动、基于规则的方法或一般机器学习群集方法(k平均群集)来实现的。在该实施例中，检修孔事件评级处理中存在两个机器学习步骤。事故单分类步骤和检修孔评级步骤。

早前面对的一种挑战是在针对罕见事件预测架构中选择时间帧。起初，人们尝试基于本领域专家的直觉在短时间标度(60天的数量级)上预测检修孔事件，本领域专家直觉认为该时间标度将得到有用的预测性模型。然而，已清楚知道检修孔事件可能不容易在这样的短时间内被预测；例如如果已知检修孔事件将在前一事件后60日内发生，则几乎不可能预测它将发生在这60日内的哪一天。事实上，造成检修孔事件的绝缘击穿可以是缓慢的过程，几个月或几年才会发生。因此，对机器学习选择一年的预测周期，如图6所示。

作为一个(最近)时间点上的快照的电缆数据与其它数据联合以为评级任务构造“静态”特征和标签。这隐含地假设该快照近似地表示在预测时间段内电缆的数目和类型。这种假设是必要的，因为在过往给定时间内检修孔中的电缆的确切状态可能是不可得的。然而，这种假设不是普遍适用的，例如对于联合爱迪生的中性(非电流承载的、接地的)电缆就不适用，并且中性电缆数据因此无法被用于故障预测。

在该实施例中，P-范数推进(如前述)被用作检修孔评级的主要评级算法。

MTBF处理

显然，为了提高馈电线对前摄维护的功效值，人们必须另行产生顾及脆弱性的绝对测量的估计，而不是相对(评级)测量；如同在其它倾向管理尝试中，许多资产更换决策是通过估定如果作出一种特定选择则增加以天数计算的多少可靠性而作出的(例如更换一组PILC电缆相对于以同一成本的另一更换)。接着描述根据一特定实施例的从数据分析MTBF并使用统计估算它的工具以及机器学习模型。

可靠性工程设计和统计生存分析的领域提供对故障率建模并将故障率关联于构件或系统的特征的技术。一种这样的技术是Cox的比例危险模型。人们可研究以乘法方式影响故障率的协变量的关系。一种替代方案是加速的故障时间模型，该模型假设协变量的效果是将预测的事件时间乘以某一常数。

也可使用机器学习技术来从协变量中估算MTBF。若干研究者已利用这种能力来将经检查的数据处理作为SVM回归中的排序约束条件。图11示出这些技术中的一种的应用以预测昆斯区内的PILC电缆的生存时间。使用SVM回归以从馈电线的协变量中估算MTBF。图11以SVCR预测结果的形式出现，这在第七届关于IEEE关于数据开采的国际会议(ICDM)，2007，pp.655-660的Pannagadatta Shivaswamy、Wei Chu和Martin Jansche的“A Support VectorApproach to Censored Targets(对检查对象的支持矢量方法)”中有更详细的说明，该文献全篇地援引包含于此。

纽约市内的评估

下面描述我们的专门处理应用至纽约市电网的结果。联合爱迪生运作着世界上最大的地下电力系统，它向超过三百万的消费者运送高达14000MW的电力。消费者可以是纽约市内的整幢办公大楼或公寓综合性建筑，由此它为高达一千五百万的人群提供电力服务。联合爱迪生开始保持一世纪前的构件的制造商、年数和维护历史的数据记录，其具有增加的惯例控制和数据获取(SCADA)准确性水平，在过去的15年已很大程度地提升。自从2002年起已自动地测量所有构件的性能统计相对于调查和维护成本。

为了对构成纽约市配电系统的主干的所有1000+高电压(13-27kV)馈电线、对～150000电缆段以及连接它们的～150000个接头中的每一个、对～50000个变压器和使这些变压器加入馈电线的～50000个连接器以及对籍此将来自变压器的低电压(120-240V)功率分配给纽约市内的所有大楼的150000二次结构(检修孔和接线盒)的可靠性进行评级，已产生机器学习模型。

馈电线和构件故障评估

每当故障发生时，可通过检查出故障的馈电线构件的评级来追踪当前披露的机器学习模型的性能。人们然后可编辑实时ROC曲线，该实时ROC曲线展示出故障的构件(图12)和当故障发生时自动断开其断路器的馈电线(图13)两者。这些盲检可提供算法充分地工作以用于对公用事业的维护项目产生影响的工作判断的证实。

当前披露的基于ODDS系统计算馈电线敏感性的机器学习系统是在线的。敏感性评级可用于若干种商业惯例应用。结合起来，为了判断其对馈电线的敏感性的潜在影响，假想的馈电线维修和改善是相对于模型估算的。然后将最有益的维护行动传达至操作控制中心。连续运作的另一工具自动地评估什么是最坏可能的下一次故障，即什么样的下一次故障将使系统处于最大的危险？这种应用如今随着ODDS敏感性评级而增加以给出一附加的重要输入：什么样的馈电线最可能下次出故障？当确定要采取什么行动来减轻系统上的压力时，操作者如今可考虑估算的可能性和估算的严重性两者。

可通过在每个新OA(馈电线故障)时记录来自模型的敏感性级别(每四小时运行)来实时地跟踪ODDS性能。ODDS系统使来自所有构件模型的评级运行，包括变压器、段、接头、锤头和检修孔。另外，OODS由来自三种动态实时系统的馈电线驱动：负载囊权重、功率质量以及断电历史。已经发现在布鲁克林和昆斯区(其具有27KV网络)以及在曼哈顿和布朗克斯区(其具有13KV网络)中的单独培训产生更好的结果。

人们可对每个辖区内的每个网络的ROC使用AUC以测量ODDS系统的性能(图12)。机器学习系统已改善至在OODS评级为最易出故障的15％馈电线中60％出故障的点。重要地，少于1％的故障发生在ODDS馈电线敏感性评级的最佳25％的馈电线上(图14)。

MTBF评估

由于自从2002年起已完成预防性维护工作以改善性能，因此故障间平均时间的改善是针对每个网络追踪的。为了测试这种改善是否是重大的，使用被称为对数评级测试的统计测试，对数评级测试比较两个样本的生存分布。在这种情形下，需要确定2009年每个网络的年度MTBF中的线性回归的结束点是否相对于2002年的回归的开始点有显著改善。这假设2002年网络表现是对照组（control group）。其结果在图15中概括。

图15示出样本组和对照组的ROC类曲线。这种曲线是通过累积地从最坏至最好减去生存时间(MTBF)的对数来获得的(联合爱迪生在2009年的“网络可靠性指数”评级，对每个网络使用这样的评级，其中在水平轴上排列的馈电线从左侧的最差至右侧的最好)。将直至2009年夏季的时间段与2002年夏季对照组相比较，系统的表现具有显著的改善。事实上，2009年的处理群相对于来自2002年的对照群没有改善的几率低于十亿分之一。MTBF(虚线)相对于2002年对照(实线)的累积百分比改善之间的间距越大，则结果的显著程度越高。在2008年，每4590个网络日中有1468个网络日是无故障的，或者每三个夏日中有一日，但在2002年对照组中，仅有908个网络日或者说每五个夏日中有一日是无故障的。无故障网络日的百分比越大，多次意外事件的可能性就越低，这也显著地提高了网络可靠性指数(图16)。

图17示出在馈电线MTBF模型的三年时间段内对所有类型计划外断电的断电率的预测的准确性。结果显然相当强。值得注意的研究的概念：(1)夭折。这项研究不对夭折建模，即在经维修系统回归服务之后增加的故障可能性。人们凭经验发现，在大约六周内具有增加的夭折可能性。(2)经检查的数据。如果在一机器学习训练样本中事件非常罕见，则不可能准确地训练学习系统以准确地预测它们的频率。例如，如果在三年内仅有一次故障，两个时间段——从数据采集开始直至该事件和从该事件直至数据采集结束——中的任何一个都不提供对实际事件频率的准确估计。下面描述的CAP和CAPT系统使用与训练时间段长度除以事件次数相等的事件频率的估计，并使用一种方法，该方法导致更好的训练数据并结果相比图17所示更准确地对“良好”资产作出估计。

检修孔事件评级评估：

对检修孔评级的最近评估是用于预测布朗克斯区的2009年事件的盲检。数据库具有2007年整年的数据、不完整的2008年数据，没有从2009年开始或其之后的数据。在布朗克斯区存在27212个检修孔。盲检表明：

·评级列表中最危险的10％(2721/27212)包含经历过严重事件的检修孔的44％(8/18)，

·评级列表中最危险的20％(5442/27212)包含经历过严重事件的事故孔的55％(10/18)。

图18包含完全评级列表的ROC曲线。

在项目开始前，检修孔事件是否能根本从非常具噪声的二次数据中预测出是不清楚的。这些结果表明实际的检修孔事件对于预测建模是相当的。

管理软件

形成界面以使结果可用并对知识探索形成帮助。

CAP(紧急事件分析程序)

CAP是用在主控制中心的工具。它将与主要馈电线电缆断电相关的信息整合到一起。当紧急事件发生时，应用处于使用中(被整合到CAP工具中)，该应用先制地（preemptively）针对额外的馈电线故障的可能性对网络建模。提供馈电线敏感性指标(前述)，该指标向操作者提供新的和重要的信息段：哪些馈电线接下来最可能出故障的指标。操作者可使用该信息来为了防止连锁反应而帮助确定精力和资源的分配。“最坏结果”馈电线可与“最可能出故障”馈电线不相同，由此操作者可一直选择将全部资源分配给最可能出故障的馈电线。

CAPT(资本资产优先级确定工具)

CAPT是提供高级机制以帮助对纽约市馈电线系统的工程师和管理者计划更新的应用。使用图形界面，用户首先输入他们希望在工作作出的约束条件。例如，用户可制定辖区或网络、一个或多个特定馈电线段或馈电线段类型、所配给的美元量等。CAPT随后生成各更换策略的利益vs成本曲线图，其目的是优化“花最少钱取得最好效果”——对所花费的美元在系统MTBF(故障间的平均时间)中的最大增长。

CAPT的关键组成包括：(1)SVM回归模型，用于估算在任何变化前对于两馈电线的MTBF；(2)敏感性模型，它对所有电缆段和接头从最危险至最不危险地排序，这允许CAPT确定更换的良好候选；(3)与(1)相同的模型，用于重估所推荐的改善馈电线的MTBF；以及(3)系统，该系统以图表形式向用户显示各种更换策略(图21)的利益vs成本的权衡(Pareto)曲线。馈电线的模型与CAP的相同，但对于秋季计划、以及电缆、接头和锤头的模型在过往夏季的最热时间段进行训练。

检修孔事件结构概况分析()工具和图形化工具

本领域专家已研发出允许对结果和方法进行定性评估的若干工具。最有用的工具是“结构概况分析工具”(也称“报告卡”工具)，它产生关于给定个体检修孔的原始数据和经处理数据的完整报告。在应用该工具前，检修孔的个别情形研究会耗费很多天并导致不完善的研究。也已研发出图形化工具，该图形化工具使用Google Earth作为背景幕来显示事件、检修孔和电缆的位置。图22示出来自图形化工具的两个截屏。

关联的工作

应用包括功率安全违反的预测、预告、功率系统操作和控制以及功率系统干扰的分类。通过使用不同技术得到的预测性精确度相比于通过发现过程中的其它步骤或通过以不同方式对问题公式化得到的精确度通常更低。与我们的数据相反，功率工程设计问题中的数据一般被假设为受其原始形式学习的作用。本公开不同于功率工程设计文献的第二个原因是，已由功率工程设计团体研发出的机器学习技术经常是例如神经网络和遗传算法的“黑匣子”方法。神经网络和遗传算法可被视为针对具有多个局部最小值的对象的启发式非凸优化过程；算法的输出可能对最初条件极度敏感。本文披露的方法和系统可采用凸优化过程来避免这个问题。此外，这些类型的算法一般不产生可解释/有意义的解(例如多层神经网络的输入-输出关系通常是不可解释的)，相反本申请的实施例可利用各特征的简单线性组合。

本公开以空前的方式解决了挖掘高复杂度的历史性电网数据中的挑战。本公开与电力工程设计中的工作子集形成完全鲜明的对比，其中数据是使用蒙特卡洛仿真产生的并且所仿真的故障是使用机器学习算法预测的。某种意义上说，本公开更接近例如涵盖完全发现过程的电子商务、犯罪调查或医疗病患处理的其它领域内的数据挖掘挑战。例如，有兴趣将关于检修孔事件的本公开与Coraelusse等人的研究作对比，Coraelusse等人使用本领域专家以标记发电机处的“频率事件”并从定位故障的频率信号和标签中构建机器学习模型。这里讨论的检修孔事件预测任务也使用本领域专家来根据它们是否代表严重事件地标记事故单；然而，清洗和表征事故单所需的处理级别以及定位事故位置所需的地理编码和信息提取，与事故单标记机器学习任务同机器学习评级任务两者的结合相配合，使后一任务是重要得多的任务。

学习到的教训

从我们的工具在纽约市电网上的实现得到若干“额外的(take-away)”消息。

预测是可能的

成功案例已表现在基于由主要电力公用事业公司采集的数据预测电气构件的故障。一开始不清楚知识探索和数据采集方法能够预测电力构件故障，更不用说协助本领域工程师进行前摄性维护程序。在对检修孔事件项目成功之前，许多公用事业工程师并不将检修孔事件预测视为现实目标。事故单数据可能容易被丢在一边以成为Fayyad等人所认为的“数据坟墓”。在这种情形下，补救方法是从仔细的问题公式化、复杂的文本处理工具、以及业界发展水平的机器学习技术中创建的。

数据是关键

电力公司已采集了大量数据，然而，如果该数据将被用于故障预测，则其理想地拥有某些特性：首先，应当从数据清楚知道何时故障已发生以及故障的类型(以及原因，如果可得的话)。其次，数据应当尽可能地“干净”，这意味着例如对每个构件应当使用唯一的标识符。另外，如果更换构件，在更换前记录老旧构件的属性是重要的；否则无法确定构件的哪些属性是那些被更换的构件所共有的。

对于事故单，不应删去非结构化的文本域。结构化数据易于分析是事实；另一方面，自由文本则可靠得多。也由Dalai等人讨论了对来自网络交易数据的事故单的处理；在这种情形下，40字符的自由文本域包含比数据库中的任何其它域更多的信息。在这里描述的事故单的情形下，基于自由文本的当前表征能比(结构化)事故类型码可靠得多地确定事件的严重性。此外，一般记录在事故单中的信息的类型不能容易地适应于有限数量的目录，并且要求操作者迫于时间压力地选择目录是不实际的。事实证明，非结构化文本的分析是可能的并且也是实际的。

机器学习评级方法有益于确定优先级

用于评级的机器学习方法不适用于除信息检索外的许多应用领域迄今为止，已发现在电网维护领域内，成功的关键是数据的解释和处理，而不是所使用的恰当机器学习方法；然而，这些新的评级方法是针对优先级确定问题准确设计的，并且这些方法可在许多应用中可提供比较老式方法更好的优势。此外，随着数据采集变得更自动化，对处理的依赖性可减轻，并且在使用针对优先级确定任务准确设计的算法中存在显著优势。

反应性维护可能导致过度治疗

通过被称为趋势的统计学方法已证明，在联合爱迪生的高电位(Hipot)测试程序对“患者”，即馈电线，作了过度治疗。HiPot就定义而言是预防性维护，因为最初缺陷通过故意地对馈电线加压而导致故障。然而，人们发现DC高电位测试尤其不会做得比“无效药(placebo)”对照组更好，所述“无效药”对照组由联合爱迪生评分为等同于“生病”但其并不发挥什么效果(图23)。当添加新的AC测试以撤销某些过度处理时，事实证明随着测试在联合爱迪生公司系统上完美地进行，性能等级上升并随后超过对照组的性能等级。之后，在联合爱迪生作出的操作和配电工程设计增加了一种经修正的AC测试，该AC测试自那时起实际上在对照组的性能上得到了提升。这种机器学习、统计学、预防性维护程序和领域内专家间的交互将有可能标识如今对故障主要呈反应性的多数公用事业中的过度治疗。这在其它产业中已经历过，包括研发这些技术所面向的那些产业，例如汽车和航天、军事以及医疗产业。

结语

在未来的几十年，对老化和负担过重的电气基础设施的依赖性将越来越高。未来电网的可靠性将沉重地依赖于新的先制维护策略，所述先制维护策略目前正在全世界推广。本公开提供一种构建有效策略的基础手段：用于脆弱构件预测的机器学习和知识探索。电力公用事业可使用目前披露的方法和系统以进行故障预测和先制维护。已示出馈电线评级、馈电线构件评级(电缆、接头、锤头等)、MTBF估计以及检修孔脆弱性评级的这种过程的专门说明。事实证明，通过对纽约市电网的直接应用，已由电力公司采集的数据可被利用以预测并因此防止电网故障。

Claims

1.一种用于对电网中相似构件的经过滤的故障趋势量度的集合进行评级的机器学习系统，包括：

(a)原始数据组件，用以提供表征电网中的相似构件的原始数据；

(b)数据处理器，其可操作地耦合于所述原始数据组件以经由一种或多种数据处理技术将所述原始数据转换成更统一的数据；

(c)数据库，其可操作地耦合于所述数据处理器以存储所述更统一的数据；

(d)机器学习引擎，其可操作地耦合至数据库以提供所述相似构件的故障趋势量度的集合；

(e)评估引擎，其可操作地耦合至所述机器学习引擎以从故障趋势量度的集合中检测和移除不相符的量度并提供经过滤的故障趋势量度的集合；以及(f)决策支持应用，其可操作地耦合至所述评估引擎并被配置成显示电网中的相似构件的经过滤的故障趋势量度的集合的评级。

2.如权利要求1所述的机器学习系统，其特征在于，所述表征相似构件的原始数据是至少部分地从对于所述类似构件中的至少一个构件的维护记录或维护请求中获得的。

3.如权利要求1所述的机器学习系统，其特征在于，所述数据处理技术包括推论加入、图案匹配、信息提取、文本规范化、查询重叠数据以寻找不一致以及来自关联或复制记录的推论中的一个或多个。

4.如权利要求1所述的机器学习系统，其特征在于，基于AUC、加权的AUC和预定义的百分比故障排除中的一个或多个来检测所述不相符的量度。

5.如权利要求1所述的机器学习系统，其特征在于，所述评估引擎进一步包括用于存储断电衍生的数据集的断电衍生数据库，所述断电衍生的数据集捕捉表征相似构件中的至少一者的失效数据的动态先兆。

6.如权利要求5所述的机器学习系统，其特征在于，失效数据的动态先兆是从故障时或恰好在故障前结束并在故障前预选时间开始的时移时域中获得的。

7.如权利要求1所述的机器学习系统，其特征在于，所述相似构件是从电缆、接头、终接器、锤头、检修孔和变压器中选取的二次网络构件。

8.如权利要求7所述的机器学习系统，其特征在于，所述相似构件是检修孔。

9.如权利要求1所述的机器学习系统，其特征在于，故障量度的倾向是从故障间平均时间(MTBF)和故障平均时间(MTTF)中选取的。

10.如权利要求1所述的机器学习系统，其特征在于，所述评估引擎包括：数据历史家，用以记录在第一时间段内的经过滤的故障趋势量度的集合以及在第二时间段内的经过滤的故障趋势量度的集合；以及数据分析器，用以确定在第一时间段内的经过滤的故障趋势量度的集合是否在统计上比在第二时间段内的经过滤的故障趋势量度的集合有改善。

11.一种经由机器学习对电网中相似构件的经过滤的故障趋势量度的集合进行评级的方法，包括：

(a)提供原始数据组件以提供表征所述电网中的所述相似构件的原始数据；

(b)处理所述原始数据以经由一种或多种数据处理技术将所述原始数据转换成更统一的数据；

(c)在数据库中存储所述更统一的数据；

(d)将所述更统一的数据发送至机器学习引擎以提供所述相似构件的故障趋势量度的集合；

(e)对评估引擎中的故障趋势量度的集合进行评估以从所述故障趋势量度的集合中检测和移除不相符的量度并提供经过滤的故障趋势量度的集合；以及

(f)对从所述评估引擎获得的经过滤的故障趋势量度的集合进行评级并将评级显示在决策支持应用上。

12.如权利要求11所述的方法，其特征在于，所述表征相似构件的原始数据是至少部分地从对于所述类似构件中的至少一个构件的维护记录或维护请求中获得的。

13.如权利要求11所述的方法，其特征在于，所述数据处理技术包括推论加入、图案匹配、信息提取、文本规范化、查询重叠数据以寻找不一致以及来自关联或复制记录的推论中的一个或多个。

14.如权利要求11所述的方法，其特征在于，基于AUC、加权的AUC和预定义的百分比故障排除中的一个或多个来检测所述不相符的量度。

15.如权利要求11所述的方法，其特征在于，所述评估进一步包括存储断电衍生的数据集，所述断电衍生的数据集捕捉表征相似构件中的至少一者的失效数据的动态先兆。

16.如权利要求15所述的方法，其特征在于，所述失效数据的动态先兆是从故障时或恰好在故障前结束并在故障前预选时间开始的时移时域中获得的。

17.如权利要求11所述的方法，其特征在于，所述相似构件是从馈电线、电缆、接头、终接器、锤头、检修孔和变压器中选取的构件。

18.如权利要求17所述的机器学习系统，其特征在于，所述相似构件是检修孔。

19.如权利要求11所述的方法，其特征在于，所述故障趋势量度是从故障间平均时间(MTBF)和故障平均时间(MTTF)中选取的。

20.如权利要求1所述的方法，其特征在于，所述评估还包括：记录在第一时间段内的经过滤的故障趋势量度的集合以及在第二时间段内的经过滤的故障趋势量度的集合；以及分析以确定在第一时间段的经过滤的故障趋势量度的集合是否在统计上比在第二时间段的经过滤的故障趋势量度的集合有改善。