CN110175272A - 一种基于特征建模实现工单收敛的控制方法及控制装置 - Google Patents
一种基于特征建模实现工单收敛的控制方法及控制装置 Download PDFInfo
- Publication number
- CN110175272A CN110175272A CN201910423511.7A CN201910423511A CN110175272A CN 110175272 A CN110175272 A CN 110175272A CN 201910423511 A CN201910423511 A CN 201910423511A CN 110175272 A CN110175272 A CN 110175272A
- Authority
- CN
- China
- Prior art keywords
- work order
- information
- work
- feature
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Abstract
本发明提供了一种基于特征建模实现工单收敛的控制方法,其基于动态获取数据、总结规则建模,并将工单数据应用于建模中实现工单收敛,包括如下步骤:a.基于一个或多个工单确定一个或多个工单中的一个或多个特征信息;b.逐一将一个或多个工单中的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,获取一个或多个收敛工单和/或一个或多个未收敛工单。本发明功能强大、使用便利、方便迅捷、收敛性好,具有极高的商业价值。
Description
技术领域
本发明属于人工智能应用领域,具体地,涉及一种基于特征建模实现工单收敛的控制方法及控制装置。
背景技术
运维工作大部分是由运维人员手工完成的,随着互联网业务快速扩张、人力成本高企的时代,人肉运维难以维系日常运行。于是通过创建可被自动触发的、预定义规则的脚本,来执行常见的、重复性的运维工作,实现自动化运维,被认为是一种基于行业领域知识和运维场景领域知识的专家系统。自动化运维以编排作业方式为核心构建运维自动化平台,可为客户提供配置变更、任务巡检、脚本执行控制、自定义工作流等功能;覆盖巡检、文件分发、备份恢复、SQL操作等运维场景,并提供可扩展能力;自动化运维系统服务器端配置批作业,按照策略调度各脚本工作,实现业务流的自动化操作;控制台为各管理人员的操作平台,实现角色、对象、操作的分级分权管理。在CMDB基础上构建统一化设备模型,实现资源和服务的自动化交付。
IT运维从诞生发展至今,经历人工运维到目前的自动化运维,已经能够逐步适应复杂的业务、多样化的用户需求、不断扩展的IT应用,以保障IT服务灵活便捷,安全稳定,自动化运维作为代替人工操作为出发点的诉求,正被广泛研究和应用。运维自动化是一组将静态的设备结构转化为根据IT服务需求动态弹性响应的策略,目的就是实现IT运维的质量,降低成本。自动化运维主要以创建可被自动触发的预定义规则的脚本,来执行常见的、重复性的运维工作,实现自动化运维。但是一旦发生未被预定义的问题,就需要人为去感知、排查、定位,这种运维服务需要投入的人力相当庞大。因为人力不足或因排查定位,将导致服务长时间挂起,无法实现系统的稳定运行。这种不足日益凸显,这也为智能运维带来发展机遇。
智能运维不依赖于人为指定规则,主张由机器学习算法自动地从海量运维数据(包括事件本身以及运维人员的人工处理日志)中不断地学习,不断地提炼并总结规则。即是在自动化运维的基础上,增加了一个基于机器学习的大脑,指挥监测系统采集大脑决策所需的数据,做出分析、决策,并指挥自动化脚本去执行大脑的决策,从而达到运维系统的整体目标。
而目前,市场上并没有一种能够有效解决上述问题的具体办法,尤其涉及一种基于特征建模实现工单收敛的控制方法及控制装置。
发明内容
针对现有技术存在的技术缺陷,本发明的目的是提供一种基于特征建模实现工单收敛的控制方法及控制装置,根据本发明的一个方面,提供了一种基于特征建模实现工单收敛的控制方法,其基于动态获取数据、总结规则建模,并将工单数据应用于建模中实现工单收敛,包括如下步骤:
a.基于一个或多个工单确定所述一个或多个工单中的一个或多个特征信息;
b.逐一将一个或多个工单中的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,获取一个或多个收敛工单和/或一个或多个未收敛工单。
优选地,在所述步骤b之后,还包括步骤c:匹配与一个或多个收敛工单和/或一个或多个未收敛工单相适应的工单信息,并将所述工单信息进行动态展示。
优选地,在所述步骤a中,所述特征信息至少包括:
工单分类信息;
信息提取信息;
工单收敛信息;以及
根因分析信息。
优选地,所述步骤b包括如下步骤:
b1.基于所述工单的工单分类信息判断是否收敛为第一特征模型群组,若是,则执行步骤b2;
b2.在所述第一特征模型群组中基于所述工单的信息提取信息判断是否收敛为第二特征模型群组,若是,则执行b3;
b3.在所述第二特征模型群组中基于所述工单的工单收敛信息判断是否收敛为第三特征模型群组,若是,则执行b4;
b4.在所述第三特征模型群组中基于所述工单的根因分析信息判断是否收敛为第四特征模型群组。
优选地,所述特征模型的建立将通过如下方式获取:
i:基于一种或多种数据采集方式在一个或多个数据采集平台获取一个或多个原始工单信息;
ii:对所述一个或多个原始工单信息进行预处理,确定一个或多个预处理工单信息;
iii:对所述一个或多个预处理工单信息进行特征提取,确定一个或多个工单特征信息;
iv:基于所述一个或多个工单特征信息建模,确定一个或多个与所述工单特征信息相匹配的特征模型。
优选地,所述数据采集方式至少包括如下方式中的任一种或任多种:
SQL导出;
第三方API导出;或者
爬虫采集。
优选地,所述数据采集平台至少包括如下平台中的任一种或任多种:
运维派单系统;
配置管理数据库;
应用性能监测;
看板系统;或者
统一日志平台。
优选地,所述原始工单信息至少包括如下信息中的任一种或任多种:
工单;
CMDB;或者
APM。
优选地,所述预处理包括附件采集、数据筛选和数据编码。
优选地,所述收敛工单以及所述未收敛工单至少包括如下两个方面:
一个或多个故障在一个或多个监测维度下产生的一个或多个工单;
一个或多个原因导致的一个或多个告警现象在一个或多个时刻下的反复出现。
根据本发明的另一个方面,提供了一种基于特征建模实现工单收敛的控制装置,包括:
第一确定装置:基于一个或多个工单确定一个或多个工单中的一个或多个特征信息;
第一获取装置:逐一将一个或多个工单中的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,获取一个或多个收敛工单和/或一个或多个未收敛工单。
第一处理装置:匹配与一个或多个收敛工单和/或一个或多个未收敛工单相适应的工单信息,并将所述工单信息进行动态展示。
优选地,所述第一获取装置包括如下:
第一判断装置:基于所述工单的工单分类信息判断是否收敛为第一特征模型群组;
第二判断装置:在所述第一特征模型群组中基于所述工单的信息提取信息判断是否收敛为第二特征模型群组;
第三判断装置:在所述第二特征模型群组中基于所述工单的工单收敛信息判断是否收敛为第三特征模型群组;
第四判断装置:在所述第三特征模型群组中基于所述工单的根因分析信息判断是否收敛为第四特征模型群组。
优选地,还包括:
第二获取装置:基于一种或多种数据采集方式在一个或多个数据采集平台获取一个或多个原始工单信息;
第二确定装置:对所述一个或多个原始工单信息进行预处理,确定一个或多个预处理工单信息;
第三确定装置:对所述一个或多个预处理工单信息进行特征提取,确定一个或多个工单特征信息;
第四确定装置:基于所述一个或多个工单特征信息建模,确定一个或多个与所述工单特征信息相匹配的特征模型。
本发明基于动态获取数据、总结规则建模,基于一个或多个工单确定一个或多个工单中的一个或多个特征信息,逐一将一个或多个工单中的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,获取一个或多个收敛工单和/或一个或多个未收敛工单,即将工单数据应用于建模中实现工单收敛,本发明功能强大、使用便利、方便迅捷、收敛性好,具有极高的商业价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1示出了本发明的具体实施方式的,一种基于特征建模实现工单收敛的控制方法的具体流程示意图;
图2示出了本发明的第一实施例的,逐一将一个或多个工单中的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,获取一个或多个收敛工单和/或一个或多个未收敛工单的具体流程示意图;
图3示出了本发明的第二实施例的,建立所述特征模型的具体流程示意图;
图4示出了本发明的另一具体实施方式的,一种基于特征建模实现工单收敛的控制装置的模块连接示意图;以及
图5示出了本发明的第三实施例的,一种基于特征建模实现工单收敛的控制装置的模块连接示意图。
具体实施方式
为了更好的使本发明的技术方案清晰的表示出来,下面结合附图对本发明作进一步说明。
图1示出了本发明的具体实施方式的,一种基于特征建模实现工单收敛的控制方法的具体流程示意图,具体地,本发明提供了一种基于特征建模实现工单收敛的控制方法,其基于动态获取数据、总结规则建模,并将工单数据应用于建模中实现工单收敛,包括如下步骤:
首先,进入步骤S101,基于一个或多个工单确定所述一个或多个工单中的一个或多个特征信息,本领域技术人员理解,在本发明中,可以基于一个或者多个工单来确定其工单中的特征信息,所述工单优选地以表格的形式进行展现,提取所述工单中的文字信息进行分类,即为所述特征信息,所述特征信息至少包括工单分类信息;信息提取信息;工单收敛信息以及根因分析信息。
进一步地,工单分类信息即为将告警工单按故障类型分类而注明的信息,是后续处理的重要基础。工单分类本质上短文本处理,本领域技术人员理解,本发明采用基于深度神经网络LSTM的文本处理模型。与传统的基于关键词和正则表达式的方法相比,分类准确性从70%-80%提升到了95%-97%。
Long Short Term网络—LSTM--是一种特殊的RNN类型,可以学习长期依赖信息。LSTM由Hochreiter&Schmidhuber(1997)提出,并被Alex Graves进行了改良和推广。在很多问题,LSTM都取得相当巨大的成功,并得到了广泛的使用。LSTM通过刻意的设计(细胞状态、遗忘门、记忆门、输出门)来避免长期依赖问题。记住长期的信息在实践中是LSTM的默认行为,而非需要付出很大代价才能获得的能力。本发明就是基于LSTM实现了一个工单分类模型,从而通过工单分类信息来确定后续步骤中的操作,这些将在后述具体实施方式中作进一步的描述,在此不予赘述。
进一步地,本领域技术人员理解,在本发明中,所有的特征信息将被用于在特征模型中进行工单收敛,而特征模型即根据大量的原始工单信息提炼出的符合当前运维管理的模型,而将当前工单信息代入到对所述工单相对应的模型中,即可对工单收敛,而本发明中特征信息即为工单中用于收敛的对应信息,除了前述中提到的工单分类信息,还包括信息提取信息,工单收敛信息以及根因分析信息,这是因为其分别对应于其相应的模型,这些将在后述实施例中作进一步地描述,在此不予赘述。
然后,进入步骤S102,逐一将一个或多个工单中的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,获取一个或多个收敛工单和/或一个或多个未收敛工单,在这样的实施例中,本发明基于步骤S101获取到一个或多个工单中所对应的一个或多个特征信息,并将所述一个或多个工单中所对应的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,这里涉及到特征模型,所述特征模型的构建将在后述的具体实施方式中做进一步地描述。在这里,所述特征模型的数量优选地与所述特征信息的数量相匹配,可以为4个、5个甚至更多,如果所述特征信息与所述特征模型相匹配,则进行工单收敛,如果不匹配,则不收敛。
作为本发明的一个优选实施方案,在执行完步骤S102之后,还包括步骤S103,匹配与一个或多个收敛工单和/或一个或多个未收敛工单相适应的工单信息,并将所述工单信息进行动态展示。本领域技术人员理解,本发明基于机器学习技术研发的告警收敛模型并嵌入目前的告警处理流程,完成告警(包括历史)的汇聚收敛、根因定位,与自动化运维平台链接,实现合并后的关联分析、运维自动处理的高效衔接,并结合大数据可视化技术通过看板形态生动展示输出。
本领域技术人员理解,图1主要示出了一种基于特征建模实现工单收敛的控制方法,按照Gartner的定义,AIOps是Algorithmic IT Operations(智能运维),就是运维具备机器学习和算法的能力,基于已有的运维数据(日志、监控信息、应用信息等),通过机器学习的方式来进一步解决自动化运维没办法解决的问题。AIOps基于自动化运维,将机器学习、AI和运维很好的结合起来,是运维的发展必然,是自动化运维的下一个发展阶段。Gartner相关报告预测AIOps的全球部署率将从2017年的10%增加到2020年的50%。其应用行业,除了互联网以外,还包括高性能计算、电信、金融、电力网络、物联网、医疗网络和设备、航空航天、军用设备及网络等领域。AIOps常见应用场景包括质量保障、成本管理和效率提升等。
目前各企业都已部署了相应的监控告警平台,对日常服务运行情况采取有效监控。随着业务高速发展,保险信息系统数量持续增长,交易复杂度更高。故障发生时,部署的各类监控平台集中报警,大批量报警消息通过各种渠道汹涌而来,手机消息不断刷屏,让运维工程师应接不暇,短时间内处理平台已经积压了大批待处理的故障告警工单。传统的运维模式安排7*24小时值班,一旦出现告警,不得不从单条故障告警入手,同时组织安排多方人员参与故障定位、原因追溯。快速恢复业务正常开展的压力,让运维工程师压力倍增,通过传统运维技术提高解决时效成为很难突破的瓶颈。
图2示出了本发明的第一实施例的,逐一将一个或多个工单中的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,获取一个或多个收敛工单和/或一个或多个未收敛工单的具体流程示意图,包括如下步骤:
首先,进入步骤S1021,基于所述工单的工单分类信息判断是否收敛为第一特征模型群组,本领域技术人员理解,所述步骤S1021为判断步骤,在图2中,主要示出了四种特征模型模组,而在其他的实施例中,还可以为3组或者5组,更为具体地,所述第一特征模型群组可以工单分类模型,具体地,基于所述工单的工单分类信息,将其代入到所述工单分类模型中,从而判断是否所述工单是否为同一系统等等,若不是,则获取所述未收敛工单,并结束判断,若是,则进行工单收敛,并做进一步地收敛,即进入步骤S1022。
然后,进入步骤S1022,在执行完步骤S1021后,将经过步骤S1021收敛后的工单信息再次执行步骤S1022,即在所述第一特征模型群组中基于所述工单的信息提取信息判断是否收敛为第二特征模型群组,本领域技术人员理解,所述第二特征模型群组为信息提取模型,基于所述工单的信息提取信息,将其代入到所述信息提取模型中,从而判断是否所述工单是否为同一时间片、同一地点、区域等等信息,若不是,则获取所述未收敛工单,并结束判断,若是,则进行工单收敛,并做进一步地收敛,即进入步骤S1023。
再然后,进入步骤S1023,在所述第二特征模型群组中基于所述工单的工单收敛信息判断是否收敛为第三特征模型群组,本领域技术人员理解,所述第三特征模型群组即为工单收敛模型,基于所述工单的工单收敛信息,将其代入到所述工单收敛模型中,从而判断是否所述工单是否为同一集群信息等等信息,若不是,则获取所述未收敛工单,并结束判断,若是,则进行工单收敛,并做进一步地收敛,即进入步骤S1024。
最后,进入步骤S1024,在所述第三特征模型群组中基于所述工单的根因分析信息判断是否收敛为第四特征模型群组,本领域技术人员理解,所述第四特征模型群组即为根因分析模型,基于所述工单的根因分析信息,将其代入到所述根因分析模型中,从而判断是否所述工单故障类型等等信息,若不是,则获取所述未收敛工单,并结束判断,若是,则进行工单收敛。
图3示出了本发明的第二实施例的,建立所述特征模型的具体流程示意图,本领域技术人员理解,图3将示出在步骤S102中用于特征模型匹配的特征模型的建立,具体地,包括如下步骤:
首先,进入步骤S201,基于一种或多种数据采集方式在一个或多个数据采集平台获取一个或多个原始工单信息,在这样的实施例中,所述数据采集方式至少包括SQL导出;第三方API导出或者爬虫采集。所述数据采集平台至少包括运维派单系统、配置管理数据库、应用性能监测、看板系统或者统一日志平台。所述原始工单信息至少包括工单、CMDB或者APM。本发明的数据来自太保多套运维管理系统,包括运维派单系统、配置管理数据库、应用性能监测、看板系统、统一日志平台等。数据来源包括Oracle、MySQL、MongoDB、ClickHouse等。
然后,进入步骤S202,对所述一个或多个原始工单信息进行预处理,确定一个或多个预处理工单信息,所述预处理包括附件采集、数据筛选和数据编码。部分工单因为问题描述过长,放在了附件中。这些工单虽然数量不多,但是比较重要。本系统以爬虫的方式从工单派送系统下载附件信息,将其加入相关工单中。工单数据包含80多个字段,大多与工单收敛目的无关。本系统筛选了事件序号、子事件序号、事件编码、所属系统、问题描述、工单生成时间、工单来源、所属管理组等字段作为收敛系统的输入,并在工单分类和信息抽取阶段从问题描述中提取故障类型、IP等信息,根据IP从CMDB中抽取Cluster信息。对于系统名称等,主要采用随机编码方案转换为相应的代码。
再然后,进入步骤S203,对所述一个或多个预处理工单信息进行特征提取,确定一个或多个工单特征信息,输入特征的选择对建模成败至关重要。本发明采用业务知识与数据挖掘相结合的方式选择特征。首先通过走访业务人员的方式,搜集样本案例,和可能与工单收敛相关的特征,然后计算每一个特征与相应变量的相关性,从中筛选合适的候选特征。本发明中主要使用了皮尔森相关系数和互信息系数来衡量单变量的相关性。获得候选特征后,根据这些特征训练模型,根据模型的正确率和召回率评估特征的显著性。
最后,进入步骤S204,基于所述一个或多个工单特征信息建模,确定一个或多个与所述工单特征信息相匹配的特征模型。本领域技术人员理解,所述特征模型包括工单分类模型、信息提取模型、工单收敛模型以及根因分析模型,我们在前述步骤S101中已经对工单分类模型进行了描述,而在后面的说明中,我们将对信息提取模型、工单收敛模型以及根因分析模型进行详细描述。
进一步地,信息提取模型主要涉及到信息抽取,信息抽取的主流方法包括基于自然语言处理的信息抽取,基于本体的信息抽取,基于正则表达式的信息抽取,以及近年兴起的基于深度学习方法的信息抽取。基于自然语言处理方法的抽取规则采用了过滤、词性和词汇语义标识来建立短语和语句元素之间的联系通过给出具体的样例来定制抽取规则。也就是说把文本分割成多个子句,对每个子句成分进行标记,然后将分析好的句子和实现的语言规则模式进行匹配来获得子句的内容。规则可以通过人工方式编制,也可以从人工标注的语料库中自动学习获得。
基于自然语言处理的方法的抽取规则主要基于语法限制、语义类、上下文和句子成分等信息,表达能力强。但是,它抽取的过程中没有利用告警工单自身的结构特征,而是通过大量的样本学习来获得有效的抽取规则,需要用户大量标注好训练样本,只适用于结构化程度低的自由文本。本体是一种共享的概念化模型的明确的形式化规范说明。基于本体的信息抽取方法主要采用了先模式的思想,输入为要处理的文档和人工编写的某个应用领域的本体,经过抽取系统,输出为结构化的信息。系统的优点是只要事先创建的应用领域的本体足够强大,系统就可以对某一应用领域中的各种网页实现信息抽取。缺点是系统使用比较麻烦,某一应用领域范围内的本体只能由该领域内的知识专家创建。基于深度学习方法的信息抽取方式,是前述方法的增强,能够提高前述方法的准确性,但是也存在使用麻烦,需要用户大量标注好训练样本,和特定领域知识专家的帮助等缺点。
基于正则表达式抽取的方式,是将网页文档作为字符流来处理。由用户编写出一种模式来匹配用户想要得到的信息。信息看作是上面提到的字符流。在对信息的处理过程中,通过使用正则表达式迅速匹配到要抽取的信息。利用正则表达式进行信息抽取的优点是对已知特征的信息抽取具有非常高的效率以及准确性,不需要大量的人工标注样本,也不需要高深的领域先验知识。工单分类之后,每一类工单一般有固定的表达模式,基于正则表达式的信息抽取方法对这种场景比较适用。本研究基于正则表达式定义了若干种信息抽取模板,实现了故障系统名称、IP、物理位置、故障现象等信息的准确抽取。
进一步地,所述收敛工单以及所述未收敛工单至少包括如下两个方面:一个或多个故障在一个或多个监测维度下产生的一个或多个工单;一个或多个原因导致的一个或多个告警现象在一个或多个时刻下的反复出现。可收敛工单包括两类:一是某一故障在不同监测维度下产生的多个工单,如服务器故障导致的虚拟机切换,可能产生端口不通、页面打不开、进程数异常等不同告警。二是某一原因导致的告警现象在特定时间的反复出现,如某一批处理作业导致的CPU使用率过高告警,可能持续多天在凌晨发生。
在同一事件的工单收敛模型中,输入包括告警时间、告警事件类型、系统名称、集群名称、IP等,输入特征维度比较小,深度神经网络等方法不适用。本发明采用决策树算法实现工单收敛模型。为防止模型在样本上的过拟合,采用了包括多棵决策树组成的随机森林模型。
根据前面步骤获取的故障类别、系统名称、发生时间、IP等信息,结合CMIS系统信息,首先将工单按时间聚类,然后按照拓扑关系、所属组别、故障类型等合并工单。这种收敛方法生成的聚合工单,一般是同一故障的不同表现。对于同一类故障,挖掘发生时间的规律性。例如:反复在同一时间发生的同类故障,提示我们故障的根本原因没有解决,需要进一步分析定位。本研究定位到了若干周期性发生的告警事件,为后续原因排查和隐藏故障消除提供了依据。
进一步地,根因分析模型的输入是收敛后的聚合工单,输入特征包括告警事件类型、系统名称、集群名称、IP,特征维度较小,深度神经网络等方法不适用。本研究采用决策树算法实现工单收敛模型。为防止模型在样本上的过拟合,采用了包括多棵决策树组成的随机森林模型。
图4示出了本发明的另一具体实施方式的,一种基于特征建模实现工单收敛的控制装置的模块连接示意图,包括:第一确定装置1:基于一个或多个工单确定一个或多个工单中的一个或多个特征信息,所述第一确定装置1的工作原理可以参考前述步骤S101,在此不予赘述。
进一步地,所述控制装置还包括第一获取装置2:逐一将一个或多个工单中的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,获取一个或多个收敛工单和/或一个或多个未收敛工单,所述第一获取装置2的工作原理可以参考前述步骤S102,在此不予赘述。
进一步地,所述控制装置还包括第一处理装置3:匹配与一个或多个收敛工单和/或一个或多个未收敛工单相适应的工单信息,并将所述工单信息进行动态展示,所述第一处理装置3的工作原理可以参考前述步骤S103,在此不予赘述。
进一步地,所述第一获取装置还包括第一判断装置21:基于所述工单的工单分类信息判断是否收敛为第一特征模型群组,所述第一判断装置21的工作原理可以参考前述步骤S1021,在此不予赘述。
进一步地,所述第一获取装置还包括第二判断装置22:在所述第一特征模型群组中基于所述工单的信息提取信息判断是否收敛为第二特征模型群组,所述第二判断装置22的工作原理可以参考前述步骤S1022,在此不予赘述。
进一步地,所述第一获取装置还包括第三判断装置23:在所述第二特征模型群组中基于所述工单的工单收敛信息判断是否收敛为第三特征模型群组,所述第三判断装置23的工作原理可以参考前述步骤S1023,在此不予赘述。
进一步地,所述第一获取装置还包括第四判断装置24:在所述第三特征模型群组中基于所述工单的根因分析信息判断是否收敛为第四特征模型群组,所述第四判断装置24的工作原理可以参考前述步骤S1024,在此不予赘述。
本领域技术人员理解,本发明主要包括离线模型训练集群和生产应用集群两部分,各场景的智能产品均通过此架构完成生命周期管理。在离线训练模型集群主要完成数据采集与预处理、特征选择、模型训练、验证发布等过程,验证通过后的模型发布至生产应用集群,向上提供接口嵌入其他应用系统,向下与专业知识存放的知识平台关联获取规则方案。离线及生产应用集群均由纳入容器平台进行管理。训练架构构造出一个闭环路径。日常实时运行数据进入正式模型进行机器标注,并与各接口平台人工标注结果进行比对,差异结果进入二次专家判别,识别结果在进入训练模型再次训练,如此循环,使模型识别判断效果更准确。本发明研究过程同时完善了智能运维的应用平台化管理,构建了一条完整的模型生命周期研究路径,包含了多种机器学习算法、模型训练可视化等升级服务,为更多智能运维场景提供了流程化免干预的AI实施能力。
针对根因收敛,其算法过程采用了LSTM((Long Short Term网络)对工单的故障类型进行分类,使用自然语言处理中分词,词性标注结合正则表达式来进行关键信息的抽取。采用了包括多棵决策树组成的随机森林模型,对告警信息在时间、告警类型、关联系统、关联集群、关联IP进行关联项挖掘,同时结合CIMS(配置信息管理系统)中系统拓扑关系信息进行合并。
图5示出了本发明的第三实施例的,一种基于特征建模实现工单收敛的控制装置的模块连接示意图,包括:第二获取装置4:基于一种或多种数据采集方式在一个或多个数据采集平台获取一个或多个原始工单信息,本领域技术人员理解,第二获取装置4的工作原理可以参考前述步骤S201,在此不予赘述。
进一步地,所述控制装置还包括第二确定装置5:对所述一个或多个原始工单信息进行预处理,确定一个或多个预处理工单信息,所述第二确定装置5的工作原理可以参考前述步骤S202,在此不予赘述。
进一步地,所述控制装置还包括第三确定装置6:对所述一个或多个预处理工单信息进行特征提取,确定一个或多个工单特征信息,所述第三确定装置6的工作原理可以参考前述步骤S203,在此不予赘述。
进一步地,所述控制装置还包括第四确定装置7:基于所述一个或多个工单特征信息建模,确定一个或多个与所述工单特征信息相匹配的特征模型,所述第四确定装置7的工作原理可以参考前述步骤S204,在此不予赘述。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (13)
1.一种基于特征建模实现工单收敛的控制方法,其基于动态获取数据、总结规则建模,并将工单数据应用于建模中实现工单收敛,其特征在于,包括如下步骤:
a.基于一个或多个工单确定所述一个或多个工单中的一个或多个特征信息;
b.逐一将一个或多个工单中的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,获取一个或多个收敛工单和/或一个或多个未收敛工单。
2.根据权利要求1所述的控制方法,其特征在于,在所述步骤b之后,还包括步骤c:匹配与一个或多个收敛工单和/或一个或多个未收敛工单相适应的工单信息,并将所述工单信息进行动态展示。
3.根据权利要求1或2所述的控制方法,其特征在于,在所述步骤a中,所述特征信息至少包括:
工单分类信息;
信息提取信息;
工单收敛信息;以及
根因分析信息。
4.根据权利要求3所述的控制方法,其特征在于,所述步骤b包括如下步骤:
b1.基于所述工单的工单分类信息判断是否收敛为第一特征模型群组,若是,则执行步骤b2;
b2.在所述第一特征模型群组中基于所述工单的信息提取信息判断是否收敛为第二特征模型群组,若是,则执行b3;
b3.在所述第二特征模型群组中基于所述工单的工单收敛信息判断是否收敛为第三特征模型群组,若是,则执行b4;
b4.在所述第三特征模型群组中基于所述工单的根因分析信息判断是否收敛为第四特征模型群组。
5.根据权利要求1或2或4所述的控制方法,其特征在于,所述特征模型的建立将通过如下方式获取:
i:基于一种或多种数据采集方式在一个或多个数据采集平台获取一个或多个原始工单信息;
ii:对所述一个或多个原始工单信息进行预处理,确定一个或多个预处理工单信息;
iii:对所述一个或多个预处理工单信息进行特征提取,确定一个或多个工单特征信息;
iv:基于所述一个或多个工单特征信息建模,确定一个或多个与所述工单特征信息相匹配的特征模型。
6.根据权利要求5所述的控制方法,其特征在于,所述数据采集方式至少包括如下方式中的任一种或任多种:
SQL导出;
第三方API导出;或者
爬虫采集。
7.根据权利要求5所述的控制方法,其特征在于,所述数据采集平台至少包括如下平台中的任一种或任多种:
运维派单系统;
配置管理数据库;
应用性能监测;
看板系统;或者
统一日志平台。
8.根据权利要求5所述的控制方法,其特征在于,所述原始工单信息至少包括如下信息中的任一种或任多种:
工单;
CMDB;或者
APM。
9.根据权利要求5所述的控制方法,其特征在于,所述预处理包括附件采集、数据筛选和数据编码。
10.根据权利要求1-9中任一项所述的控制方法,其特征在于,所述收敛工单以及所述未收敛工单至少包括如下两个方面:
一个或多个故障在一个或多个监测维度下产生的一个或多个工单;
一个或多个原因导致的一个或多个告警现象在一个或多个时刻下的反复出现。
11.一种基于特征建模实现工单收敛的控制装置,其特征在于,包括:
第一确定装置(1):基于一个或多个工单确定一个或多个工单中的一个或多个特征信息;
第一获取装置(2):逐一将一个或多个工单中的一个或多个特征信息与所述特征信息相对应的特征模型进行匹配,获取一个或多个收敛工单和/或一个或多个未收敛工单。
第一处理装置(3):匹配与一个或多个收敛工单和/或一个或多个未收敛工单相适应的工单信息,并将所述工单信息进行动态展示。
12.根据权利要求11所述的控制装置,其特征在于,所述第一获取装置包括如下:
第一判断装置(21):基于所述工单的工单分类信息判断是否收敛为第一特征模型群组;
第二判断装置(22):在所述第一特征模型群组中基于所述工单的信息提取信息判断是否收敛为第二特征模型群组;
第三判断装置(23):在所述第二特征模型群组中基于所述工单的工单收敛信息判断是否收敛为第三特征模型群组;
第四判断装置(24):在所述第三特征模型群组中基于所述工单的根因分析信息判断是否收敛为第四特征模型群组。
13.根据权利要求11所述的控制装置,其特征在于,还包括:
第二获取装置(4):基于一种或多种数据采集方式在一个或多个数据采集平台获取一个或多个原始工单信息;
第二确定装置(5):对所述一个或多个原始工单信息进行预处理,确定一个或多个预处理工单信息;
第三确定装置(6):对所述一个或多个预处理工单信息进行特征提取,确定一个或多个工单特征信息;
第四确定装置(7):基于所述一个或多个工单特征信息建模,确定一个或多个与所述工单特征信息相匹配的特征模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910423511.7A CN110175272A (zh) | 2019-05-21 | 2019-05-21 | 一种基于特征建模实现工单收敛的控制方法及控制装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910423511.7A CN110175272A (zh) | 2019-05-21 | 2019-05-21 | 一种基于特征建模实现工单收敛的控制方法及控制装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110175272A true CN110175272A (zh) | 2019-08-27 |
Family
ID=67691614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910423511.7A Pending CN110175272A (zh) | 2019-05-21 | 2019-05-21 | 一种基于特征建模实现工单收敛的控制方法及控制装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110175272A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178537A (zh) * | 2019-12-09 | 2020-05-19 | 华为技术有限公司 | 一种特征提取模型训练方法及设备 |
CN112183782A (zh) * | 2020-10-13 | 2021-01-05 | 中国联合网络通信集团有限公司 | 故障工单处理方法及设备 |
CN113542039A (zh) * | 2021-09-16 | 2021-10-22 | 浩鲸云计算科技股份有限公司 | 一种通过ai算法定位5g网络虚拟化跨层问题的方法 |
CN115695142A (zh) * | 2022-10-25 | 2023-02-03 | 浪潮通信信息系统有限公司 | 一种面向网络运维的事件监控方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1980444A (zh) * | 2005-12-02 | 2007-06-13 | 上海移动通信有限责任公司 | 用户归属寄存器数据查询及处理的集中收敛整合方法 |
CN109165808A (zh) * | 2018-07-18 | 2019-01-08 | 南瑞集团有限公司 | 一种电力通信网现场运维工单派发方法 |
-
2019
- 2019-05-21 CN CN201910423511.7A patent/CN110175272A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1980444A (zh) * | 2005-12-02 | 2007-06-13 | 上海移动通信有限责任公司 | 用户归属寄存器数据查询及处理的集中收敛整合方法 |
CN109165808A (zh) * | 2018-07-18 | 2019-01-08 | 南瑞集团有限公司 | 一种电力通信网现场运维工单派发方法 |
Non-Patent Citations (1)
Title |
---|
胡罡: "https://e.huawei.com/cn/publications/cn/ict_insights/201809301120/case/201810080931", 《华为期刊》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178537A (zh) * | 2019-12-09 | 2020-05-19 | 华为技术有限公司 | 一种特征提取模型训练方法及设备 |
CN111178537B (zh) * | 2019-12-09 | 2023-11-17 | 华为云计算技术有限公司 | 一种特征提取模型训练方法及设备 |
CN112183782A (zh) * | 2020-10-13 | 2021-01-05 | 中国联合网络通信集团有限公司 | 故障工单处理方法及设备 |
CN112183782B (zh) * | 2020-10-13 | 2024-04-12 | 中国联合网络通信集团有限公司 | 故障工单处理方法及设备 |
CN113542039A (zh) * | 2021-09-16 | 2021-10-22 | 浩鲸云计算科技股份有限公司 | 一种通过ai算法定位5g网络虚拟化跨层问题的方法 |
CN115695142A (zh) * | 2022-10-25 | 2023-02-03 | 浪潮通信信息系统有限公司 | 一种面向网络运维的事件监控方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110175272A (zh) | 一种基于特征建模实现工单收敛的控制方法及控制装置 | |
CN107861942B (zh) | 一种基于深度学习的电力疑似投诉工单识别方法 | |
CN111240662B (zh) | 一种基于任务可视化拖拽的spark机器学习系统及学习方法 | |
CN110942387B (zh) | 基于微服务的电票业务功能构建方法和系统 | |
CN109871401A (zh) | 一种时间序列异常检测方法及装置 | |
CN108021929A (zh) | 基于大数据的移动端电商用户画像建立与分析方法及系统 | |
CN107317724A (zh) | 基于云计算技术的数据采集系统及方法 | |
US11416754B1 (en) | Automated cloud data and technology solution delivery using machine learning and artificial intelligence modeling | |
CN113094200A (zh) | 一种应用程序的故障预测方法和装置 | |
CN110110095A (zh) | 一种基于长短期记忆循环神经网络的电力指令文本匹配方法 | |
CN111368926B (zh) | 图像筛选方法、装置和计算机可读存储介质 | |
CN105930347A (zh) | 基于文本分析的停电原因识别系统 | |
CN108229170B (zh) | 利用大数据和神经网络的软件分析方法和装置 | |
US20210141779A1 (en) | System and method for facilitating an objective-oriented data structure and an objective via the data structure | |
CN110308946A (zh) | 基于人工智能的跑批处理方法、设备、存储介质及装置 | |
US20220291966A1 (en) | Systems and methods for process mining using unsupervised learning and for automating orchestration of workflows | |
CN114757307B (zh) | 一种人工智能自动训练方法、系统、装置及存储介质 | |
CN109635089B (zh) | 一种基于语义网络的文学作品新颖度评价系统和方法 | |
CN113947468A (zh) | 一种数据管理方法及平台 | |
CN113312924A (zh) | 一种基于nlp高精解析标签的风险规则分类方法及装置 | |
CN110086166B (zh) | 一种电网稳定运行限额的表示方法及系统 | |
CN106407271B (zh) | 一种智能客服系统及其智能客服知识库的更新方法 | |
CN115269862A (zh) | 一种基于知识图谱的电力问答与可视化系统 | |
Repta et al. | Towards document flow discovery in e-government systems | |
CN116010187A (zh) | 一种日志检测方法以及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190827 |