CN111612178A

CN111612178A - 一种模型的诊断方法及相关设备

Info

Publication number: CN111612178A
Application number: CN202010424562.4A
Authority: CN
Inventors: 赵诗环; 付惠; 盘隆; 杨莽原; 谭水莲; 陈晓宾; 龚永源; 麻媛媛; 梁舒; 林国玲; 王俊豪; 邓宇恒; 吕泽立; 王文植
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-05-19
Filing date: 2020-05-19
Publication date: 2020-09-01

Abstract

本申请提供了一种模型的诊断方法及相关设备，应用于运维场景对应的机器学习平台，可以基于运维场景构建对应的模型，并对模型进行诊断评估。该方法包括：基于目标运维场景获取样本特征集，所述目标运维场景为待构建模型的运维场景；根据所述目标运维场景从模型算法库中选取对应的目标模型算法；根据所述目标模型算法以及所述样本特征集生成目标模型；确定所述目标模型的评估结果；根据所述目标模型的评估结果确定所述目标模型的诊断建议；展示所述目标模型的诊断建议和/或所述目标模型的评估结果。

Description

一种模型的诊断方法及相关设备

技术领域

本申请涉及通信领域，尤其涉及一种模型的诊断方法及相关设备。

背景技术

智能运维(Artificial Intelligence for IT Operations，AIOps)是指使用智能化的手段去解决运维场景下的常见问题。目标通过机器学习的方式对解决运维场景下的常见问题。

但是目前通用的机器学习提供的工具主要是解决模型训练这个步骤，首先并没有针对运维这个垂直领域的机器学习平台，另外对于模型效果不符合预期的情况，没有诊断功能。

发明内容

本申请提供了一种模型的诊断方法及相关设备，可以基于运维场景构建对应的模型，并对模型进行诊断评估。

本申请第一方面提供了一种模型的诊断方法，包括：

基于目标运维场景获取样本特征集，所述目标运维场景为待构建模型的运维场景；

根据所述目标运维场景从模型算法库中选取对应的目标模型算法；

根据所述目标模型算法以及所述样本特征集生成目标模型；

确定所述目标模型的评估结果；

根据所述目标模型的评估结果确定所述目标模型的诊断建议；

展示所述目标模型的诊断建议和/或所述目标模型的评估结果。

可选地，所述基于目标运维场景获取样本特征集包括：

在样本添加页面接收第一操作指令；

根据所述第一操作指令获取样本数据；

对所述样本数据进行标注，得到标注样本集；

对所述标注样本集进行特征提取，得到所述样本特征集。

可选地，所述对所述标注样本集进行特征提取，得到所述样本特征集包括：

在特征选取页面接收第二操作指令，所述特征选取页面包括所述目标运维场景对应的至少一个特征；

根据所述第二操作指令选择目标特征；

基于所述目标特征对所述标注样本集进行特征提取，得到所述样本特征集。

可选地，所述根据所述目标运维场景从模型算法库中选取对应的目标模型算法包括：

在模型算法选择界面接收第三操作指令；

根据所述第三操作指令从所述模型算法库中选择所述目标模型算法。

可选地，所述方法还包括：

当所述模型算法库中不包括所述目标模型算法时，构建所述目标模型算法，并将所述目标模型算法添加至所述模型算法选择界面。

可选地，所述方法还包括：

通过所述目标模型对所述目标运维场景的场景数据进行处理，得到输出结果；

当所述输出结果异常时，将所述输出结果标记后反馈至所述样本特征集；

基于反馈后所述样本特征集对所述目标模型进行优化。

可选地，所述方法还包括：

根据所述诊断建议调整所述目标模型算法的参数和/或所述样本特征集；

基于调整参数后的所述目标模型算法和/或调整后的所述样本特征集对所述目标模型进行优化。

本申请第二方面提供了一种模型的诊断装置，包括：

获取单元，用于基于目标运维场景获取样本特征集，所述目标运维场景为待构建模型的运维场景；

选取单元，用于根据所述目标运维场景从模型算法库中选取对应的目标模型算法；

生成单元，用于根据所述目标模型算法以及所述样本特征集生成目标模型；

评估单元，用于确定所述目标模型的评估结果；

诊断单元，用于根据所述目标模型的评估结果确定所述目标模型的诊断建议；

展示单元，用于展示所述目标模型的诊断建议和/或所述目标模型的评估结果。

可选地，所述获取单元具体用于：

在样本添加页面接收第一操作指令；

根据所述第一操作指令获取样本数据；

对所述样本数据进行标注，得到标注样本集；

对所述标注样本集进行特征提取，得到所述样本特征集。

可选地，所述获取单元对所述标注样本集进行特征提取，得到所述样本特征集包括：

根据所述第二操作指令选择目标特征；

可选地，所述选取单元具体用于：

在模型算法选择界面接收第三操作指令；

可选地，所述选取单元还用于：

可选地，所述生成单元还用于：

基于反馈后所述样本特征集对所述目标模型进行优化。

可选地，所述生成单元还用于：

本申请第三方面提供了一种计算机装置，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述程序代码由所述处理器加载并执行以实现上述所述的模型的诊断方法的步骤。

本申请第四方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述所述的模型的诊断方法的步骤。

综上所述，可以看出，本申请提供的实施例中，通过运维场景获取样本特征集，并选择运维场景对应的算法，之后根据运维场景对应的算法以及样本特征集训练模型，并计算模型的评分，并根据评分确定诊断建议，之后展示模型的诊断建议和/或模型的评分。由此可见，本申请中，可以基于运维场景构建对应的模型，并对模型进行诊断评估以及展示诊断建议和/或评估结果。

附图说明

图1为本申请实施例提供的AIOps的架构示意图；

图2为本申请实施例提供的运维场景的异常处理示意图；

图3为本申请实施例提供的模型的诊断方法的一个流程示意图；

图4为本申请实施例提供的模型的诊断方法的另一流程示意图；

图5为本申请实施例提供的样本准备的页面示意图；

图6为本申请实施例提供的数据处理的页面示意图；

图7为本申请实施例提供的时序异常特征库的详细界面示意图；

图8为本申请实施例提供的调节模型算法的超参数的界面示意图；

图9为本申请实施例提供的模型的总览的界面示意图；

图10为本申请实施例提供的模型的曲线分布的界面示意图；

图11为本申请实施例提供的模型评估的数据预览曲线示意图；

图12为本申请实施例提供的模型的组装和拼接的界面示意图；

图13为本申请实施例提供的以模型为异常检测模型为例进行数据采集、处理以及告警的流程示意图；

图14为本申请实施例提供的模型的诊断装置的虚拟结构示意图；

图15为本申请实施例提供的终端设备的硬件结构示意图；

图16为本申请实施例提供的服务器的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征向量可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。

本申请实施例涉及人工智能领域以及机器学习领域，下面对人工智能以及机器学习的相关内容进行说明：

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。

自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

请参阅图1，图1为本申请实施例提供的AIOps的架构示意图，包括运维场景101、数据管理102、数据分析103、工具104、业务画像105以及运维大脑106，其中，运维场景101包含质量(监控)、效率、成本和安全这个四个方面，每个场景下分别关注的问题有：

质量(监控)：异常告警、故障预测、告警收敛、故障定位以及操作推荐；

成本：容量规划以及下载限速优化；

效率：智能变更、智能问答以及智能预测；

安全：道具反作弊。

数据管理102包括各个运维场景对应的自定义数据、标准化数据以及智能数据等数据，数据分析103包括自定义分析、简单场景分析以及复合场景分析，工具104包括数据集成、数据开发、统一分析以及数据管理等工具；

业务画像105包括各个运维场景对应的画像，包括：质量画像、效率画像、成本画像以及安全画像，运维大脑106包括智能决策、运维知识库以及运维大脑。可以理解的是，图1中运维场景101当然也还可以根据用户的需求增加新的场景，例如运营体系场景，业务画像105当然也还可以包括其他的画像，例如数据画像，另外，其他的模块例如数据管理102、数据分析103、工具104以及106均可以根据实际情况进行添加或者删除，具体不做限定。

AIOps包括多个细分场景，基于这些细分场景，确定了每个场景需要用到的数据，并且提供了针对场景定制化开发的建模工具，其中，AIOps的主要应用场景就是智能监控，下面结合表1对智能监控进行说明：

请参阅表1，表1为本申请实施例提供的AIOps的智能监控场景的阶段、场景分类以及应用场景：

表1

其中，各个应用场景对应的数据为指标型数据、日志型数据、事件型数据以及配置型数据，指标性数据包括硬件资源、网络层、操作系统、模块组件以及业务数据等数据，日志型数据包括日志数据，事件型数据包括运维操作、告警事件以及公告等数据，配置型数据包括关系配置数据以及属性配置数据；

下面对各个应用场景的告警事件的告警数据进行说明：

告警关联屏蔽应用场景对应的告警事件的告警数据包括基础性能告警、网络告警、模块组件(中间件)告警以及业务指标告警，异常机器定位应用场景对应的告警事件的告警数据包括基础性能告警，网络故障故障定位应用场景对应的告警事件的告警数据为网络告警，模块组件故障定位对应的告警事件的告警数据为模块组件(中间件)告警，智能操作推荐应用场景对应的告警事件的故障数据为INC故障等。

另外，多维度下钻分析应用场景的业务数据为用户运营指标，告警关联屏蔽应用场景的公告数据为网络公告以及营研公告，异常机器定位应用场景对应的关系配置为硬件资源拓扑，网络故障故障定位应用场景对应的关系配置为网络拓扑数据，模块组件故障定位应用场景对应的关系配置为业务模块拓扑数据，智能操作推荐应用场景对应的运维操作数据为标准运维操作数据包含对应的故障类型。

下面对指标型数据、日志型数据、事件型数据以及配置型数据进行说明：

一、指标性数据；

1、硬件指标；

2、网络层指标；网络层指标包括网络性能指标以及设备性能指标，网络性能指标又包括流量、吞吐量、丢包率、延迟以及背靠背(back-toback)；设备性能指标又包括带宽、包转发率以及中央处理器(CPU，central processing unit)相关(路由器)等指标；

3、操作系统指标；操作系统指标包括主机基础性能指标，该主机基础性能指标又包括CPU相关性能指标、磁盘相关性能指标、内存相关性能指标以及网卡相关性能指标；

4、模块组件指标；模块组件指标包括组件指标以及进程性能指标，其中，组件指标包括数据库、域名服务、超文本传输协议((HyperText Transfer Protocol，HTTP)服务、消息队列、分布式文件系统以及分布式协调系统，进程性能指标又包括进行使用CPU相关指标、进程使用内存相关指标以及进行使用磁盘相关指标；

5、业务数据指标；业务数据指标包括用户运营指标、业务指标以及业务舆情数据，其中，用户运营指标为业务在线以及营收，业务指标为游戏注册以及游戏登录。

二、日志型数据；

包括日志数据，该日志数据为操作系统日志、组件日志以及网络设备日志的数据。

三、事件型数据；

1、运维操作；运行操作包括运维操作类数据；

2、告警事件；告警事件包括告警数据以及故障数据，其中，告警数据包括基础性能告警数据、网络告警数据、模块组件告警数据以及业务指标告警数据，故障数据包括业务故障数据；

3、公告数据；公告数据包括网络公告数据、业务营销类公告数据以及业务运维操作类公告数据。

四、配置型数据；

1、关系配置；关系配置包括硬件资源拓扑数据、网络拓扑关系数据以及业务模块拓扑关系数据；

2、属性配置；属性配置包括硬件资源配置数据、网络设备配置数据以及业务模块拓扑数据，其中，硬件资源配置数据包括机房配置、集群配置以及物理主机配置等数据，网络设备配置数据包括交换机配置以及路由器配置。

需要说明的是，上述各个类型数据仅为举例说明，并不代表对其的限定。

还需要说明的是，在对各个运维场景进行模型构建的时候还会用到场景建模工具，该场景建模工具包括操作推荐、单指标异常检测、多指标异常检测、时序曲线分类、时序预测、事件故障定位、文本异常检测、异常指标关联以及指标事件关键等场景建模工具。

在智能运维场景中，各个运维场景的异常处理包括三个阶段，1、异常发现阶段，2、故障诊断阶段，3、故障处理阶段，下面结合图2本申请实施例提供的运维场景的异常处理阶段、各个阶段的应用场景以及数据进行说明，请参阅图2，图2为本申请实施例提供的场景化建模工具的示意图，横轴201是标准化数据的建设路径，纵轴202是场景工具的建设路径。整体建设思路如下：

逐步接入指标数据、日志数据、事件数据以及配置数据，同时也逐步丰富场景化的分析工具，具体的工具包含但不限于：

异常检测：单/多维时间序列异常检测；

故障预测：时间序列预测；

关联分析：时间序列聚类/相似性，告警关联与压缩，事件与时间序列关联性；

故障定位：多维下钻根因分析，ROOT根源分析；

日志分析：日志模板提取，日志异常定位。

继续参阅图2，阶段203包括异常发现阶段、故障诊断阶段以及故障处理阶段：

阶段203中的异常发现阶段包括单指标异常检测、文本异常检测以及时序预测，异常发现阶段在训练模型时需要用到的训练样本数据为各个应用场景对应的指标数据以及日志数据，例如该单指标异常检测为网络监控、基础性能监控、模块组件监控、业务指标监控、设备故障预测、容量预测、容量规划、运营指标预测、日志监控或舆情监控，那么在构建网络异常监控模型时的样本数据即为网络监控对应的指标数据，在构建日志监控模型时，用到的样本数据极为日志数据；

阶段203中的故障诊断阶段包括指标事件关联、异常指标关联以及故障定位；

阶段203中的故障处理阶段的应用场景包括运维操作推荐，包括扩缩容量，发布，切换以及停服等操作。也就是说，各个阶段有各个阶段的应用场景对应的模型，例如异常发现阶段，有网络监控、基础性能监控、模块组件监控、业务指标监控、设备故障预测、容量预测、容量规划以及运营指标预测对应的模型，在训练这些模型时，需要用到各个应用场景对应的数据，例如网络监控模型在训练时会用到网络监控应用场景对应的指标数据。

为了方便运维用户使用AI的方法解决运维场景问题，数据平台提供了场景化的机器学习工具，该工具基于数据平台的计算引擎，更加贴近AIOps场景，可以缩小运维团队的开发成本，此外还提供模型服务和数据服务等内容，降低用户的使用门槛。

请参阅图3，图3为本申请实施例提供的模型的诊断方法的一个流程示意图，包括：

301样本准备，302特征工程，303模型训练，304模型部署以及305闭环反馈；

首先根据用户的需求确认需要建模的运维场景(例如图2中的网络监控场景)，之后通过样本准备301构建该运维场景的样本数据并进行标注，302特征工程阶段包括数据准备和特征工程(可以理解的时，在模型构建时和模型应用时，不同的运维场景数据都会经过数据处理步骤，具体此处不在展开说明)；在303模型训练时，通过302特征工程得到的特征数据进行训练得到模型；在304模型部署阶段对模型进行评估，并根据评估结果调整模型的超参数，之后发布模型，包括模型记录的发布以及管理，并在应用模型的过程中，将运维场景的数据应用到已发布的模型；在305闭环反馈阶段，模型在流程化建模中会使用应用数据的标注反馈功能，其中，标注包括人工标注和模型检测结果。经过人工修改以及反馈后的模型检测结果将转换为人工标注，以供模型后续优化升级，形成闭环。这样，通过模型部署以及闭环反馈，对模型进行评估并调整模型的超参数，可以得到更加优化的模型。

下面从模型的诊断装置的角度对本申请的方法模型的诊断方法进行说明，该模型的诊断装置可以为终端设备，也可以是服务器，也可以是服务器中的服务单元，具体不做限定。

请参阅图4，图4为本申请实施例提供的模型的诊断方法的流程示意图，包括：

401、基于目标运维场景获取样本特征集。

本实施例中，模型的诊断装置可以首先根据用户需求确认需要构建模型的目标运维场景，例如单指标异常检测，之后可以基于给目标运维场景获取样本特征集。

一个实施例中，模型的诊断装置基于目标运维场景确定目标训练样本包括：

在样本添加页面接收第一操作指令；

根据第一操作指令获取样本数据；

对样本数据进行标注，得到标注样本集；

对标注样本集进行特征提取，得到样本特征集。

本实施例中，首先展示样本添加页面，并在样本添加页面接收用户的第一操作指令，并根据第一操作指令获取样本数据，并对样本数据进行标注，得到标注样本集，之后对标注样本集进行特征提取，得到样本特征集。也就是说，用户可以将DataFlow中的数据导入到样本集，无需进行额外的数据采集和数据清洗成本；接着，用户可以通过自动标注对样本进行标注，得到标注样本集(当然也还可以采用人工手动标注的方式对样本进行标注，具体不做限定)。其中，Dataflow里面存储的有各个运维场景的数据，也就是说，在获取训练样本时，只需要确定当前的运维场景，之后根据运维场景即可以从Dataflow里面选择相应的数据进行导入。一个DataFlow任务里可以有多个节点，也可以有多重形式的节点，包括：源数据节点、实时计算节点、离线计算节点、模型节点、存储节点等。

在一个实施例中，生成第一操作指令的操作至少包括手势操作、滑动操作、点击操作以及声控操作中的一种，例如当用户样本添加页面进行点击操作时，模型的诊断装置可以接收到该点击操作，此时，该点击操作即生成第一操作指令，也就是说，可以提前定义操作指令，例如提前定义滑动操作为获取样本数据的操作(如左滑操作、右滑操作、上滑操作以及下滑操作等等)，或者定义点击操作为获取样本数据的操作(如单击操作或双击操作等等)，或者定义手势操作为获取样本数据的操作(如向左摆动手腕或手臂，向右摆动手腕或手臂，如四根手指收缩操作或者三根手指上滑操作等等，不同的运维场景对应了不同的手势操作)，或者定义声控操作为获取样本数据的操作(如收到获取样本数据的声音以及具体的运维场景的声音)，上述仅为举例说明，并不代表对生成操作指令的操作进行限定。

需要说明的是，在对标注样本集进行特征提取，得到样本特征集时，可以在特征选取页面接收第二操作指令，特征选取页面包括目标运维场景对应的至少一个特征；根据第二操作指令选择目标特征；基于目标特征对所述样本数据进行特征提取，得到样本特征集。该至少一个特征包括相对于昨天同时刻变化值、相对于昨天同时刻变化率、相对于前一时刻变化值、相对于前一时刻变化率、当前时刻波动率减去上一时刻波动率、指数移动加权异常分值以及长期均线和短期均线的差值：衡量目前是在上升还是下降等特征，当然也还可以是其他的特征，具体不做限定。

下面结合图5以及图6对样本数据的添加以及目标运维场景的特征的选取进行说明：

请参阅图5，500为样本添加页面，用户可以对501区域进行操作，选择样本数据来源，如“dimension_rt-sum”设置数据频度，如“60秒”，设置添加数据的样本集、时间字段、检测指标字段、曲线分组以及曲线ID字段等信息；

还可以通过对503区域进行操作，以对样本集进行初始化设置，通过区域502显示历史依赖数据或者待添加样本的样本曲线，通过区域505设置待添加样本数据的时间区间，或者将样本集中的样本数据全部添加，通过区域506将待添加样本添加至候选列表，另外，样本添加页面还通过507区域展示待添加样本的序号、样本数据名称、样本是否重复、样本的起始时间、截止时间以及备注，并设置移除按键，在区域504显示样本数据对应的曲线分组(图5中并未示出具体的曲线分组)，在通过用户的操作指令设置好样本数据的信息之后，可以通过对区域508的操作将样本进行添加。

请参阅图6，图6为本申请实施例提供的数据处理的界面示意图，600模型构建页面，包括构建模型601，模型记录602，其中模型记录602包括检测指标，以及模型的训练流程，如区域602中显示的“选择样本集、数据处理以及算法训练”，603区域为样本准备，展开之后显示如图5所示的界面图，图5已经对样本准备进行详细说明，具体此处不再赘述；

604区域为数据处理，可以对样本集(应用数据)进行数据处理和特征工程，以供算法使用，可以展示特征的序号、节点、待处理字段、新增输出字段以及操作(该操作包括但不限于添加、删除以及置顶)，以区域605为例进行说明，特征序号为2，节点为时序异常特征库，待处理字段为1个处理字段，新增输出字段为11个输出，通过点击区域607中的收起可以展示区域605中时序异常特征库的详细信息；最后，通过608区域的全部训练开始对模型进行训练。

请参阅图7，图7为本申请实施例提供的时序异常特征库的详细界面示意图，通过图7的界面示意图可以展示图6中序号为“2”节点为“时序异常特征库”的详细信息，使得用户更加直观感受样本特征提取的具体内容。

请参阅图7，该时序异常特征库的详细界面示意图包括701算法说明，如“时序特征库：自动计算时间序列的特征。一般用于异常检测场景下对时间序列数据进行特征提取”，702参数，如“该节点不需要参数”，703输出字段说明，时序特征库提供了以下特征计算函数，图7中以4个待提取特征进行说明，当然实际应用中不止4个，为了描述渐变，此处以4个为例进行说明，例如带提取特征为“bk_ts_diff”，待提取特征中文名为“一阶差分”，说明为“一阶差分。”

402、根据目标运维场景从模型算法库中选取对应的目标模型算法。

本实施例中，模型的诊断装置可以展示模型算法选择界面，并通过模型算法选择界面接收第三操作指令，根据该第三操作指令从模型算法库中选取对应的目标模型算法。也就是说，可以展示模型算法库中当前运维场景对应的各个模型算法的得分，选择得分最高的算法或者是得分大于预设值的算法作为目标模型算法，当然也还可以根据其他的方式来选择模型算法，具体不做限定。

需要说明的是，需要说明的是，模型算法库中包括多个模型算法，例如高斯分布检测算法、移动平均控制图、指数滑动平均控制图、dbscan、孤立森林、局部异常因子、单分类支持向量机、随机森林、gbdt以及决策树等模型算法，另外，当用户需要的模型算法不存在该模型算法库中时，可以自行进行添加，例如通过写代码的方式将用户想用的模型算法进行添加。另外，生成第三操作指令的方式与生成第一操作指令的方式类似，上述已经进行了详细说明具体此处不再赘述。

下面结合图6对模型算法的选择进行说明，请参阅图6，用户可以对图6中的区域606进行操作，选择模型算法，例如区域606中的“随机森林算法”以及“梯度提升二分类决策树”，另外区域606中还可以显示，各个算法的算法输入字段以及算法输出字段；在选择好模型算法之后，可以通过对区域608“全部训练”的操作，通过选择的算法以及数据处理后的特征进行模型训练，得到训练好的模型。

还需要说明的是，本申请中的模型算法中的参数可解释：基于开源算法的封装，将基于模型算法的超参映射成具有场景含义的超参数，例如模型参数中的N，可以定义为敏感度，算法结果可解释，例如分类模型输出的是概率，将该概率根据实际的应用场景进行定义，另外在对模型进行评估时，也可以根据实际的应用场景设置评估指标。交互式调节模型算法的超参数据，请参阅图8，图8为本申请实施例提供的调节模型算法的超参数的示意图，如图8中的801敏感度n为1时的高斯分布异常检测图以及概率密度图，用户可以通过对敏感度进行调节，例如将n调节为2，此时，高斯分布异常检测图以及概率密度图也会跟着敏感度进行更改，使得用户可以实时看到调节超参数的显示效果。

需要说明的是，通过步骤401可以获取样本特征集，通过步骤402可以选取目标模型算法，然而这两个步骤之间并没有先后执行顺序的限制，可以先执行步骤401，也可以先执行步骤402，或者同时执行，具体不做限定。

403、根据目标模型算法以及样本特征集生成目标模型。

本实施例中，在选择了目标模型算法以及添加了样本特征集之后，可以根据目标模型算法以及样本特征集生成目标模型。

需要说明的是，可以将样本特征集按照预设比例分成两部分，一部分为训练样本特征集，一部分为验证样本特征集，通过训练样本特征集进行模型训练，通过验证样本集对模型进行验证，其中该预设比例可以为7：3，训练样本特征集为70％，验证样本特征集为30％，当然也还可以为其他的比例，例如8：2，具体不做限定。

404、确定目标模型的评估结果。

本实施例中，在得到目标模型之后，可以对目标模型进行评估得到评估结果。例如可以通过召回率、准确率和/或F值(当然也还可以使用其他的模型评价指标来对目标模型进行评估，具体不做限定)对目标模型进行评估，得到评估结果。

405、根据目标模型的评估结果确定目标模型的诊断建议。

本实施例中，模型的诊断装置可以根据目标模型的评估结果确定目标模型的诊断建议，例如该诊断建议可以为“模型评分过低，请丰富样本集或者增加特征”。

406、展示目标模型的诊断建议和/或目标模型的评估结果。

本实施例中，在得到目标模型的评分以及目标模型的诊断建议之后，可以展示模型模型的诊断建议和/或目标模型的评分。

需要说明的是，模型的诊断装置在得到目标模型的诊断建议之后，可以根据诊断建议调整目标模型算法的参数和/或样本特征集，例如诊断建议为“请丰富样本集或者增加特征”，则可以对添加更多的样本数据至样本特征集，或者在特征选择界面选择更多的特征，之后根据调整参数后的目标模型算法和/或调整后的样本特征集对模型进行优化。

下面结合图9、图10以及图11对模型的评估展示进行说明

下面结合图9对目标模型的总览进行说明，请参阅图9，图9为本申请实施例提供的模型的总览的界面示意图，如图9中的总览包括评估得分901、检测详情902、模型信息903以及漏检误检904；

其中，评估得分包括综合得分9011、准确率9012、误检率9013、检出率9014以及漏检率9015等信息；

检测详情902包括训练集9021、验证集9022以及异常9023，其中异常9023包括样本标注异常以及模型检测异常，如8023中所示的“样本标注异常100万行，其中，检出30万行，漏检70万行”以及“模型检测异常50行，其中检出30行，误检20行”，此处以训练集与验证集的比例为7：3为例进行说明；

模型信息以及指标解释903包括模型训练、模型评估、异常检测算法以及算法参数等信息，如903中的模型训练的开始时间、结束时间以及训练耗时，模型评估的阈值为70％，异常检测算法为随机森林算法，算法参数为叶子节点数，其中，指标解释图中未示出；

漏检误检904包括漏检误检等信息。

需要说明的是，图9中展示的图标仅为举例说明，当然也还可以有其他的图标展示方式，例如综合得分9011，可以直接以分数进行展示，具体不做限定。

请参阅图10，图10为本申请实施例提供的模型的曲线分布的界面示意图，包括评估得分(曲线分布)1001、检测详情(曲线分布)1002(图中并未示出具体的曲线分布详情)以及曲线列表1003，其中评估得分1001中的综合得分、检出率以及准确率以柱状图的形式进行展示，检测详情1002可以通过点击曲线分布以查看各级别的曲线检测详情，曲线列表1003中包括样本曲线名称、漏检数量、检出数量、误检数量、检出率、准确率、综合得分、样本标注异常以及模型检测异常的信息。

请参阅图11，图11为本申请实施例提供的模型评估的数据预览曲线示意图，此处以漏检和检出率为例进行说明，1101可以展示选择的漏检以及检出率的样本曲线的相关信息，1102可以展示漏检以及检出率差的特征信息，如“特征指标(value)中的去重计数1050万以及缺失值个数30”等信息，数据预览表格1103可以展示漏检、检出率差以及训练集等的时间戳、检测指标、异常标注曲线名以及曲线分布等信息。由此可以通过可视化的方式查看目标模型的评估结果，更加直观的对目标模型的验证进行展示。

需要说明的是，在构建好场景对应的模型之后，可以将模型进行组装和拼接，用于完成更复杂的任务，下面结合图12对模型的组装和拼接进行说明：

请参阅图12，图12为本申请实施例提供的模型的组装和拼接的界面示意图，在得到各个模型之后可以对模型进行组装以及拼接，1201模型中显示场景化模型，如单指标异常检测1203、曲线分类1202、自定义场景模型以及CFM热力图，收藏夹1204中展示已经组装完毕的复合模型以及场景化模型，如图12所示，曲线分类1202包括曲线类型1、曲线类型2、曲线类型3以及曲线类型4，各个曲线类型对应的单指标异常检测模型为：异常检测模型1、异常检测模型2、异常检测模型3以及异常检测模型4，通过对各个模型的输出以及输入进行判断完成复合模型的组装。

需要说明的是，当用户构建并发布模型之后，在DataFlow的面板拖拽「数据源」节点，「机器学习」节点，以及「动作执行」节点，并且将这些节点进行连线，就可以完成从感知，分析到决策整个流程的功能。请参阅图13，图13以模型为异常检测模型为例对整个流程进行说明，包括数据源节点1301，机器学习302以及动作执行1303，通过数据源节点1301获取采集数据，之后通过机器学习1302对数据进行处理，以感知采集的数据时正常还是异常，如果是异常，则执行动作执行1303。

上面从的模型的诊断方法的角度对本申请进行说明，下面从模型的诊断装置的角度对本申请进行说明。

请参阅图14，图14为本申请实施例提供的一种模型的诊断装置的虚拟结构示意图，包括：

获取单元1401，用于基于目标运维场景获取样本特征集，所述目标运维场景为待构建模型的运维场景；

选取单元1402，用于根据所述目标运维场景从模型算法库中选取对应的目标模型算法；

生成单元1403，用于根据所述目标模型算法以及所述样本特征集生成目标模型；

评估单元1404，用于确定所述目标模型的评估结果；

诊断单元1405，用于根据所述目标模型的评估结果确定所述目标模型的诊断建议；

展示单元1406，用于展示所述目标模型的诊断建议和/或所述目标模型的评估结果。

可选地，所述获取单元1401具体用于：

在样本添加页面接收第一操作指令；

根据所述第一操作指令获取样本数据；

对所述样本数据进行标注，得到标注样本集；

对所述标注样本集进行特征提取，得到所述样本特征集。

可选地，所述获取单元1401对所述标注样本集进行特征提取，得到所述样本特征集包括：

根据所述第二操作指令选择目标特征；

可选地，所述选取单元1402具体用于：

在模型算法选择界面接收第三操作指令；

可选地，所述选取单元1402还用于：

可选地，所述生成单元1403还用于：

基于反馈后所述样本特征集对所述目标模型进行优化。

可选地，所述生成单元1403还用于：

本申请实施例还提供了另一种模型的诊断装置，如图15所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该模型的诊断装置可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以模型的诊断装置为手机为例：

图15示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图15，手机包括：射频(Radio Frequency，RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity，WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图15中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图15对手机的各个构成部件进行具体的介绍：

RF电路1510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1580处理；另外，将设计上行的数据发送给基站。通常，RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1580，并能接收处理器1580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531，输入单元1530还可以包括其他输入设备1532。具体地，其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1541。进一步的，触控面板1531可覆盖显示面板1541，当触控面板1531检测到在其上或附近的触摸操作后，传送给处理器1580以确定触摸事件的类型，随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图15中，触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1560、扬声器1561，传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号，传输到扬声器1561，由扬声器1561转换为声音信号输出；另一方面，传声器1562将收集的声音信号转换为电信号，由音频电路1560接收后转换为音频数据，再将音频数据输出处理器1580处理后，经RF电路1510以发送给比如另一手机，或者将音频数据输出至存储器1520以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图15示出了WiFi模块1570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1580可包括一个或多个处理单元；优选的，处理器1580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1580中。

手机还包括给各个部件供电的电源1590(比如电池)，优选的，电源可以通过电源管理系统与处理器1580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请施例中，该终端所包括的处理器1580还可以执行上述由模型的诊断装置所执行的操作。

图16是本申请实施例提供的一种服务器结构示意图，该服务器1600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1622(例如，一个或一个以上处理器)和存储器1632，一个或一个以上存储应用程序1642或数据1644的存储介质1630(例如一个或一个以上海量存储设备)。其中，存储器1632和存储介质1630可以是短暂存储或持久存储。存储在存储介质1630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1622可以设置为与存储介质1630通信，在服务器1600上执行存储介质1630中的一系列指令操作。

服务器1600还可以包括一个或一个以上电源1626，一个或一个以上有线或无线网络接口1650，一个或一个以上输入输出接口1658，和/或，一个或一个以上操作系统1641，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

上述实施例中由模型的诊断装置所执行的步骤可以基于该图16所示的服务器结构。

本申请实施例还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述所述模型的诊断方法的步骤。

本申请实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述模型的诊断方法的步骤。

本申请实施例还提供了一种终端设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，所述程序代码由所述处理器加载并执行以实现上述所述模型的诊断方法的步骤。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行上述所述模型的诊断方法的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种模型的诊断方法，其特征在于，包括：

根据所述目标模型算法以及所述样本特征集生成目标模型；

确定所述目标模型的评估结果；

2.根据权利要求1所述的方法，其特征在于，所述基于目标运维场景获取样本特征集包括：

在样本添加页面接收第一操作指令；

根据所述第一操作指令获取样本数据；

对所述样本数据进行标注，得到标注样本集；

对所述标注样本集进行特征提取，得到所述样本特征集。

3.根据权利要求2所述的方法，其特征在于，所述对所述标注样本集进行特征提取，得到所述样本特征集包括：

根据所述第二操作指令选择目标特征；

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标运维场景从模型算法库中选取对应的目标模型算法包括：

在模型算法选择界面接收第三操作指令；

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

基于反馈后所述样本特征集对所述目标模型进行优化。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

8.一种模型的诊断装置，其特征在于，包括：

评估单元，用于确定所述目标模型的评估结果；

9.根据权利要求8所述的装置，其特征在于，所述获取单元具体用于：

在样本添加页面接收第一操作指令；

根据所述第一操作指令获取样本数据；

对所述样本数据进行标注，得到标注样本集；

对所述标注样本集进行特征提取，得到所述样本特征集。

10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行上述权利要求1至7中任一项所述的模型的诊断方法的步骤。