CN109359385B - 一种服务质量评估模型的训练方法及装置 - Google Patents

一种服务质量评估模型的训练方法及装置 Download PDF

Info

Publication number
CN109359385B
CN109359385B CN201811210357.7A CN201811210357A CN109359385B CN 109359385 B CN109359385 B CN 109359385B CN 201811210357 A CN201811210357 A CN 201811210357A CN 109359385 B CN109359385 B CN 109359385B
Authority
CN
China
Prior art keywords
data
training
quality
service
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811210357.7A
Other languages
English (en)
Other versions
CN109359385A (zh
Inventor
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201811210357.7A priority Critical patent/CN109359385B/zh
Priority to US16/766,738 priority patent/US20200287814A1/en
Priority to EP18937297.2A priority patent/EP3863223A4/en
Priority to PCT/CN2018/112681 priority patent/WO2020077672A1/zh
Publication of CN109359385A publication Critical patent/CN109359385A/zh
Application granted granted Critical
Publication of CN109359385B publication Critical patent/CN109359385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Abstract

本发明公开了一种服务质量评估模型的训练方法及装置，其中，该方法包括：按照固定周期采集服务节点的机器性能数据、网络特征数据以及质量监控数据；基于所述机器性能数据和所述网络特征数据确定特征值；基于所述质量监控数据确定目标质量数据；利用所述特征值以及所述目标质量数据；利用所述训练集构建服务质量评估模型。本发明通过深度神经网络自身的特征工程功能将机器性能数据、网络特征数据等指标与服务质量进行关联，结合反向传播算法进行训练，并拟合其中的非线性关系，能够减少人为进行特征工程的时间消耗，同时提高服务质量评估的准确性。

Description

一种服务质量评估模型的训练方法及装置
技术领域
本发明涉及CDN技术领域，特别涉及一种服务质量评估模型的训练方法及装置。
背景技术
CDN的全称是Content Delivery Network，即内容分发网络，是通过在服务提供方和服务请求方之间的网络各处放置节点服务器所构成的一层智能虚拟网络。为了保障高质量的服务，CDN系统需要实时了解为客户提供的服务质量，及时发现和替换故障节点，避免机器或者网络原因导致服务质量的下降。
当前，用来评估CDN系统的服务质量的一种方式，是利用机器性能和网络情况等指标评估服务质量，这种评估方式十分依赖运维人员的经验。而机器性能和网络情况包括大量维度的数据，需要花费大量的时间以及人力成本进行数据预处理，并且人为判断，很容易出现偏差，所以无法快速准确的反映服务质量上的问题。同时如果只凭借人为经验制定出的规则来进行评估，无论是前期的规则制定，还是后期的持续维护，无疑是一项需要耗费巨大精力和时间的工程，并且在具体应用中，无法满足线上机器和网络不断变化的情况。
另外一种方式是通过分析服务端的访问日志来评估服务质量，例如计算卡顿率等指标。通过服务端访问日志评估服务质量时需要大量的计算资源去遍历访问日志，导致内部运维的设备与带宽成本非常高；同时这种方式和业务类型耦合程度大，每种业务类型的评估指标差别很大，没办法形成统一的标准，导致内部管理十分困难。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种服务质量评估模型的训练方法及装置。所述技术方案如下：
第一方面，提供了一种服务质量评估模型的训练方法，应用于模型训练节点，所述方法包括：
按照固定周期采集服务节点的机器性能数据、网络特征数据以及质量监控数据；
基于所述机器性能数据和所述网络特征数据确定特征值；
基于所述质量监控数据确定目标质量数据；
利用所述特征值以及所述目标质量数据建立训练集；
利用所述训练集构建服务质量评估模型。
可选的，每个所述服务质量评估模型适用于一种业务类型的质量评估；
相应的，按照固定周期采集服务节点的质量监控数据，包括：
按照固定周期采集服务节点中一种或多种应用服务对应的质量监控数据，所述一种或多种应用服务属于所述服务质量评估模型所适用的业务类型。
可选的，所述机器性能数据包括cpu利用率、内存利用率以及io情况；所述网络特征数据包括ping数据、poll数据以及下载速率。
可选的，所述方法还包括：
监控节点周期性地向所述服务节点发送检测信号，并得到网络特征数据；
相应的，所述按照固定周期采集服务节点的网络特征数据的步骤，包括：
按照固定周期从所述监控节点中采集服务节点的网络特征数据。
可选的，在基于所述机器性能数据和所述网络特征数据确定特征值的步骤之前，还包括：
筛选所述机器性能数据、所述网络特征数据以及所述质量监控数据中的空值和异常值；
使用正常值替换所述空值和所述异常值。
可选的，筛选所述机器性能数据、所述网络特征数据以及所述质量监控数据中的异常值的步骤，包括：使用聚类算法或者数据标准化后设置置信区间方式，筛选所述机器性能数据、所述网络特征数据以及所述质量监控数据中的空值和异常值；
使用正常值替换所述异常值的步骤，包括：使用k-NN方法或者相邻采集周期采集到的数据替换所述异常值。
可选的，所述特征值包括所述机器性能数据，各维度机器性能数据的均值、中位数或者方差中的一种或多种，所述网络特征数据，以及各维度网络特征数据的均值、中位数或者方差中的一种或多种。
可选的，基于所述质量监控数据确定目标质量数据的步骤，包括：
基于所述服务质量评估模型所适用的业务类型确定服务质量的评估指标；
利用所述质量监控数据计算所述评估指标的数值，并将所述评估指标的数值确定为目标质量数据。
可选的，所述利用训练集构建服务质量评估模型的步骤，还包括：
利用所述训练集训练深度神经网络，构建服务质量评估模型，其中，所述深度神经网络为深度残差网络。
可选的，所述训练集包括多个训练样本，每个所述训练样本均包括m个时间步长的特征值和一个目标质量数据，其中，m为正整数。
可选的，所述利用训练集训练所述深度残差网络，包括：
依次将各个所述训练样本的特征值输入所述深度残差网络中，得到质量数据；
确定所述质量数据与所述目标质量数据之间的误差；
反向传播所述误差，优化模型参数。
可选的，所述深度残差网络包括输入层、第一全连接层、卷积层、预设数量的残差块、第二全连接层以及输出层。
可选的，利用所述训练集训练所述深度残差网络，包括：
将所述训练集的特征值输入所述第一全连接层中进行切分并压缩，输出新特征。
可选的，所述卷积层为多通道卷积层。
可选的，利用所述训练集训练所述深度残差网络，包括：将所述卷积层输出的数据依次输入预设数量的残差块中进行处理；
其中，在每个所述残差块中的数据处理过程，包括：
将输入所述残差块的数据依次输入a个通道的1*1卷积层、b个通道的1*3卷积层和c个通道的1*1卷积层，其中a，b，c均为正整数；
将从所述c个通道的1*1卷积层输出的数据与输入所述a个通道的1*1卷积层的数据相加；
使用Relu函数对相加后的数据进行激励。
可选的，利用所述训练集训练所述深度残差网络，还包括：
将最后一个所述残差块输出的数据输入至所述第二全连接层中进行非线性变换，得到质量数据。
可选的，所述方法还包括：基于所述特征值以及所述目标质量数据建立测试集；
利用所述训练集构建服务质量评估模型，包括：
利用基于历史数据建立的训练集进行模型训练，并使用所述测试集验证训练之后的模型的拟合效果，如果所述拟合效果不符合预设要求，则调整超参数，并循环该步骤，否则结束该步骤，并得到服务质量评估模型；
利用基于实时数据建立的训练集训练所述服务质量评估模型，优化所述服务质量评估模型的参数。
可选的，所述服务质量评估模型所建立的输入与输出结果之间的关系为非线性关系。
可选的，所述模型训练节点为单个服务器或服务器组。
第二方面，提供了一种服务质量评估模型的训练装置，所述装置包括：
采集模块，用于按照固定周期采集服务节点的机器性能数据、网络特征数据以及质量监控数据；
处理模块，用于基于所述机器性能数据和所述网络特征数据确定特征值；
所述处理模块，还用于基于所述质量监控数据确定目标质量数据；
所述处理模块，还用于利用所述特征值以及所述目标质量数据建立训练集；
训练模块，用于利用所述训练集构建服务质量评估模型。
可选的，每个所述服务质量评估模型适用于一种业务类型的质量评估；
相应的，所述采集模块，用于：
按照固定周期采集服务节点中一种或多种应用服务对应的质量监控数据，所述一种或多种应用服务属于所述服务质量评估模型所适用的业务类型。
可选的，所述处理模块，还用于：
筛选所述机器性能数据、所述网络特征数据以及所述质量监控数据中的空值和异常值；
使用正常值替换所述空值和所述异常值。
可选的，所述特征值包括所述机器性能数据，各维度机器性能数据的均值、中位数或者方差中的一种或多种，所述网络特征数据，以及各维度网络特征数据的均值、中位数或者方差中的一种或多种。
可选的，所述训练模块，具体用于：
利用所述训练集训练深度神经网络，构建服务质量评估模型，其中，所述深度神经网络为深度残差网络。
可选的，所述训练集包括多个训练样本，每个所述训练样本均包括m个时间步长的特征值和一个目标质量数据，其中，m为正整数；
所述训练模块，用于：
依次将各个所述训练样本的特征值输入所述深度残差网络中，得到质量数据；
确定所述质量数据与所述目标质量数据之间的误差；
反向传播所述误差，优化模型参数。
可选的，所述深度残差网络包括输入层、第一全连接层、卷积层、预设数量的残差块、第二全连接层以及输出层。
可选的，所述训练模块，具体用于：
将所述训练集的特征值输入所述第一全连接层中进行切分并压缩，输出新特征。
可选的，所述卷积层为多通道卷积层。
可选的，所述训练模块，具体用于：将所述卷积层输出的数据依次输入预设数量的残差块中进行处理；
其中，在每个所述残差块中的数据处理过程，包括：
将输入所述残差块的数据依次输入a个通道的1*1卷积层、b个通道的1*3卷积层和c个通道的1*1卷积层，其中a，b，c均为正整数；
将从所述c个通道的1*1卷积层输出的数据与输入所述a个通道的1*1卷积层的数据相加；
使用Relu函数对相加后的数据进行激励。
可选的，所述训练模块，具体用于：
将最后一个所述残差块输出的数据输入至所述第二全连接层中进行非线性变换，得到质量数据。
可选的，所述处理模块，还用于基于所述特征值以及所述目标质量数据建立测试集；
所述训练模块，还用于：
利用基于历史数据建立的训练集进行模型训练，并使用所述测试集验证训练之后的模型的拟合效果，如果所述拟合效果不符合预设要求，则调整超参数，并循环该步骤，否则结束该步骤，并得到服务质量评估模型；
利用基于实时数据建立的训练集训练所述服务质量评估模型，优化所述服务质量评估模型的参数。
本发明实施例具有以下有益效果：
(1)本发明实施例通过深度神经网络自身的特征工程功能将机器性能数据、网络特征数据等指标与服务质量进行关联，结合反向传播算法进行训练，并拟合其中的非线性关系，能够减少人为进行特征工程的时间消耗，同时提高服务质量评估的准确性；
(2)本发明实施例的模型在结合更多维度特征进行训练的同时，采用增量训练的方式能够不断适应线上实时数据的变化，从而能够通过模型预测，实时确定服务质量较优的服务集群，并将其推荐给调度系统使用，保证系统稳定且高服务质量地运行；
(3)本发明实施例利用机器性能数据、网络特征数据以及质量监控数据训练模型，从而学习得到机器性能数据、网络特征数据与服务质量的非线性关系，在使用该模型评估服务系统的服务质量时，只需要输入服务系统的机器性能数据和网络特征数据，相比于通过服务端访问日志评估服务质量的方式，能够减少数据的输入，大幅降低了评估所需的计算资源以及带宽，不仅提高了服务质量评估效率，而且能够降低运营成本；并且输入模型中的数据和具体的业务解耦，所以能够形成一套通用的服务质量评估标准，方便服务系统的管理，
(4)本发明实施例的网络模型引入残差块，能够减轻由于网络深度过深带来的网络退化影响，从而可以将网络结构设置的比较深，以至于能够使网络将机器性能数据和网络特征数据变换为更高层级的特征，并将这些特征与有限应用服务的服务质量进行学习，学习出的模型采用机器性能数据和网络特征数据作为模型输入，无需根据质量监控数据确定服务质量的评估指标，所以可以广泛应用于无法或者很难准确选取评估指标的应用服务的服务质量评估。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种网络框架的示意图；
图2是本发明实施例提供的一种网络框架的示意图；
图3是本发明实施例提供的一种服务质量评估模型的训练方法的流程图；
图4是本发明实施例提供的一种服务质量评估方法的流程图；
图5是本发明实施例提供的一种服务质量评估模型的训练装置的结构框图；
图6是本发明实施例提供的一种服务质量评估装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种服务质量评估模型的训练方法，该方法可以应用于图1所示的网络框架中。该网络框架包括服务节点、监控节点以及模型训练节点。服务节点为CDN系统中为用户提供服务的节点。监控节点连接服务节点，用于通过向服务节点发送检测信号以检测监控节点到各个服务节点的网络情况，并生成网络特征数据。监控节点还可以用于采集各个服务节点中的机器性能数据以及质量监控数据。模型训练节点连接监控节点，用于从监控节点中采集各个服务节点的机器性能数据、网络特征数据以及质量监控数据，以建立训练集，并利用该训练集训练得到服务质量评估模型。监控节点可以为一个或多个，当存在多个监控节点时，每个监控节点可以负责监控部分服务节点。模型训练节点可以是单个服务器，也可以是服务器组。
本发明实施例还提供了一种服务质量评估方法，该方法利用上述训练好的服务质量评估模型进行服务质量评估，该方法可以应用于图2所示的网络框架中。该网络框架包括服务节点、监控节点以及质量评估节点。监控节点用于检测监控节点到各个服务节点的网络情况，并生成网络特征数据，以及用于采集各个服务节点中的机器性能数据。质量评估节点连接监控节点，用于从监控节点中采集各个服务节点的机器性能数据以及网络特征数据，然后利用采集到的数据以及训练好的服务质量评估模型评估CDN系统的服务质量。质量评估节点可以是单个服务器，也可以是服务器组。上述模型训练节点与质量评估节点可以是相同的节点，也可以是不同的节点。
需要说明的是，本发明实施例不仅适用于评估CDN系统的服务质量，还适用于评估单个服务器节点的服务质量，以及由多个服务器节点组成的其他服务系统或集群的服务质量，本发明实施例不对其可应用的范围进行具体限定。
参照图3，为本发明实施例提供的一种服务质量评估模型的训练方法的流程图，该方法可以应用于模型训练节点，也即由模型训练节点来执行，该方法具体可以包括以下步骤。
步骤301，按照固定周期采集机器性能数据、网络特征数据以及质量监控数据。
训练服务质量评估模型的过程为将特征值输入模型中进行训练，得到输出结果，然后根据输出结果与真实结果之间的误差，调整模型的参数，再继续训练调整之后的模型，如此迭代循环，从而建立输入与输出结果之间的非线性关系，也即得到服务质量评估模型。其中，用于确定特征值的数据可以包括机器性能数据和网络特征数据。在具体实施中，用于与服务质量建立非线性关系的数据还可以包括其他数据，本发明实施例不对用于与服务质量建立非线性关系的数据进行具体限定。本发明实施例可以按照固定周期采集CDN系统中每个服务节点的机器性能数据、网络特征数据和质量监控数据。该机器性能数据可以包括cpu利用率、内存利用率、io情况等等。在CDN系统的运行中，监控节点周期性地向服务节点发送检测信号以检测监控节点到各个服务节点的网络情况，并得到网络特征数据。网络特征数据可以包括ping(Packet Internet Groper，因特网包探索器)数据、poll数据以及下载速率等等。
机器性能数据以及质量监控数据需要从服务节点中获取，不过为避免模型训练节点直接从服务节点采集数据，而需要与CDN系统中的服务节点建立大规模的链路，可以统一由监控节点先周期地从服务节点中采集机器性能数据以及质量监控数据，然后模型训练节点再按照固定周期从监控节点中获取机器性能数据、网络特征数据以及质量监控数据。在另一种实施方式中，服务节点和监控节点也可以将模型训练所需的数据发送至分布式存储系统中，然后模型训练节点再按照固定周期从分布式存储系统中获取这些数据。本发明实施例不对采集原始数据所采用的方式进行具体限定。
在采集质量监控数据时，可以从服务节点的日志信息中获得相应的质量监控数据。质量监控数据用于计算反映服务质量的评估指标，质量监控数据可以包括请求响应时间以及请求内容大小等信息。
利用本发明实施例提供的方法，训练得到的服务质量模型适用于一种业务类型的质量评估，而每种业务类型包括多种应用服务，所以可以根据服务质量评估模型所适用的业务类型，选择属于该业务类型的应用服务对应的质量监控数据进行模型训练。所以本发明实施例可以采用通用的模型训练方法，训练出适用于各种业务类型的服务质量模型。在采集质量监控数据时，可以采集服务节点中一种或多种应用服务对应的质量监控数据，所述一种或多种应用服务属于所述服务质量评估模型所适用的业务类型，也就是说，需要采集的质量监控数据为有限应用服务对应的质量监控数据，而无需采集该类业务所包含的全部应用服务对应的质量监控数据。例如，待训练的模型所适用的业务类型为A类业务，A类业务所包含的应用服务有应用服务A1、应用服务A2、……、应用服务An，在采集质量监控数据时，可以只采集应用服务A1对应的质量监控数据，用于后续的模型训练，从而降低数据采集时的数据传输压力，以及后续的数据处理负担。在具体实施中，也可以采集更大范围的数据，然后从采集到的大数据集中获取服务节点中预设应用服务对应的质量监控数据，以利用获取到的数据进行模型训练。
在实施中，可以采集多个CDN系统的机器性能数据、网络特征数据以及质量监控数据。
在采集到原始数据之后，可以利用ETL(Extraction-Transformation-Loading，数据抽取、转换和加载)对原始数据进行预处理。预处理的过程可以包括数据汇总、数据筛选、数据聚合以及格式转换。
数据汇总：由于采集到的数据包括不同类别的数据，即机器性能数据、网络特征数据以及所述服务质量数，并且数据比较分散，所以可以将相同类别的数据汇总在一起，例如将全部机器性能数据汇总到一起。具体地，还可以将相同类别的数据按照数据维度进行汇总，例如机器性能数据中可以按照cpu利用率、内存利用率等等维度进行汇总，从而将cpu利用率维度的数据汇总在一起，将内存利用率维度的数据汇总在一起。在将相同维度的数据汇总在一起时，可以按照采集周期的先后顺序进行排序。
数据筛选：由于采集到的机器性能数据、网络特征数据以及质量监控数据可能存在缺失或者异常，所以需要对数据进行数据清洗和筛选。首先筛选出空值和异常值，对于空值，也即空值可以直接从原始数据中筛选出；对于异常值，使用聚类算法或者数据标准化后设置置信区间进行筛选，用正常值替换空值和异常值，在进行替换时可以使用k-NN方法或者相邻采集周期采集到的数据进行替换。其中，对相邻采集周期采集到的数据进行替换的方式，例如，当前采集周期采集到的节点A的cpu利用率为空值或者异常值，则可以将其替换为上个采集周期采集到的节点A的cpu利用率。数据聚合：采集的数据经过数据汇总和数据筛选之后，将同一采集周期内的所述机器性能数据、所述网络特征数据以及所述质量监控数据进行关联，得到训练集，以利用该训练集学习到机器性能数据、所述网络特征数据与所述质量监控数据之间的非线性关系。利用机器性能数据、网络特征数据以及质量监控数据建立训练集的过程包括：基于所述机器性能数据和网络特征数据确定特征值，基于所述质量监控数据确定标签，再利用所述特征值和所述标签建立训练集。
格式转换：由于后续使用人工智能学习系统(TensorFlow)建立深度神经网络模型，所以可以将聚合后的数据，即训练集的格式转换为TFRecod格式，便于模型的数据读取。
以下详细说明建立训练集的过程。
步骤302，基于所述机器性能数据和所述网络特征数据确定特征值。
在实施中，可以利用统计学方法或结合人工经验筛选出模型训练所采用的特征值，也即与评估服务质量相关的特征值。在本发明实施例中，机器性能数据的特征值可以包括所述机器性能数据，各维度机器性能数据的均值、中位数或者方差的一种或多种，例如cpu利用率的均值、中位数或者方差，网络特征数据，以及各维度网络特征数据的均值、中位数或者方差的一种或多种，例如ping数据的均值、中位数或者方差。在计算各维度数据的均值、中位数或者方差时，按照CDN系统的粒度以及采集周期的粒度进行计算，例如，cpu利用率的均值为同一CDN系统中同一采集周期内采集到的全部服务节点的cpu利用率的均值。该特征值为时序特征值，每个采集周期内采集到机器性能数据和网络特征数据对应一个时间步长的特征值。
步骤303，基于所述质量监控数据确定目标质量数据。
服务质量的评估指标可以直观地反映出服务质量的高低，而对于不同的业务类型，用于反映服务质量的评估指标不同。所以可以根据服务质量评估模型所适用的业务类型，使用相应的评估指标确定目标质量数据。基于所述质量监控数据确定目标质量数据的步骤具体包括：基于所述服务质量评估模型所适用的业务类型确定服务质量的评估指标，再利用所述质量监控数据计算所述评估指标的数值，并将所述评估指标的数值确定为目标质量数据。例如，对于适用于点播业务的服务质量评估模型，可以使用卡顿率作为评估指标，并将使用质量监控数据计算出的卡顿率值作为目标质量数据进行模型训练，本发明实施例不对模型训练时质量数据所使用的评估指标进行具体限定。
采集到的质量监控数据为较大量的原始数据，无法直观地反映出服务质量的高低，所以需要经过一系列地计算，得到用于反映服务质量的目标质量数值，并将计算得到目标质量数据作为标签，用以进行模型训练。
步骤304，利用所述特征值以及所述目标质量数据建立训练集。
在根据原始数据得到特征值以及目标质量数据之后，可以利用所述特征值以及所述目标质量数据组建训练样本，每个训练样本包括m个时间步长的特征值及其对应的目标质量数据，其中，m为正整数，并且每个训练样本可以对应有一个目标质量数据。m值可以根据经验值进行设置，也可以通过自学习进行设置，本发明实施例不对m的取值进行具体限定。可选的，在根据原始数据计算特征值以及目标质量数据之前，可以根据训练样本所包含的时间步长的个数对原始数据进行汇总，也就是说，将m个采集周期内采集到的原始数据汇总在一起，再根据每个采集周期内得到的机器性能数据和网络特征数据确定特征值以及根据这m个采集周期内得到的质量监控数据确定一个目标质量数据，得到包括m个时间步长数据的训练样本。每个训练样本的特征值的表达式可以为：
Figure BDA0001832300870000111
其中，x1,ti～xn,ti表示第i个时间步长的特征值，其中，1≤i≤m，第i个时间步长的特征值包括机器性能数据，各维度机器性能数据的均值、中位数或者方差中的一种或多种，网络特征数据，以及各维度网络特征数据的均值、中位数或者方差中的一种或多种。
利用采集到的原始数据可以得到大量的训练样本，训练样本可以按照预设划分比例建立训练集和测试集，以用于模型训练。
步骤305，利用所述训练集训练深度神经网络模型，得到服务质量评估模型。
本发明实施例中的深度神经网络模型可以采用深度残差网络，并且可以使用人工智能学习系统建立深度残差网络。深度残差网络是利用残差神经网络构建的深度神经网络，能够消除传统深度神经网络因网络层数不断加深导致的训练误差增大的现象，并且深度残差网络的训练误差会随着层数的增大而逐渐减小，从而解决模型退化的问题，提高训练效果。本发明实施例中的深度残差网络可以包括输入层、第一全连接层、卷积层、残差块、第二全连接层以及输出层。其中残差块的个数可以为10到20个。
在本发明实施例中，对深度神经网络模型进行训练的过程包括离线训练和在线训练。离线训练的过程可以包括：首先使用已经积累较长一段时间的历史数据建立训练集以及测试集，然后利用基于历史数据建立的训练集训练深度神经网络模型，训练结束之后，使用测试集验证训练之后的模型的拟合效果，如果所述拟合效果不符合预设要求，则调整超参数，并循环该步骤，否则结束该步骤，并得到拟合效果符合预设要求的服务质量评估模型。其中，超参数可以包括学习率、神经元个数、神经层数、残差块数等等。离线训练结束后，由于线上环境处于不断变化中，所以需要定期使用线上实时数据对模型进行训练和完善，也就是说，可以定期利用基于实时数据建立的训练集训练所述服务质量评估模型，优化所述服务质量评估模型的参数，从而能够根据线上实时数据不断进行在线学习，实时更新模型。
无论是离线训练还是在线训练，利用训练集训练所述深度神经网络模型的过程可以包括：将所述训练集的特征值通过输入层输入第一全连接层中进行切分并压缩，输出新的特征；将所述第一全连接层输出的特征输入多通道的卷积层中，例如1*1的卷积层中，进行卷积处理，从而实现在不压缩原始特征情况下，添加非线性变换提高网络表达能力，并且增加输出通道数，便于对接后续的残差块；将所述卷积层输出的数据依次输入预设数量的残差块中进行处理；将所述残差块输出的数据输入第二全连接层中进行非线性变换，得到质量数据，并通过输出层输出；确定输出层输出的质量数据与目标质量数据之间的误差，该误差可以用损失函数表示；反向传播所述误差，优化模型参数。将误差输入模型中进行反向传播的过程中，根据误差对模型中的参数(包括权重和偏置)求偏微分，然后根据求偏微分后的值调整参数，从而优化模型。
所述训练集包括多个训练样本，利用所述训练集训练所述深度残差网络的过程具体为：依次将各个所述训练样本的特征值输入所述深度残差网络中，得到质量数据。例如，有p个训练样本，将第一个训练样本的特征值输入上述的输入层、第一全连接层、卷积层、残差块、第二全连接层以及输出层，再将下一个训练样本的特征值输入上述的输入层、第一全连接层、卷积层、残差块、第二全连接层以及输出层，直至将第p个训练样本的特征值输入上述的输入层、第一全连接层、卷积层、残差块、第二全连接层以及输出层，得到包含p个质量数据的结果。再将确定所述p个质量数据与p个目标质量数据之间的误差，然后反向传播所述误差，优化模型参数。
从所述卷积层输出的数据可以依次输入多个残差块中进行处理，并且每个残差块的数据处理过程可以相同或相似，在每个所述残差块中的数据处理过程可以包括：将输入所述残差块的数据依次输入a个通道的1*1卷积层、b个通道的1*3卷积层和c个通道的1*1卷积层，其中a，b，c均为正整数；将从所述c个通道的1*1卷积层输出的数据与输入所述a个通道的1*1卷积层的数据相加；使用Relu函数对相加后的数据进行激励。
例如，当将所述卷积层输出的数据输入第一个残差块中时，首先将输入的数据依次输入a个通道的1*1卷积层、b个通道的1*3卷积层和c个通道的1*1卷积层，其中a，b，c均为正整数，并且a的数值与输入的数据的通道数相同。然后将从所述c个通道的1*1卷积层输出的数据与输入所述a个通道的1*1卷积层的数据相加，再使用Relu函数对相加后的数据进行激励，最后将激励后的数据再输入第二个残差块中，从第二个残差块中输出的数据继续输入第三个残差块中，直至经过全部的残差块，并且在其他残差块中的数据处理过程与在第一个残差块中的数据处理过程相同或相似。
本发明实施例采用的残差块用于将学习原始的恒等映射F(x)＝x任务，通过加入残差通路转变为学习F(x)＝0任务，让深度神经网络能够更容易学习到恒等映射，防止深度神经网络出现退化。并且由于引入残差块，可以将网络结构设置的很深，能够更好地通过将机器性能数据、网络特征数据与质量数据进行学习，并将学习到的关系应用到其他同属于相同业务类型的应用服务的服务质量评估中。本实施例中的深度残差网络采用了CNN(Convolutional Neural Network，卷积神经网络)，因为卷积计算属于计算密集型，能够充分利用GPU资源，解决了普通的RNN(Recurrent Neural Network，循环神经网络)无法充分利用GPU资源的问题，所以在训练效率上CNN网络比普通RNN网络更快的收敛，从而能够快速的在训练验证阶段进行反复迭代实验，减少实验时间成本。
在实施中，训练样本也可以分批次进行模型训练，每批次训练样本均构成一个训练集，并按照上述方法进行训练，并更新模型参数。例如，利用第一批次训练样本进行训练，并更新模型参数，然后继续用第二批次训练样本进行训练，并更新模型参数，依次输入各批次训练样本进行训练，直至利用最后一批次训练样本训练结束。
本发明实施例具有以下有益效果：
(1)本发明实施例通过深度神经网络自身的特征工程功能将机器性能数据、网络特征数据等指标与服务质量进行关联，结合反向传播算法进行训练，并拟合其中的非线性关系，能够减少人为进行特征工程的时间消耗，同时提高服务质量评估的准确性；
(2)本发明实施例的模型在结合更多维度特征进行训练的同时，采用增量训练的方式能够不断适应线上实时数据的变化，从而能够通过模型预测，实时确定服务质量较优的服务集群，并将其推荐给调度系统使用，保证系统稳定且高服务质量地运行；
(3)本发明实施例利用机器性能数据、网络特征数据以及质量监控数据训练模型，从而学习得到机器性能数据、网络特征数据与服务质量的非线性关系，在使用该模型评估服务系统的服务质量时，只需要输入服务系统的机器性能数据和网络特征数据，相比于通过服务端访问日志评估服务质量的方式，能够减少数据的输入，大幅降低了评估所需的计算资源以及带宽，不仅提高了服务质量评估效率，而且能够降低运营成本；并且输入模型中的数据和具体的业务解耦，所以能够形成一套通用的服务质量评估标准，方便服务系统的管理，
(4)本发明实施例的网络模型引入残差块，能够减轻由于网络深度过深带来的网络退化影响，从而可以将网络结构设置的比较深，以至于能够使网络将机器性能数据和网络特征数据变换为更高层级的特征，并将这些特征与有限应用服务的服务质量进行学习，学习出的模型采用机器性能数据和网络特征数据作为模型输入，无需根据质量监控数据确定服务质量的评估指标，所以可以广泛应用于无法或者很难准确选取评估指标的应用服务的服务质量评估。
在得到服务质量评估模型之后，可以利用该服务质量评估模型评估CDN系统的服务质量，以下具体说明利用该服务质量评估模型评估服务质量的过程。
参照图4，为本发明实施例提供的一种服务质量评估方法的流程图，该方法可以应用于质量评估节点，也即由质量评估节点来执行，该方法具体可以包括以下步骤。
步骤401，采集用于评估服务质量的机器性能数据和网络特征数据。
质量评估节点可以采集待进行服务质量评估的服务系统中的机器性能数据和网络特征数据，以用于服务质量评估。质量评估节点在采集原始数据时，可以按照固定周期采集预设周期数的数据。该预设周期数需要不小于样本所需的时间步长的个数。例如，在训练模型时，使用的训练样本包括10个时间步长的数据，则预设周期数需要不小于10。
步骤402，基于所述机器性能数据和所述网络特征数据确定特征值。
该步骤与上述模型训练过程中特征值的计算过程类似，在此不再赘述。
步骤403，将所述特征值输入上述训练好的服务质量评估模型，得到质量数据。
从计算得到的特征值中，选取预设数量时间步长的特征值输入训练好的服务质量评估模型，经过模型计算后，输出服务质量评估结果。用于服务质量评估的特征值的时间步长的数量等于训练模型时训练样本所包含的时间步长的数量。
服务质量评估模型部署到线上应用后，可以定期进行测试以及训练，进一步优化模型参数，提高模型的精确度。
本发明实施例具有以下有益效果：
(1)本发明实施例通过深度神经网络自身的特征工程功能将机器性能数据、网络特征数据等指标与服务质量进行关联，结合反向传播算法进行训练，并拟合其中的非线性关系，能够减少人为进行特征工程的时间消耗，同时提高服务质量评估的准确性；
(2)本发明实施例的模型在结合更多维度特征进行训练的同时，采用增量训练的方式能够不断适应线上实时数据的变化，从而能够通过模型预测，实时确定服务质量较优的服务集群，并将其推荐给调度系统使用，保证系统稳定且高服务质量地运行；
(3)本发明实施例利用机器性能数据、网络特征数据以及质量监控数据训练模型，从而学习得到机器性能数据、网络特征数据与服务质量的非线性关系，在使用该模型评估服务系统的服务质量时，只需要输入服务系统的机器性能数据和网络特征数据，相比于通过服务端访问日志评估服务质量的方式，能够减少数据的输入，大幅降低了评估所需的计算资源以及带宽，不仅提高了服务质量评估效率，而且能够降低运营成本；并且输入模型中的数据和具体的业务解耦，所以能够形成一套通用的服务质量评估标准，方便服务系统的管理，
(4)本发明实施例的网络模型引入残差块，能够减轻由于网络深度过深带来的网络退化影响，从而可以将网络结构设置的比较深，以至于能够使网络将机器性能数据和网络特征数据变换为更高层级的特征，并将这些特征与有限应用服务的服务质量进行学习，学习出的模型采用机器性能数据和网络特征数据作为模型输入，无需根据质量监控数据确定服务质量的评估指标，所以可以广泛应用于无法或者很难准确选取评估指标的应用服务的服务质量评估。
参照图5，为本发明实施例提供的一种服务质量评估模型的训练装置的结构框图，该装置可以配置于模型训练节点，或者为模型训练节点本身，该装置具体可以包括采集模块501、处理模块502以及训练模块503。
其中，采集模块501，用于按照固定周期采集服务节点的机器性能数据、网络特征数据以及质量监控数据；
处理模块502，用于基于所述机器性能数据和所述网络特征数据确定特征值；
所述处理模块502，还用于基于所述质量监控数据确定目标质量数据；
所述处理模块502，还用于利用所述特征值以及所述目标质量数据建立训练集；
训练模块503，用于利用所述训练集构建服务质量评估模型。
优选的，每个所述服务质量评估模型适用于一种业务类型的质量评估；
相应的，所述采集模块501，用于按照固定周期采集服务节点中一种或多种应用服务对应的质量监控数据，所述一种或多种应用服务属于所述服务质量评估模型所适用的业务类型。
优选的，所述机器性能数据包括cpu利用率、内存利用率以及io情况；所述网络特征数据包括ping数据、poll数据以及下载速率。
优选的，监控节点周期性地向所述服务节点发送检测信号，并得到网络特征数据；
相应的，所述采集模块501，用于按照固定周期从所述监控节点中采集服务节点的网络特征数据。
优选的，所述处理模块502，还用于筛选所述机器性能数据、所述网络特征数据以及所述质量监控数据中的空值和异常值，并使用正常值替换所述空值和所述异常值。
优选的，所述处理模块502，具体用于使用聚类算法或者数据标准化后设置置信区间方式，筛选所述机器性能数据、所述网络特征数据以及所述质量监控数据中的空值和异常值，以及使用k-NN方法或者相邻采集周期采集到的数据替换所述异常值。
优选的，所述特征值包括所述机器性能数据，各维度机器性能数据的均值、中位数或者方差中的一种或多种，所述网络特征数据，以及各维度网络特征数据的均值、中位数或者方差中的一种或多种。
优选的，所述处理模块502，具体用于基于所述服务质量评估模型所适用的业务类型确定服务质量的评估指标，以及利用所述质量监控数据计算所述评估指标的数值，并将所述评估指标的数值确定为目标质量数据。
优选的，所述训练模块503，具体用于利用所述训练集训练深度神经网络，构建服务质量评估模型，其中，所述深度神经网络为深度残差网络。
优选的，所述训练集包括多个训练样本，每个所述训练样本均包括m个时间步长的特征值和一个目标质量数据，其中，m为正整数；
所述训练模块503，用于：
依次将各个所述训练样本的特征值输入所述深度残差网络中，得到质量数据；
确定所述质量数据与所述目标质量数据之间的误差；
反向传播所述误差，优化模型参数。
优选的，所述深度残差网络包括输入层、第一全连接层、卷积层、预设数量的残差块、第二全连接层以及输出层。
优选的，所述训练模块503，具体用于将所述训练集的特征值输入所述第一全连接层中进行切分并压缩，输出新特征。
优选的，所述卷积层为多通道卷积层。
优选的，所述训练模块503，具体用于：将所述卷积层输出的数据依次输入预设数量的残差块中进行处理；
其中，在每个所述残差块中的数据处理过程，包括：
将输入所述残差块的数据依次输入a个通道的1*1卷积层、b个通道的1*3卷积层和c个通道的1*1卷积层，其中a，b，c均为正整数；
将从所述c个通道的1*1卷积层输出的数据与输入所述a个通道的1*1卷积层的数据相加；
使用Relu函数对相加后的数据进行激励。
优选的，所述训练模块503，具体用于将最后一个所述残差块输出的数据输入至所述第二全连接层中进行非线性变换，得到质量数据。
优选的，所述处理模块502，还用于基于所述特征值以及所述目标质量数据建立测试集；
所述训练模块503，还用于：
利用基于历史数据建立的训练集进行模型训练，并使用所述测试集验证训练之后的模型的拟合效果，如果所述拟合效果不符合预设要求，则调整超参数，并循环该步骤，否则结束该步骤，并得到服务质量评估模型；
利用基于实时数据建立的训练集训练所述服务质量评估模型，优化所述服务质量评估模型的参数。
优选的，所述服务质量评估模型所建立的输入与输出结果之间的关系为非线性关系。
需要说明的是：上述实施例提供的服务质量评估模型的训练装置在创建连接时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的服务质量评估模型的训练装置与服务质量评估模型的训练方法的实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。并且上述实施例提供的服务质量评估模型的训练装置与服务质量评估模型的训练方法所具有的有益效果相同，服务质量评估模型的训练装置实施例的有益效果可参考服务质量评估模型的训练方法实施例的有益效果，这里也不再赘述。
参照图6，为本发明实施例提供的一种服务质量评估装置的结构框图，该装置可以配置于质量评估节点，或者为质量评估节点本身，该装置具体可以包括采集模块601、处理模块602以及评估模块603。
其中，采集模块601，用于采集用于评估服务质量的机器性能数据和网络特征数据；
处理模块602，用于基于所述机器性能数据和所述网络特征数据确定特征值；
评估模块603，用于将所述特征值输入上述训练好的服务质量评估模型，得到质量数据。
需要说明的是：上述实施例提供的服务质量评估装置在创建连接时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的服务质量评估装置与服务质量评估方法的实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。并且上述实施例提供的服务质量评估装置与服务质量评估方法所具有的有益效果相同，服务质量评估装置实施例的有益效果可参考服务质量评估方法实施例的有益效果，这里也不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种服务质量评估模型的训练方法，其特征在于，应用于模型训练节点，所述方法包括：
按照固定周期采集服务节点的机器性能数据、网络特征数据以及所述服务节点中一种或多种应用服务对应的质量监控数据，其中，所述一种或多种应用服务属于所述服务质量评估模型所适用的业务类型；
基于所述机器性能数据和所述网络特征数据确定特征值；
基于所述服务质量评估模型所适用的业务类型确定服务质量的评估指标，利用所述质量监控数据计算所述评估指标的数值，并将所述评估指标的数值确定为目标质量数据；
利用所述特征值以及所述目标质量数据建立训练集；
利用所述训练集训练深度神经网络，构建服务质量评估模型，其中，所述深度神经网络为深度残差网络，所述深度残差网络包括输入层、第一全连接层、卷积层、预设数量的残差块、第二全连接层以及输出层；
所述利用所述训练集训练深度神经网络模型，构建服务质量评估模型具体包括：将所述训练集的特征值通过所述输入层输入所述第一全连接层中进行切分并压缩，输出新特征；将所述第一全连接层输出的新特征输入多通道的所述卷积层中，进行卷积处理；将所述卷积层输出的数据依次输入所述预设数量的残差块中进行处理；将所述残差块输出的数据输入所述第二全连接层中进行非线性变换，得到质量数据，并通过所述输出层输出所述质量数据；确定所述质量数据与所述目标质量数据之间的误差；反向传播所述误差，优化模型参数。
2.根据权利要求1所述的方法，其特征在于，所述机器性能数据包括cpu利用率、内存利用率以及io情况；所述网络特征数据包括ping数据、poll数据以及下载速率。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
监控节点周期性地向所述服务节点发送检测信号，并得到网络特征数据；
相应的，所述按照固定周期采集服务节点的网络特征数据的步骤，包括：
按照固定周期从所述监控节点中采集服务节点的网络特征数据。
4.根据权利要求1所述的方法，其特征在于，在基于所述机器性能数据和所述网络特征数据确定特征值的步骤之前，还包括：
筛选所述机器性能数据、所述网络特征数据以及所述质量监控数据中的空值和异常值；
使用正常值替换所述空值和所述异常值。
5.根据权利要求4所述的方法，其特征在于，
筛选所述机器性能数据、所述网络特征数据以及所述质量监控数据中的异常值的步骤，包括：使用聚类算法或者数据标准化后设置置信区间方式，筛选所述机器性能数据、所述网络特征数据以及所述质量监控数据中的空值和异常值；
使用正常值替换所述异常值的步骤，包括：使用k-NN方法或者相邻采集周期采集到的数据替换所述异常值。
6.根据权利要求1所述的方法，其特征在于，所述特征值包括所述机器性能数据，各维度机器性能数据的均值、中位数或者方差中的一种或多种，所述网络特征数据，以及各维度网络特征数据的均值、中位数或者方差中的一种或多种。
7.根据权利要求1所述的方法，其特征在于，所述训练集包括多个训练样本，每个所述训练样本均包括m个时间步长的特征值和一个目标质量数据，其中，m为正整数。
8.根据权利要求1所述的方法，其特征在于，利用所述训练集训练所述深度残差网络，包括：将所述卷积层输出的数据依次输入预设数量的残差块中进行处理；
其中，在每个所述残差块中的数据处理过程，包括：
将输入所述残差块的数据依次输入a个通道的1*1卷积层、b个通道的1*3卷积层和c个通道的1*1卷积层，其中a，b，c均为正整数；
将从所述c个通道的1*1卷积层输出的数据与输入所述a个通道的1*1卷积层的数据相加；
使用Relu函数对相加后的数据进行激励。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述特征值以及所述目标质量数据建立测试集；
利用所述训练集构建服务质量评估模型，包括：
利用基于历史数据建立的训练集进行模型训练，并使用所述测试集验证训练之后的模型的拟合效果，如果所述拟合效果不符合预设要求，则调整超参数，并循环该步骤，否则结束该步骤，并得到服务质量评估模型；
利用基于实时数据建立的训练集训练所述服务质量评估模型，优化所述服务质量评估模型的参数。
10.根据权利要求1所述的方法，其特征在于，所述服务质量评估模型所建立的输入与输出结果之间的关系为非线性关系。
11.根据权利要求1所述的方法，其特征在于，所述模型训练节点为单个服务器或服务器组。
12.一种服务质量评估模型的训练装置，其特征在于，所述装置包括：
采集模块，用于按照固定周期采集服务节点的机器性能数据、网络特征数据以及所述服务节点中一种或多种应用服务对应的质量监控数据，其中，所述一种或多种应用服务属于所述服务质量评估模型所适用的业务类型；
处理模块，用于基于所述机器性能数据和所述网络特征数据确定特征值；
所述处理模块，还用于基于所述服务质量评估模型所适用的业务类型确定服务质量的评估指标，利用所述质量监控数据计算所述评估指标的数值，并将所述评估指标的数值确定为目标质量数据；
所述处理模块，还用于利用所述特征值以及所述目标质量数据建立训练集；
训练模块，用于利用所述训练集训练深度神经网络，构建服务质量评估模型，其中，所述深度神经网络为深度残差网络，所述深度残差网络包括输入层、第一全连接层、卷积层、预设数量的残差块、第二全连接层以及输出层；
所述训练模块，具体用于将所述训练集的特征值通过所述输入层输入所述第一全连接层中进行切分并压缩，输出新特征；将所述第一全连接层输出的新特征输入多通道的所述卷积层中，进行卷积处理；将所述卷积层输出的数据依次输入所述预设数量的残差块中进行处理；将所述残差块输出的数据输入所述第二全连接层中进行非线性变换，得到质量数据，并通过所述输出层输出所述质量数据；确定所述质量数据与所述目标质量数据之间的误差；反向传播所述误差，优化模型参数。
13.根据权利要求12所述的装置，其特征在于，所述处理模块，还用于：
筛选所述机器性能数据、所述网络特征数据以及所述质量监控数据中的空值和异常值；
使用正常值替换所述空值和所述异常值。
14.根据权利要求12所述的装置，其特征在于，所述特征值包括所述机器性能数据，各维度机器性能数据的均值、中位数或者方差中的一种或多种，所述网络特征数据，以及各维度网络特征数据的均值、中位数或者方差中的一种或多种。
15.根据权利要求12所述的装置，其特征在于，所述训练集包括多个训练样本，每个所述训练样本均包括m个时间步长的特征值和一个目标质量数据，其中，m为正整数。
16.根据权利要求12所述的装置，其特征在于，所述训练模块，具体用于：将所述卷积层输出的数据依次输入预设数量的残差块中进行处理；
其中，在每个所述残差块中的数据处理过程，包括：
将输入所述残差块的数据依次输入a个通道的1*1卷积层、b个通道的1*3卷积层和c个通道的1*1卷积层，其中a，b，c均为正整数；
将从所述c个通道的1*1卷积层输出的数据与输入所述a个通道的1*1卷积层的数据相加；
使用Relu函数对相加后的数据进行激励。
17.根据权利要求12所述的装置，其特征在于，
所述处理模块，还用于基于所述特征值以及所述目标质量数据建立测试集；
所述训练模块，还用于：
利用基于历史数据建立的训练集进行模型训练，并使用所述测试集验证训练之后的模型的拟合效果，如果所述拟合效果不符合预设要求，则调整超参数，并循环该步骤，否则结束该步骤，并得到服务质量评估模型；
利用基于实时数据建立的训练集训练所述服务质量评估模型，优化所述服务质量评估模型的参数。
CN201811210357.7A 2018-10-17 2018-10-17 一种服务质量评估模型的训练方法及装置 Active CN109359385B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811210357.7A CN109359385B (zh) 2018-10-17 2018-10-17 一种服务质量评估模型的训练方法及装置
US16/766,738 US20200287814A1 (en) 2018-10-17 2018-10-30 Training method and apparatus for service quality assessment model
EP18937297.2A EP3863223A4 (en) 2018-10-17 2018-10-30 QUALITY OF SERVICE ASSESSMENT MODEL TRAINING PROCESS AND DEVICE
PCT/CN2018/112681 WO2020077672A1 (zh) 2018-10-17 2018-10-30 一种服务质量评估模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811210357.7A CN109359385B (zh) 2018-10-17 2018-10-17 一种服务质量评估模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN109359385A CN109359385A (zh) 2019-02-19
CN109359385B true CN109359385B (zh) 2021-11-23

Family

ID=65349579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811210357.7A Active CN109359385B (zh) 2018-10-17 2018-10-17 一种服务质量评估模型的训练方法及装置

Country Status (4)

Country Link
US (1) US20200287814A1 (zh)
EP (1) EP3863223A4 (zh)
CN (1) CN109359385B (zh)
WO (1) WO2020077672A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157469B2 (en) 2018-12-31 2021-10-26 T-Mobile Usa, Inc. Automated audit balance and control processes for data stores
CN110059802A (zh) * 2019-03-29 2019-07-26 阿里巴巴集团控股有限公司 用于训练学习模型的方法、装置和计算设备
CN111835533A (zh) * 2019-04-15 2020-10-27 富士通株式会社 检查区块链网络的装置
CN111638988B (zh) * 2019-04-28 2023-05-12 上海伽易信息技术有限公司 一种基于深度学习的云主机故障智能预测方法
US11609928B2 (en) * 2019-08-23 2023-03-21 Salesforce, Inc. Systems and methods of determining target database for replication of tenant data
JP6678843B1 (ja) * 2019-08-28 2020-04-08 三菱電機株式会社 異常部分検知装置、異常部分検知方法及びプログラム
CN112448860B (zh) * 2019-08-30 2023-04-07 北京奇艺世纪科技有限公司 一种应用程序的测试方法及相关设备
CN111161759B (zh) * 2019-12-09 2022-12-06 科大讯飞股份有限公司 音频质量评价方法、装置、电子设备及计算机存储介质
CN111265317B (zh) * 2020-02-10 2022-06-17 上海牙典医疗器械有限公司 一种牙齿正畸过程预测方法
CN113568769B (zh) * 2020-04-28 2023-10-31 北京达佳互联信息技术有限公司 异常处理方法、装置、服务器及存储介质
CN114531696A (zh) * 2020-11-23 2022-05-24 维沃移动通信有限公司 Ai网络部分输入缺失的处理方法和设备
CN112564954B (zh) * 2020-11-30 2023-03-21 锐捷网络股份有限公司 一种网络质量的预测方法及装置
CN112671633B (zh) * 2020-12-01 2022-08-23 重庆邮电大学 一种基于bp神经网络预测的二分探测心跳间隔系统及方法
CN112598326A (zh) * 2020-12-31 2021-04-02 五八有限公司 模型迭代方法、装置、电子设备及存储介质
CN112860534B (zh) * 2021-03-17 2022-10-25 上海壁仞智能科技有限公司 硬件架构性能评估和性能优化方法及装置
CN114219346B (zh) * 2021-12-24 2023-04-14 江苏童能文化科技有限公司 一种提高网络学习环境服务质量的方法及系统
CN116614431B (zh) * 2023-07-19 2023-10-03 中国电信股份有限公司 数据处理方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226212A (zh) * 2016-08-30 2016-12-14 上海交通大学 基于深度残差网络的高光谱霾监测方法
CN107392082A (zh) * 2017-04-06 2017-11-24 杭州景联文科技有限公司 一种基于深度学习的小面积指纹比对方法
CN108629267A (zh) * 2018-03-01 2018-10-09 南京航空航天大学 一种基于深度残差网络的车型识别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101895464B (zh) * 2010-05-14 2012-11-21 华为终端有限公司 一种保障组合p2p网络的服务质量的方法、装置及系统
CN102904755B (zh) * 2012-09-27 2015-03-11 北京邮电大学 一种移动互联网业务用户体验质量测量方法和装置
CN104702666B (zh) * 2015-01-30 2019-05-28 北京邮电大学 用户体验质量确定方法及系统
CN105046045B (zh) * 2015-06-05 2018-06-19 河海大学 一种基于贝叶斯组合的Web服务QoS预测方法
CN104951425B (zh) * 2015-07-20 2018-03-13 东北大学 一种基于深度学习的云服务性能自适应动作类型选择方法
CN105050132B (zh) * 2015-08-10 2018-10-19 北京邮电大学 小区极值吞吐量的估计方法
US20170093648A1 (en) * 2015-09-28 2017-03-30 Wi-Lan Labs, Inc. System and method for assessing streaming video quality of experience in the presence of end-to-end encryption
US10452984B2 (en) * 2016-03-01 2019-10-22 Pearson Education, Inc. System and method for automated pattern based alert generation
CN106384197A (zh) * 2016-09-13 2017-02-08 北京协力筑成金融信息服务股份有限公司 一种基于大数据的业务质量评估方法和装置
CN107395404B (zh) * 2017-07-07 2018-10-30 腾讯科技（深圳）有限公司 为网络应用提示网络环境、预测服务质量的方法和装置
CN108768702A (zh) * 2018-05-15 2018-11-06 华为技术有限公司 网络分析方法及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226212A (zh) * 2016-08-30 2016-12-14 上海交通大学 基于深度残差网络的高光谱霾监测方法
CN107392082A (zh) * 2017-04-06 2017-11-24 杭州景联文科技有限公司 一种基于深度学习的小面积指纹比对方法
CN108629267A (zh) * 2018-03-01 2018-10-09 南京航空航天大学 一种基于深度残差网络的车型识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep Residual Learning for Image Recognition;Kaiming He等;《Proceedings of the IEEE conference》;20151210;第1-12页 *
一种基于深度残差网络的车型识别方法;刘敦强等;《计算机技术与发展》;20180531;第42-46页 *
基于浅层残差网络的视线估计算法;刘富等;《吉林大学学报（信息科学版）》;20180531;第333-338页 *
基于深度残差网络的图像隐写分析方法;高培贤等;《计算机工程与设计》;20181016;第3045-3112页 *

Also Published As

Publication number Publication date
EP3863223A1 (en) 2021-08-11
EP3863223A4 (en) 2021-12-08
WO2020077672A1 (zh) 2020-04-23
CN109359385A (zh) 2019-02-19
US20200287814A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
CN109359385B (zh) 一种服务质量评估模型的训练方法及装置
CN109347668B (zh) 一种服务质量评估模型的训练方法及装置
WO2021109578A1 (zh) 业务运维中告警的预测方法、装置与电子设备
CN112101480A (zh) 一种多变量聚类与融合的时间序列组合预测方法
CN110335168B (zh) 基于gru优化用电信息采集终端故障预测模型的方法及系统
CN110703057A (zh) 基于数据增强和神经网络的电力设备局部放电诊断方法
JP7401677B2 (ja) モデル更新システム、モデル更新方法及び関連装置
CN114499979B (zh) 一种基于联邦学习的sdn网络异常流量协同检测方法
CN112116198A (zh) 数据驱动的流程工业状态感知网络关键节点筛选方法
Wang et al. Dealing with alarms in optical networks using an intelligent system
CN112784920A (zh) 云边端协同的旋转部件对抗域自适应故障诊断方法
CN115051929A (zh) 基于自监督目标感知神经网络的网络故障预测方法及装置
CN110879927A (zh) 一种用于海目标检测的海杂波幅度统计分布现场建模方法
TWI662809B (zh) 影像串流服務的障礙定位系統及維運方法
CN117407665A (zh) 一种基于生成对抗网络的退役电池时序数据缺失值填充方法
CN112001622A (zh) 云虚拟网关的健康度评估方法、系统、设备和存储介质
CN116112379B (zh) 一种数据中心多维业务共享设备的有向链路动态预测方法
CN116706992A (zh) 一种分布式光伏集群的自适应功率预测方法、装置和设备
CN115866235A (zh) 视频质量评估方法、装置、电子设备及存储介质
CN113837526A (zh) 基于边缘计算的变电站设备智能分析方法及系统
CN111310907A (zh) 一种微波组件故障诊断方法、装置及设备
CN111008584A (zh) 一种模糊自组织神经网络的电能质量量测缺失修复方法
CN117171551B (zh) 大规模工业设备数据分析与智能管理方法
CN117792933B (zh) 一种基于深度学习的网络流量优化方法及系统
CN117789129A (zh) 基于马尔可夫转换场的综合能源态势感知方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant