CN114143215A - 一种基于对比学习的网络服务QoS预测方法 - Google Patents

一种基于对比学习的网络服务QoS预测方法 Download PDF

Info

Publication number
CN114143215A
CN114143215A CN202111451282.3A CN202111451282A CN114143215A CN 114143215 A CN114143215 A CN 114143215A CN 202111451282 A CN202111451282 A CN 202111451282A CN 114143215 A CN114143215 A CN 114143215A
Authority
CN
China
Prior art keywords
qos
user
sequence
task
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111451282.3A
Other languages
English (en)
Inventor
陈慢慢
殷昱煜
邸千卉
梁婷婷
袁成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111451282.3A priority Critical patent/CN114143215A/zh
Publication of CN114143215A publication Critical patent/CN114143215A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2491—Mapping quality of service [QoS] requirements between different networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H04L47/805—QOS or priority aware

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于对比学习的网络服务QoS预测方法。目前主流预测方法为协同过滤法，主要分为非时间感知方法和时间感知方法，然而当数据稀疏时，这些方法无法推断出最适当的QoS表示以此预测值。本发明采用多任务策略，通过主要的预测任务对QoS序列进行编码，额外对比学习任务对序列进行增强与编码，来联合优化损失函数进而优化编码器，推断出用户最适当的QoS表示，最终实现预测。通过本发明的预测方法，可以在数据稀疏时更好地预测QoS值，从而更好地为用户提供个性化服务。

Description

一种基于对比学习的网络服务QoS预测方法
技术领域
本发明属于网络服务领域，涉及一种基于对比学习实现网络服务QoS预测的方法。
背景技术
网络服务是指一些在网络上运行的、面向服务的、基于分布式程序的软件模块。随着互联网的发展，一方面，人们对网络服务的要求越来越高。如在传输内容上从单一的数据变为数据、图像、视频等多媒体内容；在传输要求上，从小流量传输变为云计算、大数据等大流量传输。另一方面，互联网始终存在传输延时、延时抖动等问题。在此背景下，为了给用户提供更好的网络服务，可以使用网络服务的一些属性来描述网络服务。
网络服务的质量可以通过功能属性和非功能属性来描述。当前通过非功能属性来描述网络质量就尤为重要。网络的非功能属性值即为QoS值，包括网络的响应时间、吞吐量、故障概率等等。然而，用户观测到的QoS值很大程度上取决于调用网络服务的环境，即在同一网络服务下，不同的用户的网络质量可能相对不同。因此，需要为不同的用户获取个性化的QoS值，从而为不同用户提供更好的网络服务。由于时间成本高昂和资源开销巨大，用户不可能调用全部的服务来获得个性化的QoS值，因此，只能基于现有的观察结果，预测缺失的QoS值，从而获得近似的个性化QoS值。
现有的大多数QoS预测方法属于协同过滤方法，其中根据是否使用时间特征，将协同过滤法分为两类：非时间感知方法和时间感知方法。非时间感知的QoS预测方法使用单个时间片，不考虑时间影响因素，主要包括传统的协同过滤方法、基于位置的协同过滤方法和基于上下文的协同过滤方法。这些方法存在以下问题：所依赖的外部信息不容易获取，并且实现起来也更为复杂。为了弥补这些缺点并进一步提高推荐的准确性，研究人员开始将上下文信息(例如，位置、偏好和时间)集成到基于协同过滤的方法的相似度计算中，即时间感知的QoS预测方法，包括基于内存的协同过滤法、基于模型的协同过滤法。其中，基于模型的协同过滤法主要包括基于神经网络的模型，通过潜在的特征向量表示每个时间片，来描述整个网络在不同时间的状态。虽然这些方法已经取得了较好的成果，但是容易出现数据稀疏问题，可能无法做出精确的预测。
为了解决这一问题，可以将自监督学习应用在QoS预测上。自监督学习从未标记的数据提取内在的数据相关性，来优化用户表示模型，以改进预测结果。最近的研究方向是通过从原始特征数据的固有结构中提取的自我监督信号来增强特征表示。这些以前的工作通常侧重于改进项目级别的表示，然而，如何在用户行为序列水平上获得准确的表示还没有得到很好的研究。
发明内容
本发明的目的在于从用户的QoS序列上获得尽可能准确的表示，从而预测出未知的QoS值，而提出一种基于对比学习的网络服务QoS预测方法。
本发明方法的使用步骤是：
步骤一：
对于用户QoS数据进行处理，该数据为用户在连续64个时间片上调用不同服务所对应的QoS值。对于每个用户u，在每个时间片上，将其调用的所有服务v所对应的QoS值形成一个序列，该序列即为后续处理中输入的QoS 数据序列
Figure BDA0003386110190000021
其中|su|为QoS序列的长度。
步骤二：
采用多任务策略。将预测QoS任务分成主要的预测任务与额外的对比学习任务。
步骤三：
进行主要的预测任务。输入用户的QoS数据序列su，首先将其分为历史序列与待预测的QoS值，其次使用编码器分别进行编码，得到用户表示，最后利用以下公式计算该任务的损失Lmain：
Figure BDA0003386110190000022
其中，
Figure BDA0003386110190000023
表示推断出的用户表示形式，即用户u交互。
步骤四：
进行额外的对比学习任务。输入用户QoS数据序列su，首先应用数据增强方法，将其转换为两个增强序列
Figure BDA0003386110190000031
如果两个转换实例来自同一样本，则将它们视为正样本对。如果它们来自不同样本，则它们是负样本。其次，使用和上述相同的编码器对增强后的序列进行编码，得到用户表示的
Figure BDA0003386110190000032
和
Figure BDA0003386110190000033
最后利用以下公式计算该任务的对比损失Lcl：
Figure BDA0003386110190000034
使用对比损失，最小化相同用户QoS序列的不同增强序列之间的差异，并最大化来自不同用户的QoS增强序列之间的差异。
步骤五：
计算以上两种任务的总损失。总损失Ltotal为上述两种损失的线性加权和，公式如下：
Ltotal＝Lmain+λLcl
通过优化该损失函数，可以对编码器进行优化，使编码器进行更好的编码，获得准确的用户表示，从而预测QoS值。
本发明的有益效果为：通过本发明的方法，将传统的序列预测与对比学习目标相结合。在对比学习损失的情况下，通过最大化潜在空间中相互交互 QoS序列的不同增强视图之间的一致性来编码用户表示，来推断出准确的用户表示，然后为其选取QoS值，即预测QoS值，从而为不同用户提供个性化的网络服务。
附图说明
图1基于对比学习的网络服务QoS预测流程图；
图2QoS数据增强方法流程图；
图3用户表示的编码器流程图；
图4编码器堆叠流程图。
具体实施方式
以下结合附图对本发明作进一步说明：
(1)本发明整体流程如附图1所示。
将用户的QoS数据进行处理，形成用户QoS数据序列。分别在主要的预测任务与额外的对比学习任务上通过增强、编码计算损失函数，利用损失函数对编码器进行优化，获得有效的用户表达，最终预测QoS值。
(2)三种对QoS数据进行增强的方法，如附图2所示。
第一种方法为随机剪裁方法。对于用户的QoS序列，随机选择一个连续的子序列。通过随机剪裁方法，可以获得广义用户QoS动向，而不需要用户的全面信息，从而进行增强用户表示模型。
第二种方法为随机掩模方法。对于用户的QoS序列，随机掩盖一部分QoS 值，即用特殊项mask将其替换。通过掩模技术，仍然可以保留用户主要的 QoS动向。
第三种方法为重新排序方法。对于用户的QoS序列，随机选取一个连续的子序列，对其进行重新排序。通过重新排序方法，可以增强其遇到新交互时的鲁棒性。
在对比学习任务的数据增强部分，随机选择以上两种方法对用户序列进行增强，从而得到两个增强序列。
(3)为了获得有意义的用户表示，提出用户表示的编码器并进行堆叠。
利用神经网络作为用户表示的编码器，从QoS序列中提取信息。该编码器由三个部分组成：嵌入层(Embedding层)、多头自注意模块(Multi-Head Attention)和与位置相关的前馈神经网络层(Position-wise Feed-Forward)，如附图3所示。
嵌入层采用QoS项嵌入矩阵E∈R|V|×d将高维稠密项表示投影到低维稠密向量上。另外，为了表示QoS序列的位置信息，还考虑了可学习的位置嵌入P∈RT×d，即QoS序列的特征。因此，推断用户u时间步长表示法t+1，截断输入序列su,t直到最后T项目:
su,t＝[vt-T+1,vt-T+2,…,vt]
最后，通过将QoS项嵌入和位置嵌入相加，获得序列中每一项QoS的输入表示，如以下公式：
Figure BDA0003386110190000041
其中，vi∈E是QoS项的表示vi在用户序列中su,t。
在嵌入层之后，采用多头注意力机制层(Multi-Head Attention)。首先利用不同的线性投影来投影将表示转换为h子空间。然后它将自我注意机制应用于每个头部，并通过连接中间物和再次投影来导出输出表示。
MH(Hl)＝concat(head1；head2；…；headh)WO
Figure BDA0003386110190000051
其中，
Figure BDA0003386110190000052
WO∈Rd×d,Hl是第l+1层的输入。注意力操作Attention是由以下公式实现：
Figure BDA0003386110190000053
其中，Q,K,V分别代表查询，键，值。系数
Figure BDA0003386110190000054
是比例系数，避免内部数值过大。预测下一个QoS值vt+1时，需要用到t之前的QoS信息。因此，将掩码操作应用于注意力机制，用来屏蔽当j>i时的注意力机制之间的联系 Qi与Kj，可以有效避免QoS信息泄漏。
在多头自注意机制层后，为模型赋予非线性位置前馈网络层(Position-wiseFeed-Forward)，应用于上述子层输出的每个位置，具有共享的可学习参数。计算如下：
Figure BDA0003386110190000055
Figure BDA0003386110190000056
最终堆叠上述编码器，如附图4所示。堆叠多层编码器有助于在深度学习中学习更复杂的模式，从而对用户QoS序列进行建模，最终获得有意义的用户表示。但是，随着参数的增加和网络的加深，模型变得更难收敛。为了缓解神经网络的复杂性问题，采用添加LayerNorm层归一化处理，Dropout 层随机抛弃一些神经元解决过拟合问题，公式如下：
LayerNorm(x+Dropout(sublayer(x)))
其中，sublayer(·)是上述多头注意力操作和位置前馈网络。
基于以上编码器，获得用户表示t，从历史调用的服务记录中提取有用的信息t。因为本发明的任务是对每个用户u在时间步预测项目|su|+1，为用户设置最终QoS表示作为其QoS表示向量|su|+1：
Figure BDA0003386110190000057
其中L是堆叠变压器层的数量，Trm是以下操作的组合：
Trm(Hl)＝LayerNorm(Fl-1+Dropout(PFFN(Fl-1)))
Fl-1＝LayerNorm(Hl-1+Dropout(MH(Hl-1)))
由于预测任务与对比学习任务均需要使用用户表示从而进行损失函数的计算，因此在两种任务中均使用上述堆叠编码器。

Claims (3)

1.一种基于对比学习的网络服务QoS预测方法，其特征在于该方法包括以下步骤：
步骤一，对于用户QoS数据进行处理，该数据为用户在连续64个时间片上调用不同服务所对应的QoS值；
对于每个用户，在每个时间片上，将其调用的所有服务对应的QoS值形成一个序列，该序列即为后续处理中输入的QoS数据序列；
步骤二，采用多任务策略将预测QoS任务分成主要的预测任务与额外的对比学习任务；
步骤三，进行主要的预测任务
输入用户的QoS数据序列，首先将其分为历史序列与待预测的QoS值，其次使用编码器分别进行编码，得到用户表示，最后计算该任务的损失；
步骤四，进行额外的对比学习任务
输入用户QoS数据序列，首先应用数据增强方法，将其转换为两个QoS增强序列；如果两个转换实例来自同一样本，则将它们视为正对；如果它们来自不同样本，则它们是负样本；其次，使用编码器对增强后的序列进行编码，得到用户表示，最后利计算该任务的对比损失；
步骤五，计算以上两种任务的总损失；总损失为上述两种损失的线性加权和；通过优化该损失函数，对编码器进行优化，使编码器进行更好的编码，获得准确的用户表示，从而预测QoS值。
2.根据权利要求1所述的一种基于对比学习的网络服务QoS预测方法，其特征在于：所述的数据序列增强方法三种：
随机剪裁方法，在用户序列中随机选择一个连续的子序列；
随机掩模方法，在用户序列中随机选择一些QoS项用mask替代；
重新排序方法，在用户序列中随机选择一个连续的子序列并重新排序；
随机选择以上两种方法对用户序列进行增强，从而得到两个增强序列。
3.根据权利要求1所述的一种基于对比学习的网络服务QoS预测方法，其特征在于：所述的编码器，其组成为：嵌入层、多头自注意模块和非线性位置前馈网络；所述嵌入层将用户QoS数据序列的项与位置信息嵌入，送入多头自注意模块，并加上非线性位置前馈网络层，通过该堆叠编码器，使用户QoS序列编码为用户表示，从而进行后续损失函数的计算。
CN202111451282.3A 2021-12-01 2021-12-01 一种基于对比学习的网络服务QoS预测方法 Pending CN114143215A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111451282.3A CN114143215A (zh) 2021-12-01 2021-12-01 一种基于对比学习的网络服务QoS预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111451282.3A CN114143215A (zh) 2021-12-01 2021-12-01 一种基于对比学习的网络服务QoS预测方法

Publications (1)

Publication Number Publication Date
CN114143215A true CN114143215A (zh) 2022-03-04

Family

ID=80386787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111451282.3A Pending CN114143215A (zh) 2021-12-01 2021-12-01 一种基于对比学习的网络服务QoS预测方法

Country Status (1)

Country Link
CN (1) CN114143215A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107026755A (zh) * 2017-03-13 2017-08-08 南京邮电大学 一种基于排序学习的服务推荐方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107026755A (zh) * 2017-03-13 2017-08-08 南京邮电大学 一种基于排序学习的服务推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XU XIE等: ""Contrastive Learning for Sequential Recommendation"", 《ARXIV:2010.14395V2》, pages 1 - 9 *

Similar Documents

Publication Publication Date Title
Jin et al. Recurrent event network: Autoregressive structure inference over temporal knowledge graphs
CN109919204B (zh) 一种面向噪声图像的深度学习聚类方法
CN113905391A (zh) 集成学习网络流量预测方法、系统、设备、终端、介质
CN112765991B (zh) 一种基于知识增强的深度对话语义角色标注方法及系统
Xia et al. Joint deep networks based multi-source feature learning for QoS prediction
CN110321430B (zh) 域名识别和域名识别模型生成方法、装置及存储介质
CN112949821B (zh) 基于双重注意力机制的网络安全态势感知方法
CN116349211A (zh) 基于自注意力的深度学习的分布式轨迹异常检测
CN111126595A (zh) 一种神经网络的模型压缩的方法和设备
CN114817773A (zh) 一种基于多级分解和融合的时序预测系统及方法
CN117009545A (zh) 一种持续多模态知识图谱的构建方法
CN113312843B (zh) 一种大型多变压器极限负载预测系统和装置
CN116502162A (zh) 边缘算力网络中的异常算力联邦检测方法、系统及介质
Zhang et al. Learning-based data transmissions for future 6G enabled industrial IoT: A data compression perspective
CN114143215A (zh) 一种基于对比学习的网络服务QoS预测方法
CN117787343A (zh) 一种针对微博话题趋势的长序列预测方法、装置及计算机存储介质
CN117077735A (zh) 基于卷积神经网络的维度相关集成服务质量预测方法
CN114580738B (zh) 一种社交媒体危机事件预测方法及系统
CN114511767B (zh) 一种面向时序图数据的快速的状态预测方法
Ren et al. Knowledge base enabled semantic communication: A generative perspective
CN113852605B (zh) 一种基于关系推理的协议格式自动化推断方法及系统
CN113377907B (zh) 基于记忆掩码自注意力网络的端到端任务型对话系统
KR20230097677A (ko) 표 형식 데이터의 연속형 변수 임베딩 기법을 이용한 어텐션 기반 딥러닝 모델
Ni et al. An Improved Sequential Recommendation Algorithm based on Short‐Sequence Enhancement and Temporal Self‐Attention Mechanism
Du et al. CMSDPP: Cloud-native Multi-source Streaming Data Processing Platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination