CN104660699A - 基于可变斜率的缺失服务响应时间补足方法和装置 - Google Patents
基于可变斜率的缺失服务响应时间补足方法和装置 Download PDFInfo
- Publication number
- CN104660699A CN104660699A CN201510087290.2A CN201510087290A CN104660699A CN 104660699 A CN104660699 A CN 104660699A CN 201510087290 A CN201510087290 A CN 201510087290A CN 104660699 A CN104660699 A CN 104660699A
- Authority
- CN
- China
- Prior art keywords
- response time
- service response
- training
- user
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于可变斜率的缺失服务响应时间补足方法和装置,包括:S1,接收模块接收服务器采集的历史数据,指示数据模块对接收的服务响应时间历史数据进行存储;S2,数据模块存储由接收模块接收的服务响应时间历史数据,存储训练模块训练的缺失服务响应时间补足模型;S3,训练模块执行缺失服务响应时间补足模型训练过程,并将训练得到的缺失服务响应时间补足模型存入数据模块中的补足模型存储单元;将训练单元训练的缺失服务响应时间补足模型存储至数据模块中的补足模型存储单元;S4,补足模块收缺失服务响应时间补足模型,对指定用户在指定服务上的服务响应时间进行补足的指令后,对该用户在该服务上的服务响应时间进行补足。
Description
技术领域
本发明涉及计算机服务计算领域,尤其涉及一种基于可变斜率的缺失服务响应时间补足方法和装置。
背景技术
面向服务架构(Service Oriented Architecture,以下简称SOA)代表一种基于互联网的软件开发、部署和集成的模式。基于SOA的软件系统以更粗粒度的服务作为基本组成元素。每个服务完成相对独立的基本功能,各个服务之间松散耦合,通过平台独立、环境透明、依赖于网络的标准调用协议进行交互和协同。基于SOA的软件系统能在确保实现复杂的业务逻辑和方法的前提下,屏蔽平台、协议、数据和开发语言等方面的差异,具备协同、自治、自适应、松偶合的特点,已成为当下软件发展的主要模式。
在传统软件系统中,系统可靠性往往依赖于各个基本组成单元的功能性指标。但对于服务而言,由于其可靠性和稳定性受到网络环境、访问时间、用户数量、用户地域等诸多因素的影响,非功能性指标在服务可靠性分析中举足轻重;其中非常重要的一类非功能指标是服务响应时间。服务响应时间受用户所处的地域、网络环境和通讯情况等自然条件约束,是一种具备统计特性的数据。对不同用户而言,调用同一服务所体验的服务响应时间可能具备很大的差异。因此,如果能根据用户集合对可用服务集合进行调用的响应时间历史数据,对缺失的用户调用服务的响应时间进行可靠的补足,将能明显提升整个系统的可靠性、稳定性和执行效率。但是,现存缺失服务响应时间补足方法,具备准确度低、执行复杂度高的不足,难以应对大型复杂系统中的海量服务响应时间历史数据。
因此,如何针对现代大型复杂系统中的海量服务响应时间历史数据,进行准确度高、执行复杂度低的缺失服务响应时间补足,是服务计算领域所需要解决的一个关键技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种基于可变斜率的缺失服务响应时间补足方法。
为了实现本发明的上述目的,本发明提供了一种基于可变斜率的缺失服务响应时间补足方法,其关键在于,包括如下步骤:
S1,接收模块接收服务器采集的服务响应时间历史数据,指示数据模块对接收的服务响应时间历史数据进行存储;
S2,数据模块存储由接收模块接收的服务响应时间历史数据,存储服务器收集的服务响应时间历史数据;并存储训练模块训练的缺失服务响应时间补足模型;
S3,训练模块执行缺失服务响应时间补足模型训练过程,并将训练得到的缺失服务响应时间补足模型存入数据模块中的补足模型存储单元;将训练单元训练的缺失服务响应时间补足模型存储至数据模块中的补足模型存储单元;
S4,补足模块收到服务器根据当前训练的缺失服务响应时间补足模型,对指定用户在指定服务上的服务响应时间进行补足的指令后,对该用户在该服务上的服务响应时间进行补足。
所述的基于可变斜率的缺失服务响应时间补足方法,优选的,所述S3包括:
S3-1,初始化单元初始化缺失服务响应时间补足模型训练过程中涉及的参数,包括高斯噪声矩阵G、斜率矩阵A、偏差矩阵B、训练控制变量n、训练上限N和收敛判定阈值γ;
S3-2,高斯噪声矩阵G是根据当前用户集合U,和均值为零、方差为1的标准正态分布,建立的|U|行,|U|列的矩阵,其每个元素初始化为根据标准正态分布产生的区间(0,0.05)内的随机数;斜率矩阵A、偏差矩阵B是根据当前用户集合U,建立的|U|行,|U|列的矩阵,其中每个元素初始化为0;
S3-3,训练控制变量n初始化为非负整数;训练上限N初始化为正整数;收敛判定阈值γ初始化为极小正数。
所述的基于可变斜率的缺失服务响应时间补足方法,优选的,所述S4包括:
S4-1,接收服务器发送的用户认证u;和服务认证s;
S4-2,从补足模型存储单元中取出与用户认证u和服务认证s相关的模型参数;
S4-3,从响应时间历史数据存储单元中取出与服务认证s相关的服务响应时间历史数据;
S4-4,补足用户认证u对服务认证s的服务响应时间。
所述的基于可变斜率的缺失服务响应时间补足方法,优选的,所述S3包括:
S3-A,接收服务器构造缺失服务响应时间补足模型的指令;
S3-B,初始化相关参数;
S3-C,对用户二元组(u,v),构造偏差函数ε1(u,v);
S3-D,对Bu,v进行解析求解;
S3-E,构造损失函数εA(u,v);
S3-F,判断训练控制变量n已达到上限N,若是,则执行步骤S3-J,否则,执行步骤S3-E;
S3-G,判断εA(u,v)在T(u)∩T(v)上对Au,v和Bu,v收敛,若是,则执行步骤S3-J,否则,执行步骤S3-H;
S3-H,令Bu,v为参量,Au,v为变量,对Au,v进行解析求解;
S3-I,令Au,v为参量,Bu,v为变量,对Bu,v进行解析求解;重复执行步骤S3-F;
S3-J,判断已处理完所有的用户二元组,若是,则执行步骤S3-K,否则,执行步骤S3-C;
S3-K,将训练获取的缺失服务响应时间补足模型输出,存储至补足模型存储单元。
所述的基于可变斜率的缺失服务响应时间补足方法,优选的,所述S4包括:
S4-A,接收服务器发送的用户认证u;和服务认证s;服务器发送指令的方式为:定期、或根据所述装置的通知、或根据某服务器的通知,将用户认证u;和服务认证s发送给训练单元;
S4-B,从补足模型存储单元中取出与用户认证u和服务认证s的模型参数;包括,高斯噪声矩阵G,斜率矩阵A和偏差矩阵B中,与用户认证u的所有参数;
S4-C,从响应时间历史数据存储单元中取出与服务认证s的服务响应时间历史数据;服务响应时间历史数据集合T中与服务s相关的所有数据;
步骤304:补足用户u对服务s的服务响应时间,以如下公式表示:
其物理意义为,根据与用户认证u和服务认证s相关联的所有服务响应时间历史数据,根据线性模型,对其服务响应时间进行补足。
所述的基于可变斜率的缺失服务响应时间补足方法,优选的,所述S3包括:
A,接收服务器构造缺失服务响应时间补足模型的指令,定期、或根据服务器通知,将要求构造缺失服务响应时间补足模型的指令发送给训练单元;
B,初始化参数包括:
高斯噪声矩阵G:是根据当前用户集合U,和均值为零、方差为1的标准正态分布,建立的|U|行,|U|列的矩阵,其每个元素初始化为根据标准正态分布产生的区间(0,0.05)内的随机数;
斜率矩阵A:是根据当前用户集合U,建立的|U|行,|U|列的矩阵,其中每个元素初始化为0;
偏差矩阵B:是根据当前用户集合U,建立的|U|行,|U|列的矩阵,其中每个元素初始化为0;
训练控制变量n:控制训练过程的变量,初始化为非负整数;
训练上限N:训练上限n:控制训练过程训练上限的变量,初始化为正整数;
收敛判定阈值γ:判断训练过程是否已收敛的阈值参数,初始化为极小正数;
C,对用户二元组(u,v),构造偏差函数ε1(u,v);偏差函数ε1(u,v)以如下公式表示:
其物理含义为,假设用户u相关的服务响应时间历史数据,与用户v相关的服务响应时间历史数据,成斜率为1、偏差为Bu,v的线性关系,并构造偏差函数衡量用户u与用户v间的线性偏差Bu,v;
D,对Bu,v进行解析求解,对ε1(u,v)关于Bu,v求偏导数,得到Bu,v的训练公式以如下公式表示:
E,构造损失函数εA(u,v),损失函数εA(u,v)以如下公式表示:
其物理含义为,假设用户u相关的服务响应时间历史数据,与用户v相关的服务响应时间历史数据,成斜率为Au,v、偏差为Bu,v的线性关系,并构造偏差函数衡量用户u与用户v间的斜率Au,v和线性偏差Bu,v。
F,判断训练控制变量n已达到上限N;在训练控制变量n上累加1,然后判断训练控制变量n是否大于训练上限N;
G,判断εA(u,v)在T(u)∩T(v)上对Au,v和Bu,v收敛依据为,本轮训练开始前,εA(u,v)的数值,对比上轮训练开始前,εA(u,v)的数值,其差的绝对值是否小于收敛判定阈值γ;如果小于,则判定为已收敛,反之,则判定为未收敛;
H,令Bu,v为参量,Au,v为变量,对Au,v进行解析求解;以如下公式表示:
其物理含义为,利用爬山算法思想,令Bu,v为参量,Au,v为变量,求εA(u,v)关于Au,v的偏导数并令其为0,对Au,v进行解析求解。
I,令Au,v为参量,Bu,v为变量,对Bu,v进行解析求解;重复执行步骤F;对Bu,v进行解析求解,以如下公式表示:
其物理含义为,利用爬山算法思想,令Au,v为参量,Bu,v为变量,求εA(u,v)关于Bu,v的偏导数并令其为0,对Bu,v进行解析求解;
J,判断已处理完所有的用户二元组,检验是否对已知的用户集合,其任意的二元组(u,v)均已进行上述训练过程;
K,将训练获取的缺失服务响应时间补足模型输出,存储至补足模型存储单元。
本发明还公开一种基于可变斜率的缺失服务响应时间补足装置,其关键在于,包括:
接收模块,用于接收服务器采集的服务响应时间历史数据,指示数据模块对接收的服务响应时间历史数据进行存储;
数据模块,用于存储由接收模块接收的服务响应时间历史数据,存储服务器收集的服务响应时间历史数据;并存储训练模块训练的缺失服务响应时间补足模型;
训练模块,用于执行缺失服务响应时间补足模型训练过程,并将训练得到的缺失服务响应时间补足模型存入数据模块中的补足模型存储单元;将训练单元训练的缺失服务响应时间补足模型存储至数据模块中的补足模型存储单元;
补足模块,用于收到服务器根据当前训练的缺失服务响应时间补足模型,对指定用户在指定服务上的服务响应时间进行补足的指令后,对该用户在该服务上的服务响应时间进行补足。
所述的基于可变斜率的缺失服务响应时间补足装置,优选的,所述数据模块包括:
响应时间历史数据存储单元,用于存储接收模块发送的服务响应时间历史数据,将接收的服务响应时间历史数据根据训练模块的指令进行存储调用;
补足模型存储单元,用于存储训练模块的输出单元所输出的缺失服务响应时间补足模型存储到数据模块的补足模型存储单元。
所述的基于可变斜率的缺失服务响应时间补足装置,优选的,所述训练模块包括:
初始化单元,用于初始化缺失服务响应时间补足模型训练过程中涉及参数,包括高斯噪声矩阵G、斜率矩阵A、偏差矩阵B、训练控制变量n、训练上限N和收敛判定阈值γ;其中,高斯噪声矩阵G是根据当前用户集合U,和均值为零、方差为1的标准正态分布,建立的|U|行,|U|列的矩阵,其每个元素初始化为根据标准正态分布产生的区间内的随机数;斜率矩阵A、偏差矩阵B是根据当前用户集合U,建立的|U|行,|U|列的矩阵,其中每个元素初始化为0;训练控制变量n初始化为非负整数;训练上限N初始化为正整数;收敛判定阈值γ初始化为极小正数;
训练单元,用于根据数据模块中响应时间历史数据存储单元存储的服务响应时间历史数据,和初始化单元初始化的训练参数,构造缺失服务响应时间补足模型,包括高斯噪声矩阵G、斜率矩阵A、偏差矩阵B;G中的每一元素Gu,v代表用户u对用户v的高斯噪声;A中的每一元素Au,v代表用户u对用户v的斜率;B中的每一元素Bu,v代表用户u对用户v的偏差;训练缺失服务响应时间补足模型进一步包括,对于每个用户二元组(u,v),训练单元首先构造偏差函数ε1(u,v),ε1(u,v)以公式
表示,其中,T(u)和T(v)分别表示服务响应时间历史数据集合T中与用户u和用户v相关的子集;Tu,s和Tv,s分别表示用户u和用户v对服务s进行调用的历史响应时间数据;Bu,v表示用户u相对于用户v的偏差;Gu,v表示用户u相对于用户v的高斯噪声;然后对Bu,v进行解析求解,表示为公式,
然后对于每个用户二元组(u,v),构造损失函数εA(u,v),εA(u,v)以公式
其中,Gu,v为初始化单元初始化的高斯噪声,Bu,v的初始值对偏差函数ε1(u,v)进行解析求解所得值;再重复下列训练过程:
a.令Bu,v为参量,Au,v为变量,对Au,v进行解析求解,表示为公式
b.令Au,v为参量,Bu,v为变量,对Bu,v进行解析求解,表示为公式
直至εA(u,v)在T(u)∩T(v)上对Au,v和Bu,v收敛,判定条件为εA(u,v)<γ;或者训练控制变量n等于训练上限N;
输出单元,用于将训练单元训练的斜率矩阵A、偏差矩阵B,以及对应的高斯噪声矩阵G输出,存储至数据模块中的补足模型存储单元。
所述的基于可变斜率的缺失服务响应时间补足装置,优选的,所述补足模块包括:
收到服务器根据当前训练的缺失服务响应时间补足模型,对用户认证u在服务认证s上的服务响应时间进行补足的指令后,对用户认证u在服务认证s上的服务响应时间进行补足,表示为公式
其中表示根据缺失服务响应时间补足模型,对用户认证u在服务认证s上的缺失服务响应时间补足值,T(s)表示服务响应时间历史数据集合T中与服务s相关的子集。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
针对现代大型复杂系统中的海量服务响应时间历史数据,进行准确度高、执行复杂度低的缺失服务响应时间补足。
基于SOA的软件系统以更粗粒度的服务作为基本组成元素。每个服务完成相对独立的基本功能,各个服务之间松散耦合,通过平台独立、环境透明、依赖于网络的标准调用协议进行交互和协同。基于SOA的软件系统能在确保实现复杂的业务逻辑和方法的前提下,实现屏蔽平台、协议、数据和开发语言等方面的差异,具备协同、自治、自适应、松偶合的特点。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明基于可变斜率的缺失服务响应时间补足装置结构示意图;
图2为缺失服务响应时间补足模型训练方法;
图3为缺失服务响应时间补足模型补足方法;
图4为应用本发明实施例前后,对缺失服务响应时间进行补足的补足准确度对比;
图5为应用本发明实施例前后,对缺失服务响应时间进行补足的执行时间对比。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明针对现代大型复杂系统中的海量服务响应时间历史数据,进行准确度高、执行复杂度低的缺失服务响应时间补足。
本发明提供一种基于可变斜率的缺失服务响应时间补足装置和方法,其专门作用于海量服务响应时间历史数据,能够对用户调用服务的响应时间进行基于统计规律的、高效、准确的补足,以解决针对现代大型复杂系统中的海量服务响应时间历史数据,进行准确度高、执行复杂度低的缺失服务响应时间补足问题。
图1为本发明基于可变斜率的缺失服务响应时间补足装置,结构示意图。装置包括:
接收模块110:接收服务器采集的服务响应时间历史数据,并指示数据模块120对接收的服务器采集数据进行存储。
数据模块120:存储由接收模块接收的服务响应时间历史数据,以及装置构造的缺失服务响应时间补足模型;包括响应时间历史数据存储单元121,存储服务器收集的服务响应时间历史数据;补足模型存储单元122,存储装置训练的缺失服务响应时间补足模型。
训练模块130:执行缺失服务响应时间补足模型训练过程,并将训练得到的缺失服务响应时间补足模型存入数据模块中的补足模型存储单元;包括:初始化单元131,初始化缺失服务响应时间补足模型训练过程中涉及的相关参数;训练单元132,根据数据模块中,响应时间历史数据存储单元121存储的服务响应时间历史数据,和初始化单元131初始化的训练参数,构造缺失服务响应时间补足模型;输出单元133,将训练单元训练的缺失服务响应时间补足模型,存储至数据模块中的补足模型存储单元122。
补足模块140:收到服务器根据当前训练的缺失服务响应时间补足模型,对指定用户在指定服务上的服务响应时间进行补足的指令后,对该用户在该服务上的服务响应时间进行补足。
本装置可部署于一个现有的服务器中,也可部署于一个单独设置的、专用于进行基于可变斜率的缺失服务响应时间补足的服务器中。
如图2所示为缺失服务响应时间补足模型训练方法。缺失服务响应时间补足模型训练方法包括:
(1)装置接收服务器构造缺失服务响应时间补足模型的指令。
(2)装置初始化相关参数。
(3)装置对用户二元组(u,v),构造 偏差函数ε1(u,v)。
(4)装置对Bu,v进行解析求解。
(5)装置构造损失函数εA(u,v)。
(6)装置判断训练控制变量n已达到上限N,若是,则执行步骤(10),否则,执行步骤(7)。
(7)装置判断εA(u,v)在T(u)∩T(v)上对Au,v和Bu,v收敛,若是,则执行步骤(10),否则,执行步骤(8)。
(8)装置令Bu,v为参量,Au,v为变量,对Au,v进行解析求解。
(9)装置令Au,v为参量,Bu,v为变量,对Bu,v进行解析求解;重复执行步骤(6)。
(10)装置判断已处理完所有的用户二元组,若是,则执行步骤(11),否则,执行步骤(3)。
(11)装置将训练获取的缺失服务响应时间补足模型输出,存储至补足模型存储单元。
如图3所示为缺失服务响应时间补足模型补足方法。缺失服务响应时间补足模型补足方法包括:
(1)装置接收服务器发送的用户ID,u;和服务ID,s。
(2)装置从补足模型存储单元122中取出与用户u和服务s相关的模型参数。
(3)装置从响应时间历史数据存储单元121中取出与服务s相关的服务响应时间历史数据。
(4)装置补足用户u对服务s的服务响应时间。
本发明专门作用于海量服务响应时间历史数据,能够对用户调用服务的响应时间进行基于统计规律的、高效、准确的补足。下面,对本发明所提供的基于可变斜率的缺失服务响应时间补足装置和方法进行详细说明。
图2为本发明实施例中缺失服务响应时间补足模型训练方法示意图。参见图2,该过程包括:
步骤201:装置接收服务器构造缺失服务响应时间补足模型的指令。
本步骤中,服务器向装置发送指令的方式可以是:定期、或根据所述装置的通知、或根据某服务器的通知,将要求构造缺失服务响应时间补足模型的指令发送给装置。
步骤202:装置初始化相关参数。
本步骤中,装置需要初始化的参数包括:
高斯噪声矩阵G:是根据当前用户集合U,和均值为零、方差为1的标准正态分布,建立的|U|行,|U|列的矩阵,其每个元素初始化为根据标准正态分布产生的区间(0,0.05)内的随机数;
斜率矩阵A:是根据当前用户集合U,建立的|U|行,|U|列的矩阵,其中每个元素初始化为0;
偏差矩阵B:是根据当前用户集合U,建立的|U|行,|U|列的矩阵,其中每个元素初始化为0;
训练控制变量n:控制训练过程的变量,初始化为非负整数,如0。
训练上限N:训练上限n:控制训练过程训练上限的变量,初始化为正整数,如100。
收敛判定阈值γ:判断训练过程是否已收敛的阈值参数,初始化为极小正数,如0.001。
步骤203:装置对用户二元组(u,v),构造偏差函数ε1(u,v)。
本步骤中,偏差函数ε1(u,v)以如下公式表示:
其物理含义为,假设用户u相关的服务响应时间历史数据,与用户v相关的服务响应时间历史数据,成斜率为1、偏差为Bu,v的线性关系,并构造偏差函数衡量用户u与用户v间的线性偏差Bu,v。
步骤204:装置对Bu,v进行解析求解。
本步骤中,对ε1(u,v)关于Bu,v求偏导数,并令其为0,得到Bu,v的训练公式以如下公式表示:
步骤205:装置构造损失函数εA(u,v)。
本步骤中,损失函数εA(u,v)以如下公式表示:
其物理含义为,假设用户u相关的服务响应时间历史数据,与用户v相关的服务响应时间历史数据,成斜率为Au,v、偏差为Bu,v的线性关系,并构造偏差函数衡量用户u与用户v间的斜率Au,v和线性偏差Bu,v。
步骤206:装置判断训练控制变量n已达到上限N。
本步骤中,装置首先在训练控制变量n上累加1,然后判断训练控制变量n是否大于训练上限N。
步骤207:装置判断εA(u,v)在T(u)∩T(v)上对Au,v和Bu,v收敛。
本步骤中,装置判断εA(u,v)在T(u)∩T(v)上对Au,v和Bu,v收敛的依据为,本轮训练开始前,εA(u,v)的数值,对比上轮训练开始前,εA(u,v)的数值,其差的绝对值是否小于收敛判定阈值γ;如果小于,则判定为已收敛,反之,则判定为未收敛。
步骤208:装置令Bu,v为参量,Au,v为变量,对Au,v进行解析求解。
本步骤中,对Au,v进行解析求解,以如下公式表示:
其物理含义为,利用爬山算法思想,令Bu,v为参量,Au,v为变量,求εA(u,v)关于Au,v的偏导数并令其为0,对Au,v进行解析求解。
步骤209:装置令Au,v为参量,Bu,v为变量,对Bu,v进行解析求解;重复执行步骤(6)。
本步骤中,对Bu,v进行解析求解,以如下公式表示:
其物理含义为,利用爬山算法思想,令Au,v为参量,Bu,v为变量,求εA(u,v)关于Bu,v的偏导数并令其为0,对Bu,v进行解析求解。
步骤210:装置判断已处理完所有的用户二元组。
本步骤中,装置检验是否对已知的用户集合,其任意的二元组(u,v)均已进行上述训练过程。
步骤211:装置将训练获取的缺失服务响应时间补足模型输出,存储至补足模型存储单元122。
本步骤中,装置存储值补足模型存储单元122的缺失服务响应时间补足模型包括:高斯噪声矩阵G,斜率矩阵A和偏差矩阵B。
图3为本发明实施例中缺失服务响应时间补足模型补足方法示意图。参见图3,该过程包括:
步骤301:装置接收服务器发送的用户ID,u;和服务ID,s。
本步骤中,服务器向装置发送指令的方式可以是:定期、或根据所述装置的通知、或根据某服务器的通知,将用户ID,u;和服务ID,s发送给装置。
步骤302:装置从补足模型存储单元122中取出与用户u和服务s相关的模型参数。
本步骤中,装置从补足模型存储单元122中取出与用户u和服务s相关的模型参数包括:高斯噪声矩阵G,斜率矩阵A和偏差矩阵B中,与用户u相关的所有参数。
步骤303:装置从响应时间历史数据存储单元121中取出与服务s相关的服务响应时间历史数据。
本步骤中,装置从响应时间历史数据存储单元121中取出与服务s相关的服务响应时间历史数据包括:服务响应时间历史数据集合T中与服务s相关的所有数据。
步骤304:装置补足用户u对服务s的服务响应时间。
本步骤中,装置补足用户u对服务s的服务响应时间,以如下公式表示:
其物理意义为,根据与用户u和服务s相关联的所有服务响应时间历史数据,根据线性模型,对其服务响应时间进行补足。
为了验证上述基于可变斜率的缺失服务响应时间补足装置和方法的性能,我们在PC机上(配置:INTEL i5-760,2.8G处理器,8G内存)安装了本装置,并运行仿真实验进行实例分析。在实例分析中,采用的服务响应时间历史数据来源于WS-Dream网站收集的服务响应时间历史数据(数据来源:http://www.wsdream.net/dataset.html),该该数据集包含了根据339名用户对5825个服务的服务响应时间历史数据。实例分析使用平均绝对误差MAE作为缺失服务响应时间补足准确度的评价指标,MAE越低,缺失服务响应时间补足准确度越高;使用训练时间作为运行效率的指标,训练时间越短,运行效率越高。
图4为应用本发明实施例前后,根据WS-Dream网站收集的服务响应时间历史数据,进行缺失服务响应时间补足的MAE对比。参见图4,应用本发明实施例后,对服务响应时间进行补足时,MAE有明显下降,补足准确度有明显提高。
图5为应用本发明实施例前后,根据WS-Dream网站收集的服务响应时间历史数据,进行缺失服务响应时间补足的执行时间对比。参见图5,应用本发明实施例后,对服务响应时间进行补足时,执行时间有明显下降,运行效率有明显提高。
由上述技术方案可见,本发明实施例提供了一种基于可变斜率的缺失服务响应时间补足方法,其专门作用于海量服务响应时间历史数据,能够对用户调用服务的响应时间进行基于统计规律的、高效、准确的补足,以解决针对现代大型复杂系统中的海量服务响应时间历史数据,进行准确度高、执行复杂度低的缺失服务响应时间补足问题。
面向服务架构(Service Oriented Architecture,以下简称SOA)代表一种基于互联网的软件开发、部署和集成的模式。基于SOA的软件系统以更粗粒度的服务作为基本组成元素。每个服务完成相对独立的基本功能,各个服务之间松散耦合,通过平台独立、环境透明、依赖于网络的标准调用协议进行交互和协同。基于SOA的软件系统能在确保实现复杂的业务逻辑和方法的前提下,实现屏蔽平台、协议、数据和开发语言等方面的差异,具备协同、自治、自适应、松偶合的特点。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于可变斜率的缺失服务响应时间补足方法,其特征在于,包括如下步骤:
S1,接收模块接收服务器采集的服务响应时间历史数据,指示数据模块对接收的服务响应时间历史数据进行存储;
S2,数据模块存储由接收模块接收的服务响应时间历史数据,存储服务器收集的服务响应时间历史数据;并存储训练模块训练的缺失服务响应时间补足模型;
S3,训练模块执行缺失服务响应时间补足模型训练过程,并将训练得到的缺失服务响应时间补足模型存入数据模块中的补足模型存储单元;将训练单元训练的缺失服务响应时间补足模型存储至数据模块中的补足模型存储单元;
S4,补足模块收到服务器根据当前训练的缺失服务响应时间补足模型,对指定用户在指定服务上的服务响应时间进行补足的指令后,对该用户在该服务上的服务响应时间进行补足。
2.根据权利要求1所述的基于可变斜率的缺失服务响应时间补足方法,其特征在于,所述S3包括:
S3-1,初始化单元初始化缺失服务响应时间补足模型训练过程中涉及的参数,包括高斯噪声矩阵G、斜率矩阵A、偏差矩阵B、训练控制变量n、训练上限N和收敛判定阈值γ;
S3-2,高斯噪声矩阵G是根据当前用户集合U,和均值为零、方差为1的标准正态分布,建立的|U|行,|U|列的矩阵,其每个元素初始化为根据标准正态分布产生的区间(0,0.05)内的随机数;斜率矩阵A、偏差矩阵B是根据当前用户集合U,建立的|U|行,|U|列的矩阵,其中每个元素初始化为0;
S3-3,训练控制变量n初始化为非负整数;训练上限N初始化为正整数;收敛判定阈值γ初始化为极小正数。
3.根据权利要求1所述的基于可变斜率的缺失服务响应时间补足方法,其特征在于,所述S4包括:
S4-1,接收服务器发送的用户认证u;和服务认证s;
S4-2,从补足模型存储单元中取出与用户认证u和服务认证s相关的模型参数;
S4-3,从响应时间历史数据存储单元中取出与服务认证s相关的服务响应时间历史数据;
S4-4,补足用户认证u对服务认证s的服务响应时间。
4.根据权利要求2所述的基于可变斜率的缺失服务响应时间补足方法,其特征在于,所述S3包括:
S3-A,接收服务器构造缺失服务响应时间补足模型的指令;
S3-B,初始化相关参数;
S3-C,对用户二元组(u,v),构造偏差函数ε1(u,v);
S3-D,对Bu,v进行解析求解;
S3-E,构造损失函数εA(u,v);
S3-F,判断训练控制变量n已达到上限N,若是,则执行步骤S3-J,否则,执行步骤S3-E;
S3-G,判断εA(u,v)在T(u)∩T(v)上对Au,v和Bu,v收敛,若是,则执行步骤S3-J,否则,执行步骤S3-H;
S3-H,令Bu,v为参量,Au,v为变量,对Au,v进行解析求解;
S3-I,令Au,v为参量,Bu,v为变量,对Bu,v进行解析求解;重复执行步骤S3-F;
S3-J,判断已处理完所有的用户二元组,若是,则执行步骤S3-K,否则,执行步骤S3-C;
S3-K,将训练获取的缺失服务响应时间补足模型输出,存储至补足模型存储单元。
5.根据权利要求3所述的基于可变斜率的缺失服务响应时间补足方法,其特征在于,所述S4包括:
S4-A,接收服务器发送的用户认证u;和服务认证s;服务器发送指令的方式为:定期、或根据所述装置的通知、或根据某服务器的通知,将用户认证u;和服务认证s发送给训练单元;
S4-B,从补足模型存储单元中取出与用户认证u和服务认证s的模型参数;包括,高斯噪声矩阵G,斜率矩阵A和偏差矩阵B中,与用户认证u的所有参数;
S4-C,从响应时间历史数据存储单元中取出与服务认证s的服务响应时间历史数据;服务响应时间历史数据集合T中与服务s相关的所有数据;
步骤304:补足用户u对服务s的服务响应时间,以如下公式表示:
其物理意义为,根据与用户认证u和服务认证s相关联的所有服务响应时间历史数据,根据线性模型,对其服务响应时间进行补足。
6.根据权利要求2所述的基于可变斜率的缺失服务响应时间补足方法,其特征在于,所述S3包括:
A,接收服务器构造缺失服务响应时间补足模型的指令,定期、或根据服务器通知,将要求构造缺失服务响应时间补足模型的指令发送给训练单元;
B,初始化参数包括:
高斯噪声矩阵G:是根据当前用户集合U,和均值为零、方差为1的标准正态分布,建立的|U|行,|U|列的矩阵,其每个元素初始化为根据标准正态分布产生的区间(0,0.05)内的随机数;
斜率矩阵A:是根据当前用户集合U,建立的|U|行,|U|列的矩阵,其中每个元素初始化为0;
偏差矩阵B:是根据当前用户集合U,建立的|U|行,|U|列的矩阵,其中每个元素初始化为0;
训练控制变量n:控制训练过程的变量,初始化为非负整数;
训练上限N:训练上限n:控制训练过程训练上限的变量,初始化为正整数;
收敛判定阈值γ:判断训练过程是否已收敛的阈值参数,初始化为极小正数;
C,对用户二元组(u,v),构造偏差函数ε1(u,v);偏差函数ε1(u,v)以如下公式表示:
其物理含义为,假设用户u相关的服务响应时间历史数据,与用户v相关的服务响应时间历史数据,成斜率为1、偏差为Bu,v的线性关系,并构造偏差函数衡量用户u与用户v间的线性偏差Bu,v;
D,对Bu,v进行解析求解,对ε1(u,v)关于Bu,v求偏导数,得到Bu,v的训练公式以如下公式表示:
E,构造损失函数εA(u,v),损失函数εA(u,v)以如下公式表示:
其物理含义为,假设用户u相关的服务响应时间历史数据,与用户v相关的服务响应时间历史数据,成斜率为Au,v、线性偏差为Bu,v的线性关系,并构造偏差函数衡量用户u与用户v间的斜率Au,v和线性偏差Bu,v。
F,判断训练控制变量n已达到上限N;在训练控制变量n上累加1,然后判断训练控制变量n是否大于训练上限N;
G,判断εA(u,v)在T(u)∩T(v)上对Au,v和Bu,v收敛依据为,本轮训练开始前,εA(u,v)的数值,对比上轮训练开始前,εA(u,v)的数值,其差的绝对值是否小于收敛判定阈值γ;如果小于,则判定为已收敛,反之,则判定为未收敛;
H,令Bu,v为参量,Au,v为变量,对Au,v进行解析求解;以如下公式表示:
其物理含义为,利用爬山算法思想,令Bu,v为参量,Au,v为变量,求εA(u,v)关于Au,v的偏导数并令其为0,对Au,v进行解析求解。
I,令Au,v为参量,Bu,v为变量,对Bu,v进行解析求解;重复执行步骤F;对Bu,v进行解析求解,以如下公式表示:
其物理含义为,利用爬山算法思想,令Au,v为参量,Bu,v为变量,求εA(u,v)关于Bu,v的偏导数并令其为0,对Bu,v进行解析求解;
J,判断已处理完所有的用户二元组,检验是否对已知的用户集合,其任意的二元组(u,v)均已进行上述训练过程;
K,将训练获取的缺失服务响应时间补足模型输出,存储至补足模型存储单元。
7.一种基于可变斜率的缺失服务响应时间补足装置,其特征在于,包括:
接收模块,用于接收服务器采集的服务响应时间历史数据,指示数据模块对接收的服务响应时间历史数据进行存储;
数据模块,用于存储由接收模块接收的服务响应时间历史数据,存储服务器收集的服务响应时间历史数据;并存储训练模块训练的缺失服务响应时间补足模型;
训练模块,用于执行缺失服务响应时间补足模型训练过程,并将训练得到的缺失服务响应时间补足模型存入数据模块中的补足模型存储单元;将训练单元训练的缺失服务响应时间补足模型存储至数据模块中的补足模型存储单元;
补足模块,用于收到服务器根据当前训练的缺失服务响应时间补足模型,对指定用户在指定服务上的服务响应时间进行补足的指令后,对该用户在该服务上的服务响应时间进行补足。
8.根据权利要求1所述的基于可变斜率的缺失服务响应时间补足装置,其特征在于,所述数据模块包括:
响应时间历史数据存储单元,用于存储接收模块发送的服务响应时间历史数据,将接收的服务响应时间历史数据根据训练模块的指令进行存储调用;
补足模型存储单元,用于存储训练模块的输出单元所输出的缺失服务响应时间补足模型存储到数据模块的补足模型存储单元。
9.根据权利要求1所述的基于可变斜率的缺失服务响应时间补足装置,其特征在于,所述训练模块包括:
初始化单元,用于初始化缺失服务响应时间补足模型训练过程中涉及参数,包括高斯噪声矩阵G、斜率矩阵A、偏差矩阵B、训练控制变量n、训练上限N和收敛判定阈值γ;其中,高斯噪声矩阵G是根据当前用户集合U,和均值为零、方差为1的标准正态分布,建立的|U|行,|U|列的矩阵,其每个元素初始化为根据标准正态分布产生的区间内的随机数;斜率矩阵A、偏差矩阵B是根据当前用户集合U,建立的|U|行,|U|列的矩阵,其中每个元素初始化为0;训练控制变量n初始化为非负整数;训练上限N初始化为正整数;收敛判定阈值γ初始化为极小正数;
训练单元,用于根据数据模块中响应时间历史数据存储单元存储的服务响应时间历史数据,和初始化单元初始化的训练参数,构造缺失服务响应时间补足模型,包括高斯噪声矩阵G、斜率矩阵A、偏差矩阵B;G中的每一元素Gu,v代表用户u对用户v的高斯噪声;A中的每一元素Au,v代表用户u对用户v的斜率;B中的每一元素Bu,v代表用户u对用户v的偏差;训练缺失服务响应时间补足模型进一步包括,对于每个用户二元组(u,v),训练单元首先构造偏差函数ε1(u,v),ε1(u,v)以公式
表示,其中,T(u)和T(v)分别表示服务响应时间历史数据集合T中与用户u和用户v相关的子集;Tu,s和Tv,s分别表示用户u和用户v对服务s进行调用的历史响应时间数据;Bu,v表示用户u相对于用户v的偏差;Gu,v表示用户u相对于用户v的高斯噪声;然后对Bu,v进行解析求解,表示为公式,
然后对于每个用户二元组(u,v),构造损失函数εA(u,v),εA(u,v)以公式
其中,Gu,v为初始化单元初始化的高斯噪声,Bu,v的初始值对偏差函数ε1(u,v)进行解析求解所得值;再重复下列训练过程:
a.令Bu,v为参量,Au,v为变量,对Au,v进行解析求解,表示为公式
b.令Au,v为参量,Bu,v为变量,对Bu,v进行解析求解,表示为公式
直至εA(u,v)在T(u)∩T(v)上对Au,v和Bu,v收敛,判定条件为εA(u,v)<γ;或者训练控制变量n等于训练上限N;
输出单元,用于将训练单元训练的斜率矩阵A、偏差矩阵B,以及对应的高斯噪声矩阵G输出,存储至数据模块中的补足模型存储单元。
10.根据权利要求1所述的基于可变斜率的缺失服务响应时间补足装置,其特征在于,所述补足模块包括:
收到服务器根据当前训练的缺失服务响应时间补足模型,对用户认证u在服务认证s上的服务响应时间进行补足的指令后,对用户认证u在服务认证s上的服务响应时间进行补足,表示为公式
其中表示根据缺失服务响应时间补足模型,对用户认证u在服务认证s上的缺失服务响应时间补足值,T(s)表示服务响应时间历史数据集合T中与服务s相关的子集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510087290.2A CN104660699B (zh) | 2015-02-25 | 2015-02-25 | 基于可变斜率的缺失服务响应时间补足方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510087290.2A CN104660699B (zh) | 2015-02-25 | 2015-02-25 | 基于可变斜率的缺失服务响应时间补足方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104660699A true CN104660699A (zh) | 2015-05-27 |
CN104660699B CN104660699B (zh) | 2018-02-13 |
Family
ID=53251386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510087290.2A Expired - Fee Related CN104660699B (zh) | 2015-02-25 | 2015-02-25 | 基于可变斜率的缺失服务响应时间补足方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104660699B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106708992A (zh) * | 2016-12-16 | 2017-05-24 | 浙江中控技术股份有限公司 | 一种数据查询方法、装置及系统 |
CN110113180A (zh) * | 2019-03-11 | 2019-08-09 | 中国科学院重庆绿色智能技术研究院 | 一种基于偏置张量分解的云服务响应时间预测方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1503949A (zh) * | 2001-04-19 | 2004-06-09 | �Ҵ���˾ | 服务器、计算机系统、对象管理方法、服务器控制方法、计算机程序 |
CN103197983A (zh) * | 2013-04-22 | 2013-07-10 | 东南大学 | 基于概率图模型的服务组件可靠性在线时间序列预测方法 |
CN103885820A (zh) * | 2012-12-19 | 2014-06-25 | 国际商业机器公司 | 信息处理装置和信息处理方法 |
-
2015
- 2015-02-25 CN CN201510087290.2A patent/CN104660699B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1503949A (zh) * | 2001-04-19 | 2004-06-09 | �Ҵ���˾ | 服务器、计算机系统、对象管理方法、服务器控制方法、计算机程序 |
CN103885820A (zh) * | 2012-12-19 | 2014-06-25 | 国际商业机器公司 | 信息处理装置和信息处理方法 |
CN103197983A (zh) * | 2013-04-22 | 2013-07-10 | 东南大学 | 基于概率图模型的服务组件可靠性在线时间序列预测方法 |
Non-Patent Citations (3)
Title |
---|
YILEI ZHANG , ZIBIN ZHENG AND MICHAEL R. LYU: "WSPred: A Time-Aware Personalized QoS Prediction Framework for Web Services", 《2011 22ND IEEE INTERNATIONAL SYMPOSIUM ON SOFTWARE RELIABILITY ENGINEERING》 * |
Z I B I N Z H E N G , STUDENT MEMBER, IEEE, HAO MA, MICHAEL R. L: "QoS-Aware Web Service Recommendation by Collaborative Filtering", 《IEEE TRANSACTIONS ON SERVICES COMPUTING》 * |
郑晓霞; 赵俊峰; 程志文; 谢冰: "一种WebService响应时间的动态预测方法", 《小型微型计算机系统》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106708992A (zh) * | 2016-12-16 | 2017-05-24 | 浙江中控技术股份有限公司 | 一种数据查询方法、装置及系统 |
CN110113180A (zh) * | 2019-03-11 | 2019-08-09 | 中国科学院重庆绿色智能技术研究院 | 一种基于偏置张量分解的云服务响应时间预测方法和装置 |
CN110113180B (zh) * | 2019-03-11 | 2021-11-26 | 中国科学院重庆绿色智能技术研究院 | 一种基于偏置张量分解的云服务响应时间预测方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104660699B (zh) | 2018-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kissling et al. | Multispecies interactions across trophic levels at macroscales: retrospective and future directions | |
Silva Pedro et al. | Disentangling the effects of compositional and structural diversity on forest productivity | |
CN103973513B (zh) | 一种核电站全范围模拟机的远程监测方法和系统 | |
Di Santo et al. | A distributed architecture for online power systems security analysis | |
Lockhart et al. | Scission: Performance-driven and context-aware cloud-edge distribution of deep neural networks | |
CN104731636A (zh) | 调度员训练模拟装置及其操作方法 | |
CN107480432A (zh) | 一种基于云平台的负荷分解方法 | |
Momtazpour et al. | Analyzing invariants in cyber-physical systems using latent factor regression | |
Nguyen et al. | Modelling infrastructure interdependencies, resiliency and sustainability | |
CN114077742A (zh) | 软件漏洞智能挖掘方法和装置 | |
Wang et al. | Flint: A platform for federated learning integration | |
CN106547695B (zh) | 一种规模软件的测试系统及方法 | |
CN104660699A (zh) | 基于可变斜率的缺失服务响应时间补足方法和装置 | |
Ilkhani et al. | Extraction test cases by using data mining; reducing the cost of testing | |
Nugroho et al. | Development of a field environmental monitoring node with over the air update function | |
Wiesner et al. | Software‐in‐the‐loop simulation for developing and testing carbon‐aware applications | |
CN103944778B (zh) | 一种基于组合测试集的分布式事件注入装置 | |
Lockhart et al. | Scission: Context-aware and performance-driven edge-based distributed deep neural networks | |
CN104753718A (zh) | 基于非负聚合的缺失服务吞吐率补足方法和装置 | |
US20140350998A1 (en) | Project risk patterns modeling and risk mitigation | |
Zheng et al. | Dynamical characteristics of software trustworthiness and their evolutionary complexity | |
CN117806940A (zh) | 一种基于Jmeter的模拟分时传输测试方法、系统、设备及介质 | |
Kneer et al. | A Framework for Prototyping and Evaluating Self-adaptive Systems-A Research Preview. | |
Zhang et al. | Two‐stage nonparametric framework for missing data imputation, uncertainty quantification, and incorporation in system identification | |
Yang et al. | Wind power fluctuation characteristics of Three North regions based on clustering algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180919 Address after: 401121 No. 17-1 B2 building, 52 Mount Huangshan Avenue, Yubei District, Chongqing. Patentee after: Chongqing Zhihui hang an Intelligent Technology Research Institute Co., Ltd. Address before: 400020 174 Sha Zheng street, Shapingba District, Chongqing. Patentee before: Chongqing University |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180213 Termination date: 20210225 |