CN115687029A - 长期服务器运行状态时序数据可视化方法 - Google Patents
长期服务器运行状态时序数据可视化方法 Download PDFInfo
- Publication number
- CN115687029A CN115687029A CN202211342036.9A CN202211342036A CN115687029A CN 115687029 A CN115687029 A CN 115687029A CN 202211342036 A CN202211342036 A CN 202211342036A CN 115687029 A CN115687029 A CN 115687029A
- Authority
- CN
- China
- Prior art keywords
- visual
- data
- segmentation
- state change
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007774 longterm Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013079 data visualisation Methods 0.000 title description 3
- 230000011218 segmentation Effects 0.000 claims abstract description 120
- 230000000007 visual effect Effects 0.000 claims abstract description 96
- 230000002159 abnormal effect Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 25
- 230000000694 effects Effects 0.000 claims description 24
- 230000000630 rising effect Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000005856 abnormality Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种长期服务器运行状态时序数据可视化方法,通过获取长期服务器运行状态时序数据,对长期服务器运行状态时序数据进行数据抽象处理,进行初步的分段、分类,对数据抽象处理后的时序数据进行视觉编码,设计时序数据分段算法,解决当前在服务器运行状态监测方面存在的异常类型判断难,恶意攻击检测难的问题,可以精准精确的进行服务器异常的识别。
Description
技术领域
本发明属于信息可视化技术领域,特别是涉及一种长期服务器运行状态时序数据可视化方法。
背景技术
随着信息化时代的到来,服务器承担着信息数据承载和处理的任务,它的正常运行是进行各种网络活动的前提。绝大多数网络活动可以分为三步:用户在前端/客户端界面发出请求;服务器收到用户的请求后,进行一系列相关操作处理;服务器将操作结果返回给用户。服务器在网络活动中发挥着关键性作用,若服务器不能正常运行,我们进行的网络活动是无法完成的。保证服务器的正常运行,是服务器运维人员和网络维护人员工作的核心任务。
在实际应用中,导致服务器不能正常运行的原因是多种多样的。目前主流的解决方案是每隔一段时间(通常是几秒或几分钟),对服务器进行一次是否正常运行的测试,若服务器不能正常运行,则发出异常警报,通知工作人员进行异常处理;反之继续进行监测。这种做法从保证服务器正常运行的角度来看,安全性无异于最高;但是从服务器运维人员的角度来看,这不仅加重了工作量,还必须花费大量的时间精力在监测服务器上,即便服务器长时间运行正常。一方面,服务器是24小时不间断运行,任何时间出现了异常,运维人员都必须得去查看、分析并解决异常,即使是服务器的容灾机制可以解决的问题;另一方面,当服务器被恶意攻击时,服务器可能会出现时而正常时而异常或周期性异常的情况,若不从根本上解决恶意攻击问题,短时的异常解决治标不治本。
为此,我们亟需一种长期服务器运行状态的可视化方法,从图中,我们可以判断出导致服务器异常的问题类型,从而对症下药,从根本上解决服务器异常的问题,在减轻运维人员工作量的同时,也为他们提供了一种更好的服务器监测工具。
发明内容
本发明实施例的目的在于提供一种长期服务器运行状态时序数据可视化方法,解决当前在服务器运行状态监测方面存在的异常类型判断难,恶意攻击检测难的问题,可以精准精确的进行服务器异常的识别。
为解决上述技术问题,本发明所采用的技术方案是,长期服务器运行状态时序数据可视化方法,包括以下步骤:
步骤S1:获取长期服务器运行状态时序数据;
步骤S2:对长期服务器运行状态时序数据进行数据抽象处理,进行初步的分段、分类操作;
步骤S3:对数据抽象处理后的时序数据进行视觉编码;
步骤S4:定义分段函数的优化目标;
步骤S5:设计长期服务器运行状态时序数据分段算法;最终得到最佳分段结果和视觉编码的映射效果。
本发明的有益效果是:解决了当前在服务器运行状态监测方面存在的异常类型判断难,恶意攻击检测难,从根源上解决问题难等问题。长期服务器运行状态数据中最重要的状态变化信息在本方法的数据抽象过程中,得以保留,以此为中心,进行了有效的视觉编码设计和分段算法设计,将时序数据中重要的状态变化信息直观清晰地呈现在用户面前,减轻了服务器运维人员和监管人员的工作任务和认知负担,提高了工作效率,为服务器异常问题的解决提供了指导和帮助。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的长期服务器运行状态时序数据可视化方法流程图;
图2是时序模式分类规则和视觉编码映射规则的详细示意图;
图3是8台服务器运行状态时序数据可视化方法的效果图;
图4是未分段的长期服务器运行状态时序数据图;
图5是分段后的长期服务器运行状态时序数据图;
图6是状态变化点的数量等级分类图;
图7是分段点的归属问题图;
图8是视觉编码的映射过程图;
图9是面积等效原理的应用过程图;
图10是分段点的调整规则图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
长期服务器运行状态时序数据可视化方法,如图1~2所示,包括以下步骤:
步骤S1:获取长期服务器运行状态时序数据;
长期服务器运行状态时序数据是一种长时间跨度、数据值为非“0”即“1”的时间序列数据,其中“0”表示服务器处于异常运行状态,“1”表示服务器处于正常运行状态。容易从现有的服务器监测系统中,获取到服务器实时运行状态的时序数据,时序数据的采样间隔由监测系统的监测时间间隔来确定(通常为几秒或几分钟)。
步骤S2:对长期服务器运行状态时序数据进行数据抽象处理,进行初步的分段、分类操作;
长期服务器运行状态时序数据,数据量多、时间跨度大,受限于有限的屏幕空间,将其细节信息在视觉空间上全盘托出,是无法实现的。因此,我们需要对其在数据空间上进行数据抽象处理。我们以数据的时变特征为划分依据,按照先分段再分类的方法将时序数据在数据空间上分为了10类。
步骤S2.1:对长期服务器运行状态时序数据进行分段操作;
采用“分治策略”,将一个大的时间片划分为多个小的时间片,通过解决每个小时间片的视觉抽象问题,实现长期服务器运行状态时序数据整体的视觉抽象。对长期服务器运行状态时序数据进行分段,是一个优化的问题,分段算法的设计需要借助步骤S3的视觉编码设计,为了方便进行分类操作,我们暂时以等距划分策略(即,将长时间跨度的数据等分为n个相同时间跨度的数据)进行分段操作。未分段的数据示例如图4所示,分段后的数据示例如图5所示。
步骤S2.2:对长期服务器运行状态时序数据进行分类操作;
从图5中得到,每个分段中时序数据的时变模式由一个或多个“状态变化点”组成,而“状态变化点”又有两种,即从异常状态变为正常状态的“上升沿”和从正常状态变为异常状态的“下降沿”。状态变化点是长期服务器运行状态时序数据中最重要的信息,提供了服务器运行状态变化的信息和对应的时间节点。由于分段中状态变化点的数量和类型有很大的不确定性,若在视觉空间中展示出所有信息,是不可能的,为此,对每个分段中的时变模式进行了分类操作。
步骤S2.2.1:对分段中的状态变化点进行数量等级的划分;
根据每个分段中状态变化点的数量,将所有分段分为四类:①没有状态变化点(图6中(1));②有1个状态变化点(图6中(2));③有2个状态变化点(图6中(3));④有多个(大于2)状态变化点(图6中(4))。
步骤S2.2.2:对分段中的状态变化点进行类型的划分;
状态变化点可能会有很多,但分段中的第一个和最后一个状态变化点表示在该时间段内服务器运行状态的始末变化,在所有状态变化点中是最重要的。只考虑第一个和最后一个状态变化点的类型,忽略其他的,对图6中的四类时序模式进行了进一步的分类,分类情况如表1(N∈N*)所示。
表1四类时序模式分类情况表
表1中的类型7-10,在数量等级上属于④,即图6中的(4),所以类型7-10这四种类型有多个状态变化点。进一步分类是按照分段首尾状态变化点的类型进行划分的。因此会有:首尾均是下降沿(类型7);首尾均是上升沿(类型8);首是上升沿,尾是下降沿(类型9);首是下降沿,尾是上升沿(类型10)。
步骤S2.2.3:确定分段交界处状态变化点的归属问题;
在步骤S2.2.1和S2.2.2中,会遇到状态变化点处于分段交界处的情况,如图5中的分段2和分段3、分段6和分段7所示,他们之间状态变化点的归属会导致分段2、3、6、7的类型发生变化。从状态变化点的现实意义出发,规定:两个分段交界处的状态变化点属于运行状态正常的那个分段,据此可知,图5中分段2和3之间的上升沿属于分段3,分段6和分段7之间的下降沿属于分段6,详细的分段点归属方案如图7所示。在图7的左图中,当上升沿状态变化点处于分段交界处时,上升沿属于沿时间轴方向一侧的分段;在图7的右图中,当下降沿状态变化点处于分段交界处时,下降沿属于沿时间轴反方向一侧的分段。
步骤S3:对数据抽象处理后的时序数据进行视觉编码;
长期服务器运行状态时序数据都可以由表1中的10种时序模式构成,对长期服务器运行状态时序数据的视觉抽象,可以转为对10种时序模式的视觉编码。
步骤S3.1:对类型1和类型2时序模式进行视觉编码;
类型1和类型2时序模式没有状态变化点,在该时段中,服务器一直处于异常状态或正常状态,分别使用未绘制颜色的视觉单元来表示服务器在该时段处于异常状态和绘制颜色的视觉单元(颜色可以任选,我们采用的是蓝色,下同)来表示服务器在该时段处于正常状态,视觉编码的映射过程如图8中(1)所示。
步骤S3.2:对类型3和类型4时序模式进行视觉编码;
时序模式类型3和类型4只有一个状态变化点,类型3表示在进入该时段时服务器处于正常状态,离开时处于异常状态;类型4表示在进入该时段时服务器处于异常状态,离开时处于正常状态。时序模式类型3和4都传递了两种信息,为此将视觉单元均分成两份,其中类型3的左侧采用一个绘制颜色的矩形来表示在进入该时段时服务器处于正常状态,右侧采用一个绘制颜色的尖端朝右的等腰三角形,来表示下降沿的出现以及离开时服务器处于异常状态;类型4的左侧采用一个尖端朝左的等腰三角形来表示上升沿的出现,以及在进入该时段时服务器处于异常状态,右侧采用一个绘制颜色的矩形来表示离开时服务器处于正常状态。视觉编码的映射过程如图8中(2)所示。
步骤S3.3:对类型5和类型6时序模式进行视觉编码;
时序模式类型5和类型6都有两种状态变化点,类型5表示在进入和离开该时段时服务器处于异常状态,但在中间的一段时间内处于正常状态;类型6表示在进入和离开该时段时服务器处于正常状态,但在中间的一段时间内处于异常状态。时序模式类型5和6同样都传递了两种信息,将视觉单元均分成两份,其中类型5的左侧采用一个绘制颜色尖端朝左的等腰三角形来表示上升沿的出现,以及在进入该时段时服务器处于异常状态;右侧采用一个绘制颜色尖端朝右的等腰三角形,来表示下降沿的出现以及在离开该时段时服务器处于异常状态;类型6的左侧采用一个绘制颜色尖端朝右的等腰三角形,来表示下降沿的出现以及在进入该时段时服务器处于正常状态;右侧采用一个绘制颜色尖端朝左的等腰三角形,来表示上升沿的出现以及在离开该时段时服务器处于正常状态。视觉编码的映射过程如图8中(3)所示。
步骤S3.4:对类型7、8、9、10时序模式进行视觉编码
时序模式类型7、8、9、10都有多个状态变化点,若只考虑第一个和最后一个状态变化点的形状,忽略状态变化点的数量等级,类型7、8、9、10和类型3、4、5、6是一一对应的。因此,步骤S3.2和S3.3的视觉编码设计同样适用于类型7、8、9、10。我们在类型3、4、5、6的视觉编码上增加了两个对称的斜线,来表示分段中有多个状态变化点。视觉编码的映射过程如图8中(4)所示。
步骤S4:定义分段函数的优化目标;
分段算法是核心内容,分段算法从根本上讲是一个依托于优化目标的优化问题。分段算法优化目标的定义按照以下四个步骤进行。
步骤S4.1:指标a:状态变化点分布在视觉空间和数据空间中的差异;
状态变化点的分布是长期服务器运行状态时序数据中最重要的时变模式,对长期服务器运行状态时序数据进行视觉抽象,目的是能够最大程度上在视觉空间中模拟状态变化点的真实分布情况。但在视觉空间中,状态变化点被编码为了等腰三角形,状态变化点的视觉信息无法直接获得,为此,进行了如下处理:
1),在视觉空间中,采用面积等效原理来估计状态变化点的视觉位置:等腰三角形“腰中点”在时间轴上的投影即是该状态变化点的视觉位置(如图9中(1)所示),忽略状态变化点的数量等级。通过处理,视觉空间的每个分段中最多有两个状态变化点的视觉位置。
2),在数据空间中,首先将数据空间中的状态变化点分为了两组:上升沿组和下降沿组;接着,计算每一组中所有状态变化点精确位置信息的平均值。通过处理,数据空间中的分段同样最多具有两组状态变化点的平均位置信息,这样就和状态变化点的视觉位置信息建立起了对应关系。
进一步地,所述步骤S4.1中状态变化点在视觉空间和数据空间中分布情况的差异,即指标a计算公式如下:
其中,m是视觉空间中编码的等腰三角形的数量;Vi是视觉空间中第i个状态变化点的视觉位置信息;Di是与之对应的数据空间中状态变化点组的平均精确位置信息;L是视觉空间时间轴的长度;T是数据空间的整体时间跨度。指标a的值越小,表示两空间中状态变化点的分布越相似。
步骤S4.2:指标b:占空比在视觉空间和数据空间中的差异;
占空比是服务器处于正常运行状态的时长占总时长的比例。在视觉空间中,绘有颜色的图形表示服务器处于正常状态,未绘制颜色的图形表示服务器处于异常状态。但是视觉占空比不能够从视觉空间中直接获取,同样采用面积等效原理,得到了视觉空间中10类时序模式的视觉占空比,如图9中(2)所示。
进一步地,所述步骤S4.2中,占空比在视觉空间和数据空间中的差异,即指标b计算公式如下:
其中,actual_DR表示数据空间中的真实占空比,即服务器处于正常运行状态的时长和总时长的比值;visual_DRi表示视觉空间中第i个分段的视觉占空比,n表示视觉空间中分段的数量。指标b的值越小,意味着视觉占空比和真实占空比之间的差异越小。
步骤S4.3:指标c:数据空间中各分段时间跨度的变异系数;
在视觉空间中,为了获得更佳的视觉显示效果,每个分段的大小都是相等的,如果数据空间中各个分段的时间跨度有着较大的差异,视觉空间中状态变化点的分布和视觉占空比会失真。使用数据空间中各分段时间跨度的变异系数来定量地计算分段的离散程度。
进一步地,所述步骤S4.3中,数据空间中各分段时间跨度的变异系数的差异,即指标c计算公式如下:
步骤S4.4:损失函数的定义;
基于步骤S4.1、S4.2、S4.3定义的三个指标a、b、c,损失函数即为这三个指标的加权平均值,用户可以根据自己的实际需求,在(0,1]范围内对指标的权重进行调整,损失函数的数值越小,意味着分段效果越好,也意味着长期服务器运行状态时序数据在视觉空间中的视觉抽象效果越好。
进一步地,所述步骤S4.4中损失函数的计算公式如下:
其中,wi是权重系数,默认情况下,三个优化指标的权重系数是相等的,用户可以按照需求对其进行适当地调整。
损失函数的作用是让分段效果更好,下文步骤S5分段算法的设计都是围绕如何使损失函数的损失值更低来进行的。损失函数是一个指标,它的值越低,分段效果越好。上文提到的分段目的是为了分段后进行视觉编码的设计,并没有真正进行分段操作。S5中的分段算法涉及到如何通过两种分段策略来使损失函数的损失值达到一个尽可能低的水平。
步骤S5:长期服务器运行状态时序数据分段算法的设计;
结合损失函数和当前主流的时序数据分段策略进行了先导性试验,发现单分段策略下的分段效果,不能满足需求。从分段结果上看,分段算法发挥的作用主要是:①确定了分段的数量n;②确定了n-1个分段点的位置。从这两方面出发设计了一个结合等距划分策略和特征点分段策略的双分段策略和双优化过程的时序数据分段算法。
步骤S5.1:利用等距划分策略获得最佳分段数量n;
在先导性实验中,等距划分策略有着最佳的时间性能,同时在指标c上拥有最小的损失值。利用等距划分策略来进行最佳分段数量n的筛选。
步骤S5.1.1:从视觉效果上获取初始分段数量范围[Nmin,Nmax];
为了能够获得最佳的视觉显示效果,在当前主流显示器的条件下,进行了不同分段数量下视觉显示效果的先导性试验,得到了视觉编码显示效果最佳时的分段数量范围是[20,30]。
步骤S5.1.2:遍历初始分段数量范围,得到最佳分段数量n;
将n的取值遍历范围[20,30],每次均采用等距划分策略对长期服务器运行状态时序数据进行分段,分段完成后采用步骤S4.4设计的损失函数进行损失值计算,取最小损失值对应的分段数量n’为最终的分段数量n,将对应的n-1个分段点位置作为长期服务器运行状态时序数据的初始分段点保留下来。若最小的函数值存在多个,用户可以任意选取,也可以对优化指标的权重进行调整,来获取最佳的分段数量n。
步骤S5.2:利用特征点分段策略获得n-1个最佳分段点的位置;
长期服务器运行状态时序数据中的状态变化点作为特征点分段策略中“天然”的特征点,与特征点分段策略有着极高的契合度,但在先导性试验中,特征点分段策略的时间性能差、指标c上的表现差,导致该策略仍不能达到需求,不过和等距划分策略的组合使用,弥补了这些缺点。因此以状态变化点为中心,提出了两个调整规则和一组梯度下降的分段点调整过程。
步骤S5.2.1:分段点调整规则的设计;
1),初始分段点的位置只能在其划分的两个相邻分段内进行调整。
2),初始分段点最多只有两个候选调整位置,分别是左侧分段中最近的上升沿和右侧分段中最近的下降沿。调整规则示意图如图10所示,其中分段点D1只有一个候选位置C1;分段点D2没有候选位置,C1和C2均不是D2的候选调整位置;分段点D3有两个侯选位置C2和C3。
步骤S5.2.2:分段点调整过程的设计;
在上述调整规则下,n-1个初始分段点,最多具有2×(n-1)个候选位置。
1),遍历所有候选位置。在每次遍历中,按照分段点调整规则(S5.2.1),找出所有分段点的候选调整位置;遍历所有候选调整位置,在每次遍历中,都将初始分段点的位置调整到其候选位置,并利用步骤S4.4设计的损失函数来计算每次遍历过程中的损失值。遍历完成后,最多可以得到2×(n-1)个损失值。
2),找到步骤1)中取得最小损失值的候选位置和与之对应的初始分段点,将初始分段点移动到候选位置,并将该分段点标记不再参与调整过程。
3),重复步骤1)和2),直到在当前迭代过程中获得的最小损失值不再小于上一次迭代过程中获得的最小损失值。
实施例
步骤S1:获取长期服务器运行状态时序数据;
现有的服务器监测工具,会以一定的频率对服务器进行运行状态检测,检测的结果有运行正常和运行异常两种状态。在获取数据时,我们将服务器的异常状态标记为0,正常状态标记为1,因此,我们获取到的是包括0和1两种状态值的时序数据。据此,我们的时序数据为8台服务器在2021年3月14日00:00:00到2021年3月20日21:00:00的运行状态情况,如图3所示,8台服务器的ID从上到下分别为1-8。
步骤S2:利用损失函数对时序数据进行进分段和视觉编码的映射;
步骤S2.1:利用等距划分策略获得最佳的分段数量n和视觉编码的初步映射;
在视觉编码的先导性实验中,我们得到视觉编码显示效果最好的分段数量范围为[20,30],为此我们在图3的每个时序数据中,采用等距划分的策略将分段数量n’遍历[20,30],并采用发明内容中步骤S4.4设计的损失函数进行损失值的计算,以获得具有最小损失函数值的分段数量值n。经计算,8个时序数据从上到下,最佳分段数量n分别为26,22,27,27,29,24,25,28,详情如图3所示,并按照每个时序数据的最佳分段数量对8个时序数据进行初步的分段和视觉编码的映射。
步骤S2.2:利用特征点策略获得n-1个最佳分段点的位置和视觉编码的重映射;
我们在步骤S2.1等距离分段结果的基础上,按照下述规则进行分段点位置的调整。
1),在每个时序数据中,按照上文步骤S5.2.1中的分段点调整规则,找出所有分段点的候选调整位置。
2),遍历所有候选调整位置。在每次遍历中,都将初始分段点的位置调整到其候选位置,并利用上文步骤S4.4设计的损失函数来计算每次遍历过程中的损失值。
3),找到过程2)中取得最小损失值的候选位置和与之对应的初始分段点,将初始分段点移动到候选位置,并将该分段点标记不再参与调整过程。
4),重复过程2)和3),直到在当前迭代过程中获得的最小损失值不再小于上一次迭代过程中获得的最小损失值。
8组时序数据的最佳分段结果和视觉编码的映射效果如图3所示。
长期服务器运行状态时序数据分段算法性能和效果的验证:
实验参考分段算法的选取和应用;
时序数据分段是一个研究较为成熟的领域,当前主流的时序数据分段策略有:等距离分段策略(EL)、滑动窗口策略(SW)、自顶向下策略(TD)、自底向上(BU)策略以及特征点分段策略(FP)。我们选取这五种主流的分段策略作为我们分段算法性能和效果验证的参考。为了确保实验的公平性,我们结合长期服务器运行状态时序数据的应用背景,对五种参考算法进行了适应性地修改,这些修改主要包括两方面:①五种分段算法都使用步骤S4.4中设计的损失函数作为优化目标;②最终的分段数量都限制在[20,30]范围内。
实验设计和流程;
六个分段算法的实验数据均来源于步骤S1中获取到的8台服务器的运行状态时序数据,服务器在大多数情况下处于正常运行状态,为了能够更好地测试六个分段算法的性能和效果,服务器运维人员配合我们提供了拥有更多状态变化点的运行状态时序数据,我们以时序数据中状态变化点的数量为划分依据,将数据分为两种复杂度,分别是中等水平和高等水平。我们以算法运行时间作为评价分段算法性能的指标,以步骤S4.4中设计的损失函数得到的损失值作为评价分段算法效果的指标,每个分段算法在每个时序数据上运行10次,取其平均运行时间和平均损失值,作为最后的指标结果。实验过程是在3.0GHz Inteli7 CPU、16GB内存的主机和2K分辨率显示器上进行的。
实验结果验证分析;
从表2的平均损失中我们可以发现,我们设计的分段算法有着最小的平均损失值,这表示,在所有分段算法中,我们设计的分段算法有着最佳的分段效果;在平均运行时间中,我们可以看到等距离分段算法有着最佳的性能,这也是我们设计的分段算法在第一阶段采用等距离分段策略的原因,但我们的分段算法同样能够在可以接受的时间范围内完成对时序数据的分段操作,在六个分段算法里面有着不错的时间性能。
表2分段算法实验结果(粗体表示在相同条件下算法中的最佳指标值)
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (7)
1.长期服务器运行状态时序数据可视化方法,其特征在于,包括以下步骤:
步骤S1:获取长期服务器运行状态时序数据;
步骤S2:对长期服务器运行状态时序数据进行数据抽象处理,进行初步的分段、分类操作;
步骤S3:对数据抽象处理后的时序数据进行视觉编码;
步骤S4:定义分段函数的优化目标;
步骤S5:设计长期服务器运行状态时序数据分段算法;最终得到最佳分段结果和视觉编码的映射效果。
2.根据权利要求1所述的长期服务器运行状态时序数据可视化方法,其特征在于,所述步骤S1中,用数值0或1代表时间序列数据,其中0表示服务器处于异常运行状态,1表示服务器处于正常运行状态。
3.根据权利要求1所述的长期服务器运行状态时序数据可视化方法,其特征在于,所述步骤S2包括:
步骤S2.1:对长期服务器运行状态时序数据进行分段操作,将长时间跨度的数据等分为n个相同时间跨度的数据;
步骤S2.2:对长期服务器运行状态时序数据进行分类操作,包括:
步骤S2.2.1:对分段中的状态变化点进行数量等级的划分,将所有分段分为四类时序模式:1),没有状态变化点;2),有1个状态变化点;3),有2个状态变化点;4),有3个以上状态变化点;
步骤S2.2.2:对分段中的状态变化点进行类型的划分,按照状态变化点数量水平、第一个状态变化点形状、最后一个状态变化点形状进行类型的划分;
步骤S2.2.3:确定分段交界处状态变化点的归属,规定两个分段交界处的状态变化点属于运行状态正常的那个分段。
4.根据权利要求1所述的长期服务器运行状态时序数据可视化方法,其特征在于,所述步骤S3中,长期服务器运行状态时序数据都可以由10种时序模式构成,对长期服务器运行状态时序数据的视觉抽象,转为对10种时序模式的视觉编码,状态变化点被编码为等腰三角形。
5.根据权利要求1所述的长期服务器运行状态时序数据可视化方法,其特征在于,所述步骤S4包括以下步骤:
步骤S4.1:指标a:状态变化点分布在视觉空间和数据空间中的差异;
1),在视觉空间中,采用面积等效原理来估计状态变化点的视觉位置:等腰三角形腰中点在时间轴上的投影即是该状态变化点的视觉位置,忽略状态变化点的数量等级,通过处理,视觉空间的每个分段中最多有两个状态变化点的视觉位置;
2),在数据空间中,首先将数据空间中的状态变化点分为了两组:上升沿组和下降沿组;接着,计算每一组中所有状态变化点精确位置信息的平均值;通过处理,数据空间中的分段同样最多具有两组状态变化点的平均位置信息,和状态变化点的视觉位置信息建立起了对应关系;
步骤S4.2:指标b:占空比在视觉空间和数据空间中的差异;
采用面积等效原理,得到了视觉空间中10类时序模式的视觉占空比;
步骤S4.3:指标c:数据空间中各分段时间跨度的变异系数;
使用数据空间中各分段时间跨度的变异系数来定量地计算分段的离散程度;
步骤S4.4:定义损失函数。
6.根据权利要求5所述的长期服务器运行状态时序数据可视化方法,其特征在于,所述步骤S4.1中,状态变化点在视觉空间和数据空间中分布情况的差异,即指标a计算公式如下:
其中,m是视觉空间中编码的等腰三角形的数量;Vi是视觉空间中第i个状态变化点的视觉位置信息;Di是与之对应的数据空间中状态变化点组的平均精确位置信息;L是视觉空间时间轴的长度;T是数据空间的整体时间跨度;
所述步骤4.2中,占空比在视觉空间和数据空间中的差异,即指标b计算公式如下:
其中,actual_DR表示数据空间中的真实占空比,即服务器处于正常运行状态的时长和总时长的比值;visual_DRi表示视觉空间中第i个分段的视觉占空比,n表示视觉空间中分段的数量;
所述步骤S4.3中,数据空间中各分段时间跨度的变异系数的差异,即指标c计算公式如下:
所述步骤S4.4中,损失函数的计算公式如下:
其中,wi是权重系数。
7.根据权利要求1所述的长期服务器运行状态时序数据可视化方法,其特征在于,所述步骤S5包括:
步骤S5.1:利用等距划分策略获得最佳分段数量n;
包括步骤S5.1.1:从视觉效果上获取初始分段数量范围[Nmin,Nmax];视觉编码显示效果最佳时的分段数量范围是[20,30];
步骤S5.1.2:遍历初始分段数量范围,得到最佳分段数量n;
将n的取值遍历范围[20,30],每次均采用等距划分策略对长期服务器运行状态时序数据进行分段,分段完成后采用损失函数进行损失值计算,取最小损失值对应的分段数量n’为最终的分段数量n,将对应的n-1个分段点位置作为长期服务器运行状态时序数据的初始分段点保留;
步骤S5.2:利用特征点分段策略获得n-1个最佳分段点的位置;
以状态变化点为中心,采用两个调整规则和一组梯度下降的分段点调整过程;
包括步骤S5.2.1:分段点调整规则的设计;
1),初始分段点的位置只能在其划分的两个相邻分段内进行调整;
2),初始分段点最多只有两个候选调整位置,分别是左侧分段中最近的上升沿和右侧分段中最近的下降沿;
步骤S5.2.2:分段点调整过程的设计;
n-1个初始分段点,最多具有2×(n-1)个候选位置;
1),遍历所有候选位置,在每次遍历中,按照分段点调整规则,找出所有分段点的候选调整位置;遍历所有候选调整位置,在每次遍历中,都将初始分段点的位置调整到其候选位置,并利用损失函数来计算每次遍历过程中的损失值,遍历完成后,最多可以得到2×(n-1)个损失值;
2),找到步骤1)中取得最小损失值的候选位置和与之对应的初始分段点,将初始分段点移动到候选位置,并将该分段点标记不再参与调整过程;
3),重复步骤1)和2),直到在当前迭代过程中获得的最小损失值不再小于上一次迭代过程中获得的最小损失值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211342036.9A CN115687029A (zh) | 2022-10-28 | 2022-10-28 | 长期服务器运行状态时序数据可视化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211342036.9A CN115687029A (zh) | 2022-10-28 | 2022-10-28 | 长期服务器运行状态时序数据可视化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115687029A true CN115687029A (zh) | 2023-02-03 |
Family
ID=85046046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211342036.9A Pending CN115687029A (zh) | 2022-10-28 | 2022-10-28 | 长期服务器运行状态时序数据可视化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115687029A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918262A (zh) * | 2019-01-31 | 2019-06-21 | 郑州云海信息技术有限公司 | 一种服务器工作状态的预测方法、装置和介质 |
CN113225145A (zh) * | 2021-05-08 | 2021-08-06 | 中南大学 | 一种无线电信号多维时变特征可视化方法 |
US20220092284A1 (en) * | 2020-09-18 | 2022-03-24 | Google Llc | Platform for Registering and Processing Visual Encodings |
CN114564345A (zh) * | 2022-02-25 | 2022-05-31 | 苏州浪潮智能科技有限公司 | 一种服务器异常检测方法、装置、设备及存储介质 |
-
2022
- 2022-10-28 CN CN202211342036.9A patent/CN115687029A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918262A (zh) * | 2019-01-31 | 2019-06-21 | 郑州云海信息技术有限公司 | 一种服务器工作状态的预测方法、装置和介质 |
US20220092284A1 (en) * | 2020-09-18 | 2022-03-24 | Google Llc | Platform for Registering and Processing Visual Encodings |
CN113225145A (zh) * | 2021-05-08 | 2021-08-06 | 中南大学 | 一种无线电信号多维时变特征可视化方法 |
CN114564345A (zh) * | 2022-02-25 | 2022-05-31 | 苏州浪潮智能科技有限公司 | 一种服务器异常检测方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
赵颖等: ""ASTF: Visual Abstractions of Time-Varying Patterns in Radio Signals"", 《信号处理》, pages 1 - 11 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816031B (zh) | 一种基于数据不均衡度量的变压器状态评估聚类分析方法 | |
CN111652496A (zh) | 基于网络安全态势感知系统的运行风险评估方法及装置 | |
CN109753591A (zh) | 业务流程预测性监控方法 | |
CN108053148A (zh) | 一种电力信息系统故障高效诊断方法 | |
CN102257520A (zh) | 应用的性能分析 | |
CN111614491A (zh) | 一种面向电力监控系统安全态势评估指标选取方法及系统 | |
US20160048805A1 (en) | Method of collaborative software development | |
CN109544399A (zh) | 基于多源异构数据的输电设备状态评价方法及装置 | |
CN112101572A (zh) | 模型优化方法、装置、设备和介质 | |
CN110824280B (zh) | 基于特征相似度的道岔健康状态的诊断方法与可视化方法 | |
CN114611781A (zh) | 一种面向航班计划的离港旅客聚集信息预测方法及系统 | |
CN113204914A (zh) | 一种基于多架次飞行数据表征建模的飞行数据异常判读方法 | |
CN114020598B (zh) | 一种时间序列数据的异常检测方法、装置及设备 | |
CN117579513B (zh) | 汇聚分流设备的可视化运维系统及其方法 | |
CN114118730A (zh) | 一种电力企业业务流程的合规检测方法 | |
CN115687029A (zh) | 长期服务器运行状态时序数据可视化方法 | |
CN109376990B (zh) | 一种基于Siamese网络模型确定电力系统的临界切除时间的方法及系统 | |
CN113483931B (zh) | 弓网接触力区段异常识别方法及装置 | |
CN114597886A (zh) | 基于区间二型模糊聚类分析的配电网运行状态评估方法 | |
CN111625525A (zh) | 一种环境数据修复/填充方法及系统 | |
CN116957361B (zh) | 一种基于虚实结合的船舶任务系统健康状态检测方法 | |
CN111625417B (zh) | 一种数据库健康监控方法、装置及存储介质 | |
CN110991314B (zh) | 一种基于人脸聚类精准度的测试方法及系统 | |
CN105183573B (zh) | 云计算系统中高频次连续失效任务的在线识别方法和系统 | |
CN116682204B (zh) | 基于多源数据分析的门禁管理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |