CN100373379C - 一种设备性能统计数据的采集及处理方法 - Google Patents

Abstract

本发明属于数据处理技术领域，涉及一种设备性能统计数据的采集及处理方法。首先设置一具有两种状态的开始标志；当原始数据发生变化时，先判断开始标志的状态，如果是“关闭”状态时，不更新原始数据；否则，将当前数据更新到缓冲区D中；统计周期开始，将原始数据的开始标志设置为“开启”状态；根据采样间隔t读取原始数据缓冲区D，获得采样点k时刻的原始数据当前值a(k)作为数据项；形成数据项集合A；统计周期结束后，将原始数据的开始标志置为“关闭”状态；根据不同类型数据项的处理方法，对所获得的数据项集合A进行处理，数据处理流程结束。本发明具有效率高，适应范围广的特点。

Description

一种设备性能统计数据的采集及处理方法

技术领域

本发明属于数据处理技术领域，特别涉及设备性能方面的数据统计方法。

背景技术

性能统计(PERF：Performance)技术是设定系统某一固定时段，采集在此时段中的某些设备性能方面的数据。通过统计分析这些数据，可监控系统中各设备的运行状况。产生性能统计结果的最小时间段称为一个性能统计周期，通过采集处理多项数据获得一个性能统计结果。

数据项一般按照其处理方式可以分为流量类型，最大值统计类型，最小值统计类型，均值统计类型，流量最大值统计类型以及时长类型。流量类型是计算一个周期结束时相对于开始时数据的增量；最大值统计类型是获得一个周期中多个采样点原始数据的最大值；最小值统计类型是获得一个周期中多个采样点原始数据的最小值；均值统计类型是获得一个周期中多个采样点原始数据的平均值；流量最大值统计类型是获得在相邻采样间隔中流量增量的最大值；时长类型主要获得在一个周期内在各个采样点中状态值，并将该值作为所需要状态的采样点个数的统计值。根据具体设备的监控需要，数据项的处理方式还可以定义一些其他的专用类型。

设备性能统计数据的采集及处理方法主要完成相关原始数据的采集，数据项的处理，最后将处理后的结果数据提供给用户。一般性能统计数据的采集及处理方法可以分为原始数据的采集，数据项的处理两部分。原始数据的采集实时反映各设备的运行状况；数据项的处理是在性能统计的周期内，根据采集的原始数据，采样得到数据项，然后根据各数据项事先定义好的处理方式分别进行处理，最终得到所需要的结果数据。

现有的一种设备性能统计数据的采集及处理方法如图1所示，包括：建立一个用于保存数据项的缓冲区，在该缓冲区内设置多个计数器，每个计数器对应一项原始数据的当前值；具体过程包括相互独立运行的原始数据的采集和数据项的处理两部分；其中：

原始数据的采集包括以下步骤：

1)寻址：是指从缓冲区域找到反映某数据项的计数器，从而得到具体配置的数据项所对应的计数器地址；

2)数据保存：获得计数器地址后，将相应的原始数据放入该计数器中；

3)数据更新：当原始数据变化时，重复步骤1，将新的原始数据代替上次保存的原始数据；

数据项的处理包括以下步骤：

1)设定系统设备的性能统计周期T及采样间隔t，每个周期中包含n个采样点，n＝T/t；

2)在一个统计周期T内，根据采样间隔t读取原始数据缓冲区D，获得采样点k时刻的原始数据当前值a(k)作为数据项；在该周期内，将从原始数据缓冲区D中获得的所有数据项，  形成数据项集合A＝{a(0)，a(1)，...a(n-1)}；

3)统计周期结束后，根据不同类型数据项的处理方法，对所获得的数据项集合A进行处理，例如处理方式为求最大值类型，即取集合A中各数据项的最大值为最终的结果数据；其他数据项类型的处理方式如前所述，不再重复。

下面以流量类型的测量数据项为例子说明上述数据项处理步骤2)中的具体实现方法。

在一个统计周期中，需要两次获得缓冲区的数据，即周期结束时获得的数据和周期开始时获得的数据，步骤如下：

1、统计周期开始；

2、当满足：时间==期开始的时间，周期开始，读取计数器缓冲区数据，获得a(0)；

3、当满足：时间＝＝周期结束的时间，周期结束，读取计数器缓冲区数据，获得a(n)，计算结果数据F＝a(n)-a(0)。

4、统计周期结束。

上述已有的设备性能统计数据的采集及处理方法是原始数据的采集和数据项的处理相互独立运行。采用共享缓冲区，用以保存及修改数据。共享缓冲区的每个存放数据的最小单位，称为计数器。计数器作为中介来完成数据交换的。缓冲区中的数据是被动地接受修改，只需要在这些缓冲区域内进行采样就可以获得所需的数据项集合，由于该缓冲区域是用来保存当前原始数据的，原始数据每次变化，都需要实时反映到缓冲区中，不管是否进行数据采样，都需要随时改变计数器，来保留当前的原始数据的值。由于系统类似的配置较多，每项配置所需要的数据项种类也较多，所以占用的计数器缓冲区较大。

综上所述，采用该方法，当原始数据发生变化时，都要通过计数器将这些变化同步反应到计数器缓冲区中，并且不管是否正在进行性能统计，该计数器都要实时更新。原始数据变化频繁，导致计数器频繁更新；此外，由于计数器缓冲区域较大，造成寻址较慢，所以该方法效率较低，不适合统计变化频繁的情况。

发明内容

本发明的目的是为解决已有技术效率较低，不适合统计变化频繁的原始数据的问题，提出一种新的设备性能统计数据的采集及处理方法，具有效率高，适应范围广的特点。

本发明提出的一种设备性能统计数据的采集及处理方法，包括原始数据的采集和数据项的处理两个流程；其特征在于：

设置一具有“关闭”和“开启”两种状态的开始标志；

所述原始数据的采集流程在开始标志处于“开启”状态时更新原始数据成为当前时刻原始数据，在开始标志处于“关闭”状态时不更新原始数据：

所述数据项的处理流程在统计周期开始时将开始标志设置为“开启”状态，在统计周期内，获取采样点时刻原始数据，生成数据项，统计周期结束后，将开始标志置为“关闭”状态，处理所获取的采样点时刻原始数据，以获得最终统计结果。

本发明方法还可包括设置多个固定的原始数据缓冲区，该多个原始数据缓冲区分别对应不同类型数据项。

所述原始数据的采集流程具体可包括以下步骤：

当原始数据发生变化，先判断开始标志的状态，如果是“关闭”状态时，原始数据不更新；

若开始标志为“开启”状态，更新原始数据缓冲区中的原始数据成为当前时刻原始数据。

所述数据项的处理流程具体可包括以下步骤：

1)统计周期开始，将开始标志设置为“开启”状态，同时从所述原始数据缓冲区中的获取当前时刻原始数据；

2)在统计周期内，获取采样点时刻原始数据，生成数据项；

3)统计周期结束；

4)将所述开始标志设置为“关闭”状态；

5)根据不同类型数据项的处理方法计算获得最终统计结果。

设定系统的性能统计周期T及采样间隔t，每个周期中包含n个采样点，n＝T/t，n取整，，设定K时刻为采样点时刻。

所述生成数据项的处理过程可为：在一个统计周期T内，根据采样间隔t从原始数据缓冲区读取当前原始数据，获得采样点在k时刻的原始数据当前值a(k)作为数据项；在该周期内，将从原始数据缓冲区中获得的所有数据项，形成数据项集合A＝{a(0)，a(1)，...a(n-1)}。

本发明的特点为：设置固定的原始数据缓存区，避免了耗时的数据寻址过程。数据处理流程采用开始标志，避免了没有进行性能统计数据时原始数据采集流程对于CPU资源的占用，同时扩大了可以统计的数据项的范围。

附图说明

图1为已有技术的性能统计数据采集及处理方法总体流程框图；

图2为本发明的性能统计数据采集及处理方法总体流程框图。

具体实施方式

本发明提出的一种设备性能统计数据的采集及处理方法实施例，结合图2详细说明如下：

本实施例方法包括采集处理3个原始数据A，B，C的数据项，原始数据A的数据项为流量类型，原始数据B的数据项为最大值类型，原始数据C的数据项为流量最大值类型。原始数据A平均0.1秒变化一次，原始数据B平均0.2秒变化一次，原始数据C平均0.3秒变化一次，A，B，C的数据项不相关。

设置原始数据A，B，C相对应的缓冲区D(a)，D(b)，D(c)；设置一具有“关闭”和“开启”两种状态的开始标志。设定系统的性能统计周期T为1分钟及采样间隔t为1秒，每个周期中包含n个采样点，n＝60；

本实施例的具体流程包括原始数据的采集和数据项的处理两部分，如图2所示；其中，原始数据的采集流程具体包括以下步骤：

1)当原始数据发生变化时，先判断开始标志的状态，如果是“关闭”状态，原始数据不更新；

2)若开始标志为“开启”状态，实时更新缓冲区D(a)，D(b)，D(c)中的原始数据，成为当前时刻原始数据。

数据项处理流程具体包括以下步骤：

1)统计周期开始，将开始标志设置为“开启”状态，即启动开始标志；  同时读取缓冲区D(a)，D(b)，D(c)中的当前数据，根据数据A，B，C的统计数据类型的不同，记录数据项a(0)，b(0)，c(0)；

2)生成数据项：在1分钟的统计周期内，获得采样点在k时刻原始数据当前值；

对于数据项A，由于流量类型在一个周期中仅仅需要两个值，所以在1分钟内，在k＝{0，59}时获得采样数据A＝{a(0)，a(59)}；对于数据项B，在1分钟内，需要获得60个采样数据B＝{b(0)，b(1)，...b(59)}，并在k＝{0，1，...59}时求Max(b)＝Max{b(0)，b(1)，...b(59)}；对于数据项C，需要获得61个采样点数据C＝{c(0)，c(1)，...，c(60)}并在k＝{1，2，...60}时求Max(c(k)-c(k-1))＝Max{c(1)-c(0)，c(2)-c(1)，...c(60)-c(59)}；

3)统计周期结束，

4)将原始数据的开始标志设置为“关闭”状态，即关闭开启标志；

5)计算结果数据：根据数据项的处理方法，对所获得的数据项集合进行处理，对于A，E(a)＝a(59)-a(0)；对于B，E(b)＝Max(b)；对于C，E(c)＝Max(c(k)-c(k-1))；

6)数据处理流程结束，获得最终数据统计结果。

在本实施例整个“开启”状态中，A更新了600次，B更新了300次，C更新了200次。假设数据A，B，C数据更新所占用的CPU时间为0.0005秒(对于不同的数据更新方式，更新所占用的时间长度有不同，在本实施例中，数据更新所需要的时间平均为0.0005)，判断标志所花费的时间忽略，则A，B，C所占用的CPU总时间为(600+300+200)*0.0005＝0.55秒，由于数据更新所占用的CPU时间资源的比值为0.55/60＝0.92％；

而在已有技术流程中，除了数据更新所花费的时间外，还有更新每次数据所花费的数据寻址所占用的CPU时间为0.001，则数据寻址所占用的CPU总时间为(600+300+200)*0.001＝1.1秒，则已有技术所占用的总时间为(0.55+1.1)＝1.65，所占用的CPU时间资源比值为1.65/60＝2.75％；当开始标志的状态为“关闭”状态，结束更新缓冲区D(a)，D(b)，D(c)中的数据，此时几乎不占用CPU时间；而在已有技术中，由于原始数据更新还需要继续，所以为数据处理流程所开销的CPU资源比值依然是2.75％。

从以上实施例中原始数据采集流程可以看出，在进行性能统计数据时，数据采集流程对于CPU的占用减少了1.83％；在不进行性能统计的时间内，数据采集流程对于CPU的占用减少了2.75％；由于性能统计数据是提供给数据测试使用的，不进行性能统计数据的时间远大于进行性能统计数据的时间。本发明减少了数据统计对CPU资源的消耗，使性能统计数据的效率获得了极大的提高。

由本实施例中的原始数据采集流程来看，本发明的性能统计数据采集及处理方法可以扩大性能统计的范围。假如存在原始数据D，平均0.002秒数据更新一次，数据更新所花的时间为0.0001秒。那么在一个采样周期(1秒)内，数据更新了500次，在一个周期中(60秒)，需要更新30000次，在已有技术中，  由于数据更新所需要占用CPU的时间为(0.001+0.0001)*30000＝33秒，而一个周期时间为60秒，所以这样的统计，系统是不能胜任的。但是使用本发明，原始数据采集流程所需要的时间长为0.0001*30000＝3秒，这个数据，系统是可以接受的。

Claims (5)

1.一种设备性能统计数据的采集及处理方法，包括原始数据的采集和数据项的处理两个流程；其特征在于，

设置一具有“关闭”和“开启”两种状态的开始标志；

所述原始数据的采集流程在开始标志处于“开启”状态时更新原始数据成为当前时刻原始数据，在开始标志处于“关闭”状态时不更新原始数据；

所述数据项的处理流程在统计周期开始时将开始标志设置为“开启”状态，在统计周期内，获取采样点时刻原始数据，生成数据项，统计周期结束后，将开始标志设置为“关闭”状态，处理所获取的采样点时刻原始数据，以获得最终统计结果。

2.如权利要求1所述的设备性能统计数据的采集及处理方法，其特征在于，还包括设置多个固定的原始数据缓冲区，该多个原始数据缓冲区分别对应不同类型数据项。

3.如权利要求2所述的设备性能统计数据的采集及处理方法，其特征在于，所述原始数据的采集流程具体包括以下步骤：

当原始数据发生变化时，先判断开始标志的状态，如果是“关闭”状态，原始数据不更新；

若开始标志为“开启”状态，更新原始数据缓冲区中的原始数据成为当前时刻原始数据。

4.如权利要求2所述的设备性能统计数据的采集及处理方法，其特征在于，所述数据项的处理流程具体包括以下步骤：

1)统计周期开始，将开始标志设置为“开启”状态，同时从所述原始数据缓冲区中获取当前时刻原始数据；

2)在统计周期内，获取采样点时刻原始数据，生成数据项；

3)统计周期结束；

4)将所述开始标志设置为“关闭”状态；

5)根据不同类型数据项的处理方法，计算获得最终统计结果。

5.如权利要求2或4所述的设备性能统计数据的采集及处理方法，其特征在于，设定系统的性能统计周期T及采样间隔t，每个周期中包含n个采样点，n＝T/t，n取整，设定K时刻为采样点时刻；所述生成数据项的处理过程为：在一个统计周期T内，根据采样间隔t从原始数据缓冲区读取当前时刻原始数据，获得采样点在k时刻的原始数据当前值a(k)作为数据项，在该周期内，将从原始数据缓冲区中获得的所有数据项，形成数据项集合A＝{a(0)，a(1)，...a(n-1)}。

Images