CN102693361A - 一种大数据量的趋势曲线绘制方法 - Google Patents

Abstract

本发明提出了一种大数据量的趋势曲线绘制方法，用于计算机数据统计分析。该方法首先确定取样间隔，将时间段等分，然后确定特征值，首先对时间段的采样值进行预处理，忽略一些值，然后在时间段中选取三个质心K₁、K₂和K₃，对保留下的值进行聚类，将每个值归类到离它最近的那个质点所代表的聚类中，聚类完成后，将K₂和K₃的聚类中的第一个值及最后一个值取作特征值，并对K₂和K₃的聚类中剩余值进行筛选，得到特征值；最后，确定特征值个数，利用贝塞尔曲线逼近算法，绘制曲线。本发明采样最少采样值绘制了最为逼近的曲线，不用一次查询所有的数据，不用一次将所有数据读入内存，大大节省系统开销，实现了大数据量的快速绘制。

Description

一种大数据量的趋势曲线绘制方法

技术领域

本发明属于计算机数据统计分析领域，具体是针对大数据量的趋势曲线的绘制方法。

背景技术

趋势图是按一定的时间间隔统计数据，利用曲线的连续变化来反映事物动态变化的图形。趋势图借助于连续曲线的升降变化，来反映事物的动态变化过程。

随着信息技术的高速发展，行业数据量急剧增长。对数据进行统计分析可以帮助制定行业决策。例如，对于以交易型数据为主的行业，例如金融、零售业等，对数据进行分析，快速提炼出具有商业价值的信息将是此类用户面临的需求。而对于医药、气象等需要存储大量的监测信息的行业来说，同样面临的对大数据进行快速分析的挑战。这些数据具有如下特点：数据量大并且具有时间相关性。

在绘制趋势曲线时，有两种方式，一种是将所有数据一次性读出，逐点绘制，这种方式在将所有数据通过查询语句一次性查询至内存不仅需要较长的时间，而且对内存的大小有一定的要求，随后的逐点绘制优点是可以很好的绘制出趋势曲线，但是绘制速度慢，占用较多的系统资源。

另一种方式是取样绘制曲线，取样绘制可以提高速度，缺点是取样方法会影响到数据的反映。取样方法分为两种，一种是均匀取样，均匀取样通过自变量或参数每次增加（或减少）一个固定的量来计算下一点的坐标值，然后，将相邻的点用直线段相连完成对曲线的逼近。均匀取样易于使用，计算量小，但是逼近程度较差；另一种是非均匀取样，非均匀取样是根据某一点性质区别取样。非均匀取样的逼近程度较好，但是实现复杂，不易于理解且计算量较大。

在2011年3月2日公开的公开号为101982820的中国专利申请“一种大数据量的曲线显示查询方法”，提供的技术方案中是在均匀取点的基础上，同时对每个间隔段中的最大值和最小值进行取样，这样每个间隔段均匀取点，并加取最大值和最小值，点与点的连接采用直线。但是，该方法存在如下问题：所取的最大值和最小值不一定就是特征值，且在每个间隔段均匀取点，不能很好地覆盖到所有的特征值，影响趋势曲线绘制的逼近度。特征值指的是一段曲线中可以反映曲线大致轮廓的点，一段曲线中最大值和最小值也是特征值，当曲线中只有一个起伏时，最大值最小值能很好地反映曲线走势，然很多情况下，一段复杂曲线有多个起伏，这样，特征值就不仅仅局限在最大值和最小值上了。如图1所示，曲线1中，A、B为端点值，C点为最大值点，D为最小值点，但是在曲线1中，最大值点和最小值点与其余点相差不大，不会显著影响到趋势曲线的绘制，在采样时，可以忽略。曲线2中，A’、B’为端点，

为最大值点，D’为最小值点，但是在这一段曲线中还有一个很重要的点，就是

，它不是最大值点，也不是最小值点，但是它是一个特征值点，会影响到曲线的走势，是不可以忽略的。

发明内容

本发明所要解决的技术问题是：针对大数据量，采用均匀取样逼近程度较差，采用非均匀取样计算量较大，在实现的曲线显示查询中没有考虑一个间隔段中多个特征值的情况使得曲线表述的准确性有限；针对这些问题，本发明提出一种大数据量的趋势曲线绘制方法。

本发明一种大数据量的趋势曲线绘制方法，包括如下步骤：

步骤1：获取用户指定的曲线绘制时间区间T，将T等分成N个时间段[T_i,T_i+1]，i=0…N-1；

步骤2：构造查询SQL语句，从数据库中获取第一个时间段的首个采样值D₀以及每个时间段[T_i,T_i+1]的最后一个采样值D_i+1，i=0…N-1；

步骤3：构造查询SQL语句，从数据库中获取时间段[T_i,T_i+1]中所有采样值的数据，将数据读入内存后，转入步骤4执行；初始i＝0；

步骤4：对读入内存的数据作预处理，具体是：针对每一个采样值，确定该采样值减去其前一个采样值的差值，以及该采样值减去其后一个采样值的差值，判断两个差值是否同为正数或者负数，若是，则保留该采样值，否则舍弃该采样值；

步骤5：在当前获取的时间段[T_i,T_i+1]中选取三个质心K₁、K₂和K₃；

步骤6：对时间段[T_i,T_i+1]中保留的每个采样值，计算采样值到每个质心的距离，将每个采样值归类到离它最近的质心所代表的聚类中；

步骤7：聚类完成后，在以K₂和K₃为质心的两个聚类中，标记第一个采样值及最后一个采样值为特征值；

步骤8：对以K₂和K₃为质心的两个聚类中的数据进一步筛选，具体是：针对每个聚类中的每个非特征值的采样值，判断该采样值S_j与其前一个采样值S_j-1作差的绝对值|S_j-S_j-1|,或者采样值S_j与其后一个样本值S_j+1作差的绝对值|S_j-S_j+1|,是否大于或等于阀值A，若是，则取该采样值S_j为特征值，否则，舍弃该采样值S_j；

步骤9：记录当前时间段[T_i,T_i+1]在步骤7和步骤8中所取得的特征值，并统计特征值的总个数C_i；

步骤10：根据时间段[T_i,T_i+1]中的第一个样本值D_i、最后一个样本值D_i+1以及C_i个特征值，共C_i+2个样本值，构造C_i+1次贝塞尔曲线B(t)，曲线绘制后，清除内存中时间段[T_i,T_i+1]的数据，然后i递增加1，判断i是否等于N，若否，转步骤3执行，若是，结束本方法。

所述步骤5中的三个质心为：

K₁=(D_i+D_i+1)/2；

K₂=((D_i+D_i+1)+((D_i+1-D_i)²+(T_i+1-T_i)²)^1/2)/2；

K₃=((D_i+D_i+1)-((D_i+1-D_i)²+(T_i+1-T_i)²)^1/2)/2；

D_i为时间段[T_i,T_i+1]的第一个采样值，D_i+1为时间段[T_i,T_i+1]的最后一个采样值。

所述步骤10中的所述的贝塞尔曲线B(t)，具体为：

$B\left(t\right)={\mathrm{\Σ}}_{j=0}^{C_i+1}{\left({}_j^{C_i+1}\right)P}_j{t}^j{(1-t)}^{C_i+1-j}$

其中，P_j是C_i+2个样本值中的第j个样本值；参数t∈[0,1]。

本发明方法的优点与积极效果在于：

（1）本发明方法在均匀取点的基础上，特征点的取样与其它部分的取样区别对待，结合了均匀取点和非均匀取点的优点，具有均匀取点易于使用，计算量小的优点，又有非均匀取点逼近程度较好的优点；

（2）用最少的取样点，最大程度地反映数据所要表达的信息；

（3）借鉴数据挖掘中数据聚类的方法，更准确地判断出特征点；

（4）针对每个时间段，根据采样点，构造贝塞尔曲线，不仅保证了曲线的平滑效果，而且由于时间段内采样点数有限，构造贝塞尔曲线计算量相对较小，可以大大提高曲线绘制的效率；

（5）对数据是分段处理的，不仅不用一次查询所有的数据，而且不用一次将所有数据都读入内存，可以大大的节省系统开销。

附图说明

图1是曲线特征值点的示例图；

图2是本发明的趋势曲线绘制方法的整体步骤流程图；

图3是数据聚类的示意图；

图4是本发明实施例采用本发明方法所得到的曲线示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

如图2所示，本发明提出的一种大数据量的趋势曲线绘制方法，具体包括如下步骤。

步骤一：获取用户指定的曲线绘制时间区间T，将T等分成N段，每个时间段为[T_i,T_i+1]（i=0…N-1），N默认为50，可被重新设置。

时间段[T_i,T_i+1]中对应的采样值的个数为Q_i，每个采样值可看作曲线上的一个点。

步骤二：构造查询SQL语句，从数据库中获取N+1个数据；所述的N+1个数据包括：第一个时间段[T₀,T₁]的第一个采样值D₀以及每个时间段[T_i,T_i+1]（i=0…N-1）的最后一个采样值D_i+1，共N+1个值。端点值的保留保证了曲线的流畅性。

步骤三：构造查询SQL语句，从数据库中获取时间段[T_i，T_i+1]中所有采样值，读入内存，然后转入步骤四执行；初始执行本步骤时i＝0，也就是获取在第一个时间段[T₀，T₁]中的数据。本步骤中将每个时间段[T_i，T_i+1](i＝0…N-1)的曲线中包含的所有采样值读入内存，是为了进行数据聚类，筛选出峰值点，也就是反映曲线轮廓的特征值点。

步骤四：对读入内存的数据作预处理以筛选特征值。每一个采样值减去其前一个采样值与其减去后一个采样值同正负时，保留该采样值，否则舍弃。例如，计算采样值S_k与前后采样值的差，采样值S_k与前一个采样值S_k-1的差(S_k-S_k-1)，采样值S_k与后一个采样值S_k+1的差(S_k-S_k+1)，当两个差值同为正数或者负数时，保留采样值S_k。第一个时间段[T₀，T₁]的首个采样值保留，从第二个时间段开始的首个采样值在本发明实施例中默认删除。

步骤五：在当前获取的时间段[T_i，T_i+1]中选取三个质心，计算该时间段的三个质心值，第一个质心为两个端点值(D_i，D_i+1)的平均值，K₁＝(D_i+D_i+1)/2，第二个质心为K₂＝((D_i+D_i+1)+((D_i+1-D_i)²+(T_i+1-T_i)²)^1/2)/2，第三个质心为K₃＝((D_i+D_i+1)-((D_i+1-D_i)²+(T_i+1-T_i)²)^1/2)/2，转入步骤五；D_i为时间段[T_i，T_i+1]的第一个采样值，D_i+1为时间段[T_i，T_i+1]的最后一个采样值。

步骤六：对时间段[T_i，T_i+1]中保留的采样值，计算其到每个质心的距离，将每个采样值归类到离它最近的那个质心所代表的聚类中。具体计算采样值到每个质心的距离，就是将采样值与质心的值相减，然后取绝对值得到。

步骤七：聚类后，针对以K₂、K₃为质心的两个聚类，将每个聚类中的第一个值及最后一个值取作特征值。以K₁为质心的聚类中的采样值被舍弃。

步骤八：对以K₂、K₃为质心的两个聚类中的数据进行进一步筛选，进一步获得特征值。

针对每个聚类中的每个非特征值的采样值S_j，若该采样值S_j与其前一个采样值值S_j-1作差的绝对值|S_j-S_j-1|或值S_j与其后一个采样值S_j+1作差的绝对值|S_j-S_j+1|，大于或等于指定阀值A，则将该值S_j取作特征值。阀值A由用户设定或者根据试验设定。

步骤五～八是采用数据聚类方法将得到的特征值进行分类，以对采样值进一步的筛选，如图3所示，数据聚类后，曲线l中的数据点均会汇聚到以K₁为质心的聚类中，这样就排除了对最大值和最小值进行采样。曲线2中，特征点

和

会汇聚到以K₂为质心的聚类中，而特征点D’则会汇聚到以K₃为质心的聚类中，避免了因

不是最大值而导致被忽略的情况出现。

步骤九：针对当前时间段[T_i，T_i+1]，记录下步骤七和步骤八中所保留的特征值，并计算特征值的总个数C_i；

步骤十：根据时间段[T_i，T_i+1]中的首末两个端点值(D_i，D_i+1)以及C_i个特征值，共C_i+2个样本值，构造C_i+1次贝塞尔曲线B(t)：

$B\left(t\right)={\mathrm{\Σ}}_{j=0}^{C_i+1}{\left({}_j^{C_i+1}\right)P}_j{t}^j{(1-t)}^{C_i+1-j},$ t∈[0，1]

P_j是C_i+2个样本值中的第j个样本值；参数t常取值为0.5，可被重新设置。曲线绘制后，清除内存中该时间段的数据，然后i递增加1，判断i是否等于N，若否，转步骤三执行，若是，说明所有时间段的数据都被处理完成，最后得到整个趋势曲线。

实施例：

本发明实施例时间间隔为1s，共收集了2500s的2500个仿真数据，下面截取其中的150s为例，并以其中一段曲线的绘制为例对本发明方法进行说明。

步骤1：将数据50s为一段，分成50个时间段，每个时间段内都具有50个数据，本发明实施例中以其中三段为例，共150个数据，分成3段，N=3。

[T₀,T₁]

[T₁,T₂]

[T₂,T₃]

步骤二：获取N+1个采样值，通过SQL语句：select*from table where time=0，取第一个时间段的首个采样值；通过SQL语句：select*from table where time=T_i，其中i=1～3，取每个时间段的最后一个采样值，共取到的4个值：2000，2455，2005，2555。

步骤三：从数据库中获取一个时间段内的所有数据至内存。以[T₀,T₁]为例，SQL语句为：select*from table where time between T0and T1order by time。

步骤四：对读入内存的数据进行预处理。每一个采样值减去其前一个采样值与其减去后一个采样值同正负时，保留该采样值，否则舍弃。这样留下来的采样值数据如下：

800，1400,500,700,600,800,500,940,650,850,650,800,600,1400,700,1250,840,2550

步骤五：选取三个质心。

第一个质心K₁＝(D_i+D_i+1)/2=（2000+2455）/2=2227.5。

第二个质心为K₂=((D_i+D_i+1)+((D_i+1-D_i)²+(T_i+1-T_i)²)^1/2)/2=((2000+2455)+((2455-2000)²+(T₁-T₀)²)^1/2)/2=2456。

第三个质心为K₃=((D_i+D_i+1)-((D_i+1-D_i)²+(T_i+1-T_i)²)^1/2)/2=1998.6。

步骤六：第一次聚类结果，质心1（），质心2（2550），质心3（800，1400,500，700，600,800，500，940，650，850，650,800,600,1400,700，1250，840）

步骤七，聚类后，以K₂、K₃为质心的聚类中，将第一个值及最后一个值取作特征值。本发明实施例中质心K₂的聚类中将2550取作特征值，质心K₃的聚类中800与840取作特征值。

步骤八：聚类中其余的值与其前一个值作差的绝对值或与其后一个值作差的绝对值大于或等于指定阀值A，该值取作特征值；这里阀值A取300，质心K₃筛选后保留的特征值为（1400,500,800,500,940,600,1400,700,1250）。

步骤九：针对时间段[T₀，T₁]，记录下步骤七和步骤八保留的数据值，并计算数值的总个数C₀。这里对于[T₀,T₁]，数值总数为12，即C₀=12。

步骤十：根据时间段[T₀,T₁]中的端点样本值(D_i,D_i+1)，特征值，总共C_i+2个样本值，构造C_i+1次贝塞尔曲线t∈[0,1]。本发明实施例中时间段[T₀,T₁]的端点样本值（2000,2455），加上聚类获得的12个特征值，数据总数为14。构造13次贝塞尔曲线：

其中t取值[0,1]之间。本发明实施例中绘制的曲线示意图。

Claims (4)

1.一种大数据量的趋势曲线绘制方法，其特征在于，具体包括如下步骤：

步骤1：获取用户指定的曲线绘制时间区间T，将T等分成N个时间段[T_i,T_i+1]，i=0…N-1；

步骤2：构造查询SQL语句，从数据库中获取第一个时间段的首个采样值D₀以及每个时间段[T_i,T_i+1]的最后一个采样值D_i+1，i=0…N-1；

步骤3：构造查询SQL语句，从数据库中获取时间段[T_i,T_i+1]中所有采样值的数据，将数据读入内存后，转入步骤4执行；初始i＝0；

步骤4：对读入内存的数据作预处理，具体是：针对每一个采样值，确定该采样值减去其前一个采样值的差值，以及该采样值减去其后一个采样值的差值，判断两个差值是否同为正数或者负数，若是，则保留该采样值，否则舍弃该采样值；

步骤5：在当前获取的时间段[T_i,T_i+1]中选取三个质心K₁、K₂和K₃：

K₁=(D_i+D_i+1)/2；

K₂=((D_i+D_i+1)+((D_i+1-D_i)²+(T_i+1-T_i)²)^1/2)/2；

K₃=((D_i+D_i+1)-((D_i+1-D_i)²+(T_i+1-T_i)²)^1/2)/2

D_i为时间段[T_i,T_i+1]的第一个采样值，D_i+1为时间段[T_i,T_i+1]的最后一个采样值；

步骤6：对时间段[T_i,T_i+1]中保留的每个采样值，计算采样值到每个质心的距离，将每个采样值归类到离它最近的质心所代表的聚类中；

步骤7：聚类完成后，在以K₂和K₃为质心的两个聚类中，取第一个采样值及最后一个采样值为特征值；

步骤8：对以K₂和K₃为质心的两个聚类中的数据进一步筛选，具体是：针对每个聚类中的每个非特征值的采样值，判断该采样值S_j与其前一个采样值S_j-1作差的绝对值|S_j-S_j-1|,或者采样值S_j与其后一个样本值S_j+1作差的绝对值|S_j-S_j+1|,是否大于或等于阀值A，若是，则取该采样值S_j为特征值，否则，舍弃该采样值S_j；

步骤9：记录当前时间段[T_i,T_i+1]在步骤7和步骤8中所取得的特征值，并统计特征值的总个数C_i；

步骤10：根据时间段[T_i,T_i+1]中的第一个样本值D_i、最后一个样本值D_i+1以及C_i个特征值，共C_i+2个样本值，构造C_i+1次贝塞尔曲线B(t)，曲线绘制后，清除内存中时间段[T_i,T_i+1]的数据，然后i递增加1，判断i是否等于N，若否，转步骤3执行，若是，结束本方法。

2.根据权利要求1所述的一种大数据量的趋势曲线绘制方法，其特征在于，所述的步骤1中的N为50。

3.根据权利要求1所述的一种大数据量的趋势曲线绘制方法，其特征在于，步骤6中所述的计算采样值到每个质心的距离，是将采样值与质心的值相减，然后取绝对值得到。

4.根据权利要求1所述的一种大数据量的趋势曲线绘制方法，其特征在于，步骤10中所述的贝塞尔曲线B(t)，具体为：

$B\left(t\right)={\mathrm{\Σ}}_{j=0}^{C_i+1}\left({}_j^{C_i+1}\right)P_j{t}^j{(1-t)}^{C_i+1-j}$

其中，P_j是C_i+2个样本值中的第j个样本值；参数t∈[0,1]。

Images