CN103473472B - 一种基于四分位图的数据质量检测方法及系统 - Google Patents

Abstract

本发明提供一种基于四分位图的数据质量检测方法，该方法包括：定义数据格Gx，并对多种趋势线进行拟合；扫描数据源并进行存储，根据数据的实际趋势选择趋势线进行数据展示；根据确定好的趋势线类型和参数生成数据质量规则；选取适当的数据质量规则，根据阀值进行数据质量检测。本发明通过定义数据格Gx来存储数据，并利用四分位图来展示数据，并根据已确定的趋势线来生成数据质量规则，进而根据该规则设定阀值进行数据质量检测，实现了数据量巨大情况下对数据的展示和异常数据分析、数据纠错等应用。另外，本发明另一个实施例提供一种基于四分位图的数据质量检测系统。

Description

一种基于四分位图的数据质量检测方法及系统

技术领域

本发明涉及数据领域，尤其涉及一种基于四分位图的数据质量检测方法及系统。

背景技术

四分位图是一种展示一维数据分布情况的图形，能直观表现出数据的分布形态，包括五个数据点：最低位、四分之一位、中值位、四分之三位、最高位。其中最低位、最高位分别对应最小值、最大值，四分之一位含义为所有数据中有25%的数据小于该值，同理中值位为所有数据中有50%小于该值，四分之三位为所有数据中有75%小于该值。四分位图只是个展示工具，且只能用来展示一维数据分布情况。因而缺少一种利用四分图的基本特性来展示、分析二维数据的分布情况，并具有数据纠错功能的方法。

发明内容

因此，本发明为了解决上述缺陷之一。

因而，本发明提供一种基于四分位图的数据质量检测方法及系统，本发明通过定义数据格Gx来存储数据，并利用四分位图来展示数据，并根据已确定的趋势线来生成数据质量规则，进而根据该规则设定阀值进行数据质量检测，实现了数据量巨大情况下对数据的展示和异常数据分析、数据纠错等应用。

所以，本发明一个实施例提供一种基于四分位图的数据质量检测方法，该方法包括：定义数据格Gx，并对多种趋势线进行拟合；扫描数据源并进行存储，根据数据的实际趋势选择趋势线进行数据展示；根据确定好的趋势线类型和参数生成数据质量规则；选取适当的数据质量规则，根据阀值进行数据质量检测。

在本发明一个实施例中，在四分位图上选择趋势线和进行数据展示。

在本发明一个实施例中，在数据扫描前定义数据格Gx，所述扫描数据源并进行存储包括：扫描数据源，读取每条记录的X和Y值：x和y；根据X轴的展示刻度，计算x和y对应的数据格Gx，将对应数据存储到Gx中。

优选地，所述计算x和y对应的数据格Gx包括：最低位、四分之一位、中值位、四分之三位和最高位。

所述四分位图展示的数据为所述存储在Gx中的数据。

在本发明一个实施例中，对多种趋势线进行拟合包括：根据所有有效数据格Gx的总记录数和总和计算X、Y平均值；计算所述Gx的X的总平均值和所有Gy总的平均值，并根据所述总平均值对每种趋势线进行拟合。

优选地，所述多种趋势线以列表的形式在四分位图上显示。

优选地，所述选择趋势线可进行手工调整。

优选地，所述手工调整方式为在四分位图中直接修改趋势线公式。

优选地，所述手工调整方式为在四分位图中进行鼠标拖动实时展示趋势线变化。

在本发明一个实施例中，所述生成数据质量规则根据趋势线计算出目标值，并给目标值设定一个浮动范围。

优选地，所述浮动范围为一个绝对值。

优选地，所述浮动范围为百分比。

在本发明一个实施例中，所述数据质量检测根据选取的数据质量规则和阀值来判断；所述阀值即为所述浮动范围。

本发明另一个实施例提供一种基于四分位图的数据质量检测系统，该系统包括：

趋势线拟合单元，用于定义定义数据格Gx，并对多种趋势线进行拟合；

数据源读取单元，用于扫描数据源并进行存储，根据数据的实际趋势选择趋势线进行数据展示；

数据质量规则生成单元，用于根据确定好的趋势线类型和参数生成数据质量规则；

数据质量检测单元，用于选取适当的数据质量规则，根据阀值进行数据质量检测；

该系统包含一个数据展示单元，用于在四分位图上选择趋势线和进行数据展示。本发明通过定义数据格Gx来存储数据，并利用四分位图来展示数据，并根据已确定的趋势线来生成数据质量规则，进而根据该规则设定阀值进行数据质量检测，实现了数据量巨大情况下对数据的展示和异常数据分析、数据纠错等应用。

附图说明

图1是本发明一个实施例提供的一种基于四分位图的数据质量检测方法的具体流程示意图。

图2 是本发明一个实施例中定义的数据格Gx的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本发明提供一种基于四分位图的数据质量检测方法及系统，本发明通过定义数据格Gx来存储数据，并利用四分位图来展示数据，并根据已确定的趋势线来生成数据质量规则，进而根据该规则设定阀值进行数据质量检测，实现了数据量巨大情况下对数据的展示和异常数据分析、数据纠错等应用。

如图1是本发明一个实施例提供的一种基于四分位图的数据质量检测方法的具体流程示意图，该方法具体步骤如下：

步骤S110：定义数据格Gx，并对多种趋势线进行拟合。

在本发明一个实施例中，为了采用四分位图来展示和分析二维数据，应先定义Gx，假设需要展示自变量X和因变量Y间的分布情况，需要将自变量X进行离散化，为了便于展示，还需要对X的最大值和最小值进行调整，并将X取值范围等分成一系列Gx，据此，如图2所示，Gx定义如下：

定义Gx{x1,x2}为G{(x,y)|x1<=x<x2}，简称Gx，即所有满足x1<=x<x2的点(x,y)。

所述Gx展示刻度包括4种，4种展示刻度间支持相互切换。

步骤S120：扫描数据源并进行存储，根据数据的实际趋势选择趋势线进行数据展示。

在本发明一个实施例中，所述定义数据格Gx在数据源扫描前进行，所述扫描数据源并进行存储包括：扫描数据源，读取每条记录的X和Y值：x和y。在扫描数据源前，本发明将依据X轴取值区间对X的最大值和最小值进行调整，使得最大值和最小值均为10的n次方（n为整数）的倍数，即Xmin(或Xmax) = m * 10^n。如X的实际取值区间为[0.1,983.7]，进行修整后X的最小值为0，最大值为1000，即取值区间变为：[0,1000]。然后扫描数据源，取出每条记录的X和Y的值x和y，进而根据X轴的展示刻度，计算x和y对应的数据格Gx，将对应数据存储到Gx中。如x=155.3且X轴刻度为“10”时，155.3/10 = 15.53, 则Gx为Gx{150,160}，当刻度为1时则属于Gx{155,156}。所述计算x和y对应的数据格Gx包括：最低位、四分之一位、中值位、四分之三位和最高位。

步骤S120：根据数据的实际趋势选择趋势线进行数据展示。

在本发明一个实施例中，在四分位图上选择趋势线和进行数据展示，所述四分位图展示的数据为所述存储在Gx中的数据。本发明实现了采用四分位图展示二维数据，所述趋势线拟合根据每一个展示刻度级别内的所有x和y的平均值进行，所述选择趋势线种类包括以下几种：

直线：y = a + b * x；

对数曲线：y = a + b*ln(x + 1)；

指数曲线：y = k + a* b^x；

二次曲线：y = a + b * x + c * x^2；

龚柏兹曲线：y = k * a^(b^x)；

逻辑曲线：y = 1/(k + a* b^x)；

周期曲线：y = a*x + b*sin(c*x+d)。

在本发明一个实施例中，所述多种趋势线以列表的形式在四分位图上显示，所述选择趋势线根据数据实际情况进行，如趋势线改为对数曲线。当在四分位图上显示的拟合趋势线参数满足显示需求时，本发明可进行手工调整趋势线，所述调整方法优选地为两种：在四分位位图上直接修改趋势线公式和在四分位图中进行鼠标拖动实时展示趋势线变化。

步骤S130：根据确定好的趋势线类型和参数生成数据质量规则。

在本发明一个实施例中，生成数据质量规则包括：假设趋势线为y=f(x)，即对某个x值，根据趋势线可计算出目标值y；给目标值设定一个浮动范围生成数据质量规则；其中，浮动范围可为绝对值或者百分比方式。假设趋势线为y=f(x)，即对某个x值，根据趋势线可计算出目标值y，给目标值一个合理的浮动范围（阈值），则构成数据质量规则。浮动范围有两种定义方式，一种是绝对值，如定义上限为50，下限为40，则当目标值为200时，实际值在区间[160,250]内都是合理的。另一种方式是百分比，如上下限都是20%且目标值为200时，实际值在区间[160,240]内都是合理的。数据规则定义好后可以保存到规则库中，以后需要时可直接从规则库中取出相应的规则使用。

步骤S140：选取适当的数据质量规则，根据阀值进行数据质量检测。

在本发明一个实施例中，数据质量检测包括：根据四分位图中数据展示的实际情况选取合适的数据质量规则，针对每个输入数据(x,y)，根据所述规则的趋势线技术计算出x对应的目标值y’；设定阀值的大小或者百分比，计算出目标值的合理区间进行判断实际值y的数据质量情况。假设数据规则的趋势部分为 y=37.9 + 20*x/1000,阈值部分为百分比20%。对于输入数据(10000,213)，可计算出目标值为37.9+20*10/1000=237.9，合理区间为[237.9*0.8,237.9*1.2] = [190.32, 285.48],实际值213属于该区间，则数据(10000,213)是合理数据。同理可判定（32000,511）是异常数据。本发明根据已确定的趋势线来生成数据质量规则，进而根据该规则设定阀值进行数据质量检测，实现了对异常数据分析、数据纠错等应用。

本发明另一个实施例提供一种基于四分位图的数据质量检测系统，该系统包括：

趋势线拟合单元，用于定义定义数据格Gx，并对多种趋势线进行拟合；数据源读取单元，用于扫描数据源并进行存储，根据数据的实际趋势选择趋势线进行数据展示；数据质量规则生成单元，用于根据确定好的趋势线类型和参数生成数据质量规则；数据质量检测单元，用于选取适当的数据质量规则，根据阀值进行数据质量检测，其特征在于，包含一个数据展示单元，用于在四分位图上选择趋势线和进行数据展示。本发明通过定义数据格Gx来存储数据，并利用四分位图来展示数据，并根据已确定的趋势线来生成数据质量规则，进而根据该规则设定阀值进行数据质量检测，实现了数据量巨大情况下对数据的展示和异常数据分析、数据纠错等应用。

Claims (14)

1.一种基于四分位图的数据质量检测方法，包括：定义数据格Gx，并对多种趋势线进行拟合；扫描数据源并进行存储，根据数据的实际趋势选择趋势线进行数据展示，其中，所述扫描数据源并进行存储包括：扫描数据源，读取每条记录的X和Y值：x和y；根据X轴的展示刻度，计算x和y对应的数据格Gx，将对应数据存储到Gx中；根据确定好的趋势线类型和参数生成数据质量规则，所述数据质量规则包括，获取目标值，根据目标值设置浮动范围构成数据质量规则，其中所述浮动范围包括根据目标值预设的上限值和下限值；选取适当的数据质量规则，根据阈值进行数据质量检测，其特征在于，在四分位图上选择趋势线和进行数据展示；所述数据质量检测包括：根据四分位图中数据展示的实际情况选取适当的数据质量规则，针对每个输入数据x和y，根据规则的趋势线技术计算出x对应的目标值y’；根据预设的阈值，若目标值y’未超过预设的阈值，则为合理数据，若目标值y’超过预设的阈值，则为异常数据。

2.根据权利要求1所述的方法，其特征在于，在数据源扫描前定义数据格Gx。

3.根据权利要求1到2任一所述的方法，其特征在于，所述四分位图展示的数据为所述存储在Gx中的数据。

4.根据权利要求1或2所述的方法，其特征在于，所述计算x和y对应的数据格Gx包括：最低位、四分之一位、中值位、四分之三位和最高位。

5.根据权利要求1所述的方法，其特征在于，对多种趋势线进行拟合包括：

根据所有有效数据格Gx的总记录数和总和计算X、Y平均值；

计算所述Gx的X的总平均值和所有Gx总的平均值，并根据所述总平均值对每种趋势线进行拟合。

6.根据权利要求1或2所述的方法，其特征在于，所述多种趋势线以列表的形式在四分位图上显示。

7.根据权利要求1所述的方法，其特征在于，所述选择趋势线可进行手工调整。

8.根据权利要求1或7所述的方法，其特征在于，所述手工调整方式为在四分位图中直接修改趋势线公式。

9.根据权利要求1或7所述的方法，其特征在于，所述手工调整方式为在四分位图中进行鼠标拖动实时展示趋势线变化。

10.根据权利要求1所述的方法，其特征在于，所述生成数据质量规则根据趋势线计算出目标值，并给目标值设定一个浮动范围。

11.根据权利要求1或10所述的方法，其特征在于，所述浮动范围为一个绝对值。

12.根据权利要求1或10所述的方法，其特征在于，所述浮动范围为百分比。

13.根据权利要求1所述的方法，其特征在于，所述数据质量检测根据选取的数据质量规则和阈值来判断；所述阈值即为所述浮动范围。

14.一种基于四分位图的数据质量检测系统，包括：趋势线拟合单元，用于定义定义数据格Gx，并对多种趋势线进行拟合；数据源读取单元，用于扫描数据源并进行存储，根据数据的实际趋势选择趋势线进行数据展示，其中，所述数据源读取单元还用于：扫描数据源，读取每条记录的X和Y值：x和y；根据X轴的展示刻度，计算x和y对应的数据格Gx，将对应数据存储到Gx中；数据质量规则生成单元，用于根据确定好的趋势线类型和参数生成数据质量规则，所述数据质量规则包括，获取目标值，根据目标值设置浮动范围构成数据质量规则，其中所述浮动范围包括根据目标值预设的上限值和下限值；数据质量检测单元，用于选取适当的数据质量规则，根据阈值进行数据质量检测，其特征在于，包含一个数据展示单元，用于在四分位图上选择趋势线和进行数据展示；所述数据质量检测包括：根据四分位图中数据展示的实际情况选取适当的数据质量规则，针对每个输入数据x和y，根据规则的趋势线技术计算出x对应的目标值y’；根据预设的阈值，若目标值y’未超过预设的阈值，则 为合理数据，若目标值y’超过预设的阈值，则为异常数据。