CN113570254A - 一种工业数据质量分析方法 - Google Patents

Abstract

本发明提供了一种工业数据质量分析方法，包括以下步骤：(1)采集加工数据并进行数据检验，使加工数据与加工刀具相匹配；(2)对加工数据进行分组，并提取加工数据的特征值，判别加工过程中的异常；(3)通过prophet模型对加工数据进行拟合，并对异常数据进行定位。通过从加工数据的特征值角度出发构建匹配度算法，最终得出匹配指数，从数据上直观得出生产参数与加工刀具是否匹配。通过提取采用到的加工数据的特征值进行降维处理，能够有效简化加工异常的判断，提高分析效率。本发明不需要在整个工件加工完成后再去判断异常数据，能够做到加工过程中的数据实时分析。

Description

一种工业数据质量分析方法

技术领域

本发明涉及工业生产中的加工数据技术领域，具体而言，涉及一种工业数据质量分析方法。

背景技术

近年来，随着高速互联网、大数据、云计算、人工智能等技术等迅猛发展，新的工业革命正在兴起。在日常工业生产过程中需要采集多个环节的生产数据，并对采集到的数据进行分析，根据分析结果确定相应生产过程中设备是否稳定性。但随着数据传感器的数量的不断增加，数据采集量越来越大，如何在保证效率的前替下，判断数据的准确性，对检测数据进行评估以找出异常数据至关重要。

现有生产数据的采集主要存在以下技术问题：

在刀具数据采集方面，可能由于现场操作原因导致采集到的生产参数信号与加工刀具不匹配；

目前分析加工过程是否平稳，一般是在一整个工件加工完成后，看整个加工过程中的数据走势是否和同类型的工件相似。因此对于数据量大，并且加工周期长的工件，判断是否正常加工较为困难；

难以在加工过程中对异常过程进行判断，不能做到加工过程中的实时分析。

发明内容

针对上述技术问题，本发明的目的在于提供一种工业数据质量分析方法，能够在准确采集生产数据以及将采集到的数据降维处理的基础上在生产过程中对生产异常进行判断。

本发明提供的工业数据质量分析方法，包括以下步骤：

(1)采集加工数据并进行数据检验，使加工数据与加工刀具相匹配；

(2)对加工数据进行分组，并提取加工数据的特征值，判别加工过程中的异常；

(3)通过prophet模型对加工数据进行拟合，并对异常数据进行定位。

进一步，所述步骤(1)中，按照加工顺序对每个加工刀具在不同刀位上以加工区间的形式进行分组，并提取每个加工区间中的与加工刀具所对应的刀具负载。

进一步，所述步骤(1)中，将在连续相同刀位上的加工数据划分为同一加工区间，相同刀位但不连续的加工区间不能合并。

进一步，所述步骤(1)中，分别计算每个加工刀具每个加工区间刀具负载的标准差，并将所有加工区间结合计算统计量，通过得到统计量的离散程度判断加工数据与加工刀具的匹配度。

进一步，所述步骤(2)中，将每个工件在不同刀位上的加工时间进行分组，并对每组加工时间以相同的时间间隔进行分割得到分割区间。

进一步，所述步骤(2)中，提取每个分割区间中加工参数的数据特征值，所述数据特征值包括中位数、众数、均值或者方差。

进一步，所述步骤(2)中，将每个工件在相同刀位上的不同分割区间进行整合，通过判断数据特征值判别加工过程是否异常。

进一步，所述步骤(3)中，通过计算prophet模型预测值与步骤(2)中的整合后生产数据的残差来进行异常检测，残差计算公式包括：

其中

为prophet模型预测值，y为步骤(2)中整合后的生产数据，error为残差。

进一步，所述步骤(3)中，通过3σ准则对异常数据进行定位，异常值为一组结果值中与平均值的偏差超过三倍标准差的值。

本发明中的工业数据质量分析方法，通过从加工数据的特征值角度出发构建匹配度算法，最终得出匹配指数，从数据上直观得出生产参数与加工刀具是否匹配。

通过提取采用到的加工数据的特征值进行降维处理，能够有效简化加工异常的判断，提高分析效率。

对加工数据通过模型进行拟合，并对异常数据进行定位，解决了因加工周期长且需采集大量数据的工件在加工过程中难以判断是否加工正常的问题，不需要在整个工件加工完成后再去判断，能够做到加工过程中的数据实时分析。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明中工业数据质量分析方法的流程示意图；

图2为现有技术中加工数据的信号图；

图3为特征提取后a数据信号图；

图4为特征提取后b数据信号图；

图5为图3与图4中两类数据合并图；

图6为prophet算法拟合后a数据信号图；

图7为prophet算法拟合后b数据信号图；

图8为a数据残差3σ分布图；

图9为b数据残差3σ分布图；

图10为a数据残差自适应3σ分布图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

参见图1，本发明提供的工业数据质量分析方法，主要包括以下步骤：

(1)采集加工数据并进行数据检验，使加工数据与加工刀具相匹配；

(2)对加工数据进行分组，并提取加工数据的特征值，判别加工过程中的异常；

(3)通过prophet模型对加工数据进行拟合，并对异常数据进行定位。

本发明中的工业数据质量分析方法，主要应用在加工刀具是否正常运行的判断上。

以往在刀具数据采集上，如图2中多个加工刀具对应多个刀具负载时，可能由于现场操作原因导致信号不匹配，例如采集到的某个刀具负载不与其相应的加工刀具匹配，实际是与其他刀具匹配。

例如采集到的sl1数据不与tn1匹配，实际是与tn2匹配，tn1和tn2表示在不同刀位的加工刀具，而sl1和sl2是与之对应的刀具负载。

在现有的解决方案中，是通过画出sl1、sl2，tn1、tn2等参数图，根据刀具(tn)换刀图以及负载(sl)的走势判断是否匹配。但是该种方案需要采集大量的参数，且在判断中并不能保证精准度。

本发明中的数据检验过程中提出了一种新的信号匹配方式，如果sl1与tn1对应，那么在tn1刀位不切换的时候(即用同一加工刀具加工的过程)，相应过程中的sl1值变化的波动不会很大；那么对于该区间内的sl1，其方差、标准差等反应数据离散程度的统计量也应该较小。因此，可以根据tn1的刀位，将对应的sl值分区间，分别计算每个区间内的统计量，最后综合比较。

具体地，按照加工顺序对每个加工刀具在不同刀位上以加工区间的形式进行分组，并提取每个加工区间中的与加工刀具所对应的刀具负载。

以tn1的加工刀具为例，按加工顺序提取tn1中的刀位号，如与之前刀位号相同，但出现顺序不连续，则不与之前加工区间合并。例如tn1中，刀位从a-b-a，则前三个a作为一个加工区间，后2个a作为另一个加工区间，以此类推，不将刀位号相同但不连续的加工区间合并。

将sl1与sl2分别对应tn1进行分组，如下表所示：

sl1分为[2,3,2],[8,9],[1,2]…等多个加工区间，记作sl1_i，i＝1,2,L，每个区间对应包含的参数个数记作n1_i,i＝1,2,L；同理，sl2sl1分为[3,4,7],[1,5],[5,9]…等多个区间，记作sl2_i，i＝1,2,L，每个区间对应包含的参数个数记作n2_i,i＝1,2,L。

分别计算sl1_i的标准差，并将所有区间结合起来形成统计量：

其中std(sl1_i)表示sl1_i的标准差；

对于sl2_i同理，计算：

其中std(sl1_i)表示sl1_i的标准差。

比较t₁s₁与t₁s₂大小，若t₁s₁＜t₁s₂，则表明按照tn1刀具号分组后，sl1数据区间的离散程度比sl2低，表明在不换刀的加工过程中，sl1负载更均衡，因此判断tn1与sl1更匹配。

按照tn1分组的sl1的标准差为10.60719508125356

按照tn2分组的sl1的标准差为11.045757828988163

按照tn1分组的sl2的标准差为11.971683582018622

按照tn2分组的sl2的标准差为11.60572722209523

按照tn1分组的sl1的标准差为7.972101509411196

按照tn2分组的sl1的标准差为9.367583262459625

按照tn1分组的sl1的标准差为9.737578730713613

按照tn2分组的sl2的标准差为9.759835847631278

上述不同分组为4组数据，如下表所示，分别对每一组数据进行匹配度分析，实质上是在每一组内进行比较，一共比较四组数据。结合上述4组以及在每组中的标准差之间的差值，每组内的标准差之间的差值越小，证明tn和sl数据之间的离散程度越小，对应的匹配程度越高。

以上两个案例结果可以看出，按照tn1分组的sl2的标准差与按照tn2分组的sl2的标准差之间的差值最小，因此与tn1对应的是sl1，与tn2对应的是sl2。

第一组	tn1 sl1 tn2 sl1
		第二组	tn1 sl2 tn2 sl2
第三组	tn1 sl1 tn2 sl1
		第四组	tn1 sl1 tn2 sl2

在生产过程中采集的数据量庞大，加工刀具参数是否平稳，加工过程是否正常一般是在整个工件加工完成后，看整个加工过程中的数据走势是否和同类型的工件相似；或者从一天的数据中提取出一个加工周期，分析整个周期数据来判断加工是否正常，而上述均不能达到在加工过程中的分析判断。

本发明在保证信号匹配准确度的基础上，从数据分段入手，提取分段数据，再根据数据位置一一对应进行比较分析。

首先将每个工件在不同刀位上的加工时间进行分组，并对每组加工时间以相同的时间间隔进行分割得到分割区间。

具体地，首先将数据按照cc进行分类，cc代表加工工件编号；

其次将数据按照tn1编号分类，例如tn1刀位切换从1-3-1……，则第一次出现1的加工时间作为第一个区间，记作t₁；接着出现3的加工时间作为第二个区间，记作t₂；再次出现1的加工时间作为第三个区间，记作t₃，以此类推，到最后一个加工刀号的区间t_n；

接着再将t_i,i＝1,2,L按照2s作为一个小区间的时间间隔对数据进行分割，若分割后最后一个小区间长度不足2s，则舍弃。操作后数据分割为t_ij,i＝1,2,L n,j＝1,2,L m；代表多个2s间隔的分割区间。

对于每一个2s的分割区间，采集变量ss1与sl1等加工参数，ss1为刀具转速，并提取每个分割区间中的数据特征值，例如中位数、众数、均值、方差等，即将原本2s内的大量数据降维成一维数据；

对于每一个工件，选取相同刀位的相同区间数据，例如第一个工件的t₁₁表示加工刀位为1号，第一个2s的分割区间数据，将每个工件的相同刀位上的数据整合一起，即将每个工件在相同刀位上的不同分割区间上的数据整合在一起，形成每一行代表一个工件，每一列为加工过程数据特征值的数据，通过分析该数据，可以判断加工过程中是否是平稳正常加工。

处理后的数据如下表所示：

表中第一行表示工件编号(cc)为1，tn1刀具号为9(确实是9)的第一个2s加工时间，经过特征提取的ss1与sl1值；第二行表示工件编号为1，tn1刀具号为9的第2个2s加工时间，经过特征提取的ss1与sl1值。那么选取每个工件的tn1＝9的第一条数据(即第一个2s的加工数据提取出的特征值)，作为a数据，对sl1作图，如图3所示。

在图3中数据首先是在11附近波动，随后一个大的落差，接着稳定在7附近波动。经过实际数据考量发现，发生落差的时间点正是刀具损坏换刀的过程。根据以往经验，在刀具磨损严重的情况下，加工工件的刀具负载会较高，在更换完刀具后，新的刀具加工工件的刀具负载会降低，这在图中也能直观反映出来。

同理，选取每个工件的tn1＝9的第二条数据(即第二个2s的加工数据提取出的特征值)，作为b数据。对sl1作图，如图4所示。

在相同情况下，刀具负载与图3类似，唯一一个不同则是在11100处有个较大的波动。通过原始数据检测可知，当前加工过程刀具负载较高，可视作加工过程的异常情况。

将两张图合并，见图5。从图5中更直观的看出，同一加工过程不同时间点的加工数据趋势类似，因此可以通过数据分组并采集特征值的方法将原始数据降维处理，并且保证采集到的数据科学有效。

小区间的时间间隔可调整的参数，除了上述给定的2s，还可根据不同的加工过程所使用的时间进行调整，在具体实际中，还可设定为3s、5s或者其他时间，满足对于不同加工工况下的实际需要。

在确定加工过程的异常情况后，通过prophet模型对加工数据进行拟合，并对异常数据进行定位。

在时间序列分析领域，有一种常见的分析方法叫做时间序列的分解(Decomposition of Time Series)，它把时间序列y_t分成几个部分，分别是季节项S_t，趋势项T_t，剩余项R_t，也就是说对所有的t≥0，都有

y_t＝S_t+T_t+R_t

除了加法的形式，还有乘法的形式，也就是：

y_t＝S_t×T_t×R_t

以上式子等价于lny_t＝lnS_t+lnT_t+lnR_t。所以，有的时候在预测模型的时候，会先取对数，然后再进行时间序列的分解，就能得到乘法的形式，prophet算法基于这种方法进行了必要的改进和优化。

一般来说，在实际生活和生产环节中，除了季节项，趋势项，剩余项之外，通常还有节假日的效应。所以，在prophet算法里面，作者同时考虑了以上四项，也就是：

y(t)＝g(t)+s(t)+h(t)+ε_t

g(t)是趋势函数，代表非周期变化的值，s(t)表示周期性变化(如每周和每年的季节性)，h(t)表示在可能不规律的时间表上发生的假期的影响。误差项ε_t代表模型不能适应的任何特殊变化，并假设其符合正态分布。

趋势项

Prophet实现了两个趋势模型，分别是基于逻辑回归的饱和增长模型和分段线性模型。首先是基于逻辑回归的趋势项：

C为承载力，k为增长速率，m为偏移参数。

随着硬件的发展和信息量的升级，无论是承载力还是增长率都不会是恒定不变的，所以模型将固定的承载力和增长率修改为随时间变化的承载力和增长率函数，C＝C(t)，k＝k(t)。

现实中的时间序列通常会存在变点，也就是趋势发生变化的地方，当设置了变点，模型为分段逻辑回归模型：

其中a(t)＝(a₁(t),L,a_S(t))^T,δ＝(δ₁,L,δ_S)^T,γ＝(γ₁,L,γ_S)^T.

δ_i代表在时间上发生的变化率，时间上的增长率为k+a^Tδ,

其中

季节性

prophet用傅里叶级数(Fourier series)来建立周期模型：

P代表周期，参数可以表示为β＝[a₁,b₁,L,a_N,b_N]^T.

对N的调节起到了低通滤波(low-pass filter)的作用。因此，时间序列的季节项就是：s(t)＝X(t)β而β的初始化是β:Normal(0,σ²)，表示β服从均值为0，方差为σ²的正态分布。σ这个值越大，表示季节的效应越明显；这个值越小，表示季节的效应越不明显。

事件(节假日)对时间序列的影响通常是比较大的，例如国庆节。prophet中内置了很多国家的节假日，用户也可以自定义节假日。

其中

κ＝(κ₁,L,κ_L)^T.

其中κ:Normal(0,v²)表示κ服从均值为0，方差为v²的正态分布，并且该正态分布是受到v这个指标影响的。默认值是10，当值越大时，表示节假日对模型的影响越大；当值越小时，表示节假日对模型的效果越小。用户可以根据自己的情况自行调整。

模型拟合(Model Fitting)

按照以上的解释，我们的时间序列已经可以通过增长项，季节项，节假日项来构建了，i.e.

y(t)＝g(t)+s(t)+h(t)+ε_t.

分别对以下两个表格中的数据运用prophet模型做拟合，结果分别如图6、图7所示，能够很明显看出异常值的分布情况。

上述两个表格中，一行数据代表一个工件的一个加工过程数据，其中raw代表原始加工数据(图6中的黑点)，yhat代表prophet模型预测后的数据(图6中曲线)，t表示当前加工时间。

在对数据进行拟合后，如何判断加工过程出现异常值是重点。在此，需要去除时间序列的趋势和周期性。用预测模型给出的预测值与真实值相减计算序列的残差，残差不包含周期性和趋势性，可以用作后续的异常检测，公式如下：

其中

为预测值，y为实际数据，error为残差。

本发明中通过3σ准则对异常数据进行定位，异常值为一组结果值中与平均值的偏差超过三倍标准差的值。

3σ准则一般在工程科学中比较常用，在故障预警中用过这个原理，数据是用传感器采集的数据，这些数据假定符合正态分布，然后在进行模型识别后用3σ原则来对异常数据进行准确定位。在实际应用中可以根据业务场景来确定k-sigma中的k值。

3σ原理可以简单描述为：若数据服从正态分布，则异常值被定义为一组结果值中与平均值的偏差超过三倍标准差的值。即在正态分布的假设下，距离平均值三倍σ(为标准查)之外的值出现的概率很小(如下式)，因此可认为是异常值。

P(|error-μ(error)|＞3σ)≤0.003.

分别对上文表格中的数据，通过3σ处理后，结果如图8、图9所示。例如图8中的曲线，对应第一个表格中raw(原始数据)与yhat(prophet预测数据)之差；3个标注点为检测出的异常值；两条直线分别对应3σ原理的构造出的区间(μ-3σ,μ+3σ)的上下限。其异常点的情况如下：

同理，图9对应第二个表格中的数据，其异常值情况如下：

上述方案为对于总体数据将进行3σ的区间构造，同时也可以用历史数据-当前实可数据做自适应3σ分析，这样所构造出的区间就会随着数据的变化而变化，见图10。

实际生产加工过程中，由于刀具磨损等因素，负载信号sl会随着时间的推移而逐渐变大，那么通过总体数据构造出的3σ区间，随着时间的推移就会渐渐存在偏差。因此，需要用当前数据做自适应3σ分析。

自适应3σ分析原理包括：

其中i＞k，k为自定义常数。当前加工数据为x_i，选取前k个加工数据x_i-k,x_i-k+1,L x_i，计算自适应3σ区间。当i≤k时，就用总体数据进行3σ的区间。

通过采用自适应3σ分析，能够更加准确地定位到加工过程中的异常点，提高判断的准确性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种工业数据质量分析方法，其特征在于，包括以下步骤：

(1)采集加工数据并进行数据检验，使加工数据与加工刀具相匹配；

(2)对加工数据进行分组，并提取加工数据的特征值，判别加工过程中的异常；

(3)通过prophet模型对加工数据进行拟合，并对异常数据进行定位。

2.根据权利要求1所述的工业数据质量分析方法，其特征在于，所述步骤(1)中，按照加工顺序对每个加工刀具在不同刀位上以加工区间的形式进行分组，并提取每个加工区间中的与加工刀具所对应的刀具负载。

3.根据权利要求2所述的工业数据质量分析方法，其特征在于，所述步骤(1)中，将在连续相同刀位上的加工数据划分为同一加工区间，相同刀位但不连续的加工区间不能合并。

4.根据权利要求3所述的工业数据质量分析方法，其特征在于，所述步骤(1)中，分别计算每个加工刀具每个加工区间刀具负载的标准差，并将所有加工区间结合计算统计量，通过得到统计量的离散程度判断加工数据与加工刀具的匹配度。

5.根据权利要求4所述的工业数据质量分析方法，其特征在于，所述步骤(2)中，将每个工件在不同刀位上的加工时间进行分组，并对每组加工时间以相同的时间间隔进行分割得到分割区间。

6.根据权利要求5所述的工业数据质量分析方法，其特征在于，所述步骤(2)中，提取每个分割区间中加工参数的数据特征值，所述数据特征值包括中位数、众数、均值或者方差。

7.根据权利要求6所述的工业数据质量分析方法，其特征在于，所述步骤(2)中，将每个工件在相同刀位上的不同分割区间进行整合，通过判断数据特征值判别加工过程是否异常。

8.根据权利要求7所述的工业数据质量分析方法，其特征在于，所述步骤(3)中，通过计算prophet模型预测值与步骤(2)中的整合后生产数据的残差来进行异常检测，残差计算公式包括：

其中

为prophet模型预测值，y为步骤(2)中整合后的生产数据，error为残差。

9.根据权利要求8所述的工业数据质量分析方法，其特征在于，所述步骤(3)中，通过3σ准则对异常数据进行定位，异常值为一组结果值中与平均值的偏差超过三倍标准差的值。

Images