CN112148730A - 一种使用矩阵广义逆来分批次提取产品数据特征的方法 - Google Patents

Abstract

本发明公开了一种使用矩阵广义逆来分批次提取产品数据特征的方法，所述的方法基于某一产品生产过程的分批次的分析和化验结果，在对相应的样本进行特征提取和数据降维之后，可以过滤掉在数据采集时由于随机因素引起的数据扰动，并且使用数据的本征特征来代表数据，具有结果的稳定性；同时，本方法采用分批次的更新方式，计算的时间复杂度和空间复杂度较低。

Description

一种使用矩阵广义逆来分批次提取产品数据特征的方法

技术领域

本发明涉及产品信息分析处理技术领域，尤其是一种使用矩阵广义逆来分批次提取产品数据特征的方法。

背景技术

在工业生产的过程中，生产过程长，并且存在着持续生产；生产工艺不仅在开始生产之前要进行计算和优化，而且还要在生产的过程中不断完善和优化。但是，由于生产模型的复杂性，在进行了小批量生产过程之后，如果每次都将基础模型全部更新一遍，设计的计算量和计算误差将会特别的大。所以必须设计一种将模型局部微调和系统全部调整相结合的模型更新方法。

在模型的计算过程中，数据的条数和属性的个数，是影响模型运算最主要的数量因素，而在生产过程中新增加的数据，主要可以归结为条数和属性的增加。

如在进行机器人焊接过程中，存在着电流和电压的随机波动，如何在随机波动的电流电压和机器人焊接的建立相关关系，这部分首先要进行工业模型解析。工业模型的解析，就是基本还原工业机理的数学模型，然后依据工业机器人的设计理念，对机器焊接中控制失败的场景做分析。主要是分析波动的不稳定性和波动的变化的非规律性，从中提取出相关的参数，利用参数进行有监督和无监督的判断，从而对焊接异常情况做分辨。

在进行玻璃生产的工艺过程中，生产系统的传感器会定期的将生产过程中的参数传递到计算机后台，后台会根据导入的数据，构建生产数据的模型，然后根据过去生产过程中产品的类别，对生产产品的质量和性质进行预判。这样，就可以基于已有的生产数据，对生产结果的相关性进行分析，从而降低了后期人工进行检验的工作量。

在生产过程中，玻璃生产的中间产品，受生产过程、原料特征、人员操作等影响，会形成不同的品质特征。在下一步的生产过程中，需要根据上一步生产的产品结果，决定下一步生产的工艺类型选择和目标制造方向。在生产过程中使用本方法，可以对每一批次提取的数据做数据特征分析，并且不用每批都把全量数据重新计算一遍，而只需要计算新增加的数据对于原数据集合的改变，从而能够快速的以近实时批次的方式进行下阶段生产干预，提高生产效率。

但是，对于已经存在的海量数据，新增加的数据可能缺乏新颖性，即新增加的数据可以由过去的数据通过线性变换而得到，所以只需要调整模型的内部参数就可以进行模型调优，而不需要进行大规模的模型基础结构调整。

同时在模型计算过程中，存在着非方阵的矩阵求逆的问题，这个在矩阵论里面是采用广义逆的方式来实现的；广义逆的使用，避免了求解线性矩阵方程组的繁琐运算，意义明确简练，可以很好的在不求解的情况下评估运算量。

在模型的基础分析过程里，进行奇异值分解也是核心的步骤，在这一步骤中，利用矩阵向量空间旋转、拉伸、旋转的特点，在特征空间上描述原矩阵的数据特点，从而可以使用向量的本征维度来刻画向量，进而能够获得数据的维度特征。

在这一过程中的处理困难主要包括以下几个方面：

(1)数据采集的维度有部分缺失，这些部分缺失的数据，如果全部丢弃，则会造成数据资源的浪费。

(2)海量数据进行一次性特征计算，计算量很大，计算机的空间资源和时间资源占用都比较大。

(3)每批新增数据的新颖性很低，不需要进行全局运算。

(4)在分解存量模型和定期更新模型的过程中，模型之间的相互依赖矩阵耦合性较高，不容易进行分解。

(5)不容易判别存量模型什么时候发生重大改变，需要进行更新；而什么时候存量模型可以保持原来的结构。

(6)向量数据之间的依赖关系和和几何意义不明确，从而影响了模型更新的要素分析，所以需要在数据层面进行空间正交分解。

正是由于上述的困难，使用矩阵广义逆来分批次提取产品数据特征可以解决上述难题，可以在数据层面上对上述困难做化简，从而使得连续生产过程的矛盾得到解决。

发明内容

为了解决上述技术问题，本发明旨在使用矩阵广义逆来分批次提取产品数据特征的方法，为工业生产的持续、有效的改进在基础数据平台上做铺垫。本发明的优点在于，计算的步骤和方法都是基于成熟的矩阵论的数学理论，具有严谨性；计算的方法考虑了计算机处理的空间复杂度和时间复杂度，在操作上具备可行性。

一种使用矩阵广义逆来分批次提取产品数据特征的方法，该方法包括以下步骤：

步骤一，基础存量模型训练，在系统第1次启动的时候，选择一个数量适中的，进行模型训练，形成一个基础模型；

步骤二，在基础模型中，划分哪些是存量模型部分，哪些是需要分批次更新的部分，从而可以避免每个批次更新都将存量模型全部计算一遍的困境；

步骤三，在连续生产过程中，设计分批次提取特征的数据提取点，当发生触发数据提取点条件时，进行数据分批次提取；

步骤四，将分批次提取的数据，和原模型需要分批次更新的部分进行合并，然后同时利用模型的存量部分和分批次更新部分重构模型。

步骤五，将重构模型应用于连续生产过程，优化生产结构和工艺。

步骤六，在外部发生显著变化的情境下，修正基础模型的存量模型部分，从而较大程度的修改整个模型的基础。

本发明与现有技术相比较，本发明的实施效果如下：

1.建立宽表数据集，将所有相关实验的过程参数，都整合到一张矩阵表中，这样就对纷繁复杂的数据结构按照结果做了整理，方便利用数据挖掘算法进行计算。

2.将初始数据做奇异值分解，然后逐批次的进行增量奇异值分解，这样避免了进行大规模矩阵旋转和拉伸的计算，有效的控制了计算量。

3.利用对角矩阵上前N个较大特征值作为代表，可以实现数据的降维和噪音过滤，而且保证了矩阵的主要特征不发生变化。从整体来看，本方法可以在不做新的对比实验的前提下，就可以把类似的对比实验的数据寻找出来，而且对于缺失数据和新增保持一定的鲁棒性。

4.更新模型在大多数时候只更新内部的小矩阵，

附图说明

图1为数据流向示意图；

图2为数据秩不增加的模型更新图；

图3为数据秩增加的模型更新图；

图4为基础数据模型更新的示意图。

具体实施方式

下面结合附图和具体实例对本发明做更进一步的解释：

本发明提供一种使用广义逆来分批次提取产品数据特征构建的方法，所述数据集构建的方法基于某一产品生产过程的影响因素数据与其产量和质量数据；从历史的数据样本和在连续生产过程中分批次产生的数据中共同获得信息来改进数据。

如图1至图4所示，本发明提供的使用矩阵广义逆来分批次提取产品数据特征的方法包括以下步骤：

步骤一，基础存量模型训练，在系统第1次启动的时候，选择一个数量适中的，进行模型训练，形成一个基础模型。同时进行数据宽表化，形成代表数据条数的行和代表数据属性的列。

步骤1.1，采集不同渠道获得的数据，形成一张宽表数据N，M为1个p×q的矩阵，其中每一条数据为q维，占据1行，一共有p条数据，这些数据全部进行了数值化，即N矩阵的元素为实数；

步骤1.2，对于原始数据中的字符类型的值，使用数值向量的方式进行表达；同时对于缺失的变量，采用均值或众数进行补齐；并对M⁰矩阵的元素做正规化，使大部分的数据在1个量纲的基础上进行比较；

步骤1.3，对矩阵M做奇异值分解得到M⁰＝U∑V^T，其中U和V^T就是模型的基础部分，Σ是模型的特征，可以直接带入到连续生产过程中进行运算；

步骤二，在基础模型中，划分哪些是存量模型部分，哪些是需要分批次更新的部分，从而可以避免每个批次更新都将存量模型全部计算一遍的困境。

步骤2.1，在基础存量模型分解完毕之后，设U为左外矩阵，作为存量模型；左内矩阵为D＝I_r×r，作为更新模型；设V为右外矩阵，作为存量模型；右内模型为F＝I_r×r，作为更新模型；设左矩阵为X＝UD，右矩阵Y＝VF，作为下一次的存量模型；所以整体矩阵可以表示为M⁰＝UD∑F^TV^T＝X∑Y^T。

步骤三，在连续生产过程中，设计分批次提取特征的数据提取点，当发生触发数据提取点条件时，进行数据分批次提取。

步骤3.1，对生产过程中的流量数据按照批次进行分区储存。

步骤3.2，设立阈值，生产出的数据量达到阈值或者模型偏差超过阈值时，就触发批处理流程。

步骤3.3，将在一个区域存储的数据捞取出来，并进行数据的数值化和缺失值处理。

步骤3.4，将数据送入在线更新模型中。

步骤四，将分批次提取的数据，和原模型需要分批次更新的部分进行合并，然后同时利用模型的存量部分和分批次更新部分重构模型。

步骤4.1，设新生成的数据集为C，数据集的数量不变，但是增加了d个维度，所以C矩阵为p×d；在数据集C中按照从左到右的顺序，提取出第1条数据c。

步骤4.2，将c和原来的数据集M⁰合并，形成数据集M¹＝(M,c)。

步骤4.3，设l_r×1＝X^Tc，为新增的数据c在原来的左存量模型中的投影，

h＝c-Xl＝c-XX^Tc，为新增的数据c垂直于左存量模型的部分，

对h进行标准化，令k＝||c-XX^Tc||，j＝h/k，可以得到核心矩阵

这里分rank(Q)＝r+1和rank(Q)＝r两种情况讨论：

步骤4.4当rank(Q)＝r+1时，数据新增加的维度不仅造成了数据的本征特征的变化，而且产生了新的特征维度，需要通过增加特征矩阵Σ’的维度来构建特征信息；在此条件下Q矩阵分解为：

Q_(r+1)×(r+1)＝A_(r+1)×(r+1)∑'_(r+1)×(r+1)B_(r+1)×(r+1) ^T，

此时左内矩阵

D’列正交；

左外矩阵U'_p×(r+1)＝(U_p×r,j_p×1)，U’列正交；

右内矩阵

F’列正交；

右外矩阵

V’列正交；

步骤4.5当rank(Q)＝r时，数据新增加的维度只是造成了数据的本征特征的变化，只需要对原有的特征维度做线性旋转变化，而无需增加特征矩阵Σ’的维度；在此条件下Q矩阵分解为：

U'D'∑'F'^TV'^T＝(M⁰,c)

(1)对U’，D’，V’，F’条件做化简，

左边：使得U'_p×r＝U_p×r，

求对应的D’和F’：

由

其中U⁺为U的广义逆，满足

UU⁺j＝j，令U’＝U，D’_p×(r+1)＝(D_r×r,U⁺ _r×pj_p×1)，所以

右边：令

所以

步骤4.6，由此通过本次计算顺利的得到左外矩阵、左内矩阵、右外矩阵、右内矩阵；

步骤五，将重构模型应用于连续生产过程，优化生产结构和工艺。

步骤5.1：当新增变量c不引起整体(M⁰,c)矩阵的秩增加，更新U’，D’，F’，V’，此时的计算复杂度为O(r²)，不更新连续生产模型。

步骤5.2：当新增变量c引起整体(M⁰,c)矩阵的秩增加时，更新U’，D’，F’，V’，同时更新X’＝U’D’的左模型和Y’＝V’F’，此时的计算复杂度为O((p+q)*r)。然后更新连续生产模型。因为发生秩增加的频次很低，所以一般运行很长时间，才发生更新连续生产模型的情景。

步骤5.3：更新连续生产模型，改进工艺，提高生产效率。

步骤六，在外部发生显著变化的情境下，修正基础模型的存量模型部分，从而较大程度的修改整个模型的基础。

步骤6.1：通过间断性的修正连续生产模型，达到优化生产过程的目的；同时，在连续生产过程中分批次采集样本数据。

步骤6.2：当采集的样本数据发生数据维度上升时，优化连续生产模型。

步骤6.3：当连续生产模型发生重大偏差时，重新训练基础模型，修改左模型和右模型。

本发明以实行示教反馈的机器人电焊作为基础，但本发明的应用并不限于电焊行业，还可用于自动化生产线的设计。

实施例1

在机器人电焊的过程中，在全部焊接之前，会有一个按照人工焊接记录下来的示教程序，这个示教程序是经过工程师反复测试，是在没有进行正式生产前能够达到的最优状态。但是，在真正接入产线之后，在长期的连续工作下，机器、制造材料都会发生逐渐的变化，从而造成焊接质量的下降，解决的方法如下：

步骤一，在进行示教焊接之前，使用1个数量适中的数据集，一般不超过1万条，进行基础模型构建。这个基础模型的参数既采集于小规模实验的数据，又来自于部分过去真实上线的数据，形成基础模型。

步骤二，在基础模型中，对于来自于小规模实验部分的数据，确定为存量模型部分，对于从过去真实上线中形成的数据，确定为分批次更新数据部分，划分哪些是存量模型部分，哪些是需要分批次更新的部分，从而可以避免每个批次更新都将存量模型全部计算一遍的困境。

步骤三，对于每一条焊缝，提取最容易提取的电流和电压数据，然后按照生产的批次，将电流和电压分批，然后提取分批数据的特征。在提取特征的过程中，按照控制论的方法，将电焊的工艺过程理解为1个闭环的控制过程，在这个闭环的控制过程中，因为外在干扰的存在，控制过程在稳态、暂态和不稳定态之间过渡。稳态，即电流、电压按照固定的频率和幅度进行波动，表现为在频域上1到2个频率的能量非常集中，此时可以用单位时间内频域的能量集中度作为指标；暂态，即电流、电压在2个稳态之间过渡吗，特征表现为在时域上，电流、电压的1阶微分呈现稳定波动频率和幅度，可以对电流、电压取1阶微分，然后分析单位时间内频域的能量集中度；不稳定状态，就是电流、电压的超过了自动的平衡点，所以它的时域和频域的数据表现出相当的随机性和不稳定性，在频域上表现为各个频点的能量分散，利用分散的指数，作为数据特征。综合上述特征，就可以刻画出控制的稳态和电压电流导出指数的相关关系。

在更广阔的一个意义层面上，在进行工业过程的大数据分析中，首先要还原工业的数学过程和原有自动化设备在数学过程中的设定原则。而在寻找设备异常的过程中，关键就是客观因素对于设计的目标数学模型的偏离，当发生偏离目标数学模型时，就会发生不可预知的风险。在这个过程中，我们可以假设，正常的、可以用来生产实践的模型都是稳定的、渐变可控的，而偏离了稳定渐变过程的，都可以认定为异常。而从控制论角度来说，超出了线性控制范围的东西，在数学上都是不可控的，必然导致工业过程的质量下降。所以，一方面可以从表征结果的阈值、方差来分析数据，令一方面可以从控制的有效性方面来分析原因。

步骤四，将分批次提取的数据，计算数据的特征值，将特征值和原模型需要分批次更新的部分进行合并，然后同时利用模型的存量部分和分批次更新部分重构模型。

步骤五，提取出的特征值，通过运算和电焊过程中的工艺参数做比对，从而形成更优的工艺参数，将重构模型应用于连续生产过程，优化生产结构和工艺。

步骤六，在各个批次之间，计算批次的偏差值和质量指数，在批次质量发生显著的下降趋势时，修正基础模型的存量模型部分，从而较大程度的修改整个模型的基础。

实施例2

在玻璃生产过程中，首先要根据实验室的试验进行初始参数设计，然后进入分批次生产。但是，玻璃生产的中间过程的中间数据采集非常麻烦，而且整个生产处于不停的变动过程中，所以需要一套能够不断根据生产过程来调整的工艺系统。

步骤一，进入玻璃分批次生产之前，进行小规模试验，然后采集小规模试验的参数，作为模型的基础参数；同时采集一部分原来批次生产的数据，这部分数据作为模型的更新参数部分。两者相结合，形成基础模型，基础模型的数据规模在1万以上。

步骤二，分别对于小规模试验的数据和过去的分批次生产数据，进行特征提取，两个过程的特征作为不同的用途。小规模试验的数据，具备参数全、测量详细的特征，可以用来做基本不变的基础模型；过去生产过程中的数据，具备实时性和与生产过程相依度比较高的优点，可以作为分批次更新的基础。因为两种数据的提取难度不一样，所以在带入模型时的作用也做不同的安排；生产过程中实时性产生的数据，用作模型更新用；需要探测、取样、离线测量的数据，作为模型的基础部分，不做经常性的更新；利用生产的数学机理，计算离线模型对应实际运行生产过程的偏差度，当偏差过大时，及时调整离线模型。

步骤三，对于分批次的生产，在每一批生产结束以后，对于生产的结果进行抽样化验，化验结果形成新增数据特征。这样，多个批次的化验数据就形成了连续的更新矩阵的数据特征批。

步骤四，将分批次提取的数据，计算数据的特征值，将特征值和原模型需要分批次更新的部分进行合并，这样就得到每个批次的评价结果；然后同时利用模型的存量部分和分批次更新部分重构模型，从而获得干预化工生产的参数。

步骤五，将计算出的生产参数和在线运行的生产参数做比对，如果差异超过一定的阈值，就将重构模型应用于连续生产过程，优化生产结构和工艺。

步骤六，在多个批次之间，计算批次的偏差值和质量指数，在批次质量发生显著的下降趋势时，修正基础模型的存量模型部分，从而较大程度的修改整个模型的基础。

以上内容是结合具体的实施例对本发明所作的详细说明，不能认定本发明具体实施仅限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明保护的范围。

Claims (8)

1.一种使用矩阵广义逆来分批次提取产品数据特征的方法，其特征在于，所述方法包括以下步骤：

步骤一，在生产系统第1次启动时，选择一个数量适中的基础数据进行模型训练，形成基础模型；

步骤二，在所述基础模型中，划分存量模型部分与需要分批次更新的部分；

步骤三，设计分批次提取特征的数据提取点，当发生触发数据提取点条件时，进行数据分批次提取；

步骤四，将分批次提取的数据和所述基础模型中需要分批次更新的部分进行合并，然后同时利用模型的存量部分和需要分批次更新的部分重构模型；

步骤五，将重构模型应用于连续生产过程，优化生产结构和工艺。

2.根据权利要求1所述的一种使用矩阵广义逆来分批次提取产品数据特征的方法，其特征在于，所述步骤一具体为：

步骤1.1，采集小规模实验生产中获得的数据，以及现行分批次生产中获得的数据，形成一张宽表数据N，N为1个p×q的矩阵，其中每一条数据为q维，占据1行，一共有p条数据，对全部数据全部进行数值化，即N矩阵的元素为实数，形成原始数据；

步骤1.2，对于所述原始数据中的字符类型的值，使用数值向量的方式进行表达；同时对于缺失的变量，采用均值或众数进行补齐，对N矩阵的元素做正规化为M⁰，使数据在相同的纲的基础上进行比较；

步骤1.3，对矩阵M⁰做奇异值分解得到M⁰＝U∑V^T，其中U和V^T是模型的基础部分，Σ是模型的特征，得到基础训练模型，直接带入到连续生产过程中进行运算。

3.根据权利要求2所述的一种使用矩阵广义逆来分批次提取产品数据特征的方法，其特征在于，所述步骤二具体为：

步骤2.1，在所述矩阵M⁰分解完毕之后，设定存量矩阵和需要分批次更新的矩阵；设U为左外矩阵，作为存量模型；设左内矩阵D＝I_r×r，作为分批次更新模型；设V为右外矩阵，作为存量模型；设右内矩阵F＝I_r×r，作为分批次更新模型；设左矩阵为X＝UD，作为本次更新的结果和下次更新的基础；设右矩阵Y＝VF，作为本次更新的结果和下次更新的基础；所以整体矩阵表示为M⁰＝UD∑F^TV^T＝X∑Y^T。

4.根据权利要求1所述的一种使用矩阵广义逆来分批次提取产品数据特征的方法，其特征在于，所述步骤三具体为：

步骤3.1，对生产过程中的流量数据按照批次进行分区储存；

步骤3.2，设立阈值，生产出的数据量达到阈值或者模型偏差超过阈值时，触发批处理流程，执行步骤3.3；

步骤3.3，将存储于同一区域的数据提取出来，进行数据的数值化和缺失值处理；

步骤3.4，将数据与初始化分解的矩阵M⁰进行合并。

5.根据权利要求1所述的一种使用矩阵广义逆来分批次提取产品数据特征的方法，其特征在于，所述步骤四具体为：

步骤4.1，设新生成的数据集为C，所述数据集C为分批次提取的数据和所示基础原模型中需要分批次更新的部分的集合，数据集的数据条数不变，但是增加了d个维度，所以C矩阵为p×d；在数据集C中按照从左到右的顺序，提取出第1条数据c；

步骤4.2，将数据c和矩阵M⁰合并，形成数据集M¹＝(M⁰,c)；

步骤4.3，设l_r×1＝X^Tc，为新增的数据c在原左存量矩阵X中的投影，

h＝c-Xl＝c-XX^Tc，为新增的数据c垂直于左存量矩阵X的部分，

对h进行标准化，令k＝||c-XX^Tc||，j＝h/k，得到核心矩阵：

通过计算得到左外矩阵、左内矩阵、右外矩阵、右内矩阵。

6.根据权利要求5所述的一种使用矩阵广义逆来分批次提取产品数据特征的方法，其特征在于，所述步骤4.3分rank(Q)＝r+1和rank(Q)＝r两种情况讨论；

步骤4.4，当rank(Q)＝r+1时，数据新增加的维度不仅造成了数据的本征特征的变化，而且产生了新的特征维度，需要通过增加特征矩阵Σ’的维度来构建特征信息；在此条件下Q矩阵分解为：

Q_(r+1)×(r+1)＝A_(r+1)×(r+1)∑'_(r+1)×(r+1)B_(r+1)×(r+1) ^T，

此时设左内矩阵

D’列正交；

设左外矩阵U'_p×(r+1)＝(U_p×r,j_p×1)，U’列正交；

设右内矩阵

F’列正交；

设右外模型

V’列正交；

步骤4.5当rank(Q)＝r时，数据新增加的维度只是造成了数据的本征特征的变化，对原有的特征维度做线性旋转变化，而无需增加特征矩阵Σ’的维度；在此条件下Q矩阵分解为：

U'D'∑'F'^TV'^T＝(M,c)

对U’，D’，V’，F’条件做化简，

左边：使得U'_p×r＝U_p×r，

由

其中U⁺为U的广义逆，满足

UU⁺j＝j，令U’＝U，D’_p×(r+1)＝(D_r×r,U⁺ _r×pj_p×1)，所以

右边：令

所以

令

计算强度低。

7.根据权利要求1所述的一种使用矩阵广义逆来分批次提取产品数据特征的方法，其特征在于，所述步骤五具体为：

步骤5.1：当新增变量c不引起整体(M,c)矩阵的秩增加，更新U’，D’，F’，V’，此时的计算复杂度为O(r²)，不更新连续生产模型；

步骤5.2：当新增变量c引起整体(M,c)矩阵的秩增加时，更新U’，D’，F’，V’，同时更新左矩阵X’＝U’D’和右矩阵Y’＝V’F’，此时的计算复杂度为O((p+q)*r)，然后更新连续生产模型。

步骤5.3：更新连续生产模型，改进工艺，提高生产效率。

8.根据权利要求1所述的一种使用矩阵广义逆来分批次提取产品数据特征的方法，其特征在于，所述方法还包括步骤六，当连续生产模型发生重大偏差时，重新训练基础模型，修改左模型和右模型，修正基础模型的存量模型部分，从而较大程度的修改整个模型的基础。

Images