CN114189825B - 基于工业互联网和智能制造的数据处理方法及系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于工业互联网和智能制造的数据处理方法及系统，该方法包括：基于历史传感器数据和数据异常阈值，计算当前时刻每个传感器数据的重要程度；基于所述重要程度对传感器数据进行排序分组，基于自编码网络，按组进行传感器数据的压缩与传输；每组中在前传感器数据重要于在后传感器数据；每组中数据的个数为自编码网络输入层和输出层中神经元的个数；其中，为自编码网络输入层和输出层的神经元设置位置惩罚系数，位置在前神经元的位置惩罚系数大于位置在后神经元的位置惩罚系数；基于位置惩罚系数对均方误差损失函数进行改进后监督自编码网络的训练。本发明可以减少数据传输的数据量。

Description

基于工业互联网和智能制造的数据处理方法及系统

技术领域

本发明涉及数据处理领域，具体涉及一种基于工业互联网和智能制造的数据处理方法及系统。

背景技术

智能制造场景下，需要实时检测大量设备的多种状态，即各设备需要监测温度、距离等多类数据，每个时刻采集到的状态数据是海量的，经常超出对应的带宽传输能力或者硬件设备的处理能力，同时数据的价值密度较低，冗余程度较高。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于工业互联网和智能制造的数据处理方法及系统，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于工业互联网和智能制造的数据处理方法，该方法包括以下具体步骤：

基于历史传感器数据和数据异常阈值，计算当前时刻每个传感器数据的重要程度；

基于所述重要程度对传感器数据进行排序分组，基于自编码网络，按组进行传感器数据的压缩与传输；每组中在前传感器数据重要于在后传感器数据；每组中数据的个数为自编码网络输入层和输出层中神经元的个数；

其中，为自编码网络输入层和输出层的神经元设置位置惩罚系数，位置在前神经元的位置惩罚系数大于位置在后神经元的位置惩罚系数；基于位置惩罚系数对均方误差损失函数进行改进后监督自编码网络的训练。

进一步地，当前时刻每个传感器数据重要程度的获取具体为：

根据当前时刻与历史相邻时刻的传感器数据获取当前数据变化量；当前数据变化量与历史的数据变化量均值的比值为当前时刻传感器数据的突变程度；

当前时刻传感器数据与数据异常阈值进行比较，获取当前时刻传感器数据的异常程度；

根据突变程度和异常程度获取当前时刻传感器数据的重要程度。

进一步地，当前时刻传感器数据的异常程度的获取具体为：

yc为当前时刻传感器数据的异常程度，sj为当前时刻的一个传感器数据，yz为数据异常阈值，α为异常范围系数，relu函数用于把负数置为0。

进一步地，改进的均方误差损失函数具体为：

loss为改进的均方误差损失函数，ε_i为自编码网络输入层和输出层中第i个神经元的位置惩罚系数，P_i和Y_i分别为自编码网络输入层和输出层中第i个神经元对应的数据，自编码网络输入层和输出层中均包括I个神经元。

进一步地，基于所述重要程度对传感器数据进行排序分组，具体为：

对传感器数据进行重要性降序排序后，按照蛇形排列分组法，得到数据阵列；

若蛇形走向为横向，则数据阵列大小为I行J列，数据阵列中一列数据为一组；若蛇形走向为纵向，则数据阵列大小为J行I列，数据阵列中一行数据为一组；传感器数据的数量与神经元个数I的比值向上取整后得到J。

进一步地，利用自编码网络中的编码模块对每组传感器数据进行压缩，对压缩数据进行传输；利用自编码网络中的解码模块对压缩数据进行解压；解码模块输出层神经元的位置越靠前，解压数据的误差越小。

第二方面，本发明另一个实施例提供了一种基于工业互联网和智能制造的数据处理系统，该系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现一种基于工业互联网和智能制造的数据处理方法的步骤。

本发明实施例至少具有如下有益效果：本发明基于自编码网络对大量传感器数据进行压缩传输，减小传输的数据量，实现实时传输。且利用本发明中基于改进的均方误差损失函数进行监督训练的自编码网络进行压缩和解压，位置越靠前的输出层神经元解压后输出的数据与对应的输入数据越一致，误差越小；即按照本发明的数据输入方法和自编码网络，可实现越重要的传感器数据对应的解压精度越高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明方法实施例的步骤流程图。

图2为本发明实施例中的分组示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于工业互联网和智能制造的数据处理方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明的主要目的是，利用深度学习神经网络技术来对传感器数据进行降维压缩，以使数据能够实现整体的传输，并且降低数据传输过程中的带宽压力，满足智能制造场景下对加工设备实时监测的需求。本发明实施例以下面的应用场景为例对本发明进行说明：

该应用场景为：智能制造场景中，整个生产线上存在多类工序，而每个工序下的每个设备都需要布置对应的传感器来采集各类数据，而为了实时掌握产品的加工情况，需要采集的各类传感器数据传输给控制中心，从而根据产品状态及设备状态结合智能控制算法来自动调节生产线的生产参数。但是实时采集的数据量往往较大，无线传输的数据流量有限，很难实现实时传输的需求，所以需要压缩传输，而目前多数压缩方式都是基于数据空间冗余的，自编码神经网络能够根据映射关系，直接进行数据降维压缩，更加适合数据的压缩传输，但是其又存在准确性的缺陷，因此，本发明对自编码网络进行改进。

下面结合附图具体的说明本发明所提供的一种基于工业互联网和智能制造的数据处理方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于工业互联网和智能制造的数据处理方法的步骤流程图，该方法包括以下步骤：

基于历史传感器数据和数据异常阈值，计算当前时刻每个传感器数据的重要程度；

基于所述重要程度对传感器数据进行排序分组，基于自编码网络，按组进行传感器数据的压缩与传输；每组中在前传感器数据重要于在后传感器数据；每组中数据的个数为自编码网络输入层和输出层中神经元的个数；

其中，为自编码网络输入层和输出层的神经元设置位置惩罚系数，位置在前神经元的位置惩罚系数大于位置在后神经元的位置惩罚系数；基于位置惩罚系数对均方误差损失函数进行改进后监督自编码网络的训练。

下面对上述步骤进行具体展开：

为了实时掌握生产线上各处的状态，需要布置大量传感器，因传感器数据过多，因此，需要对传感器采集的数据进行压缩处理后再进行传输；本发明中具体的数据压缩处理方法为：

步骤S1，基于历史传感器数据和数据异常阈值，计算当前时刻每个传感器数据的重要程度。

传感器数据用于反应监测设备的实时状态，主要是识别设备的突变状态和异常状态，所以本发明通过传感器数据的突变程度及异常程度来判断数据的重要程度。以一个传感器数据为例，本发明中当前时刻每个传感器数据重要程度的获取具体为：

根据当前时刻与历史相邻时刻的传感器数据获取当前数据变化量；当前数据变化量与历史的数据变化量均值的比值为当前时刻传感器数据的突变程度；当前时刻传感器数据与数据异常阈值进行比较，获取当前时刻传感器数据的异常程度；根据突变程度和异常程度获取当前时刻传感器数据的重要程度；具体地：

tb表示当前时刻t一个传感器数据的突变程度，当前时刻与历史相邻时刻的传感器数据的差值越小，说明数据越没有发生突变，差值越大，说明数据越是发生突变；sj_t和sj_t-1分别表示当前时刻t和前一时刻t-1的传感器数据；sj_i和sj_i-1分别表示时刻i和前一时刻i-1的传感器数据，P为关联历史传感器数据的数量，优选地，实施例中P值为5，

表示历史的传感器数据的数据变化量均值。

yc为当前时刻t一个传感器数据的异常程度，当前时刻t的传感器数据越大于α*yz，说明该时刻的传感器数据越异常；sj_t为当前时刻t的一个传感器数据，yz为数据异常阈值，α为异常范围系数，优选地，实施例中α的值为0.7；relu函数用于把负数置为0，正数不作处理。

当前时刻传感器数据的突变程度与当前时刻传感器数据的异常程度的乘积为当前时刻传感器数据的重要程度，乘积值越大，说明传感器数据越重要；越是相较历史数据变化程度小，那么传感器数据越不重要，传感器数据越正常，其反映的设备的相关状态越正常，传感器数据越不重要。

需要注意，由于用于监控设备状态的传感器有多种，例如温度传感器、压力传感器、流量传感器等多种传感器，因此，计算传感器数据的异常程度时，每种传感器数据对应的数据异常阈值可能不同。

至此，得到了所有传感器采集的每个传感器数据的重要程度。

步骤S2，基于所述重要程度对传感器数据进行排序分组，基于自编码网络，按组进行传感器数据的压缩与传输；每组中在前传感器数据重要于在后传感器数据；每组中数据的个数为自编码网络输入层和输出层中神经元的个数；其中，为自编码网络输入层和输出层的神经元设置位置惩罚系数，位置在前神经元的位置惩罚系数大于位置在后神经元的位置惩罚系数；基于位置惩罚系数对均方误差损失函数进行改进后监督自编码网络的训练。

待传输的传感器数据构成数据集合，具体地数据集合中可以包括所有传感器在一个时刻采集的传感器数据，也可以包括部分传感器在一个时刻采集的传感器数据。

基于所述重要程度对传感器数据进行排序分组，即基于重要程度对数据集合中的传感器数据进行排序，需要注意，对数据集合中的传感器数据进行排序前，需要对各个传感器数据对应的重要程度进行归一化处理。其中，基于所述重要程度对传感器数据进行排序分组，具体为：

对传感器数据进行重要性降序排序后，按照蛇形排列分组法，得到数据阵列；若蛇形走向为横向，则数据阵列大小为I行J列，数据阵列中一列数据为一组；若蛇形走向为纵向，则数据阵列大小为J行I列，数据阵列中一行数据为一组；传感器数据的数量与自编码网络输入层或输出层中神经元个数I的比值向上取整后得到J。其中，数据阵列中没有传感器数据的位置进行补0填充。

如图2所示，以数据集合中包括18个传感器数据，自编码网络输入层和输出层中均包括5个神经元为例，说明分组过程：

基于重要程度对18个传感器数据进行重要程度降序排序后，得到图2中左侧所示的数据序列，按照蛇形排列分组法，以左上角为起点，蛇形走向为横向，得到图2中右侧所示的5行4列的数据阵列，则该数据阵列中每一列数据为一组数据，共分为4组。

基于自编码网络，按组进行传感器数据的压缩与传输；需要注意，若得到的一组数据中从上到下或从左到右数据的重要程度不是降序，则此时需要对该组中的传感器数据进行位置调换，使其从上到下或从左到右数据的重要程度是降序，即按照从上到下或从左到右的顺序，每组中在前传感器数据要重要于在后传感器数据。对于一组数据，按照从上到下或从左到右的顺序，将该组中的传感器数据依次输入自编码网络中输入层中的神经元中，即传感器数据越重要，其输入的神经元的位置越靠前。

优选地，本发明为自编码网络输入层和输出层的神经元设置位置惩罚系数，位置在前神经元的位置惩罚系数大于位置在后神经元的位置惩罚系数；基于位置惩罚系数对均方误差损失函数进行改进后监督自编码网络的训练；具体地：

改进的均方误差损失函数具体为：

loss为改进的均方误差损失函数，ε_i为自编码网络输入层和输出层中第i个神经元的位置惩罚系数，P_i和Y_i分别为自编码网络输入层和输出层中第i个神经元对应的数据，自编码网络输入层和输出层中均包括I个神经元。优选地，ε_i的获取方法为：

输出层中位置在前神经元的位置惩罚系数越大，loss达到收敛值时(P_i-Y_i)²的值就要越小，也即该神经元解压得到的数据与相应的输入数据的误差越小，解压精度越高。

基于上述改进的均方误差损失函数，为了确保loss收敛，网络会调整内部权值，使得解压数据误差的产生及误差程度更偏向于后面的数据。

利用自编码网络中的编码模块对每组传感器数据进行压缩，对压缩数据进行传输；利用自编码网络中的解码模块对压缩数据进行解压；解码模块输出层神经元的位置越靠前，解压数据的误差越小。

解压后还需要知道传感器数据对应的是哪个传感器，进而对相应的设备进行故障检修；优选地，传感器数据与传感器的匹配具体为：

设置匹配度目标函数：

数据集合中包括X个传感器数据，对数据集合中的传感器数据进行重要程度降序的排序后，得到一个数据序列，对数据系列中的传感器数据按照重要程度由大到小的顺序依次进行X、X-1、X-2，…，1的参考标号，即最重要的传感器数据对应的标号为X，次重要的传感器数据对应的标号为X-1，……；sx_x为数据序列中第x个传感器数据的参考标号，sx^′ _x为解压后得到的X个传感器数据与X个传感器匹配后，基于X个传感器的历史传感器数据和数据异常阈值重新计算得到的第x个传感器数据的标号。

结合优化算法和上述匹配度目标函数进行传感器数据与传感器的匹配，优选地，实施例利用遗传算法，以上述匹配度目标函数值最小为目标进行优化，最后选择匹配度目标函数值最小的组合即作为最优组合，完成X个传感器数据与X个传感器的匹配，进而基于传感器数据进行相应设备的检修和维护。

基于与上述方法实施例相同的发明构思，本发明一个实施例提供了一种基于工业互联网和智能制造的数据处理系统，该系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现一种基于工业互联网和智能制造的数据处理方法的步骤。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于工业互联网和智能制造的数据处理方法，其特征在于，该方法包括：

基于历史传感器数据和数据异常阈值，计算当前时刻每个传感器数据的重要程度；

基于所述重要程度对传感器数据进行排序分组，基于自编码网络，按组进行传感器数据的压缩与传输；每组中在前传感器数据重要于在后传感器数据；每组中数据的个数为自编码网络输入层和输出层中神经元的个数；

其中，为自编码网络输入层和输出层的神经元设置位置惩罚系数，位置在前神经元的位置惩罚系数大于位置在后神经元的位置惩罚系数；基于位置惩罚系数对均方误差损失函数进行改进后监督自编码网络的训练；

当前时刻每个传感器数据重要程度的获取具体为：

根据当前时刻与历史相邻时刻的传感器数据获取当前数据变化量；当前数据变化量与历史的数据变化量均值的比值为当前时刻传感器数据的突变程度；

当前时刻传感器数据与数据异常阈值进行比较，获取当前时刻传感器数据的异常程度；

根据突变程度和异常程度获取当前时刻传感器数据的重要程度；

具体地：

表示当前时刻

一个传感器数据的突变程度，当前时刻与历史相邻时刻的传感器数据的差值越小，说明数据越没有发生突变，差值越大，说明数据越是发生突变；

和

分别表示当前时刻

和前一时刻

的传感器数据；

和

分别表示时刻

和前一时刻

的传感器数据，

为关联历史传感器数据的数量，

表示历史的传感器数据的数据变化量均值；

当前时刻传感器数据的异常程度的获取具体为：

为当前时刻传感器数据的异常程度，

为当前时刻的一个传感器数据，

为数据异常阈值，

为异常范围系数，

函数用于把负数置为0正数不作处理；当前时刻传感器数据的突变程度与当前时刻传感器数据的异常程度的乘积为当前时刻传感器数据的重要程度，乘积值越大，说明传感器数据越重要；

改进的均方误差损失函数具体为：

为改进的均方误差损失函数，

为自编码网络输入层和输出层中第

个神经元的位置惩罚系数，

和

分别为自编码网络输入层和输出层中第

个神经元对应的数据，自编码网络输入层和输出层中均包括

个神经元；

的获取方法为：

。

2.如权利要求1所述的方法，其特征在于，基于所述重要程度对传感器数据进行排序分组，具体为：

对传感器数据进行重要性降序排序后，按照蛇形排列分组法，得到数据阵列；

若蛇形走向为横向，则数据阵列大小为

行

列，数据阵列中一列数据为一组；若蛇形走向为纵向，则数据阵列大小为

行

列，数据阵列中一行数据为一组；传感器数据的数量与神经元个数

的比值向上取整后得到

。

3.如权利要求2所述的方法，其特征在于，利用自编码网络中的编码模块对每组传感器数据进行压缩，对压缩数据进行传输；利用自编码网络中的解码模块对压缩数据进行解压；解码模块输出层神经元的位置越靠前，解压数据的误差越小。

4.一种基于工业互联网和智能制造的数据处理系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一项所述方法的步骤。

Images