CN111400040A - 基于深度学习和边缘计算的工业互联网系统及工作方法 - Google Patents

Abstract

本发明公开一种基于深度学习和边缘计算的工业互联网系统及工作方法，包括云单元、边缘单元组以及感知单元组。云单元采用分段算法将深度学习模型分成多个深度学习子模型并进行训练，再将训练完成的深度学习子模型分别部署到相对应的边缘单元；感知单元组采集汽车零部件图像，并上传到边缘单元组，边缘单元依次进行计算分析，检测汽车零部件的缺陷类别；边缘单元计算得到缺陷类别后，将缺陷类别回传到感知单元组。本发明通过使用分段算法对复杂的深度学习模型进行了分段处理，使得计算能力较弱的边缘单元也能运行深度学习模型，提高了计算效率；同时边缘单元只需运行深度学习模型中的一部分，就可以提前得到检测结果，缩短了检测时间。

Description

基于深度学习和边缘计算的工业互联网系统及工作方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于深度学习和边缘计算的工业互联网系统及工作方法。

背景技术

随着新一代信息通信技术的飞速发展，信息处理与人工智能等领域进入了新的研究阶段，给全球工业产业带来了革命性的影响，工业互联网的概念应运而生。工业互联网中工业智能化的发展成为全球关注重点与趋势。

工业智能化是指工业领域中由计算机实现的智能，具有自感知、自学习、自执行、自决策、自适应等特征，能不断丰富和迭代自己的分析与决策能力，以适应变幻不定的工业环境，并完成多样化的工业任务，最终达到提升企业洞察力，提高生产效率或设备产品性能的目的。

深度学习作为当前工业智能化的核心技术之一，以工业大数据系统的工业数据为基础，依托硬件基础能力和训练、推理运行框架，完成工业数据建模和分析，从而实现各类创新的工业智能应用，如产品质量检测、设备健康管理、能耗控制等。

目前大多数的工业互联网系统都是在云计算平台上运行深度学习模型，然而云计算平台通常距离车间、生产线很远，网络传输延时很高，无法满足工业生产对实时性的要求，无法实现车间级、生产线级的智能化。并且随着工业互联网的不断发展，云计算将难以实时处理数量激增的工业数据。

也有部分工业互联网系统使用边缘计算来进行简单的工业数据处理工作，然而边缘计算中单个计算节点的处理能力较弱，无法在规定时间内完成复杂的深度学习运算，从而无法实时对工业设备进行控制。

发明内容

针对现有技术中工业互联网无法实时计算工业数据的问题，本发明提出一种基于深度学习和边缘计算的工业互联网系统及工作方法,通过设置云单元来对深度学习模型进行分段训练,再将训练完成的深度学习模型按分段部署至边缘单元相对应的网关或边缘服务器中,边缘单元负责运行云单元部署的深度学习模型，并使用提前预测算法，对感知单元上传的工业数据进行分析预测，并将预测的结果返回至感知单元，感知单元再根据结果采取相应的行动；这样提高了整个系统的运算速度,做到对工业数据的实时计算和分析,提高了工作效率。

为了实现上述目的，本发明提供以下技术方案：

基于深度学习和边缘计算的工业互联网系统，包括云单元、边缘单元组以及感知单元组；所述云单元与边缘单元组进行无线/有线连接，边缘单元组与感知单元组进行无线/有线连接。

优选的，所述边缘单元组包括多个边缘单元，所述边缘单元为网关或边缘服务器，用于进行工业数据的实时分析。

优选的，所述感知单元组包括多个感知单元，所述感知单元为传感设备、生产设备、制造设备中的一种或多种，用于采集工业数据并上传到所述边缘单元组。

本发明还提供一种基于深度学习和边缘计算的工业互联网工作方法，具体包括以下步骤：

S1：云单元采用分段算法将深度学习模型分成多个深度学习子模型并进行训练，再将训练完成的深度学习子模型分别部署到相对应的边缘单元；

S2：感知单元组采集汽车零部件图像，并上传到边缘单元组，边缘单元依次进行计算分析，检测汽车零部件的缺陷类别；

S3：当第t个边缘单元计算得到缺陷类别后，将缺陷类别回传到感知单元组，同时第t个边缘单元之后的边缘单元停止工作。

优选的，所述步骤S1中多个深度学习子模型的构建方法为：

将深度学习模型平均分成三个部分，分别在每个部分的最后一个卷积层之后加上一个维度为1000维的第一全连接层，在第一全连接层分别加上一个维度为n的第二全连接层，在第二全连接层后分别加上一个联合损失函数层，从而得到第一深度学习子模型、第二深度学习子模型、第三深度学习子模型。

优选的，深度学习子模型的部署方法为：

S1-1：添加边缘单元时，边缘单元将对应的型号及IP地址发送至云单元，云单元在缓存中查询此型号是否已添加过；若此型号已添加过，则在云单元的缓存中存入此型号关联的IP地址；若此型号未添加过，则云单元使用线性回归法生成回归模型，分析该边缘单元的运行时间；

S1-2：云单元遍历缓存中边缘单元的IP地址与部署状态，如果部署状态为已部署，则跳过此边缘单元，继续遍历，直至查询到部署状态为未部署的边缘单元；将此边缘单元的状态更新为正在部署，并使用回归模型计算边缘单元中的总运行时间；如果总运行时间小于或等于工业生产规定的时间，则将第一深度学习子模型部署至此边缘单元中作为第一边缘单元，进入步骤S1-3；如果总运行时间大于工业生产规定的时间，则判断不能将第一深度学习子模型部署至此边缘单元中，将此边缘单元的部署状态重置为未部署后，继续遍历缓存中边缘单元；

S1-3：重复步骤S1-2，将第二深度学习子模型部署到相对应的边缘单元中，作为第二边缘单元，进入步骤S1-4；

S1-4：重复步骤S1-3，将第三深度学习子模型部署到相对应的边缘单元中，作为第三边缘单元，部署完成。

优选的，所述步骤S2中汽车零部件的缺陷类别包括汽车零部件表面存在裂痕，凹陷，异物。

优选的，所述步骤S2包括以下步骤：

S2-1：第一边缘单元将接收到的汽车零部件图像转化为图像信息矩阵G，再进行卷积计算，最终得到第一特征矩阵F_32d，再对第一特征矩阵F_32d进行计算得到第一检测结果C₁：

C₁＝{c₁,c₂,c₃,c₄} (1)

公式(1)中，c₁表示检测到零部件没有缺陷的得分；c₂表示零部件表面存在裂痕的得分；c₃是表示零部件表面存在凹陷的得分；c₄表示零部件表面存在异物的得分；

再对第一检测结果C₁进行计算得到第一检测误差T₁：

公式(2)中，T₁表示第一检测误差，c_m表示第一检测结果C₁中得分最大值，c_i表示第一检测结果C₁中的第i个得分；若第一检测误差T₁小于误差阈值，则得分最大值对应的缺陷类别为检测结果；若第一检测误差T₁大于或等于误差阈值，则进行步骤S2-2；

S2-2：将第一特征矩阵F_32d输入第二边缘单元进行卷积计算，得到第二特征矩阵F_64d，再对第二特征矩阵F_64d进行计算得到第二检测结果C₂，

C₂＝{c₁,c₂,c₃,c₄} (3)

公式(3)中，c₁表示检测到零部件没有缺陷的得分；c₂表示零部件表面存在裂痕的得分；c₃是表示零部件表面存在凹陷的得分；c₄表示零部件表面存在异物的得分；

再对第二检测结果C₁进行计算得到第二检测误差T₂：

公式(4)中，T₂表示第二检测误差，c_m表示第二检测结果C₂中得分最大值，c_i表示第二检测结果C₂中的第i个得分；若第二检测误差T₂小于误差阈值，则得分最大值对应的缺陷类别为检测结果；若第二检测误差T₂大于或等于误差阈值，则进行步骤S2-3；

S2-3：将第二特征矩阵F_64d输入第三边缘单元进行卷积计算，得到第三特征矩阵F_128d，再对第三特征矩阵F_128d进行计算得到第三检测结果C₃，

C₃＝{c₁,c₂,c₃,c₄} (5)

公式(5)中，c₁表示检测到零部件没有缺陷的得分；c₂表示零部件表面存在裂痕的得分；c₃是表示零部件表面存在凹陷的得分；c₄表示零部件表面存在异物的得分；

得分最大值对应的缺陷类别为检测结果，将检测结果回传到感知单元组。

综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：

本发明通过使用分段算法对复杂的深度学习模型进行了分段处理，使得在计算能力较弱的边缘单元也能运行深度学习模型，提高了计算速度。

通过建立了回归模型，可以预估出边缘单元完成深度学习模型检测的所需时间，使得布置的边缘单元检测时间能满足工业检测的实时要求；

使用了提前预测算法，不需要运行完整个深度学习模型，只需运行深度学习模型中的一部分，就可以提前得到检测结果，大大缩短了检测所用的时间。

附图说明：

图1为根据本发明示例性实施例的基于深度学习和边缘计算的工业互联网系统示意图。

图2为根据本发明示例性实施例的基于深度学习和边缘计算的工业互联网系统工作方法流程示意图。

图3为根据本发明示例性实施例的多个深度学习子模型构建示意图。

具体实施方式

下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，本发明提供一种基于深度学习和边缘计算的工业互联网系统，包括云单元1、边缘单元组2以及感知单元组3；云单元1与边缘单元组2进行无线/有线连接，边缘单元组2与感知单元组3进行无线/有线连接。

本实施例中，云单元1可以为云服务器，具有强大的计算能力，能进行复杂的运算；可使用分段算法对深度学习模型进行分段，然后按分段训练深度学习模型，并将训练完成的深度学习模型按分段部署至边缘单元组2。

边缘单元组2，包括多个边缘单元，边缘单元可以为网关或边缘服务器，设置在工业现场，用于执行一些简单的数据计算；其中每个边缘单元运行由云单元1部署的深度学习模型中的一段，并引入了提前预测算法，可以提前预测深度学习模型的推测结果，将推测结果反馈至感知层。

感知单元组3包括多个感知单元，感知单元包括工业现场大量的传感设备、生产设备、制造设备，用于采集工业生产中的数据并传输至边缘单元组2，以及从边缘单元组2接收控制信号以控制工业设备工作。

工作时，云单元1先采用分段算法对深度学习模型进行分段和训练,再将训练完成的深度学习模型按分段部署至边缘单元组2中；边缘单元组2负责运行云单元1部署的深度学习模型，并使用提前预测算法，对感知单元组3上传的工业数据进行分析预测，并将预测的结果返回至感知单元组3，感知单元组3再根据预测结果采取相应的行动。

运行整个深度学习模型对于网关或边缘服务器来说是很重大的考验，现有的网关或边缘服务器是无法在运行整个深度学习模型时进行快速计算的，这就会导致延时的问题。而在本实施例中，边缘单元组2中每个边缘单元只需运行相对应的分段深度学习模型，从而降低了硬件的要求，间接提高了运算的速度，从而对大量工业数据进行快速的计算，做到对工业数据的实时计算和控制，提高了工业设备的工作效率。

本发明还提供一种基于深度学习和边缘计算的工业互联网系统的工作方法，如图2所示，具体包括以下步骤：

S1：云单元采用分段算法对深度学习模型进行分段并进行训练。

本实施例中，边缘计算单元的CPU计算能力较弱，是无法在规定时间内运行整个深度学习模型，因此云单元可采用分段算法将深度学习模型分成三个子模型，即第一深度学习子模型、第二深度学习子模型、第三深度学习子模型，再将第一深度学习子模型部署到第一边缘单元，将第二深度学习子模型部署到第二边缘单元，将第三深度学习子模型部署到第三边缘单元，这样将三个不同的边缘单元整合起来就可以运行整个深度学习模型了，同时降低了每个边缘单元的计算复杂度，提高了运算效率。

步骤S1中，采用分段算法对深度学习模型进行分段，如图3所示，具体包括以下步骤：

S1-1：将深度学习模型平均分成三个部分，分别在每个部分的最后一个卷积层之后都加上一个维度为1000维的第一全连接层，从而输出特征向量Y。

本实例中，深度学习模型由很多网络层串联而成，如卷积层、全连接层等。根据网络层的数量，首先将深度学习模型分成三个部分，在每个部分的最后一个卷积层之后都加上一个维度为1000维的第一全连接层，1000维的全连接层由1000个神经元组成，每个神经元的计算输出y为：

y＝w₁X+b₁； (1)

公式(1)中，X表示深度学习模型每个部分中最后一个卷积层输出的特征矩阵，w₁表示第一全连接层神经元的权重矩阵，b₁代表第一全连接层的偏置项。每个神经元将特征矩阵中的各个值根据权重矩阵w₁进行求和，然后加上偏置项b₁，得到特征矩阵在该神经元上的输出y，再将1000个神经元的输出y构成一个长度为1000的特征向量Y：

Y＝{y₁,y₂,y₃,…,y₁₀₀₀}

S1-2：在每个部分的第一全连接层之后，再分别加上一个维度为n的第二全连接层，从而输出预测得分集合C。

n维的第二全连接层由n个神经元组成，每个神经元的计算输出c为：

c＝w₂Y+b₂ (2)

公式(2)中，Y表示上第一全连接层输出的特征向量，w₂表示第二全连接层神经元的权重矩阵，b₂代表第二全连接层的偏置项。每个神经元将特征矩阵中的各个值根据权重矩阵w₂进行求和，然后加上偏置项b₂，得到特征向量在对应神经元上的输出，将n个神经元的输出c合并成一个预测得分集合C：

C＝{c₁,c₂,c₃,…,c_n}。

S1-3：在每个部分的第二全连接层后，再分别加上一个联合损失函数层，从而分别得到三个子模型，即第一深度学习子模型、第二深度学习子模型、第三深度学习子模型。

本实施例中，联合损失函数层由交叉熵损失和正则化损失组成。交叉熵损失：根据第二全连接层输出的预测得分集合C，计算出预测正确的概率及对应的损失；正则化损失：求得深度学习模型的权重矩阵中各个权重的平方和，然后再求平方根，将平方根作为正则化损失。联合损失函数层具体公式为：

公式(3)中，Loss表示联合损失函数层的输出，

表示交叉熵损失的输出，n表示训练样本数量，m表示第二全连接层中神经元的个数，i表示第i个训练样本，j表示第二全连接层中的第j个神经元，x_i表示第i个训练样本，

表示第i个训练样本的标签，

表示第二全连接层中第j个神经元的预测结果，h(j)表示第二全连接层中第j个神经元的输出值，e^h(j)(x_i)表示当样本为x_i时底数为自然常数、指数为h(j)时的幂，

表示第二全连接层中的第

个神经元；

表示正则化损失的输出，λ表示正则化损失的系数，取值范围为[0,1]，

表示深度学习模型中的权重，

表示对深度学习模型权重

进行正则化计算，即对深度学习模型权重

中的每个元素的平方和再求平方根。

深度学习模型要使用大量工业数据训练后，才具有预测能力，因此训练的具体步骤包括：

a.在工业生产中，感知单元实时采集深度学习模型所需的训练数据(例如训练数据为224×224的汽车零部件图像)，并发送至对应的边缘单元；

b.边缘单元将接收到的训练数据进行保存，根据所处网络的网络使用率，在网络流量较小的时间段，将训练数据发送至云单元；

c.云单元将接收到的训练数据进行汇总，合并得到训练数据集；

d.在云单元中，将训练数据集输入至分段后的深度学习子模型，并将每个深度学习子模型的联合损失函数层的输出Loss进行累加，得到总损失值Loss_总；

e.根据总损失值Loss_总，使用Momentum优化算法对深度学习模型进行参数优化，得到训练好的深度学习模型；

Momentum优化算法先计算深度学习模型中参数的变化值v_t：

公式(4)中，v_t表示第t次训练时的变化值，η表示学习率，θ_t表示参数在第t次训练时的值，J(θ_t)表示响应误差与输入激励的乘积，

表示参数在第t次训练时的梯度导数，α表示动量，v_t-1表示第t-1次训练时的变化值。

再根据变化值v_t，求得参数优化后的值θ_t+1：

θ_t+1＝θ_t+v_t (5)

公式(5)中，θ_t+1表示参数在第t+1次训练时的值，θ_t表示参数在第t次训练时的值，v_t表示第t次训练时的变化值。

S2：将训练完成的深度学习子模型分别部署到相对应的边缘单元。

本实施例中，完成深度学习模型的分段、训练后，需要先建立回归模型来分析不同深度学习层在相应边缘单元的运行时间，再得到深度学习子模型在相应边缘单元的运行时间，如果运行时间小于工业生产规定时间，则判定深度学习模型中的一段可以运行在该型号的边缘节点中，然后进行部署。

S2-1：在边缘单元组中添加边缘单元时，边缘单元将型号及IP地址发送至云单元，云单元在缓存中查询此型号是否已添加过。如果此型号未添加过，则云单元使用线性回归法生成回归模型，并将边缘单元对应的型号、IP地址及回归模型写入缓存，回归模型负责根据此型号的边缘单元的计算能力，分析出运行深度学习模型中卷积层或全连接层的时间；如果此型号已添加过，则在云单元的缓存中，将边缘单元的IP地址存入此型号关联的IP地址表中。

回归模型生成步骤：

a)使用线性回归法建立卷积层的回归模型：

f₁(x)＝ω₁₁x₁+ω₁₂x₂+b₁₁ (6)

公式(6)中，x表示卷积层的属性；x₁表示卷积层属性中第一个属性值，为输入特征图的数量；x₂表示卷积层属性中第二个属性值，为卷积层尺寸与滤波器数量的乘积；f₁(x)表示卷积层计算所需的运行时间；ω₁₁表示第一个属性值对应的权重；ω₁₂表示第二个属性值对应的权重；b₁₁表示回归模型的偏移量。

公式(6)中，x₁的取值设置为3、64、128、256、512，x₂的取值设置为64、128、512、576、1024、1152、2048、2304、4608；将x₁、x₂的各个取值进行一一组合，可得到45个不同属性的卷积层，云单元将这45个卷积层依次发送至IP地址对应的边缘单元上运行，完成后边缘单元将运行时间返回至云单元，云单元对运行时间进行汇总，得到时间向量y：

y＝{y₁,y₂,y₃,…,y₄₅}

其中，y₁表示第一个卷积层的运行时间，y₂表示第二个卷积层的运行时间，以此类推。

使用最小二乘法计算ω₁₁、ω₁₂、b₁₁的值：

其中，x_i1表示第i个卷积层的输入特征图的数量；x_i2表示第i个卷积层尺寸与滤波器数量的乘积；y_i表示第i个卷积层在边缘节点上的运行时间；

表示所有卷积层输入特征图的数量的平均值；

表示所有卷积层尺寸与滤波器数量的乘积的平均值；

表示所有卷积层在边缘节点上的运行时间的平均值。

计算得到ω₁₁、ω₁₂、b₁后，即可得到卷积层的回归模型f₁(x)。

b)使用线性回归法建立全连接层的回归模型：

f₂(x)＝ω₂₁x₁+ω₂₂x₂+b₂₂ (7)

公式(7)中，f₂(x)表示全连接层回归模型输出的时延；x₁表示全连接层属性中第一个属性值，为输入特征的大小；x₂表示全连接层属性中第二个属性值，为输出特征向量的长度；ω₂₁表示第一个属性值对应的权重，ω₂₂表示第二个属性值对应的权重；b₂₂表示回归模型的偏移量。

公式(7)中，x₁的取值设置为512、1000、1024、2048、4096、4609，x₂的取值设置为2、8、16、512、1000、1024、2048、4096。将x₁、x₂的各个取值进行一一组合，得到48个不同属性的全连接层，将这48个全连接层依次发送至IP地址对应的边缘单元上运行，完成后边缘单元将运行时间返回至云单元，云单元对运行时间进行汇总，得到时间向量p：

p＝{p₁,p₂,p₃,…,p₄₈}

其中，p₁表示第一个卷积层的运行时间，p₂表示第二个卷积层的运行时间，以此类推。

使用最小二乘法计算ω₂₁、ω₂₂、b₂₂的值：

其中，x_i1表示第i个全连接层的输入特征的大小，x_i2表示第i个全连接层输出特征向量的长度。y_i表示第i个全连接层在边缘节点上的运行时间。

表示所有全连接层输入特征的大小的平均值，

表示所有输出特征向量的长度的平均值，

表示所有全连接层在边缘节点上的运行时间的平均值。

计算得到ω₂₁、ω₂₂、b₂后，即可得到全连接层的回归模型f₂(x)。

c)将卷积层的回归模型f₁(x)与全连接层的回归模型f₂(x)联合，得到回归模型f(x)：

S2-2：云单元遍历缓存中边缘单元的IP地址与部署状态，如果部署状态为已部署，则跳过此边缘单元，继续遍历，直至查询到部署状态为未部署的边缘单元；将此边缘单元作为第一边缘单元，并将其状态更新为正在部署，记录此边缘单元的IP地址与型号，并根据型号在缓存中查询到对应的回归模型；云单元舍弃第一深度学习子模型中的联合损失函数层，将对应的卷积层、第一全连接层、第二全连接层的属性分别代入至回归模型中，得到卷积层、第一全连接层、第二全连接层在此边缘单元中的运行时间，并将这些运行时间累加，得到深度学习模型在此边缘单元中的总运行时间；如果总运行时间小于或等于工业生产规定的时间，则判断可以将第一深度学习子模型部署至此边缘单元中，即将第一深度学习子模型根据IP地址发送至此边缘单元中，并将此边缘单元的部署状态更新为已部署；如果总运行时间大于工业生产规定的时间，则判断不能将第一深度学习子模型部署至此边缘单元中，将此边缘单元的部署状态重置为未部署后，继续遍历缓存中边缘单元。

S2-3：使用步骤S2-2中相同的方法，将第二深度学习子模型部署至第二边缘单元中，并把第二边缘单元的IP地址发送至第一边缘单元中。

S2-4：使用步骤S2-2中相同的方法，将第三深度学习子模型部署至第三边缘单元中，并把第三边缘单元的IP地址发送至第二边缘单元中。

S3：边缘单元组依次接收感知单元组采集的工业数据并进行分析，从而得到工业设备的检测结果，并将检测结果回传到感知单元组；若检测结果异常，将发出报警声。

完成深度学习子模型的部署后，边缘单元组对感知单元组采集到的工业数据进行分析预测，以汽车零部件的表面缺陷检测为例，根据汽车零部件图像进行表面缺陷检测，检测是否存在裂痕、凹陷、异物等缺陷。在缺陷检测前，感知单元组先寻找到第一边缘单元的IP地址，因为第一边缘单元运行着第一深度学习子模型，是深度学习模型的入口。在得到第一边缘单元的IP地址后，感知单元组可以将图像传感器(例如摄像头)采集到的汽车零部件的图像发送至第一边缘单元，依次通过第一边缘单元、第二边缘单元、第三边缘单元进行分析，从而得到汽车零部件的缺陷检测结果，并将缺陷检测结果返回至对应的感知单元。本发明在边缘单元计算过程中，不需要运行完整个深度学习模型，只需边缘单元运行深度学习子模型检测到缺陷即可，大大缩短缺陷检测所用的时间。

本实施例中，以汽车零部件缺陷检测进行说明，具体包括：

A1.第一边缘单元使用MQTT协议向边缘单元组订阅主题为“寻找第一边缘单元”的消息。

A2.感知单元组使用MQTT协议向边缘单元组发布主题为“寻找第一边缘单元”的消息。

A3.边缘单元组使用MQTT协议将主题为“寻找第一边缘单元”的消息推送至订阅过此主题的所有第一边缘单元中。

A4.第一边缘单元接收消息后，将自己的IP地址与所处网络的带宽使用率使用MQTT协议通过边缘单元组中发送至感知单元组。

A5.感知单元组接收到第一边缘单元的IP地址与所处网络的带宽使用率后，选取其中网络带宽使用率最低的第一边缘单元，作为将要使用的第一边缘单元，将其IP地址写入缓存。

A6.感知单元组对汽车零部件进行拍摄，将拍摄到的零部件图像根据缓存中的IP地址发送至对应的第一边缘单元上，第一边缘单元先根据零部件图像在红绿蓝三种颜色通道上的灰度值，将大小为224×224的零部件图像转化为深度学习模型可以处理的图像信息矩阵G，使用第一深度学习子模型中的卷积层对大小为3×224×224的图像信息矩阵G进行卷积计算，最终得到一个大小为32×112×112的第一特征矩阵F_32d。卷积计算公式如下：

公式(9)中，f_3d表示单个卷积滤波器的卷积结果，i和j表示图像中像素点坐标，m表示颜色通道，G表示图像信息矩阵，h₁表示权重矩阵，k和l表示权重矩阵中权重的坐标。由于第一深度学习子模型的卷积层中有32个卷积滤波器，将32个卷积滤波器的卷积结果组合，得到第一特征矩阵F_32d：

F_32d＝{f_{3d_1},f_{3d_2},f_{3d_3},…,f_{3d_32}}。

第一深度学习子模型卷积运算提取出了零部件图像中变化明显的部分，因为汽车零部件图像中变化明显的部分往往是一些缺陷的边、角、曲线，所以第一特征矩阵F_32d代表着汽车零部件图像中缺陷的最基本特征。

在得到第一特征矩阵F_32d后，使用提前检测算法，对第一特征矩阵F_32d进行分析，判断是否能提前返回缺陷检测的结果：

先使用第一深度学习子模型中的第一全连接层对第一特征矩阵F_32d进行计算，第一全连接层由1000个神经元组成，每个神经元的计算输出y为：

y＝w₁F_32d+b₁ (10)

公式(10)中，F_32d表示第一特征矩阵，w₁代表第一全连接层中神经元的权重矩阵，b₁代表第一全连接层中偏置项。每个神经元将第一特征矩阵F_32d中的各个值根据权重矩阵w₁进行求和，然后加上偏置项b₁，得到第一特征矩阵中各个特征值在该神经元上的输出，将1000个神经元的输出y构成一个长度为1000的第一特征向量Y₁：

Y₁＝{y₁,y₂,y₃,…,y₁₀₀₀}。

得到第一特征向量Y₁后，使用第一深度学习子模型中的第二全连接层对第一特征向量Y₁进行计算，第二全连接层由4个神经元组成，每个神经元的计算输出c为：

c＝w₂Y₁+b₂ (11)

公式(11)中，w₂表示第二全连接层中神经元的权重矩阵，b₂代表第二全连接层中的偏置项。每个神经元将第一特征向量Y₁中的各个值根据权重矩阵w₂进行求和，然后加上偏置项b₂，得到第一特征向量Y₁中在该神经元上的输出。将其中4个神经元的分类计算结果合并，得到第一检测结果C₁：

C₁＝{c₁,c₂,c₃,c₄} (12)

公式(12)中，c₁是第一个神经元的输出，表示检测到零部件没有缺陷的得分；c₂是第二个神经元的输出，表示零部件表面存在裂痕的得分；c₃是第三个神经元的输出，表示零部件表面存在凹陷的得分；c₄是第四个神经元的输出，表示零部件表面存在异物的得分。

使用提前检测算法对第一检测结果C₁计算，得到第一检测误差T₁：

公式(13)中，T₁表示第一检测误差，c_m表示第一检测结果C₁中得分c₁到得分c₄中的最大值，c_i表示第一检测结果C₁中的第i个得分。如果第一检测误差T₁小于误差阈值，则判断能提前返回检测结果，将第一检测结果C₁中最高得分对应的类别作为检测结果，返回至感知单元组中，无需再进行第二深度学习子模型和第三深度学习子模型的计算；如果第一检测误差T₁大于或等于误差阈值，则判断不能提前返回预测结果，仍需进行第二深度学习子模型的计算，第一边缘单元从缓存中查询到第二边缘单元的IP地址，将第一特征矩阵F_32d发送至第二边缘单元中。

A7.第二边缘单元先使用第二深度学习子模型中的卷积层对大小为32×112×112的第一特征矩阵F_32d进行卷积计算，得到一个大小为64×56×56的第二特征矩阵F_64d。卷积计算公式如下：

公式(14)中，f_32d(i,j)表示单个卷积滤波器的卷积结果，i和j表示图像中像素点坐标，m表示第一特征矩阵的维度，F_32d表示第一特征矩阵，h₂表示权重矩阵，k和l表示权重矩阵中权重的坐标。

在权重矩阵h₂中汽车零部件缺陷部分的权重较大，非缺陷的无关部分的权重较小，使得第一特征矩阵F_32d中非缺陷的无关部分对卷积结果f_32d的影响趋近于零，从而过滤掉非缺陷的无关部分，将第一特征矩阵F_32d中属于缺陷的部分从噪点或干扰物中提取出来。由于第二深度学习子模型中的卷积层中有64个卷积滤波器，将64个卷积滤波器的卷积结果组合，得到第二特征矩阵F_64d：

F_64d＝{f_{32d_1},f_{32d_2},f_{32d_3},…,f_{32d_64}}。

在得到第二特征矩阵F_64d后，使用提前检测算法，对第二特征矩阵F_64d进行分析，判断是否能提前返回缺陷检测的结果：

先使用第二深度学习子模型中的第一全连接层对第二特征矩阵F_64d进行计算，第一全连接层由1000个神经元组成，每个神经元的计算输出y为：

y＝w₁F_64d+b₁ (15)

公式(15)中，F_64d表示第二特征矩阵，w₁代表第一全连接层中神经元的权重矩阵，b₁代表第一全连接层中偏置项。每个神经元将第二特征矩阵F_64d中的各个值根据权重矩阵w₁进行求和，然后加上偏置项b₁，得到第二特征矩阵中各个特征值在该神经元上的输出，将1000个神经元的输出y构成一个长度为1000的第二特征向量Y₂：

Y₂＝{y₁,y₂,y₃,…,y₁₀₀₀}。

得到第二特征向量Y₂后，使用第二深度学习子模型中的第二全连接层对第第二特征向量Y₂进行计算，第二全连接层由4个神经元组成，每个神经元的计算输出c为：

c＝w₂Y₂+b₂ (16)

公式(16)中，w₂表示第二全连接层中神经元的权重矩阵，b₂代表第二全连接层的偏置项。

每个神经元将第二特征向量Y₂中的各个值根据权重矩阵w₂进行求和，然后加上偏置项b₂，得到第二特征向量Y₂中在该神经元上的输出。将其中4个神经元的分类计算结果合并，得到第二检测结果C₂：

C₂＝{c₁,c₂,c₃,c₄}。

c₁是第一个神经元的输出，表示检测到零部件没有缺陷的得分，c₂是第二个神经元的输出，表示零部件表面存在裂痕的得分，c₃是第三个神经元的输出，表示零部件表面存在凹陷的得分，c₄是第四个神经元的输出，表示零部件表面存在异物的得分。

使用提前检测算法对第二检测结果C₂计算，得到第二检测误差T₂：

公式(17)中，T₂表示第二检测误差，c_m表示第二检测结果C₂中得分c₁到得分c₄中的最大值，c_i表示第二检测结果C₂中的第i个得分。如果第二检测误差T₂小于误差阈值，则判断能提前返回检测结果，将第二检测结果C₂中最高得分对应的类别作为检测结果，返回至感知单元组中，无需进行第三深度学习子模型的计算；如果第二检测误差T₂大于或等于误差阈值，则判断不能提前返回预测结果，仍需进行第三深度学习子模型的计算，第二边缘单元从缓存中查询到第三边缘单元的IP地址，将第二特征矩阵F_64d发送至第三边缘单元中。

A8.第三边缘单元先使用第三深度学习子模型中的卷积层对大小为64×56×56的第二特征矩阵F_64d进行卷积计算，得到一个大小为128×28×28的第三特征矩阵F_128d。卷积计算公式如下：

公式(18)中，f_64d(i,j)表示单个卷积滤波器的卷积结果，i和j表示图像中像素点坐标，m表示第二特征矩阵的维度，F_64d表示第二特征矩阵，h₃表示权重矩阵，k和l表示权重矩阵中权重的坐标。卷积运算将第二特征矩阵中的每一个值根据权重矩阵中的对应权重进行求和，就从第二特征矩阵中提取出了更深层特征。由于第三深度学习子模型中的卷积层中有128个卷积滤波器，将128个卷积滤波器的卷积结果组合，得到第三特征矩阵F_128d：

F_128d＝{f_{64d_1},f_{64d_2},f_{64d_3},…,f_{64d_128}}。

在得到第三特征矩阵F_128d后，使用第三深度学习子模型中的第一全连接层对第三特征矩阵F_128d进行计算，第一全连接层由1000个神经元组成，每个神经元的计算输出y为：

y＝w₁F_128d+b₁ (19)

公式(19)中，F_128d表示第三特征矩阵，w₁代表第一全连接层中神经元的权重矩阵，b₁代表第一全连接层的偏置项。

每个神经元将第三特征矩阵F_128d中的各个值根据权重矩阵w₁进行求和，然后加上偏置项b₁，得到第三特征矩阵中各个特征值在该神经元上的输出，将1000个神经元的输出y构成一个长度为1000的第三特征向量Y₃：

Y₃＝{y₁,y₂,y₃,…,y₁₀₀₀}。

在得到第三特征向量Y₃后，使用第三深度学习子模型中的第二全连接层对第三特征向量Y₃进行计算，第二全连接层由4个神经元组成，每个神经元的计算输出c为：

c＝w₂Y₃+b₂ (20)

公式(20)中，w₂表示第二全连接层神经元的权重矩阵，b₂代表第二全连接层的偏置项。每个神经元将第三特征向量Y₃中的各个值根据权重矩阵w₂进行求和，然后加上偏置项b₂，得到第三特征向量Y₃中在该神经元上的输出。将其中4个神经元的分类计算结果合并，得到第三检测结果C₃：

C₃＝{c₁,c₂,c₃,c₄}。

c₁是第一个神经元的输出，表示检测到零部件没有缺陷的得分，c₂是第二个神经元的输出，表示零部件表面存在裂痕的得分，c₃是第三个神经元的输出，表示零部件表面存在凹陷的得分，c₄是第四个神经元的输出，表示零部件表面存在异物的得分。

由于第三深度学习子模型已是最后一个子模型，所以无需使用提前检测算法，只需找到第三检测结果C₃中得分最大值，得分最大值对应的类别即为检测结果，将检测结果返回至感知单元组。

在现有技术中，深度学习模型的训练、预测都集中在云单元中，这就造成计算的延时。而本发明在使用云计算训练深度学习模型的同时，利用靠近工业现场的边缘单元计算来进行深度学习子模型的预测，使得感知单元组采集的工业数据可以得到快速地分析预测，满足工业生产对实时性的要求。

本发明使用分段算法对复杂的深度学习模型进行了分段处理，使得在边缘单元组计算中计算能力较弱的边缘单元也能运行深度学习模型；建立了回归模型，可以预估出边缘单元完成深度学习模型预测的所需时间，从而在时间满足工业生产要求的情况下，将云端中的深度学习模型向边缘单元部署；使用了提前预测算法，不需要运行完整个深度学习模型，只需运行深度学习模型中的一部分，就可以提前得到检测结果，大大缩短了检测所用的时间。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (8)

1.基于深度学习和边缘计算的工业互联网系统，其特征在于，包括云单元、边缘单元组以及感知单元组；所述云单元与边缘单元组进行无线/有线连接，边缘单元组与感知单元组进行无线/有线连接。

2.如权利要求1所述的基于深度学习和边缘计算的工业互联网系统，其特征在于，所述边缘单元组包括多个边缘单元，所述边缘单元为网关或边缘服务器，用于进行工业数据的实时分析。

3.如权利要求1所述的基于深度学习和边缘计算的工业互联网系统，其特征在于，所述感知单元组包括多个感知单元，所述感知单元为传感设备、生产设备、制造设备中的一种或多种，用于采集工业数据并上传到所述边缘单元组。

4.基于深度学习和边缘计算的工业互联网工作方法，其特征在于，具体包括以下步骤：

S1：云单元采用分段算法将深度学习模型分成多个深度学习子模型并进行训练，再将训练完成的深度学习子模型分别部署到相对应的边缘单元；

S2：感知单元组采集汽车零部件图像，并上传到边缘单元组，边缘单元依次进行计算分析，检测汽车零部件的缺陷类别；

S3：当第t个边缘单元计算得到缺陷类别后，将缺陷类别回传到感知单元组，同时第t个边缘单元之后的边缘单元停止工作。

5.如权利要求4所述的基于深度学习和边缘计算的工业互联网工作方法，其特征在于，所述步骤S1中多个深度学习子模型的构建方法为：

将深度学习模型平均分成三个部分，分别在每个部分的最后一个卷积层之后加上一个维度为1000维的第一全连接层，在第一全连接层分别加上一个维度为n的第二全连接层，在第二全连接层后分别加上一个联合损失函数层，从而得到第一深度学习子模型、第二深度学习子模型、第三深度学习子模型。

6.如权利要求5所述的基于深度学习和边缘计算的工业互联网工作方法，其特征在于，深度学习子模型的部署方法为：

S1-1：添加边缘单元时，边缘单元将对应的型号及IP地址发送至云单元，云单元在缓存中查询此型号是否已添加过；若此型号已添加过，则在云单元的缓存中存入此型号关联的IP地址；若此型号未添加过，则云单元使用线性回归法生成回归模型，分析该边缘单元的运行时间；

S1-2：云单元遍历缓存中边缘单元的IP地址与部署状态，如果部署状态为已部署，则跳过此边缘单元，继续遍历，直至查询到部署状态为未部署的边缘单元；将此边缘单元的状态更新为正在部署，并使用回归模型计算边缘单元中的总运行时间；如果总运行时间小于或等于工业生产规定的时间，则将第一深度学习子模型部署至此边缘单元中作为第一边缘单元，进入步骤S1-3；如果总运行时间大于工业生产规定的时间，则判断不能将第一深度学习子模型部署至此边缘单元中，将此边缘单元的部署状态重置为未部署后，继续遍历缓存中边缘单元；

S1-3：重复步骤S1-2，将第二深度学习子模型部署到相对应的边缘单元中，作为第二边缘单元，进入步骤S1-4；

S1-4：重复步骤S1-3，将第三深度学习子模型部署到相对应的边缘单元中，作为第三边缘单元，部署完成。

7.如权利要求4所述的基于深度学习和边缘计算的工业互联网工作方法，其特征在于，所述步骤S2中汽车零部件的缺陷类别包括汽车零部件表面存在裂痕，凹陷，异物。

8.如权利要求4所述的基于深度学习和边缘计算的工业互联网工作方法，其特征在于，所述步骤S2包括以下步骤：

S2-1：第一边缘单元将接收到的汽车零部件图像转化为图像信息矩阵G，再进行卷积计算，最终得到第一特征矩阵F_32d，再对第一特征矩阵F_32d进行计算得到第一检测结果C₁：

C₁＝{c₁,c₂,c₃,c₄} (1)

公式(1)中，c₁表示检测到零部件没有缺陷的得分；c₂表示零部件表面存在裂痕的得分；c₃是表示零部件表面存在凹陷的得分；c₄表示零部件表面存在异物的得分；

再对第一检测结果C₁进行计算得到第一检测误差T₁：

公式(2)中，T₁表示第一检测误差，c_m表示第一检测结果C₁中得分最大值，c_i表示第一检测结果C₁中的第i个得分；若第一检测误差T₁小于误差阈值，则得分最大值对应的缺陷类别为检测结果；若第一检测误差T₁大于或等于误差阈值，则进行步骤S2-2；

S2-2：将第一特征矩阵F_32d输入第二边缘单元进行卷积计算，得到第二特征矩阵F_64d，再对第二特征矩阵F_64d进行计算得到第二检测结果C₂，

C₂＝{c₁,c₂,c₃,c₄} (3)

公式(3)中，c₁表示检测到零部件没有缺陷的得分；c₂表示零部件表面存在裂痕的得分；c₃是表示零部件表面存在凹陷的得分；c₄表示零部件表面存在异物的得分；

再对第二检测结果C₁进行计算得到第二检测误差T₂：

公式(4)中，T₂表示第二检测误差，c_m表示第二检测结果C₂中得分最大值，c_i表示第二检测结果C₂中的第i个得分；若第二检测误差T₂小于误差阈值，则得分最大值对应的缺陷类别为检测结果；若第二检测误差T₂大于或等于误差阈值，则进行步骤S2-3；

S2-3：将第二特征矩阵F_64d输入第三边缘单元进行卷积计算，得到第三特征矩阵F_128d，再对第三特征矩阵F_128d进行计算得到第三检测结果C₃，

C₃＝{c₁,c₂,c₃,c₄} (5)

公式(5)中，c₁表示检测到零部件没有缺陷的得分；c₂表示零部件表面存在裂痕的得分；c₃是表示零部件表面存在凹陷的得分；c₄表示零部件表面存在异物的得分；

得分最大值对应的缺陷类别为检测结果，将检测结果回传到感知单元组。

Images