CN111431986A - 基于5g和ai云边协同的工业智能质检系统 - Google Patents

Abstract

本发明涉及工业质检技术领域，具体涉及一种基于5G和AI云边协同的工业智能质检系统，系统包括：工业相机，用于前端图像采集及完成待检产品图像采集；边缘计算设备，用于对采集图像进行初检，并对疑似不合格品上传云端；云端识别服务器，用于对疑似不合格品精检，以及对初检和精检模型的训练；本发明在综合识别性能、识别效率、成本等多个维度，采用云服务和边缘计算相结合的部署方式，通过5G网络对需要云端识别的数据进行传输，从而实现高效、高性能、低成本的工业智能质检系统。

Description

基于5G和AI云边协同的工业智能质检系统

技术领域

本发明涉及工业质检技术领域，具体涉及一种基于5G和AI云边协同的工业智能质检系统。

背景技术

工业制造作为我国国民经济的支柱产业，是我国经济增长的主导部门和经济转型的基础；作为经济社会发展的重要依托，制造业是我国城镇就业的主要渠道和国际竞争力的集中体现。

现代工业制造过程中，使用AI辅助是一种很常见的手段，尤其使用机器视觉辅助工业质检成为当下很多制造公司首选的AI应用场景，目前常规做法有两种：1)视觉摄像头通过网络回传至云端，通过云端算力对图像进行分析识别，并提供给上层使用；2)模型部署在工业现场，通过边缘计算实现对图像进行分析识别，降低网络传输成本，提升识别效率。

上述两种做法均受制于技术、成本的局限，在识别效率、网络资源、成本等多个维度中很难做到折中。例如，1)云端识别对网络带宽要求高、网络成本大，尤其使用5G网络时，流量成本随着生产进行不断递增，此外，云端识别会有传输时延，不利于生产系统效率提升；2)边缘识别考虑到成本问题，包括部署成本和运营成本，一般不太可能使用服务器作为边缘计算，而是使用专用的边缘计算芯片，这就会导致可实现的模型不会太复杂，意味着可识别的精度不高，无法完全满足工业质检的要求。

发明内容

本发明针对背景技术所提出的问题设计了一种基于5G和AI云边协同的工业智能质检系统，在综合识别性能、识别效率、成本等多个维度，采用云服务和边缘计算相结合的部署方式，通过5G网络对需要云端识别的数据进行传输，从而实现高效、高性能、低成本的工业智能质检系统。

本发明是通过以下技术方案实现的：

一种基于5G和AI云边协同的工业智能质检系统，所述系统包括：

工业相机，用于前端图像采集及完成待检产品图像采集；

边缘计算设备，用于对采集图像进行初检，并对疑似不合格品上传云端；所述边缘计算设备内部搭载AI推理模块、5G通信模块、以太网模块和逻辑控制模块，所述以太网模块的信号输出端依次与所述AI推理模块、逻辑控制模块及5G通信模块之间为电性连接；

云端识别服务器，用于对疑似不合格品精检，以及对初检和精检模型的训练；所述云端识别服务器内包括数据接入平台和模型管理平台，所述数据接入平台的信号输出端分别与AI训练平台、数据标注平台及AI推理平台的信号输入端电性连接，所述AI训练平台、数据标注平台及AI推理平台与所述模型管理平台之间均为双向电性连接。

作为上述方案的进一步改进，所述边缘计算设备中初检采用Resnet50模型，初检及训练的具体流程为：

(a)将输入图片X进行尺度变换，变换为模型输入尺度320*320：

x^Resize＝Resize(X)

(b)将尺度变换之后的图片送入Resnet50网络模型中进行推理，输出为缺陷概率值p1:

p1＝Resnet50(X^Resize)

(c)对于模型中Resnet50的网络权重训练，优化目标采用当前样本缺陷类别的二值交叉熵，如下所示：

loss＝p*log(1-p1)+(1-p)*log(p1)

其中p＝1表示缺陷样本，p＝0表示正常样本，采用梯度下降法对loss进行优化从而实现网络权重的训练。

作为上述方案的进一步改进，可根据产品初检要求来确定第一基准缺陷概率P1的取值，P1可在0.001～0.1之间的任意取一个数值，缺陷概率p1小于P1的产品则视为合格品，缺陷概率p1大于或等于P1的产品则视为疑似不合格品。

作为上述方案的进一步改进，所述云端识别服务器中精检及训练的具体流程为：

(a)对于常见的缺陷图片以及正常图片，采用Resnet101卷积进行特征提取，然后通过全连接神经网络，生成一个2048×1的样本特征，保存到云端数据库；

(b)检测时将图片经过Resnet101卷积进行特征提取，同时通过提取数据库中保存样本的特征值计算当前样本与其他样本的笛卡尔距离，公式如下：

其中，

表示测试样本第i个特征值，

表示特征保存在数据库的样本j所对应的第i个特征值。

(c)计算测试样本到所有缺陷样本的最短距离

(d)计算测试样本到所有正常样本的最短距离

(e)计算缺陷概率

(f)对于模型中Resnet101网络模型的权重训练，优化目标采用所有缺陷样本间距离与所有正常样本间距离的最大值减去任意缺陷样本和正常样本间距离的最小值之差，为了方便训练，随机选择三个样本，至少有一个正常样本和一个缺陷样本，如两个正常样本x₁,x₂和一个缺陷样本x₃，优化目标如下：

min(S(x₁,x₃),S(x₂,x₃))-S(x₁,x₂)

其中S(x_i,x_j)表示样本x_i和x_j之间的笛卡尔距离，然后采用梯度下降法对其进行训练。

作为上述方案的进一步改进，可根据产品精检要求来确定第二基准缺陷概率P2的取值，P2可在0.001～0.1之间的任意取一个数值，缺陷概率p2小于P2的产品则排除疑似，视为合格品，否则视为不合格品，待后续工序处理。

作为上述方案的进一步改进，所述边缘计算设备设置于所述工业相机与所述云端识别服务器之间，所述边缘计算设备与所述工业相机之间采用有线通信连接，所述边缘计算设备与所述云端识别服务器之间采用5G通信连接。

与现有技术相比，本发明的有益效果是：

本发明采用云服务和边缘计算的部署方式，采用初检和精检相结合的检测架构，对初检不合格的产品，通过精检对其再次检测并确认；同时，采用云服务和边缘计算的部署方式，将初检模型部署在边缘计算设备端，将精检模型部署在云端识别服务器，从而实现了检测效率以及成本上的有效折中，相比于仅采用云端部署方式，数据传输时延更短，网络成本更低，从而实现单个产品检测成本更低，相比于仅采用边缘部署方式，检测精度更高，误检率下降明显，检测效果更好。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明工业智能检测系统的组成结构框图；

图2为本发明工业智能检测系统的检测流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

下面结合附图对本发明的技术方案进一步说明。

一种基于5G和AI云边协同的工业智能质检系统，系统包括：

工业相机，用于前端图像采集及完成待检产品图像采集；

边缘计算设备，用于对采集图像进行初检，并对疑似不合格品上传云端；边缘计算设备内部搭载AI推理模块、5G通信模块、以太网模块和逻辑控制模块，以太网模块的信号输出端依次与AI推理模块、逻辑控制模块及5G通信模块之间为电性连接；

云端识别服务器，用于对疑似不合格品精检，以及对初检和精检模型的训练；云端识别服务器内包括数据接入平台和模型管理平台，数据接入平台的信号输出端分别与AI训练平台、数据标注平台及AI推理平台的信号输入端电性连接，AI训练平台、数据标注平台及AI推理平台与模型管理平台之间均为双向电性连接。

边缘计算设备设置于工业相机与云端识别服务器之间，边缘计算设备与工业相机之间采用有线通信连接，边缘计算设备与云端识别服务器之间采用5G通信连接

其中，边缘计算设备中初检采用Resnet50模型，初检及训练的具体流程为：

(a)将输入图片X进行尺度变换，变换为模型输入尺度320*320：

X^Resize＝Resize(X)

(b)将尺度变换之后的图片送入Resnet50网络模型中进行推理，输出为缺陷概率值p1:

p1＝Resnet50(X^Resize)

(c)对于模型中Resnet50的网络权重训练，优化目标采用当前样本缺陷类别的二值交叉熵，如下所示：

loss＝p*log(1-p1)+(1-p)*log(p1)

其中p＝1表示缺陷样本，p＝0表示正常样本，采用梯度下降法对loss进行优化从而实现网络权重的训练。

可根据产品初检要求来确定第一基准缺陷概率P1的取值，P1可在0.001～0.1之间的任意取一个数值，缺陷概率p1小于P1的产品则视为合格品，缺陷概率p1大于或等于P1的产品则视为疑似不合格品。

其中，云端识别服务器中精检及训练的具体流程为：

(a)对于常见的缺陷图片以及正常图片，采用Resnet101卷积进行特征提取，然后通过全连接神经网络，生成一个2048×1的样本特征，保存到云端数据库；

(b)检测时将图片经过Resnet101卷积进行特征提取，同时通过提取数据库中保存样本的特征值计算当前样本与其他样本的笛卡尔距离，公式如下：

其中，

表示测试样本第i个特征值，

表示特征保存在数据库的样本j所对应的第i个特征值。

(c)计算测试样本到所有缺陷样本的最短距离

(d)计算测试样本到所有正常样本的最短距离

(e)计算缺陷概率

(f)对于模型中Resnet101网络模型的权重训练，优化目标采用所有缺陷样本间距离与所有正常样本间距离的最大值减去任意缺陷样本和正常样本间距离的最小值之差，为了方便训练，随机选择三个样本，至少有一个正常样本和一个缺陷样本，如两个正常样本x₁,x₂和一个缺陷样本x₃，优化目标如下：

min(S(x₁,x₃),S(x₂,x₃))-S(x₁,x₂)

其中S(x_i,x_j)表示样本x_i和x_j之间的笛卡尔距离，然后采用梯度下降法对其进行训练。

可根据产品精检要求来确定第二基准缺陷概率P2的取值，P2可在0.001～0.1之间的任意取一个数值，缺陷概率p2小于P2的产品则排除疑似，视为合格品，否则视为不合格品，待后续工序处理。

本实施例的一个具体应用为：

一种基于5G和AI云边协同的工业智能质检系统，系统包括：

工业相机，用于前端图像采集及完成待检产品图像采集；

边缘计算设备，用于对采集图像进行初检，并对疑似不合格品上传云端；边缘计算设备内部搭载AI推理模块、5G通信模块、以太网模块和逻辑控制模块，以太网模块的信号输出端依次与AI推理模块、逻辑控制模块及5G通信模块之间为电性连接；

云端识别服务器，用于对疑似不合格品精检，以及对初检和精检模型的训练；其中，初检采用Resnet50模型，初检及训练的具体流程为：(a)将输入图片X进行尺度变换，变换为模型输入尺度320*320：X^Resize＝Resize(X)；(b)将尺度变换之后的图片送入Resnet50网络模型中进行推理，输出为缺陷概率值p1，p1＝Resnet50(X^Resize)；(c)对于模型中Resnet50的网络权重训练，优化目标采用当前样本缺陷类别的二值交叉熵，如下所示：loss＝p*log(1-p1)+1-p)*log(p1)，其中p＝1表示缺陷样本，p＝0表示正常样本，采用梯度下降法对loss进行优化从而实现网络权重的训练。可根据产品初检要求来确定第一基准缺陷概率P1的取值，P1可取0.05，缺陷概率p1小于P1的产品则视为合格品，缺陷概率p1大于或等于P1的产品则视为疑似不合格品。

精检及训练的具体流程为：(a)对于常见的缺陷图片以及正常图片，采用Resnet101卷积进行特征提取，然后通过全连接神经网络，生成一个2048×1的样本特征，保存到云端数据库；(b)检测时将图片经过Resnet101卷积进行特征提取，同时通过提取数据库中保存样本的特征值计算当前样本与其他样本的笛卡尔距离，公式如下：

其中，

表示测试样本第i个特征值，

表示特征保存在数据库的样本j所对应的第i个特征值。(c)计算测试样本到所有缺陷样本的最短距离，

(d)计算测试样本到所有正常样本的最短距离，

(e)计算缺陷概率

(f)对于模型中Resnet101网络模型的权重训练，优化目标采用所有缺陷样本间距离与所有正常样本间距离的最大值减去任意缺陷样本和正常样本间距离的最小值之差，为了方便训练，随机选择三个样本，至少有一个正常样本和一个缺陷样本，如两个正常样本x₁,x₂和一个缺陷样本x₃，优化目标如下：min(S(x₁,x₃),S(x₂,x₃))-S(x₁,x₂)，其中S(x_i,x_j)表示样本x_i和x_j之间的笛卡尔距离，然后采用梯度下降法对其进行训练。可根据产品精检要求来确定第二基准缺陷概率P2的取值，P2可取0.002，缺陷概率p2小于P2的产品则排除疑似，视为合格品，否则视为不合格品，待后续工序处理。可以看出，采用初检和精检相结合的检测架构，对初检不合格的产品，通过精检对其再次检测并确认，同时初检和精检采用不同的数据接入方式，对于初检，通过有线网络获取工业相机的产品图片，对于精检，通过5G网络获取初检疑似不合格的产品；使得检测精度更高，误检率下降明显，检测效果更好。

云端识别服务器内包括数据接入平台和模型管理平台，数据接入平台的信号输出端分别与AI训练平台、数据标注平台及AI推理平台的信号输入端电性连接，AI训练平台、数据标注平台及AI推理平台与模型管理平台之间均为双向电性连接。边缘计算设备设置于工业相机与云端识别服务器之间，边缘计算设备与工业相机之间采用有线通信连接，边缘计算设备与云端识别服务器之间采用5G通信连接。由上可见，本发明采用云服务和边缘计算的部署方式，将初检模型部署在边缘计算设备端，将精检模型部署在云端识别服务器，从而实现了检测效率以及成本上的有效折中，相比于仅采用云端部署方式，数据传输时延更短，网络成本更低，从而实现单个产品检测成本更低，相比于仅采用边缘部署方式，检测精度更高，检测效果更好。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于5G和AI云边协同的工业智能质检系统，其特征在于，所述系统包括：

工业相机，用于前端图像采集及完成待检产品图像采集；

边缘计算设备，用于对采集图像进行初检，并对疑似不合格品上传云端；所述边缘计算设备内部搭载AI推理模块、5G通信模块、以太网模块和逻辑控制模块，所述以太网模块的信号输出端依次与所述AI推理模块、逻辑控制模块及5G通信模块之间为电性连接；

云端识别服务器，用于对疑似不合格品精检，以及对初检和精检模型的训练；所述云端识别服务器内包括数据接入平台和模型管理平台，所述数据接入平台的信号输出端分别与AI训练平台、数据标注平台及AI推理平台的信号输入端电性连接，所述AI训练平台、数据标注平台及AI推理平台与所述模型管理平台之间均为双向电性连接。

2.根据权利要求1所述的一种基于5G和AI云边协同的工业智能质检系统，其特征在于：所述边缘计算设备中初检采用Resnet50模型，初检及训练的具体流程为：

(a)将输入图片X进行尺度变换，变换为模型输入尺度320*320：

X^Resize＝Resize(X)

(b)将尺度变换之后的图片送入Resnet50网络模型中进行推理，输出为缺陷概率值p1：

p1＝Resnet50(X^Resize)

(c)对于模型中Resnet50的网络权重训练，优化目标采用当前样本缺陷类别的二值交叉熵，如下所示：

loss＝p*log(1-p1)+(1-p)*log(p1)

其中p＝1表示缺陷样本，p＝0表示正常样本，采用梯度下降法对loss进行优化从而实现网络权重的训练。

3.根据权利要求2所述的一种基于5G和AI云边协同的工业智能质检系统，其特征在于：可根据产品初检要求来确定第一基准缺陷概率P1的取值，P1可在0.001～0.1之间的任意取一个数值，缺陷概率p1小于P1的产品则视为合格品，缺陷概率p1大于或等于P1的产品则视为疑似不合格品。

4.根据权利要求1所述的一种基于5G和AI云边协同的工业智能质检系统，其特征在于：所述云端识别服务器中精检及训练的具体流程为：

(a)对于常见的缺陷图片以及正常图片，采用Resnet101卷积进行特征提取，然后通过全连接神经网络，生成一个2048×1的样本特征，保存到云端数据库；

(b)检测时将图片经过Resnet101卷积进行特征提取，同时通过提取数据库中保存样本的特征值计算当前样本与其他样本的笛卡尔距离，公式如下：

其中，

表示测试样本第i个特征值，

表示特征保存在数据库的样本j所对应的第i个特征值。

(c)计算测试样本到所有缺陷样本的最短距离

(d)计算测试样本到所有正常样本的最短距离

(e)计算缺陷概率

(f)对于模型中Resnet101网络模型的权重训练，优化目标采用所有缺陷样本间距离与所有正常样本间距离的最大值减去任意缺陷样本和正常样本间距离的最小值之差，为了方便训练，随机选择三个样本，至少有一个正常样本和一个缺陷样本，如两个正常样本x₁，x₂和一个缺陷样本x₃，优化目标如下：

min(S(x₁，x₃)，S(x₂，x₃))-S(x₁，x₂)

其中S(x_i，x_j)表示样本x_i和x_j之间的笛卡尔距离，然后采用梯度下降法对其进行训练。

5.根据权利要求4所述的一种基于5G和AI云边协同的工业智能质检系统，其特征在于：可根据产品精检要求来确定第二基准缺陷概率P2的取值，P2可在0.001～0.1之间的任意取一个数值，缺陷概率p2小于P2的产品则排除疑似，视为合格品，否则视为不合格品，待后续工序处理。

6.根据权利要求1所述的一种基于5G和AI云边协同的工业智能质检系统，其特征在于：所述边缘计算设备设置于所述工业相机与所述云端识别服务器之间，所述边缘计算设备与所述工业相机之间采用有线通信连接，所述边缘计算设备与所述云端识别服务器之间采用5G通信连接。

Images