CN115619718A - 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法 - Google Patents

基于嵌入式边缘平台的钢板缺陷实时检测系统与方法 Download PDF

Info

Publication number
CN115619718A
CN115619718A CN202211170604.1A CN202211170604A CN115619718A CN 115619718 A CN115619718 A CN 115619718A CN 202211170604 A CN202211170604 A CN 202211170604A CN 115619718 A CN115619718 A CN 115619718A
Authority
CN
China
Prior art keywords
defect
steel plate
module
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211170604.1A
Other languages
English (en)
Inventor
叶柯
王晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University Qinhuangdao Branch
Original Assignee
Northeastern University Qinhuangdao Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University Qinhuangdao Branch filed Critical Northeastern University Qinhuangdao Branch
Priority to CN202211170604.1A priority Critical patent/CN115619718A/zh
Publication of CN115619718A publication Critical patent/CN115619718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于嵌入式边缘平台的钢板缺陷实时检测系统与方法，涉及钢板缺陷检测技术领域。本系统具体包括图像采集模块、嵌入式边缘计算平台、缺陷标定模块和云储存/计算平台；通过图像采集模块获取包含钢板表面实时图像，获得钢板表面缺陷图像数据集，建立改进后的PP‑YOLOE‑s网络模型，使用数据集对网络模型进行预训练，将预训练之后的改进PP‑YOLOE‑s网络模型部署到嵌入式边缘计算平台，实现钢板表面缺陷的实时检测，本发明通过选用轻量级模型并配合适当压缩，使得在边缘计算平台轻松高效地部署深度学习算法模型，实现带钢表面缺陷的实时检测。

Description

基于嵌入式边缘平台的钢板缺陷实时检测系统与方法
技术领域
本发明涉及钢板缺陷检测技术领域，尤其涉及一种基于嵌入式边缘平台的钢板缺陷实时检测系统与方法。
背景技术
表面缺陷是影响板带钢质量的重要因素，据统计，国内板带钢产品用户质量异议事件60％以上都是由表面缺陷造成的。如何提高表面检测系统的检测速度和检测精度一直是该领域的研究热点。传统的检测手段一般是：从现场检测到的钢板图像传送到服务器上，服务器利用强大图像处理能力，分析得到对应的缺陷信息，该方法依赖宽带传输图像数据，容易造成时延，而且巨大的图像数据会给服务器造成数据压力。
随着嵌入式设备算力的提升，边缘计算兴起，一些只能在服务器上实现的应用，也可以在嵌入式设备中实现，将算法模型训练好后部署到边缘设备上执行，成为钢板缺陷检测的新手段。相应地，深度学习已经成为了计算机视觉很多领域的最佳解决方案。然而深度神经网络模型的主要缺点在于庞大的计算量与参数数量，这在一定程度上限制了其在嵌入式设备上的应用。
发明内容
针对现有技术的不足，本发明一种基于嵌入式边缘平台的钢板缺陷实时检测系统与方法。
一种基于嵌入式边缘平台的钢板缺陷实时检测系统，具体包括图像采集模块、嵌入式边缘计算平台、缺陷标定模块和云储存/计算平台：
所述图像采集模块为摄像装置，在钢板传送装置横向一侧的上方和下方分别固定设置摄像装置获取钢板表面图像；
所述嵌入式边缘计算平台包括图像检测模块以及缺陷数据储存模块，其中所述图像检测模块对图像采集模块采集到的钢板表面图像进行实时检测，得到缺陷信息以及与缺陷图像，其中缺陷信息包括缺陷分类、缺陷坐标以及缺陷数量；所述缺陷数据储存模块将图像检测模块获得的缺陷信息与缺陷图像传输至缺陷标定模块并定期发送到储存/计算平台；
所述缺陷标定模块，根据缺陷数据储存模块回传的缺陷信息，对被测钢板表面的缺陷进行标记；
所述云储存/计算平台包括数据增强模块以及自训练模块；所述数据增强模块对缺陷数据储存模块定期传入的缺陷图像进行数据划分，仅保留预测置信度高于设定值的样本数据，通过数据增强生成扩充缺陷数据集；所述自训练模块对缺陷数据集进行训练，得到预训练模型，传送至图像检测模块进行缺陷检测。
所述预训练模型为对改进PP-YOLOE-s网络模型进行预训练之后的模型。
另一方面，一种基于嵌入式边缘平台的钢板缺陷实时检测方法，基于前述一种基于嵌入式边缘平台的钢板缺陷实时检测系统实现，具体包括以下步骤：
S1:：通过图像采集模块获取包含钢板表面实时图像；
收集的数据来源于钢板生产流水线监控设备拍摄的视频或照片，针对视频间隔一定帧数抽取一帧；
S2：使用图像标注工具对钢板表面缺陷类别和定位进行人工标注，得到PASCALVOC 数据格式的已标注的钢板表面缺陷图像数据集；
S3：将钢板表面缺陷数据集按一定比例分为训练集和验证集，并对训练集和验证集的图像进行图像增强；
S4：对训练集中的缺陷图片进行数据增强，扩充数据集；
S5：建立改进后的PP-YOLOE-s网络模型
选用PP-YOLOE-s网络模型作为基础模型。
所述改进后的PP-YOLOE-s网络模型结构中有三部分：Backbone、Neck、Head，其中Backbone使用3个堆叠的卷积组成的stem结构以及4个由堆叠的RepResBlock与CSP 结构结合而成的CSPRepResStage组成，将图像输入进Backbone，最后输出得到3个不同尺度的特征图C3、C4、C5；Neck沿用了PAN的结构，由5个CSPRepResStage组成，与 Backbone不同的是，Neck中移除了ESE以及RepResBlock中的残差连接，PAN模块接收 C3、C4、C5三个特征图，输出P3、P4、P5三个特征图；Head即预测头网络，Head模块有两个分支，由ESE Block与卷积层组成，这两个分支分别完成目标分类和位置回归的功能， PP-YOLOE-s模型中的Neck输出三个分支，即输出的P3、P4、P5三个特征图，则有3个预测分支，每个特征图输入Head后，分别预测3个框，即分别预测尺寸不同的目标，使用 EIoULoss代替GIouLoss作为该模型的回归损失函数，提升预测框的回归精度；
S6：使用S4中扩充后的数据集对改进后的PP-YOLOE-s网络模型进行预训练，设定训练参数，包括设置迭代次数、调整学习率、多尺度训练尺度调整，损失优化器，依据选择的损失函数，利用梯度下降反向传播方法，将得到的数据集和验证集的图像输入改进后的PP-YOLOE-s网络模型进行迭代训练，调整网络模型的权重参数训练，得到训练结果并获得模型权重文件；
S7：对模型进行压缩，将预训练的pp-yoloe-s神经网络模型导出为ONNX格式的模型，对模型进行剪枝、量化和蒸馏，从而对模型进行压缩；
S8：将预训练之后的改进PP-YOLOE-s网络模型部署到嵌入式边缘计算平台，实现钢板表面缺陷的实时检测，并通过无线网络或有线网络将缺陷数据传输至缺陷标定模块与云储存/ 计算平台。
S9：储存/计算平台接收缺陷数据储存模块定期传入的缺陷图像，并对缺陷数据进行划分，仅保留预测置信度高于设定值的样本数据，通过数据增强生成扩充缺陷数据集；自训练模块对更新后的缺陷数据集进行训练，定时重复S7，得到新的网络模型。
S10：在嵌入式边缘计算平台上部署网络模型，识别出图片采集模块采集到的钢板实时图像中的目标缺陷，获取目标缺陷的分类、定位及数量信息，将上述缺陷信息发送至缺陷标定模块，缺陷标定模块对被测钢板表面的缺陷进行精准标记，实现钢板表面缺陷的实时检测。
采用上述技术方案所产生的有益效果在于：
本发明提供一种基于嵌入式边缘平台的钢板缺陷实时检测系统与方法，通过选用轻量级模型并配合适当压缩，使得在边缘计算平台轻松高效地部署深度学习算法模型，实现带钢表面缺陷的实时检测。
附图说明
图1为本发明实施例中钢板缺陷实时检测系统总体框图；
图2为本发明实施例中PP-YOLOE-s模型架构；
图3为本发明实施例中钢板缺陷检测效果示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
一种基于嵌入式边缘平台的钢板缺陷实时检测系统，如图1所示，具体包括图像采集模块、嵌入式边缘计算平台、缺陷标定模块和云储存/计算平台：
所述图像采集模块为摄像装置，在钢板传送装置横向一侧的上方和下方分别固定设置摄像装置获取钢板表面图像；
所述嵌入式边缘计算平台包括图像检测模块以及缺陷数据储存模块，其中所述图像检测模块对图像采集模块采集到的钢板表面图像进行实时检测，得到缺陷信息以及与缺陷图像，其中缺陷信息包括缺陷分类、缺陷坐标以及缺陷数量；所述缺陷数据储存模块将图像检测模块获得的缺陷信息与缺陷图像传输至缺陷标定模块并定期发送到储存/计算平台；
所述缺陷标定模块，根据缺陷数据储存模块回传的缺陷信息，对被测钢板表面的缺陷进行标记；
所述云储存/计算平台包括数据增强模块以及自训练模块；所述数据增强模块对缺陷数据储存模块定期传入的缺陷图像进行数据划分，仅保留预测置信度高于设定值的样本数据，通过数据增强生成扩充缺陷数据集；所述自训练模块对缺陷数据集进行训练，得到预训练模型，传送至图像检测模块进行缺陷检测。上述步骤可以不断优化模型的检测效果。
所述预训练模型为对改进PP-YOLOE-s网络模型进行预训练之后的模型。
另一方面，一种基于嵌入式边缘平台的钢板缺陷实时检测方法，基于前述一种基于嵌入式边缘平台的钢板缺陷实时检测系统实现，具体包括以下步骤：
S1:通过图像采集模块获取包含钢板表面实时图像；
收集的数据来源于钢板生产流水线监控设备拍摄的视频或照片，针对视频间隔一定帧数抽取一帧；采集的图片/视频分辨率应当一致，且图片清晰、光照正常。
本实施例中本实例使用NEU-DET钢板表面缺陷公开数据集，包括裂纹(Cr)、斑块(Pa)、氧化铁皮压入(Rs)、麻点(Ps)、夹杂(In)、划痕(Sc)六种缺陷，每类缺陷图片300张，共1800 张，分辨率为200×200。
S2：使用图像标注工具对钢板表面缺陷类别和定位进行人工标注，得到PASCALVOC 数据格式的已标注的钢板表面缺陷图像数据集；其中：PASCAL VOC格式是一种目标检测常用的数据格式。
S3：将钢板表面缺陷数据集按一定比例分为训练集和验证集，并对训练集和验证集的图像进行图像增强；
S4：对训练集中的缺陷图片进行数据增强，扩充数据集；
数据增强操作可以采用例如翻转、随机扩充、随机裁剪，以及近些年使用较多的MixUp, AutoAugment,Mosaic等方法。可以将不同的数据增广方法组合以提升模型泛化能力。模型泛化能力就是指模型对新样本的适应能力，检测能力。
MixUp是一种非常规的数据增强方法，一个和数据无关的简单数据增强原则，其以线性插值的方式来构建新的训练样本和标签，有助于消除对错误标签的记忆、对对抗样本的敏感性以及对抗训练的不稳定性。
本实施例中按照各类图片将训练集和测试集按照70％、30％的比例划分，然后从训练集中取10％作为验证集。对训练集进行数据增强，包括行缩放、翻转、平移、旋转、灰度填补、均值、方差标准化、混合、混叠图像和随机多尺度操作；
用labelImg软件对图像中的各类缺陷进行标注，生成xml文件，xml文件中包含labelImg 手动标注的缺陷真实框的对应坐标值信息，以及每个框对应的缺陷标签信息；
S5：建立改进后的PP-YOLOE-s网络模型，如图2所示；
对于边缘端部署的场景，设备相比于云端的GPU来说算力比较低，同时边缘端设计的内存空间比较小，对应的硬件功耗比较低，但是依然需要保持模型较高的实时性，因此就需要对目标检测模型结构作出轻量化的设计，这里选用参数量较为轻量的PP-YOLOE-s网络模型作为基础模型。
所述改进后的PP-YOLOE-s网络模型结构中有三部分：Backbone、Neck、Head，其中Backbone使用3个堆叠的卷积组成的stem结构以及4个由堆叠的RepResBlock与CSP 结构结合而成的CSPRepResStage组成，将图像输入进Backbone，最后输出得到3个不同尺度的特征图C3、C4、C5；Neck沿用了PAN的结构，由5个CSPRepResStage组成，与 Backbone不同的是，Neck中移除了ESE以及RepResBlock中的残差连接，PAN模块接收 C3、C4、C5三个特征图，输出P3、P4、P5三个特征图，其中较小的特征图用于检测大物体，较大的特征图用于检测小物体；P5目的是提供一个大感受野强语义的特征图，有利于大物体检测。Head即预测头网络，Head模块有两个分支，由ESE Block与卷积层组成，这两个分支分别完成目标分类和位置回归的功能，PP-YOLOE-s模型中的Neck输出三个分支，即输出的P3、P4、P5三个特征图，则有3个预测分支，每个特征图输入Head后，分别预测3个框，即分别预测尺寸不同的大、中、小目标，使用EIoULoss代替GIouLoss作为该模型的回归损失函数，提升预测框的回归精度；以降低神经网络模型经过压缩后的精度损失影响。最终得到改进后的PP-YOLOE目标检测神经网络模型。
为了提升预测框的回归精度，降低模型压缩后的精度损失，将PP-YOLOE-s模型的回归损失函数由GIoU替换为EIoU；EIoU损失函数包含三个部分：重叠损失，中心距离损失，宽高损失。宽高损失直接使目标盒与锚盒的宽度和高度之差最小，解决了GIoU在两个框无限重合、在内部等情况下IoU＝GIoU＝1的问题，使得收敛速度更快，同时降低过拟合。
EIoU损失函数的具体计算流程如下：
步骤S1：计算IOU Loss；
步骤S2：计算两个框之间的中心点、高度、宽度的欧氏距离；
步骤S3：计算真实框与预测框的最小外接框的宽度和高度；
步骤S4：计算最小闭包区域的对角线距离；
步骤S5：计算损失值；
EIoU损失函数公式如下：
Figure BDA0003860732640000061
其中，LEIOU表示EIOU损失函数；IOU表示边界框的交并比；b表示预测框的中心点；w表示预测框的宽度；h表示预测框的高度；LIOU代表IOU损失，Ldis表示距离(distance)损失，Lasp表示外表(aspect)损失；bgt表示真实框的中心点；wgt表示真实框的宽度；hgt表示真实框的高度，ρ(x,y)表示x与y二者之间的欧式距离；c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离；Cw和Ch是覆盖真实框与预测框的最小外接框的宽度和高度。
S6：使用S4中扩充后的数据集对改进后的PP-YOLOE-s网络模型进行预训练，设定训练参数，包括设置迭代次数、调整学习率、多尺度训练尺度调整，损失优化器，依据选择的损失函数，利用梯度下降反向传播方法，将得到的数据集和验证集的图像输入改进后的PP-YOLOE-s网络模型进行迭代训练，调整网络模型的权重参数训练，得到训练结果并获得模型权重文件；
损失优化器使用AdamW优化器。每5次迭代后使用验证集进行验证，达到设定的迭代次数后，取最优的网络参数，得到网络模型的初步权重文件。
S7：对模型进行压缩，将预训练的pp-yoloe-s神经网络模型导出为ONNX格式的模型，对模型进行剪枝、量化和蒸馏，从而对模型进行压缩；
将预训练的pp-yoloe-s神经网络模型导出为ONNX格式的模型，使用PaddleSlim进行剪枝、量化和蒸馏，从而对模型进行压缩，提高其在边缘计算平台上运行的性能。使用接口 paddleslim.auto_compression.AutoCompression对模型进行自动搜索合适的离线量化方法,自动搜索最佳的压缩策略组合方式。
S8：将预训练之后的改进PP-YOLOE-s网络模型部署到嵌入式边缘计算平台，实现钢板表面缺陷的实时检测，并通过无线网络或有线网络将缺陷数据传输至缺陷标定模块与云储存/ 计算平台。
本实施例中将压缩后的ONNX格式的模型转换为半精度浮点数类型的TensorRT引擎文件，进而可以部署在NVIDIA Jetson Nano嵌入式开发板上，并通过TensorRT进行前向推理加速。
S9：储存/计算平台接收缺陷数据储存模块定期传入的缺陷图像，并对缺陷数据进行划分，仅保留预测置信度高于设定值的样本数据，通过数据增强生成扩充缺陷数据集；自训练模块对更新后的缺陷数据集进行训练，定时重复S7，得到新的网络模型。
S10：在嵌入式边缘计算平台上部署网络模型，识别出图片采集模块采集到的钢板实时图像中的目标缺陷，获取目标缺陷的分类、定位及数量信息，将上述缺陷信息发送至缺陷标定模块，缺陷标定模块对被测钢板表面的缺陷进行精准标记，如图3所示，实现钢板表面缺陷的实时检测。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (4)

1.一种基于嵌入式边缘平台的钢板缺陷实时检测系统，其特征在于，包括图像采集模块、嵌入式边缘计算平台、缺陷标定模块和云储存/计算平台：
所述图像采集模块为摄像装置，在钢板传送装置横向一侧的上方和下方分别固定设置摄像装置获取钢板表面图像；
所述嵌入式边缘计算平台包括图像检测模块以及缺陷数据储存模块，其中所述图像检测模块对图像采集模块采集到的钢板表面图像进行实时检测，得到缺陷信息以及与缺陷图像，其中缺陷信息包括缺陷分类、缺陷坐标以及缺陷数量；所述缺陷数据储存模块将图像检测模块获得的缺陷信息与缺陷图像传输至缺陷标定模块并定期发送到储存/计算平台；
所述缺陷标定模块，根据缺陷数据储存模块回传的缺陷信息，对被测钢板表面的缺陷进行标记；
所述云储存/计算平台包括数据增强模块以及自训练模块；所述数据增强模块对缺陷数据储存模块定期传入的缺陷图像进行数据划分，仅保留预测置信度高于设定值的样本数据，通过数据增强生成扩充缺陷数据集；所述自训练模块对缺陷数据集进行训练，得到预训练模型，传送至图像检测模块进行缺陷检测。
2.根据权利要求1所述的一种基于嵌入式边缘平台的钢板缺陷实时检测系统，其特征在于，所述预训练模型为对改进PP-YOLOE-s网络模型进行预训练之后的模型。
3.一种基于嵌入式边缘平台的钢板缺陷实时检测方法，基于前述一种基于嵌入式边缘平台的钢板缺陷实时检测系统实现，其特征在于，具体包括以下步骤：
S1:通过图像采集模块获取包含钢板表面实时图像；
收集的数据来源于钢板生产流水线监控设备拍摄的视频或照片，针对视频间隔一定帧数抽取一帧；
S2：使用图像标注工具对钢板表面缺陷类别和定位进行人工标注，得到PASCAL VOC数据格式的已标注的钢板表面缺陷图像数据集；
S3：将钢板表面缺陷数据集按一定比例分为训练集和验证集，并对训练集和验证集的图像进行图像增强；
S4：对训练集中的缺陷图片进行数据增强，扩充数据集；
S5：选用PP-YOLOE-s网络模型作为基础模型，建立改进后的PP-YOLOE-s网络模型；
S6：使用S4中扩充后的数据集对改进后的PP-YOLOE-s网络模型进行预训练，设定训练参数，包括设置迭代次数、调整学习率、多尺度训练尺度调整，损失优化器，依据选择的损失函数，利用梯度下降反向传播方法，将得到的数据集和验证集的图像输入改进后的PP-YOLOE-s网络模型进行迭代训练，调整网络模型的权重参数训练，得到训练结果并获得模型权重文件；
S7：对模型进行压缩，将预训练的pp-yoloe-s神经网络模型导出为ONNX格式的模型，对模型进行剪枝、量化和蒸馏，从而对模型进行压缩；
S8：将预训练之后的改进PP-YOLOE-s网络模型部署到嵌入式边缘计算平台，实现钢板表面缺陷的实时检测，并通过无线网络或有线网络将缺陷数据传输至缺陷标定模块与云储存/计算平台；
S9：储存/计算平台接收缺陷数据储存模块定期传入的缺陷图像，并对缺陷数据进行划分，仅保留预测置信度高于设定值的样本数据，通过数据增强生成扩充缺陷数据集；自训练模块对更新后的缺陷数据集进行训练，定时重复S7，得到新的网络模型；
S10：在嵌入式边缘计算平台上部署网络模型，识别出图片采集模块采集到的钢板实时图像中的目标缺陷，获取目标缺陷的分类、定位及数量信息，将上述缺陷信息发送至缺陷标定模块，缺陷标定模块对被测钢板表面的缺陷进行精准标记，实现钢板表面缺陷的实时检测。
4.根据权利要求3所述的一种基于嵌入式边缘平台的钢板缺陷实时检测方法，其特征在于，步骤S3中所述改进后的PP-YOLOE-s网络模型结构中有三部分：Backbone、Neck、Head，其中Backbone使用3个堆叠的卷积组成的stem结构以及4个由堆叠的RepResBlock与CSP结构结合而成的CSPRepResStage组成，将图像输入进Backbone，最后输出得到3个不同尺度的特征图C3、C4、C5；Neck沿用了PAN的结构，由5个CSPRepResStage组成，与Backbone不同的是，Neck中移除了ESE以及RepResBlock中的残差连接，PAN模块接收C3、C4、C5三个特征图，输出P3、P4、P5三个特征图；Head即预测头网络，Head模块有两个分支，由ESE Block与卷积层组成，这两个分支分别完成目标分类和位置回归的功能，PP-YOLOE-s模型中的Neck输出三个分支，即输出的P3、P4、P5三个特征图，则有3个预测分支，每个特征图输入Head后，分别预测3个框，即分别预测尺寸不同的目标，使用EIoULoss代替GIouLoss作为该模型的回归损失函数，提升预测框的回归精度。
CN202211170604.1A 2022-09-23 2022-09-23 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法 Pending CN115619718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211170604.1A CN115619718A (zh) 2022-09-23 2022-09-23 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211170604.1A CN115619718A (zh) 2022-09-23 2022-09-23 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法

Publications (1)

Publication Number Publication Date
CN115619718A true CN115619718A (zh) 2023-01-17

Family

ID=84858648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211170604.1A Pending CN115619718A (zh) 2022-09-23 2022-09-23 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法

Country Status (1)

Country Link
CN (1) CN115619718A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863274A (zh) * 2023-07-17 2023-10-10 燕山大学 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN117237752A (zh) * 2023-08-09 2023-12-15 北京城建智控科技股份有限公司 一种基于改进的pp-yoloe模型的安全帽佩戴检测方法
CN117890304A (zh) * 2024-03-15 2024-04-16 内蒙古丰洲材料有限公司 钢板表面缺陷检测系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863274A (zh) * 2023-07-17 2023-10-10 燕山大学 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN117237752A (zh) * 2023-08-09 2023-12-15 北京城建智控科技股份有限公司 一种基于改进的pp-yoloe模型的安全帽佩戴检测方法
CN117890304A (zh) * 2024-03-15 2024-04-16 内蒙古丰洲材料有限公司 钢板表面缺陷检测系统

Similar Documents

Publication Publication Date Title
CN115619718A (zh) 基于嵌入式边缘平台的钢板缺陷实时检测系统与方法
CN109800631B (zh) 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法
CN111126472A (zh) 一种基于ssd改进的目标检测方法
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN116863274A (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN114359562B (zh) 一种四维点云自动语义分割标注系统及方法
CN113408423A (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN112529090B (zh) 一种基于改进YOLOv3的小目标检测方法
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN115457006B (zh) 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置
CN111079826B (zh) 融合slam和图像处理的施工进度实时识别方法
CN115631411A (zh) 基于sten网络对不同环境中的绝缘子破损检测方法
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN109829421B (zh) 车辆检测的方法、装置及计算机可读存储介质
CN115049945A (zh) 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN115880571A (zh) 一种基于语义分割的水位尺读数识别方法
CN116935332A (zh) 一种基于动态视频的渔船目标检测与跟踪方法
CN109409285B (zh) 基于重叠切片的遥感视频目标检测方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN117523573A (zh) 基于多阶段视觉检测融合故障预警的水表读数方法、系统
CN116403071B (zh) 基于特征重构的少样本混凝土缺陷检测方法及装置
CN106408600A (zh) 一种用于太阳高分辨率图像中图像配准的方法
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN115527128A (zh) 基于语义分割的航拍图像快速定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination