CN113160123B - 一种基于YOLOv5的皮革缺陷检测方法、系统及装置 - Google Patents

一种基于YOLOv5的皮革缺陷检测方法、系统及装置 Download PDF

Info

Publication number
CN113160123B
CN113160123B CN202110205526.3A CN202110205526A CN113160123B CN 113160123 B CN113160123 B CN 113160123B CN 202110205526 A CN202110205526 A CN 202110205526A CN 113160123 B CN113160123 B CN 113160123B
Authority
CN
China
Prior art keywords
leather
module
defect detection
image
yolov5
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110205526.3A
Other languages
English (en)
Other versions
CN113160123A (zh
Inventor
徐志华
陈雅清
王美林
黄韵瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110205526.3A priority Critical patent/CN113160123B/zh
Publication of CN113160123A publication Critical patent/CN113160123A/zh
Application granted granted Critical
Publication of CN113160123B publication Critical patent/CN113160123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提出一种基于YOLOv5的皮革缺陷检测方法、系统及装置，解决了当前利用传统深度学习网络进行皮革缺陷检测的方法检测模式单一，而且对深度学习网络依赖度高，难以适应实际皮革生产过程中皮革缺陷多变性及生产环境不定的问题，本发明首先构建基于YOLOv5的皮革缺陷检测网络模型，检测速度快，准确度高，然后采用基于GRPC的GPU服务器部署方式和离线边缘计算部署方式的双模式部署设计，将皮革缺陷检测网络模型进行部署，适应皮革生产过程中的缺陷多变性，满足不同皮革生产环境的需求。

Description

一种基于YOLOv5的皮革缺陷检测方法、系统及装置
技术领域
本发明涉及皮革缺陷检测的技术领域，更具体地，涉及一种基于YOLOv5的皮革缺陷检测方法、系统及装置。
背景技术
皮革被广泛应用于服饰、包箱、装饰配件等日常物品，随着皮革需求的与日俱增以及消费者对皮革制品品质要求的不断提高，皮革制厂对皮革质量的把控也越加严格，但是皮革制品容易受到原始来源环境或制造过程的影响而造成各种各样的瑕疵，如：针孔、气泡、色线、脏污等。
目前，关于皮革缺陷检测的手段多数停留在离线人工检测的层面，一方面，繁重的检测工作以及生产线上的高噪声、光线昏暗、气味浑浊等恶劣环境对检测工人的身体伤害极大；另一方面，皮革瑕疵类型复杂多样，即便对于同种瑕疵也没有具体、统一的量化分类标准，依靠人眼主观评判存在效率低、评判标准不唯一以及误检、漏检等问题，难以满足质检需求。
为解决上述问题，一些皮革制厂采用机器学习、深度学习等方法来实现皮革缺陷的自动化检测，如2021年1月1日，中国专利(CN112164053A)中公开了一种基于缺陷分类的皮革检测方法和相关装置，将获取到的待检测皮革图片输入至预置深度学习网络模型，其中，预置深度网络模型为皮革图片和缺陷标记的映射关系模型，通过预置深度网络模型得到皮革图片对应的缺陷标记，根据缺陷标记、缺陷标记和缺陷分类结果的预置对应关系，获取缺陷标记对应的缺陷分类结果，完成皮革缺陷的检测，此专利中提出的技术方案不再借助于人工检测，提高了皮革缺陷检测效率，而且对缺陷的具体分类进行了检测，检测较为精细，但此方法中，首先预置深度网络模型是已经设计好的皮革图片和缺陷标记的映射关系模型，检测模式单一，其次，检测过程中对检测网络本身的依赖度较高，因此难以适应实际生产过程中缺陷的多变性以及不同皮革生产环境的需求，此外，传统的诸如此类的深度学习网络模型大多计算量庞大，也存在缺陷检测无法高效进行的弊端。
发明内容
为解决当前利用传统深度学习网络进行皮革缺陷检测的方法检测模式单一，而且对深度学习网络依赖度高，难以适应实际皮革生产过程中皮革缺陷多变性及生产环境不定的问题，本发明提出一种基于YOLOv5的皮革缺陷检测方法、系统及装置，实现皮革缺陷的增量式学习，提高检测的效率，适应皮革生产过程中的缺陷多变性。
为了达到上述技术效果，本发明的技术方案如下：
一种基于YOLOv5的皮革缺陷检测方法，至少包括：
获取待检测的皮革样本，扫描皮革样本得到皮革图像；
将皮革图像进行预处理；
构建基于YOLOv5的皮革缺陷检测网络模型，确定皮革缺陷检测网络模型的部署方式，所述部署方式包括：基于GRPC的GPU服务器部署方式及离线边缘计算部署方式；
选定基于GRPC的GPU服务器部署方式：将预处理后的皮革图像基于GPU服务器进行图像编码压缩操作，依次通过GRPC图像传输、图像解码后，输入至基于YOLOv5的皮革缺陷检测网络模型进行皮革缺陷检测；
选定离线边缘计算部署方式：将预处理后的皮革图像进行图像缩放操作，输入至基于YOLOv5的皮革缺陷检测网络模型进行皮革缺陷检测；
输出皮革缺陷检测的结果。
在本技术方案中，考虑当前利用传统深度学习网络进行皮革缺陷检测的方法检测模式单一，而且对深度学习网络依赖度高的缺陷，YOLO是一种单阶段的目标检测网络，在检测速度较快的同时，检测准确度也较高，非常适合应用于工业检测，另外，Yolov5代码基于Pytorch框架，训练周期大大缩短，并且转为onnx格式更方便模型部署，因此，提出基于YOLOv5的皮革缺陷检测网络模型作为本技术方案中核心的模型，提高皮革瑕疵检测的效率并降低传统人工检查漏检、误检可能性，同时可实现皮革缺陷的增量式学习，适应皮革生产过程中的缺陷多变性，此外，本技术方案中采用基于GRPC的GPU服务器部署方式和离线边缘计算部署方式的双模式部署设计，将皮革缺陷检测网络模型进行部署，既可以在无网络地区实现离线检测，也可以结合当前发展迅猛的5G网络，基于GRPC的GPU服务器实现高速在线实时检测，满足不同皮革生产环境的需求。
优选地，所述皮革图像通过DALSA线阵相机扫描皮革样本得到，通过DALSA线阵相机扫描可以得到高清皮革图像。
优选地，皮革图像进行的预处理包括：将皮革图像进行尺度变化、灰度二值化、归一化及Mixup操作。
优选地，所述基于YOLOv5的皮革缺陷检测网络模型包括用于提取皮革图像特征的主干网络、特征金字塔网络及结果输出预测网络，所述主干网络包括Focus模块、i个3*3卷积模块、i个HS-Blocks模块及SPP模块，主干网络中Focus模块连接第一个3*3卷积模块，3*3卷积模块与HS-Blocks模块依次交替相连；第i-1个HS-Blocks模块、第i个3*3卷积模块、SPP模块、第i个HS-Blocks模块依次相连；任意一个HS-Blocks模块包括split模块、第一1*1卷积模块、HS-Bottleneck模块、第二1*1卷积模块及集合预测单元Concat，所述split模块分别连接第一1*1卷积模块及HS-Bottleneck模块，HS-Bottleneck模块连接第二1*1卷积模块，第一1*1卷积模块及第二1*1卷积模块均连接集合预测单元Concat，所述特征金字塔网络接收主干网络提取的不同尺度的皮革图像特征后将不同尺度的皮革图像特征融合，所述结果输出预测网络包括若干个1*1卷积模块，均与特征金字塔网络连接，用于输出皮革缺陷检测的结果。
在此，在基于YOLOv5的皮革缺陷检测网络模型的HS-Blocks模块中设有集合预测单元Concat，将目标检测问题转化为无序集合预测问题，相比传统目标检测算法的anchor或point(anchor free)匹配规则，基于集合预测方式无需设置anchor超参，且集合每个元素预测唯一目标，无需nms后处理，能节省后续处理的计算时间。
优选地，所述HS-Bottleneck模块包括第三1*1卷积模块、HS-Conv模块、FcaLayer通道注意力模块、第四1*1卷积模块及Add模块，所述第三1*1卷积模块、HS-Conv模块、FcaLayer通道注意力模块、第四1*1卷积模块及Add模块依次连接，所述第三1*1卷积模块还直接与Add模块连接。
在此，相较于传统的YOLOv5网络模型，将3*3卷积模块替换为HS-Conv模块，HS-Conv模块运用了特征复用以及多尺度特征融合的思想，并有效地增大了网络的感受野，最终的输出特征中小感受野可以聚焦于细节部分，而大感受野特征有助于对目标更高语义的学习，以提升皮革缺陷检测的精度，此外，HS-Conv模块后引入FcaLayer通道注意力模块后，通过多谱通道注意力对特征进一步建模，增强网络的表征能力，进一步提升皮革缺陷检测的精度。
优选地，所述基于YOLOv5的皮革缺陷检测网络模型构建后，还进行disout正则化操作，增强皮革缺陷检测网络模型的泛化能力。
优选地，设选定基于GRPC的GPU服务器部署方式时的基于YOLOv5的皮革缺陷检测网络模型规模为S，选定离线边缘计算部署方式时的基于YOLOv5的皮革缺陷检测网络模型规模为T，S、T满足：S＞T。
在此，由于基于GRPC的GPU服务器部署方式与离线边缘计算部署方式下的硬件水平不同，两者对皮革缺陷检测网络模型的规模应对能力不同，基于GRPC的GPU服务器能达到较高的实时性，可采用规模大的皮革缺陷检测网络模型，离线边缘计算部署方式能应对的计算量与参数量少，可采用规模小的皮革缺陷检测网络模型，以提高检测速度和效率，适应实际皮革生产过程中皮革缺陷多变性及生产环境的不定性。
本发明还提出一种基于YOLOv5的皮革缺陷检测系统，所述系统用于实现上述基于YOLOv5的皮革缺陷检测方法，所述系统包括：
皮革样本采集模块，用于获取待检测的皮革样本；
扫描模块，用于扫描皮革样本得到皮革图像；
预处理模块，将皮革图像进行预处理；
皮革缺陷检测网络模块，用于承载基于YOLOv5的皮革缺陷检测网络模型，检测皮革缺陷；
部署方式设定模块，用于设定基于YOLOv5的皮革缺陷检测网络模型的部署方式；
GPU服务器部署模块，用于实现皮革缺陷检测模型的GPU服务器部署方式的部署；
离线边缘计算部署模块，用于实现离线边缘计算部署方式的皮革缺陷检测模型的部署；
检测结果输出模块，用于输出皮革缺陷检测的结果。
优选地，所述系统还包括图像编码模块，将预处理后的皮革图像基于GPU服务器进行图像编码压缩操作；
图像解码模块，将编码后的图像进行解码操作；
图像缩放模块，将预处理后的皮革图像进行图像缩放操作。在皮革图像与处理后通过图像解码模块与图像缩放模块操作，然后传输，相比传统像素传输的方式，极大的降低了图像处理的时间，提高了后续的检测效率。
本发明还提出一种基于YOLOv5的皮革缺陷检测装置，包括：
存储器，用于存储所述的基于YOLOv5的皮革缺陷检测方法的计算程序；
处理器，用于运行存储器上存储的计算程序，实现所述的基于YOLOv5的皮革缺陷检测方法。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种基于YOLOv5的皮革缺陷检测方法、系统及装置，考虑当前利用传统深度学习网络进行皮革缺陷检测的方法检测模式单一，而且对深度学习网络依赖度高的缺陷，提出基于YOLOv5的皮革缺陷检测网络模型作为本发明核心的模型，提高皮革瑕疵检测的效率并降低传统人工检查漏检、误检可能性，同时可实现皮革缺陷的增量式学习，适应皮革生产过程中的缺陷多变性，此外，采用基于GRPC的GPU服务器部署方式和离线边缘计算部署方式的双模式部署设计，既可以在无网络地区实现离线检测，也可以结合当前发展迅猛的5G网络，基于GRPC的GPU服务器实现高速在线实时检测，满足不同皮革生产环境的需求。
附图说明
图1表示本发明实施例中提出的基于YOLOv5的皮革缺陷检测方法的流程示意图；
图2表示本发明实施例中提出的利用DALSA线阵相机扫描皮革样本得到的四种皮革图像的示意图；
图3表示本发明实施例中提出的基于YOLOv5的皮革缺陷检测网络模型一种具体结构示意图；
图4表示本发明实施例中提出的HS-Bottleneck模块的结构示意图；
图5表示本发明实施例中提出的HS-Blocks模块的结构示意图；
图6表示本发明实施例中提出的基于YOLOv5的皮革缺陷检测系统的结构示意图；
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
如图1所示的基于YOLOv5的皮革缺陷检测方法的流程示意图；参见图1，包括：
获取待检测的皮革样本，扫描皮革样本得到皮革图像；
将皮革图像进行预处理；
构建基于YOLOv5的皮革缺陷检测网络模型，确定皮革缺陷检测网络模型的部署方式，所述部署方式包括：基于GRPC的GPU服务器部署方式及离线边缘计算部署方式；
选定基于GRPC的GPU服务器部署方式：将预处理后的皮革图像基于GPU服务器进行图像编码压缩操作，依次通过GRPC图像传输、图像解码后，输入至基于YOLOv5的皮革缺陷检测网络模型进行皮革缺陷检测；
选定离线边缘计算部署方式：将预处理后的皮革图像进行图像缩放操作，输入至基于YOLOv5的皮革缺陷检测网络模型进行皮革缺陷检测；
输出皮革缺陷检测的结果。
在本实施例中，通过DALSA线阵相机扫描皮革样本得到皮革图像，共采集60K张图片，其中50K张作为训练集，10K张作为验证集，用于后续的模型训练，此时，将皮革瑕疵分为四类：气泡、脏污、条纹和小孔，以图2所示的4种瑕疵的皮革图像的示意图为例进行展示，并对数据集进行标注。
皮革图像进行的预处理包括：将皮革图像进行尺度变化、灰度二值化、归一化及Mixup操作，在本实施例中，首先对原图进行缩放裁剪至统一尺寸640，然后对裁剪后的图片进行一系列的图像增强处理：颜色、明暗、对比度随机扰动；图像随机左右翻转；mosaic图像裁剪拼接等，最后将图像数据归一化。
如图3所示，基于YOLOv5的皮革缺陷检测网络模型包括用于提取皮革图像特征的主干网络、特征金字塔网络及结果输出预测网络，参见图3，所述主干网络包括Focus模块、4个3*3卷积模块、4个HS-Blocks模块及SPP模块，主干网络中Focus模块连接第一个3*3卷积模块，3*3卷积模块与HS-Blocks模块依次交替相连，第i-1个HS-Blocks模块、第i个3*3卷积模块、SPP模块、第i个HS-Blocks模块依次相连；如图4所示，任意一个HS-Blocks模块包括split模块、第一1*1卷积模块、HS-Bottleneck模块、第二1*1卷积模块及集合预测单元Concat，所述split模块分别连接第一1*1卷积模块及HS-Bottleneck模块，HS-Bottleneck模块连接第二1*1卷积模块，第一1*1卷积模块及第二1*1卷积模块均连接集合预测单元Concat，所述特征金字塔网络接收主干网络提取的不同尺度的皮革图像特征后将不同尺度的皮革图像特征融合，所述结果输出预测网络包括若干个1*1卷积模块，均与特征金字塔网络连接，用于输出皮革缺陷检测的结果，采用基于集合预测的方式，类别与置信度采用BCEloss，位置回归采用CIOU loss，基于loss构建广义目标距离并采用匈牙利双边匹配算法来确定唯一匹配目标。
图5表示HS-Bottleneck模块的结构示意图，如图5所示，HS-Bottleneck模块包括第三1*1卷积模块、HS-Conv模块、FcaLayer通道注意力模块、第四1*1卷积模块及Add模块，第三1*1卷积模块、HS-Conv模块、FcaLayer通道注意力模块、第四1*1卷积模块及Add模块依次连接，所述第三1*1卷积模块还直接与Add模块连接。
相较于传统的YOLOv5网络模型，将3*3卷积模块替换为HS-Conv模块，HS-Conv模块运用了特征复用以及多尺度特征融合的思想，并有效地增大了网络的感受野，最终的输出特征中小感受野可以聚焦于细节部分，而大感受野特征有助于对目标更高语义的学习，以提升皮革缺陷检测的精度，此外，HS-Conv模块后引入FcaLayer通道注意力模块后，通过多谱通道注意力对特征进一步建模，增强网络的表征能力，进一步提升皮革缺陷检测的精度。
在本实施例中，所述基于YOLOv5的皮革缺陷检测网络模型构建后，还进行disout正则化操作，增强皮革缺陷检测网络模型的泛化能力。
由于基于GRPC的GPU服务器部署方式与离线边缘计算部署方式下的硬件水平不同，两者对皮革缺陷检测网络模型的规模应对能力不同，基于GRPC的GPU服务器能达到较高的实时性，可采用规模大的皮革缺陷检测网络模型，离线边缘计算部署方式能应对的计算量与参数量少，可采用规模小的皮革缺陷检测网络模型，以提高检测速度和效率，适应实际皮革生产过程中皮革缺陷多变性及生产环境的不定性。设选定基于GRPC的GPU服务器部署方式时的基于YOLOv5的皮革缺陷检测网络模型规模为S，选定离线边缘计算部署方式时的基于YOLOv5的皮革缺陷检测网络模型规模为T，S、T满足：S＞T，在本实施例中，基于GRPC的GPU服务器部署方式中选择YOLOv5l模型，检测精度较高，同时能在GPU设备上达到较高的实时性；对于离线边缘计算部署方式，选择YOLOv5s模型，计算量与参数量少，检测速度更快，同时精度有所降低，实际实施时，YOLOv5l模型与YOLOv5l模型的总体结构大体一致，只是可根据实际需求，减少组成模块的数量，以适应部署端。
在具体实施时，基于YOLOv5的皮革缺陷检测网络模型训练基于Pytorch框架，优化器采用带动量的随机梯度下降方法(SGD)，设置基础学习率为0.01，动量系数为0.9，并采用warmup和cosine decay学习率动态调整策略，总共训练200个轮次。另外，使用GPU服务器部署方式模型对离线边缘计算模型进行知识蒸馏，以减少离线边缘计算部署方式中模型的精度损失，将Pytorch框架训练得到的权重转换为onnx格式，借助onnxruntime推理框架进行计算，GPU服务器部署GRPC服务端，PC部署GRPC客户端控制DALSA线阵相机扫描皮革图像，基于图3所示的结构图，皮革图像在预处理后经过主杆网络进行特征提取，参见图3，特征金子塔网络对3个尺度的特征图进行融合，融合方式为通道拼接，最后通过结果输出预测网络中的1*1卷积模块输出检测结果。
如图6所示，本发明还提出一种基于YOLOv5的皮革缺陷检测系统，所述系统用于实现上述基于YOLOv5的皮革缺陷检测方法，参见图5，所述系统包括：
皮革样本采集模块，用于获取待检测的皮革样本；
扫描模块，用于扫描皮革样本得到皮革图像；
预处理模块，将皮革图像进行预处理；
皮革缺陷检测网络模块，用于承载基于YOLOv5的皮革缺陷检测网络模型，检测皮革缺陷；
部署方式设定模块，用于设定基于YOLOv5的皮革缺陷检测网络模型的部署方式；
GPU服务器部署模块，用于实现皮革缺陷检测模型的GPU服务器部署方式的部署；
离线边缘计算部署模块，用于实现离线边缘计算部署方式的皮革缺陷检测模型的部署；
检测结果输出模块，用于输出皮革缺陷检测的结果。
所述系统还包括图像编码模块，将预处理后的皮革图像基于GPU服务器进行图像编码压缩操作；
图像解码模块，将编码后的图像进行解码操作；
图像缩放模块，将预处理后的皮革图像进行图像缩放操作。在皮革图像与处理后通过图像解码模块与图像缩放模块操作，然后传输，相比传统像素传输的方式，极大的降低了图像处理的时间，提高了后续的检测效率。
本发明还提出一种基于YOLOv5的皮革缺陷检测装置，包括：
存储器，用于存储所述的基于YOLOv5的皮革缺陷检测方法的计算程序；
处理器，用于运行存储器上存储的计算程序，实现所述的基于YOLOv5的皮革缺陷检测方法。
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于YOLOv5的皮革缺陷检测方法，其特征在于，至少包括：
获取待检测的皮革样本，扫描皮革样本得到皮革图像；
将皮革图像进行预处理；
构建基于YOLOv5的皮革缺陷检测网络模型，确定皮革缺陷检测网络模型的部署方式，所述部署方式包括：基于GRPC的GPU服务器部署方式及离线边缘计算部署方式；
所述基于YOLOv5的皮革缺陷检测网络模型包括用于提取皮革图像特征的主干网络、特征金字塔网络及结果输出预测网络，所述主干网络包括Focus模块、i个3*3卷积模块、i个HS-Blocks模块及SPP模块，主干网络中Focus模块连接第一个3*3卷积模块，3*3卷积模块与HS-Blocks模块依次交替相连；任意一个HS-Blocks模块包括split模块、第一1*1卷积模块、HS-Bottleneck模块、第二1*1卷积模块及集合预测单元Concat，所述split模块分别连接第一1*1卷积模块及HS-Bottleneck模块，HS-Bottleneck模块连接第二1*1卷积模块，第一1*1卷积模块及第二1*1卷积模块均连接集合预测单元Concat，所述特征金字塔网络接收主干网络提取的不同尺度的皮革图像特征后将不同尺度的皮革图像特征融合，所述结果输出预测网络包括若干个1*1卷积模块，均与特征金字塔网络连接，用于输出皮革缺陷检测的结果；
选定基于GRPC的GPU服务器部署方式：将预处理后的皮革图像基于GPU服务器进行图像编码压缩操作，依次通过GRPC图像传输、图像解码后，输入至基于YOLOv5的皮革缺陷检测网络模型进行皮革缺陷检测；
选定离线边缘计算部署方式：将预处理后的皮革图像进行图像缩放操作，输入至基于YOLOv5的皮革缺陷检测网络模型进行皮革缺陷检测；
输出皮革缺陷检测的结果。
2.根据权利要求1所述的基于YOLOv5的皮革缺陷检测方法，其特征在于，所述皮革图像通过DALSA线阵相机扫描皮革样本得到。
3.根据权利要求2所述的基于YOLOv5的皮革缺陷检测方法，其特征在于，皮革图像进行的预处理包括：将皮革图像进行尺度变化、灰度二值化、归一化及Mixup操作。
4.根据权利要求3所述的基于YOLOv5的皮革缺陷检测方法，其特征在于，所述HS-Bottleneck模块包括第三1*1卷积模块、HS-Conv模块、FcaLayer通道注意力模块、第四1*1卷积模块及Add模块，所述第三1*1卷积模块、HS-Conv模块、FcaLayer通道注意力模块、第四1*1卷积模块及Add模块依次连接，所述第三1*1卷积模块还直接与Add模块连接。
5.根据权利要求3所述的基于YOLOv5的皮革缺陷检测方法，其特征在于，所述基于YOLOv5的皮革缺陷检测网络模型构建后，还进行disout正则化操作。
6.根据权利要求1所述的基于YOLOv5的皮革缺陷检测方法，其特征在于，设选定基于GRPC的GPU服务器部署方式时的基于YOLOv5的皮革缺陷检测网络模型规模为S，选定离线边缘计算部署方式时的基于YOLOv5的皮革缺陷检测网络模型规模为T，S、T满足：S＞T。
7.一种基于YOLOv5的皮革缺陷检测系统，其特征在于，所述系统用于实现权利要求1所述的基于YOLOv5的皮革缺陷检测方法，所述系统包括：
皮革样本采集模块，用于获取待检测的皮革样本；
扫描模块，用于扫描皮革样本得到皮革图像；
预处理模块，将皮革图像进行预处理；
皮革缺陷检测网络模块，用于承载基于YOLOv5的皮革缺陷检测网络模型，检测皮革缺陷；
部署方式设定模块，用于设定基于YOLOv5的皮革缺陷检测网络模型的部署方式；
GPU服务器部署模块，用于实现皮革缺陷检测模型的GPU服务器部署方式的部署；
离线边缘计算部署模块，用于实现离线边缘计算部署方式的皮革缺陷检测模型的部署；
检测结果输出模块，用于输出皮革缺陷检测的结果。
8.根据权利要求7所述的基于YOLOv5的皮革缺陷检测系统，其特征在于，所述系统还包括图像编码模块，将预处理后的皮革图像基于GPU服务器进行图像编码压缩操作；
图像解码模块，将编码后的图像进行解码操作；
图像缩放模块，将预处理后的皮革图像进行图像缩放操作。
9.一种基于YOLOv5的皮革缺陷检测装置，其特征在于，包括：
存储器，用于存储权利要求1～6任意一项所述的基于YOLOv5的皮革缺陷检测方法的计算程序；
处理器，用于运行存储器上存储的计算程序，实现权利要求1～6任意一项所述的基于YOLOv5的皮革缺陷检测方法。
CN202110205526.3A 2021-02-24 2021-02-24 一种基于YOLOv5的皮革缺陷检测方法、系统及装置 Active CN113160123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110205526.3A CN113160123B (zh) 2021-02-24 2021-02-24 一种基于YOLOv5的皮革缺陷检测方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110205526.3A CN113160123B (zh) 2021-02-24 2021-02-24 一种基于YOLOv5的皮革缺陷检测方法、系统及装置

Publications (2)

Publication Number Publication Date
CN113160123A CN113160123A (zh) 2021-07-23
CN113160123B true CN113160123B (zh) 2022-12-13

Family

ID=76883863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110205526.3A Active CN113160123B (zh) 2021-02-24 2021-02-24 一种基于YOLOv5的皮革缺陷检测方法、系统及装置

Country Status (1)

Country Link
CN (1) CN113160123B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781449A (zh) * 2021-09-14 2021-12-10 上海布眼人工智能科技有限公司 一种基于多尺度特征融合的纺织品瑕疵分类方法
CN113984567A (zh) * 2021-10-21 2022-01-28 重庆长安汽车股份有限公司 一种车用橡胶材料耐刮擦性能测试方法
TWI788175B (zh) * 2022-01-03 2022-12-21 逢甲大學 皮革瑕疵檢測系統
CN114677362B (zh) * 2022-04-08 2023-09-12 四川大学 基于改进YOLOv5的表面缺陷检测方法
CN114594103B (zh) * 2022-04-12 2023-05-16 四川大学 核工业设备表面缺陷自动检测及报告自动生成方法及系统
CN114612472B (zh) * 2022-05-11 2022-09-13 泉州装备制造研究所 一种基于SegNet改进的皮革缺陷分割网络算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012060726A1 (en) * 2010-11-04 2012-05-10 Couro Azul - Indústria E Comércio De Couros, Sa Process to detect defects in leather
CN112132828A (zh) * 2020-10-15 2020-12-25 浙江工商大学 基于深度学习的薄膜瑕疵检测方法
CN112164053A (zh) * 2020-09-30 2021-01-01 广东工业大学 一种基于缺陷分类的皮革检测方法和相关装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862067B (zh) * 2020-07-28 2021-10-26 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012060726A1 (en) * 2010-11-04 2012-05-10 Couro Azul - Indústria E Comércio De Couros, Sa Process to detect defects in leather
CN112164053A (zh) * 2020-09-30 2021-01-01 广东工业大学 一种基于缺陷分类的皮革检测方法和相关装置
CN112132828A (zh) * 2020-10-15 2020-12-25 浙江工商大学 基于深度学习的薄膜瑕疵检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Synchronisation for smart factory - towards IoT-enabled mechanisms;Meilin Wang et al.;《International Journal of Computer Integrated Manufacturing》;20171130;第31卷;第624-635页 *

Also Published As

Publication number Publication date
CN113160123A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113160123B (zh) 一种基于YOLOv5的皮革缺陷检测方法、系统及装置
CN109800631B (zh) 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN102221559B (zh) 基于机器视觉的织物疵点在线自动检测方法及其装置
CN112465790A (zh) 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN112700432B (zh) 一种基于异常合成与分解的纹理表面缺陷检测方法与系统
CN111127454A (zh) 基于深度学习生成工业缺陷样本的方法及系统
CN110660025A (zh) 一种基于gan网络的工业监控视频图像清晰化方法
CN115205209A (zh) 一种基于弱监督学习的单色布匹瑕疵检测方法
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN111161228B (zh) 一种基于迁移学习的纽扣表面缺陷检测方法
CN116994049A (zh) 全自动针织横机及其方法
CN117252815A (zh) 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质
CN111028250A (zh) 一种实时智能验布方法及系统
CN114494236A (zh) 基于过完备卷积神经网络的织物缺陷检测方法及系统
Celik et al. A Novel Industrial Application of CNN Approach: Real Time Fabric Inspection and Defect Classification on Circular Knitting Machine
Tian et al. Feature fusion–based preprocessing for steel plate surface defect recognition
CN111882545B (zh) 基于双向信息传递及特征融合的织物疵点检测方法
CN115239615A (zh) 基于ctpn的布匹缺陷检测方法
CN113034432B (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN111709429B (zh) 一种基于卷积神经网络的机织物结构参数识别方法
CN114359229A (zh) 一种基于dsc-unet模型的缺陷检测方法
CN111709620B (zh) 一种移动便携式机织物结构参数在线检测系统
HU et al. Development and Application of New Fabric Defect Detection System Based on Improved Yolov5 Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant