CN116106319A - 一种合成革瑕疵自动化检测方法及系统 - Google Patents

一种合成革瑕疵自动化检测方法及系统 Download PDF

Info

Publication number
CN116106319A
CN116106319A CN202310116293.9A CN202310116293A CN116106319A CN 116106319 A CN116106319 A CN 116106319A CN 202310116293 A CN202310116293 A CN 202310116293A CN 116106319 A CN116106319 A CN 116106319A
Authority
CN
China
Prior art keywords
synthetic leather
detection
image
subsystem
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310116293.9A
Other languages
English (en)
Inventor
马思骞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Maimu Intelligent Technology Co ltd
Original Assignee
Zhejiang Maimu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Maimu Intelligent Technology Co ltd filed Critical Zhejiang Maimu Intelligent Technology Co ltd
Priority to CN202310116293.9A priority Critical patent/CN116106319A/zh
Publication of CN116106319A publication Critical patent/CN116106319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明实施例公开了一种合成革瑕疵检测方法及系统，所述方法包括：S1.获取待检测合成革的产品识别号；S2.根据所述产品识别号输入检测配方；S3.控制采集所述待检测合成革的满足瑕疵检测需求的合成革图像；S4.将所述合成革图像输入瑕疵缺陷检测模型，对所述合成革进行瑕疵类型检测和瑕疵定位。本发明实施例在给定产品类型的情况下，通过设置“检测配方”的方式，形成自动化检测方案，针对不同类型、不同表面性质、不同颜色的合成革的瑕疵均能获得很好的检测效果。

Description

一种合成革瑕疵自动化检测方法及系统
技术领域
本发明涉及智能技术领域，尤其涉及一种合成革瑕疵自动化检测方法及系统。
背景技术
合成革是经过涂覆、压延等多重工艺形成的塑料制品，随着工艺水平的不断提升，合成革从结构外观质感、物理特性和穿着舒适性等方面都几乎能与高级天然皮革媲美。此外，其在耐化学性、质量均一性、大生产加工适应性以及防水、防霉变性等方面更超过了天然皮革。因此目前市场对合成革的需求量在不断攀升，但同时对合成革的质量的要求也在不断提升。
现有技术中，如图1所示，合成革的瑕疵检测通常采用人工肉眼检测的方式，即在特殊设计的机械装置(如验布机)上，以卷对卷方式高速驱动合成革产品运动，在合成革匹的运动过程中，肉眼检查合成革表面上的数十种缺陷，但显然此种检测方式存在着检测效率低、误检/漏检率高、标准难以统一、自动化程度差和成本高等一系列问题。
发明内容
本发明提供了一种合成革瑕疵自动化检测方法及系统，通过获取合成革的高质量图像，并进行自动化缺陷图像分析，从而提升现有合成革瑕疵检测的效率和精度。
为了解决上述技术问题，本发明实施例提供了一种合成革瑕疵自动化检测方法，所述方法包括：
一种合成革瑕疵自动化检测方法，其特征在于，所述方法包括：
S1.获取待检测合成革的产品识别号；
S2.根据所述产品识别号输入检测配方；
S3.控制采集所述待检测合成革的满足瑕疵检测需求的合成革图像；
S4.将所述合成革图像输入瑕疵缺陷检测模型，对所述合成革进行瑕疵类型检测和瑕疵定位。
优选的，所述检测配方包括合成革的检测标准参数和图像采集的光源控制参数。
进一步的，所述方法还包括：
预先通过彩色相机在标准光强光源的光照条件下获取某种合成革类型产品的表面图像；
通过对所述表面图像进行灰度直方图计算，获得标准光照条件下的图像灰度特性，反算光源控制参数，所述光源控制参数包括光强值参数和光源颜色参数；
记录所述合成革产品类型对应的光源控制参数。
优选的，所述控制采集所述待检测合成革的满足瑕疵检测需求的合成革图像具体包括：
根据合成革产品类型对应的光源控制参数，控制对所述合成革产品类型的成像光源的自动调整。
进一步的，所述方法还包括：
预先使用合成革图像数据集训练合成革瑕疵缺陷检测模型。
另一方面，为了解决本发明实施例的技术问题，本发明实施例还提供了一种合成革瑕疵自动化检测系统，所述系统包括：
检测工位、成像子系统、控制子系统、测量分析子系统、打标子系统，其中：
所述检测工位用于固定成像子系统，同时控制合成革按照预设方向运动；
测量分析子系统用于根据获得的待检测合成革的产品识别号来匹配检测配方，并根据所述检测配方对控制子系统发出控制指令，并对成像子系统采集的合成革图像进行瑕疵检测分析，获得瑕疵类型和位置；
控制子系统用于控制成像子系统和打标子系统，当接收到测量分析子系统的控制指令后，控制成像子系统按照预先设定的光源控制参数控制数字相机采集待检测合成革图像，并控制打标子系统的打标机或机械臂在瑕疵位置处打上标记；
打标子系统用用于接收测量分析子系统发出的瑕疵位置信息并控制打标机/机械臂进行打标操作。
进一步的，所述检测配方包括合成革的检测标准参数和图像采集的光源控制参数。
优选的，所述预先设定的光源控制参数包括光强值参数和光源颜色参数；
通过彩色相机在标准光强光源的光照条件下获取某种合成革类型产品的表面图像，通过对所述图像进行灰度直方图计算，获得标准光照条件下的图像灰度特性，得到光源控制参数。
进一步的，所述测量分析子系统包括一模型训练单元，用于预先使用合成革图像数据集训练合成革瑕疵缺陷检测模型。
进一步的，所述系统还包括一编码器，所述编码器用于记录合成革的运动速度，并根据所述合成革的运动速度计算成像子系统的曝光时间。
本发明实施例在获取合成革的高质量图像时，采用多光谱和高光谱成像实现不同类型合成革、不同类型瑕疵的高质量成像，并实现了自适应光照的合成革瑕疵成像方法；
在瑕疵缺陷自动化图像分析时，基于深度学习技术，采用多网络融合方式，通过预处理、瑕疵粗分类、瑕疵细分类和瑕疵定位的组合处理流程，实现了高稳定性、强泛化能力的瑕疵分类与定位方法。
本发明实施例在给定产品类型的情况下，通过设置“检测配方”的方式，形成自动化检测方案，针对不同类型、不同表面性质、不同颜色的合成革的瑕疵均能获得很好的检测效果。
同时，凭借计算机视觉和图像处理，还能够大幅提升检测效率，在检测效果超过肉眼识别效果的同时效率可以提升五倍以上，克服了现有合成革质量检测中，自动化程度不高，检测效率低下，标准化程度不强，漏检率高等问题。
附图说明
下面将结合附图说明对本发明的具体实施方式进行举例说明。
图1为现有技术中合成革人工检测操作台的示意图；
图2为本发明实施例合成革瑕疵自动化检测方法的工作流程图；
图3为本发明实施例合成革布匹自动化检测平台的示意图；
图4为本发明实施例采用彩色线性相机进行待检测合成革图像采集的示意图；
图5为本发明实施例经过网络模型训练获得缺陷检测模型并通过缺陷检测模型获得瑕疵检测结果的示意图；
图6为本发明实施例合成革瑕疵自动化检测系统含各个子系统的系统示意图；
图7为本发明实施例合成革瑕疵检测系统实施示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，而并非要限制本发明的范围。
如图2所示，基于前述亟待解决的技术问题，本发明实施例提供了一种合成革瑕疵自动化检测方法，所述方法包括：
S1.获取待检测合成革的产品识别号；
S2.根据所述产品识别号输入检测配方；
S3.控制采集所述待检测合成革的满足瑕疵检测需求的合成革图像；
S4.将所述合成革图像输入瑕疵缺陷检测模型，对所述合成革进行瑕疵类型检测和瑕疵定位。
本发明实施例先通过扫描产品识别号以确定待检测合成革类型，并自动化匹配检测“配方”，所述产品识别号对应相应的产品类型，每种产品类型对应一个产品型号。所述检测配方包括根据不同的产品型号例如光面产品或者绒面产品来确定需要检测的标准参数以及相应的图像成像采集的光源控制参数。
同时，为了解决不同类型合成革，例如不同粗糙程度的绒面革和光面革在相同光照条件下，所采集的图像亮度效果不同，使得图像中瑕疵对比度不强，导致图像分析算法对图像的解析存在困难、解析结果存在不精确的问题，本发明实施例首先对合成革进行符合瑕疵检测需求的高质量图像获取，具体包括：
对不同类型的合成革的检测配方参数进行标定：
先对不同类型的合成革进行图像光照参数的自动化识别，即通过标准光强光源及彩色相机获取标准光照条件下的合成革表面图像，通过对所述图像进行灰度直方图计算，获得标准光源标准光照条件下的图像灰度特性，反算光强值参数和光源颜色参数：
具体的，通过灰度直方图统计，计算该照度下的合成革表面图像的灰度统计特征参数，所述照度包括光源光强，由此反推较好照度条件下的光强值参数；通过RGB三通道的灰度值统计，分析合成革图像的颜色特征，反推最适合于此合成革的光源颜色参数。
在光强值参数自标定方面：保持曝光时间不变，采集图像，对图像的灰度值进行统计，得到图像的平均灰度值。
Figure BDA0004078764610000051
之后，比较此平均值与标准值(默认128)，如果超过标准值则调小光强，如果小于标准值则调大光强。此流程可以循环执行多次，当光强调整至图像平均灰度值偏差范围内时(默认±5)，将此图像平均灰度值对应的光强作为合适光强，作为本卷合成革的检测配方参数。
最后，对采集到的图像进行灰度值拉伸，将最小的灰度值设为0，最大的灰度值设为255，期间的灰度按照比例调整。
Figure BDA0004078764610000061
光源颜色参数自标定方面：使用RGB相机采集合成革表面的彩色图像，分析图像中RGB三个通道的灰度信息，通过公式1)中的光强平均值计算得到表征该通道光强的特征值。
Figure BDA0004078764610000062
Figure BDA0004078764610000063
Figure BDA0004078764610000064
之后，计算三个通道的光强特征值差异，在偏差范围内(默认50)则使用白光照明，超出偏差范围则寻找其中灰度特征值最大的通道，获取其对应的颜色。根据颜色给出对应的光源选择信号。例如，如判断最大值为红色通道，则后续控制红色光源进行照明。
最后，采集单色光照明后的图像，按照1)中的方法，进行灰度值拉伸。
在一种实施条件下，针对某些已知类型的合成革产品，已获取了相应的光源的光强值参数和光源颜色参数，针对这些参数生成检测配方，以实现对成像子系统的光源控制。
针对合成革的光源，除了可见光照片，针对某些瑕疵，例如油污、浆条、棉结，还可以结合紫外光谱成像，以获取此类瑕疵的高质量图像。这是因为类似于凹坑、针痕、皱印等由于物理方式导致的瑕疵，可见光照明，合成革可以较好地反射这些瑕疵，而发明人经过多次实验发现对于油污、浆条、棉结等，使用可见光照明，图像中瑕疵的对比度较差，紫外光照明下，图像中瑕疵的对比度很好。
当获取了某产品类型的光强值参数和光源颜色参数(即配方参数)，进行光源调整，对用于检测的成像子系统的光源控制参数，控制针对不同的产品类型进行光源的自动调整，采集获得高质量的合成革图像。
如图3所示，在合成革布匹瑕疵自动化检测平台中，其中的光源照明采用多光源阵列式设计，分为白光、红光、绿光、蓝光和紫外光，利用预先获得的光源光强值参数和光源颜色参数，控制开启/关闭并调整光源参数。
如图4所示，合成革的成像和图像采集使用彩色线阵相机阵列，能够以极高速度采集线阵图像并结合编码器数据合成为面阵图像。线阵相机在一次曝光时间内只能够采集合成革表面一行的光照信息，即其采集到的图像是一维的，尺寸是M×1(其中M为成像器件的物理分辨率)。而合成革本身是二维的，因此需要获取其表面的二维图像。
如图4所示，本发明实施例通过编码器来辅助生成二维图像。编码器是一个测速装置，内部有光电码盘，使用时与合成革接触获取合成革运动速度。当合成革向前移动时，编码器会记录合成革移动的速度，如果曝光时间恒定，则可以通过积分计算出合成革的位移和位置：
Figure BDA0004078764610000071
y＝y0+d(7)
其中，t0为曝光时间，v为编码器测量的速度，d为位移，y0为初始位置，y为当前位置，从而获得每一行图像的y方向位置信息，并将其组合成面阵图像。
需要说明的是，在此过程中，x方向的单位为像素，y方向的单位为mm(或其他实际尺度单位)。因此，需要精细化的调整曝光时间，使得一次曝光时间内合成革走过的位移d正好是一个像素。假设在一次曝光时间内，速度恒定不变(短时间内可以做出此假设)：
d＝vt0                         (8)
d'＝L/M                         (9)
其中，d'为一个像素代表的实际尺寸，L为观测范围，假设d＝d'，即可计算出来曝光时间(假设合成革运动的车速不做调整)。
t0＝L/Mv                         (10)
为了便于处理，组合后的图像的尺寸一般设定为M×M。
如图5所示，当获取了高质量的合成革图像后，将该图像输入瑕疵缺陷检测模型，对所述合成革进行瑕疵类型检测和瑕疵定位。
优选的，由于合成革的瑕疵类型具有多样的特点，常见的瑕疵有皱印、横纹、刀印、擦伤、黑点、污渍、棉结，异色丝等8种类型瑕疵，其中皱印、横纹、刀印多为大范围瑕疵，贯穿全图；擦伤、黑点、污渍、棉结，异色丝多为小范围瑕疵，因此，瑕疵的尺度并不相同，本发明下述实施例用以解决多尺度瑕疵检测中合成革的瑕疵识别与定位问题。
首先进行数据集制作：
本发明实施例所采用的数据集由包含瑕疵和正常的合成革图像组成，瑕疵类型分为大范围瑕疵和小范围瑕疵两类，共有皱印、横纹、刀印、擦伤、黑点、污渍、棉结，异色丝8种类型瑕疵。其中皱印、横纹、刀印为大范围瑕疵，贯穿全图；擦伤、黑点、污渍、棉结，异色丝为小范围瑕疵。图像分辨率为8096pixel×8096pixel，大范围瑕疵在这个维度上体现，而小范围瑕疵在10pixel×10pixel的分辨率上体现。
由于大范围瑕疵和小范围瑕疵尺度变化较大，传统的深度学习检测方法无法解决此问题，为了使模型能够较好的检测两种尺度的瑕疵，制作数据集时，先将原图裁剪成4张4048pixel×4048pixel尺寸，然后将这四张图像降采样至448pixel×448pixel尺寸添加到数据集中。同时，将上述4张4048pixel×4048pixel尺寸的图片裁剪为16张2024pixel×2024pixel大小的等尺寸图片，然后降采样至448pixel×448pixel尺寸添加到数据集中。经过上述操作后一张原始图片可以一共得到20张448pixel×448pixel尺寸的图片数据。
采用开源软件LabelImg对图片中的瑕疵进行标注，数据集格式为VOC2007，两种尺度图片中的瑕疵采用同一方式进行标注。
采用K-means++算法对数据集里的真实目标框的面积交并比进行聚类，以获得合适的先验框尺寸，使得先验框尺寸更加适应本任务中的瑕疵尺寸形态。
然后针对该数据集进行模型训练：
考虑到本发明实施例中的合成革瑕疵的特殊性，传统的数据集制作方式以及模型预测方式难以同时检测两种尺度的瑕疵，因此，本发明实施例将包含两种尺度瑕疵的图片同时送入模型进行训练，使得模型不仅能够同时学习到两种尺度下的瑕疵，还能够使得模型在两种尺度图片的训练下获得更好的鲁棒性。
考虑到本发明实施例瑕疵检测的实时性要求以及瑕疵检测的复杂性，采用YOLOv5l作为瑕疵缺陷检测模型并进行训练。
YOLOv5m的主要结构由Input输入端、Backbone骨干网络、Neck网络层和Head检测端4个部分组成：
Input输入端通过Mosaic数据增强丰富数据集，Mosaic数据增强算从同一批次的Batch-Size个样本中随机抽取4张图片并进行裁剪、缩放，合并为1张图片后输入网络，不仅丰富数据集，而且使得1张图片获得4张图片的信息，提升网络的训练速度；
Backbone骨干网络包含C3模块以及SPPF模块，经改进后的C3模块由于使用了残差结构，改善了反向传播过程中梯度爆炸和梯度消息问题；
Neck网络主要对骨干网络提取到的特征信息进行融合，共包括FPN特征金字塔和PAN路径聚合网络结构中的2部分信息；
Head检测头将Neck网络输出的不同尺度的特征图进行解析，并通过损失函数和NMS非极大值抑制进行训练，最终得到4个不同尺度的特征图输出y1、y2、y3，实现多尺度预测。
当进行模型训练时，针对预测结果，对于每张输入图像，模型输出包括目标边界框位置、置信度和目标类别的三维向量，y3、y2和y1，三种尺寸分别为56×56、28×28、14×14，将y3、y2和y1别划分为S×S个单元网格(S分别取56、28和14)，给每个网格设置3个先验框来预测3个边界框，输出维度为S×S×(3×(4+1+M))，即4个边界框的偏移量、1个缺陷目标置信度和M个缺陷类型。最后通过非极大值抑制(Non-Maximum Suppression,NMS)的方法剔除重复的边界框，从而实现陶瓷基板瑕疵检测。
训练期间的损失函数由边界框误差、基于置信度误差和类别误差三部分组成，其中边界框误差采用的是均方误差，置信度误差和类别误差采用交叉熵误差，将特征图划分成S×S个单元格，每个单元格预测3个边界框，损失函数为：
LOSS＝LOSSreg+LOSSconf+LOSScls                   (11)
Figure BDA0004078764610000101
Figure BDA0004078764610000102
Figure BDA0004078764610000103
式中:LOSS是总的损失函数，LOSSreg为定位损失函数，LOSSconf为置信度损失函数，LOSScls为分类损失函数。
Figure BDA0004078764610000104
代表预测输出中第i网格内第j预测框内有目标；S2代表每个特征层上面有S×S个单元格，B＝3,代表每个单元格内有3个预测框；bij,
Figure BDA0004078764610000105
为预测框和真实框；IoU、ρ2、c2分别表示两个框的交并比值，中心点欧氏距离和最小闭包区域的对角线距离；v为长宽比一致性；Cij为置信度；α、λnoobj为权重系数；
Figure BDA0004078764610000111
代表第i网格内第j预测框内无目标；Pij(c)表示目标属于每一类的概率值。
按照上述的数据集和模型，以及损失函数，即可训练得到本发明实施例的合成革瑕疵缺陷检测模型。
当训练得到合成革瑕疵缺陷检测模型后，针对瑕疵检测，将前述获得的合成革高质量图像输入所述合成革瑕疵缺陷检测模型，进行瑕疵类型检测和瑕疵定位。
对于一张原始的8096pixel×8096pixel的待检测图像，首先将其裁剪为4张等尺寸的4048pixel×4048pixel尺寸图像，将这四张4张等尺寸的4048pixel×4048pixel尺寸图像缩放至448pixel×448pixel尺寸，同时将这四张4张等尺寸的4048pixel×4048pixel尺寸图像裁剪为16张等尺寸的2024pixel×2024pixel尺寸图像并缩放至448pixel×448pixel尺寸，这样一共得到了20张448pixel×448pixel尺寸图像，检测时，将20张图像同时送入模型检测，由于其中4张的原始分辨率较大，视野范围更广，能较好地检测出大范围瑕疵，而剩下的16张则视野较小，能较好的检测出小范围瑕疵，在处理结果时，由于存在两种不同尺度图像区域重叠的问题，所以优先判断大视野图像中是否有瑕疵，如有，则在小视野图像中的相同区域的同种瑕疵不再重复统计结果，否则，会将小视野图像中的相同区域的瑕疵计入统计结果。
本发明实施例在获取合成革的高质量图像时，采用多光谱和高光谱成像实现不同类型合成革、不同类型瑕疵的高质量成像，并实现了自适应光照的合成革瑕疵成像方法；
在瑕疵缺陷自动化图像分析时，基于深度学习技术，采用多网络融合方式，通过预处理、瑕疵粗分类、瑕疵细分类和瑕疵定位的组合处理流程，实现了高稳定性、强泛化能力的瑕疵分类与定位方法。
本发明实施例在给定产品类型的情况下，通过设置“检测配方”的方式，形成自动化检测方案，针对不同类型、不同表面性质、不同颜色的合成革的瑕疵均能获得很好的检测效果。
同时，凭借计算机视觉和图像处理，还能够大幅提升检测效率，在检测效果超过人眼识别效果的同时效率可以提升五倍以上，克服了现有合成革质量检测中，自动化程度不高，检测效率低下，标准化程度不强，漏检率高等问题。
为了解决本发明的技术问题，如图6所示，本发明实施例还提供了一种合成革瑕疵检测系统，所述系统包括：
检测工位、成像子系统、控制子系统、测量分析子系统、打标子系统，其中：
所述检测工位用于固定成像子系统，同时控制合成革按照预设方向运动；
控制子系统用于控制成像子系统和打标子系统，当接收到测量分析子系统的指令后，控制成像子系统的光源和数字相机按照预设的光源控制参数采集图像；控制打标子系统的打标机或机械臂在缺陷位置处打上标记；
测量分析子系统用于确定待检测合成革的类型并根据类型匹配检测配方，根据所述检测配方向控制子系统发出控制指令，对合成革图像进行瑕疵检测分析，获得瑕疵类型和位置；
其中，所述检测配方包括合成革的检测标准参数和图像采集的光源控制参数。
打标子系统用于接收控制成像子系统测量分析子系统发出的打标信号并控制打标机/机械臂进行打标操作。
如图6所示，所述检测工位为特殊设计的机械结构，用于固定成像子系统，同时控制合成革按照预设方向运动，该检测工位设计可同时满足单面检测和双面检测的需求。
成像子系统用于合成革表面照明以及成像，其中照明采用多光源阵列式设计，分为白光、红光、绿光、蓝光和紫外光，利用预先获得的光源的光强度参数和光源颜色参数，控制开启/关闭并调整光源控制参数。
优选的，所述预先设定的光源控制参数包括光强值参数和光源颜色参数；
通过标准光照条件下的标准光强光源及彩色相机获取某种合成革类型产品的表面图像，通过对所述图像进行灰度直方图计算，获得标准光照条件下的图像灰度特性，得到光源控制参数。
进一步的所述测量分析子系统包括一个模型训练单元，用于预先使用合成革图像数据集训练合成革瑕疵缺陷检测模型。
进一步的，所述系统还包括一个编码器，所述编码器用于记录合成革的运动速度，并根据所述合成革的运动速度计算成像子系统的曝光时间。
如图4所示，成像采用线阵相机阵列，能够以极高速度采集线阵图像并结合编码器数据合成为面阵图像。线阵相机在一次曝光时间内只能够采集合成革表面一行的光照信息，即其采集到的图像是一维的，尺寸是M×1(其中M为成像器件的物理分辨率)。而合成革本身是二维的，因此需要获取其表面的二维图像。
本发明实施例通过编码器来辅助生成二维图像。编码器是一个测速装置，内部有光电码盘，使用时与合成革接触获取合成革运动速度。当合成革向前移动时，编码器会记录其移动的速度，如果曝光时间恒定，则可以通过积分计算出合成革的位移和位置：
Figure BDA0004078764610000131
y＝y0+d(16)
其中，t0为曝光时间，v为编码器测量的速度，d为位移，y0为初始位置，y为当前位置，从而获得每一行图像的y方向位置信息，并将其组合成面阵图像。
需要说明的是，在此过程中，x方向的单位为像素，y方向的单位为mm(或其他实际尺度单位)。因此，需要精细化的调整曝光时间，使得一次曝光时间内合成革走过的位移d正好是一个像素。假设在一次曝光时间内，速度恒定不变(短时间内可以做出此假设)：
d＝vt0             (17)
d'＝L/M             (18)
其中，d'为一个像素代表的实际尺寸，L为观测范围，假设d＝d'，即可计算出来曝光时间(假设合成革运动的车速不做调整)。
t0＝L/Mv             (19)
为了便于处理，组合后的图像的尺寸一般设定为M×M。
控制子系统用于控制成像子系统和打标子系统，其接收到测量分析子系统的指令后，做出相应的控制动作。在使用控制子系统来对成像子系统进行控制方面，控制光源和数字相机按照预设的参数采集图像；在使用控制子系统来对打标子系统进行控制方面，控制打标机或机械臂按照指令在缺陷位置处打上标记。
测量分析子系统为软件系统，其功能为记录扫码枪回传的信息并确定待检测合成革类型、自动化匹配检测“配方”(即检测和控制参数)，根据预设检测流程为控制子系统发出控制指令，对合成革图像进行分析，获得瑕疵类型和位置，与产线和工厂的数字化系统开展数据交互(或者输出报表/报警指令等)。
打标子系统，用于接收控制子系统发出的瑕疵位置信息并控制打标机/机械臂进行打标操作。
报警子系统，采安装三色灯报警和急停按钮装置，用于在发生预设情况下开展紧急处置。
在本发明实施例中，系统中的模块实施与方法步骤对应的方案实施方式相同，这里不再一一赘述。
如图7所示，在本发明的一个实施例下，检测系统的工作流程如下：
待检测合成革的检品上卷：将待检测合成革放置在检测工位上，保证合成革表面平整，笔直；
配方读取：通过扫码枪获取检品的类型与规格信息，与预存在数据库中的数据进行匹配，导出其对应的配方参数，该配方参数包括检测标准、光照与采集参数、折让方式、测门幅频率等。
检测系统启动，按照预设参数启动检测，测量分析子系统向控制子系统发出流程化指令，使得控制子系统控制检测工位运动，控制子系统同时控制成像子系统连续采集图像。
在此过程中，测量分析子系统对成像子系统返回的图像流进行处理，利用多网络配合的瑕疵分类与定位方法，进行瑕疵检测和判定。如未发现瑕疵，则该卷合成革检测结束前不停机，之后直接进行产品分级和报表生成。如发现瑕疵，则按照检测标准1(不符合产品成品规格)，判定该瑕疵是否属于必须进行人工处理的大面积瑕疵。如是，则系统报警停车，进行人工裁剪和布匹拼接，之后重复瑕疵检测步骤。如否，即不属于需要人工处理的大面积瑕疵。
如检测标准2的判定结果为是，则重复瑕疵检测步骤，如判定结果为否，则记录瑕疵的类型和位置。
测量分析子系统根据瑕疵检测步骤所获得的瑕疵类型和位置，给控制子系统发送指令，控制子系统控制打标子系统在相应位置打上标记。
以上步骤重复进行，直至完成所有卷合成革的检测。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述；
本实施方式只是对本专利的示例性说明，并不限定它的保护范围，本领域技术人员还可以对其局部进行改变，只要没有超出本专利的精神实质，都在本专利的保护范围内。

Claims (10)

1.一种合成革瑕疵自动化检测方法，其特征在于，所述方法包括：
S1.获取待检测合成革的产品识别号；
S2.根据所述产品识别号输入检测配方；
S3.控制采集所述待检测合成革的满足瑕疵检测需求的合成革图像；
S4.将所述合成革图像输入瑕疵缺陷检测模型，对所述合成革进行瑕疵类型检测和瑕疵定位。
2.如权利要求1所述的合成革瑕疵自动化检测方法，其特征在于，所述检测配方包括合成革的检测标准参数和图像采集的光源控制参数。
3.如权利要求2所述的合成革瑕疵自动化检测方法，其特征在于，所述方法还包括：
预先通过彩色相机在标准光强光源的光照条件下获取某种合成革类型产品的表面图像；
通过对所述表面图像进行灰度直方图计算，获得标准光照条件下的图像灰度特性，反算光源控制参数，所述光源控制参数包括光强值参数和光源颜色参数；
记录所述合成革产品类型对应的光源控制参数。
4.如权利要求3所述的合成革瑕疵自动化检测方法，其特征在于，所述控制采集所述待检测合成革的满足瑕疵检测需求的合成革图像具体包括：
根据合成革产品类型对应的光源控制参数，控制对所述合成革产品类型的成像光源的自动调整。
5.如权利要求1-4任意一项所述的合成革瑕疵自动化检测方法，其特征在于，所述方法还包括：
预先使用合成革图像数据集训练合成革瑕疵缺陷检测模型。
6.一种合成革瑕疵自动化检测系统，其特征在于，所述系统包括：
检测工位、成像子系统、控制子系统、测量分析子系统、打标子系统，其中：
所述检测工位用于固定成像子系统，同时控制合成革按照预设方向运动；
测量分析子系统用于根据获得的待检测合成革的产品识别号来匹配检测配方，并根据所述检测配方对控制子系统发出控制指令，并对成像子系统采集的合成革图像进行瑕疵检测分析，获得瑕疵类型和位置；
控制子系统用于控制成像子系统和打标子系统，当接收到测量分析子系统的控制指令后，控制成像子系统按照预先设定的光源控制参数控制数字相机采集待检测合成革图像，并控制打标子系统的打标机或机械臂在瑕疵位置处打上标记；
打标子系统用用于接收测量分析子系统发出的瑕疵位置信息并控制打标机/机械臂进行打标操作。
7.如权利要求6所述的合成革瑕疵自动化检测系统，其特征在于，所述检测配方包括合成革的检测标准参数和图像采集的光源控制参数。
8.如权利要求7所述的合成革瑕疵自动化检测系统，其特征在于，所述预先设定的光源控制参数包括光强值参数和光源颜色参数；
通过彩色相机在标准光强光源的光照条件下获取某种合成革类型产品的表面图像，通过对所述图像进行灰度直方图计算，获得标准光照条件下的图像灰度特性，得到光源控制参数。
9.如权利要求8所述的合成革瑕疵自动化检测系统，其特征在于，所述测量分析子系统包括一模型训练单元，用于预先使用合成革图像数据集训练合成革瑕疵缺陷检测模型。
10.如权利要求9所述的合成革瑕疵自动化检测系统，其特征在于，所述系统还包括一编码器，所述编码器用于记录合成革的运动速度，并根据所述合成革的运动速度计算成像子系统的曝光时间。
CN202310116293.9A 2023-02-14 2023-02-14 一种合成革瑕疵自动化检测方法及系统 Pending CN116106319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310116293.9A CN116106319A (zh) 2023-02-14 2023-02-14 一种合成革瑕疵自动化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310116293.9A CN116106319A (zh) 2023-02-14 2023-02-14 一种合成革瑕疵自动化检测方法及系统

Publications (1)

Publication Number Publication Date
CN116106319A true CN116106319A (zh) 2023-05-12

Family

ID=86265316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310116293.9A Pending CN116106319A (zh) 2023-02-14 2023-02-14 一种合成革瑕疵自动化检测方法及系统

Country Status (1)

Country Link
CN (1) CN116106319A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117890389A (zh) * 2024-03-14 2024-04-16 上海强华实业股份有限公司 精烧制品表面质量在线检测方法、设备及其存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117890389A (zh) * 2024-03-14 2024-04-16 上海强华实业股份有限公司 精烧制品表面质量在线检测方法、设备及其存储介质
CN117890389B (zh) * 2024-03-14 2024-05-24 上海强华实业股份有限公司 精烧制品表面质量在线检测方法、设备及其存储介质

Similar Documents

Publication Publication Date Title
CN113537106B (zh) 一种基于YOLOv5的鱼类摄食行为识别方法
CN110658202B (zh) 一种基于深度学习的工业元器件外观缺陷检测方法
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN113240626A (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
CN116465315B (zh) 一种网版质量自动化检测方法及系统
CN116416250B (zh) 一种速食罐装产品产线的成品检测系统
CN110096980A (zh) 字符检测识别系统
CN114119591A (zh) 一种显示屏画面质量检测方法
CN111739003B (zh) 一种用于外观检测的机器视觉方法
CN116106319A (zh) 一种合成革瑕疵自动化检测方法及系统
CN115147363A (zh) 一种基于深度学习算法的影像缺陷检测和分类方法及系统
CN110057820B (zh) 在线检测氯化氢合成炉氯氢配比的方法、系统及存储介质
CN111986145A (zh) 一种基于Faster-RCNN的轴承滚子瑕疵检测方法
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN113145473A (zh) 一种水果智能分拣系统及方法
CN116091506B (zh) 一种基于yolov5的机器视觉缺陷质检方法
CN117269193A (zh) 合成革表观质量智能化检测方法
CN111028209A (zh) 一种电话机丝印质量检测方法及系统
CN115861259A (zh) 一种基于模板匹配的引线框架表面缺陷检测方法及装置
CN114120318B (zh) 一种基于集成决策树的暗场图像目标点精确提取方法
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统
CN114792300A (zh) 一种基于多尺度注意力x光断针检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination