CN117269193A - 合成革表观质量智能化检测方法 - Google Patents

合成革表观质量智能化检测方法 Download PDF

Info

Publication number
CN117269193A
CN117269193A CN202311265170.8A CN202311265170A CN117269193A CN 117269193 A CN117269193 A CN 117269193A CN 202311265170 A CN202311265170 A CN 202311265170A CN 117269193 A CN117269193 A CN 117269193A
Authority
CN
China
Prior art keywords
synthetic leather
light source
parameters
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311265170.8A
Other languages
English (en)
Other versions
CN117269193B (zh
Inventor
朱海斌
谢忠明
周铭强
徐华伟
张军峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hexin Keleli Microfiber Leather Jiaxing Co ltd
Maimu Intelligent Technology Nanjing Co ltd
Original Assignee
Hexin Keleli Microfiber Leather Jiaxing Co ltd
Maimu Intelligent Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hexin Keleli Microfiber Leather Jiaxing Co ltd, Maimu Intelligent Technology Nanjing Co ltd filed Critical Hexin Keleli Microfiber Leather Jiaxing Co ltd
Priority to CN202311265170.8A priority Critical patent/CN117269193B/zh
Publication of CN117269193A publication Critical patent/CN117269193A/zh
Application granted granted Critical
Publication of CN117269193B publication Critical patent/CN117269193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8835Adjustable illumination, e.g. software adjustable screen
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种合成革表观质量智能化检测方法,属于质量检测领域,根据合成革的产品型号确定最优检测光源参数和最优表面缺陷智能化识别模型参数,根据最优检测光源参数调节检测光源的颜色、角度和高度,控制检测相机对焦;根据最优表面缺陷智能化识别模型参数调整表面缺陷智能化识别模型的参数,利用表面缺陷智能化识别模型对待检测的合成革的图像进行检测,得到待检测的合成革的质量检测结果。本发明可以针对不同颜色、类型的合成革设置不同的检测光参数和表面缺陷智能化识别模型的参数,实现对焦、光源调节的自动化,降低了人工操作复杂度,实现多类型合成革产品缺陷检测光路的自动化调节,进一步提高了质量检测的准确性。

Description

合成革表观质量智能化检测方法
技术领域
本发明涉及质量检测技术领域,特别涉及一种合成革表观质量智能化检测方法。
背景技术
合成革在其生产过程中,其表面不可避免地存在划痕、擦伤、破损、污渍、压痕、凹洞等多种瑕疵,因此在皮革生产加工中必须检测出可用的有效区域。在卷对卷工艺流程中,通过机器视觉检测系统实时在线对合成革产品进行瑕疵检出、瑕疵分类、瑕疵定位、获取可用区域范围,并且具备报警、标记、停机控制的功能。利用机器视觉检测代替人工检测,提高检测效率、降低误检率,进而降低成本,提高产品质量。
然而,利用视觉检测存在光路调节难的问题,不同颜色、类型的合成革产品往往需要专业人士对光路进行调试、优化,技术要求高。通过光路系统设计,实现对焦、光源调节的自动化,进一步降低人工操作复杂度,实现多类型合成革产品缺陷检测光路的自动化调节。
发明内容
本发明提供一种合成革表观质量智能化检测方法,可以针对不同颜色、类型的合成革设置不同的检测光参数,实现对焦、光源调节的自动化,降低了人工操作复杂度,实现多类型合成革产品缺陷检测光路的自动化调节,进一步提高了质量检测的准确性。
本发明实施例提供一种合成革表观质量智能化检测方法,包括以下步骤:
获取待检测的合成革的产品型号,根据所述待检测的合成革的产品型号确定最优检测光源参数和最优表面缺陷智能化识别模型参数;根据所述最优检测光源参数调节检测光源的颜色、角度和高度,并控制检测相机对焦;根据所述最优表面缺陷智能化识别模型参数调整所述预先训练好的表面缺陷智能化识别模型的参数,利用所述检测相机采集所述待检测的合成革的图像,利用所述表面缺陷智能化识别模型对所述待检测的合成革的图像进行检测,得到所述待检测的合成革的质量检测结果。
在本发明的一个实施例中,利用预先训练好的表面缺陷智能化识别模型对所述待检测的合成革进行质量检测之前,还包括:
获取存在缺陷和无缺陷的合成革图像,分别对所述存在缺陷和无缺陷的合成革图像进行裁剪和下采样,并对所述存在缺陷和无缺陷的合成革图像进行自动增强,对所述存在缺陷的合成革图像进行标注;
构建表面缺陷智能化识别模型,利用所述存在缺陷和无缺陷的合成革图像及其标签,训练所述表面缺陷智能化识别模型至所述表面缺陷智能化识别模型的损失函数满足训练终止条件,得到训练好的表面缺陷智能化识别模型,其中,所述表面缺陷智能化识别模型的输入为合成革图像,输出为网版图像的缺陷位置和缺陷类型。
在本发明的一个实施例中,所述表面缺陷智能化识别模型包括Input输入端、Backbone骨干网络、Neck特征融合层和Head检测头,其中,Input输入端采用Mosaic数据增强技术,将多张合成革图像合并为一张合成革图像;Backbone骨干网络包括改进的C3模块和SPPF模块,C3模块为残差结构,用于进行特征提取;Neck特征融合层采用FPN特征金字塔和PAN路径聚合网络结构,综合利用多个尺度的特征信息,对Backbone骨干网络提取的特征进行融合;Head检测头将Neck特征融合层输出的不同尺度的特征图进行解析,在每个尺度的特征图上划分网格单元,每个网格单元格设置多个先验框来预测多个边界框,通过非极大值抑制的方法剔除重合度大于预设值的边界框,得到合成革的缺陷位置和缺陷类型。
在本发明的一个实施例中,根据所述待检测的合成革的产品型号确定最优检测光源参数和最优表面缺陷智能化识别模型参数,包括:
将所述待检测的合成革的产品型号在预先建立的光源设置匹配关系中进行匹配,得到所述待检测的合成革的产品型号的最优检测光源参数;根据所述待检测的合成革的产品型号在预先建立的模型设置匹配关系中进行匹配,得到所述待检测的合成革的产品型号的最优表面缺陷智能化识别模型参数。
在本发明的一个实施例中,在将所述待检测的合成革的产品型号在预先建立的光源设置匹配关系中进行匹配之前,还包括:
获取不同产品型号的合成革在不同检测光源参数下图像,建立标准图像数据库;
计算所述标准图像数据库中每张图像的信噪比指标,根据所述信噪比指标的大小确定每个产品型号的合成革对应的最优检测光源参数,并建立合成革产品型号与最优检测光源参数的光源设置匹配关系。
在本发明的一个实施例中,计算所述标准图像数据库中每张图像的信噪比指标,包括:
针对任一产品型号的合成革,获取任一产品型号合成革表面的图像信息作为参考图像,将同一产品型号合成革在不同检测光源参数对应的光源下进行成像,以相同区域的八次成像图像作为一组,基于合成革纹理的周期性,将两组图像视为为同一纹理图像,并计算两组图像灰度信息的信噪比SNR:
其中,Signal为图像灰度值,M×N表示图像的像素总数,g(x,y)表示任意像素点的灰度信息,总噪声为:
其中,gk(x,y)表示第k幅图像中任意像素点(x,y)的灰度值,为第k幅图像的平均灰度值,且
信噪比SNR值越大表示在该检测光源参数对应的光源下获取的图像质量越优,将信噪比SNR最大值对应的检测光源参数作为最优检测光源参数。
在本发明的一个实施例中,在将所述待检测的合成革的产品型号在预先建立的光源设置匹配关系中进行匹配之前,还包括:获取不同产品型号的合成革的图像,建立标准图像数据库;利用不同参数的表面缺陷智能化识别模型对所述标准图像数据库中的每张图像进行检测,获取表面缺陷智能化识别模型中支持向量机的截距大小,将截距最大值对应的表面缺陷智能化识别模型参数作为最优表面缺陷智能化识别模型参数,并建立合成革产品型号与最优表面缺陷智能化识别模型参数的模型设置匹配关系。
在本发明的一个实施例中,根据所述最优检测光源参数调节检测光源的颜色、角度和高度,包括:
所述检测光源为三色光源,所述三色光源设置在旋转轴上,所述旋转轴上设置有控制旋转轴的旋转电机,旋转轴固定在导轨上,导轨上设置有移动电机,通过旋转电机控制所述三色光源的角度,以及通过移动电机控制所述三色光源高度,使得所述三色光源满足所述最优检测光源参数对应的参数。
本发明实施例的合成革表观质量智能化检测方法,根据待检测的合成革的产品型号确定最优检测光源参数,根据最优检测光源参数调节检测光源的颜色、角度和高度,控制检测相机对焦;利用检测相机采集待检测的合成革的图像,利用预先训练好的表面缺陷智能化识别模型对待检测的合成革进行质量检测,得到待检测的合成革的质量检测结果。由此,解决了视觉检测中光路调节难的问题,可以针对不同颜色、类型的合成革设置不同的检测光参数,实现对焦、光源调节的自动化,降低了人工操作复杂度,实现多类型合成革产品缺陷检测光路的自动化调节,进一步提高了质量检测的准确性。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例提供的一种合成革表观质量智能化检测方法的流程图;
图2为根据本发明实施例提供的缺陷视觉检测系统方案图;
图3为根据本发明实施例提供的缺陷视觉检测系统执行流程图;
图4为根据本发明实施例提供的缺陷视觉检测系统控制图;
图5为根据本发明实施例提供的光源系统结构图;
图6为根据本发明实施例提供的实现相机自动对焦的电动云台示意图;
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
图1为根据本发明实施例提供的一种合成革表观质量智能化检测方法的流程图。
如图1所示,该合成革表观质量智能化检测方法包括以下步骤:
在步骤S101中,获取待检测的合成革的产品型号,根据待检测的合成革的产品型号确定最优检测光源参数和最优表面缺陷智能化识别模型参数。
对于需要检测的合成革,根据产品型号确定其对应的最优检测光源参数进行打光处理。
在本发明的一个实施例中,根据待检测的合成革的产品型号确定最优检测光源参数,包括:将待检测的合成革的产品型号在预先建立的光源设置匹配关系中进行匹配,得到待检测的合成革的产品型号的最优检测光源参数;根据待检测的合成革的产品型号在预先建立的模型设置匹配关系中进行匹配,得到待检测的合成革的产品型号的最优表面缺陷智能化识别模型参数。
具体地,合成革产品型号与最优检测光源参数的光源设置匹配关系可以是事先建立的,在实际检测时,直接调用即可。
进一步地,在将待检测的合成革的产品型号在预先建立的光源设置匹配关系中进行匹配之前,还包括:获取不同产品型号的合成革在不同检测光源参数下图像,建立标准图像数据库;计算标准图像数据库中每张图像的信噪比指标,根据信噪比指标的大小确定每个产品型号的合成革对应的最优检测光源参数,并建立合成革产品型号与最优检测光源参数的光源设置匹配关系。
具体地,合适的光源结构设计有利于分离图像中的前景目标和背景目标,给后续图像分割处理和图像识别降低难度,进而提高质量检测系的准确率,保证检测系统运行的稳定性和可靠性。在视觉检测系统中,适用于所有检测系统的通用型光源设备尚不存在,因此,针对不同的应用场景往往需要设计与之对应的光源结构装置。通过一种结构可自动化调节的光源系统,可以满足不同合成革产品的测试需求。针对最优光源设置的判定方案,本发明的实施例从参考图像信噪比指标进行评估,针对图像信噪比指标计算方法,首先结合积分球等标准光源系统获取某一产品型号合成革表面的图像信息作为参考图像,然后将同一产品型号合成革在目标光源(需要自动调节的光源)进行成像,以相同区域的8次成像图像作为一组。由于合成革纹理基本为周期性,因此可认为两组图像为同一纹理图像,然后将两组图像灰度信息进行一下运算。
其中,Signal为图像灰度信息,M×N表示图像的像素总数,g(x,y)表示任意像素点的灰度信息,总噪声为:
其中,gk(x,y)表示第k幅图像中任意像素点(x,y)的灰度值,为第k张图像的平均灰度值,且:
信噪比SNR值越大表示在该检测光源参数对应的光源下获取的图像质量越优,将信噪比SNR最大值对应的检测光源参数作为最优检测光源参数。
本发明的实施例在图像处理后,还提供了一个光源均匀度指标评估图像处理的效果。光源均匀度指标主要是基于粒子群算法,设定Xi=(Xi1,Xi2,...,XiD)T是第i个粒子的位置,通过适应度函数计算Xi当下的适应度值。此时速度可表示为Vi=(Vi1,Vi2,...,ViD)T,对应个体的极值是Pi=(Pi1,Pi2,...,PiD)T,整个群体极值是Pg=(Pg1,Pg2,...,PgD)T。在迭代搜索过程中,更新的速度和位置公式如下:
d=1,2,...,D,即自变量的个数;i=1,2,...,n,n是种群的规模;ω为惯性权重;c1,c2为加速因子,其范围在(0,4)之间;rand是(0,1)之间的任意数。
粒子群算法在更新时会受到迭代次数的影响,个体粒子位置和群体最优位置的差异因为更新的代数增大而变小。致使算法多样性降低,搜索能力下降。针对算法出现的这种情况。应对惯性权重进行调整,来改变这种情况。标准的惯性权重公式为:
ωstart=0.9,ωend=0.4,t表示当前的迭代次数,max是最大迭代次数。算法在搜索过程中是非线性的,较大的ω有利于对种群进行全局寻优,而较小的ω更适合进行局部寻优,这样可以加快算法的收敛。
建立针对不同产品型号合成革(色号、纹理、粗糙度指标)的标准图像库,并结合信噪比指标记录反馈控制光源强度、谱段等参数。通过嵌入式控制方式对光源强度谱段进行控制,以实现最优信噪比和均匀度指标。
进一步地,在本发明的实施例中,根据最优表面缺陷智能化识别模型参数调整预先训练好的表面缺陷智能化识别模型的参数之前,还包括:获取不同产品型号的合成革的图像,建立标准图像数据库;利用不同参数的表面缺陷智能化识别模型对标准图像数据库中的每张图像进行检测,获取表面缺陷智能化识别模型中支持向量机的截距大小,将截距最大值对应的表面缺陷智能化识别模型参数作为最优表面缺陷智能化识别模型参数,并建立合成革产品型号与最优表面缺陷智能化识别模型参数的模型设置匹配关系。
具体地,光源的优化主要研究光源颜色、角度、高度等对于不同皮革图像质量的影响以及分析表征图像质量(如缺陷对比度)的目标函数。以棕黑白三种颜色的合成革产品为研究对象,通过实验对比不同光源颜色、角度、高度对于合成革图像质量的影响,获取一系列适用的参数组合,实际使用时,系统自动对获取的参数组合进行对比,评估最适用的光路参数。检测质量对比时需要量化指标,即构建分析表征图像质量(如缺陷对比度)的目标函数。拟将支持向量机SVM中的截距作为目标函数,输入图像在SVM中的截距越大,图像中的缺陷更加符合分类标准,曲线特征越明显。
在步骤S102中,根据最优检测光源参数调节检测光源的颜色、角度和高度,并控制检测相机对焦。
通过上述实施例确定好最优检测光源参数后,可以利用光源调节系统调节检测光源的光参数,并控制检测相机聚焦,做好检测准备。
可以理解的是,机器视觉检测是一种通过工业相机获取图像,利用专用图像处理算法对被测物进行分类和识别的技术。机器视觉检测系统一般包括工业相机、照明系统、图像采集卡、图像处理工作站、外部执行机构这几部分,系统的实际配置需根据不同的应用场景和被测物的物理属性去设计。缺陷视觉检测系统总方案及系统执行流程图如图2和图3所示.
系统流程人工参与程度低,操作复杂性低,流程化作业指导书如下:
1.来料检测时人工判断是否需要调节光路;
2.不需要调节光路则直接执行视觉检测;
3.需要调节时,人工放置参考物料到指定位置即可完成缺陷检测前的准备工作:相机自动对焦、光源颜色自动调节、光源高度自动调节;
4.是否需要人工进一步判定最优光路参数;
5.不需要则直接执行视觉检测;
6.如果需要人工参与判定最优光路参数,通过人工的方式对不同光路情况的参考物料的对比度进行判别,通过人工选出对比度最高的图像,该图像对应的光路参数为最优光路参数,然后通过电机自动调节到指定的光路参数,最后执行视觉检测。
缺陷视觉检测系统方案主要包含四大部分,核心是两部分:一是成像系统的光路设计,二是瑕疵检测的图像处理算法。
成像系统的光路设计以降低人工操作难度,简化人工参与流程为目标,通过光源的自动化调节装置设计、相机自动化对焦设计等,实现简单操作软件即可完成光路调试的目的。
光源控制系统总体设计框架如下图4所示。微处理器作为主控制中心,计算机和单片机模块进行数据通讯时,需确定数据传输的格式、校验及其解析,拟采用RS232串口进行通信。包括电压转换电路设计实现,使初始电压经过设计电路转变为所需电压值,为不同电压要求提供对应电压值;传感器检测电路设计,利用处理器的控制和计算能力实现检测,完成数据处理;数据通信模块,是进行数据交互的关键,采集到数据后按要求经过转换,根据设定好的数据格式传输给计算机,再由计算机按设计要求,对数据作出处理,判断给出指令,再将指令传达给执行机构,控制光源做出改变等功能.
在本发明的实施例中,根据最优检测光源参数调节检测光源的颜色、角度和高度,包括:检测光源为三色光源,三色光源设置在旋转轴上,旋转轴上设置有控制旋转轴的旋转电机,旋转轴固定在导轨上,导轨上设置有移动电机,通过旋转电机控制三色光源的角度,以及通过移动电机控制三色光源高度,使得三色光源满足最优检测光源参数对应的参数。
光源系统的具体结构图5所示,三色光源围绕旋转轴以120°均匀分布,旋转轴可以由电机精确控制转角。光源及旋转电机放置在导轨上,可有电机控制上下移动。此光源可以控制颜色,角度,以及高度,配合相关软件的光路调节算法,可实现打光的自动化优化。
该光源包括三色线光源,可以根据不同颜色的皮革选择合适颜色的光源,同时,该光源的高度可以自动调节,针对不同纹理的皮革通过调节光源高度改变打光的角度,提高缺陷对比度。
设计电动云台支架,如图6所示,可实现相机高低位置调节,通过软件算法实现对焦判别,然后控制电机调节相机高度来实现自动化对焦。云台可沿上下移动200mm,支架可沿前后移动200mm。自动对焦时,云台上下移动,在不同高度下支架配合前后移动,线阵相机采集对应高度的图像。失焦的图片和对焦准确的图片最大的区别就是正常图片轮廓明显,而失焦图片几乎没有较大像素值之间的变化,通过对图像的横向,以及纵向,分别做差分,累计差分可以用来作为判断是否对焦的参考。
自动对焦主要研究失焦的图片和对焦准确的图片之间的区别。正常图片轮廓明显,而失焦图片几乎没有较大像素值之间的变化,通过对图像的横向,以及纵向,分别做差分,累计差分可以用来作为判断是否对焦的参考。
在步骤S103中,根据最优表面缺陷智能化识别模型参数调整预先训练好的表面缺陷智能化识别模型的参数,利用检测相机采集待检测的合成革的图像,利用表面缺陷智能化识别模型对待检测的合成革的进行检测,得到待检测的合成革的质量检测结果。
在本发明的一个实施例中,利用预先训练好的表面缺陷智能化识别模型对待检测的合成革进行质量检测之前,还包括:
获取存在缺陷和无缺陷的合成革图像,分别对存在缺陷和无缺陷的合成革图像进行裁剪和下采样,并对存在缺陷和无缺陷的合成革图像进行自动增强,对存在缺陷的合成革图像进行标注;
构建表面缺陷智能化识别模型,利用存在缺陷和无缺陷的合成革图像及其标签,训练表面缺陷智能化识别模型至表面缺陷智能化识别模型的损失函数满足训练终止条件,得到训练好的表面缺陷智能化识别模型,其中,表面缺陷智能化识别模型的输入为合成革图像,输出为网版图像的缺陷位置和缺陷类型。
在本发明的一个实施例中,表面缺陷智能化识别模型包括Input输入端、Backbone骨干网络、Neck特征融合层和Head检测头,其中,Input输入端采用Mosaic数据增强技术,将多张合成革图像合并为一张合成革图像;Backbone骨干网络包括改进的C3模块和SPPF模块,C3模块为残差结构,用于进行特征提取;Neck特征融合层采用FPN特征金字塔和PAN路径聚合网络结构,综合利用多个尺度的特征信息,对Backbone骨干网络提取的特征进行融合;Head检测头将Neck特征融合层输出的不同尺度的特征图进行解析,在每个尺度的特征图上划分网格单元,每个网格单元格设置多个先验框来预测多个边界框,通过非极大值抑制的方法剔除重合度大于预设值的边界框,得到合成革的缺陷位置和缺陷类型。
在获得清晰的图像后需对其进行数字运算处理,以达到图像整体差异最小和局部缺陷最明显的目的,如中值滤波和小波变化等,以去除图像中噪声,提升图像质量。
下面介绍本发明实施例的质量检测过程。
1、数据集制作
本方法所采用的数据集包含了瑕疵和正常的合成革图像,其中瑕疵类型多样,包括棉结、污渍、黑点、黄印、异色丝、皱印、停车印等。
在数据集制作过程中,原始高分辨率图像无法直接用于模型训练,因此我们采取了裁剪和下采样的策略。首先,将原图裁剪成8*8张低分辨率图像,尺寸为640pixel×640pixel,并将其添加到数据集中。
我们使用YOLOv5的自动增强(AutoAugment),有效地丰富了数据集,在训练过程中引入了更多的数据变化,使得模型更好地适应各种场景下的目标检测任务,有助于提高模型的鲁棒性和泛化能力,提升了瑕疵检测的准确性和可靠性。
使用LabelImg标注,遵循VOC2007数据集格式。采用K-means++算法聚类先验框,在初始化阶段,我们选取一个面积较大的目标框作为第一个聚类中心,然后利用余弦相似度度量逐步选择与当前聚类中心相似性最小的目标框作为新的聚类中心。随后,在迭代过程中,选择与当前聚类中心相似性度量最小的目标框作为新的聚类中心,更好地捕捉每个簇的瑕疵特征,从而生成更适应瑕疵尺寸形态的先验框尺寸。
此外,针对小目标尺寸疵点的特点,我们还对YOLOv5的三个损失函数进行了修改,以更好地适应小目标的检测。具体而言,我们调整了定位损失、置信度损失和分类损失的权重和计算方式,能够提高模型对小尺寸瑕疵的检测性能,使其更加准确和鲁棒。
2、模型训练
考虑到本任务的检测实时性以及瑕疵检测的复杂性,选择了YOLOv5m作为瑕疵检测模型进行训练。YOLOv5m模型由四个主要部分组成:Input输入端、Backbone骨干网络、Neck网络层和Head检测头。
Input输入端采用了Mosaic数据增强技术,从同一批次的样本中随机选择4张图片,并进行裁剪、缩放和合并为一张图片,从而丰富了数据集并提高了训练速度;Backbone骨干网络包括改进的C3模块和SPPF模块。改进的C3模块使用残差结构,解决了反向传播中的梯度爆炸和梯度消失问题;Neck特征融合层主要对骨干网络提取的特征进行融合,采用了FPN特征金字塔和PAN路径聚合网络的结构,综合利用多个尺度的特征信息;Head检测头将特征融合层输出的不同尺度的特征图进行解析,并通过损失函数和非极大值抑制进行训练。最终得到4个不同尺度的特征图输出y1、y2、y3、y4,实现多尺度预测。
针对每个输入图像,在其每个尺度的特征图上将其划分为网格单元,每个单元格设置3个先验框来预测3个边界框。输出维度为S×S×(3×(4+1+M)),其中S是网格单元的数量,4+1+M是边界框相关信息的维度,分别代表边界框、缺陷类型、缺陷类型。最后,通过非极大值抑制的方法剔除重合度较高的边界框,实现陶瓷基板瑕疵检测。
训练期间的损失函数由边界框误差、置信度误差和类别误差三部分组成,其中边界框误差采用的是均方误差,置信度误差和类别误差采用交叉熵误差。将特征图划分成S×S个单元格,每个单元格预测3个边界框,损失函数为:
LOSS=LOSSreg+LOSSconf+LOSScls
LOSS是总的损失函数,LOSSreg为定位损失函数,LOSSconf为置信度损失函数,LOSScls为分类损失函数。代表预测输出中第i网格内第j预测框内有目标;S2代表每个特征层上面有S×S个单元格B=3,代表每个单元格内有3个预测框;bij,/>为预测框和真实框;IoU、ρ2、c2分别表示两个框的交并比值,中心点欧氏距离和最小闭包区域的对角线距离;v为长宽比一致性;Cij为置信度;α、λnoobj为权重系数;/>代表第i网格内第j预测框内无目标;Pij(c)表示目标属于每一类的概率值。
按照上述的数据集和模型,以及损失函数,即可训练得到本发明的网板瑕疵检测模型。模型结构图如图2所示。
3、质量检测
对一张原始的8092像素×8092像素的待检测图像,我们首先将其裁剪为4*4张等小尺寸图像。接着,我们将这16张等尺寸的裁剪图像缩放至640像素×640像素的尺寸,并将它们同时输入到我们的模型进行瑕疵检测。
模型完成检测后,还需进行尺寸过滤,边界框过滤,空间关系分析过滤等等后处理方法进一步过滤和优化结果。尺寸过滤是通过设定一个适当的阈值,排除过小或过大的瑕疵区域,以降低误检率;边界框过滤是采用边界框来限定瑕疵区域,根据边界框与图像边界的重叠程度来判断瑕疵是否合理,从而进一步减少误检;空间关系分析过滤是利用瑕疵区域之间的空间关系,如距离、相对位置等,来判断瑕疵的合理性,排除那些在空间上不符合实际情况或不连贯的瑕疵区域。
最后,经过后处理方法后的瑕疵将被输出,完成合成革瑕疵的检测。
根据本发明实施例提出的合成革表观质量智能化检测方法,根据待检测的合成革的产品型号确定最优检测光源参数,根据最优检测光源参数调节检测光源的颜色、角度和高度,控制检测相机对焦;利用检测相机采集待检测的合成革的图像,利用预先训练好的表面缺陷智能化识别模型对待检测的合成革进行质量检测,得到待检测的合成革的质量检测结果。由此,解决了视觉检测中光路调节难的问题,可以针对不同颜色、类型的合成革设置不同的检测光参数,实现对焦、光源调节的自动化,降低了人工操作复杂度,实现多类型合成革产品缺陷检测光路的自动化调节,进一步提高了质量检测的准确性。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。

Claims (8)

1.一种合成革表观质量智能化检测方法,其特征在于,包括以下步骤:
获取待检测的合成革的产品型号,根据所述待检测的合成革的产品型号确定最优检测光源参数和最优表面缺陷智能化识别模型参数;
根据所述最优检测光源参数调节检测光源的颜色、角度和高度,并控制检测相机对焦;
根据所述最优表面缺陷智能化识别模型参数调整所述预先训练好的表面缺陷智能化识别模型的参数,利用所述检测相机采集所述待检测的合成革的图像,利用所述表面缺陷智能化识别模型对所述待检测的合成革的图像进行检测,得到所述待检测的合成革的质量检测结果。
2.根据权利要求1所述的方法,其特征在于,利用预先训练好的表面缺陷智能化识别模型对所述待检测的合成革进行质量检测之前,还包括:
获取存在缺陷和无缺陷的合成革图像,分别对所述存在缺陷和无缺陷的合成革图像进行裁剪和下采样,并对所述存在缺陷和无缺陷的合成革图像进行自动增强,对所述存在缺陷的合成革图像进行标注;
构建表面缺陷智能化识别模型,利用所述存在缺陷和无缺陷的合成革图像及其标签,训练所述表面缺陷智能化识别模型至所述表面缺陷智能化识别模型的损失函数满足训练终止条件,得到训练好的表面缺陷智能化识别模型,其中,所述表面缺陷智能化识别模型的输入为合成革图像,输出为网版图像的缺陷位置和缺陷类型。
3.根据权利要求1所述的方法,其特征在于,所述表面缺陷智能化识别模型包括Input输入端、Backbone骨干网络、Neck特征融合层和Head检测头,其中,Input输入端采用Mosaic数据增强技术,将多张合成革图像合并为一张合成革图像;Backbone骨干网络包括改进的C3模块和SPPF模块,C3模块为残差结构,用于进行特征提取;Neck特征融合层采用FPN特征金字塔和PAN路径聚合网络结构,综合利用多个尺度的特征信息,对Backbone骨干网络提取的特征进行融合;Head检测头将Neck特征融合层输出的不同尺度的特征图进行解析,在每个尺度的特征图上划分网格单元,每个网格单元格设置多个先验框来预测多个边界框,通过非极大值抑制的方法剔除重合度大于预设值的边界框,得到合成革的缺陷位置和缺陷类型。
4.根据权利要求1所述的方法,其特征在于,根据所述待检测的合成革的产品型号确定最优检测光源参数和最优表面缺陷智能化识别模型参数,包括:
将所述待检测的合成革的产品型号在预先建立的光源设置匹配关系中进行匹配,得到所述待检测的合成革的产品型号的最优检测光源参数;
根据所述待检测的合成革的产品型号在预先建立的模型设置匹配关系中进行匹配,得到所述待检测的合成革的产品型号的最优表面缺陷智能化识别模型参数。
5.根据权利要求4所述的方法,其特征在于,在将所述待检测的合成革的产品型号在预先建立的光源设置匹配关系中进行匹配之前,还包括:
获取不同产品型号的合成革在不同检测光源参数下图像,建立标准图像数据库;
计算所述标准图像数据库中每张图像的信噪比指标,根据所述信噪比指标的大小确定每个产品型号的合成革对应的最优检测光源参数,并建立合成革产品型号与最优检测光源参数的光源设置匹配关系。
6.根据权利要求5所述的方法,其特征在于,计算所述标准图像数据库中每张图像的信噪比指标,包括:
针对任一产品型号的合成革,获取任一产品型号合成革表面的图像信息作为参考图像,将同一产品型号合成革在不同检测光源参数对应的光源下进行成像,以相同区域的八次成像图像作为一组,基于合成革纹理的周期性,将两组图像视为为同一纹理图像,并计算两组图像灰度信息的信噪比SNR:
其中,Signal为图像灰度值,M×N表示图像的像素总数,g(x,y)表示任意像素点的灰度信息,总噪声为:
其中,gk(x,y)表示第k幅图像中任意像素点(x,y)的灰度值,为第k幅图像的平均灰度值,且
信噪比SNR值越大表示在该检测光源参数对应的光源下获取的图像质量越优,将信噪比SNR最大值对应的检测光源参数作为最优检测光源参数。
7.根据权利要求4所述的方法,其特征在于,根据所述最优表面缺陷智能化识别模型参数调整所述预先训练好的表面缺陷智能化识别模型的参数之前,还包括:
获取不同产品型号的合成革的图像,建立标准图像数据库;
利用不同参数的表面缺陷智能化识别模型对所述标准图像数据库中的每张图像进行检测,获取表面缺陷智能化识别模型中支持向量机的截距大小,将截距最大值对应的表面缺陷智能化识别模型参数作为最优表面缺陷智能化识别模型参数,并建立合成革产品型号与最优表面缺陷智能化识别模型参数的模型设置匹配关系。
8.根据权利要求1所述的方法,其特征在于,根据所述最优检测光源参数调节检测光源的颜色、角度和高度,包括:
所述检测光源为三色光源,所述三色光源设置在旋转轴上,所述旋转轴上设置有控制旋转轴的旋转电机,旋转轴固定在导轨上,导轨上设置有移动电机,通过旋转电机控制所述三色光源的角度,以及通过移动电机控制所述三色光源高度,使得所述三色光源满足所述最优检测光源参数对应的参数。
CN202311265170.8A 2023-09-26 2023-09-26 合成革表观质量智能化检测方法 Active CN117269193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311265170.8A CN117269193B (zh) 2023-09-26 2023-09-26 合成革表观质量智能化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311265170.8A CN117269193B (zh) 2023-09-26 2023-09-26 合成革表观质量智能化检测方法

Publications (2)

Publication Number Publication Date
CN117269193A true CN117269193A (zh) 2023-12-22
CN117269193B CN117269193B (zh) 2024-06-25

Family

ID=89205836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311265170.8A Active CN117269193B (zh) 2023-09-26 2023-09-26 合成革表观质量智能化检测方法

Country Status (1)

Country Link
CN (1) CN117269193B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456292A (zh) * 2023-12-26 2024-01-26 浙江晶盛机电股份有限公司 蓝宝石缺陷检测方法、装置、电子装置和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209088A (ja) * 2010-03-30 2011-10-20 Hitachi High-Technologies Corp 検査装置、及び検査方法
US20160305892A1 (en) * 2015-04-17 2016-10-20 Nuflare Technology, Inc. Inspection method and template
CN109075091A (zh) * 2016-03-28 2018-12-21 科磊股份有限公司 用于偏光晶片检验的方法及设备
CN109782294A (zh) * 2018-12-26 2019-05-21 中国科学院长春光学精密机械与物理研究所 一种智能化光学观测系统
CN113177924A (zh) * 2021-05-10 2021-07-27 南通大学 一种工业流水线产品瑕疵检测方法
CN114280080A (zh) * 2021-12-10 2022-04-05 华虹半导体(无锡)有限公司 一种透明薄片状缺陷的检测方法
CN114354651A (zh) * 2021-12-28 2022-04-15 深圳中科飞测科技股份有限公司 一种光学检测装置及信噪比估算方法、缺陷检测方法
CN114612345A (zh) * 2022-04-01 2022-06-10 江苏通纺互联科技有限公司 一种基于图像处理的光源检测方法
CN115731198A (zh) * 2022-11-24 2023-03-03 杭州电子科技大学 一种皮革表面缺陷智能检测系统
CN218917225U (zh) * 2022-11-29 2023-04-25 深圳中科飞测科技股份有限公司 检测系统
CN116148265A (zh) * 2023-02-14 2023-05-23 浙江迈沐智能科技有限公司 一种基于合成革高质量图像获取的瑕疵分析方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209088A (ja) * 2010-03-30 2011-10-20 Hitachi High-Technologies Corp 検査装置、及び検査方法
US20160305892A1 (en) * 2015-04-17 2016-10-20 Nuflare Technology, Inc. Inspection method and template
CN109075091A (zh) * 2016-03-28 2018-12-21 科磊股份有限公司 用于偏光晶片检验的方法及设备
CN109782294A (zh) * 2018-12-26 2019-05-21 中国科学院长春光学精密机械与物理研究所 一种智能化光学观测系统
CN113177924A (zh) * 2021-05-10 2021-07-27 南通大学 一种工业流水线产品瑕疵检测方法
CN114280080A (zh) * 2021-12-10 2022-04-05 华虹半导体(无锡)有限公司 一种透明薄片状缺陷的检测方法
CN114354651A (zh) * 2021-12-28 2022-04-15 深圳中科飞测科技股份有限公司 一种光学检测装置及信噪比估算方法、缺陷检测方法
CN114612345A (zh) * 2022-04-01 2022-06-10 江苏通纺互联科技有限公司 一种基于图像处理的光源检测方法
CN115731198A (zh) * 2022-11-24 2023-03-03 杭州电子科技大学 一种皮革表面缺陷智能检测系统
CN218917225U (zh) * 2022-11-29 2023-04-25 深圳中科飞测科技股份有限公司 检测系统
CN116148265A (zh) * 2023-02-14 2023-05-23 浙江迈沐智能科技有限公司 一种基于合成革高质量图像获取的瑕疵分析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汤勃;孔建益;伍世虔;: "机器视觉表面缺陷检测综述", 中国图象图形学报, no. 12, 16 December 2017 (2017-12-16), pages 1640 - 1663 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456292A (zh) * 2023-12-26 2024-01-26 浙江晶盛机电股份有限公司 蓝宝石缺陷检测方法、装置、电子装置和存储介质
CN117456292B (zh) * 2023-12-26 2024-04-19 浙江晶盛机电股份有限公司 蓝宝石缺陷检测方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
CN117269193B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN111650210B (zh) 高速高精度锂离子电池极片的毛刺检测方法及检测系统
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN110414334B (zh) 一种基于无人机巡视的智能水质识别方法
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
WO2012169088A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN117269193B (zh) 合成革表观质量智能化检测方法
CN109182081A (zh) 一种基于图像处理模型的单细胞分选系统
CN109409289A (zh) 一种电力作业安全监督机器人安全作业识别方法及系统
CN111462075A (zh) 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统
CN117677969A (zh) 一种缺陷检测的方法和装置
CN110880184A (zh) 一种基于光流场进行摄像头自动巡检的方法及装置
CN112329893A (zh) 基于数据驱动的异源多目标智能检测方法及系统
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN117422699A (zh) 公路检测方法、装置、计算机设备及存储介质
CN117542301A (zh) 一种显示屏的检测方法及系统
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN114612418A (zh) 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
CN116901089B (zh) 一种多角度视距的机器人控制方法及系统
CN112241691B (zh) 基于无人机巡检与图像特征的渠道冰情智能识别方法
CN117789077A (zh) 一种通用场景下用于视频结构化的人与车辆预测的方法
CN116681647A (zh) 一种基于无监督生成式的彩涂板表面缺陷检测方法和装置
CN116109543A (zh) 一种数据快速识别读取方法及装置、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant