CN110660048A - 一种基于形状特征的皮革表面缺陷检测算法 - Google Patents

一种基于形状特征的皮革表面缺陷检测算法 Download PDF

Info

Publication number
CN110660048A
CN110660048A CN201910861495.XA CN201910861495A CN110660048A CN 110660048 A CN110660048 A CN 110660048A CN 201910861495 A CN201910861495 A CN 201910861495A CN 110660048 A CN110660048 A CN 110660048A
Authority
CN
China
Prior art keywords
target
loss
image
network
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910861495.XA
Other languages
English (en)
Other versions
CN110660048B (zh
Inventor
张发恩
吴珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Aolipuzhi Intelligent Industrial Technology Co ltd
Original Assignee
Innovation Qizhi (hefei) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (hefei) Technology Co Ltd filed Critical Innovation Qizhi (hefei) Technology Co Ltd
Priority to CN201910861495.XA priority Critical patent/CN110660048B/zh
Publication of CN110660048A publication Critical patent/CN110660048A/zh
Application granted granted Critical
Publication of CN110660048B publication Critical patent/CN110660048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了计算机视觉和机器学习领域的一种基于形状特征的皮革表面缺陷检测算法，包括以下具体步骤：S1：获取皮革表面正常样本和异常样本，并使用其他在人工物体表面含有自然形成的不规则纹理的图像作为训练数据；S2：输入图像数据，进行图像预处理，以增强形状特征；S3：增强后的图像输入到特征提取网络，提取卷积特征；S4：最后一层卷积层作为检测网络，用于检测特定目标，网络的输出向量为是否目标的概率和目标的位置和宽高；S5：分别计算分类损失和目标位置与宽高损失，得到加权的损失函数；S6：通过随机梯度下降法更新网络权值，避免了在实际检测任务中难以获取缺陷样本的问题，为不同场景的同类应用提供了一种通用的检测方案。

Description

一种基于形状特征的皮革表面缺陷检测算法
技术领域
本发明涉及计算机视觉和机器学习技术领域，具体为一种基于形状特征的皮革表面缺陷检测算法，应用于皮革表面不规则纹理的缺陷检测和各类含有复杂人工纹理的表面不规则纹理缺陷检测。
背景技术
在视觉检测领域，表面缺陷一直是较为复杂和困难的问题，因为表面的缺陷往往和背景纹理混合在一起，难以通过有效的图像处理技术使其有效区分。在传统机器视觉技术中，带通滤波是一种较为通用的表面缺陷检测方法，设计者通过一个精细确定参数的带通滤波器，使得缺陷纹理在通过滤波器后产生一个强响应，而背景纹理对带通滤波器产生弱响应，这样就可以在滤波处理后的图像中，检测响应峰值来确定缺陷的具体位置。但由于背景纹理和缺陷问题在不同的场景中各不相同，设计者需要精确地调整滤波器参数以适应场景变化，在使用上受到较大限制。随着深度学习技术的发展，深度学习也在表面缺陷检测中被广泛使用，深度学习技术强大的特征提取能力使得传统算法中难以处理的问题迅速得到了解决。为提高检测准确率，使用深度学习技术检测表面缺陷时同样需要针对单个场景进行样本训练，然而现实的情况是，在特定的生产过程中，获取缺陷样本是一件非常困难且耗时的事情，这导致现有方法不得不依赖于少量样本进行训练，进而检测准确率难以提高到让人满意的程度。
基于此，本发明设计了一种基于形状特征的皮革表面缺陷检测算法，以解决上述提到的问题。
发明内容
本发明的目的在于提供一种基于形状特征的皮革表面缺陷检测算法，避免了在实际检测任务中难以获取缺陷样本的问题，为不同场景的同类应用提供了一种通用的检测方案，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于形状特征的皮革表面缺陷检测算法，包括以下具体步骤：
S1：获取皮革表面正常样本和异常样本，并使用其他在人工物体表面含有自然形成的不规则纹理的图像作为训练数据；
S2：输入图像数据，进行图像预处理，以增强形状特征；
S3：增强后的图像输入到特征提取网络，提取卷积特征；
S4：最后一层卷积层作为检测网络，用于检测特定目标，网络的输出向量为是否目标的概率和目标的位置和宽高；
S5：分别计算分类损失和目标位置与宽高损失，得到加权的损失函数；
S6：通过随机梯度下降法更新网络权值。
优选的，在所述步骤S1中，异常样本不仅包含皮革表面的异常样本，还包括广泛存在的人工物体表面含有自然形成的不规则纹理的图像。
优选的，在所述步骤S2中，图像预处理主要包括：
S2.1：对图像进行各向异性扩散滤波处理，在进行图像降噪的同时，保持形状纹理清晰；
S2.2：对图像做适当的亮度和对比度调整；
S2.3：对图像做随机仿射变换进行数据增强。
优选的，在所述步骤S3中，特征提取网络是一种深度卷积网络，可以使用的网络结构包括但不限于LeNet，AlexNet，VGG，Inception，ResNet。
优选的，在所述步骤S5中，计算分类损失的函数指预测一个位置(m，n)是否存在目标物体的概率损失，分类损失用两个对数损失函数来描述，即：
lcis(m，n)＝logloss(Iobj，p1)+logloss(1-Iobj，p2)，
上式中，对数损失函数logloss(y，p)＝ylogp，Iobj∈{0，1}表示图像真实标注值中在(m，n)是否存在目标物体，如果存在则为1，反之则为0，上式的第一部分表示如果位置(m，n)处存在目标，而预测概率为p1的损失，上式的第二部分表示如果位置(m，n)不存在目标，而预测概率为p2的损失。
8.优选的，在所述步骤S5中，计算目标位置与宽高损失的函数指一个位置(m,n)存在目标，但预测得到的位置、尺寸和标注值有偏移产生的损失。
其公式为：
优选的，在所述步骤S5中，加权的损失函数表示为：
l(m，n)＝λlpos(m，n)+(1-λ)lcis(m，n)。
与现有技术相比，本发明的有益效果是：本发明将皮革表面缺陷检测问题视为一个从复杂人工纹理中检测非人工纹理的过程；使用的训练数据不仅包括皮革表面的异常样本，还包括广泛存在的各种人工纹理和自然物体的纹理，避免了训练样本难以获取的问题；对背景纹理和缺陷纹理进行了增强，以提高形状特征的显著性；对大量含有复杂人工纹理的表面缺陷检测问题具有通用的处理能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明网络框架图；
图2为本发明方法训练流程示意图；
图3为本发明方法在线推理流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：一种基于形状特征的皮革表面缺陷检测算法，包括以下具体步骤：
S1：获取皮革表面正常样本和异常样本，由于在生产过程中，异常样本的数量很少，且异常样本必然无法覆盖所有的异常形状纹理，将皮革表面缺陷的检测视为在规则的人工纹理中检测不规则纹理的问题，因此，可以将广泛存在的人工物体表面含有自然形成的不规则纹理的图像作为异常样本，并使用其他在人工物体表面含有自然形成的不规则纹理的图像作为训练数据；
S2：输入图像数据，进行图像预处理，以增强形状特征；
图像预处理主要包括：
S2.1：对图像进行各向异性扩散滤波处理，在进行图像降噪的同时，保持形状纹理清晰；
S2.2：对图像做适当的亮度和对比度调整；
S2.3：对图像做随机仿射变换进行数据增强；
S3：增强后的图像输入到特征提取网络，特征提取网络是一种深度卷积网络，可以使用的网络结构包括但不限于LeNet，AlexNet，VGG，Inception，ResNet，具体内容为所述技术领域人员能够得知的，提取卷积特征；
S4：最后一层卷积层作为检测网络，用于检测特定目标，网络的输出向量为是否目标的概率和目标的位置和宽高；
S5：分别计算分类损失和目标位置与宽高损失，得到加权的损失函数；
计算分类损失的函数指预测一个位置(m，n)是否存在目标物体的概率损失，分类损失用两个对数损失函数来描述，即：
lcis(m，n)＝logloss(Iobj，p1)+logloss(1-Iobj，p2)，
上式中，对数损失函数logloss(y，p)＝ylogp，Iobj∈{0，1}表示图像真实标注值中在(m，n)是否存在目标物体，如果存在则为1，反之则为0，上式的第一部分表示如果位置(m，n)处存在目标，而预测概率为p1的损失，上式的第二部分表示如果位置(m，n)不存在目标，而预测概率为p2的损失；
计算目标位置与宽高损失的函数指一个位置(m，n)存在目标，但预测得到的位置、尺寸和标注值有偏移产生的损失，其公式为：
Figure BDA0002199916140000051
加权的损失函数表示为：
l(m，n)＝λlpos(m，n)+(1-λ)lcis(m，n)；
S6：通过随机梯度下降法更新网络权值。
该方法在实际任务中使用上述网络对目标缺陷进行检测定位。
此外，如图3所示，本发明还提供了模型在线推理方法，进行模型在线推理的主要步骤包括：
获取待检测图像；
对待检测图像做预处理，使用各向异性扩散滤波进行滤波处理，并做适当的亮度与对比度处理；
对待检测图像进行高通滤波，增强形状特征
将待检测图像输入网络进行检测，得到检测结果。
首先对物体表面的纹理做了形状增强处理，其次使用了广泛存在的人工纹理和自然纹理大大扩充了训练数据集。和传统方法相比，一是避免了在实际检测任务中难以获取缺陷样本的问题，二是为不同场景的同类应用提供了一种通用的检测方案。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种基于形状特征的皮革表面缺陷检测算法，其特征在于：包括以下具体步骤：
S1：获取皮革表面正常样本和异常样本，并使用其他在人工物体表面含有自然形成的不规则纹理的图像作为训练数据；
S2：输入图像数据，进行图像预处理，以增强形状特征；
S3：增强后的图像输入到特征提取网络，提取卷积特征；
S4：最后一层卷积层作为检测网络，用于检测特定目标，网络的输出向量为是否目标的概率和目标的位置和宽高；
S5：分别计算分类损失和目标位置与宽高损失，得到加权的损失函数；
S6：通过随机梯度下降法更新网络权值。
2.根据权利要求1所述的一种基于形状特征的皮革表面缺陷检测算法，其特征在于：在所述步骤S1中，异常样本不仅包含皮革表面的异常样本，还包括广泛存在的人工物体表面含有自然形成的不规则纹理的图像。
3.根据权利要求1所述的一种基于形状特征的皮革表面缺陷检测算法，其特征在于：在所述步骤S2中，图像预处理主要包括：
S2.1：对图像进行各向异性扩散滤波处理，在进行图像降噪的同时，保持形状纹理清晰；
S2.2：对图像做适当的亮度和对比度调整；
S2.3：对图像做随机仿射变换进行数据增强。
4.根据权利要求1所述的一种基于形状特征的皮革表面缺陷检测算法，其特征在于：在所述步骤S3中，特征提取网络是一种深度卷积网络，可以使用的网络结构包括但不限于LeNet，AlexNet，VGG，Inception，ResNet。
5.根据权利要求1所述的一种基于形状特征的皮革表面缺陷检测算法，其特征在于：在所述步骤S5中，计算分类损失的函数指预测一个位置(m，n)是否存在目标物体的概率损失，分类损失用两个对数损失函数来描述，即：
lcis(m，n)＝logloss(Iobj，p1)+logloss(1-Iobj，p2)，
上式中，对数损失函数logloss(y，p)＝ylogp，Iobj∈{0，1}表示图像真实标注值中在(m，n)是否存在目标物体，如果存在则为1，反之则为0，上式的第一部分表示如果位置(m，n)处存在目标，而预测概率为p1的损失，上式的第二部分表示如果位置(m，n)不存在目标，而预测概率为p2的损失。
6.根据权利要求1所述的一种基于形状特征的皮革表面缺陷检测算法，其特征在于：在所述步骤S5中，计算目标位置与宽高损失的函数指一个位置(m，n)存在目标，但预测得到的位置、尺寸和标注值有偏移产生的损失，。其公式为：
Figure FDA0002199916130000021
7.根据权利要求1所述的一种基于形状特征的皮革表面缺陷检测算法，其特征在于：在所述步骤S5中，加权的损失函数表示为：
l(m，n)＝λlpos(m，n)+(1-λ)lcis(m，n)。
CN201910861495.XA 2019-09-12 2019-09-12 一种基于形状特征的皮革表面缺陷检测方法 Active CN110660048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910861495.XA CN110660048B (zh) 2019-09-12 2019-09-12 一种基于形状特征的皮革表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910861495.XA CN110660048B (zh) 2019-09-12 2019-09-12 一种基于形状特征的皮革表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN110660048A true CN110660048A (zh) 2020-01-07
CN110660048B CN110660048B (zh) 2022-05-17

Family

ID=69038145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910861495.XA Active CN110660048B (zh) 2019-09-12 2019-09-12 一种基于形状特征的皮革表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110660048B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474181A (zh) * 2020-03-31 2020-07-31 成都数之联科技有限公司 一种成盒制程阶段的面板缺陷检测及分类系统
CN113781430A (zh) * 2021-09-09 2021-12-10 北京云屿科技有限公司 一种基于深度学习的手套表面缺陷检测方法及系统
CN116152242A (zh) * 2023-04-18 2023-05-23 济南市莱芜区综合检验检测中心 一种篮球用天然皮革缺陷可视化检测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012060726A1 (en) * 2010-11-04 2012-05-10 Couro Azul - Indústria E Comércio De Couros, Sa Process to detect defects in leather
CN107845086A (zh) * 2017-09-19 2018-03-27 佛山缔乐视觉科技有限公司 一种皮革表面显著性缺陷的检测方法、系统及装置
US20180211373A1 (en) * 2017-01-20 2018-07-26 Aquifi, Inc. Systems and methods for defect detection
CN109345521A (zh) * 2018-09-25 2019-02-15 江南大学 一种基于皮革表面缺陷检测的led自由曲面阵列
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN209081912U (zh) * 2018-07-12 2019-07-09 卓峰智慧生态有限公司 基于人工智能的皮革检测设备与皮革制品生产系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012060726A1 (en) * 2010-11-04 2012-05-10 Couro Azul - Indústria E Comércio De Couros, Sa Process to detect defects in leather
US20180211373A1 (en) * 2017-01-20 2018-07-26 Aquifi, Inc. Systems and methods for defect detection
CN107845086A (zh) * 2017-09-19 2018-03-27 佛山缔乐视觉科技有限公司 一种皮革表面显著性缺陷的检测方法、系统及装置
CN209081912U (zh) * 2018-07-12 2019-07-09 卓峰智慧生态有限公司 基于人工智能的皮革检测设备与皮革制品生产系统
CN109345521A (zh) * 2018-09-25 2019-02-15 江南大学 一种基于皮革表面缺陷检测的led自由曲面阵列
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIU HONG-NING ET AL: "Study on Detection System of Bullet Surface Defect Based on Machine Vision", 《MODULAR MACHINE TOOL & AUTOMATIC MANUFACTURING TECHNIQUE》 *
刘根等: "基于光度立体和图像显著性的皮革缺陷检测", 《计算机工程与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474181A (zh) * 2020-03-31 2020-07-31 成都数之联科技有限公司 一种成盒制程阶段的面板缺陷检测及分类系统
CN113781430A (zh) * 2021-09-09 2021-12-10 北京云屿科技有限公司 一种基于深度学习的手套表面缺陷检测方法及系统
CN113781430B (zh) * 2021-09-09 2023-08-25 北京云屿科技有限公司 一种基于深度学习的手套表面缺陷检测方法及系统
CN116152242A (zh) * 2023-04-18 2023-05-23 济南市莱芜区综合检验检测中心 一种篮球用天然皮革缺陷可视化检测系统
CN116152242B (zh) * 2023-04-18 2023-07-18 济南市莱芜区综合检验检测中心 一种篮球用天然皮革缺陷可视化检测系统

Also Published As

Publication number Publication date
CN110660048B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN111209952B (zh) 基于改进ssd和迁移学习的水下目标检测方法
CN111833306B (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN108898610A (zh) 一种基于mask-RCNN的物体轮廓提取方法
CN110660048B (zh) 一种基于形状特征的皮革表面缺陷检测方法
CN107808161B (zh) 一种基于光视觉的水下目标识别方法
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN110751154B (zh) 一种基于像素级分割的复杂环境多形状文本检测方法
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
CN109671071A (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
KR20200039049A (ko) 외관불량 검사방법 및 외관불량 검사 시스템
CN109615604B (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN111257341A (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN111724372A (zh) 基于对抗神经网络的布匹缺陷检测方法、终端和存储介质
CN115841447A (zh) 一种磁瓦表面缺陷的检测方法
CN109584215A (zh) 一种电路板在线视觉检测系统
CN113313107B (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
Peng et al. Non-uniform illumination image enhancement for surface damage detection of wind turbine blades
CN113850339A (zh) 一种基于多光源表面图像的粗糙度等级预测方法及装置
CN112614113A (zh) 一种基于深度学习的带钢缺陷检测方法
Dong et al. Automated detection of gear tooth flank surface integrity: A cascade detection approach using machine vision
CN117252817A (zh) 一种透明导电薄膜玻璃表面缺陷检测方法及系统
CN116563262A (zh) 基于多模态的建筑裂缝检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221228

Address after: 266100 6D, Building 1, No. 169, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: Qingdao aolipuzhi Intelligent Industrial Technology Co.,Ltd.

Address before: 230001 room 611-64, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee before: AINNOVATION (HEFEI) TECHNOLOGY Co.,Ltd.