CN111709907A - 基于One-Class深度支持向量描述的布匹疵点检测方法 - Google Patents

基于One-Class深度支持向量描述的布匹疵点检测方法 Download PDF

Info

Publication number
CN111709907A
CN111709907A CN202010339971.4A CN202010339971A CN111709907A CN 111709907 A CN111709907 A CN 111709907A CN 202010339971 A CN202010339971 A CN 202010339971A CN 111709907 A CN111709907 A CN 111709907A
Authority
CN
China
Prior art keywords
hypersphere
deep
svdd
abnormal
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010339971.4A
Other languages
English (en)
Other versions
CN111709907B (zh
Inventor
李岳阳
王续澎
罗海驰
樊启高
朱一昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202010339971.4A priority Critical patent/CN111709907B/zh
Publication of CN111709907A publication Critical patent/CN111709907A/zh
Application granted granted Critical
Publication of CN111709907B publication Critical patent/CN111709907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于One‑Class深度支持向量描述的布匹疵点检测方法，在半监督的条件下，利用深度卷积神经网络的优势，提取出图像有效的深度特征，通过训练，在高维空间中映射出可以准确描述正常样本点超球体模型。实现了端到端的布匹瑕疵检测。通过训练得到的网络参数和超球体半径即可完整地描述出测试样本与超球体的关系，实现瑕疵的判别。解决了以往模型中内存占用大，检测速度慢，限定瑕疵种类等问题。

Description

基于One-Class深度支持向量描述的布匹疵点检测方法
技术领域
本发明涉及纺织品图像处理技术领域，尤其是一种基于One-Class深度支持向量描述的 布匹疵点检测方法。
背景技术
随着科学技术的快速发展，纺织行业面临着激烈的竞争，布匹质量的优劣对纺织生产效 益影响巨大，现有人工的检测方法检测速度慢，质检员平均注意力集中的时间有限，当疲劳 出现时，检测准确性会下降。据有关统计，织物疵点人眼检测的漏检率高达30％以上。在产 业转型的新阶段，各大纺织企业争相提高自己的产品质量，高标准意味着更高的检测成本。 如何减少人工参与，加快自动化进行是当前面临的挑战。
近几年，疵点检测已成为图像处理和机器视觉领域的研究热点，机器视觉技术在布匹疵 点检测上发挥越来越广泛的作用。目前，现有的疵点检测方法可大致分为两大类：传统图像 处理和模式识别的检测方法和基于深度学习的检测方法。
在传统的图像处理和模式识别的检测方法中，布匹瑕疵的特征可以通过不同的算子进行 检测，但提取特征的算子和特征的设计主要是靠人工经验的确定。在基于深度学习的检测方 法中，可以通过卷积神经网络CNN自动学习出布匹图像的有效特征，这些特征相比于传统手 工提取特征有更高的通用性和可迁移性，目前深度学习应用于瑕疵检测的常用方法是使用 CNN网络作为特征提取器，并联合传统单分类模型OC-SVM(或SVDD)进行训练，这种两 步混合的方法中，以最大限度地提高了检测性能。但混合方法的一个显著缺点是缺乏可训练 的、自定义的异常检测目标，因为这些模型不能提取丰富的差分特征来检测异常值，这种两 步的检测方式，增加了训练成本和难度。
无论是基于传统的方法还是目前基于深度学习的检测方法，对于织物疵点检测仍存在以 下问题：(1)现有的疵点检测方法都是针对某类或某几类瑕疵类型进行算法设计的，对可能 出现的疵点类别范畴有严格的划分，超出特定领域就没有好的效果，通用性差；(2)在现有 基于单分类的深度学习方法中，如果采用两步法进行训练，模型不能充分地提取差分特征来 检测异常，并且在训练CNN模型后，还需要对分类器进行再次训练，不能以端到端的学习方 式进行检测，并且占用了大量内存资源，增加了训练成本和难度。
发明内容
本发明的目的是提供一种基于One-Class深度支持向量描述的布匹疵点检测方法，技术 方案为：
包括如下步骤：步骤1：在无瑕疵布匹样本库中，在布匹图像上分块操作，得到4000-5000 张无瑕疵布匹图像块作为训练数据；步骤2：在有瑕疵布匹样本库中，在布匹图像上使用滑 动窗口法进行分块操作，人工将图像块分类，分为有瑕疵图像块和无瑕疵图像块，两种图像 块的数量用作测试数据；步骤3：对步骤1中的训练数据使用Deep SVDD模型进行训练，通 过卷积神经网络的特征提取和神经网络的学习可将原始数据映射到高维空间中的一个最小体 积超球内，得到高维空间中的一个紧凑的描述，生成Model；步骤4：将测试数据图像使用训 练好的Model进行检测，得到异常分数，正常样本映射到超球面的内部，异常分数为负值； 异常样本映射到超球面的外部，异常分数为正值；所有测试异常分数将作为测试图像的判定 指标；步骤5：对步骤4测试数据得到的异常分数从高到低进行排序，确定分类阈值，将异 常分数大于分类阈值的判定为负样本，小于分类阈值的判定为正样本，最终判断出所有测试 图像的类别情况，即所有的正样本和负样本。
进一步地，步骤1中采用滑动窗口法进行分块操作，具体过程如下：将800×600的原始 图像以100×75的窗口做左上至右下进行滑动，宽度方向步长为50，长度方向步长为75，若 切割的图像块宽度小于100或高度小于75则去掉该图像块。
进一步地，步骤3中使用Deep SVDD的方法进行训练具体为：利用CNN提取出无瑕疵图 像的特征表示并通过神经网络训练得到高维空间中包含所有样本点的最小体积超球，即所有 无瑕疵图像的特征表示均能映射在超球体表面内，得到Deep SVDD模型；Deep SVDD算法是 通过学习网络参数W，将空间A中的样本点，映射到空间B中的超球内，优化目标为：
Figure BDA0002468044710000021
其中n为样本集个数，x1,x2...xn样本数据，W为网络学习参数，c为超球球心，
Figure BDA0002468044710000022
函 数是神经网络参数W的特征表示；第一项中使用了二次损失函数，目标是惩罚所有空间B中 的点到球心c的欧式距离。第二项是正则化项，防止网络过拟合的发生，参数λ(λ>0)控 制正则化的权重，L为网络总的层数，其中l∈{1,...,L}，Wl为每一层的权重参数，这是基于 训练数据完全没有噪点的Deep SVDD硬边界模型，硬边界Deep SVDD是最小化所有数据表示 到球心的平均距离来缩小超球；实际数据中，软边界Deep SVDD是通过惩罚超球的半径R和 落在超球体外的数据表示收缩超球，软边界Deep SVDD目标为：
Figure BDA0002468044710000023
其中n为样本集个数，x1,x2...xn样本数据，W为网络学习参数，c为超球球心，
Figure BDA0002468044710000031
函 数是神经网络参数W的特征表示；第一项中，最小化R2可以得到最小化超球体的体积；第二 项是一个针对越界点的惩罚项，超参数ν∈(0,1]控制球的体积和越界点之间的权衡；第三项是 正则化项，防止网络过拟合，参数λ控制正则化的权重，L为网络总的层数，其中l∈{1,...,L}， Wl为每一层的权重参数。
进一步地，优化目标(2)得到网络参数W*和R*使得数据点紧密地映射到超球面的中心 范围，并允许一些越界点的存在；通过软边界Deep SVDD可以得到正常类的一个紧凑的描述。
进一步地，步骤4中的异常分数区分阈值是0.0086。
进一步地，步骤4中给出测试图像的异常分数具体步骤如下：在映射到空间B的测试数 据点，我们可以通过点到超球球心的欧式距离，为测试点给定一个异常分数，即：
Figure BDA0002468044710000032
其中W*是经过训练的模型网络参数，R*是经过训练的超球半径。在硬边界DeepSVDD 中，通过第一项
Figure BDA0002468044710000033
得到异常分数。即所有在超球面外部的点都会得到正的异常分 数，而在超球面内部的点都会得到负的异常分数。
进一步地，步骤5中对非常正常的样本、临界的样本、和瑕疵非常明显的样本进行分段 采样，操作过程为：先对分块操作得到的4000-5000个样本进行异常分数排序，再对排在最 前面，中间和后面三段进行采样。采样的目的是直观的观察出，模型给出的分数从最正常到 最异常的变化过程。
进一步地，根据权利要求1所述的疵点检测方法，其特征在于，步骤3中的深度卷积神 经网络基于Lenet-5基础上改进，使用5×5的卷积核，采用2×2的最大池化层，同时激活函数的使用改为leaky Relu。
作为验证，步骤5后计算出AUC值，和当前阈值下的混淆矩阵，阈值设置采取的方法是： 得到所有测试样本的异常分数后，计算出所有异常分数的97％分位数作为分界阈值，即大于 阈值的异常分数判定为瑕疵样本，小于阈值的异常分数判定为无瑕疵样本。
本发明具有如下有益效果：
1、本发明主要体现的是用深度学习，辅以单分类的思想，将这种方法应用于瑕疵检测领 域。在实际任务中，生产厂商的主要任务是区分有瑕疵和无瑕疵的布匹，剔除瑕疵布匹，我 们的方法是针对这样的任务。
现有方法中的有监督学习，需要预先确定瑕疵的种类，并得到这些瑕疵种类的样本，然 后对每种瑕疵构建模型。本发明的方案无需预先确定瑕疵类别，只是在无瑕疵样本基础上构 建模型，模型训练后，就可检测各种瑕疵的样本。
现有方法中的半监督学习，一般采用人工提取特征的方法，这样导致的结果就是构建的 模型泛化性(通用性)差。而本专利采用“深度卷积+SVDD”的思想，可以充分利用深度神 经网络学习特征的能力，提取有效特征，使得正常类和异常类的差异性最大，从而构建的模 型泛化性好。One-Class深度支持向量描述采用半监督的学习方式进行训练，即步骤1-3提供 的方法，与常规方法相比，只需一定数量的无瑕疵的样本即可完成训练，即本实施例中最少 需要4680件样本，减少了所需样本的数量。
在模型构建中，一般采用两种方式：有监督学习和无监督学习。有监督学习方式中，所 有的训练样本都有标签，我们事先知道每个样本的种类，在织物瑕疵检测问题中就是，我们 事先都知道每个训练样本是无瑕疵样本，还是有瑕疵样本，对于有瑕疵样本，我们知道其属 于哪一种瑕疵。无监督学习，指的是，我们事先不知道每个训练样本的标签，在训练过程中， 由模型自主地来学习样本。
在织物瑕疵检测问题中，一般采用有监督学习方式。但对于有监督学习，存在的问题是， 在实际生产过程中，我们很容易得到无瑕疵的样本，而收集各种有瑕疵样本会比较困难，并 且，对每种瑕疵样本都建立模型也会比较困难，因为在织物生产过程中，瑕疵的种类很多， 而同一种类的瑕疵，其表现出来的特征差异也很大。
本专利采用的半监督学习方式，在训练样本中，主要是有标签的无瑕疵样本，另外还可 包含一些各种种类的瑕疵样本，本发明不需要知道这些瑕疵样本到底是属于哪些瑕疵种类， 可以是无标签的。
2、本发明步骤2中特征选择上不需要人工的参与，通过深度卷积神经网络可以得到有效 的特征表示，步骤3中，通过深度神经网络的学习可以得一个高维空间中包含所有样本数据 的紧凑描述，即体积最小化的超球体模型卷积神经网络通过学习得到固定维度的特征向量， 而传统方法固定维度的特征向量是通过人工经验设定算子得到的。本方案不需要人工选择相 应特征，而是通过卷积神经网络学习得到有效特征。
SVDD或OC-SVM就是传统的支持向量描述，在高斯核映射下可以实现低维数据映射到 高维空间下的超球内，但是传统的这种方法在应对超高维度的特征下效果不好。而且这种基 于内核的方法中，需要存储支持向量，需要占用大量内存空间。
本发明中提到过混合的方法是采用深度卷积网络得到特征向量，再通过SVDD或OC-SVM的方式进行分类。“混合方法的一个显著缺点是缺乏可训练的、自定义的异常检测目标，因为这些模型不能提取丰富的差分特征来检测异常值，这种两步的检测方式，增加了训练成本和难度。”本专利的方法采用的一步法，通过卷积神经网络学习得到的特征，基于神经网络的映射，映射到高维空间的紧凑超球内(映射不是基于内核)。本发明中学习的特征是针对异常检测(是变化的)。
目前有使用深度网络，加上传统单分类的两步法完成训练的。本发明采用一步法，完全 针对异常检测的深度网络应用于布匹瑕疵检测还没有。而两部法的第一步中训练卷积神经网 络的目标不是针对异常检测，输出的特征向量是固定好的，第二部才是对第一步固定好的特 征向量的运用和异常区分。
3、模型的训练和预测完全采用端到端的方式进行，测试数据通过训练好的网络参数W*和 R*即可完整地描述出样本点和超球体的关系，降低了内存复杂度，加快了检测速度。
4、模型可以充分地提取差分特征来检测异常，对布匹瑕疵种类没有特定的要求，所有未 知的瑕疵类型均可得到相应的异常分数，瑕疵的判定可以通过人工设定阈值，具有良好的鲁 棒性。
5、采用One-Class深度支持向量描述的方法同时可以对彩色图像的瑕疵进行检测。
附图说明
图1为本发明基于One-Class支持向量描述的布匹异常检测的方法流程图。
图2为本发明实施例中Deep SVDD方法原理图。
图3为本发明实施例中One-Class支持向量描述的布匹异常检测方法原理图。
图4为本发明实施例中使用的改进的Lenet-5网络结构。
图5、6、7为测试样本异常分数排序图。
图8为测试样本的混淆矩阵。
图9(a)～(h)为检测布匹的不同瑕疵类型。
具体实施方式
在实际生产过程中，布匹的瑕疵种类繁多，各种瑕疵所表现出来的特征千差万别，没有 有效的方法对所有瑕疵建立模型，因此，在本发明中引入One-Class深度支持向量描述的方 法，该方法可以在假定训练样本都是正常样本(无瑕疵布匹图像)情况下，实现端到端的检 测。
本发明的基本思想是：在半监督的条件下，利用深度卷积神经网络的优势，提取出图像 有效的深度特征，通过训练，在高维空间中映射出可以准确描述正常样本点超球体模型。实 现了端到端的布匹瑕疵检测。通过训练得到的网络参数和超球体半径即可完整地描述出测试 样本与超球体的关系，实现瑕疵的判别。解决了以往模型中内存占用大，检测速度慢，限定 瑕疵种类等问题。
一种基于One-Class深度支持向量描述的布匹疵点检测方法，检测流程如图1所示，包 括如下步骤：
步骤1：在无瑕疵布匹样本库中，在布匹图像上使用滑动窗口法进行分块操作，得到4680 张无瑕疵布匹图像块作为训练数据，保证深度训练时有足够的数据量；
步骤2：在有瑕疵布匹样本库中，在布匹图像上使用滑动窗口法进行分块操作，人工将 图像块分类，其中有瑕疵图像块116张，无瑕疵图像块4564张，作测试数据；
步骤1和步骤2中，滑动窗口的具体过程如下：
将800×600的原始图像以100×75的窗口做左上至右下进行滑动，宽度方向步长为50， 长度方向步长为75，若切割的图像块宽度小于100或高度小于75则去掉该图像块。
步骤3：对步骤1中的训练数据使用Deep SVDD(深度支持向量描述)模型进行训练，通 过卷积神经网络(CNN)的特征提取和神经网络的学习可将原始数据映射到高维空间中的一个 最小体积超球内，得到高维空间中的一个紧凑的描述，生成Model，如图2所示。
步骤3中使用的卷积神经网络(CNN)具体为：
采用的卷积神经网络模型是在训练手写数字的网络模型Lenet-5基础上改进的。改进后 的网络模型见图4。为了增加网络整体的识别性能，使用5×5的卷积核，并改变每个层特征 图的个数，采用2×2的最大池化层，同时激活函数的使用改为leaky Relu，这样的改动可 以很好的防止训练过程中梯度消失的问题。改进的lenet网络去掉了最后的全链接层，这里 的任务不是做分类而是使用网络学习得到特征向量，进而拟合出超球体积，通过实验我们将 最后一层特征向量的维度设置为128维。这里使用浅层的lenet网络模型即可达到较好的检 测效果，大大减少了的运算量。
在步骤3中使用Deep SVDD的方法进行训练具体为：
利用CNN提取出无瑕疵图像的特征表示并通过神经网络训练得到高维空间中包含所有样 本点的最小体积超球，即所有无瑕疵图像的特征表示均能映射在超球体表面内，得到Deep SVDD模型。
Deep SVDD算法是通过学习网络参数W，将空间A中的样本点，映射到空间B中的超球 内，优化目标为：
Figure BDA0002468044710000061
其中n为样本集个数，x1,x2...xn样本数据，W为网络学习参数，c为超球球心，
Figure BDA0002468044710000071
函 数是神经网络参数W的特征表示，如图2所示。
第一项中使用了二次损失函数，目标是惩罚所有空间B中的点到球心c的欧式距离。第 二项是正则化项，防止网络过拟合的发生，参数λ(λ>0)控制正则化的权重，L为网络总 的层数，其中l∈{1,...,L}，Wl为每一层的权重参数。
这是基于训练数据完全没有噪点的Deep SVDD硬边界模型，硬边界Deep SVDD是最小化 所有数据表示到球心的平均距离来缩小超球。
而实际数据中，虽然采用的都是正常样本，但有些正常样本的图像会有些瑕疵特征。与 硬边界Deep SVDD不同，软边界Deep SVDD是通过惩罚超球的半径R和落在超球体外的数据 表示收缩超球。软边界Deep SVDD对训练数据有了更宽松的限制，增加了模型的鲁棒性。其 中软边界Deep SVDD目标为：
Figure BDA0002468044710000072
其中n为样本集个数，x1,x2...xn样本数据，W为网络学习参数，c为超球球心，
Figure BDA0002468044710000073
函 数是神经网络参数W的特征表示，如图2所示。
第一项中最小化R2可以得到最小化超球体的体积。第二项是一个针对越界点的惩罚项， 超参数ν∈(0,1]控制球的体积和越界点之间的权衡，最后一项是正则化项，防止网络过拟合， 参数λ控制正则化的权重，L为网络总的层数，其中l∈{1,...,L}，Wl为每一层的权重参数。
优化目标(2)得到网络参数W*和R*使得数据点紧密地映射到超球面的中心范围，并允 许一些越界点的存在。通过软边界Deep SVDD可以得到正常类的一个紧凑的描述。
步骤4：将测试数据图像使用训练好的Model进行检测，得到异常分数，正常样本会映 射到超球面的内部，异常分数为负值；异常样本会映射到超球面的外部，异常分数为正值； 映射关系如图3所示，所有测试异常分数将作为测试图像的判定指标。
步骤4中的异常分数可以根据公式看出，实际上可以看作是高维空间下样本点到超球面 的距离指标。距离为正则样本点在超球面外部，判定为异常样本，即有瑕疵样本；距离为负 样本点在超球面内部，判定为正常样本，即无瑕疵样本。
原则上，模型将异常分数为正的样本判定为无瑕疵样本，但根据实际需要通过观察设定 最终的区分阈值，这里的实验的异常分数区分阈值是0.0086。
在步骤4中，给出测试图像的异常分数具体步骤如下：
在映射到空间B的测试数据点，我们可以通过点到超球球心的欧式距离，为测试点给定 一个异常分数，即：
Figure BDA0002468044710000081
其中W*是经过训练的模型网络参数，R*是经过训练的超球半径。在硬边界DeepSVDD 中，通过第一项
Figure BDA0002468044710000082
得到异常分数。即所有在超球面外部的点都会得到正的异常分 数，而在超球面内部的点都会得到负的异常分数。
在One-Class深度支持向量描述的方法中，训练得到的网络参数W*和R*即可以完整地 描述一个超球体模型，不需要存储额外数据来进行预测，具有非常低的内存复杂度。
步骤5：对步骤4测试数据得到的异常分数从高到低进行排序。分别对非常正常的样本、 临界的样本、和瑕疵非常明显的样本进行分段采样，操作过程为：先对4680个样本进行异常 分数排序，再对排在最前面，中间和后面三段进行采样。采样的目的是直观的观察出，模型 给出的分数从最正常到最异常的变化过程。排序结果如图5、6、7所示。根据实际生产要求， 可人为来确定合适的阈值作为分类阈值，将异常分数大于阈值的判定为负样本(即有瑕疵图 像)，小于阈值的判定为正样本(即无瑕疵图像)，最终判断出所有测试图像的类别情况， 所有类别情况即为有瑕疵、无瑕疵两类。
步骤6：计算出AUC(ROC曲线下与坐标轴围成的面积)值，和当前阈值下的混淆矩阵。
步骤6中，阈值设置采取的方法是：
得到所有测试样本的异常分数后，计算出所有异常分数的97％分位数作为分界阈值，即 大于阈值的异常分数判定为瑕疵样本，小于阈值的异常分数判定为无瑕疵样本。需说明的是， 模型只是给出数据的异常情况，实际图像数据中的判定要根据人工观察给出；如有的毛躁的 纹理处于异常状态但是不属于瑕疵样本。
混淆矩阵是表示精度评价的一种标准格式。本实施例使用2行2列的矩阵形式来表示， 其中，将无瑕疵的类别用0表示，有瑕疵的类别用1表示，第一列作为预测无瑕疵的类别， 第二列作为预测有瑕疵的类别，第一行作为实际无瑕疵类别，第二行作为实际有瑕疵类别， 统计后的混淆矩阵如图8所示。
可以看到大部分瑕疵样本可以给出准确的判定，在预测错误样例中，FalseNegative(FN)代表将无瑕疵的样本预测为有瑕疵的样本(误报)，False Positive (FP)代表将有瑕疵的样本预测为无瑕疵(漏报)，在误报样本中，布匹纹理确 实存在一些不规则的变化情况，即无瑕疵的样本中偶尔会出现有瑕疵的特征，可 以调节通过软边界Deep SVDD模型对超球边界的惩罚系数增加模型的鲁棒性。在 漏报样本中，只有极少数情况的瑕疵样本没有被检测到。结果表明，使用本发明 的方法，不管瑕疵是什么类别，都能与正常样本区分开来。
如图9所示，基于One-Class深度支持向量描述的布匹瑕疵检测算法可以对不同类型布 匹以及多种瑕疵种类进行检测，通过多种布匹测试，平均准确率在97％以上，平均AUC值在 95％以上。
虽然本发明已以较佳实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人， 在不脱离本发明的精神和范围内，都可做各种的改动与修饰，因此本发明的保护范围应该以 权利要求书所界定的为准。

Claims (10)

1.一种疵点检测方法，其特征在于，包括如下步骤：
步骤1：在无瑕疵布匹样本库中，在布匹图像上分块操作，得到至少4000张无瑕疵布匹图像块作为训练数据；
步骤2：在有瑕疵布匹样本库中，在布匹图像上使用滑动窗口法进行分块操作，人工将图像块分类，分为有瑕疵图像块和无瑕疵图像块，两种图像块的数量用作测试数据；
步骤3：对步骤1中的训练数据使用Deep SVDD模型进行训练，通过卷积神经网络的特征提取和神经网络的学习可将原始数据映射到高维空间中的一个最小体积超球内，得到高维空间中的一个紧凑的描述，生成Model；
步骤4：将测试数据图像使用训练好的Model进行检测，得到异常分数，正常样本映射到超球面的内部，异常分数为负值；异常样本映射到超球面的外部，异常分数为正值；所有测试异常分数将作为测试图像的判定指标；
步骤5：对步骤4测试数据得到的异常分数从高到低进行排序，确定分类阈值，将异常分数大于分类阈值的判定为负样本，小于分类阈值的判定为正样本，判断出所有测试图像的正样本和负样本。
2.根据权利要求1所述的疵点检测方法，其特征在于，步骤1中采用滑动窗口法进行分块操作，具体过程如下：
将800×600的原始图像以100×75的窗口做左上至右下进行滑动，宽度方向步长为50，长度方向步长为75，若切割的图像块宽度小于100或高度小于75则去掉该图像块。
3.根据权利要求1所述的疵点检测方法，其特征在于，步骤3中使用Deep SVDD的方法进行训练具体为：
利用CNN提取出无瑕疵图像的特征表示并通过神经网络训练得到高维空间中包含所有样本点的最小体积超球，即所有无瑕疵图像的特征表示均能映射在超球体表面内，得到Deep SVDD模型；
Deep SVDD算法是通过学习网络参数W，将空间A中的样本点，映射到空间B中的超球内，优化目标为：
Figure FDA0002468044700000011
其中n为样本集个数，x1,x2...xn样本数据，W为网络学习参数，c为超球球心，
Figure FDA0002468044700000012
函数是神经网络参数W的特征表示；第一项中使用了二次损失函数，目标是惩罚所有空间B中的点到球心c的欧式距离；第二项是正则化项，防止网络过拟合的发生，参数λ(λ>0)控制正则化的权重，L为网络总的层数，其中l∈{1,...,L}，Wl为每一层的权重参数，这是基于训练数据完全没有噪点的Deep SVDD硬边界模型，硬边界Deep SVDD是最小化所有数据表示到球心的平均距离来缩小超球；
实际数据中，软边界Deep SVDD是通过惩罚超球的半径R和落在超球体外的数据表示收缩超球，软边界Deep SVDD目标的公式如下：
Figure FDA0002468044700000021
其中n为样本集个数，x1,x2...xn样本数据，W为网络学习参数，c为超球球心，
Figure FDA0002468044700000022
函数是神经网络参数W的特征表示；
软边界Deep SVDD目标公式的第一项中，最小化R2可以得到最小化超球体的体积；
软边界Deep SVDD目标公式的第二项是一个针对越界点的惩罚项，超参数ν∈(0,1]控制球的体积和越界点之间的权衡；
软边界Deep SVDD目标公式的第三项是正则化项，防止网络过拟合，参数λ控制正则化的权重，L为网络总的层数，其中l∈{1,...,L}，Wl为每一层的权重参数。
4.根据权利要求1所述的疵点检测方法，其特征在于，优化软边界Deep SVDD目标得到网络参数W*和R*使得数据点紧密地映射到超球面的中心范围，并允许一些越界点的存在；通过软边界Deep SVDD可以得到正常类的一个紧凑的描述。
5.根据权利要求1所述的疵点检测方法，其特征在于，步骤4中的异常分数区分阈值是0.0086。
6.根据权利要求1所述的疵点检测方法，其特征在于，步骤4中给出测试图像的异常分数具体步骤如下：
在映射到空间B的测试数据点，我们可以通过点到超球球心的欧式距离，为测试点给定一个异常分数，即：
Figure FDA0002468044700000023
其中W*是经过训练的模型网络参数，R*是经过训练的超球半径。在硬边界Deep SVDD中，通过第一项
Figure FDA0002468044700000024
得到异常分数；即所有在超球面外部的点都会得到正的异常分数，而在超球面内部的点都会得到负的异常分数。
7.根据权利要求1所述的疵点检测方法，其特征在于，步骤5中对非常正常的样本、临界的样本、和瑕疵非常明显的样本进行分段采样，操作过程为：先对分块操作得到的4000-5000个样本进行异常分数排序，再对排在最前面，中间和后面三段进行采样；采样的目的是直观的观察出，模型给出的分数从最正常到最异常的变化过程。
8.根据权利要求1所述的疵点检测方法，其特征在于，根据权利要求1所述的疵点检测方法，其特征在于，步骤3中的深度卷积神经网络基于Lenet-5基础上改进，使用5×5的卷积核，采用2×2的最大池化层，同时激活函数的使用改为leaky Relu。
9.根据权利要求1所述的疵点检测方法，其特征在于，步骤5后计算出AUC值，和当前阈值下的混淆矩阵。
10.根据权利要求9所述的疵点检测方法，其特征在于，阈值设置采取的方法是：
得到所有测试样本的异常分数后，计算出所有异常分数的97％分位数作为分界阈值，即大于阈值的异常分数判定为瑕疵样本，小于阈值的异常分数判定为无瑕疵样本。
CN202010339971.4A 2020-04-26 2020-04-26 基于One-Class深度支持向量描述的布匹疵点检测方法 Active CN111709907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010339971.4A CN111709907B (zh) 2020-04-26 2020-04-26 基于One-Class深度支持向量描述的布匹疵点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010339971.4A CN111709907B (zh) 2020-04-26 2020-04-26 基于One-Class深度支持向量描述的布匹疵点检测方法

Publications (2)

Publication Number Publication Date
CN111709907A true CN111709907A (zh) 2020-09-25
CN111709907B CN111709907B (zh) 2023-06-20

Family

ID=72536283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010339971.4A Active CN111709907B (zh) 2020-04-26 2020-04-26 基于One-Class深度支持向量描述的布匹疵点检测方法

Country Status (1)

Country Link
CN (1) CN111709907B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033490A (zh) * 2021-04-23 2021-06-25 山东省计算中心（国家超级计算济南中心） 基于声音信号的工业设备通用故障检测方法及系统
CN113160110A (zh) * 2020-12-17 2021-07-23 郑州金惠计算机系统工程有限公司 一种工业数据异常检测方法、装置、终端设备及存储介质
CN113393451A (zh) * 2021-06-25 2021-09-14 江南大学 一种基于自动机器学习的缺陷检测方法
CN114358064A (zh) * 2021-12-23 2022-04-15 中国人民解放军海军工程大学 一种基于深度支持向量数据描述的干扰检测装置及方法
WO2023015843A1 (zh) * 2021-08-13 2023-02-16 上海商汤智能科技有限公司 异常检测方法、装置、电子设备、计算机可读存储介质、计算机程序及计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030195710A1 (en) * 2002-04-12 2003-10-16 Junker Warren R. Eddy current data union
CN101216436A (zh) * 2008-01-03 2008-07-09 东华大学 一种基于支持向量数据描述理论的织物瑕疵自动检测方法
CN106204543A (zh) * 2016-06-29 2016-12-07 江南大学 基于单分类支持向量机的织物疵点检测方法
CN108010029A (zh) * 2017-12-27 2018-05-08 江南大学 基于深度学习和支持向量数据描述的织物疵点检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030195710A1 (en) * 2002-04-12 2003-10-16 Junker Warren R. Eddy current data union
CN101216436A (zh) * 2008-01-03 2008-07-09 东华大学 一种基于支持向量数据描述理论的织物瑕疵自动检测方法
CN106204543A (zh) * 2016-06-29 2016-12-07 江南大学 基于单分类支持向量机的织物疵点检测方法
CN108010029A (zh) * 2017-12-27 2018-05-08 江南大学 基于深度学习和支持向量数据描述的织物疵点检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160110A (zh) * 2020-12-17 2021-07-23 郑州金惠计算机系统工程有限公司 一种工业数据异常检测方法、装置、终端设备及存储介质
CN113033490A (zh) * 2021-04-23 2021-06-25 山东省计算中心（国家超级计算济南中心） 基于声音信号的工业设备通用故障检测方法及系统
CN113033490B (zh) * 2021-04-23 2023-09-19 山东省计算中心（国家超级计算济南中心） 基于声音信号的工业设备通用故障检测方法及系统
CN113393451A (zh) * 2021-06-25 2021-09-14 江南大学 一种基于自动机器学习的缺陷检测方法
CN113393451B (zh) * 2021-06-25 2024-03-29 江南大学 一种基于自动机器学习的缺陷检测方法
WO2023015843A1 (zh) * 2021-08-13 2023-02-16 上海商汤智能科技有限公司 异常检测方法、装置、电子设备、计算机可读存储介质、计算机程序及计算机程序产品
CN114358064A (zh) * 2021-12-23 2022-04-15 中国人民解放军海军工程大学 一种基于深度支持向量数据描述的干扰检测装置及方法
CN114358064B (zh) * 2021-12-23 2022-06-21 中国人民解放军海军工程大学 一种基于深度支持向量数据描述的干扰检测装置及方法

Also Published As

Publication number Publication date
CN111709907B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111709907A (zh) 基于One-Class深度支持向量描述的布匹疵点检测方法
CN111553193B (zh) 一种基于轻量级深层神经网络的视觉slam闭环检测方法
CN108830188B (zh) 基于深度学习的车辆检测方法
Yang et al. Dfr: Deep feature reconstruction for unsupervised anomaly segmentation
CN113034483B (zh) 基于深度迁移学习的烟支缺陷检测方法
CN111832608B (zh) 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法
Tayeh et al. Distance-based anomaly detection for industrial surfaces using triplet networks
CN112017204A (zh) 一种基于边缘标记图神经网络的刀具状态图像分类方法
CN114612472B (zh) 一种基于SegNet改进的皮革缺陷分割网络算法
CN111950488A (zh) 一种改进的Faster-RCNN遥感图像目标检测方法
CN114463843A (zh) 一种基于深度学习的多特征融合鱼类异常行为检测方法
CN111860106A (zh) 一种无监督的桥梁裂缝识别方法
CN115294033A (zh) 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
Saleh et al. Tire defect detection model using machine learning
KR20240014575A (ko) 안과용 렌즈들의 이미지들의 획득 및 검사
Wayahdi et al. Evaluation of the K-Nearest Neighbor Model With K-Fold Cross Validation on Image Classification
CN114219763A (zh) 基于Faster RCNN算法的配电设备异常发热点红外图片检测方法
CN113177578A (zh) 一种基于lstm的农产品品质分类方法
CN117516939A (zh) 基于改进EfficientNetV2的轴承跨工况故障检测方法及系统
CN115661042A (zh) 一种基于注意力机制指导的分层分类缺陷检测方法
CN115187878A (zh) 基于无人机图像分析的风力发电装置叶片缺陷检测方法
CN110533098B (zh) 一种基于卷积神经网络识别绿通车车厢装载类型的方法
CN114882303A (zh) 一种基于帧过滤和目标检测的牲畜计数方法
Maarouf et al. Transfer learning-based ensemble deep learning for road cracks detection
Racki et al. Towards surface anomaly detection with deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant