CN113793343B - 基于图像的缺陷定位分割方法、系统、终端及存储介质 - Google Patents

基于图像的缺陷定位分割方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN113793343B
CN113793343B CN202110970838.3A CN202110970838A CN113793343B CN 113793343 B CN113793343 B CN 113793343B CN 202110970838 A CN202110970838 A CN 202110970838A CN 113793343 B CN113793343 B CN 113793343B
Authority
CN
China
Prior art keywords
defect
image
preset
detected
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110970838.3A
Other languages
English (en)
Other versions
CN113793343A (zh
Inventor
李波
陈伟锋
刘彬
刘奋成
赵旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Lenovo New Vision Nanchang Artificial Intelligence Industrial Research Institute Co Ltd
Original Assignee
Nanchang Hangkong University
Lenovo New Vision Nanchang Artificial Intelligence Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University, Lenovo New Vision Nanchang Artificial Intelligence Industrial Research Institute Co Ltd filed Critical Nanchang Hangkong University
Priority to CN202110970838.3A priority Critical patent/CN113793343B/zh
Publication of CN113793343A publication Critical patent/CN113793343A/zh
Application granted granted Critical
Publication of CN113793343B publication Critical patent/CN113793343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了本发明提供一种基于图像的缺陷定位分割方法、系统、终端及存储介质，属于工业品缺陷图像识别的技术领域。本发明通过对小批量的缺陷样本图像进行缺陷数据扩增，将扩增的缺陷数据输入至深度学习的自编码器的神经网络进行迭代训练，将迭代训练过程中误差小的网络参数保存固定下来，载入神经网络得到具有预设网络参数的无监督神经网络，将待测缺陷图像的缺陷数据输具有预设网络参数的无监督神经网络，得到该待测缺陷图像的低秩背景图像，将待测缺陷图像和低秩背景图像进行阈值分割，得到所述待测缺陷图像精细化的缺陷分割定位结果。本发明具有速度快、精度高、鲁棒性好和环境适应能力强的优点。

Description

基于图像的缺陷定位分割方法、系统、终端及存储介质
技术领域
本发明属于工业品缺陷图像识别的技术领域，具体地涉及一种基于图像的缺陷定位分割方法、系统、终端及存储介质。
背景技术
工业生产过程中对工业产品进行缺陷检测，以此来加强对工业品的工艺性能和产品质量的把控。传统检测采用人工视觉检测方式，检测速度慢、且大量依靠检验人的主观意见，并不能满足当前大规模、高速化的生产需求。随着计算机技术的发展与普及，因为它的可靠性、高效率和低成本的优势，计算机视觉及其相关图像处理技术已经应用于视觉缺陷检测系统，大多数传统的视觉检测方法可分为四类：基于统计的方法、基于结构的方法、基于光谱的方法和基于模型的方法。然而因上述视觉检测方法总是依赖于人工设计的缺陷特征，对复杂、敏感的生产环境，不是总能够得到良好的表现。
近年来，深度学习神经网络在缺陷检测领域得到了广泛的应用，因为其比传统人工设计的缺陷特征相比，有着强大的提取数据本身深层次特征的能力。但是，许多基于监督的深度学习神经网络方法是采用大量人工标注的缺陷数据，这些缺陷数据不仅在工业生产过程中很少出现，而且人工标注需耗费大量的劳力。
如何解决深度学习神经网络在缺陷检测领域存在的迭代训练中数据单薄及缺陷数据标注的高消耗的问题，是一个亟待解决的课题。
发明内容
为了解决上述技术问题，本发明提供了一种基于图像的缺陷定位分割方法、系统、终端及存储介质，充分利用小批量缺陷样本的缺陷数据进行数据扩增，以解决神经网络迭代训练中数据单薄的问题，且采用深度学习的自编码器神经网络结构，适用于无监督迭代训练以解决缺陷数据标注的高消耗。
本发明实施例提供一种基于图像的缺陷定位分割方法，具体技术方案如下：
一种基于图像的缺陷定位分割方法，其包括：
构建具有预设网络参数的无监督神经网络；
将待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像；
将所述待测缺陷图像与所述低秩背景图像进行阈值分割，获取所述待测缺陷图像精确的分割缺陷位置。
相比现有技术，本发明的方法通过对小批量的缺陷样本图像进行缺陷数据扩增，将扩增的缺陷数据输入至深度学习的自编码器的神经网络进行迭代训练，将迭代训练过程中误差小的网络参数保存固定下来，载入神经网络得到具有预设网络参数神经网络，将待测缺陷图像的缺陷数据输具有预设网络参数神经网络，得到该待测缺陷图像的低秩背景图像，将待测缺陷图像和低秩背景图像进行阈值分割，得到所述待测缺陷图像精细化的缺陷分割定位结果。本发明的方法具有速度快、精度高、鲁棒性好和环境适应能力强的优点，适合用于各种低秩背景的工业产品缺陷部位的精确定位。
较佳地，所述构建具有预设网络参数的无监督神经网络的步骤包括：
获取预设样本量的缺陷样本图像；
将所述缺陷样本图像进行缺陷数据扩增；
组建深度学习的自编码器的神经网络；
将扩增后的所述缺陷数据输入所述神经网络进行迭代训练，获取并固定迭代训练结果为预设误差的网络参数；
将所述网络参数载入所述神经网络，获得具有预设网络参数的无监督神经网络。
较佳地，所述神经网络包括：
编码器，用于将所述缺陷样本图像抽取为深层的特征空间，所述编码器具有三层编码结构，第一层编码结构将所述缺陷样本图像的原始数据通道扩增至第一预设值且维度减半，第二层编码结构将第一层的数据通道扩增双倍且维度减半，第三层编码结构将第二层的数据通道扩增双倍且维度减半；
低秩表示器，用于将所述编码器输出的特征空间进行低秩的压缩表示，所述低秩表示器具有四层表示结构，所述低秩表示器将所述编码器输出的特征空间拉伸成第一预设维度向量，第一层表示结构将所述第一预设维度向量压缩至第二预设维度向量，第二层表示结构将所述第二预设维度向量压缩至第三预设维度向量，第三层表示结构将所述第三预设维度向量还原成所述第二预设维度向量，第四层表示结构将所述第二预设维度向量还原成所述第一预设维度向量，后将所述第一预设维度向量组织成所述编码器输出的特征空间的结构；
解码器，用于将低秩表示器的输出还原成输入图像的背景低秩表示，所述解码器具有三层解码结构，第一层解码结构将所述低秩表示器的输出数据通道压缩至第二预设值且维度翻倍，所述第二层解码结构将所述第一层解码结构的输出数据通道压缩减半且维度翻倍，所述第三层解码结构将所述第二层解码结构的输出数据通道压缩减半且维度翻倍。
较佳地，所述将所述待测缺陷图像与所述低秩背景图像进行阈值分割，获取所述待测缺陷图像精确的分割缺陷位置的步骤包括：
将所述待测缺陷图像与所述低秩背景图像进行比较得一差值，且获取所述待测缺陷图像的粗糙缺陷位置数据；
将所述粗糙缺陷位置数据进行阈值分割，判断所述差值是否大于所述阈值；
若是，则获取的分割缺陷位置位于所述待测缺陷图像的缺陷部分。
较佳地，所述将所述粗糙缺陷位置数据进行阈值分割，判断所述差值是否大于所述阈值的步骤之后，所述方法还包括：
若否，则获取的分割缺陷位置位于所述待测缺陷图像的低秩背景部分。
本发明的另一个实施例提供一种基于图像的缺陷定位分割系统，具体技术方案如下：
一种基于图像的缺陷定位分割系统，其包括：
构建模块：用于构建具有预设网络参数的无监督神经网络；
获取模块：用于将待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像；
定位分割模块：用于将所述待测缺陷图像与所述低秩背景图像进行阈值分割，获取所述待测缺陷图像精确的分割缺陷位置。
相比现有技术，本发明的系统通过所述构建模块对小批量的缺陷样本图像进行缺陷数据扩增，将扩增的缺陷数据输入至深度学习的自编码器的神经网络进行迭代训练，将迭代训练过程中误差小的网络参数保存固定下来，载入神经网络得到具有预设网络参数神经网络；所述获取模块将待测缺陷图像的缺陷数据输具有预设网络参数神经网络，得到该待测缺陷图像的低秩背景图像；所述定位分割模块将待测缺陷图像和低秩背景图像进行阈值分割，得到所述待测缺陷图像精细化的缺陷分割定位结果。本发明的系统具有速度快、精度高、鲁棒性好和环境适应能力强的优点，适合用于各种低秩背景的工业产品缺陷部位的精确定位。
较佳地，所述构建模块包括：
第一获取单元：用于获取预设样本量的缺陷样本图像；
扩增单元：用于将所述缺陷样本图像进行缺陷数据扩增；
组建单元：用于组建深度学习的自编码器的神经网络；
迭代训练单元：用于将扩增后的所述缺陷数据输入所述神经网络进行迭代训练，获取并固定迭代训练结果为预设误差的网络参数；
载入单元：用于将所述网络参数载入所述神经网络，获得具有预设网络参数的无监督神经网络。
较佳地，所述定位分割模块包括：
比较单元：用于将所述待测缺陷图像与所述低秩背景图像进行比较得一差值，且获取所述待测缺陷图像的粗糙缺陷位置数据；
判断单元：用于将所述粗糙缺陷位置数据进行阈值分割，判断所述差值是否大于所述阈值；
第一定位单元：若判断所述差值大于所述阈值，则获取的分割缺陷位置位于所述待测缺陷图像的缺陷部分。
较佳地，所述定位分割模块还包括：
第二定位单元：若判断所述差值小于或等于所述阈值，则获取的分割缺陷位置位于所述待测缺陷图像的低秩背景部分。
本发明的另一个实施例提供一种可读存储介质，其上存储有应用程序，该程序被处理器执行时实现如上述中任意一项所述缺陷定位分割方法的步骤。
本发明的另一个实施例提供一种智能终端设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的应用程序，所述处理器执行所述程序时实现如上述中任意一项所述缺陷定位分割方法的步骤。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的基于图像的缺陷定位分割方法的流程图；
图2为图1流程图中提供的步骤S110的具体流程框图；
图3为工业钢板常见的缺陷图像样本；
图4为图3缺陷图像样本经一次薄板样条变化得到的扩充数据；
图5为图1流程图的实验步骤内容的示例图；
图6为图1流程图中提供的步骤S120的具体流程框图；
图7为图1流程图中提供的步骤S130的具体流程框图；
图8为本发明实施例二提供的基于图像的缺陷定位分割系统的结构框图；
图9为本发明实施例三提供的另一基于图像的缺陷定位分割方法的流程图；
图10为图9流程图中提供的步骤S230的具体流程框图；
图11为本发明实施例四提供的另一基于图像的缺陷定位分割系统的结构框图；
附图标记说明：
10-构建模块、11-第一获取单元、12-扩增单元、13-组建单元、14-迭代训练单元、15-载入单元；
20-获取模块、21-第二获取单元、22-输入单元；
30-定位分割模块、31-比较单元、32-判断单元、33-第一定位单元、34-第二定位单元。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明的实施例，而不能理解为对本发明的限制。
如图1所示，为本发明的实施例一提出的基于图像的缺陷定位分割方法，具体技术方案包括以下步骤：
S110：构建具有预设网络参数的无监督神经网络。
进一步地，如图2所示，所述步骤S110的具体步骤如下：
S111：获取预设样本量的缺陷样本图像；
其中，样本量数量的采集通常以工业产品常见的缺陷样本为参考，具体通过相机拍摄工业产品的缺陷图片，以获取到的工业产品相关缺陷图像，并进行裁剪处理，以使其尺寸符合后续处理所需。
S112：将所述缺陷样本图像进行缺陷数据扩增；
其中，对获得的缺陷图像采用薄板样条函数进行随机的曲线扭曲，以此获得大量的扩增数据，实际中可取合适的扩增倍数，理论上可以得到无数的数据扩增样本。具体实施例步骤如下：
首先，将真彩色的缺陷图像数据集Ia转换成单通道图像数据集Ib。如果原始缺陷图像即为灰度图，则无需转换；如图3所示为工业上钢板生产中常见的缺陷图像样本；
其次：将得到的灰度的缺陷图像进行薄板样条函数扭曲，每个图像都可以得到倍数的扩增，具体函数如下所示：
Figure BDA0003225589440000071
式中，i，j分别为图像的横坐标和纵坐标，t(i,j)表示灰度值，f(i,j)是扭曲函数，λ是正则化平滑值。如图4所示，原始的缺陷图像样本数据经过薄板样条扭曲可以得到新的缺陷图像样本数据，其样式也基本符合自然产生的缺陷。一次薄板样条变换可以扩充一倍数据，理论上，可以利用该变换得到无穷的数据；因此可解决深度学习训练过程中数据不足的问题。
S113：组建深度学习的自编码器的神经网络；
其中，深度学习的自编码器的神经网络具有三个组成成分，分别是编码器、低秩表示器和解码器，如图5所示，其具体设计如下：
首先：构建一个编码器，用于将原始输入的灰度的缺陷图像抽取为深层的特征空间；编码器具有三层结构，第一层将原始数据通道扩增到4而图像维度减半，第二层将第一层的数据通道扩增到8且维度减半，第三层将第二层的数据通道扩增到16同理图像维度减半，所有三层的网络都采用神经网络的卷积操作，卷积核大小为4*4，卷积跨步为2；
其次：构建一个低秩表示器，用于将编码器的输出特征空间进行低秩的压缩表示；低秩表示器具有四层神经网络的全连接层结构组成，先将上述编码器的输出结果拉伸层为一个n维的向量，第一层将该一维向量压缩为64维，第二层再将64维的向量压缩为8维，第三层将8维的向量还原成64维，第四层将第三层的64维向量还原成n维，最后将n维向量组织成编码器输出的特征空间的结构；
再次：构建一个解码器，用于将低秩表示器的输出还原成输入图像的背景低秩表示；解码器具有三层结构，第一层将表示器的输出数据通道压缩到8而图像维度翻倍，第二层将第一层的数据通道压缩到4且维度翻倍，第三层将第二层的数据通道压缩到1同理图像维度翻倍，所有三层的网络都采用神经网络的逆卷积操作，卷积核大小为4*4，卷积跨步为2。
S114：将扩增后的所述缺陷数据输入所述神经网络进行迭代训练，获取并固定迭代训练结果为预设误差的网络参数；
其中，该步骤具体设计如下：
首先：将扩增得到的缺陷图像样本数据输入到深度学习的自编码器的神经网络中，进行迭代训练，设计每一批次输入64个数据，迭代次数为100次，随机初始化神经网络的参数；
其次：将设计的神经网络的输出结果进行软阈值的约束，根据实验数据动态调整阈值，其软阈值约束方程如下：
Figure BDA0003225589440000081
式中X代表原始输入数据，D和E分别代表解码器和编码器，(i,j)代表图像的横纵坐标位置，λ代表的是阈值；如果输入结果与网络输出结果差值小于阈值则认为无偏差设为0,偏差超过一半阈值，则根据大小加上或减去一半阈值；接着将输入数据与输出结果的软阈值约束差值的F范数作为网络结构的误差项，具体的损失函数设计如下：
Figure BDA0003225589440000082
式中，S代表最后的稀疏缺陷值，X代表原始的输入图像，D和E分别是解码器和编码器，λ代表的是对稀疏缺陷1范数的权重约束；
再次：将神经网络的得到的误差进行反向传播，每一层网络结构参数都根据误差值重新更新，设计的参数优化算法为Adam，学习率设置为0.01，每一次迭代中都将软阈值的约束步骤循环5次；记录下每一次迭代得到的误差结果，将误差结果最小的那一代的网络参数保存固定下来。
S115：将所述网络参数载入所述神经网络，获得具有预设网络参数的无监督神经网络。
S120：将待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像；
进一步地，如图6所示，所述步骤S120的具体步骤如下：
S121：获取所述待测缺陷图像；
其中，通过相机拍摄待测工业产品缺陷处的缺陷图片，以获取到的待测工业产品的相关缺陷图像，并进行裁剪处理，以使其尺寸符合后续处理所需。若获取的待测缺陷图像为真彩色，需将真彩色的待测缺陷图像数据集转换成单通道图像数据集，转化成灰度的待测缺陷图像样本数据。
S122：将所述待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像；
其中，针对新的工业产品的缺陷图像检测时，将不再随机初始化神经网络的网络参数，只需把得到待测缺陷图像样本数据的输入到具有预设网络参数神经网络中，通过具有预设网络参数神经网络计算，可直接得到该待测缺陷图像低秩结果。
S130：将所述待测缺陷图像与所述低秩背景图像进行阈值分割，获取所述待测缺陷图像精确的分割缺陷位置；
进一步地，如图7所示，所述步骤S130的具体步骤如下：
S131：将所述待测缺陷图像与所述低秩背景图像进行比较得一差值，且获取所述待测缺陷图像的粗糙缺陷位置数据；
S132：将所述粗糙缺陷位置数据进行阈值分割，判断所述差值是否大于所述阈值；
其中，阈值的设定以获得的所述粗糙缺陷位置数据的平均值为基准；
S133：若是，则获取的分割缺陷位置位于所述待测缺陷图像的缺陷部分。
本实施例采用薄板样条函数对采集到的小批量的缺陷图像样本数据进行数据扩增，使其数据量满足深度学习的自编码器的神经网络，将扩增的数据输入深度学习的自编码器的神经网络，结合传统的低秩表达和深度学习技术方法，迭代训练将神经网络输出误差回传神经网络并更新参数，将迭代训练过程中误差小的网络参数保存固定下来，得到训练所需的具有预设网络参数的神经网络；将待测的缺陷图像样本数据输入具有预设网络参数的神经网络中，会得到关于该待测缺陷图像样本的低秩背景图像，将待测的缺陷图像和低秩背景图像做差值比较，获取粗糙的缺陷位置分割图，对粗糙图进行阈值操作，得到精细化的缺陷分割定位结果。
如图8所示，本发明的实施例二中提供实施例一所述方法相对应的系统的结构框图，所述系统包括：
构建模块10：用于构建具有预设网络参数的无监督神经网络；
获取模块20：用于将待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像；
定位分割模块30：用于将所述待测缺陷图像与所述低秩背景图像进行阈值分割，获取所述待测缺陷图像精确的分割缺陷位置。
进一步地，所述构建模块10包括：
第一获取单元11：用于获取预设样本量的缺陷样本图像；
扩增单元12：用于将所述缺陷样本图像进行缺陷数据扩增；
组建单元13：用于组建深度学习的自编码器的神经网络；
迭代训练单元14：用于将扩增后的所述缺陷数据输入所述神经网络进行迭代训练，获取并固定迭代训练结果为预设误差的网络参数；
载入单元15：用于将所述网络参数载入所述神经网络，获得具有预设网络参数的无监督神经网络。
进一步地，所述获取模块20包括：
第二获取单元21：用于获取所述待测缺陷图像；
输入单元22：将所述待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像。
进一步地，所述定位分割模块30包括：
比较单元31：用于将所述待测缺陷图像与所述低秩背景图像进行比较得一差值，且获取所述待测缺陷图像的粗糙缺陷位置数据；
判断单元32：用于将所述粗糙缺陷位置数据进行阈值分割，判断所述差值是否大于所述阈值；
第一定位单元33：若判断所述差值大于所述阈值，则获取的分割缺陷位置位于所述待测缺陷图像的缺陷部分。
本实施例通过所述扩增单元12对采集到的小批量的缺陷图像样本数据进行数据扩增，使其数据量满足所述组建单元13组建的深度学习的自编码器的神经网络，通过所述迭代训练单元14将扩增的数据输入深度学习的自编码器的神经网络，结合传统的低秩表达和深度学习技术方法，迭代训练将神经网络输出误差回传神经网络并更新参数，经所述载入单元15将迭代训练过程中误差小的网络参数保存固定下来，得到训练所需的具有预设网络参数的神经网络；所述获取模块20将待测的缺陷图像样本数据输入具有预设网络参数的神经网络中，会得到关于该待测缺陷图像样本的低秩背景图像，所述定位分割模块30将待测的缺陷图像和低秩背景图像做差值比较，获取粗糙的缺陷位置分割图，对粗糙图进行阈值操作，得到精细化的缺陷分割定位结果。
如图9所示，为本发明的第三实施例提出的基于图像的缺陷定位分割方法，具体技术方案包括以下步骤：
S210：构建具有预设网络参数的无监督神经网络；
其中，具体的步骤同实施例一的S110，故在此就不一一赘述。
S220：将待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像；
其中，具体的步骤同实施例一的S120，故在此就不一一赘述。
S230：将所述待测缺陷图像与所述低秩背景图像进行阈值分割，获取所述待测缺陷图像精确的分割缺陷位置；
进一步地，如图10所示，所述步骤S230的具体步骤如下：
S231：将所述待测缺陷图像与所述低秩背景图像进行比较得一差值，且获取所述待测缺陷图像的粗糙缺陷位置数据；
S232：将所述粗糙缺陷位置数据进行阈值分割，判断所述差值是否大于所述阈值；
其中，阈值的设定以获得的所述粗糙缺陷位置数据的平均值为基准；
S233：若否，则获取的分割缺陷位置位于所述待测缺陷图像的低秩背景部分。
如图11所示，本发明的实施例四中提供实施例三所述方法相对应的系统的结构框图，所述系统包括：
构建模块10：用于构建具有预设网络参数的无监督神经网络；
获取模块20：用于将待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像；
定位分割模块30：用于将所述待测缺陷图像与所述低秩背景图像进行阈值分割，获取所述待测缺陷图像精确的分割缺陷位置。
进一步地，所述构建模块10包括：
第一获取单元11：用于获取预设样本量的缺陷样本图像；
扩增单元12：用于将所述缺陷样本图像进行缺陷数据扩增；
组建单元13：用于组建深度学习的自编码器的神经网络；
迭代训练单元14：用于将扩增后的所述缺陷数据输入所述神经网络进行迭代训练，获取并固定迭代训练结果为预设误差的网络参数；
载入单元15：用于将所述网络参数载入所述神经网络，获得具有预设网络参数的无监督神经网络。
进一步地，所述获取模块20包括：
第二获取单元21：用于获取所述待测缺陷图像；
输入单元22：将所述待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像。
进一步地，所述定位分割模块30包括：
比较单元31：用于将所述待测缺陷图像与所述低秩背景图像进行比较得一差值，且获取所述待测缺陷图像的粗糙缺陷位置数据；
判断单元32：用于将所述粗糙缺陷位置数据进行阈值分割，判断所述差值是否大于所述阈值；
第二定位单元34：用于若判断所述差值小于或等于所述阈值，则获取的分割缺陷位置位于所述待测缺陷图像的缺陷部分。
本发明实施例还提供了一种可读存储介质，其上存储有应用程序，该程序被处理器执行时实现上述实施例一、三中任意一个基于图像的缺陷定位分割方法的步骤。
本发明实施例还提供了一种智能终端设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的应用程序，所述处理器执行所述程序时实现上述实施例一、三中任意一个基于图像的缺陷定位分割方法的步骤。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于图像的缺陷定位分割方法，其特征在于，包括：
构建具有预设网络参数的无监督神经网络；
将待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像；
将所述待测缺陷图像与所述低秩背景图像进行阈值分割，获取所述待测缺陷图像精确的分割缺陷位置；
其中，所述构建具有预设网络参数的无监督神经网络的步骤包括：
获取预设样本量的缺陷样本图像；
将所述缺陷样本图像进行缺陷数据扩增；
组建深度学习的自编码器的神经网络，具体地，所述神经网络包括：
编码器，用于将所述缺陷样本图像抽取为深层的特征空间，所述编码器具有三层编码结构，第一层编码结构将所述缺陷样本图像的原始数据通道扩增至第一预设值且维度减半，第二层编码结构将第一层的数据通道扩增双倍且维度减半，第三层编码结构将第二层的数据通道扩增双倍且维度减半；
低秩表示器，用于将所述编码器输出的特征空间进行低秩的压缩表示，所述低秩表示器具有四层表示结构，所述低秩表示器将所述编码器输出的特征空间拉伸成第一预设维度向量，第一层表示结构将所述第一预设维度向量压缩至第二预设维度向量，第二层表示结构将所述第二预设维度向量压缩至第三预设维度向量，第三层表示结构将所述第三预设维度向量还原成所述第二预设维度向量，第四层表示结构将所述第二预设维度向量还原成所述第一预设维度向量，后将所述第一预设维度向量组织成所述编码器输出的特征空间的结构；
解码器，用于将低秩表示器的输出还原成输入图像的背景低秩表示，所述解码器具有三层解码结构，第一层解码结构将所述低秩表示器的输出数据通道压缩至第二预设值且维度翻倍，第二层解码结构将所述第一层解码结构的输出数据通道压缩减半且维度翻倍，第三层解码结构将所述第二层解码结构的输出数据通道压缩减半且维度翻倍；
将扩增后的所述缺陷数据输入所述神经网络进行迭代训练，获取并固定迭代训练结果为预设误差的网络参数；
将所述网络参数载入所述神经网络，获得具有预设网络参数的无监督神经网络。
2.根据权利要求1所述的基于图像的缺陷定位分割方法，其特征在于，所述将所述待测缺陷图像与所述低秩背景图像进行阈值分割，获取所述待测缺陷图像精确的分割缺陷位置的步骤包括：
将所述待测缺陷图像与所述低秩背景图像进行比较得一差值，且获取所述待测缺陷图像的粗糙缺陷位置数据；
将所述粗糙缺陷位置数据进行阈值分割，判断所述差值是否大于所述阈值；
若是，则获取的分割缺陷位置位于所述待测缺陷图像的缺陷部分。
3.根据权利要求2所述的基于图像的缺陷定位分割方法，其特征在于，所述将所述粗糙缺陷位置数据进行阈值分割，判断所述差值是否大于所述阈值的步骤之后，所述方法还包括：
若否，则获取的分割缺陷位置位于所述待测缺陷图像的低秩背景部分。
4.一种基于图像的缺陷定位分割系统，其特征在于，包括：
构建模块：用于构建具有预设网络参数的无监督神经网络；
获取模块：用于将待测缺陷图像的缺陷数据输入所述无监督神经网络，直接获取所述待测缺陷图像的低秩背景图像；
定位分割模块：用于将所述待测缺陷图像与所述低秩背景图像进行阈值分割，获取所述待测缺陷图像精确的分割缺陷位置；
其中，所述构建模块包括：
第一获取单元：用于获取预设样本量的缺陷样本图像；
扩增单元：用于将所述缺陷样本图像进行缺陷数据扩增；
组建单元：用于组建深度学习的自编码器的神经网络，具体地，所述神经网络包括：
编码器，用于将所述缺陷样本图像抽取为深层的特征空间，所述编码器具有三层编码结构，第一层编码结构将所述缺陷样本图像的原始数据通道扩增至第一预设值且维度减半，第二层编码结构将第一层的数据通道扩增双倍且维度减半，第三层编码结构将第二层的数据通道扩增双倍且维度减半；
低秩表示器，用于将所述编码器输出的特征空间进行低秩的压缩表示，所述低秩表示器具有四层表示结构，所述低秩表示器将所述编码器输出的特征空间拉伸成第一预设维度向量，第一层表示结构将所述第一预设维度向量压缩至第二预设维度向量，第二层表示结构将所述第二预设维度向量压缩至第三预设维度向量，第三层表示结构将所述第三预设维度向量还原成所述第二预设维度向量，第四层表示结构将所述第二预设维度向量还原成所述第一预设维度向量，后将所述第一预设维度向量组织成所述编码器输出的特征空间的结构；
解码器，用于将低秩表示器的输出还原成输入图像的背景低秩表示，所述解码器具有三层解码结构，第一层解码结构将所述低秩表示器的输出数据通道压缩至第二预设值且维度翻倍，第二层解码结构将所述第一层解码结构的输出数据通道压缩减半且维度翻倍，第三层解码结构将所述第二层解码结构的输出数据通道压缩减半且维度翻倍；
迭代训练单元：用于将扩增后的所述缺陷数据输入所述神经网络进行迭代训练，获取并固定迭代训练结果为预设误差的网络参数；
载入单元：用于将所述网络参数载入所述神经网络，获得具有预设网络参数的无监督神经网络。
5.根据权利要求4所述的基于图像的缺陷定位分割系统，其特征在于，所述定位分割模块包括：
比较单元：用于将所述待测缺陷图像与所述低秩背景图像进行比较得一差值，且获取所述待测缺陷图像的粗糙缺陷位置数据；
判断单元：用于将所述粗糙缺陷位置数据进行阈值分割，判断所述差值是否大于所述阈值；
第一定位单元：用于若判断所述差值大于所述阈值，则获取的分割缺陷位置位于所述待测缺陷图像的缺陷部分。
6.一种可读存储介质，其上存储有应用程序，其特征在于，该程序被处理器执行时实现如权利要求1～3中任意一项所述的缺陷定位分割方法的步骤。
7.一种智能终端设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的应用程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～3中任意一项所述的缺陷定位分割方法的步骤。
CN202110970838.3A 2021-08-23 2021-08-23 基于图像的缺陷定位分割方法、系统、终端及存储介质 Active CN113793343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110970838.3A CN113793343B (zh) 2021-08-23 2021-08-23 基于图像的缺陷定位分割方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110970838.3A CN113793343B (zh) 2021-08-23 2021-08-23 基于图像的缺陷定位分割方法、系统、终端及存储介质

Publications (2)

Publication Number Publication Date
CN113793343A CN113793343A (zh) 2021-12-14
CN113793343B true CN113793343B (zh) 2023-06-06

Family

ID=78876338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110970838.3A Active CN113793343B (zh) 2021-08-23 2021-08-23 基于图像的缺陷定位分割方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113793343B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958049B (zh) * 2023-06-15 2024-07-02 湖南视比特机器人有限公司 一种基于深度学习的汽车漆面缺陷自动检测方法及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222784A (zh) * 2019-06-13 2019-09-10 郑州轻工业学院 融合短时和长时深度特征的太阳能电池片缺陷检测方法
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN112766110A (zh) * 2021-01-08 2021-05-07 重庆创通联智物联网有限公司 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN113256623A (zh) * 2021-06-29 2021-08-13 南昌工程学院 一种基于改进mask rcnn的fpc缺陷检测方法
CN113256629A (zh) * 2021-07-05 2021-08-13 之江实验室 一种图像标定错误检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN110222784A (zh) * 2019-06-13 2019-09-10 郑州轻工业学院 融合短时和长时深度特征的太阳能电池片缺陷检测方法
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN112766110A (zh) * 2021-01-08 2021-05-07 重庆创通联智物联网有限公司 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN113256623A (zh) * 2021-06-29 2021-08-13 南昌工程学院 一种基于改进mask rcnn的fpc缺陷检测方法
CN113256629A (zh) * 2021-07-05 2021-08-13 之江实验室 一种图像标定错误检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑秋玉.基于低秩表示和稀疏自动编码器的情绪识别研究.《齐鲁工业大学学报》.2020,第36卷(第06期),全文. *

Also Published As

Publication number Publication date
CN113793343A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
US20200134382A1 (en) Neural network training utilizing specialized loss functions
CN111275660B (zh) 一种平板显示器缺陷检测方法及装置
CN113091872B (zh) 一种诊断故障传感器的方法与装置
CN113536963B (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
CN111179263B (zh) 一种工业图像表面缺陷检测模型、方法、系统及装置
US11715288B2 (en) Optical character recognition using specialized confidence functions
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
CN116030237A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
CN113793343B (zh) 基于图像的缺陷定位分割方法、系统、终端及存储介质
CN117218029B (zh) 基于神经网络的夜间暗光图像智能处理方法
CN114926441A (zh) 一种注塑件加工成型的缺陷检测方法及系统
CN118279304B (zh) 基于图像处理的异型金属件异常识别方法、装置及介质
CN117197048B (zh) 一种船舶水尺读数检测方法、装置及设备
CN113313179A (zh) 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法
CN117636045A (zh) 基于图像处理的木材缺陷检测系统
CN116740460A (zh) 一种基于卷积神经网络的pcb缺陷检测系统及检测方法
CN113051901B (zh) 一种身份证文本识别方法、系统、介质及电子终端
CN115953790A (zh) 一种标签检测识别方法与系统
CN114998222A (zh) 汽车差速器壳体表面检测方法、电子设备及介质
Sheng et al. Fuzzy preprocessing and clustering analysis method of underwater multiple targets in forward looking sonar image for AUV tracking
CN118196100B (zh) 一种基于和面机的面团检测装置及检测方法
CN116433747B (zh) 一种竹筒壁厚的检测模型构建方法及检测装置
CN113610855B (zh) 图像分割模型训练方法、分割方法、系统、装置及介质
CN118071749B (zh) 一种钢材表面缺陷检测模型的训练方法及系统
CN117095208B (zh) 一种面向光电吊舱侦察图像的轻量化场景分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant