CN113706465A - 基于深度学习的笔类缺陷检测方法、计算设备和存储介质 - Google Patents

基于深度学习的笔类缺陷检测方法、计算设备和存储介质 Download PDF

Info

Publication number
CN113706465A
CN113706465A CN202110834595.0A CN202110834595A CN113706465A CN 113706465 A CN113706465 A CN 113706465A CN 202110834595 A CN202110834595 A CN 202110834595A CN 113706465 A CN113706465 A CN 113706465A
Authority
CN
China
Prior art keywords
data
pen
tested
model
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110834595.0A
Other languages
English (en)
Other versions
CN113706465B (zh
Inventor
王毅
金峻臣
张皓霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Deepthink Technology Co ltd
Original Assignee
Hangzhou Deepthink Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Deepthink Technology Co ltd filed Critical Hangzhou Deepthink Technology Co ltd
Priority to CN202110834595.0A priority Critical patent/CN113706465B/zh
Publication of CN113706465A publication Critical patent/CN113706465A/zh
Application granted granted Critical
Publication of CN113706465B publication Critical patent/CN113706465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本申请公开了基于深度学习的笔类缺陷检测方法，包括：获取待测笔部件图像数据并按照预处理，得到预处理数据集，包括：第一路数据、第二路数据和第三路数据；将第一路数据以第一模型处理生成第一决策数据，所述第一决策数据指示该待测笔部件是否为异常件而无法判断为瑕疵件时，触发第二路数据处理步骤；将第二路数据以第二模型处理生成第二决策数据，所述第二决策数据指示该待测笔部件为瑕疵件的概率，当该概率未达到判断为瑕疵件的概率值，触发第三路数据处理步骤；将第三路数据以第三模型处理生成第三决策数据，所述第三决策数据指示该待测笔部件为瑕疵件的特征值，当该特征值达到阈值，输出瑕疵件数据，本发明降低笔类工件极低误检率和漏检率。

Description

基于深度学习的笔类缺陷检测方法、计算设备和存储介质
技术领域
本申请涉及工业检测技术领域，尤其涉及基于深度学习的笔类缺陷检测方法、计算设备和存储介质。
背景技术
随着科技的进步，现代生产过程中的自动化程度不断提高，工业制造的产能大幅度提升，由于生产所带来的瑕疵不可避免，为了提高良品率，针对工业制造件的检测要求也不断提高。传统的人工检测不仅需要投入大量的人力和物力，且人工检测时的可控性较差，还会造成误检和漏检。
现有技术中，大多通过光源照射装置或抽检，或者结合特定角度的视觉采集装置，对工业制造件缺陷进行检测。
然而，由于图像采集设备和算法的匮乏，对于图像难于采集、精准度要求高的场景，而还未有成熟的解决方案，传统的机器视觉无法适应该场景。
发明内容
本申请实施例提供基于深度学习的笔类缺陷检测方法、计算设备和存储介质，用以解决多领域工业制造件瑕疵检测误检率和漏检率高的问题。
第一方面，本申请实施例提供一种基于深度学习的瑕疵检测，该方法包括：
一种基于深度学习的笔类缺陷检测方法，包括：
获取待测笔部件图像数据并按照预处理，得到预处理数据集，包括：第一路数据、第二路数据和第三路数据；
将第一路数据以第一模型处理生成第一决策数据，所述第一决策数据指示该待测笔部件是否为异常件而无法判断为瑕疵件时，触发第二路数据处理步骤；
将第二路数据以第二模型处理生成第二决策数据，所述第二决策数据指示该待测笔部件为瑕疵件的概率，当该概率未达到判断为瑕疵件的概率值，触发第三路数据处理步骤；
将第三路数据以第三模型处理生成第三决策数据，所述第三决策数据指示该待测笔部件为瑕疵件的特征值，当该特征值达到阈值，输出瑕疵件数据。
优选地，将第三路数据以第三模型处理生成第三决策数据，具体实现为：
统计所述第三路数据的特征数据，所述特征数据携带检测位掩码；
根据所述检测位掩码计算所述检测位的像素数据；
判断所述像素数是否达到瑕疵件阈值。
将第一路数据以第一模型处理生成第一决策数据具体实现为：
获取待测笔部件图像数据并进行按照第一预设规则对其进行编码，得到第一待测数据集；
对所述第一待测数据集解码后，按照第二预设规则编码获得第二待测数据；
运用第一模型提取测件图像数据潜在空间差值与阈值比较；
当潜在空间差值超出该阈值时，输出指示异常件的检测数据。
优选地，第一模型生成步骤，包括：
获取无瑕疵待测笔部件图像数据并按照第一预设规则对所述图像数据进行编码，得到第一数据集；
对所述第一数据集解码后，按照第二预设规则编码获得第二数据集；
分别由第一数据集和第二数据集的潜在空间作为训练数据训练生成对抗模型。
优选地，获取无瑕疵待测笔部件图像数据前还包括：图像数据预处理步骤，
采集无瑕疵待测笔部件原始图像作为训练数据集，通过像素预处理、旋转和镜像反转，得到所述无瑕疵待测笔部件图像数据。
优选地，本发明的方法还包括：采用损失函数对所述对抗模型进行优化。
优选地，将第二路数据以第二模型处理生成第二决策数据，具体实现为：
获取待测笔部件图像数据，运用第二模型，根据所述输出指示异常件的检测数据，对所述异常件的检测数据进行瑕疵概率值输出。
优选地，本发明的方法还包括：第二模型生成步骤，包括：
获取无瑕疵待测笔部件图像数据和瑕疵待测笔部件图像数据；
通过卷积网络所述瑕疵待测笔部件图像数据的特征图；
将特征图输入至概率函数进行训练，生成所述第二模型。
优选地获取无瑕疵待测笔部件图像数据和瑕疵待测笔部件图像数据前还包括：
采集无瑕疵待测笔部件原始图像和瑕疵待测笔部件原始图像数据作为训练数据集，通过像素预处理、旋转和镜像反转，得到所述无瑕疵待测笔部件图像数据和所述瑕疵待测笔部件图像。
优选地，将第三路数据以第三模型处理生成第三决策数据包括：
获取待测笔部件图像数据，运用分割算法模型，根据所述瑕疵概率值输出值，对所述异常件的检测数据进行瑕疵工件数据输出。
优选地，本发明的方法还包括：第三模型训练步骤，包括：
获取待测笔部件图像数据；
通过残差模型提取所述待测笔部件图像数据的特征图；
将特征图输入至标记有待测笔部件图像瑕疵判断目标部位的全卷积网络中进行训练，生成所述第三模型。
优选地，本发明的方法还包括：采用损失函数优化所述第三模型。
本申请另一实施例还提供了一种计算设备，包括至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例提供的任一基于深度学习的笔类缺陷检测方法。
本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中的任一基于深度学习的笔类缺陷检测方法。
本申请实施例提供的基于深度学习的笔类缺陷检测方法、计算设备和存储介质，针对多领域工业制造件瑕疵检测误检率和漏检率高的问题，通过对异常件的检测、预测瑕疵概率和瑕疵笔类工件数据输出多流程配合，且运用深度学习的方式，保证了大数据量级的笔类工件极低误检率和漏检率的技术效果。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1a为本申请实施例中的基于深度学习的笔类缺陷检测方法的流程示意图；
图1b为本申请实施例中的基于深度学习的笔类缺陷检测方法的第三决策数据流程示意图；
图1c为本申请实施例中的基于深度学习的笔类缺陷检测方法的数据流程示意图；
图1d为本申请实施例中的基于深度学习的笔类缺陷检测方法的笔类图片示意图。
图2a为本申请实施例中的基于深度学习的笔类缺陷检测方法中第一模型生成步骤的流程示意图；
图2b为本申请实施例中的基于深度学习的笔类缺陷检测方法中将第二路数据以第二模型处理生成第二决策数据的流程示意图；
图2c为本申请实施例中的基于深度学习的笔类缺陷检测方法中第二模型生成步骤，的流程示意图；
图3为本申请实施例中的基于深度学习的笔类缺陷检测方法的第三模型训练流程示意图；
图4为基于本申请实施方式的计算设备的结构示意图。
具体实施方式
为了进行信息推广，本申请实施例中提供一种基于深度学习的笔类缺陷检测方法、计算设备和存储介质。为了更好的理解本申请实施例提供的技术方案，这里对该方案的重要概念基本做一下简单说明：
漏检率：漏检比率是指AI在检验事件中未发现的不合格品占据当次检验批次总数量的百分比。
深度学习：深度学习是机器学习中一种基于对数据进行表征学习的方法。
生成式对抗网络：生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。
卷积神经网络：卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。
分割网络：在图像分割中，对图像中的不同目标进行分类，并确定其边界。
本发明的适用具有内外圆的部件内圆瑕疵、外圆瑕疵等笔类瑕疵检测方向，特别适用于笔类笔帽瑕疵件的检测。
为了便于理解及举例方便，本发明实施例解决笔帽垫片的缺陷检测，当然该发明的方法也适用于其他产品类似问题的缺陷的检测。
现有笔帽的生产质检，特别是中性笔的笔帽的缺陷，主要是内部的垫片的缺陷检测，目前需要大量的人工来做缺陷检测，而且由于笔帽内部较深，且检测目标小，通过人工检测缺陷难度非常大。
下面结合参照附图对本申请实施例提供的基于深度学习的笔类缺陷检测方法作进一步说明，
参考图1a，实现步骤包括：
S111:获取待测笔部件图像数据并按照预处理，得到预处理数据集，包括：第一路数据、第二路数据和第三路数据；
将第一路数据、第二路数据和第三路数据依次记为I1,I2,I3；
将第一决策数据、第二决策数据和第三决策数据依次记为：O1,O2,O3；
S112:将第一路数据以第一模型处理生成第一决策数据，所述第一决策数据指示该待测笔部件是否为异常件而无法判断为瑕疵件时，触发第二路数据处理步骤；
S113:将第二路数据以第二模型处理生成第二决策数据，所述第二决策数据指示该待测笔部件为瑕疵件的概率，当该概率未达到判断为瑕疵件的概率值，触发第三路数据处理步骤；
S114:将第三路数据以第三模型处理生成第三决策数据，所述第三决策数据指示该待测笔部件为瑕疵件的特征值，当该特征值达到阈值，输出瑕疵件数据。
首先通过第一模型输出O1，若O1值高于阈值T1-bad，则直接判断为坏笔帽，若O1值低于阈值T1-good，则直接判断为好笔帽；
对于O1值在T1-bad到T1-good之间的情况，通过第二模型输出O2，若O2值高于阈值T2-bad，则直接判断为坏笔帽，若O2值低于阈值T2-good，则直接判断为好笔帽；
若结果不属于上述情况，则通过第三模型输出O3＝{S1,S2,S3,S4}，若
O3值低于阈值T3，则直接判断为坏笔帽，反之则判断为好笔帽。其中T1,T2与T3的参数根据实际调整。
参考图1b进行进一步说明，将第三路数据以第三模型处理生成第三决策数据，具体实现为：
S121:统计所述第三路数据的特征数据，所述特征数据携带检测位掩码；
参考图1d的笔帽内部图像，输入图像第三路数据I3，统计后得到该I3中笔帽中目标孔隙的掩码，即特征数据。具体地，根据笔帽的不同类型和不同检测位，掩码与检测位一一对应，比如，如笔帽内检测位有4个孔隙，所述掩码具体为4个孔的坐标位置。
S122:根据所述检测位掩码计算所述检测位的像素数据；
如笔帽内检测位有4个孔隙，对每个孔隙掩码进行像素统计，得到每个孔隙的像素面积，记为O3＝{S1,S2,S3,S4}用于后续判断，Sn越大表示孔隙面积较小，表示孔隙越狭窄，缺陷的可能性越大。
S123:判断所述像素数是否达到瑕疵件阈值。
通过检测算法模块3输出O3＝{S1,S2,S3,S4}，若存某一区域像素面积Sn低于阈值T3，则直接判断为坏笔帽，反之则判断为好笔帽。
本发明实施例：利用深度学习的生成式对抗网络、卷积神经网络、分割网络等，对工业相机采集的笔帽的2D图像进行运算，对获取的结果通过算法进行组合判断，达到对于笔类工件缺陷的精准识别。
基于以上图1b的说明，进一步参考图1c，其是基于深度学习的笔类缺陷检测方法的流程示意图，将第一路数据以第一模型处理生成第一决策数据具体实现步骤：
S131:获取待测笔部件图像数据并进行按照第一预设规则对其进行编码，得到第一待测数据集；
获取无瑕疵待测笔部件图像数据前还执行图像数据预处理步骤，采集无瑕疵待测笔部件原始图像作为训练数据集，通过像素预处理、旋转和镜像反转，得到所述无瑕疵待测笔部件图像数据。
S132:对所述第一待测数据集解码后，按照第二预设规则编码获得第二待测数据；
S133:运用第一模型提取测件图像数据潜在空间差值与阈值比较。
参考图2a，所述第一模型生成步骤，包括：
S211:获取无瑕疵待测笔部件图像数据并按照第一预设规则对所述图像数据进行编码，得到第一数据集；
S212:对所述第一数据集解码后，按照第二预设规则编码获得第二数据集；
S213:分别由第一数据集和第二数据集的潜在空间作为训练数据训练生成对抗模型。
作为举例，并不局限地，本对抗模型可输入图像I1，通过编码器解码器提取样本的特征；所述编码器解码器主要通过卷积操作与激活函数组成，图像数据进入编码器得到潜在向量；
所述潜在向量进入解码器得到图像数据I1的重构数据；
输入图像I1与重构数据y，进入判别器；
重构数据进入编码器后输出潜在变量而最终归一化得到输出值O1(作为举例，O1位于[0,1]之间)。
优选地，采用损失函数对所述对抗模型进行优化。
在反向传播训练中采用第一损失函数“对抗损失”在衡量并优化特征层面上真实图像与生成图像之间的差距；采用第二损失函数“上下文损失”在衡量并优化像素层面上真实图像与生成图像之间的差距；同时采用损失函数“编码损失”来优化模型，旨在衡量并优化编码与再编码两次潜在变量之间的的差距。
S134:当潜在空间差值超出该阈值时，输出指示异常件的检测数据。
对于无瑕疵待测笔部件图像数据编码解码再编码后得到的潜在空间和第一次编码得到的潜在空间的变化差距理论值较小。对于通过无瑕疵待测笔部件图像数据训练得到的生成对抗网络模型，输入瑕疵待测笔部件笔帽图像数据时，通过编码解码再编码得到的潜在空间发生较大，当这种改变超出阈值时，即可以判断为瑕疵工件。
然而，需要说明的是，当第一决策数据，即：可能为瑕疵见的异常检测数据，指示的值不足以判断待测笔部件是否是超出工件瑕疵判断指标的数值时，也就是是否断定该异常件为瑕疵工件，则需要借助第二决策数据完成概率推测再作出精准判断。
进一步地，图2b示出了将第二路数据以第二模型处理生成第二决策数据的步骤，包括：
S221:获取待测笔部件图像数据；
采集无瑕疵待测笔部件原始图像和瑕疵待测笔部件原始图像数据作为训练数据集，通过像素预处理(优选训练图像的尺度为256x256，并不局限)、旋转和镜像反转，得到所述无瑕疵待测笔部件图像数据和所述瑕疵待测笔部件图像。
S222:运用第二模型根据所述输出指示异常件的检测数据，对所述异常件的检测数据进行瑕疵概率值输出。
参考图2c，第二模型生成步骤，包括：
S231:获取无瑕疵待测笔部件图像数据和瑕疵待测笔部件图像数据；
S232:通过卷积网络所述瑕疵待测笔部件图像数据的特征图；
S233:将特征图输入至概率函数进行训练，生成所述第二模型。
可选地，运用五层卷积层(包括卷积操作，ReLU激活函数与最大值池化)来提取图像的特征图，特征图经过dropout，线性函数与sigmoid函数输出瑕疵出现概率值O2(作为举例，O2位于[0,1]之间)。
作为优选，采用损失函数“二分类交叉熵”优化所述第二模型。
具体地，损失函数“二分类交叉熵”来优化模型，旨在衡量并优化预测概率与真实结果之间的差距，训练好的第二模型成为检测算法模块2，记为A2，输入图像I2，输出值O2＝A2(I2)反映了该输入图像I2出现瑕疵的概率值，值越高表示该图像出现瑕疵的可能性越高。
在第二决策数据输出后，如因为不同领域对于瑕疵待测笔部件的精度要求和瑕疵目标部位的特殊性，而仍然无法达到判断是否为瑕疵工件时，参考图1c的具体说明，通过对第三决策数据的判断，得到是否为瑕疵工件的判定结果。
参考图3，作为第三模型训练的一种实现方法，包括：
S31:获取待测笔部件图像数据；
S32:通过残差模型提取所述待测笔部件图像数据的特征图；
S33:将特征图输入至标记有待测笔部件图像瑕疵判断目标部位的全卷积网络中进行训练，生成所述第三模型。
根据待测笔类的性质，工件的尺寸和不同的形状，对图像进行基于网络或坐标的分割，同时配合瑕疵概率较高的部位和瑕疵类型，划定重点检测区域，如全卷机网络训练后得到可匹配相应模型参数。
以上实现方式作为模型训练的举例在此说明，但并不作为限制本发明范围的条件。
优选地，采用损失函数优化所述第三模型，作为举例：采用平均二值交叉熵损失函数、BCEloss损失函数“二分类交叉熵”、损失函数Lbox来优化模型，旨在衡量并优化真实数据与预测数据之间的差距。
S312:根据所述瑕疵概率值输出值，对所述异常件的检测数据进行瑕疵工件数据输出。
该异常件的检测数据通过多模型验证和判断，相对于现有技术，具有更为可靠、精准和完整的实现流程。异常件的检测、预测瑕疵概率和瑕疵笔类工件数据输出多流程配合，且运用深度学习的方式，大数据量级的工件极低误检率和漏检率。
本发明还披露了一种计算机可读介质，存储有计算机可执行指令，所述计算机可执行指令用于执行以上实施例所述的方法。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明还披露了一种计算装置，下面参照图4来描述根据本申请的这种实施方式的计算装置40。图4显示的计算装置40仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算装置40以通用计算设备的形式表现。计算装置40的组件可以包括但不限于：上述至少一个处理器41、上述至少一个存储器42、连接不同系统组件(包括存储器42和处理器41)的总线43。
总线43表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器42可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)421和/或高速缓存存储器422，还可以进一步包括只读存储器(ROM)423。
存储器42还可以包括具有一组(至少一个)程序模块424的程序/实用工具425，这样的程序模块424包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置40也可以与一个或多个外部设备44(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置40交互的设备通信，和/或与使得该计算装置40能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口45进行。并且，计算装置40还可以通过网络适配器46与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器46通过总线43与用于计算装置40的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
综上所述：
本申请公开了一种基于深度学习的笔类缺陷检测方法、计算设备和存储介质，所述方法包括：获取待测笔部件图像数据并进行按照第一预设规则对其进行编码，得到第一待测数据集；对所述第一待测数据集解码后，按照第二预设规则编码获得第二待测数据；运用第一模型提取测件图像数据潜在空间差值与阈值比较；当潜在空间差值超出该阈值时，输出指示异常件的检测数据本申请实施例提供的基于深度学习的笔类缺陷检测方法、计算设备和存储介质，针对多领域工业制造件瑕疵检测误检率和漏检率高的问题，通过对异常件的检测、预测瑕疵概率和瑕疵笔类工件数据输出多流程配合，且运用深度学习的方式，保证了大数据量级的工件极低误检率和漏检率的技术效果。
在一些可能的实施方式中，本申请提供的基于深度学习的笔类缺陷检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的待验证信息的加密方法和/或待验证信息的验证方法中的步骤，例如，计算机设备可以执行如图1中所示的步骤11-13。
在一些可能的实施方式中，根据本申请的计算装置可以至少包括至少一个处理器、以及至少一个存储器(如前述的第一服务器)。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的系统权限开启方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于系统权限开启的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种基于深度学习的笔类缺陷检测方法，其特征在于，包括：
获取待测笔部件图像数据并按照预处理，得到预处理数据集，包括：第一路数据、第二路数据和第三路数据；
将第一路数据以第一模型处理生成第一决策数据，所述第一决策数据指示该待测笔部件是否为异常件而无法判断为瑕疵件时，触发第二路数据处理步骤；
将第二路数据以第二模型处理生成第二决策数据，所述第二决策数据指示该待测笔部件为瑕疵件的概率，当该概率未达到判断为瑕疵件的概率值，触发第三路数据处理步骤；
将第三路数据以第三模型处理生成第三决策数据，所述第三决策数据指示该待测笔部件为瑕疵件的特征值，当该特征值达到阈值，输出瑕疵件数据。
2.根据权利要求1所述的方法，其特征在于，将第三路数据以第三模型处理生成第三决策数据，具体实现为：
统计所述第三路数据的特征数据，所述特征数据携带检测位掩码；
根据所述检测位掩码计算所述检测位的像素数据；
判断所述像素数是否达到瑕疵件阈值。
3.根据权利要求1所述的方法，其特征在于，将第一路数据以第一模型处理生成第一决策数据具体实现为：
获取待测笔部件图像数据并进行按照第一预设规则对其进行编码，得到第一待测数据集；
对所述第一待测数据集解码后，按照第二预设规则编码获得第二待测数据；
运用第一模型提取测件图像数据潜在空间差值与阈值比较；
当潜在空间差值超出该阈值时，输出指示异常件的检测数据。
4.根据权利要求1所述的方法，其特征在于，还包括：第一模型生成步骤，包括：
获取无瑕疵待测笔部件图像数据并按照第一预设规则对所述图像数据进行编码，得到第一数据集；
对所述第一数据集解码后，按照第二预设规则编码获得第二数据集；
分别由第一数据集和第二数据集的潜在空间作为训练数据训练生成对抗模型。
5.根据权利要求4中所述的方法，其特征在于，获取无瑕疵待测笔部件图像数据前还包括：图像数据预处理步骤，
采集无瑕疵待测笔部件原始图像作为训练数据集，通过像素预处理、旋转和镜像反转，得到所述无瑕疵待测笔部件图像数据。
6.根据权利要求3-5任一项所述的方法，其特征在于，将第二路数据以第二模型处理生成第二决策数据，具体实现为：
获取待测笔部件图像数据，运用第二模型，根据所述输出指示异常件的检测数据，对所述异常件的检测数据进行瑕疵概率值输出。
7.根据权利要求6所述的方法，其特征在于，还包括：第二模型生成步骤，包括：
获取无瑕疵待测笔部件图像数据和瑕疵待测笔部件图像数据；
通过卷积网络所述瑕疵待测笔部件图像数据的特征图；
将特征图输入至概率函数进行训练，生成所述第二模型。
8.根据权利要求7所述的方法，其特征在于，获取无瑕疵待测笔部件图像数据和瑕疵待测笔部件图像数据前还包括：
采集无瑕疵待测笔部件原始图像和瑕疵待测笔部件原始图像数据作为训练数据集，通过像素预处理、旋转和镜像反转，得到所述无瑕疵待测笔部件图像数据和所述瑕疵待测笔部件图像。
9.根据权利要求1-2任一项所述的方法，其特征在于，还包括：第三模型训练步骤，包括：
获取待测笔部件图像数据；
通过残差模型提取所述待测笔部件图像数据的特征图；
将特征图输入至标记有待测笔部件图像瑕疵判断目标部位的全卷积网络中进行训练，生成所述第三模型。
10.一种计算机可读介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1-9中任一权利要求所述的方法。
11.一种计算设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-9中任一权利要求所述的方法。
CN202110834595.0A 2021-07-22 2021-07-22 基于深度学习的笔类缺陷检测方法、计算设备和存储介质 Active CN113706465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110834595.0A CN113706465B (zh) 2021-07-22 2021-07-22 基于深度学习的笔类缺陷检测方法、计算设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110834595.0A CN113706465B (zh) 2021-07-22 2021-07-22 基于深度学习的笔类缺陷检测方法、计算设备和存储介质

Publications (2)

Publication Number Publication Date
CN113706465A true CN113706465A (zh) 2021-11-26
CN113706465B CN113706465B (zh) 2022-11-15

Family

ID=78650286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110834595.0A Active CN113706465B (zh) 2021-07-22 2021-07-22 基于深度学习的笔类缺陷检测方法、计算设备和存储介质

Country Status (1)

Country Link
CN (1) CN113706465B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583223A (zh) * 2020-05-07 2020-08-25 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN111598827A (zh) * 2019-02-19 2020-08-28 富泰华精密电子（郑州）有限公司 外观瑕疵检测方法、电子装置及存储介质
CN111862064A (zh) * 2020-07-28 2020-10-30 桂林电子科技大学 一种基于深度学习的银质丝材表面瑕疵识别方法
CN111915549A (zh) * 2019-05-09 2020-11-10 富泰华工业（深圳）有限公司 瑕疵检测方法、电子装置及计算机可读存储介质
CN112907561A (zh) * 2021-03-16 2021-06-04 中科海拓(无锡)科技有限公司 一种基于深度学习的笔记本外观瑕疵检测方法
WO2021137745A1 (en) * 2019-12-30 2021-07-08 Unibap Ab A method for detection of imperfections in products

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598827A (zh) * 2019-02-19 2020-08-28 富泰华精密电子（郑州）有限公司 外观瑕疵检测方法、电子装置及存储介质
CN111915549A (zh) * 2019-05-09 2020-11-10 富泰华工业（深圳）有限公司 瑕疵检测方法、电子装置及计算机可读存储介质
WO2021137745A1 (en) * 2019-12-30 2021-07-08 Unibap Ab A method for detection of imperfections in products
CN111583223A (zh) * 2020-05-07 2020-08-25 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN111862064A (zh) * 2020-07-28 2020-10-30 桂林电子科技大学 一种基于深度学习的银质丝材表面瑕疵识别方法
CN112907561A (zh) * 2021-03-16 2021-06-04 中科海拓(无锡)科技有限公司 一种基于深度学习的笔记本外观瑕疵检测方法

Also Published As

Publication number Publication date
CN113706465B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN113920053A (zh) 基于深度学习的瑕疵检测方法、计算设备和存储介质
CN112016500A (zh) 基于多尺度时间信息融合的群体异常行为识别方法及系统
CN116300691B (zh) 一种多轴联动数控加工的状态监测方法及系统
Chang et al. A deep learning-based weld defect classification method using radiographic images with a cylindrical projection
CN114445746A (zh) 模型训练方法、铁路接触网异常检测方法及相关装置
CN114170184A (zh) 一种基于嵌入特征向量的产品图像异常检测方法及装置
CN113947597B (zh) 一种基于屏蔽重建的工业缺陷检测方法、装置及介质
CN113344903A (zh) 一种基于变分自编码器的玻璃瑕疵检测方法
CN114898466A (zh) 一种面向智慧工厂的视频动作识别方法及系统
CN115661160B (zh) 一种面板缺陷检测方法及系统及装置及介质
Cao et al. Unsupervised defect segmentation of magnetic tile based on attention enhanced flexible U-Net
CN116542984A (zh) 五金件缺陷检测方法、装置、计算机设备及存储介质
CN117036271A (zh) 生产线质量监测方法及其系统
CN111368824A (zh) 一种仪表识别方法、移动设备及存储介质
Le et al. Surface defect detection of industrial parts based on YOLOv5
CN113706465B (zh) 基于深度学习的笔类缺陷检测方法、计算设备和存储介质
CN111563886B (zh) 基于非监督特征学习的隧道钢轨表面病害检测方法及装置
Zhou et al. BV-Net: Bin-based Vector-predicted Network for tubular solder joint detection
CN117030129A (zh) 纸杯在线检漏方法及其系统
CN116579998A (zh) 变电设备的缺陷检测方法、装置、设备、介质和程序产品
CN116091976A (zh) 一种站房缺陷识别检测方法、系统、装置及存储介质
CN115221045A (zh) 一种基于多任务多视角学习的多目标软件缺陷预测方法
CN116910657A (zh) 一种基于无监督学习的故障诊断方法和设备
CN112614094B (zh) 基于序列状态编码的绝缘子串异常定位识别方法
KR20230063742A (ko) 계층적 cnn을 이용한 스마트 팩토리에서의 제품 불량 탐지 방법 및 이를 기록한 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant