CN112329860B - 混合型深度学习视觉检测方法、装置、设备及存储介质 - Google Patents
混合型深度学习视觉检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112329860B CN112329860B CN202011235407.4A CN202011235407A CN112329860B CN 112329860 B CN112329860 B CN 112329860B CN 202011235407 A CN202011235407 A CN 202011235407A CN 112329860 B CN112329860 B CN 112329860B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- network model
- sample picture
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 230000000007 visual effect Effects 0.000 title claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 100
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000007689 inspection Methods 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 210000002569 neuron Anatomy 0.000 claims description 11
- 238000011179 visual inspection Methods 0.000 claims description 11
- 230000002950 deficient Effects 0.000 abstract description 19
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 239000000047 product Substances 0.000 description 51
- 238000003466 welding Methods 0.000 description 42
- 230000008569 process Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000007635 classification algorithm Methods 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 238000002844 melting Methods 0.000 description 3
- 230000008018 melting Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010891 electric arc Methods 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 231100000206 health hazard Toxicity 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 229920001169 thermoplastic Polymers 0.000 description 1
- 239000004416 thermosoftening plastic Substances 0.000 description 1
- 239000002341 toxic gas Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000005493 welding type Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种混合型深度学习视觉检测方法、装置、设备及存储介质，涉及人工智能领域。所述方法包括：通过预设的训练数据集训练预设的卷积神经网络模型；将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型；将训练数据集的样本图片输入到目标卷积神经网络模型中，提取图片的图像特征值；将图像特征值输入到预设的聚类分类器中得到多个类别；确定类别与标签的映射关系；通过判断待测样本图片的图像特征值与所述合格类别的类心的距离是否小于预设的距离阈值从而判定所述待测样本图片的标签为合格品。通过实施该方法可有效应对不在训练数据集中出现的新的次品问题，提高质检的准确率和鲁棒性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种混合型深度学习视觉检测方法、装置、设备及存储介质。
背景技术
焊接又称熔接、镕接，是一种以加热或加压方式接合金属或其他热塑性塑料的工艺及技术。焊接的实现方式主要有下面三种方式：
1.加热欲接合之工件使之局部熔化形成熔池，熔池冷却凝固后便接合，必要时可加入熔填物辅助，单独加热熔点较低的焊料，无需熔化工件本身，借焊料的毛细作用连接工件(如软钎焊、硬焊)。
2.在相当于或低于工件熔点的温度下辅以高压、叠合挤塑或振动等使两工件间相互渗透接合(如锻焊、固态焊接)。
3.依具体的焊接工艺，焊接可细分为气焊、电阻焊、电弧焊、感应焊接及激光焊接等其他特殊焊接。
焊接的能量来源有很多种，包括气体焰、电弧、激光、电子束、摩擦和超声波等。除了在工厂中使用外，焊接还可以在多种环境下进行，如野外、水下和太空。
随着人口老龄化现象的加剧和人力成本的逐渐增高，工业生产特别是制造业焊接领域的用工难问题日益严重，中国的焊工人数缺口高达数百万之多。
此外，焊接给操作者的健康带来危险，焊接给人体可能造成的伤害包括烧伤、触电、视力损害、吸入有毒气体、紫外线照射过度等。
为了提高生产安全和生产效率，工厂正在逐步使用焊接机器人替代工人焊接，来提高效率降低成本。目前利用焊接机器人对产品进行焊接的领域逐年增多，比如手机精密零部件焊接、汽车车身焊接等。
然而，焊接机器人往往缺少智能的感知系统，在稳定运行工作前需要机器人操作员进行调试，其中包括一整套机器人控制，工艺，焊接参数相关的设置工作。而且机器人在实际操作中往往缺少灵活性，比如遇到各种工差情况仍然会按照旧路径模式运行，极容易造成废件和不良品，降低生产效率并提高了生产成本。因此焊接机器人的智能化是一个迫在眉睫的需求。
焊接机器人的智能化主要分为4个主要部分：
一、指定焊接场景下的初始参数的设置：一套量化的工艺包，输入场景信息(焊接母材材料，厚度，焊接类型)，输出焊接参数(电流，电压，速度，保护气等)供操作员设置使焊接机器人开始有效运行，满足焊接质量标准。
二、焊接待作业工件焊接点/线的定位，识别定位工件或目标物的同时，有效指引机器臂，解决实际生产中精细化作业的需求。
三、焊接过程中的实时监控，通过对熔池状态进行检测，实时调整焊接速度和路径，从而保证焊接质量。
四、焊接后的质量检测，及时区分良品与不良品，将不良品进行返工，同时追踪问题来源，不断提高良品率。
上述二至四部分都需要大量结合计算视觉相关的技术好算法。
人工智能的研究始于上世纪50年代,但是一直受到软硬件两方面的技术局限。近年来，受益于大规模并行计算、GPU等加速单元的应用、大数据、深度学习算法的发展，计算成本大幅度降低，使得人工智能技术获得了突飞猛进的发展。
深度学习算法是当前人工智能最先进、应用最广泛的核心技术。深度神经网络模型得到的优异的实验结果让人们开始重新关注人工智能。之后，深度神经网络模型成为了人工智能领域的重要前沿阵地，深度学习算法模型也经历了一个快速迭代的周期，DeepBelief Network、Sparse Coding、Recursive Neural Network以及Convolutional NeuralNetwork等各种新的算法模型被不断提出，而其中卷积神经网络(Convolutional NeuralNetwork，CNN)更是成为图像识别最炙手可热的算法模型。目前，深度学习结合智能制造特别是需要用到“眼睛”的“奇点时刻”已经来临，尤其对于像制造业这类传统产业来说，利用成像设备进行视觉数据收集+深度学习人工智能分析进行转型升级，可以有效提高质量检测这一高用工需求的自动化水平。
然而深度学习视觉技术特别是卷积网络的训练需要大量的打好标签的数据，而现实场景中数据的采集是一项耗时耗力高成本的工作。当实际应用中如果出现的图像或数据是不在训练数据集中的情况时候，图像识别结果往往大打折扣。这个在质检这一应用上的问题尤为突出，因为好的产品是相似的，但是次品的问题点是千奇百怪难以穷尽的，因此当一个问题出现的时候，往往是之前没有遇到的情况，也自然不会出现在训练数据集中，这样对问题的识别准确度就会大打折扣，影响系统最终的表现。
发明内容
本发明实施例提供了一种混合型深度学习视觉检测方法、装置、设备及存储介质，旨在解决现有视觉检测方法对新类型的次品识别效率低下的问题。
第一方面，本发明实施例提供了一种混合型深度学习视觉检测方法，其包括：
通过预设的训练数据集训练预设的卷积神经网络模型，所述训练数据集包括多个带标签的样本图片；
将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型，所述目标卷积神经网络模型的输出层是所述卷积神经网络模型的倒数第二层；
将所述训练数据集的样本图片输入到所述目标卷积神经网络模型中，以由所述目标卷积神经网络模型提取所述训练数据集的样本图片的图像特征值；
将所述训练数据集的样本图片的图像特征值输入到预设的聚类分类器中以聚类得到多个类别；
确定所述类别与所述标签的映射关系，其中，所述标签包括合格品，将合格品对应的类别作为合格类别；
若接收到待测样本图片，通过所述目标卷积神经网络模型提取所述待测样本图片的图像特征值；
判断所述待测样本图片的图像特征值与所述合格类别的类心的距离是否小于预设的距离阈值；
若所述待测样本图片的图像特征值与所述合格类别的类心的距离小于预设的距离阈值，判定所述待测样本图片的标签为合格品。
第二方面，本发明实施例还提供了一种混合型深度学习视觉检测装置，其包括用于执行上述方法的单元。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。
本发明实施例提供了一种混合型深度学习视觉检测方法、装置、设备及存储介质。本发明方法是基于卷积神经网络，同时兼用监督式学习和非监督式学习两种方法进行学习训练，通过监督式学习提取关键图像特征，在通过非监督式学习进行聚类分类，从而可以有效应对不在训练数据集中出现的新的次品问题。本发明实施例由于采用混合型深度学习的方法，结合监督式学习和非监督式学习的优点，从而可以有效应用在质量检测领域，达到应对次品问题类型不可穷尽情况下的质量检测问题，可实现应对现实场景中不可穷尽的次品问题，提高质检的准确率和鲁棒性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的混合型深度学习视觉检测方法的原理图；
图2为单纯的监督式学习方法的原理图；
图3为本发明实施例提供的计算机设备的示意性框图；
图4为焊接场景中的良品、次品示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
本发明实施例提供的混合型深度学习视觉检测方法。本发明可应用于焊接质检场景中，也可应用于其他产品的质检场景中，具有提高质检效率及准确性的特点。该方法包括以下步骤：
S110、通过预设的训练数据集训练预设的卷积神经网络模型，所述训练数据集包括多个带标签的样本图片。
具体实施中，卷积神经网络模型(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元。卷积神经网络通常由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网络能够利用输入数据的二维结构。基于以上特点，卷积神经网络在图像识别方面能够给出更好的结果。
常用的卷积神经网络结构有AlexNet、VGG、ResNet以及Inception。本发明对具体网络的结构不做具体限定。
所述卷积神经网络模型采用监督式学习(Supervised learning)训练方法进行训练。通过准备有结果/标签的数据(即训练数据集，训练数据集包括多个带标签的样本图片)，让模型通过反向传播算法在训练数据集上学到或建立一个模型(优化好并固定内部参数，主要是权重和偏差)，接着在未来实际应用中当新的数据出现时候(这时候没有结果/标签)可以接受输入并根据模式推测新的实例。监督式学习主要缺点为当未经历的新数据或图片出现时候，识别的准确度会明显下降。本发明中的监督式学习方法为标准的反向传播算法，常用的优化器比如RMSprop，Adam都可以，不设限制。
监督式学习训练方法的训练过程中，卷积神经网络模型的学习需要一个指标(损失函数)作为基准来寻找最优权重参数。本发明中损失函数为分类任务通用的交叉熵误差。学习过程为反向传播算法，使用训练数据进行学习，在训练数据上计算损失函数，训练过程为最小化损失函数，采用小批量学习的方法分配喂入训练数据。训练实现过程中采用一个简单的神经网络的权重参数的梯度求解，根据小批量喂入的数据训练求解出神经网络的梯度后使用梯度法多次迭代更新参数直到达到预定的训练周期，以上过程由Tensorflow和Keras自带的Adam优化器自动实现。
S120、将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型，所述目标卷积神经网络模型的输出层是所述卷积神经网络模型的倒数第二层。
具体实施中，卷积神经网络模型训练结束后(需要达到较高的识别准确度，比如90％以上)，将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型，所述目标卷积神经网络模型的输出层是所述卷积神经网络模型的倒数第二层。
一般来说，卷积神经网络模型最后3-5层都为全连接层，且用于抽象信息的分析和提取，最后输出层为最后监督式学习输出的结果，因为训练必须指定目标，所以最后一层输出种类为确定的数量且必然会有一个输出，对于新出现数据也会被强行归类到已有的类别，但是考虑图像特征是共享的，因此砍掉模型最后一层全连接神经网络层(输出层)，去掉输出层后得到目标卷积神经网络模型。目标卷积神经网络模型的输出层为卷积神经网络模型的倒数第二层。
需要说明的是，卷积神经网络模型的倒数第二层需要设定为全连接层，包含16-32组神经元。也即，所述目标卷积神经网络模型的输出层为全连接层，包含16-32组神经元。神经元的数量少于16则特征提取不足，超过32的话后面对应的非监督式学习效果不佳。
目标卷积神经网络模型的输出层的16-32组神经元用于提取的和结果高度相关的特征值(以下称为图像特征值)，可以用于分析数据是已有类别还是新的类别。
S130、将所述训练数据集的样本图片输入到所述目标卷积神经网络模型中，以由所述目标卷积神经网络模型提取所述训练数据集的样本图片的图像特征值。
具体实施中，逐一将所述训练数据集的样本图片输入到所述目标卷积神经网络模型中，以由所述目标卷积神经网络模型提取所述训练数据集的样本图片的图像特征值。
S140、将所述训练数据集的样本图片的图像特征值输入到预设的聚类分类器中以聚类得到多个类别。
具体实施中，所述聚类分类器采用非监督式学习方法进行聚类。聚类得到的类别数量为训练数据的类别数量/卷积神经网络模型的输出层的神经元数量，需要根据训练数据集的标签的数量决定。即，聚类得到的类别数量与训练数据集的标签数量相同。
非监督式学习(unsupervised learning)是机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入的资料进行分类或分群。非监督式学习可以很好的补充监督式学习的不足，本发明中主要运用的非监督式学习方法为聚类分析(clusteranalysis)，聚类是根据样品特征空间的分布，把相似的对象分成不同的组别或者更多的子集，区分的方式主要为在坐标系中更加短的空间距离等。本发明中所述聚类分类器采用的聚类算法为Kmeans或DBSCAN，不做限制。
S150、确定所述类别与所述标签的映射关系，其中，所述标签包括合格品，将合格品对应的类别作为合格类别。
具体实施中，因为聚类结果的排序是随机的，因此需要将聚类结果与没有去掉卷积神经网络模型的输出层时候的输出结果(即标签)进行一一对应，通过输入已知标签的数据来查看结果，找到聚类输出和原始监督式学习分类输出的标签的对应关系，即确认聚类的类别与标签的对应关系。
具体地，在质检场景中，标签包括合格品，本发明中，将合格品对应的类别作为合格类别。
S160、若接收到待测样本图片，通过所述目标卷积神经网络模型提取所述待测样本图片的图像特征值。
具体实施中，如果接收到待测样本图片，将待测样本图片输入到目标卷积神经网络模型中，以由目标卷积神经网络模型提取所述待测样本图片的图像特征值。
S170、判断所述待测样本图片的图像特征值与所述合格类别的类心的距离是否小于预设的距离阈值。
具体实施中，通过以下公式计算所述待测样本图片的图像特征值与所述合格类别的类心的距离：
d＝||Xi-cj||2；
式中，d表示距离；Xi是所述待测样本图片的图像特征值的向量坐标；Cj是所述合格类别的类心的位置坐标。
S180、若所述待测样本图片的图像特征值与所述合格类别的类心的距离小于预设的距离阈值，判定所述待测样本图片的标签为合格品。
S190、若所述待测样本图片的图像特征值与所述合格类别的类心的距离不小于预设的距离阈值，判定所述待测样本图片的标签为非合格品。
本发明提出的方法，虽然无法穷尽次品的类别，但是在监督式学习的过程中(包含了良品和次品)，卷积神经网络模型已经学习到如何分别提取良品和次品图像特征。因此如果待测样本图片的图像特征值更靠近某一次品类别则视为该类别(良品或已知次品)。如果待测样本图片的图像特征值是在特征空间中的位置远离任何一类别中心的空间位置，则视为新类别的次品。
本发明实施例提供的混合型深度学习视觉检测方法是基于卷积神经网络，同时兼用监督式学习和非监督式学习两种方法进行学习训练，通过监督式学习提取关键图像特征，在通过非监督式学习进行聚类分类，从而可以有效应对不在训练数据集中出现的新的次品问题。
在一个焊接行业电弧焊的应用案例中，常见的次品类型一般有两种，气孔和坑。如图4提供的电弧焊产品的良品、次品示意图，图4中，最左为良品图，最右为气孔类型的次品图；中间为坑类型的次品图。
此外偶尔还会出现一些其他的问题类型因为各种限制无法采集并收集在训练数据集里面。而本发明的混合型深度学习视觉检测方法可以应对未来未见过(未在数据训练集中)的问题图片。具体测试实验如下：
实验组别为实验组和对照组：实验组为本发明实施例提供的混合型深度学习视觉检测方法，原理如图1所示；对照组为单纯的监督式学习方法(单一的CNN分类算法)，原理如图2所示。
实验时，在训练数据集中只包含“坑”这一类别次品图片，将“气孔”这一类别全部放在测试数据集(模型训练的时候没有见过)，训练数据1000(良品图片700，坑类别问题图片300)，测试数据300(良品图片200，气孔类别问题图片100),采用数据增强；实验组和对照组模型均采用VGG网络结构，classifier全连接3层，倒数第二层为16个神经元,距离阈值0.05。实验结果如表1所示(测试结果，训练数据只用于训练)。
表1测试实验结果
| 实验例 | 准确率Accuracy | 精确率Precision | 召回率Recall |
| 对照组 | 86.25％ | 93.66％ | 63.20％ |
| 实验组 | 97.81％ | 96.61％ | 97.44％ |
由表1的实验结果可知，对于没有出现在训练集里的样品(气孔这一问题类别)，单纯的监督式学习方法(单一的CNN分类算法)因为要强制把图片归类为已有分类(良品和坑)，有相当比例(36.8％)的气孔类别问题被识别成良品，这对实际生产会造成很不好的影响。
而本实施例的混合型深度学习视觉检测方法的综合表现优于单一的CNN分类算法，特别是质检应用中关键指标召回率recall的提升尤为显著，几乎所有气孔类别问题(97.44％)都被排除在良品类别以外，因此本发明方法可有效应对现实场景不可穷尽的问题，提高质检的准确率和鲁棒性。
对应于以上混合型深度学习视觉检测方法，本发明还提供一种混合型深度学习视觉检测装置。该混合型深度学习视觉检测装置包括用于执行上述混合型深度学习视觉检测方法的单元，该混合型深度学习视觉检测装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地，该混合型深度学习视觉检测装置包括训练单元、删除单元、输入单元、聚类单元、确定单元、提取单元、判断单元、第一判定单元、以及第二判定单元。
训练单元，用于通过预设的训练数据集训练预设的卷积神经网络模型，所述训练数据集包括多个带标签的样本图片。
其中，所述卷积神经网络模型采用监督式学习训练方法进行训练。
删除单元，用于将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型，所述目标卷积神经网络模型的输出层是所述卷积神经网络模型的倒数第二层。
其中，所述目标卷积神经网络模型的输出层为全连接层，所述目标卷积神经网络模型的输出层包含16-32组神经元。
输入单元，用于将所述训练数据集的样本图片输入到所述目标卷积神经网络模型中，以由所述目标卷积神经网络模型提取所述训练数据集的样本图片的图像特征值。
聚类单元，用于将所述训练数据集的样本图片的图像特征值输入到预设的聚类分类器中以聚类得到多个类别。
其中，所述聚类分类器采用非监督式学习方法进行聚类。
所述聚类分类器采用的聚类算法为Kmeans或DBSCAN。
确定单元，用于确定所述类别与所述标签的映射关系，其中，所述标签包括合格品，将合格品对应的类别作为合格类别。
提取单元，用于若接收到待测样本图片，通过所述目标卷积神经网络模型提取所述待测样本图片的图像特征值。
判断单元，用于判断所述待测样本图片的图像特征值与所述合格类别的类心的距离是否小于预设的距离阈值。
其中，通过以下公式计算所述待测样本图片的图像特征值与所述合格类别的类心的距离：
d＝||Xi-cj||2；
式中，d表示距离；Xi是所述待测样本图片的图像特征值的向量坐标；Cj是所述合格类别的类心的位置坐标。
第一判定单元，用于若所述待测样本图片的图像特征值与所述合格类别的类心的距离小于预设的距离阈值，判定所述待测样本图片的标签为合格品。
第二判定单元，用于若所述待测样本图片的图像特征值与所述合格类别的类心的距离不小于预设的距离阈值，判定所述待测样本图片的标签为非合格品。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述混合型深度学习视觉检测装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述混合型深度学习视觉检测装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。
请参阅图3，图3是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器。
该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行一种混合型深度学习视觉检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种混合型深度学习视觉检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，上述结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
通过预设的训练数据集训练预设的卷积神经网络模型，所述训练数据集包括多个带标签的样本图片；
将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型，所述目标卷积神经网络模型的输出层是所述卷积神经网络模型的倒数第二层；
将所述训练数据集的样本图片输入到所述目标卷积神经网络模型中，以由所述目标卷积神经网络模型提取所述训练数据集的样本图片的图像特征值；
将所述训练数据集的样本图片的图像特征值输入到预设的聚类分类器中以聚类得到多个类别；
确定所述类别与所述标签的映射关系，其中，所述标签包括合格品，将合格品对应的类别作为合格类别；
若接收到待测样本图片，通过所述目标卷积神经网络模型提取所述待测样本图片的图像特征值；
判断所述待测样本图片的图像特征值与所述合格类别的类心的距离是否小于预设的距离阈值；
若所述待测样本图片的图像特征值与所述合格类别的类心的距离小于预设的距离阈值，判定所述待测样本图片的标签为合格品。
在一实施例中，所述目标卷积神经网络模型的输出层为全连接层，所述目标卷积神经网络模型的输出层包含16-32组神经元。
在一实施例中，所述卷积神经网络模型采用监督式学习训练方法进行训练。
在一实施例中，所述聚类分类器采用非监督式学习方法进行聚类。
在一实施例中，通过以下公式计算所述待测样本图片的图像特征值与所述合格类别的类心的距离：
d＝||Xi-cj||2；
式中，d表示距离；Xi是所述待测样本图片的图像特征值的向量坐标；Cj是所述合格类别的类心的位置坐标。
所述聚类分类器采用的聚类算法为Kmeans或DBSCAN。
在一实施例中，所述处理器502还用于实现如下步骤：
若所述待测样本图片的图像特征值与所述合格类别的类心的距离不小于预设的距离阈值，判定所述待测样本图片的标签为非合格品。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行如下步骤：
通过预设的训练数据集训练预设的卷积神经网络模型，所述训练数据集包括多个带标签的样本图片；
将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型，所述目标卷积神经网络模型的输出层是所述卷积神经网络模型的倒数第二层；
将所述训练数据集的样本图片输入到所述目标卷积神经网络模型中，以由所述目标卷积神经网络模型提取所述训练数据集的样本图片的图像特征值；
将所述训练数据集的样本图片的图像特征值输入到预设的聚类分类器中以聚类得到多个类别；
确定所述类别与所述标签的映射关系，其中，所述标签包括合格品，将合格品对应的类别作为合格类别；
若接收到待测样本图片，通过所述目标卷积神经网络模型提取所述待测样本图片的图像特征值；
判断所述待测样本图片的图像特征值与所述合格类别的类心的距离是否小于预设的距离阈值；
若所述待测样本图片的图像特征值与所述合格类别的类心的距离小于预设的距离阈值，判定所述待测样本图片的标签为合格品。
在一实施例中，所述目标卷积神经网络模型的输出层为全连接层，所述目标卷积神经网络模型的输出层包含16-32组神经元。
在一实施例中，所述卷积神经网络模型采用监督式学习训练方法进行训练。
在一实施例中，所述聚类分类器采用非监督式学习方法进行聚类。
在一实施例中，通过以下公式计算所述待测样本图片的图像特征值与所述合格类别的类心的距离：
d＝||Xi-cj||2；
式中，d表示距离；Xi是所述待测样本图片的图像特征值的向量坐标；Cj是所述合格类别的类心的位置坐标。
所述聚类分类器采用的聚类算法为Kmeans或DBSCAN。
在一实施例中，所述处理器502还用于实现如下步骤：
若所述待测样本图片的图像特征值与所述合格类别的类心的距离不小于预设的距离阈值，判定所述待测样本图片的标签为非合格品。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。所述计算机可读存储介质可以是非易失性，也可以是易失性。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (4)
1.一种混合型深度学习视觉检测方法，其特征在于，应用于产品的质检，
包括：
通过预设的训练数据集训练预设的卷积神经网络模型，所述训练数据集包括多个带标签的样本图片；所述标签用于表示所述产品属于合格品或非合格品；所述训练数据集包括具有第一问题类别的所述产品的图片以及属于合格品的所述产品的图片；
将训练后的卷积神经网络模型的输出层删除得到目标卷积神经网络模型，所述目标卷积神经网络模型的输出层是所述卷积神经网络模型的倒数第二层；
将所述训练数据集的样本图片输入到所述目标卷积神经网络模型中，以由所述目标卷积神经网络模型提取所述训练数据集的样本图片的图像特征值；
将所述训练数据集的样本图片的图像特征值输入到预设的聚类分类器中以聚类得到多个类别；
确定所述类别与所述标签的映射关系，其中，所述标签包括合格品，将合格品对应的类别作为合格类别；
若接收到待测样本图片，通过所述目标卷积神经网络模型提取所述待测样本图片的图像特征值；
判断所述待测样本图片的图像特征值与所述合格类别的类心的距离是否小于预设的距离阈值；
若所述待测样本图片的图像特征值与所述合格类别的类心的距离小于预设的距离阈值，判定所述待测样本图片的标签为合格品；
若所述待测样本图片的图像特征值与所述合格类别的类心的距离不小于预设的距离阈值，判定所述待测样本图片的标签为非合格品；所述标签为非合格品的待测样本图片包括具有第二问题类别的所述产品的图片；所述第二问题类别与所述第一问题类别不同；
其中，所述目标卷积神经网络模型的输出层为全连接层，所述目标卷积神经网络模型的输出层包含16-32组神经元；
所述聚类分类器采用的聚类算法为Kmeans或DBSCAN；
所述卷积神经网络模型采用监督式学习训练方法进行训练；
所述聚类分类器采用非监督式学习方法进行聚类；
通过以下公式计算所述待测样本图片的图像特征值与所述合格类别的类心的距离：
d＝||Xi-cj||2；
式中，d表示距离；Xi是所述待测样本图片的图像特征值的向量坐标；cj是所述合格类别的类心的位置坐标。
2.一种混合型深度学习视觉检测装置，其特征在于，包括用于执行如权利要求1所述方法的单元。
3.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1所述的方法。
4.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011235407.4A CN112329860B (zh) | 2020-11-05 | 2020-11-05 | 混合型深度学习视觉检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011235407.4A CN112329860B (zh) | 2020-11-05 | 2020-11-05 | 混合型深度学习视觉检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112329860A CN112329860A (zh) | 2021-02-05 |
| CN112329860B true CN112329860B (zh) | 2024-02-27 |
Family
ID=74316414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011235407.4A Active CN112329860B (zh) | 2020-11-05 | 2020-11-05 | 混合型深度学习视觉检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329860B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800262A (zh) * | 2021-02-08 | 2021-05-14 | 苏州长嘴鱼软件有限公司 | 一种图像自组织聚类可视化方法及装置、存储介质 |
| CN112991331B (zh) * | 2021-04-19 | 2021-10-26 | 广州大一互联网络科技有限公司 | 一种使用绝缘冷却液的数据中心的运维方法和装置 |
| CN113128505A (zh) * | 2021-04-29 | 2021-07-16 | 河北工程大学 | 局部可视对抗样本的检测方法、装置、设备和存储介质 |
| CN115592226B (zh) * | 2021-08-03 | 2023-07-21 | 苏州楚翰真空科技有限公司 | 一种保温杯生产质检一体化方法和系统 |
| CN113805695B (zh) * | 2021-08-26 | 2024-04-05 | 深圳静美大健康科技有限公司 | 阅读理解水平的预测方法及装置、电子设备和存储介质 |
| CN115816466B (zh) * | 2023-02-02 | 2023-06-16 | 中国科学技术大学 | 一种提升视觉观测机器人控制稳定性的方法 |
| CN117741070B (zh) * | 2024-02-21 | 2024-05-03 | 山东多瑞电子科技有限公司 | 基于深度学习的气体安全智能检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745210A (zh) * | 2014-01-28 | 2014-04-23 | 爱威科技股份有限公司 | 一种白细胞分类方法及装置 |
| CN107247954A (zh) * | 2017-06-16 | 2017-10-13 | 山东省计算中心（国家超级计算济南中心） | 一种基于深度神经网络的图像离群点检测方法 |
| CN109919073A (zh) * | 2019-03-01 | 2019-06-21 | 中山大学 | 一种具有光照鲁棒性的行人再识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10922871B2 (en) * | 2018-01-19 | 2021-02-16 | Bamtech, Llc | Casting a ray projection from a perspective view |
| US11087177B2 (en) * | 2018-09-27 | 2021-08-10 | Salesforce.Com, Inc. | Prediction-correction approach to zero shot learning |
-
2020
- 2020-11-05 CN CN202011235407.4A patent/CN112329860B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745210A (zh) * | 2014-01-28 | 2014-04-23 | 爱威科技股份有限公司 | 一种白细胞分类方法及装置 |
| CN107247954A (zh) * | 2017-06-16 | 2017-10-13 | 山东省计算中心（国家超级计算济南中心） | 一种基于深度神经网络的图像离群点检测方法 |
| CN109919073A (zh) * | 2019-03-01 | 2019-06-21 | 中山大学 | 一种具有光照鲁棒性的行人再识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112329860A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329860B (zh) | 混合型深度学习视觉检测方法、装置、设备及存储介质 | |
| CN114240891B (zh) | 融合知识图谱和图卷积神经网络的焊点质量识别方法 | |
| EP3812105B1 (en) | Artificial intelligence architecture for industrial welding | |
| CN108830903B (zh) | 一种基于cnn的钢坯位置检测方法 | |
| CN116140786B (zh) | 搅拌摩擦焊接方法及其系统 | |
| Stavridis et al. | A cognitive approach for quality assessment in laser welding | |
| CN112614105B (zh) | 一种基于深度网络的3d点云焊点缺陷检测方法 | |
| CN111401149A (zh) | 基于长短期时域建模算法的轻量级视频行为识别方法 | |
| Zeng et al. | Steel sheet defect detection based on deep learning method | |
| Baek et al. | In-process prediction of weld penetration depth using machine learning-based molten pool extraction technique in tungsten arc welding | |
| CN116618878A (zh) | 一种焊前工艺参数确定方法、焊接质量在线预测方法、装置及存储介质 | |
| Nogay et al. | Classification of operation cases in electric arc welding wachine by using deep convolutional neural networks | |
| CN114119504A (zh) | 一种基于级联卷积神经网络的钢件焊缝自动检测方法 | |
| Wu et al. | An in situ surface defect detection method based on improved you only look once algorithm for wire and arc additive manufacturing | |
| CN117197146A (zh) | 一种铸件内部缺陷自动识别方法 | |
| CN116228766A (zh) | 一种等离子加工设备的智能调控方法及系统 | |
| Wang et al. | Recognition of GTAW weld penetration based on the lightweight model and transfer learning | |
| CN115797326A (zh) | 一种基于改进yolox-s算法的金属铸件表面缺陷检测方法 | |
| CN110728310B (zh) | 一种基于超参数优化的目标检测模型融合方法及融合系统 | |
| Liu et al. | Machine Vision‐Based Object Detection Strategy for Weld Area | |
| Saiz et al. | Synthetic Data Set Generation for the Evaluation of Image Acquisition Strategies Applied to Deep Learning Based Industrial Component Inspection Systems. | |
| Mouzenidis et al. | Multi-modal Variational Faster R-CNN for Improved Visual Object Detection in Manufacturing | |
| CN114295640B (zh) | 一种容器焊缝识别方法及系统 | |
| Ramesh et al. | Identification of SMAW Surface Weld Defects Using Machine Learning | |
| CN113435670B (zh) | 一种增材制造熔覆层偏移定量的预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |