CN114544664B - 平面感应线圈异常焊接点的识别方法 - Google Patents

平面感应线圈异常焊接点的识别方法 Download PDF

Info

Publication number
CN114544664B
CN114544664B CN202210423806.6A CN202210423806A CN114544664B CN 114544664 B CN114544664 B CN 114544664B CN 202210423806 A CN202210423806 A CN 202210423806A CN 114544664 B CN114544664 B CN 114544664B
Authority
CN
China
Prior art keywords
picture
function
value
induction coil
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202210423806.6A
Other languages
English (en)
Other versions
CN114544664A (zh
Inventor
曲豫宾
李芳�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Paitao Network Technology Co ltd
Nantong Textile Vocational Technology College
Original Assignee
Jiangsu Paitao Network Technology Co ltd
Nantong Textile Vocational Technology College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Paitao Network Technology Co ltd, Nantong Textile Vocational Technology College filed Critical Jiangsu Paitao Network Technology Co ltd
Priority to CN202210423806.6A priority Critical patent/CN114544664B/zh
Publication of CN114544664A publication Critical patent/CN114544664A/zh
Application granted granted Critical
Publication of CN114544664B publication Critical patent/CN114544664B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种平面感应线圈异常焊接点的识别方法，包括如下步骤：利用蚀刻等技术制作平面感应线圈，该制成品按照工业化的生产步骤进行传送；在传送到表面瑕疵检测设备时，摄像头对产品进行拍摄采集产品表面的高清图像；高清图像通过内部总线传输到异常焊接点提取设备；该设备与异常焊接点特征库进行对比，给出具有异常特征的置信值；该置信值被通过内部总线传递给工业机器人手臂，超过特定阈值则被诊断为有异常焊接点的平面感应线圈。本发明可以有效融合传统的图像分类模型结构，提升平面感应线圈异常焊接点的识别效率；可以有效解决瑕疵产品检测中的严重的类不平衡问题，具有很强的实用性和鲁棒性。

Description

平面感应线圈异常焊接点的识别方法
技术领域
本发明属于工业制造中的产品表面检测领域，具体涉及到平面感应线圈异常焊接点的识别方法。
背景技术
平面电磁线圈是微电子机械系统中各种微电机、微电磁传感器、执行器中的重要组成部分。平面电磁线圈的制作工艺大多采用LIGA等工艺，LIGA工艺需使用同步辐射光源和X光掩模板。采用蚀刻工艺制作的平面电磁线圈存在线圈虚焊、断焊等问题。瑕疵品的检出可以通过人工肉眼检查等多种手段进行表面检测，然而传统方法存在检查成本较高等问题。
基于深度学习的表面检测方法可以从线圈的高清图像中学习到瑕疵深度特征。表面缺陷检测是计算机视觉领域中非常重要的一项研究内容，其基本过程在于通过视觉采集设备获取图像，基于图像的像素点来判断产品表面是否存在缺陷。传统的检测方法基于图像处理算法提取图像中的特征进而进行分类预测。这种方法的基础是依据被检测表面的反射性质设计不同的成像方案，这种分类方法存在的缺点是在复杂的工业环境下，缺陷图像采集存在大量噪声，由于成像图片与背景图片差异性小等问题，单纯基于图像处理算法的缺陷检测无法达到实用的效果。基于卷积神经网络技术的快速发展为表面缺陷检测提供了新的解决方案。目前基于卷积神经网络的表面缺陷预测正在成为分类方法的主流。
本发明关注的工业制造中的产品表面检测主要针对的是有没有缺陷存在这个问题，目前并未涉及到缺陷在哪里以及到底有多少缺陷的问题。是否存在表面缺陷作为生产制造型企业的一个核心问题，能够有效提升产品中次品的检出率，降低人力成本。缺陷定位以及缺陷比例则可能涉及到更加复杂而不同的业务逻辑，具有更加独特的特性。研究是否存在表面缺陷预测具有更强的实际意义。
表面缺陷检测问题在深度学习领域中属于小样本学习问题，其典型特征在于在工业领域中，无法提供具有典型表面缺陷的图片。目前针对该问题常见的解决方式如下。（1）数据扩增、合并与生成。这种策略的意义在于通过人工生成缺陷样本的数据来提升输入样例的样本空间，使得深度学习网络能够覆盖学习到更多的深度特征。（2）迁移学习。这种策略的思想在于通过学习大多数正常样本的特表示进而将这些特征迁移到小样本中去，获取缺陷样本的数据特征。（3）合理的网络结构设计。针对不同的缺陷检测任务，设计不同的网络结构。同时可以考虑的方案包括采用无监督的学习模型来从大量的工业产品中学习缺陷产品的特征。（4）考虑正品与瑕疵品在样本空间上的不同，设计不同的深度学习损失函数来学习缺陷样本的特征。
本发明的提供的解决方案的思路即为从深度学习的损失函数出发来学习缺陷类的分布问题。这种解决方案的难点在于如何来描述不同图像的空间分布以及通过深度特征学习解决正品图像与瑕疵品图像的空间分布。目前存在较多的深度学习特征学习方案，然而这些方案多是针对类间均衡的图像进行分类，并未对存在严重类不平衡的实际工业问题进行深入的研究。即使有针对类不平衡问题进行研究的深度学习损失函数，也存在未对要做的表面缺陷探测问题进行过专门的研究。
发明内容
本发明的目的在于提供一种平面感应线圈异常焊接点的识别方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：包括如下步骤：
A、利用蚀刻技术制作平面感应线圈，该制成品按照工业化的生产步骤进行传送；
B、在传送到表面瑕疵检测设备时，具有高清摄像功能的摄像头对产品进行拍摄，采集产品表面的高清图像；
C、高清图像通过内部总线传输到异常焊接点提取设备，异常焊接点提取设备与异常焊接点特征库进行对比，给出具有异常特征的置信值；
D、该置信值通过内部总线传递给工业机器人手臂，超过特定阈值则被诊断为有异常焊接点的平面感应线圈，该感应线圈被工业机器人手臂转移到固定的待复检回收框内。
本发明一方面可以有效融合传统的图像分类模型结构，比如ResNet，在原有图像分类模型基础上对采集的平面感应线圈图像进行优化与识别，提升平面感应线圈异常焊接点的识别效率；另一方面由于采用基于特征偏移的软距离正则化技术，可以有效解决瑕疵产品检测中的严重的类不平衡问题，具有很强的实用性和鲁棒性。
本发明的进一步改进在于：上述步骤C中异常焊接点提取设备与异常焊接点特征库进行对比，给出具有异常特征的置信值，具体步骤如下：
C1、产品的高清图像被向量化，以一维矩阵输入到异常焊接点提取设备；
C2、异常焊接点提取设备从存储设备中恢复预训练的神经网络结构；
C3、将图像向量与神经网络结构中的卷积核提出的特征库进行比较，通过前向传播计算得到该感应线圈图像的异常值；
C4、将该异常值通过内部总线传递给工业机器人手臂。
本发明的进一步改进在于：步骤C2中预训练的神经网络结构的训练过程，包括如下步骤：
C21、在深度神经网络某一个epoch训练过程中，输入符合某种分布的正品样例图片与瑕疵品样例图片，将图片进行预处理以及向量化；
C22、针对瑕疵品样例图片，根据标准的交叉信息熵损失函数依据公式（1）计算前向传播产生的损失函数；
Figure 100002_DEST_PATH_IMAGE001
（1）；
其中
Figure 85170DEST_PATH_IMAGE002
表示是当前epoch中的第i个训练样例通过softmax以后产生的交叉函数损失值，
Figure 100002_DEST_PATH_IMAGE003
表示第i个样例对应的输出，使用指数函数经过处理以后记为
Figure 952632DEST_PATH_IMAGE004
，
Figure 100002_DEST_PATH_IMAGE005
表示对所有的训练样例经过指数处理以后的结果求和；整个过程是标准的基于softmax的交叉信息熵计算过程；
Figure 678142DEST_PATH_IMAGE006
表示基于数据分布敏感的损失补偿函数；
C23、针对正品样例图片，设计具有最大软间角的损失函数来计算第i个样例的损失函数值，如公式（2）所示；
Figure 100002_DEST_PATH_IMAGE007
(2)；
为了简化前向传播与反向传播的计算过程，我们定义
Figure 685632DEST_PATH_IMAGE008
函数为
Figure 100002_DEST_PATH_IMAGE009
(3)；
公式（2）表达的含义仍然为第i个样例的交叉熵信息熵损失函数，不过在该损失函数的计算过程中，添加了需要特别优化的角度
Figure 838395DEST_PATH_IMAGE010
；
Figure 661995DEST_PATH_IMAGE006
表示基于数据分布敏感的损失补偿函数；在分子中，
Figure 100002_DEST_PATH_IMAGE011
表示第i个样例对应的幅度向量值，
Figure 191196DEST_PATH_IMAGE012
表示第i个样例中对应的输入样例
Figure 100002_DEST_PATH_IMAGE013
对应的距离值，
Figure 557587DEST_PATH_IMAGE014
用于表示向量
Figure 474727DEST_PATH_IMAGE013
与向量
Figure 100002_DEST_PATH_IMAGE015
的夹角的余弦值。
Figure 690683DEST_PATH_IMAGE016
用于表示输出值
Figure 100002_DEST_PATH_IMAGE017
的其他向量中，对应的向量
Figure 617050DEST_PATH_IMAGE013
与向量
Figure 431423DEST_PATH_IMAGE015
的夹角的余弦值；
Figure 925989DEST_PATH_IMAGE016
的计算过程如公式（4）所示：
Figure 458602DEST_PATH_IMAGE018
（4）；
向量
Figure 923081DEST_PATH_IMAGE013
与向量
Figure 732905DEST_PATH_IMAGE015
在神经网络优化过程中都是已知的，则可以计算得到
Figure 257427DEST_PATH_IMAGE016
的值；
Figure 100002_DEST_PATH_IMAGE019
通过分解则转换为
Figure 683861DEST_PATH_IMAGE016
的计算过程，具体的计算如公式（5）所示；
Figure 952031DEST_PATH_IMAGE020
(5)；
超参数
Figure 100002_DEST_PATH_IMAGE021
用于约定要优化的角度
Figure 648985DEST_PATH_IMAGE010
的收敛幅度，超参数
Figure 485354DEST_PATH_IMAGE022
是一个整数，
Figure 100002_DEST_PATH_IMAGE023
，
Figure 258138DEST_PATH_IMAGE014
为单调递减函数，因此
Figure 939786DEST_PATH_IMAGE024
；
C24、将同一个epoch的所有训练样例的损失值求和，并取得平均数，记为当前批次的损失值，计算公式如公式（7）所示；其中
Figure 100002_DEST_PATH_IMAGE025
表示当前epoch中所有样例的个数，
Figure 114415DEST_PATH_IMAGE026
表示对所有的样例求损失函数值的和；
Figure 100002_DEST_PATH_IMAGE027
(7)；
C25、利用随机梯度下降法计算目标函数的下降梯度；计算过程采用链式求导法则，使用平均损失函数值对权重向量W通过反向传播得到深度神经网络的不同层的偏微分，从而计算得到梯度下降向量，将计算得到的梯度下降向量代入随机梯度下降公式中，更新神经网络的参数；
C26、循环以上过程，直到损失函数没有明显变化的时候则终止神经网络的训练过程，记录当前的神经网络的参数，持久化存储该训练得到的模型。
本发明的进一步改进在于：上述步骤C22中的设计基于数据分布敏感的损失补偿函数
Figure 121686DEST_PATH_IMAGE006
的方法，包括如下步骤：
C221、预处理工业制成品的待训练图片，包括噪音消除，图片增强；预处理图片为剔除明显是噪声的图片，对待训练的正品与瑕疵品图片进行图片数据增强，包括图片水平与垂直翻转、图片旋转、图片向外及向内缩放、图片裁剪、图片移位、为图片加入高斯噪声，增强的图片能够有效提升带训练数据集的容量；
C222、对训练数据集进行降维可视化，观察训练数据集是否存在少数类的特征偏移的现象；观察的手段是采用t-distributed stochastic neighbor embedding算法，对图片这样的高维数据进行降维；
C223、如果存在少数类的特征偏移现象，则根据训练数据集的分布选择损失补偿因子；计算训练数据集中多数类的实例总数，记为
Figure 381766DEST_PATH_IMAGE028
，计算训练数据集中少数类的实例总数，记为
Figure 100002_DEST_PATH_IMAGE029
；不同类别的补偿因子分别为：
Figure DEST_PATH_IMAGE031
Figure DEST_PATH_IMAGE033
例如针对次品率为0.2%的流水线来讲，
Figure 37744DEST_PATH_IMAGE034
取值接近于500，有必要设计补偿损失函数对补偿因子进行归一化处理，防止出现损失计算时候出现异常值；
C224、采用反正切函数对补偿因子进行非线性归一化；
Figure 801300DEST_PATH_IMAGE036
Figure 979472DEST_PATH_IMAGE038
Figure DEST_PATH_IMAGE039
表示训练数据中标签为
Figure 726848DEST_PATH_IMAGE040
的样例经过非线性归一化以后得到的补偿因子，
Figure 15878DEST_PATH_IMAGE006
为根据归一化以后的因子进行反向处理后的损失补偿函数；
C225、根据类别的不同，将计算得到的损失补偿因子代入公式（1）中即可计算得到相应训练数据的损失函数值。
本发明与现有技术相比具有以下优点：
本发明设计创新主要是基于异常焊接点特征提取设备，该设备在神经网络模型的训练中有两个方面的创新：
（1）与传统的基于间角的深度学习损失函数（发表在Weiyang Liu等于2016年在ICML国际会议上，《Large-Margin Softmax Loss for Convolutional Neural Networks》）相比，本发明专利考虑了具有不同空间分布的样本的特征偏移问题。卷积神经网络在获取图像的特征方面具有极强的学习能力，在经典的ResNet模型中，最后一层使用全连接层与softmax函数最终计算得到交叉信息熵。该模型的分类方法可以分解为训练数据输入、深度特征向量学习、特征向量分类三个重要组成部分，在特征向量分类层，不同类别之间通过使用分类角来进行区分。在损失函数的优化过程中，通过优化分类角实现类间分类角最大化，类内分类角最小化，这种策略的优点在于不同类别直接具有更大的区分度。其用于实现角分类的核心损失函数如下，
Figure 633941DEST_PATH_IMAGE042
Figure 107648DEST_PATH_IMAGE044
各个参数的基本含义与本发明专利所采用的参数保持一致。
本发明在针对平面感应线圈的异常焊接点识别问题中，特别关注了多数类与少数类的分布问题，如果多数类与少数类具有较大的差异性，使用间角在优化模型的过程的中可能存在 较大的偏差，必须对该偏差进行补偿。
（2）第二个角度是考虑训练数据集与现实工业过程中的样例分布存在的特征偏移问题，该特征偏移的思路最早是由2020年Han-Jia Ye等人发表在arxiv的论文《Identifying and Compensating for Feature Deviation in Imbalanced DeepLearning》中提出。基于该问题已经有基于不同类别的样例数目的设计思路，该设计思路的核心思想在于将类别中数量最多的样例数目作为影响因子的基数，其计算函数如下：
Figure 182133DEST_PATH_IMAGE046
Figure DEST_PATH_IMAGE047
表示补偿训练数据集与真实数据分布的因子，
Figure 399488DEST_PATH_IMAGE048
表示所有训练数据中类别样例最多的数目，
Figure DEST_PATH_IMAGE049
表示所有训练数据中某类样例的数目，该方法的优点是补偿因子的计算直观简洁，能够基于现有数据的分布进行估算。但是该方法可能存在的缺点有在次品率较高的情况下，补偿因子取值范围可能会从最小值1到最大值为500，甚至更高，这样极有可能带来损失函数的极大波动，无法满足现场工程的需要。我们基于该策略提出使用反正切函数对补偿因子进行非线性归一化，使得不同的影响因子归一到同一个不超过1的区间内，从而避免了损失函数计算的波动。
实践表明基于本发明设计的平面感应线圈异常焊接点的识别的方法、装置、电子设备，可以更为有效的对深度神经网络进行训练，很好的缓解数据集内的类不平衡问题同时解决训练数据集与最终产品分布之间的特征偏移问题，最终可以训练出具有更高预测性能的表面缺陷预测模型，达到优化测试资源分配和提高工业产品流水线产品质量的目的。
附图说明
图1是本发明的总体流程图；
图2是系统整体结构图；
图3是异常焊接点特征提取设备工作流程图；
图4是完整线圈与不完整线圈的对比图；
图5为数据可视化结果。
具体实施方式
下面将结合本发明实例中的附图，对本发明实施的技术方案进行清楚完整的描述。
本发明的创意就在于使用基于软间角的损失函数的方式来调整正品图像与平面感应线圈瑕疵品图像的空间分布，同时设计补偿特征偏移的函数来解决训练数据样本与测试数据样本之间的数据分布偏移问题。这就是本发明的设计动机与设计创新点。
平面感应线圈异常焊接点的识别与处理是平面感应线圈生产流水线质检中的一个重要环节，在实际的质检环境中，人为的质检存在漏报率高，质检率低下，人员成本较高等情况。因此，平面感应线圈异常焊接点的识别与处理是生产流水线的重要补充。近年来，高清摄像头所拍摄的图片可以被卷积神经网络的卷积核学习到深度语义特征，我们设计异常焊接点特征学习设备，并驱动工业机器人的机械手臂抓取存在潜在缺陷的产品。该自动化的异常品抓取方案能够有效提升质检效率，提升瑕疵品的识别率。
图1为本发明的总体流程图。如图1所示，平面感应线圈产品被摄像头抓拍，由质检工人对多组图片进行人工标注，分别标注为正常图片，有瑕疵图片。该组图片被输入到异常焊接点提取设备中去，使用神经网络学习到异常焊接点的特征，存储到存储器中。在平面感应线圈正常生产期间，随着传送带的传动，平面感应线圈按照传送的方向缓缓移动。摄像头快速抓拍图片。图片如果抓拍完整，则传入到异常焊接点特征提取设备，比对该图片是否存在缺陷，如果预测为有异常焊接点，则由异常焊接点特征提取设备驱动机械手臂，抓取该线圈，放入人工复检流水线中去。
图2为系统整体硬件结构图，如图2所示，高清摄像头与异常焊接点特征提取设备之间使用总线相连接。高清摄像头只负责图片的抓拍与传送。异常焊接点特征提取设备使用工控机来实现。工控机中的计算单元判断高清摄像头传送过来的图像是否完整，判断方法为边缘完整法。即图片中感应线圈为完整的圆形，则图片完整，也就意味着当前图片位于机械手臂可以抓取的位置，示例图片如图4所示。
如果特征提取设备比对图片的结果是该线圈存在异常焊接点，则通过总线发出驱动信号，机械臂根据相对位置计算出线圈所在位置，将线圈抓取，放入复检流水线。
图3为异常焊接点特征提取设备工作流程图，如图3所示，异常焊接点特征提取设备的工作包括特征训练与特征对比两个阶段。异常焊接点的特征库存储在该设备的存储器中。其具体工作流程如下：
1、传送流水线将蚀刻完成的平面电磁感应线圈顺着传送带的方向往前传送；
2、该线圈到达高清摄像头所在位置时候，高清摄像头循环补光拍照，将图片通过总线传送给异常焊接点特征提取设备。该异常焊接点特征提取设备由一台工控机来实现。工控机对图片进行灰度变换。
3、异常焊接点特征提取设备对获取的转换后的图片进行分析。工控机从存储设备中载入OpenCV圆形图形识别库，使用霍夫梯度法检测当前图片中是否存在圆形，如果存在圆形该图片完整则保存，如果该图片不完整则舍弃；
4、完整图片与异常焊接点特征提取设备中的特征库进行对比。
特征库对比过程为：
4-1：异常焊接点特征提取设备从存储器中取出特征库加载到设备中；
4-2：完整图片被向量化转换为一维向量；
4-3：该一维向量输入到特征对比库。特征对比库是由ResNet深度神经网络来实现，该网络基于一组标注图片完成模型训练。基于ResNet深度神经网络的训练过程如下所示。
4-3-1：质检部的工人从流水线中选择无瑕疵的平面感应线圈与有瑕疵的平面感应线圈。由于次品率较低，有瑕疵的平面感应线圈数目远小于无瑕疵的平面感应线圈。
4-3-2：工人对无瑕疵的平面感应线圈与有瑕疵的平面感应线圈分别进行拍照，在电脑上进行预处理包括，去除异物，对图片进行增强等。增强操作包括，从多个角度对图片拍照，对平面感应线圈在不同光照情况下进行拍照等。
4-3-3：工人在电脑上对无瑕疵的平面感应线圈与有瑕疵的平面感应线圈分别进行标注，有瑕疵线圈标注为1，而无瑕疵线圈标注为0；
有缺陷的线圈图片标注为0；转换后的有缺陷的线圈图片标注为1；
4-3-4：无瑕疵的平面感应线圈与有瑕疵的平面感应线圈图片被初始化为一组矩阵，输入到异常焊接点特征提取设备；该组矩阵中，有缺陷图片200个，无缺陷图片10000个。
Figure DEST_PATH_IMAGE051
4-3-5：异常焊接点特征提取设备的网络主体使用的是基于ResNet的深度神经网络。该组图片矩阵被以不同批次输入到该深度神经网络中去。
4-3-5：该矩阵进入到设备的归一化模块中，该模块的作用是对该矩阵进行统计，包括正常图片的特征以及存在异常焊接点图片的特征。在归一化模块中，通过计算不同向量的空间距离，将高维矩阵降维到二维矩阵中，如果存在明显的特征偏移，则使用反正切函数对统计特征进行非线性归一化。存储该特征为补偿因子到存储器中。
数据可视化结果如图5所示，train_positive表示的是多数无瑕疵的图片，train_negative表示的是少数有瑕疵的图片。从空间分布来看，有瑕疵的图片只覆盖了二维空间中的部分区域，并未与无瑕疵的图片完全重合。因此我们需要对不怕类别的图片在训练过程中进行分类补偿。
其补偿因子计算过程为，
不同类别的补偿因子分别为：
Figure 950686DEST_PATH_IMAGE031
Figure DEST_PATH_IMAGE053
采用反正切函数对补偿因子进行非线性归一化；
Figure 595294DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE055
Figure DEST_PATH_IMAGE057
在工控机中存储设备中存储这两个补偿因子。
4-3-6：对一个批次的图片，读取其中瑕疵图片的补偿因子，如公式（1）对瑕疵图片计算损失值；读取正常图片的补偿因子，如公式（1）对正常图片计算损失值；
4-3-6：对当前批次的图片计算总的损失值，并计算其平均值。对神经网络反向传播优化，直到损失函数不再下降，终止该训练过程；
4-3-7：将特征库存入存储器中；
4-4：要被分类的图片转换的一维向量输入到该深度神经网络中，从特征库提取设备中读取该类图片的特征补偿因子；
4-5：该向量在ResNet深度神经网络中进行前向传播，结合特征补偿因子计算在不同类别上的置信概率。如果在有缺陷平面感应线圈上的的置信概率大于0.5，则预测为有缺陷的产品；否则预测为无缺陷的产品；
5：异常焊接点特征提取设备根据置信值发出相应的机械臂控制信号，如果为有缺陷的产品，则控制机械臂抓取该产品到复检流水线；如果为无缺陷的产品，机械臂保持稳定，等待抓取；
6：抓取机械臂通过总线获取抓取信号，机械臂根据相对位置抓取平面感应线圈，转动90度移动该平面感应线圈到复检流水线。
7：机械臂抓取完成回复到原有等待抓取姿态。
本发明能够有效的抓取有瑕疵的设备，与传统工业机器人相比，具有较强的智能性，根据瑕疵产品特征的不同训练丰富的深度神经网络，最终做出不同的决策；与目前基于视觉的工业机器人相比，具有成本低，稳定性较好，系统性能较高，易于升级扩展等优点。

Claims (2)

1.一种平面感应线圈异常焊接点的识别方法，其特征在于：包括如下步骤：
A、利用蚀刻技术制作平面感应线圈，该制成品按照工业化的生产步骤进行传送；
B、在传送到表面瑕疵检测设备时，具有高清摄像功能的摄像头对产品进行拍摄，采集产品表面的高清图像；
C、高清图像通过内部总线传输到异常焊接点提取设备，异常焊接点提取设备与异常焊接点特征库进行对比，给出具有异常特征的置信值，具体步骤如下：
C1、产品的高清图像被向量化，以一维矩阵输入到异常焊接点提取设备；
C2、异常焊接点提取设备从存储设备中恢复预训练的神经网络结构；预训练的神经网络结构的训练过程，包括如下步骤：
C21、在深度神经网络某一个epoch训练过程中，输入符合某种分布的正品样例图片与瑕疵品样例图片，将图片进行预处理以及向量化；
C22、针对瑕疵品样例图片，根据标准的交叉信息熵损失函数依据公式（1）计算前向传播产生的损失函数；
Figure DEST_PATH_IMAGE001
（1）；
其中，
Figure 561853DEST_PATH_IMAGE002
表示是当前epoch中的第i个训练样例通过softmax以后产生的交叉函数损失值，
Figure DEST_PATH_IMAGE003
表示第i个样例对应的输出，使用指数函数经过处理以后记为
Figure 190934DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
表示对所有的训练样例经过指数处理以后的结果求和；整个过程是标准的基于softmax的交叉信息熵计算过程；
Figure 408289DEST_PATH_IMAGE006
表示基于数据分布敏感的损失补偿函数；
C23、针对正品样例图片，设计具有最大软间角的损失函数来计算第i个样例的损失函数值，如公式（2）所示；
Figure DEST_PATH_IMAGE007
(2)；
为了简化前向传播与反向传播的计算过程，我们定义
Figure 818541DEST_PATH_IMAGE008
函数为
Figure DEST_PATH_IMAGE009
(3)；
公式（2）表达的含义仍然为第i个样例的交叉熵信息熵损失函数，不过在该损失函数的计算过程中，添加了需要特别优化的角度
Figure 604095DEST_PATH_IMAGE010
；
Figure 794905DEST_PATH_IMAGE006
表示基于数据分布敏感的损失补偿函数；在分子中，
Figure DEST_PATH_IMAGE011
表示第i个样例对应的幅度向量值，
Figure 691317DEST_PATH_IMAGE012
表示第i个样例中对应的输入样例
Figure DEST_PATH_IMAGE013
对应的距离值，
Figure 923453DEST_PATH_IMAGE014
用于表示向量
Figure 473383DEST_PATH_IMAGE013
与向量
Figure DEST_PATH_IMAGE015
的夹角的余弦值；
Figure 558013DEST_PATH_IMAGE016
用于表示输出值
Figure DEST_PATH_IMAGE017
的其他向量中，对应的向量
Figure 258116DEST_PATH_IMAGE013
与向量
Figure 705278DEST_PATH_IMAGE015
的夹角的余弦值；
Figure 426109DEST_PATH_IMAGE016
的计算过程如公式（4）所示：
Figure 466878DEST_PATH_IMAGE018
（4）；
向量
Figure 298567DEST_PATH_IMAGE013
与向量
Figure 865815DEST_PATH_IMAGE015
在神经网络优化过程中都是已知的，则可以计算得到
Figure DEST_PATH_IMAGE019
的值；
Figure 399958DEST_PATH_IMAGE020
通过分解则转换为
Figure 52656DEST_PATH_IMAGE019
的计算过程，具体的计算如公式（5）所示；
Figure DEST_PATH_IMAGE021
(5)；
超参数
Figure 828982DEST_PATH_IMAGE022
用于约定要优化的角度
Figure 250736DEST_PATH_IMAGE010
的收敛幅度，超参数
Figure DEST_PATH_IMAGE023
是一个整数，
Figure 454316DEST_PATH_IMAGE024
，
Figure 328731DEST_PATH_IMAGE014
为单调递减函数，因此
Figure DEST_PATH_IMAGE025
；
C24、将同一个epoch的所有训练样例的损失值求和，并取得平均数，记为当前批次的损失值，计算公式如公式（7）所示；其中
Figure 174327DEST_PATH_IMAGE026
表示当前epoch中所有样例的个数，
Figure DEST_PATH_IMAGE027
表示对所有的样例求损失函数值的和；
Figure 716167DEST_PATH_IMAGE028
(7)；
C25、利用随机梯度下降法计算目标函数的下降梯度；计算过程采用链式求导法则，使用平均损失函数值对权重向量W通过反向传播得到深度神经网络的不同层的偏微分，从而计算得到梯度下降向量，将计算得到的梯度下降向量代入随机梯度下降公式中，更新神经网络的参数；
C26、循环以上过程，直到损失函数没有明显变化的时候则终止神经网络的训练过程，记录当前的神经网络的参数，持久化存储该训练得到的模型
C3、将图像向量与神经网络结构中的卷积核提出的特征库进行比较，通过前向传播计算得到该感应线圈图像的异常值；
C4、将该异常值通过内部总线传递给工业机器人手臂；
D、该置信值通过内部总线传递给工业机器人手臂，超过特定阈值则被诊断为有异常焊接点的平面感应线圈，该感应线圈被工业机器人手臂转移到固定的待复检回收框内。
2.根据权利要求1所述的平面感应线圈异常焊接点的识别方法，其特征在于：上述步骤C22中的设计基于数据分布敏感的损失补偿函数
Figure 589182DEST_PATH_IMAGE006
的方法，包括如下步骤：
C221、预处理工业制成品的待训练图片，包括噪音消除，图片增强；预处理图片为剔除明显是噪声的图片，对待训练的正品与瑕疵品图片进行图片数据增强，包括图片水平与垂直翻转、图片旋转、图片向外及向内缩放、图片裁剪、图片移位、为图片加入高斯噪声，增强的图片能够有效提升带训练数据集的容量；
C222、对训练数据集进行降维可视化，观察训练数据集是否存在少数类的特征偏移的现象；观察的手段是采用t-distributed stochastic neighbor embedding算法，对图片这样的高维数据进行降维；
C223、如果存在少数类的特征偏移现象，则根据训练数据集的分布选择损失补偿因子；计算训练数据集中多数类的实例总数，记为
Figure DEST_PATH_IMAGE029
，计算训练数据集中少数类的实例总数，记为
Figure 216473DEST_PATH_IMAGE030
；不同类别的补偿因子分别为：
Figure 193656DEST_PATH_IMAGE032
Figure 199789DEST_PATH_IMAGE034
针对次品率为0.2%的流水线来讲，
Figure DEST_PATH_IMAGE035
取值接近于500，有必要设计补偿损失函数对补偿因子进行归一化处理，防止出现损失计算时候出现异常值；
C224、采用反正切函数对补偿因子进行非线性归一化；
Figure 135384DEST_PATH_IMAGE037
Figure 859758DEST_PATH_IMAGE039
Figure DEST_PATH_IMAGE040
表示训练数据中标签为
Figure 640632DEST_PATH_IMAGE041
的样例经过非线性归一化以后得到的补偿因子，
Figure 32430DEST_PATH_IMAGE006
为根据归一化以后的因子进行反向处理后的损失补偿函数；
C225、根据类别的不同，将计算得到的损失补偿因子代入公式（1）中即可计算得到相应训练数据的损失函数值。
CN202210423806.6A 2022-04-22 2022-04-22 平面感应线圈异常焊接点的识别方法 Expired - Fee Related CN114544664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210423806.6A CN114544664B (zh) 2022-04-22 2022-04-22 平面感应线圈异常焊接点的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210423806.6A CN114544664B (zh) 2022-04-22 2022-04-22 平面感应线圈异常焊接点的识别方法

Publications (2)

Publication Number Publication Date
CN114544664A CN114544664A (zh) 2022-05-27
CN114544664B true CN114544664B (zh) 2022-07-08

Family

ID=81666868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210423806.6A Expired - Fee Related CN114544664B (zh) 2022-04-22 2022-04-22 平面感应线圈异常焊接点的识别方法

Country Status (1)

Country Link
CN (1) CN114544664B (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778921A (zh) * 2017-02-15 2017-05-31 张烜 基于深度学习编码模型的人员再识别方法
CN112801962B (zh) * 2021-01-19 2022-09-16 上海大学 基于正样本学习的半监督工业制品瑕疵检测方法及系统

Also Published As

Publication number Publication date
CN114544664A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
Ren et al. State of the art in defect detection based on machine vision
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
Xue-Wu et al. A vision inspection system for the surface defects of strongly reflected metal based on multi-class SVM
Faghih-Roohi et al. Deep convolutional neural networks for detection of rail surface defects
US10803573B2 (en) Method for automated detection of defects in cast wheel products
Tripicchio et al. Welding defect detection: Coping with artifacts in the production line
Chang et al. A deep learning-based weld defect classification method using radiographic images with a cylindrical projection
Nizam et al. Vision based identification and classification of weld defects in welding environments: A review
CN116579616B (zh) 一种基于深度学习的风险识别方法
Wu et al. An end-to-end learning method for industrial defect detection
Lee et al. Review on the recent welding research with application of CNN-based deep learning part II: Model evaluation and visualizations
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
Devereux et al. A new approach for crack detection and sizing in nuclear reactor cores
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN114332083A (zh) 一种基于PFNet的工业品伪装瑕疵识别方法
CN112837281B (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
Hou et al. A self-supervised CNN for particle inspection on optical element
Ekambaram et al. Identification of defects in casting products by using a convolutional neural network
CN114544664B (zh) 平面感应线圈异常焊接点的识别方法
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN116523881A (zh) 一种电力设备异常温度检测方法及装置
Peng et al. Contamination classification for pellet quality inspection using deep learning
CN115861226A (zh) 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法
Shishkin et al. Implementation of yolov5 for detection and classification of microplastics and microorganisms in marine environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220708

CF01 Termination of patent right due to non-payment of annual fee