CN116309446A - 用于工业控制领域的功率模块制造方法及系统 - Google Patents
用于工业控制领域的功率模块制造方法及系统 Download PDFInfo
- Publication number
- CN116309446A CN116309446A CN202310261296.1A CN202310261296A CN116309446A CN 116309446 A CN116309446 A CN 116309446A CN 202310261296 A CN202310261296 A CN 202310261296A CN 116309446 A CN116309446 A CN 116309446A
- Authority
- CN
- China
- Prior art keywords
- welding
- power module
- feature
- feature map
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims description 29
- 238000003466 welding Methods 0.000 claims abstract description 261
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 239000013598 vector Substances 0.000 claims description 66
- 238000013527 convolutional neural network Methods 0.000 claims description 52
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 claims description 38
- BDAGIHXWWSANSR-UHFFFAOYSA-N methanoic acid Natural products OC=O BDAGIHXWWSANSR-UHFFFAOYSA-N 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 26
- 238000003062 neural network model Methods 0.000 claims description 23
- 229910052757 nitrogen Inorganic materials 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 18
- 238000005476 soldering Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- OSWFIVFLDKOXQC-UHFFFAOYSA-N 4-(3-methoxyphenyl)aniline Chemical compound COC1=CC=CC(C=2C=CC(N)=CC=2)=C1 OSWFIVFLDKOXQC-UHFFFAOYSA-N 0.000 claims description 14
- 238000001816 cooling Methods 0.000 claims description 14
- 235000019253 formic acid Nutrition 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000010438 heat treatment Methods 0.000 claims description 12
- 229910000679 solder Inorganic materials 0.000 claims description 12
- 230000004931 aggregating effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000011049 filling Methods 0.000 claims description 8
- 239000007789 gas Substances 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 8
- 229910052751 metal Inorganic materials 0.000 claims description 6
- 239000002184 metal Substances 0.000 claims description 6
- 238000005086 pumping Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- MEBFSPGGHTVEQC-UHFFFAOYSA-N [N].C(=O)O Chemical compound [N].C(=O)O MEBFSPGGHTVEQC-UHFFFAOYSA-N 0.000 claims description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 238000007599 discharging Methods 0.000 claims description 4
- 230000005496 eutectics Effects 0.000 claims description 4
- 230000003647 oxidation Effects 0.000 claims description 4
- 238000007254 oxidation reaction Methods 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000007689 inspection Methods 0.000 abstract description 6
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical group [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 23
- 238000013461 design Methods 0.000 description 18
- 229910052782 aluminium Inorganic materials 0.000 description 14
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 14
- 229910052802 copper Inorganic materials 0.000 description 14
- 239000010949 copper Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 230000004907 flux Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000005065 mining Methods 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 239000000919 ceramic Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 229920001296 polysiloxane Polymers 0.000 description 3
- 229910001369 Brass Inorganic materials 0.000 description 2
- 229910000906 Bronze Inorganic materials 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 2
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 2
- 239000010951 brass Substances 0.000 description 2
- 239000010974 bronze Substances 0.000 description 2
- KUNSUQLRTQLHQQ-UHFFFAOYSA-N copper tin Chemical compound [Cu].[Sn] KUNSUQLRTQLHQQ-UHFFFAOYSA-N 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000004200 deflagration Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000001257 hydrogen Substances 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000005245 sintering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种用于工业控制领域的功率模块制造方法及系统,其获取焊接完成的功率模块的检测图像;采用基于深度学习的人工智能检测技术,对于焊接完成的功率模块的检测图像进行焊接感兴趣区域框定,并以此来提取出焊接感兴趣区域的焊接隐含特征信息;进一步以各个焊接区域的焊接特征之间的相似性和一致性的关联特征来进行焊接质量检测。这样,可以对于焊接完成的功率模块的焊接质量进行准确地检测判断,以提高制造的功率模块的可靠性和使用寿命。
Description
技术领域
本申请涉及智能化制造技术领域,且更为具体地,涉及一种用于工业控制领域的功率模块制造方法及系统。
背景技术
电力电子器件是电力变换的核心器件,按照控制类型区分,有不可控器件的二极管,半控型器件的晶闸管以及全控型器件的IGBT、MOSFET、GTR、GTO。除了基础的二极管无需额外采用控制电路,其余器件均要设计控制单元。控制型器件是工业控制领域的核心器件,要求高可靠性,高循环寿命等要求。
目前国内外制造功率模块有一个共性问题,就是器件的控制单元设计普遍采用额外引出线,主流的方式是铜丝焊接或者铝丝键合引出,铜丝焊接方式零件组装难度高,定位模具设计复杂,铜丝又细又软,还需要套一层硅胶管,后道再次焊接难等问题;铝丝键合方式通常只做芯片控制极引出到陶瓷覆铜板上,再通过焊接方式引出到控制端子上,需要二次加工不方便制造。
因此,期望一种优化的用于工业控制领域的功率模块制造方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种用于工业控制领域的功率模块制造方法及系统,其获取焊接完成的功率模块的检测图像;采用基于深度学习的人工智能检测技术,对于焊接完成的功率模块的检测图像进行焊接感兴趣区域框定,并以此来提取出焊接感兴趣区域的焊接隐含特征信息;进一步以各个焊接区域的焊接特征之间的相似性和一致性的关联特征来进行焊接质量检测。这样,可以对于焊接完成的功率模块的焊接质量进行准确地检测判断,以提高制造的功率模块的可靠性和使用寿命。
根据本申请的一个方面,提供了一种用于工业控制领域的功率模块制造方法,其包括:
获取焊接完成的功率模块的检测图像;
将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域;
分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量;
计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵以得到多个协方差矩阵;
将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图;
对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图;以及
将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求。
在上述用于工业控制领域的功率模块制造方法中,所述焊接目标区域检测网络为基于锚窗的目标检测网络,所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在上述用于工业控制领域的功率模块制造方法中,所述分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量,包括:使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述多个焊接图像特征向量,所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述多个感兴趣区域。
在上述用于工业控制领域的功率模块制造方法中,所述作为过滤器的第一卷积神经网络模型为深度残差网络模型。
在上述用于工业控制领域的功率模块制造方法中,所述将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图,进一步包括:使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述全局关联特征图,其中,所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述三维张量。
在上述用于工业控制领域的功率模块制造方法中,所述作为特征提取器的第二卷积神经网络模型为金字塔网络模型。
在上述用于工业控制领域的功率模块制造方法中,所述对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图,包括:以如下公式对所述全局关联特征图进行特征分布局部优化以得到所述优化全局关联特征图;其中,所述公式为:
在上述用于工业控制领域的功率模块制造方法中,所述将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求,包括:将所述优化全局关联特征图按照行向量或列向量展开为分类特征向量;使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面,提供了一种用于工业控制领域的功率模块制造系统,其包括:
图像获取模块,用于获取焊接完成的功率模块的检测图像;
感兴趣区域提取模块,用于将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域;
第一特征提取模块,用于分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量;
协方差计算模块,用于计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵以得到多个协方差矩阵;
第二特征提取模块,用于将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图;
局部优化模块,用于对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图;以及
焊接质量结果生成模块,用于将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求。
在上述用于工业控制领域的功率模块制造系统中,所述焊接目标区域检测网络为基于锚窗的目标检测网络,所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
与现有技术相比,本申请提供的用于工业控制领域的功率模块制造方法及系统,其获取焊接完成的功率模块的检测图像;采用基于深度学习的人工智能检测技术,对于焊接完成的功率模块的检测图像进行焊接感兴趣区域框定,并以此来提取出焊接感兴趣区域的焊接隐含特征信息;进一步以各个焊接区域的焊接特征之间的相似性和一致性的关联特征来进行焊接质量检测。这样,可以对于焊接完成的功率模块的焊接质量进行准确地检测判断,以提高制造的功率模块的可靠性和使用寿命。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1A为根据本申请实施例的用于工业控制领域的功率模块制造方法的场景示意图。
图1B为根据本申请实施例的用于工业控制领域的功率模块的结构示意图。
图1C为根据本申请实施例的插片端子的结构示意图。
图2为根据本申请实施例的用于工业控制领域的功率模块制造方法的流程图。
图3为根据本申请实施例的用于工业控制领域的功率模块制造方法的架构示意图。
图4为根据本申请实施例的用于工业控制领域的功率模块制造方法中步骤S170的子步骤的流程图。
图5为根据本申请实施例的用于工业控制领域的功率模块制造系统的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
如上所述,目前国内外制造功率模块有一个共性问题,就是器件的控制单元设计普遍采用额外引出线,主流的方式是铜丝焊接或者铝丝键合引出,铜丝焊接方式零件组装难度高,定位模具设计复杂,铜丝又细又软,还需要套一层硅胶管,后道再次焊接难等问题;铝丝键合方式通常只做芯片控制极引出到陶瓷覆铜板上,再通过焊接方式引出到控制端子上,需要二次加工不方便制造。因此,期望一种优化的用于工业控制领域的功率模块制造方案。
相应地,考虑到由于焊接气孔率等焊接质量在功率模块的制造中影响着最终功率模块的成型质量,因此,为了提高制造的功率模块的可靠性和使用寿命,需要在进行功率模块的制造过程中,对于焊接完成的功率模块进行焊接质量检测。在对于功率模块进行焊接质量检测时,可以通过对于焊接完成的功率模块的检测图像进行分析来进行,但是,考虑到由于所述检测图像中存在有较多的信息量,而焊接区域的特征信息在图像中属于小尺度的信息,难以进行捕捉察觉,进而降低对于焊接质量检测的精准度。
近年来,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为焊接完成的功率模块的焊接质量检测提供了新的解决思路和方案。
具体地,在本申请的技术方案中,采用基于深度学习的人工智能检测技术,以通过对于焊接完成的功率模块的检测图像进行焊接感兴趣区域框定,以此来提取出焊接感兴趣区域的焊接隐含特征信息,并考虑到如果焊接质量较佳,则各个位置的焊接特征的一致性相对较优,因此,进一步以各个焊接区域的焊接特征之间的相似性和一致性的关联特征来进行焊接质量检测。这样,能够准确地对于焊接完成的功率模块的焊接质量进行准确地检测判断,以提高制造的功率模块的可靠性和使用寿命。
更具体地,在本申请的技术方案中,首先,获取焊接完成的功率模块的检测图像。应可以理解,考虑到在对于所述焊接完成的功率模块的焊接质量进行检测时,应聚焦于焊接区域的表面焊接质量隐藏特征,因此,若能够在对于焊接完成的功率模块的焊接区域表面的焊接质量进行特征挖掘时滤除掉其余无用的干扰特征信息,显然能够提高焊接质量检测的准确性。基于此,在本申请的技术方案中,进一步将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域。具体地,使用所述焊接目标区域检测网络的目标锚定层以锚框B来进行滑动对所述检测图像进行处理,以对于焊接的感兴趣区域进行框定,从而得到所述多个感兴趣区域。特别地,这里,所述焊接目标区域检测网络为基于锚窗的目标检测网络,所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
然后,使用在图像的隐含特征提取方面具有优异表现的作为过滤器的第一卷积神经网络模型来对于所述多个感兴趣区域进行特征挖掘,以提取出所述多个感兴趣区域中关于所述焊接完成的功率模块的隐藏焊接特征分布信息,从而得到多个焊接图像特征向量。值得一提的是,这里,所述作为过滤器的第一卷积神经网络模型为深度残差网络模型。
进一步地,考虑到由于所述各个焊接感兴趣区域的焊接特征间具有着关联性,也就是说,如果所述焊接完成的功率模块的焊接质量较佳,则各个位置的焊接特征的一致性相对较优。因此,在本申请的技术方案中,进一步计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵,以该所述协方差矩阵来表示所述各个焊接区域的焊接特征之间的相似性和一致性信息,从而得到多个协方差矩阵。
接着,进一步再将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型中进行特征挖掘,以得到全局关联特征图。特别地,这里,所述作为特征提取器的第二卷积神经网络模型为金字塔网络模型。应可以理解,考虑到在进行所述各个焊接区域的焊接特征之间的相似性和一致性的关联特征提取时,不仅需要关注于所述各个焊接区域的深层隐藏焊接相似性和一致性关联特征信息,更需要聚焦于其表面的浅层纹理的相似性和一致性关联特征信息。而金字塔网络主要是解决目标检测中的多尺度问题,其可以同时利用低层特征高分辨率和高层特征的高语义信息,通过融合这些不同层的特征达到很好的效果。因此,在本申请的技术方案中,将所述三维张量通过金字塔网络模型以得到全局关联特征图,也就是,使用所述金字塔网络模型来对于所述述三维张量进行编码处理,以在提取出所述述三维张量中关于焊接区域的深层隐含关联特征的同时,保留其在浅层的纹理等关联特征信息,进而在后续分类时提高分类的准确性。应可以理解,金字塔网络模型主要是解决目标检测中的多尺度问题,通过简单的改变网络连接,在基本不增加原有模型计算量的情况下,可以在不同的特征层上独立进行预测,大幅提升了小目标检测的性能。这样,能够提取出所述各个焊接感兴趣区域的焊接特征之间的相似性和一致性的关联特征信息。
然后,将具有各个感兴趣区域的焊接特征间的相似性和一致性的关联特征的所述全局关联特征图通过分类器中进行分类处理,以此来进行焊接完成的功率模块的焊接质量检测,从而得到用于表示焊接完成的功率模块的焊接质量是否符合预定要求的分类结果。也就是,在本申请的技术方案中,所述分类器的标签包括所述焊接完成的功率模块的焊接质量符合预定要求,以及,所述焊接完成的功率模块的焊接质量不符合预定要求,其中,所述分类器通过软最大值函数来确定所述全局关联特征图属于哪个分类标签,以此来进行焊接完成的功率模块的焊接质量检测,从而提高制造的功率模块的可靠性和使用寿命。
特别地,在本申请的技术方案中,将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型得到所述全局关联特征图时,由于所述第二卷积神经网络模型的卷积核对于每个协方差矩阵进行关联特征提取,而每个协方差矩阵又表示两个焊接区域的焊接特征之间的相似性和一致性,因此可以理解,由于两个焊接区域的焊接特征之间的相似性和一致性度量在各个焊接区域之间存在差异,所以所述全局关联特征图中的部分特征值相对于其它特征值具有更显著的重要性,如果在分类时能够对于特征值进行有效区分,显然能够提高分类器的训练速度和分类结果的准确性。
因此,本申请的申请人对所述全局关联特征图,例如记为F进行基于可区分性物理激励的交互强化,表示为:
这里,所述基于可区分性物理激励的交互强化用于在通过梯度下降的反向传播过程当中提升特征空间与分类问题的解空间之间的交互,其以类似物理激励的方式来提取和模仿可行特征(actionable feature),由此,使用通用目的的低维可导式物理激励方式,来获得具有梯度可区分性的可行特征的物理性表达,从而在训练过程中强化所述全局关联特征图F内的活跃部分,以提升分类器的训练速度和训练后的分类特征的分类结果的准确性。这样,能够准确地对于焊接完成的功率模块的焊接质量继续准确地检测判断,以提高制造的功率模块的可靠性和使用寿命。
基于此,本申请提供了一种用于工业控制领域的功率模块制造方法,其包括:获取焊接完成的功率模块的检测图像;将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域;分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量;计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵以得到多个协方差矩阵;将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图;对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图;以及,将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求。
图1A为根据本申请实施例的用于工业控制领域的功率模块制造方法的场景示意图。如图1A所示,在该应用场景中,首先,获取焊接完成的功率模块的检测图像(例如,如图1A中所示意的C);然后,将获取的检测图像输入至部署有用于工业控制领域的功率模块制造算法的服务器(例如,如图1A中所示意的S)中,其中所述服务器能够基于用于工业控制领域的功率模块制造算法对所述检测图像进行处理,以生成用于表示焊接完成的功率模块的焊接质量是否符合预定要求的分类结果。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
第一实施例
在本申请的技术方案中,如图1B所示,所述用于工业控制领域的功率模块的结构设计通过在铝基板或者陶瓷覆铜板上做出G极和K极等控制线路,采用铝线键合或者铜连桥焊接将芯片的G极和K极引出到线路上,在线路末端通过弹压技术将特殊设计的插片端子10与端子固定座20固定到塑料外壳上并形成电气接触。
如图1C所示,插片端子10的选材及造型设计:优选具有良好延展性,抗疲劳性和抗蚀性的青铜,同时导电率较高的的紫铜,黄铜也可以选用。另外在插片端子结构设计上,采用S型设计,使得两端获得电气接触,中间S型部分通过端子固定座20获得定位和支撑。
端子固定座的内部卡槽设计与插片端子相同,将插片端子卡入固定座内,同时端子固定座的外部设计需与塑料外壳相互配合,在塑料外壳上设计滑轨,使得装配端子后的端子固定座进入滑轨后卡入塑料外壳。
弹压设计,当塑料外壳通过金属铜卡件装配到铜底板时,获得了强大的下压力和固定力,设计时插片端子的内部电路接触的部分采用过盈配合,可取值0.05-0.2mm,当装配时,由于端子固定座已经与塑料外壳接触在一起,过盈的部分产生弯曲获得弹性压力,在端子固定座与S型部分预留0.05-0.2mm的空间,使得过压时,端子形变后接触到端子固定座获得更加稳定的反向作用力,形成接触可靠又稳定,由于采用压力接触的方式,没有焊点疲劳的问题,具有更高的循环寿命。
为了提高产品可靠性,采用不含助焊剂的焊片工艺,由于焊片是一种固态的薄片状态,在零件组装堆叠,搬运周转时均容易发生位置偏移,我们特意设计了零件组装模具,由于采用航空级别的铝材,通过雕刻的加工方式在铝材上进行立体挖槽,分别加工出钼片定位槽,芯片定位槽,焊片定位槽,DBC板定位槽,铜底板定位槽,根据零件的厚度设计合理的槽深,在组装时通过将零件抓取放置到对应的定位槽体上,实现精准定位。
由于不含助焊剂的焊料不利于焊接气孔的控制,为了达到良好的气孔率,结合焊料特点,设计了一套适用于焊片焊接的多气体真空焊接设备,该设备可应用于无助焊剂、免清洗真空烧结工艺。加热方式采用紫铜板,紫铜板内部加热板和冷却管间隔排布,实现加热和冷却均匀。另外采用甲酸加氮气的多气体保护,避免了传统的氢氮混合气体保护炉氢气含量超标爆燃的风险。在焊接工艺步骤上,先抽真空排除腔体内的空气,然后填充氮气进入腔体;再次开启抽真空,将氮气抽出腔体获得低氧含量的真空氛围,然后开启氮气甲酸填充,通过氮气循环将甲酸气化加压进入腔体,直至压力达到设定值;开启加热功能,将热板升温至170℃-190℃进行甲酸激活,甲酸活化后对零部件进行还原氧化和起到助焊作用;开启升温至350℃进行焊料焊接,使得焊料与零部件获得金属共晶层,再次开启抽真空,将焊料层中的气孔进行排泡,最后通过氮气冷却和水管冷却将热板和产品冷却,至此完成一个周期的焊接过程,通过这样的焊接设备和焊接工艺,具有高洁净度、无需额外清洗、焊接气孔率小于2.5%,达到行业先进水平。
也就是说,在所述功率模块的制造过程中,采用多气体真空焊接设备进行焊片焊接,其中,一个周期的焊接过程包括:
抽真空排除所述焊接设备的腔体内的空气,然后填充氮气进入所述腔体;
再次开启抽真空,将氮气抽出所述腔体,获得低氧含量的真空氛围;
然后开启氮气甲酸填充,通过氮气循环将甲酸气化加压进入所述腔体,直至压力达到设定值;
开启加热功能,将所述焊接设备的热板升温至170℃-190℃进行甲酸激活,甲酸活化后对零部件进行还原氧化和起到助焊作用;
开启升温至350℃进行焊料焊接,使得焊料与零部件获得金属共晶层;
再次开启抽真空,将焊料层中的气孔进行排泡;
最后通过氮气冷却和水管冷却将热板和产品冷却。
第二实施例
图2为根据本申请实施例的用于工业控制领域的功率模块制造方法的流程图。如图2所示,根据本申请实施例的用于工业控制领域的功率模块制造方法,包括步骤:S110,获取焊接完成的功率模块的检测图像;S120,将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域;S130,分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量;S140,计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵以得到多个协方差矩阵;S150,将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图;S160,对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图;以及,S170,将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求。
图3为根据本申请实施例的用于工业控制领域的功率模块制造方法的架构示意图。如图3所示,在该网络架构中,首先,获取焊接完成的功率模块的检测图像;然后,将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域;接着,分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量;然后,计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵以得到多个协方差矩阵;接着,将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图;然后,对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图;以及,最后,将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求。
具体地,在步骤S110中,获取焊接完成的功率模块的检测图像。如前所述,目前国内外制造功率模块有一个共性问题,就是器件的控制单元设计普遍采用额外引出线,主流的方式是铜丝焊接或者铝丝键合引出,铜丝焊接方式零件组装难度高,定位模具设计复杂,铜丝又细又软,还需要套一层硅胶管,后道再次焊接难等问题;铝丝键合方式通常只做芯片控制极引出到陶瓷覆铜板上,再通过焊接方式引出到控制端子上,需要二次加工不方便制造。因此,期望一种优化的用于工业控制领域的功率模块制造方案。
具体地,在本申请的技术方案中,所述用于工业控制领域的功率模块的结构设计通过在铝基板或者陶瓷覆铜板上做出G极和K极等控制线路,采用铝线键合或者铜连桥焊接将芯片的G极和K极引出到线路上,在线路末端通过弹压技术将特殊设计的插片端子与端子固定座固定到塑料外壳上并形成电气接触。
插片端子选材及造型设计:优选具有良好延展性,抗疲劳性和抗蚀性的青铜,同时导电率较高的的紫铜,黄铜也可以选用。另外在插片端子结构设计上,采用S型设计,使得两端获得电气接触,中间S型部分通过端子固定座获得定位和支撑。
端子固定座的内部卡槽设计与插片端子相同,将插片端子卡入固定座内,同时端子固定座的外部设计需与塑料外壳相互配合,在塑料外壳上设计滑轨,使得装配端子后的端子固定座进入滑轨后卡入塑料外壳。
弹压设计,当塑料外壳通过金属铜卡件装配到铜底板时,获得了强大的下压力和固定力,设计时插片端子的内部电路接触的部分采用过盈配合,可取值0.05-0.2mm,当装配时,由于端子固定座已经与塑料外壳接触在一起,过盈的部分产生弯曲获得弹性压力,在端子固定座与S型部分预留0.05-0.2mm的空间,使得过压时,端子形变后接触到端子固定座获得更加稳定的反向作用力,形成接触可靠又稳定,由于采用压力接触的方式,没有焊点疲劳的问题,具有更高的循环寿命。
为了提高产品可靠性,采用不含助焊剂的焊片工艺,由于焊片是一种固态的薄片状态,在零件组装堆叠,搬运周转时均容易发生位置偏移,我们特意设计了零件组装模具,由于采用航空级别的铝材,通过雕刻的加工方式在铝材上进行立体挖槽,分别加工出钼片定位槽,芯片定位槽,焊片定位槽,DBC板定位槽,铜底板定位槽,根据零件的厚度设计合理的槽深,在组装时通过将零件抓取放置到对应的定位槽体上,实现精准定位。
由于不含助焊剂的焊料不利于焊接气孔的控制,为了达到良好的气孔率,结合焊料特点,设计了一套适用于焊片焊接的多气体真空焊接设备,该设备可应用于无助焊剂、免清洗真空烧结工艺。加热方式采用紫铜板,紫铜板内部加热板和冷却管间隔排布,实现加热和冷却均匀。另外采用甲酸加氮气的多气体保护,避免了传统的氢氮混合气体保护炉氢气含量超标爆燃的风险。在焊接工艺步骤上,先抽真空排除腔体内的空气,然后填充氮气进入腔体;再次开启抽真空,将氮气抽出腔体获得低氧含量的真空氛围,然后开启氮气甲酸填充,通过氮气循环将甲酸气化加压进入腔体,直至压力达到设定值;开启加热功能,将热板升温至170℃-190℃进行甲酸激活,甲酸活化后对零部件进行还原氧化和起到助焊作用;开启升温至350℃进行焊料焊接,使得焊料与零部件获得金属共晶层,再次开启抽真空,将焊料层中的气孔进行排泡,最后通过氮气冷却和水管冷却将热板和产品冷却,至此完成一个周期的焊接过程,通过这样的焊接设备和焊接工艺,具有高洁净度、无需额外清洗、焊接气孔率小于2.5%,达到行业先进水平。
相应地,考虑到由于焊接气孔率等焊接质量在功率模块的制造中影响着最终功率模块的成型质量,因此,为了提高制造的功率模块的可靠性和使用寿命,需要在进行功率模块的制造过程中,对于焊接完成的功率模块进行焊接质量检测。在对于功率模块进行焊接质量检测时,可以通过对于焊接完成的功率模块的检测图像进行分析来进行,但是,考虑到由于所述检测图像中存在有较多的信息量,而焊接区域的特征信息在图像中属于小尺度的信息,难以进行捕捉察觉,进而降低对于焊接质量检测的精准度。
近年来,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为焊接完成的功率模块的焊接质量检测提供了新的解决思路和方案。
具体地,在本申请的技术方案中,采用基于深度学习的人工智能检测技术,以通过对于焊接完成的功率模块的检测图像进行焊接感兴趣区域框定,以此来提取出焊接感兴趣区域的焊接隐含特征信息,并考虑到如果焊接质量较佳,则各个位置的焊接特征的一致性相对较优,因此,进一步以各个焊接区域的焊接特征之间的相似性和一致性的关联特征来进行焊接质量检测。这样,能够准确地对于焊接完成的功率模块的焊接质量进行准确地检测判断,以提高制造的功率模块的可靠性和使用寿命。
更具体地,在本申请的技术方案中,首先,获取焊接完成的功率模块的检测图像。
具体地,在步骤S120中,将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域。应可以理解,考虑到在对于所述焊接完成的功率模块的焊接质量进行检测时,应聚焦于焊接区域的表面焊接质量隐藏特征,因此,若能够在对于焊接完成的功率模块的焊接区域表面的焊接质量进行特征挖掘时滤除掉其余无用的干扰特征信息,显然能够提高焊接质量检测的准确性。
基于此,在本申请的技术方案中,进一步将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域。具体地,使用所述焊接目标区域检测网络的目标锚定层以锚框B来进行滑动对所述检测图像进行处理,以对于焊接的感兴趣区域进行框定,从而得到所述多个感兴趣区域。特别地,这里,所述焊接目标区域检测网络为基于锚窗的目标检测网络,所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
具体地,在步骤S130中,分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量。然后,使用在图像的隐含特征提取方面具有优异表现的作为过滤器的第一卷积神经网络模型来对于所述多个感兴趣区域进行特征挖掘,以提取出所述多个感兴趣区域中关于所述焊接完成的功率模块的隐藏焊接特征分布信息,从而得到多个焊接图像特征向量。值得一提的是,这里,所述作为过滤器的第一卷积神经网络模型为深度残差网络模型。
其中,所述分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量,包括:使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述多个焊接图像特征向量,所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述多个感兴趣区域。
具体地,在步骤S140中,计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵以得到多个协方差矩阵。进一步地,考虑到由于所述各个焊接感兴趣区域的焊接特征间具有着关联性,也就是说,如果所述焊接完成的功率模块的焊接质量较佳,则各个位置的焊接特征的一致性相对较优。因此,在本申请的技术方案中,进一步计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵,以该所述协方差矩阵来表示所述各个焊接区域的焊接特征之间的相似性和一致性信息,从而得到多个协方差矩阵。
具体地,在步骤S150中,将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图。接着,进一步再将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型中进行特征挖掘,以得到全局关联特征图。特别地,这里,所述作为特征提取器的第二卷积神经网络模型为金字塔网络模型。
应可以理解,考虑到在进行所述各个焊接区域的焊接特征之间的相似性和一致性的关联特征提取时,不仅需要关注于所述各个焊接区域的深层隐藏焊接相似性和一致性关联特征信息,更需要聚焦于其表面的浅层纹理的相似性和一致性关联特征信息。而金字塔网络主要是解决目标检测中的多尺度问题,其可以同时利用低层特征高分辨率和高层特征的高语义信息,通过融合这些不同层的特征达到很好的效果。
因此,在本申请的技术方案中,将所述三维张量通过金字塔网络模型以得到全局关联特征图,也就是,使用所述金字塔网络模型来对于所述述三维张量进行编码处理,以在提取出所述述三维张量中关于焊接区域的深层隐含关联特征的同时,保留其在浅层的纹理等关联特征信息,进而在后续分类时提高分类的准确性。应可以理解,金字塔网络模型主要是解决目标检测中的多尺度问题,通过简单的改变网络连接,在基本不增加原有模型计算量的情况下,可以在不同的特征层上独立进行预测,大幅提升了小目标检测的性能。这样,能够提取出所述各个焊接感兴趣区域的焊接特征之间的相似性和一致性的关联特征信息。
其中,所述将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图,进一步包括:使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述全局关联特征图,其中,所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述三维张量。
具体地,在步骤S160中,对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图。特别地,在本申请的技术方案中,将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型得到所述全局关联特征图时,由于所述第二卷积神经网络模型的卷积核对于每个协方差矩阵进行关联特征提取,而每个协方差矩阵又表示两个焊接区域的焊接特征之间的相似性和一致性,因此可以理解,由于两个焊接区域的焊接特征之间的相似性和一致性度量在各个焊接区域之间存在差异,所以所述全局关联特征图中的部分特征值相对于其它特征值具有更显著的重要性,如果在分类时能够对于特征值进行有效区分,显然能够提高分类器的训练速度和分类结果的准确性。
因此,本申请的申请人对所述全局关联特征图,例如记为F进行基于可区分性物理激励的交互强化,也就是,所述对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图,包括:以如下公式对所述全局关联特征图进行特征分布局部优化以得到所述优化全局关联特征图;其中,所述公式为:
这里,所述基于可区分性物理激励的交互强化用于在通过梯度下降的反向传播过程当中提升特征空间与分类问题的解空间之间的交互,其以类似物理激励的方式来提取和模仿可行特征(actionable feature),由此,使用通用目的的低维可导式物理激励方式,来获得具有梯度可区分性的可行特征的物理性表达,从而在训练过程中强化所述全局关联特征图F内的活跃部分,以提升分类器的训练速度和训练后的分类特征的分类结果的准确性。这样,能够准确地对于焊接完成的功率模块的焊接质量继续准确地检测判断,以提高制造的功率模块的可靠性和使用寿命。
具体地,在步骤S170中,将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求。将具有各个感兴趣区域的焊接特征间的相似性和一致性的关联特征的所述全局关联特征图通过分类器中进行分类处理,以此来进行焊接完成的功率模块的焊接质量检测,从而得到用于表示焊接完成的功率模块的焊接质量是否符合预定要求的分类结果。
也就是,在本申请的技术方案中,所述分类器的标签包括所述焊接完成的功率模块的焊接质量符合预定要求,以及,所述焊接完成的功率模块的焊接质量不符合预定要求,其中,所述分类器通过软最大值函数来确定所述全局关联特征图属于哪个分类标签,以此来进行焊接完成的功率模块的焊接质量检测,从而提高制造的功率模块的可靠性和使用寿命。
图4为根据本申请实施例的用于工业控制领域的功率模块制造方法中步骤S170的子步骤的流程图,如图4所示,所述将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求,包括:S210,将所述优化全局关联特征图按照行向量或列向量展开为分类特征向量;S220,使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,S230,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
在本申请一具体示例中,使用所述分类器以如下公式对所述优化全局关联特征图进行处理以得到所述分类结果;其中,所述公式为:
O=softmax{(Wn,Bn):…:(W1,B1)|Project(F)},其中,W1到Wn为权重矩阵,B1到Bn为偏置向量,Project(F)为将所述优化全局关联特征图投影为向量。
综上,基于本申请实施例的用于工业控制领域的功率模块制造方法,其获取焊接完成的功率模块的检测图像;采用基于深度学习的人工智能检测技术,对于焊接完成的功率模块的检测图像进行焊接感兴趣区域框定,并以此来提取出焊接感兴趣区域的焊接隐含特征信息;进一步以各个焊接区域的焊接特征之间的相似性和一致性的关联特征来进行焊接质量检测。这样,可以对于焊接完成的功率模块的焊接质量进行准确地检测判断,以提高制造的功率模块的可靠性和使用寿命。
第三实施例
图5为根据本申请实施例的用于工业控制领域的功率模块制造系统的框图。如图5所示,根据本申请实施例的用于工业控制领域的功率模块制造系统100,包括:图像获取模块110,用于获取焊接完成的功率模块的检测图像;感兴趣区域提取模块120,用于将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域;第一特征提取模块130,用于分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量;协方差计算模块140,用于计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵以得到多个协方差矩阵;第二特征提取模块150,用于将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图;局部优化模块160,用于对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图;以及,焊接质量结果生成模块170,用于将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求。
在一个示例中,在上述用于工业控制领域的功率模块制造系统100中,所述焊接目标区域检测网络为基于锚窗的目标检测网络,所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在一个示例中,在上述用于工业控制领域的功率模块制造系统100中,所述第一特征提取模块,用于:使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述多个焊接图像特征向量,所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述多个感兴趣区域。
在一个示例中,在上述用于工业控制领域的功率模块制造系统100中,所述作为过滤器的第一卷积神经网络模型为深度残差网络模型。
在一个示例中,在上述用于工业控制领域的功率模块制造系统100中,所述第二特征提取模块,进一步用于:使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述全局关联特征图,其中,所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述三维张量。
在一个示例中,在上述用于工业控制领域的功率模块制造系统100中,所述作为特征提取器的第二卷积神经网络模型为金字塔网络模型。
在一个示例中,在上述用于工业控制领域的功率模块制造系统100中,所述局部优化模块,进一步用于:以如下公式对所述全局关联特征图进行特征分布局部优化以得到所述优化全局关联特征图;其中,所述公式为:
在一个示例中,在上述用于工业控制领域的功率模块制造系统100中,所述焊接质量结果生成模块,包括:特征图展开单元,用于将所述优化全局关联特征图按照行向量或列向量展开为分类特征向量;全连接编码单元,用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,分类结果单元,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
这里,本领域技术人员可以理解,上述用于工业控制领域的功率模块制造系统100中的各个单元和模块的具体功能和操作已经在上面参考图1A到图4的用于工业控制领域的功率模块制造方法的描述中得到了详细介绍,并因此,将省略其重复描述。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种用于工业控制领域的功率模块制造方法,其特征在于,包括:
获取焊接完成的功率模块的检测图像;
将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域;
分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量;
计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵以得到多个协方差矩阵;
将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图;
对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图;以及
将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求。
2.根据权利要求1所述的用于工业控制领域的功率模块制造方法,其特征在于,在所述功率模块的制造过程中,采用多气体真空焊接设备进行焊片焊接,其中,一个周期的焊接过程包括:
抽真空排除所述焊接设备的腔体内的空气,然后填充氮气进入所述腔体;
再次开启抽真空,将氮气抽出所述腔体,获得低氧含量的真空氛围;
然后开启氮气甲酸填充,通过氮气循环将甲酸气化加压进入所述腔体,直至压力达到设定值;
开启加热功能,将所述焊接设备的热板升温至170℃-190℃进行甲酸激活,甲酸活化后对零部件进行还原氧化和起到助焊作用;
开启升温至350℃进行焊料焊接,使得焊料与零部件获得金属共晶层;
再次开启抽真空,将焊料层中的气孔进行排泡;
最后通过氮气冷却和水管冷却将热板和产品冷却。
3.根据权利要求2所述的用于工业控制领域的功率模块制造方法,其特征在于,所述分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量,包括:使用所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:
对所述输入数据进行卷积处理以得到卷积特征图;
对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及
对所述池化特征图进行非线性激活以得到激活特征图;
其中,所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述多个焊接图像特征向量,所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述多个感兴趣区域。
4.根据权利要求3所述的用于工业控制领域的功率模块制造方法,其特征在于,所述作为过滤器的第一卷积神经网络模型为深度残差网络模型。
5.根据权利要求4所述的用于工业控制领域的功率模块制造方法,其特征在于,所述将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图,进一步包括:使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述全局关联特征图,其中,所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述三维张量。
6.根据权利要求5所述的用于工业控制领域的功率模块制造方法,其特征在于,所述作为特征提取器的第二卷积神经网络模型为金字塔网络模型。
8.根据权利要求7所述的用于工业控制领域的功率模块制造方法,其特征在于,所述将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求,包括:
将所述优化全局关联特征图按照行向量或列向量展开为分类特征向量;
使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
9.一种用于工业控制领域的功率模块制造系统,其特征在于,包括:
图像获取模块,用于获取焊接完成的功率模块的检测图像;
感兴趣区域提取模块,用于将所述检测图像通过焊接目标区域检测网络以得到多个感兴趣区域;
第一特征提取模块,用于分别将所述多个感兴趣区域通过作为过滤器的第一卷积神经网络模型以得到多个焊接图像特征向量;
协方差计算模块,用于计算所述多个焊接图像特征向量中每两个焊接图像特征向量之间的协方差矩阵以得到多个协方差矩阵;
第二特征提取模块,用于将所述多个协方差矩阵沿着通道维度聚合为三维张量后通过作为特征提取器的第二卷积神经网络模型以得到全局关联特征图;
局部优化模块,用于对所述全局关联特征图进行特征分布局部优化以得到优化全局关联特征图;以及
焊接质量结果生成模块,用于将所述优化全局关联特征图通过分类器以得到分类结果,所述分类结果用于表示焊接完成的功率模块的焊接质量是否符合预定要求。
10.根据权利要求9所述的用于工业控制领域的功率模块制造系统,其特征在于,所述焊接目标区域检测网络为基于锚窗的目标检测网络,所述基于锚窗的目标检测网络为FastR-CNN、Faster R-CNN或RetinaNet。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310261296.1A CN116309446B (zh) | 2023-03-14 | 2023-03-14 | 用于工业控制领域的功率模块制造方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310261296.1A CN116309446B (zh) | 2023-03-14 | 2023-03-14 | 用于工业控制领域的功率模块制造方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116309446A true CN116309446A (zh) | 2023-06-23 |
CN116309446B CN116309446B (zh) | 2024-05-07 |
Family
ID=86793847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310261296.1A Active CN116309446B (zh) | 2023-03-14 | 2023-03-14 | 用于工业控制领域的功率模块制造方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309446B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116787017A (zh) * | 2023-07-14 | 2023-09-22 | 浙江振兴阿祥集团有限公司 | 水轮机座环焊接机器人的控制方法及其系统 |
CN116934704A (zh) * | 2023-07-18 | 2023-10-24 | 车金喜汽配股份有限公司 | 汽车零部件智能加工调节方法及其系统 |
CN117252926A (zh) * | 2023-11-20 | 2023-12-19 | 南昌工控机器人有限公司 | 基于视觉定位的手机壳辅料智能装配控制系统 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160372128A1 (en) * | 2014-03-14 | 2016-12-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Encoder, decoder and method for encoding and decoding |
CN109342456A (zh) * | 2018-09-14 | 2019-02-15 | 广东工业大学 | 一种焊点缺陷检测方法、装置、设备及可读存储介质 |
CN113159120A (zh) * | 2021-03-15 | 2021-07-23 | 浙江工商大学 | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 |
CN114169407A (zh) * | 2021-11-17 | 2022-03-11 | 瑞安市和乐电子科技有限公司 | 集成电路铜引线键合方法及其系统 |
CN115082745A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市成天泰电缆实业发展有限公司 | 基于图像的电缆绞线质量检测方法及其系统 |
CN115172190A (zh) * | 2022-06-17 | 2022-10-11 | 锦州七七七微电子有限责任公司 | 一种功率芯片在t型管壳上的合金焊接方法 |
CN115415626A (zh) * | 2022-11-03 | 2022-12-02 | 诚联恺达科技有限公司 | 一种真空回流焊工艺优化方法 |
CN115631385A (zh) * | 2022-12-06 | 2023-01-20 | 崔铁良 | 消防车道实时监控系统 |
CN115689983A (zh) * | 2022-08-23 | 2023-02-03 | 宁波共振运动科技有限公司 | 运动服装的无痕处理方法及其系统 |
CN115719298A (zh) * | 2022-11-23 | 2023-02-28 | 浙江鸿屹智能装备科技有限公司 | 一种纺织加弹机 |
CN115879777A (zh) * | 2023-03-03 | 2023-03-31 | 吉林大学 | 基于时空大数据的石油安全智能推演系统及其方法 |
CN115901794A (zh) * | 2023-02-17 | 2023-04-04 | 广州达普绅智能设备有限公司 | 一种条形光源检测瓶口瑕疵的系统及方法 |
CN116030048A (zh) * | 2023-03-27 | 2023-04-28 | 山东鹰眼机械科技有限公司 | 灯检机及其方法 |
CN116069916A (zh) * | 2023-02-28 | 2023-05-05 | 浙江旅游职业学院 | 旅游景点问答系统 |
CN116130721A (zh) * | 2023-04-11 | 2023-05-16 | 杭州鄂达精密机电科技有限公司 | 氢燃料电池的状态诊断系统及方法 |
CN116167994A (zh) * | 2023-02-17 | 2023-05-26 | 浙江立洲线缆股份有限公司 | 矿物电缆及其智能化制备方法 |
CN116168243A (zh) * | 2023-02-16 | 2023-05-26 | 上海晟事美安实业股份有限公司 | 剃须刀的智能化生产系统及其方法 |
CN116342390A (zh) * | 2023-03-15 | 2023-06-27 | 万隆化工有限公司 | 一种荧光颜料组合物及其制备方法 |
CN116477375A (zh) * | 2023-03-06 | 2023-07-25 | 华能太仓发电有限责任公司 | 基于人工智能的堆取料控制系统及其方法 |
CN117237270A (zh) * | 2023-02-24 | 2023-12-15 | 靖江仁富机械制造有限公司 | 耐磨防腐管道生产用成型控制方法及系统 |
-
2023
- 2023-03-14 CN CN202310261296.1A patent/CN116309446B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160372128A1 (en) * | 2014-03-14 | 2016-12-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Encoder, decoder and method for encoding and decoding |
CN109342456A (zh) * | 2018-09-14 | 2019-02-15 | 广东工业大学 | 一种焊点缺陷检测方法、装置、设备及可读存储介质 |
CN113159120A (zh) * | 2021-03-15 | 2021-07-23 | 浙江工商大学 | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 |
CN114169407A (zh) * | 2021-11-17 | 2022-03-11 | 瑞安市和乐电子科技有限公司 | 集成电路铜引线键合方法及其系统 |
CN115172190A (zh) * | 2022-06-17 | 2022-10-11 | 锦州七七七微电子有限责任公司 | 一种功率芯片在t型管壳上的合金焊接方法 |
CN115082745A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市成天泰电缆实业发展有限公司 | 基于图像的电缆绞线质量检测方法及其系统 |
CN115689983A (zh) * | 2022-08-23 | 2023-02-03 | 宁波共振运动科技有限公司 | 运动服装的无痕处理方法及其系统 |
CN115415626A (zh) * | 2022-11-03 | 2022-12-02 | 诚联恺达科技有限公司 | 一种真空回流焊工艺优化方法 |
CN115719298A (zh) * | 2022-11-23 | 2023-02-28 | 浙江鸿屹智能装备科技有限公司 | 一种纺织加弹机 |
CN115631385A (zh) * | 2022-12-06 | 2023-01-20 | 崔铁良 | 消防车道实时监控系统 |
CN116168243A (zh) * | 2023-02-16 | 2023-05-26 | 上海晟事美安实业股份有限公司 | 剃须刀的智能化生产系统及其方法 |
CN116167994A (zh) * | 2023-02-17 | 2023-05-26 | 浙江立洲线缆股份有限公司 | 矿物电缆及其智能化制备方法 |
CN115901794A (zh) * | 2023-02-17 | 2023-04-04 | 广州达普绅智能设备有限公司 | 一种条形光源检测瓶口瑕疵的系统及方法 |
CN117237270A (zh) * | 2023-02-24 | 2023-12-15 | 靖江仁富机械制造有限公司 | 耐磨防腐管道生产用成型控制方法及系统 |
CN116069916A (zh) * | 2023-02-28 | 2023-05-05 | 浙江旅游职业学院 | 旅游景点问答系统 |
CN115879777A (zh) * | 2023-03-03 | 2023-03-31 | 吉林大学 | 基于时空大数据的石油安全智能推演系统及其方法 |
CN116477375A (zh) * | 2023-03-06 | 2023-07-25 | 华能太仓发电有限责任公司 | 基于人工智能的堆取料控制系统及其方法 |
CN116342390A (zh) * | 2023-03-15 | 2023-06-27 | 万隆化工有限公司 | 一种荧光颜料组合物及其制备方法 |
CN116030048A (zh) * | 2023-03-27 | 2023-04-28 | 山东鹰眼机械科技有限公司 | 灯检机及其方法 |
CN116130721A (zh) * | 2023-04-11 | 2023-05-16 | 杭州鄂达精密机电科技有限公司 | 氢燃料电池的状态诊断系统及方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116787017A (zh) * | 2023-07-14 | 2023-09-22 | 浙江振兴阿祥集团有限公司 | 水轮机座环焊接机器人的控制方法及其系统 |
CN116787017B (zh) * | 2023-07-14 | 2024-03-12 | 湖南摩码智能机器人有限公司 | 水轮机座环焊接机器人的控制方法及其系统 |
CN116934704A (zh) * | 2023-07-18 | 2023-10-24 | 车金喜汽配股份有限公司 | 汽车零部件智能加工调节方法及其系统 |
CN117252926A (zh) * | 2023-11-20 | 2023-12-19 | 南昌工控机器人有限公司 | 基于视觉定位的手机壳辅料智能装配控制系统 |
CN117252926B (zh) * | 2023-11-20 | 2024-02-02 | 南昌工控机器人有限公司 | 基于视觉定位的手机壳辅料智能装配控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116309446B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116309446B (zh) | 用于工业控制领域的功率模块制造方法及系统 | |
Zhang et al. | Bilateral attention network for RGB-D salient object detection | |
Du et al. | VisDrone-DET2019: The vision meets drone object detection in image challenge results | |
CN114475350A (zh) | 智能充电系统及其工作方法 | |
CN114821450B (zh) | 太阳能电池板加工用层压机及其控制方法 | |
US11036978B2 (en) | Method for separating out a defect image from a thermogram sequence based on weighted naive bayesian classifier and dynamic multi-objective optimization | |
CN114462555A (zh) | 基于树莓派的多尺度特征融合配电网设备识别方法 | |
CN110287879B (zh) | 一种基于注意力机制的视频行为识别方法 | |
Lai et al. | Real-time micro-expression recognition based on ResNet and atrous convolutions | |
CN103022529B (zh) | 提高燃料电池板成形的大回弹补偿精度和表面质量的方法 | |
CN116153883A (zh) | 一种igbt封装方法及igbt封装结构 | |
CN111680644B (zh) | 一种基于深度空时特征学习的视频行为聚类方法 | |
CN114169407A (zh) | 集成电路铜引线键合方法及其系统 | |
CN114871486A (zh) | 龙门刨床及其加工控制方法 | |
Guo | A novel Multi to Single Module for small object detection | |
CN116705725B (zh) | 一种场效应管封装结构制造方法 | |
CN109697433A (zh) | 一种基于3d卷积神经网络的铝电解槽过热度状态识别方法及系统 | |
CN116000297A (zh) | 高强度钨镧丝的制备装置及其方法 | |
CN112255141B (zh) | 一种热成像气体监测系统 | |
CN115560274A (zh) | 一种易接线型三防灯 | |
CN111985625B (zh) | 一种红外-可见光融合的深度神经网络及其建模方法 | |
CN115131735A (zh) | 五金工具热处理后冷却媒介温度控制系统及温度控制方法 | |
CN117560846B (zh) | 电池类超厚铜板线路板及其方法 | |
Li et al. | A One‐Stage Deep Learning Model for Industrial Defect Detection | |
CN215818274U (zh) | 高散热光学摄像头模组及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |